CN106574973A - 集成在同一半导体封装中的影像传感器和光源驱动器 - Google Patents

集成在同一半导体封装中的影像传感器和光源驱动器 Download PDF

Info

Publication number
CN106574973A
CN106574973A CN201580036250.3A CN201580036250A CN106574973A CN 106574973 A CN106574973 A CN 106574973A CN 201580036250 A CN201580036250 A CN 201580036250A CN 106574973 A CN106574973 A CN 106574973A
Authority
CN
China
Prior art keywords
light source
signal
source drive
circuit
semiconductor chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580036250.3A
Other languages
English (en)
Other versions
CN106574973B (zh
Inventor
C-Y.A.林
C.波特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106574973A publication Critical patent/CN106574973A/zh
Application granted granted Critical
Publication of CN106574973B publication Critical patent/CN106574973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16135—Disposition the bump connector connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/16145—Disposition the bump connector connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being stacked
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16151—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/151—Die mounting substrate
    • H01L2924/153—Connection portion
    • H01L2924/1531—Connection portion the connection portion being formed only on the surface of the substrate opposite to the die mounting surface
    • H01L2924/15311—Connection portion the connection portion being formed only on the surface of the substrate opposite to the die mounting surface being a ball array, e.g. BGA
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/161—Cap
    • H01L2924/1615—Shape
    • H01L2924/16151—Cap comprising an aperture, e.g. for pressure control, encapsulation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/161—Cap
    • H01L2924/1615—Shape
    • H01L2924/16152—Cap comprising a cavity for hosting the device, e.g. U-shaped cap

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

描述一种设备，其包括集成在同一半导体芯片封装中的影像传感器和光源驱动器电路。影像传感器包括可见光像素和深度像素。深度像素用于感测通过光源驱动信号产生的光。光源驱动信号通过光源驱动器电路产生。

Description

集成在同一半导体封装中的影像传感器和光源驱动器
技术领域
本发明通常涉及摄像头技术，且更具体地，涉及集成在同一半导体封装中的影像传感器和光源驱动器。
背景技术
许多现有的计算系统包括一个或多个传统的影像捕获摄像头，作为集成的外围装置。当前的趋势是通过将深度捕捉集成到其成像部件中而增强计算系统成像能力。深度捕捉例如可以用于执行各种智能物体辨识功能，例如面部辨识(例如用于安全系统解锁)或手势辨识(例如用于无触摸用户界面功能)。
一种深度信息捕捉方法被称为“飞行时间(time-of-flight)成像，其将来自系统的光发射到物体上，且针对影像传感器的多个像素的每一个测量光发出和其在传感器上反射的影像的接收之间的时间。通过飞行时间像素产生的影像对应于物体的三维轮廓，特征在于不同(x，y)像素位置每一个处的独一无二的深度测量(z)。
由于具有成像能力的许多计算系统是可动的(例如笔记本电脑、平板计算机、智能电话等)，光源(“照明器”)在系统中的集成以实现飞行时间操作提供了许多设计上的难题，例如成本难题，封装难题和/或功率消耗难题。
发明内容
描述一种设备，其包括集成在同一半导体芯片封装中的影像传感器和光源驱动器电路。影像传感器包括可见光像素和深度像素。深度像素用于感测通过光源驱动信号产生的光。光源驱动信号通过光源驱动器电路产生。
描述一种设备，其在同一半导体芯片封装中包括用于产生用于光源的驱动信号的器件，用于对从驱动信号产生且从物体反射的光做出响应以产生用于物体的模拟深度轮廓信息的器件，和用于将模拟深度轮廓信息数字化的器件。
附图说明
以下的描述和附随附图用于显示本发明的实施例。附图中：
图1a显示了集成的影像传感器和光源驱动器的图示；
图1b显示了集成的影像传感器和光源驱动器的另一图示；
图2显示了集成的影像传感器和光源驱动器的系统图；
图3a显示了光源驱动器的系统图；
图3b显示了核心光源驱动器的图；
图3c显示了光学输出功率电路图；
图4显示了正时和控制电路图；
图5a显示了通过集成的影像传感器和光源驱动器执行的第一方法；
图5b显示了通过集成的影像传感器和光源驱动器执行的第二方法；
图6a显示了集成的影像传感器和光源驱动器的另一实施例；
图6b显示了集成的影像传感器和光源驱动器的又一实施例；
图7显示了具有集成影像传感器和光源驱动器的2D/3D摄像头系统的实施例；
图8显示了具有2D/3D摄像头系统的计算系统，所述摄像头系统具有集成的影像传感器和光源驱动器。
具体实施方式
图1a和1b显示了集成的影像传感器和光源驱动器100的不同视图，其解决了背景技术中所述的一些问题。如在图1a和1b中所示的，集成的影像传感器和光源驱动器100包括RGBZ像素阵列芯片101，其堆叠在底层集成电路102上，所述底层集成电路具有模拟-数字(ADC)电路103，正时和控制电路104和光源驱动电路105。底层集成电路102安装在封装基板106上，使得像素阵列101和底层集成电路102完全包含在同一封装107中。
RGBZ像素阵列芯片101包括不同种类的像素，其一些对可见光(红色(R)，绿色(G)和蓝色(B))敏感且其他的对IR光敏感。RGB像素用于支持传统的“2D”可见影像捕获(传统的照片/视频获取)功能。IR敏感像素用于使用飞行时间技术支持3D深度轮廓成像。
具有传统的影像捕获和飞行时间深度捕获功能的摄像头系统通常包括：1)照明器(例如至少一个激光器、激光器阵列、LED或LED阵列，以产生用于飞行时间系统的IR光)；2)RGBZ像素阵列；3)用于照明器的驱动电路；和4)模拟-数字转换电路以及正时和控制电路，其与RGBZ像素阵列一起形成完整的影像传感器。这里，上述的项目1)和2)可被认为是摄像头系统的电光部件，且项目3)和4)可被认为是用于电光部件的支持电子器件。尤其是，图1a和1b的集成影像传感器和光源驱动器100在单个封装107中集成上述项目2)、3)和4)中的大多数(如果不是全部的话)，其与现有技术方法相比则提供这些项目的更便宜和/或更小的形状因素方案。
为了容易地绘制ADC电路103，正时和控制电路104以及光源驱动电路105不必按比例绘制且没有显示任何从像素阵列101下方露出的情况。可以想到一些方案可将ADC电路103、正时和控制电路104、光源驱动器105中任一个的全部或一些部分置于像素阵列101下方。
图1b显示了在底层半导体管芯102上堆叠的像素阵列101的横截面。如图1b所示，形成在底层集成电路102的顶表面上的导电球/凸部对准以与形成在像素阵列101的下表面上的导电球/凸部接触。
像素阵列101的下表面上的球/凸部连接到像素阵列基板中的相应导电贯穿孔，所述像素阵列基板电联接到形成在像素阵列101的金属化平面中的相应迹线。如本领域已知的，像素阵列101的金属化平面对嵌入在像素阵列基板的上表面中的任何晶体管提供偏压和/或信号以及提供通过像素阵列的像素产生的输出模拟感测信号。金属化平面可以是像素阵列基板上方的较大多层结构的一部分，像素阵列基板还包括滤波器(例如用于RGB像素的RGB滤波器和用于Z像素的IR滤波器)和微透镜。
下层IC 102还包括穿过基板的导电通孔，其将其金属化层电连接到其下层接触球/凸部。应注意，在对任何具体封装技术来说合适的情况下，图1b所示的一对接触球/凸部的任何球/凸部可以替换为垫/凸台，代替球/凸部。球/凸部/垫可以设置为阵列，围绕其相应管芯表面上的外围或其他设备。在替换方法中，取代形成在IC下侧上的球/凸部，IC可以包括围绕其周边的线连结垫，IC可以通过从这些垫连结到下层基板的表面的线而电联接到封装基板。
封装基板107可以用任何典型的平面板技术制造(例如具有导电和绝缘平面的交替层，其中绝缘平面包括例如FR4、陶瓷等中的任何一种)。如图1b所示，封装基板107还具有导电球/凸部，用于电接触到摄像头系统，传感器和驱动器集成到该摄像头系统中。
图2显示了系统架构200的图示，其用于图1a和1b的集成影像传感器和光源驱动器100。如图2所示，光源驱动电路205将驱动信号211提供到照明器(未示出)。驱动信号的幅度确定从照明器发出的光的光功率。在一实施例中，照明器包括光检测器，其随通过照明器发出的光强度增加而产生更高幅度信号。根据图2的系统架构200，光检测器信号212通过光源驱动电路接收且并入到受控反馈回路，以控制驱动信号211的幅度。
驱动信号211还可以以正弦曲线或时钟信号的形式而被调制，以执行连续波发光。正时和控制电路204将调制信号提供到光源驱动电路205。在调制信号类似时钟信号的情况下，时钟信号的一个逻辑值对应于处于“开”的照明器，而另一逻辑值对应于处于“关”的照明器。如此，照明器以开-关-开-关的方式将光闪烁到摄像头的视野。在各种实施例中，照明器的光源(一个或多个)可以布置为垂直腔侧发射激光二极管(VCSEL)或发光二极管(LED)的阵列，其每一个联接到相同阳极端子和相同阴极端子(使得阵列的所有VCSEL/LED一起打开和关闭)，且其中，从光源驱动器205而来的驱动信号211联接到阵列的阳极或阴极中之一。
通过根据照明器的光被闪烁为“开”的时间和在传感器处接收闪烁的反射光的时间之间的时间而产生电荷，RGBZ像素阵列201的“Z”像素有效地执行“3D”飞行时间深度测量。Z像素从正时和控制电路204接收时钟信号，其每一个具有与照明器的时钟信号的已知相位关系。在一个实施例中，存在四种时钟信号(例如0°、90°，180°和270°正交臂(quadrature arms))，其被提供到像素阵列201的每一个区域(在该处测量深度值)。
这里，由不同相的时钟计时的Z像素将收集用于相同光闪烁的不同电荷量。从在传感器的相同/附近区域中被不同地计时的Z像素收集的电荷信号可组合以产生用于传感器区域的具体飞行时间值。在典型的实施方式中，这种组合通过具有影像信号处理器的主机系统制造(例如处理器或应用处理器)。如此，ADC电路203通常将代表通过各Z像素收集的电荷的模拟信号转换为数字值，该数字值被发送到主机系统，所述主机系统随后从数字化的像素值计算深度信息。在其他实施例中，各种形式的影像信号处理(包括但不限于来自像素的计算深度信息)可以通过在主机侧外部的逻辑电路执行(例如设置在包括影像传感器的同一半导体芯片上或包括在摄像头周边的一些其他半导体芯片上的逻辑电路)。
RGBZ像素阵列201的RGB像素用于“2D”的传统影像捕捉且在摄像头的视野中分别对红色、绿色和蓝色的可见光敏感。ADC电路203也从像素阵列201的RGB像素接收模拟信号且将它们转换为数字值，所述数字值被发送到主机系统。虽然通常方法包括用于可见影像捕捉的RGB像素，但是其他实施例可以使用不同色彩的像素方案(例如蓝绿色、紫红色和黄色)。
正时和控制电路204产生相应的时钟信号，其被发送到光源驱动器205、像素阵列201、和ADC电路203。其他信号(例如响应于从主机系统接收且存储在配置寄存器208中的命令或配置信息而产生的控制信号)也可以从正时和控制电路产生。为了易于绘制的目的，图1a和1b未显示图2的配置寄存器208。
应注意，因为传统的影像传感器不具有集成的照明器驱动器，因此传统的影像传感器正时和控制电路仅产生用于影像传感器部件的控制和时钟信号(例如ADC电路203和像素阵列201)。相反，各种实施例中的正时和控制电路204可以被认为是独特的，因为除了提供用于影像接收的时钟和控制信号，其还产生用于光源驱动电路205的正时和控制电路。应注意，从结构上说，也产生用于光源驱动电路的正时和/或控制信号的影像传感器正时和控制电路被认为是独特的，而不论光源驱动电路是否集成在具有影像传感器正时和控制电路的同一相同半导体芯片上。
图3a到3c显示了图2的激光驱动电路205的一些方面。如3a所示，可看到激光驱动电路305包括核芯驱动电路301和功率控制电路302。核芯驱动电路301提供通过光源驱动的驱动电流。核芯驱动电路301还接收作为用于驱动信号的调制信号303的波形(例如时钟信号、正弦曲线等)。如上所述，调制信号确定光源闪烁的方式的正时。
光学输出功率控制电路302为核芯驱动电路301提供信号304，其设定驱动信号的振幅。驱动信号振幅又确定通过光源发出的光功率。在一实施例中，功率控制电路302还从光源阵列接收光电二极管电流(或表示RMS或其平均值)。如在下文更详细描述的，光电二极管电流提供目前正通过光源发出的光学输出功率的表示，且光学输出功率控制电路302使用光检测器电流作为进入受控反馈回路的输入。光学输出功率控制电路302还可以接收超越控制光功率值，其超越控制例如用于测试或制造环境的上述反馈回路。这些特征每一个将在下文更全面地描述。
图3b显示了核芯驱动电路301的实施例。如图3a所示，核芯驱动器301包括多个驱动器“切片(slice)”310，其每一个具有驱动晶体管和启用门。为了建立用于核芯驱动器301的具体驱动强度，核芯驱动器301配置为接收输入信息311，所述输入信息限定要启用的切片的数量。根据图3的具体实施例，输入信息采取总线的形式，总线的每一个导线对应于用于具体切片的启用/停用信号。
驱动器切片每一个还包括时钟信号输入312，以接收数字时钟信号。时钟信号对通过启用切片的驱动晶体管而获取的电流进行调制，使得光源以如上所述的开-关-开-关的顺序闪烁。因为驱动器切片组提供大输入电容作为时钟信号输入，因此具有足够输出电流驱动强度以驱动时钟信号输入电容的逆变驱动缓冲器313被联接到时钟信号输入312。图3b所示，逆变驱动缓冲器313和先前的缓冲器/逆变器314形成上吹链(fan-up chain)，以增加驱动缓冲器313的驱动强度。上吹链包括一系列缓冲器/逆变器，其中链中的每一个缓冲器/逆变器提供比其先前的缓冲器/逆变器更大的输出驱动强度。由此，每个缓冲器/逆变器输出驱动强度在该链中基本上经放大地向前运动。在图3b的实施例中，四个逆变器在逆变驱动缓冲器313的输出处生产足够的驱动强度。
核芯驱动电路301包括特殊的绝缘的上和下电源导轨VDD_DRVR 316和VSS_DRVR317。在一实施例中，这些电源导轨316、317每一个通过相应外部断开管芯电压调节器(未示出)供应，所述调节器专用于核芯驱动电路。核芯驱动器的半导体芯片的多个I/O(球/垫)用于每一个导轨，以确保调节器和集成传感器/驱动器封装之间的低电阻。
在半导体管芯被通过导线连结到封装基板的实施例中，IC的多个垫用于两导轨，且多个垫每一个连结到封装基板(再次，用于降低封装基板和半导体芯片之间的电阻)。这里，由于核芯驱动电路可以驱动大量的电流，沿供电导轨保持低电阻使得经过IC线连接的功率损耗保持较低。
核芯驱动电路301还包括其他电路，以用于静电放电(ESD)保护和与半导体芯片上的其他电路绝缘。对于ESD保护，可以得知，连接到封装I/O的核芯驱动电路301的任何节点可以接收大量ESD电荷。这些节点包括VDD_DRVR 316、VSS_DRVR 317和光源驱动信号输出节点318中的任一个。为了保护核芯驱动电路301，核芯驱动电路301应该包括在电路301以外的电流路径，它们应该从这些节点316、317、318任何一个接收静电放电。
图3b显示了在VDD_DRVR节点316被充电情况下的在电路310以外的第一电流路径320、在驱动信号输出318被充电情况下在电路310以外的第二电流路径321、和在VSS_DRVR节点317被充电情况下在电路以外的第三电流路径(一个或多个)322。这些路径320、321、322流动进入半导体管芯的“其他”VSS节点(例如通过半导体管芯的电路使用的VSS节点，而非核芯驱动器301)。
应注意，这些路径320、322中的一些流动通过旁路电容器323，其位于VDD_DRVR和VSS_DRVR节点之间。旁路电容器323和ESD钳位电路324也有助于防止因被充电而跨经VDD_DRVR 316和VSS_DRVR 317节点的产生大的有破坏性的电压差。同样，通过保护性钳位二极管325，防止了在光源驱动输出处产生大电压。
在驱动光源的过程中，核芯驱动电路301可以要求驱动大量电流且因此往往用作半导体管芯上或封装中的其他电路的噪声源。如此，核芯驱动电路301还包括多个隔离特征。
第一隔离特征是如上所述的分开的VDD_DRVR和VSS_DRVR供电导轨316、317，其被它们各自的电压调节器驱动(即在电压调节器不驱动除了VDD_DRVR和VSS_DRVR导轨以外的其他电路的实施例中)。第二隔离特征是隔离钳位器326、327，其位于核芯驱动电路和其他VSS节点之间的两接触点处。这里，在核芯驱动电路以外的ESD保护路径有效地将VSS_DRVR节点联接到其他VSS节点。这种联接可允许通过核芯驱动电路301产生的噪声到达半导体管芯中的其他电路。隔离钳位器326、327有助于压制这种噪声耦合。
通过例如深N井技术这样的“深井(deep well)”技术，第四隔离特征实施核芯驱动器的晶体管。深井技术将有源装置嵌入到第一掺杂物极性(例如P)的井中。在基板的更深处，第一井嵌入到相反极(例如N)的更大井中，其本身被嵌入到第一掺杂极(例如P)的基板中。相反极的接合部有效地在有源装置和基板之间形成噪声屏障。在一些实施例中，有源装置还可以位于更大的井。
第五隔离特征识别通过核芯驱动电路产生的高电流可以产生热载流子，其引起光子的产生。光子的产生又可以与传感器阵列的操作干涉。如此，在一个实施例中，集成电路的金属化层中之一用于在核芯驱动电路上方形成固体导电材料(例如金属)的宽/大表面面积。核芯驱动器上方的大导电区域用作屏蔽件，其应该基本上防止通过核芯驱动器301产生的任何光子到达例如像素阵列的其他电路。
图3c显示了功率控制电路302的实施例。如图3c所示，功率控制电路302包括有限状态机330。如本领域已知的，有限状态机330通常包括在寄存器332前方的组合逻辑331，其中寄存器状态被反馈到组合逻辑331且组合逻辑331还接收另一独立输入333。在一实施例中，组合逻辑331通过查找表实施(例如通过内容可寻址的寄存器或存储器单元实施)。在其他实施例中，组合逻辑331可以通过硬连线的(hardwired)逻辑电路或查找表和硬连线的逻辑实施方式的组合而实施。
寄存器状态对应于功率控制电路302的输出且限定哪个核芯驱动器切片要被启用。被提供到有限状态机的组合逻辑331的独立输入333对应于光检测器电流。这里，假定光源阵列包括光电二极管，其提供与光源阵列发出的光的实际强度成比例的输出信号(在光学信号是周期性信号的形式的情况下，可以利用光电流的平均值或均方根值(RMS))。光检测器信号被ADC电路334转换为数字形式且被提供到组合逻辑331。组合逻辑331确定多个核芯驱动器切片，以根据被启用的核芯驱动器切片的当前数量和当前光检测器电流而启用。
在替换实施方式中，有限状态机可以被具有回路滤波器的更传统的受控反馈回路替换，所述回路滤波器产生信号，该信号的值表示通过将偏差信号进行集成而启用的切片的数量，所述偏差信号例如从期望光功率信号和从光检测器信号获得的实际光功率信号产生。传统的反馈回路可以通过数字和/或模拟电路实施。
特别地，功率控制电路还包括超控(over-ride)多路复用器335，以有效地超控从有限状态机而来的切片的确定数量，且代替地提供要启用的切片数量的更定制化的表示。超控例如可用于设定比通常情况更强的光学输出信号，以模拟比实际情况更靠近目标物体的照明器，或设定比通常情况更弱的光学输出信号，以模拟比实际情况更远离目标物体的照明器的存在。
定制数量的切片可以直接从配置寄存器空间提供，或可以从查找表(LUT)、硬连线的逻辑或其他电路335提供，其确定正确数量的核芯驱动器切片，以响应于用于任何以下配置寄存器空间的用户提供的值而启用：1)光学输出功率；2)模拟的额外远离距离；3)模拟的额外较近距离。配置寄存器空间还可以包括“超控启用”参数，其用于设定超控多路复用器335的通道选择输入(使得如果超控被启用则使用用户提供的值)。
图4显示了用于激光驱动电路和像素阵列的时钟电路。图4的时钟电路还可以将时钟信号提供到ADC电路。如图4所示，时钟电路可看作是图1a、b和2的正时和控制电路104、204的部件。
如图4所示，时钟电路包括用作时钟源的锁相回路(PLL)电路410。PLL的时钟信号输出联接到IQ图块411，其产生了PLL时钟信号的四个不同相(0°，90°，180°和270°)。所有四相的时钟信号发送到像素阵列和相位内插器414。相位内插器414提供时钟信号415，该时钟信号被作为调制信号引导到核芯驱动电路。相位内插器414是延迟锁定回路(DLL)，其改变时钟信号415的相定位，以便消除被引导到像素阵列的时钟信号416和被引导到核芯驱动器的时钟信号415之间的时序偏差(相位误差)。
这里，如上所述，飞行时间技术测量通过照明器闪烁光的时间和在像素阵列处感测到其反射的时间之间的时间差。任何未说明的这些时间之间的差被重制作为飞行时间测量的误差或不准确度和从其确定的轮廓距离信息。如此，提供到核芯驱动器中的驱动晶体管的时钟信号312、412和提供到像素阵列的时钟416之间的控制偏差对飞行时间测量的准确性具有直接影响。
如此，DLL包括相位检测器417，其将提供到核芯驱动电路切片的驱动晶体管312、412的时钟信号和被引导到像素阵列的0°相时钟信号416_1之间的相位差进行比较。响应于这两个之间的任何相位差，相位检测器417通过降低偏差的相位内插器414产生指示矫正方向的偏差信号。在替换的实施方式中，并非使用从缓冲器313而来的输出作为到相位检测器417的输入，输出被输送到缓冲器313的更下游，例如核芯驱动器输出318。因为核芯驱动器输出318可以包括一些额外传输延迟，其超过缓冲器313而被置于驱动信号中，所以在核芯驱动器输出318处分接(tapping)驱动信号实际上在发出光学信号的正时边缘方面是更准确的信号。在进一步实施方式中，“虚拟切片(dummy slice)”可以在核芯输入315下游的任何地方联接到“模仿的”光源驱动信号或发出光学输出信号。例如，核芯驱动器301可以包括上吹逆变缓冲器、驱动器切片(一个或多个)和“假负载”电路(后者代表VCSEL或LED光源的负载)的“复制”组，以形成几乎与通过光源接收的信号或实际发出的光功率相同的信号。
从相位检测器417而来的偏差信号提供到回路滤波器418。回路滤波器418将偏差信号整合，以对相位内插器414产生控制信号，其调整被提供到核芯驱动电路的时钟信号415的相位，其针对之前检测到的偏差进行了修正。理想地，达到稳态，在所述稳态中在提供到驱动器晶体管的信号和发送到像素阵列的0°相位信号416_1之间没有相位差。从光源而来的光的实际发出和提供到驱动晶体管的信号的相位之间的任何其他时间差被固定和/或可例如从一个或多个传播延迟和可针对固定偏差调整的光源相应时间来确定。
到相位内插器414的DLL路径也被超控多路复用器419拦截，其允许用户例如在配置寄存器空间408中设置对回路滤波器418的输出的调整。例如，如果回路滤波器418的输出是相位内插器414用于设置时钟信号415的相位的电压水平，则根据从配置寄存器空间408而来的编程值，电路420可以增加或减小该电压增量水平。这里，将回路滤波器输出电压向上或向下调整的能力基本上允许用户对时钟信号415赋予相对于实际回路滤波器设定的相位滞后或相位提前，这又对应于对飞行时间测量专门赋予“偏差”。在各种实施方式中，相位内插器414可以接收数字字(digital word)，作为其控制信号，而不是模拟信号。如此，回路滤波器418可以实施为数字电路(例如数字累加器或有限状态机)。同样，电路420可以实施为数字电路(例如数字加法器/减法器)，以数字地改变回路滤波器的输出。
类似于如上针对图3c所述的光功率超控，对时钟信号415的相位专门施加偏差可用于模拟更靠近或更远离目标物体的摄像头系统。更具体地，光功率超控和DLL超控可一起用于模拟距物体某一距离(而非其实际距离)的摄像头。即，通过减小光功率和对时钟信号415赋予额外的延迟，RGBZ传感器的Z像素将接收强度减小且时间上更迟的信号，如摄像头比实际上更远离物体那样。相反，通过增加光功率和让时钟信号415的延迟在时间上变得更早，则RGBZ传感器的Z像素将接收时间上更早的增强强度的信号，如摄像头比实际上更靠近物体那样。
这里，应理解在光源和物体之间赋予模拟距离(其不同于光源和物体之间的实际距离)的一些替换实施例。如此描述的实施例包括调整光源驱动信号的幅度和相。可能，通过增加深度像素的增益以捕获更多电荷且因此从深度像素产生更高幅度信号，可模拟从更靠近物体而来的更强光学信号。同样，通过减小深度像素的增益以捕获更少的电荷且因此从深度像素产生较低幅度的信号，可模拟从更远离的物体而来的较弱光学信号。
这些技术的任何组合可以用于实现期望的模拟距离。如此，各种实施例可以包括响应于模拟距离配置设定而相应地调整深度像素增益的深度像素增益调整电路。
另外，相位内插器电路可以用于驱动深度像素时钟信号(例如代替光源驱动信号)，以对深度像素时钟信号施加相位调整，以实现模拟距离。如此，更通常地，光源驱动器信号和深度像素时钟的相对相位可以被调整为在时间上更靠近在一起以模拟靠近的物体，且光源驱动器信号和深度像素时钟的相对相位可以被调整为在时间上更远离，以模拟更远离的物体。
用于改变时钟信号415的延迟的可编程寄存器空间408可以接收以下中的任意一个：1)设定要对回路滤波器输出做出的具体改变的值；2)经模拟的额外远离距离；3)经模拟的额外更近距离。上述项目2)和3)可以是相同配置空间，其用于设定光功率超控。在上述项目2)和3)的情况下，电路420包括用于基于期望模拟距离而确定要对回路滤波器输出做出的正确调整的电路。在一实施例中，项目2)和3)可以以具体增量指定模拟距离，且电路420以增量调整回路滤波器输出。
在一实施例中，回路滤波器418实施为模拟或混合的信号分量，其提供作为模拟信号(例如电压)的相位内插器控制信号。在另一实施例中，回路滤波器418实施为有限状态机，其通过数字值控制插入器。在之前的情况下，电路420调整模拟信号的水平，在后一情况下，电路420对数字值做加法/减法。配置寄存器408还可以包括寄存器空间，其确定DLL电路是否在存在或不存在来自电路420的调整的情况下运行。如图4所示，多路复用器419可以包括输入，以直接从配置寄存器空间408接收相位内插器控制输入，而没有从回路滤波器和电路420而来的任何部件。响应性地建立多路复用器419的通道选择输入。在进一步实施例中，回路滤波器418本身的参数(例如时间常数、极频率、有限状态机组合逻辑、查找表值等)可从寄存器408配置。
图4的正时和控制电路还可以产生其他正时和控制信号，例如用于ADC电路的正时和控制信号，ADC电路使得从像素阵列的RGB可见影像捕获像素以及其自己的RGB可见影像捕获像素而来的模拟信号数字化。出于简单的目的，用于产生这些正时和控制信号的电路在图4中未示出。
图5a显示了第一方法，其可通过如上所述的集成影像传感器和光源驱动器执行。如图5a所示，第一方法包括在同一半导体芯片封装过程中执行以下过程：产生用于光源的驱动信号；对从驱动信号产生且从物体产生的光做出响应，以产生用于物体的模拟深度轮廓信息；以及使得模拟深度轮廓信息数字化。
图5b显示了第二方法，其可通过如上所述的集成影像传感器和光源驱动器执行。如图5b所示，第二方法包括将配置信息接收到配置寄存器空间中，以模拟光源和物体之间的距离，其与光源和物体511之间的实际距离不同。方法还包括通过光源驱动器产生光源驱动信号512。方法还包括通过深度捕获像素感测光，所述光通过光源驱动信号产生且从物体反射，其中，光源驱动信号和被引导到深度捕获像素的时钟的相对相位被调整，以实现模拟距离，且其中通过所述深度捕获像素感测的信号幅度被调整以实现模拟距离513。
图6a和6b显示了集成的影像传感器和光源驱动器的替换实施例。如图6a所示，ADC电路603位于与像素阵列601相同的上半导体管芯610上，代替位于具有光源驱动电路605的下半导体管芯602。如图6b所示，上半导体管芯610是完整的影像传感器，其具有像素阵列601、ADC电路603和正时和控制电路604。下半导体管芯610具有光源驱动电路605。其他实施例可以具有ADC电路、正时和控制电路、和在上半导体管芯和下半导体管芯两者上的光源驱动器中任何一个的不同部分。
图7显示了集成的传统摄像头和飞行时间成像系统700。系统700具有用于与更大系统/母板电接触的连接件701，例如笔记本电脑、平板电脑或智能电话的系统/母板。取决于布局和实施方式，连接件701可以连接到柔性线缆，例如实现与系统/母板的实际连接，或连接件701可以直接接触系统/母板。
连接件701固定到平面板702，其可以实施为具有交替的导电层和绝缘层的多层结构，其中导电层被设计样式以形成电子迹线，其支持系统700的内部电连接。通过连接件701从更大主机系统接收命令，例如配置命令，其对摄像头系统700的配置寄存器写入/读取配置信息。
RGBZ影像传感器和光源驱动器703集成到同一半导体管芯封装中，所述导体管芯封装在接收透镜702下方安装到平面板702。RGBZ影像传感器包括像素阵列，其具有不同种类的像素，其一些对可见光敏感(具体是，对可见红色光敏感的R像素的子组，对可见绿色光敏感的G像素的子组，和对蓝色光敏感的B像素的子组)且其中其他一些对IR光敏感。RGB像素用于支持传统的“2D”可见影像捕获(传统的照片获取)功能。IR敏感像素用于使用飞行时间技术支持3D深度轮廓成像。虽然基本实施例包括用于可见影像捕捉的RGB像素，但是其他实施例可以使用不同色彩的像素方案(例如蓝绿色、紫红色和黄色)。集成影像传感器和光源驱动器703还可以包括ADC电路，用于对从影像传感器和正时和控制电路而来的信号数字化，用于产生用于像素阵列、ADC电路和光源驱动电路的时钟和控制信号。
平面板702也可以包括信号迹线，以承载数字信息，其通过ADC电路提供到连接件701，用于通过主机计算系统的更高端部件处理，例如影像信号处理管线(例如其集成在应用处理器上)。
摄像头透镜模块704集成在集成的RGBZ影像传感器和光源驱动器703上方。摄像头透镜模块704含有一个或多个透镜系统，其将接收的光聚焦穿过集成影像传感器和光源驱动器703的孔洞。因为摄像头透镜模块对可见光的接收会与通过影像传感器的飞行时间像素对IR光的接收相干涉，且反之，由于摄像头模块对IR光的接收会与通过影像传感器的RGB像素对可见光的接收相干涉，使用影像传感器的像素阵列和透镜模块703中之一或两者可以包含系统滤波器，其布置为基本上阻挡要被RGB像素接收的IR光，且基本上阻挡要通过飞行时间像素接收的可见光。
包括在孔洞706下方的光源阵列707的照明器705还安装在平面板701上。光源阵列707可以实施在半导体芯片上，所述半导体芯片安装到平面板701。集成在与RGBZ影像传感器同一封装703中的光源驱动器联接到光源阵列，以使得其发出具有特定强度和模制波形的光。
在一实施例中，图7的集成系统700支持三个运行模式：1)2D模式；2)3D模式；和3)2D/3D模式。在2D模式情况下，系统用作传统的摄像头。如此，照明器705停用且影像传感器用于通过其RGB像素接收可见影像。在3D模式的情况下，系统捕捉照明器705的视野中物体的飞行时间深度信息。如此，照明器705启用且向物体发出IR光(例如开-关-开-关...的顺序)。IR光从物体反射，通过摄像头透镜模块704接收且被影像传感器的飞行时间像素感测。在2D/3D模式的情况下，如上所述的2D和3D模式同时启用。
图8显示了示例性计算系统800的图示，例如个人计算系统(例如桌面或笔记本电脑)或移动或手持计算系统，例如平板装置或智能电话。如图8所示，基本计算系统可以包括中央处理单元801(其可以例如包括多个通用目的处理核心)和设置在应用处理器或多核芯处理器850上的主存储器控制器817、系统存储器802、显示器803(例如触摸屏、平面显示器)、局部有线点-点连接(例如USB)接口804、各种网络I/O功能805(例如以太网接口和/或调制解调器子系统)、无线局部区域网络(例如WiFi)接口806、无线点-点链接(例如Bluetooth)接口807和全球定位系统接口808、各种传感器809_1到809_N、一个或多个摄像头810、电池811、功率管理控制单元812、扬声器和麦克风813和音频编码器/译码器814。
应用处理器或多核芯处理器850可以包括在其CPU 401中的一个或多个通用目的处理核芯，一个或多个图像处理单元816，主存储器控制器817，I/O控制功能818，和一个或多个影像信号处理器管线819。通用目的处理核心815通常执行操作系统和计算系统的应用软件。图像处理单元816通常执行图像加强功能，例如用于产生图像信息，其在显示器803上提供。存储器控制功能817与系统存储器802接口连接。影像信号处理管线819从摄像头接收影像信息且处理原始影像信息以用于在下游使用。功率管理控制单元812通常控制系统800的功率消耗。
每一个触摸屏显示器803、通信接口804–807、GPS接口808、传感器809、摄像头810、和扬声器/麦克风编解码器813、814都可相对于总体计算系统具有各种形式的I/O(输入和/或输出)，在适当情况下总体计算系统还包括集成的外围装置(例如一个或多个摄像头810)。取决于实施方式，这些I/O部件中的一些可以集成在应用处理器/多核心处理器850上或可以定位为远离管芯或在应用处理器/多核心处理器850的封装以外。
在一实施例中，一个或多个摄像头810包括集成的传统可见影像捕获和飞行时间深度测量系统，其具有集成在同一半导体芯片封装中的RGBZ影像传感器和光源驱动器。在应用处理器或其他处理器的通用目的CPU核心(或具有指令执行管线以执行程序代码的其他功能块)上执行的应用软件、操作系统软件、装置驱动软件、和/或固件可以将命令发送到摄像头系统和从摄像头系统接收影像数据。
在命令的情况下，命令可以包括进入或离开任何如上所述的2D、3D或2D/3D系统状态。另外，命令可以发送到集成影像传感器和光源驱动器的配置空间，以执行针对图1a、b到6a、b如上所述的任何配置设定，包括但不限于使得集成的影像传感器和光源驱动器模拟摄像头更靠近或更远离摄像头实际视野中的物体的配置。
本发明的实施例可以包括如上所述的各种过程。过程可以实施在机器可执行指令中。指令可用于使得通用目的或特殊目的处理器执行某些过程。替换地，这些过程可以通过具体硬件部件执行，其包用于执行过程的包括硬连线的逻辑，或通过编程计算机部件和定制硬件部件的任何组合执行。
本发明的元件还可以作为用于存储机器可执行指令的机器可读介质提供。机器可读介质可以包括但不限于软盘、光盘、CD-ROM和磁光盘、FLASH存储器、ROM、RAM、EPROM、EEPROM、磁卡或光卡、传播介质或适用于存储电子指令的其他类型介质/机器可读介质。例如，本发明可以被下载作为计算机程序，其可以通过实施在载波或其他传播介质中的数据信号经由通信链路(例如调制解调器或网络连接)而从远程计算机(例如服务器)传递到要求的计算机(例如客户)。
在前述说明书中，已经针对其本发明的示例性实施例描述了本发明。但是，应理解可以对其做出各种修改和改变，而不脱离所附权利要求所述的本发明的精神和范围。说明书和附图因此应被认为是示例性的而不是限制性的。

Claims (22)

1.一种设备，包括:
影像传感器和光源驱动器电路，集成在同一半导体芯片封装中，所述影像传感器包括可见光像素和深度像素，所述深度像素用于感测通过光源驱动信号产生的光，所述光源驱动信号通过所述光源驱动器电路产生。
2.如权利要求1所述的设备，其中影像传感器包括设置在第一半导体芯片上的像素阵列，所述第一半导体芯片设置在第二半导体芯片上，所述第二半导体芯片具有所述光源驱动器电路。
3.如权利要求2所述的设备，其中所述第二半导体芯片具有模拟-数字转换电路，以将通过所述深度像素产生的模拟信号数字化。
4.如权利要求2所述的设备，其中所述第二半导体芯片具有正时和控制电路，以产生用于所述深度像素的相应时钟信号。
5.如权利要求4所述的设备，其中所述正时和控制电路包括延迟锁定回路电路，其具有相位比较器，所述相位比较器将所述光源驱动信号和通过所述深度像素接收的时钟信号的相应相位进行比较。
6.如权利要求5所述的设备，其中所述光源驱动器电路包括联接到所述光源驱动器电路的输出的一个或多个晶体管，以驱动所述光源驱动信号，其中所述一个或多个晶体管的栅极节点联接到所述相位比较器。
7.如权利要求2所述的设备，其中所述第二半导体芯片具有在其基板中的导电通孔，所述基板联接到所述半导体封装的底表面上的导电球和/或凸部。
8.如权利要求1所述的设备，其中所述光源驱动器电路包括输入端，用于接收通过光源的光检测器产生的信号，所述光检测器接收所述光源驱动信号。
9.一种方法，包括：
在同一半导体芯片封装中执行以下步骤：
产生用于光源的驱动信号；
对从驱动信号产生且从物体产生的光做出响应，以产生用于所述物体的模拟深度轮廓信息；和，
使得模拟深度轮廓信息数字化。
10.如权利要求9所述的方法，进一步包括产生用于所述驱动信号的第一时钟信号，所述第一时钟信号基本上与用于所述深度像素的第二时钟信号同相位，所述深度像素产生所述模拟深度轮廓信息。
11.如权利要求10所述的方法，进一步包括将数字化的模拟深度轮廓信息发送到主机系统。
12.如权利要求9所述的方法，进一步包括在所述半导体封装中执行以下步骤：
通过可见光像素对可见光做出响应，以产生模拟可见影像信号；
将所述模拟可见影像信号数字化。
13.一种计算系统，包括：
一个或多个通用目的处理核心；
存储器控制器，联接到所述一个或多个通用目的处理核心；
系统存储器，联接到所述存储器控制器；
影像信号处理器；
摄像头，联接到影像信号处理器，所述摄像头包括：
影像传感器和光源驱动器电路，集成在同一半导体芯片封装中，所述影像传感器包括可见光像素和深度像素，所述深度像素用于感测通过光源驱动信号产生的光，所述光源驱动信号通过所述光源驱动器电路产生。
14.如权利要求13所述的计算系统，其中所述计算系统是移动装置。
15.如权利要求13所述的计算系统，其中影像传感器包括设置在第一半导体芯片上的像素阵列，所述第一半导体芯片设置在第二半导体芯片上，所述第二半导体芯片具有所述光源驱动器电路。
16.如权利要求15所述的计算系统，其中所述第二半导体芯片具有模拟-数字转换电路，以将通过所述深度像素产生的模拟信号数字化。
17.如权利要求15所述的计算系统，其中所述第二半导体芯片具有正时和控制电路，以产生用于所述深度像素的相应时钟信号。
18.如权利要求17所述的计算系统，其中所述正时和控制电路包括延迟锁定回路电路，其具有相位比较器，所述相位比较器将所述光源驱动信号和通过所述深度像素接收的时钟信号的相应相位进行比较。
19.如权利要求18所述的计算系统，其中所述光源驱动器电路包括联接到所述光源驱动器电路的输出端的一个或多个晶体管，以驱动所述光源驱动信号，其中所述一个或多个晶体管的栅极节点联接到所述相位比较器。
20.如权利要求15所述的计算系统，其中所述第二半导体芯片具有在其基板中的导电通孔，所述基板联接到所述半导体封装的底表面上的导电球和/或凸部。
21.一种设备，包括:
半导体芯片，包括联接到正时和控制电路的像素阵列，所述像素阵列和所述正时和控制电路用于实施飞行时间测量系统，所述正时和控制电路具有输出端，以将信号提供到所述飞行时间测量系统的光源驱动器电路。
22.如权利要求22所述的设备，其中所述光源驱动器集成在所述半导体芯片上。
CN201580036250.3A 2014-12-22 2015-10-22 集成在同一半导体封装中的影像传感器和光源驱动器 Active CN106574973B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/579,825 2014-12-22
US14/579,825 US9581696B2 (en) 2014-12-22 2014-12-22 Image sensor and light source driver integrated in a same semiconductor package
PCT/US2015/056908 WO2016105656A1 (en) 2014-12-22 2015-10-22 Image sensor and light source driver integrated in a same semiconductor package

Publications (2)

Publication Number Publication Date
CN106574973A true CN106574973A (zh) 2017-04-19
CN106574973B CN106574973B (zh) 2019-06-11

Family

ID=56129152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580036250.3A Active CN106574973B (zh) 2014-12-22 2015-10-22 集成在同一半导体封装中的影像传感器和光源驱动器

Country Status (4)

Country Link
US (4) US9581696B2 (zh)
EP (2) EP3940423A3 (zh)
CN (1) CN106574973B (zh)
WO (1) WO2016105656A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756652A (zh) * 2017-11-01 2019-05-14 浙江舜宇智能光学技术有限公司 Tof摄像模组及其制造方法
CN110412604A (zh) * 2019-07-30 2019-11-05 苏州春建智能科技有限公司 一种应用于汽车舱室内的三维视觉感知传感系统
CN113727043A (zh) * 2020-05-25 2021-11-30 爱思开海力士有限公司 图像感测装置
CN113938584A (zh) * 2020-06-26 2022-01-14 爱思开海力士有限公司 图像感测装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9749569B2 (en) * 2015-12-22 2017-08-29 Omnivision Technologies, Inc. High speed rolling image sensor with ADM architecture and method of implementing thereof
US10416292B2 (en) 2016-05-24 2019-09-17 Veoneer Us, Inc. Direct detection LiDAR system and method with frequency modulation (FM) transmitter and quadrature receiver
US10838062B2 (en) 2016-05-24 2020-11-17 Veoneer Us, Inc. Direct detection LiDAR system and method with pulse amplitude modulation (AM) transmitter and quadrature receiver
US10473784B2 (en) 2016-05-24 2019-11-12 Veoneer Us, Inc. Direct detection LiDAR system and method with step frequency modulation (FM) pulse-burst envelope modulation transmission and quadrature demodulation
US10145941B2 (en) * 2016-07-26 2018-12-04 Toyota Motor Engineering & Manufacturing North America, Inc. LIDAR sensor attached to an actuator
KR102619666B1 (ko) 2016-11-23 2023-12-29 삼성전자주식회사 이미지 센서 패키지
JP2018137569A (ja) * 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 測距装置、および測距方法
CN107392710B (zh) * 2017-07-20 2021-01-19 宁波大学 一种个性化产品的远程智能定制加工方法
WO2019033303A1 (zh) * 2017-08-16 2019-02-21 深圳市汇顶科技股份有限公司 图像传感电路及图像深度传感系统
US10613200B2 (en) 2017-09-19 2020-04-07 Veoneer, Inc. Scanning lidar system and method
US11460550B2 (en) 2017-09-19 2022-10-04 Veoneer Us, Llc Direct detection LiDAR system and method with synthetic doppler processing
US10838043B2 (en) 2017-11-15 2020-11-17 Veoneer Us, Inc. Scanning LiDAR system and method with spatial filtering for reduction of ambient light
US11194022B2 (en) 2017-09-29 2021-12-07 Veoneer Us, Inc. Detection system with reflection member and offset detection array
US10684370B2 (en) * 2017-09-29 2020-06-16 Veoneer Us, Inc. Multifunction vehicle detection system
US11585901B2 (en) 2017-11-15 2023-02-21 Veoneer Us, Llc Scanning lidar system and method with spatial filtering for reduction of ambient light
JP2019165312A (ja) * 2018-03-19 2019-09-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
US10985203B2 (en) * 2018-10-10 2021-04-20 Sensors Unlimited, Inc. Sensors for simultaneous passive imaging and range finding
US11579257B2 (en) 2019-07-15 2023-02-14 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11474218B2 (en) 2019-07-15 2022-10-18 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
KR102427559B1 (ko) * 2019-10-22 2022-08-01 주식회사 아모센스 거리센서 모듈
US11313969B2 (en) 2019-10-28 2022-04-26 Veoneer Us, Inc. LiDAR homodyne transceiver using pulse-position modulation
WO2021248427A1 (zh) * 2020-06-12 2021-12-16 深圳市汇顶科技股份有限公司 深度传感装置以及相关电子装置及深度传感装置的操作方法
US12044800B2 (en) 2021-01-14 2024-07-23 Magna Electronics, Llc Scanning LiDAR system and method with compensation for transmit laser pulse effects
US11326758B1 (en) 2021-03-12 2022-05-10 Veoneer Us, Inc. Spotlight illumination system using optical element
US11732858B2 (en) 2021-06-18 2023-08-22 Veoneer Us, Llc Headlight illumination system using optical element
US12092278B2 (en) 2022-10-07 2024-09-17 Magna Electronics, Llc Generating a spotlight

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636150B1 (en) * 2006-12-01 2009-12-22 Canesta, Inc. Method and system to enhance timing accuracy for time-of-flight systems
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
CN103777750A (zh) * 2012-10-23 2014-05-07 三星电子株式会社 包括图像传感器的移动系统和图像传感器的操作方法
CN104025295A (zh) * 2011-09-21 2014-09-03 科磊股份有限公司 用于高速图像获取的基于中介层的成像传感器及检验系统

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345435A (en) * 1991-08-30 1994-09-06 Sony Corporation Optical disc and method for recording on optical disc
US6831688B2 (en) * 2002-04-08 2004-12-14 Recon/Optical, Inc. Multispectral or hyperspectral imaging system and method for tactical reconnaissance
US7830442B2 (en) 2002-04-30 2010-11-09 ARETé ASSOCIATES Compact economical lidar system
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7423335B2 (en) 2006-12-29 2008-09-09 Advanced Chip Engineering Technology Inc. Sensor module package structure and method of the same
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR20100107995A (ko) 2009-03-27 2010-10-06 삼성전기주식회사 광 픽업용 광 검출기 집적회로의 포토 다이오드 셀 구조 및그 제조방법
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8125367B2 (en) 2009-08-06 2012-02-28 Irvine Sensors Corp. AM chirp LADAR readout circuit and module
KR101044109B1 (ko) 2009-08-18 2011-06-28 삼성전기주식회사 렌즈 구동 모듈
KR101044140B1 (ko) 2009-09-11 2011-06-24 삼성전기주식회사 렌즈 구동 모듈
KR101044219B1 (ko) 2009-10-19 2011-06-29 삼성전기주식회사 렌즈 구동 모듈
KR101022938B1 (ko) 2009-11-10 2011-03-16 삼성전기주식회사 카메라모듈의 손떨림 보정기구
KR101156872B1 (ko) 2009-12-18 2012-06-20 삼성전기주식회사 렌즈 구동 모듈
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9179106B2 (en) * 2009-12-28 2015-11-03 Canon Kabushiki Kaisha Measurement system, image correction method, and computer program
KR101077408B1 (ko) 2010-02-05 2011-10-26 서강대학교산학협력단 Ｃｍｏｓ 이미지 센서
KR101711061B1 (ko) 2010-02-12 2017-02-28 삼성전자주식회사 깊이 추정 장치를 이용한 깊이 정보 추정 방법
KR101652933B1 (ko) * 2010-02-17 2016-09-02 삼성전자주식회사 센서, 이의 동작 방법, 및 이를 포함하는 거리 측정 장치
US10496714B2 (en) 2010-08-06 2019-12-03 Google Llc State-dependent query response
US8381976B2 (en) * 2010-08-10 2013-02-26 Honeywell International Inc. System and method for object metrology
US8542348B2 (en) * 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations
KR20120057216A (ko) * 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR20120079646A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US8847919B2 (en) 2011-02-02 2014-09-30 Apple Inc. Interactive holographic display device
US8648952B2 (en) * 2011-02-14 2014-02-11 Analog Devices, Inc. Timing generator and method of generating timing signals
KR101861765B1 (ko) * 2011-03-03 2018-05-29 삼성전자주식회사 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US9229096B2 (en) * 2011-07-27 2016-01-05 Semiconductor Components Industries, Llc Time-of-flight imaging systems
KR101289094B1 (ko) 2011-07-29 2013-07-23 삼성전기주식회사 선형 모터
KR101289142B1 (ko) 2011-11-28 2013-07-23 삼성전기주식회사 발광다이오드 패키지 모듈
US9294754B2 (en) * 2012-02-03 2016-03-22 Lumentum Operations Llc High dynamic range and depth of field depth camera
US8981511B2 (en) 2012-02-29 2015-03-17 Semiconductor Components Industries, Llc Multi-chip package for imaging systems
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR102009165B1 (ko) * 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US8908063B2 (en) * 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US9247109B2 (en) * 2013-03-15 2016-01-26 Samsung Electronics Co., Ltd. Performing spatial and temporal image contrast detection in pixel array
US10473461B2 (en) * 2013-04-01 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Motion-sensor device having multiple light sources
WO2014174779A1 (ja) * 2013-04-26 2014-10-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 複数の光源を有するモーションセンサ装置
US9182490B2 (en) * 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
JP6320272B2 (ja) * 2013-11-29 2018-05-09 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
US9357150B2 (en) * 2013-12-03 2016-05-31 Capso Vision Inc. Image sensor with integrated power conservation control
EP2890125B1 (en) * 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
KR20150139660A (ko) * 2014-06-03 2015-12-14 삼성전자주식회사 전자소자 패키지
KR102208965B1 (ko) * 2014-10-07 2021-01-28 삼성전자주식회사 3차원 이미지 센서 모듈 및 3차원 이미지 센서 모듈을 포함하는 전자 장치
US10110881B2 (en) * 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
KR102277900B1 (ko) * 2014-11-13 2021-07-15 삼성전자주식회사 3차원 이미지 센서 모듈을 포함하는 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636150B1 (en) * 2006-12-01 2009-12-22 Canesta, Inc. Method and system to enhance timing accuracy for time-of-flight systems
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
CN104025295A (zh) * 2011-09-21 2014-09-03 科磊股份有限公司 用于高速图像获取的基于中介层的成像传感器及检验系统
CN103777750A (zh) * 2012-10-23 2014-05-07 三星电子株式会社 包括图像传感器的移动系统和图像传感器的操作方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756652A (zh) * 2017-11-01 2019-05-14 浙江舜宇智能光学技术有限公司 Tof摄像模组及其制造方法
CN109756652B (zh) * 2017-11-01 2021-02-05 浙江舜宇智能光学技术有限公司 Tof摄像模组及其制造方法
CN110412604A (zh) * 2019-07-30 2019-11-05 苏州春建智能科技有限公司 一种应用于汽车舱室内的三维视觉感知传感系统
CN113727043A (zh) * 2020-05-25 2021-11-30 爱思开海力士有限公司 图像感测装置
CN113727043B (zh) * 2020-05-25 2024-06-18 爱思开海力士有限公司 图像感测装置
CN113938584A (zh) * 2020-06-26 2022-01-14 爱思开海力士有限公司 图像感测装置
US11764238B2 (en) 2020-06-26 2023-09-19 SK Hynix Inc. Image sensing device
CN113938584B (zh) * 2020-06-26 2024-01-12 爱思开海力士有限公司 图像感测装置

Also Published As

Publication number Publication date
US10257455B2 (en) 2019-04-09
EP3940423A2 (en) 2022-01-19
WO2016105656A1 (en) 2016-06-30
CN106574973B (zh) 2019-06-11
US20170150079A1 (en) 2017-05-25
US20160178749A1 (en) 2016-06-23
EP3940423A3 (en) 2022-04-13
EP3238255A1 (en) 2017-11-01
USRE49748E1 (en) 2023-12-05
USRE49664E1 (en) 2023-09-19
US9581696B2 (en) 2017-02-28
EP3238255A4 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
CN106574973A (zh) 集成在同一半导体封装中的影像传感器和光源驱动器
CN106471796B (zh) 模拟距离能力的飞行时间影像传感器和光源驱动器
CN103985721B (zh) 深度像素、三维图像传感器和操作深度像素的方法
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN107682616B (zh) 控制方法、摄像头盖板和移动终端
CN106576135B (zh) 一种具有扩展的动态范围上限的图像传感器
CN106256124B (zh) 结构化立体
CN104869320A (zh) 电子设备和控制电子设备操作方法
KR102124598B1 (ko) 이미지 획득 방법 및 장치
CN107004273A (zh) 用于彩色与深度视频的同步的方法、设备和媒体
US9589327B2 (en) Apparatus and method for noise reduction in depth images during object segmentation
KR20160038460A (ko) 전자 장치와, 그의 제어 방법
CN109855727A (zh) 环境光检测方法、装置、电子设备及存储介质
CN103595916A (zh) 一种双摄像头目标跟踪系统及其实现方法
US20200077019A1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
CN113260951A (zh) 基于指距或手接近的淡入用户界面显示
CN109740519A (zh) 控制方法和电子设备
EP4062197A1 (en) Imaging system configured to use time-of-flight imaging and stereo imaging
US20180098050A1 (en) Power efficient long range depth sensing
CN104639926A (zh) 根据深度信息处理图像的方法及装置
WO2022161053A1 (zh) 一种显示参数调节的方法及大屏设备
CN113218503B (zh) 环境光强度的确定方法、确定系统、电子设备和存储介质
KR20210101416A (ko) 이미지 센서 제어 방법 및 장치
KR20210099379A (ko) 전자 장치 및 af 수행 방법
CN115547220B (zh) 图像显示方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant