CN113766159A - 图像感测装置及包括其的拍摄装置 - Google Patents
图像感测装置及包括其的拍摄装置 Download PDFInfo
- Publication number
- CN113766159A CN113766159A CN202110195270.2A CN202110195270A CN113766159A CN 113766159 A CN113766159 A CN 113766159A CN 202110195270 A CN202110195270 A CN 202110195270A CN 113766159 A CN113766159 A CN 113766159A
- Authority
- CN
- China
- Prior art keywords
- pixel
- direct
- pixels
- distance
- image sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002123 temporal effect Effects 0.000 claims abstract description 12
- 238000012546 transfer Methods 0.000 claims description 110
- 238000006243 chemical reaction Methods 0.000 claims description 64
- 238000009792 diffusion process Methods 0.000 claims description 42
- 238000007667 floating Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 39
- 238000012544 monitoring process Methods 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 30
- 238000010791 quenching Methods 0.000 claims description 20
- 230000000171 quenching effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 230000005684 electric field Effects 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 9
- 230000002441 reversible effect Effects 0.000 claims description 9
- 238000000691 measurement method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 68
- 238000005516 engineering process Methods 0.000 description 53
- 238000002366 time-of-flight method Methods 0.000 description 42
- 125000004122 cyclic group Chemical group 0.000 description 38
- 230000005540 biological transmission Effects 0.000 description 26
- 230000004044 response Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 239000000470 constituent Substances 0.000 description 12
- 230000015556 catabolic process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 9
- 239000000758 substrate Substances 0.000 description 9
- 102100028175 Abasic site processing protein HMCES Human genes 0.000 description 8
- 101001006387 Homo sapiens Abasic site processing protein HMCES Proteins 0.000 description 8
- 101001123331 Homo sapiens Peroxisome proliferator-activated receptor gamma coactivator 1-alpha Proteins 0.000 description 8
- 102100028960 Peroxisome proliferator-activated receptor gamma coactivator 1-alpha Human genes 0.000 description 8
- PUIBPGHAXSCVRF-QHFGJBOXSA-N prostaglandin C1 Chemical compound CCCCC[C@H](O)\C=C\C1=CCC(=O)[C@@H]1CCCCCCC(O)=O PUIBPGHAXSCVRF-QHFGJBOXSA-N 0.000 description 8
- 102100030346 Antigen peptide transporter 1 Human genes 0.000 description 6
- 108010023335 Member 2 Subfamily B ATP Binding Cassette Transporter Proteins 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 101800000851 Tachykinin-associated peptide 4 Proteins 0.000 description 5
- 239000003990 capacitor Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001351 cycling effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000012535 impurity Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 3
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- CMBOTAQMTNMTBD-KLASNZEFSA-N prostaglandin C2 Chemical compound CCCCC[C@H](O)\C=C\C1=CCC(=O)[C@@H]1C\C=C/CCCC(O)=O CMBOTAQMTNMTBD-KLASNZEFSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 102100030343 Antigen peptide transporter 2 Human genes 0.000 description 1
- 102100035175 SEC14-like protein 4 Human genes 0.000 description 1
- 101800000849 Tachykinin-associated peptide 2 Proteins 0.000 description 1
- 101800000853 Tachykinin-associated peptide 3 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
公开了图像感测装置及包括其的拍摄装置。图像感测装置包括:像素阵列,其被配置为包括至少一个第一像素和至少一个第二像素;以及定时控制器,其被配置为基于目标对象与像素阵列之间的距离来激活第一像素或第二像素。第一像素和第二像素具有包括以下中的至少一项的不同特性:与有效地感测距离的能力有关的有效测量距离、与辨识时间差的能力有关的时间分辨率、与辨识空间差的能力有关的空间分辨率、或指示生成像素信号所需的功率量的单位功耗。
Description
技术领域
在本专利文档中公开的技术和实现总体上涉及用于使用飞行时间(TOF)方法来感测距目标对象的距离的图像感测装置以及包括该图像感测装置的拍摄装置。
背景技术
图像传感器是用于通过使用对光起反应的半导体材料将入射到其上的光转换成电信号来捕获光学图像的半导体装置。随着计算机行业和通信行业的近期发展,在例如智能电话、数码相机、视频游戏机、用于物联网(IoT)的装置、机器人、监控摄像头、医疗微型相机等的各种电子装置中,对高性能图像传感器的需求正迅速增长。
图像传感器可以大致分为CCD(电荷耦合器件)图像传感器和CMOS(互补金属氧化物半导体)图像传感器。CCD图像传感器可以比CMOS图像传感器具有更少噪声和更好的图像质量。然而,CMOS图像传感器具有更简单且更方便的驱动方案,因此在一些应用中可以是优选的。另外,CMOS图像传感器可以允许将信号处理电路集成到单个芯片中,这使得易于将CMOS图像传感器小型化以在产品中实现,并且具有消耗非常低的功率的附加益处。可以使用CMOS制造技术来制造CMOS图像传感器,这使得制造成本低。由于CMOS图像传感器适用于在移动装置中实现,它们已被广泛使用。
发明内容
所公开的技术的各种实施方式涉及通过改变操作模式来感测距目标对象的距离的图像感测装置以及包括该图像感测装置的拍摄装置。
根据所公开的技术的实施方式,一种图像感测装置可以包括:像素阵列,其被配置为包括至少一个第一像素和至少一个第二像素;以及定时控制器,其被配置为基于目标对象与像素阵列之间的距离来激活第一像素或第二像素。第一像素和第二像素具有包括以下中的至少一项的不同特性:与有效地感测距离的能力有关的有效测量距离、与辨识时间差的能力有关的时间分辨率、与辨识空间差的能力有关的空间分辨率、或指示生成像素信号所需的功率量的单位功耗。
根据所公开的技术的另一实施方式,一种拍摄装置可以包括图像感测装置,其被配置为具有第一像素和第二像素,第二像素与第一像素的不同在于具有以下各项中至少一项的不同值:与有效地感测距离的能力有关的有效测量距离、与辨识时间差的能力有关的时间分辨率、与辨识空间差的能力有关的空间分辨率、或指示生成像素信号所需的功率量的单位功耗;以及图像信号处理器,其被配置为基于预定阈值距离与像素阵列和目标对象之间的距离之间的比较而在激活第一像素的对象监测模式或在激活第二像素的深度解析模式下操作图像感测装置。
应当理解,所公开的技术的前述概括描述和以下详细描述是示例性和解释性的,并且旨在提供对所要求保护的本公开的进一步解释。
附图说明
当结合附图考虑时,参照以下详细描述,所公开的技术的以上和其它特征以及有益方面将变得显而易见。
图1是例示基于所公开的技术的一些实现的拍摄装置的示例的框图。
图2是例示基于所公开的技术的一些实现的图1所示的图像感测装置的各个模式的操作示例的概念图。
图3是例示基于所公开的技术的一些实现的图1所示的图像感测装置的各个模式的操作示例的流程图。
图4是例示基于所公开的技术的一些实现的图1所示的直接像素阵列中所包括的直接像素的示例的等效电路。
图5是例示基于所公开的技术的一些实现的图4所示的间接像素阵列中所包括的间接像素的示例的等效电路。
图6是例示基于所公开的技术的一些实现的图5所示的间接像素的示例的平面图。
图7是例示基于所公开的技术的一些实现的在图6所示的间接像素中光电荷通过循环栅如何移动的图。
图8是例示基于所公开的技术的一些实现的在图6所示的间接像素中光电荷通过传输栅如何向浮置扩散(FD)区域移动的概念图。
图9是例示基于所公开的技术的一些实现的图像感测装置的操作示例的定时图。
图10是例示基于所公开的技术的一些实现的图1所示的图像感测装置中所包括的一些组成元件的示例的示意图。
图11是例示基于所公开的技术的一些实现的图10所示的图像感测装置的操作示例的概念图。
图12是例示基于所公开的技术的一些实现的图1所示的图像感测装置的另一操作示例的概念图。
图13是例示基于所公开的技术的一些实现的图12所示的图像感测装置的操作示例的概念图。
具体实施方式
本专利文档提供了图像感测装置及包括该图像感测装置的拍摄装置的实现及示例。所公开的技术的一些实现涉及通过改变操作模式来感测距目标对象的距离。所公开的技术提供了图像感测装置的各种实现,其能够基于距目标对象的距离来选择最佳飞行时间(TOF)方法,并且因此能够使用最佳TOF方法来感测距目标对象的距离。
现在将详细参照所公开的技术的实施方式进行说明,其示例在附图中示出。尽可能地,将贯穿附图使用相同的附图标记指代相同或相似的部件。
图1是例示基于所公开的技术的一些实现的拍摄装置的示例的框图。
参照图1,拍摄装置可以是指例如用于捕获静态图像的数字静态相机或用于捕获运动图像的数字视频相机的装置。例如,拍摄装置可以被实现为数码单反(DSLR)相机、无反光镜相机或移动电话(尤其是智能电话)等。拍摄装置可以包括具有透镜和图像拾取元件二者的装置,使得该装置能够捕获(或拍摄)目标对象,并且因此能够创建目标对象的图像。
拍摄装置可以包括图像感测装置100和图像信号处理器200。
图像感测装置100可以使用飞行时间(TOF)方法以测量光在图像感测装置100和目标对象之间的行进时间,来测量距目标对象的距离。图像感测装置100可以包括光源10、透镜模块20、像素阵列110、标记为“直接像素驱动器120”的第一像素驱动器、标记为“间接像素驱动器130”的第二像素驱动器、直接读出电路140、间接读出电路150、定时控制器160和光源驱动器170。
在从光源驱动器170接收到由调制光信号(MLS)载送的时钟信号时,光源10可以向目标对象1发射光。光源10可以是用于发射具有特定波长带的光(例如,近红外(NIR)光、红外(IR)光或可见光)的发光二极管(LED)或激光二极管(LD),或者可以是近红外激光器(NIR)、点光源、与白灯或单色仪组合的单色光源、以及其它激光源的组合。例如,光源10可以发射波长为800nm至1000nm的红外光。尽管为了便于描述,图1仅示出一个光源10,但是其它实现也是可以的,并且多个光源也可以布置在透镜模块20附近。
透镜模块20可以收集从目标对象1反射的光,并且可以允许所收集的光聚焦到像素阵列110的像素上。例如,透镜模块20可以包括具有由玻璃或塑料形成的表面的聚焦透镜、或具有由玻璃或塑料形成的表面的其它圆柱光学元件。透镜模块20可以包括一个或更多个透镜的单个透镜组。
像素阵列110可以包括以二维(2D)矩阵结构连续布置的多个像素(PX),用于捕获和检测入射光以测量距离。像素在列方向和垂直于列方向的行方向上布置。每个像素(PX)可以将通过透镜模块20接收的入射光转换成与入射光的量相对应的电信号,并且因此可以使用电信号输出像素信号。在实现中,装置可以被配置为使得像素信号可以不指示目标对象1的颜色,而是可以是指示距目标对象1的距离的信号。
除了成像像素之外,像素阵列110可以包括第一像素阵列112(“直接像素阵列”)以及第二像素阵列114(“间接像素阵列”),第一像素阵列112包括被称为“直接像素”的感测像素,其能够使用用于测量TOF的第一技术(诸如,下面进一步说明的直接TOF方法)感测距目标对象1的距离,第二像素阵列114包括被称为“间接像素”的感测像素,其能够使用与第一技术不同的用于测量TOF的第二技术(诸如,下面进一步说明的间接TOF方法)感测距目标对象1的距离。执行用于确定距离的TOF测量的两个像素阵列112和114可以具有不同的TOF特性,例如,第一TOF技术可以具有更长的有效测量距离和更低的空间分辨率,并且第二TOF技术可以具有更高的空间分辨率和更短的有效测量距离。包含两个或更多个这样的不同TOF感测像素使得该装置能够检测位于距图像感测装置较近和较远二者的对象,同时允许这些不同的TOF感测像素彼此互补并且统一提供感测不同距离的对象的能力。在操作中,提供控制电路以基于两个像素阵列112和114的不同距离测量特性来选择两个像素阵列112和114之一来测量距目标对象的距离,以优化距离测量的性能。
参照图1和图10,直接像素1010可以在像素阵列1005内以线传感器形状布置,使得包括以线传感器形状布置的直接像素1010的整个区域可以比包括间接像素1040的区域尺寸小。这是因为直接像素1010被设计为具有相对长的有效测量距离和相对高的时间分辨率,而不是为了获取准确的深度图像。结果,直接像素1010能够使用相对长的有效测量距离和相对高的时间分辨率在对象监测模式下识别目标对象1的存在与否,并且同时能够使用相对长的有效测量距离和相对高的时间分辨率来正确地测量距目标对象1的距离。
作为用于测量TOF的第一技术的示例,直接TOF方法可以直接测量从向目标对象1发射脉冲光的第一时间到从目标对象1反射的脉冲光入射的第二时间的往返时间,并且因此可以通过使用往返时间和光速来计算距目标对象1的距离。作为用于测量TOF的第二技术的示例,间接TOF方法可以向目标对象1发射以预定频率调制的光,可以感测从目标对象1反射的调制光,可以计算控制调制光的时钟信号MLS与根据检测到从目标对象1反射回的调制光而生成的像素信号之间的相位差,并因此可以基于时钟信号MLS和像素信号之间的相位差来计算距目标对象1的距离。通常,虽然直接TOF方法的优点可以在于:它具有相对高的时间分辨率和更长的有效测量距离,但是由于每个像素和每个读出电路之间的一一对应结构,直接TOF方法的缺点可以在于:它具有相对低的空间分辨率。
空间分辨率可以用于指代辩识空间差异的能力。随着每个像素的尺寸减小,空间分辨率可以增加。时间分辨率可以用于指代辨识时间差异的能力。随着像素阵列110用于输出与单个帧相对应的像素信号所需的时间缩短,时间分辨率可以增加。
每个感测像素使用第一TOF测量技术或第二TOF测量技术测量TOF所需的时间称为单位感测时间。每个感测像素在单位感测时间期间测量TOF所使用的功率称为单位功耗。在使用第一技术测量TOF的感测像素被配置为接收相对高的反向偏置电压(如稍后将描述的那样)的一些实现中,这种感测像素可以具有比使用第二技术测量TOF的感测像素的单位功耗相对更高的单位功耗。
在一些实现中,直接像素可以是单光子雪崩二极管(SPAD)像素。SPAD像素的操作原理如下。可以向SPAD像素施加反向偏置电压以增加电场,从而形成强电场。随后,可以发生碰撞电离,其中由入射的光子所生成的电子通过强电场从一个位置向另一位置移动以生成电子-空穴对。具体地,在被配置为在接收到高于击穿电压的反向偏置电压的Geiger(盖革)模式下操作的SPAD像素中,由入射光生成的载流子(电子或空穴)可以与由以上碰撞电离生成的电子和空穴碰撞,使得可以通过这样的碰撞生成大量的载流子。因此,尽管单个光子入射在SPAD像素上,但是可以由单个光子触发雪崩击穿,从而形成可测量的电流脉冲。稍后将参照图4描述SPAD像素的详细结构和操作。
在一些实现中,间接像素可以是循环像素(circulation pixel)。在循环像素中,响应于反射光由光电转换元件生成的光电荷在预定方向(例如,顺时针方向或逆时针方向)上移动的第一操作和向多个浮置扩散区域(FD)传输通过这种移动收集的光电荷的第二操作可以彼此分离地执行。例如,每个循环像素可以包括围绕光电转换元件的多个循环栅和多个传输栅。循环栅的电位和传输栅的电位可以在沿预定方向循环的同时改变。由光电转换元件生成的光电荷可以通过循环栅与传输栅之间的循环电位的变化而在预定方向上移动和传输。如上所述,可以彼此分离地执行光电荷的移动和光电荷的传输,从而能够更有效地检测基于距目标对象1的距离的时间延迟。稍后将参照图5至图8描述循环像素的详细结构和操作。另外,在所公开的技术中提及的光电荷可以是光电子。
直接像素驱动器120可以响应于来自定时控制器160的控制信号而驱动像素阵列110的直接像素阵列112。例如,直接像素驱动器120可以生成猝熄(quenching)控制信号以控制用于将向SPAD像素施加的反向偏置电压减小至击穿电压或以下的猝熄操作。另外,直接像素驱动器120可以生成用于将电荷注入到连接至SPAD像素的感测节点中的再充电控制信号。
间接像素驱动器130可以响应于来自定时控制器160的控制信号来驱动像素阵列110的间接像素阵列114。例如,间接像素驱动器130可以生成循环控制信号、传输控制信号、复位控制信号和选择控制信号。更详细地,循环控制信号可以控制每个像素的光电转换元件内的光电荷的移动。传输控制信号可以允许向浮置扩散(FD)区域顺序地传输移动的光电荷。复位控制信号可以初始化每个像素。选择控制信号可以控制与浮置扩散(FD)区域的电压相对应的电信号的输出。
直接读出电路140可以设置在像素阵列110的一侧,可以计算从直接像素阵列112的每个像素生成的脉冲信号与参考脉冲之间的时间延迟,并且可以生成并存储与时间延迟相对应的数字数据。直接读出电路140可以包括被配置为执行上述操作的时间数字电路(time-to-digital circuit,TDC)。直接读出电路140可以在定时控制器160的控制下向图像信号处理器200发送所存储的数字数据。
间接读出电路150可以处理从间接像素阵列114的每个像素生成的模拟像素信号,并且因此可以生成和存储与像素信号相对应的数字数据。例如,间接读出电路150可以包括用于对像素信号执行相关双采样的相关双采样器(CDS)电路、用于将CDS电路的输出信号转换为数字数据的模数转换器(ADC)电路、以及用于临时存储数字数据的输出缓冲器。间接读出电路150可以在定时控制器160的控制下向图像信号处理器200发送所存储的数字数据。
定时控制器160可以控制图像感测装置100的整体操作。因此,定时控制器160可以生成定时信号以控制直接像素驱动器120、间接像素驱动器130和光源驱动器170的操作。另外,定时控制器160可以控制直接读出电路140和间接读出电路150中的每个的激活或停用,并且可以控制直接读出电路140中存储的数字数据和间接读出电路150中存储的数字数据同时或顺序地发送至图像信号处理器200。
具体地,定时控制器160可以在图像信号处理器200的控制下选择性地激活或停用直接像素阵列112、直接像素驱动器120和直接读出电路140,或者可以在图像信号处理器200的控制下选择性地激活或停用间接像素阵列114、间接像素驱动器130和间接读出电路150。稍后将参照图2和图3描述图像感测装置100的各个模式的操作。
光源驱动器170可以响应于来自定时控制器160的控制信号而生成由能够驱动光源10的调制光信号(MLS)载送的时钟信号。
图像信号处理器200可以处理从图像感测装置100接收的数字数据,并且可以生成指示距目标对象1的距离的深度图像。具体地,图像信号处理器200可以响应于由从直接读出电路140接收到的数字数据所表示的时间延迟,针对每个像素计算距目标对象1的距离。另外,图像信号处理器200可以响应于由从间接读出电路150接收到的数字数据所表示的相位差,针对每个像素计算距目标对象1的距离。
图像信号处理器200可以控制图像感测装置100的操作。具体地,图像信号处理器200可以分析(或解析)从图像感测装置100接收到的数字数据,可以基于分析的结果来决定图像感测装置100的模式,并且可以控制图像感测装置100以所决定的模式操作。
图像信号处理器200可以执行深度图像的图像信号处理,使得图像信号处理器200可以执行深度图像的噪声消除和图像质量改善。可以响应于用户请求或以自动方式将从图像信号处理器200生成的深度图像存储在拍摄装置或包括拍摄装置的装置的内部存储器中或者存储在外部存储器中,使得可以通过显示器显示所存储的深度图像。另选地,可以使用从图像信号处理器200生成的深度图像来控制拍摄装置或包括拍摄装置的装置的操作。
图2是例示基于所公开的技术的一些实施方式的图1所示的图像感测装置100的各个模式的操作示例的图。
参照图2,拍摄装置可以嵌入在例如诸如智能电话之类的移动装置、诸如车辆之类的运输装置、诸如闭路电视(CCTV)之类的监测装置等的各种装置中。为了便于描述和更好地理解所公开的技术,假定图1中所示的拍摄装置嵌入在车辆300内。为了便于说明,以下将包括拍摄装置的车辆300称为主车辆。
嵌入在主车辆300中的图像感测装置100可以根据直接TOF方法使用直接像素阵列112感测距目标对象1的距离,或者可以根据间接TOF方法使用间接像素阵列114感测距目标对象1的距离。如上所述,直接TOF方法可以具有较长的有效测量距离和较低的空间分辨率,而间接TOF方法可以具有较高的空间分辨率和较短的有效测量距离。因此,在下文中,直接像素阵列112能够有效地测量距目标对象1的距离(例如,以与预定可靠性或更大相对应的有效可靠性水平)的第一范围将在下文中由第一有效测量区域(EMA1)表示,并且间接像素阵列114能够有效地测量距目标对象1的距离(例如,以与预定可靠性或更大相对应的有效可靠性水平)的第二范围将在下文中由第二有效测量区域(EMA2)表示。
在这种情况下,有效测量距离可以指代直接像素阵列112或间接像素阵列114能够以等于或大于预定可靠性阈值的一定可靠性水平有效地感测距目标对象1的距离的最大长度。这里,直接像素的有效测量距离可以比间接像素的有效测量距离长。
从图2可以看出,第一有效测量区域EMA1的视场(FOV)可以小于第二有效测量区域EMA2的视场(FOV)。
基于直接TOF方法的图像感测装置100的操作如下。根据直接TOF方法,每个像素在感测到入射光时生成脉冲信号,并且一旦生成脉冲信号,读出电路就通过将脉冲的生成时间转换成指示飞行时间(TOF)的数字数据来生成指示飞行时间(TOF)的数字数据,然后存储数字数据。每个像素被配置为通过感测入射光来生成脉冲信号,而没有存储信息的能力,因此需要读出电路来存储距离计算所需的信息。结果,每个像素需要读出电路。例如,读出电路可以包括在每个像素中。然而,如果阵列配置有多个像素,每个像素包括读出电路,则每个像素的尺寸可以由于读出电路而不可避免地增加。另外,由于分配给阵列的区域的整体尺寸受到限制,因此可能难以增加阵列中要包括的像素的数量。因此,在所公开的技术的一些实现中,读出电路可以位于像素阵列外部,使得能够在像素阵列中包括尽可能多的电路。在一些实现中,包括直接像素的阵列可以形成为X形状或十字形状,使得读出电路和直接像素可以布置为在一对一的基础上彼此对应。上述操作方法可以称为线扫描方法。当读出电路位于像素阵列外部时,即使直接像素被包括在像素阵列的同一行或同一列中,也不同时激活直接像素,并且能够激活同一行或同一列上的直接像素中的仅一个。
基于间接TOF方法的图像感测装置100的操作如下。根据间接TOF方法,每个像素可以累积与入射光的强度相对应的光电荷,并且读出电路可以将与每个像素中累积的光电荷相对应的像素信号转换为数字数据,然后存储数字数据。每个像素可以使用光电荷存储进行距离计算所需的信息,而无需读出电路。结果,像素能够共享读出电路,并且能够同时驱动包含间接像素的阵列中所包括的间接像素。上述操作方法可以称为区域扫描方法。
因此,使用线扫描法时被同时驱动的像素数量比使用区域扫描法时的像素数量相对更少。因此,包括由线扫描方法驱动的直接像素的阵列的第一有效测量区域EMA1的视场(FOV)可以小于包括由区域扫描方法驱动的间接像素的阵列的第二有效测量区域EMA2的FOV。
返回参照图2,在距主车辆300的范围L16内,直接像素阵列112能够有效地测量距目标对象1的距离。因此,以下将其中由L16或更小表示距主车辆300的距离的范围定义为直接TOF区。在距主车辆300的范围L4内,间接像素阵列114能够有效地测量距目标对象1的距离。因此,以下将其中由L4或更小表示距主车辆300的距离的范围定义为间接TOF区。L0至L16中的每一个可以对应于指示特定距离的值,并且Ln(其中“n”是0至15中的任何一个)和L(n+1)之间的间隔可以是恒定的。直接TOF区的长度可以是间接TOF区的长度的四倍。如以上所讨论的直接TOF区或间接TOF区的范围和长度仅是示例,并且其它实现也是可能的。
从图2可以看出,假定第一车辆VH1至第四车辆VH4分别位于主车辆300的前向方向上的四个不同位置处。由于第一车辆VH1至第四车辆VH4被包括在直接TOF区中,因此,可以使用直接TOF方法来感测主车辆300与车辆VH1~VH4中的每一个之间的距离。然而,由于第一车辆VH1至第三车辆VH3不包括在间接TOF区中,所以不能使用间接TOF方法来感测主车辆300与车辆VH1~VH3中的每一个之间的距离。因此,第一车辆VH1至第三车辆VH3中的每个可以仅使用直接TOF方法来感测距主车辆300的距离。此外,由于第四车辆VH4可以包括在直接TOF区和间接TOF区中,所以第四车辆VH4可以使用直接TOF方法或间接TOF方法来感测距主车辆300的距离。
基于距主车辆300的距离,主车辆300的前向区域可以被分类为热区和监测区。热区可以对应于与主车辆300相距等于或短于阈值距离(例如L4)的距离的区域。在热区中,距目标对象的距离相对短,因此感测热区中的目标对象的位置需要高水平的准确度。监测区可以对应于与主车辆300相距大于阈值(例如,L4)的距离的区域。在监测区中,由于距目标对象的距离相对长,因此需要感测在前向区域中目标对象的存在(例如,目标对象的存在与否),而在监测中感测目标对象的位置不需要那么高水平的准确度。
更详细地,在热区中,可以认为使用具有较高空间分辨率的间接TOF方法来感测距目标对象的距离的方法更有利。在监测区中,可以认为使用具有较长有效测量距离的直接TOF方法来感测距目标对象的距离的方法更有利。例如,可以使用直接TOF方法更有利地感测距第一车辆VH1至第三车辆VH3中的每一个的距离,并且可以使用间接TOF方法更有利地感测距第四车辆VH4的距离。从图2可以看出,距第一车辆VH1的距离可以由L13表示,距第二车辆VH2的距离可以由L9表示,距第三车辆VH3的距离可以由L4表示,距第四车辆VH4的距离可以由L1表示。
在一些实现中,热区可以与间接TOF区相同,并且监测区可以指代通过从直接TOF区中减去间接TOF区而获得的区域。在一些其它实现中,热区可以大于或小于间接TOF区。
尽管图2示出了拍摄装置嵌入在车辆中的示例性情况来作为示例,但是其它实现也是可能的,并且拍摄装置可以嵌入在其它装置中。响应于距目标对象的距离而选择性地使用直接TOF方法或间接TOF方法的方法能够应用于例如由移动电话的睡眠模式操作当中的唤醒功能所实现的面部/虹膜识别模式,并且能够应用于用于使用CCTV检测目标对象的存在与否的监视模式以及用于精确地拍摄目标对象的拍摄模式。
图3是例示基于所公开的技术的一些实现的图1所示的图像感测装置100的各个模式的操作示例的流程图。
参照图2和图3,图像感测装置100可以在图像信号处理器200的控制下以对象监测模式或深度解析模式操作。在对象监测模式下,可以激活直接像素阵列112、直接像素驱动器120以及直接读出电路140,并且可以停用间接像素阵列114、间接像素驱动器130和间接读出电路150。在深度解析模式下,可以激活间接像素阵列114、间接像素驱动器130和间接读出电路150,并且可以停用直接像素阵列112、直接像素驱动器120和直接读出电路140。
如果开始图像感测装置100的距离感测操作,则图像感测装置100默认在对象监测模式下操作,并使用直接TOF方法生成指示距目标对象的距离的数字数据(步骤S10)。
图像感测装置100可以向图像信号处理器200发送从直接像素阵列112生成的数字数据。图像信号处理器200可以基于数字数据计算距目标对象的距离,并且可以确定计算出的距目标对象的距离是否等于或短于用于确定热区的范围的阈值距离,使得图像信号处理器200能够因此确定目标对象是否被检测到在热区中(步骤S20)。
如果计算出的距目标对象的距离长于阈值距离(即,在步骤S20中为“否”),则图像感测装置100可以在对象监测模式下继续操作。例如,如果目标对象是图2中所示的第一车辆VH1至第三车辆VH3中的任何一个,则图像感测装置100可以在对象监测模式下继续操作。
如果计算出的距目标对象的距离等于或短于阈值距离(即,步骤S20中为“是”),则图像信号处理器200可以将嵌入其中的模式计数器中存储的计数结果值增加预定值(例如,“1”)。另外,图像信号处理器200可以在步骤S30中确定模式计数器中的计数结果值是否高于预定模式切换值K(其中,K是整数)。如果已经过去了预定时间(或初始化时间),或者如果图像感测装置100的操作模式从对象监测模式切换到深度解析模式,则可以初始化计数结果值。因此,在预定时间(或初始化时间)内,图像信号处理器200可以确定计算出的距目标对象的距离等于或短于阈值距离的特定事件是否已经发生了预定次数或更多。结果,可以排除由于错误检测而导致计数结果值意外地改变的示例性情况或者目标对象临时位于热区中的示例性情况。
如果计数结果值等于或小于预定模式切换值K(即,在步骤S30中为“否”),则图像感测装置100可以在对象监测模式下继续操作。例如,如果目标对象已经临时存在于图2所示的第四车辆VH4的位置,或者如果已经发生错误检测,则图像感测装置100可以在对象监测模式下继续操作。
如果计数结果值高于预定模式切换值K(即,在步骤S30中为“是”),则图像信号处理器200可以允许图像感测装置100的操作模式从对象监测模式切换为深度解析模式。因此,图像感测装置100可以使用间接TOF方法生成指示距目标对象的距离的数字数据(步骤S40)。另一方面,图像信号处理器200可以执行图像感测装置100的操作模式的切换,然后可以初始化计数结果值。
另外,如果图像信号处理器200基于从图像感测装置100接收的数字数据而确定在热区中不存在目标对象1,则图像信号处理器200可以完成深度解析模式。在这种情况下,图像信号处理器200可以控制图像感测装置100重新执行步骤S10。
因此,如果距目标对象的距离等于或短于阈值距离(即,如果目标对象位于热区中),则图像感测装置100可以使用间接TOF方法(即,通过激活间接像素阵列114)感测距目标对象的距离。如果距目标对象的距离长于阈值(即,如果目标对象位于监测区中),则图像感测装置100可以使用直接TOF方法(即,通过激活直接像素阵列112)来感测到距目标对象的距离。也就是说,能够根据距目标对象的距离来选择最佳操作模式。另外,在不需要使用精确距离感测的对象监测模式中,可以仅激活直接像素当中的一些直接像素,从而降低了功耗。稍后将参照图10至图13描述在各个操作模式期间激活像素阵列110中所包括的像素的方法。
图4是例示基于所公开的技术的一些实现的图1所示的直接像素阵列112中包括的直接像素DPX的示例的等效电路。
直接像素阵列112可以包括多个直接像素(DPX)。尽管为了便于描述,假定图4中所示的每个直接像素(DPX)是单光子雪崩二极管(SPAD)像素,但是其它实现也是可以的。
直接像素(DPX)可以包括单光子雪崩二极管(SPAD)、猝熄电路(QC)、数字缓冲器(DB)和再充电电路(RC)。
SPAD可以感测由目标对象1反射的单个光子,并且因此可以生成与感测到的单个光子相对应的电流脉冲。SPAD可以是设置有光敏P-N结的光电二极管。在SPAD中,可以通过以接收当阴极到阳极的电压高于击穿电压时生成的反向偏置电压的Geiger模式接收的单个光子来触发雪崩击穿,从而形成电流脉冲。如上所述,在下文中将通过单光子触发的雪崩击穿形成电流脉冲的上述过程称为雪崩过程。
SPAD的一个端子可以接收第一偏置电压(Vov),该第一偏置电压(Vov)用于向SPAD施加高于击穿电压的反向偏置电压(在下文中称为操作电压)。例如,第一偏置电压(Vov)可以是绝对值低于击穿电压的绝对值的正(+)电压。SPAD的另一端子可以联接到感测节点(Ns),并且SPAD可以向感测节点(Ns)输出通过感测到单个光子而生成的电流脉冲。
淬熄电路(QC)可以控制向SPAD施加的反向偏置电压。如果已经过去可以施行雪崩过程的时间段(或在已经生成时钟信号(MLS)的脉冲之后的预定时间),则可以响应于淬熄控制信号(QCS)使淬熄电路(QC)的淬熄晶体管(QX)导通,使得感测节点(Ns)可以电联接到接地电压。结果,向SPAD施加的反向偏置电压可以减小到击穿电压或以下,并且雪崩过程可以被淬熄(或停止)。
数字缓冲器(DB)可以执行对要输入到感测节点(Ns)的模拟电流脉冲的采样,使得数字缓冲器(DB)可以将模拟电流脉冲转换为数字脉冲信号。在该示例中,可以通过基于电流脉冲的电平是否等于或高于阈值电平的确定结果将模拟电流脉冲转换成具有逻辑电平“0”或“1”的数字脉冲信号,来执行对模拟电流脉冲的采样。然而,采样方法不限于此,并且其它实现方式也是可以的。因此,从数字缓冲器(DB)生成的脉冲信号可以由直接像素输出信号(DPXout)表示,使得可以向直接读出电路140传输由直接像素输出信号(DPXout)表示的脉冲信号。
在通过淬熄电路(QC)使雪崩过程淬熄之后,再充电电路(RC)可以向感测节点(Ns)中注入或提供电荷,使得SPAD可以重新进入可以引发雪崩击穿的Geiger模式。例如,再充电电路(RC)可以包括可以响应于再充电控制信号而将第二偏置电压选择性地连接至感测节点(Ns)的开关(例如,晶体管)。如果开关接通,则感测节点(Ns)的电压可以达到第二偏置电压。例如,第二偏置电压的绝对值和第一偏置电压的绝对值之和可以高于击穿电压的绝对值,并且第二偏置电压可以是负(-)电压。因此,SPAD可以进入Geiger模式,使得SPAD可以通过在后续时间中接收到的单个光子来执行雪崩过程。
在该示例中,淬熄电路(QC)和再充电电路(RC)中的每一个实现为有源器件,其它实现也是可以的。因此,在一些实现中,淬熄电路(QC)和再充电电路(RC)中的每一个也可以被实现为无源器件。例如,淬熄电路(QC)的淬熄晶体管(QX)也可以用电阻器代替。
可以从图1所示的直接像素驱动器120提供淬熄控制信号(QCS)和再充电控制信号。
直接读出电路140可以包括:数字逻辑电路,该数字逻辑电路被配置为通过计算直接像素(DPX)的脉冲信号与参考脉冲之间的时间延迟来生成数字数据;以及输出缓冲器,该输出缓冲器被配置为存储所生成的数字数据。在下文中,数字逻辑电路和输出缓冲器可以统称为时间数字电路(TDC)。在这种情况下,参考脉冲可以是时钟信号(MLS)的脉冲。
图5是例示基于所公开的技术的一些实现的图1所示的间接像素阵列114中所包括的间接像素IPX的示例的等效电路。
间接像素阵列114可以包括多个间接像素(IPX)。尽管为了便于描述,假定图5所示的每个间接像素(IPX)是循环像素,但是其它实现也是可以的。
间接像素(IPX)可以包括多个传输晶体管TX1~TX4、多个循环晶体管CX1~CX4以及多个像素信号生成电路PGC1~PGC4。
光电转换元件PD可以对从目标对象1反射的入射光执行光电转换,并且因此可以生成并积累光电荷。例如,光电转换元件PD可以被实现为光电二极管、钉扎光电二极管、光电栅、光电晶体管或其组合。光电转换元件PD的一个端子可以联接到衬底电压(Vsub),并且光电转换元件PD的另一端子可以联接到多个传输晶体管TX1~TX4和多个循环晶体管CX1~CX4。在这种情况下,衬底电压(Vsub)可以是施加到形成有光电转换元件PD的衬底的电压(例如,接地电压)。
传输晶体管TX1可以响应于传输控制信号TFv1而向浮置扩散(FD)区域FD1传输光电转换元件PD中所存储的光电荷。传输晶体管TX2可以响应于传输控制信号TFv2而向浮置扩散(FD)区域FD2传输光电转换元件PD中存储的光电荷。传输晶体管TX3可以响应于传输控制信号TFv3而向浮置扩散(FD)区域FD3传输光电转换元件PD中存储的光电荷。传输晶体管TX4可以响应于传输控制信号TFv4而向浮置扩散(FD)区域FD4传输光电转换元件PD中存储的光电荷。可以从间接像素驱动器130接收传输控制信号TFv1~TFv4中的每一个。
循环晶体管CX1~CX4可以响应于循环控制信号CXV1~CXV4而导通或截止。更详细地,循环晶体管CX1可以响应于循环控制信号CXV1而导通或截止,循环晶体管CX2可以响应于循环控制信号CXV2而导通或截止,循环晶体管CX3可以响应于循环控制信号CXV3而导通或截止,并且循环晶体管CX4可以响应于循环控制信号CXV4而导通或截止。循环晶体管CX1~CX4中的每一个的一个端子可以联接到光电转换元件PD,并且循环晶体管CX1~CX4中的每一个的另一端子可以联接到漏极电压(Vd)。在收集由光电转换元件PD生成的光电荷并向浮置扩散(FD)区域FD1至FD4传输的调制时段期间,漏极电压(Vd)可以处于低电压(例如,接地电压)电平。在过去了调制时段之后的读出时段期间,漏极电压(Vd)可以处于高电压(例如,电源电压)电平。另外,在调制时段期间,循环控制信号CXV1~CXV4可以分别对应于循环控制电压Vcir1~Vcir4(参见图6),使得循环晶体管CX1~CX4中的每个可以使得由光电转换元件PD生成的光电荷能够沿预定方向(例如,沿逆时针方向)移动。另外,在读出时段期间,循环控制信号CXV1~CXV4中的每个可以对应于漏极控制电压(Vdrain)(参见图6),使得循环晶体管CX1~CX4中的每个可以将光电转换元件PD的电压电平固定至漏极电压(Vd)。可以从间接像素驱动器130接收循环控制信号CXV1~CXV4中的每个。
像素信号生成电路PGC1~PGC4可以存储从传输晶体管TX1~TX4传输的光电荷,并且可以向间接读出电路150输出指示与所存储的光电荷相对应的电信号的间接像素输出信号IPXout1~IPXout4。更详细地,像素信号生成电路PGC1可以存储从传输晶体管TX1传输的光电荷,并且可以向间接读出电路150输出指示与所存储的光电荷相对应的电信号的间接像素输出信号IPXout1。像素信号生成电路PGC2可以存储从传输晶体管TX2传输的光电荷,并且可以向间接读出电路150输出指示与所存储的光电荷相对应的电信号的间接像素输出信号IPXout2。像素信号生成电路PGC3可以存储从传输晶体管TX3传输的光电荷,并且可以向间接读出电路150输出指示与所存储的光电荷相对应的电信号的间接像素输出信号IPXout3。像素信号生成电路PGC4可以存储从传输晶体管TX4传输的光电荷,并且可以向间接读出电路150输出指示与所存储的光电荷相对应的电信号的间接像素输出信号IPXout4。在一些实现中,像素信号生成电路PGC1~PGC4可以同时或顺序地操作。间接像素输出信号IPXout1~IPXout4可以对应于不同的相位,并且图像信号处理器200可以通过响应于根据间接像素输出信号IPXout1~IPXout4生成的数字数据而计算相位差来计算距目标对象1的距离。
稍后可以使用像素信号生成电路PGC1作为示例来讨论像素信号生成电路PGC1~PGC4的结构和操作,并且对于其余像素信号生成电路PGC2~PGC4也将考虑这样的描述。因此,为简洁起见,将省略像素信号生成电路PGC2~PGC4的冗余描述。
像素信号生成电路PGC1可以包括复位晶体管RX1、电容器C1、驱动晶体管DX1和选择晶体管SX1。
复位晶体管RX1可以联接在复位电压(Vr)和浮置扩散(FD)区域FD1之间,并且可以响应于复位控制信号RG1而导通或截止。例如,复位电压(Vr)可以是电源电压。截止的复位晶体管RX1可以切断复位电压(Vr)与浮置扩散(FD)区域FD1之间的电连接,而导通的复位晶体管RX1可以将复位电压(Vr)电连接至浮置扩散(FD)区域FD1,使得浮置扩散(FD)区域FD1可以被复位至复位电压(Vr)。
电容器C1可以联接在接地电压和浮置扩散(FD)区域FD1之间,使得电容器C1可以提供静电电容,以此方式浮置扩散(FD)区域FD1可以累积通过传输晶体管TX1接收的光电荷。例如,电容器C1可以实现为结电容器。
驱动晶体管DX1可以联接在电源电压(VDD)和选择晶体管SX1之间,并且可以生成与联接到其栅极端子的浮置扩散(FD)区域FD1的电压电平相对应的电信号。
选择晶体管SX1可以联接在驱动晶体管DX1和输出信号线之间,并且可以响应于选择控制信号SEL1而导通或截止。当选择晶体管SX1截止时,选择晶体管SX1可以不向输出信号线输出驱动晶体管DX1的电信号,并且当选择晶体管导通时,选择晶体管SX1可以向输出信号线输出驱动晶体管DX1的电信号。在这种情况下,输出信号线可以是通过其向间接读出电路150施加间接像素(IPX)的间接像素输出信号(IPXout1)的线,并且与该间接像素(IPX)属于同一列的其它像素也可以通过相同的输出信号线来输出间接像素输出信号。
可以从间接像素驱动器130提供复位控制信号RG1和选择控制信号SEL1中的每一个。
图6是例示基于所公开的技术的一些实现的图5所示的间接像素(IPX)的示例的平面图600。
参照图6,例示了平面图600,该平面图600例示了间接像素(IPX)的一些部分。例示了间接像素(IPX)的一些部分的平面图600可以包括光电转换元件PD、多个浮置扩散(FD)区域FD1~FD4、多个漏极节点D1~D4、多个传输栅TG1~TG4、和多个循环栅CG1~CG4。传输栅TG1~TG4可以分别对应于图5所示的传输晶体管TX1至TX4的栅极。因此,传输栅TG1可以对应于传输晶体管TX1的栅极,传输栅TG2可以对应于传输晶体管TX2的栅极,传输栅TG3可以对应于传输晶体管TX3的栅极,并且传输栅TG4可以对应于传输晶体管TX4的栅极。另外,循环栅CG1~CG4可以分别对应于图5所示的循环晶体管CX1~CX4的栅极。因此,循环栅CG1可以对应于循环晶体管CX1的栅极,循环栅CG2可以对应于循环晶体管CX2的栅极,循环栅CG3可以对应于循环晶体管CX3的栅极,并且循环栅CG4可以对应于循环晶体管CX4的栅极。另外,漏极节点D1~D4可以分别对应于循环晶体管CX1~CX4的各自接收漏极电压(Vd)作为输入的端子。更详细地,漏极节点D1可以对应于循环晶体管CX1的接收漏极电压(Vd)的端子,漏极节点D2可以对应于循环晶体管CX2的接收漏极电压(Vd)的端子,漏极节点D3可以对应于循环晶体管CX3的接收漏极电压(Vd)的端子,并且漏极节点D4可以对应于循环晶体管CX4的接收漏极电压(Vd)的端子。
光电转换元件PD可以形成在半导体衬底中,并且可以被多个栅TG1~TG4和CG1~CG4围绕。
浮置扩散(FD)区域FD1~FD4中的每一个可以位于与其对应的传输栅TG1~TG4中的每一个的一侧。更详细地,浮置扩散(FD)区域FD1可以位于传输栅TG1的一侧,浮置扩散(FD)区域FD2可以位于传输栅TG2的一侧,浮置扩散(FD)区域FD3可以位于传输栅TG3的一侧,并且浮置扩散(FD)区域FD4可以位于传输栅TG4的一侧。与浮置扩散(FD)区域FD1~FD4中存储的光电荷的量相对应的信号可以分别输出为与浮置扩散(FD)区域FD1~FD4相对应的抽头信号TAP1~TAP4。更详细地,与浮置扩散(FD)区域FD1中的光电荷的量相对应的信号可以输出为抽头信号TAP1,与浮置扩散(FD)区域FD2中存储的光电荷的量相对应的信号可以输出为抽头信号TAP2,与浮置扩散(FD)区域FD3中存储的光电荷的量相对应的信号可以输出为抽头信号TAP3,并且与浮置扩散(FD)区域FD4中存储的光电荷的量相对应的信号可以输出为抽头信号TAP4。抽头信号TAP1~TAP4可以通过导线分别施加到与其相对应的驱动晶体管DX1~DX4的栅极。另外,抽头信号TAP1~TAP4可以通过导线分别施加到与其相对应的复位晶体管RX1~RX4的端子。浮置扩散(FD)区域FD1~FD4中的每个可以包括通过将N型杂质注入到半导体衬底中至预定深度而形成的杂质区域。
漏极节点D1~D4可以分别位于与其相对应的循环栅CG1~CG4的一侧,并且可以通过导线联接至漏极电压(Vd)。漏极节点D1~D4中的每个可以包括通过将N型杂质注入到半导体衬底中至预定深度而形成的杂质区域。
传输栅TG1~TG4可以分别布置在与围绕光电转换元件PD的矩形环形状的顶点相对应的不同位置处。
循环栅CG1~CG4可以分别设置在与围绕光电转换元件PD的矩形环形状的四个边相对应的区域中。在调制时段期间,循环栅CG1~CG4可以在预定方向(例如,逆时针方向)上顺序且相继地接收循环控制电压Vcir1~Vcir4,使得循环栅CG1~CG4可以在光电转换元件PD的边缘区域中局部地生成电场,并且可以使得电场沿着预定方向以预定时间间隔改变。存储于光电转换元件PD中的光电荷可以在电场生成和改变的方向上从一个位置向另一位置移动。
在这种情况下,循环控制电压Vcir1~Vcir4中的每个可以具有不能将光电转换元件PD电连接到每个漏极节点D1~D4的电位电平。因此,在调制时段期间,循环栅CG1至CG4可以不使与其相对应的循环晶体管CX1~CX4导通,并且可以仅执行移动光电转换元件PD的光电荷的作用。
在读出时段期间,循环栅CG1~CG4中的每个可以通过漏极控制电压(Vdrain)将光电转换元件PD的电压电平固定为漏极电压(Vd),使得循环栅CG1~CG4能够防止噪声流入到光电转换元件PD中,从而没有信号失真。例如,当将漏极控制电压(Vdrain)激活到逻辑高电平时,循环栅(CG1~CG4)中的每个可以具有可以将光电转换元件PD电连接到漏极节点D1~D4中的每个的高电位。因此,激活的漏极控制电压(Vdrain)可以具有比激活的循环控制电压Vcir1~Vcir4中的每个更高的电压。
因此,在读出时段期间,可以将漏极控制电压(Vdrain)激活到逻辑高电平。在这种情况下,由于漏极节点D1~D4中的每个电联接至光电转换元件PD,所以光电转换元件PD可以被固定为高漏极电压(Vd),使得能够耗尽光电转换元件PD中的残留光电荷。
循环栅CG1可以基于与循环栅CG1相对应的开关元件S1的开关操作接收与循环控制电压(Vcir1)或漏极控制电压(Vdrain)相对应的循环控制信号CXV1。循环栅CG2可以基于与循环栅CG2相对应的开关元件S2的开关操作接收与循环控制电压(Vcir2)或漏极控制电压(Vdrain)相对应的循环控制信号CXV2。循环栅CG3可以基于与循环栅CG3相对应的开关元件S3的开关操作接收与循环控制电压(Vcir3)或漏极控制电压(Vdrain)相对应的循环控制信号CXV3。循环栅CG4可以基于与循环栅CG4相对应的开关元件S4的开关操作接收与循环控制电压(Vcir4)或漏极控制电压(Vdrain)相对应的循环控制信号CXV4。更详细地,在调制时段期间,循环栅CG1~CG4可以分别接收循环控制电压Vcir1~Vcir4。在读出时段期间,循环栅CG1~CG4中的每个可以接收漏极控制电压(Vdrain)。尽管开关元件S1-S4可以包括在像素驱动器130中,但是其它实现也是可以的。
传输栅TG1~TG4和循环栅CG1~CG4可以在彼此交替地布置于半导体衬底上方的同时彼此间隔开预定距离。当在平面上观察时,传输栅TG1~TG4和循环栅CG1~CG4可以以围绕光电转换元件PD的环形状布置。
循环栅CG1和CG3可以在半导体衬底的上部分处相对于光电转换元件PD在第一方向上分别布置在光电转换元件PD的两侧。循环栅CG2和CG4可以相对于光电转换元件PD在第二方向上分别布置在光电转换元件PD的两侧。例如,循环栅CG1~CG4可以分别设置在与围绕光电转换元件PD的矩形环形状的四个边相对应的区域中。在这种情况下,循环栅CG1~CG4可以布置成与光电转换元件PD部分地交叠。
另一方面,传输栅TG1~TG4中的每个可以与两个邻近或相邻的循环栅间隔开预定距离,并且可以设置在两个邻近或相邻的循环栅之间。例如,传输栅TG1~TG4可以设置在与矩形环形状的顶点对应的区域中,并且可以布置为与光电转换元件PD部分地交叠。
图7例示了基于所公开的技术的一些实现的图6所示的间接像素中的通过循环栅CG1~CG4进行的光电荷的移动。
参照图7,当分别向循环栅CG1~CG4施加循环控制电压Vcir1~Vcir4时,可以在循环栅CG1~CG4的外围区域形成电场,使得由光电转换元件PD生成的光电荷可以从光电转换元件PD的边缘区域向与循环栅CG1~CG4邻近或相邻的另一区域移动。在这种情况下,当循环控制电压Vcir1~Vcir4中的每个的电位小于可以创建能够将光电转换元件PD电联接到漏极节点D1~D4中的每个的沟道的预定电位时,光电荷能够被累积或收集在循环栅CG1~CG4的外周区域中,而不向漏极节点D1~D4移动。
然而,从图6中可以看出,循环栅CG1~CG4设置为围绕光电转换元件PD的上部分。不同时施加循环控制电压Vcir1~Vcir4,而是在预定方向(例如,逆时针方向)上顺序且相继地向循环栅CG1~CG4施加循环控制电压Vcir1~Vcir4,因此光电荷可以根据循环栅CG1~CG4的期望操作顺序而沿着光电转换元件PD的边缘区域移动。这样,光电荷能够沿着光电转换元件PD的边缘区域在预定方向上移动。
在一些实现中,在第一时间点,向循环栅CG1施加循环控制信号(Vcir1),并且因此在循环栅CG1的外围区域中形成电场。在这种情况下,由光电转换元件PD生成的光电荷可以通过电场累积在循环栅CG1附近。
在预定时间段之后,在第二时间点,向与循环栅CG1邻近或相邻的循环栅CG2施加循环控制信号(Vcir2),并且停止向循环栅CG1施加循环控制信号(Vcir1)。因此,累积在循环栅CG1附近的光电荷可以朝向循环栅CG2移动。因此,光电荷可以从循环栅CG1移动至循环栅CG2。
在预定时间段之后,在第三时间点,向与循环栅CG2邻近或相邻的循环栅CG3施加循环控制信号(Vcir3),并且停止向循环栅CG2施加循环控制信号(Vcir2)。因此,累积在循环栅CG2附近的光电荷可以朝向循环栅CG3移动。因此,光电荷可以从循环栅CG2移动至循环栅CG3。
在预定时间段之后,在第四时间点,向与循环栅CG3邻近或相邻的循环栅CG4施加循环控制信号(Vcir4),并且停止向循环栅CG3施加循环控制信号(Vcir3)。因此,累积在循环栅CG3附近的光电荷可以朝向循环栅CG4移动。因此,光电荷可以从循环栅CG3移动至循环栅CG4。
在预定时间段之后,在第五时间点,向与循环栅CG4邻近或相邻的循环栅CG1施加循环控制信号(Vcir1),并且停止向循环栅CG4施加循环控制信号(Vcir4)。因此,累积在循环栅CG4附近的光电荷可以朝向循环栅CG1移动。因此,光电荷可以从循环栅CG4移动至循环栅CG1。
如果连续且重复地执行上述操作,则光电荷能够沿着光电转换元件(PD)的边缘区域循环。
图8是例示基于所公开的技术的一些实现的在图6所示的间接像素中光电荷通过传输栅如何向浮置扩散(FD)区域移动的概念图。图8例示了图6中所示的间接像素通过传输栅如何向浮置扩散(FD)区域传输光电荷。
参照图8,在一些实现中,当分别向传输栅TG1~TG4施加传输控制信号TFv1~TFv4时,在传输栅TG1~TG4下方的半导体衬底中创建电沟道,以将光电转换元件(PD)联接至浮置扩散(FD)区域FD1~FD4。由光电转换元件(PD)生成的光电荷可以通过沟道向浮置扩散(FD)区域FD1~FD4传输。
传输控制信号TFv1~TFv4不是同时施加的,而是在预定方向(例如,逆时针方向)上顺序且相继地施加到传输栅TG1~TG4。传输控制信号TFv1~TFv4可以根据图7所示的循环栅CG1~CG4的期望操作顺序而顺序地向传输栅TG1~TG4施加。
例如,在通过循环栅CG1的激活而累积在循环栅CG1附近的光电荷朝向循环栅CG2移动的情况下,可以仅向位于循环栅CG1和CG2之间的传输栅TG1施加传输控制信号(TFv1)。在这种情况下,传输控制信号(TFv1)可以具有比循环控制电压Vcir1和Vcir2中的每个更高的电压。
如上所述,在传输栅TG1和循环栅CG1和CG2以L形结构布置的布置结构中,在传输栅TG1位于顶点位置并且同时向传输栅TG1施加的信号(TFv1)比向循环栅CG1和CG2所施加的信号Vcir1和Vcir2中的每个处于更高电压电平的情况下,循环栅CG1和CG2以及传输栅TG1收集的大部分光电荷可以集中地收集在位于传输栅TG1附近的区域中。也就是说,收集的光电荷的大部分可以汇聚在窄的区域中。因此,即使在使用具有相对小尺寸的传输栅TG1时,也能够向浮置扩散(FD)区域FD1快速地传输光电荷。
以与上述相同的方式,在累积在循环栅CG2附近的光电荷朝向循环栅CG3移动的情况下,可以仅向位于循环栅CG2和CG3之间的传输栅TG2施加传输控制信号(TFv2)。另外,如果累积在循环栅CG3附近的光电荷朝向循环栅CG4移动,则可以仅向位于循环栅CG3和CG4之间的传输栅TG3施加传输控制信号(TFv3)。类似地,如果累积在循环栅CG4附近的光电荷朝向循环栅CG1移动,则可以仅向位于循环栅CG4和CG1之间的传输栅TG4施加传输控制信号(TFv4)。
图9是例示基于所公开的技术的一些实现的图像感测装置100的操作示例的定时图。
参照图9,图像感测装置100的操作时段可以大致分类为调制时段和读出时段。
调制时段可以是指光源10在光源驱动器170的控制下向目标对象1发射光并且使用直接TOF方法或间接TOF方法感测从目标对象1反射的光的时间段。
读出时段可以是指以下时间段:在该时间段中,间接像素(IPX)的像素信号生成电路PGC1~PGC4可以分别读取与在调制区段期间浮置扩散(FD)区域FD1~FD4中累积的光电荷的量相对应的抽头信号TAP1~TAP4,可以基于读取的抽头信号TAP1~TAP4生成间接像素输出信号IPXout1~IPXout4,并且因此可以生成与间接像素输出信号IPXout1~IPXout4相对应的数字数据。在这种情况下,只要直接像素(DPX)感测到光,可以立即生成直接像素(DPX)的直接像素输出信号(DPXout)和与直接像素输出信号(DPXout)相对应的数字数据,使得可以向图像信号处理器200实时传输直接像素输出信号(DPXout)和与其相对应的数字数据。因此,读出时段可以是指生成并传输间接像素(IPX)的间接像素输出信号IPXout1~IPXout4以及与其相对应的数字数据的时间段。
如果在时间点(t1)将读出使能信号(ROUTen)停用为逻辑低电平,则调制时段可以开始操作。如果调制时段开始操作,则图像感测装置100可以默认在对象监测模式下操作,并且可以使用直接TOF方法生成指示距目标对象的距离的数字数据。更详细地,可以在时间点(t1)将直接TOF使能信号(dToFen)激活为逻辑高电平。读出使能信号(ROUTen)、直接TOF使能信号(dToFen)和稍后要描述的间接TOF使能信号(iToFen)可以由图像信号处理器200生成,并且因此可以向图像感测装置100传输。
图像感测装置100可以以预定时间的间隔(例如,t1到t2或t2到t3)向目标对象1重复发射与时钟信号(MLS)同步的脉冲光。如图9所示,脉冲光可以用“LIGHT”表示。
另外,图9例示了充当在从图像感测装置100发射的光在从目标对象1反射之后被感测到时生成的直接像素输出信号(DPXout)的事件信号(EVENT)。换句话说,事件信号(EVENT)可以是指通过感测从目标对象1反射的光而生成的直接像素输出信号(DPXout)。
另一方面,图9例示了充当在感测并生成与从图像感测装置100发射的光无关的暗噪声分量(例如,环境噪声)时生成的直接像素输出信号(DPXout)的信号(DARK)。也就是说,信号(DARK)可以是指通过感测暗噪声分量而不是从目标对象1反射的光而生成的直接像素输出信号(DPXout)。
在时间点t1和t2从图像感测装置100发射的光可以被目标对象1反射,并且可以感测反射光,使得可以生成信号(EVENT)。然而,与信号(LIGHT)和信号(EVENT)之间的时间延迟相对应的距离可能超过阈值距离,并且存储在图像信号处理器200的模式计数器中的计数结果值可能不会增加。
另一方面,在时间段t2到t3中由于暗噪声分量可能出现信号(DARK)。与信号(LIGHT)和信号(DARK)之间的时间延迟相对应的距离可能等于或小于阈值距离,并且存储在模式计数器中的计数结果值可能增加。然而,由于计数结果值不超过模式切换值,因此可能不会发生图像感测装置100的操作模式的切换。
在时间点t4、t5和t6中的每个时间点从图像感测装置100发射的光可以在从目标对象1反射之后被感测到,使得可以出现信号(EVENT)。与信号(LIGHT)和信号(EVENT)之间的时间延迟相对应的距离可能等于或小于阈值距离,并且存储在模式计数器中的计数结果值可能增加。
此外,在时间段t4到t7中,信号(DARK)可以由于暗噪声分量而出现两次。与信号(LIGHT)和信号(DARK)之间的时间延迟相对应的距离可能超过或长于阈值距离,并且存储在模式计数器中的计数结果值可能不会增加。
然而,假定计数结果值在时间点(t7)不超过模式切换值,则可以不发生图像感测装置100的操作模式的切换。
也就是说,如果将阈值距离、模式切换值和初始化时间中的每一个设置为适当的值,则可以防止通过信号DARK导致的计数结果值的错误增加或操作模式的错误切换。尽管可以通过实验预先确定阈值距离、模式切换值和初始化时间中的每一个,但是所公开的技术的范围或精神不限于此,并且其它实现也是可以的。在一些实现中,图像信号处理器200也可以根据外部条件(例如,拍摄装置外部的照度、拍摄装置的速度、用户请求等)动态地改变阈值距离、模式切换值和初始化值中的至少一个。
在时间点(t8)从图像感测装置100发射的光可以在从目标对象1反射之后被感测到,使得可以出现信号(EVENT)。信号(LIGHT)和信号(EVENT)之间的时间延迟之间的距离可能等于或小于阈值距离,并且存储在模式计数器中的计数结果值可能增加。假设计数结果值在时间点(t8)超过或高于模式切换值,则图像信号处理器200可以允许图像感测装置100的操作模式从对象监测模式切换为深度解析模式。
因此,在时间点(t9),可以将直接TOF使能信号(dToFen)停用为逻辑低电平,并且可以将间接TOF使能信号(iToFen)激活为逻辑高电平。因此,图像感测装置100可以使用间接TOF方法生成指示距目标对象1的距离的数字数据。
在时间点(t9)之后的深度解析模式期间,图像感测装置100可以以预定时间的间隔(例如,t10到t15)向目标对象1重复发射与时钟信号(MLS)同步的调制光。
在调制时段中,向漏极节点D1~D4中的每个施加的漏极电压(Vd)可以处于低电压(例如,接地电压)电平。在读出时段中,向漏极节点D1~D4中的每个施加的漏极电压(Vd)可以处于高电压(例如,电源电压)电平。例如,如果即使在调制时段中漏极电压(Vd)处于高电压电平,则漏极电压(Vd)可以防止由循环栅收集的光电荷朝向传输栅移动。因此,漏极电压(Vd)在调制时段中可以保持为处于低电平。
在深度解析模式开始的时间点(t9),可以激活循环控制电压(Vcir1)。也就是说,可以在时间点(t9)向循环栅CG1施加循环控制电压(Vcir1)。在这种情况下,循环控制电压(Vcir1)可以具有不能将光电转换元件PD电连接到漏极节点D1的电位电平。可以在时间段t9到t11期间激活循环控制电压(Vcir1)。
由于向循环栅CG1施加激活的循环控制电压(Vcir1),因此可以在光电转换元件PD的边缘区域中与循环栅CG1邻近或相邻的区域中形成电场。结果,在光电转换元件(PD)中通过反射光的光电转换生成的光电荷可以通过电场而朝向循环栅CG1移动,使得所得的光电荷累积在循环栅CG1附近或收集在循环栅CG1中。
在时间点(t10),可以激活传输控制信号(TFv1)和循环控制电压(Vcir2)。例如,在循环控制信号(Vcir1)仍被激活的情况下,如果向循环栅CG2施加循环控制信号(Vcir2)并且同时向传输栅TG1施加传输控制信号(TFv1),则循环栅CG1和CG2以及传输栅TG1可以同时操作。在这种情况下,传输控制信号(TFv1)可以具有比循环控制电压Vcir1和Vcir2中的每个更高的电压。可以在时间段t10到t11期间激活传输控制信号(TFv1),并且可以在时间段t10到t12期间激活循环控制电压(Vcir2)。
因此,在时间段t10到t11期间收集在循环栅CG1附近的光电荷可以朝向传输栅TG1移动。另外,在时间段t11到t12期间由传输栅TG1以及循环栅CG1和CG2附加收集的光电荷也可以朝向传输栅TG1移动。
鉴于循环栅CG1和CG2以及传输栅TG1以L形状结构布置,传输栅TG1布置在顶点位置并且向传输栅TG1施加相对高的电位,使得光电荷集中收集在位于传输栅TG1附近的区域(即,顶点区域)中。
所收集的光电荷可以通过传输栅TG1向浮置扩散(FD)区域FD1传输。因此,光电荷被集中地收集在窄的顶点区域中,使得能够使用小尺寸的传输栅TG1迅速地向浮置扩散(FD)区域FD1传输光电荷。
在时间点(t11),可以停用循环控制信号(Vcir1)和传输控制信号(TFv1),并且可以激活传输控制信号(TFv2)和循环控制信号(Vcir3)。因此,位于循环栅CG2的一侧的传输栅TG1和循环栅CG1可以停止操作,并且位于循环栅CG2的另一侧的传输栅TG2和循环栅CG3可以开始操作。在这种情况下,激活的传输控制信号(TFv2)可以具有比循环控制电压(Vcir3)更高的电压。
然而,尽管激活了传输控制信号(TFv2)和循环控制信号(Vcir3),但是直到传输控制信号(TFv2)和循环控制电压(Vcir3)的电位电平达到栅TG2和CG3可以实际操作的预定电平之前,可以消耗预定的时间(即,上升时间)。因此,可能发生其中传输栅TG1停止操作并且传输栅TG2尚未操作的时间段。
因此,循环控制信号(Vcir2)被持续激活直到到达时间点(t12)。结果,在传输栅TG2尚未操作的预定时间期间,光电荷可以不被分散并朝向循环栅CG2移动。例如,不仅未通过传输栅TG1传输的光电荷,而且新生成的光电荷也可以朝向循环栅CG2移动。
如果传输控制信号(TFv2)和循环控制电压(Vcir3)中的每个的上升时间已经界满,则传输栅TG2可以通过传输控制信号(TFv2)进行操作,并且循环栅CG3可以通过循环控制信号(Vcir3)进行操作。因此,循环栅CG2和CG3以及传输栅TG2可以同时操作。在这种情况下,由于传输控制信号(TFv2)具有比循环控制电压Vcir2和Vcir3中的每个更高的电压,因此光电荷可以朝向传输栅TG2移动并且可以通过传输栅TG2而流入浮置扩散(FD)区域FD2中。
在时间点(t12),可以停用循环控制信号(Vcir2)和传输控制信号(TFv2),并且可以激活传输控制信号(TFv3)和循环控制信号(Vcir4)。因此,位于循环栅CG3的一侧的传输栅TG2和循环栅CG2可以停止操作,并且位于循环栅CG3的另一侧的传输栅TG3和循环栅CG4可以开始操作。在这种情况下,传输控制信号(TFv3)可以具有比循环控制电压(Vcir4)更高的电压。
在这种情况下,循环控制电压(Vcir3)继续被激活,直到到达时间点(t13)。结果,在传输栅TG3尚未操作的预定时间期间,光电荷可以不被分散并且朝向循环栅CG3移动。
如果传输控制信号(TFv3)和循环控制电压(Vcir4)中的每个的上升时间已经界满,则传输栅TG3可以通过传输控制信号(TFv3)进行操作,并且循环栅CG4可以通过循环控制电压(Vcir4)进行操作。因此,循环栅CG3和CG4以及传输栅TG3可以同时操作。在这种情况下,由于传输控制信号(TFv3)具有比循环控制电压Vcir3和Vcir4中的每个更高的电压,因此光电荷可以朝向传输栅极TG3移动并且可以通过传输栅TG3而流入浮置扩散(FD)区域FD3中。
在时间点(t13),可以停用循环控制信号(Vcir3)和传输控制信号(TFv3),并且可以激活传输控制信号(TFv4)。在这种情况下,激活的传输控制信号(TFv4)可以具有高于循环控制电压(Vcir4)的电压,并且循环控制信号(Vcir4)可以保持被激活直到到达时间点(t14)。
因此,光电荷可以朝向循环栅CG4移动。此后,如果传输控制信号(TFv4)的上升时间已经界满,则光电荷可以通过传输栅TG4流入浮置扩散(FD)区域FD4中。
时间段t9到t14可以被定义为第一间接循环。直到调制时段结束为止,可以以与时间段t9到t14相同的方式重复地执行移动光电荷的操作和顺序地向浮置扩散(FD)区域FD1~FD4传输所移动的光电荷的操作。从图9可以看出,可以在第二间接循环至第m(其中,“m”是3或更大的整数)间接循环当中重复执行与第一间接循环相对应的操作。结果,尽管光电转换元件PD的光电转换灵敏度处于低水平或传输栅TG1至TG4的传输(Tx)效率处于低水平,但是能够增加或改善使用间接TOF方法感测距目标对象的距离的准确度。可以考虑光电转换元件PD的光电转换灵敏度或传输栅TG1~TG4的传输(Tx)效率,预先通过实验来确定关于第一间接循环重复多少次的信息。在一些其它实现中,可以不重复第一间接循环,并且可以第一间接循环一结束就开始读出时段。
如果调制时段已经界满,则激活读取使能信号(ROUTen),使得可以开始读取时段。在这种情况下,漏极电压(Vd)可以被激活为高电压电平,并且漏极控制信号(Vdrain)也可以被激活为高电压电平。因此,光电转换元件PD可以通过循环栅CG1~CG4电联接至漏极节点D1~D4,使得光电转换元件PD的电压电平可以在读出时段期间被固定为漏极电压(Vd)。
图10是例示基于所公开的技术的一些实现的图1所示的图像感测装置中所包括的一些组成元件的示例的示意图。
参照图10,图像感测装置1000可以例示图1所示的图像感测装置100中包括的一些组成元件的一个示例。图像感测装置1000可以包括像素阵列1005、行驱动器1050、调制驱动器1060、水平时间数字电路(TDC)1070、垂直TDC 1080和间接读出电路1090。
像素阵列1005可以对应于图1所示的像素阵列110,并且可以包括多个直接像素1010和多个间接像素1040。尽管基于所公开的技术的一些实现的图10所示的像素阵列1005可以包括以包括期望数量的行和列(例如,22行和22列)的矩阵形状布置的多个像素。在实现中,可以根据需要设置像素阵列1005中包括的行的数量和列的数量。由于基于间接像素1040确定行的数量和列的数量,因此可以在两行和两列上布置与间接像素1040尺寸不同的直接像素。
多个直接像素1010可以包括在第一直接像素组1020和/或第二直接像素组1030中。尽管每个直接像素1010可以是每个间接像素1040的四倍大,但是所公开的技术的范围或精神不限于此,并且其它实现也是可以的。这是因为直接像素1010中包括的淬熄电路(QC)或再充电电路(RC)可以尺寸相对大。在一些其它实现中,直接像素1010和间接像素1040之间的尺寸比率可以被设置为用于特定设计的期望比率,例如,“1”、“1/2”、“1/16”或其它比率。
第一直接像素组1020可以包括在像素阵列1005的第一对角线方向上成直线布置的多个直接像素1010。例如,第一对角线方向可以是指第一交叉点连接到第二交叉点的直线方向,在第一交叉点处像素阵列1005的第一行和第一列彼此交叉,在第二交叉点处像素阵列1005的最后一行和最后一列彼此交叉。
第二直接像素组1030可以包括在像素阵列1005的第二对角线方向上成直线布置的多个直接像素1010。例如,第二对角线方向可以是指第一交叉点连接至第二交叉点的直线方向。在第一交叉点处像素阵列1005的第一行和最后一列彼此交叉,在第二交叉点处像素阵列1005的最后一行和第一列彼此交叉。
设置在第一直接像素组1020和第二直接像素组1030的交叉点处的中心像素可以包括在第一直接像素组1020和第二直接像素组1030的每一个中。
直接像素1010可以在像素阵列1005内以线传感器形状布置,使得包括以线传感器形状布置的直接像素1010的整个区域的尺寸可以比包括间接像素1040的区域的尺寸小。这是因为直接像素1010被设计为具有相对较长的有效测量距离和相对较高的时间分辨率,而不是为了获取准确的深度图像。结果,直接像素1010能够使用相对较长的有效测量距离和相对较高的时间分辨率在对象监测模式下识别目标对象1的存在与否,并且同时能够使用相对较长的有效测量距离和相对较高的时间分辨率正确地测量距目标对象1的距离。
此外,当从分别由间接像素1040生成的深度图像看时,每个直接像素1010可以充当死像素。在这种情况下,图像信号处理器200可以借助于被位于在预定距离(例如,两个像素)或更小的范围内与直接像素1010相邻的间接像素1040的数字数据来执行分别与直接像素1010的位置相对应的深度图像的插值。
在矩形像素阵列1005中,多个间接像素1040可以在除了设置有多个直接像素1010的区域之外的其余区域内以矩阵形状布置。
行驱动器1050和调制驱动器1060可以对应于图1所示的间接像素驱动器130。行驱动器1050可以在像素阵列1005的垂直方向(或列方向)上布置,并且调制驱动器1060可以在像素阵列1005的水平方向(或行方向)上布置。
行驱动器1050可以向每个间接像素1040提供复位控制信号RG1~RG4和选择控制信号SEL1~SEL4。可以通过在水平方向上延伸的信号线来提供复位控制信号RG1~RG4和选择控制信号SEL1~SEL4,使得属于像素阵列1005的相同行的多个间接像素1040可以接收相同的复位控制信号RG1~RG4和相同的选择控制信号SEL1~SEL4。
调制驱动器1060可以向每个间接像素1040提供循环控制信号CXV1~CXV4和传输控制信号TFv1~TFv4。可以通过在垂直方向上延伸的信号线来提供循环控制信号CXV1~CXV4和传输控制信号TFv1~TFv4,使得属于像素阵列1005的相同列的多个间接像素1040可以接收相同的循环控制信号CXV1~CXV4和相同的传输控制信号TFv1~TFv4。
尽管图10中未示出,但是如果每个直接像素1010中的淬熄电路(QC)和再充电电路(RC)中的至少一个实现为有源器件,则可以进一步设置用于提供淬熄控制信号(QCS)和/或再充电控制信号的直接像素驱动器。由直接像素驱动器提供信号的方法可以对应于行驱动器1050的方法。
水平TDC 1070和垂直TDC 1080可以对应于图1所示的直接读出电路140。水平TDC1070可以在水平方向(或行方向)上布置在像素阵列1005的上侧(或下侧)。垂直TDC 1080可以在垂直方向(或列方向)上布置在像素阵列1005的右侧(或左侧)。
水平TDC 1070可以联接到第一直接像素组1020中所包括的每个直接像素1010。水平TDC 1070可以包括与第一直接像素组1020的直接像素1010在一对一的基础上相对应的多个TDC(即,TDC电路)。
垂直TDC 1080可以联接到第二直接像素组1030中包括的每个直接像素1010。垂直TDC 1080可以包括与第二像素组1030的直接像素1010在一对一的基础上相对应的多个TDC(即,TDC电路)。
水平TDC 1070或垂直TDC 1080中包括的每个TDC可以包括:数字逻辑电路,该数字逻辑电路被配置为通过计算相应的直接像素DPX的脉冲信号与参考脉冲之间的时间延迟来生成数字数据;以及输出缓冲器,该输出缓冲器被配置为将所生成的数字数据存储在其中。图10中所示的每个直接像素1010的点可以是指用于至水平TDC1070或垂直TDC 1080的电连接的端子。中心像素可以包括两个点,使得这两个点可以分别联接到水平TDC 1070和垂直TDC 1080。
在基于所公开的技术的一些实现的图像感测装置1000中,每个TDC电路可以不设置在直接像素1010中,而是可以设置在像素阵列1005的一侧而不设置在像素阵列1005中,使得能够极大地减小每个直接像素1010的区域的尺寸。因此,直接像素1010和间接像素1040可以同时设置在像素阵列1005中,并且更多个直接像素1010可以布置在像素阵列1005中,使得当通过直接TOF方法感测距目标对象的距离时可以获得更高的分辨率。
间接读出电路1090可以对应于图1中所示的间接读出电路150,可以处理从间接像素1040生成的模拟像素信号,可以生成并存储与经处理的像素信号相对应的数字数据。属于像素阵列1005的相同列的间接像素1040可以通过相同信号线输出像素信号。因此,为了正常传输这样的像素信号,间接像素1040可以以行为基础顺序地输出像素信号。
图11是例示基于所公开的技术的一些实现的图10所示的图像感测装置1000的操作示例的概念图。
参照图10和图11,当图像感测装置1000在对象监测模式和深度解析模式中的每一个下操作时,例示了关于根据时间的流逝如何激活像素的信息。在这种情况下,该像素的激活可以是指以下操作状态:每个像素从对应的像素驱动器120或130接收控制信号,生成通过检测到入射光而形成的信号(例如,脉冲信号或像素信号),并向相应的读出电路140或150发送所生成的信号。在图11中,激活的像素可以由阴影像素表示。
在图像感测装置1000使用直接TOF方法生成指示距目标对象的距离的数字数据的对象监测模式中,图像感测装置1000可以以直接循环为单位(或者以直接循环为基础)顺序地操作。从图11可以看出,图像感测装置1000可以以第一直接循环DC1至第十二直接循环DC12的次序顺序地操作。第一直接循环DC1至第十二直接循环DC12中的每一个可以是指可以执行包括以下的一系列操作的时间段:例如,向目标对象1发射脉冲光的操作、生成与从目标对象1接收的反射光相对应的脉冲信号的操作、生成与脉冲信号相对应的数字数据的操作、淬熄操作和再充电操作。例如,图9中所示的时间段t1到t2或t2到t3可以对应于单个直接循环。
在第一直接循环DC1中,可以激活第一直接像素组1020中包括的直接像素1010,并且可以停用第二直接像素组1030中包括的直接像素1010。可以激活用于处理第一直接像素组1020的脉冲信号的水平TDC 1070,并且可以停用用于处理第二直接像素组1030的脉冲信号的垂直TDC 1080。另外,可以停用间接像素1040以及用于控制和读出间接像素1040的组成元件1050、1060和1090。
在第二直接循环DC2中,可以停用第一直接像素组1020中包括的直接像素1010,并且可以激活第二直接像素组1030中包括的直接像素1010。另外,可以停用用于处理第一直接像素组1020的脉冲信号的水平TDC 1070,并且可以激活用于处理第二直接像素组1030的脉冲信号的垂直TDC 1080。另外,可以停用间接像素1040以及用于控制和读出间接像素1040的组成元件1050、1060和1090。
不仅在第三直接循环DC3至第十二直接循环DC12中,而且在后续的直接循环中,也可以以与第一直接循环DC1和第二直接循环DC2相同的方式交替地激活第一直接像素组1020中包括的直接像素1010和第二直接像素组1030中包括的直接像素。因此,水平TDC1070和垂直TDC 1080也可以彼此交替地被激活。
因此,像素阵列1005中可以包括最小数量的具有相对大功耗的直接像素,并且可以在一个直接循环内仅激活一些直接像素,使得能够优化功耗。
另外,在像素阵列1005中要激活的像素可以从第一直接像素组1020的像素改变为第二直接像素组1030的像素,或者可以从第二直接像素组1030的像素改变为第一直接像素组1020的像素,使得能够获得与被配置为360°旋转的雷达系统的光束相似的效果。
尽管为了便于描述,所公开的技术的上述实施方式已经公开了首先激活第一直接像素组1020,但是所公开的技术的范围或精神不限于此,并且根据需要可以首先激活根据另一实施方式的第二直接像素组1030。另外,尽管为了便于描述,所公开的技术的上述实施方式已经公开了整个直接循环可以延伸至至少第十二直接循环DC12,但是所公开的技术的范围或精神不限于此。如果在达到第十二直接循环DC12之前的任何其它步骤中满足图3所示的步骤S30中描述的预定条件,图像感测装置1000的操作模式可以从对象监测模式切换到深度解析模式。
如果图像感测装置1000的操作模式从对象监测模式切换到深度解析模式,则可以开始间接循环(IC)。在间接循环(IC)中,可以激活间接像素1040以及用于控制和读出间接像素1040的组成元件1050、1060和1090。在间接循环(IC)中,可以同时激活间接像素1040。另外,可以停用直接像素1010以及用于控制和读出直接像素1010的组成元件1070和1080。
图12是例示基于所公开的技术的一些实现的图11所示的图像感测装置100的另一操作示例的概念图。
图12中所示的图像感测装置1200可以例示图1所示的图像感测装置100中包括的一些组成元件的另一示例。图像感测装置1200可以包括像素阵列1205、行驱动器1250、调制驱动器1260、水平TDC 1270、垂直TDC 1280以及间接读出电路1290。除了与图像感测装置1000的结构不同的一些结构以外的图像感测装置1200的其余组件可以与图1所示的图像感测装置1000的组件在结构和功能上基本相似,并且为简洁起见,本文将省略其冗余描述。为了便于描述,在下文中将以与图10所示的图像感测装置1000不同的特征为中心来描述图12中示出的图像感测装置1200。
像素阵列1205可以进一步包括第三直接像素组1225和第四直接像素组1235,第三直接像素组1225和第四直接像素组1235中的每一个包括多个直接像素1210。第三直接像素组1225和第四直接像素组1235中的每一个包括的直接像素1210的整个区域和详细操作可以与直接像素1210的基本相同。
第三直接像素组1225可以包括在像素阵列1205的水平方向(或行方向)上成直线布置的多个直接像素1210。
第四直接像素组1235可以包括在像素阵列1205的垂直方向(或列方向)上成直线布置的多个直接像素1210。
第一直接像素组1220和第二直接像素组1230可以被定义为第一集合。第三直接像素组1225和第四直接像素组1235可以定义为第二集合。
设置在第一直接像素组至第四直接像素组1220、1225、1230和1235的交叉点处的中心像素可以包括在第一直接像素组至第四直接像素组1220、1225、1230和1235的每一个中。
另一方面,水平TDC 1270可以联接到第一直接像素组1220中包括的每个直接像素1210和第三直接像素组1225中包括的每个直接像素1210。第一直接像素组1220的每个直接像素1210和在列方向上成直线布置的第三直接像素组1225的每个直接像素1210可以联接到相同信号线,并且水平TDC 1270可以包括各自对应于一组两个直接像素1210的多个TDC电路。
垂直TDC 1280可以联接到第二直接像素组1230中包括的每个直接像素1210和第四直接像素组1235中包括的每个直接像素1210。第二直接像素组1230的每个直接像素1210和在列方向上成直线布置的第四直接像素组1235中的每个直接像素1210可以联接到相同信号线,并且垂直TDC 1280可以包括各自对应于一组两个直接像素1210的多个TDC电路。
图13是例示基于所公开的技术的一些实现的图12所示的图像感测装置的操作示例的概念图。
参照图12和图13,当图像感测装置1200在对象监测模式和深度解析模式中的每一个下操作时,例示了关于根据时间的流逝如何激活像素的信息。在这种情况下,这样像素的激活可以是指如下操作状态:其中每个像素从相应的像素驱动器120或130接收控制信号,生成通过检测到入射光而获取的信号(例如,脉冲信号或像素信号),并向相应的读出电路140或150发送所生成的信号。在图13中,激活的像素可以由阴影像素表示。
在图像感测装置1200使用直接TOF方法生成指示距目标对象的距离的数字数据的对象监测模式中,图像感测装置1200可以以直接循环为单位(或者以直接循环为基础)顺序地操作。从图13可以看出,图像感测装置1200可以以第一直接循环DC1至第十二直接循环DC12的次序顺序地操作。第一直接循环DC1至第十二直接循环DC12中的每个可以是指可以执行包括以下的一系列操作的时间段:例如,向目标对象1发射脉冲光的操作、生成与从目标对象1接收的反射光相对应的脉冲信号的操作、生成与脉冲信号相对应的数字数据的操作、淬熄操作和再充电操作。例如,图9中所示的时间段t1到t2或t2到t3可以对应于单个直接循环。
在第一直接循环DC1中,可以激活与第一集合相对应的第一直接像素组1220和第二直接像素组1230的每个中所包括的直接像素1210,并且可以停用与第二集合相对应的第三直接像素组1225和第四直接像素组1235的每个中所包括的直接像素1210。可以激活用于处理第一直接像素组1220的脉冲信号的水平TDC 1270和用于处理第二直接像素组1230的脉冲信号的垂直TDC 1280。另外,可以停用间接像素1240以及用于控制和读出间接像素1240的组成元件1250、1260和1290。
在第二直接循环DC2中,可以停用与第一集合相对应的第一直接像素组1220和第二直接像素组1230的每个中所包括的直接像素1210,并且可以激活与第二集合相对应的第三直接像素组1225和第四直接像素组1235的每个中所包括的直接像素1210。可以同时激活用于处理第三直接像素组1225的脉冲信号的水平TDC 1270和用于处理第四直接像素组1235的脉冲信号的垂直TDC 1280。另外,可以停用间接像素1240以及用于控制和读出间接像素1240的组成元件1250、1260和1290。
不仅在第三直接循环DC3至第十二直接循环DC12中,而且在后续的直接循环中,也可以以与第一直接循环DC1和第二直接循环DC2相同的方式交替地激活第一直接像素组1220和第二直接像素组1230中包括的直接像素1010以及第三直接像素组1225和第四直接像素组1235中包括的直接像素。
因此,像素阵列1005中可以包括最小数量的具有相对大功耗的直接像素,并且可以在一个直接循环内仅激活一些直接像素,使得能够优化功耗量。
另外,在像素阵列1205中要激活的像素可以从在对角线方向布置的直接像素1210(即,第一直接像素组1220和第二直接像素组1230)改变为在水平方向和垂直方向上布置的直接像素1210(即第三直接像素组1225和第四直接像素组1235),或者可以从在水平方向和垂直方向上布置的直接像素1210改变为在对角线方向上布置的直接像素1210,使得能够获得类似于雷达系统的光束的效果。
尽管为了便于描述,所公开的技术的上述实施方式已经公开了首先激活第一直接像素组1220和第二直接像素组1230,但是所公开的技术的范围或精神不限于此,并且根据需要可以首先激活根据另一实施方式的第三直接像素组1225和第四直接像素组1235。尽管图13已经公开了在每个直接循环中同时激活两个直接像素组,但是应当注意,基于所公开的技术的一些其它实现,在每个直接循环中可以仅激活一个直接像素组。例如,可以顺时针顺序地激活第一直接像素组1220、第四直接像素组1235、第二直接像素组1230和第三直接像素组1225,使得能够获得类似于雷达系统的光束的效果。
另外,尽管为了便于描述,所公开的技术的上述实施方式已经公开了整个直接循环能够延伸至至少第十二直接循环DC12,但是所公开的技术的范围或精神不限于此,并且其它实现也是可以的。例如,如果在达到第十二直接循环DC12之前的任何其它步骤中满足图3所示的步骤S30中描述的预定条件,则图像感测装置1200的操作模式可以从对象监测模式切换到深度解析模式。
如果图像感测装置1200的操作模式从对象监测模式切换到深度解析模式,则可以开始间接循环(IC)。在间接循环(IC)中,可以激活间接像素1240以及用于控制和读出间接像素1240的组成元件1250、1260和1290。另外,可以停用直接像素1210以及用于控制和读出直接像素1210的组成元件1270和1280。
从以上描述显而易见的是,基于所公开的技术的一些实现的图像感测装置可以配备有不同的感测像素以及用于基于具有不同TOF感测能力的不同TOF测量技术来执行TOF测量的相关电路,使得装置能够响应于距目标对象的距离选择最佳TOF方法,从而图像感测装置能够使用最佳TOF方法感测距目标对象的距离。
可以以各种方式实现所公开的技术的实施方式,以实现一个或更多个优点或期望的效果。
尽管已经描述了许多示例性实施方式,但是应当理解,可以基于本专利文档中描述和/或例示的内容来设计对所公开的实施方式和其它实施方式的多种修改或增强。
相关申请的交叉引用
本专利文档要求于2020年6月4日提交的韩国专利申请No.10-2020-0067574的优先权和权益,其全部公开内容通过引用合并以作为本专利文档的公开内容的一部分。
Claims (20)
1.一种图像感测装置,该图像感测装置包括:
像素阵列,所述像素阵列被配置为包括至少一个第一像素和至少一个第二像素;以及
定时控制器,所述定时控制器被配置为基于目标对象与所述像素阵列之间的距离来激活所述第一像素或所述第二像素,
其中,所述第一像素和所述第二像素具有不同的特性,所述特性包括与有效地感测距离的能力有关的有效测量距离、与辨识时间差的能力有关的时间分辨率、与辨识空间差的能力有关的空间分辨率、或指示生成像素信号所需的功率量的单位功耗中的至少一项。
2.根据权利要求1所述的图像感测装置,其中,所述第一像素对应于单光子雪崩二极管SPAD像素。
3.根据权利要求1所述的图像感测装置,其中,所述第一像素包括:
单光子雪崩二极管SPAD,所述单光子雪崩二极管SPAD被配置为通过感测从所述目标对象反射的单光子来生成电流脉冲;
淬熄电路,所述淬熄电路被配置为控制向所述单光子雪崩二极管SPAD施加的反向偏置电压;以及
数字缓冲器,所述数字缓冲器被配置为将所述电流脉冲转换为数字脉冲信号。
4.根据权利要求1所述的图像感测装置,其中,
所述第一像素对应于直接像素,所述直接像素被配置为使用从所述目标对象反射的光的时间来感测距所述目标对象的距离;并且
所述第二像素对应于间接像素,所述间接像素被配置为使用从所述目标对象反射的光的相位来感测距所述目标对象的距离。
5.根据权利要求1所述的图像感测装置,其中,
所述第一像素包括在以下内:
第一直接像素组,在所述第一直接像素组中多个所述第一像素在第一对角线方向上成直线布置;或者
第二直接像素组,在所述第二直接像素组中多个所述第一像素在第二对角线方向上成直线布置。
6.根据权利要求5所述的图像感测装置,该图像感测装置还包括:
水平时间数字电路TDC,所述水平时间数字电路TDC设置在所述像素阵列的一侧并被配置为处理所述第一直接像素组的输出信号;以及
垂直时间数字电路TDC,所述垂直时间数字电路TDC设置在所述像素阵列的另一侧,并被配置为处理所述第二直接像素组的输出信号。
7.根据权利要求5所述的图像感测装置,其中,
在激活所述第一像素的第一直接循环中,激活所述第一直接像素组和所述第二直接像素组中的任何一个;并且
在跟随在所述第一直接循环之后的第二直接循环中,激活所述第一直接像素组和所述第二直接像素组中的另一个。
8.根据权利要求1所述的图像感测装置,其中,
所述第一像素包括在以下各项中的任何一项中:
第一直接像素组,在所述第一直接像素组中多个所述第一像素在第一对角线方向上成直线布置;
第二直接像素组,在所述第二直接像素组中多个所述第一像素在第二对角线方向上成直线布置;
第三直接像素组,在所述第三直接像素组中多个所述第一像素在水平方向上成直线布置;以及
第四直接像素组,在所述第四直接像素组中多个所述第一像素在垂直方向上成直线布置。
9.根据权利要求8所述的图像感测装置,该图像感测装置还包括:
水平时间数字电路TDC,所述水平时间数字电路TDC设置在所述像素阵列的一侧并且被配置为处理所述第一直接像素组的输出信号和所述第三直接像素组的输出信号;以及
垂直时间数字电路TDC,所述垂直时间数字电路TDC设置在所述像素阵列的另一侧并被配置为处理所述第二直接像素组的输出信号和所述第四直接像素组的输出信号。
10.根据权利要求8所述的图像感测装置,其中,
在激活所述第一像素的第一直接循环中,激活包括所述第一直接像素组和所述第二直接像素组的第一集合以及包括所述第三直接像素组和所述第四直接像素组的第二集合中的任何一个;并且
在所述第一直接循环之后的第二直接循环中,激活所述第一集合和所述第二集合中的另一个。
11.根据权利要求1所述的图像感测装置,其中,所述第二像素包括:
光电转换元件,所述光电转换元件被配置为通过对从所述目标对象反射的入射光执行光电转换来生成并累积光电荷;
多个循环栅,所述多个循环栅设置在与围绕所述光电转换元件的矩形环形状的四个边相对应的区域中,并且被配置为通过基于循环控制电压在所述光电转换元件的不同区域中局部地生成电场来诱导所述光电荷的移动;以及
多个传输栅,所述多个传输栅设置在与所述矩形环形状的顶点相对应的区域中,并且被配置为基于传输控制信号来向相应的浮置扩散FD区域传输所述光电荷。
12.根据权利要求1所述的图像感测装置,其中,所述像素阵列包括一个或更多个附加第一像素和一个或更多个附加第二像素,并且用于所述第一像素和所述一个或更多个附加第一像素的区域的总尺寸比用于所述第二像素和所述一个或更多个附加第二像素的区域的总尺寸小。
13.根据权利要求1所述的图像感测装置,其中,
所述第一像素的尺寸大于所述第二像素的尺寸。
14.根据权利要求1所述的图像感测装置,其中,
所述像素阵列包括一个或更多个附加第一像素和一个或更多个附加第二像素,并且所述第二像素和所述一个或更多个附加第二像素以矩阵形状布置。
15.根据权利要求14所述的图像感测装置,其中,所述第二像素和所述一个或更多个附加第二像素同时被激活。
16.一种拍摄装置,该拍摄装置包括:
图像感测装置,所述图像感测装置被配置为具有第一像素和第二像素,所述第二像素与所述第一像素的不同在于具有以下各项中至少一项的不同值:与有效地感测距离的能力有关的有效测量距离、与辨识时间差的能力有关的时间分辨率、与辨识空间差的能力有关的空间分辨率、或指示生成像素信号所需的功率量的单位功耗;以及
图像信号处理器,所述图像信号处理器被配置为基于预定阈值距离与所述图像感测装置和目标对象之间的距离之间的比较,在激活所述第一像素的对象监测模式或激活所述第二像素的深度解析模式下操作所述图像感测装置。
17.根据权利要求16所述的拍摄装置,其中,所述图像信号处理器还被配置为:基于所述比较将计数结果值增加预定值;并且
基于增加后的计数结果值,将所述图像感测装置的操作模式从所述对象监测模式切换为所述深度解析模式。
18.根据权利要求16所述的拍摄装置,其中,所述第一像素被配置为使用从所述目标对象反射的光的时间来测量距所述目标对象的距离,并且所述第二像素被配置为使用从所述目标对象反射的光的相位来测量距所述目标对象的距离。
19.一种能够检测距对象的距离的感测装置,该感测装置包括:
一个或更多个第一感测像素,所述一个或更多个第一感测像素被配置为基于第一距离测量技术来检测光并测量距目标对象的距离;
第一像素驱动器,所述第一像素驱动器联接到所述一个或更多个第一感测像素并且在操作上控制所述一个或更多个第一感测像素以检测用于测量所述距离的光;
一个或更多个第二感测像素,所述一个或更多个第二感测像素被配置为基于与所述第一距离测量技术不同的第二距离测量技术来检测光并测量距目标对象的距离,使得所述第一距离测量技术和所述第二距离测量技术具有不同的距离测量特性;
第二像素驱动器,所述第二像素驱动器联接到所述一个或更多个第二感测像素并且在操作上控制所述一个或更多个第二感测像素以检测用于测量所述距离的光;以及
控制器,所述控制器被配置为针对所述目标对象与所述感测装置之间的距离,基于所述第一感测像素和所述第二感测像素的不同距离测量特性来激活所述一个或更多个第一感测像素或者所述一个或更多个第二感测像素。
20.根据权利要求19所述的感测装置,其中,所述第一感测像素和所述第二感测像素的不同距离测量特性包括:能够测量的距离的范围、距离测量中的空间分辨率、感测像素执行距离测量所需的时间、感测像素执行距离测量所消耗的功率。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0067574 | 2020-06-04 | ||
KR1020200067574A KR20210150765A (ko) | 2020-06-04 | 2020-06-04 | 이미지 센싱 장치 및 이를 포함하는 촬영 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113766159A true CN113766159A (zh) | 2021-12-07 |
Family
ID=78786616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110195270.2A Pending CN113766159A (zh) | 2020-06-04 | 2021-02-20 | 图像感测装置及包括其的拍摄装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11860279B2 (zh) |
KR (1) | KR20210150765A (zh) |
CN (1) | CN113766159A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023231314A1 (zh) * | 2022-05-30 | 2023-12-07 | 神盾股份有限公司 | 距离感测装置及其感测方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11048465B2 (en) * | 2018-09-18 | 2021-06-29 | Canon Kabushiki Kaisha | Imaging display device, wearable device, and imaging display system |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080211946A1 (en) * | 2007-03-01 | 2008-09-04 | Canon Kabushiki Kaisha | Image sensing apparatus and image sensing system |
US20130123015A1 (en) * | 2011-11-15 | 2013-05-16 | Samsung Electronics Co., Ltd. | Image sensor, operation method thereof and apparatuses incuding the same |
US20140198183A1 (en) * | 2013-01-16 | 2014-07-17 | Samsung Electronics Co., Ltd. | Sensing pixel and image sensor including same |
CN105143921A (zh) * | 2013-04-24 | 2015-12-09 | 皇家飞利浦有限公司 | 使用光学探测器像素阵列和像素元触发状态感测电路来对辐射量子的探测 |
US20160182886A1 (en) * | 2014-12-22 | 2016-06-23 | Google Inc. | Time-of-flight image sensor and light source driver having simulated distance capability |
US20170097417A1 (en) * | 2015-10-21 | 2017-04-06 | Samsung Electronics Co., Ltd. | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
WO2019081301A1 (en) * | 2017-10-23 | 2019-05-02 | Ams International Ag | IMAGE SENSOR AND METHOD FOR DETERMINING A THREE DIMENSIONAL IMAGE |
CN110291414A (zh) * | 2017-02-21 | 2019-09-27 | 索尼半导体解决方案公司 | 距离测量装置和距离测量方法 |
CN110308451A (zh) * | 2018-03-27 | 2019-10-08 | 豪威科技股份有限公司 | 适用于远程飞行时间应用的双模式堆叠光电倍增管 |
CN110944128A (zh) * | 2018-09-21 | 2020-03-31 | 爱思开海力士有限公司 | 模数转换(adc)电路和包括其的cmos图像传感器 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10976257B2 (en) * | 2015-06-08 | 2021-04-13 | The Regents Of The University Of Michigan | Pixel circuit and method for optical sensing |
US10999543B2 (en) * | 2016-06-28 | 2021-05-04 | Sony Corporation | Solid-state imaging device, electronic apparatus, lens control method, and vehicle |
JP2018098375A (ja) | 2016-12-14 | 2018-06-21 | ソニーセミコンダクタソリューションズ株式会社 | 半導体装置、および保護素子 |
US10116925B1 (en) | 2017-05-16 | 2018-10-30 | Samsung Electronics Co., Ltd. | Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement |
KR102016942B1 (ko) * | 2017-09-20 | 2019-09-02 | 연세대학교 산학협력단 | 차량용 라이다 센서 및 라이다 센서의 동작 방법 |
EP3496145B1 (en) | 2017-12-11 | 2020-09-23 | IMEC vzw | Semiconductor integrated circuit manufactured using a plasma-processing step |
KR102154712B1 (ko) | 2017-12-15 | 2020-09-11 | 에이테크솔루션(주) | 차량용 라이다 장치 |
US10715754B2 (en) * | 2018-01-23 | 2020-07-14 | Stmicroelectronics (Research & Development) Limited | Single reference clock time to digital converter |
US10324170B1 (en) * | 2018-04-05 | 2019-06-18 | Luminar Technologies, Inc. | Multi-beam lidar system with polygon mirror |
JP2022036339A (ja) * | 2018-10-12 | 2022-03-08 | ソニーセミコンダクタソリューションズ株式会社 | センサフュージョンシステム、同期制御装置、及び同期制御方法 |
US11272157B2 (en) * | 2019-02-15 | 2022-03-08 | Analog Devices International Unlimited Company | Depth non-linearity compensation in time-of-flight imaging |
-
2020
- 2020-06-04 KR KR1020200067574A patent/KR20210150765A/ko unknown
-
2021
- 2021-02-20 CN CN202110195270.2A patent/CN113766159A/zh active Pending
- 2021-03-05 US US17/194,156 patent/US11860279B2/en active Active
-
2023
- 2023-12-29 US US18/400,516 patent/US20240230908A9/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080211946A1 (en) * | 2007-03-01 | 2008-09-04 | Canon Kabushiki Kaisha | Image sensing apparatus and image sensing system |
US20130123015A1 (en) * | 2011-11-15 | 2013-05-16 | Samsung Electronics Co., Ltd. | Image sensor, operation method thereof and apparatuses incuding the same |
US20140198183A1 (en) * | 2013-01-16 | 2014-07-17 | Samsung Electronics Co., Ltd. | Sensing pixel and image sensor including same |
CN105143921A (zh) * | 2013-04-24 | 2015-12-09 | 皇家飞利浦有限公司 | 使用光学探测器像素阵列和像素元触发状态感测电路来对辐射量子的探测 |
US20160182886A1 (en) * | 2014-12-22 | 2016-06-23 | Google Inc. | Time-of-flight image sensor and light source driver having simulated distance capability |
US20170097417A1 (en) * | 2015-10-21 | 2017-04-06 | Samsung Electronics Co., Ltd. | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
CN110291414A (zh) * | 2017-02-21 | 2019-09-27 | 索尼半导体解决方案公司 | 距离测量装置和距离测量方法 |
WO2019081301A1 (en) * | 2017-10-23 | 2019-05-02 | Ams International Ag | IMAGE SENSOR AND METHOD FOR DETERMINING A THREE DIMENSIONAL IMAGE |
CN110308451A (zh) * | 2018-03-27 | 2019-10-08 | 豪威科技股份有限公司 | 适用于远程飞行时间应用的双模式堆叠光电倍增管 |
CN110944128A (zh) * | 2018-09-21 | 2020-03-31 | 爱思开海力士有限公司 | 模数转换(adc)电路和包括其的cmos图像传感器 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023231314A1 (zh) * | 2022-05-30 | 2023-12-07 | 神盾股份有限公司 | 距离感测装置及其感测方法 |
Also Published As
Publication number | Publication date |
---|---|
US11860279B2 (en) | 2024-01-02 |
US20240134051A1 (en) | 2024-04-25 |
US20210382175A1 (en) | 2021-12-09 |
US20240230908A9 (en) | 2024-07-11 |
KR20210150765A (ko) | 2021-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7308830B2 (ja) | コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法 | |
US20230194672A1 (en) | Apparatus and method | |
US10690755B2 (en) | Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range | |
CN111293129B (zh) | 用于距离测量的图像传感器 | |
US9608027B2 (en) | Stacked embedded SPAD image sensor for attached 3D information | |
KR101508410B1 (ko) | 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법 | |
EP3922007B1 (en) | Systems and methods for digital imaging using computational pixel imagers with multiple in-pixel counters | |
US20240230908A9 (en) | Image sensing device and photographing device including the same | |
KR101605046B1 (ko) | 싱글 게이트 픽셀 및 싱글 게이트 픽셀 동작 방법 | |
US11695025B2 (en) | Image sensor | |
US12044802B2 (en) | Photoelectric conversion device and photoelectric conversion system comprising a control unit to set a third exposure period and a.fourth exposure period on a basis of light value comparison based on signal charge during first and second exposure periods | |
US11722792B2 (en) | Image sensing device | |
US11417692B2 (en) | Image sensing device | |
KR20100045204A (ko) | 이미지 센서 및 그 동작 방법 | |
US11411042B2 (en) | Image sensor with variant gate dielectric layers | |
US11942492B2 (en) | Image sensing device | |
JP7443006B2 (ja) | 光検出器及び距離測定装置 | |
US20220278163A1 (en) | Image sensing device | |
US20220417460A1 (en) | Image sensor for distance measurement and image sensor module including the image sensor | |
US20210305310A1 (en) | Image sensing device | |
JP2021025810A (ja) | 距離画像センサ、および距離画像測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |