CN111602070A - 确定三维图像的图像传感器和确定三维图像的方法 - Google Patents

确定三维图像的图像传感器和确定三维图像的方法 Download PDF

Info

Publication number
CN111602070A
CN111602070A CN201880068966.5A CN201880068966A CN111602070A CN 111602070 A CN111602070 A CN 111602070A CN 201880068966 A CN201880068966 A CN 201880068966A CN 111602070 A CN111602070 A CN 111602070A
Authority
CN
China
Prior art keywords
pixels
subset
phase
time
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880068966.5A
Other languages
English (en)
Other versions
CN111602070B (zh
Inventor
吉·迈南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ams International AG
Original Assignee
Ams International AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ams International AG filed Critical Ams International AG
Publication of CN111602070A publication Critical patent/CN111602070A/zh
Application granted granted Critical
Publication of CN111602070B publication Critical patent/CN111602070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种用于确定三维图像的图像传感器装置，包括图像传感器(IS)，该图像传感器包括全局快门像素阵列以及控制单元(CTRL)，该控制单元被配置为在成像模式(IM)和飞行时间模式(TM)下驱动图像传感器。在成像模式(IM)中，控制单元(CTRL)根据成像定时序列驱动像素。在飞行时间模式(TM)中，控制单元(CTRL)根据飞行时间TOF、定时序列驱动像素。至少第一像素子集分别根据第一相位和第二相位
Figure DDA0002461636470000011
操作，第一相位子集相对于第二像素子集具有相位延迟。

Description

确定三维图像的图像传感器和确定三维图像的方法
本发明涉及图像传感器以及用于操作图像传感器以确定三维图像的方法。特别地，图像传感器和方法涉及飞行时间三维成像能力。
图像传感器能够被认为是检测并传达构成图像的信息的传感器。常见的图像传感器将图像记录为对象的二维表示。然而，最近的技术进步导致具有飞行时间功能的图像传感器允许进行三维成像。这种设备结合常规的二维图像来记录深度信息。例如，深度信息是通过测量设置在传感器附近的光源所发射的光脉冲的传播时间来确定的。直到图像传感器探测到反射光脉冲的时间与反射物体的距离成正比。
大多数飞行时间图像传感器都是经过优化以用于将飞行时间信息记录在像素中的专用设备。使用直接和间接飞行时间系统。在直接飞行时间系统中，光脉冲的到达时间由诸如SPAD的光电检测器测量，并将该时间转换为信号。重复测量以提高准确性。在间接飞行时间系统中，从光脉冲串中收集和积累电荷。能够记录飞行时间的图像传感器是具有专门飞行时间(TOF)像素的专用设备。这种TOF像素比常规图像传感器中使用的像素更复杂并且更大，并且需要对像素设备和像素布局进行优化设计。
图10示出了现有技术的飞行时间测量概念的示例。示意图示出了发射器EM(如LED或激光)以及包括飞行时间图像传感器的飞行时间相机ToFC。通常，该相机还包括没有飞行时间图像功能的专用图像传感器。此外，示出了近处物体NO和另一远处物体FO。
发射器EM朝着物体NO、FO发射光脉冲LP串(在图中显示为发射的光信号ELS)。最终，光被物体中的任一个反射，并返回飞行时间相机ToFC。该图示出了两个反射光信号RLS1、RLS2，这两个反射光信号分别代表针对近处物体和远处物体的典型检测信号。可以看出，反射光信号RLS1、RLS2在时间上相对于彼此发生偏移。该偏移指示了反射光脉冲的到达时间td对于近处物体的更小且对于远处物体的更大。到达时间td的测量取决于第一像素时钟和第二像素时钟，在图中表示为相位
Figure BDA0002461636450000021
和
Figure BDA0002461636450000022
反射光信号的光脉冲中的阴影指示了在第一像素时钟或第一相位
Figure BDA0002461636450000023
导通期间发生的反射和在第二像素时钟或第二相位
Figure BDA0002461636450000024
导通期间发生的反射。阴影能够解释为分别在相位
Figure BDA0002461636450000025
和
Figure BDA0002461636450000026
期间检测到的电荷量以及分别响应于累积电荷的检测信号V1和V2。检测信号提供了确定到达时间的方法。最后，能够用光速c和脉冲持续时间T0计算到物体的距离d并得出：
Figure BDA0002461636450000027
例如，脉冲持续时间T0是30到50ns。
图10的底部示出了专用飞行时间像素的示意表示。像素包括光电二极管PD和至少两个储存仓。这些储存仓用于收集特定时间间隔内的入射光，该时间间隔分别由第一相位
Figure BDA00024616364500000214
和第二相位
Figure BDA00024616364500000215
确定。FD1和FD2是针对两相间接飞行时间像素的电荷收集仓。
图11示出了现有技术的间接飞行时间像素的示例。通常使用两个或四个储存仓或电荷收集仓。利用两个仓体，每个仓体在TOF调制信号的一个相位上收集电荷，例如图10中的反射光信号RLS1、RLS2。有时提供额外的储存仓来记录背景信号信息，并提供额外的传输栅极用来在所有储存仓都处于未激活时排空光电二极管PD。在图11中，FD1和FD2是两相间接飞行时间像素的电荷收集仓。FDb表示背景信号仓，当没有光源被激活时，它能够用来收集背景信号，并与TOF脉冲采集过程交叉。当三个收集仓(即FD1、FD2或FDb)都没有打开以收集电荷时，则使用传输栅极FDd来排空电荷。
如图10的定时方案所示，在光脉冲LP之后相位
Figure BDA0002461636450000028
和
Figure BDA0002461636450000029
交替脉冲触发。在光源没有脉冲的时刻，相位
Figure BDA00024616364500000210
脉冲触发以获取背景信号。在其他仓体均不允许收集电荷的情况下(即当
Figure BDA00024616364500000211
和
Figure BDA00024616364500000212
都为低时)，相位
Figure BDA00024616364500000213
脉冲触发以排空光电二极管PD收集的电荷。这导致具有四个传输栅极的复杂像素并需要相当多的路由用来驱动所有栅极和读出所有信号。另外，用于三维成像的图像传感器仍然依赖于规则的像素矩阵，该规则的像素矩阵需要提供规则的图像并且需要与TOF像素阵列互补。电荷收集仓FD1和FD2累积电荷，并且产生检测信号V1和V2来响应累积的电荷。检测信号V1和V2能够用于导出如上式所示的距离信息。
目的是提供图像传感器和用于确定允许不太复杂的像素结构的三维图像的方法。
该目的通过独立权利要求的主题来实现。在从属权利要求中描述了其他发展和实施例。
可以理解，除非明确描述为替代方案，则下文中关于任何一个实施例描述的任何特征可以单独使用，或与下文描述的其他特征结合使用，并且也可以与实施例中任何其他实施例的一个或更多个特征、或实施例中任何其他实施例的组合结合使用。此外，在不背离如所附权利要求中限定的图像传感器和用于确定三维图像的方法的范围的情况下，也可以采用以下未描述的等同物和修改。
以下涉及改进的概念，它允许在两种不同的工作模式下操作图像传感器(例如全局快门图像传感器)：成像模式和飞行时间模式。例如，成像模式可以包括具有标准像素定时的全局快门二维图像捕捉，并且在飞行时间模式中，一些像素捕捉TOF光脉冲的一个相位，而其他像素捕捉另外一个相位。可以使用两个或更多个相位。然后可以通过对来自相邻像素的信息进行插值来生成范围距离信号，例如包括累积的像素值。一些像素可用于捕捉背景光，例如当光源不受脉冲时曝光。
在一些实施例中，能够使用包括像素阵列的全局快门CMOS图像传感器。在成像模式期间，阵列中的像素能够通过带有快速选通的全局快门信号进行操作。例如，快速选通发生在小于100ns的时间范围内。在飞行时间模式中，能够用与第一定时序列相对应的全局快门信号来操作像素子集，而能够用与第二定时序列相对应的全局快门信号来操作第二像素子集。这种图像传感器还可以在其他操作模式中操作具有相同全局快门信号的所有像素。
在一些实施例中，飞行时间模式中的定时序列可以涉及脉冲的随机重复。提出了对飞行时间光源(发射器)进行脉冲触发并使像素中的飞行时间栅极与非重复性脉冲模式同步的方法，以解决伪回波或更远离传感器的物体的反射的影响。
在一些实施例中，从图像传感器计算飞行时间范围信息可以涉及到像素阵列中范围数据的空间插值，例如相邻像素的像素值。空间插值可以涉及到使用插值算法对来自相邻像素的信息进行插值。此外，基于距离感知功能提供的可用距离信息的颜色滤波插值算法能够用于优化得到的深度图像。此外，基于来自范围感知功能的可用距离信息的滤色器插值算法能够用于优化得到的深度图像。
在至少一个实施例中，用于确定三维图像的图像传感器装置包括图像传感器。图像传感器包括全局快门像素阵列和控制单元，该控制单元被配置为以成像模式和飞行时间模式驱动图像传感器。在成像模式下，控制单元根据成像定时序列驱动像素中的至少一些。在飞行时间模式中，控制单元根据飞行时间TOF定时序列来驱动像素中的至少一些。分别根据第一相位和第二相位操作至少第一像素子集和至少第二像素子集，第一像素子集相对于第二像素子集具有相位延迟。
换句话说，能够通过仅改变定时序列来以任何一种模式来驱动相同的像素，即，能够以成像模式或TOF模式来操作给定的像素。所有像素都能够使用相同的控制信号。所述控制信号的定时确定成像定时序列、TOF定时序列和相位延迟。在成像模式下，像素可以没有相位延迟。
上面使用的术语“…中的至少一些”表示控制单元能够根据成像定时序列和/或TOF定时序列来驱动的全部像素或像素子集。在TOF模式下操作的像素数量与在成像模式下操作的像素数量可能不相同。例如，在TOF模式下操作的像素的数量小于在成像模式下操作的像素的数量。例如，在飞行时间模式下图像传感器可驱动有限数量的像素(例如有限数量的行或行的子集)，而在成像模式下可以通过根据成像定时序列驱动阵列中的所有像素来使用全分辨率图像。
例如，能够用一个或更多个全局快门像素来操作像素。像素的读出导致成像模式的空间二维图像，以及飞行时间模式的深度信息图像。能够分别为像素的每个子集提供深度信息。例如深度信息图像可以由子集的像素提供的深度信息构成。此外，能够使用相邻像素对给定像素子集的深度信息进行插值。这样，能够以适合于空间二维图像的方式(就分辨率而言)来准备深度信息图像。使用来自相同图像传感器的空间二维图像和深度信息(例如深度信息图像)能够构成最终的三维图像，并包括二维和深度信息。
在至少一个实施例中，所有全局快门像素能够在成像模式下操作，即能够通过控制单元根据成像定时序列来驱动。然而，并非所有全局快门像素都能够在TOF模式下操作，即能够通过控制单元根据TOF定时序列来驱动。在1280×1024像素的示例阵列中，64行的数量可能既能够在TOF模式下也能够在成像模式下操作。换句话说，根据TOF定时序列，剩余的行或像素可以不被驱动或者可能无法被驱动。这能够借助于控制单元来实现，该控制单元可以简单地不向除了要在TOF模式下操作的像素之外的所有全局快门像素提供控制信号(例如发射器控制信号)。可替代地，可以不将剩余的行或像素(就硬件而言)实现为根据TOF定时序列被驱动。例如，与在成像和TOF模式两种下均能够操作的像素相比，剩余的行或像素可具有不同的驱动器逻辑。例如，所述不同的驱动器逻辑也可以被布置用于快速驱动传输栅极信号的(全局快门)成像模式。
在至少一个实施例中，用于确定三维图像的图像传感器装置包括图像传感器。图像传感器包括全局快门像素阵列和控制单元，该控制单元被配置为以成像模式和飞行时间模式驱动图像传感器。
在成像模式下，控制单元根据成像定时序列驱动像素中的至少一些。在飞行时间模式下，控制单元根据飞行时间TOF定时序列来驱动像素中的至少一些。在飞行时间模式中，根据第一相位和第二相位驱动像素的至少第一像素子集的像素和至少第二像素子集的像素，第一像素子集的像素相对于第二像素子集的像素具有相位延迟。在成像模式下，所述第一像素子集和所述第二像素子集被无相位延迟地驱动。
换句话说，能够通过仅改变定时序列来以任何一种模式来驱动相同的像素，即能够以成像模式或TOF模式来操作给定的像素。所有像素都能够使用相同的控制信号。所述控制信号的定时决定成像定时序列、TOF定时序列和相位延迟。在成像模式下，像素可不具有相位延迟。
在至少一个实施例中，全局快门像素阵列的像素被配置为分别根据像素是根据TOF定时序列还是成像定时序列来驱动而在成像模式和飞行时间模式两种模式下操作。
在至少一个实施例中，以成像模式驱动的像素不同于以飞行时间模式驱动的像素。例如，像素的至少一个或一些行(或列)在飞行时间模式下驱动，而像素的至少一个或一些不同的行(或列)总是在成像模式下驱动。
在至少一个实施例中，发射器被配置为响应于发射器控制信号的相应触发脉冲而发射多个光脉冲。在飞行时间模式下，控制单元生成发射器控制信号。相对于控制信号的触发脉冲限定相位。
在至少一个实施例中，成像传感器包括连接至驱动器逻辑的传输线。传输线的第一子集分别借助于第一控制线耦接到第一子集的像素。例如，控制线从公共传输线通向各像素。传输线的第二子集分别借助于第二控制线耦接到第二子集的像素。驱动器逻辑连接到控制单元，并且被布置为根据第一相位来操作第一子集的像素，并且根据第二相位来操作第二子集的像素。
在至少一个实施例中，传输线的第三子集分别借助于第三控制线耦接到第三子集的像素。此外或可替代地，传输线的第四子集借助于第四控制线等耦接到第四子集的像素。驱动器逻辑被布置为分别根据第三相位和第四相位对第三子集和/或第四子集的像素等进行操作。
在至少一个实施例中，像素子集被布置在阵列中，使得任何给定的像素借助于相应控制线被耦接到传输线子集，使得所述像素具有借助于相应控制线被耦接到不同传输线子集的至少一个相邻像素。这样，以给定相位操作的任何像素具有以飞行时间以另一相位操作的至少一个相邻像素。
在至少一个实施例中，来自子集的像素通过它们的连接线连接到传输线，使得布置在阵列的公共列中的像素根据相同的相位进行操作。例如，同一列的所有像素通过相应控制线连接到同一传输线。来自相邻同一列的像素通过相应控制线连接到相邻相同传输线。另外，布置在阵列的公共行中的像素根据相同的相位进行操作。例如，同一行的所有像素通过相应控制线连接到同一传输线。来自相邻相同行的像素通过相应控制线连接到相邻相同传输线。另外，来自不同列或行的至少一些对角线相邻的像素以相同的相位操作。例如，来自传感器阵列中给定对角线的像素通过相应控制线被连接到相同传输线子集的传输线。
在至少一个实施例中，来自第一、第二、第三和第四子集的至少一些像素被布置在诸如2×2矩阵组之类的矩阵组中。像素通过它们的连接线连接到传输线，使得布置在矩阵组中的像素中的每一个以不同的相位操作。
在至少一个实施例中，相同子集的像素连接到共享的传输线和/或共享的控制线。特别地，诸如相邻像素对的相邻像素连接到共享传输线和/或共享控制线。
例如，这种布置允许共同驱动像素共享传输线或控制线。在一些像素中，可以通过相同的控制线为两个相邻像素驱动抗晕光栅极或传输栅极。在这种情况下，当阵列以飞行时间模式运行时，两个相邻的行可能使用一个相位，而接下来的两个相邻的行使用另一个相位。能够针对这种配置调整插值算法。
在至少一个实施例中，图像传感器包括多个微透镜。在相同的微透镜下分别布置两个或更多个像素。
例如，能够以不同的相位来驱动布置在相同的微透镜下方的像素中的每一个。对于长距离应用，飞行时间模式提供足够的精度。对于更近的距离，能够使用相位检测自动聚焦。相同的微透镜可以覆盖两个相邻像素，例如使用两个相位的2×1矩阵组，或使用两个或四个相位布置在2×2矩阵组中的四个相邻像素。
在至少一个实施例中，一种用于确定三维图像的方法涉及包括全局快门像素阵列的图像传感器。该方法包括根据成像定时序列以成像模式驱动图像传感器的像素。此外，根据飞行时间定时序列以飞行时间模式驱动像素。分别根据第一相位和第二相位来操作像素的至少第一子集和至少第二子集，第一子集相对于第二子集具有相位延迟。
在至少一个实施例中，用于确定三维图像的方法涉及包括全局快门像素阵列的图像传感器。该方法包括根据成像定时序列在成像模式下图像传感器的驱动像素，以及根据飞行时间TOF定时序列在飞行时间模式下驱动图像传感器的像素。在飞行时间模式下，分别根据第一相位和第二相位来操作像素的至少第一子集中的像素和像素的至少第二子集中的子集，第一像素子集中的像素相对于第二像素子集中的像素具有相位延迟。在成像模式下，所述第一像素子集和所述第二像素子集被无相位延迟地驱动。
换句话说，能够通过仅改变定时序列来以任何一种模式来驱动相同的像素，即能够以成像模式或TOF模式来操作给定的像素。所有像素能够使用相同的控制信号。所述控制信号的定时确定成像定时序列、TOF定时序列和相位延迟。在成像模式下，像素可没有相位延迟。
在至少一个实施例中，全局快门像素阵列中的相同像素分别根据是根据TOF定时序列还是根据成像定时序列来驱动像素而在成像模式和飞行时间模式下操作。
在至少一个实施例中产生发射器控制信号。响应于发射器控制信号的相应触发脉冲发射器发射多个光脉冲。相对于发射器控制信号的触发脉冲限定相位。
在至少一个实施例中，发射器控制信号的触发脉冲以非周期性模式出现。每个触发脉冲具有矩形脉冲波形和恒定的脉冲持续时间。然而，触发脉冲不是以恒定的时间周期重复，而是以随机的时间周期重复。例如，随机时间周期能够通过连续触发脉冲之间的可编程随机延迟来实现。这样能够减少混叠伪影(如伪回波)。
在至少一个实施例中，发射器控制信号的触发脉冲以周期性模式出现。每个触发脉冲具有矩形脉冲波形和恒定的脉冲持续时间。触发脉冲以恒定的时间周期重复。
在替代实施例中，触发脉冲还可以具有非恒定脉冲持续时间，其也可以被编程。
在至少一个实施例中，飞行时间模式包括至少两个相位。布置在阵列的公共列中的像素根据相同的相位进行操作。可替代地，布置在阵列的公共列中的像素根据相同的相位进行操作。可替代地，来自不同列或行的至少一些对角相邻的像素以相同的相位操作。
在至少一个实施例中，飞行时间模式包括至少三个相位或四个相位。至少一些像素布置在2×2矩阵组中。布置在给定的2×2矩阵组中的至少三个像素或可替代地四个像素分别以不同的相位进行操作。
在至少一个实施例中，以读出模式读出像素。在读出模式下，在成像模式期间累积的像素值被用于构造二维图像。在飞行时间模式期间累积的像素值用于构造深度信息图像。最后，将二维图像和深度信息图像组合成三维图像。
在至少一个实施例中，在飞行时间模式期间累积的读出模式像素值用于分别为像素的每个子集构造深度信息图像。或者，将对于每个像素子集的分别的深度信息图像组合成组合的深度信息图像。然后，能够将组合的深度信息图像和二维图像组合成三维图像。
在至少一个实施例中，使用插值算法和/或颜色插值算法对给定像素子集的分别的深度信息图像进行插值以用于其他子集的像素或像素位置。
该方法的其他实施方式容易地从传感器装置的各种实施方式和实施例中得出，反之亦然。
提出的概念允许向诸如全局快门CMOS图像传感器的图像传感器添加飞行时间功能。在一些情况下，在不修改读出电路并且像素阵列不被改动或者有很小改动的情况下也有可能实现。像素阵列驱动电路可以被调整。这能够在不显著增加成像装置的面积的情况下完成。
图像传感器能够在诸如全局快门图像捕捉模式的成像模式、或者在飞行时间模式下操作。由于能够使用相同的图像传感器和相机(包括镜头)来记录深度信息和可见的空间二维图像，因此这允许了具有成本效益的三维相机系统。它还使将诸如颜色或RGB数据等的图像信息映射到深度信息变得更加容易。然而，利用现有技术的专用范围相机，在图像与ToF传感器之间、或者甚至用于成像和ToF的两个分离相机之间可能存在位移。在提出的概念中并不是这种情况。
因为全局快门像素不包含如标准飞行时间像素所需的那么多的设备，因此它们可以是小的。由于像素是小的，因此无需采取额外措施即可确保载流子的快速收集。然而，在现有技术的飞行时间像素中，使用需要在设计中采取特定措施来加速电荷收集过程的大的光电二极管。反过来，缓慢的收集过程会增加所收集电荷的定时不确定性。这限制了所计算的范围信号的准确性。并且这限制了最大可能的调制频率。对于短范围飞行时间感测可需要更高的调制频率。所提出的概念能够提供更高的频率，且因此，如果应用需要的话，能够针对更短范围深度感测进行优化。
由于像素能够是小的，能够利用共享的微透镜、光波导或背面照明来布置几个像素，以实现良好的光敏性。此类技术通常在大像素上不是普遍可用的。此外，与使用更大像素尺寸的带有光电栅极和大光电二极管的结构或使用带有SPAD光电探测器的直接飞行时间的结构相比，所提出的概念能够在更低的功耗下工作。与其他间接飞行时间解决方案相比，需要进行脉冲驱动的总栅极电容面积更少。对于相同的调制频率，这导致更低的功耗。与直接飞行时间相比，可能不需要快速时钟的高功率时间数字转换电路。
该概念能够用来为相机提供更快更好的自动对焦能力。例如，图像传感器能够首先在飞行时间模式下操作，以生成能够用于自动对焦的深度信息图像或地图。能够使用深度信息图来调整相机镜头的焦距，并且能够在优化的对焦条件下获取正常的空间二维图像。
在飞行时间模式下，能够从不同子集的像素(例如，两个相邻像素)计算距离信息。例如，相邻像素的2×1(或2×2)矩阵的像素信息能够用来计算深度信息，并将深度图的分辨率降低到相较于成像模式下可用的全分辨率的一半或四分之一。然而，因为能够将全局快门像素做得很小(如3μm间距)，对于范围图像仍能够实现高分辨率。(例如4百万像素(MP)图像分辨率和2或1MP范围信息分辨率)。
能够以与用于滤色器插值的技术相似的方式从相邻像素插值相位信息。这样，能够生成更高分辨率的深度信息图。然而，插值误差可发生在对比度更大的位置，但是类似的滤波技术也能够用于滤色器阵列(CFA)插值。对于小像素，光学器件的光学衍射极限由于光学器件的低通滤波特性，易于避免此类错误。对于更大的像素，能够使用抗混叠滤波器，例如，与数码相机上使用的滤波器类似，以避免出现颜色混叠或莫尔(moiré)效应。
插值提供更高的有效分辨率。还可以基于像素实现的距离信息来优化滤色器插值。例如，如果两个相邻像素导致相同的距离或深度信息，则可以假定它们的颜色相似。如果两个相邻的像素显示出大于预定阈值的距离差，则也能够期望像素显示不同的物体并且这些物体具有不同的颜色。从这个意义上说，距离或深度信息为滤色器插值过程提供了附加信息，所述附加信息能够用于进一步增强插值算法，且因此增强图像质量。
能够使用光脉冲的扩展频谱来避免来自两倍距离处反射的物体的伪距离信息。这在也能够由提出的概念实现的高调制频率和短距离范围应用中可能变得很重要。
接下来将根据附图更详细地描述上面呈现的原理，在附图中示出了示例实施例。
在下面的实施例和附图中，相似或相同的元素可以各自设置有相同的附图标记。然而，附图中所示的元件及其相互之间的尺寸关系不应该视为真实比例。相反，对诸如层、组件和区域之类的单独元素可被放大，以便更好地说明或增进理解。
图1示出了根据所提出的概念的用于确定三维图像的图像传感器装置的实施例，
图2示出了根据所提出的概念的飞行时间模式的像素子集的实施例，
图3示出了根据所提出的概念的图像传感器的像素的实施例，
图4示出了根据所提出的概念的定时序列的示例，
图5示出了根据所提出的概念的具有微透镜结构的图像传感器装置的实施例，
图6示出了根据所提出的概念的图像传感器的像素的实施例，
图7示出了在图6结构中产生的电荷的扩散时间随光电二极管尺寸变化的示例，
图8示出了使用所提出的图像传感器的飞行时间测量概念的示例，
图9示出了使用所提出的图像传感器的飞行时间测量概念的另一示例，
图10示出了现有技术的飞行时间测量概念的示例，并且
图11示出了现有技术的间接飞行时间像素的示例。
图1示出了根据所提出的概念的用于确定三维图像的图像传感器装置的实施例。该图示出了图像传感器IS、控制单元CTRL、驱动器逻辑DRV以及与读出和预处理相关的输出级OUT。
图像传感器IS包括光敏像元阵列，以下称之为像素。本实施例中的像素为全局快门CMOS图像传感器像素，或简称为全局快门像素，即图像传感器IS的像素可以在同一时刻及时捕获图像。在下文中相对于图3对像素及其结构的其他细节进行讨论。
控制单元CTRL控制图像传感器IS、驱动器逻辑DRV和输出级OUT的操作。该控制涉及阵列中像素的定时，例如，分别在根据成像定时序列的成像模式IM下和在根据飞行时间TOF定时序列的飞行时间模式TM下。例如，控制单元CTRL确定阵列中各像素的定时、曝光和偏置。
更详细地，控制单元CTRL包括用于对阵列中像素的曝光、像素或像素组的定时序列和偏置进行控制的专用逻辑或微控制器等装置。控制单元CTRL能够控制像素的复位以控制曝光时间段的开始(例如包括传输栅极的操作和通过控制信号复位)、将电荷传输到电荷存储器节点和/或浮动扩散fd的传输栅极的操作、通过控制信号来控制从像素的读出的开关操作。
驱动器逻辑DRV连接到控制单元CTRL和图像传感器IS。驱动器逻辑DRV被布置为控制图像传感器IS中的像素的读出。例如，驱动器逻辑DRV包括用于在传输和/或控制线上生成控制信号的线驱动器电路。此外，驱动器逻辑DRV能够具有用于在传输和/或控制线上生成控制信号以控制像素的读出的行选择/线驱动器电路。
下面将讨论针对控制信号的示例定时方案。例如，像素阵列能够以像素被逐行扫描的方式读出，或者控制单元CTRL能够通过对控制阵列的每个像素的曝光时间的控制信号的操作进行同步来执行全局快栅极功能。控制单元CTRL能够以硬编码形式(例如在专用集成电路ASIC中)实现，或者作为诸如逻辑阵列(可编程阵列、可重构阵列)之类的可重构处理设备或执行控制软件的通用处理器或微控制器的实现。
输出级OUT包括专用于每一列的列处理电路(例如模数转换器ADC)、一个或更多个放大器、以及用于存储值以执行诸如相关双采样CDS的特征的存储装置。此外，图像传感器能够通过可编程增益放大器PGA和采样保持电路S/H连接到可配置模拟前端。输出级能够对从阵列的列接收的信号进行进一步处理。实现了诸如存储器元件(例如SRAM)及复用器之类的其他组件，以促进图像传感器IS的读出。能够在单个半导体器件上提供图1所示的全部或一些元件，或者能够将这些元件分布在几个分离的器件中。
与常规的二维图像传感器相比，所提出的图像传感器装置可以仅在以下特征中的一些上有所不同。首先，驱动器逻辑DRV(例如行逻辑、列逻辑或前面讨论过的任何其他配置)能够以不同相位驱动交替的列、行或各像素。其次，驱动器逻辑DRV能够驱动传输栅极信号线，并能对漏极控制线进行高速充电。在许多飞行时间应用中，可需要高达几十兆赫的频率，例如20兆赫或50兆赫的调制频率。这两种措施都不会占用太多额外空间。由于只驱动传输栅极，因此功耗能够比其他ToF实现方式更优。对于小像素，这些栅极能够非常小，这减小了要驱动的电容。
图2示出了根据所提出的概念的飞行时间模式的像素子集的实施例。成像传感器IS的像素以行和列的二维(2D)像素阵列矩阵布置。各像素分别通过控制线连接到相应的传输栅极信号线。在下文中表示为传输线的传输栅极信号线分别沿着列或行布置，并且连接到驱动器逻辑DRV。在下文讨论的实施例中，除非另有说明，否则术语行和列是可互换的。
传输线分为不同的子集。给定子集的传输线TL1至TL4通过控制线CL与各像素连接，从而也将像素分组到对应的子集中。同一子集的像素以相同的相位进行操作，而来自不同子集的像素以不同的相位进行操作。
图2的视图示出将像素连接到传输线路并从而确定像素上的飞行时间相位分布的示例方案。该图示出了布置在2×2矩阵组中的像素，能够被认为代表整个或者至少一部分图像传感器IS。图中所示的示例包括：a)每列交替的相位，b)每行交替的相位，c)对角交替的相位，以及d)2×2像素矩阵组中的四个相位。图中每个像素由其光电二极管PD表示；m表示像素中能够存储累积脉冲信号的存储器节点(如图3中的栅极
Figure BDA0002461636450000131
)。(抗晕光)电荷耗尽栅极AB通过类似的互连原理连接到相反的信号(未示出)。例如，将不同的相位表示为0°、90°、180°和270°。
在示例a)中，同一列中的像素以相同的相位驱动，如第一相位
Figure BDA0002461636450000141
或0°、第二相位
Figure BDA0002461636450000142
或180°。图的下部显示了可能的实现方式，其中第一传输线TL1在第一端处(如第一相位驱动器)连接到驱动器逻辑DRV，并且第二传输线TL2在第二端处连接到驱动器逻辑DRV。在飞行时间模式TM中，奇数列和偶数列能够由两个不同的相位驱动，即
Figure BDA0002461636450000143
(或0°)或第二相位
Figure BDA0002461636450000144
(或180°)。距离信息能够以半分辨率沿行(以水平方向)重建。每2×1像素有一个距离数据点。通过控制单元CTRL可以将传输信号作为控制信号发出，并且能够在像素阵列上垂直地路由驱动器逻辑DRV。
类似地，在示例b)中以相同的相位，如第一相位
Figure BDA0002461636450000147
或0°、第二相位
Figure BDA0002461636450000148
或180°驱动相同行中的像素。图的下部显示了与示例a)类似的可能实施方式，其中连接的是行而不是列。该示例基本上等同于示例a)。但是，替代地奇数行和偶数行由两个不同的相位来驱动。由控制单元CTRL作为控制信号发出的传输信号在像素阵列上被水平地路由。
在示例c)中，传输线TL1、TL2水平布置，即沿着像素阵列的行布置。然而，相邻的像素通过其控制线CL连接到不同子集的传输线。因此，在附图中描绘的2×2矩阵组中，对角相邻像素使用不同的相位，如第一相位
Figure BDA0002461636450000145
或0°或第二相位
Figure BDA0002461636450000146
或180°。能够使用水平或垂直传输信号路由。如图所示，连接到传输线TL1、TL2的控制线CL在像素中交替出现。
在颜色传感器中，各像素能够配备专用的滤波器，如在拜尔矩阵中等。考虑由四个像素构成的2×2拜尔矩阵按[RGGB]布置，其中有一个红色像素R，两个绿色像素G和一个蓝色像素B。然后，传输线和控制线的连接模式能够包含三个不同的传输线子集，使得能够以相同的相位等使用绿色像素。例如，在每个拜耳(Bayer)矩阵中，红色像素R、两个绿色像素G和蓝色像素B分别连接到第一、第二和第三传输线TL1、TL2和TL3。这样，红色像素R、两个绿色像素G和蓝色像素B由不同的相位驱动，如第一相位
Figure BDA0002461636450000149
或0°、第二相位
Figure BDA00024616364500001410
或120°、第三相位
Figure BDA00024616364500001411
或240°。
然而，两个绿色像素G也能够通过两个不同的相位驱动，使得如拜耳矩阵的颜色矩阵组中的所有像素分别连接到不同的传输线TL1到TL4。这更能避免有色物体处的误差。在拜耳[RGGB]矩阵中，这意味着图像以四分之一分辨率(每2×2像素一个范围数据点)重建。示例c)或示例d)的对角结构能够用来配置诸如拜耳矩阵的颜色矩阵组。也能够使用除拜耳矩阵之外的其他的颜色矩阵组，例如[CYGM]矩阵(青色、黄色、绿色和品红色)或[RGBW]矩阵(来自红色、绿色、蓝色和白色)。
示例d)示出了由四个不同子集的传输线TL1到TL4组成的四相系统。2×2矩阵中的四个像素中的每个像素都连接到不同的传输线，从而使用不同的相位(0°、90°、180°和270°)。该实施例也能够用于彩色或单色应用。
在一些实施例中，像素能够连接到两个相邻像素之间的相同传输线和/或控制线。例如，对于两个相邻像素，抗晕光栅极AB或传输栅极
Figure BDA0002461636450000151
可以由相同的传输线驱动。在这种情况下，当以飞行时间模式操作阵列时，两个相邻行可能使用一个相位(例如0°)，而下个两行使用另一相位(例如180°)。能够针对这种配置调整插值算法以提高分辨率。
如图2中的各种示例所示，像素阵列的不同像素以不同的相位进行操作，并且促成最终的飞行时间深度信号。在每个像素中，其他TOF相位的信息是不确定的，且因此需要由相邻像素确定或计算，例如，为了提取每个像素中的完整距离信息。能够遵循几种方法。
能够使用类似滤色器插值的插值算法。例如，能够使用将在下面进行讨论的Hamilton-Adams算法(如US 5,652,621中所述)。在该算法中，计算相同颜色像素的强度变化的第一梯度，然后在数据变化最小的轴之间插值数据。在这种情况下，能够假定两个像素代表相同的对象，且因此具有相同的颜色。然后人们也能够认为距离的变化不大。这意味着沿着图像中梯度最小的方向的插值也能够用于距离插值。
这意味着在第一相位中，对于某个位置上的像素的插值，在水平和垂直方向上计算梯度，并且也可选地从相邻像素或具有相同相位信息的像素的对角线方向计算。然后选择最低梯度值的方向，并沿该方向插值缺失的相位信息。这能够针对不同的方向重复，例如在四相TOF系统中0°、90°、180°和270°的方向。对于两相TOF系统，能够使用两个方向，例如0°和180°，并且只需要对一个相位进行插值，且能够简化计算。
其他滤色器重构算法依赖于色度信息的低通滤波(如US 6833868)。这样的算法对于三维TOF插值可能不太有用。这些算法依赖于人类视觉系统，其对色度的空间分辨率小于对亮度的空间分辨率。这对于距离信息来说可能并不相关。
此外，分类算法能够用在也能够在成像模式IM期间通过相同的图像传感器和相同的像素获取的可见图像上。图像对象分类能够是基于特征的、基于颜色的、基于图像中的轮廓、分水岭算法或本领域已知的其他算法。分类后，能够使用来自分类中相同对象的信息在每个像素中插值距离或飞行时间相位信息。这假设如在场景中分类的，对象没有突然的距离变化。
在一些定时序列中，阵列的一些行可以收集深度(飞行时间)信号，并且其他行收集背景图像(w/o飞行时间脉冲)。与前面介绍的使用各种插值算法的方法类似，背景图像信息能够用于分类或估计优选(最低梯度)插值方向。另一替代方案是计算更低分辨率的深度图。例如，将四个像素(例如布置在2×2矩阵的像素组中)的信息组合到一个深度像素。在图像中的一些位置，这些像素中的一个或一些可以代表不同的对象。
图3示出了根据所提出的概念的图像传感器的像素的实施例。该附图涉及在图像传感器IS的二维像素阵列矩阵中使用的全局快门像素。全局快门像素的结构已经在EP2768024A1中介绍过，其通过引用并入本文。
该图示出了单个全局快门像素的横截面，并且表示了阵列中的像素。像素包括表示为p-epi的p型外延层、p阱区、由p+表面注入和更深的n注入形成的钉扎光电二极管、n+注入区和p++衬底。n+型和p+型注入区还通过浅沟槽隔离STI隔离。光电二极管PD是被钉扎的光电二极管，其中通过p+表面注入层将表面钉扎在接地电位(图中未示出)。二极管本身由在该钉扎注入下的更深的n型注入n形成，其与p+表面注入和p外延层p-epi形成结。源跟随器和选择晶体管SEL只在电路级上显示。
如图3中的横截面所示，光电二极管PD包括电荷传输栅极：传输栅极
Figure BDA0002461636450000161
存储栅极
Figure BDA0002461636450000162
和复位栅极
Figure BDA0002461636450000163
以及浮动扩散fd、复位晶体管RST和抗晕光电荷耗尽AB。该像素包括在存储器或存储栅极
Figure BDA0002461636450000164
下的像素内电荷存储m。能够使用可选的遮光件LS来保护电荷传输栅极免受入射光的影响。
像素能够用于成像模式IM和飞行时间模式TM两者中。在成像模式和飞行时间模式下对于像素的操作将在下面进行更详细的讨论。基本上，电荷能够在曝光时间结束时通过传输栅极
Figure BDA0002461636450000171
从光电二极管PD传输到储存栅极
Figure BDA0002461636450000174
为了读出，浮动扩散fd通过复位晶体管RST使用复位栅极
Figure BDA0002461636450000172
被复位，使得通过对电荷传输栅极
Figure BDA0002461636450000176
施加脉冲将电荷从电荷传输栅极
Figure BDA0002461636450000173
传输到浮动扩散fd。在已经对信号进行采样并将其存储在栅极
Figure BDA0002461636450000175
下之后，能够获得下一个图像。
在衬底中产生光生电子。在p外延层p-epi中产生的电子能够由光电二极管PD收集。然而，一些电子在光电二极管PD的耗尽区域内产生，且因此能够被立即收集。其他电荷可在耗尽区之外生成并将扩散，直到它们最终到达由光电二极管或结构中的另一个结或栅极形成的电场为止。
图4示出了根据所提出的概念的示例定时序列。如上所述，图像传感器能够在成像模式IM和飞行时间模式TM下操作。图中还示出了示例像素读出模式RM。
成像模式IM包括用于操作如图3所示像素的全局快门定时序列。全局快门定时序列能够应用于图像传感器中的所有像素，或者只应用于部分像素，例如，限定的关注区域ROI中的像素。在该实施例中，全局快门定时序列包括以下步骤。
在曝光开始之前，光电二极管PD被抗晕光电荷排空栅极AB排空。随着曝光的开始，电荷排空栅极AB降低，即施加在电荷排空栅极AB上的抗晕光电压Vab降低到低电压值。在曝光过程中，使用光电二极管PD收集电荷。可选地，诸如LED闪光灯之类的光源能够在持续时间Texp(如总曝光时间)内被开启以用作闪光灯或辅助光源。这在图中由电压Vflash表示。光源可以与图像传感器一起在同一设备中实现，如相机或移动设备。另外，垂直抗晕光结构能够作为本领域普遍所知的线间转移CCD设备来使用。然后能够通过将光电二极管中的电荷排空的脉冲将光电二极管清空到衬底。
在曝光结束时，累积的电荷从光电二极管PD移至栅极
Figure BDA0002461636450000179
下的存储器节点m。这是通过在电荷传输栅极
Figure BDA0002461636450000177
上施加脉冲控制信号来完成的。向在传输栅极
Figure BDA0002461636450000178
之后的存储电荷传输栅极
Figure BDA00024616364500001710
施加脉冲，以将累积的电荷存储在存储器节点m中。存储电荷传输栅极
Figure BDA00024616364500001711
可以在曝光期间保持在低电压或高电压，并且可在后续曝光的一部分期间包含来自先前曝光的电荷。另外，位于存储电荷传输栅极
Figure BDA0002461636450000181
下的存储器节点m可以在电荷传输开始之前通过将脉冲控制信号施加到电荷传输栅极
Figure BDA0002461636450000182
上而被排空。这能够通过对存储器节点m进行全局复位来实现，通过在复位晶体管RST和复位电荷传输栅极
Figure BDA0002461636450000183
处施加复位控制信号脉冲，例如到达阵列的所有像素中的高电压值。
例如，在读出模式RM中，存储器节点m被逐行读取。在该实施例中读出定时序列包括以下步骤。通过选择晶体管SEL选择各像素进行读出。通过在复位晶体管RST处施加复位控制信号来复位浮动扩散fd。存储电荷传输栅极
Figure BDA0002461636450000184
处的电压作为复位电平被采样。然后，通过对复位栅极
Figure BDA0002461636450000185
(使用复位控制信号)和存储栅极
Figure BDA0002461636450000186
施加脉冲，将存储在存储区域m中的电荷转移到浮动扩散fd。在读出定时应用的一些变型中，如果需要，还可以包括抗晕光或暗电流的获取。
在该实施例中，包括以下步骤的飞行时间模式TM包含飞行时间TOF、定时序列。在飞行时间模式下，ToF发射器EM(例如快速LED或VCSEL)与图像传感器IS一起使用。发射器EM被配置为发射多个光脉冲，以响应发射器控制信号ECS的相应触发脉冲。在飞行时间模式TM中，控制单元CTRL产生发射器控制信号。发射器控制信号ECS能够用于设置时间标准，以限定两个或更多个相位
Figure BDA0002461636450000187
等。例如，相位能够用相对于发射器控制信号ECS的触发脉冲的时间延迟来限定。
发射器控制信号ECS包括脉冲串，并且发射器EM继而产生一组光脉冲。这些发射的光脉冲最终被外部物体反射并返回图像传感器IS。反射的光脉冲由能够通过如上所述的电荷传输栅极
Figure BDA0002461636450000188
和
Figure BDA0002461636450000189
的快速选通进行操作的像素来收集。例如，在飞行时间模式TM中使用的每个像素中，传输栅极
Figure BDA00024616364500001810
使用具有与发射器相同的脉冲串的控制信号脉冲触发，即根据发射器控制信号ECS来脉冲触发但具有预定的延迟或相移。抗晕光栅极AB用抗晕光电压脉冲触发，该电压类似于传输栅极
Figure BDA00024616364500001811
的反相信号。在曝光时间Texp期间，当施加到传输栅极
Figure BDA00024616364500001812
的信号为高时，电荷在像素中感应并收集在存储器节点m中。在连续的脉冲期间，电荷在存储器节点m中累积。在累积期间，存储电荷传输栅极
Figure BDA00024616364500001813
处的控制信号也处于高的状态。
曝光后，即当曝光时间Texp失效后，飞行时间信号已累积并存储在存储栅极
Figure BDA0002461636450000191
下的存储器节点中。为了启动下一个测量周期，即ToF定时序列，应当在发射器控制信号ECS的新的脉冲串开始之前清除存储器节点m。这能够通过全局复位用于时间飞行模式的所有像素来实现，例如通过在复位晶体管RST和复位电荷传输栅极
Figure BDA0002461636450000192
处对复位控制信号脉冲触发，例如到达阵列的所有像素中的高电压值，来对它们的存储器节点m进行复位来实现。对于读出，能够使用相同的读出模式RM。
在实施例中(未示出)，能够使用虚拟栅极代替存储栅极
Figure BDA0002461636450000193
这种虚拟栅极能够通过一组注入来实现，例如与图3中所示的钉扎光电二极管类似的p+表面注入和更深的n型注入，但具有更高的钉扎电位。也能够通过注入和扩展的
Figure BDA0002461636450000194
传输栅极相组合来实现，如已在EP 2768024中所述，其通过引用并入本文。
尽管使用抗晕光电压Vab的抗晕光栅极AB的定时被示出为与传输栅极
Figure BDA0002461636450000195
的脉冲控制信号相反，但是可以使用变形，其中两个信号之间没有重叠，或者其中两个信号的上升沿与下降沿之间有专用时间偏移。这可以进一步改善图像传感器中的像素的时间选通特性。
所提出的图像传感器IS具有双重信号采集方案。在成像模式IM中，像素采样二维信息，该二维信息在读出模式RM期间被读出以产生二维图像。在飞行时间模式TM中，来自同一图像传感器的像素采样二维深度信息，该二维深度信息在读出模式期间被读出以产生深度信息图像。根据图4中讨论的定时序列对像素进行操作。然而，由于像素被安排在子集中，如在图2中讨论的，不同的像素能够用不同的相位来操作。例如，根据第一相位操作第一像素子集，并且根据第二相位操作第二像素子集。换句话说，定时时序根据不同的启动时间来执行，该启动时间是由相位(例如第一相位和第二相位)之间的相位延迟来限定的。深度信息能够通过由像素的相应子集生成的得到的深度图像来确定，例如，通过将子集的部分深度图像结合到一个最终深度图像中，或者通过根据插值算法对部分深度图像进行插值。最后，能够将二维图像和深度图像组合成三维图像。
图5示出了根据所提出的概念的具有微透镜结构的图像传感器装置的实施例。该图示出了像素阵列(例如四个像素)的列或行的横截面。像素由其光电二极管PD表示，并且m表示像素中能够存储累积脉冲信号的存储器节点(如图3或4中的存储栅极
Figure BDA0002461636450000201
传输的电荷)。此外，示出了传输线，其耦接到驱动器逻辑DRV以根据第一相位
Figure BDA0002461636450000202
(例如0°)或第二相位
Figure BDA0002461636450000203
(例如180°)接收传输信号。微透镜ML可以覆盖2×1矩阵组的像素。它可以覆盖2×2矩阵组的像素，如针对图2所讨论的，其中使用四个或两个相位。微透镜可有不同的光学形状，如球形或圆柱形透镜形状。
对于针对距离感测或更低分辨率图像捕获而优化的设备，能够考虑2×1或2×2像素在同一微透镜下的像素。该微透镜下方的像素中的每一个都以不同的相位驱动。对于长距离，飞行时间提供了足够的准确性。对于更近的距离，还能够使用相位检测自动对焦。
图6示出了根据所提出的概念的图像传感器的像素的实施例。实际上，该图示出了上面针对图3讨论的像素的细节。
对于飞行时间像素来说，由入射光感应的电荷在衬底中生成后迅速被收集可能是更为关键的。收集通常是由大电场下的电荷漂移和小电场中的扩散决定的。对于大像素，电荷扩散是一个缓慢的过程，因为电荷需要扩散几微米的距离。在～10μm的光电二极管中，扩散时间容易达到>10ns。然而，对于小像素，其中光电二极管尺寸是1至2μm，两种效应支持快速收集：1)短的扩散距离，以及2)来自传输栅极和电荷排空栅极的电场边缘。边缘场产生加速电荷的收集的漂移分量。与在大像素中相比，它在小像素中发挥更大的作用。
扩散距离的作用能够如下所示。当在距离L上扩散时，收集电荷所需的时间Δt可以计算如下：
Figure BDA0002461636450000204
其中D是由爱因斯坦关系式给出的扩散常数：
Figure BDA0002461636450000211
这里μ表示载流子迁移率，qel表示基本电荷，kB表示Boltzman常数，并且T表示绝对温度。
这两个方程式能够用于估计硅衬底中的电子e-以44ps扩散1μm、以及以1.11ns扩散5μm、以及以4.4ns扩散10μm。因此需要更小的结构以达到更短的收集时间。所提出的像素结构的尺寸在附图中示出。例如，光电二极管PD的长度(表示为Lpd)约为5μm，深度约为1μm。例如，像素的总深度约为4μm，其中无场区的深度为3μm。
如果收集时间过长，则在相位
Figure BDA0002461636450000212
或
Figure BDA0002461636450000213
期间应收集的电荷可能不被收集并且例如经由抗晕光栅极AB被排放到电荷漏极。在如图3所示的具有两个栅极的像素中，电荷最终将被错误的电荷收集仓收集。在两种情况下，这都会降低调制对比，并降低精确测量距离的能力。
图6示出了在硅衬底深处(例如在无场区)产生的电荷e-的扩散路径(由箭头指示)。为了达到短的收集时间，通过以下技术调整光电二极管PD和电荷传输栅极
Figure BDA0002461636450000214
和
Figure BDA0002461636450000215
1)光电二极管的深耗尽区。这能够避免电荷从主体向耗尽的光电二极管的扩散过程；以及2)使用浅结和浅收集体积。在硅的更深处产生的电荷能够被排走，而不是在长的扩散过程后被收集；以及3)垂直电场，例如通过对外延层的掺杂剂浓度渐变。还能够通过光学的方式将光引导到靠近传输栅极的区域，使得通过使用光电探测器顶部的微透镜和/或光管，大多数电荷不必扩散太久至浮动扩散。
图7示出了在图7的结构中产生的电荷的扩散时间的示例，该时间随光电二极管的尺寸变化，例如光电二极管的长度Lpd。在该图中，垂直无场区的宽度用Lv表示，设置为2.5μm。“典型扩散时间”曲线示出在光电二极管中间，到存储器节点的位置Lv(2.5μm)处产生电荷载流子所花费的时间。“最坏情况扩散时间”曲线示出了在深度Lv处在传输栅极的另一侧生成的载流子所花费的时间。该载流子具有最长的行进距离，并将在传输栅极处于活动状态时最晚到达存储器节点。很明显，不仅电荷扩散时间在小尺寸光电二极管上要小得多，而且扩散时间的扩展随载流子产生位置的变化也更小。
所提出的概念利用了如今能够将全局快门像素做得非常小的事实，其中间距约为2.5至3.5μm。这意味着光电二极管已经变小(例如1至2μm)，并且电荷收集时间急剧减少。这也意味着扩散时间将分布得更加紧密。电荷载流子产生的过程是能够发生在发光二极管的任何位置的随机的过程。由于电荷产生过程从表面向前具有指数衰减，因此它也能够发生在深处或表面附近。对于近红外光(NIR)，光相当深地穿透到衬底中，并且在衬底更深处产生大量电荷。由于载流子在光电二极管体积中或多或少是随机产生的，因此扩散时间将随机变化。扩散时间的扩展取决于时间。
在此处用作示例的光电二极管在2.5至3.0μm像素间距的全局快门像素中接近1至1.5μm。以3至4μm深的体积收集电荷。然后最坏情况扩散距离约为5μm。这将对应于接近1ns的扩散时间。这使得以高频率(如50MHz)对栅极进行时钟驱动成为可能，而不会在调制对比中造成太大的损失。1ns是典型飞行时间(TOF)脉冲周期的5％，使得在这个调制频率下能够预期调制对比度下降低于5％。对于更大的像素结构或使用大栅极的像素结构，这是不可能的。
图8示出了使用提出的图像传感器进行飞行时间测量的示例。示意图类似于图10，并示出了发射器EM(例如LED或激光)以及包括根据所提出的概念的飞行时间图像传感器的飞行时间相机ToFC。此外示出了近处物体NO和另一远处物体FO。
如上所述，提出的概念允许增加发射器控制信号的TOF触发脉冲的脉冲频率。然而，当远处物体FO远离传感器时，快速脉冲串可产生问题。发射器EM响应于朝着物体NO、FO发射的相应触发脉冲发射光脉冲LP串(在图中示为发射的光信号ELS)。该脉冲串中的单独触发脉冲以规则或周期性模式出现。例如，每个触发脉冲，发射的光信号ELS也具有矩形脉冲波形和恒定的脉冲持续时间τ。脉冲以恒定的周期T重复。
此外，发射器控制信号限定了像素时钟的时间基准(例如第一和第二像素时钟，分别表示为相位
Figure BDA0002461636450000221
和
Figure BDA0002461636450000222
)。例如，第一相位
Figure BDA0002461636450000224
以相对于相应触发脉冲的第一时间偏移开始。第二相位
Figure BDA0002461636450000223
以相对于相应触发脉冲的第二时间偏移开始。通常，像素时钟或相位还包括以规则或周期性模式出现的脉冲。例如，每个时钟脉冲也具有矩形脉冲波形和恒定的脉冲持续时间τ。时钟脉冲以恒定的周期T重复。在一些实施例中，对于发射器控制信号、发射的光信号ELS和像素时钟(即相位)，周期T和脉冲持续时间τ是相同的。
最终，发射的光脉冲被物体的任一个反射，返回到飞行时间相机，并且作为接收到的光脉冲被探测到。该图示出了两个反射光信号RLS1、RLS2，这两个反射光信号分别代表针对近处物体和远处物体的典型检测信号。反射光信号RLS1、RLS2基本上与发射光信号ELS的规则或周期模式相似。例如，该图示出了根据第一像素时钟和第二像素时钟，即相位
Figure BDA0002461636450000231
和
Figure BDA0002461636450000232
反射光信号RLS1、RLS2在时间上相对于彼此偏移。
这种偏移指示了近处物体的反射光脉冲到达时间td更小，并且远处物体的反射光脉冲到达时间td更大。反射光信号的光脉冲中的阴影指示了在第一像素时钟或第一相位
Figure BDA0002461636450000233
开启期间发生的反射和在第二像素时钟或第二相位
Figure BDA0002461636450000234
开启期间发生的反射。类似地，阴影指示了由根据第一像素时钟或第一相位
Figure BDA0002461636450000235
操作的像素检测到的电荷量和由根据第二像素时钟或第二相位
Figure BDA0002461636450000236
操作的像素检测到的电荷量。
远处物体FO可以被放置在一定距离处，使得仅在接收到来自近处物体NO的下一反射脉冲的反射的瞬间相机才接收给定的反射。来自近处物体和远处物体的反射脉冲可重叠。这可以产生近处物体NO和远处物体FO的混合回波。这种混叠效应(称为伪回波)可导致深度信息图像中的伪影。同样，多路径反射也可导致深度信息图像中的这种伪影。当反射自物体的光经历第二次反射时，多路径反射就会发生，例如在场景侧的壁上。通过这种轨迹反射的光比直接朝着飞行时间图像传感器反射的光的到达时间要晚。
图9示出了使用所提出的图像传感器的飞行时间测量概念的另一个示例。减少混叠效应(例如由于伪回波)的一种方法是创建在发射的光信号ELS的脉冲之间具有随机延迟的不规则的时间间隔。这样，远处物体的伪回波能够随机地散布在电荷仓上。这也扩展了物体的多路径反射的响应。
如上所述，发射器控制信号的TOF触发脉冲使发射器EM发射光脉冲LP串作为响应。该脉冲串中的单独触发脉冲能够以非规则或非周期的模式出现。例如，对于每个触发脉冲，发射的光信号ELS具有矩形脉冲波形和恒定的脉冲持续时间τ。然而，脉冲可不以恒定的、而是以随机的周期T重复。
此外，时钟脉冲或相位以随机方式重复，例如，以由触发脉冲的随机时间周期确定的随机方式重复。发射器控制信号限定了像素时钟的时间基准，例如第一和和第二像素时钟或相位
Figure BDA0002461636450000241
和
Figure BDA0002461636450000242
例如，第一相位
Figure BDA0002461636450000244
以相对于相应触发脉冲的第一时间偏移开始。第二相位
Figure BDA0002461636450000243
以相对于相应触发脉冲的第二时间偏移开始。在该实施例中，第二相位开始于第一相位已结束时。
触发脉冲的随机周期T能够用随机延迟实现(见图中随机延迟D0、D1、D2)。例如，能够对控制单元CTRL进行补充以包含可编程延迟单元，该可编程延迟单元被馈送可以具有固定时钟周期的参考时钟信号。控制单元CTRL适于对延迟单元的延迟进行编程。以此方式，控制单元能够从参考时钟信号以变化的周期T产生发射器控制信号。例如，可以将控制单元配置为根据通过向上/向下计数器、伪随机周期生成器或通过查找表提供的控制值对延迟单元进行编程，以便在随后的触发脉冲之间改变时间周期。发射器控制信号的周期T(即触发脉冲之间的时间周期)能够逐步增加或减少，随机选择或根据查找表中存储的预定顺序进行选择。
例如，延迟单元实现为可编程延迟线，该可编程延迟线被配置为用于基于参考时钟信号输出具有触发脉冲序列的控制信号。
控制单元可以被配置为对参考时钟信号的连续时钟脉冲以不同的延迟时间对延迟线或延迟单元进行编程。
该图示出了具有恒定脉冲持续时间(响应于发射器控制信号的相应触发脉冲而产生)的五个连续的矩形脉冲EP1至EP5的发射光脉冲的脉冲串。在连续脉冲中的每一个之间描述随机延迟D0、D1和D2。每个发射光脉冲之后跟随以相对于相应触发脉冲的第一时间偏移开始的第一像素时钟或相位
Figure BDA0002461636450000245
的脉冲。所述相位
Figure BDA0002461636450000246
的脉冲之后跟随第二像素时钟或相位
Figure BDA0002461636450000251
的脉冲。包括第一和第二相位脉冲的下一脉冲对仅在根据相应随机延迟(如D0、D1或D2)发射下一个脉冲之后才跟随。
该图还示出了两个反射光信号RLS1、RLS2，分别代表针对近处和远处物体的检测信号。对于近处物体的反射光信号RLS1示出由以第一相位
Figure BDA0002461636450000252
操作的像素所收集的恒定电荷量和由第二相位
Figure BDA0002461636450000255
操作的像素所收集的恒定电荷量。这些量由下面所示的反射光信号RLS1的接收脉冲的不同阴影表示。
然而，对于远处物体的反射光信号RLS2没有显示探测到的电荷量的恒定比率。相反，由以第一相位
Figure BDA0002461636450000253
操作的像素所收集的电荷量根据发射器控制信号中实现的随机延迟而不同。以类似的方式，由以第二相位
Figure BDA0002461636450000256
操作的像素所收集的电荷量根据发射器控制信号中实现的随机延迟而不同。由以第二相位
Figure BDA0002461636450000254
操作的像素所收集的恒定电荷量。这些量由反射光信号RLS1的接收脉冲下方描绘的不同阴影表示。
在相应相位中探测到的电荷量能够被监测。例如，随着脉冲串的进行，能够确定比率并进行相互比较。恒定的数量或恒定的比例表示物体位于图像传感器的测量范围内。诸如数量或比率的随机变化的变化表明，物体位于图像传感器的测量范围之外，并且可造成混叠。因此，检测到的电荷量提供了用于检测伪回波和防止深度信息中的伪影的方法。
附图标记
Figure BDA0002461636450000261
相位
Figure BDA0002461636450000262
相位
Figure BDA0002461636450000263
相位
Figure BDA0002461636450000264
相位
Figure BDA0002461636450000265
相位
Figure BDA0002461636450000266
相位
Figure BDA0002461636450000267
(存储)电荷传输栅极
Figure BDA0002461636450000268
(复位)电荷传输栅极
Figure BDA0002461636450000269
(传输)电荷传输栅极
AB (抗晕光)电荷漏极栅极
ADC 模数转换器
AFE 可配置模拟前端
AMP 放大器
CL 连接线
CTRL 控制单元
D0 延迟
D1 延迟
D2 延迟
DRV 驱动器逻辑
e- 电荷(电子)
ECS 发射器控制信号
ELS 发射的光信号
EM 发射器
EP1 发射脉冲
EP2 发射脉冲
EP3 发射脉冲
EP4 发射脉冲
EP5 发射脉冲
fd 浮动扩散
FD1 电荷收集仓
FD2 电荷收集仓
FDb 背景信号仓
FDd 传输栅极
FO 远处物体
IM 成像模式
IS 图像传感器
LP 光脉冲
LS 遮光件
m 存储器节点
ML 微透镜
n n更深的注入层
NO 近处物体
OUT 输出级
p+ p+表面注入层
p++ 衬底
p-epi p型外延层
p-well p阱区
PD 光电二极管
pPD 钉扎式光电二极管
PGA 可编程增益放大器
RLS1 反射光信号
RLS2 反射光信号
RST 复位晶体管
S/H 信号和保持电路
SEL 选择晶体管
STI 浅沟槽隔离
TL1 传输线
TL2 传输线
TL3 传输线
TL4 传输线
TM 飞行时间模式
ToFC 飞行时间相机

Claims (21)

1.一种用于确定三维图像的图像传感器装置，包括：
-包含全局快门像素阵列的图像传感器(IS)，
-被配置为以成像模式(IM)和飞行时间模式(TM)驱动图像传感器的控制单元(CTRL)；
其中：
-在成像模式(IM)中，控制单元(CTRL)根据成像定时序列驱动像素中的至少一些，
-在飞行时间模式(TM)中，控制单元(CTRL)根据飞行时间TOF定时序列驱动像素中的至少一些，并且
-至少第一像素子集相对于至少第二像素子集具有相位延迟，分别根据第一相位和第二相位
Figure FDA0002461636440000011
进行操作。
2.一种用于确定三维图像的图像传感器装置，包括：
-包含全局快门像素阵列的图像传感器(IS)，
-被配置为以成像模式(IM)和飞行时间模式(TM)驱动图像传感器的控制单元(CTRL)；
其中：
-在成像模式(IM)中，控制单元(CTRL)根据成像定时序列驱动像素中的至少一些，
-在飞行时间模式(TM)中，控制单元(CTRL)根据飞行时间TOF定时序列驱动像素中的至少一些，其中：
-在飞行时间模式(TM)中，至少第一像素子集和至少第二像素子集根据第一相位和第二相位
Figure FDA0002461636440000012
被驱动，所述第一像素子集相对于所述第二像素子集具有相位延迟，并且
-在成像模式(IM)中，所述第一像素子集和所述第二像素子集以没有相位延迟的方式被驱动。
3.根据权利要求1或2所述的图像传感器装置，其中，所述全局快门像素阵列的像素被配置为取决于像素是分别根据TOF定时序列驱动还是根据成像定时序列驱动而以成像模式(IM)和飞行时间模式(TM)操作。
4.根据权利要求1至3之一所述的图像传感器装置，还包括：
-被配置为响应于发射器控制信号(C1)的相应触发脉冲而发射多个光脉冲的发射器(EM)；其中
-在飞行时间模式(TM)中，控制单元(CTRL)生成所述发射器控制信号(C1)，并且
-相对于所述发射器控制信号(C1)的触发脉冲限定相位
Figure FDA0002461636440000021
5.根据权利要求1至4之一所述的图像传感器装置，其中
-成像传感器(IS)包括连接到驱动器逻辑(DRV)的传输线(TL1、...、TL4)，
-传输线的第一子集分别通过第一控制线(CL)耦接到第一子集的像素，
-传输线的第二子集分别通过第二控制线(CL)耦接到第二子集的像素，并且
-驱动器逻辑(DRV)连接到控制单元(CTRL)，以根据所述第一相位
Figure FDA0002461636440000022
操作所述第一子集的像素，并根据所述第二相位
Figure FDA0002461636440000023
操作所述第二子集的像素。
6.根据权利要求5所述的图像传感器装置，还包括：
-传输线的第三子集分别通过第三控制线(CL)耦接到第三子集的像素，和/或
-传输线的第四子集分别通过第四控制线(CL)耦接到第四子集的像素，并且
-驱动器逻辑(DRV)布置用于根据第三相位
Figure FDA0002461636440000031
和第四相相位
Figure FDA0002461636440000032
操作所述第三子集和/或所述第四子集的像素。
7.根据权利要求5或6之一所述的图像传感器装置，其中，像素子集被布置在阵列中，使得通过相应控制线(CL)耦接到传输线(TL1、...、TL4)子集的任何给定的像素具有通过相应控制线耦接到不同传输线子集的至少一个相邻像素。
8.根据权利要求7所述的图像传感器装置，其中，来自子集的像素通过它们的连接线(CL)连接到传输线(TL1、...、TL4)，使得：
-布置在阵列的公共列中的像素根据相同的相位进行操作，或者
-布置在阵列的公共列中的像素根据相同的相位进行操作，或者
-来自不同列或行的至少一些对角相邻像素以相同相位进行操作。
9.根据权利要求7所述的图像传感器装置，其中：
-来自所述第一子集、所述第二子集、所述第三子集和所述第四子集的至少一些像素被布置在2×2矩阵组中，并且
-通过它们的连接线(CL)连接到传输线，使得布置在2×2矩阵组中的像素以不同的相位进行操作。
10.根据权利要求7所述的图像传感器装置，其中，同一子集的像素连接到共享的传输线和/或共享的控制线，特别是两个相邻像素之间的传输线和/或控制线。
11.根据权利要求1至10之一所述的图像传感器装置，其中，
-图像传感器(IS)包括多个微透镜，并且
-在同一微透镜下分别布置两个或更多个像素。
12.一种用于确定三维图像的方法，包括图像传感器(IS)，该图像传感器(IS)包括全局快门像素阵列，所述方法包括以下步骤：
-根据成像定时序列以成像模式(IM)驱动图像传感器的像素，
-根据飞行时间TOF定时序列以飞行时间模式(TM)驱动图像传器的像素，
其中：
-至少第一像素子集和至少第二像素子集分别根据第一相位和第二相位
Figure FDA0002461636440000041
操作，所述第一像素像素子集相对于所述第二像素子集具有相位延迟。
13.一种用于确定三维图像的方法，包括图像传感器(IS)，该图像传感器(IS)包括全局快门像素阵列，所述方法包括以下步骤：
-根据成像定时序列以成像模式(IM)驱动图像传感器的像素，
-根据飞行时间(TOF)定时序列以飞行时间模式(TM)驱动图像传器的像素，
其中：
-在飞行时间模式(TM)中，至少第一像素子集和至少第二像素子集分别根据第一相位和第二相位
Figure FDA0002461636440000042
操作，所述第一像素子集相对于所述第二像素子集具有相位延迟，并且
-在成像模式(IM)中，所述第一像素子集和所述第二像素子集以没有相位延迟的方式被驱动。
14.根据权利要求13所述的方法，其中，所述全局快门像素阵列的相同像素取决于所述像素是分别根据TOF定时序列驱动还是根据成像定时序列驱动而在成像模式(IM)和飞行时间模式(TM)中操作。
15.根据权利要求12至14之一所述的方法，其中，在所述飞行时间模式(TM)中
-产生发射器控制信号(C1)，
-由发射器(EM)响应于发射器控制信号(C1)的相应触发脉冲发射多个光脉冲；并且
-相对于发射器控制信号(C1)的触发脉冲限定相位
Figure FDA0002461636440000043
16.根据权利要求15所述的方法，其中
-发射器控制信号(C1)的触发脉冲以非周期性模式出现，其中每个触发脉冲具有矩形脉冲波形和恒定的脉冲持续时间，并且其中触发脉冲不是以恒定的、而是以随机的周期重复，或者
-发射器控制信号(C1)的触发脉冲以周期性模式出现，其中每个触发脉冲具有矩形脉冲波形和恒定的脉冲持续时间，并且其中触发脉冲以恒定的周期重复。
17.根据权利要求12至16之一所述的方法，其中，所述飞行时间模式(TM)包含至少两相
Figure FDA0002461636440000051
使得
-布置在阵列的公共列中的像素根据相同的相位
Figure FDA0002461636440000052
进行操作，或者
-布置在阵列的公共列中的像素根据相同的相位
Figure FDA0002461636440000053
进行操作，或者
-来自不同列或行的至少一些对角相邻像素以相同相位
Figure FDA0002461636440000054
进行操作。
18.根据权利要求12至17之一所述的方法，其中，所述飞行时间模式(TM)包含至少三个相位
Figure FDA0002461636440000055
或四个相位
Figure FDA0002461636440000056
Figure FDA0002461636440000057
使得：
-至少一些像素布置在2×2矩阵组中，并且
-在2×2矩阵组中至少三个像素、或四个像素分别以不同的相位
Figure FDA0002461636440000058
Figure FDA0002461636440000059
进行操作。
19.根据权利要求12至18之一所述的方法，其中，所述像素以读出模式(RM)读出，使得
-在成像模式(IM)期间累积的像素值用于构建二维图像，
-在飞行时间模式(TM)期间累积的像素值用于构建深度信息图像，并且
-将二维图像和深度信息图像组合为三维图像。
20.根据权利要求19所述的方法，其中，在所述飞行时间模式(TM)期间累积的像素值的读出模式(RM)
-用于单独为每个像素子集构建深度信息图像，或者
-将每个像素子集的单独的深度信息图像组合成组合的深度信息图像。
21.根据权利要求20所述的方法，其中，使用插值算法和/或颜色插值算法，针对其他子集的像素，对给定像素子集的单独的深度信息图像进行插值。
CN201880068966.5A 2017-10-23 2018-10-17 确定三维图像的图像传感器和确定三维图像的方法 Active CN111602070B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17197809.1A EP3474038A1 (en) 2017-10-23 2017-10-23 Image sensor for determining a three-dimensional image and method for determining a three-dimensional image
EP17197809.1 2017-10-23
PCT/EP2018/078406 WO2019081301A1 (en) 2017-10-23 2018-10-17 IMAGE SENSOR AND METHOD FOR DETERMINING A THREE DIMENSIONAL IMAGE

Publications (2)

Publication Number Publication Date
CN111602070A true CN111602070A (zh) 2020-08-28
CN111602070B CN111602070B (zh) 2023-12-05

Family

ID=60262707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880068966.5A Active CN111602070B (zh) 2017-10-23 2018-10-17 确定三维图像的图像传感器和确定三维图像的方法

Country Status (4)

Country Link
US (1) US11726185B2 (zh)
EP (1) EP3474038A1 (zh)
CN (1) CN111602070B (zh)
WO (1) WO2019081301A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113645371A (zh) * 2021-06-08 2021-11-12 天津大学 飞行时间传感器行方向相位固定模式噪声消除装置和方法
CN115308757A (zh) * 2021-05-08 2022-11-08 宁波飞芯电子科技有限公司 一种图像传感器及其驱动方法
CN115859897A (zh) * 2022-12-23 2023-03-28 海光集成电路设计(北京)有限公司 模型的生成方法、版图面积预测方法、装置及相关设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
JP7367339B2 (ja) * 2019-05-20 2023-10-24 株式会社デンソー 光測距装置およびその方法
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
KR20210072458A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
KR20210150765A (ko) 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치
WO2021252153A1 (en) 2020-06-11 2021-12-16 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
EP3952271A4 (en) * 2020-06-12 2022-06-01 Shenzhen Goodix Technology Co., Ltd. DEPTH GAUGE DEVICE AND RELATED ELECTRONIC DEVICE AND METHODS OF OPERATING A DEPTH GAUGE DEVICE
EP4267988A1 (en) * 2020-12-23 2023-11-01 Microsoft Technology Licensing, LLC Depth image sensor with always-depleted photodiodes
US11588982B2 (en) 2020-12-23 2023-02-21 Microsoft Technology Licensing, Llc Depth image sensor with always-depleted photodiodes
WO2022210330A1 (ja) * 2021-03-31 2022-10-06 パナソニックＩｐマネジメント株式会社 距離測定装置及び固体撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110129123A1 (en) * 2009-11-27 2011-06-02 Ilia Ovsiannikov Image sensors for sensing object distance information
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US20170026590A1 (en) * 2013-05-23 2017-01-26 Samsung Electronics Co., Ltd. Rgbz pixel arrays, imaging devices, controllers & methods

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
JP4060365B2 (ja) 1996-09-05 2008-03-12 ルドルフ シュヴァルト 電磁波の位相情報および／または振幅情報を調べるための方法と装置
DE19704496C2 (de) * 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
EP1011262A1 (en) 1998-12-10 2000-06-21 Interuniversitair Micro-Elektronica Centrum Vzw Method and device for determining corrected colour aspects of a pixel in an imaging device
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
EP2738812B8 (en) 2012-11-29 2018-07-18 ams Sensors Belgium BVBA A pixel array
GB201302664D0 (en) 2013-02-15 2013-04-03 Cmosis Nv A pixel structure
KR101773116B1 (ko) * 2013-07-26 2017-08-31 삼성전자주식회사 영상 촬영 장치 및 이의 촬영 방법
US9425233B2 (en) 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
KR102624984B1 (ko) * 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
US20200096614A1 (en) * 2018-09-21 2020-03-26 Sony Semiconductor Solutions Corporation Time-of-flight device and time of flight system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110129123A1 (en) * 2009-11-27 2011-06-02 Ilia Ovsiannikov Image sensors for sensing object distance information
US20170026590A1 (en) * 2013-05-23 2017-01-26 Samsung Electronics Co., Ltd. Rgbz pixel arrays, imaging devices, controllers & methods
CN105763788A (zh) * 2014-08-29 2016-07-13 全视科技有限公司 用于飞行时间成像系统的校准电路及方法
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEONG-JIN KIM 等: "A CMOS Image Sensor Based on Unified Pixel Architecture With Time-Division Multiplexing Scheme for Color and Depth Image Acquisition" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115308757A (zh) * 2021-05-08 2022-11-08 宁波飞芯电子科技有限公司 一种图像传感器及其驱动方法
CN113645371A (zh) * 2021-06-08 2021-11-12 天津大学 飞行时间传感器行方向相位固定模式噪声消除装置和方法
CN113645371B (zh) * 2021-06-08 2023-10-17 天津大学 飞行时间传感器行方向相位固定模式噪声消除装置和方法
CN115859897A (zh) * 2022-12-23 2023-03-28 海光集成电路设计(北京)有限公司 模型的生成方法、版图面积预测方法、装置及相关设备
CN115859897B (zh) * 2022-12-23 2023-05-23 海光集成电路设计(北京)有限公司 模型的生成方法、版图面积预测方法、装置及相关设备

Also Published As

Publication number Publication date
EP3474038A1 (en) 2019-04-24
US11726185B2 (en) 2023-08-15
US20210223371A1 (en) 2021-07-22
CN111602070B (zh) 2023-12-05
WO2019081301A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN111602070B (zh) 确定三维图像的图像传感器和确定三维图像的方法
JP7308830B2 (ja) コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法
US9608027B2 (en) Stacked embedded SPAD image sensor for attached 3D information
US9807331B2 (en) Solid-state imaging device, driving method thereof, and imaging system accumulating charges generated by first and second photoelectric conversion units during first and second periods
EP3625589B1 (en) System and method for determining a distance to an object
US8462247B2 (en) Single gate pixel and operation method of single gate pixel
EP2634595B1 (en) Circuit configuration and method for time of flight sensor
US8642938B2 (en) Shared time of flight pixel
US8344306B2 (en) Imaging method and apparatus
US7947939B2 (en) Detection of optical radiation using a photodiode structure
JP5898692B2 (ja) 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み
US20100053405A1 (en) Demodulation Pixel with Daisy Chain Charge Storage Sites and Method of Operation Therefor
US8829408B2 (en) Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes
CN110729315B (zh) 像素架构和图像传感器
CN114300492A (zh) 采集场景的深度图像的设备
CN111684791B (zh) 像素结构、具有像素结构的图像传感器装置和系统、以及操作该像素结构的方法
TWI837107B (zh) 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法
US11832003B2 (en) Binnable time-of-flight pixel
US20220113425A1 (en) Device of acquisition of a 2d image and of a depth image of a scene
CN117546039A (zh) 用于采集场景深度图的传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant