CN114355375A - 采集场景的2d图像和深度图像的设备 - Google Patents

采集场景的2d图像和深度图像的设备 Download PDF

Info

Publication number
CN114355375A
CN114355375A CN202111193547.4A CN202111193547A CN114355375A CN 114355375 A CN114355375 A CN 114355375A CN 202111193547 A CN202111193547 A CN 202111193547A CN 114355375 A CN114355375 A CN 114355375A
Authority
CN
China
Prior art keywords
depth
sample
samples
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111193547.4A
Other languages
English (en)
Inventor
弗朗索瓦·阿耶尔
伊冯·卡佐
盖勒·帕尔米吉亚尼
亚历克西斯·罗沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Publication of CN114355375A publication Critical patent/CN114355375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种采集场景的2D图像和深度图像的设备，包括深度感光单元(Z)和电容器(Cd)，每个深度感光单元包括能够检测反射光信号的光电二极管(PH)、以及通过单个晶体管(44、64)耦合到所述光电二极管的至少一个感测节点(SN、SN')。每个电容器连接在两个感光单元的感测节点之间或同一感光单元的两个感测节点之间。深度感光单元向每个电容器的第一极板提供在第一时间段期间光生成的电荷的至少一个第一样本，并且向每个电容器的第二极板提供在第二时间段期间光生成的电荷的第二样本。深度感光单元为每个电容器的第一极板提供在第三时间段期间光生的电荷的至少一个第三样本。

Description

采集场景的2D图像和深度图像的设备
技术领域
本申请涉及图像采集设备，并且更具体地，涉及能够获取场景的2D图像和深度图像的图像采集设备。
背景技术
已经提供了能够获取深度信息的图像采集设备。例如，间接飞行时间(iToF)检测器的作用是向场景发射光信号，并且然后检测由场景的对象反射的返回光信号。通过估计发射光信号和反射信号之间的相移，可以估计到场景的图像采集设备的距离。
在某些应用中，期望能够捕获场景的2D图像和场景的对应深度图像。
虽然实现此目标的解决方案是使用单独的图像传感器来捕获2D图像和深度图像，但由于传感器将在场景上具有不同的视点，这会导致在对应图像的像素之间未对准，因此这种解决方案不是最佳的。此外，使用两个传感器会增加设备的体积和成本。
另一种解决方案是将2D图像的像素和深度像素在检测器的同一阵列中积分。然而，然后期望将深度像素的尺寸减小到用以最小化关于2D图像的信息丢失的最大值。
期望一种采集场景的2D图像和深度图像的设备，这种设备至少部分地克服了已知设备的一个或多个缺点。
发明内容
实施例提供了一种采集场景的深度图像和2D图像的设备，包括2D图像像素、深度感光单元和电容器，每个电容器都包括第一极板和第二极板，每个深度感光单元包括能够检测与近红外入射调幅光信号在场景上的反射相对应的反射光信号的光电二极管、以及通过单个晶体管耦合到光电二极管的至少一个感测节点，每个电容器连接在两个感光单元的感测节点之间或在相同感光单元的两个感测节点之间。深度感光单元的至少一部分被配置为：向电容器的至少一部分的每个电容器的第一极板提供电荷的至少一个第一样本(其通过在第一时间段期间检测反射光信号而光生)，并且向电容器的所述部分的每个电容器的第二极板提供电荷的第二样本(其通过在第二时间段期间检测反射光信号而光生)，第二时间段相对于第一时间段偏移第一恒定相移。深度感光单元的至少一部分被配置为向电容器的至少一部分的每个电容器的第一极板提供电荷的至少第三样本(其通过第三时间段期间检测反射光信号的而光生)，第三时间段相对于第一时间段偏移与第一相移不同的第二恒定相移。
根据实施例，第一样本和第二样本由相同深度感光单元提供。
根据实施例，第一样本和第二样本由不同深度感光单元提供。
根据实施例，深度感光单元的所述部分的深度感光单元被配置为向电容器的所述部分的每个电容器的第二极板提供电荷的第四样本(其通过在第四时间段期间检测反射光信号而光生)，第四时间段相对于第一时间段偏移不同于第一相移和第二相移的第三恒定相移。
根据实施例，第三样本和第四样本由相同深度感光单元提供。
根据实施例，第一样本和第二样本由相同深度感光单元提供，并且第三样本和第四样本由与提供了第三样本和第四样本的深度感光单元不同的深度感光单元提供。
根据实施例，第一样本和第二样本在第一深度图像的采集期间由相同的感光单元提供，并且第三样本和第四样本在第二深度图像的采集期间由提供了第一样本和第二样本的相同深度感光单元提供。
根据实施例，第三样本和第四样本由不同深度感光单元提供。
根据实施例，第一样本和第二样本由不同深度感光单元提供，并且第三样本和第四样本由与提供了第三样本和第四样本的深度感光单元不同的深度感光单元提供。
根据实施例，第一样本和第二样本在第一深度图像的采集期间由不同深度感光单元提供，并且第三样本和第四样本在第二深度图像的采集期间由提供了第一样本和第二样本的深度感光单元提供。
实施例还提供了一种采集深度图像的系统，包括：诸如先前定义的采集设备；光源，其被配置为发射近红外周期性调幅的入射光信号；以及处理器，其被配置为从第一样本、第二样本和第三样本确定入射光信号和反射光信号之间的相移。
根据实施例，处理器被配置为确定来自第一样本、第二样本、第三样本和第四样本的入射光信号和反射光信号之间的相移。
附图说明
上述特征和优点以及其他特征和优点将在以下借由图示而非限制给出的具体实施例的描述中参照附图进行详细描述，其中：
图1示意性地示出了2D图像和深度图像形成系统的实施例；
图2是示出了根据实施例的发射和反射的光信号的光强度的示例的曲线图。
图3示意性地示出了能够检测深度信息的感光单元的电路的示例；
图4示意性地示出了能够检测深度信息的感光单元的电路的另一个示例；
图5是读出操作期间感光单元的感测节点处的电压的时序图；
图6示出了已知深度像素读出方法的原理；
图7示出了差分深度像素读出方法的实施例的原理；
图8示意性地示出了深度图像采集设备的感光单元布置的实施例；
图9示意性地示出了深度图像采集设备的感光单元布置的另一个实施例；
图10示意性地示出了深度图像采集设备的感光单元布置的另一个实施例；
图11示意性地示出了深度图像采集设备的感光单元布置的另一个实施例；
图12A示出了差分读出方法的实施例的步骤；
图12B示出了该方法的另一个步骤；
图12C示出了该方法的另一个步骤；
图12D示出了该方法的另一个步骤；
图13示出了差分读出方法的另一个实施例的步骤；
图14示意性地示出了能够检测深度信息的感光单元的电路的实施例；并且
图15示意性地示出了能够检测深度信息的感光单元的电路的另一个实施例。
具体实施方式
在各种附图中，相似的特征由相似的附图标记指定。特别地，在各种实施例当中共同的结构和/或功能特征可以具有相同的附图标记并且可以布置相同的结构、尺寸和材料特性。
为了清楚起见，仅详细示出和描述了对理解本文描述的实施例有用的步骤和元件。特别地，2D图像像素和深度像素的光电二极管的形成没有被详细描述，基于本说明书的指示，这种像素的形成在本领域技术人员的能力范围内。除非另有说明，否则当提及连接在一起的两个元件时，这表示除了导体之外没有任何中间元件的直接连接，并且当提及耦合在一起的两个元件时，这表示这两个元件可以连接或者它们可以经由一个或多个其他元件耦合。
在以下描述中，当提及限定绝对位置的术语时，诸如术语“前”、“后”、“顶部”、“底部”、“左”、“右”等，或相对位置，诸如术语“上方”、“下方”、“上部”、“下部”等，或提及限定方向的术语，诸如术语“水平”、“垂直”等，它是指附图的取向或在正常使用位置中的深度图像采集设备。除非另有说明，否则表述“约”、“大概”、“基本上”和“大约”表示在10％以内，并且优选地在5％以内。
图1示意性地示出了深度图像形成系统10的实施例，其包括对2D图像和深度图像的组合采集的设备12。系统10例如包括光信号发射电路14，其驱动光源16，例如发光二极管(LED)。发光二极管16例如以近红外光谱中的波长发射光信号，例如在从700nm到1,100nm的范围内。由发光二极管16生成的光信号例如经由一个或多个透镜(图1中未示出)朝向图像场景Sc发射。从图像场景Sc反射的光信号的光被图像采集设备12捕获，例如，经由成像透镜17和微透镜阵列18，其将光聚焦在图像采集设备12的各个像素上。
例如，图像采集设备12包括：能够接收由图像场景反射的光信号并且能够检测接收到的信号的相位以形成深度图像的多个像素。这些像素以下称为深度像素。图像采集设备12还包括：能够从图像场景中捕获可见光以形成2D图像的多个像素，这些像素在下文中被称为2D图像像素。
成像系统10的处理器20例如耦合到图像采集设备12和光信号发射电路14，并且基于由图像采集设备12的深度像素捕获的信号而确定图像场景Sc中的对象的对应距离。由图像采集设备12捕获的2D图像和由处理器20生成的深度图像例如存储在成像系统10的存储器22中。
图2是一个曲线图，通过曲线30示出了由发光二极管16向图像场景Sc发射的光信号的光强度的时间变化的示例，并且通过曲线32示出了由图像采集设备12的深度像素之一接收到的光信号的光强度的时间变化的示例。虽然为了简化比较，这些信号在图2中示出为具有相同的强度，但实际上由每个深度像素接收到的光信号的强度可能明显低于发射信号的强度。在图2的示例中，光信号具有正弦波的形状。然而，在可替选的实施例中，它可以具有不同的周期性形状，例如由正弦波的总和、三角形或方形形成。
本说明书的深度像素基于用于检测接收到的光信号的相位的光电探测器。在发射光信号和接收到的光信号之间存在相移
Figure BDA0003302170500000051
其表示源自发光二极管16的光信号经由反射光信号的图像场景Sc的对象到达图像采集设备12的飞行时间(ToF)。因此，可以通过使用以下等式Math_1计算到图像场景Sc中对象的距离d的估计值：
[Math_1]
Figure BDA0003302170500000061
其中c指定光速，并且f指定光信号的频率。
相移
Figure BDA0003302170500000062
例如基于在光信号的每个周期期间，在至少三个不同采样窗口期间(优选地在四个不同采样窗口期间)由深度像素捕获的信号的采样来估计。基于每周期检测四个样本的技术在R.Lange和P.Seitz的题为“Solid-state TOF range camera”的出版物，IEEJ.on Quantum Electronics，第37卷，第3期，2001年3月中进一步详细描述，其根据法律授权通过引用并入本文。作为示例，在图2中，示出了每周期四个样本的采集。
每个采样窗口的样本例如在大量周期上积分，例如在大概100,000个周期上，或更一般地在10,000和1000万个周期之间。例如，每个采样窗口具有范围高达光信号周期的四分之一的持续时间。这些采样窗口在图2中称为C0、C1、C2和C3，并且在图2的示例中，每个采样窗口的持续时间相同，并且四个采样窗口的总循环时间(cycle time)等于光信号的周期。更一般地，可能存在或不存在将采样窗口与下一采样窗口分开的时间间隔，并且在某些情况下，采样窗口之间可能存在重叠。在深度像素每周期捕获四个样本的情况下，每个采样窗口例如具有在光信号的周期的15％到35％的范围内的持续时间。在深度像素每周期捕获三个样本的情况下，每个采样窗口例如具有在光信号的周期的25％到40％的范围内的持续时间。
采样窗口C0到C3的时序被控制为与发射光信号的时序同步。例如，光信号发射电路14基于时钟信号CLK(图1)生成光信号，并且图像采集设备12接收相同的时钟信号CLK以通过例如使用延迟元件引入适当的相移来控制每个采样窗口的结束时间。
基于光信号的积分样本，并且对于纯正弦光波，在每周期获取四个样本C0、C1、C2和C3的情况下，光信号的相移
Figure BDA0003302170500000063
可以通过使用以下等式Math_2来确定：
[Math_2]
Figure BDA0003302170500000071
在每个周期获取三个样本C0、C1和C2的情况下，光信号的相移
Figure BDA0003302170500000072
可以通过使用以下等式Math_3来确定：
[Math_3]
Figure BDA0003302170500000073
在某些实施例中，光信号的频率f是25MHz，或更一般地在从20MHz到200MHz的范围内。
在下面的描述中，叫做“感光单元(photosite)”的是：光电探测器和通过该光电探测器吸收由场景反射的光信号而使能获取所生成的电荷的至少一个样本的所有电子组件(期望的是其深度图像)；并且，称为“像素(pixel)”的是：允许确定深度值所必须的所有电子组件。特别地，像素可以包括多个感光单元。
为了确定发射的光信号和由深度像素接收到的光信号之间的相移
Figure BDA0003302170500000074
通过以规则的间隔连续传送以下项来对接收到的光信号进行采样：在第一采样窗口C0期间在感光单元的光敏元件中光生的电荷；在第二采样窗口C1期间在同一感光单元或另一个感光单元的光敏元件中光生的电荷；(在从三个样本确定深度值的情况下)在第三采样窗口C2期间在同一感光单元或另一个感光单元的光敏元件中光生的电荷；并且(在从四个样本确定深度值的情况下)在第四采样窗口C3期间在同一感光单元或另一个感光单元的光敏元件中光生的电荷。在由输出电路读取所获得的信号之前，这三次或四次传送被重复大量次，例如100,000次。
图3是示出了深度感光单元的电路40的示例的电路图。电路40能够执行电压存储。电路40包括耦合在节点42和低参考电位的源(例如地)之间的光敏元件PH，例如快速光电二极管。节点42经由传送门(transfer gate)44耦合到感测节点SN，该传送门44例如是n沟道MOS晶体管。传送门44由施加到其控制节点的信号Vsn控制。如图3中示出的，可以在感测节点SN上添加电容器C，以增加存储电容并降低感光单元中存在的热噪声。作为变型，感测节点SN处的电容也可以仅由感光单元的互连形成。
电路40还包括由跟随源晶体管46、选择晶体管48和复位晶体管50形成的输出电路，这些晶体管例如是n沟道MOS晶体管。感测节点SN耦合到晶体管46的控制节点，例如其漏极耦合到高参考电位Vdd的源，并且其源极通过晶体管48耦合到电路40的输出线52，晶体管48由施加到其栅极的信号Vsel控制。感测节点SN'还通过晶体管50耦合到参考电位Vdd的源，或耦合到另一个参考电位的源，晶体管50由施加到其栅极的信号Vres控制。在可替选的实施例中，输出电路可由多个感光单元共享，其中感测节点SN例如耦合到一个或多个相邻感光单元的采样电路。
通过将光电二极管PH中收集到的电荷传送到感测节点SN来执行样本的读取。内插在光电二极管PH和传送门44之间并且通过附加传送门耦合到光电二极管PH的中间存储器中没有存储。
电路40还包括晶体管54，例如n沟道MOS晶体管，其将节点42耦合到参考电位Vdd的源并且使能光电二极管PH被复位。晶体管54例如由信号VresPH控制。因此，它使能通过在所有传感器光电二极管PH的同步积分开始之前确保光电二极管PD清空来控制光电二极管PH的曝光时间，并且它使能确保抗高光溢出(anti-blooming)功能以避免在阵列的常规读取期间光电二极管PH溢出到感测节点SN。
通过在采样期间读取存储在行像素的感测节点SN上的值，来逐行执行从深度像素的读取。对于整个读取，这些值必须在感测节点SN上保持稳定，但是，像素始终接收寄生光。这可能会由光电二极管PH的溢出而导致等待读取的感测节点SN饱和。
图4是示出了深度感光单元电路60的另一示例的电路图。电路60包括电路40的所有元件并且包括经由传送门64耦合到节点42的第二感测节点SN'，该传送门64例如是n沟道MOS晶体管。传送门64由施加到其控制节点的信号Vsn'控制。电路60还包括由跟随源晶体管66、选择晶体管68和复位晶体管70形成的第二输出电路，这些晶体管例如是n沟道MOS晶体管。感测节点SN'耦合到晶体管66的控制节点，例如其漏极耦合到参考电位Vdd的源，并且其源极通过晶体管68耦合到电路60的输出线72，晶体管68由施加到其栅极的信号Vsel'控制。感测节点SN'还通过晶体管70耦合到电源电压Vdd的源，晶体管70由施加到其栅极的信号Vres'控制。
图5是在读出操作期间在图3中示出的电路40的感测节点SN处参考地的电压VSN的时序图。时间t1、t2和t3是接续的。在时间t1之前，通过导通复位晶体管50以将节点SN处的电压取到参考值V1来执行复位步骤。在时间t1和t2之间，晶体管44连续几次导通和关断，导致光电二极管PH中每次采样收集到的电荷传送到感测节点SN，使其电压VSN从参考值V1变化到电平V2。在时间t2和t3之间，通过晶体管48的导通来读取感测节点SN处的电压的电平。在时间t3处，通过导通复位晶体管50以将节点SN处的电压取到对应于新读取周期的开始的参考值V1'来执行复位步骤，其中参考值V1'可能由于热噪声而不同于参考值V1。使用电压电平V1和V2之间的差值来消除参考值V1是期望的。实际上，使用差值V1'-V2，电平V1'的读取在电平V2的读取之后没一会儿执行。在重置步骤期间设置噪声水平，使得参考值V1'上的噪声水平与值V2上的噪声水平不同。在电容大约为5fF的情况下，热噪声大约为1mV。
在2D图像像素的情况下，这种噪声可能会是干扰的。这就是为什么不期望使用诸如结合图3和图4描述的像素结构的原因。发明人已经表明，对于捕获对应于近红外中幅度调制信号的反射的辐射的深度像素，这种热噪声不会是干扰的，这是因为无论如何都存在红外背景光，这向反射光信号的测量增加噪声。
根据实施例，不是读取样本C0、C1、C2和C3的积分值，而是设备12被配置为直接读取两个积分样本之间的差值。事实上，如从等式Math_2和Math_3中显现的，深度估计仅使用样本之间的差值。
图6和图7分别(非常示意性地)示出了常规样本读取的原理和差分读取的原理。
图6示出了接收近红外中有用光信号IR的深度像素Z，其对应于寄生光信号BG和照明源16提供的调制信号的反射，例如对应于场景的红外背景光。电容器C示出了在样本收集阶段结束时具有由光电二极管PH收集到的电荷的像素的感测节点SN处的电容，电荷中的一部分CIR对应于由于有用光信号IR产生的电荷，并且电荷中的另一部分CBG其对应于由于寄生光信号BG产生的电荷，这些存储在该电容器C中。然后，常规读出操作包括读取表示存储在电容器C中的所有电荷的信号S。
图7示出了两个深度像素ZA和ZB，每个都接收有用光信号IR和寄生光信号BG。在像素ZA收集第一样本的阶段结束时，像素ZA的感测节点处存在的电荷包括对应于由于有用光信号IR而产生的电荷的一部分CIRA和对应于由于寄生光信号BG而产生的电荷的另一部分CBGA。在像素ZB收集第二样本的阶段结束时，像素ZB的感测节点处存在的电荷包括对应于由于有用光信号IR而产生的电荷的一部分CIRB和对应于由于寄生光信号BG而产生的电荷的另一部分CBGB。由于寄生信号基本上恒定且均匀，因此贡献CBGA和CBGB接近。根据实施例，提供了耦合到两个感测节点的电容器Cd。读出操作然后包括读取跨电容器Cd两端的电压U，其表示存在于两个感测节点处的电荷量之间的差值，并且因此表示贡献CIRA和CIRB之间的差值，其中贡献CBGA和CBGB相互抵消。因此抑制了由于寄生信号引起的干扰。此外，有利地，值U可以具有比信号S的动态范围更大的动态范围，这是因为信号的无用部分已经被抑制。根据实施例，电容器Cd的电容在从3fF到10fF的范围内。
图8至图11部分地且示意性地示出了采集设备12的像素阵列的布置的实施例。深度感光单元Z分布在2D图像像素当中。作为示例，在彩色图像的情况下，2D图像像素可以包括适于捕获红光的像素R、适于捕获蓝光的像素B和适于捕获绿光的像素G。作为示例，2D图像像素R、G和B分布在拜耳阵列中，不同的是，拜耳阵列的像素G中的一个被替换为深度感光单元Z。
在图8和图9中示出的实施例中，每个图像的两个样本的采集由相同深度感光单元Z执行，其中感光单元可以具有类似于图4中示出的结构的结构。然后电容器Cd连接在被耦合到感光单元Z的光电二极管PH的两个感测节点SN和SN'之间。
根据图8中示出的实施例，四个样本C0、C1、C2和C3由相同深度感光单元Z获取，其中样本C0和C2是在第一深度图像的采集期间获得的，这使能获得样本C0和C2之间的差值，并且样本C1和C3是在第二深度图像的采集期间获得的，这使能获得样本C1和C3之间的差值。每个深度像素然后包括单个深度感光单元。
根据图9中示出的实施例，感光单元Z分布到感光单元获取样本C0和C2以及感光单元获取样本C1和C3中。这使能通过采集单个深度图像来获得样本C0和C2之间的差值以及样本C1和C3之间的差值。每个深度像素然后包括两个深度感光单元Z。
在图10和图11中示出的实施例中，通过两个不同深度感光单元Z执行对两个样本的采集以执行差分读取，每个深度感光单元Z能够具有类似于图3中示出的结构的结构。电容器Cd然后连接在两个深度像素Z的感测节点之间。
根据图10中示出的实施例，四个样本C0、C1、C2和C3由两个深度感光单元Z获取，样本C0和C2是在第一深度图像的采集期间获得的，这使能获得样本C0和C2之间的差值，并且样本C1和C3是在第二深度图像的采集期间获得的，这使能获得样本C1和C3之间的差值。每个深度像素然后包括两个深度感光单元。
根据图11中示出的实施例，感光单元Z分布到感光单元获取样本C0和C2以及感光单元获取样本C1和C3中。这使能通过采集单个深度图像来获得样本C0和C2之间的差值以及样本C1和C3之间的差值。每个深度像素然后包括四个深度感光单元Z。
图10和图11中示出的实施例相对于图8和图9中实施的实施例的优点在于，图10和图11中示出的实施例对于电容器Cd和深度像素的电子组件的形成具有较少的约束，这是因为深度像素的电子组件分布在两个深度感光单元上，并且电容器Cd可以在深度感光单元上和/或深度感光单元之间的一个或多个2D图像像素上形成。
图12A到图12B示出了在诸如图10和图11中示出的布置的情况下读出方法的实施例的连续步骤。根据本实施例，电容器Cd的第一极板通过开关SWA1耦合到第一感光单元ZA的光电二极管PHA，并且通过开关SWA2耦合到高参考电位Vdd的源，并且电容器Cd的第二极板通过开关SWB1耦合到第二感光单元ZB的光电二极管PHB，并且通过开关SWB2耦合到高参考电位Vdd的源。开关SWA1、SWA2、SWB1和SWB2可以对应于MOS晶体管。
根据实施例，读取周期包括以下步骤：
a)所有开关SWA1、SWA2、SWB1和SWB2都接通。电容器Cd通过将其两个极板连接到相同电位Vdd来放电(图12A)；
b)开关SWA2和SWB1接通，并且开关SWA1和SWB2关断，这导致电荷从第二感光单元ZB的光电二极管PHB传送到电容器Cd的第二极板(图12B)；
c)开关SWA1和SWB2接通，并且开关SWA2和SWB1关断，这导致电荷从第二感光单元ZA的光电二极管PHA传送到电容器Cd的第一极板(图12C)；并且
d)开关SWA1、SWB1和SWB2关断，并且开关SWA2接通，这使能读取跨电容器Cd两端的电压(图12D)。
步骤b)和c)重复数千次以存储对应于入射信号的电荷。在步骤d)处，对于常规深度的像素，可以通过双采样来执行读取。
根据实施例，在根据两个连续的深度图像执行相移计算的情况下，读取周期包括实施先前描述的方法以获得第一深度图像的差值C0-C2和实施先前描述的方法以获得第二图像的差值C1-C3。
图13示出了在诸如图8和图9中示出的布置的情况下读出方法的实施例的步骤。在该实施例中，电容器Cd的第一极板通过开关SWA1耦合到感光单元Z的光电二极管PH，并且通过开关SWA2耦合到高参考电位Vdd的源，并且电容器Cd的第二极板通过开关SWB1耦合到同一感光单元Z的光电二极管PH，并且通过开关SWB2耦合到高参考电位Vdd的源。开关SWA1、SWA2、SWB1和SWB2的控制可以如先前关于图12A至图12D所描述的那样执行。
在光信号的相移
Figure BDA0003302170500000131
根据等式Math_3通过仅使用三个样本C0、C1和C2确定的情况下，先前关于图13和图12A至图12D描述的读出方法的实施例可以通过以下来实施：由第一感光单元来实施以获得差值C0-C1，并且由第二感光单元来实施以获得差值C0-C2，并且由第三感光单元来实施以获得差值C2-C1。采集可以利用单个深度图像执行，其中第一感光单元和第二感光单元不同，或者利用两个深度图像执行，其中第一感光单元和第二感光单元可以相同。
图14是示出了图12A至图12B中示出电路的更详细实施例的电路图。如该附图中示出的，感光单元ZB的结构如图3中示出的，只是将电容C替换为电容Cd。开关SWB1对应于晶体管44，并且开关SWB2对应于晶体管50。感光单元ZA也具有图3中示出的结构，在图3的电路参考中添加了单引号以将它们与感光单元ZB的电路参考区分开来，除了电容器C被替换为电容器Cd并且晶体管46'和48'不存在，并且在图14中以虚线指示出。开关SWA1对应于晶体管44'并且开关SWA2对应于晶体管50'。由电容器Cd耦合的两个感光单元ZA和ZB的一般结构因此可以包括：比将包括具有图3中示出的结构的两个感光单元的结构更少的两个晶体管。
图15是示出了图13中示出的电路的更详细实施例的电路图。如该附图中示出的，感光单元Z具有图4中示出的结构，除了两个电容器C被替换为电容器Cd。此外，晶体管66和68不存在，并且在图15中以虚线指示出。开关SWB1对应于晶体管44，并且开关SWB2对应于晶体管50。开关SWA1对应于晶体管64，并且开关SWA2对应于晶体管70。因此，图15的感光单元的结构可以包括比图4中示出的结构少的两个晶体管。
根据实施例，图1的设备12包括：
-第一传感器，其形成在第一半导体衬底(例如，单晶硅衬底)的内部和顶部，该第一传感器包括多个深度感光单元和2D图像像素；以及
-第二传感器，其形成在第二半导体衬底(例如，单晶硅衬底)的内部和顶部，该第二传感器紧靠第一传感器的表面放置并且包括多个深度感光单元。
已经描述了各种实施例和变型。本领域技术人员将理解，可以组合这些各种实施例和变型的某些特征，并且本领域技术人员将想到其他变型。最后，基于上文给出的功能指示，所描述的实施例和变型的实际实施方式在本领域技术人员的能力范围内。

Claims (13)

1.一种采集场景(Sc)的深度图像的设备(12)，包括：
深度感光单元(Z)，和
电容器(Cd)，其每个包括第一极板和第二极板，其中每个深度感光单元包括：能够检测与近红外入射调幅光信号在场景上的反射相对应的反射光信号的单个光电二极管(PH)、以及通过单个晶体管(44、64)耦合到所述光电二极管的至少一个感测节点(SN、SN')，每个电容器连接在两个感光单元的感测节点之间或相同感光单元的两个感测节点之间，
其中所述深度感光单元当中的第一深度感光单元被配置为：
向所述电容器当中的每个第一电容器的第一极板提供电荷的至少一个第一样本，所述电荷的至少一个第一样本是通过在其每个都等于入射光信号的调制周期的第一部分的第一时间段期间检测所述反射光信号而光生的，并且
向每个第一电容器的第二极板提供电荷的第二样本，所述电荷的第二样本是通过在其每个都等于所述入射光信号的调制周期的第二部分的第二时间段期间检测所述反射光信号而光生的，所述第二时间段相对于所述第一时间段偏移了第一恒定相移，并且
其中所述深度感光单元当中的第二深度感光单元被配置为：
向所述电容器当中的每个第二电容器的第一极板提供电荷的至少一个第三样本，所述电荷的至少一个第三样本是通过在其每个都等于所述入射光信号的调制周期的第三部分的第三时间段期间检测所述反射光信号而光生的，所述第三时间段相对于所述第一时间段偏移了不同于所述第一相移的第二恒定相移。
2.根据权利要求1的设备，其中所述第一样本和第二样本由相同深度感光单元(Z)提供。
3.根据权利要求1的设备，其中所述第一样本和第二样本由不同深度感光单元(Z)提供。
4.根据权利要求1所述的设备，其中
所述深度感光单元当中的第四深度感光单元(Z)被配置为：向每个第三电容器的第二极板提供电荷的第四样本，所述电荷的第四样本是通过在其每个都等于所述入射光信号的调制周期的第四部分的第四时间段期间检测所述反射光信号而光生的，所述第四时间段相对于所述第一时间段偏移了不同于所述第一相移和所述第二相移的第三恒定相移。
5.根据权利要求4的设备，其中第三样本和第四样本由相同深度感光单元提供。
6.根据权利要求4的设备，其中第一样本和第二样本由相同深度感光单元提供，并且其中所述第三样本和第四样本由与提供了所述第一样本和第二样本的深度感光单元不同的深度感光单元提供。
7.根据权利要求5的设备，其中第一样本和第二样本在第一深度图像的采集期间由相同感光单元提供，并且其中第三样本和第四样本在第二深度图像的采集期间由提供了第一样本和第二样本的相同深度感光单元提供。
8.根据权利要求4的设备，其中第三样本和第四样本由不同深度感光单元提供。
9.根据权利要求8的设备，其中第一样本和第二样本由不同深度感光单元提供，并且其中第三样本和第四样本由与提供了第一样本和第二样本的深度感光单元不同的深度感光单元提供。
10.根据权利要求8的设备，其中第一样本和第二样本在第一深度图像的采集期间由不同深度感光单元提供，并且其中所述第三样本和第四样本在第二深度图像的采集期间由提供了第一样本和第二样本的深度感光单元提供。
11.根据权利要求1的设备，包括用于所述场景(Sc)的2D图像的采集的2D图像像素。
12.一种采集深度图像的系统(10)，包括：
根据权利要求1至11中任一项所述的采集设备(12)；
光源(16)，其被配置为发射近红外调幅入射光信号；以及
处理器(20)，其被配置为从第一样本、第二样本和第三样本确定入射光信号和反射光信号之间的相移。
13.根据权利要求12的系统，其中所述采集设备(12)根据权利要求4，其中所述处理器(20)被配置为从第一样本、第二样本、第三样本和第四样本确定入射光信号和反射光信号之间的相移。
CN202111193547.4A 2020-10-14 2021-10-13 采集场景的2d图像和深度图像的设备 Pending CN114355375A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR20/10487 2020-10-14
FR2010487A FR3115145B1 (fr) 2020-10-14 2020-10-14 Dispositif d'acquisition d'une image 2d et d'une image de profondeur d'une scene

Publications (1)

Publication Number Publication Date
CN114355375A true CN114355375A (zh) 2022-04-15

Family

ID=74183312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111193547.4A Pending CN114355375A (zh) 2020-10-14 2021-10-13 采集场景的2d图像和深度图像的设备

Country Status (3)

Country Link
US (1) US20220113425A1 (zh)
CN (1) CN114355375A (zh)
FR (1) FR3115145B1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302244B2 (ja) * 2010-02-26 2013-10-02 浜松ホトニクス株式会社 距離画像センサ
EP3392675B1 (en) * 2017-04-21 2021-03-10 Melexis Technologies NV Active pixel circuit for a time-of-flight system and method for operating the same

Also Published As

Publication number Publication date
US20220113425A1 (en) 2022-04-14
FR3115145B1 (fr) 2023-06-02
FR3115145A1 (fr) 2022-04-15

Similar Documents

Publication Publication Date Title
US11444109B2 (en) Global shutter pixel circuit and method for computer vision applications
CN111602070B (zh) 确定三维图像的图像传感器和确定三维图像的方法
US10277850B2 (en) Solid-state imaging device for a distance sensor transferring charges from one pixel while resetting another pixel in a same period
US9608027B2 (en) Stacked embedded SPAD image sensor for attached 3D information
US9229096B2 (en) Time-of-flight imaging systems
KR101605046B1 (ko) 싱글 게이트 픽셀 및 싱글 게이트 픽셀 동작 방법
US8344306B2 (en) Imaging method and apparatus
US20190208150A1 (en) Pixel array included in three-dimensional image sensor and method of operating three-dimensional image sensor
US20130181119A1 (en) Shared time of flight pixel
JP2009008537A (ja) 距離画像装置及び撮像装置
WO2022007449A1 (zh) 一种图像传感器像素电路、图像传感器及深度相机
CN114300492A (zh) 采集场景的深度图像的设备
CN111684791B (zh) 像素结构、具有像素结构的图像传感器装置和系统、以及操作该像素结构的方法
CN114355375A (zh) 采集场景的2d图像和深度图像的设备
US11860279B2 (en) Image sensing device and photographing device including the same
CN117546039A (zh) 用于采集场景深度图的传感器
JP2022522952A (ja) 飛行時間型装置および３ｄ光学検出器
EP3445039B1 (en) Detection circuit for photo sensor with stacked substrates
US20210333404A1 (en) Imaging system with time-of-flight sensing
TWI837107B (zh) 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法
Mase et al. Hybrid back-side illuminated distance measuring sensor array with ring gate structure
CN117546038A (zh) 用于获取场景深度图的设备
Bardoux Review of APS technologies
Kern et al. Review of APS technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination