CN110389358B - 相关飞行时间传感器 - Google Patents

相关飞行时间传感器 Download PDF

Info

Publication number
CN110389358B
CN110389358B CN201910319764.XA CN201910319764A CN110389358B CN 110389358 B CN110389358 B CN 110389358B CN 201910319764 A CN201910319764 A CN 201910319764A CN 110389358 B CN110389358 B CN 110389358B
Authority
CN
China
Prior art keywords
time
light
avalanche photodiodes
coupled
pulses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910319764.XA
Other languages
English (en)
Other versions
CN110389358A (zh
Inventor
奥利维尔·布尔蒂尔
艾瑞克·A·G·韦伯斯特
林赛·格朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN110389358A publication Critical patent/CN110389358A/zh
Application granted granted Critical
Publication of CN110389358B publication Critical patent/CN110389358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G01J2001/4466—Avalanche
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

本申请案涉及一种相关飞行时间传感器。飞行时间TOF传感器包含经构造以发射光的光源及多个雪崩光电二极管。所述TOF传感器还包含多个脉冲发生器，其中个别脉冲发生器耦合到所述多个雪崩光电二极管中的个别雪崩光电二极管。控制电路耦合到所述光源、所述多个雪崩光电二极管和所述多个脉冲发生器，以执行操作。操作可包含从所述光源发射所述光，和运用所述多个雪崩光电二极管接收从对象反射的所述光。响应于运用所述多个雪崩光电二极管接收到所述光，多个脉冲可从对应于接收所述光的所述个别光电二极管的所述个别脉冲发生器输出。并且，响应于输出所述多个脉冲，可当所述多个脉冲在时间上重叠时输出时序信号。

Description

相关飞行时间传感器
技术领域
本公开大体上涉及光学传感器。具体地说，本发明的实例涉及飞行时间传感器。
背景技术
随着三维(3D)应用程序的普及性在例如成像、电影、游戏、计算机、用户接口、面部辨识、对象辨识、扩增实境等领域持续增长，对3D相机的关注日益增加。创建3D图像的典型被动方式为使用多个相机捕获立体图像或多个图像。使用立体图像，图像中的对象可经三角形化以创建3D图像。此三角化技术的一个缺点是难以使用小装置创建3D图像，这是因为在每一相机之间必须存在最小间隔距离以便创建三维图像。另外，此技术是复杂的且因此需要显著计算机处理功率以便实时地创建3D图像。
对于要求实时地获取3D图像的应用，有时使用基于飞行时间测量的主动深度成像系统。飞行时间相机通常采用引导对象处的光的光源、检测从对象反射的光的传感器，以及基于光往返于对象所花费的往返时间计算到对象的距离的处理单元。
获取3D图像的持续挑战是将飞行时间相机的所要性能参数与系统的物理大小和功率约束条件进行平衡。举例来说，意在用于对附近对象和远处对象进行成像的飞行时间系统的功率要求可显著不同。这些挑战被外在参数(例如，相机的所要帧速率、深度分辨率和横向分辨率)和内在参数(例如，传感器的量子效率、填充因数、抖动和噪声)进一步复杂化。
发明内容
在一个方面中，本申请提供一种飞行时间(TOF)传感器，其包括：光源，其经构造以发射光；多个雪崩光电二极管，其经构造以接收所述光；多个脉冲发生器，其中所述多个脉冲发生器中的个别脉冲发生器耦合到所述多个雪崩光电二极管中的个别雪崩光电二极管；及控制电路，其耦合到所述光源、所述多个雪崩光电二极管及所述多个脉冲发生器，其中所述控制电路包含当由所述控制电路执行时引起所述飞行时间传感器执行操作的逻辑，所述操作包含：从所述光源发射所述光；运用所述多个雪崩光电二极管接收从对象反射的所述光；响应于运用所述多个雪崩光电二极管接收到所述光，从对应于接收所述光的所述个别雪崩光电二极管的所述个别脉冲发生器输出多个脉冲；及响应于输出所述多个脉冲，当所述多个脉冲在时间上重叠时输出时序信号。
在另一方面中，本申请提供一种计算飞行时间(TOF)的方法，其包括：从光源发射光；运用多个雪崩光电二极管接收从对象反射的所述光；响应于运用所述多个雪崩光电二极管接收到所述光，从耦合到所述多个雪崩光电二极管中的个别雪崩光电二极管的个别脉冲发生器输出多个脉冲，其中输出所述多个脉冲的所述个别脉冲发生器耦合到接收所述光的所述个别雪崩光电二极管；响应于输出所述多个脉冲，当所述多个脉冲在时间上重叠时从控制电路输出时序信号；及运用所述控制电路使用所述时序信号计算所述飞行时间。
附图说明
参考以下图式描述本发明的非限制性且非穷尽性的实例，其中除非另外规定，否则在各视图通篇中相同的附图标记指代相同的部分。
图1是根据本公开的教示的展示飞行时间(TOF)传感器的一个实例的图。
图2说明展示来自并非图1的传感器的实例飞行时间传感器的所有光子的总和的直方图。
图3展示根据本公开的教示的可实施于图1的飞行时间传感器中的逻辑和逻辑时序的一个实例。
图4描绘根据本公开的教示的可包含在图1的飞行时间传感器中的额外逻辑的实例。
图5说明根据本公开的教示的图4中所描绘的逻辑的锁定功能性的实例时序图。
图6说明根据本公开的教示的计算飞行时间的实例方法。
对应的参考标号在图式的若干视图通篇中指示对应的组件。熟练的技术人员将了解，图中的元件仅为简单和清晰起见而进行说明，但不一定按比例绘制。举例来说，图中的一些元件的尺寸可能相对于其它元件加以放大以有助于改进对本发明的各种实施例的理解。并且，通常未描绘在商业可行的实施例中有用或必需的常见但众所周知的元件，以便促进本发明的这些各种实施例的遮挡较少的视图。
具体实施方式
本文中描述用于相关飞行时间传感器的设备和方法的实例。在以下描述中，陈述众多具体细节以提供对实例的透彻理解。然而，相关领域的技术人员将认识到，可在没有所述具体细节中的一或多个的情况下或使用其它方法、组件、材料等实践本文中所描述的技术。在其它情况下，未展示或详细描述众所周知的结构、材料或操作以免使某些方面混淆。
在本说明书通篇中参考“一个实例”或“一个实施例”意味着结合实例描述的特定特征、结构或特性包含于本发明的至少一个实例中。因此，在本说明书通篇中在各种位置中出现短语“在一个实例中”或“在一个实施例中”未必都是指同一个实例。此外，在一或多个实例中，特定特征、结构或特性可以任何合适方式组合。
单光子雪崩二极管(SPAD)是光电二极管，其在其雪崩点周围偏压以吸收且检测单光子。当SPAD在盖革模式(Geiger mode)中适当地偏压时(其中反向电压高于雪崩击穿值)，其等待电荷进入其内部电场且触发雪崩。每一雪崩都会生成脉冲。由于SPAD具有通常约100ps或小于100ps的时间抖动，因此SPAD可用于具有高精确度的时间测量。
通常，飞行时间图像传感器通过发射光(例如，相关光脉冲，其可来自如激光二极管的单色光源等等)来起作用。光脉冲由图像传感器或相机反射且接收。光子从系统行进到对象且返回到系统的飞行时间经测量且用于确定距离。参见例如图1和用于飞行时间系统的一个实例的相关联论述。
与入射光的吸收无关的自由电荷载流子有时可在经偏压半导体材料(例如，硅、锗等)中生成。这些载流子可以被称作“暗计数率”(DCR)的速率随机地生成。类似地，由例如太阳或灯生成的背景光光子也可在曝光期间的任何时间(随机地)被吸收。背景光光子出现率取决于照明度(泊松分布)而或多或少为随机的且对于相同背景照明下的像素应不同。当从系统中的光源发射的光的返回脉冲击中传感器时，同步光光子出现。因此，此并非随机的且对于接收同一信号的像素应为类似的。
通过在大量帧上对N个SPAD的群组的所有光子到达时间进行求和，可获得数据直方图(参见例如图2)。然而，背景光及/或DCR还会在随机时间引起SPAD击穿，其在完整积分周期内或多或少同等地分布。使用用于飞行时间(TOF)距离测量的SPAD通常意指处理归因于背景光及DCR的许多数据。在一些SPAD飞行时间传感器中，装置可采用大量帧来构建直方图(参见例如图2)且将返回信号与背景及DCR进行区分。此需要存储及处理数据，且对直方图进行筛选以在所有数据当中找到信号峰值。这些步骤可能需要许多存储及处理功率。此外，通过对填充有噪声的直方图进行平均化，有可能计算出用于返回信号的错误估计。
因此，此处提议计算重叠(相关)脉冲(响应于SPAD接收到光子而生成)以便缩减误差及计算飞行时间及后续距离测量所需的处理功率。
图1是根据本公开的教示的展示飞行时间系统100的一个实例的框图。飞行时间系统100包含光源102、透镜116、多个像素120(包含第一像素122)及控制器126(其包含控制电路、存储器等)。控制器126耦合到光源102和多个像素120(包含第一像素122)。多个像素120定位于距透镜116的焦距flens处。如实例中所展示，光源102和透镜116定位于距对象130的距离L处。应了解，图1并非按比例说明且在一个实例中焦距flens基本上小于透镜116与对象130之间的距离L。因此，应了解，出于本公开的目的，距离L与距离L+焦距flens出于根据本发明的教示的飞行时间测量的目的基本上相等。如所说明，多个像素120及控制器126经表示为单独组件。然而，应了解，多个像素120及控制器126均可整合到同一经堆叠芯片传感器上且还可包含时/数转换器(或多个时/数转换器，其中四个或多于四个SPAD的每一像素与多个时/数转换器中的对应的时/数转换器相关联)。在其它实例中，多个像素120及控制器126可经整合到非堆叠式平坦传感器上。还应了解，每一像素(或甚至每一SPAD)可具有用于存储数字位或信号以用于对检测到的光子进行计数的对应的存储器。
飞行时间系统100可以是3D相机，其运用多个像素120基于飞行时间测量计算待成像的场景(例如，对象130)的图像深度信息。多个像素120中的每一像素确定用于对象130的对应部分的深度信息，使得可生成对象130的3D图像。通过测量光从光源102传播到对象130且返回到飞行时间系统100的往返时间来确定深度信息。如所说明，光源102(例如，垂直空腔表面发射激光器)经配置以历经距离L将光104发射到对象130。经发射光104接着作为反射光110从对象130反射，反射光中的一些朝向飞行时间系统100传播距离L且作为图像光入射到多个像素120上。多个像素120中的每一像素(例如，第一像素122)包含光电检测器(例如，一或多个单光子雪崩二极管)以检测图像光且将图像光转换成电信号(例如，图像电荷)。
如所描绘的实例中所展示，用于经发射光104的脉冲从光源102传播到对象130且返回到多个像素120的往返时间可用于使用以下等式(1)及(2)中的以下关系来确定距离L：
Figure BDA0002034262070000041
Figure BDA0002034262070000042
/>
其中c是光速，其大约等于3×108m/s，且TTOF对应于往返时间，其是光的脉冲往返于如图1中所展示的对象所花费的时间量。因此，一旦已知往返时间，那么可计算距离L且其随后用于确定对象130的深度信息。控制器126耦合到多个像素120(包含第一像素122)及光源102，且包含在被执行时引起飞行时间系统100执行用于确定往返时间的操作的逻辑。
如所展示，个别像素(例如，第一像素122)可包含耦合到猝熄电路(例如，电阻器R(Q))的SPAD，且模数电压转换器(在当前实例中表示为反相器)耦合在SPAD与猝熄电路之间。如图108中所展示，当接收到光子时，较大电压降(例如，V(OUT))出现在SPAD中，但接着电压经由猝熄电路返回到稳态电压。其它实施例可包含熟知主动猝熄电路及主动再充电电路以主动地驱动SPAD而非依赖于简单的电阻组件。数字波形响应于出现在二极管中的雪崩击穿而从模数转换器输出。
在一些实例中，飞行时间传感器100包含在手持型装置(例如，移动电话、平板计算机、相机等)中，所述手持型装置具有大小和至少部分地基于装置的大小而确定的功率约束。或者或另外，飞行时间系统100可具有具体的所要装置参数，例如帧率、深度分辨率、橫向分辨率等。在一些实例中，飞行时间传感器100包含在LiDAR系统中。
图2说明展示来自并非图1的传感器的实例飞行时间传感器的所有光子到达时间的总和的直方图200。如图2中所展示且如上文所描述，通过在大量帧上对N个SPAD的群组的所有输入进行求和，可获得光子到达的直方图200。所描绘的实例表示来自100个帧上的四个SPAD的数据。如所展示，返回光信号在对应于区间90的时间出现。背景光及/或DCR在随机时间引起触发，其从0到100个区间在完整积分周期内或多或少同等地分布。因此，如所说明，使用用于飞行时间距离测量的SPAD通常意指处理归因于背景光及DCR的许多数据，这是由于系统需要捕获大量帧以构建直方图200且将返回信号与背景光及DCR进行区分。此需要许多存储及处理功率。如下文所描述，根据本公开的教示的实例提供可与图1中的系统一起使用的架构，以便避免存储大量的数据作为直方图，并且还缩减计算飞行时间测量所需的处理功率。
图3展示根据本公开的教示的可实施于图1的飞行时间传感器中的逻辑300A和逻辑时序300B的一个实例。所描绘的逻辑300A和逻辑时序300B使得飞行时间数据的分区不必要且因此减少用于系统的所需存储及处理，因为不会生成直方图数据(如图2中所描绘的直方图数据)。通过使用光子到达时间相关性，所述系统能够抑制背景噪声和DCR数据的量。应了解，此处且其它地方展示的“逻辑”可以硬件、软件或两者的组合实施。
如逻辑图300A中所展示，每一SPAD(例如，SPAD 1到4)耦合到相应脉冲发生器301A到301D。如所展示，来自SPAD的每一雪崩事件由脉冲发生器301A到301D接收，且所述脉冲发生器输出具有具体宽度(TWIN)的脉冲。所述脉冲接着由两个NAND门303A及303B接收，且NAND门303A及303B的输出由NOR门305接收。因此，所述系统接着仅处理来自脉冲发生器的输出的重叠：有效地对所有输入进行AND门控(所属领域的技术人员将了解AND(A,B,C,D)＝NOR[NAND(A,B),NAND(C,D)])。因此，所有SPAD输出仅在来自脉冲发生器的脉冲在时间上重叠的情况下发出脉冲。通过这样做，所述系统仅接受在TWIN间隔内(且因此相关)的脉冲。所述系统还可接受限制较少的组合。可设想，4输入的逻辑图可具有用于重叠输入脉冲的数目的可变阈值。所属领域的普通技术人员将了解，逻辑图300A仅为一个实例逻辑图，且存在可达成相同或类似结果的许多等效电路。此外，所述图使用四个SPAD，且对于具有多于四个SPAD的架构，将需要验证额外组合，这需要额外逻辑。
时序图300B中描绘逻辑300A的操作，其中发射光脉冲(例如，来自IR激光器)，且经接收光脉冲入射到传感器上。在当前状况下，重叠脉冲的检测的阈值已经设定为二。因此，所述系统将仅在两个输入的任一组合在TWIN间隔内相关的情况下进行处理。如所展示，SPAD1(例如，归因于杂散光或DCR)随机地触发，与经接收光脉冲何时击中相机无关。SPAD 2归因于来自经接收光脉冲的光子而触发(从而产生“相关脉冲”中的一个)。SPAD 3还归因于来自经接收光脉冲的光子而触发。如同SPAD 1，SPAD 4随机地触发(例如，归因于杂散光或DCR)，但不在接收到光脉冲时。不管个别SPAD何时或为什么触发，其相应脉冲发生器(例如，脉冲发生器301A到301D)将输出电气脉冲。因为在所描绘的实例中，SPAD 2和3在间隔TWIN内(在时间上)紧密在一起触发，所以由其相应脉冲发生器发射的脉冲在一时间段内重叠。因此，“所有SPAD输出”(例如，NOR门305)发出时序信号(例如，AND(PULSE 2,PULSE 3))。由于其它脉冲(脉冲1及4)并不在同一时间窗内出现，因此不会因这些脉冲输出任何内容。因此，系统将仅在多个(或用户定义数目的)SPAD在短TWIN时间窗内击穿时(例如，当光脉冲由传感器系统接收时)输出时序信号。因此，不需要分区或过度处理，这是由于所述系统仅在接收到实际反射光脉冲时记录光脉冲。换句话说，仅针对已在间隔TWIN内触发/击穿的SPAD输出的数据将由时/数转换器(TDC)处理。
在所描绘的实例中，使用四个SPAD的丛集。这四个SPAD的丛集可形成单一像素以与单个TDC一起使用。然而，所属领域的技术人员将了解，根据本公开的教示，任何数目的SPAD可与单个TDC一起使用(例如，每一TDC六个SPAD，每一TDC八个SPAD等)。在一芯片中，将存在SPAD的许多丛集。举例来说，在一些飞行时间传感器中，可存在(320×240)个SPAD，且2×2个SPAD的丛集可形成像素。因此，所述系统具有160×120＝19200个像素。
图4描绘根据本公开的教示的可包含在图1的飞行时间传感器中的额外逻辑400。如所描绘，可存在任何数目的AND门403(参见例如图3)，所述AND门响应于SPAD击穿和通过多个脉冲发生器的后续脉冲生成而输出时序信号(“CORR_OUT”)。AND门403耦合到时/数转换器(TDC)409并且还耦合到第一D触发器405和第二D触发器407。第二D触发器407耦合到第一D触发器405以接收锁定信号。应了解，一旦读出有效的时序信号，那么所描绘的逻辑可锁定(例如，不输出任何更多的飞行时间测量)，即使额外时序信号从AND门403输出。这使得系统需要最小存储(因为每一TDC 409仅计算一次飞行时间测量)。一旦复位信号由第一D触发器405和第二D触发器407接收，那么可执行后续飞行时间测量。在一些实例中，逻辑400可在传感器中重复自身多次，且每一TDC 409具有24位或更少(例如，12位)的存储。
通过具有连续k个微型帧的方案，装置确保在所有微型帧之后的所有像素的有效返回信号。如前所述，一旦有效信号到达，那么TDC 409将锁定，且如果剩余的微型帧出现第二有效时序信号，那么将阻止TDC 409改写。应了解，所述系统可重复许多微型帧且在所有微型帧之后一次读出所有数据。每一微型帧将包含SPAD复位及光脉冲发射，且接着包含曝光。由于TDC 409被锁定，如前所述，因此不需要累积额外内部数据。所述系统还节约功率，这是由于TDC 409不执行用于其它冗余数据或背景光子的计算。
图5说明根据本公开的教示的图4中所描绘的逻辑的锁定功能性的实例时序图500。应了解，出于说明简单起见，已从此时序图中省去从脉冲发生器输出的脉冲。此外，此处所描绘的逻辑耦合到六个SPAD。时序图500展示三个实例周期：不输出时序信号的第一周期、输出时序信号的第二周期和输出时序信号但锁定逻辑的第三周期。
在所述第一周期中，所述系统发射光脉冲，但不接收有效的返回脉冲，这是由于在本实例中，所述逻辑需要从脉冲发生器输出的三个重叠脉冲以生成时序信号。此处，仅两个脉冲经接收在足够小的窗口内以生成时序信号。相反地，在所述第二周期中，接收引起三个光电二极管在短时间段内击穿的光脉冲。此导致生成时序信号(例如，“所有SPAD输出”)。由于输出时序信号，因此此引起锁定信号由逻辑输出。因此，在所述第三周期中，虽然所述系统输出有效的时序信号，但TDC的状态保持不变。因此，在第三周期中接收的时序信号将不会影响飞行时间计算，直到逻辑被复位且“解锁”为止。
图6说明根据本公开的教示的计算飞行时间的实例方法600。所属领域的技术人员将了解，方法600中的框601到609可按任何次序且甚至并行地发生。此外，根据本公开的教示，框可添加到方法600或从方法600去除。
框601展示从经构造以发射光的光源(例如，具有正确带隙或正确涂层的二极管)发射光。在一些实例中，光运用激光发射器来发射，所述光可为可见的(例如，红色、绿色或蓝色激光)或不可见的(例如，红外或紫外激光)。在其它实例中，可采用非激光二极管。在一些实例中，控制电路(例如，含有上文所描述的逻辑的具体处理器、通用处理器等等)耦合到光源以控制光源且以在操作期间预定义或确定的间隔发射光脉冲(例如，取决于环境光条件，从光源发射的光脉冲的类型和频率可改变)。
框603说明运用经构造以接收光的多个雪崩光电二极管接收从对象反射的光脉冲(例如，正确偏压应用于光电二极管，且半导体材料具有适当的带隙)。从对象反射的个别光子可引起多个SPAD击穿。此可引起二极管中的模拟电压降。接着可运用耦合到多个雪崩光电二极管的猝熄电路来猝熄所述电压降。在击穿之后，所述猝熄可使雪崩光电二极管的内部电压返回到高于击穿的过量偏压。
框605展示响应于运用多个雪崩光电二极管接收到光而从耦合到多个雪崩光电二极管中的个别雪崩光电二极管的个别脉冲发生器输出多个脉冲。输出脉冲的个别脉冲发生器耦合到接收光的个别雪崩光电二极管。个别脉冲发生器的一个实例可以是反相器，且当横跨雪崩光电二极管的电压降达到某一阈值时，反相器输出数字信号。数字信号的宽度可响应于模拟信号高于(或低于)反相器的阈值的时间量(参见例如图1)。在其它实例中，其它电路可用于生成具有预定固定脉冲宽度的脉冲。应了解，脉冲宽度可预编程到装置中或可根据使用调整(例如，由用户，自动取决于光条件等等)。
框607说明响应于输出多个脉冲而当多个脉冲在时间上重叠时从控制电路输出时序信号。举例来说，像素中的若干雪崩光电二极管可在大致同一时间接收光子(和击穿)，其相应个别脉冲发生器可输出脉冲，且所述脉冲在时间上重叠。因此，控制电路接着将在所述脉冲在时间上重叠的时间段期间输出时序信号(参见例如图3时序图300B“所有SPAD输出”)。因此，在一些实例中，时序信号具有等于或小于从脉冲发生器输出的数字信号的固定持续时间的持续时间。
在一些实例中，输出时序信号可包含运用耦合到多个脉冲发生器的AND门接收多个脉冲，且AND门输出时序信号。应了解，多个AND门可包含耦合到一或多个NOR门的多个NAND门，或其它等效/类似逻辑结构。
框609描述运用控制电路使用时序信号计算飞行时间。在一些实例中，时序信号表示触发大量SPAD的时间。此可与SPAD捕获从装置发射且从对象反射的光子的时间相关。通过计算光从光源发射与产生时序信号的时间之间的时间量，计算出飞行时间。此时间接着可用于使用上文所论述的等式确定距离。所述控制器可包含时序电路(例如，环形谐振器、电容器上的电荷或其它时序方法)以计算光发射与接收光子之间的时间。
在一些实例中，计算飞行时间包含使用时/数转换器(TDC)，所述时/数转换器包含在控制电路中且经耦合以接收时序信号。另外，第一D触发器和第二D触发器可安置于控制电路中，且第二D触发器耦合到第一D触发器以从第一D触发器接收锁定信号。所述逻辑可保持锁定(例如，不再针对一组SPAD计算飞行时间)，直到帧复位信号由第一D触发器和第二D触发器接收为止。在一些实例中，当存在锁定信号时且当装置使用主动猝熄时，可停用多个雪崩光电二极管。
对本发明的所说明实例的以上描述(包含摘要中所描述的内容)并不意图是穷尽性的或将本发明限制于所公开的精确形式。虽然本文中出于说明性目的描述了本发明的具体实例，但是在本发明的范围内，各种修改是可能的，如相关领域的技术人员将认识到。
可鉴于以上详细描述对本发明作出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中公开的具体实例。确切地说，本发明的范围应完全由所附权利要求书确定，应根据权利要求解释的已确立的原则来解释所附权利要求书。

Claims (19)

1.一种飞行时间TOF传感器，其包括：
光源，其经构造以发射光；
多个雪崩光电二极管，其经构造以接收所述光；
多个脉冲发生器，其中所述多个脉冲发生器中的个别脉冲发生器耦合到所述多个雪崩光电二极管中的个别雪崩光电二极管；及
控制电路，其耦合到所述光源、所述多个雪崩光电二极管和所述多个脉冲发生器，其中所述控制电路包含当由所述控制电路执行时引起所述飞行时间传感器执行操作的逻辑，所述操作包含：
从所述光源发射所述光；
运用所述多个雪崩光电二极管接收从对象反射的所述光；
响应于运用所述多个雪崩光电二极管接收到所述光，从对应于接收所述光的所述个别雪崩光电二极管的所述个别脉冲发生器输出多个脉冲；及
响应于输出所述多个脉冲，当所述多个脉冲在时间上重叠时输出时序信号。
2.根据权利要求1所述的TOF传感器，其中所述控制电路包含多个AND门以输出所述时序信号。
3.根据权利要求2所述的TOF传感器，其中所述多个AND门包含耦合到一或多个NOR门的多个NAND门。
4.根据权利要求1所述的TOF传感器，其中所述多个雪崩光电二极管输出模拟信号，且其中所述多个脉冲响应于接收到所述模拟信号而包含具有固定持续时间的数字信号。
5.根据权利要求4所述的TOF传感器，其中所述时序信号具有等于或小于从所述多个脉冲发生器输出的所述数字信号的所述固定持续时间的持续时间。
6.根据权利要求1所述的TOF传感器，其中所述控制电路进一步包含当由所述控制电路执行时引起所述飞行时间传感器执行操作的逻辑，所述操作包含：
运用所述控制电路使用所述时序信号计算飞行时间，且其中所述飞行时间是使用时/数转换器TDC计算的，所述时/数转换器经耦合以接收所述时序信号且包含在所述控制电路中。
7.根据权利要求1所述的TOF传感器，其中所述控制电路进一步包含第一D触发器和第二D触发器，其中所述第二D触发器耦合到所述第一D触发器以从所述第一D触发器接收锁定信号。
8.根据权利要求7所述的TOF传感器，其中所述第一D触发器和所述第二D触发器均经耦合以接收帧复位信号。
9.根据权利要求1所述的TOF传感器，其中所述TOF传感器不生成描绘从所述对象反射的所述光由所述多个雪崩光电二极管接收的时间的数据直方图。
10.一种计算飞行时间TOF的方法，其包括：
从光源发射光；
运用多个雪崩光电二极管接收从对象反射的所述光；
响应于运用所述多个雪崩光电二极管接收到所述光，从耦合到包含在所述多个雪崩光电二极管中的个别雪崩光电二极管的包含在多个脉冲发生器中的个别脉冲发生器输出多个脉冲，其中输出所述多个脉冲的所述个别脉冲发生器耦合到接收所述光的所述个别雪崩光电二极管；
响应于输出所述多个脉冲，当所述多个脉冲在时间上重叠时从控制电路输出时序信号；及
运用所述控制电路使用所述时序信号计算所述飞行时间。
11.根据权利要求10所述的方法，其中输出所述时序信号包含运用耦合到所述多个脉冲发生器的多个AND门接收所述多个脉冲，且其中所述多个AND门输出所述时序信号。
12.根据权利要求11所述的方法，其中所述多个AND门包含耦合到一或多个NOR门的多个NAND门。
13.根据权利要求10所述的方法，其中所述多个雪崩光电二极管输出模拟信号，且其中所述多个脉冲响应于接收到所述模拟信号而包含具有固定持续时间的数字信号。
14.根据权利要求13所述的方法，其中所述时序信号具有等于或小于从所述多个脉冲发生器输出的所述数字信号的所述固定持续时间的持续时间。
15.根据权利要求10所述的方法，其中计算所述飞行时间包含使用时/数转换器TDC，所述时/数转换器经耦合以接收所述时序信号且包含在所述控制电路中。
16.根据权利要求15所述的方法，其中计算所述飞行时间进一步包含使用安置于所述控制电路中的第一D触发器和第二D触发器，其中所述第二D触发器耦合到所述第一D触发器以从所述第一D触发器接收锁定信号。
17.根据权利要求16所述的方法，其中所述第一D触发器和所述第二D触发器均经耦合以接收帧复位信号。
18.根据权利要求16所述的方法，其进一步包括当存在所述锁定信号时停用所述多个雪崩光电二极管，其中所述多个光电二极管经耦合以主动地被猝熄。
19.根据权利要求10所述的方法，其中所述控制电路不生成描绘从所述对象反射的所述光由所述多个雪崩光电二极管中的所述个别雪崩光电二极管接收的时间的数据直方图。
CN201910319764.XA 2018-04-20 2019-04-19 相关飞行时间传感器 Active CN110389358B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/958,364 2018-04-20
US15/958,364 US11029397B2 (en) 2018-04-20 2018-04-20 Correlated time-of-flight sensor

Publications (2)

Publication Number Publication Date
CN110389358A CN110389358A (zh) 2019-10-29
CN110389358B true CN110389358B (zh) 2023-05-19

Family

ID=68237675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910319764.XA Active CN110389358B (zh) 2018-04-20 2019-04-19 相关飞行时间传感器

Country Status (3)

Country Link
US (1) US11029397B2 (zh)
CN (1) CN110389358B (zh)
TW (1) TWI745678B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017209643A1 (de) * 2017-06-08 2018-12-13 Robert Bosch Gmbh Betriebsverfahren und Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
US11221400B2 (en) * 2018-03-27 2022-01-11 Omnivision Technologies, Inc. Dual mode stacked photomultipliers suitable for use in long range time of flight applications
US11211766B2 (en) * 2018-12-20 2021-12-28 Zebra Technologies Corporation Systems for optical power control for laser safety of a time-of-flight illumination system
US11941857B2 (en) * 2020-05-26 2024-03-26 Hi Llc Systems and methods for data representation in an optical measurement system
CN111679290B (zh) * 2020-06-04 2023-05-05 上海禾赛科技有限公司 光子计数校正方法、激光雷达以及计算机可读介质
TWM621938U (zh) * 2020-12-04 2022-01-01 神盾股份有限公司 飛時測距裝置
CN112764048B (zh) * 2020-12-30 2022-03-18 深圳市灵明光子科技有限公司 基于飞行时间的寻址和测距方法及测距系统
CN112788247A (zh) * 2021-02-25 2021-05-11 传周半导体科技(上海)有限公司 一种基于激光雷达的手机摄像用自动聚焦系统
WO2023106129A1 (ja) * 2021-12-06 2023-06-15 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463565A (zh) * 2013-11-22 2017-02-22 幻影国际有限公司 激光雷达扫描仪校准
CN106932783A (zh) * 2017-04-21 2017-07-07 深圳市迈测科技股份有限公司 一种大量程高速高精度激光测距系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
JP4712365B2 (ja) 2004-08-13 2011-06-29 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置および半導体記憶装置
KR100638747B1 (ko) 2004-12-28 2006-10-30 주식회사 하이닉스반도체 반도체 기억 소자의 클럭 생성 장치 및 방법
US20080135723A1 (en) 2006-12-08 2008-06-12 Deutsches Zentrum Fur Luft-Und Raumfahrt E.V. Focal plane and method for adjusting a focal plane of this type
US8278819B2 (en) 2007-03-09 2012-10-02 Idemitsu Kosan Co., Ltd. Organic electroluminescence device and display
DE102010061382B4 (de) * 2010-12-21 2019-02-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
EP2495783A1 (en) 2011-03-01 2012-09-05 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Light-emitting device and method of manufacturing the same
GB2492848A (en) * 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
GB2508564A (en) * 2011-09-13 2014-06-04 Osi Optoelectronics Inc Improved laser rangefinder sensor
FR2980586A1 (fr) * 2011-09-22 2013-03-29 St Microelectronics Grenoble 2 Dispositif et procede de determination de la distance a un objet
FR2984522B1 (fr) 2011-12-20 2014-02-14 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
CN103998949B (zh) 2012-01-10 2016-08-24 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进
US8642938B2 (en) 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
GB2510891A (en) * 2013-02-18 2014-08-20 St Microelectronics Res & Dev Apparatus
US9874629B2 (en) * 2013-12-23 2018-01-23 Oulun Yliopisto Distance measurement device, receiver thereof and method of distance measurement
US9791568B2 (en) * 2014-12-31 2017-10-17 Stmicroelectronics, Inc. Device for determining the distance to an outer surface of a roll of material and related method
CN107407728B (zh) * 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
US10067224B2 (en) * 2015-10-22 2018-09-04 Stmicroelectronics (Research & Development) Limited Time to digital converter (TDC) with synchronous output and related methods
FR3043796A1 (zh) * 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
EP3185039B1 (en) * 2015-12-23 2021-09-08 STMicroelectronics (Research & Development) Limited Apparatus and method for range detection and communication
EP3185038B1 (de) * 2015-12-23 2018-02-14 Sick Ag Optoelektronischer sensor und verfahren zur messung einer entfernung
EP3258228B1 (de) * 2016-06-17 2018-05-09 Sick Ag Lichtempfänger mit lawinenphotodioden im geiger-modus und verfahren zum auslesen
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
US10291895B2 (en) * 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
US10132921B2 (en) 2016-11-02 2018-11-20 Stmicroelectronics (Research & Development) Ltd Light communications receiver and decoder with time to digital converters
US10034111B1 (en) * 2017-05-11 2018-07-24 Stmicroelectronics, Inc. TOF based gain control
US11221400B2 (en) * 2018-03-27 2022-01-11 Omnivision Technologies, Inc. Dual mode stacked photomultipliers suitable for use in long range time of flight applications
US10497738B2 (en) * 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463565A (zh) * 2013-11-22 2017-02-22 幻影国际有限公司 激光雷达扫描仪校准
CN106932783A (zh) * 2017-04-21 2017-07-07 深圳市迈测科技股份有限公司 一种大量程高速高精度激光测距系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Toshitaka Kimura等."Temporal Development of Anticipatory Reflex Modulation to Dynamical Interactions During Arm Movement".《journal of neurophysiol》.2009,2220-2231. *
罗韩君等."光子雷达探测性能与测距精度的理论研究".《激光技术》.2014,第38卷(第3期),411-416. *

Also Published As

Publication number Publication date
TW201946404A (zh) 2019-12-01
US20190324126A1 (en) 2019-10-24
CN110389358A (zh) 2019-10-29
TWI745678B (zh) 2021-11-11
US11029397B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN110389358B (zh) 相关飞行时间传感器
CN110389333B (zh) 第一光子相关飞行时间传感器
US10681295B2 (en) Time of flight camera with photon correlation successive approximation
CN108061603B (zh) 飞行时间光传感器
US20230176223A1 (en) Processing system for lidar measurements
Niclass et al. A 100-m Range 10-Frame/s 340$\,\times\, $96-Pixel Time-of-Flight Depth Sensor in 0.18-$\mu\hbox {m} $ CMOS
US9210350B2 (en) Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US11506765B2 (en) Hybrid center of mass method (CMM) pixel
US11221400B2 (en) Dual mode stacked photomultipliers suitable for use in long range time of flight applications
US11474215B2 (en) Neuromorphic single photon avalanche detector (SPAD) array microchip
Entwistle et al. Geiger-mode APD camera system for single-photon 3D LADAR imaging
Zhang et al. A 240× 160 3D-stacked SPAD dToF image sensor with rolling shutter and in-pixel histogram for mobile devices
KR20210080584A (ko) 디지털 픽셀
Ruokamo et al. An $80\times25 $ Pixel CMOS Single-Photon Sensor With Flexible On-Chip Time Gating of 40 Subarrays for Solid-State 3-D Range Imaging
US11626446B2 (en) Pixel circuit and method of operating the same in an always-on mode
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
Chen et al. 2D and 3D integrated image sensor with a bus-sharing mechanism
Ruokamo Time-gating technique for a single-photon detection-based solid-state time-of-flight 3D range imager

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant