CN114829970A - 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 - Google Patents

飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 Download PDF

Info

Publication number
CN114829970A
CN114829970A CN202080087450.2A CN202080087450A CN114829970A CN 114829970 A CN114829970 A CN 114829970A CN 202080087450 A CN202080087450 A CN 202080087450A CN 114829970 A CN114829970 A CN 114829970A
Authority
CN
China
Prior art keywords
time
detection
events
flight
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080087450.2A
Other languages
English (en)
Inventor
曼努埃尔·阿马亚·贝尼特斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114829970A publication Critical patent/CN114829970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开总体上涉及一种飞行时间成像电路，该飞行时间成像电路被配置为：控制一成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：在该组读出通道的第一读出通道中对该组事件的第一检测；以及在第二读出通道中的第二检测，其中，第二检测在第一检测开始之后的预定时间开始，以检测事件子集。

Description

飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
技术领域
本公开总体上涉及一种飞行时间成像电路、飞行时间成像系统和飞行时间成像方法。
背景技术
通常，飞行时间系统是公知的。例如，在直接飞行时间(dToF)的情况下，(直接)测量光的往返延迟，即光从发射到检测所需的时间。
通常，在这种系统中，提供被配置为发射光脉冲的脉冲光源，并且测量该光脉冲的往返延迟。在测量之后，可以发射后续光脉冲，以用于后续测量。因此，可以发射统计上相当多的光脉冲，并且可以显著地确定距离。
尽管存在现有的飞行时间系统，但是通常希望提供一种飞行时间成像电路、飞行时间成像系统和飞行时间成像方法。
发明内容
根据第一方面，本公开提供了一种飞行时间成像电路，该飞行时间成像电路被配置为：控制成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：在该组读出通道的第一读出通道中对一组事件的第一检测；以及在第二读出通道中的第二检测，其中，该第二检测在第一检测开始之后的预定时间开始，以检测事件子集。
根据第二方面，本公开提供了一种飞行时间成像系统，包括：光源；控制电路，被配置为控制光源发射一组光脉冲；以及飞行时间成像电路，被配置为：控制成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：在一组读出通道的第一读出通道中对该组事件的第一检测；以及在第二读出通道中的第二检测，其中，第二检测在第一检测之后的预定时间开始，以检测事件子集。
根据第三方面，本公开提供了一种飞行时间成像方法，包括：控制成像元件的一组读出通道，以用于一组事件，该组事件获得表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：在一组读出通道的第一读出通道中对该组事件的第一检测；以及在第二读出通道中的第二检测，其中，第二检测在第一检测之后的预定时间开始，以检测事件子集。
在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
参考附图通过示例的方式解释实施例，其中：
图1描绘了根据本公开的飞行时间成像方法；
图2描绘了用图1的飞行时间成像方法生成的累积直方图；
图3描述了本领域公知的飞行时间成像方法；
图4以框图形式描绘了根据本公开的飞行时间成像方法的另一实施例；
图5以框图形式描绘了根据本公开的飞行时间成像系统；
图6示出了根据本公开的飞行时间成像系统的另一实施例；
图7以框图形式描绘了根据本公开的飞行时间成像系统；以及
图8以框图形式描述了公知本领域公知的飞行时间成像系统。
具体实施方式
在给出参考图1的实施例的详细描述之前，进行一般解释。
如上所述，直接飞行时间(dToF)系统是众所周知的。在可以被配置为相机的这种系统中，可以通过测量光的飞行时间来获得深度图，该光从相机发射到场景并在场景处反射，随后被检测到。
然而，已经认识到，在现有系统中，噪声可能太高，使得指示深度的峰值可能无法与结果信号中的噪声区分开。
这种噪声例如可以是基于活动光、环境光、系统噪声等的。
因此，在一些情况下，可以希望增加峰的高度或提高信噪比。
通常，可以设想包括多个子像素的宏像素(或超像素)阵列，每个子像素可以被配置为执行这样的测量。此外，光子计数单元可以被称为子像素。
然而，已经认识到，通过调整宏像素或每个子像素的读出，可以提高飞行时间测量的速度。
另一方面，通过增加速度，可以减少运动模糊。
例如，当ToF系统在两个帧的采集之间(即，在两次测量之间)移动时和/或当物体或场景移动时，可以产生运动模糊。
例如，当ToF系统集成在移动电话、手持相机等中时，可能是这种情况，使得该系统不是稳定的系统，并且无意的抖动可能是移动的基础。
此外，例如，在旋转和/或扫描LiDAR系统的情况下(例如，在汽车区域中)，可能存在有意的移动，这可以用于增加LiDAR系统的视场。
因此，在一些情况下，可以希望减少两帧之间的时间，从而可以减少运动模糊。
此外，在一些情况下，可以希望减少运动模糊的影响。在现有系统中，每个宏像素的直方图通常在累积的直方图中混合。然而，这可能导致所得深度信息的恶化，因为每个宏像素的深度信息可能不同于另一个宏像素，因为例如场景的不同视场可能由每个宏像素成像。
此外，合并不同宏像素的直方图通常是时间低效的，并且用于补偿运动模糊的后处理可能需要大量的处理/计算能力(因此也需要大量的能量)，因为对于这种后处理，运动传感器的信息可以用于确定不同宏像素在不同时刻的相应位置。
因此，已经认识到，在一些情况下，可以希望在飞行时间成像系统中提供有效的运动鲁棒性。
还已经认识到，在一些情况下，可以希望优化深度图采集。
此外，已经认识到，在一些情况下，可以希望不增加飞行时间成像系统的成本，可能由于提供额外的硬件而增加该成本。
因此，一些实施例涉及飞行时间成像电路，该飞行时间成像电路被配置为：控制成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：在一组读出通道的第一读出通道中对一组事件的第一检测；以及在第二读出通道中的第二检测，其中，第二检测在第一检测开始之后的预定时间开始，以用于检测事件子集。
飞行时间成像电路可以是被配置为处理飞行时间信号的任何电路，例如，中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等，其中，多个命名的元件也可以耦接，以形成根据本公开的飞行时间成像电路。
该组(即至少两个)读出通道可以由时间数字转换器(TDC)配置，每个TDC可以耦接到成像元件的栅极(或多个栅极)，其中，本公开不限于TDC的情况，因为可以设想用于读出飞行时间信号的任何电路。
该组读出通道可以提供给成像元件，即(松散地)耦接到成像元件，使得该组读出通道不包括在成像元件中，而在其他实施例中，该组读出通道可以包括在成像元件中。在一些实施例中，读出通道的子集可以包括在成像元件中，其中，另一个子集可以不包括在成像元件中。
成像元件可以基于公知的成像技术，例如，互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)，并且可以包括至少一个单光子雪崩二极管(SPAD)，使得可以进行事件的检测，这将在下面进一步讨论。
成像元件可以由至少一个像素配置。例如，在一个像素的情况下，该组读出通道可以被提供给该一个像素，而在多个像素(也被称为宏像素)的情况下，宏像素的每个像素可以具有一读出通道。然而，在一些实施例中，宏像素的像素子集可以具有多个读出通道，而另一个子集可以具有一个读出通道。
对该组读出通道的控制可以包括读出的定时，使得可以在该组读出通道中以时移的方式读出响应于该组光脉冲而提供的成像信号。
例如，该组光脉冲可以包括两个光脉冲，这两个光脉冲一个接一个地发射(并因此被捕捉)。在这样的示例中，可以提供两个读出通道，其中，第一读出通道的读出可以被定时，使得在第一检测中检测到两个光脉冲(或者表示光脉冲的事件)。第二读出通道的读出(即第二检测)可以被定时(或相对于第一检测延迟)，使得检测到第二光脉冲。
可以响应于在成像元件中捕捉到光脉冲(例如，光脉冲的一个或多个光子)而产生事件。例如，可以响应于在成像元件中捕捉的光而触发光电转换过程，使得该事件可以基于这种光电转换。众所周知，在成像元件包括SPAD的实施例中，事件可以基于响应于捕捉的光而产生的光子雪崩。
在现有技术中，基于第一光脉冲的检测事件被输入到箱存储器中，该箱存储器通常由第一直方图表示。箱存储器通常可以在事件检测之后重置，使得第二光脉冲可以触发可以在重置之后被输入到箱存储器中的事件(或多个事件)，从而生成第二直方图。
第一直方图和第二直方图通常在检测完成后合并，从而可以创建累积的直方图。
然而，由于根据本公开可以多次检测到相同的事件，并且由于在第一检测中检测到由不同事件表示的多个光脉冲，所以每个检测到的事件(不管是在第一检测还是第二检测中检测到的事件)都可以被输入到相同的直方图中，或者换言之，可以同时更新箱存储器的对应箱。
例如，每个读出通道可以具有或耦接到一个时钟(或多个时钟)，从而为每个读出通道提供内部时间。然后，第一读出通道可以检测在第一内部时间表示第一光脉冲的第一事件和在第二内部时间表示第二光脉冲的第二事件。此外，第二读出通道可以在第一内部时间检测表示第二光脉冲的第一事件。
第二检测可以在第一检测开始之后的预定时间开始，其中，该预定时间可以与第一光脉冲与第二光脉冲之间的延迟相对应。在第二检测开始之前，第二读出通道可能是“死的”，这意味着可能不会识别任何事件，直到第二检测(时间间隔)开始。
因此，第二读出通道的第一内部时间可以与第一读出通道的第一内部时间相对应。
由此，可以基于第一检测和第二检测来更新箱存储器的相同箱，其中，另外，可以基于第一检测来更新另一个箱。
应当注意，本公开不限于第一通道和第二读出通道，因为可以设想任何数量的读出通道和光脉冲，其数量不必对应。
出于解释的目的，图1描绘了在第一检测至第四检测中检测到四个光脉冲的情况下的飞行时间成像方法1，在这方面不限制本公开。
在图1中，示出了四个直方图2，直方图2的纵坐标3是事件的数量，直方图2的横坐标4上是时间。
在多个时刻实例tn描绘了事件5，其中，n是大于零的数，在这方面不限制本公开。
应当注意，出于解释的目的，未描绘由系统噪声和/或环境光引起的事件。
此外，根据主时钟信号6来对第一检测至第四检测的相应开始进行定时，从而定义检测之间的预定时间间隔，这些时间间隔与光脉冲之间的预定时间间隔相对应。每次检测都在时刻实例tmax停止。
在第一(上部)直方图中，在时刻实例t4、t6、t9和t13示出了事件5的第一检测，其中，这些时刻基于第一读出通道的内部时钟。
应当注意，出于解释的目的，直方图的箱被描绘为具有大致相同的大小。
然而，在这方面不限制本公开，并且根据应用，本领域技术人员可以调整箱大小。例如，箱大小可以基于光源的延迟等。
返回图1，第一直方图中的事件表示随后检测到的四个光脉冲。
在第二直方图中，检测到表示第二光脉冲至第四光脉冲的三个事件。这意味着第二光脉冲由内部时刻实例t4的事件表示，第三光脉冲内部时刻实例t7的事件表示，第四光脉冲由内部时刻实例t11的事件表示。
第二读出通道的内部时刻实例t4的事件与第一读出通道的内部时刻实例t6的事件相对应，即这两个事件都表示第二光脉冲。
因此，不在第二读出通道中检测表示第一光脉冲的事件。
在第三直方图中，没有表示第一光脉冲和第二光脉冲，在第四直方图中，仅表示最后一个光脉冲。
在该实施例中，更一般地，光脉冲之间的时间距离与时间偏移或延迟相对应，即读出通道的检测开始之间的预定时间。例如，第一光脉冲与第二光脉冲之间的时间间隔与第一读出通道的第一检测开始和第二读出通道的第二检测开始之间的时间间隔(“第二”检测与第二读出通道的检测开始相对应)相对应，第二光脉冲与第三光脉冲之间的时间间隔与第二读出通道的第二检测开始和第三读出通道的第三检测开始之间的时间间隔相对应，诸如此类。
如上所述，仅出于解释目的来描绘这些直方图，并且根据本公开，可以仅生成一个直方图，其中，累积所有事件5，或者换言之：可以为每个读出通道同时更新一个箱存储器。
在这样的箱存储器中，可以根据相应读出通道的内部时刻来累积事件，如图2所示。
图2描绘了累积直方图10，其中，根据每个读出通道的内部时间来累积所有事件。
从该直方图10可以得出结论，发射的光需要时间t4来传播到物体，反射光，然后，检测光。因此，可以根据d＝c*t4/2来确定到物体的距离(或深度)d，其中，c是光速。
应当注意，根据该实施例，信号的噪声增加，但是与t4处的峰值相比，噪声足够小，从而可以确定深度，而不会由于噪声引起误差。
然而，如关于图1和图2所讨论的那样执行深度测量，与公知方法相比，测量速度可以提高。例如，在该实施例中，测量时间可以持续tmax+Σtn＝tmax+(2+3+4)*tn＝tmax+9*tn。
与此相比，如本领域中公知的，如果检测到四个光脉冲，则飞行时间测量可以持续4*tmax，这将参考图3进行讨论。
图3描述了本领域公知的飞行时间成像方法30。仅出于说明的目的，描述了三个(较短的)直方图31。然而，可以在与图1的直方图相似的时间量内生成每个直方图，即，仅更短地描绘轴，但是tmax可以具有相同的值。
每次到达tmax之后，重置箱存储器。
每个直方图31包括表示光脉冲的事件。例如，基于持续时间tmax的第一测量生成第一(上部)直方图。这同样适用于第二测量和第三测量(以及未示出的第四测量)，使得总测量时间为3tmax(或者4tmax，用于四次测量)。基于这样的测量，通常生成累积的直方图32，该直方图32也在t4处具有峰值，例如，根据本公开的累积的直方图10的峰值。然而，用于获得这种直方图的时间通常比根据本公开的飞行时间成像方法长，因为对于每次测量，需要整个测量间隔时间tmax。
在一些实施例中，飞行时间成像电路进一步被配置为在第二检测中检测事件子集。
第二检测可以包括多个检测，如本文例如关于图1所讨论的，使得随后可以有在第二检测时，第三检测、第四检测。
然而，根据本公开，这些第二检测中的至少一个可以在第一检测开始之后的预定时间之后开始，并且检测在第一检测中已经检测到的事件子集。
每次检测之间的预定时间可以不同，或者换言之：可以使用相对于前一次检测的非均匀延迟。由此，可以减少产生的背景噪声，因此对于确定距离可以忽略。
根据应用，可以调整相应的延迟。例如，可以根据生成的背景噪声来定义或产生模式，从而可以过滤噪声等。
在一些实施例中，飞行时间成像电路进一步被配置为在同一直方图中累积第一检测的一组事件和第二检测的事件子集，如本文所讨论的。通常，直方图可以仅指事件的表示，使得根据本公开，可以针对不同的读出通道(部分地)同时更新箱存储器，如本文所讨论的。
因此，在一些实施例中，飞行时间成像电路进一步被配置为为第一检测和第二检测同时更新多个存储箱，以用于累积第一检测的一组事件和第二检测的事件子集，如本文所述。
在一些实施例中，如本文所述，这组光脉冲的第一光脉冲与第二光脉冲之间的照明时间间隔与预定时间相对应。
在一些实施例中，如本文所述，成像元件包括一组成像子元件。
例如，宏像素可以与成像元件相对应，并且宏像素的一组(即至少两个)单个像素(或SPAD)可以与成像子元件相对应。然而，在这方面不限制本公开，因为多个读出通道也可以被提供给单个像素。
在一些实施例中，一组成像子元件的数量与一组读出通道的数量相对应。
例如，每个成像子元件可以只具有一个读出通道。由此，可以减少噪声，因为可以不将指示事件的信号分发给多个通道。
一些实施例涉及飞行时间成像系统，具有：光源；控制电路，被配置为控制光源发射一组光脉冲；以及飞行时间成像电路，被配置为：控制一成像元件的一组读出通道，以用于获得表示在成像元件中捕捉到的一组光脉冲的一组事件，其中，该控制包括：在该组读出通道的第一读出通道中对该组事件的第一检测；以及在第二读出通道中的第二检测，其中，该第二检测在第一检测之后的预定时间开始，以用于检测事件子集，如本文所讨论的。
光源可以是调制光源、脉冲光源、点光源等，并且可以由至少一个激光器配置，例如，激光二极管、垂直腔面发射激光器(VCSEL)等，在这方面不限制本公开。
在一些实施例中，控制电路可以与飞行时间成像电路相对应，因为可以由相同的处理器(或一组处理器)等提供，而在其他实施例中，控制电路可以是不同的电路。
该组光脉冲的发射可以基于定时、预定时间间隔、发射模式等，并且可以对应于、基于第一检测与第二检测之间的预定时间或形成该预定时间的基础，如本文所述。
在一些实施例中，飞行时间成像系统进一步被配置为在第二检测中检测事件子集，如本文所讨论的。在一些实施例中，飞行时间成像电路进一步被配置为：在相同的直方图中累积第一检测的该组事件和第二检测的事件子集，如本文所讨论的。
在一些实施例中，飞行时间成像系统还具有箱存储器，并且进一步被配置为为第一检测和第二检测同时更新存储器的多个存储箱，以用于累积第一检测的该组事件和第二检测的事件子集，如本文所述。
在一些实施例中，如本文所述，这组光脉冲的第一光脉冲与第二光脉冲之间的照明时间间隔与预定时间相对应。在一些实施例中，成像元件包括一组成像子元件，如本文所述。在一些实施例中，如本文所述，一组成像子元件与该组读出通道相对应。
一些实施例涉及一种飞行时间成像方法，包括：控制成像元件的一组读出通道，以用于获得表示在成像元件中捕捉到的一组光脉冲的一组事件，其中，该控制包括：在该组读出通道的第一读出通道中对该组事件的第一检测；以及在第二读出通道中的第二检测，其中，该第二检测在第一检测之后的预定时间开始，以用于检测事件子集，如本文所讨论。
可以利用根据本公开的飞行时间成像电路和/或飞行时间成像系统来执行飞行时间成像方法。
在一些实施例中，飞行时间成像方法还包括在第二检测中检测事件子集，如本文所述。在一些实施例中，飞行时间成像方法还包括在同一直方图中累积第一检测的一组事件和第二检测的事件子集，如本文所述。在一些实施例中，飞行时间成像方法还包括为第一检测和第二检测同时更新多个存储箱，以用于累积第一检测的该组事件和第二检测的事件子集，如本文所述。在一些实施例中，一组光脉冲的第一光脉冲与第二光脉冲之间的照明时间间隔与预定时间相对应，如本文所述。在一些实施例中，成像元件包括一组成像子元件，如本文所述。在一些实施例中，该组成像子元件与一组读出通道相对应，如本文所述。
本文描述的方法在一些实施例中还被实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使得计算机和/或处理器执行该方法。在一些实施例中，还提供了在存储计算机程序产品的非暂时性计算机可读记录介质，该计算机程序产品在由处理器(例如，上述处理器)执行时，使得执行本文描述的方法。
图4以框图形式描绘了根据本公开的飞行时间成像方法40。
在41处，针对成像元件控制一组读出通道，以用于获得表示在成像元件中捕捉到一组光脉冲的一组事件，其中，该控制包括：在42处，在该组读出通道的第一读出通道中对该组事件的第一检测；以及在43处，在第二读出通道中的第二检测，其中，第二检测在第一检测之后的预定时间开始，以用于检测事件子集，其中，在43处，检测事件子集，如本文所述。
在44处，针对第一检测和第二检测同时更新多个存储箱，以累积第一检测的该组事件和第二检测的事件子集，如本文所述。
在45处，第一检测的该组事件和第二检测的事件子集累积在相同的直方图中，如本文所述。
图5以框图形式描绘了根据本公开的飞行时间成像系统50，该系统50可以被配置为实现和/或执行根据本公开的飞行时间成像方法，例如，参考图4描述的飞行时间成像方法40。
飞行时间成像系统50适于作为具有光源51的飞行时间相机，该光源51包括被配置为发射调制光的多个VCSEL。
此外，提供控制电路52，该控制电路52被配置为控制光源51，以根据预定的光脉冲发射模式发射多个光脉冲。
此外，飞行时间成像系统50包括透镜堆53，该透镜堆53被配置为将光聚焦到包括多个像素55的飞行时间图像传感器54上。像素55包括SPAD，并且每个像素55被配置为执行电转换，从而可以检测事件。
飞行时间成像系统50还包括根据本公开的飞行时间成像电路56，该飞行时间成像电路56在该实施例中适于作为CPU，并且被配置为执行根据本公开的飞行时间成像方法，例如，参考图4描述的飞行时间成像方法40，而不在这方面限制本公开。
因此，飞行时间成像电路被配置为控制多个读出通道，每个像素包括一个读出通道，使得箱存储器57的多个箱同时更新，如本文所讨论的。
在图6中，在高层次上，示出了飞行时间成像系统60的实施例，该系统在此体现为dToF相机并且可以用于深度感测或提供距离测量，并且具有飞行时间成像电路67，该飞行时间成像电路67被配置为执行本文讨论的方法，并且形成对ToF设备60的控制(并且包括未示出的对应的处理器、存储器和存储装置，如本领域技术人员通常所知的)。
ToF设备60具有脉冲光源61，并且包括发光元件(基于激光二极管)，其中，在本实施例中，发光元件是窄带激光元件。
光源61向场景62(关注区域或对象)发射脉冲光，场景反射该光。通过重复向场景62发射光，可以扫描场景62，这对于本领域技术人员来说是公知的。反射光被光学堆63聚焦到光检测器64。
飞行时间成像电路67也形成对光源的控制，使得也包括控制电路，如本文所讨论的。
光检测器64具有图像传感器65和微透镜阵列66，基于形成在像素(成像元件)阵列中的多个单光子雪崩二极管(SPAD)来实现该图像传感器，微透镜阵列将从场景62反射的光聚焦到图像传感器65(到图像传感器65的每个像素)。
当检测到从场景62反射的光时，光发射时间信息从光源61馈送到包括飞行时间测量单元68的飞行时间成像电路67，该飞行时间测量单元68还从图像传感器65接收相应的时间信息。基于从光源61接收的发射时间信息和从图像传感器65接收的到达时间信息，飞行时间测量单元68计算从光源61发射并被场景62反射的光的往返时间，并且在此基础上，基于事件的检测计算图像传感器65与场景62之间的距离d(深度信息)，如本文所讨论的。
深度信息从飞行时间测量单元68馈送到飞行时间成像电路67的3D图像重建单元69，该3D图像重建单元69基于从飞行时间测量单元68接收的深度信息重建(生成)场景62的3D图像。
图7以框图形式描绘了根据本公开的飞行时间成像系统70的另一实施例，在一些实施例中，也在图5和图6的系统中实现该飞行时间成像系统。
飞行时间成像系统70包括宏像素71、四个读出通道72、飞行时间成像电路73和包括多个箱bi的箱存储器74，其中，i位于1和n之间。
宏像素71针对每个时刻输出多个事件，并且由四个SPAD配置，其中，针对每个SPAD分配相应的读出通道72。
左边(第一)读出通道由飞行时间成像电路73控制，以在时刻实例t输出多个事件。第二读出通道(从左边起)具有延迟d1，第三读出通道(从左边起)具有延迟d2，并且右边读出通道具有延迟d3，其中，延迟是不均匀的，如本文所讨论的，并且其中，延迟基于主时钟(未示出)，如上面所讨论的，并且对应于预定时间以及要检测的光脉冲之间的时间间隔。
飞行时间成像电路73被配置为根据任何读出通道的检测事件同时更新箱存储器74的箱，从而生成累积直方图，如参考图1和图2已经讨论的，其中，得到的直方图可以示例性地与图2的直方图相对应。
与此相反，在图8的框图中描绘了本领域中公知的飞行时间成像系统80。
宏像素81包括一个SPAD，其与读出通道82相关联。飞行时间成像电路83被配置为从读出电路读取宏像素81的单次测量的事件，并更新箱存储器84，以生成直方图。
此后，基于主时钟(未示出)重置箱存储器84，并且执行新的测量(或多次新的测量)，随后，合并所生成的直方图。
应当认识到，实施例描述了具有方法步骤的示例性排序的方法。然而，方法步骤的特定顺序仅仅是出于说明的目的而给出的，并且不应该被解释为具有约束力。例如，图4的实施例中的42和43的顺序可以互换。方法步骤的顺序的其他变化对技术人员来说是显而易见的。
请注意，将飞行时间成像电路67划分为单元68至69仅仅是出于说明的目的，并且本公开不限于特定单元中的任何特定功能划分。例如，飞行时间成像电路67可以由相应的编程处理器、现场可编程门阵列(FPGA)等来实现。
该方法也可以被实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使得计算机和/或处理器执行该方法。在一些实施例中，还提供了在存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器(例如，上述处理器)执行时，该计算机程序产品使得执行所描述的方法。
如果没有另外说明，在本说明书中描述的和在所附权利要求中要求保护的所有单元和实体可以被实现为集成电路逻辑，例如，在芯片上，并且如果没有另外说明，由这样的单元和实体提供的功能可以由软件实现。
就至少部分使用软件控制的数据处理设备来实现上述公开的实施例而言，将会理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储或其他介质被设想为本公开的各方面。
注意，本技术也可以如下所述进行配置。
(1)一种飞行时间成像电路，被配置为：
控制一成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：
在所述一组读出通道的第一读出通道中对所述一组事件的第一检测；以及
在第二读出通道中的第二检测，其中，所述第二检测在第一检测开始之后的预定时间开始，以用于检测事件子集。
(2)根据(1)所述的飞行时间成像电路，进一步被配置为：
在所述第二检测中检测所述事件子集。
(3)根据(1)和(2)中任一项所述的飞行时间成像电路，进一步被配置为：
将所述第一检测的所述一组事件和所述第二检测的所述事件子集累积在同一直方图中。
(4)根据(3)所述的飞行时间成像电路，进一步被配置为：
针对所述第一检测和第二检测同时更新多个存储箱，以累积所述第一检测的所述一组事件和所述第二检测的所述事件子集。
(5)根据(1)至(4)中任一项所述的飞行时间成像电路，其中，所述一组光脉冲的第一光脉冲与第二光脉冲之间的照明时间间隔与所述预定时间相对应。
(6)根据(1)至(5)中任一项所述的飞行时间成像电路，其中，所述成像元件包括一组成像子元件。
(7)根据(6)所述的飞行时间成像电路，其中，所述一组成像子元件的数量与所述一组读出通道的数量相对应。
(8)一种飞行时间成像系统，包括：
光源；
控制电路，被配置为控制所述光源发射一组光脉冲；以及
飞行时间成像电路，被配置为：
控制一成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：
在所述一组读出通道的第一读出通道中对所述一组事件的第一检测；以及
在第二读出通道中的第二检测，其中，所述第二检测在第一检测开始之后的预定时间开始，以检测事件子集。
(9)根据(8)所述的飞行时间成像系统，进一步被配置为：
在所述第二检测中检测所述事件子集。
(10)根据(8)和(9)中任一项所述的飞行时间成像系统，进一步被配置为：
将所述第一检测的所述一组事件和所述第二检测的所述事件子集累积在同一直方图中。
(11)根据(10)所述的飞行时间成像系统，还包括箱存储器，并且进一步被配置为：
针对所述第一检测和第二检测同时更新所述箱存储器的多个存储箱，以累积所述第一检测的所述一组事件和所述第二检测的所述事件子集。
(12)根据(8)至(11)中任一项所述的飞行时间成像系统，其中，所述一组光脉冲的第一光脉冲与第二光脉冲之间的照明时间间隔与所述预定时间相对应。
(13)根据(8)至(12)中任一项所述的飞行时间成像系统，其中，所述成像元件包括一组成像子元件。
(14)根据(13)所述的飞行时间成像系统，其中，所述一组成像子元件与所述一组读出通道相对应。
(15)一种飞行时间成像方法，包括：
控制一成像元件的一组读出通道，以用于获得一组事件，该组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：
在所述一组读出通道的第一读出通道中对所述一组事件的第一检测；以及
在第二读出通道中的第二检测，其中，所述第二检测在第一检测开始之后的预定时间开始，以检测事件子集。
(16)根据权利要求(15)所述的飞行时间成像方法，进一步被配置为：
在所述第二检测中检测所述事件子集。
(17)根据权利要求(15)和(16)中任一项所述的飞行时间成像方法，进一步被配置为：
将所述第一检测的所述一组事件和所述第二检测的所述事件子集累积在同一直方图中。
(18)根据(17)所述的飞行时间成像方法，进一步被配置为：
为所述第一检测和第二检测同时更新多个存储箱，以累积所述第一检测的所述一组事件和所述第二检测的所述事件子集。
(19)根据(15)至(18)中任一项所述的飞行时间成像方法，其中，所述一组光脉冲的第一光脉冲与第二光脉冲之间的照明时间间隔与所述预定时间相对应。
(20)根据(15)至(19)中任一项所述的飞行时间成像方法，其中，所述成像元件包括一组成像子元件，其中，所述一组成像子元件与该组读出通道相对应。
(21)一种计算机程序，包括当在计算机上执行时使计算机执行根据(11)至(20)中任一项所述的方法的程序代码。
(22)一种非暂时性计算机可读记录介质，存储有计算机程序产品，在由处理器执行时，该计算机程序产品使得执行根据(11)至(20)中任一项所述的方法。

Claims (20)

1.一种飞行时间成像电路，被配置为：
控制一成像元件的一组读出通道，以用于获得一组事件，所述一组事件表示在所述成像元件中捕捉到一组光脉冲，其中，该控制包括：
在所述一组读出通道的第一读出通道中对所述一组事件的第一检测；以及
在第二读出通道中的第二检测，其中，所述第二检测在所述第一检测开始之后的预定时间开始，以检测事件子集。
2.根据权利要求1所述的飞行时间成像电路，进一步被配置为：
在所述第二检测中检测所述事件子集。
3.根据权利要求2所述的飞行时间成像电路，进一步被配置为：
将所述第一检测的所述一组事件和所述第二检测的所述事件子集累积在同一直方图中。
4.根据权利要求3所述的飞行时间成像电路，进一步被配置为：
针对所述第一检测和所述第二检测同时更新多个存储箱，以累积所述第一检测的所述一组事件和所述第二检测的所述事件子集。
5.根据权利要求1所述的飞行时间成像电路，其中，所述一组光脉冲中的第一光脉冲与第二光脉冲之间的照明时间间隔与所述预定时间相对应。
6.根据权利要求1所述的飞行时间成像电路，其中，所述成像元件包括一组成像子元件。
7.根据权利要求6所述的飞行时间成像电路，其中，所述一组成像子元件的数量与所述一组读出通道的数量相对应。
8.一种飞行时间成像系统，包括：
光源；
控制电路，被配置为控制所述光源发射一组光脉冲；以及
飞行时间成像电路，被配置为：
控制一成像元件的一组读出通道，以用于获得一组事件，所述一组事件表示在所述成像元件中捕捉到一组光脉冲，其中，该控制包括：
在所述一组读出通道的第一读出通道中对所述一组事件的第一检测；以及
在第二读出通道中的第二检测，其中，所述第二检测在所述第一检测之后的预定时间开始，以检测事件子集。
9.根据权利要求8所述的飞行时间成像系统，进一步被配置为：
在所述第二检测中检测所述事件子集。
10.根据权利要求9所述的飞行时间成像系统，进一步被配置为：
将所述第一检测的所述一组事件和所述第二检测的所述事件子集累积在同一直方图中。
11.根据权利要求10所述的飞行时间成像系统，还包括箱存储器，并且所述飞行时间成像系统进一步被配置为：
针对所述第一检测和所述第二检测同时更新所述箱存储器的多个存储箱，以累积所述第一检测的所述一组事件和所述第二检测的所述事件子集。
12.根据权利要求8所述的飞行时间成像系统，其中，所述一组光脉冲中的第一光脉冲与第二光脉冲之间的照明时间间隔与所述预定时间相对应。
13.根据权利要求8所述的飞行时间成像系统，其中，所述成像元件包括一组成像子元件。
14.根据权利要求13所述的飞行时间成像系统，其中，所述一组成像子元件与所述一组读出通道相对应。
15.一种飞行时间成像方法，包括：
控制一成像元件的一组读出通道，以用于获得一组事件，所述一组事件表示在成像元件中捕捉到一组光脉冲，其中，该控制包括：
在所述一组读出通道的第一读出通道中对所述一组事件的第一检测；以及
在第二读出通道中的第二检测，其中，所述第二检测在所述第一检测之后的预定时间开始，以检测事件子集。
16.根据权利要求15所述的飞行时间成像方法，进一步被配置为：
在所述第二检测中检测所述事件子集。
17.根据权利要求15所述的飞行时间成像方法，进一步被配置为：
将所述第一检测的所述一组事件和所述第二检测的所述事件子集累积在同一直方图中。
18.根据权利要求17所述的飞行时间成像方法，进一步被配置为：
针对所述第一检测和所述第二检测同时更新多个存储箱，以累积所述第一检测的所述一组事件和所述第二检测的所述事件子集。
19.根据权利要求15所述的飞行时间成像方法，其中，所述一组光脉冲中的第一光脉冲与第二光脉冲之间的照明时间间隔与所述预定时间相对应。
20.根据权利要求15所述的飞行时间成像方法，其中，所述成像元件包括一组成像子元件，其中，所述一组成像子元件与所述一组读出通道相对应。
CN202080087450.2A 2019-12-23 2020-12-22 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 Pending CN114829970A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19219412.4 2019-12-23
EP19219412 2019-12-23
PCT/EP2020/087619 WO2021130221A1 (en) 2019-12-23 2020-12-22 Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method

Publications (1)

Publication Number Publication Date
CN114829970A true CN114829970A (zh) 2022-07-29

Family

ID=69005616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087450.2A Pending CN114829970A (zh) 2019-12-23 2020-12-22 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法

Country Status (3)

Country Link
US (1) US20230019246A1 (zh)
CN (1) CN114829970A (zh)
WO (1) WO2021130221A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023041465A1 (en) * 2021-09-20 2023-03-23 Sony Semiconductor Solutions Corporation Control and control method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3232224B1 (de) * 2016-04-12 2018-06-13 Sick Ag Entfernungsmessender optoelektronischer sensor und verfahren zur erfassung und abstandsbestimmung von objekten

Also Published As

Publication number Publication date
US20230019246A1 (en) 2023-01-19
WO2021130221A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US10838066B2 (en) Solid-state imaging device, distance measurement device, and distance measurement method
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US20210181317A1 (en) Time-of-flight-based distance measurement system and method
US10681295B2 (en) Time of flight camera with photon correlation successive approximation
US11644551B2 (en) Lidar systems with improved time-to-digital conversion circuitry
US9316735B2 (en) Proximity detection apparatus and associated methods having single photon avalanche diodes for determining a quality metric based upon the number of events
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
US11119196B2 (en) First photon correlated time-of-flight sensor
CN113272684A (zh) 具有信号相关有效读出率的高动态范围直接飞行时间传感器
US11029397B2 (en) Correlated time-of-flight sensor
US11626446B2 (en) Pixel circuit and method of operating the same in an always-on mode
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
JPWO2018211762A1 (ja) 光センサ、電子機器、演算装置、及び光センサと検知対象物との距離を測定する方法
US20210181316A1 (en) Time-of-flight-based distance measurement system and method
US11169270B2 (en) Solid-state imaging device
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
CN112835058A (zh) 飞时测距三维传感器及其控制方法
WO2022016448A1 (en) Indirect tof sensor, stacked sensor chip, and method for measuring distance to object using the same
JP2021025810A (ja) 距離画像センサ、および距離画像測定装置
JP2024015607A (ja) 測距装置
WO2023174646A1 (en) Time-of-flight demodulation circuitry and time-of-flight demodulation method
WO2023152016A1 (en) Time-of-flight light event detection circuitry and time-of-flight light event detection method
CN116400367A (zh) 光检测和测距LiDAR读出集成电路、LiDAR系统及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination