CN114761824A - 飞行时间感测方法 - Google Patents
飞行时间感测方法 Download PDFInfo
- Publication number
- CN114761824A CN114761824A CN202080084690.7A CN202080084690A CN114761824A CN 114761824 A CN114761824 A CN 114761824A CN 202080084690 A CN202080084690 A CN 202080084690A CN 114761824 A CN114761824 A CN 114761824A
- Authority
- CN
- China
- Prior art keywords
- mode
- photodetectors
- flight
- photodetector
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000005855 radiation Effects 0.000 claims abstract description 18
- 230000001934 delay Effects 0.000 claims 1
- 238000013459 approach Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229930091051 Arenine Natural products 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000006249 magnetic particle Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种飞行时间感测的方法。该方法包括使用发射器发射辐射脉冲以及使用光电检测器的阵列检测从对象反射的辐射。对于阵列的给定光电检测器组,该方法基于辐射的测量飞行时间来确定是使用其中来自该组的各个光电检测器的输出被组合在一起的第一操作模式还是使用其中来自各个光电检测器的输出被单独处理的第二操作模式。光电检测器的阵列包括多光电检测器组。一个或多个光电检测器组在第一模式中操作,而并行地一个或多个光电检测器组在第二模式中操作。
Description
技术领域
本公开涉及一种飞行时间感测的方法,并且涉及一种飞行时间传感器系统。
背景技术
本公开涉及一种飞行时间感测的方法。飞行时间感测使用已知的光速来确定对象距传感器的距离。在一个示例中,从光源发射光脉冲(例如,红外波长),并且检测从对象朝向传感器反射回的光。源和传感器可以彼此相邻地定位(例如,作为同一集成系统的一部分)。基于发射光脉冲与传感器检测到光脉冲之间经过的时间来确定传感器与对象之间的距离。
飞行时间传感器可以是包括像素阵列的成像阵列。像素可以例如是单光子雪崩光电二极管(或一些其他形式的光电检测器)。成像阵列可以提供“深度图”,其以图像的形式指示对象距传感器的测量距离。
在光从对象反射之后,由飞行时间传感器接收的光的强度作为对象与传感器之间的距离的平方的函数而减小。因此,当光从远处对象(例如,在5米或更远的距离处)反射时,传感器处的信噪比可能较低。在一种已知的飞行时间感测方法中,为了改善远处对象的信噪比,将从传感器的多个像素输出的信号组合在一起。多个像素可以被布置为正方形或矩形,并且可以被称为宏像素。因为宏像素具有比单个像素更大的表面积,所以它接收光的更多的光子,从而提供具有更好信噪比的输出。然而,以这种方式将像素分组在一起是不利的,因为它降低了所获得的深度图的分辨率。
在一种已知的方法中,通过以低分辨率(使用宏像素)从飞行时间传感器获得一个深度图并且另外以高分辨率(使用各个像素)从飞行时间传感器获得另一个深度图来解决该问题。然后由处理器将这两个深度图加在一起。所得到的组合深度图由存在近处对象的高分辨率区域和存在远处对象的低分辨率区域组成。
与上述方法相关联的缺点是,为了获得两个深度图,光源必须操作两次。这使用了大量的功率。如果传感器形成手持设备(例如移动电话)的一部分,则这是特别不利的,因为设备的电池寿命对于用户至关重要,并且光源的操作将消耗电池。
因此,本公开的目的是提供一种解决上述问题中的一个或多个或至少提供有用的替代方案的飞行时间感测方法。
发明内容
一般而言,本公开提出通过在其中来自光电检测器的输出被组合在一起的第一模式中操作光电检测器组,而同时在其中来自光电检测器的输出不被组合在一起的第二模式中操作其他光电检测器组来克服以上问题。第一模式可用于远处对象,第二模式可用于近处对象。这种布置有利地为远处对象提供低分辨率深度映射(同时提供可接受的信噪比),并且同时为近处对象提供高分辨率深度映射。这是有利的,因为它避免了现有技术获得全低分辨率深度图并随后获得全高分辨率深度图的要求。根据现有技术获得两个全深度图需要从光源发射更多的光脉冲,并且因此导致更快的电池消耗。
根据本公开的一个方面,提供了一种飞行时间感测的方法,该方法包括使用发射器发射辐射脉冲,使用光电检测器的阵列检测从对象反射的辐射,对于该阵列的给定光电检测器组,基于辐射的测量飞行时间来确定是使用其中来自该组的各个光电检测器的输出被组合在一起的第一操作模式还是使用其中来自各个光电检测器的输出被单独处理的第二操作模式,其中光电检测器的阵列包括多个光电检测器组,并且其中一个或多个光电检测器组在第一模式中操作,而并行地一个或多个光电检测器组在第二模式中操作。
因此,本公开的实施例有利地允许从同一光电检测器阵列的不同部分并行地获得不同分辨率的距离数据。
当该方法开始时,光电检测器组可以初始地在第一操作模式中操作。
当该方法开始时,所有光电检测器组可初始地在第一操作模式中操作。
如果针对光电检测器组的测量飞行时间指示在低于阈值距离的距离处存在对象,则该方法可以针对该光电检测器组从第一操作模式切换到第二操作模式。
该方法可以延迟切换到第二操作模式,直到在第一模式中在像素组处已经接收到足够的测量飞行时间以提供期望的信噪比。
该方法可以立即切换到第二操作模式。
如果针对各个光电检测器的测量飞行时间不指示在第一操作模式期间所识别的距离处存在对象,则该方法可以切换回第一操作模式。
该方法还可以包括:对于阵列的给定光电检测器组,基于辐射的测量飞行时间来确定是否使用其中来自光电检测器子组的输出被组合在一起的第三操作模式,如果光电检测器组的测量飞行时间指示在低于第一阈值距离但高于第二阈值距离的距离处存在对象,则该方法针对该光电检测器组从第一操作模式切换到第三操作模式,其中一个或多个光电检测器组在第一模式中操作,而并行地一个或多个光电检测器组在第三模式中操作。
该方法还可以包括在第二模式中操作的一个或多个光电检测器组。
可以通过与给定光电检测器组相关联的逻辑电路来控制针对该光电检测器组的操作模式之间的切换。
逻辑电路可以形成电路的一部分,该电路与光电检测器组相关联并且与光电检测器一样形成同一集成电路的一部分。
该方法可以在每次发射光脉冲时重新开始。
光电检测器可以是单光子雪崩光电二极管。
根据本发明的第二方面,提供了一种飞行时间传感器系统,其包括被配置为发射辐射脉冲的发射器、以及包括传感器和传感器电子器件的传感器模块,其中传感器包括光电检测器的阵列,光电检测器被成组布置,并且其中传感器电子器件包括多个电路,电路与每个传感器组相关联,并且其中每个电路包括逻辑电路,该逻辑电路被配置为基于辐射的测量飞行时间来确定是使用其中来自该组的各个光电检测器的输出被组合在一起的第一操作模式还是使用其中来自各个光电检测器的输出不被组合在一起的第二操作模式。
逻辑电路可以被配置为:如果光电检测器组的测量飞行时间指示在低于阈值距离的距离处存在对象,则针对该光电检测器组将电路从第一操作模式到第二操作模式。
逻辑电路可以被配置为基于辐射的测量飞行时间来确定是否使用其中来自光电检测器子组的输出被组合在一起的第三操作模式,如果针对光电检测器组的测量飞行时间指示在低于第一阈值距离但高于第二阈值距离的距离处存在对象,则针对该光电检测器组发生从第一操作模式切换到第三操作模式。
与光电检测器组相关联的电路可以与光电检测器一样形成同一集成电路的一部分。
与光电检测器组相关联的电路还可以包括前端、时间到数字值转换器和存储器。
存储器可以是直方图存储器。
光电检测器可以是单光子雪崩光电二极管。
最后,本文公开的本飞行时间感测方法利用了一种新颖的方法,至少在于使用单个传感器并行捕获更高分辨率和更低分辨率的数据。
附图说明
现在将仅通过示例并参考附图来描述本公开的一些实施例,附图中:
图1示意性地描绘了可以使用根据本发明的实施例的方法操作的飞行时间传感器系统;
图2示意性地描绘了根据本发明的实施例的飞行时间感测的方法;
图3示意性地描绘了根据本发明的另一实施例的飞行时间感测的方法;以及
图4是描绘根据本发明的实施例的操作飞行时间传感器的方法的流程图。
具体实施方式
一般而言,本公开提供了一种飞行时间感测的方法,其中并行捕获较高分辨率数据和较低分辨率数据。
在附图中给出了解决方案的一些示例。
图1示意性地描绘了可以根据本发明的实施例操作的飞行时间传感器系统100。飞行时间传感器系统100包括光源102、传感器模块104和图像处理器106。传感器模块包括传感器122和传感器电子器件110。光源102被配置为发射光脉冲(例如,红外辐射)。
传感器122是光电检测器(例如,单光子雪崩二极管)的阵列。这些可以被称为像素。像素可以成组布置。在图1中,示意性地描绘了九个像素组131-139(可以提供其他数量的像素组)。每个像素组可以设置有其自己的相关联的电子器件。
传感器电子器件110可以被设置为多个独立操作的电路。电路可以与每个像素组相关联。在图1中,存在九个电路141-149(每个像素组131-39一个)。可以设置其他数量的电路。传感器电子器件110的每个电路141-149可以直接设置在相关联的像素131-139下方。然而,为了便于说明,在图1中,传感器电子器件110与传感器122单独描绘。传感器122和传感器电子器件110可以被设置为单个集成电路。
在图1的右手侧更详细地描绘了电路143中的一个。电路143与一个像素组133相关联。像素组133可以被称为宏像素。电路143包括所谓的“前端”112,其从宏像素的每个像素接收模拟电压并提供输出信号。在一个示例中,像素是单光子雪崩光电二极管。当光子入射到光电二极管上时,在光电二极管中发生雪崩效应,并且从光电二极管输出模拟电压脉冲。模拟电压脉冲可以具有大致三角形形状。模拟电压脉冲由前端112接收,并且前端输出数字脉冲,即具有大致矩形形状的脉冲。
电路143还包括时间到数字值转换器114。如图1所描绘,来自光源102的输出连接到传感器电子器件110。当发射光脉冲时,该输出启动时间到数字值转换器114的定时器的操作。当像素接收到反射光子并且前端112输出信号时,这使得从时间到数字值转换器114读取经过的时间值。这可以被称为时间戳。
时间值存储在存储器116中。存储器116可以是直方图存储器。直方图存储器包括表示不同的经过时间的区间。当检测到光子时,该光子的经过时间值引起与该时间值对应的区间的增量。随着时间的推移,检测到许多光子并且测量许多相关联的经过时间。直方图存储器中的数据表示作为经过时间的函数的检测到的光子的数量。数据中的峰指示已经反射光子的对象。与峰相关联的时间指示到那些对象的距离。由直方图存储器提供的距离分辨率(其可以被称为深度分辨率)将取决于每个区间的持续时间。
电路143还包括逻辑电路118。逻辑电路确定来自宏像素133的输出是应当单独使用还是应当组合在一起(如下面进一步解释的)。与不同宏像素相关联的逻辑电路可以彼此独立地操作。逻辑电路可以例如是执行该确定的处理器。逻辑电路可以例如是执行该确定的硬连线电路。
电路143还包括时间到距离转换器120,时间到距离转换器120接收时间的数字表示形式的直方图存储器输出,并将这些时间转换为距离。来自时间到距离转换器120的输出被传递到图像处理器106,图像处理器106组合输出以形成描绘到飞行时间传感器系统100的视场中的对象的距离的图像。该图像可以被称为深度图。
图2示意性地描绘了根据本发明的实施例的飞行时间感测的方法。在图2的示意性描绘中,传感器222包括12×12单光子雪崩二极管(其可以被称为像素)的阵列。在其他实施例中,传感器阵列可以实现为CCD阵列或PPD光电二极管的阵列。在使用CCD或PPD的情况下,可以使用不是直方图存储器的存储器。
像素被分组在一起,每个组被称为宏像素。存在九个宏像素231-239。每个宏像素具有16个像素a-p(为了简化说明,并非所有这些都被标记)。应当理解,这仅仅是示意性示例,并且实际上传感器阵列222可以由多于九个宏像素组成。类似地,宏像素可以由多于或少于十六个像素组成。
在根据本发明的实施例的方法中,宏像素中的五个宏像素231-234、239在第一模式中操作,在第一模式中,各个像素a-p的输出被组合在一起。输出的这种组合在一起发生在时间值被分配给检测到的光子之前。当时间值被分配给检测到的光子(其可以被称为时间戳)时,不记录关于各个像素a-p中的哪一个检测到光子的信息。因此,存储在直方图存储器中的数据涉及作为整体的宏像素而不是单个像素。
宏像素中的四个宏像素235-238在第二模式中操作,在第二模式中,各个像素a-p的输出被单独处理并且不被组合在一起。当时间值被分配给检测到的光子(即,时间戳)时,检测到光子的像素的身份与时间值一起被记录。因此,存储在直方图存储器中的数据涉及每个单独的像素。
第一模式和第二模式并行操作。
现在结合图1和图2描述第一模式和第二模式。在第一模式中,当与宏像素(例如,宏像素231)相关联的前端112接收到来自该宏像素的像素a-p中的任一个的输出时,其使得从时间到数字值转换器114读出时间值。直方图存储器116相应地递增。没有记录关于宏像素231的像素中的哪一个检测到光子的数据。随着时间的推移,数据被记录在直方图存储器中,其指示在宏像素231上的任何像素a-p处接收的光子。这是相对低分辨率的数据,但具有相对高的信噪比。例如,可以由光源102发射数千个脉冲,并且由宏像素231检测来自至少一些脉冲的光子。结果,时间戳在直方图存储器中累积。在直方图存储器中的数据中可以看到峰,其指示在特定距离处存在对象。当峰具有可接受的信噪比时,直方图存储器中的数据的进一步累积可能几乎不或完全不添加有用的信息。可以停止时间戳的累积,并且可以将来自直方图存储器的数据传送到图像处理器106。然后可以重新开始使用宏像素的时间戳的累积。通常,可以周期性地(即,在预定时间间隔之后)从宏像素传送数据,或者可以在已经达到峰值信噪比的阈值水平之后传送数据。
逻辑电路118监视保持在直方图存储器中的数据以识别数据中的峰。由逻辑电路118将所识别的峰与指示预定对象距离的阈值时间值进行比较。在实施例中,阈值时间值可以对应于2m的对象距离。就时间值而言,这可以表示为1.33×10-8秒(时间=光速/距离)。如果识别出具有小于1.33×10-8秒的时间值的峰,则逻辑电路可以指示将宏像素的操作切换到第二操作模式。尽管该示例中的阈值是与2m相关联的时间值,但是可以使用其他时间值。
宏像素235-238被示意性地描绘为在第二操作模式中操作。以宏像素235为例,在第二操作模式中,从每个像素235a-p输出的信号被单独处理。因此,当光子入射到给定像素235a上时,前端112使得时间值从时间到数字值转换器114读出并存储在直方图存储器的为该像素特别分配的一部分中。因此,不是将单个数据集存储在直方图存储器中,而是将九个数据集存储在直方图存储器中。这是相对高分辨率的数据。信噪比可以足够高,因为反射光的对象相对靠近(例如,在2m内)。
时间到数字值转换器114可以能够同时接收来自多个像素的输出,并将这些输出转换为数字值以存储在直方图存储器中。在替代方法中,可以使用多路复用,使得时间到数字转换器114从宏像素235的每个像素a-p串行接收信号。在一个示例中,可以使用像素a-p的光栅扫描,使得从像素a接收信号,然后从像素b接收信号,等等。在这样做的情况下,直方图存储器可以记录来自所有像素a-p的数据以及识别数据是从哪个像素接收的标识符。
数据被周期性地传送到图像处理器106。当针对给定像素的数据中的峰具有可接受的信噪比(例如,高于预定阈值)时,可以发生针对该像素的传送。可替代地,针对给定像素的数据传送可以在预定时间间隔之后发生。针对所有像素235a-p的数据传送可以同时发生,或者可以针对不同像素在不同时间发生。数据传送的定时可以取决于例如直方图存储器的大小和多路复用被使用的程度。数据传送应当在直方图存储器变得过满之前发生。
逻辑电路118监视保持在直方图存储器中的数据,以确定数据中是否存在峰。由逻辑电路118将所识别的峰与指示预定对象距离的阈值时间值(例如,1.33×10-8秒)进行比较。如果识别出具有小于1.33×10-8秒的时间值的峰,则逻辑电路可以指示宏像素继续在第二模式中操作。另一方面,没有识别出具有小于1.33×10-8秒的时间值的峰,则逻辑电路可以指示宏像素切换到在第一模式中操作。
图像处理器106生成由各个像素输出和宏像素输出的组合组成的深度图。在并行捕获高分辨率数据和低分辨率数据的情况下执行飞行时间感测。
本发明的实施例是有利的,因为当感测到的对象相对较远时,它提供相对高的信噪比但低分辨率的输出,但是当存在较近的对象时,它自动切换到较高分辨率的输出。从低分辨率到高分辨率的切换是即时地执行的。也就是说,其不依赖于在已产生深度图(或其它图像)之后从图像处理器106接收指令。相反,切换由逻辑电路118基于直方图存储器116中的数据来执行(并且因此可以快速地执行)。类似地,从高分辨率到低分辨率的切换也经由来自逻辑电路118的指令即时地执行,并且不依赖于从图像处理器106接收指令。
本发明的实施例提供用于图像的背景的较低分辨率数据和用于前景的较高分辨率数据,而不需要获得两个完整图像。如上面进一步指出的,获得两个完整图像是不利的,因为它需要使用更多的能量以便为这两个图像生成照明。
在图3中示意性地描绘了本发明的替代实施例。该实施例类似于图2中描绘的实施例,但是代替存在确定操作模式的单个阈值,现在存在两个阈值。应当理解,在其他实施例中,可以使用多于两个阈值。传感器322再次包括九个宏像素331-339,每个宏像素具有十六个像素a-p(为了简化说明,并非所有这些都被标记)。
结合参考图1和图3,当逻辑电路118确定到对象的距离小于2米时,单独处理来自各个像素a-p的输出。如果逻辑电路118确定对象距离在2米和5米之间,则将来自四个像素的组的输出组合在一起。如果逻辑电路确定对象距离大于5米,则使用来自宏像素的输出。尽管这里以距离为单位表示阈值,但是它们可以等效地以时间为单位表示。可以使用其他阈值。
在图3中,宏像素中的四个宏像素331-333、339在第一模式中操作,在第一模式中,来自每个宏像素的所有像素a-p的输出被组合在一起。宏像素中的三个宏像素336-338在第二模式中操作,在第二模式中,来自宏像素的每个像素a-p的输出被单独处理。宏像素中的两个宏像素334、335在第三模式中操作,在第三模式中,来自四个像素的组a、b、e、f;c、d、g、h;i、j、m、n;k、l、o、p的输出组合在一起。四个像素的组可以被称为子组。在该第三模式中,直方图存储器116具有四个数据集,每个数据集表示不同的四个像素的组。在其他实施例中,像素的子组可以具有不同数量的像素。
与图2所示的方法一样,逻辑电路118监视保持在直方图存储器中的数据,以确定数据中是否存在峰。由逻辑电路118将所识别的峰与阈值进行比较,并且基于这些比较的结果在第一、第二和第三操作模式之间切换宏像素。与图2中描绘的方法一样,切换是即时地执行的。模式之间的切换不取决于从图像处理器106接收指令。
图3的实施例是有利的,因为它从同一传感器322并行地提供具有三种不同分辨率(以及相关联的信噪比水平)的飞行时间测量。
图4是描绘根据本发明的实施例的飞行时间感测方法的流程图。该方法可以例如使用图3中描绘的传感器阵列。对于传感器阵列的宏像素,该方法在步骤402处开始(例如,当从光源102发射光脉冲时-参见图1)。在步骤404处,进行低分辨率获取(例如,来自构成宏像素的十六个像素的输出被组合在一起)。这可以被称为第一操作模式。在步骤406处,由逻辑电路118(参见图1)检查所获取的数据,以查看是否存在指示在低于第一阈值的距离处的对象或在低于第二阈值的距离处的对象的峰。该示例中的阈值对应于2米和5米。如果数据指示在小于5米的距离处没有对象,则在步骤408处进行进一步的低分辨率获取。低分辨率获取步骤重复多次,以便获得更多的低分辨率数据。数据被传送到图像处理器106并且该方法重新开始。
如果在步骤406识别出指示在小于2米的距离处的对象的峰,则在步骤410宏像素的操作切换,使得获取来自单个像素的输出并将其单独存储在直方图存储器中。这可以被称为第二操作模式。该高分辨率获取步骤重复多次,以便获得更多的高分辨率数据。数据被传送到图像处理器106并且该方法重新开始。可以将在切换到第二模式之前获取的低分辨率数据以及高分辨率数据传送到图像处理器106。
如果在步骤406识别出指示在2和5米之间的距离处的对象的峰,则将来自宏像素的四个像素的子组的输出组合在一起并单独存储在直方图存储器中。这是步骤412并且可以被称为第三操作模式。该中间分辨率获取步骤重复多次,以便获得更多的中间分辨率数据。周期性地将数据传送到图像处理器106,并且该方法重新开始。可以将在切换到第二模式之前获取的低分辨率数据以及中间分辨率数据传送到图像处理器106。
在一个实施例中,一旦发生到第二操作模式或第三操作模式的切换,逻辑电路118(参见图1)就可以检查所获取的数据以监视与在第一操作模式中操作时看到的峰相对应的峰。也就是说,检查数据以查看是否看到预期距离处的对象。如果没有看到对象,则逻辑电路可以将操作切换回第一操作模式。该方法的优点在于,如果在第二或第三操作模式中没有看到足够强的信噪比数据,则它可以提供具有足够高的信噪比的数据以供图像处理器使用。
在实施例中,即使在已经识别出与小于5m或小于2m的对象相对应的峰之后,也可以继续在第一操作模式中获取数据。在第一操作模式中的数据获取可以继续,直到已经实现期望的信噪比。此时,操作可以切换到第二模式或第三模式。该方法的优点在于,即使第二或第三模式不生成可用数据(即,具有足够高的信噪比的数据),具有足够高的信噪比的数据也将始终可供图像处理器使用。
可以对上述方法进行修改。例如,代替总是以针对每个宏像素的低分辨率获取开始,针对宏像素的初始获取可以是以针对先前用于宏像素的任何分辨率。在一个示例中,如果正在生成视频流,则可以使用针对该宏像素的先前记录的距离数据来预测用于针对该宏像素的下一初始获取的最佳获取分辨率。
尽管本发明的所描述的实施例使用2米并且可选地5米的阈值距离,但是在其他实施例中,可以使用其他阈值距离。根据本发明的实施例的方法可以使用单个阈值距离,可以使用两个阈值距离,或者可以使用多于两个阈值距离。例如,可以使用三个或更多个阈值距离。
在所描述的实施例中,阈值主要按照距离来表示。然而,可以按照时间而不是距离来应用阈值。例如,阈值可以表示为1.33×10-8秒(相当于2米)和3.325×10-8秒。
在本发明的所描述实施例中,每个宏像素由16个单独的像素组成。在其他实施例中,每个宏像素可以具有不同数量的单独像素。可以使用这些像素的不同分组。例如,可以使用由多于四个像素组成的像素的子组。
本发明的实施例允许并行捕获具有更多空间细节的较高分辨率前景以及处于可接受的信噪比水平的较低分辨率背景。
本发明的应用包括图像分割,例如用于视频会议呼叫。在视频会议呼叫期间,可以在以较高分辨率表示的前景和以较低分辨率表示的背景之间分割图像。例如,如果背景与呼叫不相关并且呼叫者出于隐私原因(例如,在家中进行的与工作相关的呼叫)而希望对其进行抑制,则可以这样做。为了在当前系统中实现这一点,获得二维空间图像(与深度图相对照),并且使用图像处理来确定那些2D空间图像的哪个部分是前景以及哪个是背景。该方法使用大量功率处理,并且因此将消耗来自移动设备的电池的大量能量。如其他地方所解释的,移动设备中的能量消耗是不期望的。本发明的实施例避免了这种密集处理。
通过并行地提供背景测量和前景测量,本发明的实施例允许在增强现实系统中提供更准确的视角和细节。这也可以应用于虚拟现实或混合现实系统。
本发明的实施例可以有利地允许更准确地跟踪对象。以像素/秒为单位测量的对象跨传感器的移动对于相对近的对象将更快,并且对于相对远的对象将更慢(如果对象以相同的速度行进)。由于本发明的实施例根据到对象的距离来缩放分辨率,因此可以以不同的分辨率在不同的距离处跟踪以相同速度行进的相同对象(有效地给出相同的跟踪信息)。本发明的实施例允许有效地跟踪对象,即使当对象移动通过距传感器阵列的不同距离时也是如此。本发明的实施例有利地提供三维跟踪(其比常规二维跟踪更有用)。本发明的实施例可以在距传感器阵列的更大距离范围(其可以被称为深度)上提供跟踪,因为不同分辨率之间的切换可以自动发生。
在图1中,前端112、时间到数字值转换器114、存储器116、逻辑电路118和时间到距离转换器120都被描绘为电路143,电路143和其相关联的宏像素133一样,形成在同一集成电路中。电路141-149可以位于传感器122下方。可替代地,电路可以位于传感器122的外围周围。在传感器122下方提供电路可能是优选的,因为它可以提供可扩展性并且可以提供优异的性能。
电路的所有元件都在集成电路中不是必需的。元件中的一个或多个可以远离集成电路定位。例如,时间到距离转换器可以形成不同集成电路的一部分。然而,在集成电路中提供所有元件可能是最高效的配置。
通常,可以为每个像素组(其可以被称为宏像素)设置逻辑电路118。
本公开的实施例可以在许多不同的应用中采用,包括例如在移动电话中。
附图标记列表:
100——飞行时间传感器系统
102——光源
104——传感器模块
106——图像处理器
110——传感器电子器件
112——前端
114——时间到数字值转换器
116——存储器
118——逻辑电路
120——时间到距离转换器
122、222、322——传感器
131-139——传感器像素组(宏像素)
141-149——电路
231-239——传感器像素组(宏像素)
331-339——传感器像素组(宏像素)
a-p——宏像素的像素
402——方法的开始
404——低分辨率获取
406——由逻辑电路检查所获取的数据
408——进一步的低分辨率获取
410——从单个像素获取
412——从四个像素的组获取
本领域技术人员将理解,在前述说明书和所附权利要求中,诸如“上方”、“沿着”、“侧面”等的位置术语是参考诸如附图中所示的概念性图示而做出的。使用这些术语是为了便于参考,但不旨在具有限制性质。因此,这些术语应被理解为是指当处于如附图中所示的取向时的对象。
尽管已经根据如上所描述的优选实施例描述了本公开,但是应当理解,这些实施例仅是说明性的,并且权利要求不限于那些实施例。鉴于本公开内容,本领域技术人员将能够做出修改和替代,这些修改和替代被认为落入所附权利要求的范围内。本说明书中公开或示出的每个特征可以结合在任何实施例中,无论是单独地还是以与本文公开或示出的任何其他特征的任何适当组合。
Claims (20)
1.一种飞行时间感测的方法,所述方法包括:
使用发射器发射辐射脉冲;
使用光电检测器的阵列来检测从对象反射的辐射;
对于所述阵列的给定光电检测器组,基于所述辐射的测量飞行时间来确定是使用其中来自所述组的各个光电检测器的输出被组合在一起的第一操作模式还是使用其中来自各个光电检测器的输出被单独处理的第二操作模式;其中
光电检测器的所述阵列包括多个光电检测器组,并且其中一个或多个光电检测器组在所述第一模式中操作,而并行地一个或多个光电检测器组在所述第二模式中操作。
2.根据权利要求1所述的方法,其中当所述方法开始时,光电检测器组初始地在所述第一操作模式中操作。
3.根据权利要求2所述的方法,其中当所述方法开始时,所有光电检测器组初始地在所述第一操作模式中操作。
4.根据权利要求1中任一项所述的方法,其中如果针对光电检测器组的测量飞行时间指示在低于阈值距离的距离处存在对象,则所述方法针对所述光电检测器组从所述第一操作模式切换到所述第二操作模式。
5.根据权利要求4所述的方法,其中所述方法延迟切换到所述第二操作模式,直到在所述第一模式中在所述像素组处已经接收到足够的测量飞行时间以提供期望的信噪比。
6.根据权利要求4所述的方法,其中所述方法立即切换到所述第二操作模式。
7.根据权利要求6所述的方法,其中如果针对所述各个光电检测器的测量飞行时间不指示在所述第一操作模式期间所识别的距离处存在对象,则所述方法切换回所述第一操作模式。
8.根据权利要求1所述的方法,包括:针对所述阵列的所述给定光电检测器组,基于所述辐射的测量飞行时间来确定是否使用其中来自光电检测器子组的输出被组合在一起的第三操作模式,如果光电检测器组的测量飞行时间指示在低于第一阈值距离但高于第二阈值距离的距离处存在对象,则所述方法针对所述光电检测器组从所述第一操作模式切换到所述第三操作模式,其中一个或多个光电检测器组在所述第一模式中操作,而并行地一个或多个光电检测器组在所述第三模式中操作。
9.根据权利要求8所述的方法,其中一个或多个光电检测器组在所述第二模式中操作。
10.根据权利要求1所述的方法,其中通过与给定光电检测器组相关联的逻辑电路来控制针对所述光电检测器组的操作模式之间的切换。
11.根据权利要求10所述的方法,其中所述逻辑电路形成电路的一部分,所述电路与所述光电检测器组相关联并且与所述光电检测器一样形成同一集成电路的一部分。
12.根据权利要求1所述的方法,其中所述方法在每次发射光脉冲时重新开始。
13.根据权利要求1所述的方法,其中所述光电检测器是单光子雪崩光电二极管。
14.一种飞行时间传感器系统,包括被配置为发射辐射脉冲的发射器、以及包括传感器和传感器电子器件的传感器模块;
其中所述传感器包括光电检测器的阵列,所述光电检测器被成组布置,并且其中所述传感器电子器件包括多个电路,电路与每个传感器组相关联;
并且其中每个电路包括逻辑电路,所述逻辑电路被配置为基于所述辐射的测量飞行时间来确定是使用其中来自所述组的各个光电检测器的输出被组合在一起的第一操作模式还是使用其中来自各个光电检测器的输出不被组合在一起的第二操作模式。
15.根据权利要求14所述的系统,其中所述逻辑电路被配置为:如果光电检测器组的测量飞行时间指示在低于阈值距离的距离处存在对象,则针对所述光电检测器组将所述电路从所述第一操作模式到所述第二操作模式。
16.根据权利要求14所述的系统,其中所述逻辑电路被配置为基于所述辐射的测量飞行时间来确定是否使用其中来自光电检测器子组的输出被组合的第三操作模式,如果针对光电检测器组的测量飞行时间指示在低于第一阈值距离但高于第二阈值距离的距离处存在对象,则针对所述光电检测器组发生从所述第一操作模式切换到所述第三操作模式。
17.根据权利要求14所述的系统,其中与所述光电检测器组相关联的所述电路与所述光电检测器一样形成同一集成电路的一部分。
18.根据权利要求14所述的系统,其中与所述光电检测器组相关联的所述电路还包括前端、时间到数字值转换器和存储器。
19.根据权利要求14所述的系统,其中所述存储器是直方图存储器。
20.根据权利要求14所述的系统,其中在任一前述权利要求中,其中所述光电检测器是单光子雪崩光电二极管。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962944009P | 2019-12-05 | 2019-12-05 | |
US62/944,009 | 2019-12-05 | ||
PCT/SG2020/050710 WO2021112763A1 (en) | 2019-12-05 | 2020-12-02 | Time of flight sensing method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114761824A true CN114761824A (zh) | 2022-07-15 |
Family
ID=73790184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080084690.7A Pending CN114761824A (zh) | 2019-12-05 | 2020-12-02 | 飞行时间感测方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230011969A1 (zh) |
EP (1) | EP4070125A1 (zh) |
CN (1) | CN114761824A (zh) |
WO (1) | WO2021112763A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4102256A1 (en) * | 2021-06-11 | 2022-12-14 | Infineon Technologies AG | Sensor devices, electronic devices, method for performing object detection by a sensor device and method for performing object detection by an electronic device |
US11721063B1 (en) * | 2023-01-26 | 2023-08-08 | Illuscio, Inc. | Systems and methods for dynamic image rendering using a depth map |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140253688A1 (en) * | 2013-03-11 | 2014-09-11 | Texas Instruments Incorporated | Time of Flight Sensor Binning |
US20150049168A1 (en) * | 2013-08-14 | 2015-02-19 | Infineon Technologies Ag | Dynamic adjustment of imaging parameters |
CN108333563A (zh) * | 2017-01-20 | 2018-07-27 | 北京行易道科技有限公司 | 雷达及交通工具 |
US20190137607A1 (en) * | 2016-04-13 | 2019-05-09 | Oulun Yliopisto | Distance measuring device and transmitter, receiver and method thereof |
DE102017223102A1 (de) * | 2017-12-18 | 2019-06-19 | Robert Bosch Gmbh | Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten |
CN110109085A (zh) * | 2019-04-15 | 2019-08-09 | 东南大学 | 基于双模切换的低功耗宽量程阵列型光子计时读出电路 |
CN110268283A (zh) * | 2016-11-16 | 2019-09-20 | 创新科技有限公司 | 激光雷达系统和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9438866B2 (en) * | 2014-04-23 | 2016-09-06 | Omnivision Technologies, Inc. | Image sensor with scaled filter array and in-pixel binning |
WO2019064062A1 (en) * | 2017-09-26 | 2019-04-04 | Innoviz Technologies Ltd. | SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT |
-
2020
- 2020-12-02 EP EP20821440.3A patent/EP4070125A1/en active Pending
- 2020-12-02 CN CN202080084690.7A patent/CN114761824A/zh active Pending
- 2020-12-02 WO PCT/SG2020/050710 patent/WO2021112763A1/en unknown
- 2020-12-02 US US17/781,968 patent/US20230011969A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140253688A1 (en) * | 2013-03-11 | 2014-09-11 | Texas Instruments Incorporated | Time of Flight Sensor Binning |
US20150049168A1 (en) * | 2013-08-14 | 2015-02-19 | Infineon Technologies Ag | Dynamic adjustment of imaging parameters |
US20190137607A1 (en) * | 2016-04-13 | 2019-05-09 | Oulun Yliopisto | Distance measuring device and transmitter, receiver and method thereof |
CN110268283A (zh) * | 2016-11-16 | 2019-09-20 | 创新科技有限公司 | 激光雷达系统和方法 |
CN108333563A (zh) * | 2017-01-20 | 2018-07-27 | 北京行易道科技有限公司 | 雷达及交通工具 |
DE102017223102A1 (de) * | 2017-12-18 | 2019-06-19 | Robert Bosch Gmbh | Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten |
CN110109085A (zh) * | 2019-04-15 | 2019-08-09 | 东南大学 | 基于双模切换的低功耗宽量程阵列型光子计时读出电路 |
Also Published As
Publication number | Publication date |
---|---|
WO2021112763A1 (en) | 2021-06-10 |
EP4070125A1 (en) | 2022-10-12 |
US20230011969A1 (en) | 2023-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110596721B (zh) | 双重共享tdc电路的飞行时间距离测量系统及测量方法 | |
CN111465870B (zh) | 使用可寻址发射器阵列的飞行时间感测 | |
CN109725326B (zh) | 飞行时间相机 | |
US10928492B2 (en) | Management of histogram memory for a single-photon avalanche diode detector | |
CN110596722A (zh) | 直方图可调的飞行时间距离测量系统及测量方法 | |
CN110596724B (zh) | 动态直方图绘制飞行时间距离测量方法及测量系统 | |
CN113272684A (zh) | 具有信号相关有效读出率的高动态范围直接飞行时间传感器 | |
Kim et al. | A three-dimensional time-of-flight CMOS image sensor with pinned-photodiode pixel structure | |
US20050088644A1 (en) | Surface profile measurement | |
TWI460615B (zh) | 用於光學巡覽之動態可重組態的像素陣列 | |
US7560680B2 (en) | 3D measurement sensor | |
CN110268282B (zh) | 从动态位置提供接收光的动态视场 | |
US8754939B2 (en) | Multistage demodulation pixel and method | |
KR20160142839A (ko) | 고해상도, 고프레임률, 저전력 이미지 센서 | |
US20130107243A1 (en) | Fast, High Resolution 3-D Flash LADAR Imager | |
TW201945756A (zh) | 適用於遠程飛行時間應用的雙模堆疊式光倍增器 | |
CN110596723A (zh) | 动态直方图绘制飞行时间距离测量方法及测量系统 | |
CN114761824A (zh) | 飞行时间感测方法 | |
US11626446B2 (en) | Pixel circuit and method of operating the same in an always-on mode | |
US11588995B2 (en) | Photoelectric conversion device, photoelectric conversion system, and moving body | |
US11860279B2 (en) | Image sensing device and photographing device including the same | |
CN118435023A (zh) | 深度传感器设备和用于操作深度传感器设备的方法 | |
CN113597534B (zh) | 测距成像系统、测距成像方法和程序 | |
WO2021131431A1 (ja) | 受光装置及び受光装置の制御方法、並びに、電子機器 | |
US12094911B2 (en) | High spatial resolution solid-state image sensor with distributed photomultiplier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |