CN112424639B - 使用飞行时间和伪随机比特序列测量到物体的距离 - Google Patents
使用飞行时间和伪随机比特序列测量到物体的距离 Download PDFInfo
- Publication number
- CN112424639B CN112424639B CN201980047684.1A CN201980047684A CN112424639B CN 112424639 B CN112424639 B CN 112424639B CN 201980047684 A CN201980047684 A CN 201980047684A CN 112424639 B CN112424639 B CN 112424639B
- Authority
- CN
- China
- Prior art keywords
- light
- light emission
- echo
- emissions
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000002592 echocardiography Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 101150071746 Pbsn gene Proteins 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 208000004605 Persistent Truncus Arteriosus Diseases 0.000 description 2
- 208000037258 Truncus arteriosus Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101150066718 FMOD gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本公开描述了用于使成像传感器能够执行飞行时间测量,同时需要更少的直方图存储器并且在许多情况下需要更少的功率消耗的方法和装置。光源被操作以引起多个光发射,并且根据基于第一光发射接收的第一回波来确定粗略/估计距离。直方图被保存,并且精密距离根据粗略距离和从第二光发射的回波导出的数据被计算。
Description
技术领域
本公开涉及使用成像传感器测量到物体的距离。
背景技术
确定成像传感器与物体之间的距离在成像传感器的许多使用中是至关重要的。为确定成像传感器与物体之间的距离而创建的一个系统被称为飞行时间(“ToF”)测量系统。目前存在各种ToF测量系统。一些ToF系统使用直接测量模式,而其它ToF系统使用间接测量模式。
在一些直接模式ToF系统中,光脉冲被发射并且在光脉冲被物体反射并且该反射的光被成像传感器检测到时,时间测量被执行。在一些情况下,这些时间被称为时间-数字转换器(“TDC”)或时间-模拟转换器(“TAC”)。基于TDC或TAC以及光的速度,到物体的距离被确定。在一些间接模式ToF测量系统中,发射的光被调制,并且传感器对接收的回波进行解调,从而提取发射的信号与接收的信号之间的相位差。然后,根据相位差,距离信息被确定。
发明内容
在直接模式ToF系统中,测量数据被保留在直方图存储器中,同时测量被重复一定次数,使得更准确的结果可以被获得。对于每次测量,测量系统必须为每个像素建立直方图,这需要相对大量的存储。另外,传统的直接ToF系统需要高能脉冲形式的大功率消耗才能准确,因为低能脉冲在许多情况下将不能产生足够准确的信息。在传统的间接ToF系统中,为了实现高精度,高调制频率需要被使用,这导致高功率消耗和增加的系统复杂性。
当前公开描述了执行ToF测量同时需要更少的直方图存储器并且在一些情况下需要更少的功率消耗的系统。具体地,描述了用于测量成像传感器与物体之间的距离的装置、系统和方法。距离测量系统引起(例如,使用光源)来自光源的第一光发射和来自光源的第二光发射。例如,在直接ToF测量系统中,光发射可以是激光脉冲或另一合适的光脉冲。在间接Tof测量系统中,光发射可以是被调制的任何发射,使得回波可以被解调。
距离测量系统检测(例如,使用成像传感器)由于第一光发射被物体反射而导致的第一回波以及由于第二光发射被物体反射而导致的第二回波。例如,在直接ToF系统中,在光脉冲从物体被反射时,成像传感器可以检测来自第一光脉冲和第二光脉冲的回波。在间接ToF系统中,第一发射和第二发射可以被调制,并且在回波被成像传感器接收时,回波可以被解调。
在距离测量系统接收(例如,经由成像传感器)第一回波时,距离测量系统从第一回波提取数据,并且基于来自第一回波的数据确定到物体的估计距离。例如,距离测量系统可以基于第一回波确定物体位于距成像传感器四米到五米之间的某处。在距离测量系统接收(例如,经由成像传感器)第二回波时,距离信息从第二回波被提取。使用从第一回波确定的估计距离,距离测量系统在第二回波内识别对应于估计距离的数据。例如,与第二回波相关联的数据可以包括针对距成像传感器不同距离的数据。然而,因为在该示例中,系统基于第一回波已经确定物体在距成像传感器四米到五米之间,所以距离测量系统识别与四米到五米之间的距离相关联的数据。
在对应于估计距离的数据被识别时,距离测量系统使用对应于估计距离的所识别的数据生成直方图,并且将直方图存储在存储器中。例如,如果距离测量系统已经确定物体在距成像传感器四米到五米之间,则距离测量系统存储从第二回波导出的针对四米到五米之间的距离的数据的直方图。为了节省在许多情况下是非常有限的直方图存储器,与其它距离相关联的数据可以被丢弃。距离测量系统被进一步配置为基于所存储的直方图计算到物体的距离。例如,距离测量系统可以分析数据并且确定物体位于距成像传感器某一距离(例如,4.5米)处。
在一些实施例中,仅用于第二光发射的直方图数据被存储,并且距离测量系统丢弃与第一回波相关联的数据。另外,距离测量系统可以丢弃与第二回波相关联的、不对应于估计距离的数据。继续上面的示例,只有从第二回波导出的、与估计距离相关联的数据(例如,与4.5米距离相关联的数据)被存储在直方图存储器中。
在一些实施例中,距离测量系统在引起第一光发射之后的一段时间之后引起第二光发射。具体地,距离测量系统检索与第一光发射相关联的非模糊时段。非模糊时段可以是与距离测量系统被配置为测量的最大距离相对应的时间段。距离测量系统确定来自第一光发射的非模糊时段已经被达到,并且在非模糊时段已经被达到之后引起第二光发射。
在一些实施例中,在直接模式ToF系统中,第一发射和第二发射可以是第一光脉冲和第二光脉冲,并且第一光脉冲可以比第二光脉冲长。例如,第一更长的脉冲使得距离测量系统能够收集更多的光数据以获得尽可能多的信息。第二光脉冲可以更短,因为在整个距离上不需要太多的数据,而是需要针对特定范围(例如,四米到五米)的数据。
在一些实施例中,在间接模式ToF系统中,第一光发射与第二光发射相比以更低的频率被调制。这在以下情况下可以是有利的,即在用于第一发射的更低频率调制下,更多的数据可以被接收,因此增加了检测物体的大致位置的可能性。第二发射可以具有更高的频率,使得可以进行更准确的检测。
在一些实施例中,在预定时间窗口期间生成多个发射可以是有利的。具体地,距离测量系统可以检索与第一光发射和接收针对第一光发射的任何回波之间的最大时间相对应的时间段,并且在该时间段期间引起来自光源的附加数量的光发射。在该时间段已经结束时,距离测量系统可以停止光源进一步发射。例如,距离测量系统可以检索一秒的时间间隔并且在该时间间隔期间生成八个光发射。在一秒的时间间隔到期之后,距离测量系统停止引起任何进一步的光发射。
在一些实施例中,距离测量系统被进一步配置为按特定序列引起光发射,其中,该序列指示距离测量系统将时间段分成多个时间段(子时段),并且其中,该序列指示距离测量系统在多个时间段中的一些时间段期间引起发射,而在多个时间段中的其它时间段期间不引起发射。例如,距离测量系统可以将时间段分成十六个不同的子时段。在十六个子时段中的一些子时段期间,距离测量系统可以引起光的发射,而在其它子时段期间不引起光的发射,从而创建序列。距离测量系统可以在第一、第三、第四、第六、第七、第十一、第十二和第十六子时段期间引起光的发射,并且在其它子时段期间避免引起发射。
成像传感器进一步可操作以检测针对来自该光源或者来自其它光源的任何光发射的回波。接收的回波由距离测量系统处理,其中,基于光发射的序列来识别由来自该光源的发射引起的回波。距离测量系统丢弃与表示来自其它光源的光的信号相关联的数据。例如,如果距离测量系统在第一、第三、第四、第六、第七、第十一、第十二和第十六子时段期间引起光的发射,并且在其它子时段期间避免引起发射,则距离测量系统减去在第二、第五、第八、第九、第十、第十三、第十四和第十五子时段期间接收的回波数据,同时对与第一、第三、第四、第六、第七、第十一、第十二和第十六子时段相关联的回波数据值进行求和。距离测量系统丢弃与序列不相关的信号。
距离测量系统将与针对所识别的光发射的回波相对应的数据存储在直方图存储器中,并且基于直方图存储器中的数据生成到物体的距离的测量。继续上面的示例,距离测量系统对直方图存储器中的针对第一、第三、第四、第六、第七、第十一、第十二和第十六子时段的数据值进行求和,并且减去针对其它时段的数据值,以基于直方图存储器中的数据生成到物体的距离的测量。
在附图和下面的描述中阐述了一个或多个实施方式的细节。根据描述、附图和权利要求,其它特征和优点将显而易见。
附图说明
图1是采用ToF感测来计算到物体的距离的示例距离测量系统100。
图2是图示用于测量到物体的距离的动作的框图。
图3图示从第一回波和第二回波提取的数据。
图4图示存储直方图数据的方法。
图5图示使用激光脉冲来执行粗略评估。
图6图示使用更短的激光脉冲进行精密测量。
图7图示伪随机比特序列(“PRBS”)对光发射的示例应用。
图8图示精密测量的示例实施方式。
图9图示可以包括与前置照相机耦接的距离测量系统的电子设备。
图10图示可以包括与后置照相机耦接的距离测量系统的电子设备。
具体实施方式
图1是采用ToF感测来计算到物体102(在该示例中为建筑物)的距离的示例距离测量系统100。距离测量系统100包括成像传感器104,成像传感器104包括像素阵列(例如,二维(2-D)阵列)。
物体102用来自光源110(例如激光)的照明光108照射。例如,光108可以是红外(IR)光。照明光中的一些被物体反射。反射的光112被照相机114以及被成像传感器104检测到。来自像素的距离信息与由照相机114获得的环境的2-D图像相结合,通过一个或多个图像处理器120被存储在直方图存储器122中。来自直方图存储器122的数据被用于计算到物体102的距离。针对每个像素的距离信息R可以被计算为:
R=(c·ToF)/2,
其中,c是光的速度,并且ToF是飞行时间,飞行时间是从光源110发射光与反射的光被成像传感器104检测到之间经过的时间。
成像传感器104的每个解调像素能够对接收的光信号112进行解调。控制板(例如,包括控制电路)118被配置为调节照相机114的定时。成像传感器104的所有像素的相位值对应于针对环境105中例如建筑物102上的对应点的距离信息R。在一些示例中,反射的光的解调可以直接传送飞行时间值。在一些示例中,调制的照明光可以是连续强度调制的光,并且反射的光的解调可以在发射的光与反射的光之间传送相位延迟(P)。相位延迟对应于距离R,如下:
R=(P·c)/(4πf_mod),
其中,fmod是照明光的调制频率,该调制频率的范围可以从例如几MHz到若干GHz。在一些实施方式中,每个解调像素能够同时对反射的光进行解调,成像传感器104可以基本上实时地传送图像数据,例如,高达30Hz或大于30Hz的帧速率。解调的像素中光生电荷载流子的增加的横向转移时间可以有助于高频率图像传送。
图2是图示用于测量到物体的距离的动作的框图。在框202中,控制电路(例如,包括在控制板118中的控制电路)使用光源(例如,光源110)引起第一光发射和第二光发射。例如,控制板118可以指示光源110触发第一光发射和第二光发射。第一光发射和第二光发射可以是可见光谱光、红外光或其它合适的光类型。在一些实施例中,诸如在直接ToF系统中,光发射可以是激光脉冲。在间接Tof测量系统中,光发射可以是被调制的任何发射,使得回波可以被解调。
在框204中,控制电路(例如,包括在控制板118中的控制电路)使用成像传感器(例如,成像传感器104)检测由于第一光发射被物体(例如,物体102)反射而导致的第一回波以及由于第二光发射被物体(例如,物体102)反射而导致的第二回波。例如,在直接ToF系统中,在光脉冲从物体被反射时,成像传感器(例如,成像传感器104)可以检测来自第一光脉冲和第二光脉冲的回波。在间接ToF系统中,第一发射和第二发射可以被调制,并且在回波被成像传感器(例如,成像传感器104)接收时,回波可以被解调。
在框206中,控制电路(例如,包括在控制板118中的控制电路)基于第一回波确定到物体的估计距离。控制电路可以分析第一回波的光并且确定物体的大致位置。图3的图表300图示从第一回波提取的数据。该图表指示物体的大致位置(例如,在十九米处)。峰值302对应于物体的大致位置。
在框208中,控制电路(例如,包括在控制板118中的控制电路)在第二回波内识别对应于估计距离的数据。控制电路可以分析第二回波的光并且确定物体的具体位置。图3的图表320图示从第二回波提取的数据。该图表指示物体的具体位置。图表320图示了将十九米距离细分为三十二个部分,并且图示了物体位于三十二个部分的第十部分与第十五部分之间。峰值322对应于物体的精确位置。
在框210中,控制电路(例如,包括在控制板118中的控制电路)使用对应于估计距离的所识别的数据生成直方图,并且在框212中,将直方图存储在存储器(例如,直方图存储器122)中。图4图示一种存储直方图数据的方法。系统可以使用基于移位寄存器(例如,移位寄存器402)加上计数器(例如,计数器404)的时间数字转换器(“TDC”)进行粗略评估(例如,使用来自第一回波的数据确定估计距离),使用共享的直方图存储器和延迟线进行精密评估(例如,使用来自第二回波的数据确定精确距离)。检测器可以是由n个单光子雪崩二极管(“SPAD”)组成的宏像素,每个SPAD的输出可以与OR树或XOR树组合在一起。馈送有全局时钟的移位寄存器可以充当具有由输入时钟406给定的时间分辨率的粗略TDC。在SPAD生成触发(例如,光发射)时,计数器计时,并且只有在其输入端处具有通过移位寄存器传播的“高”电平的计数器才会增加该计数器的值,从而建立直方图。
在一些实施例中,宽垂直表面发射激光器(“VCSEL”)可以被用于更大的光功率。另外,十五个时间选通计数器可以被使用。系统可以建立足够的计数以找到用于选择放大范围的最大峰值(例如,如图表300中图示的物体的大致位置)。在一些实施例中,系统忽略第一计数器,因为第一计数器包含盖玻片的串扰。该操作被重复直到粗略评估(例如,基于第一光发射和第一回波)结束并且输出值被存储。在一些情况下,粗略评估可以被重复多次。
在一些实施例中,控制电路使用高能量脉冲执行粗略评估,以粗略地评估目标距离。图5图示使用激光脉冲来执行粗略评估。图示500示出了激光触发器和从激光触发器接收的回波(回波502)。在激光脉冲之后停止信号被启动。更长的激光脉冲对应于更高的接收光子返回的概率,但是具有更低的准确性。基于所接收的回波执行粗略的TDC测量。粗略值504被计算。
在一些实施例中,控制电路可以使用粗略测量(估计测量)的开始与停止之间的窗口来执行利用短脉冲的精密评估(精确测量)。图6图示使用更短的激光脉冲606进行精密测量。从粗略评估602开始,回波604被检测到,并且在观察窗口外部生成的所有事件被丢弃。例如,如以上所描述的,与非模糊窗口外部的光相对应的任何数据被丢弃。
在一些实施例中,伪随机比特序列(“PRBS”)可以被应用于光发射。通常,光脉冲可以被发送的最大速率由传感器应覆盖的最大距离确定。该限制可以通过使用被应用于光发射(例如,光脉冲)的伪随机比特序列来克服。已知的PRBS序列被本地存储在每个像素中,并且根据放大距离范围被移位。该序列的特征在于,异相的每个回波被消除(即,多个回波、盖玻片),但是同相的每个回波将被添加在精密评估中。这种情况被实现是因为在对应于1的粗略窗口(发送脉冲)中检测到的每个事件被添加在直方图存储器中,而在对应于0的粗略窗口(没有发送脉冲)中检测到的事件被从直方图存储器中减去。
图7图示PRBS对光发射的可能应用。选择对应于粗略时间窗口的测量范围702。PRBS模式被确定(例如,从存储器被检索)。在这种情况下,序列的长度是将过程时间窗口划分成十五个时间段的十五。控制电路在第一、第二、第三、第四、第八、第十一、第十二和第十四时间段期间引起发射。如图7中所示,发射可以是在这些间隔期间发射的VCSEL脉冲。在一些实施例中(例如,在系统与智能电话或电子平板相关联时),控制电路可以补偿设备所包括的盖玻片(图示706)。因此,在阈值距离(例如,距成像传感器几毫米)内检测到的物体的数据可以被丢弃。控制电路可以基于该序列来确定从粗略测距的移位是什么(图示708)。基于该移位,控制电路可以使得数据被添加到直方图存储器,并且丢弃窗口外部的数据。如图7中所示,范围内回波的总和产生自相关710。
图8图示精密测量的一个实施方式。控制电路可以使用TDC利用时钟(例如,时钟802)对延迟线(例如,延迟线804)执行精密评估。PRBS被加载到移位寄存器中并且根据粗略评估而移位,这将给计数器(例如,计数器806)命令以向上计数或向下计数。在SPAD生成触发时,计数器计时并且根据PRBS向上计数或向下计数,并且只有具有由距离激光器生成的脉冲的计数器将执行向上/向下计数。在一些实施例中,该操作可以被重复以在像素中建立直方图。控制电路可以使用短VCSEL脉冲,但是以高重复率以实现更高的光功率。控制电路还可以使用具有十五个抽头的延迟锁定环,用于精密的分辨率。在一些实施例中,粗略值可以被测量多次以降低不确定性。另外,对于粗略测量和精密测量两者,控制电路可以使脉冲宽度从更长变到更短。此外,控制电路可以执行每像素的精密测量以及在像素簇中执行粗略测量。
参考图9,在一些示例中,采用诸如这里所描述的ToF传感器的距离测量系统950可以被安装在诸如移动电话、平板电脑或可穿戴计算设备的移动计算设备952的前侧上或者被并入到移动计算设备952的前侧中。移动设备952的前侧是设备的包括屏幕155的一侧。距离测量系统950可以是包括照明设备954和成像部件的前侧成像系统,成像部件包括照相机956和ToF成像传感器958。前侧距离测量系统950可以被用于需要对到物体的距离进行准确测量的各种应用(例如,摄影、视频和其它合适的应用)。
参考图10,在一些示例中,采用诸如这里所描述的ToF传感器的距离测量系统1070可以被安装在移动计算设备1072的后侧。后侧是设备的与前侧相对的一侧,例如不包括屏幕的一侧。距离测量系统1070可以是包括照明设备1074和成像部件的后侧成像系统,成像部件包括照相机1076和ToF成像传感器1078。后侧距离测量系统1070可以例如被用于物体识别或被用于环境映射,例如由一个或多个处理器1082对房间进行的映射。
本公开中描述的主题和功能操作的各个方面可以在数字电子电路中实施,或者在包括本说明书中公开的结构及其结构等同物的软件、固件或硬件中实施,或者在它们中的一个或多个的组合中实施。电子控制单元包含被配置为执行生成环境光测量所需的动作的数字控制电路。在一些实施例中,电子控制单元可以包含软件、固件或其它硬件中的一个或多个以促进本公开的动作。另外,本公开中描述的主题的方面可以被实施为一个或多个计算机程序产品,即被编码在计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读的传播信号的物质组合,或者它们中的一个或多个的组合。除了硬件之外,该装置可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以包括编译或解释语言的任何形式的编程语言来编写,并且它可以以任何形式来部署,包括作为独立程序或作为模块、部件、子例程或适于在计算环境中使用的其它单元。计算机程序不必对应于文件系统中的文件。程序可以被存储在保存其它程序或数据的文件的一部分(例如,存储在标记语言文档中的一个或多个脚本)中、被存储在专用于所讨论的程序的单个文件中或者被存储在多个协同文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一台计算机上执行,或者被部署为在位于一个站点的或分布在多个站点并且通过通信互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并且生成输出来执行功能。该过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实现为专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器两者,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动盘;磁光盘;以及CD ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或被并入专用逻辑电路中。
虽然本说明书包含许多细节,但是这些细节不应被解释为对本发明的范围或所要求保护的范围的限制,而是作为对本发明的特定实施例所特有的特征的描述。本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中被组合实施。相反地,在单个实施例的上下文中描述的各种特征也可以在多个实施例中被单独地实施或以任何合适的子组合来实施。此外,尽管特征可以在上面被描述为在某些组合中起作用并且甚至最初如此要求保护,但是来自要求保护的组合的一个或多个特征在某些情况下可以从该组合中去除,并且要求保护的组合可以针对子组合或子组合的变型。
类似地,虽然在附图中以特定的顺序描绘了操作,但是这不应被理解为要求以示出的特定顺序或以连续的顺序执行此类操作,或者要求所有图示的操作被执行以实现期望的结果。在某些情况下,多任务处理和并行处理可以是有利的。
已经描述了多个实施例。然而,将理解,可以进行各种修改而不脱离本发明的精神和范围。例如,上面描述的步骤中的一些可以是顺序独立的,并且因此可以以不同于所描述的顺序执行。
因此,其它实施方式在所附权利要求的范围内。
Claims (14)
1.一种使用飞行时间和伪随机比特序列测量到物体的距离的装置,包括:
成像传感器,被配置为执行距离测量;
照相机,被配置为获得环境的2-D图像;
存储器;
光源;以及
控制电路,被耦接到所述成像传感器、所述照相机、所述存储器和所述光源,所述控制电路被配置为引起来自所述光源的第一光发射和来自所述光源的第二光发射;
其中,所述成像传感器包括像素阵列,用于检测由于所述第一光发射被环境中的物体反射而导致的第一回波,并且检测由于所述第二光发射被所述环境中的物体反射而导致的第二回波;
其中,所述控制电路被进一步配置为:
基于所述阵列的像素簇对所述第一回波的检测确定到所述物体的估计距离;
在所述第二回波内识别与使用第一回波确定的估计距离相对应的数据;
使用在所述第二回波内识别的与使用第一回波确定的估计距离相对应的数据来生成针对像素簇的每个单个像素的直方图;
将针对像素簇的每个单个像素的直方图和从照相机获得的环境的2-D图像存储在所述存储器中;并且
基于所述直方图计算到所述物体的距离,
其中,所述第一光发射与所述第二光发射相比以更低的频率被调制,
其中,所述控制电路能够操作以通过执行以下项中的一项或多项来将所述直方图存储在所述存储器中:
丢弃与所述第二回波的光相关联的、不对应于所述估计距离的数据;和
丢弃与所述第一回波的光相关联的数据。
2.根据权利要求1所述的装置,其中,所述控制电路被配置为:
检索与所述第一光发射相关联的非模糊时段;
确定来自所述第一光发射的所述非模糊时段已经被达到;并且
在所述非模糊时段已经被达到之后引起所述第二光发射。
3.根据权利要求1所述的装置,其中,所述第一光发射是第一光脉冲并且所述第二光发射是第二光脉冲,并且其中,所述第一光脉冲比所述第二光脉冲长。
4.根据权利要求1所述的装置,其中,所述控制电路被进一步配置为:
检索与所述第一光发射和接收针对所述第一光发射的任何回波之间的最大时间相对应的时间段;
在所述时间段期间,引起来自所述光源的多个光发射;并且
在所述时间段已经结束之后,使所述光源停止进一步的光发射。
5.根据权利要求4所述的装置,其中,所述控制电路被进一步配置为按序列引起所述第二光发射和所述多个光发射,其中,所述序列指示所述控制电路将所述时间段分成多个时间段,并且其中,所述序列指示所述控制电路在所述多个时间段中的一些时间段期间引起发射,而在所述多个时间段中的其它时间段期间不引起发射。
6.根据权利要求5所述的装置,其中:
所述成像传感器进一步能够操作以检测包括针对所述多个光发射的回波的光和来自其它光源的光;以及
所述控制电路被进一步配置为:
基于光发射的所述序列,识别针对所述多个光发射的回波;并且
基于光发射的所述序列,减去与表示来自所述其它光源的所述光的信号相关联的数据值。
7.根据权利要求5所述的装置,其中,所述控制电路被进一步配置为:
将与针对所述多个光发射的回波相对应的数据存储在直方图存储器中;并且
基于所述直方图存储器中的所述数据生成到所述物体的距离的测量。
8.一种使用飞行时间和伪随机比特序列测量到物体的距离的方法,包括:
使用光源引起第一光发射和第二光发射;
使用包括像素阵列的成像传感器检测由于所述第一光发射被环境中的物体反射而导致的第一回波以及由于所述第二光发射被所述环境中的物体反射而导致的第二回波;
使用照相机获得环境的2-D图像;
基于所述阵列的像素簇对所述第一回波的检测确定到所述物体的估计距离;
在所述第二回波内识别与使用第一回波确定的所述估计距离相对应的数据;
使用在所述第二回波内识别的与使用第一回波确定的所述估计距离相对应的数据来生成与像素簇的每个单个像素相对应的直方图;
将针对像素簇的每个单个像素的直方图和从照相机获得的环境的2-D图像存储在存储器中;并且
基于所述直方图计算到所述物体的距离,
其中,所述第一光发射与所述第二光发射相比以更低的频率被调制,
其中,将所述直方图存储在所述存储器中包括:
丢弃与所述第二回波的光相关联的、不对应于所述估计距离的数据;和
丢弃与所述第一回波的光相关联的数据。
9.根据权利要求8所述的方法,进一步包括:
检索与所述第一光发射相关联的非模糊时段;
确定来自所述第一光发射的所述非模糊时段已经被达到;并且
在所述非模糊时段已经被达到之后引起所述第二光发射。
10.根据权利要求8所述的方法,其中,所述第一光发射是第一光脉冲并且所述第二光发射是第二光脉冲,并且其中,所述第一光脉冲比所述第二光脉冲长。
11.根据权利要求8所述的方法,进一步包括:
检索与所述第一光发射和接收针对所述第一光发射的任何回波之间的最大时间相对应的时间段;
在所述时间段期间,引起来自所述光源的多个光发射;并且
在所述时间段已经结束之后,使所述光源停止进一步的光发射。
12.根据权利要求11所述的方法,进一步包括:
按序列引起所述第二光发射和所述多个光发射,其中,所述序列指示控制电路将所述时间段分成多个时间段,并且其中,所述序列指示所述控制电路在所述多个时间段中的一些时间段期间引起发射,而在所述多个时间段中的其它时间段期间不引起发射。
13.根据权利要求12所述的方法,进一步包括:
使用所述成像传感器检测包括针对所述多个光发射的回波的光和来自其它光源的光;
基于光发射的所述序列,识别所述多个光发射的回波;并且
基于光发射的所述序列,减去与表示来自所述其它光源的所述光的信号相关联的数据值。
14.根据权利要求12所述的方法,进一步包括:
将与针对所述多个光发射的回波相对应的数据存储在直方图存储器中;并且
基于所述直方图存储器中的所述数据生成到所述物体的距离的测量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862688598P | 2018-06-22 | 2018-06-22 | |
US62/688,598 | 2018-06-22 | ||
PCT/EP2019/064419 WO2019243038A1 (en) | 2018-06-22 | 2019-06-04 | Using time-of-flight and pseudo-random bit sequences to measure distance to object |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112424639A CN112424639A (zh) | 2021-02-26 |
CN112424639B true CN112424639B (zh) | 2024-05-28 |
Family
ID=66912775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980047684.1A Active CN112424639B (zh) | 2018-06-22 | 2019-06-04 | 使用飞行时间和伪随机比特序列测量到物体的距离 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11994586B2 (zh) |
EP (1) | EP3811113A1 (zh) |
CN (1) | CN112424639B (zh) |
TW (1) | TWI723413B (zh) |
WO (1) | WO2019243038A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11885915B2 (en) * | 2020-03-30 | 2024-01-30 | Stmicroelectronics (Research & Development) Limited | Time to digital converter |
CN112255638B (zh) * | 2020-09-24 | 2024-05-03 | 奥诚信息科技(上海)有限公司 | 一种距离测量系统及方法 |
CN112346071A (zh) * | 2020-10-30 | 2021-02-09 | 宁波飞芯电子科技有限公司 | 一种距离传感器的测距方法 |
US11971505B2 (en) * | 2020-11-30 | 2024-04-30 | Stmicroelectronics (Grenoble 2) Sas | Methods and devices for peak signal detection |
US11982770B2 (en) * | 2020-11-30 | 2024-05-14 | Semiconductor Components Industries, Llc | Methods and apparatus for histogramming |
US11740339B2 (en) * | 2021-04-26 | 2023-08-29 | National Tsing Hua University | Ranging system |
CN113504532B (zh) * | 2021-06-11 | 2024-04-19 | 深圳市灵明光子科技有限公司 | 基于直接飞行时间法的光信号发射方法及测距系统 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8199248B2 (en) * | 2009-01-30 | 2012-06-12 | Sony Corporation | Two-dimensional polynomial model for depth estimation based on two-picture matching |
US8648702B2 (en) * | 2010-08-20 | 2014-02-11 | Denso International America, Inc. | Combined time-of-flight and image sensor systems |
TWI461656B (zh) | 2011-12-01 | 2014-11-21 | Ind Tech Res Inst | 距離感測裝置及距離感測方法 |
WO2014177750A1 (en) * | 2013-04-29 | 2014-11-06 | Nokia Corporation | A method and apparatus for fusing distance data from a distance sensing camera with an image |
WO2014208018A1 (ja) * | 2013-06-26 | 2014-12-31 | パナソニックIpマネジメント株式会社 | 測距システム |
EP2824478B1 (de) | 2013-07-11 | 2015-05-06 | Sick Ag | Optoelektronischer Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten in einem Überwachungsbereich |
DE102014100696B3 (de) * | 2014-01-22 | 2014-12-31 | Sick Ag | Entfernungsmessender Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten |
IL233356A (en) * | 2014-06-24 | 2015-10-29 | Brightway Vision Ltd | Sensor-based imaging system with minimum wait time between sensor exposures |
GB201413564D0 (en) * | 2014-07-31 | 2014-09-17 | Stmicroelectronics Res & Dev | Time of flight determination |
US20160182891A1 (en) * | 2014-12-22 | 2016-06-23 | Google Inc. | Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View |
KR102456875B1 (ko) * | 2015-03-17 | 2022-10-19 | 코넬 유니버시티 | 심도 촬상 장치, 방법 및 응용 |
US11328446B2 (en) * | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10132616B2 (en) * | 2015-04-20 | 2018-11-20 | Samsung Electronics Co., Ltd. | CMOS image sensor for 2D imaging and depth measurement with ambient light rejection |
US10620300B2 (en) | 2015-08-20 | 2020-04-14 | Apple Inc. | SPAD array with gated histogram construction |
US11150339B2 (en) | 2015-11-23 | 2021-10-19 | Koninklijke Philips N.V. | System for verifying distance measurements |
US9997551B2 (en) * | 2015-12-20 | 2018-06-12 | Apple Inc. | Spad array with pixel-level bias control |
EP3185037B1 (en) * | 2015-12-23 | 2020-07-08 | STMicroelectronics (Research & Development) Limited | Depth imaging system |
US10582121B2 (en) * | 2016-01-12 | 2020-03-03 | Mitsubishi Electric Research Laboratories, Inc. | System and method for fusing outputs of sensors having different resolutions |
EP3232224B1 (de) * | 2016-04-12 | 2018-06-13 | Sick Ag | Entfernungsmessender optoelektronischer sensor und verfahren zur erfassung und abstandsbestimmung von objekten |
US20170353649A1 (en) * | 2016-06-07 | 2017-12-07 | Stmicroelectronics, Inc. | Time of flight ranging for flash control in image capture devices |
US10165168B2 (en) * | 2016-07-29 | 2018-12-25 | Microsoft Technology Licensing, Llc | Model-based classification of ambiguous depth image data |
EP3497477A1 (en) * | 2016-08-12 | 2019-06-19 | Fastree3D SA | Method and device for measuring a distance to a target in a multi-user environment by means of at least one detector |
JP7022057B2 (ja) * | 2016-09-01 | 2022-02-17 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
US20180081041A1 (en) | 2016-09-22 | 2018-03-22 | Apple Inc. | LiDAR with irregular pulse sequence |
US11493614B2 (en) * | 2016-11-01 | 2022-11-08 | Fastree3D Sa | Method and device for measuring a distance to a target in a multi-user environment using at least two wavelengths |
US10275610B2 (en) * | 2016-11-28 | 2019-04-30 | Stmicroelectronics, Inc. | Time of flight sensing for providing security and power savings in electronic devices |
US10416293B2 (en) * | 2016-12-12 | 2019-09-17 | Sensl Technologies Ltd. | Histogram readout method and circuit for determining the time of flight of a photon |
GB201622429D0 (en) | 2016-12-30 | 2017-02-15 | Univ Court Of The Univ Of Edinburgh The | Photon sensor apparatus |
CN106772431B (zh) * | 2017-01-23 | 2019-09-20 | 杭州蓝芯科技有限公司 | 一种结合tof技术和双目视觉的深度信息获取装置及其方法 |
US10419741B2 (en) * | 2017-02-24 | 2019-09-17 | Analog Devices Global Unlimited Company | Systems and methods for compression of three dimensional depth sensing |
KR102609223B1 (ko) * | 2017-03-01 | 2023-12-06 | 아우스터, 인크. | 라이더를 위한 정확한 광검출기 측정 |
EP3382419A1 (en) * | 2017-03-27 | 2018-10-03 | Melexis Technologies SA | Method and apparatus for echo detection |
EP3646057A1 (en) * | 2017-06-29 | 2020-05-06 | Apple Inc. | Time-of-flight depth mapping with parallax compensation |
US10754033B2 (en) * | 2017-06-30 | 2020-08-25 | Waymo Llc | Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses |
DE102017115710A1 (de) * | 2017-07-12 | 2019-02-07 | Airbus Defence and Space GmbH | LIDAR-Anordnung und LIDAR-Verfahren |
US10627492B2 (en) * | 2017-08-01 | 2020-04-21 | Waymo Llc | Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system |
US11579298B2 (en) * | 2017-09-20 | 2023-02-14 | Yujin Robot Co., Ltd. | Hybrid sensor and compact Lidar sensor |
JP7109906B2 (ja) * | 2017-11-14 | 2022-08-01 | シャープ株式会社 | 光センサ及び電子機器 |
WO2019102751A1 (ja) * | 2017-11-22 | 2019-05-31 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置 |
US11662433B2 (en) * | 2017-12-22 | 2023-05-30 | Denso Corporation | Distance measuring apparatus, recognizing apparatus, and distance measuring method |
WO2019132778A1 (en) * | 2017-12-27 | 2019-07-04 | Ams Sensors Singapore Pte. Ltd. | Optical ranging system having multi-mode operation using short and long pulses |
DE102018201220A1 (de) * | 2018-01-26 | 2019-08-01 | Osram Gmbh | Abstandsdetektionssystem, Verfahren für ein Abstandsdetektionssystem und Fahrzeug |
US11467286B2 (en) * | 2018-02-13 | 2022-10-11 | Sense Photonics, Inc. | Methods and systems for high-resolution long-range flash lidar |
US10996323B2 (en) * | 2018-02-22 | 2021-05-04 | Stmicroelectronics (Research & Development) Limited | Time-of-flight imaging device, system and method |
CN112424641B (zh) * | 2018-05-14 | 2024-08-20 | ams国际有限公司 | 使用用于立体图像处理的飞行时间技术 |
US20200003900A1 (en) * | 2018-06-29 | 2020-01-02 | Perceptive Inc. | Systems and methods for measuring characteristics of an object at distance |
US11609313B2 (en) * | 2018-07-31 | 2023-03-21 | Waymo Llc | Hybrid time-of-flight and imager module |
GB2579689A (en) * | 2018-08-07 | 2020-07-01 | Cambridge Mechatronics Ltd | Improved 3D sensing |
US11513197B2 (en) * | 2018-10-15 | 2022-11-29 | Leica Geosystems Ag | Multiple-pulses-in-air laser scanning system with ambiguity resolution based on range probing and 3D point analysis |
JP6970703B2 (ja) * | 2019-03-18 | 2021-11-24 | 株式会社東芝 | 電子装置および方法 |
EP3730967B1 (en) * | 2019-04-23 | 2023-05-31 | Melexis Technologies NV | Method of generating a time domain echo waveform and electromagnetic radiation echo waveform generation system |
WO2020237448A1 (zh) * | 2019-05-24 | 2020-12-03 | 华为技术有限公司 | 回波信号处理方法、装置、系统及存储介质 |
-
2019
- 2019-06-04 WO PCT/EP2019/064419 patent/WO2019243038A1/en active Application Filing
- 2019-06-04 CN CN201980047684.1A patent/CN112424639B/zh active Active
- 2019-06-04 US US16/973,662 patent/US11994586B2/en active Active
- 2019-06-04 EP EP19731160.8A patent/EP3811113A1/en active Pending
- 2019-06-05 TW TW108119430A patent/TWI723413B/zh active
Also Published As
Publication number | Publication date |
---|---|
TW202001190A (zh) | 2020-01-01 |
WO2019243038A1 (en) | 2019-12-26 |
TWI723413B (zh) | 2021-04-01 |
US20210199802A1 (en) | 2021-07-01 |
EP3811113A1 (en) | 2021-04-28 |
CN112424639A (zh) | 2021-02-26 |
US11994586B2 (en) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112424639B (zh) | 使用飞行时间和伪随机比特序列测量到物体的距离 | |
US20240028667A1 (en) | Method and apparatus for processing a histogram output from a detector sensor | |
CN106896369B (zh) | 测距装置 | |
US11320514B2 (en) | Method and device for measuring a distance to a target in a multi-user environment by means of at least one detector | |
US9325920B2 (en) | Processing of time-of-flight signals | |
US11175404B2 (en) | Lidar system and method of operating the lidar system comprising a gating circuit range-gates a receiver based on a range-gating waveform | |
US9316735B2 (en) | Proximity detection apparatus and associated methods having single photon avalanche diodes for determining a quality metric based upon the number of events | |
US10261175B2 (en) | Ranging apparatus | |
JP6788737B2 (ja) | 光センサ及び電子機器 | |
JP6261681B2 (ja) | タイムオブフライト信号の処理における又はこれに関する改良 | |
CN112731425B (zh) | 一种处理直方图的方法、距离测量系统及距离测量设备 | |
US10705212B2 (en) | Optical sensor and electronic device | |
US20170003382A1 (en) | Method of preparing histograms of a sensor signal from an array of sensors, in particular proximity sensors, and corresponding device | |
US20220187430A1 (en) | Time of flight calculation with inter-bin delta estimation | |
US20220252730A1 (en) | Time-of-flight imaging apparatus and time-of-flight imaging method | |
US11561291B2 (en) | High pulse repetition frequency lidar | |
US20240036208A1 (en) | Time of flight sensing | |
CN113009498A (zh) | 一种距离测量方法、装置及系统 | |
RU2361237C2 (ru) | Способ светолокационного измерения высоты облачных слоев и устройство для его осуществления | |
RU2626973C1 (ru) | Оптическое устройство для определения расстояний до объекта | |
CN116381709A (zh) | 飞行时间的测量方法、存储介质和装置 | |
WO2020223982A1 (zh) | 时间飞行深度相机及抗干扰的距离测量方法 | |
CN118233613A (zh) | 具有使用动态时间窗口的飞行时间传感器的光电设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |