CN114730009A - 用于确定到场景的距离的方法和设备 - Google Patents

用于确定到场景的距离的方法和设备 Download PDF

Info

Publication number
CN114730009A
CN114730009A CN202080066981.3A CN202080066981A CN114730009A CN 114730009 A CN114730009 A CN 114730009A CN 202080066981 A CN202080066981 A CN 202080066981A CN 114730009 A CN114730009 A CN 114730009A
Authority
CN
China
Prior art keywords
detection time
time window
max
laser light
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066981.3A
Other languages
English (en)
Inventor
R·派森
D·范德克
S·范德维勒
N·范登布勒克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xenomatix NV
Original Assignee
Xenomatix NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xenomatix NV filed Critical Xenomatix NV
Publication of CN114730009A publication Critical patent/CN114730009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本公开涉及一种用于确定到场景的距离的方法和设备。该方法包括以下步骤:通过使用脉宽缩减因子N来确定小于对应于最大距离Dmax的最大飞行时间TOFmax的激光脉宽PW,使得PW=(TOFmax–TDL)/N,其中TDL是预定义延迟窗口;确定脉冲频率FP,使得FP≤1/((N+1)×PW+TDL);用照明图案来照亮场景,所述照明图案包括具有所确定的脉宽和频率的多个在空间上分开的脉冲激光束;在划分成M=α×(N+1)个连贯检测时间窗口的检测时间段TD期间因变于时间来执行检测,使得TD=M×(PW/α),其中α≥1;标识在其中检测到反射激光的检测时间窗口,并基于该标识来计算到场景的距离。

Description

用于确定到场景的距离的方法和设备
公开领域
本公开涉及一种用于确定到场景的距离的系统。更具体而言,本发明涉及一种使用激光来照亮场景并检测反射激光的基于飞行时间的感测方法。本发明还涉及用于检测到场景中的一个或多个对象的距离的LIDAR设备。
背景技术
基于主动照明的用于确定场景距离的设备也称为LIDAR(光检测和测距)设备。LIDAR设备通过用激光照亮场景并通过在检测器中检测反射激光来测量到场景的距离,检测器通常位于发射激光的激光源附近。因此,激光的发射和对反射激光的检测之间的时间间隔与到反射该激光的场景对象或场景部分的距离的两倍成正比。
大多数已知的LIDAR设备都使用直接TOF(DToF)检测方法。这些系统包括在纳秒脉冲范围内操作的强大脉冲激光器、扫描脉冲激光束的机械扫描系统、以及脉冲检测器。这一类型的系统目前可从包括加利福尼亚州摩根山Velodyne LIDAR在内的供应商处获得。作为现有系统的示例,Velodyne HDL-64E在机械旋转结构中以每秒5到15转的速度使用64个高功率激光器和64个雪崩二极管检测器。
这些DTOF系统具有一些缺点。例如,这些系统需要具有无法用当前可用的半导体激光器获得的过高功率电平的激光器,当前可用的半导体激光器的功率电平低几个数量级。另外,用于扫描目的的机械旋转元件的使用进一步限制了此类系统的小型化、可靠性和成本降低的前景。
LIDAR设备的紧凑性是汽车行业中应用的重要因素,其中LIDAR设备例如将耦合到汽车的前挡风玻璃或耦合到汽车的保险杠上。事实上,LIDAR设备是开发自动驾驶或驾驶员辅助系统的关键因素。在这一上下文中,LIDAR设备被用于检测障碍物,诸如车辆环境中的其他车辆或对象。
在WO2017/068199中,提出了一种使用半导体激光器和基于CMOS的多阱像素检测器的LIDAR设备。这允许制造紧凑型LIDAR设备,其中照明系统和检测系统一起放置在紧凑的壳体中。WO2017/068199中公开的设备使用投影仪,该投影仪被配置成用于用由以光斑图案同时发射的多个在空间上分开的脉冲激光形成的照明图案来照亮场景。激光脉冲作为脉冲链发射,即以给定的脉冲频率发射脉冲序列。基于CMOS的多阱像素检测器检测代表场景所反射的在空间上分开的脉冲或在空间上分开的脉冲的一部分的反射激光的光斑。以此方式,可以在不使用任何旋转或机械扫描元件的情况下获得场景的深度图。
WO2017/068199中使用的照明和检测方法的原理在如图1上示出,其中所发射的激光脉冲和所反射的脉冲分别用附图标记11和12标识。该图1仅是示意图,且与所发射的脉冲11的振幅相比,所反射的脉冲12的振幅通常较小。这一方法也被称为距离选通方法。检测器被配置成用于检测代表在第一时间窗口TW1期间获得的反射激光的第一量的第一电荷量和代表在第二时间窗口TW2期间获得的反射激光的第二量的第二电荷量。第二时间窗口发生在第一时间窗口之后,并且这两个时间窗口的宽度等于激光脉冲的脉宽PW。处理装置允许基于第一电荷量和第二电荷量来计算到场景的对象的距离。
在WO2017/068199中,场景是用脉冲序列来照亮的。以此方式,可以在第一TW1和第二TW2时间窗口中累积足够的电荷,以获得允许计算到场景的对象的距离的信噪比。用脉冲序列照亮场景、累积反射激光、读出电荷以及基于所累积的电荷来计算距离通常称为帧或帧测量。然而,当执行单个帧测量时,获得的距离的精度(也称为时间精度或时间误差)较低。事实上,当生成多个帧时,逐帧的测得距离存在很大差异(spread)。换言之,时间误差(即测量分布的sigma值σ)很大。因此,总是拍摄多个帧,并确定平均对象距离。以此方式,与单个帧测量的误差相比,平均对象距离值的误差用因子
Figure BDA0003561405820000021
来减小,其中NF是帧数。对于经完美校准的LIDAR设备,从多个帧获得的所计算的平均距离等于标准偏差
Figure BDA0003561405820000022
所确定的置信区间内的实际距离。
当与上述DToF系统相比,WO2017/068199中公开的LIDAR设备具有许多优点。事实上,此类固态LIDAR设备紧凑、稳健,并且可以以成本高效的方式生产。然而,这些类型的LIDAR设备也有缺点,即需要拍摄大量帧以获得可接受的空间准确度的事实。这大大缩短了LIDAR检测器的总体响应时间,并限制了在给定时间段内可以测量的点的数量。
因此,需要改进此类紧凑型LIDAR设备,更确切而言,需要使这些类型的LIDAR设备可在广泛的距离范围内操作,包括等于或大于100米的距离,并以高精准度进行距离测量。
概要
本发明的目的是提供一种用于确定到场景中的一个或多个对象的距离的方法,更具体而言,用于以高精准度确定对象距离,以使得即使使用单个帧测量,也可以在有限的帧数下获得可接受的空间准确度。换言之,目的是减小上述时间误差σ。另一目的是提供一种包括检测和处理装置的LIDAR设备,该检测和处理装置用于以高精准度确定对象距离,使得能够极大地减少要拍摄的帧数或甚至限制到单个帧测量。
本发明在所附独立权利要求中定义。从属权利要求定义了有利的实施例。
根据本发明的第一方面,一种用于通过使用脉冲激光照亮场景并检测与激光飞行时间相关的反射激光来确定到场景中的一个或多个对象的距离的方法,并且其中场景中的一个或多个对象位于最小距离和最大距离之间的距离范围内,并且其中0≤Dmin≤0.6×Dmax,优选地0≤Dmin≤0.4×Dmax,更优选地0≤Dmin≤0.2×Dmax,其中Dmin和Dmax分别是限定距离范围的最小距离和最大距离。
根据本发明的方法包括以下步骤:
A)确定脉冲激光的脉宽,该脉宽小于与最大距离相关联的最大飞行时间,以使得
PW=(TOFmax–TDL)/N,其中TOFmax=2×Dmax/c,
其中PW是脉宽,Dmax是最大距离,c是光速,TOFmax是最大飞行时间,TDL是预定延迟时间窗口,其中0≤TDL≤2×Dmin/c,且N是预定义脉宽缩减因子,
B)确定脉冲频率,使得FP≤1/((N+1)×PW+TDL),其中FP是脉冲频率,并且其中FP=1/PP,其中PP是脉冲周期,
C)确定用于在脉冲激光的脉冲周期内检测反射激光的检测时间段,并且其中TD=(N+1)×PW,其中TD是检测时间段,
以及将检测时间段拆分成数个连贯检测时间窗口TW[i],其中i=1到M,且M是检测时间窗口的数量,并且其中:
Figure BDA0003561405820000041
且M=α×(N+1)
其中α是表示每脉宽所选择的检测时间窗口的数量的整数,其中α≥
1,优选地α≤10,优选地α≤5,并且其中α和N被选择成使得α×N≥
2,优选地α×N≥3,更优选地α×N≥4,
D)用由多个空间上分开的脉冲激光束形成的光斑图案来照亮场景,并且其中每一脉冲激光束包括脉冲序列,该脉冲序列具有在步骤A)中确定的脉宽和在步骤B)中确定的脉冲频率,并且其中多个脉冲激光束中的每一者的脉冲是同时发射的,
E)在如步骤D)中的所定义地照亮场景时,在每次同时发射脉冲之后,在步骤C)中定义的检测时间段(TD)的连贯检测时间窗口TW[i]期间检测反射激光的光斑,并且其中这些光斑表示被场景中的一个或多个对象反射的在空间上分开的脉冲激光束,
以及对于诸脉冲的每一同步发射,与脉冲激光束的诸脉冲的发射同步地执行对反射激光的光斑的所述检测:
a)如果延迟时间窗口为零,则执行所述同步以使得第一检测时间窗口TW[1]与脉冲的发射时间窗口交叠或至少部分交叠,以及
b)如果延迟时间窗口不为零,则执行所述同步以使得第一检测时间窗TW[1]相对于脉冲的发射时间窗口延迟且延迟等于该延迟时间窗口,
F)对于每一所检测的反射激光的光斑,通过累积在检测时间窗口TW[i]中检测到的反射激光的量来获得与检测时间窗口TW[i]相关联的曝光值,并且其中对于脉冲序列的所有脉冲执行该累积,
G)对于每一所检测的反射激光的光斑:
i)标识在连贯检测时间窗口TW[i]中的哪些检测时间窗口中检测到反射激光,
ii)基于所标识的检测时间窗口来计算对象距离,并且其中该对象距离对应于检测反射激光的光斑的检测器与导致反射激光被检测到的场景中的对象或该场景中的对象的一部分之间的距离。
有利地,通过相对于最大飞行时间TOFmax(即对应于要测量的最大距离的TOFmax)来减小激光脉冲的脉宽,并减小用于检测反射激光的检测时间窗口,距离确定的时间精度(上述定义为测量分布的sigma值σ)得到了改善,即sigma值σ降低。换言之,时间精度得到了改善。这允许减少要拍摄的帧数,或甚至允许执行单个帧测量。如果LIDAR设备经过完美校准并且如果仅执行单个帧测量,则时间精度确定测得距离值与实际距离值相等的概率。
有利地,定义检测时间段和脉冲频率,使得在发射后续激光脉冲之前的在检测时间段内检测来自位于最大距离处的对象的反射激光。这避免了混叠问题。
有利地,利用根据本发明的方法,利用具有所述的脉宽的相同激光脉冲序列和所述的检测时间窗口,可以在较宽的距离范围内(即从短距离Dmin到最大距离Dmax)检测对象。
在检测时间段期间因变于时间来执行对反射激光的检测具有在最多两个检测时间窗口内检测到反射激光的额外优点,其中检测时间段被划分成M个连贯检测时间窗口,其中每一检测时间窗口的时间宽度基本上等于脉宽,即α=1。因此,因为M≥3,所以存在可被用作背景检测时间窗口的至少一个检测时间窗口,使得执行背景测量不需要额外的时隙。
同样,如果α>1,则在最多α+1个检测时间窗口中检测反射激光,并且因此脉宽因子可被选择成使得检测时间窗口可供用于执行背景测量。
有利地,由于距离测量的经改进精度,可以减少帧数,并且因此帧数可以降低并且因此改进了LIDAR设备的整体响应时间。
最小距离Dmin的下限“0”必须解释为0米。
在各实施例中,最小距离Dmin等于0米,并且因此延迟时间窗口TDL被设置成0纳秒。
在各实施例中,0.005×Dmax≤Dmin≤0.6×Dmax。在其他实施例中,0.01×Dmax≤Dmin≤0.6×Dmax。在又一些实施例中,0.01×Dmax≤Dmin≤0.4×Dmax
在各实施例中,N和α的积等于或小于1000,优选地等于或小于500,更优选地等于或小于100。
在各实施例中,预定义脉宽缩减因子N等于或大于3,而在其他实施例中,N等于或大于4。
在一些实施例中,预定义脉宽缩减因子N包含在以下范围内:2≤N≤20,优选地3≤N≤20。
在各实施例中,最大距离Dmax包括在以下范围内:30米≤Dmax≤1000米,优选地在范围50米≤Dmax≤500米内。然而,本发明不限于待确定的特定最大距离。
如上所定义并在权利要求书中定义的检测时间段TD必须被解释为检测到反射激光的检测时间段,因此不排除在检测时间段TD之后的附加检测时间窗口被进一步用于检测例如背景或执行其他测量。
在各实施例中,对于i=1到M,连贯检测时间窗口TW[i]的持续时间基本相等。
在各实施例中,对于每一连贯检测时间窗口TW[i],其中i=1到M,(|(PW/α)-TW[i]|/(PW/α))≤0.10,优选地(|(PW/α)-TW[i]|/(PW/α))≤0.05,更优选地(|(PW/α)-TW[i]|/(PW/α))≤0.02。
在各实施例中,根据本发明的方法是用于使用LIDAR设备确定到场景中的一个或多个对象的距离的方法。
注意,根据本发明的方法不限于所定义的步骤的特定次序,并且用字母A)到G)标识的步骤不应被解释为指示特定的时间次序。例如,步骤A)到C)可以以不同次序执行或并行执行。字母A)至G)仅用于标识由本发明方法所包括的不同步骤,并且当例如在文本中进一步详细讨论这些步骤时,这些字母用作参考。
在各实施例中,对反射激光的检测是用激光接收设备来执行的,该激光接收设备包括具有多个像素的多阱像素检测器,并且其中每一像素包括光敏区和多个电荷存储阱W[i],其中i=1到NW,其中NW是电荷存储阱的数量,且NW≤M,并且其中该多个电荷存储阱被配置成用于存储在检测时间段TD期间由光敏区检测到的电荷。在优选实施例中,NW<M且M≥4。
在根据本发明的实施例中,在步骤C)中,如果整数α被选择成大于一,则α被选择成低于NW,优选地α=Round(NW/2),其中Round是将比值NW/2四舍五入为最接近整数的函数。如果NW是奇数,则除以2后的四舍五入可以设置成最低或最高整数。
在各实施例中,α+1个连贯检测时间窗口中的每一子序列TW[k]到TW[k+α]与多个电荷存储阱W[i]中的α+1个电荷存储阱的唯一性序列相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的,其中k=1到M-α。
在其中α=1的各实施例中,每一对连贯检测时间窗口TW[k]到TW[k+1]与多个电荷存储阱W[i]中的唯一性的一对电荷存储阱相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的,其中k=1到M-1。
在其中α=1的实施例中,在步骤A)中,脉宽缩减因子N被定义成使得在电荷存储阱的数量是奇数的情况下,N≤NW!/((NW-2)!×2),或者在电荷存储阱的数量是偶数的情况下,N≤[NW!/((NW-2)!×2)]–[(NW!/((NW-1)!×2))-1]。
在各实施例中,在步骤G)ii)中,对象距离的计算基于所标识的检测时间窗口和/或基于至少针对其中标识了反射激光的最早和最后一个检测时间窗口获得的曝光值。在一些实施例中,对象距离的计算基于在标识反射激光的最早检测时间窗口之前的检测时间窗口的数量的计数。根据本公开的第二方面,提供了一种用于确定到场景的一个或多个对象的距离的LIDAR设备。此类LIDAR设备包括:投影仪,其被配置成用于用由多个在空间上分开的脉冲激光束形成的光斑图案照亮该场景,其中每一脉冲激光束包括具有脉宽的脉冲序列,并且其中该多个脉冲激光束中的每一脉冲是同时发射的;包括基于CMOS的多阱像素检测器的光接收设备,该多阱像素检测器被配置成用于检测反射激光的光斑,该反射激光的光斑表示由该场景的一个或多个对象反射的光斑图案;以及控制器,该控制器用于控制投影仪和光接收设备,以便与脉冲激光束的脉冲的同时发射同步地检测和积累反射激光。
根据本发明的LIDAR设备的特征在于,基于CMOS的多阱像素检测器被配置并可操作用于在落在脉冲激光束的脉冲周期内的检测时间段期间检测反射激光,并且其中该检测时间段被划分成多个连贯检测时间窗口TW[i],其中i=1到M,M是检测时间窗口的数量,其中M≥3,优选地M≥4,更优选地M≥5,并且其中
Figure BDA0003561405820000081
PW是脉宽,TD是检测时间段,且α是整数,其中α≥1,优选地α≤10,更优选地α≤5。
对于i=1到M,连贯检测时间窗口TW[i]的持续时间基本相等。在各实施例中,对于每一检测时间窗口TW[i],其中i=1到M,(|PW-TW[i]|/PW)≤0.10,优选地(|PW-TW[i]|/PW)≤0.05,更优选地(|PW-TW[i]|/PW)≤0.02。
基于CMOS的多阱像素检测区还被配置且可操作用于对于每一所检测的反射激光的光斑,通过累积表示在检测时间窗口TW[i]中检测到的反射激光的电荷量来获得与检测时间窗口TW[i]相关联的曝光值,并且其中对于脉冲序列的所有脉冲执行该累积。
LIDAR的特征还在于,控制器被配置成用于执行同步,以使得i)第一检测时间窗口TW[1]与脉冲的脉冲发射时间窗口交叠或至少部分交叠,或者另选地使得ii)第一检测时间窗口TW[1]相对于脉冲的发射时间窗口被延迟,并且该延迟等于预定义延迟时间窗口。
优选地,预定延迟时间因子等于或小于2×Dmin/c,Dmin是最小距离且c是光速,使得可以检测位于最小距离Dmin之处或附近的对象并确定距离。
根据本发明的LIDAR设备的特征进一步在于,其包括处理装置,该处理装置被配置成用于对于每一检测到的反射激光的光斑,i)标识在连贯检测时间窗口的哪些检测时间窗口中获得代表反射激光的曝光值,ii)基于所标识的检测时间窗口和/或在这些所标识的检测时间窗口中累积的电荷,计算到场景的对象的对象距离。
在各实施例中,基于CMOS的多阱像素检测器包括多个像素,并且其中每一像素包括光敏检测区和多个电荷存储阱W[i],其中i=1到NW且NW是电荷存储阱的数量,其中NW≤M,并且其中多个电荷存储阱被配置成用于存储在检测时间段期间由光敏区检测到的电荷。在优选实施例中,其中NW<M且M≥4。
在包括此类基于CMOS的多阱像素检测区并且其中NW<M且M≥4的各实施例中,α+1个连贯检测时间窗口TW[k]到TW[k+α]中的每一子序列与多个电荷存储阱W[i]中的α+1个电荷存储阱的唯一性序列相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的,其中k=1到M-α。
在M≥4且α=1的各实施例中,对于多阱像素检测器NW<M中的每一像素,检测时间窗口中的每一对连贯检测时间窗口TW[k]和TW[k+1]与唯一性的一对电荷存储阱W[m]和W[n]相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的。
在其中α=1的实施例中,电荷存储阱的数量NW和检测时间窗口的数量M定义如下:NW=3且M=4,或者NW=4且5≤M≤6,或者NW=5且7≤M≤11。
在优选实施例中,LIDAR设备被配置成使得检测时间窗口的数量M和脉宽PW是相关的,并且该关系被定义为:PW=(TOFmax–TDL)/((M-α)/α),其中TOFmax=2×Dmax/c,其中TOFmax是最大飞行时间且Dmax是与最大飞行时间相关联的最大距离,c是光速,且TDL是预定义延迟时间窗口,其中0≤TDL≤(0.6×TOFmax),优选地0≤TDL≤(0.4×TOFmax),更优选地0≤TDL≤(0.2×TOFmax)。最大距离是LIDAR设备的工作范围,一般而言是LIDAR设备的最大工作范围。
在各实施例中,与LIDAR设备的最大工作范围相对应的最大距离Dmax在以下范围内:30米≤Dmax≤1000米,优选地在范围50米≤Dmax≤500米。
在各实施例中,投影仪被配置成用于以脉冲频率FP提供脉冲激光束,使得FP≤1/((M/α)×PW+TDL)。
在各实施例中,由脉冲激光束产生的激光具有在800nm和1600nm之间的波长。
在根据本发明的实施例中,α≥2。
本发明还涉及包括根据本发明的LIDAR设备的交通工具。
附图的简短描述
将通过示例并参考附图更详细地解释本公开的这些和其他方面,附图中:
图1示意性地解说了用于光照和检测的现有技术时序图,
图2示意性地解说了形成脉冲链的脉冲序列的示例,
图3示意性地解说了多个帧的重复,
图4示意性地解说了根据本发明的实施例的脉冲发射和检测的各时序图,
图5示意性地解说了根据本发明的实施例的脉冲发射和检测的时序图的又一些示例,
图6示意性地解说了脉冲发射和检测的时序图,其中脉冲发射时间窗口和用于检测反射激光的第一检测时间窗口之间存在延迟,
图7示意性地解说了与给定数量的检测时间窗口相关联的多个检测器阱的两个示例,
图8示意性地解说了脉冲发射和检测的时序图的示例,其中α=2,
图9示意性地解说了使用根据本发明的方法的距离测量的时间误差的减小,
图10示意性地解说了根据本发明的实施例的LIDAR设备。
这些附图的绘制既不是按比例也是不成比例的。一般而言,在附图中,相同组件由相同附图标记来表示。
实施例的详细描述
将根据具体实施例来描述本公开,这些实施例是本公开的解说性实施例而不应被解释为是限制性的。本领域技术人员将领会,本公开不受已经具体示出和/或描述的内容的限制,并且可以根据本公开的整体教学开发出替换或修改的实施例。所描述的附图仅是示意性的且是非限制性的。
动词“包括”以及相应词形变化的使用并不排除所陈述的元素以外的其他元素的存在。在元素前面使用冠词“一”、“一个”或“该”并不排除存在多个这样的元素。
此外,说明书中和权利要求中的术语第一、第二等等用于在类似的要素之间进行区分,并且不一定用于在时间上、空间上、以排名或以任何其他方式描述顺序。应当理解,如此使用的术语在适当的环境下是可互换的,并且本文中所描述的本公开的实施例能够以不同于本文中所描述或所解说的顺序操作。
贯穿本说明书,对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本公开的一个或多个实施例中。因此,短语“在一个实施例中”或“在一实施例中”贯穿本说明书在各个地方的出现并不一定全部指代同一实施例,而是可以指代同一实施例。此外,在一个或多个实施例中,如通过本公开将对本领域普通技术人员显而易见的,特定的特征、结构或特性能以任何合适的方式进行组合。
当诸如在脉冲激光束的脉宽中使用词语“脉宽”时,它必须被解释为时间脉宽,以时间单位表示,例如以纳秒表示。
用于确定到场景的距离的方法,概述
根据本公开的第一方面,提供了一种用于确定到场景的一个或多个对象的距离的方法。场景是例如一区域,例如安装在汽车挡风玻璃或保险杠上的LIDAR设备所观察的区域。取决于LIDAR设备的视野,场景可以覆盖大面积或较小面积。汽车应用的视野是例如30°x10°、120°×30°或任何其他合适的视野。场景可以包括例如处于距LIDAR设备不同距离处的各种对象,或几个对象或仅一个对象。该方法旨在对场景进行距离绘图,从而标识到诸对象的不同距离或到场景的诸部分的距离。根据本发明的方法不仅限于用于汽车应用的LIDAR,而且该方法还可应用于其中LIDAR例如安装在飞机或卫星上的其他领域。
该方法包括用由多个在空间上分开的脉冲激光束形成的光斑图案来照亮场景的步骤。每一脉冲激光束包括具有脉宽PW和脉冲频率FP的脉冲序列。多个脉冲激光束中的每一者的诸脉冲是同时发射的。这种脉冲序列也被称为脉冲链(train),并且脉冲链50的示例在图2上示意性地示出。在这一解说性示例中,仅示出了5个脉冲,但实际上,脉冲链中的脉冲数通常要大得多。例如,在一些实施例中,脉冲链中的脉冲数在50到500个脉冲之间。脉冲11的脉宽PW和脉冲周期PP与脉冲频率FP成反比,如图2上所示。
在各实施例中,如图2上所示,脉冲是块脉冲,即矩形脉冲。然而,本发明不限于脉冲的特定形状。在其他实施例中,脉冲可以具有另一形状。
在各实施例中,由形成离散光斑图案的激光束产生的激光的波长在800nm和1600nm之间。
在又一步骤中,检测反射激光的光斑。这些光斑表示由场景中的一个或多个对象或场景中的一个或多个对象的一部分反射的光斑图案。该检测在脉冲激光束的每一脉冲周期PP内并与脉冲激光束的诸脉冲的同时发射同步地执行。
反射激光的检测例如用光接收设备执行,光接收设备包括基于CMOS的多阱像素检测器和光学元件,诸如一个或多个光学透镜和窄带滤光器。下文将更详细地讨论可被用于应用根据本发明的方法的光接收设备。
根据本发明的方法包括确定由用于形成照亮场景的光斑图案的脉冲激光束生成的脉冲激光的最佳脉宽PW的步骤。
根据本发明的方法,脉宽PW是相关于最大距离Dmax确定的。实际上,场景中的一个或多个对象位于最小距离Dmin和最大距离Dmax之间的距离范围中的距离Ds处。一般而言,0≤Dmin≤0.6×Dmax,优选地0≤Dmin≤0.4×Dmax,更优选地0≤Dmin≤0.2×Dmax。换言之,对象可以位于不同的距离处,并且该方法允许确定到一个或多个对象的距离,无论该一个或多个对象实际上位于在Dmin和Dmax之间的任何距离处。
该最大距离可解释为所需的最大工作范围,即最大距离对应于仍应是能毫无疑义地测量的到场景的最大距离。例如,如果将Dmax定义为100米,则意味着根据本发明的方法,场景中的位于100米或以下的对象应该是可检测的,并且距离是可测量的,而到场景中位于最大距离之外的对象的距离不需要能够被确定。对于根据本发明的方法,该最大距离通常等于或大于50米,并且通常等于或小于500米。但取决于应用,待测的最大距离也可更大,例如1000米或甚至更大。根据本发明的方法不受具体最大距离的限制。
根据本发明的方法,脉宽PW被设置为小于与最大距离Dmax相关联的最大飞行时间TOFmax。当激光在已经被发射并被对象反射回来后被检测到时,它所经过的距离是到对象的距离的两倍。因此,TOFmax等于(2×Dmax/c),其中c是光速。脉宽PW被设置成等于[TOFmax–TDL]/N,且N是预定义脉宽缩减因子,且TDL是预定延迟时间窗口。
预定延迟时间因子通常等于或小于2×Dmin/c,使得可以检测位于最小距离Dmin之处或附近的对象并确定距离。
在图4中,示出了其中预定延迟时间窗口为零的各实施例。如图4示意性地解说的,在这一情形中下,脉宽缩减因子N对应于最大可测量飞行时间TOFmax与所发射激光脉冲11的脉宽PW之间的比率。
根据本发明的方法,对于每一检测到的反射激光的光斑,获得作为时间的函数的曝光值。
根据本发明的方法包括确定落在脉冲激光束的脉冲周期PP内与用于检测反射激光的检测时间段TD的步骤,并且还包括将检测时间段TD划分成M个连贯检测时间窗口TW[i],其中i=1到M,M是检测时间窗口的数量,并且其中M=α×(N+1)。检测时间段TD表示为:
Figure BDA0003561405820000131
其中α是整数,其中α≥1。因子α表示每脉宽的时间窗口的数量。下面将进一步讨论其中α=1和α>1的两个实施例。
在其中α=1的各实施例中,预定义脉宽缩减因子N通常等于或大于2,优选地等于或大于3,且更优选地等于或大于4。
在各实施例中,α和N被选择成使得α×N≥2,优选地α×N≥3,更优选地α×N≥4。
每一检测窗口TW[i]必须被解释为一时间段。在各实施例中,对于i=1到M,连贯检测时间窗口TW[i]的持续时间基本相等。
在图4中,示出了对于N从2到5以及α=1的值而言的检测时间窗口的数量。图4上示出的各实施例是其中预定延迟时间窗口为零的实施例。
在图6中,示出了实施例的示例,其中预定延迟时间窗口TDL不为零。在各实施例中,0≤TDL≤0.6×TOFmax,优选地0≤TDL≤0.4×TOFmax,更优选地0≤TDL≤0.2×TOFmax。本领域技术人员将取决于所使用的检测装备以及取决于需要使用同一装备测量的对象距离的范围来选择应用或不应用延迟时间窗TDL。例如,如果目的是测量在最小距离Dmin等于Dmax的10%和最大距离Dmax之间的范围内的对象距离,则可以设置等于TOFmax的10%的时间延迟,以减少用于检测反射激光的检测器的像素阱的数量,这将在下文中进一步讨论。另一方面,如果对象能定位在0米(即Dmin=0)和最大距离Dmax之间的任何距离处并需要在此被检测,则本领域技术人员可以选择不实现延迟时间窗口。
如图4、图6和图8上所示,每一检测时间窗口TW[i]几乎等于比率PW/α,其中PW是所发射的激光脉冲11且α是阿尔法因子,对于图4和图5的示例而言α等于1且对于图8的示例而言α等于2。在一些实施例中,每一检测时间窗口TW[i]不一定完全等于比率PW/α,且只要检测时间段TD等于M乘以比值PW/α,就会出现一定量的偏差。一般而言,对于每一时间窗口TW[i],(|(PW/α)-TW[i]|/(PW/α))≤0.10,优选地(|(PW/α)-TW[i]|/(PW/α))≤0.05,更优选地(|(PW/α)-TW[i]|/(PW/α))≤0.02。本领域技术人员将取决于所使用的装备和用于确定到对象的距离所需的最终准确度来选择最佳值。在一些实施例中,(|(PW/α-TW[i]|/(PW/α))≤0.01。
对于每一检测到的反射激光的光斑,该方法包括通过累积在检测时间窗口TW[i]中检测到的反射激光的量来获得与检测时间窗口TW[i]相关联的曝光值Qi的步骤。这一积累是在产生光斑的脉冲激光束的脉冲序列的所有脉冲上进行的。事实上,取决于到场景中的反射激光的对象的距离,会出现不同的飞行时间TOF,并且因此取决于要测量的距离,可以在不同时间窗口中检测到激光。
如果α=1,并且由于脉宽PW几乎与检测时间窗口的宽度相同,反射脉冲12将在两个连贯检测时间窗口或单个检测时间窗口中被检测到。在图4中,示出了一些任意TOF示例,其解说了反射脉冲通常与两个连贯时间窗口交叠。
对于某些对象距离,并且如果α=1,则反射激光也可以在单个时间窗口内被检测到。例如,如果第一检测时间窗与脉冲11的发射一致,即如果没有应用延迟时间窗口TDL,并且如果到待测量对象的距离对应于等于或多个脉宽PW的飞行时间,则反射激光将在单个检测时间窗口中被检测到。类似地,如果应用了延迟时间窗口TDL,并且如果到待测量对象的距离对应于等于延迟时间窗口TDL加上多个脉宽PW的飞行时间,则反射激光在单个检测时间窗口中被检测到。
更一般而言,对于α等于或大于1的任何值,反射激光在α个或α+1个连贯检测时间窗口中被检测到。
根据本发明的方法,确定图2上解说的脉冲频率FP,使得FP≤1/((N+1)×PW+TDL)。脉冲频率的上限被定义成使得从位于最大距离Dmax处的对象反射的反射激光在发射后续脉冲之前被检测到。一般而言,脉冲频率低于上限1/(((N+1)×PW)+TDL),以将平均激光功率保持在例如出于眼睛安全原因或为了避免混叠问题或为了执行2D测量而定义的限度内。在各实施例中,如图2上所解说的,脉冲链50的脉冲频率FP通常在kHz范围内,例如在10kHz和500kHz之间。
在一些实施例中,频率FP被确定为使得1/((2×N×PW)+TDL)≤FP≤1/(((N+1)×PW)+TDL)。
根据本发明的方法提供了针对每一检测到的反射激光的光斑来确定对象距离的又一步骤。通过首先标识在其中检测到反射激光的相应时间窗口来确定对象距离。在第二步骤中,基于对所标识的相应检测时间窗口的标识和/或在所标识的检测时间窗口中获得的曝光值,来计算到场景的对象的对象距离DS,其中DS≤Dmax,如下文更详细地讨论的。
对于现有技术的时序图,例如如图1上所示,仅使用两个检测时间窗口,并且因此可以基于在两个时间窗口中检测到的激光量来确定对象距离。另一方面,根据本发明的时序图,例如如图4上所示,没有提前知悉将在什么检测时间窗口内检测到反射激光。因此,当在图案照明序列期间已经执行了对反射激光的检测之后,根据本发明的方法包括标识在其中已检测到激光的检测时间窗口的步骤。针对检测到的每一反射激光的光斑执行该步骤。如上所述,利用根据本发明的方法,反射激光在α个或者在α+1个连贯检测时间窗口中被检测到。
在读出在检测时间窗口中获得的数据后,可以使用各种软件算法来执行对已检测到反射激光的检测时间窗口的标识。事实上,反射激光在α个或者α+1个连贯检测时间窗口被检测到,并且因此通过比较每一检测时间窗口中的计数数量,具有最高计数数量的α或α+1个检测时间窗口可以与具有仅检测到背景计数的检测时间窗口区分开。另外,该算法还可以将α+1个检测时间窗口中的预期强度曲线纳入考虑,其中在检测到反射激光的最早和最后一个检测时间窗口中预期强度较低,而在最早和最后一个检测时间窗口之间预期强度较高且基本相同。对于在α个检测时间窗口中检测到反射激光的情况,在α个连贯检测时间窗口中预期基本上相同的强度。注意,如果例如α=1,则反射激光在最多两个检测时间窗口中被检测到,并且因此始终至少一个检测时间窗口可供用于背景检测。
在各实施例中,例如使用块函数的拟合算法可被应用来确定具有最高计数数量的检测时间窗口的位置。
在标识出检测到反射激光的检测时间窗口之后,可以基于所标识的检测时间窗口来计算到场景的对象的距离。
在各实施例中,如更详细地进一步讨论的,对象距离的计算基于所标识的检测时间窗口和/或基于至少针对其中标识了反射激光的最早和最后一个检测时间窗口获得的曝光值。在其他实施例中,对象距离的计算基于在标识反射激光的最早检测时间窗口之前的检测时间窗口的数量的计数。对于α=1,脉宽缩减因子N的上限主要由可供用于检测反射激光的检测器技术且尤其是检测器响应时间(例如CMOS相机的速度)来确定。例如,对于Dmax=100米并且使用等于10的脉宽缩减因子,脉宽PW等于约66纳秒。这样的脉宽仍然与例如当前基于CMOS的像素传感器技术兼容。
对于α>1,具有缩减因子N的脉冲是相关于缩减因子α来确定的。事实上,如上所讨论的,检测时间窗口取决于N和α。如下文将讨论的,如果使用的检测器技术包括需要打开和关闭的电荷存储阱,则检测时间窗口应保持在与CMOS技术兼容的时间窗口内。在各实施例中,N和α的积等于或小于1000,优选地等于或小于500,更优选地等于或小于100。本领域技术人员将基于可用的检测技术并且还基于最大距离Dmax来选择α和N的值。Dmax越大,积α×N要取得越大,以获得具有给定经缩减宽度的检测时间窗口。
用于确定到对象的距离的公式
由于对反射激光的检测是与脉冲激光束的诸脉冲的同时发射同步地执行的,基于对检测到激光的检测时间窗口的标识,可以确定激光的飞行时间并且因此确定到对象的距离。
本领域技术人员将定义用于基于已检测到激光的所标识的检测时间窗口来计算到对象的距离的公式。可以使用各种选项来计算对象距离。在这里下面将概述用于计算距离的公式的示例。如将要讨论的,在一些实施例中,这些公式将一些所标识的检测时间窗口的曝光值纳入考虑,尤其是其中标识了反射激光的最早和最后检测时间窗口的曝光值。在其他实施例中,仅基于对已检测到反射激光的检测时间窗口的标识来确定对象距离。在这些实施例中,为了确定对象距离,对检测到反射激光的最早检测时间窗口之前的检测时间窗口的数量进行计数。
首先讨论在α=1(即脉宽等于检测时间段)时用于计算距离DS的公式。如果在两个连贯时间窗口i和i+1中检测到反射激光,则可以使用以下公式计算距离DS
DS=(TDL×c/2)+[(i-1)×c×PW+c×PW×Qi+1/(Qi+Qi+1)]/2,
其中Qi和Qi+1是分别在时间窗口i和时间窗口i+1中获得的曝光值。通常,曝光值会针对例如由到达检测器的环境光或其他背景噪声源产生的背景事件进行校正。
或者,如果在两个连贯时间窗口i和i+1中检测到反射激光,则也可以使用以下替换公式计算距离DS:DS=(TDL×c/2)+[i×c×PW-c×PW×Qi/(Qi+Qi+1)]/2。如果时间窗口i中的反射激光的量大于时间窗口i+1中的反射激光的量,则优选地使用该替换公式。
另一方面,如果仅在一个时间窗口i中检测到反射激光,其中i≥2,则可以使用以下公式计算到场景的距离:DS=(TDL×c/2)+[(i-1)×c×PW]/2。
图8上示意性地示出了检测时序图的示例,其中α=2。在该示例中,脉宽缩减因子N等于15,即所发射的脉冲11的脉宽PW等于最大飞行时间除以15。在α=2时,检测时间窗口的总数M等于32=α×(N+1)。对于如图8中所示的检测时序图,其中α>1,还可以推导各公式以确定距离DS
如果α>1,则在α+1个检测时间窗口或α个检测时间窗口中检测到反射激光。例如,如果α=2,即TW[i]=PW/2,则在最多达三个连贯时间窗口中检测到反射激光。一般而言,对于α=2,反射脉冲部分地在时间窗口TW[i]中观察到,完全在时间窗口TW[i+1]中检测到,且部分地在时间窗口TW[i+2]中检测到。在某些情况下,取决于对象在场景中的位置,还可以在两个连贯时间窗口TW[i]和TW[i+1]中检测到反射激光。对于图8中所示的示例,在时间窗口14到16中检测到反射激光脉冲12。
如果α≥1且如果在α+1个连贯检测时间窗口中检测到反射激光,则根据本发明的方法确定距离的更一般公式可以如下表示为:
DS=TDL×c/2+Z×(TOFmax-TDL)×c/2,
其中Z=(R+z)/(α×N)且z=Qb/(Qa+Qb),
在该公式中,DS是对象距离,Qa是针对连贯检测时间窗口中的在其中标识反射激光的最早检测时间窗口TW[a]获得的曝光值,Qb是针对连贯检测时间窗口中的在其中标识反射激光的最后检测时间窗口TW[b]获得的曝光值,且R是对最早时间窗口TW[a]之前的检测时间窗口的数量进行计数的整数。在图8上所示的示例中,反射激光在时间窗口14到16中被检测,且最早的检测时间窗口TW[a]是其中检测到反射激光的检测时间窗口14,且检测时间窗口16是其中检测到反射激光的最后检测时间窗口TW[b]。本示例中的整数R等于13,对应于最早检测时间窗口14之前的检测时间窗口的数量。这些曝光值Qa和Qb必须被解释为已针对背景计数(例如由背景光产生的背景计数)进行校正的曝光值。因此,如果在α+1个连贯检测时间窗口检测到反射激光,并且当使用上述公式时,通过将在所标识的检测时间窗口中获得的曝光值纳入考虑来确定距离。
如果α≥1且在α个连贯检测时间窗口中而不是在α+1个连贯检测时间窗口检测到反射激光,则可以使用以下表达式计算对象距离DS
DS=TDL×c/2+(R/(α×N))×(TOFmax-TDL)×c/2,
其中R是对在其中标识反射激光的最早检测时间窗口之前的检测时间窗口的数量进行计数的整数。因此,如果在α个连贯检测时间窗口中检测到反射激光,则在不使用在所标识的检测时间窗口中获得的曝光值的情况下确定距离。
在一些实施例中,对于在α或者α+1个连贯检测时间窗口中检测到反射激光的两种情形,对象距离DS可在不考虑在所标识的检测时间窗口中获得的曝光值的情况下确定。实际上,如果检测时间窗口很短,例如通过为α和/或脉宽因子N选择很大的值,则在距离计算中可以忽略最早检测时间窗口,其中仅在该检测时间窗口的一部分期间检测到反射激光。在这些实施例中,可以使用与上述相同的表达式来计算对象距离DS,即:DS=TDL×c/2+(R/(α×N)x(TOFmax-TDL)x c/2,其中R是对在其中标识反射激光的最早检测时间窗口之前的检测时间窗口的数量进行计数的整数。例如,这种用于计算对象距离的办法可以应用于以下情况:α和/或N很大或者待确定距离很大,例如百米或更大。
激光的脉冲频率
根据本发明的方法可达到的最高脉冲频率FP等于1/((N+1)×PW+TDL)。然而,脉冲频率可以更低并且等于例如1/((N+1)×PW+TDL+(q×PW)),其中q≥1且其中q×PW形成延迟时隙,该延迟时隙被定义成使得对从场景中的位于大于Dmax的距离处的对象的反射产生的虚假反射的检测被消除以避免混叠。在其他实施例中,还可以出于眼睛安全的原因实现延迟时隙,以便例如降低所发射激光的平均功率。当使用如图1所示的仅具有两个检测时间窗口的现有技术时序图时,即其中N=1的图,通常在第一和第二时间窗口之后提供附加时隙以用于背景测量。如上所讨论的,使用根据本发明的时序图,用于背景测量的附加时隙不是强制性的,因为背景估计总是可以从检测时间窗口TW[i]中的在其中没有检测到反射激光并且只检测到背景的一个检测时间窗口获得。
然而,在根据本发明的一些实施例中,上述附加延迟时隙q×PW可以被用于或可以部分地被用于执行附加背景测量。因此,检测时间段TD必须被解释为检测反射激光的检测时间段,它不排除检测时间段TD之后的附加检测时间窗口被用于检测例如背景,或者附加时间窗口被用于任何其他合适目的。
在图5中,示出了根据本发明的时间图的示例,其中在检测时段TD之后提供了附加延迟时隙。检测时间段之后的延迟时隙在图5上用附图标记21来标识。在图5上所示的这些示例中,没有实现如上所讨论的预定延迟时间窗口TDL,并且如图所解说地执行同步,使得所发射的脉冲11与第一检测时间窗口交叠。在其他实施例中,可以另外地实现预定延迟时间窗TDL,以相对于脉冲的发射时间窗口来延迟第一检测时间窗口,如上所述。如上所讨论的,该附加延迟时隙21可被用于多个目的,减少虚假反射、出于眼睛调节目的来降低平均功率、或甚至用于执行附加背景测量。
在各实施例中,脉冲频率FP等于或小于1/((N+1)×PW+TDL+IM),其中IM是提供用于使用环境光或照亮场景的光源对场景进行成像以获得场景的2D摄影图像的时隙,使得用TOF方法确定的距离可以与该摄影图像相组合以形成场景的3D图像。如上所述,不强制提供附加时隙来测量用于校正曝光值所需的背景,因为总是存在在其中没有激光被反射的可用时间窗口。然而,在一些实施例中,提供用于测量背景以校正和改善2D图像的附加时隙。
脉冲检测和脉冲发射之间的同步如上所讨论的,反射激光的光斑是与脉冲激光束的诸脉冲的同时发射同步地检测的。
在其中延迟时间窗TDL如上所规定为零的实施例中,执行激光束脉冲的发射与反射激光的检测的同步,使得第一检测时间窗口TW[1]与脉冲的发射时间窗口交叠或至少部分交叠。在图4和图5上所示的其中α=1的实施例中,第一时间窗口TW[1]被解说为与激光脉冲11的发射一致,即脉冲的脉宽与第一时间窗口完全交叠。
在其他实施例中,第一检测时间窗口TW[1]与脉冲的发射时间窗口部分地交叠。这可例如在第一检测时间窗口TW[1]相对于脉冲的发射被延迟时发生。如果该延迟小于第一检测时间窗口,且因为在α=1的情况下检测时间窗口具有与脉冲相同或几乎相同的宽度,则在第一时间窗口和脉冲的发射之间始终存在部分交叠。在各实施例中,如果脉宽和检测时间窗口不完全相同,则第一检测时间窗口也可以与脉冲的发射部分交叠,即不完全交叠。更具体而言,如果α>1,则脉宽PW大于检测时间窗口,并且因此在同步时,激光脉冲的发射和第一检测时间窗口之间可发生部分交叠。第一检测时间窗口TW[1]与脉冲的发射时间窗口交叠或至少部分交叠。
在各实施例中,通过在第一检测时间窗口TW[1]期间在激光脉冲的发射之前开始检测,第一检测时间窗口与脉冲的发射时间窗口部分交叠,即激光脉冲的发射相对于第一检测时间窗口被延迟。因此,即使TDL如上所规定为零,仍有一些余量用于同步激光脉冲的发射和第一检测时间窗口,并且例如通过同步引入正或负延迟,使得第一检测时间窗口和激光脉冲的发射之间仅存在部分交叠。
更一般而言,如果预定义延迟时间窗口TDL如上所定义地不为零,例如在图6上所示,则执行所述同步以使得第一检测时间窗TW[1]相对于脉冲的发射时间窗口被延迟且延迟等于延迟时间窗口TDL
距离准确度,时间精度
如上所述,通过拍摄多个帧并根据在每一单个帧测量期间获得的各对象距离DS来计算平均对象距离,计算得到的平均对象距离值上的误差在与单个帧测量的时间误差相比时以因子
Figure BDA0003561405820000211
减小,其中NF是帧的数量。使用根据本发明的方法,目的是通过单个帧测量获得高精度,以便减少确定距离所需的帧数,且甚至使用单个帧执行距离测量。帧可以以帧速率FF重复,其通常远低于脉冲频率FP。在图3中,示意性地解说了帧60的重复,并示出了帧率FF。在该示例中,示出了三个帧的重复,在实践中,帧重复的数量通常要大得多,因为一般而言,例如对于安装在汽车或无人机上的LIDAR设备,距离是以连续的方式测量的。如图3示意性地解说的,在每一脉冲链50之后,需要处理时间65来读出曝光值并处理所采集的数据。可达到的帧率FF通常在Hz范围内,在各实施例中,帧率例如在5Hz和50Hz之间。
例如在图4、图6和图8上所示的根据本发明的时序图的主要优点是,与图1上所示的现有技术时序图相比,单个帧中的距离测量的时间精度大大提高。这是以下事实的结果:如果检测时间窗口变得更小,则时间精度会提高。当将使用当前方法获得的精度与使用图1上所示的现有技术时序图(其中使用了两个检测窗口)获得的精度进行比较时,获得因子等于
Figure BDA0003561405820000212
的改进。因此,如果α=1,改进因子与分割因子N成正比。
利用现有技术时序图,需要拍摄大量帧以获得在可接受值内的计算得到的平均距离上的标准偏差
Figure BDA0003561405820000213
单个帧测量的时间误差在这里表示为标准偏差σ。单个帧测量是基于脉冲序列50的测量,如图2上所示。随着使用根据本发明的方法的单个帧测量的精度的提高,可以减少帧的数量NF,或者甚至可以在单个帧内执行测量。以此方式,可以快得多地获得到场景的对象的距离。下文将进一步讨论精度的提高以及因此帧数的减少。
具有位于给定检测时间窗口TW[i]中的相应飞行时间的对象距离的时间误差,用标准偏差σ表示,可以写成如下:
Figure BDA0003561405820000214
其中σζ是独立于脉宽PW且仅取决于一个帧内的总信号强度S、在一个帧期间的测得背景b、像素噪声σpx和等于Qb/(Qa+Qb)的计数比因子ζ的精度因子,其中Qa和Qb是在其中检测到反射激光的最早和最后检测时间窗口中检测到的曝光值。
更准确而言,对于α≥1,上述公式中提到的σ的精度因子σζ与以下因素成正比:
Figure BDA0003561405820000221
其中z=Qb/(Qa+Qb),其中如上所讨论的,Qa和Qb分别是在其中检测到反射激光的最早和最后检测时间窗口的曝光值。
时间误差σ的示例在图9上针对划分因子N和因子α的不同值示出。图9上的σ值是相对值,以解说对于所示的各种示例而言σ的相对差异。各示例在图9上以字母A到H标识,并且图9上的图例指示所选择的N和α的对应值。sigma的值在此表示为比率D/Dmax=TOF/TOFmax的函数,从0到1,即覆盖用于确定距离的整个距离范围。在该示例中,延迟时间窗口TDL假定为零。现有技术脉冲时序图,其中α=1且N=1,如图1上所示,被用作基准时间误差σ。使用现有技术脉冲时序图,值σ在TOF/TOFmax=0.5时具有最大值。如用示例B到H所解说的,其中α×N≥2,对于这些示例中的每一示例,作为TOF/TOFmax的函数的σ值表示重复的弧形图案。每一弧代表在一检测时间窗口内的时间误差σ,该检测时间窗口与1/(α×N)成正比,如上所讨论的。在图9中,对于α=1与N=2、3、5和10相组合,以及对于α=2与N=1.5、N=6和N=15相组合,示出了根据本发明的示例。如图9上所解说的,与现有技术时序图相比,根据本发明的新时序图,σ的值以因子
Figure BDA0003561405820000222
减少。
例如,对于α=1,通过使用脉宽缩减因子N=4,时间精度提高了四倍,并且为获得计算出的平均对象距离的相同标准偏差而拍摄的帧的数量可以减少两倍。然而,这是在脉冲链期间发射的光子总数保持不变并且背景和噪声贡献保持不变的条件下进行的。例如,如果脉冲链中的脉冲数保持不变,则如果脉宽缩减因子是4且如果目的是将帧数减少2倍,则脉冲内发射的光子数需要增加4倍。
如果α>1,则在与α=1相比时,时间检测窗口被进一步减少,并且因此单个帧测量的精度被进一步提高。但是,精度改进因子不与α乘以N成线性关系,而是改进因子与
Figure BDA0003561405820000231
成正比,如上所述。这一附加因子
Figure BDA0003561405820000232
得自如下事实:单个检测时间窗口中的最大可检测激光与1/α成正比。例如,如果α=2且N等于15,则与图1上所示的现有技术相比,精度的提高是
Figure BDA0003561405820000233
倍。如果α=1且N等于15,则精度的提高是15倍。
注意,图9上所示的曲线是假设不存在背景计数的理论曲线。在实践中,要针对背景计数来校正曝光值,并且因此取决于背景的量,在考虑背景校正后,上述定义的改进因子可能略有不同。
多阱像素检测器的使用以及N和α的确定
在各实施例中,为了执行根据本发明的方法,反射激光检测是用激光接收设备来执行的,该激光接收设备包括具有多个像素的多阱像素检测器,并且其中每一像素包括光敏区和多个电荷存储阱W[i],其中i=1到NW,其中NW是电荷存储阱的数量,其中NW≤M。 这些多个电荷存储阱被配置成用于存储在检测时间段TD期间由光敏区域检测到的电荷。
在各实施例中,对于每一像素,一电荷存储阱与每一检测时间窗口TW[i]相关联,并且因此在这些实施例中,电荷存储阱的数量NW等于检测时间窗口的数量M。
在优选实施例中,电荷存储阱的数量NW低于检测时间窗口的数量M。因此,在这些实施例中,一个或多个电荷存储阱存储一个以上检测时间窗口的电荷。这允许在不增加电荷存储阱数量的情况下使用更高的划分因子N。确立了一个关系,该关系定义哪个电荷存储阱存储在什么检测时间窗口期间检测到的电荷。为了确立检测时间窗口和电荷存储阱之间的关系,需要定义电荷存储阱的唯一性序列,如下所述。
在包括多阱像素检测器的实施例中,α+1个连贯时间窗口TW[k]到TW[k]+α]的每一子序列与α+1个电荷存储阱的唯一性序列W[i]相关联,其中k=1到M-α。因此,定义了α+1个电荷存储阱的M-α个唯一性序列。电荷存储阱的这些唯一性序列被配置成使得当在α或α+1个电荷存储阱中检测到反射激光时,可标识在其中检测到反射激光的相应检测时间窗口,并且对象距离是使用以上讨论的公式确定的。电荷存储阱的唯一性序列以及与检测时间窗口的关联定义了什么电荷存储阱被用于存储在什么检测时间段期间的电荷。
α+1个电荷存储阱的唯一性序列必须被解释为电荷存储阱序列,该电荷存储阱序列被配置成允许毫无疑义地标识在什么最早检测时间窗口和什么最后检测时间窗口中检测到反射激光。
例如,如果α=1,则电荷存储阱序列α+1是一对,并且如果例如NW等于3,则如果对1-2被定义为与一对检测时间窗口相关联的电荷存储阱的唯一性对,那么对2-1不是另一唯一性对。事实上,如果将使用对1-2和2-1,则无法确定在其中检测到激光的相应检测时间窗口,因为无法区分开这两对。另一方面,对3-1和/或对3-2可被用作又一唯一性对。
类似地,如果α=2,则例如序列1-2-3可被定义为与三个连贯检测时间窗口的序列相关联的电荷存储阱的唯一性序列,其中阱1和阱3可检测例如分别对应于最早和最后检测时间窗口的激光。然而,序列3-2-1不能用作又一唯一性序列,因为如果将在阱1、2和3中检测到反射激光,则不能确定在什么检测时间段内有效地检测到反射激光。例如,可以使用第四存储阱4配置又一唯一性序列,其中组合4-2-3可以形成三个电荷存储阱的又一唯一性序列。
如果例如α=4且NW等于5,序列1-2-3-4-5可被选择成与用于检测反射激光的5个连贯检测时间窗口的序列相关联的5个阱的唯一性序列。在该序列中,在阱1和阱5中可以检测到对应于例如最早和最后检测时间段的反射激光。如果这一序列1-2-3-4-5被用作唯一性序列,则序列5-2-3-4-1、序列1-3-4-2-5、序列5-3-4-2-1、序列1-4-2-3-5、序列5-4-2-3-1、序列1-4-3-2-5和序列5-4-3-2-1都可被用作又一唯一性序列。事实上,如果阱序列的任一此类又一组合将与5个连贯检测时间窗口的又一序列相关联,则与序列1-2-3-4-5相对应的检测时间窗口期间检测到的反射激光是无法区分开的。
在图8中,示出了一示例,其中N=15且α=2,且因此检测时间窗口的数量M等于32,并且其中电荷存储阱的数量NW等于5,即<M。在该示例中,如图8上所示,电荷存储阱TW[1]例如可用于在检测时间窗口1、4、7、10、13、16和31期间对电荷进行积分。
对于其中使用多阱像素检测器的这些实施例,其中每一像素包括给定数量NW个电荷存储阱,划分因子N和定义检测时间窗口的数量M=α×(N+1)的阿尔法因子被选择成使得检测时间窗口的数量M不大于对应于可以由给定数量NW个电荷存储阱形成的、α+1个连贯时间窗口的唯一性序列的最大数量的最大值Mmax
对于图9上所示的示例,图例中示出了所使用的电荷存储阱的数量NW。对于示例B到H,所使用的电荷存储阱的数量在3到5之间变化。
各对电荷存储阱,α=1
如上所述,因子α可以等于或高于1。首先,将讨论具有α=1的多个实施例。
在N≥3且对于多阱像素检测器NW<M中的每一像素的各实施例中,检测时间窗口中的每一对连贯检测时间窗口TW[k]和TW[k+1]与唯一性的一对电荷存储阱W[m]和W[n]相关联。例如,在图7中,示出了N=10的示例,并且因此检测时间窗口的数量等于11。在图7上,示出了两个示例,其中一个NW=11,而另一个NW=5。对于其中NW=5,因此NW<M的实施例,每一对连贯时间窗口与唯一性的一对电荷存储阱相关联。例如,如图7上所解说的,连贯检测时间窗口TW1和TW2例如与唯一性阱对W1和W2相关联,连贯检测时间窗口TW7和TW8例如与唯一性阱对W1和W4相关联,连贯检测时间窗口TW10和TW11例如与唯一性阱对W5和W1相关联。如上所述,对于唯一性的一对电荷存储阱,将理解,例如阱对W1-W2与阱对W2-W1是同一对。
在各实施例中,其中N≥3并且其中对于多阱像素检测器NW<M的每一像素,多个电荷存储阱中的至少一个电荷存储阱被配置成用于累积并存储在检测时间窗口的两个不同时间窗口TW[k]和TW[M]期间检测到的电荷,并且其中两个不同时间窗口是两个非连贯时间窗口,使得|M-k|>1。在图7中,对于NW=5的情况,例如电荷存储阱W5正在累积并存储来自检测时间窗口TW5和TW10这两者的电荷,例如电荷存储阱W3在检测时间窗口TW3和TW6期间累积并存储电荷,例如电荷存储阱W1在检测时间窗口TW1、TW7和TW11期间累积并存储电荷。
在根据本发明的方法的其中α=1的实施例中,在应用确定脉宽PW并应用脉宽缩减因子N的步骤中,脉宽缩减因子N被定义成使得N≤Nmax,其中在电荷存储阱的数量是奇数的情况下,Nmax=NW!/((NW-2)!×2),或者在电荷存储阱的数量是偶数的情况下,Nmax=[NW!/((NW-2)!×2)]–[(NW!/((NW-1)!×2))-1]。这一最大数量Nmax定义了给定数量的电荷存储阱可以形成的唯一性对的最大数量。当对N采用如上述公式中定义的这一上限时,对于给定数量的阱,时间检测窗口的最大数量Mmax等于Nmax+1。
α+1个电荷存储阱的唯一性序列,α>1
将进一步讨论其中α大于1的实施例。使用大于1的因子α的优点是对于给定数量NW的电荷存储阱,可以形成的α+1个电荷存储阱的唯一性序列的数量更高,并且因此对于相同数量的电荷存储阱,可以使用较短的检测时间窗口,从而得到经改进的精度。
例如,如果α=2,即TW[i]=PW/2,则在最多达三个连贯时间窗口中检测到反射激光。因此,需要至少三个电荷存储阱来检测反射的激光,并需要第四电荷存储阱用于测量背景。一般而言,对于α=2,反射脉冲部分地在时间窗口TW[i]中观察到,完全在时间窗口TW[i+1]中检测到,且部分地在时间窗口TW[i+2]中检测到。在某些情况下,取决于对象在场景中的位置,还可以在两个连贯时间窗口TW[i]和TW[i+1]中检测到反射激光。
对于α=2且对于给定数量NW的电荷存储阱,可以计算出3个电荷存储阱的唯一性序列的最大数量Cmax。对于从4到10的NW,Cmax分别等于12、30、60、105、168、252和360。
更一般而言,对于任何数α,可由NW个电荷存储阱形成的、α+1个电荷存储阱的唯一性序列的最大数量Cmax可被计算出。
本领域已知用于计算唯一性序列的最大数量Cmax和用于确立电荷存储阱的唯一性序列的数学算法。例如,当使用例如5个电荷存储阱时,为了计算3个唯一性电荷存储阱的序列,如图8上所示,使用迭代程序,将电荷阱序列必须允许在最早和最后检测时间窗口中毫无疑义地检测到的激光的边界条件纳入考虑。在图8上所示的该示例中,其中α=2且NW=5时,可以形成的3个电荷存储阱的唯一性序列的最大数量Cmax等于30。因此,在该示例中,可使用的最大脉冲划分因子Nmax等于15。
唯一性序列的最大数量Cmax定义了最大脉宽缩减因子Nmax,其中α×Nmax=Cmax。因此,当使用每像素具有给定数量NW个电荷存储阱的基于CMOS的多阱像素检测器时,脉宽缩减因子N被选择成使得N等于或小于Nmax
对于选择相对小的α和相对小数量NW的电荷存储阱,唯一性序列的最大数量Cmax可变大。例如,对于α=2且NW=4,Cmax=12,对于α=2且NW=6,Cmax=60。通过取α=3或更大并取NW=7或更大,可以形成数百个唯一性组合,且Cmax变得大于100。如果取α=4或更大并取NW=9或更大,可以形成数千个唯一性组合,且Cmax变得大于1000。
用于确定到场景的距离的LIDAR设备
根据本发明的第二方面,提供了一种用于确定到场景的一个或多个对象的距离的LIDAR设备。图10上示意性地解说了LIDAR设备1的实施例。
此类LIDAR设备1包括配置成用于用照明图案150来照亮场景99的投影仪100。该图案由多个在空间上分开的脉冲激光束形成,其中每一脉冲激光束包括脉冲序列。多个脉冲激光束的诸脉冲是同时发射的。如上所讨论的,脉冲序列,也称为脉冲链在图2上示意性地解说。
优选地,激光由半导体激光器产生。在各实施例中,激光由包含垂直腔面发射(VCSEL)激光器阵列的半导体光源产生,以产生所需图案。为了使该系统即使在长距离和高环境光水平(例如,在日光下)下也能最优地工作,本发明的实施例中使用的VCSEL优选地被布置成每单位面积每光斑发射最大光学功率。更优选地,激光器应具有最小的波长差异;用单模激光器可以实现特别低的波长差异。因此,可以以必要的空间和时间准确度来可再现地产生基本相同的脉冲。
除了半导体激光器之外,投影仪还包括投影透镜,该投影透镜被配置成在所定义的视野内用光图案照亮场景。
在各实施例中,由激光器产生的激光的波长在800nm和1600nm之间。
该LIDAR设备还包括光接收设备300,该光接收设备300包括配置用于检测反射激光的光斑的基于CMOS的多阱像素检测器。多阱像素检测器包括多个像素,其中每一像素包括用于检测激光的光敏区。如上所讨论的,这些反射激光的光斑代表由场景中的一个或多个对象反射的在空间上分开的光束。例如,在WO2017068199中公开了基于CMOS的多阱像素检测器。反射激光在图10上以附图标记350示意性地示出,并且形成包含反射激光的脉冲的反射图案。反射图案作为多个光斑在基于CMOS的多阱像素检测器上被观察到。此类光斑必须被解释为激光脉冲与检测器的检测表面的交点。
根据本发明的基于CMOS的多阱像素检测器被配置并可操作用于在落在脉冲激光束的脉冲周期PP内的检测时间段TD期间检测反射激光,并且其中检测时间段被划分成M个连贯检测时间窗口TW[i],使得
Figure BDA0003561405820000281
其中M是检测时间窗口的数量。这一数量M等于α×(N+1)且M≥3个,优选地M≥4,更优选地M≥5。在各实施例中,对于i=1到M,连贯检测时间窗口TW[i]的持续时间基本相等。因子α是上文在讨论根据本发明的方法时讨论的整数,其中α≥1,优选地α≤10,更优选地α≤5。
在各实施例中,检测时间窗口几乎等于脉宽,即对于每一检测时间窗口TW[i],其中i=1到M:(|PW-TW[i]|/PW)≤0.10,优选地(|PW-TW[i]|/PW)≤0.05,更优选地(|PW-TW[i]|/PW)≤0.02。
根据本发明的基于CMOS的多阱像素检测器被配置并可操作用于针对每一检测到的反射激光的光斑,获得与检测时间窗口TW[i]相关联的曝光值Qi。通过累积代表在检测时间窗口TW[i]中检测到的反射激光的电荷量来获得曝光值,使得在检测到激光与在其中检测到激光的时间窗口之间建立相关性。对脉冲序列中的所有脉冲执行电荷的累积。
对反射激光的检测要与激光脉冲序列的发射同步地执行。因此,LIDAR设备包括控制器200,该控制器用于控制投影仪100和光接收设备300,以便与所发射的脉冲序列同步地检测并累积反射激光。在各实施例中,控制器包括同步装置,其可包括常规时钟电路或振荡器。
在各实施例中,控制器200被配置成用于执行同步,使得第一检测时间窗口TW[1]与脉冲的脉冲发射时间窗口交叠或至少部分交叠。脉冲的发射时间窗口必须被解释为在其中发射脉冲的时间窗口,并且因此该发射时间窗口具有脉宽的宽度。上文已经在讨论根据本发明的方法时讨论了与脉冲的发射时间窗口交叠或部分交叠的第一检测时间窗口的示例。
在其他实施例中,控制器200被配置成用于执行脉冲的发射与检测器之间的同步,使得第一检测时间窗口TW[1]相对于脉冲发射时间窗口被延迟,并且该延迟等于预定义延迟时间窗口TDL
优选地,预定延迟时间因子等于或小于2×Dmin/c,其中Dmin是最小距离,使得可以检测位于最小距离Dmin之处或附近的对象并确定距离。
基于CMOS的多阱像素检测器必须被解释为像素的2D阵列,每一像素形成用于检测激光的个体检测器。事实上,每一像素包括个体光敏区和至少三个电荷存储阱。电荷存储阱的数量取决于检测时间窗口的数量M。
更一般而言,基于CMOS的多阱像素检测器的每一像素包括多个电荷存储阱W[i],其中i=1到NW,NW是电荷存储阱的数量,其中NW≤M。
电荷存储阱是用于累积得自落在像素的光敏区上的激光的电荷的储存库。每个阱都具有由外部信号控制的单独转移栅,该外部信号与激光脉冲同步并与所指定的N+1个检测时间窗口同步。以此方式,通过控制转移栅,在给定时间窗口TW[i]中由像素的光敏区检测到的反射激光将被存储在相关联的阱W[k]中。
光接收设备还包括用于将反射激光投射到多像素检测器上的透镜系统。例如,如果照明图案的所有脉冲被场景的对象反射,则在光接收设备的焦平面中的、多像素检测器的光敏区所在的位置处获得图案的图像。
根据本发明的LIDAR设备包括处理装置400,其被配置成对于每一检测到的反射激光的光斑,标识在连贯检测时间窗口中的哪些检测时间窗口中检测到反射激光,即已获得曝光值。反射激光在α或者α+1个连贯检测时间窗口中被检测到。处理装置还基于对检测时间窗口的标识和/或基于在所标识的检测时间窗口中获得的最早和最后曝光值来计算对象距离DS。上面讨论的用于执行标识的方法通常被实现为用于执行该标识的计算机算法。除该标识算法外,又一计算机算法可被用于如上讨论地使用该公式和用于执行这一计算的各种选项来计算距离DS。在各实施例中,处理装置400通常包括处理器、微处理器或计算机。
注意,当多像素检测器检测到从场景反射的激光的光斑时,该反射激光是在多像素检测器中的多个像素中被检测到的,并且为了确定反射激光的量,通常对由在多个像素中检测到的所检测激光进行求和。在各实施例中,当执行求和时,与像素相关联的权重因子被纳入考虑。当使用在空间上分开的光斑的图案执行照明时,在多像素检测器上检测到的各种光斑也在空间上分开,使得在检测到的各种光斑之间没有交叠或极少交叠。
当确定反射激光的曝光值时,处理装置被配置成减去背景。该背景通常从其中未检测到反射激光的检测时间窗口获得。
在一些实施例中,在读出数据之前,在CMOS检测器的水平上执行已检测到激光的时间窗口的确定。在这些实施例中,基于CMOS的多阱像素检测器包括例如比较器,该比较器被配置成用于区分背景计数和激光。
像素检测器中每一像素的阱W[k]的数量NW不一定等于时间窗口TW[i]的数量M。在优选实施例中,NW<M,并且因此在这些实施例中,由于存储阱少于时间窗口,所以多个电荷存储阱中的至少一个电荷存储阱被配置成用于存储在检测时间窗口TW[i]的两个不同时间窗口期间检测到的电荷。如上所讨论的,这两个不同时间窗口是两个非连贯时间窗口。
在其中M≥4且α=1的实施例中,对于多阱像素检测器NW<M的每一像素,每对两个连贯检测时间窗口与唯一性的一对电荷存储阱相关联。
更一般而言,对于α≥1,α+1个连贯检测时间窗口TW[k]到TW[k+α]中的每一子序列与该多个电荷存储阱W[i]中的α+1个电荷存储阱的唯一性序列相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的,其中k=1到M-α。上文已经讨论了电荷储存阱的唯一性序列的定义。
如果α=1,则对于给定数量NW的电荷存储阱,可以作出的唯一性的对组合P的数量可以表示为排列P的数量,并且可以如下计算:P=NW!/((NW-2)!×2)。
符号“!”是排列符号。例如,对于三个阱,可以形成三个唯一性的对组合,即1-2、1-3和2-3。对于例如4个阱,可以形成6个唯一性组合:即1-2、1-3、1-4、2-3、2-4和3-4。对于五个阱,可以形成10个唯一性的组合,并且因此当使用例如11个检测时间窗口时,只需要5个阱。在图7中,示出了一示例,其中脉宽缩减因子N等于10,并且因此根据本发明提供了11个检测时间窗口。在图4的顶部,示出了一示例,其中每一检测时间窗口具有其适当的阱,并且因此每一像素将需要11个阱。在图7的底部,只有5个阱被用于形成11个检测时间窗口的10个唯一性的对组合。有利地,通过形成唯一性的阱对,所需的阱的数量大大减少,并且基于CMOS的多阱像素检测器的复杂度降低。
对于α=1且对于给定数量NW的存储阱,还可以计算可被应用于减小脉宽的最大脉宽缩减因子Nmax,如上所讨论的。如果阱的数量是奇数,则可以应用以下公式来计算能与给定数量的阱一起应用的最大缩减因子:Nmax=NW!/((NW-2)!×2)。
例如,如果阱数是5,则Nmax=10。这也意味着可被用于给定数量的阱的检测时间窗口的最大数量Mmax可表示为:Mmax=1+NW!/((NW-2)!×2)。
如果α=1且阱数NW是偶数,则用于计算最大脉宽缩减因子Nmax的公式是不同的且可如下表示:Nmax=NW!/((NW-2)!×2)–((NW!/((NW-1)!×2))-1)。
例如,如果阱数是4,则Nmax=5。类似地,在阱数是偶数的情形中,检测时间窗口的最大数量Mmax可以表示为:Mmax=1+NW!/((NW-2)!×2)–((NW!/((NW-1)!×2))-1)。
在各实施例中,5≤M≤6且NW=4。在其他实施例中,7≤M≤11且NW=5。在又一实施例中,M=4且NW=3。
更一般而言,如果α>1,已知的数学算法可被用于定义可被用于毫无疑义地能够标识在其中检测到反射激光的检测时间窗口的、电荷存储阱的唯一性序列的最大数量Cmax
在优选实施例中,根据本发明的LIDAR设备被配置成使得脉宽PW与检测时间窗口的数量M相关,并且该关系可以表示为:
PW=(TOFmax–TDL)/((M-α)/α),其中TOFmax=2×Dmax/c,其中TOFmax是最大飞行时间TOFmax且Dmax是与最大飞行时间相关联的最大距离,c是光速,且TDL是上述预定义延迟时间窗口,其中0≤TDL≤(0.6×TOFmax),优选地0≤TDL≤(0.4×TOFmax),更优选地0≤TDL≤(0.2×TOFmax)。
如上所述,Dmax将被解释为LIDAR设备的工作范围,通常是最大工作范围。在各实施例中,根据本发明的LIDAR设备的最大工作范围Dmax例如在以下范围内:30米≤Dmax≤1000米。
遵循上述定义的脉宽PW通常预期在纳秒到微秒范围内。假设例如最大范围是100米和300米,则激光来回的相应飞行时间分别是666纳秒和2微秒,并且因此取决于所定义的脉宽缩减因子N,或时间检测窗口的等效数量,并取决于LIDAR设备的所需最大工作距离Dmax,脉冲长度PW预期在33纳秒到1微秒之间。具有缩减因子的脉冲通常等于或小于20。
在各实施例中,LIDAR设备的投影仪被配置成用于脉冲频率FP提供脉冲激光束,使得FP≤1/((M/α)×PW+TDL)。
根据本发明的LIDAR设备适于集成到交通工具中。集成到交通工具中的LIDAR设备被布置成可操作地覆盖该交通工具周围区域的至少一部分。区域的该至少一部分对应于需要确定距离的场景。所覆盖的区域取决于LIDAR设备的视野(FOV),并且在各实施例中,FOV是例如30°×10°或120°×30°或任何其他合适视野。

Claims (17)

1.一种用于通过使用脉冲激光照亮场景并检测与所述激光的飞行时间相关的反射激光来确定到所述场景中的一个或多个对象的距离的方法,并且其中所述一个或多个对象位于最小距离(Dmin)和最大距离(Dmax)之间的距离范围内,其中与0≤Dmin≤0.6×Dmax,优选地0≤Dmin≤0.4×Dmax,更优选地0≤Dmin≤0.2×Dmax,其中Dmin和Dmax分别是所述最小距离和所述最大距离,所述方法包括以下步骤:
A)确定所述脉冲激光的脉宽(PW),所述脉宽小于与所述最大距离(Dmax)相关联的最大飞行时间(TOFmax),以使得
PW=(TOFmax–TDL)/N,其中TOFmax=2×Dmax/c,
其中PW是所述脉宽,Dmax是所述最大距离,c是光速,TOFmax是所述最大飞行时间,TDL是具有0≤TDL≤2×Dmin/c的预定延迟时间窗口,且N是脉宽缩减因子,
B)确定所述脉冲激光的脉冲频率(FP),使得FP≤1/((N+1)×PW+TDL),其中FP是所述脉冲频率,并且其中FP=1/PP,其中PP是脉冲周期(PP),
C)确定用于在所述脉冲激光的脉冲周期(PP)内检测反射激光的检测时间段(TD),并且其中TD=(N+1)×PW,其中TD是所述检测时间段,
以及将所述检测时间段(TD)拆分成多个连贯检测时间窗口TW[i],其中i=1到M,且M是检测时间窗口的数量,并且其中:
M=α×(N+1)且
Figure FDA0003561405810000011
并且其中α是表示每脉宽的检测时间窗口的数量的整数,其中α≥1,优选地α≤10,更优选地α≤5,并且其中α和N被选择成使得α×N≥2,优选地α×N≥3,更优选地α×N≥4,
D)用由多个空间上分开的脉冲激光束形成的光斑图案来照亮所述场景,并且其中每一脉冲激光束包括脉冲序列(50),所述脉冲序列(50)具有在步骤A)中确定的所述脉宽(PW)和在步骤B)中确定的所述脉冲频率(FP),并且其中所述多个脉冲激光束中的每一者的脉冲(12)是同时发射的,
E)在如步骤D)中的所定义地照亮所述场景时,在每次同时发射脉冲之后,在步骤C)中定义的检测时间段(TD)的连贯检测时间窗口TW[i]期间检测反射激光的光斑,并且其中所述光斑表示被所述场景中的所述一个或多个对象反射的所述在空间上分开的脉冲激光束,
以及对于诸脉冲的每一同步发射,与所述脉冲激光束的诸脉冲的发射同步地执行对反射激光的光斑的所述检测:
a)如果所述延迟时间窗口(TDL)为零,则执行所述同步以使得第一检测时间窗口TW[1]与所述脉冲的发射时间窗口交叠或至少部分交叠,以及
b)如果所述延迟时间窗口(TDL)不为零,则执行所述同步以使得所述第一检测时间窗TW[1]相对于所述脉冲的发射时间窗口延迟且延迟等于所述延迟时间窗口(TDL),
F)对于每一所检测的反射激光的光斑,通过累积在所述检测时间窗口TW[i]中检测到的反射激光的量来获得与所述检测时间窗口TW[i]相关联的曝光值(Qi),并且其中对于所述脉冲序列的所有脉冲执行所述累积,
G)对于每一所检测的反射激光的光斑:
i)标识在所述连贯检测时间窗口TW[i]的哪些检测时间窗口中获得代表反射激光的所述曝光值(Qi),
ii)基于所标识的检测时间窗口来计算对象距离(DS),其中所计算得到的对象距离(DS)对应于检测反射激光的光斑的检测器与导致反射激光被检测到的所述场景中的对象或所述场景中的对象的一部分之间的距离。
2.根据权利要求1所述的方法,其特征在于,
FP≤1/((N+1)×PW+TDL+(q×PW)),其中q≥1并且其中q×PW形成延迟时隙,所述延迟时隙被定义成使得减少来自所述场景中距离大于所述最大距离(Dmax)的对象的反射而产生的虚假反射的检测,和/或q×PW形成延迟时隙,所述延迟时隙被定义成用于为眼睛安全目的而降低激光的平均发射功率。
3.根据前述权利要求中的任一项所述的方法,其特征在于,步骤D)至G)重复多次,并且其中对于每一反射光斑,通过取在步骤G)中获得的对象距离(DS)的平均值来获得平均对象距离。
4.根据前述权利要求中的任一项所述的方法,其特征在于,步骤G)ii)还包括:
·如果在α+1个连贯检测时间窗口中检测到反射激光,则使用以下表达式来计算所述对象距离(DS):
DS=TDL×c/2+Z×(TOFmax-TDL)×c/2,
其中Z=(R+z)/(α×N)且z=Qb/(Qa+Qb),
其中DS是所述对象距离,Qa是针对所述连贯检测时间窗口中的在其中标识反射激光的最早检测时间窗口TW[a]获得的曝光值,Qb是针对所述连贯检测时间窗口中的在其中标识反射激光的最后检测时间窗口TW[b]获得的曝光值,且R是对所述最早检测时间窗口TW[a]之前的检测时间窗口的数量进行计数的整数,或者
·如果在α个连贯检测时间窗口中检测到反射激光,则使用以下表达式来计算所述对象距离(DS):
DS=TDL×c/2+(R/(α×N)x(TOFmax-TDL)×c/2,其中R是对在其中标识反射激光的最早检测时间窗口之前的检测时间窗口的数量进行计数的整数。
5.根据权利要求4所述的方法,其特征在于,所述曝光值Qa和Qb是在背景校正之后获得的,并且其中所述背景校正基于在所述连贯检测时间窗口的至少一个检测时间窗口中检测到的背景值的量,所述至少一个检测时间窗口不同于在其中检测到反射激光的所标识的检测时间窗口。
6.根据前述权利要求中的任一项所述的方法,其特征在于,对反射激光的所述检测是用激光接收设备来执行的,所述激光接收设备包括具有多个像素的多阱像素检测器,并且其中每一像素包括光敏区和多个电荷存储阱W[i],其中i=1到NW,其中NW是电荷存储阱的数量,其中NW≤M,并且其中所述多个电荷存储阱被配置成用于存储在所述检测时间段(TD)期间由所述光敏区检测到的电荷。
7.根据权利要求6所述的方法,其特征在于,NW<M,M≥4,且其中α+1个连贯检测时间窗口TW[k]到TW[k+α]中的每一子序列与所述多个电荷存储阱W[i]中的α+1个电荷存储阱的唯一序列相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的,其中k=1到M-α。
8.根据权利要求7所述的方法,其特征在于,所述脉宽缩减因子(N)等于或小于最大脉宽缩减因子(Nmax),并且其中α×Nmax=Cmax,其中Nmax是最大脉宽缩减因子且Cmax是能由NW个电荷存储阱形成的α+1个电荷存储阱的唯一性序列的最大数量。
9.根据前述权利要求中的任一项所述的方法,其特征在于,α≥2。
10.一种用于确定到场景(99)的一个或多个对象的距离的LIDAR设备(1),包括:
·投影仪(100),其被配置成用于用由多个在空间上分开的脉冲激光束形成的光斑图案照亮所述场景,其中每一脉冲激光束包括具有脉宽(PW)的脉冲序列(11),并且其中所述多个脉冲激光束中的每一脉冲(12)是同时发射的,
·包括基于CMOS的多阱像素检测器的光接收设备(300),所述多阱像素检测器被配置成用于检测反射激光的光斑,所述反射激光的光斑表示由所述场景的所述一个或多个对象反射的所述光斑图案,以及
·控制器(200),所述控制器用于控制所述投影仪(100)和所述光接收设备(300),以便与所述脉冲激光束的脉冲的所述同时发射同步地检测和积累所述反射激光,
其特征在于,
所述基于CMOS的多阱像素检测器被配置成用于
i)在所述脉冲激光束的脉冲周期(PP)内的检测时间段(TD)期间检测反射激光,并且其中所述检测时间段(TD)被划分成多个连贯检测时间窗口TW[i],其中i=1到M,M是检测时间窗口的数量,M≥3,优选地M≥4,更优选地M≥5,并且其中
Figure FDA0003561405810000051
TD是所述检测时间段,PW是所述脉宽,α是整数,其中α≥1,优选地α≤10,更优选地α≤5,
ii)对于反射激光的每一所检测的光斑,通过累积表示在所述检测时间窗口TW[i]中检测到的反射激光的电荷的量来获得与所述检测时间窗口TW[i]相关联的曝光值(Qi),并且其中对于所述脉冲序列的所有脉冲执行所述累积,
并且其中,所述控制器(200)被配置成用于执行所述同步
以使得第一检测时间窗口TW[1]与所述脉冲的发射时间窗口交叠或至少部分交叠,或者另选地,
以使得所述第一检测时间窗口TW[1]相对于所述脉冲的发射时间窗口被延迟,并且所述延迟等于预定义的延迟时间窗口(TDL),
并且其中,所述LIDAR设备包括处理装置(400),所述处理装置(400)被配置成针对反射激光的每一所检测到的光斑,
i)标识在所述连贯检测时间窗口TW[i]的哪些检测时间窗口中获得代表反射激光的所述曝光值(Qi),
ii)基于所标识的检测时间窗口来计算对象距离(DS)。
11.根据权利要求10所述的LIDAR设备,其特征在于,所述基于CMOS的多阱像素检测器包括多个像素,并且其中每一像素包括光敏检测区和多个电荷存储阱W[i],其中i=1至NW且NW是电荷存储阱的数量,其中NW≤M,并且其中所述多个电荷存储阱被配置成用于存储在所述检测时间段(TD)期间由所述光敏区检测到的电荷。
12.根据权利要求11所述的LIDAR设备,其特征在于,NW<M,M≥4,且其中α+1个连贯检测时间窗口TW[k]到TW[k+α]中的每一子序列与所述多个电荷存储阱W[i]的α+1个电荷存储阱的唯一性序列相关联,使得在其中检测到反射激光的检测时间窗口是能毫无疑义地标识的,其中k=1到M-α。
13.根据权利要求11或12所述的LIDAR设备,其中α=1,并且其中所述检测时间窗口的数量(M)被定义为使得
在电荷存储阱的数量是奇数的情况下,M≤1+NW!/((NW-2)!×2),或者
在电荷存储阱的数量是偶数的情况下,M≤1+NW!/((NW-2)!×2)–((NW!/((NW-1)!×2))-1)。
14.根据权利要求10到12中的任一项所述的LIDAR设备,其特征在于,α≥2。
15.根据权利要求10到14中的任一项所述的LIDAR设备,其特征在于:
PW=(TOFmax–TDL)/((M-α)/α),其中TOFmax=2×Dmax/c,其中TOFmax是最大飞行时间(TOFmax)且Dmax是与所述最大飞行时间相关联的最大距离,所述最大距离(Dmax)是所述LIDAR设备的工作范围,c是光速,且TDL是所述预定义延迟时间窗口,其中0≤TDL≤0.6×TOFmax,优选地0≤TDL≤0.4×TOFmax,更优选地0≤TDL≤0.2×TOFmax
16.根据权利要求10至15中的任一项所述的LIDAR设备,其特征在于,所述投影仪(100)能用于以脉冲频率(FP)生成所述脉冲激光束,使得FP≤1/((M/α)×PW+TDL),其中FP是所述脉冲频率。
17.一种包括根据权利要求10到16中的任一项所述的LIDAR设备的交通工具,其中所述LIDAR设备被布置成可操作地覆盖所述交通工具周围区域的至少一部分,区域的所述至少一部分对应于所述场景(99)。
CN202080066981.3A 2019-09-25 2020-09-23 用于确定到场景的距离的方法和设备 Pending CN114730009A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19199701.4A EP3798673A1 (en) 2019-09-25 2019-09-25 Method and device for determining distances to a scene
EP19199701.4 2019-09-25
PCT/EP2020/076455 WO2021058494A1 (en) 2019-09-25 2020-09-23 Method and device for determining distances to a scene

Publications (1)

Publication Number Publication Date
CN114730009A true CN114730009A (zh) 2022-07-08

Family

ID=68069619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066981.3A Pending CN114730009A (zh) 2019-09-25 2020-09-23 用于确定到场景的距离的方法和设备

Country Status (6)

Country Link
US (1) US20220326358A1 (zh)
EP (2) EP3798673A1 (zh)
JP (1) JP2022551427A (zh)
KR (1) KR20220082849A (zh)
CN (1) CN114730009A (zh)
WO (1) WO2021058494A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023104438A1 (en) * 2021-12-09 2023-06-15 Sony Semiconductor Solutions Corporation Electronic device and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6676866B2 (ja) * 2015-05-28 2020-04-08 パナソニック株式会社 測距撮像装置及び固体撮像素子
JP6406449B2 (ja) * 2015-06-24 2018-10-17 株式会社村田製作所 距離センサ
JP6701199B2 (ja) * 2015-07-31 2020-05-27 パナソニック株式会社 測距撮像装置
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2019115839A1 (en) * 2017-12-15 2019-06-20 Xenomatix Nv System and method for determining a distance to an object

Also Published As

Publication number Publication date
KR20220082849A (ko) 2022-06-17
JP2022551427A (ja) 2022-12-09
WO2021058494A1 (en) 2021-04-01
EP3798673A1 (en) 2021-03-31
US20220326358A1 (en) 2022-10-13
EP4034910A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
US9194953B2 (en) 3D time-of-light camera and method
EP3058389B1 (en) Probabilistic time of flight imaging
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
EP3457177B1 (en) Distance measurement apparatus
US7554652B1 (en) Light-integrating rangefinding device and method
CN112731425B (zh) 一种处理直方图的方法、距离测量系统及距离测量设备
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
CN112817001B (zh) 一种飞行时间测距方法、系统和设备
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US20180106599A1 (en) Distance-measuring apparatus, surveillance camera, three-dimensional measuring device, mobile object, robot, and distance-measuring method
CA2716980C (en) Light-integrating rangefinding device and method
EP3227721B1 (en) Distance measuring device and method for determining a distance
US10436910B2 (en) Line scan depth sensor comparing a time dependent waveform of the signals to an expected waveform
CN109991581B (zh) 飞行时间获取方法和飞行时间相机
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
CN114730009A (zh) 用于确定到场景的距离的方法和设备
TWI723413B (zh) 測量一成像感測器與一物體間之一距離的系統及方法
US20230194666A1 (en) Object Reflectivity Estimation in a LIDAR System
US11500095B2 (en) Method for determining the distance separating an object and an optical detection system, and corresponding system
CN113009498A (zh) 一种距离测量方法、装置及系统
US20230273316A1 (en) Imaging apparatus and method
US20240168168A1 (en) 3d scanning system and method
CN112424639B (zh) 使用飞行时间和伪随机比特序列测量到物体的距离
EP3069167B1 (en) Method for illuminating an object and for determining a distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination