CN109791204B - 用于确定到对象的距离的系统 - Google Patents

用于确定到对象的距离的系统 Download PDF

Info

Publication number
CN109791204B
CN109791204B CN201780060799.5A CN201780060799A CN109791204B CN 109791204 B CN109791204 B CN 109791204B CN 201780060799 A CN201780060799 A CN 201780060799A CN 109791204 B CN109791204 B CN 109791204B
Authority
CN
China
Prior art keywords
light
detector
time window
pulse
solid state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780060799.5A
Other languages
English (en)
Other versions
CN109791204A (zh
Inventor
里克·帕森
D·范德克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xenomatix NV
Original Assignee
Xenomatix NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xenomatix NV filed Critical Xenomatix NV
Publication of CN109791204A publication Critical patent/CN109791204A/zh
Application granted granted Critical
Publication of CN109791204B publication Critical patent/CN109791204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明涉及一种用于确定距离的系统，包括：光源，用于以脉冲序列朝向对象投射激光的离散光斑的图案；检测器，包括图像元件，用于检测表示对象所反射的图案的光，与脉冲序列同步；以及处理装置，以根据所述图像元件产生的曝光值计算到对象的距离。图像元件通过累积表示在第一时间窗期间反射的第一光量的第一电荷量和表示在第二时间窗期间反射的第二光量的第二电荷来产生曝光值。固态辐射源发射基本上具有小于±20nm的波长扩展的单色光，并且检测器配备有相应的窄带通滤波器。

Description

用于确定到对象的距离的系统
技术领域
本发明涉及用于确定到对象的距离的系统的领域，尤其涉及用于表征场景或场景的一部分的基于飞行时间的传感系统。
背景技术
在遥感技术领域中，主要在制作周围环境的高分辨率地图以用于许多控制和导航应用(诸如但不限于汽车和工业环境、游戏应用和测绘应用)的用途中，已知使用基于飞行时间的感测来确定对象距传感器的距离。基于飞行时间的技术包括使用RF调制源、距离选通成像器和直接飞行时间(direct time-of-flight，DToF)成像器。对于RF调制源和距离选通成像器的使用，必须用调制源或脉冲源照射感兴趣的整个场景。直接飞行时间系统，诸如大多数激光雷达(LIDAR)，使用脉冲束机械地扫描感兴趣的区域，脉冲束的反射用脉冲检测器感测。
为了能够将发射的RF调制信号与检测到的反射信号相关联，所发射的信号必须满足许多约束。实际上，这些约束使得RF调制系统对于在交通工具系统中的使用变得非常不实用：对于在常规安全限制内并且在常规交通工具的功率预算内的信号强度，可达到的检测范围(射程，距离)非常有限。
如在大多数激光雷达系统中使用的直接TOF(DToF)成像器包括强大的脉冲激光器(以纳秒脉冲状态操作)、用于从1D点测量获取3D地图的机械扫描系统以及脉冲检测器。这种类型的系统目前可从包括VelodyneLidar of Morgan Hill，California(加利福尼亚州摩根山的维洛丁激光雷达)的供应商处获得。Velodyne HDL-64E作为最先进系统的实例，在每秒5到15转的机械旋转结构中使用64个高功率激光器和64个检测器(雪崩二极管)。这些DToF激光雷达系统所需的光功率太高而无法用半导体激光器获得，半导体激光器的功率在低五到六个数量级的范围内。另外，用于扫描目的的机械旋转元件的使用限制了这种类型系统的小型化、可靠性和成本降低的前景。
以Trilumina名义的美国专利申请公开号2015/0063387公开了VCSEL(垂直腔面发射激光器)，其以脉冲宽度为20ns的脉冲传递50mW的总能量。市售的Optek OPV310 VCSEL在以持续时间为10ns的脉冲传递60mW的总能量，并且可通过外推法估算出最大光输出功率为100mW。该值仅在非常严格的操作条件下实现，这意味着最佳占空比和短脉冲宽度，以避免由于热问题导致的不稳定性。Trilumina公开和Optek系统都表明，由于与VCSEL设计固有相关的热约束，连续波VCSEL系统在光峰值功率输出方面达到了其物理极限。在这些脉冲能量水平下，并且使用如目前在DToF应用中使用的ns脉冲，可以预期在120m距离处的对象有效反射的光子数量非常低，使得其无法借助于常规半导体传感器，诸如CMOS或CCD或SPAD阵列检测。因此，因此，将VCSEL功率输出增加5或6个数量级，如将需要的那样将已知的DToF系统的范围扩展，在物理上是不可能的。
甚至使用理论上对捕获少量返回光子足够敏感的雪崩二极管(AD或SPAD)也不能有效地部署在已知的激光雷达系统架构中。必须串行读出SPAD阵列的固态实现。需要大量的SPAD来达到所需的精确度。固态实现的串行读出约束限制了系统的带宽，使其不适合所需的精确度。对于诸如Velodyne系统的精确度(0.02m至0.04m，与距离无关)，所需的读出数据速率超过了当今IC实现情况下实际可获得的带宽。对于120m处的操作，需要500x500像素的SPAD阵列，在基于IC的实现中，必须串行读出。对于与前述Velodyne系统相同的精度，将需要每毫秒1000个脉冲，并且因此需要每毫秒1000帧，转换为每秒250千兆像素的读出速率。在当前的SPAD IC技术的背景下，这被认为在技术上是不可行的。
Neil E.Newman等人的论文“High Peak Power VCSELs in Short Range LIDARApplications”，Journal of Undergraduate Research in Physics,2013，http://www.jurp.org/2013/12017EXR.pdf，描述了基于VCSEL的激光雷达应用。该论文指出，所描述的原型系统的最大输出功率不足以在大于0.75m的范围实现宽场激光雷达。通过相对聚焦的光束(在1m距离处0.02m的光斑大小)，作者能够在至多1m的距离处对感兴趣的对象进行测距。
上述实例清楚地表明，现有半导体激光器发射的光功率不能满足将在汽车应用中实际使用的已知的激光雷达系统中的操作所需的功率要求(例如，对于至多120m的范围)。
以Avago Technologies General IP(Singapore)Pte.Ltd.(阿瓦戈科技(新加坡)有限公司)名义的美国专利号7,544,945公开了使用多个激光器的基于交通工具的激光雷达系统和方法，以提供更紧凑和成本效益好的激光雷达功能。可以依次激活激光器阵列中的每个激光器，使得相对于激光器阵列安装的相应光学元件在基本上不同的方向上产生相应的询问光束。来自这些光束的光被交通工具环境中的对象反射，并被检测以便向交通工具操作者和/或乘客提供关于该对象的信息。该专利提供了固态投射仪，其中连续激活各个激光器，以便替代已知DToF激光雷达系统中的已知的机械扫描。
从以本申请人的名义的国际专利申请公开WO 2015/004213 A1中已知用于不使用飞行时间检测的交通工具的高精确度中程环境传感系统。在该公开中，对象的定位基于脉冲辐射光斑的投射和参考预定参考光斑位置的所检测的光斑的位移的分析。更具体地，所引用的公开的系统使用三角测量。然而，可以达到的精确度与三角测量基线相关，这限制了可以实现的进一步小型化。
美国专利申请公开号US2012/0038903 A1公开了用于自适应地控制场景的照射的方法和系统。特别地，照射场景，并且检测从场景反射的光。由多个像素检测器的不同像素接收的关于光强度水平的信息，对应于场景内的不同区域，和/或接收关于场景内的区域的范围的信息。然后将该信息用作反馈信号以控制场景内的照射水平。更具体地，响应于反馈信号，可以为场景的不同区域提供不同的照射水平。
欧洲专利申请公开号EP 2 322 953 A1公开了距离图像传感器，所述距离图像传感器能够在不降低距离分辨率的情况下扩大距离测量范围。辐射源提供第一脉冲至第五脉冲序列，这些脉冲序列作为在时间轴上按顺序排列的第一帧至第五帧中的辐射脉冲照射到对象。在这些帧中的每个帧中，在从每帧的起始点开始的预定时间点处规定成像时间，脉冲还分别从第一帧的起始点开始至第五帧相应地偏移彼此不同的偏移量。像素阵列使用五帧中的每帧中的成像窗A和窗B来生成元素图像信号，所述元素图像信号中的每个具有在彼此不同的距离范围内的对象的距离信息。处理单元通过组合元素图像信号生成图像信号。由于使用五次飞行时间测量，因此不必增加辐射脉冲的宽度来获得在宽距离范围内的对象的距离信息，并且不降低距离分辨率。
欧洲专利申请公开号EP 2 290 402 A1公开了范围图像传感器，所述范围图像传感器设置在半导体基板上，具有由多个二维排列的单元组成的成像区域，从而基于从单元输出的电荷量获得范围图像。单元中的一个设置有电荷产生区域(转移电极外的区域)，在所述区域响应于入射光而产生电荷，至少两个在空间上分开布置的半导体区域从电荷产生区域收集电荷，以及转移电极安装在半导体区域的每个边缘处并围绕半导体区域，给出相位不同的电荷转移信号。
Shoji Kawahito等人的文章“A CMOS Time-of-Flight Range Image SensorWith Gates-on-Field-Oxide Structure”,IEEE Sensors Journal,Vol.7,no.12,p.1578–1586公开了一种类型的CMOS飞行时间(TOS)范围图像传感器，所述范围图像传感器使用场氧化物结构上的单层栅(门)进行光转化和电荷转移。该结构允许在标准CMOS工艺中实现具有15x15μm2像素的密集TOF范围成像阵列。在制造工艺中仅增加了另外的工艺步骤以产生高速电荷转移所需的n型掩埋层。基于由来自有源照射光源的背反射红外光脉冲引起的光电荷的时间延迟相关的调制来操作传感器。为了减少背景光的影响，使用小占空比光脉冲并且在像素中包括电荷排放结构。所制造的TOF传感器芯片测量的距离分辨率在每秒30帧下为2.35cm，在每秒三帧下改进为0.74cm，具有的脉冲宽度为100ns。
以本申请人的名义的欧洲专利申请号EP15191288.8，其在本申请的申请日时未公布，描述了用于确定到对象的距离的系统和方法的一些方面。
对于在复杂的交通工具环境传感应用诸如ADAS(autonomous drivingassistance system，自动驾驶辅助系统)应用和自动驾驶应用中获得极端小型化和/或更长程存在持续的需要，并且需要有合理的成本和紧凑的半导体集成的物理尺寸。对于将宽视场与非常高的检测灵敏度相结合的系统存在特别的需要。
发明内容
本发明的实施方式的目的是为基于位移的交通工具(车辆)环境传感系统提供进一步小型化和更长程的替代方案。此外，本发明的实施方式的目的是为已知的激光雷达系统提供完整的固态替代方案。
根据本发明的方面，提供了一种用于确定到对象的距离的系统，所述系统包括：固态光源，被布置用于以脉冲序列朝向对象投射激光的离散光斑的图案；检测器，包括多个图像元件，所述检测器被配置用于检测表示对象所反射的离散光斑的图案的光，与脉冲序列同步；以及处理装置，被配置为根据由图像元件响应于检测到的光所产生的曝光值来计算到对象的距离；其中，图像元件被配置为通过对于序列的所有脉冲累积表示在第一预定时间窗期间由对象反射的第一光量的第一电荷量和表示在第二预定时间窗期间由对象反射的第二光量的第二电荷来产生曝光值，第二预定时间窗在第一预定时间窗之后发生；并且其中固态辐射源发射基本上具有小于±20nm的波长扩展的单色光，并且检测器配备有相应的窄带通滤波器。
本发明依赖于与直接基于飞行时间的测距系统相同的物理原理，即，事实上，光总是需要一定量的时间来行进给定距离。然而，本发明使用距离选通来确定已经发射并随后由目标对象反射的光脉冲行进的距离。本发明尤其基于发明人的见解，即通过结合距离选通，至少部分同时的光斑图案投射(基于新的照射方案)和低功率半导体光源，可以获得基本上小型化的、全固态并且节能的长程距离检测方法。如本文使用的术语“图案”是指同时投射的光斑的空间分布。为了确定检测到的光斑反射在三维空间中的位置，需要将从测距步骤获得的距离信息与角度信息组合以固定剩下的两个空间坐标。通过识别检测到反射的像素，可以使用包括像素阵列和适当布置的光学器件的相机来提供附加的角度信息。
本发明的实施方式基于发明人的进一步见解，即为了能够在激光雷达系统中在期望范围内使用由固态光源产生的光斑图案，需要避免光功率限制的方法。发明人已经发现，通过延长脉冲持续时间并通过将多个VCSEL产生的光脉冲的反射能量整合在至少两个半导体传感器阱内或至少两个像素内，然后单个读出集成电荷，可以获得比目前用固态执行可行的显著更大的工作范围的固态激光雷达系统。在下文中，术语“存储”将用于指定响应于光子的检测而累积电荷的阱或像素。
本发明的优点在于固态光源和固态传感器(诸如CMOS传感器、CCD传感器、SPAD阵列等)可以集成在同一半导体基板或衬底上。固态光源可以包括VCSEL阵列。
此外，通过评估在两个连续时间窗中检测到的反射光能量，并对两个连续窗中的总累积电荷归一化，在距离计算算法中，可以充分考虑到所研究的对象的不同反射率的影响和环境光的贡献。
在图像元件中，代表射入光的电荷可以在阱水平或在像素水平累积。在阱水平电荷累积的优点是读出噪声最小化，导致更好的信噪比。
可以周期性地重复脉冲序列的发送和检测。
车载对象检测系统必须能够在由500W/m2量级的太阳光组成的潜在强烈的“背景辐射”上检测投射图案(即投射光斑)的反射。本发明依赖于另一特征来克服该问题，该问题包括将光斑投射为单色光，并将待检测的光过滤到投射光斑的波长附近的窄带，从而减少相关带中存在的光的要处理的太阳光的量。
如本文所用，单色光应理解为包括由普通半导体激光器装置所产生的激光。单色光具有的波长扩展为小于±20nm，优选小于±10nm，更优选小于±5nm，最优选小于±3nm或小于±1nm。因此，窄带通滤波器优选地具有1-3nm范围内的通带带宽。辐射源可以适于产生光谱为700-1500nm，优选800-1000nm的激光。在具体实施方式中，光学器件还包括布置在窄带通滤波器和至少一个检测器之间的小型透镜(minilens)/微型透镜(microlens)阵列，使得小型透镜阵列的各个小型透镜将入射光聚焦在该至少一个检测器的各个像素的相应光敏区域上。这种每像素一个小型透镜的布置的优点在于，通过将所有入射光光学地引导到像素的光敏部分，可以减少由于下置传感器的填充因子造成的损失。
在根据本发明的系统的实施方式中，固态光源适于发射离散光斑的图案，使得不同的光斑具有不同的相应波长，不同的相应波长在不同入射角度下对应于窄带通滤波器的通带的最大值。后面的由于入射角度而被称为蓝移。
该实施方式的优点在于，在窄带通滤波器(在光线的光路方向上考虑)之后可以设置检测器侧的光学器件，所述光学器件被布置成将投射光斑的反射聚焦到图像元件上。这允许使用标准滤波器，使设计更便宜且更紧凑。在该实施方式中，这种光学布置允许不同光线在不同角度下通过窄带通滤波器的事实，产生针对不同光线的不同的有效滤波器特性，可以通过确保不同光斑具有适用于应用到该光斑的光线将采用的物理路径的有效滤波器特性的波长来充分补偿适用于。
在特定实施方式中，固态光源包括发射不同的相应波长的光的多个瓦片。
该实施方式的优点在于不同的瓦片可以容易地配置成发射所需波长的光。该实施方式的另一优点在于光源生产过程的产量增加，因为所产生的源的有效波长的自然变化变得有利而不是有害：具有偏离标称波长的有效波长的所产生的源可以在瓦片阵列中的不同位置使用。
在另一特定实施方式中，固态光源包括配备有微机电系统的VCSEL阵列，所述微机电系统被布置成适应(调节)VCSEL阵列中的各个VCSEL的发射波长，以便获得不同的相应波长。
该实施方式的优点在于可以根据所需波长调制阵列中各个VCSEL的光学特性。
在另一特定实施方式中，固态光源包括配备有压电转换器的VCSEL阵列，所述压电转换器被布置成适应VCSEL阵列中的各个VCSEL的发射波长，以便获得不同的相应波长。
该实施方式的优点在于可以根据所需波长调制阵列中各个VCSEL的光学特性。
在实施方式中，根据本发明的系统还包括光学器件，所述光学器件被布置以便修改窄带通滤波器上的入射角度，以将入射角度限制在窄带通滤波器的主表面的法线周围的预定范围内，其中多个图像元件布置在具有对应于焦平面的曲率的基板上。
已知的光学系统不以足够的垂直角度将入射辐射传递到窄带滤波器上来获得令人满意的结果(即，整个图像的恒定滤波特性)。虽然这可以用适当的光学器件(诸如远心光学器件)来校正，但是这种光学器件倾向于呈现非平面焦平面；当需要宽视场时，这种效果变得更加明显。因此，投射到纯平面检测器上的图像将在检测器的某些部分中失焦。本发明的优点在于它允许通过将窄带滤波器与特定光学布置组合以使入射辐射垂直于窄通带滤波器和检测器来进行极其精确的滤波，所述检测器的形状遵循光学器件的焦平面的形状。
在具体实施方式中，光学器件包括图像空间远心透镜。
在更具体的实施方式中，光学器件包括两个透镜，这两个透镜具有以图像空间远心配置布置的大致相同的焦距。
在更具体的实施方式中，光学器件还包括布置在两个透镜和窄带通滤波器之间的第一小型透镜阵列，以便将从两个透镜入射在第一小型透镜阵列上的基本上所有光束引导到预定范围内。
在更具体的实施方式中，光学器件还包括布置在窄带通滤波器和检测器之间的第二小型透镜阵列，其中小型透镜阵列的各个小型透镜将入射光聚焦在检测器的各个像素的相应光敏区域上。
在根据本发明的系统的实施方式中，第一预定时间窗和第二预定时间窗具有基本相等的持续时间并且紧接(连续，背对背，back-to-back)地发生。
该实施方式的优点在于，通过对从周围的像素平均的累积的环境光做减法，可以容易地消除距离计算公式中的环境光的贡献。
在具体实施方式中，多个图像元件中的每个包括至少两个电荷存储阱，并且在所述至少两个电荷存储阱中的相应一个中发生第一光量的检测和所述第二光量的所述检测。
术语“电荷存储阱”表示在半导体基板中提供的存储，例如，存储由射入在像素上的光子转换产生的电荷的电容器。该具体实施方式的目的是实现更好的信噪比，改善传感器的整个范围。
根据本发明的方面，提供了一种交通工具，包括：如上所述的系统，所述系统布置成可操作地覆盖围绕所述交通工具的区域的至少一部分。
根据本发明的系统在具有ADAS或自动驾驶控制单元的交通工具中特别有利，诸如但不限于ECU(electrical control unit，电控单元)。该交通工具还可以包括交通工具控制单元，适于从系统接收测量信息并且适于使用信息以用于ADAS控制或采取自动驾驶决策。交通工具周围区域的一部分可包括交通工具前方、旁边或后方的路面。因此，该系统可以提供车前方地面的道路轮廓信息，以用于主动悬架或半主动悬架。
根据本发明的方面，提供了一种相机，所述相机包括如上所述的系统，由此该系统适于基于从系统获得的信息将3D信息添加到相机图像，使得可以创建3D图像。
根据本发明的相机和交通工具的实施方式的技术效果和优点，加以必要的变通，对应于根据本发明的系统的相应实施方式的技术效果和优点。
附图说明
现在将参考附图更详细地描述本发明的这些和其他方面和优点，在附图中：
图1表示根据本发明的方法的实施方式的流程图；
图2示意性地表示根据本发明的系统的实施方式；
图3表示本发明实施方式中的光投射和检测的时序图；
图4提供了依据通过对数色调映射(顶部)和多线性色调映射(底部)所获得的入射光功率的示例性像素输出的示图；
图5提供了依据由高动态范围多输出像素所获得的入射光功率的示例性像素输出的示图；
图6示意性地示出了用于本发明实施方式的高动态范围像素的结构；
图7示意性地示出了用于本发明实施方式的具有两个电荷阱(仓)的像素架构的实施方式，其中每个电荷阱具有单独转移栅；
图8示意性地示出了用于本发明实施方式的第一示例性光学布置；
图9示意性地示出了用于本发明实施方式的第二示例性光学布置；
图10示意性地示出了用于本发明实施方式的第三示例性光学布置；
图11示意性地示出了用于本发明实施方式的第四示例性光学布置；以及
图10示意性地示出了用于本发明实施方式的第五示例性光学布置。
具体实施方式
以本申请人的名义在国际专利申请公开WO 2015/004213 A1中公开的类型的周围环境传感系统具有以下优点：观察广阔场景；同时仅以一些离散和限定良好的光斑，特别是预限定的光斑图案，同时地或部分同时地照射该场景。通过使用具有出色的束质量和非常窄的输出光谱的VCSEL激光器，即使在存在日光的情况下，也可以获得具有有限量输出功率的检测范围。在WO 2015/004213 A1的系统中执行的实际测距依赖于位移检测，特别是三角测量，其被理解为鉴于功率预算所需的长(准静止)脉冲持续时间的背景下实际可用的唯一方法。迄今为止，还不可能用紧凑的、基于半导体的、基于飞行时间的系统来达到同样的功率/性能特性。
本发明通过从根本上改变基于飞行时间的系统操作的方式克服了这种限制。本发明通过增加单个脉冲的持续时间并通过产生虚拟“复合脉冲”(由一系列大量单个脉冲组成)，来增加针对每次飞行时间测量所发射的光能总量(以及因此，针对每次飞行时间测量在检测器处可用于检测的光子的数量)。这种扩展脉冲的集束允许发明人利用低功率VCSEL获得所需量的光能(光子)以用于所需的操作范围。
在预先存在的激光雷达系统的单个脉冲可以具有1ns的持续时间的情况下，根据本发明的系统受益于显著更长的脉冲持续时间，以部分地补偿诸如VCSEL之类的半导体激光器的相对低的功率水平；在本发明的实施方式中，序列内的各个脉冲可以具有1μs的示例性持续时间(这是一个可能的值，在此选择以使描述清楚并简单；更一般地，在本发明的实施方式中，脉冲持续时间例如可以是500ns或更长，优选750ns或更长，最优选900ns或更长)。在根据本发明的示例性系统中，序列可以包括1000个脉冲周期，因此累加到1ms的持续时间。鉴于光需要大约0.66μs以行进至距离为100m处的目标并返回检测器的事实，可以使用该持续时间的复合脉冲用于距离为该幅度级别的测距；技术人员将能够依据所选择的脉冲宽度和期望的范围调节所需的脉冲周期数。序列的检测优选地包括检测与基于VCSEL的光源同步的各个脉冲，并且在读出之前针对整个序列累积响应于像素阱水平处的入射光子产生的电荷。术语“曝光值”在下文中用于表示代表对于(整个)序列整合(积累，integrate)的电荷(并因此代表在像素处接收的光量)的值。可以周期性地重复序列发射和检测。
本发明通过使用距离选通来运行。距离选通成像器在脉冲持续时间内对检测到的发射脉冲的反射功率进行整合。脉冲发射窗与反射脉冲到达之间的时间重叠量取决于光脉冲的返回时间，并因此取决于脉冲行进的距离。因此，整合功率与脉冲行进的距离相关。本发明使用距离选通原理，如应用于上文所述的脉冲序列。在下面的描述中，隐含地理解了在图像元件的水平上对序列的各个脉冲整合以获得整个序列的测量。
图1表示根据本发明的方法的实施方式的流程图。在不失一般性的情况下，参考距离选通算法描述测距方法。在第一时间窗10中，该方法包括将来自包括固态光源210的光源的激光光斑图案(例如，光斑的规则或不规则空间图案)投射110到场景的目标区域中的任何对象上。空间图案以脉冲序列重复投射。
如上所述，固态光源可以包括VCSEL阵列。为了使系统最佳地运行，即使在长程和高水平的环境光下(例如，在日光中)，用于本发明实施方式的VCSEL优选地布置成每单位面积每光斑发射最大光功率。因此，具有良好光束质量(低M2因子)的激光器是优选的。更优选地，激光器应具有最小的波长扩展；利用单模激光器可以实现特别低的波长扩展。因此，以必要的空间和时间精确度，可以可再现地产生基本上相同的脉冲。在系统中，不布置光学器件以确保沿不同路径的光线在相同(垂直)角度下都通过窄带通滤波器，VCSEL阵列被配置成使得不同的光斑具有不同的相应波长，不同的相应波长在不同入射角度下对应于窄带通滤波器的通带的最大值。可以通过使用瓦片式激光器阵列或通过在VCSEL阵列中提供用于调制各个VCSEL的波长的装置来获得该配置。
在发射脉冲的同一时间窗期间，或在基本上重叠的时间窗中，在检测器处检测120表示由感兴趣的对象反射的光斑图案的第一光量，所述检测器优选地布置为尽可能接近光源。光斑图案的投射110与所述光斑图案的反射的第一检测120之间的同步性或近似同步性，在流程图中通过这些步骤的并排布置示出。在随后的第二预定时间窗20中，在检测器处检测130表示反射光斑的第二光量。在该第二窗20期间，固态光源不工作。然后可以根据第一反射光量和第二反射光量计算140到对象的距离。
第一预定时间窗10和第二预定时间窗20优选地是具有基本相等持续时间的紧接窗，以通过将检测到的量中的一个从另一个中减去来帮助噪声和环境光的消除。下面将结合图3更详细地描述示例性时序方案。
检测器包括多个图像元件，即它由具有适当光学器件的图像元件阵列组成，所述光学器件被布置成将场景(包括照射光斑)的图像投射到图像元件上。如本文使用的术语“图像元件”可以指单个光敏区域或像素的阱，或者指整个像素(其可以包括多个阱，见下文)。对于每个给定的投射光斑，第一光量的检测120和第二光量的检测130发生在多个图像元件的同一个或相同的组中。
不失一般性，每个图像元件可以是包括至少两个电荷存储阱221、222的像素，使得第一光量的检测120和第二光量的检测130可以发生在同一像素或像素组的相应电荷存储阱221、222处。
图2示意性地表示根据本发明的系统的实施方式，涉及感兴趣的场景中的对象99。系统200包括固态光源210，用于将可以周期性重复的光斑序列图案投射到对象99上。检测器220布置在光源附近并配置成检测由对象反射的光。
从对象99反射的光束用虚线箭头表示，从光源210行进到对象99并返回到检测器220。应该注意，该表示是严格示意性的，并不旨在指示任何实际的相对距离或角度。
可以包括常规时钟电路或振荡器的同步装置230被配置为：运行固态光源210，以便在第一预定时间窗10期间将光斑图案投射到对象上；和运行检测器220，以便在基本上同一时间检测表示由对象99反射的光斑的第一光量。所述同步装置进一步运行检测器220以在相应的后续第二预定时间窗20期间，检测表示由对象99反射的光斑的第二光量。适当的处理装置240被配置为根据第一反射光量和第二反射光量计算到对象的距离。
图3表示本发明实施方式中的用于光投射和光检测的时序图。为清楚起见，仅示出了图1周期性重复的脉冲序列的单个脉冲，其由第一时间窗10和第二时间窗20组成。
如从图3a中可以看出，在第一时间窗10期间，固态光源210处于其“开启(通)”状态，将光光斑图案发射到场景上。在第二时间窗20期间，固态光源210处于其“关闭(断)”状态。
反射光到达检测器220处相对于投射的开始延迟了与行进距离成比例的时间量(在自由空间中约为3.3ns/m)。由于该延迟，仅反射光的一部分会在以下处被检测到：检测器220的第一阱221处，其仅在第一时间窗10期间被激活。因此，在该第一阱被激活期间(第一时间窗10)，在该第一阱中累积的电荷由以下组成：仅表示在反射脉冲到达之前照射在像素上的环境光和噪声的一部分；以及表示反射脉冲的前沿、噪声和环境光的一部分。
反射脉冲的后面部分在以下处被检测到：检测器220的第二阱222，其仅在第二时间窗20期间被激活，所述第二时间窗优选地紧跟在第一时间窗10之后。因此，在第二阱激活期间(第二时间窗20)，在该第二阱中累积的电荷由以下组成：表示反射脉冲的后沿、噪声和环境光的一部分；以及仅表示在反射脉冲到达之后射入在像素上的环境光和噪声的一部分。
反射对象99与系统200之间的距离越大，在第一阱221中检测到的脉冲的比例越小，并且在第二阱222中检测到的脉冲的比例越大。
如果反射脉冲的前沿在第一阱221关闭之后(即，在第一时间窗10结束之后)到达，则可以在第二阱222中检测到的反射脉冲的比例将随着飞行时间延迟的增加而再次减小。
图3b中示出，对于对象99的不同距离，在每个相应的阱221、222中所得到的电荷量A、B。为了简化表示，在示图中没有考虑根据平方反比定律的光随距离衰减的影响。很明显，对于飞行时间延迟达到第一时间窗10和第二时间窗20的组合持续时间，飞行时间延迟原则上可以明确地从A和B的值导出：
-对于达到第一时间窗10的持续时间的飞行时间延迟，B与对象99的距离成比例。为了容易地实现绝对距离的确定，可以使用归一化值B/(B+A)，消除平方反比定律和被检测的对象的非完美反射率的任何影响。
-对于超过第一时间窗10的持续时间的飞行时间延迟，A仅包括日光和噪声贡献(未示出)，并且C-B基本上与对象99的距离成比例(在校正平方反比定律之后)，其中C是偏移值。
虽然图3a和图3b示出了与在时间窗10中发射的单个脉冲有关的本发明的原理，但是应该理解，所示的脉冲是如上定义的脉冲序列的一部分。图3c示意性地示出了这种序列的示例性时序特性。如图所示，照明方案40包括重复发射各个脉冲10的序列30。各个脉冲10的宽度由最大操作范围确定。整个序列可以以例如60Hz的频率重复。
短距离处对象对光的反射更可能导致像素饱和，因为这种反射的衰减将远远小于来自更远对象的反射的衰减(由于光衰减随距离的平方反比定律)。由于某些应用(诸如汽车应用)需要达到相对长距离的精确的系统运行，因此必须在最近的操作距离和最远的操作距离之间覆盖大的光子跨度。在这些约束下，短程处的像素饱和是非常真实的风险，特别是在第一组阱处(其接收段程处的大部分反射)。发明人已经发现，对于给定的总像素空间，可以通过使用不对称阱布置来减轻饱和问题，其中由第一组阱表示的光子容量增加，而由第二组阱表示的光子容量减少。如果增加和减少是平衡的，则可以在没有额外的像素表面成本的情况下获得动态范围的增加。
晕光(blooming)是当像素中的电荷超过该特定像素的饱和水平时发生的现象。因此，电荷开始溢出并在相邻像素导致干扰。这会在相邻像素中创建不精确的数据。优选地，根据本发明的系统的像素设置有抗晕光电子器件，以在电荷饱和相关组阱并溢出到相邻像素的阱之前排出多余的电荷。特别是当来自相邻光斑的信息用于消除背景光时，具有对从相邻像素独立地(并且没有污染)获得的背景光的精确估计是非常重要的。
本发明的实施方式可以采用相关双采样来校正与阱容量相关的热噪声(也表示为“kTC噪声”)的样本。为此，像素的电子器件可以被设计为在复位电压(Vreset)和信号电压(Vsignal)之间执行差分测量，例如通过测量帧开始处的Vreset以及测量帧结束处的Vsignal。作为电子器件(像素内)实现的替代方案，也可以通过在处理器中数字地减去读出信号(Vsignal-Vreset)来实现相关双采样。
为了增加到达像素结构中的光敏元件(特别是二极管)的光量，本发明的实施方式可以使用背面照射；在那种情况下，像素电路位于光敏层后面，因此减少了射入光子读取光敏元件必须穿过的层数。
根据本发明的测距系统可以与根据WO 2015/004213 A1的基于三角测量的系统集成。如果目的在于小型化，基于三角测量的系统将最终在其投射仪和其检测器之间具有相对小的距离，从而使其具有减小的操作范围。然而，正是在短程下，组合呈现其益处，因为基于三角测量的系统可以覆盖基于飞行时间的系统不能足够精确地操作的距离。
可以迭代地重复整个测距过程，以便随时间监测到被检测的一个或多个对象的距离。因此，该方法的结果可以用于一些过程，所述过程在连续的基础上需要关于到被检测的对象的距离的信息，诸如高级驾驶员辅助系统，具有主动悬架的交通工具或自动交通工具。
为了使所述系统的所有元件最佳地运行，系统必须是热稳定的。除了其他方面，热稳定性避免了光学元件的不期望的波长偏移(热漂移)，否则这会损害光学链的光学滤波器和其他元件的正常工作。根据本发明的系统的实施方式通过其设计或通过借助于具有PID型控制器的温度控制回路的主动调节来实现热稳定性。
WO 2015/004213 A1公开了各种技术，以最小化在检测间隔期间到达像素的环境光的量，从而提高图案化激光光斑的检测精确度。虽然这些技术尚未在激光雷达系统的背景下公开，但本发明的发明人已经发现，当与本发明的实施方式结合时，若干这样的技术产生了优异的结果。对于在检测器处使用窄带通滤波器以及使用适当的光学布置来确保反射光几乎垂直入射到滤波器上来说尤其如此。这些布置的细节如它们在WO 2015/004213 A1中所示，在此通过引用并入。在下文中提供其他的特征和细节。
虽然从WO 2015/004213 A1已知的各种技术可以应用于本发明的实施方式，以最小化在检测间隔期间到达像素的环境光的量，但是仍不能避免一定量的环境光。在多像素系统中，仅有一些像素将被反射光斑照射，而其他像素将仅被残留的环境光照射。后一组像素的信号水平可用于估计环境光对感兴趣的像素中的信号的贡献，并相应地减去该贡献。附加地或替代地，可以在像素水平下从检测到的信号中减去背景光或环境光。这需要两次曝光，一次在激光脉冲到达期间，以及一次在没有脉冲的情况下。
在一些实施方式中，检测器可以是高动态范围检测器，即具有至少90dB，优选至少120dB的动态范围的检测器。高动态范围传感器的存在，即能够获得大量不饱和的同时保持对场景最暗部分中的强度水平的充分辨别的光子的传感器，是使用这种传感器的优点；它允许传感器具有超长程，而仍然能够在短距离(在反射光相对强烈的情况下)检测对象，而不承受饱和。发明人已经发现使用真正的高动态范围传感器比使用应用色调映射的传感器更有利。在色调映射中，传感器线性范围被压缩到更高的分辨率。在文献中，记录了几种压缩方法，诸如对数压缩或多线性压缩(见图4)。然而，这种非线性压缩需要在对捕获的场景执行逻辑或算术运算之前重新线性化信号，以提取起伏(地形)信息。因此，根据本发明的解决方案提高了检测精确度而不增加计算需求。一些实施方式的另一优点是如图5所示使用完全线性高动态范围传感器。能够提供所需动态范围特性的像素架构和光学检测器公开在美国专利申请公开号US 2014/353472 A1中，特别是段落65-73和88，其内容通过引用并入，为了允许技术人员实施本发明的这个方面的目的。
本发明的实施方式使用高动态范围像素。这可以通过以下方式获得：通过电荷库的相当大的满阱容量；或通过限制每像素的电子噪声的设计；或通过使用不会在电荷转移时增加噪声的CCD珊；或通过具有大的量子检测效率(detection quantum efficiency，DQE)的设计(例如，对于正面照射在50％范围内或在背面照射的情况下为90％，也称为背面减薄(薄化))；或通过诸如图6所示之类的特殊设计(见下文)；或通过所列改进的任何组合。此外，通过将溢出容量添加到覆盖层中的像素的前侧，可以进一步扩大动态范围(该实现需要背面减薄)。优选地，像素设计实现抗晕光机制。
图6呈现了说明具有高动态范围的像素的有利的实现方式的示意图。该图中的实例利用连接到浮动扩散区的两个存储栅7、8。在曝光之后，由场景和激光脉冲产生的电子使用传输栅11在浮动扩散区上传输。Vgate1和Vgate2两个栅电压都设置为较高。然后电荷分布在两个电容器上，实现显著的满阱(Full Well)。一旦通过与放大器的连接读取该高满阱数据，电压Vgate1就被设置为较低。电子朝向电容器7回流，增加了总像素增益。数据可以通过放大器读取。通过稍后在Vgate1上施加低电压，还可以实现更高的增益。电子朝向浮动扩散区2回流。
图7表示在CMOS技术中使用的设想像素的可能的双阱或双仓的实现。射入信号分布在两个电荷存储器上。每个库具有由外部脉冲控制的单独传输栅，该外部脉冲与激光源的脉冲同步。
图8-图10示出了可以在本发明的实施方式中使用的相机，其中光辐射源发射单色光，并且至少一个检测器配备有相应的窄带通滤波器和光学器件，所述光学器件被布置成使得调整到所述窄带通滤波器上的入射角度，以将所述入射角度限制在所述窄带通滤波器的主表面法线周围的预定范围内，所述光学器件包括图像空间远心透镜。术语“相机”在本文中用作传感器和相关光学器件(透镜、透镜阵列、滤波器)的组合。特别地，在图9中，光学器件还包括布置在图像空间远心透镜和至少一个检测器之间的小型透镜阵列，使得小型透镜阵列的各个小型透镜将入射光聚焦在该至少一个检测器的各个像素的相应光敏区域上。这种每像素一个小型透镜布置的优点在于，通过将所有入射光光学地引导到像素的光敏部分，可以减少由于下置传感器的填充因子造成的损失。
这些实例都导致辐射通过滤波器媒介行进基本相等的长度，或者换句话说，导致入射辐射基本正交于滤波器表面，即它被限于在滤波器表面的法线周围的预定范围内的入射角度，从而允许在窄带宽内进行精确滤波，以例如过滤日光、太阳光，并且以便使光斑超越日光。
在本发明的实施方式中，入射角度的校正是特别重要的，其中用有限数量的传感器(例如8个传感器)监测交通工具周围的整个空间，使得入射线可以在例如1x1rad(拉德)的立体角上延伸。图8示意性地示出了这种类型的第一光学布置。它包括以图像空间远心配置的具有大致相同焦距f的第一透镜1030和第二透镜1040。这意味着所有主光线(穿过孔径光阑中心的光线)正交于图像平面。0.16的示例性数值孔径对应于9.3°的锥角(半锥角)。因此，布置在透镜系统1030-1040和传感器102之间的窄带通滤波器1060上的最大入射角将是9.3°。
如图9所示，优选的设计由以图像空间远心配置(该配置也可选地是对象空间远心的)的具有大致相同焦距f的前后排列(纵列，串联)的两个透镜1130、1140、小型透镜阵列1150的平面堆叠、分光滤波器1160和CMOS检测器102组成。由于第一透镜1130的中心O在第二透镜1140的焦点内，所以穿过O的每条光线将在平行于光轴的方向上被第二透镜1140折射。现在考虑与第一透镜1130的焦距相比位于非常大距离处的特定激光光斑S 1110。因此，由第一透镜1130成像的该光斑1110(的图像)是位于该透镜的焦平面附近的点P，因此恰好在第二透镜1140的中间平面中。从光斑S1110发射并由第一透镜1130捕获的光线形成在第二透镜1140中朝向点P会聚的光锥。该光锥的中心轴穿过点O并且平行于光轴折射并因此垂直于分光滤波器1160，以便实现最佳光谱灵敏度。因此，第二透镜1140用作用于入射光束的角度的校正透镜。通过在第二透镜1140后面使用小凸小型透镜1150，光锥的其他光线也可以弯曲成平行于光轴的光线束，如此使得点P位于小型透镜1150的焦点处。以这种方式，光斑S 1110的所有成像光线弯曲到几乎垂直于分光滤波器的方向上。现在，通过使用位于每个像素前面的小型透镜阵列，这可以分别在CMOS检测器的每个像素前面完成。在这种配置中，小型透镜具有图像-远心功能。主要优点在于：可以放大第一透镜1030的光瞳，或者可以消除光圈，同时补偿球面像差的增加(通过局部校正小型透镜1150中的光学器件)。以这种方式，可以提高传感器组件的灵敏度。可以在分光滤波器1160和CMOS像素102之间添加第二小型透镜阵列(图11中未示出)，以将平行光线聚焦回像素的光电二极管，从而最大化填充因子。
对于第一透镜1130和第二透镜1140，可以使用市售透镜。技术人员将理解，也可以使用通常用于具有相当质量的网络摄像头或其他智能电话相机的透镜。上述iSight相机具有6x3mm CMOS传感器，具有8百万像素、1.5μm像素大小、f/2.2的非常大的光圈、约f＝7mm的目标焦距，以及约3.2mm的光瞳直径。视角约为1radx1rad。如果我们假设相机的分辨率大致是像素大小(1.5微米)，我们可以得出结论(根据阿贝定律)，对于由光圈选择的视角的所有光线校正透镜的像差。
图10示出了图11的布置的变型，其针对单个光刻工艺的制造进行了优化。第一透镜1230类似于前述实施方式的第一透镜1130，但是角度校正第二透镜1140由具有相同焦距f的菲涅耳透镜1240代替，并且小型透镜阵列1150由菲涅耳透镜阵列1250代替。优点在于它们是完全平坦的并且可以通过纳米电子技术(具有离散的相区)来生产。可以在分光滤波器1260和CMOS像素102之间添加第二小型透镜阵列1270，以将平行光线聚焦回像素的光电二极管，从而最大化填充因子。因此，相机基本上是如iSight的标准相机，但其中，CMOS传感器由专门设计的多层传感器代替，其中所有组件都在同一光刻工艺中的一个集成块中生产。这种多层传感器在大量生产中便宜、紧凑、坚固并且其无需校准。这五个层1240、1250、1260、1270、102中的每一个都具有其自身的功能以满足本发明所施加的要求。
由于直径为d的透镜产生的光锥的最小角度约为λ/d，其中λ为光的波长，对于小型透镜直径d＝8.5μm并且λ＝850nm来说，最小锥角为1/10弧度。具有高质量的光谱干涉滤波器，这对应于约3nm的光谱窗。
在图8-图10的布置中，光学器件的特性将导致非平面焦平面。为了补偿这种效应，检测器的图像元件可以布置在具有遵循光学器件的焦平面的曲率的基板上。结果，无论它们到达检测器的何处，反射和过滤的光斑都将聚焦。检测器的基板的期望的曲率可以通过使用柔性芯片技术或通过组合不同取向的瓦片组成基板来获得。该解决方案在图11中示意性地示出，其示出远心光学器件1330、接着是窄带通滤波器1360以及弯曲像素层102，所述弯曲像素层的曲率适于遵循远心光学器件1330的焦平面的形状。
当不可能(或不希望)以这样的方式布置光学器件来确保沿不同路径的光线都在相同(垂直)角度下通过窄带通滤波器时，可以在源处解决随不同的入射角度具有不同滤波器特性的问题。特别地，VCSEL阵列可以配置成使得不同的光斑具有不同的相应波长。可以通过使用瓦片式激光器阵列或通过提供用于调制VCSEL阵列中的各个VCSEL的波长的装置来获得该配置。该解决方案在图12中示意性地示出，所述图示出了布置在光学器件1430和传感器阵列102之前的窄带通滤波器1460。为了清楚起见并且不失一般性，在图中示出了具有不同相应波长(λ1、λ2)的两个不同的入射角度。选择光源的不同波长(λ1、λ2)以在它们各自的入射角度下对应于窄带通滤波器通带的最大值。
在本发明的一些实施方式中，通过在检测器处应用阶梯式或可变衰减滤波器，可以在整个深度范围内保持光斑的强度基本恒定。替代地或另外地，还可以提供非对称的透镜光瞳以减弱更靠近检测器的光斑的强度，同时以完整的强度接收更远离检测器的光斑的强度。以这种方式，避免了检测器的削波，并且可以使所有光斑的平均强度基本相同。
在一些实施方式中，辐射源可以是可以在不同区域中分离的VCSEL，由此针对不同区域控制激光器开启时间。因此可以控制光斑的图像以具有恒定的强度，例如，A/D范围的2/3rd。或者，驱动电压可以在光斑阵列上依据高度被驱动，以再次获得恒定的强度。这种控制可以称为饱和避免伺服回路。可以针对强度单独控制阵列内的不同VCSEL，同时在投射时改变图案中的各个VCSEL的强度。
在本发明的一些其他实施方式中，可以在窄带宽滤波器的前面使用微棱镜矩阵，使得辐射在+9°和-9°之间的入射角度内入射在滤波器上。这允许获得窄带宽滤波。棱镜矩阵可以例如通过塑料模制制成。
在本发明的实施方式中，例如，在设想主动悬架交通工具应用的情况下，光斑图案的投射有利地向下指向，即朝向道路。
根据本发明的系统可以包括在专用硬件(例如，ASIC)、可配置硬件(例如，FPGA)、可编程部件(例如，具有适当软件的DSP或通用处理器)、或其任何组合中执行上述方法的步骤。相同的组件还可以包括其他功能。本发明还涉及，所述计算机程序产品包括执行上述方法的步骤的代码装置，其产品可以在诸如光学、磁性或固态载体之类的计算机可读介质上提供。
本发明还涉及包括上述系统的交通工具。
本发明的实施方式可以有利地用于多种多样的应用中，包括但不限于汽车应用、工业应用、游戏应用等，并且这包括室内和室外、短程或长程。在一些应用中，可以组合(例如，菊花链式)根据本发明实施方式的不同传感器以产生全景覆盖，优选地在整个圆(360°视场)上。
虽然在上文中已参考单独的系统和方法实施方式描述了本发明，但这仅出于澄清目的而进行。技术人员将理解，单独结合系统或方法描述的特征也可以相应地应用于方法或系统，具有相同的技术效果和优点。此外，本发明的范围不限于这些实施方式，而是由所附权利要求限定。

Claims (14)

1.一种用于确定到对象的距离的系统(200)，所述系统包括：
-固态光源(210)，被布置用于以脉冲序列朝向所述对象投射激光的离散光斑的图案；
-检测器(220)，包括多个图像元件，所述检测器(220)被配置用于检测表示所述对象所反射的所述离散光斑的图案的光，与所述脉冲序列同步；以及
-处理装置(240)，被配置为通过对所述脉冲序列应用距离选通，基于脉冲发射窗与所反射的脉冲的到达之间的时间重叠的量，根据由所述图像元件响应于所检测到的光所产生的曝光值来计算到所述对象的所述距离；
其中，所述图像元件(220)被配置为通过对于所述序列的所有脉冲，累积表示在与所述脉冲发射时间窗重叠的第一预定时间窗(10)期间由所述对象反射的第一光量的第一电荷量和表示在第二预定时间窗(20)期间由所述对象反射的第二光量的第二电荷来产生所述曝光值，所述第二预定时间窗(20)在所述第一预定时间窗(10)之后发生；
其中所述多个图像元件中的每个包括至少两个电荷存储阱；
其中所述第一光量的所述检测和所述第二光量的所述检测发生在所述至少两个电荷存储阱中的相应一个处；以及
其中固态辐射源发射基本上具有小于±20nm的波长扩展的单色光，并且所述检测器配备有对应的窄带通滤波器(1060；1160；1260；1360；1460)。
2.根据权利要求1所述的系统，其中，所述固态光源(210)适于发射所述离散光斑的图案，使得不同的光斑具有不同的相应波长(λ1、λ2)，所述不同的相应波长(λ1、λ2)在不同入射角度下对应于所述窄带通滤波器(1060；1160；1260；1460)的通带的最大值。
3.根据权利要求2所述的系统，其中，所述固态光源(210)包括以所述不同的相应波长(λ1、λ2)发射光的多个瓦片。
4.根据权利要求2所述的系统，其中，所述固态光源(210)包括配备有微机电系统的VCSEL阵列，所述微机电系统被布置成适应所述VCSEL阵列中的各个VCSEL的发射波长，以便获得所述不同的相应波长(λ1、λ2)。
5.根据权利要求2所述的系统，其中，所述固态光源(210)包括配备有压电转换器的VCSEL阵列，所述压电转换器被布置成适应所述VCSEL阵列中的各个VCSEL的发射波长，以便获得所述不同的相应波长(λ1、λ2)。
6.根据权利要求1所述的系统，还包括光学器件(1030-1040；1130-1150；1230-1250；1330)，所述光学器件被布置以便改变所述窄带通滤波器(1060；1160；1260；1360)上的入射角度，以将所述入射角度限制在所述窄带通滤波器(1060；1160；1260；1360)的主表面的法线周围的预定范围内，其中所述多个图像元件布置在具有对应于焦平面的曲率的基板上。
7.根据权利要求6所述的系统，其中，所述光学器件包括图像空间远心透镜。
8.根据权利要求7所述的系统，其中，所述光学器件包括具有大致相同的焦距的两个透镜(1030，1040；1130，1140)，所述两个透镜以图像空间远心配置布置。
9.根据权利要求8所述的系统，其中，所述光学器件还包括布置在所述两个透镜(1130，1140)和所述窄带通滤波器(1160)之间的第一小型透镜阵列(1150)，以便将从所述两个透镜(1130，1140)入射在所述第一小型透镜阵列(1150)上的基本上所有光束引导到所述预定范围内。
10.根据权利要求8或9所述的系统，其中，所述光学器件还包括布置在所述窄带通滤波器(1260)和所述至少一个检测器(102)之间的第二小型透镜阵列(1270)，其中所述小型透镜阵列(1270)的各个小型透镜将入射光聚焦在所述至少一个检测器(102)的各个像素的相应光敏区域上。
11.根据权利要求1至9中任一项所述的系统，其中，所述第一预定时间窗和所述第二预定时间窗具有基本相等的持续时间并且紧接地发生。
12.根据权利要求10所述的系统，其中，所述第一预定时间窗和所述第二预定时间窗具有基本相等的持续时间并且紧接地发生。
13.一种交通工具，包括根据权利要求1至12中任一项所述的系统，所述系统布置成可操作地覆盖所述交通工具周围的区域的至少一部分。
14.一种相机，所述相机包括根据权利要求1至12中任一项所述的系统，其中，所述系统适于基于从所述系统获得的信息将3D信息添加到相机图像，使得能够创建3D图像。
CN201780060799.5A 2016-10-03 2017-10-03 用于确定到对象的距离的系统 Active CN109791204B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16192102.8A EP3301477A1 (en) 2016-10-03 2016-10-03 System for determining a distance to an object
EP16192102.8 2016-10-03
PCT/EP2017/075095 WO2018065428A2 (en) 2016-10-03 2017-10-03 System for determining a distance to an object

Publications (2)

Publication Number Publication Date
CN109791204A CN109791204A (zh) 2019-05-21
CN109791204B true CN109791204B (zh) 2022-10-11

Family

ID=57047093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060799.5A Active CN109791204B (zh) 2016-10-03 2017-10-03 用于确定到对象的距离的系统

Country Status (6)

Country Link
US (1) US11029391B2 (zh)
EP (2) EP3301477A1 (zh)
JP (1) JP7028878B2 (zh)
KR (1) KR102451010B1 (zh)
CN (1) CN109791204B (zh)
WO (1) WO2018065428A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
WO2018039432A1 (en) 2016-08-24 2018-03-01 Ouster, Inc. Optical system for collecting distance information within a field
EP3392674A1 (en) * 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
KR102657365B1 (ko) 2017-05-15 2024-04-17 아우스터, 인크. 휘도 향상된 광학 이미징 송신기
US11016193B2 (en) 2017-07-05 2021-05-25 Ouster, Inc. Light ranging device having an electronically scanned emitter array
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11762151B2 (en) * 2018-11-07 2023-09-19 Sharp Kabushiki Kaisha Optical radar device
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
DE102019212611A1 (de) * 2019-08-22 2021-02-25 Robert Bosch Gmbh Empfangseinheit für eine LIDAR-Vorrichtung
US11754710B2 (en) * 2019-10-18 2023-09-12 Ai4 International Oy Measurement device and method of operating therefor
EP4364720A1 (en) 2022-11-07 2024-05-08 Wella Germany GmbH Oxidative hair treatment compositions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005052633A1 (de) * 2003-10-29 2005-06-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Abstandssensor und verfahren zur abstandserfassung
CN102576403A (zh) * 2009-07-31 2012-07-11 Opto电子有限公司 光学信息读取设备和光学信息读取方法
CN102798868A (zh) * 2012-07-27 2012-11-28 符建 基于飞行光谱的三维成像雷达系统
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
WO2015004213A1 (en) * 2013-07-09 2015-01-15 Xenomatix Bvba Surround sensing system
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
CN105866755A (zh) * 2016-05-30 2016-08-17 中国人民解放军国防科学技术大学 微波暗室内脉冲体制雷达目标回波信息重构方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749417A (ja) * 1993-08-06 1995-02-21 Fujitsu Ltd 干渉フィルタアセンブリ
BE1011191A4 (nl) * 1997-06-04 1999-06-01 Dyck Dirk Ernest Maria Van Patroonherkenning met behulp van contextuele correlatie.
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP2002139304A (ja) * 2000-10-30 2002-05-17 Honda Motor Co Ltd 距離測定装置、及び距離測定方法
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
JP4178890B2 (ja) * 2002-09-05 2008-11-12 ソニー株式会社 固体撮像装置
US6744566B2 (en) * 2002-10-01 2004-06-01 Eastman Kodak Company Symmetric, bi-aspheric lens for use in transmissive and reflective optical fiber components
JP4548087B2 (ja) * 2003-10-29 2010-09-22 セイコーエプソン株式会社 デバイス
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) * 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
US7485862B2 (en) * 2006-01-29 2009-02-03 Rafael Advanced Defense Systems Ltd. Time-space multiplexed LADAR
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP5171158B2 (ja) * 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US8995485B2 (en) 2009-02-17 2015-03-31 Trilumina Corp. High brightness pulsed VCSEL sources
JP2010219826A (ja) * 2009-03-16 2010-09-30 Fuji Xerox Co Ltd 撮像装置、位置計測システムおよびプログラム
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
JP6145826B2 (ja) 2013-02-07 2017-06-14 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US10497737B2 (en) 2013-05-30 2019-12-03 Caeleste Cvba Enhanced dynamic range imaging
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US8742325B1 (en) * 2013-07-31 2014-06-03 Google Inc. Photodetector array on curved substrate
JP6489320B2 (ja) * 2013-11-20 2019-03-27 パナソニックＩｐマネジメント株式会社 測距撮像システム
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
KR102163728B1 (ko) * 2013-12-05 2020-10-08 삼성전자주식회사 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
EP2963744B1 (en) * 2014-06-30 2019-04-03 Canon Kabushiki Kaisha Surface emitting laser and optical coherence tomography apparatus including the same
CN106461378B (zh) 2014-08-08 2019-10-25 塞姆布有限公司 具有用于非接触式测量的扫描系统的车辆装备
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
EP3045936A1 (en) * 2015-01-13 2016-07-20 XenomatiX BVBA Surround sensing system with telecentric optics
JP6478725B2 (ja) 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
JP6531326B2 (ja) * 2015-03-10 2019-06-19 アルプスアルパイン株式会社 光学式検知装置
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
US9753591B2 (en) * 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
WO2016189808A1 (ja) 2015-05-28 2016-12-01 パナソニックＩｐマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
JP6406449B2 (ja) 2015-06-24 2018-10-17 株式会社村田製作所 距離センサ
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2017085916A1 (ja) 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005052633A1 (de) * 2003-10-29 2005-06-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Abstandssensor und verfahren zur abstandserfassung
CN102576403A (zh) * 2009-07-31 2012-07-11 Opto电子有限公司 光学信息读取设备和光学信息读取方法
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN102798868A (zh) * 2012-07-27 2012-11-28 符建 基于飞行光谱的三维成像雷达系统
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
WO2015004213A1 (en) * 2013-07-09 2015-01-15 Xenomatix Bvba Surround sensing system
CN105866755A (zh) * 2016-05-30 2016-08-17 中国人民解放军国防科学技术大学 微波暗室内脉冲体制雷达目标回波信息重构方法

Also Published As

Publication number Publication date
CN109791204A (zh) 2019-05-21
WO2018065428A2 (en) 2018-04-12
JP7028878B2 (ja) 2022-03-02
EP3519856A2 (en) 2019-08-07
WO2018065428A3 (en) 2018-05-17
JP2019529957A (ja) 2019-10-17
EP3301477A1 (en) 2018-04-04
KR20190057124A (ko) 2019-05-27
EP3519856B1 (en) 2020-09-09
US11029391B2 (en) 2021-06-08
KR102451010B1 (ko) 2022-10-06
US20200034644A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN109791207B (zh) 用于确定到对象的距离的系统和方法
CN109791204B (zh) 用于确定到对象的距离的系统
CN108139483B (zh) 用于确定到对象的距离的系统和方法
EP3625589B1 (en) System and method for determining a distance to an object
EP3519855B1 (en) System for determining a distance to an object
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3550329A1 (en) System and method for determining a distance to an object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant