CN115720634A - 具有雾检测和自适应响应的lidar系统 - Google Patents
具有雾检测和自适应响应的lidar系统 Download PDFInfo
- Publication number
- CN115720634A CN115720634A CN202180045798.XA CN202180045798A CN115720634A CN 115720634 A CN115720634 A CN 115720634A CN 202180045798 A CN202180045798 A CN 202180045798A CN 115720634 A CN115720634 A CN 115720634A
- Authority
- CN
- China
- Prior art keywords
- lidar system
- fog
- array
- operating
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title description 19
- 230000008649 adaptation response Effects 0.000 title description 3
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 49
- 230000005284 excitation Effects 0.000 claims description 34
- 230000001186 cumulative effect Effects 0.000 claims description 21
- 239000000443 aerosol Substances 0.000 claims description 15
- 230000004907 flux Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 239000003595 mist Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000003287 optical effect Effects 0.000 description 25
- 238000005259 measurement Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
- G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种LIDAR系统可基于对在操作期间从传感器通道收集的数据的分析而自动确定是否存在雾。如果存在雾,所述LIDAR系统可在雾模式下操作,并且如果不存在雾,所述LIDAR系统可在晴空模式下操作。这两种模式可在发射器信号和/或应用于传感器数据的信号处理方面彼此不同。
Description
相关申请的交叉引用
本申请要求于2020年4月28日提交的美国临时申请第63/016,916号以及于2021年4月13日提交的美国申请第17/229,691号的优先权。这两个申请的公开内容以引用的方式并入本文中。
本申请还与在2018年3月1日提交的且作为美国专利申请公开案第2018/0259645号在2018年9月13日发表的美国专利申请第15/909,628号相关,所述申请以引用的方式并入本文中。
背景技术
本公开大体上涉及LIDAR系统,并且尤其涉及可自动检测雾且响应于检测到雾而调整操作的LIDAR系统。
光成像、检测和测距(LIDAR)系统通过用脉冲激光照射目标且用传感器测量反射的脉冲来测量到目标的距离。接着可使用飞行时间测量来产生目标的数字3D表示。LIDAR系统可用于其中3D深度图像为有用的多种应用,包含考古学、地理学、地质学、林业、测绘、建筑、医学成像和军事应用,以及其它应用。在一些应用中,举例来说,自主车辆可将LIDAR用于障碍物检测和避让以及车辆导航。
LIDAR系统通常使用红外波长来操作。空气中的水滴会散射或反射所发射的光,这会使从传感器数据中提取飞行时间信息的任务变复杂。特别是,大气雾会损害LIDAR测量的准确性。
发明内容
本发明的某些实施例涉及在有雾的情况下提供改进的性能的LIDAR系统以及操作LIDAR系统的方法。举例来说,本文中所描述的一些LIDAR系统可基于对在操作期间从传感器通道收集的数据的分析而自动确定是否存在雾。如果存在雾,所述LIDAR系统可在雾模式下操作,并且如果不存在雾,所述LIDAR系统可在“晴空”模式下操作。这两种模式可在发射器信号和/或应用于传感器数据的信号处理方面彼此不同。举例来说,巴克编码(Barkercoding)可用于雾模式,而不能用于晴空模式。
以下详细描述将提供对所要求保护的本发明的性质和优点的更好理解。
附图说明
图1A至1B展示根据一些实施例的用于光测距装置的汽车应用,在本文中也称为LIDAR系统。
图2展示根据一些实施例的旋转LIDAR系统的更详细框图。
图3展示可在一些实施例中使用的LIDAR装置的实例。
图4示出LIDAR通道在晴空条件下的操作。
图5A至5C展示根据一些实施例的用于LIDAR系统的巴克编码的实例。
图6展示传统LIDAR通道在有雾的情况下的操作的实例。
图7展示根据一些实施例的使用巴克编码的雾补偿的实例。
图8展示根据一些实施例的用于操作LIDAR系统的过程的流程图。
术语
术语“测距”特别是当在用于测量环境或帮助车辆操作的方法和装置的背景下使用时可指代确定从一个定位或位置到另一定位或位置的距离或距离向量。“光测距”可指代利用电磁波来执行测距方法或功能的一类测距方法。因此,“光测距装置”可指代用于执行光测距方法或功能的装置。“Lidar”或“LIDAR”可指代通过用脉冲激光照射目标且其后以传感器测量反射脉冲来测量到目标的距离的一类光测距方法。因此,“lidar装置”或“lidar系统”可指代用于执行lidar系统方法或功能的一类光测距装置。“光测距系统”可指代包括例如lidar装置之类的至少一个光测距装置的系统。所述系统可进一步包括呈各种布置的一个或多个其它装置或组件。
“脉冲串”可指代一起传输的一个或多个脉冲。脉冲串的发射和检测可称为“激发(shot)”。激发可在“检测时间间隔”(或“检测间隔”)中发生。
“测量”可包含在N次激发中发射和检测到的N多个脉冲串,每一次激发持续检测时间间隔。整个测量可在测量时间间隔(或仅“测量间隔”)中,其可等于测量的N个检测间隔或更长,例如当在检测间隔之间发生暂停时。
“光电传感器”可将光转换为电信号。光电传感器可包含多个“光电检测器”,例如,单光子雪崩二极管(SPAD)。光电传感器可对应于测距测量中的特定分辨率像素。
“直方图”可指代表示随时间的一连串值的任何数据结构,如在时间仓(time bin)上离散的值。直方图可具有指派给每一时间仓的值。在下文的实例中,所述值可表示对应于时间仓的特定时间处的光强度。举例来说,直方图可存储在一个或多个检测间隔中的每一者中的特定时间仓期间起动的光电检测器的数目的计数。作为另一实例,直方图可对应于指示不同时间的光强度的模拟传感器信号的数字化。因此,直方图可被视为光子时间序列或光子通量。光电检测器当在产生信号且所述信号用于产生直方图时可处于“有效操作”。直方图可包含来自信号(例如,源自发射器脉冲的光)和噪声的贡献。“原始”直方图(或累积光子时间序列)可含有在存储器中数字化的信号和噪声而无需滤波或其它操作。“经滤波的直方图”可指代在原始直方图通过滤波器之后的输出。可针对单次激发而生成直方图,也可通过多次激发累积直方图。
发射的信号/脉冲可指代不失真的“标称”、“理想”或“模板”脉冲或脉冲串。反射信号/脉冲可指代来自物件的反射激光脉冲且可能失真。数字化信号/脉冲(或原始信号)可指代来自如存储在存储器中的检测间隔(或激发)的一个或多个脉冲串的检测的数字化结果,且因此可等效于直方图的一部分。检测到的信号/脉冲可指代存储器中检测到信号的位置。检测到的脉冲串可指代由匹配滤波器找到的实际脉冲串。预期信号曲线(profile)可指代由在反射信号中具有特定失真的特定发射信号引起的数字化信号的形状。
具体实施方式
1.LIDAR系统概述
1.1.实例应用
图1A至1B展示根据一些实施例的用于光测距装置的汽车应用,在本文中也称为LIDAR系统。此处选择LIDAR系统的汽车应用仅是出于说明起见,且本文中所描述的传感器可用于例如船、飞机、火车等其它类型的车辆中,以及其中3D深度图像为有用的多种其它应用中,例如医学成像、移动电话、增强现实、大地测量、地球空间信息学、考古学、地形学、地质学、地貌学、地震学、林业、大气物理学、激光导引、机载激光条带测绘(ALSM)和激光高度测量法。根据一些实施例,例如旋转LIDAR系统101和/或静态LIDAR系统103之类的LIDAR系统可安装在车辆105的车顶上,如图1A和1B中所展示。
图1A中所展示的旋转(或扫描)LIDAR系统101可采用扫描架构,其中LIDAR光源107和/或检测器电路系统109的定向可在车辆105外部的外部场或场景内的一个或多个视场110附近扫描。在扫描架构的情况下,发射光111可如所展示在周围环境上扫描。举例来说,可使定位于LIDAR系统101中的一个或多个光源(例如红外或近红外脉冲IR激光,图中未示)的输出光束进行扫描(例如,旋转),以照射车辆附近的场景。在一些实施例中,由旋转箭头115表示的扫描可通过机械手段来实施,例如通过将光发射器和/或传感器安装到旋转的柱子或平台上来实施。在一些实施例中,扫描可通过其它机械手段实施,如通过使用电流计。也可采用基于芯片的转向技术,例如通过使用采用一个或多个基于MEMS的反射器的微芯片,例如数字微镜(DMD)装置、数字光处理(DLP)装置等等。在一些实施例中,扫描可通过非机械手段实现,例如通过使用电子信号使一个或多个光学相控阵列转向。
对于固定架构,如同图1B中所展示的静态LIDAR系统103,一个或多个固态LIDAR子系统(例如,103a和103b)可安装到车辆105。每一固态LIDAR子系统可面向不同方向(单元之间可能有部分重叠和/或不重叠的视场),以便捕获比每一单元自身能够捕获到的更大的复合视场。
在扫描或固定架构中,在场景内的物件可反射从LIDAR光源发射的光脉冲的部分。一个或多个反射部分接着行进回到LIDAR系统,且可由检测器电路系统检测到。举例来说,反射部分117可由检测器电路系统109检测到。检测器电路系统可与发射器安置于相同外壳中。扫描系统和固定系统的方面不是相互排斥的,且因此可组合使用。举例来说,图1B中的个别LIDAR子系统103a和103b可采用例如光学相控阵列之类的可转向发射器,或者复合单元可通过机械手段旋转,进而扫描LIDAR系统前方的整个场景,例如从视场119到视场121。
1.2.实例LIDAR系统
图2展示根据一些实施例的LIDAR系统200的更详细框图。LIDAR系统200包含光测距装置210。光测距装置210包含测距系统控制器250、光传输(Tx)模块240和光感测(Rx)模块230。可由光测距装置210通过将一个或多个光脉冲249从光传输模块240传输到光测距装置210周围的视场中的物件来产生测距数据。然后,所传输光的反射部分239在一段延迟时间后由光感测模块230检测到。基于延迟时间,可确定到反射表面的距离。也可采用其它测距方法,例如连续波、多普勒(Doppler)等等。
Tx模块240可包含可为一维或二维发射器阵列的发射器阵列242,以及Tx光学系统244,当其结合在一起时可形成微光学发射器通道阵列。发射器阵列242或个别发射器是激光源的实例。Tx模块240还可包含处理器245和存储器246。在一些实施例中,可使用脉冲编码技术,例如巴克码(Barker code)等等。在此类情况下,存储器246可存储指示何时应传输光的脉冲代码。举例来说,脉冲代码可被存储为存储在存储器246中的整数序列。
Rx模块230可包含可为例如一维或二维光电传感器阵列的传感器阵列236。每一光电传感器(也仅称为传感器)可包含光电检测器的合集,例如SPAD等等,或传感器可为单个光子检测器(例如,APD)。如同Tx模块240,Rx模块230包含Rx光学系统237。结合在一起的Rx光学系统237和传感器阵列236可形成微光学接收器通道阵列。每一微光学接收器通道测量对应于周围体积的相异视场中的图像像素的光。传感器阵列236的每一传感器可例如由于光感测模块230和光传输模块240的几何配置而对应于发射器阵列242的特定发射器。
在一些实施例中,Rx模块230的传感器阵列236被制造为单个衬底上的单片装置的部分(使用例如CMOS技术),所述单片装置包含光子检测器阵列以及实施存储器234(例如,SRAM)和处理器238以用于对来自传感器阵列236中的个别传感器通道的原始直方图进行存储和信号处理的ASIC 231两者。作为信号处理的实例,对于每一光子检测器或光子检测器群组,ASIC 231的存储器234可累积在连续时间仓上检测到的光子的计数,并且这些时间仓结合在一起可用于重新产生反射光脉冲的直方图或时间序列(即,光子的计数对时间)。ASIC 231可实施匹配滤波器和峰值检测处理以识别对应于返回信号的时间仓。此外,ASIC231的处理器238可实施各种信号处理技术,例如多轮廓匹配滤波,以帮助恢复较不容易受归因于光电检测器饱和、淬灭或其它效应而可能发生的脉冲形状失真影响的光子时间序列。在一些实施例中,此类信号处理的全部或部分可由可实施为FPGA的处理器258执行。
在一些实施例中,Rx光学系统237也可为与ASIC 231相同的单片结构的部分,其具有用于每一接收器通道层的单独衬底层。举例来说,孔径层、准直透镜层、光学滤波器层和光电检测器层可在切割之前在晶片级处堆叠并结合。可通过在透明衬底的顶部上布置不透明衬底或通过用不透光膜涂布透明衬底来形成孔径层。在其它实施例中,Rx模块230的一个或多个组件可在单片结构外部。举例来说,孔径层可实施为具有销孔的单独金属薄片。
在一些实施例中,从ASIC 231输出的光子时间序列(或直方图)被发送到测距系统控制器250以供进一步处理。举例来说,数据可由测距系统控制器250的一个或多个编码器进行编码,且接着作为数据包发送到用户接口215和/或车辆控制单元217。可例如使用例如FPGA等可编程逻辑装置作为ASIC或作为ASIC的部分、使用具有存储器254的处理器258或以上或其它处理硬件的任何组合来实施测距系统控制器250。测距系统控制器250可通过发送(或中继)包含开始和停止光检测命令的命令以及调整光电检测器参数的命令来控制光感测模块230。类似地,测距系统控制器250还可通过发送(或中继)包含开始和停止发光命令的命令以及调整光反射器参数(例如,脉冲代码、强度等)的命令来控制光传输模块240。在一些实施例中,测距系统控制器250具有一个或多个有线接口或连接器以用于与光感测模块230和光传输模块240交换数据。在其它实施例中,测距系统控制器250经由例如光学通信链路之类的无线互连与光感测模块230和光传输模块240进行通信。
当光测距装置210的例如Tx模块240和Rx模块230之类的组件可旋转时,可提供电动机260。系统控制器250可控制电动机260并且可例如开始旋转、停止旋转且改变旋转速度。
在一些实施例中,LIDAR系统200可与用户接口215的一个或多个示例进行交互。用户接口215的不同示例可变化且可包含例如具有监视器、键盘、鼠标、CPU和存储器的计算机系统;汽车中的触摸屏;具有触摸屏的手持式装置;或任何其它适当的用户接口。用户接口215对于上面安装有光测距装置210的物件可为本地的,但也可为远程操作的系统。举例来说,到/来自光测距装置210的命令和数据可通过蜂窝网络(LTE等)、个域网(蓝牙、Zigbee等)、局域网(Wi-Fi、IR等)或者诸如因特网之类的广域网而路由。
用户接口215可包含硬件和软件组件的组合,其可将来自光测距装置210的LIDAR数据(包含例如原始直方图数据、经滤波的直方图数据和/或飞行时间或测距测量)呈现给用户并且还可允许用户用一个或多个命令来控制LIDAR系统200。实例命令可包含以下命令:激活或去激活LIDAR系统;指定光电检测器曝光水平、偏置、取样持续时间和其它操作参数(例如,所发射的脉冲模式和信号处理);指定例如亮度之类的光发射器参数;等等。此外,命令可允许用户选择用于显示结果的方法。用户接口可显示LIDAR系统结果,所述结果可包含例如单帧快照图像、不断更新的视频图像和/或一些或所有像素的其它光测量的显示。在一些实施例中,用户接口215可跟踪物件距光测距装置210的距离(接近度),且潜在地向用户提供警告或出于其它目的提供此跟踪信息。举例来说,在汽车驾驶辅助应用中,用户接口215可向驾驶员提供接近警告、提供跟踪信息以供分析驾驶员表现等等。
在一些实施例中,光测距装置210可与车辆控制单元217(或其它设备控制单元)进行通信,并且与(或其它设备)的控制相关联的一个或多个参数可基于接收到的LIDAR数据而得以修改。举例来说,在完全自主车辆中,LIDAR系统可提供汽车周围环境的实时3D图像以辅助导航。在其它情况下,LIDAR系统可用作高级驾驶辅助系统(ADAS)的部分或用作安全系统的部分,其例如可将3D图像数据提供到任何数目个不同系统,例如自适应巡航控制、自动停车、驾驶员疲劳驾驶监测、盲点监测、防撞系统等。然而,应理解,光测距装置210不限于汽车应用。
1.3.实例LIDAR阵列
在一些实施例中,发射器阵列242和传感器阵列236可在单个ASIC或一对匹配ASIC中实施。图3展示可在一些实施例中使用的LIDAR装置300的简化侧视横截面图。LIDAR装置300包含光传输(Tx)模块310和光感测(Rx)模块340,此可对应于图2的光传输模块240和光感测模块230。光传输模块310和光感测模块340的配置的额外实例阐述于美国专利第10,222,475号(2019年3月5日发布,题为“具有亮度增强的光学成像传输器(Optical ImagingTransmitter with Brightness Enhancement)”以及美国专利申请公开案第2018/0329061号(2018年11月15日发表,题为“具有在固定窗口后面对准的微光学件的自旋LIDAR单元(Spinning LIDAR Unit with Micro-optics Aligned behind Stationary Window)”中,每一专利的公开内容出于所有目的以全文引用的方式并入本文中。
如图3中所展示,Tx模块310可包含Tx侧微光学件封装320和主体光学元件330。Tx侧微光学件封装320(其可实施图2的发射器阵列224和Tx光学系统244)包含光发射器322的阵列并且任选地包含微光学透镜层324和孔径层326。发射器322可布置在例如加框区中所展示的通道325之类的传输器通道的一维或二维阵列中。传输器通道325中的每一者具有能够发射窄带光的一个或多个光发射器322,例如近红外(NIR)竖直腔半导体激光器(VCSEL)等等,以及任选地来自透镜层324的微透镜和来自孔径层326的孔径。
在操作中,Tx模块310通过例如将窄带光,例如具有诸如10nm、2nm、1nm、0.5nm、0.25nm或更小的光谱宽度的NIR光,的脉冲传输到一个或多个视场中来提供对LIDAR系统周围区域中的物件的有效照明。从每一发射器322发射的光随着其接近Tx侧微光学透镜层324的一个微光学件而发散。来自微光学透镜层324的微透镜捕获发散光并将其再聚焦到与孔径层326中的孔径重合的焦平面,所述孔径层包含在适当位置对应于微光学件阵列和发射器阵列的孔径阵列。孔径阵列326可减少系统中的串扰。在离开微光学透镜层324的微透镜之后,聚焦光再次以遇到Tx侧主体成像光学件模块330的圆锥的形式发散。在一些实施例中,微光学透镜层324与Tx侧主体成像光学件模块330之间的间隔等于它们的焦距总和,以使得聚焦在孔径层326处的光呈现为在Tx侧主体成像光学件模块330的输出处的准直光,其中每一准直光线束以不同的主光线角离开Tx侧主体成像光学件模块330。因此,来自每一发射器的光导向装置前方的不同视场。在一些实施例中,Tx侧主体成像光学件330在透镜的图像侧(其为发射器侧)上为远心的,即,对于图像平面(其为发射器平面)上的每个位置,主体成像光学件330的图像侧上的主光线大体上彼此平行且垂直于所述图像平面。在此配置中,发射器阵列可用作远心源,即,光学件捕获由发射器阵列产生的大体上所有光,甚至捕获从阵列的外边缘上的发射器发射的光。
Rx模块340可包含Rx侧微光学件封装350和主体光学元件360。Rx侧微光学件封装350(其可实施图2的传感器阵列236和Rx光学系统237)包含光电传感器356的阵列并且任选地包含孔径阵列352和微光学透镜层354。光电传感器356可包含检测到入射在有源区域上的光子并响应于入射光子而产生电信号(例如,电流)的电子装置。光电传感器356可包含例如一个或多个标准光电二极管、雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)、谐振腔光电二极管(RCP)、光学纳米天线、微测热辐射计或其它合适的光电检测器。在一些实施例中,光电传感器356可由一起配合以充当单个传感器的若干光子检测器区域(例如,每一不同的SPAD)构成,与单个大光子检测区域相比,所述若干光子检测器区域通常具有更高的动态范围、更快的响应时间或其它有益属性。
光电传感器356可布置在例如加框区中所展示的通道302之类的传感器通道的一维或二维阵列中。每一传感器通道302可包含一个或多个光电传感器356以及其它组件,例如滤光片(例如,与发射器322的发射波长匹配以滤除环境光的窄带滤光片)和/或结构元件以改进检测效率并减少与相邻传感器通道(例如,漫射器、会聚透镜、孔径、光学不透明的管道间隔件结构、光学不透明的圆锥形间隔件结构等)的串扰。每一传感器通道302还可具有来自微光学透镜层356的微透镜以及来自孔径层352的孔径。Rx侧微光学件封装350的传感器通道302可被布置成使Tx侧微光学件封装320与对应于每一传输器通道325的传感器通道302匹配。在一些实施例中,每一个别传感器通道302的视场与对应传输器通道325的视场相匹配。Rx模块340还可包含Rx侧主体成像光学件模块360。在操作中,发射光中从场中物件反射出去的部分展示为光线305,从多个方向进入Rx侧主体成像光学件模块360。Rx侧主体成像光学件模块360可包含单个透镜或多透镜群组,所述单个透镜或多透镜群组将光线305聚焦在与Rx侧孔径层352重合的平面处,从而允许光进入传感器通道302。Rx侧主体成像光学件模块360也可收集环境光。如本文中所使用,“环境”光是指可在环境中传播且并不源自Tx模块310的任何光线。环境光可包含来自碰巧存在于环境中的任何光源(例如,太阳、人造照明设备、交通信号灯等)的直接光,以及已被环境中的物件反射或散射的光(例如,从路标、车辆、路面、树木等反射的光)。环境光可沿任何方向传播,并且恰好在与光线305类似的方向上传播的环境光可进入并穿过Rx侧主体成像光学件模块360。
1.4.实例操作
在操作中,LIDAR系统(例如上文所描述的任何实例系统)可执行测距操作。将描述用于单个通道的测距操作的实例。应理解,在LIDAR阵列中,不同的通道可以类似的方式操作以针对视场内的不同像素区域执行测距操作。在不考虑串扰的情况下,不同的通道可同时操作。图4示出LIDAR通道在晴空条件下的操作。第一曲线图400展示了施加到传输器(Tx)通道(例如,图3的发射器通道325)的功率随时间(横轴)而变。第二曲线图405展示了接收器(Rx)通道(例如,图3的传感器通道302)处的信号强度(接收光的测量)随时间而变。在一些实施例中,Rx信号强度可表示为直方图,例如直方图450。举例来说,如果接收器通道包含对光子进行计数的光电传感器(例如SPAD阵列),那么在每一时间间隔(或时间仓)中计数的光子数目可充当信号强度的测量。作为另一实例,如果接收器通道包含产生表示在给定时间的光强度的模拟电信号的光电传感器,那么信号电平可被数字化并用以产生直方图450。应理解,直方图450可包含任何数目个时间仓。虽然图式展示了约20个时间仓,但在实际实践中时间仓的数目可能会大得多(例如,约1,000个时间仓),并且时间仓的数目可根据特定实施方案的预期范围和分辨率来选定。
在发射器通道325中,光源(例如,图3中所展示的VCSEL或其它发射器322)产生短持续时间的光脉冲410。由半高全宽(FWHM)表征的实例激光脉冲持续时间为几纳秒,其中单个发射器的峰值功率为约几瓦。使用侧发射器激光器或光纤激光器的实施例可具有高得多的峰值功率,而具有小直径VCSEL的实施例可具有几十毫瓦到数百毫瓦的峰值功率。
脉冲传输的Tx开始时间415不需要与脉冲的前沿一致。如所展示,光脉冲410的前沿可在开始时间415之后。允许前沿与开始时间不同可在不同时间传输不同模式的脉冲的情形下有用,例如用于如上文参考的美国专利申请公开案第2018/0259645号中所描述的编码脉冲。
如第二曲线图405和直方图450中所展示,光学接收器通道(例如,图3的通道302)可在Rx开始时间425开始检测接收到的光。在一些实施例中,Rx开始时间425可与Tx开始时间415相同。在其它实施例中,接收器通道可在其中Rx开始时间425晚于Tx开始时间415的延迟模式下操作。只要Tx开始时间415与Rx开始时间425之间的延迟是已知的,就可进行飞行时间确定。光学接收器系统最初检测背景光430,且在一些时间之后检测激光脉冲反射420。在一些实施方案中,光学接收器系统可将检测到的光强度与阈值进行比较以识别激光脉冲反射420。阈值可区分背景光与对应于激光脉冲反射420的光。曲线图435展示了在其中例如在Rx通道的光电传感器中没有堆积、低效或大气干扰的理想情况下对所接收信号施加阈值的效果。
飞行时间440是正发送的脉冲与正接收的脉冲之间的时间差。可通过激光脉冲反射420的接收时间(例如,也相对于Tx开始时间415测量)减去脉冲的传输时间(例如,以相对于Tx开始时间415测量)来测量所述时间差。到目标的距离可确定为飞行时间与光速的乘积的一半。
在一些实施例中,LIDAR系统可在累积模式下操作,在所述模式中执行多个“激发”,其中每一激发包含发射器通道产生脉冲串(一个或多个光脉冲)以及接收器通道在每一脉冲串产生之后的一段时间内收集直方图数据。接收器通道可在单个直方图中累积多个激发上的传感器数据。飞行时间的确定可基于在对应于某个激发次数(N)的测量间隔结束时的累积直方图。在一些实施例中,在累积模式下操作可降低对噪声的敏感度或具有其它益处。
1.5.巴克编码
在实际应用中,光电传感器可能受到堆积、噪声和各种低效率的影响,这可能会影响飞行时间(进而影响距离)的确定。举例来说,已知SPAD在检测到光子后具有恢复时间,在此期间SPAD不对额外的入射光子作出响应。如果每一LIDAR通道包含多个SPAD,那么此恢复时间可导致在反射脉冲420的前沿发生堆积。因此,一些LIDAR系统可使用各种编码和滤波技术(例如,脉冲串和匹配滤波器)来校正可能由堆积引发的定时误差和/或减少噪声的影响。合适的滤波技术的实例描述于上文参考的美国专利申请公开案第2018/0259645号中。一种此类技术被称为“巴克编码”。(效果类似于雷达系统中所使用的巴克编码,但过程不同。)在LIDAR系统中,巴克编码可通过定义两个或更多个脉冲串类型来实施。每一脉冲串类型可具有相同的脉冲持续时间和脉冲间距(如果所述串具有多个脉冲),但相对于激发的开始时间而具有不同的开始时间。可为每一脉冲串类型分配权重。举例来说,如果存在两种脉冲串类型,一种类型可具有正权重(例如,+1),而另一个具有负权重(例如,-1)。可通过将给定激发的每一时间仓乘以分配给所述激发的脉冲串的权重并将结果相加来计算累积直方图。由于一些权重为负,因此累积直方图的一些或所有仓可具有负值。在测量间隔(其包含使用每一类型的脉冲串的相等数目个激发)结束时,匹配滤波器可应用于累积直方图以产生可用于飞行时间确定的经滤波的直方图。
作为说明,图5A至5C展示根据一些实施例的用于LIDAR系统的巴克编码的简化实例。首先参考图5A,曲线500a针对第一(正加权)激发展示了发射器功率随时间而变,类似于图4。在此实例中,第一激发包含由具有持续时间δ的一个脉冲组成的发射器脉冲串;然而,必要时,每次激发可使用多于一个脉冲。对于第一激发,脉冲505a的开始时间相对于Tx开始时间515a和Rx开始时间525a延迟了偏移量(τa),其可为零或几纳秒(例如,4、8、12或16ns等等)。曲线500b针对第二(负加权)激发展示了发射器功率随时间而变。对于第二激发,脉冲505b的开始时间相对于Tx开始时间515b(和Rx开始时间525b)延迟了与用于第一激发的偏移量τa不同的偏移量(τb)。在所展示的实例中,τa和τb被选择以使得τb=τa+2δ,但也可做出其它选择。举例来说,τb-τa可为4ns、8ns、16ns等。
直方图510a展示了用于第一激发的一组连续时间仓中的接收器信号强度。(如同其它实例,应理解,直方图可包含与图式中所展示的数目相比大得多的数目个仓。)在此实例中,在直方图510a中观察到峰值530a。类似地,直方图510b展示了用于第二激发的一组连续时间仓中的接收器信号强度。峰值530b是可见的。假设峰值530a和530b是归因于来自环境中的物件的反射并且所述物件在两次激发之间没有显著改变位置,峰值530a表示与峰值530b相同的飞行时间。
图5B展示了使用巴克编码累积直方图510a和510b的实例。将+1权重分配给直方图510a,且将-1权重分配给直方图510b(由在“0”线下方延伸的直方图510b的条展示)。直方图510a和510b对齐成使得Rx开始时间525a和525b重合,从而对应的仓表示相对于Rx开始时间的相同时间。应注意,由于用于两次激发的脉冲505a和505b的不同时序,直方图510a的峰值强度仓530a从直方图510b的峰值强度仓530b偏移。通过将直方图510b的每一仓添加到直方图510a的对应仓来获得累积直方图550。虽然展示了两次激发的累积,但应理解,可累积任何(偶数)数目个激发,其中一半激发使用第一脉冲模式并具有正权重,而另一半激发使用第二脉冲模式(暂时从第一者偏移)并具有负权重。
如图5B中所展示,累积直方图550具有正峰值555a和负峰值555b。为了提取飞行时间信息,匹配滤波器可应用于累积直方图550,如图5C中所展示。如上文参考的美国专利申请公开案第2018/0259645号中所描述,匹配滤波器可具有多个分接头,其中每一分接头具有基于脉冲模式分配的滤波器权重。在累积直方图550的情况下,相关脉冲模式是具有+1权重的脉冲505a和具有-1权重的脉冲505b的组合。因此,在此实例中,匹配滤波器560具有分接头{+1,+1,0,0,-1,-1}。可使用滑动窗口技术将匹配滤波器560应用于累积直方图550,从而产生经滤波的直方图570。经滤波的直方图570具有中心峰值572(其可为确定飞行时间的基础)和负旁瓣574、576(其为巴克编码的特征)。
应理解,图5A至5C提供巴克编码的操作原理的简化图示并且变化是可能的。可累积任何数目个激发,其中一些激发具有正累积权重,而其它激发具有负累积权重。可例如通过将脉冲串的上升时间延迟了相对于接收器开始时间的不同量或通过将接收器开始时间延迟了相对于传输器开始时间的不同量来引入分配有不同权重的脉冲串之间的时间偏移。可选择时间偏移以使得峰值发射器强度在不同加权的激发之间偏移了至少一个时间仓。巴克编码也可按需要与其它信号处理技术相结合。
2.雾补偿
如本文中所使用,“雾”通常是指悬浮在空气中的水蒸气液滴(或其它类似液滴)。众所周知,构成雾的液滴可散射LIDAR常用的波长(例如,NIR波长)的光。此散射会使来自LIDAR发射器脉冲的光子在某一时间范围内到达,这可能导致飞行时间(或测距)测量不准确。
2.1.雾的影响
图6展示传统LIDAR通道在有雾的情况下的操作的实例。图6类似于图4,不同之处在于雾的影响。上部曲线图600展示了施加到传输器(Tx)通道(例如,图3的发射器通道325)的功率随时间而变。下部曲线图605展示了接收器(Rx)通道(例如,图3的传感器通道302)处的信号强度(接收光的测量)随时间而变。如曲线图600中所展示,在发射器通道325中,光源(例如,图3中所展示的VCSEL或其它发射器322)在Tx开始时间615之后产生短持续时间的光脉冲610,类似于图4的光脉冲410。如曲线图605中所展示,光学接收器通道(例如,传感器通道302)可在Rx开始时间625开始检测接收到的光,所述Rx开始时间可与Tx开始时间615相同或按需要而为不同的开始时间。一些所发射的光子从雾中散射并且可在不同时间朝向一个或多个传感器通道302反射或散射,而其它光子到达视场中的固体表面并从所述表面反射。因此,Rx信号620可理解为包含由于发射器脉冲610的反射而产生的贡献625以及由于通过雾的散射而产生的贡献630。在此实例中,发射器脉冲中的大部分光子被雾散射。因此,如所展示,雾会使LIDAR系统难以准确地确定飞行时间。
2.2.雾补偿
根据各种实施例,LIDAR系统可通过修改其行为来补偿雾的存在。在一些实施例中,巴克编码可用以补偿雾的存在。在有雾的情况下的接收器响应(例如,图6的Rx信号620)可理解为由于雾引起的散射的低频信号分量630以及由于视场中的反射(固体)表面的高频信号分量625的叠加。巴克编码可充当高通滤波器,从而去除或减少低频分量,以使得高频分量变得相对较强。
因此,一些实施例采用巴克编码以使得能够在有雾的情况下从直方图数据中提取更可靠的信号。可使用具有相同数目个正加权和负加权激发的任何巴克编码方案。
图7展示根据一些实施例的使用巴克编码的雾补偿的实例。此实例中的脉冲串与上文参考图5A所描述的脉冲串500a、500b相同。直方图710a针对正加权激发展示了可在有雾的情况下从接收器通道获得的原始直方图的一部分。(如同其它实例,出于说明目的,所展示的仓数目较小,并且应理解直方图可具有大得多的数目个仓。)直方图710a包含与雾引起的散射相对应的低频分量(由曲线712指示)以及与来自固体物件的反射光相对应的高频分量(由曲线714指示)。直方图710b针对负加权激发展示了可从相同接收器通道获得的原始直方图的对应部分。如同直方图710a,雾引起的散射以及来自固体物件的反射两者均促成接收器信号。类似于图6B的累积直方图650,可通过添加直方图710a和710b来获得累积直方图720。匹配滤波器730(其在此实例中与图5C的匹配滤波器560相同)可应用于累积直方图720以产生经滤波的直方图740,可从所述经滤波的直方图提取飞行时间数据。
应理解,图7中所展示的巴克编码的效果是说明性的。可在包含任何数目个激发的测量间隔上产生累积直方图。在一些实施例中,使用两种脉冲串类型,其中测量间隔中的一半激发为第一类型(其为正加权),而另一半为第二类型(其为负加权)。执行不同激发所按的特定次序并不重要。此外,脉冲串可变化并且不限于每脉冲串有单个脉冲。巴克编码也可按需要与其它信号处理技术相结合。
3.雾检测和自适应响应
在一些实施例中,巴克编码或用于在有雾的情况下增强LIDAR信号的其它技术可在存在雾时选择性地应用,而在不存在雾时不应用。举例来说,诸如上文所描述的任何系统的LIDAR系统可分析原始直方图数据以检测大气雾的存在,并且可在检测到雾时切换到“雾模式”操作或在未检测到雾时切换到“晴空模式”(或“非雾模式”)操作。雾模式可包含如上文所描述的巴克编码和/或其它操作。
3.1.检测雾
在一些实施例中,可通过分析来自一个或多个传感器通道的原始直方图数据来检测雾的存在。如上文所描述,原始直方图数据可能由于雾引起的散射而被抹掉(例如,如图7的原始直方图710中所展示)。各种分析技术可用以确定原始直方图是否指示雾。
确定原始直方图是否指示雾的一种方法可基于信号形状分析。举例来说,如图6中所展示,由于光的散射,雾引入了低频分量630。分量630的特定形状可根据例如雾的密度而变化。在一些实施例中,可训练信号形状分类器以识别原始(和未加权)直方图数据中分量630的存在。信号形状分类器的一个实例是曲线拟合算法,所述曲线拟合算法试图将原始直方图数据拟合到可以参数化形式定义的雾的曲线特征。使用标准统计技术,可计算拟合优度参数,并且可基于拟合优度参数而确定存在或不存在雾。作为另一实例,可例如使用机器学习技术来训练曲线形状分类器以区分存在雾或不存在雾,并且可将经训练分类器应用于原始直方图数据以确定是否存在雾。原始直方图数据可为单次激发数据或在多次激发中累积的数据(其中对每次激发施加相同的权重)。
另一种方法可基于接收器通道所接收到的总背景通量。雾可增加接收器通道所检测到的光的总量,部分地是因为环境光也被雾散射,从而增加了入射光的总量。因此,确定总背景通量(例如,将低于用于识别信号的阈值的所有直方图仓相加)并与最小值比较可用于指示雾。
应注意,高水蒸气浓度的局部区域可能由于除通常有雾的大气条件之外的原因而出现。举例来说,局部的蒸汽云可能由车辆排气管、通风系统(例如,用于地下公用事业线路或地铁系统)等产生。在一些实施例中,通过考虑到跨较宽视场而非来自单个接收器通道的传感器数据,可将局部水蒸气与大气雾(即,通常有雾的大气条件)区分开来。举例来说,可跨所有传感器通道计算每通道的平均背景通量,并将其用以评估是否存在大气雾。作为另一实例,在将信号形状分析应用于个别传感器通道的情况下,对存在或不存在大气雾的最终确定可基于总体结果,例如,如果至少最小数目或分数的传感器通道具有指示雾的信号形状,那么确定存在大气雾。最小分数可为例如所有通道、75%的通道、50%的通道或某一其它分数。本文中所描述的雾检测技术是说明性的,并且可使用其它技术。
3.2.自适应雾响应
根据一些实施例,LIDAR系统可自动检测雾并相应地调适其操作。图8是根据一些实施例的用于操作LIDAR系统的过程800的流程图。过程800可在LIDAR系统200或本文中所描述的任何其它LIDAR系统中或在以类似原理操作的其它LIDAR系统中实施。
过程800可通过确定是否存在雾而开始。举例来说,在框802处,过程800可分析跨LIDAR传感器通道的原始直方图数据以确定存在或不存在雾。可应用上文章节3.1中所描述的任何分析技术,也可用其它技术代替。
在框804处,过程800基于框802处的分析而确定是否存在雾。确定是否存在雾的标准取决于在框802处执行的分析的类型。实例在上文章节3.1中描述。在一些实施例中,雾可被定义为影响大部分或所有LIDAR传感器通道的大气雾。
如果存在雾,那么在框806处,过程800可在雾模式下操作LIDAR系统;如果不存在雾,那么在框808处,过程800可在晴空(或非雾)模式下操作LIDAR系统。雾模式和晴空模式可在各个方面彼此不同。
举例来说,如上文所描述,巴克编码有助于在有雾的情况下从固体物件提取返回信号。但是,可能并非在所有情况下都需要应用巴克编码。因此,在一些实施例中,可在雾模式下启用巴克编码,且在晴空模式下禁用巴克编码;因此,所述模式可在是否使用巴克编码方面有所不同。作为另一实例,最优巴克编码参数在晴空和雾之间可能不同。举例来说,脉冲串类型的数目、每一脉冲串类型的脉冲模式等可能不同。因此,在一些实施例中,在雾模式下操作LIDAR系统可包含应用第一组巴克编码参数,而在晴空模式下操作LIDAR系统包含应用不同于第一组的第二组巴克编码参数。
可在雾模式与晴空模式之间实施的差异的其它实例包含发射器强度、脉冲持续时间、脉冲模式、用于不同激发的累积权重、传感器增益参数等。
4.额外实施例
尽管已参考特定实施例描述了本发明,但是访问本公开的所属领域技术人员将认识到,许多变化和修改是可能的。本文中所描述的类型的LIDAR阵列可制造为包含任何数目个发射器和传感器通道。在一些实施例中,通道可布置成一个或多个列,其可在横向于列方向的行式方向上扫描视场。(术语“行”和“列”用以区分传感器阵列的两个维度,特别是在扫描模式中使用的阵列的情形下,且并不意图暗示阵列的任何特定空间定向。)传感器通道的特定构造。LIDAR传感器通道可在各种波长下操作,包含近红外、短波红外(例如,1600nm)、中波红外和/或长波红外(例如,至多15μm)。在一些实施例中,除了LIDAR传感器通道之外,传感器阵列还可结合一个或多个环境光传感器通道(即,测量光强度的传感器通道,与飞行时间或其它测距数据相反),并且一个或多个环境光传感器通道可布置成与一个或多个LIDAR传感器通道成行、布置在LIDAR传感器通道之间或按需要布置在其它位置。可以使用如上所述的旋转和/或静态平台来实施LIDAR系统,并且可以在需要收集测距数据的任何应用中使用所述系统。
本文中所描述的系统可产生跨视场的深度(或测距)信息(视场可如期望的那样宽,在一些实施例中为至多360度)。在一些实施例中,深度信息可用于产生图像以供显示给用户,其可包含基于来自数据的算法推断而直接显现图像数据和/或显现场景的图像(或其部分)。深度信息可用于各种应用,例如接近度监测和警告、3D测绘(例如,地形测绘)等。尽管上文所描述的一些实例与车辆导航和/或驾驶辅助有关,但本发明不限于任何特定数据分析或涉及测距数据的任何特定应用。
以上描述是说明性的而非限制性的。选择所描述的实施例以便说明本发明的各种原理及其实际应用,并且所属领域的技术人员在阅读本公开内容后将清楚本发明的许多变化和修改。因此,专利保护的范围不应参考以上描述来确定,而是应参考所附权利要求书以及其完整范围或等效物来确定。
Claims (20)
1.一种操作LIDAR系统的方法,所述方法包括:
基于来自所述LIDAR系统的多个传感器通道的光电传感器数据,确定所述LIDAR系统的视场中是否存在大气雾;
响应于确定存在大气雾,在雾模式下操作所述LIDAR系统;以及
响应于确定不存在大气雾,在晴空模式下操作所述LIDAR系统,
其中,所述雾模式和所述晴空模式在至少一个操作参数方面彼此不同。
2.根据权利要求1所述的方法,其中,在所述雾模式下操作所述LIDAR系统包含应用巴克编码程序,并且,在所述晴空模式下操作所述LIDAR系统包含不应用所述巴克编码程序。
3.根据权利要求2所述的方法,其中,应用所述巴克编码程序包含:
操作所述LIDAR系统的发射器通道,以产生用于多个激发中的每一者的脉冲串,其中,用于所述多个激发中的不同激发的所述脉冲串具有至少两种不同的脉冲串类型;以及
跨所述多个激发,产生所检测到的光强度的累积直方图,其中,具有所述脉冲串类型中的第一者的激发以正权重累积,并且具有所述脉冲串类型中的第二者的激发以负权重累积。
4.根据权利要求3所述的方法,其中,应用所述巴克编码程序进一步包含:
将匹配滤波器应用于所述累积直方图,其中,所述匹配滤波器是基于组合所述脉冲串类型而定义的。
5.根据权利要求3所述的方法,其中,所述多个激发中的激发的数目为二。
6.根据权利要求1所述的方法,其中:
在所述雾模式下操作所述LIDAR系统包含:操作所述LIDAR系统的发射器以产生具有单个脉冲的脉冲串;并且
在所述晴空模式下操作所述LIDAR系统包含:操作所述发射器以产生具有多个脉冲的脉冲串。
7.根据权利要求1所述的方法,其中,确定是否存在大气雾包含:
分析来自所述LIDAR系统的所述多个传感器通道的原始直方图数据;以及
确定来自至少最小数目的所述传感器通道中的每一者的所述原始直方图数据是否具有雾的信号形状特征。
8.根据权利要求7所述的方法,其中,所述传感器通道的所述最小数目等于所述LIDAR系统中的传感器通道的总数。
9.根据权利要求7所述的方法,其中,所述传感器通道的所述最小数目大于所述LIDAR系统中的传感器通道的总数的一半,且小于所述LIDAR系统中的传感器通道的所述总数。
10.根据权利要求1所述的方法,其中,确定是否存在大气雾包含:
确定跨多个传感器通道的总背景通量;
在所述总背景通量超过阈值的情况下确定存在大气雾;以及
在所述总背景通量不超过所述阈值的情况下确定不存在大气雾。
11.一种LIDAR系统,包括:
发射器通道阵列;
传感器通道阵列;
信号处理电路,耦接到所述传感器通道阵列,并且,被配置成:基于来自所述传感器通道阵列的光电传感器数据而确定视场中是否存在大气雾;以及
控制电路,耦接到所述信号处理电路、所述发射器通道阵列以及所述传感器通道阵列,所述控制电路被配置成:
响应于确定存在大气雾,在雾模式下操作所述发射器通道阵列和所述传感器通道阵列;并且
响应于确定不存在大气雾,在晴空模式下操作所述发射器通道阵列和所述传感器通道阵列,
其中所述雾模式和所述晴空模式在至少一个操作参数方面彼此不同。
12.根据权利要求11所述的LIDAR系统,其中,所述控制电路进一步被配置成使得:在所述雾模式下操作所述发射器通道阵列和所述传感器通道阵列包含应用巴克编码程序,并且在所述晴空模式下操作所述发射器通道阵列和所述传感器通道阵列包含不应用所述巴克编码程序。
13.根据权利要求12所述的LIDAR系统,其中,所述控制电路进一步被配置成使得应用所述巴克编码程序包含:
操作所述发射器通道阵列的发射器通道以产生用于多个激发中的每一者的脉冲串,其中用于所述多个激发中的不同激发的所述脉冲串具有至少两种不同的脉冲串类型;以及
跨所述多个激发产生所检测到的光强度的累积直方图,其中具有所述脉冲串类型中的第一者的激发以正权重累积,并且具有所述脉冲串类型中的第二者的激发以负权重累积。
14.根据权利要求13所述的LIDAR系统,其中,所述控制电路进一步被配置成使得应用所述巴克编码程序包含:
将匹配滤波器应用于所述累积直方图,其中所述匹配滤波器是基于组合所述脉冲串类型而定义的。
15.根据权利要求13所述的LIDAR系统,其中,所述多个激发中的激发的数目为二。
16.根据权利要求11所述的LIDAR系统,其中,所述控制电路进一步被配置成使得:
在所述雾模式下操作所述发射器通道阵列和所述传感器通道阵列包含操作所述LIDAR系统的发射器以产生具有单个脉冲的脉冲串;并且
在所述晴空模式下操作所述发射器通道阵列和所述传感器通道阵列包含操作所述发射器以产生具有多个脉冲的脉冲串。
17.根据权利要求11所述的LIDAR系统,其中,所述控制电路进一步被配置成使得确定是否存在大气雾包含:
分析来自所述传感器通道阵列的原始直方图数据;以及
确定来自至少最小数目的所述传感器通道中的每一者的所述原始直方图数据是否具有雾的信号形状特征。
18.根据权利要求17所述的LIDAR系统,其中,所述传感器通道的所述最小数目等于所述LIDAR系统中的传感器通道的总数。
19.根据权利要求17所述的LIDAR系统,其中,所述传感器通道的所述最小数目大于所述LIDAR系统中的传感器通道的总数的一半,且小于所述LIDAR系统中的传感器通道的所述总数。
20.根据权利要求11所述的LIDAR系统,其中,所述控制电路进一步被配置成使得确定是否存在大气雾包含:
确定跨所述传感器通道阵列中的多个传感器通道的总背景通量;
在所述总背景通量超过阈值的情况下确定存在大气雾;以及
在所述总背景通量不超过所述阈值的情况下确定不存在大气雾。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063016916P | 2020-04-28 | 2020-04-28 | |
US63/016,916 | 2020-04-28 | ||
US17/229,691 | 2021-04-13 | ||
US17/229,691 US20210333371A1 (en) | 2020-04-28 | 2021-04-13 | Lidar system with fog detection and adaptive response |
PCT/US2021/027974 WO2021221942A1 (en) | 2020-04-28 | 2021-04-19 | Lidar system with fog detection and adaptive response |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115720634A true CN115720634A (zh) | 2023-02-28 |
Family
ID=78222097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180045798.XA Pending CN115720634A (zh) | 2020-04-28 | 2021-04-19 | 具有雾检测和自适应响应的lidar系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210333371A1 (zh) |
EP (1) | EP4143607A4 (zh) |
KR (1) | KR20230003089A (zh) |
CN (1) | CN115720634A (zh) |
WO (1) | WO2021221942A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10816666B2 (en) | 2017-11-21 | 2020-10-27 | Magna Electronics Inc. | Vehicle sensing system with calibration/fusion of point cloud partitions |
TWI788786B (zh) * | 2021-02-20 | 2023-01-01 | 大象科技股份有限公司 | 光學檢測裝置及其檢測方法 |
US12072466B1 (en) * | 2021-09-30 | 2024-08-27 | Zoox, Inc. | Detecting dark objects in stray light halos |
US20230243928A1 (en) * | 2022-01-30 | 2023-08-03 | Ouster, Inc. | Overlapping sub-ranges with power stepping |
US20230400560A1 (en) * | 2022-06-13 | 2023-12-14 | Datalogic IP Tech, S.r.l. | Dynamic utilization of broad-spectrum photosensor |
WO2024188829A1 (en) * | 2023-03-15 | 2024-09-19 | Signify Holding B.V. | A method of and an electronic device for operating a ranging sensor under an indoor foggy environment |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10139477B2 (en) * | 2015-07-31 | 2018-11-27 | Optex Co., Ltd. | Erroneous detection restraining circuit for laser range finder |
JP6895741B2 (ja) * | 2016-12-09 | 2021-06-30 | 株式会社Ihiエアロスペース | 障害物検出装置と障害物検出方法 |
TWI765977B (zh) * | 2017-03-01 | 2022-06-01 | 美商奧斯特公司 | 光學量測系統及其使用方法與光測距系統 |
WO2018196001A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Sensing assembly for autonomous driving |
CN113466882A (zh) * | 2017-07-05 | 2021-10-01 | 奥斯特公司 | 光测距装置 |
CN111902737B (zh) * | 2018-03-12 | 2022-02-22 | 三菱电机株式会社 | 雾确定装置、雾确定方法和计算机能读取的存储介质 |
US11609328B2 (en) * | 2018-05-23 | 2023-03-21 | Massachusetts Institute Of Technology | Methods and apparatus for improved imaging through scattering media |
WO2020018600A1 (en) * | 2018-07-17 | 2020-01-23 | Shimon Maimon | Multi-wavelength lidar and thermal imager |
WO2020025984A1 (en) * | 2018-08-01 | 2020-02-06 | Pantazis Alexandros | Method of use of a lidar device and operatively associated lidar data processing unit for providing real-time monitoring of meteorological parameters |
US10739189B2 (en) * | 2018-08-09 | 2020-08-11 | Ouster, Inc. | Multispectral ranging/imaging sensor arrays and systems |
US11579304B2 (en) * | 2019-09-27 | 2023-02-14 | Gm Cruise Holdings Llc | Dynamic power throttling of spinning LIDAR |
US20210191399A1 (en) * | 2019-12-23 | 2021-06-24 | Waymo Llc | Real-Time Adjustment Of Vehicle Sensor Field Of View Volume |
-
2021
- 2021-04-13 US US17/229,691 patent/US20210333371A1/en active Pending
- 2021-04-19 KR KR1020227041479A patent/KR20230003089A/ko active Search and Examination
- 2021-04-19 WO PCT/US2021/027974 patent/WO2021221942A1/en unknown
- 2021-04-19 CN CN202180045798.XA patent/CN115720634A/zh active Pending
- 2021-04-19 EP EP21795827.1A patent/EP4143607A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4143607A1 (en) | 2023-03-08 |
US20210333371A1 (en) | 2021-10-28 |
EP4143607A4 (en) | 2024-10-16 |
WO2021221942A1 (en) | 2021-11-04 |
KR20230003089A (ko) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210333371A1 (en) | Lidar system with fog detection and adaptive response | |
US20240045038A1 (en) | Noise Adaptive Solid-State LIDAR System | |
US20220043118A1 (en) | Processing time-series measurements for lidar accuracy | |
US20220196812A1 (en) | Time of flight sensor | |
CA2833435C (en) | Multiple-field-of-view scannerless optical rangefinder in high ambient background light | |
CN114616489A (zh) | Lidar图像处理 | |
CN114424086A (zh) | 用于lidar测量的处理系统 | |
US20220035011A1 (en) | Temporal jitter in a lidar system | |
JP7131180B2 (ja) | 測距装置、測距方法、プログラム、移動体 | |
JP7255259B2 (ja) | 検出装置、測距装置、時間測定方法、プログラム、移動体 | |
KR20230156070A (ko) | 픽셀 응답과 광자 에너지 감쇠를 비교하는 검출기 시스템 | |
CN115702364A (zh) | 一种雷达系统、可移动设备与雷达探测方法 | |
US11695911B2 (en) | Stereoscopic image capturing systems | |
US20230375678A1 (en) | Photoreceiver having thresholded detection | |
US20230051395A1 (en) | Scout pulsing | |
EP4384849A1 (en) | Coaxial lidar system using a diffractive waveguide | |
US20230007979A1 (en) | Lidar with photon-resolving detector | |
JP2019128221A (ja) | 時間測定装置、距離測定装置、移動体装置、時間測定方法及び距離測定方法 | |
Bhuiyan | LiDAR Sensor for Autonomous Vehicle | |
US20230228851A1 (en) | Efficient laser illumination for scanned lidar | |
KR20230140707A (ko) | 다이렉트 ToF 기반 스캐닝 라이다 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |