CN117136316A - 用于生成可变密度点云的lidar系统和方法 - Google Patents
用于生成可变密度点云的lidar系统和方法 Download PDFInfo
- Publication number
- CN117136316A CN117136316A CN202280017055.6A CN202280017055A CN117136316A CN 117136316 A CN117136316 A CN 117136316A CN 202280017055 A CN202280017055 A CN 202280017055A CN 117136316 A CN117136316 A CN 117136316A
- Authority
- CN
- China
- Prior art keywords
- light
- optical
- point cloud
- view
- lidar system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003287 optical effect Effects 0.000 claims abstract description 322
- 230000004907 flux Effects 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 description 99
- 238000012545 processing Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 18
- 230000010287 polarization Effects 0.000 description 16
- 238000002310 reflectometry Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 230000009977 dual effect Effects 0.000 description 12
- 230000003068 static effect Effects 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 11
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 10
- 229910052751 metal Inorganic materials 0.000 description 10
- 239000002184 metal Substances 0.000 description 10
- 229910052710 silicon Inorganic materials 0.000 description 10
- 239000010703 silicon Substances 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 239000007787 solid Substances 0.000 description 9
- 239000000758 substrate Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 6
- 235000009508 confectionery Nutrition 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 239000004020 conductor Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000002210 silicon-based material Substances 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- PMHQVHHXPFUNSP-UHFFFAOYSA-M copper(1+);methylsulfanylmethane;bromide Chemical compound Br[Cu].CSC PMHQVHHXPFUNSP-UHFFFAOYSA-M 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000013742 energy transducer activity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003685 thermal hair damage Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000001161 time-correlated single photon counting Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4868—Controlling received signal intensity or exposure of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
提供了用于使用激光雷达系统生成点云数据点的方法。激光雷达系统可以包括处理器,所述处理器被编程为控制至少一个光源,所述至少一个光源被配置为发射用于扫描视场的多个光突发,其中所述多个光突发中的每一个包括多个光脉冲(708A‑708D,708E‑708H)。处理器还被配置为从至少一个传感器接收与包括在多个光突发中的多个光脉冲(708A‑708D,708E‑708H)相关联的反射信号(808A‑808D,808E‑808H)。处理器还被编程为基于接收到的与包括在至少一个光突发中的多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点(902)的数量。然后,处理器被编程为输出针对至少一个光突发生成的确定数量的点云数据点。在实施例中,针对每个信号脉冲(808E‑808H)的计算的置信度水平低于置信度阈值(900)。但是信号脉冲(808E‑808H)可以被求和,并且求和的结果可以越过置信度阈值(900)。LIDAR系统可以选择性地确定光突发的数量,以基于针对视场的每个部分的期望的点云分辨率,对视场的每个部分进行发射。
Description
相关申请的交叉引用
本申请要求于2021年2月25日提交的美国临时专利申请号No.63/153,848的优先权,其全部内容通过引用并入本文。
技术领域
本公开总体上涉及用于扫描周围环境的技术,并且例如涉及使用LIDAR技术来检测周围环境中的物体的系统和方法。
背景技术
随着驾驶员辅助系统和自动驾驶车辆的出现,汽车需要配备有能够可靠地感测和解释其周围环境的系统,包括识别障碍物、危险、物体和可能影响车辆导航的其他物理参数。为此,已经提出了许多不同的技术,包括雷达、激光雷达、基于相机的系统,其单独操作或以冗余方式操作。
驾驶员辅助系统和自主车辆的一个考虑因素是系统跨不同条件(包括雨、雾、黑暗、亮光和雪)确定周围环境的能力。光检测和测距系统(LIDAR,也称为LADAR)是可以通过用光照射物体来测量到物体的距离并用传感器测量反射脉冲而在不同条件下很好地工作的技术的示例。激光器是可以在LIDAR系统中使用的光源的一个示例。与任何感测系统一样,为了使基于LIDAR的感测系统被汽车工业完全采用,该系统应该提供能够检测远处物体的可靠数据。然而,目前,LIDAR系统的最大照明功率受到使LIDAR系统眼睛安全的需要的限制(即,使得它们不会损伤人眼,这可能在投射的光发射在眼睛的角膜和晶状体中被吸收时发生,从而对视网膜造成热损伤)。
本公开的系统和方法涉及改进LIDAR系统生成点云数据点。
发明内容
与本公开一致的实施例提供了用于自动捕获和处理来自用户环境的图像的设备和方法,以及用于处理与从用户环境捕获的图像相关的信息的系统和方法。
在一个实施例中,激光雷达系统可以包括至少一个处理器,其被编程为控制至少一个光源发射多个光突发。多个光突发中的每一个可以包括多个光脉冲,并且从至少一个光源发射的多个光突发可以被引导到至少一个光偏转器以用于扫描视场。至少一个处理器还可以被编程为控制至少一个光偏转器的移动,以使多个光突发朝向视场的不同部分偏转。至少一个处理器还可以被编程为从至少一个传感器接收与多个光突发中包括的多个光脉冲相关联的反射信号。至少一个处理器还可以被编程为针对多个光突发中的至少一个光突发,基于接收到的与多个光突发中的至少一个光突发中包括的多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点的数量。至少一个处理器还可以被编程为针对多个光突发中的至少一个光突发生成确定数量的点云数据点。至少一个处理器还可以被编程为输出点云数据点集合,包括针对多个光突发中的至少一个光突发生成的点云数据点。
在一个实施例中,公开了一种用于使用激光雷达系统生成点云数据点的方法。该方法可以包括控制至少一个光源发射多个光突发。多个光突发中的每一个可以包括多个光脉冲,并且从至少一个光源发射的多个光突发可以被引导到至少一个光偏转器以用于扫描视场。该方法还可以包括控制至少一个光偏转器的移动,以使多个光突发朝向视场的不同部分偏转。该方法还可以包括从至少一个传感器接收与多个光突发中包括的多个光脉冲相关联的反射信号。该方法还可以包括针对多个光突发中的至少一个光突发,基于接收到的与多个光突发中的至少一个光突发中包括的多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点的数量。该方法还可以包括针对多个光突发中的至少一个光突发生成确定数量的点云数据点。该方法还可以包括输出点云数据点集合,包括针对多个光突发中的至少一个光突发生成的点云数据点。
在一个实施例中,激光雷达系统可以包括可安装在车辆上的壳体和壳体内的被配置为发射多个光突发的至少一个光源。多个光突发中的每一个可以包括多个光脉冲。激光雷达系统还可以包括在壳体内的至少一个光偏转器,其被配置为通过将多个光突发朝向视场的不同部分偏转来扫描视场。激光雷达系统可以包括至少一个传感器,该至少一个传感器被配置为检测投射光的反射并且生成与包括在多个光突发中的多个光脉冲相关联的反射信号。激光雷达系统可以包括至少一个处理器。至少一个处理器可以被编程为:针对多个光突发中的至少一个光突发,基于接收到的与多个光突发中的至少一个光突发中包括的多个光脉冲相关联的反射信号,选择性地确定要生成的点云数据点的数量;针对所述多个光突发中的所述至少一个光突发生成所确定数量的点云数据点;以及输出点云数据点集合,点云数据点集合包括针对多个光突发中的至少一个光突发生成的点云数据点。
与其他公开的实施例一致,非暂时性计算机可读存储介质可以存储程序指令,该程序指令由至少一个处理器执行并执行本文描述的任何方法。
前面的一般性描述和下面的详细描述仅是示例性和说明性的,并不限制权利要求。
附图说明
并入本公开中并构成本公开的一部分的附图示出了各种公开的实施例。在附图中:
图1A是示出与所公开的实施例一致的示例性LIDAR系统的图。
图1B是示出与所公开的实施例一致的安装在车辆上的LIDAR系统的单个扫描周期的示例性输出的图像。
图1C是示出根据与所公开的实施例一致的LIDAR系统的输出确定的点云模型的表示的另一图像。
图2A、图2B、图2C、图2D、图2E、图2F和图2G是示出根据本公开的一些实施例的投射单元的不同配置的图。
图3A、图3B、图3C和图3D是示出根据本公开的一些实施例的扫描单元的不同配置的图。
图4A、图4B、图4C、图4D和图4E是示出根据本公开的一些实施例的感测单元的不同配置的图。
图5A包括示出用于视场的单个部分的单个帧时间中的发射模式的四个示例图。
图5B包括示出用于整个视场的单个帧时间中的发射方案的三个示例图。
图5C是示出朝向视场投射的实际光发射和在整个视场的单个帧时间期间接收的反射的图。
图6A、图6B和图6C是示出与本公开的一些实施例一致的第一示例实现的图。
图6D是示出与本公开的一些实施例一致的第二示例实现的图。
图7是示出与本公开的实施例一致的用于生成可变密度点云的LIDAR系统的图。
图8包括示出与本公开的实施例一致的投射光和反射光的时间-强度曲线的两个示例图。
图9包括示出由与本公开一致的传感器测量的反射光的两种场景的两个示例图。
图10是图示根据本公开的一些实施例的在视场的单个帧时间扫描期间投射的实际光发射和此后生成的点云数据点的图。
图11描绘了与本公开的一些实施例一致的用于使用激光雷达系统生成点云数据点的示例性方法。
具体实施方式
以下详细描述参考附图。在可能的情况下,在附图和以下描述中使用相同的附图标记来指代相同或相似的部分。虽然本文描述了若干说明性实施例,但是修改、改编和其他实现方式是可能的。例如,可以对附图中所示的组件进行替换、添加或修改,并且可以通过对所公开的方法替换、重新排序、移除或添加步骤来修改本文描述的说明性方法。因此,以下详细描述不限于所公开的实施例和示例。相反,适当的范围由所附权利要求限定。
术语定义
所公开的实施例可以涉及光学系统。如本文所使用的,术语“光学系统”广泛地包括用于光的生成、检测和/或操纵的任何系统。仅作为示例,光学系统可以包括用于生成、检测和/或操纵光的一个或多个光学部件。例如,光源、透镜、反射镜、棱镜、分束器、准直器、偏振光学器件、光学调制器、光学开关、光学放大器、光学检测器、光学传感器、光纤、半导体光学部件,虽然不一定需要,但可以各自是光学系统的一部分。除了一个或多个光学部件之外,光学系统还可以包括其他非光学部件,诸如电气部件、机械部件、化学反应部件和半导体部件。非光学部件可以与光学系统的光学部件协作。例如,光学系统可以包括用于分析检测到的光的至少一个处理器。
与本公开一致,光学系统可以是激光雷达(LIDAR)系统。如本文所使用的,术语“激光雷达系统”广泛地包括可以基于反射光确定指示一对有形物体之间的距离的参数的值的任何系统。在一个实施例中,激光雷达系统可以基于由激光雷达系统发射的光的反射来确定一对有形物体之间的距离。如本文所使用的,术语“确定距离”广泛地包括生成指示有形物体对之间的距离的输出。所确定的距离可以表示一对有形物体之间的物理尺寸。仅作为示例,所确定的距离可以包括激光雷达系统与激光雷达系统的视场中的另一有形物体之间的飞行线距离。在另一实施例中,激光雷达系统可以基于由激光雷达系统发射的光的反射来确定一对有形物体之间的相对速度。指示一对有形物体之间的距离的输出的示例包括:有形物体之间的标准长度单位的数量(例如,米数、英寸数、公里数、毫米数),任意长度单位的数量(例如,激光雷达系统长度的数量)、距离与另一长度之间的比率(例如,与在激光雷达系统的视场中检测到的物体的长度的比率)、时间量(例如,以标准单位、任意单位或比率给出,例如,光在有形物体之间行进所花费的时间)、一个或多个位置(例如,使用商定的坐标系指定的、相对于已知位置指定的)等。
激光雷达系统可以基于反射光确定一对有形物体之间的距离。在一个实施例中,激光雷达系统可以处理传感器的检测结果,其创建指示光信号的发射与其被传感器检测到的时间之间的时间段的时间信息。该时间段有时被称为光信号的“飞行时间”。在一个示例中,光信号可以是短脉冲,其上升和/或下降时间可以在接收中被检测到。使用关于相关介质(通常是空气)中的光速的已知信息,可以处理关于光信号的飞行时间的信息,以提供光信号在发射和检测之间行进的距离。在另一实施例中,激光雷达系统可以基于频率相移(或多频相移)来确定距离。具体地,LIDAR系统可以处理指示光信号的一个或多个调制相移的信息(例如,通过求解一些联立方程式以给出最终测量)。例如,可以用一个或多个恒定频率调制发射的光信号。发射信号和检测到的反射之间的调制的至少一个相移可以指示光在发射和检测之间行进的距离。调制可以应用于连续波光信号、准连续波光信号或另一类型的发射光信号。注意,LIDAR系统可以使用附加信息来确定距离,例如投射位置之间的位置信息(例如相对位置)、信号的检测位置(特别是如果彼此远离)等。
在一些实施例中,激光雷达系统可以用于检测激光雷达系统的环境中的多个物体。术语“检测激光雷达系统的环境中的物体”广泛地包括生成指示朝向与激光雷达系统相关联的检测器反射光的物体的信息。如果LIDAR系统检测到多于一个物体,则所生成的与不同物体有关的信息可以互连,例如汽车在道路上行驶,鸟坐在树上,人触摸自行车,货车朝向建筑物移动。激光雷达系统检测物体的环境的尺寸可以相对于实现方式而变化。例如,LIDAR系统可以用于检测其上安装有LIDAR系统的车辆的环境中的多个物体,直到100m(或200m、300m等)的水平距离,并且直到10m(或25m、50m等)的垂直距离。在另一示例中,LIDAR系统可以用于检测车辆环境中或预定水平范围(例如,25°、50°、100°、180°等),并且直到预定垂直高度(例如,±10°、±20°、±40°-20°、±90°或0°-90°)内的多个物体。
如本文所使用的,术语“检测物体”可以广泛地指代确定物体的存在(例如,物体可以存在于相对于激光雷达系统和/或另一参考位置的某个方向上,或者物体可以存在于某个空间体积中)。另外或替代地,术语“检测物体”可指确定物体与另一位置(例如LIDAR系统的位置、地球上的位置或另一物体的位置)之间的距离。另外或替代地,术语“检测物体”可指代识别物体(例如,识别物体)。对诸如汽车、植物、树、道路之类的物体类型进行分类;识别特定物体(例如,华盛顿纪念碑);确定车牌号码;确定物体(例如,固体、液体、透明、半透明)的组成;确定物体的运动学参数(例如,其是否正在移动、其速度、其移动方向、物体的扩展)。附加地或替代地,术语“检测物体”可以指生成点云图,其中点云图的一个或多个点中的每个点对应于物体中的位置或其面上的位置。在一个实施例中,与视场的点云图表示相关联的数据分辨率可以与视场的0.1°×0.1°或0.3°×0.3°相关联。
与本公开一致,术语“物体”广泛地包括可以反射来自其至少一部分的光的物质的有限组成。例如,物体可以是至少部分实心的(例如,汽车、树);至少部分液体(例如道路上的水坑、雨);至少部分气态(例如烟雾、云);由大量不同的颗粒(例如沙尘暴、雾、喷雾)制成;并且可以具有一个或多个量级,例如~1毫米(mm)、~5mm、~10mm、~50mm、~100mm、~500mm、~1米(m)、~5m、~10m、~50m、~100m等。还可以检测更小或更大的物体以及这些示例之间的任何尺寸。注意,由于各种原因,LIDAR系统可以仅检测物体的一部分。例如,在一些情况下,光可以仅从物体的一些侧面反射(例如,将仅检测到与激光雷达系统相对的侧面);在其他情况下,光可以仅投射在物体的一部分上(例如,激光束投射到道路或建筑物上);在其他情况下,物体可能被激光雷达系统和检测到的物体之间的另一物体部分地阻挡;在其他情况下,激光雷达的传感器可以仅检测从物体的一部分反射的光,例如,因为环境光或其他干扰干扰物体的一些部分的检测。
与本公开一致,激光雷达系统可以被配置为通过扫描激光雷达系统的环境来检测物体。术语“扫描激光雷达系统的环境”广泛地包括照射激光雷达系统的视场或视场的一部分。在一个示例中,扫描激光雷达系统的环境可以通过移动或枢转光偏转器以在不同方向上朝向视场的不同部分偏转光来实现。在另一示例中,扫描激光雷达系统的环境可以通过改变传感器相对于视场的定位(即,位置和/或取向)来实现。在另一示例中,扫描激光雷达系统的环境可以通过改变光源相对于视场的定位(即,位置和/或取向)来实现。在又一示例中,扫描激光雷达系统的环境可以通过改变至少一个光源和至少一个传感器的位置以相对于视场刚性地移动(即,保持至少一个传感器和至少一个光源的相对距离和取向)来实现。
如本文所使用的,术语“激光雷达系统的视场”可以广泛地包括其中可以检测到物体的激光雷达系统的可观察环境的范围。注意,激光雷达系统的视场(FOV)可能受到各种条件的影响,诸如但不限于:激光雷达系统的取向(例如,激光雷达系统的光轴的方向);LIDAR系统相对于环境的位置(例如,地面上方的距离以及相邻地形和障碍物);激光雷达系统的操作参数(例如,发射功率、计算设置、定义的操作角度)等。激光雷达系统的视场可以例如由立体角定义(例如,使用角φ、θ定义,其中φ和θ是在垂直平面中,例如相对于激光雷达系统和/或其FOV的对称轴线,定义的角度)。在一个示例中,视场也可以被限定在特定范围内(例如,高达200m)。
类似地,术语“瞬时(instantaneous)视场”可以广泛地包括激光雷达系统可以在任何给定时刻检测到物体的可观察环境的范围。例如,对于扫描激光雷达系统,瞬时视场比激光雷达系统的整个FOV窄,并且它可以在激光雷达系统的FOV内移动,以便能够在激光雷达系统的FOV的其他部分中进行检测。瞬时视场在激光雷达系统的FOV内的移动可以通过移动激光雷达系统的光偏转器(或在激光雷达系统外部)来实现,以便在不同方向上偏转去往和/或来自激光雷达系统的光束。在一个实施例中,激光雷达系统可以被配置为扫描激光雷达系统正在其中操作的环境中的场景。如本文所使用的,术语“场景”可以广泛地包括在激光雷达系统的视场内、在其相对位置和在其当前状态下、在激光雷达系统的操作持续时间内的一些或所有物体。例如,场景可以包括地面元素(例如,地、道路、草、人行道、道路表面标记)、天空、人造物体(例如,车辆、建筑物、标志)、植被、人、动物、光投射元素(例如,手电筒、太阳、其他LIDAR系统)等。
所公开的实施例可以涉及获得用于生成重建的三维模型的信息。可以使用的重建三维模型的类型的示例包括点云模型和多边形网格(例如三角形网格)。术语“点云”和“点云模型”在本领域中是众所周知的,并且应当被解释为包括空间上位于某个坐标系中的数据点集合(即,在由相应坐标系描述的空间中具有可识别的位置)。术语“点云点”是指空间中的点(其可以是无量纲的,或者是微型蜂窝空间,例如1cm3),并且其位置可以由点云模型使用坐标集合(例如(X,Y,Z),(r,φ,θ))来描述。仅作为示例,点云模型可以存储其点中的一些或全部的附加信息(例如,从相机图像生成的点的颜色信息)。同样,任何其他类型的重建三维模型可以存储其物体中的一些或全部的附加信息。类似地,术语“多边形网格”和“三角形网格”在本领域中是众所周知的,并且应被解释为包括定义一个或多个3D物体(诸如多面体物体)的形状的顶点、边和面的集合等。面可以包括以下中的一个或多个:三角形(三角形网格)、四边形或其他简单的凸多边形,因为这可以简化渲染。这些面还可以包括更一般的凹多边形或具有孔的多边形。多边形网格可以使用不同的技术来表示,诸如:顶点-顶点网格、面-顶点网格、翼边网格和渲染动态网格。多边形网格的不同部分(例如,顶点、面、边)直接地和/或相对于彼此在空间上位于某个坐标系中(即,在由相应坐标系描述的空间中具有可识别的位置)。重建的三维模型的生成可以使用任何标准的、专用的和/或新颖的摄影测量技术来实现,其中许多技术在本领域中是已知的。注意,激光雷达系统可以生成其他类型的环境模型。
与所公开的实施例一致,激光雷达系统可以包括具有被配置为投射光的光源的至少一个投射单元。如本文所使用的,术语“光源”广泛地指代被配置为发射光的任何设备。在一个实施例中,光源可以是激光器(诸如固态激光器、激光二极管、高功率激光器)或替代光源(诸如基于发光二极管(LED)的光源)。另外,如贯穿附图所示的光源112可以以不同的格式发射光,诸如光脉冲、连续波(CW)、准CW等。例如,可以使用的一种类型的光源是垂直腔表面发射激光器(VCSEL)。可以使用的另一种类型的光源是外腔二极管激光器(ECDL)。在一些示例中,光源可以包括激光二极管,该激光二极管被配置为发射波长在约650nm和1150nm之间的光。可替代地,光源可以包括激光二极管,该激光二极管被配置为发射波长在约800nm和约1000nm之间、在约850nm和约950nm之间、或在约1300nm和约1600nm之间的光。除非另有说明,否则关于数值的术语“约”被定义为相对于所述值的高达5%的方差。下面参考图2A-2C描述关于投射单元和至少一个光源的附加细节。
与所公开的实施例一致,激光雷达系统可以包括具有至少一个光偏转器的至少一个扫描单元,该光偏转器被配置为偏转来自光源的光以便扫描视场。术语“光偏转器”广泛地包括被配置为使光偏离其原始路径的任何机构或模块;例如,反射镜、棱镜、可控透镜、机械反射镜、机械扫描多边形、有源衍射(例如,可控LCD)、Risley棱镜、非机械电光光束转向(诸如由Vscent制造)、偏振光栅(诸如由Boulder非线性系统提供)、光学相控阵列(OPA)等。在一个实施例中,光偏转器可以包括多个光学组件,诸如至少一个反射元件(例如反射镜)、至少一个折射元件(例如棱镜、透镜)等。在一个示例中,光偏转器可以是可移动的,以使光偏转到不同的度数(例如,离散度数,或者在连续的度数跨度上)。光偏转器可以可选地以不同的方式控制(例如,偏转到α度,将偏转角改变α,将光偏转器的部件移动M毫米,改变偏转角改变的速度)。另外,光偏转器可以可选地可操作以改变单个平面(例如,θ坐标)内的偏转角度。光偏转器可以可选地可操作以改变两个非平行平面(例如,θ和φ坐标)内的偏转角度。可替代地或另外地,光偏转器可以可选地可操作以在预定设置之间(例如,沿着预定义的扫描路线)或以其他方式改变偏转角度。关于激光雷达系统中光偏转器的使用,应当注意,光偏转器可以在出站方向(也称为发送方向或TX)上使用,以将来自光源的光偏转到视场的至少一部分。然而,也可以在入站方向(也称为接收方向或RX)上使用光偏转器,以将来自视场的至少一部分的光偏转到一个或多个光传感器。下面参考图3A-3C描述关于扫描单元和至少一个光偏转器的附加细节。
所公开的实施例可以涉及枢转光偏转器以便扫描视场。如本文所用,术语“枢转”广泛地包括物体(特别是固体物体)围绕一个或多个旋转轴线旋转,同时基本上保持旋转中心固定。在一个实施例中,光偏转器的枢转可以包括光偏转器围绕固定轴线(例如,轴)的旋转,但不一定如此。例如,在一些MEMS反射镜实施方式中,MEMS反射镜可以通过致动连接到反射镜的多个弯曲器而移动,除了旋转之外,反射镜还可以经历一些空间平移。然而,这种反射镜可以被设计成围绕基本上固定的轴线旋转,并且因此与本公开一致,其被认为是枢转的。在其他实施例中,一些类型的光偏转器(例如,非机械-电光光束转向,OPA)不需要任何移动部件或内部移动来改变偏转光的偏转角。注意,与移动或枢转光偏转器有关的任何讨论也加以必要的修改适用于控制光偏转器,使得其改变光偏转器的偏转行为。例如,控制光偏转器可以引起从至少一个方向到达的光束的偏转角的改变。
所公开的实施例可以涉及接收与对应于光偏转器的单个瞬时位置的视场的一部分相关联的反射。如本文所使用的,术语“光偏转器的瞬时位置”(也称为“光偏转器的状态”)广泛地指代光偏转器的至少一个受控组件位于瞬时时间点或在短时间跨度内的空间中的定位或位置。在一个实施例中,可以相对于参考系测量光偏转器的瞬时位置。参考系可以涉及激光雷达系统中的至少一个固定点。或者,例如,参考系可以涉及场景中的至少一个固定点。在一些实施例中,光偏转器的瞬时位置可以包括光偏转器的一个或多个部件(例如,反射镜、棱镜)的一些移动,通常在扫描视场期间相对于最大变化程度的有限程度。例如,扫描激光雷达系统的整个视场可以包括在30°的跨度上改变光的偏转,并且至少一个光偏转器的瞬时位置可以包括光偏转器在0.05°内的角偏移。在其他实施例中,术语“光偏转器的瞬时位置”可以指在光的获取期间光偏转器的位置,所述光被处理以为激光雷达系统生成的点云(或另一种类型的3D模型)的单个点提供数据。在一些实施例中,光偏转器的瞬时位置可以与其中偏转器在激光雷达视场的特定子区域的照明期间暂停短时间的固定位置或取向相对应。在其他情况下,光偏转器的瞬时位置可以与沿着光偏转器的位置/取向的扫描范围的某个位置/取向相对应,光偏转器作为激光雷达视场的连续或半连续扫描的一部分穿过该扫描范围。在一些实施例中,可以移动光偏转器,使得在激光雷达FOV的扫描周期期间,光偏转器位于多个不同的瞬时位置。换句话说,在扫描周期发生的时间段期间,偏转器可以移动通过一系列不同的瞬时位置/取向,并且偏转器可以在扫描周期期间的不同时间到达每个不同的瞬时位置/取向。
与所公开的实施例一致,激光雷达系统可以包括具有至少一个传感器的至少一个感测单元,该至少一个传感器被配置为检测来自视场中的物体的反射。术语“传感器”广泛地包括能够测量电磁波的特性(例如,功率、频率、相位、脉冲定时、脉冲持续时间)并生成与所测量的特性相关的输出的任何设备、元件或系统。在一些实施例中,至少一个传感器可以包括由多个检测元件构成的多个检测器。至少一个传感器可以包括一种或多种类型的光传感器。注意,至少一个传感器可以包括相同类型的多个传感器,其可以在其他特性(例如,灵敏度、尺寸)方面不同。也可以使用其他类型的传感器。出于不同的原因,可以使用几种类型的传感器的组合,例如改进在一段范围内(特别是在近距离内)的检测;改善传感器的动态范围;改善传感器的时间响应;在一个实施例中,所述至少一个传感器包括SiPM(硅光电倍增器),其是由雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)的阵列构建的固态单光子敏感器件,用作公共硅衬底上的检测元件。在一个示例中,SPAD之间的典型距离可在约10m与约50m之间,其中每个SPAD可具有在约20ns与约100ns之间的恢复时间。也可以使用来自其他非硅材料的类似光电倍增管。尽管SiPM器件以数字/切换模式工作,但是SiPM是模拟器件,因为可以并行读取所有微单元,使得可以在从单个光子到由不同SPAD检测的数百和数千个光子的动态范围内生成信号。应注意,来自不同类型的传感器(例如,SPAD、APD、SiPM、PIN二极管、光电检测器)的输出可一起组合成单个输出,所述单个输出可由LIDAR系统的处理器处理。下面参考图4A-4C描述感测单元和至少一个传感器的附加细节。
与所公开的实施例一致,激光雷达系统可以包括被配置为执行不同功能的至少一个处理器或与被配置为执行不同功能的至少一个处理器通信。至少一个处理器可以构成具有对一个或多个输入执行逻辑运算的电路的任何物理设备。例如,至少一个处理器可以包括一个或多个集成电路(IC),包括专用集成电路(ASIC)、微芯片、微控制器、微处理器、中央处理单元(CPU)的全部或部分、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或适于执行指令或执行逻辑操作的其他电路。由至少一个处理器执行的指令可以例如预加载到与控制器集成或嵌入控制器中的存储器中,或者可以存储在单独的存储器中。存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪存、其他永久、固定或易失性存储器、或能够存储指令的任何其他机构。在一些实施例中,存储器被配置为存储关于激光雷达系统的环境中的物体的代表性数据。在一些实施例中,至少一个处理器可以包括多于一个处理器。每个处理器可以具有类似的构造,或者处理器可以具有彼此电连接或断开的不同构造。例如,处理器可以是单独的电路或集成在单个电路中。当使用多于一个处理器时,处理器可以被配置为独立地或协作地操作。处理器可以电耦合、磁耦合、光耦合、声耦合、机械耦合或通过允许它们交互的其他手段耦合。下面参考图5A-5C描述关于处理单元和至少一个处理器的附加细节。
系统概述
图1A示出了激光雷达系统100,其包括投射单元102、扫描单元104、感测单元106和处理单元108。激光雷达系统100可以安装在车辆110上。与本公开的实施例一致,投射单元102可以包括至少一个光源112,扫描单元104可以包括至少一个光偏转器114,感测单元106可以包括至少一个传感器116,并且处理单元108可以包括至少一个处理器118。在一个实施例中,至少一个处理器118可以被配置为协调至少一个光源112的操作与至少一个光偏转器114的移动,以便扫描视场120。在扫描周期期间,至少一个光偏转器114的每个瞬时位置可以与视场120的特定部分122相关联。另外,激光雷达系统100可以包括至少一个可选的光学窗口124,用于引导朝向视场120投射的光和/或接收从视场120中的物体反射的光。可选的光学窗口124可以用于不同的目的,诸如投射光的准直和反射光的聚焦。在一个实施例中,可选的光学窗口124可以是开口、平坦窗口、透镜或任何其他类型的光学窗口。
与本公开一致,激光雷达系统100可以用在自主或半自主道路车辆(例如,汽车、公共汽车、货车、卡车和任何其它陆地车辆)中。具有激光雷达系统100的自主道路车辆可以在没有人类输入的情况下扫描其环境并驾驶到目的地。类似地,激光雷达系统100还可以用于自主/半自主飞行器(例如,UAV、无人机、四轴飞行器和任何其它空中交通工具或设备);或在自主或半自主水上船舶(例如,小船、轮船、潜水艇或任何其他船只)中。具有激光雷达系统100的自主飞行器和水运工具可以扫描其环境并且自主地或使用远程人类操作员导航到目的地。根据一个实施例,车辆110(道路车辆、飞行器或船只)可以使用激光雷达系统100来帮助检测和扫描车辆110正在其中操作的环境。
应当注意,激光雷达系统100或其任何组件可以与本文公开的任何示例实施例和方法一起使用。此外,虽然相对于示例性的基于车辆的激光雷达平台描述了激光雷达系统100的一些方面,但是激光雷达系统100、其任何组件或本文描述的任何过程可以适用于其他平台类型的激光雷达系统。
在一些实施例中,激光雷达系统100可以包括一个或多个扫描单元104以扫描车辆110周围的环境。激光雷达系统100可以附接或安装到车辆110的任何部分。感测单元106可以接收来自车辆110的周围环境的反射,并且将指示从视场120中的物体反射的光的反射信号传送到处理单元108。与本公开一致,扫描单元104可以安装到或结合到保险杠、挡泥板、侧面板、扰流板、车顶、前灯组件、尾灯组件、后视镜组件、发动机罩、行李箱或车辆110的能够容纳激光雷达系统的至少一部分的任何其他合适的部分中。在一些情况下,激光雷达系统100可以捕获车辆110的环境的完整环绕视图。因此,激光雷达系统100可以具有360度水平视场。在一个示例中,如图1A所示,激光雷达系统100可以包括安装在车辆110的车顶上的单个扫描单元104。可替代地,激光雷达系统100可以包括多个扫描单元(例如,两个、三个、四个或更多个扫描单元104),每个扫描单元具有视场,使得总体上水平视场被车辆110周围的360度扫描覆盖。本领域技术人员将理解,激光雷达系统100可以包括以任何方式布置的任何数量的扫描单元104,每个扫描单元104具有80°至120°或更小的视场,这取决于所采用的单元的数量。此外,还可以通过在车辆110上安装多个激光雷达系统100来获得360度水平视场,每个激光雷达系统100具有单个扫描单元104。然而,应当注意,一个或多个激光雷达系统100不必提供完整的360°视场,并且在一些情况下,较窄的视场可能是有用的。例如,车辆110可能需要具有75°视场的第一激光雷达系统100看向车辆前方,并且可能需要具有类似FOV的第二激光雷达系统100向后看(可选地具有较低的检测范围)。还应注意,也可以实现不同的垂直视场角度。
图1B是示出与所公开的实施例一致的安装在车辆110上的激光雷达系统100的单个扫描周期的示例性输出的图像。在该示例中,扫描单元104被结合到车辆110的右前灯组件中。图像中的每个灰点对应于从由感测单元106检测到的反射确定的车辆110周围的环境中的位置。除了位置之外,每个灰点还可以与不同类型的信息相关联,例如,强度(例如,从该位置返回多少光)、反射率、与其他点的接近度等。在一个实施例中,激光雷达系统100可以从检测到的视场的多个扫描周期的反射生成多个点云数据条目,以使得能够例如确定车辆110周围的环境的点云模型。
图1C是示出从激光雷达系统100的输出确定的点云模型的表示的图像。与所公开的实施例一致,通过处理车辆110周围的环境的所生成的点云数据条目,可以从点云模型产生环绕视图图像。在一个实施例中,点云模型可以被提供给特征提取模块,该特征提取模块处理点云信息以识别多个特征。每个特征可以包括关于点云和/或车辆110周围环境中的物体(例如,汽车、树、人和道路)的不同方面的数据。特征可以具有与点云模型相同的分辨率(即,具有相同数量的数据点,可选地布置成相似大小的2D阵列),或者可以具有不同的分辨率。特征可以存储在任何种类的数据结构(例如,光栅、向量、2D阵列、1D阵列)中。另外,虚拟特征,诸如车辆110的表示、边界线或分离图像中的区域或物体的边界框(例如,如图1B所示),以及表示一个或多个识别的物体的图标,可以覆盖在点云模型的表示上,以形成最终的环绕视图图像。例如,车辆110的符号可以覆盖在环绕视图图像的中心处。
投射单元
图2A-2G描绘了投射单元102的各种配置及其在激光雷达系统100中的作用。具体地,图2A是示出具有单个光源的投射单元102的图;图2B是图示具有瞄准公共光偏转器114的多个光源的多个投射单元102的图;图2C是示出具有主光源112和次光源112的投射单元102的图;图2D是图示在投射单元102的一些配置中使用的非对称偏转器的图;图2E是示出非扫描LIDAR系统的第一配置的图;图2F是示出非扫描LIDAR系统的第二配置的图;图2G是示出在出站方向上扫描而不在入站方向上扫描的LIDAR系统的图。本领域技术人员将理解,投射单元102的所描绘的配置可以具有许多变化和修改。
图2A示出了激光雷达系统100的双静态配置的示例,其中投射单元102包括单个光源112。术语“双静态配置”广泛地指代这样的LIDAR系统配置,其中离开LIDAR系统的投射光和进入LIDAR系统的反射光穿过基本上不同的光路。在一些实施例中,激光雷达系统100的双静态配置可以包括通过使用完全不同的光学部件、通过使用平行但不完全分离的光学部件、或者通过仅针对光路的一部分使用相同的光学部件来分离光路(光学部件可以包括例如窗口、透镜、反射镜、分束器等)。在图2A中描绘的示例中,双静态配置包括这样的配置,其中出射光和入射光穿过单个光学窗口124,但是扫描单元104包括两个光偏转器,用于出射光的第一光偏转器114A和用于入射光的第二光偏转器114B(激光雷达系统中的入射光包括从场景中的物体反射的发射光,并且还可以包括从其他源到达的环境光)。在图2E和图2G中描绘的示例中,双静态配置包括其中出射光穿过第一光学窗口124A并且入射光穿过第二光学窗口124B的配置。在上述所有示例配置中,入站光路和出站光路彼此不同。
在该实施例中,激光雷达系统100的所有部件可以包含在单个壳体200内,或者可以在多个壳体之间划分。如图所示,投射单元102与单个光源112相关联,该单个光源112包括被配置为发射光(投射光204)的激光二极管202A(或耦合在一起的两个或更多个激光二极管)。在一个非限制性示例中,由光源112投射的光可以是在约800nm和950nm之间的波长,具有在约50mW和约500mW之间的平均功率,具有在约50W和约200W之间的峰值功率,以及在约2ns和约100ns之间的脉冲宽度。另外,光源112可以可选地与用于操纵由激光二极管202A发射的光(例如,用于准直、聚焦等)的光学组件202B相关联。注意,可以使用其他类型的光源112,并且本公开不限于激光二极管。另外,光源112可以以不同的格式发射其光,诸如光脉冲、频率调制、连续波(CW)、准CW或对应于所采用的特定光源的任何其他形式。投射格式和其他参数可以由光源基于不同的因素(诸如来自处理单元108的指令)不时地改变。投射的光朝向外出偏转器114A投射,外出偏转器114A用作用于在视场120中引导投射的光的转向元件。在该示例中,扫描单元104还可以包括可枢转的返回偏转器114B,其将从视场120内的物体208反射回的光子(反射光206)朝向传感器116引导。反射光由传感器116检测,并且关于物体的信息(例如,到物体212的距离)由处理单元108确定。
在该图中,激光雷达系统100连接到主机210。与本公开一致,术语“主机”是指可以与激光雷达系统100对接的任何计算环境,它可以是车辆系统(例如,车辆110的一部分)、测试系统、安全系统、监控系统、交通控制系统、城市建模系统或监视其周围环境的任何系统。这样的计算环境可以包括至少一个处理器和/或可以经由云连接到激光雷达系统100。在一些实施例中,主机210还可以包括到外部设备的接口,所述外部设备诸如被配置为测量主机210的不同特性(例如,加速度、方向盘偏转、反向驱动等)的相机和传感器。与本公开一致,激光雷达系统100可以固定到与主机210相关联的静止物体(例如,建筑物、三脚架)或与主机210相关联的便携式系统(例如,便携式计算机、电影相机)。与本公开一致,激光雷达系统100可以连接到主机210,以向主机210提供激光雷达系统100的输出(例如,3D模型、反射率图像)。具体地,主机210可以使用激光雷达系统100来帮助检测和扫描主机210的环境或任何其它环境。另外,主机210可以将激光雷达系统100的输出与其他感测系统(例如,相机、麦克风、雷达系统)的输出集成、同步或以其他方式一起使用。在一个示例中,激光雷达系统100可以由安全系统使用。下面参考图6D描述这种实施例的示例。
激光雷达系统100还可以包括总线212(或其它通信机构),其互连用于在激光雷达系统100内传送信息的子系统和组件。可选地,总线212(或另一通信机制)可以用于将激光雷达系统100与主机210互连。在图2A的示例中,处理单元108包括两个处理器118,以至少部分地基于从激光雷达系统100的内部反馈接收的信息以协调的方式调节投射单元102、扫描单元104和感测单元106的操作。换句话说,处理单元108可以被配置为在闭环中动态地操作激光雷达系统100。闭环系统的特征在于具有来自至少一个元件的反馈并基于接收到的反馈更新一个或多个参数。此外,闭环系统可以接收反馈并且至少部分地基于该反馈来更新其自己的操作。动态系统或元件是可以在操作期间更新的系统或元件。
根据一些实施例,扫描激光雷达系统100周围的环境可以包括用光脉冲照射视场120。光脉冲可以具有诸如以下的参数:脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振等。扫描激光雷达系统100周围的环境还可以包括检测和表征反射光的各个方面。反射光的特性可以包括例如:飞行时间(即,从发射到检测的时间)、瞬时功率(例如,功率特征)、整个返回脉冲上的平均功率、以及返回脉冲周期上的光子分布/信号。通过将光脉冲的特性与对应反射的特性进行比较,可以估计距离以及可能的物理特性,诸如物体212的反射强度。通过跨多个相邻部分122重复该过程,以预定义图案(例如,光栅、利萨如(Lissajous)或其他图案)可以实现视场120的整个扫描。如下面更详细地讨论的,在一些情况下,激光雷达系统100可以在每个扫描周期将光引导到视场120中的仅一些部分122。这些部分可以彼此相邻,但不一定如此。
在另一实施例中,激光雷达系统100可以包括用于与主机210(例如,车辆控制器)通信的网络接口214。激光雷达系统100和主机210之间的通信由虚线箭头表示。在一个实施例中,网络接口214可以包括集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器,以提供到相应类型的电话线的数据通信连接。作为另一示例,网络接口214可以包括局域网(LAN)卡,以提供到兼容LAN的数据通信连接。在另一个实施例中,网络接口214可以包括连接到射频接收器和发射器和/或光学(例如,红外)接收器和发射器的以太网端口。网络接口214的具体设计和实现取决于激光雷达系统100和主机210旨在通过其操作的通信网络。例如,网络接口214可以用于例如向外部系统提供激光雷达系统100的输出,诸如3D模型、激光雷达系统100的操作参数等。在其他实施例中,通信单元可以用于例如从外部系统接收指令、接收关于被检查环境的信息、从另一传感器接收信息等。
图2B示出了包括多个投射单元102的激光雷达系统100的单站(monostatic)配置的示例。术语“单站配置”广泛地指代激光雷达系统配置,其中从激光雷达系统离开的投射光和进入激光雷达系统的反射光穿过基本上类似的光学路径。在一个示例中,出站光束和入站光束可以共享至少一个光学组件,出站光束和入站光束都通过该光学组件。在另一示例中,出站光可以穿过光学窗口(未示出),并且入站光辐射可以穿过相同的光学窗口。单站配置可以包括其中扫描单元104包括单个光偏转器114的配置,该单个光偏转器114将投射的光朝向视场120引导并且将反射光朝向传感器116引导。如图所示,投射光204和反射光206都撞击非对称偏转器216。术语“非对称偏转器”是指具有两侧的任何光学装置,其能够使从一侧撞击它的光束在与它使从第二侧撞击它的光束偏转不同的方向上偏转。在一个示例中,非对称偏转器不偏转投射光204并且朝向传感器116偏转反射光206。非对称偏转器的一个示例可以包括偏振分束器。在另一示例中,非对称偏转器216可以包括允许光仅在一个方向上通过的光学隔离器。非对称偏转器216的图示在图2D中示出。与本公开一致,激光雷达系统100的单站配置可以包括非对称偏转器,以防止反射光击中光源112,并且将所有反射光引向传感器116,从而增加检测灵敏度。
在图2B的实施例中,激光雷达系统100包括三个投射单元102,每个投射单元102具有瞄准公共光偏转器114的单个光源112。在一个实施例中,多个光源112(包括两个或更多个光源)可以投射具有基本上相同波长的光,并且每个光源112通常与视场的不同区域(在图中表示为120A、120B和120C)相关联。这使得能够扫描比利用光源112可以实现的视场更宽的视场。在另一实施例中,多个光源102可以投射具有不同波长的光,并且所有光源112可以被引导到视场120的相同部分(或重叠部分)。
图2C示出了激光雷达系统100的示例,其中投射单元102包括主光源112A和次光源112B。主光源112A可以投射具有人眼不敏感的较长波长的光,以便优化SNR和检测范围。例如,主光源112A可以投射波长在约750nm和1100nm之间的光。相反,辅光源112B可以投射具有人眼可见波长的光。例如,辅光源112B可以投射波长在约400nm和700nm之间的光。在一个实施例中,次光源112B可以沿着与由初级光源112A投射的光基本上相同的光路投射光。两个光源可以是时间同步的,并且可以一起或以交错模式投射光发射。交错图案意味着光源不同时活动,这可以减轻相互干扰。本领域技术人员将容易看到,也可以实现波长范围和激活调度的其他组合。
与一些实施例一致,当辅光源112B太靠近LIDAR光学输出端口时,辅光源112B可以使人眼眨眼。这可以确保眼睛安全机制对于利用近红外光谱的典型激光源是不可行的。在另一个实施例中,辅光源112B可以用于服务点处的校准和可靠性,其方式有点类似于在相对于车辆110距地面一定高度处校准具有特殊反射器/图案的前灯。服务点处的操作者可以通过在距激光雷达系统100指定距离处的特征目标(诸如测试图案板)上的扫描图案的简单视觉检查来检查激光雷达的校准。另外,辅光源112B可以提供用于LIDAR正在为终端用户工作的操作置信度的手段。例如,系统可以被配置为允许人将手放在光偏转器114前面以测试其操作。
辅光源112B还可以具有不可见元件,该不可见元件可以在主光源112A发生故障的情况下兼作备用系统。该特征对于具有提高的功能安全等级的故障安全装置可能是有用的。考虑到辅光源112B可以是可见的并且还由于成本和复杂性的原因,与主光源112A相比,辅光源112B可以与更小的功率相关联。因此,在主光源112A发生故障的情况下,系统功能将依赖于辅光源112B的功能和能力。虽然辅光源112B的能力可能不如主光源112A的能力,但是激光雷达系统100系统可以以使得车辆110能够安全地到达其目的地的方式设计。
图2D示出了可以是激光雷达系统100的一部分的非对称偏转器216。在所示示例中,非对称偏转器216包括反射表面218(诸如反射镜)和单向偏转器220。虽然不一定如此,但是非对称偏转器216可以可选地是静态偏转器。非对称偏转器216可以用在激光雷达系统100的单站配置中,以便允许用于经由至少一个偏转器114发射和接收光的公共光路,例如,如图2B和2C所示。然而,典型的非对称偏转器(诸如分束器)的特征在于能量损失,特别是在接收路径中,接收路径可能比传输路径对功率损失更敏感。
如图2D所示,激光雷达系统100可以包括位于传输路径中的非对称偏转器216,其包括用于在发送的光信号和接收的光信号之间分离的单向偏转器220。可选地,单向偏转器220可以对透射光基本上透明并且对接收的光基本上反射。透射光由投射单元102生成,并且可以通过单向偏转器220行进到扫描单元104,扫描单元104将其朝向光学出口偏转。接收到的光通过光学入口到达至少一个偏转元件114,该至少一个偏转元件114将反射信号偏转到远离光源并朝向感测单元106的单独路径中。可选地,非对称偏转器216可以与偏振光源112组合,该偏振光源112以与单向偏转器220相同的偏振轴线性偏振。值得注意的是,出射光束的横截面远小于反射信号的横截面。因此,激光雷达系统100可以包括一个或多个光学部件(例如,透镜、准直器),用于将发射的偏振光束聚焦或以其他方式操纵到非对称偏转器216的尺寸。在一个实施例中,单向偏转器220可以是对偏振光束实际上透明的偏振分束器。
与一些实施例一致,激光雷达系统100还可以包括用于修改发射光的偏振的光学器件222(例如,四分之一波片延迟器)。例如,光学器件222可以将发射光束的线性偏振修改为圆偏振。从视场反射回系统100的光将通过偏转器114返回到达光学器件222,从而承载相对于透射光具有反向旋向性的圆偏振。然后,光学器件222将接收到的反向旋向偏振光转换为与偏振分束器216的轴线不在同一轴线上的线性偏振。如上所述,由于穿过到目标的距离的光束的光学色散,接收的光斑大于发送的光斑。
接收到的光中的一些将入射在单向偏转器220上,单向偏转器220将以一些功率损耗将光朝向传感器106反射。然而,接收到的光片的另一部分将落在围绕单向偏转器220(例如,偏振分束器狭缝)的反射表面218上。反射表面218将以基本上零功率损耗将光朝向感测单元106反射。单向偏转器220将反射由各种偏振轴和方向组成的最终到达检测器的光。可选地,感测单元106可以包括传感器116,传感器116对于激光偏振是不可知的,并且主要对特定波长范围内的入射光子的量敏感。
应当注意,与其中具有通道孔的简单反射镜相比,所提出的非对称偏转器216提供了优异得多的性能。在具有孔的反射镜中,到达孔的所有反射光都损失到检测器。然而,在偏转器216中,单向偏转器220将该光的大部分(例如,约50%)朝向相应的传感器116偏转。在LIDAR系统中,从远距离到达LIDAR的光子数量非常有限,因此光子捕获率的提高是重要的。
根据一些实施例,描述了一种用于光束分离和转向的装置。可以从具有第一偏振的光源发射偏振光束。发射光束可以被引导以穿过偏振分束器组件。偏振分束器组件包括在第一侧上的单向狭缝和在相对侧上的反射镜。单向狭缝使得偏振的发射光束能够朝向四分之一波片/波延迟器行进,该四分之一波片/波延迟器将发射信号从圆偏振改变为线性偏振(反之亦然),使得随后反射的光束不能行进通过单向狭缝。
图2E示出了没有扫描单元104的激光雷达系统100的双静态配置的示例。为了在没有偏转器114的情况下照射整个视场(或基本上整个视场),投射单元102可以可选地包括光源阵列(例如,112A-112F)。在一个实施例中,光源阵列可以包括由处理器118控制的光源线性阵列。例如,处理器118可以使光源线性阵列朝向第一可选光学窗口124A顺序地投射准直激光束。第一可选光学窗口124A可以包括漫射透镜,用于扩散投射的光并顺序地形成宽的水平光束和窄的垂直光束。可选地,系统100的至少一个光源112中的一些或全部可以同时投射光。例如,处理器118可以使光源阵列同时投射来自多个非相邻光源112的光束。在所描绘的示例中,光源112A、光源112D和光源112F同时朝向第一可选光学窗口124A投射激光束,从而用三个窄垂直光束照射视场。来自第四光源112D的光束可以到达视场中的物体。从物体反射的光可由第二光学窗口124B捕获且可重定向到传感器116。图2E中描绘的配置被认为是双静态配置,因为投射光和反射光的光路基本上不同。注意,投射单元102还可以包括以非线性配置(诸如二维阵列)、六边形平铺或以任何其他方式布置的多个光源112。
图2F示出了没有扫描单元104的激光雷达系统100的单站配置的示例。类似于图2E中表示的示例实施例,为了在没有偏转器114的情况下照射整个视场,投射单元102可以包括光源阵列(例如,112A-112F)。但是,与图2E相反,激光雷达系统100的这种配置可以包括用于投射光和反射光的单个光学窗口124。使用非对称偏转器216,反射光可以被重定向到传感器116。图2E中描绘的配置被认为是单站配置,因为投射光和反射光的光路基本上彼此相似。在投射光和反射光的光路的上下文中,术语“基本上类似”意味着两个光路之间的重叠可以大于80%、大于85%、大于90%或大于95%。
图2G示出了激光雷达系统100的双静态配置的示例。该图中的激光雷达系统100的配置类似于图2A中所示的配置。例如,两种配置都包括扫描单元104,用于将投射光在出站方向上朝向视场引导。但是,与图2A的实施例相反,在该配置中,扫描单元104不在入站方向上重定向反射光。相反,反射光穿过第二光学窗口124B并进入传感器116。图2G中描绘的配置被认为是双静态配置,因为投射光和反射光的光路彼此基本上不同。在投射光和反射光的光路的上下文中,术语“基本上不同”意味着两个光路之间的重叠可以小于10%、小于5%、小于1%或小于0.25%。
扫描单元
图3A-3D描绘了扫描单元104的各种配置及其在激光雷达系统100中的作用。具体地,图3A是示出具有MEMS反射镜(例如,正方形)的扫描单元104的图,图3B是示出具有MEMS反射镜(例如,圆形)的另一扫描单元104的图,图3C是示出具有用于单站扫描激光雷达系统的反射器阵列的扫描单元104的图,并且图3D是示出机械扫描激光雷达系统100周围的环境的示例激光雷达系统100的图。本领域技术人员将理解,扫描单元104的所描绘的配置仅是示例性的,并且可以在本公开的范围内具有许多变化和修改。
图3A示出了具有单轴正方形MEMS反射镜300的示例扫描单元104。在该示例中,MEMS反射镜300用作至少一个偏转器114。如图所示,扫描单元104可以包括一个或多个致动器302(具体地,302A和302B)。在一个实施例中,致动器302可以由半导体(例如,硅)制成,并且包括压电层(例如,PZT、锆钛酸铅、氮化铝),其响应于由致动控制器施加的电信号而改变其尺寸,半导体层和基层。在一个实施例中,致动器302的物理特性可以确定当电流通过致动器302时致动器302经历的机械应力。当压电材料被激活时,它在致动器302上施加力并使其弯曲。在一个实施例中,当反射镜300在某个角位置处偏转时,可以在活动状态下测量一个或多个致动器302的电阻率(Ractive),并且将其与静止状态下的电阻率(Rrest)进行比较。包括Ractive的反馈可以提供信息以确定与预期角度相比的实际反射镜偏转角度,并且如果需要,可以校正反射镜300偏转。Rrest和Ractive之间的差可以通过反射镜驱动与可以用于闭合环路的角度偏转值相关联。该实施例可以用于实际反射镜位置的动态跟踪,并且可以优化线性模式和谐振模式MEMS反射镜方案的响应、幅度、偏转效率和频率。下面参考图3A-3D更详细地描述该实施例。
在扫描期间,电流(在图中表示为虚线)可以从触点304A流到触点304B(通过致动器302A、弹簧306A、反射镜300、弹簧306B和致动器302B)。半导体框架308中的隔离间隙(诸如隔离间隙310)可以使致动器302A和302B成为通过弹簧306和框架308电连接的两个单独的岛。可基于相关联扫描仪位置反馈来控制电流流动或任何相关联电参数(电压、电流频率、电容、相对介电常数等)。在机械故障的情况下——其中一个部件被损坏——流过结构的电流将改变并从其功能校准值改变。在极端情况下(例如,当弹簧断裂时),电流将由于通过故障元件在电链中的电路中断而完全停止。
图3B示出了具有双轴圆形MEMS反射镜300的另一示例扫描单元104。在该示例中,MEMS反射镜300用作至少一个偏转器114。在一个实施例中,MEMS反射镜300可以具有在约1mm至约5mm之间的直径。如图所示,扫描单元104可以包括四个致动器302(302A、302B、302C和302D),每个致动器可以具有不同的长度。在所示示例中,电流(在图中表示为虚线)从触点304A流到触点304D,但是在其他情况下,电流可以从触点304A流到触点304B、从触点304A流到触点304C、从触点304B流到触点304C、从触点304B流到触点304D、或从触点304C流到触点304D。与一些实施例一致,双轴MEMS反射镜可以被配置为在水平方向和垂直方向上偏转光。例如,双轴MEMS反射镜的偏转角度可以在垂直方向上在约0°至30°之间,并且在水平方向上在约0°至50°之间。本领域技术人员将理解,反射镜300的所描绘的配置可以具有许多变化和修改。在一个示例中,至少一个偏转器114可以具有双轴方形反射镜或单轴圆形反射镜。圆形和方形反射镜的示例仅作为示例在图3A和图3B中示出。取决于系统规格,可以采用任何形状。在一个实施例中,致动器302可以被并入作为至少一个偏转器114的整体部分,使得用于移动MEMS反射镜300的功率被直接朝向其施加。另外,MEMS反射镜300可以通过一个或多个刚性支撑元件连接到框架308。在另一个实施例中,至少一个偏转器114可以包括静电或电磁MEMS反射镜。
如上所述,单站扫描LIDAR系统利用相同光路的至少一部分来发射投射光204并接收反射光206。外向路径中的光束可以被准直并聚焦成窄光束,而返回路径中的反射由于色散而扩展成更大的光片。在一个实施例中,扫描单元104可以具有返回路径中的大反射区域和将反射(即,反射光206)重定向到传感器116的非对称偏转器216。在一个实施例中,扫描单元104可以包括MEMS反射镜,该MEMS反射镜具有大的反射区域并且对视场和帧速率性能的影响可忽略不计。下面参考图2D提供关于非对称偏转器216的附加细节。
在一些实施例中(例如,如图3C中所例示的),扫描单元104可以包括具有小的光偏转器(例如,反射镜)的偏转器阵列(例如,反射器阵列)。在一个实施例中,将光偏转器114实现为同步工作的一组较小的单独光偏转器可以允许光偏转器114以较大的偏转角度以高扫描速率执行。就有效面积而言,偏转器阵列可以基本上用作大的光偏转器(例如,大的反射镜)。偏转器阵列可以使用共享转向组件配置来操作,该配置允许传感器116从由光源112同时照射的视场120的基本上相同的部分收集反射光子。术语“同时”意指两个所选择的功能在重合或重叠的时间段期间发生,其中一个功能在另一个功能的持续时间期间开始和结束,或者其中后一个功能在另一个功能完成之前开始。
图3C示出了具有反射器阵列312的扫描单元104的示例,反射器阵列312具有小反射镜。在该实施例中,反射器阵列312用作至少一个偏转器114。反射器阵列312可以包括多个反射器单元314,其被配置为枢转(单独地或一起)并将光脉冲转向视场120。例如,反射器阵列312可以是从光源112投射的光的外向路径的一部分。具体地,反射器阵列312可以将投射光204朝向视场120的一部分引导。反射器阵列312还可以是用于从位于视场120的被照明部分内的物体的表面反射的光的返回路径的一部分。具体地,反射器阵列312可以将反射光206朝向传感器116或朝向非对称偏转器216引导。在一个示例中,反射器阵列312的面积可以在约75mm2至约150mm2之间,其中每个反射器单元314可以具有约10m的宽度,并且支撑结构可以低于100m。
根据一些实施例,反射器阵列312可以包括可转向偏转器的一个或多个子组。电可转向偏转器的每个子组可以包括一个或多个偏转器单元,诸如反射器单元314。例如,每个可操纵偏转器单元314可以包括MEMS反射镜、反射表面组件和机电致动器中的至少一个。在一个实施例中,每个反射器单元314可以由单独的处理器(未示出)单独地控制,使得其可以沿着一个或两个单独的轴线中的每一个朝向特定角度倾斜。可替代地,反射器阵列312可以与公共控制器(例如,处理器118)相关联,该公共控制器被配置为同步地管理反射器单元314的移动,使得反射器单元314的至少一部分将同时枢转并且指向大致相同的方向。
另外,至少一个处理器118可以选择用于出站路径的至少一个反射器单元314(在下文中称为“TX反射镜”)和用于返回路径的一组反射器单元314(在下文中称为“RX反射镜”)。与本公开一致,增加TX反射镜的数量可以增加反射光子束扩展。另外,减少RX反射镜的数量可以使接收场变窄并补偿环境光条件(例如云、雨、雾、极热和其他环境条件)并提高信噪比。此外,如上所述,发射光束通常比反射光的片窄,因此可以被偏转阵列的一小部分完全偏转。此外,可以阻挡从用于传输的偏转阵列的部分(例如,TX反射镜)反射的光到达传感器116,从而减少激光雷达系统100的内部反射对系统操作的影响。另外,至少一个处理器118可以枢转一个或多个反射器单元314以克服由于例如热和增益效应引起的机械损伤和漂移。在示例中,一个或多个反射器单元314可以与预期不同地移动(频率、速率、速度等),并且可以通过适当地电控制偏转器来补偿它们的移动。
图3D示出了机械扫描激光雷达系统100的环境的示例性激光雷达系统100。在该示例中,激光雷达系统100可以包括用于使壳体200围绕激光雷达系统100的轴旋转的马达或其他机构。可替代地,马达(或其他机构)可以机械地旋转激光雷达系统100的刚性结构,一个或多个光源112和一个或多个传感器116安装在该刚性结构上,从而扫描环境。如上所述,投射单元102可以包括被配置为投射光发射的至少一个光源112。投射的光发射可以沿着向外路径朝向视场120行进。具体地,当投射光204朝向可选的光学窗口124行进时,投射的光发射可以由偏转器114A通过出口孔314反射。反射光发射可以沿着返回路径从物体208朝向感测单元106行进。例如,当反射光206朝向感测单元106行进时,反射光206可以被偏转器114B反射。本领域技术人员将理解,具有用于同步旋转多个光源或多个传感器的旋转机构的激光雷达系统可以使用该同步旋转,而不是(或除了)转向内部光偏转器。
在对视场120的扫描是机械的实施例中,投射的光发射可以被引导到出口孔314,出口孔314是将投射单元102与激光雷达系统100的其他部分分离的壁316的一部分。在一些示例中,壁316可以由涂覆有反射材料的透明材料(例如,玻璃)形成,以形成偏转器114B。在该示例中,出口孔314可以对应于壁316的未被反射材料涂覆的部分。附加地或替代地,出口孔314可以包括壁316中的孔或切口。反射光206可以被偏转器114B反射并且被引导朝向感测单元106的入口孔318。在一些示例中,入口孔318可以包括过滤窗口,该过滤窗口被配置为允许特定波长范围内的波长进入感测单元106并衰减其他波长。物体208从视场120的反射可以由偏转器114B反射并撞击传感器116。通过将反射光206的若干属性与投射光204进行比较,可以确定物体208的至少一个方面。例如,通过比较光源112发射投射光204的时间和传感器116接收反射光206的时间,可以确定物体208和激光雷达系统100之间的距离。在一些示例中,还可以确定物体208的其他方面,诸如形状、颜色、材料等。
在一些示例中,激光雷达系统100(或其一部分,包括至少一个光源112和至少一个传感器116)可以围绕至少一个轴旋转,以确定激光雷达系统100的周围环境的三维地图。例如,激光雷达系统100可以如箭头320所示围绕基本垂直的轴旋转,以便扫描视场120。尽管图3D示出了激光雷达系统100围绕轴顺时针旋转,如箭头320所示,但是附加地或替代地,激光雷达系统100可以在逆时针方向上旋转。在一些示例中,激光雷达系统100可以围绕垂直轴旋转360度。在其它示例中,激光雷达系统100可以沿着小于激光雷达系统100的360度的扇区来回旋转。例如,激光雷达系统100可以安装在围绕轴线来回摆动而不进行完整旋转的平台上。
感测单元
图4A-4E描绘了感测单元106的各种配置及其在激光雷达系统100中的作用。具体地,图4A是示出具有检测器阵列的示例感测单元106的图,图4B是示出使用二维传感器的单站扫描的图,图4C是示出二维传感器116的示例的图,图4D是示出与传感器116相关联的透镜阵列的图,并且图4E包括示出透镜结构的三个图。本领域技术人员将理解,感测单元106的所描绘的配置仅是示例性的,并且可以具有与本公开的原理一致的许多替代变型和修改。
图4A示出了具有检测器阵列400的感测单元106的示例。在该示例中,至少一个传感器116包括检测器阵列400。激光雷达系统100被配置为检测视场120中位于距激光雷达系统100不同距离(可以是几米或更多)处的物体(例如,自行车208A和云208B)。物体208可以是固体物体(例如道路、树、汽车、人)、流体物体(例如雾、水、大气颗粒)或另一种类型的物体(例如灰尘或粉末状照明物体)。当从光源112发射的光子撞击物体208时,它们反射、折射或被吸收。通常,如图所示,仅从物体208A反射的光子的一部分进入可选的光学窗口124。由于距离的每个~15cm变化导致1ns的行进时间差(因为光子以光速行进到物体208和从物体208行进),因此不同光子撞击不同物体的行进时间之间的时间差可以通过具有足够快响应的飞行时间传感器来检测。
传感器116包括用于检测从视场120反射回的光子脉冲的光子的多个检测元件402。检测元件可以全部被包括在检测器阵列400中,检测器阵列400可以具有矩形布置(例如,如图所示)或任何其他布置。检测元件402可以彼此同时或部分同时操作。具体地,每个检测元件402可以针对每个采样持续时间(例如,每1纳秒)发出检测信息。在一个示例中,检测器阵列400可以是SiPM(硅光电倍增管),其是由公共硅基板上的单光子雪崩二极管(SPAD,用作检测元件402)阵列构建的固态单光子敏感器件。也可以使用来自其他非硅材料的类似光电倍增管。尽管SiPM器件以数字/切换模式工作,但是SiPM是模拟器件,因为所有微单元都是并行读取的,使得可以在从单个光子到由不同SPAD检测的数百和数千个光子的动态范围内生成信号。如上所述,可以实现多于一种类型的传感器(例如,SiPM和APD)。可能地,感测单元106可以包括集成到SiPM阵列中的至少一个APD和/或位于单独或公共硅衬底上的SiPM旁边的至少一个APD检测器。
在一个实施例中,检测元件402可以被分组为多个区域404。这些区域是传感器116内(例如,检测器阵列400内)的几何位置或环境,并且可以被成形为不同的形状(例如,如图所示的矩形、正方形、环形等,或任何其他形状)。虽然并非所有单独的检测器(其被包括在区域404的几何区域内)都必须属于该区域,但是在大多数情况下,它们将不属于覆盖传感器310的其他区域的其他区域404,除非在区域之间的接缝中期望一些重叠。如图4A所示,区域可以是非重叠区域404,但是替代地,它们可以重叠。每个区域可以与和该区域相关联的区域输出电路406相关联。区域输出电路406可以提供检测元件402的对应组的区域输出信号。例如,区域输出电路406可以是求和电路,但是可以采用将单独检测器的输出组合成酉(unitary)输出(无论是标量、矢量还是任何其他格式)的其他形式。可选地,每个区域404是单个SiPM,但这不一定是这样,并且区域可以是单个SiPM的子部分、一组若干SiPM或甚至是不同类型的检测器的组合。
在所示示例中,处理单元108位于主机210(例如,在车辆110内)的分离的壳体200B处(在主机210内或外部),并且感测单元106可以包括用于分析反射光的专用处理器408。可替代地,处理单元108可以用于分析反射光206。注意,激光雷达系统100可以以除了所示示例之外的其他方式实现在多个壳体中。例如,光偏转器114可以位于与投射单元102和/或感测模块106不同的壳体中。在一个实施例中,激光雷达系统100可以包括以不同方式彼此连接的多个壳体,例如:电线连接、无线连接(例如,RF连接)、光纤电缆以及上述的任何组合。
在一个实施例中,分析反射光206可以包括基于不同区域的各个检测器的输出来确定反射光206的飞行时间。可选地,处理器408可以被配置为基于输出信号的多个区域来确定反射光206的飞行时间。除了飞行时间之外,处理单元108可以分析反射光206以确定整个返回脉冲上的平均功率,并且可以在返回脉冲周期(“脉冲形状”)上确定光子分布/信号。在所示示例中,任何检测元件402的输出可以不直接发送到处理器408,而是在被传递到处理器408之前与区域404的其他检测器的信号组合(例如,求和)。然而,这仅是示例,并且传感器116的电路可以经由其他路线(不是经由区域输出电路406)将信息从检测元件402发送到处理器408。
图4B是示出被配置为使用二维传感器116扫描激光雷达系统100的环境的激光雷达系统100的图。在图4B的实例中,传感器116是4×6个检测器410(也称为“像素”)的矩阵。在一个实施例中,像素大小可为约1×1mm。传感器116是二维的,因为它在两个非平行轴(例如,正交轴,如所示示例中所例示的)上具有多于一组(例如,行、列)检测器410。传感器116中的检测器410的数目可在不同实施方案之间变化,例如取决于所要分辨率、信噪比(SNR)、所要检测距离等等。例如,传感器116可以具有5到5,000个像素之间的任何值。在另一实例(图中未展示)中,传感器116可为一维矩阵(例如,1×8像素)。
注意,每个检测器410可以包括多个检测元件402,诸如雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)、雪崩光电二极管(APD)和单光子雪崩二极管(SPAD)的组合或测量从激光脉冲发射事件到接收事件的飞行时间和接收光子的强度的检测元件。例如,每个检测器410可以包括20至5,000个SPAD之间的任何值。每个检测器410中的检测元件402的输出可以被求和、平均或以其他方式组合以提供统一的像素输出。
在所示示例中,感测单元106可以包括二维传感器116(或多个二维传感器116),其视场小于激光雷达系统100的视场120。在该讨论中,视场120(可以由激光雷达系统100扫描而不在任何方向上移动、旋转或滚动的整个视场)被表示为“第一FOV 412”,并且传感器116的较小FOV被表示为“第二FOV 414”(可互换地称为“瞬时FOV”)。取决于激光雷达系统100的具体用途,第二FOV 414相对于第一FOV 412的覆盖区域可以不同,并且可以例如在0.5%和50%之间。在一个示例中,第二FOV 414可以在垂直维度上伸长约0.05°和1°之间。即使激光雷达系统100包括多于一个二维传感器116,传感器阵列的组合视场仍然可以小于第一FOV412,例如,小于至少5倍、至少10倍、至少20倍或至少50倍。
为了覆盖第一FOV 412,扫描单元106可以在不同时间将从环境的不同部分到达的光子引导到传感器116。在所示的单站配置中,与将投射光204朝向视场120引导一起并且当至少一个光偏转器114位于瞬时位置时,扫描单元106还可以将反射光206引导到传感器116。通常,在扫描第一FOV 412期间的每个时刻,由激光雷达系统100发射的光束覆盖大于第二FOV 414的环境的一部分(在角度开口中),并且包括扫描单元104和传感器116从其收集光的环境的一部分。
图4C是说明二维传感器116的实例的图式。在该实施例中,传感器116是8×5个检测器410的矩阵,并且每个检测器410包括多个检测元件402。在一个示例中,检测器410A位于传感器116的第二行(表示为“R2”)和第三列(表示为“C3”)中,传感器116包括4×3个检测元件402的矩阵。在另一示例中,位于传感器116的第四行(表示为“R4”)和第六列(表示为“C6”)中的检测器410B包括3×3个检测元件402的矩阵。因此,每个检测器410中的检测元件402的数量可以是恒定的,或者可以变化,并且公共阵列中的不同检测器410可以具有不同数量的检测元件402。每个检测器410中的所有检测元件402的输出可以被求和、平均或以其他方式组合以提供单个像素输出值。注意,虽然图4C的示例中的检测器410以矩形矩阵(直线行和直线列)布置,但是也可以使用其他布置,例如圆形布置或蜂窝布置。
根据一些实施例,来自每个检测器410的测量可以使得能够确定从光脉冲发射事件到接收事件的飞行时间和接收光子的强度。接收事件可以是从物体208反射的光脉冲的结果。飞行时间可以是表示反射物体到可选光学窗口124的距离的时间戳值。飞行时间值可以通过光子检测和计数方法来实现,例如时间相关单光子计数器(TCSPC)、用于光子检测的模拟方法,例如信号积分和鉴定(经由模数转换器或普通比较器)或其他。
在一些实施例中并且参考图4B,在扫描周期期间,至少一个光偏转器114的每个瞬时位置可以与视场120的特定部分122相关联。传感器116的设计实现来自视场120的单个部分的反射光与多个检测器410之间的关联。因此,激光雷达系统的扫描分辨率可以由瞬时位置的数量(每个扫描周期)乘以传感器116中的检测器410的数量来表示。来自每个检测器410(即,每个像素)的信息表示基本数据元素,从该基本数据元素构建三维空间中的捕获视场。这可以包括例如具有空间位置和相关联的反射强度值的点云表示的基本元素。在一个实施例中,由多个检测器410检测到的来自视场120的单个部分的反射可以从位于视场120的单个部分中的不同物体返回。例如,视场120的单个部分在远场处可以大于50×50cm,其可以容易地包括彼此部分覆盖的两个、三个或更多个物体。
图4D是根据当前公开的主题的示例的传感器116的一部分的横切图。传感器116的所示部分包括检测器阵列400的一部分,检测器阵列400包括四个检测元件402(例如,四个SPAD、四个APD)。检测器阵列400可以是以互补金属氧化物半导体(CMOS)实现的光电检测器传感器。检测元件402中的每一个具有敏感区域,该敏感区域定位在衬底周围内。虽然不一定如此,但是传感器116可以用在具有窄视场的单站LiDAR系统中(例如,因为扫描单元104在不同时间扫描视场的不同部分)。入射光束的窄视场(如果实现的话)消除了离焦成像的问题。如图4D中例示的,传感器116可以包括多个透镜422(例如,微透镜),每个透镜422可以将入射光朝向不同的检测元件402(例如,朝向检测元件402的有效区域)引导,这在离焦成像不是问题时可以是可用的。透镜422可以用于增加检测器阵列400的光学填充因子和灵敏度,因为到达传感器116的大部分光可以朝向检测元件402的有效区域偏转。
如图4D中例示的,检测器阵列400可以包括通过各种方法(例如,注入)构建到硅衬底中的若干层,从而产生敏感区域、金属层的接触元件和隔离元件(例如,浅沟槽注入STI、保护环、光学沟槽等)。敏感区域可以是CMOS检测器中的体积元件,其使得能够在给定足够的电压偏置被施加到设备的情况下将入射光子光学转换成电流。在APD/SPAD的情况下,敏感区域将是电场的组合,所述电场将由光子吸收产生的电子拉向倍增区域,在所述倍增区域中光子诱导的电子被放大,从而产生倍增电子的击穿雪崩。
前侧照明检测器(例如,如图4D所示)在与驻留在半导体(硅)顶部上的金属层相同的一侧具有输入光学端口。需要金属层来实现每个单独的光电检测器元件(例如,阳极和阴极)与各种元件的电连接,例如:偏置电压、猝熄(quenching)/镇流器(ballast)元件以及公共阵列中的其他光电检测器。光子通过其照射在检测器敏感区域上的光学端口由穿过金属层的通道组成。注意,来自一些方向的光通过该通道可以被一个或多个金属层(例如,金属层ML6,如图4D中最左边的检测器元件402所示)阻挡。这种阻挡降低了检测器的总光学光吸收效率。
图4E示出了根据当前公开的主题的示例的三个检测元件402,每个检测元件402具有相关联的透镜422。图4E的三个检测元件中的每一个(表示为402(1)、402(2)和402(3))示出了可以与传感器116的一个或多个检测元件402相关联地实现的透镜配置。注意,也可以实现这些透镜配置的组合。
在关于检测元件402(1)示出的透镜配置中,相关联的透镜422的焦点可以位于半导体表面上方。可选地,检测元件的不同金属层中的开口可以具有与由相关联的透镜422生成的聚焦光锥对准的不同尺寸。这样的结构可以提高阵列400作为整个设备的信噪比和分辨率。大的金属层对于电力和接地屏蔽的输送可能是重要的。该方法可以是有用的,例如,对于具有窄视场的单站LiDAR设计,其中入射光束由平行射线组成,并且成像焦点对检测到的信号没有任何影响。
在关于检测元件402(2)示出的透镜配置中,可以通过识别最佳点来提高检测元件402的光子检测效率。具体地,以CMOS实现的光电探测器可以在敏感体积区域中具有最佳点,其中光子产生雪崩效应的概率最高。因此,透镜422的焦点可以位于敏感体积区域内的最佳点位置处,如检测元件402(2)所示。透镜形状和距焦点的距离可以考虑激光束沿着从透镜到掩埋在半导体材料中的敏感最佳点位置的路径通过的所有元件的折射率。
在关于图4E右侧的检测元件示出的透镜配置中,可以使用漫射器(diffuser)和反射元件来提高半导体材料中的光子吸收效率。具体地,近IR波长需要硅材料的显著长的路径,以便实现吸收行进通过的光子的高概率。在典型的透镜配置中,光子可以穿过敏感区域并且可以不被吸收到可检测的电子中。提高光子产生电子的可能性的长吸收路径使得敏感区域的尺寸朝向用典型的铸造工艺制造的CMOS器件的不太实用的尺寸(例如数十μm)。图4E中最右边的检测器元件展示了用于处理入射光子的技术。相关联的透镜422将入射光聚焦到漫射器元件424上。在一个实施例中,光传感器116还可以包括位于间隙中远离至少一些检测器的外表面的漫射器。例如,漫射器424可以使光束朝向敏感区域和反射光学沟槽(trench)426侧向(例如,尽可能垂直)转向。漫射器位于焦点处、焦点上方或焦点下方。在该实施例中,入射光可以聚焦在漫射器元件所在的特定位置上。可选地,检测器元件422被设计成光学地避开光子感应电子可能丢失并降低有效检测效率的无源区域。反射光学沟槽426(或其它形式的光学反射结构)致使光子跨越敏感区域来回反弹,因此增加检测的可能性。理想地,光子将无限地被捕获在由敏感区域和反射沟槽组成的腔中,直到光子被吸收并产生电子/空穴对。
与本公开一致,为要被吸收的撞击光子创建了长路径,并且有助于更高的检测概率。还可以在检测元件422中实现光学沟槽,用于减少在雪崩期间产生的寄生光子的串扰效应,该寄生光子可能泄漏到其他检测器并导致错误检测事件。根据一些实施例,可以优化光电检测器阵列,使得利用更高产量的接收信号,这意味着接收到尽可能多的接收信号并且由于信号的内部劣化而丢失更少的信号。光检测器阵列可以通过以下来改进:(a)在半导体表面上方的位置处移动焦点,可选地通过适当地设计衬底上方的金属层;(b)将焦点转向到衬底的最敏感/响应区域(或“最佳点”),以及(c)在衬底上方添加漫射器以将信号转向到“最佳点”和/或将反射材料添加到沟槽,使得偏转的信号被反射回“最佳点”。
虽然在一些透镜配置中,透镜422可以被定位成使得其焦点在对应的检测元件402的中心上方,但是应注意,这不一定是这样。在其他透镜配置中,透镜422的焦点相对于对应检测元件402的中心的位置基于相应检测元件402距检测阵列400的中心的距离而移位。这在相对较大的检测阵列400中可能是有用的,其中远离中心的检测器元件以逐渐离轴的角度接收光。移动焦点的位置(例如,朝向检测阵列400的中心)允许校正入射角。具体地,移动焦点的位置(例如,朝向检测阵列400的中心)允许在对所有检测元件使用基本相同的透镜422的同时校正入射角,这些检测元件相对于检测器的表面以相同的角度定位。
当使用仅覆盖视场的一小部分的相对小的传感器116时,将透镜阵列422添加到检测元件阵列402可能是有用的,因为在这种情况下,来自场景的反射信号从基本上相同的角度到达检测器阵列400,并且因此容易将所有光聚焦到各个检测器上。还应注意,在一个实施例中,透镜422可以用于激光雷达系统100中,以牺牲空间独特性来优先考虑整个阵列400的检测的总体概率(防止光子在检测器/子检测器之间的死区中被“浪费”)。该实施例与诸如CMOS RGB相机的现有技术实现相反,现有技术实现优先考虑空间独特性(即,不允许在检测元件A的方向上传播的光被透镜引导朝向检测元件B,即,“渗出(bleed)”到阵列的另一个检测元件)。可选地,传感器116包括透镜422的阵列,每个透镜422与对应的检测元件402相关,而透镜422中的至少一个使传播到第一检测元件402的光朝向第二检测元件402偏转(从而它可以增加整个阵列的总检测概率)。
具体地,与本公开的一些实施例一致,光传感器116可以包括光检测器阵列(例如,检测器阵列400),每个光检测器(例如,检测器410)被配置为当光穿过相应检测器的外表面时使电流流动。另外,光传感器116可以包括至少一个微透镜,该至少一个微透镜被配置为将光朝向光检测器阵列引导,该至少一个微透镜具有焦点。光传感器116还可以包括至少一个导电材料层,该至少一个导电材料层插入在至少一个微透镜和光检测器阵列之间并且在其中具有间隙以允许光从至少一个微透镜传递到阵列,该至少一个层的尺寸被设计成保持至少一个微透镜和阵列之间的空间,以使焦平面位于间隙中,在与光检测器阵列的检测表面间隔开的位置处。
在相关实施例中,每个检测器可以包括多个单光子雪崩二极管(SPAD)或多个雪崩光电二极管(APD)。导电材料可以是多层金属收缩,并且至少一层导电材料可以电连接到阵列中的检测器。在一个示例中,至少一个导电材料层包括多个层。另外,间隙可以被成形为从至少一个微透镜朝向焦点会聚,并且从焦点的区域朝向阵列发散。在其他实施例中,光传感器116还可以包括与每个光电检测器相邻的至少一个反射器。在一个实施例中,多个微透镜可以布置在透镜阵列中,并且多个检测器可以布置在检测器阵列中。在另一实施例中,多个微透镜可以包括被配置为将光投射到阵列中的多个检测器的单个透镜。
通过非限制性示例的方式参考图2E、2F和2G,应注意,系统100的一个或多个传感器116可以从扫描偏转器114接收光或直接从FOV接收光而无需扫描。即使来自整个FOV的光同时到达至少一个传感器116,在一些实施方案中,一或多个传感器116也可在任何给定时间仅取样FOV的部分以用于检测输出。例如,如果投射单元102的照明在不同时间照明FOV的不同部分(无论是使用偏转器114和/或通过在不同时间激活不同光源112),则光可以到达感测单元106的所有像素或传感器116,并且只有预期检测LIDAR照明的像素/传感器可以主动收集用于检测输出的数据。这样,其余的像素/传感器不会不必要地收集环境噪声。参考扫描-向外或向内方向-注意,可以实现基本上不同的扫描尺度。例如,在一些实施方式中,扫描区域可以覆盖FOV的1‰或0.1‰,而在其他实施方式中,扫描区域可以覆盖FOV的10%或25%。当然,也可以实现FOV值的所有其他相对部分。
处理单元
图5A-5C描绘了根据本公开的一些实施例的处理单元108的不同功能。具体地,图5A是示出用于视场的单个部分的单个帧时间中的发射模式的图,图5B是示出用于整个视场的单个帧时间中的发射方案的图。图5C是示出在单个扫描周期期间朝向视场投射的实际光发射的图。
图5A示出了与至少一个光偏转器114的瞬时位置相关联的视场120的单个部分122的单个帧时间中的发射模式的四个示例。与本公开的实施例一致,处理单元108可以以使得光通量能够在对视场120进行扫描时变化的方式来控制至少一个光源112和光偏转器114(或协调至少一个光源112和至少一个光偏转器114的操作)。与其他实施例一致,处理单元108可以仅控制至少一个光源112,并且光偏转器114可以以固定的预定义图案移动或枢转。
图5A中的图A-D描绘了随时间朝向视场120的单个部分122发射的光的功率。在图A中,处理器118可以控制光源112的操作,使得在扫描视场120期间,初始光发射朝向视场120的部分122投射。当投射单元102包括脉冲光光源时,初始光发射可以包括一个或多个初始脉冲(也称为“导频脉冲”)。处理单元108可以从传感器116接收关于与初始光发射相关联的反射的导频信息。在一个实施例中,导频信息可以基于一个或多个检测器(例如,一个或多个SPAD、一个或多个APD、一个或多个SiPM等)的输出被表示为单个信号,或者基于多个检测器的输出被表示为多个信号。在一个示例中,导频信息可以包括模拟和/或数字信息。在另一示例中,导频信息可以包括单个值和/或多个值(例如,针对分段的不同时间和/或部分)。
基于关于与初始光发射相关联的反射的信息,处理单元108可以被配置为确定要朝向视场120的部分122投射的后续光发射的类型。可以在同一扫描周期期间(即,在同一帧中)或在后续扫描周期中(即,在后续帧中)进行针对视场120的特定部分的所确定的后续光发射。
在图B中,处理器118可以控制光源112的操作,使得在扫描视场120期间,不同强度的光脉冲朝向视场120的单个部分122投射。在一个实施例中,激光雷达系统100可操作以生成一种或多种不同类型的深度图,诸如以下类型中的任何一种或多种:点云模型、多边形网格、深度图像(保持图像或2D阵列的每个像素的深度信息)或场景的任何其他类型的3D模型。深度图序列可以是时间序列,其中在不同时间生成不同深度图。可以在对应的后续帧时间的持续时间内生成与扫描周期(可互换地称为“帧”)相关联的序列的每个深度图。在一个示例中,典型的帧时间可以持续小于一秒。在一些实施例中,激光雷达系统100可以具有固定的帧速率(例如,每秒10帧、每秒25帧、每秒50帧),或者帧速率可以是动态的。在其他实施例中,不同帧的帧时间在序列上可以不相同。例如,激光雷达系统100可以实现每秒10帧的速率,其包括在100毫秒(平均值)内生成第一深度图,在92毫秒内生成第二帧,在142毫秒处生成第三帧,等等。
在图C中,处理器118可以控制光源112的操作,使得在扫描视场120期间,与不同持续时间相关联的光脉冲朝向视场120的单个部分122投射。在一个实施例中,激光雷达系统100可以可操作以在每个帧中生成不同数量的脉冲。脉冲的数量可以在0至32个脉冲(例如,1、5、12、28或更多个脉冲)之间变化,并且可以基于从先前发射导出的信息。光脉冲之间的时间可以取决于期望的检测范围,并且可以在500ns和5000ns之间。在一个示例中,处理单元108可以从传感器116接收关于与每个光脉冲相关联的反射的信息。基于该信息(或信息的缺乏),处理单元108可以确定是否需要附加的光脉冲。注意,图A-D中的处理时间和发射时间的持续时间不是按比例的。具体地,处理时间可以显著长于发射时间。在图D中,投射单元102可以包括连续波光源。在一个实施例中,初始光发射可以包括发射光的时间段,并且后续发射可以是初始发射的延续,或者可以存在不连续性。在一个实施例中,连续发射的强度可以随时间变化。
与本公开的一些实施例一致,可以针对视场120的每个部分确定发射模式。换句话说,处理器118可以控制光的发射以允许视场120的不同部分的照明的区分。在一个示例中,处理器118可以基于对来自相同扫描周期的反射光(例如,初始发射)的检测来确定视场120的单个部分122的发射模式,这使得激光雷达系统100极其动态。在另一示例中,处理器118可以基于对来自先前扫描周期的反射光的检测来确定视场120的单个部分122的发射模式。后续发射的模式的差异可以由确定后续发射的光源参数的不同值引起,诸如以下中的任何一个:
a.后续发射的总能量。
b.后续发射的能量分布。
c.每帧的光脉冲重复次数。
d.光调制特性,例如持续时间、速率、峰值、平均功率和脉冲形状。
e.后续发射的波特性,诸如偏振、波长等。
与本公开一致,后续发射的区分可以用于不同的用途。在一个示例中,可以限制视场120的考虑安全性的一个部分中的发射功率水平,同时对于视场120的其他部分发射更高的功率水平(从而改善信噪比和检测范围)。这与眼睛安全相关,但也可能与皮肤安全、光学系统的安全、敏感材料的安全等相关。在另一示例中,可以将更多能量引导朝向视场120的将具有更大用途的部分(例如,感兴趣区域、更远距离的目标、低反射目标等),同时基于来自相同帧或先前帧的检测结果将照明能量限制到视场120的其他部分。注意,处理单元108可以在单个扫描帧时间内处理来自单个瞬时视场的检测到的信号若干次;例如,可以在每个脉冲发射之后或在多个脉冲发射之后确定后续发射。
图5B示出了视场120的单个帧时间中的发射方案的三个示例。与本公开的实施例一致,至少一个处理单元108可以使用所获得的信息来动态地调整激光雷达系统100的操作模式和/或确定激光雷达系统100的特定部件的参数值。所获得的信息可以根据处理在视场120中捕获的数据来确定,或者(直接或间接地)从主机210接收。处理单元108可以使用所获得的信息来确定用于扫描视场120的不同部分的扫描方案。所获得的信息可以包括当前光条件、当前天气条件、主车辆的当前驾驶环境、主车辆的当前位置、主车辆的当前轨迹、主车辆周围的道路的当前地形、或通过光反射可检测的任何其他条件或物体。在一些实施例中,所确定的扫描方案可以包括以下中的至少一个:(a)指定视场120内的要被主动扫描的部分作为扫描周期的一部分,(b)用于投射单元102的投射计划,其定义视场120的不同部分处的光发射轮廓;(c)用于扫描单元104的偏转计划,其限定例如偏转方向、频率并指定反射器阵列内的空闲元件;以及(d)用于感测单元106的检测计划,其定义检测器灵敏度或响应度模式。
另外,处理单元108可以至少部分地通过获得视场120内的至少一个感兴趣区域和视场120内的至少一个非感兴趣区域的标识来确定扫描方案。在一些实施例中,处理单元108可以至少部分地通过获得视场120内的至少一个高感兴趣区域和视场120内的至少一个较低感兴趣区域的标识来确定扫描方案。视场120内的至少一个感兴趣区域的识别可以例如根据处理在视场120中捕获的数据、基于另一传感器(例如,相机、GPS)的数据、从主机210(直接或间接)接收的数据、或上述的任何组合来确定。在一些实施例中,至少一个感兴趣区域的识别可以包括识别视场120内对监测重要的部分、区域、区段、像素或物体。可以被识别为感兴趣区域的区域的示例可以包括人行横道、移动物体、人、附近车辆或可能有助于车辆导航的任何其他环境条件或物体。可以被识别为非感兴趣(或较低感兴趣)区域的区域的示例可以是静态(非移动)的远处建筑物、天际线、地平线上方的区域和视场中的物体。在获得视场120内的至少一个感兴趣区域的标识时,处理单元108可以确定扫描方案或改变现有的扫描方案。进一步确定或改变光源参数(如上所述),处理单元108可以基于至少一个感兴趣区域的识别来分配检测器资源。在一个实例中,为了减少噪声,处理单元108可激活其中预期感兴趣区域的检测器410且停用其中预期非感兴趣区域的检测器410。在另一示例中,处理单元108可以改变检测器灵敏度,例如,增加用于反射功率低的远程检测的传感器灵敏度。
图5B中的图A-C描绘了用于扫描视场120的不同扫描方案的示例。视场120中的每个正方形表示与至少一个光偏转器114的瞬时位置相关联的不同部分122。图例500详述了由正方形的填充图案表示的光通量的水平。图A描绘了第一扫描方案,其中所有部分具有相同的重要性/优先级,并且默认光通量被分配给它们。第一扫描方案可以在启动阶段中使用,或者与另一扫描方案周期性地交错,以监测整个视场中的意外/新物体。在一个示例中,第一扫描方案中的光源参数可以被配置为以恒定幅度生成光脉冲。图B描绘了第二扫描方案,其中视场120的一部分被分配有高光通量,而视场120的其余部分被分配有默认光通量和低光通量。视场120的最非感兴趣的部分可以被分配有低光通量。图C描绘了第三扫描方案,其中在视场120中识别紧凑型车辆和公共汽车(参见轮廓)。在该扫描方案中,可以用高功率跟踪车辆和公共汽车的边缘,并且可以为车辆和公共汽车的中心质量分配较少的光通量(或没有光通量)。这种光通量分配使得能够将更多的光学预算集中在所识别的物体的边缘上,而将更少的光学预算集中在具有较不重要的物体的中心上。
图5C示出了在单个扫描周期期间朝向视场120的光发射。在所描绘的示例中,视场120由8×9矩阵表示,其中72个单元格中的每一个对应于与至少一个光偏转器114的不同瞬时位置相关联的单独部分122。在该示例性扫描周期中,每个部分包括表示朝向该部分投射的光脉冲的数量的一个或多个白点,并且一些部分包括表示由传感器116检测到的来自该部分的反射光的黑点。如图所示,视场120被分成三个扇区:视场120右侧的扇区I、视场120中间的扇区II、以及视场120左侧的扇区III。在该示例性扫描周期中,扇区I最初被分配有每个部分单个光脉冲;先前被识别为感兴趣区域的扇区II最初被分配有每个部分三个光脉冲;并且扇区III最初每个部分分配有两个光脉冲。同样如图所示,对视场120的扫描揭示了四个物体208:近场(例如,在5米和50米之间)中的两个自由形状物体、中场(例如,在50米和150米之间)中的圆角正方形物体、以及远场(例如,在150米和500米之间)中的三角形物体。虽然图5C的讨论使用脉冲数量作为光通量分配的示例,但是应当注意,对视场的不同部分的光通量分配也可以以其他方式实现,诸如:脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振等。图5C中作为单个扫描周期的光发射的图示说明了激光雷达系统100的不同能力。在第一实施例中,处理器118被配置为使用两个光脉冲来检测第一距离处的第一物体(例如,圆角正方形物体),并且使用三个光脉冲来检测大于第一距离的第二距离处的第二物体(例如,三角形物体)。在第二实施例中,处理器118被配置为将更多的光分配给视场的识别出感兴趣区域的部分。具体地,在本示例中,扇区II被识别为感兴趣区域,并且因此它被分配有三个光脉冲,而视场120的其余部分被分配有两个或更少的光脉冲。在第三实施例中,处理器118被配置为控制光源112,使得仅单个光脉冲朝向图5C中的部分B1、B2和C1投射,尽管它们是每个部分最初分配有两个光脉冲的扇区III的一部分。发生这种情况是因为处理单元108基于第一光脉冲检测到近场中的物体。小于最大脉冲量的分配也可能是其他考虑的结果。例如,在至少一些区域中,检测到第一距离处的物体(例如,近场物体)可以导致减少发射到视场120的该部分的光的总量。
关于激光雷达系统100的不同部件及其相关联的功能的附加细节和示例包括在申请人于2016年12月28日提交的美国专利申请No.15/391,916;申请人于2016年12月29日提交的美国专利申请No.15/393,749;申请人于2016年12月29日提交的美国专利申请No.15/393,285;以及2016年12月29日提交的申请人的美国专利申请No.15/393,593,其全部内容通过引用并入本文。
示例性实施方式:车辆
图6A-6C示出了车辆(例如,车辆110)中的激光雷达系统100的实施方式。上面或下面描述的激光雷达系统100的任何方面可以结合到车辆110中以提供距离感测车辆。具体地,在该示例中,激光雷达系统100将多个扫描单元104和潜在的多个投射单元102集成在单个车辆中。在一个实施例中,车辆可以利用这样的LIDAR系统来改善重叠区域中及其之外的功率、范围和精度,以及FOV的敏感部分(例如,车辆的向前移动方向)中的冗余。如图6A所示,车辆110可以包括用于控制视场120A的扫描的第一处理器118A、用于控制视场120B的扫描的第二处理器118B、以及用于控制扫描两个视场的同步的第三处理器118C。在一个示例中,处理器118C可以是车辆控制器,并且可以在第一处理器118A和第二处理器118B之间具有共享接口。共享接口可以实现中间处理级别的数据交换和组合视场的扫描同步,以便在时域和/或空域空间中形成重叠。在一个实施例中,使用共享接口交换的数据可以是:(a)与重叠视场中和/或其附近的像素相关联的接收信号的飞行时间;(b)激光转向位置状态;(c)视场中物体的检测状态。
图6B示出了视场120A和视场120B之间的重叠区域600。在所描绘的示例中,重叠区域与来自视场120A的24个部分122和来自视场120B的24个部分122相关联。考虑到重叠区域由处理器118A和118B定义和已知,每个处理器可以被设计为限制在重叠区域600中发射的光量,以便符合跨越多个源光的眼睛安全限制,或者出于其他原因,诸如维持光学预算。另外,处理器118A和118B可以通过扫描单元104A和扫描单元104B之间的松散同步和/或通过控制激光传输定时和/或检测电路启用定时来避免由两个光源发射的光之间的干扰。
图6C示出了视场120A和视场120B之间的重叠区域600可以如何用于增加车辆110的检测距离。与本公开一致,可以利用将其标称光发射投射到重叠区域中的两个或更多个光源112来增加有效检测范围。术语“检测范围”可以包括激光雷达系统100可以清楚地检测到物体的距车辆110的近似距离。在一个实施例中,激光雷达系统100的最大检测范围是约300米、约400米或约500米。例如,对于200米的检测范围,即使当物体的反射率可以小于50%(例如,小于20%、小于10%或小于5%)时,激光雷达系统100也可以以超过95%、超过99%、超过99.5%的次数检测到位于距车辆110为200米(或更小)的物体。另外,激光雷达系统100可以具有小于1%的虚警率。在一个实施例中,可以利用从在时域和空域空间中并置的两个光源投射的光来改善SNR,并因此增加位于重叠区域中的物体的服务范围和/或质量。处理器118C可以从视场120A和120B中的反射光提取高级信息。术语“提取信息”可以包括通过本领域普通技术人员已知的任何手段在捕获的图像数据中识别与物体、个人、位置、事件等相关联的信息的任何过程。另外,处理器118A和118B可以共享高级信息,诸如物体(道路界定器、背景、行人、车辆等)和运动矢量,以使得每个处理器能够警告外围区域即将成为感兴趣区域。例如,视场120A中的移动物体可以被确定为很快进入视场120B。
示例实现:监视系统
图6D示出了监视系统中的激光雷达系统100的实施方式。如上所述,激光雷达系统100可以固定到静止物体650,静止物体650可以包括用于旋转激光雷达系统100的壳体以获得更宽的视场的电机或其他机构。可替代地,监控系统可以包括多个LIDAR单元。在图6D所示的示例中,监控系统可以使用单个可旋转激光雷达系统100来获得表示视场120的3D数据并处理3D数据以检测人652、车辆654、环境变化或任何其他形式的安全重要数据。
与本公开的一些实施例一致,可以分析3D数据以监视零售业务过程。在一个实施例中,3D数据可以用于涉及物理安全的零售业务过程(例如,检测:零售设施内的入侵、零售设施内或周围的破坏行为、对安全区域的未授权访问、以及停车场中的汽车周围的可疑行为)。在另一个实施例中,3D数据可以用于公共安全(例如,检测:人们在商店财产上滑倒和跌倒、商店地板上的危险液体溢出或障碍物、商店停车场中的攻击或绑架、防火出口的障碍物以及商店区域中或商店外部的拥挤)。在另一个实施例中,3D数据可以用于商业智能数据收集(例如,跟踪通过商店区域的人以确定例如有多少人经过、他们在哪里居住、他们居住多久、他们的购物习惯与他们的购买习惯相比如何)。
与本公开的其他实施例一致,可以分析3D数据并将其用于交通执法。具体地,3D数据可以用于识别超过法定速度限制或一些其他道路法律要求行驶的车辆。在一个示例中,激光雷达系统100可以用于在红色交通灯正在显示时检测穿过停止线或指定停车地点的车辆。在另一示例中,激光雷达系统100可以用于识别在为公共交通预留的车道中行驶的车辆。在又一示例中,激光雷达系统100可以用于识别在红色上禁止特定转弯的交叉路口中转弯的车辆。
应当注意,虽然上面和下面已经关于控制偏转器的扫描的控制单元描述了各种公开的实施例的示例,但是所公开的实施例的各种特征不限于这样的系统。相反,用于将光分配给激光雷达FOV的各个部分的技术可以适用于其中可能期望或需要将不同量的光引导到视场的不同部分的基于光的感测系统(激光雷达或其他)的类型。在一些情况下,如本文所述,这种光分配技术可以积极地影响检测能力,但是也可以产生其他优点。
还应注意,本发明和权利要求书的各个部分可使用例如“第一”、“第二”、“第三”等术语来指代各种组件或组件的部分(例如,光源、传感器、传感器像素、视场部分、视场像素等)。这些术语仅用于促进对各种公开的实施例的描述,并且不旨在限制或指示与其他实施例中的类似命名的元件或组件的任何必要的相关性。例如,在本公开的一个部分中的一个描述的实施例中描述为与“第一传感器”相关联的特性可以与或可以不与本公开的不同部分中描述的不同实施例的“第一传感器”相关联。
注意,激光雷达系统100或其任何组件可以与下面公开的任何特定实施例和方法一起使用。然而,下面公开的特定实施例和方法不一定限于激光雷达系统100,并且可以可能地在其他系统中或由其他系统(诸如但不限于其他激光雷达系统、其他电光系统、其他光学系统等-无论哪个适用)实现。此外,虽然相对于示例性的基于车辆的LIDAR平台描述了系统100,但是系统100、其任何组件和本文描述的任何过程可以适用于设置在其他平台类型上的LIDAR系统。同样,下面公开的实施例和过程可以在盖子系统(或其他系统,诸如其他电光系统等)上或由盖子系统(或其他系统,诸如其他电光系统等)实现,盖子系统安装在设置在除车辆之外的平台上的系统上,或者甚至与任何特定平台无关。
生成可变密度点云
与本公开一致的激光雷达系统可以包括用于扫描激光雷达系统的环境的光偏转器。扫描可以通过移动光偏转器以使发射光在不同方向上朝向视场的不同部分偏转来发生。激光雷达系统可以通过检测从这些物体反射的光来确定视场中物体的位置。然而,反射光可以是发射光的一小部分。为了获得由激光雷达系统检测到的光与来自“真实”物体(与灰尘或雾相反)的反射而不是噪声(例如,阳光)相关联的置信度,激光雷达系统可以在照射视场的一部分时使用光脉冲序列。如果反射光包括与发射光脉冲序列相关的一系列脉冲,则反射光与“真实”物体相关联的置信度可以增加。当反射光的置信度水平超过阈值时,常规LIDAR系统可以认为物体是“真实的”(即,不是噪声)并生成单点云数据点。以下实施例提供了改进,使得激光雷达系统可以在置信度水平高时生成多个点云数据点。例如,由于光偏转器的旋转,被照明的确切位置(在视场的部分内)可以随时间改变。虽然在一系列脉冲的时间尺度上采样的点之间的角距离可能很小,但它不是零。点云中添加的点可能在统计上相关(例如,由于光学重叠),但是与常规LIDAR系统的固定点分辨率相比,仍然可以为用户提供附加数据。换句话说,所公开的系统可以生成具有可变点分辨率的动态密度点云。
图7是示出用于扫描视场120的激光雷达系统100的图。在所示的配置中,投射单元102包括至少一个光源112,扫描单元104包括至少一个光偏转器114,扫描单元106包括至少一个传感器116,并且处理单元108包括至少一个处理器118。应当理解,在整个本公开中,术语“光源”、“偏转器”、“传感器”和“处理器”用作“至少一个光源”、“至少一个偏转器”、“至少一个传感器”和“至少一个处理器”的简写。如图所示,激光雷达系统100使用投射光700扫描视场120,并将反射光702传送到传感器116以检测视场120中的物体。在所描绘的配置中,投射光700可以包括出站光束,并且反射光702可以包括入站光束。出射光束和入射光束可以穿过至少一个光学组件。此外,出站光可以穿过光学窗口(未示出),并且入站光束可以穿过相同的光学窗口。然而,在上面讨论的其他配置中,投射光700和反射光702可以穿过不同的光路。具体地,在其他配置中,激光雷达系统100可以具有双静态配置,其中至少一个光偏转器114包括两个光偏转器。例如,两个光偏转器可以包括用于出射光的第一光偏转器和用于入射光的第二光偏转器。图2A中描绘了这些配置的示例。在一些实施例中,两个光偏转器可以与不同的技术相关联(例如,第一光偏转器可以是2×1维反射镜,并且第二光偏转器可以是焦平面阵列)。
在一个实施例中,光源112可以发射多个光突发,其中多个光突发中的每一个包括多个光脉冲。术语“光脉冲”是指在一段时间内改变强度的光。强度可能在短时间内急剧变化。由光源112生成的光脉冲的脉冲宽度(例如,半峰全宽)可以变化。在一些情况下,脉冲宽度可以在纳秒范围内。例如,光源112可以产生脉冲宽度小于一纳秒的光脉冲,例如高达十分之一纳秒,在0.1纳秒和10纳秒之间,等等。光源112可以适于连续地产生具有固定间隙或可变间隙的光脉冲。另外,光源112可以将多个光脉冲分组以形成单个光突发。术语“光突发”是指一系列连续的光脉冲。根据本公开生成的光突发可以包括任何数量的光脉冲。光突发可以被表征为使得两个连续光脉冲之间的持续时间(在本文中被称为突发内间隙)不同于光突发之间的持续时间(在本文中被称为突发间间隙)。通常,突发间间隙可以大于突发内间隙。例如,突发间间隙可以比突发内间隙大十倍以上、比突发内间隙大五十倍以上、比突发内间隙大一百倍以上等。在一个实施例中,激光雷达系统100可以控制光源112,使得多个光突发中的至少一些可以分开第一增量(上面讨论为突发间间隙),并且多个光脉冲可以分开比第一扫描增量短至少10倍的第二增量(上面讨论为突发内间隙)。在第一示例中,第一增量可以在~100ns和~2s之间,并且第二增量可以在~10ns和~100ns之间。在第二示例中,第一增量可以在~50ns和~250ns之间,并且第二增量可以在~5ns和~25ns之间。
所建议的激光雷达系统可以将包括具有间隔增量的脉冲组的一个或多个光突发投射到视场704的一部分,而不是在扫描线内以规则间隔的增量投射各个脉冲。如图所示,光源112可以发射光突发706,并且每个光突发可以包括四个光脉冲708。具体地,视场704的一部分可以由来自第一光脉冲706A的四个光脉冲708(即,光脉冲708A、光脉冲708B、光脉冲708C和光脉冲708D)和来自第二光脉冲706B的单个光脉冲708E照射。图7中所示的示例(其中第一光突发706A的光脉冲击中物体710并且第二光突发706B的光脉冲都不击中物体710)假设物体710距激光雷达系统100的距离大于150米。光突发706A中的四个光脉冲708可以被发送到视场704的相同部分。由于偏转器114继续移动,因此四个光脉冲708不都被发送到确切位置。相反,四个光脉冲708可以被发送到彼此紧密间隔的位置。在所公开的实施例中,激光雷达系统可以协调光源112和光偏转器114的控制,使得在单个光突发706的发射期间,光偏转器114移动通过多个瞬时位置。换句话说,扫描单元106的光束转向机构可以在发射光脉冲708A、708B、708C和708D时枢转,使得每个光脉冲708照射不同的位置。这些位置可以靠近在一起以确保它们照亮相同的物体。在一些实施例中,包括在光突发706中的光脉冲708的数量可以受到安全考虑、视场中的采样区域尺寸等的限制。当多个光脉冲708撞击物体710(在该示例中为车辆)时,反射脉冲712A、712B、712C和712D可以被发送回激光雷达系统并且可以由传感器116检测到。在该描绘的示例中,对于光脉冲708E没有生成反射脉冲,因为它没有撞击物体。多个反射脉冲712的强度可以由传感器116测量,并且可以取决于以下中的至少一个:光脉冲持续时间、光脉冲之间的时间、光脉冲轮廓和光脉冲强度。即使传感器116在图7中被示出为二维矩阵,如上面在其他实施例中所描述的,传感器116也可以是单个单元或一维阵列。
图8描绘了包括投射光700的时间-强度曲线的第一图800。投射光700的时间-强度曲线示出了朝向视场发射的具有第一多个光脉冲708A至708D的第一光突发706A和具有第二多个光脉冲708E至708H的第二光突发706B。在一些实施例中,包括在光突发706中的多个光脉冲708可以以固定增量分开(例如,如光突发706A所示),或者可以以变化的增量分开(例如,如光突发706B所示)。另外,包括在光突发706中的多个光脉冲708可以具有相同的强度(例如,如光突发706B所示)或者可以具有变化的强度(例如,如光突发706A所示)。另外,包括在光突发706中的多个光脉冲708可以具有相同的持续时间(例如,如光突发706A所示)或者可以具有不同的持续时间(例如,如光突发706B所示)。此外,如上所述,光突发706中可以包括任何数量的光脉冲708,并且光脉冲708可以具有正方形或任何其他形状。光脉冲708可以具有相似或不同的脉冲持续时间、脉冲形状、脉冲角色散、瞬时功率、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲幅度、脉冲调制和/或脉冲序列。通过生成具有可变值的这些参数的脉冲,可以利用可以用于将信号与突发脉冲编码区分开的某些特性序列来对光突发进行编码。
图8进一步描绘了包括反射光702的时间-强度曲线的第二图802。反射光702的时间-强度曲线示出了表示由传感器116测量的反射光702的反射信号804。反射信号804包括对应于第一光脉冲706A的第一信号脉冲序列806A和对应于第二光脉冲706B的第二信号脉冲序列806B。第一序列806A包括对应于光脉冲708A至708D的多个信号脉冲808A至808D;并且第二序列806B包括与光脉冲708E至708H对应的多个信号脉冲808E至808H。生成反射信号804的传感器116可以包括用于检测从视场120反射的光子脉冲(例如,反射脉冲712)的光子的至少一个检测元件402。每个检测元件402可以针对每个采样持续时间(例如,每1纳秒)发出检测信息。在一个示例中,检测器阵列400可以是SiPM(硅光电倍增管),其是由公共硅基板上的单光子雪崩二极管(SPAD,用作检测元件402)阵列构建的固态单光子敏感器件。也可以使用来自其他非硅材料的类似光电倍增管。尽管SiPM器件以数字/切换模式工作,但是SiPM是模拟器件,因为所有微单元都是并行读取的,使得可以在从单个光子到由不同SPAD检测的数百和数千个光子的动态范围内生成信号。在另外的实施例中,不同类型的检测器(例如,SPAD阵列、APD二极管、PIN二极管等)的输出可以组合在一起以生成单个输出,该单个输出可以由LIDAR系统的处理器处理以生成反射信号804。
与本公开一致,可以分析信号脉冲808以确定其任何组合是否可能超过系统定义的阈值,该阈值表示已经检测到物体的高置信度。如果是,则激光雷达系统100可以在点云地图中在由飞行时间(TOF)确定的距离处生成一个或多个数据点。在本公开中,术语“点云数据点”或“数据点”是指空间中的点(其可以是无量纲的或微型蜂窝空间,例如1cm3),并且其位置可以通过点云模型使用坐标集(例如,(X,Y,Z),(r,φ,θ))来描述。可以使用任何标准、专用和/或新颖的摄影测量技术来实现三维模型的生成。在一些情况下,即使当信号脉冲808被求和时,也可能无法达到阈值。因此,激光雷达系统100可以决定不生成点云的数据点,或者不包括以低置信度标记的点。在其他情况下,一些信号脉冲808的强度可以足够高,使得SNR允许使用反射信号804的一部分来估计范围。例如,在不考虑808C和808D的情况下,单独的组合信号脉冲808A和808B可能超过阈值,并且类似地,组合信号808C和808D可能超过阈值。在这种情况下,可以计算两个数据点以包括在点云中。本领域技术人员将认识到,信号脉冲808的测量强度可能由于各种因素而变化,诸如物体710的反射率、物体710的距离、干扰(例如,天气条件)等。
图9示出了由传感器116测量的反射光的两种场景。每个场景由示意性时间-强度曲线(在左侧)和点云表示(在右侧)示出。在第一场景中,可以针对包括在单个光突发706中的光脉冲708A至708D测量信号脉冲808A至808D。如图所示,反射信号802A中的每个信号脉冲808的计算的置信度水平可以接近或超过置信度阈值900。因此,激光雷达系统100可以使用信号脉冲808A至808D来生成点云的四个数据点902(例如,每个信号脉冲808一个)。在第二场景中,可以针对不同光突发706中的光脉冲708E至708H测量信号脉冲808E至808H。如图所示,反射信号802B中的信号脉冲808E至808H中的每一个的计算的置信度水平可以低于置信度阈值900。但是信号脉冲808E至808H可以被求和,并且求和结果可以通过置信度阈值900。因此,激光雷达系统100可以使用信号脉冲808E至808H来生成点云的单个数据点902。
与本公开一致,激光雷达系统可以确定用于将信号脉冲(例如,信号脉冲808A)与光脉冲(例如,光脉冲708A)相关联的置信度水平。术语“置信度水平”是指指示系统具有的信号脉冲与特定光脉冲相关的置信度的量的水平(例如,在预定范围内)的任何指示、数字或其他方式。在第一示例中,激光雷达系统100可以确定与各个光脉冲708相关的反射信号804中的每个信号脉冲808的各个置信度水平。在第二示例中,LIDAR系统可以确定与两个或更多个光脉冲708相关的两个或更多个信号脉冲808的组合置信度水平。所确定的置信度水平可以具有在1和10之间的值。或者,置信度水平可以表示为百分比或任何其他数值或非数值指示。在一些情况下,系统可以将置信度水平与阈值(例如,置信度阈值900)进行比较。如本文所用的术语“阈值”表示参考值、水平、点或值的范围。在操作中,当信号脉冲808中的置信度水平超过阈值(或低于阈值,取决于特定用例)时,系统可以遵循第一动作过程,并且当置信度水平低于阈值(或高于阈值,取决于特定用例)时,系统可以遵循第二动作过程。例如,当特定信号脉冲808的置信度水平高于置信度阈值时,系统可以生成点云数据点902。
如上所述,反射信号802可以包括与特定光突发706中包括的多个光脉冲708相对应的信号脉冲序列808(例如,与光突发706A相对应的序列806A)。LIDAR系统(例如,使用处理器118)可以计算用于将信号脉冲序列中的信号脉冲与包括在光突发中的光脉冲相关联的置信度水平。与本公开一致,可以基于包括在信号脉冲序列中的每个信号脉冲的计算的置信度水平来确定要生成的点云数据点的数量。例如,点云数据点902可以从具有大于置信度阈值的置信度水平的信号脉冲生成。置信度阈值900的值可以是固定的和预定的。替代地,置信度阈值900的值可以是动态的,并且可以基于各种参数来确定。在第一示例中,置信度阈值900的值可以基于环境光条件来确定(例如,当环境光比通常更强时,置信度阈值可以是高的)。在第二实例中,置信度阈值900的值可基于在反射信号中检测到的物体的估计距离而确定(例如,远距离物体可与置信度阈值的较高值相关联)。在第三示例中,置信度阈值900的值可以基于与反射信号相关联的视场的一部分来确定(例如,视场的中间可以与比视场的侧面更高的置信度阈值相关联)。在第四示例中,用于视场的某个部分的置信度阈值900的值可以与来自先前扫描或帧中的该部分的反射信号相关联。举例来说,如果在先前扫描中以高置信度在所述特定部分中检测到物体,那么可基于在视场的类似部分中检测到的物体的置信度水平而调整置信度阈值900的值。在第五示例中,置信度阈值900的值可以基于反射信号802的信噪比(SNR)的测量水平来确定。
在另外的实施例中,计算用于将反射信号802中的信号脉冲808与包括在光突发706中的光脉冲708相关联的置信度水平可以包括使用多个匹配滤波器将检测到的反射信号802的时间-强度曲线与多个返回信号假设进行比较,并选择最接近的匹配。用于计算置信度水平的另一种方法可以包括使用训练模型,该训练模型被配置为将反射信号804的时间-强度曲线与多个返回信号假设相关联。该经训练的模型可以输出最接近的匹配或匹配列表,可选地包括每个匹配的置信度水平。在一些实施例中,训练模型可以是人工神经网络。可以使用各种其他机器学习算法,包括逻辑回归、线性回归、回归、随机森林、K-最近邻(KNN)模型(例如如上所述)、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、梯度提升算法或任何其他形式的机器学习模型或算法。用于人工神经网络的训练数据可以包括投射光700和反射光702的时间-强度曲线、多个相关联的二值掩模图像和已知的误差数据。例如,误差数据可以表示激光雷达系统相对于检测到的物体的近似距离之间的已知差异。此外,并行方法可以用于计算与信号脉冲808相关联的置信度水平。如本文所使用的,并行方法可以描述都由激光雷达系统执行的两种或更多种方法。在一些实施方案中,所述方法可以同时进行;然而,这不一定如此。例如,这些方法可以连续地执行,或者可以至少部分地重叠。
图10示出了在单个扫描周期期间朝向视场120的光发射。在所描绘的示例中,视场120由8×8矩阵表示,其中64个单元格中的每一个对应于与光偏转器114的两个或更多个瞬时位置相关联的视场的单独部分。在该示例扫描周期中,视场的每个部分包括一个或两个白点,其表示朝向该部分投射的光突发706的数量,并且每个光突发可以包括四个光脉冲708。如图所示,视场的一些部分包括表示为每个部分生成的数据点902的黑点。如图所示,视场120被分成两个扇区:视场120中间的扇区I和视场120侧面的扇区II。在该示例扫描周期中,扇区I最初被分配有每个部分两个光突发706;并且扇区II最初被分配有每个部分的单个光突发706。此外,如图所示,视场120的扫描揭示了三个物体710:近场(例如,在5米和50米之间)中的具有中等反射率的自由形式物体、中场(例如,在50米和150米之间)中的具有低反射率的圆角正方形物体、以及远场(例如,在150米和500米之间)中的具有高反射率的三角形物体。虽然图10的讨论使用多个光突发作为光通量分配的示例,但是应当注意,对视场的不同部分的光通量分配也可以以其他方式实现,诸如:脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振等。
图10中作为单个扫描周期的光发射的图示说明了视场中的不同物体如何可以以不均匀的密度出现在点云中。在一个实施例中,更靠近激光雷达系统的物体(即,近场物体)可以用比更远的物体更高密度的点云中的点来表示。例如,在部分A2中,处理器118从单个光突发706生成三个数据点902;并且在部分B5中,它从单个光突发706生成两个数据点902。在另一个实施例中,具有较高反射率的物体可以用点云中比具有较低反射率的物体更高的点密度来表示。例如,在部分C5中,它从两个光突发706生成六个数据点902;并且在部分G2中,处理器118从两个光突发706生成三个数据点902。如G6所示,与具有低反射率的较近物体相比,具有高反射率的较远物体可以用点云中更高密度的点来表示。此外,如上所述,针对视场的单个部分生成的数据点902的数量可以大于投射到视场的该部分的光脉冲708的数量。当光脉冲708撞击高反射率物体(例如,部分G6和H6)时,可能发生这种情况。与本公开一致,处理器118可以生成具有点云密度的点云,该点云密度可以取决于接收到的回波,该回波是视场中的物体的反射率和距离的函数。
在一些实施例中,激光雷达系统可以协调光源112和光偏转器114的控制,以基于视场的每个部分的期望点云分辨率来选择性地确定针对视场的每个部分发射的光突发706的数量。例如,当识别视场的特定部分中的物体的置信度水平低于阈值(例如,激光雷达不能以足够的置信度确定物体是人还是树)时,系统100可以增加该特定部分的光突发706的数量或光脉冲708的数量,以增加物体的点云分辨率。在另一实施例中,激光雷达系统可以协调至少一个光源和至少一个光偏转器的控制,以基于视场的不同部分中的物体的估计距离来选择性地确定针对视场的每个部分发射的光突发的数量。具体地,激光雷达系统可以朝向与远场相关联的视场的部分(例如,在150米和500米之间)发射比与中场相关联的视场的部分(例如,在50米和150米之间)更多的光突发706或更多的光脉冲708,以增加检测到物体的可能性。
在其他实施例中,激光雷达系统可以确定与在视场的某个部分中检测到的物体相关联的点分辨率低于分辨率阈值。当物体的分辨率阈值低于分辨率阈值时,这可能意味着物体可能是不可识别的。分辨率阈值可以基于物体距LIDAR系统的距离、所确定的物体的速度和/或物体的类型来确定。激光雷达系统还可以协调光源112和光偏转器114的控制,以增加在后续扫描中朝向视场的某个部分投射的光通量。例如,处理器118可以确定向部分B4和B6发射附加的光脉冲706,以增加这些部分中的点分辨率。在相关实施例中,激光雷达系统可以确定与在视场的某个部分中检测到的物体相关联的点分辨率大于分辨率阈值。例如,部分G6中的点分辨率可以高于每个部分六个数据点的分辨率阈值。因此,激光雷达系统可以协调光源112和光偏转器114的控制,以在后续扫描中增加朝向视场的除了视场的某个部分之外的部分投射的光通量。例如,为了有效地管理其光学预算,LIDAR系统可以向部分G6发射单个光突发706并向部分F6发射三个光突发706以识别远物体的边缘。
图11是由与所公开的激光雷达系统相关联的一个或多个处理设备执行的用于生成点云数据点的示例过程1100的流程图。一个或多个处理设备可以包括激光雷达系统的至少一个处理器和与激光雷达系统分离的至少一个处理器(例如,主机210的处理器)。出于说明的目的,在以下描述中,参考系统100的某些组件。然而,应当理解,其他实现方式是可能的,并且可以使用组件或设备的任何组合来实现示例性方法。还将容易理解,可以改变所示方法以修改步骤的顺序、删除步骤或进一步包括附加步骤,诸如针对可选实施例的步骤。
所公开的实施例可以包括控制至少一个光源发射多个光突发,其中多个光突发中的每一个包括多个光脉冲,并且其中从至少一个光源发射的多个光突发被引导到至少一个光偏转器以用于扫描视场。基于发光二极管(LED)的光源。另外,至少一个光源可以发射不同格式的光,诸如光脉冲、连续波(CW)、准CW等。在一些示例中,光源可以包括激光二极管,该激光二极管被配置为发射波长在约650nm和1550nm之间的光。仅作为示例,根据图11中的步骤1102,一个或多个处理设备可以控制光源112发射多个光突发706。多个光突发706中的每一个可以包括多个光脉冲708,例如,两个至五十个光脉冲、多于三个光脉冲、多于五个光脉冲。从光源112发射的多个光突发706可以被引导到光偏转器114以用于扫描视场。
所公开的实施例还可以包括控制至少一个光偏转器的移动以使多个光突发朝向视场的不同部分偏转。如前所述,至少一个光偏转器可以包括被配置为使光偏离其原始路径的任何机构或模块。至少一个光偏转器可以是可移动的,以使光偏转到不同的度数(例如,离散的度数或在连续的度数跨度上)。在一个示例中,至少一个光偏转器可以可选地可操作以改变两个非平行平面(例如,θ和φ坐标)内的偏转角度。可替换地或附加地,光偏转器可以在预定设置之间(例如,沿着预定义的扫描路线)或以其他方式改变偏转角度。仅作为示例,根据图11中的步骤1104,一个或多个处理设备可以控制光偏转器114的移动,以使多个光突发706朝向视场的不同部分偏转。在一个示例配置中,扫描激光雷达系统的整个视场可以包括在40°的跨度上改变光的偏转。在该配置中,视场的一部分可以是0.5°的角扇区,并且光偏转器114的瞬时位置可以包括光偏转器114在0.05°内的角偏移。在一个实施例中,一个或多个处理设备可以协调光源112和光偏转器114的控制,使得在单个光突发706的发射期间,光偏转器114可以移动通过多个瞬时位置。多个瞬时位置可以与视场的单个部分相关联。例如,在单个光突发(例如,如图7所示的光突发706A)的发射期间,光偏转器114可以移动通过四个瞬时位置,同时照射视场120的单个部分。
所公开的实施例还可以包括从至少一个传感器接收与包括在多个光突发中的多个光脉冲相关联的反射信号。如前所述,至少一个传感器可以包括能够测量电磁波的特性(例如,功率、频率、相位、脉冲定时、脉冲持续时间)并生成与所测量的特性相关的输出的任何设备、元件或系统。在一些实施例中,至少一个传感器可以包括由多个检测元件构成的多个检测器。在一些实施例中,至少一个传感器可以包括由至少一个检测元件构成的至少一个检测器。至少一个传感器可以包括一种或多种类型的光传感器。注意,至少一个传感器可以包括相同类型的多个传感器和/或不同类型的多个传感器,相同类型的多个传感器可以在其他特性(例如,灵敏度、尺寸)方面不同。仅作为示例,根据图11中的步骤1106,一个或多个处理设备可以从传感器116接收与多个光突发706中包括的多个光脉冲708相关联的反射信号802。
所公开的实施例还可以包括:针对所述多个光突发中的至少一个光突发,基于所接收的与包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点的数量。仅作为示例,根据图11中的步骤1108,一个或多个处理设备可以针对多个光突发706中的至少一个光突发,基于与多个光突发706中的至少一个光突发706中包括的多个光脉冲708相关联的接收到的反射信号802来选择性地确定要生成的点云数据点902的数量。在一个实施例中,确定要生成的点云数据点902的数量可以基于接收到的与多个光突发706中的至少一个光突发706中包括的多个光脉冲708相关联的反射信号802。具体地,点云数据点902的数量可以在一个与测量信号脉冲808的组合的总数之间的范围内。例如,对于三个测量的信号脉冲(例如,808A、808B和808C),一个或更多个处理设备可以确定生成一个和七个之间的数据点902(例如,从信号脉冲808A生成的第一数据点、从信号脉冲808B生成的第二数据点、从信号脉冲808C生成的第三数据点、从信号脉冲808A和信号脉冲808B的组合生成的第四数据点、从信号脉冲808A和信号脉冲808C的组合生成的第五数据点、从信号脉冲808B生成的第二数据点、从信号脉冲808B生成的第三数据点、从信号脉冲808A和信号脉冲808C的组合生成的第五数据点。从信号脉冲808B和信号脉冲808C的组合生成的第六数据点,以及从信号脉冲808A、信号脉冲808B和信号脉冲808C的组合生成的第七数据点)。
所公开的实施例还可以包括针对多个光突发中的至少一个光突发生成所确定数量的点云数据点。物体的点云数据点的生成可以包括基于飞行时间(TOF)和其他可用信息(例如反射率)来确定物体的三维位置信息,将信息导出到数据库,以及索引数据以便于由一个或多个处理设备使用。仅作为示例,根据图11中的步骤1110,一个或多个处理设备可以为多个光突发706中的至少一个生成所确定数量的点云数据点902。在实施例中,一个或多个处理设备可以从包括在多个光突发706中的至少一个光突发706中的每个光脉冲708(与每个光脉冲708相关联的信号脉冲)生成单个点云数据点902。例如,第一物体可以由三个光突发706照射,每个光突发706包括五个光脉冲708。在该示例中,一个或多个处理设备可以为第一物体生成十五个点云数据点902。在另一实施例中,一个或多个处理设备可以从包括在光突发706中的所有多个光脉冲708生成单个点云数据点902。例如,第二物体可以由两个光突发706照射,每个光突发706包括四个光脉冲708。在该示例中,一个或多个处理设备可以为第二物体生成两个点云数据点902(例如,每个光突发一个点云数据点902)。在另一实施例中,一个或多个处理设备可以从包括在多个光突发706中的至少一个光突发中的多个光脉冲708的第一子集生成第一点云数据点902,并且从包括在多个光突发706中的至少一个光突发中的多个光脉冲708的第二子集生成第二点云数据点902。例如,第三物体可以由包括五个光脉冲708(例如,708A、708B、708C、708D和708E)的单个光突发706照射。在该示例中,一个或多个处理设备可以为第三物体生成两个点云数据点902。第一点云数据点902可以从对应于708A和708B的信号脉冲808生成,并且第二点云数据点902可以从对应于708C、708D和708E的信号脉冲808生成。
所公开的实施例还可以包括输出点云数据点集合,包括针对多个光突发中的至少一个光突发生成的点云数据点。点云数据点集合可以包括一个或多个点云数据点。仅作为示例,根据图11中的步骤1112,一个或多个处理设备可以输出包括针对多个光突发706中的至少一个光突发生成的点云数据点902的点云数据点集合902。在实施例中,一个或多个处理设备可以从指向视场的第一部分中的第一物体的第一光脉冲706生成第一点云数据点集合902,并且从指向视场的第二部分中的第二物体的第二光脉冲706生成第二点云数据点集合。即使当第一光突发706和第二光突发706都包括相同数量的光脉冲时,第一集合中的点云数据点902的数量也可以大于第二集合中的点云数据点902的数量。例如,第一物体和第二物体中的每一个可以由具有四个光脉冲708的单个光突发706照射。然而,一个或多个处理设备可以能够从与第一光突发相关联的反射信号802(例如,图10中的部分H6)生成五个点云数据点902,并且仅从与第二光突发相关联的反射信号802(例如,图10中的部分B5)生成两个点云数据点902。在相关实施例中,一个或多个处理设备可以基于视场的第一部分中的物体比视场的第二部分中的物体更具反射性来确定第一集合中的点云数据点的数量大于第二集合中的点云数据点的数量。可替代地,一个或多个处理设备可以基于视场的第一部分中的物体比视场的第二部分中的物体更近来确定第一集合中的点云数据点的数量大于第二集合中的点云数据点的数量。
已经出于说明的目的呈现了前面的描述。它不是详尽的,并且不限于所公开的精确形式或实施例。考虑到所公开的实施例的说明书和实践,修改和调整对于本领域技术人员而言将是显而易见的。另外,尽管所公开的实施例的各方面被描述为存储在存储器中,但是本领域技术人员将理解,这些方面也可以存储在其他类型的计算机可读介质上,诸如辅助存储设备,例如硬盘或CD ROM、或其他形式的RAM或ROM、USB介质、DVD、蓝光或其他光学驱动介质。
基于书面描述和所公开的方法的计算机程序在有经验的开发者的技能范围内。可以使用本领域技术人员已知的任何技术来创建各种程序或程序模块,或者可以结合现有软件来设计各种程序或程序模块。例如,程序部分或程序模块可以在。Net框架、.Net紧凑框架(以及相关语言,诸如Visual Basic、C等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML或包括Java小应用程序的HTML中设计或通过其设计。
此外,虽然本文已经描述了说明性实施例,但是本领域技术人员基于本公开将理解具有等同元件、修改、省略、组合(例如,跨各种实施例的方面)、改编和/或改变的任何和所有实施例的范围。权利要求中的限制将基于权利要求中采用的语言广义地解释,并且不限于本说明书中或在本申请的审查期间描述的示例。这些示例应被解释为非排他性的。此外,可以以任何方式修改所公开的方法的步骤,包括通过重新排序步骤和/或插入或删除步骤。因此,说明书和示例旨在仅被认为是说明性的,真正的范围和精神由所附权利要求及其等同物的全部范围指示。
Claims (21)
1.一种激光雷达LIDAR系统,包括:
至少一个处理器,其被编程为:
控制至少一个光源以发射多个光突发,其中所述多个光突发中的每一个包括多个光脉冲,并且其中从所述至少一个光源发射的所述多个光突发被引导到至少一个光偏转器以用于扫描视场;
控制所述至少一个光偏转器的移动,以使所述多个光突发朝向所述视场的不同部分偏转;
从至少一个传感器接收与包括在所述多个光突发中的所述多个光脉冲相关联的反射信号;
针对所述多个光突发中的至少一个光突发,基于接收到的与包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点的数量;
针对所述多个光突发中的所述至少一个光突发生成所确定的数量的点云数据点;以及
输出点云数据点集合,所述点云数据点集合包括针对所述多个光突发中的所述至少一个光突发生成的所述点云数据点。
2.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为协调对所述至少一个光源和所述至少一个光偏转器的控制,使得在单个光突发的发射期间,所述至少一个光偏转器移动通过多个瞬时位置。
3.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为协调对所述至少一个光源和所述至少一个光偏转器的控制,以基于所述视场的每个部分的期望点云分辨率来选择性地确定针对所述视场的每个部分要发射的光突发的数量。
4.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为协调对所述至少一个光源和所述至少一个光偏转器的控制,以基于所述视场的不同部分中的物体的估计距离来选择性地确定针对所述视场的每个部分发射的光突发的数量。
5.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为控制所述至少一个光源,使得所述多个光突发中的至少一些光突发以第一增量分开,并且所述多个光脉冲以比第一扫描增量短至少10倍的第二增量分开。
6.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为基于所接收的与包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲相关联的反射信号来确定要输出的点云数据点的数量,并且其中点云数据点的数量的范围在一和所接收的反射信号的组合的总数之间。
7.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为从所述多个光突发中的所述至少一个光突发中包括的每个光脉冲生成单个点云数据点。
8.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为从所述多个光突发中的所述至少一个光突发中包括的所有所述多个光脉冲生成单个点云数据点。
9.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为从包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲的第一子集生成第一点云数据点,并且从包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲的第二子集生成第二点云数据点。
10.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为从指向所述视场的第一部分中的物体的第一光突发生成第一点云数据点集合,并且从指向所述视场的第二部分中的物体的第二光突发生成第二点云数据点集合,其中所述第一光突发和所述第二光突发都包括相同数量的光脉冲,但是第一集合中的点云数据点的数量大于第二集合中的点云数据点的数量。
11.根据权利要求10所述的激光雷达系统,其中所述至少一个处理器还被编程为基于所述视场的所述第一部分中的所述物体比所述视场的所述第二部分中的所述物体更具反射性,确定所述第一集合中的点云数据点的数量大于所述第二集合中的点云数据点的数量。
12.根据权利要求10所述的激光雷达系统,其中所述至少一个处理器还被编程为基于所述视场的所述第一部分中的所述物体比所述视场的所述第二部分中的所述物体更近,确定所述第一集合中的点云数据点的数量大于所述第二集合中的点云数据点的数量。
13.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为:
确定与在所述视场的特定部分中检测到的物体相关联的点分辨率低于分辨率阈值;以及
协调对所述至少一个光源和所述至少一个光偏转器的控制,以增加在后续扫描中朝向所述视场的所述特定部分投射的光通量。
14.根据权利要求1所述的激光雷达系统,其中所述至少一个处理器还被编程为:
确定与在所述视场的特定部分中检测到的物体相关联的点分辨率大于分辨率阈值;以及
协调对所述至少一个光源和所述至少一个光偏转器的控制,以在后续扫描中增加朝向所述视场的除了所述视场的所述特定部分之外的部分投射的光通量。
15.一种使用激光雷达LIDAR系统生成点云数据点的方法,所述方法包括:
控制至少一个光源以发射多个光突发,其中所述多个光突发中的每一个包括多个光脉冲,并且其中从所述至少一个光源发射的所述多个光突发被引导到至少一个光偏转器以用于扫描视场;
控制所述至少一个光偏转器的移动,以使所述多个光突发朝向所述视场的不同部分偏转;
从至少一个传感器接收与包括在所述多个光突发中的所述多个光脉冲相关联的反射信号;
针对所述多个光突发中的至少一个光突发,基于接收到的与包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点的数量;
针对所述多个光突发中的所述至少一个光突发生成所确定的数量的点云数据点;以及
输出点云数据点集合,所述点云数据点集合包括针对所述多个光突发中的所述至少一个光突发生成的所述点云数据点。
16.根据权利要求15所述的方法,其中,所述反射信号包括与特定光突发中包括的多个光脉冲相对应的信号脉冲序列,并且所述方法还包括:
计算用于将所述信号脉冲序列中的信号脉冲与所述光突发中包括的光脉冲相关联的置信度水平,其中,基于所述信号脉冲序列中包括的每个信号脉冲的所计算的置信度水平来确定要生成的点云数据点的数量。
17.根据权利要求16所述的方法,还包括:
从具有大于置信度阈值的置信度水平的信号脉冲生成点云数据点。
18.根据权利要求17所述的方法,还包括:
基于环境光条件确定所述置信度阈值的值。
19.根据权利要求17所述的方法,还包括:
基于在所述反射信号中检测到的物体的估计距离来确定所述置信度阈值的值。
20.根据权利要求17所述的方法,还包括:
基于与所述反射信号相关联的所述视场的一部分来确定所述置信度阈值的值。
21.一种激光雷达系统,包括:
壳体,所述壳体能够安装在车辆上;
所述壳体内的至少一个光源,所述至少一个光源被配置为发射多个光突发,其中所述多个光突发中的每一个包括多个光脉冲;
所述壳体内的至少一个光偏转器,所述至少一个光偏转器被配置为通过将所述多个光突发朝向视场的不同部分偏转来扫描所述视场;
至少一个传感器,所述至少一个传感器被配置为检测所投射的光的反射并且生成与包括在所述多个光突发中的所述多个光脉冲相关联的反射信号;以及
至少一个处理器,其被编程为:
针对所述多个光突发中的至少一个光突发,基于接收到的与包括在所述多个光突发中的所述至少一个光突发中的所述多个光脉冲相关联的反射信号来选择性地确定要生成的点云数据点的数量;
针对所述多个光突发中的所述至少一个光突发生成所确定的数量的点云数据点;以及
输出点云数据点集合,所述点云数据点集合包括针对所述多个光突发中的所述至少一个光突发生成的所述点云数据点。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163153848P | 2021-02-25 | 2021-02-25 | |
US63/153,848 | 2021-02-25 | ||
PCT/IB2022/000052 WO2022180449A1 (en) | 2021-02-25 | 2022-02-11 | Lidar systems and methods for generating a variable density point cloud |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117136316A true CN117136316A (zh) | 2023-11-28 |
Family
ID=80595269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280017055.6A Pending CN117136316A (zh) | 2021-02-25 | 2022-02-11 | 用于生成可变密度点云的lidar系统和方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4298466A1 (zh) |
CN (1) | CN117136316A (zh) |
WO (1) | WO2022180449A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117310741A (zh) * | 2017-01-03 | 2023-12-29 | 应诺维思科技有限公司 | 用于检测和分类物体的激光雷达系统和方法 |
DE102017223102A1 (de) * | 2017-12-18 | 2019-06-19 | Robert Bosch Gmbh | Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten |
-
2022
- 2022-02-11 CN CN202280017055.6A patent/CN117136316A/zh active Pending
- 2022-02-11 EP EP22706902.8A patent/EP4298466A1/en active Pending
- 2022-02-11 WO PCT/IB2022/000052 patent/WO2022180449A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4298466A1 (en) | 2024-01-03 |
WO2022180449A1 (en) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112236685A (zh) | 具有内部光校准的激光雷达系统和方法 | |
US20210293931A1 (en) | Lidar system having a mirror with a window | |
CN112969937A (zh) | Lidar系统和方法 | |
US20220283269A1 (en) | Systems and methods for photodiode-based detection | |
US20220075027A1 (en) | Resonant laser driver for a lidar system | |
US20220206114A1 (en) | Flash lidar having nonuniform light modulation | |
US20220229164A1 (en) | Systems and methods for time-of-flight optical sensing | |
EP4211492A2 (en) | Lidar system with variable resolution multi-beam scanning | |
CN112771406A (zh) | 具有加热元件的电光系统 | |
WO2020245767A9 (en) | Electro-optical systems for scanning illumination onto a field of view and methods | |
US11971488B2 (en) | LIDAR system with variable resolution multi-beam scanning | |
CN114144698A (zh) | 用于激光雷达窗口的抗反射标贴 | |
US20230350026A1 (en) | Multiple simultaneous laser beam emission and illumination while ensuring eye safety | |
WO2019234503A2 (en) | Mems mirror with resistor for determining a position of the mirror | |
US20220163633A1 (en) | System and method for repositioning a light deflector | |
US20240134050A1 (en) | Lidar systems and methods for generating a variable density point cloud | |
CN117136316A (zh) | 用于生成可变密度点云的lidar系统和方法 | |
US20220276348A1 (en) | Systems and methods for eye-safe lidar | |
US20230288541A1 (en) | Object edge identification based on partial pulse detection | |
US20240045040A1 (en) | Detecting obstructions | |
WO2024042360A1 (en) | Systems and methods for updating point clouds in lidar systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |