CN111492265B - 基于3d激光雷达测量的多分辨率、同时定位和地图绘制 - Google Patents
基于3d激光雷达测量的多分辨率、同时定位和地图绘制 Download PDFInfo
- Publication number
- CN111492265B CN111492265B CN201880073151.6A CN201880073151A CN111492265B CN 111492265 B CN111492265 B CN 111492265B CN 201880073151 A CN201880073151 A CN 201880073151A CN 111492265 B CN111492265 B CN 111492265B
- Authority
- CN
- China
- Prior art keywords
- measurement
- points
- lidar
- image frame
- measurement system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 281
- 238000013507 mapping Methods 0.000 title claims abstract description 23
- 230000004807 localization Effects 0.000 title claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000005286 illumination Methods 0.000 claims description 36
- 238000002310 reflectometry Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 31
- 230000011218 segmentation Effects 0.000 abstract description 31
- 230000005540 biological transmission Effects 0.000 description 13
- 230000001934 delay Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000630 rising effect Effects 0.000 description 5
- 238000002839 fiber optic waveguide Methods 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005253 cladding Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004630 atomic force microscopy Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本文提出了用于基于3D激光雷达图像数据的改进的同时定位和地图绘制的方法和系统。一方面,在特征检测之前对激光雷达图像帧进行分割和聚类,以提高计算效率,同时维持地图绘制和定位准确度。分割涉及在特征提取之前去除冗余数据。聚类涉及在特征提取之前将与类似对象相关联的像素分组在一起。在另一方面,基于与每个测量点相关联的测量的光学属性从激光雷达图像帧提取特征。特征点池包括与每个图像帧关联的低分辨率特征地图。随着时间的流逝,低分辨率特征地图被聚合以生成高分辨率特征地图。在另一方面,基于高分辨率特征地图缓慢地更新激光雷达测量系统在三维环境中的位置,并且基于低分辨率特征地图快速地更新激光雷达测量系统在三维环境中的位置。
Description
相关申请的交叉引用
本专利申请要求于2018年9月13日提交的标题为“Multiple Resolution,Simultaneous Localization And Mapping Based On 3-D LIDAR Measurements”的美国专利申请序列号16/130,610的优先权,该专利申请进而根据35 U . S . C §119要求于2017年9月13日提交的标题为“Multiple Resolution, Simultaneous Localization AndMapping Based On 3-D LIDAR Measurements”的美国临时专利申请序列号62/558,256的优先权,该临时专利申请的主题通过引用整体并入本文。
技术领域
所描述的实施例涉及基于激光雷达的3D点云测量系统,并且更具体地,涉及所测量环境的高效地图绘制和激光雷达测量系统的定位。
背景技术
激光雷达系统采用光脉冲来基于每个光脉冲的飞行时间(TOF)测量到物体的距离。从激光雷达系统的光源发射的光脉冲与远侧对象相互作用。一部分光从物体反射并返回到激光雷达系统的检测器。基于从发射光脉冲到检测到返回的光脉冲之间经过的时间,估计距离。在一些示例中,激光发射器生成光脉冲。光脉冲通过透镜或透镜组件聚焦。测量激光脉冲返回到安装在发射器附近的检测器所花费的时间。根据时间测量结果得出高准确度的距离。
一些激光雷达系统采用单个激光发射器/检测器组合,该组合与旋转反射镜组合以有效地跨平面进行扫描。由这样的系统执行的距离测量实际上是二维的(即平面的),并且捕获的距离点被呈现为2D(即单平面)点云。在一些示例中,旋转反射镜以非常快的速度旋转(例如,每分钟数千转)。
在许多操作场景中需要3D点云。许多方案已被用于在三个维度上询问周围环境。在一些示例中,通常在万向支架上上下和/或来回致动2D仪器。这在本领域中通常被称为使传感器“眨眼”或“点头”。因此,可以采用单射束激光雷达单元来捕获距离点的整个3D阵列,尽管一次捕获一个点。在相关示例中,采用棱镜将激光脉冲“划分”为多个层,每个层的竖直角度略有不同。这模拟了上述点头效果,但没有致动传感器本身。
在许多应用中,有必要在广阔的视场上进行察看。例如,在自主车辆应用中,竖直视场应尽可能向下延伸,以察看车辆前方的地面。此外,如果汽车进入道路的斜面,则竖直视场应延伸到地平线上方。另外,有必要使真实世界中发生动作与这些动作的成像之间的延迟最小。在一些示例中,期望提供每秒至少五次的完整图像更新。为了满足这些要求,已经开发了3D 激光雷达系统,3D 激光雷达系统包括具有多个激光发射器和检测器的阵列。该系统在2011年6月28日公布的美国专利号7,969,558中进行了描述,其主题通过引用整体并入本文。
在许多应用中,发射脉冲序列。每个脉冲的方向依次快速连续变化。在这些示例中,与每个个体脉冲相关联的距离测量可以被视为一个像素,并且快速连续发射和捕获的像素集合(即“点云”)可以被呈现为图像或出于其他原因(例如,检测障碍物)而被分析。在一些示例中,采用查看软件来将所得到的点云呈现为向用户显现三维的图像。可以使用不同的方案将距离测量结果描绘为3D图像,该3D图像显现为好像它们被实景相机捕获一样。
在自主车辆应用中,期望构造周围环境的三维几何地图并在环境内定位激光雷达测量系统。在许多现有示例中,首先构造三维地图,然后将激光雷达测量系统定位在绘制成的地图环境中。但是,这种方案通常受限于受到良好控制的室内环境或与实际驾驶状况不一致的缓慢移动操作场景。
期望激光雷达测量系统的实时地图绘制和定位的改进。特别是,期望与高度动态的城市、郊区和交通干线环境兼容的同时定位和地图绘制。
发明内容
本文提出了用于基于3D 激光雷达图像数据的改进的同时定位和地图绘制的方法和系统。
一方面,在特征检测之前,对激光雷达图像帧进行分割和聚类。检测到的特征用于执行SLAM分析。在特征检测之前执行分割和聚类提高计算效率,同时维持自主车辆应用的地图绘制和定位准确度。
分割涉及在特征提取之前去除冗余数据。以这种方式,每个图像帧包括仅在感兴趣区域(ROI)中的高分辨率数据和在用较少像素或根本不用像素即可充分好地描述的区域中的低分辨率数据。在一个示例中,分割涉及消除与地平面相关联的冗余点。通过减少每个图像帧中像素的数量,减少了与每个图像帧相关联的数据量。
在一个实施例中,基于高程来识别冗余像素。
在一些实施例中,三维图像帧被细分为3D网格地图。沿着竖直方向(例如,垂直于地平面)投影3D网格地图的单元,以生成2D网格地图。
在一个示例中,将每个测量点的高程与车辆高度进行比较,以确定测量点是否冗余。
在另一个示例中,将每个测量点的高程与预定阈值进行比较,以确定该测量点是否冗余。
在另一个示例中,采用3D网格地图的2D投影的每个单元中的测量点的数量来确定该单元中的测量点是否冗余。
在另一个示例中,确定与单元内的每个测量点相关联的光学属性的平均值。例如,光学属性可以是所测量的强度、反射率、可靠性或它们的某种组合。与个体测量点关联的所测量的光学属性与平均值之间的差用于确定该测量点是否冗余。
在另一个示例中,单元中所有测量点的最大和最小高程之间的差用于确定单元中的测量点是否冗余。
在另一个示例中,确定与单元中的测量点相关联的高程的平均值和与每个相邻单元中的测量点相关联的平均高程值。如果与相邻单元中任一个相关联的平均高程与所讨论的单元之间的差超过预定阈值,则确定与该单元相关联的测量点不是冗余的。
在另一方面,与类似对象相关联的像素组被聚类以降低后续特征检测操作的计算复杂度。以这种方式,对与一个对象而不是许多对象相关联的像素数据执行特征检测。
在另一方面,基于与每个测量点相关联的所测量的光学属性(例如,强度、反射率、可靠性或它们的组合)从激光雷达图像帧提取特征。
在一个实施例中,基于反射率梯度的值从激光雷达图像帧快速检测特征。反射率梯度是有界整数,并且这些值可被高效分类。
在另一个实施例中,基于涉及任何数量的光学属性的总体对比度值的值,从激光雷达图像帧快速检测特征。
各像素根据其梯度值被分类到不同的仓(bin)中。基于仓的梯度值将仓分类到不同的池(即不同的特征集)中。不同的特征池与不同的对象(例如,地面、墙壁、树木等)关联。以这种方式生成结构化输出(即特征集),结构化输出识别周围环境中的不同物理对象。特征点池包括与每个图像帧相关联的小特征地图(SFM)。
在另一方面,基于以高重复率刷新的低分辨率特征地图来快速确定激光雷达测量系统的位置的估计,同时基于以较低重复率刷新的较高分辨率特征地图来准确地更新位置的估计。
在另一方面,基于较高分辨率特征地图和激光雷达测量系统的位置的估计,周期性且一致地更新三维环境的全局地图。
前述内容是概述,并且因此必然包含细节的简化、概括和省略;因此,本领域技术人员将理解,该概述仅是说明性的,而绝不是限制性的。在本文中阐述的非限制性详细描述中,本文描述的设备和/或过程的其他方面、发明特征以及优点将变得显而易见。
附图说明
图1是图示操作场景的图,操作场景包括基于激光雷达的三维成像系统104和计算系统110,该计算系统110被配置为同时对周围环境进行地图绘制和在环境内实时定位激光雷达测量系统104。
图2是图示在至少一个新颖方面中由计算系统110实现的示例性同时定位和地图绘制(SLAM)引擎120的图。
图3是更详细地图示多分辨率SLAM模块150的图。
图4描绘了标绘图170,标绘图170图示了由激光雷达测量系统(诸如激光雷达测量系统104)捕获的图像帧的检测到的像素的二维投影。
图5描绘了标绘图180,标绘图180图示了在由分割模块130进行分割之后图4中描绘的相同图像帧的检测到的像素的二维投影。
图6是图示在至少一个新颖方面中激光雷达测量系统的一个实施例的简化图,该激光雷达测量系统包括至少一个集成激光雷达测量设备。
图7描绘了定时的图示,该定时与来自集成激光雷达测量设备130的测量脉冲的发射以及返回的测量脉冲的捕获相关联。
图8描绘了在至少一个新颖方面中的流程图,该流程图图示了由集成激光雷达测量设备执行激光雷达测量的方法200。
具体实施方式
现在将详细参考背景示例和本发明的一些实施例,本发明的示例在附图中图示。
本文提出了用于基于3D 激光雷达图像数据的改进的同时定位和地图绘制的方法和系统。
同时定位和地图绘制(SLAM)涉及建立由激光雷达测量系统穿越的环境的一致三维几何地图,同时以六个自由度(例如x,y,z,Rx,Ry,Rz)实时估计激光雷达测量系统在所述环境中的位置。基于由激光雷达测量系统生成的点云距离测量数据执行SLAM分析。
图1描绘了一操作场景,该操作场景包括基于激光雷达的三维成像系统104和计算系统110,计算系统110被配置为同时对周围环境进行地图绘制和在环境内实时定位激光雷达测量系统104。在图1中所描绘的实施例中,车辆103沿道路102以速度V行驶。周围环境包括各种物体,包括建筑物101A和101B、树木101C和101D、道路102的表面、路缘106等。周围环境包括静态物体,静态物体相对于世界坐标系(例如,图1中所描绘的世界坐标系(XW,YW,ZW))不移动。激光雷达测量系统104被附接到车辆103,并且获取与周围环境的图像相关联的三维点云数据。瞬时坐标系(XI,YI,ZI)被附接到激光雷达测量系统104。激光雷达测量系统104生成参考瞬时坐标系测量的点云数据。换句话说,由激光雷达系统104执行的距离测量是相对于激光雷达测量系统104本身测量的。瞬时坐标系随车辆103一起移动。因此,瞬时坐标系相对于世界坐标系的位置随车辆103的位置而变化,并且根据点云数据集生成的每个图像帧均与世界坐标系内的瞬时坐标系的不同位置相关联。
在所描绘的实施例中,激光雷达图像信息105从激光雷达测量系统104被传送到一个或多个计算系统110用于进一步分析。激光雷达图像信息105包括与每个点云数据集相关联的点云数据,点云数据包括位置信息(例如,θ、ϕ、距离)和光学信息(例如,反射率、强度、可靠性或它们的某种组合)。在一个实施例中,采用多分辨率SLAM来建立环境的一致三维地图109,并基于由激光雷达测量系统104生成的点云距离测量数据105来估计激光雷达测量系统104相对于世界坐标系的位置108。所得到的地图绘制信息109和位置信息108被传送到车辆控制系统107。车辆控制系统107基于更新的位置信息108和地图绘制信息109来控制车辆103的各个方面(例如,车辆速度、转向角、制动力、指示灯等)。
一方面,在特征检测之前,对激光雷达图像帧进行分割和聚类,并且检测到的特征用于执行如本文所述的SLAM分析。通常,直接对测量到的点云数据执行特征检测和SLAM分析。然而,这种方案是计算昂贵且费时的。发明人已经发现,通过在特征检测和SLAM之前执行分割和聚类,可以显著提高计算效率,同时维持自主车辆应用的地图绘制和定位准确度。
为了减少经受SLAM分析的数据量,对激光雷达图像帧进行分割以识别和去除冗余数据点或与自主车辆应用不相关的数据点。另外,图像数据被聚类以把与类似对象相关联的图像数据点进行分组。在该数据缩减之后,特征检测被用于识别特定对象,例如地面、墙壁、树木等。在一些示例中,通过在如本文所述的特征检测之前执行分割和聚类,实现了数据点的40倍缩减。在特征检测之后,对与相关对象相关联的非常有限的数据集执行SLAM分析。
图2是图示在至少一个新颖方面中的由计算系统110实现的示例性同时定位和地图绘制(SLAM)引擎120的图。如图2中所描绘的,SLAM引擎120包括坐标变换模块125、分割模块130、聚类模块135、特征检测模块140和多分辨率同时定位和地图绘制模块150。
如图2中所描绘的,坐标变换模块125接收点云数据105。单个点云(即,图像帧)包括在一次全扫描(例如,围绕激光雷达测量系统104的360度扫描)中测量到的像素。通常,由附接到车辆的激光雷达测量系统生成的点云数据以球面坐标表示。在一个示例中,在三维空间中每个测量到的像素的位置由两个欧拉角和距离测量结果本身表示。坐标变换模块125对点云数据执行坐标变换,该坐标变换将点云数据的坐标表示从球面坐标转换为笛卡尔坐标(即,X,Y,Z)。与每个图像帧126相关联的笛卡尔坐标数据被传送到分割模块130。
在另一方面,点云数据的图像帧被分割以在特征提取之前去除冗余数据。以这种方式,每个图像帧包括仅在感兴趣区域(ROI)中的高分辨率数据和在用较少像素或根本不用像素即可充分好地描述的区域中的低分辨率数据。通过减少每个图像帧中像素的数量,减少了与每个图像帧相关联的数据量。该结果是减少了通信开销和下游计算复杂度。
在一个实施例中,分割模块130接收与由激光雷达测量系统104捕获的每个图像帧126相关联的笛卡尔坐标数据。分割模块130识别与地平面相关联的点,并消除与地平面相关联的冗余点。
在一个实施例中,分割模块130基于高程识别冗余像素。假定地平面的高程是已知先验的(例如,在地平面z坐标为零),则假定与地平面具有相同高程的像素与地平面相关联。与地平面相关联的过量像素被消除。
在优选实施例中,分割模块130采用附加空间信息来确认特定像素是否与地平面相关联。附加信息可以包括局部平滑度、数据密度等。在一个示例中,分割模块130将三维图像帧细分为3D网格地图。3D网格地图的规则单元图案提高索引效率,从而使得更易于插入或检索3D数据。另外,分割模块130沿着z方向投影所述单元以生成2D网格地图。分割模块130使用2D网格地图来识别冗余像素。
在一个示例中,分割模块130使每个像素符合一个或多个准则,以确定像素是否冗余。
在一个示例中,分割模块130确定像素的高程是否大于车辆高度。如果像素的高程大于车辆高度,则它不是冗余的(例如,不是地面)。
在另一示例中,分割模块130确定像素的高程是否大于阈值。如果像素的高程大于阈值,则它不是冗余的(例如,不是地面)。
在另一个示例中,分割模块130确定3D网格地图的2D投影的单元包括的像素是否少于预定阈值。如果是,则确定与该单元相关联的像素不是冗余的,因为像素的分辨率已经为低。
在另一个示例中,分割模块130确定与2D投影的单元内的每个像素相关联的光学属性的平均值。例如,光学属性可以是测量的强度、反射率、可靠性或它们的某种组合。分割模块130确定与每个像素相关联的测量的光学属性(测量的强度、反射率、可靠性或它们的某种组合)与单元内所有像素的测量的光学属性的平均值之间的差是否超过预定阈值。如果光学属性的值与平均值差别非常大,则确定该像素不是冗余的。
在另一个示例中,分割模块130确定单元中所有像素的最大高程(例如,z坐标)值与单元中所有像素的最小高程值之间的差。如果该差超过预定阈值,则确定该像素不是冗余的。单元内高度的较大差指示竖直结构,而不是地平面。
在另一示例中,分割模块130确定与单元中的像素相关联的高程的平均值以及与每个相邻单元中的像素相关联的平均高程值。如果与任何相邻单元相关联的平均高程与所讨论的单元之间的差值超过预定阈值,则确定与该单元相关联的像素不是冗余的。
图4描绘了标绘图170,标绘图170图示了由激光雷达测量系统(诸如激光雷达测量系统104)捕获的图像帧的每个检测到的像素的二维投影。如标绘图170中所示,在x方向上的200米和y方向上的250米范围内检测像素。激光雷达测量系统位于标绘图170中的点{0,0}处。
图5描绘了标绘图180,标绘图180图示了在由分割模块130进行分割之后图4中描绘的相同图像帧的检测到的像素的二维投影。在该示例中,像素的数量已经减少了31%。如图4和图5中所示,分割模块130消除了与激光雷达测量设备附近的地平面的测量结果相关联的冗余高分辨率像素。
分割模块130可以应用前述准则的任何组合来确定像素是否冗余。通常,作为非限制性示例提供前述准则,因为在本专利文件的范围内可以考虑许多其他准则。在一些示例中,分割模块130接收与完整图像帧相关联的像素组,对像素组进行操作,并将经分割的像素组传送至聚类模块135。但是,在一些其他示例中,分割模块130一次一个像素地接收像素数据,并顺序地对接收到的像素进行操作,以在从激光雷达测量系统接收到像素时实时分割像素。
在确定特定像素是否冗余之后,分割模块将与每个非冗余像素131相关联的图像数据131传送给聚类模块135。与冗余像素相关联的图像数据不被传送给聚类模块135。
在另一方面,将图像数据聚类以降低后续特征检测操作的计算复杂度。在图2中所描绘的示例中,聚类模块135接收图像数据131并识别与类似对象相关联的像素组。每个像素组136被传送到特征检测模块140。以这种方式,特征检测模块140对与一个对象而不是许多对象相关联的像素数据进行操作。
在另一方面,基于与每个测量到的像素相关联的测量的强度、反射率、可靠性或它们的组合来从激光雷达图像帧中快速提取特征。
通常,将测量的图像空间细分为子区域,并针对每个像素计算局部平滑度。基于平滑度,针对空间中每个预定义子区域中的每个激光雷达通道,将像素分为四类,{最锐利、锐利、平滑、最平滑}。对于具有N个通道的激光雷达系统和具有M个点的帧,每个通道具有M/N个点。对于八个子区域,每个子区域具有K = M/(8N)个点。分类平滑度值具有平均计算复杂度阶数O(MlogK)。对于具有16个通道(N = 16)的激光雷达系统和具有10,000个点(M=10,000)的图像帧,使用这种方案以合理的计算成本检测各特征是可行的。但是,对于具有更大通道数量的传感器和具有更大像素数量的图像帧(例如,N=32和M=50,000),以成本有效的方式实时获得结果是不可行的。
在一个实施例中,在特征点检测期间通过用反射率梯度替换空间梯度计算来从激光雷达图像帧中快速检测各特征。空间梯度值是无界浮点值。由于这个原因,高效地对这些数值进行分类需要大量计算。相反,反射率梯度是有界整数,并且可以高效地对这些值进行分类(线性复杂度,O(M))。
在一个实施例中,特征检测模块140接收像素的图像帧136。每个像素包括描述像素相对于激光雷达测量系统的位置的位置数据(例如,X,Y,Z坐标)和描述测量结果自身的光学值(例如,反射率R、强度I和可靠性Re)。在一些实施例中,每个像素包括六个性质{x,y,z,R,I,Re}。在一些实施例中,每个像素包括四个性质{x,y,z,R}或{x,y,z,I}。通常,可以考虑任何数量的性质。
在一个示例中,对于每个激光雷达通道和图像帧136的每个子区域,特征检测模块140计算与每个像素i相关联的相对于先前测量到的像素i-1的反射率梯度(abs(Ri-Ri-1))、强度梯度(abs(Ii-Ii-1))、可靠性梯度(abs(Rei-Rei-1))或它们的任何组合。由特征检测模块140确定的每个梯度值是整数值,例如,在从0到255的范围中。
对于计算多个梯度的示例,特征检测模块140确定总体对比度值(例如,其中对比度是曲率的近似量度)。例如,如果反射率、强度和可靠性梯度都可用,则总体对比度由等式(1)确定,其中floor函数将函数的元素舍入到小于该元素值的最接近的整数值。
总体对比度=floor[[反射率梯度+强度梯度+可靠性梯度]] (1)。
通常,可以由不同的常数对每个梯度的值进行加权,以使每个梯度值对总体对比度值的影响不齐。
另外,特征检测模块140将像素分类到仓集中。仓的数量等于总体对比度的可能整数值的数量(例如256个仓)。因此,具有特定总体对比度整数值的每个像素位于对应的仓中。
特征检测模块140将仓分类到不同的仓池中(即,不同的特征集)。在一个示例中,定义了四个池:高对比度特征点、低对比度特征点、最高对比度特征点和最低对比度特征点,每个池分别由预定阈值#highest_contrast、#high_contrast、#low_contrast和#lowest_contrast定义。在一个示例中,总体对比度值大于或等于#highest_contrast的所有仓都与最高对比度池相关联,并且除了被识别为最高对比度的仓之外,总体对比度值大于或等于#high_contrast的所有仓都与高对比度池相关联。相反,总体对比度值小于或等于#lowest_contrast的所有仓都与最低对比度池相关联,除了被识别为最低对比度的那些仓之外,总体对比度值小于或等于#low_contrast的所有仓都与低对比度池相关联。不同的特征池与不同的对象(例如,地面、墙壁、树木等)相关联。以这种方式,特征检测模块140生成识别周围环境中不同物理对象的结构化输出(即,特征集)。
以这种方式,特征检测模块140针对每个图像帧生成四个特征点池。所述特征点池包括与图像帧相关联的小特征地图(SFM)。如图2中所描绘的,特征检测模块140将与当前帧相关联的SFM 141以及与前一帧相关联的SFM 142传送至多分辨率SLAM模块150。
在一些示例中,k维树(也称为k-d树)被用来组织点云和特征集。k-d树是具有对其施加的其他约束的二叉搜索树。k-d树对于范围搜索和最近邻居搜索非常有用。在前述示例中,k-d树的维度匹配与每个像素相关联的性质的维度。例如,对于具有六个性质{X,Y,Z,R,I,Re}的像素,采用六维k-d树。
在另一方面,基于以高重复率刷新的低分辨率特征地图来快速确定激光雷达测量系统的位置的估计,同时基于以较低的重复率刷新的较高分辨率特征地图来准确地更新位置的估计。
图3是更详细地图示多分辨率SLAM模块150的图。如图3中所描绘的,SLAM模块150包括增量传感器测距模块151、特征定位器模块153、快速传感器测距模块158、慢速传感器测距模块156和特征地图融合模块159。
如图3中所描绘的,与当前帧相关联的SFM 141和与前一帧相关联的SFM 142由增量传感器测距模块151接收。如图3中所图示的,SFM 141是在获取当前图像帧(第n帧)时指定所选特征相对于激光雷达测量系统的位置的位置的特征地图,而SFM 142是在获取前一图像帧(n-1帧)时指定所选特征相对于激光雷达测量系统的位置的位置的特征地图。
在图3中所描绘的实施例中,增量传感器测距模块151估计在第n特征集(即,SFMn)处激光雷达测量系统相对于在n-1特征集(即SFMn-1)处激光雷达测量系统的位置的六自由度(例如,X,Y,Z,Rx,Ry,Rz)位置。/>是通过SFMn中的所选特征的最佳拟合确定的,所述SFMn中的所选特征与SFMn-1中的特征相同。在一个示例中,大约300个特征被选择用于该分析。实时地执行对/>的估计以匹配激光雷达测量系统图像帧更新速率(例如10Hz)。假定激光雷达测量系统的角速度和线速度在更新周期(例如0.1秒)内是平滑且连续的。但是,如果发生速度的突然变化,则多分辨率SLAM模块150从激光雷达测量系统的惯性测量单元(IMU)接收输入并补偿所述速度的突然变化。
在一个示例中,增量传感器测距模块151通过最小化等式(2)的残差来估计,
(2)
其中x是来自当前特征集的特征点并且等式(2)表示边缘点和对应的边缘线之间或者平面点和对应的平面拼块之间的几何关系(即平移和旋转)。例如,等式(2)包括点到平面的距离、点到线的距离等。D是距离d的向量,并且每个特征点x具有距离d和由非线性函数f定义的关系。等式(3)说明了在非线性最小二乘最小化的每次迭代中对的估计:
(3)
其中λ是由伯格-马夸特(levenberg-marquardt)算法确定的标量因子,J是函数f的雅可比行列式(导数)。雅可比行列式通过数值微分确定。非线性最小二乘最小化识别一个位置,该位置使由等式(2)定义的残差最小化。
在图3中所描绘的实施例中,152被传送到特征定位器模块153。特征定位器模块153以激光雷达测量系统的更新速率(例如10Hz)将当前帧的特征点/>投影到世界坐标系W。针对连续的SFM重复执行此操作,以生成具有比SFM更高分辨率的大特征地图(LFM)。与SFM相比,LFM的在更长时间内(例如,每秒而不是每0.1秒)生成。
在图3中所描绘的实施例中,慢速传感器测距模块156接收当前LFM(155),该当前LFM描述在当前大帧索引k处许多特征(多于SFM)相对于世界坐标系W的位置。慢速传感器测距模块156还接收前一LFM(/>154),该前一LFM描述在前一大帧索引k-1处许多特征相对于世界坐标系W的位置。慢速传感器测距模块156通过对当前LFM与前一LFM中最重要的特征进行最佳拟合来估计相对于在前一帧处在世界坐标系中激光雷达测量系统的六自由度位置的世界坐标系中激光雷达测量系统的当前六自由度位置/>157。该优化类似于参考增量传感器测距模块151描述的优化,除了特征集更大并且参考世界坐标系。在一个示例中,该拟合以1Hz的速率执行。
在图3中所描绘的实施例中,快速传感器测距模块158接收处于当前大帧索引k的世界坐标系中激光雷达测量系统的当前位置157。通过将每个连续的增量位移(例如/>)递增地加到测量的相对于世界坐标系的估计值/>157,快速传感器测距模块158估计在当前小帧索引n的传感器相对于世界坐标系的当前六自由度位置(/>160)。该过程继续直到慢速传感器测距模块156生成新的传感器位置估计值(例如/>)。在该时间点,快速传感器测距模块158将新的估计值视为传感器的基线位置,并将每个连续的增量位移递增地加到基线位置,直到慢速传感器测距模块156提供另一个新的估计值为止。以这种方式,快速传感器测距模块以相对较快的更新速率(例如10Hz)提供传感器的位置相对于世界坐标系的更新的估计值。由慢速传感器测距模块156以相对较慢的更新速率(例如,1Hz)提供的传感器位置相对于世界坐标系的更准确的估计值周期性地校正该更新。如前所述,由增量传感器测距模块151基于相对较低分辨率特征地图来提供传感器位置的增量变化,而由慢速传感器测距模块提供的传感器位置的变化基于相对较高分辨率特征地图。以这种方式,由基于低分辨率特征地图的位置估计值引起的误差被基于高分辨率特征地图的更准确的估计值周期性地校正。
在图3中所描绘的实施例中,特征地图融合模块159接收激光雷达测量系统在世界坐标系中的当前位置157、当前LFM,即/>155以及前一LFM,即154。特征地图融合模块159基于当前传感器位置/>157一致地融合/>155和/>154,并将经融合的特征地图组合成全局网格地图/>161,所述全局网格地图识别各特征(建筑物、树木等)相对于世界坐标系的位置。在一个示例中,这以1Hz的更新速率发生。
如图2中所描绘的,作为非限制性示例,将地图161和位置估计值160存储在计算系统110的存储器113中或任何其它合适的存储器设备(例如,外部存储器或激光雷达测量系统104机载存储器)中。
图6描绘了一个实施例中的激光雷达测量系统104。图6中所描绘的激光雷达测量系统104的实施例作为非限制性示例被提供,因为可以采用许多其它的激光雷达测量系统来提供如本文所述的激光雷达图像信息。激光雷达测量系统104包括主控制器290和一个或多个集成激光雷达测量设备230。集成激光雷达测量设备230包括返回信号接收器集成电路(IC)、照明驱动器集成电路(IC)252、照明源260、光电检测器270和跨阻放大器(TIA)280。这些元件中的每一个均安装到公共基板235(例如,印刷电路板),公共基板235在元件之间提供机械支撑和电连接。
照明源260响应于电流脉冲253而发射照明光262的测量脉冲。在一些实施例中,照明源260是基于激光的(例如,激光二极管)。在一些实施例中,照明源基于一个或多个发光二极管。通常,可以考虑任何合适的脉冲照明源。照明光262离开激光雷达测量设备104,并在被测量的周围三维环境中从物体反射。反射光的一部分被收集作为与测量脉冲262相关联的返回测量光271。如图6中所描绘的,从集成激光雷达测量设备230发射的照明光262和指向集成激光雷达测量设备的对应的返回测量光271共享公共光路。
一方面,照明光262被激光雷达测量系统104的一个或多个射束整形光学元件263和射束扫描设备264聚焦并投射到周围环境中的特定位置。在另一方面,激光雷达测量系统104的射束扫描设备264和所述一个或多个射束整形光学元件263将返回测量光271引导并聚焦到光电检测器270上。射束扫描设备在射束整形光学器件和被测环境之间的光路中被采用。射束扫描设备有效地扩大了视场,并提高了3D 激光雷达系统视场内的采样密度。
在图6中所描绘的实施例中,射束扫描设备264是可移动反射镜元件,可移动反射镜元件通过旋转致动器265绕旋转轴267旋转。由主控制器290生成的命令信号266从主控制器290传送到旋转致动器265。作为响应,旋转致动器265使可移动反射镜元件264根据期望的运动轮廓进行扫描。
集成激光雷达测量设备230包括具有有效传感器区域274的光电检测器270。如图6中所描绘的,照明源160位于光电检测器的有效区域274的视场之外。如图6中所描绘的,包覆模制透镜272安装在光电检测器270上方。包覆模制透镜272包括与返回光271的射线接收锥相对应的锥形腔。来自照明源260的照明光262通过光纤波导被注入到检测器接收锥中。光耦合器将照明源260与光纤波导光学耦合。在光纤波导的末端,反射镜元件261定向为相对于波导成45度角,以将照明光262注入到返回光271的锥中。在一个实施例中,以45度角切割光纤波导的端面,并且端面涂覆有高反射介电涂层,用于提供反射镜表面。在一些实施例中,波导包括矩形玻璃芯和具有较低折射率的聚合物包层。在一些实施例中,利用具有与聚合物包层的折射率紧密匹配的折射率的材料来封装整个光学组件。以这种方式,波导以最小的遮挡将照明光262注入到返回光271的接收锥中。
波导在被投射到检测器270的有效感测区域274上的返回光271的接收锥内的放置被选择为确保照明斑点和检测器视场在远场中具有最大重叠。
如图6中所描绘的,从周围环境反射的返回光271由光电检测器270检测。在一些实施例中,光电检测器270是雪崩光电二极管。光电检测器270生成输出信号273,输出信号273由模拟跨阻放大器(TIA)280放大。然而,通常,输出信号273的放大可以包括多个放大器级。从这个意义上,模拟跨阻放大器作为非限制性示例被提供,因为在本专利文件的范围内可以考虑许多其它模拟信号放大方案。尽管在图6中将TIA 280描绘为与接收器IC 250分离的分立设备,但是通常,TIA 280可以与接收器IC 250集成在一起。在一些实施例中,优选将TIA 280与接收器IC 250集成在一起以节省空间并减少信号污染。
经放大的信号281被传送到返回信号接收器IC250。接收器IC 250包括定时电路和时间到数字转换器,时间到数字转换器估计测量脉冲从照明源260到三维环境中的反射物体并返回到光电检测器270的飞行时间。指示估计的飞行时间的信号255被传送到主控制器290以用于进一步处理并传送给激光雷达测量系统104的用户。此外,返回信号接收器IC250被配置为数字化包括峰值(即,返回脉冲)的返回信号281的各分段,并且将指示数字化分段的信号256传送到主控制器290。在一些实施例中,主控制器290处理这些信号分段以识别检测到的对象的属性。在一些实施例中,主控制器290将信号256传送给激光雷达测量系统104的用户以用于进一步处理。
主控制器290被配置为生成脉冲命令信号291,脉冲命令信号291被传送到集成激光雷达测量设备230的接收器IC250。脉冲命令信号291是由主控制器290生成的数字信号。因此,脉冲命令信号291的定时由与主控制器290相关联的时钟确定。在一些实施例中,脉冲命令信号291直接用于触发由照明驱动器IC 252进行的脉冲生成以及由接收器IC 250进行的数据获取。但是,照明驱动器IC 252和接收器IC 250与主控制器290不共享相同的时钟。因此,当直接使用脉冲命令信号291触发脉冲生成和数据获取时,对飞行时间的精确估计在计算上变得更加繁琐。
通常,激光雷达测量系统包括多个不同的集成激光雷达测量设备230,集成激光雷达测量设备230各自将来自激光雷达设备的脉冲照明光束发射到周围环境中,并测量从周围环境中的物体反射的返回光。
在这些实施例中,主控制器290将脉冲命令信号291传送到每个不同的集成激光雷达测量设备。以这种方式,主控制器290协调由任何数量的集成激光雷达测量设备执行的激光雷达测量的定时。在另一方面,射束整形光学元件263和射束扫描设备264处于与每个集成激光雷达测量设备相关联的照明脉冲和返回测量脉冲的光路中。以这种方式,射束扫描设备264引导激光雷达测量系统104的每个照明脉冲和返回测量脉冲。
在所描绘的实施例中,接收器IC 250接收脉冲命令信号291,并响应于脉冲命令信号291而生成脉冲触发信号VTRG251。脉冲触发信号251被传送至照明驱动器IC 252,并直接触发照明驱动器IC 252将照明源260电耦合至电源233并生成照明光脉冲262。此外,脉冲触发信号251直接触发对返回信号281的数据获取以及相关联的飞行时间计算。以这种方式,基于接收器IC 250的内部时钟生成的脉冲触发信号251被用于触发脉冲生成和返回脉冲数据获取。这确保脉冲生成和返回脉冲获取的精确同步,从而实现通过时间到数字转换的精确飞行时间计算。
图7描绘了与以下内容相关联的定时的图示:来自集成激光雷达测量设备230的测量脉冲的发射和返回测量脉冲的捕获。如图7中所描绘的,通过由接收器IC 250生成的脉冲触发信号262的上升沿来发起测量。如图6和图7中所描绘的,经放大的返回信号281被接收器IC 250接收。如前所述,通过在脉冲触发信号262的上升沿处启用数据获取来发起测量窗口(即,所收集的返回信号数据与特定测量脉冲相关联的时间段)。接收器IC 250控制测量窗口的持续时间Tmeasurement,以与响应于测量脉冲序列的发射而期望返回信号的时间窗口相对应。在一些示例中,测量窗口在脉冲触发信号262的上升沿处被启用,并且在与光在一定距离上的飞行时间相对应的时间处被禁用,所一定距离大约是激光雷达系统范围的两倍。以这种方式,打开测量窗口以收集从与激光雷达系统相邻的物体(即,飞行时间可忽略)到位于激光雷达系统最大范围处的物体的返回光。以这种方式,排除了不可能导致有用的返回信号的所有其他光。
如图7中所描绘的,返回信号281包括与所发射的测量脉冲相对应的三个返回测量脉冲。通常,对所有检测到的测量脉冲执行信号检测。可以执行进一步的信号分析以识别最近的有效信号281B(即,返回测量脉冲中的第一个有效实例)、最强的信号和最远的有效信号281C(即,测量窗口中返回测量脉冲中的最后一个有效实例)。激光雷达系统可能会将这些实例中的任何一个报告为潜在有效的距离测量结果。
与来自激光雷达系统的光的发射相关联的内部系统延迟(例如,信号传送延迟和与开关元件、能量存储元件和脉冲发光设备相关联的等待时间)以及与收集光并生成指示所收集的光的信号相关联的延迟(例如,放大器等待时间、模数转换延迟等)在光的测量脉冲的飞行时间的估计中导致误差。因此,基于脉冲触发信号262的上升沿与每个有效返回脉冲(即,281B和281C)之间经过的时间的飞行时间的测量引入了不期望的测量误差。在一些实施例中,采用经校准的预定延迟时间来补偿电子延迟,以得到对实际光学飞行时间的经校正的估计。但是,针对动态变化的电子延迟的静态校正的准确性受到限制。尽管可以采用频繁的重新校准,但这会以计算复杂度为代价,并且可能会干扰系统正常运行时间。
在另一方面,接收器IC 250基于检测到由于内部串扰而检测到的脉冲281A与有效返回脉冲(例如281B和281C)之间经过的时间来测量飞行时间,所述内部串扰发生在照明源260和光电检测器270之间。以这种方式,从飞行时间的估计值中消除了系统延迟。由内部串扰生成的脉冲281A实际上没有光传播距离。因此,来自脉冲触发信号的上升沿和检测到脉冲281A的实例的时间延迟捕获了与照明和信号检测相关联的所有系统延迟。通过参考检测到的脉冲281A来测量有效返回脉冲(例如,返回脉冲281B和181C)的飞行时间,消除了由于内部串扰引起的与照明和信号检测相关联的所有系统延迟。如图7中所描绘的,接收器IC250参考返回脉冲281A估计与返回脉冲281B相关联的飞行时间TOF1和与返回脉冲281C相关的飞行时间TOF2。
在一些实施例中,信号分析完全由接收器IC 250执行。在这些实施例中,从集成激光雷达测量设备230传送的信号255包括由接收器IC 250确定的飞行时间的指示。在一些实施例中,信号256包括由接收器IC 250生成的返回信号281的数字化分段。这些原始测量信号分段由位于3D 激光雷达系统上(例如,处理器295)或3D 激光雷达系统外部的一个或多个处理器进行进一步处理,以得出距离的另一估计值,检测到的物体或测量结果的多个属性(诸如反射率、强度、可靠性或它们的组合)之一的估计值。
主控制器290或任何外部计算系统可以包括但不限于个人计算机系统、大型计算机系统、工作站、图像计算机、并行处理器或本领域已知的任何其他设备。通常,术语“计算系统”可以广义地定义为包括具有一个或多个处理器的任何设备,该处理器执行来自存储器介质的指令。
实现诸如本文所述的那些的方法的程序指令292可以通过诸如导线、电缆或无线传输链路之类的传输介质来传输。例如,如图6中所示的,存储在存储器291中的程序指令292通过总线294被传输到处理器295。程序指令292被存储在计算机可读介质(例如,存储器291)中。示例性计算机可读介质包括只读存储器、随机存取存储器、磁盘或光盘或磁带。
图8图示了适合于由本文所述的激光雷达测量系统实现的方法200的流程图。在一些实施例中,激光雷达测量系统104可根据图8中所示的方法200进行操作。然而,通常,方法200的执行不限于参考图1描述的激光雷达测量系统104的实施例。这些图示和对应的说明是作为示例提供的,因为可以考虑许多其他实施例和操作示例。
在框201中,利用移动激光雷达测量系统在三维环境中测量多个点。
在框202中,生成图像帧的时间序列。每个图像帧包括多个测量点,每个测量点与三维环境中相对于激光雷达测量系统的不同位置的测量结果相关联。多个测量点中每个测量点的每个测量结果包括:测量点相对于激光雷达测量系统的位置的指示以及所述测量结果的光学属性的指示。
在框203中,估计在当前图像帧处激光雷达测量系统相对于紧接在前的图像帧的位置。
在框204中,通过将第一小特征地图序列中每个小特征地图的测量点投影到固定于3D环境的世界坐标系,从第一小特征地图序列生成第一大特征地图。
在框205中,通过将第二小特征地图序列中每一个小特征地图的测量点投影到固定于3D环境的世界坐标系,从第二小特征地图序列生成第二大特征地图。第二小特征地图序列紧随第一小特征地图序列。
在框206中,基于第一大特征地图和第二大特征地图来估计激光雷达测量系统相对于世界坐标系的当前位置。
应该认识到,整个本公开中描述的各个步骤可以由单个计算机系统110或替代地由多个计算机系统110执行。此外,激光雷达测量系统104的不同子系统可以包括适合于执行本文所述步骤的至少一部分的计算机系统。因此,前述描述不应被解释为对本发明的限制,而仅仅是说明。此外,一个或多个计算系统110可以被配置为执行本文描述的任何方法实施例的(一个或多个)任何其他步骤。
另外,计算机系统110可以以本领域中已知的任何方式通信耦合到激光雷达测量系统104。例如,一个或多个计算系统110可以耦合到与激光雷达测量系统104相关联的计算系统。在另一示例中,集成激光雷达测量设备230可以由计算机系统110直接控制。
计算机系统110可以被配置为通过传输介质从激光雷达测量系统104接收和/或获取数据或信息,传输介质可以包括有线和/或无线部分。以这种方式,传输介质可以用作计算机系统110和激光雷达测量系统104的其他子系统之间的数据链路。
计算机系统110可以被配置为通过传输介质从其他系统接收和/或获取数据或信息(例如,激光雷达测量结果、压缩数据集、分割的数据集、特征集等),传输介质可以包括有线和/或无线部分。以这种方式,传输介质可以用作计算机系统110和其他系统(例如,激光雷达测量系统104的机载存储器、外部存储器或外部系统)之间的数据链路。例如,计算系统110可以被配置为经由数据链路从存储介质(即,存储器113或存储器291)接收测量数据(例如,激光雷达图像信息105)。此外,计算机系统110可以经由传输介质将数据发送到其他系统。例如,由计算机系统110确定的特征地图和位置信息可以存储在永久或半永久存储器设备(例如,存储器114)中。在另一个示例中,地图绘制信息109和位置信息108可以被传送到车辆控制器107。就这一点而言,测量结果可以被输出到另一个系统。
计算系统110可包括但不限于个人计算机系统、大型计算机系统、工作站、图像计算机、并行处理器或本领域已知的任何其他设备。通常,术语“计算系统”可以广义地定义为包括具有一个或多个处理器的任何设备,该处理器执行来自存储器介质的指令。
实现诸如本文所述的那些的方法的程序指令115可以通过诸如导线、电缆或无线传输链路之类的传输介质来传输。例如,如图1中所示,存储在存储器113中的程序指令通过总线112被传输到处理器111。程序指令115被存储在计算机可读介质(例如,存储器113)中。示例性计算机可读介质包括只读存储器、随机存取存储器、磁盘或光盘或磁带。
在一个或多个示例性实施例中,可以以硬件、软件、固件或它们的任何组合来实现所描述的功能。如果以软件实现,则这些功能可以作为一个或多个指令或代码被存储在计算机可读介质上或通过计算机可读介质传输。计算机可读介质包括计算机存储介质和通信介质,通信介质包括促进将计算机程序从一个地方转移到另一地方的任何介质。存储介质可以是可由通用或专用计算机访问的任何可用介质。作为示例而非限制,这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储设备或其他磁性存储设备、或可以用于承载或存储采用指令或数据结构形式的期望的程序代码构件并且可由通用或专用计算机或者通用或专用处理器访问的任何其他介质。而且,任何连接都适当地称为计算机可读介质。例如,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(诸如红外、无线电和微波)从网站、服务器或其他远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电和微波)被包括在介质的定义中。本文使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘,其中磁盘通常以磁性方式复制数据,而光盘则利用激光以光学方式复制数据。上述内容的组合也应包括在计算机可读介质的范围内。
尽管以上出于指导目的描述了某些特定实施例,但是该专利文件的教导具有一般适用性,并且不限于上述特定实施例。因此,在不脱离权利要求中所阐述的本发明的范围的情况下,可以对所描述的实施例的各种特征进行各种修改、改编和组合。
Claims (24)
1.一种激光雷达测量系统,包括:
多个激光雷达测量设备,每个激光雷达测量设备包括:
照明源,当照明源电耦合至电源时,发射照明光的测量脉冲;
照明驱动器,电耦合至照明源和电源,其中照明驱动器被配置为响应于脉冲触发信号而选择性地将照明源电耦合至所述电源;
光电检测器,响应于照明光的测量脉冲,检测从三维环境中的点反射的返回光的量;
返回信号接收器,生成返回信号,所述返回信号指示随着时间的推移而被检测到的返回光的量;和
主控制器,被配置为将图像帧的时间序列传送给同时定位和地图绘制引擎,其中,每个图像帧包括多个不同的测量点,其中,每个测量点包括相应测量点相对于激光雷达测量系统的位置的估计和相应测量点的光学属性,
所述同时定位和地图绘制引擎被配置为:
生成多个小特征地图,其中每个小特征地图对应于所述图像帧的时间序列中的相应图像帧并且包括从所述相应图像帧提取的一个或多个特征点,并且其中每个小特征地图通过以下步骤生成:在(ii)从所述相应图像帧提取所述一个或多个特征点之前,(i)对所述相应图像帧中的所述多个测量点进行分割和聚类;
估计在当前图像帧处激光雷达测量系统相对于紧接在前的图像帧的第一位置,其中估计激光雷达测量系统的第一位置包括将表示几何关系的表达式拟合到从所述当前图像帧提取的多个特征点和从所述紧接在前的图像帧提取的对应的多个特征点;
通过将第一小特征地图序列中每个小特征地图的特征点投影到固定于3D环境的世界坐标系,从第一小特征地图序列生成第一大特征地图;
通过将第二小特征地图序列中每一个小特征地图的特征点投影到固定于3D环境的世界坐标系,从第二小特征地图序列生成第二大特征地图,其中第二小特征地图序列紧随第一小特征地图序列;和
基于第一大特征地图和第二大特征地图来估计激光雷达测量系统相对于世界坐标系的第二位置,其中估计激光雷达测量系统的第二位置包括将表示几何关系的表达式拟合到第一大特征地图的多个特征点和第二大特征地图的对应的多个特征点。
2.根据权利要求1所述的激光雷达测量系统,其中,所述同时定位和地图绘制引擎还被配置为:
基于激光雷达测量系统的所述第二位置以及激光雷达测量系统的第一位置,估计激光雷达测量系统相对于世界坐标系的第三位置。
3.根据权利要求1所述的激光雷达测量系统,其中,对所述相应图像帧中的所述多个测量点进行分割包括将所述相应图像帧中的所述多个测量点划分成第一组测量点和第二组测量点,所述第一组测量点被保留用于进一步分析,所述第二组测量点不被保留用于进一步分析。
4.根据权利要求3所述的激光雷达测量系统,其中,对所述相应图像帧中的所述多个测量点进行聚类包括将与类似对象相关联的所述第一组测量点聚类为一个或多个子组。
5.根据权利要求4所述的激光雷达测量系统,其中,从所述相应图像帧提取所述一个或多个特征点包括基于所述第一组测量点中每个测量点的光学属性在与所述相应图像帧相关联的第一组测量点中识别所述一个或多个测量点。
6.根据权利要求1所述的激光雷达测量系统,其中,所述相应测量点的所述光学属性包括所述相应测量点的反射率、来自所述测量点的返回光的强度、所述相应测量点的测量结果的可靠性或以上各项的任何组合。
7.一种方法,包括:
利用移动激光雷达测量系统在三维环境中测量多个点;
生成图像帧的时间序列,其中每个图像帧包括多个测量点,每个测量点与三维环境中相对于激光雷达测量系统的不同位置的测量结果相关联,其中每个测量结果包括相应测量点相对于激光雷达测量系统的位置的指示以及所述相应测量点的光学属性的指示;
生成多个小特征地图,其中每个小特征地图对应于所述图像帧的时间序列中的相应图像帧并且包括从所述相应图像帧提取的一个或多个特征点,并且其中每个小特征地图通过以下步骤生成:在(ii)从所述相应图像帧提取所述一个或多个特征点之前,(i)对所述相应图像帧中的所述多个测量点进行分割和聚类;
估计在当前图像帧处激光雷达测量系统相对于紧接在前的图像帧的第一位置,其中估计激光雷达测量系统的第一位置包括将表示几何关系的表达式拟合到从所述当前图像帧提取的多个特征点和从所述紧接在前的图像帧提取的对应的多个特征点;
通过将第一小特征地图序列中每个小特征地图的特征点投影到固定于3D环境的世界坐标系,从第一小特征地图序列生成第一大特征地图;
通过将第二小特征地图序列中每一个小特征地图的特征点投影到固定于3D环境的世界坐标系,从第二小特征地图序列生成第二大特征地图,其中第二小特征地图序列紧随第一小特征地图序列;以及
基于第一大特征地图和第二大特征地图来估计激光雷达测量系统相对于世界坐标系的第二位置,其中估计激光雷达测量系统的第二位置包括将表示几何关系的表达式拟合到第一大特征地图的多个特征点和第二大特征地图的对应的多个特征点。
8.根据权利要求7所述的方法,还包括:
基于激光雷达测量系统的第二位置以及激光雷达测量系统的第一位置,估计激光雷达测量系统相对于世界坐标系的第三当前位置。
9.根据权利要求7所述的方法,其中对所述相应图像帧中的所述多个测量点进行分割包括将所述相应图像帧中的所述多个测量点划分成第一组测量点和第二组测量点,所述第一组测量点被保留用于进一步分析,所述第二组测量点不被保留用于进一步分析。
10.根据权利要求9所述的方法,其中:
对所述相应图像帧中的所述多个测量点进行聚类包括将与类似对象相关联的所述第一组测量点聚类为一个或多个子组。
11.根据权利要求10所述的方法,其中从所述相应图像帧提取所述一个或多个特征点包括基于所述第一组测量点中每个测量点的光学属性在与所述相应图像帧相关联的第一组测量点中识别所述一个或多个测量点。
12.根据权利要求7所述的方法,其中,所述相应测量点的所述光学属性包括所述相应测量点的反射率、来自所述测量点的返回光的强度、所述测量结果的可靠性或以上各项的任何组合。
13.一种方法,包括:
相对于三维环境移动激光雷达测量系统;
生成图像帧的时间序列,其中每个图像帧包括多个测量点,每个测量点与三维环境中相对于激光雷达测量系统的不同位置的测量结果相关联,其中每个测量结果包括所述多个测量点中的相应测量点相对于激光雷达测量系统的位置的指示以及所述测量结果的光学属性的指示,其中,所述光学属性包括所测量的位置的反射率、来自所测量的位置的返回光的强度、所述测量结果的可靠性或以上各项的任何组合;
生成多个小特征地图,其中每个小特征地图对应于所述图像帧的时间序列中的相应图像帧并且包括从所述相应图像帧提取的一个或多个特征点,并且其中每个小特征地图通过以下步骤生成:在(ii)从所述相应图像帧提取所述一个或多个特征点之前,(i)对所述相应图像帧中的所述多个测量点进行分割和聚类,其中分割涉及在特征提取之前移除冗余数据点;
基于由激光雷达测量系统生成的图像帧的时间序列,确定三维环境的一致三维几何地图;以及
基于由激光雷达测量系统生成的图像帧的时间序列,估计移动激光雷达测量系统相对于三维环境的第一位置。
14.根据权利要求13所述的方法,其中对所述相应图像帧中的所述多个测量点进行分割包括将所述相应图像帧中的所述多个测量点划分成第一组测量点和第二组测量点,所述第一组测量点被保留用于进一步分析,所述第二组测量点不被保留用于进一步分析。
15.根据权利要求14所述的方法,其中对所述相应图像帧中的所述多个测量点进行聚类包括将与类似对象相关联的所述第一组测量点聚类为一个或多个子组。
16.根据权利要求15所述的方法,其中从所述相应图像帧提取所述一个或多个特征点包括基于所述第一组测量点中每个测量点的光学属性在与所述相应图像帧相关联的第一组测量点中识别所述一个或多个测量点。
17.根据权利要求14所述的方法,其中,所述分割涉及:
基于所述冗余数据点中每个的高程来移除冗余数据点。
18.根据权利要求14所述的方法,其中,所述分割涉及:
将每个三维图像帧细分为三维单元网格;和
将三维单元网格沿高度维度投影到二维上。
19.根据权利要求18所述的方法,其中,所述分割还涉及:
基于三维单元网格中的单元内的测量点的数量是否小于预定阈值,识别是否保留所述三维单元网格中的单元内的测量点用于进一步分析。
20.根据权利要求18所述的方法,其中,所述分割还涉及:
确定三维单元网格的单元内的测量点的光学属性的平均值;
确定所述单元内每个测量点的光学属性的值与光学属性的所述平均值之间的差;以及
如果所述差超过预定阈值,则保留所述单元内的每个测量点。
21.根据权利要求18所述的方法,其中,所述分割还涉及:
确定三维单元网格的单元内的测量点的高程的最大值;
确定三维单元网格的单元内的测量点的高程的最小值;
确定最大值和最小值之间的差;以及
如果所述差超过预定阈值,则保留所述单元内的测量点。
22.根据权利要求18所述的方法,其中,所述分割还涉及:
确定所述三维单元网格的第一单元内的测量点的高程的第一平均值;
确定所述三维单元网格的第二单元内的测量点的高程的第二平均值,其中第二单元与第一单元相邻;
确定第一平均值与第二平均值之差;以及
如果所述差超过预定阈值,则保留第一单元内的测量点。
23.根据权利要求17所述的方法,还包括:通过以下步骤识别所述三维环境中的所述一个或多个对象:
确定与关联于每个图像帧的所述第一组测量点中每个测量点相关联的光学梯度值,其中每个梯度均是整数值,其中所述光学梯度是以下各项中的任何一个:反射率梯度、强度梯度、可靠性梯度、或上述各项的任何组合;
基于所述值,将与所述第一组测量点中的每个测量点相关联的所述光学梯度值分类到仓集中,其中,所述仓集中的每个仓与不同的整数值相关联;和
将所述仓集分类成多个不同的仓组,这些仓组包括与每个图像帧相关联的小特征地图,每个仓组与不同范围的整数值相关联。
24.根据权利要求23所述的方法,其中,估计所述移动激光雷达测量系统的位置涉及:
估计在当前图像帧处激光雷达测量系统相对于紧接在前的图像帧的第一位置;
通过将第一小特征地图序列中每个小特征地图的特征点投影到固定于3D环境的世界坐标系,从第一小特征地图序列生成第一大特征地图;
通过将第二小特征地图序列中每一个小特征地图的特征点投影到固定于3D环境的世界坐标系,从第二小特征地图序列生成第二大特征地图,其中第二小特征地图序列紧随第一小特征地图序列;
基于第一大特征地图和第二大特征地图估计激光雷达测量系统相对于世界坐标系的第二位置;以及
基于激光雷达测量系统的第二位置以及激光雷达测量系统的第一位置,估计激光雷达测量系统相对于世界坐标系的第三位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762558256P | 2017-09-13 | 2017-09-13 | |
US62/558256 | 2017-09-13 | ||
PCT/US2018/050934 WO2019055691A1 (en) | 2017-09-13 | 2018-09-13 | MULTI-RESOLUTION SIMULTANEOUS LOCATION AND MAPPING BASED ON LIDAR 3D MEASUREMENTS |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111492265A CN111492265A (zh) | 2020-08-04 |
CN111492265B true CN111492265B (zh) | 2024-03-26 |
Family
ID=65630991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880073151.6A Active CN111492265B (zh) | 2017-09-13 | 2018-09-13 | 基于3d激光雷达测量的多分辨率、同时定位和地图绘制 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11821987B2 (zh) |
EP (1) | EP3665507A4 (zh) |
JP (1) | JP7361682B2 (zh) |
KR (1) | KR20200098480A (zh) |
CN (1) | CN111492265B (zh) |
WO (1) | WO2019055691A1 (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160267669A1 (en) * | 2015-03-12 | 2016-09-15 | James W. Justice | 3D Active Warning and Recognition Environment (3D AWARE): A low Size, Weight, and Power (SWaP) LIDAR with Integrated Image Exploitation Processing for Diverse Applications |
JP6772944B2 (ja) * | 2017-04-19 | 2020-10-21 | トヨタ自動車株式会社 | 自動運転システム |
CN110021072B (zh) * | 2019-04-03 | 2020-08-07 | 武汉大学 | 面向全息测绘的多平台点云智能处理方法 |
DE102019207448A1 (de) * | 2019-05-21 | 2020-11-26 | Robert Bosch Gmbh | Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners |
CN110175576B (zh) * | 2019-05-29 | 2022-09-16 | 电子科技大学 | 一种结合激光点云数据的行驶车辆视觉检测方法 |
US11310451B1 (en) | 2019-09-05 | 2022-04-19 | Waymo Llc | Smart sensor with region of interest capabilities |
EP3819673A4 (en) * | 2019-09-12 | 2021-07-21 | Huawei Technologies Co., Ltd. | POSITIONING METHOD, DEVICE AND SYSTEM |
US11262759B2 (en) * | 2019-10-16 | 2022-03-01 | Huawei Technologies Co., Ltd. | Method and system for localization of an autonomous vehicle in real time |
US11252366B2 (en) * | 2019-11-19 | 2022-02-15 | Waymo Llc | Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing |
US11428550B2 (en) | 2020-03-03 | 2022-08-30 | Waymo Llc | Sensor region of interest selection based on multisensor data |
US20230110609A1 (en) * | 2020-03-13 | 2023-04-13 | Chiba Institute Of Technology | Self-localization device |
CN111340136B (zh) * | 2020-03-17 | 2020-10-13 | 飞燕航空遥感技术有限公司 | 机载激光雷达点云中建筑物点分类扩张方法和系统 |
CN112654883B (zh) * | 2020-03-25 | 2022-05-31 | 华为技术有限公司 | 一种雷达目标聚类方法及装置 |
US11354547B2 (en) | 2020-03-31 | 2022-06-07 | Toyota Research Institute, Inc. | Systems and methods for clustering using a smart grid |
CN112068155B (zh) * | 2020-08-13 | 2024-04-02 | 沃行科技(南京)有限公司 | 一种基于多个多线激光雷达分区障碍物检测方法 |
US20230182294A2 (en) * | 2020-10-21 | 2023-06-15 | Divergent Technologies, Inc. | 3-d printed metrology feature geometry and detection |
US11841439B2 (en) * | 2020-11-02 | 2023-12-12 | Waymo Llc | Point cloud segmentation using a coherent lidar for autonomous vehicle applications |
CN112406964B (zh) * | 2020-11-10 | 2022-12-02 | 北京埃福瑞科技有限公司 | 一种列车定位方法及系统 |
TWI768548B (zh) * | 2020-11-19 | 2022-06-21 | 財團法人資訊工業策進會 | 定位用基礎資訊產生系統與方法以及自身定位判斷裝置 |
KR102417711B1 (ko) * | 2020-12-08 | 2022-07-05 | 국민대학교산학협력단 | 객체 검출 장치 및 방법 |
US11756283B2 (en) | 2020-12-16 | 2023-09-12 | Waymo Llc | Smart sensor implementations of region of interest operating modes |
CN113778078A (zh) * | 2021-03-05 | 2021-12-10 | 北京京东乾石科技有限公司 | 定位信息生成方法、装置、电子设备和计算机可读介质 |
TWI767601B (zh) * | 2021-03-10 | 2022-06-11 | 廣達電腦股份有限公司 | 用於室內定位、成像、偵測、姿勢判別、形狀判別的電子裝置及方法 |
CN113312440B (zh) * | 2021-05-21 | 2022-11-08 | 浙江商汤科技开发有限公司 | 地图构建方法、装置、电子设备、计算机可读存储介质 |
CN113298044B (zh) * | 2021-06-23 | 2023-04-18 | 上海西井信息科技有限公司 | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 |
CN114895288B (zh) * | 2022-05-10 | 2022-11-15 | 哈尔滨方聚科技发展有限公司 | 三维场景的激光回波生成系统 |
CN114755693B (zh) * | 2022-06-15 | 2022-09-16 | 天津大学四川创新研究院 | 基于多旋翼无人机的基建设施测量系统和方法 |
CN115166757B (zh) * | 2022-07-25 | 2023-08-01 | 珠海市睿特光电技术有限公司 | 激光雷达实际探测距离测量的方法、系统及存储介质 |
CN116630411B (zh) * | 2023-07-26 | 2023-09-29 | 湖南睿图智能科技有限公司 | 基于融合感知的矿用电铲物料面识别方法、装置及系统 |
CN117471433B (zh) * | 2023-12-28 | 2024-04-02 | 广东威恒输变电工程有限公司 | 基于高反射强度标靶的施工机械激光点云实时提取方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008008970A2 (en) * | 2006-07-13 | 2008-01-17 | Velodyne Acoustics, Inc | High definition lidar system |
US8717545B2 (en) | 2009-02-20 | 2014-05-06 | Digital Signal Corporation | System and method for generating three dimensional images using lidar and video measurements |
US8675181B2 (en) | 2009-06-02 | 2014-03-18 | Velodyne Acoustics, Inc. | Color LiDAR scanner |
US8476571B2 (en) | 2009-12-22 | 2013-07-02 | Siemens Aktiengesellschaft | SiPM photosensor with early signal digitization |
EP3901653A3 (en) | 2010-05-17 | 2022-03-02 | Velodyne Lidar USA, Inc. | High definition lidar system |
US9037396B2 (en) | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
JP5897517B2 (ja) | 2013-08-21 | 2016-03-30 | シャープ株式会社 | 自律移動体 |
KR102136401B1 (ko) * | 2013-10-21 | 2020-07-21 | 한국전자통신연구원 | 다-파장 이미지 라이다 센서장치 및 이의 신호처리 방법 |
US9286538B1 (en) * | 2014-05-01 | 2016-03-15 | Hrl Laboratories, Llc | Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition |
US9759809B2 (en) | 2014-07-08 | 2017-09-12 | Sikorsky Aircraft Corporation | LIDAR-based shipboard tracking and state estimation for autonomous landing |
EP3078935A1 (en) * | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
GB2543749A (en) * | 2015-10-21 | 2017-05-03 | Nokia Technologies Oy | 3D scene rendering |
US10401852B2 (en) * | 2015-11-04 | 2019-09-03 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
US9630619B1 (en) | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Robotic vehicle active safety systems and methods |
JP6657934B2 (ja) | 2015-12-25 | 2020-03-04 | トヨタ自動車株式会社 | 物体検出装置 |
US10627490B2 (en) * | 2016-01-31 | 2020-04-21 | Velodyne Lidar, Inc. | Multiple pulse, LIDAR based 3-D imaging |
CN110402399B (zh) * | 2017-01-03 | 2023-07-18 | 应诺维思科技有限公司 | 用于检测和分类物体的激光雷达系统和方法 |
-
2018
- 2018-09-13 EP EP18856955.2A patent/EP3665507A4/en active Pending
- 2018-09-13 WO PCT/US2018/050934 patent/WO2019055691A1/en unknown
- 2018-09-13 CN CN201880073151.6A patent/CN111492265B/zh active Active
- 2018-09-13 KR KR1020207010655A patent/KR20200098480A/ko not_active Application Discontinuation
- 2018-09-13 JP JP2020515223A patent/JP7361682B2/ja active Active
- 2018-09-13 US US16/130,610 patent/US11821987B2/en active Active
-
2023
- 2023-10-11 US US18/484,573 patent/US20240036207A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3665507A1 (en) | 2020-06-17 |
WO2019055691A1 (en) | 2019-03-21 |
CN111492265A (zh) | 2020-08-04 |
US11821987B2 (en) | 2023-11-21 |
US20190079193A1 (en) | 2019-03-14 |
EP3665507A4 (en) | 2021-08-11 |
JP7361682B2 (ja) | 2023-10-16 |
JP2020533601A (ja) | 2020-11-19 |
US20240036207A1 (en) | 2024-02-01 |
KR20200098480A (ko) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111492265B (zh) | 基于3d激光雷达测量的多分辨率、同时定位和地图绘制 | |
US11874377B2 (en) | Multiple pixel scanning LIDAR | |
US20230042797A1 (en) | Lidar based distance measurements with tiered power control | |
CA3017819C (en) | Lidar based 3-d imaging with varying illumination intensity | |
CN108885263B (zh) | 具有可变脉冲重复的基于lidar的3d成像 | |
KR101686054B1 (ko) | 보조 측정기의 공간 위치를 결정하기 위한 위치 결정 방법, 기계 판독 저장 매체, 측정 장치 및 측정 시스템 | |
WO2021072710A1 (zh) | 移动物体的点云融合方法、系统及计算机存储介质 | |
CN112513679B (zh) | 一种目标识别的方法和装置 | |
US10860034B1 (en) | Barrier detection | |
KR101888295B1 (ko) | 레이저 거리 센서의 측정 거리에 대해 추정된 거리 유형의 신뢰성을 평가하는 방법 및 이를 이용한 이동 로봇의 위치 추정 방법 | |
CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
CN113768419B (zh) | 确定扫地机清扫方向的方法、装置及扫地机 | |
US11513197B2 (en) | Multiple-pulses-in-air laser scanning system with ambiguity resolution based on range probing and 3D point analysis | |
CN110554398B (zh) | 一种激光雷达及探测方法 | |
CN116129669A (zh) | 一种基于激光雷达的车位测评方法、系统、设备及介质 | |
CN114119465A (zh) | 一种点云数据处理方法及装置 | |
CN115273015A (zh) | 一种预测方法、装置、智能驾驶系统和车辆 | |
US20230184950A1 (en) | Non-Contiguous 3D LIDAR Imaging Of Targets With Complex Motion | |
KR102224106B1 (ko) | 자율 주행 자동차의 객체 검출 시스템 | |
KR102094773B1 (ko) | 이동체의 관찰 맵을 이용한 맵 매칭 방법 및 이를 이용한 컴퓨팅 장치 | |
US20220269921A1 (en) | Motion Compensation and Refinement in Recurrent Neural Networks | |
KR101840328B1 (ko) | 3d 레이저 스캐너 | |
KR20220095819A (ko) | 라이다 센서를 이용한 객체 추적 방법 및 장치, 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 | |
KR20240047400A (ko) | 이동 대상의 포즈 결정을 위한 시스템들 및 방법들 | |
CN115128620A (zh) | 一种确定对象位置的方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210218 Address after: California, USA Applicant after: Wieden lidar USA Ltd. Address before: California, USA Applicant before: VELODYNE LIDAR, Inc. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |