CN114577196B - 使用光流的激光雷达定位 - Google Patents
使用光流的激光雷达定位 Download PDFInfo
- Publication number
- CN114577196B CN114577196B CN202111337351.8A CN202111337351A CN114577196B CN 114577196 B CN114577196 B CN 114577196B CN 202111337351 A CN202111337351 A CN 202111337351A CN 114577196 B CN114577196 B CN 114577196B
- Authority
- CN
- China
- Prior art keywords
- optical flow
- flow field
- lidar
- map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 description 25
- 210000004027 cell Anatomy 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000002287 horizontal cell Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Navigation (AREA)
Abstract
本发明涉及使用光流的激光雷达定位，提供了一种用于相对于预定义地图图像确定激光雷达传感器姿态的方法(300)，包括：获取(314)激光雷达高度图；确定(322)使激光雷达高度图与地图图像相关的光流场；以及基于所确定的光流场来计算(324)激光雷达传感器姿态的最大似然/ML估计。光流场可以可选地由回归模型确定，该回归模型另外产生要用于ML估计中的相关联的变化性张量。明确地说，光流场可以由经训练的神经网络确定。
Description
技术领域
本公开涉及导航技术的领域，并且明确地说涉及用于光探测和测距(激光雷达)传感器相对于预定义地图的精确定位的方法和系统。根据本公开的定位在驾驶员辅助和自动驾驶中潜在地有用。
背景技术
随着高性能驾驶员辅助系统和自动驾驶功能的引入，对精确位置知识的需求已增加到必须将基于卫星的定位与昂贵的校正服务相结合以提供足够精度的程度。即便如此，由于各种问题(包含多路径信号以及在挑战性状况下的信号中断)，这些解决方案也面临严重的可用性和可靠性问题。
高精度定位的常见替代方案是绘制受关注区域的地图，并且接着相对于预先记录的地图进行定位。激光雷达传感器对光照和纹理变化性具有鲁棒性，这是对于定位任务来说与相机传感器相比的重要优点。此外，激光雷达传感器在其它任务(诸如，目标检测和跟踪)中有用，这使得它成为自主车辆的实用选择。
大多数定位方法将问题分为位置检索阶段(通常称为全局定位)和局部细化阶段。虽然基于激光雷达的位置检索方法确实存在，但较粗略的全局定位通常留给外部传感器，诸如，基于卫星的定位或惯性技术。本公开解决了局部细化问题。
早期的激光雷达定位方法使用模板匹配以找到使传感器数据与地图之间的相关最大化的刚性变换。为了实现此举，传感器点与地图点两者都投影到从俯视视角看的二维(2D)图像中，并且由离散搜索空间中的所有变换引起的模板与地图相关。定位精度一般为亚分米，但搜索空间必须被约束以限制计算复杂性，这意味着需要精确的传感器姿态先验。
激光雷达定位的另一选项是应用点云配准方法。大量配准方法的做法是找到一组对应关系，即，传感器数据与地图中的匹配特征对，并计算使传感器数据与地图最佳对齐的刚体变换。迭代最近点(ICP)方法运行重复的最近距离搜索以确定对应关系，从而逐渐接近对齐。当初始化不准确时，ICP和相关方法会趋于收敛到局部最小值，并且背负着它们的重复的对应关系搜索的计算成本。快速全局配准(FGR)就其本身来说通过使用局部特征描述符将对应关系计算一次来解决这些缺点，并且通过使全局目标函数最小化来直接解出姿态。FGR速度快，并且受局部最小值问题的影响较小，但可能容易受到不正确或不明确的对应关系匹配的影响。
最近的配准文献已应用深度学习以对性能较好的描述符进行编码，并检测其描述符可能形成精确匹配的关键点。这导致了用于配准的描述符性能的显著提高。然而，对于点描述符进行编码的问题在很大程度上仍未解决，其中所述点描述符捕获用于全局匹配所需的大结构形状和用于精确定位所需的精细细节两者。
发明内容
一个目的是提出一种确定激光雷达传感器姿态的方法，其中线性和角度定位精度能够与ICP和其它高性能方法相媲美，通常是<0.04m(米)位置和<0.1°方位角。另一目的是提出一种激光雷达姿态确定方法，该方法通常能够在20m或更大的先验误差的情况下恢复位置。另一目的是提出一种激光雷达姿态确定方法，该方法对具有不显著或重复的结构的“困难”场景具有鲁棒性。特定目的是提出适合部分地通过回归模型来实施的这样一种方法。容易训练是这种网络的期望特性。此外，期望网络能够以不同空间尺度回归，以使它能够处置位置恢复与高精度定位两者。最终，目的是提出一种实施具有上述特性的方法的硬件。
这些目的中的至少一些是通过如独立权利要求所限定的本发明来实现的。从属权利要求针对本发明的有利实施例。
根据本发明的第一方面，提供了一种用于相对于预定义地图图像确定激光雷达传感器姿态的方法。该方法包括以下步骤：获取激光雷达高度图；确定使激光雷达高度图与地图图像相关的光流场；以及基于所确定的光流场来计算激光雷达传感器姿态的最大似然(ML)估计。
使用光流场以找到激光雷达高度图与地图图像之间的关系有助于该方法的执行。例如，存在若干有效的常规算法来计算光流场，并且机器学习实施方案构成了另一有吸引力的选项。此外，本发明人已意识到，基于光流的做法也提高了鲁棒性和精度。
如本文所使用，“光流场”(或简称为“流场”)可以被理解为两个或多个图像的序列中的视觉特征的表观运动。光流的示例情况图示在图7中。光流场的某一点处的运动可以根据其方向和量值(速度)来确定；因此，大小为W×H的图像序列的光流场可以被表达为2×W×H张量。与每个点相关联的两个分量可以表示移动的x和y分量，或者可以是移动的极坐标表示。视觉特征的跟踪可以例如被表达为亮度恒定性约束。如文献中所述，光流的概念可以一般化为三个或更多个空间维度(一般化的光流场)。
此外，在本公开中，“高度图”可以被理解为各自与竖直坐标相关联的地面(或水平)坐标的集合。例如，高度图可以参考离散水平参考框架来定义，其中水平单元(cells)或点中的至少一些与高度值相关联。如果激光雷达传感器不提供这种格式的输出数据，或者如果若干激光雷达扫掠被组合，那么激光雷达数据可能需要经历下文要描述的类型的初步处理。当使用能够操作以输出距离信息与强度信息两者的激光雷达传感器时，高度图主要基于距离信息来创建。高度图可以被表示为点云。
根据本发明的第二方面，提供了一种导航系统，包括：通信接口，所述通信接口用于获取激光雷达高度图；存储器，所述存储器适于存储预定义地图图像；第一处理电路，所述第一处理电路被配置成确定使激光雷达高度图与地图图像相关的光流场；以及第二处理电路，所述第二处理电路被配置成基于所确定的光流场来计算激光雷达传感器姿态的ML估计。
根据第三方面，本发明提供了一种计算机程序，含有用于使计算机、特别是导航系统执行上述方法的指令。计算机程序可以存储或分布在数据载体上。如本文所使用，“数据载体”可以是暂时性数据载体(诸如，经调制的电磁波或光波)或非暂时性数据载体。非暂时性数据载体包含易失性和非易失性存储器，诸如，磁、光或固态类型的永久和非永久的存储装置。仍然在“数据载体”的范围内，这些存储器可以是固定安装的或便携式的。
本发明的第一方面、第二方面和第三方面大体共享相同的优点，并且可以以类似方式体现。
在一些实施例中，例如，由回归模型确定光流场，该回归模型另外产生相关联的变化性张量。接着，基于变化性张量来进一步计算激光雷达传感器姿态的ML估计。与光流场的先验计算不同，这些实施例可以有利地利用不同执行运行之间的任何视觉、地形等的相似性，从而可能简化计算并使它们较具弹性(resilient)。在这些实施例中，还有利的是，将回归模型实施为经训练的或可训练的神经网络。
通常，除非在本文中另有明确定义，否则权利要求书中所使用的所有术语应根据它们在技术领域中的普通含义来解释。除非另有明确说明，否则对“一个/该元件、设备、部件、手段、步骤等”的所有提及应被公开解释为指代该元件、设备、部件、手段、步骤等的至少一个实例。除非明确说明，否则本文所公开的任何方法的步骤不必以所公开的确切顺序执行。
附图说明
现参考附图通过示例来描述各方面和实施例，其中：
图1示出了将城市区域成像的光学传感器；
图2示出了两幅图像的配准，其中确定了使图像重合的刚性移动(姿态/误差校正变换)；
图3是根据本发明的实施例的方法的流程图；
图4是来自单个激光雷达测量的原始数据的可视化；
图5图示了多个旋转且平移的激光雷达扫掠，这些激光雷达扫掠被处理成被表示为鸟瞰图(或俯视图)的地图剪切图；
图6是城市环境的鸟瞰图；
图7分别表示在放大、缩小和从右向左平移期间的光流图案；以及
图8根据本发明的实施例示出了一个分辨率水平的定位流水线的架构，该架构包含可训练的和不可训练的逻辑单元。
具体实施方式
现在将在下文中参照附图更全面地描述本公开的各方面，其中本发明的某些实施例示出在附图中。然而，这些方面可以按许多不同形式来体现，并且不应被解释为限制性的；实际上，这些实施例是以举例方式提供的，以使得本公开将详尽且完整，并将向本领域的技术人员全面传达本发明的所有方面的范围。相同附图标记在本说明书全文中表示相同元件。
本发明要解决的姿态确定问题概念性地图示在图1中，该图示出了在将城市区域成像的过程中的光学传感器101，该城市区域包含街道、建筑物和通常在公共或专用地图图像上找到的其它结构以及在成像时可能存在的额外物体(诸如，行人和车辆)。对应于从光学传感器101所见的城市区域的视图的传感器图像(城市区域在光学传感器101的图像平面上的投影)被可视化在显示器102上。姿态确定问题可以被公式化为：给定地图图像和传感器图像，确定光学传感器101位于何处以及光学传感器101的定向如何。光学传感器101的位置优选例如通过找到所谓的姿态校正变换(或误差校正变换)相对于地图图像上的参考点来表达。参考点可以是粗略位置估计或任意点。
应注意，主要出于说明的目的而包含图1。当光学传感器101是激光雷达传感器时，它的数据可能不像出现在显示器102上的那样适合于视觉图像。视野(FOV)也可能不同。虽然一些可用的激光雷达传感器具有在水平方向上受限的FOV，但其它传感器，特别是扫描(或旋转)激光雷达传感器在水平方向上具有全360°的FOV，并且仅在竖直方向上受限。虽然进行了图1需要的简化，但是激光雷达姿态确定问题的若干相关方面仍然类似于视觉成像的情况。
图2图示了图像202相对于参考图像201的配准。在所示的平面坐标系中，该关系被表达为由平移(x，y)和旋转φ构成的刚性移动，该刚性移动将使图像201、202重合。旋转φ可以是多个旋转分量的组合，以表达空间旋转。该移动可以被称为姿态校正变换或误差校正变换。
在本发明的实施例中，图像201、202可以对应于地图图像和高度图。这些实施例可以限于将姿态校正变换作为刚性移动而不是一般移动而确定，因为从理论结果可以得出，重新缩放、剪切和其它非刚性变换无法由俯视激光雷达传感器的姿态改变引起。(当然，非静态物体可能已进入或离开场景，或者移动。)从将图像点与局部平移向量相关联的光流场开始，因此可以从超定方程组确定姿态校正变换的参数x，y，φ。在以三维情况为目标的实施例中，姿态校正变换可以还包含高度z和俯仰或滚转角ψ的校正。虽然将在下文详细论述这种确定，但是基本原理可以通过比较图7中的简单示例来理解，其中子图图示了在放大(由于比例改变所致的非刚性变换)、缩小(由于比例改变所致的非刚性变换)和从右向左平移(刚性变换)期间预期的流动。
现在参考图4、图5和图6，这些图特别图示了激光雷达传感器数据和激光雷达距离信息的一些代表性特性。图4是来自单个激光雷达测量的原始数据的可视化。激光雷达传感器定位在原点x＝y＝0处或附近。可以从数据推断出，存在位于拐角(x，y)＝(-15，15)、(x，y)＝(15，-15)和(x，y)＝(15，15)附近的主要障碍物以及(x，y)＝(15，5)处的另一障碍物。三个较低且较细的障碍物似乎位于距离原点约5个单位的半径处。除了这些障碍物之外，激光雷达传感器位于自由场中，这可以从位于地面高度(例如，z＝0)的同心圆上的数据点推断出。每个圆的半径与数据点的记录期间的激光雷达传感器的俯角相关。
如图4所示，径向坐标可以是激光雷达传感器数据的原始格式。在导航系统中，笛卡尔坐标的表示(例如，东北向上)可以是优选的。这种表示还可以有助于在不同传感器位置处的扫掠期间记录的激光雷达传感器数据集的组合或合并，这通常是车载传感器的情况。这将参考图5来描述。
图5的左部是多个数据点的俯视图，这些数据点可能位于不同高度，但此处使用统一颜色绘制。数据点是在四次激光雷达扫掠期间记录的，这些扫掠由传感器在西北偏北的方向上的水平平移分开。在靠近传感器扫掠在很大程度上重叠的记录位置的区域，数据点密度最高。图5的右部(地图剪切图)是已通过串联来自四次扫掠的数据的变换从左部(扫掠)获得的。此外，该变换可以均衡数据点密度，以便中和或缓和传感器数据的径向性质。该变换可以还包含轮廓寻找部件，例如，找寻表明不同高度的竖直表面(诸如，路缘石、栅栏和建筑立面)的存在的数据点图案的算法。由这些变换步骤中的一个或多个处理的激光雷达数据可以作为对使用原始激光雷达数据的替代而在权利要求书的意义上用作高度图。
图5所图示的变换可以使激光雷达传感器数据较易于与地图图像(如图6所示的地图图像)进行比较，并且较易于位于其中。此图是城市环境的鸟瞰图(俯视图)。一般来说，图6是环境中能够被基本横向的激光反射发现的所有物体的串联。
图3是根据本发明的不同实施例的捕获姿态确定方法300的流程图。这些实施例的不同之处尤其在于由虚线绘制的可选元素是否存在。此方法300的基本实施例可以包括：
-获取314激光雷达高度图；
-确定322使激光雷达高度图与地图图像相关的光流场；以及
-基于所确定的光流场来计算324激光雷达传感器姿态的ML估计。
方法300通过以下方式来解决定位问题：首先估计传感器与地图坐标框架之间的光流场，并且接着使用该流场以计算传感器位置，即，在平移和角度方面估计与先验位置(见下文)的关系。具体地说，传感器和地图云数据可以在俯视透视图中离散成2D网格，每个网格单元具有特征向量。在一个实施例中，神经网络用于回归光流场，即，一组2D向量，该一组2D向量估计传感器图像中的每个网格单元的中心到地图坐标框架中的平移。
假设高度图作为点云可用。如果要使用2D光流场，那么还假设传感器的竖直方向是已知的，以使得它的数据可以变换成竖直轴与重力轴对齐的坐标系。此外，获得关于传感器姿态的先验，该先验精确到约20m和20°方位角。通常，从基于卫星的定位或从基于先前定位的惯性测程法(inertial odometry)，可获得这种先验。这对应于方法300的步骤310。先验位置限定了要在步骤312中提取以用于特征图像构造的地图的区域的中心点。
已参考图4和图5描述了高度图获取314的各方面，包含原始传感器数据的适当处理。
为了将问题转化为光流公式，来自传感器和地图的输入点被变换成合适坐标系，诸如笛卡尔坐标系。使用传感器的竖直轴及其方位的先验信息，定义了变换算子TES，该变换算子将传感器坐标框架S中表达的点旋转到误差框架E，该误差框架与地图轴对齐，但由于先验误差，其带有剩余误差。从以先验位置为中心的地图的区域提取地图点，并且接着通过定义算子TMC并将其逆算子应用在所提取的点上，将这些地图点从地图坐标框架M平移到原点位于先验位置处的裁剪框架C。可以将相对于地图坐标框架M的所寻找的传感器姿态变换TMS作为以下组合而计算：
TMS＝TMCTCETES，
其中TCE是将旋转的传感器点与平移的地图裁剪点对齐的要计算的姿态校正变换。
变换后的点集在水平面中被分割成2D网格，其中传感器网格含有Ws×Hs个单元。地图网格是较大的Wm×Hm大小，以便支持传感器网格边界之外的流向量端点。对于每个网格单元，计算特征向量。作为示例，特征向量可以被定义为其中n是单元中所含有的点数，/>表示点的平均高度，并且σ是点的竖直坐标的标准偏差。此信息被收集在传感器输入张量EXs和地图输入张量cXm中。
接下来，将论述在2D情况下确定322光流场的示例。
对于给定的分辨率水平I，被定义为(FCE，θz)＝f(l)(EXs，cXm)的对应流场回归器函数f(l)是输出2×W(l)×H(l)流场张量FCE和3×W(l)×H(l)流协方差参数张量θΣ(变化性张量)的神经网络。输出张量中的每个空间网格单元都用索引枚举，其中N(ij)＝W(l)H(l)。此索引用于表示来自FCE的每个网格单元的流向量fi、每个流向量的协方差矩阵的参数θi，以及网格单元中心点pi。神经网络使用由下式给出的对数似然损失用地面真实流场FΩt训练：
其中，每个网格单元处的协方差矩阵∑(θi)的参数θi是回归变量，并且对分辨率l的依赖性是隐含的。
定义回归器函数f(l)(EXS，cXm)的神经网络可以如图8所图示那样被结构化。根据此示例结构800(定位流水线)，每个激光雷达数据输入与特征编码器802相关联，在该特征编码器之后是从每个分支接收数据的特征相关模块803以及概率流回归模块804。元件801执行激光雷达数据(点云)到离散2D水平网格的单元的可选分割，以及每个网格单元中的数据的可选的进一步预处理。
编码器802可以使用U-Net状结构(见O.Ronneberger等人的“U-Net:Convolutional networks for biomedical image segmentation(U-Net：用于生物医学图像分割的卷积网络)”，载于：International Conference on Medical image computingand computer-assisted intervention(国际医学图像计算和计算机辅助干预会议)，计算机科学讲义，施普林格出版社，第9351卷(2015年)，第234到241页)。如将参考步骤320进一步论述的，该U-Net结构可以包含跳过连接，以将稀疏输入编码到具有大感受野的特征图中。该网络具有一个下采样链，该下采样链在每组三个卷积层的六个组中应用3×3二维卷积。每组将张量的空间维度减半。在该链之后是结构与下采样链相同的上采样链，但每组具有来自下采样链的跳过连接输入。上采样链含有高达由多级定位程序确定的空间维度的组。
相关模块803计算经编码的传感器特征张量中的每个位置处的特征向量与来自地图图像中的相同位置周围的一组相邻位置的特征向量的标量积。为了适应传感器图像边界之外的近邻位置，从更大区域提取地图数据图像，使得它适配所有近邻。该操作导致传感器特征图像中的每个位置的标量积的向量，其中每个分量与邻域位置相关联。
相关体积被输入到流场回归器网络804中，该流场回归器网络可以具有五个3×3二维卷积层的基底。在该基底之后是用于回归流场FCE的三个卷积层的一个分支，以及用于回归协方差参数张量θ∑的四个层的另一分支。
姿态计算模块805基于流场来产生最终结果。
作为此结构800的替代方案，回归器函数f(l)(EXs，cXm)的实施方案可以包含深度神经网络，该深度神经网络具有与在此处所论述的不同的层数。已提到，光流场的计算可以使用一般回归模型。回归模型根本不必是神经网络，也不必是基于机器学习的。光流场也可以通过不依赖于训练或建模的直接方法来计算；该计算也不必产生变化性张量。
继续运行的2D示例，现在将描述如何可以将根据经回归的流场的传感器姿态的计 算324作为姿态校正变换TCE的ML估计来执行。图2示范了这种类型的姿态校正变换。为了表达似然，流场向量根据TCE建模。给定变换TCE和流向量的起点pi，可以将真实流向量表达为
hi(TCE)＝TCEpi-pi，
这用于将经回归的流场向量建模为
fi＝hi(TCE)+ei，
其中是用经回归的协方差矩阵建模的流向量误差。作为概率密度来表达，这对应于
在流向量fi条件独立的假设下，可以将整个流场的分布描述为
虽然这种假设在一般情况下可能不准确，但对于在姿态计算准备过程中对流向量进行加权的用途，是实用的。
在2D情况下，将误差校正变换TCE通过平移[x，y]T和方位角φ来参数化，如图2所示。既而，可以将对数似然写为
其中可以针对任何给定φ评估μi＝μi(φ，pi，fi)。从合适的搜索范围中采样一组M方位角假设并计算所有假设μi，j，i∈[1，N]，j∈[1，M]。接着，按照下式以分析方式计算将log L最大化的/>
其中
ML估计是通过以下方式找到的：识别方位假设φj和评估为所有j的最高似然的对应对/>最后，由所估计的参数构造/>并且将所寻找的传感器姿态变换作为下式计算
接着可以输出332此值或者从姿态变换TMS导出的适当格式化的地图位置。
如果光流场是通过不产生变化性度量的算法计算的，那么变化性张量∑θ，i可以被设定为1。验证集的实验结果表明，通过使用变化性的实际值而获得的改进有时是适度的。在一般情况下，特别是如果应用稀疏化预处理(参见下文的步骤320)，那么协方差或另一变化性度量的可用性可能有重要价值。
必要时可以经常重复方法300，以提供新的激光雷达传感器姿态估计。例如，当检测到激光雷达传感器的移动时，或者响应于某一其它触发事件，重复可以在预定延迟之后起始。
多尺度定位是方法300的可选的进一步发展。接着，为了克服与相关体积的使用有关联的有限搜索空间的问题以及对计算性能只有有限影响的问题，可以使用粗略到精细的做法以相继对金字塔过程中的流场进行分辨。由于流场预期遵循刚性变换，所以可以在每次迭代中估计姿态，并且下一次迭代的分辨率相对于当前迭代提高。在先验姿态精确的情形下，只计算最精细分辨流就足够了。然而，对于偶尔的重新定位，可以首先应用较粗略的定位水平以引导误差。实际上，这意味着可以训练图8中的定位流水线的多个版本。
回到图3，具有迭代细化的实施例对应于决策点330的存在，在该决策点，询问是否已获得期望分辨率。如果不是这种情况(“否”分支)，那么方法330的执行进行到提高326分 辨率，并且在光流场的后续重新确定322和激光雷达传感器姿态的ML重新估计324中将所估 计的激光雷达姿态作为先验应用328。相反，如果决策点330处的评估显露已获得期望分辨率(“是”分支)，那么在步骤332中输出结果。
替代地或附加地，方法300可以包含用激光雷达强度信息来扩充激光雷达高度图 的步骤316，其中经扩充的(或经充实的)高度图在后续处理步骤中替换高度图。也就是说，光流场是基于经扩充的高度图和地图图像而确定的。强度信息可以是从产生距离信息的同一激光雷达传感器获取的，其中高度图是从该距离信息建立的。这可以实现较精确的特征向量相关估计，并因此产生较精确的光流场计算。
替代地或附加地，方法300可以包含预处理步骤318，其中激光雷达高度图和地图图像被处理成相应特征图像(参见上文介绍的特征向量x)。预处理可以由图8中的特征编码器神经网络802实施。虽然激光雷达高度图的预处理通常是在运行时执行的，但是地图图像的预处理可以预先完成，并且结果被存储。作为又一选项，在预处理318之后可以是稀疏化 操作320，该稀疏化操作的目标是对地图图像的特征图像进行稀疏化。该操作可以包含消除除了特征向量x的稀疏子集之外的所有特征向量。例如，可以在x和y方向上每n0个特征向量仅保留一个特征向量，其中n0＝10或另一小整数。替代地，可以应用随机稀疏化。此举的潜在有益效果包含必要的地图存储空间的减小，并且在较少位置处计算光流，这减轻了下游的相关模块803和/或回归模块804上的负担。为了在具体使用情况下确定n0的合适值，这个参数可以从小的初始值开始增大，同时监测精度。如果n0变得太大，那么算法可能遭遇将激光雷达高度图相对于地图图像进行定位的困难，因而算法的精度和/或鲁棒性将受到影响。
替代地或附加地，所描述的方法300与统计时域滤波(诸如，卡尔曼滤波或粒子滤波)相结合。激光雷达传感器姿态的重复的ML估计或由此导出的地图位置可能是提供给卡尔曼滤波器的唯一数据源(观察、测量)。替代地，激光雷达传感器姿态可以与其它数据源(诸如，GNSS或推算定位)相结合。可以作为传感器姿态先验被依赖的数据源通常也可用作卡尔曼滤波的输入。与卡尔曼滤波器的结合可以提高估计位置的稳定性，并且可以减小噪声的影响。
图8中的神经网络可以以适用于预期使用情况的任何方式进行训练。例如，可以基于从用于训练和验证的CARLA模拟器提取的合成数据来执行训练；参见A.Dosovitskiy等人的“CARLA:An open urban driving simulator(CARLA：开放城市驾驶模拟器)”，载于：Proceedings of the 1st Annual Conference on Robot Learning(第一届机器人学习年会会议录)，2017年，第1到16页。所使用的CARLA模拟软件9.8版包含7个不同世界，涵盖城市、农村和高速公路场景。模拟允许构造不受参考定位的质量影响的点云地图，并提供大量带注释的测量。使用内置的激光雷达模拟模块，该内置的激光雷达模拟模块被构造成每秒捕获56,000个点，这些点分布在相对于水平面涵盖介于–30°与10°之间的俯仰角的32个层上。传感器范围被设定为100米，并且转速被设定为20Hz。对于每个世界，点云地图是通过以下方式聚合的：使模拟激光雷达传感器沿着定位在地面上方2.4m处、以1米为增量的所有路段进行遍历。在每个位置增量处，收集完整的旋转扫描并添加到地图点云。模拟激光雷达返回不受传感器的行进速度影响的瞬时快照图像，从而不需要纠正。以同样方式，收集模拟的在线测量数据，并且每个训练示例是从十次连续激光雷达扫描(相当于半秒钟的测量数据)聚合而成。总的来说，获得了来自7个世界的42,870个独特的传感器测量和地图裁剪样本，其中来自世界4的所有5,772个样本用于验证并且来自世界2的所有2,013个样本用于实验比较。
数据集包含自然遮挡，也就是说，由于物体阻挡视线，近侧地图含有传感器测量中看不到的数据。因此，上文论述的算法被隐式训练成管理这种遮挡，并且下文的评估测试了算法在部分遮挡场景中的性能。数据集中不包含测量扫描含有来自不在地图中的物体的数据的相反场景。
基于CARLA的训练数据通过旋转无限扩充，使得每个样本的地图图像和传感器点都在水平面上随机旋转。这被认为是避免过度拟合所必需的，因为所包含的CARLA世界非常着重于南北或东西方向的笔直道路、特征或建筑。对于训练优化，使用带有标准参数的ADAM；参见参见D.P.Kingma等人的“ADAM:A method for stochastic optimization(ADAM：一种用于随机优化的方法)”，arXiv:1412.6980。步长固定在0.0003。在冷启动时，有必要使用常规的L1损失函数以找到非平凡特征的起点。
本发明可以被进一步体现为导航系统，该导航系统具有以下能力(例如，通过包括对应接口)：直接或通过某种中介从激光雷达传感器获取激光雷达高度图，并从内部或共享存储器检索预定义地图图像。该导航系统可以还包含：第一处理电路，该第一处理电路被配置成确定使激光雷达高度图与地图图像相关的光流场；以及第二处理电路，该第二处理电路被配置成基于所确定的光流场来计算激光雷达传感器姿态的ML估计。图8的由虚线矩形包围的部分在这个意义上可以对应于“第一处理电路”或者是“第一处理电路”的一部分。导航系统可以还包含用于输出所计算的激光雷达传感器姿态或从激光雷达传感器姿态导出的位置的接口。
已在上文主要参考几个实施例描述了本公开的方面。然而，如本领域的技术人员容易了解的是，在如由所附专利权利要求定义的本发明的范围内，除了上文公开的实施例之外的其它实施例同样是可能的。例如，将本技术一般化到较高维度仍然在本发明的范围内，其中可以使用三维或更高维度的一般化光流。
Claims (15)
1.一种用于相对于预定义的地图图像确定激光雷达传感器姿态的方法，包括：
获取激光雷达高度图；
确定使图像点与局部平移向量关联的光流场，其中所述光流场使所述激光雷达高度图与所述地图图像相关；以及
基于所确定的光流场来计算所述激光雷达传感器姿态的最大似然ML估计。
2.根据权利要求1所述的方法，其中，所述激光雷达传感器姿态的所述ML估计的所述计算包含：给定所确定的光流场，将候选误差校正变换的似然最大化。
3.根据权利要求1所述的方法，还包括：
用激光雷达强度信息来扩充所述激光雷达高度图，
其中，所述光流场是基于经扩充的高度图和所述地图图像而确定的。
4.根据权利要求1到3中的任一项所述的方法，其中，所述光流场是二维光流。
5.根据权利要求1到3中的任一项所述的方法，其中，所述光流场是三维的一般化光流。
6.根据权利要求1到3中的任一项所述的方法，还包括：
将所述激光雷达高度图和所述地图图像预处理成相应特征图像；以及
将所述地图图像的特征图像稀疏化，
其中，所述光流场是基于所述相应特征图像而检测的。
7.根据权利要求1到3中的任一项所述的方法，还包括：
首先获得粗略全局定位；以及
将所述地图图像作为更大的预定地图图像的子区域来提取。
8.根据权利要求1到3中的任一项所述的方法，其中：
所述光流场是由回归模型确定的，所述回归模型另外产生相关联的变化性张量；并且
所述激光雷达传感器姿态的所述ML估计是进一步基于所述变化性张量而计算的。
9.根据权利要求8所述的方法，其中，所述回归模型是由经训练的神经网络实施的。
10.根据权利要求1到3中的任一项所述的方法，还包括重复确定光流场和计算所述激光雷达传感器姿态的ML估计的所述步骤，以及以提高的分辨率并将所估计的激光雷达姿态作为先验应用的其它步骤。
11.一种导航系统，包括：
通信接口，所述通信接口用于获取激光雷达高度图；
存储器，所述存储器适于存储预定义的地图图像；
第一处理电路，所述第一处理电路被配置成确定使图像点与局部平移向量关联的光流场，其中所述光流场使所述激光雷达高度图与所述地图图像相关；以及
第二处理电路，所述第二处理电路被配置成基于所确定的光流场来计算所述激光雷达传感器姿态的最大似然ML估计。
12.根据权利要求11所述的导航系统，其中，所述第一处理电路实施用于产生所述光流场和相关联的变化性张量的回归模型。
13.根据权利要求11所述的导航系统，其中，所述第一处理电路包含可训练部件。
14.根据权利要求11到13中的任一项所述的导航系统，还包括卡尔曼滤波器，所述卡尔曼滤波器被配置用于至少部分地基于所估计的激光雷达姿态来进行位置跟踪。
15.一种计算机程序产品，包括以下指令，所述指令用于使根据权利要求11所述的导航系统执行根据权利要求1到10中的任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20208113.9A EP4001965A1 (en) | 2020-11-17 | 2020-11-17 | Lidar localization using optical flow |
| EP20208113.9 | 2020-11-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114577196A CN114577196A (zh) | 2022-06-03 |
| CN114577196B true CN114577196B (zh) | 2024-05-24 |
Family
ID=73455636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111337351.8A Active CN114577196B (zh) | 2020-11-17 | 2021-11-12 | 使用光流的激光雷达定位 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220155441A1 (zh) |
| EP (1) | EP4001965A1 (zh) |
| JP (1) | JP2022080303A (zh) |
| CN (1) | CN114577196B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220318283A1 (en) * | 2021-03-31 | 2022-10-06 | Rovi Guides, Inc. | Query correction based on reattempts learning |
| CN116452654B (zh) * | 2023-04-11 | 2023-11-10 | 北京辉羲智能科技有限公司 | 一种基于bev感知的相对位姿估计方法、神经网络及其训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09326029A (ja) * | 1996-06-04 | 1997-12-16 | Fujitsu Ltd | ３次元計測方法及び装置 |
| KR101921071B1 (ko) * | 2017-09-04 | 2018-11-22 | 국방과학연구소 | 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치 |
| US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
| WO2020104423A1 (en) * | 2018-11-20 | 2020-05-28 | Volkswagen Aktiengesellschaft | Method and apparatus for data fusion of lidar data and image data |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10866101B2 (en) * | 2017-06-13 | 2020-12-15 | Tusimple, Inc. | Sensor calibration and time system for ground truth static scene sparse flow generation |
| WO2020107020A1 (en) * | 2018-11-23 | 2020-05-28 | Volvo Car Corporation | Lidar-based multi-person pose estimation |
| US11493635B2 (en) * | 2019-04-17 | 2022-11-08 | Uatc, Llc | Ground intensity LIDAR localizer |
-
2020
- 2020-11-17 EP EP20208113.9A patent/EP4001965A1/en active Pending
-
2021
- 2021-10-28 US US17/513,433 patent/US20220155441A1/en active Pending
- 2021-11-12 CN CN202111337351.8A patent/CN114577196B/zh active Active
- 2021-11-16 JP JP2021186545A patent/JP2022080303A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09326029A (ja) * | 1996-06-04 | 1997-12-16 | Fujitsu Ltd | ３次元計測方法及び装置 |
| US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
| KR101921071B1 (ko) * | 2017-09-04 | 2018-11-22 | 국방과학연구소 | 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치 |
| WO2020104423A1 (en) * | 2018-11-20 | 2020-05-28 | Volkswagen Aktiengesellschaft | Method and apparatus for data fusion of lidar data and image data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022080303A (ja) | 2022-05-27 |
| CN114577196A (zh) | 2022-06-03 |
| EP4001965A1 (en) | 2022-05-25 |
| US20220155441A1 (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Road surface 3D reconstruction based on dense subpixel disparity map estimation | |
| Badino et al. | Visual topometric localization | |
| Zhou et al. | T-loam: truncated least squares lidar-only odometry and mapping in real time | |
| US7680300B2 (en) | Visual object recognition and tracking | |
| Pirker et al. | CD SLAM-continuous localization and mapping in a dynamic world | |
| US11790542B2 (en) | Mapping and localization system for autonomous vehicles | |
| CN114577196B (zh) | 使用光流的激光雷达定位 | |
| Andreasson et al. | Mini-SLAM: Minimalistic visual SLAM in large-scale environments based on a new interpretation of image similarity | |
| Daraei et al. | Velocity and shape from tightly-coupled LiDAR and camera | |
| Konrad et al. | Localization in digital maps for road course estimation using grid maps | |
| CN114549738A (zh) | 无人车室内实时稠密点云重建方法、系统、设备及介质 | |
| Dimitrievski et al. | Robust matching of occupancy maps for odometry in autonomous vehicles | |
| Park et al. | Nonparametric background model-based LiDAR SLAM in highly dynamic urban environments | |
| US20230350418A1 (en) | Position determination by means of neural networks | |
| Pan et al. | PIN-SLAM: LiDAR SLAM Using a Point-Based Implicit Neural Representation for Achieving Global Map Consistency | |
| CN117053779A (zh) | 一种基于冗余关键帧去除的紧耦合激光slam方法及装置 | |
| Jiang et al. | Underwater loop-closure detection for mechanical scanning imaging sonar by filtering the similarity matrix with probability hypothesis density filter | |
| Velasco-Sánchez et al. | LiLO: Lightweight and low-bias LiDAR Odometry method based on spherical range image filtering | |
| Bai et al. | Multiple condensation filters for road detection and tracking | |
| Hinz | Integrating local and global features for vehicle detection in high resolution aerial imagery | |
| Lategahn | Mapping and Localization in Urban Environments Using Cameras | |
| Pang et al. | FLAME: Feature-likelihood based mapping and localization for autonomous vehicles | |
| Wei et al. | Plane-based scan registration with moving vehicles exclusion | |
| Qu | Landmark based localization: detection and update of landmarks with uncertainty analysis | |
| Lakshan | Blind navigation in outdoor environments: Head and torso level thin-structure based obstacle detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |