CN115201848A

CN115201848A - 轻量级固态激光雷达三维重建方法及系统

Info

Publication number: CN115201848A
Application number: CN202210704374.6A
Authority: CN
Inventors: 周风余; 夏英翔; 尹磊; 王志夫; 薛秉鑫
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2022-06-21
Filing date: 2022-06-21
Publication date: 2022-10-18

Abstract

本发明公开了一种轻量级固态激光雷达三维重建方法及系统，包括：获取当前时刻的激光点云信息和图像信息，通过视觉投影得到带有颜色信息的激光点云数据；提取其边缘特征和面特征；采用滑动窗口法进行特征点匹配，同时利用相邻帧的边缘特征和平面特征构建局部特征映射地图；基于所述局部特征映射地图，分别计算点对边残差和点对面残差；以最小化点对边残差和点对面残差为目标，构建里程计估计模型，对所述里程计估计模型进行求解，得到最终的里程计结果；基于所述最终的里程计结果，结合对应的点云投影，得到重建的三维点云地图。本发明提取激光点云的边缘特征和面特征，可以有效降低在稠密点云输入条件下特征匹配的算力消耗。

Description

轻量级固态激光雷达三维重建方法及系统

技术领域

本发明涉及固态激光雷达三维重建技术领域，尤其涉及一种轻量级固态激光雷达三维重建方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

光探测和测距(LiDAR)传感器在同步定位和映射(SLAM)中发挥着重要作用，已成为最重要的感知设备之一。现有的SLAM方法主要针对大型机器人经常采用的机械式激光雷达传感器。随着半导体产业的不断发展，高功率高波束质量的辐射源的成本和体积也随之不断下降，光学相控阵技术也为雷达的精度提供了良好的技术基础。固态激光雷达的小型化获得成功并受到越来越多的研究者的追捧，因为它为小型机器人提供了一种经济高效且轻量级的解决方案。与机械式激光雷达相比，固态激光雷达传感器具有更高的更新频率和角度分辨率，但也具有更小的视场(FoV)，这对现有的激光雷达SLAM算法来说是非常具有挑战性的。因此，有必要为这种新型传感装置提供一种更稳健、计算效率更高的SLAM方法。

现有的方法主要用于机械式激光雷达传感器，通过旋转高频激光阵列来收集周围信息。尽管他们在大场景地图上取得了令人印象深刻的实验结果，但由于成本较高，它并没有被广泛使用。同时，由于机械式激光雷达的尺寸和重量，很难在小型系统上实现。例如，通过携带机械激光雷达进行建筑检查，无人机(uav)的飞行耐久性显著降低。此外，由于机械式激光雷达体积大，也不可能将其集成到手持设备中。

虽然机械激光雷达和固态激光雷达的性能相似，但激光雷达SLAM的实施或挑战是不同的。为了说明两台激光雷达之间的差异，我们以V elodyne VLP-16和Realsense L515为例，规格见表1。固态激光雷达具有更高的角度分辨率，这意味着在同一扫描区域内，点的密度更高。因此，传统的激光雷达里程计方法，如迭代最近点(ICP)可能计算效率低下，因为需要计算的点更多。其次，固态激光雷达的更新频率更高，而传统的激光雷达SLAM(如LOAM)在计算效率上不足以达到实时性能。另一个挑战是金字塔状的覆盖视图，在大旋转期间可能会导致严重的跟踪丢失。

表1机械式和固态激光雷达的区别

发明内容

为了解决上述问题，本发明提出了一种轻量级固态激光雷达三维重建方法及系统，通过改进的特征图提取、里程估计和概率地图构建，能够提供精确的定位和高质量的映射。

在一些实施方式中，采用如下技术方案：

一种轻量级固态激光雷达三维重建方法，包括：

获取当前时刻的激光点云信息和图像信息，通过视觉投影得到带有颜色信息的激光点云数据；

基于所述带有颜色信息的激光点云数据，提取其边缘特征和面特征；

基于历史时刻的里程计信息，采用滑动窗口法进行特征点匹配，同时利用相邻帧的边缘特征和平面特征构建局部特征映射地图；基于所述局部特征映射地图，分别计算点对边残差和点对面残差；

以最小化点对边残差和点对面残差为目标，构建里程计估计模型，对所述里程计估计模型进行求解，得到最终的里程计结果；

基于所述最终的里程计结果，结合对应的点云投影，得到重建的三维点云地图。

在另一些实施方式中，采用如下技术方案：

一种轻量级固态激光雷达三维重建系统，包括：

点云数据获取模块，用于获取当前时刻的激光点云信息和图像信息，通过视觉投影得到带有颜色信息的激光点云数据；

特征提取模块，用于基于所述带有颜色信息的激光点云数据，提取其边缘特征和面特征；

特征匹配模块，用于基于历史时刻的里程计信息，采用滑动窗口法进行特征点匹配，同时利用相邻帧的边缘特征和平面特征构建局部特征映射地图；基于所述局部特征映射地图，分别计算点对边残差和点对面残差；

里程计计算模块，以最小化点对边残差和点对面残差为目标，构建里程计估计模型，对所述里程计估计模型进行求解，得到最终的里程计结果；

三维点云地图重建模块，用于基于所述最终的里程计结果，结合对应的点云投影，得到重建的三维点云地图。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的轻量级固态激光雷达三维重建方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的轻量级固态激光雷达三维重建方法。

与现有技术相比，本发明的有益效果是：

(1)本发明提取激光点云的边缘特征和面特征，可以有效降低在稠密点云输入条件下特征匹配的算力消耗。

(2)本发明结合里程计历史信息，采用滑动窗口法进行特征匹配，可以将最小二乘残差限制在一定限度，防止因信息矩阵越来越大导致的计算量指数倍提升。

(3)本发明基于点对面残差和点对边残差构建里程计估计模型，降低了由于特征点或特征平面较少引起的特征点丢失/误匹配导致的里程计退化/失效的概率。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中的轻量级固态激光雷达三维重建方法流程图；

图2为本实施例方法与真实值、A-LOAM进行参数性能评测；

图3为本发明实施例中的定位和映射结果示意图；

图4(a)-(b)分别为本实施例方法的旋转测试实验结果和使用A-LOAM的旋转测试实验结果。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例选择的是固态激光雷达传感器，与传统机械激光雷达相比，它具有更高的刷新率和分辨率，故计算量相应的增加，无法准确匹配原始点云。

基于此，在一个或多个实施方式中，公开了一种轻量级固态激光雷达三维重建方法，结合图1，具体包括如下过程：

(1)获取当前时刻的激光点云信息和图像信息，通过视觉投影得到带有颜色信息的激光点云数据；

具体地，通过固态激光雷达获取当前时刻的激光点云信息；通过摄像头获取当前时刻的图像信息，然后将图像信息进行视觉投影，最终得到带有颜色信息的激光点云数据。

(2)基于所述带有颜色信息的激光点云数据，提取其边缘特征和面特征；

由于激光雷达返回的点云数据是无序的，为了计算边缘和平面特征，首先将点云投影至二维点矩阵中，对于第k^th个激光点输入P_k，分别在垂直和水平方向进行分割。

给定一点P_i＝{x_i，y_i，z_i}∈P_k,垂直角α_i和水平角θ_i的计算公式如下：

激光点云分别通过垂直探测范围{α_min，α_max}和水平探测范围{θ_min，θ_max}分为M和N个扇区。其中，α_min、α_max、θ_min、θ_max分别为：传感器所规定的最小垂直角、最大垂直角、最小水平角、最大水平角。

对于垂直分辨率为α_r水平分辨率为θ_r的固态激光雷达，再运算速度和数据精度折中后选取M和N为总点数的一半即：

在每个单元(m,n)中(m∈[1,M]，n∈[1,N])，通过计算单元中的几何中心来测算

为了提取线特征和平面特征，搜索其附近的点，并定义局部平滑度：

其中，

λ是预定义的搜索半径，大的λ意味着更多的计算资源；

为大小为i，j块区域的几何中心。

局部平滑度

表示周围信息的清晰度，

越大，表明局部曲率越大；

当

大于设定的阈值时，该单元内的点作为边缘特征，当

小于设定的阈值时，该单元内的点作为面特征。

(3)基于历史时刻的里程计信息，采用滑动窗口法进行特征点匹配，同时利用相邻帧的边缘特征和平面特征构建局部特征映射地图；基于所述局部特征映射地图，分别计算点对边残差和点对面残差；

由于传统方法是基于scan-to-scan匹配的，虽然可以将当前帧快速与上一帧进行匹配，然而与传统的机械式雷达相比，单次固态激光扫描到的场景视野有限，在比较大的场景下会造成较大的漂移。

本实施例中，将机器人在全局场景下定义当前位姿为T_k∈SE(3)，同时记录里程计的历史信息为P₁,P₂,P₃…P_k-1，采用scan-to-map(将激光雷达扫描数据直接与地图进行匹配)的方式进行匹配以提高性能。

本实施例中，为了减少计算量，采用滑动窗口法进行特征点匹配；在SLAM过程中，随着关键帧和路标点的增多，后端优化的计算效率会不断下降。为了避免这种情况，便使用了滑动窗口法将待优化的关键帧限制在一定的数量来控制后端优化的规模。首先增加新的变量进入最小二乘系统优化，如果变量数目达到了一定的维度，则移除老的变量。最后系统不断循环前面两步直至程序运行结束。

同时利用相邻帧的边缘特征和平面特征构建局部特征映射地图。

对于当前P_k定义M_k＝{P_k-1,P_k-2,…,P_k-q}其中q适用于构建局部特征映射所需帧数。

如上所述，在原始点云上进行匹配效率较低，且对噪声敏感。因此，利用特征空间中的边缘点和平面点进行匹配。

对于每个边点p_k∈P_k在局部地图坐标

中，从局部地图中搜索最近的边。由于局部地图分为边缘局部地图和平面局部地图，每个地图都由K-D树构建，以提高搜索效率。

因此，可以从边缘局部地图中为每个边缘点选择两个最近的边缘特征点

和

点对边残差

定义为

与边缘交叉点

和

之间的距离：

其中，符号×是两个向量的叉积。

出于对特殊特征的处理，如果附近点的数量小于2，则最终成本不考虑点到边的剩余。

类似地，对于每个平面点p_k∈P_k，从平面局部地图中搜索最近的平面特征。要估计三维空间中的平面，必须有3个点。因此，对于给定的平面特征点p_k及其在局部地图坐标

中的变换，从平面局部地图中找到3个最近的点

和

点对面残差

定义为

与穿过

和

的平面之间的距离：

与边缘残差类似，当附近点的数量小于3时，不考虑点到平面残差。

(4)以最小化点对边残差和点对面残差为目标，构建里程计估计模型，对所述里程计估计模型进行求解，得到最终的里程计结果；

本实施例中，通过最小化点对面残差和点对边残差来估计最终里程：

这个非线性优化问题可以用高斯-牛顿优化方法来解决。我们使用左摄动公式，并在李群上应用增量。与LOAM中的微分模型相比，有几个优点：(1)旋转或姿态以奇点自由格式存储；(2)在每次迭代中进行无约束优化；(3)操作发生在矩阵级别，因此无需担心获取一组标量三角函数的导数。

定义ξ_k＝[ρ,φ]∈se(3)和变换矩阵

代表用以下方式将6D位姿转换为4*4的矩阵。

其中[·]_×是3D向量的倾斜矩阵。

左扰动模型可以同通过以下公式计算：

其中，[T_kp_k]是在计算倾斜矩阵之前将4D点表达式{x，y，z，1}转换为3D点表达式{x，y，z}

点到边残差的雅可比矩阵定义如下：

其中，

点到平面残差的雅可比矩阵定义如下：

但是由于在最初时刻历史信息较少的缘故，导致当前扫描和局部地图的对齐可能并不理想。因此需要找到一个更好的方法去辅助特征匹配。由于特征匹配是可以通过迭代的方式找到的，即初始位姿

和基于

的初始对应关系。由此可以推导里程计进行估计

最终收敛至当前的最优估计。虽然迭代计算的计算效率很低，但良好的初始姿态对姿态估计能够加快收敛速度。为了找到更好的初始对准，我们假设角速度恒定，并且以直线平移：

迭代里程估计的过程在算法1中列出：

(5)基于所述最终的里程计结果，结合对应的点云投影，得到重建的三维点云地图。

由于全局地图相较于局部地图大很多，并且由于计算量的问题无法根据每一帧进行更新。因此本方案仅使用过关键帧来更新和重建地图。关键帧的选取基于以下标准：

1、机器人位移足够显著(大于一预定阈值)；

2、机器人自身旋转角度足够大(包括俯仰角、航向角)；

3、机器人在某处经过的时间超过一定的时间段；

在现实中，旋转和平移的阈值是同通过传感器的FoV获得的，最小更新频率是基于处理器的计算能力。因此为了提高搜索效率，使用八叉树进行全局地图构建。从深度为n的八叉树中搜索特定节点仅需要

的计算复杂度，可以显著降低映射成本。对于八叉树中的每个单元，我们使用P(n∣z_1:t)来表示对象存在的概率：

其中z_t是当前时刻的测量值，z_1:t-1是关键帧的历史测量值，P(n)是先验概率，未知区域的先验概率预设为0.5。

为了进一步说明该方法的鲁棒性，还将该方法集成到用于三维扫描的手持设备中。在我们的实验中，使用Intel Realsense L515进行演示。这是一个小型视场固态激光雷达，有70°×55°视角和30赫兹的更新频率。它比智能手机更小、更轻，因此可以在许多移动机器人平台上使用。该算法用C++编写，并在Ubuntu 18.04和ROS Melodic上实现。在第一个实验中，提出的方法在带有Intel 6核i5-9400处理器CPU的台式PC上进行了测试。在手持设备建图和旋转测试中，使用了具有i5-7200U处理器的dell微型计算平台。

①参数性能评估

为了评估定位结果，我们将实验结果与系统提供的地面真值进行了比较。机器人由手动控制，在4米×4米的环境下进行移动。结果如图2所示，平均计算时间为每帧31毫秒。我们的方法实现了5cm的平移误差。同时我们还将本的方法与广泛用于激光雷达SLAM的LOAM算法进行了比较。由于在LOAM算法的需求，水平的传感器输入角度根据L515的传感器属性进行相应的修改。LOAM的结果以橙色绘制。相较于LOAM在转速较高时跟踪的效果会相应的降低，在长时间大范围建图下会失去跟踪，而我们的方法能够精确跟踪。

②在手持设备上的实际建图评估

为了进一步证明该方法的鲁棒性，本实施例还在手持设备上对该方法进行了评估。随着虚拟现实(VR)、增强现实(AR)和游戏行业的发展，SLAM已经在智能手机和虚拟现实眼镜等各种移动设备上实现。然而，大多数移动平台的计算资源有限。相较于实验平台的稳定移动，手持设备存在振动和大视角变化，可能导致跟踪损失和定位失败。

1)3D建图测试：在实验中，我们拿着3D扫描仪，以正常的步行速度扫描室内环境。定位和映射结果如图3所示，我们的方法能够准确定位自身，并实时执行映射。

2)旋转测试：手持设备通常具有更高的旋转变化，这可能会导致跟踪损失。为了证明该方法在大旋转下的性能，我们将固体激光雷达置于水平方向，并以1.57rad/s的最大旋转速度随机旋转固体激光雷达。固体激光雷达返回到水平方向，并记录角度偏差。当最终角度偏差大于10度时，考虑跟踪损失。我们将我们的方法与A-LOAM进行了比较，在连续30次不同位置、环境测试下，我们的方法都能定位、并执行映射。但A-LOAM仅有3次成功映射。结果如表2所示。定位和映射结果如图4(a)、(b)所示。

表2：旋转测试结果

可以看出，与A-LOAM相比，我们的方法具有更高的成功率。并且在不稳定移动过程中能保持更好的定位精度，并且具有更高的成功率。

实施例二

在一个或多个实施方式中，公开了一种轻量级固态激光雷达三维重建系统，包括：

上述各模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。

实施例三

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的轻量级固态激光雷达三维重建方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例四

在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的轻量级固态激光雷达三维重建方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。