CN113899361A - 基于空间划分的slam快速回环检测方法 - Google Patents

Abstract

本发明公开了基于空间划分的SLAM快速回环检测方法，其包括通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，并通过LK光流法和预积分方法计算得到两组对应的无人机的位置和姿态；根据待测场景的GPS位置坐标，通过八叉树模型对待测场景进行空间划分及编码；对图像序列中的图像进行空间编码比对和筛选，并对筛选的图像进行哈希编码，检测图像间是否存在回环；将回环检测结果即图像间的回环关系与计算的两组无人机位姿进行融合，得到全局一致的无人机位置和姿态。本发明实现了对回环的快速检测，在保持检测准确度的同时提高了检测速度，减少了系统开销，可用于无环境先验信息的场景中进行无人机位姿估计。

Description

基于空间划分的SLAM快速回环检测方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于空间划分的SLAM快速回环检测方法。

背景技术

SLAM全称为Simultaneous Localization and Mapping，即同时定位与建图。它是指装备了多种传感器的机器人设备，在陌生环境下，边运动边估计自身位置和姿态，并重建周围环境的模型。完整的SLAM包括传感器信息获取、视觉里程计、回环检测、优化和建图五个模块。近年来，以相机为中心的多传感器融合SLAM技术已成为许多技术的基础，例如机器人自主导航、辅助驾驶、增强现实和三维重建等。

由于SLAM系统在估计自身位姿时存在累积误差，现实中多次途经的这一位置在估计位姿构造出的运动轨迹中可能并不重合。回环检测(Loop Closure Detection)主要判断机器人在运动过程中是否多次到达同一位置，若发现机器人多次途经某一点，即检测到在机器人运动轨迹中存在回环。由于SLAM系统在估计自身位姿时存在累积误差，现实中多次途经的这一位置在估计位姿构造出的运动轨迹中可能并不重合。此时可通过后端优化或重定位将估计结果进行优化和校正。目前检测回环主要有两种方法，基于里程计的几何关系检测法和基于外观的几何关系检测法。其中：

基于里程计的几何关系检测法是通过视觉里程计的工作，在系统发现相机二次或多次运动到某一位置附近时检测回环。但通过上述描述，我们已经得知视觉里程计本身会造成累积误差，因此这种方式存在先天缺陷无法达到较好检测效果。

基于外观的几何关系检测法跳出视觉里程计范畴，直接通过两图像相似性判定是否出现回环，这种方法与视觉里程计处于两个计算维度，可摆脱累积误差，因此成为了回环检测的常用方法。

基于词袋模型的回环检测方法是基于外观的几何关系检测法的代表，该方法将图像序列中的每幅图像进行分析，利用特征矢量将图像中的特征点进行高度抽象。在SLAM中词袋模型通过将每幅图像表示为特征词语描述，再比较特征词语来进行相似性判断，特征词语是度量图像相似性的标准。在SLAM中，使用词袋模型分为两个步骤：生成字典、利用字典进行相似性检测。此方法能够在极大程度上检测出地图中的回环，但是在计算前必须载入一个极大的字典文件，在计算时还需对字典进行维护，存在系统开销巨大的问题。

基于外观的几何关系回环检测属于计算机视觉、计算机图形学、图像处理的交叉研究领域。如何在检测速度、精度和系统开销上进行权衡，是领域内研究人员需要考虑的一大课题。例如：（1）申请专利号为CN202110028706.9，名称为“一种融合多传感器的室外大场景三维建图方法”的专利申请，是通过词袋模型对图像序列中的所有图像进行相似性判断以检测回环。该方法看似取得了不错的结果，实际在检测速度和内存消耗上还十分巨大。同时，该方法直接使用序列中的全部图像进行判断，使得算法有很大一部分精力都在处理不可能发生回环的区域。这不仅造成了时间上的浪费，而且，由于这些额外区域很可能会造成回环误匹配，最终将会导致错误的检测情况。（2）申请专利号为CN110188809A，名称为“一种基于图像分块的回环检测方法”的专利申请，是通过将图像分块为网格，提取每个网格的特征向量，训练词袋，再进行图像相似性判断以检测回环。该方法看似比传统词袋方法更快、更准确，实际并没有从根本上避免训练词袋、维护词袋的开销，该方法依旧需要对序列中的全部图像进行特征计算与判断，在检测速度和内存上消耗巨大。在目前已发表的基于外观进行回环检测的算法中，这种情况并不是个例。因此，如何在提高检测速度、精度的同时降低系统开销，如何使检测算法更“专注”于可能发生回环的区域，是目前回环检测算法研究人员应该迫切解决的问题。

发明内容

针对现有技术中的上述不足，本发明提供的基于空间划分的SLAM快速回环检测方法解决了传统技术检测速度低、精度差和系统开销大的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于空间划分的SLAM快速回环检测方法，其包括以下步骤：

S1、通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，并计算GPS位置坐标；

S2、根据待测场景的GPS位置坐标，通过八叉树模型对待测场景进行空间划分及编码，并计算每帧图像对应的空间编码；

S3、通过LK光流法对待测场景的图像序列进行计算，得到对应的无人机的位置和姿态；

S4、通过预积分方法对IMU测量值进行计算，得到对应的无人机的位置和姿态；

S5、从获取的待测场景的图像序列中选取一帧图像作为待检测图像；

S6、从获取的待测场景的图像序列中选取其他帧图像作为对比图像，并根据步骤S2的计算结果提取待检测图像和对比图像的空间编码；

S7、判断待检测图像和对比图像的空间编码是否一致或相似，若是则进入步骤S8；否则判定待检测图像和对比图像间不存在回环，从获取的待测场景的图像序列中选取下一帧图像作为待检测图像并返回步骤S6；

S8、通过感知哈希方法对待检测图像和对比图像进行哈希编码；

S9、判断待检测图像和对比图像的哈希编码的不同编码位数是否小于阈值，若是则判定两帧图像间存在回环并进入步骤S10；否则判定待检测图像和对比图像间不存在回环，从获取的待测场景的图像序列中选取下一帧图像作为待检测图像并返回步骤S6；

S10、将回环检测结果即图像间的回环关系与步骤S3和步骤S4获取的无人机位置和姿态进行融合，得到全局一致的无人机位置和姿态。

进一步地，步骤S1的具体方法包括以下子步骤：

S1-1、通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，根据时间戳将IMU测量值和GPS测量值对齐到待测场景的图像序列；

S1-2、将对齐后的GPS测量值的经纬度信息转化为东北天坐标系下的位置信息，得到每帧图像的全局位置坐标，即GPS位置坐标。

进一步地，步骤S1中机载传感器包括相机、IMU传感器和GPS传感器。

进一步地，步骤S2的具体方法包括以下子步骤：

S2-1、获取待测场景八个顶点的GPS位置坐标，根据待测场景八个顶点的GPS位置坐标确定待测场景的边界和待测场景的中心；

S2-2、以待测场景的中心为坐标原点以待测场景的边界为坐标边界建立三维空间坐标系；

S2-3、将三维空间坐标系的负半轴编码为0，以及三维空间坐标系的正半轴编码为1，完成待测场景的第一次空间划分，得到八个场景子空间及对应的空间编码；

S2-4、对每个场景子空间，依次重复步骤2-1、步骤2-2和步骤2-3进行多层空间划分，并生成对应的空间编码，直到空间大小低于预先设置的阈值，停止划分，完成待测场景的空间划分及编码；

S2-5、根据采集的每帧图像对应的GPS位置坐标确定其所属空间网格，并选取空间网格的空间编码作为图像对应的空间编码。

进一步地，步骤S2-4中的待测场景的空间最终被划分成以八叉树进行表示的网格，且每个网格为树中叶子结点，且每个叶子结点具有全局唯一的空间编码。

进一步地，步骤S8的具体方法包括以下子步骤：

S8-1、缩小待检测图像和对比图像的尺寸，并简化图像色彩，完成图像处理；

S8-2、通过DCT方法，将处理后的待检测图像和对比图像分离成分率的集合，得到32*32位的DCT矩阵；

S8-3、选取DCT矩阵左上角8*8的矩阵，得到图像的低频信息；

S8-4、将DCT8*8矩阵设置为0或1形式的64位哈希值；

S8-5、将64位哈希值组合成64个信息位，得到待检测图像和对比图像的哈希编码。

进一步地，步骤S8-4的具体方法为：

获取DCT矩阵的平均值，并遍历DCT8*8矩阵，将位值大于或等于DCT矩阵的平均值的位值置1，将位值小于DCT矩阵的平均值的位值置0。

本发明的有益效果为：

1、本发明对目标场景进行SLAM时，通过无人机机载GPS传感器提供的GPS信息，确定场景区域并进行区域的八叉树划分，动态生成区域空间编码，在SLAM回环检测时，只需对空间编码相近的图像进行比较，简化了回环检测流程和计算量，去除了非必要的回环冗余，能够提高回环检测速度，且能够提高检测精度。

2、本发明提出应用基于空间划分的快速回环检测方法进行回环检测，只需对与当前图像相邻网格内的图像进行相似度判定，确定是否产生回环，无需在SLAM过程中加载和维护词袋字典，大幅节省回环检测的内存开销和运行时间。

附图说明

图1为本发明的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于空间划分的SLAM快速回环检测方法，包括以下步骤：

S1、通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，并计算GPS位置坐标；

S2、根据待测场景的GPS位置坐标，通过八叉树模型对待测场景进行空间划分及编码，并计算每帧图像对应的空间编码；

S3、通过LK光流法对待测场景的图像序列进行计算，得到对应的无人机的位置和姿态；

S4、通过预积分方法对IMU测量值进行计算，得到对应的无人机的位置和姿态；

S5、从获取的待测场景的图像序列中选取一帧图像作为待检测图像；

S6、从获取的待测场景的图像序列中选取其他帧图像作为对比图像，并根据步骤S2的计算结果提取待检测图像和对比图像的空间编码；

S7、判断待检测图像和对比图像的空间编码是否一致或相似，若是则进入步骤S8；否则判定待检测图像和对比图像间不存在回环，从获取的待测场景的图像序列中选取下一帧图像作为待检测图像并返回步骤S6；

S8、通过感知哈希方法对待检测图像和对比图像进行哈希编码；

S9、判断待检测图像和对比图像的哈希编码的不同编码位数是否小于阈值，若是则判定两帧图像间存在回环并进入步骤S10；否则判定待检测图像和对比图像间不存在回环，从获取的待测场景的图像序列中选取下一帧图像作为待检测图像并返回步骤S6；

S10、将回环检测结果即图像间的回环关系与步骤S3和步骤S4获取的无人机位置和姿态进行融合，得到全局一致的无人机位置和姿态。

步骤S1的具体方法包括以下子步骤：

S1-1、通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，根据时间戳将IMU测量值和GPS测量值对齐到待测场景的图像序列；

S1-2、将对齐后的GPS测量值的经纬度信息转化为东北天坐标系下的位置信息，得到每帧图像的全局位置坐标，即GPS位置坐标。

步骤S1中机载传感器包括相机、IMU传感器和GPS传感器。

步骤S2的具体方法包括以下子步骤：

S2-1、获取待测场景八个顶点的GPS位置坐标，根据待测场景八个顶点的GPS位置坐标确定待测场景的边界和待测场景的中心；

S2-2、以待测场景的中心为坐标原点以待测场景的边界为坐标边界建立三维空间坐标系；

S2-3、将三维空间坐标系的负半轴编码为0，以及三维空间坐标系的正半轴编码为1，完成待测场景的第一次空间划分，得到八个场景子空间及对应的空间编码；

S2-4、对每个场景子空间，依次重复步骤2-1、步骤2-2和步骤2-3进行多层空间划分，并生成对应的空间编码，直到空间大小低于预先设置的阈值，停止划分，完成待测场景的空间划分及编码；

S2-5、根据采集的每帧图像对应的GPS位置坐标确定其所属空间网格，并选取空间网格的空间编码作为图像对应的空间编码。

步骤S2-4中的待测场景的空间最终被划分成以八叉树进行表示的网格，且每个网格为树中叶子结点，且每个叶子结点具有全局唯一的空间编码。

步骤S8的具体方法包括以下子步骤：

S8-1、缩小待检测图像和对比图像的尺寸，并简化图像色彩，完成图像处理；

S8-2、通过DCT方法，将处理后的待检测图像和对比图像分离成分率的集合，得到32*32位的DCT矩阵；

S8-3、选取DCT矩阵左上角8*8的矩阵，得到图像的低频信息；

S8-4、将DCT8*8矩阵设置为0或1形式的64位哈希值；

S8-5、将64位哈希值组合成64个信息位，得到待检测图像和对比图像的哈希编码。

步骤S8-4的具体方法为：

获取DCT矩阵的平均值，并遍历DCT8*8矩阵，将位值大于或等于DCT矩阵的平均值的位值置1，将位值小于DCT矩阵的平均值的位值置0。

在本发明的一个实施例中，使用EuRoC数据集进行回环检测验证，在配置Intel(R)Core(TM) i7-8700 CPU、8GB内存的台式电脑上运行，并在同一机器上与近年来最流行的词袋DBoW2算法进行性能比较。实验中选取EuRoC数据集中难度不同、回环数目不同8个的序列进行回环检测实验，以两个指标衡量系统的回环检测性能。

如表1所示，比较了本发明与DBoW2在台式电脑上的运行时间性能，具体为本发明与DBoW2检测前300次回环所用的平均时间比较。由表可知，由于DBoW2需处理所有图像，因此耗费了大量的计算时间，而本发明通过图像预筛选，仅对可能存在回环的区域进行图像相似性比较，使得回环检测的速度大大提升，免去了训练和维护词袋的开销。

表1

如表2所示，比较了本发明与DBoW2的定位性能，用EuRoC数据集对应用本发明的SLAM快速回环估计定位精度进行评估。其中，“DBoW2”表示应用DBoW2的SLAM系统中所有帧的绝对轨迹误差中值，“本发明”表示应用本发明的SLAM快速回环估计中所有帧的绝对轨迹误差中值。由表可知，由于本发明通过图像预筛选，仅对可能存在回环的区域进行图像相似性比较，减少了回环误匹配，降低了轨迹误差。因此应用本发明的SLAM快速回环估计中所有帧的绝对轨迹误差中值优于应用DBoW2的SLAM系统中所有帧的绝对轨迹误差中值。

表2

本发明对目标场景进行SLAM时，通过无人机机载GPS传感器提供的GPS信息，确定场景区域并进行区域的八叉树划分，动态生成区域空间编码，在SLAM回环检测时，只需对空间编码相近的图像进行比较，简化了回环检测流程和计算量，去除了非必要的回环冗余，能够提高回环检测速度，且能够提高检测精度。本发明提出应用基于空间划分的快速回环检测方法进行回环检测，只需对与当前图像相邻网格内的图像进行相似度判定，确定是否产生回环，无需在SLAM过程中加载和维护词袋字典，大幅节省回环检测的内存开销和运行时间。

Claims (7)

1.一种基于空间划分的SLAM快速回环检测方法，其特征在于，包括以下步骤：

S1、通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，并计算GPS位置坐标；

S2、根据待测场景的GPS位置坐标，通过八叉树模型对待测场景进行空间划分及编码，并计算每帧图像对应的空间编码；

S3、通过LK光流法对待测场景的图像序列进行计算，得到对应的无人机的位置和姿态；

S4、通过预积分方法对IMU测量值进行计算，得到对应的无人机的位置和姿态；

S5、从获取的待测场景的图像序列中选取一帧图像作为待检测图像；

S6、从获取的待测场景的图像序列中选取其他帧图像作为对比图像，并根据步骤S2的计算结果提取待检测图像和对比图像的空间编码；

S7、判断待检测图像和对比图像的空间编码是否一致或相似，若是则进入步骤S8；否则判定待检测图像和对比图像间不存在回环，从获取的待测场景的图像序列中选取下一帧图像作为待检测图像并返回步骤S6；

S8、通过感知哈希方法对待检测图像和对比图像进行哈希编码；

S9、判断待检测图像和对比图像的哈希编码的不同编码位数是否小于阈值，若是则判定两帧图像间存在回环并进入步骤S10；否则判定待检测图像和对比图像间不存在回环，从获取的待测场景的图像序列中选取下一帧图像作为待检测图像并返回步骤S6；

S10、将回环检测结果即图像间的回环关系与步骤S3和步骤S4获取的无人机位置和姿态进行融合，得到全局一致的无人机位置和姿态。

2.根据权利要求1所述的基于空间划分的SLAM快速回环检测方法，其特征在于，步骤S1的具体方法包括以下子步骤：

S1-1、通过无人机机载传感器获取待测场景的图像序列、IMU测量值和GPS测量值，根据时间戳将IMU测量值和GPS测量值对齐到待测场景的图像序列；

S1-2、将对齐后的GPS测量值的经纬度信息转化为东北天坐标系下的位置信息，得到每帧图像的全局位置坐标，即GPS位置坐标。

3.根据权利要求1所述的基于空间划分的SLAM快速回环检测方法，其特征在于，步骤S1中机载传感器包括相机、IMU传感器和GPS传感器。

4.根据权利要求1所述的基于空间划分的SLAM快速回环检测方法，其特征在于，步骤S2的具体方法包括以下子步骤：

S2-1、获取待测场景八个顶点的GPS位置坐标，根据待测场景八个顶点的GPS位置坐标确定待测场景的边界和待测场景的中心；

S2-2、以待测场景的中心为坐标原点以待测场景的边界为坐标边界建立三维空间坐标系；

S2-3、将三维空间坐标系的负半轴编码为0，以及三维空间坐标系的正半轴编码为1，完成待测场景的第一次空间划分，得到八个场景子空间及对应的空间编码；

S2-4、对每个场景子空间，依次重复步骤2-1、步骤2-2和步骤2-3进行多层空间划分，并生成对应的空间编码，直到空间大小低于预先设置的阈值，停止划分，完成待测场景的空间划分及编码；

S2-5、根据采集的每帧图像对应的GPS位置坐标确定其所属空间网格，并选取空间网格的空间编码作为图像对应的空间编码。

5.根据权利要求4所述的基于空间划分的SLAM快速回环检测方法，其特征在于，步骤S2-4中的待测场景的空间最终被划分成以八叉树进行表示的网格，且每个网格为树中叶子结点，且每个叶子结点具有全局唯一的空间编码。

6.根据权利要求1所述的基于空间划分的SLAM快速回环检测方法，其特征在于，步骤S8的具体方法包括以下子步骤：

S8-1、缩小待检测图像和对比图像的尺寸，并简化图像色彩，完成图像处理；

S8-2、通过DCT方法，将处理后的待检测图像和对比图像分离成分率的集合，得到32*32位的DCT矩阵；

S8-3、选取DCT矩阵左上角8*8的矩阵，得到图像的低频信息；

S8-4、将DCT8*8矩阵设置为0或1形式的64位哈希值；

S8-5、将64位哈希值组合成64个信息位，得到待检测图像和对比图像的哈希编码。

7.根据权利要求6所述的基于空间划分的SLAM快速回环检测方法，其特征在于，步骤S8-4的具体方法为：

获取DCT矩阵的平均值，并遍历DCT8*8矩阵，将位值大于或等于DCT矩阵的平均值的位值置1，将位值小于DCT矩阵的平均值的位值置0。

Images