CN112990040B - 一种结合全局和局部特征的鲁棒回环检测方法 - Google Patents

Abstract

本发明涉及一种结合全局和局部特征的鲁棒回环检测方法，属于同时定位与地图构建技术领域。该方法包括以下步骤：步骤1、图像处理；步骤2、获得多维特征信息；步骤3、计算全局特征；步骤4、划定局部区域；步骤5、计算相对像素强度关系；步骤6、计算曲率特征关系；步骤7、计算共面性特征关系；步骤8、计算局部特征；步骤9、将全局特征和局部特征相结合共同进行回环检测任务。相比现有技术，本发明在构造全局和局部特征过程中充分考虑了对光照和视点变化具有一定不变性的特征信息，且用局部特征弥补了全局特征的不足，使得该回环检测方法对环境外观变化和相机视点变化具有一定的鲁棒性，提高了算法的有效性。

Description

一种结合全局和局部特征的鲁棒回环检测方法

技术领域

本发明涉及一种回环检测方法，特别涉及一种结合全局和局部特征的鲁棒回环检测方法，属于同时定位与地图构建技术领域。

背景技术

同时定位与地图构建(Simultaneous Localization and Mapping，SLAM)，指移动传感器设备在未知环境中定位自身位置并同时对环境进行三维地图的构建。回环检测作为SLAM系统的重要组成部分，主要用来检测传感器是否到达曾经访问过的位置，以此消除由于里程计误差而导致的累积轨迹漂移和位置不确定性，从而构建全局一致的运动轨迹和地图。但是，在现实世界中，由于光照、尺度、视点等因素的影响，通常导致同一位置场景具有不同的视觉表达，产生感知偏差或者感知变异，影响在回环检测任务中寻找正确的场景对应关系，从而导致错误匹配，降低了回环检测的准确性，最终影响视觉SLAM系统的性能。

对于鲁棒的回环检测这一具有较高应用价值问题，国内外的学者已经做了大量的研究。通常，回环检测可大致分为三类：基于RGB的方法、基于RGB-D的手工特征方法和基于RGB-D的学习特征方法。基于RGB的方法以词袋模型(D.Galvez-López and J.D.Tardos,Bags of Binary Words for Fast Place Recognition in Image Sequences[J].in IEEETransactions on Robotics,vol.28,no.5,pp.1188-1197,Oct.2012.)为代表，词袋模型作为传统的基于视觉的回环检测方法，将图像用单个数值矢量来表示，通过衡量相应矢量的差异来度量两张图像的相似性，可以有效地进行环路检测；但是这类方法的缺点是光照敏感，且过度依赖于纹理信息，容易产生感知混淆问题，面对与真实场景有关的常见问题，例如光照的变化和无纹理的对象等情况，可能会大大降低这些描述符的性能。基于RGB-D的手工特征方法以BRAND(E.R.Nascimento,G.L.Oliveira,M.F.M.Campos,A.W.Vieira,andW.R.Schwartz,BRAND:A robust appearance and depth descriptor for RGB-D images[C].2012IEEE/RSJ International Conference on Intelligent Robots and Systems,Vilamoura,pp.1720–1726,2012.)为代表，其有效地将局部特征描述符BRIEF和深度信息组合成一个二进制字符串，该方法对环境中的变化具有一定鲁棒性，在变化的环境中能够有效地解决回环检测的问题，能够提高回环检测性能；但是，在缺乏纹理的情况下，它可能会遇到复杂的变化，同时其在构造过程中仅仅考虑了特征之间的关系，不具有旋转不变性的特性。基于RGB-D的学习特征方法以CALC2.0(N.Merrill and G.Huang,CALC2.0:CombiningAppearance,Semantic and Geometric Information for Robust and EfficientVisualLoop Closure[C].2019IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS),Macau,China,pp.4554-4561,2019.)为代表，其通过基于VAE的多解码器的鲁棒闭环网络将外观、语义和几何信息结合在一起，构造了鲁棒的全局描述符以检测闭合回路，其对于环境的适度变化是鲁棒的，可以提高回环检测、位置识别的性能；但是，该方法仅使用来自RGB-D传感器的原始颜色和深度图像数据，这些图像是原始的并且容易受到光度和视点变化的影响，尤其是在变化较大极端环境下，可能无法捕获隐藏在外观和相机视点发生剧烈变化的极端条件下的特征。

发明内容

本发明的目的是针对环境的外观变化和相机的视点变化，提出一种鲁棒的回环检测方法，使其能够有效地抵抗由于光照改变带来的环境外观变化和由于相机视点改变带来的观测特征变化，降低场景环境变化带来的影响，提高特征描述符对环境变化的鲁棒性和回环检测的准确率。

本发明技术方案的思想是，首先关于全局特征，基于RGB图像和深度图像直接获得强度信息和深度信息；通过Sobel运算符计算并获得图像的梯度轮廓信息；基于深度图计算每个像素点的法向量并统计法向量的分布信息；最后结合上述这些特征信息通过神经网络生成全局特征。关于局部特征，在一个局部区域内，计算邻域点相对于中心关键点的相对像素强度、曲率和共面关系，并对这些特征关系的统计量进行编码，从而得到局部特征。最后将全局特征和局部特征相结合共同进行回环检测任务。

本发明的具体实现步骤如下：

一种结合全局和局部特征的鲁棒回环检测方法，该方法包括以下步骤：

步骤一、获取两个场景的RGB-D图像

作为优选，有些数据集中的深度图仅仅包含一些稀疏点，使得深度图不可用，此时，可根据其前后几个RGB图像填充深度信息，获得完整且可用的深度图；

步骤二、获得多维特征信息

基于步骤一的输入，根据RGB图像生成灰度图，以此获得强度信息，根据深度图获得深度信息；

基于灰度图像计算梯度分布，获得图像的梯度轮廓信息；

作为优选，所述梯度分布通过Sobel运算符计算；

基于深度图计算每个像素点的法向量，根据法向量相对于三维坐标的角度来统计法向量的分布信息；

步骤三、根据所述多维特征信息通过神经网络获取全局特征；

作为优选，所述神经网络为孪生网络；

步骤四、通过特征点检测方法检测特征关键点，根据关键点划定局部区域；

作为优选，所述特征点的检测采用ORB、SURF或SIFT关键点检测器；

作为优选，对于某个所述特征关键点x_k，所述局部区域大小是以x_k为中心，大小为r×r的区域，其中r表示半径；

作为优选，所述r由比例因子s决定，s根据x_k的深度确定；

作为优选，所述s由下述公式计算：

其中，d表示所述x_k的深度值；

作为优选，所述r由下述公式计算：

其中，s_max和s_min分别表示所述图像中最大的尺度因子和最小的尺度因子；

步骤五、对于每个所述特征关键点x_k，通过下式计算其局部区域内的邻域点x_i相对于所述x_k的像素强度关系m_v：

其中，G(x)表示在像素点x处的像素强度值；

步骤六、通过下式计算所述x_i相对于所述x_k的曲率特征关系m_c

其中，τ()表示曲率，通过下式计算：

τ(x_k,x_i)＝<S(x_k)-S(x_i),N(x_k)-N(x_i)>

其中，<a,b>表示a与b做点积运算，S(x)表示x点处对应的3D空间点，N(x)表示x点处对应的法向量；

步骤七、通过下式计算所述x_i相对于所述x_k的共面性特征关系m_p：

其中，ρ为预设的表征两个点近似在一个平面上的阈值；

步骤八、对所述x_k计算局部特征

基于步骤五、步骤六和步骤七得到的特征关系，即相对像素强度关系m_v、曲率关系m_c和共面性关系m_p，局部区域中邻域像素点相对于中心关键点的相对特征关系用m_v、m_c和m_p来表示，从而形成一个数组，即[m_v m_c m_p]。然后这里将上述三个特征关系进行交叉组合，并为每个组合结果分配一个标签，且每个标签结果对应于直方图中的一个bin；经过计算共有8种类型的bin标签，分别为：000、001、010、011、100、101、110和111。实际上，计算的每个局部特征都是一个8维度的向量，该特征向量计算邻域点和中心关键点之间的特定特征关系，其中向量的每个分量代表某个特征关系标签的统计量。

步骤九、结合全局和局部特征通过下式计算回环度量Loop：

Loop＝λ||L₂||+(1-λ||L_cos||)

其中，λ表示全局特征和局部特征的平衡参数，||L₂||表示所述两个场景的全局特征距离，||L_cos||表示所述两个场景的局部特征距离。

若Loop大于预设阈值th，则认为图像对应的位置属于同一个场景，构成了回环；反之，不构成回环。

作为优选，所述||L₂||采用欧几里得距离，所述||L_cos||采用余弦距离。

有益效果：

(1)基于RGB的方法传统视觉方法一般对光照敏感，且过度依赖于纹理信息，容易产生感知混淆问题，面对与真实场景有关的常见问题，例如光照的变化和无纹理的对象等情况，可能会大大降低这些描述符的性能；而本发明克服了这一问题，在构造描述符的过程中，除了视觉颜色信息，同时考虑了对光照鲁棒的深度几何信息，例如法向量分布信息、曲率、共面性特征等。

(2)基于RGB-D的手工特征方法在构造过程中仅仅考虑了特征之间的关系，不具有旋转不变性的特性；而本发明在构造特征的过程中，不但考虑了特征点之间鲁棒的特征关系，例如相对像素强度、曲率和共面性，同时通过对这些特征关系的统计量进行编码来构建局部特征，从而使其具有旋转不变的固有特性。

(3)基于RGB-D的学习特征方法仅使用来自RGB-D传感器的原始颜色和深度图像数据，这些图像是原始的并且容易受到光度和视点变化的影响，尤其是在变化较大极端环境下，可能无法捕获隐藏在外观和相机视点发生剧烈变化的极端条件下的特征；本发明在构造基于学习的全局特征时，除了考虑传感器提供的纹理和深度信息，同时还基于这些基础信息挖掘、计算了更多的对环境变化具有一定不变性的特征信息，例如梯度信息和法向量分布信息，对这些特征信息进行早期融合并通过神经网络进行学习，实现对同一场景从多个维度提取特征进行描述，使得特征对场景信息描述的更加鲁棒全面。

附图说明

图1是本发明结合全局和局部特征的鲁棒回环检测方法的结构流程图。

图2中，子图a是KITTI数据集中的原始RGB图像，子图b是KITTI数据集中的原始深度图像，子图c表示用于构建全局特征的强度信息，子图d表示用于构建全局特征的深度信息，子图e表示用于构建全局特征的梯度分布信息，子图f表示用于构建全局特征的法向量分布信息。

图3是全局特征的构造过程和用于训练特征的网络架构示意图。

图4是基于直方图的局部特征的构造过程，涉及到相对像素强度m_v、曲率m_c和共面性m_p三种特征关系。

具体实施方式

下面结合附图1-4对本发明方法的实施方式做详细说明。

一种结合全局和局部特征的鲁棒回环检测方法，该方法包括以下步骤：

步骤一、获取输入的两个场景的RGB-D图像

有些数据集中的深度图仅仅包含一些稀疏点，使得深度图不可用，这里根据其前后几个RGB图像填充深度信息，获得完整且可用的深度图；具体地，图2中子图a为原始RGB图像，子图b为原始深度图，子图d为填补后的完整深度图；

步骤二、获得多维特征信息

基于步骤一的输入，根据RGB图像生成灰度图，以此获得强度信息，具体如图2中子图c所示；根据填补后的完整深度图获得深度信息，具体如图2中子图d所示；

基于灰度图像计算梯度分布，获得图像的梯度轮廓信息，具体如图2中子图e所示，为通过Sobel运算符计算得到的梯度分布；当然，本领域技术人员可以采用其它计算方法获取梯度分布；

基于深度图计算每个像素点的法向量，根据法向量相对于三维坐标的角度来统计法向量的分布信息，具体如图2中子图f所示；

步骤三、计算全局特征

基于步骤二获得的特征信息合成为一个高维度的特征向量，并将该联合特征送入设计好的孪生网络中进行训练和学习，实现不同特征信息的早期融合和交互，以便更好地挖掘和利用它们各自的不变性，最后得到高维度的全局特征；特征具体构造过程和网络架构图如图3所示；当然，本领域技术人员知道，孪生网络的网络结构不限于途中所示结构，也可采用其他结构形式，并且，学习全局特征也不限于孪生网络，可以是其他能够获取图像全局信息的神经网络模型，如GoogleNet、ResNet、AlexNet等。

步骤四、通过特征点检测方法检测特征关键点，根据关键点划定局部区域

利用ORB、SURF或SIFT关键点检测器来检测特征点，对于某个特征关键点x_k，以该关键点为中心，围绕该关键点设定大小为r×r的区域为局部区域大小，较优的，半径r由比例因子s决定，而比例因子s可根据中心关键点的深度确定；

较优的，比例因子s可以由下述公式计算：

其中，d表示中心关键点x_k的深度值；

较优的，局部区域的半径r根据下述表达式计算：

其中，s_max和s_min分别表示图像中最大的尺度因子和最小的尺度因子；

步骤五、计算相对像素强度关系m_v

基于步骤四得到围绕中心关键点x_k的局部区域，对于局部区域中任意一个邻域点x_i，其与中心关键点x_k之间的相对像素强度关系m_v可以通过如下方式度量：

其中，G(x)表示在像素点x处的像素强度值；

步骤六、计算曲率特征关系m_c

基于步骤四得到围绕中心关键点x_k的局部区域，进而根据深度图的法向量并结合3D空间点来计算两点构成平面的曲率，若曲率值为正，则为convex(凸)；若曲率值为负，则为concave(凹)；

我们定义函数τ()来计算曲率，具体如下表达式所示：

τ(x_k,x_i)＝<S(x_k)-S(x_i),N(x_k)-N(x_i)>

其中，其中<·>表示点积，S(x)表示x点处对应的3D空间点，N(x)表示x点处对应的法向量；

τ函数用于特征点之间的曲率关系，对于局部区域中任意一个邻域点x_i，其与中心特征关键点x_k之间的曲率特征关系m_c可以通过如下方式度量：

步骤七、计算共面性特征关系m_p

基于步骤四得到围绕中心关键点x_k的局部区域，来自同一个局部区域中的点的法向量彼此相似，当两点对应法向量的点积值等于1时，可认为两点位于同一个平面；但是由于深度信息的不完整性和不准确性(存在噪声)，对应点积值很难得到1；因此设定一个阈值ρ，当法向量点积值大于等于ρ，则可认为两点近似在一个平面上，反之，则认为不属于同一个平面。因此将法向量点积结果大于等于ρ的归为一类，其余的归为一类。因此用如下方式度量两个点对应的共面性特征关系m_p：

步骤八、计算局部特征

基于步骤五、步骤六和步骤七得到的特征关系，即相对像素强度关系m_v、曲率关系m_c和共面性关系m_p，局部区域中邻域像素点相对于中心关键点的相对特征关系可以用m_v、m_c和m_p来表示，它们形成一个数组，即[m_v m_c m_p]。然后这里将上述三个特征关系进行交叉组合，并为每个组合结果分配一个标签，且每个标签结果对应于直方图中的一个bin；经过计算共有8种类型的bin标签，分别为：000、001、010、011、100、101、110和111。实际上，计算的每个局部特征都是一个8维度的向量，该特征向量计算邻域点和中心关键点之间的特定特征关系，其中向量的每个分量代表某个特征关系标签的统计量；该局部特征的具体构造过程如图4所示；

步骤九、结合全局和局部特征

基于步骤三得到的全局特征和步骤八得到的局部特征，对于基于学习的全局特征本例采用欧几里得距离(即||L₂||)来度量，对于基于直方图的局部特征本例采用余弦距离(即||L_cos||)来度量，将全局特征和局部特征通过平衡参数λ来结合，共同进行回环检测任务，具体如下表示形式：

λ||L₂||+(1-λ||L_cos||)

若度量值大于预设阈值th，则认为图像对应的位置属于同一个场景，构成了回环；反之，不构成回环；算法的整体结构流程图如图1所示；

为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (10)

1.一种结合全局和局部特征的鲁棒回环检测方法，其特征在于，包括以下步骤：

步骤一、获取两个场景的RGB-D图像；

步骤二、根据所述RGB-D图像获得如下多维特征信息：

根据RGB图像生成灰度图，根据深度图获得深度信息；

基于灰度图像计算梯度分布，获得图像的梯度轮廓信息；

基于深度图计算每个像素点的法向量，根据法向量相对于三维坐标的角度统计法向量的分布信息；

步骤三、根据所述多维特征信息通过神经网络获取全局特征；

步骤四、通过特征点检测方法检测特征关键点，根据关键点划定局部区域；

步骤五、对于每个所述特征关键点x_k，通过下式计算其局部区域内的邻域点x_i相对于所述x_k的像素强度关系m_v：

其中，G(x)表示在像素点x处的像素强度值；

步骤六、通过下式计算所述x_i相对于所述x_k的曲率特征关系m_c：

其中，τ()表示曲率，通过下式计算：

τ(x_k，x_i)＝<S(x_k)-S(x_i)，N(x_k)-N(x_i)>

其中，<a，b>表示a与b做点积运算，S(x)表示x点处对应的3D空间点，N(x)表示x点处对应的法向量；

步骤七、通过下式计算所述x_i相对于所述x_k的共面性特征关系m_p：

其中，ρ为预设的表征两个点近似在一个平面上的阈值；

步骤八、对所述x_k计算局部特征：

基于步骤五、步骤六和步骤七得到的特征关系m_v、m_c和m_p，局部区域中邻域像素点相对于中心关键点的相对特征关系用m_v、m_c和m_p表示，从而形成一个数组，即[m_v m_c m_p]；然后将m_v、m_c和m_p进行交叉组合，并为每个组合结果分配一个标签，共有8种类型的标签，分别为：000、001、010、011、100、101、110和111；由其构成8维度的向量作为所述x_k的局部特征，其每个标签对应的数值为所述x_i为该值的个数；

步骤九、结合全局特征和局部特征通过下式计算回环度量Loop：

Loop＝λ||L₂||+(1-λ||L_cos||)；

其中，λ表示全局特征和局部特征的平衡参数，||L₂||表示所述两个场景的全局特征距离，||L_cos||表示所述两个场景的局部特征距离；

若Loop大于预设阈值th，构成了回环；反之，不构成回环。

2.根据权利要求1所述的方法，其特征在于，如果所述RGB-D图像的深度图不可用，根据其前后几个RGB图像填充深度信息，获得完整且可用的深度图。

3.根据权利要求1所述的方法，其特征在于，所述梯度分布通过Sobel运算符计算。

4.根据权利要求1所述的方法，其特征在于，所述神经网络为孪生网络。

5.根据权利要求1所述的方法，其特征在于，所述特征点的检测采用ORB、SURF或SIFT关键点检测器。

6.根据权利要求1-5任一所述的方法，其特征在于，对于某个所述特征关键点x_k，所述局部区域大小是以x_k为中心，大小为r×r的区域。

7.根据权利要求6所述的方法，其特征在于，所述r由比例因子s决定，s根据x_k的深度确定。

8.根据权利要求7所述的方法，其特征在于，所述s由下述公式计算：

其中，d表示所述x_k的深度值。

9.根据权利要求7或8所述的方法，其特征在于，所述r由下述公式计算：

其中，s_max和s_min分别表示所述图像中最大的尺度因子和最小的尺度因子。

10.根据权利要求9所述的方法，其特征在于，所述||L₂||采用欧几里得距离，所述||L_cos||采用余弦距离。

Images