CN110880010A - 基于卷积神经网络的视觉slam闭环检测算法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的视觉SLAM闭环检测算法，属于机器人和深度学习领域。本发明所述算法利用卷积神经网络预训练模型提取图像特征，其最后的全连接层输出作为提取的图像特征向量。然后使用ZCA白化方法对高维图像特征向量进行降维处理并白化，利用中值滤波消除相似矩阵中存在的椒盐噪声。最后通过定义的相似矩阵计算图像相似值得分判断是否发生闭环。本发明所述方法可以判断是否发生闭环检测，减少定位算法的累积误差，在光照变化剧烈、复杂场景下仍具有很好的鲁棒性，解决了传统闭环检测方法手工提取特征成本高、鲁棒性低等问题，提高了闭环检测的效率。

Description

基于卷积神经网络的视觉SLAM闭环检测算法

技术领域

本发明属于机器人和深度学习领域，具体涉及一种基于卷积神经网络的视觉SLAM闭环检测算法。

背景技术

随着人工智能的发展，移动机器人成为了一个重要的研究领域。移动机器人要实现自主导航任务，需要进行建图、定位与路径规划等操作，同时定位与地图构建SLAM是其中最重要最基础的一环，被广泛应用于室内机器人、水下机器人、太空机器人等导航定位。根据所用的传感器不同，主要分为激光SLAM和视觉SLAM。由于相机成本低、拍摄的图像信息丰富，随着计算机视觉的发展，视觉SLAM越来越多的被广泛应用。闭环检测是指机器人通过相机等传感器判断是否之前经过这个地方，用来消除累积误差，是SLAM重要的一个环节。在传统方法上，词袋模型BoW被广泛用于视觉SLAM的闭环检测。其检测主要有三个步骤：首先，使用SIFT或ORB算法从不同类的图像中提取视觉词汇向量，这些向量表示图像中的局部不变特征点；其次，使用k-means算法将视觉词汇与相似的词义结合起来，并构建一个包含K个词汇的词列表；最后，计算单词列表中每个单词出现在图像中的次数，以便用K维数字向量表示图像。传统的闭环检测方法通过人工设计的稀疏特征进行匹配，容易造成特征丢失，检测闭环不准确，鲁棒性低。

近年来，随着深度学习的发展，越来越多人使用深度学习方法研究视觉SLAM闭环检测问题。深度学习通过神经网络学习图像深层次特征，无需人工设计特征，其识别率可以达到更高水平，更能适应于场景多变等复杂场景，从而提高闭环检测鲁棒性。

发明内容

本发明的目的是解决现有的视觉SLAM闭环检测传统算法效率低，需要手工提取特征，容易造成图像特征丢失，难以适应复杂场景，提供一种基于卷积神经网络的视觉SLAM闭环检测算法。

本发明所提出的技术问题是这样解决的：

一种基于卷积神经网络的视觉SLAM闭环检测算法，包括以下步骤：

步骤1.首先利用卷积神经网络CNN预训练模型处理采集的图像，最后的全连接层输出作为提取的图像特征向量，用

表示输入第I张图像得到的d维特征向量，d的大小根据卷积神经网络全连接层的维数决定；

步骤2.利用ZCA白化将提取的高维度特征向量X进行降维和冗余白化处理，以提高处理效率及降低成本；

步骤2的具体步骤为：

步骤2-1.对卷积神经网络模型提取的图像特征向量X进行L₂正则化处理，如下面公式(1)所示；

步骤2-2.计算获得n个归一化特征向量X^(I)后，组成得到相应矩阵M表示图像特征,矩阵维度为n×d，如公式(2)；

步骤2-3.计算得到特征向量的平均值

并用

代替矩阵M中的特征向量

步骤2-4.重复步骤2-3为n次，n大小为归一化后的特征向量的个数，从而得到特征向量

被替换后的矩阵M新表达式；

步骤2-5.利用公式cov＝M^TM计算得到协方差矩阵cov；

步骤2-6.求出协方差矩阵值cov后，基于奇异分解的方法，对其进行SVD分解，计算得到向量U；

步骤2-7.对特征向量

进行降维处理后，得到降维后的向量，用

表示；

步骤2-8.对特征向量

进行计算，得到需要的ZCA白化结果

步骤3.设定D是图像和图像之间所有差异的集合。利用欧氏距离和L₂范数计算得到图像I和J之间的距离D_i,j，其中

表示ZCA白化后的特征向量；

步骤4.利用公式S_i,j＝1-D_i,j/max(D_i,j)，其中max(D_i,j)表示取D_i,j的最大值，从而计算得到相似矩阵，计算得到的值大小在[0,1]范围内，并使用中值滤波去除相似矩阵中的椒盐噪声；

步骤5.利用步骤4计算得到的相似矩阵值判断是否发生闭环，值越大表示相邻图像之间的相似程度越高，根据相似矩阵值，大于设定的阈值∈时表示检测结果为发生闭环。并计算精确率(precision)及召回率(recall)，从而绘制出P-R曲线评估闭环检测算法。

本发明的有益效果是：本发明所述方法通过深度学习的方法解决了传统闭环检测算法需要手工提取特征、鲁棒性低等问题。卷积神经网络预训练模型提取的特征，在光照变化不理想条件情况下，都能取得较好的效果。此外，使用ZCA白化对特征向量进行降维处理，再通过相似矩阵得分判断是否发生闭环。并且通过对卷积网络和真实闭环得到的相似矩阵进行对比，计算得出闭环检测的精确率和召回率并绘制P-R曲线评估视觉SLAM算法。本发明方法在闭环检测具有很好的鲁棒性和迁移性。

附图说明

下面结合附图和具体实施方式对本发明方法做更进一步的说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明所述基于卷积神经网络的视觉SLAM闭环检测算法流程图；

图2为本发明中ResNet50和Ground Truth可视化相似矩阵对比图；

图3为本发明中ResNet101和Ground Truth可视化相似矩阵对比图；

图4为本发明中ResNet152和Ground Truth可视化相似矩阵对比图；

图5为本发明中Inceptionv4和Ground Truth可视化相似矩阵对比图；

图6为本发明中ResNet50可视化相似矩阵结果图；

图7为本发明中Inceptionv1可视化相似矩阵结果图；

图8为本发明中Inceptionv4可视化相似矩阵结果图；

图9为本发明中5个神经网络预训练模型在City Centre数据集中P-R曲线对比图；

图10为本发明中5个神经网络预训练模型在New College数据集中P-R曲线对比图。

具体实施方式

下面结合附图和实施例对本发明进行进一步的说明。

本实施例提供一种基于卷积神经网络的视觉SLAM闭环检测算法，如图1所示，本发明方法所构建的视觉SLAM工作流程大致分为两个阶段：第一阶段，使用卷积神经网络预训练模型提取特征，并使用ZCA白化进行降维冗余处理；第二阶段，计算相似矩阵，判断是否发生闭环。本发明对目前四种常用卷积神经网络预训练模型(ResNet50,ResNet101,ResNet152和Inception-v4)进行了多次实验对比，最终验证了本发明提出的基于卷积神经网络的视觉SLAM闭环检测算法可以用于闭环检测，而且相比现有的算法，鲁棒性更高。算法流程图如图1所示，包括以下步骤：

步骤1.首先利用卷积神经网络CNN预训练模型(ResNet50,ResNet101,ResNet152和Inception-v4)处理采集的图像，最后的全连接层输出作为提取的图像特征向量，用

表示输入第I张图像得到的d维特征向量，d的大小根据卷积神经网络全连接层的维数决定，以模型ResNet进行视觉SLAM闭环检测算法实验为例，其d的大小等于4096；

步骤2.利用ZCA白化将提取的高维度特征向量X^(I)进行降维和冗余白化处理，以提高处理效率及降低成本；

步骤2的具体步骤为：

步骤2-1.根据公式(1)，对卷积神经网络模型最后全连接层提取的4096维图像特征向量进行L₂正则化处理，得到(x₁,...,x_d)＝[10.569155 7.9324036...11.337387]；

步骤2-2.计算获得n个归一化特征向量X^(I)后，组成得到相应矩阵M表示图像特征,矩阵维度为n×d，其中取n＝4096,得到相应矩阵

步骤2-3.根据

计算特征向量的平均值，得到

并用

代替矩阵M中的特征向量

步骤2-4.重复步骤2-3为n次，n大小为归一化后的特征向量的个数，取n＝4086,从而得到特征向量

被替换后的矩阵M新表达式；

步骤2-5.利用公式cov＝M^TM计算得到协方差矩阵cov；

步骤2-6求出协方差矩阵cov后，基于奇异分解的方法，对其进行SVD分解，计算得到向量U；

步骤2-7对特征向量

进行降维处理后，得到特征向量

步骤2-8对降维后的特征向量

进行计算，得到ZCA白化结果后的特征向量，用

表示；

步骤3.设定D是图像和图像之间所有差异的集合。利用欧氏距离和L₂范数计算得到图像I和J之间的距离D_i,j；

步骤4.利用公式S_i,j＝1-D_i,j/max(D_i,j)，其中max(D_i,j)表示取D_i,j的最大值，从而计算得到相似矩阵，并使用中值滤波去除相似矩阵中的椒盐噪声，其计算得到的值大小在[0,1]范围内，颜色越深表明相似矩阵值越大，大小越接近于1，见图2至图8所示；

步骤5.利用步骤4计算得到的相似矩阵值判断是否发生闭环，值越大表示相邻图像之间的相似程度越高，根据相似矩阵值，大于设定的阈值∈时表示检测结果为发生闭环。对得到的相似矩阵制进行二值化处理，计算得到精确率和召回率及P-R曲线图，评估闭环检测算法的适用性。在City Centre和New College公开数据计算得到的P-R曲线如图9和图10所示。

在完成以上步骤后，得到了本发明提出的相似矩阵判断是否发生闭环检测，可视化相似矩阵如图2至图8所示，图中对角线颜色最深，表明发生了闭环检测。同时绘制得到的P-R曲线图，如图2至图10所示，评估了本发明卷积神经网络视觉SLAM闭环检测算法，图中精确率和召回率走势表明本发明卷积神经网络适用于视觉SLAM闭环检测。

本发明提供了一种基于卷积神经网络的视觉SLAM闭环检测算法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的技术人员来说，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种基于卷积神经网络的视觉SLAM闭环检测算法，其特征在于，包括以下步骤：

步骤1.首先利用卷积神经网络CNN预训练模型处理采集的图像，最后的全连接层输出作为提取的图像特征向量，用

表示输入第I张图像得到的d维特征向量，d的大小根据卷积神经网络全连接层的维数决定；

步骤2.利用ZCA白化将提取的高维度特征向量X^(I)进行降维和冗余白化处理，以提高处理效率及降低成本；

步骤2的具体步骤为：

步骤2-1.对卷积神经网络模型提取的图像特征向量X进行L₂正则化处理，如下面公式(1)所示；

步骤2-2.计算获得n个归一化特征向量X^(I)后，组成得到相应矩阵M表示图像特征,矩阵维度为n×d，如公式(2)；

步骤2-3.计算得到特征向量的平均值

并用

代替矩阵M中的特征向量

步骤2-4.重复步骤2-3为n次，n大小为归一化后的特征向量的个数，从而得到特征向量

被替换后的矩阵M新表达式；

步骤2-5.利用公式cov＝M^TM计算得到协方差矩阵cov；

步骤2-6.求出协方差矩阵cov后，基于奇异分解的方法，对其进行SVD分解，计算得到向量U；

步骤2-7.对特征向量

进行降维处理后，得到特征向量

步骤2-8.对降维后的特征向量

进行计算，得到ZCA白化结果后的特征向量，用

表示；

步骤3.设定D是图像和图像之间所有差异的集合。利用欧氏距离和L₂范数计算得到图像I和J之间的距离D_i,j，其中

表示ZCA白化后的特征向量；

步骤4.利用公式S_i,j＝1-D_i,j/max(D_i,j)，其中max(D_i,j)表示取D_i,j的最大值，从而计算得到相似矩阵，计算得到的值大小在[0,1]范围内，并使用中值滤波去除相似矩阵中的椒盐噪声；

步骤5.利用步骤4计算得到的相似矩阵值判断是否发生闭环，值越大表示相邻图像之间的相似程度越高，根据相似矩阵值，大于设定的阈值∈时表示检测结果为发生闭环。

Images