CN109800692A - 一种基于预训练卷积神经网络的视觉slam回环检测方法 - Google Patents

Abstract

本发明请求保护一种基于预训练卷积神经网络的视觉SLAM回环检测方法，包括如下步骤：S1.基于预训练卷积神经网络VGG‑19的结构对输入图像数据集进行特征提取，并构造图像特征向量集；S2.基于K‑Means算法对图像特征向量集进行特征聚类，并生成聚类模型；S3.对新输入图像帧经过预训练VGG‑19提取特征向量作为特征描述，并通过聚类模型输出预测标签；S4.在同一类别标签内，利用欧式距离度量对新加入图像的特征向量和其余特征向量进行相似度计算，当度量值小于设定阈值时则判定与之形成回环，经过条件筛选，输出构成的真实回环图像集合。本发明提高了准确率、降低了开销。

Description

一种基于预训练卷积神经网络的视觉SLAM回环检测方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于预训练卷积神经网络的视觉SLAM回环检测方法。

背景技术

同步定位与建图(Simultaneous Localization and Mapping，SLAM)一直是机器人领域的重要研究内容，其主要目的是实现运动物体在陌生环境中自身定位及增量式的地图构建。在早期的研究中多使用激光、雷达等设备作为传感器进行信息采取。进入2000年以后，随着计算性能的提高，摄像头作为传感器开始成为主流的SLAM系统采取方式，这种基于视觉图像信息来感受周围环境的SLAM系统称为视觉SLAM(Visual SLAM)，其系统核心功能被分为三个独立的模块，分别是前端视觉里程计、回环检测和后端优化。其中，视觉里程计在较长时间的运行中，会因为邻近帧间的误差积累导致后端的优化收敛出现严重的偏差，这样的偏差在建图过程中会反映为漂移。因此，在视觉SLAM系统中引入了回环检测模块，用于消除累计误差，控制建图的全局一致性。

传统的回环检测方法分为两种。一种是基于视觉里程计的方法，这种方法是利用视觉里程计中的几何关系，假设相机回到了之前的位置，再进行是否构成回环的判断，但由于视觉里程计自身既存在偏移误差，这种判断逻辑准确性较低，误差较大。另外一种方法是基于视觉图像的方法，根据帧间相似性来判断回环，把回环检测问题归纳成为一个场景识别问题。其主要思路是通过前端摄像头获取到场景影像数据，运用计算机视觉的方法来计算图像间的相似性，从而判断回环。基于视觉图像方法的核心问题是如何计算图像间的相似性，现阶段较常使用方法是在图像中标定人工设计的关键点，然后进行特征描述子之间的相似度计算。但在回环检测中无论是对图像进行全局特征提取还是局部特征提取，都是基于设计算法人员的人为经验，当在现实环境中面对光照变化，天气变化，季节变换等情况时会出现准确率下降、无法稳定检测等问题。

近年来，基于深度学习的方法也开始应用于回环检测，在准确率和鲁棒性上较传统的人工设计特征方法具有更优异的表现。但是都会出现过高维度的特征向量增加了计算复杂度，庞大的神经网络训练不适合应用在常搭载SLAM系统的移动平台，不适合的神经网络模型应用在回环检测中容易形成过拟合等问题。

因此，为了解决上述技术问题，亟需提出一种新的方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种解决了人工设计的特征提取在回环检测中面对光照和角度变化时准确率下降和特征提取与构造特征描述子耗时高的问题。克服了常见的基于深度学习的视觉SLAM回环检测方法中，高纬度的特征向量引起的计算性能开销过大无法快速检测回环的问题的基于预训练卷积神经网络的视觉SLAM回环检测方法。本发明的技术方案如下：

一种基于预训练卷积神经网络的视觉SLAM回环检测方法，其包括以下步骤：

S1、输入场景图像集合，对输入图像先进行去均值标准化处理，基于预训练卷积神经网络VGG-19的结构，在VGG-19的前向传播中对输入图像数据集进行特征提取，并构造图像特征向量集；

S2、基于K-Means算法对图像特征向量集进行特征聚类，并生成聚类模型；

S3、对新输入图像帧经过预训练VGG-19提取特征向量作为特征描述，并通过聚类模型输出预测标签；

S4.在同一类别标签内，利用欧式距离度量对新加入图像的特征向量和其余图像的特征向量进行相似度计算，当度量值小于设定阈值时则判定与之形成回环，经过条件筛选，输出构成的真实回环图像集合。

进一步的，所述步骤S1输入场景图像集合，基于预训练卷积神经网络VGG-19的结构对输入图像数据集进行特征提取，并构造图像特征向量集，具体步骤如下：

S11.对于任一单张三通道图像f_i，对图像进行去均值标准化处理，

其中，j表示图像的RGB通道，i表示图像下标，n表示图像数量，表示数据集中所有图像在通道j上的平均值；

S12.对于S11中处理过后的图像，通过Conv1到Conv5的卷积层前向传播，

a^l＝σ(z^l)＝σ(a^l-1*W^l+b^l)#(2)

ReLU(z^l)＝max(0,z^l)#(3)

其中上标l代表当前层数，a^l代表第l层的输出，*代表卷积，W代表卷积核，

b代表偏置量，σ(·)代表了使用的激活函数ReLU；

S13.在Conv1到Conv5的每个卷积层的后面分别接一个最大池化层，通过最大池化的方式进行前向传播，

S＝βdown(C)+b#(4)

其中，β和b为标量，down(C)表示对输入的矩阵C进行下采样；

S14.在预训练的VGG-19卷积神经网络末端有FC6和FC7作为全连接层，对隐藏层学到的分布式特征进行映射，使用卷积核进行全层卷积，

S15.至此，通过提取FC7层的输出结果，得到了单一图像的输出结果一个4096维的图像特征向量。

S16.为了加快图像特征的提取，对VGG-19的BATCH值做了调整，对于一次性输入的k张图像，能够在前向传播到FC7层时直接输出一个(k,4096)的特征矩阵M，作为特征向量集：

进一步的，所述步骤S2基于K-Means算法对图像特征向量集进行特征聚类，并生成聚类模型，具体步骤如下：

S21.对于S16中得到的图像特征矩阵，随机选取K个聚类中心；

S22.对图像特征矩阵中的特征向量，按照欧氏距离度量方式选择最近邻聚类中心进行聚类，特征向量V₁(x₁,x₂…x₄₀₉₆)和V₂(y₁,y₂…y₄₀₉₆)的欧式距离为：

S23.对K个聚类分别计算其样本均值，计算结果作为新的K个聚类中心，再根据步骤S22重新聚类，特征向量V₁(x₁,x₂…x₄₀₉₆)的样本均值计算为：

S24.对当前聚类结果，计算误差平方和SSE：

S25.重复步骤S23和S24，直到误差平方和SSE不再变化，输出最终聚类结果，包括类别C＝{c₁,c₂…c_k}和每一个类别下的特征向量集合C_i＝1,2…k＝{V_j}，保存当前K-means聚类模型。

进一步的，所述步骤S3对新输入图像帧经过预训练VGG-19提取特征向量作为特征描述，并通过聚类模型输出预测标签，具体步骤如下：

S31.对于新加入的图像帧通过预训练的VGG-19卷积神经网络结构进行前向传播算法，得到FC7层的输出结果V＝(x₁,x₂…x₄₀₉₆)，作为该帧图像的特征描述向量；

S32.通过在步骤S25中保存的K-means聚类模型，对步骤S31所得到图像特征向量V进行聚类，得到其所属类别C_v。

进一步的，所述步骤S4的详细步骤如下：

S41.对步骤S31中得到的V与所属类别C_v中的其余所有特征向量，逐一进行步骤S22中的欧式距离度量，得到所有大于阈值的图像集合F₁；

S42.进行条件筛选，对于步骤S41的F₁中出现的连续下标图像，则选择其中与V的欧式距离度量值最小的一个，判定为真实回环，构成新的图像集合F＝{f_i}，非连续下标图像则直接加入到集合F中，至此，输出集合F＝{f_i}为所有与新加入图像帧构成真实回环的图像集合。

进一步的，所述步骤S16中BATCH值的调整根据具体需要构造的图像特征向量集的维度而决定。

本发明的优点及有益效果如下：

本发明S1中使用预训练的卷积神经网络构造图像特征向量集，解决了人工设计特征点的方法在复杂变化环境下无法稳定检测回环的问题。S2中利用K-means算法对构造的特征向量进行降维聚类，克服了已有的基于深度学习的回环检测方法中，所提取的图像特征描述维度过大，导致无法快速进行回环检测的问题。在S4中，对新加入帧在条件阈值的设定下通过欧氏距离度量进行回环判断，输出当前帧与过往的场景所构成的真实回环集，有效的满足了视觉SLAM系统在实际运行的场景中对于真实回环检测的需求。

附图说明

图1是本发明提供优选实施例基于预训练卷积神经网络的视觉SLAM回环检测方法的流程图。

图2为本发明中对新加入图像帧回环检测具体流程图。

图3为本发明中示例图像通过预训练VGG-19提取的特征向量可视化效果。

图4为本发明在City Centre数据集和New College数据集上的平均准确率。

图5为本发明在City Centre数据集上的P-R曲线。

图6为本发明在New College数据集上的P-R曲线。

图7为本发明在City Centre数据集和New College数据集上的时间性能。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

实施的平台为：Linux系统，Sublime Text3，流程如图1所示：

S1.基于在ImageNet数据集上进行预训练卷积神经网络VGG-19的结构，输入图像首先经过去均值标准化处理：

其中，j表示图像的RGB通道，i表示图像下标，n表示图像数量，表示数据集中所有图像在通道j上的平均值。

图像通过Conv1到Conv5的卷积层进行前向传播：

ReLU(z^l)＝max(0,z^l)

其中上标l代表当前层数，a^l代表第l层的输出，*代表卷积，W代表卷积核，

b代表偏置量，σ(·)代表了使用的激活函数ReLU。

在Conv1到Conv5的每个卷积层的后面会分别接一个最大池化层，通过最

大池化的方式进行前向传播：

S＝βdown(C)+b

其中，β和b为标量，down(C)表示对输入的矩阵C进行下采样。

在预训练的VGG-19卷积神经网络末端有FC6和FC7作为全连接层，对隐藏

层学到的分布式特征进行映射，使用卷积核进行全层卷积：

至此，通过提取FC7层的输出结果，得到了单一图像的输出结果

一个4096维的图像特征向量，其可视化效果如图3所示。

最后，为了加快图像特征的提取，对VGG-19的BATCH值做了调整，对于一次性输入的k张图像，能够在前向传播到FC7层时直接输出一个(k,4096)的特征矩阵M，作为特征向量集：

S2.基于K-Means算法对S1中构造的图像特征向量集进行特征聚类，对于S16中得到的图像特征矩阵，随机选取K个聚类中心。

对图像特征矩阵中的特征向量，按照欧氏距离度量方式选择最近邻聚类中心进行聚类，以特征向量V₁(x₁,x₂…x₄₀₉₆)和V₂(y₁,y₂…y₄₀₉₆)为例，欧式距离度量：

对K个聚类分别计算其样本均值，计算结果作为新的K个聚类中心，再次重新聚类。以特征向量V₁(x₁,x₂…x₄₀₉₆)为例，其样本均值计算为：

进一步，对当前聚类结果，计算误差平方和SSE：

迭代聚类和计算误差平方和SSE的过程，直到误差平方和SSE不再变化。输出最终聚类结果，包括类别C＝{c₁,c₂…c_k}和每一个类别下的特征向量集合C_i＝1,2…k＝{V_j}。保存当前K-means聚类模型。

S3.对于新加入的图像帧进行回环检测，具体流程如图2所示。通过预训练的VGG-19卷积神经网络结构进行前向传播算法，得到FC7层的输出结果V＝(x₁,x₂…x₄₀₉₆)，作为该帧图像的特征描述向量。通过已保存的K-means聚类模型，对所得到图像特征描述向量V进行聚类判别，得到其所属类别C_v。

S4.对得到的V与所属类别C_v中的其余所有特征向量，逐一进行欧式距离度量，得到所有大于阈值的图像集合F₁。进行条件筛选，对于在F₁中出现的连续下标图像，如{f₁,f₂,f₃}，则选择其中与V的欧式距离度量值最小的一个，判定为真实回环，构成新的图像集合F＝{f_i}，非连续下标图像则直接加入到集合F中。至此，输出集合F＝{f_i}为所有与新加入图像帧构成真实回环的图像集合。

下面结合实施例，对本发明做进一步说明。

公开回环检测数据集New College和City Centre分别包含2146张和2474张由机器人在室外环境中采集的连续图像，并且包含回环真值方便对比实验效果。图4展示了本发明在上述两个数据集上的平均准确率，其中在City Centre数据集上的准确率高于在NewCollege上的准确率，这是因为CityCentre数据集中的图像场景中有更多的人和车辆，预训练的VGG-19模型对于这样的场景识别能力更强。图5展示了本发明在City Centre数据集上的P-R曲线，当召回率到达0.7时，精确率依然保持在0.8左右，体现了本发明在回环检测中的良好性能。图6展示了本发明在New College数据集上的P-R曲线，可以看到召回率在0.6时，精确率下降到了0.7左右，相比在City Centre数据集上的性能有所下降，但是依然能够满足视觉SLAM系统对于回环检测的准确性要求。图7展示了本发明在以上两个数据集上的时间性能，所计算时间是对于新加入图像帧进行回环检测的时间，可以看出本发明在兼顾视觉SLAM系统对于回环检测准确性要求的同时满足了其对于实时性的要求。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，包括以下步骤：

S1、输入场景图像集合，对输入图像先进行去均值标准化处理，基于预训练卷积神经网络VGG-19的结构，在VGG-19的前向传播中对输入图像数据集进行特征提取，并构造图像特征向量集；

S2、基于K-Means算法对图像特征向量集进行特征聚类，并生成聚类模型；

S3、对新输入图像帧经过预训练VGG-19提取特征向量作为特征描述，并通过聚类模型输出预测标签；

S4.在同一类别标签内，利用欧式距离度量对新加入图像的特征向量和其余图像的特征向量进行相似度计算，当度量值小于设定阈值时则判定与之形成回环，经过条件筛选，输出构成的真实回环图像集合。

2.根据权利要求1所述的基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，所述步骤S1输入场景图像集合，基于预训练卷积神经网络VGG-19的结构对输入图像数据集进行特征提取，并构造图像特征向量集，具体步骤如下：

S11.对于任一单张三通道图像f_i，对图像进行去均值标准化处理，

其中，j表示图像的RGB通道，i表示图像下标，n表示图像数量，表示数据集中所有图像在通道j上的平均值；

S12.对于S11中处理过后的图像，通过Conv1到Conv5的卷积层前向传播，

a^l＝s(z^l)＝σ(a^l-1*W^l+b^l)#(2)

ReLU(z^l)＝max(0,z^l)#(3)

其中上标l代表当前层数，a^l代表第l层的输出，*代表卷积，W代表卷积核，b代表偏置量，σ(·)代表了使用的激活函数ReLU；

S13.在Conv1到Conv5的每个卷积层的后面分别接一个最大池化层，通过最大池化的方式进行前向传播，

S＝βdown(C)+b#(4)

其中，β和b为标量，down(C)表示对输入的矩阵C进行下采样；

S14.在预训练的VGG-19卷积神经网络末端有FC6和FC7作为全连接层，对隐藏层学到的分布式特征进行映射，使用卷积核进行全层卷积，

S15.至此，通过提取FC7层的输出结果，得到了单一图像的输出结果一个4096维的图像特征向量。

S16.为了加快图像特征的提取，对VGG-19的BATCH值做了调整，对于一次性输入的k张图像，能够在前向传播到FC7层时直接输出一个(k,4096)的特征矩阵M，作为特征向量集：

3.根据权利要求2所述的基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，所述步骤S2基于K-Means算法对图像特征向量集进行特征聚类，并生成聚类模型，具体步骤如下：

S21.对于S16中得到的图像特征矩阵，随机选取K个聚类中心；

S22.对图像特征矩阵中的特征向量，按照欧氏距离度量方式选择最近邻聚类中心进行聚类，特征向量V₁(x₁,x₂…x₄₀₉₆)和V₂(y₁,y₂…y₄₀₉₆)的欧式距离为：

S23.对K个聚类分别计算其样本均值，计算结果作为新的K个聚类中心，再根据步骤S22重新聚类，特征向量V₁(x₁,x₂…x₄₀₉₆)的样本均值计算为：

S24.对当前聚类结果，计算误差平方和SSE：

S25.重复步骤S23和S24，直到误差平方和SSE不再变化，输出最终聚类结果，包括类别C＝{c₁,c₂…c_k}和每一个类别下的特征向量集合C_i＝1,2…k＝{V_j}，保存当前K-means聚类模型。

4.根据权利要求3所述的基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，所述步骤S3对新输入图像帧经过预训练VGG-19提取特征向量作为特征描述，并通过聚类模型输出预测标签，具体步骤如下：

S31.对于新加入的图像帧通过预训练的VGG-19卷积神经网络结构进行前向传播算法，得到FC7层的输出结果V＝(x₁,x₂…x₄₀₉₆)，作为该帧图像的特征描述向量；

S32.通过在步骤S25中保存的K-means聚类模型，对步骤S31所得到图像特征向量V进行聚类，得到其所属类别C_v。

5.根据权利要求4所述的基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，所述步骤S4的详细步骤如下：

S41.对步骤S31中得到的V与所属类别C_v中的其余所有特征向量，逐一进行步骤S22中的欧式距离度量，得到所有大于阈值的图像集合F₁；

S42.进行条件筛选，对于步骤S41的F₁中出现的连续下标图像，则选择其中与V的欧式距离度量值最小的一个，判定为真实回环，构成新的图像集合F＝{f_i}，非连续下标图像则直接加入到集合F中，至此，输出集合F＝{f_i}为所有与新加入图像帧构成真实回环的图像集合。

6.根据权利要求2-5之一所述的基于预训练卷积神经网络的视觉SLAM回环检测方法，其特征在于，所述步骤S16中BATCH值的调整根据具体需要构造的图像特征向量集的维度而决定。