CN109934857B - 一种基于卷积神经网络与orb特征的回环检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络与ORB特征的回环检测方法，包括以下步骤：将新图像i加入图像序列；利用卷积神经网络提取图像i与图像序列中其他图像的特征向量并计算其余弦相似度；将相似度大于阈值的图象i和图象j进行ORB特征提取；对图像i和图像j进行特征匹配，若两幅图像最终匹配到的特征点的正确对数大于设定阈值则认为出现回环。由于本发明通过使用卷积神经网络代替传统词袋法，提高了回环检测的速度与准确性。由于本发明将卷积神经网络与ORB特征相结合从而降低误匹配概率。

Description

一种基于卷积神经网络与ORB特征的回环检测方法

技术领域

本发明属于智能移动机器人领域，尤其涉及一种基于卷积神经网络与ORB特征的回环检测方法。

背景技术

现阶段汽车无人驾驶技术十分火热，人们都在憧憬着智能交通时代的到来。而对于无人驾驶的研究直接实车试验成本太高而且危险性较大，因此各大高校级科研机构更青睐于利用成本较低的轮式移动机器人来进行科研研究，然后再将研究成果嫁接到实车上。而对于一个智能移动机器人来说，主要需要具备以下几个基本功能：

定位：机器人要能依靠自身携带的传感器精确确定自身位置信息；

导航：机器人能顺利从起点到达指定位置并成功避开障碍物。

在室外环境中机器人可以依靠GPS和高精度地图来实现自身定位与导航，但是在室内环境下、GPS信号较弱导致定位偏差较大。因此SLAM技术便应运而生，SLAM，全称叫做SimultaneousLocalizationandMapping，即同时定位与建图。

现在的SLAM算法一般包括两个部分：前端与后端。前端即视觉里程计的建立，包括帧间运动计算及局部点云地图拼接。后端包括地图优化和回环检测，其中回环检测是确保建立的地图趋近真实环境的关键步骤，因为在建图过程中不可避免的会出现误差，随着误差的累计、地图的偏移会越来越大，只有通过检测到正确的回环才能消除这一误差。

传统的SLAM算法中多采用词袋法进行回环检测，词袋法在检测之前需要加载一个很大的词典而且词袋法的检测区分度不高，检测速度也比较慢。因此会极大地影响SLAM算法整体的实时性与准确性。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种实时性与准确性好的基于卷积神经网络与ORB特征的回环检测方法。

为了实现上述目的，本发明的技术方案如下：一种基于卷积神经网络与ORB特征的回环检测方法，包括以下步骤：

A、新图像i输入

将新图像i加入图像序列：图像1、图像2、......、图像i。

B、计算图像i与图像序列中其他图像的特征向量的余弦相似度

将图像i输入到SqueezeNet卷积神经网络，其中输入图像的格式为224×224的三通道RGB图像，提取SqueezeNet卷积神经网络的avgpool10层输出的1000维数组A(a₁,a₂,a₃,···,a₁₀₀₀)作为此图像的特征向量。

同理依次获得图像1、图象2、......、图象i-1的特征向量B₁(b_(1，1),b_(1，2),b₍₁，3),···,b_(1，1000))、B₂(b_(2，1),b_(2，2),b_(2，3),···,b_(2，1000))、......、B_i-1(b_(i-1，1),b_(i-1，2),b_(i-1，3),···,b_(i-1，1000))；

B1、令j＝1

B2、按下式计算A与B_j的余弦相似度：

若A与B_j的余弦相似度大于设定的阈值则转步骤C；否则，判断j是否等于i，如果是，则转步骤A；如果否，则令j＝j+1，转步骤B2。

C、对图象i和图象j进行ORB特征提取。ORB特征由关键点和描述子两部分组成，它的关键点称为“OrientedFAST”，是一种改进的FAST角点，它的描述子称为BRIEF。具体包括以下步骤：

C1、FAST角点提取：FAST角点是指图像中灰度梯度变化较大的地方，首先取图像中的一个像素点，然后对比此点的灰度值与以此点为圆心半径为3的圆上的16个像素的灰度值，若有连续N个点大于或者小于设定的阈值则认为此点为角点。另外，为了解决角点不具备方向性的问题还要为其增加尺度不变性和旋转特性的描述。尺度不变性是通过构建图像金字塔然后对每一层的图像进行角点检测来实现。旋转特性是通过灰度质心法来获取的，具体步骤如下：

尺度不变性是通过构建图像金字塔并对其中每一层的图像进行特征点检测，然后将共同检测到的特征点认定为正确检测结果。旋转特性由灰度质心法来描述，灰度质心法即由灰度值来确定图像的质心，如在一个图像块M中定义图像块的矩m为：

其中，p＝{0,1}，q＝{0,1}；

则图像块块M的质心C为：

再连接图像块的几何中心O与质心C便得到方向向量

C2、BRIEF描述子提取：BRIEF描述子是一种二进制描述子，它的描述向量由多个0和1组成，这里的0和1编码了关键点附近两个像素p和q的大小关系：如果p比q大，则取1，反之就取0。如果取了128个这样的p和q，最后就得到128维由0和1组成的向量。

结合之前FAST角点的旋转特性便得到具有旋转特性的BRIEF描述子。

D、对图像i和图像j进行特征匹配。特征点匹配采用快速最邻近搜索算法，即：FLANN算法，首先通过建立随机K-D树找到图像中某个特征点在图像j中的对应点，然后计算两个特征点BRIEF描述子的汉明距离。将图像中匹配出的距离最小的点的距离记做D，取4×D为筛选标准对所有的配对点进行筛选，将距离小于4×D的点认为正确匹配点。最后对图像i做同样操作，将两者共同匹配到的点作为最终匹配点。

若两幅图像最终匹配到的特征点的对数大于设定阈值则认为出现回环，结束；否则，转步骤A。

与现有技术相比，本发明具有以下有益效果：

1、由于本发明通过使用卷积神经网络代替传统词袋法，提高了回环检测的速度与准确性。

2、由于本发明将卷积神经网络与ORB特征相结合从而减小误匹配概率。

附图说明

图1为本方法的运行主流程图；

图2为步骤B流程图；

图3为步骤C流程图；

图4为步骤D流程图；

图5为SqueezeNet卷积神将网络的结构图。

具体实施方式

下面通过附图对本发明作进一步地说明。SqueezeNet是由UCBerkeley和Stanford研究人员一起设计的，其设计的初衷并不是为了达到最佳的CNN识别精度，而是希望简化网络复杂度，同时达到public网络的识别精度，因此此网络适合于轻量级计算设备，如智能移动机器人上。SqueezeNet的网络结构如图5所示，其一共有14层，可以将224×224×3的图像最终转化为1000维数组。

SqueezeNet主要是通过降低卷积核大小、减小池化层尺寸和去除部分全连接层等方法来降低网络的参数数量，从而可以提高提取图像特征的速度。

本方法的具体运行流程如图1-4所示，将新图像i输入SqueezeNet卷积神经网络，其中输入图像的格式为224×224的三通道RGB图像，提取其avgpool10层输出的1000维数组A(a₁,a₂,a₃,···,a₁₀₀₀)作为此图像的特征向量。

将此图像的特征向量与图像序列中其他图像的特征向量进行余弦相似度计算，若其中图像j与图像i的特征向量的余弦相似度大于设定的阈值则继续进行下一步，否则选取新的图像重复以上步骤。

对图像i与图像j进行ORB特征提取。ORB特征由关键点和描述子两部分组成，它的关键点称为“OrientedFAST”，是一种改进的FAST角点，它的描述子称为BRIEF(BinaryRobustIndependentElementaryFeatures)。因此，ORB特征的提取分为两步：

FAST角点提取：FAST角点是指图像中灰度梯度变化较大的地方，首先取图像中的一个像素点，然后对比此点的灰度值与以此点为圆心半径为3的圆上的16个像素的灰度值，若有连续N个点大于或者小于设定的阈值则认为此点为角点。另外，为了解决角点不具备方向性的问题还要为其增加尺度不变性和旋转特性的描述。尺度不变性是通过构建图像金字塔然后对每一层的图像进行角点检测来实现。旋转特性是通过灰度质心法来获取的。

BRIEF描述子：BRIEF是一种二进制描述子，它的描述向量由许多个0和1组成，这里的0和1编码了关键点附近两个像素(比如说p和q)的大小关系：如果p比q大，则取1，反之就取0。如果取了128个这样的p和q，最后就得到128维由0和1组成的向量。结合之前FAST角点的旋转特性便可以得到具有旋转特性的BRIEF描述子。

当图像的特征提取完毕后便要进行特征点的匹配。特征点匹配采用FLANN算法，首先通过建立随机K-D树找到图像中某个特征点在图像j中的对应点，然后计算两个特征点BRIEF描述子的汉明距离。将图像中匹配出的距离最小的点的距离记做D，一般取4×D为筛选标准对所有的配对点进行筛选，将距离小于4×D的点认为正确匹配点。最后对图像i做同样操作，将两者共同匹配到的点作为最终匹配点。

若图像i与图像j最终匹配到的特征点的对数大于设定阈值则认为出现回环，否则退出流程。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种基于卷积神经网络与ORB特征的回环检测方法，其特征在于：包括以下步骤：

A、新图像i输入

将新图像i加入图像序列：图像1、图像2、......、图像i；

B、计算图像i与图像序列中其他图像的特征向量的余弦相似度

将图像i输入到SqueezeNet卷积神经网络，其中输入图像的格式为224×224的三通道RGB图像，提取SqueezeNet卷积神经网络的avgpool10层输出的1000维数组A(a₁,a₂,a₃,···,a₁₀₀₀)作为此图像的特征向量；

同理依次获得图像1、图象2、......、图象i-1的特征向量B₁(b_(1，1),b_(1，2),b_(1，3),···,b_(1，1000))、B₂(b_(2，1),b_(2，2),b_(2，3),···,b_(2，1000))、......、B_i-1(b_(i-1，1),b_(i-1，2),b_(i-1，3),···,b_(i-1，1000))；

B1、令j＝1

B2、按下式计算A与B_j的余弦相似度：

若A与B_j的余弦相似度大于设定的阈值则转步骤C；否则，判断j是否等于i，如果是，则转步骤A；如果否，则令j＝j+1，转步骤B2；

C、对图象i和图象j进行ORB特征提取；ORB特征由关键点和描述子两部分组成，它的关键点称为“OrientedFAST”，是一种改进的FAST角点，它的描述子称为BRIEF；具体包括以下步骤：

C1、FAST角点提取：首先取图像中的一个像素点，然后对比此点的灰度值与以此点为圆心半径为3的圆上的16个像素的灰度值，若有连续N个点大于或者小于设定的阈值则认为此点为角点；另外，为了解决角点不具备方向性的问题还要为其增加尺度不变性和旋转特性的描述；尺度不变性是通过构建图像金字塔然后对每一层的图像进行角点检测来实现；旋转特性是通过灰度质心法来获取的，具体步骤如下：

尺度不变性是通过构建图像金字塔并对其中每一层的图像进行特征点检测，然后将共同检测到的特征点认定为正确检测结果；旋转特性由灰度质心法来描述，灰度质心法即由灰度值来确定图像的质心，如在一个图像块M中定义图像块的矩m_pq为：

其中，p＝{0,1}，q＝{0,1}；

则图像块M的质心C为：

再连接图像块的几何中心O与质心C便得到方向向量

C2、BRIEF描述子提取：BRIEF描述子是一种二进制描述子，它的描述向量由多个0和1组成，这里的0和1编码了关键点附近两个像素p和q的大小关系：如果p比q大，则取1，反之就取0；如果取了128个这样的p和q，最后就得到128维由0和1组成的向量；

结合之前FAST角点的旋转特性便得到具有旋转特性的BRIEF描述子；

D、对图像i和图像j进行特征匹配；特征点匹配采用快速最邻近搜索算法，即：FLANN算法，首先通过建立随机K-D树找到图像中某个特征点在图像j中的对应点，然后计算两个特征点BRIEF描述子的汉明距离；将图像中匹配出的距离最小的点的距离记做D，取4×D为筛选标准对所有的配对点进行筛选，将距离小于4×D的点认为正确匹配点；最后对图像i做同样操作，将两者共同匹配到的点作为最终匹配点；

若两幅图像最终匹配到的特征点的对数大于设定阈值则认为出现回环，结束；否则，转步骤A。

Images