CN109711245A - 一种基于图像候选区域的闭环检测方法 - Google Patents

Abstract

本发明公开了一种基于图像候选区域的闭环检测方法，包括：获取待查询图像，以及由待匹配图像构成的图像数据集；分别提取待查询图像以及每一张待匹配图像的候选区域；对所述的候选区域进行预处理，然后提取每一个候选区域的特征，并将候选区域的特征进行降维处理；通过候选区域的特征，计算待查询图像的候选区域、每一张待匹配图像的候选区域之间的总体相似性构成的相似性矩阵；通过所述的相似性矩阵，判断待查询图像是否出现闭环现象。本方法在光照、视角和不同变化组合引起的显著变化场景下依然能表现出较强的鲁棒性，从而有效克服现有的检测方法对光照变化敏感、场景中视角变化明显时检测效果不佳等问题。

Description

一种基于图像候选区域的闭环检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于图像候选区域的闭环检测方法。

背景技术

伴随机器人技术的快速发展，视觉同步定位与地图构建vSLAM(VisualSimultaneous Localization and Mapping，vSLAM)在机器人导航任务中越来越重要。vSLAM大致分为前端部分和后端部分，前端部分主要负责估计相邻图像间的运动，构建局部地图；后端部分主要通过获取的闭环检测信号对前端构建的地图进行优化，得到全局一致的轨迹和地图；当机器人行走过拐角处后，由于转动速度过快，导致系统来不及匹配，使当前帧与历史帧断裂。传统的基于图优化算法在小型室内环境中，可以很好地实现地图构建，而环境地图规模较大时，机器人在运动过程中产生的轨迹误差会不断累积，导致最终构建的地图出现断裂或者漂移现象，而闭环检测(loop closure detection)是指机器人在未知环境下的地图构建过程中，通过视觉传感器信息检测当前位置的图像之前是否访问过，滤掉错误的闭环，消除累积轨迹误差和地图误差。因此闭环检测在vSLAM过程中尤为关键。在传统的挖掘算法中主要有以下缺点，本方法对其进行了改进：

①传统的闭环检测方法依赖于人工设计的局部特征SIFT、FAST、ORB或全局特征GIST等，视觉词袋模型将这些局部特征转化为字典中的视觉单词，并利用这些单词进行图像描述，此方法检测闭环速度快但对光照变化敏感。

②目前，随着深度学习在近些年取得的较大成功，研究学者开始通过CNN提取图像特征，同时也在3个公开数据集上进行训练测试，实验发现基于深度学习提取的特征的闭环检测方法对场景中光照等外观变化有较强的鲁棒性；何等人设计一种快速精简神经网络提高了闭环检测的速度；Gao等人通过Autoencoder模型从隐藏层提取图像特征，通过相似性矩阵得到闭环区域，在公开数据集上也取得了很好的结果；基于深度学习的闭环检测方法可以减少场景中光照、季节等变化带来的影响。但是由于其提取的是图像的全局特征，所以当场景中视角变化明显时，上述方法检测闭环的效果不佳。

发明内容

为了进一步提高闭环检测算法对场景中外观和视角变化的鲁棒性，本发明提出一种先检测出图像中的候选区域，再提取这些区域的特征的闭环检测方法来解决闭环检测过程中对光照、视角变化等敏感的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于图像候选区域的闭环检测方法，包括以下步骤：

获取待查询图像，以及由待匹配图像构成的图像数据集；

分别提取待查询图像以及每一张待匹配图像的候选区域；

对所述的候选区域进行预处理，然后提取每一个候选区域的特征，并将候选区域的特征进行降维处理；

通过候选区域的特征，计算待查询图像的候选区域、每一张待匹配图像的候选区域之间的总体相似性构成的相似性矩阵；

通过所述的相似性矩阵，判断待查询图像是否出现闭环现象。

进一步地，所述的通过候选区域的特征，计算待查询图像的候选区域、每一张待匹配图像的候选区域之间的总体相似性构成的相似性矩阵，包括：

通过待查询图像候选区域的特征、待匹配图像候选区域的特征的余弦距离，通过双向匹配原则，完成候选区域间的配对；

计算配对好的候选区域间的形状相似性，然后计算总体相似性，得到相似性矩阵。

进一步地，所述的分别提取待查询图像以及每一张待匹配图像的候选区域，包括：

对于待查询图像以及待匹配图像，采用训练好的多尺度候选区域网络进行候选区域的提取；所述的多尺度候选区域网络是在RPN网络的基础上改进得到的，具体为：

将RPN网络的第一层卷积层、第三层卷积层以及第五层卷积层的特征图进行融合，分别对第一层卷积层输出的特征图进行最大池化操作、对第五层卷积层输出的特征图进行反卷积操作，对所述最大池化操作后的特征图、第三层卷积层输出的特征图、反卷积操作后的特征图进行归一化处理。

进一步地，所述的对所述的候选区域进行预处理，包括：

将候选区域的大小调整为227*227像素，并减去RGB通道的均值数据。

进一步地，所述的提取每一个候选区域的特征，包括：

对PlaceCNN网络进行改进和迁移学习，然后提取所述候选区域的特征；

所述的改进是指在PlaceCNN网络的最后一个全连接层和倒数第二个全连接层之间加了一层用于将特征变为二值向量的全连接隐层，该全连接隐层激活函数为Sigmod。

进一步地，所述的通过双向匹配原则，完成候选区域间的配对，包括：

记待查询图像I_q中第i个候选区域的特征向量为图像数据集中任意一个待匹配图像I_r中第j个候选区域的特征向量为使用基于余弦距离的最近邻搜索，采用双向匹配策略来完成候选区域间的匹配：

若是的最近邻，并且也是的最近邻，I_q中第i个候选区域、I_r中第j个候选区域是匹配的，它们的余弦距离记为C_ij。

进一步地，所述的计算配对好的候选区域间的形状相似性，包括：

记待查询图像I_q中第i个候选区域待匹配图像I_r中第j个候选区域匹配，则二者的形状相似性S_ij计算如下式，S_ij越小，形状越相似：

其中，表示I_q中第i个候选区域左上角、右下角坐标，表示I_r中第j个候选区域左上角、右下角坐标，i＝1,2,...,n_q，j＝1,2,...,n_r，n_q、n_r分别为I_q、I_r中候选区域的数量。

进一步地，所述的计算总体相似性，得到相似性矩阵，所采用的公式为：

上式中，表示待查询图像I_q、待匹配图像I_r的总体相似性，将待查询图像与所有待匹配图像的总体相似性构成所述的相似性矩阵。

进一步地，所述的通过所述的相似性矩阵，判断待查询图像是否出现闭环现象，包括：

判断相似性矩阵中，所有总体相似性是否大于设定的阈值，若均小于设定的阈值，则判定待查询图像未出现闭环现象；

若存在大于设定阈值的总体相似性，则选择最高的总体相似性对应的待匹配图像作为待查询图像的最佳匹配结果，此时判定待查询图像出现闭环现象。

本发明相对于现有技术具有如下的优点及效果：

本发明方法首先通过改进Faster R-CNN中的区域选择网络PRN得到MSRPN，然后利用MSRPN网络检测出图像中的候选区域，并通过改进的PlaceCNN提取候选区域特征，提高了闭环检测的准确性能，然后，考虑了图像中候选区域形状的相似性，提出了基于图像候选区域的闭环检测算法，并利用双向匹配对之间的空间约束，去除不正确的匹配对，以提高闭环检测的整体准确性；本发明方法的有效性已经在三种公开的数据集上进行了实验验证，实验结果表明，与其他的闭环检测算法相比，本方法在光照、视角和不同变化组合引起的显著变化场景下依然能表现出较强的鲁棒性，从而有效克服现有的检测方法对光照变化敏感、场景中视角变化明显时检测效果不佳等问题。

附图说明

图1为本发明方法的整体流程示意图；

图2为MSRPN网络产生候选区域阶段的流程图；

图3为改进的PlaceCNN网络的结构示意图；

图4利用候选区域的进行闭环判断过程的流程示意图；

图5为机器人利用本发明方法进行闭环检测的示意图。

具体实施方式

如图1所示，本发明公开了一种基于图像候选区域的闭环检测方法，包括以下步骤：

步骤1，获取待查询图像，以及由待匹配图像构成的图像数据集

所述的待查询图像是指需要判断是否发生了闭环现象的图像，例如为机器人视觉系统最新获取的一张图像；所述的图像数据集是指机器人视觉系统已经获取到的图像构成的集合，将其中的图像记为待匹配图像，通过待查询图像与待匹配图像的匹配，来判断待查询图像之前是否访问过，从而判断是否出现闭环。

步骤2，分别提取待查询图像以及每一张待匹配图像的候选区域

对于待查询图像以及待匹配图像，采用训练好的多尺度候选区域网络(MultiScale Region Proposal Networks，MSRPN)进行候选区域的提取，如图2所示；所述的多尺度候选区域网络是在RPN(Region Proposal Networks)网络的基础上改进得到的。RPN网络是Faster RCNN中的区域选择子网络，它接在VGGNet的第五个卷积块后面，输出特征是512维，大小是原图的1/16，训练好的RPN可以产生若干候选区域，这些区域可能存在物体。

考虑到网络模型深层有丰富的语义信息，能够增加分类准确率，但是网络深层输出的特征图丢失位置信息重；浅层有大量的细节信息，能够增加定位精度，因此本发明对RPN网络进行改进，得到多尺度候选区域网络MSRPN，具体为：

将RPN网络的第一层卷积层(conv1_3)、第三层卷积层(conv3_3)以及第五层卷积层(conv5_3)的特征图进行融合，分别对层次较低的第一层卷积层输出的特征图进行最大池化操作、对层次较高的第五层卷积层输出的特征图进行反卷积操作，最后，利用L2normLRN(local response normalization)对所述最大池化操作后的特征图、第三层卷积层输出的特征图、反卷积操作后的特征图进行归一化处理。

MSRPN通过反向传播和随机梯度下降算法进行训练，设置每个训练批次样本数量为256，将在Imagenet上训练好的权重当做基础网络的初始权值，采用MSRA初始化MSRPN新增层的权值，不断更新权重使得损失函数达到最小，初始学习率为0.001，总的训练次数为80万，冲量参数为0.95，学习率在训练次数分别为30、50万时变为0.0001和0.00001。整个MSRPN的作用就是替代了以前的滑窗(selective search)方法，通过减小标记框与预测的候选框之间的差异进行参数学习，从而使MSRPN网络能够学习到预测候选区域的能力。

步骤3，对所述的候选区域进行预处理，然后提取每一个候选区域的特征，并将候选区域的特征进行降维处理

步骤3.1，候选区域的预处理

将候选区域的大小调整为227*227像素，并减去候选区域在RGB通道的均值数据，完成预处理过程。

步骤3.2，提取候选区域的特征

为了提高网络模型的泛化能力和PlaceCNN的时间性能，本发明对PlaceCNN网络进行改进和迁移学习，然后提取所述候选区域的特征；具体为：

在PlaceCNN网络的最后一个全连接层(Fc8)和倒数第二个全连接层(Fc8)之间加了一层用于将特征变为二值向量的全连接隐层，即图3中的H层，该全连接隐层激活函数为Sigmod，输出为48，使得PlaceCNN既可学到深层的特征，还可以学习到48位的哈希编码特征，这个隐层H不仅是对Fc7的一个特征概括，而且是一个连接CNN网络的中层特征与高层特征的桥梁。采用冻结法对改进的PlaceCNN进行迁移学习。其中在反向传播时，将步骤2产生图像候选区域输入到改进了的PlaceCNN，即可提取相应的特征。

步骤3.3，特征的降维处理

提取到候选区域特征之后，采用PCA降维方法将候选区域特征映射到一个低维的空间以便提高匹配速度。

步骤4，通过候选区域的特征，计算待查询图像的候选区域、每一张待匹配图像的候选区域之间的总体相似性构成的相似性矩阵

步骤4.1，通过待查询图像候选区域的特征、待匹配图像候选区域的特征的余弦距离，通过双向匹配原则，完成候选区域间的配对；

候选区域的双向匹配采用候选区域特征的余弦距离进行度量。记待查询图像I_q中第i个候选区域的特征向量为图像数据集中任意一个待匹配图像I_r中第j个候选区域的特征向量为使用基于余弦距离的最近邻搜索，采用双向匹配策略来完成候选区域间的匹配：

若是的最近邻，并且也是的最近邻，I_q中第i个候选区域、I_r中第j个候选区域是匹配的，它们的余弦距离记为C_ij，C_ij越小，候选区域特征越相似：

步骤4.2，计算配对好的候选区域间的形状相似性

为了解决步骤4.1中候选区域之间的闭环检测假阳性匹配问题，即得到的候选区域特征的相似性很高但候选区域的形状明显不同，本发明考虑了候选区域的形状相似性，记待查询图像I_q中第i个候选区域待匹配图像I_r中第j个候选区域匹配，则二者的形状相似性S_ij计算如下式，S_ij越小，形状越相似：

其中，表示I_q中第i个候选区域左上角、右下角坐标，表示I_r中第j个候选区域左上角、右下角坐标，i＝1,2,...,n_q，w_i,h_i分别为的宽和高，w_j,h_j分别为的宽和高，j＝1,2,...,n_r，n_q、n_r分别为I_q、I_r中候选区域的数量。

步骤4.3，计算总体相似性，得到相似性矩阵

基于余弦距离的双向匹配方法完成候选区域间匹配以后，通过计算配对的候选区域间的形状相似性可以降低假阳性问题对闭环检测算法造成的影响，然后计算候选区域间的总体相似性：

上式中，表示待查询图像I_q、待匹配图像I_r的总体相似性，n_q、n_r分别为I_q、I_r中候选区域的数量，S_ij、C_ij分别为I_q中第i个候选区域、I_r中第j个候选区域的形状相似性，以及特征的余弦距离。

将待查询图像与所有待匹配图像的总体相似性构成所述的相似性矩阵。

步骤5，通过所述的相似性矩阵，判断待查询图像是否出现闭环现象

判断相似性矩阵中，所有总体相似性是否大于设定的阈值，若所有总体相似性均小于设定的阈值，则认为图像数据集中不存在待查询图像的匹配结果，此时判定待查询图像未出现闭环现象；

若存在大于设定阈值的总体相似性，则选择最高的总体相似性对应的待匹配图像作为待查询图像的最佳匹配结果，此时判定待查询图像出现闭环现象，如图4所示。

如图5所示，为利用本方法进行闭环检测的示意图，若机器人走到某个位置后，获取一张待查询图像，与之前已经获取的图像构成的数据集采用本方法进行闭环检测，从而减少机器人在构图和定位中出现的累积误差。

Claims (9)

1.一种基于图像候选区域的闭环检测方法，其特征在于，包括以下步骤：

获取待查询图像，以及由待匹配图像构成的图像数据集；

分别提取待查询图像以及每一张待匹配图像的候选区域；

对所述的候选区域进行预处理，然后提取每一个候选区域的特征，并将候选区域的特征进行降维处理；

通过候选区域的特征，计算待查询图像的候选区域、每一张待匹配图像的候选区域之间的总体相似性构成的相似性矩阵；

通过所述的相似性矩阵，判断待查询图像是否出现闭环现象。

2.如权利要求1所述的基于图像候选区域的闭环检测方法，其特征在于，所述的通过候选区域的特征，计算待查询图像的候选区域、每一张待匹配图像的候选区域之间的总体相似性构成的相似性矩阵，包括：

通过待查询图像候选区域的特征、待匹配图像候选区域的特征的余弦距离，通过双向匹配原则，完成候选区域间的配对；

计算配对好的候选区域间的形状相似性，然后计算总体相似性，得到相似性矩阵。

3.如权利要求1所述的基于图像候选区域的闭环检测方法，其特征在于，所述的分别提取待查询图像以及每一张待匹配图像的候选区域，包括：

对于待查询图像以及待匹配图像，采用训练好的多尺度候选区域网络进行候选区域的提取；所述的多尺度候选区域网络是在RPN网络的基础上改进得到的，具体为：

将RPN网络的第一层卷积层、第三层卷积层以及第五层卷积层的特征图进行融合，分别对第一层卷积层输出的特征图进行最大池化操作、对第五层卷积层输出的特征图进行反卷积操作，对所述最大池化操作后的特征图、第三层卷积层输出的特征图、反卷积操作后的特征图进行归一化处理。

4.如权利要求1所述的基于图像候选区域的闭环检测方法，其特征在于，所述的对所述的候选区域进行预处理，包括：

将候选区域的大小调整为227*227像素，并减去RGB通道的均值数据。

5.如权利要求1所述的基于图像候选区域的闭环检测方法，其特征在于，所述的提取每一个候选区域的特征，包括：

对PlaceCNN网络进行改进和迁移学习，然后提取所述候选区域的特征；

所述的改进是指在PlaceCNN网络的最后一个全连接层和倒数第二个全连接层之间加了一层用于将特征变为二值向量的全连接隐层，该全连接隐层激活函数为Sigmod。

6.如权利要求2所述的基于图像候选区域的闭环检测方法，其特征在于，所述的通过双向匹配原则，完成候选区域间的配对，包括：

记待查询图像I_q中第i个候选区域的特征向量为图像数据集中任意一个待匹配图像I_r中第j个候选区域的特征向量为使用基于余弦距离的最近邻搜索，采用双向匹配策略来完成候选区域间的匹配：

若是的最近邻，并且也是的最近邻，I_q中第i个候选区域、I_r中第j个候选区域是匹配的，它们的余弦距离记为C_ij。

7.如权利要求2所述的基于图像候选区域的闭环检测方法，其特征在于，所述的计算配对好的候选区域间的形状相似性，包括：

记待查询图像I_q中第i个候选区域待匹配图像I_r中第j个候选区域匹配，则二者的形状相似性S_ij计算如下式，S_ij越小，形状越相似：

其中，表示I_q中第i个候选区域左上角、右下角坐标，表示I_r中第j个候选区域左上角、右下角坐标，i＝1,2,...,n_q，j＝1,2,...,n_r，n_q、n_r分别为I_q、I_r中候选区域的数量。

8.如权利要求2所述的基于图像候选区域的闭环检测方法，其特征在于，所述的计算总体相似性，得到相似性矩阵，所采用的公式为：

上式中，表示待查询图像I_q、待匹配图像I_r的总体相似性，将待查询图像与所有待匹配图像的总体相似性构成所述的相似性矩阵。

9.如权利要求1所述的基于图像候选区域的闭环检测方法，其特征在于，所述的通过所述的相似性矩阵，判断待查询图像是否出现闭环现象，包括：

判断相似性矩阵中，所有总体相似性是否大于设定的阈值，若均小于设定的阈值，则判定待查询图像未出现闭环现象；

若存在大于设定阈值的总体相似性，则选择最高的总体相似性对应的待匹配图像作为待查询图像的最佳匹配结果，此时判定待查询图像出现闭环现象。