CN109492652B - 一种基于有序视觉特征单词库模型的相似图像判断方法 - Google Patents

Abstract

本发明公开了一种基于有序视觉特征单词库模型的相似图像判断方法，包括如下步骤：获取对比图像集及目标图像，分别将目标图像及每个对比图像划分为多个子图像块；提取每个子图像块的局部特征；对对比图像的局部特征进行聚类，得到多个特征单词；对所有特征单词按相似性进行排序并编号得到有序特征单词库；构建目标图像与对比图像的特征谱；将目标图像特征谱与每个对比图像特征谱做差，基于目标图像与各对比图像的相似性残差获取与目标图像最相似的对比图像。本发明在对图像特征进行匹配时会考虑特征之间的相似程度，并且会考虑特征单词的顺序，与现有技术相比，可显著提高图像相似性识别的准确性。

Description

一种基于有序视觉特征单词库模型的相似图像判断方法

技术领域

本发明涉及SLAM回环检测方法，具体涉及一种基于有序视觉特征单词库模型的相似图像判断方法。

背景技术

同步定位和建图(simultaneous localization and mapping,SLAM)技术是近年来人工智能领域一项重要的研究方向，被广泛研究并应用于无人驾驶、无人机、扫地机器人、AR等领域。SLAM当前主流方向包括激光SLAM和视觉SLAM，其中激光SLAM技术相对成熟，但由于体积大、成本高等因素限制了其进一步的发展。由于图像信息量大、图像传感器成本低、体积小，基于图像的视觉SLAM逐步成为当前SLAM的研究热点。但同时由于图像采集、特征计算、特征匹配等各环节存在一定的误差，视觉SLAM随着地图的扩大，误差逐步累积，定位和建图精度逐渐下降。视觉SLAM中引入回环检测环节对误差进行校正，当前回环检测主要采用视觉特征单词库模型(BOVW，bag of visual words)检测地图中相似的地点，并以此作为约束进行误差校正。BOVW来源于应用于文本分类的特征单词库模型，该方法先通过离线建立图像特征的特征单词库，对目标图像，通过图像局部特征与特征单词库的比较，得到视觉特征单词序列，继而得通过统计到视觉特征单词的直方图，最后基于图像的视觉特征单词直方图相似性判断图像的相似性。

BOVW模型判断图像相似性的思想虽然有其合理性，但其弱点也很明显，具体表现在：(1)特征单词库中的特征单词处于独立无序状态，特征单词之间只有两种关系，即要么相同要么不同。如图像局部区域a的特征单词为特征单词1，图像局部区域b对应的特征单词为特征单词2，如果“特征单词1＝特征单词2”，那么认为区域a和区域b相同，否则，认为区域a和区域b不同。而无法表达区域a和区域b是否相似。(2)BOVW模型基于特征单词序列直方图来表征图像整体特征，以此衡量图像相似性。直方图只是一种简单粗略的统计量，丢失了原图像特征单词序列大量信息，不能衡量图像特征空间分布特性，相同的直方图可对应不同内容，如特征单词向量“12234445”与特征单词向量“21354244”直方图完全一样，但实际是不同的内容。由于上述缺陷，BOVW模型判断图像相似性的判断精度较低。

因此如何提供一种新的相似图像判断方法，成为了本领域技术人员急需解决的问题。

发明内容

针对现有技术中存在的上述不足，本发明公开了一种基于有序视觉特征单词库模型的相似图像判断方法，在对图像特征进行匹配时会考虑特征之间的相似程度，并且会考虑特征单词的顺序，与现有技术相比，可显著提高图像相似性识别的准确性。

为解决上述技术问题，本发明采用了如下的技术方案：

一种基于有序视觉特征单词库模型的相似图像判断方法，包括如下步骤：

S1、获取对比图像集及目标图像，对比图像集内包含多个对比图像，分别将目标图像及每个对比图像划分为多个子图像块；

S2、提取每个子图像块的局部特征；

S3、对对比图像的局部特征进行聚类，得到多个特征单词；

S4、对所有特征单词按相似性进行排序并编号得到有序特征单词库，有序特征单词库内特征单词之间的序号越接近则说明特征单词之间越相似；

S5、将目标图像的局部特征与对比图像的局部特征进行特征匹配，找到目标图像的局部特征对应的特征单词，将目标图像的局部特征对应的特征单词按照目标图像的子图像块的空间顺序构建目标图像特征谱，将对比图像的局部特征对应的特征单词按照对比图像的子图像块的空间顺序构建对比图像特征谱；

S6、将目标图像特征谱与每个对比图像特征谱做差，获目标图像与各对比图像的相似性残差，基于目标图像与各对比图像的相似性残差获取与目标图像最相似的对比图像。

优选地，采用SIFT局部特征描述子从子图像块提取局部特征，采用K-mean均值聚类方法对局部特征进行聚类得到特征单词，步骤S4包括如下步骤：

将特征单词采用LLE流形学习算法降维至一维，得到一维特征单词；

将一维特征单词按照升序或降序排序；

将特征单词按照其对应的一维特征单词顺序进行排序并编号得到有序特征单词库。

优选地，S5中图像特征谱中谱值为特征单词的序号。

优选地，目标图像Ts与任意一张对比图像Tr_j的相似性残差为s(Ts,Tr_j)，其中，

Pu_Ts为目标图像特征谱，

为对比图像Tr_j的特征谱，||·||₁表示求1-范数，设与目标图像Ts最相似的对比图像为t，

j为对比图像的序号。

综上所述，本发明公开了一种基于有序视觉特征单词库模型的相似图像判断方法，包括如下步骤：S1、获取对比图像集及目标图像，对比图像集内包含多个对比图像，分别将目标图像及每个对比图像划分为多个子图像块；S2、提取每个子图像块的局部特征；S3、对对比图像的局部特征进行聚类，得到多个特征单词；S4、对所有特征单词按相似性进行排序并编号得到有序特征单词库，有序特征单词库内特征单词之间的序号越接近则说明特征单词之间越相似；S5、将目标图像的局部特征与对比图像的局部特征进行特征匹配，找到目标图像的局部特征对应的特征单词，将目标图像的局部特征对应的特征单词按照目标图像的子图像块的空间顺序构建目标图像特征谱，将对比图像的局部特征对应的特征单词按照对比图像的子图像块的空间顺序构建对比图像特征谱；S6、将目标图像特征谱与每个对比图像特征谱做差，获目标图像与各对比图像的相似性残差，基于目标图像与各对比图像的相似性残差获取与目标图像最相似的对比图像。本发明在对图像特征进行匹配时会考虑特征之间的相似程度，并且会考虑特征单词的顺序，与现有技术相比，可显著提高图像相似性识别的准确性。

附图说明

图1为本发明公开的一种基于有序视觉特征单词库模型的相似图像判断方法的流程图；

图2为本发明实施例中连续图像序列中的部分图像；

图3为本发明实施例中对比图像和目标图像构建方案；

图4为本发明实施例中基于有序特征单词库模型的图像特征谱图；

图5为本发明实施例中基于无序特征单词库模型的图像特征谱图；

图6为本发明实施例中基于无序特征单词库模型的特征谱残差图；

图7为本发明实施例中基于有序特征单词库模型的特征谱残差图；

图8至图11为本发明实施例中部分目标图像与所有对比图像的特征谱残差曲线图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明公开了一种基于有序视觉特征单词库模型的相似图像判断方法，包括如下步骤：

S1、获取对比图像集及目标图像，对比图像集内包含多个对比图像，分别将目标图像及每个对比图像划分为多个子图像块；

预先设定子图像块的大小和间隔，对图像均匀网格划分。

S2、提取每个子图像块的局部特征；

S3、对对比图像的局部特征进行聚类，得到多个特征单词；

S4、对所有特征单词按相似性进行排序并编号得到有序特征单词库，有序特征单词库内特征单词之间的序号越接近则说明特征单词之间越相似；

S5、将目标图像的局部特征与对比图像的局部特征进行特征匹配，找到目标图像的局部特征对应的特征单词，将目标图像的局部特征对应的特征单词按照目标图像的子图像块的空间顺序构建目标图像特征谱，将对比图像的局部特征对应的特征单词按照对比图像的子图像块的空间顺序构建对比图像特征谱；

S6、将目标图像特征谱与每个对比图像特征谱做差，获目标图像与各对比图像的相似性残差，基于目标图像与各对比图像的相似性残差获取与目标图像最相似的对比图像。

以汽车的定位为例，为了实现同步定位，当汽车行驶在某一区域内时，获取到当前汽车的行车记录仪记录到的图像(即目标图像)后，需要将其与此区域的对比图像进行对比，找到最相似的对比图像，则对比图像所表示的位置即是汽车的当前位置。现有技术中，特征单词匹配时，只会判断目标图像与对比图像的特征单词是否一致，但实际定位的过程中，可能因为天气、光照或其他原因导致相同位置的图像会有一定的差异，若采用现有技术的方法，若汽车处于某对比图像的位置，但目标图像与对比图像存在少量差异，那么就无法实现定位。现有技术中，对于特征单词的位置或顺序都不会考虑，但实际上可能存在两幅图片实际不同但特征单词内容相同的情况，这种情况下，现有技术的方法就会出现误判。

本发明会充分考虑特征单词之间的相似性和特征单词的顺序，从而找出与目标图像最相似的对比图像，与现有技术相比，可以有效避免无法找出相似图像或找到错误的相似图像的问题。

具体实施时，采用SIFT局部特征描述子从子图像块提取局部特征，采用K-mean均值聚类方法对局部特征进行聚类得到特征单词，步骤S4包括如下步骤：

将特征单词采用LLE流形学习算法降维至一维，得到一维特征单词；

将一维特征单词按照升序或降序排序；

将特征单词按照其对应的一维特征单词顺序进行排序并编号得到有序特征单词库。

本发明可采用最为稳定的sift算子，假设第j个对比图像的所有子图像块的特征单词集合为：

F^j＝{f₁,f₂,…,f_p}∈R^p×D

f_m表示第m个子图像块的特征单词，此处的特征单词以向量形式存在，p表示对比图像提取的局部特征点数，此处特征点由图像均匀网格划分数确定，D表示局部特征维数(即特征单词向量的维数)，对于sift特征，D＝128。

设置有序特征单词库大小，即有序特征单词库中特征单词的个数，例如，可设置有序特征单词库大小为300，采用K-mean均值聚类方法对所有对比图像的sift特征进行聚类，生成原始的300个无序特征单词；无序特征单词库的生成可以表示为：

W＝Kmeans([F¹,F²,…,F^nTr],C)＝{w₁,w₂,…w_C}

F^j表示第j个对比图像的所有子图像块的特征单词集合，w_l∈R^D表示无序特征单词库中的任意一个特征单词，W∈R^C×D表示整个无序特征单词库，C＝300表示无序特征单词库的大小，即无序特征单词库中特征单词的个数。

对300个128维的无序特征单词降维至一维，获得有序特征单词库，使序号上接近的特征单词具有更相似的特征，能表示相近的子图像块，序号距离越远的特征单词，其特征差异越大，其对应的子图像块差异也越大；降维采用LLE流形学习算法，可表示为：

LLE(W,d,k)表示LLE降维运算,d表示目标维数，此处d＝1，k表示邻域大小。

表示高维特征单词w_l降至一维的结果。

对向量U中的所有元素进行排序，表示为：

sl为排序后的编号,1≤sl≤C，升序降序均可。

对应的新的有序特征单词库为：

与现有技术相比，

中的特征单词由无序变为了有序，相邻特征单词在空间分布上更靠近，对应的子图像块更具有相似性。

具体实施时，S5中图像特征谱中谱值为特征单词的序号。

具体实施时，目标图像Ts与任意一张对比图像Tr_j的相似性残差为s(Ts,Tr_j)，其中，

Pu_Ts为目标图像特征谱，

为对比图像Tr_j的特征谱，·₁表示求1-范数，设与目标图像Ts最相似的对比图像为t，

j为对比图像的序号。

以第j张对比图像为例，假设其sift特征描述集合为F^j＝{f₁,f₂,…,f_p}∈R^p×D，其特征单词向量的维数为D＝{c₁,c₂,…,c_p}∈R^p，其中

dis(·)表示欧式距离，即计算sift描述向量与有序特征单词库中每个特征单词的距离，距离最近的特征单词的编号即为c_n。特征谱为：

本发明公开的相似图像判断方法效果可通过如下仿真进一步说明：

仿真内容：

采用KITTI数据集中的彩色视觉里程图像(visual odometry color)序列中的高速公路场景图像(01/image_2)，部分场景图像如图2所示，图像大小1241*376。实验中取该数据目录下前160帧图像作为样本，其中对比图像和目标图像各80帧，图像选取方式为依次间隔5帧选取，即1-5帧为对比图像，6-10帧为目标图像，11-15为对比图像，16-20为目标图像，依次类推。样本选取方式即对比图像和目标图像编号如图3所示。该图像序列是定速等时间间隔采样，理论上一定时间范围内采集时间越接近的图像帧相似性越强，即图像序号越接近的图像相似性越高。如果两帧图像采集时间间隔过大，二者之间已经没有重叠区域则无法用时间间隔来衡量相似性。各目标图像在对比图像中最相近的图像帧如图3箭头及公式所示，Si表示理论上与第i张目标图像最相似的对比图像编号。

采用词库模型对80帧对比图像进行sift特征提取并采用K-means进行聚类，词库大小设置为300，即聚类生成300个128维的特征单词向量。采用LLE进行降维，目标维数设置为1，邻域大小设置为30，对降维后的300个一维特征单词进行排序，并以此顺序作为300个高维无序特征单词的排序。将图像特征谱以谱图表示出来，有序特征单词库模型和无序特征单词库模型的特征谱图分别为称为有序特征谱图和无序特征谱图。基于有序特征单词库模型和无序特征单词库模型生成的部分样本特征谱图如图4和图5所示。

从图中可以看出，采用有序特征单词库模型获得的特征谱图区域分明，原图像相似的区域其特征谱值接近，对应的谱图也接近。而采用无序特征单词库模型获得的特征谱图则十分混乱，同样的道路区域或者树木区域，由于每个子图像块特征单词不尽相同，对应无序特征单词索引号显得随机，特征谱图没有规律，无法表达图像的相似区域。可见有序特征单词相对无序特征单词对图像具有更好的特征描述性能。

上述图像序列中，其中31-35,41-42帧为对比图像，36-40帧为目标图像。分别采用有序特征单词图模型和无序特征单词图模型对36/37/39/40帧目标图像与理论上最为相似的第35/41帧对比图像作特征谱的残差，结果如图6图7所示。图6为无序特征谱残差图，图7为有序特征谱残差图。从图6图7很明显可以看出，有序模型整体残差明显比无序模型小，分布更为稀疏。对于图像样本中的重叠区域，有序特征谱图的残差很小，而无序特征谱图的残差近似随机。将目标图像特征谱与所有对比图像特征谱作残差，计算残差量，绘制残差曲线图。其中部分目标图像与所有对比图像的特征谱残差曲线如图8至图11所示。从图8至图11曲线整体可以看出有序特征谱的残差量具有非常明显的波谷(与最相似图像的特征谱残差)，由波谷向左右两侧一定范围内具有显著的单调特性，超出一定范围后残差量大小呈不确定性。这与预期非常一致，在一定时间范围内，目标图像与对比图像之间存在重叠区域，时间越接近的图像相似性较高，残差越小，时间差越大的图像相似性越低，残差越大。相比较而言，无序特征谱残差量曲线波谷特性不明显，两侧的单调性也不显著。部分目标图像残差曲线没有明显波谷。这表明无序模型无法用特征图谱残差量来很好地衡量图像之间的相似性。

上述仅是本发明优选的实施方式，需指出是，对于本领域技术人员在不脱离本技术方案的前提下，还可以作出若干变形和改进，上述变形和改进的技术方案应同样视为落入本发明要求保护的范围。

Claims (3)

1.一种基于有序视觉特征单词库模型的相似图像判断方法，其特征在于，包括如下步骤：

S1、获取对比图像集及目标图像，对比图像集内包含多个对比图像，分别将目标图像及每个对比图像划分为多个子图像块；

S2、提取每个子图像块的局部特征；

S3、对对比图像的局部特征进行聚类，得到多个特征单词；其中，采用SIFT局部特征描述子从子图像块提取局部特征，采用K-mean均值聚类方法对局部特征进行聚类得到特征单词；

S4、对所有特征单词按相似性进行排序并编号得到有序特征单词库，有序特征单词库内特征单词之间的序号越接近则说明特征单词之间越相似；具体包括如下步骤：

将特征单词采用LLE流形学习算法降维至一维，得到一维特征单词；

将一维特征单词按照升序或降序排序；

将特征单词按照其对应的一维特征单词顺序进行排序并编号得到有序特征单词库；

S5、将目标图像的局部特征与对比图像的局部特征进行特征匹配，找到目标图像的局部特征对应的特征单词，将目标图像的局部特征对应的特征单词按照目标图像的子图像块的空间顺序构建目标图像特征谱，将对比图像的局部特征对应的特征单词按照对比图像的子图像块的空间顺序构建对比图像特征谱；

S6、将目标图像特征谱与每个对比图像特征谱做差，获目标图像与各对比图像的相似性残差，基于目标图像与各对比图像的相似性残差获取与目标图像最相似的对比图像。

2.如权利要求1所述的基于有序视觉特征单词库模型的相似图像判断方法，其特征在于，S5中图像特征谱中谱值为特征单词的序号。

3.如权利要求1所述的基于有序视觉特征单词库模型的相似图像判断方法，其特征在于，目标图像Ts与任意一张对比图像Tr_j的相似性残差为s(Ts,Tr_j)，其中，

Pu_Ts为目标图像特征谱，

为对比图像Tr_j的特征谱，||·||₁表示求1-范数，设与目标图像Ts最相似的对比图像为t，

j为对比图像的序号。

Images