CN110188809A - 一种基于图像分块的回环检测方法 - Google Patents

Abstract

一种基于图像分块的回环检测方法，包括以下步骤：步骤1，对于每个输入图像帧，将图像分块为网格图像，提取每个网格图像的特征向量；步骤2，进行排序，综合排序结果计算历史图像帧与输入图像帧的空间相似性，选出与输入图像帧拥有最大空间相似性的历史图像帧，记为最佳候选图像帧；步骤3，计算最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性，并根据约束条件计算最佳候选图像帧与输入图像帧的回环合理性；步骤4，若最佳候选图像帧满足回环合理性，则将最佳候选图像帧与输入图像帧标记为回环图像对，反之则不标记；步骤5，将输入图像帧信息加入到历史图像帧中，获取新的输入图像帧。本发明可以加速回环检测过程，精确度更高。

Description

一种基于图像分块的回环检测方法

技术领域

本发明涉及视觉定位导航技术领域，尤其涉及一种基于图像分块的回环检测方法。

背景技术

随着基于定位的服务需求不断增长，如商场导航、医院引导、广告推送等，视觉定位与导航技术得到了广泛的研究与应用。由于视觉定位导航系统是一个不断累积传感器相对信息的过程，因此无法从根本上去除误差对定位系统带来的影响，在长期的定位应用中定位性能较差。

回环检测的引入很好地解决了视觉定位中的性能局限性，其主要任务是寻找图像序列中重复访问过的地点，通过比对重复地点的定位数据差异以修正系统误差。回环检测的优势在于无需事先了解目标区域的任何知识，只根据历史信息修正当前结果，因此应用范围广泛。

发明内容

现有的回环检测方法无法在检测精度与运行效率之间达到平衡，尤其难以在移动平台这样的资源受限场景中实现实时运行的效果，本发明提供一种基于图像分块的回环匹配方法，通过将图像分块并分别处理网格图像块以加速回环检测过程，利用归一化纹理相似性与空间相似性的计算检测回环，在保持较高的回环匹配精度的同时能够提升检测速度，保证定位应用在移动平台上能够达到更好的性能。

本发明解决其技术问题所采用的技术方案是：

一种基于图像分块的回环检测方法，包括以下步骤：

步骤1，对于每个输入图像帧，将图像分块为网格图像，提取每个网格图像的特征向量，从历史图像帧分块的网格图像中搜寻若干个与输入图像帧分块的网格图像形成回环的网格图像候选；

步骤2，将若干个与输入图像帧分块的每个网格图像形成回环的网格图像候选进行排序，综合排序结果计算历史图像帧与输入图像帧的空间相似性，根据计算结果选出与输入图像帧拥有最大空间相似性的历史图像帧，记为最佳候选图像帧；

步骤3，计算最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性，并根据约束条件计算最佳候选图像帧与输入图像帧的回环合理性；

步骤4，若最佳候选图像帧满足回环合理性，则将最佳候选图像帧与输入图像帧标记为回环图像对，反之则不标记；

步骤5，将输入图像帧信息加入到历史图像帧中，获取新的输入图像帧，回到步骤1，进行下一个回环检测过程。

进一步，在所述步骤1中，搜寻与输入图像帧分块的网格图像形成回环的网格图像候选的步骤如下：

步骤1-1，对于当前时间点i的输入图像帧I_i，i≥2，将其分块为N个网格图像I_i,n，其中n∈[1,N]；

步骤1-2，对输入图像帧I_i分块的每个网格图像I_i,n提取图像特征向量v_i,n，用以描述网格图像；

步骤1-3，对所有历史图像帧I_j分块的网格图像I_j,n的特征向量v_j,n，j＝1,2,…,i-1，计算与v_i,n的特征向量相似度S(v_i,n,v_j,n)，并在向量相似度的计算结果中挑选k_n(个极大值，1≤k_n＜i，拥有k_n个极大值的网格图像集合记为网格图像候选{I_m,n}，m∈j。

再进一步，在所述步骤2中，获取最佳候选图像帧的步骤如下：

步骤2-1，对于输入图像帧I_i分块的每个网格图像I_i,n所提取的图像特征向量v_i,n，将在步骤1-3中获取到的k_n个网格图像候选{I_m,n}按照与v_i,n的特征向量相似度S(v_i,n,v_m,n)从大到小排序，最相似的排序为1，次相似的排序为2，…，最不相似的排序为k_n；

步骤2-2，计算历史图像帧I_j分块的每个网格图像I_j,n与输入图像帧I_i分块的网格图像I_i,n的空间相似性计分结果R_n(i,j)：若I_j,n存在于{I_m,n}中，且根据步骤2-1后排序为第r_n位，其中r_n∈[1,k_n]，则R_n(i,j)＝1/r_n，否则R_n(i,j)＝0；

步骤2-3，通过对历史图像帧I_j分块的每个网格图像I_j,n与输入图像帧I_i分块的网格图像I_i,n的空间相似性计分结果R_n(i,j)进行求和，得到历史图像帧I_j与输入图像帧I_i的空间相似性其中与输入图像帧I_i拥有最大空间相似性的历史图像帧记为最佳候选图像帧I_x。

更进一步，在所述步骤3中，最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性计算步骤如下：

步骤3-1，将最佳候选图像帧I_x分块的每个网格图像I_x,n的图像特征向量v_x,n与输入图像帧I_i分块的每个网格图像I_i,n的图像特征向量v_i,n间的特征向量相似度S(v_i,n,v_x,n)求和并取平均，得到最佳候选图像帧I_x与输入图像帧I_i的平均纹理相似性

步骤3-2，将w(i,x)除以归一化参数F_i得到适用于一般化场景的归一化平均纹理相似性T(i,x)＝w(i,x)/F_i。

优选的，在所述步骤3-2中，归一化参数F_i通过对所有历史相邻两帧图像的集合{(I_j,I_j-1)；j＝2,…,i-1}所取的子集合中元素的网格图像特征向量相似度求和并取平均得到，即

在所述步骤3中，计算最佳候选图像帧与输入图像帧的回环合理性的约束条件为：若最佳候选图像帧I_x与输入图像帧I_i的空间相似性与归一化平均纹理相似性的乘积结果大于合理性阈值α，即G(i,x)*T(i,x)≥α时，此时认为最佳候选图像帧I_x与输入图像帧I_i之间形成了回环。

在所述步骤5中，需要将当前输入图像帧I_i分块的每个网格图像I_i,n的图像特征向量v_i,n加入到历史图像信息中，并且在新一轮回环检测过程中i←i+1，j＝1,2,…,i。

本发明的有益效果主要表现在：该回环检测方法可以加速回环检测过程，使得能够在资源受限的移动平台上实时运行，并且该方法引入的归一化纹理相似性与空间相似性能够让回环检测的精确度更高。

附图说明

图1为本发明将图像分为四块时的分块回环检测流程图。

图2位本发明的图像空间相似性在将图像分为四块时的计算实例图。

图3为本发明实施例中的运行时间实验结果图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于图像分块的回环检测方法，包括以下步骤：

步骤1，对于每个输入图像帧，将图像分块为网格图像，提取每个网格图像的特征向量，从历史图像帧分块的网格图像中搜寻若干个与输入图像帧分块的网格图像形成回环的网格图像候选；

步骤2，将若干个与输入图像帧分块的每个网格图像形成回环的网格图像候选进行排序，综合排序结果计算历史图像帧与输入图像帧的空间相似性，根据计算结果选出与输入图像帧拥有最大空间相似性的历史图像帧，记为最佳候选图像帧；

步骤3，计算最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性，并根据约束条件计算最佳候选图像帧与输入图像帧的回环合理性；

步骤4，若最佳候选图像帧满足回环合理性，则将最佳候选图像帧与输入图像帧标记为回环图像对，反之则不标记；

步骤5，将输入图像帧信息加入到历史图像帧中，获取新的输入图像帧，回到步骤1，进行下一个回环检测过程。

所述步骤1至步骤5的流程如图1所示。

进一步，在所述步骤1中，搜寻与输入图像帧分块的网格图像形成回环的网格图像候选的步骤如下：

步骤1-1，对于当前时间点i的输入图像帧I_i，i≥2，将其分块为N个网格图像I_i,n，其中n∈[1,N]；

步骤1-2，对输入图像帧I_i分块的每个网格图像I_i,n提取图像特征向量v_i,n，用以描述网格图像；

步骤1-3，对所有历史图像帧I_j分块的网格图像I_j,n的特征向量v_j,n，j＝1,2,…,i-1，计算与v_i,n的特征向量相似度S(v_i,n,v_j,n)，并在向量相似度的计算结果中挑选k_n个极大值，1≤k_n＜i，拥有k_n个极大值的网格图像集合记为网格图像候选{I_m,n}，m∈j。

再进一步，在所述步骤2中，获取最佳候选图像帧的步骤如下：

步骤2-1，对于输入图像帧I_i分块的每个网格图像I_i,n所提取的图像特征向量v_i,n，将在步骤1-3中获取到的k_n个网格图像候选{I_m,n}按照与v_i,n的特征向量相似度S(v_i,n,v_m,n)从大到小排序，最相似的排序为1，次相似的排序为2，…，最不相似的排序为k_n；

步骤2-2，计算历史图像帧I_j分块的每个网格图像I_j,n与输入图像帧I_i分块的网格图像I_i,n的空间相似性计分结果R_n(i,j)：若I_j,n存在于{I_m,n}中，且根据步骤2-1后排序为第r_n位，其中r_n∈[1,k_n]，则R_n(i,j)＝1/r_n，否则R_n(i,j)＝0；

步骤2-3，通过对历史图像帧I_j分块的每个网格图像I_j,n与输入图像帧I_i分块的网格图像I_i,n的空间相似性计分结果R_n(i,j)进行求和，得到历史图像帧I_j与输入图像帧I_i的空间相似性其中与输入图像帧I_i拥有最大空间相似性的历史图像帧记为最佳候选图像帧I_x。

其中，计算图像间的空间相似性方法的实例如图2所示。

更进一步，在所述步骤3中，最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性计算步骤如下：

步骤3-1，将最佳候选图像帧I_x分块的每个网格图像I_x,n的图像特征向量v_x,n与输入图像帧I_i分块的每个网格图像I_i,n的图像特征向量v_i,n间的特征向量相似度S(v_i,n,v_x,n)求和并取平均，得到最佳候选图像帧I_x与输入图像帧I_i的平均纹理相似性

步骤3-2，将w(i,x)除以归一化参数F_i得到适用于一般化场景的归一化平均纹理相似性T(i,x)＝w(i,x)/F_i。

在所述步骤3-2中，归一化参数F_i通过对所有历史相邻两帧图像的集合{(I_j,I_j-1)；j＝2,…,i-1}所取的子集合中元素的网格图像特征向量相似度求和并取平均得到，即所述d可以直接选取为前k个历史图像，即d＝i-k,i-k+1…,i-1；或所述d选取满足一定条件的历史图像，例如要求与前一帧的平均纹理相似性w(d,d-1)落在所有历史相邻平均纹理相似性w(j,j-1)均值的95％置信区间内；又或所述d在所有历史图像中进行随机选取。

在所述步骤3中，计算最佳候选图像帧与输入图像帧的回环合理性的约束条件为，若最佳候选图像帧I_x与输入图像帧I_i的空间相似性与归一化平均纹理相似性的乘积结果大于合理性阈值α，即G(i,x)*T(i,x)≥α时，此时认为最佳候选图像帧I_x与输入图像帧I_i之间形成了回环。所述合理性阈值α通过预先对其他的图像数据集训练得到，即选择最小的α取值使得训练数据集不出现任何误检测，预训练得到的α可以作为经验值用于其他场景的使用，并根据此场景的实际运行结果迭代更新取值。

在所述步骤5中，需要将当前输入图像帧I_i分块的每个网格图像I_i,n的图像特征向量v_i,n加入到历史图像信息中，并且在新一轮回环检测过程中i←i+1，j＝1,2,…,i。

本实施例，使用词袋(Bag of Word)向量作为描述图像的特征向量，词袋向量之间的相似度使用一种L1范数相似度进行评估，即：S(v_i,n,v_j,n)＝1–|v_i,n/|v_i,n|-v_j,n/|v_j,n||/2。若使用灰度/颜色直方图作为描述图像的特征向量，则可以使用Pearson Correlation距离，即L2范数相似度进行相似性评估。对于其他无特殊类型的一般描述图像的特征向量，均可以使用余弦相似度，即向量夹角评估两个特征向量的相似性。

使用Bovisa室内外动态场景数据集训练词袋模型，首先对数据集的10000张图像的每张图像提取1000点图像特征，其中特征是以1.2倍的尺度变换提取8个不同尺度的ORB特征。在Intel Xeon E5-2620@2.1GHz的24核计算机上，使用多线程实现本发明，并在同一机器上与近年来最流行的回环算法DBoW2进行运行速度的比较。系统的总运行时间包含了特征提取和回环检测两个阶段的执行时间。图3给出了本发明方法与DBoW2方法的运行时间在CityCentre室外动态场景数据集上的比较。下表给出了本发明与DBoW2在移动平台(iPhone 6s)上的运行时间性能结果。可以看到，由于DBoW2每次处理整个图像，因此耗费大量的计算时间在特征提取和搜索回环上，而本发明通过将原图分解为较小的网格图像分别处理，使得在回环检测上能够更加快速与稳定，并在移动平台上实现实时运行。

表1为移动平台上本发明与DBoW2的运行时间比较。

表1

另外，本实施例使用NewCollege室外动态场景数据集、Malaga6L室外静态场景数据集以及CityCentre室外动态场景数据集对本发明的回环检测准确性进行评估。回环检测准确性通过查准率与查全率来评估，其中查准率意味着算法检测到的所有回环的真阳性样本匹配的比率，而查全率是真阳性样本匹配与数据集中所有回环数量之间的比率。在100％查准率下，更高的查全率代表更高的准确度，因为任何回环误检测都将显著降低定位系统的性能。表2展示了在100％查准率下本发明与其他两种高速回环检测方法的查全率比较，“-”代表无数据提供。可以看到本发明的检测准确度最优。

	NewCollege	Malaga6L	CityCentre
				本发明	71.78％	82.76％	45.99％
DBoW2	70.29％	81.51％	43.03％
				LoCATe	-	68.20％	36.24％

表2

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于图像分块的回环检测方法，其特征在于，所述方法包括以下步骤：

步骤1，对于每个输入图像帧，将图像分块为网格图像，提取每个网格图像的特征向量，从历史图像帧分块的网格图像中搜寻若干个与输入图像帧分块的网格图像形成回环的网格图像候选；

步骤2，将若干个与输入图像帧分块的每个网格图像形成回环的网格图像候选进行排序，综合排序结果计算历史图像帧与输入图像帧的空间相似性，根据计算结果选出与输入图像帧拥有最大空间相似性的历史图像帧，记为最佳候选图像帧；

步骤3，计算最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性，并根据约束条件计算最佳候选图像帧与输入图像帧的回环合理性；

步骤4，若最佳候选图像帧满足回环合理性，则将最佳候选图像帧与输入图像帧标记为回环图像对，反之则不标记；

步骤5，将输入图像帧信息加入到历史图像帧中，获取新的输入图像帧，回到步骤1，进行下一个回环检测过程。

2.如权利要求1所述的一种基于图像分块的回环检测方法，其特征在于，在所述步骤1中，搜寻与输入图像帧分块的网格图像形成回环的网格图像候选的步骤如下：

步骤1-1，对于当前时间点i的输入图像帧I_i，i≥2，将其分块为N个网格图像I_i,n，其中n∈[1,N]；

步骤1-2，对输入图像帧I_i分块的每个网格图像I_i,n提取图像特征向量v_i,n，用以描述网格图像；

步骤1-3，对所有历史图像帧I_j分块的网格图像I_j,n的特征向量v_j,n，j＝1,2,…,i-1，计算与v_i,n的特征向量相似度S(v_i,n,v_j,n)，并在向量相似度的计算结果中挑选k_n个极大值，1≤k_n＜i，拥有k_n个极大值的网格图像集合记为网格图像候选{I_m,n}，m∈j。

3.如权利要求1或2所述的一种基于图像分块的回环检测方法，其特征在于，在所述步骤2中，获取最佳候选图像帧的步骤如下：

步骤2-1，对于输入图像帧I_i分块的每个网格图像I_i,n所提取的图像特征向量v_i,n，将在步骤1-3中获取到的k_n个网格图像候选{I_m,n}按照与v_i,n的特征向量相似度S(v_i,n,v_m,n)从大到小排序，最相似的排序为1，次相似的排序为2，…，最不相似的排序为k_n；

步骤2-2，计算历史图像帧I_j分块的每个网格图像I_j,n与输入图像帧I_i分块的网格图像I_i,n的空间相似性计分结果R_n(i,j)：若I_j,n存在于{I_m,n}中，且根据步骤2-1后排序为第r_n位，其中r_n∈[1,k_n]，则R_n(i,j)＝1/r_n，否则R_n(i,j)＝0；

步骤2-3，通过对历史图像帧I_j分块的每个网格图像I_j,n与输入图像帧I_i分块的网格图像I_i,n的空间相似性计分结果R_n(i,j)进行求和，得到历史图像帧I_j与输入图像帧I_i的空间相似性其中与输入图像帧I_i拥有最大空间相似性的历史图像帧记为最佳候选图像帧I_x。

4.如权利要求1或2所述的一种基于图像分块的回环检测方法，其特征在于，在所述步骤3中，最佳候选图像帧与输入图像帧之间的归一化平均纹理相似性计算步骤如下：

步骤3-1，将最佳候选图像帧I_x分块的每个网格图像I_x,n的图像特征向量v_x,n与输入图像帧I_i分块的每个网格图像I_i,n的图像特征向量v_i,n间的特征向量相似度S(v_i,n,v_x,n)求和并取平均，得到最佳候选图像帧I_x与输入图像帧I_i的平均纹理相似性

步骤3-2，将w(i,x)除以归一化参数F_i得到适用于一般化场景的归一化平均纹理相似性T(i,x)＝w(i,x)/F_i。

5.如权利要求4所述的一种基于图像分块的回环检测方法，其特征在于，在所述步骤3-2中，归一化参数F_i通过对所有历史相邻两帧图像的集合{(I_j,I_j-1)；j＝2,…,i-1}所取的子集合中元素的网格图像特征向量相似度求和并取平均得到，即

6.如权利要求1或2所述的一种基于图像分块的回环检测方法，其特征在于，在所述步骤3中，计算最佳候选图像帧与输入图像帧的回环合理性的约束条件为：若最佳候选图像帧I_x与输入图像帧I_i的空间相似性与归一化平均纹理相似性的乘积结果大于合理性阈值α，即G(i,x)*T(i,x)≥α时，此时认为最佳候选图像帧I_x与输入图像帧I_i之间形成了回环。

7.如权利要求1或2所述的一种基于图像分块的回环检测方法，其特征在于，在所述步骤5中，需要将当前输入图像帧I_i分块的每个网格图像I_i,n的图像特征向量v_i,n加入到历史图像信息中，并且在新一轮回环检测过程中i←i+1，j＝1,2,…,i。