CN103823889B - 基于l1范数全局几何一致性检验的错误匹配检测方法 - Google Patents

Abstract

一种基于L1范数全局几何一致性检验的错误匹配检测方法：使用尺度不变特征变换及词袋模型来提取并匹配两幅图像中的特征点；计算两幅图像的平方距离矩阵；使用黄金分割搜索法来求解：min_λ>0||D₁‑λ.D₂||₁；计算差异矩阵E=||D₁‑λ^*.D₂||₁；计算E矩阵各行元素之和并从大到小排序，并计算排序后各行和值的二次差分，取达到最大二次差分值的点作为门限值，所有行和高于门限值的，则该行所对应特征点对被判定为错误匹配对；去掉错误匹配对后，再根据两幅图像的真实匹配点对来计算图像间的相似度，继而根据相似度由大到小排序输出图像检索结果。本发明允许相似图像间存在复杂背景、部分遮挡以及各种相似几何变换；只利用了特征点的坐标信息，非常简单且高效。

Description

基于L1范数全局几何一致性检验的错误匹配检测方法

技术领域

本发明属于图像检索领域，特别是部分重复图像检索领域中，一种检测图像与图像之间的错误匹配点的方法。

背景技术

近几年，包括Tineye、百度识图以及谷歌相似图像搜索等在内的许多检索引擎在内的重复图像搜索技术发展较为迅速，其在版权检测、医疗诊断、暴力检测以及地理信息检索等方面有广泛的应用。在该项技术中，图像之间误匹配特征点对的检测是其中的一项关键步骤，如何利用图像间的几何信息来正确过滤错误匹配以便获得更加精确的检索结果，是这项技术的核心。

部分重复图像主要是指拍摄相同场景不同角度的图片或者经过图像处理软件进行处理前后的图片。这样的图片在色调、光照、尺度、旋转和遮挡等方面有些不同，这使得在大规模数据库下检索该类图片变得十分困难。为解决这一问题，学界提出了许多基于局部特征和词袋模型结合的方法来处理相似性问题。这些方法的一个典型流程如下：首先使用尺度不变特征变换(SIFT)来检测和描述图像的局部特征，然后使用词袋模型(BagofFeatures，BoF)来建立视觉字索引，之后根据索引来进行图像间的特征点匹配对，最后根据匹配情况计算图与图之间的相似度并据此排序输出检索结果。

词袋模型的使用，极大地减少了SIFT特征耗时的匹配过程，但是却同时引入了一些错误匹配点对，这造成了检索结果与真实情况的差异。为了解决这一问题，人们提出了很多使用几何先验信息来验证匹配是否错误的方法，具体分为局部和全局几何一致性假设两类。

第一类方法着眼于使用局部几何一致性假设，这类方法都是基于一个相似变换的模型：其中，(x_1i，y_1i)和(x_2i，y_2i)代表第i个特征点在两幅图像中的坐标，s和θ分别是两幅图像间的缩放尺度和旋转角度，他们是由两幅图像各自SIFT特征点的尺度和主方向计算得到的，具体为：s=s₂／s₁，θ=θ₂-θ₁.在此模型基础上，Herve Jegou等人[1]提出了弱几何一致性(WCG)的方法，它利用所有特征点计算出的s和θ值的统计分布来去除错误匹配对；Wan-Lei Zhao等人[2]改进了WCG，提出了加强弱几何一致性(EWCG)的方法，它利用平移量(t_x，t_y)模长的统计分布来去除错误匹配对；而JunqiangWang等人[3]提出了强几何一致性(SGC)的方法，它使用平移量(t_x，t_y)两个维度本身的统计分布来去除错误匹配对。局部方法的共同特点是处理高效，但是往往检测精度不高，不能完美地去除所有错误匹配对。

第二类方法则希望利用全局的几何一致性假设来检测并去除错误匹配对，这类方法会对一幅图像上的所有特征点进行统一的验证，这样做可以弥补局部几何一致性方法在处理跨局部区域间一致性时的不足。J.Philbin等人[4]提出应用经典的随机抽样一致性(RANSAC)算法来处理透视变换模型下的错误匹配检测问题，但是使用RANSAC会导致计算上较大的耗时，故不适合大尺度下的检索问题。另一种思路是由Wengang Zhou等人[5]提出的几何编码(GC)方法，这种方法首先对每幅图像中特征点的相互位置信息和旋转变换信息进行编码，然后再比较不同图像间的编码差异来检测错误匹配点，由于使用了特征点的尺度和主方向信息，这种方法仍然比较耗时。全局方法的特点是检测效果较好，能够适应更复杂的几何变换模型，缺点是耗时过大不利于大尺度下的检索这一应用背景。

发明内容

针对上述问题，本发明提出了一种基于L1范数全局几何一致性检验的错误匹配检测方法。

本发明提供的技术方案如下：

一种基于L1范数全局几何一致性检验的错误匹配检测方法，包括如下步骤(流程见图1)：

步骤1：对于两幅待比较图像，首先使用尺度不变特征变换(SIFT)及词袋模型(BoF)来提取并匹配两幅图像中的特征点，得到两幅图像中各特征点的坐标：a_1i=(x_1i，y_1i)^T，a_2i=(x_2i，y_2i)^T，其中i的顺序为特征点匹配后的排序，T表示转置，a_1i和a_2i均为列向量；

步骤2：分别计算两幅图像的平方距离矩阵D₁和D₂；

步骤3：使用黄金分割搜索法来求解如下问题：min_λ>0||D₁-λ.D₂||₁，该问题的解为λ^*=argmin_λ>0||D₁-λ.D₂||₁，它是两幅图像间的缩放尺度估计值；

步骤4：计算差异矩阵E=||D₁-λ^*.D₂||₁，该矩阵中的非零元素被认为是由错误匹配对造成的；

步骤5：计算E矩阵各行元素之和并从大到小排序，并计算排序后各行和值的二次差分，取达到最大二次差分值的点作为门限值，所有行和高于门限值的，则该行所对应特征点对被判定为错误匹配对，如图2所示；

步骤6：去掉错误匹配对后，再使用业界成型的方法，如参考文献[5]中所述：根据两幅图像的真实匹配点对来计算图像间的相似度，继而根据相似度由大到小排序输出图像检索结果。

优选的：

所述的错误匹配检测方法，步骤2中，所述的平方距离矩阵的计算方法为： 其中n表示匹配特征点对的个数，该方案执行速度较慢。

所述的错误匹配检测方法，步骤2中，所述的平方距离矩阵的计算方法为：D₁＝α₁e^T-2A₁ ^TA₁+eα₁ ^T，D₂＝α₂e^T-2A₂ ^TA₂+eα₂ ^T，

其中，e为全一列向量， 该方案执行速度较快。

所述的错误匹配检测方法，步骤6中，所述的相似度用用匹配点个数进行衡量。

本发明的有益效果主要包括如下三点：

该方法提供了一种基于L1范数全局几何一致性的错误匹配对检测方法，它允许相似图像间存在复杂背景、部分遮挡以及各种相似几何变换；

该方法非常简单且无需特征点先验知识，该方法只利用了特征点的坐标信息，而其他方法均使用了许多额外的几何先验信息(如SIFT特征点的主方向及尺度信息)；

该方法耗时很短，通过使用黄金分割搜索算法，该方法的计算时效远高于其他全局几何一致性方法，且与局部几何一致性方法的时效相当(甚至更快)。

附图说明

图1是发明操作流程示意图。

图2是通过差异矩阵来检测错误匹配对的示意图。

图3本发明与业界最优方法的平均检索精度比较。

具体实施方式

一种基于L1范数全局几何一致性检验的错误匹配检测方法，包括如下步骤(流程见图1)：

步骤1：对于两幅待比较图像，首先使用尺度不变特征变换(SIFT)及词袋模型(BoF)来提取并匹配两幅图像中的特征点，得到两幅图像中各特征点的坐标：a_1i=(x_1i，y_1i)^T，a_2i=(x_2i，y_2i)^T，其中i的顺序为特征点匹配后的排序，T表示转置，a_1i和a_2i均为列向量；

步骤2：分别计算两幅图像的平方距离矩阵D₁和D₂。所述的平方距离矩阵的一种计算方法为： $D_1={\left\{{\left|\right|a_{1i}-a_{1j}\left|\right|}^2\right\}}_{i,j=1}^n,D_2={\left\{{\left|\right|a_{2i}-a_{2j}\left|\right|}^2\right\}}_{i,j=1}^n,$ 其中n表示匹配特征点对的个数，该方案执行速度较慢；所述的平方距离矩阵的另一种计算方法为：D₁＝α₁e^T-2A₁ ^TA₁+eα₁ ^T，D₂＝α₂e^T-2A₂ ^TA₂+eα₂ ^T，其中，e为全一列向量，该方案执行速度较快。

步骤3：使用黄金分割搜索法来求解如下问题：min_λ>0||D₁-λ.D₂||₁，该问题的解为λ^*=argmin_λ>0||D₁-λ.D₂||₁，它是两幅图像间的缩放尺度估计值；

步骤4：计算差异矩阵E=||D₁-λ^*.D₂||₁，该矩阵中的非零元素被认为是由错误匹配对造成的；

步骤5：计算E矩阵各行元素之和并从大到小排序，并计算排序后各行和值的二次差分，取达到最大二次差分值的点作为门限值，所有行和高于门限值的，则该行所对应特征点对被判定为错误匹配对，如图2所示；

步骤6：去掉错误匹配对后，再使用业界成型的方法，如参考文献[5]中所述：根据两幅图像的真实匹配点对来计算图像间的相似度，继而根据相似度由大到小排序输出图像检索结果。所述的相似度用用匹配点个数进行衡量，匹配点个数越多，则相似度越高。

下面，对本发明的实施示例进行具体描述。

实施例1：

数据集：采用两个较为流行的数据集作为被检索数据集，分别是Holiday数据集以及DupImage数据集。其中Holiday数据集一共包含1491张图像，近似重复图片组数为500组；而DupImage数据集一共含有1104张部分重复图片，组数一共为33组。此外，为了让示例变得更加真实，本实施例还特别采用了混淆图片数据集MIRFlickr1M，它包含一百万张网页上下载的无关图片。本实施例用每个被检索数据集中的一张图片作为目标图片，将同组其他图片混杂到混淆图片中，据此来检验检索效果。

评价指标：本实施例使用能够体现图像检索性能的通用的平均检索精度(mAP)以及平均检索时间来检验本发明与其他业界最优方法来进行比较。

实施步骤：

a)使用尺度不变特征变换(SIFT)来对所有图片进行特征点的提取；

b)使用词袋模型(BoF)，以训练好的100K大小的视觉字字典来索引所有特征点，并随后匹配所有索引值相同的特征点作为初始特征匹配对；

c)分别在混淆数据集为一千张、一万张和十万张规模的情况下，使用本发明及业界最优方法(RANSAC[4]、GC[5]、WGC[1]、EWGC[2]、SGC[3])分别去除初始特征匹配对中的错误匹配。

d)对所有方法处理后剩余的正确匹配结果，计算图像间相似度并据此得出检索排名结果。

e)由排名结果得到各个方法和本发明的平均检索精度与平均检索时间，以用于比较。

方案示例的比较结果如图3及表1所示。

表1本发明与现有业界最优方法的平均检索时间比较。

	Holiday Dataset	DupImage Dataset
			本发明所述方法	1.03	0.94
RANSAC	18.36	53.64
			GC	9.36	5.37
WGC	0.50	0.45
			EWGC	0.94	0.41
SGC	1.55	2.23

参考文献

[1]Herve Jegou，Matthijs Douze，and Cordelia Schmid，“Hamming embeddingand weak geometric consistency for large scale image search,”in EuropeanConference on Computer Vision，2008，vol.5302，pp.304-317.

[2]Wan-Lei Zhao，Xiao Wu，and Chong-Wah Ngo，“On the annotation of webvideos by effiicient near-duplicate search,”IEEE Transactions on Multimedia，vol.12，no.5，pp.448-461，2010.

[3]Junqiang Wang，Jinhui Tang，and Yu-Gang Jiang，“Strong geometricalconsistency in large scale partialduplicate image search,”in Proceedings ofthe21^st ACM International Conference on Multimedia，2013，pp.633-636.

[4]J.Philbin，O.Chum，M.Isard，J.SiVic，and A.Zisserman，“Objectretrievalwith large vocabularies and fast spatial matching，”in IEEE Conference onComputer Vision and Pattern Recognition，2007，pp.1-8.

[5]Wengang Zhou，Houqiang Li，Yijuan Lu，and Qi Tian，“SIFT matchverification by geometric coding for large scale partial-duplicate web imagesearch，”ACM Trans.on Multimedia Comput.Commun.Appl.，vol.9，no.1，pp.4∶1-4∶18，2013.

Claims (4)

1.一种基于L1范数全局几何一致性检验的错误匹配检测方法，其特征是，包括如下步骤：

步骤1：对于两幅待比较图像，首先使用尺度不变特征变换及词袋模型来提取并匹配两幅图像中的特征点，得到两幅图像中各特征点的坐标：a_1i＝(x_1i,y_1i)^T，a_2i＝(x_2i,y_2i)^T，其中i的顺序为特征点匹配后的排序，T表示转置，a_1i和a_2i均为列向量；

步骤2：分别计算两幅图像的平方距离矩阵D₁和D₂；

步骤3：使用黄金分割搜索法来求解如下问题：min_λ＞0||D₁-λ·D₂||₁，该问题的解为λ^*＝argmin_λ＞0||D₁-λ·D₂||₁，它是两幅图像间的缩放尺度估计值；

步骤4：计算差异矩阵E＝||D₁-λ^*·D₂||₁，该矩阵中的非零元素被认为是由错误匹配对造成的；

步骤5：计算E矩阵各行元素之和并从大到小排序，并计算排序后各行和值的二次差分，取达到最大二次差分值的点作为门限值，所有行和高于门限值的，则该行所对应特征点对被判定为错误匹配对；

步骤6：去掉错误匹配对后，再根据两幅图像的真实匹配点对来计算图像间的相似度，继而根据相似度由大到小排序输出图像检索结果。

2.如权利要求1所述的错误匹配检测方法，其特征是，步骤2中，所述的平方距离矩阵的计算方法为：其中n表示匹配特征点对的个数。

3.如权利要求1所述的错误匹配检测方法，其特征是，步骤2中，所述的平方距离矩阵的计算方法为：D₁＝α₁e^T-2A₁ ^TA₁+eα₁ ^T，D₂＝α₂e^T-2A₂ ^TA₂+eα₂ ^T，

其中，e为全一列向量，

4.如权利要求1所述的错误匹配检测方法，其特征是，步骤6中，所述的相似度用匹配点个数进行衡量。