CN101833765A - 基于双向匹配和三角形约束的特征匹配方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种基于双向匹配和三角形约束的特征匹配方法，首先利用双向匹配算法得到初始点，然后使用三角剖分算法来重新组织这些初始点，最后利用基于三角形约束的特征匹配算法来达到提高匹配点的正确率的同时有增加正确匹配的点的个数的结果。本发明对于大多数的几何和光线变化，包括旋转变换，尺度变换，模糊变换，视角变化，JPEG压缩和光线强弱变换，更加鲁棒，能够明显提高匹配点的正确率和匹配点的数目，因此具有更广泛的应用领域，能够取得更好的特征匹配结果，实用性更强。

Description

基于双向匹配和三角形约束的特征匹配方法

技术领域

本发明属于图像处理技术领域，涉及一种特征匹配方法。

背景技术

在计算机图像处理技术领域有很多重大课题，比如对称检测【5】，宽基线匹配【9】和构建全景图【2】，这些问题的解决都要依赖于从两类特征点中提取具有区分度的准确的匹配。现在已经有很多特征提取的方法，比如Harris角点检测算法【3】，SIFT【7】和SURF【1】，这些算法能够提取得到具有区分度的稳定的特征。然而，特征相似度的度量受限于现有的方法。现在最主要的方法是对描述符做向量点积，然后比较第一近邻和第二近邻之间的比率是否大于某一个预先定义的阈值，由此选择相似度更大的近似匹配，这种方法我们叫做原始匹配方法(OMM)。尽管这种策略能够有效地去除掉几何和光线的变化所造成的影响，但同时可能将本应该是正确匹配的特征剔除掉了。最近一些新的相似度匹配判别的方法被提出，比如基于成双原则的光谱技术【6】，CEMD【8】，这些方法提高了匹配的精度，但是忽略掉了那些大量的本应匹配的点。

参考文献：

[1]H.Bay，T.Tuytelaars，and L.Van Gool.Surf：speeded up robust features.基于快速鲁棒性特征的景象匹配In ECCV，pages 404-417，2006.

[2]M.Brown and D.Lowe.Recognising panoramas.认知全景图In ICCV，pages 1218-1227，2003.

[3]C.Harris and M.J.Stephens.A combined corner and edge detector.一种角点和边缘结合的探测器In Alvey Vision Conference，volume 20，pages 147-152，1988.

[4]H.Jiang and S.Yu.Linear solution to scale and rotation invariant object matching.在物体匹配中对尺度和旋转具有不变性的线性方法In CVPR，pages 2474-2481，2009.

[5]S.Lee and Y.Liu.Curved glide-reflection symmetry detection.弯曲滑移反射对称性检测InCVPR，pages 1046-1053，2009.

[6]M.Leordeanu and M.Hebert.A spectral technique for correspondence problems using pairwiseconstraints.一种利成双约束解决匹配问题的光谱技术In ICCV，volume 2，pages 1482-1489，2005.

[7]D.Lowe.Distinctive image features from scale-invariant keypoints.从尺度不变的关键点中获取具有区分度的特征IJCV，60(2)：91-110，2004.

[8]J.Rabin，J.Delon，and Y.Gousseau.Circular earth mover’s distance for the comparison of localfeatures.用于比较图像局部特征的Circular earth mover距离In ICPR，pages 1-4，2008

发明内容

本发明的目的是，克服现有技术的上述缺陷，提出一种能够提高匹配点的正确率，同时又增加正确匹配的点的个数的特征匹配方法。为此，本发明采用如下的方法：

一种基于双向匹配和三角形约束的特征匹配方法，包括下列步骤，

(1)利用双向匹配方法处理原图A及待匹配的图B，得到初始匹配的特征点；

(2)经过三角剖分算法，利用所得到的初始匹配的特征点组成三角形网格；

(3)对三角形网格里的每个三角形，执行下列的步骤：

1)设原图A的一个三角形的三个顶点为a、b、c，在待匹配的图B中对应的三角形顶点为a’b’c’；

2)设原图A的三角形abc中未能找到对应点的特征点组成集合

在三角形a’b’c’中未能找到对应点的特征点组成集合

设

中一特征点为Pi，以三个顶点a，b，c的坐标进行表示该特征点：Pi＝a+β(b-a)+γ(c-a)，其中β和γ为向量(b-a)和向量(c-a)的系数，设在

中Pi所对应的中的特征点为Pe，则Pe的坐标为：

$\left(\begin{array}{c}{x}_e\\ y_e\\ 1\end{array}\right)=\left(\begin{array}{ccc}{x}_{a^{\′}}& x_{b^{\′}}& x_{c^{\′}}\\ y_{a^{\′}}& y_{b^{\′}}& y_{c^{\′}}\\ 1& 1& 1\end{array}\right)\left(\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right),$ 其中，α＝1-β-γ；

3)以Pe为中心定义以R为半径的置信区间，在这个置信区间内的所有特征点作为Pi的候选匹配特征点，由这些候选匹配特征点组成集合C，定义特征点Pi与C中每一个特征点Cj的相似度：

(j＝1，2，...，|C|)，其中，dist_j为特征点Cj和Pi的欧式距离，R为置信区间的半径，D_i和D_cj分别是特征点Pi和特征点Cj的描述符，如果在置信区间内最大相似度的值大于预先定义的阈值，则将相对应的特征点作为一个临时匹配对，处理完

中所有的特征点，得到由临时匹配对所组成的集合T；

4)定义式

其中λ为设定的小于1的正常数，若该式成立，则集合T中所有的临时匹配对成为最终正确匹配的特征点对；若该式不成立，说明三角形abc和三角形a’b’c’的顶点所构成的三对初始匹配的特征点至少有一对是匹配错误的，集合T中的所有的临时匹配对不能成为最终的正确匹配特征点对；

(4)如果以三角形abc的某个顶点为公共顶点的三角形进行匹配时，这些三角形都没有找到更多的匹配点对，说明这个顶点是在双向匹配算法时匹配错误的点，将其删去。

本发明首先利用双向匹配算法得到初始点，然后使用三角剖分算法来重新组织这些初始点，最后利用基于三角形约束的特征匹配算法来达到提高匹配点的正确率的同时有增加正确匹配的点的个数的结果。本发明对于大多数的几何和光线变化，包括旋转变换，尺度变换，模糊变换，视角变化，JPEG压缩和光线强弱变换，更加鲁棒，能够明显提高匹配点的正确率和匹配点的数目，因此具有更广泛的应用领域，能够取得更好的特征匹配结果，实用性更强。

附图说明

图1(A)和(B)分别为标记了初始点及划分了三角形网格的两幅相似图像。

图2(A)和(B)分别为图1的两个相似图的放大图，图中的标记为在一个三角形网格里使用本发明的T-CM算法得到的结果示意图。

图3本申请的整体流程图。

图4本实施例所采用的4幅图片，这些图片来自INRIA数据库，其中(a)为秘鲁(Leuven)，(b)为不列颠哥伦比亚大学(UBC)，(c)为车辆(Bikes)，(d)为涂鸦(Graffiti)。

图5对图4(a)中的图片在光照强度变化情况下的分析图，实线为T-CM算法的结果，虚线为OMM算法的结果，其中(a)为正确匹配点数的对比，(b)为匹配分数的对比。

图6对图4(b)中的图片在JPEG压缩情况下的分析图，实线为T-CM算法的结果，虚线为OMM算法的结果，其中(a)为正确匹配点数的对比，(b)为匹配分数的对比。

图7对图4(c)中的图片在图像模糊情况下的分析图，实线为T-CM算法的结果，虚线为OMM算法的结果，其中其中(a)为正确匹配点数的对比，(b)为匹配分数的对比。

图8对图4(d)中的图片在视角变化情况下的分析图，实线为T-CM算法的结果，虚线为OMM算法的结果，其中其中(a)为正确匹配点数的对比，(b)为匹配分数的对比。

具体实施方式

本发明首先利用双向匹配算法得到初始点，然后使用三角剖分算法来重新组织这些初始点，最后利用基于三角形约束的特征匹配算法来达到提高匹配点的正确率的同时有增加正确匹配的点的个数的结果。下面首先说明本发明：

步骤1：初始点的选取

对于输入的图像应用双向匹配算法的到初始点。

本发明采用了双向匹配算法来选取初始点，因为对于那些正确的匹配来说，这种双向匹配所得得到的结果是很好的。如果采用双向匹配算法得到的匹配点很少，那么可以断言，相对应的两张图片并没有什么必然联系，或者其中的某张图片失真已经很严重了，所以失去了这种能够双向匹配的基本特性。初始点即特征点为如图1中的数字所对应的节点。本发明使用双向匹配算法得到的初始点为数字所对应的节点，使用三角剖分算法形成A、B中的三角形区域。图2为使用本发明的T-CM算法处理后的图，小三角形表示特征点，在A中的用虚线圈起来的特征点使用T-CM算法得到的待匹配点估计位置为B中实线圆圈中心实心点处，实线圆圈为置信区间。

步骤2：重新组织初始点

众所周知，三角形是最简单的多边形，只要给出定点，不需要其他的附加条件就能够建立一个三角形。因此，在上一阶段(初始点的选取)的基础之上，采用三角剖分算法来重新组织这些初始点。三角剖分算法将这些初始点所构成的散点集合剖分成为三角形网格，并保证其最大化最小角特性，这样就可以避免形成特别小的三角形。

在图1中，只在A上进行三角剖分，由于A和B的双向匹配特性，B上的初始点也就一一对应起来形成了相对应的三角网格关系。可以看到，相对应位置的三角形可能并不是完全相似的，这是由于可能存在错误匹配点的缘故。

应用三角剖分算法对步骤一得到的初始点重新组织，保证其最大化最小角特性，具体说是指在两个相邻的三角形构成凸四边形的对角线，在相互交换后，六个内角的最小角不再增大，这样就可以避免形成特别小的三角形。

步骤3：应用T-CM算法

为简单说明本发明，以一个三角形为例，如图2A中以顶点2、6、8围成的三角形，为不失一般性，将其命名为三角形abc，对应图2B中为三角形a’b’c’。那么在这个三角形中，会有那些正确匹配，却没有被双向匹配算法选择出来的特征点。在图2中我们用小三角形来表示。在两个三角形区域内的特征点组成集合

和集合

对于三角形abc中的每个特征点

(如图2A中虚线圈起来的特征点)，Pi和三个顶点abc关系如公式1。

Pi＝a+β(b-a)+γ(c-a)         公式1

其中β和γ为向量(b-a)和向量(c-a)的系数。由于三角形三点已知，则可以定义参数K如公式2。

$K=\left(\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right)={\left(\begin{array}{ccc}{x}_a& x_b& x_c\\ y_a& y_b& y_c\\ 1& 1& 1\end{array}\right)}^{-1}\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)$ 公式2

其中α＝1-β-γ。由双向匹配算法的性质，K被保持到集合

中去，因此可以估计对应点Pe(如图2B中实线圆圈的中心点)。Pe坐标为公式3。

$\left(\begin{array}{c}{x}_e\\ y_e\\ 1\end{array}\right)=\left(\begin{array}{ccc}{x}_{a^{\′}}& x_{b^{\′}}& x_{c^{\′}}\\ y_{a^{\′}}& y_{b^{\′}}& y_{c^{\′}}\\ 1& 1& 1\end{array}\right)\left(\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right)$ 公式3

为了使算法更加鲁棒，在Pe附近定义了一个小的置信区间(图2B中的实线圆圈，例如在3像素以内)，这个区间内的特征点用来作为原A图中Pi的待匹配点。我们定义这个区间内特征点的集合为C，特征点Pi与特征点Cj的相似度定义为公式4中的Sj。

$\mathrm{Sj}={1.5}^{-{({\mathrm{dist}}_j/R)}^2}\×D_i^T{D}_{\mathrm{cj}},(j=\mathrm{1,2},...,|C\left|\right)$ 公式4

其中dist_j为特征点Cj和Pi的欧式距离，R为置信区间的半径，Di和Dcj分别是特征点Pi和特征点Cj的描述符。如果在这个小的置信区间内最大相似度的值大于预先定义的阈值(实验中我们取值为0.4)，就将相对应的特征点作为一个临时匹配对。在这个三角形中所有临时匹配对组成集合T。

当做完三角形abc内所有的特征点后，我们需要决断这些临时匹配对否是最终的正确匹配，因此定义公式5来判断。

公式5

其中λ在实验中我们取值为0.3。公式5表示如果T中的特征点的数量只占很少的一部分，那么这个结果是不合理的，因为A和B经过双向匹配后由初始点所围成的三角形区域内正确匹配的点会相当多，如果不是这样的话，那么说明初始点中有不正确的点。当所有以某一点Q为顶点的三角形区域都找不到更多的匹配点对时，说明Q是不正确的，因此我们将其去点，进而减少了错误匹配的数量。

本发明的整体流程图如图3所示。

在如图4所示的真实场景图片中应用本发明进行特征匹配，这些图片有不同的几何变化和光线变化，所对应的分析结果如图5至图8。

图4为本发明实施例所采用的图片，这些图片具有不同的几何变化和光线变化，数据来自INRIA数据库，其中a为秘鲁，b为不列颠哥伦比亚大学，c为车辆，d为涂鸦。

图5对图4a中的图片在光照强度变化情况下进行分析，实线为T-CM算法的结果，虚线为OMM算法的结果，其中左图为正确匹配点数的对比，右图为匹配分数的对比。

图6对图4b中的图片在JPEG压缩情况下进行分析，实线为T-CM算法的结果，虚线为OMM算法的结果，其中左图为正确匹配点数的对比，右图为匹配分数的对比。

图7对图4c中的图片在图像模糊情况下进行分析，实线为T-CM算法的结果，虚线为OMM算法的结果，其中左图为正确匹配点数的对比，右图为匹配分数的对比。

图8对图4d中的图片在视角变化情况下进行分析，实线为T-CM算法的结果，虚线为OMM算法的结果，其中左图为正确匹配点数的对比，右图为匹配分数的对比。

在本实施例中，采用的特征提取的方法都是sift，所以总的特征点的数目对T-CM算法和OMM算法是相同的。因此能够很清楚的从图5到图8中看到，在四组图片中T-CM算法与OMM算法相比所得到的正确匹配点的个数都有较大的提高，在匹配分数方面也有了很大的提高。由以上分析可知，T-CM在不同场景下，对不同的光照环境，不同的几何变化都有较好的效果，提高匹配点的正确率的同时有增加正确匹配的点的个数。

Claims (1)

1.一种基于双向匹配和三角形约束的特征匹配方法，包括下列步骤，

(1)利用双向匹配方法处理原图A及待匹配的图B，得到初始匹配的特征点；

(2)经过三角剖分算法，利用所得到的初始匹配的特征点组成三角形网格；

(3)对三角形网格里的每个三角形，执行下列的步骤：

1)设原图A的一个三角形的三个顶点为a、b、c，在待匹配的图B中对应的三角形顶点为a’b’c’；

2)设原图A的三角形abc中未能找到对应点的特征点组成集合

在三角形a’b’c’中未能找到对应点的特征点组成集合

设

中一特征点为Pi，以三个顶点a，b，c的坐标进行表示该特征点：Pi＝a+β(b-a)+γ(c-a)，其中β和γ为向量(b-a)和向量(c-a)的系数，设在

中Pi所对应的

中的特征点为Pe，则Pe的坐标为：

$\left(\begin{array}{c}{x}_e\\ y_e\\ 1\end{array}\right)=\left(\begin{array}{ccc}{x}_{a^{\′}}& x_{b^{\′}}& x_{c^{\′}}\\ y_{a^{\′}}& y_{b^{\′}}& y_{c^{\′}}\\ 1& 1& 1\end{array}\right)\left(\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\\ \mathrm{\γ}\end{array}\right),$ 其中，α＝1-β-γ；

3)以Pe为中心定义以R为半径的置信区间，在这个置信区间内的所有特征点作为Pi的候选匹配特征点，由这些候选匹配特征点组成集合C，定义特征点Pi与C中每一个特征点Cj的相似度：其中，dist_j为特征点Cj和Pi的欧式距离，R为置信区间的半径，D_j和D_cj分别是特征点Pi和特征点Cj的描述符，如果在置信区间内最大相似度的值大于预先定义的阈值，则将相对应的特征点作为一个临时匹配对，处理完

中所有的特征点，得到由临时匹配对所组成的集合T；

4)定义式

其中λ为设定的小于1的正常数，若该式成立，则集合T中所有的临时匹配对成为最终正确匹配的特征点对；若该式不成立，说明三角形abc和三角形a’b’c’的顶点所构成的三对初始匹配的特征点至少有一对是匹配错误的，集合T中的所有的临时匹配对不成为最终的正确匹配特征点对；

(4)如果以三角形abc的某个顶点为公共顶点的三角形进行匹配时，这些三角形都没有找到更多的匹配点对，说明这个顶点是在双向匹配算法时匹配错误的点，将其删去。

Images