CN101819680A - 图像匹配点对的检测方法 - Google Patents

Abstract

一种图像处理技术领域的图像匹配点对的检测方法，包括以下步骤：建立直角坐标系，得到图像中每个像素点的位置信息；对要匹配的查询图像和目标图像进行局部特征检测，分别得到查询图像和目标图像的特征点；对特征点进行初步匹配，得到查询图像和目标图像的匹配特征点对；得到满足弱几何约束关系的匹配特征点对；对满足弱几何约束关系的匹配特征点对进行强几何约束处理；得到每个目标图像与查询图像正确的匹配特征点对的数目，其中与查询图像正确的匹配特征点对的数目最多的目标图像就是查询图像的匹配图像。本发明对异常值的鲁棒性更好；能够为全局几何约束找到更适合的区域，运算简单，空间和时间复杂度低，且准确率高，时间成本低。

Description

图像匹配点对的检测方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种图像匹配点对的检测方法。

背景技术

在计算机视觉中，局部特征已经成功的解决了图像匹配、图像检索、立体视觉以及物体识别等方面的问题。但是，在某些条件下匹配点对之间的异常值仍然占有很高的概率。例如，已得到广泛应用的SIFT描述子对于非刚性变换图像的匹配是不稳定的；对于一些具有很多相似结构的图像或者大规模的数据库搜索，模棱两可的状况就会发生。

经对现有文献检索发现，H.Lin and D.W.Jacobs在2005年ICCV会议上发表的论文“Deformation invariant image matching.”(“变形图像的鲁棒匹配”)提出用GIH即geodesic-intensity histogram(测强度直方图)作为一种新的描述子，这种描述子受图像变形的影响较小。H Cheng，Z Liu，N Zheng and J Yang在2008年CVPR上发表的论文“ADeformable Local Image Descriptors.”(“一种变形的局部图像描述子”)中提出用Local-to-Global相似性测量模型从多尺寸支持区域选择最合适的尺度，通常选择比某个特征所处尺度大K倍以上的区域，这个区域可能因为太小只包含很少的几何一致性特征，或者因为这个区域太大而包含了其他物体的特征。这两种描述子都仅仅解决了变形图像的匹配问题，而有相似结构的图像的匹配问题没有得到实际的解决。

又经检索发现，E.N.Mortensen，H.Deng，and L.Shapiro在2005年CVPR发表的论文“ASift Descriptor with Global Content.”(“具有全局信息的SIFT描述子”)把更大邻域的曲率形状信息加入到SIFT描述子中，使得SIFT描述子带有全局内容来增加局部特征匹配的准确性，虽然这种方法带来了好的结果，但是描述子是128+60＝188维的向量，空间和时间复杂度比较大。Z Wu，Q Ke，M Isard and J Sun在2009年ICCV发表的“Bundling Features forLarge Scale Partial-Duplicate Web Image Search.”(“适用于大规模部分重复的Web图像搜索的捆绑特征”)中提出把SIFT描述子绑定到MSER检测到的区域中。但是随着鲁棒性的增加，描述子的显著性就会降低。

经检索还发现，RANSC和PROSAC通过对两幅图像的点对中取样得到几何一致性模型，然后估算这个模型的一些参数。但是由于非刚性变化和有重复结构的图像匹配有太多的异常值，所以RANSC和PROSAC的效果不好。O.Chum and J.Matas在2005年CVPR发表的“Matching with PROSAC-Progressive Sample Consensus.”(“递增取样一致的匹配”)提出用哈希关键字来进行匹配，其中哈希关键字是把局部描述子和半局部几何信息结合起来的，但是该算法已经被证实实时性能重要的情况下是不适用的。H.Deng，E.N.Mortensen，L.Shapiro，and T.G.Dietterich在2006年CVPR发表的“Reinforcement matching using regioncontext.”(“用区域内容增强匹配”)提出了一种把仿射不变的特征检测子和SIFT特征检测子整合在一起得到区域内容匹配方法来提高匹配的准确率，这是一种在仿射不变的对数极坐标椭圆柱中使用一种增强的匹配机制，但是仿射不变特征检测子的迭代过程增加了大量额外的时间成本。

发明内容

本发明的目的在于克服现有方法中存在的不足和缺陷，提供了一种图像匹配点对的检测方法。本发明先根据图像的候选匹配点对建立弱几何约束，然后基于点对之间的弱几何约束之间的关系，通过找最大团的方法找出其中一致性最强的关系，从而得到强几何约束关系。这样建立的强几何约束关系是更加稳定和准确的，大大提高了非刚性变化和多对对图像匹配的正确率。

本发明是通过以下技术方案实现的，包括以下步骤：

第一步，分别以要匹配的查询图像和目标图像左上角的像素点为原点，以横向向右的方向为x轴正方向，以纵向向下的方向为y轴正方向建立直角坐标系，得到图像中每个像素点的位置信息。

第二步，对要匹配的查询图像和目标图像进行局部特征检测，分别得到查询图像和目标图像的特征点，进而得到每个特征点的位置信息、角度信息和尺度信息。

所述的局部特征检测是SIFT(Scale Invariant Feature Transform即尺度不变特征变换)方法，或者是PCA(Principal Component Analysis，主成分分析)方法，或者是GLOH(Gradient Location of Histogram，梯度位置直方图)方法。

第三步，采用最近邻查找方法对第二步得到的查询图像和目标图像的特征点进行初步匹配，得到查询图像和目标图像的匹配特征点对。

第四步，对得到的特征点对进行弱几何约束处理，得到满足弱几何约束关系的匹配特征点对。

所述的弱几何约束处理，是：当查询图像中的特征点x1和x2分别和目标图像中的特征点y1和y2是匹配特征点对时，且当特征点x1、x2、y1和y2满足下面的关系，则特征点x1、x2、y1和y2就是满足弱几何约束关系的匹配特征点对：

|(α₁-α₂)|＜π/4，

|(β₁-β₂)|＜π/4，

1/4＜(d₁/r_x1)/(d₂/r_y1)＜4，

1/4＜(d₁/r_x2)/(d₂/r_y2)＜4，

其中：d₁是特征点x1和x2之间的距离，d₂是特征点y1和y2之间的距离，r_x1是x1的尺度，r_x2是x2的尺度，r_y1是y1的尺度，r_y2是y2的尺度，α₁是x1的角度，α₂是x2的角度，β₁是y1的角度，β₂是y2的角度。

第五步，对满足弱几何约束关系的匹配特征点对进行强几何约束处理，其中满足强几何约束关系的匹配特征点对就是查询图像和目标图像正确的匹配特征点对。

所述的强几何约束处理，包括以下步骤：

1)将图像中满足弱几何约束关系的特征点进行直线连接，得到匹配点对的几何点对图；

2)在匹配点对的几何点对图中，采用找最大团的方法找到一个封闭多边形，当封闭多边形的顶点小于20时，则这些顶点所对应的特征点就是满足强几何约束关系的匹配特征点对；

3)在几何点对图中将2)得到的满足强几何约束关系的匹配特征点对去除，从而得到新的几何点对图，在新的几何点对图中采用步骤2)得到满足强几何约束关系的匹配特征点对；

4)循环执行3)，直至得到所有满足强几何约束关系的特征点对。

第六步，得到每个目标图像与查询图像正确的匹配特征点对的数目，其中与查询图像正确的匹配特征点对的数目最多的目标图像就是查询图像的匹配图像。

本发明的工作原理是：充分利用最大团的优势提出一种全局优化匹配方法。对于有重复结构的物体，该物体的一部分是彼此相似的。但是只有整个物体包含特征点的最大数量，因此，最大团能够描述整个物体的可能性最大。对于非刚性变化的对象，局部特征和弱几何关系是变化的。如果阈值过低，只有保留很少的匹配正确的点对，相反，如果阈值过高，一些异常值也会保留下来。因此，如果要保留最正确的匹配点对，阈值应该很高。但是，异常值总是随机分布的，而由异常值组成的随机团远大于正确团是小概率事件，故本发明方法使得准确率更高。

与现有技术相比，本发明的有益效果在于：

1、对异常值的鲁棒性更好：现有的方法(如背景技术中列举的RANSC和增强匹配方法)应该选择正确的点对建立模型，当存在很多异常值时，匹配结果会很差；而本发明只是选择一些点对作为候选点对，这些候选点对不必是正确的，而异常值则在找最大团的过程中被剔除了。

2、能够为全局几何约束找到更适合的区域：现有的方法(如背景技术中列举的变形的局部图像描述子)通常选择比某个特征所处尺度大K倍以上的区域，这个区域可能因为太小只包含很少的几何一致性特征，或者因为这个区域太大而包含了其他物体的特征，在这两种情况下，可以改善的几何信息就会减少；而本发明的初始区域是整个图像，通过适应性和启发式的方法能够快速准确的找到适当的区域。

3、运算简单，稳定性好，空间和时间复杂度低，且准确率高，时间成本低。

附图说明

图1是实施例图像示意图；

其中：(a)是查询图像示意图；(b)是一个目标图像示意图。

图2是图1图像的特征点示意图；

其中：(a)是图1(a)的特征点示意图；(b)是图1(b)的特征点示意图。

图3是实施例匹配特征点对示意图。

图4是实施例弱几何约束处理的参数表示示意图；

其中：(a)是参考图像中的弱几何约束处理的参数表示示意图；(b)是目标图像的弱几何约束处理的参数表示示意图。

图5是实施例弱几何约束关系的几何点对图。

图6是实施例强几何约束关系的几何点对图。

图7是实施例正确匹配的特征点对的示意图。

具体实施方式

以下结合附图对本发明的方法进一步描述：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例包括以下步骤：

第一步，分别以要匹配的查询图像和目标图像左上角的像素点为原点，以横向向右的方向为x轴正方向，以纵向向下的方向为y轴正方向建立直角坐标系，得到图像中每个像素点的位置信息。

本实施例中的查询图像如图1(a)所示，其中的一个目标图像如图1(b)所示。

第二步，采用SIFT方法对要匹配的查询图像和目标图像进行局部特征检测，分别得到查询图像和目标图像的特征点，进而得到每个特征点的位置信息、角度信息和尺度信息。

所述的SIFT方法，具体是：首先检测尺度空间极值点，其次精确定位极值点，再次为每个特征点指定方向参数，最后生成特征点的128维描述子。SIFT检测到的每个特征点可以用一个圆形区域表示出来，圆形区域的半径为特征点所在尺度r，圆心(x，y)为特征点的空间位置，圆的主方向为角度α。

本实施例得到的查询图像1(a)的特征点如图2(a)所示，目标图像1(b)的特征点如图2(b)所示。

第三步，采用最近邻查找方法对第二步得到的查询图像和目标图像的特征点进行初步匹配，得到查询图像和目标图像的匹配特征点对。

本实施例中最近邻查找方法的阈值是0.5，得到的匹配特征点对如图3所示，共有A、B、C、D和E这五对。

第四步，对得到的特征点对进行弱几何约束处理，得到满足弱几何约束关系的匹配特征点对。

如图4(a)和图4(b)所示，所述的弱几何约束处理，是：当查询图像中的特征点A和B分别和目标图像中的特征点C和D是匹配特征点对时，且当特征点A、B、C和D满足下面的关系，则特征点A、B、C和D就是满足弱几何约束关系的匹配特征点对：

|(α₁-α₂)|＜π/4，

|(β₁-β₂)|＜π/4，

1/4＜(d₁/r_x1)/(d₂/r_y1)＜4，

1/4＜(d₁/r_x2)/(d₂/r_y2)＜4，

其中：d₁是特征点A和B之间的距离，d₂是特征点C和D之间的距离，r_x1是A的尺度，r_x2是B的尺度，r_y1是C的尺度，r_y2是D的尺度，α₁是A的角度，α₂是B的角度，β₁是C的角度，β₂是D的角度。

本实施例中A、B、C、D和E这五对匹配特征点对都满足弱几何约束关系。

第五步，对满足弱几何约束关系的匹配特征点对进行强几何约束处理，其中满足强几何约束关系的匹配特征点对就是查询图像和目标图像正确的匹配特征点对。

所述的强几何约束处理，包括以下步骤：

1)将图像中满足弱几何约束关系的特征点进行直线连接，得到匹配点对的几何点对图，如图5所示；

2)在匹配点对的几何点对图中，采用找最大团的方法找到一个封闭多边形，当封闭多边形的顶点小于20时，则这些顶点所对应的特征点就是满足强几何约束关系的匹配特征点对，得到的封闭多边形如图6中的粗实线所示，即A、B和E是满足强几何约束关系的匹配特征点对；

3)在几何点对图中将2)得到的满足强几何约束关系的匹配特征点对去除，从而得到新的几何点对图，该新的几何点对图中不存在封闭的多边形，故结束强几何约束处理。

本实施例中正确匹配的特征点对如图7所示。

第六步，得到每个目标图像与查询图像正确的匹配特征点对的数目，其中与查询图像正确的匹配特征点对的数目最多的目标图像就是查询图像的匹配图像。

本实施实例在匹配过程中利用点对之间的弱几何信息描述全局信息，并利用最大团能够描述整个物体的可能性最大的优势，解决了非刚性变化和相似结构图像匹配问题。经过实验证明，本实施例的图像匹配的正确率提高了5％左右。

Claims (5)

1.一种图像匹配点对的检测方法，其特征在于，包括以下步骤：

第一步，分别以要匹配的查询图像和目标图像左上角的像素点为原点，以横向向右的方向为x轴正方向，以纵向向下的方向为y轴正方向，建立直角坐标系，得到图像中每个像素点的位置信息；

第二步，对要匹配的查询图像和目标图像进行局部特征检测，分别得到查询图像和目标图像的特征点，进而得到每个特征点的位置信息、角度信息和尺度信息；

第三步，采用最近邻查找方法对第二步得到的查询图像和目标图像的特征点进行初步匹配，得到查询图像和目标图像的匹配特征点对；

第四步，对得到的特征点对进行弱几何约束处理，得到满足弱几何约束关系的匹配特征点对；

第五步，对满足弱几何约束关系的匹配特征点对进行强几何约束处理，其中满足强几何约束关系的匹配特征点对就是查询图像和目标图像正确的匹配特征点对；

第六步，得到每个目标图像与查询图像正确的匹配特征点对的数目，其中与查询图像正确的匹配特征点对的数目最多的目标图像就是查询图像的匹配图像。

2.根据权利要求1所述的图像匹配点对的检测方法，其特征是，第二步中所述的局部特征检测是尺度不变特征变换方法。

3.根据权利要求2所述的图像匹配点对的检测方法，其特征是，所述的尺度不变特征变换方法，是指：首先检测尺度空间极值点，其次精确定位极值点，再次为每个特征点指定方向参数，最后生成特征点的128维描述子；检测到的每个特征点用一个圆形区域表示出来，圆形区域的半径为特征点所在尺度r，圆心(x，y)为特征点的空间位置，圆的主方向为角度α。

4.根据权利要求1所述的图像匹配点对的检测方法，其特征是，第四步中所述的弱几何约束处理，是：当查询图像中的特征点x1和x2分别和目标图像中的特征点y1和y2是匹配特征点对时，且当特征点x1、x2、y1和y2满足下面的关系，则特征点x1、x2、y1和y2就是满足弱几何约束关系的匹配特征点对：

|(α₁-α₂)|＜π/4，

|(β₁-β₂)|＜π/4，

1/4＜(d₁/r_x1)/(d₂/r_y1)＜4，

1/4＜(d₁/r_x2)/(d₂/r_y2)＜4，

其中：d₁是特征点x1和x2之间的距离，d₂是特征点y1和y2之间的距离，r_x1是x1的尺度，r_x2是x2的尺度，r_y1是y1的尺度，r_y2是y2的尺度，α₁是x1的角度，α₂是x2的角度，β₁是y1的角度，β₂是y2的角度。

5.根据权利要求1所述的图像匹配点对的检测方法，其特征是，第五步中所述的强几何约束处理，包括以下步骤：

1)将图像中满足弱几何约束关系的特征点进行直线连接，得到匹配点对的几何点对图；

2)在匹配点对的几何点对图中，采用找最大团的方法找到一个封闭多边形，当封闭多边形的顶点小于20时，则这些顶点所对应的特征点就是满足强几何约束关系的匹配特征点对；

3)在几何点对图中将2)得到的满足强几何约束关系的匹配特征点对去除，从而得到新的几何点对图，在新的几何点对图中采用步骤2)得到满足强几何约束关系的匹配特征点对；

4)循环执行步骤3)，直至得到所有满足强几何约束关系的特征点对。

Images