CN105741297B - 一种具有仿射不变性的重复模式图像匹配方法 - Google Patents

Abstract

本发明公开了一种具有仿射不变性的重复模式图像匹配方法，检测两幅输入图像的最大稳定极值区域；将具有相似椭圆方程的区域分类，根据每一类椭圆区域归一化得到的变换矩阵对图像进行若干次仿射变换并保留相应的归一化区域；然后使用检测归一化区域内的特征点，计算每个特征点的局部描述符与全局描述符，并在区域对的基础上建立特征点对构建特征点对描述符；使用最近邻距离比率特征匹配策略匹配变换后的图像并将每组匹配数目最多的特征点通过仿射变换矩阵映射到输入图像中，从而完成匹配。本发明解决了现有重复模式图像匹配方法在大视角下无法获得正确匹配点的问题。

Description

一种具有仿射不变性的重复模式图像匹配方法

技术领域

本发明属于图像匹配技术领域，特别涉及了一种具有仿射不变性的重复模式图像匹配方法。

背景技术

图像匹配技术广泛应用于计算机视觉的应用中，例如目标识别、图像拼接、3D重构等。使用基于局部特征图像匹配算法对图像的缩放、旋转、光照以及小角度的视角变化具有较好的鲁棒性，例如经典的SIFT算法及其改进算法SURF等。但是，当待匹配的图像含有大量的重复模式或相似结构时，上述描述算法的匹配效果就会受到很大影响。重复模式是指一幅图像中重复出现的一些局部特征，他们在灰度、形状以及纹理等方面具有相似的特性，例如楼房表面的窗户、遥感图像中的房屋、农田等。上述匹配算法仅利用了局部特征信息，因此在对重复模式图像的匹配中会产生歧义，造成误匹配。

针对含有重复模式图像的匹配方法主要分为两类，一类是基于几何相容性的方法，主要通过特征点之间的几何约束关系消除重复模式带来的歧义，这类方法计算量大，而且对初始的匹配结果较为敏感。另一类是引入全局特征描述符，针对全局特征描述符进行研究，主流方法是将局部特征描述符与全局特征描述符结合，对特征点进行描述，但忽略了特征点间的几何约束关系。目前已有论文将两者结合，首先建立成对的特征点，建立特征点间的几何约束关系，然后引入了全局特征，对特征点进行全局描述，使得重复特征模式图像匹配的效果得到了较大的提高。

但是，现有的算法在两幅图像视角差异较大的情况下几乎不起作用，即仿射不变性较差，原因在于视角差异较大时两幅图中特征点对之间的几何约束改变了。现有的具有仿射不变性的图像匹配算法没有适用于重复模式图像的。例如，有人提出对输入图像进行多次模拟视角变换，并依次进行特征匹配，将匹配点最多的匹配作为最终的匹配结果，该方法的视角模拟具有盲目性，需要进行上百次的匹配，算法效率十分低；有的人提出结合区域匹配和点匹配，用MSER检测仿射区域并归一化，再依次匹配每个仿射区域内的特征点，该方法对仿射区域归一化，仅减小了仿射区域内特征点的几何约束关系变化，但各区域之间的几何约束关系仍然有较大的变化，仍然无法实现重复模式图像的匹配。

因此，目前已有的重复模式图像匹配方法存在的两个问题，一是仿射不变性较差，即匹配算法在两幅图像视角变换较大时性能较差，由于特征点间的几何约束关系在视角变化较大的情况下会发生较大的改变，导致现有的方法性能下降严重；二是效率较低，成对特征点的引入导致匹配时的特征点数目成大幅增加，在建立描述符以及搜索特征点时耗时严重。这两个问题制约了重复模式图像匹配方法的进一步广泛应用。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种具有仿射不变性的重复模式图像匹配方法，实现了大视角下重复模式图像的匹配，同时也在一定程度上提高了匹配效率。

为了实现上述技术目的，本发明的技术方案为：

一种具有仿射不变性的重复模式图像匹配方法，包括以下步骤：

(1)输入两幅具有重复图案的图像，分别定义为图像I与I′，检测这两幅图像的最大稳定极值区域，并采用椭圆区域方程拟合检测到的每个最大稳定极值区域；

(2)对于图像I，能够得到的N个椭圆区域，设其中任意两个椭圆区域为e_i和e_j，其中i,j＝1,2,…,N且i≠j，两个椭圆区域的长轴长度分别为l_i和l_j，短轴长度分别为w_i和w_j，若这两个椭圆区域的长短轴之比的差小于一个阈值K，即：则认为椭圆区域e_i和e_j相似，并将二者归入一个集合，若某个椭圆区域没有与其相似的椭圆区域，则该椭圆区域单独属于一个集合，共得到M个集合，这M个集合按包含相似椭圆个数由多到少排列，取前M_k个，记为S_k，其中k＝1,2,…,M_k，M_k＜M＜N；

(3)图像I中的每个集合S_k都能得到一个仿射变换矩阵H_k，使该集合中的每个椭圆区域近似归一化为圆形区域，对图像I使用矩阵H_k进行仿射变换，得到M_k幅变换后的图像，记为I_k，变换后的图像中仅保留与其下标序号对应的椭圆区域集合，这些集合中的椭圆区域在经过图像仿射变换后已经被近似归一化为圆形区域；

(4)对任意一幅变换后的图像I_k，使用高斯差分算子检测该图像中圆形区域内的特征点，使用边缘检测器计算圆形区域内每个特征点的边缘信息，然后将圆形区域内所有特征点的边缘信息加权相加，得到该圆形区域的特征信息；

(5)对任意一幅变换后的图像I_k中检测到的n个特征点p_α，其中α＝1,2,…,n，用DAISY描述符描述其局部特征，得到每个特征点p_α对应的DAISY局部特征描述符为L_α；

(6)若特征点p_α到图像中最远的特征点的距离为s，则以该特征点为圆心，分别建立半径为s,的5个同心圆，并将这5个同心圆沿其圆周将圆8等分，共划分出40个区域g(a,b)，其中a＝1,2,…,5；b＝1,2,…,8，a表示5个同心圆，b表示8等分，g(a,b)初始值为零，根据圆形区域的圆心坐标判断该区域的特征信息g^c在全局特征描述符中的位置，将属于同一位置的g^c相加后赋值给g(a,b)，然后所有区域的g(a,b)构成了全局特征描述符G，每个特征点p_α对应的全局特征描述符为G_α；

(7)对任意一幅变换后的图像I_k中的圆形区域，定义两圆形区域圆心的距离为两圆形区域之间的距离d，则对任意一个圆形区域c，都能找到另一个圆形区域c′使两圆形区域之间的距离d最小，将c与c′看作一个区域对，c中有m个特征点，c′中有m′个特征点，将c中的任意一个特征点与c′中的任意一个特征点一一对应构建特征点对，其中i_c＝1,2,…,m，j_c＝1,2,…,m′；构建特征点对时，将特征点与的像素坐标、相对的方向、相对的方向、两个点的局部特征描述符L_i和L′_j以及两个点的全局特征描述符和G′_j作为特征点对的信息储存，若与c′最近的圆形区域也是c，则不用重新构建特征点对，在读取特征点对信息时将将特征点对中的与交换即可，若与c′最近的圆形区域不是c，则选择与c′距离最近的圆形区域中的特征点构建新的特征点对；

(8)对另一幅输入图像I′执行步骤(2)-(7)，得到图像I′所有变换后图像I′_k′中的特征点对，其中k′＝1,2,…,M′_k，对于每一个I_k，使用最近邻距离比率特征匹配策略依次与I′_k′进行匹配，得到一组匹配点数目最多的图像对，对该组匹配点对在两幅图像中的坐标使用两幅图像各自对应的仿射变换矩阵，将两幅图像中的特征点坐标分别转换为输入图像I与I′上的坐标；

(9)将所有变换后图像得到的最大匹配点按照对应的仿射变换矩阵映射到输入图像上，就得到了两幅图像最终的匹配结果。

基于上述技术方案的优选方案，在步骤(4)中，采用高斯差分算子检测图像中圆形区域内的特征点。

基于上述技术方案的优选方案，步骤(4)中得到圆形区域的特征信息为其中g_l为该圆形区域每个特征点的边缘信息，σ_l为该圆形区域每个特征点对应的权值，l＝1,2,…,n_c，n_c是该圆形区域中特征点的数目，且r_l ^c与分别是第l与第m个特征点到该圆形区域圆心的距离。

采用上述技术方案带来的有益效果：

(1)本发明引入具有仿射不变性的最大稳定极值区域(MSER)，并通过椭圆归一化减小了特征点所在区域的之间的视角差异，实现了大视角下的重复模式图像匹配；

(2)本发明通过将最大稳定极值区域分类，并提出区域对的概念，减少了特征点对建立时的搜索时间，提高了算法的效率。

附图说明

图1是本发明的方法流程图；

图2是本发明中全局特征描述符的结构示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示本发明的方法流程图，一种具有仿射不变性的重复模式图像匹配方法，包括以下步骤：

(1)输入两幅具有重复图案的图像(重复模式图像)，分别定义为图像I与I′，检测这两幅图像的最大稳定极值区域(MSER)，并采用椭圆区域方程拟合检测到的每个最大稳定极值区域。

(2)对于图像I，能够得到的N个椭圆区域，设其中任意两个椭圆区域为e_i和e_j，其中i,j＝1,2,…,N且i≠j，两个椭圆区域的长轴长度分别为l_i和l_j，短轴长度分别为w_i和w_j，若这两个椭圆区域的长短轴之比的差小于一个阈值K，即：则认为椭圆区域e_i和e_j相似，并将二者归入一个集合，若某个椭圆区域没有与其相似的椭圆区域，则该椭圆区域单独属于一个集合，共得到M个集合，这M个集合按包含相似椭圆个数由多到少排列，取前M_k个，记为S_k，其中k＝1,2,…,M_k，M_k＜M＜N。

(3)图像I中的每个集合S_k都能得到一个仿射变换矩阵H_k，使该集合中的每个椭圆区域近似归一化为圆形区域，对图像I使用矩阵H_k进行仿射变换，得到M_k幅变换后的图像，记为I_k，变换后的图像中仅保留与其下标序号对应的椭圆区域集合，这些集合中的椭圆区域在经过图像仿射变换后已经被近似归一化为圆形区域。

(4)对任意一幅变换后的图像I_k，使用DoG高斯差分算子检测该图像中圆形区域内的特征点，使用边缘检测器g计算圆形区域内每个特征点的边缘信息，然后将圆形区域内所有特征点的边缘信息加权相加，得到该圆形区域的特征信息。

上述边缘检测器g＝||u_η|-|u_ξ||，其中， u_x、u_xx分别是图像水平方向的高斯一阶和二阶导数，u_y、u_yy分别是图像垂直于水平方向的高斯一阶和二阶导数，u_xy是先对图像水平方向求导再对垂直方向求导得到的二阶导数。

由于靠近圆形区域边缘的特征点包含的边缘信息较丰富，而靠近圆形区域中心的特征点很大程度上是由于噪声干扰得到的，所以对每个特征点得到边缘信息乘以权值σ，σ是该特征点到圆心的距离与该圆形区域内所有特征点到圆心距离之和的比值，即(l＝1,2,…,n_c)，n_c是该圆形区域中特征点的数目，r_l ^c与分别是第l与第m个特征点到该圆形区域圆心的距离。因此，每个特征点的边缘信息为σ_lg_l(l＝1,2,…,n_c)。将该圆形区域内所有特征点的边缘信息相加，得到该圆形区域的特征信息

(5)对任意一幅变换后的图像I_k中检测到的n个特征点p_α，其中α＝1,2,…,n，用DAISY描述符描述其局部特征，得到每个特征点p_α对应的DAISY局部特征描述符为L_α。

(6)若特征点p_α到图像中最远的特征点的距离为s，则以该特征点为圆心，分别建立半径为s,的5个同心圆，并将这5个同心圆沿其圆周将圆8等分，共划分出40个区域g(a,b)，如图2所示，其中a＝1,2,…,5；b＝1,2,…,8，a表示5个同心圆，b表示每个圆的8等分，g(a,b)初始值为零，根据圆形区域的圆心坐标判断该区域的特征信息g^c在全局特征描述符中的位置，将属于同一位置的g^c相加后赋值给g(a,b)，然后所有区域的g(a,b)构成了全局特征描述符G，每个特征点p_α对应的全局特征描述符为G_α。

(7)对任意一幅变换后的图像I_k中的圆形区域，定义两圆形区域圆心的距离为两圆形区域之间的距离d，则对任意一个圆形区域c，都能找到另一个圆形区域c′使两圆形区域之间的距离d最小，将c与c′看作一个区域对，c中有m个特征点，c′中有m′个特征点，将c中的任意一个特征点与c′中的任意一个特征点一一对应构建特征点对，其中i_c＝1,2,…,m，j_c＝1,2,…,m′；构建特征点对时，将特征点与的像素坐标、相对的方向、相对的方向、两个点的局部特征描述符L_i和L′_j以及两个点的全局特征描述符和G′_j作为特征点对的信息储存，若与c′最近的圆形区域也是c，则不用重新构建特征点对，在读取特征点对信息时将将特征点对中的与交换即可，若与c′最近的圆形区域不是c，则选择与c′距离最近的圆形区域中的特征点构建新的特征点对。

(8)对另一幅输入图像I′执行步骤(2)-(7)，得到图像I′所有变换后图像I′_k′中的特征点对，其中k′＝1,2,…,M′_k，对于每一个I_k，使用最近邻距离比率特征匹配策略(NNDR)依次与I′_k′进行匹配，得到一组匹配点数目最多的图像对，对该组匹配点对在两幅图像中的坐标使用两幅图像各自对应的仿射变换矩阵，将两幅图像中的特征点坐标分别转换为输入图像I与I′上的坐标。

(9)将所有变换后图像得到的最大匹配点按照对应的仿射变换矩阵映射到输入图像上，就得到了两幅图像最终的匹配结果。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种具有仿射不变性的重复模式图像匹配方法，其特征在于，包括以下步骤：

(1)输入两幅具有重复图案的图像，分别定义为图像I与I′，检测这两幅图像的最大稳定极值区域，并采用椭圆区域方程拟合检测到的每个最大稳定极值区域；

(2)对于图像I，能够得到的N个椭圆区域，设其中任意两个椭圆区域为e_i和e_j，其中i,j＝1,2,...,N且i≠j，两个椭圆区域的长轴长度分别为l_i和l_j，短轴长度分别为w_i和w_j，若这两个椭圆区域的长短轴之比的差小于一个阈值K，即：则认为椭圆区域e_i和e_j相似，并将二者归入一个集合，若某个椭圆区域没有与其相似的椭圆区域，则该椭圆区域单独属于一个集合，共得到M个集合，这M个集合按包含相似椭圆个数由多到少排列，取前M_k个，记为S_k，其中k＝1,2,...,M_k，M_k＜M＜N；

(3)图像I中的每个集合S_k都能得到一个仿射变换矩阵H_k，使该集合中的每个椭圆区域近似归一化为圆形区域，对图像I使用矩阵H_k进行仿射变换，得到M_k幅变换后的图像，记为I_k，变换后的图像中仅保留与其下标序号对应的椭圆区域集合，这些集合中的椭圆区域在经过图像仿射变换后已经被近似归一化为圆形区域；

(4)对任意一幅变换后的图像I_k，检测该图像中圆形区域内的特征点，使用边缘检测器计算圆形区域内每个特征点的边缘信息，然后将圆形区域内所有特征点的边缘信息加权相加，得到该圆形区域的特征信息；

(5)对任意一幅变换后的图像I_k中检测到的n个特征点p_α，其中α＝1,2,...,n，用DAISY描述符描述其局部特征，得到每个特征点p_α对应的DAISY局部特征描述符为L_α；

(6)若特征点p_α到图像中最远的特征点的距离为s，则以该特征点为圆心，分别建立半径为的5个同心圆，并将这5个同心圆沿其圆周将圆8等分，共划分出40个区域g(a,b)，其中a＝1,2,...,5；b＝1,2,...,8，a表示5个同心圆，b表示8等分，g(a,b)初始值为零，根据圆形区域的圆心坐标判断该区域的特征信息g^c在全局特征描述符中的位置，将属于同一位置的g^c相加后赋值给g(a,b)，然后所有区域的g(a,b)构成了全局特征描述符G，每个特征点p_α对应的全局特征描述符为G_α；

(7)对任意一幅变换后的图像I_k中的圆形区域，定义两圆形区域圆心的距离为两圆形区域之间的距离d，则对任意一个圆形区域c，都能找到另一个圆形区域c′使两圆形区域之间的距离d最小，将c与c′看作一个区域对，c中有m个特征点，c′中有m′个特征点，将c中的任意一个特征点与c′中的任意一个特征点一一对应构建特征点对，其中i_c＝1,2,...,m，j_c＝1,2,...,m′；构建特征点对时，将特征点与的像素坐标、相对的方向、相对的方向、两个点的局部特征描述符L_i和L′_j以及两个点的全局特征描述符和G′_j作为特征点对的信息储存，若与c′最近的圆形区域也是c，则不用重新构建特征点对，在读取特征点对信息时将特征点对中的与交换即可，若与c′最近的圆形区域不是c，则选择与c′距离最近的圆形区域中的特征点构建新的特征点对；

(8)对另一幅输入图像I′执行步骤(2)-(7)，得到图像I′所有变换后图像I′_k′中的特征点对，其中k′＝1,2,...,M′_k，对于每一个I_k，使用最近邻距离比率特征匹配策略依次与I′_k′进行匹配，得到一组匹配点数目最多的图像对，对该组匹配点对在两幅图像中的坐标使用两幅图像各自对应的仿射变换矩阵，将两幅图像中的特征点坐标分别转换为输入图像I与I′上的坐标；

(9)将所有变换后图像得到的最大匹配点按照对应的仿射变换矩阵映射到输入图像上，就得到了两幅图像最终的匹配结果。

2.根据权利要求1所述一种具有仿射不变性的重复模式图像匹配方法，其特征在于：步骤(3)中仿射变换矩阵其中，表示变换后圆形区域的半径，l和w分别表示变换前集合内任意一个相似椭圆区域的长轴和短轴，椭圆区域的二阶矩且μ₁₂＝μ₂₁。

3.根据权利要求1所述一种具有仿射不变性的重复模式图像匹配方法，其特征在于：步骤(4)中所述的边缘检测器g＝||u_η|-|u_ξ||，

其中，u_x、u_xx分别是图像水平方向的高斯一阶和二阶导数，u_y、u_yy分别是图像垂直于水平方向的高斯一阶和二阶导数，u_xy是先对图像水平方向求导再对垂直方向求导得到的二阶导数。

4.根据权利要求1所述一种具有仿射不变性的重复模式图像匹配方法，其特征在于：在步骤(4)中，采用高斯差分算子检测图像中圆形区域内的特征点。

5.根据权利要求1所述一种具有仿射不变性的重复模式图像匹配方法，其特征在于：步骤(4)中得到圆形区域的特征信息为其中gl为该圆形区域每个特征点的边缘信息，σ_l为该圆形区域每个特征点对应的权值，l＝1,2,...,n_c，n_c是该圆形区域中特征点的数目，且r_l ^c与分别是第l与第m个特征点到该圆形区域圆心的距离。