CN113095385A - 一种基于全局和局部特征描述的多模图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于全局和局部特征描述的多模图像匹配方法，属于图像特征提取和匹配技术领域。本发明包括以下步骤：对于参考图像和待匹配图像，分别检测图像中的特征点，并确定特征点主方向；对于每一个特征点，分别构造PIIFD描述符和全局上下文特征描述符；对于每一对特征点，计算两种特征描述符的相似度，并进行加权融合，通过对比各对特征点的相似度进行初步匹配；对于初步匹配结果，提取特征点的局部上下文特征向量进行比对以消除其中的异常匹配点对，得到最终匹配结果。本发明能够有效克服多模图像局部灰度差异大，特征点描述和匹配困难的问题，提高多模图像特征点匹配的准确率。

Description

一种基于全局和局部特征描述的多模图像匹配方法

技术领域

本发明属于图像特征提取和匹配技术领域，具体涉及一种基于全局和局部特征描述的多模图像匹配方法。

背景技术

多模图像匹配是图像特征提取和配准的重要研究内容，是指将不同成像设备在不同时间或不同视角等条件下获取的，关于同一场景的两幅或多幅图像进行对应的过程。由于多模态图像的成像机理不同，导致图像之间的对应区域灰度差异较大，难以提取稳定的特征描述符用于图像匹配，这一特点为多模图像的匹配任务带来了严峻的挑战。

多模图像匹配算法主要分为基于区域的匹配方法和基于特征的匹配方法。基于区域的匹配方法通过对图像局部区域的灰度进行相似度评价以预测两幅图像之间的对应关系，该类方法计算复杂，并且难以应对图像之间的旋转和尺度变化。

相比于基于区域的匹配方法，基于特征的匹配方法计算效率更高，对图像之间的旋转和尺度变化具有更好的鲁棒性，因而得到更加广泛的研究和应用。最具代表性的特征匹配算法是Lowe提出的SIFT算法(D.G.Lowe,Distinctive Image Features from Scale-Invariant Keypoints,International Journal of Computer Vision 60(2)(2004)91-110.)，该方法虽然在多模图像匹配应用中性能不佳，但是其为后续基于特征的图像匹配算法提供了基本思路。在该算法的基础之上，Sedaghat等人提出了一种一致稳健的SIFT算法(A.Sedaghat,M.Mokhtarzade,H.Ebadi,Uniform robust scale-invariant featurematching for optical remote sensing images,IEEE Transactions on Geoscienceand Remote Sensing 49(11)(2011)4516-4527.)，该方法采用基于熵值的特征选取策略从图像中提取均匀分布的特征点用以进行特征匹配。Bay等人提出了一种快速鲁棒性特征(H.Bay,A.Ess,T.Tuytelaars,L.Van Gool,Speeded-up robust features,ComputerVision and Image Understanding,110(3)(2008)404-417.)，进一步提高了图像特征提取和匹配的运算效率。Chen等人提出了一种部分灰度不变特征描述符(J.Chen,J.Tian,N.Lee,J.Zheng,R.T.Smith,A.F.Laine,A partial intensity invariant featuredescriptor for multimodal retinal image registration,IEEE Transactions onBiomedical Engineering,57(7)(2010)1707-1718.)，以应对多模图像之间的灰度差异问题，该方法在多模视网膜图像匹配中得到了广泛的应用和改进。上述现有的基于特征的匹配方法大多采用特征点的局部信息构造特征描述符，而由于成像机理的不同，多模图像的局部信息可能存在较大差异，现有方法构造的描述符受图像局部信息差异的影响较大，因而导致多模图像匹配的准确率不高。

发明内容

1.发明要解决的技术问题

本发明的目的在于克服现有技术中的缺陷，提供一种基于全局和局部特征描述的多模图像匹配方法，以解决多模图像匹配任务中，图像特征点描述和匹配困难的问题。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于全局和局部特征描述的多模图像匹配方法，包括以下步骤：

步骤1、分别提取参考图像和待匹配图像中的特征点，并确定特征点的主方向；

步骤2、对于两幅图像中的每一个特征点，分别构造其PIIFD描述符和全局上下文特征描述符；

步骤3、对于两幅图像中的每一对特征点，计算两种特征描述符的相似度，并进行加权融合，通过对比各对特征点的相似度进行初步匹配；

步骤4、对于初步匹配结果，提取特征点的局部上下文特征向量进行比对，消除其中的异常匹配点对，得到最终匹配结果。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)鉴于现有的多数基于特征的图像匹配方法采用特征点的局部信息构造特征描述符，而如此构造的描述符会因为图像局部信息差异，而导致多模图像匹配的准确率不高的问题，本发明提供的一种基于全局和局部特征描述的多模图像匹配方法，在局部特征描述的基础上，进一步引入全局上下文特征描述符，利用全局特征对局部特征进行修正，有效的克服了多模图像局部灰度差异对特征描述的影响。同时还引入局部上下文特征向量滤除异常匹配点对，进一步地提高了多模图像匹配的准确率。

(2)本发明提供的一种基于全局和局部特征描述的多模图像匹配方法，利用多种算法对图像特征进行识别和计算，其中多数算法为常用算法，无需进行复杂的计算。而在引入全局上下文特征描述符时，针对一个特征点计算之后，其余特征点计算方式相同，可由计算机进行重复运算，无需人工调整，计算方法简单。

(3)本发明提供的一种基于全局和局部特征描述的多模图像匹配方法，在消除异常匹配点对选取10个特征点，保证数据精确的同时，减少需计算的特征点，减少工作量。

附图说明

图1为本发明实施例的多模图像匹配的流程示意图；

图2为本发明实施例的全局上下文特征描述符的构造示意图；

图3为本发明实施例的局部上下文特征向量的构造示意图。

具体实施方式

鉴于现有的多数基于特征的图像匹配方法采用特征点的局部信息构造特征描述符，而由于成像机理的不同，多模图像的局部信息可能存在较大差异，现有方法构造的描述符受图像局部信息差异的影响较大，因而导致多模图像匹配的准确率不高问题，本发明提供的一种基于全局和局部特征描述的多模图像匹配方法，在局部特征描述的基础上，进一步引入全局上下文特征描述符，利用全局特征对局部特征进行修正，有效的克服了多模图像局部灰度差异对特征描述的影响。同时还引入局部上下文特征向量滤除异常匹配点对，进一步地提高了多模图像匹配的准确率。

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例

结合图1-图3，本实施例的一种基于全局和局部特征描述的多模图像匹配方法，包括以下步骤：

步骤1、采用Harris特征点检测算法分别提取参考图像和待匹配图像中的特征点，并采用平均平方梯度法计算各特征点的主方向。

步骤2、对于两幅图像中的每一个特征点，分别构造其PIIFD描述符和全局上下文特征描述符：

步骤2-1、先计算PIIFD描述符：对于图像中任一特征点c_i，选取该特征点周围41*41的矩形区域，并且以特征点主方向作为矩形区域方向进行PIIFD描述符的构造。

步骤2-2、再计算全局上下文特征描述符：

(1)对于特征点c_i，选取图像中与其距离最近的m个特征点，记为{c₁，c₂，…，c_m}，其中，m＝γM，M为图像中检测到的所有特征点的个数，参数γ范围为0.5～0.8，通过实际试验确定设置参数γ为0.7时可获得最佳的匹配效果。对于该特征点集合中的任一特征点c_j，其相对于特征点c_i的相对位置可表示为w_ij＝(α_ij，β_ij)，其中α_ij为向量

与特征点c_i主方向的夹角，β_ij为特征点c_j主方向和特征点c_i主方向的夹角。

(2)对于特征点集合{c₁，c₂，…，c_m}中的每一个特征点，计算描述向量w_ij(j＝1，2，…，m)，则特征点c_i与其邻域内其它特征点的位置关系可表示为W_i＝{w_i1，w_i2，…，w_im}。

(3)将α和β的取值范围0，2π)均匀划分为8个角度区间，计算W_i的直方图描述如下：

其中，

为直方图中第k个元素值，bin(k)为第k个角度区间，K为直方图维数。直方图

即为特征点c_i的全局上下文特征描述符。

步骤3、对于两幅图像中的每一对特征点，计算两种特征描述符的相似度，并进行加权融合，通过对比各对特征点的相似度进行初步匹配。

特征点相似度计算和初步匹配的具体过程为：

步骤3-1、对于两幅图像中的一对特征点，计算特征描述符的相似度如下：

其中，d₁和d₂为特征描述符，将一对特征点的PIIFD描述符代入上式可得其局部相似度，记为sim_l，将其全局上下文特征描述符代入上式可得全局相似度，记为sim_g。

步骤3-2、将特征点对的局部相似度和全局相似度融合如下：

其中，S为特征点对的相似度。

步骤3-3、根据步骤3-1和步骤3-2计算出参考图像和待匹配图像中所有特征点对的相似度，并采用双向匹配法筛选出两幅图像中对应匹配的特征点对。设从参考图像和待匹配图像中提取的特征点集合分别为

和

M和N分别为两幅图像中检测到的特征点个数，只有当点

在参考图像中与点

的相似度最高，同时点

在待匹配图像中与点

的相似度也最高时，才将

和

选定为对应匹配的特征点对。

步骤4、对于初步匹配结果，提取特征点的局部上下文特征向量进行比对以消除其中的异常匹配点对，得到最终匹配结果。

消除异常匹配点对的具体过程为：

步骤4-1、记步骤3筛选出的初步匹配点对集合为

其中，n为匹配点对数，对于集合中的一对初步匹配的特征点p_i和q_i，在参考图像中提取出与特征点p_i距离最近的10个特征点，记为

在待匹配图像中提取出与特征点q_i距离最近的10个特征点，记为

步骤4-2、对于特征点p_i的最近邻点集合

其中各个点与p_i的欧式距离记为

如图3所示，以特征点p_i为极点，以其主方向为极轴方向建立极坐标，将极角坐标均匀划分为12个区间，则该特征点的局部上下文特征向量计算如下：

其中，

为向量中第k个元素值，bin(k)为第k个极角区间，d_max为集合

中的最大值。同理可计算特征点q_i的局部上下文特征向量，记为v_qi。

步骤4-3、对于筛选出的每一对初步匹配的特征点p_i和q_i，计算其局部上下文特征向量之间的距离如下：

D_i＝||v_pi-v_qi|| (5)

若距离值大于给定的阈值T，则将该初步匹配的特征点对视为异常匹配点对加以移除。通过实际试验确定设置阈值T为0.5时可获得最佳的匹配效果。

本实施例提供的一种基于全局和局部特征描述的多模图像匹配方法，利用多种算法对图像特征进行识别和计算，其中多数算法为常用算法，无需进行复杂的计算。而在引入全局上下文特征描述符时，针对一个特征点计算之后，其余特征点计算方式相同，可由计算机进行重复运算，无需人工调整，计算方法简单。在消除异常匹配点对选取10个特征点，保证数据精确的同时，减少需计算的特征点，减少工作量。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，包括以下步骤：

步骤1、分别提取参考图像和待匹配图像中的特征点，并确定特征点的主方向；

步骤2、对于两幅图像中的每一个特征点，分别构造其PIIFD描述符和全局上下文特征描述符；

步骤3、对于两幅图像中的每一对特征点，计算两种特征描述符的相似度，并进行加权融合，通过对比各对特征点的相似度进行初步匹配；

步骤4、对于初步匹配结果，提取特征点的局部上下文特征向量进行比对，消除其中的异常匹配点对，得到最终匹配结果。

2.根据权利要求1所述的一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，所述的步骤1中，采用Harris检测算法进行图像特征点检测，采用平均平方梯度法进行特征点主方向计算。

3.根据权利要求1或2所述的一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，所述的步骤2中，计算PIIFD描述符和全局上下文特征描述符的具体过程如下：

步骤2-1、对于图像中任一特征点c_i，选取该特征点周围41*41的矩形区域，并且以特征点主方向作为矩形区域方向进行PIIFD描述符的构造；

步骤2-2、计算全局上下文特征描述符：

(1)对于特征点c_i，选取图像中与其距离最近的m个特征点，记为{c₁，c₂，…，c_m}，其中，m＝γM，M为图像中检测到的所有特征点的个数，参数γ范围为0.5～0.8；对于该特征点集合中的任一特征点c_j，其相对于特征点c_i的相对位置可表示为w_ij＝(α_ij，β_ij)，其中α_ij为向量

与特征点c_i主方向的夹角，β_ij为特征点c_j主方向和特征点c_i主方向的夹角；

(2)对于特征点集合{c₁，c₂，…，c_m}中的每一个特征点，计算描述向量w_ij(j＝1，2，…，m)，则特征点c_i与其邻域内其它特征点的位置关系可表示为W_i＝{w_i1，w_i2，…，w_im}；

(3)将α和β的取值范围(0，2π)均匀划分为8个角度区间，计算W_i的直方图描述，如公式(1)，

其中，

为直方图中第k个元素值，bin(k)为第k个角度区间，K为直方图维数；直方图

即为特征点c_i的全局上下文特征描述符。

4.根据权利要求3所述的一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，所述的参数γ值为0.7。

5.根据权利要求4所述的一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，所述的步骤3中，特征点初步匹配的具体过程为：

步骤3-1、对于两幅图像中的一对特征点，计算特征描述符的相似度，如公式(2)，

其中，d₁和d₂为特征描述符，将一对特征点的PIIFD描述符代入上式可得其局部相似度，记为sim_l，将全局上下文特征描述符代入上式可得全局相似度，记为sim_g；

步骤3-2、将特征点对的局部相似度和全局相似度融合如公式(3)，

其中，S为特征点对的相似度；

步骤3-3、根据步骤3-1和步骤3-2计算出参考图像和待匹配图像中所有特征点对的相似度，并采用双向匹配法筛选出两幅图像中对应匹配的特征点对；设从参考图像和待匹配图像中提取的特征点集合分别为

和

M和N分别为两幅图像中检测到的特征点个数，只有当点

在参考图像中与点

的相似度最高，同时点

在待匹配图像中与点

的相似度也最高时，才将

和

选定为对应匹配的特征点对。

6.根据权利要求5所述的一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，所述的步骤4中，消除异常匹配点对的具体过程为：

步骤4-1、记步骤3筛选出的初步匹配点对集合为

其中，n为匹配点对数，对于集合中的一对初步匹配的特征点p_i和q_i，在参考图像中提取出与特征点p_i距离最近的10个特征点，记为

在待匹配图像中提取出与特征点q_i距离最近的10个特征点，记为

步骤4-2、对于特征点p_i的最近邻点集合

其中各个点与p_i的欧式距离记为

以特征点p_i为极点，以其主方向为极轴方向建立极坐标，将极角坐标均匀划分为12个区间，则该特征点的局部上下文特征向量计算如公式(4)，

其中，

为向量中第o个元素值，bin(o)为第0个极角区间，d_max为集合

中的最大值；同理可计算特征点q_i的局部上下文特征向量，记为

步骤4-3、对于筛选出的每一对初步匹配的特征点p_i和q_i，计算其局部上下文特征向量之间的距离如公式(5)，

若距离值大于给定的阈值T，则将该初步匹配的特征点对视为异常匹配点对加以移除。

7.根据权利要求6所述的一种基于全局和局部特征描述的多模图像匹配方法，其特征在于，所述的参数T值为0.5。

Images