CN105701800B - 多模图像匹配方法 - Google Patents

Abstract

本发明公开一种图像处理技术领域的多模图像匹配方法，应用于多光谱图像处理；所述方法步骤包括：第一步、对待匹配图像进行显著性区域提取；第二步、在图像显著性区域中进行特征提取，考虑多模图像的差异性，特征提取过程需要经过导引滤波，突出边缘特征同时抑制噪声，再提取边缘特征，获得不同图像的共同特征；第三步、进行基于互信息的图像匹配。本发明所述方法在对多模图像匹配过程中达到良好的效果，输出的相关参数也能够应用于多个领域。

Description

多模图像匹配方法

技术领域

本发明涉及图像处理技术领域，具体的，涉及的是一种多光谱图像匹配方法。

背景技术

图像匹配(Image Matching)是在不同条件下得到的并且位于不同坐标系下的同一场景(或物体)的二幅或者多幅图像进行对应点对准的过程。图像匹配是图像分析和处理的基本问题，应用领域广泛。例如，图像匹配是医学图像分析和小目标检测的关键技术，目前国内外研究图像匹配技术较多的应用领域：红外图像处理，遥感图像处理，医学图像处理、数字地图定位，图像三维重构，航空影像自动绘制，模式识别等。虽然不同领域的匹配技术基本上都是根据各自具体的应用背景结合实际情况量身订制的技术，但在理论方法上具有很大的相似性。

图像配准技术最早的应用是在20世纪70年代的美国军方中，当时主要是在飞行器的辅助导航、导弹系统的末制导等领域。20世纪80年代后，图像配准技术才逐渐被利用到人们日常生活的其他各个方面。在1992年，剑桥大学的L.G.Brown就对图像配准进行了总结，将配准问题大致分为多模态配准、模板配准、观察点配准和时间序列配准，并提出了相应的解决方法，同时将图像配准问题归结为特征空间、搜索空间、搜索策略、相似性度量四点要素的组合。1996年，Reddy扩展了图像频域相位相关技术，利用傅里叶变换的尺度特性和旋转特性求解两幅图像之间的尺度和旋转问题，利用相位相关技术解决图像的平移问题。1997年，Maes利用信息论中的互信息作为匹配准则，通过求解两幅图像互信息的极大值来解决多模医学图像配准的问题。2003年，Zitova等人对图像配准领域的相关方法进行了综述。2003年，Pluim等人对基于互信息的医学图像配准进行了概述，按照互信息配准的不同方面，将配准方法进行了分类。为了满足很多具体应用对高精度的需求，最近几十年内己经提出很多能够达到亚像素精度的图像配准算法。2004年，Lowe更是突破性的提出了SIFT(Scale invariant Feature Transform)算法，通过建立尺度空间，较好的克服尺度变化带来的影响，同时提出的相关描述子更能够较为精确的完成特征的描述。此后Y.Ke(2004年)提出的PCA-SIFT和Bay(2006年)都是对Lowe原始算法的改进，主要是对速度上进行改进，但是精度方面SIFT算法还是占据主要地位。近些年来，BRISK、BRIEF等算法的相继提出为图像匹配领域注入了新的活力。

尽管经过多年的研究，图像配准技术已经趋于成熟，但是在许多特定领域都难以使用相同或者相似的方法取得良好的效果。一方面由于成像器本身成像机制具有的独特性，相同场景或者目标在不同模态下，呈现的特征并不相同，如何提取相同或者相似特征，利用不同特征进行匹配以及提升多图像匹配精度和速度成为图像领域的难题。

发明内容

本发明要解决的技术问题是提出一种多模图像匹配方法，实现多模图像匹配，主要应用于多通道遥感图像的匹配，对图像通道本身没有具体限制，与目前主流的匹配方法相比，具有更快的速度及更好的精度。

本发明是通过以下技术方案来实现的：

本发明提供一种多模图像匹配方法，所述方法包括如下步骤：

第一步、对图像进行显著性区域提取；

第二步、对显著性区域进行特征提取，得到边缘特征图；所述特征提取过程经过导引滤波，突出边缘特征同时抑制噪声，再提取边缘特征，获得不同图像的共同特征；

第三步、获取图像的边缘特征后，对边缘特征图进行基于互信息的图像匹配，得到匹配结果。

优选地，所述的第一步，包括如下步骤：

使用超像素分割方法，将原图像分割为多个超像素，并构建图模型G＝{V，E}，其中：V为顶点集合，对应于原图像中的超像素；顶点之间通过无向边E连接；顶点之间的连接原则为：每个顶点与其K近邻连接，对于图像边界上的超像素则将其完全连接；

顶点之间相似度通过权重矩阵W＝[w_ij]来衡量顶点的相似度，其计算方式为：

其中：ci和cj为两个超像素区域内基于LAB色彩空间的均值，i和j表示序数，当i等于j时，表示相同的两个超像素区域，当i不等于j是表示两个不同的超像素区域；σ为用于控制相似性的常数；不相连的超像素之间的相似性标为0，这个权重矩阵是稀疏的；

基于已有的图模型G，使用基于流形排序的方法进行超像素的显著性标注；已知超像素集合X＝{x1，…，xl，xl+1，…，xn}，设f＝{f1，…，fn}是一个映射函数，为每个超像素给出排序值；设y＝{y1，…，yn}为指示向量；如果xi是待检索的点，则yi＝1，否则yi＝0；

基于权重矩阵W，则其度量矩阵D定义为D＝diag{d11，…，dnn}，其中d_ii＝∑w_ij，从而得到每个点的排序值f^*：

f^*＝(D-αW)^-1y

其中：α为控制参数，取值范围为0～1；基于流形排序某个超像素是否显著；

基于另一先验条件，即图像边界区域通常为非显著的区域，因此，首先基于图像上、下、左、右的四条边作为非显著区域，分别对于图像其他超像素的显著值进行估计，以顶部检索为例，则每个超像素的显著值为，S_top(i)

S_top(i)＝1-f^*(i)

当S_top(i)趋于0则说明超像素为非显著的，趋于1则是显著的；结合四条边界的检索结果，则图像中每个超像素的显著值取为：

S_back(i)＝S_top(i)*S_bottom(i)*S_left(i)*S_right(i)

基于边界非显著先验，得到每个像素点的显著程度，随后对S_back(i)进行二值化处理，得到图像中每个超像素的显著性值；将根据显著性值生成的图像乘以原始图像，从而将非显著区域去除，得到显著性区域图像；

S_top(i)、S_bottom(i)、S_left(i)、S_right(i)分别表示从图像上下左右四个方向进行搜索得出显著性值，反映图像四个方向的显著性程度，S_back(i)通过对四个方向显著性值进行融合，得到的整幅图像的显著性区域图。

更优选地，得到的所述显著性区域图像具有三点性质：保留图像显著特征区域，滤除干扰区域影响，三加速计算过程。

优选地，所述的第二步，包括如下步骤：

(1)计算原始图像的导引滤波图像，如下式所示：

其中：p_j表示输入图像每个像素的像素值，q_i表示输出图像中每个像素的像素值，Guide_ij表示导引滤波函数，I表示导引图像，该公式表示通过输入图像p_j和导引图像I生成导引滤波图像q_i，其中：

其中：μ_k和为窗w_k内导引图像I像素值均值和方差，|w_k|为窗内像素数目，I_i和I_j表示导引图像中对应的像素，ε为一个非零极小值，使分母不为0；

(2)计算多模图像的边缘特征，即高斯拉普拉斯边缘检测特征：

a、对原始图像进行高斯模糊，模板公式如下；

其中，x和y为对应图像像素坐标，σ为图像方差，经过模板公式计算后得到一幅图像的高斯模糊图像；

b、对高斯模糊图像求二阶导数，二阶导数为0的位置为边缘的位置，

综合求取公式如下：

其中，▽²g(x,y)表示对图像求高斯拉普拉斯边缘检测，x和y为对应图像像素坐标，σ为图像方差，g(x,y)为原始图像，最终求得边缘特征图。

更优选地，得到的所述显著性区域图像具有三点性质：滤除干扰信息，保留边缘信息，对多模信息提取共性的边缘信息。

优选地，所述的第三步，包括如下步骤：

1)计算待匹配两幅图像边缘特征图A和B的互信息值MI(A，B)：

其中：A和B分别代表两幅不同图像，a和b分别代表图像A和B中的像素，p_A(a)、p_B(b)分别为A和B的边缘概率，p_AB(a，b)代表两幅图像相互边缘概率：

式中，h(a,b)代表图像A、B的联合直方图；p_AB(a，b)以概率的形式反映两幅图像的相互关系，当两幅图像相互独立时，p_A，B(a，b)＝p_A(a)p_B(b)，通过概率统计两幅图像的互信息能够衡量两幅图像的相似程度；

2)平移图像B，求取图像A和B的互信息值，并向互信息值减小的方向平移图像B，直至互信息值取最小值；

3)旋转图像B，求取图像A和B的互信息值，并向互信息值减小的方向旋转图像B，直至互信息值取最小值；

4)重复步骤2)和3)，直至互信息值最小，完成图像A和B匹配，得到图像B相对于图像A的平移和旋转参数，得到匹配结果。

本发明通过使用所提出的多模图像匹配方法具有三点性质：可以较好的实现多通道遥感图像匹配、具有抗干扰性和鲁棒性、可以统一不同模态的图像特征。

与现有技术相比较，本发明的有益效果是：

本发明所述方法针对多模图像匹配设计，不局限于特定图像种类或者通道，因此对图像可以使用种类或者通道；实现不同模态图像相同或者相似特征提取，提取后的特征能够反映场景的一致性信息；经过多通道遥感图像验证，能够较好的实现多模图像匹配。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的流程示意图；

图2为本发明一实施例的显著性提取效果图；

图3为本发明一实施例的LOG边缘提取算子示意图；

图4为本发明一实施例的LOG边缘提取效果图；

图5、图6分别为本发明实施例的结果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，为本发明一实施例中多模图像匹配方法的流程图，所述方法包括如下步骤：

1、对图像进行显著性区域提取

显著性区域提取使用超像素分割方法将原图像分割为多个超像素并构建图模型G＝{V,E}，其中，V为顶点集合，对应于原图像中的超像素；而顶点之间通过无向边E连接。顶点之间的连接原则为：每个顶点与该顶点的K近邻点连接，而对于图像边界上的超像素，则将边界的超像素完全连接。

顶点之间相似度通过权重矩阵W＝[w_ij]来衡量顶点的相似度，其计算方式为：

其中：ci和cj为两个超像素区域内基于LAB色彩空间的均值，σ为用于控制相似性的常数，e为自然对数底数；需要注意的是，不相连的超像素之间的相似性标为0，因此权重矩阵W是稀疏的。

基于已有的图模型G，使用基于流形排序的方法进行超像素的显著性标注。已知超像素集合：X＝{x1,…,xl,xl+1,…,xn}。设f＝{f1,…,fn}是一个映射函数，为每个超像素给出排序值。设y＝{y1,…,yn}为指示向量，如果xi是待检索的点，则yi＝1，否则yi＝0。基于W矩阵，则其度量矩阵D定义为D＝diag{d11,…,dnn}，其中，d_ii＝∑w_ij，可以得到每个点的排序值f^*：

f^*＝(D-αW)^-1y

其中：α为控制参数，取值范围为0～1。因此，基于流形排序某个超像素是否显著。基于另一先验条件，即图像边界区域通常为非显著的区域，因此，首先基于图像上、下、左、右的四条边作为非显著区域，分别对于图像其他超像素的显著值进行估计，例如，以顶部检索为例，则每个超像素的显著值为：

S_top(i)＝1-f^*(i)

当S_top(i)趋于0则说明超像素为非显著的，趋于1则是显著的。结合上、下、左、右四条边界的检索结果，则图像中每个超像素的显著值可以取为：

S_back(i)＝S_top(i)*S_bottom(i)*S_left(i)*S_right(i)

基于边界非显著先验，可以得到每个点的显著程度，随后，对S_back(i)进行二值化处理，此时，得到图像中每个超像素的显著性值。将其乘以原始图像，从而将非显著区域去除。效果如图2所示。

2、对显著性区域进行特征提取，求得图像的边缘特征图：特征提取过程需要经过导引滤波，提取边缘特征的同时抑制噪声，突出不同图像的共同特征：

(1)·计算原始图像的导引滤波图像，如下式所示：

其中：p_j表示输入图像每个像素的像素值，q_i表示输出图像中每个像素的像素值，Guide_ij表示导引滤波函数，I表示导引图像，该公式表示通过输入图像p_j和导引图像I生成导引滤波图像q_i：

其中：μ_k和为窗w_k内导引图像I像素值均值和方差，|w_k|为窗内像素数目，I_i和I_j表示导引图像中对应的像素，ε为一个非零极小值，一般取0.001，为了不是分母为0。

(2)、计算多模图像的边缘(高斯拉普拉斯边缘检测)特征：

a对原始图像进行高斯模糊，模板公式如下；

其中，e为自然对数底数，x和y为对应图像像素坐标，σ为图像方差，经过模板公式计算后得到一幅图像的高斯模糊图像。

b对图像求二阶导数，二阶导数为0的位置为边缘的位置，

综合求取公式如下：

其中，▽²g(x,y)表示对图像求高斯拉普拉斯边缘检测，e为自然对数底数，x和y为对应图像像素坐标，σ为图像方差，g(x,y)为原始图像。最终求得边缘特征图。

边缘提取效过如图4所示。

3、获取图像的边缘信息后，对边缘特征图进行基于互信息的图像匹配，得到匹配结果：

1)计算待匹配两幅图像边缘特征图的互信息值：

其中：A和B分别代表两幅不同图像，a和b分别代表图像A和B中的像素，p_A(a)、p_B(b)分别为A和B的边缘概率，p_AB(a，b)代表两幅图像相互边缘概率：

式中，h(a,b)代表图像A、B的联合直方图；p_AB(a，b)以概率的形式反映两幅图像的相互关系，当两幅图像相互独立时，p_A，B(a，b)＝p_A(a)p_B(b)，通过概率统计两幅图像的互信息能够衡量两幅图像的相似程度。

2)平移图像B，求取图像A和B的互信息值，并向互信息值减小的方向平移图像B，直至互信息值取最小值；

3)旋转图像B，求取图像A和B的互信息值，并向互信息值减小的方向旋转图像B，直至互信息值取最小值；

4)重复步骤2)和3)，直至互信息值最小，完成图像A和B匹配，得到图像B相对于图像A的平移和旋转参数，实现图像匹配。

匹配效果如图5、图6所示，其中：左侧第一列为匹配后效果图，中间列为第1通道(共31通道)图，最右列为第31通道图。

通过以上实施例可以看出，本发明使用上述显著性流程对图像进行预处理，导引滤波抑制噪声的同时突出边缘特征，提取稳定的边缘特征后，使用基于互信息的匹配算法进行匹配，使多模图像匹配达到良好效果，方法实用高效，特征明确简单，具有很好的鲁棒性和抗干扰性，并且计算时间复杂度较小。同时，使用的特征提取方法没有根据特定图像进行设计，对图像本身模态没有具体规定，因此能够应用于除了遥感图像其他多模图像匹配。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (5)

1.一种多模图像匹配方法，其特征在于，所述方法包括如下步骤：

第一步、对图像进行显著性区域提取；

第二步、对显著性区域进行特征提取，得到边缘特征图；所述特征提取过程经过导引滤波，突出边缘特征同时抑制噪声，再提取边缘特征，获得不同图像的共同特征；

第三步、获取图像的边缘特征后，对边缘特征图进行基于互信息的图像匹配，得到匹配结果；

所述的第二步，包括如下步骤：

(1)计算原始图像的导引滤波图像，如下式所示：

其中：p_j表示输入图像每个像素的像素值，q_i表示输出图像中每个像素的像素值，Guide_ij表示导引滤波函数，I表示导引图像，该公式表示通过输入图像p_j和导引图像I生成导引滤波图像q_i，其中：

其中：μ_k和为窗w_k内导引图像I像素值均值和方差，|w_k|为窗内像素数目，I_i和I_j表示导引图像中对应的像素，ε为一个非零极小值，使分母不为0；

(2)计算多模图像的边缘特征，即高斯拉普拉斯边缘检测特征：

a、对原始图像进行高斯模糊，模板公式如下；

其中，x和y为对应图像像素坐标，σ为图像方差，经过模板公式计算后得到一幅图像的高斯模糊图像；

b、对高斯模糊图像求二阶导数，二阶导数为0的位置为边缘的位置，

综合求取公式如下：

其中，▽²g(x,y)表示对图像求高斯拉普拉斯边缘检测，x和y为对应图像像素坐标，σ为图像方差，g(x,y)为原始图像，最终求得边缘特征图。

2.根据权利要求1所述的一种多模图像匹配方法，其特征在于，所述的第一步，具体如下：

使用超像素分割方法，将原图像分割为多个超像素，并构建图模型G＝{V，E}，其中：V为顶点集合，对应于原图像中的超像素；顶点之间通过无向边E连接；顶点之间的连接原则为：每个顶点与其K近邻连接，对于图像边界上的超像素则将其完全连接；

顶点之间相似度通过权重矩阵W＝[w_ij]来衡量顶点的相似度，其计算方式为：

其中：ci和cj为两个超像素区域内基于LAB色彩空间的均值，i和j表示序数，当i等于j时，表示相同的两个超像素区域，当i不等于j是表示两个不同的超像素区域；σ为用于控制相似性的常数；不相连的超像素之间的相似性标为0，这个权重矩阵是稀疏的；

基于已有的图模型G，使用基于流形排序的方法进行超像素的显著性标注；已知超像素集合X＝{x1，…，xl，xl+1，…，xn}，设f＝{f1，…，fn}是一个映射函数，为每个超像素给出排序值；设y＝{y1，…，yn}为指示向量；如果xi是待检索的点，则yi＝1，否则yi＝0；

基于权重矩阵W，则其度量矩阵D定义为D＝diag{d11，…，dnn}，其中d_ii＝∑w_ij，从而得到每个点的排序值f^*：

f^*＝(D-αW)^-1y

其中：α为控制参数，取值范围为0～1；基于流形排序某个超像素是否显著；

基于另一先验条件，即图像边界区域通常为非显著的区域，因此，首先基于图像上、下、左、右的四条边作为非显著区域，分别对于图像其他超像素的显著值进行估计，以顶部检索为例，则每个超像素的显著值为，S_top(i)

S_top(i)＝1-f^*(i)

当S_top(i)趋于0则说明超像素为非显著的，趋于1则是显著的；结合四条边界的检索结果，则图像中每个超像素的显著值取为：

S_back(i)＝S_top(i)*S_bottom(i)*S_left(i)*S_right(i)

基于边界非显著先验，得到每个像素点的显著程度，随后对S_back(i)进行二值化处理，得到图像中每个超像素的显著性值；将根据显著性值生成的图像乘以原始图像，从而将非显著区域去除，得到显著性区域图像；

S_top(i)、S_bottom(i)、S_left(i)、S_right(i)分别表示从图像上下左右四个方向进行搜索得出显著性值，反映图像四个方向的显著性程度，S_back(i)通过对四个方向显著性值进行融合，得到的整幅图像的显著性区域图。

3.根据权利要求2所述的一种多模图像匹配方法，其特征在于，得到的所述显著性区域图像具有三点性质：保留图像显著特征区域，滤除干扰区域影响，三加速计算过程。

4.根据权利要求1所述的一种多模图像匹配方法，其特征在于：得到的所述边缘特征图具有三点性质：滤除干扰信息，保留边缘信息，对多模信息提取共性的边缘信息。

5.根据权利要求1-4任一项所述的一种多模图像匹配方法，其特征在于：所述的第三步，包括如下步骤：

1)计算待匹配两幅图像边缘特征图A和B的互信息值MI(A，B)：

其中：A和B分别代表两幅不同图像，a和b分别代表图像A和B中的像素，p_A(a)、p_B(b)分别为A和B的边缘概率，p_AB(a，b)代表两幅图像相互边缘概率：

式中，h(a,b)代表图像A、B的联合直方图；p_AB(a，b)以概率的形式反映两幅图像的相互关系，当两幅图像相互独立时，p_A，B(a，b)＝p_A(a)p_B(b)，通过概率统计两幅图像的互信息能够衡量两幅图像的相似程度；

2)平移图像B，求取图像A和B的互信息值，并向互信息值减小的方向平移图像B，直至互信息值取最小值；

3)旋转图像B，求取图像A和B的互信息值，并向互信息值减小的方向旋转图像B，直至互信息值取最小值；

4)重复步骤2)和3)，直至互信息值最小，完成图像A和B匹配，得到图像B相对于图像A的平移和旋转参数，得到匹配结果。