CN113223066B - 基于特征点微调的多源遥感图像匹配方法及装置 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种基于特征点微调的多源遥感图像匹配方法及装置。包括：(1)特征点提取和粗匹配，得到初始匹配特征点对、仿射变换参数和矫正待配图；(2)对参考图像和矫正待配图中的每对特征点的局部区域进行扩展相位相关，微调待匹配图像的特征点坐标；(3)重新计算仿射变换参数和矫正待配图；(4)计算参考图像和矫正待配图的相位相关系数。重复过程(2)‑(4),直到相位相关系数连续3次递减。本发明利用了基于特征点的匹配方法对灰度差异和尺度差异鲁棒的特点，以及扩展相位相关法的匹配精度高的特点，提出特征点粗匹配后利用扩展相位相关进行特征点微调的匹配方法，能够提升多源遥感图像匹配的精度和鲁棒性。

Description

基于特征点微调的多源遥感图像匹配方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种基于特征点微调的多源遥感图像匹配方法及装置。

背景技术

随着遥感技术迅速发展和新型传感器的不断涌现，使得不同尺度、不同光谱、不同时相的多源遥感图像数据的获取成为可能。多源遥感图像协同处理，可以提高应用效果。但是，由于不同传感器分辨率不同或者成像体制不同等原因造成图像间存在相对平移、旋转、缩放等几何形变以及非线性灰度差异。因此，为了真正实现多源遥感数据协同处理和应用，多源遥感图像间的精确匹配是非常必要的。

图像匹配方法总体上分为基于特征的匹配和基于灰度的匹配。由于匹配结果只决定于少数匹配的特征对，所以对于尺度差异大的多源遥感图像，基于特征的配准精度不高，大都是像素级的。基于图像灰度的匹配直接利用全部可用的图像灰度信息，故精度高，但对于尺度相差大的多源遥感图像，无法直接基于图像灰度匹配，将特征匹配与图像灰度匹配结合，可以提高匹配精度。

目前结合特征匹配和灰度匹配的策略通常是直接对特征粗匹配后的两个图像再进行基于灰度的精匹配，某些特征点对间的匹配误差使得粗匹配的精度不高，直接影响了后续灰度精匹配精度的提升空间。扩展相位相关方法是一类精度可以达到亚像素级的灰度匹配方法，通过扩展相位相关对粗匹配的特征点对坐标进行精细微调，可以减少特征点对间的匹配误差，从而进一步提高匹配精度。

发明内容

针对现有技术中的不足，本发明的目的是提供一种基于特征点微调的多源遥感图像匹配方法及装置，充分利用特征点匹配方法对灰度和尺度差异的鲁棒性和扩展相位相关法具有匹配精度高的特点，提升了多源遥感图像匹配的精度和鲁棒性，解决了因灰度差异和尺度差异大导致的多源遥感图像匹配精度低的问题。

下面介绍与本发明相关的一些基本变量。

记参考图像为I_r,待配准图像为I_s，第t次迭代后，经仿射变换得到矫正待配图为

参考图中的特征点集合为

第t次迭代后待匹配图像中的特征点集合为

M为特征点个数，F_r中的第i个特征点与

中的第i个特征点匹配，

中的第i个特征点在

中的坐标为

和

为第t次迭代后求得的仿射变换参数。

为实现上述目的，本发明提供了如下技术方案：

本发明的其中一个目的在于提供一种基于特征点微调的多源遥感图像高精度匹配方法，包括如下步骤：

步骤1)：特征提取和粗匹配：提取并粗匹配参考图I_r和待配准图I_s的候选特征点，得到匹配的参考图特征点集合F_r、待配准图特征点集合

初始仿射变换参数和初始矫正待配图

初始化迭代次数t＝1；

步骤2)：局部区域扩展相位相关微调特征点：

根据第t-1次迭代后的待配准图特征点集合

计算

中各个特征点在第t-1次迭代后的矫正待配图

中的坐标；

对参考图I_r和矫正待配图

划分子区域图像，对每对特征点所在的局部子区域图像进行扩展相位相关匹配，得到缩放、旋转和平移参数，然后微调待配准图的特征点坐标；

所述微调待配准图的特征点坐标具体包括：

步骤2-1)：假设参考图中的特征点固定，第t次迭代过程中，将矫正待配图

中的第i个特征点坐标

更新为：

其中，(T_x,T_y)为

所在的子区域图像在

整图中的左上角坐标，a^(t)、

和

分别为缩放、旋转和平移参数；

步骤2-2)：利用逆仿射变换，更新原待配准图I_s中的第i个特征点坐标为：

其中，

是原待配准图I_s中第i个特征点经第t次迭代更新后的坐标；

步骤3)：更新仿射变换参数，得到第t次迭代后的矫正待配图

步骤4)：计算参考图I_r和矫正待配图

的相位相关系数；

迭代次数t＝t+1,重复步骤2)-4)，直到相位相关系数连续3次递减。

本发明的另一个目的在于提供一种基于特征点微调的多源遥感图像高精度匹配装置，包括：

特征点提取和匹配模块，用于提取参考图和待配准图的特征点，并对特征点进行粗匹配，得到匹配的特征点对集合和初始匹配参数；

特征点微调模块，用于对待匹配准图中的特征点坐标进行微调；

匹配参数更新模块，用于更新匹配参数和矫正待配图；

迭代停止条件判断模块，用于计算相位相关系数，根据相位相关系数判断迭代是否停止；

匹配结果输出模块：输出匹配参数和匹配镶嵌结果。

本发明的有益效果在于：

(1)针对现有由粗到细的多源遥感图像匹配方法中由于特征点匹配误差导致最终匹配精度不够高的问题，本发明通过扩展相位相关对粗匹配的特征点坐标进行迭代微调，可以减少特征点的匹配误差，从而进一步提高匹配精度；

(2)本发明提出对特征点对的局部区域通过扩展相位相关进行精细匹配，在减少计算量的同时使局部区域达到亚像素级匹配精度；

(3)本发明提出以参考图像和矫正待配图的相位相关系数作为迭代停止的判断条件，提高了算法迭代的自适应性。

附图说明

图1为本发明多源遥感图像匹配实施例的基本步骤流程图；

图2为本发明多源遥感图像匹配装置的结构示意图；

图3为实验用真实多源遥感图像；

图4为真实多源遥感图像用本发明实施例匹配后的棋盘镶嵌图像；

图5为图像对2用不同方法匹配后的局部放大棋盘镶嵌图像。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例和附图，详细说明本发明，并描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所示，为所发明的多源遥感图像匹配方法在本实施例的基本步骤流程图，主要包括：

步骤1：特征提取和粗匹配：

1.1)特征提取：利用SIFT算法分别提取参考图I_r和待配准图I_s的候选特征点；

1.2)特征描述：计算各特征点的128维SIFT描述子；

1.3)特征匹配：对参考图中的每个特征点，计算其与待配准图像中各个特征点之间的光谱角距离：

其中，S_ri和S_sj分别表示参考图中第i个特征的描述子和待配准图中的第j个特征的描述子，上角标T表示转置；d^ij越小，两个特征越相似。对参考图中的每个特征点，根据其与待配准图特征点的最近距离和次近距离之比是否小于一定的阈值，确定参考图与待配准图中的匹配特征点对。

利用几何内点相似性的误配点剔除算法(Geometrical Outlier Removal,GSM)剔除误配点对，最后得到匹配的参考图特征点集合

和待配准图的初始特征点集合

M为特征点个数，F_r中的第i个特征点与

中的第i个特征点匹配。

计算初始匹配的仿射变换参数，计算公式为：

其中，

和

表示初始仿射变换参数，上角标T表示转置；利用初始匹配的仿射变换参数，对待配准图I_s中的所有像素点坐标进行变换，得到初始矫正待配图

初始化迭代次数t＝1。

此处需要说明的是，图像之间的仿射变换针对的是整张图像中的所有像素点，与下文中描述的仅针对于特征点的仿射变换方式不同，但采用相同的仿射变换公式。

步骤2：局部区域扩展相位相关微调特征点。

For i＝1：M重复以下过程：

2.1)计算

中第i个特征点

在矫正待配图

中的坐标：

其中，

表示在矫正待配图

中对应于

特征点的坐标，上角标中括号内的值表示当前的迭代次数。

2.2)对参考图像I_r和矫正待配图

中的第i对特征点

分别以特征点为中心确定M×N的子区域图像f_ri(x,y)和

此处(x,y)表示图像中的像素点坐标。

2.3)采用曲面拟合修正上采样傅里叶-梅林变换的扩展相位相关方法对f_ri(x,y)和

进行亚像素匹配，具体过程为：

a)对图像进行预处理。为解决频谱混叠和傅里叶变换的边缘效应对配准精度的影响，利用水平垂直差分法近似求取子区域图像f_ri(x,y)和

的图像梯度，并对图像梯度进行加窗处理。

b)计算初始旋转缩放像素级系数。

首先，对预处理后的f_ri(x,y)和

进行傅里叶变换得到

其中,u,v表示频域图像F_ri(u,v)和

的坐标，j为虚部。

分别将F_ri(u,v)的幅度谱M₁(u,v)和

的幅度谱M₂(u,v)进行高斯滤波，并进行对数极坐标变换M₁(ε,θ)和M₂(ε,θ)，其中，ε，θ表示对数极坐标系的横纵坐标。求M₁(ε，θ)和M₂(ε，θ)间的归一化互功率谱Q(u,v)：

其中，F₁(u,v)、F₂(u,v)分别为M₁(ε,θ)和M₂(ε,θ)的傅里叶变换，符号^*表示复共轭，

为

幅度归一化因子，(u,v)表示频域中的横纵坐标。

对Q(u,v)进行2倍零填充再进行傅里叶反变换，得到2倍上采样相位相关函数q₂(ε,θ)，将q₂(ε,θ)的峰值坐标除以2作为旋转、缩放系数的估计值，分别记为d_ε2和d_θ2；

其次，对q₂(ε,θ)对应的曲面中，以(d_ε2,d_θ2)为中心，大小为1.5×1.5的邻域，采用矩阵乘法形式计算n倍上采样相位相关曲面q_n(ε,θ)，具体过程如下：

计算Q(u,v)的共轭形式Q^*(u,v)，以(M/2,N/2)为原点对Q^*(u,v)进行中心变换，得到

对

进行矩阵乘法离散傅里叶变换，得到

其中，j表示虚数，n表示上采样倍数，M、N分别表示待配图的宽度和高度，符号^*表示复共轭，上角标T表示转置，

对

进行共轭运算得到q_n(ε,θ)，取其峰值坐标(ε₀,θ₀)作为对数极坐标下的初始旋转缩放系数(ε₀,θ₀)。

c)修正峰值坐标。采用二元二次多项式曲面拟合函数，对q_n(ε,θ)中以(ε₀,θ₀)为中心的3×3邻域进行拟合，得到：

q(ε,θ)＝a₀+a₁ε+a₂θ+a₃ε²+a₄εθ+a₅θ²

将点(ε₀，θ₀)与其周围8点的相关函数值代入上式并利用最小二乘法得到该多项式的系数a₀、a₁、a₂、a₃、a₄和a₅，即可求出拟合曲面的极值点位置，将极值点坐标表示为(Δε，Δθ)，计算公式为：

用拟合曲面的极值点坐标(Δε，Δθ)除以n的结果(d_εn，d_θn)对(d_ε2，d_θ2)进行更新，得到对数级坐标下的任意精度的亚像素级旋转、缩放估计值：ε＝d_ε2+d_εn，θ＝d_θ2+d_θn。

d)对ε和θ进行坐标反变换，得到亚像素级的旋转系数

和缩放系数α^(t)。对待配准图进行反变换，再利用基于拟合的扩展相位相关法求亚像素平移系数

2.4)假设参考图中的特征点固定，第t次迭代过程中，矫正待配图

中的第i个特征点坐标

更新为：

其中，(T_x，T_y)为

所在的子区域图像在

整图中的左上角坐标，α^(t)、

和

分别为该子区域图像与参考图像I_r中第i个特征点的子区域经扩展相位相关匹配得到的缩放、旋转和平移参数。

2.5)利用逆仿射变换，更新原待配准图像I_s中的第i个特征点坐标为：

步骤3：更新仿射变换参数

利用更新后的仿射变换参数得到第t次迭代后的矫正待配图

步骤4：计算参考图像I_r和矫正待配图

的相位相关系数。

4.1)计算参考图像I_r和矫正待配图

的归一化互功率谱为：

其中，F_r(u，v)、F_s(u，v)分别为I_r和

的傅里叶变换，符号^*表示复共轭，

为

幅度归一化因子，(u，v)表示频谱中的横纵坐标。

4.2)对上式进行傅里叶逆变换可得到一个脉冲函数，即为I_r和

间的相位相关函数：

q(x,y)^(t)＝δ(x-x₀，y-y₀)

其中，q(x，y)^(t)表示参考图和第t次迭代后的矫正待配图之间的相位相关函数，δ(·)表示二维脉冲信号，(x₀，y₀)表示二维脉冲信号中脉冲处的坐标值，即两图像间的平移量。

4.3)计算I_r和

间的相位相关系数：

PC_max^(t)＝Max(q(x，y)^(t))

迭代次数t＝t+1，重复步骤2-4，直到相位相关系数连续3次递减。

与前述的一种基于特征点微调的多源遥感图像匹配方法的实施例相对应，本发明还提供了一种基于特征点微调的多源遥感图像匹配装置的实施例。

图2为根据一示例性实施例示出的一种基于特征点微调的多源遥感图像匹配装置的框图，如图2所示，该装置包括：

特征点提取和匹配模块，用于提取参考图和待配准图的特征点，并对特征点进行粗匹配，得到匹配的特征点对集合和初始匹配参数；

特征点微调模块，用于对待匹配准图中的特征点坐标进行微调；

匹配参数更新模块，用于更新匹配参数和矫正待配图；

迭代停止条件判断模块，用于计算相位相关系数，根据相位相关系数判断迭代是否停止；

匹配结果输出模块：输出匹配参数和匹配镶嵌结果。

本实施中，还可以包括应用模块，所述应用模块使用匹配结果来进行图像融合或图像变化检测。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，例如所述特征点微调模块，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个单元，或一些特征可以忽略，或不执行。另一点，所显示或讨论的模块之间的连接可以是通过一些接口进行通信连接，可以是电性或其它的形式。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。下面以真实多源遥感图像为例说明具体的实施方式，以体现本发明的技术效果，实施例中具体步骤不再赘述。

实施例

两对真实遥感图像分别如图3(a)和3(b)所示，每一对图像中，左图为参考图像，右图为待配准图像，图像信息如表1所示。

表1实验用图像信息

为便于描述，下面先给出各种算法的简称。基于GSM离群点去除的SIFT方法，简称为SIFT-GSM，基于SIFT-GSM和相位相关结合的方法，简称SIFT-GSM-PC，实施例一所描述的完整算法简称为SIFT_IEPC。

图4为两对真实图像对经过SIFT_IEPC匹配后的拼接图像，暗区和光区分别表示待配准图像修正后的图像和参考图像。观察图4中两幅图像的道路，河流等特征的镶嵌边界，可以看出边界连接完整，说明真实遥感图像采用SIFT_IEPC配准误差较小。

图5显示了图像对2采用三种不同方法配准后的局部棋盘镶嵌图像，暗区和光区分别表示待配准图像修正后的图像和参考图像。从图5中可以看出，图5(a)和图5(b)中暗区的道路较粗，且镶嵌边界有错位，说明两种比较算法所求得的缩放及平移系数不够精确，使得待配图像经过变换参数修正后的图像与参考图像间还存在运动误差；图5(c)暗区中道路大小合适并且镶嵌边界没有错位，说明实施例方法优于SIFT-GSM和SIFT-GSM-PC。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，包括如下步骤：

步骤1)：特征提取和粗匹配：提取并粗匹配参考图I_r和待配准图I_s的候选特征点，得到匹配的参考图特征点集合F_r、待配准图特征点集合

初始仿射变换参数和初始矫正待配图

步骤2)：局部区域扩展相位相关微调特征点：

根据第t-1次迭代后的待配准图特征点集合

计算

中各个特征点在第t-1次迭代后的矫正待配图

中的坐标；

对参考图I_r和矫正待配图

划分子区域图像，对每对特征点所在的局部子区域图像进行扩展相位相关匹配，得到缩放、旋转和平移参数，然后微调待配准图的特征点坐标；

所述微调待配准图的特征点坐标具体包括：

步骤2-1)：假设参考图中的特征点固定，第t次迭代过程中，将矫正待配图

中的第i个特征点坐标

更新为：

其中，(T_x,T_y)为

所在的子区域图像在

整图中的左上角坐标，a^(t)、

和

分别为缩放、旋转和平移参数；

步骤2-2)：利用逆仿射变换，更新原待配准图I_s中的第i个特征点坐标为：

其中，

是原待配准图I_s经第t次迭代更新后的第i个特征点坐标；

表示第t-1次迭代更新后的仿射变换参数；

步骤3)：更新仿射变换参数，得到第t次迭代后的矫正待配图

步骤4)：计算参考图I_r和矫正待配图

的相位相关系数；

重复步骤2)-4)，直到相位相关系数连续3次递减。

2.根据权利要求1所述的基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，步骤1)所述的初始仿射变换参数计算公式为：

其中，

和

表示初始仿射变换参数，上角标T表示转置。

3.根据权利要求1所述的基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，步骤2)所述的计算

中各个特征点在第t-1次迭代后的矫正待配图

中的坐标，计算公式为：

其中，

为

中的第i个特征点坐标，i＝1,2,…,M；M为特征点数量；

表示第t-1次迭代更新后的仿射变换参数。

4.根据权利要求1所述的基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，步骤4)所述的更新仿射变换参数，计算公式为：

其中，

表示第t次迭代更新后的仿射变换参数，

表示第t次迭代后待配准图中的特征点集合，M为特征点数量。

5.根据权利要求1所述的基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，步骤4)所述的相位相关系数计算公式为：

PC_max^(t)＝Max(q(x,y)^(t))

其中，q(x,y)^(t)为参考图I_r和矫正待配图

间的相位相关函数，Max(·)表示取最大值，PC_max^(t)表示第t次迭代结束后对应的相位相关系数值。

6.根据权利要求1所述的基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，步骤2)中采用分别将参考图和矫正待配图均匀分割成多个大小相等的子图像划分子区域图像，或以特征点为中心的w×w邻域划分子区域图像。

7.根据权利要求1所述的基于特征点微调的多源遥感图像高精度匹配方法，其特征在于，所述的扩展相位相关采用空域扩展相位相关方法或频域扩展相位相关方法。

8.一种基于权利要求1所述方法的多源遥感图像高精度匹配装置，其特征在于，包括：

特征点提取和匹配模块，用于提取参考图和待配准图的特征点，并对特征点进行粗匹配，得到匹配的特征点对集合和初始匹配参数；

特征点微调模块，用于对待匹配准图中的特征点坐标进行微调；

匹配参数更新模块，用于更新匹配参数和矫正待配图；

迭代停止条件判断模块，用于计算相位相关系数，根据相位相关系数判断迭代是否停止；

匹配结果输出模块：输出匹配参数和匹配镶嵌结果。

9.根据权利要求8所述的多源遥感图像高精度匹配装置，其特征在于，还包括应用模块，其用于使用匹配镶嵌结果来进行图像融合或图像变化检测。

10.根据权利要求8所述的多源遥感图像高精度匹配装置，其特征在于，所述的特征点微调模块计算待配准图的特征点坐标的步骤包括：

假设参考图中的特征点固定，第t次迭代过程中，将矫正待配图

中的第i个特征点坐标

更新为：

其中，(T_x,T_y)为

所在的子区域图像在

整图中的左上角坐标，a^(t)、

和

分别为该子区域图像与参考图I_r中第i个特征点的子区域经扩展相位相关匹配得到的缩放、旋转和平移参数；

利用逆仿射变换，更新原待配准图I_s中的第i个特征点坐标为：

其中，

是原待配准图I_s经第t次迭代更新后的第i个特征点坐标；

表示第t-1次迭代更新后的仿射变换参数。

Images