CN103914847A - 基于相位一致性和sift的sar图像配准方法 - Google Patents

Abstract

本发明公开了一种基于相位一致性和SIFT的SAR图像配准方法，主要解决了传统SIFT方法应用于合成孔径雷达SAR图像配准失效或精度较低的问题，本发明实现的步骤是：(1)输入两幅图像；(2)提取SIFT特征；(3)筛选特征点；(4)滤除错误匹配点对；(5)获得几何形变参数；(6)得到配准结果。本发明与现有技术相比，改善了对错误匹配点的滤除能力，增强了对噪声的鲁棒性，从而提高了实测合成孔径雷达SAR图像配准的精度。

Description

基于相位一致性和SIFT的SAR图像配准方法

技术领域

本发明属于图像处理技术领域，更进一步涉及雷达图像处理技术领域中的一种基于相位一致性尺度不变特征转换(Scale Invariant Feature Transform,SIFT)的合成孔径雷达(Synthetic Aperture Radar,SAR)图像配准的方法。本发明可用于不同波段、不同时相、不同极化方式的SAR图像配准和图像校正。

背景技术

图像配准是对取自不同时间、不同视角或不同传感器的同一景物的两幅或多幅图像进行匹配、叠加的过程。它的主要目的是消除或减少基准图像和待校正图像之间由于成像条件不同所引起的几何形变，从而获得具有几何一致性（最佳空间位置匹配）的两幅图像。它在图像融合、多时相图像变化检测等领域都得到了广泛的应用。

英属哥伦比亚大学申请的专利“Method and apparatus for identifying scaleinvariant features in an image and use of same for locating an object in an image”（申请号：US09/519,893，公开号：US6711293B1）提出了一种构建SIFT特征描述子的方法。该方法通过对图像进行高斯滤波生成差分高斯尺度空间，然后在尺度空间上寻找极值点，并对极值点进行筛选找出稳定特征点，最后提取稳定特征点周围邻域局部特性，生成SIFT特征描述子。由于提取的SIFT特征具有尺度和旋转不变性，且对光照变化和视觉变化具有不变性，因而被成功应用于光学图像配准领域。该方法存在的不足之处在于，采用SIFT对SAR图像进行特征提取时，由于SAR图像存在大量的乘性斑点噪声，严重影响了根据图像灰度信息所提取到的特征点，使得检测到的稳定特征点数量减少，而在对特征点进行匹配时，图像中依赖特征点周围邻域灰度信息生成的特征向量相关性较差，使得错误匹配点对数量增加，因此SIFT方法不能为SAR图像配准提供大量且准确的特征匹配点对，从而导致配准失效或配准精度较低的情况。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于相位一致性和尺度不变特征转换SIFT的合成孔径雷达SAR图像配准方法，可以更好的滤除大量由于乘性斑点噪声引起的错误特征点，解决了现有技术中进行合成孔径雷达SAR图像配准时效果不好的问题。

实现本发明的思路是，首先提取参考图像和待配准图像的SIFT特征，然后利用相位一致性信息，双向匹配和匹配点对间距离比值相近原则对SIFT特征点进行筛选，最后采用最小二乘法，计算参考图像和待配准图像之间的仿射矩阵，得到待配准图像的几何形变参数，将待配准图像进行几何变换，得到配准结果。

实现本发明的具体步骤如下：

(1)输入两幅图像：

任选一幅作为参考图像，将另一幅作为待配准图像；

(2)提取SIFT特征：

(2a)生成参考图像和待配准图像的高斯差分尺度空间图像；

(2b)提取参考图像和待配准图像的特征点；

(2c)生成参考图像和待配准图像的特征点描述符；

(3)筛选特征点：

(3a)按照下式，计算高斯差分尺度空间图像像素点的相位一致性信息：

其中，P表示高斯差分尺度空间图像像素点的相位一致性信息，Σ(·)表示求和操作，n表示对数加伯Gabor滤波器尺度的标记，W表示频率扩展的权重系数，A_n表示对数加伯Gabor滤波器在第n尺度下的幅值，Δφ_n表示对数加伯Gabor滤波器在第n尺度下的相位偏移，ε表示避免分母为零而引入的小数，T表示对数加伯Gabor滤波器的噪声能量，表示仅取正值的运算操作；

(3b)特征点的相位一致性信息大于0.01时，则将该点作为候选特征点，滤除那些相位一致性小于0.01的特征点；

(4)滤除错误匹配点对：

(4a)采用双向匹配方法，滤除候选特征点中的错误特征点，得到参考图像和待配准图像的初始匹配点对集合；

(4b)根据匹配点对间距离比值相近原则，滤除初始匹配点对集合中的错误匹配点对；

(5)获得几何形变参数：

采用最小二乘法，计算参考图像和待配准图像之间的仿射矩阵，得到待配准图像的几何形变参数；

(6)得到配准结果：

利用得到的几何形变参数，将待配准图像进行几何变换，得到配准结果。

本发明与现有技术相比具有以下优点：

第一，由于本发明在对合成孔径雷达SAR图像配准的过程中，利用相位一致性信息对SIFT检测到的特征点进行筛选，克服了现有技术在提取特征点的过程中出现大量错误或不稳定特征点的不足，使得本发明提高了实测合成孔径雷达SAR图像配准的精度。

第二，由于本发明分别采用双向匹配和匹配点对间距离比值相近原则滤除错误匹配点，克服了现有技术仅采用最近邻方法时出现很多错误匹配点对的不足，使得本发明提高了对错误匹配点的滤除能力，增强了对噪声的鲁棒性。

附图说明

图1是本发明的流程图；

图2是本发明的仿真图；

具体实施方式

下面结合附图对本发明做进一步描述：

参照图1，本发明的实施步骤如下：

步骤1，输入两幅图像。

任选一幅作为参考图像，将另一幅作为待配准图像。

步骤2，提取SIFT特征。

生成参考图像和待配准图像的高斯差分尺度空间图像。

按下式计算得到参考图像和待配准图像的高斯差分尺度空间图像:

D_r＝[G_η-G_σ]*I_r

D_s＝[G_η-G_σ]*I_s

其中，D_r，D_s分别表示参考图像和待配准图像对应的高斯差分尺度空间图像，G_η，G_σ分别表示尺度参数为η和σ对应的高斯尺度空间图像，η,σ均表示高斯差分尺度空间的尺度参数，*表示二维卷积操作，I_r，I_s分别表示参考图像和待配准图像。

提取参考图像和待配准图像的特征点。

第一步，将高斯差分尺度空间图像，按金字塔形式排列，得到金字塔结构的高斯差分图像。

第二步，用金字塔结构的高斯差分图像中每一个像素点与其同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，若进行对比的像素点是其图像域和尺度域中的极大值或者极小值，则将该像素点作为特征点。

生成参考图像和待配准图像对应的特征点描述符。

第一步，利用图像差分方法，计算特征点邻域像素的梯度幅值和方向，统计邻域像素的方向得到方向直方图，从方向直方图中选取其峰值作为特征点的主方向。梯度的幅值和方向定义如下：

$\begin{array}{c}g=\sqrt{{(L_{x+1,y}-L_{x-1,y})}^2+{(L_{x,y+1}-L_{x,y-1})}^2}\\ \mathrm{\θ}=\arctan [(L_{x,y+1}-L_{x,y-1})/(L_{x+1,y}-L_{x-1,y})]\end{array}$

其中，g表示梯度幅值，θ表示梯度方向，L_x,y-1、L_x,y+1、L_x-1,y、L_x+1,y为尺度图像L_x,y上下左右四个邻域的灰度信息。

第二步，将参考图像和待配准图像的每个特征点的坐标轴，设置为与特征点主方向的坐标轴一致的方向。

第三步，以参考图像和待配准图像的特征点为中心，取该特征点周围邻域16×16的窗口，将所取的窗口分解成16个4×4的子窗口。

第四步，利用图像差分方法，计算每个子窗口内像素点的梯度幅值和方向；

第五步，将0°～44°、45°～89°、90°～134°、135°～179°、180°～224°、225°～269°、270°～314°、315°～359°的八个方向，作为8个梯度方向。

第六步，将每个子窗口内的像素点，按其梯度方向划分到所取的8个梯度方向内，将所有相同梯度方向上的像素点梯度幅值相加，将相加后的梯度幅值，作为每个梯度方向上的梯度幅值。

第七步，依次将16个子窗口获得的8个梯度方向上的梯度幅值，存放在一个128维的列矢量中，将该列矢量作为特征描述符。

步骤3：筛选特征点。

按照下式，计算高斯差分尺度空间图像像素点的相位一致性信息：

其中，P表示高斯差分尺度空间图像像素点的相位一致性信息，Σ(·)表示求和操作，n表示对数加伯Gabor滤波器的尺度标记，W表示频率扩展的权重系数，A_n表示对数加伯Gabor滤波器在第n尺度下的幅值，Δφ_n表示对数加伯Gabor滤波器在第n尺度下的相位偏移，ε为避免分母为零引入的小数，T表示对数加伯Gabor滤波器的噪声能量，表示该符号中的值为正，则为其本身，否则为0。

特征点的相位一致性信息大于0.01时，则将该点作为候选特征点，滤除那些相位一致性小于0.01的特征点。

步骤4：滤除错误匹配点对。

采用双向匹配方法，滤除候选特征点中的错误特征点，得到参考图像和待配准图像的初始匹配点对集合。

第一步，将参考图像和待配准图像所有特征点分别存放在集合M和Q中，对参考图像中的特征点与待配准图像特征点进行正向匹配，对待配准图像中的特征点与参考图像特征点进行逆向匹配。

第二步，正向匹配：从参考图像特征点集合M中任意选取一个特征点a，利用向量运算准则，计算特征点a与待配准图像特征点集合Q中所有特征点的欧式距离，将得到的欧式距离按从大到小排序，选取欧式距离最大值δ对应的待配准图像特征点b和欧式距离次最大值β对应的待配准图像特征点c，若δ＜0.8β，则将待配准图像特征点b作为与参考图像特征点a对应的匹配点。

第三步，逆向匹配：对于待配准图像中的特征点b，采用向量运算准则，计算特征点b与参考图像特征点集合M中所有特征点的欧式距离，将得到的欧式距离按从大到小排序，选取欧式距离最大值γ对应的参考图像特征点a和欧式距离次最大值λ对应的参考图像特征点d，若γ＜0.8λ，将参考图像特征点a作为与待配准图像特征点b对应的匹配点。

第四步，比较最大值δ与最大值γ的大小，若两者相等，将参考图像特征点a和待配准图像特征点b作为匹配点对。

第五步，遍历参考图像和待配准图像所有特征点，重复第二、第三、第四步，得到参考图像和待配准图像的初始匹配点对集合。

根据匹配点对间距离比值相近原则，滤除初始匹配点对集合中的错误匹配点对。

第一步，选取参考图像和待配准图像初始匹配点对集合Ψ={(u₁，v₁)，(u₂，v₂)，…，(u_k，v_k)，…)中任意一对匹配点(u_k，v_k)，分别计算参考图像特征点u_k与参考图像剩余特征点间的欧式距离、待配准图像特征点v_k与待配准图像剩余特征点间的欧式距离，其中，k表示匹配点对的标记符号。

第二步，用参考图像特征点uk与参考图像剩余特征点间的欧式距离，除以待配准图像特征点v_k与待配准图像剩余特征点间的欧式距离，得到欧式距离比向量。

第三步，将欧式距离比向量所有元素相加，用相加后的欧式距离比，除以欧式距离比向量的元素个数，得到欧式距离比平均值。

第四步，遍历参考图像和待配准图像中所有的匹配点对，重复第二和第三步，得到所有匹配点的距离比平均值，将距离比平均值按从大到小排序，从中选出距离比平均值的最大值ζ_max；

第五步，将距离比平均值大于0.93倍距离比平均值最大值ζ_max的第k对匹配点，作为正确匹配点对。

步骤5：获得几何形变参数。

采用最小二乘法，计算参考图像和待配准图像之间的仿射矩阵，得到待配准图像的几何形变参数。

步骤6：得到配准结果。

利用得到的几何形变参数，将待配准图像进行几何变换，得到配准结果。

下面结合实验仿真对本发明效果做进一步说明。

1.仿真条件：

本发明的仿真实验平台采用Intel(R)Core(TM)2CPU E63001.86GHz，内存为2GB，运行Windows7的PC机，编程语言为Matlab2011b和C语言。

2.仿真内容与结果分析：

图2为本发明的仿真图。图2(a)、2(b)为美国航空航天局，在互联网上公开的美国对地观测卫星Terra在不同时相、不同视角获取的成像数据，图像大小均为400×400，其中图2(a)作为本发明用于合成孔径雷达SAR图像配准的参考图像，图2(b)作为本发明用于合成孔径雷达SAR图像配准的待配准图像，图2(c)作为图2(a)和2(b)利用本发明得到的配准结果。从图2(c)可以看出，本发明得到的配准结果，与参考图像中的机场跑道等图像信息吻合，没有出现模糊。从表1可以看出，由于本发明剔除了大量的错误特征点，参考图像和配准后的待配准图像间的最小均方误差明显降低，提高了合成孔径雷达SAR图像配准的精度。在本发明得到的特征点数中，前面一个数字表示相位一致性筛选后的特征点数量，后面一个数字表示传统尺度不变特征转换SIFT方法得到的特征点数量。

表1本发明与传统SIFT方法比较结果

图2(d)和2(e)为宇宙航空研究开发机构，在互联网上公开的日本机载合成孔径雷达PISAR在不同极化方式获得的成像数据，其中图2(d)作为本发明用于合成孔径雷达SAR图像配准的参考图像，大小为576×522，图2(e)作为本发明用于合成孔径雷达SAR图像配准的待配准图像，大小为602×533，图2(f)作为图2(d)和2(e)利用本发明得到的配准结果。从图2(f)可以看出，本发明得到配准结果，与参考图像中的纹理信息基本吻合。从表2可以看出，本发明有效地去除了由斑点噪声引起的错误匹配点对，能够完成噪声比较大的合成孔径雷达SAR图像间配准，配准精度也低于1个像素，而传统的尺度不变特征转换SIFT方法由于引入较多的错误匹配点对，对图2(d)和2(e)的配准失效。在本发明得到的特征点数中，前面一个数字表示相位一致性筛选后的特征点数量，后面一个数字表示传统尺度不变特征转换SIFT方法得到的特征点数量。“--”表示用传统尺度不变特征转换SIFT方法对图2(d)和2(e)配准失效。

表2本发明与传统SIFT方法比较结果

图2(g)和2(h)为美国航空航天局，在互联网上公开的美国机载合成孔径雷达AIRSAR在不同波段获取的成像数据，其中图2(g)作为本发明用于合成孔径雷达SAR图像配准的参考图像，C波段，大小为376×391，图2(h)作为本发明用于合成孔径雷达SAR图像配准的待配准图像，L波段，大小为325×309，图2(i)作为图2(g)和2(h)利用本发明得到的配准结果。从图2(i)可以看出，本发明得到配准结果，与参考图像中的图像信息基本吻合。

表3本发明与传统SIFT方法比较结果

从表3可以看出，本发明有效地剔除了由斑点噪声引起的错误匹配点对，能够完成灰度差异较大的合成孔径雷达SAR图像间配准，具有较高的配准精度，而传统尺度不变特征转换SIFT方法由于引入较多的错误匹配点对，对图2(g)和2(h)的配准失效。在本发明得到的特征点数中，前面一个数字表示相位一致性筛选后的特征点数量，后面一个数字表示传统尺度不变特征转换SIFT方法得到的特征点数量。“--”表示用传统尺度不变特征转换SIFT方法对图2(g)和2(h)配准失效。

由以上三个实验仿真表明，本发明采用相位一致性信息、双向匹配和匹配点对间距离比值相近原则，剔除了SIFT特征中由斑点噪声引起的错误特征点以及错误匹配点对，有效的保证了匹配点对的正确率，解决了传统尺度不变特征转换SIFT应用于合成孔径雷达SAR图像配准失效或精度较低的问题。

Claims (6)

1.一种基于相位一致性和SIFT的SAR图像配准方法，包括如下步骤：

(1)输入两幅图像：

任选一幅作为参考图像，将另一幅作为待配准图像；

(2)提取SIFT特征：

(2a)生成参考图像和待配准图像的高斯差分尺度空间图像；

(2b)提取参考图像和待配准图像的特征点；

(2c)生成参考图像和待配准图像的特征点描述符；

(3)筛选特征点：

(3a)按照下式，计算高斯差分尺度空间图像像素点的相位一致性信息：

其中，P表示高斯差分尺度空间图像像素点的相位一致性信息，Σ(·)表示求和操作，n表示对数加伯Gabor滤波器尺度的标记，W表示频率扩展的权重系数，A_n表示对数加伯Gabor滤波器在第n尺度下的幅值，Δφ_n表示对数加伯Gabor滤波器在第n尺度下的相位偏移，ε表示避免分母为零而引入的小数，T表示对数加伯Gabor滤波器的噪声能量，表示仅取正值的运算操作；

(3b)特征点的相位一致性信息大于0.01时，则将该点作为候选特征点，滤除那些相位一致性小于0.01的特征点；

(4)滤除错误匹配点对：

(4a)采用双向匹配方法，滤除候选特征点中的错误特征点，得到参考图像和待配准图像的初始匹配点对集合；

(4b)根据匹配点对间距离比值相近原则，滤除初始匹配点对集合中的错误匹配点对；

(5)获得几何形变参数：

采用最小二乘法，计算参考图像和待配准图像之间的仿射矩阵，得到待配准图像的几何形变参数；

(6)得到配准结果：

利用得到的几何形变参数，将待配准图像进行几何变换，得到配准结果。

2.根据权利要求1所述的基于相位一致性和SIFT的SAR图像配准方法，其特征在于，步骤(2a)所述的生成参考图像和待配准图像的高斯差分尺度空间图像按下式计算得到：

D_r＝[G_η-G_σ]*I_r

D_s＝[G_η-G_σ]*I_s

其中，D_r，D_s分别表示参考图像和待配准图像的高斯差分尺度空间图像，G_η，G_σ分别表示尺度参数为η和σ的高斯尺度空间图像，η,σ表示高斯差分尺度空间的尺度参数，*表示二维卷积操作，I_r，I_s分别表示参考图像和待配准图像。

3.根据权利要求1所述的基于相位一致性和SIFT的SAR图像配准方法，其特征在于，步骤(2b)所述的提取参考图像和待配准图像特征点的步骤是：

第一步，将高斯差分尺度空间图像，按金字塔形式排列，得到金字塔结构的高斯差分图像；

第二步，用金字塔结构的高斯差分图像中每一个像素点与其所有邻域点比较，当进行对比的像素点是其图像域和尺度域中的极大值或者极小值时，将该像素点作为特征点。

4.根据权利要求1所述的基于相位一致性和SIFT的SAR图像配准方法，其特征在于，步骤(2c)所述的生成参考图像和待配准图像的特征点描述符的步骤如下：

第一步，利用图像差分方法，计算特征点邻域像素的梯度幅值和方向，统计邻域像素的方向，得到方向直方图，从方向直方图中选取其峰值作为特征点的主方向；

第二步，将参考图像和待配准图像的每个特征点的坐标轴，设置为与特征点主方向的坐标轴一致的方向；

第三步，以参考图像和待配准图像的特征点为中心，取该特征点周围邻域16×16的窗口，将所取的窗口分解成16个4×4的子窗口；

第四步，利用图像差分方法，计算每个子窗口内像素点的梯度幅值和方向；

第五步，将0°～44°、45°～89°、90°～134°、135°～179°、180°～224°、225°～269°、270°～314°、315°～359°的八个方向，作为8个梯度方向；

第六步，将每个子窗口内的像素点划归到与其方向一致的8个梯度方向内，将所有相同梯度方向上的像素点梯度幅值相加，将相加后的梯度幅值，作为每个梯度方向上的梯度幅值；

第七步，依次将16个子窗口获得的8个梯度方向上的梯度幅值，存放在一个128维的列矢量中，将该列矢量作为特征描述符。

5.根据权利要求1所述的基于相位一致性和SIFT的SAR图像配准方法，其特征在于，步骤(4a)所述的双向匹配方法的步骤如下：

第一步，将参考图像和待配准图像所有特征点分别存放在集合M和Q中，对参考图像中的特征点与待配准图像特征点进行正向匹配，对待配准图像中的特征点与参考图像特征点进行逆向匹配；

第二步，正向匹配：从参考图像特征点集合M中任意选取一个特征点a，利用向量运算准则，计算特征点a与待配准图像特征点集合Q中所有特征点的欧式距离，将得到的欧式距离按从大到小排序，选取欧式距离最大值δ对应的待配准图像特征点b和欧式距离次最大值β对应的待配准图像特征点c，若δ＜0.8β，则将待配准图像特征点b作为与参考图像特征点a的匹配点；

第三步，逆向匹配：对于待配准图像中的特征点b，采用向量运算准则，计算特征点b与参考图像特征点集合M中所有特征点的欧式距离，将得到的欧式距离按从大到小排序，选取欧式距离最大值γ对应的参考图像特征点a和欧式距离次最大值λ对应的参考图像特征点d，若γ＜0.8λ，将参考图像特征点a作为与待配准图像特征点b的匹配点；

第四步，比较最大值δ与最大值γ的大小，若两者相等，将参考图像特征点a和待配准图像特征点b作为匹配点对；

第五步，遍历参考图像和待配准图像所有特征点，重复第二、第三、第四步，得到参考图像和待配准图像的初始匹配点对集合。

6.根据权利要求1所述的基于相位一致性和SIFT的SAR图像配准方法，其特征在于，步骤(4b)所述的匹配点对间距离比值相近原则的步骤如下:

第一步，选取参考图像和待配准图像初始匹配点对集合Ψ={(u₁，v₁)(u₂，v₂)，...，(u_k，v_k)，…}中任意一对匹配点(u_k，v_k)，分别计算参考图像特征点u_k与参考图像剩余特征点间的欧式距离、待配准图像特征点v_k与待配准图像剩余特征点间的欧式距离，其中，k表示匹配点对的标记符号；

第二步，用参考图像特征点u_k与参考图像剩余特征点间的欧式距离，除以待配准图像特征点v_k与待配准图像剩余特征点间的欧式距离，得到欧式距离比向量；

第三步，将欧式距离比向量所有元素相加，用相加后的欧式距离比，除以欧式距离比向量的元素个数，得到欧式距离比平均值；

第四步，遍历参考图像和待配准图像中所有的匹配点对，重复第二和第三步，得到所有匹配点的距离比平均值，将距离比平均值按从大到小排序，从中选出距离比平均值的最大值ζ_max；

第五步，将距离比平均值大于0.93倍距离比平均值最大值ζ_max的第k对匹配点，作为正确匹配点对。