CN103679714A - 一种基于梯度互相关的光学和sar图像自动配准方法 - Google Patents

Abstract

一种基于梯度互相关的光学和SAR图像自动配准方法，（1）调整两幅经系统级几何校正的光学图像和SAR图像的分辨率一致；（2）提取光学图像的角点，并将光学图像划分网格，保留每个网格里角点响应最强的点作为特征点；（3）分别计算光学图像和SAR图像的梯度图像，并对SAR图像的梯度图像进行滤波；（4）分别以每个特征点为中心，在光学图像的梯度图像上确定参考区域；在SAR图像的梯度图像上确定搜索区域；在搜索区域采用归一化互相关准则进行滑动窗模板匹配，得到最佳匹配点；（5）从最佳匹配点中筛选正确的匹配点，得到同名点；（6）根据同名点，拟合光学图像和SAR图像之间的变换关系；（7）利用上述变换关系对SAR图像进行变换，得到配准后的图像。

Description

一种基于梯度互相关的光学和SAR图像自动配准方法

技术领域

本发明属于异源遥感图像配准领域，适用于光学和SAR图像配准。

背景技术

不同波段的电磁波获取的地物特性不同，SAR图像纹理信息丰富，光学图像光谱信息更符合人类解译，因此为了获取完整的地物信息，通常需要对光学和SAR图像进行融合，在进行图像融合之前，图像配准是必需的关键步骤。

SAR和光学成像机理不同，图像间存在较为严重的灰度变化，图像配准的难度较大。现阶段，光学和SAR图像配准的方法可以分为两类：（1）基于灰度信息的方法：利用互相关、互信息等相似性度量准则计算图像之间的变换关系。光学和SAR图像之间灰度差异较大，直接运用互相关或互信息效果不佳。（2）基于不变特征的方法：提取图像中稳定的点、线、面特征，形成不受几何和灰度变化影响的描述子向量，然后根据距离度量准则得到同名点，进而计算图像间变换关系实现图像配准。光学和SAR图像之间灰度差异较大，通常提取边缘作为图像之间的共性特征。但梯度图像二值化形成边缘强烈依赖于阈值的选取，人工干预强，自动配准受影响。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于梯度互相关的光学和SAR图像自动配准方法，该方法无需人工设定阈值，能够自动配准光学和SAR图像。

本发明的技术解决方案是：一种基于梯度互相关的光学和SAR图像自动配准方法，步骤如下：

（1）将两幅经系统级几何校正的光学图像和SAR图像，根据图像附带的分辨率信息，调整两幅图像的分辨率一致；

（2）在上述光学图像上提取特征点；

（3）分别计算光学图像和SAR图像的梯度图像，并对SAR图像的梯度图像进行滤波；

（4）分别以步骤（2）中的每个特征点为中心，在光学图像的梯度图像上确定参考区域；在步骤（3）滤波后的SAR图像的梯度图像上确定搜索区域；在搜索区域采用归一化互相关准则进行滑动窗模板匹配，得到最佳匹配点；

（5）从步骤（4）得到的最佳匹配点中筛选正确的匹配点，得到同名点；

（6）根据步骤（5）中得到的同名点，拟合光学图像和SAR图像之间的变换关系；

（7）利用上述变换关系对SAR图像进行变换，得到配准后的图像。

所述（2）的实现步骤如下：首先提取上述光学图像的角点，然后将光学图像划分网格，保留每个网格里角点响应最强的点作为特征点。

本发明与现有技术相比有益效果为：针对现有方法的问题，本发明提出了一种自动配准方法，基于光学和SAR的梯度图像，利用互相关方法实现同名点匹配。该方法避免了边缘匹配时阈值的选取问题，实现了自动配准；通过划分网格保留角点响应最强的特征点，既加快了计算速度，又确保了同名点分布均匀；同时，相比原始灰度图像互相关，梯度图像互相关更能刻画不同场景的相异性，衡量相近场景的相似性，能够获得更多同名点，更加适合灰度属性差异较大的光学和SAR图像配准。

附图说明

图1为角点筛选示意图；

图2为四个方向梯度值计算示意图；

图3为滑动窗模板匹配示意图；

图4为乡村场景同名点结果图；

图5a为乡村场景配准结果图，5b为局部放大图；

图6为城市场景同名点结果图；

图7a为城市场景配准结果图，7b为局部放大图；

图8为本发明方法流程图。

具体实施方式

下面结合附图对本发明做详细说明，一种基于梯度互相关的光学和SAR图像自动配准方法，如图8所示，步骤如下：

（1）将两幅经系统级几何校正的光学图像和SAR图像，根据图像附带的分辨率信息，调整两幅图像的分辨率一致；

根据光学和SAR二级产品图像（经系统级几何校正）携带的分辨率信息，将SAR图像降采样，使其分辨率与光学图像一致，消除两幅图像间的尺度差异，这样两幅图像间仅剩下系统级几何校正后残留的平移和轻微的旋转变换。

（2）提取上述光学图像的角点，并将光学图像划分网格，保留每个网格里角点响应最强的点作为特征点；

在光学图像上，利用Harris算子提取角点。因原始角点数量较多，为加快后续模板匹配速度，仅保留其中一部分。图像配准要求同名点在图像中均匀分布，因此，将图像划分网格（如网格大小100*100，网格大小是可调参数），每个网格内保留角点响应最强的点为特征点，如图1所示。如图像大小为2000*2000，则可以保留400个点，能够满足后续拟合变换模型时同名点的数量要求。

（3）分别计算光学图像和SAR图像的梯度图像，并对SAR图像的梯度图像进行滤波；

利用Sobel算子计算光学图像的梯度图像；利用ROA（Ratio of Average）算子计算SAR图像的梯度图像，因SAR图像存在斑点噪声，因此需对梯度图像平滑滤波，去除噪声。

Sobel算子的计算公式如式（1）：

$\begin{array}{cc}{I}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]*I& I_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]*I\end{array}---\left(1\right)$

式中，I为原始图像，I_x为x方向梯度图像，I_y为y方向梯度图像，*代表卷积，则Sobel算子计算得到的光学图像的梯度图像dI为

$\mathrm{dI}=\sqrt{I_x^2+I_y^2}---\left(2\right)$

SAR图像中斑点噪声为乘性噪声，通常的梯度计算方法针对的是加性噪声，因此Sobel等算子不适合计算SAR图像的梯度图像，一般采用ROA算子。首先设定像素邻域大小（如5*5），计算四个方向的梯度值，如图2和公式（3）所示，w_i表示白色部分像素的灰度值，N表示像素个数（邻域窗口大小为5*5时，N为2），b_i为黑色部分像素的灰度值，d_k为第k个方向的梯度值，min(·)表示白色像素之和与黑色像素之和的比值的最小值。最后取四个方向的最大值即为ROA算子计算得到的梯度值，如公式（4）所示。

dI=max(d_k)  k={0°,45°,90°,135°}    (4)

（4）分别以步骤（2）中的每个特征点为中心，在光学图像的梯度图像上确定参考区域，将参考区域对应的图像称为参考图像；在步骤（3）滤波后的SAR图像的梯度图像上确定搜索区域；在搜索区域采用归一化互相关准则进行滑动窗模板匹配，得到最佳匹配点；

以步骤2中确定的特征点O_i为中心，在光学梯度图像上确定参考区域（如257*257）；设O_i在SAR梯度图像上对应位置为S_i，则以S_i为中心，在SAR梯度图像上确定比参考区域范围更大的搜索区域（如513*513），采用归一化互相关准则进行滑动窗模板匹配，搜索相关系数最大的点，即为匹配点。根据公式（5）计算归一化互相关系数：

$C(u,v)=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}[T(x,y)-{\mathrm{\μ}}_T][S(x-u,y-v)-{\mathrm{\μ}}_{S(u,v)}]}{\sqrt{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{[T(x,y)-{\mathrm{\μ}}_T]}^2\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{[S(x,y)-{\mathrm{\μ}}_{S(u,v)}]}^2}}---\left(5\right)$

其中，T(x,y)为参考图像上点(x,y)处的灰度值，μ_T为参考图像的均值，S(x,y)为搜索图像上点(x,y)处的灰度值，μ_S(u,v)表示中心像素为上点(u,v)处搜索图像的均值，(u,v)为滑动窗的中心像素。图3给出了滑动窗模板匹配的示意图，其中参考图像大小为(m₁,n₁)，搜索窗口大小为(m₂,n₂)，中心像素在四个圆点确定的范围内移动，得到(m₂-m₁+1)*(n₂-n₁+1)幅图像，分别与参考图像计算归一化互相关系数，系数最大的图像对应的中心点即为最佳匹配点。

（5）从步骤（4）得到的最佳匹配点中筛选正确的匹配点，得到同名点；

采用随机采样一致性算法(RANdom Sample Consensus,RANSAC)算法筛选正确的匹配点，即同名点。RANSAC基于假设检验的原理，通过迭代能有效的去除错误匹配点(外点)，筛选出正确匹配点(内点)。假定有n对匹配点，首先随机抽选m对点，拟合出匹配点集间的变换模型M，m为计算模型参数所需的最小点数，如一次多项式模型需要3对点；然后计算剩下的n-m对匹配点相对于模型M的残差，若残差小于指定的内点判别阈值A，则称该对匹配点符合该模型；最后得到符合该模型的匹配点数。重复该过程直到满足收敛条件，有最多匹配点数的模型保留下来，符合该模型的匹配点即为筛选出的内点。其中，收敛条件为k次采样至少有一次全是内点的概率不小于η。设ε为内点概率，收敛条件满足

(1-ε^m)^k<1-η    (6)

迭代次数满足

k>ln(1-η)/ln(1-ε^m)    (7)

（6）根据步骤（5）中得到的同名点，拟合光学图像和SAR图像之间的变换关系；

基于第五步中的同名点，采用最小二乘法，拟合两幅图像之间的变换关系。设(x,y)为待配准图像上的点，其在参考图像上对应的同名点为(x′,y′)，设两幅图像间的变换关系为一次多项式，如公式所示

$\left\{\begin{array}{c}{x}^{\&prime;}=\mathrm{ax}+\mathrm{by}+e\\ y^{\&prime;}=\mathrm{cx}+\mathrm{dy}+f\end{array}\right.---\left(8\right)$

设经RANSAC筛选后得到n对同名点，则同名点之间的关系可以由公式表示，而变换系数可以由公式得到

AX=B    (9)

$A=\left[\begin{array}{cccccc}{x}_1& y_1& 0& 0& 1& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ x_n& y_n& 0& 0& 1& 1\\ 0& 0& x_1& y_1& 1& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& x_n& y_n& 1& 1\end{array}\right]X=\left[\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\end{array}\right]B=\left[\begin{array}{c}{x}_1^{\&prime;}\\ .\\ .\\ .\\ x_n^{\&prime;}\\ y_1^{\&prime;}\\ .\\ .\\ .\\ y_n^{\&prime;}\end{array}\right]---\left(10\right)$

X=(A^TA)^-1A^TB    (11)

（7）利用上述变换关系对SAR图像进行变换，得到配准后的图像。

方法验证

为了验证本发明的有效性，针对乡村和城市两种不同场景分别进行实验。其中，光学图像来自国产资源卫星ZY-02C，分辨率5m，图像大小为2000*2000；SAR图像来自加拿大卫星RADARSAT-II，分辨率为3m，图像大小为2000*2000。

将配准后的光学图像和SAR图像拼合显示，通过图像上边缘的连通性可以定性判断配准效果；采用均方根误差（Root Mean Square Error）可以定量衡量配准效果。下面给出两组具有代表性的实验，第一组图像为江苏省吴江市乡村场景，第二组为北京市城市场景。

（1）乡村场景

如表1所示，采用梯度互相关法得到119对同名点，同名点分布见图4，可以看出，同名点数量充足，分布均匀，精度较高；基于同名点分别统计x方向和y方向均方根误差，分别为0.28个像元和0.21个像元。图5a为棋盘显示结果图，图5b为图5a白色框对应的局部放大图，可以看出边缘连接性较好，配准结果较为理想。

表1江苏省吴江市乡村场景实验结果

同名点数量	x方向均方根误差	y方向均方根误差
			119	0.28	0.21

（2）城市场景

如表2所示，采用梯度互相关法得到442对同名点，同名点分布见图6，可以看出，同名点数量充足，分布均匀，精度较高；基于同名点分别统计x方向和y方向均方根误差，分别为0.77个像元和0.67个像元。图7a为棋盘显示结果图，图7b为图7a白色框对应的局部放大图，可以看出边缘连接性较好，配准结果较为理想。

表2北京市城市场景实验结果

同名点数量	x方向均方根误差	y方向均方根误差
			442	0.77	0.67

（3）小结

采用本发明所提的基于梯度互相关的图像配准方法，无论是乡村场景还是城市场景，均可以达到亚像素精度。总体而言，因为SAR是侧视成像，图像中存在透视伸缩、叠掩等特有现象，而且成像方向不同时，光学和SAR图像阴影区域的方向和范围均不同，所以，相比地势平坦的乡村地区，城市地区建筑物密集，配准难度相对较高，配准精度相对较低。

本发明未详细说明部分属于本领域技术人员公知常识。

Claims (2)

1.一种基于梯度互相关的光学和SAR图像自动配准方法，其特征在于步骤如下：

（1）将两幅经系统级几何校正的光学图像和SAR图像，根据图像附带的分辨率信息，调整两幅图像的分辨率一致；

（2）在上述光学图像上提取特征点；

（3）分别计算光学图像和SAR图像的梯度图像，并对SAR图像的梯度图像进行滤波；

（4）分别以步骤（2）中的每个特征点为中心，在光学图像的梯度图像上确定参考区域；在步骤（3）滤波后的SAR图像的梯度图像上确定搜索区域；在搜索区域采用归一化互相关准则进行滑动窗模板匹配，得到最佳匹配点；

（5）从步骤（4）得到的最佳匹配点中筛选正确的匹配点，得到同名点；

（6）根据步骤（5）中得到的同名点，拟合光学图像和SAR图像之间的变换关系；

（7）利用上述变换关系对SAR图像进行变换，得到配准后的图像。

2.根据权利要求1所述的一种基于梯度互相关的光学和SAR图像自动配准方法，其特征在于：所述（2）的实现步骤如下：首先提取上述光学图像的角点，然后将光学图像划分网格，保留每个网格里角点响应最强的点作为特征点。

Images