CN115035326A - 一种雷达图像与光学图像精确匹配方法 - Google Patents

Abstract

本发明公开了一种雷达图像与光学图像精确匹配方法，包括以下步骤：S1、获取雷达图像及光学图像，并转化为灰度图像；S2、增加图像边缘信息；S3、ROWEA滑动窗口滤波；S4、分别对雷达图像和光学图像构建特征空间；S5、分别对雷达图像和光学图像进行极值点检测；S6、分别对雷达图像和光学图像的极值点进行特征描述；S7、将雷达图像和光学图像的极值点进行匹配；S8、进行极值点筛选，得到匹配图像。本发明构造基于像素点的特征空间进行极值点求解，同时实现雷达图像和光学图像极值点的筛选与匹配，从而达到雷达图像和光学图像的精确配准。

Description

一种雷达图像与光学图像精确匹配方法

技术领域

本发明属于雷达图像处理技术领域，特别涉及一种合成孔径雷达图像与光学图像的精确匹配方法。

背景技术

实现机载雷达图像与光学图像精确配准，对提高飞行导航系统定位能力、引导武器精确打击目标、实施空中警戒等具有重要意义。但由于常规图像匹配算法仅针对相同传感器图像之前的配准，无法实现异源传感器图像之间的精确配准；利用区域模板匹配可以实现图像配准，但由于光学图像和雷达图像成像机理不同、特征差异明显，造成区域匹配也比较困难。

图像匹配这一技术最早应用于例如飞行导航系统、武器投射系统等军事领域，之后国内外很多学者纷纷针对图像配准的应用开始了进一步的应用型研究。图像匹配主要分为三个方法，即基于图像变换域、基于像素灰度、基于特征的配准方法，下面主要介绍基于特征的配准方法：

基于特征的配准算法主要分为基于点、线、区域特征几类。其中点特征是近年来研究者们较为关注的方向，主要有边缘点特征、交叉点特征与角点特征等；线特征指的是图像的纹理边缘轮廓；区域特征指的是具有显著特征信息的目标闭环区域。基于特征提取常用的是点特征提取，主要的算子有Harris检测算子、SUSSUN算子、ORB算子等。LOWE在1999年首次提出尺度不变特征变换算法，之后学者们纷纷对尺度不变特征变换算法进行研究改进，2004年YAN等人通过将PCA引入尺度不变特征变换算法，2007年Bay等人提出了一种基于积分图的SURF算法，对SAR图像的噪声具有明显的抑制作用，但是该算法仍然具有局限性。

2010年杨雪梅等人通过优化尺度不变特征变换算法主方向以提升SAR与可见光图像配准精度，2013年张谦等人针对尺度不变特征变换误匹配问题，通过控制极值点数量和分布情况提高了配准精度，2015年罗宇提出一种基于空间约束的改进尺度不变特征变换算法，较大提升了配准的精度。2016年王辉等人提出基于NSST和FAST结合的配准算法，从而解决图像配准速度较慢的问题，却只针对同源图像问题，异源图像尤其是SAR图像与光学匹配效果不佳。

虽然国内外针对异源图像匹配提出了许多算法，但目前仍存在的主要问题和技术难点有：

(1)SAR图像几何畸变：山区等地面剧烈起伏的待处理区域普遍存在着透视收缩、叠掩、阴影等严重的几何畸变情况，这将会给以后的匹配操作带来一定难度。

(2)SAR图像的相干斑噪声：SAR图像固有的相干斑噪声易使大部分传统的图像处理算法结果不佳，甚至失效，因此，如何恰当去除SAR图像的相干斑噪声同时保持目标的基本特征成为一大难点。

(3)匹配算法实时性保证：由于异源图像匹配的最终目的是服务于后续图像融合、目标检测与识别等工作，因此，如何保证该匹配算法的实时性成为了一大难点。

发明内容

本发明的目的在于克服现有技术的不足，提供一种构造基于像素点的特征空间进行极值点求解，同时实现雷达图像和光学图像极值点的筛选与匹配，从而达到雷达图像和光学图像的精确配准的雷达图像与光学图像精确匹配方法。

本发明的目的是通过以下技术方案来实现的：一种雷达图像与光学图像精确匹配方法，包括以下步骤：

S1、获取雷达图像及光学图像，并转化为灰度图像，得到雷达图像灰度矩阵S(x,y)与光学图像灰度矩阵O(x,y)；x、y为图像中点的坐标；

S2、增加图像边缘信息：利用canny算子提取雷达图像和光学图像的边缘特性S_E(x,y)与O_E(x,y)，并计算雷达图像与光学图像之间的相关系数r，以此更新雷达图像灰度矩阵S(x,y)与光学图像灰度矩阵O(x,y)：

分别为雷达图像和光学图像的图像平均灰度值矩阵；

S3、采用加权指数平滑滤波器ROWEA进行滑动窗口滤波；

S4、分别对雷达图像和光学图像构建特征空间；

S5、分别对雷达图像和光学图像进行极值点检测；

S6、分别对雷达图像和光学图像的极值点进行特征描述；

S7、将雷达图像和光学图像的极值点进行匹配；

S8、进行极值点筛选，得到匹配图像。

进一步地，所述步骤S4具体实现方法为：构建如下特征空间：

R_SH(x,y|α)＝det(C_SH)-d_th×trace(C_SH)² (4)

其中，G_x,α、G_y,分别为水平方向和垂直方向上的梯度估计的对数；C_SH(x,y|α)是过渡矩阵，σ²是高斯核，

是高斯标准差，det(C_SH)为过渡矩阵的行列式，d_th是预设阈值，trace(C_SH)²表示秩的平方；通过将R_SH与阈值比较大小来判定极值点可能出现的位置：如果R_SH>阈值d_th，则该点为潜在极值点。

进一步地，所述步骤S5具体实现方法为：经过构建(4)式矩阵，生成与(4)相同的Laplace空间：

F(x,y|α)＝α²|L_xx(x,y|α)+L_yy(x,y|α)| (5)

L_xx(x,y|α)、L_yy(x,y|α)分别为x方向和y方向的拉普拉斯响应值；根据像素点的拉普拉斯响应值作为参考，通过峰值检测进行极值点检测；

由于Laplace空间是离散的，所以为了得出极值点精确位置需要进行插值操作：

其中，X代表连续空间坐标，X₀代表离散空间坐标，上标T是转置，G(X)是连续点空间响应值，G(X₀)是离散点空间响应值；对(6)式求偏导得：

利用ΔX对极值点坐标进行插值操作。

进一步地，所述步骤S6具体实现方法为：由邻域内像素点幅值和方向共同对极值点予以加权描述；首先，以极值点为中心将邻域以主方向角θ₁进行旋转，将主方向放在X轴上，旋转矩阵为：

邻域的大小由极值点所在空间层的尺度α决定，将邻域设置为高斯标准差的3倍，将0-360度的邻域平均分为36个子区域，每个子区域内横坐标代表梯度方向角，纵坐标为梯度幅值，每个子区域大小为m×m，每个子区域的直方图具有8个方向的梯度幅值，将这些梯度幅值按方向排列得到极值点的作为特征描述向量，每个子区域具有8×m×m维的特征描述向量。

进一步地，所述步骤S7具体实现方法为：在特征空间内，以特征向量的欧式距离衡量两个极值点的相似度，距离越近表示越相似，若值小于0.8则认为它们为正确的匹配点，称为局内点，否则为局外点：

(x₁,y₁)、(x₂,y₂)分别为雷达图像和光学图像上极值点的坐标。

进一步地，所述步骤S8具体实现方法为：雷达图像和光学图像之间的匹配关系为：

S(x,y)＝T((x,y),θ) (10)

其中，(x,y)是光学图像极值点，(x,y)代表雷达图像极值点，θ代表雷达图像旋转角度，T代表匹配模型；

分别从雷达图像和光学图像选取经过匹配的两组极值点{p¹,....,p^l}和{p¹,....,p^l}，l表示匹配的极值点总数量；将极值点用S6得到的特征描述向量表示，然后对两组极值点样本迭代地进行数据采样、最小二乘法拟合、一致集验证，生成最终的正确匹配点对集和由正确点对集拟合的仿射矩阵T(x_i,y_i)，并计算映射范数：

e(c_i,θ)＝||S(x_i,y_i)-T(x_i,y_i)θ|| (11)

其中，e(c_i,θ)为映射范数，该值越小说明图像匹配效果越好。

首先，为n个局内点选择一个模型T，并通过计算得到模型所有的未知参数；然后用该模型去测试局外点，如果某局外点的数据也适用于该模型，那么将该局外点也转为局内点；依此类推，如果有足够数量((l-n)/2)的局外点被转为局内点，那么选择的模型就是合适的；最后，利用所有的局内点对模型进行估算和误差分析，将以上过程重复操作l-n次，选取映射范数最小的模型为最佳模型，得到最佳仿射矩阵，然后利用最佳仿射矩阵对雷达图像和光学图像进行匹配。

本发明的有益效果是：本发明构造基于像素点的特征空间进行极值点求解，同时实现雷达图像和光学图像极值点的筛选与匹配，从而达到雷达图像和光学图像的精确配准。

附图说明

图1为本发明雷达图像与光学图像精确匹配方法的流程图；

图2为极值点特征描述示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种雷达图像与光学图像精确匹配方法，包括以下步骤：

S1、获取雷达图像及光学图像，并转化为灰度图像，得到雷达图像灰度矩阵S(x,y)与光学图像灰度矩阵O(x,y)；x、y为图像中点的坐标；

S2、增加图像边缘信息：利用canny算子提取雷达图像和光学图像的边缘特性S_E(x,y)与O_E(x,y)，并计算雷达图像与光学图像之间的相关系数r，以此更新雷达图像灰度矩阵S(x,y)与光学图像灰度矩阵O(x,y)：

分别为雷达图像和光学图像的图像平均灰度值矩阵；

S3、采用加权指数平滑滤波器ROWEA进行滑动窗口滤波；滑动窗口函数如下所示：

其中，ω为加权函数，I_x、I_y为图像x、y坐标的灰度；加窗后的灰度图像为：

其中，a、b为滑动窗口中心点的坐标，

为指数加权函数，α为尺度因子进行伸缩变换，W_1,α(i)是水平方向经过加窗后的灰度图像，W_2,α(i)是垂直方向上经过加窗后的灰度图像，R、R⁺是分别是左邻域和右邻域；

在ROEWA算子i方向上的比值为(算子的方向与灰度的方向不是同一个)：

i＝1或3；

S4、分别对雷达图像和光学图像构建特征空间：

R_SH(x,y|α)＝det(C_SH)-d_th×trace(C_SH)² (18)

其中，G_x,α、G_y,α为(16)式中的比值取对数后的结果，C_SH(x,y|α)是过渡矩阵，σ²是高斯核，

是高斯标准差，det(C_SH)为过渡矩阵的行列式，d_th是预设阈值，trace(C_SH)²表示秩的平方；通过将R_SH与阈值比较大小来判定极值点可能出现的位置：如果R_SH>阈值d_th，则该点为潜在极值点。

S5、分别对雷达图像和光学图像进行极值点检测；具体实现方法为：经过构建(18)式矩阵，生成与(18)相同的Laplace空间：

F(x,y|α)＝α²|L_xx(x,y|α)+L_yy(x,y|α)| (19)

L_xx(x,y|α)、L_yy(x,y|α)分别为x方向和y方向的拉普拉斯响应值；根据像素点的拉普拉斯响应值作为参考，通过峰值检测进行极值点检测：L_xx(x,y|α)、L_yy(x,y|α)是关于x，y的二元函数；分别求偏导得0的点并满足黑塞矩阵大于0的点为极值点；

由于Laplace空间是离散的，所以为了得出极值点精确位置需要进行插值操作：

其中，X代表连续空间坐标，X₀代表离散空间坐标，上标T是转置，G(X)是连续点空间响应值，G(X₀)是离散点空间响应值；对(20)式求偏导得：

利用ΔX对极值点坐标进行插值操作。

S6、分别对雷达图像和光学图像的极值点进行特征描述；具体实现方法为：由邻域内像素点幅值和方向共同对极值点予以加权描述；首先，以极值点为中心将邻域以主方向角θ₁进行旋转，将主方向放在X轴上，旋转矩阵为：

邻域的大小由极值点所在空间层的尺度α决定，将邻域设置为高斯标准差的3倍，将0-360度的邻域平均分为36个子区域，每个子区域内横坐标代表梯度方向角，纵坐标为梯度幅值，每个子区域大小为m×m，每个子区域的直方图具有8个方向的梯度幅值，如图2所示。将这些梯度幅值按方向排列得到极值点的作为特征描述向量，每个子区域具有8×m×m维的特征描述向量。

S7、将雷达图像和光学图像的极值点进行匹配；具体实现方法为：在特征空间内，以特征向量的欧式距离衡量两个极值点的相似度，距离越近表示越相似，若值小于0.8则认为它们为正确的匹配点，称为局内点，否则为局外点：

(x₁,y₁)、(x₂,y₂)分别为雷达图像和光学图像上极值点的坐标。

S8、进行极值点筛选，得到匹配图像；具体实现方法为：雷达图像和光学图像之间的匹配关系为：

S(x,y)＝T((x,y),θ) (24)

其中，S(x,y)是光学图像极值点(模板)，(x,y)代表雷达图像极值点，θ代表雷达图像旋转角度，T代表匹配模型。

分别从雷达图像和光学图像选取经过匹配的两组极值点{p¹,....,p^l}和{p¹,....,p^l}，l表示匹配的极值点总数量；将极值点用S6得到的特征描述向量表示，然后对两组极值点样本迭代地进行数据采样、最小二乘法拟合、一致集验证，生成最终的正确匹配点对集和由正确点对集拟合的仿射矩阵T(x_i,y_i)，并计算映射范数：

e(c_i,θ)＝||S(x_i,y_i)-T(x_i,y_i)θ|| (25)

其中，e(c_i,θ)为映射范数，该值越小说明图像匹配效果越好。

首先，为n(n<l)个局内点选择一个合适的模型T，并通过计算得到模型所有的未知参数；然后用该模型去测试局外点，如果某局外点的数据也适用于该模型，那么将该局外点也转为局内点；依此类推，如果有足够数量((l-n)/2)的局外点被转为局内点，那么选择的模型就是合适的；最后，利用所有的局内点对模型进行估算和误差分析，将以上过程重复操作l-n次，选取映射范数最小的模型为最佳模型，得到最佳仿射矩阵，然后利用最佳仿射矩阵对雷达图像和光学图像进行匹配。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种雷达图像与光学图像精确匹配方法，其特征在于，包括以下步骤：

S1、获取雷达图像及光学图像，并转化为灰度图像，得到雷达图像灰度矩阵S(x,y)与光学图像灰度矩阵O(x,y)；x、y为图像中点的坐标；

S2、增加图像边缘信息：利用canny算子提取雷达图像和光学图像的边缘特性S_E(x,y)与O_E(x,y)，并计算雷达图像与光学图像之间的相关系数r，以此更新雷达图像灰度矩阵S(x,y)与光学图像灰度矩阵O(x,y)：

分别为雷达图像和光学图像的图像平均灰度值矩阵；

S3、采用加权指数平滑滤波器ROWEA进行滑动窗口滤波；

S4、分别对雷达图像和光学图像构建特征空间；

S5、分别对雷达图像和光学图像进行极值点检测；

S6、分别对雷达图像和光学图像的极值点进行特征描述；

S7、将雷达图像和光学图像的极值点进行匹配；

S8、进行极值点筛选，得到匹配图像。

2.根据权利要求1所述的一种雷达图像与光学图像精确匹配方法，其特征在于，所述步骤S4具体实现方法为：构建如下特征空间：

R_SH(x,y|α)＝det(C_SH)-d_th×trace(C_SH)² (4)

其中，G_x,α、G_y,α分别为水平方向和垂直方向上的梯度估计的对数；C_SH(x,y|α)是过渡矩阵，σ²是高斯核，

是高斯标准差，det(C_SH)为过渡矩阵的行列式，d_th是预设阈值，trace(C_SH)²表示秩的平方；通过将R_SH与阈值比较大小来判定极值点可能出现的位置：如果R_SH>阈值d_th，则该点为潜在极值点。

3.根据权利要求2所述的一种雷达图像与光学图像精确匹配方法，其特征在于，所述步骤S5具体实现方法为：经过构建(4)式矩阵，生成与(4)相同的Laplace空间：

F(x,y|α)＝α²|L_xx(x,y|α)+L_yy(x,y|α)| (5)

L_xx(x,y|α)、L_yy(x,y|α)分别为x方向和y方向的拉普拉斯响应值；根据像素点的拉普拉斯响应值作为参考，通过峰值检测进行极值点检测；

由于Laplace空间是离散的，所以为了得出极值点精确位置需要进行插值操作：

其中，X代表连续空间坐标，X₀代表离散空间坐标，上标T是转置，G(X)是连续点空间响应值，G(X₀)是离散点空间响应值；对(6)式求偏导得：

利用ΔX对极值点坐标进行插值操作。

4.根据权利要求1所述的一种雷达图像与光学图像精确匹配方法，其特征在于，所述步骤S6具体实现方法为：由邻域内像素点幅值和方向共同对极值点予以加权描述；首先，以极值点为中心将邻域以主方向角θ₁进行旋转，将主方向放在X轴上，旋转矩阵为：

邻域的大小由极值点所在空间层的尺度α决定，将邻域设置为高斯标准差的3倍，将0-360度的邻域平均分为36个子区域，每个子区域内横坐标代表梯度方向角，纵坐标为梯度幅值，每个子区域大小为m×m，每个子区域的直方图具有8个方向的梯度幅值，将这些梯度幅值按方向排列得到极值点的作为特征描述向量，每个子区域具有8×m×m维的特征描述向量。

5.根据权利要求1所述的一种雷达图像与光学图像精确匹配方法，其特征在于，所述步骤S7具体实现方法为：在特征空间内，以特征向量的欧式距离衡量两个极值点的相似度，距离越近表示越相似，若值小于0.8则认为它们为正确的匹配点，称为局内点，否则为局外点：

(x₁,y₁)、(x₂,y₂)分别为雷达图像和光学图像上极值点的坐标。

6.根据权利要求1所述的一种雷达图像与光学图像精确匹配方法，其特征在于，所述步骤S8具体实现方法为：雷达图像和光学图像之间的匹配关系为：

S(x,y)＝T((x,y),θ) (10)

其中，(x,y)是光学图像极值点，(x,y)代表雷达图像极值点，θ代表雷达图像旋转角度，T代表匹配模型；

分别从雷达图像和光学图像选取经过匹配的两组极值点{p¹,....,p^l}和{p¹,....,p^l}，l表示匹配的极值点总数量；将极值点用S6得到的特征描述向量表示，然后对两组极值点样本迭代地进行数据采样、最小二乘法拟合、一致集验证，生成最终的正确匹配点对集和由正确点对集拟合的仿射矩阵T(x_i,y_i)，并计算映射范数：

e(c_i,θ)＝||S(x_i,y_i)-T(x_i,y_i)θ|| (11)

其中，e(c_i,θ)为映射范数，该值越小说明图像匹配效果越好。

首先，为n个局内点选择一个模型T，并通过计算得到模型所有的未知参数；然后用该模型去测试局外点，如果某局外点的数据也适用于该模型，那么将该局外点也转为局内点；依此类推，如果有足够数量((l-n)/2)的局外点被转为局内点，那么选择的模型就是合适的；最后，利用所有的局内点对模型进行估算和误差分析，将以上过程重复操作l-n次，选取映射范数最小的模型为最佳模型，得到最佳仿射矩阵，然后利用最佳仿射矩阵对雷达图像和光学图像进行匹配。

Images