CN110246165A - 提高可见光图像与sar图像配准速度的方法及系统 - Google Patents

Abstract

本发明涉及一种提高可见光图像与SAR图像配准速度的方法，包括：对可见光图像及SAR图像进行预处理；对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取；根据提取的特征点，构造描述子并计算描述子之间的相似度；根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现；根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。本发明还涉及一种提高可见光图像与SAR图像配准速度的系统。本发明复杂度不高，在显著提高配准速度的同时没有降低图像的配准精度，具有重要的实际应用价值。

Description

提高可见光图像与SAR图像配准速度的方法及系统

技术领域

本发明涉及一种提高可见光图像与SAR图像配准速度的方法及系统。

背景技术

目前，对可见光图像与SAR(Synthetic Aperture Radar，合成孔径雷达)图像的有效配准、融合至关重要，有很多学者在研究这个问题。其意义在于：可见光图像具有直观易理解、图像内容丰富、目标结构特征明显、分辨率高、视场角大、纹理丰富、能够反映建筑物等目标的结构信息等优点；同时又存在易受光照和云雾等因素影响、受季节、阴影等条件影响较大等缺点。而SAR图像在某些方面具有和可见光成像优势互补的方面，SAR雷达可以全天时、全天候成像、不受光照和天气等条件影响、具有多极化和一定的透射能力，分辨率具有距离和方向、可穿透伪装遮挡物等诸多优点；但是SAR图像存在分辨率低、侧视成像、目标细节模糊、需要目视解译、探测目标不够广泛等缺点。故实现两种类型图像之间的优势互补是非常必要的。

近年来，针对可见光图像与SAR图像的异源图像配准技术一直在不断发展。江晟等人提出了多模态特征的方法，优化现有同源图像的配准融合算法。许斌等人提出一种多特征匹配的可见光与SAR图像配准算法，首先在低分辨率尺度下利用基于SIFT特征的方法求取初始变换，然后在原始分辨率下借助初始变换的引导在SAR图像上提取直线、区域等结构特征并完成与可见光图像相应特征的精确匹配。Merkle等人聚焦于SAR和可见光图像中的环形线等几何特征模板，并采用基于强度的方法进行匹配。Salehpour和Behrad提出了一种利用二元鲁棒不变可伸缩关键点特征之间的局部和全局几何关系进行光学SAR共配的分层方法。虽然这些方法都取得了自动、鲁棒的结果，但也存在不可忽视的局限性。首先，目前使用的特征检测器检测到的特征重复率略低。其次，由于算法复杂度高，以上方法都存在运行效率低的缺点。另外，很多人提出基于SIFT改进的配准方法，比如SIFT与图像分割、互信息等相结合的方法，虽然配准精度有所改善，但是不能很好的兼顾高精度和高效率。

目前，可见光图像和SAR图像在配准过程中，主要采用的是经典的SIFT(尺度不变特征变换)方法，该方法于1999年由David Lowe首次提出，该方法具有稳定性、准确性、高速性等特点，被广泛用于同源图像的配准工作中。但是对异源图像进行配准时，该算子存在运行速度慢、配准精度低、稳定性差等问题。

综上所述，目前对于可见光图像和SAR图像异源图像配准技术在精度方面研究进展较多，而针对配准速度的研究工作相对较少，航天技术领域对图像处理速度的需求日益增加，研究出高速度的异源图像配准方法具有很重要的应用价值。

发明内容

有鉴于此，有必要提供一种提高可见光图像与SAR图像配准速度的方法及系统。

本发明提供一种提高可见光图像与SAR图像配准速度的方法，该方法包括如下步骤：a.对可见光图像及SAR图像进行预处理；b.对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取；c.根据提取的特征点，构造描述子并计算描述子之间的相似度；d.根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现；e.根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。

其中，所述的步骤a具体包括：

对于可见光图像，采用高斯低通滤波器进行滤波；

对于SAR图像，采用NLM方法进行滤波。

所述的步骤b具体包括：

采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算，得到可见光图像及SAR图像梯度大小和方向；

采用多尺度Harris函数构造尺度空间，通过在尺度空间中寻找局部极大值的方式来提取特征点。

所述的步骤c具体包括如下步骤：

以特征点为中心，将坐标轴旋转到主方向以确保旋转不变性，选用半径为{6α_i,8α_i,10α_i}的圆形区域进行图像中各区域的描述子建立，按照SIFT描述子的计算方法计算灰度梯度直方图；采用基于K-D树的改进BBF算法计算描述子之间的相似度。

所述的步骤d具体包括：

对可见光图像及SAR图像分别提取描述子相似度较高的描述子，记录上述相似度较高的描述子在矩阵中的坐标(i,j)，分别判断坐标(i,j)在图像去冗余过程中被剔除的行数N_i和列数N_j，用新的坐标信息(i+N_i,j+N_j)取代原坐标(i,j)，分别更新上述相似度较高的描述子的信息，完成去冗余之后图像的复原，将用来配准的特征点在原图中进行复现。

本发明提供一种提高可见光图像与SAR图像配准速度的系统，该系统包括该系统包括预处理模块、计算提取模块、相似度计算模块、特征点复现模块以及配准模块，其中：所述预处理模块用于对可见光图像及SAR图像进行预处理；所述计算提取模块用于对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取；所述相似度计算模块用于根据提取的特征点，构造描述子并计算描述子之间的相似度；所述特征点复现模块用于根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现；所述配准模块用于根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。

其中，所述的预处理模块具体用于：

对于可见光图像，采用高斯低通滤波器进行滤波；

对于SAR图像，采用NLM方法进行滤波。

所述的计算提取模块具体用于：

采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算，得到可见光图像及SAR图像梯度大小和方向；

采用多尺度Harris函数构造尺度空间，通过在尺度空间中寻找局部极大值的方式来提取特征点。

所述的相似度计算模块具体用于：

以特征点为中心，将坐标轴旋转到主方向以确保旋转不变性，选用半径为{6α_i,8α_i,10α_i}的圆形区域进行图像中各区域的描述子建立，按照SIFT描述子的计算方法计算灰度梯度直方图；采用基于K-D树的改进BBF算法计算描述子之间的相似度。

所述的特征点复现模块具体用于：

对可见光图像及SAR图像分别提取描述子相似度较高的描述子，记录上述相似度较高的描述子在矩阵中的坐标(i,j)，分别判断坐标(i,j)在图像去冗余过程中被剔除的行数N_i和列数N_j，用新的坐标信息(i+N_i,j+N_j)取代原坐标(i,j)，分别更新上述相似度较高的描述子的信息，完成去冗余之后图像的复原，将用来配准的特征点在原图中进行复现。

本发明采用自主设计的图像预处理以及利用去冗余之后的图像对原始图像进行特征点复现。首先图像预处理阶段：采用基于聚类的非局部滤波方法对两种不同类型的图像进行去噪。其中非局部滤波算法能很好的抑制SAR图像中的散斑噪声，同时在非局部滤波的基础上引入聚类的思想提高滤波算法的效率。同时对滤波之后的图像进行一定规则的去冗余，减少后续提取关键点等步骤中繁琐的计算过程，降低算法的时间复杂度。对原始图像进行特征点复现阶段：基于反馈机制，将用于待匹配的特征点在去冗余之后的图像中所在的位置与去冗余过程中记录的冗余信息比较，有效计算出待匹配的特征点在原始图像中的实际位置，从而完成原始图像中六对特征点的复现。本发明计算复杂度不高，实验表明本发明在显著提高配准速度的同时没有降低图像的配准精度，具有重要的实际应用价值。

附图说明

图1为本发明提高可见光图像与SAR图像配准速度的方法的流程图；

图2(a)-图2(e)为本发明实施例去冗余(图2(a)-图2(c))以及图像复现(图2(d)-图2(e))示意图；

图3为本发明实施例基于SIFT算法改进的SIFT-M算法效果示意图；

图4为本发明算法的效果示意图；

图5为本发明算法配准结果示意图；

图6为基于SIFT算法改进的SIFT-M算法与本发明实施例算法的运行时间对比图；

图7为本发明提高可见光图像与SAR图像配准速度的系统的硬件架构图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明提高可见光图像与SAR图像配准速度的方法较佳实施例的作业流程图。

步骤S1，对可见光图像及SAR图像进行预处理。具体而言：

首先，采用基于聚类的非局部滤波方法对可见光图像及SAR图像这两种不同类型的图像进行去噪。本实施例中，在5*5的局部区域中，以当前像素点(x₀,y₀)为中心，利用与邻域中像素点(x_i,y_i)的灰度值I_i的差值为数据点进行非均匀聚类。采用如公式(1)所示的方法,(x₀,y₀)为当前像素点所在位置，(x_i,y_i)为邻域中像素点所在位置，W(x_i,y_i)为权值归一化指数函数，距离聚类中心点越近的像素点，其灰度值差值δ越小，以聚类中心为圆心，以δ＝2(2为阈值，通过调整得到)为半径画圆，圆内的像素点不参与运算，取δ＞2的像素点进行公式(1)的计算：

基于聚类的非局部滤波方法跟局部均值滤波方法相比，降低了非局部滤波算法的复杂度，在更好的处理SAR图像的斑点噪声的同时，能够更好的保留图像的细节特征。

然后，对滤波之后的可见光图像及SAR图像进行一定规则的去冗余，规则如下：首先将灰度图像转为矩阵表示|I_(i,j)|_m,n，其中(i,j)分别为行标、列标，计算矩阵中每行每列中灰度值I_(i,j)的中值I_median，统计每行每列中|I_(i,j)-I_median|＜ε的个数α_(i,j)，在本实施例中，阈值ε取5，α_i(0＜i＜m)，α_j(0＜j＜m)降序排列；取前η*mn个α对应的行i列j进行剔除，完成图像去冗余操作，在本实施例中，η取0-0.5之间，且可以通过观察图像进行调整。

步骤S2，对预处理后的可见光图像及SAR图像进行梯度计算以及特征点提取。具体而言：

首先，对预处理后的可见光图像及SAR图像进行梯度计算：

首先对预处理之后的新图像采用Sobel算子进行梯度计算，模板如公式(2)所示：

使用上述两个模板与图像的灰度值I(x,y)进行卷积即可得到水平和垂直方向的梯度值。考虑长度不变特性，故采用多尺度Sobel算子，如公式(3)所示：

其中，分别为水平方向、垂直方向的梯度，表示α_i对应的高斯核函数，*表示卷积，可见光图像和SAR图像采用的尺度一一对应，并满足因此梯度大小和方向的计算公式如公式(4)所示：

然后，在得到可见光图像及SAR图像梯度大小和方向后，构建尺度空间提取特征点：本实施例采用多尺度Harris函数构造尺度空间，利用计算局部极大值的方式提取每一层的候选关键点，并进行非极大值抑制。多尺度Harris函数如下述公式所示：

R(α_i)＝det(M(α_i))-d·tr(M(α_i))² (8)

其中，α_i为图像的尺度；g为高斯核函数；为尺度α_i在水平和垂直方向的梯度；d为任意参数；det表示矩阵行列式的值；tr表示矩阵的迹；R表示尺度空间。然后通过在Harris尺度空间中寻找局部极大值的方式来提取特征点。

步骤S3，根据提取的特征点，构造描述子并计算描述子之间的相似度。具体而言：

本实施例采用GLOH(梯度位置方向直方图)描述子进行描述子的建立。首先，以特征点为中心，将坐标轴旋转到主方向以确保旋转不变性。然后选用半径为{6α_i,8α_i,10α_i}的圆形区域进行图像中各区域的描述子建立。将圆形区域规定为8个角度方向，描述子将检测到的兴趣区域按照径向和角度划分为17个位置块。最后，按照SIFT(尺度不变特征变换)描述子的计算方法计算灰度梯度直方图，方向被量化在16个块中，一个块中有16维数据用来表示方向，故17个位置块中共构成272维矢量，得到一个特征向量，从而构成描述子。

然后采用基于K-D树的改进BBF算法计算描述子之间的相似度，与K-D树匹配的方法相比，该算法具有较高的搜索效率，大大降低了算法的复杂度。该算法主要用于高维数据的处理，主要改进了基于K-D树的回溯过程。

步骤S4，根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现。具体而言：

在本实施例中，对可见光图像及SAR图像分别提取描述子相似度排在前六名的六对描述子之后，分别记录描述子在矩阵中的坐标(i,j)，分别判断(i,j)坐标在图像去冗余过程中被剔除的行数N_i和列数N_j，用新的坐标信息(i+N_i,j+N_j)取代原坐标(i,j)，分别更新六对描述子的信息，完成去冗余之后图像的复原，将用来配准的特征点在原图中进行复现，用更新之后的描述子进行两幅图像的匹配。

步骤S5：根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。具体包括：

利用复原到原始图像中的六对特征点估计仿射变换模型的参数，利用该模型对两幅异源图像进行校正。

本发明中采用的按照一定规则图像去冗余以及原始图像中特征点复现的处理过程如图2(a)-图2(e)所示。本发明与基于SIFT算法改进的SIFT-M算法进行比较，基于SIFT-M算法的特征点匹配效果如图3所示，基于本发明中的算法得到的特征点匹配效果如图4所示。由图3和图4对比发现，本发明在减少了配准特征点对情况下未降低图像的配准效果。基于本发明的图像配准结果如图5所示。另外，对SIFT-M算法和本发明中采用的算法进行了运行时间的对比，如图6所示。由此可见，基于本发明的算法进行光SAR异源图像配准时运行时间有显著的减少，算法运行效率更高。

参阅图7所示，是本发明提高可见光图像与SAR图像配准速度的系统10的硬件架构图。该系统包括：预处理模块101、计算提取模块102、相似度计算模块103、特征点复现模块104以及配准模块105。

所述预处理模块101用于对可见光图像及SAR图像进行预处理。具体而言：

首先，所述预处理模块101采用基于聚类的非局部滤波方法对可见光图像及SAR图像这两种不同类型的图像进行去噪。本实施例中，在5*5的局部区域中，以当前像素点(x₀,y₀)为中心，利用与邻域中像素点(x_i,y_i)的灰度值I_i的差值为数据点进行非均匀聚类。采用如公式(1)所示的方法,(x₀,y₀)为当前像素点所在位置，(x_i,y_i)为邻域中像素点所在位置，W(x_i,y_i)为权值归一化指数函数，距离聚类中心点越近的像素点，其灰度值差值δ越小，以聚类中心为圆心，以δ＝2(2为阈值，通过调整得到)为半径画圆，圆内的像素点不参与运算，取δ＞2的像素点进行公式(1)的计算：

基于聚类的非局部滤波方法跟局部均值滤波方法相比，降低了非局部滤波算法的复杂度，在更好的处理SAR图像的斑点噪声的同时，能够更好的保留图像的细节特征。

然后，所述预处理模块101对滤波之后的可见光图像及SAR图像进行一定规则的去冗余，规则如下：首先将灰度图像转为矩阵表示|I_(i,j)|_m,n，其中(i,j)分别为行标、列标，计算矩阵中每行每列中灰度值I_(i,j)的中值I_median，统计每行每列中|I_(i,j)-I_median|＜ε的个数α_(i,j)，在本实施例中，阈值ε取5，α_i(0＜i＜m)，α_j(0＜j＜m)降序排列；取前η*mn个α对应的行i列j进行剔除，完成图像去冗余操作，在本实施例中，η取0-0.5之间，且可以通过观察图像进行调整。

所述计算提取模块102用于对预处理后的可见光图像及SAR图像进行梯度计算以及特征点提取。具体而言：

首先，所述计算提取模块102对预处理后的可见光图像及SAR图像进行梯度计算：

首先对预处理之后的新图像采用Sobel算子进行梯度计算，模板如公式(2)所示：

使用上述两个模板与图像的灰度值I(x,y)进行卷积即可得到水平和垂直方向的梯度值。考虑长度不变特性，故采用多尺度Sobel算子，如公式(3)所示：

其中，分别为水平方向、垂直方向的梯度，表示α_i对应的高斯核函数，*表示卷积，可见光图像和SAR图像采用的尺度一一对应，并满足因此梯度大小和方向的计算公式如公式(4)所示：

然后，所述计算提取模块102在得到可见光图像及SAR图像梯度大小和方向后，构建尺度空间提取特征点：本实施例采用多尺度Harris函数构造尺度空间，利用计算局部极大值的方式提取每一层的候选关键点，并进行非极大值抑制。多尺度Harris函数如下述公式所示：

R(α_i)＝det(M(α_i))-d·tr(M(α_i))²(8)

其中，α_i为图像的尺度；g为高斯核函数；为尺度α_i在水平和垂直方向的梯度；d为任意参数；det表示矩阵行列式的值；tr表示矩阵的迹；R表示尺度空间。然后通过在Harris尺度空间中寻找局部极大值的方式来提取特征点。

所述相似度计算模块103用于根据提取的特征点，构造描述子并计算描述子之间的相似度。具体而言：

本实施例采用GLOH(梯度位置方向直方图)描述子进行描述子的建立。首先，以特征点为中心，将坐标轴旋转到主方向以确保旋转不变性。然后选用半径为{6α_i,8α_i,10α_i}的圆形区域进行图像中各区域的描述子建立。将圆形区域规定为8个角度方向，描述子将检测到的兴趣区域按照径向和角度划分为17个位置块。最后，按照SIFT描述子的计算方法计算灰度梯度直方图，方向被量化在16个块中，一个块中有16维数据用来表示方向，故17个位置块中共构成272维矢量，得到一个特征向量，从而构成描述子。

然后采用基于K-D树的改进BBF算法计算描述子之间的相似度，与K-D树匹配的方法相比，该算法具有较高的搜索效率，大大降低了算法的复杂度。该算法主要用于高维数据的处理，主要改进了基于K-D树的回溯过程。

所述特征点复现模块104用于根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现。具体而言：

在本实施例中，对可见光图像及SAR图像分别提取描述子相似度排在前六名的六对描述子之后，分别记录描述子在矩阵中的坐标(i,j)，分别判断(i,j)坐标在图像去冗余过程中被剔除的行数N_i和列数N_j，用新的坐标信息(i+N_i,j+N_j)取代原坐标(i,j)，分别更新六对描述子的信息，完成去冗余之后图像的复原，将用来配准的特征点在原图中进行复现，用更新之后的描述子进行两幅图像的匹配。

所述配准模块105用于根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。具体包括：

利用复原到原始图像中的六对特征点估计仿射变换模型的参数，利用该模型对两幅异源图像进行校正。

本发明中采用的按照一定规则图像去冗余以及原始图像中特征点复现的处理过程如图2(a)-图2(e)所示。本发明与基于SIFT算法改进的SIFT-M算法进行比较，基于SIFT-M算法的特征点匹配效果如图3所示，基于本发明中的算法得到的特征点匹配效果如图4所示。由图3和图4对比发现，本发明在减少了配准特征点对情况下未降低图像的配准效果。基于本发明的图像配准结果如图5所示。另外，对SIFT-M算法和本发明中采用的算法进行了运行时间的对比，如图6所示。由此可见，基于本发明的算法进行光SAR异源图像配准时运行时间有显著的减少，算法运行效率更高。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (10)

1.一种提高可见光图像与SAR图像配准速度的方法，其特征在于，该方法包括如下步骤：

a.对可见光图像及SAR图像进行预处理；

b.对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取；

c.根据提取的特征点，构造描述子并计算描述子之间的相似度；

d.根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现；

e.根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。

2.如权利要求1所述的方法，其特征在于，所述的步骤a具体包括：

对于可见光图像，采用高斯低通滤波器进行滤波；

对于SAR图像，采用NLM方法进行滤波。

3.如权利要求2所述的方法，其特征在于，所述的步骤b具体包括：

采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算，得到可见光图像及SAR图像梯度大小和方向；

采用多尺度Harris函数构造尺度空间，通过在尺度空间中寻找局部极大值的方式来提取特征点。

4.如权利要求3所述的方法，其特征在于，所述的步骤c具体包括如下步骤：

以特征点为中心，将坐标轴旋转到主方向以确保旋转不变性，选用半径为{6α_i,8α_i,10α_i}的圆形区域进行图像中各区域的描述子建立，按照SIFT描述子的计算方法计算灰度梯度直方图；采用基于K-D树的改进BBF算法计算描述子之间的相似度。

5.如权利要求4所述的方法，其特征在于，所述的步骤d具体包括：

对可见光图像及SAR图像分别提取描述子相似度较高的描述子，记录上述相似度较高的描述子在矩阵中的坐标(i,j)，分别判断坐标(i,j)在图像去冗余过程中被剔除的行数N_i和列数N_j，用新的坐标信息(i+N_i,j+N_j)取代原坐标(i,j)，分别更新上述相似度较高的描述子的信息，完成去冗余之后图像的复原，将用来配准的特征点在原图中进行复现。

6.一种提高可见光图像与SAR图像配准速度的系统，其特征在于，该系统包括预处理模块、计算提取模块、相似度计算模块、特征点复现模块以及配准模块，其中：

所述预处理模块用于对可见光图像及SAR图像进行预处理；

所述计算提取模块用于对预处理后的可见光图像与SAR图像进行梯度计算以及特征点提取；

所述相似度计算模块用于根据提取的特征点，构造描述子并计算描述子之间的相似度；

所述特征点复现模块用于根据计算得到的描述子之间的相似度，对原始的可见光图像及SAR图像进行特征点复现；

所述配准模块用于根据复原到原始的可见光图像及SAR图像的特征点，对所述可见光图像与SAR图像进行配准。

7.如权利要求6所述的系统，其特征在于，所述的预处理模块具体用于：

对于可见光图像，采用高斯低通滤波器进行滤波；

对于SAR图像，采用NLM方法进行滤波。

8.如权利要求7所述的系统，其特征在于，所述的计算提取模块具体用于：

采用Canny算子对预处理后的可见光图像及SAR图像进行梯度计算，得到可见光图像及SAR图像梯度大小和方向；

采用多尺度Harris函数构造尺度空间，通过在尺度空间中寻找局部极大值的方式来提取特征点。

9.如权利要求8所述的系统，其特征在于，所述的相似度计算模块具体用于：

以特征点为中心，将坐标轴旋转到主方向以确保旋转不变性，选用半径为{6α_i,8α_i,10α_i}的圆形区域进行图像中各区域的描述子建立，按照SIFT描述子的计算方法计算灰度梯度直方图；采用基于K-D树的改进BBF算法计算描述子之间的相似度。

10.如权利要求9所述的系统，其特征在于，所述的特征点复现模块具体用于：

对可见光图像及SAR图像分别提取描述子相似度较高的描述子，记录上述相似度较高的描述子在矩阵中的坐标(i,j)，分别判断坐标(i,j)在图像去冗余过程中被剔除的行数N_i和列数N_j，用新的坐标信息(i+N_i,j+N_j)取代原坐标(i,j)，分别更新上述相似度较高的描述子的信息，完成去冗余之后图像的复原，将用来配准的特征点在原图中进行复现。