CN108230375A - 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 - Google Patents

Abstract

本发明公开了一种基于结构相似性快速鲁棒的可见光图像与SAR图像配准方法。首先使用有理多项式系数模型RPC对待配准的可见光图像与SAR图像进行粗配准；然后，使用改进的角点检测方法对可将光图像进行感兴趣点检测，再均匀的选择一定数量的感兴趣点作为控制点；再使用改进的方向Harris角点直方图HIOHC构造相似性度量在SAR图像中进行关键点匹配；再剔除明显的误匹配之后，使用最小二乘法LSM求得全局的转换矩阵并获得最终的配准结果。该方法突破了传统方法对于图像描述符的依赖，同时突破了传统方法对于不同数据源的敏感性，获得了较为理想的效果，实现了可见光图像与SAR图像的高精度配准，对于灾害监测、变化检测、损失估计等具有重要的现实意义。

Description

基于结构相似性快速鲁棒的可见光图像与SAR图像配准方法

技术领域

本发明涉及异源遥感图像配准方法，特别是一种快速、稳定的基于结构相似 性的可见光图像与SAR图像配准方法。

背景技术

随着地理信息技术的飞速发展，遥感传感器无论是在数据质量还是特性上都 有明显的提高，越来越多的遥感传感器被安装在遥感卫星上。根据遥感卫星的信 息的获取方式，遥感卫星可以简要分为两类，第一类是被动接受信息的光学传感 器，如GF1、Ikons等，另一类是主动获取信息的合成孔径雷达(SAR)传感器， 如GF3，TerraSAR-X等。SAR传感器可以发射微波信号并记录由地表发射的信号， 因此其可以穿透云、雨、雾等自然条件的干扰，是在灾害中唯一可能使用的遥感 传感器；然而，由于其特殊的成像方式，SAR图像存在一定的乘性相干斑早睡、 叠影等；相反，可见光传感器虽然只能接受自地表反射的太阳辐射，无法穿透云 雨等区域，但却能够对相关区域有较好的细节反应。因此，有效的利用两种传感器所生成的图像是十分重要的。近几年主要出现了如下两类图像配准方法：

(1)基于灰度的图像配准方法。该方法一般需要优化一个全局的目标函数， 该目标函数的解即为图像的几何变换模型参数。对于同源图像，主要有最小化图 像灰度的均方差(SSD)等；对于异源图像，主要有最大化图像间的互信息(MI) 等。

(2)基于点的图像配准方法。该方法首先需要提取参考图与感测图的关键 点，然后使用某种相似性度量标准对关键点进行匹配，最后获得图像的几何变换 模型参数。对于同源图像，主要有SIFT特征等，对于异源图像，主要有相位(PC) 特征等。

然而，对于可见光图像与SAR图像配准，基于MI或PC的方法都比较慢， 对于大画幅的遥感图像往往不适用，而且SAR图像具有一定的亮度、对比度等 的变化，导致现有配准方法很难获得理想的结果。

发明内容

本发明的目的在于提供一种快速、稳定的对亮度、对比度、旋转不敏感的异 源遥感图像配准方法。

实现本发明目的的技术解决方案为：一种基于结构相似性快速鲁棒的可见光 图像与SAR图像配准方法，包括以下步骤：

步骤1、使用有理多项式系数RPC模型对可见光图像与SAR图像进行粗配 准；

步骤2、在可见光图像中使用改进的角点检测算法检测控制点，并选择出均 匀分布的控制点；

步骤3、对可见光图像中的控制点使用改进的方向Harris角点直方图HIOHC 描述符在SAR图像中对应的搜索区域内匹配对应的控制点；

步骤4、去除存在匹配错误的点对；

步骤5、使用已经匹配好的点对估计一个误差最小的几何变换模型；

步骤6、使用估计好的几何转换模型对参考图像进行精配准。

与现有技术相比，本发明的显著优点：该方法首次使用角点信息构造结构信 息描述符，并改进了传统角点的权值，提出了角点方向的概念，通过使用角点信 息表达局部图像的结构信息，突破了传统方法对于图像描述符的依赖，同时突破 了传统方法对于不同数据源的敏感性，大幅提高了可见光与SAR图像配准精度。

附图说明

图1是本发明基于结构相似性快速鲁棒的可见光图像与SAR图像配准方法 的流程图。

图2是具体的配准过程图。

图3是部分可见光图像中检测出的控制点。

图4是使用HIOHC描述符在SAR图像中匹配出的对应于可见光图像控制 点的对应点。

图5是可见光图像与SAR图像成像结果的比较。

图6是本发明得到的配准结果示例图。

具体实施方式

下面结合附图对本发明作进一步描述。

结合图1，本发明的基于结构相似性快速鲁棒的可见光图像与SAR图像配 准方法，包括以下步骤：

步骤1、使用有理多项式系数RPC模型对可见光图像与SAR图像进行粗配 准；

步骤2、在可见光图像中使用改进的角点检测算法检测控制点，并选择出均 匀分布的控制点；

步骤3、对可见光图像中的控制点使用改进的方向Harris角点直方图HIOHC 描述符在SAR图像中对应的搜索区域内匹配对应的控制点；

步骤4、去除存在匹配错误的点对；

步骤5、使用已经匹配好的点对估计一个误差最小的几何变换模型；

步骤6、使用估计好的几何转换模型对参考图像进行精配准。

步骤1、使用有理多项式系数RPC模型对可见光图像与SAR图像进行粗配 准。其粗配准结果如图1所示。

步骤2、在可见光图像中使用改进的角点检测算法检测控制点，并选择出均 匀分布的控制点。可见光图像中的均匀分布的控制点如图2所示，其中红色点表 示检测出的控制点。

步骤3、对可见光图像中的控制点使用改进的方向Harris角点直方图HIOHC 描述符在SAR图像中对应的搜索区域内匹配对应的控制点。可见光图像中的对 应控制点如图3所示，其中红色点表示匹配出的控制点。

步骤4、去除存在匹配错误的点对。

步骤5、使用已经匹配好的点对估计一个误差最小的几何变换模型；

步骤6、使用估计好的几何转换模型对参考图像进行精配准。精配准结果如 图5所示。

步骤2中所述改进的角点检测算法的具体计算为：

首先将传统的Harris角点的变化函数做二阶泰勒展开，公式如下：

设α₁,α₂,α₃,α₄,α₅是矩阵M的5个特征值，且α₁最大，α₂次之，依次类推，则 新的角点响应函数定义为：

其中，角点的响应值为角点幅值。

步骤3中所述HIOHC局部结构特征描述符的具体构造方法为：

(1)在图像中选择一个具有特定大小的窗口，再使用改进的角点检测算法 计算窗口中每一个像素的角点幅值和方向；

(2)将窗口划分为相互重叠的块Block，每块包含m×m个单元格Cell， 每个单元格由n×n个像素Pixel组成，对每个单元格中的每个像素进行单元格直 方图累积；

(3)使用高斯函数对窗口中每一个像素的角点方向余量进行加权，方向余 量是指该像素的角点方向离散化后的小数部分，并累加进其所在的单元格直方 图；使用三线性插值法TIM对单元格直方图进行角点幅值加权，再对由单元格 直方图构成的整体直方图进行L2范数标准化；

(4)收集所有单元格直方图构成一个行向量作为最终的HIOHC局部结构 特征描述符。

步骤(1)中所述角点方向的具体计算方法为：使用构成角点的两条边的方 向的均值作为角点的方向。

步骤4中去除存在匹配错误的点对的规则为：

使用夹角余弦CA作为相似性度量，计算不同点对的相似性，若搜索区域 内存在两个或两个以上相同的最大相似性度量值，则删除该点对，若可见光图像 中所有的控制点都匹配完毕则执行步骤5，否则，返回执行步骤3；

所述搜索区域是指在经过步骤1后，可见光图像和SAR图像基本对齐，可 见光图像中的控制点在SAR图像中以相同坐标点为圆心半径为10的区域内，这 个区域为搜索区域。

步骤5所述使用已经匹配好的点对估计一个误差最小的几何变换模型的具 体方法为：

通过对点对使用最小二乘法LSM估计一个误差最小的仿射变换模型ATM， 再使用该模型对感测图像进行坐标转换，最终得到配准结果。

本发明以大画幅的可见光图像和SAR图像作为输入，通过RPC模型粗配准， 再使用HIHOC描述符进行进一步的精配准，进而得到最后的配准结果图。

本发明实施示例的流程如图1所示。

(1)使用RPC模型对可见光图像与SAR图像进行粗配准。其中可见光图 像大小为12000×13400的三波段数据，SAR图像大小为7427×6304到12349 ×33002的单极化数据。图4给出了可见光图像与SAR图像的成像区域比较。

(2)在可见光图像中使用改进的角点检测算法检测控制点，并选择出均匀 分布的控制点。图2为红色点为可见光图像中均匀分布的控制点。

(3)对可见光图像中的控制点使用改进的方向Harris角点直方图HIOHC 描述符在SAR图像中对应的搜索区域内匹配对应的控制点。图3为SAR图像中 对应的均匀分布的控制点。

(4)去除存在匹配错误的点对。

(5)使用已经匹配好的点对估计一个误差最小的几何变换模型。需要指出 的是，我们所使用的几何变换模型为仿射变换，其是由几个原子变换组合而成， 如平移、旋转、缩放、剪切等。

(6)由于可见光图像和SAR图像之间存在较大的异源差异性，如图4所示。 特别是图像灰度的变化是非常之大的，而传统的图像局部特征检测算子都一定程 度对图像的灰度变化、对比度变化、旋转有一定的敏感性。由于角点已经被证明 对图像亮度、旋转、对比度的变化不明感，为此，本发明通过使用角点构造局部 结构特征检测算子，对特征点进行匹配，得到最终精确地配准结果。

(7)图5给出了本发明的精配准结果，其中第一列为可见光图像，第二列 为SAR图像，第三列为本发明的配准结果。从图中可知：本发明在仅使用全局 仿射变换的情况下仍然可以获得与专家手工配准相近的配准结果；本发明在仅适 用少量剔除误匹配方法下仍然可以获得与专家手工配准相近的结果。本发明获得 的可见光图像与SAR图像配准的精度以及算法的稳定性、速度都优于现有的方 法，实现了可见光图像与SAR图像的全自动化、高精度配准，对后续的变化检 测、图像融合、灾害估计等地理应用提供了基础，具有十分重要的现实意义。

Claims (6)

1.一种基于结构相似性快速鲁棒的可见光图像与SAR图像配准方法，其特征在于包括以下步骤：

步骤1、使用有理多项式系数RPC模型对可见光图像与SAR图像进行粗配准；

步骤2、在可见光图像中使用改进的角点检测算法检测控制点，并选择出均匀分布的控制点；

步骤3、对可见光图像中的控制点使用改进的方向Harris角点直方图HIOHC描述符在SAR图像中对应的搜索区域内匹配对应的控制点；

步骤4、去除存在匹配错误的点对；

步骤5、使用已经匹配好的点对估计一个误差最小的几何变换模型；

步骤6、使用估计好的几何转换模型对参考图像进行精配准。

2.根据权利要求1所述的可见光图像与SAR图像配准方法，其特征在于：步骤2中所述改进的角点检测算法的具体计算为：

首先将传统的Harris角点的变化函数做二阶泰勒展开，公式如下：

设α₁,α₂,α₃,α₄,α₅是矩阵M的5个特征值，且α₁最大，α₂次之，依次类推，则新的角点响应函数定义为：

其中，角点的响应值为角点幅值。

3.根据权利要求1所述的可见光图像与SAR图像配准方法，其特征在于：步骤3中所述HIOHC局部结构特征描述符的具体构造方法为：

(1)在图像中选择一个具有特定大小的窗口，再使用改进的角点检测算法计算窗口中每一个像素的角点幅值和方向；

(2)将窗口划分为相互重叠的块Block，每块包含m×m个单元格Cell，每个单元格由n×n个像素Pixel组成，对每个单元格中的每个像素进行单元格直方图累积；

(3)使用高斯函数对窗口中每一个像素的角点方向余量进行加权，方向余量是指该像素的角点方向离散化后的小数部分，并累加进其所在的单元格直方图；使用三线性插值法TIM对单元格直方图进行角点幅值加权，再对由单元格直方图构成的整体直方图进行L2范数标准化；

(4)收集所有单元格直方图构成一个行向量作为最终的HIOHC局部结构特征描述符。

4.根据权利要求3所述的可见光图像与SAR图像配准方法，其特征在于：

步骤(1)中所述角点方向的具体计算方法为：使用构成角点的两条边的方向的均值作为角点的方向。

5.根据权利要求1所述的可见光图像与SAR图像配准方法，其特征在于：步骤4中去除存在匹配错误的点对的规则为：

使用夹角余弦CA作为相似性度量，计算不同点对的相似性，若搜索区域内存在两个或两个以上相同的最大相似性度量值，则删除该点对，若可见光图像中所有的控制点都匹配完毕则执行步骤5，否则，返回执行步骤3；

所述搜索区域是指在经过步骤1后，可见光图像和SAR图像基本对齐，可见光图像中的控制点在SAR图像中以相同坐标点为圆心半径为10的区域内，这个区域为搜索区域。

6.根据权利要求1所述的可见光图像与SAR图像配准方法，其特征在于：步骤5所述使用已经匹配好的点对估计一个误差最小的几何变换模型的具体方法为：

通过对点对使用最小二乘法LSM估计一个误差最小的仿射变换模型ATM，再使用该模型对感测图像进行坐标转换，最终得到配准结果。