CN114596343A - 面向复杂地面场景的跨模态遥感图像智能多尺度配准方法 - Google Patents

Abstract

本发明公开了一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，属于航天遥感图像处理和计算机视觉技术领域。本发明一方面通过对模态可对齐的结构进行对齐、对模态间难以对齐的结构进行过滤，提高了跨模态遥感图像表征相似度量的鲁棒性；另一方面通过采取由粗到细的多级匹配策略，有效避免对区域内每个像素进行搜索，提升搜索效率，同时也避免过强的先验区域的方法导致的漏匹配现象。本发明通过以上两方面实现了高效获取跨模态遥感图像间高精度的像素级匹配。

Description

面向复杂地面场景的跨模态遥感图像智能多尺度配准方法

技术领域

本发明属于航天遥感图像处理和计算机视觉技术领域，涉及一种跨模态遥感图像表征学习及基于表征相似度的图像配准方法，具体涉及一种面向复杂地面场景的跨模态遥感图像的智能多尺度配准方法。

背景技术

航天遥感技术是地球空间信息获取的重要手段。新型传感器不断涌现，地球空间信息收集已从过去的依赖单一传感器发展到现在同时利用多种类型的传感器，以获取不同分辨率、不同时相以及不同光谱属性的多模态遥感影像。这些多模态影像反映了地物的不同属性，能够为地表观测和分析提供互补信息。因此，如何充分集成这些多模态遥感影像，提供地表更全面的观测和更综合的分析对于各类遥感应用至关重要。其中最为关键的基础工作是面向复杂地面场景的跨模态图像配准技术，该技术是众多遥感应用与分析，如跨模态图像融合、地物目标识别、变化检测、3D重建、遥感定量信息分析的关键预处理环节，配准精度会对后续的众多遥感应用产生十分重要的影响。

现有的跨模态遥感图像配准方法，通常使用传统的手工描述子提取多模态图像特征用于后续配准工作。具体分为基于特征的方法和基于区域的方法。基于特征的方法首先进行特征检测，分别从基准图像与浮动图像中检测出两组特征点及对应特征描述子，再根据特征描述子进行匹配(《基于特征点与边界信息的全自动多模态遥感图像配准方法》[J].国土资源遥感,2014)。由于多模态图像间巨大的灰度和纹理差异，这些手工设计的局部描述子无法准确提取模态间不变的特征，从而不能得到高精度的匹配结果。同时，遥感图像上存在大量的的噪声，一些点会被错误地检测为关键点，极大影响了跨模态遥感图像的配准精度。基于区域的方法也称为模版匹配，其通过计算主副图中对应模板窗口内图像块的相似程度，选择相似程度最大的一对模板窗口作为匹配结果。基于区域的方法对噪声和非线性的灰度差异敏感，且匹配速度较慢。随着深度学习的广泛应用，研究者开始提出使用风格转换网络对齐不同模态图像，解决模态差异问题。其将多模态图像转换为风格一致的图像，再进行传统的匹配流程。这类方法引入了额外的风格转换网络，因此进一步增大了传统方法的计算量，降低了方法实用性；另外，风格转换网络未针对配准方法对特征的需求进行转换，因此仍然不能有效地去除特征描述子中的模态差异，反而可能引入大量噪声，影响后续匹配。较新的基于深度学习的方法使用孪生卷积网络计算两个图像块间的相似程度，学习得到的特征描述子对非线性灰度值差异更具鲁棒性，使其在跨模态遥感图像的匹配中初步显示了自身的优势。然而，由于现有的基于深度学习的方法设计简单，未显示处理复杂地面场景下模态间难以对齐的特征，从而影响了相似性程度的计算；另外，这些方法未考虑高精度像素级配准精度对精细、大范围搜索的需求所导致的高计算量问题，因此难以高效地获得高精度的配准结果。

针对上述现状，为提高跨模态遥感图像配准在复杂地面场景下的配准精度和速度，本发明提出一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法。首先从跨模态遥感数据的表征差异为切入点，提出基于模态差异表征对齐、模态冗余信息过滤的跨模态图像间表征相似度量方法，获得地物场景类别、模态表征差异以及数据采集噪声鲁棒的相似度量；在此基础上，针对跨模态图像中场景复杂、区域位移场范围不同以及配准速度慢等问题，提出多尺度分辨率下的金字塔型配准网络架构，实现全局到局部像素级别快速精确配准的图像配准方法。

发明内容

为了克服现有技术的不足，本发明提供了一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，即通过对跨模态遥感图像之间的表征差异的学习与处理，得到去除冗余信息的、对齐的不同模态数据的特征，再使用渐进式多尺度匹配策略，从全局到局部逐步精细配准，获得精确有效的匹配。

本发明以对光学遥感图像(以下简称光学图像)与合成孔径雷达(SyntheticAperture Radar)遥感图像(以下简称SAR图像)进行配准为例，具体技术方案为：

一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，包括如下步骤：

第一步，对待配准的光学图像和SAR图像分别提取多个分辨率的特征图，得到各自的特征金字塔。

第二步，依次执行选择特征图、确定匹配范围、构建匹配体以及在匹配范围内计算区域级相似度得分。

第三步，执行跨模态遥感数据表征差异鲁棒的相似性得分计算，增强跨模态可对齐区域、抑制模态间难以对齐区域；在空间维度上融合过滤后的区域级相似度得分，并计算得到最佳匹配位置。

第四步，从最低尺度特征图开始，遍历特征金字塔，重复第二步和第三步，直至金字塔的最高尺度特征图。

本发明的有益效果是：本发明提出了一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，实现了从全局到局部的鲁棒、快速的跨模态遥感图像像素级精确配准。本发明具有以下优势：

(1)提出一种跨模态遥感数据表征差异鲁棒的相似性度量方法，以任务本身的相似性度量目标，对模态可对齐的结构进行对齐，利于模态间一致结构的匹配；利用学习得到的结构注意力对模态间难以对齐的结构进行过滤，避免这些冗余信息对匹配造成误导。该方式有效降低模态间不一致的信息或噪声的影响并利用模态间不变的结构信息进行配准，提高跨模态遥感图像配准的鲁棒性。

(2)提出一种端到端的面向复杂地面场景的跨模态遥感图像智能配准方法。该框架通过采取由粗到细的多级匹配策略，利用多尺度的金字塔特征，先全局粗搜索，逐步定位区域，再精细搜索。有效避免了对区域内每个像素进行搜索，同时也避免过强的先验区域的方法导致的漏匹配现象。

附图说明

图1为本发明的整体流程图。

图2为本发明的配准结果图。

具体实施方式

本发明基于面向复杂地面场景的跨模态遥感图像智能配准方法，通过搜索模态1图像在模态2图像上的位置，对模态1与模态2的图像进行配准，从而可以充分利用两个模态包含的不同信息进行地球空间信息分析及应用。以一对光学图像与SAR图像的配准为例，具体实施方案如下：

第一步，采用结构相同、权重不共享的二维卷积网络分别对光学图像和SAR图像进行特征提取，并分别得到光学图像的多尺度特征金字塔

(形状为

H_o、W_o分别为光学图像的高和宽，C为特征数量)和SAR图像的多尺度特征金字塔

(形状为

H_s、W_s分别为SAR图像的高和宽)，其中i为尺度索引，l为金字塔层数。

第二步，依次执行选择特征图、确定匹配范围、构建匹配体以及在匹配范围内计算区域级相似度得分。具体步骤如下：

步骤2.1：在两个特征金子塔中分别选择光学图像特征图

SAR图像特征图

(初次执行，选择最低尺度的光学图像特征图

和SAR图像特征图

)。

步骤2.2：以上一次匹配结果

为中心点，在其周围二维区域内[-k，k]范围内选取候选匹配位置，得到N＝(2k+1)²个候选匹配位置。初次执行，以

位置为左上角起点，在n×n区域内选择N＝n²个候选匹配位置。

步骤2.3：以所有N个候选匹配位置为左上角起点，在

上裁取与

大小相同的光学特征块，并分别将N个光学特征块在特征维度C上与SAR图像特征图

相级联，构建出形状为

的匹配体，其中H_s、W_s分别为SAR图像的高和宽。

步骤2.4：将步骤2.3构建的匹配体送入多层二维卷积网络中，输出形状为

的张量，该张量代表SAR图像特征图上每个点在每个候选匹配位置下的相似度得分，即区域级相似度得分。

第三步，执行跨模态遥感数据表征差异鲁棒的相似性得分计算，增强跨模态可对齐区域、抑制模态间难以对齐区域；在空间维度上融合过滤后的区域级相似度得分，并计算得到最佳匹配位置。具体步骤如下：

步骤3.1：将光学图像特征图

送入到显著性信息检测模块中，输出结构注意力图，大小为

该结构注意力图用于对模态间难以对齐的数据点进行过滤。将结构注意力图与区域级相似度得分进行相乘，增强已对齐模态差异的特征区域，抑制难以对齐的特征区域。

步骤3.2：将过滤后的区域级相似度得分在

与

两个维度上求和，得到N个候选匹配位置的N个相似度得分。

步骤3.3：使用softmax函数对N个相似度得分进行归一化得到{p_c}，其中c∈{0，1，...，N-1}为候选匹配位置索引，并依据此得分计算得到当前阶段的匹配结果

计算方式如下：

其中s_c代表第c个候选匹配位置坐标，为二维。

则此阶段得到的最佳匹配位置为

第四步，从i＝l-1开始遍历特征金字塔，重复第二步、第三步，直至金字塔的最后一层特征，即i＝0得到最终匹配位置

Claims (5)

1.一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，其特征在于，包括如下步骤：

第一步，对待配准的光学图像和SAR图像分别提取多个分辨率的特征图，得到各自的特征金字塔；

第二步，依次执行选择特征图、确定匹配范围、构建匹配体以及在匹配范围内计算区域级相似度得分；

第三步，执行跨模态遥感数据表征差异鲁棒的相似性得分计算，增强跨模态可对齐区域、抑制模态间难以对齐区域；在空间维度上融合过滤后的区域级相似度得分，并计算得到最佳匹配位置；

第四步，从最低尺度特征图开始，遍历特征金字塔，重复第二步和第三步，直至金字塔的最高尺度特征图。

2.根据权利要求1所述的一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，其特征在于，所述第一步中，采用结构相同、权重不共享的二维卷积网络分别对光学图像和SAR图像进行特征提取，并分别得到光学图像的多尺度特征金字塔

和SAR图像的多尺度特征金字塔

其中i为尺度索引，l为金字塔层数；所述光学图像的多尺度特征金字塔的形状为

SAR图像的多尺度特征金字塔的形状为

其中H_o、W_o分别为光学图像的高和宽，H_s、W_s分别为SAR图像的高和宽，C为特征数量。

3.根据权利要求1或2所述的一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，其特征在于，所述第二步的具体步骤如下：

步骤2.1：在两个特征金子塔中分别选择光学图像特征图

SAR图像特征图

其中，初次执行，选择最低尺度的光学图像特征图

和SAR图像特征图

步骤2.2：以上一次匹配结果

为中心点，在其周围二维区域内[-k,k]范围内选取候选匹配位置，得到N＝(2k+1)²个候选匹配位置；初次执行，以

位置为左上角起点，在n×n区域内选择N＝n²个候选匹配位置；

步骤2.3：以所有N个候选匹配位置为左上角起点，在

上裁取与

大小相同的光学特征块，并分别将N个光学特征块在特征维度C上与SAR图像特征图

相级联，构建出形状为

的匹配体；

步骤2.4：将步骤2.3构建的匹配体送入多层二维卷积网络中，输出形状为

的张量，该张量代表SAR图像特征图上每个点在每个候选匹配位置下的相似度得分，即区域级相似度得分。

4.根据权利要求1或2所述的一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，其特征在于，所述第三步的具体步骤如下：

步骤3.1：将光学图像特征图

送入到显著性信息检测模块中，输出结构注意力图，大小为

该结构注意力图用于对模态间难以对齐的数据点进行过滤；将结构注意力图与区域级相似度得分进行相乘，增强已对齐模态差异的特征区域，抑制难以对齐的特征区域；

步骤3.2：将过滤后的区域级相似度得分在

与

两个维度上求和，得到N个候选匹配位置的N个相似度得分；

步骤3.3：使用softmax函数对N个相似度得分进行归一化得到{p_c}，其中c∈{0,1,…,N-1}为候选匹配位置索引，并依据此得分计算得到当前阶段的匹配结果

计算方式如下：

其中，s_c代表第c个候选匹配位置坐标，为二维；

则此阶段得到的最佳匹配位置为

5.根据权利要求3所述的一种面向复杂地面场景的跨模态遥感图像智能多尺度配准方法，其特征在于，所述第三步的具体步骤如下：

步骤3.1：将光学图像特征图

送入到显著性信息检测模块中，输出结构注意力图，大小为

该结构注意力图用于对模态间难以对齐的数据点进行过滤；将结构注意力图与区域级相似度得分进行相乘，增强已对齐模态差异的特征区域，抑制难以对齐的特征区域；

步骤3.2：将过滤后的区域级相似度得分在

与

两个维度上求和，得到N个候选匹配位置的N个相似度得分；

步骤3.3：使用softmax函数对N个相似度得分进行归一化得到{p_c}，其中c∈{0,1,…,N-1}为候选匹配位置索引，并依据此得分计算得到当前阶段的匹配结果

计算方式如下：

其中，s_c代表第c个候选匹配位置坐标，为二维；

则此阶段得到的最佳匹配位置为

Images