CN114358150A - 一种sar-可见光遥感图像匹配方法 - Google Patents

Abstract

本发明提供一种SAR‑可见光遥感图像匹配方法，属于遥感图像处理领域。本发明使用地理编码对SAR和可见光图像进行粗配准；分别提取SAR和可见光遥感图像的多尺度融合结构方向图；将SAR和可见光的结构方向图输入伪孪生网络，利用注意力机制优化图像结构方向图；获取两幅结构方向图的相关性并确定最佳匹配位置。本发明可用于可见光遥感图像和合成孔径雷达图像的匹配，实现高精度且高效的SAR‑可见光遥感图像匹配。

Description

一种SAR-可见光遥感图像匹配方法

技术领域

本领域涉及遥感图像处理领域，具体涉及一种SAR-可见光遥感图像匹配方法，可用于可见光遥感图像和合成孔径雷达(Synthetic Aperture Radar，SAR)图像的匹配。

背景技术

多模态的图像数据可以反应地物的不同属性和特征，能够弥补单一模态图像的不足，增加了图像的信息量。SAR-可见光遥感图像是典型的多模态图像，SAR-可见光图像匹配是指在图像之间探测控制点的过程，这是综合利用SAR和光学图像进行遥感应用和分析的关键预处理步骤，如异源图像配准、图像融合以及变化检测。由于SAR图像和可见光图像的成像机制不同，两者的图像信息表现也存在较大差异，可见光影像会受到云层、光线的影响；SAR图像是侧视雷达经过斜距投影形成的相干图像，在成像过程中容易产生噪声以及几何畸变；因此，要实现高质量的SAR-可见光遥感图像匹配，就要使匹配算法能够适应异源图像之间的非线性灰度畸变和SAR图像噪声。

目前，SAR-可见光遥感图像匹配的方法主要分为三类。第一类是基于图像灰度信息的匹配方法，通过SAR图像与可见光图像之间的灰度分布或灰度映射关系，实现异源图像匹配。这类方法的代表算法有归一化互相关(Normalized Cross-Correlation，NCC),MTM以及互信息(Mutual Information，MI)。NCC适用于线性灰度映射关系，无法满足SAR-可见光遥感影像之间的非线性灰度畸变；MTM能够适应灰度的非线性映射，其工作前提是两幅图像之间的灰度映射满足函数关系，而SAR-可见光遥感图像之间灰度值通常不满足函数关系，MI可以适应异源图像之间的非线性畸变，但其计算效率低且没有利用图像的结构信息，难以适应异源图像之间的非线性辐射畸变。第二类是基于图像结构特征的匹配方法，通过提取SAR-可见光遥感图像之间的共同特征，实现异源图像匹配。这类方法的代表算法有投影与量化梯度方向直方图(Projecting and Quantizing Histograms of OrientedGradients，PQHOG)、方向相位一致性直方图(Histogram of Oriented Phase Congruency，HOPC)以及梯度方向通道特征(Channel Features of Orientated Gradients，CFOG)等，这类方法较基于灰度信息匹配方法更稳定，但图像结构信息需要人工设计，难以进一步提高匹配性能，另外在图像结构体征不明显时，这类方法容易失效。第三类是基于神经卷积网络的匹配方法，通过提取SAR与可见光在非线性辐射畸变场景下的共有特征，实现异源图像匹配。这类方法通过将SAR和可见光遥感图像直接输入神经网络，难以有效捕获SAR和可见光遥感图像的共性特征，而且深度神经网络参数过多，容易受到无用信息的影响。

发明内容

有鉴于此，本发明提供一种SAR-可见光遥感图像匹配方法，该方法基于注意力机制和图像结构方向，可以解决现有技术中SAR-可见光遥感图像存在非线性灰度畸变以及图像噪声问题，能够在增强有用特征的同时减少无用特征对训练的影响。

为了实现上述目的，本发明采用的技术方案为：

一种SAR-可见光遥感图像匹配方法，包括如下步骤：

步骤1：使用地理编码对SAR遥感图像和可见光遥感图像进行粗匹配，针对具有相同区域的SAR遥感图像和可见光遥感图像，执行后续步骤；

步骤2：分别提取SAR遥感图像和可见光遥感图像的多尺度融合结构方向图；

步骤3：将SAR遥感图像的多尺度融合结构方向图输入到经过训练的第一伪孪生神经网络，得到第一结构方向特征；将可见光遥感图像的多尺度融合结构方向图输入到经过训练的第二伪孪生神经网络，得到第二结构方向特征；所述第一伪孪生神经网络和第二伪孪生神经网络的结构完全相同；

步骤4：使用基于FFT加速的余弦相似性测量作为伪孪生神经网络的损失函数，计算第一结构方向特征和第二结构方向特征的相似性热力图，热力值最高的像素点对应的图像位置即为SAR遥感图像和可见光图像块的最佳匹配位置。

进一步的，步骤2的具体方式为：

步骤2.1：计算SAR/可见光遥感图像的基础梯度，基础梯度采用Sobel梯度提取算子，分别对X方向和Y方向进行提取；

步骤2.2：利用步骤2.1得到的基础梯度信息，计算4种不同领域尺度的SAR/可见光遥感图像的梯度平方和梯度协方；

步骤2.3：根据图像一致性的计算公式，计算SAR/可见光遥感图像的4个邻域尺度的融合加权系数；

步骤2.4：按照融合加权系数对SAR/可见光遥感图像的4个领域尺度的梯度平方和协方进行融合；

步骤2.5：利用融合后的梯度平方和协方计算SAR/可见光遥感图像的多尺度融合结构方向图。

进一步的，所述伪孪生神经网络包括卷积层、特征融合模块、通道注意力机制模块、空间注意力机制模块以及损失函数；其中，通道注意力模块用于实现堆叠通道注意力机制，空间注意力机制模块用于实现匹配过程的空间注意力机制；

卷积层用于提取结构方向图中的结构方向特征，其使用BR神经网络，网络中每一层卷积后都有一个BN层和一个ReLU激活函数；

特征融合模块用于融合多尺度结构方向特征，原始结构方向图经过卷积层后得到结构方向特征，下采样后的结构方向图经过卷积层后得到下采样的结构方向特征，将两个结构方向特征进行融合，融合方法采用并行策略连接或直接将多个特征进行连接的方式；

通道注意力机制模块用于平衡图像特征提取速度和准确度，即插即用，卷积层使用卷积核卷积后，随后使用Sigmoid函数学习通道信息；

空间注意力机制模块注重目标图像在每个通道内位置特征的信息，分为上下文模块和通道转换模块。

进一步的，所述损失函数为：

其中，N_p和N_h分别表示为正样本和负样本的数量，i表示第i个样本，f_logi(S)＝log(1+exp(-S))，S＝F^-1[F(O_Opt)·F^*(F(O_Sar))]，F表示正向傅里叶变换，F^-1表示逆向傅里叶变换，F^*表示F的复共轭矩阵，O_Opt为可见光结构方向特征，O_Sar为SAR结构方向特征；

根据上述损失函数得到第一结构方向特征和第二结构方向特征的相似性热力图，寻找热力值最大的点所对应的图像位置，即为最终可见光图像和SAR图像的最佳匹配位置。

本发明相比于现有技术具有如下有益效果：

1.本发明针对现有技术的缺陷，使用多尺度融合方法提取图像的结构方向，多尺度融合的图像结构方向较单一尺度的图像结构方向噪声的抵抗性更强，可以适应SAR遥感图像中的斑点噪声。将SAR和可见光遥感图像的多尺度融合图像结构方向作为伪孪生神经网络的输入，相较于图像的灰度值，图像的结构方向信息能更充分表示SAR和可见光遥感图像之间的共性特征，使用伪孪生神经网络优化图像结构方向特征，提高匹配性能。

2.本发明采用基于注意力机制的浅层伪孪生神经网络对SAR和可见光遥感图像进行训练，形成可融合特征的堆叠通道注意力机制，加强有用通道信息提取的同事没减少无用通道信息的影像，从而提升特征提取的泛化能力，相较于图像灰度信息，浅层神经网络更容易在结构图中提取特征。

3.神经网络提取图像结构方向特征后，使用经过FFT加速的余弦测量准则对提取的图像结构方向进行相关性的计算，余弦相似性测量准则可以适应异源图像之间因非线性灰度畸变引起的梯度翻转，最终获取到SAR-可见光遥感图像的最佳匹配位置。

附图说明

图1是本发明实施例使用的一对SAR-可见光遥感影像,其中左图为可见光遥感影像,右图为SAR遥感影像.

图2是本发明实施例提供的基于注意力机制和图像结构方向的SAR-可见光遥感图像匹配方法流程图。

图3是本发明实施例提供的多尺度融合的图像结构方向提取方法流程图。

图4是本发明实施例提供的伪孪生神经网络示意图。

图5是网络输出SAR-可见光匹配图。

具体实施方式

以下将结合实施例对本发明的构思、技术方案优势及产生的技术效果进行清楚、完整地描述，以充分理解本发明的目的、特征和效果。需要说明的是，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。

一种SAR-可见光遥感图像匹配方法，参阅图2，本方法首先利用先验信息(地理编码)对SAR和可见光图像(参阅图1)进行粗配准；然后，分别提取SAR遥感图像和可见光遥感图像的多尺度融合图像结构方向图，不同尺度按照一致性大小进行融合；其次，将提取得到的多尺度融合的结构方向图输入伪孪生神经网络，SAR图像结构方向图和可见光图像结构方向图训练过程不共享参数，在神经网络中嵌入注意力机制，通过结构方向特征提取网络提取结构方向特征；最后，使用基于FFT加速的余弦相似性测量计算两幅图像的相似性，获取SAR和可见光遥感图像之间的最佳匹配位置。

具体过程如下：

S1：利用地理编码对SAR与可见光遥感图像进行粗配准，遥感图像的成像范围较大，获取图像信息时带有先验地理信息，利用地理编码对两幅图像进行校正并进行粗配准，作为匹配的预处理。

S2：参阅图3，提取SAR与可见光遥感图像的多尺度融合图像结构方向：

首先，假设原始图像为I(x,y),使用Sobel算子提取图像的基础梯度矢量G_x,G_y]^T:G_x＝f_x*I(x,y)，G_y＝f_y*I(x,y)，其中f_x和f_y是Sobel算子两个方向的滤波器，然后计算不同尺度的梯度平方和梯度交叉积：

不同尺度的加权系数w_i通过梯度一致性计算：

最后图像的结构方向

S3：采用伪孪生神经网络优化图像结构方向信息：

参阅图4，本发明采用一种两支不共享权重的神经网络，即伪孪生神经网络。伪孪生神经网络包括卷积层、特征融合模块、通道注意力机制模块、空间注意力机制模块以及损失函数。其中，通道注意力模块用于实现堆叠通道注意力机制，空间注意力机制模块用于实现匹配过程的空间注意力机制。

卷积层用于提取结构方向图中的结构方向特征，其使用BR网络，卷积网络中每一层卷积后都有一个BM层和一个ReLU激活函数。

特征融合模块是指融合多尺度结构方向特征的模块。原始结构方向图经过卷积层后得到结构方向特征，下采样后的结构方向图经过卷积层后得到下采样的结构方向特征，将两各结构方向特征进行融合，融合方法不限于concat(直接将多个特征进行连接)以及add(并行策略连接)方法。

通道注意力机制模块可平衡图像特征提取速度和准确度，具有即插即用的特点，可以高效地嵌入特征提取网络中。卷积层使用卷积核卷积后，随后使用Sigmoid函数学习通道信息。

空间注意力机制模块用于注重目标图像在每个通道内位置特征的信息，分为上下文模块和通道转换模块。

本方法涉及的伪孪生神经网络有与SAR遥感图像结构方向相连的CNN卷积神经网络N1，与可见光遥感图像结构方向特征图像相连的CNN卷积神经网络N2，N1和N2输出的是优化后的图像结构方向特征，分别标记为D_SAR和D_OPT。

S4：获取SAR与可见光遥感图像匹配结果：

获取优化后的SAR图像结构方向特征D_SAR和可见光图像结构方向特征D_OPT后，计算特征图之间的相似性矩阵，参阅图3。

本方法采用堆叠通道的注意力机制，融合全局平均池化和全局最大池化，相似性测量准则在余弦相似度的基础上，发展方向差的余弦绝对值相似性测量准则的计算方法；为了提高相似性测量准则的计算速度，使用经过FFT加速的相似性测量准则：S＝F^-1[F(D_SAR)·F*(F(D_OPT))]。损失函数为：

其中，N_p和N_h分别表示为正样本和负样本的数量，i表示第i个样本，f_logi(S)＝log(1+exp(-S))，F表示正向傅里叶变换，F^-1表示逆向傅里叶变换，F^*表示F的复共轭矩阵，O_Opt为可见光结构方向特征，O_Sar为SAR结构方向特征；

根据上述损失函数得到第一结构方向特征和第二结构方向特征的相似性热力图，寻找热力值最大的点所对应的图像位置，即为最终可见光图像和SAR图像的最佳匹配位置。匹配结果参阅图5。

Claims (4)

1.一种SAR-可见光遥感图像匹配方法，其特征在于，包括如下步骤：

步骤1：使用地理编码对SAR遥感图像和可见光遥感图像进行粗匹配，针对具有相同区域的SAR遥感图像和可见光遥感图像，执行后续步骤；

步骤2：分别提取SAR遥感图像和可见光遥感图像的多尺度融合结构方向图；

步骤3：将SAR遥感图像的多尺度融合结构方向图输入到经过训练的第一伪孪生神经网络，得到第一结构方向特征；将可见光遥感图像的多尺度融合结构方向图输入到经过训练的第二伪孪生神经网络，得到第二结构方向特征；所述第一伪孪生神经网络和第二伪孪生神经网络的结构完全相同；

步骤4：使用基于FFT加速的余弦相似性测量作为伪孪生神经网络的损失函数，计算第一结构方向特征和第二结构方向特征的相似性热力图，热力值最高的像素点对应的图像位置即为SAR遥感图像和可见光图像块的最佳匹配位置。

2.如权利要求1所述的一种SAR-可见光遥感图像匹配方法，其特征在于，步骤2的具体方式为：

步骤2.1：计算SAR/可见光遥感图像的基础梯度，基础梯度采用Sobel梯度提取算子，分别对X方向和Y方向进行提取；

步骤2.2：利用步骤2.1得到的基础梯度信息，计算4种不同领域尺度的SAR/可见光遥感图像的梯度平方和梯度协方；

步骤2.3：根据图像一致性的计算公式，计算SAR/可见光遥感图像的4个邻域尺度的融合加权系数；

步骤2.4：按照融合加权系数对SAR/可见光遥感图像的4个领域尺度的梯度平方和协方进行融合；

步骤2.5：利用融合后的梯度平方和协方计算SAR/可见光遥感图像的多尺度融合结构方向图。

3.如权利要求1所述的一种SAR-可见光遥感图像匹配方法，其特征在于，所述伪孪生神经网络包括卷积层、特征融合模块、通道注意力机制模块、空间注意力机制模块以及损失函数；其中，通道注意力模块用于实现堆叠通道注意力机制，空间注意力机制模块用于实现匹配过程的空间注意力机制；

卷积层用于提取结构方向图中的结构方向特征，其使用BR神经网络，网络中每一层卷积后都有一个BN层和一个ReLU激活函数；

特征融合模块用于融合多尺度结构方向特征，原始结构方向图经过卷积层后得到结构方向特征，下采样后的结构方向图经过卷积层后得到下采样的结构方向特征，将两个结构方向特征进行融合，融合方法采用并行策略连接或直接将多个特征进行连接的方式；

通道注意力机制模块用于平衡图像特征提取速度和准确度，即插即用，卷积层使用卷积核卷积后，随后使用Sigmoid函数学习通道信息；

空间注意力机制模块注重目标图像在每个通道内位置特征的信息，分为上下文模块和通道转换模块。

4.如权利要求3所述的一种SAR-可见光遥感图像匹配方法，其特征在于，所述损失函数为：

其中，N_p和N_h分别表示为正样本和负样本的数量，i表示第i个样本，f_logi(S)＝log(1+exp(-S))，S＝F^-1[F(O_Opt)·F^*(F(O_Sar))]，F表示正向傅里叶变换，F^-1表示逆向傅里叶变换，F^*表示F的复共轭矩阵，O_Opt为可见光结构方向特征，O_Sar为SAR结构方向特征；

根据上述损失函数得到第一结构方向特征和第二结构方向特征的相似性热力图，寻找热力值最大的点所对应的图像位置，即为最终可见光图像和SAR图像的最佳匹配位置。

Images