CN114359603B - 一种多模态遥感图像领域自适应无监督匹配方法 - Google Patents

Abstract

本发明公开了一种多模态遥感图像领域自适应无监督匹配方法，具体包括以下步骤：步骤一：改进孪生匹配网络模型；步骤二：旋转缩放不变层：对旋转和尺度缩放两个角度标注中的特征表示进行模拟；步骤三：无监督自学习领域自适应；步骤四：多分辨率样本直方图匹配。该发明的技术效果为采用孪生网络模型对多模态图像进行匹配，能够实现多模态图像的自动化匹配，同时提出了灰度直方图匹配算法，降低了目标数据集和训练数据集的差异，从而提高了模型在目标数据集中的匹配精度，最后采用无监督自学习技术，结合灰度直方图匹配，进一步提高了模型的匹配精度和可靠性。

Description

一种多模态遥感图像领域自适应无监督匹配方法

技术领域

本发明涉及遥感图像的多模态匹配技术领域，具体为一种多模态遥感图像领域自适应无监督匹配方法。

背景技术

现有技术一般采用基于特征点匹配或者利用深度学习算法实现多模态图像匹配，利用特征点匹配的算法普通精度较差，无法处理多模态图像特征差异较大的情况。而利用深度学习算法普通需要大量数据作为训练数据，造成模型的泛化性不强。即在某个数据集上训练的模型，难以适应其他数据集。并且现有技术在多模态图像匹配过程中，特征点提取的质量难以保证，对图像分辨率的要求也特别高，并且匹配精度不高，模型泛化性不强。

本发明的技术方案，解决了上述现有技术存在的问题，并且达到了本模型匹配精度高、可靠性好，模型适应性强，可以适应多种分辨率和多种图像场景。

发明内容

本发明的目的在于提供一种多模态遥感图像领域自适应无监督匹配方法，以解决上述背景技术中提出的问题。

为实现上述目的，发明提供如下技术方案：一种多模态遥感图像领域自适应无监督匹配方法，具体包括以下步骤：

步骤一：改进孪生匹配网络模型：利用一个基于卷积神经网络的孪生网络模型，实现合成孔径雷达(SAR)和光学图像的匹配，两种图像同时输入到网络中，并生成两个特征图，之后基于模板的特征图和基于参考图像的图进行卷积，卷积结果表示为匹配后的热力图，接着利用热力图求取最大值的位置，即为匹配结果；为迭代训练参数，根据匹配真实值生成相同尺寸的匹配热图，同时设计用于网络参数更新的损失函数；

步骤二：旋转缩放不变层：对旋转和尺度缩放两个角度标注中的特征表示进行模拟，

首先，选择角度组合为：T_theta＝(T₁,T₂,…,T_m)；而尺度缩放组合表示为：A_theta＝(A₁,A₂…,A_n)；对于任意的输入图像，可以将SAR图像分支的图像特征映射扩展到具有旋转缩放多样性的特征集F中，其中的

然后，通过组卷积运算得到多维的匹配热力图，经过组卷积处理后，每个热力图层代表了每个维度的匹配结果，匹配分数的峰值大小反映匹配结果的可信对；

接着，引入具有三层卷积块的回归模型来提取相邻层的峰值局部特征，对其进行分类，从而获取更精确的峰值特征；

最后，采用一个全连接层来输出最匹配的旋转角度和缩放尺度，对应的峰值位置便是匹配位移的输出；

步骤三：无监督自学习领域自适应：

首先，通过训练数据集对基于孪生网络的匹配模型进行训练，然后将该模型应用于目标数据集，从而生成伪标签；

然后，利用生成的不同分辨率的新目标图像，将具有多个分辨率的注释与训练数据集相结合，进一步微调匹配模型，在训练过程中，伪标签的更新和模型的微调重复迭代数次；

接着，调整训练据集和目标数据集之间的训练权重，目标数据集的权重逐渐增加，模型参数平稳移动，模型通过真标签和伪标签的混合进行微调；

最后，逐步改变源数据集和目标数据集的训练权重，增强了模型的泛化能力；

步骤四：多分辨率样本直方图匹配：

首先，将训练数据的多模态图像映射到目标域的图像，灰度参考图像Ir和目标图像It，Ir和It的离散直方图分别由如下两个公式进行计算：

其中，W和H分别是图像在垂直和水平方向上的形状，i的范围为0到255；

同时，累积直方图St和Sr可分别从Ht和Hr中得出：

直方图Ht根据Hr进行变换，变换函数由以下等式获得：

其中，V_t(i)＝min(I)+(i-1)V，其中V是灰度间隔宽度，p表示其中每个像素的索引，通过计算其中每个像素的T(p)，得到变换后的图像I0；

基于孪生网络的匹配模型的参数由带标签的训练数据集，以监督方式进行训练后，由灰度直方图转换后的目标数据集和训练数据集进行协同训练，对模型参数进行微调；最后，单独使用转换后的目标数据集对模型进行微调；多分辨率无监督自学习的最终步骤如下式所示：

其中λe1和λe2是对应于训练过程中互斥的布尔权重，其中一个为1，另一个必须为0；YHT和YT分别表示带有转换目标数据和原始目标数据的伪标签集；k是不同的图像分辨率级别，范围从0到m，m是分辨率级别；Hs是基于直方图匹配方法的数据集映射模型；在训练过程中，λe1首先设置为1，而λe2设置为零；在10个迭代之后，λe2变为1，λe1设置为0；λex的变化代表了渐进匹配的训练步骤。

优选的，步骤一中的孪生神经网络包含两个相同的子网络，所述子网络具有相同的模型配置，同时具有一致的模型参数和权重，在模型的训练阶段，两个网络的参数的更新在两个子网之间进行镜像。

优选的，步骤一中的孪生网络的主干由四个区块组成，每个块包含一个卷积层、归一化层、激活层(ReLU层)和池化层；

首先，将第一个卷积层的步长设置为2，然后，利用池化层将特征图的宽度和高度减少一半，引入了两个上采样层来提高图像的分辨率；最后，在训练阶段更新模型参数的组合损失函数。

优选的，所述损失函数由L2损失和交叉熵损失组成，由于交叉熵损失分布的不平衡性，它在正负样本上具有不同的权重，所提出的损失如下所示：

loss＝-∑_iw*y_i*log(logits_i)+(1-y_i)*log((1-logits_i))+λ(-∑_i(y_i-logits_i)²)

其中的y_i是生成的匹配热点图，w是正样本的交叉熵权，logits_i是孪生网络的输出热力图；在训练过程中，加权交叉熵损失指导神经网络在正确的方向上进行优化，降低匹配误差，在最初的几个迭代损失降低很快；当匹配的损失函数在模型训练迅速减小之后，L2丢失将强制网络响应匹配图的正样本。

与现有技术相比，发明的有益效果是：该多模态遥感图像领域自适应无监督匹配方法，采用孪生网络模型对多模态图像进行匹配，能够实现多模态图像的自动化匹配，同时提出了灰度直方图匹配算法，降低了目标数据集和训练数据集的差异，从而提高了模型在目标数据集中的匹配精度，最后采用无监督自学习技术，结合灰度直方图匹配，进一步提高了模型的匹配精度和可靠性。

附图说明

图1为本发明的孪生网络结构示意图；

图2为本发明的旋转缩放不变层示意图；

图3为本发明的多分辨率自监督学习流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，发明提供一种技术方案：一种多模态遥感图像领域自适应无监督匹配方法，具体包括以下步骤：

步骤一：改进孪生匹配网络模型：利用一个基于卷积神经网络的孪生网络模型，实现SAR(合成孔径雷达)和光学图像的匹配。其中的孪生神经网络包含两个相同的子网络，它们具有相同的模型配置，同时具有一致的模型参数和权重。在模型的训练阶段，两个网络的参数的更新在两个子网之间进行镜像。两种图像同时输入到网络中，并生成两个特征图，之后，基于模板的特征图和基于参考图像的图进行卷积，卷积结果表示为匹配后的热力图。利用热力图求取最大值的位置，即为匹配结果。为迭代训练参数，根据匹配真实值生成相同尺寸的匹配热图，同时设计了用于网络参数更新的损失函数。孪生网络结构图如图1所示。孪生网络的主干由四个区块组成，每个块包含一个卷积层、批处理规范化层、ReLU层和最大池化层。将第一个卷积层的步长设置为2，以减小特征映射的大小并集中于高级图像特征。然后，利用最大池层将特征图的宽度和高度减少一半。由于特征下采样会降低精度，因此引入了两个上采样层来提高图像的分辨率。

为提高神经网络的模型训练能力，我们提出了在训练阶段更新模型参数的组合损失函数。该损失函数由L2损失和交叉熵损失组成。由于交叉熵损失分布的不平衡性，它在正负样本上具有不同的权重。所提出的损失如下所示：

loss＝-∑_iw*y_i*log(logits_i)+(1-y_i)*log((1-logits_i))+λ(-∑_i(y_i-logits_i)²)

其中y_i是生成的匹配热点图，w是正样本的交叉熵权。logits_i是孪生网络的输出热力图。

在训练过程中，加权交叉熵损失指导神经网络在正确的方向上进行优化，降低匹配误差，在最初的几个迭代损失降低很快。当匹配的损失函数在模型训练迅速减小之后，L2丢失将强制网络响应匹配图的正样本，使得匹配分数进一步提高。因此，综合损失函数在训练和收敛方面都显示出时间优势和精度优势。

步骤二：旋转缩放不变层：

在多模态图像匹配过程中，不同模态的图像的旋转和尺度差异是匹配误差的重要来源。因此，学习具有旋转和尺度不敏感的稳定特征是非常有必要的。本项目改进了孪生网络结构的SAR分支，添加了旋转/缩放不变层，从而使得匹配卷积和热力图基于旋转和平移的不变性。如图2所示为旋转缩放不变层示意图，使用旋转/缩放不变层来提高特征表达能力。该旋转缩放不变层，如图2所示，对旋转和尺度缩放两个角度标注中的特征表示进行模拟，其中，选择角度组合为，T_theta＝(T₁,T₂,…,T_m)，而尺度缩放组合表示为，A_theta＝(A₁,A₂…,A_n)，对于任意的输入图像，可以将SAR图像分支的图像特征映射扩展到具有旋转缩放多样性的特征集F中，然后，通过组卷积运算得到多维的匹配热力图。经过组卷积处理后，每个热力图层代表了每个维度的匹配结果，匹配分数的峰值大小反映匹配结果的可信对。为了进一步提高匹配精度，引入了具有三层卷积块的回归模型来提取相邻层的峰值局部特征，然后对其进行分类，从而获取更精确的峰值特征。最后采用了一个全连接层来输出最匹配的旋转角度和缩放尺度。对应的峰值位置便是匹配位移的输出。

步骤三：无监督自学习领域自适应：

遥感应用的深度学习算法的发展需要丰富的注释。标记大量光学图像是一项效率低、成本高的任务。因此，使用带标注的数据集对深度学习的模型进行训练，之后再将模型转换到非标准的数据集，这样能够有效降低目标数据集的标注成本。然而，一般来讲，两个数据集之间的域差距通常会降低基于深度学习的匹配方法的准确度。其中，降低目标数据和训练数据之间的差异，实现目标领域自适应的一个重要方法是无监督自学习。本发现提出了一种多分辨率无监督自学习，从而进一步提高多模态图像对的匹配准确率，本工作采用了多分辨率自学习过程。在模型训练过程中，引入目标数据进行实时训练，从而生成伪标签，对模型进行重新训练。所提出的多分辨率自学习方法如图3所示。图3为多分辨率自监督学习流程图，首先通过训练数据集对基于孪生网络的匹配模型进行训练，然后将该模型应用于目标数据集，从而生成伪标签。利用生成的不同分辨率的新目标图像，以提高目标域的多样性。此外，具有多个分辨率的注释与训练数据集相结合，进一步微调匹配模型。在训练过程中，伪标签的更新和模型的微调重复迭代数次。

为了进一步提高自学习方法的匹配精度，我们在训练过程中仔细调整了训练据集和目标数据集之间的训练权重。目标数据集的权重逐渐增加，模型参数平稳移动。该模型通过真标签和伪标签的混合进行微调。最后，逐步改变源数据集和目标数据集的训练权重，进一步增强了模型的泛化能力。

步骤四：多分辨率样本直方图匹配：

在这项任务中，我们提出了一种多分辨率样本直方图匹配算法，将训练数据的多模态图像映射到目标域的图像。在图像处理领域，直方图匹配是对图像进行变换，使其直方图与指定的直方图匹配。视为灰度参考图像Ir和目标图像It，Ir和It的离散直方图分别由如下两个公式进行计算：

其中，W和H分别是图像在垂直和水平方向上的形状，i的范围为0到255。同时，累积直方图St和Sr可分别从Ht和Hr中得出：

根据已有的研究，直方图Ht可以根据Hr进行变换，变换的目的是减少Ir和It之间的照度和直方图差异。变换函数由以下等式获得

其中，V_t(i)＝min(I)+(i-1)V，其中V是灰度间隔宽度。p表示其中每个像素的索引。通过计算其中每个像素的T(p)，得到变换后的图像I0。I0和Ir具有相同的直方图分布，但具有不同的几何结构。灰度直方图匹配进一步降低了训练图像数据集和目标图像数据集之间光照和灰度分布的差异，有效地减小了两个数据集之间的差异。

由于训练数据集和目标数据集之间存在较大的域间距，直接直方图匹配会导致自学习过程中分数明显降低。本发明提出的这种多分辨率直方图匹配方法，能够实现目标数据集转换到源域数据集。基于孪生网络的匹配模型的参数由带标签的训练数据集，以监督方式进行训练后，由灰度直方图转换后的目标数据集和训练数据集进行协同训练，对模型参数进行微调。最后，单独使用转换后的目标数据集对模型进行微调。多分辨率无监督自学习的最终步骤如下式所示：

其中λe1和λe2是对应于训练过程中互斥的布尔权重，也就是，一个为1，另一个必须为0。YHT和YT分别表示带有转换目标数据和原始目标数据的伪标签集。k是不同的图像分辨率级别，范围从0到m，m是分辨率级别，根据不同的数据集确定。通过图像裁剪和调整大小，数据集会生成不同分辨率的训练样本。为了利用不同样本的训练权重，生成的高分辨率样本数是原始分辨率样本数的两倍。Hs是基于直方图匹配方法的数据集映射模型。在训练过程中，λe1首先设置为1，而λe2设置为零。在10个迭代之后，λe2变为1，λe1设置为0。λex的变化代表了渐进匹配的训练步骤，从而提高了匹配模型的自适应性能已经匹配精度。

实验分析：本发明为了验证算法的有效性，采用RadarSat/Planet数据集中的SAR和光学图像作为训练数据集，而低分辨率的哨兵-1/2数据集当作目标数据集。由于光照和分辨率的差异，RadarSat/Planet和哨兵-1/2数据集之间的差异较大，能够证明了所提出模型的有效性。

孪生网络模型首先在RadarSat/Planet数据集中进行训练，之后采用本文的方法对哨兵-1/2数据集进行灰度直方图匹配，最后将模型在目标数据集中进行无监督的自学习匹配。实验结果如表1所示。从表中可以看出，本发明能有效降低模型的匹配AP值和平均L2数值，同时提高模型的准确度。

表1

技术效果：该多模态遥感图像领域自适应无监督匹配方法，采用孪生网络模型对多模态图像进行匹配，能够实现多模态图像的自动化匹配，同时提出了灰度直方图匹配算法，降低了目标数据集和训练数据集的差异，从而提高了模型在目标数据集中的匹配精度，最后采用无监督自学习技术，结合灰度直方图匹配，进一步提高了模型的匹配精度和可靠性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种多模态遥感图像领域自适应无监督匹配方法，其特征在于：具体包括以下步骤：

步骤一：改进孪生匹配网络模型：利用一个基于卷积神经网络的孪生网络模型，实现合成孔径雷达(SAR)和光学图像的匹配，两种图像同时输入到网络中，并生成两个特征图，之后基于模板的特征图和基于参考图像的图进行卷积，卷积结果表示为匹配后的热力图，接着利用热力图求取最大值的位置，即为匹配结果；为迭代训练参数，根据匹配真实值生成相同尺寸的匹配热图，同时设计用于网络参数更新的损失函数；

步骤二：旋转缩放不变层：对旋转和尺度缩放两个角度标注中的特征表示进行模拟，

首先，选择角度组合为：T_theta＝(T₁，T₂，…，T_m)；而尺度缩放组合表示为：A_theta＝(A₁，A₂…，A_n)；对于任意的输入图像，可以将SAR图像分支的图像特征映射扩展到具有旋转缩放多样性的特征集F中，其中的

然后，通过组卷积运算得到多维的匹配热力图，经过组卷积处理后，每个热力图层代表了每个维度的匹配结果，匹配分数的峰值大小反映匹配结果的可信对；

接着，引入具有三层卷积块的回归模型来提取相邻层的峰值局部特征，对其进行分类，从而获取更精确的峰值特征；

最后，采用一个全连接层来输出最匹配的旋转角度和缩放尺度，对应的峰值位置便是匹配位移的输出；

步骤三：无监督自学习领域自适应：

首先，通过训练数据集对基于孪生网络的匹配模型进行训练，然后将该模型应用于目标数据集，从而生成伪标签；

然后，利用生成的不同分辨率的新目标图像，将具有多个分辨率的注释与训练数据集相结合，进一步微调匹配模型，在训练过程中，伪标签的更新和模型的微调重复迭代数次；

接着，调整训练据集和目标数据集之间的训练权重，目标数据集的权重逐渐增加，模型参数平稳移动，模型通过真标签和伪标签的混合进行微调；

最后，逐步改变源数据集和目标数据集的训练权重，增强了模型的泛化能力；

步骤四：多分辨率样本直方图匹配：

首先，将训练数据的多模态图像映射到目标域的图像，灰度参考图像Ir和目标图像It，Ir和It的离散直方图分别由如下两个公式进行计算：

其中，W和H分别是图像在垂直和水平方向上的形状，i的范围为0到255；同时，累积直方图St和Sr可分别从Ht和Hr中得出：

直方图Ht根据Hr进行变换，变换函数由以下等式获得：

其中，V_t(i)＝min(I)+(i-1)V，其中V是灰度间隔宽度，p表示其中每个像素的索引，通过计算其中每个像素的T(p)，得到变换后的图像I₀；

基于孪生网络的匹配模型的参数由带标签的训练数据集，以监督方式进行训练后，由灰度直方图转换后的目标数据集和训练数据集进行协同训练，对模型参数进行微调；最后，单独使用转换后的目标数据集对模型进行微调；多分辨率无监督自学习的最终步骤如下式所示：

其中λe1和λe2是对应于训练过程中互斥的布尔权重，其中一个为1，另一个必须为0；Y_HT和Y_T分别表示带有转换目标数据和原始目标数据的伪标签集；k是不同的图像分辨率级别，范围从0到m，m是分辨率级别；Hs是基于直方图匹配方法的数据集映射模型；在训练过程中，λe1首先设置为1，而λe2设置为零；在10个迭代之后，λe2变为1，λe1设置为0；λex的变化代表了渐进匹配的训练步骤。

2.如权利要求1所述的一种多模态遥感图像领域自适应无监督匹配方法，其特征在于：步骤一中的孪生神经网络包含两个相同的子网络，所述子网络具有相同的模型配置，同时具有一致的模型参数和权重，在模型的训练阶段，两个网络的参数的更新在两个子网之间进行镜像。

3.如权利要求1所述的一种多模态遥感图像领域自适应无监督匹配方法，其特征在于：步骤一中的孪生网络的主干由四个区块组成，每个块包含一个卷积层、归一化层、激活层(ReLU层)和池化层；

首先，将第一个卷积层的步长设置为2，然后，利用池化层将特征图的宽度和高度减少一半，引入了两个上采样层来提高图像的分辨率；最后，在训练阶段更新模型参数的组合损失函数。

4.如权利要求3所述的一种多模态遥感图像领域自适应无监督匹配方法，其特征在于：所述损失函数由L2损失和交叉熵损失组成，由于交叉熵损失分布的不平衡性，它在正负样本上具有不同的权重，所提出的损失如下所示：

loss＝-∑_iw*y_i*log(logits_i) +(1-y_i)*log((1-logits_i)) +λ(-∑_i(y_i-logits_i)²)

其中的y_i是生成的匹配热点图，w是正样本的交叉熵权，logits_i是孪生网络的输出热力图；在训练过程中，加权交叉熵损失指导神经网络在正确的方向上进行优化，降低匹配误差，在最初的几个迭代损失降低很快；当匹配的损失函数在模型训练迅速减小之后，L2丢失将强制网络响应匹配图的正样本。