CN114140359B - 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法 - Google Patents

Abstract

本发明公开了一种基于渐进式跨尺度注意力网络的遥感图像泛锐化方法，其步骤包括：1.将不同分辨率的全色图像和多光谱图像对作为各阶段子网络的输入逐步进行融合；2.为每个阶段的金字塔构建中间推理层，包含特征提取，基于跨尺度注意力模块的特征融合以及图像重建阶段；3.通过渐进式跨尺度注意力网络的训练与优化得到最佳遥感图像融合锐化网络，用于对任意低分辨率多光谱图像和全色图像进行融合得到高分辨率多光谱图像。本发明能够捕获多个特定尺度上的特征之间的相关性，并通过渐进式以获得视觉效果更优的重建图像，从而更好地挖掘跨尺度特征相关信息，并实现重建图像效果的提升。

Description

一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法

技术领域

本发明涉及遥感图像处理技术领域，具体的说是一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法。

背景技术

高分辨率多光谱(HRMS)图像已广泛应用于数字制图、采矿和环境监测等多个领域。然而，由于卫星传感器的物理限制，空间分辨率和光谱分辨率之间存在关键的权衡，这意味着只能分别捕获高分辨率的全色(PAN)图像和低分辨率的多光谱(MS)图像。泛锐化(Pan-sharpening)的目的是通过融合多光谱图像和全色图像来获得高分辨率多光谱图像。传统的泛锐化算法可以根据三种方法之一进行分类：成分替代法、多分辨率分析法和变分优化技术。成分替代法依赖于空间变换技术。这类算法包括强度-色调-饱和度法(intensity-hue-saturation,IHS)、主成分分析法(principal component analysis,PCA)和Brovey变换法等。这些方法虽然快速、易于实现，可以产生高空间保真度的结果，但可能会导致严重的光谱畸变。多分辨率分析法从全色图像中提取空间细节并将其注入到多光谱图像中，典型的算法包括基于平滑滤波器的强度调制法，加性小波亮度比例法和广义拉普拉斯金字塔法等，这些方法可以保留光谱信息但会造成空间畸变。变分优化技术是基于优化问题的解，包括贝叶斯方法、变分方法和压缩传感法等。通常有很高的计算负担。

近年来，深度学习方法已被探索用于遥感图像泛锐化任务中，使用深度学习的首次尝试是有三个卷积单元的PNN，后续通过整合特定领域只是提出PanNet。一些研究倾向于将经典方法与深度神经网络相结合，以减少学习的不确定性。然而，在大多数基于深度学习的方法中，必须先对多光谱图像进行插值使其到所需的空间分辨率，这可能造成图像重建的不准确性并且无法生成多种分辨率下的中间预测，因而无法捕获不同尺度上的结果对应关系。此外，现有的大多数基于深度学习的泛锐化方法都采用平均绝对值误差或均方误差对网络进行训练。然而，仅使用图像级损失对网络训练的限制有限，这阻碍了性能的进一步提高。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出基于渐进式跨尺度神经网络的遥感图像融合锐化方法，以期能从不同分辨率的图像中挖掘更多的跨尺度信息，从而获得具有更多空间信息的高分辨率多光谱图像，实现重建图像效果的提升。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于渐进式跨尺度注意力网络的遥感图像融合锐化方法的特点包括如下步骤：

步骤一：构建输入样本数据，包括数据的获取以及预处理；

步骤1.1：获取高分辨率多光谱图像及其对应的全色图像并进行裁剪操作，从而构建图像数据集；其中，所述像数据集中的高分辨率多光谱图像集合记为H∈R^M×N×B，所述像数据集中的全色图像集合记为P∈R^M×N，M表示图像长度，N表示图像宽度，B表示频带数；

步骤1.2：对所述高分辨率多光谱图像集合H进行双三次插值降采样处理，得到低分辨率多光谱图像集合，记为M∈R^m×n×B，其中，m表示低分辨率多光谱图像的长度，n表示低分辨率多光谱图像的宽度，且m＝M/4，n＝N/4；

步骤1.3：由低分辨率多光谱图像集合M以及对应的全色图像集合P构建输入数据对集合{M^j,P^j|j＝1,...n}，其中，M^j表示第j张低分辨率多光谱图像，P^j表示第j张全色图像，n表示集合中图像的总数；构建所述输入数据对集合{M^j,P^j|j＝1,...n}对应的重建目标集合{H^j|j＝1,2,...n}，其中，H^j表示第j个重建目标；

步骤二：构建基于渐进式结构的跨尺度融合网络，包括：K个金字塔子网络；

步骤2.1：使用高斯核将全色图像集合P分解成高斯金字塔{G_k(P)|k＝1,2,…,K}，其中，G_k(P)表示第k层高斯金字塔的分解图；

步骤2.2：构建每个金字塔子网络，且每个金字塔子网络具有相同的结构，令特征图F_k表示第k个金字塔子网络的输入，特征图

表示第k个金字塔子网络的输出；

当k＝1时，将第K层高斯金字塔的分解图G_K(P)和低分辨率多光谱图像集合M在通道维度上进行连接后得到特征图F_k并输入第k个金字塔子网络中，从而输出特征图

当k＝2,3,...,K时，第k-1个高斯金字塔输出的特征图

进行二倍上采样后得到上采样后的特征图

第K-k+1层高斯金字塔的分解图G_K-(k-1)(P)和上采样后的特征图

在通道维度上进行连接后得到特征图F_k并输入第k个金字塔子网络中，从而输出特征图

进而由第K个金字塔子网络输出特征图

并作为跨尺度融合网络的总输出，记为

步骤三.渐进式跨尺度注意力网络的训练与优化；

步骤3.1：利用式(1)建立图像重构损失函数L_recon：

式(1)中，n表示数据集中数据对集合中元素个数，

表示第i个数据对经过第k个金字塔的输出结果；

表示第i个数据对中高光谱图像第K-k个高斯金字塔的分解图；

步骤3.2：利用式(2)建立对比正则化损失函数L_CR：

式(2)中，ε表示特征提取器，↑M表示上采样后的多光谱图像集合；

步骤3.3：利用式(3)建立总损失函数L_total：

L_total＝L_recon+βL_CR (3)

式(3)中，β是平衡图像重构损失函数L_recon和对比正则化损失函数L_CR的超参数；

步骤3.4：基于所述输入数据对集合对神经网络进行迭代训练，并利用梯度下降法优化所述总损失函数L_total，直到达到设定的总迭代次数为止，从而得到最佳遥感图像融合锐化网络，用于对任意低分辨率多光谱图像和全色图像进行融合得到高分辨率多光谱图像。

本发明所述的一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法的特点也在于，所述步骤2.2中第1个金字塔子网络包含：特征融合模块和重建模块；其余金字塔子网络均包括：特征融合模块、中间模块和重建模块；

步骤2.2.1：所述特征融合模块由S个多层二维卷积层构成，记为DConv2d₁,...,DConv2d_s,...,DConv2d_S，其中，DConv2d_s表示第s级多层二维卷积层；s∈[1,S]；

所述第s级多层二维卷积层DConv2d_s包括：X个二维卷积层，以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x，x＝1,2,...,X；

当k＝1，s＝1，x＝1时，特征图F_k经过第k个金字塔子网络的第s级多层二维卷积层中第x个二维卷积层的处理后再经过第x个激活函数层的处理，输出第x个特征图

当k＝1，s＝1，x＝2,3，…，X时，将第x个特征图

作为第x+1个二维卷积层的输入，从而由第x+1个激活函数层输出第x+1个特征图

进而由第X个激活函数层输出第X个特征图

当k＝1，s＝2,3,...,S时，将第X个特征图

输入第s级多层二维卷积层中，并由第s级多层二维卷积层输出第s个特征图DFeature_s ^(k)，从而由第k个金字塔子网络的第S级多层二维卷积层DConv2d_S输出第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中特征融合模块的输出；

步骤2.2.2：所述重建模块由S个多层二维卷积层构成，记RConv2d₁,...,RConv2d_s,...,RConv2d_S，其中，RConv2d_s表示第s级多层二维卷积层；s∈[1,S]；

所述第s级多层二维卷积层RConv2d_s，包括：X个二维卷积层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x，x＝1,2,...,X；

当k＝1，s＝1，x＝1时，将第k个金字塔子网络中特征融合模块的输出DFeature_S ^(k)经过第k个金字塔子网络的第s级多层二维卷积层中第x个二维卷积层的处理后再经过第x个激活函数层的处理，输出第x个特征图

当k＝1，s＝1，x＝2,3，…，X时，将第x个特征图

作为第x+1个二维卷积层的输入，从而由第x+1个激活函数层输出第x+1个特征图

进而由第X个激活函数层输出第X个特征图

并记作

当k＝1，s＝2,3,...,S时，第k个金字塔子网络的特征融合模块中第S-(s-1)级多层卷积层DConv2d_S-(s-1)输出的特征图DFeature_S-(s-1) ^(k)和重建模块中第s-1个多层卷积层RConv2d_s-1输出的特征图

进行拼接形成跳跃连接层并共同作为第s个多层二维卷积层RConv2d_s的输入；从而由第S个多层二维卷积层RConv2d_S输出第S个特征图

并作为k＝1时金字塔的输出，记作

步骤2.2.3：当k＝2,3,…,K时，将第s个特征图DFeature_s ^(k)经过第k个金字塔子网络的特征融合模块的第s个多层二维卷积层中，并经过S个多层二维卷积层的处理，得到第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中特征融合模块的输出；

步骤2.2.4：所述中间模块为跨尺度注意力特征融合层；

当k＝2,3,...,K时，将第k-1个金字塔子网络中特征融合模块的输出DFeature_S ^{(k -1)}以及第k个金字塔子网络中特征融合模块的输出DFeature_S ^(k)输入所述中间模块进行特征融合，并输出特征图Dresult^(k)；

步骤2.2.5：所述特征图Dresult^(k)输入第k个金字塔子网络中重建模块，并经过S个多层二维卷积层的处理，输出第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中重建模块的输出即为第k层金字塔子网络输出的特征图

进而由第K层金字塔输出的特征图

与现有技术相比，本发明的有益效果在于：

1、与大多数现有的泛锐化方法需要插值作为预处理步骤不同，本发明采用逐步预测高分辨率多光谱图像的方法；为了充分利用不同尺度的信息，本发明采用跨尺度注意力机制捕捉多个特定尺度的特征之间的相关性；此外，本发明还引入了一种基于对比学习的新的损失，使特征空间中的预测更加接近真实图像，生成具有更高质量的高分辨率多光谱图像，为遥感图像泛锐化提供了一种新思路。

2.本发明与传统遥感图像泛锐化方法如小波变换和PCA，IHS相比，不仅可以恢复融合图像整体细节，同时能很好地保留多光谱图像的光谱信息，与基于深度学习的方法PNN、PanNet等相比，也有更好的融合能力，整体效果是最优的。

3.本发明步骤二中，直接将低分辨率多光谱图像输入网络并逐步进行融合，每一步融合由具有相同结构的对称跳跃连接的子网组成，浅层特征通过跳过连接传播到更深层，以保存原始信息；此外，该子网引入了非局部注意模块来捕获全局空间光谱相关性；为了捕获多个特定尺度的特征之间的相关性，该发明引入了一个跨尺度相似性注意模块；该模块可以以前馈的方式建模远程依赖关系，而不受尺度限制；以上构建的融合网络结构提高了图像重建准确性。

4、本发明步骤三中，受对比学习的启发，正则化项有助于生成更符合视觉要求的高分辨率多光谱图像；在对比正则化中，该发明实例遵循以下步骤：一是构造“正”对和“负”对，另一个是寻找这些对的潜在特征空间进行解释；在本发明的泛锐化任务中，正对是由真实的HRMS和重建的HRMS图像组成的，负对是由经过双边插值上采样的多光谱图像和重建的HRMS图像组成的；二是寻找这些正负对对的潜在特征空间进行解释，重建的HRMS图像在表示空间中与负图像的欧氏距离尽可能增大，并且与正图像的欧氏距离尽可能减小。

附图说明

图1为本发明一种渐进式跨尺度注意网络的遥感图像泛锐化方法的原理图；

图2为本发明的子网络模块的结构图；

图3为本发明的跨尺度注意力模块的结构图。

具体实施方式

本实施例中，如图1所示，一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法，是通过渐进式的跨注意力尺度的网络结构以及引入对比正则化向能够更好地挖掘空间光谱关联信息，捕获长距离的信息，同时获得更符合视觉效果的重建图像，实现遥感图像泛锐化效果的提升。具体的说，该方法包括如下步骤：

步骤一：构建输入样本数据，包括数据的获取以及预处理；

步骤1.1：获取高分辨率多光谱图像及其对应的全色图像并进行裁剪操作，从而构建图像数据集；其中，像数据集中的高分辨率多光谱图像集合记为H∈R^M×N×B，像数据集中的全色图像集合记为P∈R^M×N，M表示图像长度，N表示图像宽度，B表示频带数；

步骤1.2：对高分辨率多光谱图像集合H进行双三次插值降采样处理，得到低分辨率多光谱图像集合，记为M∈R^m×n×B，其中，m表示低分辨率多光谱图像的长度，n表示低分辨率多光谱图像的宽度，且m＝M/4，n＝N/4；

步骤1.3：由低分辨率多光谱图像集合M以及对应的全色图像集合P构建输入数据对集合{M^j,P^j|j＝1,...n}，其中，M^j表示第j张低分辨率多光谱图像，P^j表示第j张全色图像，n表示集合中图像的总数；构建输入数据对集合{M^j,P^j|j＝1,...n}对应的重建目标集合{H^j|j＝1,2,...n}，其中，H^j表示第j个重建目标；

步骤二：构建基于渐进式结构的跨尺度融合网络，如图2所示，包括：K个金字塔子网络；

步骤2.1：使用高斯核将全色图像集合P分解成高斯金字塔{G_k(P)|k＝1,2,…,K}，其中，G_k(P)表示第k层高斯金字塔的分解图；

步骤2.2：构建每个金字塔子网络，且每个金字塔子网络具有相同的结构，令特征图F_k表示第k个金字塔子网络的输入，特征图

表示第k个金字塔子网络的输出；

当k＝1时，将第K层高斯金字塔的分解图G_K(P)和低分辨率多光谱图像集合M在通道维度上进行连接后得到特征图F_k并输入第k个金字塔子网络中，从而输出特征图

当k＝2,3,...,K时，第k-1个高斯金字塔输出的特征图

进行二倍上采样后得到上采样后的特征图

由第K-k+1层高斯金字塔的分解图G_K-(k-1)(P)和上采样后的特征图

在通道维度上进行连接后得到特征图F_k并输入第k个金字塔子网络中，从而输出特征图

进而由第K个金字塔子网络输出特征图

并作为跨尺度融合网络的总输出，记为

本实施例中，步骤2.2中第1个金字塔子网络包含：特征融合模块和重建模块；其余金字塔子网络均包括：特征融合模块、中间模块和重建模块；基于跨尺度注意力模块的特征融合是为了捕获多个特定尺度上的特征之间的相关性，该发明实例使用了一个跨尺度的相似性注意模块(如图3所示)。该模块可以以前馈的方式建模远程依赖关系，而不受尺度限制。当给定具有两种不同尺度的特征时，键值从小尺度特征中获得，并从大尺度特征中获得查询。跨尺度注意模块采用基本的卷积和反卷积操作来实现，如图3所示。

步骤2.2.1：特征融合模块由S个多层二维卷积层构成，记为DConv2d₁,...,DConv2d_s,...,DConv2d_S，其中，DConv2d_s表示第s级多层二维卷积层；s∈[1,S]；

第s级多层二维卷积层DConv2d_s包括：X个二维卷积层，以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x，x＝1,2,...,X；

当k＝1，s＝1，x＝1时，特征图F_k经过第k个金字塔子网络的第s级多层二维卷积层中第x个二维卷积层的处理后再经过第x个激活函数层的处理，输出第x个特征图

当k＝1，s＝1，x＝2,3，…，X时，将第x个特征图

作为第x+1个二维卷积层的输入，从而由第x+1个激活函数层输出第x+1个特征图

进而由第X个激活函数层输出第X个特征图

当k＝1，s＝2,3,...,S时，将第X个特征图

输入第s级多层二维卷积层中，并由第s级多层二维卷积层输出第s个特征图DFeature_s ^(k)，进而由第k个金字塔子网络的第S级多层二维卷积层DConv2d_S输出第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中特征融合模块的输出；

步骤2.2.2：重建模块由S个多层二维卷积层构成，记RConv2d₁,...,RConv2d_s,...,RConv2d_S，其中，RConv2d_s表示第s级多层二维卷积层；s∈[1,S]；

第s级多层二维卷积层为RConv2d_s，包括：X个二维卷积层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x，x＝1,2,...,X；

当k＝1，s＝1，x＝1时，将第k个金字塔子网络中特征融合模块的输出DFeature_S ^(k)经过第k个金字塔子网络的第s级多层二维卷积层中第x个二维卷积层的处理后再经过第x个激活函数层的处理，输出第x个特征图

当k＝1，s＝1，x＝2,3，…，X时，将第x个特征图

作为第x+1个二维卷积层的输入，从而由第x+1个激活函数层输出第x+1个特征图

进而由第X个激活函数层输出第X个特征图

记作

当k＝1，s＝2,3,...,S时，第k个金字塔子网络的特征融合模块中第S-(s-1)级多层卷积层DConv2d_S-(s-1)输出的特征图DFeature_S-(s-1) ^(k)和重建模块中第s-1个多层卷积层RConv2d_s-1输出的特征图

进行拼接形成跳跃连接层共同作为第s个多层二维卷积层RConv2d_s的输入；进而由第S个多层二维卷积层RConv2d_S输出第S个特征图

该结果为k＝1时金字塔的输出，记作

步骤2.2.3：当k＝2,3,…,K时，将第1个特征图DFeature₁ ^(k)经过第k个金字塔子网络的特征融合模块的第s个多层二维卷积层中，并经过S个多层二维卷积层的处理，得到第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中特征融合模块的输出；

步骤2.2.4：中间模块为跨尺度注意力特征融合层；

当k＝2,3,...,K时，将第k-1个金字塔子网络中特征融合模块的输出DFeature_S ^{(k -1)}以及第k个金字塔子网络中特征融合模块的输出DFeature_S ^(k)输入中间模块进行特征融合，并输出特征图Dresult^(k)；

步骤2.2.5：特征图Dresult^(k)输入第k个金字塔子网络中重建模块，并经过S个多层二维卷积层的处理，输出第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中重建模块的输出即为第k层金字塔子网络输出的特征图

进而由第K层金字塔输出的特征图

步骤三：网络的训练与优化；

本发明实施例中在训练阶段，该泛锐化方法通过使用两种不同类型的损失来生成HRMS图像。因此，分别利用图像重建损失和正则化项用于空间和光谱信息的保存进行有监督训练。

步骤3.1：本实施例中，使用高斯核建立了真实HRMS图像的高斯金字塔。在提出的渐进框架中，每个层都有其损失函数和相应的真实图像。该实例使用不同尺度的HRMS图像作为中间层的监督。因此，在每个子网上都采用了平均绝对值误差。总体重建损失被表示为式(1)所示的图像重构损失函数L_recon：

式(1)中，n表示数据集中数据对集合中元素个数，

表示第i个数据对经过第k个金字塔的输出结果；

表示第i个数据对中高光谱图像第K-k个高斯金字塔的分解图；

步骤3.2：对比正则化。受对比学习的启发，正则化项有助于生成更视觉效果更优的HRMS图像。重建图像从表示空间中远离负图像，并在表示空间中接近正图像。对于潜在特征空间，发明实例从固定预训练模型中选择同一层作为中间特征提取层。该发明实例预先训练了一个用于作为特征提取器的分类器。因此，利用式(2)建立对比正则化损失函数L_CR：

式(2)中，ε表示特征提取器，↑M表示上采样后的多光谱图像集合；

步骤3.3：利用式(3)建立总损失函数L_total：

L_total＝L_recon+βL_CR (3)

式(3)中，β是平衡图像重构损失函数L_recon和对比正则化损失函数L_CR的超参数；

步骤3.4：基输入数据对集合对神经网络进行迭代训练，并利用梯度下降法优化总损失函数L_total，直到梯达到设定的总迭代次数为止，从而得到最佳遥感图像融合锐化网络，用于对任意低分辨率多光谱图像和全色图像进行融合得到高分辨率多光谱图像。

本发明的方法在五个有参考的评价指标和三个无参考指标上均超过其他对比方法，综上，本发明提供的方法是利用端到端训练，网络结构简单的渐进式网络结构，在充分挖掘空间和光谱信息的全局关联下，利用深度学习算法实现重建高分辨率高光谱图像任务，除此之外，本发明提供的方法可以通过构造正负样本对的方式加入对比正则化损失，使得重建图像得到更佳的视觉效果，为未来利用卫星图像进行融合提供了可行的解决思路。

Claims (1)

1.一种基于渐进式跨尺度注意力网络的遥感图像融合锐化方法，其特征包括如下步骤：

步骤一：构建输入样本数据，包括数据的获取以及预处理；

步骤1.1：获取高分辨率多光谱图像及其对应的全色图像并进行裁剪操作，从而构建图像数据集；其中，所述像数据集中的高分辨率多光谱图像集合记为H∈R^M×N×B，所述像数据集中的全色图像集合记为P∈R^M×N，M表示图像长度，N表示图像宽度，B表示频带数；

步骤1.2：对所述高分辨率多光谱图像集合H进行双三次插值降采样处理，得到低分辨率多光谱图像集合，记为M∈R^m×n′×B，其中，m表示低分辨率多光谱图像的长度，n′表示低分辨率多光谱图像的宽度，且m＝M/4，n＝N/4；

步骤1.3：由低分辨率多光谱图像集合M以及对应的全色图像集合P构建输入数据对集合{M^j,P^j|j＝1,...n}，其中，M^j表示第j张低分辨率多光谱图像，P^j表示第j张全色图像，n表示集合中图像的总数；构建所述输入数据对集合{M^j,P^j|j＝1,...n}对应的重建目标集合{H^j|j＝1,2,...n}，其中，H^j表示第j个重建目标；

步骤二：构建基于渐进式结构的跨尺度融合网络，包括：K个金字塔子网络；

步骤2.1：使用高斯核将全色图像集合P分解成高斯金字塔{G_k(P)|k＝1,2,…,K}，其中，G_k(P)表示第k层高斯金字塔的分解图；

步骤2.2：构建每个金字塔子网络，且每个金字塔子网络具有相同的结构，令特征图F_k表示第k个金字塔子网络的输入，特征图

表示第k个金字塔子网络的输出；

当k＝1时，将第K层高斯金字塔的分解图G_K(P)和低分辨率多光谱图像集合M在通道维度上进行连接后得到特征图F_k并输入第k个金字塔子网络中，从而输出特征图

当k＝2,3,...,K时，第k-1个高斯金字塔输出的特征图

进行二倍上采样后得到上采样后的特征图

第K-k+1层高斯金字塔的分解图G_K-(k-1)(P)和上采样后的特征图

在通道维度上进行连接后得到特征图F_k并输入第k个金字塔子网络中，从而输出特征图

进而由第K个金字塔子网络输出特征图

并作为跨尺度融合网络的总输出，记为

所述步骤2.2中第1个金字塔子网络包含：特征融合模块和重建模块；其余金字塔子网络均包括：特征融合模块、中间模块和重建模块；

步骤2.2.1：所述特征融合模块由S个多层二维卷积层构成，记为DConv2d₁,...,DConv2d_s,...,DConv2d_S，其中，DConv2d_s表示第s级多层二维卷积层；s∈[1,S]；

所述第s级多层二维卷积层DConv2d_s包括：X个二维卷积层，以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x，x＝1,2,...,X；

当k＝1，s＝1，x＝1时，特征图F_k经过第k个金字塔子网络的第s级多层二维卷积层中第x个二维卷积层的处理后再经过第x个激活函数层的处理，输出第x个特征图

当k＝1，s＝1，x＝2,3，…，X时，将第x个特征图

作为第x+1个二维卷积层的输入，从而由第x+1个激活函数层输出第x+1个特征图

进而由第X个激活函数层输出第X个特征图

当k＝1，s＝2,3,...,S时，将第X个特征图

输入第s级多层二维卷积层中，并由第s级多层二维卷积层输出第s个特征图DFeature_s ^(k)，从而由第k个金字塔子网络的第S级多层二维卷积层DConv2d_S输出第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中特征融合模块的输出；

步骤2.2.2：所述重建模块由S个多层二维卷积层构成，记RConv2d₁,...,RConv2d_s,...,RConv2d_S，其中，RConv2d_s表示第s级多层二维卷积层；s∈[1,S]；

所述第s级多层二维卷积层RConv2d_s，包括：X个二维卷积层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x，x＝1,2,...,X；

当k＝1，s＝1，x＝1时，将第k个金字塔子网络中特征融合模块的输出DFeature_S ^(k)经过第k个金字塔子网络的第s级多层二维卷积层中第x个二维卷积层的处理后再经过第x个激活函数层的处理，输出第x个特征图

当k＝1，s＝1，x＝2,3，…，X时，将第x个特征图

作为第x+1个二维卷积层的输入，从而由第x+1个激活函数层输出第x+1个特征图

进而由第X个激活函数层输出第X个特征图

并记作

当k＝1，s＝2,3,...,S时，第k个金字塔子网络的特征融合模块中第S-(s-1)级多层卷积层DConv2d_S-(s-1)输出的特征图DFeature_S-(s-1) ^(k)和重建模块中第s-1个多层卷积层RConv2d_s-1输出的特征图

进行拼接形成跳跃连接层并共同作为第s个多层二维卷积层RConv2d_s的输入；从而由第S个多层二维卷积层RConv2d_S输出第S个特征图

并作为k＝1时金字塔的输出，记作

步骤2.2.3：当k＝2,3,…,K时，将第s个特征图DFeature_s ^(k)经过第k个金字塔子网络的特征融合模块的第s个多层二维卷积层中，并经过S个多层二维卷积层的处理，得到第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中特征融合模块的输出；

步骤2.2.4：所述中间模块为跨尺度注意力特征融合层；

当k＝2,3,...,K时，将第k-1个金字塔子网络中特征融合模块的输出DFeature_S ^(k-1)以及第k个金字塔子网络中特征融合模块的输出DFeature_S ^(k)输入所述中间模块进行特征融合，并输出特征图Dresult^(k)；

步骤2.2.5：所述特征图Dresult^(k)输入第k个金字塔子网络中重建模块，并经过S个多层二维卷积层的处理，输出第S个特征图DFeature_S ^(k)并作为第k个金字塔子网络中重建模块的输出即为第k层金字塔子网络输出的特征图

进而由第K层金字塔输出的特征图

步骤三.渐进式跨尺度注意力网络的训练与优化；

步骤3.1：利用式(1)建立图像重构损失函数L_recon：

式(1)中，n表示数据集中数据对集合中元素个数，

表示第i个数据对经过第k个金字塔的输出结果；

表示第i个数据对中高光谱图像第K-k个高斯金字塔的分解图；

步骤3.2：利用式(2)建立对比正则化损失函数L_CR：

式(2)中，ε表示特征提取器，↑M表示上采样后的多光谱图像集合；

步骤3.3：利用式(3)建立总损失函数L_total：

L_total＝L_recon+βL_CR (3)

式(3)中，β是平衡图像重构损失函数L_recon和对比正则化损失函数L_CR的超参数；

步骤3.4：基于所述输入数据对集合对神经网络进行迭代训练，并利用梯度下降法优化所述总损失函数L_total，直到达到设定的总迭代次数为止，从而得到最佳遥感图像融合锐化网络，用于对任意低分辨率多光谱图像和全色图像进行融合得到高分辨率多光谱图像。

Images