CN113902646A - 基于深浅层特征加权融合网络的遥感影像泛锐化方法 - Google Patents

Abstract

本发明涉及一种基于深浅层特征加权融合网络的遥感影像泛锐化方法，属于遥感影像处理领域。具体包括如下步骤：步骤1：对原始遥感影像数据进行数据预处理，构造训练集、验证集和测试集；步骤2：构建深浅层特征加权融合网络模型；步骤3：利用上述步骤1中所构造的训练集和验证集训练上述步骤2中所构建的深浅层特征加权融合网络模型；步骤4：利用上述步骤1中所构造的测试集测试上述步骤3中训练好的深浅层特征加权融合网络模型；步骤5：利用不同评价指标评估上述步骤4中深浅层特征加权融合网络模型的测试结果。实验结果表明，本发明所提供的方法不仅具有优异的数值指标表现结果，而且视觉效果也更加突出。

Description

基于深浅层特征加权融合网络的遥感影像泛锐化方法

技术领域

本发明属于遥感影像处理技术领域，具体地涉及一种基于深浅层特征加权融合网络的遥感影像全色锐化方法。

背景技术

遥感影像锐化技术是当前遥感影像处理领域的研究热点，受到了国内外学者们的广泛关注。遥感影响锐化是指将高分辨率全色遥感影像和低分辨率多光谱遥感影像进行融合，从而得到高分辨率多光谱遥感影像。而高分辨率全色遥感影像和低分辨率多光谱遥感影像通常都是从遥感卫星拍摄的地面场景中获取。目前关于遥感影像锐化技术的研究可大致分为四类，分别为基于成分替换的方法、基于多分辨率分析的方法、基于变分优化的方法以及深度学习的方法。其中前两种方法通常会引起空间和光谱畸变，从而产生严重的遥感影像失真。基于变分优化的方法利用一些先验知识或遥感影像退化假设，通常可以获得较好的性能。然而，如何提出合理的假设以及确定适当的先验知识是一项艰难的挑战。

近年来，随着深度学习的迅速发展，基于卷积神经网络的遥感影像锐化技术逐渐被提出。这主要是由于神经网络强大的非线性拟合能力，使得基于深度学习方法得到的结果无论是在评价指标还是视觉感知方面都明显优于传统方法。然而，目前大多数网络都是基于常规恒等跳跃连接层的残差块而设计，这使得网络融合浅层特征和深层特征的能力受到限制。

基于以上背景，为了克服现有深度学习模型融合浅层特征和深层特征能力受限的缺陷。本发明通过引入自适应跳跃权重器，设计了一种基于深浅层特征加权融合网络的遥感影像泛锐化方法。

发明内容

本发明针对技术背景中现有深度学习模型融合浅层特征和深层特征能力受限的缺陷，设计了一种基于深浅层特征加权融合网络的遥感影像泛锐化方法。该方法通过引入自适应跳跃权重器来缩放每个残差块的浅层特征，从而与网络中不同深度的特征进行融合。本发明不仅在多光谱遥感影像锐化任务上取得了优异的性能，且相较其他深度学习模型，大大减小了模型参数量，从而为轻量级网络的设计提供了思路。

本发明的技术方案如下：

一种基于深浅层特征加权融合网络的遥感影像泛锐化方法，包括以下步骤：

步骤1：构造数据集：首先对原始遥感影像数据进行裁剪，并根据瓦尔德协议构造包含低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1的实验数据，然后将实验数据划分为训练集、验证集和测试集，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

步骤2：构建深浅层特征加权融合网络模型：网络主干由卷积层和权重跳跃模块交替串联组成。模型输入为低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1，模型的最终输出结果为高分辨率多光谱遥感影像X∈R^H×W×B，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

步骤3：训练深浅层特征加权融合网络模型：利用上述步骤1中的训练集和验证集训练所述深浅层特征加权融合网络模型，得到损失函数值最小的网络模型，此时网络参数为全局最优；

步骤4：测试深浅层特征加权融合网络模型：利用上述步骤1中的测试集测试训练好的深浅层特征加权融合网络模型，得到高分辨率多光谱遥感影像X∈R^H×W×B；

步骤5：利用不同评价指标评估上述步骤4中模型测试得到的高分辨率多光谱遥感影像X∈R^H×W×B的质量。

优选的，所述步骤1包括：

1-1：对一组真实的高分辨多光谱遥感影像GT∈R^H×W×B，首先通过卫星相应的调制传递函数进行模糊处理，然后采用最邻近插值获取低分辨多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像P∈R^H×W×1，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

1-2：将低分辨率多光谱遥感影像MS∈R^H/r×W/r×B、高分辨率全色遥感影像PAN∈R^{H ×W×1}和真实的高分辨率多光谱遥感影像GT∈R^H×W×B的尺寸分别裁剪为64×64、16×16×8、64×64×8像素；

1-3：将整个数据集按照7:2:1划分为训练集、验证集和测试集。

优选的，所述步骤2包括：

2-1：所构建的深浅层特征加权融合网络模型包括：卷积层、权重跳跃模块、自适应权重器、激活函数、池化层、全连接层；

2-2：设置网络主干所有卷积层的卷积核大小为3×3，通道数为32；

2-3：构建权重跳跃模块，包括2个自适应权重器和3个卷积块。

优选的，所述步骤2-3包括：

2-3-1：构建自适应权重器，对深层特征进行加权融合：自适应权重器包括1个最大池化层、2个全连接层、1个ReLU激活函数、1个Softmax层；

2-3-2：构造卷积块：卷积块包括1个ReLU激活函数和1个卷积层。

优选的，所述步骤2-3-1包括：

2-3-1-1：设置池化层参数；

2-3-1-2：设置全连接层参数；

2-3-1-3：设置激活函数参数；

2-3-1-4：设置Softmax层参数。

优选的，所述步骤2-3-2包括：

2-3-2-1：设置激活函数参数；

2-3-2-2：设置所有卷积层的卷积核大小为3×3，通道数为32。

优选的，所述步骤3包括：

3-1：将尺寸为16×16×8像素的低分辨率多光谱遥感影像MS∈R^H/r×W/r×B通过inter23tap插值得到尺寸为64×64×8的上采样低分辨率多光谱遥感影像LRMS∈R^H×W×B,然后再将其与尺寸为64×64×1像素的高分辨率全色遥感影像PAN∈R^H×W×1在通道维度进行拼接，最后再将拼接后的遥感影像输入到所构建的深浅层特征加权融合网络,其中r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

3-2：利用网络主干的第一个卷积层提取输入的第一个浅层特征；

3-3：将抽取到的第一个浅层特征经过一个权重跳跃模块实现特征加权融合；

3-4：重复步骤3-2和3-3，实现对网络不同深度特征的加权融合；

3-5：将经过特征加权融合网络得到的遥感影像信息与上采样后尺寸为64×64×8像素的低分辨率多光谱遥感影像进行对应元素相加，从而得到最终尺寸为64×64×8像素的高分辨率多光谱遥感影像；

3-6：利用均方误差损失函数计算网络模型测试输出的高分辨率多光谱遥感影像X∈R^H×W×B与参考遥感影像GT∈R^H×W×B之间的差异。

优选的，所述步骤3-6包括：

均方误差损失函数的表达式为：

其中，MS∈R^H/r×W/r×B为低分辨率多光谱遥感影像，PAN∈R^H×W×1为高分辨率全色遥感影像，GT∈R^H×W×B为参考遥感影像，Θ为网络模型的参数集，F(·)表示输入为低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1，参数集为Θ的深浅层特征加权融合网络，N表示训练样本数量，||·||_F为Frobenius范数，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数。

优选的，所述步骤5包括：

5-1：在仿真实验中，使用光谱角匹配SAM、相对全局误差ERGAS、空间相关系数SCC及Q指标来评估模型测试的输出结果X∈R^H×W×B，各指标的具体计算方法如下：

1)光谱角匹配SAM定义如下：

计算通过锐化得到的高分辨率多光谱遥感影像X∈R^H×W×B和参考遥感影像GT∈R^{H ×W×B}对应像素之间的角度，该空间将每个光谱通道视为坐标轴以计算相角；设X_{i}＝[X_{i}，1，...，X_{i}，B]为具有B个光谱通道的高分辨率多光谱遥感影像X∈R^H×W×B的某个像素向量，类似地定义GT_{i}为参考遥感影像GT∈R^H×W×B的某个像素向量，其中B为高分辨率多光谱遥感影像X∈R^H×W×B的波段数，则X_{i}和GT_{i}之间的SAM指标定义如下：

其中<·，·>表示内积，||·||表示l₂范数，通过对所有像素向量的测量结果求平均值，得到整幅遥感影像的全局SAM值，SAM指标的最优值为0；

2)相对全局误差ERGAS定义如下：

均方根误差RMSE是一种常见的评价两幅图之间误差的指标，当且仅当两图完全相等时，达到最优值0。其中，GT为参考遥感影像，X为通过锐化得到的遥感影像。

其中，GT_b为参考遥感影像，X_b为通过锐化得到的遥感影像，Mean(·)表示内积，r表示全色遥感影像PAN与多光谱遥感影像MS空间分辨率的比值，ERGAS综合考虑了所有通道的相对误差，是一种多模态指标，其最优值为0；

3)空间相关系数SCC用来描述几何变形的程度，其表达式如下：

这里，CCS为单张遥感影像间的交叉相关，其计算表达式如下：

其中X为锐化得到的遥感影像，Y为参考遥感影像，Mean(·)表示内积，Q2ⁿ是通用遥感影像质量指数(UIQI)的多波段扩展，Q4指标将每个像素X_{i}建模为四元数，表示如下：

X_{i}＝X_{i}，1+k₁X_{i}，2+k₂X_{i}，3+k₃X_{i}，4

其中k₁，k₂和k₃表示对应通道的线性组合系数，Q4指标计算方法如下：

和

分别表示GT_{i}和X_{i}的均值，

表示遥感影像GT_{i}与X_{i}的协方差，类似的，将Q4指标进一步推广到通道数大于4的情况，可得到Q2ⁿ指标；

5-2：在真实数据实验上使用无参考质量评价指标QNR、光谱畸变指标D_λ和空间畸变指标D_s，其具体计算方法如下：

QNR＝(1-D_λ)^α(1-D_s)^β

QNR由两个指标D_λ和D_s的乘积与系数α和β加权组成，这两个指标分别量化光谱和空间失真，QNR指标越高，融合质量越好；当D_λ和D_s均等于0时，该指标达到最大理论值1；其中光谱失真指标D_λ定义为如下形式：

其中d_i，j(MS，X)＝Q(MS_i，MS)-Q(X_i，X_j)用于度量网络测试输出结果X与原始多光谱遥感影像MS光谱特征的相似度，B为多光谱遥感影像的波段数；因此，在测试过程中保持MS遥感影像各通道之间的关系；Q指标的计算如上文中所示，用于计算两个通道之间的差异，参数p设置为1；

此外，空间失真指标D_s定义为如下形式：

其中，P_LP为全色图PAN的低通部分，B为多光谱遥感影像的波段数量，并且q设置为1。

相对于现有技术，本发明的优点有：

1、本发明设计出了一种基于深浅层特征加权融合网络的遥感影像泛锐化方法，通过引入自适应跳跃权重器来缩放每个残差块的浅层特征，实现与网络中不同深度的特征进行融合，从而克服了现有深度学习模型融合浅层特征和深层特征能力差的缺陷。

2、本发明所设计的深浅层特征加权融合网络大大减小了模型参数量，从而为轻量级卷积神经网络模型的设计提供了思路。

3、本发明在多光谱遥感影像全色锐化任务上取得了优良的性能，具体表现在其优异的评价指标结果和良好的视觉效果。

附图说明

图1为本发明整体实验流程图；

图2为权重跳跃模块WSB以及自适应权重器AW的结构图；

图3为深浅层特征加权融合网络的总体结构图；

图4为本发明在8波段WorldView-3卫星仿真数据集上的全色锐化结果；

图5为本发明在8波段WorldView-3卫星真实数据集上的全色锐化结果。

具体实施方式

针对技术背景中现有深度学习模型融合浅层特征和深层特征能力受限的缺陷，本发明设计了一种基于深浅层特征加权融合网络的遥感影像泛锐化方法。基于深度学习中的残差机制，该方法通过引入自适应跳跃权重器来缩放每个残差块的浅层特征，从而与网络中不同深度的特征进行融合。并最终应用于多光谱遥感影像融合任务，得到评估指标和视觉感知均优于现有深度学习模型的结果。

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例和参照附图，对本发明做进一步的详细说明。

一种基于深浅层特征加权融合网络的遥感影像泛锐化方法，其具体实现步骤如下：

(1)步骤1：

构造数据集：首先对原始遥感影像数据进行裁剪，并根据瓦尔德协议构造包含低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1的实验数据，然后将实验数据划分为训练集、验证集和测试集，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；所述步骤1包括：

1-1：对一组真实的高分辨多光谱遥感影像GT∈R^H×W×B，首先通过卫星相应的调制传递函数进行模糊处理，然后采用最邻近插值获取低分辨多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像P∈R^H×W×1，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

1-2：将低分辨率多光谱遥感影像MS∈R^H/r×W/r×B、高分辨率全色遥感影像PAN∈R^{H ×W×1}和真实的高分辨率多光谱遥感影像GT∈R^H×W×B的尺寸分别裁剪为64×64、16×16×8、64×64×8像素；

1-3：将整个数据集按照7:2:1划分为训练集、验证集和测试集。

(2)步骤2：

构建深浅层特征加权融合网络模型：网络主干由卷积层和权重跳跃模块交替串联组成。模型输入为低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^{H ×W×1}，模型的最终输出结果为高分辨率多光谱遥感影像X∈R^H×W×B，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^{H /r×W/r×B}空间分辨率的比值，B为多光谱遥感影像的波段数；所述步骤2包括：

2-1：所构建的深浅层特征加权融合网络模型包括：卷积层、权重跳跃模块、自适应权重器、激活函数、池化层、全连接层；

2-2：设置网络主干所有卷积层的卷积核大小为3×3，通道数为32；

2-3：构建权重跳跃模块，包括2个自适应权重器和3个卷积块。所述步骤2-3包括：

2-3-1：构建自适应权重器，对深层特征进行加权融合：自适应权重器包括1个最大池化层、2个全连接层、1个ReLU激活函数、1个Softmax层；所述步骤2-3-1包括：

2-3-1-1：设置池化层参数；

2-3-1-2：设置全连接层参数；

2-3-1-3：设置激活函数参数；

2-3-1-4：设置Softmax层参数。

2-3-2：构造卷积块：卷积块包括1个ReLU激活函数和1个卷积层；所述步骤2-3-2包括：

2-3-2-1：设置激活函数参数；

2-3-2-2：设置所有卷积层的卷积核大小为3×3，通道数为32；

(3)步骤3：

训练深浅层特征加权融合网络模型：利用上述步骤1中的训练集和验证集训练所述深浅层特征加权融合网络模型，得到性能最佳的网络模型，此时网络参数为全局最优；所述步骤3包括：

3-1：将尺寸为16×16×8像素的低分辨率多光谱遥感影像MS∈R^H/r×W/r×B通过inter23tap插值得到尺寸为64×64×8的上采样低分辨率多光谱遥感影像LRMS∈R^H×W×B,然后再将其与尺寸为64×64×1像素的高分辨率全色遥感影像PAN∈R^H×W×1在通道维度进行拼接，最后再将拼接后的遥感影像输入到所构建的深浅层特征加权融合网络,其中r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

3-2：利用网络主干的第一个卷积层提取输入的第一个浅层特征；

3-3：将抽取到的第一个浅层特征经过一个权重跳跃模块实现特征加权融合；

3-4：重复步骤3-2和3-3，实现对网络不同深度特征的加权融合；

3-5：将经过特征加权融合网络得到的遥感影像信息与上采样后尺寸为64×64×8像素的低分辨率多光谱遥感影像进行对应元素相加，从而得到最终尺寸为64×64×8像素的高分辨率多光谱遥感影像；

3-6：利用均方误差损失函数计算网络模型测试输出的高分辨率多光谱遥感影像X∈R^H×W×B与参考遥感影像GT∈R^H×W×B之间的差异。所述步骤3-6包括：

均方误差损失函数的表达式为：

其中，MS∈R^H/r×W/r×B为低分辨率多光谱遥感影像，PAN∈R^H×W×1为高分辨率全色遥感影像，GT∈R^H×W×B为参考遥感影像，Θ为网络模型的参数集，F(·)表示输入为低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1，参数集为Θ的深浅层特征加权融合网络，N表示训练样本数量，||·||_F为Frobenius范数，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数。

(4)步骤4：

测试深浅层特征加权融合网络模型：利用上述步骤1中的测试集测试训练好的深浅层特征加权融合网络模型，得到高分辨率多光谱遥感影像X∈R^H×W×B；

(5)步骤5：

利用不同评价指标评估上述步骤4中模型测试得到的高分辨率多光谱遥感影像X∈R^H×W×B的质量。所述步骤5包括：

5-1：在仿真实验中，使用光谱角匹配SAM、相对全局误差ERGAS、空间相关系数SCC及Q指标来评估模型测试的输出结果X∈R^H×W×B，各指标的具体计算方法如下：

1)光谱角匹配SAM定义如下：

计算通过锐化得到的高分辨率多光谱遥感影像X∈R^H×W×B和参考遥感影像GT∈R^{H ×W×B}对应像素之间的角度，该空间将每个光谱通道视为坐标轴以计算相角；设X_{i}＝[X_{i}，1，...，X_{i}，B]为具有B个光谱通道的高分辨率多光谱遥感影像X∈R^H×W×B的某个像素向量，类似地定义GT_{i}为参考遥感影像GT∈R^H×W×B的某个像素向量，其中B为高分辨率多光谱遥感影像X∈R^H×W×B的波段数，则X_{i}和GT_{i}之间的SAM指标定义如下：

其中<·，·>表示内积，||·||表示l₂范数，通过对所有像素向量的测量结果求平均值，得到整幅遥感影像的全局SAM值，SAM指标的最优值为0；

2)相对全局误差ERGAS定义如下：

均方根误差RMSE是一种常见的评价两幅图之间误差的指标，当且仅当两图完全相等时，达到最优值0。其中，GT为参考遥感影像，X为通过锐化得到的遥感影像。

其中，GT_b为参考遥感影像，X_b为通过锐化得到的遥感影像，Mean(·)表示内积，r表示全色遥感影像PAN与多光谱遥感影像MS空间分辨率的比值，ERGAS综合考虑了所有通道的相对误差，是一种多模态指标，其最优值为0；

3)空间相关系数SCC用来描述几何变形的程度，其表达式如下：

这里，CCS为单张遥感影像间的交叉相关，其计算表达式如下：

其中X为锐化得到的遥感影像，Y为参考遥感影像，Mean(·)表示内积，Q2ⁿ是通用遥感影像质量指数(UIQI)的多波段扩展，Q4指标将每个像素X_{i}建模为四元数，表示如下：

X_{i}＝X_{i}，1+k₁X_{i}，2+k₂X_{i}，3+k₃X_{i}，4

其中k₁，k₂和k₃表示对应通道的线性组合系数，Q4指标计算方法如下：

和

分别表示GT_{i}和X_{i}的均值，

表示遥感影像GT_{i}与X_{i}的协方差，类似的，将Q4指标进一步推广到通道数大于4的情况，可得到Q2ⁿ指标；

5-2：在真实数据实验上使用无参考质量评价指标QNR、光谱畸变指标D_λ和空间畸变指标D_s，其具体计算方法如下：

QNR＝(1-D_λ)^α(1-D_s)^β

QNR由两个指标D_λ和D_s的乘积与系数α和β加权组成，这两个指标分别量化光谱和空间失真，QNR指标越高，融合质量越好；当D_λ和D_s均等于0时，该指标达到最大理论值1；其中光谱失真指标D_λ定义为如下形式：

其中d_i，j(MS，X)＝Q(MS_i，MS)-Q(X_i，X_j)用于度量网络测试输出结果X与原始多光谱遥感影像MS光谱特征的相似度，B为多光谱遥感影像的波段数；因此，在测试过程中保持MS遥感影像各通道之间的关系；Q指标的计算如上文中所示，用于计算两个通道之间的差异，参数p设置为1；

此外，空间失真指标D_s定义为如下形式：

其中，P_LP为全色图PAN的低通部分，B为多光谱遥感影像的波段数量，并且q设置为1。

图3为本发明深浅层特征加权融合网络的总体结构图，其由卷积层和权重跳跃模块交替串联组成，损失函数为经典的均方差损失。

图4：为本发明在8波段WorldView-3卫星仿真数据集上的全色锐化结果。第一行从左到右：MS∈R^H/4×W/4×B为低分辨率多光谱遥感影像；LRMS∈R^H×W×B为inter23tap上采样低分辨率多光谱遥感影像；PAN∈R^H×W×1为高分辨率全色遥感影像。第二行从左到右：IHS∈R^H×W×B为基于强度-色调-饱和度变换得到的高分辨率多光谱遥感影像；PNN∈R^H×W×B为基于普通卷积神经网络得到的高分辨率多光谱遥感影像。第三行从左到右：X∈R^H×W×B为本发明得到的高分辨率多光谱遥感影像，其对应各评价指标的平均值为：SAM/ERGAS/SCC/Q8＝3.695/2.544/0.958/0.915；GT∈R^H×W×B为真实的高分辨率多光谱遥感影像。从图中可以看出，由本发明所设计的深浅层特征加权融合网络得到的高分辨率多光谱遥感影像X∈R^H×W×B能较好地保留光谱和空间信息，更接近于真实的高分辨率多光谱遥感影像GT∈R^H×W×B。此外，由本发明得到的高分辨率多光谱遥感影像X∈R^H×W×B也获得了优异的数值结果。

图5为本发明在在8波段WorldView-3真实数据集上的全色锐化实验结果。其中，第一行从左到右：MS∈R^H/4×W/4×B为低分辨率多光谱遥感影像；LRMS∈R^H×W×B为inter23tap上采样获得的低分辨率多光谱遥感影像；PAN∈R^H×W×1图为高分辨率全色遥感影像。第二行从左到右：IHS∈R^H×W×B为基于强度-色调-饱和度变换得到的高分辨率多光谱遥感影像；PNN∈R^{H ×W×B}为基于普通卷积神经网络得到的高分辨率多光谱遥感影像；X∈R^H×W×B为本发明所得到的高分辨率多光谱遥感影像，其对应各评价指标的平均值为：QNR/D_λ/D_s＝0.964/0.016/0.020。注：由于是真实数据实验，因此无GT图。从图中可以看出，由本发明所设计的深浅层特征加权融合网络在真实数据集上同样表现出了显著的视觉效果。此外，优异的数值结果也进一步表明了本发明所得到的高分辨率多光谱遥感影像X∈R^H×W×B与原始低分辨率多光谱遥感影像MS∈R^H/4×W/4×B的光谱信息非常接近。

Claims (9)

1.一种基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于：包括以下步骤：

步骤1：构造数据集：首先对原始遥感影像数据进行裁剪，并根据瓦尔德协议构造包含低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1的实验数据，然后将实验数据划分为训练集、验证集和测试集，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

步骤2：构建深浅层特征加权融合网络模型：网络主干由卷积层和权重跳跃模块交替串联组成；模型输入为低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1，模型的最终输出结果为高分辨率多光谱遥感影像X∈R^H×W×B，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

步骤3：训练深浅层特征加权融合网络模型：利用上述步骤1中的训练集和验证集训练所述深浅层特征加权融合网络模型，得到损失函数值最小的网络模型，此时网络参数为全局最优；

步骤4：测试深浅层特征加权融合网络模型：利用上述步骤1中的测试集测试训练好的深浅层特征加权融合网络模型，得到高分辨率多光谱遥感影像X∈R^H×W×B；

步骤5：利用不同评价指标评估上述步骤4中模型测试得到的高分辨率多光谱遥感影像X∈R^H×W×B的质量。

2.如权利要求1所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤1包括：

1-1：对一组真实的高分辨多光谱遥感影像GT∈R^H×W×B，首先通过卫星相应的调制传递函数进行模糊处理，然后采用最邻近插值获取低分辨多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像P∈R^H×W×1，其中H和W分别表示遥感影像的高和宽，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

1-2：将低分辨率多光谱遥感影像MS∈R^H/r×W/r×B、高分辨率全色遥感影像PAN∈R^H×W×1和真实的高分辨率多光谱遥感影像GT∈R^H×W×B的尺寸分别裁剪为64×64、16×16×8、64×64×8像素；

1-3：将整个数据集按照7:2:1划分为训练集、验证集和测试集。

3.如权利要求1所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤2包括：

2-1：所构建的深浅层特征加权融合网络模型包括：卷积层、权重跳跃模块、自适应权重器、激活函数、池化层、全连接层；

2-2：设置网络主干所有卷积层的卷积核大小为3×3，通道数为32；

2-3：构建权重跳跃模块，包括2个自适应权重器和3个卷积块。

4.如权利要求3所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤2-3包括：

2-3-1：构建自适应权重器，对深层特征进行加权融合：自适应权重器包括1个最大池化层、2个全连接层、1个ReLU激活函数、1个Softmax层；

2-3-2：构造卷积块：卷积块包括1个ReLU激活函数和1个卷积层。

5.如权利要求4所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤2-3-1包括：

2-3-1-1：设置池化层参数；

2-3-1-2：设置全连接层参数；

2-3-1-3：设置激活函数参数；

2-3-1-4：设置Softmax层参数。

6.如权利要求4所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤2-3-2包括：

2-3-2-1：设置激活函数参数；

2-3-2-2：设置所有卷积层的卷积核大小为3×3，通道数为32。

7.如权利要求1所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤3包括：

3-1：将尺寸为16×16×8像素的低分辨率多光谱遥感影像MS∈R^H/r×W/r×B通过inter23tap插值得到尺寸为64×64×8的上采样低分辨率多光谱遥感影像LRMS∈R^H×W×B,然后再将其与尺寸为64×64×1像素的高分辨率全色遥感影像PAN∈R^H×W×1在通道维度进行拼接，最后再将拼接后的遥感影像输入到所构建的深浅层特征加权融合网络,其中r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数；

3-2：利用网络主干的第一个卷积层提取输入的第一个浅层特征；

3-3：将抽取到的第一个浅层特征经过一个权重跳跃模块实现特征加权融合；

3-4：重复步骤3-2和3-3，实现对网络不同深度特征的加权融合；

3-5：将经过特征加权融合网络得到的遥感影像信息与上采样后尺寸为64×64×8像素的低分辨率多光谱遥感影像进行对应元素相加，从而得到最终尺寸为64×64×8像素的高分辨率多光谱遥感影像；

3-6：利用均方误差损失函数计算网络模型测试输出的高分辨率多光谱遥感影像X∈R^{H ×W×B}与参考遥感影像GT∈R^H×W×B之间的差异。

8.如权利要求7所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤3-6包括：

均方误差损失函数的表达式为：

其中,MS∈R^H/r×W/r×B为低分辨率多光谱遥感影像,PAN∈R^H×W×1为高分辨率全色遥感影像，GT∈R^H×W×B为参考遥感影像，Θ为网络模型的参数集，F(·)表示输入为低分辨率多光谱遥感影像MS∈R^H/r×W/r×B和高分辨率全色遥感影像PAN∈R^H×W×1，参数集为Θ的深浅层特征加权融合网络，N表示训练样本数量，||·||_F为Frobenius范数，r表示高分辨率全色遥感影像PAN∈R^H×W×1与低分辨率多光谱遥感影像MS∈R^H/r×W/r×B空间分辨率的比值，B为多光谱遥感影像的波段数。

9.如权利要求1所述的基于深浅层特征加权融合网络的遥感影像泛锐化方法，其特征在于，所述步骤5包括：

5-1：在仿真实验中，使用光谱角匹配SAM、相对全局误差ERGAS、空间相关系数SCC及Q指标来评估模型测试的输出结果X∈R^H×W×B，各指标的具体计算方法如下：

1)光谱角匹配SAM定义如下：

计算通过锐化得到的高分辨率多光谱遥感影像X∈R^H×W×B和参考遥感影像GT∈R^H×W×B对应像素之间的角度,该空间将每个光谱通道视为坐标轴以计算相角；设x_{i}＝[x_{i}，1，...，X_{i}，B]为具有B个光谱通道的高分辨率多光谱遥感影像X∈R^H×W×B的某个像素向量,类似地定义GT_{i}为参考遥感影像GT∈R^H×W×B的某个像素向量，其中B为高分辨率多光谱遥感影像X∈R^H×W×B的波段数，则X_{i}和GT_{i}之间的SAM指标定义如下:

其中<·，·>表示内积，||·||表示l₂范数，通过对所有像素向量的测量结果求平均值,得到整幅遥感影像的全局SAM值,SAM指标的最优值为0；

2)相对全局误差ERGAS定义如下：

均方根误差RMSE是一种常见的评价两幅图之间误差的指标，当且仅当两图完全相等时，达到最优值0；其中，GT为参考遥感影像，X为通过锐化得到的遥感影像；

其中，GT_b为参考遥感影像，X_b为通过锐化得到的遥感影像，Mean(·)表示内积，r表示全色遥感影像PAN与多光谱遥感影像MS空间分辨率的比值,ERGAS综合考虑了所有通道的相对误差，是一种多模态指标,其最优值为0；

3)空间相关系数SCC用来描述几何变形的程度,其表达式如下：

这里,CCS为单张遥感影像间的交叉相关,其计算表达式如下:

其中X为锐化得到的遥感影像，Y为参考遥感影像，Mean(·)表示内积，Q2ⁿ是通用遥感影像质量指数(UIQI)的多波段扩展，Q4指标将每个像素X_{i}建模为四元数,表示如下：

X_{i}＝X_{i}，1+k₁X_{i}，2+k₂X_{i}，3+k₃X_{i}，4

其中k₁，k₂和k₃表示对应通道的线性组合系数，Q4指标计算方法如下：

和

分别表示GT_{i}和X_{i}的均值，

表示遥感影像GT_{i}与X_{i}的协方差，类似的,将Q4指标进一步推广到通道数大于4的情况,可得到Q2ⁿ指标；

5-2：在真实数据实验上使用无参考质量评价指标QNR、光谱畸变指标D_λ和空间畸变指标D_s，其具体计算方法如下：

QNR＝(1-D_λ)^α(1-D_S)^β

QNR由两个指标D_λ和D_S的乘积与系数α和β加权组成,这两个指标分别量化光谱和空间失真，QNR指标越高,融合质量越好；当D_λ和D_S均等于0时，该指标达到最大理论值1；其中光谱失真指标D_λ定义为如下形式：

其中d_i，j(MS，X)＝Q(MS_i，MS)-Q(X_i，X_j)用于度量网络测试输出结果X与原始多光谱遥感影像MS光谱特征的相似度，B为多光谱遥感影像的波段数；因此，在测试过程中保持MS遥感影像各通道之间的关系；Q指标的计算如上文中所示,用于计算两个通道之间的差异,参数p设置为1；

此外,空间失真指标D_S定义为如下形式：

其中，P_LP为全色图PAN的低通部分,B为多光谱遥感影像的波段数量，并且q设置为1。

Images