CN110189282A - 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 - Google Patents

Abstract

本发明涉及一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，该方法分为模型训练和图像融合两个部分。在模型训练阶段，首先将原始清晰多光谱和全色图像降采样，得到模拟训练图像对；然后提取模拟的多光谱和全色图像的特征，利用密集连接网络融合特征，并利用跳跃连接重建高空间分辨率多光谱图像；最后利用Adam算法调整模型的参数。在图像融合阶段，首先提取多光谱和全色图像的特征，利用密集连接网络融合特征，并结合跳跃连接重建高空间分辨率多光谱图像。两个特征提取子网络负责提取输入图像对的特征，三个密集连接网络负责融合特征，跳跃连接和两个转置卷积负责重建高空间分辨率多光谱图像。

Description

基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合 方法

技术领域

本发明属于遥感图像处理领域，具体涉及一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。

背景技术

遥感图像具有两个重要的性质——光谱分辨率和空间分辨率。光谱分辨率指传感器在接收目标辐射的光谱时能够分辨的最小波长范围，这个波长范围越窄，光谱分辨率就越高，传感器能够区分和识别的光谱中各波段光的能力就越强，产生的波段数目就越多，所得到的遥感图像的光谱信息就越丰富。空间分辨率指遥感图像上能够识别的两个相邻地物的最小距离，这个最小距离越小，空间分辨率就越高，遥感图像中可见的地物的细节信息就越丰富，其识别物体的能力就越强。

大多数遥感应用都需要在空间域和光谱域都具有最高分辨率的图像，然而，由于对数据存储量和传感器信噪比做出的折中，这样的图像很难通过单个传感器来获取。因此由于目前的传感器技术的限制，获取的遥感图像要么光谱分辨率较高空间分辨率较低，要么空间分辨率较高光谱分辨率较低。为了缓解这一问题，人们诉求于多传感器。许多光学地球观测卫星，如IKONOS、高分2号和WorldView-2，都携带两种光学传感器来在同一地理区域同时获取具有不同但互补特性的两种图像，其中全色传感器采集只有单个波段的高空间分辨率的图像，而多光谱传感器获取具有多个波段的低空间分辨率的图像。这两种图像分别被称为全色图像和多光谱图像。

在实际应用中，图像中的色彩信息和目标的清晰度对于图像的解译和分析都具有至关重要的作用，因此人们常常会在各种场合需要具有高空间分辨率的多光谱图像。显然，单独的多光谱图像或者全色图像往往难以满足用户的需要。于是，人们尝试使用图像融合技术将多光谱图像和全色图像独有的信息有机地结合起来，利用全色图像中的空间细节信息提升多光谱图像的空间分辨率，得到与全色图像相同的空间分辨率，又具有原来多光谱图像丰富的光谱信息的多光谱图像。这就是多光谱图像融合技术，也叫做多光谱图像全色锐化。目前将多光谱图像和全色图像融合，是得到在光谱域和空间域中都具有最高分辨率的图像的唯一方案。近年来，使用高分辨率遥感图像(例如Google Earth和Bing Maps)的商业产品日益增多，对融合的多光谱图像数据的需求不断增长。此外，多光谱和全色图像融合技术是许多遥感任务如变化检测、目标识别、图像分类等的用于图像增强的重要的预处理步骤。因此，多光谱图像融合受到了遥感界和图像处理界的广泛关注，一直在被深入研究。

本发明针对多光谱和全色图像融合问题，充分利用多光谱图像内丰富的光谱信息和全色图像内空间细节信息，结合两个卷积子网络提取多光谱和全色图像的空间细节和光谱特征，并利用密集连接网络将高层特征进行融合，在融合的特征上利用跳跃连接重构高空间分辨率的多光谱图像，提出一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。

发明内容

要解决的技术问题

为了克服现有的多光谱和全色图像融合方法不能准确地生成高空间分辨率多光谱图像的问题，本发明提出一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。

技术方案

一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，其特征在于包括模型训练和图像融合两个部分；步骤如下：

第一部分：融合模型的训练

输入：图像块集合F₀＝{MS,PAN}，其中原始多光谱图像块MS的尺寸为H×W×S，原始全色图像PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数；

(1)构建仿真训练数据集

步骤1a：将原始多光谱图像块MS进行下采样，从而得到模拟的多光谱图像块该图像块的尺寸为

步骤2b：将下采样的多光谱图像进行双线性插值上采样，从而得到与MS的高度和宽度相同的多光谱图像

步骤3c：将原始全色图像PAN进行下采样得到全色图像 与模拟的上采样多光谱图像的高度和宽度相同；

(2)提取模拟的多光谱图像和全色图像的特征

步骤2a：使用子网络Φ_M提取模拟的上采样多光谱图像的特征F_M2，如等式(1)、(2)和(3)所示；所述的子网络Φ_M由两个卷积层P_M1和P_M2构成；

F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2) (2)

PReLU(x)＝max(x,αx) (3)

其中，PReLU()为激活函数，α为该函数的一个参数；W_M1和W_M2分别为卷积层P_M1和P_M2的权重；b_M1和b_M2分别为卷积层P_M1和P_M2的偏置项；W_M1和W_M2尺寸为3×3；“*”表示卷积操作；

步骤2b：使用子网络Φ_P提取模拟的上采样多光谱图像的特征F_P2，如等式(4)和(5)所示；所述的子网络Φ_P由两个卷积层P_P1和P_P2构成；

F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2) (5)

其中，W_P1和W_P2分别为卷积层P_P1和P_P2的权重；b_P1和b_P2分别为卷积层P_P1和P_P2的偏置项；W_P1和W_P2尺寸为3×3；

步骤2c：提取的模拟的多光谱和全色图像的特征 表示拼接操作；

(3)基于密集连接网络的特征融合

步骤3a：利用密集连接网络提取特征F₃，如等式(6)所示；

F₃＝P₃(F₂)＝D(F₂) (6)

其中，D(x)为密集连接网络；所述的密集连接网络包括6对1×1和3×3的卷积层，其中1×1的卷积核的个数为128，3×3的卷积核的个数为32；

步骤3b：提取第二层密集连接网络特征F₄，如等式(7)所示；

F₄＝P₄(F₃)＝D(F₃) (7)

步骤3c：提取第三层密集连接网络特征F₅，如等式(8)所示；

F₅＝P₅(F₄)＝D(F₄) (8)

(4)基于跳跃连接的高空间分辨率多光谱图像重建

步骤4a：构建跳跃连接，得到特征F₆，

步骤4b：从融合的特征图F₆中重建空间高分辨率多光谱图像F₇，如等式(9)所示。

F₇＝P₇(F₆)＝W₇*PReLU(W₆*F₆+b₆)+b₇ (9)

其中，W₆和W₇表示两个转置卷积层中的权重，b₆和b₇表示转置卷积层中的偏置项；

(5)反向传播调整参数

步骤5a：构建损失函数Loss，如等式(10)所示；

其中，S表示模拟训练图像对的数量；||·||₁表示L1范式；i表示图像对的下标；

步骤5b：利用Adam优化算法计算最优的网络参数{W,b}；

输出：良好学习的网络；

第二部分：多光谱图像的融合

输入：图像块集合F₀＝{MS,PAN}，其中MS的尺寸为H×W×S，PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数；

(1)构建数据集

将多光谱图像MS进行双线性插值上采样，从而得到与PAN的高度和宽度相同的多光谱图像

(2)提取多光谱和全色图像的特征

步骤6a：使用子网络Φ_M提取上采样多光谱图像的特征F_M2，如等式(24)和(25)所示：

F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2) (25)

步骤6b：使用子网络Φ_P提取全色图像PAN的特征F_P2，如等式(26)和(27)所示：

F_P1＝P_P1(PAN)＝PReLU(W_P1*PAN+b_P1) (26)

F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2) (27)

步骤6c：提取的多光谱和全色图像的特征

(3)基于密集连接网络的特征融合

步骤7a：利用训练好的密集连接网络提取特征F₃，如等式(28)所示：

F₃＝P₃(F₂)＝D(F₂) (28)

步骤7b：提取第二层密集连接网络特征F₄，如等式(29)所示：

F₄＝P₄(F₃)＝D(F₃) (29)

步骤7c：提取第三层密集连接网络特征F₅，如等式(30)所示：

F₅＝P₅(F₄)＝D(F₄) (30)

(4)基于跳跃连接的多光谱图像重建

步骤8a：构建跳跃连接，得到特征F₆，

步骤8b：从融合的特征图F₆中重建出高空间分辨率多光谱图像F₇，如等式(31)所示：

F₇＝P₇(F₆)＝W₇*PReLU(W₆*F₆+b₆)+b₇ (31)

输出：多光谱和全色图像融合的高空间分辨率多光谱图像F₇。

有益效果

本发明提出的一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，充分利用多光谱图像内丰富的光谱信息和全色图像内空间细节信息。首先提取多光谱和全色图像特征，利用密集连接网络融合特征，并利用跳跃连接提取底层细节信息，从而有效提高了重构图像的视觉质量，在空域更加有效地重构图像的边缘和纹理等结构特征。对多光谱和全色图像在特征空间中利用密集连接网络进行融合，并利用跳跃连接恢复边缘和纹理等空间细节，能够较好地重构出具有高空间分辨率的多光谱图像。

附图说明

图1为本发明的流程图。

图2为本发明的具体网络结构。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提供了一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法。该方法分为模型训练和图像融合两个部分。在模型训练阶段，首先将原始清晰多光谱和全色图像降采样，得到模拟训练图像对；然后提取模拟的多光谱和全色图像的特征，利用密集连接网络融合特征，并利用跳跃连接重建高空间分辨率多光谱图像；最后利用Adam算法调整模型的参数。在图像融合阶段，首先提取多光谱和全色图像的特征，利用密集连接网络融合特征，并结合跳跃连接重建高空间分辨率多光谱图像。具体深度卷积网络结构如图2所示，两个子网络负责提取输入图像对的特征，三个密集连接网络负责融合特征，跳跃连接和两个转置卷积负责重建高空间分辨率多光谱图像。

具体实施流程如下：

1.融合模型的训练

输入：图像块集合F₀＝{MS,PAN}，其中MS_i的尺寸为H×W×S，PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数。

(1)构建仿真训练数据集

步骤1：将原始多光谱图像块MS进行下采样，从而得到模拟的多光谱图像块该图像块的尺寸为

步骤2：将下采样的多光谱图像进行双线性插值上采样，从而得到与MS的高度和宽度相同的多光谱图像

步骤3：将原始全色图像PAN进行下采样得到全色图像 与模拟的上采样多光谱图像的高度和宽度相同。

(2)提取模拟的多光谱图像和全色图像的特征

步骤1：如图2所示，使用子网络Φ_M提取模拟的上采样多光谱图像的特征F_M2，如等式(1)、(2)和(3)所示；子网络Φ_M由两个卷积层P_M1和P_M2构成；PReLU()为激活函数，α为该函数的一个参数；W_M1和W_M2分别为卷积层P_M1和P_M2的权重；b_M1和b_M2分别为卷积层P_M1和P_M2的偏置项；W_M1和W_M2尺寸为3×3；“*”表示卷积操作；

F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2) (2)

PReLU(x)＝max(x,αx) (3)

步骤2：如图2所示，使用子网络Φ_P提取模拟的上采样多光谱图像的特征F_P2，如等式(4)和(5)所示；子网络Φ_P由两个卷积层P_P1和P_P2构成；W_P1和W_P2分别为卷积层P_P1和P_P2的权重；b_P1和b_P2分别为卷积层P_P1和P_P2的偏置项；W_P1和W_P2尺寸为3×3；

F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2) (5)

步骤3：提取的模拟的多光谱和全色图像的特征 表示拼接操作。

(3)基于密集连接网络的特征融合

步骤1：利用密集连接网络提取特征F₃；图2中绿色部分为密集连接网络，其中conv表示卷积层，1×1和3×3表示卷积核的大小，32和128分别表示卷积核的个数。在图2密集连接网络内部从左向右依次有6对1×1和3×3的卷积层，它们表示本发明采用的每个密集连接网络中有6个特征融合层，它们依次对应等式(8)-(13)，其中H_k,l表示融合模型的第k层中第l个特征融合层，W_k,l,m表示该权重属于融合模型的第k层中第l个特征融合层中第m个卷积层，b_k,l,m表示该偏置项属于融合模型的第k层中第l个融合层中第m个卷积层；在等式(8)-(13)中k均为3，表示该密集连接网络位于融合模型的第三层；图2的密集连接网络中最后一个1×1卷积层用于整合前6层的输出，如等式(6)所示；在等式(6)中，F₃表示融合模型第三层输出的特征，该层为密集连接网络D()，该D()的输出为该网络第7层H_3,7()的输出，[x₀,x₁,...,x_l-1]表示将密集连接网络中第0到l-1层输出的特征图做拼接操作，l表示密集连接网络中的层数；x₀表示密集连接网络第0层输出的特征图，也就是密集连接网络的输入，如等式(7)所示；x_l为密集连接网络第l层的输出，W_3,7和b_3,7分别表示该卷积层的权重和偏置项；

F₃＝P₃(F₂)＝D(F₂)＝H_3,7([x₀,...,x₆])＝PReLU(W_3,7*[x₀,x₁,...,x₆]+b_3,7)(6)

x₀＝F₂ (7)

x₁＝H_3,1(x₀)＝PReLU(W_3,1,2*PReLU(W_3,1,1*x₀+b_3,1,1)+b_3,1,2) (8)

x₂＝H_3,2([x₀,x₁])＝PReLU(W_3,2,2*PReLU(W_3,2,1*[x₀,x₁]+b_3,2,1)+b_3,2,2) (9)

x₃＝H_3,3([x₀,...,x₂])＝PReLU(W_3,3,2*PReLU(W_3,3,1*[x₀,...,x₂]+b_3,3,1)+b_3,3,2) (10)

x₄＝H_3,4([x₀,...,x₃])＝PReLU(W_3,4,2*PReLU(W_3,4,1*[x₀,...,x₃]+b_3,4,1)+b_3,4,2) (11)

x₅＝H_3,5([x₀,...,x₄])＝PReLU(W_3,5,2*PReLU(W_3,5,1*[x₀,...,x₄]+b_3,5,1)+b_3,5,2) (12)

x₆＝H_3,6([x₀,...,x₅])＝PReLU(W_3,6,2*PReLU(W_3,6,1*[x₀,...,x₅]+b_3,6,1)+b_3,6,2) (13)

步骤2：提取第二层密集连接网络特征F₄，如等式(14)所示；该密集连接网络的结构和步骤1中密集连接网络的结构相同；该层密集连接网络中的权重和偏置项的具体数值通过训练得到。

F₄＝P₄(F₃)＝D(F₃) (14)

步骤3：提取第三层密集连接网络特征F₅，如等式(15)所示；该密集连接网络的结构和步骤1中密集连接网络的结构相同；该层密集连接网络中的权重和偏置项的具体数值通过训练得到。

F₅＝P₅(F₄)＝D(F₄) (15)

(4)基于跳跃连接的高空间分辨率多光谱图像重建

步骤1：如图2所示，高空间分辨率多光谱图像重建模块由一个和两个转置卷积层(由conv transpose表示)组成；通过构建跳跃连接，可得到特征

步骤2：从融合的特征图F₆中重建出期望的空间高分辨率多光谱图像F₇，如等式(16)所示，*^T表示转置卷积；W₆和W₇表示两个转置卷积层中的权重，b₆和b₇表示转置卷积层中的偏置项。

F₇＝P₇(F₆)＝W₇*^T PReLU(W₆*^T F₆+b₆)+b₇ (16)

(5)反向传播调整参数

步骤1：构建损失函数Loss；S表示训练图像对的数量；||·||₁表示L1范式；i表示图像对的下标；

步骤2：利用Adam优化算法计算最优的网络参数{W,b}；网络共进行3×10⁵次批训练；每批训练数据为10组图像对；初始学习率为0.001；每迭代10⁵次学习率减半；在这个学习过程中，我们用{W^t,b^t}来表示{W,b}经过随机初始化后在第t次更新后的值，表示由{W^t,b^t}计算得到的网络输出，通过计算参考图像MS和之间的预测误差对于{W^t,b^t}的偏导数，得到{W^t,b^t}的梯度如下：

我们令θ＝{W,b}表示网络中的所有参数，其迭代地更新如下：

m^t＝β₁·m^t-1+(1-β₁)·g^t (19)

v^t＝β₂·v^t-1+(1-β₂)·(g^t)² (20)

输出：良好学习的网络。

2.多光谱图像的融合

输入：图像块集合F₀＝{MS,PAN}，其中MS的尺寸为H×W×S，PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数。

(1)构建数据集

将多光谱图像MS进行双线性插值上采样，从而得到与PAN的高度和宽度相同的多光谱图像

(2)提取多光谱和全色图像的特征

步骤1：如图2所示，使用子网络Φ_M提取上采样多光谱图像的特征F_M2，如等式(24)和(25)所示；子网络Φ_M由两个卷积层P_M1和P_M2构成；PReLU()为激活函数，α为该函数的一个参数；W_M1和W_M2分别为卷积层P_M1和P_M2的权重；b_M1和b_M2分别为卷积层P_M1和P_M2的偏置项；W_M1和W_M2尺寸为3×3；“*”表示卷积操作；

F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2) (25)

步骤2：如图2所示，使用子网络Φ_P提取全色图像PAN的特征F_P2，如等式(26)和(27)所示；子网络Φ_P由两个卷积层P_P1和P_P2构成；W_P1和W_P2分别为卷积层P_P1和P_P2的权重；b_P1和b_P2分别为卷积层P_P1和P_P2的偏置项；W_P1和W_P2尺寸为3×3；

F_P1＝P_P1(PAN)＝PReLU(W_P1*PAN+b_P1) (26)

F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2) (27)

步骤3：提取的多光谱和全色图像的特征

(3)基于密集连接网络的特征融合

步骤1：利用密集连接网络提取特征F₃，如等式(28)所示；D(x)为密集连接网络；

F₃＝P₃(F₂)＝D(F₂) (28)

步骤2：提取第二层密集连接网络特征F₄，如等式(29)所示；

F₄＝P₄(F₃)＝D(F₃) (29)

步骤3：提取第三层密集连接网络特征F₅，如等式(30)所示；

F₅＝P₅(F₄)＝D(F₄) (30)

(4)基于跳跃连接的多光谱图像重建

步骤1：如图2所示，高空间分辨率多光谱图像重建模块由一个和两个转置卷积层(由conv transpose表示)组成；通过构建跳跃连接，可得到特征

步骤2：从融合的特征图F₆中重建出期望的空间高分辨率多光谱图像F₇，如等式(16)所示，*^T表示转置卷积；W₆和W₇表示两个转置卷积层中的权重，b₆和b₇表示转置卷积层中的偏置项。

F₇＝P₇(F₆)＝W₇*^T PReLU(W₆*^T F₆+b₆)+b₇ (31)

输出：多光谱和全色图像融合的高空间分辨率多光谱图像F₇。

Claims (1)

1.一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，其特征在于包括模型训练和图像融合两个部分；步骤如下：

第一部分：融合模型的训练

输入：图像块集合F₀＝{MS,PAN}，其中原始多光谱图像块MS的尺寸为H×W×S，原始全色图像PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数；

(1)构建仿真训练数据集

步骤1a：将原始多光谱图像块MS进行下采样，从而得到模拟的多光谱图像块该图像块的尺寸为

步骤2b：将下采样的多光谱图像进行双线性插值上采样，从而得到与MS的高度和宽度相同的多光谱图像

步骤3c：将原始全色图像PAN进行下采样得到全色图像 与模拟的上采样多光谱图像的高度和宽度相同；

(2)提取模拟的多光谱图像和全色图像的特征

步骤2a：使用子网络Φ_M提取模拟的上采样多光谱图像的特征F_M2，如等式(1)、(2)和(3)所示；所述的子网络Φ_M由两个卷积层P_M1和P_M2构成；

F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2) (2)

PReLU(x)＝max(x,αx) (3)

其中，PReLU()为激活函数，α为该函数的一个参数；W_M1和W_M2分别为卷积层P_M1和P_M2的权重；b_M1和b_M2分别为卷积层P_M1和P_M2的偏置项；W_M1和W_M2尺寸为3×3；“*”表示卷积操作；

步骤2b：使用子网络Φ_P提取模拟的上采样多光谱图像的特征F_P2，如等式(4)和(5)所示；所述的子网络Φ_P由两个卷积层P_P1和P_P2构成；

F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2) (5)

其中，W_P1和W_P2分别为卷积层P_P1和P_P2的权重；b_P1和b_P2分别为卷积层P_P1和P_P2的偏置项；W_P1和W_P2尺寸为3×3；

步骤2c：提取的模拟的多光谱和全色图像的特征F₂＝F_P2⊕F_M2；“⊕”表示拼接操作；

(3)基于密集连接网络的特征融合

步骤3a：利用密集连接网络提取特征F₃，如等式(6)所示；

F₃＝P₃(F₂)＝D(F₂) (6)

其中，D(x)为密集连接网络；所述的密集连接网络包括6对1×1和3×3的卷积层，其中1×1的卷积核的个数为128，3×3的卷积核的个数为32；

步骤3b：提取第二层密集连接网络特征F₄，如等式(7)所示；

F₄＝P₄(F₃)＝D(F₃) (7)

步骤3c：提取第三层密集连接网络特征F₅，如等式(8)所示；

F₅＝P₅(F₄)＝D(F₄) (8)

(4)基于跳跃连接的高空间分辨率多光谱图像重建

步骤4a：构建跳跃连接，得到特征F₆，F₆＝F₂⊕F₅；

步骤4b：从融合的特征图F₆中重建空间高分辨率多光谱图像F₇，如等式(9)所示。

F₇＝P₇(F₆)＝W₇*PReLU(W₆*F₆+b₆)+b₇ (9)

其中，W₆和W₇表示两个转置卷积层中的权重，b₆和b₇表示转置卷积层中的偏置项；

(5)反向传播调整参数

步骤5a：构建损失函数Loss，如等式(10)所示；

其中，S表示模拟训练图像对的数量；||·||₁表示L1范式；i表示图像对的下标；

步骤5b：利用Adam优化算法计算最优的网络参数{W,b}；

输出：良好学习的网络；

第二部分：多光谱图像的融合

输入：图像块集合F₀＝{MS,PAN}，其中MS的尺寸为H×W×S，PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数；

(1)构建数据集

将多光谱图像MS进行双线性插值上采样，从而得到与PAN的高度和宽度相同的多光谱图像

(2)提取多光谱和全色图像的特征

步骤6a：使用子网络Φ_M提取上采样多光谱图像的特征F_M2，如等式(24)和(25)所示：

F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2) (25)

步骤6b：使用子网络Φ_P提取全色图像PAN的特征F_P2，如等式(26)和(27)所示：

F_P1＝P_P1(PAN)＝PReLU(W_P1*PAN+b_P1) (26)

F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2) (27)

步骤6c：提取的多光谱和全色图像的特征F₂＝F_P2⊕F_M2；

(3)基于密集连接网络的特征融合

步骤7a：利用训练好的密集连接网络提取特征F₃，如等式(28)所示：

F₃＝P₃(F₂)＝D(F₂) (28)

步骤7b：提取第二层密集连接网络特征F₄，如等式(29)所示：

F₄＝P₄(F₃)＝D(F₃) (29)

步骤7c：提取第三层密集连接网络特征F₅，如等式(30)所示：

F₅＝P₅(F₄)＝D(F₄) (30)

(4)基于跳跃连接的多光谱图像重建

步骤8a：构建跳跃连接，得到特征F₆，F₆＝F₂⊕F₅；

步骤8b：从融合的特征图F₆中重建出高空间分辨率多光谱图像F₇，如等式(31)所示：

F₇＝P₇(F₆)＝W₇*PReLU(W₆*F₆+b₆)+b₇ (31)

输出：多光谱和全色图像融合的高空间分辨率多光谱图像F₇。