CN109636769A - 基于双路密集残差网络的高光谱和多光谱图像融合方法 - Google Patents

Abstract

本发明公开了一种基于双路密集残差网络的高光谱图像与多光谱图像融合方法，通过融合具有较低空间分辨率的高光谱图像和同一场景下的具有较高空间分辨率的高光谱图像来重建超分辨率高光谱图像。本发明通过双路密集残差网络可以更充分的利用高光谱和多光谱图像中的频域和空间纹理信息，在提高空间分辨率的同时抑制频谱失真，可用于卫星遥感、农业地质普查、医学成像、环境监控等领域。

Description

基于双路密集残差网络的高光谱和多光谱图像融合方法

技术领域

本发明属于图像处理技术领域，具体地涉及高光谱图像和同一场景下的多光谱图像融合的方法，可以应用于高光谱图像超分辨率重建。

背景技术

高光谱成像可以同时获得同一场景下的多幅不同频谱波段范围下的图像。相对于传统成像方式，高光谱图像包含丰富的频谱信息，广泛应用于卫星遥感、农业地质普查、医学成像、环境监控等领域。然而受成像传感器技术的限制，高光谱成像获得更丰富的频谱信息往往是以牺牲空间分辨率作为代价。因此有必要通过设计软件算法实现高光谱图像超分辨率重建技术。其中，通过融合高光谱图像和同一场景下的多光谱图像来实现高光谱图像超分辨率重建往往能获得更高的重建质量，因此是一种很有竞争力的方法。

现有的高光谱图像融合方法，如基于矩阵分解、基于张量分解的方法等，利用高光谱图像的稀疏性、非局部自相似性等先验特性建模，立足于待重建的输入数据求解超分辨率高光谱图像。这类方法往往算法复杂度高，过多依赖先验约束条件，算法适应性较差。随着高光谱成像技术的逐渐普及，高光谱成像数据越来越丰富，这就为基于深度学习的高光谱图像融合技术的发展提供了条件。然而现有的基于深度学习的高光谱图像融合方法还没有做到真正的端到端映射。输入数据往往需要经过预处理后再送入基于深度学习的融合模型，模型的输出往往需要经过后处理才能得到最终的重建结果。这就使得各步骤下的模型参数难以在一个统一的框架下训练，各步骤间参数匹配性较差。因此需要一种基于深度学习的高光谱和多光谱图像融合方法，实现真正的端到端映射。

发明内容

为了解决上述技术问题，本发明提供了一种基于双路密集残差网络的高光谱图像与多光谱图像融合方法，通过融合具有较低空间分辨率的高光谱图像和同一场景下的具有较高空间分辨率的高光谱图像来重建超分辨率高光谱图像。该方法实现了重建过程端到端映射，不需要任何预处理或后处理。

本发明所采用的技术方案是：一种基于双路密集残差网络的高光谱与多光谱图像融合方法，包括以下步骤：

步骤1，构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征；

步骤2，构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征；

步骤3，构建空频特征融合子网络，将步骤1中频域纹理特征与步骤2中的空间纹理特征进行堆叠并从中融合得到超分辨率高光谱图像；

步骤4，通过上述3个子网络构建端到端映射的高光谱/多光谱图像融合网络，并利用训练数据集统一训练所有网络的模型参数；

步骤5，将测试样本输入训练好的融合网络模型得到超分辨高光谱图像。

步骤1具体的具体实现方式如下，

步骤1.1，设置一个卷积层从输入多光谱图像提取浅层特征，该卷积层表示为：

F_M0＝σ_M0(W_M0Y+B_M0)

其中，W_M0和B_M0分别表示该卷积层滤波器和偏置，Y表示输入多光谱图像，F_M0表示该卷积层输出的特征图，σ_M0表示激活函数；

步骤1.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为

F_M1＝σ_M1(W_M1F_M0+B_M1)

F_Ml＝σ_Ml(W_Ml(F_M1,F_M2…F_Ml-1)+B_Ml)

第L层的输出增加了残差连接，该卷积层输出为：

F_ML＝F_M1+σ_ML(W_ML(F_M1,F_M2…F_ML-1)+B_ML)

步骤1.3，通过密集连接卷积层提取的多层次频域纹理特征通过一个卷积层规整，该卷积层表示为：

F_M＝σ_ML+1(W_ML+1F_ML+B_ML+1)。

进一步的，步骤2的具体实现方式如下，

步骤2.1，设置一个卷积层从输入高光谱图像提取浅层特征，该卷积层表示为：

F_H0＝σ_H0(W_H0X+B_H0)

其中，W_H0和B_H0分别表示该卷积层滤波器和偏置，X表示输入高光谱图像，F_H0表示该卷积层输出的特征图，σ_H0表示激活函数；

步骤2.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为

F_H1＝σ_H1(W_H1F_H0+B_H1)

F_Hl＝σ_Hl(W_Hl(F_H1,F_H2…F_Hl-1)+B_Hl)

第L层的输出增加了残差连接，该卷积层输出为：

F_HL＝F_H1+σ_HL(W_HL(F_H1,F_H2…F_HL-1)+B_HL)

步骤2.3，通过密集连接卷积层提取的多层次空间纹理特征通过一个反卷积层上采样，该反卷积层表示为：

F_H＝σ_HL+1(W_HL+1F_HL+B_HL+1)。

进一步的，步骤3的具体实现方式为，

从输入的高光谱和多光谱图像中提取的多层次纹理特征F_H和F_M堆叠后通过大小一个卷积层降维，然后通过全连接层输出得到超分辨率高光谱图像，该过程表示为：

Z＝σ₂(W₂(σ₁(W₁(F_H,F_M)+B₁)+B₂)

其中，W₁,B₁表示特征融合子网络卷积层滤波器和偏置，W₂,B₂表示全连接层滤波器和偏置，σ₁和σ₂分别表示卷积层和全连接层激活函数。

进一步的，步骤4的具体实现方式如下，

步骤4.1，选取高分辨率高光谱图像构造用于训练网络参数的数据集，具体为：

i)原始高光谱图像{Z_i}进行高斯模糊和下采样得到低分辨率高光谱图像{X_i}；

ii)选择合适的频谱映射函数对原始高光谱图像{Z_i}进行频域压缩得到高分辨率多光谱图像{Y_i}；

iii)将{X_i}，{Y_i}，{Z_i}分别进行多个角度的旋转，以对训练数据进行扩充得到训练数据集{X_i,Y_i,Z_i}；

步骤4.2，将训练数据集送入融合网络，通过最小化如下均方差函数来优化网络参数：

其中N表示训练数据集样本总数，Net(·)表示高光谱/多光谱图像融合网络，Θ＝(Θ₁,Θ₂,Θ₃)表示网络参数，其中

Θ₁＝[(σ_M0,W_M0,B_M0),(σ_M1,W_M1,B_M1),…(σ_ML,W_ML,B_ML)]

Θ₂＝[(σ_H0,W_H0,B_H0),(σ_H1,W_H1,B_H1),…(σ_HL,W_HL,B_HL)]

Θ₃＝[(σ₁,W₁,B₁),(σ₂,W₂,B₂)]。

进一步的，步骤1.1和步骤2.1中的激活函数使用参数修正线性单元(PReLU)作为激活函数。

进一步的，i)中使用均值为零、方差为3、大小为8x8的高斯卷积核对原始高光谱图像{Z_i}进行高斯模糊和下采样得到低分辨率高光谱图像{X_i}；iii)中的多个角度为0o，90o，180o，270。

本发明的优点和有益效果是：

本发明所述的一种基于双路密集残差网络的高光谱与多光谱图像融合机制通过双路密集残差网络更充分的利用高光谱和多光谱图像中的频域和空间纹理信息，在提高空间分辨率的同时抑制频谱失真。同时该网络实现了从输入低分辨率高光谱图像和高分辨率多光谱图像到输出超分辨率高光谱图像的端到端映射，不需要任何预处理或后处理。由于所有模型参数在统一的框架下训练，因而实现了更高的重建准确度。

附图说明

图1为本发明实施的流程图；

图2为本发明实施例的密集残差连接模块结构图；

图3为本发明实施例的高光谱/多光谱图像融合网络结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合图1实施流程图对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供的一种基于双路密集残差网络的高光谱和多光谱图像融合方法，具体步骤如下：

步骤1，构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征，用于构建子网络的密集残差连接模块结构如图2所示，具体过程为：

步骤1.1，设置一个卷积层从输入多光谱图像提取浅层特征，该卷积层包含64个3x3大小卷积核，该卷积层表示为：

F_M0＝σ_M0(W_M0Y+B_M0)

W_M0和B_M0分别表示该卷积层滤波器和偏置，Y表示输入多光谱图像，F_M0表示该卷积层输出的特征图，σ_M0表示激活函数，本发明使用参数修正线性单元(PReLU)作为激活函数。

步骤1.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为

F_M1＝σ_M1(W_M1F_M0+B_M1)

F_Ml＝σ_Ml(W_Ml(F_M1,F_M2…F_Ml-1)+B_Ml)

第L层的输出增加了残差连接，该卷积层输出为：

F_ML＝F_M1+σ_ML(W_ML(F_M1,F_M2…F_ML-1)+B_ML)

步骤1.3，通过密集连接卷积层提取的多层次频域纹理特征通过一个3x3卷积层规整，该卷积层表示为：

F_M＝σ_ML+1(W_ML+1F_ML+B_ML+1)

步骤2，构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征，具体过程为：

步骤2.1，设置一个卷积层从输入高光谱图像提取浅层特征，该卷积层包含64个3x3大小卷积核，该卷积层表示为：

F_H0＝σ_H0(W_H0X+B_H0)

W_H0和B_H0分别表示该卷积层滤波器和偏置，X表示输入高光谱图像，F_H0表示该卷积层输出的特征图，σ_H0表示激活函数，本发明使用参数修正线性单元(PReLU)作为激活函数。

步骤2.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为

F_H1＝σ_H1(W_H1F_H0+B_H1)

F_Hl＝σ_Hl(W_Hl(F_H1,F_H2…F_Hl-1)+B_Hl)

第L层的输出增加了残差连接，该卷积层输出为：

F_HL＝F_H1+σ_HL(W_HL(F_H1,F_H2…F_HL-1)+B_HL)

步骤2.3，通过密集连接卷积层提取的多层次空间纹理特征通过一个3x3反卷积层上采样，该反卷积层表示为：

F_H＝σ_HL+1(W_HL+1F_HL+B_HL+1)

步骤3：构建特征融合子网络，将频域深度特征与空间域深度特征进行堆叠并从中融合得到超分辨率高光谱图像。具体为：从输入的高光谱和多光谱图像中提取的多层次纹理特征F_H和F_M堆叠后通过大小为1x1的卷积层降维，然后通过全连接层输出得到超分辨率高光谱图像，该过程表示为：

Z＝σ₂(W₂(σ₁(W₁(F_H,F_M)+B₁)+B₂)

其中，W₁,B₁表示特征融合子网络1X1卷积层滤波器和偏置，W₂,B₂表示全连接层滤波器和偏置，σ₁和σ₂分别表示1X1卷积层和全连接层激活函数。

步骤4：通过上述步骤1～3子网络构建端到端映射的高光谱/多光谱图像融合网络，网络结构如图3所示，并利用训练数据集统一训练所有网络的模型参数。具体过程为：

步骤4.1，选取高分辨率高光谱图像构造用于训练网络参数的数据集，具体为：

i)使用均值为零、方差为3、大小为8x8的高斯卷积核对原始高光谱图像{Z_i}进行高斯模糊和下采样得到低分辨率高光谱图像{X_i}；

ii)选择合适的频谱映射函数对原始高光谱图像{Z_i}进行频域压缩得到高分辨率多光谱图像{Y_i}；

iii)将{X_i}，{Y_i}，{Z_i}分别进行0o，90o，180o，270o旋转以对训练数据进行扩充得到训练数据集{X_i,Y_i,Z_i}；

步骤4.2，将训练数据集送入融合网络，通过最小化如下均方差函数来优化网络参数：

其中N表示训练数据集中样本总数，Net(·)表示高光谱/多光谱图像融合网络，Θ＝(Θ₁,Θ₂,Θ₃)表示网络参数，其中

Θ₁＝[(σ_M0,W_M0,B_M0),(σ_M1,W_M1,B_M1),…(σ_ML,W_ML,B_ML)]

Θ₂＝[(σ_H0,W_H0,B_H0),(σ_H1,W_H1,B_H1),…(σ_HL,W_HL,B_HL)]

Θ₃＝[(σ₁,W₁,B₁),(σ₂,W₂,B₂)]

步骤5：将测试样本输入训练好的网络模型得到超分辨高光谱图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，本发明的应用范围适用但不限于高光谱图像超分辨率重建、多谱图像融合等图像处理领域。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于，包括以下步骤：

步骤1，构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征；

步骤2，构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征；

步骤3，构建空频特征融合子网络，将步骤1中频域纹理特征与步骤2中的空间纹理特征进行堆叠并从中融合得到超分辨率高光谱图像；

步骤4，通过上述3个子网络构建端到端映射的高光谱/多光谱图像融合网络，并利用训练数据集统一训练所有网络的模型参数；

步骤5，将测试样本输入训练好的融合网络模型得到超分辨高光谱图像。

2.根据权利要求1所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于：步骤1具体的具体实现方式如下，

步骤1.1，设置一个卷积层从输入多光谱图像提取浅层特征，该卷积层表示为：

F_M0＝σ_M0(W_M0Y+B_M0)

其中，W_M0和B_M0分别表示该卷积层滤波器和偏置，Y表示输入多光谱图像，F_M0表示该卷积层输出的特征图，σ_M0表示激活函数；

步骤1.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为

F_M1＝σ_M1(W_M1F_M0+B_M1)

F_Ml＝σ_Ml(W_Ml(F_M1,F_M2…F_Ml-1)+B_Ml)

第L层的输出增加了残差连接，该卷积层输出为：

F_ML＝F_M1+σ_ML(W_ML(F_M1,F_M2…F_ML-1)+B_ML)

步骤1.3，通过密集连接卷积层提取的多层次频域纹理特征通过一个卷积层规整，该卷积层表示为：

F_M＝σ_ML+1(W_ML+1F_ML+B_ML+1)。

3.根据权利要求2所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于：步骤2的具体实现方式如下，

步骤2.1，设置一个卷积层从输入高光谱图像提取浅层特征，该卷积层表示为：

F_H0＝σ_H0(W_H0X+B_H0)

其中，W_H0和B_H0分别表示该卷积层滤波器和偏置，X表示输入高光谱图像，F_H0表示该卷积层输出的特征图，σ_H0表示激活函数；

步骤2.2，设置L层密集连接卷积层，其中第l(l＝1,2,…L-1)个卷积层表示为

F_H1＝σ_H1(W_H1F_H0+B_H1)

F_Hl＝σ_Hl(W_Hl(F_H1,F_H2…F_Hl-1)+B_Hl)

第L层的输出增加了残差连接，该卷积层输出为：

F_HL＝F_H1+σ_HL(W_HL(F_H1,F_H2…F_HL-1)+B_HL)

步骤2.3，通过密集连接卷积层提取的多层次空间纹理特征通过一个反卷积层上采样，该反卷积层表示为：

F_H＝σ_HL+1(W_HL+1F_HL+B_HL+1)。

4.根据权利要求3所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于：步骤3的具体实现方式为，

从输入的高光谱和多光谱图像中提取的多层次纹理特征F_H和F_M堆叠后通过大小一个卷积层降维，然后通过全连接层输出得到超分辨率高光谱图像，该过程表示为：

Z＝σ₂(W₂(σ₁(W₁(F_H,F_M)+B₁)+B₂)

其中，W₁,B₁表示特征融合子网络卷积层滤波器和偏置，W₂,B₂表示全连接层滤波器和偏置，σ₁和σ₂分别表示卷积层和全连接层激活函数。

5.根据权利要求4所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于：步骤4的具体实现方式如下，

步骤4.1，选取高分辨率高光谱图像构造用于训练网络参数的数据集，具体为：

i)原始高光谱图像{Z_i}进行高斯模糊和下采样得到低分辨率高光谱图像{X_i}；

ii)选择合适的频谱映射函数对原始高光谱图像{Z_i}进行频域压缩得到高分辨率多光谱图像{Y_i}；

iii)将{X_i}，{Y_i}，{Z_i}分别进行多个角度的旋转，以对训练数据进行扩充得到训练数据集{X_i,Y_i,Z_i}；

步骤4.2，将训练数据集送入融合网络，通过最小化如下均方差函数来优化网络参数：

其中N表示训练数据集样本总数，Net(·)表示高光谱/多光谱图像融合网络，Θ＝(Θ₁,Θ₂,Θ₃)表示网络参数，其中

Θ₁＝[(σ_M0,W_M0,B_M0),(σ_M1,W_M1,B_M1),…(σ_ML,W_ML,B_ML)]

Θ₂＝[(σ_H0,W_H0,B_H0),(σ_H1,W_H1,B_H1),…(σ_HL,W_HL,B_HL)]

Θ₃＝[(σ₁,W₁,B₁),(σ₂,W₂,B₂)]。

6.根据权利要求3所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于：步骤1.1和步骤2.1中的激活函数使用参数修正线性单元(PReLU)作为激活函数。

7.根据权利要求5所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法，其特征在于：i)中使用均值为零、方差为3、大小为8x8的高斯卷积核对原始高光谱图像{Z_i}进行高斯模糊和下采样得到低分辨率高光谱图像{X_i}；iii)中的多个角度为0o，90o，180o，270。