CN111161141A - 基于频带间注意力机制对抗学习高光谱单图超分辨率方法 - Google Patents

Abstract

本发明属于高光谱图像超分辨率处理技术领域，公开了一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法，搭建三维生成对抗网络模型，设置其隐含层层数、激活函数、训练函数、损失函数、学习率；将频带注意力机制嵌入生成网络的残差块之间；使用训练数据集对三维生成对抗网络模型进行训练，调整其内部参数；使用测试数据集对三维生成对抗网络模型进行检核，根据模型输出求平均峰值信噪比MPSNR、平均结构相似性指数MSSIM、平均均方根误差MRMSE和光谱角制图SAM，评价三维生成对抗网络模型的超分辨率处理性能。本发明是端对端可训练的高光谱单图超分辨率模型，能够有效实现高光谱图像空间分辨率的增强和光谱保真。

Description

基于频带间注意力机制对抗学习高光谱单图超分辨率方法

技术领域

本发明属于高光谱图像超分辨率处理技术领域，尤其涉及一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法。

背景技术

目前，最接近的现有技术：高光谱图像超分辨率处理的目的是从低分辨的高光谱图像恢复出高分辨率的高光谱图像，打破高光谱图像成像设备的硬件限制。高光谱图像分辨率增强的方法很多，主要可以分为两类：基于单幅图像的超分辨率算法和基于多幅图像融合的超分辨率算法。基于多幅图像融合的高光谱超分辨率技术是通过将同一地物的高光谱图像与其他类型的图像去除冗余，合并互补信息，从而得到对当前地物的高光谱分辨率的描述图像。高光谱全色锐化法是一种基于多幅图像融合的典型算法，引起了很多的关注。高光谱锐化法可以分为五类：分量替换法，多分辨率分析法，贝叶斯法，基于矩阵分解的方法和混合法。分量替换法通常将高光谱图像投影到一个新的域中分离空间信息和光谱信息，再利用全色图像替换其中的空间信息分量。典型的分量替换法包括主成分分析算法，强度-色调-饱和度算法和正交变化算法等，但是这些算法往往会导致光谱失真；典型的多分辨率分析法有基于平滑滤波的强度调制，MTF-Generalized拉普拉斯金字塔，带有高通调制的MTF-Generalized拉普拉斯金字塔以及″a-trous″小波变换等。贝叶斯法是将高光谱锐化问题转化到一个特定的概率框架中，通过选择适当的先验分布对其进行正则化处理。基于矩阵分解的典型方法是耦合非负矩阵分解和非负稀疏编码等。混合法是不同算法的组合，如导引滤波器PCA以及几种PCA的变体。基于多幅图像融合的超分辨率方法因为同时有多幅图像作为输入，已知的准确信息较多，因此往往可以很好的提升空间信息。但是在实际应用中很难获得同一地物完全匹配的多幅图像，因此实用性不高，而且重构图像往往会有较大的光谱失真。

基于单幅图像的高光谱超分辨率算法不需要辅助图像，在实际应用中更具可行性。传统的超分辨率问题可以通过基于滤波的方法得到部分解决，如双线性和双三次插值等。但是基于滤波的方法往往导致边缘模糊和光谱失真，尤其当上采样因子较大时，这些问题表现的更为严重。基于深度学习的高光谱单图超分辨率方法往往具有比传统方法更好的超分辨率处理性能。三维卷积神经网络已经被证明可以用于高光谱图像超分辨率处理问题，但是普通的三维卷积神经网络不能很好地学习光谱带之间相关性，重构图像往往不能保持光谱的一致性。

对抗学习是一种目前广受关注的图像生成算法，已经成功应用于RGB图像超分辨率处理问题，这表明该方法可以获得高质量的重构图像。近年来，注意力机制广泛应用于各种网络中以提高网络的性能。Vasmani等人证明了注意力机制在机器翻译中的有效性；Hu等人提出了一种基于频带注意力机制残差网络的图像分类算法。同时，注意力机制已经被证明是全局信息融合和局部信息获取的有效方法。但是，注意力机制还没有应用于高光谱超分辨率图像处理问题中。

综上所述，现有技术存在的问题是：

(1)现有技术受限于成像系统的硬件设备，很难获得高分辨率的高光谱图像；基于多幅图像融合的超分辨率算法很难获得完全匹配的多幅图像，而且容易造成光谱失真。

(2)传统的基于单幅图像超分辨率算法往往导致边缘模糊和光谱失真，基于深度学习的高光谱单图超分辨率算法，没有考虑不同频带间的相关性，容易造成光谱失真。

解决上述技术问题的难度：通过改善成像系统的硬件设备得到高分辨率的高光谱图像，需增大传感器的尺寸，这会造成设备体积和重量的增加，给遥感卫星的发射带来困难，且成本较高；基于多幅图像融合的算法的难度在于多幅图像的获取；基于单幅图像的超分辨率算法的难度在于提高空间分辨率的同时要求光谱保真。

解决上述技术问题的意义：通过解决上述问题可以克服硬件设备对高光谱图像空间分辨率的限制获得更为理想的高光谱高分辨率图像，提升遥感图像的质量。

发明内容

针对现有技术存在的问题，本发明提供了一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法。

本发明是这样实现的，一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法，所述基于频带间注意力机制对抗学习高光谱单图超分辨率方法包括以下步骤：

步骤一，搭建三维生成对抗网络模型；将频带注意力机制嵌入生成网络的残差块之间；设计损失函数；

步骤二，对已有的高光谱图像数据集进行预处理，获得生成对抗网络的训练数据集和测试数据集；

步骤三，训练生成对抗网络，以训练数据集中的高分辨率高光谱图像作为对抗网络的输入数据，调整网络参数使输出尽可能接近于1，以低分辨率的高光谱图像作为生成网络的输入数据，将输出的重构图像输入判别网络，调整生成网络参数使判别网络的输出也尽可能接近于1，直至生成对抗网络对训练数据集的处理误差小于最小阈值要求时，停止训练；

步骤四，测试三维生成对抗网络，将测试数据集中低分辨率高光谱图像作为生成网络的输入数据，获得网络的输出数据，根据输出数据对三维生成对抗网络超分辨率处理性能进行评价。

进一步，所述基于频带间注意力机制对抗学习高光谱单图超分辨率方法具体包括以下步骤：

第一步，搭建三维生成对抗网络模型；生成网络由三个结构相同的残差块组成，每个残差块主要由两个内核为5×3×3的三维卷积层组成；判别网络主要由六个三维卷积层和一个平均池化层组成；

第二步，将频带注意力机制嵌入生成网络的残差块之间；基于频带注意力机制的残差块输出为：

其中：

X∈R^c×l×h×w为基于频带注意力机制的残差块的输入，F∈R^c×l×h×w为两个三维卷积的输出，δ为Prelu激活函数，

为不同光谱带的权重；

第三步，设计损失函数loss：

l_loss＝α₁l_S+α₂l_E+α₃l_A；

其中，l_S为空间损失函数：

l_S＝l_{l1_loss}+β₁l_{tv_weight-loss}；

其中，l₁为范数损失：

其中，l_{tv_weight_loss}为全变分损失：

其中，

l_E为光谱损失函数：

其中，z_i，j为真实图像第i行、第j列的光谱向量，z′_i，j为重构图像第i行、第j列的光谱向量；

l_A为对抗损失函数：

其中N为训练样本数；

第四步，对已有的高分辨率的高光谱图像进行预处理，使其通过高斯滤波器获得相应低分辨率的高光谱图像；按照一定规则分为训练数据集和测试数据集；

第五步，以损失函数loss最小化为目标，不断训练网络，调整网络参数，当损失函数小于最小精度要求ε时，停止训练，获得最佳超分辨率处理结果；

第六步，将测试数据集作为生成对抗网络的输入数据，获得生成对抗网络的输出数据，根据输出数据求平均峰值信噪比MPSNR、平均结构相似性指数MSSIM、平均均方根误差MRMSE和光谱角制图SAM对神经网络超分辨率处理性能进行评价：

其中，P和

分别表示真实图像和重构图像，MAX_k是第k个频段的最大强度，

和μ_P分别是

和P的均值，

和σ_P分别是

和P的方差，

是

和P协方差，C₁和C₂是用于提高稳定性的两个常数，n＝w×l是像素数，<z_i，z′_i>表示两个光谱z_i和z′_i的点积，||·||₂表示l₂范数运算。

进一步，所述第一步的生成网络主要由三个结构相同的残差块组成，每个残差块由两个内核为5×3×3的三维卷积层组成；判别网络主要由六个三维卷积层和一个平均池化层组成。

进一步，所述第二步的将频带间的注意力机制嵌入残差块，残差块的出去为：

其中：

X∈R^c×l×h×w为基于频带注意力机制的残差块的输入，F∈R^c×l×h×w为两个三维卷积的输出，δ为Prelu激活函数，

为不同光谱带的权重。

进一步，所述第三步的损失函数为：

l_loss＝α₁l_S+α₂l_E+α₃l_A；

其中的l_S、l_E和l_A分别为空间损失函数、光谱损失函数和对抗损失函数。

进一步，所述第三步的空间损失函数：

l_S＝l_{l1_loss}+β₁l_{tv_weight_loss}；

其中，l₁为范数损失：

l_{tv_weight_loss}为全变分损失：

其中，

进一步，所述第三步的光谱损失函数：

其中，z_i，j为真实图像第i行、第j列的光谱向量，z′_i，j为重构图像第i行、第j列的光谱向量。

进一步，所述第三步的对抗损失函数：

其中N为训练样本数。

进一步，所述第五步的生成对抗网络训练过程是指通过调整所构建网络模型中的参数，使得网络的损坏函数loss小于拟合精度要求ε，得到最佳的网络模型。

本发明的另一目的在于提供一种应用所述基于频带间注意力机制对抗学习高光谱单图超分辨率方法的高光谱图像超分辨率处理系统，所述高光谱图像超分辨率处理系统包括：

对抗网络模型搭建模块，用于搭建三维生成对抗网络模型；将频带注意力机制嵌入生成网络的残差块之间；设计损失函数；

数据集获取模块，用于对已有的高光谱图像数据集进行预处理，获得生成对抗网络的训练数据集和测试数据集；

数据集训练模块，用于训练生成对抗网络，以训练数据集中的高分辨率高光谱图像作为对抗网络的输入数据；

网络测试模块，用于测试三维生成对抗网络，将测试数据集中低分辨率高光谱图像作为生成网络的输入数据，获得网络的输出数据，根据输出数据对三维生成对抗网络超分辨率处理性能进行评价。

综上所述，本发明的优点及积极效果为：本发明针对现有高光谱成像系统获得的高光谱图像进行单图超分辨率处理，不需要对现有成像系统做任何改动即可获得高质量的高分辨率的高光谱图像；本发明基于生成对抗网络使重构图像更接近于真实图像；在网络中嵌入残差块以补偿输入数据经过神经网络而造成的信息损失；在生成网络中嵌入频带注意力机制，从而能够学习各光谱带之间的关系，增强有用光谱带的特征，抑制无用光谱带的特征；设计了空间损失函数，光谱损失函数和对抗损失函数，在增强空间分辨率的同时减小光谱失真。

附图说明

图1是本发明实施例提供的基于频带间注意力机制对抗学习高光谱单图超分辨率方法流程图。

图2是本发明实施例提供的基基于频带间注意力机制的对抗学习高光谱单图超分辨率方法实现流程图。

图3是本发明实施例提供的基于频带间注意力机制的生成对抗网络示意图。

图4是本发明实施例提供的生成网络和对抗网络示意图。

图5是本发明实施例提供的基于频带注意力机制的残差块示意图。

图6是发明实施例提供的基于帕维亚大学高光谱图像数据集不同信噪比下各算法超分辨率处理效果对比图。

图7是发明实施例提供的基于帕维亚中心高光谱图像数据集不同信噪比下各算法超分辨率处理效果对比图。

图8是发明实施例提供的基于帕维亚大学高光谱图像数据集不同上采样因子下各算法超分辨率处理效果对比图。

图9是发明实施例提供的基于帕维亚中心高光谱图像数据集不同上采样因子下各算法超分辨率处理效果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于频带间注意力机制对抗学习高光谱单图超分辨率方法包括以下步骤：

S101：搭建三维生成对抗网络模型；将频带注意力机制嵌入生成网络的残差块之间；设计损失函数；

S102：对已有的高光谱图像数据集进行预处理，获得生成对抗网络的训练数据集和测试数据集；

S103：训练生成对抗网络，以训练数据集中高分辨率的高光谱图像作为对抗网络的输入数据，以训练数据集中低分辨率的高光谱图像和高分辨率的高光谱图像作为生成网络的输入数据和输出数据，对网络中的参数进行训练，直至网络损失函数满足最小阈值要求，停止训练；

S104：测试三维生成对抗网络，将测试数据集中低分辨率高光谱图像作为生成网络的输入数据，获得网络的输出数据，根据该输出数据对三维生成对抗网络超分辨率处理性能进行评价。

下面结合附图对本发明的技术方案作进一步的描述。

使用本发明的方法对高光谱单图像进行空间分辨率增强处理，如图2所示，其具体步骤如下：

步骤一：搭建三维生成对抗网络模型；生成网络主要由三个结构相同的残差块组成，每个残差块主要由两个内核为5×3×3的三维卷积层组成；判别网络主要由六个三维卷积层和一个平均池化层组成；学习速率设为1.0e^-3。三维生成对抗网络如图3所示；生成网络和抗网络如图4所示。

步骤二：将频带注意力机制嵌入生成网络的残差块之间；基于频带注意力机制的残差块输出为：

其中：

X∈R^c×l×h×w为基于频带注意力机制的残差块的输入，F∈R^c×l×h×w为两个三维卷积的输出，δ为Prelu激活函数，

为不同光谱带的权重。基于频带间注意力机制的残差块如图5所示。

步骤三：设计损失函数loss：

l_loss＝α₁l_S+α₂l_E+α₃l_A；

其中，α₁＝1、α₂＝1.0e^-2、α₃＝1.0e^-3，l_S为空间损失函数：

l_S＝l_{l1_loss}+β₁l_{tv_weight_loss}；

其中，

为l₁范数损失；

为全变分损失，

l_E为光谱损失函数：

其中，z_i，j为真实图像第i行、第j列的光谱向量，z′_i，j为重构图像第i行、第j列的光谱向量；

l_A为对抗损失函数：

其中N为训练样本数。

步骤四：对帕维亚大学和帕维亚中心通过ROSIS传感器获得的高分辨率的高光谱图像进行预处理，去除不含有用信息的样本，使其通过高斯滤波器获得相应低分辨率的高光谱图像；选择144×144子像素区域用于评价本发明提出的算法性能，其余部分用于训练。

步骤五：将训练集输入生成对抗网络，以损失函数loss最小化为目标，不断训练网络，调整网络参数，当损失函数小于最小精度要求ε时，停止训练，得到训练好的神经网络模型。

步骤六：将测试数据集作为生成对抗网络的输入数据，获得生成对抗网络的输出数据，根据输出数据求平均峰值信噪比(MPSNR)、平均结构相似性指数(MSSIM)、平均均方根误差(MRMSE)和光谱角制图(SAM)对神经网络超分辨率处理性能进行评价。

下面结合对比对本发明的技术效果作详细的描述。

将本发明所述的方法(Proposed)运用于高光谱单图超分辨率处理中，分别对帕维亚大学和帕维亚中心通过ROSIS传感器获得的两个高光谱图像做不同算法的对比实验。本发明选择的用于对比的六种算法分别为Bicubic、SRCNN、VDSR、LapSNR、3DFCN和GDRRN。

表1基于帕维亚大学高光谱图像数据集不同信噪比下各算法定量比较

表2基于帕维亚中心高光谱图像数据集不同信噪比下各算法定量比较

表3基于帕维亚大学高光谱图像数据集不同上采样因子下各算法定量比较

表4基于帕维亚中心高光谱图像数据集不同上采样因子下各算法定量比较

根据表1、表2、表3和表4可得，基于不同高光谱数据集进行实验，利用本发明所述的方法重建的高光谱图像均具有最大的平均峰值信噪比(MPSNR)和最大的平均结构相似指数(MSSIM)以及最小的平均均分根误差(MRMSE)和最小的光谱角制图(SAM)，这说明本发明所述方法在高光谱单图超分辨率处理问题上能够有效实现空间分辨率的增强和光谱保真；当输入图像信噪比发生变化时，本发明所述方法获得的重构图像各性能指标变化较小，这说明本发明所述方法效果稳定；当上采样因子增大时，虽然获得的重构图像质量有所下降，但是各性能指标仍然优于其他同类方法。以上实验超分辨率处理效果如图6、图7、图8和图9。

综上所述，本发明的技术效果显著，对高光谱图像超分辨率处理系统发展、技术研究都提供了较好的技术贡献，在高光谱图像超分辨率处理领域前景广阔，经济效益可观。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述基于频带间注意力机制对抗学习高光谱单图超分辨率方法包括以下步骤：

步骤一，搭建三维生成对抗网络模型；将频带注意力机制嵌入生成网络的残差块之间；设计损失函数；

步骤二，对已有的高光谱图像数据集进行预处理，获得生成对抗网络的训练数据集和测试数据集；

步骤三，训练生成对抗网络，以训练数据集中的高分辨率高光谱图像作为对抗网络的输入数据，调整网络参数使输出尽可能接近于1，以低分辨率的高光谱图像作为生成网络的输入数据，将输出的重构图像输入判别网络，调整生成网络参数使判别网络的输出也尽可能接近于1，直至生成对抗网络对训练数据集的处理误差小于最小阈值要求时，停止训练；

步骤四，测试三维生成对抗网络，将测试数据集中低分辨率高光谱图像作为生成网络的输入数据，获得网络的输出数据，根据输出数据对三维生成对抗网络超分辨率处理性能进行评价。

2.如权利要求1所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述基于频带间注意力机制对抗学习高光谱单图超分辨率方法具体包括以下步骤：

第一步，搭建三维生成对抗网络模型；生成网络由三个结构相同的残差块组成，每个残差块主要由两个内核为5×3×3的三维卷积层组成；判别网络主要由六个三维卷积层和一个平均池化层组成；

第二步，将频带注意力机制嵌入生成网络的残差块之间；基于频带注意力机制的残差块输出为：

其中：

X∈R^c×l×h×w为基于频带注意力机制的残差块的输入，F∈R^c×l×h×w为两个三维卷积的输出，δ为Prelu激活函数，

为不同光谱带的权重；

第三步，设计损失函数loss：

l_loss＝α₁l_S+α₂l_E+α₃l_A；

其中，l_S为空间损失函数：

l_S＝l_{l1_loss}+β₁l_{tv_weight_loss}；

其中，l₁为范数损失：

其中，l_{tv_weight_loss}为全变分损失：

其中，

l_E为光谱损失函数：

其中，z_i，j为真实图像第i行、第j列的光谱向量，z′_i，j为重构图像第i行、第j列的光谱向量；

l_A为对抗损失函数：

其中N为训练样本数；

第四步，对已有的高分辨率的高光谱图像进行预处理，使其通过高斯滤波器获得相应低分辨率的高光谱图像；按照一定规则分为训练数据集和测试数据集；

第五步，以损失函数loss最小化为目标，不断训练网络，调整网络参数，当损失函数小于最小精度要求ε时，停止训练，获得最佳超分辨率处理结果；

第六步，将测试数据集作为生成对抗网络的输入数据，获得生成对抗网络的输出数据，根据输出数据求平均峰值信噪比MPSNR、平均结构相似性指数MSSIM、平均均方根误差MRMSE和光谱角制图SAM对神经网络超分辨率处理性能进行评价：

其中，P和

分别表示真实图像和重构图像，MAX_k是第k个频段的最大强度，

和μ_P分别是

和P的均值，

和σ_P分别是

和P的方差，

是

和P协方差，C₁和C₂是用于提高稳定性的两个常数，n＝w×l是像素数，<z_i，z′_i>表示两个光谱z_i和z′_i的点积，||·||₂表示l₂范数运算。

3.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第一步的生成网络主要由三个结构相同的残差块组成，每个残差块由两个内核为5×3×3的三维卷积层组成；判别网络主要由六个三维卷积层和一个平均池化层组成。

4.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第二步的将频带间的注意力机制嵌入残差块，残差块的出去为：

其中：

X∈R^c×l×h×w为基于频带注意力机制的残差块的输入，F∈R^c×l×h×w为两个三维卷积的输出，δ为Prelu激活函数，

为不同光谱带的权重。

5.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第三步的损失函数为：

l_loss＝α₁l_S+α₂l_E+α₃l_A；

其中的l_S、l_E和l_A分别为空间损失函数、光谱损失函数和对抗损失函数。

6.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第三步的空间损失函数：

l_S＝l_{l1_loss}+β₁l_{tv_weight_loss}；

其中，l₁为范数损失：

l_{tv_weight_loss}为全变分损失：

其中，

7.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第三步的光谱损失函数：

其中，z′_i，j为真实图像第i行、第j列的光谱向量，z′_i，j为重构图像第i行、第j列的光谱向量。

8.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第三步的对抗损失函数：

其中N为训练样本数。

9.如权利要求2所述的基于频带间注意力机制对抗学习高光谱单图超分辨率方法，其特征在于，所述第五步的生成对抗网络训练过程是指通过调整所构建网络模型中的参数，使得网络的损坏函数loss小于拟合精度要求ε，得到最佳的网络模型。

10.一种应用权利要求1～9任意一项所述基于频带间注意力机制对抗学习高光谱单图超分辨率方法的高光谱图像超分辨率处理系统，其特征在于，所述高光谱图像超分辨率处理系统包括：

对抗网络模型搭建模块，用于搭建三维生成对抗网络模型；将频带注意力机制嵌入生成网络的残差块之间；设计损失函数；

数据集获取模块，用于对已有的高光谱图像数据集进行预处理，获得生成对抗网络的训练数据集和测试数据集；

数据集训练模块，用于训练生成对抗网络，以训练数据集中的高分辨率高光谱图像作为对抗网络的输入数据；

网络测试模块，用于测试三维生成对抗网络，将测试数据集中低分辨率高光谱图像作为生成网络的输入数据，获得网络的输出数据，根据输出数据对三维生成对抗网络超分辨率处理性能进行评价。

Images