CN110119780B - 基于生成对抗网络的高光谱图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的高光谱图像超分辨重建方法，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像，解决了现技术高光谱图像空间分辨率不足，清晰度低，目视效果差的问题。

Description

基于生成对抗网络的高光谱图像超分辨重建方法

【技术领域】

本发明属于遥感图像处理技术领域，具体涉及一种基于生成对抗网络的高光谱图像超分辨重建方法。

【背景技术】

高光谱技术的发展使得高光谱图像在环境监测、地质勘探、农业、军事应用等诸多民用和军事领域有着不可替代的应用，已经深刻影响到我国的经济发展、国防建设和社会生活等各个方面。但是由于传感器噪声以及时间限制等原因，获取的遥感图像质量总是存在空间分辨率和光谱分辨率的折衷。因此，高光谱图像虽然光谱分辨率高，但是图像的空间分辨率不足，清晰度低，目视效果差。然而在实际应用中，迫切需要具有更高空间分辨率的高质量高光谱图像，进而服务于分类、目标识别等处理，因此研究提高高光谱图像的分辨率具有重要的科学价值和应用前景。

单幅图像超分辨率旨在仅从低空间分辨率图像重建高空间分辨率图像，可以打破高光谱成像系统中固有的空间分辨率的局限性，而无需其他任何先验或辅助信息。传统的高光谱图像超分辨率方法通常采用的是非线性插值法，例如双线性和双三次插值法直接利用相邻像素的信息重构超分辨率图像(参见文献IEEE Trans Image Process,10(10):1521–1527,2001)，这种方法容易导致边缘模糊和振铃现象。近年来一些基于卷积神经网络的遥感图像超分辨率方法被相继提出。Liebel等人首次在多光谱图像上成功应用了SRCNN，并发现了一组针对多光谱图像的优化参数(参见文献International Archives of thePhotogrammetry Remote Sensing&S,XLI-B3:883-890,2016)。然而，这种单波段方法的直接应用很容易导致光谱失真。为了解决这个问题，三维全卷积神经网络通过使用三维卷积来同时提取相邻像素的空间信息和相邻波段的频谱相关性，以此来进行高光谱图像超分辨率并取得了不错的效果(参见文献Remote Sensing,9(11):11-39,2017)。另一个解决光谱失真的方法是通过卷积神经网络和非负矩阵分解结合，该方法首先使用SRCNN来提高每个波段的空间分辨率，然后强制超分辨率图像和低分辨率图像端元一致。但是这种方法的性能依赖于端元提取的准确性，这是很难优化的。为此Li等人提出了一种结合空间约束策略(SCT)和深度谱差分卷积神经网络(SDCNN)的方法，该方法首先使用SDCNN来学习低分辨率高光谱图像和高分辨率高光谱图像之间的光谱差异，然后用空间约束策略使重构的超分辨率图像模拟的低分辨率图像和原始的低分辨率图像在空间上相似来增强空间分辨率。然而，由于误差是频带累积的，因此无法有效地学习光谱特征。上述网络在训练时都用均方误差作为损失函数，虽然能够获得不错的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，容易出现过度平滑的纹理，输出图像不具备好的视觉感受。2017年C.Ledig等人首次将生成对抗网络(GAN)用在了解决自然图像超分辨率问题上(参见文献IEEE Conferenceon Computer Vision and Pattern Recognition,2017:105-114)，提出了SRGAN，该方法致力于使重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上，还是高层次的抽象特征上，以及整体概念和风格上都接近。

【发明内容】

本发明的目的是提供一种基于生成对抗网络的高光谱图像超分辨重建方法，以解决现技术高光谱图像空间分辨率不足，清晰度低，目视效果差的问题。

本发明采用以下技术方案：

基于生成对抗网络的高光谱图像超分辨重建方法，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像；

包括以下步骤：

第一步、对高光谱图像划分训练集和验证集；

划分训练集的具体方法是：

将原始高光谱图像作为高分辨率图像记为I^HR，其大小为H×W×D，对I^HR进行空间下采样得到模拟的低分辨率图像，记为I^LR，其大小为h×w×D；

在I^LR上选取t×t×D大小的子区域用于验证网络的性能，其余像素用于训练，其余像素为在I^LR上除去t×t×D大小的子区域以外的区域；

使用z×z×D大小的子区域在用于训练的区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_train，其中第i块低分辨率子图像块记为x_i，同时在I^HR对应的区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_train，其中第i块高分辨率子图像块记为y_i，将X_train和Y_train组成训练集；

其中，H、W和D分别表示图像I^HR的高、宽和波段数，h、w分别表示图像I^LR的高、宽，且H＝c×h，W＝c×w，c是采样因子，z＜t＜1/2min(w,h)，z为2的倍数，64≤z≤128，6≤q≤12；

第二步、构建生成对抗网络，所述生成对抗网络结构包括：

一生成器网络，包括光谱残差块和空间残差块，分别用来从高光谱图像中提取光谱特征和空间特征；

一判别器网络；

其中，所述光谱残差块和所述空间残差块均包括两层卷积层，且两层卷积层中间采用参数修正线性单元层作为激活函数，同时残差块的输入输出之间添加跳跃连接；

构建判别器网络结构的方法为：

将SRGAN结构的二维卷积替换为三维卷积，同时去掉最后一层sigmoid函数转换层，SRGAN为超分辨率生成对抗网络；

判别器网络的损失函数定义为：

其中，

代表采样的原始高分辨率子图像块集，m是批处理尺寸，大小可以根据硬件资源进行调整，

代表生成器网络超分辨重建结果，

表示输入到生成器网络G的一批低分辨率子图像块集，E_Y[·]和

表示取平均，C(Y)和

是判别器网络的输出，sigmoid(·)表示sigmoid函数；

第三步、将训练集输入所述生成对抗网络中，并利用像素损失和对抗损失联合训练；

其中，像素损失定义为：

对抗损失定义为：

生成器总的损失为：

第四步、将验证集通过训练好的所述生成对抗网络中的生成器网络，得到最终的超分辨重建结果。

进一步的，第一步中，划分验证集的具体方法是：

使用z×z×D大小的子区域在用于验证的t×t×D子区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_test，同时其对应的I^HR区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_test，将X_test和Y_test组成验证集。

进一步的，第二步中，构建生成器网络结构方法为：

首先第一层采用64个不同的尺寸为3×3×3的卷积滤波器对输入的低分辨率图像提取低级特征，随后采用PReLU层进行激活，然后采用若干个光谱残差块和空间残差块分别提取高级光谱特征和空间特征，再通过4个不同的尺寸为3×3×3的卷积滤波器整合学习到的特征，最后采用pixelshuffle层提高输入的低分辨率图像的尺寸生成重构的高分辨率图像；

其中，PReLU层为参数线性整流单元层，Pixelshuffle层为子像素卷积层。

进一步的，第二步中，光谱残差块中卷积滤波器的大小为1×1×9，1×1表示空间维度的大小，9表示光谱维度上的深度，空间残差块中卷积滤波器的大小为3×3×D，3×3表示空间维度的大小。

进一步的，第三步中，训练步骤为：

步骤S1，对构建的生成对抗网络进行初始化；

步骤S2，分别从训练集中的X_train和Y_train中采样一个批次低分辨率子图像块集

和对应的一个批次高分辨率子图像块集

输入到生成器网络中，通过最小化公式(5)的L_G损失来更新生成器网络模型的参数，包括各层的权重和偏置；

步骤S3，将生成器网络的输出

和对应的

输入到判别器网络中，通过最小化公式(1)的

损失来更新判别器网络模型的参数，包括各层的权重和偏置；

步骤S4，判断网络是否收敛，即损失是否还在下降：

如未收敛，重复步骤S2和S3，即使用反向传播策略交替更新生成器网络和判别器网络，其中优化器采用Adam，学习率设置为0.0001，Adam为自适应矩估计优化器；

如已收敛，则保存训练好的生成器网络模型。

本发明的有益效果是：本发明针对高光谱图像提出一种基于生成对抗网络的超分辨重建方法，有效地提取了高光谱图像的光谱特征和空间信息，重建结果无论在低层次的像素值上，还是高层次的抽象特征上都接近于真实的高分辨率图像，具备良好的视觉感受和客观评价质量。

【附图说明】

图1是本发明基于生成对抗网络的高光谱图像超分辨重建方法的整体流程图；

图2是本发明基于生成对抗网络的高光谱图像超分辨重建方法的生成器网络结构图；

图3是本发明基于生成对抗网络的高光谱图像超分辨重建方法的生成器网络中残差块结构图；

图4是本发明基于生成对抗网络的高光谱图像超分辨重建方法的判别器网络结构图；

图5是本发明基于生成对抗网络的高光谱图像超分辨重建方法的生成对抗网络训练流程图。

【具体实施方式】

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了一种基于生成对抗网络的高光谱图像超分辨重建方法，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像。

该基于生成对抗网络的高光谱图像超分辨重建方法，包括以下步骤：

第一步、对高光谱图像划分训练集和验证集；

第二步、构建生成对抗网络，对抗网络结构包括：

一生成器网络，包括光谱残差块和空间残差块，分别用来从高光谱图像中提取光谱特征和空间特征；

一判别器网络；

其中，光谱残差块和空间残差块均包括两层卷积层，且两层卷积层中间采用参数修正线性单元层作为激活函数，参数修正线性单元层即PReLU层，同时残差块的输入输出之间添加跳跃连接；

第三步、将训练集输入生成对抗网络中，并利用像素损失和对抗损失联合训练；

其中，像素损失定义为：

对抗损失定义为：

生成器总的损失为：

第四步、将验证集通过训练好的生成对抗网络中的生成器网络，得到最终的超分辨重建结果。

在第一步中，划分训练集的具体方法是：

将原始高光谱图像作为高分辨率图像记为I^HR，其大小为H×W×D，对I^HR进行空间下采样得到模拟的低分辨率图像，记为I^LR，其大小为h×w×D；

在I^LR上选取t×t×D大小的子区域用于验证网络的性能，其余像素用于训练，其余像素为在I^LR上除去t×t×D大小的子区域以外的区域；

使用z×z×D大小的子区域在用于训练的区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_train，其中第i块低分辨率子图像块记为x_i，同时在I^HR对应的区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_train，其中第i块高分辨率子图像块记为y_i，将X_train和Y_train组成训练集；

其中，H、W和D分别表示图像I^HR的高、宽和波段数，h、w分别表示图像I^LR的高、宽，且H＝c×h，W＝c×w，c是采样因子，z＜t＜1/2min(w,h)，z一般选取2的倍数，64≤z≤128，6≤q≤12。

在第一步中，划分验证集的具体方法是：

使用z×z×D大小的子区域在用于验证的t×t×D子区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_test，同时其对应的I^HR区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_test，将X_test和Y_test组成验证集。

在第二步中，构建生成器网络结构方法为：

首先第一层采用64个不同的尺寸为3×3×3的卷积滤波器对输入的低分辨率图像提取低级特征，随后采用PReLU层进行激活，然后采用若干个光谱残差块和空间残差块分别提取高级光谱特征和空间特征，再通过4个不同的尺寸为3×3×3的卷积滤波器整合学习到的特征，最后采用pixelshuffle层提高输入的低分辨率图像的尺寸生成重构的高分辨率图像。其中，PReLU层为参数线性整流单元层，Pixelshuffle层为子像素卷积层。

在第二步中，构建判别器网络结构的方法为：

将SRGAN结构的二维卷积替换为三维卷积，同时去掉最后一层sigmoid函数转换层，SRGAN为超分辨率生成对抗网络；

判别器网络的损失函数定义为：

其中，

代表采样的原始高分辨率子图像块集，m是批处理尺寸，大小可以根据硬件资源进行调整，

代表生成器网络超分辨重建结果，

表示输入到生成器网络G的一批低分辨率子图像块集，E_Y[·]和

表示取平均，C(Y)和

是判别器网络的输出，sigmoid(·)表示sigmoid函数。

在第二步中，光谱残差块中卷积滤波器的大小为1×1×9，1×1表示空间维度的大小，9表示光谱维度上的深度，空间残差块中卷积滤波器的大小为3×3×D，3×3表示空间维度的大小。

在第三步中，训练步骤为：

步骤S1，对构建的生成对抗网络进行初始化；

步骤S2，分别从训练集中的X_train和Y_train中采样一个批次低分辨率子图像块集

和对应的一个批次高分辨率子图像块集

输入到生成器网络中，通过最小化公式(5)的L_G损失来更新生成器网络模型的参数，包括各层的权重和偏置；

步骤S3，将生成器网络的输出

和对应的

输入到判别器网络中，通过最小化公式(1)的

损失来更新判别器网络模型的参数，包括各层的权重和偏置；

步骤S4，判断网络是否收敛，即损失是否还在下降：

如未收敛，重复步骤S2和S3，即使用反向传播策略交替更新生成器网络和判别器网络，其中优化器采用Adam，学习率设置为0.0001，Adam为自适应矩估计优化器；

如已收敛，则保存训练好的生成器网络模型。

实施例：

采用ROSIS传感器采集到的Pavia Center数据集，包含102个波段，1096×714的有效像素。实施本发明包括以下步骤：

第一步、对高光谱数据集划分训练集和验证集

将原始Pavia Center数据集作为高分辨率图像，记为I^HR，大小为1096×714×102，对其进行空间下采样，采样因子选择2，得到的低分辨率图像记为I^LR，大小为548×357×102，选取其中75×75×102大小的子区域用于验证网络的性能，其余像素用于训练，使用64×64×102大小的子区域在用于训练的区域上以步长10滑动产生一系列适合输入到网络的大小为64×64×102的低分辨率子图像块，其组成的集合为X_train，同时在I^HR对应的区域上通过滑窗得到对应的128×128×102大小的高分辨率子图像块所组成的标签集合Y_train，X_train和Y_train组成训练集；然后以同样的方法在用于验证的75×75×102子区域及其对应的I^HR区域上分别得到X_test和Y_test，它们组成验证集。

第二步、构建生成对抗网络

生成对抗网络结构包括生成器网络和判别器网络。本方法根据高光谱图像图谱合一且包含丰富冗余的光谱信息的特点，特别设计了适用于高光谱图像超分辨的生成对抗网络结构。

生成器网络结构如图2所示：其核心是光谱残差块和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，光谱残差块和空间残差块具有相同的结构布局，如图3所示，都包括两层卷积层(Conv)，且中间采用参数修正线性单元层(PReLU层，Parametric Rectified Linear Unit)作为激活函数，同时残差块的输入输出之间添加跳跃连接，不同之处在于两种残差块中卷积的滤波器尺寸不同，光谱残差块中卷积滤波器的大小为1×1×9(1×1表示空间维度的大小，9表示光谱维度上的深度)，空间残差块中卷积滤波器的大小为3×3×102(3×3表示空间维度的大小)，本实例中光谱和空间残差块数量均为2。

根据图2所示，生成器网络结构可概述如下：首先第一层采用64个不同的尺寸为3×3×3的卷积滤波器对输入的低分辨率图像提取低级特征，随后采用PReLU层进行激活，然后采用2个光谱残差块和2个空间残差块分别提取高级光谱特征和空间特征，再通过4个不同的尺寸为3×3×3的卷积滤波器整合学习到的特征，为了避免图像尺寸变动，填充存在于所有上述卷积层中，最后采用pixelshuffle层(参见文献IEEE Conference on ComputerVision and Pattern Recognition,2016:1874-1883)提高输入的低分辨率图像的尺寸生成重构的高分辨率图像；

判别器网络结构如图4所示，图4中，k表示卷积滤波器尺寸，n表示卷积滤波器个数，s表示卷积滤波器移动步长：判别器网络结构布局不同于SRGAN之处在于将二维卷积替换为三维卷积，这样可以更好地适应高光谱图像图谱合一的特点，同时去掉最后一层sigmoid函数转换层。在SRGAN中，判别器网络只能预测输入到其中的超分辨图像的真实程度，也就是说生成器网络对抗损失部分的梯度只来源于超分辨图像。受Relativisticaverage Discriminator(参见文献arXiv preprint,arXiv:1807.00734,2018)的影响，本方法的判别器网络预测原始高分辨率图像比重构的超分辨率图像更真实的概率，相应的生成器网络对抗损失部分的梯度同时来源于超分辨图像和原始高光谱图像，也就是说，生成器网络的更新得益于超分辨图像和原始高光谱图像的共同指导，此处判别器网络的损失函数定义为：

其中

代表采样的原始高分辨率子图像块集，m是批处理尺寸，本实例中大小为4，

(如图2所示)代表生成器网络超分辨重建结果，

表示输入到生成器网络G的一批低分辨率子图像块集，E_Y[·]和

表示取平均，C(Y)和

是判别器网络的输出。

第三步训练生成对抗网络

此实例中像素损失采用基于L₁范数的最小绝对偏差损失函数，定义为：

生成器网络的对抗损失与判别器网络的损失具有对称形式：

可以看出在生成对抗训练中，生成器网络同时受原始高分辨率高光谱图像和超分辨重构图像的指导，因此能产生细节纹理更清晰，看起来更真实的图像。

生成器总的损失为：

如图5所示，生成对抗网络训练流程图包括以下步骤：

步骤S1，对构建的生成对抗网络进行初始化，可采用高斯，半正定或者He初始化，此实例选择He初始化(参见文献IEEE International Conference on Computer Vision,2015：1026-1034)；

步骤S2，分别从训练集中的X_train和Y_train中采样一个批次低分辨率子图像块集

和对应的一个批次高分辨率子图像块集

输入到生成器网络中，通过最小化公式(5)的L_G损失来更新生成器网络模型的参数，包括各层的权重和偏置；

步骤S3，将生成器网络的输出

和对应的

输入到判别器网络中，通过最小化公式(1)的

损失来更新判别器网络模型的参数，包括各层的权重和偏置；

步骤S4，判断网络是否收敛，即损失是否还在下降，如未收敛，重复步骤S2和S3，即使用反向传播策略交替更新生成器网络和判别器网络，其中优化器采用Adam(参见文献arXiv preprint arXiv:1412.6980,2015)，学习率设置为0.0001，如已收敛，则保存训练好的生成器网络模型。

如图1所示，本发明包括以下步骤：

第一步、对高光谱图像划分训练集和验证集；

第二步、构建生成对抗网络，

第三步、将训练集输入生成对抗网络中，并利用像素损失和对抗损失联合训练；

第四步、将验证集通过训练好的生成对抗网络中的生成器网络，得到最终的超分辨重建结果。

第一步中，将原始高光谱图像作为高分辨率图像，记为I^HR，大小为H×W×D，(H，W和D分别表示原始高光谱图像的高，宽和波段数)，对I^HR其进行空间下采样得到模拟的低分辨率图像，记为I^LR，大小为h×w×D，(h是图像I^LR的高，w是图像I^LR的宽，H和h存在关系：H＝c×h，W＝c×w，c是采样因子，)，在I^LR上选取其中t×t×D(z＜t＜1/2min(w,h))大小的子区域用于验证网络的性能，其余像素用于训练，使用z×z×D(z一般选取2的倍数，便于GPU并行计算，64≤z≤128，6≤q≤12)大小的子区域在用于训练的区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_train，其中第i块低分辨率子图像块记为x_i，同时在I^HR对应的区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_train，其中第i块高分辨率子图像块记为y_i，X_train中的x_i和Y_train中的y_i一一对应，X_train和Y_train组成训练集。

然后以同样的方法在用于验证的t×t×D子区域及其对应的I^HR区域上分别得到X_test和Y_test，它们组成验证集。具体为，使用z×z×D大小的子区域在用于验证的t×t×D子区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_test，同时其对应的I^HR区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_test，将X_test和Y_test组成验证集。

第二步中，构建生成对抗网络结构，包括生成器网络和判别器网络。SRGAN(参见文献IEEE Conference on Computer Vision and Pattern Recognition,2017:105-114)是针对自然图像超分辨所设计的生成对抗网络，如果直接应用于高光谱图像超分辨会产生明显的光谱失真现象，所以本方法根据高光谱图像图谱合一且包含丰富冗余的光谱信息的特点，特别设计了适用于高光谱图像超分辨的生成对抗网络结构。

生成器网络结构如图2所示：其核心是光谱残差块和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，光谱残差块和空间残差块具有相同的结构布局，如图3所示，都包括两层卷积层(Conv)，且中间采用参数修正线性单元层(PReLU层，Parametric Rectified Linear Unit)作为激活函数，同时残差块的输入输出之间添加跳跃连接，不同之处在于两种残差块中卷积的滤波器尺寸不同，光谱残差块中卷积滤波器的大小为1×1×9(1×1表示空间维度的大小，9表示光谱维度上的深度)，空间残差块中卷积滤波器的大小为3×3×D(3×3表示空间维度的大小)，残差块的数量可以根据计算资源进行调整。根据图2所示，生成器网络结构可概述如下：首先第一层采用64个不同的尺寸为3×3×3的卷积滤波器对输入的低分辨率图像提取低级特征，随后采用PReLU层进行激活，然后采用若干个光谱残差块和空间残差块分别提取高级光谱特征和空间特征，再通过4个不同的尺寸为3×3×3的卷积滤波器整合学习到的特征，为了避免图像尺寸变动，填充存在于所有上述卷积层中，最后采用pixelshuffle层(参见文献IEEE Conference on ComputerVision and Pattern Recognition,2016:1874-1883)提高输入的低分辨率图像的尺寸生成重构的高分辨率图像；

判别器网络结构如图4所示：网络结构布局和SRGAN基本相同，不同的是将二维卷积替换为三维卷积，这样可以更好地适应高光谱图像图谱合一的特点，同时去掉最后一层sigmoid函数转换层。在SRGAN中，判别器网络只能预测输入到其中的超分辨图像的真实程度，也就是说生成器网络对抗损失部分的梯度只来源于超分辨图像。受Relativisticaverage Discriminator(参见文献arXiv preprint,arXiv:1807.00734,2018)的影响，本发明的判别器网络预测原始高分辨率图像比重构的超分辨率图像更真实的概率，相应的生成器网络对抗损失部分的梯度同时来源于超分辨图像和原始高光谱图像，也就是说，生成器网络的更新得益于超分辨图像和原始高光谱图像的共同指导，此处判别器网络的损失函数定义为：

其中

代表采样的原始高分辨率子图像块集，m是批处理尺寸，大小可以根据硬件资源进行调整，

(如图2所示)代表生成器网络超分辨重建结果，

表示输入到生成器网络G的一批低分辨率子图像块集，E_Y[·]和

表示取平均，C(Y)和

是判别器网络的输出，sigmoid(·)表示sigmoid函数。

进一步，第三步中，像素损失采用基于L₁范数的最小绝对偏差损失函数，利于网络的训练，定义为：

生成器网络的对抗损失与判别器网络的损失具有对称形式：

可以看出在生成对抗训练中，生成器网络同时受原始高分辨率高光谱图像和超分辨重构图像的指导，因此能产生细节纹理更清晰，看起来更真实的图像。

生成器总的损失为：

第三步中，如图5所示，训练步骤如下：

步骤S1，对构建的生成对抗网络进行初始化，可采用高斯，半正定或者He初始化(参见文献IEEE International Conference on Computer Vision,2015：1026-1034)；

步骤S2，分别从训练集中的X_train和Y_train中采样一个批次低分辨率子图像块集

和对应的一个批次高分辨率子图像块集

输入到生成器网络中，通过最小化公式(5)的L_G损失来更新生成器网络模型的参数，包括各层的权重和偏置；

步骤S3，将生成器网络的输出

和对应的

输入到判别器网络中，通过最小化公式(1)的

损失来更新判别器网络模型的参数，包括各层的权重和偏置；

步骤S4，判断网络是否收敛，即损失是否还在下降，如未收敛，重复步骤S2和S3，即使用反向传播策略交替更新生成器网络和判别器网络，其中优化器采用Adam(参见文献arXiv preprint arXiv:1412.6980,2015)，学习率设置为0.0001，如已收敛，则保存训练好的生成器网络模型。

本发明针对高光谱图像提出一种基于生成对抗网络的超分辨重建方法，有效地提取了高光谱图像的光谱特征和空间信息，重建结果无论在低层次的像素值上，还是高层次的抽象特征上都接近于真实的高分辨率图像，具备良好的视觉感受和客观评价质量。

针对高光谱遥感图像光谱分辨率高且图谱合一的特点，以及现有方法不能同时有效地提取光谱信息和空间信息的问题，本发明提供了一种基于生成对抗网络的高光谱图像超分辨重建方法，在生成器网络中构造了光谱和空间残差块，以分别探索相邻波段图像中的光谱相关性以及相邻像素之间的空间上下文信息，从而兼顾光谱特征和空间特征的共同提取。同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出细节纹理更逼真，视觉感受更好的超分辨结果。

Claims (5)

1.基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像；

包括以下步骤：

第一步、对高光谱图像划分训练集和验证集；

划分训练集的具体方法是：

将原始高光谱图像作为高分辨率图像记为I^HR，其大小为H×W×D，对I^HR进行空间下采样得到模拟的低分辨率图像，记为I^LR，其大小为h×w×D；

在I^LR上选取t×t×D大小的子区域用于验证网络的性能，其余像素用于训练，其余像素为在I^LR上除去t×t×D大小的子区域以外的区域；

使用z×z×D大小的子区域在用于训练的区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_train，其中第i块低分辨率子图像块记为x_i，同时在I^HR对应的区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_train，其中第i块高分辨率子图像块记为y_i，将X_train和Y_train组成训练集；

其中，H、W和D分别表示图像I^HR的高、宽和波段数，h、w分别表示图像I^LR的高、宽，且H＝c×h，W＝c×w，c是采样因子，z＜t＜1/2min(w,h)，z为2的倍数，64≤z≤128，6≤q≤12；

第二步、构建生成对抗网络，所述生成对抗网络结构包括：

一生成器网络，包括光谱残差块和空间残差块，分别用来从高光谱图像中提取光谱特征和空间特征；

一判别器网络；

其中，所述光谱残差块和所述空间残差块均包括两层卷积层，且两层卷积层中间采用参数修正线性单元层作为激活函数，同时残差块的输入输出之间添加跳跃连接；

构建判别器网络结构的方法为：

将SRGAN结构的二维卷积替换为三维卷积，同时去掉最后一层sigmoid函数转换层，SRGAN为超分辨率生成对抗网络；

判别器网络的损失函数定义为：

其中，

代表采样的原始高分辨率子图像块集，m是批处理尺寸，大小可以根据硬件资源进行调整，

代表生成器网络超分辨重建结果，

表示输入到生成器网络G的一批低分辨率子图像块集，E_Y[·]和

表示取平均，C(Y)和

是判别器网络的输出，sigmoid(·)表示sigmoid函数；

第三步、将训练集输入所述生成对抗网络中，并利用像素损失和对抗损失联合训练；

其中，像素损失定义为：

对抗损失定义为：

生成器总的损失为：

第四步、将验证集通过训练好的所述生成对抗网络中的生成器网络，得到最终的超分辨重建结果。

2.如权利要求1所述的基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，所述第一步中，划分验证集的具体方法是：

使用z×z×D大小的子区域在用于验证的t×t×D子区域上以步长q滑动产生一系列适合输入到网络的大小为z×z×D的低分辨率子图像块，其组成的集合为X_test，同时其对应的I^HR区域上通过滑窗得到由cz×cz×D大小的高分辨率子图像块所组成的标签集合Y_test，将X_test和Y_test组成验证集。

3.如权利要求1所述的基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，所述第二步中，构建生成器网络结构方法为：

首先第一层采用64个不同的尺寸为3×3×3的卷积滤波器对输入的低分辨率图像提取低级特征，随后采用PReLU层进行激活，然后采用若干个光谱残差块和空间残差块分别提取高级光谱特征和空间特征，再通过4个不同的尺寸为3×3×3的卷积滤波器整合学习到的特征，最后采用pixelshuffle层提高输入的低分辨率图像的尺寸生成重构的高分辨率图像；

其中，PReLU层为参数线性整流单元层，Pixelshuffle层为子像素卷积层。

4.如权利要求3所述的基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，所述第二步中，光谱残差块中卷积滤波器的大小为1×1×9，1×1表示空间维度的大小，9表示光谱维度上的深度，空间残差块中卷积滤波器的大小为3×3×D，3×3表示空间维度的大小。

5.如权利要求1所述的基于生成对抗网络的高光谱图像超分辨重建方法，其特征在于，所述第三步中，训练步骤为：

步骤S1，对构建的生成对抗网络进行初始化；

步骤S2，分别从训练集中的X_train和Y_train中采样一个批次低分辨率子图像块集

和对应的一个批次高分辨率子图像块集

输入到生成器网络中，通过最小化公式(5)的L_G损失来更新生成器网络模型的参数，包括各层的权重和偏置；

步骤S3，将生成器网络的输出

和对应的

输入到判别器网络中，通过最小化公式(1)的

损失来更新判别器网络模型的参数，包括各层的权重和偏置；

步骤S4，判断网络是否收敛，即损失是否还在下降：

如未收敛，重复步骤S2和S3，即使用反向传播策略交替更新生成器网络和判别器网络，其中优化器采用Adam，学习率设置为0.0001，Adam为自适应矩估计优化器；

如已收敛，则保存训练好的生成器网络模型。

Images