CN113705526B - 一种高光谱遥感影像分类方法 - Google Patents

Abstract

本发明涉及一种高光谱遥感影像分类方法，与现有技术相比克服了有限样本量下高光谱遥感影像特征提取不充分及分类精度不理想的问题。本发明包括以下步骤：高光谱遥感影像的获取和预处理；生成对抗网络的构建和训练；扩充训练样本的获得；构建多尺度残差注意力网络；多尺度残差注意力网络的训练；待分类高光谱遥感影像的获取；高光谱遥感影像分类结果的获得。本发明在训练样本不足的情况下，也能得到较理想的高光谱遥感影像分类结果。

Description

一种高光谱遥感影像分类方法

技术领域

本发明涉及高光谱遥感影像技术领域，具体来说是一种高光谱遥感影像分类方法。

背景技术

高光谱遥感作为对地观测的一种重要手段，能够获取精细的地物属性信息，在最近几年中得到了足够多的关注度。由于卫星传感器技术的迅速发展，捕获了大量的高光谱遥感影像，这些图像拥有丰富的光谱信息和空间信息，这为高光谱遥感技术的应用带来了新的机遇。高光谱分类旨在根据一些标记的像素样本训练分类器，然后预测图像中其他像素样本对应的标签，以获得图像中不同对象的空间分布。然而，在高光谱图像分类过程中，有限的训练样本和空谱信息提取不充分给HSI分类带来了巨大挑战。

高光谱遥感影像拥有数百条光谱波段，在各相邻波段之间，存在大量冗余数据，这对研究人员计算机硬件要求是一项挑战，并且也给分类结果带来了消极的影响。针对这一问题，在高光谱影像数据输入分类器之前可以对高光谱数据进行特征提取，以减少高光谱遥感数据的维数，减轻计算机硬件负荷，提升运算效率，同时保留高光谱遥感影像大部分特征。常用的降维方法有PCA、LDA、LLE等，这些方法从原始高光谱遥感影像中提取能代表原始数据的信息，并实现降维。为了解决高光谱分类问题，研究人员采用KNN、ELM、SVM等传统的分类器，结合特征选择方法，实现高光谱分类。Li提出了一种基于光谱空间核的高光谱图像分类方法(SSF-SVM)，利用中值滤波(Area Median Filtering,AMF)提取空间特征，与光谱特征联合输入SVM分类器中，提升了分类精度，但在训练样本量较少的情况下，表现不佳。Gu介绍了一种空谱特征与集成极限学习机相结合的分类方法，通过组合的新特征来训练多个分类器，提高了模型的泛化性能，虽然结合了HSI的空间信息和光谱信息，却没充分挖掘图像的深层特征。分类精度的高低主要依赖于特征选择和特征提取的好坏，而在有限样本下，传统的特征提取方法往往很难达到期望的分类结果。

近年来，深度学习理论凭借其强大的自动学习能力，在自然语言处理和图像分类等领域取得了优异的成果。与传统机器学习方法相比，深度学习理论不需要人工设计特征，能够实现端到端学习。CNN模型能够处理二维图像数据，在特征提取上具有独特优势，通常使用非线性激活函数，提取图像的非线性特征，自然引起了人们的关注。Hu首次将CNN用于HSI分类领域，但只使用了一维的卷积核，仅仅关注了HSI的光谱特征。Makantasis通过PCA对HSI进行光谱去冗余，然后将降维后的HSI数据输入2DCNN中进行分类，提取空谱特征。Chen提出了一种基于DBN的高光谱分类方法，融合了空谱特征，提高了分类精度。研究表明，相比于2DCNN，三维的卷积核更加适用于HSI分类。Li提出了一种基于3DCNN的空谱特征提取新框架，使用原始HSI数据作为输入，有效地提取了深度光谱空间组合特征。Zhang等人利用了网络结构中的不同尺度信息，并利用三维密集连接结构对不同层次的特征进行聚合，提出了一种用于HSI分类的多尺度密集网络(MSDN)，提高了精度稳定性。Zhong等人借鉴ResNet，提出了一种空谱残差网络SSRN，分别提取HSI的空间特征和光谱特征，但网络设计冗余。Wang等人为了减少训练时间和提高精度，提出了一种端到端快速密集谱空间卷积(FDSSC)框架用于HSI分类，采用了不同的卷积核提取多尺度空谱特征，展示了在不同感受野上提取有效特征的优势。另外，Swalpa等人设计了一种三维二维结合的混合神经网络(HybridSN)，与单独使用3DCNN相比，混合神经网络降低了模型的复杂性，并通过实验验证了混合卷积网络在高光谱分类的潜力。Feng等人从网络优化的角度设计了一个11层的CNN模型R-HybridSN(Residual-HybridSN)，在很少的训练数据下，更好地学习了深度层次空间光谱特征。

尽管基于卷积神经网络的方法在高光谱图像分类领域获得了很好的效果，但是在网络模型训练过程中，卷积层输出的特征图对分类的贡献度并不相同，特征图之间也存在相关性。因此，为了有区别地处理不同的特征图，聚焦更有用的特征，采用注意力机制对特征映射进行细化。Hu等人构建了SENet(Squeeze-and-Excitation)，在ILSVRC 2017分类比赛中取得了惊人的成绩。Fang等人引入了光谱注意力机制，提出了一种端到端的三维密集网络MSDN-SA，提高了训练模型的分类性能。Woo等人提出Convolutional Block AttentionModule(CBAM)，分别从通道维和空间维提取了更加精细的信息。Sun等人设计了一种光谱空间注意网络(SSAN)，通过引入注意模块来抑制干扰像素的影响，得到了很好的分类结果。

训练样本的数量作为影响CNN模型性能的关键因素之一，而从高分辨率图像中收集大量的训练样本是一项具有挑战性的工作。因此针对HSI中标记样本严重缺失的问题，数据扩充是一种有效方法。随机翻转、裁剪和添加噪声是典型的数据增强技术，但通常对分类起到的积极效果较小。最近，生成模型由于能够生成高质量的样本，缓解过拟合问题，受到了研究人员广泛的关注。Goodfellow等人提出的一种通过对抗过程估计生成模型的新框架GANs(Generative Adversarial Networks，GANs)，采用对抗的方式训练网络，生成能估测样本潜在分布的新数据样本，其提供了一种不需要标注训练数据就能学习深度表征的方式，实验证明了该框架的潜力。近年来，GAN已被广泛用于对象检测、图像翻译等多种应用领域。

那么如何在高光谱有限训练样本下，充分提取高光谱影像的空谱特征，以实现高光谱遥感影像的高效率、高质量分类已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以针对高光谱遥感影像进行分类的缺陷，提供一种高光谱遥感影像分类方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种高光谱遥感影像分类方法，包括以下步骤：

11)高光谱遥感影像的获取和预处理：获取高光谱遥感影像作为待训练的高光谱影像，并进行预处理；

12)生成对抗网络的构建和训练：对生成对抗网络进行构建设定，然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练，得到训练后的生成对抗网络；

13)扩充训练样本的获得：利用训练后的生成对抗网络生成新的待训练高光谱影像，并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并，得到样本扩充后的待训练高光谱影像；

14)构建多尺度残差注意力网络：以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础，建立具有多尺度特征提取能力的多尺度残差注意力网络；

15)多尺度残差注意力网络的训练：将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练，得到训练后的多尺度残差注意力网络；

16)待分类高光谱遥感影像的获取：获取待分类的高光谱遥感影像并进行预处理；

17)高光谱遥感影像分类结果的获得：将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络，得到高光谱遥感影像分类结果。

所述高光谱遥感影像的获取和预处理包括以下步骤：

21)从高光谱遥感影像的每类地物中按比例选取样本S和标签L，作为待训练的高光谱遥感影像样本，该样本数据为三维数据，尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数；

22)将待训练的高光谱遥感影像样本S转化为二维数据，尺寸大小为(w×w,c)，此时每一行代表一个训练样本、每一列代表不同波段，标签L同样转变为w×w行的一维向量；然后通过标准归一化操作，将训练样本数据转换为符合均值为0，标准差为1的标准正态分布数据，其归一化公式如下：

其中，

表示输入二维矩阵中第j列第i个地物样本，μ^j表示第j列的所有样本均值，σ^j表示第j列所有样本的标准差，

表示输出二维矩阵中第j列第i个地物样本。

所述生成对抗网络的构建和训练包括以下步骤：

31)利用生成器G和判别器D构建生成对抗网络，其中G和D分别设置了四层全连接网络，每层节点数为512、批大小为256、学习率为5e^-5，并使用LeakyReLU作为非线性激活函数，利用交叉熵损失函数分别计算生成器G和判别器D的误差，并采用RMSprop优化算法来对G和D进行优化；

32)将尺寸为(256，n)的初始噪声信号z输入到生成器中，得到经生成器生成尺寸为(256，c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数，n设置为100，生成器G的优化目标公式表示如下：

其中，G(z)为生成器生成的假样本，D代表判别器输出的概率值，log表示对数运算，E为加权平均，p_z(z)代表随机噪声z的分布，T_G为生成器的目标函数；

33)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中，得到输入数据被判别为真实数据的概率，判别器D的优化目标公式表示如下：

其中，x为输入的真实训练样本，p_data(x)为真是样本的分布，T_D为判别器的目标函数；

34)将待训练的高光谱数据及地物标签输入到生成对抗网络后，先固定G的参数不变，对D进行有监督分类，以致于使D更好的判断真假样本；其次，固定D的参数不变，对G进行训练，按D判断的损失来对G的参数将信息更新；不断重复上述过程，直至迭代10000次，得到训练好的生成对抗网络。

所述构建多尺度残差注意力网络包括以下步骤：

41)搭建3D卷积神经网络模型，并创建3D多尺度特征提取模块，其中，3D多尺度特征提取模块包含三个分支，每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核，通道数均为k，然后串联所有尺度下的输出特征映射图；最后，再使用1×1×1的卷积核进行特征融合操作，得到3D融合特征；

将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块，根据不同通道的重要性程度，重新分配通道维度的权重信息，实现对提升网络性能的通道特征进行加强，其中，通道注意力模块计算过程如下：

其中，CA_F代表通道注意力图，F_3D表示3D输入特征图，δ与δ′分别表示sigmoid和relu激活函数，SN代表共享网络，其包含二层3D卷积层和一层relu激活层，W₀与W₁为共享网络的权重，

和

分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符；

将生成的通道注意力图CA_F与原3D输入特征图相乘，对各个通道赋予不同的权重，实现对各通道重要性的修正，用数学公式表示为：

其中，CA_F代表通道注意力图，

表示矩阵乘法运算，F为三维输入特征图，F′为得到的输出特征图；

42)搭建2D卷积神经网络模型，并创建2D多尺度注意力模块，其中，2D多尺度特征提取模块包含三个分支，每个分支上分别设置大小为3×3、5×5、7×7的卷积核，通道数均为2k，然后串联所有尺度下的输出特征映射图；最后，再使用1×1的卷积核进行特征融合操作，得到2D融合特征；

将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块，实现在空间维度上对显著性区域信息进行加强，其中，空间注意力模块计算过程如下：

其中，SA_F代表通道注意力图，F表示2D输入特征图，δ表示sigmoid激活函数，f^N×N代表2D卷积运算，卷积核大小为N×N，

和

分别为全局平均池化和全局最大值池化处理后的特征描述符；

将空间注意力图SA_F与原2D输入特征图相乘，得到空间细化后的特征图，用数学公式表示为：

其中，SA_F代表空间注意力图，

表示矩阵乘法运算，F^*为二维的输入特征图，F″代表得到的输出特征图；

43)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块，创建3D多尺度注意力残差模块与2D多尺度注意力残差模块，以缓解梯度消失的现象，残差连接的计算公式如下：

X_l＝H(X_l-1)+H*(X_l-1)，l∈N⁺，

其中，X_l-1和X_l分别代表第l层的输入和输出，H与H^*代表隐藏层，H^*由平均池化层和Conv3D-BN-ReLU层组成；

44)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成；

首先，采用卷积核大小为a×a×a，通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取，得到特征数据尺寸为(w×w×d，k)，其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度，随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习，得到尺寸为(w×w×d₁，k)的输出数据；

然后，采用卷积核大小为a1×a1×a1，通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取，得到输出尺寸为(w×w×d2，2k)的特征图，并使用Reshape操作，将特征图尺寸转换为(w×w,2k×d2)；

其次，将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习；

最后，经过二层Dense网络，并使用Softmax函数得到分类结果，得到构建好的多尺度残差注意力网络。

所述多尺度残差注意力网络的训练包括以下步骤：

51)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集，其每个样本大小为(w,w,d)的3D立方体；

52)将3D立方体样本经过卷积核为1×1×1，通道数为k的Conv3D-BN-ReLU层，使训练样本的尺寸变为(w×w×d,k)；然后通过3D多尺度特征提取模块，提取不同尺度下的空谱特征，得到融合特征，其大小为(w×w×d₁,k)；

53)在3D多尺度特征提取模块后设立通道注意力模块，对于输入的融合特征图

得到经通道注意力模块修正后的输出特征图

然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接；最后经过卷积核为3×3×3，通道数为2k，步长为(2,2,1)的Conv3D-BN-ReLU层，得到尺寸为(w×w×d₂,2k)输出的特征图；

54)将得到的输出特征图进行Reshape操作，尺寸转变为(w×w,2k×d₂)；然后通过2D多尺度特征提取模块，提取不同尺度下的空谱特征得到融合特征，其大小为(w₁×w₁,2k)；

55)在2D多尺度特征提取模块后设立空间注意力模块，对于输入的融合特征图

得到经通道注意力模块修正后的输出特征图

然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接；最后经过卷积核为3×3，通道数为2k的Conv3D-BN-ReLU层，得到尺寸为(w₁×w₁,2k)输出的特征图；

56)将得到的输出特征图进行Flatten展开操作，尺寸大小转变为(1×(w₁×w₁×2k))；然后经过二层Dense网络，并且每层Dense网络连接Dropout层；最后通过带有Softmax函数的全连接层得到分类结果；

57)利用反向传播机制对网络参数进行更新，使用分类交叉熵损失函数并且使用Adam优化网络模型，损失函数表达式如下：

其中，∑为求和操作，log为取对数操作，Loss(Y,Y′)表示为预测值与真实值间的误差损失，Y_i＝{y₁,y₂,...,y_m}代表真实标签向量，Y_i′＝{y′₁,y′₁,...,y′_m}表示预测标签向量，m为样本数，n为高光谱影像地物类别数；

58)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练，提取用于高光谱遥感影像分类的多尺度上下文信息，并且在通道维及空间维上对不同特征分配不同的权重，自动地选择性学习高光谱图像中的特征，得到训练后的多尺度注意力残差网络。

有益效果

本发明的一种高光谱遥感影像分类方法，与现有技术相比在有限样本条件下能够充分提取高光谱影像的空谱特征，且获得理想的分类结果。

本发明基于注意力机制建立了多尺度残差注意力网络(MSRA)，提取用于高光谱遥感影像分类的多尺度上下文信息；在3D-2D混合网络的基础上，构建了两种多尺度特征提取模块，提取高级空谱特征；结合残差连接方式及注意力机制，建立了通道及空间残差注意力模块，在通道维及空间维上对不同特征分配不同的权重，选择性学习高光谱图像中的特征。

此外，针对高光谱影像在少量带标签训练样本下分类精度较低的问题，本发明采用GANs(Generative Adversarial Networks)生成可分性更高的合成样本，从而达到扩充数据集的目的，一定程度上提高了模型的分类性能及泛化能力。

通过验证，本发明提出的结合MSRA与GANs增强样本策略分类方法(MSRA-G)的分类性能，在Indian Pines、Pavia University、Salinas Valley三组高光谱数据集上进行了试验，实验结果表明，本发明所提出的MSRA-G分类方法优于对比分类模型，即使在训练样本明显不足的情况下，也能得到较理想的高光谱遥感影像分类结果。

附图说明

图1为本发明的方法顺序图；

图2为Indian Pines高光谱数据集伪彩色图像与真实地物分布图；

图3为Pavia University高光谱数据集伪彩色图像与真实地物分布图；

图4为Salinas Valley高光谱数据集伪彩色图像与真实地物分布图；

图5为本发明所述分类方法MSRA-G在不同维数d下对分类精度的影响图；

图6为本发明所述方法MSRA-G在不同窗口大小w下对分类精度的影响图；

图7为本发明所述方法MSRA-G在不同学习率lr下对分类精度的影响图；

图8为本发明方法与对比方法对Indian Pines数据集的分类结果图；

图9为本发明方法与对比方法对Pavia University数据集的分类结果图；

图10为本发明方法与对比方法对Salinas Valley数据集的分类结果图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种高光谱遥感影像分类方法，包括以下步骤：

第一步，高光谱遥感影像的获取和预处理：获取高光谱遥感影像作为待训练的高光谱影像，并进行预处理。其具体步骤如下：

(1)从高光谱遥感影像的每类地物中按比例选取样本S和标签L，作为待训练的高光谱遥感影像样本，该样本数据为三维数据，尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数；

(2)将待训练的高光谱遥感影像样本S转化为二维数据，尺寸大小为(w×w,c)，此时每一行代表一个训练样本、每一列代表不同波段，标签L同样转变为w×w行的一维向量；然后通过标准归一化操作，将训练样本数据转换为符合均值为0，标准差为1的标准正态分布数据，其归一化公式如下：

其中，

表示输入二维矩阵中第j列第i个地物样本，μ^j表示第j列的所有样本均值，σ^j表示第j列所有样本的标准差，

表示输出二维矩阵中第j列第i个地物样本。

第二步，生成对抗网络的构建和训练：对生成对抗网络进行构建设定，然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练，得到训练后的生成对抗网络。其具体步骤如下：

(1)利用生成器G和判别器D构建生成对抗网络，其中G和D分别设置了四层全连接网络，每层节点数为512、批大小为256、学习率为5e^-5，并使用LeakyReLU作为非线性激活函数，利用交叉熵损失函数分别计算生成器G和判别器D的误差，并采用RMSprop优化算法来对G和D进行优化。

(2)将尺寸为(256，n)的初始噪声信号z输入到生成器中，得到经生成器生成尺寸为(256，c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数，n设置为100，生成器G的优化目标公式表示如下：

其中，G(z)为生成器生成的假样本，D代表判别器输出的概率值，log表示对数运算，E为加权平均，p_z(z)代表随机噪声z的分布，T_G为生成器的目标函数。

(3)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中，得到输入数据被判别为真实数据的概率，判别器D的优化目标公式表示如下：

其中，x为输入的真实训练样本，p_data(x)为真是样本的分布，T_D为判别器的目标函数。

(4)将待训练的高光谱数据及地物标签输入到生成对抗网络后，先固定G的参数不变，对D进行有监督分类，以致于使D更好的判断真假样本；其次，固定D的参数不变，对G进行训练，按D判断的损失来对G的参数将信息更新；不断重复上述过程，直至迭代10000次，得到训练好的生成对抗网络。

第三步，扩充训练样本的获得。

利用训练后的生成对抗网络生成新的待训练高光谱影像，并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并，得到样本扩充后的待训练高光谱影像。其具体步骤如下：

(1)将尺寸大小为(w,w,c)的待训练高光谱遥感影像进行Reshape操作，转化为二维待训练样本数据，尺寸大小为(w×w,c)，其中，w和c分别代表窗口大小与原始高光谱数据的波段数。

(2)将每个待训练样本轮流输入训练后的生成对抗网络中，并且将尺寸大小为(256，100)的随机初始噪声输入训练后的生成对抗网络中，对于每个尺寸为(1,c)的待训练样本，经过训练后的生成对抗网络将随机初始噪声转化为新的合成样本，合成样本的尺寸大小为(1，c),并且合成样本的数据分布符合输入的待训练样本数据的分布。最终，得到全部新的合成样本，其尺寸大小为(w×w,c)，经过Reshape操作，得到尺寸大小为(w,w,c)新的高光谱影像。

(3)利用主成分分析法对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维，降维后的高光谱影像尺寸大小均为(w,w,d),其中，d为经过主成分分析法降维后的维数，得到降维后的新的高光谱影像X₁与预处理后的高光谱影像。

(4)将降维后的高光谱影像X₁与X₂进行联合操作，得到样本扩充后的待训练高光谱影像，其尺寸大小为[X₁；X₂],随后输入MSRA网络中训练分类模型。

第四步，构建多尺度残差注意力网络。以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础，建立具有多尺度特征提取能力的多尺度残差注意力网络。

高光谱遥感影像包含丰富的空间信息和光谱信息，但用于训练数据有限，导致分类模型分类性能较弱。但对于卷积神经网络来说，网络中的任何一个参数都可能对生成的特征图产生影响。对于不同分辨率、不同地物分布特点的高光谱遥感影像，不同尺度、不同抽象级别的特征都可能对分类结果有着重要影响，而单一固定的卷积核尺度学到的特征通常是特定的，不利于特征的学习。

因此，在有限训练样本下充分提取不同尺度的高光谱影像中空谱信息就显得至关重要。本发明采用3D卷积及2D卷积，建立了3D多尺度模块与2D多尺度模块，分别在3D和2D上设置3×3×3、5×5×5、7×7×7和3×3、5×5、7×7多尺度卷积核来获取输入影像的不同尺度特征。通过使用3D多尺度模块与2D多尺度模块分别着重提取高光谱影像中不同尺度的空谱特征和空间特征，并且使用1×1×1与1×1的卷积核对不同尺度特征进行特征融合，增强了网络的信息流，缓解了有限样本下特征提取不充分的问题。

与此同时，为了取得良好的分类效果，网络必须具有提取深度层次抽象特征的能力，但由于网络结构的加深，容易产生梯度消失的现象，产生网络退化问题。因此，解决网络退化的问题，本发明引入残差连接使较高层次中的梯度快速传播回较低层次，从而建立3D多尺度残差注意力模块与2D多尺度残差注意力模块，加深网络的同时，能够同时不断连续提取更多更深层次具有区别性的空谱特征，提高分类精度。

此外，本发明针对深层神经网络的计算效率、训练时间、准确率和简化超参数调优难度等问题上，充分考虑了各参数对分类精度的影响，并且采用BN和Dropout防止过拟合现象的发生，减少了训练参数量，使得分类模型更快收敛。其具体步骤如下：

(1)搭建3D卷积神经网络模型，并创建3D多尺度特征提取模块。根据不同通道的重要性程度赋予不同权重，抑制不重要的通道信息。3D多尺度特征提取模块包含三个分支，每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核，通道数均为k，然后串联所有尺度下的输出特征映射图；最后，再使用1×1×1的卷积核进行特征融合操作，得到3D融合特征；

将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块，根据不同通道的重要性程度，重新分配通道维度的权重信息，实现对提升网络性能的通道特征进行加强，其中，通道注意力模块计算过程如下：

其中，CA_F代表通道注意力图，F_3D表示3D输入特征图，δ与δ′分别表示sigmoid和relu激活函数，SN代表共享网络，其包含二层3D卷积层和一层relu激活层，W₀与W₁为共享网络的权重，

和

分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符；

将生成的通道注意力图CA_F与原3D输入特征图相乘，对各个通道赋予不同的权重，实现对各通道重要性的修正，用数学公式表示为：

其中，CA_F代表通道注意力图，

表示矩阵乘法运算，F为三维输入特征图，F′为得到的输出特征图。

(2)搭建2D卷积神经网络模型，并创建2D多尺度注意力模块，其中，2D多尺度特征提取模块包含三个分支，每个分支上分别设置大小为3×3、5×5、7×7的卷积核，通道数均为2k，然后串联所有尺度下的输出特征映射图。最后，再使用1×1的卷积核进行特征融合操作，得到2D融合特征；

将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块，实现在空间维度上对显著性区域信息进行加强，其中，空间注意力模块计算过程如下：

其中，SA_F代表通道注意力图，F表示2D输入特征图，δ表示sigmoid激活函数，f^N×N代表2D卷积运算，卷积核大小为N×N，

和

分别为全局平均池化和全局最大值池化处理后的特征描述符；

将空间注意力图SA_F与原2D输入特征图相乘，得到空间细化后的特征图，用数学公式表示为：

其中，SA_F代表空间注意力图，

表示矩阵乘法运算，F^*为二维的输入特征图，F″代表得到的输出特征图。

(3)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块，创建3D多尺度注意力残差模块与2D多尺度注意力残差模块，以缓解梯度消失的现象，残差连接的计算公式如下：

X_l＝H(X_l-1)+H*(X_l-1)，l∈N⁺，

其中，X_l-1和X_l分别代表第l层的输入和输出，H与H^*代表隐藏层，H^*由平均池化层和Conv3D-BN-ReLU层组成。

(4)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成；

首先，采用卷积核大小为a×a×a，通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取，得到特征数据尺寸为(w×w×d，k)，其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度，随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习，得到尺寸为(w×w×d₁，k)的输出数据；

然后，采用卷积核大小为a1×a1×a1，通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取，得到输出尺寸为(w×w×d2，2k)的特征图，并使用Reshape操作，将特征图尺寸转换为(w×w,2k×d2)；

其次，将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习；

最后，经过二层Dense网络，并使用Softmax函数得到分类结果，得到构建好的多尺度残差注意力网络。

第五步，多尺度残差注意力网络的训练：将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练，得到训练后的多尺度残差注意力网络。

训练样本的数量是影响卷积神经网络模型性能的关键因素之一，影响着分类模型的分类结果，而从高光谱影像中收集大量的带标签训练样本是一项具有挑战性的工作。

因此，针对高光谱影像在少量带标签训练样本下分类精度较低的问题，本发明采用GANs生成高质量的合成样本，从而达到扩充训练数据集的目的，使用扩充数据集训练多尺度残差注意力网络，一定程度上提高了模型的分类性能及泛化能力。其具体步骤如下：

(1)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集，其每个样本大小为(w,w,d)的3D立方体。

(2)将3D立方体样本经过卷积核为1×1×1，通道数为k的Conv3D-BN-ReLU层，使训练样本的尺寸变为(w×w×d,k)；然后通过3D多尺度特征提取模块，提取不同尺度下的空谱特征，得到融合特征，其大小为(w×w×d₁,k)。

(3)在3D多尺度特征提取模块后设立通道注意力模块，对于输入的融合特征图

得到经通道注意力模块修正后的输出特征图

然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接；最后经过卷积核为3×3×3，通道数为2k，步长为(2,2,1)的Conv3D-BN-ReLU层，得到尺寸为(w×w×d₂,2k)输出的特征图。

(4)将得到的输出特征图进行Reshape操作，尺寸转变为(w×w,2k×d₂)；然后通过2D多尺度特征提取模块，提取不同尺度下的空谱特征得到融合特征，其大小为(w₁×w₁,2k)。

(5)在2D多尺度特征提取模块后设立空间注意力模块，对于输入的融合特征图

得到经通道注意力模块修正后的输出特征图

然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接；最后经过卷积核为3×3，通道数为2k的Conv3D-BN-ReLU层，得到尺寸为(w₁×w₁,2k)输出的特征图。

(6)将得到的输出特征图进行Flatten展开操作，尺寸大小转变为(1×(w₁×w₁×2k))；然后经过二层Dense网络，并且每层Dense网络连接Dropout层；最后通过带有Softmax函数的全连接层得到分类结果。

(7)利用反向传播机制对网络参数进行更新，使用分类交叉熵损失函数并且使用Adam优化网络模型，损失函数表达式如下：

其中，∑为求和操作，log为取对数操作，Loss(Y,Y′)表示为预测值与真实值间的误差损失，Y_i＝{y₁,y₂,...,y_m}代表真实标签向量，Y_i′＝{y′₁,y′₁,...,y′_m}表示预测标签向量，m为样本数，n为高光谱影像地物类别数。

(8)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练，提取用于高光谱遥感影像分类的多尺度上下文信息，并且在通道维及空间维上对不同特征分配不同的权重，自动地选择性学习高光谱图像中的特征，得到训练后的多尺度注意力残差网络。选择性学习高光谱图像中的特征，很好的克服了在有限样本下分类精度不高的问题。

第六步，待分类高光谱遥感影像的获取：获取待分类的高光谱遥感影像并进行预处理。

第七步，高光谱遥感影像分类结果的获得：将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络，得到高光谱遥感影像分类结果。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明实验的计算机硬件环境为Intel Corei5-7300HQ，CPU 2.50GHz，GPU采用GTX1050Ti，RAM 8GB，软件环境为Windows10(64)位操作系统，编译环境为Spyder，深度学习框架选用Pytorch。后续所有的训练和测试实验都基于该平台。

为了验证所提出的用于HSI分类的MSRA-G方法的有效性，使用了三个公开并且广泛使用的HSI数据集:Indian Pines(IP),University of Pavia(UP),Salinas Valley(SV)。三组数据集的详细信息如表1所示，假彩色影像及地物真实值分别如图2、图3和图4所示。

表1不同数据集的详细信息表

另外，本文采用基于混淆矩阵的总体精度(Overall Accuracy，OA)、平均精度(Average Accuracy，AA)和Kappa系数作为评价指标。

2.仿真实验内容及结果分析：

实施例一：

为了验证本发明所提出方法中不同参数设置对分类精度的影响，将重点分析MSRA-G方法影响模型分类效果的几个因素，主要有降维维数d、输入样本窗口大小w、学习率大小lr。批量大小统一为64，迭代200次，并且使用10次实验分类精度的平均值作为实验结果。

图5为本发明所示所述分类方法MSRA-G在不同维数d下对分类精度的影响。从图5可以观察到，不同的降维维d使OA表现不同，基本上呈现先增后减的趋势。对于IP数据集，当d为14时，OA达到最高值，随后OA值基本稳定。而UP和SA数据集在d为12时，达到最好的分类效果，继续增加维数d，OA值上下波动，但波动不大。因此，为了在分类精度和计算成本之间取得平衡，对于IP、UP和SV数据集，d分别取14、12、12。

图6为本发明所示所述分类方法MSRA-G在不同窗口大小w下对分类精度的影响。从图6可以看出，随着w的增大，OA值开始增长的很快，三个数据集均增长1％左右。当w达到17时，UP数据集拥有最高的OA值，随后精度开始降低。对于IP和SV数据集，当w达到21时，OA值达到最高。考虑以上情况，UP数据集选择w大小为17的数据块训练网络，IP和SV的w大小选择21的输入块。

图7为本发明所示所述分类方法MSRA-G在不同学习率lr下对分类精度的影响。从图7可以观察到，随着学习率的减小，三组数据集的OA值整体呈现先增加后减少的趋势。当学习率lr为0.001时，三组数据集的OA值均达到最大OA值，并且分类精度更加稳定。

实施例二：为了进一步验证本文算法的性能，本实施例使用IP、UP、SV三种数据集进行验证，分别从每类地物中随机选取5％、1％、0.5％作为训练样本集，其余作为测试样本集。并且使用REF-SVM、3D-CNN、MSDN、HybridSN、SSRN和R-HybridSN六种高光谱图像分类方法作为对比实验对象，分类结果取十次实验结果的均值，并记录下标准差，从而验证MSRA-G方法的分类性能。

表2不同的分类方法在IP数据集上的分类精度对比表

对图2所示的IP高光谱图像进行分类，本发明提出的MSRA-G分类方法使用使用GANs生成合成样本，达到了扩充数据集的目的。然后使用扩充样本输入MSRA网络中进行分类，其中，维数d为14，lr设为0.001，w设为21×21。不同的分类方法在IP数据集上的分类精度如表2所示，分类结果图如图8所示。由表2可以看出，对于IP数据集，本文提出的MSRA-G分类方法具有最高的OA、AA和Kappa，分别达到97.35％、95.81％和97.00％。由于类样本数量不平衡，比如Alfalfa和Grass-pasture-mowed样本量很少，传统的REF-SVM的分类精度不太理想，而基于深度学习的3D-CNN方法一定程度上提高了分类精度，显示出处理小样本数据的分类优势，本文方法将这两种地物的分类精度提升至92％以上。本文提出的MSRA-G采用GANs网络扩充训练数据集，缓解了数据不平衡问题，同时采用多尺度残差注意力模块充分提取空谱特征，在8种地物分类上达到最高精度，与R-HybridSN相比，OA、AA和Kappa分别提高了0.92％、2.79％和1.96％，并且分类结果更加稳定。由图8可以看出，MSRA-G方法错误分类像素更少，整体表现最好。

表3不同的分类方法在UP数据集上的分类精度对比表

对图3所示的UP高光谱图像进行分类，本发明提出的MSRA-G分类方法设置d为12，w设为17×17，lr设为0.001。不同的分类方法在UP数据集上的分类精度如表3所示，分类结果图如图9所示。由表3可以看出，对于UP数据集，本发明提出的MSRA-G方法分类性能更好，OA，AA和Kappa，分别达到98.72％、97.89％和98.30％。本发明提出的MSRA-G方法在5种类的分类准确性达到最高，且所有类别的准确度至少为95％以上。虽然不能在每一类中达到最好，但在只有13个训练样本的Bitumen(7)类上，也能表现得更好，其他方法则在这类上分类表现欠佳。对于Gravel(3)和Self-Blocking Bricks(8)类，其它方法的的精度不足94％，甚至更低，但MSRA-G方法可以达到95％以上的精度。与R-HybridSN相比，所提出的MSRA-G方法在OA、AA和Kappa方面的表现仍然更好。同时从图9可以看出，在同一类像素中，噪声像素更少，空间连续性更强。

表4不同的分类方法在SV数据集上的分类精度对比表

对图4所示的SV高光谱图像进行分类，本发明提出的MSRA-G分类方法设置d为12，w设为21×21，lr设为0.001。不同的分类方法在SV数据集上的分类精度如表4所示，分类结果图如图10所示。由表4可以看出，对于SV数据集，本发明提出的MSRA-G分类方法具有最好的性能，OA、AA和Kappa分别达到98.72％、98.94％和98.58％。另外，本发明提出的MSRA-G模型在所有类别中都表现良好，尤其在其中9个种类上达到最高精度。与HybridSN方法相比，MSRA-G在三种分类指标上均有不同程度的提升，OA、AA和Kappa分别提升了1.48％、1.84％和1.42％。同时从图10可以看出，MSRA-G的分类图更加平滑，整体表现更好。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种高光谱遥感影像分类方法，其特征在于，包括以下步骤：

11)高光谱遥感影像的获取和预处理：获取高光谱遥感影像作为待训练的高光谱影像，并进行预处理；

12)生成对抗网络的构建和训练：对生成对抗网络进行构建设定，然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练，得到训练后的生成对抗网络；

13)扩充训练样本的获得：利用训练后的生成对抗网络生成新的待训练高光谱影像，并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并，得到样本扩充后的待训练高光谱影像；

14)构建多尺度残差注意力网络：以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础，建立具有多尺度特征提取能力的多尺度残差注意力网络；

所述构建多尺度残差注意力网络包括以下步骤：

141)搭建3D卷积神经网络模型，并创建3D多尺度特征提取模块，其中，3D多尺度特征提取模块包含三个分支，每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核，通道数均为k，然后串联所有尺度下的输出特征映射图；最后，再使用1×1×1的卷积核进行特征融合操作，得到3D融合特征；

将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块，根据不同通道的重要性程度，重新分配通道维度的权重信息，实现对提升网络性能的通道特征进行加强，其中，通道注意力模块计算过程如下：

其中，CA_F代表通道注意力图，F_3D表示3D输入特征图，δ与δ′分别表示sigmoid和relu激活函数，SN代表共享网络，其包含二层3D卷积层和一层relu激活层，W₀与W₁为共享网络的权重，

和

分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符；

将生成的通道注意力图CA_F与原3D输入特征图相乘，对各个通道赋予不同的权重，实现对各通道重要性的修正，用数学公式表示为：

其中，CA_F代表通道注意力图，

表示矩阵乘法运算，F为三维输入特征图，F′为得到的输出特征图；

142)搭建2D卷积神经网络模型，并创建2D多尺度注意力模块，其中，2D多尺度特征提取模块包含三个分支，每个分支上分别设置大小为3×3、5×5、7×7的卷积核，通道数均为2k，然后串联所有尺度下的输出特征映射图；最后，再使用1×1的卷积核进行特征融合操作，得到2D融合特征；

将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块，实现在空间维度上对显著性区域信息进行加强，其中，空间注意力模块计算过程如下：

其中，SA_F代表空间注意力图，F_2D表示2D输入特征图，δ表示sigmoid激活函数，f^N×N代表2D卷积运算，卷积核大小为N×N，

和

分别为全局平均池化和全局最大值池化处理后的特征描述符；

将空间注意力图SA_F与原2D输入特征图相乘，得到空间细化后的特征图，用数学公式表示为：

其中，SA_F代表空间注意力图，

表示矩阵乘法运算，F^*为二维的输入特征图，F″代表得到的输出特征图；

143)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块，创建3D多尺度注意力残差模块与2D多尺度注意力残差模块，以缓解梯度消失的现象，残差连接的计算公式如下：

X_l＝H(X_l-1)+H*(X_l-1)，l∈N⁺，

其中，X_l-1和X_l分别代表第l层的输入和输出，H与H^*代表隐藏层，H^*由平均池化层和Conv3D-BN-ReLU层组成；

144)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成；

首先，采用卷积核大小为a×a×a，通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取，得到特征数据尺寸为(w×w×d，k)，其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度，随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习，得到尺寸为(w×w×d₁，k)的输出数据；

然后，采用卷积核大小为a1×a1×a1，通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取，得到输出尺寸为(w×w×d2，2k)的特征图，并使用Reshape操作，将特征图尺寸转换为(w×w,2k×d2)；

其次，将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习；

最后，经过二层Dense网络，并使用Softmax函数得到分类结果，得到构建好的多尺度残差注意力网络；

15)多尺度残差注意力网络的训练：将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练，得到训练后的多尺度残差注意力网络；

16)待分类高光谱遥感影像的获取：获取待分类的高光谱遥感影像并进行预处理；

17)高光谱遥感影像分类结果的获得：将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络，得到高光谱遥感影像分类结果。

2.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，所述高光谱遥感影像的获取和预处理包括以下步骤：

21)从高光谱遥感影像的每类地物中按比例选取样本S和标签L，作为待训练的高光谱遥感影像样本，该样本数据为三维数据，尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数；

22)将待训练的高光谱遥感影像样本S转化为二维数据，尺寸大小为(w×w,c)，此时每一行代表一个训练样本、每一列代表不同波段，标签L同样转变为w×w行的一维向量；然后通过标准归一化操作，将训练样本数据转换为符合均值为0，标准差为1的标准正态分布数据，其归一化公式如下：

其中，

表示输入二维矩阵中第j列第i个地物样本，μ^j表示第j列的所有样本均值，σ^j表示第j列所有样本的标准差，

表示输出二维矩阵中第j列第i个地物样本。

3.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，所述生成对抗网络的构建和训练包括以下步骤：

31)利用生成器G和判别器D构建生成对抗网络，其中G和D分别设置了四层全连接网络，每层节点数为512、批大小为256、学习率为5e^-5，并使用LeakyReLU作为非线性激活函数，利用交叉熵损失函数分别计算生成器G和判别器D的误差，并采用RMSprop优化算法来对G和D进行优化；

32)将尺寸为(256，n)的初始噪声信号z输入到生成器中，得到经生成器生成尺寸为(256，c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数，n设置为100，生成器G的优化目标公式表示如下：

其中，G(z)为生成器生成的假样本，D代表判别器输出的概率值，log表示对数运算，E为加权平均，p_z(z)代表随机噪声z的分布，T_G为生成器的目标函数；

33)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中，得到输入数据被判别为真实数据的概率，判别器D的优化目标公式表示如下：

其中，x为输入的真实训练样本，p_data(x)为真是样本的分布，T_D为判别器的目标函数；

34)将待训练的高光谱数据及地物标签输入到生成对抗网络后，先固定G的参数不变，对D进行有监督分类，以致于使D更好的判断真假样本；其次，固定D的参数不变，对G进行训练，按D判断的损失来对G的参数将信息更新；不断重复上述过程，直至迭代10000次，得到训练好的生成对抗网络。

4.根据权利要求1所述的一种高光谱遥感影像分类方法，其特征在于，所述多尺度残差注意力网络的训练包括以下步骤：

41)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集，其每个样本大小为(w,w,d)的3D立方体；

42)将3D立方体样本经过卷积核为1×1×1，通道数为k的Conv3D-BN-ReLU层，使训练样本的尺寸变为(w×w×d,k)；然后通过3D多尺度特征提取模块，提取不同尺度下的空谱特征，得到融合特征，其大小为(w×w×d₁,k)；

43)在3D多尺度特征提取模块后设立通道注意力模块，对于输入的融合特征图

得到经通道注意力模块修正后的输出特征图

然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接；最后经过卷积核为3×3×3，通道数为2k，步长为(2,2,1)的Conv3D-BN-ReLU层，得到尺寸为(w×w×d₂,2k)输出的特征图；

44)将得到的输出特征图进行Reshape操作，尺寸转变为(w×w,2k×d₂)；然后通过2D多尺度特征提取模块，提取不同尺度下的空谱特征得到融合特征，其大小为(w₁×w₁,2k)；

45)在2D多尺度特征提取模块后设立空间注意力模块，对于输入的融合特征图

得到经通道注意力模块修正后的输出特征图

然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接；最后经过卷积核为3×3，通道数为2k的Conv3D-BN-ReLU层，得到尺寸为(w₁×w₁,2k)输出的特征图；

46)将得到的输出特征图进行Flatten展开操作，尺寸大小转变为(1×(w₁×w₁×2k))；然后经过二层Dense网络，并且每层Dense网络连接Dropout层；最后通过带有Softmax函数的全连接层得到分类结果；

47)利用反向传播机制对网络参数进行更新，使用分类交叉熵损失函数并且使用Adam优化网络模型，损失函数表达式如下：

其中，∑为求和操作，log为取对数操作，Loss(Y,Y′)表示为预测值与真实值间的误差损失，Y_i＝{y₁,y₂,...,y_m}代表真实标签向量，Y_i′＝{y′₁,y′₁,...,y′_m}表示预测标签向量，m为样本数，n为高光谱影像地物类别数；

48)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练，提取用于高光谱遥感影像分类的多尺度上下文信息，并且在通道维及空间维上对不同特征分配不同的权重，自动地选择性学习高光谱图像中的特征，得到训练后的多尺度注意力残差网络。

Images