CN115527056A

CN115527056A - 基于双混合卷积生成对抗网络的高光谱图像分类方法

Info

Publication number: CN115527056A
Application number: CN202210386112.XA
Authority: CN
Inventors: 石翠萍; 张甜雨; 房汉雄; 苗凤娟; 王天毅
Original assignee: Qiqihar University
Current assignee: Qiqihar University
Priority date: 2022-04-13
Filing date: 2022-04-13
Publication date: 2022-12-27

Abstract

基于双混合卷积生成对抗网络的高光谱图像分类方法，本发明涉及高光谱图像分类方法。本发明的目的是为了解决现有GAN仍然面临着的模式崩溃问题，以及用于高光谱分类的GAN模型都是利用反卷积来生成假样本，会造成棋盘效应，影响分类性能的问题。过程为：一、获取高光谱图像、随机噪声以及随机噪声对应的标签；对获取的高光谱图像进行处理，获得训练集和测试集；二、建立DHCGAN网络；所述DHCGAN网络为双混合卷积生成对抗网络；DHCGAN网络包括：生成器和判别器；三、基于一对DHCGAN网络进行训练，得到训练好的DHCGAN网络；四、将测试集输入训练好的DHCGAN网络中的判别器得到最终分类预测结果。本发明用于高光谱图像分类领域。

Description

基于双混合卷积生成对抗网络的高光谱图像分类方法

技术领域

本发明涉及高光谱图像分类方法。

背景技术

随着成像技术的发展，高光谱传感器的发展日愈成熟，因此对高光谱图像的处理受到了学者们的许多关注。HSI处理技术包含很多方面，例如分类、光谱解混^[1]、超分辨率复原^[2]和异常检测^[3]等。分类是其中常用且关键的技术之一。高光谱图像(hyperspectralimage, HSI)具有波段多的特点，连续且窄的光谱波段数多达上百个，波长覆盖整个可见光到红外光谱范围，蕴含丰富的空间和光谱信息，因此已被广泛应用于农业的作物分析^[4]、城市化分析^[5]、环境污染监测^[6]，以及军事^[7]等各个领域。

传统的机器学习分类方法通常包括两个分开的步骤，即有效的特征提取和分类器设计。由于HSI数据量巨大，就出现了一些降维方法，目的是将原始高维属性空间转换成低维子空间数据后仍能达到未降维的分类效果。现有高光谱图像降维方法主要包括基于变换的方法和基于非变换的方法。基于变换的方法有主成分分析(Principal componentsanalysis,PCA)^[8]、小波变换(Wavelet transform,WT)^[9]等。基于非变换的降维方式有波段选择^[10][11]、数据源划分等。后来，还有一些空间光谱特征提取方法被提出^{[12][13][14][15]}。具有代表性的高光谱图像分类器有逻辑回归^[16]、k-最近邻^[17]、支持向量机^[18]和极限学习机^[19]等。然而上述传统机器学习方法的分类效果却差强人意，而且提取的特征较为有限。

在过去十年里，深度学习已被证明能够在计算机视觉和自然语言处理等领域中提取具有较强鉴别力的特征^{[20][21][22][23]}。同时，深度学习在HSI分类任务中也表现出巨大优势。例如，文献^[24]首先提出一种堆叠式自编码器(SAE)用于高光谱分类，来获取更多高级特征。后来SAE的变体(包括稀疏SAE^[25]、拉普拉斯SAE^[26]等)也相继被提出。还有Chen等人提出一种深度置信网络(DBN)模型用于HSI分类任务，实现特征提取和分类^[27]。然而这两种深度学习框架存在过度参数化问题，卷积神经网络(CNN)具有局部连接和参数共享的特性，能够有效缓解这个问题。而且，已有很多研究证明，CNN凭借其强大的自动特征提取能力，在HSI分类任务中表现出色^[28]-[34]。Hu等人提出了一种一维CNN(1DCNN)用于 HSI分类^[28]。Li等人提出一种新的像素对方法，利用1DCNN对像素对实现分类^[29]。在^[30]中，Cao等人利用马尔可夫随机场和CNN结合来学习特征分布，能够更好地利用空间信息。光谱空间残差网络的提出，使得模型能够连续学习光谱和空间中的鉴别特征，分类性能获得进一步提升^[31]。后来Zhang等人提出了一种新的基于区域的学习上下文交互信息的模型^[32]。文献^[33]引入了可变形思想，利用可变形下采样和可变形卷积实现有效地特征提取。还有Jiang等人提出了一种全卷积的空间传播网络(FCSPN)，强化了上下文空间信息的建模^[34]。

除了CNN，生成对抗网络(GAN)被首次提出后^[35]，也成为近年来广受关注的深度学习模型。由于其生成高质量样本的能力，引起了众多研究人员的极大关注。GAN由两个子网络组成，分别为生成器和鉴别器。两个子网络彼此对抗训练既保证生成器生成了高质量的样本，又使鉴别器获得了更高的判别能力。该过程也使得它的训练优化存在一些挑战。早期，条件GAN(CGAN)^[36]能够引导生成器合成目标的伪样本。拉普拉斯GAN^[37]利用 GAN框架对单独的CNN进行训练，但其计算太繁杂。Radford等人提出深度卷积GAN^[38]，首次成功将CNN整合到GAN中，并引入了一些优化方法来帮助GAN稳定训练。还有一种半监督GAN(SGAN)，利用少量标签数据与大量无标签数据进行GAN的训练，实现对未标签数据的分类。再后来，已经出现了一些使训练更稳定的GAN模型，例如：Wasserstein GAN^[39][40]、渐进式增长GAN^[41]等。

由于获取HSI数据的成本较高，针对小样本情况下，采用GAN通过生成样本实现数据增强，能有效缓解这个问题。过去三年，许多文献研究GAN对抗训练用于HSI分类。例如，Zhan等人提出了一种一维的SGAN框架用于HSI分类^[42]。后来，3DGAN的提出结合了空间信息，并在鉴别器中使用softmax辅助分类^[43]。Zhong等人提出一种结合条件随机场的GAN框架，重建真实的HSI数据分布来缓解训练样本的短缺^[44]。在^[45]中，提出了一种一维结构三重GAN并集成胶囊网络的模型，用于样本的生成。此外，Feng等人提出一种新的多类空谱GAN方法完成对抗训练^[46]。最近，Hang等人提出多任务GAN，设计了一个承担两项任务的生成器，用于重建HSI立方体和最终分类^[47]。Zhang等人结合[39] 和^[40]的思想，提出一种两者结合的GAN用于HSI分类^[48]。^[49]提出了一种将自适应drop 块嵌入到GAN的方法来缓解训练时的模式崩溃问题。Roy等人还利用GAN对HSI中的少数类进行过采样操作，来缓解HSI数据集中的类不平衡问题^[50]。

然而，在许多基于GAN的HSI分类方法中，生成器的网络层都是利用反卷积来生成伪样本，但若反卷积的参数设置不当，就会面临棋盘效应^[51]。该效应在颜色较深的边界处格外明显，会对最终的分类产生一定影响。Sun等人将亚像素卷积引入生成器中，实现了压缩感知重建^[52]。

发明内容

本发明的目的是为了解决现有GAN仍然面临的模式崩溃问题，以及用于高光谱分类的GAN模型都是利用反卷积来生成假样本，会造成棋盘效应，影响分类性能的问题，而提出基于双混合卷积生成对抗网络的高光谱图像分类方法。

基于双混合卷积生成对抗网络的高光谱图像分类方法具体过程为：

步骤一、获取高光谱图像、随机噪声以及随机噪声对应的标签；

对获取的高光谱图像进行处理，获得训练集和测试集；

步骤二、建立DHCGAN网络；

所述DHCGAN网络为双混合卷积生成对抗网络；

DHCGAN网络包括：生成器和判别器；

步骤三、基于步骤一对DHCGAN网络进行训练，得到训练好的DHCGAN网络；

步骤四、将测试集输入训练好的DHCGAN网络中的判别器得到最终分类预测结果。

本发明的有益效果为：

为了解决棋盘效应和模式崩溃问题，本发明提出了一种新的GAN模型—双混合卷积 GAN(Dual hybrid convolution GAN,DHCGAN)。在DHCGAN的生成器中，利用最近邻上采样与亚像素卷积的有效组合，生成高质量的伪样本作为判别器的一项输入。由于GAN 收敛速度慢，为了避免设置太多网络层而计算复杂度，本发明在判别器中引入膨胀卷积，高效融合了传统卷积与膨胀卷积，来实现更有效的特征提取。此外，将自适应drop层^[49]和批归一化层嵌入到生成器和判别器中来帮助GAN优化。值得注意的是，本发明提出的判别器具有一个输出，这样可以避免其分类和判别时的自相矛盾。总之，本发明的贡献可总结为以下三点。

1)在生成器中，将最近邻上采样和亚像素卷积有效结合，既抑制了反卷积带来的棋盘效应，又能生成高质量样本来缓解HSI数据的样本量少的问题。

2)对于判别器，本发明将膨胀卷积与传统卷积融合，并对不同卷积层设置了不同的膨胀率，总体上膨胀率是增加的，能够扩大感受野，增强鉴别器的判别能力。

3)本发明还引入了自适应drop层，与批归一化一起嵌入到生成器和鉴别器中，缓解了模式崩溃问题，并能帮助模型稳定训练和优化。

首先，本发明生成器中利用最近邻上采样与亚像素卷积的结合，避免了卷积域的重叠问题，有效抑制了反卷积带来的棋盘效应；其次，本发明将传统卷积与膨胀卷积融合在鉴别器中，使其在不增加参数的情况下扩大了感受野，实现更有效地特征提取；此外，本发明将一种自适应Drop块嵌入到生成器和鉴别器中，有效缓解了模式崩溃问题。在三种高光谱数据集(包括两个经典数据集—Indian pines，University of Pavia，和一个新的数据集—WHU-Hi-HanChuan)上进行了实验。实验结果表明，本发明与最先进的基于GAN的方法相比，本发明所提出的DHCGAN具有更好的分类性能。

附图说明

图1为本发明双混合卷积生成对抗网络结构框图；

图2为GAN框架图；

图3a为dropout的原理图；图3b为自适应drop的原理图；图3c为自适应drop的原理图；

图4为Indian Pines数据集的地面真实图和伪彩图；

图5为University of Pavia数据集的地面真实图和伪彩图；

图6为WHU-Hi-HanChuan数据集的地面真实图和伪彩图

图7为不同方法在Indian pines数据集上的可视化分类图，(a)为地面真实图,(b)为 RF,(c)为SVM,(d)为MLP,(e)为3DCNN,(f)为PyResNet,(g)为ADGAN,(h)为DHCGAN；

图8为不同方法在University of Pavia数据集上的可视化分类图，(a)为地面真实图,(b) 为RF,(c)为SVM,(d)为MLP,(e)为3DCNN,(f)为PyResNet,(g)为ADGAN,(h)为DHCGAN；

图9为不同方法在WHU-Hi-HanChuan数据集上的可视化分类图，(a)为地面真实图,(b)为RF,(c)为SVM,(d)为MLP,(e)为3DCNN,(f)为PyResNet,(g)为ADGAN,(h)为 DHCGAN；

图10为不同epoch(从左到右：200,400,600,800)的生成样本图，(a)为with onlydeconv, (b)为with hybridconv；

图11为输入图像patch大小对分类性能的影响示意图；

图12为不同策略在三种数据集上的OA(％)示意图；

图13为不同方法在不同训练样本数量下的OA(％)示意图，(a)为Indian pines,(b)为 University of Pavia,(c)为WHU-Hi-HanChuan。

具体实施方式

具体实施方式一：本实施方式基于双混合卷积生成对抗网络的高光谱图像分类方法具体过程为：

对获取的高光谱图像进行处理，获得训练集和测试集；

步骤二、建立DHCGAN网络；

所述DHCGAN网络为双混合卷积生成对抗网络；

DHCGAN网络包括：生成器和判别器；

生成器G与鉴别器D通过交替迭代训练以实现互相促进和优化。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中获取高光谱图像、随机噪声以及随机噪声对应的标签；

对获取的高光谱图像进行处理，获得训练集和测试集；

具体过程为：

获取高光谱图像S＝{X,Y}，

是高为H，宽为W，光谱通道为B的三维高光谱图像立方体，Y为高光谱图像数据的标签向量；

为实数；

利用PCA将获取的高光谱图像S＝{X,Y}的光谱波段集中到前三个分量中，得到降维后的数据；

将降维后的数据进行随机分块，把由目标像素及其空间邻域像素组成的三维立方块作为新的样本集

其中h、w被设置为相同的值，分别代表立方块的高度和宽度，b为PCA得到的光谱分量个数(三个)；

按照一定的比例将新的样本集P随机划分为训练集x_train和测试集x_test；

获取随机噪声以及随机噪声对应的标签。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中建立 DHCGAN网络；

所述DHCGAN网络为双混合卷积生成对抗网络；

DHCGAN网络包括：生成器和判别器；

具体过程为：

所述生成器G依次包括最近邻上采样层(Upsampling层)、第一二维卷积层(Conv2d层)、第一BN层、第一ELU激活层、第一亚像素卷积层(Subpixelconv层)、第二BN 层、第二ELU激活层、第二亚像素卷积层(Subpixelconv层)、第三BN层、第三ELU 激活层、第一自适应drop层(Adaptivedrop层)、第三亚像素卷积层(Subpixelconv层)、第四BN层、第四ELU激活层、第四亚像素卷积层(Subpixelconv层)、第五BN层、第五ELU激活层、第二自适应drop层(Adaptivedrop层)、第二二维卷积层(Conv2d 层)、tanh激活层；

其中，

第一二维卷积层卷积核大小为4×4×512；第二二维卷积层卷积核大小为1×1×3；

最近邻上采样层的采样参数(upscale_facter)被设置为4；

第一亚像素卷积层、第二亚像素卷积层、第三亚像素卷积层、第四亚像素卷积层的采样参数(r₁)被设置为2；

第一二维卷积层步幅为2；第一亚像素卷积层、第二亚像素卷积层、第三亚像素卷积层、第四亚像素卷积层步幅皆为1/2；第二二维卷积层步幅为1；

所述判别器D依次包括第三二维卷积层(Conv2d)、第一LeakyReLU激活层、第四二维卷积层(Conv2d)、第六BN层、第二LeakyReLU激活层、第五二维卷积层(Conv2d)、第七BN层、第三LeakyReLU激活层、第六二维卷积层(Conv2d)、第八BN层、第四 LeakyReLU激活层、第三自适应drop层(Adaptivedrop)、第七二维卷积层(Conv2d)、第五LeakyReLU激活层、全连接层(linear)、Softmax层；

其中，

第三二维卷积层的卷积核大小为4×4×64、第四二维卷积层的卷积核大小为4×4× 128、第五二维卷积层的卷积核大小为4×4×256、第六二维卷积层的卷积核大小为4×4×512、第七二维卷积层的卷积核大小为4×4×128、全连接层的卷积核大小为1×128；

第三二维卷积层、第四二维卷积层、第五二维卷积层、第六二维卷积层的步幅皆为2，第七二维卷积层的步幅为1；第三二维卷积层、第四二维卷积层、第五二维卷积层、第六二维卷积层均有填充；

第三二维卷积层的膨胀率为1，第四二维卷积层的膨胀率为2，第五二维卷积层的膨胀率为3，第六二维卷积层的膨胀率为4，第七二维卷积层的膨胀率为1。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述生成器G的连接关系为：

将随机噪声和对应标签c输入生成器G，生成器G的输入随机噪声大小为100×1×1，随后将噪声依次通过最近邻上采样层、第一二维卷积层、第一BN层、第一ELU激活层，将输入噪声大小转换为512×4×4；

100×1×1分别为噪声的光谱通道、高度和宽度；

512×4×4分别为转换后的噪声的光谱通道、高度和宽度；

将大小转换为512×4×4的噪声依次输入第一亚像素卷积层、第二BN层、第二ELU激活层，得到的输出为

F_out＝S(xⁿ)＝σ[BN_α,βSubPixel(xⁿ)]

其中，xⁿ为输入第一亚像素卷积层的张量(512×4×4)，σ表示ELU激活函数运算，α和β则分别代表BN操作的可训练参数，SubPixel(·)为亚像素卷积操作；

将F_out依次输入第二亚像素卷积层、第三BN层、第三ELU激活层、第一自适应drop层、第三亚像素卷积层、第四BN层、第四ELU激活层、第四亚像素卷积层、第五BN层、第五ELU激活层、第二自适应drop层、第二二维卷积层、tanh激活层，得到生成器G的输出；

生成器G输出大小为3×64×64的带有标签的假数据。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述亚像素卷积层输入张量大小[b₁,C,H,W]，亚像素卷积层的采样参数为r₁，则通过亚像素卷积层的输出大小为

b₁,C,H,W分别为批处理大小，特征图通道数，特征图的高和特征图的宽。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述判别器D中第三二维卷积层为标准卷积，标准卷积的卷积核大小为[N,FH,FW]；

其中N表示卷积核数量，FH表示标准卷积的卷积核的高，FW表示标准卷积的卷积核的宽；

当r＝1时，此时为标准卷积；而当r＞1时，此时为膨胀卷积；

所述第四二维卷积层、第五二维卷积层、第六二维卷积层皆为膨胀卷积，膨胀卷积的卷积核大小为[N,DH,DW]，表示为

DH＝r*(FH-1)+1

DW＝r*(FW-1)+1

其中，*为相乘操作，DH为膨胀卷积的卷积核的高，DW为膨胀卷积的卷积核的宽， r为膨胀率，膨胀率表示卷积核的间隔；

设输入特征图大小为[b′,C′,H′,W′]，依次经过标准卷积(第三二维卷积层)、膨胀卷积(第四二维卷积层、第五二维卷积层或第六二维卷积层)，膨胀卷积输出特征图的高和宽分别为

其中，b′表示输入特征图的批处理大小，C′表示输入特征图的通道数，H′为输入特征图的高，W′为输入特征图的宽，OH为输出特征图的高，OW为输出特征图的宽，S为步幅，p为填充，r为膨胀率，膨胀率表示卷积核的间隔；

若叠加多个相同的膨胀卷积会出现大量空洞，这会丢失数据之间的连续性及完整性，不利于高效学习。因此我们将膨胀卷积与传统卷积融合起来，即对于鉴别器D中的一组膨胀卷积，不同的层设置不同的膨胀率(前四层r分别为1,2,3,4)，膨胀率逐渐增大。这样既保证最后一层具有较大的感受野，又避免了局部信息的大量丢失。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤三中基于步骤一对DHCGAN网络进行训练，得到训练好的DHCGAN网络；具体过程为：

步骤三一、初始化生成器G和判别器D的权重矩阵和偏置；

步骤三二、固定生成器G权重矩阵和偏置不变，执行步骤三三至步骤三七k次；固定判别器D权重矩阵和偏置不变，执行步骤三三、步骤三四、步骤三五、步骤三六、步骤三八1次；

步骤三三、将训练集输入判别器D，得到训练好的判别器D；

步骤三四、随机生成d维噪声以及标签；

步骤三五、将随机噪声以及标签输入生成器G，产生带有标签的假样本G(c,z)；

步骤三六、向训练好的判别器D输入假样本G(c,z)，获得假样本G(c,z)分类结果；

步骤三七、通过公式(13)最大化V(D,G)来更新D的权重矩阵和偏置参数；

其中，V(D,G)表示真实样本和生成样本的差异程度，

为真实样本服从高斯分布的期望，D(x)为真实样本输入判别器的结果，

为随机噪声服从于生成器中分布的期望，D(G(z))为生成样本输入判别器的结果；

步骤三八、通过公式(13)最小化V(D,G)来更新G的权重矩阵和偏置参数；

步骤三九、重复执行步骤三二，当pG(z)＝p_data(x)时，G为最优；

(当G为最优时，D也为最优，两者达到纳什均衡。)

p_data(x)为真实的样本分布，pG(z)为生成器生成的样本分布。

其它步骤及参数与具体实施方式一至六之一相同。

提出方法的总体框架

提出的DHCGAN方法的总体框架如图1所示。设S＝{X,Y}为模型的输入，其中

是高为H，宽为W，光谱通道为B的三维HSI立方体，Y为HSI数据的标签向量。由于HSI的光谱波段之间存在大量冗余，此时训练得到一个鲁棒的生成器是很困难的。因此，首先利用PCA将输入的HSI的光谱波段集中到前三个分量中，以降低数据处理的计算复杂度，有助于GAN的训练和优化。将降维后的数据进行随机分块，把由目标像素及其空间邻域像素组成的三维立方块作为新的样本集

其中h、w被设置为相同的值，分别代表立方块的高度和宽度，b为PCA得到的光谱分量个数。接下来，按照一定的比例将P随机划分为训练集x_train和测试集x_test。

生成器G与鉴别器D通过交替迭代训练以实现互相促进和优化。在一次迭代中，每训练优化生成器G一次，同时鉴别器D被训练优化k次。在固定生成器G的条件下，将真实的训练样本集x_train和一些假样本G(c,z)输入鉴别器D，得到一个输出——特定类别或假标签。经过多次迭代得到优化后的G和D。最后将测试集输入优化后的鉴别器D得到最终分类预测结果。

具有混合最近邻上采样与亚像素卷积的生成器

表1 DHCGAN的生成器G的实施细节

大多数基于GAN模型的高光谱图像分类方法都是将反卷积作为生成器的主要网络层，但若参数配置不当，则生成样本很容易出现明显的棋盘形状。本文探究了最近邻上采样与亚像素卷积相结合在高光谱图像分类任务中对棋盘效应的缓解情况。首先G的输入噪声大小为100×1×1，随后通过一个最近邻上采样层和一个常规二维卷积层将输入转换为512×4×4，其中最近邻上采样的upscale_facter被设置为4。然后利用四个组合函数S(·)对上面得到的张量作进一步提高分辨率操作，具体地，S(·)为亚像素卷积、批量归一化(BN)^[53]和激活函数ELU^[54]的组合函数，得到的高分辨率输出为

F_out＝S(xⁿ)＝σ[BN_α,βSubPixel(xⁿ)] (6)

其中，xⁿ为第n层的输入张量，σ表示ELU激活函数运算，α和β则分别代表BN 操作的可训练参数，SubPixel(·)为亚像素卷积操作。所述亚像素卷积层输入张量大小 [b₁,C,H,W]，亚像素卷积层的采样参数为r₁，则通过亚像素卷积层的输出大小为

生成器G各层的参数设置如表1所示。特别地，自适应drop层被设置在每两个亚像素卷积之后，共使用两次。生成器G最终输出大小为3×64×64。

具有混合传统卷积与膨胀卷积的鉴别器

表2 DHCGAN的鉴别器D的实施细节

将膨胀卷积引入鉴别器中，是用来增大卷积的感受野，从而提高鉴别器的判别能力。由表2可以看到，鉴别器一共包含7层，分别为5个卷积层，1个自适应drop层和1个全连接层。卷积层有4种参数，分别为卷积核大小、步幅、膨胀率以及填充。设输入特征图大小为[b,C,H,W]，卷积核大小为[N,FH,FW]，其中N表示卷积核数量，步幅为S，填充为p，膨胀率为r，表示卷积核的间隔。

当r＝1时，此时为标准卷积；而当r＞1时，此时为膨胀卷积，膨胀卷积的卷积核大小为[N,DH,DW]，可表示为

DH＝r*(FH-1)+1 (7)

DW＝r*(FW-1)+1 (8)

设输入特征图大小为[b′,C′,H′,W′]，依次经过标准卷积、膨胀卷积，膨胀卷积输出特征图的高和宽分别为

自适应drop块

作为一种深度神经网络，GAN在迭代训练优化时可能会受过度参数化的影响而出现过拟合现象，还会面临生成器的模式崩溃问题。因此，BN和一种自适应drop层作为正则化方法被用来缓解上述问题。BN在深度神经网络训练中已经得到了广泛的应用，它利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。

特别地，自适应drop方法是一种具有注意力思想的结构化正则化方法^[49]。dropout^[55]操作的原理示意图如图3a所示，自适应drop方法的原理图如图3b、图3c所示。其中具有有效信息的区域用蓝色方块标记，丢弃的操作用黑色圆形标记。由图3a可以看出，dropout操作是在所有区域里随机丢弃一定概率的像素，显然没有利用空间信息。在进行自适应drop操作之前，首先将当前特征图D(n)进行归一化，获得输入特征图A(n)。其次使用伯努利分布对每个特征图的一组像素进行采样(图3b中黄色圆形标记为采样的元素)，对于每个元素的位置M_i,j，创建一个以M_i,j为中心的大小为block_size×block_size的空间块。然后将第k个百分位元素丢弃，利用γ来控制丢弃的特征数量，保留其余元素并设置为1，这样就形成了具有不规则形状的自适应掩码。参数γ可计算为

其中，keep_prob与dropout操作中的相同，设置为0.75到0.95之间，sizefeature_map 代表执行自适应drop操作的特征图大小。

最后，运用得到的自适应掩码，输出为

A⁽ⁿ⁺¹⁾＝Aⁿ×count(M)/count_ones(M) (12)

其中，count(M)表示掩码中元素的数量，count_ones(M)表示掩码中元素的数量为1。

DHCGAN的训练优化

如前所述，G与D通过交替迭代训练来实现优化。在一次迭代训练中，每优化生成器G一次，同时鉴别器D被优化k次。训练是作为一个两人极大极小游戏进行的，它可表示为：

鉴别器D的目标是将公式(13)最大化，而生成器的目标是愚弄鉴别器D，即最小化公式(13)。显然当p_G(z)＝p_data(x)时，G为最优。

相关工作

生成对抗网络

GAN是一种基于博弈论思想的训练图像合成模型。GAN包含两个网络模型，一个是生成器G，另外一个是鉴别器D。如图2所示，生成器G接收一个随机噪声z，z是一个 n维向量，输出的是与真实数据相同分布p_data的数据X_fake＝G(z)。鉴别器D的输入的是真实数据X_real和由G生成的假数据X_fake，其输出为一个概率值P(S|X)＝D(X)。在GAN的训练过程中，两者具有相矛盾的目标。G的目标是学习真实数据的分布，减小真实数据X_real与生成数据X_fake之间的差距，尽量使D判别错误。而D的目标为尽可能准确地区分真实数据与生成数据。GAN的优化过程是在G与D之间找到纳什均衡，可看作一个极小极大博弈游戏问题。它的目标函数定义如下：

其中V(·)和E分别代表观测值和期望算子。在迭代中，首先在G固定的情况下，鉴别器D通过训练优化k次以实现其对数似然的最大化，损失函数L_D可表示为，

L_D＝E[logP(S＝real|X_real)]+E[logP(S＝fake|X_fake)] (2)

然后，在D固定的情况下，生成器G通过最小化L_G实现优化，损失函数L_G可表示为

L_G＝E[logP(S＝fake|X_fake)] (3)

这样的对抗训练使得G和D相互促进。经过多次交替迭代训练，达到全局最优性能，即生成器G学习到了真实数据的分布，鉴别器D的辨别真实数据与生成数据的能力也得到了很好的提升。

辅助分类GAN

条件GAN(Conditional GAN,CGAN)和辅助分类GAN(Auxiliary classifier GAN,ACGAN)都是通过引入额外的条件来控制生成的图像。ACGAN很好的证明了向GAN潜在空间中添加更多的结构和一个特殊的成本函数，可以得到更高质量的样本^[56]。而CGAN 的网络层是全连接层，ACGAN的网络层是卷积层，卷积层能够更好地提取图像的特征，生成的图像边缘更具有连续性，更真实。而且ACGAN的鉴别器能够输出多类别标签的概率，更适合像高光谱图像这种多分类应用。在ACGAN中，每个生成样本都分配一个相关的类别标签c～p_c，类标签c与随机噪声z作为生成器G的输入，输出为带有标签的假数据X_fake＝G(c,z)。与GAN同理，鉴别器D的输入为具有相应标签的真实数据和由G 生成的带有相应标签的假数据，输出为两项：一个是区分真实与虚假数据的概率分布 P(S|X)，另一个为根据类标签c对输入进行分类的概率分布P(C|X)＝D(X)。ACGAN的目标函数有两部分：正确输入源的对数似然L_S和正确类别的对数似然L_C。L_S和L_C的计算公式可表示为

L_S＝E[logP(S＝real|X_real)]+E[logP(S＝fake|X_fake)] (4)

L_C＝E[logP(C＝c|X_real)]+E[logP(C＝c|X_fake)] (5)

其中，通过交替迭代训练最大化L_S+L_C能够实现D的优化，通过最大化L_C-L_S能够实现G的优化。本文在ACGAN的思想上进行改进，并提出了一种DHCGAN方法，探究了提出方法在高光谱分类应用中的性能。

采用以下实施例验证本发明的有益效果：

实施例一：

用于实验的三种高光谱数据集、评估指标以及各项参数设置首先被介绍，其次给出了提出方法与其他六种先进方法的实验结果和分析，最后给出了其他实验及参数分析(包括最近邻上采样和亚像素卷积的混合对棋盘效应缓解情况的可视化讨论，输入图像大小的影响，运行时间的对比分析，消融实验以及小样本对比分析)。

高光谱数据集

Indian Pines:印度松树数据集来自印第安纳州西北部的机载可见红外成像光谱仪 (AVIRIS)传感器。空间分辨率为每像素20m，光谱覆盖范围为0.4～2.5μm。数据大小为145×145。剔除水不能反射的104-108、150-163、200等20个波段后，将剩余的200个有效波段作为研究对象。共有16种土地覆盖类别。图4显示了Indian Pines数据集的伪彩图和对应的地面真值图。

University of Pavia:帕维亚大学数据集由ROSIS传感器收集。光谱覆盖范围为0.43～0.86μm，共115个波段，空间分辨率为1.3m。数据大小为610×340，去除噪声影响带后，剩余103个有效波段可供研究，共有9种农作物。图5显示了University of Pavia 数据集的伪彩图和对应的地面真值图。

WHU-Hi-HanChuan:汉川数据集由Leica Aibot X6无人机V1平台上配备的一个17毫米焦距顶墙纳米超光谱成像传感器于2016年6月17日在中国湖北省汉川市获得。图像大小为1217×303，在400-1000纳米范围内有274个波段，空间分辨率约为0.109m/pixel。土地覆盖类别共16种。图6显示了WHU-Hi-HanChuan数据集的伪彩图和对应的地面真值图。

评估指标及参数设置

表3 Indian pines数据集每类的训练和测试样本数量

表4 University of Pavia数据集每类的训练和测试样本数量

表5 WHU-HiHanChuan数据集每类的训练和测试样本数量

本发明利用三种常用的定量测量方法，包括总体分类精度(OA)、平均分类精度(AA)，以及统计kappa系数(kappa)来评估所提出的DHCGAN的性能。正确分类的样本数占总测试样本数的比例用OA表示。分类准确率的平均值确定为AA。Kappa代表分类图与地面真实图的一致性，它的值越低，意味着分类效果越差。实验中，每个数据集的batch size 均设置为200，输入空间窗口大小为27×27。此外，提出的DHCGAN的权重初始化是随机的，使用Adam对模型的参数进行优化，初始学习率设置为0.0002，生成器的输入随机噪声向量设置为100维。所有的实验结果都是通过独立运行20次以上获得的。表3-表5 显示了所提出的DHCGAN用于Indian pines、University of Pavia和WHU-Hi-HanChuan数据集的每类的训练和测试样本数量。用于实验的计算机设备由具有128GB内存的Intel i9-9900k处理器和NVIDIAGeForce RTX 2080Ti GPU组成。

分类结果及分析

为了验证提出的DHCGAN的有效性，本发明与一些最先进的分类方法(包括随机森林(RF)^[57]、具有径向基函数的支持向量机(SVM)^[18]、多层感知机(MLP)^[58]、三维 CNN(3DCNN)^[59]、PyResNet^[60]、ADGAN^[49])做了对比实验。其中RF与SVM都属于传统机器学习方法，MLP是一个具有两层全连接层的前馈神经网络。3DCNN和PyResNet则属于深度学习的CNN模型，而ADGAN和提出的DHCGAN都属于深度学习框架中基于 GAN的分类算法。本发明将RF方法中拆分节点的最大特征数设置为20，每个数据集在取平均预测之前均构建200颗树。对于CNN模型(3DCNN和PyResNet)，输入图像patch 大小均设置为11×11，此时它们的分类性能最佳。ADGAN的输入图像patch大小被设置为获得最佳性能时的大小，为27×27。PyResNet、ADGAN和本发明提出的DHCGAN方法的是在Pytorch的框架下实现的，其他四种算法是在Keras框架下进行实验的。包括本发明提出方法在内的七种方法在三种数据集上的分类结果表如表6-表8所示。其中最好的结果已被粗体标记。

表6不同方法在Indian pines数据集上的分类结果

Indian pines数据集上的分类结果：七种算法在Indian pines数据集上的分类结果如表 6所示。Indian pines数据集的500个样本被随机选取作为训练样本，其余作为测试样本。可以看到，本发明所提出的DHCGAN方法在OA、AA和Kappa三个评估指标上均得到了最高值，分别为96.78％、96.07％和96.40％。由于基于深度学习的复杂方法(3DCNN、PyResNet、ADGAN和DHCGAN)具有更强大的特征提取能力，故它们的OA值优于传统机器学习方法(RF和SVM)。而MLP的网络结构太过简单，因此OA值低于SVM和其他深度学习模型。对于同样是CNN模型的PyResNet，其对光谱空间特征的提取能力比 3DCNN更强，导致三项性能指标都比3DCNN的高。基于GAN的分类算法能够在一定程度上有效缓解高光谱数据集样本不足的困境，所以ADGAN和DHCGAN的OA值均高于其他方法。因为本发明提出的DHCGAN算法在生成器和鉴别器都有效融合了两种卷积，既缓解了反卷积带来的棋盘现象，又提升了鉴别器的特征判别能力，因此三项评估值都是最优的。图7中(b)-(h)为不同竞争方法在Indianpines数据集上的可视化分类图， RF、SVM、MLP、3DCNN在许多类别上呈现了较高的错分率，特别是Alfafa、Corn、 Oats、Soybean-mintill和Soybean-clean类。而且这些方法的分类图的边界更模糊，噪声影响明显。与之相比，PyResNet、ADGAN和DHCGAN明显提高了每类的分类质量。与 PyResNet相比，两种GAN模型在每类的边界处分类更清晰，而且噪声点更少。本发明提出的DHCGAN方法在14个类中都获得了最高精度，在中间区域的Soybean-notill和Soybean-mintill类上的分类效果尤其显著。

表7不同方法在University of Pavia数据集上的分类结果

2)University of Pavia数据集上的分类结果：本发明从University of Pavia上随机选取 1000个样本作为训练集，其余样本用于测试。表7给出了不同竞争方法在University of Pavia数据集上的OA、AA、kappa值以及每类的分类精度。如表7所示，提出的DHCGAN 在OA、AA和kappa上均取得了最高值，其中DHCGAN比RF、SVM、MLP、3DCNN、 PyResNet和ADGAN的OA值分别高出10.44％、5.06％、7.68％、4.08％、1.35％和1.45％。较复杂的深度学习分类方法(包括3DCNN、PyResNet、ADGAN和提出的DHCGAN)的分类效果明显比其他方法更好，特别是Gravel、Bare Soil和Bitumen类。与3DCNN相比，特征提取更有效的PyResNet的OA值比3DCNN高出2％以上。对于GAN模型，提出的 DHCGAN既生成了高质量的样本，也更有效的提取了特征，因此它的OA值比PyResNet 和ADGAN都高。对应不同竞争方法的可视化分类结果图如图8中(b)-(h)所示。与其他竞争方法相比，DHCGAN在University of Pavia数据集的七类(共九类)上获得了最佳精度，甚至在Painted metal sheets和Bare Soil类上实现了100％的分类目标。

表8不同方法在WHU-Hi-HanChuan数据集上的分类结果

3)WHU-Hi-HanChuan数据集的分类结果：由于WHU-Hi-HanChuan数据集的空间分辨率很高，因此实验中我们随机选取了该数据集的400个样本作为训练样本，相当于0.1％的训练比例。这也是所有方法在此数据集上的分类精度均偏低的原因。在训练样本很少的情况下，所提出的DHCGAN方法也达到了最高的OA、AA、kappa值。如表8所示，与 ADGAN相比，DHCGAN在OA指标中提升了4.54％，kappa值高出了5.45％，在AA指标上甚至高了8％以上。WHU-Hi-HanChuan数据集中有几个类别的样本数太少，导致类别之间的分类结果差异过大。例如在Water spinach、Watermelon、Grass和Plastic类上， RF全部错分。其他方法在这几种类别上的分类精度也都在80％以下。然而提出的 DHCGAN在12种地物类别(共16种)上取得了最高值，在Water类上甚至达到了98.74％的分类精度。图9显示了七种竞争方法在WHU-Hi-HanChuan数据集上的分类图可视化结果。从图9中的(b)、(d)、(e)、(g)可以看到，RF、MLP、3DCNN、ADGAN方法将许多属于Plastic类的样本错分给了Bare Soil类。与它们相比，PyResNet和提出的DHCGAN 在Plastic类上的分类效果更好。

A.生成样本的可视化

表9生成器G上应用不同卷积策略在三种数据集上的OA(％)

表9给出了采用不同卷积策略的生成器在三种数据集上获得的OA值。不同卷积策略对应的在不同训练epoch下生成样本的可视化如图10所示。由表9可得，与仅在生成器中使用反卷积策略相比，结合了最近邻上采样和亚像素卷积的策略在三个数据集上均高出了0.5个百分点。由图10中(a)也可以看出，在整个训练过程中，仅使用反卷积或多或少都表现出了棋盘效应。而混合卷积策略不仅抑制了棋盘效应，缓解了卷积域的重叠现象，还提升了分类性能。

输入图像大小的效果分析

通常我们将目标像素及其空间邻域归为同一类别。因此，输入图像的patch大小是影响分类性能的一项重要参数。若这个值过小，那么可能导致空间信息未有效利用，降低分类能力；如果过大，patch区域内可能混合不同类别的像素，不利于最终分类。图11显示了三种数据集在不同输入图像patch大小的情况下的OA值，输入图像patch大小设置从 15到31，间隔为4。由图11可以看出，随着输入图像patch的增大，在Indian pines、University ofPavia和WHU-Hi-HanChuan数据集上取得的OA值也在不断增加，当输入图像patch 值为27时取得最大值，分别为96.78％、96.55％、85.88％。随后在值取31时的OA值比 27时略有下降。因此，本文采用的输入图像patch大小为27，此时提出的方法在各数据集上的分类性能最优。

运行时间的对比

表10不同方法在三种数据集上的运行时间(s)

除了三种常用的评估指标外，运行时间也是衡量分类模型性能的一项重要指标。表 10显示了七种算法在三种数据集上的运行时间。我们可以看到，由于深度学习框架的复杂性，所以MLP、3DCNN、PyResNet、ADGAN以及提出的方法比传统机器学习方法(包括RF和SVM)花费了更长的运行时间。而MLP的层数较少，故与其他深度学习模型相比它的运行时间较少。而同样基于是CNN的模型，PyResNet算法的网络层数较深，计算复杂度较高，导致它花费的时间比3DCNN模型要长。基于GAN的模型(包括ADGAN和提出的DHCGAN)实质上是两个模型在交替迭代训练，因此耗费的时间最长。尽管提出的方法在Indian pines和WHU-Hi-HanChuan数据集上的运行时间较长，但是在三种数据集上提出的DHCGAN表现出了最佳的分类性能。

消融实验

如前所述，提出的DHCGAN利用了具有注意力思想的自适应drop层来缓解GAN的模式崩溃问题。此外，膨胀卷积被放在鉴别器中，通过在不同卷积层设置不同的膨胀率，可以增强鉴别器的特征判别能力。因此，本文以具有最近邻上采样和亚像素卷积混合的生成器与仅包含传统卷积的鉴别器作为基本的GAN模型，做了一些消融实验。图12为不同策略在三种数据集上取得的分类精度。从图12可以看出，在基本模型上仅添加了自适应drop层后，每个数据集的OA值都有轻微的增加。而仅在基本模型上替换一组膨胀卷积之后，各数据集的OA值有了较大程度的提升，说明膨胀卷积提高了鉴别器的特征判别能力，对最终分类效果影响明显。显然，结合了两者(自适应drop层和膨胀卷积)的优点，共同添加两者组成的模型(即提出的DHCGAN)的分类性能最佳。

训练样本数量的效率分析

七种方法在不同训练样本数量下的OA值如图13所示。在Indian pines数据集中，随机选择了300、500以及1000个样本进行训练。对于University of Pavia数据集，500、1000、 2000个样本被随机选择作为训练样本。而对于WHU-Hi-HanChuan数据集，训练样本数则分别被随机设置为200、400、800。经过实验可以看出，与RF、SVM、MLP、3DCNN、 PyResNet和ADGAN相比，提出的方法表现出最佳性能。基于深度学习的框架比RF和 SVM的分类性能更好。随着训练样本数量的增加，所有方法的性能都有提升，而所提出的方法式中比其他算法获得更高的OA值。因此即使在有限的训练样本比例下，提出的 DHCGAN方法也能表现出令人满意且稳定的性能。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

[1]Shi C,Wang L.Incorporating spatial information in spectralunmixing:A review.Remote Sensing of environment,2014,149:70-87.

[2]J.Jiang,H.Sun,X.Liu and J.Ma,"Learning Spatial-Spectral Prior forSuper-Resolution of Hyperspectral Imagery,"in IEEE Transactions onComputational Imaging,vol.6,pp.1082-1096,2020.

[3]Nasrabadi N.Hyperspectral target detection:An overview of currentand future challenges.IEEE Signal Processing Magazine,2014,31(1):34–44.

[4]Y.Gu,J.Chanussot,X.Jia,and J.A.Benediktsson,“Multiple kernellearning for hyperspectral image classification:Areview,”IEEETrans.Geosci.Remote Sens.,vol.55,no.11,pp.6547–6565,Nov.2017.

[5]J.A.Benediktsson,J.A.Palmason,and J.R.Sveinsson,“Classification ofhyperspectral data from urban areas based on extended morphologicalprofiles,”IEEE Trans.Geosci.Remote Sens.,vol.43,no.3,pp. 480–491,Mar.2005.

[6]P.Arellano,K.Tansey,H.Balzter,and D.S.Boyd,“Detecting the effectsof hydrocarbon pollution in the amazon forest using hyperspectral satelliteimages,”Environ.Pollut.,vol.205,pp.225–239,Oct.2015.

[7]I.Makki,R.Younes,C.Francis,T.Bianchi,and M.Zucchetti,“Asurvey oflandmine detection using hyperspectral imaging,”ISPRS J.Photogramm.RemoteSens.,vol.124,pp.40–53,Feb.2017.

[8]G.Licciardi,P.R.Marpu,J.Chanussot,and J.A.Benediktsson,“Linearversus nonlinear PCA for the classification of hyperspectral data based onthe extended morphological profiles,”IEEE Geosci.Remote Sens.Lett.,vol.9,no.3,pp.447–451,May 2012.

[9]L.M.Bruce,H.K.Cliff and J.Li.Dimensionality reduction ofhyperspectral data using discrate wavelet transform feature extraction.IEEETrans.Geosci.Remote Sens.,2002,40(10):2331–2338.

[10]T.Warner and M.Shank.Spatial autocorrelation analysis ofhyperspectral imagery for feature selection. Remote Sensing ofEnvironment.1997,60:58–70.

[11]P.S.Chavez,G.L.Berlin and L.B.Sowers.Statistical method forselecting Landsat MSS ratio.Journal of Applied Photographic Engineer.1982,8:23–30.

[12]J.Zhu,J.Hu,S.Jia,X.Jia,and Q.Li,“Multiple 3-D feature fusionframework for hyperspectral image classification,”IEEE Trans.Geosci.RemoteSens.,vol.56,no.4,pp.1873–1886,Apr.2018.

[13]J.Liang et al.,“On the sampling strategy for evaluation ofspectral-spatial methods in hyperspectral image classification,”IEEETrans.Geosci.Remote Sens.,vol.55,no.2,pp.862–880,Feb.2017.

[14]L.Fang,N.He,S.Li,P.Ghamisi,and J.A.Benediktsson,“Extinctionprofiles fusion for hyperspectral images classification,”IEEETrans.Geosci.Remote Sens.,vol.56,no.3,pp.1803–1815,Mar.2018.

[15]N.He et al.,Feature extraction with multiscale covariance mapsfor hyperspectral image classification. IEEE Trans.Geosci.Remote Sens.,vol.57,no.2,pp.755–769,Feb.2019.

[16]M.Khodadadzadeh,J.Li,A.Plaza,and J.M.Bioucas-Dias,A subspace-based multinomial logistic regression for hyperspectral imageclassification.IEEE Geosci.Remote Sen.Lett.,vol.11,no.12, pp.2105–2109,Dec.2014.

[17]C.Cariou and K.Chehdi,“Unsupervised nearest neighbors clusteringwith application to hyperspectral images,”IEEE J.Sel.Topics Signal Process.,vol.9,no.6, pp.1105–1116,Sep.2015.

[18]Melgani,F.；Bruzzone,L.Classification of hyperspectral remotesensing images with support vector machines.IEEE Trans.Geosci.RemoteSens.2004,42,1778–1790.

[19]W.Li,C.Chen,H.Su,and Q.Du,“Local binary patterns and extremelearning machine for hyperspectral imagery classification,”IEEETrans.Geosci.Remote Sens.,vol.53,no.7,pp.3681–3693,Jul. 2015.

[20]Gehring J,Auli M,Grangier D,et al.“Convolutional Sequence toSequence Learning”,arXiv preprint arXiv:1705.03122,2017.

[21]He H,Gimpel K and Lin J J,“Multi-Perspective Sentence SimilarityModeling with Convolu-tional Neural Networks”,in Conference on EmpiricalMethods in Natural Language Processing.2015:1576–1586.

[22]O.Ronneberger,P.Fischer and T.Brox,“U-Net:Convolutional Networksfor Biomedical Image Segmentation”,in MICCAI,2015.

[23]Wang,Robert J and Li,Xiang and Ling,Charles X,“Pelee:A Real-TimeObject Detection System on Mobile Devices”,in Advances in Neural InformationProcessing Systems,pp.1967–1976,2018.

[24]Y.Chen,Z.Lin,X.Zhao,G.Wang,and Y.Gu,“Deep learning-basedclassification of hyperspectral data,”IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.7,no.6,pp.2094–2107,Jun.2014.

[25]A.Ng,“Sparse autoencoder,”CS294A Lecture Notes,pp.1–19,2011.

[26]K.Jia,L.Sun,S.Gao,Z.Song,and B.E.Shi,“Laplacian auto-encoders:Anexplicit learning of nonlinear data manifold,”Neurocomputing,vol.160,pp.250–260,Jul.2015.

[27]Y.Chen,X.Zhao,and X.Jia,“Spectral–spatial classification ofhyperspectral data based on deep belief network,”IEEE J.Sel.Topics Appl.EarthObserv.Remote Sens.,vol.8,no.6,pp.2381–2392,Jun.2015.

[28]W.Hu,Y.Huang,L.Wei,F.Zhang,and H.Li,“Deep convolutional neuralnetworks for hyperspectral image classification,”J.Sensors,vol.2015,Jan.2015,Art.no.258619.

[29]W.Li,G.Wu,F.Zhang,and Q.Du,“Hyperspectral image classificationusing deep pixel-pair features,” IEEE Trans.Geosci.Remote Sens.,vol.55,no.2,pp.844–853,Feb.2017.

[30]X.Cao,F.Zhou,L.Xu,D.Meng,Z.Xu,and J Paisley,“Hyperspectral imageclassification with markov random fields and a convolutional neural network,”IEEE Trans.Image Process.,vol.27,no.5,pp.2354– 2367,May 2018.

[31]Z.Zhong,J.Li,Z.Luo,and M.Chapman,“Spectral-spatial residualnetwork for hyperspectral image classification:A 3-D deep learningframework,”IEEE Trans.Geosci.Remote Sens.,vol.56,no.2,pp. 847–856,Feb.2018.

[32]M.Zhang,W.Li,and Q.Du,“Diverse region-based CNN for hyperspectralimage classification.,”IEEE Trans.Image Process.,vol.27,no.6,pp.2623,Jun.2018.

[33]J.Zhu,L.Fang,and P.Ghamisi,“Deformable convolutional neuralnetworks for hyperspectral image classification,”IEEE Geosci.RemoteSens.Lett.,vol.15,no.8,pp.1254–1258,Aug.2018.

[34]Jiang,Y.,Li,Y.,Zou,S.,Zhang,H.,&Bai,Y.(2021).Hyperspectral ImageClassification With Spatial Consistence Using Fully Convolutional SpatialPropagation Network.IEEE Transactions on Geoscience and Remote Sensing,59,10425-10437.

[35]I.Goodfellow et al.,“Generative adversarial nets,”in Proc.NIPS,2014,pp.2672–2680.

[36]M.Mirza and S.Osindero,“Conditional generative adversarial nets,”arXiv preprint arXiv:1411.1784, 2014.

[37]E.L.Denton,S.Chintala,R.Fergus et al.,“Deep generative imagemodels using a laplacian pyramid of adversarial networks,”in Advances inneural information processing systems,2015,pp.1486–1494.

[38]A.Radford,L.Metz,and S.Chintala,“Unsupervised representationlearning with deep convolutional generative adversarial networks,”arXivpreprint arXiv:1511.06434,2015.

[39]A.Martin,S.Chintala,and L.Bottou."Wasserstein generativeadversarial networks."International conference on machine learning.PMLR,2017.

[40]T.Karras,T.Aila,S.Laine,and J.Lehtinen,“Progressive growing ofGANs for improved quality, stability,and variation,”in Proc.6thInt.Conf.Learn.Represent.(ICLR),2018,pp.1–26.

[41]T.Karras,T.Aila,S.Laine,and J.Lehtinen,“Progressive growing ofGANs for improved quality, stability,and variation,”arXiv preprint arXiv:1710.10196,2017.

[42]Y.Zhan,D.Hu,Y.Wang,and X.Yu,“Semisupervised hyperspectral imageclassification based on generative adversarial networks,”IEEE Geosci.RemoteSens.Lett.,vol.15,no.2,pp.212–216,Feb.2018.

[43]L.Zhu,Y.Chen,P.Ghamisi,and J.A.Benediktsson,“Generativeadversarial networks for hyperspectral image classification,”IEEETrans.Geosci.Remote Sens.,vol.56,no.9,pp.5046–5063,Sep.2018.

[44]Z.Zhong,J.Li,D.A.Clausi,and A.Wong,“Generative adversarialnetworks and conditional random fields for hyperspectral imageclassification,”IEEE Trans.Cybern.,vol.50,no.7,pp.3318–3329,Jul.2020.

[45]X.Wang,K.Tan,Q.Du,Y.Chen,and P.Du,“Caps-TripleGAN:GAN-assistedCapsNet for hyperspectral image classification,”IEEE Trans.Geosci.RemoteSens.,vol.57,no.9,pp.7232–7245,Sep. 2019.

[46]J.Feng,H.Yu,L.Wang,X.Cao,X.Zhang,and L.Jiao,“Classification ofhyperspectral images based on multiclass spatial–spectral generativeadversarial networks,”IEEE Trans.Geosci.Remote Sens.,vol.57, no.8,pp.5329–5343,Aug.2019.

[47]R.Hang,F.Zhou,Q.Liu and P.Ghamisi,"Classification ofHyperspectral Images via Multitask Generative Adversarial Networks,"in IEEETransactions on Geoscience and Remote Sensing,vol.59,no.2, pp.1424-1436,Feb.2021.

[48]F.Zhang,J.Bai,J.Zhang,Z.Xiao and C.Pei,"An Optimized TrainingMethod for GAN-Based Hyperspectral Image Classification,"in IEEE Geoscienceand Remote Sensing Letters,vol.18,no.10,pp. 1791-1795,Oct.2021.

[49]J.Wang,F.Gao,J.Dong and Q.Du,"Adaptive DropBlock-EnhancedGenerative Adversarial Networks for Hyperspectral Image Classification,"IEEETrans.Geosci.Remote Sens.,vol.59,no.6,pp.5040-5053, June 2021.

[50]S.K.Roy,J.M.Haut,M.E.Paoletti,S.R.Dubey and A.Plaza,"GenerativeAdversarial Minority Oversampling for Spectral–Spatial Hyperspectral ImageClassification,"IEEE Trans.Geosci.Remote Sens., vol.60,pp.1-15,2022,Artno.5500615,doi:10.1109/TGRS.2021.3052048.

[51]A.Odena,V.Dumoulin,and C.Olah.Deconvolution and CheckerboardArtifact.Distill,2016,doi: 10.23915/distill.00003.

[52]Yubao Sun,Jiwei Chen,Qingshan Liu,Guangcan Liu.Learning imagecompressed sensing with sub-pixel convolutional generative adversarialnetwork.Pattern Recognition,Volume 98, 2020.

[53]Ioffe,S.；Szegedy,C.Batch normalization:Accelerating deep networktraining by reducing internal covariate shift.arXiv 2015,arXiv:1502.03167.

[54]Clevert,D.；Unterthiner,T.；Hochreiter,S.Fast and Accurate DeepNetwork Learning by Exponential Linear Units(ELUs).arXiv 2016,arXiv:1511.07289

[55]Srivastava,N.；Hinton,G.；Krizhevsky,A.；Sutskever,I.；Salakhutdinov,R.Dropout:A Simple Way to Prevent Neural Networks from Overfitting.J.Mach.Learn.Res.2014,15,1929–1958.

[56]A.Odena,C.Olah,and J.Shlens,“Conditional image synthesis withauxiliary classifier GANs,”in Proc. Int.Conf.Mach.Learn.,2017,pp.2642–2651.

[57]J.Ham,Y.Chen,M.M.Crawford,and J.Ghosh.Investigation of the randomforest framework for classification of hyperspectral data.IEEETrans.Geosci.Remote Sens.,vol.43,no.3,pp.492–501,Mar. 2005.

[58]Ronan Collobert and Samy Bengio.Links between perceptrons,MLPsand SVMs.In Proceedings of the twenty-first international conference onMachine learning(ICML'04).Association for Computing Machinery, New York,USA,23,2004.

[59]Y.Chen,H.Jiang,C.Li,X.Jia,and P.Ghamisi,“Deep feature extractionand classification of hyperspectral images based on convolutional neuralnetworks,”IEEE Trans.Geosci.Remote Sens.,vol.54, no.10,pp.6232–6251,Oct.2016.

[60]M.E.Paoletti,J.M.Haut,R.Fernandez-Beltran,J.Plaza,A.J.Plaza andF.Pla,"Deep pyramidal residual networks for spectral-spatial hyperspectralimage classification",IEEE Trans.Geosci.Remote Sens., vol.57,no.2,pp.740-754,Feb.2019。

Claims

1.基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：

对获取的高光谱图像进行处理，获得训练集和测试集；

步骤二、建立DHCGAN网络；

所述DHCGAN网络为双混合卷积生成对抗网络；

DHCGAN网络包括：生成器和判别器；

2.根据权利要求1所述基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述步骤一中获取高光谱图像、随机噪声以及随机噪声对应的标签；

对获取的高光谱图像进行处理，获得训练集和测试集；

具体过程为：

获取高光谱图像S＝{X,Y}，

为实数；

将降维后的数据进行随机分块，作为新的样本集

其中h、w被设置为相同的值，分别代表立方块的高度和宽度，b为PCA得到的光谱分量个数；

获取随机噪声以及随机噪声对应的标签。

3.根据权利要求1或2所述基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述步骤二中建立DHCGAN网络；

所述DHCGAN网络为双混合卷积生成对抗网络；

DHCGAN网络包括：生成器和判别器；

具体过程为：

所述生成器G依次包括最近邻上采样层、第一二维卷积层、第一BN层、第一ELU激活层、第一亚像素卷积层、第二BN层、第二ELU激活层、第二亚像素卷积层、第三BN层、第三ELU激活层、第一自适应drop层、第三亚像素卷积层、第四BN层、第四ELU激活层、第四亚像素卷积层、第五BN层、第五ELU激活层、第二自适应drop层、第二二维卷积层、tanh激活层；

其中，

最近邻上采样层的采样参数被设置为4；

第一亚像素卷积层、第二亚像素卷积层、第三亚像素卷积层、第四亚像素卷积层的采样参数被设置为2；

所述判别器D依次包括第三二维卷积层、第一LeakyReLU激活层、第四二维卷积层、第六BN层、第二LeakyReLU激活层、第五二维卷积层、第七BN层、第三LeakyReLU激活层、第六二维卷积层、第八BN层、第四LeakyReLU激活层、第三自适应drop层、第七二维卷积层、第五LeakyReLU激活层、全连接层、Softmax层；

其中，

第三二维卷积层的卷积核大小为4×4×64、第四二维卷积层的卷积核大小为4×4×128、第五二维卷积层的卷积核大小为4×4×256、第六二维卷积层的卷积核大小为4×4×512、第七二维卷积层的卷积核大小为4×4×128、全连接层的卷积核大小为1×128；

4.根据权利要求3所述基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述生成器G的连接关系为：

100×1×1分别为噪声的光谱通道、高度和宽度；

512×4×4分别为转换后的噪声的光谱通道、高度和宽度；

F_out＝S(xⁿ)＝σ[BN_α,βSubPixel(xⁿ)]

其中，xⁿ为输入第一亚像素卷积层的张量，σ表示ELU激活函数运算，α和β则分别代表BN操作的可训练参数，SubPixel(·)为亚像素卷积操作；

生成器G输出大小为3×64×64的带有标签的假数据。

5.根据权利要求4所述基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述亚像素卷积层输入张量大小[b₁,C,H,W]，亚像素卷积层的采样参数为r₁，则通过亚像素卷积层的输出大小为

6.根据权利要求5所述基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述判别器D中第三二维卷积层为标准卷积，标准卷积的卷积核大小为[N,FH,FW]；

DH＝r*(FH-1)+1

DW＝r*(FW-1)+1

其中，*为相乘操作，DH为膨胀卷积的卷积核的高，DW为膨胀卷积的卷积核的宽，r为膨胀率；

其中，b′表示输入特征图的批处理大小，C′表示输入特征图的通道数，H′为输入特征图的高，W′为输入特征图的宽，OH为输出特征图的高，OW为输出特征图的宽，S为步幅，p为填充，r为膨胀率。

7.根据权利要求6所述基于双混合卷积生成对抗网络的高光谱图像分类方法，其特征在于：所述步骤三中基于步骤一对DHCGAN网络进行训练，得到训练好的DHCGAN网络；具体过程为：

步骤三一、初始化生成器G和判别器D的权重矩阵和偏置；

步骤三三、将训练集输入判别器D，得到训练好的判别器D；

步骤三四、随机生成d维噪声以及标签；

其中，V(D,G)表示真实样本和生成样本的差异程度，

p_data(x)为真实的样本分布，pG(z)为生成器生成的样本分布。