CN109389080A - 基于半监督wgan-gp的高光谱图像分类方法 - Google Patents

基于半监督wgan-gp的高光谱图像分类方法 Download PDF

Info

Publication number
CN109389080A
CN109389080A CN201811162325.4A CN201811162325A CN109389080A CN 109389080 A CN109389080 A CN 109389080A CN 201811162325 A CN201811162325 A CN 201811162325A CN 109389080 A CN109389080 A CN 109389080A
Authority
CN
China
Prior art keywords
network
supervised
wgan
semi
high spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811162325.4A
Other languages
English (en)
Other versions
CN109389080B (zh
Inventor
白静
张景森
张帆
李笑寒
杨韦洁
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811162325.4A priority Critical patent/CN109389080B/zh
Publication of CN109389080A publication Critical patent/CN109389080A/zh
Application granted granted Critical
Publication of CN109389080B publication Critical patent/CN109389080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督WGAN‑GP的高光谱图像分类方法，克服了现有技术在训练数据受限条件下难以提取到丰富的特征信息，无法充利用无标签样本对分类器进行训练，分类精度低的问题。本发明的具体步骤包括：(1)输入待分类的高光谱图像；(2)生成样本集；(3)构建半监督WGAN‑GP网络；(4)训练半监督WGAN‑GP网络；(5)对测试数据进行分类。本发明能通过半监督WGAN‑GP中的生成器接收噪声产生伪高光谱数据辅助判别器分类，可以充分利用有限样本提高分类精度，可用于在精细农业、低质调研等领域中对高光谱图像进行地物目标的分类。

Description

基于半监督WGAN-GP的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域中的一种基于半监督Wasserstein距离和梯度惩罚的生成式对抗网络WGAN-GP(WassersteinGenerative Adversarial Net-Gradient Penalty)的高光谱图像分类方法。本发明可用于对高光谱图像中的地物进行分类。
背景技术
高光谱遥感图像是由高光谱传感器捕获的卫星图像，对于每个像素都有几十个乃至几百个光谱波段。因此，它可以提供丰富的信息而且具有很高的光谱分辨率，可广泛应用于军事、农业、环境监视等诸多领域。对高光谱图像进行处理分析在国际遥感领域极其重要，其中高光谱图像分类是高光谱信息处理的一个重要研究方向。然而，高光谱图像的精确分类仍然存在着一些难题，比如像素的维度较高、噪声干扰、较高的空间域和光谱域冗余。现在很多研究利用卷积网络的方法来提取高光谱的鲁棒的、具有判别性的特征以此来提高分类精度。
西北工业大学在其申请的专利文献“基于3DCNN的高光谱图像分类方法”(专利申请号：CN201610301687.1，申请公布号：CN106022355A)中提出了一种利用3D卷积神经网络对高光谱图像进行分类的方法。该方法的具体步骤是：首先，对输入高光谱图像数据进行归一化处理，并提取以待分类像元为中心的一定邻域范围内的数据块作为初始空谱特征；从提取出的含标签数据中随机抽取一半或少于一半的标记数据，用于训练构建好的3D卷积神经网络；通过训练好的3D卷积神经网络完成高光谱图像空谱联合分类。该方法通过输入有标记数据训练3D卷积神经网络，从中提取特征获得分类结果。但是，该方法仍然存在的不足之处是，3D卷积神经网络需要较多的训练数据来达到预期的分类效果，当训练数据量有限时，3D卷积神经网络常常难以提取到有效的特征用于数据的分类，导致分类精度低。而且训练数据未经过PCA主成分提取降维，高维数据直接导致3D卷积神经网络的训练非常耗时。
Wei Hu等人在其发表的论文“Deep Convolutional Neural Networks forHyperspectral Image Classification”(Journal of Sensors,2015)中提出一种基于深度卷积神经网络的高光谱图像分类方法。该方法首先构建一个深度卷积神经网络，将待分类像元为中心的矩形内的像素数据立方体输入构建好的深度卷积神经网络，提取出像素数据的特征，将提取的特征输入到多项式逻辑回归分类器中，得到当前像素数据的分类结果。该方法虽然使用了深度卷积网络来提取特征，进而获得更好的分类结果，但是，该方法仍然存在的不足之处是，搭建的神经网络没有其他网络的辅助，在单一的监督训练模式下难以从小样本数据上提取到丰富特征，分类精度低。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于半监督WGAN-GP的高光谱图像分类方法。
实现本发明目的的思路是，构建一个包含生成器和判别器的半监督WGAN-GP，网络采用半监督模式进行训练，生成器和判别器在训练中互相对抗，通过博弈提高彼此的性能，最终使生成器产生更加接近真实的伪高光谱数据，丰富训练样本，判别器从训练样本中提取到更加有效的特征，完成对输入数据真伪的判定以及对高光谱图像的分类。
在无监督模式下优化无监督损失函数，使生成器可以接收噪声产生更加真实的伪高光谱数据，判别器可以分辨输入数据的真伪，在监督模式下优化监督损失函数，使判别器完成对高光谱数据进行分类。两种模式下共同优化判别器的网络权重，使其可以提取到更加丰富的特征，达到对高光谱数据分类的目的。
为实现上述目的，本发明的具体步骤如下：
(1)输入待分类高光谱图像：
输入一幅包含多个波段的待分类高光谱图像及该图像的类别标签；
(2)生成样本集：
(2a)对所输入待分类的高光谱图像进行归一化处理，得到归一化后的高光谱图像；
(2b)对归一化后的高光谱图像进行主成分提取PCA降维处理，得到3个主成分图像；
(2c)在每个主成分图像中，以每个待分类像素为中心，取大小为64×64的像素的正方形邻域块，得到处理后的高光谱图像数据；
(2d)将处理后的高光谱图像数据按照6％，4％，90％的比例，划分为有标签的训练数据、无标签的训练数据、测试数据；
(3)构建半监督WGAN-GP网络：
(3a)构建一个包含6个反卷积层的生成器网络，生成器网络的具体结构依次为：噪音输入层→全连接层→reshape层→第一个反卷积层→第二个反卷积层→第三个反卷积层→第四个反卷积层→第五个反卷积层→第六个反卷积层→激活层→输出层；生成器网络各层的参数设置如下：噪声输入层为200*1维的高斯噪声，全连接层的输出映射为256*1维，reshape层将一维输入转变成2*2*64三维，第一个反卷积层映射的特征图大小为2*2*512，第二个反卷积层映射的特征图大小为4*4*256，第三个反卷积层映射的特征图大小为8*8*128，第四个反卷积层映射的特征图大小16*16*128，第五个反卷积层映射的特征图大小为32*32*64，第六个反卷积层映射的特征图大小为64*64*3，激活层的激活函数为tanh；
(3b)构建一个包含5个卷积层的判别器网络，判别器网络的具体结构依次为：输入层→第一个卷积层→第二个卷积层→第三卷积层→第四个卷积层→第五个卷积层→reshape层→全连接层→softmax层→输出层；判别器网络各层的参数设置如下：第一个卷积层映射的特征图大小为32*32*64，第二个卷积层映射的特征图大小为16*16*128，第三卷积层映射的特征图大小为8*8*128，第四个卷积层映射的特征图大小为4*4*256，第五个卷积层映射的特征图大小为2*2*256，reshape层将第五个卷积层的三维数据转换为1024*1的一维数据；
(3c)将生成器网络和判别器网络组成半监督WGAN-GP；
(4)训练半监督WGAN-GP网络：
(4a)将训练样本随机分成5个批次，其中监督模式批次为3，无监督模式批次为2，每个批次包含200个高光谱图像数据；
(4b)从5个批次中随机取一个批次；
(4c)判定所选批次是否属于有监督批次，若是，则执行步骤(4d)；否则，执行步骤(4e)；
(4d)将所选的有监督批次输入半监督WGAN-GP，利用有标记训练数据优化该网络中的监督损失函数，优化判别器网络权重；
(4e)将所选的无监督批次输入半监督WGAN-GP，利用无标记训练数据优化该网络中的无监督损失函数，优化生成器和判别器网络权重；
(4f)判定是否已经选取过3500次批次，若是，则得到训练好的半监督WGAN-GP，终止训练，否则，执行步骤(4b)；
(5)对测试数据进行分类：
将测试数据输入到训练好的半监督WGAN-GP中，得到最终高光谱图像的分类结果。
本发明与现有的技术相比具有以下优点：
第一，由于本发明构建了一个半监督WGAN-GP，该WGAN-GP网络中的生成器接收噪声产生伪高光谱图像数据，产生的数据可以作为训练数据的扩充，辅助训练WGAN-GP网络中判别器，克服了现有技术在有标记小样本数据上训练困难，分类精度低的问题，使得本发明可以在对小样本数据进行充分利用，提取到更加丰富和完善的特征信息，从而提高分类精度。
第二，本发明将监督模式训练和无监督模式的两个模式交替进行3500次，在整个半监督训练的过程中，交替训练了判别器识别数据真伪的能力和分类的能力，两种方式协同调节判别器的网络权重，得到训练好的半监督WGAN-GP，最终能使判别器提取到更加丰富的特征用于数据的分类，克服了卷积神经网络模型在单一的监督训练模式下，难以从小样本数据上提取到丰富特征的问题。从而提升了分类器的性能。
附图说明
图1是本发明的流程图；
图2是本发明的半监督WGAN-GP网络结构示意图；
图3是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1，本发明的实现的具体步骤做进一步的描述。
步骤1，输入待分类高光谱图像。
输入一幅包含d个波段的待分类高光谱图像及该图像的类别标签，本实施例输入一幅大小145*145，包含220个波段的Indian Pines高光谱数据集。
步骤2，生成样本集。
对所输入待分类的高光谱图像进行归一化处理，得到归一化后的高光谱图像。
所描述的归一化处理的步骤如下：
第1步，按照下式，计算高光谱图像的每一个像素值的归一化值：
其中，zj表示高光谱图像中第j个像素的归一化值，yj表示高光谱图像中第j个像素值，ymin表示高光谱图像中所有像素值的最小值，ymax表示高光谱图像中所有像素值的最大值。
第2步，将所有像素的归一化值组成到归一化后的高光谱图像。
对归一化后的高光谱图像进行主成分提取PCA降维处理，得到3个主成分图像。
所述主成分提取PCA降维处理的步骤如下：
第1步，将归一化后的高光谱图像的每一个波段按照先列后行的顺序排列成一个列向量，将所有列向量排列成向量组。
第2步，按照下式，计算向量组的中心化向量组：
Y＝X'-E(X')
其中，Y表示向量组的中心化向量组，X'表示向量组，E(X')表示对向量组X'中的每一个向量取均值后，由所有列向量取均值组成的均值向量。
第3步，将中心化向量组转置后与中心化向量组的相乘，得到协方差矩阵。
第4步，按照下式，计算协方差矩阵的特征值：
|λ·I-Cov|＝0
其中，|·|表示行列式操作，λ表示协方差矩阵的特征值，·表示相乘操作，I表示单位矩阵，Cov表示协方差矩阵。
第5步，按照下式，计算协方差矩阵的特征向量，并对前3个特征向量进行组合得到变换矩阵：
Cov·u＝λ·u
其中，u表示协方差矩阵的特征向量。
第6步，将向量组中的每个向量依次与变换矩阵做乘积，将所得的3维矩阵作为归一化后的高光谱图像的3个主成分图像。
在每个主成分图像中，以每个待分类像素为中心，取大小为64×64的像素的正方形邻域块。
按照6％，4％，90％的比例，将处理过的数据划分为有标签的训练数据、无标签的训练数据、测试数据。
步骤3，构建半监督WGAN-GP网络。
参照附图2，本发明构建半监督WGAN-GP网络的步骤做进一步的描述。
建一个包含6个反卷积层的生成器网络，生成器网络的具体结构依次为：噪音输入层→全连接层→reshape层→第一个反卷积层→第二个反卷积层→第三个反卷积层→第四个反卷积层→第五个反卷积层→第六个反卷积层→激活层→输出层。
生成器网络各层的参数设置如下：噪声输入层为200*1维的高斯噪声，全连接层的输出映射为256*1维，reshape层将一维输入转变成2*2*64三维，第一个反卷积层映射的特征图大小为2*2*512，第二个反卷积层映射的特征图大小为4*4*256，第三个反卷积层映射的特征图大小为8*8*128，第四个反卷积层映射的特征图大小16*16*128，第五个反卷积层映射的特征图大小为32*32*64，第六个反卷积层映射的特征图大小为64*64*3，激活层的激活函数为tanh。
每个反卷积层中依次设置反卷积网络、批标准化层、激活层。其中，所述反卷积网络的步长为1，反卷积网络中的padding设置为SAME，反卷积网络的卷积核大小为3。所述批标准化层的衰减系数为0.9。所述激活层的激活函数为ReLu。
构建一个包含5个卷积层的判别器网络，判别器网络的具体结构依次为：输入层→第一个卷积层→第二个卷积层→第三卷积层→第四个卷积层→第五个卷积层→reshape层→全连接层→softmax层→输出层。
判别器网络各层的参数设置如下：第一个卷积层映射的特征图大小为32*32*64，第二个卷积层映射的特征图大小为16*16*128，第三卷积层映射的特征图大小为8*8*128，第四个卷积层映射的特征图大小为4*4*256，第五个卷积层映射的特征图大小为2*2*256，reshape层将第五个卷积层的三维数据转换为1024*1的一维数据。
每个卷积层中依次设置卷积网络、批标准化层、激活层。其中，所述卷积网络步长为1，卷积网络的padding为SAME，卷积网络的卷积核大小为3。所述批标准化层的衰减系数为0.9。所述激活层的激活函数为LReLu。
将生成器网络和判别器网络组成半监督WGAN-GP。
步骤4，训练半监督WGAN-GP网络。
第1步，将训练样本随机分成5个批次，按照有标签数据数据6％和无标签数据4％，将监督模式批次设置为3，无监督模式批次设置为2，每个批次包含200个高光谱图像数据；
第2步，从5个批次中随机取一个批次；
第3步，判定所选批次是否属于有监督批次，若是，则执行第4步；否则，执行步骤第5步；
第4步，将所选的有监督批次和噪声输入半监督WGAN-GP，利用有标记训练数据优化该网络中的监督损失函数，优化判别器网络权重，训练判别器对高光谱数据进行分类的能力；
第5步，将所选的无监督批次和噪声输入半监督WGAN-GP，利用无标记训练数据优化该网络中的无监督损失函数，优化生成器和判别器网络权重，训练生成器产生伪高光谱图像数据，判别器分别接收伪高光谱图像数据和无标签的训练数据，训练判别器分辨数据的真伪。
第6步，判定是否已经选取过3500次批次，若是，则得到训练好的半监督WGAN-GP，终止训练，否则，执行第2步；
步骤5，对测试数据进行分类。
将测试数据输入到训练好的半监督WGAN-GP中，通过参数优化好的判别器对测试数据进行分类，得到最终高光谱图像的分类结果。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：GPU GeForce GTX 1080Ti，RAM 20G；
本发明的仿真实验的软件平台为：Ubuntu 14.04和tensorflow-0.12.0
2.仿真内容：
本发明的仿真实验是采用本发明和两个现有技术(3D卷积神经网络方法和卷积神经网络CNN方法)对印第安纳松Indian Pines高光谱图像进行分类。该高光谱图像来自机载可视红外成像光谱仪AVIRIS拍摄于1992年对美国印第安纳州一块印度松树，该图像的大小为145*145，除去20个水吸收波段外图像包括200个波段。图3是采用现有技术和本发明方法对印第安纳松高光谱图像的仿真图，其中，图3(a)是印第安纳松的真实地物分布图，包含200个波段和16类地物。图3(b)是采用现有技术3D卷积神经网络方法对图3(a)的分类结果图，图3(c)是采用现有技术CNN方法对图3(a)的分类结果图，图3(d)是采用本发明方法对图3(a)的分类结果图。
本发明用到的两个现有技术对比分类方法分别如下：
Y.Li等人在其发表的论文“Spectral–spatial classification ofhyperspectral imagery with 3D convolutional neural network”([J].Remote Sens.,vol.9,no.1,p.67,2017)中提出的高光谱图像分类方法，简称3D卷积神经网络分类方法。
Wei等人在其发表的论文“Deep Convolutional neural networks forhyperspectral image classification”(IEEE J.Sel.,vol.2015,no.258619,pp.963–978,Jan.2015)中提出的高光谱图像分类方法，简称卷积神经网络CNN分类方法。
3.仿真结果分析：
从图3(b)可以看出，由于3D卷积神经网络需要较多训练数据，待分类样本的训练数据有限时会大大限制3D卷积神经网络的性能，所以在图3(b)的左上四分之一处的同质区域与图3(a)的地物分布图的相应位置进行比较，出现了明显的错分现象，可见难以在小样本数据上达到较好的性能。
从图3(c)可以看出，传统CNN在单一监督训练模式下很难在小样本上学到足够丰富的特征用于分类，所以图3(c)右中的边缘区域与图3(a)的地物分布图的相应位置进行比较，出现了很多错分现象。
从图3(d)可以看出，本发明在左上角小样本数据区域和右中边缘区域都没有区域错分混叠现象，分类结果较好，整体图像分类较为清晰，说明本发明方法较3D卷积神经网络和CNN都有较大的提升效果。
下面采用以下三个指标来客观评价本发明仿真实验的结果。
表1.附图2中各方法分类结果的定量分析一览表
Indian Pines 3DCNN CNN WGAN-GP
Alfala 0.80 0.97 0.90
Corn-notill 0.90 0.87 0.96
Corn-min 0.87 0.92 0.96
Corn 0.60 0.85 0.97
Grass/Pasture 0.89 0.69 0.99
Grass/Trees 0.97 0.96 0.96
Grass/Pasture-mowed 0.92 0.52 0.64
Hay-windrowed 0.96 1.00 1.00
Oats 0.82 0.47 0.77
Soybeans-notill 0.96 0.83 0.93
Soybeans-min 0.95 0.93 0.99
Soybean-clean 0.75 0.87 0.97
Wheat 1.00 0.92 0.96
Woods 0.98 0.98 1.00
Building-Grass-Trees 1.00 0.95 0.96
Stone-steel Towers 0.96 0.36 0.76
OA 0.92 0.90 0.97
AA 0.90 0.82 0.92
Kappa 0.91 0.89 0.96
第一个评价指标是总精度OA，表示各种方法所使用分类器正确分类的样本的数量占所有样本的比例，该值越大，说明分类效果越好。第二个评价指标是平均精度AA，表示每一类分类精度的平均值，该值越大，说明分类效果越好。第三个评价指标是卡方系数Kappa，表示混淆矩阵中不同的权值，该值越大，说明分类效果越好。
表1为从客观评价指标上对附图3中三种方法的分类结果中各方法的分类结果进行评价。
结合表1和附图3可以看出，3D卷积神经网络的OA、AA和Kappa系数较本发明都更低，说明3D卷积神经网络需要较多的训练数据来达到预期的分类效果，当训练数据量有限时3D卷积神经网络常常难以提取到有效的特征用于对数据的分类。而CNN的OA、AA和Kappa较3D卷积神经网络和本发明都更低，说明CNN搭建的神经网络在没有其他网络的辅助时，单一监督模式下很难从小样本数据中提取到足够丰富的特征。这最终就会导致分类器的精确度低。本发明在视觉和定量分析方面均优于前两种现有技术分类方法，在小样本的IndianPines数据集上能达到理想的分类效果。
以上仿真实验表明：本发明中的生成器接收噪声产成的伪样本确实可以辅助判别器进行分类，使得半监督WGAN-GP可以利用无标签数据提高分类的精度，能够解决现有技术在训练数据受限条件下难以提取到丰富的特征信息，无法充利用无标签样本对分类器进行训练，分类精度低的问题，是一种非常实用的高光谱图像分类方法。

Claims (5)

1.一种基于半监督WGAN-GP的高光谱图像分类方法，其特征在于，构建一个半监督WGAN-GP，其中的生成器接收噪声产生伪高光谱图像数据，其中的判别器完成对输入数据真伪的判定以及对高光谱图像数据的分类，该方法的具体步骤包括如下：
(1)输入待分类高光谱图像：
输入一幅包含多个波段的待分类高光谱图像及该图像的类别标签；
(2)生成样本集：
(2a)对所输入待分类的高光谱图像进行归一化处理，得到归一化后的高光谱图像；
(2b)对归一化后的高光谱图像进行主成分提取PCA降维处理，得到3个主成分图像；
(2c)在每个主成分图像中，以每个待分类像素为中心，取大小为64×64的像素的正方形邻域块，得到处理后的高光谱图像数据；
(2d)将处理后的高光谱图像数据按照6％，4％，90％的比例，划分为有标签的训练数据、无标签的训练数据、测试数据；
(3)构建半监督WGAN-GP网络：
(3a)构建一个包含6个反卷积层的生成器网络，生成器网络的具体结构依次为：噪音输入层→全连接层→reshape层→第一个反卷积层→第二个反卷积层→第三个反卷积层→第四个反卷积层→第五个反卷积层→第六个反卷积层→激活层→输出层；生成器网络各层的参数设置如下：噪声输入层为200*1维的高斯噪声，全连接层的输出映射为256*1维，reshape层将一维输入转变成2*2*64三维，第一个反卷积层映射的特征图大小为2*2*512，第二个反卷积层映射的特征图大小为4*4*256，第三个反卷积层映射的特征图大小为8*8*128，第四个反卷积层映射的特征图大小16*16*128，第五个反卷积层映射的特征图大小为32*32*64，第六个反卷积层映射的特征图大小为64*64*3，激活层的激活函数为tanh；
(3b)构建一个包含5个卷积层的判别器网络，判别器网络的具体结构依次为：输入层→第一个卷积层→第二个卷积层→第三卷积层→第四个卷积层→第五个卷积层→reshape层→全连接层→softmax层→输出层；判别器网络各层的参数设置如下：第一个卷积层映射的特征图大小为32*32*64，第二个卷积层映射的特征图大小为16*16*128，第三卷积层映射的特征图大小为8*8*128，第四个卷积层映射的特征图大小为4*4*256，第五个卷积层映射的特征图大小为2*2*256，reshape层将第五个卷积层的三维数据转换为1024*1的一维数据；
(3c)将生成器网络和判别器网络组成半监督WGAN-GP；
(4)训练半监督WGAN-GP网络：
(4a)将训练样本随机分成5个批次，其中监督模式批次为3，无监督模式批次为2，每个批次包含200个高光谱图像数据；
(4b)从5个批次中随机取一个批次；
(4c)判定所选批次是否属于有监督批次，若是，则执行步骤(4d)；否则，执行步骤(4e)；
(4d)将所选的有监督批次和噪声输入半监督WGAN-GP，利用有标记训练数据优化该网络中的监督损失函数，优化判别器网络权重；
(4e)将所选的无监督批次和噪声输入半监督WGAN-GP，利用无标记训练数据优化该网络中的无监督损失函数，优化生成器和判别器网络权重；
(4f)判定是否已经选取过3500次批次，若是，则得到训练好的半监督WGAN-GP，终止训练，否则，执行步骤(4b)；
(5)对测试数据进行分类：
将测试数据输入到训练好的半监督WGAN-GP中，得到最终高光谱图像的分类结果。
2.根据权利要求1所述的基于半监督WGAN-GP的高光谱图像分类方法，其特征在于，步骤(2a)中所描述的归一化处理的步骤如下：
第一步，按照下式，计算高光谱图像的每一个像素值的归一化值：
其中，zj表示高光谱图像中第j个像素的归一化值，yj表示高光谱图像中第j个像素值，ymin表示高光谱图像中所有像素值的最小值，ymax表示高光谱图像中所有像素值的最大值；
第二步，将所有像素的归一化值组成到归一化后的高光谱图像。
3.根据权利要求1所述的基于半监督WGAN-GP的高光谱图像分类方法，其特征在于，步骤(2b)中所述主成分提取PCA降维处理的步骤如下：
第1步，将归一化后的高光谱图像的每一个波段按照先列后行的顺序排列成一个列向量，将所有列向量排列成向量组；
第2步，按照下式，计算向量组的中心化向量组：
Y＝X'-E(X')
其中，Y表示向量组的中心化向量组，X'表示向量组，E(X')表示对向量组X'中的每一个向量取均值后，由所有列向量取均值组成的均值向量；
第3步，将中心化向量组转置后与中心化向量组的相乘，得到协方差矩阵；
第4步，按照下式，计算协方差矩阵的特征值：
|λ·I-Cov|＝0
其中，|·|表示行列式操作，λ表示协方差矩阵的特征值，·表示相乘操作，I表示单位矩阵，Cov表示协方差矩阵；
第5步，按照下式，计算协方差矩阵的特征向量，并对前3个特征向量进行组合得到变换矩阵：
Cov·u＝λ·u
其中，u表示协方差矩阵的特征向量；
第6步，将向量组中的每个向量依次与变换矩阵做乘积，将所得的3维矩阵作为归一化后的高光谱图像的3个主成分图像。
4.根据权利要求1所述的基于半监督WGAN-GP的高光谱图像分类方法，其特征在于，步骤(3a)中所述的每个反卷积层中依次设置反卷积网络、批标准化层、激活层；其中，所述反卷积网络的步长为1，反卷积网络中的padding设置为SAME，反卷积网络的卷积核大小为3；所述批标准化层的衰减系数为0.9；所述激活层的激活函数为ReLu。
5.根据权利要求1所述的基于半监督WGAN-GP的高光谱图像分类方法，其特征在于，步骤(3b)中所述的每个卷积层中依次设置卷积网络、批标准化层、激活层；其中，所述卷积网络步长为1，卷积网络的padding为SAME，卷积网络的卷积核大小为3；所述批标准化层的衰减系数为0.9；所述激活层的激活函数为LReLu。
CN201811162325.4A 2018-09-30 2018-09-30 基于半监督wgan-gp的高光谱图像分类方法 Active CN109389080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811162325.4A CN109389080B (zh) 2018-09-30 2018-09-30 基于半监督wgan-gp的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811162325.4A CN109389080B (zh) 2018-09-30 2018-09-30 基于半监督wgan-gp的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN109389080A true CN109389080A (zh) 2019-02-26
CN109389080B CN109389080B (zh) 2022-04-19

Family

ID=65419281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811162325.4A Active CN109389080B (zh) 2018-09-30 2018-09-30 基于半监督wgan-gp的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN109389080B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009015A (zh) * 2019-03-25 2019-07-12 西北工业大学 基于轻量化网络和半监督聚类的高光谱小样本分类方法
CN110163286A (zh) * 2019-05-24 2019-08-23 常熟理工学院 一种基于混合池化的领域自适应图像分类方法
CN110443296A (zh) * 2019-07-30 2019-11-12 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN110533074A (zh) * 2019-07-30 2019-12-03 华南理工大学 一种基于双深度神经网络的图片类别自动标注方法及系统
CN111582348A (zh) * 2020-04-29 2020-08-25 武汉轻工大学 条件生成式对抗网络的训练方法、装置、设备及存储介质
CN111626317A (zh) * 2019-08-14 2020-09-04 广东省智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
CN111814685A (zh) * 2020-07-09 2020-10-23 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法
CN111914728A (zh) * 2020-07-28 2020-11-10 河海大学 高光谱遥感影像半监督分类方法、装置及存储介质
CN112232129A (zh) * 2020-09-17 2021-01-15 厦门熙重电子科技有限公司 基于生成对抗网络的电磁信息泄漏信号仿真系统及方法
CN112784930A (zh) * 2021-03-17 2021-05-11 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN113361485A (zh) * 2021-07-08 2021-09-07 齐齐哈尔大学 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法
WO2022200676A1 (en) * 2021-03-26 2022-09-29 Sharper Shape Oy Method for creating training data for artificial intelligence system to classify hyperspectral data
CN116385813A (zh) * 2023-06-07 2023-07-04 南京隼眼电子科技有限公司 Isar图像分类方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069468A (zh) * 2015-07-28 2015-11-18 西安电子科技大学 基于脊波和深度卷积网络的高光谱图像分类方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108520282A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于Triple-GAN的分类方法
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069468A (zh) * 2015-07-28 2015-11-18 西安电子科技大学 基于脊波和深度卷积网络的高光谱图像分类方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107180248A (zh) * 2017-06-12 2017-09-19 桂林电子科技大学 基于联合损失增强网络的高光谱图像分类方法
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN108520282A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于Triple-GAN的分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHAOYUE WANG等: "Evolutionary Generative Adversarial Networks", 《ARXIV:1803.00657V1 [CS.LG]》 *
FEI GAO等: "Semi-Supervised Generative Adversarial Nets with Multiple Generators for SAR Image Recognition", 《SENSORS》 *
ISHAAN GULRAJANI等: "Improved Training of Wasserstein GANs", 《ARXIV:1704.00028V3 [CS.LG]》 *
ZHI HE等: "Generative adversarial networks-based semi-supervised learning for", 《 REMOTE SENSING》 *
张景森: "基于生成模型和深度网络的高光谱影像分类", 《中国优秀硕士学位论文全文数据库·工程科技Ⅱ辑》 *
徐一峰: "生成对抗网络理论模型和应用综述", 《金华职业技术学院学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009015A (zh) * 2019-03-25 2019-07-12 西北工业大学 基于轻量化网络和半监督聚类的高光谱小样本分类方法
CN110163286A (zh) * 2019-05-24 2019-08-23 常熟理工学院 一种基于混合池化的领域自适应图像分类方法
CN110443296A (zh) * 2019-07-30 2019-11-12 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN110533074A (zh) * 2019-07-30 2019-12-03 华南理工大学 一种基于双深度神经网络的图片类别自动标注方法及系统
CN110443296B (zh) * 2019-07-30 2022-05-06 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN110533074B (zh) * 2019-07-30 2022-03-29 华南理工大学 一种基于双深度神经网络的图片类别自动标注方法及系统
CN111626317A (zh) * 2019-08-14 2020-09-04 广东省智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
CN111626317B (zh) * 2019-08-14 2022-01-07 广东省科学院智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
CN111582348B (zh) * 2020-04-29 2024-02-27 武汉轻工大学 条件生成式对抗网络的训练方法、装置、设备及存储介质
CN111582348A (zh) * 2020-04-29 2020-08-25 武汉轻工大学 条件生成式对抗网络的训练方法、装置、设备及存储介质
CN111814685A (zh) * 2020-07-09 2020-10-23 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法
CN111814685B (zh) * 2020-07-09 2024-02-09 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法
CN111914728A (zh) * 2020-07-28 2020-11-10 河海大学 高光谱遥感影像半监督分类方法、装置及存储介质
CN112232129A (zh) * 2020-09-17 2021-01-15 厦门熙重电子科技有限公司 基于生成对抗网络的电磁信息泄漏信号仿真系统及方法
CN112784930A (zh) * 2021-03-17 2021-05-11 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
WO2022200676A1 (en) * 2021-03-26 2022-09-29 Sharper Shape Oy Method for creating training data for artificial intelligence system to classify hyperspectral data
US11868434B2 (en) 2021-03-26 2024-01-09 Sharper Shape Oy Method for creating training data for artificial intelligence system to classify hyperspectral data
CN113361485B (zh) * 2021-07-08 2022-05-20 齐齐哈尔大学 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法
CN113361485A (zh) * 2021-07-08 2021-09-07 齐齐哈尔大学 基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法
CN116385813A (zh) * 2023-06-07 2023-07-04 南京隼眼电子科技有限公司 Isar图像分类方法、装置及存储介质
CN116385813B (zh) * 2023-06-07 2023-08-29 南京隼眼电子科技有限公司 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质

Also Published As

Publication number Publication date
CN109389080B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN109389080A (zh) 基于半监督wgan-gp的高光谱图像分类方法
CN106156744B (zh) 基于cfar检测与深度学习的sar目标检测方法
Al Bashish et al. A framework for detection and classification of plant leaf and stem diseases
CN106815601A (zh) 基于递归神经网络的高光谱图像分类方法
CN105631480B (zh) 基于多层卷积网络与数据重组折叠的高光谱数据分类方法
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN103886336B (zh) 基于稀疏自动编码器的极化sar图像分类方法
CN105760900B (zh) 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法
CN105160623B (zh) 基于组块低秩张量模型的无监督高光谱数据降维方法
CN108830243A (zh) 基于胶囊网络的高光谱图像分类方法
CN104778482B (zh) 基于张量半监督标度切维数约减的高光谱图像分类方法
CN105718942B (zh) 基于均值漂移和过采样的高光谱图像不平衡分类方法
CN109598306A (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN110533077A (zh) 用于高光谱图像分类的形状自适应卷积深度神经网络方法
CN104299232B (zh) 一种基于自适应窗方向波域和改进fcm的sar图像分割方法
CN107563442A (zh) 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法
CN108427913B (zh) 联合光谱、空间和层次结构信息的高光谱影像分类方法
CN104298999B (zh) 基于递归自动编码的高光谱特征学习方法
CN108446582A (zh) 基于纹理特征和仿射传播聚类算法的高光谱图像分类方法
CN107145836A (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
CN104732244A (zh) 基于小波变换、多策略pso和svm集成的遥感图像分类方法
CN107657271A (zh) 基于长短时记忆网络的高光谱图像分类方法
CN108197650A (zh) 局部相似性保持的高光谱图像极限学习机聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant