CN111914728A - 高光谱遥感影像半监督分类方法、装置及存储介质 - Google Patents

高光谱遥感影像半监督分类方法、装置及存储介质 Download PDF

Info

Publication number
CN111914728A
CN111914728A CN202010736807.7A CN202010736807A CN111914728A CN 111914728 A CN111914728 A CN 111914728A CN 202010736807 A CN202010736807 A CN 202010736807A CN 111914728 A CN111914728 A CN 111914728A
Authority
CN
China
Prior art keywords
spectrum
data
remote sensing
semi
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010736807.7A
Other languages
English (en)
Other versions
CN111914728B (zh
Inventor
高红民
缪雅文
曹雪莹
李臣明
陈忠昊
邱泽林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010736807.7A priority Critical patent/CN111914728B/zh
Publication of CN111914728A publication Critical patent/CN111914728A/zh
Application granted granted Critical
Publication of CN111914728B publication Critical patent/CN111914728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种高光谱遥感影像半监督分类方法、装置及存储介质，其中方法包括建立生成网络结构，所述生成网络结构包括用于生成伪光谱的生成器G；用于接收伪光谱以及真实无标签光谱，判断光谱真伪的判别器D；用于接收伪光谱以及真实有标签光谱，判断输入的类别的分类器C1；训练得到AC‑WGAN网络结构，生成与真实光谱数据相似分布的伪光谱扩充数据集，将扩充后的光谱数据集投入与分类器C1共享参数的分类器C2，获得分类结果。本发明对网络结构和损失函数均进行了改进，减小了数据分类工作和判别工作间的互相影响，并使生成的伪光谱数据的分布更加平滑，解决了因训练样本少导致的分类精度不高的问题。

Description

高光谱遥感影像半监督分类方法、装置及存储介质
技术领域
本发明涉及一种光谱影像分类方法、装置及存储介质，尤其涉及一种高光谱遥感影像半监督分类方法、装置及存储介质。
背景技术
高光谱遥感作为一种新兴的对地观测技术，一直处于遥感技术的前沿，现已成为遥感技术领域一个重要的研究热点。不同于传统的全色和多光谱遥感影像，高光谱影像的每个像元上都能提取与其分辨率相应的连续光谱数据，为分析地物特征提供了更为丰富详细的特征信息。目前，高光谱遥感技术已成功应用于地球科学的方方面面，包括农业、环境、生态、水文等领域。
分类是高光谱遥感技术应用中最常见的操作之一，由于高光谱影像融合传统的空间维与光谱维信息这一本质特点，高光谱影像具有较其他遥感影像更强大的分类能力。传统高光谱遥感影像分类方法依据分类过程中是否引入先验知识划分为非监督分类和监督分类。
非监督分类主要利用同类物体在同样条件下具有相同的光谱特征进行聚类分析。常见的非监督分类法主要是K-均值聚类法和动态聚类分析(ISODATA)分类方法。但分析者很难对分类得到的类别进行控制，且需要对得到的不具有类别信息的结果进行大量后续处理以保证结果的可靠性。
监督分类法又称为训练分类法，即用已知类别的样本去训练分类器，从而对未标记样本进行分类。常见的监督分类方法有最小距离分类法、最大似然分类法、平行多面体分类法等。然而，高光谱遥感数据往往具有成百上千的光谱波段，波段间的相关性较大，存在高度的信息冗余，处理不当，反而会影响分类精度；高光谱遥感影像维数高达上千，当样本数不足时反而会出现休斯(Hughes)现象，即当训练样本数目有限时，分类精度会随着影像波段数目的增加先增加，在到达一定极值后，分类精度将出现随波段数目的增加而下降的现象。
综上，非监督分类方法存在分类精度不足的问题，而监督分类方法通常需要足够的训练样本，而样本的标记常常要耗费大量的人力物力。
发明内容
发明目的：本发明提出一种分类精度高、计算高效的高光谱遥感影像半监督分类方法。本发明的另一目的在于提供基于该方法的高光谱遥感影像半监督分类装置及存储介质。
技术方案：本发明所述的高光谱遥感影像半监督分类方法，包括步骤：
(1)对高光谱遥感影像的光谱维及对应标签进行预处理，划分训练集与测试集；
(2)建立生成网络结构，其中：
生成器G用于生成对应的伪光谱，输入为随机生成的固定维数的向量；
判别器D用于接收伪光谱以及真实无标签光谱，判断所输入光谱数据的真伪，输出其为真的概率；
分类器C1用于接收伪光谱以及真实有标签光谱，判断所输入光谱数据的所属于地物类别，输出其类别标签；
(3)对建立的生成网络结构进行训练，使用均方根传递梯度下降策略RM-Sprop对生成网络结构进行优化，得到AC-WGAN网络结构，生成与真实光谱数据相似分布的伪光谱；
(4)将真实光谱以及伪光谱投入与分类器C1共享参数的分类器C2，获得分类结果。
本发明分别从网络架构以及损失函数的角度对原始的GAN做出改进。其中，在对网络架构的改进中，通过在GAN的判别部分额外添加一个分类器，从而对分类器的参数与判别器的参数进行分离。通过使用G生成的伪光谱与给定的有标签样本同时训练分类器C1，对生成的分布添加了额外的条件惩罚，从而强制生成器G生成对应类别的伪光谱数据；并且使生成器G生成的伪光谱数据的分类工作独立于判别器判别真假的工作，减小两者间的相互影响。
在对损失函数的改进中，引入了Wasserstein距离来更好地衡量生成器G生成的伪光谱数据分布以及真实数据分布之间的差异。Wasserstein距离，又称推土机(Earth-Mover)距离，其公式定义如下：
Figure BDA0002605379300000021
其中，x和y分别为两个服从不同分布的样本，Π(P,Q)是P和Q分布组合起来的所有可能联合分布的集合。对于每一个可能的联合分布γ，计算这对样本的距离||x-y||，由此可以计算该联合分布下，样本对距离的期望值E(x,y)～γ[||x-y||]。在所有可能的联合分布中能够对这个期望值取到的下界
Figure BDA0002605379300000022
就是Wasserstein距离。直观上可以把Wasserstein距离理解成在最优路径规划下的最小消耗。
相较于原始GAN采用的KL散度(Kullback–Leibler divergence)、JS散度(Jensen-Shannon divergence)，即便两个数据分布没有重叠，Wasserstein距离仍然能够有效地反映它们之间的距离。同时，引入了梯度惩罚(GP)来优化网络，使生成的数据分布更加平滑，其基本思想就是设置一个额外的损失项来限制函数梯度而不是直接限制判别器D的参数。
进一步地，网络训练阶段，所述生成器G的损失函数选用如下公式：
Figure BDA0002605379300000031
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；E[.]表示计算期望值；D(x)表示所输入光谱数据为真的概率；α是权重；C_loss是分类器C1的损失函数。
对于生成器G来说，它的训练目标是使得服从G生成的伪光谱数据分布Pg的数据通过判别器D的判别后，判别为真的概率越大越好，由于网络训练过程中，梯度下降算法寻求的是损失的最小值，因此取相反数。
进一步地，网络训练阶段，所述判别器D的损失函数选用如下公式：
Figure BDA0002605379300000032
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；D(x)表示所输入光谱数据为真的概率；E[.]表示计算期望值；Pdata是真实光谱数据分布；Pg是G生成的伪光谱数据分布；λ是惩罚项权重；
Figure BDA0002605379300000033
是计算梯度；
Figure BDA0002605379300000034
是需要施加惩罚项空间内数据的数据分布。
对于判别器D来说，损失函数L(D)的前两项为原始的损失函数，即：使服从真实光谱数据分布Pdata的判别概率尽可能大，使服从G生成的伪光谱数据分布Pg的判别概率尽可能小。同样，为方便取最小值，以上两项取相反数；后一项为添加的梯度惩罚项，指判别函数在所有服从惩罚数据分布
Figure BDA0002605379300000035
数据上梯度值与1距离平方的数学期望值，通过限制判别函数梯度的大小使生成的数据分布平滑，惩罚权重越大，生成的数据越平滑。
应当注意的是，对于函数梯度的限制的额外的损失项
Figure BDA0002605379300000036
并非施加在整个样本空间上，而是只针对G生成的伪光谱数据样本空间、真实数据样本空间以及它们之间的样本空间进行计算，真伪样本空间之间的空间由两者内的数据由线性插值的方式得到。
进一步地，根据如下公式计算需要施加惩罚项空间内数据的数据分布
Figure BDA0002605379300000037
Figure BDA0002605379300000038
其中，∈为一个0到1之间的随机数，xdata为从真实光谱数据分布中随机采样得到的一个值，xg为从G生成的伪光谱数据分布中随机采样得到的一个值，即用随机插值的方法在真实光谱数据和伪光谱数据之间采样来确定需要施加惩罚项的空间，避免了在全体数据上计算梯度而导致的计算代价过高的问题。
进一步地，网络训练阶段，所述分类器C1的损失函数选用如下公式：
Figure BDA0002605379300000041
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；E[.]表示计算期望值；Pdata是真实光谱数据分布；Pg是G生成的伪光谱数据分布；P(C＝c)表示分类正确的概率；log()表示计算信息熵。
进一步地，所述生成网络结构的训练采用交替训练方法，包括步骤：
(1)随机抽取训练集中部分数据投入生成网络；
(2)固定生成器G的参数，训练判别器D以及分类器C1；
(3)固定判别器D以及分类器C的参数，训练生成器G；
(4)循环以上步骤，直到生成器G、判别器D以及分类器C1的损失函数均收敛。
进一步地，所述生成器G、判别器D、分类器C1、分类器C2均由深度前馈神经网络模型构成。
进一步地，所述分类器C1、分类器C2均包括Softmax分类层，所述Softmax分类层用于计算并比较输入数据为每个地物对应光谱的概率，选取概率最大的类别，输出其类别标签。
本发明所述的高光谱遥感影像半监督分类装置，包括：存储器、处理器及在所述存储器上存储并可运行的高光谱遥感影像半监督分类的程序，所述高光谱遥感影像半监督分类的程序被处理器执行时实现上述高光谱遥感影像半监督分类方法的部分或全部步骤。
本发明所述的计算机可读存储介质，其上存储有高光谱遥感影像半监督分类的程序，所述高光谱遥感影像半监督分类的程序被处理器执行时实现上述高光谱遥感影像半监督分类方法的部分或全部步骤。
有益效果：本发明具有以下优点：
1、不同于传统高光谱影像分类方法中先对影像数据进行降维再执行分类的操作，直接对每个像素点全部光谱维数据进行处理，避免了降维操作对高光谱数据完整性造成的损害，使分类结果更加精确；
2、通过对网络结构的改进，使生成的伪光谱数据的分类工作独立于判别器判别真假的工作，减小了两者间的互相影响；
3、通过对损失函数的改进，使生成的伪光谱数据的分布更加平滑。
附图说明
图1为本发明实施例的方法流程图；
图2为生成器G网络结构图；
图3为判别器D网络结构图；
图4为分类器C1网络结构图；
图5为地物分布实况图；
图6为地物真实光谱曲线；
图7为AC-WGAN生成的地物伪光谱曲线；
图8为A组SVM算法在未扩充数据集上的分类效果图；
图9为B组SVM算法在AC-WGAN扩充后数据集上的分类效果图；
图10为C组CNN算法在未扩充数据集上的分类效果图；
图11为D组CNN算法在AC-WGAN扩充后数据集上的分类效果图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
请参见附图1，其示出了一种高光谱遥感影像半监督分类方法，具体包括如下步骤：
1、对高光谱遥感影像数据进行预处理。
剔除光谱维中受噪声污染严重的波段，选择参与分类的地物类型；以像素为单位，对高光谱原始影像每一个像素的光谱维进行归一化。同时，对每一个像素点对应地物类别信息进行独热编码，方便后续网络训练中C1损失函数的计算；最后，进行数据集的划分，随机抽取一定百分比的数据为网络训练集，剩余部分成为网络测试集。
2、搭建网络框架。
基于Pytorch平台搭建由生成器G、判别器D以及分类器C1构成的AC-WGAN网络。网络具体结构分别如图2-4所示。
为了节省计算开销与计算时间，使模型更加轻量，生成器G和判别器D由4层全连接层以及4层激活层构成，除最后一层输出的激活函数采用了Sigmoid以及Linear函数，其余都使用了倾斜线性修正单元Leaky Rectified Line Unit(LeakyRelu)函数，LeakyRelu激活函数是经典的Relu激活函数的一个变体，对负值输入有一个很小的坡度，又保留了一些负轴的值，使得负轴信息不会全部丢失；
分类器C1与分类器C2均由3层1维卷积层、2层平均池化层、4层LeakyRelu激活层以及Softmax分类层构成。
采用He方法(He Kaiming方法)来初始化卷积层参数。使在网络正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。
3、训练得到AC-WGAN网络结构。
按照指定迭代次数对网络进行迭代，网络的一次迭代过程如下：
从均匀分布中随机采样生成30维的噪声向量z，与类别标签c一起作为生成器G的输入，经过G的非线性映射，输出伪光谱数据；伪光谱数据与无标签真实光谱数据一起作为判别器D的输入，经过D的非线性映射，输出对数据真伪的判断；同时，伪光谱数据与有标签真实光谱数据一起作为分类器C1的输入，经过C1的非线性映射，输出对数据类别的判断结果。
网络训练阶段，以损失函数最小化为目标进行网络的迭代，迭代次数为10000次，由于引入了分类器，损失函数也要做相应的调整：在原有的生成器损失函数之外，以一定的分类器权重α添加C的损失函数，具体公式如下：
Figure BDA0002605379300000061
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；E[.]表示计算期望值；D(x)表示所输入光谱数据为真的概率；α是权重；C_loss是分类器C1的损失函数。
判别器D的损失函数公式如下：
Figure BDA0002605379300000062
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；D(x)表示所输入光谱数据为真的概率；E[.]表示计算期望值；Pdata是真实光谱数据分布；Pg是G生成的伪光谱数据分布；λ是惩罚项权重；
Figure BDA0002605379300000063
是计算梯度；
Figure BDA0002605379300000064
是需要施加惩罚项空间内数据的数据分布。
分类器C1的损失函数采用交叉熵的形式，具体表达式如下：
Figure BDA0002605379300000065
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；E[.]表示计算期望值；Pdata是真实光谱数据分布；Pg是G生成的伪光谱数据分布；P(C＝c)表示分类正确的概率；log()表示计算信息熵。
由于GAN存在的训练困难问题，采用交替训练的方式分别训练生成器G以及判别器D与分类器C1，具体步骤如下：
(1)随机抽取训练集中一定个数的数据投入网络，避免一次性训练全部数据的效率低下；
(2)固定生成器G的参数，训练判别器D以及分类器C1；
(3)固定判别器D以及分类器C的参数，训练生成器G；
(4)循环以上步骤，直到生成器G、判别器D以及分类器C1的损失函数均收敛。
由经验数据得，判别器D以及分类器C1的训练次数为多次，生成器G训练次数为1次时，效果较佳。因此，本实施例中对判别器D以及分类器C1训练5次，对生成器G训练1次。
同时使用均方根传递随机梯度下降RM-Sprop策略对三个网络进行优化。
均方根传递随机梯度下降RM-Sprop策略是一种消除梯度下降过程中的摆动来加速梯度下降的方法，其核心思想是：更新权重的时候，使用除根号的方法，可以使较大的梯度大幅度变小，而较小的梯度小幅度变小，以使得较大梯度方向上的波动减小，则整个梯度下降的过程中摆动就会比较小，因而能够设置较大的学习率，学习率即梯度下降算法中迭代步长，达到加快训练的目的。
由于数据量比较庞大，采用批训练法避免网络一次性处理过多数据，提高训练效率。对于真实样本的训练，引入一种数据增强的方法数据混合(mixup)，即以线性插值的方式构建新的训练样本和标签，避免了数据的过拟合。
4、训练最终分类器C2。
生成网络训练好后，将网络生成的伪光谱数据与真实光谱数据进行混合，扩充训练数据集，为减少训练成本，最终分类器参数与生成网络中训练好的分类器C2参数共享，再迭代一定次数使模型收敛。同时，以未扩充的训练集单独训练一个分类器C3，进行对比实验。
最后，将测试集分别在未扩充数据集以及包含伪光谱的混合数据集训练的两个分类器C3和C2上进行测试，对比分类结果。
仿真实验结果分析
1.实验数据集
通过仿真实验对算法的性能进行分析和评价。为验证AC-WGAN算法的有效性，本文对针对某一标准高光谱遥感影像进行试验。所使用的高光谱遥感影像为帕维亚大学(PaviaUniversity)高光谱数据集。
Pavia University高光谱数据集是由德国的机载反射光学光谱成像仪在2003年对意大利的帕维亚城所成的像的一部分高光谱数据。该光谱成像仪对0.43-0.86μm波长范围内的115个波段连续成像，但由于其中的12个波段受到较强的噪声干扰，因此这12个波段被剔除，一般只使用剩下的103个光谱波段所成的影像。该数据的大小为610×340，共包含2207400个像素，但其中大量的像素是没有特别信息的背景像素，包含地物信息的像素只有42776个，所涉及的地物一共有9类(具体地物分布实况见图5)：包括树、沥青道路(Asphalt)、砖块(Bricks)、牧场(Meadows)等。
2.高光谱图像分类评价指标
为检验算法的有效性，本文将对算分类算法的精度进行分析评价。表征精度的指标很多，常用的有混淆矩阵、整体分类精度(OA)、平均分类精度(AA)、卡帕系数(Kappa)等。以下详细介绍一下它们的概念：
混淆矩阵又称作误差矩阵，它是一个方阵，其行数、列数均等于地物类别数，它的每一列表示的是分类器预测的该类别包含的样本，矩阵的每一行则表示的是样本所属的真实类别。因此，它的对角线上的值则表示被正确分类的个数。其余的都是错误分类的样本数目。混淆矩阵的优点是可以清晰地观察到每类地物的分类情况，但是不能立刻评判分类性能的好坏。因此，可以从混淆矩阵衍生出一些更加直观的衡量指标。
OA等于被正确分类的样本数占总体样本的比例，由混淆矩阵对角线上所有值的和除以总样本数可以得到。
AA等于每类样本被正确分类样本数占总样本数百分比的平均值。
Kappa系数是衡量图像一致性程度的指标，它不仅考虑了混淆矩阵对角线上被正确分类的样本数目，同时也考虑了对角线以外的各种漏分和错分像元，它的具体计算公式如下：
Figure BDA0002605379300000081
其中，N表示总样本数目，xkk表示混淆矩阵对角线上的元素，
Figure BDA0002605379300000082
表示第k类的真实包含的样本数目，
Figure BDA0002605379300000083
表示被分到第k类的所有样本数目。Kappa系数通过计算样本总数乘以被正确分类的样本总数，减去各类样本原数目与被分到该类的样本数目的乘积之和，除以样本数的平方减去各类样本原数目与被分到该类的样本数目的乘积之和，得到一个范围在(-1，1)之间的数值。一般认为，Kappa系数的值在0.75以上表示分类器的分类性能良好，在小于0.4时性能较差。
3、相关参数设置
为了验证本文方法的优越性，设计A、B、C、D，4组在同样的训练数据下进行对比实验。其中A组实验采用支持向量机(Support Vector Machine,SVM)分类器，只在未扩充的训练集上训练，B组实验采用SVM分类器，在扩充后的训练集上，即混合了真实光谱数据以及AC-WGAN生成网络部分生成的伪光谱的训练集，C组实验采用卷积神经网络(CNN)分类器，只在未扩充的训练集上训练，D组实验为本文方法。
在实验中，训练样本占比依次定为1％、3％、5％、10％。
在网络训练部分，损失函数采用“WGAN-GP”形式，梯度惩罚项的权重设为10，使用RM-Sprop随机梯度下降策略对所有三个网络进行优化，学习率设为0.00005。网络训练过程一共迭代20000次，得到训练好的生成模型，接着分别使用真实训练样本以及真实训练样本与生成伪训练样本的混合再训练分类器10000次，学习率为0.00005，同样使用批训练法，批次大小设为1024。
对于用于对比分析的SVM分类器，采用径向基函数(Radial Basis Function，RBF)核，惩罚参数C设为1000。
4、实验对比与结果分析
首先，以有标签样本数占总样本数1％为例，对比分析AC-WGAN生成模型生成的伪光谱曲线与真实光谱曲线图，见图6-7。由图可知，两者的形状、走势都大概一致，只有伪光谱曲线起伏较大，这一点可以通过增加训练样本数或者增加网络训练次数来解决。
同样，以有标签样本数占总样本数1％为例，展示在同样的训练数据集下，A、B、C、D组的实验结果，表1为四组的分类结果，包括总体分类精度和平均分类精度以及Kappa系数；图8-11为四组的分类效果图。
表1 A、B、C、D组分类结果
Figure BDA0002605379300000091
Figure BDA0002605379300000101
从以下两个角度分析以上图表：
(1)通过对比C、D组与A、B组，可以发现，相较于传统的SVM分类算法，CNN更能识别不同地物间的差异，对整体的误分错分现象有着一定的改善，但也造成了一些新的不同类别间的误分。
(2)通过对比A和C组以B、D组，可以发现：在小样本的情况下，在训练样本中加入生成伪光谱样本训练出的分类器得到的分类精度更高，总体分类效果更好。
为了更好地评估本文提出的AC-WGAN模型的分类效果，重点分析一下D组即本文方法AC-WGAN的分类结果，表2为ACWGAN分类结果的混淆矩阵，表3为ACWGAN与CNN算法在1％、3％、5％、10％数据集作为训练集的条件下的分类结果，表4为不同相关方法在10％训练集下的分类结果与本文方法的对比，本发明用到的现有技术对比分类方法分别如下：
Ying Z等人在其发表的论文“Semisupervised Hyperspectral ImageClassification Based on Generative Adversarial Networks”([J].IEEE Geoscience&Remote Sensing Letters,2018,15(2):212-216.)提出的基于光谱特征的高光谱影像分类方法，简称为Spec-GANs。
Zhong Z等人在其发表的论文“Generative Adversarial Networks andProbabilistic Graph Models for Hyperspectral Image Classification”([J].2018.)提出的基于空谱特征的高光谱影像分类方法，简称为2DB-GANs、3DB-GANs。
Kuo B C等人在其发表的论文“Spatial information based support vectormachine for hyperspectral image classification”([J].2010.)提出的基于空谱的半监督支持向量机分类算法，简称为SCS3VM。
田彦平等人在其发表的论文《主动学习与图的半监督相结合的高光谱影像分类》([J].测绘学报,2015,44(8):919-926.)提出的随机选择样本的图的半监督分类算法，简称为RS-SS。
表2 AC-WGAN方法分类结果的混淆矩阵
1 2 3 4 5 6 7 8 9
1 5801 67 89 0 1 14 396 185 1
2 2 17419 0 211 0 799 0 15 0
3 267 15 1247 0 0 12 9 534 0
4 1 468 0 2538 1 27 0 0 0
5 21 0 0 0 1310 0 0 4 0
6 103 1866 0 13 2 2900 1 97 0
7 216 1 8 0 0 0 1091 2 0
8 217 23 274 0 0 33 23 3077 0
9 0 0 0 0 9 0 0 0 933
表3 AC-WGAN与CNN分类法分类结果对比
Figure BDA0002605379300000111
表4不同分类法分类结果对比
分类算法 OA(％) AA(％) Kappa系数
Spec-GANs 63.6 72.8 0.546
2DB-GANs 73.2 77.3 0.660
3DB-GANs 77.9 81.3 0.718
SCS<sup>3</sup>VM 70.2 80.0 0.627
RS-SS 74.4 - 0.696
AC-WGAN 91.0 91.3 0.88
分析表2数据可知，AC-WGAN在测试集上的整体分类精度可为86.1％，平均分类精度为84.3％，Kappa系数为0.817，在柏油、草甸、砾石、树、金属板、裸土、沥青以及阴影上的分类精度依次为87.5％、87.7％、77.0％、91.9％、99.0％、76.6％，71.8％、78.6％以及99.9％。
对生成的光谱以及分类结果进行分析可以发现：本文模型在第四类树、第五类金属板以及第九类阴影上的分类效果较好，精确度都达到了90％以上。
分析表3数据可知，在有标签样本数量较少的情况下，运用半监督分类思想的AC-WGAN的分类效果总体优于运用监督分类思想的CNN分类法，且每一类地物的分类精度以及总的分类精度总体呈现随着有标签样本数目的提高而增加的趋势，但当训练样本数达到一定数量时，精度提升的幅度不高，极个别地物类别的分类精度还出现略有下降的现象。
分析表4数据可知，将本文算法与现有的基于GAN的高光谱分类算法以及半监督高光谱分类算法，包括基于光谱特征的GAN分类算法(Spec-GANs)、基于空谱特征的GAN分类算法(2DB-GANs、3DB-GANs)与基于半监督分类的高光谱分类算法，包括基于空谱的半监督支持向量机分类算法(SCS3VM)、随机选择样本的图的半监督分类算法(RS-SS)与本文使用的AC-WGAN模型进行一一对比分析，可以发现，在小样本的条件下以及只使用光谱特征的条件下，AC-WGAN的总体分类精度、平均分类精度以及图像的一致性较目前现存的Spec-GANs、RS-SS分类算法由较为明显的提升；相较于在分类过程中引入空间特征的分类算法，如2DB-GANs、3DB-GANsSCS3VM，AC-WGAN的分类效果也略有提升。
实验结果表明本文的半监督AC-WGAN分类方法对解决高光谱影像分类存在的小样本有一定的帮助，在有限的样本数量下，能获得较高的分类精度。与同样基于光谱特征的前人提出的分类方法相比，具有一定的优越性。
本发明所述的高光谱遥感影像半监督分类装置，包括：存储器、处理器及在所述存储器上存储并可运行的高光谱遥感影像半监督分类的程序，所述高光谱遥感影像半监督分类的程序被处理器执行时实现上述高光谱遥感影像半监督分类方法的部分或全部步骤。
本发明所述的计算机可读存储介质，其上存储有高光谱遥感影像半监督分类的程序，所述高光谱遥感影像半监督分类的程序被处理器执行时实现上述高光谱遥感影像半监督分类方法的部分或全部步骤。

Claims (10)

1.一种高光谱遥感影像半监督分类方法，其特征在于，包括步骤：
(1)对高光谱遥感影像的光谱维及对应标签进行预处理，划分训练集与测试集；
(2)建立生成网络结构，其中：
生成器G用于生成对应的伪光谱，输入为随机生成的固定维数的向量；
判别器D用于接收伪光谱以及真实无标签光谱，判断所输入光谱数据的真伪，输出其为真的概率；
分类器C1用于接收伪光谱以及真实有标签光谱，判断所输入光谱数据的所属于地物类别，输出其类别标签；
(3)对建立的生成网络结构进行训练，使用均方根传递随机梯度下降策略RM-Sprop对生成网络结构进行优化，得到AC-WGAN网络结构，生成与真实光谱数据相似分布的伪光谱；
(4)将真实光谱以及伪光谱投入与分类器C1共享参数的分类器C2，获得分类结果。
2.根据权利要求1所述的高光谱遥感影像半监督分类方法，其特征在于，网络训练阶段，所述生成器G的损失函数选用如下公式：
L(G)＝-Ex～PG[D(x)]+α*C_loss
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；E[.]表示计算期望值；D(x)表示所输入光谱数据为真的概率；α是权重；C_loss是分类器C1的损失函数。
3.根据权利要求1所述的高光谱遥感影像半监督分类方法，其特征在于，网络训练阶段，所述判别器D的损失函数选用如下公式：
Figure FDA0002605379290000011
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；D(x)表示所输入光谱数据为真的概率；E[.]表示计算期望值；Pdata是真实光谱数据分布；Pg是G生成的伪光谱数据分布；λ是惩罚项权重；
Figure FDA0002605379290000012
是计算梯度；
Figure FDA0002605379290000013
是需要施加惩罚项空间内数据的数据分布。
4.根据权利要求3所述的高光谱遥感影像半监督分类方法，其特征在于，根据如下公式计算需要施加惩罚项空间内数据的数据分布
Figure FDA0002605379290000014
Figure FDA0002605379290000015
其中，∈为一个0到1之间的随机数，xdata为从真实光谱数据分布中随机采样得到的一个值，xg为从G生成的伪光谱数据分布中随机采样得到的一个值。
5.根据权利要求1所述的高光谱遥感影像半监督分类方法，其特征在于，网络训练阶段，所述分类器C1的损失函数选用如下公式：
L(C)＝Ex～Pdata[log(P(C＝c))]+Ex～Pg[log(P(C＝c))]
其中，x表示D网络输入的光谱数据，包括G生成的伪光谱以及输入的真实无标签光谱；E[.]表示计算期望值；Pdata是真实光谱数据分布；Pg是G生成的伪光谱数据分布；P(C＝c)表示分类正确的概率；log()表示计算信息熵。
6.根据权利要求1所述的高光谱遥感影像半监督分类方法，其特征在于，所述生成网络结构的训练采用交替训练方法，包括步骤：
(1)随机抽取训练集中部分数据投入生成网络；
(2)固定生成器G的参数，训练判别器D以及分类器C1；
(3)固定判别器D以及分类器C1的参数，训练生成器G；
(4)循环以上步骤，直到生成器G、判别器D以及分类器C1的损失函数均收敛。
7.根据权利要求1所述的高光谱遥感影像半监督分类方法，其特征在于，所述生成器G、判别器D、分类器C1、分类器C2均由深度前馈神经网络模型构成。
8.根据权利要求1所述的高光谱遥感影像半监督分类方法，其特征在于，所述分类器C1、分类器C2均包括Softmax分类层，所述Softmax分类层用于计算并比较输入数据为每个地物对应光谱的概率，选取概率最大的类别，输出其类别标签。
9.一种高光谱遥感影像半监督分类装置，其特征在于，该装置包括：存储器、处理器及在所述存储器上存储并可运行的高光谱遥感影像半监督分类的程序，所述高光谱遥感影像半监督分类的程序被处理器执行时实现如权利要求1至8中任一项所述高光谱遥感影像半监督分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有高光谱遥感影像半监督分类的程序，所述高光谱遥感影像半监督分类的程序被处理器执行时实现如权利要求1至8中任一项所述高光谱遥感影像半监督分类方法的步骤。
CN202010736807.7A 2020-07-28 2020-07-28 高光谱遥感影像半监督分类方法、装置及存储介质 Active CN111914728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010736807.7A CN111914728B (zh) 2020-07-28 2020-07-28 高光谱遥感影像半监督分类方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010736807.7A CN111914728B (zh) 2020-07-28 2020-07-28 高光谱遥感影像半监督分类方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111914728A true CN111914728A (zh) 2020-11-10
CN111914728B CN111914728B (zh) 2022-08-26

Family

ID=73280891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010736807.7A Active CN111914728B (zh) 2020-07-28 2020-07-28 高光谱遥感影像半监督分类方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111914728B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784818A (zh) * 2021-03-03 2021-05-11 电子科技大学 基于分组式主动学习在光学遥感图像上的识别方法
CN112905823A (zh) * 2021-02-22 2021-06-04 深圳市国科光谱技术有限公司 一种基于大数据平台的高光谱物质检测识别系统及方法
CN112990342A (zh) * 2021-04-08 2021-06-18 重庆大学 一种半监督sar目标识别方法
CN113516191A (zh) * 2021-07-19 2021-10-19 海南长光卫星信息技术有限公司 一种高光谱遥感影像半监督分类方法、装置、设备及介质
CN115314254A (zh) * 2022-07-07 2022-11-08 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
WO2023000160A1 (zh) * 2021-07-20 2023-01-26 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN115984635A (zh) * 2023-03-21 2023-04-18 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150283206A1 (en) * 2014-04-04 2015-10-08 Biodesix, Inc. Treatment selection for lung cancer patients using mass spectrum of blood-based sample
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150283206A1 (en) * 2014-04-04 2015-10-08 Biodesix, Inc. Treatment selection for lung cancer patients using mass spectrum of blood-based sample
CN109389080A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于半监督wgan-gp的高光谱图像分类方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905823A (zh) * 2021-02-22 2021-06-04 深圳市国科光谱技术有限公司 一种基于大数据平台的高光谱物质检测识别系统及方法
CN112905823B (zh) * 2021-02-22 2023-10-31 深圳市国科光谱技术有限公司 一种基于大数据平台的高光谱物质检测识别系统及方法
CN112784818A (zh) * 2021-03-03 2021-05-11 电子科技大学 基于分组式主动学习在光学遥感图像上的识别方法
CN112784818B (zh) * 2021-03-03 2023-03-14 电子科技大学 基于分组式主动学习在光学遥感图像上的识别方法
CN112990342A (zh) * 2021-04-08 2021-06-18 重庆大学 一种半监督sar目标识别方法
CN112990342B (zh) * 2021-04-08 2023-09-19 重庆大学 一种半监督sar目标识别方法
CN113516191A (zh) * 2021-07-19 2021-10-19 海南长光卫星信息技术有限公司 一种高光谱遥感影像半监督分类方法、装置、设备及介质
WO2023000160A1 (zh) * 2021-07-20 2023-01-26 海南长光卫星信息技术有限公司 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN115314254A (zh) * 2022-07-07 2022-11-08 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115314254B (zh) * 2022-07-07 2023-06-23 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115984635A (zh) * 2023-03-21 2023-04-18 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备
CN115984635B (zh) * 2023-03-21 2023-07-07 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备

Also Published As

Publication number Publication date
CN111914728B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN109948693B (zh) 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
Sarkar et al. Hyper-spectral image segmentation using Rényi entropy based multi-level thresholding aided with differential evolution
CN107451614B (zh) 基于空间坐标与空谱特征融合的高光谱分类方法
Kong et al. Spectral–spatial feature extraction for HSI classification based on supervised hypergraph and sample expanded CNN
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
Abdel-Basset et al. HWOA: A hybrid whale optimization algorithm with a novel local minima avoidance method for multi-level thresholding color image segmentation
Abualigah et al. Boosting marine predators algorithm by salp swarm algorithm for multilevel thresholding image segmentation
CN113392931B (zh) 基于自监督学习及多任务学习的高光谱开放集分类方法
Yi et al. An improved initialization center algorithm for K-means clustering
CN108021930A (zh) 一种自适应的多视角图像分类方法及系统
CN106886793B (zh) 基于判别信息和流形信息的高光谱图像波段选择方法
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
Pichel et al. A new approach for sparse matrix classification based on deep learning techniques
CN113516019B (zh) 高光谱图像解混方法、装置及电子设备
CN112949738B (zh) 基于eecnn算法的多类不平衡高光谱图像分类方法
Shin et al. Neural bootstrapper
CN114548170A (zh) 基于gpu端模糊c均值聚类算法的雷达信号分选方法
Ourabah Large scale data using K-means
Chen et al. SA-SinGAN: self-attention for single-image generation adversarial networks
Salman et al. Gene expression analysis via spatial clustering and evaluation indexing
Zhang et al. Multi-domain clustering pruning: Exploring space and frequency similarity based on GAN
Ojha et al. Land use prediction on satillite images using deep neural nets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant