CN113469084B - 基于对比生成对抗网络的高光谱图像分类方法 - Google Patents

基于对比生成对抗网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN113469084B
CN113469084B CN202110775163.7A CN202110775163A CN113469084B CN 113469084 B CN113469084 B CN 113469084B CN 202110775163 A CN202110775163 A CN 202110775163A CN 113469084 B CN113469084 B CN 113469084B
Authority
CN
China
Prior art keywords
network
false
sample
samples
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110775163.7A
Other languages
English (en)
Other versions
CN113469084A (zh
Inventor
冯婕
高姿卓
白改琴
张向荣
尚荣华
焦李成
王蓉芳
古晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110775163.7A priority Critical patent/CN113469084B/zh
Publication of CN113469084A publication Critical patent/CN113469084A/zh
Application granted granted Critical
Publication of CN113469084B publication Critical patent/CN113469084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于对比生成对抗网络的高光谱图像分类方法，其步骤如下：生成样本集；构建对比生成对抗网络；用生成网络生成虚假样本；用判别网络对训练样本和虚假样本进行非线性映射；构造生成网络和判别网络的对比损失函数；构造生成网络和判别网络的损失函数；利用梯度下降方法，更新生成网络和判别网络的参数，并判断生成网络和判别网络的损失函数是否均收敛，若均收敛，则执行下一步，否则，执行步骤3；对高光谱图像进行分类。本发明利用构建的对比生成对抗网络，提取样本类别特征向量，构建对比损失函数，增强了网络的特征提取能力，缓解了网络过拟合的问题，提高了高光谱图像分类的准确性。

Description

基于对比生成对抗网络的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种对比生成对抗网络的高光谱图像分类方法。本发明可以在采集的高光谱图像中对地物进行分类。。
背景技术
高光谱图像可获取目标地物在紫外、可见光、近红外和中红外等大量波段内近似连续的光谱信息，并以图像的形式描述地物的空间分布关系，从而建立“图谱合一”的数据，可以实现对地物精确的辨别与细节提取，对于认识客观世界提供了有利条件。近年来，基于向量的机器学习算法如随机森林、支撑向量机，以及基于深度学习的卷积神经网络算法等已经应用在高光谱图像的分类上，均取得了不错的效果。然而，随着高光谱成像技术的进一步发展和应用程度的不断深入，高光谱图像分类领域依然存在以下一些问题，一方面随着空间和光谱分辨率的提高，高光谱图像的空间信息和光谱信息量猛增，传统的方法不能充分提取这两类信息中的特征，导致分类精度不高，另一方面，目前已有的深度学习方法需要大量的有标签数据作为训练样本，而在高光谱图像中，难以收集到足够的有标签数据，因此在基于深度学习的高光谱图像分类中，高光谱图像小样本问题严重限制了高光谱图像的分类精度。
武汉大学在其申请的专利文献“一种基于自适应空谱多尺度网络的高光谱图像分类方法”(专利申请号：201911336874.3，专利公布号：CN111126256A)中提出了一种基于自适应空谱多尺度网络的高光谱图像分类方法。该方法首先将高光谱图像进行降维处理，然后进行样本选取，从原始和降维高光谱图像上每类随机选取适当比例的带有标记的样本，最后使用设计好网络进行训练。该方法虽然能在光谱上下文信息提取的基础上获得多尺度特征，提升了模型鲁棒性，但是，该方法仍然存在的不足之处是，高光谱图像具有标签样本少的特点，该方法提出的网络层数较深、网络参数多导致网络训练时间长，且样本数目相对于网络参数数目过少，导致网络容易出现过拟合，从而导致该方法不能进行精准分类。
Lin Zhu；Yushi Chen等人在其发表的论文“Generative Adversarial Networksfor Hyperspectral Image Classification”(IEEE Transactions on Geoscience andRemote Sensing，2018，Volume:56,Issue:9,)中提出了一种基于生成对抗网络的高光谱分类方法。该方法设计一个卷积神经网络(判别网络)来判断输入是否真实并进行分类，设计另一个卷积神经网络(生成网络)来生成尽可能真实的虚假样本。两个网络进行交替训练，这种对抗性训练的方法在高光谱图像样本有限的情况下提高了判别网络的泛化能力和分类能力。但是该方法的不足之处是，高光谱图像具有同类像素光谱差异性大，而不同类像素空间特征差异小的的特点，该方法网络特征提取的不充分，生成网络和判别网络不能充分的学习和利用类别间的特征差异，从而导致分类准确性不高。
发明内容
本发明的目的是针对上述现有技术的不足，提出了一种基于对比生成对抗网络的高光谱图像分类方法，用于解决网络容易过拟合、没有充分学习和利用不同类别间的特征差异的问题。
实现本发明目的的思路是，构造对比生成对抗网络，包括生成网络和判别网络，生成网络生成虚假样本，判别网络对训练样本和虚假样本分类，同时提取高光谱图像的类别特征，交替训练生成网络和判别网络。提出了一种新的损失函数，通过计算不同样本类别特征之间的余弦相似度构建对比损失，并构造生成网络和判别网络新的的损失函数，通过迭代学习，使同类样本特征分布更加聚合，不同类别样本之间特征分布更加分散，提升判别网络的特征提取能力，使得生成网络生成的样本更加真实，克服了现有技术针对高光谱图像同类像素光谱差异性大，而不同类像素空间特征差异小的现象，网络对样本特征提取的不充分，生成网络和判别网络不能充分地学习和利用类别间的特征差异，从而导致分类准确性不高的问题，使得本发明充分利用了高光谱图像的类别特征，提高了对高光谱图像分类的准确性。
本发明构建的对比生成对抗网络的网络层数更少，对应的网络训练参数也更少更少，针对高光谱图像具有标签样本少的特点，克服了现有技术中网络层数较深以及相应网络参数过多导致网络训练时间长，且样本数目相对于网络参数数目过少，导致网络容易出现过拟合，从而导致该方法不能进行精准分类问题，使得本发明缓解了在样本数量较少的情况下出现的网络过拟合现象，提高了分类精度。
本发明的具体步骤如下方法：
步骤1，生成样本集：
(1a)从同一区域中选取至少包含五种类别、且光谱分辨率在10-2λ数量级范围内的一张高光谱图像，λ表示高光谱图像的波长；
(1b)利用主成分分析方法，对高光谱数据进行降维；
(1c)从降维后的高光谱图像中提取包含标签的所有像素点，以每个所提取的像素点为中心，将其周围27×27个像素点空间窗中所有的像素点，组成一个数据立方体，将所有的数据立方体组成高光谱图像的样本集；
(1d)随机选取高光谱图像的样本集中5％的样本，组成训练样本；
步骤2，构建对比生成对抗网络：
(2a)搭建一个生成网络，其结构依次为：全连接层，第一逆卷积层，第二逆卷积层，第三逆卷积层，第四逆卷积层，将全连接层的输入和输出节点个数分别为100+类别数、512，第一至第四逆卷积层的卷积核大小均设置为3×3，步长均设置为2；
(2b)搭建一个判别网络，其结构依次为：第一卷积层，第二卷积层，第三卷积层，第四卷积层，两个并列的全连接层：第一全连接层和第二全连接层，其中，第一至第四卷积层的卷积核大小均设置为3×3,步长均设置为2，第一和第二全连接层的输入节点个数均设置为512，第一全连接层的输出节点个数与高光谱图像类别数相等，第二全连接层的输出节点个数设置为2；
(2c)将生成网络和判别网络组成多类生成对抗网络；
步骤3，用生成网络生成虚假样本：
(3a)从高斯分布中随机采样生成100维的高斯噪声向量；
(3b)通过生成网络，对高斯噪声向量和类别标签向量进行非线性映射，转换成高光谱图像虚假样本；
步骤4，用判别网络对训练样本和虚假样本进行非线性映射：
将训练样本和虚假样本同时输入到判别网络中进行非线性映射，输出训练样本和虚假样本的类别预测标签、真假预测标签、特征向量；
步骤5，构造生成网络和判别网络的对比损失函数：
(5a)构造生成网络的对比损失函数LG_con
Figure BDA0003152573290000031
其中，Σ表示求和操作，i表示虚假样本中的第i个样本，N表示一次训练中投入的训练样本数，j表示训练样本中的第j个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，zi表示虚假样本特征向量中第i个特征向量，·表示余弦相似度计算，zj表示训练样本特征向量中与zi同类别的第j个特征向量，τ表示温度系数，k表示训练样本中的第k个样本，zk表示训练样本特征向量中的第k个特征向量；
(5a)构造判别网络的对比损失函数LD_con
Figure BDA0003152573290000041
其中，N表示一次训练中投入的训练样本数，v表示训练样本中的第v个样本，Σ表示求和操作，p表示训练样本中的第p个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，zv表示真实样本特征向量中第v个特征向量，·表示余弦相似度计算，zp表示训练样本特征向量中与zv同类别的第p个特征向量，τ表示温度系数，q表示训练样本中的第q个样本，zq表示训练样本特征向量中的第q个特征向量；
步骤6，构造生成网络和判别网络的损失函数：
(6a)构造生成网络的损失函数LG
Figure BDA0003152573290000042
其中，Σ表示求和操作，
Figure BDA0003152573290000043
表示虚假样本的标签向量，ln表示以e为底的对数操作，
Figure BDA0003152573290000044
表示虚假样本预测类别标签向量，/>
Figure BDA0003152573290000045
表示训练样本的真假标签向量，/>
Figure BDA0003152573290000046
表示虚假样本预测真假标签向量，LG_con表示生成网络的对比损失损失函数；
(6b)构造判别网络的损失函数LD
Figure BDA0003152573290000047
其中，Σ表示求和操作，
Figure BDA0003152573290000048
表示虚假样本的标签向量，ln表示以e为底的对数操作，
Figure BDA0003152573290000049
表示虚假样本预测类别标签向量，/>
Figure BDA00031525732900000410
表示训练样本的标签向量，/>
Figure BDA00031525732900000411
表示训练样本预测类别标签向量，/>
Figure BDA00031525732900000412
表示训练样本的真假标签向量，/>
Figure BDA00031525732900000413
表示虚假样本预测真假标签向量，/>
Figure BDA00031525732900000414
表示训练样本的真假标签向量，/>
Figure BDA00031525732900000415
表示训练样本预测真假标签向量,LD_con表示判别网络的对比损失函数；
步骤7，利用梯度下降方法，用生成网络的损失函数迭代更新生成网络的参数，判断损失函数是否收敛，若收敛，则执行步骤8，否则，执行步骤3；
步骤8，利用梯度下降方法，用判别网络的损失函数迭代更新判别网络的参数，判断损失函数是否收敛，若收敛，则得到训练好的对比生成对抗网络后执行步骤9，否则，执行步骤3；
步骤9，对高光谱图像进行分类：
采用与步骤(1b)与(1c)相同的方法，对待分类的高光谱图像进行预处理后再输入到训练好的对比生成对抗网络的判别网络中，输出待分类的高光谱图像的预测标签。
本发明与现有技术相比较，具有以下优点：
第一，由于本发明构建的对比生成对抗网络中的判别网络，在每次训练的过程中，判别网络在进行类别预测的同时提取高光谱图像的类别特征，利用不同样本类别特征的余弦相似度构建新的对比损失函数，克服了现有技术针对高光谱图像同类像素光谱差异性大，而不同类像素空间特征差异小的现象，网络对样本特征提取的不充分，生成网络和判别网络不能充分地学习和利用类别间的特征差异，从而导致分类准确性不高的问题，使得本发明充分利用了高光谱图像的类别特征，提高了对高光谱图像分类的准确性。
第二，由于本发明所构建的对比生成对抗网络的网络层数和训练参数更少，针对高光谱图像具有标签样本少的特点，克服了现有技术中网络层数较深、网络参数多导致网络训练时间长，且样本数目相对于网络参数数目过少，导致网络容易出现过拟合，从而导致该方法不能进行精准分类问题，使得本发明缓解了在样本数量较少的情况下出现的网络过拟合现象，提高了分类精度。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，对本发明的具体步骤做进一步的描述。
步骤1，生成样本集。
从同一区域中选取至少包含五种类别、且光谱分辨率在10-2λ数量级范围内的一张高光谱图像，λ表示高光谱图像的波长。
利用主成分分析方法，对高光谱数据进行降维。
从降维后的高光谱图像中提取包含标签的所有像素点，以每个所提取的像素点为中心，将其周围27×27个像素点空间窗中所有的像素点，组成一个数据立方体，将所有的数据立方体组成高光谱图像的样本集。
随机选取高光谱图像的样本集中5％的样本，组成训练样本。
步骤2，构建对比生成对抗网络。
搭建一个生成网络，其结构依次为：全连接层，第一逆卷积层，第二逆卷积层，第三逆卷积层，第四逆卷积层，将全连接层的输入和输出节点个数分别为100+类别数、512，第一至第四逆卷积层的卷积核大小均设置为3×3，步长均设置为2。
搭建一个判别网络，其结构依次为：第一卷积层，第二卷积层，第三卷积层，第四卷积层，两个并列的全连接层：第一全连接层和第二全连接层，其中，第一至第四卷积层的卷积核大小均设置为3×3,步长均设置为2，第一和第二全连接层的输入节点个数均设置为512，第一全连接层的输出节点个数与高光谱图像类别数相等，第二全连接层的输出节点个数设置为2。
将生成网络和判别网络组成多类生成对抗网络。
步骤3，用生成网络生成虚假样本。
从高斯分布中随机采样生成100维的高斯噪声向量。
通过生成网络，对高斯噪声向量和类别标签向量进行非线性映射，转换成高光谱图像虚假样本。
所述高斯噪声向量通过生成网络进行非线性映射的步骤如下：
第一步，将训练样本的类别标签作为同一批次虚假样本的类别标签。
第二步，将100维的高斯噪声向量和虚假样本的类别标签输入生成器的全连接层，依次进行线性的全连接变换、矩阵形状变换、批标准化、非线性Relu变换，得到2×2×128个像素大小的全连接层输出特征图。
第三步，将全连接层输出特征图输入到生成网络的第一个逆卷积层，依次进行卷积操作、批标准化、非线性Relu变换，得到4×4×64个像素大小的第一个逆卷积层的输出特征图。
第四步，将第一个逆卷积层的输出特征图输入到生成器的第二个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到7×7×32个像素大小的第二个逆卷积层的输出特征图。
第五步，将第二个逆卷积层的输出特征图输入到生成器的第三个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第三个逆卷积层的输出特征图。
第六步，将第三个逆卷积层的输出特征图输入到生成器的第四个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到27×27×3个像素大小的生成样本。
步骤4，用判别网络对训练样本和虚假样本进行非线性映射。
将训练样本和虚假样本同时输入到判别网络中进行非线性映射，输出训练样本和虚假样本的类别预测标签、真假预测标签、特征向量。
所述将训练样本和虚假样本输入到判别器中进行非线性映射的步骤如下：
第一步，将27×27×3个像素大小的高光谱图像训练样本和虚假样本输入到判别网络的第一个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第一个卷积层的输出特征图。
第二步，将第一个卷积层的输出特征图输入到判别网络的第二个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出7×7×64个像素大小的判别网络第二个卷积层的输出特征图。
第三步，将第二个卷积层的输出特征图输入到判别网络的第三个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出4×4×256个像素大小的判别网络第三个卷积层的输出特征图。
第四步，将第三个卷积层的输出特征图输入到判别网络的第四个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出1×1×512个像素大小的第四个卷积层的输出特征图，得到特征向量。
第五步，将第四个卷积层的输出特征图输入到判别网络的全层，依次进行矩阵形状变换、并列的第一线性全连接变换和第二线性全连接变换，得到训练样本和虚假样本的类别预测标签、真假预测标签。
所述训练样本和虚假样本的类别预测标签均为一个向量，向量中的元素总数均等于高光谱图像类别数，每个向量中的单个元素值等于样本属于某一类地物的概率值。
所述训练样本和虚假样本的真假预测标签均为一个向量，向量中的元素总数均等于2，两个元素分别代表样本属于虚假样本的概率值和训练样本的概率值。
所述训练样本和虚假样本的特征向量分别为一个向量，向量中的元素总数均等于512，向量代表网络提取到该样本的类别特征信息。
步骤5，构造生成网络和判别网络的对比损失函数。
构造生成网络的对比损失函数LG_con：
Figure BDA0003152573290000081
其中，Σ表示求和操作，i表示虚假样本中的第i个样本，N表示一次训练中投入的训练样本数，j表示训练样本中的第j个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，zi表示虚假样本特征向量中第i个特征向量，·表示余弦相似度计算，zj表示训练样本特征向量中与zi同类别的第j个特征向量，τ表示温度系数，k表示训练样本中的第k个样本，zk表示训练样本特征向量中的第k个特征向量。
构造判别网络的对比损失函数LD_con：
Figure BDA0003152573290000082
其中，N表示一次训练中投入的训练样本数，v表示训练样本中的第v个样本，Σ表示求和操作，p表示训练样本中的第p个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，zv表示真实样本特征向量中第v个特征向量，·表示余弦相似度计算，zp表示训练样本特征向量中与zv同类别的第p个特征向量，τ表示温度系数，q表示训练样本中的第q个样本，zq表示训练样本特征向量中的第q个特征向量。
步骤6，构造生成网络和判别网络的损失函数。
构造生成网络的损失函数LG：
Figure BDA0003152573290000083
其中，Σ表示求和操作，
Figure BDA0003152573290000084
表示虚假样本的标签向量，ln表示以e为底的对数操作，
Figure BDA0003152573290000085
表示虚假样本预测类别标签向量，/>
Figure BDA0003152573290000086
表示训练样本的真假标签向量，/>
Figure BDA0003152573290000087
表示虚假样本预测真假标签向量，LG_con表示生成网络的对比损失损失函数。
构造判别网络的损失函数LD：
Figure BDA0003152573290000091
其中，Σ表示求和操作，
Figure BDA0003152573290000092
表示虚假样本的标签向量，ln表示以e为底的对数操作，
Figure BDA0003152573290000093
表示虚假样本预测类别标签向量，/>
Figure BDA0003152573290000094
表示训练样本的标签向量，/>
Figure BDA0003152573290000095
表示训练样本预测类别标签向量，/>
Figure BDA0003152573290000096
表示训练样本的真假标签向量，/>
Figure BDA0003152573290000097
表示虚假样本预测真假标签向量，/>
Figure BDA0003152573290000098
表示训练样本的真假标签向量，/>
Figure BDA0003152573290000099
表示训练样本预测真假标签向量,LD_con表示判别网络的对比损失函数。
步骤7，利用梯度下降方法，用生成网络的损失函数迭代更新生成网络的参数，判断损失函数是否收敛，若收敛，则执行步骤8，否则，执行步骤3。
步骤8，利用梯度下降方法，用判别网络的损失函数迭代更新判别网络的参数，判断损失函数是否收敛，若收敛，则得到训练好的对比生成对抗网络后执行步骤9，否则，执行步骤3。
步骤9，对高光谱图像进行分类。
采用与步骤1相同的预处理方法，对待分类的高光谱图像进行预处理后再输入到训练好的对比生成对抗网络的判别网络中，输出待分类的高光谱图像的预测标签。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存16GB。
本发明的仿真实验的软件平台为：Windows 10操作系统和python 3.6。
本发明仿真实验所使用的输入图像为印第安松树Indian Pines高光谱图像，该高光谱数据采集自美国印第安纳州西北部印第安遥感试验区，成像时间为1992年6月，图像大小为145×145×200个像素，图像共包含220个波段和16类地物，图像格式为mat。
2.仿真内容与结果分析：
本发明仿真实验是采用本发明和两个现有技术(支撑向量机SVM分类方法、卷积神经网络CNN分类方法)分别对输入的印第安松树Indian Pines高光谱图像进行分类，获得分类结果图。
在仿真实验中，采用的两个现有技术是指：
现有技术支撑向量机SVM分类方法是指，Melgani等人在“Classification ofhyperspectral remote sensing images with support vector machines,IEEETrans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004”中提出的高光谱图像分类方法，简称支撑向量机SVM分类方法。
现有技术卷积神经网络CNN分类方法是指，Yu等人在“Convolutional neuralnetworks for hyperspectral image classification,”Neurocomputing,vol.219,pp.88-98,2017”中提出的高光谱图像分类方法，简称卷积神经网络CNN分类方法。
图2为仿真图，其中，图2(a)为由高光谱图像波段中第50个，第27个和第17个波段构成的伪彩色图像。图2(b)为输入的高光谱图像印第安松树Indian Pines的真实地物分布图，其大小为145×145个像素。图2(c)为采用现有技术支撑向量机SVM分类方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。图2(d)为采用现有技术卷积神经网络CNN方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。图2(e)为利用本发明的方法，对印第安松树Indian Pines高光谱图像进行分类的结果图。
由附图2(c)可以看出，现有技术的支撑向量机SVM分类结果噪点较多，边缘平滑性不好，主要因为该方法只提取了高光谱图像像元的光谱特征，没有提取空间特征，使得分类准确性不高。
由附图2(d)可以看出，现有技术的卷积神经网络方法分类结果，相比于支撑向量机SVM分类结果，其噪点较少，但是卷积神经网络方法分类仍然存在样本数目相对于参数数目过少，导致网络出现过拟合，以及类别特征提取不够充分的问题，使得样本错分较多。
由附图2(e)可以看出，本发明的分类结果相比于支撑向量机SVM分类结果和卷积神经网络方法分类结果，其噪点较少，且具有较好的区域一致性和边缘平滑性，证明本发明的分类效果优于前两种现有技术分类方法，分类效果较理想。
利用两个评价指标(总精度OA、平均精度AA)分别对分类结果进行评价。利用下式，以像素为基本单位，分别计算本发明和两个现有技术的高光谱图像分类结果的总体分类精度OA和平均分类精度AA：
总体分类精度
Figure BDA0003152573290000101
平均分类精度
Figure BDA0003152573290000111
表1.仿真实验中本发明和各现有技术分类结果的定量分析表
Figure BDA0003152573290000112
将图2(c)、2(d)、2(e)中以每个像素点为基本单位，利用下述的16类地物的分类精度的计算公式，分别计算16类地物的分类精度，总精度OA，平均精度AA，将所有计算结果绘制成表1。
Figure BDA0003152573290000113
结合表1可以看出，本发明的总体分类精度OA为94.4％，平均分类精度AA为2.1％，这两个指标均高于2种现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。
以上仿真实验表明：本发明方法利用构建的对比生成对抗网络，能够充分提取高光谱图像的类别特征特征，利解决了现有技术方法中存在网络不能充分地学习和利用类别间的特征差异、样本数目相较于网络层数和参数数量少导致的网络过拟合、图像分类精度低的问题，使得本发明提高了在样本数量较少的情况下分类的准确性，是一种非常实用的高光谱图像分类方法。

Claims (6)

1.一种基于对比生成对抗网络的高光谱图像分类方法，其特征在于，搭建对比生成对抗网络，用生成网络生成虚假样本,用判别网络对训练样本和虚假样本进行分类，通过对比样本之间的类别特征得到对比损失，构造生成网络和判别网络的损失函数；该高光谱图像分类方法的步骤包括如下：
步骤1，生成样本集：
(1a)从同一区域中选取至少包含五种类别、且光谱分辨率在10-2λ数量级范围内的一张高光谱图像，λ表示高光谱图像的波长；
(1b)利用主成分分析方法，对高光谱数据进行降维；
(1c)从降维后的高光谱图像中提取包含标签的所有像素点，以每个所提取的像素点为中心，将其周围27×27个像素点空间窗中所有的像素点，组成一个数据立方体，将所有的数据立方体组成高光谱图像的样本集；
(1d)随机选取高光谱图像的样本集中5％的样本，组成训练样本；
步骤2，构建对比生成对抗网络：
(2a)搭建一个生成网络，其结构依次为：全连接层，第一逆卷积层，第二逆卷积层，第三逆卷积层，第四逆卷积层，将全连接层输入节点的个数设置为大于100，将全连接层输出节点个数设置为512；将第一至第四逆卷积层的卷积核大小均设置为3×3，步长均设置为2；
(2b)搭建一个判别网络，其结构依次为：第一卷积层，第二卷积层，第三卷积层，第四卷积层，两个并列的全连接层：第一全连接层和第二全连接层，其中，第一至第四卷积层的卷积核大小均设置为3×3,步长均设置为2，第一和第二全连接层的输入节点个数均设置为512，第一全连接层的输出节点个数与高光谱图像类别数相等，第二全连接层的输出节点个数设置为2；
(2c)将生成网络和判别网络组成多类生成对抗网络；
步骤3，用生成网络生成虚假样本：
(3a)从高斯分布中随机采样生成100维的高斯噪声向量；
(3b)通过生成网络，对高斯噪声向量和类别标签向量进行非线性映射，转换成高光谱图像虚假样本；
步骤4，用判别网络对训练样本和虚假样本进行非线性映射：
将训练样本和虚假样本同时输入到判别网络中进行非线性映射，输出训练样本和虚假样本的类别预测标签、真假预测标签、特征向量；
步骤5，构造生成网络和判别网络的对比损失函数：
(5a)构造生成网络的对比损失函数LG_con
Figure FDA0004245364780000021
其中，Σ表示求和操作，i表示虚假样本中的第i个样本，N表示一次训练中投入的训练样本数，j表示训练样本中的第j个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，zi表示虚假样本特征向量中第i个特征向量，·表示余弦相似度计算，zj表示训练样本特征向量中与zi同类别的第j个特征向量，τ表示温度系数，k表示训练样本中的第k个样本，zk表示训练样本特征向量中的第k个特征向量；
(5a)构造判别网络的对比损失函数LD_con
Figure FDA0004245364780000022
其中，N表示一次训练中投入的训练样本数，v表示训练样本中的第v个样本，Σ表示求和操作，p表示训练样本中的第p个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，zv表示真实样本特征向量中第v个特征向量，·表示余弦相似度计算，zp表示训练样本特征向量中与zv同类别的第p个特征向量，τ表示温度系数，q表示训练样本中的第q个样本，zq表示训练样本特征向量中的第q个特征向量；
步骤6，构造生成网络和判别网络的损失函数：
(6a)构造生成网络的损失函数LG
Figure FDA0004245364780000023
其中，Σ表示求和操作，
Figure FDA0004245364780000031
表示虚假样本的标签向量，ln表示以e为底的对数操作，/>
Figure FDA0004245364780000032
表示虚假样本预测类别标签向量，/>
Figure FDA0004245364780000033
表示训练样本的真假标签向量，/>
Figure FDA0004245364780000034
表示虚假样本预测真假标签向量，LG_con表示生成网络的对比损失函数；
(6b)构造判别网络的损失函数LD
Figure FDA0004245364780000035
其中，Σ表示求和操作，
Figure FDA0004245364780000036
表示虚假样本的标签向量，ln表示以e为底的对数操作，/>
Figure FDA0004245364780000037
表示虚假样本预测类别标签向量，/>
Figure FDA0004245364780000038
表示训练样本的标签向量，/>
Figure FDA0004245364780000039
表示训练样本预测类别标签向量，/>
Figure FDA00042453647800000310
表示虚假样本的真假标签向量，/>
Figure FDA00042453647800000311
表示虚假样本预测真假标签向量，/>
Figure FDA00042453647800000312
表示训练样本的真假标签向量，/>
Figure FDA00042453647800000313
表示训练样本预测真假标签向量,LD_con表示判别网络的对比损失函数；
步骤7，利用梯度下降方法，用生成网络的损失函数迭代更新生成网络的参数，判断损失函数是否收敛，若收敛，则执行步骤8，否则，执行步骤3；
步骤8，利用梯度下降方法，用判别网络的损失函数迭代更新判别网络的参数，判断损失函数是否收敛，若收敛，则得到训练好的对比生成对抗网络后执行步骤9，否则，执行步骤3；
步骤9，对高光谱图像进行分类：
采用与步骤(1b)与(1c)相同的方法，对待分类的高光谱图像进行预处理后再输入到训练好的对比生成对抗网络的判别网络中，输出待分类的高光谱图像的预测标签。
2.根据权利要求1所述的基于对比生成对抗网络的高光谱图像分类方法，其特征在于：步骤(3b)中所述高斯噪声向量和类别标签向量进行非线性映射的步骤如下：
第一步，将训练样本的类别标签作为同一批次虚假样本的类别标签；
第二步，将100维的高斯噪声向量和虚假样本的类别标签输入生成器的全连接层，依次进行线性的全连接变换、矩阵形状变换、批标准化、非线性Relu变换，得到2×2×128个像素大小的全连接层输出特征图；
第三步，将全连接层输出特征图输入到生成网络的第一个逆卷积层，依次进行卷积操作、批标准化、非线性Relu变换，得到4×4×64个像素大小的第一个逆卷积层的输出特征图；
第四步，将第一个逆卷积层的输出特征图输入到生成器的第二个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到7×7×32个像素大小的第二个逆卷积层的输出特征图；
第五步，将第二个逆卷积层的输出特征图输入到生成器的第三个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第三个逆卷积层的输出特征图；
第六步，将第三个逆卷积层的输出特征图输入到生成器的第四个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到27×27×3个像素大小的生成样本。
3.根据权利要求1所述的基于对比生成对抗网络的高光谱图像分类方法，其特征在于：步骤(4)中所述将训练样本和虚假样本同时输入到判别网络中进行非线性映射的步骤如下：
第一步，将27×27×3个像素大小的高光谱图像训练样本和虚假样本输入到判别网络的第一个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第一个卷积层的输出特征图；
第二步，将第一个卷积层的输出特征图输入到判别网络的第二个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出7×7×64个像素大小的判别网络第二个卷积层的输出特征图；
第三步，将第二个卷积层的输出特征图输入到判别网络的第三个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出4×4×256个像素大小的判别网络第三个卷积层的输出特征图；
第四步，将第三个卷积层的输出特征图输入到判别网络的第四个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出1×1×512个像素大小的第四个卷积层的输出特征图，得到特征向量；
第五步，将第四个卷积层的输出特征图输入到判别网络的全连接层，依次进行矩阵形状变换、并列的第一线性全连接变换和第二线性全连接变换，得到训练样本和虚假样本的类别预测标签、真假预测标签。
4.根据权利要求1所述的基于对比生成对抗网络的高光谱图像分类方法，其特征在于：步骤(4)中所述训练样本和虚假样本的类别预测标签均为一个向量，向量中的元素总数均等于高光谱图像类别数，每个向量中的单个元素值等于样本属于某一类地物的概率值。
5.根据权利要求1所述的基于对比生成对抗网络的高光谱图像分类方法，其特征在于：步骤(4)中所述训练样本和虚假样本的真假预测标签均为一个向量，向量中的元素总数均等于2，两个元素分别代表样本属于虚假样本的概率值和训练样本的概率值。
6.根据权利要求1所述的基于对比生成对抗网络的高光谱图像分类方法，其特征在于：步骤(4)中所述训练样本和虚假样本的特征向量分别为一个向量，向量中的元素总数均等于512，向量代表网络提取到该样本的类别特征信息。
CN202110775163.7A 2021-07-07 2021-07-07 基于对比生成对抗网络的高光谱图像分类方法 Active CN113469084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110775163.7A CN113469084B (zh) 2021-07-07 2021-07-07 基于对比生成对抗网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110775163.7A CN113469084B (zh) 2021-07-07 2021-07-07 基于对比生成对抗网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113469084A CN113469084A (zh) 2021-10-01
CN113469084B true CN113469084B (zh) 2023-06-30

Family

ID=77879232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110775163.7A Active CN113469084B (zh) 2021-07-07 2021-07-07 基于对比生成对抗网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113469084B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189176B (zh) * 2023-03-06 2024-05-14 安徽农业大学 基于生成度量td3的茶叶智能化拼配方法、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875818A (zh) * 2018-06-06 2018-11-23 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法
CN112052893A (zh) * 2020-09-01 2020-12-08 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112699899A (zh) * 2020-12-31 2021-04-23 杭州电子科技大学 一种基于生成对抗网络的高光谱图像特征提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764173B (zh) * 2018-05-31 2021-09-03 西安电子科技大学 基于多类生成对抗网络的高光谱图像分类方法
CN109145992B (zh) * 2018-08-27 2021-07-20 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109766921B (zh) * 2018-12-19 2021-08-03 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN111639693A (zh) * 2020-05-25 2020-09-08 杭州电子科技大学 一种用于睡姿监测的系统及方法
CN112699247B (zh) * 2020-12-23 2023-10-17 清华大学 一种基于多类交叉熵对比补全编码的知识表示学习方法
CN112766399B (zh) * 2021-01-28 2021-09-28 电子科技大学 一种面向图像识别的自适应神经网络训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875818A (zh) * 2018-06-06 2018-11-23 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112052893A (zh) * 2020-09-01 2020-12-08 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN112699899A (zh) * 2020-12-31 2021-04-23 杭州电子科技大学 一种基于生成对抗网络的高光谱图像特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unsupervised Multi-Discriminator Generative Adversarial Network for Lung Nodule Malignancy Classification;Yan Kuang等;IEEE Access;第8卷;77725 - 77734 *
面向高光谱影像分类的生成式对抗网络;张鹏强;刘冰;余旭初;谭熊;杨帆;周增华;;测绘通报(第03期);32-37 *

Also Published As

Publication number Publication date
CN113469084A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN108764173B (zh) 基于多类生成对抗网络的高光谱图像分类方法
CN109948693B (zh) 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN109145992B (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110298396B (zh) 基于深度学习多特征融合的高光谱图像分类方法
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN103886342B (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
CN107563442B (zh) 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
CN112766161A (zh) 基于集成约束多示例学习的高光谱目标检测方法
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法
Kumar et al. Multiclass support vector machine based plant leaf diseases identification from color, texture and shape features
Song et al. Using dual-channel CNN to classify hyperspectral image based on spatial-spectral information
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN117333713A (zh) 一种基于通道和空间注意力的空谱联合高光谱图像分类方法
CN109460788B (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
Yaman et al. Image processing and machine learning‐based classification method for hyperspectral images
Hou et al. FMRSS Net: Fast Matrix Representation‐Based Spectral‐Spatial Feature Learning Convolutional Neural Network for Hyperspectral Image Classification
CN112966781A (zh) 基于三元组损失和卷积神经网络的高光谱图像分类方法
CN114998725A (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant