CN108764173A - 基于多类生成对抗网络的高光谱图像分类方法 - Google Patents

基于多类生成对抗网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN108764173A
CN108764173A CN201810548520.4A CN201810548520A CN108764173A CN 108764173 A CN108764173 A CN 108764173A CN 201810548520 A CN201810548520 A CN 201810548520A CN 108764173 A CN108764173 A CN 108764173A
Authority
CN
China
Prior art keywords
sample
convolutional layer
arbiter
generator
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810548520.4A
Other languages
English (en)
Other versions
CN108764173B (zh
Inventor
冯婕
于海鹏
焦李成
张向荣
王蓉芳
尚荣华
刘若辰
刘红英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810548520.4A priority Critical patent/CN108764173B/zh
Publication of CN108764173A publication Critical patent/CN108764173A/zh
Application granted granted Critical
Publication of CN108764173B publication Critical patent/CN108764173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多类生成对抗网络的高光谱图像分类方法，其步骤如下：(1)输入高光谱图像；(2)获取样本集；(3)产生训练样本与测试样本；(4)搭建多类生成对抗网络；(5)利用生成器生成样本；(6)用判别器对训练样本和生成的样本进行分类；(7)构建生成器和判别器的损失函数；(8)交替训练生成器与判别器；(9)对高光谱图像进行分类。本发明利用搭建的多类生成对抗网络，提取像元邻域的空间特征，同时生成样本来增加样本数量，增强了网络的特征提取能力，缓解了网络过拟合的问题，提高了高光谱图像分类的准确性。

Description

基于多类生成对抗网络的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于多类生成对抗网络(multi-class generative adversarial networks)的高光谱图像分类方法。本发明可用于对高光谱图像的地物进行分类。
背景技术
高光谱图像光谱分辨率的提高，为分类提供了更加丰富信息的同事，也带来了巨大的挑战。目前应用在高光谱图像分类中的传统方法包括支撑矢量机、决策树等，基于深度学习的方法包括栈式自编码器、卷积神经网络等。深度学习需要大量的有标签数据作为训练样本，而在高光谱图像中，难以收集到足够的有标签数据，因此在基于深度学习的高光谱图像分类中，高光谱图像有标签数据不足的问题已经限制了高光谱图像的分类精度。
太仓稻信信息科技有限公司在其申请的专利文献“一种高光谱图像分类方法”(专利申请号：201710406644.4，公开号：CN107247966A)中提出了一种高光谱图像分类方法。该方法首先对要分类的图像进行多尺度分割，对多尺度分割后的图像进行显著图提取，在显著图提取后的图像中，对像元进行光谱特征提取，对提取的特征进行归一化，对归一化后的像元特征用非线性核函数方法分类。该方法虽然能够减少辐射误差和几何误差影响，但是，该方法仍然存在的不足之处是，只提取了像元的光谱特征，没有提取像元邻域的空间特征，导致分类准确性不高。
北京航空航天大学在其申请专利文献“一种基于深度学习的高光谱图像分类方法”(专利申请号：201710052345.5，公开号：CN106845418A)中提出了一种高光谱图像分类方法。该方法首先采用非线性的自编码网络对高光谱图像进行降维。在降维后的图像中，将有标签像元邻域的数据立方体作为样本输入卷积神经网络，然后将像元对应的标签作为卷积神经网络的期望输出，训练卷积神经网络，最后将训练好的卷积神经网络作用于高光谱图像中的每个像元，得到分类结果。该方法虽然保留了样本的非线性信息，但是，该方法仍然存在的不足之处是，样本数目相对于网络参数数目过少，导致网络过拟合，分类准确性不高。
发明内容
本发明的目的是针对上述已有技术的不足，提出一种能够适用于图像处理的基于多类生成对抗网络的高光谱图像分类方法。
实现本发明目的的思路是，先搭建多类生成对抗网络，用多类生成对抗网络中的生成器生成样本，用判别器对训练样本和生成的样本进行分类，再构造生成器和判别器的损失函数，交替训练生成器和判别器，最后将测试样本输入训练好的多类生成对抗网络的判别器中，得到高光谱图像的分类结果。
本发明的具体步骤包括如下：
(1)输入高光谱图像：
(2)获取样本集：
(2a)以高光谱图像中的每个有标签像素为中心，划定一个27×27个像素大小的空间窗；
(2b)将每个空间窗内所有的像素组成一个数据立方体；
(2c)将所有的数据立方体组成高光谱图像的样本集；
(3)产生训练样本与测试样本：
在高光谱图像的样本集中，随机选取5％的样本，组成高光谱图像的训练样本；将剩余95％的样本组成高光谱图像的测试样本；
(4)搭建多类生成对抗网络：
(4a)搭建一个由全连接层和4个逆卷积层构成的生成器，并设置每层参数；
(4b)搭建一个由4个卷积层和1个多分类层构成的判别器，并设置每层参数；
(4c)将生成器和判别器组成多类生成对抗网络；
(5)用生成器生成样本：
从高斯分布中随机采样生成100维的高斯噪声向量，将高斯噪声向量通过生成器进行非线性映射，转换成高光谱图像的生成的样本；
(6)用判别器对训练样本和生成的样本进行分类：
将训练样本和生成的样本输入到判别器中进行非线性映射，输出训练样本的预测标签和生成的样本的预测标签；
(7)构造生成器和判别器的损失函数：
(7a)生成一个元素个数和高光谱图像地物种类数相等的向量，该向量中每个元素值均等于地物种类数的倒数，将该向量作为生成样本的判别标签；
(7b)利用交叉熵公式，计算生成的样本的预测标签和训练样本标签之间的交叉熵,将生成的样本的预测标签和训练样本标签之间的交叉熵作为生成器的损失函数；
(7c)利用交叉熵公式，计算生成的样本预测标签和生成的样本的标签之间的交叉熵；
(7d)利用交叉熵公式，计算训练样本的预测标签和训练样本标签之间的交叉熵；
(7e)将上面两个交叉熵之和，作为判别器的损失函数；
(8)交替训练生成器和判别器：
(8a)利用梯度下降方法，用生成器的损失函数值训练生成器；
(8b)利用梯度下降方法，用判别器的损失函数值训练判别器；
(8c)判断当前迭代次数是否为第1500次，若是，则执行步骤(9)，否则，将当前迭代次数加上1后执行步骤(8)；
(9)对高光谱图像进行分类：
将高光谱图像的测试样本输入到训练好的多类生成对抗网络的判别器中，输出测试样本的预测标签，获得分类结果。
本发明与现有技术相比具有以下优点：
第一，由于本发明搭建了多类生成对抗网络，利用搭建的多类生成对抗网络中的空间卷积和逆卷积操作提取像元领域的空间特征，克服了现有技术只提取像元的光谱特征，没有提取像元邻域的空间特征，导致分类准确性不高的问题，使得本发明增强了网络的提取特征能力，提高了分类的准确性。
第二，由于本发明用生成器生成样本，用判别器对训练样本和生成的样本进行分类，生成的样本加入样本集合增加了样本的数量，克服了现有技术中样本数目相对于参数数目过少，导致的网络过拟合，分类准确性不高的问题，使得本发明提高了在样本数量较少的情况下分类的准确性。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
结合附图1中，实现本发明的具体步骤如下：
步骤1，输入高光谱图像。
步骤2，获取样本集。
以高光谱图像中的每个有标签像素为中心，划定一个27×27个像素大小的空间窗。
将每个空间窗内所有的像素组成一个数据立方体。
将所有的数据立方体组成高光谱图像的样本集。
步骤3，产生训练样本与测试样本。
在高光谱图像的样本集中，随机选取5％的样本，组成高光谱图像的训练样本；将剩余95％的样本组成高光谱图像的测试样本。
步骤4，搭建多类生成对抗网络。
搭建一个由全连接层和4个逆卷积层构成的生成器，并设置每层参数。
所述的生成器的层间设置按照从左到右依次为，全连接层，逆卷积层，逆卷积层，逆卷积层，逆卷积层，其中，全连接层的输入和输出节点个数分别为100和512，每个逆卷积层的卷积核大小为5×5个像素大小，步长为2。
搭建一个由4个卷积层和1个多分类层构成的判别器，并设置每层参数。
所述的判别器的层间设置按照从左到右依次为，卷积层，卷积层，卷积层，卷积层，多分类层，其中，每个卷积层的卷积核为5×5个像素大小,步长为2，全连接层的输入节点个数是512，输出节点个数和高光谱图像地物种类数相等。
将生成器和判别器组成多类生成对抗网络。
步骤5，用生成器生成样本。
从高斯分布中随机采样生成100维的高斯噪声向量，将高斯噪声向量通过生成器进行非线性映射，转换成高光谱图像的生成的样本。
所述的高斯噪声向量通过生成器进行非线性映射的步骤如下：
第1步，将100维的高斯噪声向量输入生成器的全连接层，依次进行线性的全连接变换、非线性Relu变换、矩阵形状变换、批标准化，得到2×2×128个像素大小的全连接层输出特征图。
第2步，将全连接层输出特征图输入到生成器的第一个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到4×4×64个像素大小的第一个逆卷积层的输出特征图。
第3步，将第一个逆卷积层的输出特征图输入到生成器的第二个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到7×7×32个像素大小的第二个逆卷积层的输出特征图。
第4步，将第二个逆卷积层的输出特征图输入到生成器的第三个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第三个逆卷积层的输出特征图。
第5步，将第三个逆卷积层的输出特征图输入到生成器的第四个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到27×27×3个像素大小的生成样本。
步骤6，用判别器对训练样本和生成的样本进行分类。
将训练样本和生成的样本输入到判别器中进行非线性映射，输出训练样本的预测标签和生成的样本的预测标签。
所述的将训练样本和生成的样本输入到判别器中进行非线性映射的步骤如下：
第1步，将27×27×3个像素大小的高光谱图像生成样本和训练样本输入到判别器的第一个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第一个卷积层的输出特征图。
第2步，将第一个卷积层的输出特征图输入到判别器的第二个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出7×7×32个像素大小的判别器第二个卷积层的输出特征图。
第3步，将第二个卷积层的输出特征图输入到判别器的第三个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出4×4×16个像素大小的判别器第三个卷积层的输出特征图。
第4步，将第三个卷积层的输出特征图输入到判别器的第四个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出2×2×128个像素大小的第四个卷积层的输出特征图。
第5步，将第四个卷积层的输出特征图输入到判别器的多分类层，依次进行矩阵形状变换、线性全连接变换、非线性soft-max变换，得到训练样本和生成的样本的预测标签。
所述的将训练样本和生成的样本输入到判别器中进行非线性映射的步骤如下：
所述的训练样本的预测标签和生成的样本的预测标签为两个向量，每个向量中的元素总数等于高光谱地物种类数，每个向量中的单个元素值等于样本属于某一类地物的概率值。
步骤7，构造生成器和判别器的损失函数。
生成一个元素个数和高光谱图像地物种类数相等的向量，该向量中每个元素值均等于地物种类数的倒数，将该向量作为生成样本的判别标签。
利用交叉熵公式，计算生成的样本的预测标签和训练样本标签之间的交叉熵,将生成的样本的预测标签和训练样本标签之间的交叉熵作为生成器的损失函数。
所述的交叉熵公式如下：
其中，L表示交叉熵，Σ表示求和操作，yi表示标签向量的第i个元素，ln表示以e为底的对数操作，表示预测标签向量的第m个元素，i＝m，表示yi和是标签向量和预测标签向量中同一个位置的对应元素。
所述的计算预测标签和标签之间的交叉熵的步骤如下：
第1步，对预测标签中的每一个元素值分别进行以e为底的对数操作，将对数操作后的所有元素组成向量Y。
第2步，用向量Y中的每一个元素值乘以标签中相同位置的元素值，对乘法操作之后的所有元素求和，将求和结果作为预测标签和标签之间的交叉熵。
利用交叉熵公式，计算生成样本预测标签和判别标签之间的交叉熵。
所述的交叉熵公式如下：
其中，L表示交叉熵，Σ表示求和操作，yi表示标签向量的第i个元素，ln表示以e为底的对数操作，表示预测标签向量的第m个元素，i＝m，表示yi和是标签向量和预测标签向量中同一个位置的对应元素。
所述的计算预测标签和标签之间的交叉熵的步骤如下：
第1步，对预测标签中的每一个元素值分别进行以e为底的对数操作，将对数操作后的所有元素组成向量Y。
第2步，用向量Y中的每一个元素值乘以标签中相同位置的元素值，对乘法操作之后的所有元素求和，将求和结果作为预测标签和标签之间的交叉熵。
利用交叉熵公式，计算训练样本的预测标签和训练样本标签之间的交叉熵；
所述的交叉熵公式如下：
其中，L表示交叉熵，Σ表示求和操作，yi表示标签向量的第i个元素，ln表示以e为底的对数操作，表示预测标签向量的第m个元素，i＝m，表示yi和是标签向量和预测标签向量中同一个位置的对应元素。
所述的计算预测标签和标签之间的交叉熵的步骤如下：
第1步，对预测标签中的每一个元素值分别进行以e为底的对数操作，将对数操作后的所有元素组成向量Y。
第2步，用向量Y中的每一个元素值乘以标签中相同位置的元素值，对乘法操作之后的所有元素求和，将求和结果作为预测标签和标签之间的交叉熵。
将上面两个交叉熵之和，作为判别器的损失函数。
步骤8，交替训练生成器和判别器。
第1步，利用梯度下降方法，用生成器的损失函数值训练生成器。
第2步，利用梯度下降方法，用判别器的损失函数值训练判别器。
第3步，判断当前迭代次数是否为第1500次，若是，则执行步骤9，否则，将当前迭代次数加上1后执行本步骤的第1步。
步骤9，对高光谱图像进行分类。
将高光谱图像的测试样本输入到训练好的多类生成对抗网络的判别器中，输出测试样本的预测标签，获得分类结果。
下面结合附图2的仿真图对本发明的效果做进一步说明。
1.仿真实验条件：
本发明的仿真实验的硬件测试平台是：处理器为Intel i7 5930k CPU，主频为3.5GHz，内存16GB。
本发明的仿真实验的软件平台为：Windows 10操作系统和python 3.5.2。
本发明仿真实验的输入图像为高光谱图像印第安松树Indian Pines，图像大小为145×145×220个像素，图像共包含220个波段和16类地物，图像格式为mat。
2.仿真内容：
本发明仿真实验是采用本发明和三个现有技术(支撑向量机SVM分类方法、栈式自编码器SAE分类方法、卷积神经网络CNN分类方法)对输入的高光谱图像印第安松树IndianPines进行分类，获得分类结果图，同时利用三个评价指标(总精度OA、平均精度AA、卡方系数Kappa)对分类结果进行评价。
在仿真实验中，采用的三个现有技术具体如下：
Melgani等人在“Classification of hyperspectral remote sensing imageswith support vector machines,IEEE Trans.Geosci.Remote Sens.,vol.42,no.8,pp.1778–1790,Aug.2004”中提出的高光谱图像分类方法，简称支撑向量机SVM分类方法。
Chen等人在“Deep learning-based classication of hyperspectral data,IEEE J.Sel.Topics Appl.Earth Observ.Remote Sens.,vol.7,no.6,pp.2094-2107,Jun.2014”中提出的高光谱图像分类方法，简称栈式自编码器SAE分类方法。
Yu等人在“Convolutional neural networks for hyperspectral imageclassification,”Neurocomputing,vol.219,pp.88-98,2017”中提出的高光谱图像分类方法，简称卷积神经网络CNN分类方法。
在仿真实验中，采用的三个评价指标具体如下：
总精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。
平均精度AA表示每一类分类精度的平均值，值越大，说明分类效果越好。
卡方系数Kappa表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
图2为仿真实验结果图。其中，图2(a)为输入的高光谱图像印第安松树IndianPines的真实地物分布图，其大小为145×145个像素。图2(b)为采用支撑向量机SVM方法对高光谱图像印第安松树Indian Pines进行分类的结果图。图2(c)为采用栈式自编码器SAE方法对高光谱图像印第安松树Indian Pines进行分类的结果图。图2(d)为采用卷积神经网络CNN方法对高光谱图像印第安松树Indian Pines进行分类的结果图。图2(e)为本发明对高光谱图像印第安松树Indian Pines进行分类的结果图。
3.仿真结果分析：
统计附图2中本发明和三个现有技术对高光谱图像印第安松树Indian Pines的分类结果，包括每类地物的分类精度，总精度OA、平均精度AA、卡方系数Kappa，最后把统计到的每类地物的分类精度和各评价指标的值绘制成表1.
结合表1和附图2可以看出，支撑向量机SVM和栈式自编码器SAE方法的分类结果比较差，主要因为这两种方法都只提取了高光谱图像像元的光谱特征，没有提取空间特征，使得分类准确性不高；同时卷积神经网络CNN方法的分类结果有很大改善，准确率有所上升，但是卷积神经网络CNN方法中，样本数目相对于参数数目过少，导致网络过拟合，所以依然存在样本错分较多的现象；本发明的分类效果优于前三种现有技术分类方法，达到了较理想的分类效果。
以上仿真实验表明：本发明方法能够提取像元领域的空间特征，利用生成样本来增加样本数量，解决现有技术方法中存在的只提取光谱特征、样本数目相对于参数数目过少导致的网络过拟合、分类精度低等问题，是一种非常实用的高光谱图像分类方法。
表1.仿真实验中本发明和各现有技术分类结果的定量分析表

Claims (8)

1.一种基于多类生成对抗网络的高光谱图像分类方法，其特征在于，搭建多类生成对抗网络，用生成器生成样本,用判别器对训练样本和生成的样本进行分类，构造生成器和判别器的损失函数；该方法的具体步骤包括如下：
(1)输入高光谱图像：
(2)获取样本集：
(2a)以高光谱图像中的每个有标签像素为中心，划定一个27×27个像素大小的空间窗；
(2a)将每个空间窗内所有的像素组成一个数据立方体；
(2b)将所有的数据立方体组成高光谱图像的样本集；
(3)产生训练样本与测试样本：
在高光谱图像的样本集中，随机选取5％的样本，组成高光谱图像的训练样本；将剩余95％的样本组成高光谱图像的测试样本；
(4)搭建多类生成对抗网络：
(4a)搭建一个由全连接层和4个逆卷积层构成的生成器，并设置每层参数；
(4b)搭建一个由4个卷积层和1个多分类层构成的判别器，并设置每层参数；
(4c)将生成器和判别器组成多类生成对抗网络；
(5)用生成器生成样本：
从高斯分布中随机采样生成100维的高斯噪声向量，将高斯噪声向量通过生成器进行非线性映射，转换成高光谱图像的生成的样本；
(6)用判别器对训练样本和生成的样本进行分类：
将训练样本和生成的样本输入到判别器中进行非线性映射，输出训练样本的预测标签和生成的样本的预测标签；
(7)构造生成器和判别器的损失函数：
(7a)生成一个元素个数和高光谱图像地物种类数相等的向量，该向量中每个元素值均等于地物种类数的倒数，将该向量作为生成的样本的判别标签；
(7b)利用交叉熵公式，计算生成的样本的预测标签和训练样本标签之间的交叉熵,将生成的样本的预测标签和训练样本标签之间的交叉熵作为生成器的损失函数；
(7c)利用交叉熵公式，计算生成的样本的预测标签和生成的样本的标签之间的交叉熵；
(7d)利用交叉熵公式，计算训练样本的预测标签和训练样本标签之间的交叉熵；
(7e)将上面两个交叉熵之和，作为判别器的损失函数；
(8)交替训练生成器和判别器：
(8a)利用梯度下降方法，用生成器的损失函数值训练生成器；
(8b)利用梯度下降方法，用判别器的损失函数值训练判别器；
(8c)判断当前迭代次数是否为第1500次，若是，则执行步骤(9)，否则，将当前迭代次数加上1后执行步骤(8)；
(9)对高光谱图像进行分类：
将高光谱图像的测试样本输入到训练好的多类生成对抗网络的判别器中，输出测试样本的预测标签，获得分类结果。
2.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(4a)中所述生成器的层间设置按照从左到右依次为，全连接层，逆卷积层，逆卷积层，逆卷积层，逆卷积层，其中，全连接层的输入和输出节点个数分别为100和512，每个逆卷积层的卷积核大小为5×5个像素大小，步长为2。
3.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(4b)中所述判别器的层间设置按照从左到右依次为，卷积层，卷积层，卷积层，卷积层，多分类层，其中，每个卷积层的卷积核为5×5个像素大小,步长为2，全连接层的输入节点个数是512，输出节点个数和高光谱图像地物种类数相等。
4.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(5)中所述高斯噪声向量通过生成器进行非线性映射的步骤如下：
第一步，将100维的高斯噪声向量输入生成器的全连接层，依次进行线性的全连接变换、非线性Relu变换、矩阵形状变换、批标准化，得到2×2×128个像素大小的全连接层输出特征图；
第二步，将全连接层输出特征图输入到生成器的第一个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到4×4×64个像素大小的第一个逆卷积层的输出特征图；
第三步，将第一个逆卷积层的输出特征图输入到生成器的第二个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到7×7×32个像素大小的第二个逆卷积层的输出特征图；
第四步，将第二个逆卷积层的输出特征图输入到生成器的第三个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第三个逆卷积层的输出特征图；
第五步，将第三个逆卷积层的输出特征图输入到生成器的第四个逆卷积层，依次进行逆卷积操作、非线性Relu变换、批标准化，得到27×27×3个像素大小的生成样本。
5.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(6)中所述将训练样本和生成的样本输入到判别器中进行非线性映射的步骤如下：
第一步，将27×27×3个像素大小的高光谱图像生成样本和训练样本输入到判别器的第一个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，得到14×14×16个像素大小的第一个卷积层的输出特征图；
第二步，将第一个卷积层的输出特征图输入到判别器的第二个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出7×7×32个像素大小的判别器第二个卷积层的输出特征图；
第三步，将第二个卷积层的输出特征图输入到判别器的第三个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出4×4×16个像素大小的判别器第三个卷积层的输出特征图；
第四步，将第三个卷积层的输出特征图输入到判别器的第四个卷积层，依次进行卷积操作、非线性Relu变换、批标准化，输出2×2×128个像素大小的第四个卷积层的输出特征图；
第五步，将第四个卷积层的输出特征图输入到判别器的多分类层，依次进行矩阵形状变换、线性全连接变换、非线性soft-max变换，得到训练样本和生成样本的预测标签。
6.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(6)中所述训练样本的预测标签和生成的样本的预测标签为两个向量，每个向量中的元素总数等于高光谱地物种类数，每个向量中的单个元素值等于样本属于某一类地物的概率值。
7.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(7b)、步骤(7c)、步骤(7d)中所述交叉熵公式如下：
其中，L表示交叉熵，Σ表示求和操作，yi表示标签向量的第i个元素，ln表示以e为底的对数操作，表示预测标签向量的第m个元素，i＝m，表示yi和是标签向量和预测标签向量中同一个位置的对应元素。
8.根据权利要求1所述的基于多类生成对抗网络的高光谱图像分类方法，其特征在于：步骤(7b)、步骤(7c)、步骤(7d)中所述计算预测标签和标签之间的交叉熵的步骤如下：
第一步，对预测标签中的每一个元素值分别进行以e为底的对数操作，将对数操作后的所有元素组成向量Y；
第二步，用向量Y中的每一个元素值乘以标签中相同位置的元素值，对乘法操作之后的所有元素求和，将求和结果作为预测标签和标签之间的交叉熵。
CN201810548520.4A 2018-05-31 2018-05-31 基于多类生成对抗网络的高光谱图像分类方法 Active CN108764173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810548520.4A CN108764173B (zh) 2018-05-31 2018-05-31 基于多类生成对抗网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810548520.4A CN108764173B (zh) 2018-05-31 2018-05-31 基于多类生成对抗网络的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN108764173A true CN108764173A (zh) 2018-11-06
CN108764173B CN108764173B (zh) 2021-09-03

Family

ID=64001062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810548520.4A Active CN108764173B (zh) 2018-05-31 2018-05-31 基于多类生成对抗网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN108764173B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635748A (zh) * 2018-12-14 2019-04-16 中国公路工程咨询集团有限公司 高分辨率影像中道路特征的提取方法
CN109740677A (zh) * 2019-01-07 2019-05-10 湖北工业大学 一种基于主成分分析改进生成对抗网络的半监督分类方法
CN109766835A (zh) * 2019-01-11 2019-05-17 西安电子科技大学 基于多参数优化生成对抗网络的sar目标识别方法
CN109902602A (zh) * 2019-02-16 2019-06-18 北京工业大学 一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110009637A (zh) * 2019-04-09 2019-07-12 北京化工大学 一种基于树形结构的遥感图像分割网络
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110263858A (zh) * 2019-06-21 2019-09-20 华北电力大学（保定） 一种螺栓图像合成方法、装置及相关设备
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
WO2020107022A1 (en) * 2018-11-23 2020-05-28 Slingshot Aerospace, Inc. Signal processing workflow engine incorporating graphical user interface for space situational awareness
CN111626317A (zh) * 2019-08-14 2020-09-04 广东省智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
CN111639676A (zh) * 2020-05-07 2020-09-08 安徽医科大学第二附属医院 一种能够应用于新冠肺炎影像分析的胸部医学影像识别分类方法
CN111709318A (zh) * 2020-05-28 2020-09-25 西安理工大学 一种基于生成对抗网络的高分辨率遥感图像分类方法
CN112801122A (zh) * 2019-11-14 2021-05-14 和硕联合科技股份有限公司 异常检测模型的训练方法及使用此方法的电子装置
CN113222052A (zh) * 2021-05-25 2021-08-06 云南电网有限责任公司电力科学研究院 用于电力设备高光谱图像分类的生成对抗神经网络方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113469084A (zh) * 2021-07-07 2021-10-01 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN113537031A (zh) * 2021-07-12 2021-10-22 电子科技大学 基于多鉴别器条件生成对抗网络的雷达图像目标识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140093147A1 (en) * 2010-04-30 2014-04-03 Chemlmage Corporation System and method for gross anatomic pathology using hyperspectral imaging
EP2476008B1 (en) * 2009-09-10 2015-04-29 Rudjer Boskovic Institute Underdetermined blind extraction of components from mixtures in 1d and 2d nmr spectroscopy and mass spectrometry by means of combined sparse component analysis and detection of single component points
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107145908A (zh) * 2017-05-08 2017-09-08 江南大学 一种基于r‑fcn的小目标检测方法
CN107451614A (zh) * 2017-08-01 2017-12-08 西安电子科技大学 基于空间坐标与空谱特征融合的高光谱分类方法
CN107563355A (zh) * 2017-09-28 2018-01-09 哈尔滨工程大学 基于生成对抗网络的高光谱异常检测方法
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN107657271A (zh) * 2017-09-02 2018-02-02 西安电子科技大学 基于长短时记忆网络的高光谱图像分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2476008B1 (en) * 2009-09-10 2015-04-29 Rudjer Boskovic Institute Underdetermined blind extraction of components from mixtures in 1d and 2d nmr spectroscopy and mass spectrometry by means of combined sparse component analysis and detection of single component points
US20140093147A1 (en) * 2010-04-30 2014-04-03 Chemlmage Corporation System and method for gross anatomic pathology using hyperspectral imaging
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107145908A (zh) * 2017-05-08 2017-09-08 江南大学 一种基于r‑fcn的小目标检测方法
CN107451614A (zh) * 2017-08-01 2017-12-08 西安电子科技大学 基于空间坐标与空谱特征融合的高光谱分类方法
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN107657271A (zh) * 2017-09-02 2018-02-02 西安电子科技大学 基于长短时记忆网络的高光谱图像分类方法
CN107563355A (zh) * 2017-09-28 2018-01-09 哈尔滨工程大学 基于生成对抗网络的高光谱异常检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIN ZHU等: "Generative Adversarial Networks for Hyperspectral Image Classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
YING ZHAN等: "Semisupervised Hyperspectral Image Classification Based on Generative Adversarial Networks", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
罗仙仙等: "深度学习方法用于遥感图像处理的研究进展", 《泉州师范学院学报》 *
高泽宇: "基于语义提取的高光谱图像分类方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107022A1 (en) * 2018-11-23 2020-05-28 Slingshot Aerospace, Inc. Signal processing workflow engine incorporating graphical user interface for space situational awareness
CN109635748A (zh) * 2018-12-14 2019-04-16 中国公路工程咨询集团有限公司 高分辨率影像中道路特征的提取方法
CN109740677A (zh) * 2019-01-07 2019-05-10 湖北工业大学 一种基于主成分分析改进生成对抗网络的半监督分类方法
CN109766835A (zh) * 2019-01-11 2019-05-17 西安电子科技大学 基于多参数优化生成对抗网络的sar目标识别方法
CN109766835B (zh) * 2019-01-11 2023-04-18 西安电子科技大学 基于多参数优化生成对抗网络的sar目标识别方法
CN109902602A (zh) * 2019-02-16 2019-06-18 北京工业大学 一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
CN109902602B (zh) * 2019-02-16 2021-04-30 北京工业大学 一种基于对抗神经网络数据增强的机场跑道异物材料识别方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110009637A (zh) * 2019-04-09 2019-07-12 北京化工大学 一种基于树形结构的遥感图像分割网络
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110084159B (zh) * 2019-04-15 2021-11-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
WO2020233207A1 (zh) * 2019-05-20 2020-11-26 广东省智能制造研究所 一种基于半监督学习策略的高光谱数据分析方法
CN110320162B (zh) * 2019-05-20 2021-04-23 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN110263858A (zh) * 2019-06-21 2019-09-20 华北电力大学（保定） 一种螺栓图像合成方法、装置及相关设备
CN110263858B (zh) * 2019-06-21 2022-05-06 华北电力大学（保定） 一种螺栓图像合成方法、装置及相关设备
CN111626317A (zh) * 2019-08-14 2020-09-04 广东省智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
CN112801122A (zh) * 2019-11-14 2021-05-14 和硕联合科技股份有限公司 异常检测模型的训练方法及使用此方法的电子装置
CN112801122B (zh) * 2019-11-14 2023-11-07 和硕联合科技股份有限公司 异常检测模型的训练方法及使用此方法的电子装置
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111639676A (zh) * 2020-05-07 2020-09-08 安徽医科大学第二附属医院 一种能够应用于新冠肺炎影像分析的胸部医学影像识别分类方法
CN111709318B (zh) * 2020-05-28 2023-03-24 西安理工大学 一种基于生成对抗网络的高分辨率遥感图像分类方法
CN111709318A (zh) * 2020-05-28 2020-09-25 西安理工大学 一种基于生成对抗网络的高分辨率遥感图像分类方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113222052A (zh) * 2021-05-25 2021-08-06 云南电网有限责任公司电力科学研究院 用于电力设备高光谱图像分类的生成对抗神经网络方法
CN113469084A (zh) * 2021-07-07 2021-10-01 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN113537031B (zh) * 2021-07-12 2023-04-07 电子科技大学 基于多鉴别器条件生成对抗网络的雷达图像目标识别方法
CN113537031A (zh) * 2021-07-12 2021-10-22 电子科技大学 基于多鉴别器条件生成对抗网络的雷达图像目标识别方法

Also Published As

Publication number Publication date
CN108764173B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108764173A (zh) 基于多类生成对抗网络的高光谱图像分类方法
Roy et al. Attention-based adaptive spectral–spatial kernel ResNet for hyperspectral image classification
CN109145992B (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN109376804B (zh) 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
Sun et al. A sparse and low-rank near-isometric linear embedding method for feature extraction in hyperspectral imagery classification
CN109948693B (zh) 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN105069478B (zh) 基于超像素张量稀疏编码的高光谱遥感地物分类方法
CN103886342B (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN111695467A (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN106845418A (zh) 一种基于深度学习的高光谱图像分类方法
CN108830243A (zh) 基于胶囊网络的高光谱图像分类方法
CN104239902B (zh) 基于非局部相似性和稀疏编码的高光谱图像分类方法
CN102208034A (zh) 基于半监督维数约减的高光谱图像分类方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN108985360A (zh) 基于扩展形态学与主动学习的高光谱分类方法
CN107563442A (zh) 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法
CN107273919B (zh) 一种基于置信度构造类属字典的高光谱无监督分类方法
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法
CN117333713A (zh) 一种基于通道和空间注意力的空谱联合高光谱图像分类方法
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法
CN114065831A (zh) 基于多尺度随机深度残差网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant