CN108460391B

CN108460391B - 基于生成对抗网络的高光谱图像无监督特征提取方法

Info

Publication number: CN108460391B
Application number: CN201810193116.XA
Authority: CN
Inventors: 公茂果; 王善峰; 毛贻顺; 张明阳; 张天乐; 武越; 牛旭东; 杨月磊
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2018-03-09
Filing date: 2018-03-09
Publication date: 2022-03-22
Anticipated expiration: 2038-03-09
Also published as: CN108460391A

Abstract

本发明公开了一种基于生成对抗网络的高光谱图像无监督特征提取方法，主要解决现有特征提取效果不佳，且需大量标签信息的问题。实现步骤为：数据预处理；生成对抗网络参数设置；计算生成对抗网络中生成器网络G输出；构建生成对抗网络目标函数；生成对抗网络训练；提取多层特征并进行池化和组合操作得到最终特征。本发明首次使用了生成对抗网络提取特征，卷积计算利用了高光谱图像的空间信息和光谱信息，使用生成对抗网络的多层特征，有效提高了高光谱图像的分类精度，本发明在训练及特征提取中都未使用任何标签信息，属于完全无监督特征提取。本发明适用于各类高光谱图像的无监督特征提取。

Description

基于生成对抗网络的高光谱图像无监督特征提取方法

技术领域

本发明属于高光谱图像处理技术领域，涉及高光谱图像特征提取技术，具体是一种基于生成对抗网络的高光谱图像无监督特征提取方法，用于高光谱图像分类。

背景技术

随着遥感技术的快速发展，更高分辨率的高光谱图像的获取变得越来越容易。高光谱图像有上百个光谱并且有着非常高的分辨率，这就使得高光谱图像包含着非常丰富的光谱信息和空间信息，从而能够得到更好的分类效果。因此，高光谱图像在很多领域中都得到了应用，例如地质调查、植被研究、农业生产、大气科学等等。然而，大量的光谱信息使得高光谱图像数据体积很大，而且相邻光谱之间的相关性高，造成数据的冗余，这就导致很难直接的从高光谱图像中得到感兴趣的信息。为了得到有效信息，需要对高光谱图像进行降维。

特征提取是一种有效的对高光谱图像进行降维的方法，特征提取能够将高光谱图像映射到一个相对较低的空间同时能够在后续的分类中得到相似的甚至是更好的结果，这样能在一定程度上避免高光谱数据体积大和信息冗余的现象。特征提取一般分为有监督特征提取和无监督特征提取。在有监督特征提取中，标签发挥着重要作用，标签能够指导特征提取的过程使得从具有相同标签的数据中提取的特征非常接近，而从具有不同类别标签的数据中提取的特征之间的差异很大；无监督特征提取和有监督特征提取最大的区别就是在特征提取的过程中没有使用标签信息，无监督特征提取通过学习不同类别之间的模式来提取特征。对于高光谱图像来说，它的数据是像素级的，也就是说每一个像素都有一个标签，但是获取这样的标签信息非常困难，而且费时费力。

主成分分析是常用的无监督特征提取方法，主成分分析通过线性映射从高维的输入空间中提取出潜在的特征，从而达到降低维度的效果。但是高光谱数据是非线性的，所以主成分分析不能很好的提取高光谱的特征，局部线性嵌入是另外一种无监督降维的方法，而且是通过非线性的映射来降维的，但是当数据体积变大，数据数量变多时，局部线性嵌入就不适用了。

近年来，深度特征提取备受关注，深层的网络能够提取抽象的、高级的特征，相对于现有的特征提取方法，深层网络提取的特征在后续的研究中能够取得更好的效果。YushiChen在2014年提出了一种基于堆栈自编码器的深度学习框架，参见Chen,Y.；Lin,Zh.；Zhao,X.；Wang,G.；Gu,Y.,2014.Deep Learning-based Classification ofHyperspectral Data.IEEE J.Sel.Topics Appl.Earth Observ.Remote Sens.,vol.7,pp.2094-2107。通过使用自编码器来对网络的每一层进行预训练，然后通过微调来得到最终的模型。这个网络模型能够很好的提取深度特征，但是在网络训练过程中用到了大量的标签信息。

综上，高光谱图像存在数据体积大，信息冗余的现象，而且高光谱图像的标签难以获得，所以无监督的特征提取方法非常重要，而现有的无监督特征提取方法往往只考虑了光谱的信息，而没有考虑到空间信息，并且提取出来的特征是低级的、具体的特征。

在高光谱图像处理技术领域，研究一种能够无监督的提取空间和光谱信息的高级且抽象的特征的方法是客观急需的。

发明内容

本发明的目的在于：针对现有的特征提取方法效果不佳，而且在特征提取过程中需要用到大量的标签信息，提出一种完全无监督，图像分类效果更好的基于生成对抗网络的高光谱图像无监督特征提取方法。

本发明是一种基于生成对抗网络的高光谱图像无监督特征提取方法，其特征在于，包括如下步骤：

(1)数据预处理：对无类标的数据进行预处理，将数据进行归一化，并且以每个数据点为中心制作邻域大小为m×m的数据作为真实数据X；

(2)生成对抗网络的参数设置：根据要处理的高光谱图像数据规模，设定生成对抗网络的生成器网络G和评论家网络C的网络结构、梯度惩罚系数λ、评论家网络C在每次迭代中权值和偏置的更新次数n、以及最大迭代次数m，并对生成对抗网络的权值和偏置进行初始化；

(3)计算生成对抗网络中生成器网络G的输出：生成随机噪声向量Z，将Z作为生成器网络G的输入，将随机噪声向量Z和当前生成器网络G中的权值和偏置进行多层反卷积计算，得到生成器网络的输出G(z)，该生成器网络的输出G(z)是一个和真实数据X有相同的大小的假数据；

(4)构建生成对抗网络的目标函数：将生成器网络G生成的数据G(z)和真实数据X输入评论家网络C，将评论家网络C的输入与当前评论家网络C中的权值和偏置进行多层卷积计算，得到生成对抗网络的目标函数；

(5)通过迭代完成生成对抗网络的训练：根据得到的目标函数，通过反向传播算法对生成对抗网络的权值和偏置进行更新，一次更新包括，对生成器网络G中的权值和偏置更新一次，然后对评论家网络C中的权值和偏置更新n次；判断是否达到迭代次数k，如果迭代次数小于k，转到步骤(3)，反复执行步骤(3)至步骤(5)，进行生成对抗网络的训练，直至达到迭代次数；如果迭代次数达到k，生成对抗网络训练完成，转到步骤(6)；

(6)生成对抗网络的无监督特征提取：将真实数据X输入到训练完成后的评论家网络C中，然后提取真实数据X对应的训练完成后的评论家网络C中的倒数第二层和倒数第三层的输出，并对提取到的输出进行池化和组合操作，最终得到高光谱图像真实数据X的无监督特征。

本发明能够同时提取高光谱图像的空间和光谱特征，而且提取出的特征是抽象的深度特征，更有利于后续的图像分类等研究。

本发明与现有技术相比具有以下优点：

1、本发明与其他的无监督特征提取方法相比，由于使用生成对抗网络，通过网络之间不断的对抗学习，最后使用评论家网络提取出的特征用于高光谱图像分类得到的精确度更高，实验数据和仿真也验证了本发明的有效性；

2、本发明在进行网络特征提取的时候使用了网络的多层特征，和其他特征提取方法只提取网络的一层特征相比，本发明通过提取网络的多层特征，然后对这些提取到的特征进行池化和组合操作，本发明提取到的特征包含的信息更多，因此，有效的提高了高光谱图像的分类精度；

3、本发明在训练过程中和特征提取过程中都没有使用任何标签，是一种完全无监督的特征提取方法；

4、本发明由于采用的是卷积神经网络，在计算卷积计算的时候，不仅所有的频谱信息，空间信息也被用来进行卷积计算，因此能够同时提取光谱信息和空间信息，与现有的只能提取光谱信息的特征提取方法相比，本发明提取出的特征能够更好的表达原数据。

附图说明

图1是本发明实现步骤的流程框图；

图2(a)是Indian Pines数据集伪彩色图像，图2(b)是Indian Pines数据集的分类参考图；

图3(a)是Pavia University scene数据集伪彩色图像，图3(b)是PaviaUniversity scene数据集的分类参考图。

具体实施方式

下面结合附图和实施例对本发明详细说明

实施例1

现有的无监督特征提取方法往往只考虑了光谱的信息，而没有考虑到空间信息，并且提取出来的特征是低级的、具体的特征。因此，研究一种能够无监督的提取空间和光谱信息的高级且抽象的特征的方法是至关重要的，本发明正是在该领域进行的探索。

本发明是一种基于生成对抗网络的高光谱图像无监督特征提取方法，参照图1，本发明的具体实现步骤如下：

(1)数据预处理：对无类标的数据进行预处理，将数据进行归一化，并且以每个数据点为中心制作邻域大小为m×m的数据作为真实数据X。

(2)生成对抗网络的参数设置：根据要处理的高光谱图像数据规模，设定生成对抗网络的生成器网络G和评论家网络C的网络结构、梯度惩罚系数λ、以及评论家网络C在每次迭代中权值和偏置的更新次数n，设置最大迭代次数k，并对生成对抗网络的权值和偏置进行初始化。最终构建成一个完整的生成对抗网络，也可以理解为该网络中含有生成器子网络G和评论家子网络C。

(3)计算生成对抗网络中生成器网络G的输出：生成随机噪声向量Z，然后将Z 作为生成器网络G的输入，将随机噪声向量输入和当前生成器网络G中的权值和偏置进行多层反卷积计算，得到生成器网络的输出G(z)，该生成器网络的输出G(z)是一个和真实数据X有相同的大小的假数据。其中多层反卷积取决于网络的规模，网络规模较大，则反卷积层层数随之增加。

(4)构建生成对抗网络的目标函数：将生成器网络G生成的数据G(z)和真实数据X输入评论家网络C，将评论家网络C的输入与当前生成器网络C中的权值和偏置进行多层卷积计算，得到生成对抗网络的目标函数，其中多层卷积取决于网络的规模，网络规模较大，则卷积层层数随之增加，评论家网络C的输入为生成器网络G 生成的数据G(z)和真实数据X。

(5)通过迭代完成生成对抗网络的训练：

(5a)通过对生成对抗网络的权值和偏置进行迭代更新实现对生成对抗网络的训练；根据得到的目标函数，通过反向传播算法对生成对抗网络的权值和偏置进行更新，一次更新包括，对生成器网络G中的权值和偏置更新一次，然后对评论家网络C中的权值和偏置更新n次；

(5b)判断时候达到迭代次数；判断是否达到迭代次数k，如果迭代次数小于k，转到步骤(3)，计算更新后的生成对抗网络中生成器网络G的输出，反复执行步骤(3) 至步骤(5)，进行生成对抗网络的训练，直至达到迭代次数.

(5c)完成生成对抗网络的训练；当更新达到迭代次数k的时候，就已经完成了生成对抗网络的训练，也就是完成了评论家网络C和生成器网络G的训练；如果迭代次数达到k，生成对抗网络训练完成，转到步骤(6)。

本发明的技术方案是基于两个相互对抗的网络，分别是评论家网络和生成器网络，参见Gulrajani I,Ahmed F,Arjovsky M,et al.Improved training of Wassersteingans[J].arXiv preprint arXiv:1704.00028,2017。生成器网络的作用是通过不断学习生成假的图像，而评论家网络的作用是给出真实数据分布和生成器网络生成数据分布之间的近似距离。两个网络通过不断的学习和对抗，最终生成器网络能够生成以假乱真的图像，使评论家网络给出的近似距离接近于0，这样评论家网络输入的两类图像就具有了相似的统计特性，于是就可以从评论家网络中提取特征。

实施例2

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1，

其中步骤(3)所述的计算生成对抗网络中生成器网络G的输出，包括如下步骤：

(3a)首先生成服从均匀分布的随机噪声向量Z，然后将随机噪声向量Z输入到生成器网络G中。随机噪声的大小和生成器网络G的输出G(z)有关，G(z)的大小越大，随机噪声的大小越大。

(3b)随机噪声向量Z经过与全连接层中的权值和偏置进行计算后得到一个一维的输出数据，然后把它变形得到一个三维数据，这个三维数据是生成器网络G的中间结果。全连接层计算后的输出数据大小以及变形后的数据大小和生成器网络G 的输出G(z)有关，G(z)的大小越大，全连接层计算后的输出数据大小以及变形后的数据越大。

(3c)在步骤(3b)中得到的数据经过与多层反卷积层中的权值和偏置进行反卷积计算后，得到一个和真实数据X有相同的大小的假数据G(z)，生成器网络G的输出 G(z)越大，反卷积层数越多。

其中，网络的中间层使用ReLu函数作为激活函数：

其中，x₁是生成器网络G中间层的输出矩阵。

网络最后一层则使用tanh函数作为激活函数：

其中，x₂是生成器网络G最后一层的输出。

实施例3

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1-2，步骤(4)所述的构建生成对抗网络的目标函数，包括如下步骤：

(4a)将生成器网络G生成的数据G(z)和真实数据X均输入到评论家网络C 中，其中生成器网络G生成的数据G(z)和真实数据X大小相同。

(4b)多层卷积计算：输入数据经过与多层卷积层中的权值和偏置进行卷积计算后得到多层卷积层的数据，在进行卷积计算的时候，空间信息和频谱信息都同时被使用，所以最终提取到的特征能够同时包含空间信息和频谱信息，卷积层的数量和输入数据的大小有关，输入数据越大，卷积层数越多。

(4c)将步骤(4b)得到三维数据展开成一维的数据并作为全连接层的输入，最终得到评论家网络C的输出。步骤(4b)得到的数据大小以及变形后的数据大小和评论家网络C的输入大小有关，评论家网络C的输入大小越大，步骤(4b)得到的数据大小以及变形后的数据大小越大。

其中，网络的最后一层不使用激活函数，网络的中间层使用LReLu函数作为激活函数：

其中，y是评论家网络C中间层的输出矩阵。

(4d)计算评论家网络C的目标函数L_C：根据评论家网络C的输出计算评论家网络C的目标函数，即：

其中，P_g是生成器网络生成数据的分布，P_r是真实数据的分布，P_χ是介于P_g和P_r之间的分布，λ是梯度惩罚系数，y是评论家网络C中间层的输出矩阵。

(4e)计算生成器网络G的目标函数L_G：根据评论家网络C的输出计算生成器网络G的目标函数，即：

其中，x₂是生成器网络G最后一层的输出。

(4f)得到生成对抗网络的目标函数：生成对抗网络的目标函数由评论家网络C 的目标函数和生成器网络G的目标函数相关，当更新评论家网络C的权值和偏置时，生成对抗网络的目标函数就是评论家网络C的目标函数，当更新生成器网络G 的权值和偏置时，生成对抗网络的目标函数就是生成器网络G目标函数的相反数。

本发明与其他的无监督特征提取方法相比，使用了生成对抗网络，这是第一次将生成对抗网络用于高光谱图像的无监督特征提取，由于生成对抗网络的生成器网络能够生成和真实数据非常相似的图像，因此评论家网络就能够学习到更加精细的特征，而且通过网络之间不断的对抗学习，使得评论家网络提取出的特征用于高光谱图像分类得到的精确度更高。整个生成对抗网络的训练过程没有使用到任何类标信息，是一个完全无监督的训练过程。

实施例4

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1-3，步骤(6)中所述的生成对抗网络的无监督特征提取，包括有如下步骤：

(6a)将高光谱图像真实数据X输入到训练完成后的评论家网络C中。

(6b)经过真实数据X和训练完成后的评论家网络C中的权值和偏置进行多层卷积计算之后，提取评论家网络C的倒数第三层输出，这个输出数据是一个矩阵数据，用该输出参与池化操作。

(6c)对步骤(6b)得到的输出数据即第三层的矩阵数据进行池化操作，经过池化操作后，得到一个多维向量。根据评论家网络C的输入大小调整池化操作策略，使得最终得到一个优化后的多维向量，该优化后的多维向量和倒数第三层输出数据经过池化操作后的多维向量大小相同。经过池化操作后得到的多维向量大小和评论家网络C的权值数目有关，评论家网络C的权值数目越多，多维向量大小越大。

(6d)经过真实数据X和训练完成后的评论家网络C中的权值和偏置进行多层卷积计算之后，得到评论家网络C的倒数第二层输出，这个输出数据是一个矩阵数据。

(6e)对步骤(6d)得到的输出数据即第二层的矩阵数据进行池化操作，即将评论家网络C的倒数第二层输出数据经过池化操作后，得到一个多维向量。根据评论家网络C的输入大小调整池化操作策略，使得最终得到一个优化后的多维向量，该优化后的多维向量和倒数第二层输出数据经过池化操作后的多维向量大小相同。经过池化操作后得到的多维向量大小和评论家网络C的权值数目有关。

(6f)将步骤(6c)和步骤(6e)中分别得到的池化后的两个多维向量进行前后连接，对真实数据X提取出一个多维的特征，最终得到高光谱图像真实数据X的无监督特征，每个真实数据X都提取出一个多维的特征大小和评论家网络C的权值数目有关，评论家网络C的权值数目越多，提取出的这个多维向量大小越大。

本发明在进行网络特征提取的时候使用了网络的多层特征，和其他只提取网络的一层特征的特征提取方法相比，本发明通过提取网络的多层特征，然后对这些提取到的特征进行池化和组合操作，本发明提取到的特征包含的信息更多，而且实验证明，多层的特征有效的提高了高光谱图像的分类精度。在整个特征提取的过程中没有利用到任何的类标信息，是一个完全无监督的特征提取过程。

实施例5

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1-4，

该生成对抗网络的参数说明如下：

真实数据X邻域大小设置为m，m的大小决定真实数据X的大小，m越大，真实数据X的大小越大，可根据不同的实际需求来设定m的大小。

生成对抗网络的生成器网络G和评论家网络C的网络层数根据m的大小进行改变，m的大小越大，生成对抗网络的生成器网络G和评论家网络C的网络层数越多。

评论家网络C每次迭代的训练次数设定为n，当n太大时，评论家网络训练得太好，生成器网络就得不到很好的训练，当n太小时，评论家网络就不能够得到更好的训练。

梯度惩罚系数是λ，λ的作用是调节梯度惩罚在评论家网络C的目标函数中的力度。

生成对抗网络的最大迭代次数设为k，根据真实数据X改变最大迭代次数k的数值，真实数据X越大，生成对抗网络的最大迭代次数设为k的数值越大。

本例中设m＝11，即使用空间大小为11×11的滑动窗口对真实数据X进行采样，最常用的还有是设m＝7，即使用空间大小为7×7的滑动窗口对真实数据X进行采样。当m＝11时，本例中的生成对抗网络的生成器网络G和评论家网络C的网络层数设为6，而当m＝7时，设生成对抗网络的生成器网络G和评论家网络C的网络层数为4。本例中的评论家网络C每次迭代的训练次数设定为5，也可设定为1。本例中的梯度惩罚系数设置为8，也可设置为12。本例中生成对抗网络的最大迭代次数k 设为40000，也可设置为60000。

下面给出一个更加完整具体的例子，对本发明进一步说明

实施例6

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1-5，参照图1，本发明的具体实现步骤如下：

步骤1、数据预处理：对无类标的高光谱图像数据进行预处理，将数据进行归一化，并且以每个数据点为中心制作邻域大小为m×m的数据作为真实数据X。

1a)将输入数据按照如下公式归一化到-1和1之间：

其中，

表示在位置(i,j,k)上的数据归一化后的值，X_ijk表示在位置(i,j,k)上的数据归一化前的值，X_mean表示整个数据的均值，X_max表示整个数据的最大值，X_min表示整个数据的最小值。

1b)设定邻域大小m为9，即使用空间大小为9×9的滑动窗口对真实数据X进行采样，总样本数为M，M的大小取决于高光谱图像数据集的规模，也就是高光谱图像数据集像素点的数目。

步骤2、生成对抗网络的参数设置：根据要处理的高光谱图像数据规模，设定生成对抗网络的生成器网络G和评论家网络C的网络结构、梯度惩罚系数λ、以及评论家网络C在每次迭代中权值和偏置的更新次数n，设置最大迭代次数k，并对生成对抗网络的权值和偏置进行初始化。

生成对抗网络的运行参数包括：生成器网络G的网络结构、评论家网络C的网络结构、评论家网络C每次迭代的训练次数n、梯度惩罚系数λ、评论家网络C在每次迭代中权值和偏置的更新次数n、以及最大迭代次数k，其中：

本例中设置最大迭代次数k为50000，迭代次数太少会导致生成对抗网络训练不足，影响特征提取的效果，网络训练次数太多则会导致耗费过多的时间。

生成器网络G的作用就是生成和真实数据X尺寸相同的数据，本例中该网络一共有5层，是由全连接层和反卷积层组合而成的，其中第一层为输入层，输入数据为一个长度为100的随机噪声向量，第二层是全连接层，第三、四、五层是反卷积层。第一层和第二层的节点个数分别为100、4608，第三、四、五层的卷积核大小为3×3，卷积核的个数分别为256、128、200。生成器网络G所有层的结构为100×1、 3×3×512、5×5×256、7×7×128、9×9×200。

本发明中评论家网络C的作用是给出真实数据分布和生成器网络生成数据分布之间的近似距离，本例中该网络一共有5层，但是网络结构和生成器网络结构相反，第一层是输入层，输入数据为有着相同大小的生成器网络生成的数据G(z)和真实数据X，第二、三、四是卷积层，卷积核大小为3×3，卷积核的个数分别为128、256、 512，第五层是全连接层且该层节点个数为1。评论家网络C所有层的结构为 9×9×200、7×7×128、5×5×256、3×3×512、1×1。

梯度惩罚系数λ的作用是调节梯度惩罚在评论家网络C的目标函数中的力度，将λ的数值设值为10对本发明的所有试验都是适用的。

n代表评论家网络C每次迭代的训练次数，这能够让评论家网络的训练达到最佳，从而给生成器网络提供更好的损失。当n太大时，评论家网络训练得太好，生成器网络不能够很好的学习，当n太小时，评论家网络就不能够得到更好的损失，所以将n的数值设置为3。

步骤3、将随机噪声向量Z输入生成器网络G，得到生成器网络的输出G(z)。

3a)首先将服从均匀分布且大小为100×1的随机噪声向量Z输入到生成器网络 G中。

3b)生成器网络G的输入经过与全连接层中的权值和偏置计算后得到的数据是一个一维数据，该一维数据大小为4608×1，将它变形为一个三维数据，该三维数据的大小是3×3×512。

3c)通过将步骤(3b)中得到的三维数据进行三层的反卷积层计算后，生成大小为9×9×200的输出数据G(z)。其中，网络的第二、三、四层的激活函数使用ReLu函数，即用公式(1)计算得到的中间层的激活函数，网络的第五层的激活函数则使用tanh 函数，即用公式(2)求得到的最后一层的激活函数。

步骤4、将生成器网络生成的数据G(z)和真实数据X输入到评论家网络C中，得到评论家网络C的目标函数。

4a)将生成器网络生成的数据G(z)和真实数据X输入到评论家网络C中，输入数据的大小为9×9×200。

4b)通过将步骤(4a)中得到的输入数据进行三层的卷积层计算后，数据大小变为3×3×512，在进行计算卷积的时候，不仅高光谱图像所有的频谱信息，空间信息也都参与了卷积计算，因此本发明的技术方案中本质上能够同时利用光谱信息和空间信息。

4c)将步骤(4b)中的输出变形成大小为4608×1的数据并作为全连接层的输入，并与全连接层中的权值和偏置进行计算，得到评论家网络C的输出。其中，网络的第二、三、四层的激活函数使用LReLu函数，即用公式(3)计算得到的中间层的激活函数，网络的第五层不使用激活函数。

4d)按照公式(4)计算评论家网络C的目标函数。

4e)按照公式(5)计算生成器网络G的目标函数。

步骤5、生成对抗网络训练：判断是否达到迭代次数50000，如果迭代次数小于50000，根据得到的目标函数，将Adam优化算法作为反向传播算法，通过Adam 优化算法对权值和偏置进行更新，一次更新包括，对生成器网络G中的权值和偏置更新一次，接着对评论家网络C中的权值和偏置更新n次，然后转到步骤3，计算更新后的生成对抗网络中生成器网络G的输出，反复执行步骤3至步骤5，进行生成对抗网络的训练，直至达到迭代次数；如果迭代次数达到50000，生成对抗网络训练完成，转到步骤6。

步骤6、将真实数据X输入到评论家网络C，提取每个数据第三层和第四层的特征，并将这些特征进行池化和组合，最终得到每个输入数据X的特征。

6a)将真实数据X输入到评论家网络C中。

6b)将网络的第三层，也就是倒数第三层提取出来，得到一个大小为的 5×5×256特征。

6c)接下来对这个特征进行池化操作，使用的是大小为5×5且步长为1的最大池化操作，经过池化操作后的第三层特征大小为1×1×256。

6d)把大小为3×3×512的第四层，也就是倒数第二层特征提取出来进行池化操作，经过大小为3×3且步长为1的池化后，特征大小变为1×1×512。

6e)将池化后的这两组特征，也就是步骤(6c)和步骤(6d)中得到的两组特征进行前后连接，最终对每个数据都提取出了一个大小为768维的特征。

本发明在进行网络特征提取的时候使用了网络的多层特征，和其他特征提取方法只提取网络的一层特征相比，本发明通过提取网络的多层特征，然后对这些提取到的特征进行池化和组合操作，本发明提取到的特征包含高光谱图像的信息更多，有效的提高了高光谱图像的分类精度。

本发明的效果可通过以下仿真进一步说明：

实施例7

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1-6，

仿真条件及仿真内容：

本实例在Intel(R)Xeon(R)CPU E5-2620 v3@2.40GHz Linux系统下，python2.7运行平台上，完成本发明以及基于堆栈自编码器(Stacked Autoencoders with LogisticRegression，SAE-LR)，主成分分析(Principal Component Analysis，PCA)和局部线性嵌入(Locally linear embedding，LLE)的特征提取仿真实验。

仿真参数

为了验证本发明进行特征提取的有效性，需要将特征送入到分类器中进行分类，然后对分类结果进行定量的分析，主要的评价指标有：

①总体精度(Overall Accuracy，OA)：所有样本中被正确分类的样本个数所占的比例。

②平均精度(Average Accuracy，AA)：所有类别的分类精度的平均。

③Kappa系数：Kappa系数主要应用于比较分析两幅地图或图像的差异性是“偶然”因素还是“必然”因素所引起的，是能够计算整体一致性和分类一致性的指数： Kappa＝(p₀-p_c)/(1-p_c)，其中

是观测精确性或一致性单元的比例，

是偶然性一致或期望的偶然一致的单元的比例，x_ii为沿着对角线上的类型组合的数量；x_i+为行的总的观测数；x_+i为列的总的观测数量；N为单元格的总数量。

仿真实验内容

A.本发明基于生成对抗网络的特征提取的仿真

将本发明应用在Indian Pines数据集上，Indian Pines数据集的假彩色合成图像如图2(a)所示，该数据集由145×145像素和224个光谱波段组成，通过去除覆盖取水区域的波段将波段数量减少到200个。图2(b)为该数据集的地物参考标准图，该数据集一共有16种地物，分别使用不同的颜色显示在图中，表1给出了Indian Pines 数据集中各个类别的训练样本数和测试样本数。

表1 Indian Pines数据集中各个类别的训练样本数和测试样本数

B.现有的PCA算法和LLE算法以及SAE-LR算法特征提取的仿真

将PCA算法和LLE算法以及SAE-LR算法应用在Indian Pines数据集上，IndianPines数据集的假彩色合成图像如图2(a)所示，该数据集由145×145像素和224个光谱波段组成，通过去除覆盖取水区域的波段将波段数量减少到200个。图2(b)为该数据集的地物参考标准图，该数据集一共有16种地物，分别使用不同的颜色显示在图中，表1给出了IndianPines数据集中各个类别的训练样本数和测试样本数。

仿真实验结果

表2给出了在Indian Pines数据集上进行特征提取和未进行特征提取的分类结果，从表2中可以看到，对于Indian Pines数据集，在不进行特征提取的情况下的进行分类得到的各项指标都很低，而使用本发明进行特征提取以后再进行分类时，OA、 AA、Kappa都有了很大程度上的提升，其中使用KNN算法进行分类时，本发明的 OA、AA、Kappa达到了91.48％、89.17％、90.29％，分别提高了16.98％、14.98％、 19.4％，使用LR算法进行分类时，本发明的OA、AA、Kappa达到了91.69％、93.03％、 90.55％，分别提高了16.76％、20.5％、19.44％，使用SVM算法进行分类时，本发明的OA、AA、Kappa达到了93.97％、94.77％、93.12％，分别提高了13.17％、20.11％、 15.07％，这些数据验证了使用本发明进行特征提取的有效性。

表2 Indian Pines数据集进行特征提取和未进行特征提取的分类结果

表3给出了在Indian Pines数据集上包括本发明在内的各算法特征提取后的分类结果，从表3中可以看出，使用本发明提取到的特征进行分类与使用PCA算法以及 LLE算法提取到的特征进行分类相比，本发明提取到的特征用来分类的效果是最好的，当使用KNN算法进行分类时，LLE算法比PCA算法特征提取的效果好1.5％左右，而本发明在各项指标上都要比这两个算法高出20％左右，当使用LR算法进行分类时，LLE算法比PCA算法特征提取的效果好5％左右，而本发明在各项指标上都要比这两个算法同样高出20％左右，当使用SVM算法进行分类时，在OA和 Kappa这两个指标上，LLE算法特征提取的效果要比PCA算法的效果差，而本发明在各项指标上都相对于两个算法都有很大程度上的提升，因此可以的出结论：本发明与PCA算法和LLE算法相比，无论是使用KNN算法还是LR算法或者是SVM 算法，本发明所提取的特征用来分类的效果是最好的。相对于SAE-LR算法，当同样使用LR算法和KNN算法进行分类时，本发明在OA和Kappa上相差不大，但是使用LR算法时，在AA上本发明要高出1.75％，而使用KNN算法时，在AA上本发明要比SAE-LR算法低2.11％，另外使用SVM算法进行分类时，本发明在OA、 AA、Kappa上都要比SAE-LR好，最重要的是本发明是无监督的特征提取，而 SAE-LR是有监督的特征提取。

表3 Indian Pines数据集各算法特征提取后的分类结果

实施例8

基于生成对抗网络的高光谱图像无监督特征提取方法同实施例1-6，仿真的条件内容同实施例7

仿真实验内容

A.本发明基于生成对抗网络的特征提取的仿真

将本发明应用在Pavia University scene(PaviaU)数据集上，PaviaU数据集的假彩色合成图像如图3(a)所示，该数据集由610×340像素和103个光谱波段组成。图 3(b)为该数据集的地物参考标准图，该数据集一共有9种地物，分别使用不同的颜色显示在图中，表4给出了PaviaU数据集中各个类别的训练样本数和测试样本数。

B.现有的PCA算法和LLE算法以及SAE-LR算法特征提取的仿真

将PCA算法和LLE算法以及SAE-LR算法应用在PaviaU数据集上，其假彩色合成图像如图3(a)所示，该数据集由610×340像素和103个光谱波段组成。图3(b) 为该数据集的地物参考标准图，该数据集一共有9种地物，分别使用不同的颜色显示在图中，表4给出了PaviaU数据集中各个类别的训练样本数和测试样本数。

仿真实验结果

表5给出了在PaviaU数据集上进行特征提取和未进行特征提取的分类结果，从表5中可以得出结论，对于PaviaU数据集，使用本发明进行特征提取比不使用特征提取进行分类的效果差别很大，在使用KNN算法和LR算法进行分类时，使用本发明提取特征要比不提取特征的各项指标高出10％左右，而在使用SVM算法分类时则高出4％左右，这验证了使用本发明进行特征提取的有效性。

表4 PaviaU数据集中各个类别的训练样本数和测试样本数

表5 PaviaU数据集进行特征提取和未进行特征提取的分类结果

表6给出了在PaviaU数据集上各算法特征提取后的分类结果，从表6中可以看出，在使用KNN算法和LR算法进行分类时，LLE算法特征提取的效果要比PCA 算法好，但是在使用SVM进行分类时，LLE算法的效果是不如PCA算法的，而本发明相对于这两个算法来说，无论是KNN算法还是LR算法或者是SVM算法，特征提取的效果都有了非常大的提升。相对于进行有监督特征提取的SAE-LR算法，本发明和SAE-LR的效果差距并不大，但是本发明是无监督的特征提取方法，在特征提取的整个过程中都不需要标签的参与，由于高光谱图像获取比较简单，但是高光谱图像类标的获取是费时费力的，在实际应用中，由于本发明是无监督的特征提取方法，不需要进行图像标注，因此能够得到更加广泛的应用。而且本发明使用的训练数据要比SAE-LR所使用的训练数据要少很多，所以在进行特征提取的过程中，本发明所需要的资源更少，在实际应用中更加方便。

表6 PaviaU数据集各算法特征提取后的分类结果

通过以上的仿真实验可以得出结论，针对高光谱图像的特征提取，本发明能够克服现有PCA算法和LLE算法的不足，提取出的特征能很好的表达输入数据，得到更高的分类精度，而且也克服了SAE-LR算法需要大量标签信息的缺点。

本发明在高光谱图像的特征提取方面明显比PCA算法和LLE算法以及SAE-LR 算法更加适用。

综上所述，本发明公开一种基于生成对抗网络的高光谱图像无监督特征提取方法，主要解决现有特征提取方法效果不佳，并且需要大量的标签信息的问题。其实现步骤为：(1)数据预处理；(2)设定网络结构，生成对抗网络的参数设置即给出运行参数；(3)计算生成对抗网络中生成器网络G的输出；(4)训练评论家网络构建生成对抗网络的目标函数；(5)生成对抗网络训练，直到评论家网络的目标函数值稳定；(6)将真实数据输入评论家网络，提取网络中的特征并将这些特征进行池化和连接组合，最后得到输入数据的特征。本发明同时提取了高光谱图像的空间信息和光谱信息，提取到深度、抽象的特征，这些特征有效的提高了高光谱图像的分类精度，而且本发明在整个特征提取过程中没有使用任何标签信息，是完全的无监督特征提取方法。本发明适用于各类高光谱图像的无监督特征提取。

Claims

1.一种基于生成对抗网络的高光谱图像无监督特征提取方法，其特征在于，包括如下步骤：

(2)生成对抗网络的参数设置：根据要处理的高光谱图像数据规模，设定生成对抗网络的生成器网络G和评论家网络C的网络结构、梯度惩罚系数λ、评论家网络C在每次迭代中权值和偏置的更新次数n、以及最大迭代次数k，并对生成对抗网络的权值和偏置进行初始化；

(3)计算生成对抗网络中生成器网络G的输出：生成随机噪声向量Z，将Z作为生成器网络G的输入，将随机噪声向量Z和当前生成器网络G中的权值和偏置进行多层反卷积计算，得到生成器网络的输出G(z)，该生成器网络的输出G(z)是一个和真实数据X有相同大小的假数据；

(4)构建生成对抗网络的目标函数：将生成器网络G生成的数据G(z)和真实数据X输入评论家网络C，将评论家网络C的输入与当前评论家网络C中的权值和偏置进行多层卷积计算，得到生成对抗网络的目标函数；构建生成对抗网络的目标函数，包括如下步骤：

(4a)将生成器网络G生成的数据G(z)和真实数据X输入评论家网络C，其中生成器网络G生成的数据G(z)和真实数据X相同的大小；

(4b)输入数据经过多层卷积计算后得到多层卷积层的输出数据；

(4c)将步骤(4b)得到的一个三维数据展开成一个一维数据并作为全连接层的输入，最终得到评论家网络C的输出；

其中，y是评论家网络C中间层的输出矩阵；

(4d)根据评论家网络C的输出计算评论家网络C的目标函数，即：

其中，P_g是生成器网络生成数据的分布，P_r是真实数据的分布，P_χ是介于P_g和P_r之间的分布，y是评论家网络C中间层的输出；

(4e)根据评论家网络C的输出计算生成器网络G的目标函数，即：

其中，x₂是生成器网络G最后一层的输出；

(4f)生成对抗网络的目标函数由评论家网络C的目标函数和生成器网络G的目标函数组成；

2.根据权利要求1所述的基于生成对抗网络的高光谱图像无监督特征提取方法，其特征在于，步骤(6)中所述的生成对抗网络的无监督特征提取，包括有如下步骤：

(6a)将真实数据X输入到训练完成后的评论家网络C中；

(6b)将训练完成后的评论家网络C的倒数第三层的输出矩阵提取出来；

(6c)对步骤(6b)得到的数据进行池化操作，经过池化操作后，得到一个多维向量；

(6d)将训练完成后的评论家网络C的倒数第二层的输出矩阵提取出来；

(6e)对步骤(6d)得到的数据进行池化操作，经过池化操作后，得到一个多维向量；

(6f)将步骤(6c)和步骤(6e)中分别得到的两个一维向量进行前后连接，对真实数据X提取出一个多维的特征，最终得到高光谱图像真实数据X的无监督特征。