CN108764005A - 一种高光谱遥感图像地物空间波谱特征提取方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种高光谱遥感图像地物空间波谱特征提取方法及系统，通过辅助分类器生成式对抗网络训练提取波谱特征；通过波段选择并从被选波段提取具有旋转不变的空间纹理特征；通过波谱特征和空间纹理特征的拼接形成地物空间波谱特征。同时公开一种采用上述地物空间波谱特征的、基于卷积神经网络的高光谱遥感图像分类系统。本发明验证了本发明公开的地物空间波谱特征提取技术不仅能更好的表征地物信息，还能以较少的标记数据集获得较高的分类准确率。

Description

一种高光谱遥感图像地物空间波谱特征提取方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种高光谱遥感图像地物空间波谱特征提取方法及系统。具体涉及一种基于ACGAN的高光谱遥感图像地物空间波谱特征提取方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

高光谱遥感图像地物分类的理论基础是不同地物对不同波段的光谱信号的吸收和反射率不同、具有不同的地物波谱特征曲线。根据已知的典型地物波谱曲线，可以将高光谱遥感图像中的像素划分到某个地物类别中去。高光谱遥感图像分类的应用领域主要包括：医学、农学、军事侦察、城市规划管理、环境与灾害监测、测绘及考古等。与多光谱遥感影像相比，高光谱影像在光谱信息精细程度上有了极大提高，应用领域也越来越广泛，但由于高光谱遥感图像的数据量大，数据维数高，且不同地物的波谱特征和空间分布特征千差万别，又存在“异物同谱”和“同物异谱”的现象，通常单纯依靠已知或传统统计学习的地物波谱曲线的分类精度达不到实际应用要求，常见的分类改进技术是结合图像的空间相关信息做预处理或后处理，但处理环节繁琐，分类效果的提高比较有限。因此，研究高光谱遥感图像中感兴趣地物的本质波谱特征提取技术，是提升高光谱遥感图像地物分类方法的应用基础研究，并具有的重要的实用价值。

一般来说，高光谱图像分类的流程包括：图像预处理；类别确定并标记训练样本；特征提取，包括光谱特征、纹理特征、形态特征、光照特征等；特征选择，包括基于信息量的波段选择，基于类间可分性的波段选择，基于聚类的波段选择等；分类，包括有监督和无监督两种分类方式；最后进行精度分析。

综上所述，现有技术存在的问题是：

(1)20世纪九十年代末，神经网络和支持向量机的思想开始应用在遥感图像分类中，精度和速度有了较大的提升。

高光谱图像维数高，采用有监督分类通常需要大量标记样本，样本不足导致分类精度受限的问题很常见。

针对样本不足，可以采用主动学习和手动标记。但是手动标记成本高，难度大，一般采用主动学习的方法。高光谱遥感图像的另一个特点是图像质量受环境影响大，波段间冗余大，特征包含更多不确定性。

针对此类问题，多数算法采用对数据进行预处理或波段选择的方式提升分类精度。近年来多特征融合的分类方式受到研究人员的青睐。提出了许多基于光谱特征、纹理特征、光照特征、形态特征等的特征融合算法。这些方法通常需要较多的标记样本，不适用于多类别、小样本的情况，应用性较差。Christian Szegedy等人研究发现，包括CNN在内的深度学习模型对于对抗样本具有极高的脆弱性，对抗样本成为了训练算法的一个盲点。

(2)高光谱遥感图像的波段是连续的波长被切分成数百个人工划分的、通常是等波长间隔的狭窄波段，而多光谱遥感图像的波段通常是没有全部连续十个上下的人工选择的波段。成像技术的发展趋势是从多光谱向高光谱发展，除了国际上已经推出的大量机载和星载高光谱传感器，我国第一颗高光谱综合观测卫星中国高分5号星载高光谱传感器正在顺利研制中，并计划将在2018年4月从太原发射。高光谱遥感图像的精细光谱蕴藏着许多地物波谱特性，需要采用最新的机器学习方法来挖掘这些地物的理化信息，根据高光谱成像用连续光谱观测连续地表分布的成像特性，构建地物空间波谱信息库是迫在眉睫的前沿基础技术，本发明就是从高光谱遥感基本原理出发研究并发现的有效地物空间波谱提取方法。

(3)高光谱遥感图像庞大的数据立方体不仅考验一个大数据处理系统的信息挖掘能力，也考验我国在该领域能否结合机器学习新技术发展实现突破和赶超。本发明的地物空间波谱提取技术不仅在地质探矿、土地利用和环境监测等民生工程有广阔应用前景，对航空航天军事侦查、敏感目标和设施的探查等方面的应用也有重要启发。

解决上述技术问题的难度和意义：

本发明使用ACGAN(Auxiliary Classifier Gennerative Adversarial Network，辅助分类器生成式对抗网络)模型，提出了一种能更好地体现地物高光谱特性的波谱特征提取技术，并与图像空间纹理特征结合，进一步提高了高光谱遥感图像的分类精度。

本发明将ACGAN模型应用在高光谱遥感图像地物波谱特征提取中，利用该模型良好的特征学习能力降低传统统计方法中训练神经网络对标记样本数的需求，将预训练的ACGAN模型的判别器作为提取光谱特征的工具，并结合图像的空间纹理特征，以较少的训练样本实现较高的分类精度。

发明内容

针对现有技术存在的问题，本发明提供了一种高光谱遥感图像地物空间波谱特征提取方法及系统，本发明结合高光谱遥感图像空间纹理特征和基于辅助分类器生成式对抗网络的地物波谱特征，提取了具有较高可分性的地物空间波谱特征。

本发明是这样实现的，一种高光谱遥感图像地物空间波谱特征提取方法，其特征在于，所述高光谱遥感图像地物空间波谱特征提取方法为：

利用ACGAN模型提取高光谱遥感图像地物波谱特征；用信息熵最高的若干波段计算LBP纹理特征，并融合地物波谱和空间纹理特征，构造了地物空间波谱特征；选用CNN分类器对所提取的空间波谱特征进行高光谱遥感图像地物分类，获得目前同类技术领先的分类精度。

进一步，所述高光谱遥感图像地物空间波谱特征提取方法具体包括：

1)对高光谱数据集进行归一化处理，从高光谱遥感图像数据集中，抽取5％的地物样本作为训练集，将带有地类标签的训练样本送入辅助分类器生成式对抗网络ACGAN，并在ACGAN中训练，让ACGAN网络中的生成器和判别器都学习到训练样本的地物光谱特征；

2)ACGAN网络训练完后将高光谱遥感图像数据集所有样本的光谱信息输入到ACGAN网络的判别器中，提取出光谱信息经判别器计算后第五层的输出数据，维数大小为M，作为样本的波谱特征；

3)在空间维上计算每个波段的所含信息量的大小的信息熵，选取出信息熵最大的N个波段，将数据集进行降维；

4)在选择出的N个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得N个包含纹理信息的LBP特征图，对每个样本均获得大小为N的纹理特征；

5)将得到的M维的光谱特征与N维的纹理特征进行拼接，将获得的(M+N)维的光谱-纹理融合特征向量作为原始样本信息的有效表达，得到高光谱图像的地物空间波谱特征。

6)抽取5％的样本训练集，剩下的95％的样本作为测试集，将训练样本的融合特征向量输入到包含三个卷积层和两个全连接层的CNN(Convolutional Neural Network)中；最后使用softmax分类器进行地物类别预测，对比训练样本的真实类别标签，对所述CNN进行训练；将测试集中的样本输入到训练好的CNN中，得到所述测试集中的样本相应的类别预测，根据真实的类别标签，得到测试集的地物分类准确率。

进一步，所述步骤1)具体包括：

a)、ACGAN模型包含一个生成器和一个判别器，生成器和判别器均为卷积神经网络，生成器接收随机噪声向量和类别标签作为输入，以Indian Pines数据集为例，生成器第一层为全连接层，包含100个单元，输出向量大小变为100，第二层为全连接层，包含1024个单元，输出向量大小变为1024，第三层为全连接层，包含3040个单元，输出向量大小变为3040，将该向量重构为(190*1*16)，第四层为反卷积层，16个卷积核，每个卷积核大小为6*1，输出数据为16*195*1，最后一层为反卷积层，1个卷积核，每个卷积核大小为6*1，输出数据大小为200*1*1，生成器生成了与真实样本光谱相同大小的伪样本光谱；

判别器接收样本光谱数据作为输入，样本大小为200*1*1，判别器第一层为卷积层，32个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1；

第二层为卷积层，64个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1；

第三层为卷积层，128个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1；

第四层为全连接层，包含1024个单元，输出数据大小为1024；

第五层为全连接层，包含128个单元，输出数据大小为128，将第五层的输出分别送入sigmoid分类器和softmax分类器，得到样本的真伪性和预测类别，除第一和最后一层，其他卷积层和全连接层后均添加BatchNormalization层和LeakyReLU层，每个卷积层添加防止过拟合的Dropout层；

生成器和判别器中的反卷积层和卷积层数控制在3层以下，神经网络的层数越少，计算开销和参数也更少，所需的训练集也更小，同时可以防止过拟合；

ACGAN模型的生成器和判别器同时训练，固定一方训练另一方，ACGAN模型采用Adam方法进行梯度更新，生成器的参数更新不是直接来自数据样本，而是来自判别器的反传梯度，即判别器对伪造数据求的梯度，并且是在设定伪造数据的真假标签为1的情况下，保持判别器不变，那么判别器对伪造数据求的梯度就是朝着真实数据变化的方向，且在最大迭代次数内，如果终止条件能满足，则整个训练过程结束；

b)样本光谱特征的提取，将数据集的所有样本的光谱信息送入预训练好的ACGAN模型的判别器中，将判别器中间层的数据作为原始光谱信息的有效表达，提取判别器第五层的输出，将该大小为M的数据作为样本原始光谱信息的有效表达，即波谱特征；

进一步，所述步骤4)具体包括：

空间纹理特征的提取，对数据集包含的所有波段求信息熵，选取出信息熵最大的N个波段，在该N个波段所在图片上运用具有旋转不变的LBP纹理特征提取算子提取图片的纹理信息，即数据集中每个像素点所在的样本获得一个维数大小为N的纹理特征。利用信息熵进行波段选择，在降维过程中不会破坏地物原始空间位置信息，方便对地物空间特征的提取。

进一步，所述步骤5)具体包括：

所述将得到的M维的光谱特征与N维的纹理特征进行拼接，包括：将每个样本获得的维数大小为M的光谱特征和维数大小为N的纹理特征进行拼接，获得维数大小为(M+N)的空间波谱特征。

本发明的另一目的在于提供一种实现所述高光谱遥感图像地物空间波谱特征提取方法的计算机程序。

本发明的另一目的在于提供一种实现所述高光谱遥感图像地物空间波谱特征提取方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的高光谱遥感图像地物空间波谱特征提取方法。

本发明的另一目的在于提供一种高光谱遥感图像地物空间波谱特征提取系统包括：

判别器单元，用于对高光谱数据集进行归一化处理，从高光谱遥感图像数据集中，抽取5％的地物样本作为训练集，将带有地物标签的训练样本送入辅助分类器生成式对抗网络ACGAN，并在ACGAN中训练，让ACGAN网络中的生成器和判别器都学习到样本的光谱特征；

空间波谱特征提取单元，与判别器单元连接，用于ACGAN网络训练完成后将高光谱遥感图像数据集所有样本的光谱信息输入到ACGAN网络的判别器单元中，提取出光谱信息经判别器单元计算后第五层的输出数据，维数大小为M，作为样本的波谱特征；

在空间维上计算每个波段的所含信息量的大小的信息熵，选取出信息熵最大的N个波段，将数据集进行降维；

纹理特征提取单元，与空间波谱特征提取单元连接，用于在选择出的N个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得N个包含纹理信息的LBP特征图，对每个样本均获得大小为N的纹理特征；

卷积神经网络CNN单元，与地物空间波谱特征提取单元连接，将得到的M维的光谱特征与N维的纹理特征进行拼接，获得的(M+N)维的光谱-纹理融合特征向量作为原始样本信息的有效表达；抽取5％的样本训练集，剩下的95％的样本作为测试集，将训练样本的融合特征向量输入到包含三个卷积层和两个全连接层的CNN(Convolutional NeuralNetwork)中；最后使用softmax分类器进行地物类别预测，对比训练样本的真实类别标签，对所述CNN进行训练；

类别预测单元，与CNN单元连接，用于将测试集中的样本输入到训练好的CNN中，得到所述测试集中的样本相应的类别预测，对照真实的类别标签，得到测试集的地物分类准确率。

本发明的另一目的在于提供一种搭载有所述高光谱遥感图像地物空间波谱特征提取系统的信息数据处理终端。

综上所述，本发明的优点及积极效果为：

本发明方法提出利用具有良好特征学习能力的ACGAN进行地物波谱特征的提取，生成器在训练过程中的参数更新来自判别器的反传梯度而不是来自样本光谱数据本身，本发明的核心思想是学习如何去描述样本的地物光谱特征而不是只是统计或记住了一些地物光谱样例，通过对生成器和判别器的交替训练模型学习到地物样本光谱的内在物化特征，这是利用机器学习新技术提取了传统人工统计分析难以觉察到的地物波谱本质特性，体现了对遥感技术理论基础的不懈追求，而不仅是将新技术在遥感图像地物分类的简单直接应用。在Indian Pines数据集上利用本发明设计的ACGAN模型结构的分类结果显示，整体分类精度可达0.982，平均分类精度可达0.969，Kappa系数可达0.9795。

预训练ACGAN完成后，将经过判别器计算的中间层数据作为原始样本光谱信息的有效表达再进行后续分类，避免直接使用原始光谱信息因噪声和“异物同谱”等原因导致的误分，同时对数据进行波段选择，从被选波段提取具有旋转不变的空间纹理特征，最后将波谱特征和空间特征进行融合利用卷积神经网络分类，避免单一特征不能更好的表征地物信息。本发明方法能以较少的标记数据集获得较高的分类准确率。在Indian Pines数据集上用本发明提出的分类系统的分类结果显示，整体分类精度可达0.9906，平均分类精度可达0.984,kappa系数可达0.9893。

本发明在上述地物波谱特征提取的基础上，融合了高信息熵波段的空间纹理特征，避免了单一波谱特征不能包含图像空间信息的缺点，也避免单纯使用CNN等深度学习模型进行特征提取和分类的方法所呈现出的对对抗样本很强的脆弱性，并且没有滤波、去噪等预处理或后处理，降低了整个高光谱遥感图像地物分类系统流程的复杂性。

附图说明

图1是本发明实施例提供的高光谱遥感图像地物空间波谱特征提取方法流程图。

图2是本发明实施例提供的使用的ACGAN模型结构图。

图3是本发明实施例提供的高光谱遥感图像地物空间波谱特征提取系统图。

图中：上中层是本发明的地物波谱特征和空间纹理特征融合，下层是卷积神经网络分类。

图4是本发明实施例提供的Indian数据集中16类地物光谱及特征变化示意图。其中：(a)是16类地物的原始光谱，(b)是16类地物的光谱归一化处理结果，(c)是本发明中利用ACGAN提取的光谱特征，(d)是本发明提出的地物空间波谱特征，(e)是CNN分类器提取的特征,(f)是CNN分类器最终的处理结果,(g)是第2类和第11类地物光谱及特征变化的对比展示。

图5是本发明实施例提供的仿真实验结果图。

图中：(a)为地物实况；(b)为pixel_CNN；(c)为SVM；(d)为ACGAN；(e)为ACGAN_CNN；(f)为ACGAN_LBP_SVM；(g)为ACGAN_LBPLCNN。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出的利用具有良好特征学习能力的ACGAN模型进行地物波谱特征的提取，通过对生成器和判别器的交替训练，让模型学习到地物样本波谱的内在特征，生成器在训练过程中的参数更新来自判别器的反传梯度而不是来自样本光谱数据本身，因此模型学习如何去描述样本的波谱特征而不是只是记住了一些波谱样例。ACGAN模型训练完成后，通过提取经判别器计算的中间层数据作为样本的地物波谱特征再进行后续特征融合和分类，避免直接使用原始光谱信息因噪声和“异物同谱”等原因导致的误分。

如图1所示，本发明实施例提供的高光谱遥感图像地物空间波谱特征提取方法具体包括：

S101：对高光谱数据集进行归一化处理，从高光谱遥感图像数据集中，抽取5％的地物样本作为训练集，将训练样本及训练样本的标签送入辅助分类器生成对抗网络ACGAN，并在对抗网络ACGAN中训练，让ACGAN网络中的生成器和判别器都学习到样本的光谱特征；

S102：ACGAN网络训练完后将高光谱遥感图像数据集所有样本的光谱信息输入到ACGAN网络的判别器中，提取出光谱信息经判别器计算后第五层的输出数据，大小为M，作为样本的波谱特征；

S103：在空间维上计算每个波段的所含信息量的大小的信息熵，选取出信息熵最大的N个波段，将数据集进行降维；

S104：在选择出的N个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得N个包含纹理信息的LBP特征图，对每个样本均获得大小为N的纹理特征；

S105：将得到的M维的光谱特征与N维的纹理特征进行拼接，将获得的(M+N)维的光谱-纹理融合特征向量作为原始样本信息的有效表达，抽取5％的样本训练集，剩下的95％的样本作为测试集，将训练样本的融合特征向量输入到包含三个卷积层和两个全连接层的CNN(Convolutional Neural Network)中；最后使用softmax分类器进行地物类别预测，对比训练样本的真实类别标签，对所述CNN进行训练；

S106：将测试集中的样本输入到训练好的CNN中，得到所述测试集中的样本相应的类别预测，根据真实的类别标签，得到测试集的地物分类准确率。

样本光谱特征的提取，是将数据集的所有样本的光谱信息送入预训练好的ACGAN模型的判别器中，将判别器中间层的数据作为原始光谱信息的有效表达，提取判别器第五层的输出，将该大小为M的数据作为样本原始光谱信息的有效表达，即波谱特征。

空间纹理特征的提取，是对数据集包含的所有波段求信息熵，选取出信息熵最大的N个波段，在该N个波段所在图片上运用具有旋转不变的LBP纹理特征提取算子提取图片的纹理信息，即数据集中每个像素点所在的样本获得一个大小为N的纹理特征。

光谱特征和纹理特征的拼接，是将每个样本获得的大小为M的光谱特征和大小为N的纹理特征进行拼接，获得大小为(M+N)的空间波谱特征.

如图3所示，本发明实施例提供一种高光谱遥感图像地物空间波谱特征提取系统包括：

判别器单元，用于对高光谱数据集进行归一化处理，从高光谱遥感图像数据集中，抽取5％的地物样本作为训练集，将训练样本及训练样本的标签送入辅助分类器生成对抗网络ACGAN，并在对抗网络ACGAN中训练，让ACGAN网络中的生成器和判别器都学习到样本的光谱特征；

空间波谱特征提取单元，与判别器单元连接，用于ACGAN网络训练完后将高光谱遥感图像数据集所有样本的光谱信息输入到ACGAN网络的判别器单元中，提取出光谱信息经判别器单元计算后第五层的输出数据，大小为M，作为样本的波谱特征；

在空间维上计算每个波段的所含信息量的大小的信息熵，选取出信息熵最大的N个波段，将数据集进行降维；

纹理特征提取单元，与空间波谱特征提取单元连接，用于在选择出的N个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得N个包含纹理信息的LBP特征图，对每个样本均获得大小为N的纹理特征；

将得到的M维的光谱特征与N维的纹理特征进行拼接，将获得的(M+N)维的光谱-纹理融合特征向量作为原始样本信息的有效表达；

CNN单元，与空间波谱特征提取单元连接，抽取5％的样本训练集，剩下的95％的样本作为测试集，将训练样本的融合特征向量输入到包含三个卷积层和两个全连接层的CNN(Convolutional Neural Network)中；最后使用softmax分类器进行地物类别预测，对比训练样本的真实类别标签，对所述CNN进行训练；

类别预测单元，与CNN单元连接，用于将测试集中的样本输入到训练好的CNN中，得到所述测试集中的样本相应的类别预测，根据真实的类别标签，得到测试集的地物分类准确率。

下面结合具体分析对本发明作进一步描述，

本发明实施例提供的高光谱遥感图像地物空间波谱特征提取方法，利用ACGAN模型提取高光谱遥感图像地物波谱特征；用信息熵最高的若干波段计算LBP纹理特征，融合地物波谱和空间纹理特征形成本专利申请的高光谱遥感图像地物空间波谱特征提取技术。最后选用CNN分类器分类。

波谱特征提取过程是：从本研究领域公开的高光谱遥感图像数据集中，随机抽取5％的样本作为训练集，将训练样本及其标签送入ACGAN网络中进行训练，ACGAN模型包含一个生成器和一个判别器，生成器和判别器均为卷积神经网络，生成器接收大小为50的随机噪声向量及类别标签作为输入。以Indian Pines数据集为例，生成器第一层为全连接层，包含100个单元，输出向量大小变为100，第二层为全连接层，包含1024个单元，输出向量大小变为1024，第三层为全连接层，包含3040个单元，输出向量大小变为3040，将该向量重构为(190*1*16)，第四层为反卷积层，16个卷积核，每个卷积核大小为6*1，输出数据为16*195*1，最后一层为反卷积层，1个卷积核，每个卷积核大小为6*1，输出数据大小为200*1*1，生成器生成了与真实样本光谱相同大小的伪样本光谱；

判别器接收真实样本光谱数据和伪造样本光谱数据作为输入，样本大小为200*1*1，判别器第一层为卷积层，32个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1，第二层为卷积层，64个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1，第三层为卷积层，128个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1，第四层为全连接层，包含1024个单元，输出数据大小为1024，第五层为全连接层，包含128个单元，输出数据大小为128，将第五层的输出分别送入sigmoid分类器和softmax分类器，得到样本的真伪性和预测类别；

除了第一和最后一层，其他卷积层和全连接层后均添加了BatchNormalization层和LeakyReLU层，每个卷积层添加了Dropout层，防止过拟合，ACGAN模型的生成器和判别器同时训练，固定一方训练另一方，ACGAN模型采用Adam方法进行梯度更新，生成器的参数更新不是直接来自数据样本，而是来自判别器的反传梯度，即判别器对伪造数据求的梯度，并且是在设定伪造数据的真假标签为1的情况下，保持判别器不变，那么判别器对伪造数据求的梯度就是朝着真实数据变化的方向，在最大迭代次数内，如果终止条件能满足，则整个训练过程结束。

将高光谱遥感图像数据集中样本的光谱信息输入到训练好的ACGAN网络的判别器中，提取出光谱信息经判别器计算后第五层的输出，大小为128，作为样本的地物波谱特征。

空间特征提取过程是：在空间维上计算每个波段的信息熵，即所含信息量的大小，选取出信息熵最大的7个波段，完成数据集降维；对选取的每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得7个包含纹理信息的LBP特征图，对每个样本来说，获得7维的纹理特征。

空间波谱特征融合是：将前面得到的128维的地物波谱特征与7维的空间纹理特征进行拼接，将获得的135维的波谱-纹理融合特征作为地物样本信息的有效表达。

地物分类过程是：随机抽取5％的样本作为训练集，剩下的95％的样本作为测试集，将训练样本的融合特征向量输入到CNN中，该CNN包含三个卷积层和两个全连接层，最后使用softmax分类器进行地物类别预测，对比样本的真实类别标签，对该CNN进行训练。将测试集数据输入到训练好的CNN中，得到其相应的类别预测，根据真实的类别标签，计算测试集的地物分类准确率。

图2是本发明使用的ACGAN模型结构图。该图说明了本发明所用的ACGAN模型的具体网络结构，其中生成器接收随机噪声变量和类别标签，通过全连接层和反卷积层的计算，生成与真实样本相同大小的伪样本，判别器接收样本后通过卷积层和全连接层的计算，判断输入样本的真假性及所属类别，生成器的参数更新不直接来自于样本数据，而是判别器的反传梯度。

图3是本发明的系统结构图。在图3中，上层创新性地使用预训练好的ACGAN模型中的判别器提取样本的地物光谱特征，中层使用具有旋转不变的LBP算子在被选波段上提取样本的纹理特征，本发明的地物空间波谱特征提取技术就是结合上层和中层的地物波谱与空间特征，拼接两种特征获得地物空间波谱特征向量。训练包含三层卷积层、softmax分类器的卷积神经网络并完成高光谱图像地物分类。

图4(a)-(f)是本发明在对Indian Pines数据集分类过程中，16类地物的光谱数据及特征变化过程。可以看出，该数据集中各类地物原始光谱相似度极高，采用本发明提出的使用ACGAN对光谱数据提取出的光谱特征有了明显的区分性，结合空间纹理特征后再使用CNN进行分类处理，波谱空间融合特征的区分性进一步提升，最终的分类结果证明了本发明系统的有效性。图4(g)中则详细展示了第2类和第11类地物光谱及特征变化过程，随着本发明系统的处理进程，该二类地物的地物空间波谱特征的可区分性越来越明显。

表1是本发明方法使用的ACGAN与其他方法分类结果对比，对比了ACGAN与pixel_CNN,SVM两种方法的整体分类精度、平均分类精度、Kappa系数三个质量评价参数。

表2是以本发明所提取地物波谱特征为基础，结合空间纹理信息和使用不同分类器的分类结果比较。为了区分本发明特征提取方法与系统各部分的作用，对比分析模型在仅使用ACGAN进行分类、使用预训练的ACGAN提取地物波谱特征并结合CNN进行分类(ACGAN_CNN)、使用ACGAN和LBP分别提取地物波谱和纹理特征后用SVM进行分类(ACGAN_LBP_SVM)、使用ACGAN和LBP分别提取地物波谱和纹理特征后用CNN进行分类(ACGAN_LBP_CNN)四种结构下对分类结果的影响。仿真实验结果如图5。

表1 ACGAN与其他方法的分类结果对比

表2 本发明构建的不同分类系统之间分类结果对比

表3是本发明与其他方法中使用的训练样本数分类结果对比图。训练样本数的多少对分类结果的好坏有很大影响，为了突出本发明的优势，使用其他分类方法中所用到的训练样本数并与其分类结果对比，对比的方法有：DAFE、BS_EPT_SADE_EPT、DBFE、SICNN、3DCNN。本发明的地物波谱特征获得的分类效果在表3最后3列。

表3 本发明使用与其他方法相同训练集大小的分类结果对比

在Indian Pines数据集上的测试结果证明了该发明提取的地物波谱特征对高光谱图像分类的有效性。在不同分类方法的对比中，使用ACGAN对光谱数据进行地物波谱特征学习并分类的准确率要比其他方法高约2-3％(如表1)；用本发明提取的地物波谱特征构建的不同分类系统结构之间的对比中，有没有用ACGAN提取地物波谱特征比没有使用空间纹理信息LBP的分类效果影响更大(表1和表2)；在使用其他方法中的训练样本数实验对比中，基于本发明构建的CNN分类系统的准确率要高出1％-14％(如表3)。

下面集合实施例对本发明作进一步描述。

实施例：

训练数据和测试数据来源于GIC网站的Indian Pines数据集，该数据集包含224个波段，光谱覆盖范围为0.4～2.5μm,空间分辨率为20m,图像大小为145*145pix。在去除了4个严重受损的波段和20个水吸收波段后剩余200个波段，包含16类地物。该数据集共包含10249个大小为(200*1*1)的有效样本，训练集包含517个样本，测试集包含剩下的9732个样本。

本实施例中，

具体步骤如下：

步骤1：先对高光谱图像数据进行归一化操作，从标记数据集IndianPines的有效样本中随机抽取517个样本及其类别标签作为训练集，将训练样本及其标签送入ACGAN模型中进行训练，ACGAN模型包含一个生成器和一个判别器，生成器和判别器均为卷积神经网络，生成器接收大小为50的随机噪声向量和类别标签作为输入，经过三个全连接层和两个反卷积层的计算，输出数据大小为200*1*1，生成器生成了与真实样本光谱相同大小的伪样本光谱；

步骤2：判别器接收样本光谱数据作为输入，样本大小为200*1*1，经过三个卷积层和两个全连接层的计算，获得大小为128的中间特征向量，将该中间特征向量分别送入sigmoid分类器和softmax分类器，得到样本的真伪性和预测类别，整个ACGAN模型采用Adam方法进行梯度更新，在最大迭代次数内，如果终止条件能满足，则整个训练过程结束；

步骤3：将IndianPines数据集中所有10249个有效样本的光谱信息输入到训练好的ACGAN模型的判别器中，提取出判别器第五层的输出作为原始光谱信息的一种表达，即将大小为128的中间层数据作为样本的光谱特征；

步骤4：对数据集计算每个波段的信息熵，即波段所含信息量的大小，选取出信息熵最大的7个波段，将数据集进行降维；

步骤5：在选择出的7个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得7个包含纹理信息的LBP特征图，对每个有效样本来说，获得大小为7的纹理特征；

步骤6：将得到的光谱特征与纹理特征进行拼接，将获得的大小为135的光谱-纹理融合特征向量作为原始样本信息的有效表达；

步骤7：将训练集所在样本的融合特征数据输入到CNN中，该CNN包含三个卷积层和两个全连接层，最后使用softmax分类器进行地物类别预测，对比这些样本的真实类别标签，对该CNN进行训练；

步骤8：将测试集所在样本的融合特征数据输入到训练好的CNN中，得到其相应的类别预测，并与其他方法所获结果进行对比分析。从表1可以看出ACGAN的学习特征及分类能力要优于传统的CNN和SVM，用预训练的ACGAN作为样本光谱特征的提取方式是可行的。表2可以看出，用预训练的ACGAN模型的判别器作为地物波谱特征提取的方式可以获得比直接使用原始光谱信息更好的分类结果；结合图像的纹理特征进行再分类可以获得比只采用单一特征更好的分类结果。

训练集的大小对分类结果影响很大，表3可以看出，在使用相同大小训练集时，本发明的实验结果更优。训练集越大，分类效果越好，而本发明特别适用于标记样本数少，待分类类别数多的应用。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高光谱遥感图像地物空间波谱特征提取方法，其特征在于，所述高光谱遥感图像地物空间波谱特征提取方法为：

利用辅助分类器生成式对抗网络模型提取高光谱遥感图像地物波谱特征；用信息熵最高的若干波段计算LBP纹理特征；拼接地物波谱和空间纹理特征形成地物空间波谱特征；选用CNN分类器对地物空间波谱特征进行高光谱遥感图像分类。

2.如权利要求1所述的高光谱遥感图像地物空间波谱特征提取方法，其特征在于，所述高光谱遥感图像地物空间波谱特征提取方法具体包括：

1)对高光谱数据集进行归一化处理，从高光谱遥感图像数据集中，抽取5％的地物样本作为训练集，将带有地物类别标签的训练样本送入ACGAN，并在ACGAN中训练，让ACGAN网络中的生成器和判别器都学习到样本的光谱特征；

2)ACGAN网络训练完后将高光谱遥感图像数据集所有样本的光谱信息输入到ACGAN网络的判别器中，提取出光谱信息经判别器计算后第五层的输出数据，维数大小为M，作为样本的波谱特征；

3)在空间维上计算每个波段的所含信息量的大小的信息熵，选取出信息熵最大的N个波段，进行数据集降维；

4)在选择出的N个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得N个包含纹理信息的LBP特征图，对每个样本均获得大小为N的纹理特征；

5)将得到的M维的光谱特征与N维的纹理特征进行拼接，将获得的(M+N)维的光谱-纹理融合特征向量作为地物空间波谱特征，有效表达了原始样本信息。

6)抽取5％的样本训练集，剩下的95％的样本作为测试集，将训练样本用前面1)到5)提取的地物空间波谱特征输入到包含三个卷积层和两个全连接层的CNN(ConvolutionalNeural Network)中；最后使用softmax分类器进行地物类别预测，根据训练样本的真实类别标签，对所述CNN进行训练；将测试集中的样本输入到训练好的CNN中，预测测试集中的样本相应的类别，对照其真实的地物类别标签，得到测试集的地物分类准确率。

3.如权利要求2所述的高光谱遥感图像地物空间波谱特征提取方法，其特征在于，所述步骤1)具体包括：

a)、ACGAN模型包含一个生成器和一个判别器，生成器和判别器均为卷积神经网络，生成器接收随机噪声向量和类别标签作为输入，以Indian Pines数据集为例，生成器第一层为全连接层，包含100个单元，输出向量大小变为100，第二层为全连接层，包含1024个单元，输出向量大小变为1024，第三层为全连接层，包含3040个单元，输出向量大小变为3040，将该向量重构为(190*1*16)，第四层为反卷积层，16个卷积核，每个卷积核大小为6*1，输出数据为16*195*1，最后一层为反卷积层，1个卷积核，每个卷积核大小为6*1，输出数据大小为200*1*1，生成器生成了与真实样本光谱相同大小的伪样本光谱；

判别器接收样本光谱数据作为输入，样本大小为200*1*1，判别器第一层为卷积层，32个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1；

第二层为卷积层，64个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1；

第三层为卷积层，128个卷积核，每个卷积核大小为11*1，输出数据大小为200*1*1；

第四层为全连接层，包含1024个单元，输出数据大小为1024；

第五层为全连接层，包含128个单元，输出数据大小为128，将第五层的输出分别送入sigmoid分类器和softmax分类器，得到样本的真伪性和预测类别，除第一和最后一层，其他卷积层和全连接层后均添加BatchNormalization层和LeakyReLU层，每个卷积层添加防止过拟合的Dropout层；

ACGAN模型的生成器和判别器同时训练，固定一方训练另一方，ACGAN模型采用Adam方法进行梯度更新；

b)样本光谱特征的提取，将数据集的所有样本的光谱信息送入训练好的ACGAN模型的判别器中，将判别器中间层的数据作为原始光谱信息的有效表达，提取判别器第五层的输出，将该大小为M的数据作为样本原始光谱信息的有效表达。

4.如权利要求2所述的高光谱遥感图像地物空间波谱特征提取方法，其特征在于，所述步骤4)具体包括：

空间纹理特征的提取，对数据集包含的所有波段求信息熵，选取出信息熵最大的N个波段，在该N个波段所在图像上提取具有旋转不变性的LBP纹理特征，即数据集中每个像素点所在的样本获得一个大小为N的纹理特征。

5.如权利要求2所述的高光谱遥感图像地物空间波谱特征提取方法，其特征在于，所述步骤5)具体包括：

所述将得到的M维的光谱特征与N维的纹理特征进行拼接，包括：将每个样本获得的大小为M的光谱特征和大小为N的纹理特征进行拼接，获得大小为(M+N)的地物空间波谱特征。

6.一种实现权利要求1～5任意一项所述高光谱遥感图像地物空间波谱特征提取方法的计算机程序。

7.一种实现权利要求1～5任意一项所述高光谱遥感图像地物空间波谱特征提取方法的信息数据处理终端。

8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的高光谱遥感图像地物空间波谱特征提取方法。

9.一种如权利要求1所述的高光谱遥感图像地物空间波谱特征提取方法的高光谱遥感图像地物空间波谱特征提取系统，其特征在于，所述高光谱遥感图像地物空间波谱特征提取系统包括：

判别器单元，用于对高光谱数据集进行归一化处理，从高光谱遥感图像数据集中，抽取5％的地物样本作为训练集，将训练样本及训练样本的标签送入辅助分类器生成对抗网络ACGAN，并在对抗网络ACGAN中训练，让ACGAN网络中的生成器和判别器都学习到样本的光谱特征；

空间波谱特征提取单元，与判别器单元连接，用于ACGAN网络训练完后将高光谱遥感图像数据集所有样本的光谱信息输入到ACGAN网络的判别器单元中，提取出光谱信息经判别器单元计算后第五层的输出数据，大小为M，作为样本的波谱特征；

在空间维上计算每个波段的所含信息量的大小的信息熵，选取出信息熵最大的N个波段，将数据集进行降维；

纹理特征提取单元，与空间波谱特征提取单元连接，用于在选择出的N个波段上，对每个波段使用具有旋转不变的LBP算子计算每个像素点的LBP特征值，获得N个包含纹理信息的LBP特征图，对每个样本均获得大小为N的纹理特征；

将得到的M维的光谱特征与N维的纹理特征进行拼接，将获得的(M+N)维的光谱-纹理融合特征向量作为原始样本信息的有效表达，这也就是地物空间波谱特征；

CNN单元，与空间波谱特征提取单元连接，抽取5％的样本训练集，剩下的95％的样本作为测试集，将训练样本的融合特征向量输入到包含三个卷积层和两个全连接层的CNN(Convolutional Neural Network)中；最后使用softmax分类器进行地物类别预测，对比训练样本的真实类别标签，对所述CNN进行训练；

类别预测单元，与CNN单元连接，用于将测试集中的样本输入到训练好的CNN中，得到所述测试集中的样本相应的类别预测，对照真实的地物类别标签，得到测试集的地物分类准确率。

10.一种搭载有权利要求9所述高光谱遥感图像地物空间波谱特征提取系统的信息数据处理终端。