CN107180248A

CN107180248A - 基于联合损失增强网络的高光谱图像分类方法

Info

Publication number: CN107180248A
Application number: CN201710436670.1A
Authority: CN
Inventors: 欧阳宁; 朱婷; 林乐平; 莫建文; 张彤; 袁华; 陈利霞
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2017-06-12
Filing date: 2017-06-12
Publication date: 2017-09-19

Abstract

本发明公开了基于联合损失增强网络的高光谱图像分类方法，其特征是，包括如下步骤：1）PCA降维；2）空间领域块提取；3）编码路径特征提取；4）分类任务训练目标建立；5）解码路径特征提取与重建；6）网络联合训练；7）高光谱测试分类。这种方法可在同一网络结构下，通过端到端的训练方式，联合学习重建损失及分类判别损失函数，从而充分利用高光谱图像的空谱信息，自动削弱CNN对不重要特征变量的学习，以此来降低高光谱分类模型的复杂度，同时，减少高光谱图像分类方法对标签样本的依赖性、提升分类精度。

Description

基于联合损失增强网络的高光谱图像分类方法

技术领域

本发明涉及智能图像处理技术领域，具体涉及基于联合损失增强网络的高光谱图像分类方法。

背景技术

高光谱图像(Hyperspectral image,简称HSI)具有光谱分辨率高、图谱合一的独特优点，在目标追踪、环境保护、农业监测及气象预报等领域有很大的应用前景。对高光谱图像中每个像元进行分类是高光谱遥感应用的一项重要内容，具有极大的研究意义。

传统的高光谱图像分类方法往往只在低维空间上利用人工提取特征，典型的方法主要包括：K-均值聚类(K-means)方法、逻辑回归(Logistic regression，LR)、支持向量机(Support vector machine,SVM)等，然而，这些分类方法依赖于浅层模型，所提取高光谱图像特征的不变性及判别性较差，易产生维数灾难(Hughes现象)，即随着高光谱图像波段数的增加，对训练样本数量的要求会急剧增加。近年来，深度学习以其自动地学习数据高层特征的优势获得了广大高光谱分类研究者的热切关注：Chen等人利用深度信念网络(Deepbelief network,简称DBN)对高光谱图像进行空谱特征提取和分类，此无监督方法采用逐层训练的方式使高光谱图像分类的性能得到了一定的改善，但其在训练阶段需要将空间信息表示成一维向量，破坏了高光谱图像的空间相关性，为了克服这一缺点，Li等人结合高光谱图像的数据维数特点将3D卷积神经网络(3D-Convolutional Neural Network,简称3D-CNN)框架引入到高光谱图像分类中，利用3D核来提取高光谱图像块特征，以达到同时提取空间和光谱信息的目的，该工作为从高光谱数据特点入手，将CNN引入高光谱图像分类开拓了新思路。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于联合损失增强网络的高光谱图像分类方法。这种方法可在同一网络结构下，通过端到端的训练方式，联合学习重建损失及分类判别损失函数，从而充分利用高光谱图像的空谱信息，自动削弱CNN对不重要特征变量的学习，以此来降低高光谱分类模型的复杂度，同时，减少高光谱图像分类方法对标签样本的依赖性、提升分类精度。

实现本发明目的的技术方案是：

基于联合损失增强网络的高光谱图像分类方法，包括如下步骤：

1)PCA降维：为了避免高维度的光谱信息带来的维数灾难问题，对原高光谱图像在光谱维度上进行PCA降维处理，压缩后的光谱维数为d；

2)空间领域块提取：在降维后的高光谱图像中，选取预分类第n个像素的大小为w×w×d邻域块P_n，将P_n作为联合损失增强网络的输入，其中，w为高光谱空间邻域块的长和宽；

3)编码路径特征提取：由卷积层及池化层组成的编码通道对大小为w×w×d的输入邻域块P_n进行特征提取，其中的编码路径通过最大池化层产生两个变量：高光谱空间特征信息，记为“what”变量，“what”变量作为下一全连接层的输入，最终传入全连接层及线性分类器中进行分类训练；高光谱空间特征值所对应的位置信息，记为“where”变量，“where”变量则横向传递到由反卷积及反池化组成的解码路径中；

4)分类任务训练目标建立：对于步骤3)中提取的高光谱局部空间特征最大值“what”变量，其作为下一层的输入特征传入全连接层以便Softmax分类器进行分类判别训练；

5)解码路径特征提取与重建：将步骤3)得到的高光谱空间特征值所对应的位置信息“where”变量输入到反卷积解码路径中进行特征提取及重建，即通过反卷积(Deconvolution)和反池化(Unpooling)操作将编码器的输出重建出原输入高光谱领域块这样，编码路径和解码路径的整个阶段就形成了一个反卷积自编码器(Deepdeconvolutional auto-encoder,简称DCA)，其可以通过设定不需要标签的无监督学习任务对原始输入高光谱邻域块的重建，实现自动获取数据正则化项，从而增强高光谱图像分类网络的监督学习过程，弱化分类任务对训练样本的依赖性；

6)网络联合训练：联合损失增强网络模型在同一网络结构下，通过端到端的训练方式，联合学习重建损失L_rec及分类判别损失函数L_NLL，利用梯度下降法反向传播以不断更新网络参数{W,b}，W为网络模型的权值，b为网络模型的偏置项，其中，对反卷积自编码以无监督的方式实现对输入高光谱邻域块的重建，从而充分利用高光谱图像的空谱信息，自动削弱CNN对不重要特征变量的学习，降低高光谱分类模型的复杂度，以此来增强联合损失增强网络的监督学习过程，防止过拟合问题；

7)高光谱测试分类：将待分类的高光谱邻域块输入经步骤6)训练好的联合损失增强网络的中，利用其中由卷积编码路径、全连接层及Softmax分类器组成的分类路径对待测高光谱图像进行测试分类。

这种方法，针对现有方法对带标签训练样本依赖性大，但对高光谱图像进行类别标定较为困难的实际情况，在传统单一CNN结构用以高光谱分类的基础上，引入堆栈“位置-内容”自编码(Stacked what-where auto-encoders，简称，SWWAE)相关理论，提出一种基于联合损失增强网络的高光谱图像分类方法。该方法可在同一网络结构下，通过端到端的训练方式，联合学习重建损失及分类判别损失函数，从而充分利用高光谱图像的空谱信息，自动削弱CNN对不重要特征变量的学习，以此来降低高光谱分类模型的复杂度，同时，减少高光谱图像分类方法对标签样本的依赖性、提升分类精度。

反卷积自编码网络作为分类任务的辅助子网络，利用卷积编码路径及反卷积解码路径实现对原始输入图像的重建，通过设定不需要标签的无监督学习任务来自动获取数据正则化项，从而增强高光谱图像分类网络的监督学习过程，弱化分类任务对训练样本的依赖性，提高了分类精度，加快了收敛速度，同时在小训练样本上分类的有效性。

这种方法可在同一网络结构下，通过端到端的训练方式，联合学习重建损失及分类判别损失函数，从而充分利用高光谱图像的空谱信息，自动削弱CNN对不重要特征变量的学习，以此来降低高光谱分类模型的复杂度，同时，减少高光谱图像分类方法对标签样本的依赖性、提升分类精度。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中反卷积自编码分类网络框图；

图3为实施例中池化和反池化示意图；

图4为实施例中小训练样本分类精度对比；

图5为实施例中训练集的收敛曲线。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的详细说明，但不是对本发明的限定。

实施例：

参照图1，基于联合损失增强网络的高光谱图像分类方法，包括如下步骤：

1)PCA降维：为了避免高维度的光谱信息带来的维数灾难问题，对原高光谱图像在光谱维度上进行PCA降维处理，压缩后的光谱维数为d，本例d＝30，这一步会丢掉一部分光谱信息，但图像的空间信息不会受到影响；

2)空间领域块提取：在降维后的高光谱图像中，选取预分类第n个像素的大小为w×w×d邻域块P_n，将P_n作为联合损失增强网络的输入，本例中w×w×d为21×21×30；

3)编码路径特征提取：由卷积层及池化层组成的编码通道对大小为w×w×d的输入邻域块P_n进行特征提取，其中的编码路径通过最大池化层产生两个变量：高光谱空间特征信息，记为“what”变量，“what”变量作为下一全连接层的输入，最终传入全连接层及线性分类器中进行分类训练；高光谱空间特征值所对应的位置信息，记为“where”变量，“where”变量则横向传递到由反卷积及反池化组成的解码路径中，具体地：

将步骤2)中的高光谱空间邻域块P_n输入到联合损失增强网络中进行特征提取及分类训练，设置卷积核的大小为最佳尺寸3×3以减少高光谱空间特征提取过程中的网络参数，其中，联合损失增强网络中由卷积层及最大池化层组成的前馈卷积通道对输入高光谱空间邻域块进行编码,原始输入图像经编码通道传递到第l层的特征图为：

z_l＝F₁F₂P_c1P_n＝R_l ^TP_n

式中，P_n为原输入高光谱空间邻域块，F为卷积运算，P_c为池化运算，为编码算子，如图2所示，卷积层及最大池化层的特征提取具体方法为：

(1)对于第l层卷积核提取特征的输出公式为：

z_l＝f{Wgz_l-1+b}

式中，f{g}为激活函数，本例使用Relu激活函数，W为卷积核的权重，b为偏置项；

(2)而对于编码器通过最大池化层产生两个变量：最大池化层所提取高光谱局部空间特征最大值记为“what”变量，它作为下一层的输入；将最大池化层的高光谱空间特征最大值所对应的位置信息记为“where”变量，它要横向传递到解码器中，以便进一步反池化解码操作，如图3所示，池化过程中应用max函数求得池化区域高光谱局部空间特征的最大值m，同时在池化区域定义的局部坐标系下通过argmax操作记录高光谱局部空间特征最大值对应的位置信息p，相应地，在反池化的时，将最大激活值m放置在由p决定的位置坐标下，其余位置的特征值置为0；

此外，为了能够通过位置p进行反向传播(Back-propagate)，采用软版本的max和argmax运算对每一个特征区域求得池化区域内容的最大值m及记录内容最大值的位置信息p:

其中，z(x,y)是特征图的激活函数，x,y是归一化为[-1,1]之间的空间位置值；N_k代表第k个池化区域；β为非负的超参数，β值越大，软池化方法越接近最大池化，而β值越小时，软池化方法越接近于平均池化(Mean-pooling)；

4)分类任务训练目标建立：对于步骤3)中提取的高光谱局部空间特征最大值“what”变量，其作为下一层的输入特征传入全连接层以便Softmax分类器进行分类训练，分类损失函数为：

式中，L_NLL为判别损失函数(即负的最大似然函数(Negative log-likelihood))，c⁽ⁿ⁾表示第n个训练样本对应标签的真实值，表示第n个训练样本对应第k个神经元的输出值，C为样本总类别数；

5)解码路径特征提取与重建：将步骤3)得到的高光谱空间特征值所对应的位置信息“where”变量输入到反卷积解码路径中进行特征提取及重建，即通过反卷积和反池化操作将编码器的输出重建出原输入高光谱领域块这样，编码路径和解码路径的整个阶段就形成了一个反卷积自编码器，反卷积自编码器可以通过无监督学习方式对输入图像进行重建，具体地：

(1)对于经由解码通道重建的高光谱空间邻域块定义重建算子为R_l，则：

其中，F^T为反卷积运算，U_c为反池化运算，z_l为步骤3)中的第l层特征图；

(2)至此，经步骤(1)由卷积编码路径及反卷积解码路径组成的反卷积自编码网络模型实现了基于原始输入图像的重建，故而可以通过设定不需要标签的无监督学习任务来增强分类任务的监督学习过程，该反卷积自编码器所用的重建损失函数L_rec为：

其中，L_rec为重建损失函数，P_n为原高光谱空间邻域块，为重建后的输出特征；

6)网络联合训练：联合损失增强网络模型在同一网络结构下，通过端到端的训练方式，联合学习重建损失L_rec及分类判别损失函数L_NLL，利用梯度下降法对重建损失及分类判别损失函数进行联合训练，优化整体网络损失函数，反向传播网络参数以不断更新所学习的特征权值{W,b}，其中整体网络损失函数L_all由重建损失和分类损失两部分组成：

其中，L_NLL为分类判别损失函数，L_rec为重建损失函数，λ_rec为平衡系数；

7)高光谱测试分类：将待分类的高光谱邻域块输入经步骤6)训练好的联合损失增强网络中，利用其中由卷积编码路径、全连接层及Softmax分类器组成的分类路径对待测高光谱图像进行测试分类。

通过上述的实施例，可实现在同一网络结构下，通过端到端的训练方式，联合学习重建损失及分类判别损失函数，从而充分利用高光谱图像的空谱信息，自动削弱CNN对不重要特征变量的学习，以此来降低高光谱分类模型的复杂度，提高高光谱图像的分类精度。图4为对Indian Pines数据集分别随机取10％到30％的训练样本时，对比3D-CNN，CNN，DCA算法在不同小训练样本比例下的总体分类精度(Overall accuracy，OA)柱状图，从图中可以看出，随着训练样本数的增加，OA值也在不断的增大；同时，DCA的分类精度明显高于3D-CNN，CNN，且当训练样本比例越小时，DCA与其他两种算法的OA差值越大，这说明了联合学习重建及分类判别损失函数对增强原高光谱分类任务的有效性，其中，利用卷积编码路径及反卷积解码路径组成的反卷积自编码器实现对原始输入图像的重建，通过设定不需要标签的无监督学习任务来自动获取数据正则化项，从而增强高光谱图像分类网络的监督学习过程，弱化分类任务对训练样本的依赖性。此外，为了比较3D-CNN，CNN，DCA网络的收敛性能，本实例在IndianPines数据集下，训练样本比例为50％，迭代次数为10000时，比较三者在训练集上损失函数的收敛曲线(如图5所示)，由图中可以看出，DCA的收敛速度远远快于3D-CNN；与CNN相比，DCA比CNN多出了解码通道，引入了一定的学习参数，但其收敛速度并没有受到影响。

Claims

1.基于联合损失增强网络的高光谱图像分类方法，其特征是，包括如下步骤：

1)PCA降维：对原高光谱图像在光谱维度上进行PCA降维处理，压缩后的光谱维数为d；

2)空间领域块提取：在降维后的高光谱图像中，选取预分类第n个像素的大小为w×w×d邻域块P_n，将P_n作为联合损失增强网络的输入；

5)解码路径特征提取与重建：将步骤3)得到的高光谱空间特征值所对应的位置信息“where”变量输入到反卷积解码路径中进行特征提取及重建，即通过反卷积和反池化操作将编码器的输出重建出原输入高光谱领域块

6)网络联合训练：联合损失增强网络模型在同一网络结构下，通过端到端的训练方式，联合学习重建损失L_rec及分类判别损失函数L_NLL，利用梯度下降法反向传播以不断更新网络参数{W,b}，其中，对反卷积自编码以无监督的方式实现对输入高光谱邻域块的重建；

7)高光谱测试分类：将待分类的高光谱邻域块输入经步骤5)训练好的联合损失增强网络的中，利用其中由卷积编码路径、全连接层及Softmax分类器组成的分类路径对待测高光谱图像进行测试分类。