CN107590515B - 基于熵率超像素分割的自编码器的高光谱图像分类方法 - Google Patents

Abstract

本发明提出了一种基于熵率超像素分割的自编码器的高光谱图像分类方法，主要解决高光谱图像分类性能不佳的问题。实现步骤为：获取高光谱数据训练样本集和测试样本集；构建n层自编码器网络；输入训练样本集，利用损失函数对基于熵率超像素分割的自编码器网络进行训练；输入测试数据集，利用训练后的基于熵率超像素分割的自编码器网络对高光谱图像进行分类。本发明采用的基于熵率超像素分割的自编码器的高光谱图像分类方法，考虑了空间上下文邻域信息，挖掘了数据样本的分布特性，有效地提高了高光谱图像的分类精度，可用于农业监测、地质勘探、灾害环境评估等领域地物的区分和辨别。

Description

基于熵率超像素分割的自编码器的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，涉及一种高光谱图像分类方法，具体涉及一种基于熵率超像素分割的自编码器的高光谱图像分类方法，用于农业，测绘，考古，环境和灾害监测等领域。

背景技术

随着科学技术的发展，高光谱遥感技术得到了巨大的发展。高光谱数据可表示为高光谱数据立方体，是三维数据结构。高光谱数据可视为三维图像，在普通二维图像之外又多了一维光谱信息。其空间图像描述地表的二维空间特征，其光谱维揭示了图像每一像元的光谱曲线特征，由此实现了遥感数据空间维与光谱维信息的有机融合。高光谱遥感图像含有丰富的光谱信息，可以提供空间域信息和光谱域信息，具有“图谱合一”的特点，可以实现对地物精确的辨别与细节提取，对于认识客观世界提供了有利条件。由于高光谱图像独有的特点，高光谱遥感技术已经广泛的应用在不同的领域。在民用领域，高光谱遥感影像已经被用于城市环境监测、地表土壤监测、地质勘探、灾害评估、农业产量估计、农作物分析等方面。高光谱遥感技术已经广泛的应用于人们的日常生活中。因此，设计实用高效的高光谱图像分类方法，已经成为现代社会必不可少的科技需求。

目前，研究人员已经提出了许多经典的分类方法用于高光谱图像分类，代表性的分类方法有K-近邻(KNN)、支持向量机(SVM)和神经网络(NN)。KNN将样本分类于在特征空间中的距离它最近的k个样本中的大多数样本属于的类别，其算法比较简单，易于实现，是最早引入高光谱分类的算法之一，但是，KNN需要大量的样本数据，同时需要巨大的预存储空间，时间复杂度很高，同时精度也不高。SVM通过最大化类别边界，在小样本分类中取得了较好的分类结果。F.Melgani,and L.Bruzzone在“Classification of hyperspectralremote sensing images with support vector machines,IEEE Trans.Geosci.RemoteSens.,vol.42,no.8,pp.1778-1790,Aug.2004”将SVM引入了高光谱图像分类，在当时取得了最好的分类结果，但是，对于SVM，如何确核函数,现在还没有合适的方法,完全需要经验判断，选择不合适的核函数会导致分类性能不佳，同时求解核函数也很复杂。

NN的目标是像人类的大脑一样以同样的方式解决问题。为了模拟人类大脑的思维方法和解决问题的能力，近些年来，研究人员提出了类似于人脑思维方式的深度学习方法。目前，由于深度学习在语音和图像领域表现出的强大优势，深度学习的应用也变得更加广泛，Hinton在“Reducing the dimensionality of data with neural networks,Science,vol.313,no.5786,pp.504-507,Jul.2006”提出了栈式自编码器的概念(SAE)，SAE通过最小化输入层和重构层之间的误差来学习输入数据的特征。在SAE中，高维数据可以通过训练多层神经网络转换成低维数据，同时SAE能够自动学习特征，不再需要人工构造特征，具有强大的特征表示和对复杂任务建模的能力。Jiming Li在“Deep feature representationfor hyperspectral image classification，IEEE Trans.Geosci.Remote Sens.，2015”将SAE应用到了高光谱图像分类，通过最小化输入层与重构层之间的误差函数来训练自编码器网络，然后将高光谱数据输入到训练好的自编码器中逐层学习特征，最后将特征输入到分类器中获得分类结果，相对于传统的浅层的KNN和SVM等方法，精度已经取得了提高。然而，由于没有考虑高光谱图像的空间上下文信息和样本的分布特性，导致分类精度比较低。

发明内容

本发明的目的在于针对上述已有方法的不足，提出了一种基于熵率超像素分割的自编码器的高光谱图像分类方法，用于解决现有高光谱图像分类方法中存在的分类精度低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取高光谱图像的训练样本集X_p和测试样本集X_q：

(1a)将三维的高光谱图像X转换为二维高光谱图像X_a，X_a∈R^b×m，其中，b表示X_a的波段个数，m表示X_a的样本个数；

(1b)随机选取X_a的10％样本组成训练样本集X_pp，X_pp∈R^b×pp，其余的90％样本组成测试样本集X_qq，X_qq∈R^b×qq，其中，pp表示初始训练样本集X_pp的数量，qq代表初始测试样本的数量，且满足pp+qq＝m；

(1c)按照光谱波段对初始训练样本集X_pp和初始测试样本集X_qq分别进行归一化操作，得到归一化后的训练样本集X_p和测试样本集X_q；

(2)构建n层自编码器网络：

(2a)构建每一层由输入层、隐藏层和重构层组成的自编码器网络，其中，自编码器网络的第l+1层的输入层等于第l层的隐藏层，l＝1,…,n；

(2b)确定自编码器网络各层的节点数、学习速率α和激活函数f(Z)，并对自编码器网络第l层的输入层和隐藏层的连接权值w^(l)和偏差b^(l)以及第l层自编码器网络的隐藏层和重构层的连接权值

和偏差

进行初始化，n层自编码器网络构建完成；

(3)对基于熵率超像素分割的自编码器网络进行训练，得到训练后的基于熵率超像素分割的自编码器网络：

(3a)计算自编码器网络第l层的重构层激活值

l＝1：

(3a1)将训练样本集X_p作为第l层自编码器网络的输入层激活值a^(l)，并利用该输入层激活值a^(l)计算隐藏层激活值a^(l+1)；

(3a2)利用自编码器网络第l层的隐藏层激活值a^(l+1)计算重构层激活值

(3b)定义自编码器网络第l层熵率超像素分割约束的计算公式，并将自编码器网络第l层的重构层激活值

作为该计算公式的输入，计算自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，l＝1；

(3c)利用自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，计算第l层自编码器网络的连接权值w^(l)和偏差b^(l)，l＝1；

(3d)获取第l层自编码器网络的连接权值w^(l)和偏差b^(l)，l＝2,3，…n：

将第l层自编码器网络的隐藏层激活值a^(l+1)作为第l+1层自编码器网络的输入层激活值a^(l)，令l＝l+1，重复步骤(3a)-(3c)，直到l＝n，得到第l层自编码器网络的连接权值w^(l)和偏差b^(l)；

(4)利用训练后的基于熵率超像素分割的自编码器网络对高光谱图像进行分类：

(4a)将测试样本集X_q输入到训练后的基于熵率超像素分割的自编码器网络中；

(4b)训练后的基于熵率超像素分割的自编码器网络对测试样本集X_q进行逐层学习，得到自编码器网络的最后一层的隐藏层激活值a⁽ⁿ⁺¹⁾；

(4c)采用softmax逻辑回归分类器，对自编码器网络的最后一层的隐藏层激活值a⁽ⁿ⁺¹⁾进行分类，得到测试样本集X_q的类别标签Y_q，即为高光谱图像的分类结果。

本发明引入了熵率超像素分割约束，通过约束高光谱图像样本的空间上下文邻域信息，充分考虑挖掘了数据样本的分布特性，以改善高光谱分类性能，提高分类精度，能够适用于图像处理中不同类型数据的处理。

本发明与现有技术相比，具有如下优点：

1、本发明由于引入了熵率超像素分割约束，通过约束高光谱图像样本的空间上下文邻域信息，充分考虑挖掘了数据样本的分布特性，以改善高光谱分类性能，增强了自编码器学习特征的能力，能够获得更加具有辨别力的特征，有效地提高了高光谱图像的分类精度。

2、本发明在自编码器的基础上引入了熵率超像素分割约束，由于熵率超像素分割约束区域内一致性进行了约束，使得我们的分类结果获得了更好的区域一致性。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的Indian Pines高光谱图像的三维真实图像，伪彩图和分类参考图；

图3是用本发明及现有四种方法对Indian Pines高光谱图像的分类结果对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，基于熵率超像素分割的自编码器的高光谱图像分类方法，包括如下步骤：

步骤1，输入高光谱图像Indian Pines，参见图2(a)，图2(a)是Indian Pines高光谱三维图像，是本发明实验使用的数据，从Indian Pines高光谱图像中获取训练样本X_p和测试样本X_q：

(1a)将三维的高光谱图像Indian Pines转换为二维高光谱图像X_a，X_a∈R^220×21025，该图像X_a包含220个光谱波段，21025个样本，类别标签为1到16的样本共有10249个；

(1b)将X_a中类别标签为1到16的样本随机取10％样本组成初始训练样本集：X_pp，X_pp∈R^220×1025，其余的90％样本组成初始测试样本集X_qq，X_qq∈R^220×9224，其中，pp，qq分别代表初始训练样本和初始测试样本的数量，满足pp+qq＝10249；

(1c)按照光谱波段对初始训练样本集X_pp和初始测试样本集X_qq分别进行归一化操作，对图像进行归一化有助于提高分类精度，得到归一化后的训练样本集X_p，X_p∈R^220×1025和测试样本集X_q，X_q∈R^220×9224。

步骤2，构建3层自编码器网络：

(2a)构建每一层由输入层、隐藏层和重构层组成的自编码器网络，其中，自编码器网络的第l+1层的输入层等于第l层的隐藏层，l＝1,…,3；

(2b)确定自编码器网络各层的节点数、学习速率α和激活函数f(Z)，学习速率α＝0.01，激活函数f(Z)为sigmoid函数，并对自编码器网络第l层的输入层和隐藏层的连接权值w^(l)和偏差b^(l)以及第l层自编码器网络的隐藏层和重构层的连接权值

和偏差

进行随机初始化，3层自编码器网络构建完成。

步骤3，对基于熵率超像素分割的自编码器网络进行训练，得到训练后的基于熵率超像素分割的自编码器网络：

(3a)计算自编码器网络第l层的重构层激活值

l＝1：

(3a1)将训练样本集X_p作为第l层自编码器网络的输入层激活值a^(l)，并利用该输入层激活值a^(l)计算隐藏层激活值a^(l+1)，计算公式为：

a^(l+1)＝f(Z^(l+1))＝f(w^(l)a^(l)+b^(l))

其中，w^(l)是自编码器网络第l层的输入层和隐藏层的连接权值，b^(l)是自编码器网络第l层的输入层和隐藏层的偏差，Z^(l+1)是第l层隐藏层的未激活值；

(3a2)利用自编码器网络第l层的隐藏层激活值a^(l+1)计算重构层激活值

计算公式为：

其中，

是自编码器网络第l层的隐藏层和重构层的连接权值，

是自编码器网络第l层的隐藏层和重构层的偏差，

是第l层重构层的未激活值；

(3b)定义自编码器网络第l层熵率超像素分割约束的计算公式，我们利用自编码器网络第l层的重构层激活值

计算自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，l＝1，计算公式为：

其中，N₁是熵率超像素分割区域数目，这里我们设置为1000，π_i是第i个熵率超像素分割区域，p,q∈π_i，表示p和q是熵率超像素分割区域π_i内任意两个邻近样本；

熵率超像素分割提取了样本的空间上下文邻域信息，本发明通过引入熵率超像素分割约束，充分考虑挖掘了数据样本之间的分布特性，有利于提取样本的空间上下文结构特征，有利于增强自编码器提取有辨别力的特征；

(3c)利用自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，通过最小化损失函数J(w^(l),b^(l))，计算第l层自编码器网络的连接权值w^(l)和偏差b^(l)，l＝1：

(3c1)利用自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，计算第l层自编码器损失函数J(w^(l),b^(l))：

其中，λ是熵率超像素分割约束项系数；

(3c2)利用第l层自编码器损失函数J(w^(l),b^(l))，采用梯度下降法，将J(w^(l),b^(l))对重构特征

进行偏导操作，计算第l层自编码器网络重构层残差

(3c3)利用第l层自编码器损失函数J(w^(l),b^(l))和第l层自编码器网络重构层残差

采用梯度下降法，将J(w^(l),b^(l))对重构特征

进行偏导操作，计算第l层自编码器网络隐藏层残差

其中，s_l表示第l层节点的数量，

(3c4)利用第l层自编码器网络隐藏层残差

更新第l层自编码器网络的连接权值w^(l)和偏差b^(l)：

其中，α是学习速率；

(3c5)重复步骤(3c2)-(3c4)，直至第l层自编码器损失函数J(w^(l),b^(l))不再改变，得到第l层自编码器网络的连接权值w^(l)和偏差b^(l)；

(3d)获取第l层自编码器网络的连接权值w^(l)和偏差b^(l)，l＝2,3：

将第l层自编码器网络的隐藏层激活值a^(l+1)作为第l+1层自编码器网络的输入层激活值a^(l)，令l＝l+1，重复步骤(3a)-(3c)，直到l＝3，得到第l层自编码器网络的连接权值w^(l)和偏差b^(l)；

通过对自编码器网络进行训练，得到自编码器网络的最优参数。本发明中的一些先验信息或约束信息对于自编码器网络的特征学习是必不可少的。作为深度学习模型的主要组成部分之一，自编码器网络主要完成了转换学习任务，通过自编码器网络将高维数据转换为低维数据，展示了强大的特征表示和模型泛化能力。

步骤4，利用训练后的基于熵率超像素分割的自编码器网络对高光谱图像进行分类：

(4a)将测试样本集X_q输入到训练后的基于熵率超像素分割的自编码器网络中；

(4b)训练后的基于熵率超像素分割的自编码器网络对测试样本集X_q进行逐层学习，得到自编码器网络的最后一层的隐藏层激活值a⁽ⁿ⁺¹⁾；

(4c)采用softmax逻辑回归分类器，对自编码器网络的最后一层的隐藏层激活值a⁽ⁿ⁺¹⁾进行分类，得到测试样本集X_q的类别标签Y_q，即为高光谱图像的分类结果。

以下结合仿真实验，对本发明的技术效果作详细说明。

1仿真条件和内容：

参照图2，实验采用的数据是典型的AVIRIS高光谱图像：该数据是美国印第安纳州西北部印第安遥感试验区的高光谱图像，总共有16类地物，成像时间为1992年6月。数据共有220个波段，每个波段图像的大小为145×145，空间分辨率为20m。由第50个，第27个和第17个波段构成伪彩色图像，如图2(b)所示。该图像的真实标记图如图2(c)所示。IndianPines图像由16类地物组成，具体包括：alfalfa,corn-notill,corn-mintill,corn,grass-pasture,grass-trees,grass-pasture-mowed,hay-windrowed,oats,soybean-notill,soybean-mintill,soybean-clean,wheat,woods,building-grass-trees-drives,stone-steel-towers种类。

仿真实验在CPU为Intel Core(TM)2Duo、主频2.33GHz、内存8G的WINDOWS 7系统上使用MATLAB R2015进行仿真。

在实验中，采用本发明与栈式自编码器SAE对Indian Pines高光谱图像进行分类。

在实验中，从每一类中随机选取10％的样本作为训练样本，剩余的90％样本作为测试样本。实验进行30次独立迭代，列举了相应指标的均值和标准差结果。这里使用的评估分类结果的指标包括：正确分类的测试样本数目和整体测试样本数目之比OA、所有类别分类精确度的均值AA和评估分类结果一致性的Kappa系数。

2仿真结果分析：

参照图3，我们对仿真结果进行分析。用本发明和SAE对Indian Pines高光谱图像通过实验比对进行分类，得到两种方法对16类地物的真实分类，如图3所示，其中：图3(a)是SAE的分类结果图，图3(b)是我们发明的分类结果图。

首先比较白色框的区域，该区域对应的是图2(c)中下方相应区域，图2(c)是本发明使用的高光谱图像真实的类别标签图。图3(a)下方矩形框中左右边缘噪声点比较多，而在图3(b)中，本发明分类图白色方矩形框中左边和中间区域一致性比较好，噪声点比较少，右边区域有部分噪声点，但是相比图3(a)中相应区域的噪声点相比而言，本发明的分类图图3(b)效果更佳，再则，该区域右边噪声点也是原图的真实反映。然后我们再看中间灰色框和左边灰色框的的分类效果，明显我们发明的噪点要比SAE的噪点少很多，分类效果更佳。

从人眼目视效果可以看出来一定的效果，但是数据更是能从精确的角度表现分类结果。

用本发明SAE对Indian Pines高光谱图像进行分类，结果如表1所示。

表1 本发明与SAE对Indian Pines高光谱图像的分类结果

在表1中，展示了本发明与SAE对于Indian Pines高光谱图像中每种类别的分类精度和对所有类别的OA、AA、和Kappa结果。

从表1可以看出，相对于SAE，本发明在分类精度上取得了很大的提高。OA提高了7.6％，AA提高了4.5％,Kappa提高了5.9％。本发明引入样本的熵率超像素分割约束，提供了先验信息和约束信息，充分挖掘了样本的空间上下文结构分布特性，更高效的提取有辨别力的特征，获得更好的分类性能。

比较图3中左侧和右侧区域的矩形框标注的类别的分类结果，可以发现使用本发明方法比其它对比方法具有更好的区域一致性。这是由于样本的熵率超像素分割约束，保证了区域内部的一致，使得我们在分类结果上获得了更好的区域一致性。

综上，本发明利用自编码器模型，通过栈式自编码器网络逐层学习的方法，通过引入样本的熵率超像素分割约束，挖掘探索了样本的空间上下文结构分布特性，获得了有辨别力的特征，提高了高光谱图像分类效果。

Claims (1)

1.一种基于熵率超像素分割的自编码器的高光谱图像分类方法，其特征在于，包括如下步骤：

(1)获取高光谱图像的训练样本集X_p和测试样本集X_q：

(1a)将三维的高光谱图像X转换为二维高光谱图像X_a，X_a∈R^b×m，其中，b表示X_a的波段个数，m表示X_a的样本个数；

(1b)随机选取X_a的10％样本组成训练样本集X_pp，X_pp∈R^b×pp，其余的90％样本组成测试样本集X_qq，X_qq∈R^b×qq，其中，pp表示初始训练样本集X_pp的数量，qq代表初始测试样本的数量，且满足pp+qq＝m；

(1c)按照光谱波段对初始训练样本集X_pp和初始测试样本集X_qq分别进行归一化操作，得到归一化后的训练样本集X_p和测试样本集X_q；

(2)构建n层自编码器网络：

(2a)构建每一层由输入层、隐藏层和重构层组成的自编码器网络，其中，自编码器网络的第l+1层的输入层等于第l层的隐藏层，l＝1,…,n；

(2b)确定自编码器网络各层的节点数、学习速率α和激活函数f(Z)，并对自编码器网络第l层的输入层和隐藏层的连接权值w^(l)和偏差b^(l)以及第l层自编码器网络的隐藏层和重构层的连接权值

和偏差

进行初始化，n层自编码器网络构建完成；

(3)对基于熵率超像素分割的自编码器网络进行训练，得到训练后的基于熵率超像素分割的自编码器网络：

(3a)计算自编码器网络第l层的重构层激活值

(3a1)将训练样本集X_p作为第l层自编码器网络的输入层激活值a^(l)，并利用该输入层激活值a^(l)计算隐藏层激活值a^(l+1)，计算公式为：

a^(l+1)＝f(Z^(l+1))＝f(w^(l)a^(l)+b^(l))

其中，Z^(l+1)是第l层隐藏层的未激活值；

(3a2)利用自编码器网络第l层的隐藏层激活值a^(l+1)计算重构层激活值

计算公式为：

其中，

是第l层重构层的未激活值；

(3b)定义自编码器网络第l层熵率超像素分割约束的计算公式，并将自编码器网络第l层的重构层激活值

作为该计算公式的输入，计算自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，l＝1，计算公式为：

其中，N₁是熵率超像素分割区域数目，π_i是第i个熵率超像素分割区域，p,q∈π_i，表示p和q是熵率超像素分割区域π_i内任意两个邻近样本；

(3c)利用自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，计算第l层自编码器网络的连接权值w^(l)和偏差b^(l)，l＝1，实现步骤为：

(3c1)利用自编码器网络第l层熵率超像素分割约束J₂(w^(l),b^(l))，计算第l层自编码器损失函数J(w^(l),b^(l))：

其中，λ是熵率超像素分割约束项系数；

(3c2)利用第l层自编码器损失函数J(w^(l),b^(l))计算第l层自编码器网络重构层残差

(3c3)利用第l层自编码器损失函数J(w^(l),b^(l))和第l层自编码器网络重构层残差

计算第l层自编码器网络隐藏层残差

其中，s_l表示第l层节点的数量，

(3c4)利用第l层自编码器网络隐藏层残差

更新第l层自编码器网络的连接权值w^(l)和偏差b^(l)：

其中，α是学习速率；

(3c5)重复步骤(3c2)-(3c4)，直至第l层自编码器损失函数J(w^(l),b^(l))不再改变，得到第l层自编码器网络的连接权值w^(l)和偏差b^(l)；

(3d)获取第l层自编码器网络的连接权值w^(l)和偏差b^(l)，l＝2,3，…n：

将第l层自编码器网络的隐藏层激活值a^(l+1)作为第l+1层自编码器网络的输入层激活值a^(l)，令l＝l+1，重复步骤(3a)-(3c)，直到l＝n，得到第l层自编码器网络的连接权值w^(l)和偏差b^(l)；

(4)利用训练后的基于熵率超像素分割的自编码器网络对高光谱图像进行分类：

(4a)将测试样本集X_q输入到训练后的基于熵率超像素分割的自编码器网络中；

(4b)训练后的基于熵率超像素分割的自编码器网络对测试样本集X_q进行逐层学习，得到自编码器网络的最后一层的隐藏层激活值a⁽ⁿ⁺¹⁾；

(4c)采用softmax逻辑回归分类器，对自编码器网络的最后一层的隐藏层激活值a⁽ⁿ⁺¹⁾进行分类，得到测试样本集X_q的类别标签Y_q，即为高光谱图像的分类结果。

Images