CN109784192B - 基于超像素特征提取神经网络算法的高光谱影像分类方法 - Google Patents

Abstract

本发明公开一种基于超像素特征提取神经网络算法的高光谱影像分类方法，包括：高光谱影像经像素点标记和超像素分割处理获得带有像素点标记的超像素和未带像素点标记的超像素；利用超像素特征提取神经网络以带有像素点标记的超像素为输入对象进行网络训练，再利用训练好的超像素特征提取神经网络对未带像素点标记的超像素进行处理得到分类图；所述的超像素特征提取神经网络包括多个叠加的子网络层，每层子网络层由全连接的特征提取层、池化层、特征拼接层和批标准化层组成。本发明减少了监督学习方法中对样本标记数目的依赖；通过设计的神经网络对超像素的提取，兼顾了超像素个体像素以及全体像素的深度特征信息，使特征更鲁棒。

Description

基于超像素特征提取神经网络算法的高光谱影像分类方法

技术领域

本发明属于神经网络与遥感图像处理领域的结合，主要解决遥感影像地物分类的问题，具体提供一种基于超像素特征提取神经网络算法的高光谱影像分类方法，实现对高光谱影像的地物分类。

背景技术

随着近几十年对地观测技术的蓬勃发展，我们可以很轻易地获得大量的高空间分辨率、高光谱的遥感影像数据。因此，对海量遥感数据的分析逐渐成为了学术界研究的热点课题之一。对高光谱影像的分类就是其中非常重要的应用之一。高光谱影像是一类拥有着大量通道的特殊遥感影像，它包含着比传统遥感影像多数倍的光谱信息。正因为如此，高光谱影像被广泛地应用于地物分类、目标检测、农业监测、矿物匹配、环境治理等领域。

在过去的几十年中，有大量用来解决高光谱分类问题的新颖先进的技术被提出。对于监督高光谱分类任务来说，给定每类样本一定数目的带标记训练样本，图像中每个像素的标记可以通过训练一个模型来获得。这一过程常常与模式识别和机器学习的方法相结合。其中最具有代表性的就是支持向量机(SVM)和多类别逻辑回归(MLR)，他们都被证明是有效且高效的方法。然而，基于核函数的方法常常存在核函数选择和参数组合的困难。Huang等人提出了一种名为极限学习机的算法，仅仅需要一部，它就可以获得学习网络的权重。相对于SVM和传统的人工神经网络，极限学习机更加快速并且具有更好的泛化能力。此外，由于高光谱影像具有大量的通道，其中必然包含着许多噪声通道和冗余的信息，因此又有很多解决高光谱影像通道筛选和主要影响因子的方法被提出。这些方法可以有效的提升后续处理工作的效率与精度。主成分分析(PCA)就是其中使用最广泛且最有效的方法之一。它在缩减特征数目的同时，尽可能的减少了信息的丢失，从而实现了对数据全面的分析。

在纯光谱分析方法中，仅仅利用了图像的光谱信息，而忽略了图像本身所具有的空间信息，因此常常会出现噪声过多的问题。因此，许多方法从该问题入手，充分利用到了图像的空间结构和光谱信息，获得了更加鲁棒的效果和更高的精度。

随着数据量的逐渐增多，我们需要一些能够快速处理海量数据的方法。并且由于人工标记的时间成本过高，因此我们需要提出一些可以减少对训练样本标签数目依赖，甚至不需要标签的方法，使高光谱的分类有更广阔的发展前景。

发明内容

本发明的目的是提出一种基于超像素特征提取神经网络算法的高光谱影像分类方法，该方法结合超像素分割算法，削减了对以往监督方法对训练样本数目的依赖。

为实现上述目的，本发明包括如下步骤：

一种基于超像素特征提取神经网络算法的高光谱影像分类方法，包括：高光谱影像经像素点标记和超像素分割处理获得带有像素点标记的超像素和未带像素点标记的超像素；

利用超像素特征提取神经网络以带有像素点标记的超像素为输入对象进行网络训练，再利用训练好的超像素特征提取神经网络对未带像素点标记的超像素进行处理得到分类图；

所述的超像素特征提取神经网络包括多个叠加的子网络层，每层子网络层由全连接的特征提取层、池化层、特征拼接层和批标准化层组成。

可选的，所述的超像素特征提取神经网络的初始化参数为全连接层FCN(x)和批标准化层BN(x)；

全连接层FCN(x)＝W·x+b，W为连接权重参数，采用服从标准正态分布的随机数初始化，即W~N(0,1)；b为偏置项参数，采用数值0进行初始化；x为输入的超像素；

批标准化层其中E[x]表示全连接层输出的x的期望值，Var[x]表示全连接层输出的x的方差值；α和β分别以服从均匀分布U(0,1)的随机数和数值0进行初始化。

可选的，所述的网络训练包括：

超像素特征提取网络对带有像素点标记的超像素进行特征提取获得既包含各个像素特征又包含整个超像素特征的融合特征信息；使用FocalLoss作为分类的损失函数对超像素特征提取网络进行分类训练。

可选的，超像素特征提取网络对带有像素点标记的超像素进行特征提取按如下步骤进行：

(a)带有像素点标记的超像素X_train输入超像素特征提取网络，第一个子网络使用全连接层FCN(x)进行第一层特征提取，即X_feat＝FCN(X_train)；将第一层特征进行最大池化处理X_maxfeat＝MaxPool(X_feat)；之后对第一层特征和池化处理后的第一层特征进行拼接处理得到X_catfeat＝Concatenate(X_feat,X_maxfeat)，之后对拼接后的特征进行批标准化处理X_norm＝BN(X_catfeat)；

(b)使用多个与(a)中相同的子网络结构对X_norm进行深层次的特征提取，得到既包含各个像素特征又包含整个超像素特征的融合特征信息。

可选的，所述的FocalLoss损失函数，可由下述公式表示：

FL(p_t)＝-(1-p_t)^γlog(p_t)

式中，prob为模型预测得到的概率，y∈{±1}表示样本真实的类别；γ为注意力参数。

可选的，所述的像素点标记包括：

高光谱影像经过滤波去噪和波段选取得到高光谱影像I；对高光谱影像I中感兴趣区域进行像素点标记，并从中选取像素点总量的1％～10％的带有像素点标记的超像素样本作为训练样本。

可选的，所述的超像素分割包括：

高光谱影像进行主成分分析算法处理获取第一主成分I_comp1；对高光谱影像的第一主成分I_comp1进行超像素分割处理，获得超像素。

可选的，所述的超像素分割，具体实现步骤如下：

(a)调整高光谱影像I的维度(r,c,d)到二维(r×c,d)得到分析数据D，即D＝Reshape(I)＝(p₁,p₂,…,p_r×c)，其中r、c和d分别代表高光谱影像的长度、宽度和通道数目，数据D中的元素p_r×c即为高光谱影像所有的像素点，每个元素p_r×c具有d维特征；

(b)计算分析数据D的协方差矩阵，

(c)求出协方差矩阵的特征值和其对应的特征向量，即[λ,ν]＝eig(C)，其中λ,ν分别表示特征值和特征向量，满足νC＝λC；

(d)将特征向量按照对应特征值大小从大到小排列成矩阵P；计算转换后数据矩阵R＝PD，R的每列即为一个主成分，取第一列的第一主成分得到D_comp1；调整D_comp1的形式为r×c的二维矩阵，即得到了原始图像的第一主成分I_comp1；

(e)对高光谱影像的第一主成分I_comp1进行超像素分割处理，获得超像素I_segmap。

可选的，所述的超像素的个数n选取包括：

其中r和c分别代表超像素影像的长度和宽度，avgnum_pixels代表预设超像素内包含像素点个数的平均值，int运算表示对比值进行取整处理。

本发明与现有的技术相比具有以下优点：

1、本发明采用了超像素分割算法处理高光谱影像。超像素分割可以看作是对局部区域像素点空间特征相似性的度量，同一个超像素内的点具有非常高的相似性，因此，在缺少样本标记的监督方法中，我们可以利用该特征，将超像素点的标记作为超像素的标记，并在后续的模型中使用超像素作为训练的基本单位，这样就大大减少了对样本数目的依赖；

2、本发明采用了超像素特征提取神经网络作为超像素的特征提取器。该网络可以有效的结合超像素中个体像素点和超像素整体的深层特征，相对于简单的像素域特征整合和手动特征工程来说，这样的特征更加具有鲁棒性；

3、本发明引入了FocalLoss作为分类的损失函数。该函数可以使模型侧重关注不易于分类及样本数目较少的类别，使模型对不同类别的关注程度均衡化，因此，对于不同种类样本不均衡的问题，该函数可以修复模型导向，均衡不同类别关注度，可有效提高分类效率与精度。

附图说明

图1是本发明实现步骤的流程框图；

图2(a)和(b)是本发明所进行的高光谱影像分类的一个数据集中高光谱图像和对应的参考图；

图3(a)和(b)是本发明对图2中高光谱影像进行主成分分析提取的第一主成分和超像素分割的结果；

图4是本发明中超像素特征提取神经网络对图2进行分类的结果；

图5(a)和(b)是本发明所进行的高光谱影像分类的另一个数据集中高光谱图像和对应的参考图；

图6是本发明对图5中高光谱影像分类的结果。

具体实施方式

高光谱遥感(Hyperspectral remote sensing)是将成像技术和光谱技术相结合的多维信息获取技术，同时探测目标的二维集合空间与一维光谱信息，获取高光谱分辨率的连续、窄波段图像数据。即本发明中提到的高光谱影像，是一类拥有着大量通道的特殊遥感影像，它包含着比传统遥感影像多数倍的光谱信息。

在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是你的图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定你想处理的目标，可以减少处理时间，增加精度。

本发明通过特征提取神经网络对超像素进行特征提取，可以有效的获取更为鲁棒的深度融合特征。在分类时还引入了Focal Loss作为分类损失函数，可以在一定程度上解决各类训练样本数目不平衡导致的模型导向偏离的问题，最终有效的提高了高光谱影像地物分类的效率与精度。

具体的，本发明的基于超像素特征提取神经网络算法的高光谱影像分类方法，包括：高光谱影像经像素点标记和超像素分割处理获得带有像素点标记的超像素和未带有像素点标记的超像素；利用超像素特征提取神经网络以超像素为输入对象进行网络训练，再利用训练好的超像素特征提取神经网络对超像素进行处理得到分类图；其中，像素点标记指的是使用不同的数字来代表像素点不同的类别。

图像分割(Segmentation)指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。图像分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。

超像素特征提取神经网路包含多个全连接的特征提取层、池化层、特征拼接层和批标准化层组成的子网络的叠加。此外，该网络中使用的激活函数为线性整流函数(Rectified Linear Unit,ReLU)。

具体的：

参照图1，本发明的具体实现步骤如下：

步骤1、高光谱影像的预处理，包括像素点标记和超像素分割；

1a)通过高光谱类卫星获得一幅高光谱影像，输入搭配安装有Matlab软件的计算机中，利用相关软件处理，经过滤波去噪和波段选取，得到高光谱影像I。

比如，在具体实施例中，由于卫星获取的高光谱影像通常包含噪声及不可用波段，因此需要进行滤波及波段选取，选取原始大图像中的一部分(610*340*103)来进行实验。数据集如图2所示。

1b)对高光谱影像I中感兴趣区域进行像素点标记，并从中选取带标记的像素点作为训练样本，比如选取像素点总量的1％～10％的标记像素点样本作为训练样本。比如，在本实验中，随机选取各类占各自总像素点数3％的像素点作为训练样本进行实验。

1c)对高光谱影像进行主成分分析算法处理，获取其第一主成分I_comp1。包括：

调整高光谱影像I的维度(r,c,d)到二维(r×c,d)得到分析数据D，即D＝Reshape(I)＝(p₁,p₂,…,p_r×c)，其中r、c和d分别代表高光谱影像的长度、宽度和通道数目，数据D中的元素p_r×c即为高光谱影像所有的像素点，每个元素p_r×c具有d维特征；

计算分析数据D的协方差矩阵，

求出协方差矩阵的特征值和其对应的特征向量，即[λ,ν]＝eig(C)，其中λ,ν分别表示特征值和特征向量，满足νC＝λC；将特征向量按照对应特征值大小从大到小排列成矩阵P；计算转换后数据矩阵R＝PD，R的每列即为一个主成分，取第一列的第一主成分得到D_comp1；调整D_comp1的形式为r×c的二维矩阵，即得到了高光谱影像I的第一主成分I_comp1。

1d)对高光谱影像的第一主成分I_comp1进行超像素分割处理，获得超像素I_segmap。高光谱影像的第一主成分I_comp1和分割结果如图3所示，图3a为高光谱影像的第一主成分I_comp1，图3b为分割结果图。

其中参数超像素个数的选取其中r和c分别代表超像素影像的长度和宽度，avgnum_pixels代表预设超像素内包含像素点个数的平均值，int运算表示对比值进行取整处理。比如，在具体的实施例中，取avgnum_pixels为170，得到n＝1200。

即超像素包括带有像素点标记的超像素和未带像素点标记的超像素，将标记像素点的标记作为所在超像素的标记。利用超像素内部元素的高度相似性，比如采用多数投票法，如果一个超像素里面有多个不同类别的标记像素点，选所占比例最大的标记像素点作为该超像素的像素点标记；因此将标记像素点的标记作为所在超像素的标记，在后续步骤中直接以超像素作为处理的单元。

步骤2：构造超像素特征提取神经网络，对带有像素点标记的超像素进行特征提取得到既包含各个像素特征又包含整个超像素特征的融合特征信息，并使用损失函数对超像素特征提取神经网络进行分类训练；

2a)构造超像素特征提取神经网络，超像素特征提取神经网路包含多个全连接的特征提取层、池化层、特征拼接层和批标准化层组成的子网络的叠加。此外，该网络中使用的激活函数为线性整流函数(Rectified Linear Unit,ReLU)，在本实验中，根据处理数据的数据量，采用了2个子网络构造超像素特征提取神经网络

2b)初始化全连接FCN(x)和批标准化BN(x)参数：

构造全连接层FCN(x)＝W·x+b，其中W＝(w₁,w₂,w₃,…,w_n)为连接权重参数，n为输入x的维度，b为偏置项参数。对于W，采用服从标准正态分布的随机数初始化，即W~N(0,1)；参数b则采用数值0进行初始化；

构造批标准化层其中E[x]和Var[x]分别表示上一层的输出x的期望与方差。α和β分别以服从均匀分布U(0,1)的随机数和数值0进行初始化。

2c)使用设计的超像素特征提取网络对带有像素点标记的超像素进行特征提取，获得既包含各个像素特征又包含整个超像素特征的融合特征信息。

对超像素的输入维度进行统一，设超像素内像素个数为n_spix。以avgnum_pixels作为标准，若n_spix>avgnum_pixels，则随机选取avgnum_pixels个像素点作为代表该超像素的样本点；若超像素内像素个数小于n_spix<avgnum_pixels，则选取所有的像素点作为代表该超像素的样本点，并使用所有像素点的均值作为补充样本，使样本个数达到avgnum_pixels；

样本X_train输入超像素特征提取网络，超像素特征提取网络为多个结构一致的子网络的叠加，第一个子网络使用全连接层FCN(x)进行第一层特征提取，即X_feat＝FCN(X_train)；将第一层特征进行最大池化处理X_maxfeat＝MaxPool(X_feat)；之后对第一层特征和池化处理后的第一层特征进行拼接处理得到X_catfeat＝Concatenate(X_feat,X_maxfeat)，之后对拼接后的特征进行批标准化处理X_norm＝BN(X_catfeat)；

之后，使用多个(比如本实施例中只有两个子网络，所以使用的是第二个子网络)与第一个子网络相同构造的子网络结构再对X_norm进行深层次的特征提取，得到既包含各个像素特征又包含整个超像素特征的融合特征信息。

2d)使用FocalLoss作为分类的损失函数进行分类训练，得到模型。

FocalLoss损失函数，可由下述公式表示：

FL(p_t)＝-(1-p_t)^γlog(p_t)

式中，prob为模型预测得到的概率，y∈{±1}表示样本真实的类别；γ为注意力参数，其值越大，对不易区分的样本关注度越高，其值越小，对各种样本的关注度越均衡，通常设为2，可根据实际情况调参。

步骤3：未带像素点标记的超像素输入训练好的超像素特征提取网络，得到分类标签，输出分类结果图；比如对原图2的处理分类结果如图4所示。

本发明的效果可通过以下仿真进一步说明：

实验内容：

本实验的使用的硬件环境为一台装有Windows 10操作系统的台式个人电脑，其中中央处理器(CPU)为英特尔酷睿i5-6500，内存为8GB。

为了说明本发明的有效性和适应性，实验所使用的输入图像为另一个数据集中的高光谱影像，如图5所示，图5(a)和(b)是本发明所进行的高光谱影像分类的另一个数据集中高光谱图像和对应的参考图。对图5中的高光谱影像进行如图1中所示的流程进行处理，得到训练模型。经过预测，即可得到最终的分类结果图，如图6所示。从图6可以看出，本发明所提出的基于超像素特征提取神经网络算法的高光谱影像分类方法可以很好的作用在其他数据集上，同时可以看出，用本发明能够达到令人满意的效果。

综上所述，本发明首先利用超像素分割进行处理，减少了对样本数目的需求；接着使用超像素特征提取神经网络对超像素进行深层次的融合特征提取，提升了特征的鲁棒性；最后使用FocalLoss作为分类损失函数，在一定程度上解决了各类样本数目不均衡的问题，最终得到了很好的分类结果。

Claims (8)

1.一种基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，包括：高光谱影像经像素点标记和超像素分割处理获得带有像素点标记的超像素和未带像素点标记的超像素；

利用超像素特征提取神经网络以带有像素点标记的超像素为输入对象进行网络训练，再利用训练好的超像素特征提取神经网络对未带像素点标记的超像素进行处理得到分类图；

所述的超像素特征提取神经网络包括多个叠加的子网络层，每层子网络层由全连接的特征提取层、池化层、特征拼接层和批标准化层组成；

所述的超像素特征提取神经网络的初始化参数为全连接层FCN(x)和批标准化层BN(x)；

全连接层FCN(x)＝W·x+b，W为连接权重参数，采用服从标准正态分布的随机数初始化，即W~N(0,1)；b为偏置项参数，采用数值0进行初始化；x为输入的超像素；

批标准化层其中E[x]表示全连接层输出的x的期望值，Var[x]表示全连接层输出的x的方差值；α和β分别以服从均匀分布U(0,1)的随机数和数值0进行初始化。

2.根据权利要求1所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，所述的网络训练包括：

超像素特征提取网络对带有像素点标记的超像素进行特征提取获得既包含各个像素特征又包含整个超像素特征的融合特征信息；使用FocalLoss作为分类的损失函数对超像素特征提取网络进行分类训练。

3.根据权利要求2所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，超像素特征提取网络对带有像素点标记的超像素进行特征提取按如下步骤进行：

(a)带有像素点标记的超像素X_train输入超像素特征提取网络，第一个子网络使用全连接层FCN(x)进行第一层特征提取，即X_feat＝FCN(X_train)；将第一层特征进行最大池化处理X_maxfeat＝MaxPool(X_feat)；之后对第一层特征和池化处理后的第一层特征进行拼接处理得到X_catfeat＝Concatenate(X_feat,X_maxfeat)，之后对拼接后的特征进行批标准化处理X_norm＝BN(X_catfeat)；

(b)使用多个与(a)中相同的子网络结构对X_norm进行深层次的特征提取，得到既包含各个像素特征又包含整个超像素特征的融合特征信息。

4.根据权利要求2所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，所述的FocalLoss损失函数，可由下述公式表示：

FL(p_t)＝-(1-p_t)^γlog(p_t)

式中，prob为模型预测得到的概率，y∈{±1}表示样本真实的类别；γ为注意力参数。

5.根据权利要求1所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，所述的像素点标记包括：

高光谱影像经过滤波去噪和波段选取得到高光谱影像I；对高光谱影像I中感兴趣区域进行像素点标记，并从中选取像素点总量的1％～10％的带有像素点标记的超像素样本作为训练样本。

6.根据权利要求1所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，所述的超像素分割包括：

高光谱影像进行主成分分析算法处理获取第一主成分I_comp1；对高光谱影像的第一主成分I_comp1进行超像素分割处理，获得超像素。

7.根据权利要求1所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，所述的超像素分割，具体实现步骤如下：

(a)调整高光谱影像I的维度(r,c,d)到二维(r×c,d)得到分析数据D，即D＝Reshape(I)＝(p₁,p₂,…,p_r×c)，其中r、c和d分别代表高光谱影像的长度、宽度和通道数目，数据D中的元素p_r×c即为高光谱影像所有的像素点，每个元素p_r×c具有d维特征；

(b)计算分析数据D的协方差矩阵，

(c)求出协方差矩阵的特征值和其对应的特征向量，即[λ,ν]＝eig(C)，其中λ,ν分别表示特征值和特征向量，满足νC＝λC；

(d)将特征向量按照对应特征值大小从大到小排列成矩阵P；计算转换后数据矩阵R＝PD，R的每列即为一个主成分，取第一列的第一主成分得到D_comp1；调整D_comp1的形式为r×c的二维矩阵，即得到了原始图像的第一主成分I_comp1；

(e)对高光谱影像的第一主成分I_comp1进行超像素分割处理，获得超像素I_segmap。

8.根据权利要求7所述的基于超像素特征提取神经网络算法的高光谱影像分类方法，其特征在于，所述的超像素的个数n选取包括：

其中r和c分别代表超像素影像的长度和宽度，avgnum_pixels代表预设超像素内包含像素点个数的平均值，int运算表示对比值进行取整处理。

Images