CN104050507A - 基于多层神经网络的超光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于多层神经网络的超光谱图像分类方法，包括训练过程和测试过程,训练过程包括非监督学习过程和监督学习过程;测试过程为将测试数据输入上述训练好的模型中，得到分类结果。本发明利用机器自学习特征的思想，提出了采用基于多层神经网络的超光谱分类方法，这样学习特征比人为设计的特征更加精确，有较好的鲁棒性。该学习只涉及到参数的调节，计算效率高，对于数据的分类准确率高。

Description

基于多层神经网络的超光谱图像分类方法

技术领域

本发明涉及机器学习、神经网络和遥感技术领域，更具体地说，涉及一种基于多层神经网络的超光谱分类。

背景技术

超光谱图像是指图像有数十数百个狭窄的光谱带组成，而每一个光谱带代表着一定范围的电磁波谱。人的眼睛只能接收可见光，而超光谱是把光谱范围扩展到可见光之外的范围。在图像上来说就是普通的彩色图像只有三个波段，即红、绿、蓝3个可见波段成像的叠加，可以表示为一个m*n*3的矩阵，m*n为图像的尺寸，而超光谱图像则是很多波段数据的集合，包括不可见的波段，可以表示为：m*n*L，L是波段数。超光谱图像同时收集了图像的数十数百个光谱波段，建立的精确的谱空间模型更有利于图像的分割和分类。

超光谱图像的分类可以用来确定其对应的材料的类别，比如对于生态，地质以及农业等方面的类别判断。一般的分类包括三个步骤：特征提取，特征降维以及最后的分类，其中最重要的环节就是特征的提取。现有的特征提取的方法比如DMPs算子，EMPs算子和MAPs等，这些方法都将光谱和空间信息进行了联合考虑。特征的学习一般有两种方式：人为学习和机器学习。由于分类的结果与特征的学习有着密切的关系，使用人为学习特征时，当遇到一个新的前面没有学习的特征时，处理学习特征的过程将会变得很难，因此使用机器自学习的方法来学习特征变得即为重要。目前超光谱分类应用中使用较多的仍是传统的分类方法但是随着计算机技术和遥感技术的不断发展，专家系统，神经网络，模糊技术和决策树等一些原来实现困难的新方法也在超谱图像处理中开始发挥作用。

发明内容

本发明的目的在于，针对上述特征学习技术中，采用人为的学习特征法具有学习效率低，适应性差等问题提出了一种基于多层神经网络的机器自学习特征的方法。

实现本发明目的的技术方案为：多层神经网络的结构如图2所示。它包含输入层，中间隐层以及输出层。各层之间是完全连接的而同层间是无连接的。该方法包括训练和测试两个过程。为了便于理解，将做如下的字符说明：

输入数据集X＝{(x_i，L_i)|x_i∈Rⁿ，L_i∈L,i＝1,…N},其中N是训练样本的数目，L＝{1,2,3…,k},k是标签类别的数目。对于超光谱图像中的每一个像素x_i∈Rⁿ(n为超光谱图像中一个像素所含有的光谱带数)。L_i是对应的x_i的类别标签。将每一层的输入记为x，每一层的输出记为y。

训练过程包括以下步骤：

1)非监督学习过程；

2)监督学习过程。

测试过程包括以下步骤：

3)将数据输入上述训练好的模型中,进行分类，得到分类结果。

上述方法中，所述步骤1)包括以下具体步骤：

11)自动编码器构造过程；

12)降噪自动编码器的构造过程，如图3；

13)多层降噪自动编码器构造过程；

上述方法中，所述步骤11)包括以下具体步骤：

111)对于输入数据x，根据式子(1)得到输出y,将这个过程称为编码过程。

y＝f_θ(x)＝s(Wx+b)   (1)

其中 $s\left(x\right)=\frac{1}{1+e^{-x}}.$

112)根据(1)式中的输出y,用式子(2)得到重构后的结果z,将这个过程称为解码(又名重构)过程。

z＝g_θ′(y′)＝s(W′x+b′)   (2)

从输入到输出的权值记为θ＝(W，b),输出到输入的权值记为θ′＝(W′，b′)。

113)逐层进行参数θ和θ′的优化，其目标函数是式子(3)所示：

$\left\{\begin{array}{c}\mathrm{\θ}*,{\mathrm{\θ}}^{\′}*={\arg \min }_{\mathrm{\θ},{\mathrm{\θ}}^{\′}}L(x,z)\\ L(x,z)=\frac{1}{2}\left|\right|x-z{\left|\right|}_2\end{array}\right.---\left(3\right)$

上面部分是参数的最优化式子，下面部分是损失函数。整个式子就是要使输入前的x和最后重构后的z两者间的误差最小。

114)优化过程：在迭代终止前，根据式子(4)进行计算：

$\left\{\begin{array}{c}W=W+\mathrm{\δ\ΔW},b=b+\mathrm{\δ\Δb}\\ W^{\′}{=W}^{\′}+{\mathrm{\δ\ΔW}}^{\′},b^{\′}=b^{\′}+{\mathrm{\δ\Δb}}^{\′}\end{array}\right.---\left(4\right)$

其中，ΔW＝-(z-x)*s′(W′y+b′)*W′*s′(Wx+b)*x；

ΔW′＝-(z-x)*s′(W′y+b′)*y；

Δb＝-(z-x)*s′(W′y+b′)*W′*s′(Wx+b)；

Δb′＝-(z-x)*s′(W′y+b′)；

δ为学习效率，初始化定义其值，一般为一个较小的数。s′(x)表示函数s的导数,即s′(x)＝s(x)*(1-s(x))。

最后得到自动编码器优化后的参数θ和θ′。

上述方法中，所述步骤12)包括以下具体步骤：

121)将原始的输入数据x选取一定量的数据项变成0，即得到加了噪声的输入de(x)。将加入噪声后的输入作为当前的输入进行步骤11)中的编码和解码过程,得到重构后的结果z。接着根据输入de(x)以及重构后的结果z，按照步骤113)和114)中的过程进行目标函数的优化。从而得到降噪编码器的参数θ和θ′。

上述方法中，所述步骤13)包括以下具体步骤：

131)根据图2所示的多层神经网络结构图，将前一层的输出作为后一层的输入。根据步骤12)中的结果，利用优化后的参数θ＝(W，b)得到当前层的输出(即后一层中输入)为将得到的y作为新的输入数据，重复上述步骤12)的过程，即逐层进行降噪自动编码器的构造过程，直到到达多层神经网络中间隐层的最后一层为止，然后算出该层的输出，进行接下来的监督学习的过程。

上述方法中，所述步骤2)包括以下具体步骤：

21)logistic回归的分类和优化过程；

22)神经网络整个反向传播算法的微调过程；

上述方法中，所述步骤21)包括以下具体步骤

211)步骤1)中最后的输出y作为logistic回归的输入数据集x进行分类，其分类的结果用式子(5)进行计算：

$h_{\mathrm{\θ}}^d\left(x\right)=\frac{e^{W_{d}x+b_d}}{{\mathrm{\Σ}}_{j=1}^k{e}^{W_{j}x+b_j}}---\left(5\right)$

其中θ是参数，θ＝(W，b)，表示某一个类别，k为总的类别数目。W_j，b_j表示类别为j时的W，b中的值，即W，b对应的第j行的值。

212)根据目标函数(6)调节参数θ＝(W，b)：

$J\left(\mathrm{\θ}\right)=-\frac{1}{N}\left[{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^{k}t\left(l_{i,}j\right)\log h_{\mathrm{\θ}}^j\left(x\right)\right]---\left(6\right)$

其中N表示总的样本的数目，i表示某一个样本，j表示某一个标签, $t\left(l_{i,}j\right)=\left\{\begin{array}{c}1,l_i=j\\ 0,l_i\≠j\end{array}\right..$

213)优化过程：在迭代终止前，根据(7)进行计算：

W_j＝W_j+δΔW_j，b_j＝b_j+δΔb_j   (7)

其中 ${\mathrm{\ΔW}}_j=\left(1\right\{L_i=j\}-h_{\mathrm{\θ}}^j)*x,{\mathrm{\Δb}}_j=1\{L_i=j\}-h_{\mathrm{\θ}}^j.$

上述方法中，所述步骤22)包括以下具体步骤：

221)调节输出层到隐层的最后一层间的参数。设最后的输出结果是o,实际的结果是t,则最后一层的误差计算为用式子(8)调节参数W:

W＝W+ΔW   (8)

其中ΔW＝δ*ε*y，y表示隐层的最后一层的输出,ε表示相连的两层间的输出误差，δ为学习效率。

222)倒数第二层开始逐层向前参数调节。设第s层的输出为y(s),则与该层相连的前面一层的输出为y(s-1),则两层间的参数W_s用式子(8)进行迭代优化，其中ΔW_s＝δ*ε*y(s-1)，ε＝y(s)(1-y(s-1))W_s+1。

223)最后保存各层的参数则训练过程结束。

上述方法中，所述步骤3)具体过程如下：

将测试数据集X输入到上述已训练的多层神经网络模型，得到分类的结果；根据实际输出的分类结果与原始标签相比，得到测试数据集的正确率。

本发明与现有技术相比，其显著优点：本发明利用机器自学习特征的思想，提出了采用基于多层神经网络的超光谱分类方法，这样学习特征比人为设计的特征更加精确，有较好的鲁棒性。该学习只涉及到参数的调节，计算效率高，对于数据的分类准确率高。

附图说明

图1基于多层神经网络的超光谱分类方法流程图。

图2多层神经网络结构图。

图3加噪自动编码器的构造图。

具体实施方式

本发明的整体操作流程如图1所示。下面结合附图对本发明的具体实施方式作进一步详细的说明。

本发明所使用的多层神经网络它包含1个输入层，3个中间隐层以及1个输出层。其中输入层的节点数等于超光谱数据的光谱带数，输出层的节点数等于超光谱数据的类别数。

为了便于理解，将做如下的字符说明：输入数据集X＝{(x_i，L_i)|x_i∈Rⁿ，L_i∈L,i＝1,…N},其中N是训练样本的数目，L＝{1,2,3…,k},k是标签类别的数目。对于超光谱图像中的每一个像素x_i∈Rⁿ(n为超光谱图像中一个像素所含有的光谱带数)。L_i是对应的x_i的类别标签。将每一层的输入记为x，每一层的输出记为y。

步骤1包括如下步骤：

11)自动编码器构造过程；

12)降噪自动编码器的构造过程；

13)多层降噪自动编码器构造过程；

111)对于输入数据x，根据式子(1)得到输出y,将这个过程称为编码过程。

y＝f_θ(x)＝s(Wx+b)   (1)

其中 $s\left(x\right)=\frac{1}{1+e^{-x}}.$

112)根据(1)式中的输出y,用式子(2)得到重构后的结果z,将这个过程称为解码(又名重构)过程。

z＝g_θ′(y′)＝s(W′x+b′)   (2)

从输入到输出的权值记为θ＝(W，b),输出到输入的权值记为θ′＝(W′，b′)。

113)逐层进行参数θ和θ′的优化，其目标函数是式子(3)所示：

$\left\{\begin{array}{c}\mathrm{\θ}*,{\mathrm{\θ}}^{\′}*={\arg \min }_{\mathrm{\θ},{\mathrm{\θ}}^{\′}}L(x,z)\\ L(x,z)=\frac{1}{2}\left|\right|x-z{\left|\right|}_2\end{array}\right.---\left(3\right)$

上面部分是参数的最优化式子，下面部分是损失函数。整个式子就是要使输入前的x和最后重构后的z两者间的误差最小。

114)优化过程：在迭代终止前，根据式子(4)进行计算：

$\left\{\begin{array}{c}W=W+\mathrm{\δ\ΔW},b=b+\mathrm{\δ\Δb}\\ W^{\′}{=W}^{\′}+{\mathrm{\δ\ΔW}}^{\′},b^{\′}=b^{\′}+{\mathrm{\δ\Δb}}^{\′}\end{array}\right.---\left(4\right)$

其中，ΔW＝-(z-x)*s′(W′y+b′)*W′*s′(Wx+b)*x；

ΔW′＝-(z-x)*s′(W′y+b′)*y；

Δb＝-(z-x)*s′(W′y+b′)*W′*s′(Wx+b)；

Δb′＝-(z-x)*s′(W′y+b′)；

δ为学习效率，其取值为0.001。s′(x)表示函数s的导数,即s′(x)＝s(x)*(1-s(x))

最后得到自动编码器优化后的参数θ和θ′。

上述方法中，所述步骤12)包括以下具体步骤：

121)将原始的输入数据x选取r(第一层r为30％，第二层为20％，第三层为10％)的数据项变成0，即得到加了噪声的输入de(x)。将加入噪声后的输入作为当前的输入进行步骤11)中的编码和解码过程,得到重构后的结果z。接着根据输入de(x)以及重构后的结果z，按照步骤113)和114)中的过程进行目标函数的优化。从而得到降噪编码器的参数θ和θ′。

上述方法中，所述步骤13)包括以下具体步骤：

131)根据图2所示的多层神经网络结构图，将前一层的输出作为后一层的输入。根据步骤12)中的结果，利用优化后的参数θ＝(W，b)得到当前层的输出(即后一层中输入)为将得到的y作为新的输入数据，重复上述步骤12)的过程，其中产生de(x)时，对于中间隐层的第一层取当前层输入数据的30％变为0得到de(x)，第二层取当前层输入数据的20％变为0得到de(x)，第三层取当前输入数据的10％变为0得到de(x)。逐层进行降噪自动编码器的构造过程，然后算出该层的输出，进行接下来的监督学习的过程。

上述方法中，所述步骤2)包括以下具体步骤：

21)logistic回归的分类和优化过程；

22)神经网络整个反向传播算法的微调过程；

上述方法中，所述步骤21)包括以下具体步骤

211)步骤1中最后的输出y作为logistic回归的输入数据集x进行分类，其分类的结果用式子(5)进行计算：

$h_{\mathrm{\θ}}^d\left(x\right)=\frac{e^{W_{d}x+b_d}}{{\mathrm{\Σ}}_{j=1}^k{e}^{W_{j}x+b_j}}---\left(5\right)$

其中θ是参数，θ＝(W，b)，表示某一个类别，k为总的类别数目。W_j，b_j表示类别为j时的W，b中的值，即W，b对应的第j行的值。

211)根据目标函数(6)调节参数θ＝(W，b)：

$J\left(\mathrm{\θ}\right)=-\frac{1}{N}\left[{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^{k}t\left(l_{i,}j\right)\log h_{\mathrm{\θ}}^j\left(x\right)\right]---\left(6\right)$

其中N表示总的样本的数目，i表示某一个样本，j表示某一个标签, $t\left(l_{i,}j\right)=\left\{\begin{array}{c}1,l_i=j\\ 0,l_i\≠j\end{array}\right..$

212)优化过程：在迭代终止前，根据(7)进行计算：

W_j＝W_j+δΔW_j，b_j＝bx+δΔb_j   (7)

其中 ${\mathrm{\ΔW}}_j=\left(1\right\{L_i=j\}-h_{\mathrm{\θ}}^j)*x,{\mathrm{\Δb}}_j=1\{L_i=j\}-h_{\mathrm{\θ}}^j$

上述方法中，所述步骤22)包括以下具体步骤：

221)调节输出层到隐层的最后一层间的参数。设最后的输出结果是o,实际的结果是t,则最后一层的误差计算为ε＝o(1-o)(t-o)；用式子(8)调节参数W:

W＝W+ΔW   (8)

其中ΔW＝δ*ε*y，y表示隐层的最后一层的输出,ε表示相连的两层间的输出误差，δ为学习效率，其值为0.1。

222)倒数第二层开始逐层向前参数调节。设第s层的输出为y(s),则与该层相连的前面一层的输出为y(s-1),则两层间的参数W_s用式子(8)进行迭代优化，其中ΔW_s＝δ*ε*y(s-1)，ε＝y(s)(1-y(s-1))W_s+1。

223)最后保存各层的参数θ_s＝(W_s，b_s)，则训练过程结束。

上述方法中，所述步骤3)包括以下具体步骤：

31)将测试数据集X输入到上述已训练的多层神经网络模型，得到分类的结果。同时还可以根据实际输出的分类结果与原始标签相比，得到测试数据集的正确率。

上述过程中的具体实施参数见表1。

表1

Claims (10)

1.一种基于多层神经网络的超光谱图像分类方法，其特征在于包括训练过程和测试过程, 

训练过程的步骤如下： 

1)非监督学习过程； 

2)监督学习过程； 

测试过程的步骤如下： 

3)将测试数据输入上述训练好的模型中，得到分类结果。 

2.根据权利要求1所述的基于多层神经网络的超光谱图像分类方法，其特征在于所述步骤1)包括以下具体步骤： 

11)自动编码器构造过程； 

12)降噪自动编码器的构造过程； 

13)多层降噪自动编码器构造过程。

3.根据权利要求2所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤11)包括以下具体步骤： 

111)对于输入x，根据式子(1)得到输出y，将这个过程称为编码过程， 

y＝f_θ(x)＝s(Wx+b)   (1) 

其中

112)根据(1)式中的输出y,用式子(2)得到重构后的结果z,将这个过程称为解码即重构过程； 

z＝g_θ′(y′)＝s(W′x+b′)   (2) 

从输入到输出的权值记为θ＝(W，b)，输出到输入的权值记为θ′＝(W′，b′)； 

113)逐层进行参数θ和θ′的优化，其目标函数如式子(3)所示： 

上面部分是参数的最优化式子，下面部分是损失函数；整个式子就是要使输入前的x和最后重构后的z两者间的误差最小； 

114)优化过程：在迭代终止前，根据式子(4)进行计算： 

其中，ΔW＝-(z-x)*s′(W′y+b′)*W′*s′(Wx+b)*x； 

ΔW′＝-(z-x)*s′(W′y+b′)*y； 

Δb＝-(z-x)*s′(W′y+b′)*W′*s′(Wx+b)； 

Δb′＝-(z-x)*s′(W′y+b′)； 

δ为学习效率，初始化定义其值，s′(x)表示函数s的导数,即s′(x)＝s(x)*(1-s(x))； 

最后得到自动编码器优化后的参数θ和θ′。 

4.根据权利要求3所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤111)中的输入具有以下特点： 

输入数据集X＝{(x_i，L_i)|x_i∈Rⁿ，L_i∈L,i＝1,…N},其中N是训练样本的数目，L＝{1,2,3…,k},k是标签类别的数目；对于超光谱图像中的每一个像素x_i∈Rⁿ，n为超光谱图像中一个像素所含有的光谱带数，L_i是对应的x_i的类别标签，将每一层的输入记为x，每一层的输出记为y。 

5.根据权利要求2所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤12)包括如下具体步骤： 

121)将原始的输入数据x选取一定量的数据项变成0，即得到加了噪声的输入de(x)，加入噪声后的输入作为当前的输入进行步骤11)中的编码和解码过程,得到重构后的结果z；接着根据输入de(x)以及重构后的结果z，按照步骤113)和114)中的过程进行目标函数的优化，从而得到降噪编码器的参数θ和θ′。 

6.根据权利要求2所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤13)包括如下具体步骤： 

131)根据多层神经网络结构图，将前一层的输出作为后一层的 输入；根据步骤12)中的结果，利用优化后的参数θ＝(W，b)得到当前层的输出即后一层中输入为将得到的y作为新的输入数据，重复上述步骤12)的过程，即逐层进行降噪自动编码器的构造过程，直到到达多层神经网络中间隐层的最后一层为止，然后算出该层的输出，进行接下来的监督学习的过程。 

7.根据权利要求1所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤2包括如下具体步骤： 

21)logistic回归的分类和优化过程； 

22)神经网络整个反向传播算法的微调过程。 

8.根据权利要求7所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤21)包括如下具体步骤： 

211)步骤1)中最后的输出y作为logistic回归的输入数据集x进行分类，其分类的结果用式子(5)进行计算： 

其中θ是参数，θ＝(W，b)，表示某一个类别，k为总的类别数目，W_j，b_j 表示类别为j时的W，b中的值，即W，b对应的第j行的值； 

212)根据目标函数(6)调节参数θ＝(W，b)： 

其中N表示总的样本的数目，i表示某一个样本，j表示某一个标签,

213)优化过程：在迭代终止前，根据(7)进行计算： 

W_j＝W_j+δΔW_j，b_j＝b_j+δΔb_j   (7) 

其中

9.根据权利要求7所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤22)包括如下具体步骤： 

221)调节输出层到隐层的最后一层间的参数；设最后的输出结果是o,实际的结果是t,则最后一层的误差计算为ε＝o(1-o)(t-o)；用式子(8)调节参数W: 

W＝W+ΔW   (8) 

其中ΔW＝δ*ε*y，y表示隐层的最后一层的输出,ε表示相连的两层间的输出误差，δ为学习效率； 

222)倒数第二层开始逐层向前参数调节；设第s层的输出为y(s)，则与该层相连的前面一层的输出为y(s-1),则两层间的参数W_s用式子(8)进行迭代优化，其中ΔW_s＝δ*ε*y(s-1)， ε＝y(s)(1-y(s-1))W_s+1； 

223)最后保存各层的参数θ_s＝(W_s，b_s)，则训练过程结束。 

10.根据权利要求1所述的基于多层神经网络的超光谱图像分类方法，其特征在于步骤3)包括如下具体步骤： 

将测试数据集X输入到上述已训练的多层神经网络模型，得到分类的结果，根据实际输出的分类结果与原始标签相比，得到测试数据集的正确率。