CN111144214B - 基于多层堆栈式自动编码器的高光谱图像解混方法 - Google Patents

Abstract

本发明公开了基于多层堆栈式自动编码器的高光谱图像解混方法，包括以下步骤：逐个训练三个自动编码器，组成堆栈自动编码器，提取图像高阶光谱特征；构造多层自动编码器网络，并利用步骤一中训练好的参数初始化该多层自动编码器网络；利用梯度下降算法训练多层自动编码器网络，直至多层自动编码器网络的输入层与输出层之间的重构误差最小；本发明通过利用堆栈自动编码器实现对高光谱图像高阶光谱特征的学习，为多层自动编码器提供更好的初始化，在多层自动编码器损失函数中加入稀疏项和正则化项约束端元和丰度，以此来提高解混精度，本方法不需要任何先验知识，进行无监督学习，泛化能力强，在端元提取和丰度估计方面都取得了良好的效果。

Description

基于多层堆栈式自动编码器的高光谱图像解混方法

技术领域

本发明涉及高光谱图像解混技术领域，尤其涉及基于多层堆栈式自动编码器的高光谱图像解混方法。

背景技术

混合像元的广泛存在已经成为制约高光谱遥感应用的突出问题，它不仅影响了基于高光谱图像的地物识别精度，而且对图像的目标检测和亚像元分类等也产生较大影响，因此，如何有效地解决混合像元问题是高光谱图像处理技术面临的难题之一；

目前解决混合像元问题最为有效的方法为混合像元分解，解混技术已经有几十年的发展历史，国内外传统的解混方法主要分为4类：几何分析方法、统计分析方法、稀疏回归分析方法以及光谱-空间联合分析方法，传统方法存在依赖于先验知识、解混精度低等问题，在实际应用中有较多限制；

近年来，深度学习算法发展较快，已经应用到遥感领域，在图像分类、图像识别等方面取得了较好的效果。自动编码器通过减少重构误差来自动学习数据的特征，解码过程与解混过程相匹配，从而使其成为解决混合像元问题的理想模型；然而，较多自动编码器算法解混以单个自动编码器为模型，这不利于图像高阶特征的学习从而影响解混精度；

现有的高光谱图像解混方法大多利用传统算法，分为线性解混模型和非线性解混模型，虽然能得到较好的解混效果，但同时具有以下几个缺点：1)基于非线性的解混模型解混需要先验知识或者相应的特征信息，且模型普适性差，同时还需要众多的输入参数，给实际应用带来了困难；2)基于线性的解混模型将端元提取和丰度估计分步进行，容易在第一步产生误差影响丰度估计，进而导致低的解混精度对目标检测和亚像元分类等产生不利影响，因此，本发明提出基于多层堆栈式自动编码器的高光谱图像解混方法，以解决现有技术中的不足之处。

发明内容

针对上述问题，本发明提出基于多层堆栈式自动编码器的高光谱图像解混方法，通过利用堆栈自动编码器实现对高光谱图像高阶光谱特征的学习，为多层自动编码器提供更好的初始化，在多层自动编码器损失函数中加入稀疏项和正则化项约束端元和丰度，以此来提高解混精度，本方法不需要任何先验知识，进行无监督学习，不仅可以提高解混精度，而且泛化能力强，本发明方法较好的实现了高光谱图像解混，在端元提取和丰度估计方面都取得了良好的效果。

本发明提出基于多层堆栈式自动编码器的高光谱图像解混方法，包括以下步骤：

步骤一：逐个训练三个自动编码器，组成堆栈自动编码器，提取图像高阶光谱特征，得到特征层1、特征层2和特征层3；

步骤二：构造多层自动编码器网络，逐个训练且组成堆栈自动编码器的三个自动编码器中每个网络的特征层均作为多层自动编码器网络的特征层，形成深度学习网络，并利用步骤一中训练好的参数初始化该多层自动编码器网络；

步骤三：利用梯度下降算法训练多层自动编码器网络，在多层自动编码器网络引入非负和稀疏性，去除多层自动编码器网络中的自动编码器的偏置项，在多层自动编码器网络的解码层中掉激活函数，并对预测的端元和丰度进行非负约束，对丰度单独进行和为一约束，直至多层自动编码器网络的输入层与输出层之间的重构误差最小，即完成多层自动编码器网络训练。

进一步改进在于：所述步骤一中的三个自动编码器组成堆栈自动编码器时，在网络结构上，视为一种前馈神经网络，由一个输入层，一个或多个特征层以及输出层组成，用数学的方式表示为：输入数据x∈R^m*n，将其映射到特征层a∈R^m*h，然后a通过解码到输出层x'∈R^m*n，该过程的表达式如公式(1)、(2)、(3)、(4)所示：

z₁＝w₁x+b₁ (1)

a＝f(z₁) (2)

z₂＝w₂a+b₂ (3)

x'＝f(z₂) (4)

其中，w₁,b₁为输入层与特征层之间的权重和偏置；w₂,b₂为特征层与输出层之间的权重和偏置；特征层神经元个数为h，f(·)为其激活函数。

进一步改进在于：所述步骤一中特征层1、特征层2和特征层3的激活函数为带泄露整流函数，数学表达公式如公式(5)所示：

其中，x为输入数据，a为固定的参数。

进一步改进在于：所述步骤一中堆栈自动编码器的单个样本其损失函数如公式(6)所示：

当输入样本个数为m，其损失函数如公式(7)所示：

公式(7)中用欧式距离表示重构误差，避免网络训练过拟合对w₁,w₂进行约束。

进一步改进在于：所述步骤二中利用步骤一中训练好的参数初始化多层自动编码器网络时，多层自动编码器网络的输入层到特征层1、特征层1到特征层2以及特征层2到特征层3之间的权值系数矩阵由步骤一训练得到，特征层3与多层自动编码器网络的输出层之间的权值系数矩阵随机产生。

进一步改进在于：所述步骤三中在多层自动编码器网络中引入稀疏性，用L1正则化约束丰度估计以及K-L散度约束样本的相似性分数表示，样本相似性分数的计算方法如公式(8)和(9)所示：

SAD(x,x')＝cos^-1(θ(x,x')) (8)

其中，公式(8)中计算输入数据与输出数据之间的SAD范围为[0,π]；当SAD为0时则表示误差最小，将SAD进行归一化，然后得到样本相似性分数，分数越高则证明相似性越高，数学表达如公式(10)所示，公式(10)中参数x’的数学表达式如公式(11)所示：

x'＝f₃*wn (11)

其中，f₃代表特征层3的输出。

进一步改进在于：所述公式(11)中通过反向传播算法对wn进行优化,并对wn进行L2正则化约束。

进一步改进在于：所述步骤三中多层自动编码器网络的损失函数表示如公式(12)所示：

其中，λ₁为控制欧式范数影响的参数；λ₂为控制SAD影响的参数；D_KL为最大化输入数据与输出数据之间的SAD；λ₃为其影响参数；λ₄，λ₅分别为L1正则化和L2正则化影响参数。

本发明的有益效果为：本发明方法通过利用堆栈自动编码器实现对高光谱图像高阶光谱特征的学习，为多层自动编码器提供更好的初始化，在多层自动编码器损失函数中加入稀疏项和正则化项约束端元和丰度，以此来提高解混精度，通过利用带泄露整流函数作为激活函数，解决了计算过程中分母出现零值的问题，同时对预测的端元和丰度进行非负约束，对丰度单独进行和为一约束，将稀疏约束和正则化加入到网络训练中得到了更好的端元提取和丰度估计效果，本方法不需要任何先验知识，进行无监督学习，不仅可以提高解混精度，而且泛化能力强，本发明方法较好的实现了高光谱图像解混，在端元提取和丰度估计方面都取得了良好的效果。

附图说明

图1为本发明多层堆栈式自动编码器解混方法流程示意图；

图2为本发明多层堆栈式自动编码器解混方法示意图；

图3为本发明实施例中多种解混方法进行高光谱图像解混后的解混效果对比示意图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

根据图1、2、3所示，本实施例提出基于多层堆栈式自动编码器的高光谱图像解混方法，包括以下步骤：

步骤一：逐个训练三个自动编码器，组成堆栈自动编码器，提取图像高阶光谱特征，得到特征层1、特征层2和特征层3，三个自动编码器在网络结构上，视为一种前馈神经网络，由一个输入层，一个或多个特征层以及输出层组成，用数学的方式表示为：输入数据x∈R^m*n，将其映射到特征层a∈R^m*h，然后a通过解码到输出层x'∈R^m*n，该过程的表达式如公式(1)、(2)、(3)、(4)所示：

z₁＝w₁x+b₁ (1)

a＝f(z₁) (2)

z₂＝w₂a+b₂ (3)

x'＝f(z₂) (4)

其中，w₁,b₁为输入层与特征层之间的权重和偏置；w₂,b₂为特征层与输出层之间的权重和偏置；特征层神经元个数为h，f(·)为其激活函数；

特征层1、特征层2和特征层3的激活函数为带泄露整流函数，数学表达公式如公式(5)所示：

其中，x为输入数据，a为固定的参数，本实施例中a取值为0.2；

堆栈自动编码器的单个样本其损失函数如公式(6)所示：

当输入样本个数为m，其损失函数如公式(7)所示：

公式(7)中用欧式距离表示重构误差，避免网络训练过拟合对w₁,w₂进行约束；

步骤二：构造多层自动编码器网络，逐个训练且组成堆栈自动编码器的三个自动编码器中每个网络的特征层均作为多层自动编码器网络的特征层，形成深度学习网络，并利用步骤一中训练好的参数初始化该多层自动编码器网络，多层自动编码器网络的输入层到特征层1、特征层1到特征层2以及特征层2到特征层3之间的权值系数矩阵由步骤一训练得到，特征层3与多层自动编码器网络的输出层之间的权值系数矩阵随机产生；

步骤三：利用梯度下降算法训练多层自动编码器网络，在多层自动编码器网络引入非负和稀疏性，去除多层自动编码器网络中的自动编码器的偏置项，在多层自动编码器网络的解码层中掉激活函数，并对预测的端元和丰度进行非负约束，对丰度单独进行和为一约束，直至多层自动编码器网络的输入层与输出层之间的重构误差最小，即完成多层自动编码器网络训练；

稀疏性表现在L1正则化约束丰度估计以及K-L散度约束样本的相似性分数表示，样本相似性分数的计算方法如公式(8)和(9)所示：

SAD(x,x')＝cos^-1(θ(x,x')) (8)

其中，公式(8)中计算输入数据与输出数据之间的SAD范围为[0,π]；当SAD为0时则表示误差最小，将SAD进行归一化，然后得到样本相似性分数，分数越高则证明相似性越高，数学表达如公式(10)所示，公式(10)中参数x’的数学表达式如公式(11)所示：

x'＝f₃*wn (11)

其中，f₃代表特征层3的输出；

公式(11)中通过反向传播算法对wn进行优化,并对wn进行L2正则化约束；

多层自动编码器网络的损失函数表示如公式(12)所示：

其中，λ₁为控制欧式范数影响的参数；λ₂为控制SAD影响的参数；D_KL为最大化输入数据与输出数据之间的SAD；λ₃为其影响参数；λ₄，λ₅分别为L1正则化和L2正则化影响参数，本实施例中通过多次训练，最终确定达到最优结果的影响参数：λ₁为0.1，λ₂为8，λ₃为10，λ₄为8，λ₅为3。

将本发明方法与基于单层自动编码器解混方法以及传统方法(N-FINDR)进行对比，得到的丰度图对比如图3所示(图3中从左到右依次为道路、草地、沥青、树木丰度图像)，得到的精度评定结果如表1所示：

表1本方法与单层自动编码器解混方法、N-FINDR算法效果对比

其中，SAD(Spectral angular distance)代表基于某一种方法提取的端元光谱与标准端元光谱之间的光谱角距，该值越小越好；RMSE(Root Mean Square Error)代表基于某一种方法估计的丰度与标准丰度之间的均方根误差，该值越小越好；

从图3和表1的数据可以看出，传统的解混方法解混效果较差，而深度学习算法却能达到较好的结果；很明显，在每个丰度图中多层堆栈自动编码器的丰度估算结果均优于单层自动编码器；从精度评价结果来看，与单层自动编码器相比，多层堆栈自动编码器将解混误差降低了10％左右，与传统算法相比，解混误差降低了40％左右，本发明方法较好的实现了高光谱图像解混，在端元提取和丰度估计方面都取得了良好的效果

本发明方法通过利用堆栈自动编码器实现对高光谱图像高阶光谱特征的学习，为多层自动编码器提供更好的初始化，在多层自动编码器损失函数中加入稀疏项和正则化项约束端元和丰度，以此来提高解混精度，通过利用带泄露整流函数作为激活函数，解决了计算过程中分母出现零值的问题，同时对预测的端元和丰度进行非负约束，对丰度单独进行和为一约束，将稀疏约束和正则化加入到网络训练中得到了更好的端元提取和丰度估计效果，本方法不需要任何先验知识，进行无监督学习，不仅可以提高解混精度，而且泛化能力强，本发明方法较好的实现了高光谱图像解混，在端元提取和丰度估计方面都取得了良好的效果。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于，包括以下步骤：

步骤一：逐个训练三个自动编码器，组成堆栈自动编码器，提取图像高阶光谱特征，得到特征层1、特征层2和特征层3；

步骤二：构造多层自动编码器网络，逐个训练且组成堆栈自动编码器的三个自动编码器中每个网络的特征层均作为多层自动编码器网络的特征层，形成深度学习网络，并利用步骤一中训练好的所述特征层1、特征层2和特征层3初始化该多层自动编码器网络；

步骤三：利用梯度下降算法训练多层自动编码器网络，在多层自动编码器网络引入非负和稀疏性，去除多层自动编码器网络中的自动编码器的偏置项，在多层自动编码器网络的解码层中去掉激活函数，并对预测的端元和丰度进行非负约束，对丰度单独进行和为一约束，直至多层自动编码器网络的输入层与输出层之间的重构误差最小，即完成多层自动编码器网络训练。

2.根据权利要求1所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述步骤一中的三个自动编码器组成堆栈自动编码器时，在网络结构上，视为一种前馈神经网络，由一个输入层，一个或多个特征层以及输出层组成，用数学的方式表示为：输入数据x∈R^m×n，将其映射到特征层a∈R^m×h，然后a通过解码到输出层x'∈R^m×n，该过程的表达式如公式(1)、(2)、(3)、(4)所示：

z₁＝w₁x+b₁ (1)

a＝f(z₁) (2)

z₂＝w₂a+b₂ (3)

x'＝f(z₂) (4)

其中，w₁，b₁为输入层与特征层之间的权重和偏置；w₂，b₂为特征层与输出层之间的权重和偏置；特征层神经元个数为h，f(·)为其激活函数。

3.根据权利要求2所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述步骤一中特征层1、特征层2和特征层3的激活函数为带泄露整流函数，数学表达公式如公式(5)所示：

其中，x为输入数据，a'为固定的参数。

4.根据权利要求1所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述步骤一中堆栈自动编码器的单个样本其损失函数如公式(6)所示：

当输入样本个数为m，其损失函数如公式(7)所示：

公式(7)中用欧式距离表示重构误差，避免网络训练过拟合对w₁，w₂进行约束。

5.根据权利要求1所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述步骤二中利用步骤一中训练好的参数初始化多层自动编码器网络时，多层自动编码器网络的输入层到特征层1、特征层1到特征层2以及特征层2到特征层3之间的权值系数矩阵由步骤一训练得到，特征层3与多层自动编码器网络的输出层之间的权值系数矩阵随机产生。

6.根据权利要求1所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述步骤三中在多层自动编码器网络中引入稀疏性，用L1正则化约束丰度估计以及K-L散度约束样本的相似性分数表示，样本相似性分数的计算方法如公式(8)和(9)所示：

SAD(x,x')＝cos^-1(θ(x,x')) (8)

其中，SAD代表基于某一种方法提取的端元光谱与标准端元光谱之间的光谱角距，公式(8)中计算输入数据与输出数据之间的SAD范围为[0,π]；当SAD为0时则表示误差最小，将SAD进行归一化，然后得到样本相似性分数，分数越高则证明相似性越高，数学表达如公式(10)所示，公式(10)中参数x′的数学表达式如公式(11)所示：

x′＝f₃×w_n (11)

其中，f₃代表特征层3的输出。

7.根据权利要求6所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述公式(11)中通过反向传播算法对w_n进行优化，并对w_n进行L2正则化约束。

8.根据权利要求7所述的基于多层堆栈式自动编码器的高光谱图像解混方法，其特征在于：所述步骤三中多层自动编码器网络的损失函数表示如公式(12)所示：

其中，λ₁为控制欧式范数影响的参数；λ₂为控制SAD影响的参数；D_KL为最大化输入数据与输出数据之间的SAD；λ₃为其影响参数；λ₄，λ₅分别为L1正则化和L2正则化影响参数。

Images