CN112232280A - 基于自编码器与3d深度残差网络的高光谱图像分类方法 - Google Patents

Abstract

本发明涉及基于自编码器与3D深度残差网络的高光谱图像分类方法，与现有技术相比解决了难以进行遥感高光谱图像分类的缺陷。本发明包括以下步骤：训练样本的获取；待训练高光谱遥感影像数据的预处理；堆栈自编码器神经网络模型的搭建和训练；3D深度残差网络的搭建与训练；待分类高光谱遥感影像的获取；待分类高光谱遥感影像的预处理和降维；高光谱遥感影像分类结果的获得。本发明通过搭建堆栈自编码器神经网络模型，对原始高光谱遥感影像进行降维，剔除了冗余信息；通过设计的3D卷积神经网络引入残差网络模块适当增加网络的深度，建立了3D深度残差网络，更加有效的提取了高光谱遥感影像的空谱联合信息，避免了梯度消失、网络退化的问题。

Description

基于自编码器与3D深度残差网络的高光谱图像分类方法

技术领域

本发明涉及高光谱图像处理技术领域，具体来说是基于自编码器与3D深度残差网络的高光谱图像分类方法。

背景技术

随着国内外高光谱遥感技术不断地快速发展，在农业、环境科学、地物观测等方面得到了广泛的应用。高光谱遥感影像数据是一个包含丰富光谱和空间信息的三维数据立方体，拥有地表物体上百个连续谱段的信息，极大地提高了识别和区分各类地物的能力。如何充分利用高光谱数据的高分辨率空谱信息，不断提高分类精度成为科研人员不断追求的目标。然而，高光谱图像具有较高的数据维度和光谱、空间信息冗余度，会造成存储和计算效率的下降。在对高光谱图像进行分类等应用时，随着数据维度的增加，会产生严重的Hughes现象，从而导致分类精度明显下降。

近年来，基于深度学习的图像分类方法得到了广泛的关注，成为了研究的热点。与传统的人工设计特征相比，它能够自动提取从底层到高层语义的抽象特征，将图像转换成更容易识别的高级特征。深度学习对非线性数据有着极强的处理能力，得到的特征具有更高的抽象性、层次性与可区分性。例如，堆栈式自编码器(Stacked Auto-encoder,SAE)和深度置信网络(Deep Belief Netw ork,DBN)利用无监督方法学习高光谱图像的深层特征，实现对空谱特征进行提取和分类。变分自编码器(Variational Auto-encoder,VAE)是在GANS之前就被提出的另一种深度生成网络。相较于GANS复杂的网络结构，VAE假设条件简单且易于构建，在图像处理方面有广泛的用途。

在高光谱图像分类中，仅采用光谱特征进行分类往往无法达到较高的精度，因此集成光谱和空间信息是提高分类精度的有效方法。卷积神经网络(Convolutional NeuralNetwork，CNN)是深度学习中的一类重要算法，可直接对输入的二维图像进行处理，具有强大的特征学习能力。CNN-LRC分类方法利用深度CNN提取深度特征，再结合逻辑回归分类器(LRC)进行分类，但未充分利用高光谱遥感图像的空谱信息。2D-CNN(Two-DimensionalConvolutional Neural Network)与平衡局部判别嵌入(BLDE)结合的分类方法使用主成分分析法对原始高光谱图像进行降维，利用2D-CNN在降维图像上提取空间特征，使用BLDE算法提取光谱信息，最终将空间和光谱信息融合并输入分类器以提高分类精度。然而，2D-CNN需要将光谱和空间信息分开提取，不能充分利用联合的空谱信息。而后出现的3D-CNN(Three-Dimensional Convolutional Neural Network)提取高光谱图像特征的优势在于，光谱信息和空间信息能够被同步地提取，充分发挥了三维高光谱图像的优势。SSRN分类方法基于3D-CNN分别设计了光谱和空间残差模块网络学习空谱特征，提高了分类识别准确率，但这削弱了3D-CNN可同时在光谱和空间同时采样的优势，使网络设计冗余。

因此，针对以上问题，如何设计出一种高效可靠的遥感高光谱图像分类方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以进行遥感高光谱图像分类的缺陷，提供一种基于自编码器与3D深度残差网络的高光谱图像分类方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于自编码器与3D深度残差网络的高光谱图像分类方法，包括以下步骤：

训练样本的获取：从每类地物样本中按比例获取高光谱遥感影像数据样本及标签，作为待训练的高光谱遥感影像数据；

待训练高光谱遥感影像数据的预处理：对输入的高光谱遥感影像数据进行归一化处理，然后对转换成张量后的训练样本及标签进行封装，再将封装后的数据集进行装载，以便输入神经网络模型中进行训练；

堆栈自编码器神经网络模型的搭建和训练：搭建堆栈自编码器神经网络模型，再将归一化处理后的高光谱影像数据输入堆栈自编码器神经网络模型中进行训练，得到训练后的堆栈自编码器神经网络模型并得到降维后的训练高光谱遥感影像；

3D深度残差网络的搭建与训练：搭建3D-CNN网络，然后引入空谱残差网络模块建立3D深度残差网络；再将降维后的高光谱遥感影像进行边缘填充，以每个地物样本为中心的邻域像素组成新的大小为w×w×d的3D立方体训练样本；将3D立方体训练样本输入3D深度残差网络中进行训练，得到训练后的3D深度残差网络；

待分类高光谱遥感影像的获取：获取待分类的高光谱遥感影像样本数据及标签；

待分类高光谱遥感影像的预处理和降维：将待分类的高光谱遥感影像进行归一化；输入堆栈自编码器神经网络模型中进行降维，得到降维后的高光谱遥感影像数据，降维后的数据大小为m×n×d，其中，m，n分别为高光谱遥感影像长和宽，d为降维维数；并转化为适应3D深度残差网络的待分类3D立方体样本；

高光谱遥感影像分类结果的获得：将待分类3D立方体样本输入训练好的3D深度残差网络中，得到高光谱遥感影像分类结果。

所述待训练高光谱遥感影像数据的预处理包括以下步骤：

将高光谱遥感影像数据分为待训练的遥感高光谱三维影像数据T及地物标签G，其中，三维影像数据T的维度为m×n×h，分别为高光谱遥感影像的长和宽，以及光谱维度；

将待训练的遥感高光谱三维影像数据T转化为二维特征矩阵，其中，二维特征矩阵中的每列表示光谱维度、每行表示每个样本的所有光谱信息；

对输入的二维高光谱特征样本采用归一化公式进行归一化处理，其归一化公式如下：

其中，

表示输入的高谱二维特征矩阵第b个光谱波段中第k个地物目标；

表示第b个光谱波段中对应的所有地物的像素平均值；

表示第b个光谱波段中对应的所有地物的像素标准差值；

表示归一化后输出的二维特征矩阵中第b个光谱波段中第i个地物目标；

将归一化后的高光谱数据及地物标签均转化成tensor形式，然后将变成张量形式的高光谱数据及地物标签进行封装，再将封装后的数据进行装载，其中，通过batch_size参数设置装载时每个包中图片数据的个数。

所述堆栈自编码器神经网络模型的搭建和训练包括以下步骤：

对单层堆栈自编码器进行堆叠，搭建堆栈自编码器神经网络模型，

其中，堆栈自编码器由编码器和解码器两个部分组成，编码器部分由1个输入层、4个编码隐藏层组成，解码部分由4个解码隐藏层、1个输出层组成，

在编码器和解码器部分使用Tanh非线性激活函数，在输出层使用Sigmoid非线性激活函数，Tanh非线性激活函数表达式如下：

其中，i＝{0,1..9}为堆栈自编码器层数，e为自然对数函数的底数，为常数；x_i为自编器第i层的输入数据，f(x_i)为自编器第i层经Tanh激活函数处理后的输出数据；

Sigmoid非线性激活函数表达式如下：

其中，x_end为自编器最后一层的输出数据；f(x_end)为经Sigmoid激活函数处理后的输出数据；e为自然对数函数的底数，为常数；设定采用均方根误差损失函数衡量重建数据与真实数据的偏差，并使用自适应时刻估计方法优化算法训练网络参数，均方根误差损失函数计算公式如下：

其中，∑为求和操作，

为开根号操作，Y_RMSE为均方误差的算术平方根值，

为输入数据真实标签分布，

为自编码模型的预测值，上标l为样本中类别的总个数，用于指明是哪个真实值与预测值在进行损失计算，N为每一批次的总样本数；

将装载好的高光谱数据及地物标签输入到堆栈编码器中，使得输入数据映射到隐藏层并得到输入数据的核心特征，完成自编码器编码的过程，自编码器编码过程的表达式如下：

y＝f(W_yx+b_y)，

其中，x为装载好的输入数据，y表示中间隐藏层学习到的特征，W_y代表隐藏层输入的权重，b_y表示隐藏单元的偏移系数，f代表激活函数；

将得到的核心特征再传递到一个与输入层大小相同的输出层，核心特征被解压并重构，最终得到一个与输入数据相近的输出数据，完成自编码器的解码过程，解码过程的表达式如下：

z＝f(W_zy+b_z)，

其中，y表示中间隐藏层学习到的特征，z为通过隐藏特征y重建后的数据，

W_z代表隐藏层输出的权重，b_z表示输出单元的偏移系数，f代表激活函数；

W_y＝W′_z＝W，

W’_z表示W_z的转置，该式为自动编码器的约束条件，表示自动编码器具有相同的绑定权重W，有助于使模型的参数量减半；

自动编码器训练的目标使输入数据与重建数据的误差不断缩小，数学表达式如下：

在此，自动编码器需要训练的参数为：W，b_y，b_z；

其中，x为装载好的样本数据，z表示重建后的输出数据，c(x,z)代表输入数据与重建数据之间的误差；其权值更新规则由如下公式进行表示：

其中，cost(x,z)为输入数据与重建数据之间的误差损失，η为学习率，

表示对权重W求偏导，

表示对隐藏单元的偏移系数b_y求偏导，

表示对输出单元的偏移系数b_z求偏导；

将装载好的高光谱数据及地物标签输入到堆栈编码器后，采用无监督方式训练第一层自动编码器自动编码器，把第一个自动编码器的输出作为第二个自动编码器的输入，采用同样的训练方法训练第二个自动编码器，以此类推，逐层完成训练所有的自动编码器，得到训练好的堆栈自编码器神经网络模型，并得到降维后的训练高光谱遥感影像。

所述3D深度残差网络的搭建与训练包括以下步骤：

将降维后的高光谱影像进行边缘填充，充分提取边缘特征，以每个地物样本为中心的邻域像素组成新的数据集，其每个样本大小为w×w×d的3D立方体样本；

搭建3D卷积神经网络，提取空谱联合特征，其3D卷积计算公式为：

其中，

为第i层的第j个特征图在(x，y，z)位置的输出值，m为第i-1层连接到当前特征图上的特征图的集合，即通道数，

为3D卷积核在第m个特征图的(p，q，r)位置的权值，b_i,j为偏置，f为激活函数，N₁、N₂、N₃分别为卷积核的长度、宽度和高度；

3D卷积核在输入3D高光谱遥感影像的两个维度上均进行卷积运算，卷积一次仅得到3D图像中的一个体素点，输入图像整体卷积后得到一个新的3D特征图；

在3D卷积神经网络引入空谱残差网络学习模块，加深网络深度，建立3D深度残差网络，基本残差模块单元的计算公式如下：

H(X)＝F(X)+X，

X是某段神经网络的输入，H(X)是期望输出，直接把输入X传到输出作为初始结果；当F(X)＝0时，那么H(X)＝X，即恒等映射；

在此，空谱残差网络模块为三个3D卷积的快速连接，其中w×w×d为输入的高光谱遥感数据特征立方体，分别表示长、宽、光谱维度；

设X_l、X_l+1、X_l+2、X_l+3分别表示第l层至第l+3层的高光谱数据向量，对于第l层后的滤波器F_l+1的、第l+1层后的滤波器F_l+2和第l+3层后的滤波器F_l+3，统一使用n个大小为a×a×a的卷积核，使用边界填充策略不改变X_l+1、X_l+2、X_l+3三维立方体特征的尺寸大小，使得输入特征与输出特征在空间大小上保持w×w×d不变；

上述过程可如下式表示：

X_l+3＝X_l+F(X_l；δ)，

其中，l为3D空谱残差网络模块的第l层，l＝{1,2,3...}；X_l为第l层的n个输入特征，

为第l+2层经过批量归一化的结果，X_l+3为第l+3层的n个输出特征，b_l+3为第l+3层的偏置，δ＝{F_l+1,F_l+2,F_l+3,b_l+1,b_l+2,b_l+3}为3D空谱残差网络模块中的卷积滤波器和对应的偏置，f代表激活函数，F(X_l；δ)为这三个卷积层建立的残差函数；

3D空谱残差网络模块使用修正线性单元ReLU激活函数，其数学表达式如下：

f(x)＝max(0,x)，

ReLU函数通过判断0和输入数据x中的最大值作为结果进行输出，即如果x小于0，则输出结果0；如果x大于0，则输出结果x；

设定训练过程中，通过反向传播机制对网络参数进行更新，具体使用交叉熵损失函数，其表达式如下：

其中，∑为求和操作，log为取对数操作，e为自然对数函数的底数，为常数；

为预测值与真实值之间的误差损失；Y＝{y₁,y₂,...,y_L}表示真实标签向量，

表示预测标签向量，L为每一批次输入样本数；

使用Adam优化函数方法让每个参数获得自适应学习率，并且，对每一层采用了批量归一化BN，其数学表达式如下：

其中，

表示第l层经过批量归一化的结果；X_l为第l+1层的输入特征向量；E和Var分别表示输入特征向量的期望与方差函数；

将降维后的高光谱遥感数据输入到3D深度残差网络中进行训练，使用BN、Dropout正则化策略避免过拟合现象，得到训练好的3D深度残差网络模型。

本发明通过搭建堆栈自编码器神经网络模型，对原始高光谱遥感影像进行降维，剔除了冗余信息；通过设计的3D卷积神经网络引入残差网络模块适当增加网络的深度，建立了3D深度残差网络，更加有效的提取了高光谱遥感影像的空谱联合信息，避免了梯度消失、网络退化的问题。另外，模型采用了包括BN、Dropout和激活函数在内的一系列正则化策略避免过拟合现象。与部分传统分类方法以及目前主流的深度学习算法相比，本文模型表现出更优的分类性能，总体分类精度(OA)、平均分类精度(AA)、Kappa系数均有不同程度的提高。本发明在加深网络深度的同时，大量减小了网络模型的参数量，并且在样本量有限的情况下，也能保持稳定较高的分类精度。

附图说明

图1为本发明的方法顺序图；

图2为本发明3D空谱残差网络模块结构；

图3为Indian Pines高光谱数据集伪彩色影像与真实地物分布图；

图4为Pavia University高光谱数据集伪彩色影像与真实地物分布图；

图5为本发明所示所述分类方法SAE-3DDRN在不同维数d、残差网络结构、学习率lr下对分类精度的影响；

图6为本发明方法与现有方法对Indian Pines数据集的分类结果图；

图7为本发明方法在Indian Pines数据集上训练时的损失和精度变化；

图8为本发明方法与现有方法对Pavia University数据集的分类结果图；

图9为本发明在Pavia University数据集上训练时的损失和精度变化；

图10本发明在Indian Pines数据集下不同训练样本比例下的OA、AA、Kappa变化点线图；

图11为本发明在Pavia University数据集下不同训练样本比例下的OA、AA、Kappa变化点线图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于自编码器与3D深度残差网络的高光谱图像分类方法，包括以下步骤：

第一步，训练样本的获取：从每类地物样本中按比例获取高光谱遥感影像数据样本及标签，作为待训练的高光谱遥感影像数据。

第二步，待训练高光谱遥感影像数据的预处理：对输入的高光谱遥感影像数据进行归一化处理，然后对转换成张量后的训练样本及标签进行封装，再将封装后的数据集进行装载，以便输入神经网络模型中进行训练。其具体步骤如下：

(1)将高光谱遥感影像数据分为待训练的遥感高光谱三维影像数据T及地物标签G，其中，三维影像数据T的维度为m×n×h，分别为高光谱遥感影像的长和宽，以及光谱维度；

(2)将待训练的遥感高光谱三维影像数据T转化为二维特征矩阵，其中，二维特征矩阵中的每列表示光谱维度、每行表示每个样本的所有光谱信息；

(3)对输入的二维高光谱特征样本采用归一化公式进行归一化处理，其归一化公式如下：

其中，

表示输入的高谱二维特征矩阵第b个光谱波段中第k个地物目标；

表示第b个光谱波段中对应的所有地物的像素平均值；

表示第b个光谱波段中对应的所有地物的像素标准差值；

表示归一化后输出的二维特征矩阵中第b个光谱波段中第i个地物目标；

(4)将归一化后的高光谱数据及地物标签均转化成tensor形式，然后将变成张量形式的高光谱数据及地物标签进行封装，再将封装后的数据进行装载，其中，通过batch_size参数设置装载时每个包中图片数据的个数。

第三步，堆栈自编码器神经网络模型的搭建和训练：搭建堆栈自编码器神经网络模型，再将归一化处理后的高光谱影像数据输入堆栈自编码器神经网络模型中进行训练，得到训练后的堆栈自编码器神经网络模型并得到降维后的训练高光谱遥感影像。

高光谱遥感影像地表覆盖存在同物异谱和同谱异物现象，从而导致高光谱数据呈现高度非线性，然而传统的降维方法并不能很好的解决高光谱遥感影像存在的非线性问题，并且无法提取更深层次的特征。与一般采用的传统降维方法PCA相比，本发明采用多层的以非线性函数作为激活函数的堆栈自编码器具有很好的性能，不仅可以做线性变换，而且可以做非线性变换，能够处理更复杂的数据。另外，自编码模型的特点在于以重建为导向的训练形式，如果模型能很好的恢复出原始输入，则意味着中间隐藏层存储的特征保留了足够多的输入信息。因此，把自编码器堆叠起来，经过逐层对权重和偏差参数的训练，将不断学习到的深层特征存储于隐藏层中，可以最大限度的减少信息损失，同时在更深层次的特征中保留了抽象、不变的信息。其具体步骤如下：

(1)对单层堆栈自编码器进行堆叠，搭建堆栈自编码器神经网络模型，

其中，堆栈自编码器由编码器和解码器两个部分组成，编码器部分由1个输入层、4个编码隐藏层组成，解码部分由4个解码隐藏层、1个输出层组成，

在编码器和解码器部分使用Tanh非线性激活函数，在输出层使用Sigmoid非线性激活函数，Tanh非线性激活函数表达式如下：

其中，i＝{0,1..9}为堆栈自编码器层数，e为自然对数函数的底数，为常数；x_i为自编器第i层的输入数据，f(x_i)为自编器第i层经Tanh激活函数处理后的输出数据；

Sigmoid非线性激活函数表达式如下：

其中，x_end为自编器最后一层的输出数据；f(x_end)为经Sigmoid激活函数处理后的输出数据；e为自然对数函数的底数，为常数；设定采用均方根误差损失函数衡量重建数据与真实数据的偏差，并使用自适应时刻估计方法优化算法训练网络参数，均方根误差损失函数计算公式如下：

其中，∑为求和操作，

为开根号操作，Y_RMSE为均方误差的算术平方根值，

为输入数据真实标签分布，

为自编码模型的预测值，上标l为样本中类别的总个数，用于指明是哪个真实值与预测值在进行损失计算，N为每一批次的总样本数。

(2)将装载好的高光谱数据及地物标签输入到堆栈编码器中，使得输入数据映射到隐藏层并得到输入数据的核心特征，完成自编码器编码的过程，自编码器编码过程的表达式如下：

y＝f(W_yx+b_y)，

其中，x为装载好的输入数据，y表示中间隐藏层学习到的特征，W_y代表隐藏层输入的权重，b_y表示隐藏单元的偏移系数，f代表激活函数。

(3)将得到的核心特征再传递到一个与输入层大小相同的输出层，核心特征被解压并重构，最终得到一个与输入数据相近的输出数据，完成自编码器的解码过程，解码过程的表达式如下：

z＝f(W_zy+b_z)，

其中，y表示中间隐藏层学习到的特征，z为通过隐藏特征y重建后的数据，W_z代表隐藏层输出的权重，b_z表示输出单元的偏移系数，f代表激活函数；

W_y＝W′_z＝W，

W’_z表示W_z的转置，该式为自动编码器的约束条件，表示自动编码器具有相同的绑定权重W，有助于使模型的参数量减半；

自动编码器训练的目标使输入数据与重建数据的误差不断缩小，数学表达式如下：

在此，自动编码器需要训练的参数为：W，b_y，b_z；

其中，x为装载好的样本数据，z表示重建后的输出数据，c(x,z)代表输入数据与重建数据之间的误差；其权值更新规则由如下公式进行表示：

其中，cost(x,z)为输入数据与重建数据之间的误差损失，η为学习率，

表示对权重W求偏导，

表示对隐藏单元的偏移系数b_y求偏导，

表示对输出单元的偏移系数b_z求偏导。

(4)将装载好的高光谱数据及地物标签输入到堆栈编码器后，采用无监督方式训练第一层自动编码器自动编码器，把第一个自动编码器的输出作为第二个自动编码器的输入，采用同样的训练方法训练第二个自动编码器，以此类推，逐层完成训练所有的自动编码器，得到训练好的堆栈自编码器神经网络模型，并得到降维后的训练高光谱遥感影像。

第四步，3D深度残差网络的搭建与训练：搭建3D-CNN网络，然后引入空谱残差网络模块建立3D深度残差网络；再将降维后的高光谱遥感影像进行边缘填充，以每个地物样本为中心的邻域像素组成新的大小为w×w×d的3D立方体训练样本；将3D立方体训练样本输入3D深度残差网络中进行训练，得到训练后的3D深度残差网络。在深度学习中，网络结构越深，提取的特征越抽象，分类结果也可以越好。但随着网络结构的不断加深，梯度在反向传播的过程中会出现弥散或者爆炸等现象，通过初始化或归一化的操作可以使其得以收敛，但是网络退化问题也会随之暴露出来，导致网络训练效果不好。因此，为了解决网络退化的问题，本发明采用残差连接使较高层次中的梯度快速传播回较低层次，以缓解精度下降的现象，提升高光谱遥感影像分类的泛化性能，并且采用BN和Dropout防止过拟合现象。此外，高光谱遥感数据集可用的训练和测试样本量相对较少，不同训练集不同样本的不均匀数量对高光谱遥感影像分类的准确性产生不同程度的影响。因此，本发明在每一个3D卷积层之间设计并添加了空谱残差模块建立3D深度残差网络，加深网络深度的同时，能够同时不断连续提取更多更深层次具有区别性的空谱特征，提高分类精度。另外，本发明针对深层神经网络的计算效率、训练时间、准确率和简化超参数调优难度等问题上，充分考虑了各参数对分类精度的影响，并且在3D深度残差网络中采用池化层压缩输入的三维高光谱遥感影像立方体数据，大量减少了网络模型的参数量，只需要数百次的迭代即可训练模型。其具体步骤如下：

(1)为了后续将训练样本导入3D卷积神经网络进行特征提取的需要，将降维后的高光谱影像进行边缘填充，充分提取边缘特征，以每个地物样本为中心的邻域像素组成新的数据集，其每个样本大小为w×w×d的3D立方体样本。

(2)搭建3D卷积神经网络，提取空谱联合特征，其3D卷积计算公式为：

其中，

为第i层的第j个特征图在(x，y，z)位置的输出值，m为第i-1层连接到当前特征图上的特征图的集合，即通道数，

为3D卷积核在第m个特征图的(p，q，r)位置的权值，b_i,j为偏置，f为激活函数，N₁、N₂、N₃分别为卷积核的长度、宽度和高度。3D卷积核在输入3D高光谱遥感影像的两个维度上均进行卷积运算，卷积一次仅得到3D图像中的一个体素点，输入图像整体卷积后得到一个新的3D特征图。

(3)在3D卷积神经网络引入空谱残差网络学习模块，加深网络深度，建立3D深度残差网络，基本残差模块单元的计算公式如下：

H(X)＝F(X)+X，

X是某段神经网络的输入，H(X)是期望输出，直接把输入X传到输出作为初始结果；当F(X)＝0时，那么H(X)＝X，即恒等映射；

在此，空谱残差网络模块为三个3D卷积的快速连接，如图2所示，其中w×w×d为输入的高光谱遥感数据特征立方体，分别表示长、宽、光谱维度。设X_l、X_l+1、X_l+2、X_l+3分别表示第l层至第l+3层的高光谱数据向量，对于第l层后的滤波器F_l+1的、第l+1层后的滤波器F_l+2和第l+3层后的滤波器F_l+3，统一使用n个大小为a×a×a的卷积核，使用边界填充策略不改变X_l+1、X_l+2、X_l+3三维立方体特征的尺寸大小，使得输入特征与输出特征在空间大小上保持w×w×d不变；

上述过程可如下式表示：

X_l+3＝X_l+F(X_l；δ)，

其中，l为3D空谱残差网络模块的第l层，l＝{1,2,3...}；X_l为第l层的n个输入特征，

为第l+2层经过批量归一化的结果，X_l+3为第l+3层的n个输出特征，b_l+3为第l+3层的偏置，δ＝{F_l+1,F_l+2,F_l+3,b_l+1,b_l+2,b_l+3}为3D空谱残差网络模块中的卷积滤波器和对应的偏置，f代表激活函数，F(X_l；δ)为这三个卷积层建立的残差函数。

(4)3D空谱残差网络模块使用修正线性单元ReLU激活函数，其数学表达式如下：

f(x)＝max(0,x)，

ReLU函数通过判断0和输入数据x中的最大值作为结果进行输出，即如果x小于0，则输出结果0；如果x大于0，则输出结果x。

(5)设定训练过程中，通过反向传播机制对网络参数进行更新，具体使用交叉熵损失函数，其表达式如下：

其中，∑为求和操作，log为取对数操作，e为自然对数函数的底数，为常数；

为预测值与真实值之间的误差损失；Y＝{y₁,y₂,...,y_L}表示真实标签向量，

表示预测标签向量，L为每一批次输入样本数。

(6)使用Adam优化函数方法让每个参数获得自适应学习率，并且，对每一层采用了批量归一化BN，其数学表达式如下：

其中，

表示第l层经过批量归一化的结果；X_l为第l+1层的输入特征向量；E和Var分别表示输入特征向量的期望与方差函数。

(7)将降维后的高光谱遥感数据输入到3D深度残差网络中进行训练，使用BN(Batch Normalization)、Dropout正则化策略避免过拟合现象，得到训练好的3D深度残差网络模型。

第五步，待分类高光谱遥感影像的获取：获取待分类的高光谱遥感影像样本数据及标签。

第六步，待分类高光谱遥感影像的预处理和降维：将待分类的高光谱遥感影像进行归一化；输入堆栈自编码器神经网络模型中进行降维，得到降维后的高光谱遥感影像数据，降维后的数据大小为m×n×d，其中，m，n分别为高光谱遥感影像长和宽，d为降维维数；并转化为适应3D深度残差网络的待分类3D立方体样本。

第七步，高光谱遥感影像分类结果的获得：将待分类3D立方体样本输入训练好的3D深度残差网络中，得到高光谱遥感影像分类结果。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明实验的计算机硬件环境为Intel Corei5-7300HQ，CPU 2.50GHz，GPU采用GTX1050Ti，RAM 8GB，软件环境为Windows10(64)位操作系统，编译环境为Spyder，深度学习框架选用Pytorch。后续所有的训练和测试实验都基于该平台。

本发明的仿真实验中所使用的高光谱图像数据集，分别是由可见光/红外成像光谱仪(AVIRIS)在美国印第安纳州与加利福尼亚拍摄的Indian Pines数据集和Salinas数据集，以及由德国的反射光学光谱仪ROSIS-03(Reflective Optics SpectrographicImaging System，ROSIS-03)在2003年获取的意大利帕维亚大学校园的Pavia University高光谱数据集。

Indian Pines数据集的数据尺寸为145×145像素，剔除其中受噪声影响的20个波段，剩余200个波段，其中地物种类有十六种。Indian Pines伪彩色影像(选取组合波段为：R＝50，G＝27，B＝17)显示如图3(a)，空间分辨率为20m，对应的真实地物分布情况如图3(b)，每类地物类别与样本量如表1所示。Salinas数据集的图像尺寸为512×217像素，剔除受噪声影响的20个波段，剩余204个波段，包含十六种地物类别。

表1 Indian pines地物类别与样本量对比表

Pavia University数据集的数据尺寸为610×340像素，其中12个波段由于受噪声影响被剔除，剩余103个光谱波段，其地物种类有九种。Pavia University伪彩色影像(选取组合波段为：R＝60，G＝30，B＝2)显示如图4(a)，图像的空间分辨率为1.3m，对应的真实地物分布情况如图4(b)，每种地物类别及样本量如表2所示。

表2 Pavia University数据集地物类别与样本量对比表

2.分类精度评价指标：

为评估本发明分类方法的分类性能，本发明采用了基于混淆矩阵计算的总体精度(Overall Accuracy，OA)、平均精度(Average Accuracy，AA)和Kappa系数作为评价指标。

总体精度(OA)是模型在所有测试集上预测正确的样本个数与总样本数之间的比值。平均精度(AA)是模型对每类的分类精度与数据集总类别数的比值。OA与AA的计算公式如下：

其中，m为类别的种类数；x_ii为第i类像元的正确分类数量，即混淆矩阵主对角线上的值；x_ij为实际正确分类或错分的数量。

Kappa系数一般用于一致性检验，也可以用于衡量分类精度。Kappa计算结果范围为-1～1，但通常Kappa是落在0～1间，可分为五组来表示不同级别的一致性：0.0～0.20极低的一致性(slight)、0.21～0.40一般的一致性(fair)、0.41～0.60中等的一致性(moderate)、0.61～0.80高度的一致性(substantial)和0.81～1几乎完全一致(almostperfect)。Kappa系数计算公式如下：

其中，m为类别数；n为用于精度评价的像元总数；为第i类像元的正确分类数量；为实际正确分类或错分的数量。x_i+为实际类别中第i类的像元总数；x_+i为实测类别中第i类的像元总数。

3.仿真实验内容及结果分析：

实施例一：为了验证本发明所提出方法中不同参数设置对分类精度的影响，将重点分析SAE-3DDRN方法影响模型分类效果的几个因素，即自编码网络降维维数d、输入样本尺寸大小w、残差网络结构、学习率大小lr。为了叙述方便，本节将从Indian Pines数据集的每类地物中随机选取10％的训练样本，其余作为测试样本，并且，采用10次实验分类精度的平均值作为实验结果。

对于高维的高光谱遥感影像，存在大量冗余信息，输入数据维度过大会提高模型的复杂度，因此降维到合适的维数对分类效果至关重要。本节通过设置5、10、15、20、25五种不同的自编码网络降维维数d，分析不同维度对SAE-3DDRN方法分类效果的影响。本发明的堆栈自动编码网络具有5层编码结构，每一层的节点数设置为220-120-80-40-d，批量大小设为25，学习率为0.001，采用均方误差损失函数和Adam优化算法，迭代5000次。图5(a)为本发明所示所述分类方法SAE-3DDRN在不同维数d下对分类精度的影响。由图3可知，对于Indian Pines数据集，当维度参数d从5维增加到10维时，分类精度随着维度参数d的升高不断增加，并且OA、AA、Kappa均到最高的分类精度。当继续增加维度参数d，分类精度有一个缓慢减少的过程，随后呈现稳定的趋势。虽然增加维度参数b会增大光谱特征信息量，但同时一定程度上会引入冗余信息，增大模型复杂度，影响分类结果。因此，在考虑允许损失信息量范围内，选择一个相对较小的个数，在降低计算复杂率同时，也能保持较理想分类精度。

表4 Indian Pines数据集上输入样本尺寸w对分类精度的影响

如表4所示，本节设置了w为19、21、23、25输入尺寸大小，观察OA、AA、Kappa三个指标，分析w对分类精度的影响。由表5中的数据可知，随着w的增加，分类精度缓慢上升，当输入样本尺寸w为23×23时，达到最优的OA、AA、Kappa，此时分类效果最好。当继续增大w，分类精度并没有持续升高，有明显的阈值效应。因此，在保证高分类精度的同时，适当取更小的样本输入尺寸w，会降低计算成本，减少训练和测试时间。图5(b)为本发明所示所述分类方法SAE-3DDRN在不同残差网络结构下对分类精度的影响。从图四可看出，显示了A、B、C、D、E共5组不同的残差模块数目及位置对分类精度影响的情况，A—E分别代表

其中，

表示第n个3D卷积后是否引入空谱残差模块，若引入，则k＝1，反正为k＝0。从图10可以看出，当残差网络结构为A时，分类精度不理想。但是，当增加残差网络模块，分类精度呈现上升趋势。当卷积神经网络在3个3D卷积后均引入空谱残差模块，即为

结构时，分类精度达到最高。可见，在一定程度上增加网络深度，将会提取更加抽象的特征，从而使分类效果越好。图5(c)、(d)分别为本发明所示所述分类方法SAE-3DDRN在学习率lr下对OA、AA、Kappa和各地物分类精度的影响。从梯度下降算法的角度来说，通过选择合适的学习率，可以改变模型网络权重参数的更新幅度，使梯度下降法得到更好的性能。学习率决定了参数到达最优值过程的速度快慢，如果当学习率过大，即下降的快，可能会越过最优值。如果学习率过小时，可能导致优化的效率过低，算法长时间无法收敛，直接影响算法的性能。从图5可以看出，比较了不同学习率对分类精度指标OA、AA、Kappa和各类地物分类效果的影响。当lr为0.01时，此时OA、AA、Kappa分别达到97.05％、97.53、96.64。当增加学习率lr为0.001时，分类效果最好，此时，各地物分类精度大部分均达到98％以上。当继续增加lr时，OA、AA、Kappa均有不同程度的降低，各地物分类效果不理想。这主要是因为当学习率过小时，优化效率过低，导致在同样的迭代范围下无法收敛，从而影响分类效果。后续实验对Pavia University数据集采用同样的方法进行参数选择与设置。

实施例二：为了进一步验证本发明所提出方法的有效性，下面将采用Pav iaUniversity和Indian Pines数据集进行验证，并且将本发明所述的分类方法S AE-3DDRN与一些传统的高光谱分类方法及目前主流的算法进行了比较,每组分类方法所用的训练样本数完全相同。

表5不同分类方法在Indian Pines数据集上的分类精度

对图3所示的Indian Pines高光谱图像进行分类，从每类地物随机选取10％样本作为训练集，其余样本用作测试集。在该数据集上本发明所提出的分类方法SAE-3DDRN，使用5层堆栈自编码器结构将高光谱遥感影像进行降维，降维维数d设置为10，输入深度残差网络的样本尺寸w大小为23×23，学习率lr为0.001，批量大小设为128，Dropout设为0.4，并且采用均方误差损失函数和Adam优化算法，迭代200次。不同分类方法在Indian Pines数据集上的分类精度如表5所示。从表6可以看出，与对比试验的分类方法相比，本发明提出的SAE-3DDRN方法在Indian Pines数据集上的分类效果更好，并且标准偏差也最小，分类结果更稳定。其中，OA、AA、Kappa分别达到了98.90％、98.82％、98.67％。除了Oats(9)和Stone-Steel-Towers(16)地物，对于不同地物的分类准确率均达到了98％以上，在11类地物分类上均取得最高精度。RBF-S VM方法能够有效的区分如Grass-trees(6)、Hay-windrowed(8)、Wheat(13)等光谱差异大的地物，但对于样本量较少且易被错分的地物分类上，仅依靠光谱信息的RBF-SVM分类效果并不理想，例如Alfalfa(1)、Oats地物分类精度不到20％。基于空谱特征结合的KSOMP与LBP-KNN方法，有效的提升了大多数地物的分类精度，对Alfalfa地物的分类精度分别提升到了86.77％和93.41％，总体分类精度OA分别达到93.94％和97.88％。基于深度学习的分类方法CNN、VAE总体分类精度OA分别为87.92％、96.36％，本文SAE-3DDRN分类方法与这二种深度学习算法相比，OA分别提升了10.98％、2.54％。SSRN结构较为繁琐，需要设计两类模块分别提取空间和光谱特征，结构设计成本高，对不同的高光谱遥感影像数据集的可扩展性差。与SSRN方法相比，本发明SAE-3DDRN方法设计了一种空谱联合残差学习模块，结构设计更加简单，在分类精度OA、AA、Kappa上分别提升了1.02％、1.59％、0.98％，有着更好的整体表现。在Alfalfa和Grass-pasture-mowed(7)等训练样本量少的地物分类上，本发明方法表现出良好的分类精度，并且在易混地物分类上，SAE-3DDRN方法很好的降低了错分程度，比如在三种Corn(2,3,4)和三种Soybean(10,11,12)分类精度上均达到了98％以上。图6本发明所述分类方法SAE-3DDRN与现有方法对IndianPines数据集的分类结果图。从图6可以看出，本发明所提出的SAE-3DDRN方法得到的分类结果图相对平滑、总体错分点更少，大部分区域完整，更接近于原始地物分布图。在IndianPines数据集上，本发明所述分类方法S AE-3DDRN方法训练时的损失和精度变化如图7所示。从图7可以看出，本发明方法的训练损失初始值较低，总体上损失变化虽然有一定波动，但最终趋于稳定。

表6不同分类方法在Pavia University数据集上的分类精度

对图4所示的Pavia University高光谱图像进行分类，从每类地物随机选取了5％的样本作为训练集，其余样本用作测试集，SAE-3DDRN分类方法同样使用5层堆栈自编码器结构将高光谱遥感影像进行降维至10维，每一层的节点数设置为103-80-60-40-10，w大小为25×25，学习率lr为0.001，批量大小设为128，Dropout设为0.4，同时采用均方误差损失函数和Adam优化算法，迭代200次。实验结果同样取10次实验精度结果的平均值，实验结果如表6所示。从表6可以看出，SAE-3DDRN方法在Pavia University数据集上同样得到了高质量的分类结果，分类精度OA、AA、Kappa分别达到99.68％、99.16％、99.57％，并且在6类地物分类上均取得最高精度，另外2类地物与最高精度相差不到3％。Asphalt(1)和Bitumen(7)与Gravel(3)和Self-Blocking Bricks(8)为两组易错分的地物，具有很高的相似性，仅依靠光谱信息的RBF-SVM分类方法表现欠佳，尤其对Gravel的分类精度不到70％。基于空谱特征结合的KSOMP与LBP-KNN方法一定程度上减少了错分的地物，分别将OA提高了2.82％、8.57％。深度学习方法能够将图像转换为更容易识别的高级特征，因此对复杂特征的识别更具又优势。CNN与VAE方法对以上两组易错分地物的分类精度均达到80％以上，SSRN方法对该两组地物的分类精度均达到97％以上。并且，SSRN方法的OA、AA、Kappa分别达到99.06％、98.75％、98.14％。相比于对比试验来说，本文提出的SAE-3DDRN方法在Asphalt和Bitumen与Gravel和Self-Blocking Bricks两组地物上的分类精度最高，表现出明显的区分效果，并且在对Bare Soil(6)的分类上也能保持99％以上的分类精度。同时，SAE-3DD RN方法整体分类效果更好，分类结果更稳定，与分类效果较佳的SSRN方法相比，OA、AA、Kappa分别提升0.62％、0.41％、1.43％。图8为本发明所述分类方法SAE-3DDRN与现有方法对Pavia University数据集的分类结果图。从图8可以看出，本文方法得到的分类结果图更加平滑，错分点更少。图9为本文所述方法SAE-3DDRN在Pavia University数据集上训练时的损失和精度变化曲线，收敛较快。

实施例三：为了验证本发明所述的分类方法在不同样本比例下对高光谱分类精度的影响，本文设置了5％、10％、15％、20％四种训练样本比例，分别从Indian Pines和PaviaUniversity数据集中随机选取，每次实验结果取十次分类结果的平均值及标准差。图10、图11分别为本文所述方法SAE-3DDRN在In dian Pines、Pavia University数据集下不同训练样本比例下的OA、AA、Kapp a变化点线图。从图10、图11可以看出，本文提出的SAE-3DDRN方法在两种数据集不同比例样本下的OA、AA、Kappa均表现出最佳的分类精度。随着训练样本量的增加，大多数分类方法分类精度不断提升，并且逐渐趋于稳定。Indian Pines数据集存在样本量较少和易混地物，对分类性能要求较高。当训练样本比例为5％时，CNN深度学习算法由于训练样本点较少，且降维后的数据可能失去了一些次重要波段，加之网络深度和参数过多的原因，无法较好的适降维后的数据集，分类效果并不理想。而SAE-3DDRN方法仍然产生了较高的分类精度，OA、AA、Kappa分类达到95.62％、93.80％、95.28％，与2D-C NN与3D-CNN相比，OA分别提升3.5％，1.15％，并且，总体上更优于SSR N方法。在PaviaUniversity数据集上，随着训练样本不断增加时，SAE-3DD RN与其它分类方法相比仍然表现出更高的分类精度，更稳定的分类结果。对比结果表明，当训练样本量较小时，SAE-3DDRN方法能够提取更深层次的特征，拥有更高的精度，且当训练样本量足够大时，具有最高的分类精度

综上所述，本发明所提出的分类方法通过建立并训练堆栈自编码模型，实现对高光谱遥感影像的降维，减少数据量，降低计算成本。再通过搭建3D-C NN结构，获取高光谱遥感图像中每个地物像素的空间-光谱信息。同时，引入残差网络模块加深网络深度建立3D深度残差网络提取更高层次的特征，相较于纹理、边缘、颜色等底层特征，高层特征具有更高的鲁棒性和分辨力，其分类效果更好，网络并没有退化现象。试验对比了RBF-SVM、KSOMP、LBP-KNN以及目前主流的深度学习算法，本发明模型表现出更优的分类性能。试验结果表明，在10％Indian Pines数据集训练样本和5％Pavia University数据集训练样本上分别取得了98.79％和99.68％的总体分类精度，并且在更少训练样本点且易混地物多的IndianPines数据集上，SAE-3DDRN方法也能较好的适应降维后的数据，降低网络参数量、减少网络训练时间的同时保持较高的分类精度。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于自编码器与3D深度残差网络的高光谱图像分类方法，其特征在于，包括以下步骤：

11)训练样本的获取：从每类地物样本中按比例获取高光谱遥感影像数据样本及标签，作为待训练的高光谱遥感影像数据；

12)待训练高光谱遥感影像数据的预处理：对输入的高光谱遥感影像数据进行归一化处理，然后对转换成张量后的训练样本及标签进行封装，再将封装后的数据集进行装载，以便输入神经网络模型中进行训练；

13)堆栈自编码器神经网络模型的搭建和训练：搭建堆栈自编码器神经网络模型，再将归一化处理后的高光谱影像数据输入堆栈自编码器神经网络模型中进行训练，得到训练后的堆栈自编码器神经网络模型并得到降维后的训练高光谱遥感影像；

14)3D深度残差网络的搭建与训练：搭建3D-CNN网络，然后引入空谱残差网络模块建立3D深度残差网络；再将降维后的高光谱遥感影像进行边缘填充，以每个地物样本为中心的邻域像素组成新的大小为w×w×d的3D立方体训练样本；将3D立方体训练样本输入3D深度残差网络中进行训练，得到训练后的3D深度残差网络；

15)待分类高光谱遥感影像的获取：获取待分类的高光谱遥感影像样本数据及标签；

16)待分类高光谱遥感影像的预处理和降维：将待分类的高光谱遥感影像进行归一化；输入堆栈自编码器神经网络模型中进行降维，得到降维后的高光谱遥感影像数据，降维后的数据大小为m×n×d，其中，m，n分别为高光谱遥感影像长和宽，d为降维维数；并转化为适应3D深度残差网络的待分类3D立方体样本；

17)高光谱遥感影像分类结果的获得：将待分类3D立方体样本输入训练好的3D深度残差网络中，得到高光谱遥感影像分类结果。

2.根据权利要求1所述的基于自编码器与3D深度残差网络的高光谱图像分类方法，其特征在于，所述待训练高光谱遥感影像数据的预处理包括以下步骤：

21)将高光谱遥感影像数据分为待训练的遥感高光谱三维影像数据T及地物标签G，其中，三维影像数据T的维度为m×n×h，分别为高光谱遥感影像的长、宽以及光谱维度；

22)将待训练的遥感高光谱三维影像数据T转化为二维特征矩阵，其中，二维特征矩阵中的每列表示光谱维度、每行表示每个样本的所有光谱信息；

23)对输入的二维高光谱特征样本采用归一化公式进行归一化处理，其归一化公式如下：

其中，

表示输入的高谱二维特征矩阵第b个光谱波段中第k个地物目标；

表示第b个光谱波段中对应的所有地物的像素平均值；

表示第b个光谱波段中对应的所有地物的像素标准差值；

表示归一化后输出的二维特征矩阵中第b个光谱波段中第i个地物目标；

24)将归一化后的高光谱数据及地物标签均转化成tensor形式，然后将变成张量形式的高光谱数据及地物标签进行封装，再将封装后的数据进行装载，其中，通过batch_size参数设置装载时每个包中图片数据的个数。

3.根据权利要求1所述的基于自编码器与3D深度残差网络的高光谱图像分类方法，其特征在于，所述堆栈自编码器神经网络模型的搭建和训练包括以下步骤：

31)对单层堆栈自编码器进行堆叠，搭建堆栈自编码器神经网络模型，

其中，堆栈自编码器由编码器和解码器两个部分组成，编码器部分由1个输入层、4个编码隐藏层组成，解码部分由4个解码隐藏层、1个输出层组成，

在编码器和解码器部分使用Tanh非线性激活函数，在输出层使用Sigmoid非线性激活函数，Tanh非线性激活函数表达式如下：

其中，i＝{0,1..9}为堆栈自编码器层数，e为自然对数函数的底数，为常数；x_i为自编器第i层的输入数据，f(x_i)为自编器第i层经Tanh激活函数处理后的输出数据；

Sigmoid非线性激活函数表达式如下：

其中，x_end为自编器最后一层的输出数据；f(x_end)为经Sigmoid激活函数处理后的输出数据；e为自然对数函数的底数，为常数；设定采用均方根误差损失函数衡量重建数据与真实数据的偏差，并使用自适应时刻估计方法优化算法训练网络参数，均方根误差损失函数计算公式如下：

其中，∑为求和操作，

为开根号操作，Y_RMSE为均方误差的算术平方根值，

为输入数据真实标签分布，

为自编码模型的预测值，上标l为样本中类别的总个数，用于指明是哪个真实值与预测值在进行损失计算，N为每一批次的总样本数；

32)将装载好的高光谱数据及地物标签输入到堆栈编码器中，使得输入数据映射到隐藏层并得到输入数据的核心特征，完成自编码器编码的过程，自编码器编码过程的表达式如下：

y＝f(W_yx+b_y)，

其中，x为装载好的输入数据，y表示中间隐藏层学习到的特征，W_y代表隐藏层输入的权重，b_y表示隐藏单元的偏移系数，f代表激活函数；

33)将得到的核心特征再传递到一个与输入层大小相同的输出层，核心特征被解压并重构，最终得到一个与输入数据相近的输出数据，完成自编码器的解码过程，解码过程的表达式如下：

z＝f(W_zy+b_z)，

其中，y表示中间隐藏层学习到的特征，z为通过隐藏特征y重建后的数据，W_z代表隐藏层输出的权重，b_z表示输出单元的偏移系数，f代表激活函数；

W_y＝W_z′＝W，

W’_z表示W_z的转置，该式为自动编码器的约束条件，表示自动编码器具有相同的绑定权重W，有助于使模型的参数量减半；

自动编码器训练的目标使输入数据与重建数据的误差不断缩小，数学表达式如下：

在此，自动编码器需要训练的参数为：W，b_y，b_z；

其中，x为装载好的样本数据，z表示重建后的输出数据，c(x,z)代表输入数据与重建数据之间的误差；其权值更新规则由如下公式进行表示：

其中，cost(x,z)为输入数据与重建数据之间的误差损失，η为学习率，

表示对权重W求偏导，

表示对隐藏单元的偏移系数b_y求偏导，

表示对输出单元的偏移系数b_z求偏导；

34)将装载好的高光谱数据及地物标签输入到堆栈编码器后，采用无监督方式训练第一层自动编码器自动编码器，把第一个自动编码器的输出作为第二个自动编码器的输入，采用同样的训练方法训练第二个自动编码器，以此类推，逐层完成训练所有的自动编码器，得到训练好的堆栈自编码器神经网络模型，并得到降维后的训练高光谱遥感影像。

4.根据权利要求1所述的基于自编码器与3D深度残差网络的高光谱图像分类方法，其特征在于，所述3D深度残差网络的搭建与训练包括以下步骤：

41)将降维后的高光谱影像进行边缘填充，充分提取边缘特征，以每个地物样本为中心的邻域像素组成新的数据集，其每个样本大小为w×w×d的3D立方体样本；

42)搭建3D卷积神经网络，提取空谱联合特征，其3D卷积计算公式为：

其中，

为第i层的第j个特征图在(x，y，z)位置的输出值，m为第i-1层连接到当前特征图上的特征图的集合，即通道数，

为3D卷积核在第m个特征图的(p，q，r)位置的权值，b_i,j为偏置，f为激活函数，N₁、N₂、N₃分别为卷积核的长度、宽度和高度；

3D卷积核在输入3D高光谱遥感影像的两个维度上均进行卷积运算，卷积一次仅得到3D图像中的一个体素点，输入图像整体卷积后得到一个新的3D特征图；

43)在3D卷积神经网络引入空谱残差网络学习模块，加深网络深度，建立3D深度残差网络，基本残差模块单元的计算公式如下：

H(X)＝F(X)+X，

X是某段神经网络的输入，H(X)是期望输出，直接把输入X传到输出作为初始结果；当F(X)＝0时，那么H(X)＝X，即恒等映射；

在此，空谱残差网络模块为三个3D卷积的快速连接，其中w×w×d为输入的高光谱遥感数据特征立方体，分别表示长、宽、光谱维度；

设X_l、X_l+1、X_l+2、X_l+3分别表示第l层至第l+3层的高光谱数据向量，对于第l层后的滤波器F_l+1的、第l+1层后的滤波器F_l+2和第l+3层后的滤波器F_l+3，统一使用n个大小为a×a×a的卷积核，使用边界填充策略不改变X_l+1、X_l+2、X_l+3三维立方体特征的尺寸大小，使得输入特征与输出特征在空间大小上保持w×w×d不变；

上述过程可如下式表示：

X_l+3＝X_l+F(X_l；δ)，

其中，l为3D空谱残差网络模块的第l层，l＝{1,2,3...}；X_l为第l层的n个输入特征，

为第l+2层经过批量归一化的结果，X_l+3为第l+3层的n个输出特征，b_l+3为第l+3层的偏置，δ＝{F_l+1,F_l+2,F_l+3,b_l+1,b_l+2,b_l+3}为3D空谱残差网络模块中的卷积滤波器和对应的偏置，f代表激活函数，F(X_l；δ)为这三个卷积层建立的残差函数；

44)3D空谱残差网络模块使用修正线性单元ReLU激活函数，其数学表达式如下：

f(x)＝max(0,x)，

ReLU函数通过判断0和输入数据x中的最大值作为结果进行输出，即如果x小于0，则输出结果0；如果x大于0，则输出结果x；

45)设定训练过程中，通过反向传播机制对网络参数进行更新，具体使用交叉熵损失函数，其表达式如下：

其中，∑为求和操作，log为取对数操作，e为自然对数函数的底数，为常数；

为预测值与真实值之间的误差损失；Y＝{y₁,y₂,...,y_L}表示真实标签向量，

表示预测标签向量，L为每一批次输入样本数；

46)使用Adam优化函数方法让每个参数获得自适应学习率，并且，对每一层采用了批量归一化BN，其数学表达式如下：

其中，

表示第l层经过批量归一化的结果；X_l为第l+1层的输入特征向量；E和Var分别表示输入特征向量的期望与方差函数；

47)将降维后的高光谱遥感数据输入到3D深度残差网络中进行训练，使用BN、Dropout正则化策略避免过拟合现象，得到训练好的3D深度残差网络模型。

Images