CN110298396A - 基于深度学习多特征融合的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了基于深度学习多特征融合的高光谱图像分类方法，属于高光谱图像分类领域，本方法充分利用高光谱图像的光谱和空间信息，在分类效果上提升性能。实现步骤如下：首先对高光谱图像数据进行预处理，提取训练标签和测试标签；构建模型；做好数据预处理之后，进行构建训练模型。训练模型由三大部分组成，分别为光谱样本集训练模型、空间谱样本集训练模型以及EMP特征提取的样本集训练模型。另外，特征融合之后输入的全连接层。训练网络；高光谱图像分类输出分类图像本发明克服了传统的高光谱图像分类方法只利用高光谱图像的光谱信息，采用光谱信息、空间信息以及扩展形态特征处理相融合的方法，极大的提高了分类的准确率。

Description

基于深度学习多特征融合的高光谱图像分类方法

技术领域

本发明属于高光谱图像分类领域，具体涉及一种高光谱图像分类方法。

背景技术

随着遥感技术的发展，高光谱图像在地球观测中的各种应用中受到了极大的关注。高光谱图像(HSI)提供了数百个连续的狭窄光谱带，与传统的全色和多光谱遥感图像相比，详细的光谱信息能够更准确地区分不同的地表覆盖。因此，高光谱图像凭借其更精细分类的独特优势，可以揭示传统图像无法解决的细微光谱特征。

在高光谱图像分类的早期阶段，已经使用了许多基于机器学习的方法，比如最临近算法，决策树以及线性函数。在这些方法中，k-最近邻(k-NN)可以被视为最简单的分类器，其使用欧几里德距离来测量测试样本和可用训练样本之间的相似性。引入支持向量机(SVM)来确定高维空间中的边界，用于处理Hughes现象，SVM分类器已成为基准。同时，基于稀疏表示的分类(SRC)，极端学习机(ELM)，主动学习，相关向量机(RVM)和其他分类器已经有了产生卓越的分类性能。然而，由于相同的材料可能存在光谱差异并且不同的材料可能具有相似的光谱特征，因此很难仅通过光谱信息精确地区分不同的类别。后来，一些学者认识到光谱和空间信息结合可以提供更好的性能，提出了许多空间与光谱信息结合的方法。比如基于扩展形态剖面的空间和光谱信息融合的方法以及利用Gabor特征进行高光谱图像信息分析的方法等等。

上述方法采用一系列手动提取功能，涉及大量的经验和参数设置。近年来，深度学习方法在高光谱图像分类中显示出了良好的性能，它能更加动态地提供自动化功能，已被广泛用于高光谱图像特征提取和分类。特别地，卷积神经网络(CNN)是一类具有相同数量的隐藏单元的全连接网络更少参数的神经网络，引起了极大的关注。例如Feng-zhe Zhang等人提出的“多尺度”卷积神经网络，其包含三个不同卷积核大小的多尺度卷积层的深度神经网络，用来提取高光谱图像的光谱特征，来提高分类精度。另外Li等人提出了一种新的深度网络来学习像素对的特征，并将像素对与其邻域不同的分类结果融合在一起。在这种策略中，具有像素对特征(CNN-ppf)的CNN在分类时可以在固定的窗口内使用像素对，而卷积操作主要在频谱域中进行，忽略了空间细节。此外，Lee和Kwon提出了一种上下文深度CNN(即CD-CNN)，通过共同利用正方形窗口内相邻像素向量的局部空间光谱关系，可以最优地探索上下文交互。

尽管基于CNN的现有方法已经采用了一些空间信息提取策略来获得空间光谱特征，但如何更充分地利用高光谱图像内的信息(丰富的光谱信息和详细的空间信息)仍然面临着巨大的挑战。

发明内容

本发明旨在解决以上问题，提出了一种基于扩展形态特征处理与光谱和空间信息结合的高光谱图像分类方法。本发明可以充分利用高光谱图像的光谱和空间信息，在分类效果上提升性能。

为了达到上述目的，本发明采用的技术方案以及实现步骤如下：

基于深度学习多特征融合的高光谱图像分类方法，本方法可以充分利用高光谱图像的光谱和空间信息，在分类效果上提升性能。

实现步骤如下：

(1)首先对高光谱图像数据进行预处理，提取训练标签和测试标签。

(1a)每一类选取200个点作为训练标签，其余作为测试标签。

(1b)对高光谱图像进行扩展形态特征处理，得到EMP特征图像。

(1c)输入高光谱图像。输入原高光谱图像与进行扩展形态特征处理的高光谱图像，将输入图像的每一个像素点作为样本。

(1d)获得样本集。获得高光谱图像光谱的样本集，设定一个1×1的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集；获得高光谱空间谱的样本集，根据相邻像素的空间相关性，设定一个11*11的高光谱图像光谱域样本窗口，以实现特征抓取得到样本集；获得扩展形态特征处理的图像空间谱样本集。同样利用相邻像素的空间相关性，设定一个11*11的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集。

(1e)数据增强。高光谱图像的数据量有限，每一类只提取出来200个像素点作为训练样本，所以对高光谱图像进行数据增强操作，实现对训练样本集的扩容，完成数据的预处理。

(2)构建模型

做好数据预处理之后，进行构建训练模型。训练模型由三大部分组成，分别为光谱样本集训练模型、空间谱样本集训练模型以及EMP特征提取的样本集训练模型。另外，特征融合之后输入的全连接层。

(3)训练网络

训练模型的训练过程分为两步。首先对三个分支分别进行训练，即对光谱样本集，空间谱样本集以及EMP特征提取的样本集分别输入对应的网络进行训练。然后，在取得每个分支的训练特征之后，将这三部分融合在一起输入一个全连接网络进行训练，得到最终训练结果。

(4)高光谱图像分类

训练模型完成，并进行测试。运用预测值与真实值进行比对，从而得到分类结果，计算出准确率对高光谱图像进行分类。

(5)输出分类图像

根据高光谱图像进行分类结果输出分类图像。

本发明的优点：

克服了传统的高光谱图像分类方法只利用高光谱图像的光谱信息，未能充分利用空间信息的缺点，采用光谱信息、空间信息以及扩展形态特征处理相融合的方法，极大的提高了分类的准确率。

附图说明

图1是本发明的流程图。

图2是本发明的数据增强模型。

图3是本发明的总体训练模型结构。

图4是本发明的光谱训练模型结构(以意大利的帕维亚城Pavia University高光谱图像为例)。

图5是本发明的空间谱训练模型结构(以意大利的帕维亚城Pavia University高光谱图像为例)。

图6是本发明用到的印第安松树Indian Pines高光谱图像。

图7是本发明用到的意大利的帕维亚城Pavia University高光谱图像。

图8中，(a)是卷积神经网络分类方法对印第安松树Indian Pines高光谱图像分类的结果图，(b)是深度卷积神经网络分类方法对印第安松树Indian Pines高光谱图像分类的结果图，(c)是多尺度卷积分类方法对印第安松树Indian Pines高光谱图像分类的结果图，(d)是本发明对印第安松树Indian Pines高光谱图像分类的结果图。

图9中，(a)是卷积神经网络分类方法对意大利的帕维亚城Pavia University高光谱图像分类的结果图，(b)是深度卷积神经网络分类方法对意大利的帕维亚城PaviaUniversity高光谱图像分类的结果图，(c)是多尺度卷积分类方法是对意大利的帕维亚城Pavia University高光谱图像分类的结果图，(d)本发明对意大利的帕维亚城PaviaUniversity高光谱图像分类的结果图。

图10中，(a)是本发明对印第安松树Indian Pines高光谱图像分类训练过程的损失值收敛曲线，(b)是本发明对意大利的帕维亚城Pavia University高光谱图像分类训练过程的损失值收敛曲线。

图11中，(a)是本发明对印第安松树Indian Pines高光谱图像分类训练过程的准确率变化曲线，(b)是本发明对意大利的帕维亚城Pavia University高光谱图像分类训练过程的准确率变化曲线。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明的实现步骤如下：

步骤1，数据预处理；

(1)处理高光谱图像的标签

将标签分为训练标签和测试标签，训练标签每类200个，其余的为测试标签。这是为了后面得到训练样本和测试样本做准备。

(2)扩展形态特征处理

由于高光谱图像波段众多，扩展形态特征(EMP)通过降维来提取部分主要成分的形态轮廓特征。如下式所示：

式中，m为降维后的维数，I表示待处理的图像，n为开运算和闭运算的次数，MP₁，MP₂,…MP_m表示图像的形态轮廓。

形态特征中既包含原有的光谱信息，也含有通过形态学运算提取的空间特征。提取形态特征的同时，对数据进行归一化操作。使用min-max归一化，即对原始数据进行线性变换，使结果映射到[0-1]之间，转换公式如下：

其中max为图像样本数据集的最大值，min为图像样本数据集的最小值，x是样本数据集中的样本数据值，x^*表示归一化后的样本数据集中的样本数据值。对样本数据进行归一化操作，不仅提升训练模型的收敛速度，还能够提升训练模型的精度。

(3)输入高光谱图像

输入原始的高光谱图像与进行扩展形态特征处理后的高光谱图像，将图像的每一个像素点作为样本。

(4)获取样本集

根据高光谱图像以及扩展形态特征处理的高光谱图像与标签进行结合来构造样本集。并且训练样本是在一个样本集中，测试样本按类别分类成各个样本集。

首先获得高光谱图像光谱的样本集。设定一个1×1的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集。

其次获得高光谱空间谱的样本集，根据相邻像素的空间相关性，设定一个11×11的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集。

在获得高光谱图像的光谱样本集和空间谱样本集之后，使用min-max归一化方法对数据进行归一化操作，以提升模型的训练效果。

最后获得扩展形态特征处理的图像空间谱样本集，同样利用相邻像素的空间相关性，设定一个11×11的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集。

(5)数据增强

高光谱图像的数据量有限，每一类只提取出来200个像素点作为训练样本，所以可以对高光谱图像进行数据增强操作，实现对数据集的扩容。第一步是随机反转，可以是上下反转(flipud)，也可以是左右反转(fliplr)，通过反转可以实现数据量翻倍；第二步是添加随机高斯噪声，向标准数据中加入合适的高斯噪声会让数据变得有一定误差而具有实验价值。

步骤2，构建训练模型；

首先是光谱样本集训练模型结构。这个模型结构比较简单，由2-D卷积层(卷积核的大小是1*1)，最大池化层，批归一化、dropout、Flatten以及全连接层组成。卷积层的激活函数是‘Relu’。使用批归一化可以使得更高的学习率可以通过对每个训练小批量的数据进行归一化来加速收敛。使用dropout可以在训练样本较小的情况下防止过拟合的发生。在经过卷积和最大池化层后，使用Flatten将光谱特征拉平。最后输入到全连接层中，使用‘softmax’进行激活。

空间谱样本集和扩展形态特征处理后的样本集使用同一训练模型结构。这个模型相对于光谱训练模型复杂一点，由两层卷积层(卷积核的大小是3*3)，两层最大池化层，批归一化、Flatten以及全连接层组成。卷积层的激活函数是‘Relu’。在经过卷积和最大池化层后，使用Flatten将光谱特征拉平。最后输入到全连接层中，使用‘softmax’进行激活。

特征融合。设R_spe，R_spa，R_emp为CNN的输入值，R_spe代表光谱特征，R_spa代表空间谱特征，R_emp代表扩展形态学处理后的空间特征。卷积层创建一个滤波器核W，滤波器核W与输入数据进行卷积，并添加一个偏置b来生成输出张量Z。公式如下：

其中表示卷积过程。非线性变换有许多替代方法，如sigmoid函数和hyperbolictangent。这里，使用非线性变换层选择整流线性单元(ReLU)，以计算输出激活值公式如下：

对于批量标准化层(BN)，它将每批次的前一层的激活标准化。换句话说，它应用保持平均激活接近0并且激活标准偏差接近1的变换。假设批次的大小为m，并且是基于整批样本得出的。因此，批次中存在m个这种激活的值，即计算公式为：

其中，表示批量标准化后批次中样品的输出。和表示的期望和方差。对应的，γ和β表示学习的超参数。

特征提取器的链在全连通层结束，特定区域的整个特征提取操作定义为：

fR_q＝F(R_q，θ)，q∈{spe，spa，emp} (6)

函数F由卷积过程和完全连接过程组成，R_q代表特定区域，从R_q中提取的特征，而θ由w、b、γ和β组成。

在通过前述特征提取操作获得所有区域的不同特征之后，这些代表性特征被有效地融合在一起。首先，将不同CNN流水线的特征与其他流水线连接起来，以获得特征向量f＝{fR_spe，fR_spa，fR_emp}。然后，如图3所示，建立完全连接的层以通过将f视为输入来组合来自深度的这些特征。最后，应用softmax层来预测测试像素的分类标签。

步骤3，训练网络；

将光谱样本集、空间谱样本集以及扩展形态特征处理的图像空间谱样本集分入输入相对应的网络模型进行训练，获取特征后进行融合，之后输入到一个全连接网络进行训练，得到最终的训练结果。

另外，使用批量大小为100随机梯度下降优化算法(SGD)，迭代次数为500×C(C为类数)。冲量momentum设置为0.99，权值衰减delay设置为0.0001，最初设定一个基地学习速率L为0.001，并且会不断减少，是更新的学习速率，I是当前迭代器的个数。使用标准偏差为的零均值高斯随机变量初始化所有卷积层，其中为fan_in输入单元数，fan_out为权重张量中的输出单元数。所有卷积层的偏差初始化为零。

步骤4，高光谱图像分类；

运用预测值与真实值进行比对，从而得到分类结果，计算出准确率。

步骤5，输出分类图像。

实验以及分析

1.实验条件

本发明的硬件测试平台是：处理器Intel(R)Xeon(R)Gold 5118 CPU，主频为2.30GHz，内存32GB，显卡为Quadro P4000；软件平台为Windows 10操作系统和PyCharm2018。编程语言是python，使用Keras和Tensorflow深度学习框架来实现网络结构。Tensorflow是一个开源的框架，Keras是Tensorflow的高级封装。

2.实验数据

本发明的性能评价主要用到两个数据集。印第安松树Indian Pines数据集和意大利的帕维亚城Pavia University数据集。

印第安松树Indian Pines数据集图像大小为145×145，图像包含220个光谱段和16类地表覆盖物。数据集中的一些类别的像素点数目比较少，所以只选择了8个数目比较多的类别进行训练和测试，其他的不作处理。在这8个类别的ground-truth map中，对这8个类别每一类选取200个标签像素进行训练，剩余的标签像素进行测试。表1是本发明对印第安松树Indian Pines数据集的训练与测试样本的选取。

表1

意大利的帕维亚城Pavia University数据集图像大小为610×340，图像包含103个波段和9类地表覆盖物。在这9个类别的ground-truth map中，对9个类别每一类选取200个标签像素进行训练，剩余的标签像素进行测试。表2是本发明对意大利的帕维亚城PaviaUniversity数据集的训练与测试样本的数量选取。

表2

3.性能比较

本发明用到的三个现有技术对比分类的方法如下：

(1)Wei Hu等人在“Deep Convolutional Neural Networks for HyperspectralImage Classification”中提出的高光谱图像分类方法。简称卷积神经网络分类方法(CNN)。采用深卷积神经网络直接对高光谱图像进行光谱域分类。

(2)Hyungtae Lee等人在“Going Deeper With Contextual CNN forHyperspectral Image Classification”中提出的高光谱图像分类方法，简称深度卷积神经网络分类方法(CD-CNN)。该方法通过所提出的CNN流水线的初始组件的多尺度卷积滤波器组来实现对空间谱信息的联合利用。然后将从多尺度滤波器组获得的初始空间和光谱特征图组合在一起以形成联合空间光谱特征图。最后，表示高光谱图像的丰富光谱和空间特性的联合特征图通过完全卷积网络馈送，该网络最终预测每个像素矢量的相应标签。

(3)Feng-zhe Zhang等人在“Deep multi-scale convolutional neural networkfor hyperspectral image classification”提出的高光谱分类方法，简称多尺度卷积分类方法(Multi-scale CNN)。该方法设计了一个具有多尺度卷积层的深度神经网络，该层包含3种不同的卷积核尺寸。其次，为了避免深度神经网络的过度拟合，利用了丢失，随机地睡眠神经元，有助于提高分类的准确性。

在实验中，采用以下三个指标来评价本发明的性能：

第一个评价指标是总精度(OA),表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。

第二个评价指标是平均精度(AA)，表示每一类分类精度的平均值，值越大，说明分类效果越好。

第三个评价指标是卡方系数(Kappa)，表示混淆矩阵中不同的权值，值越大，说明分类效果越好。

表3是本发明对印第安松树Indian Pines高光谱图像分类的准确率以及对比。

表4是本发明对意大利的帕维亚城Pavia University高光谱图像分类的准确率以及对比。

表3

表4

从表3和表4可以看出，对于同一个高光谱数据集，本发明提出的高光谱分类方法，其分类效果要优于其他方法。对于印度松树数据集和帕维亚大学数据集，该网络的分类性能分别优于当前最优方法分类性能约4％和3％。

另外图8和图9展示了分类图，其可视化的分类结果与表3和表4列出的结果一致。从整个图像场景的地面覆盖图可以看出，与CNN、CD-CNN和Multi-scale CNN分类方法相比，本发明实现的分类图中很多区域的噪声明显较小。

表5是本发明与CNN、CD-CNN和Multi-scale CNN的训练和测试程序的运行时间对比。

表5

从表5中可以看出，对于训练过程，CNN和CD-CNN比其他两个要快得多，因为CNN和CD-CNN的网络规模和输入大小要小得多。而测试过程，因为各个区域的计算量都比较大，所以本发明相比于其他方法更耗时。

另外，图10是训练的损失值的收敛曲线，图11是训练的准确率的变化曲线。虽然训练过程非常耗时，但是取得了不错的效果。从图中可以看出大约经过100次迭代之后，曲线逐渐平缓。因此，可以设计适当的迭代次数来获得更高效的训练效果。

综上所述，本发明提出的一种基于深度学习多特征融合的高光谱分类方法，通过将高光谱图像的光谱信息，空间谱信息以及扩展形态学处理的空间谱信息分别训练，得到其特征之后融合在一起然后再进行训练，运用预测值与真实值进行比对，得到分类效果，实现了高光谱数据的有效分类。实验结果表明，本发明比现有技术具有更高的分类精度。

Claims (6)

1.基于深度学习多特征融合的高光谱图像分类方法，其特征在于：本方法能够充分利用高光谱图像的光谱和空间信息，在分类效果上提升性能；

实现步骤如下：

(1)首先对高光谱图像数据进行预处理，提取训练标签和测试标签；

(1a)每一类选取200个点作为训练标签，其余作为测试标签；

(1b)对高光谱图像进行扩展形态特征处理，得到EMP特征图像；

(1c)输入高光谱图像；输入原高光谱图像与进行扩展形态特征处理的高光谱图像，将输入图像的每一个像素点作为样本；

(1d)获得样本集；获得高光谱图像光谱的样本集，设定一个1×1的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集；获得高光谱空间谱的样本集，根据相邻像素的空间相关性，设定一个11*11的高光谱图像光谱域样本窗口，以实现特征抓取得到样本集；获得扩展形态特征处理的图像空间谱样本集；同样利用相邻像素的空间相关性，设定一个11*11的高光谱图像光谱域样本窗口，实现特征抓取得到样本集；

(1e)数据增强；高光谱图像的数据量有限，每一类只提取出来200个像素点作为训练样本，所以对高光谱图像进行数据增强操作，实现对训练样本集的扩容，完成数据的预处理；

(2)构建模型

做好数据预处理之后，进行构建训练模型；训练模型由三大部分组成，分别为光谱样本集训练模型、空间谱样本集训练模型以及EMP特征提取的样本集训练模型；另外，特征融合之后输入的全连接层；

(3)训练网络

训练模型的训练过程分为两步；首先对三个分支分别进行训练，即对光谱样本集，空间谱样本集以及EMP特征提取的样本集分别输入对应的网络进行训练；然后，在取得每个分支的训练特征之后，将这三部分融合在一起输入一个全连接网络进行训练，得到最终训练结果；

(4)高光谱图像分类

训练模型完成，并进行测试；运用预测值与真实值进行比对，从而得到分类结果，计算出准确率对高光谱图像进行分类；

(5)输出分类图像

根据高光谱图像进行分类结果输出分类图像。

2.根据权利要求1所述的基于深度学习多特征融合的高光谱图像分类方法，其特征在于：

由于高光谱图像波段众多，扩展形态特征(EMP)通过降维来提取部分主要成分的形态轮廓特征；如下式所示：

式中，m为降维后的维数，I表示待处理的图像，n为开运算和闭运算的次数，MP₁，MP₂,…MP_m表示图像的形态轮廓；

形态特征中既包含原有的光谱信息，也含有通过形态学运算提取的空间特征；提取形态特征的同时，对数据进行归一化操作；使用min-max归一化，即对原始数据进行线性变换，使结果映射到[0-1]之间，转换公式如下：

其中，max为图像样本数据集的最大值，min为图像样本数据集的最小值，x是样本数据集中的样本数据值，x^*表示归一化后的样本数据集中的样本数据值；对样本数据进行归一化操作，不仅提升训练模型的收敛速度，还能够提升训练模型的精度。

3.根据权利要求2所述的基于深度学习多特征融合的高光谱图像分类方法，其特征在于：

根据高光谱图像以及扩展形态特征处理的高光谱图像与标签进行结合来构造样本集；并且训练样本是在一个样本集中，测试样本按类别分类成各个样本集；

首先获得高光谱图像光谱的样本集；设定一个1×1的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集；

其次获得高光谱空间谱的样本集，根据相邻像素的空间相关性，设定一个11×11的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集；

在获得高光谱图像的光谱样本集和空间谱样本集之后，使用min-max归一化方法对数据进行归一化操作，以提升模型的训练效果；

最后获得扩展形态特征处理的图像空间谱样本集，同样利用相邻像素的空间相关性，设定一个11×11的高光谱图像光谱域样本窗口，来实现特征抓取得到样本集。

4.根据权利要求3所述的基于深度学习多特征融合的高光谱图像分类方法，其特征在于：

高光谱图像的数据量有限，每一类只提取出来200个像素点作为训练样本，所以可以对高光谱图像进行数据增强操作，实现对数据集的扩容；第一步是随机反转，是上下反转或者是左右反转，通过反转可以实现数据量翻倍；第二步是添加随机高斯噪声，向标准数据中加入合适的高斯噪声会让数据变得有一定误差而具有实验价值。

5.根据权利要求4所述的基于深度学习多特征融合的高光谱图像分类方法，其特征在于：构建训练模型的过程如下，

首先是光谱样本集训练模型结构，光谱样本集训练模型结构由2-D卷积层，最大池化层，批归一化、dropout、Flatten以及全连接层组成；卷积层的激活函数是‘Relu’；使用批归一化使得更高的学习率通过对每个训练小批量的数据进行归一化来加速收敛；使用dropout在训练样本小的情况下防止过拟合的发生；在经过卷积和最大池化层后，使用Flatten将光谱特征拉平；最后输入到全连接层中，使用‘softmax’进行激活；

空间谱样本集和扩展形态特征处理后的样本集使用同一训练模型结构；这个模型相对于光谱训练模型复杂一点，由两层卷积层，两层最大池化层，批归一化、Flatten以及全连接层组成；卷积层的激活函数是‘Relu’；在经过卷积和最大池化层后，使用Flatten将光谱特征拉平；最后输入到全连接层中，使用‘softmax’进行激活；

特征融合；设R_spe，R_spa，R_emp为CNN的输入值，R_spe代表光谱特征，R_spa代表空间谱特征，R_emp代表扩展形态学处理后的空间特征；卷积层创建一个滤波器核W，滤波器核W与输入数据进行卷积，并添加一个偏置b来生成输出张量Z；公式如下：

其中表示卷积过程；使用非线性变换层选择整流线性单元(ReLU)，以计算输出激活值公式如下：

对于批量标准化层BN，它将每批次的前一层的激活标准化；应用保持平均激活接近0并且激活标准偏差接近1的变换；假设批次的大小为m，并且是基于整批样本得出的；因此，批次中存在m个这种激活的值，即计算公式为：

其中，表示批量标准化后批次中样品的输出；和表示的期望和方差；对应的，γ和β表示学习的超参数；

特征提取器的链在全连通层结束，特定区域的整个特征提取操作定义为：

fR_q＝F(R_q，θ)，q∈{spe，spa，emp} (6)

函数F由卷积过程和完全连接过程组成，R_q代表特定区域，从R_q中提取的特征，而θ由W、b、γ和β组成；

在通过前述特征提取操作获得所有区域的不同特征之后，这些代表性特征被有效地融合在一起；首先，将不同CNN流水线的特征与其他流水线连接起来，以获得特征向量f＝{fR_spe，fR_spa，fR_emp}；然后，建立完全连接的层以通过将f视为输入来组合来自深度的这些特征；最后，应用softmax层来预测测试像素的分类标签。

6.根据权利要求1所述的基于深度学习多特征融合的高光谱图像分类方法，其特征在于：训练网络的过程如下，

将光谱样本集、空间谱样本集以及扩展形态特征处理的图像空间谱样本集分入输入相对应的网络模型进行训练，获取特征后进行融合，之后输入到一个全连接网络进行训练，得到最终的训练结果；

另外，使用批量大小为100随机梯度下降优化算法SGD，迭代次数为500×C，C为类数；冲量momentum设置为0.99，权值衰减delay设置为0.0001，最初设定一个基地学习速率L为0.001，并且会不断减少， 是更新的学习速率，I是当前迭代器的个数；使用标准偏差为的零均值高斯随机变量初始化所有卷积层，其中为fan_in输入单元数，fan_out为权重张量中的输出单元数；所有卷积层的偏差初始化为零。