CN109871830A - 基于三维深度残差网络的空谱融合高光谱图像分类方法 - Google Patents

Abstract

本发明属于高光谱智能感知领域，具体公开了一种基于三维深度残差网络的空谱融合高光谱图像分类方法，通过步骤：S1使用滑窗法生成候选框，生成若干窗口；S2将窗口随机划分为训练集与测试集数据；S3基于训练集中的高光谱数据对三维深度残差网络(3D‑CNN)进行训练；S4将测试集样本输入到分类模型中，提取输入数据的特征并预测其分类，实现了同时提取高光谱图像的光谱特征和空谱特征，进一步提高了高光谱图像分类精度，同时引入了残差网络结构，解决了传统高光谱分类神经网络中的学习退化问题。本发明结构清晰、易于实现，能充分利用高光谱图像的结构特征，在减少计算耗时的同时，显著提升了高光谱图像目标分类精度。

Description

基于三维深度残差网络的空谱融合高光谱图像分类方法

技术领域

本发明属于高光谱智能感知领域，涉及一种基于三维深度残差网络的空谱融合高光谱图像分类方法，可用于对高光谱图像进行目标分类。

背景技术

高光谱图像是由成像光谱仪捕获的图像，其同时描述了目标分布的二维空间信息和目标光谱特征的一维光谱信息，为每个像元提供数十甚至数百个窄波段的光谱信息，产生一条完整而连续的光谱曲线。高光谱图像将反映目标辐射的光谱信息与反映目标二维空间的图像信息集于一体，实现“图谱合一”，是一个二维图形空间和一维光谱的图像立方体。因此，高光谱图像广泛应用于军事、农业、医学、矿采等诸多领域。对高光谱图像中的观测目标进行类别识别是一种发挥高分辨率光谱信息优势的重要应用，同时也是研究人员快速理解高光谱图像中所包含内容的重要手段。传统的高光谱图像分类技术中，仅使用了高光谱图像中丰富的光谱信息，而没有考虑相邻像元光谱信息与当前光谱信息的相关性。近年来，基于空谱联合特征的高光谱图像分类方法通过引入空间信息，显著提高了高光谱图像分类精度。

为了有效联合空间信息和光谱信息完成高光谱图像分类任务，研究者们提出了一些能够提取低纬度空谱联合特征的特征提取方法。然而大多数传统的特征提取方法都是基于人工或者浅层学习模式，高度依赖领域知识，这些特征提取方法在大多数高光谱图像中很难平衡可辨性和鲁棒性。

随着深度学习成为最先进的机器学习技术，其为特征提取提供了理想的解决方法。深度学习从原始数据中自主地提取特征，大体上又可以分为无监督分类和有监督分类两种。对比文件(发明专利，申请号：CN107909015A)公开了一种使用卷积神经网络进行高光谱图像分类的方法，其首先将光谱信息和空间信息拆分开，单独将光谱信息放入卷积神经网络中提取特征，最后将光谱特征和空间特征进行融合。该方法基于CNN模型具有的局部特征检测能力，能够自主地提取光谱特征，拥有比传统方式更高的分类性能；但该方法将空间特性和光谱特征分开提取，导致无法充分利用空谱联合信息，分类精度有进一步提高的空间。

总体而言，当前的高光谱图像分类技术要么过于复杂，需要人为设置大量的参数；要么就是无法充分利用空谱联合信息，导致部分特征未能被捕获，造成分类精度下降。本发明在以往分类技术的各自优势上，提出了一种改进型的高光谱图像分类方法，即基于三维深度残差网络的空谱融合高光谱图像分类方法，该方法同时提取空间信息和光谱信息特征，具有很好的分类效果，并且鲁棒性强。

发明内容

本发明针对传统的空谱联合分类方法实现复杂、人工预设特征对分类结果影响大等缺点，整合空间信息和光谱信息的“双高特性”，从而得到一种新的三维深度残差网络结构。本发明主要解决的技术问题在于：充分利用光谱信息与空间信息，利用带有残差结构的三维卷积神经网络，提升网络性能及高光谱图像的目标分类精度。

为解决上述技术问题，本发明采用一种基于三维深度残差网络的空谱融合高光谱图像分类方法，其步骤为：

S1：使用滑窗法生成候选框，生成若干窗口；

对输入图像利用不同窗口尺寸的滑窗进行从左往右、从上到下的滑动，生成若干个尺寸相同的窗口；为了提高物体识别精度以及召回率，需要考虑不同的窗口尺寸以及长宽比这两个参数。

S2：随机划分训练集与测试集数据，将上一步中生成的窗口按比例随机划分为训练集和测试集；

S3：将训练集样本输入到三维深度残差网络中，处理过程如下：

S3-1：利用多个3D-CNN层捕获高光谱图像的光谱特征和空间特征,其中，网络中的3D-CNN层的具体结构如下：

(a)：基本三维卷积层，该单元进行基本的三维卷积操作，并通过批量归一化(Batch Normalization)层还原最初输入数据的分布，还可通过一个可选的非线性变换层进行非线性操作，使得卷积单元具有求解线性不可分的能力；

其中三维卷积操作用来同时捕获空间和光谱维度的特征，形式上，(x,y,z)点在第i层的第j个特征立方体上的卷积值为：

其中H_i是三维卷积核的高，W_i是三位卷积核的宽，D_i是三维卷积核的光谱深度，i是前一层的特征立方体个数，j是本层卷积核的数量，m是前一层的卷积核个数，是第(h,w,r)个连接到前一层中第m个特征立方体的值，b_ij是后向传播时的偏置调整值。

对三维卷积神经网络中的每个特征立方体独立处理，并将m的值取为1，(1)式可以转换为：

其中，是第l层中第j个卷积核第i个特征立方体中计算出的点(x,y,z)的值，是第(h,w,d)个连接到前一层中第i个特征立方体的值。通过卷积，第l层卷积层的输出将会包含i×j个三维特征立方体。

(b)：带下采样的三维残差网络层，通过保持一个三维卷积单元的输出不变，而将另一个三维卷积单元的步长调整为2，实现跳跃采样，将输出的矩阵规模降低一半，其还通过残差块，直接将输入连接到第二个三维卷积单元上，实现跳跃连接，避免了网络深度变大时训练退化的问题；

(c)：普通非下采样的三维残差网络层，该层通过增加跳跃连接实现恒等映射，同时通过在主路径两个三维卷积单元上连续减半和加倍输出通道维度减少中间层的计算量，并保持最终输出结果不变，进而实现一个残差块。

S3-2：再通过SPP层将特征图转化为固定大小的矩阵，使得网络在不同尺寸的高光谱图像上均能使用；

S3-3：将固定大小的矩阵输入到全连接层中，对提取的特征进行线性加权和非线性变换；

S3-4：最后通过输出层即可计算得出分类结果；

完成一次上述S3-1到S3-4的训练过程后，将网络得出的分类结果与样本的标注结果进行比对，计算出损失，再通过反向传播修改各级网络参数，不断重复上述训练过程，达到训练网络的效果；

S4：将测试集样本放入分类模型中，对提取的特征进行处理，进行分类预测；

将测试集样本放入训练好的三维卷积神经网络中，得到高光谱图像的特征表示，通过Softmax作为输出层，对提取的特征进行处理，实现分类计算。

其中，Softmax函数如下：

其中，C为类别的个数；a_i为神经网络全连接层的输出；y_i为Softmax的输出，表示区域内目标属于第i类的概率并选择概率最高的类别确定为该区域目标类别。

与现有技术相比，本发明的优点在于：

1、针对传统高光谱分类方法中仅使用光谱信息的不足，构建了三维深度残差网络，自主提取空间特征和光谱特征，充分使用了高光谱图像的空间信息和光谱信息，同时减少了人工预设特征的影响，充分发挥深度学习的自主提取特征能力；

2、三维深度残差网络使用全光谱带作为输入，不需要任何预处理和后处理，能以端对端的方式训练分类器模型；

3、通过残差网络结构，在保证高光谱图像的目标分类精度的情况下，避免了梯度扩散和梯度爆炸问题的出现，解决了传统卷积神经网络中网络深度变深后的学习退化问题，提升了网络学习性能，加快了网络学习效率；

4、通过使用Softmax作为输出层，较传统的SVM方法降低了计算复杂度，减少了计算分类的耗时，简化了网络结构，降低网络整体复杂度；

5、通过联合光谱特征，提高了高光谱图像目标分类精度。

附图说明

图1是本发明提出的基于三维深度残差网络的空谱融合高光谱图像分类方法处理流程；

图2是本发明提出的基本三维卷积层示意图；

图3是本发明提出的带下采样的三维残差网络层示意图；

图4是本发明提出的普通非下采样的三维残差网络层示意图；

图5是本发明提出的3D-CNN网络示意图；

图6是本发明中三维卷积操作示意图。

具体实施方式

以下将结合说明书附图和具体实施实例对本发明做进一步详细说明。

基于三维深度残差网络的空谱融合高光谱图像分类方法，包括以下步骤：

S1：使用滑窗法生成候选框，生成若干窗口；

对输入图像利用不同窗口尺寸的滑窗进行从左往右、从上到下的滑动，生成若干个尺寸相同的窗口；为了提高物体识别精度以及召回率，需要考虑不同的窗口尺寸以及长宽比这两个参数。

本实施例中输入一幅维度为144*144*200的高光谱图像数据后，通过滑窗法将高光谱图像数据从左往右、从上到下切割为256个9*9*200的等大候选框。

S2：随机划分训练集与测试集数据，将上一步中生成的窗口按比例随机划分为训练集和测试集，本实施例中训练集占40％的样本，测试集占60％的样本；

S3：将训练集样本逐一输入到三维深度残差网络中，该三维深度残差网络的整体结构分为两部分，第一部分包含一层三维卷积层(卷积核大小为3*3*3)，卷积核的个数为4个，用于提取原始空谱特征，之后经过四个残差网络层(包含2个带下采样残差网络层，2个普通非下采样残差网络层)，在每层卷积层后均使用BN层做均一化，并使用激励函数ReLU做激励操作，该部分一共包括5层网络；第二部分包含一个SPP层，一个全连接层，一个Softmax分类层。整个网络包括8层，网络整体运算包括前向卷积计算，损失计算，误差反向传播和权重更新四部分，其步骤为：

将每一个训练集样本都输入到3D-CNN网络中，其中三维卷积层的前向卷积运算公式见公式(2)。

在经过三维卷积层之后，会使用Batch Normalization层对激活向量批量归一化，降低激活向量的值，防止梯度弥散，增大学习效率。最后还可选用非线性激励函数ReLU完成激励，公式为：

带下采样的三维残差网络层在输入该层后，首先经过一个带激励函数ReLU的基本三维卷积层，随后通过一个步长为2的不带激励函数的基本三维卷积层，得到输出，记为output_1。与上述步骤同步，输入会经过另一个步长为2的不带激励函数的基本三维卷积层，得到输出，记为output_1_side。将output_1与output_1_side中的每个元素对应相加，得到本层输出结果。

普通非下采样的三维残差网络层在输入该层后，首先会经过一个带有激励函数ReLU的基本三维卷积层，为了降低该层的计算量，我们在第二层卷积层时，将输出channel降为原数据的一半，在经过第三层卷积层时，为了保证输出不被改变，将输出channel翻倍，保证计算正确。通过降低和升高输出channel，起到了减少网络计算量的作用。

最后得到一个预测输出结果，通过损失函数计算其与实际结果的差距，公式为：

其中X是输入样本，n为类别数，p(x_i)是训练样本的标签，q(xⁱ)是模型预测的类别。

通过公式(5)计算出损失后，再进行反向传播，修改每一层网络的参数，重复上述训练过程直至使用完所有训练集样本。

S4：将测试集样本放入分类模型中，对提取的特征进行处理，进行分类预测；

将测试集样本放入训练好的三维卷积神经网络中，得到高光谱图像的特征表示，通过Softmax作为输出层，对提取的特征进行处理，实现分类计算；

其中，Softmax函数如下：

其中，C为类别的个数；a_i为神经网络全连接层的输出；y_i为Softmax的输出，表示区域内目标属于第i类的概率并选择概率最高的类别确定为该区域目标类别。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.基于三维深度残差网络的空谱融合高光谱图像分类方法，其特征在于：包含以下步骤：

S1：使用滑窗法生成候选框，生成若干窗口；

对输入图像利用不同窗口尺寸的滑窗进行从左往右、从上到下的滑动，生成若干个尺寸相同的窗口；为了提高物体识别精度以及召回率，需要考虑不同的窗口尺寸以及长宽比这两个参数；

S2：随机划分训练集与测试集数据，将上一步中生成的窗口按比例随机划分为训练集和测试集；

S3：将训练集样本输入到三维深度残差网络中，处理过程如下：

S3-1：利用多个3D-CNN层捕获高光谱图像的光谱特征和空间特征,其中，网络中的3D-CNN层的具体结构如下：

(a)：基本三维卷积层，该单元进行基本的三维卷积操作，并通过批量归一化层还原最初输入数据的分布，还可通过一个可选的非线性变换层进行非线性操作，使得卷积单元具有求解线性不可分的能力；

其中三维卷积操作用来同时捕获空间和光谱维度的特征，形式上，(x,y,z)点在第i层的第j个特征立方体上的卷积值为：

其中H_i是三维卷积核的高，W_i是三位卷积核的宽，D_i是三维卷积核的光谱深度，i是前一层的特征立方体个数，j是本层卷积核的数量，m是前一层的卷积核个数，是第(h,w,r)个连接到前一层中第m个特征立方体的值，b_ij是后向传播时的偏置调整值；

对三维卷积神经网络中的每个特征立方体独立处理，并将m的值取为1，(1)式可以转换为：

其中，是第l层中第j个卷积核第i个特征立方体中计算出的点(x,y,z)的值，是第(h,w,d)个连接到前一层中第i个特征立方体的值；通过卷积，第l层卷积层的输出将会包含i×j个三维特征立方体；

(b)：带下采样的三维残差网络层，通过保持一个三维卷积单元的输出不变，而将另一个三维卷积单元的步长调整为2，实现跳跃采样，将输出的矩阵规模降低一半，其还通过残差块，直接将输入连接到第二个三维卷积单元上，实现跳跃连接，避免了网络深度变大时训练退化的问题；

(c)：普通非下采样的三维残差网络层，该层通过增加跳跃连接实现恒等映射，同时通过在主路径两个三维卷积单元上连续减半和加倍输出通道维度减少中间层的计算量，并保持最终输出结果不变，进而实现一个残差块；

S3-2：再通过SPP层将特征图转化为固定大小的矩阵，使得网络在不同尺寸的高光谱图像上均能使用；

S3-3：将固定大小的矩阵输入到全连接层中，对提取的特征进行线性加权和非线性变换；

S3-4：最后通过输出层即可计算得出分类结果；

完成一次上述S3-1到S3-4的训练过程后，将网络得出的分类结果与样本的标注结果进行比对，计算出损失，再通过反向传播修改各级网络参数，不断重复上述训练过程，达到训练网络的效果；

S4：将测试集样本放入分类模型中，对提取的特征进行处理，进行分类预测；

将测试集样本放入训练好的三维卷积神经网络中，得到高光谱图像的特征表示，通过Softmax作为输出层，对提取的特征进行处理，实现分类计算；

其中，Softmax函数如下：

其中，C为类别的个数；a_i为神经网络全连接层的输出；y_i为Softmax的输出，表示区域内目标属于第i类的概率并选择概率最高的类别确定为该区域目标类别。