CN111368896A - 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，以原始高光谱数据作为网络输入，采用三维卷积提取高光谱遥感图像的三维空谱特征，三维卷积可以直接对高光谱图像进行处理，不需要进行降维等预处理操作，更充分地提取高光谱图像的空谱特征。利用密集残差网络加深网络层数，学习更深层次的光谱和空间特征，随着网络深度的增加，残差网络可以有效减少梯度消失的问题，并且该结构可以更有效地利用特征并增强卷积层之间的特征传递；通过早停的方法来缩减训练时间，通过Soft‑max分类器进行分类预测，得到初始分类结果；提出多标签条件随机场优化算法，对分类的结果进行优化。本发明提升运算效率，提高了遥感图像分类的准确度。

Description

基于密集残差三维卷积神经网络的高光谱遥感图像分类方法

技术领域

本发明属于遥感测绘与信息工程领域，尤其涉及一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法。

背景技术

随着高光谱遥感技术的发展，新的高光谱传感器能够同时采集光谱特征和空间特征的连续图像，这些图像包含丰富的地物信息。遥感数据不仅反映了地物的光谱信息，且同时包含了地物的空间分布信息，因此，在农业、环境监测、城市规划和军事侦察等领域有着广泛的应用。地物的发展和类型变化容易引起遥感图像数值的变化，因此能否对遥感图像数据的变化规律准确分析，是地物类型进行分类与识别的关键。

遥感数据不仅包含了地物的光谱信息，还含有地物的空间分布信息，所含信息量复杂，给高光谱遥感图像的分类带来了挑战，传统的高光谱遥感图像分类方法仅仅利用了图像的光谱信息，导致分类的准确度一直很不如人意。深度学习作为一种能够结合空间信息的分类方法能对高光谱遥感图像的地物信息进行准确的划分与识别，近年来被广泛应用于高光谱图像的分类任务中。深度学习网络通过模拟人脑的学习过程，利用了多层抽象机制来对数据进行抽象表达，提供了一种可以自动进行特征学习的框架。该框架以原始数据作为输入，通过逐层抽象和表示，逐步将原始数据转换为一组具备较高描述能力的特征。深度学习中的各层网络输出同样具有描述能力，每个网络层次都是数据在不同层次的抽象和描述，较为底层的网络输出对应于数据的底层特征，而中高层的网络输出对应于数据的中高层特征，自动建立了数据的底层特征到高层结构的关联与映射。深度学习可以为高光谱数据分析提供新的机制，深度学习可以作为一种能够结合空间信息的分类方法能对高光谱遥感图像的地物信息进行准确的划分与识别，近年来被广泛应用于高光谱图像的分类任务中。

发明内容

发明目的：本发明提出了一种基于密集残差三维卷积神经网络(DR-3D-CNN)的高光谱图像分类方法，用于高光谱遥感图像的分类，有效提升运算效率，提高分类的准确度，充分利用了光谱空间信息的同时也缓解了梯度弥散的问题。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，包括以下步骤：

步骤一，利用高光谱遥感图像的原始样本构建虚拟样本，将原始样本和虚拟样本混合构成训练样本，所述训练样本为三维的数据立方体；

步骤二，利用加入密集残差结构的三维卷积神经网络，将混合训练样本作为网络输入，提取高光谱遥感图像的三维空谱特征，将三维特征转换为一维特征；

步骤三，在神经网络的全连接层使用Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，得到初始分类结果，即高光谱遥感图像每个像元所属类别；

步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果。

进一步地，所述步骤一，构建混合训练样本，具体如下：

使用高光谱遥感图像的原始样本数据通过模拟成像，将随机因子和随机噪声加入原始样本，形成虚拟样本，所述虚拟样本是根据高光谱图像的原始样本变换得来的一种伪样本，公式如下：

其中，y_k是生成的虚拟样本，x_i、x_j表示同一类别中两个不同的原始样本，在一定范围内变化的高光谱特征属于一个类别，y_k拥有和样本x_i、x_j同样的类别标签；α_i、α_j是对应样本的光强度扰动，β表示高斯噪声n_s的权重；

将原始样本和生成的虚拟样本混合构成训练样本，输入网络进行训练，可以有效提高样本的总体数量，在一定程度上缓解了数据不平衡的问题。

高光谱图像不同于通常的二维图像，在二维图像空间信息的基础上添加了光谱维，形成三维的数据立方体。通常卷积神经网络对高光谱图像分析时要进行降维等预处理操作，但是降维处理会损失高光谱图像中的细节信息，此方法不利于高光谱图像不同地物的识别。因此本发明采用三维卷积神经网络(3D-CNN)对高光谱数据立方体进行分析处理。同时将密集连接结构(即第l层的输入是第0层到第l-1层中每层输出的和)融入3D-CNN中，用来学习高光谱遥感图像中更深层次的光谱空间特征。

进一步地，所述步骤二，提取空谱特征方法具体如下：

2-1，以待分类像元为中心提取邻域大小为s×s×L的高光谱图像数据立方体作为网络的输入，其中s×s表示图像的空间域大小，L是高光谱图像的光谱维度；

2-2，通过三维卷积神经网络的第一个卷积层C1的卷积操作得到n个s×s×b大小的特征图，b为光谱维数，b＜L；

2-3，将所得特征图通过密集残差连接的卷积神经网络的三个卷积层C2、C3和C4，将每层得到的特征图组合，得到m个s×s×b大小的特征图，b为光谱维数；

2-4，通过卷积层C5和池化层，将三维的特征转换为一维的特征，再连接全连接层FC，全连接层输出的结果即为提取到的空谱特征。

进一步地，在全连接层采用dropout方法随机丢弃50％的隐藏层节点以控制过拟合的风险。

进一步地，所述密集连接结构即第l层的输入是第0层到第l-1层中每层输出的和；卷积层使用大小为a×a×d的k个卷积核学习光谱空间特征，a＞1,d＞1；

第l层的输入

表示为：

第一个卷积层C1处理的是s×s×L大小的原始像素数据，得到n个大小为s×s×b的特征图；将这些特征图作为密集残差结构中的输入

上标0表示起始位置中的数据，下标1表示密集残差连接结构中的数据；

密集残差连接的三个卷积层C2、C3和C4的输入和输出的特征图大小为s×s×b，输出的特征图的数量为k；输入的特征图的数量随着卷积层的增加而不断增多，第l层的输入特征图的数量k_l表示为：

k_l＝n+(l-1)×k

其中n是初始特征图的数目，通过密集残差连接结构，特征图的数目最终合并为k_m。

进一步地，所述步骤三，神经网络的全连接层输出的一维特征向量输入Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，对高光谱遥感图像进行初级分类；具体如下：

标注混合训练样本(x⁽ⁱ⁾,y⁽ⁱ⁾)用于网络的学习，样本总数为N，x⁽ⁱ⁾为第i个混合训练样本，y⁽ⁱ⁾为样本x⁽ⁱ⁾的输出期望类别标签，y⁽ⁱ⁾∈T,T＝{t₁,t₂,...,t_q}，T为标签集合，q为类别总数，t_q为类别总数；

构建目标函数如下：

其中Y⁽ⁱ⁾为网络的实际预测值，Y_j ⁽ⁱ⁾为Y⁽ⁱ⁾的第j个分量，表示属于第j类的概率，θ₁,θ₂,θ₃,...,θ_q为逻辑回归参数矩阵，1{·}为示性函数，即当大括号内条件为真时，结果为1，否则结果为0；分类结束后得到样本x⁽ⁱ⁾属于第j类的概率以及样本所属的标签；

采用Adam优化器训练卷积神经网络，优化目标函数，对参数进行学习直到误差满足预期；训练过程中，在一定的批次后，如果目标函数损失不再减少，提前停止训练，这样可以有效减少训练所需时间，并防止过拟合；训练结束后，通过训练好的卷积神经网络以及Soft-max分类器得到初始分类结果，即高光谱遥感图像每个像元所属类别。

进一步地，所述步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果，具体如下：

经过Soft-max分类器的初步分类后，得到高光谱图像每个像元所属类别以及对应的概率，将已经标注好的标签集合T和初始分类像元类别以及对应的概率作为多标签条件随机场优化算法输入，多标签条件随机场优化算法利用图像像元的相关性来优化分类结果，通过K最近邻(KNN)分类算法得到像元节点与邻近节点的集合，该集合表示像元的相关性；将得到的所属类别的概率与地理空间相结合，对分类的结果进行优化，输出优化后的像元标签。

本发明以原始高光谱数据作为网络输入进行处理，采用三维卷积提取高光谱遥感图像的三维空谱特征，三维卷积可以直接对高光谱图像进行处理，不需要进行降维等预处理操作，能够更充分地提取高光谱图像的空谱特征。同时，利用密集残差网络加深网络层数，学习更深层次的光谱和空间特征，随着网络深度的增加，残差网络可以有效减少梯度消失的问题，并且该结构可以更有效地利用特征并增强卷积层之间的特征传递；通过早停的方法来缩减训练时间，通过Soft-max分类器进行分类预测，得到初始分类结果；提出多标签条件随机场优化算法，对分类的结果进行优化。

有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：

本发明提出了一种基于密集残差三维卷积神经网络(DR-3D-CNN)的高光谱遥感图像分类方法。由于在神经网络层数增加的同时，网络将会具有更强的特征学习和特征表达能力，但也会存在网络退化问题，所以本发明引入密集残差连接的框架来解决网络的退化问题。该网络结构直接以原始高光谱数据作为网络输入进行处理，通过三维卷积核提取特征，并融合密集残差结构实现特征重用，有效提升运算效率。本发明充分利用了光谱空间信息的同时也缓解了梯度弥散的问题，最后结合条件随机场进一步地提高高光谱图像分类的精度。

附图说明

图1是基于密集残差三维卷积神经网络结构示意图；

图2是基于密集残差结构的三维卷积操作示意图；

图3是提取空谱数据特征的卷积神经网络模型图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的一种基于密集残差三维卷积神经网络(DR-3D-CNN)的高光谱遥感图像分类方法，网络结构示意图如图1所示，包括以下步骤：

步骤一，利用高光谱遥感图像的原始样本构建虚拟样本，将原始样本和虚拟样本混合构成训练样本，所述训练样本为三维的数据立方体；具体如下：

使用高光谱遥感图像的原始样本数据通过模拟成像，将随机因子和随机噪声加入原始样本，形成虚拟样本，所述虚拟样本是根据高光谱图像的原始样本变换得来的一种伪样本，公式如下：

其中，y_k是生成的虚拟样本，x_i、x_j表示同一类别中两个不同的原始样本，在一定范围内变化的高光谱特征属于一个类别，y_k拥有和样本x_i、x_j同样的类别标签；α_i、α_j是对应样本的光强度扰动，β表示高斯噪声n_s的权重；

将原始样本和生成的虚拟样本混合构成训练样本，输入网络进行训练，可以有效提高样本的总体数量，在一定程度上缓解了数据不平衡的问题。

高光谱图像不同于通常的二维图像，在二维图像空间信息的基础上添加了光谱维，形成三维的数据立方体。通常卷积神经网络对高光谱图像分析时要进行降维等预处理操作，但是降维处理会损失高光谱图像中的细节信息，此方法不利于高光谱图像不同地物的识别。因此本发明采用三维卷积神经网络(3D-CNN)对高光谱数据立方体进行分析处理。同时将密集连接结构(即第l层的输入是第0层到第l-1层中每层输出的和)融入3D-CNN中，用来学习高光谱遥感图像中更深层次的光谱空间特征。

步骤二，利用加入密集残差结构的三维卷积神经网络，将混合训练样本作为网络输入，提取高光谱遥感图像的三维空谱特征，将三维特征转换为一维特征；基于密集残差结构的三维卷积操作如图2所示，具体如下：

2-1，以待分类像元为中心提取邻域大小为s×s×L的高光谱图像数据立方体作为网络的输入，其中s×s表示图像的空间域大小，L是高光谱图像的光谱维度；

2-2，通过三维卷积神经网络的第一个卷积层C1的卷积操作得到n个s×s×b大小的特征图，b为光谱维数，b＜L；

2-3，将所得特征图通过密集残差连接的卷积神经网络的三个卷积层C2、C3和C4，将每层得到的特征图组合，得到m个s×s×b大小的特征图，b为光谱维数；

所述密集连接结构即第l层的输入是第0层到第l-1层中每层输出的和；

高光谱遥感图像空间域相邻像素之间存在局部相关性，与空间域大小为1×1的3D卷积核相比，以空间域大小为a×a,a＞1的3D卷积核提取光谱空间特征的同时能够更加完美地保留空间信息的邻域相关性，而且大卷积核会造成数据量过大导致过拟合，因此，本实施例中，3D卷积层使用大小为3×3×7的k个卷积核来学习更深层的光谱空间特征；第l层的输入

表示为：

第一个卷积层C1处理的是s×s×L大小的原始像素数据，得到n个大小为s×s×b的特征图；将这些特征图作为密集残差结构中的输入

上标0表示起始位置中的数据，下标1表示密集残差连接结构中的数据；

密集残差连接的三个卷积层C2、C3和C4的输入和输出的特征图大小为s×s×b，输出的特征图的数量为k；输入的特征图的数量随着卷积层的增加而不断增多，第l层的输入特征图的数量k_l表示为：

k_l＝n+(l-1)×k

其中n是初始特征图的数目，通过密集残差连接结构，特征图的数目最终合并为k_m，并且成功地学习到更深的光谱空间特征；

2-4，通过卷积层C5和池化层，将三维的特征转换为一维的特征，再连接全连接层FC，全连接层输出的结果即为提取到的空谱特征。本实施例中，在全连接层采用dropout方法随机丢弃50％的隐藏层节点以控制过拟合的风险。

本实施例提取空谱数据特征的卷积神经网络模型如图3所示。C1～C5表示三维卷积层，其中C1的卷积核大小为3×3×7，卷积核个数为24个，卷积模式为“valid”；C2～C4的卷积核大小为3×3×7，卷积核个数为12，卷积模式为“same”，表示保留边界处的卷积结果，通常输出尺寸与输入尺寸保持一致；C5的卷积核大小为1×1×b，卷积个数为60个，卷积模式为“valid”，表示有效卷积，即不处理边界处的数据；FC表示全连接层。首先，将提取到的高光谱图像数据立方体作为网络的输入，通过卷积层C1的卷积操作得到24个7×7×b大小的特征立方体，b为光谱维数；然后，通过密集残差连接结构的三个卷积层C2、C3和C4，将每层得到的特征立方体组合，最终得到60个7×7×b大小的特征立方体；最后再通过卷积层C5和池化层，将三维的特征转换为一维的特征，再连接全连接层FC，并在全连接层采用dropout方法随机丢弃50％的隐藏层节点以控制过拟合的风险。将随机丢弃的比例设置为50％时，由dropout层随机生成的网络结构最大，有着最佳的结果。

步骤三，在神经网络的全连接层使用Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，得到初始分类结果，即高光谱遥感图像每个像元所属类别；

所述神经网络的全连接层输出的一维特征向量输入Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，对高光谱遥感图像进行初级分类；具体如下：

标注混合训练样本(x⁽ⁱ⁾,y⁽ⁱ⁾)用于网络的学习，样本总数为N，x⁽ⁱ⁾为第i个混合训练样本，y⁽ⁱ⁾为样本x⁽ⁱ⁾的输出期望类别标签，y⁽ⁱ⁾∈T,T＝{t₁,t₂,...,t_q}，T为标签集合，q为类别总数，t_q为类别总数；

构建目标函数如下：

其中Y⁽ⁱ⁾为网络的实际预测值，Y_j ⁽ⁱ⁾为Y⁽ⁱ⁾的第j个分量，表示属于第j类的概率，θ₁,θ₂,θ₃,...,θ_q为逻辑回归参数矩阵，1{·}为示性函数，即当大括号内条件为真时，结果为1，否则结果为0；分类结束后得到样本x⁽ⁱ⁾属于第j类的概率以及样本所属的标签；

采用Adam优化器训练卷积神经网络，优化目标函数，对参数进行学习直到误差满足预期；训练过程中，在一定的批次后，如果目标函数损失不再减少，提前停止训练，这样可以有效减少训练所需时间，并防止过拟合；训练结束后，通过训练好的卷积神经网络以及Soft-max分类器得到初始分类结果，即高光谱遥感图像每个像元所属类别。

步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果，具体如下：

经过Soft-max分类器的初步分类后，得到高光谱图像每个像元所属类别以及对应的概率，将已经标注好的标签集合T和初始分类像元类别以及对应的概率作为多标签条件随机场优化算法输入，多标签条件随机场优化算法利用图像像元的相关性来优化分类结果，通过K最近邻(KNN)分类算法得到像元节点与邻近节点的集合，该集合表示像元的相关性；将得到的所属类别的概率与地理空间相结合，对分类的结果进行优化，输出优化后的像元标签。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：该方法包括以下步骤：

步骤一，利用高光谱遥感图像的原始样本构建虚拟样本，将原始样本和虚拟样本混合构成训练样本，所述训练样本为三维的数据立方体；

步骤二，利用加入密集残差结构的三维卷积神经网络，将混合训练样本作为神经网络输入，提取高光谱遥感图像的三维空谱特征，将三维特征转换为一维特征；

步骤三，在神经网络的全连接层使用Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，得到初始分类结果，即高光谱遥感图像每个像元所属类别；

步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果。

2.根据权利要求1所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述步骤一，构建混合训练样本，具体如下：

使用高光谱遥感图像的原始样本数据通过模拟成像，将随机因子和随机噪声加入原始样本，形成虚拟样本，公式如下：

其中，y_k是生成的虚拟样本，x_i、x_j表示同一类别中两个不同的原始样本，在一定范围内变化的高光谱特征属于一个类别，y_k拥有和样本x_i、x_j同样的类别标签；α_i、α_j是对应样本的光强度扰动，β表示高斯噪声n_s的权重；

将原始样本和生成的虚拟样本混合构成训练样本。

3.根据权利要求1所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述步骤二，提取空谱特征方法具体如下：

2-1，以待分类像元为中心提取邻域大小为s×s×L的高光谱图像数据立方体作为网络的输入，其中s×s表示图像的空间域大小，L是高光谱图像的光谱维度；

2-2，通过三维卷积神经网络的第一个卷积层C1的卷积操作得到n个s×s×b大小的特征图，b为光谱维数，b＜L；

2-3，将所得特征图通过密集残差连接的卷积神经网络的三个卷积层C2、C3和C4，将每层得到的特征图组合，得到m个s×s×b大小的特征图，b为光谱维数；

2-4，通过卷积层C5和池化层，将三维的特征转换为一维的特征，再连接全连接层FC，全连接层输出的结果即为提取到的空谱特征。

4.根据权利要求3所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：在全连接层采用dropout方法随机丢弃50％的隐藏层节点以控制过拟合的风险。

5.根据权利要求3所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述密集连接结构即第l层的输入是第0层到第l-1层中每层输出的和；卷积层使用大小为a×a×d的k个卷积核学习光谱空间特征，a＞1,d＞1；

第l层的输入

表示为：

第一个卷积层C1处理的是s×s×L大小的原始像素数据，得到n个大小为s×s×b的特征图；将这些特征图作为密集残差结构中的输入

上标0表示起始位置中的数据，下标1表示密集残差连接结构中的数据；

密集残差连接的三个卷积层C2、C3和C4的输入和输出的特征图大小为s×s×b，输出的特征图的数量为k；输入的特征图的数量随着卷积层的增加而不断增多，第l层的输入特征图的数量k_l表示为：

k_l＝n+(l-1)×k

其中n是初始特征图的数目，通过密集残差连接结构，特征图的数目最终合并为k_m。

6.根据权利要求1所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述步骤三，神经网络的全连接层输出的一维特征向量输入Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，对高光谱遥感图像进行初级分类；具体如下：

标注混合训练样本(x⁽ⁱ⁾,y⁽ⁱ⁾)用于网络的学习，样本总数为N，x⁽ⁱ⁾为第i个混合训练样本，y⁽ⁱ⁾为样本x⁽ⁱ⁾的输出期望类别标签，y⁽ⁱ⁾∈T,T＝{t₁,t₂,...,t_q}，T为标签集合，q为类别总数，t_q为类别总数；

构建目标函数如下：

其中Y⁽ⁱ⁾为网络的实际预测值，Y_j ⁽ⁱ⁾为Y⁽ⁱ⁾的第j个分量，表示属于第j类的概率，θ₁,θ₂,θ₃,...,θ_q为逻辑回归参数矩阵，1{·}为示性函数，即当大括号内条件为真时，结果为1，否则结果为0；分类结束后得到样本x⁽ⁱ⁾属于第j类的概率以及样本所属的标签；

采用Adam优化器训练卷积神经网络，优化目标函数，对逻辑回归参数及网络的权重和偏置进行学习直到误差满足预期；训练过程中，在一定的批次后，如果目标函数损失不再减少，提前停止训练；训练结束后，通过训练好的卷积神经网络以及Soft-max分类器得到初始分类结果，即高光谱遥感图像每个像元所属类别。

7.根据权利要求6所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果，具体如下：

经过Soft-max分类器的初步分类后，得到高光谱图像每个像元所属类别以及对应的概率，将已经标注好的标签集合T和初始分类像元类别以及对应的概率作为多标签条件随机场优化算法输入，多标签条件随机场优化算法利用图像像元的相关性来优化分类结果，通过K最近邻(KNN)分类算法得到像元节点与邻近节点的集合，该集合表示像元的相关性；将得到的所属类别的概率与地理空间相结合，对分类的结果进行优化，输出优化后的像元标签。

Images