CN112613371A - 一种基于密集连接卷积神经网络高光谱图像道路提取方法 - Google Patents

Abstract

本发明公开了一种基于密集连接的高光谱图像道路提取方法，具体包括：根据收集的高光谱图像数据集的空间信息和光谱信息，对数据集进行像素级别的分类，获得图像的像素点，将每个像素点处理成相同尺寸的像素块；基于密集卷积网络算法，构建卷积神经网络模型，对像素块数据进行网络训练；基于训练后的卷积神经网络模型，对高光谱图像进行测试，得到像素点的所属类别，将所述像素点可视化，输出得到所述目标道路的图像。本发明通过使用密集块结构实现高光谱图像的道路提取，得到更高的分类精度，在道路检测与监管、地图绘制、导航系统等方面具有良好的应用价值。

Description

一种基于密集连接卷积神经网络高光谱图像道路提取方法

技术领域

本发明属于遥感图像处理领域，具体涉及一种基于密集连接的卷积神经网络的训练和预测，结合了空间信息和光谱信息对高光谱图像进行像素级别分类。

背景技术

光谱分辨率在101数量级范围内的光谱图像称为高光谱图像，高光谱图像由许多个通道组成，每个通道对应该波段的光谱信息，即通常在同一个场景下包含几十个乃至几百个窄且连续的光谱带，波长跨越紫外光、可见光到红外光谱。高光谱遥感图像不仅仅包含被测物体的空间信息，还包含了被测物体的光谱信息。其中，空间信息体现在被测物体的形状、纹理等其他物理特征，使用高光谱传感器得到的光谱信息则能为被测物体分类提供额外信息，因此高光谱图像具有“图像立方体”的结构。

与传统的多光谱遥感图像相比，高光谱遥感图像的优势在于：高光谱遥感图像光谱分辨率高，传统的多光谱遥感图像光谱分辨率一般大于100nm，高光谱遥感图像光谱分辨率通常小于10nm；高光谱图像具有空间、辐射、光谱三重信息，即具有图谱合一的特点；高光谱遥感图像成像波段数量多，可在某一光谱范围内连续成像。近年来，随着高光谱成像的不断发展，高光谱图像的获取变得越来越容易，对高光谱图像的处理在对地观测方面变得十分重要，并且有着一些很实际的应用，例如地质绘图和勘探、大气或植被生态监测、农业监管、城市遥感和军事战场侦察等。

高光谱图像分类是高光谱遥感对地观测技术的一项重要内容，它主要对高光谱图像中每个像素的地物类型进行分类。高光谱图像分类在军事及民用领域都有着重要的应用，包括环境(水质、植被等)监管、道路检测、地雷检测、土地覆盖映射等。

高光谱图像道路提取主要利用高光谱图像分类将道路部分提取出来，近年来随着软硬件的进步和优化算法的发展，机器学习达到了一个新的里程碑，主要分为三种类型：无监督学习、监督学习和半监督学习。无监督学习，这种模型的训练不需要带有标签的样本，通过捕获像素间数据的高阶相关性进行分类。由于此类方法不用依赖于标注数据集，使得其适用于先验知识比较弱的场景中。一些无监督学习算法被提出，例如使用K-means聚类的方法实现高光谱图像的分析、使用基于信息论的自动模式识别方法对遥感图像的准确分类等等。

虽然无监督方法只依赖于数据本身而不依赖于样本的标签就可以对场景中的各个像素点进行分类，但是有监督方法通过从给定的包含ground truth信息的训练数据集中学习数据关系，可以提供更准确的分类结果。因此近年来，各种有监督的机器学习的算法被提出，并且已经成功地应用于高光谱遥感图像的分类问题中。为了充分利用高光谱图像中丰富的谱带信息，传统基于像素点的有监督机器学习的模型主要分为两个步骤：特征处理和分类器训练。其中，特征处理包括特征选择和特征提取，由于高光谱图像维数多，这一步的主要目的是解决高光谱图像中像素点的维度高的问题，并且提取出有利于分类的特征或通道。下一步则是使用这些处理后的特征来训练分类器，实现对高光谱图像的分类。在分类器的选择方面，常用的分类器包括支持向量机、贝叶斯模型以及随机森林模型等等。在这些分类器中，支持向量机最大化了核特征空间中不同类之间的边界，在高光谱图像分类方面取得了显著的效果，尤其当训练集较小的时候。

针对以上问题，一些基于深度学习的监督学习方法被提出用于高光谱图像分类的问题，这种方法能够通过不断学习样本与标签之间的关系，自动选择对分类起决定性因素的特征，并赋予较高的权重，不需要人为对这些特征进行提取。使用深度学习解决高光谱图像分类问题的主要方法可以分为以下三种类型：只提取光谱信息，比较简单但是忽视了空间信息；只提取空间信息，会忽略图像的光谱信息；提取光谱空间信息，将空间信息和光谱信息相结合。近年来，有许多基于卷积神经网络(Convolutional Neural Networks,CNN)的高光谱分类方法被提了出来，很大程度上提高分类精度。

除了无监督方法和有监督方法，半监督方法也可以利用在高光谱图像分类中。这种方法利用生成判别模型，不需要输入带有标签的数据。同时半监督学习在高光谱图像分类问题中非常重要，可以解决训练样本不足的问题。

本发明根据现有的CNN模型，提出了一个带有密集连接块的CNN模型，并与现有的CNN模型对比，有效提高了道路类别的精度。

发明内容

高光谱图像分类在近年来已经取得了较大的进展，但是还是存在一定的挑战性。为解决高光谱分类任务中道路类别精度不高，存在误检较多的问题，本发明提出了一种基于密集连接卷积神经网络的高光谱图像道路提取方法，目的是在降低训练时间成本的基础上，减缓梯度消失和模型过拟合的问题，提高道路类别的精度。

为了达到以上目的，本发明采用的方法如下，一种基于密集连接的高光谱图像道路提取方法，包括以下步骤：

S1：基于公开数据集Pavia University，获得所述高光谱图像的像素点，基于所述像素点获得所述高光谱图像的像素块，基于所述像素块的空间信息和光谱信息，对所述像素点进行分类；

S2：基于密集卷积网络算法，构建初始卷积神经网络模型，将所述像素块模型输入到所述初始卷积神经网络模型进行网络训练，获得目标卷积神经网络模型；

S3：基于所述目标卷积神经网络模型，对所述高光谱图像进行预测，得到所述像素点的所属类别，将所述像素点可视化，输出得到所述目标道路的图像。

优选地，所述数据集还包括，土地道路数据集、水泥地道路数据集。

优选的，所述像素点与其固定大小的邻域构成所述像素块。

优选地，所述像素块的尺寸为d×d×n，其中，d为所述像素块的长度和宽度，n为所述谱带的数量。

优选地，所述像素点还包括边界像素点，所述边界像素点的处理方法包括：补零、镜像、复制。

优选地，所述构建卷积神经网络，包括，构建第一卷积层模块、第二卷积层模块、密集块模块、第三卷积层模块、全连接层单元模块、概率转化单元模块；

优选地，所述第一卷积层模块包括：第一卷积层模块卷积层单元、第一卷积层模块批归一化层单元、第一卷积层模块激活函数单元；

优选地，所述第二卷积层模块包括：第二卷积层模块卷积层单元、第二卷积层模块批归一化层单元、第二卷积层模块激活函数单元、第二卷积层模块最大池化层单元；

优选地，所述密集块模块包括若干个密集连接层模块，其中，所述密集连接层模块包括：密集连接层模块第一批归一化层单元、密集连接层模块第一激活函数单元、密集连接层模块第一卷积层单元、密集连接层模块第二批归一化层单元、密集连接层模块第二激活函数单元、密集连接层模块第二卷积层单元；

优选地，所述第三卷积层模块包括：第三卷积层模块卷积层单元、第三卷积层模块批归一化层单元、第三卷积层模块激活函数单元、第三卷积层模块平均池化层单元。

优选地，所述网络训练的方法，包括以下步骤：

S2.1对所述像素块数据集进行划分，分为训练集和测试集，所述训练集和测试集的比例为3:1；

S2.2通过设置每类最大样本数的方法，减少样本数多的类别的样本数量，对所述训练集进行训练，用于解决训练样本类别不平衡的问题。

优选地，所述网络训练的参数包括：批大小为100、训练轮数为80、学习率为0.01。

优选地，对所述测试集进行网络测试使用的评价指标包括总体精度、类别平均精度、道路类别精度、Kaapa系数。

本发明通过使用密集块结构实现高光谱图像的道路提取，得到更高的分类精度，在道路检测与监管、地图绘制、导航系统等方面具有良好的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；

图1是基于密集连接的高光谱图像道路提取方法的流程图；

图2是初始数据集每个类别的区域以及每个类别包含样本数的示意图；

图3是修正和增加类别后的数据集每个类别的区域以及每个类别包含样本数的示意图；

图4是基于密集连接的输入数据示意图；

图5是基于密集连接的整体结构图；

图6是基于密集连接的具体参数；

图7是基于密集连接训练时的误差与迭代次数关系图；

图8是普通卷积神经网络与基于密集连接卷积神经网络的测试精度对比；

图9(a)是用普通卷积神经网络提取道路可视化图，图9(b)是用基于密集连接卷积神经网络提取道路可视化图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围；

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明；

参照附图1，本发明的实现步骤如下：

步骤一：数据集处理，为了提高道路类别的精度，本发明在公开数据集的基础上增加标注了两个类别，分别为土地和水泥地。

公开数据集由ROSIS传感器在意大利帕维亚城市上空的获取两个场景之一，这个场景是在大学区域中收集的，图像大小为340×610像素，除去噪声影响和水汽影响较大的几个波段后包含103个波段，空间分辨率为1.3米每像素，波长范围为0.43μm至0.86μm。数据集中包含9个类别，分别为沥青道路、砾石、金属板、沥青屋顶、砖块、树、草地、土壤和阴影。

在实验过程中，发现有许多不是道路的像素点被预测成道路，即存在许多误检。观察那些误检的像素点，主要为不是道路的地面(水泥地或柏油沥青材质的地面)和道路周围的土壤草地。针对出现的误检现象，在这个公开数据集的基础上增加了两个类别，分别为土地和水泥地，再对原本数据集上的标注有偏差的部分进行修正。

参照附图2和附图3，修正过后的数据集比原始数据集多了第10和第11个类别，每个类别对应的区域和样本数也均在附图2和附图3中标明。

步骤二：在数据预处理方面，本发明结合了空间和光谱信息对网络的输入数据进行处理。将每个像素点处理成大小为d×d×n的像素块，其中d为像素块的长度和宽度，n为高光谱图像的谱带数，网络对每个像素进行分类。

通常使用卷积神经网络训练图像分类任务时，对普通的RGB遥感图像来说，输入的是整张标准化图像。而对高光谱图像来说整张图像往往包含很多类别，所以选择将每个像素作为输入进行训练，这样可以很好地利用高光谱数据包含的光谱信息。为了获取其空间信息，将每个像素点为中心的固定大小的邻域构成的像素块作为输入，像素块的大小为d×d×n。因此，需要在数据预处理阶段要把一张高光谱图像每个像素点的像素块提取出来，作为网络的输入。附图4是基于密集连接卷积神经网络的输入数据示意图，参照附图4做法，取一个像素点周围d邻域的像素块作为网络的输入数据。

步骤三：在网络结构设计方面，本发明在网络中加入了DenseNet中的一个密集块结构。首先输入数据先经过卷积层，再经过一个密集块，最后由全连接层输出分类结果。

为了解决一般的卷积神经网络输入的信息通过多层卷积后在到达网络结束层时和梯度信息在反向传播到网络最前端时出现的梯度消失问题，本发明在网络结构中引入了密集连接结构，其特点是在所有层之间建立连接，每个层接收其之前所有层的特征图的连接，其优势在于参数量小，计算量小，加强特征传播实现特征的充分利用，可以缓解梯度消失问题，具有良好的抗过拟合性能，具有更强的泛化能力。对于高光谱图像的分类问题，通常高光谱图像拥有丰富的光谱信息，所以不适合使用过深的卷积神经网络来训练模型，容易出现过拟合现象，所以本发明使用了DenseNet中的一个密集块来构建网络模型。首先输入数据经过两个卷积层，再经过一个密集块，得到高维特征，然后再将得到的高维特征送入全连接层，最后经过softmax层得到分类结果。具体网络结构主要分为六个部分，如下所示，也可参照附图5，网络具体参数详见附图6，附图5和附图6分别是基于密集连接卷积神经网络的整体结构图和具体参数：

(1)conv+BN+ReLU

(2)conv+BN+ReLU+max pooling

(3)(BN+ReLU+conv+BN+ReLU+conv)×6

(4)conv+BN+ReLU+average pooling

(5)全连接层

(6)softmax

其中，(3)为密集连接层，6个密集连接层构成一个密集块，conv为卷积层，BN为批归一化层，用于将一批数据的特征标准化有利于网络收敛，ReLU为激活函数，用于增加网络的非线性，max pooling为最大池化层，average pooling为平均池化层。

在网络输出层，一般有多少个类别，输出就有相应个节点。一般来说，道路分类为二分类问题，只需将地物类型分为道路和非道路即可，但是二分类问题存在局限性，若某一个像素预测出为道路的概率较低，小于0.5时，就会被判定为非道路，但实际上它的真实值可能为道路。若是在多分类问题中，某一个像素预测出为道路的概率较低，但是它为道路的概率大于其他类别的概率，那么该点就会被判定为道路。在多分类问题中，输出的值为概率相对较大的类别，在二分类问题中，输出值只能为真或假，结果太绝对，可能会导致更多的误判。

步骤四：使用处理好的数据进行网络训练并测试。

本发明使用pytorch框架完成对设计的网络进行搭建。在网络训练时，将数据集按照75％和25％的比例分为训练集和测试集，若将75％的训练集直接进行训练，则会出现类别不平衡的问题，比如有些类别训练数据有10000以上，有些类别训练数据却不到1000。所以采取了减少样本数量的方法，通过设置每类最大样本数，若某类训练数据多于一定阈值，则将多余的训练样本从训练集中移除，若小于该阈值，则按照其本身样本数量进行训练，进而解决训练样本类别不平衡的问题。网络训练参数如下：批大小为100，训练轮数为80，学习率为0.01，优化器采用SGD随机梯度下降，损失函数采用的是交叉熵。训练时误差与迭代次数的关系图详见附图7，从图中可见大约迭代至1000次时网络达到收敛。

除训练集以外的数据都将作为测试集，网络测试使用的评价指标有OA(总体精度)、AA(类别平均精度)、道路类别精度和Kappa系数。

OA为总体分类精度，是正确分类的样本数与总样本数的比例：

其中TP表示预测值为正确的正样本；TN表示预测值为错误的负样本；FP表示预测值为正确的负样本；FN表示预测值为错误的正样本，N为样本总数。

AA为平均精度，是每个类别精度的平均值。道路类别精度即为道路类别预测正确样本数与道路类别总样本数的比值。

Kappa系数用于一致性检验，也可以用来衡量分类精度，Kappa系数越大代表一致性越强，Kappa系数的计算是基于混淆矩阵的：

其中p₀为总体分类精度，等于混淆矩阵对角线元素的和与总样本数的比值，即OA；假设每类的真实样本个数为t₁,t₂,...,t_c，预测出的每类的样本个数为p₁,p₂,...,p_c，c为类别数，总样本数为N，则

即混淆矩阵的对角线元素分别与其对应类别的样本数相乘并求和与总样本数的平方的比值。

此外，本发明还使用相同的数据和相同的参数训练了一个普通的卷积神经网络作为对比，附图8是普通卷积神经网络与基于密集连接卷积神经网络的测试精度对比，参照附图8，本发明使用的方法道路类别精度达到了99.76％，总体精度和平均精度分别达到了99.63％和99.68％，Kappa系数为99.55％。本发明从这四个评价指标来衡量该基于密集连接卷积神经网络模型的有效性和可靠性，证明了本发明提出的模型可以在道路类别精度以及其他指标上均得到更高的精度。

步骤五：使用训练好的网络对高光谱图像进行预测。

将整幅高光谱图像中的每一个像素点输入到训练好的网络中进行预测，得到每一个像素点所属的类别。

与训练和测试相同，将每个像素点处理成大小为d×d×n的像素块，送入训练好的网络中进行预测，得到每一个像素点所属的地物类型。

步骤六：输出道路部分图像。

将步骤五得到的道路类别的像素点可视化，即可得到道路部分的图像。参照附图9对实验结果进行分析，可见两图都将道路的主要部分检测了出来，但是普通的卷积神经网络模型预测出的道路部分存在明显的两处断层和一处凸起，而且周围不是道路的部分存在许多小面积的误检的像素块；而基于密集连接卷积神经网络模型预测出的模型道路边缘比较平滑，道路部分没有较大的凸起或断层，非道路部分误检的像素块非常少，用简单的去噪算法就可以将其去除，比如检测连通域并将连通域内像素个数小于一定阈值的连通域去除即可。

本发明通过使用密集块结构实现高光谱图像的道路提取，得到更高的分类精度，在道路检测与监管、地图绘制、导航系统等方面具有良好的应用价值。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于密集连接的高光谱图像道路提取方法，其特征在于，包括以下步骤：

S1：基于公开数据集Pavia University，获得高光谱图像的像素点，基于所述像素点获得所述高光谱图像的像素块，基于所述像素块的空间信息和光谱信息，对所述像素点进行分类；

S2：基于密集卷积网络算法，构建初始卷积神经网络模型，将所述像素块输入到所述初始卷积神经网络模型进行网络训练，获得目标卷积神经网络模型；

S3：基于所述目标卷积神经网络模型，对所述高光谱图像进行预测，得到所述像素点的所属类别，将所述像素点可视化，输出得到所述目标道路的图像。

2.根据权利要求1所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述数据集还包括，土地道路数据集、水泥地道路数据集。

3.根据权利要求1所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述像素点与其固定大小的邻域构成所述像素块。

4.根据权利要求3所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述像素块的尺寸为d×d×n，其中，d为所述像素块的长度和宽度，n为所述谱带的数量。

5.根据权利要求1所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述像素点还包括边界像素点，所述边界像素点的处理方法包括：补零、镜像、复制。

6.根据权利要求1所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述构建卷积神经网络，包括，构建第一卷积层模块、第二卷积层模块、密集块模块、第三卷积层模块、全连接层单元模块、概率转化单元模块；

所述第一卷积层模块包括：第一卷积层模块卷积层单元、第一卷积层模块批归一化层单元、第一卷积层模块激活函数单元；

所述第二卷积层模块包括：第二卷积层模块卷积层单元、第二卷积层模块批归一化层单元、第二卷积层模块激活函数单元、第二卷积层模块最大池化层单元；

所述密集块模块包括若干个密集连接层模块，其中，所述密集连接层模块包括：密集连接层模块第一批归一化层单元、密集连接层模块第一激活函数单元、密集连接层模块第一卷积层单元、密集连接层模块第二批归一化层单元、密集连接层模块第二激活函数单元、密集连接层模块第二卷积层单元；

所述第三卷积层模块包括：第三卷积层模块卷积层单元、第三卷积层模块批归一化层单元、第三卷积层模块激活函数单元、第三卷积层模块平均池化层单元。

7.根据权利要求1所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述网络训练的方法，包括以下步骤：

S2.1对所述像素块数据集进行划分，分为训练集和测试集，所述训练集和测试集的比例为3:1；

S2.2通过设置每类最大样本数的方法，减少样本数多的类别的样本数量，对所述训练集进行训练，用于解决训练样本类别不平衡的问题。

8.根据权利要求7所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

所述网络训练的参数包括：批大小为100、训练轮数为80、学习率为0.01。

9.根据权利要求7所述的一种基于密集连接的高光谱图像道路提取方法，其特征在于，

对所述测试集进行网络测试使用的评价指标包括总体精度、类别平均精度、道路类别精度、Kaapa系数。

Images