CN109919206B - 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法 - Google Patents

Abstract

本发明提供一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法，包括如下步骤：步骤1，根据已有的影像及地表覆盖矢量文件构建样本库；步骤2，构建全空洞卷积神经元网络，并利用步骤1构建的样本库对全空洞卷积神经元网络进行迭代训练直到网络模型收敛，以学习高分辨率遥感影像中的地物特征；步骤3，利用训练好网络模型对遥感影像地物类别进行预测，实现遥感影像地表覆盖的像素级分类。本发明鲁棒性强，可适应不同尺度的遥感影像地物。

Description

一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法

技术领域

本发明涉及一种用于高分辨率遥感影像地表覆盖分类的深度学习方法，尤其是一种全空洞卷积神经元网络，可用于遥感影像地表覆盖分类、变化检测等。

背景技术

遥感影像分类是遥感领域中的一个基本问题，是进行各类遥感技术应用的基础。根据分类单元的不同，传统的遥感影像分类方法可分为基于像元和面向对象的分类。基于像元的方法是以单个像元为基本处理单元，以像元的光谱特征为主要依据进行影像的分类。面向对象的分类方法是以同质像元组成的对象为分类单元，对待分类对象的光谱、纹理和形状等特征进行提取，进而对待分类对象进行分类。基于面向对象理论进行遥感影像分类的方法主要可分为三个阶段：影像分割、特征选取和影像分类。影像分割阶段将影像分割成由同质像元组成的区域，作为分类的最小单元。较为广泛使用的分割方法是基于阈值的分割算法、边缘检测分割算法以及基于区域的分割算法。特征选取最初是依据影像的低层特征如纹理、光谱、空间信息等，但它们无法充分表达对象的信息。目前的大量研究都集中在影像的特征工程上，然而特征的选择与设计需要人工参与，且越是充分、高层的特征表达越需要人工反复的设计和试验，这无疑增加了分类的复杂程度。影像分类阶段是利用分类算法(或称分类器)对提取的特征进行分类。较常用且较有效的方法是采用机器学习分类算法如支持向量机(Support Vector Machine，SVM)、决策树(Decision Tree，DT)、随机森林(Random Forest，RF)、人工神经网络(Artificial Neural Network，ANN)等，并在此基础上延伸出集成学习的方法，即结合不同分类算法，利用分类器之间的互补提高分类精度。

目前传统的遥感影像分类方法已经比较成熟，但它需要人工参与遥感影像分割参数选择，同时需要复杂的特征工程以实现对象特征的提取，耗时耗力。而且传统的机器学习分类算法是一种浅层的结构，无法得到影像高层次的特征，难以得到更高的分类精度。

发明内容

本发明主要是解决现有方法所存在的问题，提供了一种鲁棒性强，能够适应不同尺度的高分辨率遥感影像分类方法。

实现本发明目的采用的技术方案是：步骤1，根据已有的影像及地表覆盖矢量文件构建样本库；步骤2，构建全空洞卷积神经元网络，并利用步骤1构建的样本库对全空洞卷积神经元网络(Full Atrous Convolutional Neural Network，FACNN)进行训练，学习高分辨率遥感影像中的地物特征；步骤3，网络模型训练结束后，利用训练好网络模型对遥感影像地物类别进行预测，即可实现遥感影像地表覆盖的像素级分类。

进一步的，步骤1的具体实现包括如下子步骤，

步骤1.1，影像拼接与裁剪；若待处理影像为分幅影像，则对分景和分幅的影像进行拼接，得到完整的影像；然后根据已有的地表覆盖文件所覆盖的区域为可用作训练的影像范围，将完整影像按地表覆盖范围进行裁剪；

步骤1.2，影像重采样；以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.3，制作标签数据；将矢量文件进行栅格化，转换成与对应影像分辨率相同的栅格影像，栅格化的地表覆盖影像即为影像所对应的地物类型标签数据；

步骤1.4，样本分割；将裁剪、重采样后的影像及对应的标签数据分割为一定大小的样本数据。

进一步的，所述全空洞卷积神经网络包括编码(encoding stage)、解码(decodingstage)以及输出(output)3个部分，其中编码部分由4个卷积层(Convolution Layer)、3个最大池化层(Max Pooling Layer)以及1个空洞卷积空间金字塔池化层Atrous SpatialPyramid Pooling，ASPP)组成；解码部分由4个卷积层，3个反卷积层(DeconvolutionLayer)组成；输出部分由Softmax函数组成。

进一步的，所述编码部分的每个卷积层由3组连续堆叠的空洞卷积(AtrousConvolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(BatchNormalization，BN)组成。

进一步的，所述编码部分的空洞卷积空间金字塔池化层由5个并行的卷积组成，5个卷积的输出的特征图(Feature map)经串联(Concatenate)后作为输出。

进一步的，所述编码部分的最大池化层步长为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一。

进一步的，所述解码部分的第一个卷积层由3组连续堆叠的空洞卷积(AtrousConvolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(BatchNormalization，BN)组成；第二个、第三个卷积层均由2组连续堆叠的卷积(Convolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(Batch Normalization，BN)组成；第四个卷积层由3组连续堆叠的卷积(Convolution)，修正线性单元(RectifiedLinear Unit,ReLU)以及批量归一化层(Batch Normalization，BN)组成。

本发明具有如下优点：1)不需要复杂的特征工程，通过简单的、端到端的可训练模型，完成遥感影像地物特征提取，并实现遥感影像的地表覆盖分类。2)可复用性强，可以在附加数据上继续进行模型训练，可以用于连续在线学习，可持续不断迭代优化。3)具有可扩展性，训练好的神经网络模型经过微调，可以用于其它用途，如遥感影像目标检测、变化检测等。4)鲁棒性强，可适应不同尺度的遥感影像地物。

附图说明

图1是本发明的样本库构建流程图。

图2是本发明的全空洞卷积神经网络结构示意图。

图3是实施例中某某市2017年遥感影像及对应的地表覆盖类型。

图4是实施例中训练样本块与测试样本块的分布。方框区域为测试数据区域，其余为测试数据区域。

图5是本发明方法与其它神经网络方法分类结果对比。

图6是对某某市遥感影像测试区域进行地表覆盖分类的结果。图(a)为该区域的真实地表覆盖，图(b)为本发明提出的方法分类结果。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

本发明提供的一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法，包括如下步骤：

步骤1，首先根据已有的影像及地表覆盖矢量文件构建样本库，包括以下子步骤；

步骤1.1，影像拼接与裁剪。若待处理影像为分幅影像，则对分景和分幅的影像进行拼接，得到完整的影像，以方便后续数据处理。根据已有的地表覆盖文件所覆盖的区域为可用作训练的影像范围，将完整影像按地表覆盖范围进行裁剪。

步骤1.2，影像重采样。不同时期、不同传感器源的影像的分辨率可能存在差异，考虑不同分辨率影像地物尺度差异，以某一影像分辨率为基准，对其它影像进行重采样。

步骤1.3，制作标签数据。地表覆盖矢量文件包含了影像上不同区域对应的地物类型信息，但是无法直接使用矢量文件信息进行神经网络模型的训练，因此需要将矢量文件进行栅格化，转换成与对应影像分辨率相同的栅格影像。栅格化的地表覆盖影像即为影像所对应的地物类型标签数据。

步骤1.4，样本分割。将裁剪、重采样后的影像及对应的标签数据分割为一定大小(如256×256像素，512×512像素)的样本数据。

步骤2，训练全空洞卷积神经网络。将样本库中样本作为训练数据，迭代训练直到模型收敛。本发明所提出的全空洞卷积神经元网络包括编码(encoding stage)、解码(decoding stage)以及输出(output)3个部分。

编码部分由4个卷积层(Convolution Layer)、3个最大池化层(Max PoolingLayer)以及1个空洞卷积空间金字塔池化层(Atrous Spatial Pyramid Pooling，ASPP)组成；解码部分由4个卷积层，3个反卷积层(Deconvolution Layer)组成；输出部分由Softmax函数组成。编码部分的每个卷积层由3组连续堆叠的空洞卷积(Atrous Convolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(Batch Normalization，BN)组成。3个空洞卷积的膨胀率(Atrous rate)分别为1、2、3，卷积核大小均为3×3，卷积步长均为1。空洞卷积空间金字塔池化层由5个并行的卷积组成，其中4个空洞卷积的卷积核大小为3×3，膨胀率(Atrous rate)分别为1、6、12、18，1个卷积的卷积核为1×1。5个卷积的输出的特征图(Feature map)经串联(Concatenate)后输入下一个卷积。最大池化层步长为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一。

解码部分的第一个卷积层由3组连续堆叠的空洞卷积(Atrous Convolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(Batch Normalization，BN)组成。3个空洞卷积的膨胀率(Atrous rate)分别为1、2、3，卷积核大小均为3×3，卷积步长均为1。所述解码部分的第二个、第三个卷积层均由2组连续堆叠的卷积(Convolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(Batch Normalization，BN)组成，卷积核大小为3×3，步长为1。第四个卷积层由3组连续堆叠的卷积(Convolution)，修正线性单元(Rectified Linear Unit,ReLU)以及批量归一化层(BatchNormalization，BN)组成，卷积核大小分别为3×3、3×3、1×1，步长均为1。每一个卷积层，其输入为反卷积后得到的特征图与编码部分对应大小特征图的串联。

经过编码与解码后，最终由Softmax输出层输出地物类别概率图。

步骤3，遥感影像地表覆盖分类。将待分类遥感影像分割为与训练样本大小一致的影像块，输入训练好的网络模型，得到影像地物分类预测结果。

实施例：

首先获取训练样本，附图1展示了构建训练样本库的流程。附图3是某某市2017年的遥感影像，分辨率1米，对应7种地表覆盖类型：种植土地、林草覆盖、房屋建筑区、铁路与道路、构筑物、人工堆掘地、水域。对遥感影像进行裁剪与重采样，得到分辨率合适、具备地物覆盖数据的影像范围。然后将地表覆盖数据栅格化，使其与影像分辨率一致。根据地表覆盖分类需求，整合地物类别，由栅格化后的地表覆盖数据制作训练标签数据。最后，结合计算机性能、地物大小等因素，将遥感影像与对应的标签数据分割为大小适宜(512×512像素)的样本块。

获得训练数据后，对全空洞卷积神经网络进行迭代训练，直到模型最优。模型训练完成后，将待分类的遥感影像切割为与训练样本大小一致的影像块，利用训练好的模型对影像块进行地物类别预测，即可得到影像块的像素级分类结果。最后将所有影像块的分类结果拼接，便可得到完整影像的地表覆盖分类结果。

如附图4所示，选择3500个512×512的样本块进行神经网络训练，对700个512×512的样本块进行分类，并与现有的FCN，U-net，DenseNet、Deeplab-v3，SR-FCN方法进行对比，分类精度数据如表1和附图5，从表1中可以看出，本发明方法的效果优于现有神经网络方法。如附图5，相对于林草覆盖、道路等地物，人工堆掘地为更为复杂的地物场景。人工堆掘地内可能表现为裸露荒废的地表上堆放人工物体，其余几种方法容易将其中的裸露地表分类为种植土地或林草覆盖等非人工地物，而我们提出的方法因为能够顾及地物的整体性，对人工堆掘地这种场景复杂的地物具有更好的分类结果。在测绘单位的地表覆盖采集工作中，相对于林草覆盖、种植土地等易判读地物，复杂场景的地物的判读是更为困难的任务。因此，我们的方法具有较好的工程实用价值。

表1本发明方法与其它神经网络方法分类精度比较

附图6为利用本发明方法，用训练区域所有数据进行训练，对测试区域进行地表覆盖分类得到的分类结果，分类精度如表2所示，本发明方法的总体精度为76.6％。

表2本发明方法在测试区域分类结果混淆矩阵、精度

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法，其特征在于，包括如下步骤：

步骤1，根据已有的影像及地表覆盖矢量文件构建样本库；

步骤2，构建全空洞卷积神经元网络，并利用步骤1构建的样本库对全空洞卷积神经元网络进行迭代训练直到网络模型收敛，以学习高分辨率遥感影像中的地物特征；

所述全空洞卷积神经网络包括编码、解码以及输出3个部分，其中编码部分由4个卷积层、3个最大池化层以及1个空洞卷积空间金字塔池化层组成；解码部分由4个卷积层，3个反卷积层组成；输出部分由Softmax函数组成；

所述编码部分的每个卷积层由3组连续堆叠的空洞卷积，修正线性单元以及批量归一化层组成；

所述编码部分的空洞卷积空间金字塔池化层由5个并行的卷积组成，5个卷积的输出的特征图经串联后作为输出；

所述编码部分的最大池化层步长为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一；

所述解码部分的第一个卷积层由3组连续堆叠的空洞卷积，修正线性单元以及批量归一化层组成；第二个、第三个卷积层均由2组连续堆叠的卷积，修正线性单元以及批量归一化层组成；第四个卷积层由3组连续堆叠的卷积，修正线性单元以及批量归一化层组成；

步骤3，利用训练好网络模型对遥感影像地物类别进行预测，实现遥感影像地表覆盖的像素级分类。

2.根据权利要求1所述的一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法，其特征在于：步骤1的具体实现包括如下子步骤，

步骤1.1，影像拼接与裁剪；若待处理影像为分幅影像，则对分景和分幅的影像进行拼接，得到完整的影像；然后根据已有的地表覆盖文件所覆盖的区域为可用作训练的影像范围，将完整影像按地表覆盖范围进行裁剪；

步骤1.2，影像重采样；以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.3，制作标签数据；将矢量文件进行栅格化，转换成与对应影像分辨率相同的栅格影像，栅格化的地表覆盖影像即为影像所对应的地物类型标签数据；

步骤1.4，样本分割；将裁剪、重采样后的影像及对应的标签数据分割为一定大小的样本数据。

Images