CN108230329A - 基于多尺度卷积神经网络的语义分割方法 - Google Patents

Abstract

本发明实施例公开了一种基于多尺度卷积神经网络的语义分割方法，其包括：获取高分辨率航空影像和LiDAR点云数据中的模态内特征；基于多尺度卷积神经网络进行模态间特征提取和分类；采用多尺度分割方法提取地物边界，消除椒盐效应并优化分类结果。实施本发明实例，将多尺度CNN与多尺度分割(MRS)后处理相结合的方法，用于高分辨率航空影像和LiDAR点云数据的语义分割。

Description

基于多尺度卷积神经网络的语义分割方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多尺度卷积神经网络的语义分割方法。

背景技术

深度学习是机器学习研究中一个新的领域，其目的在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。这一概念源于人工神经网络的研究，可以理解为neural network的发展，其实质是通过构建具有多个隐层的机器学习模型和海量的训练数据来学习更有用的特征，从而提升分类或预测的准确性。常用的深度学习模型有卷积神经网络(CNN)、深度置信网络(DBNs)等。

卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显：图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维图像而设计的一个多层感知器，这种网络结构对图像平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。

目前，深度学习如卷积神经网络(CNN)受到广泛关注，并开始应用于遥感影像的语义标记中。CNN能够以模态间的方式融合高分辨率遥感影像和LiDAR点云数据，提取出优于手工特征的高层次特征。然而，固定尺度的CNN常常限制了感受野范围，不利于特征提取。与固定尺度的CNN不同，多尺度的CNN综合考虑使用多个尺度来提取高分辨率遥感影像分类所需的不同信息。多尺度的CNN有三种类型：(1)使用斑块大小不同、分辨率相同的输入图像的方法；(2)使用同一地理区域、不同分辨率的输入图像的方法；(3)使用不同核尺度的CNN的方法。对于前两种方法，因输入图像与相应的标记图像具有不同的分辨率，故不能直接输入CNN结构中，需要准备不同的输入数据。第三种方法则是分别训练具有不同核尺寸的多尺度CNN用于分类，并将三个CNN的损失平均作为误差传播。

多尺度卷积神经网络虽然避免了固定尺度CNN在感受野上有限制的问题，能在多个尺度上提取特征，有利于提高图像分类精度，但仍有以下不足需要改进：

1)损失平均会引入由单核CNN产生的误差，从而给权重更新造成影响；

2)现有的多尺度CNN仅利用了基于CNN提取的模态间特征，而精确推测的模态内结构特征往往有助于精准地挖掘更高层次的特征。

3)虽然编码-解码器CNN架构能将从池化层导出的低分辨率特征上采样到输入分辨率，但因为上采样层重建的是物体的外观而不是形状，导致上采样后的物体边界变得模糊且不可逆。另外，CNN通常使用图块进行分类，但位于图块边缘附近的像素缺乏上下文信息，因此在镶嵌图像时图块边缘附近会产生椒盐效应。

机载激光雷达(LiDAR，Light Detection And Ranging)系统通过发射和接收激光脉冲能直接快速得到地表密集的高精度三维点坐标被称为机载LiDAR点云数据。LiDAR点云数据和高分辨率航空影像的语义分割是遥感领域最具挑战性的课题之一。深度卷积神经网络在遥感基于像元分类上显现出一定的应用前景。但现有的LiDAR点云数据和高分辨率航空影像融合方法大都为模态内特征的松散融合，忽略了模态间的统计特征。此外，卷积神经网络(CNN)以图块作为输入数据，在图块边缘处的像元均容易产生椒盐效应，导致不确定的标记结果。

发明内容

本发明的目的在于克服现有技术的不足，本发明将多尺度CNN与多尺度分割(MRS)后处理相结合的方法，用于高分辨率航空影像和LiDAR点云数据的语义分割。

为了解决上述问题，本发明提出了一种基于多尺度卷积神经网络的语义分割方法，包括如下步骤：

获取高分辨率航空影像和LiDAR点云数据中的模态内特征；

基于多尺度卷积神经网络进行模态间特征提取和分类；

采用多尺度分割方法提取地物边界，消除椒盐效应并优化分类结果。

所述高分辨率航空影像和LiDAR点云数据中的LiDAR点云数据包括栅格化的数字表面模型和归一化地表模型，高分辨率航空影像包括红、绿、蓝、近红外4个波段。

所述获取高分辨率航空影像和LiDAR点云数据中的模态内特征包括：

将地面点与非地面点分离；通过反向距离权重插值法提取数字高程模型和数字表面模型，并获取归一化数字表面模型；

据标准距离、测量强度、传感器与地表的测量距离来提取归一化强度，并对LiDAR点云数据的强度数据进行归一化；

将点云强度和回波次数栅格化；

采用高斯差分来生成地物边界，所述高斯差分基于两种不同的高斯内核执行边缘检测。

所述基于多尺度卷积神经网络进行模态间特征提取和分类包括：

采用自动或半自动图像标记方法，根据数据集所覆盖区域的地物分布特点，将地物类别进行标记；

将标记好的图像以及原图裁剪成300×300的图块，预留一定比例的图块作为验证样本，余下的作为训练样本对深度卷积神经网络进行训练；

基于多尺度卷积神经网络进行特征提取，并将所有特征导入分类器中进行分类。

所述卷积神经网络具有卷积-反卷积结构，其中：反卷积处理是对卷积阶段中由池化层下采样后提取的输入特征图进行上采样，每个反卷积结构通常由上采样层，卷积层和可选的批归一化处理层组成。

所述多尺度卷积神经网络由三种不同尺度的滤波器并行构成，包括3×3，5×5和7×7。

所述多尺度卷积神经网络的结构由一个具有五层的卷积部分和所对应的反卷积部分构成，每个卷积层由一个具有64个输出特征的卷积层，一个BN层，一个ReLU层和一个最大池化层组成，所对应的反卷积部分由一个上采样层，一个卷积层和一个BN层构成。

所述采用多尺度分割方法提取地物边界，消除椒盐效应并优化分类结果包括：

将图像分割成一个个小对象，然后根据尺度，形状和紧凑性的参数将彼此相邻的同质对象合并成较大的对象；

使用多尺度分割方法的分割结果对多尺度滤波卷积神经网络的分类结果进行后处理以消除分类噪声。

在本发明实施例中，将多尺度CNN与多尺度分割(MRS)后处理相结合的方法，用于高分辨率航空影像和LiDAR点云数据的语义分割。多尺度CNN由三个并行的CNN组成，每个CNN均具有不同空间上下文大小的滤波器，并且采用双损失函数来进行权重更新。LiDAR点云数据和高分辨率遥感影像首先分别单独获取模态内的特征，然后输入多尺度CNN中进行模态间特征提取和分类。最后使用多尺度分割(MRS)方法提取地物的清晰边界，用以消除椒盐效应，优化分类结果。与其他分类方法相比，本方案提出的方法有效提高了分类的整体精度，表明这一组合方法是LiDAR点云和高分辨率图像语义分割的有效解决方案。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于多尺度卷积神经网络的语义分割方法流程图；

图2是本发明实施例中的基于多尺度卷积神经网络的语义分割方法的示例图；

图3是本发明实施例中的多尺度CNN分类方法的示例图；

图4是本发明实施例中的多尺度CNN的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所涉及的由基于多尺度CNN的分类和多尺度分割的后处理组成，首先采用段对端的多尺度CNN对高分辨率影像和LiDAR点云数据进行融合和分类，然后使用多尺度分割的方法提取对象边界并以此优化分类结果，具体的图1示出了本发明实施例中的基于多尺度卷积神经网络的语义分割方法流程图，具体包括如下步骤：

S101、获取高分辨率航空影像和LiDAR点云数据中的模态内特征；

本发明实施例中所采用LiDAR点云与高分辨率航空影像两种数据作为数据源，融合两种数据的特征提高地物分类精度。其中，LiDAR点云数据(即LiDAR点云数据)包括栅格化的数字表面模型(DSM)和归一化地表模型(NDSM)，高分辨率航空影像包括红、绿、蓝、近红外4个波段。

这里需要对LiDAR点云数据进行如下处理：

(1)将地面点与非地面点分离；通过反向距离权重(IDW)插值法提取数字高程模型(DEM)和数字表面模型(DSM)，以此生成NDSM，这里的NDSM是由DSM减去DEM来获取；

(2)使用(2007)方法对LiDAR的强度数据进行归一化。该方法根据标准距离、测量强度、传感器与地表的测量距离来提取归一化强度，如式(1)、式(2)所示：

其中：R_s表示标准距离，i表示测量强度，R表示传感器与地表间的测量距离，i_N为归一化强度，a，b表示函数参数。

(3)将点云强度和回波次数栅格化。

对于高分辨率航空图像，本方案引入高斯差分(DoG)来生成准确的地物边界。DoG基于两种不同的高斯内核执行边缘检测。令f(x,y)表示源图像，表示高斯核，对应的标准差为σ₁,σ₂；DoG定义如下：

其中DoG通过零值来检测边缘。

S102、基于多尺度卷积神经网络进行模态间特征提取和分类；

训练深度卷积神经网络需要大量的样本数据，为此需要对训练数据集进行标记。采用自动或半自动图像标记方法，根据数据集所覆盖区域的地物分布特点，将地物类别进行标记。

由于滤波器大小和CNN数量会影响计算复杂度和分类精度，因此，本方案对单滤波CNN和多尺度CNN在语义分割上的性能进行了对比研究。本方案中，卷积神经网络设计如下：单滤波器卷积神经网络共计4种，包括滤波尺寸大小为3×3，5×5，7×7和9×9；多尺度卷积神经网络为4种组合，即3×3和5×5，3×3和7×7，3×3和9×9，3×3，5×5和7×7。采用5种数据融合策略研究不同数据组合对分类精度的影响：(1)RGB+DSM；(2)NIRGB+DSM；(3)RGB+DSM+NDVI；(4)NIRGB+DSM+NDSM；(5)NIRGB+NDSM+DoG。将5种数据组合导入本方案设计好的卷积神经网络中进行特征提取，并将所有特征导入分类器中进行分类。

卷积神经网络(CNN)通常由几个卷积结构组成。每个卷积结构由多个层组成，例如卷积层，激活函数层，池化层和可选的批归一化处理层。本方案中，采用卷积-反卷积结构的卷积神经网络，其中反卷积处理是对卷积阶段中由池化层下采样后提取的输入特征图进行上采样。每个反卷积结构通常由上采样层，卷积层和可选的批归一化处理层组成。

卷积层是卷积结构进行特征提取的核心部分。给定特征图X^l-1作为卷积层l的输入，使用第k个滤波器对输入特征图进行式(4)处理，获得输出特征图：

其中*是卷积运算，是l层的第k个偏置向量。

批量归一化处理层旨在避免出现消失梯度或爆炸梯度。在批量处理层中，每个输入批次所进行的归一化过程转化如下：

其中，γ^l是归一化尺度参数，β^l是偏移参数。

激活函数层是为了控制正向信号变换的神经元的激活水平。以批处理后的归一化特征图作为输入，激活函数层通常选择修正线性单元(ReLU)f(x)＝max(αx,x)以执行输入特征的非线性映射。

池化层通过使用步长为ns的非重叠n p×n p窗口来抽象输入特征，通常使用最大或平均方法获取下采样特征图。实质上，下采样特征图比输入特征图小了n倍，导致空间分辨率下降。因此，需要记录最大池化值的位置以保留空间信息。

上采样层是对由池化层下采样的特征图进行上采样。为了将特征上采样到与原始图像大小一致，上采样层根据从相应的池化层导出的最大池化位置生成一组稀疏特征图，进而对稀疏特征图进行卷积操作。

感受野的尺寸很大程度上决定观测尺度，并影响预测结果。传统的卷积神经网络(CNN)采用固定滤波器尺寸，观测尺度有限，实际应用中，多尺度技术的组合方法更为有利。为了探索局部和全局语境的多分辨率特征，本方案提出了一种多尺度卷积神经网络，由三种不同尺度的滤波器并行构成，即3×3，5×5和7×7。

接着，将NDSM、DoG两种模态内特征、LiDAR点云数据(强度，回波数)和源图像进行叠加，然后使用多尺度CNN提取模态间特征(如图2和图3)。多模态融合方法充分发挥了每种数据源的模态特性优势，利用了多尺度CNN中的模态间相关性的优点，有效避免其中任一种特征被过度学习。

多尺度CNN的结构由一个具有五层的卷积部分和相应的反卷积部分构成(如图4)。每个卷积层由一个具有64个输出特征的卷积层，一个BN层，一个ReLU层和一个最大池化层组成。相应的反卷积层由一个上采样层，一个卷积层和一个BN层构成。在CNN内生成模态间特征图。本方案的池化层以2为因子进行下采样得到深度特征图。相应地，上采样层以2为因子对输入的特征图进行上采样。最后，将并行网络中的单个滤波器提取的特征图以及融合特征分别导入到softmax分类器计算损失并为每个像元生成类别概率。

在模型训练阶段，本方案使用双损失计算方法，包括三个单滤波器输出和融合输出的损失(如图3的误差传播部分所示)。损失计算使用交叉熵损失函数进行：

其中S表示多尺度CNN中的滤波器的总数，N是图像中的总像素数，k是总类别数，为第s尺度下，在索引i处的像元为第j类的概率，是特征融合后第i个像元为第j类的概率，为标签。本方案的架构中，使用随机梯度下降法实现权重更新。

S103、采用多尺度分割方法提取地物边界，消除椒盐效应并优化分类结果。

由于对象的空间相关性，邻近像元的标签是具有强相关性，因此，结构化知识有助于对象分类。多尺度分割(MRS)算法是一种典型的结构化预测方法，可以将图像分割成均匀的对象。

MRS是一种自下而上的区域合并方法。首先将图像分割成一个个小对象，然后根据尺度，形状和紧凑性的参数将彼此相邻的同质对象合并成较大的对象。尺度参数是MRS算法中最重要的参数，它决定了分割对象的大小和相应的均质性。尺度较小时物体的尺寸小，均质性高，但会导致过分割。通常情况下，MRS提取的地物具有更清晰的边界。而CNN提取的结果地物边界往往较为粗糙。因此，MRS提取的地物边界可以作为CNN分类结果的补充，使地物边界更为准确。本方案中，使用MRS的分割结果对多尺度CNN的分类结果进行后处理以消除分类噪声。后处理使用大多数规则法对多重滤波器CNN分类结果中的每个对象进行平滑，即给定对象的标签由CNN分类结果中出现次数最多的标签来确定。

综上，本发明实施例中针对将多尺度CNN与多尺度分割(MRS)后处理相结合的方法，用于高分辨率航空影像和LiDAR点云数据的语义分割。多尺度CNN由三个并行的CNN组成，每个CNN均具有不同空间上下文大小的滤波器，并且采用双损失函数来进行权重更新。LiDAR点云数据和高分辨率遥感影像首先单独获取模态内的特征，然后输入多尺度CNN中进行模态间特征提取和分类。最后使用多尺度分割(MRS)方法提取地物的清晰边界，用以消除椒盐效应，优化分类结果。与其他分类方法相比，本方案提出的方法有效提高了分类的整体精度，表明这一组合方法是LiDAR和高分辨率图像语义分割的有效解决方案。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的基于多尺度卷积神经网络的语义分割方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于多尺度卷积神经网络的语义分割方法，其特征在于，包括如下步骤：

获取高分辨率航空影像和LiDAR点云数据中的模态内特征；

基于多尺度卷积神经网络进行模态间特征提取和分类；

采用多尺度分割方法提取地物边界，消除椒盐效应并优化分类结果。

2.如权利要求1所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述高分辨率航空影像和LiDAR点云数据中的LiDAR点云数据包括栅格化的数字表面模型和归一化地表模型，高分辨率航空影像包括红、绿、蓝、近红外4个波段。

3.如权利要求2所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述获取高分辨率航空影像和LiDAR点云数据中的模态内特征包括：

将地面点与非地面点分离；通过反向距离权重插值法提取数字高程模型和数字表面模型，并获取归一化数字表面模型；

据标准距离、测量强度、传感器与地表的测量距离来提取归一化强度，并对LiDAR点云数据的强度数据进行归一化；

将点云强度和回波次数栅格化；

采用高斯差分来生成地物边界，所述高斯差分基于两种不同的高斯内核执行边缘检测。

4.如权利要求3所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述基于多尺度卷积神经网络进行模态间特征提取和分类包括：

采用自动或半自动图像标记方法，根据数据集所覆盖区域的地物分布特点，将地物类别进行标记；

将标记好的图像以及原图裁剪成300×300的图块，预留一定比例的图块作为验证样本，余下的作为训练样本对深度卷积神经网络进行训练；

基于多尺度卷积神经网络进行特征提取，并将所有特征导入分类器中进行分类。

5.如权利要求4所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述卷积神经网络具有卷积-反卷积结构，其中：反卷积处理是对卷积阶段中由池化层下采样后提取的输入特征图进行上采样，每个反卷积结构通常由上采样层，卷积层和可选的批归一化处理层组成。

6.如权利要求5所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述多尺度卷积神经网络由三种不同尺度的滤波器并行构成，包括3×3，5×5和7×7。

7.如权利要求6所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述多尺度卷积神经网络的结构由一个具有五层的卷积部分和所对应的反卷积部分构成，每个卷积层由一个具有64个输出特征的卷积层，一个BN层，一个ReLU层和一个最大池化层组成，所对应的反卷积部分由一个上采样层，一个卷积层和一个BN层构成。

8.如权利要求1至7任一项所述的基于多尺度卷积神经网络的语义分割方法，其特征在于，所述采用多尺度分割方法提取地物边界，消除椒盐效应并优化分类结果包括：

将图像分割成一个个小对象，然后根据尺度，形状和紧凑性的参数将彼此相邻的同质对象合并成较大的对象；

使用多尺度分割方法的分割结果对多尺度滤波卷积神经网络的分类结果进行后处理以消除分类噪声。