CN112070779A - 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络弱监督学习的遥感影像道路分割方法。利用道路中心线数据所提供的稀疏监督信息，通过上下文感知的标签传播算法将语义特征由道路中心线向未标记像素传播，结合深度学习框架训练双分支编码‑解码结构的卷积神经网络学习从遥感影像中预测道路路面数据。本发明具有如下优点：鲁棒性强，可适应不同尺度的遥感影像道路路面分割，可持续迭代不断优化，能够只在弱标签监督下即可实现接近人工绘制水平的道路路面提取结果，不再依赖大量人工标注的训练数据，大大降低标注成本，是从遥感影像中自动化提取道路研究中重要的一步，在资源勘查与规划、测绘制图和区域开发等方面具有较高的应用价值。

Description

一种基于卷积神经网络弱监督学习的遥感影像道路分割方法

技术领域

本发明涉及一种利用卷积神经网络从遥感影像中提取道路路面的弱监督分割方法，只在道路中心线数据提供的弱标签监督下即可实现接近人工绘制水平的道路路面提取结果，而不再依赖逐像素标注的路面标签，大大降低标注成本，具有较高的应用价值，是遥感影像道路自动提取研究中重要一步。

背景技术

遥感技术是现代信息技术的重要组成部分，是采集地理信息及其动态变化资料的主要技术手段，是地球科学、测绘勘察等学科进行科学研究的基本方法。作为遥感数据处理分析领域中的基础任务，道路提取广泛应用于资源勘查与规划、测绘制图和区域开发等方面。其中，道路中心线数据从全局角度记录了道路网的拓扑信息，而道路路面数据从局部角度记录了道路的语义信息。近年来，OpenStreetMap等公开地图平台的发展使得越来越多的道路中心线数据变得开源，但道路路面数据却比较难获得。随着遥感数据分辨率的不断提高，更多的道路目标和更丰富的细节特征为道路网提取提供了更为有利的条件，特别是道路路面的提取受到广泛关注。

在大数据驱动和高性能计算设备支持下，人工智能技术得到迅速发展。作为人工智能的核心，深度学习技术(例如，卷积神经网络模型等)为遥感数据的智能处理和信息提取提供了切实可行的新途径。现有从遥感影像中提取道路的深度学习方法大多为全监督学习的语义分割方法，需要大量人工标注的训练数据使神经网络模型学习目标特征。目前，测绘员的标注工作仍为先目视判读再利用计算机量测和描绘的阶段，这是一个相当耗时耗力的繁琐过程，而且对专业领域知识的要求较高，所以实际应用中往往出现标注数据不足或不准确的情况。高质量标签的缺乏大大限制了这些全监督学习方法的泛化能力。显然，减少神经网络模型对标注数据的依赖，利用低标注成本实现道路数据的准确提取，是从遥感影像中自动提取道路数据研究的趋势。

作为计算机视觉领域的研究热点，弱监督学习技术致力于从稀疏或不完整的弱标签(例如，点状、线状、边界框等)中学习提取有价值的特征，能够有效降低标注成本。但由于遥感影像的复杂性，将弱监督学习技术直接应用到遥感影像道路分割方面的研究很少。现有弱监督学习技术多采用交替优化的方案，提高了计算量且耗时长，提取的道路边缘不规则，不利于实际生产应用。因此，利用弱监督学习技术从遥感影像中进行道路分割的任务既有重要的研究意义也具有一定的挑战。

发明内容

本发明关注遥感影像道路路面弱监督分割任务，考虑到道路中心线数据可为路面分割提供稀疏的监督信息，将矢量中心线对应的像素标记为道路，利用所提出的标签传播算法将语义信息由道路中心线向未标记像素传播，结合深度学习框架在弱标签监督下训练双分支编码-解码结构的卷积神经网络模型学习从遥感影像中预测道路路面。实现本发明目的采用的技术方案是一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，包括如下步骤：

步骤1，根据已有的影像以及对应的道路中心线数据构建样本库，利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签，用以监督道路分割；

步骤2，构建一个双分支编码-解码结构的卷积神经网络模型，包括编码部分、解码部分以及它们之间的空洞卷积空间金字塔池化部分，其中解码部分包括语义分割分支和边缘检测分支两个子分支，用于获得语义分割图和边缘检测图，并利用边缘检测算子为训练集影像生成粗糙边缘，用以监督边缘检测分支辅助语义分割分支；

步骤3，将训练集影像输入到双分支编码-解码结构的卷积神经网络模型，根据弱标签、粗糙边缘以及输出的语义分割图和边缘检测图计算损失函数，通过反向传播实现模型在GPU上的训练，训练结束后将测试集影像输入训练好的模型中预测道路路面，得到最终的道路分割结果。

进一步的，步骤1的具体实现包括如下子步骤,

步骤1.1，影像处理：若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪；然后以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.2，道路中心线处理：将影像范围内对应的中心线数据栅格化，也就是将矢量中心线对应的像素标记为道路；

步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像与对应的中心线数据裁剪为大小适宜的样本块；

步骤1.4，标签传播：利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签。

进一步的，步骤1中，利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签的具体实现方式如下，

首先，缓冲区掩膜生成：考虑到道路边缘往往平行于道路中心线，根据与道路中心线的距离生成缓冲区掩膜，将位于小缓冲区内部的像素标记为道路，将位于大缓冲区外部的像素标记为非道路，其余标记为未知像素；

然后，伪标签生成：对影像进行超像素分割，并以超像素为节点创建图模型，相邻节点之间的权重由色彩相似性定义，根据图割原理优化能量函数从而生成每个超像素的伪标签；

最后，按照以下规则融合缓冲区掩膜和伪标签：如果伪标签中的道路像素在缓冲区掩膜中被标记为非道路，则将该像素标记为未知像素，其余情况与缓冲区掩膜的标记一致，由此标记所有像素从而生成弱标签。

进一步的，步骤2中，所述编码部分，使用在ImageNet数据集预训练好的残差网络作为编码部分，该残差网络由五组下采样组成，包括一组步长为2的7×7卷积层，以及四组最大池化和残差块，其中残差块由两个3×3卷积和跳跃连接构成，从第二组最大池化和残差块开始，特征图的层数在每组下采样后都会加倍。

进一步的，步骤2中，所述解码部分，包括语义分割分支和边缘检测分支两个平行的子分支，语义分割分支使用5组3×3步长为2的转置卷积层将特征图的分辨率由16×16上采样到512×512，特征图的层数除了最后两组之外在每组上采样中均减半，从32×32到128×128大小的编码特征图通过跳跃连接添加到语义分割分支中的相应特征图，语义分割分支中大小为256×256的特征图与边缘检测分支中的相应特征图级联；边缘检测分支通过合并多尺度上下文信息来恢复边缘，首先对语义分割分支的第一个特征图进行4倍双线性上采样，并由通道数为128的3×3卷积层进行处理，然后与来自编码部分的具有相同空间分辨率的低层特征进行级联，再进行另一个4倍双线性上采样，经过通道数为64的3×3卷积层之后，对特征图进行2倍双线性上采样；两个分支在最后一层卷积使用Sigmoid激活分别输出像素属于道路和边缘的概率。

进一步的，步骤2中，所述空洞卷积空间池化金字塔部分，即ASPP模块由1×1卷积和三个并行的采样率分别为1、2和4的3×3空洞卷积，和全局池化组成，将编码部分生成的特征图输入ASPP模块，再将ASPP模块生成的特征图进行级联并通过通道数为512的1×1卷积层，传递给解码部分的语义分割分支。

进一步的，步骤2中，利用在BSDS500数据集上预训练好的边缘检测算子，对训练集的影像进行预测生成对应的粗糙边缘图，用以监督边缘检测分支辅助语义分割分支，该边缘检测算子的架构由VGG神经网络改进得到，首先在1、1/2、1/4、1/8、1/16多个尺度的特征图上分别预测边缘，然后通过一个权重融合函数得到最终的边缘输出。

进一步的，步骤3中，将影像输入到双分支编码-解码结构的卷积神经网络模型，计算模型输出的语义分割图和弱标签之间的分割损失函数，以及模型输出的边缘检测图和粗糙边缘之间的边缘损失函数，将分割损失函数和边缘损失函数加权求和作为总损失函数，并通过反向传播并结合Adam优化器来实现双分支编码-解码结构的卷积神经网络模型在GPU上训练；

所述分割损失函数为二值交叉熵损失函数和正则化损失函数，边缘损失函数为均方误差损失函数。

本发明具有如下优点：1)提出一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，利用更易获得的道路中心线数据提供的弱标签监督训练模型学习从遥感影像中预测道路路面，而不再依赖逐像素标注的路面标签，大大降低标注成本；2)根据道路边缘平行于中心线这一属性，和特征在影像空间与色彩上的一致性，提出道路标签传播算法实现由稀疏的道路中心线数据生成具有更密集语义信息的弱标签；3)设计了一个双分支编码-解码结构的卷积神经网络，同时对影像进行语义分割和边缘检测，利用边缘检测分支引导语义分割分支更好地定位道路路面的边缘；4)采用端到端的训练策略，无需交替优化即可实现接近人工绘制水平的提取结果，与经典弱监督分割方法ScribbleSup相比在算法效率和性能上均有显著提升。

附图说明

图1是本发明的总体框架图。

图2是本发明中标签传播的流程图。

图3是本发明中双分支编码-解码结构的卷积神经网络模型架构图。

图4是本发明中网络模型训练的流程图。

图5是本发明中网络模型预测的流程图。

具体实施方式

下面通过实施例和附图说明本发明的具体实施方式。

本发明实施例提供一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，如图1所示总共分为标签传播，双分支编码-解码结构的卷积神经网络模型的构建、训练和预测。

首先根据已有的遥感影像以及对应的道路中心线矢量文件构建样本库。对多幅遥感影像进行拼接得到完整的影像，将影像重采样及裁剪，得到分辨率合适、具备道路覆盖的影像。将矢量格式的道路中心线对应的像素标记为道路，得到栅格化的道路中心线数据。在格式转换过程中，需要建立坐标转换关系从而使其与影像相对应。结合计算机性能，将遥感影像与对应道路中心线数据裁剪成大小适宜(如512×512像素)的样本块。最后，提出标签传播算法实现将语义信息由道路中心线向未标记像素传播，生成弱标签用以监督道路分割。

对于标签传播算法，流程参见图2。首先，考虑到道路边缘往往平行于道路中心线，根据与道路中心线的距离生成缓冲区掩膜。具体来讲，创建宽度分别为3像素和21像素的两个缓冲区，将位于3像素宽的缓冲区内部的像素标记为道路，将位于21像素宽的缓冲区外部的像素标记为非道路，其余像素标记为未知像素。然后利用简单线性迭代聚类算法对影像进行超像素分割，以超像素为节点创建图模型，相邻节点之间的权重由色彩相似性定义，根据图割原理优化能量函数从而生成每个超像素的伪标签。最后按照以下规则融合缓冲区掩膜和伪标签：如果伪标签中的道路像素在缓冲区掩膜中被标记为非道路，则将该像素标记为未知像素，其余情况与缓冲区掩膜的标记一致，由此标记所有像素从而生成弱标签。

对于双分支编码-解码结构的卷积神经网络，模型架构参见图3，通过PyTorch深度学习框架实现网络模型的搭建，以影像块(如512×512像素)的RGB通道作为输入，双分支编码-解码结构的卷积神经网络的结构主要分为三个部分。第一部分是使用在ImageNet数据集预训练好的残差网络作为特征编码网络，该网络由五组下采样组成，包括一组步长为2的7×7卷积层，以及四组最大池化和残差块，其中残差块由两个3×3卷积和跳跃连接构成。从第二组最大池化和残差块开始，特征图的层数在每组下采样后都会加倍。关于解码部分，设计了两个平行的子分支：语义分割分支和边缘检测分支。其中，语义分割分支使用5组步长为2的3×3转置卷积(反卷积)层将特征图的分辨率由16×16上采样到512×512，特征图的层数除了最后两组之外在每组上采样中均减半。从32×32到128×128大小的编码特征图通过跳跃连接添加到分割分支中的相应特征图，语义分割分支中大小为256×256的特征图与边缘检测分支中的相应特征图级联。边缘检测分支通过合并多尺度上下文信息来恢复边缘，首先对语义分割分支的第一个特征图进行4倍双线性上采样，并由通道数为128的3×3卷积层进行处理，然后与来自编码部分的具有相同空间分辨率的低层特征进行级联，再进行另一个4倍双线性上采样，经过通道数为64的3×3卷积层之后，对特征图进行2倍双线性上采样。将编码部分生成的特征图输入空洞卷积空间池化金字塔(Atrous SpatialPyramid Pooling，ASPP)模块，该模块由1×1卷积和三个并行的采样率分别为1、2和4的3×3空洞卷积，和全局池化组成。将ASPP模块生成的特征图进行级联并通过通道数为512的1×1卷积层，传递给解码部分的语义分割分支。两个分支在最后一层卷积使用Sigmoid激活分别输出像素属于道路和边缘的概率，其余卷积层均通过线性整流函数(Rectified LinearUnit，ReLU)功能激活。

对于粗糙边缘，利用在BSDS500数据集上预训练好的边缘检测算子，对训练集的影像进行预测生成对应的粗糙边缘图，用以监督边缘检测分支辅助语义分割分支。该边缘检测算子的架构由VGG神经网络改进得到，首先在1、1/2、1/4、1/8、1/16多个尺度的特征图上分别预测边缘，然后通过一个权重融合函数得到最终的边缘输出。

对于网络模型的训练，流程参见图4。加载训练集影像以及对应弱标签、粗糙边缘图，实现翻转、移位、缩放和色彩抖动等数据增强技术。将影像输入网络模型，计算模型输出的语义分割图和弱标签之间的部分二值交叉熵损失函数和正则化损失函数(即分割损失函数)，以及模型输出的边缘检测图和粗糙边缘图之间的均方误差损失函数(即边缘损失函数)，得到用于协同训练双分支的总损失函数，通过反向传播并结合Adam优化器来实现模型在GPU上训练。

对于网络模型的预测，流程参见图5。将训练好的模型权重导入模型结构，作为待预测的网络模型。将测试集的影像输入网络模型，然后将模型输出的语义分割图二值化得到对应的道路路面分割结果。利用Python中的库NumPy、OpenCV等统计预测结果与对应真值的情况，在F1值，交并比Intersection-over-union(IoU)等像素级评价指标上评估网络模型的性能。本发明提出的方法在F1和IoU指标上比经典弱监督分割方法ScribbleSup高出约20个百分点。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于，包括如下步骤：

步骤1，根据已有的影像以及对应的道路中心线数据构建样本库，利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签，用以监督道路分割；

步骤2，构建一个双分支编码-解码结构的卷积神经网络模型，包括编码部分、解码部分以及它们之间的空洞卷积空间金字塔池化部分，其中解码部分包括语义分割分支和边缘检测分支两个子分支，用于获得语义分割图和边缘检测图，并利用边缘检测算子为训练集影像生成粗糙边缘，用以监督边缘检测分支辅助语义分割分支；

步骤3，将训练集影像输入到双分支编码-解码结构的卷积神经网络模型，根据弱标签、粗糙边缘以及输出的语义分割图和边缘检测图计算损失函数，通过反向传播实现模型在GPU上的训练，训练结束后将测试集影像输入训练好的模型中预测道路路面，得到最终的道路分割结果。

2.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤1的具体实现包括如下子步骤,

步骤1.1，影像处理：若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪；然后以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.2，道路中心线处理：将影像范围内对应的中心线数据栅格化，也就是将矢量中心线对应的像素标记为道路；

步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像与对应的中心线数据裁剪为大小适宜的样本块；

步骤1.4，标签传播：利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签。

3.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤1中，利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签的具体实现方式如下，

首先，缓冲区掩膜生成：考虑到道路边缘往往平行于道路中心线，根据与道路中心线的距离生成缓冲区掩膜，将位于小缓冲区内部的像素标记为道路，将位于大缓冲区外部的像素标记为非道路，其余标记为未知像素；

然后，伪标签生成：对影像进行超像素分割，并以超像素为节点创建图模型，相邻节点之间的权重由色彩相似性定义，根据图割原理优化能量函数从而生成每个超像素的伪标签；

最后，按照以下规则融合缓冲区掩膜和伪标签：如果伪标签中的道路像素在缓冲区掩膜中被标记为非道路，则将该像素标记为未知像素，其余情况与缓冲区掩膜的标记一致，由此标记所有像素从而生成弱标签。

4.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤2中，所述编码部分，使用在ImageNet数据集预训练好的残差网络作为编码部分，该残差网络由五组下采样组成，包括一组步长为2的7×7卷积层，以及四组最大池化和残差块，其中残差块由两个3×3卷积和跳跃连接构成，从第二组最大池化和残差块开始，特征图的层数在每组下采样后都会加倍。

5.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤2中，所述解码部分，包括语义分割分支和边缘检测分支两个平行的子分支，语义分割分支使用5组3×3步长为2的转置卷积层将特征图的分辨率由16×16上采样到512×512，特征图的层数除了最后两组之外在每组上采样中均减半，从32×32到128×128大小的编码特征图通过跳跃连接添加到语义分割分支中的相应特征图，语义分割分支中大小为256×256的特征图与边缘检测分支中的相应特征图级联；边缘检测分支通过合并多尺度上下文信息来恢复边缘，首先对语义分割分支的第一个特征图进行4倍双线性上采样，并由通道数为128的3×3卷积层进行处理，然后与来自编码部分的具有相同空间分辨率的低层特征进行级联，再进行另一个4倍双线性上采样，经过通道数为64的3×3卷积层之后，对特征图进行2倍双线性上采样；两个分支在最后一层卷积使用Sigmoid激活分别输出像素属于道路和边缘的概率。

6.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤2中，所述空洞卷积空间池化金字塔部分，即ASPP模块由1×1卷积和三个并行的采样率分别为1、2和4的3×3空洞卷积，和全局池化组成，将编码部分生成的特征图输入ASPP模块，再将ASPP模块生成的特征图进行级联并通过通道数为512的1×1卷积层，传递给解码部分的语义分割分支。

7.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤2中，利用在BSDS500数据集上预训练好的边缘检测算子，对训练集的影像进行预测生成对应的粗糙边缘图，用以监督边缘检测分支辅助语义分割分支，该边缘检测算子的架构由VGG神经网络改进得到，首先在1、1/2、1/4、1/8、1/16多个尺度的特征图上分别预测边缘，然后通过一个权重融合函数得到最终的边缘输出。

8.如权利要求1所述的一种基于卷积神经网络弱监督学习的遥感影像道路分割方法，其特征在于：步骤3中，将影像输入到双分支编码-解码结构的卷积神经网络模型，计算模型输出的语义分割图和弱标签之间的分割损失函数，以及模型输出的边缘检测图和粗糙边缘之间的边缘损失函数，将分割损失函数和边缘损失函数加权求和作为总损失函数，并通过反向传播并结合Adam优化器来实现双分支编码-解码结构的卷积神经网络模型在GPU上训练；

所述分割损失函数为二值交叉熵损失函数和正则化损失函数，边缘损失函数为均方误差损失函数。

Images