CN110348383B - 一种基于卷积神经网络回归的道路中心线和双线提取方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络回归的道路中心线和双线提取方法，包括如下步骤：利用已训练卷积神经网络，预测出待提取的高分辨率遥感影像的道路中心线距离图和道路宽度图；利用非极小值抑制算法，结合道路中心线距离图提取出道路中心线；根据提取出的道路中心线，结合道路宽度图提取出道路双线；选取道路中心线上的像素点作为初始道路种子点，计算初始道路种子点所在的道路方向，利用道路追踪算法重建道路网络的拓扑结构，输出道路网络提取结果。该方法通过端对端的训练，直接从训练数据中学习到易于分类的特征，不需要任何后处理来提取道路中线和边线，泛化能力更强，道路提取精度高，细小道路提取效果较好。

Description

一种基于卷积神经网络回归的道路中心线和双线提取方法

技术领域

本发明涉及到遥感影像信息自动提取技术领域，具体涉及一种基于卷积神经网络回归的道路中心线和双线提取方法。

背景技术

高分辨率遥感影像道路提取是遥感领域的一项重要任务。它有许多领域都有广泛的应用，如自动驾驶，车辆导航、城市规划、数字线划图制作等。因此，道路提取具有重要的研究价值。

尽管近年来有很多方法提出。道路提取始终是一项很有挑战的任务。这是由于不同场景道路形状、颜色和上下文信息有极大的差异。另外，道路在遥感影像中所占比例较小，道路宽度只占几个像素，非常容易被树木，汽车和阴影等遮挡，从而更加增加了提取难度。

近年来，深度学习取得了很大进展。基于卷积神经网络的方法已经在图像识别、目标检测和语义分割方面展示出了优越的性能。许多基于深度学习的道路提取方法也被提出。不幸的是，这些方法中的大多数都将道路提取问题归结为道路分割。然而，在数字线划地图制作中需要道路中线和边线。因此，骨架化和边缘检测常用于道路分割结果来获得中线和双线。然而，这种策略有几个缺点：(1)道路中心线和边线附近容易产生大量毛刺，从而极大影响道路提取的精度；(2)分割结果缺乏路网拓扑信息；(3)连通性是道路很重要的特性，而连通性在提取过程中被忽略了。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于卷积神经网络回归的道路中心线和双线提取方法，该方法通过对已标注真实道路区域的高分辨率遥感影像进行有监督的学习与训练，最终得到一个能够稳定地进行道路中线和双线提取的深度卷积神经网络，并通过重建拓扑关系后输出对应矢量文件。

为达到上述目的，本发明采用的技术方案如下：

一种基于卷积神经网络回归的道路中心线和双线提取方法，其关键在于包括以下步骤：

步骤1：利用已训练卷积神经网络，预测出待提取的高分辨率遥感影像的道路中心线距离图和道路宽度图；

步骤2：利用非极小值抑制算法，结合道路中心线距离图提取出道路中心线；

步骤3：根据提取出的道路中心线，结合道路宽度图提取出道路双线；

步骤4：选取道路中心线上的像素点作为初始道路种子点，计算初始道路种子点所在的道路方向，利用道路追踪算法重建道路网络的拓扑结构，输出道路网络提取结果。

进一步的，步骤1中所述已训练卷积神经网络的训练过程为：

步骤A1：搭建待训练卷积神经网络，利用待训练卷积神经网络中的预训练基础网络，结合空间金字塔池化与注意力模型，从输入遥感影像中提取多尺度特征图；

步骤A2：选取所需分辨率的特征图，对输入遥感影像的道路标签进行处理，计算输入遥感影像中每个像素与道路中心线的距离以及道路像素所在的道路宽度，获得输入遥感影像的道路中线距离图和宽度图；

步骤A3：将计算得到的距离与宽度作为训练数据，结合构建的损失函数，对待训练卷积神经网络进行训练，获得所需已训练卷积神经网络。

进一步的，步骤1中所述多尺度特征图提取的具体步骤为：

将一张遥感影像作为输入，利用去掉全连接层的预训练基础网络进行降采样操作，获得多尺度特征图。

进一步的，步骤A2中选取的特征图的分辨率为

其中W和H分别代表输入遥感影像的宽度和高度，将该分辨率的特征图输入解码结构中，输出分辨率W×H的道路中线距离图和宽度图。

进一步的，步骤A3中所述损失函数为：

Loss＝Loss_cen+Loss_width，

其中，Loss为损失函数，

为中线距离图的监督损失函数；y_i为像素i与中心线的距离，

为像素i的预测值，

为道路宽度图的监督损失函数；z_i为像素i所在的道路宽度)，

为像素i的预测值，|Y|为像素的个数。

进一步的，所述已训练卷积神经网络利用多尺度高阶语义特征和底层特征，来预测所述待提取的高分辨率遥感影像中每个像素与道路中心线的距离和道路像素所在的道路宽度，获得道路中心线距离图和道路宽度图。

进一步的，步骤2中所述道路中心线的提取步骤为：

步骤2.1：对于道路中心线距离图中的每个像素，按照公式θ＝tan^-1(Dy,Dx)计算垂直于当前道路走向的方向θ，其中，Dx＝M(i,j)-M(i,j-1)为当前像素所在道路方向在x轴上的分量，Dy＝M(i,j)-M(i-1,j)为当前像素所在道路方向在y轴上的分量，M代表道路中线距离图，(i,j)表示当前像素所在的行列号；

步骤2.2：判断当前像素离中心线的距离在θ方向上是否为极小值，若是则认为该像素点位于道路中心线上，提取出道路中心线；

步骤2.3：重复步骤2.1～2.2，提取出道路中心线。

进一步的，步骤3中所述道路双线的提取公式为：

px_i＝x_i±w_i*(-sinθ_i)，

py_i＝y_i±w_i*cosθ_i，

其中，(x_i,y_i)表示位于道路中心线上的像素坐标，(w_i,θ_i)表示当前像素所在道路的宽度和方向。

进一步的，所述道路追踪算法的表达式如下：

其中，(x_s,t,y_s,t)表示追踪出的下个道路种子点的坐标；(x_current,y_current)表示当前道路种子点的坐标，θ_current表示当前道路种子点所在道路方向，t表示道路方向的变化，t∈(0°,±1°,...,±10°),S表示道路方向上相邻结点的可变距离。

本发明通过利用卷积神经网络训练和预测遥感影像中每个像素与道路中心线的距离和道路像素所在的道路宽度；用非极小值抑制算法结合影像中像素距离道路中线的距离，提取道路中心线；提取出道路中线后结合道路像素所在的道路宽度提取道路边缘线；利用道路追踪算法进一步优化结果和重建道路拓扑结构，最终输出相应矢量文件等步骤，实现了道路中心线和双线的直接提取。相比传统的道路提取方法，本方法可通过端对端的训练，直接从训练数据中学习到易于分类的特征，不需要如骨架化、边缘检测等任何后处理来提取道路中线和边线，泛化能力更强。

本发明的显著效果是：

1)特征学习，泛化能力强

本发明使用基于卷积神经网络的深度学习方法，通过训练一个端到端的网络，输入一幅遥感影像，输出一幅与输入图像同分辨率的中线置信图和宽度图。该过程不需要人工设计的特征来进行干预，网络本身可以从训练数据中学习得到所需要的特征，并加以合理的利用，因此具有更好地泛化能力，即便是在面对复杂场景的时候，也能有稳定的表现。

2)端对端训练，无需后处理

本发明设计的通过预测道路中线距离图和道路宽度图来进行道路提取，可以直接进行道路中线和双线检测，无需任何后处理(如骨架化和边缘检测)，提取结果的几何精度较高。并且考虑到道路具有狭长形状结构，引入注意力模型来捕捉长距离依赖信息，可以进一步提高道路提取的精度。另外，本发明设计的网络结构简单，复杂度低，并且易于训练。

3)道路提取精度高，细小道路提取效果较好

传统技术中多数方法采用语义分割来提取道路，由于细小道路在影像上所占比例较低，所以预测结果倾向去预测宽度较大的道路。与语义分割方法不同，本发明对于细小道路和宽度较大的道路在训练时是同等对待的，显著提高了最终得到的道路提取结果的精度，并且在细小道路提取上效果较好。

附图说明

图1是本发明的方法流程图；

图2是本实施例中所述待训练卷积神经网络的网络结构图；

图3是本发明在Massachusetts数据集上的实验结果示意图；

图4是本发明在DeepGlobe数据集上的实验结果图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种基于卷积神经网络回归的道路中心线和双线提取方法，具体步骤如下：

步骤1：利用已训练卷积神经网络，利用多尺度高阶语义特征和底层特征，来预测所述待提取的高分辨率遥感影像中每个像素与道路中心线的距离和道路像素所在的道路宽度，预测出待提取的高分辨率遥感影像的道路中心线距离图和道路宽度图；

关于所述已训练卷积神经网络的训练过程：

步骤A1：首先，搭建待训练卷积神经网络，整个网络结构如图2所示，其主要包含三个模块，分别是多尺度特征提取用的预训练基础网络、用于预测高分辨率遥感影像中每个像素与道路中心线距离和道路像素所在道路宽度的回归网络、基于道路追踪的道路拓扑结构重建模块，具体的：所述预训练基础网络为图2中所示的特征提取模块、多尺度特征提取模块以及注意力模型，所述回归网络就是图2里的距离预测模块和宽度预测模块，所述道路拓扑结构重建模块不包含在网络结构之内也即是图未示出，主要指后文中提到的非极小值抑制算法与道路追踪算法。

然后，利用图2中去掉连接层的预训练基础网络作为主干网络，将一张遥感影像作为输入，为了保留高分辨率特征图，减少信息损失，去掉最后两层降采样操作，并采用空洞卷积来弥补感受野的损失。通过一系列的卷积和降采样操作，获得特征图。为了获得特征的多尺度表示，将特征图再经过空洞空间金字塔池化，获得多尺度特征图。本例中，所述预训练基础网络采用残差网络。

本实施例中，所述预训练基础网络在多尺度特征图获取时，采用了空间金字塔池化来增强尺度不变性；同时考虑到道路通常具有狭长形状结构，因此引入注意力模型来捕捉像素之间的长距离依赖。

步骤A2：选取分辨率为

的特征图，对输入遥感影像的道路标签进行处理，也即是将得到的分辨率为

的特征图输入用于中线距离图预测的解码结构和用于宽度图预测的解码结构，计算输入遥感影像中每个像素与道路中心线的距离以及道路像素所在的道路宽度，输出分辨率W×H的输入遥感影像的道路中线距离图和宽度图；其中W和H分别代表原输入遥感影像图像的宽度和高度。

能够理解的是，结合具体使用场景，所选取的特征图也可以为其他分辨率，本例所述的分辨率

并非是限定条件。

步骤A3：将计算得到的距离与宽度作为训练数据，结合构建的损失函数，对待训练卷积神经网络进行训练，获得所需已训练卷积神经网络，所述损失函数为：

Loss＝Loss_cen+Loss_width，

其中，Loss为损失函数，

为中线距离图的监督损失函数；yi为像素i与中心线的距离，

为像素i的预测值，

为道路宽度图的监督损失函数；z_i为像素i所在的道路宽度)，

为像素i的预测值，|Y|为像素i数量。

步骤2：由于道路中线上的像素与中线距离最小，故利用非极小值抑制算法，结合道路中心线距离图提取出道路中心线，提取步骤为：

步骤2.1：对于道路中心线距离图中的每个像素，按照公式θ＝tan-¹(Dy,Dx)计算垂直于当前道路走向的方向θ，其中，Dx＝M(i,j)-M(i,j-1)为当前像素所在道路方向在x轴上的分量，Dy＝M(i,j)-M(i-1,j)为当前像素所在道路方向在y轴上的分量，M代表道路中线距离图，(i,j)表示当前像素所在的行列号；

步骤2.2：判断当前像素离中心线的距离在θ方向上是否为极小值，若是则认为该像素点位于道路中心线上；

步骤2.3：重复步骤2.1～2.2，提取出道路中心线。

步骤3：根据提取出的道路中心线，结合道路宽度图提取出道路双线业绩边缘线，提取公式为：

px_i＝x_i±w_i*(-sinθ_i)，py_i＝y_i±w_i*cosθ_i；

其中，(x_i,y_i)表示位于道路中心线上的像素坐标，(w_i,θ_i)表示当前像素所在道路的宽度和方向。

步骤4：选取道路中心线上的像素点作为初始道路种子点，计算初始道路种子点所在的道路方向，利用道路拓扑结构重建模块的道路追踪算法重建道路网络的拓扑结构，输出矢量文件作为道路网提取的最终结果。

所述道路追踪算法的表达式如下：

其中，(x_s,t,y_s,t)表示追踪出的下个道路种子点的坐标；(x_current,y_current)表示当前道路种子点的坐标，θ_current表示当前道路种子点的方向，t表示道路方向的变化，t∈(0°,±1°,...,±10°),S表示道路方向上相邻结点的可变距离，S＝15。

本发明对部分实验数据进行道路提取得到的中线和双线结果示例如图3和图4所示，可以看出，本发明能稳定、精确地对不同场景下的遥感影像进行道路提取。

本发明利用卷积神经网络训练和预测遥感影像中每个像素与道路中心线的距离和道路像素所在的道路宽度；用非极小值抑制算法结合影像中像素距离道路中线的距离提取道路中心线；提取出道路中线后结合道路像素所在的道路宽度提取道路边缘线；利用道路追踪算法进一步优化结果和重建道路拓扑结构，最终输出相应矢量文件及道路中心线与双线提取结果。相比传统方法基于语义分割的道路提取方法，本方法可通过端对端的训练，直接从训练数据中学习到易于分类的特征，不需要任何后处理(如骨架化，边缘检测)来提取道路中线和边线，泛化能力更强。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于包括以下步骤：

步骤1：利用已训练卷积神经网络，预测出待提取的高分辨率遥感影像的道路中心线距离图和道路宽度图；

步骤2：利用非极小值抑制算法，结合道路中心线距离图提取出道路中心线；

步骤3：根据提取出的道路中心线，结合道路宽度图提取出道路双线；

步骤4：选取道路中心线上的像素点作为初始道路种子点，计算初始道路种子点所在的道路方向，利用道路追踪算法重建道路网络的拓扑结构，输出道路网络提取结果；

步骤1中所述已训练卷积神经网络的训练过程为：

步骤A1：搭建待训练卷积神经网络，利用待训练卷积神经网络中的预训练基础网络，结合空间金字塔池化与注意力模型，从输入遥感影像中提取多尺度特征图；

步骤A2：选取所需分辨率的特征图，对输入遥感影像的道路标签进行处理，计算输入遥感影像中每个像素与道路中心线的距离以及道路像素所在的道路宽度，获得输入遥感影像的道路中线距离图和宽度图；

步骤A3：将计算得到的距离与宽度作为训练数据，结合构建的损失函数，对待训练卷积神经网络进行训练，获得所需已训练卷积神经网络；

步骤2中所述道路中心线的提取步骤为：

步骤2.1：对于道路中心线距离图中的每个像素，按照公式θ＝tan^-1(Dy,Dx)计算垂直于当前道路走向的方向θ，其中，Dx＝M(i,j)-M(i,j-1)为当前像素所在道路方向在x轴上的分量，Dy＝M(i,j)-M(i-1,j)为当前像素所在道路方向在y轴上的分量，M代表道路中线距离图，(i,j)表示当前像素所在的行列号；

步骤2.2：判断当前像素离中心线的距离在θ方向上是否为极小值，若是则认为该像素点位于道路中心线上；

步骤2.3：重复步骤2.1～2.2，提取出道路中心线。

2.根据权利要求1所述的基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于：步骤1中所述多尺度特征图提取的具体步骤为：

将一张遥感影像作为输入，利用去掉全连接层的预训练基础网络进行降采样操作，获得多尺度特征图。

3.根据权利要求1所述的基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于：步骤A2中选取的特征图的分辨率为

其中W和H分别代表输入遥感影像的宽度和高度，将该分辨率的特征图输入解码结构中，输出分辨率W×H的道路中线距离图和宽度图。

4.根据权利要求1所述的基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于：步骤A3中所述损失函数为：

Loss＝Loss_cen+Loss_width，

其中，Loss为损失函数，

为道路中线距离图的监督损失函数；y_i为像素i与中心线的距离，

为像素i的预测值，

为道路宽度图的监督损失函数；z_i为像素i所在的道路宽度，

为像素i的预测值，|Y|为像素的个数。

5.根据权利要求1所述的基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于：所述已训练卷积神经网络利用多尺度高阶语义特征和底层特征，来预测所述待提取的高分辨率遥感影像中每个像素与道路中心线的距离和道路像素所在的道路宽度，获得道路中心线距离图和道路宽度图。

6.根据权利要求1所述的基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于：步骤3中所述道路双线的提取公式为：

px_i＝x_i±w_i*(-sinθ_i)，

py_i＝y_i±w_i*cosθ_i，

其中，(x_i,y_i)表示位于道路中心线上的像素坐标，(w_i,θ_i)表示当前像素所在道路的宽度和方向。

7.根据权利要求1所述的基于卷积神经网络回归的道路中心线和双线提取方法，其特征在于：所述道路追踪算法的表达式如下：

其中，(x_s,t,y_s,t)表示追踪出的下个道路种子点的坐标；(x_current,y_current)表示当前道路种子点的坐标，θ_current表示当前道路种子点所在道路方向，t表示道路方向的变化，t∈(0°,±1°,...,±10°),S表示道路方向上相邻结点的可变距离。

Images