CN111046768A - 一种同时提取遥感影像道路路面和中心线的深度学习方法 - Google Patents

Abstract

本发明涉及一种新的同时提取遥感影像道路路面和中心线的深度学习方法。充分发挥卷积神经网络在道路路面分割和道路中心线追踪中的优势，采用路面和中心线结果相互约束、优势互补的方式进行遥感影像道路网提取，解决了以往提取方法中道路结果不完整、连接性差等问题。本发明具有如下优点：鲁棒性强，可适应不同尺度的遥感影像道路提取，可持续迭代不断优化，不仅能够提取保留拓扑连接性的道路路面，还能够提取准确完整的道路中心线，可以应用于城市规划、行车导航、灾害应急、地图的制作及更新等领域。

Description

一种同时提取遥感影像道路路面和中心线的深度学习方法

技术领域

本发明涉及一种基于卷积神经网络的遥感影像道路自动化提取方法，可同时提取道路路面和中心线，有效提高道路提取的完整性和连通性，辅助道路网的构建及更新，所生产的道路数据能够广泛应用于城市规划、自动驾驶等领域。

背景技术

道路网作为一种基础地理数据，在行车导航、灾害应急、地图绘制及更新等方面承担着重要的作用。然而目前道路网数据的构建及更新仍依赖于人工操作，费时又费力。作为获取地球表面几何和物理信息的最重要的地球观测技术之一，遥感技术得到飞速发展，使得从高分辨率遥感影像中提取道路等地表目标物受到越来越多的关注。但是在实际应用生产中，从高分辨率影像中进行道路提取面临诸多困难。例如，受光照的影响，高分辨率遥感影像中存在行道树、车辆、高大建筑物的遮挡，造成道路的断裂、不连续；除此之外，停车场、裸地、河流等混淆场景容易导致误判。深度学习中的卷积神经网络在图像检索、图像分类、目标检测中展现出强大的性能。卷积神经网络通过从图像的低级语义信息中逐步提取高级语义信息，获得最终的结果，且对场景变化具有更好的鲁棒性。将深度学习技术与遥感影像结合，从遥感影像中自动化提取道路通常有两类方法，分别是图像语义分割方法和道路中心线追踪方法。语义分割方法就是通过卷积神经网络对影像进行逐像素分类，进而提取道路路面。道路中心线追踪方法是从一个道路已知点出发，通过决策函数引导搜索窗口移动，逐段构建道路中心线。两类方法各有其优缺点，语义分割方法能够在大范围影像中获得较为完整的道路，但是由于忽略了道路的拓扑关系使得道路连接性较差；追踪方法保留了道路的拓扑连接性，但由于搜索容易受到桥梁等影响而中断使得道路完整性较差。因此，综合两类方法提取出的道路特征进行互相约束，实现优势互补是遥感影像道路提取研究的趋势，一种能够同时提取遥感影像道路路面和中心线的深度学习方法至关重要。

发明内容

本发明针对现有技术的不足，提供了一种基于卷积神经元网络的遥感影像道路网提取框架，能够同时提取遥感影像中道路路面和中心线，充分结合图像语义分割方法和中心线追踪方法，实现优势互补，克服道路分割结果中道路连接性差以及单起点追踪结果中道路不完整的缺点，得到具有良好完整性及拓扑连接性的高质量道路网数据。

实现本发明目的采用的技术方案是：一种同时提取遥感影像道路路面和中心线的深度学习方法，包括如下步骤：

步骤1，根据已有的影像以及对应的标注文件构建样本库，包括道路路面分割数据集和道路中心线追踪数据集；

步骤2，利用步骤1构建的路面分割数据集对道路分割网络D-LinkNet进行训练，然后对遥感影像中的道路进行像素级预测，获得道路路面的初始分割结果，并在此基础上结合机器学习中的提升策略，设计用于提升分割结果的网络模型BSNet，训练多个提升分割网络BSNet，然后分别对影像进行预测并将预测结果加权求和得到提升后的分割结果；

步骤3，从道路分割结果中提取位于道路交叉口的多个特征点作为后续追踪的起始点，利用步骤1构建的中心线追踪数据集训练卷积神经网络决策函数CNNDF，然后从多个起始点出发，基于该决策函数在遥感影像中逐段构建道路中心线；

步骤4，将路面分割结果和中心线追踪结果进行融合，得到最终的道路路面结果，并通过形态学细化获得最终的道路中心线结果。

进一步的，步骤1的具体实现包括如下子步骤，

步骤1.1，影像预处理：若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪；然后以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.2，标签数据制作：将影像范围内对应的中心线标签数据栅格化，得到栅格的道路路面标签数据，路面标签数据经过形态学细化、骨架提取得到矢量的道路中心线标签数据；

步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像与对应的标签数据裁剪为大小适宜的样本块。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，初始分割：在步骤1构建的路面分割数据集上训练道路分割网络D-LinkNet，学习遥感影像中的道路特征，获得道路路面初始分割结果；

步骤2.2，构建样本子集：以小尺寸的窗口裁剪在初始分割结果中表现较差的部分，即初始分割结果和对应标签的交并比小于一定阈值的部分，根据对应的影像和路面标注文件构建样本子集；

步骤2.3，训练提升分割网络：基于机器学习中的提升策略，利用样本子集依次训练多个提升分割网络BSNet，挖掘影像中局部区域对于道路网提取有用的潜在信息以提升优化分割结果；

步骤2.4，融合预测结果：提升分割网络BSNet训练结束后，分别利用训练好的各个提升分割网络BSNet对遥感影像进行预测，根据各个提升分割网络BSNet的分割效果计算投票权重并对多个预测结果进行加权求和，融合初始分割结果得到提升后的分割结果；其中投票权重的计算公式为ω＝log((1-ε)/ε)，ε为提升分割网络BSNet的错误率。

进一步的，所述提升分割网络BSNet包括编码、解码以及它们之间的中间部分，其中编码部分包含4组连续堆叠的卷积层及ReLU激活函数，每组中卷积核大小为3×3，步长为1，各组之间利用步长为2的最大池化操作完成下采样，其中将倒数第二、三组的特征图采样至最后一组特征图的尺寸，然后利用1×1卷积层来调整通道数并级联，得到16×16×256的特征图；中间部分嵌入扩张率不同的扩张卷积，以串联和并联相结合的方式构成四条路径分别对特征图进行处理，其中同一路径采用串联的方式，不同路径采用并联的方式，第一条路径嵌入扩张率分别为1、2和4的扩张卷积，其感受野为15×15；第二条路径嵌入扩张率分别为1、2的扩张卷积，其感受野为7×7；第三条路径嵌入扩张率为1的扩张卷积，其感受野为3×3，第一条至第三条路径中的卷积核尺寸是3×3，第四条路径采用1×1卷积来调整特征图的通道数，最后将各路径输出的特征图相加，使得神经网络能够捕获来自不同尺度的特征；解码部分采用数据相关上采样模块Data-dependent Upsampling代替传统转置卷积的方法，将特征图从最低分辨率恢复到原始比例；提升分割网络BSNet的输入为256×256像素的RGB影像，输出部分利用Sigmoid激活函数逐像素判断属于道路的概率从而得到分割的概率图。

进一步的，步骤3中的具体实现包括如下子步骤：

步骤3.1，特征点提取：对提升后的分割结果进行形态学细化、角点检测操作，提取位于道路交叉口的多个特征点作为后续追踪的起始点；

步骤3.2，训练卷积神经网络决策函数：在步骤1构建的中心线追踪数据集上训练决策函数，学习迭代搜索追踪动作及方向；

步骤3.3，中心线追踪：从多个特征起始点出发，在当前已追踪到的结果基础上，通过卷积神经网络决策函数CNNDF得到的追踪动作及方向来引导搜索窗口移动，逐段构建道路中心线；同时，通过检测待追踪的起始点周围是否存在之前已搜索过的道路网来提高起始点的质量，进而提高搜索效率及算法的自动化程度。

进一步的，所述卷积神经网络决策函数CNNDF包含两部分，特征提取部分以及输出部分，其中，特征提取部分由7组连续堆叠的卷积层及ReLU激活函数组成，每组中卷积核大小为3×3，步长为1；各组之间卷积核大小为3×3，步长为2完成下采样；决策函数的输入包括256×256像素的RGB影像、当前搜索到的中心线结果、道路中心线标签，输出部分通过Softmax函数和Sigmoid函数分别产生追踪动作和追踪角度。

进一步的，步骤4中的具体实现包括如下子步骤，

步骤4.1，断裂路段检测：对于中心线结果中的每个路段，逐段判断是否与分割结果存在交集，若存在交集且不完全包含于分割结果中，则该路段被视作分割结果中的断裂路段；

步骤4.2，路宽计算：为断裂路段的中心线创建缓冲区，缓冲区和分割结果的交集与路段和分割结果的交集之比作为该路段的路宽，再根据路宽信息对单像素的中心线进行膨胀，得到栅格化的道路中心线数据；

步骤4.3，结果生成：将步骤2得到的路面分割结果和步骤3得到的道路中心线结果进行融合，即取两个结果的并集，结合OTSU算法得到最终的道路路面结果，再通过形态学细化方法从道路路面结果中得到最终的道路中心线结果。

本发明具有如下优点：1)提出了可以同时提取遥感影像道路路面和中心线的深度学习方法，充分发挥语义分割方法和追踪方法的优势，得到准确、完整、连通的道路网数据。2)将深度学习方法和经典的机器学习方法进行结合，利用提升策略优化初始分割结果，并设计了一个高效的提升分割网络模型，有效地增强道路路面分割结果的连接性，减少错误判别。3)设计了一种新的道路中心线追踪算法，即从多个特征起始点出发，避免单起点搜索无法覆盖大范围影像道路提取的需要，有效地增强道路中心线结果的完整性，同时通过提高特征起始点的质量来提高搜索效率及算法的自动化程度。

附图说明

图1是本发明的多级遥感影像道路提取框架图。

图2是本发明中道路路面提升分割的流程图。

图3是本发明中提升分割网络BSNet的网络结构图。

图4是本发明中提升分割网络BSNet中间部分的结构示意图。

图5是本发明中多起点道路中心线追踪方法流程图。

图6是本发明中卷积神经网络决策函数CNNDF的网络结构图。

图7是本发明中最终结果融合的流程图。

具体实施方式

下面通过实施例和附图说明本发明的具体实施方式。

本发明实施例提供一种同时提取遥感影像道路路面和中心线的深度学习方法，包括如下步骤：

步骤1，根据已有的影像以及对应的标注文件构建样本库，包括道路路面分割数据集和道路中心线追踪数据集；步骤2，利用步骤1构建的路面分割数据集对道路分割网络D-LinkNet进行训练，然后对遥感影像中的道路进行像素级预测，获得道路路面的初始分割结果，并在此基础上结合机器学习中的提升策略，设计用于提升分割结果的网络模型(Boosting Segmentation Network,BSNet)，训练多个提升分割网络BSNet，然后分别对影像进行预测并将预测结果加权求和得到提升后的分割结果；步骤3，从道路分割结果中提取位于道路交叉口的多个特征点作为后续追踪的起点，利用步骤1构建的中心线追踪数据集训练卷积神经网络决策函数(Convolutional Neural Network Decision Function,CNNDF)，然后从多个起始点出发，基于该决策函数在遥感影像中构建道路中心线；步骤4，将路面分割结果和中心线追踪结果进行融合，得到最终的道路路面结果，并通过形态学细化获得最终的道路中心线结果。

进一步的，步骤1的具体实现包括如下子步骤：

步骤1.1，影像预处理。若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪；然后以某一影像分辨率为基准，对其它影像进行重采样。

步骤1.2，标签数据制作。将影像范围内对应的中心线标签数据栅格化，可以得到栅格的道路路面标签数据；相反，路面标签数据经过形态学细化、骨架提取等操作能够得到矢量的道路中心线标签数据。路面数据和中心线数据之间的转换需要建立栅格图像与矢量文件的坐标转换关系。

步骤1.3，样本裁剪。综合考虑计算机性能、地物大小等因素，将遥感影像与对应的标签数据裁剪为大小适宜(如1024×1024像素)的样本块。

进一步的，步骤2的具体实现包括如下子步骤：

步骤2.1，初始分割。在步骤1构建的路面分割数据集上训练道路分割网络D-LinkNet^[1]，学习遥感影像中的道路特征，获得道路路面初始分割结果。

步骤2.2，构建样本子集。以小尺寸(如256×256像素)的窗口裁剪在初始分割结果中表现较差的部分(如初始分割结果和对应标签的交并比小于70％)，根据对应的影像和路面标注文件构建样本子集。

步骤2.3，训练提升分割网络。基于机器学习中的提升策略，利用样本子集依次训练多个提升分割网络BSNet，挖掘影像中局部区域对于道路网提取有用的潜在信息以提升优化分割结果。

步骤2.4，融合预测结果。网络模型训练结束后，分别利用训练好的各个提升网络对遥感影像进行预测，根据各网络的分割效果(如模型的错误率ε)计算投票权重ω＝log((1-ε)/ε)并对多个预测结果进行加权求和，融合初始分割结果得到提升后的分割结果。

上述的D-LinkNet为已有网络，无需介绍。

上述的提升分割网络BSNet主要包括三个部分：编码(encoding stage)、解码(decoding stage)以及它们之间横向连接的中间部分。编码部分利用在ImageNet数据集上预训练过的残差网络模型(ResNet)加速训练过程，具体包含4组连续堆叠的卷积(Convolution)层及ReLU激活函数，每组中卷积核大小为3×3，步长为1，各组之间利用步长为2的最大池化(Max-pooling)操作完成下采样，其中将倒数第二、三组的特征图采样至最后一组特征图的尺寸，然后利用1×1卷积层来调整通道数并级联(concatenation)，得到16×16×256的特征图；如图4所示，中间部分嵌入扩张率不同的扩张卷积，以串联和并联相结合的方式构成四条路径分别对特征图进行处理，其中同一路径采用串联的方式，不同路径采用并联的方式，第一条路径嵌入扩张率分别为1、2和4的扩张卷积，其感受野为15×15；第二条路径嵌入扩张率分别为1、2的扩张卷积，其感受野为7×7；第三条路径嵌入扩张率为1的扩张卷积，其感受野为3×3，第一条路径至第三条路径中的卷积核是3×3，第四条路径采用普通的1×1卷积来调整特征图的通道数，最后将各路径输出的特征图相加，使得神经网络能够捕获来自不同尺度的特征；解码部分采用数据相关上采样模块(Data-dependentUpsampling,DUpsampling^[2])代替传统转置卷积的方法，将特征图从最低分辨率恢复到原始比例。BSNet网络模型的输入为256×256像素的RGB影像，输出部分利用Sigmoid激活函数逐像素判断属于道路的概率从而得到分割的概率图。

进一步的，步骤3中的具体实现包括如下子步骤：

步骤3.1，特征点提取。对提升后的分割结果进行形态学细化、角点检测操作，提取位于道路交叉口的多个特征点作为后续追踪的起始点。

步骤3.2，训练卷积神经网络决策函数。在步骤1构建的中心线追踪数据集上训练决策函数，学习迭代搜索追踪动作及方向。

步骤3.3，中心线追踪。从多个特征起始点出发，在当前已追踪到的结果基础上，通过卷积神经网络决策函数CNNDF得到的追踪动作及方向来引导搜索窗口移动，逐段构建道路中心线。同时，通过检测待追踪的起始点周围是否存在之前已搜索过的道路网来提高起始点的质量，进而提高搜索效率及算法的自动化程度。本发明中利用多起点进行追踪的优势是：1)改进了单起点追踪方法受桥梁、遮挡等影响而搜索不完整的情况；2)多起点是由分割结果自动生成的特征点而不需依赖人工标注。

上述的卷积神经网络决策函数CNNDF主要包含特征提取部分和输出部分。特征提取部分由7组连续堆叠的卷积层及ReLU激活函数组成。每组中卷积核大小为3×3，步长为1；各组之间采用的卷积层是3×3的步长为2的卷积核来下采样特征图的尺寸。决策函数的输入包括256×256像素的RGB影像、当前搜索到的中心线结果、道路中心线标签。输出部分通过Softmax激活函数和Sigmoid激活函数分别产生追踪动作和追踪角度。

进一步的，步骤4中的具体实现包括如下子步骤：

步骤4.1，断裂路段检测。对于中心线结果中的每个路段，逐段判断是否与分割结果存在交集。若存在交集且不完全包含于分割结果中，则该路段被视作分割结果中的断裂路段。

步骤4.2，路宽计算。为断裂路段的中心线创建缓冲区，缓冲区和分割结果的交集与路段和分割结果的交集之比作为该路段的宽度。再根据路宽信息对单像素的中心线进行膨胀，得到栅格化的道路中心线数据。

步骤4.3，结果生成。将步骤2得到的路面分割结果和步骤3得到的道路中心线结果进行融合(如取并集)，得到最终的道路路面结果，再通过形态学细化方法从道路路面结果中得到最终的道路中心线结果。

本发明提供的一种同时提取遥感影像道路路面和中心线的深度学习方法，根据图1可知总共分为三个部分，分别是道路路面提升分割、道路多起点中心线追踪、最终结果的融合。

首先根据已有的遥感影像以及对应的标注文件构建样本库。首先对原始遥感影像进行拼接，获得完整覆盖范围大的影像。然后对影像进行重采样及裁剪，得到分辨率合适、具备道路覆盖的影像。对于矢量格式的道路中心线数据通过膨胀操作栅格化，获得道路路面的栅格标签数据；对于栅格格式的道路路面标签数据进行形态学细化以及矢量化操作获得道路中心线的矢量标签数据。在两种标签数据转换过程中，需要建立坐标转换关系从而使得标签与影像相对应。最后，结合计算机性能以及道路的大小，将遥感影像与对应标签数据裁剪成大小适宜(如1024×1024像素)的样本块。

对于道路路面提升分割，流程参见图2。首先利用样本库中遥感影像块和对应的路面标签数据对D-LinkNet网络进行训练，训练结束后预测得到初始分割结果。然后，构建样本子集。通过小尺寸滑动窗口在初始分割结果上移动，逐次计算窗口内部预测结果和真实值的交并比，依据交并比选择并裁剪初始分割结果中表现较差的部分，根据对应的影像和路面标注文件构建样本子集。然后，基于机器学习中的提升策略，利用样本子集依次训练多个提升分割网络BSNet(图中为T个提升分割网络BSNet)，结构如图3，挖掘影像中局部区域对于道路网提取有用的潜在信息以提升优化分割结果。其中，模型的中间部分可展开如图4所示，包含扩张率分别为1、2和4的扩张卷积，以串联和并联相结合的方式构成四条路径，自上至下每条路径的感受野分别为15、7、3和1。网络模型训练结束后，分别利用训练好的各个提升分割网络对遥感影像进行预测，根据各个网络训练过程中的错误率确定投票权重，然后对多个预测结果进行加权求和，得到提升网络的分割结果。将初始分割结果和提升网络结果融合，得到提升后的路面分割结果。

对于道路多起点中心线追踪，流程参见图5。首先对路面分割结果进行形态学细化^[3]，获得单像素宽的道路结果，在此基础上利用Good Feature To Track角点检测算子^[4]提取高质量的道路交叉点，作为后续追踪的起始点。然后，在中心线追踪数据集上训练卷积神经网络决策函数CNNDF，学习迭代搜索追踪动作及方向从而构建道路。模型结构参见图6，其中O_seg是分割的粗略图，O_action和O_angle分别是输出部分的追踪动作和追踪方向。训练结束后，从多个特征起始点出发，基于卷积神经网络决策函数逐步搜索构建道路中心线。直到所有的起始点都被搜索过，追踪过程结束并得到道路中心线结果。

对于最终结果的融合，流程参见图7。首先针对中心线结果中的每个路段，逐段判断是否与分割结果存在交集，检测分割结果中的断裂路段。然后，根据分割结果和中心线结果为每个断裂路段计算各自的合适路宽，并根据路宽信息将单像素的中心线进行栅格化，得到具有一定宽度的道路中心线数据。然后取路面分割结果和栅格化中心线结果的并集，结合OTSU算法^[5]得到最终的道路路面结果，再通过形态学细化方法从道路路面结果中得到最终的道路中心线结果。

参考文献

[1]L.Zhou,C.Zhang,and M.Wu,“D-linknet:Linknet with pretrained encoderand dilated convolution for high resolution satellite imagery roadextraction,”IEEE Comput.Soc.Conf.Comput.Vis.Pattern Recognit.Work.,vol.2018-June,pp.192–196,2018.

[2]Z.Tian,T.He,C.Shen,and Y.Yan,“Decoders Matter for SemanticSegmentation:Data-Dependent Decoding Enables Flexible Feature Aggregation,”Proc.IEEE Comput.Soc.Conf.Comput.Vis.Pattern Recognit.,2019.

[3]T.Y.Zhang and C.Y.Suen,“A Fast Parallel Algorithm for ThinningDigital Patterns,”1984.

[4]J.Shi and C.Tomasi,“Good features to track,”in Proceedings of theIEEE Computer Society Conference on Computer Vision and Pattern Recognition,1994.

[5]N.Otsu,“A Threshold Selection Method from Gray-Level Histograms,”IEEE Trans.Syst.Man.Cybern.,2008.

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于，包括如下步骤：

步骤1，根据已有的影像以及对应的标注文件构建样本库，包括道路路面分割数据集和道路中心线追踪数据集；

步骤2，利用步骤1构建的路面分割数据集对道路分割网络D-LinkNet进行训练，然后对遥感影像中的道路进行像素级预测，获得道路路面的初始分割结果，并在此基础上结合机器学习中的提升策略，设计用于提升分割结果的网络模型BSNet，训练多个提升分割网络BSNet，然后分别对影像进行预测并将预测结果加权求和得到提升后的分割结果；

步骤3，从道路分割结果中提取位于道路交叉口的多个特征点作为后续追踪的起始点，利用步骤1构建的中心线追踪数据集训练卷积神经网络决策函数CNNDF，然后从多个起始点出发，基于该决策函数在遥感影像中逐段构建道路中心线；

步骤4，将路面分割结果和中心线追踪结果进行融合，得到最终的道路路面结果，并通过形态学细化获得最终的道路中心线结果。

2.如权利要求1所述的一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于：步骤1的具体实现包括如下子步骤，

步骤1.1，影像预处理：若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪；然后以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.2，标签数据制作：将影像范围内对应的中心线标签数据栅格化，得到栅格的道路路面标签数据，路面标签数据经过形态学细化、骨架提取得到矢量的道路中心线标签数据；

步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像与对应的标签数据裁剪为大小适宜的样本块。

3.如权利要求1所述的一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于：步骤2的具体实现包括如下子步骤：

步骤2.1，初始分割：在步骤1构建的路面分割数据集上训练道路分割网络D-LinkNet，学习遥感影像中的道路特征，获得道路路面初始分割结果；

步骤2.2，构建样本子集：以小尺寸的窗口裁剪在初始分割结果中表现较差的部分，即初始分割结果和对应标签的交并比小于一定阈值的部分，根据对应的影像和路面标注文件构建样本子集；

步骤2.3，训练提升分割网络：基于机器学习中的提升策略，利用样本子集依次训练多个提升分割网络BSNet，挖掘影像中局部区域对于道路网提取有用的潜在信息以提升优化分割结果；

步骤2.4，融合预测结果：提升分割网络BSNet训练结束后，分别利用训练好的各个提升分割网络BSNet对遥感影像进行预测，根据各个提升分割网络BSNet的分割效果计算投票权重并对多个预测结果进行加权求和，融合初始分割结果得到提升后的分割结果；其中投票权重的计算公式为ω＝log((1-ε)/ε，ε为提升分割网络BSNet的错误率。

4.如权利要求3所述的一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于：所述提升分割网络BSNet包括编码、解码以及它们之间的中间部分，其中编码部分包含4组连续堆叠的卷积层及ReLU激活函数，每组中卷积核大小为3×3，步长为1，各组之间利用步长为2的最大池化操作完成下采样，其中将倒数第二、三组的特征图采样至最后一组特征图的尺寸，然后利用1×1卷积层来调整通道数并级联，得到16×16×256的特征图；中间部分嵌入扩张率不同的扩张卷积，以串联和并联相结合的方式构成四条路径分别对特征图进行处理，其中同一路径采用串联的方式，不同路径采用并联的方式，第一条路径嵌入扩张率分别为1、2和4的扩张卷积，其感受野为15×15；第二条路径嵌入扩张率分别为1、2的扩张卷积，其感受野为7×7；第三条路径嵌入扩张率为1的扩张卷积，其感受野为3×3，第一条路径至第三条路径中的卷积核的尺寸是3×3，第四条路径采用1×1卷积来调整特征图的通道数，最后将各路径输出的特征图相加；解码部分采用数据相关上采样模块Data-dependent Upsampling将特征图从最低分辨率恢复到原始比例；提升分割网络BSNet的输入为256×256像素的RGB影像，输出部分利用Sigmoid激活函数逐像素判断属于道路的概率从而得到分割的概率图。

5.如权利要求1所述的一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于：步骤3中的具体实现包括如下子步骤：

步骤3.1，特征点提取：对提升后的分割结果进行形态学细化、角点检测操作，提取位于道路交叉口的多个特征点作为后续追踪的起始点；

步骤3.2，训练卷积神经网络决策函数：在步骤1构建的中心线追踪数据集上训练决策函数，学习迭代搜索追踪动作及方向；

步骤3.3，中心线追踪：从多个特征起始点出发，在当前已追踪到的结果基础上，通过卷积神经网络决策函数CNNDF得到的追踪动作及方向来引导搜索窗口移动，逐段构建道路中心线。

6.如权利要求5所述的一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于：所述卷积神经网络决策函数CNNDF包含两部分，特征提取部分以及输出部分，其中，特征提取部分由7组连续堆叠的卷积层及ReLU激活函数组成，每组中卷积核大小为3×3，步长为1；各组之间卷积核大小为3×3，步长为2完成下采样；决策函数的输入包括256×256像素的RGB影像、当前搜索到的中心线结果、道路中心线标签，输出部分通过Softmax函数和Sigmoid函数分别产生追踪动作和追踪角度。

7.如权利要求1所述的一种同时提取遥感影像道路路面和中心线的深度学习方法，其特征在于：步骤4中的具体实现包括如下子步骤，

步骤4.1，断裂路段检测：对于中心线结果中的每个路段，逐段判断是否与分割结果存在交集，若存在交集且不完全包含于分割结果中，则该路段被视作分割结果中的断裂路段；

步骤4.2，路宽计算：为断裂路段的中心线创建缓冲区，缓冲区和分割结果的交集与路段和分割结果的交集之比作为该路段的路宽，再根据路宽信息对单像素的中心线进行膨胀，得到栅格化的道路中心线数据；

步骤4.3，结果生成：将步骤2得到的路面分割结果和步骤3得到的道路中心线结果进行融合，即取两个结果的并集，结合OTSU算法得到最终的道路路面结果，再通过形态学细化方法从道路路面结果中得到最终的道路中心线结果。

Images