CN113065594B - 一种基于北斗数据与遥感影像融合的路网提取方法及装置 - Google Patents

Abstract

一种基于北斗数据与遥感影像融合的路网提取方法及装置，属于地图影像处理领域，其特征在于包括如下步骤：对北斗轨迹数据进行单一采样点密度估计提取灰度骨架化路网；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配；对初始网路中心线进行拓扑几何优化；进行基于迭代的道路矢量图提取；将前述真值路网采用动态标签；对下一步路网决策真值与路网生长预测值进行计算损失；判断是否到达训练停止条件；通过一边从北斗导航数据中产生高质量路网标注数据，同时基于前者产生的样本数据展开规模化训练，则可直接从遥感影像中生成路网的矢量表示，无需导航数据辅助或后处理在基于卫星遥感影像提取中获得较高的提取精度。

Description

一种基于北斗数据与遥感影像融合的路网提取方法及装置

技术领域

本发明属于地图影像处理领域，尤其涉及一种基于北斗数据与遥感影像融合的路网提取方法及装置。

背景技术

基于遥感影像的路网提取在城市规划、土地规划、军事行动等领域具有重要应用价值。目前路网提取的主流方法是首先从图像中获取道路信息，然后通过细化和骨架线提取获得道路骨架，最后将道路骨架连接成网。其中，遥感影像道路提取的主流方法是通过机器视觉语义分割技术从图像灰度信息生成路网分类概率，其输出结果包含图像中每个像素归属于道路类别的概率。此类基于语义分割的方法一般通过增大特征图感受野、综合挖掘多尺度信息、扩展注意力机制等方法提升道路提取精度，但仍然普遍存在对细小道路和非铺装道路提取精度差、易受植被和建筑物阴影影响等缺陷，所得道路连贯性差，存在大量错检和漏检，通常需要繁杂的后处理才能连接成网，且后续一般还需较多人工编辑以获得质量较为可靠的路网。由于道路分割结果难以保证绝对的高准确性，骨架线生成以及进一步的路网连接后处理需要考虑大量情况，在繁杂、严格的人工规则限制下进行路网生成，这大大限制了路网提取的应用范围，增加了算法升级和维护成本。此外，传统的包括道路分割、骨架线提取、后处理的三步走策略流程冗长，每一步中即使较小的误差都可能导致最终的提取结果与实际路网产生严重偏离。

发明内容

本发明旨在解决上述问题，提供一种可有效提高路网提取精度的基于北斗数据与遥感影像融合的路网提取方法及装置。

第一方面，本发明提供一种基于北斗数据与遥感影像融合的路网提取方法，包括如下步骤：对北斗轨迹数据进行单一采样点密度估计，生成核密度估计；根据核密度估计提取灰度骨架化路网；二进制骨架化路网提取方法在提取路网中心线时，根据阈值生成的是二值图，阈值的选取对骨架化路网结果影响较大，若降低阈值，会产生大量噪声路网，若提高阈值，在轨迹频率较低的地区可能会出现漏提问题，因此，简单的二进制骨架化路网提取方法难以得到理想的路网中心线，因此采用灰度骨架化路网提取方法；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配，生成初始路网中心线；对初始网路中心线进行拓扑几何优化得到完整路网中心线，生成真值路网；

引入卷积神经网络构建训练模型，进行基于迭代的道路矢量图提取；所述卷积神经网络包括编码网络、分割网络、迭代探索网络和解码网络；将遥感影像数据通过编码网络提取图像特征图；将图像特征图输入分割网络，进行道路分割和关键点分割，得到道路分割图和关键点分割图；以图像特征图、道路分割图、关键点分割图及通过前述真值路网获得的当前路网为输入，通过迭代探索网络输出下一步路网探索决策；将下一步路网探索决策输入解码网络进行路网预测，得到与输入的遥感影像相匹配的路网生长预测值；将前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值；

对下一步路网决策真值与路网生长预测值进行计算损失，并根据计算结果更新训练模型参数；判断是否到达训练停止条件；没有达到，则继续迭代计算；达到，则保存模型参数，输出最终的决策路网真值。

进一步，本发明所述基于北斗数据与遥感影像融合的路网提取方法，所述生成核密度估计具体包括：从北斗估计数据中选取搜索区域，将搜索区域离散为米方格单元，然后计算轨迹经过每个方格单元的次数，生成一二维直方图；将二维直方图与正态分布函数进行卷积，用卷积结果表示定位误差，得到近似的核密度估计。

进一步，本发明所述基于北斗数据与遥感影像融合的路网提取方法，所述根据核密度估计提取灰度骨架化路网具体为重复执行二进制骨架化操作，每整数密度级别执行一次，从最大密度开始。

进一步，本发明所述基于北斗数据与遥感影像融合的路网提取方法，所述将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配包括：首先将北斗轨迹数据中的轨迹图与灰色骨架化路网结果图进行匹配；然后设置边缘和节点数量的上限，通过移动、修剪节点和边来实现匹配。

进一步，本发明所述基于北斗数据与遥感影像融合的路网提取方法，所述基于迭代的道路矢量图提取过程包括：所述道路矢量图为一个道路图作为道路地图的矢量化表示，它包含一个顶点集合和一个边集合，一条边是两个顶点之间的直线，表示两顶点之间的道路；迭代探索开始时道路图为空，并初始化一个包含若干起始点的待探索点集；起始点可由人工选定，可从真值路网生成，也可取道路分割概率峰值点，或通过道路路口点提取生成；每步迭代从待探索点集中取出当前搜索点，该当前搜索点为上一步迭代放入待探索点集的点，以当前搜索点为中心分别从输入图像和道路图中截取固定大小的块，以此二者为输入预测下一步道路点位置；将下一步道路点位置插入道路图的顶点集合并与当前搜索点连接，获得一条新的边；将下一步道路点位置放入待探索点集，至此完成一次迭代，下次迭代以下一步道路点位置为中心探索路网点；若判断没有点与当前搜索点相连，即下一步道路点位置为空，则没有点进入待探索点集，并将当前搜索点从待探索点集中取出，同时保持道路图不变；当待探索点集为空时迭代结束，道路图即为提取得到的路网。

进一步，本发明所述基于北斗数据与遥感影像融合的路网提取方法，其特征在于，所述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值的过程包括：将真值路网记为G^*，由北斗导航数据经方法精化提取生成，真值道路分割图记为R^*，由人工标注获得；G^*为无向图，通过遍历G^*获得大于2的节点，这些节点为道路关键点，以道路关键点为中心构造高斯分布可得J^*；以当前搜索点v为终点回溯道路图得到路径P，方法预测得到的v的下一个节点记为u；通过地图匹配方法得到路径P在G^*上的对应路径P^*，P^*的终点为v^*，获取v^*在G^*上的下一个节点u^*；u与u^*代表节点位置，由节点位置可生成路网生长点的高斯分布，分别记为A和A^*，基于此可计算损失更新网络参数；

进一步，本发明所述基于北斗数据与遥感影像融合的路网提取方法，其特征在于，所述获取v^*在G^*上的下一个节点u^*时，延G^*搜索v^*窗口内的路网关键点(包括道路交叉点、道路拐点等)，若关键点存在，使与v^*图距离最近的关键点为u^*，若关键点不存在，则使距离v^*最远的普通点为u^*；当迭代搜索范围内不存在可以连接到当前节点的关键点时，方法使用距离当前节点图上距离最远的普通节点作为路网下一步拓展的方向，这种策略使网络倾向于使用尽量少的节点表示路网。

第二方面，本发明提供一种基于北斗数据与遥感影像融合的路网提取装置，包括：路网真值处理模块，用于对北斗轨迹数据进行单一采样点密度估计，生成核密度估计；根据核密度估计提取灰度骨架化路网；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配，生成初始路网中心线；对初始网路中心线进行拓扑几何优化得到完整路网中心线，生成真值路网；

路网迭代探索模块，用于引入卷积神经网络构建训练模型，进行基于迭代的道路矢量图提取；所述卷积神经网络包括编码网络、分割网络、迭代探索网络和解码网络；将遥感影像数据通过编码网络提取图像特征图；将图像特征图输入分割网络，进行道路分割和关键点分割，得到道路分割图和关键点分割图；以图像特征图、道路分割图、关键点分割图及通过前述真值路网获得的当前路网为输入，通过迭代探索网络输出下一步路网探索决策；将下一步路网探索决策输入解码网络进行路网预测，得到与输入的遥感影像相匹配的路网生长预测值；

路网预测输出模块，用于将前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值；对下一步路网决策真值与路网生长预测值进行计算损失，并根据计算结果更新训练模型参数；判断是否到达训练迭代次数；没有达到，则返回训练模型继续迭代计算；达到，则保存训练模型参数，输出最终的决策路网真值。

第三方面，本发明提供一种基于北斗数据与遥感影像融合的路网提取电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如第一方面所述的基于北斗数据与遥感影像融合的路网提取方法。

第四方面，本发明提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的基于北斗数据与遥感影像融合的路网提取方法。

本发明所述基于北斗数据与遥感影像融合的路网提取方法及装置，基于北斗数据构建自动化的路网样本生成，同时基于遥感影像通过迭代处理的路网提取方法，本发明所述路网提取方法及装置从北斗导航数据中产生高质量路网标注数据，同时基于前者产生的样本数据展开规模化训练，则可直接从遥感影像中生成路网的矢量表示，无需导航数据辅助或后处理在基于卫星遥感影像提取中获得较高的提取精度。

附图说明

图1为本发明所述基于北斗数据与遥感影像融合的路网提取方法流程示意图；

图2为本发明实施例所述高斯核密度估计的示意图；

图3为本发明实施例所述北斗轨迹数据的原始轨迹与高斯核密度估计的提取效果对比示意图；

图4为本发明实施例所述二进制提取与灰度提取结果对比示意图；

图5为本发明实施例所述卷积神经网络结构示意图；

图6为本发明实施例所述编码网络残差模块示意图；

图7为本发明实施例所述分割网络结构示意图；

图8为本发明实施例所述基于北斗数据与遥感影像融合的路网提取装置结构示意图。

具体实施方式

下面通过附图及实施例对本发明所述基于北斗数据与遥感影像融合的路网提取方法及装置进行详细说明。

实施例一

本公开实施例所述基于北斗数据与遥感影像融合的路网提取方法，如图1所示，包括如下步骤：对北斗轨迹数据进行单一采样点密度估计，生成核密度估计；根据核密度估计提取灰度骨架化路网；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配，生成初始路网中心线；对初始网路中心线进行拓扑几何优化得到完整路网中心线，生成真值路网。

引入卷积神经网络构建训练模型，进行基于迭代的道路矢量图提取；所述卷积神经网络包括编码网络、分割网络、迭代探索网络和解码网络；将遥感影像数据通过编码网络提取图像特征图；将图像特征图输入分割网络，进行道路分割和关键点分割，得到道路分割图和关键点分割图；以图像特征图、道路分割图、关键点分割图及通过前述真值路网获得的当前路网为输入，通过迭代探索网络输出下一步路网探索决策；将下一步路网探索决策输入解码网络进行路网预测，得到与输入的遥感影像相匹配的路网生长预测值；将前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值。

对下一步路网决策真值与路网生长预测值进行计算损失，并根据计算结果更新训练模型参数；判断是否到达训练停止条件；没有达到，则继续迭代计算；达到，则保存模型参数，输出最终的决策路网真值。

在本公开实施例中，通过核密度估计器(KDE)在北斗轨迹数据上产生兴趣区域(搜索区域)的单一采样点密度估计，具体步骤是：

1)将感兴趣的区域离散为1×1米方格单元，然后计算轨迹经过每个单元格的次数，生成一个二维直方图；

2)将上一步生成的二维直方图与正态分布函数N(0，σ²)进行卷积，用卷积结果表示定位误差，得到近似的核密度估计，有效解决混叠问题和定位误差。

在本公开实施例中，正态分布函数选择高斯核函数，其计算公式为：

σ是带宽，控制径向作用范围，高斯核密度估计的示意如图2所示，直方图表示原始样本点密度分布直方图，连续曲线则表示样本密度直方图的高斯核密度估计结果。在本公开实施例中，北斗轨迹数据的高斯核密度估计的提取效果如图3(b)所示，高噪声地区的密度估计比较模糊；图3(a)为原始GPS轨迹数据效果。

在本公开实施例中根据核密度估计提取灰度骨架化路网，具体执行方式是重复执行二进制骨架化操作，每整数密度级别执行一次，从最大密度开始。在每一层，新的路网被持续添加到路网骨架中。这个过程可以准确地捕捉到高密度路网的中心线。与此同时，它也能够为轨迹频率较低的道路提取出路网中心线。其结果如图4所示，其中图4(a)为原始二进制骨架化提取结果示意结果；图4(b)为灰度骨架化提取结果示意图。

在图4(b)中，颜色越深，代表这条道路中心线的置信度越高，反之，颜色越浅则置信度越低。在二进制骨架化路网提取中，输入图像是核密度估计结果图，输出图像是骨架化的初始路网中心线，在提取路网骨架过程中，需要将面状路网转为线状路网，转换过程中，需要删除不必要的噪点，删除非必要点的具体过程如下表所示：

P9	P2	P3
			P8	P1	P4
P7	P6	P5

表中P1表示输入图像中的某一前景点(路网点)，若P1点同时满足以下4个条件，即P1点被删除，否则保留，具体条件是：

1)2＜＝N(P1)＜＝6，N(x)为x的8邻域中背景点的数目；

2)A(P1)＝1，A(x)指的是将P2-P8之间按顺序相邻两个点分别为0、1的对数；

3)P2*P4*P6＝0；

4)P4*P6*P8＝0。

在本公开实施例中使用维特比匹配方法将原始轨迹中的每个轨迹样本点与初始地图中的一个边关联起来，并通过每个边的平均密度进行加权，以生成连续的、符合逻辑分布的路网图，具体步骤为：

1)首先通过将原始轨迹图与前述生成的灰色骨架结果图进行匹配；

2)然后设置边缘和节点数量的上限，通过移动、修剪节点和边来实现匹配。

这样不会增加新的拓扑，能有效避免基于轨迹的技术产生假边的倾向。其次，通过将每个点分配到一条边的方式，能降低计算的复杂性、提升方法并行运行效率。需要注意的是边转移之前一定要穿过另一条新边；转移概率代表组成灰度骨架化路网的像素平均水平，并且与每条边的权重成正比，因此基于边权重的转移权重匹配器使用经过频率更高的轨迹来匹配，可以有效减少产生虚假路网的数量，提高路网生产的准确性。

路网拓扑优化主要是为了合并冗余节点，并推理出可转移的边。在本公开实施例中通过地图匹配轨迹去除置信度较低的边，路网拓扑优化主要分为四步：

1)删除虚假边，通过边缘剪枝，删除那些遍历次数少于两次的边，满足RMSD(τ，e)＜RMSD_max情况的边缘保留。其中，

2)折叠交叉点，在十字路网中，按顺序折叠对边，通过对对边的折叠找到十字交叉点，然后用交新的十字交叉点将其他边连接起来。完成十字路口路网优化，优化结果如图4所示；

3)再次匹配，与上次匹配不同的是，这次采用实际的遍历次数来计算转移概率，而不是采用边缘密度；

4)检测可转移的边，对于每个轨迹，我们按顺序计算所有不同边的邻接对的列表。然后计算每对出现的次数，若从边缘e到边缘d的count(e：d)＞0，则这条边可以转移，否则不可以转移。

在本公开实施例中，采用拓扑不变几何优化方法对双车道十字路口进行对齐，并提取弯道，通过对道路分段转换，从而将所得到的精确拓扑路线图转换为更精确的道路中心线路网图。优化方法主要用到的思想是Kmeans优化：根据输入图创建初始估计，然后根据匹配结果图确定哪些点被聚类到哪个类，具体步骤为：

1)初始化：采用kmeans来进行初步估算，采用两类均值：交叉点均值和分段均值。交叉点均值可以表示为：对输入图中的所有交叉点和端点，加上一个交叉点均值来得到初始估计，分段均值可以表示为：对输入图中的每个道路段，按照不同方向分别处理。用

表示，其中L表示这段路段的长度，m表示均值之间的最长距离，从而确定每段路段中的起点和终点，其余点均匀分布在路段中。

2)聚类和更新：将每个GPS样本分配给最近的合格均值，合格均值集包括来自与样本匹配路段均值，以及在每个路段的交叉点或端点，这样优化交叉口对齐问题。按照kmeans方法的更新策略，根据邻近均值的位置和新样本点的位置，计算并更新得到新的均值点，重复执行，直至更新完所有均值点，这些新均值点反应了新样本的位置信息。

3)解决双向路段交叉点问题：在kmeans均值更新过程中，会删除掉离均值点较远的点，可能会产生漏斗形状的交叉点，为了产生正确的相交几何结构，我们需要分别估计每个路段的转移。

4)估计转移轨迹：如果采用简单地替换路段间交叉点，从而改善路网中的交叉点，虽然漏斗形状的路网会消失，但是拓扑不会消失，会导致弯曲不齐的十字路口，不符合路网要求，因此继续采用kmeans聚类,但是这次的kmeans是采用转移均值。并且只有在当前样本来自于匹配成功的转移样本点时这个均值才是合格均值。生成的转移轨迹与原始道路合并，产生对向道路和弯道道路，同时解决了道路密度不对称问题，如图5所示。

在本公开实施例中，基于迭代的道路矢量图提取过程针对路网中心线对齐和路口点准确定位进行优化，通过引入道路分割和路口点定位增加全局信息，使用时序模型将路网轨迹加入方法决策过程，可显著提升路网提取的准确性和连贯性。

通过迭代地构建一个道路图(G)作为道路地图的矢量化表示，它包含一个顶点(vertex)集合和一个边(edge)集合，一条边是两个顶点之间的直线，表示两个顶点之间的道路。迭代探索开始时G为空，并初始化一个包含若干起始点的待探索点集S。起始点可由人工选定，可从真值路网生成，也可取道路分割概率峰值点，或通过道路路口点提取生成。每步迭代从S中取出点v，该点为上一步迭代放入S的点，以点v为中心分别从输入图像和G中截取固定大小的块，以此二者为输入预测下一步道路点位置v′；将v′插入G的顶点集合并与v连接，获得一条新的边e；将v′放入S，至此完成一次迭代，下次迭代将以v′为中心探索路网点。若方法判断没有点与v相连，即v′为空，则没有点进入S，并将v从S中取出，同时保持G不变。当S为空时迭代结束，G即为提取得到的路网。

基于迭代图的方法需要解决的首要问题是如何生成标签数据，静态标签将导致方法过拟合于训练数据，丧失在测试数据纠正微小错误的能力，进而给出完全错误的结果。本公开实施例采用动态标签，于每次迭代处动态生成标签数据。

真值路网数据(G^*)由北斗导航数据经方法精化提取生成，真值道路分割图(R^*)由人工标注获得。G^*为无向图，通过遍历G^*，可以获得度大于2的节点，这些节点为道路关键点，以关键点为中心构造高斯分布可得J^*。以当前搜索点v为终点回溯G得到路径P，方法预测得到的v的下一个节点记为u，通过地图匹配方法得到P在G^*上的对应路径P^*，P^*的终点为v^*,获取v^*在G^*上的下一个节点u^*。u与u^*代表节点位置，由节点位置可生成路网生长点的高斯分布，分别记为A和A^*，基于此可计算损失更新网络参数。从v^*寻找u^*时，方法延G^*搜索v^*窗口内的路网关键点(包括道路交叉点、道路拐点等)，若关键点存在，使与v^*图距离最近的关键点为u^*，若关键点不存在，则使距离v^*最远的普通点为u^*。

使用卷积神经网络在每次迭代时输出路网点决策，可能的路网点位置通过高斯分布表示，由此将迭代图中基于点的探索任务转换为了像素任务，神经网络可以精确预测下一个图节点的准确位置。预测阶段，神经网络的决策输出为下一个路网点位置的概率分布，取其峰值即可得到点的坐标。

路网数据中包含一些关键点，包括道路交叉口、路段终点和连接点等，为保证方法提取得到的路网数据的准确性，这些关键点区别于普通路网节点予以保留。在本公开实施例中，本方法在构造标签数据时对道路关键点和普通点进行了区分，如果迭代搜索范围内存在可直接或间接连接到当前节点的关键点，且该关键点为距离当前节点图上距离最近的关键点，则使用该关键点生成监督信号。采用这种方式可指导神经网络优先选择关键点作为下一步路网拓展的方向，这符合人工标注路网的习惯，同时能够保证不同路段在路口交汇点处汇聚到一个关键点而非交错生成多个路口点。

在迭代探索的框架下，每一步都可能带来微小误差。在本公开实施例中，通过多步预测产生路网轨迹来纠正每步产生的误差。具体做法是将通过将下采样的下一步移动预测返回到下一步移动检测器最多T次来实现这一点。给定一幅卫星图像作为输入，方法只提取一次图像特征。通过使用递归机制，神经网络将获得对未来轨迹的更长的视野，并减少总误差。

本公开实施例使用分割信息辅助更新网络参数，提升路网点位置预测的准确性。具体而言，使用了道路分割和关键点分割。其中道路分割即预测各像素属于道路类别的概率，其标签数据来自人工标注，通过计算交叉熵损失更新网络参数。道路分割通过一个编解码结构实现，其中编码部分提取图像特征，解码部分预测像素类别概率。关键点分割与道路分割共享编码网络，使用独立的解码网络生成关键点位置分布的概率。后续迭代探索部分与分割网络共享图像编码器，即使用同一个特征图，通过引入分割作为辅助监督信息，能够指导道路探索集中于中心线和关键点。

本公开实施例中使用卷积神经网络预测路网点位置，其整体结构如图5，可分为编码网络、分割网络、迭代探索网络和解码网络。

编码网络的作用是提取图像特征，在本公开实例中通过16个包含残差模块的卷积层构建，这16个卷积层按照图像下采样关系可分为4个阶段，每个阶段是上一阶段图像尺寸的0.5倍,骨干网络最后一层的输出特征图尺寸为输入图像尺寸的1/16。方法保存每个阶段的输出特征图并通过上采样和通道维拼接融合各阶段特征图F，F的尺寸为输入图像的1/4。

道路和关键点分割分别通过4层卷积网络实现，构成两个独立的简单的分割解码网络。其输入是编码网络生成的特征图F，输出尺寸与F保持一致。道路分割的结果记为

关键点分割的结果记为

在本公开实施例中迭代探索网络的主体是一个由Hourglass模块构成的卷积网络，其作用是生成下一个路网点的位置分布。在不引入时序信息时，迭代探索网络的输入为F、

W，其中W是当前窗口下已生成路网的栅格化表示，W可由真值路网G^*得到。迭代探索网络输出

表示其预测的下一个节点的可能位置在空间上的分布，

的尺寸与F相同。

最后是一个解码网络，该部分将迭代探索网络预测得到的小尺寸路网位置预测图

恢复到输入图像尺寸，其输出记为

即网络的最终输出。相比于直接上采样

解码器网络能够纠正因下采样导致的位置偏差，获得更精准的位置预测。

记迭代探索网络为

在考虑时序信息时，方法将递归计算未来T次路网节点分布，即

其中D是下采样函数，它将

缩放到与F同一尺寸下。若路网轨迹在第k(k<T)次递归遇到了关键点，则k+1次之后的计算不参与网络参数更新。

在本公开实施总，分割和迭代探索网络均通过交叉熵计算损失更新网络参数，各部分损失按照一定权重相加即为网络总损失。

其中U是上采样函数，R、J是真值道路分割和真值关键点分割，λ₁、λ₂是损失权重。

实施例二

在本公开实施例中，本发明中北斗轨迹数据用于生成真值路网，其具体实施方式如下：

S11、北斗轨迹数据密度估计；北斗轨迹数据密度估计的输入为原始北斗轨迹路线图，输出为密度估计路网图；主要步骤是：1)输入整幅北斗轨迹路网图像；2)将输入图像分割为1×1米小网格图；3)统计每个小网格图像中轨迹经过的频次，并创建网格轨迹经过频率直方图；4)用高斯核与直方图卷积，将离散轨迹频率直方图转换为连续密度估计路网图，高斯核参数σ＝8.5。

S12、灰度骨架化路网提取；灰度骨架化提取是在经典二进制骨架化路网中心线提取方法基础上进行的，具体步骤为：1)按照密度估计顺序，从最大密度开始，每整数密度级别运行一次二进制骨架化路网中心线提取；2)重复执行多次，直至最低整数密度执行完毕，得到深浅不一的灰度骨架化路网中心线。

S13、维特比匹配；维特比匹配的输入是原始北斗轨迹图和灰度骨架化路网图，输出为二值骨架化路网中心线；具体步骤是：1)初始化灰度骨架化路网图的概率分布；2)求解北斗轨迹数据的观测概率；3)根据上一样本点的观测状态和转移概率计算每个北斗轨迹样本点的观测状态，即与灰度骨架化路网匹配成功的路段；4)根据每个北斗轨迹样本点的观测状态进行回溯，寻找概率最大的隐藏状态序列，即概率最大的匹配成功的二值化路网中心线；5)删除匹配置信度较低的路段，完成匹配结果优化。

S14、拓扑几何优化；对提取的初始路网中心线进行拓扑几何优化，具体的优化步骤为：1)设定阈值将初始路网中心线的虚假边删除，本实施例中阈值设定为轨迹遍历次数少于2次；2)对单方向路口交叉进行交点校正；3)基于轨迹遍历次数，再次执行维特比匹配；4)根据阈值检测可以移动转移的边，本发明中，该阈值为count(a:b)，若边a和b的阈值大于0，则边可以移动、转移或合并，否则不可以；5)为了优化双向十字交叉路口的路网拓扑结构，采用kmeans聚类，删除十字路口离均值较远的点；6)估计每个路段的转移轨迹，通过转移、合并来更新十字路口的交叉路网；7)通过转移轨迹估计生疮十字路口弯道路段，完成路网拓扑几何结果优化，得到完整路网中心线，即路网真值。

在本公开实施例中路网提取采用迭代探索策略，并以北斗轨迹数据生成的路网为训练样本，训练完成后则无需再使用真值路网辅助，可直接从影像中提取得到路网。

训练开始时，初始化探索点栈S、路网G，其中S包含若干人工指定或算法自动定位的路网点，G为空；训练中每个迭代包含如下步骤：

S21、编码网络；通过卷积网络提取图像特征，为后续分割和迭代探索网络提供输入，具体步骤包括：1)从探索点栈中取出栈顶点v，以v为中心截取256x256大小的图像，记为X；2)将图像X依次通过四组残差模块，保留每组的输出特征图，每个残差模块具有相同的结构，由若干卷积层、批归一化层和激活层构成，如图6。所有卷积核大小为3，除最后一个卷积层外步长为1，填充为1，最后一个卷积层的步长为2。模块内部特征图保持同一长宽，通过最后一个卷积层实现下采样；保存各残差模块的输出特征图，记为C₁、C₂、C₃、C₄，分别对应输入影像长宽的

将C₁、C₃、C₄通过双线性插值统一到C₂的尺寸，并在通道维拼接得到融合特征图F。

S22、分割网络；以图像特征图为输入，分别通过一个简单的卷积网络进行道路分割和关键点分割，具体步骤包括：1)将融合特征图F分别输入道路分割网络，得到输入图像

大小的道路分割图和关键点分割图，网络结构如图7所示；2)读取真值道路分割图和关键点分割图，计算损失函数。

S23、迭代探索网络；以图像、分割结果、当前路网为输入，生成下一步路网探索决策；包括如下步骤：1)以v为中心截取算法已生成的路网并进行栅格化，得到W；2)基于真值路网G^*、当前算法生成的路网G、当前探索路网点v，通过动态标签生成方法得到下一步路网决策真值A₁；3)生成一个空的路网决策

与输入图像相同长宽，由于此时算法还没有进行路网生长预测，因此

中的所有位置的值为0；4)下采样W和

使之与

达到同一长宽，即输入影像的四分之一，在通道维拼接图像X、道路分割

关键点分割

下采样路网W、下采样路网生长决策

5)将拼接结果输入Hourglass卷积网络，输出

将

上采样到输入图像大小并与真值A₁计算损失；6)将

输入解码网络，得到与输入影像同尺寸的路网生长预测

计算

与A₁的损失；7)将

转换为路网点

并放入探索点栈S；8)重复步骤①到步骤⑦四次，每次迭代中路网决策、当前探索节点采用上一次迭代的输出，即

S24、动态标签生成；在训练过程中通过地图匹配算法动态生成路网真值，具体步骤为：1)在G上从当前探索节点v开始回溯六步得到路径p；2)通过前述地图匹配算法在路网真值G^*上找到与p对应的路径p^*；3)获取p^*的最后一个点v^*，该点对应p上的最后一点v，计算v^*在G^*上的下一个点u^*；根据v^*与u^*的关系，可得到路网决策真值A^*。路网提取训练完成后，可直接从遥感影像中生成路网的矢量表示，无需导航数据辅助或后处理。

实施例三

在本公开另一实施例所述基于北斗数据与遥感影像融合的路网提取装置如图8所示，包括路网真值处理模块，用于对北斗轨迹数据进行单一采样点密度估计，生成核密度估计；根据核密度估计提取灰度骨架化路网；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配，生成初始路网中心线；对初始网路中心线进行拓扑几何优化得到完整路网中心线，生成真值路网；

路网迭代探索模块，用于引入卷积神经网络构建训练模型，进行基于迭代的道路矢量图提取；所述卷积神经网络包括编码网络、分割网络、迭代探索网络和解码网络；将遥感影像数据通过编码网络提取图像特征图；将图像特征图输入分割网络，进行道路分割和关键点分割，得到道路分割图和关键点分割图；以图像特征图、道路分割图、关键点分割图及通过前述真值路网获得的当前路网为输入，通过迭代探索网络输出下一步路网探索决策；将下一步路网探索决策输入解码网络进行路网预测，得到与输入的遥感影像相匹配的路网生长预测值；

路网预测输出模块，用于将前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值；对下一步路网决策真值与路网生长预测值进行计算损失，并根据计算结果更新训练模型参数；判断是否到达训练迭代次数；没有达到，则返回训练模型继续迭代计算；达到，则保存训练模型参数，输出最终的决策路网真值。

实施例四

本公开另一具体实施例所述基于北斗数据与遥感影像融合的路网提取电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，使得计算机执行上述实施例一或实施例二所述的基于北斗数据与遥感影像融合的路网提取方法，具体提取步骤与前述实施例一或实施例二相同，不再赘述。

实施例五

本公开另一具体实施例所述计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使计算机执行上述实施例一或实施例二所述的基于北斗数据与遥感影像融合的路网提取方法，具体提取步骤与前述实施例一或实施例二相同，不再赘述。

所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(DVD))或者半导体介质(例如，固态硬盘(SSD))等。计算机存储代码所形成软件可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。

在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于北斗数据与遥感影像融合的路网提取方法，其特征在于包括如下步骤：

对北斗轨迹数据进行单一采样点密度估计，生成核密度估计；根据核密度估计提取灰度骨架化路网；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配，生成初始路网中心线；对初始网路中心线进行拓扑几何优化得到完整路网中心线，生成真值路网；

引入卷积神经网络构建训练模型，进行基于迭代的道路矢量图提取；

所述卷积神经网络包括编码网络、分割网络、迭代探索网络和解码网络；将遥感影像数据通过编码网络提取图像特征图；将图像特征图输入分割网络，进行道路分割和关键点分割，得到道路分割图和关键点分割图；以图像特征图、道路分割图、关键点分割图及通过前述真值路网获得的当前路网为输入，通过迭代探索网络输出下一步路网探索决策；

将下一步路网探索决策输入解码网络进行路网预测，得到与输入的遥感影像相匹配的路网生长预测值；将前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值；对下一步路网决策真值与路网生长预测值进行计算损失，并根据计算结果更新训练模型参数；

判断是否到达训练停止条件；没有达到，则继续迭代计算；达到，则保存模型参数；

前述基于迭代的道路矢量图提取过程包括：所述道路矢量图为一个道路图作为道路地图的矢量化表示，它包含一个顶点集合和一个边集合，一条边是两个顶点之间的直线，表示两顶点之间的道路；迭代探索开始时道路图为空，并初始化一个包含若干起始点的待探索点集；每步迭代从待探索点集中取出当前搜索点，通过预测下一步道路点位置，获得一条新的边；将下一步道路点位置放入待探索点集，至此完成一次迭代，下次迭代以下一步道路点位置为中心探索路网点；若判断没有点与当前搜索点相连，则没有点进入待探索点集，并将当前搜索点从待探索点集中取出，同时保持道路图不变；当待探索点集为空时迭代结束，道路图即为提取得到的路网；

前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值的过程包括：将真值路网记为G^*，真值道路分割图记为R^*；G^*为无向图，通过遍历G^*获得大于2的道路关键点，以道路关键点为中心构造高斯分布；以当前搜索点v为终点回溯道路图得到路径P，方法预测得到的v的下一个节点记为u；通过地图匹配方法得到路径P在G^*上的对应路径P^*，P^*的终点为v^*，获取v^*在G^*上的下一个节点u^*。

2.根据权利要求1所述基于北斗数据与遥感影像融合的路网提取方法，其特征在于：所述生成核密度估计具体包括：从北斗估计数据中选取搜索区域，将搜索区域离散为米方格单元，然后计算轨迹经过每个方格单元的次数，生成一二维直方图；将二维直方图与正态分布函数进行卷积，用卷积结果表示定位误差，得到近似的核密度估计。

3.根据权利要求2所述基于北斗数据与遥感影像融合的路网提取方法，其特征在于：所述根据核密度估计提取灰度骨架化路网具体为重复执行二进制骨架化操作，每整数密度级别执行一次，从最大密度开始。

4.根据权利要求3所述基于北斗数据与遥感影像融合的路网提取方法，其特征在于，所述将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配包括：首先将北斗轨迹数据中的轨迹图与灰色骨架化路网结果图进行匹配；然后设置边缘和节点数量的上限，通过移动、修剪节点和边来实现匹配。

5.根据权利要求4所述基于北斗数据与遥感影像融合的路网提取方法，其特征在于，所述获取v^*在G^*上的下一个节点u^*时，延G^*搜索v^*窗口内的路网关键点；若关键点存在，使与v^*图距离最近的关键点为u^*，若关键点不存在，则使距离v^*最远的普通点为u^*。

6.一种基于北斗数据与遥感影像融合的路网提取装置，其特征在于包括：

路网真值处理模块，用于对北斗轨迹数据进行单一采样点密度估计，生成核密度估计；根据核密度估计提取灰度骨架化路网；将北斗轨迹数据中的原始轨迹图与灰度骨架化路网的结果图进行匹配，生成初始路网中心线；对初始网路中心线进行拓扑几何优化得到完整路网中心线，生成真值路网；

路网迭代探索模块，用于引入卷积神经网络构建训练模型，进行基于迭代的道路矢量图提取；所述卷积神经网络包括编码网络、分割网络、迭代探索网络和解码网络；将遥感影像数据通过编码网络提取图像特征图；将图像特征图输入分割网络，进行道路分割和关键点分割，得到道路分割图和关键点分割图；以图像特征图、道路分割图、关键点分割图及通过前述真值路网获得的当前路网为输入，通过迭代探索网络输出下一步路网探索决策；将下一步路网探索决策输入解码网络进行路网预测，得到与输入的遥感影像相匹配的路网生长预测值；前述基于迭代的道路矢量图提取过程包括：所述道路矢量图为一个道路图作为道路地图的矢量化表示，它包含一个顶点集合和一个边集合，一条边是两个顶点之间的直线，表示两顶点之间的道路；迭代探索开始时道路图为空，并初始化一个包含若干起始点的待探索点集；每步迭代从待探索点集中取出当前搜索点，通过预测下一步道路点位置，获得一条新的边；将下一步道路点位置放入待探索点集，至此完成一次迭代，下次迭代以下一步道路点位置为中心探索路网点；若判断没有点与当前搜索点相连，则没有点进入待探索点集，并将当前搜索点从待探索点集中取出，同时保持道路图不变；当待探索点集为空时迭代结束，道路图即为提取得到的路网；

路网预测输出模块，用于将前述真值路网采用动态标签，于训练模型的每次迭代处动态生成下一步路网决策真值，具体包括：将真值路网记为G^*，真值道路分割图记为R^*；G^*为无向图，通过遍历G^*获得大于2的道路关键点，以道路关键点为中心构造高斯分布；以当前搜索点v为终点回溯道路图得到路径P，方法预测得到的v的下一个节点记为u；通过地图匹配方法得到路径P在G^*上的对应路径P^*，P^*的终点为v^*，获取v^*在G^*上的下一个节点u^*；

对下一步路网决策真值与路网生长预测值进行计算损失，并根据计算结果更新训练模型参数；判断是否到达训练迭代次数；没有达到，则返回训练模型继续迭代计算；达到，则保存训练模型参数，输出最终的决策路网真值。

7.一种基于北斗数据与遥感影像融合的路网提取电子装置，其特征在于：包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-5任一项所述的基于北斗数据与遥感影像融合的路网提取方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5任一项所述的基于北斗数据与遥感影像融合的路网提取方法。

Images