CN116994145B - 车道线变化点的识别方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本公开提供了一种车道线变化点的识别方法、装置、存储介质及计算机设备，该方法可以应用于地图领域或智慧交通领域。方法包括获取目标道路的卫星图像；对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点；根据虚实分类结果确定目标道路的车道线的多个第二虚实变化点；基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，确定每一第二虚实变化点的置信度；根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。该方法可以提升车道线虚实变化点识别的准确性。

Description

车道线变化点的识别方法、装置、存储介质及计算机设备

技术领域

本公开涉及计算机技术领域，特别是涉及一种车道线变化点的识别方法、装置、存储介质及计算机设备。

背景技术

随着自动驾驶技术以及人工智能技术的不断发展，汽车也正在变得越来越智能化。汽车的智能化是未来汽车发展的一个重要趋势，它将为人们的生活带来更多的便捷和舒适。而智慧交通的实现，不仅需要有智能化的汽车，还需要具有准确和完善的地图数据，尤其是需要能够准确还原道路车道线的地图数据。

相关技术中，对道路车道线进行识别的方法，无法准确识别车道线变化点，进而导致无法对道路车道线进行准确的还原。

发明内容

本公开实施例提供了一种车道线变化点的识别方法、装置、存储介质及计算机设备，该方法可以提升车道线变化点识别的准确性。

根据本公开的一方面，提供了一种车道线变化点的识别方法，包括：

获取目标道路的卫星图像；

对所述卫星图像进行车道线识别，得到所述目标道路的车道线的虚实分类结果以及所述目标道路的车道线的多个第一虚实变化点；

根据所述虚实分类结果确定所述目标道路的车道线的多个第二虚实变化点；

基于所述第一虚实变化点与所述第二虚实变化点在所述卫星图像中的位置关系，确定每一第二虚实变化点的置信度；

根据所述置信度在所述多个第二虚实变化点中确定所述目标道路的目标车道线虚实变化点。

根据本公开的一方面，提供了一种车道线变化点的识别装置，包括：

获取单元，用于获取目标道路的卫星图像；

识别单元，用于对所述卫星图像进行车道线识别，得到所述目标道路的车道线的虚实分类结果以及所述目标道路的车道线的多个第一虚实变化点；

第一确定单元，用于根据所述虚实分类结果确定所述目标道路的车道线的多个第二虚实变化点；

第二确定单元，用于基于所述第一虚实变化点与所述第二虚实变化点在所述卫星图像中的位置关系，确定每一第二虚实变化点的置信度；

第三确定单元，用于根据所述置信度在所述多个第二虚实变化点中确定所述目标道路的目标车道线虚实变化点。

可选地，在一些实施例中，所述第一确定单元，包括：

第一生成子单元，用于根据所述虚实分类结果生成第一车道线矢量化点串；

第一确定子单元，用于基于所述第一车道线矢量化点串确定所述目标道路的车道线的多个第二虚实变化点。

可选地，在一些实施例中，所述第一确定子单元，包括：

划分模块，用于根据所述第一车道线矢量化点串将所述目标道路的车道线划分为多段虚线和多段实线的组合；

第一确定模块，用于根据所述多段虚线和多段实线的组合中相邻的虚线与实线的连接点确定多个第二虚实变化点。

可选地，在一些实施例中，第二确定单元，包括：

第一获取子单元，用于获取所述第一虚实变化点在所述卫星图像中的第一坐标，以及获取所述第二虚实变化点在所述卫星图像中的第二坐标；

第一计算子单元，用于基于所述第一坐标与所述第二坐标，计算每一第二虚实变化点与多个第一虚实变化点之间距离的最小值；

第二确定子单元，用于根据每一第二虚实变化点对应的最小值确定每一第二虚实变化点的置信度。

可选地，在一些实施例中，第二确定子单元，包括：

获取模块，用于获取预设的距离阈值；

第二确定模块，用于当目标第二虚实变化点对应的最小值大于所述距离阈值时，确定所述目标第二虚实变化点的置信度为第一置信度；

第三确定模块，用于当目标第二虚实变化点对应的最小值小于或等于所述距离阈值时，确定所述目标第二虚实变化点的置信度为第二置信度。

可选地，在一些实施例中，预设神经网络模型的训练装置，包括：

第二获取子单元，用于获取训练样本数据，所述训练样本数据包括样本卫星图像以及样本卫星图像对应的标签数据，所述标签数据包括车道线虚实分类标签以及车道线虚实变化点标签；

训练子单元，用于基于所述样本卫星图像、所述车道线虚实分类标签以及所述车道线虚实变化点标签对所述预设神经网络模型进行训练。

可选地，在一些实施例中，所述预设神经网络模型包括图像特征提取层、车道线虚实分类层以及车道线虚实变化点检测层，所述训练子单元，包括：

提取模块，用于基于所述图像特征提取层对所述样本卫星图像进行图像特征提取，得到样本特征图；

输出模块，用于基于所述车道线虚实分类层对所述样本特征图进行车道线虚实分类，得到样本车道线虚实分类结果，以及基于所述车道线虚实变化点检测层对所述样本特征图进行车道线虚实变化点检测，得到样本车道线虚实变化点；

调整模块，用于根据所述样本车道线虚实分类结果与所述车道线虚实分类标签之间的差异，以及所述样本车道线虚实变化点与所述车道线虚实变化点标签之间的差异对所述预设神经网络模型的参数进行调整。

可选地，在一些实施例中，所述调整模块，包括：

第一计算子模块，用于计算所述样本车道线虚实分类结果与所述车道线虚实分类标签的交叉熵，得到第一损失，以及计算样本车道线虚实变化点与所述车道线虚实变化点标签的交叉熵，得到第二损失；

第二计算子模块，用于计算所述第一损失与所述第二损失的和，得到目标损失；

调整子模块，用于基于所述目标损失对所述预设神经网络模型的参数进行调整。

可选地，在一些实施例中，所述预设神经网络模型还包括车道线语义分割层，所述标签数据还包括车道线语义分割标签，本公开提供的车道线变化点的识别装置，还包括：

语义分割子单元，用于基于所述车道线语义分割层对所述样本特征图进行车道线语义分割，得到样本车道线语义分割结果；

第二计算子单元，用于计算所述车道线语义分割结果与所述车道线语义分割标签的交叉熵，得到第三损失；

所述第二计算子模块，还用于：

计算所述第一损失、所述第二损失以及所述第三损失的和，得到目标损失。

可选地，在一些实施例中，基于所述预设神经网络模型对所述卫星图像进行车道线识别的识别结果中还包括初始车道线语义分割结果，本公开提供的车道线变化点的识别装置，还包括：

融合子单元，用于对所述初始车道线语义分割结果与所述虚实分类结果进行语义融合，得到融合语义结果；

第四确定子单元，用于根据所述融合语义结果确定所述目标道路的目标车道线语义分割结果。

可选地，本公开提供的车道线变化点的识别装置，还包括：

提取子单元，用于基于所述初始车道线语义分割结果进行车道线骨架提取，得到初始车道线骨架；

截断子单元，用于在所述初始车道线骨架中的目标点位对所述车道线骨架进行截断，得到目标车道线骨架，所述目标点位与至少三条骨架边连接；

生成子单元，用于基于所述初始车道线语义分割结果生成第二车道线矢量化点串，并基于所述目标车道线骨架对所述第二车道线矢量化点串中的点进行连通处理，得到所述目标道路的目标车道线实例分割结果。

可选地，在一些实施例中，本公开提供的车道线变化点的识别装置，还包括：

第三获取子单元，用于获取所述目标道路的历史车道线实例分割结果；

第三计算子单元，用于计算所述历史车道线实例分割结果与所述目标车道线实例分割结果的相似度；

第一更新子单元，用于当所述相似度小于预设相似度阈值时，根据所述目标车道线实例分割结果对所述目标道路对应的电子地图进行更新。

可选地，在一些实施例中，本公开提供的车道线变化点的识别装置，还包括：

第四获取子单元，用于当所述相似度小于预设相似度阈值时，获取所述目标道路的高精图像；

第二生成子单元，用于根据所述高精图像生成所述目标道路的高精车道线实例分割结果；

第二更新子单元，用于根据所述高精车道线实例分割结果对所述目标道路对应的电子地图进行更新。

根据本公开的一方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的车道线变化点的识别方法。

根据本公开的一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的车道线变化点的识别方法。

根据本公开的一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器读取并执行，使得该计算机设备执行如上所述的车道线变化点的识别方法。

本公开实施例中获取目标道路的卫星图像；对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点；根据虚实分类结果确定目标道路的车道线的多个第二虚实变化点；基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，确定每一第二虚实变化点的置信度；根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

如此，本公开可以通过预设神经网络模型的两个分支对目标道路的卫星图像进行车道线识别，以得到目标道路的车道线的虚实分类结果以及车道线的多个第一虚实变化点。然后根据两个分支识别出的结果进行车道线虚实变化点的交叉验证，避免了单个分支进行预测时存在的误识别问题，从而提升了对车道线变化点识别的准确性。

本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。

图1是根据本公开的实施例的车道线变化点的识别方法应用的系统构架图；

图2是根据本公开的实施例的车道线变化点的识别方法应用在地图更新场景下的示意图；

图3是根据本公开的实施例的车道线变化点的识别方法应用在导航场景下的示意图；

图4是根据本公开的一个实施例的车道线变化点的识别方法的流程示意图；

图5是本公开提供的预设神经网络模型的结构示意图。

图6是本公开提供的预设神经网络模型的另一结构示意图；

图7是本公开提供的车道线变化点的识别方法的另一流程示意图；

图8是本公开提供的多任务模型的一个结构；

图9是解码网络层的内部结构示意图；

图10a是本公开多任务模型中车道线语义分割任务分支输出的车道线语义分割结果的示意图;

图10b是本公开多任务模型中车道线虚实属性分类任务分支输出的车道线虚实属性分类结果示意图；

图10c是本公开多任务模型中车道线虚实变化点检测任务分支输出的车道线虚实变化点检测结果示意图；

图11是根据本公开提供的车道线变化点的识别方法识别得到的车道线虚实变化点的示意图；

图12是根据本公开的方案识别出的车道线与车道线虚实变化点叠加的示意图；

图13是本公开实施例的车道线变化点的识别装置的结构示意图；

图14是实施根据本公开的一个实施例的各方法的终端结构图；

图15是实施根据本公开的一个实施例的各方法的服务器结构图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。

对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释：

地图鲜度：地图数据的新鲜程度，取决于地图数据的更新频率。

端到端（end-to-end）模型：由原始数据输入，到结果输出，从输入端到输出端，中间的神经网络自成一体，这就是端到端模型。其中，从输入端输入数据然后到输出端输出预测结果，将预测结果和真实结果进行比较得到误差，将误差反向传播到模型的各个网络层中，以调整网络层的权重和参数直到模型收敛或达到预期的效果，中间所有的操作都包含在模型内部，不再分成多个模块处理。

POI：即兴趣点（point of interest），在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个邮筒或者一个公交站等。

高精地图（High Definition map，HD map）：是一种可用于自动驾驶的高精度地图，包含道路形状、道路标记、交通标志和障碍物等地图元素。高精地图的地图精度可以达到厘米级别。

虚实变化点：即车道线的虚实变化的位置，包括车道线由实线变为虚线的位置和车道线由虚线变为实线的位置。

车道线几何：即车道线的几何形状，一般为二维形状或三维形状。

矢量化：把栅格数据转换成矢量数据的处理过程，当纸质地图经过计算机图形、图像系统光-电转换量化为点阵数字图像，经图像处理和曲线矢量化等过程，生成可以为地理信息系统显示、修改、标注、漫游、计算、管理和打印的矢量地图数据文件，这种与纸质地图相对应的计算机数据文件称为矢量化电子地图。

地图可以理解为“地理信息”与“对象对信息理解”之间的媒介。地图借用了对象特有的可识别空间格局的感知能力，提供地理对象和地点的可视化信息。地图业务在很大程度上依赖地图数据的准确性，数据是地图的灵魂。在日常生活中，手机地图导航与路线查询是对象最常使用的功能，对象对地图数据的要求也越来越严格，例如需要高精地图、车道级地图，需要地图能够预测路线时长、反应车流量信息以及对地图提出了高鲜度的要求等。这些需求，都离不开高质量的地图数据。其中，地图数据可以按照点线面的维度进行区分，点要素可以包括各类标牌，例如危险标牌、矩形牌以及限速点等；面要素包括山区、行政区、住宅区以及POI相关区域等。线要素主要包括各类车道线数据。对于点要素和面要素，可以通过标准精度（Standard Definition，SD）地图的自动化产线来进行数据的更新，目前已经基本满足了实际应用时对鲜度的需求。而对于线要素，目前仅有道路网的路线轨迹信息。在导航时，一般会获取使用导航的对象的定位信息，由于定位精度比较差，一般可能相差几米或者十几米，那么可以使用路网吸附的方法来将导航的对象吸附到路网中进行导航与播报。该方法欠缺车道线等细节识别能力，不能满足辅助驾驶的需求。若要能实现良好的辅助驾驶，或要实现更好体验的导航指引，则需要更为准确的多车道数据，例如车道线在车道中的准确位置、准确的车道数变化处、准确的隔离位置以及准确的车道线虚实变化位置。目前对道路车道线进行检测的方案中，大多关注如何准确识别出道路中的车道线的位置，而对车道中车道线的虚实属性变化点的位置进行识别的准确性较低。这使得在辅助驾驶或者导航的过程中无法准确进行变道的提醒和控制，进而降低了对象的使用体验。对此，本公开提供了一种车道线变化点的识别方法，以期能够在一定程度上提升对车道线变化点识别的准确性。

图1是根据本公开的实施例的车道线变化点的识别方法所应用的系统构架图。它包括终端140、互联网130、网关120、服务器110等。

终端140括桌面电脑、膝上型电脑、PDA（个人数字助理）、手机、车载终端、家庭影院终端、专用终端等多种形式。另外，它可以是单台设备，也可以是多台设备组成的集合。终端140可以以有线或无线的方式与互联网130进行通信，交换数据。

服务器110是指能对终端140提供某些服务的计算机系统。相对于普通终端140来说，服务器110在稳定性、安全性、性能等方面都要求更高。服务器110可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分（例如虚拟机）、多台高性能计算机中划出的一部分（例如虚拟机）的组合等。

网关120又称网间连接器、协议转换器。网关在传输层上实现网络互连，是一种充当转换作用的计算机系统或设备。在使用不同的通信协议、数据格式或语言，甚至体系结构完全不同的两种系统之间，网关是一个翻译器。同时，网关也可以提供过滤和安全功能。终端140向服务器110发送的消息要通过网关120发送到相应的服务器110。服务器110向终端140发送的消息也要通过网关120发送到相应的终端140。

本公开实施例的车道线变化点的识别方法可以完全在终端140实现；可以完全在服务器110实现；也可以一部分在终端140实现，另一部分在服务器110实现。

车道线变化点的识别方法完全在终端140实现的情况下，预设神经网络模型可以部署在终端140中。具体地，终端140可以获取目标道路的卫星图像，然后基于终端140中部署的预设神经网络模型对获取到的卫星图像进行车道线识别。具体地，预设神经网络模型中可以包括两个任务分支，其中一个任务分支识别车道线的虚实分类结果，另一个任务分支识别车道线的虚实变化点。预设神经网络模型输出目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点后，终端140可以进一步根据目标道路的车道线的虚实分类结果确定目标道路的车道线的多个第二虚实变化点，然后基于第一虚实变化点和第二虚实变化点在卫星图像中的位置关系，对每一第二虚实变化点进行校验，得到每一第二虚实变化点的置信度。进一步地，终端140便可以根据每一第二虚实变化点的置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

车道线变化点的识别方法完全在服务器110实现的情况下，预设神经网络模型可以部署在服务器110中。具体地，服务器110可以获取目标道路的卫星图像，然后服务器110基于其上部署的预设神经网络模型对获取到的目标道路的卫星图像进行车道线识别，得到两个任务分支分别输出的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点；然后，服务器110根据目标道路的车道线的虚实分类结果确定目标道路的车道线的多个第二虚实变化点，并基于第一虚实变化点和第二虚实变化点在卫星图像中的位置关系，来确定每一第二虚实变化点的置信度，并进一步根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

车道线变化点的识别方法一部分在终端140实现，另一部分在服务器110中实现的情况下，预设神经网络模型可以部署在服务器110中。具体地，终端140在获取到目标道路的卫星图像后，可以将卫星图像发送给服务器110进行车道线识别，然后服务器110基于其上部署的预设神经网络模型对接收到的目标道路的卫星图像进行车道线识别，得到两个任务分支分别输出的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点；然后，服务器110将预设神经网络模型输出的目标道路的车道线的虚实分类结果和多个第一虚实变化点发送给终端140。然后，终端140根据目标道路的车道线的虚实分类结果确定目标道路的车道线的多个第二虚实变化点，并基于第一虚实变化点和第二虚实变化点在卫星图像中的位置关系，来确定每一第二虚实变化点的置信度，并进一步根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

本公开实施例可以应用在多种场景下，如图2所示的地图更新场景以及图3所示的导航场景等。

（一）地图更新场景；

为了保证地图鲜度，避免地图数据错误影响对象的使用体验，各类电子地图产品的提供商需要以一定的频率对地图数据进行更新。当需要对地图数据进行更新时，可以先获取需要更新的道路对应的卫星图像，然后对获取到的卫星图像进行车道线位置识别，以及采用本公开提供的车道线变化点的识别方法进行车道线变化点的识别，从而得到准确的车道线虚实变换的数据。然后，可以将准确的车道线虚实变换的数据与对应道路的原始的地图数据进行比对，若原始的地图数据与准确的车道线虚实变换的数据存在差异，则可以采用上述识别到的准确的车道线虚实变换的数据对电子地图中该道路的地图数据进行更新。如图2所示，某一道路的原始地图数据中车道线处于第一状态21，这段道路的两条第一车道线211均为虚线；若根据这段道路的最新的卫星图像识别出这段道路的车道线处于第二状态22，即这段道路的两条第二车道线221为虚线和实线交叠的线，则可以根据本公开提供的方法在每条第二车道线221中识别出虚线和实线变换的第一车道线虚实变化点222。第一车道线虚实变化点222可以准确地表示第二车道线221中虚线和实线变换的位置，也就可以准确地还原出地图中的车道线数据。然后，便可以采用基于最新的卫星图像识别得到的准确的车道线数据来对这段道路的原始地图数据进行更新，使得更新后的电子地图中的地图数据更为准确，从而提升对象对电子地图的使用体验。

（二）导航场景；

对象在使用地图应用中的导航功能，或者使用其他专用的导航应用时，一般地图应用或导航应用会获取对象的定位信息以及对象所处道路的地图数据，然后基于对象的定位信息和地图信息来规划导航内容并播报导航语音。当地图应用或导航应用中具有对象所处道路的准确的地图数据时，便可以在该路段进行准确的导航；当地图应用或导航应用中没有对象所处道路的准确的地图数据时，可以获取对象所处道路的卫星图像，然后可以基于所处道路的卫星图像进行车道线识别，以及根据本公开采用的车道线变化点的识别方法来识别所处道路的车道线的虚实变化点。如此便可以准确地生成对象所处道路的地图数据，然后便可以根据该道路的准确的地图数据来进行导航。如图3所示，道路交通装置31在道路中运行时，可以获取这段道路的卫星图像，然后根据这段道路的卫星图像识别出这段道路中的车道线以及第二车道线虚实变化点32。然后，地图应用中的导航功能或者导航应用便可以根据道路交通装置31与第二车道线虚实变化点32之间的距离以及导航目的地等信息生成导航语音，例如“前方两百米虚线变为实线，请提前变换车道”。

根据本公开的一个实施例，提供了一种车道线变化点的识别方法。该方法可以用于如图2的地图更新场景或图3所示导航场景，还可以应用于其他涉及车道线变化点识别的场景。

如图4所示，为本公开提供的车道线变化点的识别方法的一个流程示意图。该方法可以应用于车道线变化点的识别装置，该车道线变化点的识别装置可以集成在计算机设备中，计算机设备可以为终端或服务器。该车道线变化点的识别方法可以包括：

步骤410，获取目标道路的卫星图像。

其中，为了获得准确的多车道数据，实线良好的车道线还原，相关技术中可以通过高精采集车采集点云数据与高清晰度的图片，然后结合高质量的实时动态（Real - timekinematic，RTK）载波相位差分技术测量得到的道路数据来生成高精地图。该方法生成的高精地图中的多车道数据十分准确，其中自然也包含了非常准确的车道线虚实变化点的位置，即高精地图可以实现准确的车道线还原。然而，基于高清晰度图像生成高精地图的方案，也存在着诸多的问题，例如：

1、高昂的图像采集成本；由于采集高清晰度图像以及点云数据的高精采集车需要配备大量高端的图像采集设备，这导致了每台高精采集车都需要较高的采购成本。而且，为了保证高精采集车中设备的良好的运行效果，还需要对高精采集车中配备的图像采集设备进行定期的维护保养，这些都造成了图像采集成本居高不下。

2、较大的后期处理开销；在获取到了道路的高清晰度图像以及点云数据后，需要人工进行后期的处理；后期处理的复杂程度高，需要投入大量的人力，导致后期处理开销较大。

3、覆盖率低；由于高精地图的点云数据和高清晰度图像的采集需要采用价值高昂的高精采集车，而且高精采集车的数据采集能力有限，导致只能在核心城市的核心地段的道路部署高精采集车进行点云数据和高清晰度图像的采集，也就导致了高精地图的覆盖率低。

4、鲜度差；由于前述数据采集和数据后处理的成本问题，导致在很多道路上一年只能进行1~2次的数据采集，这导致了地图数据无法实现较高频率的更新，即导致了高精地图的精度较差。

鉴于上述问题，导致高精地图无法大范围地实现，也就无法实现大范围的道路车道线的准确还原。此外，在一些方面，还可以考虑采用众包地图数据采集的方式来进行大范围的车道线还原，然而众包地图数据采集由于数据采集设备的参数千差万别，例如图像采集设备的内外参差异、定位精确度差异、惯性测量单元信息差异等；此外，不同数据采集设备对采集到的设备进行数据处理的算法的准确性和鲁棒性也存在差异。为得到较为准确的地图数据，则需要避免这些差异带来的影响，而目前这些差异难以避免，导致目前难以普及采用该方案进行大范围的车道线还原。因此，在大范围的车道线还原任务中，较常使用的仍是基于卫星图像进行车道线还原，而目前基于卫星图像进行车道线还原的任务中，可以采用神经网络模型（例如车道线语义分割模型或车道线实例分割模型）来对图像中的车道线进行识别，得到车道线语义或车道线实例，但对于车道线的属性信息的识别仍存在缺陷。其中，车道线的属性信息具体可以为车道线的虚实属性，即某一段车道线为虚线还是实线又或者是部分虚线部分实线。当车道线中部分为虚线部分为实线时，明确车道线中虚线和实线的变化点的位置对于辅助驾驶和精确导航具有十分重要的意义，而目前基于卫星图像进行车道线还原的任务中，对车道线变化点的识别准确性不高，对此，本公开提供了一种能够准确识别车道线变化点的方案，下面对该方案进行详细介绍。

其中，本公开提供的车道线变化点的识别方法，仍是基于道路的卫星图像进行车道线虚实变化点的准确识别。因此，当需要识别目标道路的车道线变化点时，可以先获取目标道路的卫星图像。获取目标道路的卫星图像，可以为从预设存储位置（例如道路卫星图像存储服务器）中获取目标道路的卫星图像，也可以是直接接收卫星采集的目标道路的实时的卫星图像。目标道路可以为指定的道路，例如在地图更新场景中，当需要对某一道路对应的地图数据进行更新时，则可以确定需要更新的道路为目标道路；或者，目标道路也可以根据对象的定位信息进行确定，例如在导航场景中，当需要识别出对象前进方向车道线的虚实变化点时，可以根据对象的定位信息确定对象定位信息附近的道路为目标道路。

步骤420，对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点。

获取到目标道路的卫星图像后，可以对获取到的卫星图像进行车道线识别，本公开实施例中对车道线进行识别可以得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点这两个结果。具体地，可以将该卫星图像输入到预设神经网络模型中进行识别。其中，预设神经网络模型对卫星图像的识别可以为进行车道线识别，具体可以为进行车道线的虚实属性分类以及车道线的虚实变化点的识别。即将目标道路的卫星图像输入到预设神经网络模型中，可以得到预设神经网络模型输出的目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点。

具体地，预设神经网络模型可以为包含两个输出任务分支的双任务模型，其中一个任务分支将卫星图像分类为背景区域、车道线实线区域和车道线虚线区域，即输出目标道路的车道线的虚实分类结果；另一任务分支在卫星图像中进行虚实变化点检测，输出目标道路的车道线的多个第一虚实变化点。

在相关技术中，可以训练单个任务的虚实变化点检测模型，该虚实变化点检测模型为端到端模型。在对该虚实变化点检测模型进行训练时，可以采用包含虚实变化的车道线的样本道路卫星图像作为训练样本数据，然后在样本道路卫星图像中人工标记出虚实变化点的位置，然后采用带有虚实变化点标签的样本道路卫星图像来对该虚实变化点检测模型进行训练。然后可以采用训练后的虚实变化点检测模型来直接检测道路的卫星图像中的车道线虚实变化点。然而，由于该模型的标签数据仅为在卫星图像中的多个点，模型单单基于图像中不同像素点之间的区别较难学习到点标签的准确语义（即车道线的虚实变化的位置），导致单独采用带有虚实变化点标签的样本道路卫星图像来训练得到的虚实变化点检测模型对卫星图像中的虚实变化点的检测不够准确。而本公开采用的预设神经网络模型虽然也是端到端的模型，但该模型的一个输入对应了两个输出分支，分别为车道线虚实属性分类分支和车道线虚实变化点检测分支，这两个分支的任务相关性很高，因为虚实属性分类分支输出了车道线的虚实分类结果，即哪部分车道线为虚线以及哪部分车道线为实线，而同一车道线的虚线和实线变化的位置，就是车道线的虚实变化点。因此，车道线虚实属性分类分支使得车道线虚实变化点的标签具有了明确的语义，而车道线虚实变化点分支也对车道线的虚实分类也提供了监督（避免在非虚实变化位置产生分类的差异）。如此，两个任务相关性很高的分支便可以相互进行监督学习，从而可以提升两个任务分支的准确性，在本公开实施例中主要可以提升车道线虚实变化点识别的准确性。即此处预设神经网络模型检测出的多个第一虚实变化点的位置相对于使用单个任务的虚实变化点检测得到的车道线的虚实变化点的位置更为准确。

在采用预设神经网络模型对目标道路的卫星图像进行车道线识别之前，可以先对预设神经网络模型进行训练。具体地，预设神经网络模型的训练过程，包括如下步骤：

获取训练样本数据，训练样本数据包括样本卫星图像以及样本卫星图像对应的标签数据，标签数据包括车道线虚实分类标签以及车道线虚实变化点标签；

基于样本卫星图像、车道线虚实分类标签以及车道线虚实变化点标签对预设神经网络模型进行训练。

首先，在对预设神经网络模型进行训练之前，可以先获取对预设神经网络模型进行训练的训练样本数据。具体地，训练样本数据可以包括多张样本卫星图像，每张样本卫星图像都包含了一段道路以及这段道路中的车道线情况。对每一张样本卫星图像，都可以具有相应的标签数据，标签数据具体为两种标签，分别为车道线虚实分类标签以及车道线虚实变化点标签，这两种标签分别与预设神经网络模型的两个任务分支相对应。标签数据可以为在样本卫星图像中以点、线的形式标记出的标签，也可以将样本卫星图像划分为多个像素，然后生成每个像素的坐标，然后对每一像素进行标记得到每一像素对应的标签向量作为标签数据。

在获取到样本卫星图像以及每个样本卫星图像对应的两个标签数据后，便可以将每张样本卫星图像作为预设神经网络模型的输入，将每张样本卫星图像作为预设神经网络模型不同分支的输出标签来对预设神经网络模型进行训练，得到训练后的预设神经网络模型。

在一些实施例中，预设神经网络模型包括图像特征提取层、车道线虚实分类层以及车道线虚实变化点检测层，基于样本卫星图像、车道线虚实分类标签以及车道线虚实变化点标签对预设神经网络模型进行训练，包括：

基于图像特征提取层对样本卫星图像进行图像特征提取，得到样本特征图；

基于车道线虚实分类层对样本特征图进行车道线虚实分类，得到样本车道线虚实分类结果，以及基于车道线虚实变化点检测层对样本特征图进行车道线虚实变化点检测，得到样本车道线虚实变化点；

根据样本车道线虚实分类结果与车道线虚实分类标签之间的差异，以及样本车道线虚实变化点与车道线虚实变化点标签之间的差异对预设神经网络模型的参数进行调整。

在本公开实施例中，预设神经网络模型具体可以包括图像特征提取层、车道线虚实分类层以及车道线虚实变化点检测层。其中，图像特征提取层可以为车道线虚实分类层和车道线虚实变化点检测层共用的底层。如图5所示，为本公开提供的预设神经网络模型的结构示意图，如图所示，预设神经网络模型包括了图像特征提取层510、车道线虚实分类层520以及车道线虚实变化点检测层530；在采用预设神经网络模型对卫星图像进行车道线识别时，可以先采用图像特征提取层510对卫星图像进行特征提取得到特征图；然后分别将特征图输入至车道线虚实分类层520和车道线虚实变化点检测层530中，得到分别输出的车道线虚实分类结果和车道线虚实变化点。

其中，预设神经网络模型中的图像特征提取层具体可以采用语义分割模型作为骨架，具体可以采用U型网络（U-net）作为模型骨架。如图6所示，为本公开提供的预设神经网络模型的另一结构示意图。如图所示，预设神经网络模型采用了U-net语义分割模型作为模型的骨架，具体包括了卷积层601、第一残差网络层602、第二残差网络层603、第三残差网络层604、第四残差网络层605、第一空洞卷积层606、第二空洞卷积层607、第三空洞卷积层608、第四空洞卷积层609、第五空洞卷积层610、第一解码网络层611、第二解码网络层612、第三解码网络层613、第四解码网络层614以及车道线虚实分类层520和车道线虚实变化点检测层530这两个输出分支。当需要采用预设神经网络模型对卫星图像进行车道线识别时，可以将卫星图像从卷积层601输入，然后逐层处理，直到在车道线虚实分类层520和车道线虚实变化点检测层分别输出车道线虚实分类结果和车道线虚实变化点。预设神经网络模型中各层的作用，将在下文中进行详述，此处不再赘述。

在基于上述任一模型结构对预设神经网络模型进行训练时，图像特征提取层可以对样本卫星图像进行特征提取，得到样本特征图。然后，可以将图像特征提取层输出的样本特征图输入到车道线虚实分类层中，得到输出的样本车道线虚实分类结果；以及，可以将图像特征提取层提取得到的样本特征图输入到车道线虚实变化点检测层中，得到输出的样本车道线虚实变化点。然后，可以根据样本车道线虚实分类结果与车道线虚实分类标签之间的差异，以及样本车道线虚实变化点与车道线虚实变化点标签之间的差异，来对预设神经网络模型的参数进行调整。

在一些实施例中，根据样本车道线虚实分类结果与车道线虚实分类标签之间的差异，以及样本车道线虚实变化点与车道线虚实变化点标签之间的差异对预设神经网络模型的参数进行调整，包括：

计算样本车道线虚实分类结果与车道线虚实分类标签的交叉熵，得到第一损失，以及计算样本车道线虚实变化点与车道线虚实变化点标签的交叉熵，得到第二损失；

计算第一损失与第二损失的和，得到目标损失；

基于目标损失对预设神经网络模型的参数进行调整。

其中，在本公开实施例中，在对预设神经网络模型进行训练的过程中，基于预设神经网络模型不同任务分支的输出与对应的输出标签之间的差异来对模型的参数进行调整的具体过程，可以分别根预设神经网络据模型不同任务分支和对应的输出标签计算交叉熵，得到每一任务分支对应的损失。具体地，可以计算样本车道线虚实分类结果与车道线虚实分类标签的交叉熵，得到第一损失；以及可以计算样本车道线虚实变化点与车道线虚实变化点标签的交叉熵，得到第二损失。在一些实施例中，可以分别基于第一损失和第二损失对预设神经网络模型的参数进行两次更新，但每次更新都不对其他任务分支的参数进行更新。例如基于第一损失对预设神经网络模型的参数进行更新时，只更新图像特征提取层和车道线虚实分类层的网络参数，不对车道线虚实变化点检测层的参数进行更新；当基于第二损失对预设神经网络模型的参数进行更新时，只更新图像特征提取层和车道线虚实变化点检测层的网络参数，不对车道线虚实分类层的参数进行更新。在本公开实施例中，在计算得到第一损失和第二损失后，可以进一步计算第一损失和第二损失的和，得到目标损失，该目标损失也可以称为总损失。然后，可以进一步根据目标损失对预设神经网络模型中图像特征提取层、车道线虚实分类层以及车道线虚实变化点检测层的参数进行更新。该方法一方面可以降低参数更新次数，提升模型训练效率，另一方面还可以进一步加强两个任务分支之间的关联性，使得两个任务分支对双方的训练过程进行监督，从而进一步提升训练得到的模型的准确性。

在一些实施例中，预设神经网络模型还包括车道线语义分割层，标签数据还包括车道线语义分割标签，基于图像特征提取层对样本卫星图像进行图像特征提取，得到样本特征图之后，还包括：

基于车道线语义分割层对样本特征图进行车道线语义分割，得到样本车道线语义分割结果；

计算车道线语义分割结果与车道线语义分割标签的交叉熵，得到第三损失；

计算第一损失与第二损失的和，得到目标损失，包括：

计算第一损失、第二损失以及第三损失的和，得到目标损失。

在本公开实施例中，预设神经网络模型还可以为包括三个任务分支的多任务模型。具体地，除了包括前述图像特征提取层、车道线虚实分类层以及车道线虚实变化点检测层之外，预设神经网络模型还可以包括车道线语义分割层。车道线语义分割层与车道线虚实分类层以及车道线虚实变化点检测层共用图像特征提取层，车道线语义分割层具体可以对图像特征提取层提取得到的特征图进行车道线语义分割，输出车道线语义分割结果。具体地，预设神经网络模型的车道线语义分割任务分支，可以对目标道路的卫星图像进行车道线语义分割，将卫星图像分为前景（车道线）与背景。该实施例中预设神经网络模型的结构可以为在图5或图6的基础上添加一个输出任务分支，对该结构的预设神经网络模型进行训练时，还需要进一步获取每一样本卫星图像对应的车道线语义分割标签，即每一样本卫星图像都具有三类的标签数据，每类标签数据与预设神经网络模型的一个任务分支相对应。在对预设神经网络模型进行训练时，可以进一步基于车道线语义分割层对样本特征图进行车道线语义分割，得到样本车道线语义分割结果。然后，计算车道线语义分割结果与车道线语义分割标签的交叉熵，得到第三损失。如此，目标损失便可以通过计算第一损失、第二损失以及第三损失的和得到。然后根据计算三者之和得到的目标损失来对预设神经网络模型的参数进行更新。在本公开实施例中，由于车道线语义分割这一任务分支输出的前景是车道线几何，而车道线虚实分类这一任务分支输出的结果中前景是车道线以及车道线的虚实分类，即两个任务分支的输出中都包含了车道线，两个任务分支也是强相关的任务分支。这两个任务分支之间也可以相互进行监督以提升车道线识别的准确性，在提升了车道线识别的准确性的基础上，又可以进一步提升车道线变化点识别的准确性。

步骤430，根据虚实分类结果确定目标道路的车道线的多个第二虚实变化点。

在本公开实施例中，虽然包含多个强相关的任务分支的多任务模型的在训练过程中各任务分支之间相互辅助可以提升每一任务分支输出的准确性，但每一任务分支的主要学习任务各有侧重，即车道线虚实分类任务分支主要还是学习车道线虚实分类的能力，在目标道路的卫星图像中将目标道路的车道线分类为实线部分和虚线部分；车道线虚实变化点检测分支主要还是学习车道线虚实变化点检测的能力，在目标道路的卫星图像中检测出目标道路的车道线的虚实变化的位置。

然而，车道线虚实变化点就是一条车道线中由虚线变为实线或者由实线变为虚线的位置，因此根据车道线虚实分类任务分支输出的车道线虚实分类结果也可以推断出目标道路的车道线虚实变化点。即将卫星图像输入到预设神经网络模型中，得到预设神经网络模型输出的目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点后，可以进一步根据目标道路的车道线的虚实分类结果推断出目标道路的第二虚实变化点。即目标道路的车道线的第一虚实变化点和第二虚实变化点是基于预设神经网络模型的不同任务分支的输出确定的虚实变化点；而基于上述描述，不同任务分支的学习侧重点不同，则基于不同任务分支的输出确定的虚实变化点之间也存在差异，而每一任务分支确定的目标道路的车道线的虚实变化点都有其合理性，因而可以采用两个任务分支确定的车道线的虚实变化点的结果进行交叉验证来确定更为准确的车道线的虚实变化点。

在一些实施例中，根据虚实分类结果确定目标道路的车道线的多个第二虚实变化点，包括：

根据虚实分类结果生成第一车道线矢量化点串；

基于第一车道线矢量化点串确定目标道路的车道线的多个第二虚实变化点。

在本公开实施例中，基于车道线的虚实分类结果来推断目标道路的车道线的多个第二虚实变化点，具体可以先根据车道线的虚实分类结果来生成第一车道线矢量化点串。车道线矢量化点串具体可以为采用矢量（例如向量）来表示车道线上的像素点，并采用多个点组成的点串来表示车道线。具体地，例如可以采用四位向量（x，y，a，b）来表示目标道路的车道线上的像素点。其中，x和y分别表示像素点的横坐标和纵坐标。a为取值为0或1的整数，当a为0时，表示该像素点为背景点，即该像素点不在车道线上，当a为0时，b可以为3；当a为1时，表示该像素点位前景点，即表示该像素点在车道线上，当a为1是，b可以为取值为0或1的整数，其中当b为0时，表示该像素点对应的车道线为虚线，当b为1时，表示该像素点对应的车道线为实线。其中，每个像素点对应的a和b的取值可以根据车道线虚实分类结果（例如虚实属性语义掩码图）来确定。

当根据虚实分类结果生成了第一车道线矢量化点串后，便可以进一步根据第一车道线矢量化点串来确定目标道路的车道线的多个第二虚实变化点。具体地，可以逐点遍历矢量化点串中的各个点的虚实属性，当检测到矢量化点串中相邻的点的虚实属性发生变化时，则可以确定虚实属性发生变化的点为第二虚实变化点。

或者，在一些实施例中，基于第一车道线矢量化点串确定目标道路的车道线的多个第二虚实变化点，包括：

根据第一车道线矢量化点串将目标道路的车道线划分为多段虚线和多段实线的组合；

根据多段虚线和多段实线的组合中相邻的虚线与实线的连接点确定多个第二虚实变化点。

其中，在本公开实施例中，通过遍历车道线的矢量化点串中每一个点的虚实情况，在矢量化点的虚实情况发生变化的位置确定目标车道的车道线的第二虚实变化点，该方法可以准确地确定车道线的虚实变化点。然而，遍历每一矢量化点的虚实情况来检测虚实变化点的效率较低，在一些情况下，为了较快确定目标车道的车道线的第二虚实变化点，可以先根据车道线矢量化点串将目标道路的每一条车道线划分为多段虚线和多段实线的组合，然后，便可以确定每条车道线包含的多段虚线和多段实线的组合中相邻的虚线和实线的连接点，并将每条车道线中相邻的虚线和实线的连接点确定为车道线的第二虚实变化点。

步骤440，基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，确定每一第二虚实变化点的置信度。

由于预设神经网络模型的车道线虚实分类层和车道线虚实变化点检测层为两个侧重点不同的任务分支：车道线虚实分类层为分类模型，主要任务是进行车道线与背景的分类以及车道线虚实属性的分类；车道线虚实变化点检测层为检测模型，主要任务是在卫星图像中检测出车道线虚实变化的点。由于两个任务分支的学习侧重点不同，其学习成果也会存在偏差，导致基于两个任务分支确定的车道线虚实变化点的位置也可能存在不同。而车道线虚实分类层对应的任务分支确定的车道线第二虚实变化点是由车道线的识别结果推断得到，导致车道线虚实变化点位置确定的准确性受车道线识别过程、车道线虚实分类过程以及推断过程的准确性影响，因此基于该任务分支确定的车道线第二虚实变化点会与车道线的真实的虚实变化点之间存在差异；此外，车道线虚实变化点检测层对应的任务分支确定的车道线第一虚实变化点由于模型训练时的样本数据中仅包含了点标签，缺乏车道线虚实变化的语义支持，导致该任务分支直接识别得到的车道线的第一虚实变化点与真实的虚实变化点之间也会存在偏差。对此，本公开实施例进一步通过对识别得到的两个虚实变化点的识别结果进行交叉验证的方式来剔除掉置信度较低的虚实变化点识别结果，从而可以在较大程度上得到准确的车道线虚实变化点的识别结果。

具体地，可以基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系来确定每一第二虚实变化点的置信度；或者也可以基于第一虚实变化点与第二虚实变化点在卫星图形中的位置关系来确定每一第一虚实变化点的置信度。由于第二虚实变化点是基于车道线属性变化的结果推断得到的车道线虚实属性变化点，其推理过程中包含了车道线虚实变化的语义支持，一般情况下该任务分支推断得到的车道线虚实变化点更为准确，因此可以将第二虚实变化点作为置信度评价的对象，将第一虚实变化点作为置信度评价的辅助。即在本公开实施例中，评估得到每一第二虚实变化点的置信度。

在一些实施例中，基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，确定每一第二虚实变化点的置信度，包括：

获取第一虚实变化点在卫星图像中的第一坐标，以及获取第二虚实变化点在卫星图像中的第二坐标；

基于第一坐标与第二坐标，计算每一第二虚实变化点与多个第一虚实变化点之间距离的最小值；

根据每一第二虚实变化点对应的最小值确定每一第二虚实变化点的置信度。

在本公开实施例中，第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，具体可以采用第一虚实变化点与第二虚实变化点在卫星图像中的距离来表示。当第一虚实变化点与第二虚实变化点在卫星图像中的距离小于预定值，则说明两者为近邻关系，否则两者为远离关系。在计算第一虚实变化点与第二虚实变化点在卫星图像中的距离之前，可以基于卫星图像构建一个坐标系，例如当卫星图像为矩形图像时，可以以卫星图像的一个顶点为原点，以与该顶点连接的两个边为坐标轴构建二维坐标系，然后以像素为单位尺寸确定每一第一虚实变化点在该二维坐标系中的第一坐标，以及确定每一第二虚实变化点在该二维坐标系中的第二坐标。

在确定了每一第一虚实变化点的第一坐标以及每一第二虚实变化点的第二坐标后，便可以基于多个第一坐标和多个第二坐标来计算每一第一虚实变化点到每一第二虚实变化点之间的距离。如此，对于任一第二虚实变化点，都可以得到其与多个第一虚实变化点之间的距离，进一步可以在该第二虚实变化点对应的多个距离中确定距离的最小值，即找到距离该第二虚实变化点的距离最近的第一虚实变化点。然后，可以根据距离该第二虚实变化点对应的距离的最小值来确定该第二虚实变化点的置信度；进一步可以遍历每一第二虚实变化点，得到每一第二虚实变化点与多个第一虚实变化点之间距离的最小值，并根据该距离最小值确定每一第二虚实变化点的置信度。

在一些实施例中，根据每一第二虚实变化点对应的最小值确定每一第二虚实变化点的置信度，包括：

获取预设的距离阈值；

当目标第二虚实变化点对应的最小值大于距离阈值时，确定目标第二虚实变化点的置信度为第一置信度；

当目标第二虚实变化点对应的最小值小于或等于距离阈值时，确定目标第二虚实变化点的置信度为第二置信度。

其中，在本公开实施例中，根据每一第二虚实变化点与多个第一虚实变化点之间距离的最小值确定第二虚实变化点的置信度，具体可以先获取一个预设的距离阈值，然后将每一第二虚实变化点对应的距离的最小值与该距离阈值进行比对。当第二虚实变化点对应的距离的最小值大于该距离阈值，则说明与第二虚实变化点距离最近的第一虚实变化点相距第二虚实变化点的距离要大于该距离阈值，如此则说明该第二虚实变化点的预测的准确性较低，进而可以确定该第二虚实变化点的置信度为第一置信度，其中第一置信度为一个较低的置信度，例如0.1；当第二虚实变化点对应的距离的最小值小于或等于给距离阈值，则说明与第二虚实变化点距离最近的第一虚实变化点相距第二虚实变化点的距离小于或等于给距离阈值，则说明该虚实变化点的预测的准确性较高，此时可以确定该第二虚实变化点的置信度为第二置信度，第二置信度具体可以为一个较高的置信度，例如0.9。

或者，在一些实施例中，也可以根据每一第二虚实变化点对应的最小距离值来计算得到每一第二虚实变化点对应的置信度，即第二虚实变化点对应的置信度不仅可以为上述两个示例的值，还可以为其他值。例如当第二虚实变化点对应的距离的最小值越小，则其置信度越高；当第二虚实变化点对应的距离的最小值越大，则其置信度越低。

在一些实施例中，此处预设的距离阈值应当体现的是实际车道中两个点之间的距离，例如设置在实际车道中两个点的距离小于2米为临近点。如此，可以先获取实际车道中的距离阈值，然后根据卫星图像的图像等级（清晰程度）来将实际道路中的距离阈值（前述2米）转换为卫星图像中的距离阈值（像素表示的距离）。然后再进一步基于卫星图像中的距离阈值来确定每一第二虚实变化点的置信度。

步骤450，根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

在确定了每一第二虚实变化点的置信度后，便可以进一步根据每一第二虚实变化点的置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点，此处目标车道线虚实变化点便为该目标车道的准确的车道线虚实变化点。具体地，例如可以再获取一个置信度阈值，将置信度小于该阈值的第二虚实变化点进行删除，只保留置信度大于或等于该置信度阈值的第二虚实变化点作为目标车道线虚实变化点。如此，采用本公开提供的车道线变化点的识别方法可以准确识别得到道路车道线的虚实变化点。

在一些实施例中，当上述预设神经网络模型还包括车道线语义分割层时，级预设神经网络模型包括三个任务分支时，将目标道路的卫星图像输入至预设神经网络模型中便还可以得到车道线语义分割层对应的任务分支输出的结果，此处可以将该结果称为初始车道线语义分割结果。此时，基于预设神经网络模型对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点之后，还包括：

对初始车道线语义分割结果与虚实分类结果进行语义融合，得到融合语义结果；

根据融合语义结果确定目标道路的目标车道线语义分割结果。

在本公开实施例中，预设神经网络模型的三个任务分支中的车道线语义分割层对应的任务分支与车道线虚实分类层对应的任务分支都具有车道线识别的能力，只是车道线语义分割层更侧重于学习车道线前后景的分割能力，即将卫星图像中的像素分为前景像素和背景像素，前景像素代表了车道线覆盖的像素，背景像素则代表了背景区域覆盖的像素；而车道线虚实分类层更侧重于对识别出的车道线进行进一步的分类，将识别得到的车道线区域分为实线区域和虚线区域。如此可知，车道线语义分割层对应的任务分支与车道线虚实分类层对应的任务分支为强相关的两个任务分支。如此，当将卫星图像输入至预设神经网络模型中，得到上述两个任务分支分别输出的初始车道线语义分割结果和车道线虚实分类结果后，可以进一步将初始车道线语义分割结果与虚实分类结果进行语义融合，得到融合语义结果。具体地，将初始车道线语义分割结果与虚实分类结果进行语义融合，可以为将车道线语义分割结果中确定的前景像素与虚实分类结果中确定的车道线对应的像素取并集，然后将取并集得到的结果确定为车道线对应的前景像素，根据融合语义结果确定目标道路的目标车道线语义分割结果。通过该方法，可以提高车道线的语义召回能力。

在一些实施例中，基于预设神经网络模型对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点之后，还包括：

基于初始车道线语义分割结果进行车道线骨架提取，得到初始车道线骨架；

在初始车道线骨架中的目标点位对车道线骨架进行截断，得到目标车道线骨架，目标点位与至少三条骨架边连接；

基于初始车道线语义分割结果生成第二车道线矢量化点串，并基于目标车道线骨架对第二车道线矢量化点串中的点进行连通处理，得到目标道路的目标车道线实例分割结果。

其中，在一些实施例中，目标道路中的车道线可以不仅包括平行的多条车道线，在一些道路分叉路口或者主辅道变换的路口，还可以具有Y字型、T字型或者十字型的车道线。对于这些车道线，不仅需要对其进行语义分割，还需要进一步对其进行实例分割以确定每条车道线所属的车道，以便在辅助驾驶或者导航场景中能够准确地作出辅助驾驶控制或者实现精准的导航。在该情况下，可以先根据车道线语义分割层对应的任务分支输出的初始车道线语义分割结果进行车道线骨架提取，得到初始车道线骨架。其中，对车道线骨架提取，具体可以采用骨架提取算法来进行，骨架提取与图像细化类似，都是将二值图像中一部分点去掉后，剩下的点仍能保持原来的形状，即保留图像的骨架。在本公开实施例中，车道线语义分割层输出的初始车道线语义分割结果便为二值化图像，该图像中的前景区域代表了车道线语义。骨架提取算法便可以将该二值化图像中的部分前景点去掉，使得剩余的前景点仍能保持原来车道线的形状，从而得到初始车道线骨架。

在得到目标道路的初始车道线骨架后，可以进一步在初始车道线骨架中的多边共点处对初始车道线骨架进行截断，得到目标车道线骨架。如前所述，对于Y字型、T字型或者十字型的车道线，提取出的初始车道线骨架中便会存在多边共点处，多边共点可以是三条边共点或者三条以上的边共点，该点可以称为目标点位。在目标点位处，对初始车道线骨架进行截断，得到多条目标车道线骨架。然后，可以进一步基于初始车道线语义分割结果生成第二车道线矢量化点串，并基于目标车道线骨架对第二车道线矢量化点串中的点进行连通处理，从而得到目标道路的目标车道线实例分割结果。由于本公开实施例中采用预设神经网络模型对目标道路的卫星图像进行车道线识别，得到初始车道线语义分割结果和车道线虚实分类结果，车道线语义分割和车道线虚实分类这两个任务分支之间强相关，因此在预设神经网络模型的训练过程中这两个分支可以相互监督和辅助，从而可以提升车道线语义分割结果的准确性。基于此，在该车道线语义分割结果的基础上进一步对多交叉的车道线进行共点打断生成的多个车道线实例分割的结果也就更为准确。

在一些实施例中，基于初始车道线语义分割结果生成第二车道线矢量化点串，并基于目标车道线骨架对第二车道线矢量化点串中的点进行连通处理，得到目标道路的目标车道线实例分割结果之后，还包括：

获取目标道路的历史车道线实例分割结果；

计算历史车道线实例分割结果与目标车道线实例分割结果的相似度；

当相似度小于预设相似度阈值时，根据目标车道线实例分割结果对目标道路对应的电子地图进行更新。

其中，在一些实施例中，在根据上述方案生成目标道路的准确的目标车道线实例分割结果后，可以进一步获取目标道路的历史车道线实例分割结果，然后可以将目标车道线实例分割结果与历史车道线实例分割结果进行比对，以确定两者之间的相似度，即将目标车道线实例分割结果与历史车道线实例分割结果进行比对具体可以为计算目标车道线实例分割结果与历史车道线实例分割结果之间的相似度。目标车道线实例分割结果与历史车道线实例分割结果的比对结果可以表征目标车道的车道线有没有发生变化，当两者的相似度小于预设相似度阈值时，便可以确定目标车道的车道线发生了变化，需要对目标道路对应的电子地图的数据进行更新。因此，当检测到目标车道线实例分割结果与历史车道线实例分割结果的相似度小于预设相似度阈值时，可以根据目标车道线实例分割结果对目标道路对应的电子地图进行更新。

在本公开实施例中，可以实时采集道路的卫星图像，然后根据道路的卫星图像来生成道路的准确的车道线实例分割结果；并自动与道路的当前车道线数据进行比对，当比对结果指示车道的车道线发生了变化时，便可以根据新生成的准确的车道线的实例分割结果来对这段道路的车道线数据进行更新，从而可以实现道路车道线的实时自动更新，保证了电子地图的地图数据的高鲜度。

在一些实施例中，计算历史车道线实例分割结果与目标车道线实例分割结果的相似度之后，还包括：

当相似度小于预设相似度阈值时，获取目标道路的高精图像；

根据高精图像生成目标道路的高精车道线实例分割结果；

根据高精车道线实例分割结果对目标道路对应的电子地图进行更新。

如前所述，采用高精地图方案可以得到非常精确的车道线数据，然而由于高精地图方案的成本巨大，导致该方案无法普及，只能在核心城市的核心地段采用。而且即使采用该方案，也会存在地图数据鲜度不高的问题，主要也是考虑到成本问题，若道路的地图数据未发生变动，频繁的高精地图数据采集既耗费了成本也无法得到收益。因此，在本公开实施例中，可以采用本公开提供的基于卫星图像进行车道线识别的方法来进行高频次的道路车道线数据的变化检测，当检测到上述目标车道线实例分割结果和历史车道线实例分割结果的相似度小于预设相似度阈值时，可以触发对目标道路进行高精图像的采集，然后根据高精图像来生成目标道路的高精车道线实例分割结果，并进一步根据高精车道线实例分割结果对目标道路对应的电子地图中的地图数据进行更新。

即在本公开实施例中，对于部分需要采用高精地图方案生成地图数据的目标道路，可以采用本公开提供的基于卫星图像进行车道线识别的方法来进行高频次的道路车道线数据的变化检测，如此只有检测到道路车道线数据发生变换时才需要进一步触发对目标道路的高精图像采集，不仅避免了频繁的高精图像采集带来的高成本，又可以实时保证道路车道线数据的准确性。

综上，采用本公开提供的车道线变化点的识别方法，获取目标道路的卫星图像；基于预设神经网络模型对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点；根据虚实分类结果确定目标道路的车道线的多个第二虚实变化点；基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，确定每一第二虚实变化点的置信度；根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

如此，本公开可以通过预设神经网络模型的两个分支对目标道路的卫星图像进行车道线识别，以得到目标道路的车道线的虚实分类结果以及车道线的多个第一虚实变化点。然后根据两个分支识别出的结果进行车道线虚实变化点的交叉验证，避免了单个分支进行预测时存在的误识别问题，从而提升了对车道线变化点识别的准确性。

如图7所示，为本公开提供的车道线变化点的识别方法的另一流程示意图。在本公开实施例中，将以本公开提供的车道线变化点的识别方法应用在地图更新场景为例，对本公开提供的车道线变化点的识别方法进行详细的介绍。方法具体包括如下步骤：

步骤701，计算机设备获取多任务模型对应的训练样本数据。

相关技术中，采用高精地图方案来进行车道线数据的还原会耗费大量的成本，因此在多数道路中仍采用基于卫星图像进行车道线还原的方案。然而目前基于卫星图像进行车道线还原的方案识别得到的车道线以及车道线的虚实变化点不够准确，本公开实施例提供一种车道线变化点的识别方法，该方法可以基于道路的卫星图像准确识别出道路的车道线变化点（即车道线虚实变化点）；此外，该方法还能够识别出更准确的车道线实例，从而实现更准确的车道线还原。下面以该方法应用在地图更新场景为例对该方法进行详细介绍。本方案具体可以由计算机设备执行，计算机设备可以为终端也可以为服务器。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

其中，本公开提供的基于卫星图像进行车道线还原的方案采用了具有三个任务分支的多任务模型。如图8所示，为本公开提供的多任务模型的一个结构示意图。如图所示，该多任务模型包括了语义分割模型的U-net结构以及三个输出分支：车道线语义分割层810、车道线虚实分类层520以及车道线虚实变化点检测层530。

其中，U-net结构包括图像特征下采样编码模块和特征融合上采样编码模块，图像特征下采样编码模块包括卷积层601和多个残差网络层（例如34层的残差网络resnet34，图中只是示意4层），此外图像特征下采样编码模块还可以包括归一化层和激活层。其中，卷积层的底层负责提取图像的边缘纹理等基本特征，高层卷积层对基本纹理特征进行抽象化结合。归一化层用于对特征进行归一化正态分布处理，激活层用于对提取得到的特征进行分线性映射，加强模型的泛化能力。在残渣网络之后可以进一步加入空洞卷积层（dilatedconvolutional layers，DCL），即图示第一空洞卷积层606至第五空洞卷积层610。空洞卷积层用于增大感受野，从而提升网络的表达能力。特征融合上采样编码模块采用了特征金字塔（Feature Pyramid Networks，FPN）策略，通过多次反卷积操作（由解码网络层实现）实现尺度放大作用，提供更上层上采样融合必要特征信息。每个解码网络层的输入不仅来自于前一个解码网络层的输出，还来自于特征提取环节对应的同尺寸的残差网络层，为了更好地融合特征信息，模块内部会将第二种特征进行家和，并进行卷积操作实现信息融合。

如图9所示，为解码网络层的内部结构示意图。即解码网络层包括了反卷积层901、融合层902、第一子卷积层903以及第二子卷积层904。反卷积层的输入为前一解码网络层的输出，反卷积层901的输出与特征提取时的同尺寸特征在融合层902进行融合，具体可以为进行特征拼接，然后将特征拼接结果输入到两个子卷积层中进行逐层卷积融合。

解码网络层输出U-net结构提取得到的图像特征，然后将该图像特征分别经三个任务分支进行车道线语义分割、车道线虚实属性分类以及进行车道线虚实变化点检测。

在采用该多任务模型进行图像处理之前，可以先获取该多任务模型对应的训练样本数据来对多任务模型进行训练。具体地，该多任务模型对应的训练样本数据包括了多张不同道路的样本卫星图像以及每张样本卫星图像对应的标签数据，每张样本卫星图像对应的标签数据都包含了三个任务分支对应的三个标签。其中，车道线语义分割分支对应的标签可以为样本卫星图像中车道线的位置；车道线虚实分类分支对应的标签可以为样本卫星图像中虚车道线的位置和实车道线的位置；车道线虚实变化点检测分支对应的标签可以为样本卫星图像中车道线虚实变化点的位置。

步骤702，计算机设备基于训练样本数据训练多任务模型，并将训练后的多任务模型部署上线。

在获取到多任务模型的训练样本数据后，便可以采用获取到的训练样本数据来对多任务模型进行训练。具体地，对于训练样本数据中的任一样本卫星图像，可以将其输入至待训练的多任务模型，得到多任务模型的三个任务分支分别输出的输出结果；然后，分别计算三个任务分支的输出结果与对应的标签数据之间的交叉熵，得到每一任务分支对应的损失值；然后计算三个损失值的和，得到目标损失，基于目标损失确定反传梯度并基于反传梯度进行梯度反传处理以实现多任务模型的参数更新。进一步地，可以重新获取一个训练样本数据，并循环执行上述模型参数更新过程，直到循环次数达到预设次数或者多任务模型的参数的变化小于预设的阈值，完成多任务模型的训练。

多任务模型的车道线语义分割任务分支、车道线虚实属性分类任务分支以及车道线虚实变化点检测任务分支都是在原图尺寸的特征图上进行像素级的分类学习，本公开中多任务模型的三个任务分支都可以使用标准的交叉熵损失函数。这三个任务分支是三个深度学习的语义预测，使用不同的标签文件作为训练学习的目标，各分支存在着较强的相关性，因而可以相互辅助学习。例如，车道线语义分割任务分支与车道线虚实属性分类任务分支的前景都是车道线，车道线虚实属性分类任务分支可以帮助提升车道线语义分割任务分支的车道线几何的学习能力。车道线虚实属性分类任务分支输出的是车道线的虚实属性，而车道线虚实属性变化的位置也就是车道线虚实变化点的位置，因此车道线虚实属性分类任务分支与车道线虚实变化点检测任务分支之间存在着自洽的要求，两个任务分支相互辅助可以提升车道线虚实变化点检测的准确性，也可以提升虚实属性分类的准确性。

进一步地，可以将训练完成的多任务模型部署上线以进行卫星图像中车道线语义和车道线属性的识别以及车道线虚实变化点的检测。

步骤703，计算机设备获取目标道路的卫星图像。

将训练后的多任务模型部署上线后，便可以基于部署上线的多任务模型执行相关任务，例如，在本公开实施例中，具体可以用于执行地图更新的任务。当需要对目标道路的地图进行更新时，可以先获取该目标道路的卫星图像，目标道路的卫星图像可以为实时获取到的卫星拍摄目标道路得到的卫星图像，也可以是卫星周期性返回的目标道路的卫星图像中，拍摄时间距离任务执行时间最近的目标道路的卫星图像。

步骤704，计算机设备基于多任务模型对卫星图像进行图像识别，得到车道线语义分割结果、车道线虚实属性分类结果以及车道线虚实变化点检测结果。

获取到目标道路的卫星图像后，便可以将目标道路的卫星图像输入至部署上线的多任务模型中进行图像识别。多任务模型的三个分支分别输出车道线语义分割结果、车道线虚实属性分类结果以及车道线虚实变化点检测结果。

如图10a所示，为本公开多任务模型中车道线语义分割任务分支输出的车道线语义分割结果的示意图，如图所示，车道线语义分割任务分支从目标道路的卫星图像中识别出多条车道线1010。以及如图10b所示，为本公开多任务模型中车道线虚实属性分类任务分支输出的车道线虚实属性分类结果示意图。如图所示，车道线虚实属性分类任务分支不仅可以从目标道路的卫星图像中识别出多条车道线，还可以将每一条车道线分为实线1011和虚线1012。如图10c所示，为本公开多任务模型中车道线虚实变化点检测任务分支输出的车道线虚实变化点检测结果示意图。如图所示，多任务模型的车道线虚实变化点检测任务分支可以从目标道路的卫星图像中检测出多个车道线虚实变化点1020。其中，上述图示只是示出了多任务模型各任务分支的输出结果的可视化的示意，多任务模型的各分支实际输出的结果具体可以为各分支对应的语义掩码（mask）图，例如车道线语义掩码图、车道线属性语义掩码图以及车道线虚实变化点语义掩码图。语义掩码图对图中的不同像素点分配不同语义标签，例如车道线语义掩码图中，识别出为车道线覆盖的像素点则标记为1，其他像素点则标记为0。

步骤705，计算机设备基于车道线虚实属性分类结果生成车道线矢量化点串，并基于车道线矢量化点串将车道线分为多段虚实车道线的组合。

由于车道线的虚实变化的位置就是车道线的虚实变化点，车道线虚实变化点检测分支输出的检测结果也是车道线的虚实变化点；不同任务分支的检测结果都会存在一定的误差，因此本公开实施例中可以通过两个分支结果的交叉验证来得到更为准确的车道线虚实变化点。

具体地，在得到车道线虚实属性分类结果后，可以进一步基于车道线虚实属性分类结果生成车道线矢量化点串，车道线矢量化点串在前述公开中已经进行了详细描述，此处不再赘述。然后，再根据车道线矢量化点串的每个点的虚实情况，将车道线划分为多个虚实车道线的组合。

步骤706，计算机设备根据多段虚实车道线的组合中相邻的虚线和实线的邻接点确定多个车道线虚实变化点。

在将目标道路的车道线划分为多个虚实车道线的组合后，可以找到多段虚实车道线的组合中相邻的虚线和实线的邻接点，并将这些邻接点确定为多个车道线虚实变化点。

其中，由于车道线虚实变化点检测任务分支在训练时的标签数据为孤立的点，缺乏相应的车道线虚实变化的语义支撑，而且卫星图像也存在原始分辨率低，清晰度不高等问题，导致车道线虚实变化点检测这一任务分支输出的车道线虚实变化点检测结果存在不够准确的问题。而根据车道线虚实属性分类分支输出的车道线虚实属性分类结果推断出的车道线的虚实变化点具有充分的车道线虚实变化的语义支撑，因此基于该任务分支推断得到的车道线虚实变化点更为准确。因此，在确定车道线最终的虚实变化点时，可以将根据车道线虚实属性分类分支输出的车道线虚实属性分类结果推断出的车道线的虚实变化点作为基础，将车道线虚实变化点检测这一任务分支输出的车道线虚实变化点检测结果作为辅助来确定目标道路的准确的车道线虚实变化点。

步骤707，计算机设备根据车道线虚实变化点检测结果确定多个车道线虚实变化点的置信度。

在根据车道线虚实属性分类结果推断出多个车道线虚实变化点后，可以进一步根据车道线虚实变化点的检测结果对上述推断出的多个车道线虚实变化点进行置信度的评估。具体地，可以检测在每一推断出的车道线虚实变化点的附近，车道线虚实变化点检测结果是否也指示检测到车道线虚实变化点。若在某一推断出的车道线虚实变化点的附近，车道线虚实变化点检测结果也指示检测到了车道线虚实变化点，则说明该推断出的车道线虚实变化点的置信度较高；反之，该推断出的车道线的虚实变化点的置信度就较低。

步骤708，计算机设备根据置信度在多个车道线虚实变化点中确定多个目标车道线虚实变化点。

在确定了根据车道线虚实属性分类结果推断出多个车道线虚实变化点的置信度后，便可以进一步将上述根据车道线虚实属性分类结果推断出多个车道线虚实变化点中置信度高的虚实变化点作为目标道路的目标车道线虚实变化点。而对于推断出多个车道线虚实变化点中置信度低的则可以予以删除。如图11所示，为根据本公开提供的车道线变化点的识别方法识别得到的车道线虚实变化点的示意图。如图所示，根据本公开提供的车道线变化点的识别方法在目标道路中识别出多个目标车道线虚实变化点1110。

步骤709，计算机设备对车道线语义分割结果和车道线虚实属性分类结果进行语义融合，并根据融合结果确定目标道路的目标车道线语义分割结果。

其中，本公开提供的多任务模型对目标道路的卫星图像进行图像识别，除了可以识别得到准确的车道线虚实变化点外，还可以识别出准确的车道线实例。具体地，计算机设备可以进一步对车道线语义分割结果和车道线虚实属性分类结果进行语义融合，其中语义融合的过程可以将车道线语义分割结果和车道线虚实属性分类结果对应的两个语义掩码图进行融合，具体可以将两个语义掩码图中的前景部分取并集，得到目标车道线语义分割结果，从而可以提升车道线几何的召回能力。

步骤710，计算机设备基于目标车道线语义分割结果提取车道线骨架，并将车道线骨架在三边共点处进行截断，得到车道线实例分割结果。

进一步地，计算机设备还可以基于目标车道线语义分割结果来提取每条车道线的车道线骨架。在车道线骨架的三边共点处，可以对车道线骨架进行截断，得到多条车道线骨架，然后再对多条车道线骨架进行连通性处理，从而得到车道线的实例分割结果。该方法可以将处于道路分叉区域，主辅路切换区域的车道线准确划分到每一条道路。

步骤711，计算机设备根据车道线实例分割结果以及多个目标车道线虚实变化点对目标道路的地图数据进行更新。

其中，根据上述方法基于目标道路的卫星图像确定目标道路的准确的车道线实例分割结果以及多个目标车道线虚实变化点后，便可以进一步基于车道线实例分割结果和多个目标车道线虚实变化点对目标道路的地图数据进行更新。如图12所示，为根据本公开的方案识别出的车道线与车道线虚实变化点叠加的示意图。如图所示，本案提供的方法不仅识别到了车道线的虚线部分1210和实线部分1220，还识别到了车道线的目标虚实变化点1230。

综上，本公开通过多任务模型中双任务分支交叉验证的方法来提升任务结果的准确性，该方法对于易出错的任务更为友好。其中，车道线语义分割任务分支和车道线虚实属性分类分支交叉验证可以得到准确的车道线几何，而且还兼顾车道线几何和车道线的虚实属性。车道线虚实变化点检测分支只关注虚实变化点的位置，位置能力更强，但不能输出车道线几何，也不能输出车道线变化点的前后属性，因此存在不足；而在车道线语义分割任务分支和车道线虚实属性分类任务分支的帮助下，便可以得到包含车道线几何、车道线虚实属性的完整且准确的车道线数据。在地图应用的多车道数据业务上，本公开提供的车道线变化点的识别方法自动化输出车道线虚实变化点的准确位置，可以解决全自动车道级数据建图中缺少车道线虚实属性的难点问题。该方法还可以应用于标准精度地图数据中，以提升标准精度地图中虚实车道线数据的准确性。

可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的表征依次显示，但是这些步骤并不是必然按照箭头表征的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时间执行完成，而是可以在不同的时间执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本公开的各个具体实施方式中，当涉及到需要根据目标对象属性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取目标对象属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象相关数据。

图13为本公开实施例提供的车道线变化点的识别装置1300的结构示意图。该车道线变化点的识别装置1300包括：

获取单元1310，用于获取目标道路的卫星图像；

识别单元1320，用于基于预设神经网络模型对卫星图像进行车道线识别，得到目标道路的车道线的虚实分类结果以及目标道路的车道线的多个第一虚实变化点；

第一确定单元1330，用于根据虚实分类结果确定目标道路的车道线的多个第二虚实变化点；

第二确定单元1340，用于基于第一虚实变化点与第二虚实变化点在卫星图像中的位置关系，确定每一第二虚实变化点的置信度；

第三确定单元1350，用于根据置信度在多个第二虚实变化点中确定目标道路的目标车道线虚实变化点。

可选地，在一些实施例中，第一确定单元1330，包括：

第一生成子单元，用于根据虚实分类结果生成第一车道线矢量化点串；

第一确定子单元，用于基于第一车道线矢量化点串确定目标道路的车道线的多个第二虚实变化点。

可选地，在一些实施例中，第一确定子单元，包括：

划分模块，用于根据第一车道线矢量化点串将目标道路的车道线划分为多段虚线和多段实线的组合；

第一确定模块，用于根据多段虚线和多段实线的组合中相邻的虚线与实线的连接点确定多个第二虚实变化点。

可选地，在一些实施例中，第二确定单元1340，包括：

第一获取子单元，用于获取第一虚实变化点在卫星图像中的第一坐标，以及获取第二虚实变化点在卫星图像中的第二坐标；

第一计算子单元，用于基于第一坐标与第二坐标，计算每一第二虚实变化点与多个第一虚实变化点之间距离的最小值；

第二确定子单元，用于根据每一第二虚实变化点对应的最小值确定每一第二虚实变化点的置信度。

可选地，在一些实施例中，第二确定子单元，包括：

获取模块，用于获取预设的距离阈值；

第二确定模块，用于当目标第二虚实变化点对应的最小值大于距离阈值时，确定目标第二虚实变化点的置信度为第一置信度；

第三确定模块，用于当目标第二虚实变化点对应的最小值小于或等于距离阈值时，确定目标第二虚实变化点的置信度为第二置信度。

可选地，在一些实施例中，预设神经网络模型的训练装置，包括：

第二获取子单元，用于获取训练样本数据，训练样本数据包括样本卫星图像以及样本卫星图像对应的标签数据，标签数据包括车道线虚实分类标签以及车道线虚实变化点标签；

训练子单元，用于基于样本卫星图像、车道线虚实分类标签以及车道线虚实变化点标签对预设神经网络模型进行训练。

可选地，在一些实施例中，预设神经网络模型包括图像特征提取层、车道线虚实分类层以及车道线虚实变化点检测层，训练子单元，包括：

提取模块，用于基于图像特征提取层对样本卫星图像进行图像特征提取，得到样本特征图；

输出模块，用于基于车道线虚实分类层对样本特征图进行车道线虚实分类，得到样本车道线虚实分类结果，以及基于车道线虚实变化点检测层对样本特征图进行车道线虚实变化点检测，得到样本车道线虚实变化点；

调整模块，用于根据样本车道线虚实分类结果与车道线虚实分类标签之间的差异，以及样本车道线虚实变化点与车道线虚实变化点标签之间的差异对预设神经网络模型的参数进行调整。

可选地，在一些实施例中，调整模块，包括：

第一计算子模块，用于计算样本车道线虚实分类结果与车道线虚实分类标签的交叉熵，得到第一损失，以及计算样本车道线虚实变化点与车道线虚实变化点标签的交叉熵，得到第二损失；

第二计算子模块，用于计算第一损失与第二损失的和，得到目标损失；

调整子模块，用于基于目标损失对预设神经网络模型的参数进行调整。

可选地，在一些实施例中，预设神经网络模型还包括车道线语义分割层，标签数据还包括车道线语义分割标签，本公开提供的车道线变化点的识别装置，还包括：

语义分割子单元，用于基于车道线语义分割层对样本特征图进行车道线语义分割，得到样本车道线语义分割结果；

第二计算子单元，用于计算车道线语义分割结果与车道线语义分割标签的交叉熵，得到第三损失；

第二计算子模块，还用于：

计算第一损失、第二损失以及第三损失的和，得到目标损失。

可选地，在一些实施例中，基于预设神经网络模型对卫星图像进行车道线识别的识别结果中还包括初始车道线语义分割结果，本公开提供的车道线变化点的识别装置1300，还包括：

融合子单元，用于对初始车道线语义分割结果与虚实分类结果进行语义融合，得到融合语义结果；

第四确定子单元，用于根据融合语义结果确定目标道路的目标车道线语义分割结果。

可选地，本公开提供的车道线变化点的识别装置1300，还包括：

提取子单元，用于基于初始车道线语义分割结果进行车道线骨架提取，得到初始车道线骨架；

截断子单元，用于在初始车道线骨架中的目标点位对车道线骨架进行截断，得到目标车道线骨架，目标点位与至少三条骨架边连接；

生成子单元，用于基于初始车道线语义分割结果生成第二车道线矢量化点串，并基于目标车道线骨架对第二车道线矢量化点串中的点进行连通处理，得到目标道路的目标车道线实例分割结果。

可选地，在一些实施例中，本公开提供的车道线变化点的识别装置1300，还包括：

第三获取子单元，用于获取目标道路的历史车道线实例分割结果；

第三计算子单元，用于计算历史车道线实例分割结果与目标车道线实例分割结果的相似度；

第一更新子单元，用于当相似度小于预设相似度阈值时，根据目标车道线实例分割结果对目标道路对应的电子地图进行更新。

可选地，在一些实施例中，本公开提供的车道线变化点的识别装置1300，还包括：

第四获取子单元，用于当相似度小于预设相似度阈值时，获取目标道路的高精图像；

第二生成子单元，用于根据高精图像生成目标道路的高精车道线实例分割结果；

第二更新子单元，用于根据高精车道线实例分割结果对目标道路对应的电子地图进行更新。

参照图14，图14为实现本公开实施例的车道线变化点的识别方法的终端140的部分的结构框图，该终端140包括：射频(Radio Frequency，简称RF)电路1410、存储器1415、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(wireless fidelity，简称WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14示出的终端140结构并不构成对手机或电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。

存储器1415可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1415的软件程序以及模块，从而执行终端的各种功能应用以及车道线变化点的识别。

输入单元1430可用于接收输入的数字或字符信息，以及产生与终端的设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入装置1432。

显示单元1440可用于显示输入的信息或提供的信息以及终端的各种菜单。显示单元1440可包括显示面板1441。

音频电路1460、扬声器1461，传声器1462可提供音频接口。

在本实施例中，该终端140所包括的处理器1480可以执行前面实施例的车道线变化点的识别方法。

本公开实施例的终端140包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

图15为实施本公开实施例的车道线变化点的识别方法的服务器110的部分的结构框图。服务器110可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1522(例如，一个或一个以上处理器)和存储装置1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储装置)。其中，存储装置1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器110中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器110上执行存储介质1530中的一系列指令操作。

服务器110还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM ，LinuxTM，FreeBSDTM等等。

服务器110中的中央处理器1522可以用于执行本公开实施例的车道线变化点的识别方法。

本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述各个实施例的车道线变化点的识别方法。

本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序。计算机设备的处理器读取该计算机程序并执行，使得该计算机设备执行实现上述的车道线变化点的识别方法。

本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。

应当理解，在本公开中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

应了解，在本公开实施例的描述中，多个（或多项）的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

还应了解，本公开实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。

以上是对本公开的实施方式的具体说明，但本公开并不局限于上述实施方式，熟悉本领域的技术人员在不违背本公开精神的条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本公开权利要求所限定的范围内。

Claims (12)

1.一种车道线变化点的识别方法，其特征在于，所述方法包括：

获取目标道路的卫星图像；

对所述卫星图像进行车道线识别，得到所述目标道路的车道线的虚实分类结果以及所述目标道路的车道线的多个第一虚实变化点；

根据所述虚实分类结果确定所述目标道路的车道线的多个第二虚实变化点；

获取所述第一虚实变化点在所述卫星图像中的第一坐标，以及获取所述第二虚实变化点在所述卫星图像中的第二坐标；

基于所述第一坐标与所述第二坐标，计算每一所述第二虚实变化点与多个所述第一虚实变化点之间距离的最小值；

根据每一所述第二虚实变化点对应的最小值确定每一所述第二虚实变化点的置信度；

根据所述置信度在所述多个第二虚实变化点中确定所述目标道路的目标车道线虚实变化点；

对所述卫星图像进行车道线识别的步骤基于预设神经网络模型执行，所述预设神经网络模型包括图像特征提取层、车道线虚实分类层、车道线虚实变化点检测层以及车道线语义分割层，所述预设神经网络模型的训练过程，包括如下步骤：

获取训练样本数据，所述训练样本数据包括样本卫星图像以及样本卫星图像对应的标签数据，所述标签数据包括车道线虚实分类标签、车道线虚实变化点标签以及车道线语义分割标签；

基于所述样本卫星图像、所述车道线虚实分类标签、所述车道线虚实变化点标签以及车道线语义分割标签对所述预设神经网络模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述虚实分类结果确定所述目标道路的车道线的多个第二虚实变化点，包括：

根据所述虚实分类结果生成第一车道线矢量化点串；

基于所述第一车道线矢量化点串确定所述目标道路的车道线的多个第二虚实变化点。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一车道线矢量化点串确定所述目标道路的车道线的多个第二虚实变化点，包括：

根据所述第一车道线矢量化点串将所述目标道路的车道线划分为多段虚线和多段实线的组合；

根据所述多段虚线和多段实线的组合中相邻的虚线与实线的连接点确定多个第二虚实变化点。

4.根据权利要求1所述的方法，其特征在于，所述根据每一所述第二虚实变化点对应的最小值确定每一所述第二虚实变化点的置信度，包括：

获取预设的距离阈值；

当目标第二虚实变化点对应的最小值大于所述距离阈值时，确定所述目标第二虚实变化点的置信度为第一置信度；

当目标第二虚实变化点对应的最小值小于或等于所述距离阈值时，确定所述目标第二虚实变化点的置信度为第二置信度。

5.根据权利要求1所述的方法，其特征在于，所述基于所述样本卫星图像、所述车道线虚实分类标签、所述车道线虚实变化点标签以及车道线语义分割标签对所述预设神经网络模型进行训练，包括：

基于所述图像特征提取层对所述样本卫星图像进行图像特征提取，得到样本特征图；

基于所述车道线虚实分类层对所述样本特征图进行车道线虚实分类，得到样本车道线虚实分类结果，基于所述车道线虚实变化点检测层对所述样本特征图进行车道线虚实变化点检测，得到样本车道线虚实变化点，以及基于所述车道线语义分割层对所述样本特征图进行车道线语义分割，得到样本车道线语义分割结果；

计算所述样本车道线虚实分类结果与所述车道线虚实分类标签的交叉熵，得到第一损失，以及计算样本车道线虚实变化点与所述车道线虚实变化点标签的交叉熵，得到第二损失，计算所述车道线语义分割结果与所述车道线语义分割标签的交叉熵，得到第三损失；

计算所述第一损失、所述第二损失以及所述第三损失的和，得到目标损失；

基于所述目标损失对所述预设神经网络模型的参数进行调整。

6.根据权利要求5所述的方法，其特征在于，对所述卫星图像进行车道线识别的识别结果中还包括初始车道线语义分割结果，所述对所述卫星图像进行车道线识别，得到所述目标道路的车道线的虚实分类结果以及所述目标道路的车道线的多个第一虚实变化点之后，还包括：

对所述初始车道线语义分割结果与所述虚实分类结果进行语义融合，得到融合语义结果；

根据所述融合语义结果确定所述目标道路的目标车道线语义分割结果。

7.根据权利要求6所述的方法，其特征在于，所述对所述卫星图像进行车道线识别，得到所述目标道路的车道线的虚实分类结果以及所述目标道路的车道线的多个第一虚实变化点之后，还包括：

基于所述初始车道线语义分割结果进行车道线骨架提取，得到初始车道线骨架；

在所述初始车道线骨架中的目标点位对所述车道线骨架进行截断，得到目标车道线骨架，所述目标点位与至少三条骨架边连接；

基于所述初始车道线语义分割结果生成第二车道线矢量化点串，并基于所述目标车道线骨架对所述第二车道线矢量化点串中的点进行连通处理，得到所述目标道路的目标车道线实例分割结果。

8.根据权利要求7所述的方法，其特征在于，所述基于所述初始车道线语义分割结果生成第二车道线矢量化点串，并基于所述目标车道线骨架对所述第二车道线矢量化点串中的点进行连通处理，得到所述目标道路的目标车道线实例分割结果之后，还包括：

获取所述目标道路的历史车道线实例分割结果；

计算所述历史车道线实例分割结果与所述目标车道线实例分割结果的相似度；

当所述相似度小于预设相似度阈值时，根据所述目标车道线实例分割结果对所述目标道路对应的电子地图进行更新。

9.根据权利要求8所述的方法，其特征在于，所述计算所述历史车道线实例分割结果与所述目标车道线实例分割结果的相似度之后，还包括：

当所述相似度小于所述预设相似度阈值时，获取所述目标道路的高精图像；

根据所述高精图像生成所述目标道路的高精车道线实例分割结果；

根据所述高精车道线实例分割结果对所述目标道路对应的电子地图进行更新。

10.一种车道线变化点的识别装置，其特征在于，所述装置包括：

获取单元，用于获取目标道路的卫星图像；

识别单元，用于对所述卫星图像进行车道线识别，得到所述目标道路的车道线的虚实分类结果以及所述目标道路的车道线的多个第一虚实变化点；

第一确定单元，用于根据所述虚实分类结果确定所述目标道路的车道线的多个第二虚实变化点；

第二确定单元，用于获取所述第一虚实变化点在所述卫星图像中的第一坐标，以及获取所述第二虚实变化点在所述卫星图像中的第二坐标；基于所述第一坐标与所述第二坐标，计算每一所述第二虚实变化点与多个所述第一虚实变化点之间距离的最小值；根据每一所述第二虚实变化点对应的最小值确定每一所述第二虚实变化点的置信度；

第三确定单元，用于根据所述置信度在所述多个第二虚实变化点中确定所述目标道路的目标车道线虚实变化点；

所述识别单元基于预设神经网络模型实现，所述预设神经网络模型包括图像特征提取层、车道线虚实分类层、车道线虚实变化点检测层以及车道线语义分割层，所述预设神经网络模型的训练过程，包括如下步骤：

获取训练样本数据，所述训练样本数据包括样本卫星图像以及样本卫星图像对应的标签数据，所述标签数据包括车道线虚实分类标签、车道线虚实变化点标签以及车道线语义分割标签；

基于所述样本卫星图像、所述车道线虚实分类标签、所述车道线虚实变化点标签以及车道线语义分割标签对所述预设神经网络模型进行训练。

11.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至9任意一项所述的车道线变化点的识别方法。

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至9任意一项所述的车道线变化点的识别方法。