CN112132853A

CN112132853A - 地面导向箭头的构建方法及其装置、电子设备及存储介质

Info

Publication number: CN112132853A
Application number: CN202011367386.1A
Authority: CN
Inventors: 俞宏达; 魏曦; 郑炜栋
Original assignee: Hubei Ecarx Technology Co Ltd
Current assignee: Hubei Ecarx Technology Co Ltd
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2020-12-25
Anticipated expiration: 2040-11-30
Also published as: CN112132853B; WO2022110862A1

Abstract

本发明实施例提供了一种地面导向箭头的构建方法及其装置、电子设备及存储介质，涉及图像处理技术领域，包括：获取连续采集的道路图像，并确定每张道路图像中地面导向箭头所在的区域，作为箭头区域；针对每一张道路图像，生成该道路图像中每一箭头区域对应的掩膜图；对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图；基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓；根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头。采用本发明实施例可以提高构建地面导向箭头的效率。

Description

地面导向箭头的构建方法及其装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及地面导向箭头的构建方法及其装置、电子设备及存储介质。

背景技术

地面导向箭头是三维电子地图的重要组成部分，而现有的在三维电子地图中构建地面导向箭头的技术方案中，需要使用激光雷达采集点云数据，再进一步通过人工对采集到的点云数据识别出地面导向箭头的箭头类别、几何形态和位置，然后基于识别出的上述信息在三维电子地图中构建地面导向箭头。

虽然应用上述方式能够构建出地面导向箭头，但是人工识别地面导向箭头的箭头类别、几何形态和位置效率较低，从而导致地面导向箭头的构建效率较低。

发明内容

本发明实施例的目的在于提供一种地面导向箭头的构建方法及其装置、电子设备及存储介质，以提高地面导向箭头的构建效率。具体技术方案如下：

本发明实施例提供一种地面导向箭头的构建方法，包括：

获取连续采集的道路图像，并确定每张道路图像中地面导向箭头所在的区域，作为箭头区域；

针对每一张道路图像，生成该道路图像中每一箭头区域对应的掩膜图；

对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图；

基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓；

根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头。

进一步的，所述对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图，包括：

针对连续采集的多帧道路图像中的每帧道路图像，基于该道路图像的掩膜图中箭头区域的位置，预测该掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域；

计算每帧道路图像中每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域之间的交并比，并基于所计算的交并比，生成每帧道路图像中每一箭头区域与下一帧道路图像中每一箭头区域的匹配成本矩阵；

针对每帧道路图像的匹配成本矩阵，基于匈牙利算法对该匹配成本矩阵进行求解，得到每帧道路图像中各箭头区域与下一帧道路图像中各箭头区域匹配成本最低的匹配结果，其中，所述匹配结果用于指示相匹配的箭头区域，相匹配的箭头区域所表示的地面导向箭头相同；

将相匹配的箭头区域对应的掩膜图确定属于同一地面导向箭头的多个掩膜图。

进一步的，所述基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓，包括：

针对每一地面导向箭头的多个掩膜图中每一掩膜图，预测该箭头区域表示的地面导向箭头的预测箭头类别，并确定该掩膜图中的箭头区域所表示地面导向箭头的形态信息；

针对每一地面导向箭头，从该地面导向箭头的各预测箭头类别中，确定相同类别最多的预测箭头类别，作为该地面导向箭头的箭头类别，并且根据该地面导向箭头的各掩膜图中箭头区域的形态信息，确定该地面导向箭头的箭头轮廓的像素坐标集合。

进一步的，所述形态信息包括：轮廓完整度、轮廓光滑度和与预设箭头轮廓的轮廓贴合度；

所述根据该地面导向箭头的各掩膜图中箭头区域的形态信息，确定该地面导向箭头的箭头轮廓的像素坐标集合，包括：

基于该地面导向箭头的每一掩膜图中箭头区域的轮廓完整度、轮廓光滑度和轮廓贴合度，以及预设的轮廓完整度、轮廓光滑度和轮廓贴合度的评分权重，计算该掩膜图中箭头区域的形态评分；

从该地面导向箭头的各掩膜图中箭头区域中，选取形态评分最高的箭头区域，作为该地面导向箭头的目标区域；

提取该地面导向箭头的目标区域的轮廓，并对所提取的轮廓进行平滑处理，将平滑处理后的轮廓，作为该地面导向箭头的箭头轮廓；

提取该地面导向箭头的箭头轮廓的像素坐标集合。

进一步的，所述根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头，包括：

根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参，将每一地面导向箭头的箭头轮廓从图像像素坐标系转换到图像物理坐标系；

根据采集每一地面导向箭头的目标道路图像时所述图像采集设备的设备外参和设备内参，将每一地面导向箭头的箭头轮廓从图像物理坐标系转换到相机坐标系；

根据采集每一地面导向箭头的目标道路图像时所述图像采集设备的设备外参和所述图像采集设备在世界坐标系下的世界坐标，将每一地面导向箭头的箭头轮廓从相机坐标系转换到世界坐标系；

基于每一地面导向箭头的在所述世界坐标系下的箭头轮廓，计算每一地面导向箭头的投影位置；

在每一地面到像箭头的投影位置处构建属于每一地面导向箭头的箭头类别的地面导向箭头。

本发明实施例还提供一种地面导向箭头的构建装置，包括：

图像获取模块，用于获取连续采集的道路图像，并确定每张道路图像中地面导向箭头所在的区域，作为箭头区域；

掩膜图生成模块，用于针对每一张道路图像，生成该道路图像中每一箭头区域对应的掩膜图；

掩膜图追踪模块，用于对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图；

信息确定模块，用于基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓；

箭头构建模块，用于根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头。

进一步的，所述掩膜图追踪模块，具体用于针对连续采集的多帧道路图像中的每帧道路图像，基于该道路图像的掩膜图中箭头区域的位置，预测该掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域；计算每帧道路图像中每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域之间的交并比，并基于所计算的交并比，生成每帧道路图像中每一箭头区域与下一帧道路图像中每一箭头区域的匹配成本矩阵；针对每帧道路图像的匹配成本矩阵，基于匈牙利算法对该匹配成本矩阵进行求解，得到每帧道路图像中各箭头区域与下一帧道路图像中各箭头区域匹配成本最低的匹配结果，其中，所述匹配结果用于指示相匹配的箭头区域，相匹配的箭头区域所表示的地面导向箭头相同；将相匹配的箭头区域对应的掩膜图确定属于同一地面导向箭头的多个掩膜图。

进一步的，所述信息确定模块，具体用于针对每一地面导向箭头的多个掩膜图中每一掩膜图，预测该箭头区域表示的地面导向箭头的预测箭头类别，并确定该掩膜图中的箭头区域所表示地面导向箭头的形态信息；针对每一地面导向箭头，从该地面导向箭头的各预测箭头类别中，确定相同类别最多的预测箭头类别，作为该地面导向箭头的箭头类别，并且根据该地面导向箭头的各掩膜图中箭头区域的形态信息，确定该地面导向箭头的箭头轮廓的像素坐标集合。

所述信息确定模块，具体用于基于该地面导向箭头的每一掩膜图中箭头区域的轮廓完整度、轮廓光滑度和轮廓贴合度，以及预设的轮廓完整度、轮廓光滑度和轮廓贴合度的评分权重，计算该掩膜图中箭头区域的形态评分；从该地面导向箭头的各掩膜图中箭头区域中，选取形态评分最高的箭头区域，作为该地面导向箭头的目标区域；提取该地面导向箭头的目标区域的轮廓，并对所提取的轮廓进行平滑处理，将平滑处理后的轮廓，作为该地面导向箭头的箭头轮廓；提取该地面导向箭头的箭头轮廓的像素坐标集合。

进一步的，所述箭头构建模块，具体用于根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参，将每一地面导向箭头的箭头轮廓从图像像素坐标系转换到图像物理坐标系；根据采集每一地面导向箭头的目标道路图像时所述图像采集设备的设备外参和设备内参，将每一地面导向箭头的箭头轮廓从图像物理坐标系转换到相机坐标系；根据采集每一地面导向箭头的目标道路图像时所述图像采集设备的设备外参和所述图像采集设备在世界坐标系下的世界坐标，将每一地面导向箭头的箭头轮廓从相机坐标系转换到世界坐标系；基于每一地面导向箭头的在所述世界坐标系下的箭头轮廓，计算每一地面导向箭头的投影位置；在每一地面到像箭头的投影位置处构建属于每一地面导向箭头的箭头类别的地面导向箭头。

本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的地面导向箭头的构建方法步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的地面导向箭头的构建方法步骤。

本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的地面导向箭头的构建方法。

本发明实施例有益效果：

应用本发明实施例提供的方案构建地面导向箭头时，在获取连续采集的道路图像后，通过确定道路图像中的箭头区域、生成箭头区域对应的掩膜图等一系列操作，获取地面导向箭头的箭头类别和箭头轮廓，进而根据获取到的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头，这一过程不需要人工识别箭头类别和箭头轮廓，从而提高了地面导向箭头的构建效率。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明一个实施例提供的地面导向箭头的构建方法的流程图。

图2为本发明一个实施例提供的掩膜图确定方法的流程图。

图3为本发明一个实施例提供的地面导向箭头识别方法的流程图。

图4为本发明另一个实施例提供的地面导向箭头的构建方法的流程图。

图5为本发明一个实施例提供的地面导向箭头的构建装置的结构示意图。

图6为本发明一个实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种地面导向箭头的构建方法，如图1所示，该方法包括：

S101：获取连续采集的道路图像，并确定每张道路图像中地面导向箭头所在的区域，作为箭头区域。

S102：针对每一张道路图像，生成该道路图像中每一箭头区域对应的掩膜图。

S103：对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图。

S104：基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓。

S105：根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头。

本发明实施例提供的如图1所示的地面导向箭头的构建方法，可以在获取道路图像后，通过确定道路图像中的箭头区域、生成箭头区域对应的掩膜图等一系列操作，获取地面导向箭头的箭头类别和箭头轮廓，进而根据获取到的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头，这一过程不需要人工识别箭头类别和箭头轮廓，从而提高了地面导向箭头的构建效率。

为了清楚地阐述本发明实施例的技术方案，下面分步骤阐述本发明实施例提供的如图1所示的地面导向箭头的构建方法。

针对步骤S101，道路图像为对道路进行采集得到的图像，针对采集的道路图像而言，其可以划分为不含包地面导向箭头的道路图像和包含有地面导向箭头的道路图像，本方案仅涉及到包含有地面导向箭头的道路图像，为了更清楚阐述本发明实施例，本发明实施例中道路图像均为包含有地面导向箭头的道路图形。

可选的，针对不同的应用场景和应用需求采用不同的道路图像的获取方式，如，可以从存储有预先采集的道路图像的数据库中读取道路图像，也可以从图像采集设备的数据存储单元中拷贝图像采集设备采集的道路图像，还可以为从图像采集设备实时获取的道路图像，其中，图像采集设备可以为安装在采集车上的相机、摄像头、图像传感器等。

受制于采集道路图像时的道路环境、图像采集设备和采集角度等，道路图像中包含的地面导向箭头的数量是不固定的，每张道路图像可以仅包含一个地面导向箭头，也可以包含有多个地面导向箭头。当道路图像中仅包含有一个地面导向箭头时，可以将该地面导向箭头所在的区域作为箭头区域。当道路图像中包含有多个地面导向箭头时，针对每个地面导向箭头确定出相互独立的箭头区域。可选的，上述箭头区域可以为地面导向箭头所在的最小区域。

在本发明的一个实施例中，针对每张道路图像，可以使用图像分割模型对每张道路图像进行像素分割，分割出道路图像中每张地面导向箭头的像素区域，该像素区域即为箭头区域。可选的，图像分割模型可以为deeplabv3。

针对步骤S102，每一箭头区域对应的掩膜图为：将该箭头区域内像素的像素值设为第一像素值，该箭头区域外的像素的像素值设为第二像素值所生成的图像。如，将该箭头区域内像素的像素值设为1，该箭头区域外的像素的像素值设为0。

可选的，当道路图像中仅包含有一个地面导向箭头时，则通过道路图像仅能生成一张掩膜图，当道路图像中包含有多个地面导向箭头时，则针对每个地面导向箭头所在的区域均生成一张掩膜图，从而得到多张掩膜图。

针对步骤S103，针对道路中的地面导向箭头，图像采集设备在经过该地面导向箭头时，可能会对该地面导向箭头进行连续多次的采集，因而，针对道路中的一个地面导向箭头可能会被记录在多张道路图像中，这也就意味着在所有所得到的掩膜图中，属于同一地面导向箭头的掩膜图可以为多个。

可选的，可以对每个掩膜图中的箭头区域进行追踪，从而确定属于同一地面导向箭头的多个掩膜图。

如针对地面导向箭头T，图像采集设备在经过地面导向箭头T采集到了三张道路图像，分别为道路图像1、道路图像2和道路图像3，其中，地面导向箭头T分别位于道路图像1、道路图像2和道路图像3的底部区域、中部区域和顶部区域，经过步骤S102，可以得到地面导向箭头T分别在道路图像1、道路图像2和道路图像3所在区域对应的掩膜图1、掩膜图2和掩膜图3。在最先得到掩膜图1时，通过对掩膜图1进行追踪，可以确定掩膜图2和掩膜图3与掩膜图1同属同一个地面导向箭头。

针对步骤S104，其中，箭头类别包括：直行箭头、左转箭头、右转箭头等，而箭头轮廓可以为以箭头区域的边缘像素的像素坐标集合描述。

在本发明的一个实施例中，可以对每一地面导向箭头的多个掩膜图中箭头区域进行形状识别，根据所识别的区域形状确定每一地面导向箭头的箭头类别，并且所识别区域的区域轮廓即为每一地面导向箭头的的箭头轮廓。可选的，可以根据确定出的箭头类别的数量确定地面导向箭头的箭头类别。例如，可以将占比最多的箭头类别作为地面导向箭头的箭头类别。

可选的，可以对确定出各箭头轮廓进行融合，将融合后的箭头轮廓作为地面导向箭头的箭头轮廓。还可以先选择出最优的箭头轮廓作为地面导向箭头的箭头轮廓。

针对步骤S105，在确定每一地面导向箭头的箭头类别和箭头轮廓后，可以将箭头轮廓对应的像素坐标集合转换为三维电子地图中的三维坐标集合，以将箭头轮廓投影在三维电子地图中，并且将三维电子地图中箭头轮廓与确定的箭头类别关联，以生成三维电子地图中的地面导向箭头。

下面将结合具体实施例对本发明的技术方案进行阐述。

本发明的一个实施例中，可以将各掩膜图划分为多组，每组由第一类掩膜图和第二类掩膜图组成，其中，第一类掩膜图为：第一道路图像内各箭头区域对应的掩膜图，第二类掩膜图为：第二道路图像内各箭头区域对应的掩膜图，第一道路图像与第二道路图像采集时刻相邻，且第一道路图像的采集时刻早于第二道路图像。

示例性的，存在连续采集的道路图像A、道路图像B、道路图像C，其中，道路图像A内各箭头区域对应的掩膜图包括掩膜图A1、掩膜图A2和掩膜图A3；道路图像B内各箭头区域对应的掩膜图包括掩膜图B1、掩膜图B2和掩膜图B3；道路图像C内各箭头区域对应的掩膜图包括掩膜图C1、掩膜图C2和掩膜图C3。其中，道路图像A对应的掩膜图和道路图像B对应的掩膜图可以组合成一组，该组中，掩膜图A1、掩膜图A2和掩膜图A3为第一类掩膜图，掩膜图B1、掩膜图B2和掩膜图B3为第二类掩膜图。同样的，道路图像B对应的掩膜图和道路图像C对应的掩膜图可以组合成一组，该组中，掩膜图B1、掩膜图B2和掩膜图B3为第一类掩膜图，掩膜图C1、掩膜图C2和掩膜图C3为第二类掩膜图。

需要说明的是，在实际使用的过程中，当道路图像为实时采集时，上述分组过程可以为实时进行的，举例而言，当在T时刻采集到道路图像，可以将T-1时刻采集到道路图像对应的掩膜图作为第一类掩膜图，将T时刻采集到道路图像对应的掩膜图作为第二类掩膜图，当图像采集设备在T+1时刻继续采集图像时，可以将T时刻采集到道路图像对应的掩膜图作为第一类掩膜图，将T+1时刻采集到道路图像对应的掩膜图作为第二类掩膜图。

针对每组中的第一类掩膜图和第二类掩膜图，可以按照如图2所示的掩膜图确定方法实现从各组第一类掩模图和第二类掩膜图中选择箭头区域表示同一地面导向箭头的掩膜图，包括：

S201：针对连续采集的多帧道路图像中的每帧道路图像，基于该道路图像的掩膜图中箭头区域的位置，预测该掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域。

本步骤中，可以结合基于每一道路图像的掩膜图中箭头区域的位置，预测每一掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域。

可选的，以每一道路图像的掩膜图中箭头区域的位置，按照运动信息所表征的在一个采集周期所运行的距离、方向，预测每一掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域。其中，运动信息可以为每一道路图像的掩膜图中箭头区域所表示地面导向箭头在相邻道路图像所处区域的位置相差信息，也可以为基于图像采集设备的采集周期、图像采集设备所在车辆的行驶速度、图像采集设备采集道路图像时的拍摄角度等参数所确定的运动参数。

在本发明的一个实施例中，针对连续采集的多帧道路图像中的每帧道路图像，还可以基于卡尔曼滤波算法预测该掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域。

S202：计算每帧道路图像中每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域之间的交并比，并基于所计算的交并比，生成每帧道路图像中每一箭头区域与下一帧道路图像中每一箭头区域的匹配成本矩阵。

在本发明的一个实施例中，可以基于每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域的相对位置，每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域之间的交并比。

其中，上述交并比为：两个区域的相交所得到的交集区域和两个区域并集区域的面积比值，两个区域的交并比可以反映两个区域的重叠率，当交并比为1时，表示两个区域完全重叠，当交并比为0时，表示两个区域完全不重叠。

在本发明的一个实施例中，可以基于计算得到的交并比生成该组的交并比矩阵。举例而言，预测箭头区域的数量为M个，下一帧道路图像中箭头区域为N个，则可以建立M

N的交并补矩阵，作为每帧道路图像中每一箭头区域与下一帧道路图像中每一箭头区域的匹配成本矩阵。

S203：针对每帧道路图像的匹配成本矩阵，基于匈牙利算法对该匹配成本矩阵进行求解，得到每帧道路图像中各箭头区域与下一帧道路图像中各箭头区域匹配成本最低的匹配结果，其中，匹配结果用于指示相匹配的箭头区域，相匹配的箭头区域所表示的地面导向箭头相同。

其中，匈牙利算法（Hungarian Algorithm）是一种在多项式时间内求解任务分配问题的组合优化算法，可以计算每一种匹配结果的匹配成本。其中，匹配结果用于指示相匹配的箭头区域，而相匹配的箭头区域所表示的地面导向箭头相同。进而可以选择出每帧道路图像中各箭头区域与下一帧道路图像中各箭头区域匹配成本最低的匹配结果。

S204：将相匹配的箭头区域对应的掩膜图确定属于同一地面导向箭头的多个掩膜图。

本步骤中，示例性的，箭头区域1与箭头区域2相匹配、箭头区域2与箭头区域3相匹配、箭头区域3与箭头区域4相匹配，则箭头区域1、箭头区域2、箭头区域3和箭头区域4对应的掩膜图为属于同一地面导向箭头的多个掩膜图。

在本发明的一个实施例中，还可以基于SORT（Simple Online And RealtimeTracking，简单在线和实时跟踪）算法，以实现对表示同一地面导向箭头的掩膜图的追踪。

在使用SORT算法对地面导向箭头进行跟踪的过程中，当存在地面导向箭头未被追踪到的次数大于预设次数时，可以将该地面导向箭头作新目标，并对该地面导向箭头重复执行上述操作，如重新确定该地面导向箭头所表的箭头区域等。

在一个实施例中，在图1所示的基础上，针对每一地面导向箭头的多个掩膜图，可以采用如图3所示地面导向箭头识别方法确定每一地面导向箭头的箭头类别和箭头轮廓，包括：

S301：针对每一地面导向箭头的多个掩膜图中每一掩膜图，预测该箭头区域表示的地面导向箭头的预测箭头类别，并确定该掩膜图中的箭头区域所表示地面导向箭头的形态信息。

本步骤中，针对每一箭头区域，可以根据该箭头区域的区域轮廓上像素之间的位置关系，与预设的、不同箭头类别的地面导向箭头的箭头区域上像素之间的位置关系做对比，将位置关系最相似的预设的地面导向箭头所属的箭头类别作为对应箭头区域的预测箭头类别。

上述形态信息包括：轮廓完整度、轮廓光滑度和与预设箭头轮廓的轮廓贴合度。

在本发明的一个实施例中，还可以通过ResNet50（Residual Network 50，残余网络50）模型对每一掩膜图进行处理，得到每一掩膜图中箭头区域所表示地面导向箭头的预测箭头类别和形态信息。

S302：针对每一地面导向箭头，从该地面导向箭头的各预测箭头类别中，确定相同类别最多的预测箭头类别，作为该地面导向箭头的箭头类别，并且根据该地面导向箭头的各掩膜图中箭头区域的形态信息，确定该地面导向箭头的箭头轮廓的像素坐标集合。

本步骤中，针对每一地面导向箭头，可以从该地面导向箭头的各预测箭头类别中，确定相同类别最多的预测箭头类别，作为该地面导向箭头的箭头类别。

在本发明的一个实施例中，由于箭头区域的区域轮廓的完整度,与预设箭头轮廓的贴合程度以及区域轮廓的光滑程度，进而可以根据不同箭头区域的形态信息确定各地面导向箭头的形态的优劣程度，从而可以选取出表示的地面导向箭头形态最优的箭头区域，并以该箭头区域的区域轮廓作为该掩膜图集合对应的地面导向箭头的箭头轮廓，或者对该箭头区域的区域轮廓进行进一步的处理。

此时，可以按照下述步骤实现：

步骤1：基于该地面导向箭头的每一掩膜图中箭头区域的轮廓完整度、轮廓光滑度和轮廓贴合度，以及预设的轮廓完整度、轮廓光滑度和轮廓贴合度的评分权重，计算该掩膜图中箭头区域的形态评分。

步骤2：从该地面导向箭头的各掩膜图中箭头区域中，选取形态评分最高的箭头区域，作为该地面导向箭头的目标区域。

本步骤中，可选的，形态信息可以为根据箭头区域的区域轮廓的完整度,与预设箭头轮廓的贴合程度以及区域轮廓的光滑程度所确定的形态评分，形态评分越高表示箭头区域所表示的地面导向箭头的形态越好，可以选取形态评分最高的箭头区域，作为目标区域。

步骤3：提取该地面导向箭头的目标区域的轮廓，并对所提取的轮廓进行平滑处理，将平滑处理后的轮廓，作为该地面导向箭头的箭头轮廓。

本步骤中，可以提取目标区域的边缘像素的轮廓，可以将所提取的轮廓作为地面导向箭头箭头轮廓。还可以对所提取的轮廓进行平滑处理，将平滑处理后的轮廓，作为地面导向箭头的箭头轮廓。可选的，可以使用Douglas-Peucker（道格拉斯-皮克）算法对所提取的轮廓进行平滑处理。

步骤4：提取该地面导向箭头的箭头轮廓的像素坐标集合。

本步骤中，在确定出地面导向箭头的箭头轮廓后，可以提取该地面导向箭头的箭头轮廓的像素坐标集合。可选的，可以使用八邻域算法提取目标区域的箭头轮廓的的像素坐标，组成像素坐标集合。

本发明实施例提供的如图3所示的地面导向箭头识别方法，由于可以根据掩膜图集合内每一掩膜图中的箭头区域确定出与掩膜图集合对应的地面导向箭头的箭头类别和箭头轮廓，从而为基于道路图像构建位于三维电子地图中的地面导向箭头提供了基础，可以提高地面导向箭头的构建效率。

在一个实施例中，在如图1所示地面导向箭头构建方法的基础上，针对每一掩膜图集合，可以按照如图4所示地面导向箭头的构建方法在三维电子地图中构建每一掩膜图集合对应的地面导向箭头，包括：

S401：根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参，将每一地面导向箭头的箭头轮廓从图像像素坐标系转换到图像物理坐标系。

S402：根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参和设备内参，将每一地面导向箭头的箭头轮廓从图像物理坐标系转换到相机坐标系。

S403：根据采集每一地面导向箭头的目标道路图像时所述图像采集设备的设备外参和所述图像采集设备在世界坐标系下的世界坐标，将每一地面导向箭头的箭头轮廓从相机坐标系转换到世界坐标系。

S404：基于每一地面导向箭头的在世界坐标系下的箭头轮廓，计算每一地面导向箭头的投影位置。

S405：在每一地面到像箭头的投影位置处构建属于每一地面导向箭头的箭头类别的地面导向箭头。

其中，图像采集设备的设备外参包括采集道路图像时与道路的高度差、所处的经纬度等参数，而设备内参则包括该图像采集设备的焦距等参数。

在本发的一个实施例中，可以按照以下公式将地面导向箭头投影在三维电子地图中：

其中，

为尺度齐次，

为像素点在像素坐标系中的横坐标，

为像素点在像素坐标系中的纵坐标，

为每个像素在像素坐标系中的横轴上的物理尺寸，

为每个像素在像素坐标系中的纵轴上的物理尺寸，

为图像平面中心在像素坐标系中的横坐标，

为图像平面中心在像素坐标系中的纵坐标，

为图像采集设备的焦距，

为旋转矩阵、

为平移向量，（

，

，

）表示在三维电子图像中的投影坐标。

相应于上述地面导向箭头的构建装置方法，如图5所示，本发明实施例还提供了一种地面导向箭头的构建装置，装置包括：

图像获取模块501，用于获取连续采集的道路图像，并确定每张道路图像中地面导向箭头所在的区域，作为箭头区域；

掩膜图生成模块502，用于针对每一张道路图像，生成该道路图像中每一箭头区域对应的掩膜图；

掩膜图追踪模块503，用于对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图；

信息确定模块504，用于基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓；

箭头构建模块505，用于根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头。

进一步的，掩膜图追踪模块，具体用于针对连续采集的多帧道路图像中的每帧道路图像，基于该道路图像的掩膜图中箭头区域的位置，预测该掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域；计算每帧道路图像中每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域之间的交并比，并基于所计算的交并比，生成每帧道路图像中每一箭头区域与下一帧道路图像中每一箭头区域的匹配成本矩阵；针对每帧道路图像的匹配成本矩阵，基于匈牙利算法对该匹配成本矩阵进行求解，得到每帧道路图像中各箭头区域与下一帧道路图像中各箭头区域匹配成本最低的匹配结果，其中，匹配结果用于指示相匹配的箭头区域，相匹配的箭头区域所表示的地面导向箭头相同；将相匹配的箭头区域对应的掩膜图确定属于同一地面导向箭头的多个掩膜图。

进一步的，信息确定模块，具体用于针对每一地面导向箭头的多个掩膜图中每一掩膜图，预测该箭头区域表示的地面导向箭头的预测箭头类别，并确定该掩膜图中的箭头区域所表示地面导向箭头的形态信息；针对每一地面导向箭头，从该地面导向箭头的各预测箭头类别中，确定相同类别最多的预测箭头类别，作为该地面导向箭头的箭头类别，并且根据该地面导向箭头的各掩膜图中箭头区域的形态信息，确定该地面导向箭头的箭头轮廓的像素坐标集合。

进一步的，形态信息包括：轮廓完整度、轮廓光滑度和与预设箭头轮廓的轮廓贴合度；

信息确定模块，具体用于基于该地面导向箭头的每一掩膜图中箭头区域的轮廓完整度、轮廓光滑度和轮廓贴合度，以及预设的轮廓完整度、轮廓光滑度和轮廓贴合度的评分权重，计算该掩膜图中箭头区域的形态评分；从该地面导向箭头的各掩膜图中箭头区域中，选取形态评分最高的箭头区域，作为该地面导向箭头的目标区域；提取该地面导向箭头的目标区域的轮廓，并对所提取的轮廓进行平滑处理，将平滑处理后的轮廓，作为该地面导向箭头的箭头轮廓；提取该地面导向箭头的箭头轮廓的像素坐标集合。

进一步的，箭头构建模块，具体用于根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参，将每一地面导向箭头的箭头轮廓从图像像素坐标系转换到图像物理坐标系；根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参和设备内参，将每一地面导向箭头的箭头轮廓从图像物理坐标系转换到相机坐标系；根据采集每一地面导向箭头的目标道路图像时图像采集设备的设备外参和图像采集设备在世界坐标系下的世界坐标，将每一地面导向箭头的箭头轮廓从相机坐标系转换到世界坐标系；基于每一地面导向箭头的在世界坐标系下的箭头轮廓，计算每一地面导向箭头的投影位置；在每一地面到像箭头的投影位置处构建属于每一地面导向箭头的箭头类别的地面导向箭头。

本发明实施例提供的如图5所示的地面导向箭头的构建装置，由于可以通过确定道路图像中的箭头区域、生成箭头区域对应的掩膜图等一系列操作，获取地面导向箭头的箭头类别和箭头轮廓，进而根据获取到的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头，这一过程不需要人工识别箭头类别和箭头轮廓，从而提高了地面导向箭头的构建效率。

本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：

本发明实施例提供的如图6所示的电子设备，由于可以通过确定道路图像中的箭头区域、生成箭头区域对应的掩膜图等一系列操作，获取地面导向箭头的箭头类别和箭头轮廓，进而根据获取到的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头，这一过程不需要人工识别箭头类别和箭头轮廓，从而提高了地面导向箭头的构建效率。

需要说明的是，上述电子设备实现地面导向箭头的构建的其他实施例，与前述方法实施例部分提及的地面导向箭头的构建方法相同，在此不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一地面导向箭头的构建方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一地面导向箭头的构建方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种地面导向箭头的构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对生成的掩膜图进行追踪，确定属于同一地面导向箭头的多个掩膜图，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于每一地面导向箭头的多个掩膜图中箭头区域，确定每一地面导向箭头的箭头类别和箭头轮廓，包括：

4.根据权利要求3所述的方法，其特征在于，

所述形态信息包括：轮廓完整度、轮廓光滑度和与预设箭头轮廓的轮廓贴合度；

提取该地面导向箭头的箭头轮廓的像素坐标集合。

5.根据权利要求1所述的方法，其特征在于，所述根据每一地面导向箭头的箭头类别和箭头轮廓，构建位于三维电子地图中的地面导向箭头，包括：

6.一种地面导向箭头的构建装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述掩膜图追踪模块，具体用于针对连续采集的多帧道路图像中的每帧道路图像，基于该道路图像的掩膜图中箭头区域的位置，预测该掩膜图所属的地面导向箭头在下一帧道路图像中所在的箭头区域；计算每帧道路图像中每一箭头区域的预测箭头区域与下一帧道路图像中每一箭头区域之间的交并比，并基于所计算的交并比，生成每帧道路图像中每一箭头区域与下一帧道路图像中每一箭头区域的匹配成本矩阵；针对每帧道路图像的匹配成本矩阵，基于匈牙利算法对该匹配成本矩阵进行求解，得到每帧道路图像中各箭头区域与下一帧道路图像中各箭头区域匹配成本最低的匹配结果，其中，所述匹配结果用于指示相匹配的箭头区域，相匹配的箭头区域所表示的地面导向箭头相同；将相匹配的箭头区域对应的掩膜图确定属于同一地面导向箭头的多个掩膜图。

8.根据权利要求6所述的装置，其特征在于，所述信息确定模块，具体用于针对每一地面导向箭头的多个掩膜图中每一掩膜图，预测该箭头区域表示的地面导向箭头的预测箭头类别，并确定该掩膜图中的箭头区域所表示地面导向箭头的形态信息；针对每一地面导向箭头，从该地面导向箭头的各预测箭头类别中，确定相同类别最多的预测箭头类别，作为该地面导向箭头的箭头类别，并且根据该地面导向箭头的各掩膜图中箭头区域的形态信息，确定该地面导向箭头的箭头轮廓的像素坐标集合。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。