CN110956100A - 一种高精度地图生成方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种高精度地图生成方法、装置、电子设备和存储介质。所述方法包括：从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；将所述路面元素模版绘制在所述高精度地图中。通过上述利用标准模版匹配的方式绘制高精度地图的方案，可以解决因路面污损导致的路面元素信息不清楚完整的问题，能够获得准确的路面元素形状和放置位置，并且该高精度地图生成方案的鲁棒性更好。

Description

一种高精度地图生成方法、装置、电子设备和存储介质

技术领域

本申请涉及地图制作领域，具体涉及一种高精度地图生成方法、装置、电子设备和存储介质。

背景技术

路面元素如导向箭头、人行道标志等是高精地图的一个重要道路元素，其一方面可以用来指示道路的转向行驶信息，帮助自动驾驶车辆获取正确的道路行驶决策，另一方面可以用来做高精定位，辅助自动驾驶车辆获取自身的实时准确位置。

目前行业内常用的提取路面元素的方法是从采集的摄像头图像中分割获取图像中路面元素轮廓区域的坐标，然后通过点云的投影，将路面元素的图像坐标转换得到对应的点云坐标。然而该方法受客观条件影响较大，导致提取的路面元素精度不足，鲁棒性低的问题。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种高精度地图生成方法、装置、电子设备和存储介质。

依据本申请的一个方面，提供了一种高精度地图生成方法，所述方法包括：

从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；

根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；

将所述路面元素模版绘制在所述高精度地图中。

可选的，所述从所述二维图像中识别出路面元素包括：

基于路面元素识别模型对所述二维图像进行识别，获取所述路面元素识别模型输出的路面元素类别信息和路面元素坐标信息；

所述路面元素识别模型通过以下方式训练得到的：

将路面元素标注信息的图像作为训练数据，对基础路面元素识别模型训练至预设的损失函数满足收敛条件得到的，所述路面元素标注信息包括路面元素类别信息和路面元素坐标信息。

可选的，所述路面元素包括路面导向箭头，所述路面元素的标识特征包括如下的至少一种：

箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

可选的，所述预存的路面元素模版库中的路面元素模版根据国家标准或行业标准制作，该路面元素模版包括如下的至少一项标识特征：箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

可选的，所述根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版包括：

利用箭头倾斜方向、箭头类型、箭头面积或箭头的外接矩形面积从预存的路面元素模版库中检索出最接近的路面元素模版。

可选的，所述从激光点云数据中获取二维图像包括：

根据激光点云的俯视图，截取以地面为高度的二维平面图像作为激光反射率底图。

可选的，所述将所述路面元素模版绘制在所述高精度地图中包括：

将所述路面元素模版绘制在所述激光反射率底图中，然后通过坐标变换根据所述激光反射率底图生成所述高精度地图。

依据本申请的另一方面，提供了一种高精度地图生成装置，所述装置包括：

识别单元，适于从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；

获取单元，适于根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；

绘制单元，适于将所述路面元素模版绘制在所述高精度地图中。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案公开的所述高精度地图生成方法，包括：从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；将所述路面元素模版绘制在所述高精度地图中。通过上述利用标准模版匹配的方式绘制高精度地图的方案，可以解决因路面污损导致的路面元素信息不清楚完整的问题，能够获得准确的路面元素形状和放置位置，并且该高精度地图生成方案的鲁棒性更好。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的高精度地图生成方法的流程示意图；

图2示出了根据本申请一个实施例的高精度地图生成装置的结构示意图；

图3示出了根据本申请一个实施例的电子设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5示出了根据本申请一个实施例的路面导向箭头模版示意图；

图6示出了根据本申请一个实施例的算法整体流程示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的高精度地图生成方法的流程示意图；所述方法包括：

步骤S110，从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征。

深度学习是一种机器学习方法，根据一定的输入，通过训练人工智能来预测输出，其中人工智能包括神经网络模型。为了实现对神经网络模型的训练，需要大量的数据，并且针对采集的数据进行初步标引。

优选的，所述图像的获取包括：由车载的激光雷达扫描路面实况获取激光雷达点云数据，处理该激光点云数据得到二维图像，该二维图像是根据点云俯视图在地面的高度上进行截取的。

从上述的激光反射率底图中识别出路面元素，该路面元素包括导向箭头、人行道标志等，为了后续与标准路面元素进行匹配，还要确定出上述路面元素的标识特征，比如路面导向箭头的倾斜导向，箭头的面积等。

根据深度学习的过程，为了实现路面元素和倾斜导向等的准确识别，需要对神经网络模型进行训练，而训练的数据优选为切分的且标注好所需地图元素、倾斜导向的激光反射率底图。

步骤S120，根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版。

在该实施例中，除了利用深度学习算法识别所述路面元素的标识特征之外，还引入了标准模版匹配的算法。具体地，以导向箭头为例，因为国内道路的路面导向箭头形状和大小都有国家标准，可以先对每种导向箭头制作对应模版，该箭头模版中存储有如下的信息：箭头的类型、外接矩形面积以及箭头区域面积，其中的外接矩形为能够整体覆盖该箭头的最小矩形，箭头的所有点或线均在该外接矩形内。

为了将导向箭头精确地绘制在高精度地图中，可以根据上述的标识特征等条件在预存的路面元素模版库中查找到相同或者最接近的路面元素模版，然后将该标准路面元素模版绘制在上述地图中。

步骤S130，将所述路面元素模版绘制在所述高精度地图中。

综上，图1公开的实施例中，首先通过深度学习算法将路面元素从激光点云数据得到的激光反射率底图中分割出来，并且获得其中的标识特征属性信息，比如导向箭头中对应的外接矩形、箭头面积、外接矩形面积以及倾斜方向，然后将这些信息与模版库中的标准模版进行匹配，从而找到最相似的路面元素模版，最后将最相似的箭头模版绘制在高精度地图中，作为真实的路面导向箭头，克服了直接从摄像头采集的图像中分割路面元素不够准确且系统鲁棒性不高的问题，从而提高了高精度地图的精确性。

在一个具体实施例中，步骤S110还包括：基于路面元素识别模型对所述二维图像进行识别，获取路面元素识别模型输出的路面元素类别信息和路面元素坐标信息；所述路面元素识别模型是将路面元素标注信息的图像作为训练数据，对基础路面元素识别模型训练至预设的损失函数满足收敛条件得到的，所述路面元素标注信息包括路面元素类别信息和路面元素坐标信息。

该实施例中具体描述了路面元素识别分割的过程，为了实现路面元素的分割，可建立用于路面元素识别的神经网络模型，通过对路面元素进行识别，能够获取该模型的识别结果，一般包括路面元素的类别信息以及坐标信息，进而获得感兴趣区域的面积等信息。

在一个具体实施例中，所述路面元素包括路面导向箭头，所述路面元素的标识特征包括如下的至少一种：箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

该实施例具体限定了路面元素识别中的一种情形：路面导向箭头的识别，而为了获取准确的识别和匹配结果，需要在激光反射率底图中标注出图像中箭头的轮廓坐标以及箭头的类别，进而获取箭头倾斜方向和面积属性，该面积属性可以是箭头本身的面积，也可以是外接矩形的面积。

在一个具体实施例中，所述预存的路面元素模版库中的路面元素模版根据国家标准或行业标准制作，该路面元素模版包括如下的至少一项标识特征：箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

参见图5，路面元素模版库中的模版是根据国家标准制作的箭头模版，且每一类箭头模版可以包括不同的规格，比如直行指示箭头可以包括3米、4.5米、6米和9米长箭头等系列。

在一个具体实施例中，所述步骤S120包括：利用箭头倾斜方向、箭头类型、箭头面积或箭头的外接矩形面积从预存的路面元素模版库中检索出最接近的路面元素模版。

该实施例以路面导向箭头为例，可以利用箭头类型、倾斜方向、箭头面积、箭头的外接矩形面积等条件进行检索，从而获得准确的路面元素模版，当然为了方便和快速地获得检索结果，也可以利用倾斜方向和箭头的外接矩形面积两个条件在模版库中进行检索。

在一个具体实施例中，所述从采集的激光点云数据中获取图像包括：根据激光点云的俯视图，截取以地面为高度的二维平面图像作为激光反射率底图。

一般采用相机等作为采集设备对路面图像进行采集，然而摄像头采集的数据受光照、天气等环境因素影响较大，导致提取的路面元素不准确、遗漏甚至无法提取；摄像头提取路面导向箭头需要通过与激光点云融合才能获得导向箭头的真实空间坐标，这个过程中需要对摄像头和激光雷达做标定同步，但是标定同步的误差会向后传递并累积，导致图像坐标和激光点云坐标在转换时出现更大误差；且摄像头一般安装在采集车的车顶，当道路拥堵时，摄像头会无法拍摄到路面，从而遗漏路面元素，为了克服该缺陷，在该实施例中采用激光雷达作为图像采集设备，并且为了便于分割出路面元素，以激光雷达采集到的激光点云数据中获取的激光反射率底图为对象进行提取。

该激光反射率底图的获取过程如下：获取激光雷达点云的俯视图(鸟瞰图)，若以垂直地面向上(高程)的方向为Z轴，且Z轴在地面的坐标值为0，则截取的Z＝0时的二维平面图像即为激光反射率底图。

在一个具体实施例中，所述步骤S130包括：将所述路面元素模版绘制在所述激光反射率底图中，然后通过坐标变换根据所述激光反射率底图生成所述高精度地图。

在该实施例中，首先可以通过坐标变换将路面元素模版绘制在激光反射率底图中，而激光反射率底图坐标和高精地图所需的3D坐标有对应关系，不需要像摄像头采集的图像那样做投影变换，而是直接做坐标变换。当然，在实际操作中，也可以直接将路面元素模版通过坐标变换方式绘制在高精度地图中。

本申请的高精度地图生成的算法流程示意图参见图6。

图2示出了根据本申请一个实施例的高精度地图生成装置的结构示意图；所述装置200包括：

识别单元210，适于从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征。

所述图像的获取包括：由激光雷达扫描获取激光雷达点云数据，处理该激光点云数据得到二维图像。

从上述的二维图像中识别出路面元素，该路面元素包括导向箭头、人行道标志等，为了后续与标准路面元素进行匹配，还要确定出上述路面元素的标识特征，比如路面导向箭头的倾斜导向，箭头的面积等。

获取单元220，适于根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版。

在该实施例中，除了利用深度学习算法识别所述路面元素的标识特征之外，还引入了标准模版匹配的算法。具体地，以导向箭头为例，因为国内道路的路面导向箭头形状和大小都有国家标准，可以先对每种导向箭头制作对应模版，该箭头模版中存储有如下的信息：箭头的类型、外接矩形面积以及箭头区域面积，其中的外接矩形为能够整体覆盖该箭头的最小矩形，箭头的所有点或线均在该外接矩形内。

绘制单元230，适于将所述路面元素模版绘制在所述高精度地图中。

综上，该高精度地图生成装置克服了直接从摄像头采集的图像中分割路面元素不够准确且系统鲁棒性不高的问题，从而提高了高精度地图的精确性。

在一个具体实施例中，识别单元210适于：基于路面元素识别模版对所述二维图像进行识别，获取路面元素识别模型输出的路面元素类别信息和路面元素坐标信息；所述路面元素识别模型是将路面元素标注信息的图像作为训练数据，对基础路面元素识别模型训练至预设的损失函数满足收敛条件得到的，所述路面元素标注信息包括路面元素类别信息和路面元素坐标信息。

该实施例中具体描述了路面元素识别分割的过程，为了实现路面元素的分割，可建立用于路面元素识别的神经网络模型，通过对路面元素进行识别，能够获取该模型的识别结果，一般包括路面元素的类别信息以及坐标信息，进而获得感兴趣区域的面积等信息。

在一个具体实施例中，所述路面元素包括路面导向箭头，所述路面元素的标识特征包括如下的至少一种：箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

在一个具体实施例中，所述预存的路面元素模版库中的路面元素模版根据国家标准或行业标准制作，该路面元素模版包括如下的至少一项标识特征：箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

在一个具体实施例中，所述检索单元220适于：利用箭头倾斜方向、箭头类型、箭头面积或箭头的外接矩形面积从预存的路面元素模版库中检索出最接近的路面元素模版。

以路面导向箭头为例，为了方便检索，可以利用倾斜方向、箭头类别、外接矩形面积、箭头面积四个条件进行模版匹配。

在一个具体实施例中，所述从采集的激光点云数据中获取图像包括：从激光点云数据中按照地面高程截取出二维的激光反射率底图。

在一个具体实施例中，所述绘制单元230适于：将所述路面元素模版绘制在所述激光反射率底图中，然后通过坐标变换根据所述激光反射率底图生成所述高精度地图。

综上所述，参见图6，本申请的技术方案公开的高精度地图生成方法，包括：从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；将所述路面元素模版绘制在所述高精度地图中。通过上述利用标准模版匹配的方式绘制高精度地图的方案，可以解决因路面污损导致的路面元素信息不清楚完整的问题，能够获得准确的路面元素形状和放置位置，并且该高精度地图生成方案的鲁棒性更好。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的高精度地图生成装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种高精度地图生成方法，其特征在于，所述方法包括：

从激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；

根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；

将所述路面元素模版绘制在所述高精度地图中。

2.如权利要求1所述的方法，其特征在于，所述从所述二维图像中识别出路面元素包括：

基于路面元素识别模型对所述二维图像进行识别，获取所述路面元素识别模型输出的路面元素类别信息和路面元素坐标信息；

所述路面元素识别模型通过以下方式训练得到的：

将路面元素标注信息的图像作为训练数据，对基础路面元素识别模型训练至预设的损失函数满足收敛条件得到的，所述路面元素标注信息包括路面元素类别信息和路面元素坐标信息。

3.如权利要求1或2所述的方法，其特征在于，所述路面元素包括路面导向箭头，所述路面元素的标识特征包括如下的至少一种：

箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

4.如权利要求3所述的方法，其特征在于，所述预存的路面元素模版库中的路面元素模版根据国家标准或行业标准制作，该路面元素模版包括如下的至少一项标识特征：箭头倾斜方向、箭头类型、箭头面积、箭头的外接矩形面积。

5.如权利要求4所述的方法，其特征在于，所述根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版包括：

利用箭头倾斜方向、箭头类型、箭头面积或箭头的外接矩形面积从预存的路面元素模版库中检索出最接近的路面元素模版。

6.如权利要求1所述的方法，其特征在于，所述从激光点云数据中获取二维图像包括：

根据激光点云的俯视图，截取以地面为高度的二维平面图像作为激光反射率底图。

7.如权利要求6所述的方法，其特征在于，所述将所述路面元素模版绘制在所述高精度地图中包括：

将所述路面元素模版绘制在所述激光反射率底图中，然后通过坐标变换根据所述激光反射率底图生成所述高精度地图。

8.一种高精度地图生成装置，其特征在于，所述装置包括：

识别单元，适于从采集的激光点云数据中获取二维图像，从所述二维图像中识别出路面元素，然后确定出所述路面元素的标识特征；

获取单元，适于根据所述标识特征从预存的路面元素模版库中获取与识别出的路面元素匹配的路面元素模版；

绘制单元，适于将所述路面元素模版绘制在所述高精度地图中。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。

Images