CN108847121A

CN108847121A - 构建高精度地图的方法和装置

Info

Publication number: CN108847121A
Application number: CN201810729351.4A
Authority: CN
Inventors: 杨帅
Original assignee: Shenzhen Horizon Robotics Science and Technology Co Ltd
Current assignee: Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date: 2018-07-04
Filing date: 2018-07-04
Publication date: 2018-11-20

Abstract

公开了一种构建高精度地图的方法和装置，该方法包括：基于深度学习算法对来自车辆的车载相机的一个或多个图像进行语义感知；根据车辆的姿态数据和语义感知的结果对关注路标进行三维重建；对三维重建的结果进行参数化；以及将参数化的结果添加到高精度地图数据库。所公开的方法和装置能够极大地降低高精度地图的制作成本，便于采用众包方式采集数据并有利于提高高精度地图的更新频率。

Description

构建高精度地图的方法和装置

技术领域

本公开总体上涉及自动驾驶的技术领域，并且具体地涉及一种以低成本的方式构建高精度地图的方法和装置。

背景技术

自动驾驶通常要求使用高精度地图。这样的高精度地图可以达到厘米级别的精度，并且包含比数字地图更丰富的细节信息(例如，道路坡度、曲率等)，这对于车辆的导航、定位、控制和安全性至关重要。

对于高精度地图，通常需要使用价格昂贵的激光雷达和高精度定位传感器来采集点云数据，然后由专业技术人员对点云数据进行数据清洗、拼接、对齐、数据矢量化、索引等一系列操作，因此设备成本和对专业人员的技能水平的要求都非常高，使得高精度地图难以大规模部署，并极大地限制了高精度地图的更新频率。另外，通常的高精度地图的制作过程的每个环节都需要人工参与，这也极大地限制了高精度地图的制作效率。

另外，在通常的高精度地图的制作过程中，为了同时获得场景的结构和颜色信息，往往需要同时使用相机和激光雷达传感器，这必然引入了相机与激光雷达的标定和同步等处理，极大地增加了系统和制作过程的复杂度。

另外，控制通常方式制作出来的高精度地图中可能包括大量的冗余信息或者当前处于静止状态但实际上可移动的潜在动态对象，因此增大了高精度地图的存储和传输的压力，从而极大地限制了高精度地图的更新效率。

因此，期望能够提供一种成本低、自动化程度高并有利于地图更新的高精度地图的制作方法。

发明内容

一方面，本公开提供了一种构建高精度地图的方法，该方法包括：基于深度学习算法对来自车辆的车载相机的一个或多个图像进行语义感知；根据车辆的姿态数据和语义感知的结果对关注路标进行三维重建；对三维重建的结果进行参数化；以及将参数化的结果添加到高精度地图数据库。

另一方面，本公开还提供了一种计算机可读的非临时性存储介质，在其上存储有在被执行时执行上述方法的程序指令。

另一方面，本公开还提供了一种构建高精度地图的装置，该装置可以包括：一个或多个处理器，被配置为在启用时接收来自车辆的车载相机的一个或多个图像并且至少执行上述方法。

另一方面，本公开还提供了一种构建高精度地图的装置，该装置可以包括：感知器，被配置为接收来自车辆的车载相机的一个或多个图像，并且基于深度学习算法对所接收的一个或多个图像进行语义感知；定位器，被配置为获得车辆的姿态数据；重建器，被配置为根据来自感知器和定位器的输出对关注路标进行三维重建；以及参数化处理器，被配置为对来自重建器的输出进行参数化，并且将参数化的结果提供给高精度地图数据库。

通过根据本公开的实施例的方法和装置，能够使用通过车辆的车载相机(例如，单目相机)采集的常规图像/图片制作高精度地图，而不必使用昂贵的激光雷达和/或其他高精度定位传感器，极大地降低了制作高精度地图的硬件成本。

另外，根据本公开的实施例的方法和装置通过采用基于深度学习算法或模型来对所采集的图像进行语义感知，降低甚至消除了对专业人员的技能水平的依赖，能够支持通过众包的方式采集和更新数据，并且能够实现高精度地图的自动化，从而能够极大地提高高精度地图的制作效率和更新频率。

另外，在根据本公开的实施例的方法和装置中，由于不必使用昂贵的激光雷达，所以可以不涉及相机与激光雷达的标定和同步等处理，从而能够极大地降低方法的复杂度并提高地图的制作效率。

而且，通过根据本公开的实施例的方法和装置制作出来的高精地图能够极大地降低高精度地图的存储和传输的压力，从而提高高精度地图的更新效率。

附图说明

图1示出根据本公开的实施例的示例方法的流程图。

图2示出根据本公开的实施例的示例装置的框图。

具体实施方式

下面结合附图描述根据本公开的实施例的用于构建高精度地图的方法和装置的示例。

如图1所示，根据本公开的实施例的方法可以开始于步骤S110，以基于深度学习算法对来自车辆的车载相机的一个或多个图像进行语义感知。

在一个实施例中，可以通过一个或多个适当的深度学习算法或模型，确定来自每个图像中的每个像素所属的地图元素的类别，检测关注路标在每个图像中的边界，确定关注路标的类别，并且确定关注路标在连续的两个图像之间的关联性，由此进行步骤S110中的语义感知。

本公开不局限于任何特定的深度学习算法或模型，而是可以采用任何适当的一个或多个深度学习算法或模型，例如深度学习网络或卷积神经网络。

根据不同的实施例，地图元素的类别可以包括但不限于道路、车道线、停车位、隧道、桥梁、信号指示牌、交通信号灯、铁路、路口区域、站台、禁停区、停止线、人行横道、减速带、柱子、墙体、围栏、树木、花坛和建筑物中的一个或多个。

根据本公开的实施例的关注路标的类别可以包括垂直于路面或水平面的线状路标(例如，灯柱、交通信号灯、标志杆)和垂直于路面或水平面的面状路标(例如，信号指示牌)。

然而，根据本公开的实施例的关注路标不包括当前正在移动的动态对象和当前处于静止状态但实际上可移动的潜在动态对象，例如，移动中的行人或车辆以及当前处于停止状态的行人或车辆。

然后，根据本公开的实施例的方法可以继续到步骤S120，以根据车辆的姿态数据和步骤S110中的语义感知的结果对关注路标进行三维重建。

在一个实施例中，车辆的姿态数据包括车辆在三维空间中的六个自由度的描述数据。例如，可以根据来自车辆的诸如轮速计、惯性测量单元(IMU)、全球定位系统(GPS)等一个或多个测量单元/部件的感测数据，确定或计算出车辆的姿态数据。

在一个实施例中，可以根据车辆的姿态数据和语义感知的结果，通过多视角(多视图)几何技术重建关注路标上的多个关键点，并根据这些关键点获得关注路标上的点云。

关注路标上的点云可能包含噪声并且所包括的点的数量很多，因此根据本公开的实施例的方法可以在步骤S120之后继续到步骤S130，以对三维重建的结果(即，通过三维重建获得的点云)进行参数化。

在一个实施例中，可以通过参数拟合获得关注路标的表征方程。例如，可以使用描述线的方程来表征诸如灯柱这样的垂直于路面或水平面的线状路标，并且可以使用描述平面的方程来表征诸如标志牌这样的垂直于路面或水平面的面状路标。

然后，可以根据在步骤S110中获得的语义感知的结果和表征方程，获得关注路标的标注信息。这样的标注信息可以包括但不局限于关注路标的尺寸数据(例如高度、宽度、直径)、对应的地图元素的类别和包围框中的一个或多个。

然后，根据本公开的实施例的方法可以继续到步骤S140，以将参数化的结果添加到高精度地图数据库中。

根据本公开的实施例的方法深度学习算法或模型处理例如单目相机类型的车载相机拍摄或采集的一个或多个图像(或者图像序列)，相比于使用昂贵的激光雷达和/或其他高精度定位传感器的高精度地图制作装置，硬件成本显著降低，同时使得根据本公开的实施例的方法能够实现高精度地图的制作的自动化，能够降低甚至消除对专业人员的技能水平的依赖，并且能够支持通过众包的方式采集和更新数据，有利于提高高精度地图的制作效率和更新频率。

另外，在根据本公开的实施例的方法中，将参数化的结果添加到高精度地图数据库中，并且排除那些当前正在移动的动态对象和当前处于静止状态但实际上可移动的潜在动态对象，使得能够极大地降低高精度地图的存储和传输的压力，并提高高精度地图的更新效率。

在一个实施例中，可以在一个或多个计算机可读取的非临时性存储介质上存储或实施能够执行上述方法的各个步骤的程序指令，使得这样的非临时性存储介质能够在被计算机或其他计算装置(例如处理器)读取时提供相应的程序指令，并使得计算机或其他计算装置能够根据所读取的程序指令执行相应的操作。根据不同的实施例，程序指令能够以诸如源代码、二进制代码、中间代码等各种形式或各种形式的不同组合而实施或存储在非临时性存储介质上。

图2示出根据本公开的实施例的能够实现上述方法的装置的框图。如图2所示，根据本公开的实施例的装置可以包括感知器210、定位器220、重建器230和参数化处理器240。

在一个实施例中，感知器210可以包括一个或多个专用或通用的处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。在另外的实施例中，感知器210可以包括深度学习算法或模型专用的芯片(例如，可以包括乘加单元阵列和片上存储等部件)或片上处理器。感知器210可以耦接到车辆的车载相机CAM，并且可以基于深度学习算法或模型对所接收的一个或多个图像进行语义感知。在一个实施例中，感知器210中的一个或多个处理器可以被配置为至少执行上述方法中的步骤S110中的操作。

在一个实施例中，定位器220可以包括一个或多个专用或通用的处理器(例如，CPU、GPU、FPGA等)，并且可以被配置为获得车辆的姿态数据。在一个实施例中，定位器220可以耦接到车辆的诸如轮速计、惯性测量单元(IMU)、全球定位系统(GPS)等一个或多个测量单元/部件或者与车辆的这样的一个或多个测量单元/部件进行通信，以从车辆的一个或多个测量单元/部件接收相应的感测数据，并且基于所接收的感测数据获得车辆的姿态数据，例如车辆在三维空间中的六个自由度的描述数据。

在一个实施例中，重建器230可以包括一个或多个专用或通用的处理器(例如，CPU、GPU、FPGA等)，并且可以耦接到感知器210和定位器220以接收分别来自感知器210和定位器220的输出。重建器230可以被配置为根据来自感知器210和定位器220的输出对关注路标进行三维重建。在一个实施例中，重建器230中的一个或多个处理器可以被配置为至少执行上述方法中的步骤S120中的操作。

在一个实施例中，参数化处理器240可以一个或多个专用或通用的处理器(例如，CPU、GPU、FPGA等)，并且可以耦接到重建器230和高精度地图数据库MDB。参数化处理器240可以被配置为对来自重建器230的输出进行参数化，并且将参数化的结果提供给高精度地图数据库MDB。在一个实施例中，参数化处理器240中的一个或多个处理器可以被配置为至少执行上述方法中的步骤S130和S140中的操作。

在另外的实施例中，示例装置300还可以包括诸如控制面板、显示器、I/O接口、存储器、网络接口等其他部件，以便与其他部件或装置或操作人员进行信息/数据交互。

应当理解，图2所示的装置仅是示例性的，而非限制性的。根据本公开的实施例的装置可以具有其他部件和/或结构。

例如，在另外的实施例中，装置可以包括一个或多个处理器，并且这样的一个或多个处理器可以被配置为在启用时接收来自车辆的车载相机的一个或多个图像并且至少执行根据本公开的实施例的用于构建高精度地图的方法的步骤。

在该实施例中，装置还可以包括一个或多个存储器。例如，存储器可以包括各种形式的计算机可读写存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)、高速缓冲存储器(cache)、片上存储器等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪速存储器等。可读写存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件、或者任意以上的组合。在一个实施例中，存储器可以存储用于指示装置中的一个或多个处理器执行根据本公开的实施例的方法的步骤的程序指令。

另外，车辆的车载相机(例如，可以是单目相机)也可以作为装置的一部分。

根据本公开的实施例的装置采用深度学习算法或模型处理例如单目相机类型的车载相机拍摄或采集的一个或多个图像(或者图像序列)，相比于使用昂贵的激光雷达和/或其他高精度定位传感器的高精度地图制作装置，硬件成本显著降低，同时使得根据本公开的实施例的方法能够实现高精度地图的制作的自动化，能够降低甚至消除对专业人员的技能水平的依赖，并且能够支持通过众包的方式采集和更新数据，有利于提高高精度地图的制作效率和更新频率。

另外，根据本公开的实施例的装置能够将参数化的结果添加到高精度地图数据库中并且排除那些当前正在移动的动态对象和当前处于静止状态但实际上可移动的潜在动态对象，从而能够极大地降低高精度地图的存储和传输的压力，并提高高精度地图的更新效率。

贯穿说明书和权利要求书，除非上下文清楚地另有要求，否则措词“包括”、“包含”等应当以与排他性或穷尽性的意义相反的包括性的意义来解释，也就是说，应当以“包括但不限于”的意义来解释。另外，措词“在本文中”、“上文”、“下文”以及相似含义的措词在本申请中使用时应当指作为整体的本申请，而不是本申请的任何具体部分。在上下文允许时，在使用单数或复数的以上描述中的措词也可以分别包括复数或单数。关于在提及两个或多个项目的列表时的措词“或”，该措词涵盖该措词的以下解释中的全部：列表中的任何项目，列表中的所有项目，以及列表中的项目的任何组合。

虽然已经描述了本公开的一些实施例，但是这些实施例仅作为示例而呈现，而不打算限制本公开的范围。实际上，在本文中所描述的方法和系统可以采用多种其他形式来实施。另外，可以在不脱离本公开的范围的情况下，在本文中所描述的方法和装置的形式上做出各种省略、替换和改变。

Claims

1.一种构建高精度地图的方法，包括：

基于深度学习算法对来自车辆的车载相机的一个或多个图像进行语义感知；

根据所述车辆的姿态数据和所述语义感知的结果对关注路标进行三维重建；

对所述三维重建的结果进行参数化；以及

将所述参数化的结果添加到高精度地图数据库。

2.根据权利要求1所述的方法，其中，所述语义感知包括：

确定所述一个或多个图像中的每个图像中的每个像素所属的地图元素的类别；

检测所述关注路标在每个图像中的边界；

确定所述关注路标的类别；以及

确定所述关注路标在所述一个或多个图像中的连续的两个图像之间的关联性。

3.根据权利要求2所述的方法，其中，所述地图元素的类别包括道路、车道线、停车位、隧道、桥梁、信号指示牌、交通信号灯、铁路、路口区域、站台、禁停区、停止线、人行横道、减速带、柱子、墙体、围栏、树木、花坛和建筑物中的一个或多个。

4.根据权利要求2所述的方法，其中，所述关注路标的类别包括垂直于路面或水平面的线状路标和垂直于路面或水平面的面状路标。

5.根据权利要求1所述的方法，其中，所述关注路标不包括当前正在移动的动态对象和当前处于静止状态但实际上可移动的潜在动态对象。

6.根据权利要求1所述的方法，其中，所述车辆的姿态数据包括所述车辆在三维空间中的六个自由度的描述数据。

7.根据权利要求1所述的方法，其中，所述三维重建包括：

基于多视角几何，重建所述关注路标上的多个关键点；以及

根据所述多个关键点获得所述关注路标上的点云。

8.根据权利要求1所述的方法，其中，所述参数化包括：

通过参数拟合，获得所述关注路标的表征方程；以及

根据所述语义感知的结果和所述表征方程，获得所述关注路标的标注信息。

9.根据权利要求8所述的方法，其中，所述标注信息包括所述关注路标的尺寸数据、对应的地图元素的类别和包围框中的一个或多个。

10.根据权利要求1至9中的任一项所述的方法，其中，所述车载相机是单目相机。

11.一种计算机可读的非临时性存储介质，在其上存储有程序指令，所述程序指令在被执行时执行根据权利要求1至10中的任一项所述的方法。

12.一种构建高精度地图的装置，包括：

一个或多个处理器，被配置为在启用时接收来自车辆的车载相机的一个或多个图像并且至少执行根据权利要求1至10中的任一项所述的方法。

13.根据权利要求12所述的装置，其中，所述车载相机是单目相机。

14.一种构建高精度地图的装置，包括：

感知器，被配置为接收来自车辆的车载相机的一个或多个图像，并且基于深度学习算法对所接收的一个或多个图像进行语义感知；

定位器，被配置为获得所述车辆的姿态数据；

重建器，被配置为根据来自所述感知器和所述定位器的输出对关注路标进行三维重建；以及

参数化处理器，被配置为对来自所述重建器的输出进行参数化，并且将参数化的结果提供给高精度地图数据库。

15.根据权利要求14所述的装置，其中，所述车载相机是单目相机。