CN111542860A - 用于自主车辆的高清地图的标志和车道创建 - Google Patents

Abstract

HD地图系统在用于自主车辆导航的高清地图上表示地标，包括描述道路的车道的空间位置和关于每个车道的语义信息连同交通标志和地标。该系统基于例如将高概率位于车道线上的相机图像像素映射到三维空间中以及定位/连接车道线的中心线来生成指定道路的车道的车道线。该系统将车道元素及其连接的大的连接网络构建为车道元素图。该系统还基于相机图像以及检测和测距传感器深度地图表示交通标志。这些地标用于构建高清地图，高清地图使得自主车辆能够安全地在其环境中导航。

Description

用于自主车辆的高清地图的标志和车道创建

相关申请的交叉引用

本申请要求2016年12月30日提交的美国临时申请第62/441,065号和2016年12月30日提交的美国临时申请第62/441,080号的权益，这两件美国临时申请的全部内容通过引用并入本文。

背景技术

本公开内容一般涉及用于自主车辆的地图，并且更具体地涉及向自主车辆提供具有高精度和最新地图数据的高清地图以用于安全导航。

自主车辆，也称为自动驾驶汽车、无人驾驶汽车、汽车或机器人汽车，在不需要人类驾驶员控制和导航车辆的情况下从源位置行驶到目的地。驾驶的自动化由于若干原因而是困难的。例如，自主汽车使用传感器即时做出驾驶决策，但车辆传感器不能无时无刻地观察所有事物。车辆传感器可能被角落、连绵起伏的山丘和其他车辆遮挡。车辆传感器可能不会足够早地观察某些事物以做出决策。此外，道路上可能缺少车道和标志，或者车道和标志被撞倒或被灌木丛隐藏，因此不能被传感器检测到。此外，可能不容易看到用于通行权的道路标志，以确定车辆可能来自哪里，或者用于在紧急情况下或者在存在必须通过的停止障碍物时转弯或移出车道。

自主车辆可以使用地图数据来找出上述一些信息，而不是依赖传感器数据。然而，传统地图具有若干缺点，使得它们难以用于自主车辆。例如，地图不提供安全导航所需的准确度水平(例如，10cm或更小)。GPS系统提供大约3-5米的准确度，但是具有导致超过100米的准确度的大的误差条件。这使得准确确定车辆的位置变得具有挑战性。

此外，传统地图由调查团队创建，调查团队使用具有特殊装备汽车的驾驶员，这些汽车具有高分辨率传感器，可以在地理区域内行驶并进行测量。测量值被取回，地图编辑器团队根据测量值汇总地图。该过程昂贵且耗时(例如，可能花费数月来完成地图)。因此，使用这种技术汇总的地图不具有新近数据。例如，道路以每年大约5-10％的频率基础来更新/修改。但调查车昂贵且数量有限，因此不能捕获这些更新中的大部分。例如，调查车队可能包括一千辆汽车。甚至对于美国的单个州，一千辆汽车不能定期更新地图以使得能够安全自动驾驶。因此，维护地图的传统技术不能提供对于自主车辆的安全导航而言足够准确且最新的正确数据。

发明内容

车辆计算系统生成高清(HD)地图以使得自主车辆能够安全地导航道路，包括在道路上发现的典型地标，例如交通标志。为了构建HD地图的地标地图(LMap)部分，系统将需要确定各个地标包括每个交通标志的位置和类型。为了确定标志的类型，系统使用基于图像的分类(例如，通过人类操作员或自动地通过深度学习算法)。一旦从图像中检测到标志并且对该标志进行分类以指示标志的类型，则系统进一步确定标志相对于地图坐标的位置和取向。标志的精确坐标使得自主车辆能够通过车辆的传感器数据准确地预测标志将位于何处，使得车辆可以验证地图对环境的预测，检测地图对环境的变化，并且相对于地图定位车辆自身。

在一个实施方式中，系统在HD地图内表示交通标志。对交通标志的表示包括利用相机并且还利用车辆上安装的检测和测距传感器。由一个或更多个相机拍摄的包括交通标志的图像用于通过图像识别分析来识别交通标志。深度地图由一个或更多个检测和测距传感器来接收，该深度地图包括描述对象距一个或更多个检测和测距传感器的距离的多个点。在深度地图中识别与交通标志相对应的至少三个点的子集，以便确定HD地图中的与交通标志相对应的的平面。然后，根据由点的子集确定的平面，将图像的与交通标志相对应的部分映射到HD地图。作为一个示例，系统使用标志在图像坐标中的顶点并且将3D点投影到该图像上。投影到由标志的顶点创建的图像边界框内的点被视为标志点。这些点用于拟合平面，并且系统将标志的图像顶点投影到该3D平面上，以获得标志的顶点的3D坐标。因此，这提供了描述标志所需的信息：标志在3D空间中的位置、标志的取向以及对图像中的标志进行分类而产生的标志的类型。此外，可以将交通标志的特征存储为交通标志在HD地图中的属性，例如交通标志的文本、由交通标志描述的限制或交通标志的类型。

车辆计算系统生成在用于自主车辆的高清(HD)地图上示出的指定道路中的车道的车道线。作为一个示例，系统例如通过对相机图像运行深度学习算法来检测以高概率位于车道线上的像素(例如，像素位于车道线的中心的概率，而不是给图像中的每个像素诸如道路、天空、植被等赋予标签)来使用车道线的图像像素分类。系统将高概率位于车道线上的像素映射到3D空间中，以获得这样的体素的概率。该系统还对属于同一车道线区段的点进行聚类，并且使用骨架点表示密集点。此外，系统在假定车道线点群组的情况下找到车道线区段的中心。该系统还连接车道线区段的中心以形成连续的车道线。在另一示例中，系统使用深度学习算法直接在图像中检测车道线，并且然后合并来自多个图像的车道线。系统试图通过来自立体图像的三角测量来找到在图像中检测到的车道线的3D位置，并且该系统使用跟踪信息以有助于车道线生成。系统在车道线生成过程本身内对交叉口中的车道线合并进行处理。

在一个实施方式中，车辆计算系统接收由行驶在道路上的自主车辆的传感器捕获的图像数据，该图像数据表示道路的一部分。系统进一步对图像的像素进行分类以确定特定像素是否位于车道线区段上。系统基于该分类来识别位于车道线区段中的至少一个车道线区段上的点的集合，并且基于这些点的接近度将点的集合分组成群组，其中，每个群组被确定为与车道线区段相关联。系统定位点的与车道线区段相关联的每个群组的中心线，并且通过连接多条中心线确定车道线，该连接使两条中心线的端点相关联。然后，系统基于车道线生成高清地图，该清晰度地图供在驾驶自主车辆时使用。

附图说明

图1示出了根据一个实施方式的与多个车辆计算系统交互的HD地图系统的整体系统环境。

图2示出了根据一个实施方式的车辆计算系统的系统架构。

图3示出了根据一个实施方式的车辆计算系统的HD地图API中的各种指令层。

图4A示出了根据一个实施方式的包括车道元素图模块的HD地图系统的系统架构。

图4B示出了根据一个实施方式的图4A的地图创建模块的模块架构。

图5示出了根据一个实施方式的HD地图的组成部分。

图6A至图6B示出了根据一个实施方式的在HD地图中限定的地理区域。

图7示出了根据一个实施方式的HD地图中的车道的表示。

图8A至图8B示出了根据一个实施方式的HD地图中的车道元素以及车道元素之间的关系。

图9示出了根据一个或更多个实施方式的描述将交通标志存储在3D地图中的方法的流程图。

图10A示出了根据一个或更多个实施方式的具有带有已识别的顶点的平面交通标志的第一图像。

图10B示出了根据一个或更多个实施方式的具有带有已识别的顶点的成角度交通标志的第二图像。

图11示出了根据一个或更多个实施方式的对交通标志上的文本进行解密的方法。

图12示出了根据一个或更多个实施方式的通过利用平截头体过滤掉3D地图中的点来识别与交通标志相对应的点的方法。

图13示出了根据一个或更多个实施方式的识别3D地图中的与交通标志相对应的点的子集的方法。

图14示出了根据一个或更多个实施方式的使用由点的子集确定的拟合平面确定缩小的拟合平面的方法。

图15至图27示出了根据一个实施方式的表示用于HD地图的标志特征创建的各个处理阶段的示例图像。

图28A示出了根据一个实施方式的车道线模块的系统架构。

图28B示出了根据一个实施方式的描述车道线创建过程的流程图。

图29示出了根据一个实施方式的用于描述车道线创建过程的组成部分的视觉表示。

图30示出了根据一个实施方式的被表示为一组2D点的两个车道元素的相机图像。

图31A示出了根据一个实施方式的从相机图像转换的概率图像的3D表示。

图31B示出了根据一个实施方式的映射模块的系统架构。

图31C示出了根据一个实施方式的描述从二维平面映射到三维平面的过程的流程图。

图32A示出了根据一个实施方式的两个车道线点群组的3D表示。

图32B示出了根据一个实施方式的聚类模块的系统架构。

图32C示出了根据一个实施方式的描述用于将二维点分组成群组的过程的流程图。

图32D至图32F示出了根据一个实施方式的用于将二维点分组成群组的过程的不同步骤。

图33A示出了根据一个实施方式的两个车道线群组内的两个中心线多段线的3D表示。

图33B示出了根据一个实施方式的群组中心分析模块的系统架构。

图33C示出了根据一个实施方式的描述用于分析车道线中心的过程的流程图。

图33C至图33H示出了根据一个实施方式的用于分析车道线中心和生成中心线多段线的过程的不同步骤。

图34A示出了根据一个实施方式的两个车道线区段之间的车道线连接的3D表示。

图34B示出了根据一个实施方式的车道连接模块的系统架构。

图34C示出了根据一个实施方式的描述用于连接一个或更多个车道线区段的过程的流程图。

图35示出了车道元素图模块的示例实施方式。

图36是示出用于生成车道元素的连通图的过程的实施方式的流程图。

图37是示出用于识别车道切割的过程的实施方式的流程图。

图38A、图38B和图38C示出了车道线和车道切割的示例。

图39示出了车道元素、车道边界、可导航边界和车道切割的示例。

图40示出了具有连接车道元素的车道连接符的示例交叉口。

图41示出了根据主要特征和派生特征创建车道元素图的过程。

图42示出了示例车道切割和车道边界。

图43示出了具有来自车辆的两次数据收集行程的T形交叉口的示例。

图44示出了可以从机器可读介质读取指令并且在处理器或控制器中执行指令的计算机器的实施方式。

附图仅出于说明的目的描绘本发明的各种实施方式。本领域的技术人员将从以下讨论中容易地认识到，在不脱离本文描述的发明的原理的情况下，可以采用本文中示出的结构和方法的替选实施方式。

具体实施方式

概述

本发明的实施方式维护使用高精度的包含最新信息的高清晰度(HD)地图。自主车辆可以在不利用人工输入或利用有限的人工输入的情况下使用HD地图来安全地导航到他们的目的地。自主车辆是能够感测其环境并在不利用人工输入的情况下导航的车辆。自主车辆在本文中也可以被称为“无人驾驶汽车”、“自动驾驶汽车”或“机器人汽车”。HD地图是指存储具有非常高的精度通常为5-10cm的数据的地图。实施方式生成包含关于自主车辆可以在其上行驶的道路的空间几何信息的HD地图。因此，所生成的HD地图包括自主车辆在无人工干预的情况下安全导航所需的信息。代替使用昂贵且耗时的包括配备有高分辨率传感器的车辆的测绘车队过程来收集HD地图的数据，本发明的实施方式使用当自动驾驶车辆行驶通过其环境时来自自动驾驶车辆自身的较低分辨率传感器的数据。车辆可能不具有这些路线或甚至区域的先前地图数据。本发明的实施方式提供位置即服务(LaaS)，使得不同制造商的自主车辆各自都可以访问通过本发明的这些实施方式创建的最新地图信息。

本发明的实施方式生成并维护包括用于安全导航的最新路况的准确的高清晰度(HD)地图。例如，HD地图足够精确地提供自主车辆相对于道路车道的当前位置，以使得自主车辆能够在车道中安全地行驶。

更具体地，实施方式生成表征车道线的方向和属性的车道区段，车道区段被聚合成完整的车道线。在HD地图中使用所生成的车道线以确定从源位置到目的地位置的路线。

HD地图存储非常大量的信息，因此面临管理信息方面的挑战。例如，大地理区域的HD地图可能不适合车辆的本地存储。本发明的实施方式向自主车辆提供HD地图的必要部分，该部分使得车辆能够确定其在HD地图中的当前位置、确定相对于车辆位置的道路上的特征、基于物理约束和法律约束确定移动车辆是否安全，等等。物理约束的示例包括物理障碍，例如墙壁，并且法律约束的示例包括车道的法律所允许的行驶方向、速度限制、让行、停靠。

本发明的实施方式通过以下来实现自主车辆的安全导航：提供用于提供对请求的响应的低延迟例如10-20毫秒或更短；位置方面的高准确度即10cm或更小的准确度；通过确保地图被更新以反映在合理时间范围内的道路上的改变的数据新鲜度；通过使HD地图所需的存储最小化的存储效率。

图1示出了根据一个实施方式的与多个车辆交互的HD地图系统的整体系统环境。HD地图系统100包括与多个车辆150交互的在线HD地图系统110。车辆150可以是自主车辆，但不要求是自主车辆。在线HD地图系统110接收由车辆的传感器捕获的传感器数据，并且组合从车辆150接收的数据以生成和维护HD地图。在线HD地图系统110将HD地图数据发送至车辆以供在驾驶车辆时使用。在一个实施方式中，在线HD地图系统110被实现为分布式计算系统，例如，使得诸如车辆计算系统120的客户端能够请求信息和服务的基于云的服务。例如，车辆计算系统120可以请求用于沿着路线驾驶的HD地图数据，并且在线HD地图系统110提供所请求的HD地图数据。

图1和其他附图使用相同的附图标记来标识相同的元件。附图标记之后的字母例如“105A”指示文本具体指代具有特定附图标记的元件。文本中的没有后续字母的附图标记例如“105”指代图中的具有该附图标记的任何或所有元件(例如，文本中的“105”指代图中的附图标记“105A”和/或“105N”)。

在线HD地图系统110包括车辆接口模块160和HD地图存储器165。在线HD地图系统110使用车辆接口模块160与各种车辆150的车辆计算系统120交互。在线HD地图系统110将各种地理区域的地图信息存储在HD地图存储器165中。在线HD地图系统110可以包括除了图1中所示的模块之外的其他模块，例如，如图4所示并且在本文中进一步描述的各种其他模块。

在线HD地图系统110接收115由多个车辆150例如数百或数千辆汽车的传感器收集的数据。车辆提供在沿着各种路线行驶时捕获的传感器数据并将其发送至在线HD地图系统110。在线HD地图系统110使用从车辆150接收的数据来创建和更新描述车辆150正在其中行驶的区域的HD地图。在线HD地图系统110基于从车辆150接收的总体信息创建高清晰度地图，并将HD地图信息存储在HD地图存储器165中。

在线HD地图系统110根据车辆150的需求将HD地图发送125至各个车辆150。例如，如果自主车辆需要沿着路线驾驶，则自主车辆的车辆计算系统120向在线HD地图系统110提供描述正在行驶的路线的信息。作为响应，在线HD地图系统110提供用于沿着路线行驶所需的HD地图。

在一个实施方式中，在线HD地图系统110以压缩格式将HD地图数据的部分发送至车辆，使得所发送的数据消耗较少的带宽。在线HD地图系统110从各种车辆接收描述存储在车辆的本地HD地图存储器275中的数据的信息。如果在线HD地图系统110确定车辆不具有本地存储在本地HD地图存储器275中的HD地图的某些部分，则在线HD地图系统110将HD地图的该部分发送至车辆。如果在线HD地图系统110确定车辆之前确实接收到HD地图的该特定部分但是由于车辆最近接收到数据而在线HD地图系统110更新了对应的数据，则在线HD地图系统110发送存储在车辆中的HD地图的该部分的更新。这使得在线HD地图系统110能够使与车辆通信的数据量最小化，并且还保持定期更新本地存储在车辆中的HD地图数据。

车辆150包括车辆传感器105、车辆控制器130和车辆计算系统120。车辆传感器105使得车辆150能够检测车辆的周围环境以及描述车辆的当前状态的信息，例如，描述车辆的位置和运动参数的信息。车辆传感器105包括相机、光检测和测距传感器(LIDAR)、全球定位系统(GPS)导航系统、惯性测量单元(IMU)等。车辆具有捕获车辆的周围环境的图像的一个或更多个相机。LIDAR通过借助于用激光脉冲照亮目标并测量反射脉冲来测量到该目标的距离来勘测车辆的周围环境。GPS导航系统基于来自卫星的信号确定车辆的位置。IMU是使用加速度计和陀螺仪或其他测量仪器的组合来测量和报告车辆的运动数据，例如速度、加速度、运动方向、速率，角速率等的电子设备。

车辆控制器130控制车辆的物理运动，例如，加速度、方向改变、启动、停止等。车辆控制器130包括用于控制加速度计、制动器、方向盘等的机器。车辆计算系统120连续地向车辆控制器130提供控制信号，从而使自主车辆沿着所选择的路线行驶。

车辆计算系统120执行各种任务，包括处理由传感器收集的数据以及从在线HD地图系统110接收的地图数据。车辆计算系统120还处理数据以发送至在线HD地图系统110。车辆计算系统的细节在图2中示出并进一步结合图2进行描述。

车辆计算系统120与在线HD地图系统110之间的交互通常经由网络例如经由因特网执行。网络实现车辆计算系统120与在线HD地图系统110之间的通信。在一个实施方式中，网络使用标准通信技术和/或协议。通过网络交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，可以使用诸如安全套接字层(SSL)、传输层安全性(TLS)、虚拟专用网络(VPN)、因特网协议安全性(IPsec)等的传统加密技术来对所有或一些链接进行加密。在另一个实施方式中，代替上述技术或者除了上述技术之外，实体可以使用定制和/或专用数据通信技术。

图2示出了根据一个实施方式的车辆计算系统的系统架构。车辆计算系统120包括感知模块210、预测模块215、规划模块220、控制模块225、本地HD地图存储器275、HD地图系统接口280和HD地图应用程序编程接口(API)205。车辆计算系统120的各种模块处理各种类型的数据，包括传感器数据230、行为模型235、路线240和物理约束245。在其他实施方式中，车辆计算系统120可以具有更多或更少的模块。被描述为由特定模块实现的功能可以由其他模块实现。

感知模块210从车辆150的传感器105接收传感器数据230。这包括由汽车的相机、LIDAR、IMU、GPS导航系统等收集的数据。感知模块210使用传感器数据来确定哪些对象在车辆周围、车辆在其上行驶的道路的细节等。感知模块210处理传感器数据230以填充存储传感器数据的数据结构并将信息提供给预测模块215。

预测模块215使用被感知的对象的行为模型来解释由感知模块提供的数据，以确定对象是在移动还是有可能移动。例如，预测模块215可以确定表示道路标志的对象不可能移动，然而被识别为车辆、人等的对象正在移动或者有可能移动。预测模块215使用各种类型的对象的行为模型235来确定它们是否有可能移动。预测模块215向规划模块200提供各种对象的预测，以规划车辆接下来需要采取的后续动作。

规划模块200从预测模块215、确定车辆的目的地的路线240以及车辆到达目的地应当采取的路径来接收描述车辆的周围环境的信息。规划模块200使用来自预测模块215和路线240的信息来规划车辆在短时间间隔内例如在接下来的几秒内需要采取的一系列动作。在一个实施方式中，规划模块200将一系列动作指定为表示车辆接下来要行驶通过的附近位置的一个或更多个点。规划模块200将包括要由车辆采取的一系列动作的规划细节提供给控制模块225。规划可以确定车辆的后续动作，例如，车辆是否执行车道变换、转弯、通过增加速度的加速或者减速等。

控制模块225基于从规划模块200接收的规划确定用于发送至车辆的控件130的控制信号。例如，如果车辆当前在点A处并且规划指定车辆应该接下来去往附近的点B，则控制模块225确定控件130的控制信号，该控制信号将使车辆以安全平稳的方式例如在不进行任何急转弯或不采取从A点到B点的锯齿形路径的情况下从A点去往B点。车辆所采取的从A点去往B点的路径可能取决于车辆的当前速度和方向以及B点相对于A点的位置。例如，如果车辆的当前速度高，则与缓慢行驶的车辆相比，车辆可以进行更宽的转弯。

控制模块225还接收物理约束245作为输入。这些包括该特定车辆的物理能力。例如，具有特定品牌和型号的汽车可能能够安全地进行具有不同品牌和型号的另一辆车可能不能够安全地进行的某些类型的车辆运动，例如加速和转弯。控制模块225在确定控制信号时结合这些物理约束。控制模块225将控制信号发送至车辆控制器130，车辆控制器130使车辆执行使车辆按规划移动的指定的一系列动作。每隔几秒不断重复上述步骤，以使车辆沿着为车辆规划的路线安全地行驶。

包括感知模块210、预测模块215和规划模块220的车辆计算系统120的各种模块接收地图信息以执行它们各自的计算。车辆100将HD地图数据存储在本地HD地图存储器275中。车辆计算系统120的模块使用提供可以被用于访问地图信息的模块调用的一组应用程序编程接口(API)的HD地图API 205与地图数据交互。HD地图系统接口280允许车辆计算系统120经由网络(图中未示出)与在线HD地图系统110交互。本地HD地图存储器275以HD地图系统110指定的格式存储地图数据。HD地图API 205能够处理由HD地图系统110提供的地图数据格式。HD地图API 205提供具有用于与HD地图数据交互的接口的车辆计算系统120。HD地图API 205包括若干个API，所述若干个API包括定位API 250、地标地图API 255、路线API265、3D地图API 270、地图更新API 285等。

定位API 250确定例如当车辆启动时以及当车辆沿着路线移动时的车辆的当前位置。定位API 250包括确定车辆在HD地图内的准确位置的定位API。车辆计算系统120可以将该位置用作准确的相对定位，以进行其他查询，例如，在本文中进一步描述的特征查询、可导航空间查询和占用地图查询。定位API接收包括由GPS提供的位置、由IMU提供的车辆运动数据、LIDAR扫描仪数据和相机图像中的一个或更多个的输入。定位API返回作为纬度和经度坐标的车辆的准确位置。与用作输入的GPS坐标相比，定位API返回的坐标更准确，例如，定位API的输出可能具有5-10cm的精度范围。在一个实施方式中，车辆计算系统120调用定位API以使用扫描仪数据基于LIDAR例如以10Hz的频率周期性地确定车辆的位置。如果GPS/IMU数据在该速率下可用，则车辆计算系统120可以调用定位API来以更高的速率(例如，60Hz)确定车辆位置。车辆计算系统120存储位置历史记录作为内部状态，以提高后续定位调用的准确性。位置历史记录存储从汽车关闭/停止的时间点开始的位置历史。定位API250包括基于HD地图生成指定车道的准确路线的定位路线API。定位路线API经由第三方地图将从源到目的地的路线作为输入，并基于HD地图生成表示为沿着输入路线的可导航车道的连通图的高精度路线。

地标地图API 255提供车辆周围的世界的几何和语义描述，例如，车辆当前行驶的车道的各个部分的描述。地标地图API 255包括允许基于地标地图的查询的API，例如，获取车道API和获取特征API。获取车道API提供相对于车辆和获取特征API的车道信息。获取车道API接收位置例如使用车辆的纬度和经度指定的车辆的位置作为输入，并返回相对于输入位置的车道信息。获取车道API可以指定指示相对于检索到车道信息的输入位置的距离的距离参数。获取特征API接收识别一个或更多个车道元素的信息，并返回相对于指定车道元素的地标特征。对于每个地标，地标特征包括特定于地标类型的空间描述。

3D地图API 265提供对存储在本地HD地图存储器275中的道路和道路周围的各种物理对象的空间三维(3D)表示的有效访问。3D地图API365包括获取可导航表面API和获取占用网格API。获取可导航表面API接收一个或更多个车道元素的标识符作为输入，并返回指定车道元素的可导航边界。获取占用网格API接收位置例如车辆的纬度和经度作为输入，并返回描述道路表面的占用的信息以及该位置附近的HD地图中可用的所有对象。描述占用的信息包括在地图中占用的所考虑的所有位置的分层体积网格。占用网格包括在可导航区域附近例如在路缘和凸起处的高分辨率的信息，以及在较不重要的区域中例如路缘以外的树木和墙壁的相对低的分辨率的信息。获取占用网格API对于检测障碍物并在必要时改变方向是有用的。

3D地图API还包括地图更新API，例如，下载地图更新API和上传地图更新API。下载地图更新API接收规划路线标识符作为输入，并下载与所有规划路线或特定规划路线相关的数据的地图更新。上传地图更新API将由车辆计算系统120收集的数据上传到在线HD地图系统110。这使得在线HD地图系统110能够基于沿着各种路线行驶的车辆的传感器观察到的地图数据的变化使存储在在线HD地图系统110中的HD地图数据保持最新。

当车辆沿着路线行驶时，路线API 270返回包括源和目的地之间的完整路线以及路线的一部分的路线信息。3D地图API 365允许查询HD地图。路线API 270包括添加规划路线API和得到规划路线API。添加规划路线API向在线HD地图系统110提供描述规划路线的信息，使得描述相关HD地图的信息可以由车辆计算系统120下载并保持最新。添加规划路线API接收使用以纬度和经度表示的折线指定的路线以及指定路线数据可以被删除之后的时间段的生存时间(TTL)参数作为输入。因此，添加规划路线API使得车辆指示在不久的将来车辆正在规划采取的路线作为自主行程。添加规划路线API将路线与HD地图对准、记录路线及其TTL值并确保存储在车辆计算系统120中的路线的HD地图数据是最新的。得到规划路线API返回规划路线列表，并提供描述路线标识符标识的路线的信息。

地图更新API 285管理与本地HD地图存储器275和存储在在线HD地图系统110中的HD地图存储器165的地图数据的更新有关的操作。因此，车辆计算系统120中的模块调用地图更新API 285，用于将数据从在线HD地图系统110下载到车辆计算系统120，以根据需要存储在本地HD地图存储器275中。地图更新API 285还使得车辆计算系统120能够确定由车辆传感器105监视的信息是否指示由在线HD地图系统110提供的地图信息中的差异并且将数据上传到在线HD地图系统110，这可以使在线HD地图系统110更新存储在HD地图存储器165中的被提供给其他车辆150的地图数据。

图4示出了根据一个实施方式的车辆计算系统的HD地图API中的各种指令层。不同的车辆制造商具有用于从车辆传感器105接收信息和用于控制车辆控制器130的不同指令。此外，不同的供应商提供具有自主驾驶能力例如车辆传感器数据的收集和分析的不同计算机平台。用于自主车辆的计算机平台的示例包括供应商提供的平台，例如NVIDIA、QUALCOMM和INTEL。这些平台提供自主车辆制造商在制造自主车辆中使用的功能。车辆制造商可以使用用于自主车辆的任一个或一些计算机平台。在线HD地图系统110基于特定于车辆制造商的指令和特定于车辆的供应商特定平台的指令来提供用于处理HD地图的库。该库提供对HD地图数据的访问，并允许车辆与在线HD地图系统110交互。

如图3所示，在一个实施方式中，HD地图API被实现为包括车辆制造商适配器310、计算机平台适配器320和公共HD地图API层330的库。公共HD地图API层包括可以跨多个车辆计算机平台和车辆制造商使用的通用指令。计算机平台适配器320包括特定于每个计算机平台的指令。例如，公共HD地图API层330可以调用计算机平台适配器320以从特定计算机平台支持的传感器接收数据。车辆制造商适配器310包括特定于车辆制造商的指令。例如，公共HD地图API层330可以调用由车辆制造商适配器310提供的功能，以将特定控制指令发送至车辆控制器130。

在线HD地图系统110存储用于多个计算机平台的计算机平台适配器320和用于多个车辆制造商的车辆制造商适配器310。在线HD地图系统110确定特定车辆制造商和特定自动驾驶车辆的特定计算机平台。在线HD地图系统110为特定车辆制造商选择车辆制造商适配器310，并为该特定车辆的特定计算机平台选择计算机平台适配器320。在线HD地图系统110将所选择的车辆制造商适配器310和所选择的计算机平台适配器320的指令发送至该特定自主车辆的车辆计算系统120。该特定自主车辆的车辆计算系统120安装所接收的车辆制造商适配器310和计算机平台适配器320。车辆计算系统120周期性地检查在线HD地图系统110是否具有对所安装的车辆制造商适配器310和计算机平台适配器320的更新。如果与安装在车辆上的版本相比可获得较新的更新，则车辆计算系统120请求并接收最新更新并安装它。

HD地图系统架构

图4A示出了根据一个实施方式的HD地图系统的系统架构。在线HD地图系统110包括地图创建模块410、地图更新模块420、地图数据编码模块430、负荷平衡模块440、地图准确度管理模块450、车辆接口模块160、车道线模块460、车道元素图模块470和HD地图存储器165。在线HD地图系统110的其他实施方式可以包括比图4A中所示更多或更少的模块。指示为由特定模块执行的功能可以由其他模块实现。在一个实施方式中，在线HD地图系统110可以是包括多个处理器的分布式系统。

地图创建模块410根据从沿着各种路线行驶的若干车辆收集的地图数据来创建地图。地图数据可以包括要存储在地图中的交通标志，这将在图9和图10中进一步描述。地图更新模块420通过从最近沿着地图信息改变的路线行驶的车辆接收较新的信息来更新先前计算的地图数据。例如，如果由于区域建设某些道路标志已经改变或者车道信息已经改变，则地图更新模块420相应地更新地图。地图数据编码模块430对地图数据进行编码以便能够有效地存储数据以及向车辆150有效地发送所需的地图数据。负荷平衡模块440平衡车辆之间的负荷以确保从车辆接收数据的请求均匀地分布在不同的车辆之间。即使从各个车辆接收的信息可能不具有高准确度，地图准确度管理模块450仍使用各种技术来保持地图数据的高准确度。

车道元素图模块470生成车道元素图(即，车道元素的连接网络)以允许通过映射区域来导航自主车辆。车道线模块460的详情在图28中示出并且结合图28A进行描述。下面参照图9A至图14C进一步描述图4B中呈现的模块的功能。

图4B示出了根据一个实施方式的图4A的地图创建模块410的模块架构。地图创建模块410根据从若干车辆收集的地图数据创建地图。在一个或更多个实施方式中，地图创建模块410包括图像检测子模块470、3D地图构造子模块475、平面拟合子模块480和图像投影子模块485，利用这些模块将交通标志存储在地图中。在其他实施方式中，图4A的地图创建模块410包括用于创建地图的目的的附加的或更少的子模块。在创建地图时，地图创建模块410发送要由图1的HD地图存储器165(图4B中未示出)存储的地图。

图像检测子模块470识别图像中的交通标志。图像检测子模块470从安装在至少一个车辆(例如，图1的车辆150)上的至少一个相机(例如，图1的车辆传感器105)接收至少一个图像。一个图像包含交通标志。图像检测子模块470接收图像并且识别图像的与交通标志相对应的部分。在另外的实施方式中，图像检测子模块470应用一个或更多个模型，用于对具有多个属性的交通标志进行分类。属性可以包括标志的类型、交通标志上的文本、交通标志的颜色，交通标志的限制等。分类的属性可以存储在地图中，描述所识别的交通标志。结合图9提供对图像检测子模块470识别交通标志及交通标志的属性的可行方法的进一步讨论。

地图构造子模块475根据深度地图构造地图。地图构造子模块475从安装在至少一个车辆(例如，图1的车辆150)上的至少一个检测和测距传感器(例如，图1的车辆传感器105)接收至少一个深度地图。深度地图包含以二维显示的多个点，其中，每个点描述物理对象的外部表面距检测和测距传感器的距离。地图构造子模块475将每个点转换为物理对象的外部表面的位置矢量。地图构造子模块475将点在深度地图中的位置转换为位置矢量相对于检测和测距传感器的方向。地图构造子模块475将点的距离转换为位置矢量相对于检测和测距传感器的大小。在一些实施方式中，地图构造子模块475接收多个深度地图并且对所有转换的位置矢量进行组合来以三维构造地图。例如，地图构造子模块475接收多个LIDAR扫描，并且然后将多个LIDAR扫描合并到点云中，点云是来自多个LIDAR扫描的所有转换的位置矢量的3D映射。在一些情况下，地图构造子模块475合并快速连续拍摄的和/或从相对近端位置拍摄的多个LIDAR扫描。结合图9提供了对地图构造子模块475创建地图的可行方法的进一步讨论，其中示例如下。

平面拟合子模块480拟合地图中的与交通标志相对应的平面。平面拟合子模块480利用包含交通标志的至少一个深度地图来识别与交通标志相对应的至少三个点的子集。在一些实施方式中，平面拟合子模块480利用地图构建模块475利用其来构造地图的深度地图。平面拟合子模块480利用所识别的至少三个点的子集并且同样地识别地图中的对应位置矢量。平面拟合子模块480部分地基于地图中的位置矢量来拟合地图中的平面，该平面对应于交通标志在地图中的空间位置。结合图9提供了平面拟合子模块480拟合地图中的与交通标志相对应的平面的可行方法的进一步讨论。

图像投影子模块485将交通标志的图像的一部分投影到地图中。图像投影子模块485从图像检测子模块470获取图像的与交通标志相对应的识别部分。图像投影子模块485处理图像的与交通标志相对应的部分。对图像的与交通标志相对应的部分的处理可以包括编辑图像的该部分、调整图像的该部分的尺寸、改善图像的该部分的分辨率、一些其他图像处理过程、或上述的一些组合。图像投影子模块485通过将图像的处理部分放置在地图中与交通标志相对应的拟合平面上来将图像的处理部分投影到地图中。结合图9提供了对图像投影子模块485将交通标志的图像的部分投影到地图中的可行方法的进一步讨论。

图5示出了根据一个实施方式的HD地图的组成部分。HD地图包括若干地理区域的地图。地理区域的HD地图510包括地标地图(LMap)520和占用地图(OMap)530。LMap 520包括描述车道的信息，包括车道的空间位置以及关于每个车道的语义信息。车道的空间位置包括在纬度、经度和高度方面高精度例如等于或低于10cm的精度的几何位置。车道的语义信息包括诸如方向、速度、车道类型(例如，直行车道、左转车道、右转车道、出口车道等)的限制、向左横穿的限制、到其他车道的连接等。地标地图还可以包括描述停止线、让行线、人行横道的空间位置、安全可导航空间、减速带的空间位置、路缘和包括与行驶限制相关的所有标志的空间位置和类型的道路标志的信息。在HD地图中描述的道路标志的示例包括停车标志、交通灯、速度限制、单向、不进入、让行(车辆、行人、动物)等。

占用地图530包括道路的空间三维(3D)表示以及道路周围的所有物理对象。存储在占用地图530中的数据在本文中也被称为占用网格数据。3D表示可以与指示对象存在于位置处的可能性的置信度分数相关联。占用地图530可以以多种其他方式表示。在一个实施方式中，占用地图530表示为覆盖表面的3D网格几何形状(三角形的集合)。在另一个实施方式中，占用地图530表示为覆盖表面的3D点的集合。在另一个实施方式中，使用5-10cm分辨率的3D体积单元网格来表示占用地图530。每个单元指示在该单元处是否存在表面，并且如果表面存在，则朝向沿着表面的方向。

与地标地图520相比，占用地图530可以占用大量存储空间。例如，占用地图530可以使用lGB/英里的数据，使美国地图(包括4百万英里的道路)占用4×10¹⁵字节或4千兆字节。因此，在线HD地图系统110和车辆计算系统120使用数据压缩技术以能够存储和传输地图数据，从而降低存储和传输成本。因此，在本文中公开的技术使得可以自动驾驶自主车辆。

在一个实施方式中，HD地图510不需要或依赖于通常包括在地图中的数据，例如地址、道路名称、地理编码地址的能力和计算地名或地址之间的路线的能力。车辆计算系统120或在线HD地图系统110访问其他地图系统，例如谷歌地图以获得该信息。因此，车辆计算系统120或在线HD地图系统110从诸如谷歌地图的工具接收导航指令到路线中并且基于HD地图510信息将信息转换为路线。

HD地图中的地理区域

在线HD地图系统110将大的物理区域划分为地理区域并存储每个地理区域的表示。每个地理区域表示由几何形状例如矩形或正方形界定的连续区域。在一个实施方式中，在线HD地图系统110将物理区域划分为相同大小的地理区域，而与存储每个地理区域的表示所需的数据量无关。在另一个实施方式中，在线HD地图系统110将物理区域划分为不同大小的地理区域，其中每个地理区域的大小是基于表示地理区域所需的信息量来确定的。例如，表示具有大量街道的人口稠密区域的地理区域表示与表示具有非常少街道的人口稀疏区域的地理区域相比的较小物理区域。因此，在该实施方式中，在线HD地图系统110基于存储与HD地图相关的物理区域的各种元素所需的信息量的估计来确定地理区域的大小。

在一个实施方式中，在线HD地图系统110表示使用对象或数据记录的地理区域，该对象或数据记录包括各种属性，所述各种属性包括地理区域的唯一标识符、地理区域的唯一名称、例如使用纬度和经度坐标的边界框的地理区域的边界的描述以及地标特征和占用网格数据的集合。

图6A至图6B示出了根据一个实施方式的在HD地图中定义的地理区域。图6A示出了方形地理区域610a。图6B示出了两个相邻的地理区域610a和610b。在线HD地图系统110以地理区域的表示存储数据，其在当车辆跨地理区域边界行驶时实现从一个地理区域平滑过渡到另一地理区域。

根据实施方式，如图6所示，每个地理区域具有围绕其的预定宽度的缓冲区。缓冲区包括地理区域的所有4个侧周围的冗余地图数据(在地理区域由矩形界定的情况下)。图6A示出了地理区域610a周围50米的缓冲区的边界620和地理区域610a周围100米的缓冲区的边界630。当车辆跨越该缓冲区内的阈值距离时，车辆计算系统120将车辆的当前地理区域从一个地理区域切换到相邻的地理区域。例如，如图6B所示，车辆在地理区域610a中的位置650a处启动。车辆沿着路线行进以到达位置650b，在位置650b处它跨越地理区域610的边界但是停留在缓冲区的边界620内。因此，车辆计算系统120继续使用地理区域610a作为车辆的当前地理区域。一旦车辆在位置650c处跨越缓冲区的边界620，车辆计算系统120就将车辆的当前地理区域从地理区域610a切换到610b。由于车辆沿着紧密跟随地理区域的边界的路线行驶，缓冲区的使用阻止了车辆的当前地理区域的快速切换。

HD地图中的车道表示

HD地图系统100表示HD地图中的街道的车道信息。尽管在本文中描述的实施方式涉及街道，但是技术适用于高速公路、小巷、大道、林荫大道或车辆可以在其上行驶的任何其他路径。HD地图系统100使用车道作为参考系，用于选择路线和车辆的定位。由HD地图系统100表示的车道包括明确标记的车道，例如白色黄色带车道，例如在没有线路或路缘但具有两个行驶方向的乡村道路上隐含的车道和用作车道的隐含路径，例如，转弯车从另一车道进入车道时所产生的路径。HD地图系统100还存储关于车道的信息，例如，诸如相对于车道的道路标志和交通灯的地标特征、用于障碍物检测的相对于车道的占用网格和相对于车道的可导航空间，因此车辆可以在当车辆必须在车道外进行规划外的移动时的紧急情况下有效地规划/做出反应。因此，HD地图系统100存储车道网络的表示，以允许车辆规划源和目的地之间的合法路径，并添加参考系以实时感测和控制车辆。HD地图系统100存储信息并提供API，API使得车辆能够确定车辆当前所在的车道、相对于车道几何形状的精确车辆位置和相对于车道和相邻连接车道的所有相关特征/数据。

图7示出了根据实施方式的HD地图中的车道表示。图7示出了交通路口处的车辆710。HD地图系统为车辆提供对与车辆的自动驾驶相关的地图数据的访问。这包括例如与车道相关联的特征720a和720b，但可能不是与车辆最接近的特征。因此，HD地图系统100存储表示车道与特征的关系的数据的以车道为中心的表示，使得车辆可以在给定车道的情况下有效地提取特征。

HD地图系统100将车道的部分表示为车道元素。车道元素指定车道的边界和各种约束，所述各种约束包括车道元素内的车辆可以行驶的合法方向、车道元素内的车辆可以行驶的速度、车道元素是否仅用于左转或右转等。HD地图系统100将车道元素表示为单个车辆车道的连续几何部分。HD地图系统100存储表示车道元素的对象或数据结构，所述车道元素包括表示车道的几何边界；沿着车道的行驶方向；用于在车道中行驶的车辆限制，例如，速度限制、与包括进出车道的连接车道的关系；终止限制，例如，车道是否在停止线处、让行标志处或减速带处终止；以及与自主驾驶相关的道路特征的关系，例如交通灯位置、道路标志位置等的信息。

由HD地图系统100表示的车道元素的示例包括：高速公路上的一条右车道、道路上的一条车道、左转车道、从左转车道进入另一车道的转弯、从入口匝道进入的合并车道、从出口匝道进入的出口车道，以及私人车道。HD地图系统100表示使用两个车道元素每个方向一个车道元素的一车道道路。HD地图系统100表示类似于一车道道路共享的中间转弯车道。

图8A至图8B示出了根据一个实施方式的HD地图中的车道元素和车道元素之间的关系。图8A示出了道路中的T形交叉路口的示例，其示出了经由转弯车道810b连接到车道元素810c并且经由转弯车道810d连接到车道810e的车道元素810a。图8B示出了道路中的Y形交叉路口的示例，其示出了直接连接到车道810h并且经由车道810g连接到车道810i的标签81f。HD地图系统100将从源位置到目的地位置的路线确定为可以被遍历以从源位置到达目的地位置的一系列连接车道元素。

HD地图中的标志创建

为了构建地标地图(LMap)，HD地图系统需要知道每个交通标志的位置和类型。为了确定标志的类型，HD地图系统使用基于图像的分类。这可以通过人类操作员来完成，也可以自动地通过深度学习算法来完成。一旦从图像中检测到标志并且对标志进行了分类，HD地图系统就知道该类型。HD地图系统进一步确定标志相对于地图坐标的位置和取向。需要标志的精确坐标，使得自主车辆(AV)可以以其传感器数据准确地预测标志所位于的位置，以便自主车辆可以验证地图对世界的预测、检测对世界的变化并且相对于地图对自身进行定位。

实施方式执行HD地图的标志特征创建。HD地图系统使用标志在图像坐标中的顶点并且将3D点投影到该图像上来执行创建标志的过程。投影在由标志的顶点创建的图像边界框内的3D点被视为标志点。这些3D点用于拟合平面，其中，HD地图系统将标志的图像顶点投影到该3D平面上以找到标志的顶点的3D坐标。此时，HD地图系统具有描述标志的所有信息：标志在3D空间中的位置、通过标志的法线描述的标志的取向以及由于对图像中的标志进行分类而产生的标志的类型。

实施方式根据图像和lidar信息创建3D平面对象。因此，HD地图系统根据一个或更多个图像以及该区域的一个或更多个LiDAR扫描的序列来创建高度准确的3D平面对象。HD地图系统使用通过占用地图的扫描或子部分的组合而合并的点云来识别3D平面对象的精确位置。HD地图系统对滚动快门效果应用校正，尽管在相机处于运动时捕获图像时通过滚动快门产生失真，但该校正允许HD地图系统准确地将3D点投影到图像上。HD地图系统通过使用图像投影和约束深度搜索来执行3D场景过滤。HD地图系统使用3D标志几何形状的约束来补偿图像标记的坐标的不准确度。

地图中的特征对语义数据进行编码，并且地图中的不准确的特征数据可能导致自主车辆的导航中的错误。因此，HD地图的要求是它们以非常高的准确度例如1σ(标准差)下的5cm准确度保持所有特征的坐标。要使用1m基线利用立体视觉设置仅使用图像信息来定位标志，在距离相机10m远处可能存在深度准确度的多达15cm至20cm的误差。因此，HD地图系统使用附加信息来提高标志特征的准确度。LiDAR传感器被设计成用于准确地确定到对象的距离。用于AV的典型LiDAR扫描仪的各个lidar点的准确度范围为+/-2cm。系统的实施方式使用lidar信息来补充图像信息，从而可以实现更好的准确度。HD地图系统对3D点的组进行操作并且最佳拟合平面以进一步提高准确度，同时约束所得到的标志特征的整体3D几何形状。

由HD地图系统执行的用于检测标志特征的整个过程包括以下步骤：(1.)接收带有标记的标志顶点的一个或更多个图像作为输入(2.)识别场景中的3D点(3.)识别属于该标志的3D点(4.)将平面拟合到3D标志点(5.)将图像点投影到3D平面上。本文进一步详细描述该过程。

图9示出了根据一个或更多个实施方式的描述将交通标志存储在3D地图中的方法的流程图900。将交通标志存储在3D地图中的方法由图1的HD地图系统110(图9中未示出)实现。在一些实施方式中，该方法由HD地图系统110的地图创建模块410或其他各种模块执行。在一个或更多个实施方式中，地图创建模块410包括串联工作以将交通标志存储在3D地图中的图像检测子模块470、3D地图构造子模块475、平面拟合子模块480和图像投影子模块485。

存储交通标志的方法包括接收910由安装在车辆上的相机捕获的具有交通标志的图像。如前所述，安装在车辆上的相机是图1的车辆传感器105的实施方式。车辆是图1的车辆150的实施方式。相机捕获图像，其中，图像的一部分包括整个交通标志。交通标志例如是包含关于路线的信息的固定多边形。可以根据各种交通标志类型区分交通标志。交通标志类型的示例是管制标志(例如，“停车”标志、“让行”标志、限速标志)、警告标志(例如，“潮湿路滑”、“连续弯路”、“前方施工”)，引导标志(例如，路线标记标志、高速公路标志、欢迎标志、休闲标志)、街道标志等。此外，图像可以包含元数据信息，例如日期、时间、相机设置等。在一个或更多个实施方式中，图4B的图像检测子模块470(图9中未示出)处理接收910图像的第一步骤。

该方法还包括识别920图像的与交通标志相对应的部分。识别图像的与交通标志相对应的该部分。如前所述，交通标志是例如固定多边形，使得其可以由交通标志的顶点限定。为了识别920图像的与交通标志相对应的部分，图像分类模型确定图像中的与交通标志相对应的位置。图像分类模型还确定具有最少顶点但仍然包含整个交通标志的多边形。在一个或更多个实施方式中，图像分类模型利用卷积神经网络来划分图像并且更有效地定位图像的与交通标志相对应的部分。此外，图像分类模型可以在其卷积神经网络中实现附加层，用于识别交通标志内的文本。图像分类模型还可以识别交通标志是否被图像中的其他对象遮挡。在一个或更多个实施方式中，已经接收910图像的图像检测子模块470识别920图像的与交通标志相对应的部分。

该方法还包括接收930由检测和测距传感器捕获的包括交通标志的深度地图。深度地图是包括多个点的2D地图，其中，每个点描述物理对象到检测和测距传感器的距离。检测和测距传感器可以是光检测和测距传感器(LIDAR)或无线电检测和测距传感器(RADAR)。深度地图包括与交通标志相对应的一个或更多个点。检测和测距传感器可以主动地过滤掉深度地图中的与移动对象相对应的点。在一个或更多个实施方式中，图4B的地图构造子模块475(图9中未示出)处理接收930深度地图的第三步骤。

该方法还包括通过将深度地图映射到3D空间中来构造940 3D地图。深度地图中的描述距离的多个点用于构造车辆环境的3D地图。可以将深度地图的每个点映射为3D环境地图(例如，图3的占用地图530)中的对象相对于检测和测距传感器的位置矢量。深度地图中的点的位置描述了对应位置矢量相对于检测和测距传感器的方向，并且该点的距离描述了位置矢量的大小。根据多个点，通过将深度地图的每个点映射到由3D地图中的位置矢量限定的3D点可以构造3D地图。在另外的实施方式中，可以将多于一个深度地图集成到3D地图中。来自每个深度地图的点被添加到3D地图中以提供环境的更全面的3D地图。在一个或更多个实施方式中，已经接收930深度地图的地图构造子模块475构造940 3D地图。

此外，该方法包括识别950深度地图中的与交通标志相对应的至少三个点的子集。在深度地图中的所有点中，一些点描述了交通标志的距离。为了识别与交通标志相对应的至少三个点，存在各种快速且有效的方法。在一个或更多个实施方式中，通过将图像的该部分变换为深度地图来确定深度地图中的边界框。可以通过拍摄环境中的单个对象的图像和深度地图来确定从相机图像到检测和测距传感器深度地图的变换。深度地图中的与单个对象相对应的所有点和图像的与单个对象相对应的所有部分可以用于计算从图像到深度地图的变换或从深度地图到图像的变换。在一个或更多个实施方式中，基于针对边界框计算的最小深度和计算的最大深度来确定3D地图中的包含3D地图中的交通标志的平截头体。计算的最小深度和计算的最大深度可以根据图像的与交通标志相对应的部分的大小来估计。在一些实施方式中，交通标志的分类可以与交通标志的尺寸相关联，HD地图系统110可以重新调用尺寸以估计交通标志的近似深度。例如，图像分类模型将交通标志确定为停车标志，使得HD地图系统110重新调用停车标志的标准尺寸集。与图像的该部分的大小相比的标准尺寸可以根据图像提供标志的近似距离。

平截头体是3D地图中的体积构造，其有助于过滤掉3D空间中的不靠近交通标志因此将不与交通标志相对应的点。为了与边界框的形状相匹配，构造平截头体，例如，用于正方形边界框的正方形平截头体或用于圆形边界框的圆形平截头体。在一个或更多个其他实施方式中，第一方法用于通过首先确定深度地图中的位于平截头体内的最小点来识别至少三个点的子集。然后，第一方法识别平截头体中的阈值深度内的其他点。第一方法选择被确定在阈值深度内的至少三个点作为边界框中的与交通标志相对应的至少三个点的子集。在一个或更多个实施方式中，第二方法用于通过首先将边界框划分为多个单元格来识别至少三个点的子集。对于每个单元格，第二方法确定该单元格中的最小点。然后，第二方法计算并且选择具有在接近度上最接近的最小点的一个或更多个单元格。第二方法选择所选择的一个或更多个单元格的至少三个最小点作为与交通标志相对应的至少三个点的子集。单元格内的深度由距该单元格内最近点的度量距离来设置。结合图12和图13给出了创建平截头体并且选择平截头体内至少三个点的子集的示例的讨论。在一个或更多个实施方式中，地图创建模块410的平面拟合子模块480利用本文所描述的过程识别950至少三个点的子集。

该方法还包括至少部分地基于至少三个点的子集在3D地图中拟合960平面。与交通标志相对应的至少三个点的子集是确定3D地图中的平面的基础，该平面对应于交通标志空间上位于的位置。利用正好三个点的子集，HD地图系统110确定包含这三个点的平面。利用多于三个点的子集，HD地图系统110可以使用各种拟合方法。一种可能的拟合方法是回归分析。另一种可能的拟合方法是随机抽样一致性(RANSAC)。RANSAC是迭代过程，它通过在拟合过程中迭代地增加点的子集中的内点的影响同时迭代地减少异常值的影响来拟合平面。建立平面后，可以利用边界框进一步缩小平面。在一个或更多个实施方式中，地图创建模块410的平面拟合子模块480利用本文所描述的过程至少部分地基于至少三个点的子集在3D地图中拟合960平面。

该方法还包括将与交通标志相对应的图像的识别部分投影970到3D地图中的拟合平面上。将与交通标志相对应的图像的识别部分投影到3D地图中的拟合平面上获取2D图像并且将2D图像放置在拟合平面上。这可以使用各种方法来完成。在一种可能的投影方法中，可以通过从检测和测距传感器通过每个单独像素绘制射线来投影与交通标志相对应的图像部分，以确定射线与拟合平面的交叉点。该交叉点是该像素的投影位置。在对图像的该部分的所有像素重复操作之后，所有像素被投影在交通标志的拟合平面中的3D地图上。在一些实施方式中，仅投影与标志顶点相对应的图像点。在其他实施方式中，可以投影标志图像的所有像素以获得标志的颜色信息。该交叉点是该像素的投影位置。在一个或更多个另外的实施方式中，存在应用于投影图像的一个或更多个几何形状约束，用于通过固定投影图像的尺寸来细化投影图像。一个几何形状约束可以由所识别的交通标志的形状来确定。例如，投影图像可能失真，以便通过确保顶点与3D地图中的质心点等距离来将停车标志拟合到正八边形中。可以通过颜色调整、锐化、降噪、其他图像校正等进一步处理3D地图中的投影图像。在一个或更多个实施方式中，地图创建模块410的图像投影子模块485利用本文所描述的过程将与交通标志相对应的图像的识别部分投影970到3D地图中的拟合平面上。

以下是根据各种实施方式的上述过程的各个步骤的细节。

识别场景中的3D点

为了确定标志的3D位置，HD地图系统确定场景的3D几何形状。由于车辆使用(多个)LiDAR传感器扫描世界，因此HD地图系统有效且准确地创建图像场景的3D表示。实施方式使用以下技术根据LiDAR信息产生场景：(1.)在捕获图像时使用单次扫描，(2.)根据之前或之后的图像样本对对准的扫描进行聚合，以及(3.)使用OMap(通过融合通过区域的很多样本行驶构建的占用点的3D体积网格)。

在每个图像样本处都存在相关的lidar扫描。该扫描可以包含或不包含足够的数据来捕获标志的3D表示。如果标志上有足够的信息(至少3个非共线点)，则HD地图系统具有足够的数据并且可以继续。如果HD地图系统不具有足够的数据，则HD地图系统使用以下方法中的一个。根据一个实施方式，HD地图系统相对于当前样本合并点云。HD地图系统选择附近的并且可能包含标志上的数据点的姿势，并且将这些姿势中的每一个处的lidar扫描合并到系统可以在其上操作的单个点云中。该方法具有以计算时间和缺乏可扩展性为代价提供大量数据的益处。根据另一个实施方式，HD地图系统使用OMap来表示3D几何形状。OMap包含来自许多轨道的体素化数据，并且因此它可能以5cm体素化的成本具有更完整的图像，并且由于轨道之间的不对准将导致噪声更大的数据，因此更容易受到对准误差的影响。使用OMap的子部分可以显著提高可扩展性，因为合并LiDAR扫描的成本只需一次。

通过使用LiDAR数据，HD地图系统能够从单眼图像中识别标志特征的3D位置。当HD地图系统合并多个点云时，HD地图系统确保样本至少相隔一定距离以避免冗余数据点。HD地图系统还支持沿轨道向前和向后两者的可变距离，以用于选择要合并的点云。在一个实施方式中，HD地图系统由于数据量不足或者如果平面拟合不满足基于法线的垂直分量的取向的某些标准，则计算单个点云中的失效的合并点云。

识别标志点

3D场景点通常包含大量点，其中，这些点中仅有少部分的点表示标志。通过了解从3D LiDAR点到相机坐标的变换，HD地图系统执行由图像边界框以及最小深度和最大深度产生的平截头体检查以过滤点。使用立体图像或者通过了解单个图像的标志的近似真实世界大小，HD地图系统产生平截头体的估计的最小深度和最大深度。对于平截头体中的所得到的点，HD地图系统使用校准的相机投影矩阵将3D点投影到图像上。根据另一个实施方式，HD地图系统将所有点投影到图像上并且检查图像中的标志的2D边界框是否包含该点。在过滤掉图像边界框外部的点之后，HD地图系统处理可能位于3D中标志后面但是投影到同一2D空间上的点。HD地图系统以多种方式过滤掉这些点。根据一个实施方式，HD地图系统选择3D中的最近点并且仅选择靠近该点的其他点。这适用于未被遮挡的标志，这些标志在其点与任何其他对象的点之间具有合理的距离。

根据另一个实施方式，HD地图系统选择落入每个2D单元格的最近点，其中，2D单元格可以是像素或任何其他更大或更小的2D网格元素。在一些实施方式中，HD地图系统使用3D单元格并且选择落入每个3D单元格中的最近点。这仅选择从图像中可以看到的标志的前面的点。这种方法在标志平面完整且3D噪声最小的情况下是理想的，但是LiDAR是稀疏的，所以存在可以选择更远的点的一些洞，并且如果标志前面存在很多噪声点，那么这种方法将选择不好的点。最好的方法取决于数据的特性，这取决于合并点云的方法。其他实施方式使用针对单元格的第一n个点、针对单元格的点的加权平均值以及距最小点的最大距离的混合组合和选择第一点的一些度量。

允许任意顶点描述标志而不是最紧密的矩形边界框的好处是它允许LiDAR点的优越分割。与仅使用3D点信息的大多数技术相比，这种使用图像信息来过滤点的方法是处理大量点的更有效的方法。在一个实施方式中，HD地图系统对滚动快门相机执行校正。为了将3D点正确地投影到图像上，HD地图系统根据它们将投影的图像行来对点的3D坐标进行变换。图像的行指示图像在何时捕获该点，使得HD地图系统可以相应地移动该点。该校正确保3D点正确地投影到图像上。

将平面拟合到3D点上

在与标志有关点被正确分段之后，HD地图系统将平面拟合到点。HD地图系统使用RANSAC来拟合平面。这提供了对平面的位置和取向的初始猜测。之后，HD地图系统可以使用以下方法中的任一方法来优化平面拟合。

根据一个实施方式，HD地图系统关注点的3D位置而忽略2D位置。在该方法中，HD地图系统通过利用平面取向和位置同时优化每对顶点之间的距离来细化3D标志顶点的位置。HD地图系统通过扰动用于投影到3D平面上的每个点的图像坐标来改变点之间的距离。这会引起2×N+6自由度优化问题，其中，N是标志顶点的数目。这会产生投影到最佳拟合平面上的正则化的3D几何形状。尽管这会产生最佳3D标志，但它不会使2D重投影误差最小化。由于在单个样本上标记了标志，因此HD地图系统依赖于自动标志创建中的标志聚合来减少图像样本之间的重投影误差。

根据另一个实施方式，HD地图系统使平面拟合误差和重投影误差最小化。在优化中，HD地图系统使(1/N)*(平面拟合误差平方和)+λ*(1/N)*(3d重投影误差平方和)最小化。其中，N是顶点的数目并且λ是用于平衡平面拟合误差和重投影误差的正则化项。HD地图系统测量曾是初始RANSAC平面拟合中的内点的所有点之间的平面拟合误差，并且测量为特征创建提供的所有图像样本之间的重投影误差。这为HD地图系统提供了在自动化期间使单个图像上的平面拟合误差和重投影误差最小化的能力，并且然后在标志聚合步骤中从在特征是可见的所有图像样本之间重新运行该过程以使所有图像样本的平面拟合误差和重投影误差最小化。

将图像点投影到平面上

该步骤将图像坐标顶点投影到被拟合的3D平面上。通过从相机原点通过像素并且通过3D标志平面投影射线，HD地图系统找到该射线与3D中的平面的交叉点。该交叉点是3D中该标志上的图像坐标的位置。在HD地图系统确定所有标志顶点的3D坐标之后，HD地图系统应用滚动快门校正的倒数(假设相机芯片使用滚动快门)。

根据一种实施方式，HD地图系统对在计算3D点之后创建的标志几何形状施加附加约束。由于像素的模糊性、可能不精确的顶点标记和其他误差，投影到平面上之后的3D标志几何形状是不规则的。HD地图系统基于标志类型强制3D标志的几何形状成为平面且几何约束的，例如，停止标志被约束为八边形并且矩形限速标志被约束为具有矩形几何形状。根据一种实施方式，HD地图系统通过计算点的质心，然后计算远离中心的更远点并且使用该距离作为圆的半径，来对常规多边形强制执行这些约束。多边形内接在输入列表中第一个顶点处开始的圆内。四边形标志具有不同的方法，因为它们选择顶部两个点和底部两个点，然后计算两个顶点之间的矢量和两个底部点之间的矢量，然后取该矢量的平均值来表示宽度。HD地图系统重复从顶部到底部的矢量的步骤，并且然后获取这些所得到的矢量的叉积以确保矢量是正交的，并且然后重新计算角。

优化3D位置

作为最后步骤，HD地图系统相对于标志在OMap中的位置来优化标志的3D位置。这是通过移动标志直到它在其边界框内包含最高密度的OMap点来完成的。如果该标志被认为是3D中的具有一些厚度的平面，则HD地图系统通过迭代地计算在不同3D位置处的框内包含的点的数目来使3D框的内部包含的点的数目最大化。根据另一个实施方式，HD地图系统执行计算效率更高的版本，该版本对当前位置处的框中的点的数目进行计数。然后，只有在将框移动到该位置后框的内部包含的点的数目更大时，才对附近框中的点的数目进行计数并且在该方向上移动框。根据另一个实施方式，HD地图系统通过根据当前位置选择由半径r限定的一些区域内的所有点并且通过使用主要组成部分分析计算该区域内的点的质心和平面的方向来确定该位置。该步骤是理想的，因为相对于OMap的标志位置的准确度是最终目标。

存在lidar数据不存在或不足的可能情况。在HD地图系统具有lidar数据但不足以拟合平面的情况下，即，存在少于三个点或所有点共线，则HD地图系统使用可用的lidar点来确定从车辆到标志的距离并且使用立体视觉来计算其余的位置信息。例如，如果HD地图系统只有一个lidar点，则HD地图系统使用立体视觉来计算x，y坐标，并且假设该标志直接面向相机，使得z恒定且等于相机坐标值中的lidar点的z。如果HD地图系统有两个或更多个点，则HD地图系统创建线。然后，HD地图系统计算x和y坐标与该线的交叉点，假设平面不向上或向下倾斜并且仅围绕y轴旋转。在HD地图系统根本没有lidar点的情况下，HD地图系统使用立体三角测量来在3D中定位标志特征。如果HD地图系统具有多个标记的立体图像对，则HD地图系统在所有帧之间执行3D位置的捆绑调整，以使所有帧之间的重投影误差最小化。

标志聚合

为标志可见的每个图像样本创建标志假设意味着，对于每个标志，HD地图系统应该具有可以来自不同轨道间的多个图像，并且因此具有多个位置假设。在标志聚合步骤中，HD地图系统对这些假设进行聚类，以便产生每个群组的单个特征。对标志进行聚类考虑了标志相对于相机从它被看到的取向，以优先考虑在相机中具有朝向看到的标志。此外，HD地图系统使用平面区域的启发法来去除错误的假设，并且然后HD地图系统基于标志中心之间的欧氏距离和标志平面之间的角度来对标志进行聚类。一旦特征被聚类，HD地图系统就具有属于同一地面实况标志的多个标志特征。在一个实施方式中，HD地图系统使用加权评分技术从群组中选择最佳特征。因此，HD地图系统基于各种标准(包括与群组的中间区域的接近度、标志法线与汽车航向之间的角度、与深度学习检测结果相比的标志的重投影误差、与对应的深度学习结果相比群组的所有图像上的标志的重投影误差)选择评分。HD地图系统确定这些评分的加权聚合并且对特征进行排序以选择最佳特征。

图10A示出了根据一个或更多个实施方式的具有带有已识别的顶点的平面交通标志1010的第一图像1000。在示例图示中，HD地图系统110执行图9的方法的一部分。HD地图系统110首先从车辆150的车辆传感器105接收910具有平面交通标志1010的第一图像1000。所识别的平面交通标志1010在第一图像1000中未被遮挡，并且是具有多个顶点1015(指代图10A中的由十字表示的所有八个顶点)的八边形形状。HD地图系统110继续以识别920与平面交通标志1010相对应的图像的一部分1020。在该图示中，对图像的一部分1020的识别920包括识别有助于定义交通标志的形状的多个顶点1015。在该示例中，HD地图系统110识别平面交通标志1010的八个顶点，从而将平面交通标志1010确定为八边形形状。当连接顶点以建立八边形时，HD地图系统110确定与平面交通标志1010相对应的图像的一部分1020。HD地图系统110基于从图像到深度地图的变换利用图像1020的该部分来确定对应的深度地图中的边界框。

图10B示出了根据一个或更多个实施方式的具有带有已识别的顶点的成角度的交通标志的第二图像。在另一示例图示中，HD地图系统110执行图9的方法的一部分。HD地图系统110首先从车辆150的车辆传感器105接收910具有成角度的交通标志1060的第二图像1050。所识别的成角度的交通标志1060在第一图像1000中未被遮挡，并且当在平面视图中观察时其是正方形形状。然而，在该示例图示中，成角度的交通标志1060成角度，使得第二图像1050捕获具有菱形形状的成角度的交通标志1060。HD地图系统110继续以识别920与成角度的交通标志1060相对应的图像的一部分1070。在该图示中，对图像的一部分1070的识别920包括识别多个顶点1065。在该示例中，HD地图系统110识别成角度的交通标志1060的四个顶点，从而将成角度的交通标志1010确定为四边形形状。当连接顶点以建立菱形时，HD地图系统110将菱形确定为与成角度的交通标志1060相对应的图像的一部分1070。此外，HD地图系统110应用图像分类模型，该图像分类模型确定成角度的交通标志1060确实是成角度的。在图9的方法的其他步骤中，当投影到在3D地图中与成角度的交通标志1060相对应的拟合平面上时，HD地图系统110可能使图像的该部分1070失真，以进行调整用于将图像中的菱形形状投影到3D地图中的正方形形状上。

图11示出了根据一个或更多个实施方式的对交通标志1105上的文本进行解密的方法。在示例图示中，HD地图系统110执行图9的方法的一部分。HD地图系统110接收图像1110作为图9的方法的第一步骤，图像1110包括停止标志作为交通标志。在第二步骤中，HD地图系统110识别与交通标志相对应的图像的一部分1120。HD地图系统110将卷积神经网络模型应用于图像的识别部分1120，该卷积神经网络又识别图像的该部分1120上的文本。在该示例中，卷积神经网络模型将“STOP”识别为交通标志上的文本。HD地图系统110可以将文本作为已识别的交通标志的属性存储在HD地图1150中。HD地图系统110还可以确定取决于文本的法律限制。例如，文本“STOP”需要法律要求在与交通标志的交叉点处完全停止。这些其他限制可以另外作为交通标志的附加属性被存储在HD地图1150中。

图12示出了根据一个或更多个实施方式的通过利用平截头体1250过滤掉3D地图1200中的点来识别与交通标志相对应的点的方法。车辆具有一个或更多个传感器1210，包括安装的LIDAR和一个或更多个相机。3D地图1200由HD地图系统110基于由传感器1210例如光检测和测距传感器(LIDAR)产生的深度地图来构造。3D地图1200包括与来源于深度地图中的点的环境中的对象的位置矢量对应的多个点。HD地图系统110根据交通标志图像顶点确定图像空间中的边界框1220。边界框1220的每个顶点建立来自车辆上的传感器1210(例如相机)的射线。来自边界框1220的顶点的所有射线无限期地从相机建立平截头体1250。在该图示中，边界框1220是矩形形状，因此角锥体是矩形的。利用平截头体内最近的lidar点作为最小深度并且设定相对于最小深度的最大深度，可以定义最小深度平面1230和最大深度平面1240。在一些实施方式中，最小深度平面1230和最大深度平面1240可以由HD地图系统110基于几何约束进一步约束。例如，最小深度平面1230和最大深度平面1240可以被约束为彼此平行。在另一示例中，HD地图系统110确定要成角度的交通标志，并且因此将最小深度平面1230和最大深度平面1240约束为与所确定的交通标志的角度平行。最小深度平面1230和最大深度平面1240与由边界框1220建立的角锥体1225相交以确定平截头体1250。3D地图1200中角锥体1225内落在平截头体1250外部的所有点被过滤掉。在该图示中，3D地图1200中被表示为三角形的所有点被过滤掉。在该图示中，HD地图系统110根据平截头体1250内被表示为菱形的点来识别与交通标志相对应的点。

图13示出了根据一个或更多个实施方式的识别3D地图1300中与交通标志相对应的点的子集的方法。在一个或更多个实施方式中，识别点的子集的方法遵循HD地图系统110对3D地图中的异常值点的过滤。在该图示中，3D地图中的点是在用平截头体(例如，图12中的平截头体1250)过滤之后的剩余点。在剩余点中，HD地图系统110确定最小深度点1370(由“X”表示)，其是最接近传感器1310(例如相机或LIDAR)的点。HD地图系统110根据由菱形表示的最小深度点1370识别阈值深度1320内的点。从最小深度点1370起位于比阈值深度1320更远的点被排除并被表示为三角形。HD地图系统110选择阈值深度1320内的点作为与交通标志相对应的点的子集。在该图示中，阈值深度1320被表示为3D地图1300中的平面；然而，在其他实施方式中，可以使用来自传感器1310(例如相机)的半径来限定阈值深度1320。

图14示出了根据一个或更多个实施方式的确定具有由点的子集1410确定的拟合平面1420的缩小拟合平面1430的方法。在该说明性示例中，HD地图系统110识别了3D地图1400中与交通标志相对应的三个点的子集1410。在一个或更多个实施方式中，HD地图系统110利用边界框和由边界框确定的锥体(类似于由图12中的边界框1220限定的角锥体1225)来识别3D地图1400中的三个点的子集1410。具有三个点的子集1410的HD地图系统110可以利用这三个点的坐标来限定拟合平面1420。HD地图系统110通过确定与由边界框确定的锥体相交的拟合平面1420的一部分，进一步将拟合平面1420缩小为缩小拟合平面1430。缩小的拟合平面1430可以是HD地图系统110投影交通标志的图像的基础。在该说明性示例中，三个点的子集1410精确地限定拟合平面1420；然而，在各种其他实施方式中，HD地图系统110利用拟合模型来确定拟合平面。在这些这样的实施方式中，HD地图系统110可以实现各种数学拟合技术。一种这样的技术(如上面结合图9所述)是RANSAC。

示例

图15至图27示出了根据一个实施方式的表示HD地图的标志特征创建的各个处理阶段的示例图像。

图15示出了在标志周围绘制有的边界框的图像。标志位置服务获取与该图像相对应的轨道id、样本id、相机子样本id和相机id以及边界框在图像坐标中的顶点列表。轨道id、样本id、相机子样本id、相机id都是利用来自相机的图像来标记的数据，该相机提供关于图像的信息。

图16示出了投影在图像上的LIDAR点。点由强度着色。反射标志的LIDAR点会以更高强度返回，因此系统可以确定存在位于LIDAR扫描中的标志后面的被投影到标志上的一些点作为黑点。

图17示出了通过图像边界框过滤的LIDAR点。在该图中，白色点是在图像边界框内的被过滤到相机的最近点以去除LIDAR点异常值的LIDAR点。

图18示出了三维空间中的被拟合成过滤LIDAR点的平面。在该图中，钻石形状是被拟合到LIDAR点的平面。该平面延伸至无限远，但是为了清晰起见，在标志点附近进行拟合。

图19示出了射线与标志平面的交叉点。为了在3D中找到图像边界框顶点的位置，系统在3D中找到从相机发射的穿过与边界框顶点相对应的图像像素的射线与3D标志平面相交的位置。

图20示出了在相机捕获图像时相对于LIDAR传感器的3D LIDAR坐标中的4个标志顶点。如该图所示，系统连接4个顶点，使得可以在LIDAR坐标中看到由这些点限定的形状以及该形状与标志对准的程度。

图21(A至B)示出了合并点云。这两个图描绘了合并点云的益处。图21(A)是交叉点的单个扫描。图21(B)示出了在同一交叉点处将先前的20个LIDAR扫描合并到单个点云中的结果。如图所示，在将LIDAR扫描合并到单个点云中之后，图21(B)中的图像示出了点云数据中的交通信号的清晰图像，该清晰图像根据单个LIDAR扫描在图21(A)中作为单个LIDAR扫描线出现。

图22(A-C)示出了标记有输入顶点的图像的示例。每个加号表示标志的几何形状的顶点。可以提供任意数目的顶点，并且优化该形状的几何形状。

图23示出了占用地图(OMap)选择的示例。图中概述的交通灯是该OMap子部分的目标特征。系统基于估计的特征的位置来选择OMap的20米×20米子部分进行处理。该特征虽然不是OMap的中心，但它完全包含在该子部分内。

图25示出了根据一个实施方式的用于选择平面点的过滤过程。

图24描绘了用于产生图25的输入顶点，图25是其后面具有树枝的标志。该图用作3D点云表示的情景。

图24至图25示出了适当地过滤属于标志的3D点的需求。第一图像是输入，该图像示出了其后面有树枝的标志。图25显示了标志附近的合并的3D点云。红点和绿点都是图像投影平截头体内的点。红点是平截头体内的点的子集，这些红点符合标志点的过滤标准。即使在过滤的情况下，仍然存在一些噪声，这就是为什么平面拟合需要对异常值具有鲁棒性的原因。

图26示出了平面拟合。一旦系统选择了属于平面对象的点，系统就会将平面拟合到这些点。在图26中所示的图像中，描绘标志的该形状内的红点是由于图像边界框和3D深度对3D点进行过滤而得到的点。不透明度较低的红点是平面后面的点，而亮红点位于平面前方。由于点中的噪声，系统选择对红点进行最佳拟合。

图27示出了图像点投影。在拟合平面之后，系统使用标记的图像顶点来投影到3D平面上。相机射线与该平面的交叉点是该点的3D位置。在上面的图像中，红色边界框表示根据3D顶点创建的标志。从右下部到左上部的线是来自相机的虚构射线。半透明的白色框是拟合平面。射线与该平面的交叉点是标志的3D顶点。

车道线模块

图28A示出了根据一个实施方式的车道线模块460的系统架构。车道线模块460包括像素存储器2810、图像像素分类器2815、映射模块2820、聚类模块2825、车道线群组存储器2830、区段中心分析模块2835和车道连接模块2940。与HD地图系统的架构类似，车道线模块460的其他实施方式可以包括比图28A中所示的模块更多或更少的模块，并且被指示为由特定模块执行的功能可以由其他模块实现。在一个实施方式中，车道线模块460可以是包括多个处理器的分布式系统。

像素存储器2810包含车道线图像中包含的二维像素，二维像素被称为“2D点”。图像像素分类器2815给每个2D像素分配描述各个像素位于车道线中心的可能性的概率。映射模块2820将大于位于车道线中心的阈值概率的每个2D像素追踪到3D表示，3D表示被称为“3D体素”。聚类模块2825将相邻点分组成车道线群组，车道线群组被存储在车道线群组存储器2830内。区段中心分析模块2835通过从群组中去除异常值点来简化所存储的车道线群组并且通过剩余点绘制中心线。使用中心线，车道连接模块2940连接多个车道线区段以创建车道线的完整表示。

HD地图的车道线创建的概述

图28B示出了根据一个实施方式的描述车道线创建过程的流程图。根据车道线的一个或更多个图片，图像像素分类器2815基于2D点位于沿着车道线的中心的可能性对2D点进行分类。在一些实施方式中，图像像素落入沿中心可能性或中心线概率被表示为由图像分割深度学习模型确定的数值概率。例如，具有位于车道线中心的明确可能性的2D点的概率为1，而位于车道线之外的2D点的概率为0。现在参照图30，根据一个实施方式示出了被表示为一组2D点2915的两个车道元素的相机图像的图示。相机图像2920可以被转换为概率图像3010，概率图像3010包括中心线概率为0.6、0.8和0.9的点组，所有这些点的概率都大于被排除的2D点3020的概率，被排除的2D点的中心线概率为0.05。

从上述示例继续，位于车道线的中心与边缘之间的2D点具有0到1之间的概率。基于这些分类，图像像素分类器2815还识别2845落在车道线上的点。在一些实施方式中，落在车道线上的2D点2915由一系列可接受的概率值(例如，0.75至1.0)来识别。

此外，图29示出了用于执行车道线创建过程2800的各种组成部分的视觉表示。相机2905捕获相机图像2910并且识别2D平面2920中的那些图像的2D点2915。具有足够高的中心线概率的所识别的2D点被映射到存在于3D平面2930中的3D体素的车道线点2925。车道线2935被表示为沿着车辆路线的连续线，但是可以被分解成车道线区段2940。车道线区段2940指的是单个车道线的子划分。在一些实施方式中，不同的车道线区段2940可以在几何上相同，而在其他实施方式中，它们具有不同的尺寸。每个车道线区段由车道线区段中心线2945包围并识别，该车道线区段中心线2945包括3D平面2930中的两个或更多个车道线点2925。

2D点与3D体素之间的映射

图31A示出了根据一个实施方式的从相机图像转换的原始概率图像的3D体素表示。尽管概率图像仅以二维表示车道线及其周围环境，但是3D体素3110以三维表示相同信息以向在线HD地图系统120提供附加信息层。

图31B示出了根据一个实施方式的映射模块的系统架构。映射模块2820将每个2D点2915映射到3D体素3110中的车道线点2925，以创建2D点的周围环境的三维表示。图11A示出了根据一个实施方式的映射模块2820的系统架构。映射模块2820包括2D像素存储器3115、2D-3D转换模块3120、3D体素存储器3125和概率分析模块3130。映射模块2820的其他实施方式可以包括比图11B中呈现的模块更多或更少的实施方式模块，并且被指示为由特定模块执行的功能可以由其他模块实现。无论2D点2915被识别为具有高于还是低于阈值概率的中心线概率，2D像素存储器3115都包含从转换相机图像2910获得的所有2D点2915。在2D像素存储器3115中，被识别为具有高于阈值概率的中心线概率的2D点2915通过2D-3D转换模块3120以将2D点2915映射到3D体素3110。所有映射的3D体素3110被存储在3D体素存储器3125中。概率分析模块3130计算给定的3D体素包括车道线的中心的概率。

图31C示出了根据一个实施方式的在映射模块2820内发生的用于将2D点2915映射到3D体素3110的过程(例如，前向映射)的流程图。映射模块2820从2D像素存储器3115内的所识别的具有高中心线概率的2D点的集合中检索3135一个或更多个2D点2915。在每个所识别的2D点2915与负责产生初始相机图像的相机的中心之间，2D-3D转换模块3120绘制3140投影线并且确定3145投影线与地平面之间的交叉点。地平面指的是可以在其上找到车道线元素的表面。投影线与地平面之间的交叉点用于表征3D体素的尺寸和位置。

在一些实施方式中，3D体素3110被反向映射到2D点2915以获得每个3D点的车道线概率，即3D点在车道线上的概率。在这种情况下，HD地图系统处理3D点(例如，来自LIDAR)或在3D点(例如，来自LIDAR)之间迭代，将它们转换为相机坐标(找到对应的2D映射)，并且将它们投影到图像(例如，后向或反向映射)。HD地图系统使用深度学习技术来确定将每个像素映射到像素位于车道线上的概率的概率地图。HD地图系统使用概率地图来确定与像素相对应的3D点的车道线概率。

对于存储在3D体素存储器3125中的每个3D体素3110，映射模块计算3150描述在车道元素上找到3D体素3110的可能性的概率。在一些实施方式中，参照图像像素分类器2815描述的相同约定和分类方法也由映射模块2820实现。在其他实施方式中，映射模块使用不同的技术。由于相机图像内的距离失真，随着距离的增加，图像的标签粒度也会减小，从而导致表示双车道线的误差。为了提高准确度，映射模块2820可以通过使用来自第二图像的3D体素3110的中心线概率来聚合从2D点2915到3D体素的映射，第二图像还包含在第一图像中找到的感兴趣像素。在一个实施方式中，将所识别的二维点的集合分组成群组包括形成位于彼此的阈值距离内的一组点，其中，阈值距离大于车道线宽度并且明显小于两条车道线之间的距离。例如，HD地图系统可以使用略大于典型车道线宽度的距离，例如40cm的距离，但是远小于2个车道线区段之间的距离(可以是几米)。

将车道线点分组成车道线点群组

图32A示出了根据一个实施方式的3D体素3110中的车道线点群组3210和车道线点群组3210中的车道线点925的视觉表示。图12B示出了根据一个实施方式的聚类模块2825的系统架构。聚类模块2825将3D体素3110内的相邻车道线点925一起分组为车道线点群组3210以限定车道线的段。聚类模块2825包括粗略聚类模块3215、骨架点分析模块3220、骨架点存储器3225和精细聚类模块3230。聚类模块2825的其他实施方式可以包括比图12B中呈现的模块更多或更少的模块，并且被指示为由特定模块执行的功能可以由其他模块实现。粗略聚类模块3215基于建立的距离参数的集合来识别相邻车道线点925并将其分组成群组。骨架点分析模块3220还将群组中的车道线点925分组成包围整个群组的较小子群组，并且确定每个子群组的中心点。每个子群组内的中心点也被称为骨架点并且由骨架点存储器3225存储。使用存储在骨架点存储器3225内的已识别的骨架点，精细聚类模块3230在沿不同方向上移动的交叉车道线2935之间进行区分。关于粗略聚类模块3215、骨架点分析模块3220和精细聚类模块3230的其他细节将在下面参照图32D至图32F进行讨论。

图32C示出了用于将车道线点925分组成群组的过程的流程图。粗略聚类模块3215识别3235彼此相邻的所有车道线点925。在一些实施方式中，相邻点在彼此的最大距离内。例如，五个车道线点925可以按递增顺序排列成线。当将相邻点分组成群组时，源自第一点的车道线群组3210可以包括第二点、第三点和第四点，但不包括第五点，因为第五点距第一点的距离大于阈值距离。替选地，源自第二点的车道线点群组3210可以包括第一点、第三点、第四点和第五点，因为对于每个点，间隔距离小于阈值距离。

现在参照图32D，根据一个实施方式，描述了将车道线点925分组成车道线点群组3210的场景。相邻点3270被定义为彼此具有阈值距离3272的点。在一些实施方式中，阈值距离被定义为以下距离：1)小于包含车道线点925的车道线区段与同一车道线内的下一个或前一个车道线区段之间的第一距离3274，以及2)小于包含车道线点925的车道线与第二车道线之间的第二距离3276，该第二车道线与第一车道线在行驶方向上平行或交叉。在其他实施方式中，阈值距离3272被定义为车道线中的两条车道线点之间的数值最大距离(即5cm)。例如，使用接收输入点并且输出输入点的距离内的所有点的算法来执行上述聚类过程。更具体地，输入点可以被随机拾取并且用于定位与附加相邻点最佳组合的第一相邻点3270。然后将第一相邻点3270用作更新的输入点。根据更新的输入点，识别所有相邻点。

现在返回至图32C，骨架点分析模块3220从所识别的相邻点中识别3240子群组。当车道线点925被分组为子群组时，它们将被从总群组中去除。重复上述过程，直到车道线点群组3210内的所有车道线点925都包括在子群组中。在每个子群组内，骨架点分析模块定位3245几何中心或骨架点。在一些实施方式中，基于子群组内的每个车道线点925的加权中心线概率确定骨架点并且将骨架点存储在骨架点存储器3225内。图32E示出了根据一个实施方式的被划分成若干子群组3280的车道线区段2940和它们各自的骨架点3282的视觉表示。在一个实施方式中，子群组3280可以具有圆形形状，而在其他实施方式中，它们可以是椭圆形或多边形。

现在返回至图32C，在每个子群组3280内，精细聚类模块3230在创建过程中区分交叉车道线与车道线。对于车道线点群组3210内的每个骨架点3282，精细聚类模块3230使用每个子群组3280内的车道线点923计算3250局部斜率。精细聚类模块3230通过精细聚类在彼此的范围内并且在间隔的最大距离内将共享局部斜率的骨架点进行分组3260，以指示它们在相同的车道线内。图32F示出了与具有第二局部斜率3293的第二车道线3292相交的具有第一局部斜率3291的第一车道线3290的视觉表示。因为第一车道线和第二车道线各自的局部斜率在可接受的相似性范围之外，所以第一车道线3290和第二车道线3291被识别为彼此独立并且被分组成第一骨架点群组3294和第二骨架点群组3295。在一些实施方式中，可接受的相似性的范围通常由用户定义，而在其他实施方式中，该范围被定义为特定于所考虑的车道线点的集合。对于车道线区段2940中的每个骨架点重复3265上述过程。

定位车道线点群组上的中心

图33A示出了根据一个实施方式的通过3D体素3110中的车道线群组3210的中心线多段线3310的表示。

图33B示出了根据一个实施方式的群组中心分析模块2835的系统架构。群组中心分析模块2835通过连接每个区段内的骨架点3282来定位每个车道线区段2940的中心线。群组中心分析模块2835包括多段线生成器3315、异常值分析模块3320和压缩模块3325。群组中心分析模块2835的其他实施方式可以包括比图33B中呈现的模块更多或更少的模块，并且被指示为由特定模块执行的功能可以由其他模块实现。多段线生成器3315组织车道线区段2940内的骨架点3282并且通过有序点创建多段线。异常值分析模块3320识别并分析异常值以确定它们是表示车道线区段的方向的变化还是仅表示在同一方向上与多段线的偏差。压缩模块3325识别并去除冗余骨架点3282以将多段线压缩到最少数目的点，同时仍传达车道线区段的正确形状。关于多段线生成器3315、异常值分析模块3320和压缩模块3325的其他细节将在下面参照图33C至图33E进行讨论。

图33C示出了根据一个实施方式的用于定位车道线区段2940的中心线的过程的流程图。多段线生成器3315生成3330每个车道线区段的多段线表示。当生成多段线时，多段线生成器3315可以考虑车道线区段的几何形状。在一个实施方式中，车道线区段是长的并且是缠绕的，并且基于车道线区段内的骨架点3282生成该多段线。在假设所考虑的车道线相对直且不遵循圆形路线的情况下，多段线生成器可以使用如图33D所示的点的主分量将骨架点重组成连续的顺序。确定骨架点3282被投影在其上的主分量3350，并且通过该投影对骨架点3282进行排序。投影的顺序3352被映射到车道线区段上的车道线点的初始位置，以确定车道线区段上的车道线点的有序位置。通过连续地连接骨架点3282来生成多段线3354。

在另一个实施方式中，如图33E所述，车道线区段是短且直的，并且使用用于通过车道线点群组3210中的车道线点925来拟合几何线的技术。一旦针对车道线点群组3210确定了几何拟合线3356，就可以缩短几何拟合线3356以在群组的第一端点3358与第二端点3360之间行进。在一些实施方式中，不存在两个明确限定的端点，而是使用车道线点之间具有最大距离的两个点来包含几何拟合线3356。

现在返回至图33C，在一些实施方式中，由于多段线3354所基于的一个或更多个点与大多数剩余点之间的偏移，所生成的多段线3354可以是非线性的。在这些实施方式中，对偏移点或异常值进行分析以确定它们是不影响多段线3354的方向的噪声点还是指示多段线3354的方向变化的拐点。被识别为拐点的点指示多段线3354正以显著量地改变方向或者正在以显著量地偏离当前方向。可以手动地或基于对车道线区段2940中的特定车道线点925的考虑来设置符合作为显著变化量的条件。图13F示出了根据一个实施方式的具有噪声异常值1370的一个示例多段线和具有拐点异常值1375的另一示例多段线。

一旦识别出一个或更多个噪声异常值1370，异常值分析模块3320就从多段线3354中去除3335噪声异常值，即对多段线执行去噪操作。可以使用多段线坐标的低通滤波来去除噪声异常值1370。在另一个实施方式中，从第一点开始，通过从区段的一端到另一端对车道线点925内的相邻点进行迭代来生成拟合线。例如，对于11个点的拟合线，拟合线包括第一点、在第一点之前的5个点、在第一点之后的5个点。假设当前点是p*，前一个去噪点是p'，多段线中的下一个点是p"。系统检查p*p'-L(θ0)或第二角度p*p"-L(θ1)之间的第一角度是否大于例如max_θ_degrees(典型值是15度)的阈值。如果p*p'-L(θ0)或第二角度p*p"-L(θ1)之间的第一角度大于阈值，则系统将当前点标记为噪声并将其丢弃，否则系统将当前点标记为好点并添加到去噪多段线3354。一旦分析了所有必要的噪声异常值并从多段线中去除了噪声异常值，则剩余车道线点的多段线被称为去噪多段线。

为了减少存储车道线区段所需的内存，压缩模块3325可以从多段线3354去除3340外来车道线点。在一个实施方式中，外来车道线点可以与前一点平行地落在多段线3354上，如图33G所述，图33G示出了在外来车道线点3380没有偏离前一车道线点的方向的情况下，具有多个去除的外来车道线点3380的示例。图13H示出了其中外来车道线点3380偏离多段线3354小于最小阈值距离的另外的实施方式。可以手动地或者基于多段线3354的特征确定阈值参数。在前述实施方式中，必须对外来点3380进行分析以确认它们不是拐点。例如，对多段线上的端点之间的所有车道线点2925进行分析以识别距多段线大于阈值距离的任何点。如果未识别出车道线点，则从仅由端点组成的多段线中去除端点之间的所有点。替选地，如果车道线点2925被识别为距多段线3354的距离大于阈值距离，则通过调整更接近所识别的车道线点的一个端点来缩短多段线3354。调整多段线3354的端点可以通过识别整个多段线的第一中点并且识别多段线的第一中点与第一端点之间的任何车道线点2925来执行，第一中点与第一端点之间的距离大于距多段线的阈值距离。如果未识别出车道线点，则将第一中点设置为新端点，并且对位于第一中点与第二端点之间的第二中点执行上述过程。如果识别出了车道线点2925，则对第一中点与第一端点之间的每个车道线点2925进行分析。一旦识别出车道线点2925，就将其设置为多段线3354的新端点。迭代地执行上述过程，直到多段线端点和所识别的车道线点2925在同一点重叠为止。

将车道线区段连接成车道线

图34A示出了根据一个实施方式的通过对3D体素3110中的中心线多段线3310进行连接而创建的完整的车道线2935的表示。

图34B示出了根据一个实施方式的车道连接模块2940的系统架构。车道连接模块2940使用由群组中心分析模块2935生成的中心线多段线3310将各个车道线区段连接成车道线的完整表示。车道连接模块2940包括相邻点搜索模块3415、连通性评分生成器3420、连通性评分存储器3425、连通性评分排序模块3430和连接检查模块3435。车道连接模块2940的其他实施方式可以包括比图34B中呈现的模块更多或更少的模块，并且被指示为由特定模块执行的功能可以由其他模块实现。相邻点搜索模块3415识别附加车道线区段的有资格与感兴趣的车道线连接的相邻端点。连通性评分生成器3420确定每个相邻端点与感兴趣的车道线的端点之间的连通性评分，并且连通性评分存储器3425存储该评分。连通性评分排序模块3430基于上述端点的连通性评分来组织所有可能的连接，并且连接检查模块3435确认每个连接不与任何其他车道线区段重叠。

相邻点搜索模块3425识别3440其他车道线区段2940内的小于远离感兴趣的车道线区段2940的端点的最大距离的相邻点。对于所识别的每个相邻点，车道连通性评分生成器3420计算3445所识别的相邻点与正被分析的车道线区段2940的最近端点之间的连通性评分。连通性评分可以考虑：1)两个车道线区段之间的距离以及2)两个区段之间的方向的变化。例如，随着两个车道线区段之间的距离减小并且两个区段之间的方向变化很小，连通性评分提高。替选实施方式一次仅考虑这些因素中的一个。连通性评分排序模块3430可以按降序对连通性评分进行排序3450，使得具有最高评分的相邻点位于列表的顶部。在另一个实施方式中，连通性评分排序模块3430可以按升序对连通性评分进行排序。

首先，对于每个连接，连接检查模块3435检查3455连接是否包含已经与不同的车道线区段连接的端点。如果该检查指示端点已连接到不同的通道线段，则从排序列表中去除该连接。具体地，为了检查端点是否包含在现有连接中，对距离小于车道线区段2940的长度的连接进行分析。系统检查到连接的一端的距离小于阈值D的端点。阈值D是系统考虑的最大距离。对于排序列表上的剩余连接，如果连接包含已经与不同的车道线区段连接的端点，则连接检查模块3435检查3460连接是否将与任何现有的车道线相交。如果该检查指示连接将与现有的车道线区段重叠，则从排序列表中去除3465该连接。具体地，为了检查现有车道线的交叉点，连接检查模块3435检查与车道线区段2940的边界框的任何重叠或交叉点。在一些实施方式中，第一次检查和第二次检查的顺序是相反的。针对排序列表的每个连接，连接检查模块3435重复3470上述过程，直到找到满足两个检查协议的连接。车道连接模块2940选择3475具有最高连通性评分的剩余连接，并且在这两个车道线区段之间绘制连接。在按降序对连接进行排序的实施方式中，最高连接评分是满足两个检查协议并且不被从排序列表中去除的第一连接评分。对于系统试图连接(例如，L)的某些连接对，并且当系统试图确定是否存在将与L相交的现有连接对时，在所有现有连接对中，系统会找到其一个端点距L的一端在距离D内的连接对。

附加实施方式

在一个实施方式中，HD地图系统通过合并来自许多轨道样本和多个数据收集行驶的LIDAR扫描来创建占用地图(OMap)。由于轨道样本已经对准，因此可以将各个点云转换为OMap的公共坐标，对各个点云进行合并并且将其体素化为小立方体(例如，5cm x 5cm x5cm立方体)，其中，每个立方体指示其占用的空间。由于LIDAR传感器为每个点提供强度，因此HD地图系统将强度值填充到OMap体素(例如，通过从落在立方体内部的所有点中获取平均或中值强度)。此外，由于已经校准了lidar传感器和相机传感器，因此HD地图系统将LIDAR点投影到附近的相机图像以为每个点分配颜色。类似地，HD地图系统将颜色信息填充到OMap体素。

如果从相机视图中看不到体素内的所有点，则体素可能不具有任何颜色信息。在这种情况下，HD地图系统为点分配默认颜色，例如蓝色，并且对其进行标记，使得其与道路特征区分开。给定OMap体素的集合，每个体素具有强度值并且大多数体素具有颜色信息，HD地图系统向体素的集合应用自下而上的投影以创建2D图像的集合。给定竖直方向上的每列体素，系统获取最低的体素并将其强度和颜色信息转换为输出图像中的像素。因此，HD地图系统创建两个图像，一个存储强度值的灰度图像，以及存储颜色信息的RGB图像。自下而上(在每列中选择最低的体素)而不是自上而下的投影(在每列中选择最高的体素)的益处是系统可以除去道路上面的对象，例如汽车、树冠和灯杆。

因此，在投影之后，HD地图系统获得每个OMap区域的两个图像，一个是强度图像，另一个是RGB图像。HD地图系统还将每个图像划分为像素块，例如1024×1024个像素块，以确保文件大小是可管理的。HD地图系统将机器学习技术(例如，深度学习)应用于这些图像以提取道路特征(例如，车道线)。在一个实施方式中，HD地图系统将灰度图像和RGB图像合并为单个4通道矩阵以学习模型，因为深度学习可以独立于输入数据中的通道数目来处理输入数据。与使用相机图像相比，使用OMap图像提供了除了RGB之外的又一个信息通道，即强度。这显著改善了结果，因为机器学习模型的一个主要混淆源是道路上的阴影，该阴影与周围环境相比具有显著不同的颜色，并且可能与诸如车道线的道路特征混淆。另一方面，LIDAR强度对阴影不敏感。因此，灰度强度图像在阴影边界上显示均匀值。但是Lidar强度对道路特征敏感，其中大部分道路特征被涂色并产生比地面更高的反射率。

在深度学习步骤之后，每个图像像素被标记为“车道线”或“非车道线”。在一些实施方式中，HD地图系统使用基于机器学习的模型，该模型进一步将车道线分类为不同类型，并且考虑其他道路特征。HD地图系统将这些标签传播回OMap体素，例如，传播到每列中的最低体素。此时，数据与基于相机的方法具有相同的格式，并且系统应用如本文所述的相同后处理(包括聚类、骨架提取、线拟合和清除等)，以创建车道线特征。

车道元素图

在一些实施方式中，HD地图系统100生成表示车道网络的车道元素图，以允许车辆规划源与目的地之间的合法路线。车道元素图允许通过映射区域导航自主车辆。每个车道元素与适用于它的交通限制例如限速、减速带以及交通标志和信号相关联。车道元素图表示被划分为车道元素的可导航道路表面，并且包括车道元素之间的连通性(例如，车辆可以从当前车道元素行进的位置)以及车道元素与特征(例如，当前车道元素中的限速)之间的语义关联以有助于车载路线选择和规划需求。车道元素在拓扑上连接，并且每个车道元素对于其后者、前者和左右邻居是已知的。

车道元素被存储为车道元素图的片段。在车道元素图内，各个车道元素被表示为图上的节点，节点通过边缘连接到表示图的相邻车道元素的其他节点。连接两个车道元素的边缘指示车辆可以合法地穿过的两个车道元素之间的物理连接。例如，两个车道元素之间的边缘可以表示车辆可以改变车道的白色虚线，但是不能表示车辆不合法地穿过的中央隔离带。在一些实施方式中，汽车不能穿过的车道线之间的边界具有与车道元素图的上述边缘不同的表示。此外，在地理区域内，车道元素从当前车道元素过渡到后续车道元素。类似地，越过两个地理区域的边界并且从当前地理区域过渡到相邻地理区域，当前地理区域的车道元素也过渡到与相邻地理区域连接的车道元素。

图35示出了根据一个实施方式的车道元素图模块470的示例实施方式。车道元素图模块470生成车道元素图。车道元素图模块470包括车道切割模块3510、车道元素模块3520和车道连接符模块3530。替选实施方式可以包括不同的或附加的模块或者省略所示模块中的一个或更多个。

车道切割模块3510通过分析车道线和可导航边界来生成车道切割。车道线表示车道的边界(例如，由白色和黄色条纹或隐式路径明确标记)。车道线可以由头控制点、尾控制点和线段表示。控制点可以包括纬度、经度和高度。可导航边界表示可导航路面的边界，并且是车辆不应跨过或越过它们的边界(例如，路边缘、中央隔离带边缘、交通岛边缘等)。在道路网络中存在拓扑变化(例如，车道的交叉、拆分或合并)或者在车道中存在语义变化(例如，限速的变化)的情况下，生成车道切割。车道切割穿过道路的宽度，将道路切割成相邻的区段。车道切割在可导航边界处结束。在图37处更详细地描述了车道切割模块3510的示例过程。

车道元素模块3520根据车道线、可导航边界和车道切割区段生成车道元素。可以根据来自安装在车辆上的成像系统的接收的图像帧生成车道线和可导航边界。车道元素(也称为单元格或车道El)具有由车道线或可导航边界限定的左右边缘。车道元素具有由车道切割区段限定的下边缘和上边缘。车道元素具有0个或1个左右邻居和0个或更多个前者和后者邻居。每个车道元素可以与仅影响局部车道元素的特征(例如，停止标志、让路标志或交通灯)相关联。关于生成通道元素的其他细节将在图36的详细描述中进行讨论。

车道连接符模块3530生成车道连接符，该车道连接符用于将车道元素连接在一起并且指示车辆可以从当前车道元素行进的位置。在一些实施方式中，人类操作员可以在交叉点处的车道元素之间绘制车道连接符以注释它们的连通性以创建车道元素的后者和前者。可以生成车道元素以表示交叉点处的车道连接符，并且车道元素的左右边缘可以从车道连接符的几何形状和它连接的车道元素得到。在一个实施方式中，车道连接符模块3530使用交叉点处的数据收集车辆的跟踪轨迹生成车道连接符。跟踪轨迹表示通过交叉点的已知路径。车道连接符模块3530可以简化跟踪轨迹以找到车道连接符的中心线。车道连接符是在数据收集行程中根据先前遍历的路线产生的。在其他实施方式中，通过使用模板匹配来生成车道连接符。车道连接符模块3530可以生成现实世界中的交叉配置库或已知交叉配置的集合。所有这样的交叉配置都可以添加到库中。每个配置可以被表示为有向图，其中，节点是驶进/驶出交叉点的车道元素，并且边缘是车道连接符。每个节点都标记有行驶限制。例如，左侧车道元素标记有“L”，汽车可以右转或直行穿过交叉点的车道元素标记有“RS”。边是左/右邻居和前者/后者关系。车道元素的交叉点可能已经具有从跟踪轨迹推断出的一些车道连接符。可以通过在配置库中找到与一个配置的最佳匹配来推断剩余的车道连接符。车道连接符模块3530基于与交叉点最佳匹配的已知配置，为交叉点中的车道元素生成车道连接符。在一个实施方式中，人类操作员可以对结果进行限定，并且可以在自动推断出车道连接符以用于质量保证之后修改车道连接符。

图36是示出用于生成车道元素的连通图的过程的实施方式的流程图。车道元素图模块470根据车道线和可导航边界识别3602车道切割。根据来自安装在车辆上的成像系统的多个接收图像帧来生成车道切割线和可导航边界。车道元素图模块470跨单个车道将车道切割分成3604车道切割区段。对于每个车道切割区段，车道元素图模块470确定3606车道元素的边界。车道元素的边界包括作为车道元素的下边缘、车道元素的右边缘和左边缘以及车道元素的上边缘的车道切割区段。在一个实施方式中，车道元素图模块470(i)识别车道切割区段与其相交的两条车道线和(ii)这两条车道线与其相交的对应车道切割区段。在一些实施方式中，下边缘或上边缘可以包括两个车道切割区段。在道路拆分的情况下，车道元素图模块470(i)识别车道切割区段与其相交的两条车道线和(ii)这两条车道线与其相交的两个车道切割区段。连接两个车道切割区段形成车道元素的上边缘并且这两条车道线是车道元素的右边缘和左边缘。在道路合并的情况下，车道元素图模块470(i)识别车道切割区段与其相交的一条车道线，(ii)车道切割区段不与车道线相交的相邻车道切割区段，(iii)相邻车道切割区段与其相交的相邻车道线，以及(iv)一条车道线和相邻车道线与其相交的对应的车道切割区段。连接车道切割区段和相邻车道切割区段以形成车道元素的下边缘，一条车道线和相邻车道线形成车道元素的右边缘和左边缘，并且对应的车道切割区段是车道元素的上边缘。对于每个车道元素，车道元素图模块470识别3608后续的车道元素。可以通过跟踪数据收集车辆的轨迹信息并且基于跟踪的轨迹信息连接车道元素来识别相交的这些后续的车道元素。可以通过根据已知的交叉配置创建有向图的集合来识别后续的车道元素，其中，节点是车道元素并且边缘是车道连接符。车道元素的交叉配置可以与集合中的单向图匹配，该匹配可以部分地基于交叉配置的车道元素，包括基于跟踪的轨迹信息的一些识别的后续的车道元素。可以基于有向图中的已知交叉配置来连接交叉点的车道元素。然后可以生成3610局部区域的高清地图，包括供在驾驶一个或更多个自主车辆时使用的车道元素图。

车道切割生成

图37是示出用于识别车道切割的过程的实施方式的流程图。在一个实施方式中，车道切割模块QHX10识别或生成车道切割。对于每个车道线，对于车道线的每个头和尾控制点，执行以下步骤。车道切割模块3510投射3702垂直于线区段的射线。每个车道线的头或尾控制点将被称为射线的原点。射线从射线的原点延伸。车道切割模块3510计算3704射线与其他附近车道线和可导航边界的交叉点。该计算是在射线延伸的同一方向上完成的。在一些实施方式中，可以沿第一方向投射射线并且可以沿第二方向投射射线。响应于交叉点在相交的车道线的头或尾控制点的阈值距离(例如，1米)内，车道切割模块3510将交叉点与相交的车道线的头或尾控制点相连3706。当多个车道在交叉口处不均匀停止时，这避免了重复切割。车道切割模块3510针对每个射线识别3708合格的交叉点。合格的交叉点是指距射线原点在阈值距离内的交叉点。例如，假设道路的宽度不能超过x米，则该距离内的所有交叉点都被视为合格或合格的交叉点。车道切割模块3510根据到原点的升序距离对交叉点进行排序3710。取决于射线原点在哪一侧上，该距离可以是正的或负的，以确保在对它们进行排序之后交叉点的正确顺序。车道切割模块3510从原点开始在排序的交叉点之间进行迭代3712并且对到先前访问的交叉点在阈值距离(例如，在10米内)内的交叉点进行连接。连接的交叉点形成候选车道切割。具有可导航边界的交叉点终止切割。车道切割模块3510对候选车道切割进行进行排序3714。候选车道切割按以下规则排序：(i)如果与另一个车道切割并列，则具有与头或尾控制点相连的更多交叉点的车道切割排序更高；(ii)如果与另一车道切割并列，则有更多交叉点的车道切割排序更高；以及(iii)曲率较小(通过连续区段之间的最大角度来测量)的车道切割排序更高。车道切割模块3510从排序的候选车道切割中选择3716最终的车道切割。当且仅当它没有重叠(即，没有与先前选择的最终车道切割的共享控制点)时，仔细检查排序后的候选切割并且选择车道切割来选择最终的车道切割。

车道线和车道切割的示例

图38至图40示出了了车道线和车道切割的示例。图38和图39示出了一些示例性车道线3810(紫色和白色)和手动标记的车道切割3820(绿色)。图38示出了人行横道和交叉点(停止线)处的车道切割。图38B示出了车道拆分处的车道切割38B20。图38C示出了示例车道线38C10(紫色和白色，隐式虚线)和手动标记的车道切割38C20(绿色)。图38C示出了在车道合并和车道交叉处的更复杂的车道切割示例。每个车道切割3820中的至少一个顶点位于车道线特征(显式或隐式)的终点，这提供了相当稳健的车道切割检测方式。

车道元素的示例

图39示出了车道元素3940(橙色)、车道边界3920(黄色)、可导航边界3912(红色)和车道切割3930(绿色)的示例。

图40示出了具有连接车道元素4020的车道连接符4010的示例交叉点。可以根据它们的空间关系计算三个车道元素4020的连通性。例如，自动模板匹配算法可以用于推断车道元素在交叉点处的连通性并且自动创建车道连接符。替选地，人类可以绘制车道连接符。

车道元素的特定字段可以是以下：左车道线、右车道线、提及进入的车道El、提及外出的车道El、提及左右相邻的车道El(如果有的话，注意：可以是沿相反方向行进的车道E1，如果它是明确可导航的，则只考虑相邻，否则如果之间存在路缘或障碍，则不考虑相邻)、左路限制：是否可以合法地在左侧穿过、右车道限制、终止限制-对于外出的车道E1的外出端的语义终止限制(例如，停止线)、限速、纵间距、保持畅通、空间界限、提及相关特征(例如，标志或灯光)、左右可导航表面多段线。

终止限制是对车道元素末端的语义终止限制的枚举。示例包括停止线-可能是N路停止线、需要参考其他N-1个停止的停止线位置、让行线、人行横道、交通灯、死角、铁路道口、保持畅通、减速带等。

在一些实施方式中，车道元素被限制为最大长度。将车道元素分成较小的长度可以使车道元素的处理和使用更加有效。

特征的示例

特征是地图上由人类操作员绘制或自动生成的所有内容。特征可以是车道边界、可导航边界或车道元素、以及交通灯、交通标志等。每个特征可以包括控制点列表和插值方法。插值方法可以是多段线、贝塞尔曲线等之一，其描述了如何在控制点之间插入几何图形。主要特征是由人类操作员绘制的特征或自动生成的标志或车道边界。主要特征也可以是自动生成的特征，这些特征由人类操作员进一步修改。例如，车道切割或车道连接符可以通过自动算法生成，但是之后在人类策划期间由人类操作员修改。主要特征的示例是车道边界、人行横道、停止线，让行线、交通灯和交通标志。派生特征是从主要特征推断和构造的特征。派生特征的属性取决于其他特征。在一个实施方式中，不允许人类操作员直接添加/修改派生特征。派生特征类型的示例是车道元素。

人类操作员难以手动更新和验证车道元素图。车道元素与车道边界和可导航边界对准。更改一个车道元素可能会影响其许多邻居。添加减速带可能会导致许多车道元素被拆分。添加限速标志会更改数十或数百个车道元素的属性。

车道切割可以是主要特征。车道切割切出了道路的横截面。对车道切割与车道边界/可导航边界之间的交叉点进行计数，可以推断出道路横断面的所有信息：多少车道、车道方向是什么等。每当道路发生变化时，都需要进行车道切割：车道合并/拆分、即将到来的交叉口或路口、限速变化、减速带。在一些简单的情况下，可以自动生成车道切割，例如，当遇到限速标志时，射出与标志所面向的方向正交的射线以产生车道切割。在一些复杂的情况例如车道合并下，人类操作员可以精确地绘制车道切割。

车道连接符可以是主要特征。在交叉点处，道路变得复杂并且车道元素重叠。单独的车道切割不足以描述道路连通性。假设正好在交叉点之前生成车道元素，车道连接符可以由人类操作员绘制或自动生成以描述它们如何通过交叉点连接。

图41示出了根据主要特征和派生特征生成车道元素图。主要特征可以包括车道边界、可导航边界、车道切割、车道连接符、和交通标志、信号、减速带等。注意，车道切割可以由用户绘制并且可以是主要特征。

车道元素生成的示例

图42示出了用于说明车道元素生成的基本算法目的的车道切割和车道边界的示例。车道切割是切割1和切割2。车道边界是车道1、车道2、中间车道、车道3、车道4和车道5。

在用于车道元素生成的算法中，系统经历每个车道切割，并且基于车道切割与车道边界之间的交叉点，将车道切割分成区段。切割1与车道1、车道2、中间车道、车道4和车道5相交。因此，切割1被分成4个车道切割区段C1_S1、C1_S2、C1_S3和C1_S4。注意，对于每个区段，可以基于车道边界的交通方向推断出交通方向。在该示例中，车道切割区段C1_S1和C1_S2向西，而车道切割区段C1_S3和C1_S4向东。切割2将以类似的方式被分成车道切割区段C2_S1、C2_S2、C2_S3和C2_S4。

该系统进一步经历每个车道切割区段，其中，车道切割区段本身用作车道元素的下边缘，并且系统跟踪与该区段相交的两个车道边界，直到到达另一车道切割区段。另一车道切割区段是车道元素的上边缘。两个车道边界的部分将用作车道元素的左边缘和右边缘。因此，获得了车道元素的完整几何边界。例如，从车道切割区段C1_S4，跟踪车道4和车道5到达车道切割区段C2_S4。

道路拆分的示例包括从车道切割区段C2_S1执行算法。跟踪C2_S1(车道1)的右边缘，直到其到达C1_S1。跟踪C2_S1(中间车道)的左边缘，直到到达C1_S2。该车道元素是拆分区域。其帽缘或上边缘通过连接C1_S1和C1_S2形成，并且该车道元素将具有两个后续的车道元素。

如果假设图42中的交通方向被反转并且从车道切割区段C1_S1执行算法，则发生道路合并的示例。C1_S1没有右边缘来跟踪，因此相邻的车道切割区段C1_S2用于获得要跟踪的右边缘(中间车道)。左边缘是车道1。中间车道和车道1都在C2_S1处结束。对于该车道元素，下边缘将是与C1_S2连接的C1_S1并且上边缘将是C2_S1。

通过使用相邻车道元素在交叉点处共享相同边的属性来得到车道元素的左右邻居。

在一个实施方式中，被分开的车道或可导航边界连接到隐式车道边界。例如，在房屋的车道上，路缘(可导航边界)被分开并且可以连接到在车道边界处形成的隐式车道边界。

在没有跟踪车道线以找到车道元素的相应上边缘的步骤的情况下生成车道元素的替选方法是解决优化问题并且找到最佳匹配以使某个成本函数最小化。在图42中，车道切割区段(车道元素的下边缘和上边缘)的最佳匹配是：

C1_S1<->C2_S1

C1_S2<->C2_S1

C1_S3<->C2_S2

C1_S3<->C2_S3

C1_S4<->C4_S4

可以基于车道切割区段是否与另一车道切割区段共享左车道边或右车道边以及车道切割区段之间的距离来使用简单的成本函数以找到匹配。

该算法可以在即时模式和批处理模式下执行。在即时模式下，系统可以假设人类操作员已经更改了任何主要特征，因此整个车道元素图将受到影响。必须为相当大的区域(例如，100米×100米)重新运行车道元素生成算法。在一个实施方式中，人类操作员可以预览变化以确保准确度。在这种规模下，算法可以在几秒内构建完整的图。在批处理模式下，一次完成整个区域(例如，50英里×50英里)。由于核心算法独立地处理每个车道切割(例如，仅沿着交通方向跟踪每个车道切割，并且不向后看)，理论上工作可以分布到地图减少作业中并且按照提供的机器数目线性地缩放。该算法是确定性的，因此即时模式中的车道元素图的预览与在批处理模式下生成并发送至车辆的车道元素图相同。

示例车道元素连通性

图43示出了具有来自车辆的两次数据收集行程的T形交叉口的示例。T交叉口包括六个车道元素车道El1至车道El6。在一次数据收集行程中，车辆从车道El3行驶至车道El1。在另一数据收集行程中，车辆从车道El2行驶至车道El5。根据跟踪的轨迹，可以得到从车道El3到车道El1的车道连接符和从车道El1到车道El5的车道连接符。然而，并非所有车道连接符都可以使用跟踪轨迹得到，因为在两次数据收集行程期间并非所有车道元素都被行进。在该阶段，可以使用与已知交叉配置的匹配方法来完成交叉口中的其余的车道连接符(例如，识别与已知交叉配置的集合中的已知交叉配置的最佳匹配)。

交通限制关联

在一个实施方式中，使用另一类型的主要特征、关联链接来注释车道元素。类似于车道连接符，关联链接可以将交通灯连接至它控制的车道元素。在一个实施方式中，系统可以根据车道元素与交通灯的几何关系推断哪些车道元素由交通灯控制。例如，这可以基于交通灯取向和距离。关联链接还可以将交通标志连接至它控制的车道元素。让行标志、停止标志和限速等交通标志与交通灯类似。然而，交通标志并不总是在同一方向上控制所有车道。关联链接用于指定哪个车道元素由交通标志控制。

车道切割生成的其他考虑

在一个实施方式中，自动生成车道切割。当自动生成车道切割时，车道切割不是从原始图像像素或lidar点得到的(例如，车道边界和可导航边界可以从这些特征得到)，而是从诸如车道线和可导航边界的较低级别特征得到的。将特征矢量而不是更高级别的特征作为输入大大降低了检测道路拓扑的变化的复杂度。然而，与其他自动化任务(例如，使用原始图像像素或lidar点的车道线、交通标志)相比，输入特征的质量对检测到的车道切割的质量具有更大的影响。如果输入的车道线要素与道路没有很好地对准，缺少区段或者具有不存在的额外片段，则输出的车道切割可能对生成网络图没有用。

在一个实施方式中，在已经策划了所有输入特征(即，显式/隐式车道线和可导航边界)之后发生车道切割生成。尽管对特征审查工作流程增加了更多复杂度，但由于特征类型之间存在依赖关系(在车道切割变得可用之前审查车道线和可导航边界)，因此可以更有信心地检测道路网络中的拓扑变化，并且检测到的车道切割更可能是正确的。

道路网络中的拓扑变化通常伴随着车道线的终止，无论是显式的还是隐式的。特征的高度不会影响道路网络的拓扑结构。通过从每个控制点中去除高度尺寸，将所有输入特征投影到2D，从而简化了计算。通常不丢弃每个控制点的高度信息。利用每个2D控制点与其高度值之间的映射，它可以单独保存。当2D车道切割特征投影回3D OMap时，该信息可能在输出时变得有用。可导航边界终止了车道切割。连接的交叉点形成候选车道切割。

对于在最终集合中切割的每个车道，计算每个控制点的高度。车道切割上的每个控制点是与输入特征的交叉点，其高度信息是已知的。交叉点落在输入特征上的两个控制点之间。交叉点可以包括参数t，其测量交叉点与一个控制点相对于另一个控制点的接近程度(即，如果交叉点在第一控制点上，则t＝0；如果交叉点在第二控制点上，则t＝1；否则t的范围在(0,1)之间)。可以基于与每个输入特征相关联的插值方法(例如，贝塞尔曲线)和两个控制点的高度信息在t处计算插值高度。因此，可以计算每个车道切割控制点处的高度。

射线不是来自可导航边界。可导航边界用于交叉(和终止)车道切割。使用可导航边界是为了确保车道切割不会延伸到相邻道路，如果两条道路彼此相邻，则可能发生这种情况。

为了加速该计算，对于每个特征，预先计算完全包含该特征的纬度/经度边界框。如果射线原点靠近其边界框(或由其边界框包含)，则系统可以仅包括用于交叉点计算的特征。由于该过程是在大区域上完成的，因此这对于交叉点计算可以过滤掉大部分特征。

其他考虑

环形交叉口可以被切割成具有车道切割的区段，以将其分成几个交叉口。例如，一个四向环形交叉口将被切割成4个T形交叉口。可以为每个T形交叉口绘制车道连接符。

道路表面上可能还涂有其他交通标志，有些示例是“公交车道”、“缓慢行驶”、“保持畅通”等。可以为这些交通标志中的每一个创建一个多边形特征，使得可以在几何上推断出哪些车道元素受它们影响。

道路可以通过多种方式—私人车道、停车场、独头巷道、死胡同—终止。对于这些情况，可以在这样的道路终止前面绘制最后的车道切割，并且可以用特殊标记“道路_终止”来标记该车道切割。

替选实施方式

在替选实施方式中，车道线生成过程使用深度学习技术根据摄影图像识别车道线，并且将来自多个图像的车道线合并为单个车道。通过使用立体图像实现三角测量技术来执行车道线的二维表示和三维表示之间的映射。在一些实施方式中，在生成单个车道线的过程期间执行类似交叉点的实例中的车道线合并，而不是参考完整路线的生成。此外，在一些实施方式中，信息用于在汽车沿着路径行进时便于实时车道线生成。

计算机器架构

图44是示出能够从机器可读介质读取指令并在处理器(或控制器)中执行指令的示例机器的部件的框图。具体地，图44示出了计算机系统4400的示例形式的机器的图形表示，在计算机系统4400中，可以执行用于使机器执行本文中论述的任何一种或更多种方法的指令4424(例如，软件)。在替选实施方式中，机器作为独立设备操作或者可以连接(例如，联网)到其他机器。在联网部署中，机器可以在服务器客户端网络环境中以服务器机器或客户端机器的功能来运行，或者在对等(或分布式)网络环境中作为对等机器来运行。

该机器可以是服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能手机、网络设备、网络路由器、交换机或网桥，或者能够执行用于指定该机器要采取的动作的指令4424(顺序地或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但是术语“机器”还应被视为包括单独或联合执行指令4424以执行本文中论述的任何一种或更多种方法的任何机器集合。

示例计算机系统4400包括处理器4402(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或其任何组合)、主存储器4404和静态存储器4406，上述部件被配置成经由总线4408彼此通信。计算机系统4400还可以包括图形显示单元4410(例如，等离子体显示板(PDP)、液晶显示器(LCD)、投影仪或阴极射线管(CRT))。计算机系统4400还可以包括字母数字输入设备4412(例如，键盘)、光标控制设备4414(例如，鼠标、轨迹球、操纵杆、运动传感器或其他指示仪器)、存储单元4416、信号生成设备4418(例如、扬声器)和网络接口设备4420、上述部件也被配置成经由总线4408进行通信。

存储单元4416包括机器可读介质4422，在机器可读介质4422上存储有实施本文中描述的方法或功能中的任何一个或更多个的指令4424(例如，软件)。指令4424(例如，软件)还可以在由计算机系统4400执行期间完全或至少部分地驻留在主存储器4404内或处理器4402内(例如，处理器的高速缓冲存储器内)，主存储器4404和处理器4402还构成机器可读介质。可以经由网络接口设备4420在网络4426上发送或接收指令4424(例如，软件)。

虽然在示例实施方式中将机器可读介质4422示出为单个介质，但是术语“机器可读介质”应当被视为包括能够存储指令(例如，指令4424)的单个介质或多个介质(例如，集中式或分布式数据库，或者相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括能够存储用于由机器执行的指令(例如，指令4424)并且使机器执行本文中公开的任何一种或更多种方法的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁介质形式的数据存储库。

附加配置考虑

已经出于说明的目的呈现了本发明的实施方式的前述描述；它并非旨在穷举或将本发明限制于所公开的确切形式。相关领域的技术人员可以理解，根据以上公开内容，许多修改和变化是可能的。

例如，尽管在本文中描述的技术应用于自主车辆，但是该技术也可以应用于其他应用，例如，用于显示具有驾驶员的车辆的HD地图、用于在诸如移动电话、笔记本电脑、平板电脑或任何具有显示屏的计算设备的客户端设备的显示器上显示HD地图。在本文中显示的技术还可以应用于例如在计算机游戏中显示用于计算机模拟目的的地图等。

本说明书的一些部分根据对信息的操作的算法和符号表示来描述本发明的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来有效地将其工作的实质传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述，但应理解为由计算机程序或等效电路、微代码等实现。此外，在不失一般性的情况下，将这些操作的布置称为模块，有时也证明是方便的。所描述的操作及其相关联的模块可以体现为软件、固件、硬件或其任何组合。

在本文中描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或更多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块用包括含有计算机程序代码的计算机可读介质的计算机程序产品实现，计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。

本发明的实施方式还可以涉及用于执行在本文中的操作的装置。该装置可以针对所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，并且耦接到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。

本发明的实施方式还可以涉及体现在载波中的计算机数据信号，其中计算机数据信号包括计算机程序产品或在本文中描述的其他数据组合的任何实施方式。计算机数据信号是以有形介质或载波呈现并在有形的载波中调制或以其他方式编码的产品，并且根据任何合适的传输方法传输。

最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且其可以不被选择用于描绘或限制本发明的主题。因此，本发明的范围旨在不受该详细描述的限制，而是受基于其的申请提交的任何权利要求的限制。

Claims (47)

1.一种在三维地图中表示交通标志的方法，包括：

接收由安装在自主车辆上的相机捕获的图像，所述图像包括所述交通标志；

识别所述图像的与所述交通标志相对应的部分；

接收由检测和测距传感器捕获的包括所述交通标志的深度地图，所述深度地图包括多个点，其中，每个点描述距离；

通过将所述深度地图中的描述距离的所述多个点映射到所述三维地图中来构造所述三维地图；

识别所述深度地图中的与所述交通标志相对应的至少三个点的子集；

至少部分地基于与所述交通标志相对应的所述至少三个点的子集在所述三维地图中拟合平面；以及

将所述图像的所述部分投影到所述三维地图中的拟合平面上，

其中，所述图像在所述三维地图中的投影部分有助于所述自主车辆的导航。

2.根据权利要求1所述的方法，其中，识别所述图像的与所述交通标志相对应的部分包括：

识别所述交通标志在所述图像上的多个顶点；以及

将具有所述多个顶点的多边形确定为所述图像的与所述交通标志相对应的部分。

3.根据权利要求2所述的方法，其中，将所述图像的所述部分投影到所述三维地图中的所述平面上包括对于每个顶点：

确定从所述相机的原点经过所述顶点的射线；

确定所述射线与所述三维地图中的所述平面的交叉点；以及

将所述顶点映射到所述三维地图中的所述交叉点。

4.根据权利要求1所述的方法，其中，所述检测和测距传感器是安装在所述车辆上的光检测和测距传感器(LIDAR)。

5.根据权利要求3所述的方法，其中，所述LIDAR捕获所述深度地图包括合并由所述LIDAR拍摄的多个扫描，以便增加所述深度地图中的描述距离的所述多个点中的点的总数。

6.根据权利要求1所述的方法，其中，构造所述三维地图还包括：

从安装在第二车辆上的第二检测和测距传感器接收第二深度地图，所述第二深度地图包括第二多个点，其中，每个点描述距离；以及

将所述第二深度地图中的所述第二多个点映射到所述三维地图中。

7.根据权利要求1所述的方法，其中，识别所述深度地图中的与所述交通标志相对应的所述至少三个点的子集包括：

部分地基于所述图像的与所述交通标志相对应的部分来确定所述深度地图上的边界框；

至少部分地基于所述图像的与所述交通标志相对应的部分的大小来确定所述深度地图的最小深度和最大深度，其中，所述交通标志在所述最小深度和所述最大深度内；

确定由所述边界框以及所述最小深度和所述最大深度产生的平截头体；以及

过滤所述深度地图中的所述多个点中的存在于所述平截头体内的点。

8.根据权利要求1所述的方法，其中，识别所述深度地图中的与所述交通标志相对应的所述至少三个点的子集包括：

部分地基于所述图像的与所述交通标志相对应的部分来确定所述深度地图上的边界框；

确定由所述边界框产生的平截头体；

确定所述深度地图中的所述多个点中的以最小深度存在于所述平截头体内的第一点；以及

选择所述深度地图中的所述多个点中的存在于所述平截头体内的在所述深度地图中的所述多个点中的所述第一点的阈值深度内的两个或更多个点。

9.根据权利要求1所述的方法，还包括：

基于所述图像的神经网络分析来确定所述交通标志的类型；以及

将所述交通标志的类型存储为所述交通标志在所述三维地图中的属性。

10.根据权利要求1所述的方法，还包括：

基于所述图像的与所述交通标志相对应的所述部分上的字符的神经网络分析来确定所述交通标志上的文本；以及

将所述交通标志上的文本存储为所述交通标志在所述三维地图中的属性。

11.根据权利要求1所述的方法，其中，在所述三维地图中拟合包括与所述交通标志相对应的所述至少三个点的子集的平面包括利用随机抽样一致性(RANSAC)来确定高概率拟合所述至少三个点的子集的平面。

12.一种在三维地图中表示交通标志的方法，包括：

接收由安装在自主车辆上的相机捕获的图像，所述图像包括所述交通标志；

识别所述图像的与所述交通标志相对应的部分；

接收由检测和测距传感器捕获的包括所述交通标志的深度地图，所述深度地图包括多个点，其中，每个点描述距离；

通过将所述深度地图中的描述距离的所述多个点映射到所述三维地图中来构造所述三维地图；

识别所述深度地图中的与所述交通标志相对应的至少三个点的子集；

至少部分地基于与所述交通标志相对应的所述至少三个点的子集在所述三维地图中拟合平面；

将所述图像的所述部分投影到所述三维地图中的拟合平面上；以及

通过所述车辆上的图形用户接口提供包括所述图像的与所述交通标志相对应的投影部分的所述三维地图的显示。

13.根据权利要求12所述的方法，其中，识别所述图像的与所述交通标志相对应的部分包括：

识别所述交通标志在所述图像上的多个顶点；以及

将具有所述多个顶点的多边形确定为所述图像的与所述交通标志相对应的部分。

14.根据权利要求12所述的方法，其中，将所述图像的所述部分投影到所述三维地图中的所述平面上包括对于每个顶点：

确定从所述相机的原点经过所述顶点的射线；

确定所述射线与所述三维地图中的所述平面的交叉点；以及

将所述顶点映射到所述三维地图中的所述交叉点。

15.根据权利要求12所述的方法，其中，构造所述三维地图还包括：

从安装在第二车辆上的第二检测和测距传感器接收第二深度地图，所述第二深度地图包括第二多个点，其中，每个点描述距离；以及

将所述第二深度地图中的所述第二多个点映射到所述三维地图中。

16.根据权利要求12所述的方法，其中，识别所述深度地图中的与所述交通标志相对应的至少三个点的子集包括：

部分地基于所述图像的与所述交通标志相对应的部分来确定所述深度地图上的边界框；

至少部分地基于所述图像的与所述交通标志相对应的部分的大小来确定所述深度地图的最小深度和最大深度，其中，所述交通标志在所述最小深度和所述最大深度内；

确定由所述边界框以及所述最小深度和所述最大深度产生的平截头体；以及

过滤所述深度地图中的所述多个点中的存在于所述平截头体内的点。

17.根据权利要求12所述的方法，其中，识别所述深度地图中的与所述交通标志相对应的至少三个点的子集包括：

部分地基于所述图像的与所述交通标志相对应的部分来确定所述深度地图上的边界框；

确定由所述边界框产生的平截头体；

确定所述深度地图中的所述多个点中的以最小深度存在于所述平截头体内的第一点；以及

选择所述深度地图中的所述多个点中的存在于所述平截头体内的在所述深度地图中的所述多个点中的所述第一点的阈值深度内的两个或更多个点。

18.根据权利要求12所述的方法，还包括：

基于所述图像的神经网络分析来确定所述交通标志的类型；以及

将所述交通标志的类型存储为所述交通标志在所述三维地图中的属性。

19.根据权利要求12所述的方法，还包括：

基于所述图像的与所述交通标志相对应的部分上的字符的神经网络分析来确定所述交通标志上的文本；以及

将所述交通标志上的文本存储为所述交通标志在所述三维地图中的属性。

20.根据权利要求12所述的方法，其中，在所述三维地图中拟合包括与所述交通标志相对应的所述至少三个点的子集的平面包括利用随机抽样一致性(RANSAC)来确定高概率拟合所述至少三个点的子集的平面。

21.一种用于在高清地图中生成车道线的方法，包括：

接收由行驶在道路上的自主车辆的传感器捕获的图像数据，所述图像数据表示所述道路的一部分；

对所述图像的像素进行分类以确定特定像素是否位于车道线区段上；

基于所述分类识别位于车道线区段中的至少一个车道线区段上的点的集合；

基于所述点的接近度将所述点的集合分组成群组，其中，每个群组被确定为与车道线区段相关联；

定位点的与车道线区段相关联的每个群组的中心线；

通过连接多条中心线确定车道线，所述连接使两条中心线的端点相关联；以及

基于所述车道线生成高清地图，所述高清地图供在驾驶自主车辆时使用。

22.根据权利要求21所述的方法，其中，对所述图像的像素进行分类以确定特定像素是否位于车道线区段上基于基于深度学习的分类模型。

23.根据权利要求21所述的方法，其中，识别位于特定车道线区段上的点的集合包括计算所述点位于所述车道线区段的中间的概率，所述概率基于所述点与所述车道线区段的相对位置来确定。

24.根据权利要求21所述的方法，其中，识别位于特定车道线区段上的点的集合包括在所述道路的所述部分的三维表示与所述道路的所述部分的二维表示之间进行映射。

25.根据权利要求24所述的方法，其中，每个所识别的二维像素被映射到3D体素，其中，所述3D体素是点在三维空间中的表示。

26.根据权利要求25所述的方法，其中，在所述2D像素与所述3D体素之间进行映射包括在多个3D体素之间迭代以识别对应的2D像素。

27.根据权利要求24所述的方法，其中，在三维表示与二维表示之间进行映射还包括：

识别三维点；

将所述三维点转换为相机坐标；

将转换后的三维点投影到由安装在所述车辆上的相机捕获的图像，其中，转换后的点被映射到像素；以及

基于所述像素位于车道线上的概率将所述像素与所述三维点相关联。

28.根据权利要求24所述的方法，其中，在所述三维表示与所述二维表示之间进行映射还包括：基于所识别的对应的像素在所述车道线区段上的概率来计算三维体素在所述车道线区段上的概率。

29.根据权利要求21所述的方法，其中，将所识别的二维点的集合分组成群组包括形成位于彼此的阈值距离内的一组点，其中，所述阈值距离大于车道线宽度并且显著小于两条车道线之间的距离。

30.根据权利要求21所述的方法，其中，将所识别的三维体素的集合分组成群组包括识别每组点内的骨架点，骨架点指的是位于车道线区段的中心的点。

31.根据权利要求30所述的方法，其中，识别骨架点还包括：

识别完整涵盖所述一组点的一个或更多个子群组；以及

定位所述一个或更多个子群组中的每一个的几何中心。

32.根据权利要求31所述的方法，其中，将所识别的三维点的集合分组成群组还包括：

在位于彼此的指定接近度内的多个不同的车道线之间进行区分；

使用同一车道线区段内的相邻骨架点计算每个骨架点的局部斜率；以及

将骨架点分组为车道线群组，考虑所述骨架点之间的距离和所述局部斜率之间的差异程度来执行对骨架点的分组。

33.根据权利要求31所述的方法，其中，定位车道线群组的中心线包括：

生成车道线群组的多段线表示，所述多段线表示形成单个车道线群组的骨架点的连接序列；

如果存在异常值点，则从所述多段线表示中识别异常值点，异常值点表示错误地暗示所述车道线群组的方向变化的点；

去除所识别的异常值点；以及

去除车道线群组的端点之间的骨架点，所去除的点对所述车道群组的方向变化没有影响。

34.根据权利要求31所述的方法，其中，将车道线群组的两条或更多条中心线连接成完整的车道线包括：

识别另外的车道线区段的在所识别的车道线区段的任一端点的指定距离内的相邻端点；

对于每个所识别的相邻点，计算连通性评分，所述连通性评分与所识别的车道线区段的最近端点相关；

对所有连通性评分进行排序；

对于具有连通性评分的每个连接，确认两个端点都能够用于连接；

确认所述连接不具有与任何现有车道线连接或现有车道线的交叉点；

选择具有已确认的条件和最高连通性评分两者的连接；以及

记录这两个车道线区段之间的连接。

35.根据权利要求34所述的方法，其中，所述连通性评分基于以下项中的一项或更多项：

所识别的车道线区段与包含所述相邻点的车道线区段之间的距离，或

所识别的车道线区段与包含所述相邻点的车道线区段之间的方向的变化程度。

36.根据权利要求34所述的方法，其中，响应于以下中的一个或更多个，从连通性评分的排序列表中去除所述连接：

未确认两个端点都能够用于连接，或者未确认所述连接不具有与任何现有车道线连接的交叉点。

37.根据权利要求21所述的方法，其中，对像素进行分类基于被应用于根据从3D体素的集合获得的强度值生成的图像的机器学习模型，其中，所述3D体素的集合中的每一个3D体素从区域的点云表示获得并且表示一列3D体素中的最低3D体素。

38.根据权利要求21所述的方法，其中，对像素进行分类包括：

接收地理区域的一部分的占用地图，所述占用地图包括多个3D体素，其中，每个体素与强度值和颜色值相关联，所述多个3D体素被组织为一个或更多列；

对于一列或更多列3D体素中的每一列，选择列中的最低3D体素；

基于所述一列或更多列3D体素中的所述最低3D体素创建图像，所述图像包括：存储所述最低3D体素的强度值的第一图像和存储所述最低3D体素的颜色值的第二图像；以及

基于机器学习模型确定所创建的图像的每个像素属于车道线还是不属于车道线。

39.一种其上编码有用于在高清地图中生成车道线的指令的非暂态计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行以下步骤，包括：

接收由行驶在道路上的自主车辆的传感器捕获的图像数据，所述图像数据表示所述道路的一部分；

对所述图像的像素进行分类以确定特定像素是否位于车道线区段上；

基于所述分类识别位于车道线区段中的至少一个车道线区段上的点的集合；

基于所述点的接近度将所述点的集合分组成群组，其中，每个群组被确定成与车道线区段相关联；

定位点的与车道线区段相关联的每个群组的中心线；

通过连接多条中心线确定车道线，所述连接使两条中心线的端点相关联；以及

基于所述车道线生成高清地图，所述高清地图供在驾驶自主车辆时使用。

40.一种计算机系统，包括：

处理器；以及

其上编码有用于在高清地图中生成车道线的指令的非暂态计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行以下步骤，包括：

接收由行驶在道路上的自主车辆的传感器捕获的图像数据，所述图像数据表示所述道路的一部分；

对所述图像的像素进行分类以确定特定像素是否位于车道线区段上；

基于所述分类识别位于车道线区段中的至少一个车道线区段上的点的集合；

基于所述点的接近度将所述点的集合分组成群组，其中，每个群组被确定成与车道线区段相关联；

定位点的与车道线区段相关联的每个群组的中心线；

通过连接多条中心线确定车道线，所述连接使两条中心线的端点相关联；以及

基于所述车道线生成高清地图，所述高清地图供在驾驶自主车辆时使用。

41.一种其上编码有指令的非暂态计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行以下步骤，包括：

从安装在车辆上的成像系统接收多个图像帧，每个图像帧在特定时间点与车辆周围的局部区域相关联；

生成包括车道元素和车道元素之间的连接的车道元素图，每个车道元素是具有相关联的交通限制的车道的一部分，其中，生成所述车道元素图包括：

根据车道线和可导航边界识别车道切割，其中，车道线和可导航边界至少部分地基于所述多个图像帧，并且在道路发生变化出现车道切割，

将所述车道切割分成车道切割区段，其中，每个车道切割区段跨单个车道切割，

对于每个车道切割区段，确定车道元素的边界，其中，所述车道元素的边界至少包括作为所述车道元素的下边缘、所述车道元素的右边缘和左边缘以及所述车道元素的上边缘的车道切割区段，以及

对于每个车道元素，识别后续的车道元素；以及

基于所述多个图像帧生成所述局部区域的包括所述车道元素图的高清地图，所述高清地图供在驾驶一个或更多个自主车辆时使用。

42.根据权利要求41所述的非暂态计算机可读存储介质，其中，用于确定车道元素的边界的指令包括用于以下的指令：

识别所述车道切割区段与其相交的两条车道线，其中，所述两条车道线是所述车道元素的右边缘和左边缘；以及

识别所述两条车道线与其相交的对应的车道切割区段，其中，所述对应的车道切割区段是所述车道元素的上边缘。

43.根据权利要求41所述的非暂态计算机可读存储介质，其中，用于确定车道元素的边界的指令包括用于以下的指令：

识别所述车道切割区段与其相交的两条车道线，其中，所述两条车道线是所述车道元素的右边缘和左边缘；以及

识别所述两条车道线与其相交的两个车道切割区段，其中，连接所述两个车道切割区段以形成所述车道元素的上边缘。

44.根据权利要求41所述的非暂态计算机可读存储介质，其中，用于确定车道元素的边界的指令包括用于以下的指令：

识别所述车道切割区段与其相交的一条车道线，其中，所述一条车道线是所述车道元素的右边缘或左边缘中的一个；

识别其中其不与车道线相交的相邻车道切割区段；

识别所述相邻车道切割区段与其相交的相邻车道线，其中，所述相邻车道线是所述车道元素的右边缘或左边缘中的其余一个边缘；

识别所述一条车道线和所述相邻车道线与其相交的对应的车道切割区段，其中，所述对应的车道切割区段是所述车道元素的上边缘；以及

连接所述车道切割区段与所述相邻车道切割区段以形成车道元素的下边缘。

45.根据权利要求41所述的非暂态计算机可读存储介质，其中，用于识别后续的车道元素的指令包括用于以下的指令：

跟踪数据收集车辆的轨迹信息；以及

基于所跟踪的轨迹信息连接车道元素。

46.一种计算机系统，包括：

处理器；以及

其上编码有指令的非暂态计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行以下步骤，包括：

从安装在车辆上的成像系统接收多个图像帧，每个图像帧在特定时间点与车辆周围的局部区域相关联；

生成包括车道元素和车道元素之间的连接的车道元素图，每个车道元素是具有相关联的交通限制的车道的一部分，其中，生成所述车道元素图包括：

根据车道线和可导航边界识别车道切割，其中，车道线和可导航边界至少部分地基于所述多个图像帧，并且在道路发生变化时出现车道切割，

将所述车道切割分成车道切割区段，其中，每个车道切割区段跨单个车道切割，

对于每个车道切割区段，确定车道元素的边界，其中，所述车道元素的边界至少包括作为所述车道元素的下边缘、所述车道元素的右边缘和左边缘以及所述车道元素的上边缘的车道切割区段，以及

对于每个车道元素，识别后续的车道元素；以及

基于所述多个图像帧生成所述局部区域的包括所述车道元素图的高清地图，所述高清地图供在驾驶一个或更多个自主车辆时使用。

47.一种方法，包括：

从安装在车辆上的成像系统接收多个图像帧，每个图像帧在特定时间点与车辆周围的局部区域相关联；

生成包括车道元素和车道元素之间的连接的车道元素图，每个车道元素是具有相关联的交通限制的车道的一部分，其中，生成所述车道元素图包括：

根据车道线和可导航边界识别车道切割，其中，车道线和可导航边界至少部分地基于所述多个图像帧，并且在道路发生变化时出现车道切割，

将所述车道切割分成车道切割区段，其中，每个车道切割区段跨单个车道切割，

对于每个车道切割区段，确定车道元素的边界，其中，所述车道元素的边界至少包括作为所述车道元素的下边缘、所述车道元素的右边缘和左边缘以及所述车道元素的上边缘的车道切割区段，以及

对于每个车道元素，识别后续的车道元素；以及

基于所述多个图像帧生成所述局部区域的包括所述车道元素图的高清地图，所述高清地图供在驾驶一个或更多个自主车辆时使用。

Images