CN110832279A - 对准由自主车辆捕获的数据以生成高清晰度地图 - Google Patents

Abstract

一种高清晰度地图系统从沿路线行进的车辆接收传感器数据并且组合数据以生成在驾驶车辆时使用的，例如用于引导自主车辆的高清晰度地图。根据收集的数据构建姿势图，每个姿势表示车辆的位置和方向。姿势图被优化以最小化姿势之间的约束。与表面相关联的点被分配有使用表面的硬度/软度的度量确定的置信度度量。基于机器学习的结果过滤器检测不良对准结果，并防止它们进入随后的全局姿势优化中。对准框架是可并行化的，以使用并行/分布式架构执行。检测对准热点以用于进一步验证和改进。系统支持增量更新，从而允许对子图进行细化，以增量改进高清晰度地图以使其保持最新。

Description

对准由自主车辆捕获的数据以生成高清晰度地图

相关申请的交叉引用

本申请要求于2016年12月30日提交的美国临时申请第62/441,080号的权益，该美国临时申请通过引用整体合并至本文中。

背景技术

本公开内容一般涉及用于自主车辆的地图，并且更具体地涉及执行对由自主车辆捕获的数据的三维表示的对准以生成用于自主车辆的安全导航的高清晰度地图。

自主车辆，也称为自动驾驶汽车、无人驾驶汽车、汽车或机器人汽车，在不需要人类驾驶员控制和导航车辆的情况下从源位置行驶到目的地。驾驶的自动化由于若干原因而是困难的。例如，自主汽车使用传感器即时做出驾驶决策，但车辆传感器不能无时无刻地观察所有事物。车辆传感器可能被角落、连绵起伏的山丘和其他车辆遮挡。车辆传感器可能不会足够早地观察某些事物以做出决策。此外，道路上可能缺少车道和标志，或者车道和标志被撞倒或被灌木丛隐藏，因此不能被传感器检测到。此外，可能不容易看到用于通行权的道路标志，以确定车辆可能来自哪里，或者用于在紧急情况下或者在存在必须通过的停止障碍物时转弯或移出车道。

自主车辆可以使用地图数据来找出上述一些信息，而不是依赖传感器数据。然而，传统地图具有若干缺点，使得它们难以用于自主车辆。例如，地图不提供安全导航所需的准确度水平(例如，10cm或更小)。基于GNSS(全球导航卫星系统)的系统提供大约3-5米的精确度，但是具有导致超过100m的准确度的大的误差条件。这使得准确确定车辆的位置变得具有挑战性。

此外，传统地图由调查团队创建，调查团队使用具有特殊装备汽车的驾驶员，这些汽车具有高分辨率传感器，可以在地理区域内行驶并进行测量。测量值被取回，地图编辑器团队根据测量值汇总地图。该过程昂贵且耗时(例如，可能花费数月来完成地图)。因此，使用这种技术汇总的地图不具有新近数据。例如，道路以每年大约5-10％的频率基础来更新/修改。但调查车昂贵且数量有限，因此不能捕获这些更新中的大部分。例如，调查车队可能包括一千辆汽车。甚至对于美国的单个州，一千辆汽车不能定期更新地图以使得能够安全自动驾驶。因此，维护地图的传统技术不能提供对于自主车辆的安全导航而言足够准确且最新的正确数据。

发明内容

实施方式从沿地理区域内的路线行进的车辆接收传感器数据并且组合数据以生成高清晰度地图。传感器数据的示例包括由安装在车辆上的LIDAR收集的LIDAR帧、GNSS(全球导航卫星系统)数据和惯性测量单元(IMU)数据。GNSS包括各种导航系统，所述导航系统包括GPS、GLONASS、北斗、伽利略等。高清晰度地图用于驾驶车辆，例如用于引导自主车辆。

系统生成姿势图，使得图的每个节点表示车辆的姿势。车辆的姿势包括车辆的位置和方向。系统从姿势图中选择节点子集，并且对于子集中的每个节点，识别与该节点对应的GNSS姿势。系统基于使子集的节点中的每个节点与相应的GNSS姿势之间的姿势差异最小化的约束来执行姿势图的优化。系统合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示。系统基于点云表示生成高清晰度地图。系统将高清晰度地图发送到自主车辆以在地理区域中进行导航。

实施方式基于以下技术中的一个或更多个技术来选择节点子集：沿路径以固定距离间隔选择节点、随机选择或者从基于纬度和经度值创建的每个边界框中选择节点。

实施方式可以基于GNSS姿势和逐对对准的质量来调整节点子集的创建。例如，选择过程可以有利于选择具有高质量姿势的GNSS节点或者增加具有低质量逐对对准的区域中的采样密度。

在实施方式中，系统在与单个轨迹相关联的节点对之间执行逐对对准。系统还执行节点对之间的逐对对准，使得从第一轨迹中选择该对中的第一节点，并且从第二轨迹中选择该对中的第二节点。轨迹是连续的数据集合，与通过世界的车辆的单次驾驶对应。轨迹数据包括具有相关联的传感器数据的一系列姿势。

在实施方式中，系统接收由行驶通过地理区域中的路径的车辆捕获的传感器数据。传感器数据的示例包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据或由惯性测量单元(IMU)收集的数据。系统基于传感器数据生成姿势图。图的每个节点表示描述车辆的位置和方向的车辆姿势。节点对之间的边缘表示节点对中的节点之间的变换。系统将姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合。系统迭代地执行以下步骤：在保持边界节点的值固定并且仅更新子姿势图的核心节点姿势的同时优化子姿势图。系统基于点云表示生成高清晰度地图并且将高清晰度地图发送到自主车辆以用于自主车辆的导航。

在实施方式中，系统将子图分发给多个处理器以用于分布式执行。处理器在每次迭代结束时交换信息以确定边界节点值。

在实施方式中，更新所有节点姿势的结果，系统确定是否存在边界节点的改变。响应于确定边界节点的改变低于阈值，例如如果在迭代期间边界节点没有改变，则系统停止迭代。

在实施方式中，系统接收由自主车辆的传感器收集的轨迹数据。每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集。系统生成姿势图，使得姿势图的每个节点表示车辆的姿势，并且节点对之间的每个边缘表示节点对中的节点之间的变换。系统接收新轨迹数据的集合以更新姿势图。系统执行新轨迹数据内的姿势之间的对准。系统还执行姿势对之间的对准，每对姿势包括来自所生成的姿势图的姿势和来自新轨迹的集合的姿势。系统通过将来自新轨迹的集合的姿势添加到姿势图来更新姿势图，并执行更新的姿势图的姿势图优化。系统基于经优化的更新姿势图生成高清晰度地图，并将高清晰度地图发送到自主车辆以用于自主车辆的导航。

在实施方式中，系统通过在从相同轨迹数据内选择的姿势对之间执行单个轨迹对准来执行新轨迹数据的集合内的姿势之间的对准。系统还在姿势对之间执行交叉轨迹对准，其中，来自该对的第一姿势来自第一轨迹数据，并且来自该对的第二姿势来自第二轨迹数据。

在一些实施方式中，系统通过保持来自姿势图的姿势的数据固定而改变来自新轨迹数据的集合的姿势来执行更新的姿势图的姿势图优化。在其他实施方式中，系统在改变来自姿势图的姿势以及来自新轨迹数据的集合的姿势的同时执行姿势图优化。

在一些实施方式中，系统基于由行驶通过地理区域的自主车辆捕获的传感器数据生成地理区域的第一三维表示和地理区域的第二三维表示。系统针对三维表示中的多个点中的每一个确定该点的置信度。点在结构上，并且置信度的度量是基于结构的表面类型。系统基于一个或更多个标准确定表面硬度的度量，并基于硬度的度量确定置信度的度量。用于确定表面硬度的度量的标准的示例包括与表面相关联的法向量的分布、表面的颜色纹理、来自表面的LIDAR信号的返回的数量等。

在一些实施方式中，系统通过基于每个点的置信度的度量对数据点进行加权，基于迭代最近点(ICP)方法来确定用于将第一3D表示映射到第二3D表示的变换。系统通过使用变换将第一3D表示组合到第二3D表示来确定区域的高清晰度地图。系统提供高清晰度地图以用于驾驶自主车辆。

在实施方式中，系统基于结构表面上的多个点的法向量的方差的度量来确定置信度的度量。所述多个点与该点相邻。在实施方式中，置信度的度量是与结构表面上的多个点的法向量的方差的度量逆相关的值。

在实施方式中，由车辆捕获的传感器数据包括由安装在车辆上的LIDAR捕获的LIDAR距离图像。系统通过确定LiDAR距离图像中的点的多个相邻点来确定LIDAR距离图像中的点的法向量。系统确定点与相邻点之间的水平向量和垂直向量。系统将法向量确定为水平向量和法向量的交叉积。

在实施方式中，系统如下所述来确定点的置信度的度量。系统选择LIDAR距离图像中的窗口。系统针对LiDAR距离图像中的所选窗口中的点选择多个相邻点，并将方差值确定为点与相邻点之间的距离的总和。系统基于方差确定置信度的度量。

在一些实施方式中，系统组合从车辆接收的传感器数据以生成地理区域的三维表示。示例三维表示是点云表示。系统识别三维表示内的地理区域的由于组合数据而未对准的部分。例如，进一步分析未对准部分以验证数据的准确性。

在一个实施方式中，系统从地理区域的三维表示中识别表面并确定表面厚度的度量。表面的示例是地面或墙壁。例如，如果点簇表示表面的一部分，则系统分析由点簇占据的空间的厚度。系统将表面的一部分的未对准的可能性的度量确定为与厚度的度量成比例的值。

在实施方式中，系统确定指向与所识别的表面垂直的方向的法向量。系统选择表面上的点，并且沿着法线方向和与法线方向相反的方向识别与三维表示中的所选择的点相关的点簇。系统将簇中的点之间的最大距离确定为表面厚度的度量。

在实施方式中，系统配置显示在地理区域内所识别的表面的未对准可能性的度量的用户界面。配置的示例用户界面是热图。系统发送用户界面以经由客户端设备进行呈现。系统还可以响应于发送用户界面以进行呈现来接收对正在生成的高清晰度地图的修改。

附图说明

图(图)1示出了根据实施方式的与多个车辆计算系统交互的HD地图系统的整体系统环境。

图2示出了根据实施方式的车辆计算系统的系统架构。

图3示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。

图4示出了根据实施方式的HD地图系统的系统架构。

图5示出了根据实施方式的HD地图的部件。

图6A至图6B示出了根据实施方式的在HD地图中定义的地理区域。

图7示出了根据实施方式的HD地图中的车道的表示。

图8A至图8B示出了根据实施方式的HD地图中的车道元素和车道元素之间的关系。

图9A至图9B示出了根据实施方式的由HD地图系统使用的坐标系。

图10示出了根据实施方式的由HD地图系统进行的LIDAR点云解开的过程。

图11示出了根据实施方式的全局对准模块的系统架构。

图12(A)示出了根据实施方式的单轨迹逐对对准过程。

图12(B)示出了根据实施方式的全局对准过程。

图13示出了根据实施方式的姿势图的可视化。

图14示出了根据实施方式的包括基于GNSS的姿势先验的姿势图的可视化。

图15示出了根据实施方式的用于执行姿势图优化的过程的流程图。

图16示出了根据实施方式的基于机器学习的ICP结果过滤器的系统架构。

图17示出了根据实施方式的用于训练基于机器学习的ICP结果过滤器的模型的过程。

图18示出了根据实施方式的使用基于机器学习的模型执行ICP结果过滤器的过程。

图19(A)示出了根据实施方式的来自姿势图的示例子图。

图19(B)示出了根据实施方式的将姿势图划分为子图以用于姿势图优化的分布式执行。

图20示出了根据实施方式的用于姿势图的分布式处理的过程。

图21示出了根据实施方式的用于姿势图的分布式优化的过程。

图22示出了说明根据实施方式的对姿势图的增量更新的过程的示例。

图23示出了说明根据实施方式的对姿势图的增量更新的过程的流程图。

图24示出了根据实施方式的由HD地图系统执行的ICP过程。

图25示出了根据实施方式的由HD地图系统使用LiDAR距离图像估计点云法线。

图26示出了根据实施方式的用于由HD地图系统使用LiDAR距离图像确定点云法线的过程。

图27示出了根据实施方式的用于基于作为硬/软的表面分类来执行逐对对准的过程。

图28示出了根据实施方式的用于确定沿着表面的点的置信度的度量以用于逐对对准的过程。

图29示出了根据实施方式的用于确定点的置信度的度量的过程。

图30示出了根据实施方式的用于未对准热点的自动检测的过程。

图31示出了根据实施方式的用于检测在点云中表示的表面的未对准的过程。

图32示出了根据实施方式的在点云中表示的地面的未对准的检测。

图33示出了根据实施方式的用于检测在点云中表示的地面的未对准的过程。

图34示出了根据实施方式的用于检测在点云中表示的垂直表面的未对准的过程。

图35示出了说明根据实施方式的垂直结构例如在点云中表示的墙壁的未对准的检测的示例。

图36示出了可以从机器可读介质读取指令并在处理器或控制器中执行指令的计算机器的实施方式。

附图仅出于说明的目的描绘了本发明的各种实施方式。本领域的技术人员将从以下讨论中容易地认识到，可以采用在本文中所示的结构和方法的替选实施方式而不脱离在本文中所描述的本发明的原理。

具体实施方式

概述

本发明的实施方式维护使用高精度的包含最新信息的高清晰度(HD)地图。自主车辆可以使用HD地图来安全地导航到他们的目的地而不利用人工输入或利用有限的人工输入。自主车辆是能够感测其环境并在没有人工输入的情况下导航的车辆。自主车辆在本文中也可以被称为“无人驾驶汽车”、“自动驾驶汽车”或“机器人汽车”。HD地图是指存储具有通常为5-10cm的非常高精度的数据的地图。实施方式生成包含关于自主车辆可以行驶的道路的空间几何信息的HD地图。因此，生成的HD地图包括自主车辆在无人工干预的情况下安全导航所需的信息。代替使用昂贵且耗时的包括配备有高分辨率传感器的车辆的地图车队过程收集HD地图的数据，本发明的实施方式使用来自自动驾驶车辆自身的当它们行驶通过其环境时的较低分辨率传感器的数据。车辆可能不具有这些路线或甚至区域的先前地图数据。本发明的实施方式提供位置即服务(LaaS)，使得不同制造商的自主车辆各自都可以访问经由本发明的这些实施方式创建的最新地图信息。

实施方式生成并维护包括用于安全导航的最新路况的准确的高清晰度(HD)地图。例如，HD地图提供自主车辆相对于道路车道的当前位置，其足够精确以使得自主车辆能够在车道中安全地行驶。

HD地图存储非常大量的信息，因此面临管理信息方面的挑战。例如，大地理区域的HD地图可能不适合车辆的本地存储。本发明的实施方式向自主车辆提供HD地图的必要部分，该部分使得车辆能够确定其在HD地图中的当前位置、确定相对于车辆位置的道路上的特征、基于物理约束和法律约束等确定移动车辆是否安全。物理约束的示例包括物理障碍，例如墙壁，并且法律约束的示例包括车道的法律法允许的行驶方向、速度限制、让行、停靠。

本发明的实施方式通过提供用于提供对请求的响应的低延迟例如10-20毫秒或更短；位置方面的高准确度即10cm或更小的准确度；通过确保地图被更新以反映在合理时间范围内的道路上的改变的数据新鲜度；通过最小化HD地图所需的存储的存储效率来实现自主车辆的安全导航。

图1示出了根据实施方式的与多个车辆交互的HD地图系统的整体系统环境。HD地图系统100包括与多个车辆150交互的在线HD地图系统110。车辆150可以是自主车辆，但不是必需的。在线HD地图系统110接收由车辆的传感器捕获的传感器数据，并且组合从车辆150接收的数据以生成和维护HD地图。在线HD地图系统110将HD地图数据发送到车辆以用于驾驶车辆。在实施方式中，在线HD地图系统110被实现为分布式计算系统，例如，使得诸如车辆计算系统120的客户端能够请求信息和服务的基于云的服务。例如，车辆计算系统120可以请求用于沿着路线驾驶的HD地图数据，并且在线HD地图系统110提供所请求的HD地图数据。

图1和其他附图使用相同的附图标记来标识相同的元件。附图标记之后的字母，例如“105A”，表示文本具体指代具有特定附图标记的元件。没有后续字母的文本中的附图标记，例如“105”，指代图中的具有该附图标记的任何或所有元件(例如，文中的“105”指代图中的附图标记“105A”和/或“105N”)。

在线HD地图系统110包括车辆接口模块160和HD地图存储器165。在线HD地图系统110使用车辆接口模块160与各种车辆150的车辆计算系统120交互。在线HD地图系统110将各种地理区域的地图信息存储在HD地图存储器165中。在线HD地图系统110可以包括除图1中所示的模块之外的其他模块，例如，如图4所示并且在本文中进一步描述的各种其他模块。

在线HD地图系统110接收115由多个车辆150例如数百或数千辆汽车的传感器收集的数据。车辆提供在沿着各种路线行驶时捕获的传感器数据并将其发送到在线HD地图系统110。在线HD地图系统110使用从车辆150接收的数据来创建和更新描述车辆150正在行驶的区域的HD地图。在线HD地图系统110基于从车辆150接收的总体信息创建高清晰度地图，并将HD地图信息存储在HD地图存储器165中。

在线HD地图系统110根据车辆150的需求将HD地图发送125到各个车辆150。例如，如果自主车辆需要沿着路线驾驶，则自主车辆的车辆计算系统120提供描述正在行驶到在线HD地图系统110的路线的信息。作为响应，在线HD地图系统110提供用于沿着路线行驶的所需HD地图。

在实施方式中，在线HD地图系统110以压缩格式将HD地图数据的一部分发送到车辆，使得发送的数据消耗较少的带宽。在线HD地图系统110从各种车辆接收描述存储在车辆的本地HD地图存储器275中的数据的信息。如果在线HD地图系统110确定车辆不具有本地存储在本地HD地图存储器275中的HD地图的某些部分，则在线HD地图系统110将HD地图的该部分发送到车辆。如果在线HD地图系统110确定车辆之前确实接收到HD地图的该特定部分但是由于车辆最近接收到数据而在线HD地图系统110更新了对应的数据，则在线HD地图系统110发送存储在车辆中的HD地图的该部分的更新。这使得在线HD地图系统110能够使与车辆通信的数据量最小化，并且还保持定期更新本地存储在车辆中的HD地图数据。

车辆150包括车辆传感器105、车辆控制器130和车辆计算系统120。车辆传感器105使得车辆150能够检测车辆的周围环境以及描述车辆的当前状态的信息，例如，描述车辆的位置和运动参数的信息。车辆传感器105包括相机、光检测和测距传感器(LIDAR)、GNSS导航系统、惯性测量单元(IMU)等。车辆具有捕获车辆的周围环境的图像的一个或更多个相机。LIDAR通过经由用激光脉冲照亮目标并测量反射脉冲来测量到该目标的距离从而来勘测车辆的周围环境。GNSS导航系统基于来自卫星的信号确定车辆的位置。IMU是使用加速度计和陀螺仪或其他测量仪器的组合来测量和报告车辆的运动数据，例如速度、加速度、运动方向、速率，角速率等的电子设备。

车辆控制器130控制车辆的物理运动，例如，加速度、方向改变、启动、停止等。车辆控制器130包括用于控制加速度计、制动器、方向盘等的机器。车辆计算系统120连续地向车辆控制器130提供控制信号，从而致使自主车辆沿着所选择的路线行驶。

车辆计算系统120执行各种任务，包括处理由传感器收集的数据以及从在线HD地图系统110接收的地图数据。车辆计算系统120还处理数据以发送到在线HD地图系统110。车辆计算系统的细节在图2中示出并进一步结合图2进行描述。

车辆计算系统120与在线HD地图系统110之间的交互通常经由网络例如经由因特网执行。网络实现车辆计算系统120与在线HD地图系统110之间的通信。在一个实施方式中，网络使用标准通信技术和/或协议。通过网络交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，可以使用诸如安全套接字层(SSL)、传输层安全性(TLS)、虚拟专用网络(VPN)、因特网协议安全性(IPsec)等的传统加密技术来对除了所有或一些链接进行加密。在另一实施方式中，实体可以使用代替或者上述之外的定制和/或专用数据通信技术。

图2示出了根据实施方式的车辆计算系统的系统架构。车辆计算系统120包括感知模块210、预测模块215、计划模块220、控制模块225、本地HD地图存储器275、HD地图系统接口280和HD地图应用程序接口(API)205。车辆计算系统120的各种模块处理各种类型的数据，包括传感器数据230、行为模型235、路线240和物理约束245。在其他实施方式中，车辆计算系统120可以具有更多或更少的模块。被描述为由特定模块实现的功能可以由其他模块实现。

感知模块210从车辆150的传感器105接收传感器数据230。这包括由汽车的相机、LIDAR、IMU、GNSS导航系统等收集的数据。感知模块210使用传感器数据来确定哪些对象在车辆周围、车辆行驶的道路的细节等。感知模块210处理传感器数据230以填充存储传感器数据的数据结构并将信息提供给预测模块215。

预测模块215使用被感知的对象的行为模型来解释由感知模块提供的数据，以确定对象是在移动还是可能移动。例如，预测模块215可以确定表示道路标志的对象不可能移动，然而被识别为车辆、人等的对象正在移动或者可能移动。预测模块215使用各种类型的对象的行为模型235来确定它们是否可能移动。预测模块215向计划模块200提供各种对象的预测，以计划车辆接下来需要采取的后续动作。

计划模块200从预测模块215、确定车辆的目的地的路线240以及车辆应当采取以到达目的地的路径来接收描述车辆的周围环境的信息。计划模块200使用来自预测模块215和路线240的信息来计划车辆在短时间间隔内例如在接下来的几秒内需要采取的一系列动作。在实施方式中，计划模块200将一系列动作指定为表示车辆接下来要行驶通过的附近位置的一个或更多个点。计划模块200将包括要由车辆采取的一系列动作的计划细节提供给控制模块225。计划可以确定车辆的后续动作，例如，车辆是否执行车道变换、转弯、通过增加速度的加速或者减速等。

控制模块225基于从计划模块200接收的计划确定用于发送到车辆的控制器130的控制信号。例如，如果车辆当前在点A并且计划指定车辆应该接下来去往附近的点B，则控制模块225确定控制器130的控制信号，该控制信号将使车辆以安全平稳的方式例如在不进行任何急转弯或不采取从A点到B点的锯齿形路径的情况下从A点去往B点。车辆所采取的从A点去往B点的路径可能取决于车辆的当前速度和方向以及B点相对于A点的位置。例如，如果车辆的当前速度高，则与缓慢行驶的车辆相比，车辆可以进行更宽的转弯。

控制模块225还接收物理约束245作为输入。这些包括该特定车辆的物理能力。例如，具有特定品牌和型号的汽车可能能够安全地进行具有不同品牌和型号的另一辆车可能不能够安全地进行的某些类型的车辆运动，例如加速和转弯。控制模块225在确定控制信号时结合这些物理约束。控制模块225将控制信号发送到车辆控制器130，车辆控制器130使车辆执行使车辆按计划移动的指定的一系列动作。每隔几秒不断重复上述步骤，以使车辆沿着为车辆计划的路线安全地行驶。

包括感知模块210、预测模块215和计划模块220的车辆计算系统120的各种模块接收地图信息以执行它们各自的计算。车辆100将HD地图数据存储在本地HD地图存储器275中。车辆计算系统120的模块使用提供可以被用于访问地图信息的模块调用的一组应用程序接口(API)的HD地图API 205与地图数据交互。HD地图系统接口280允许车辆计算系统120经由网络(图中未示出)与在线HD地图系统110交互。本地HD地图存储器275以HD地图系统110指定的格式存储地图数据。HD地图API205能够处理由HD地图系统110提供的地图数据格式。HD地图API 205提供具有用于与HD地图数据交互的接口的车辆计算系统120。HD地图API205包括若干个API，所述若干个API包括本地化API 250、地标地图API 255、路线API 265、3D地图API 270、地图更新API 285等。

本地化API 250确定例如当车辆启动时以及当车辆沿着路线移动时的车辆的当前位置。本地化API 250包括确定车辆在HD地图内的准确位置的本地化API。车辆计算系统120可以将该位置用作准确的相对定位，以进行其他查询，例如，在本文中进一步描述的特征查询、可导航空间查询和占用地图查询。本地化API接收包括由GNSS提供的位置、由IMU提供的车辆运动数据、LIDAR扫描仪数据和相机图像中的一个或更多个的输入。本地化API返回作为纬度和经度坐标的车辆的准确位置。与用作输入的GNSS坐标相比，本地化API返回的坐标更准确，例如，本地化API的输出可能具有5-10cm的精度范围。在一个实施方式中，车辆计算系统120调用本地化API以使用扫描仪数据基于LIDAR例如以10Hz的频率周期性地确定车辆的位置。如果GNSS/IMU数据以该速率可用，则车辆计算系统120可以调用本地化API来以更高的速率(例如，60Hz)确定车辆位置。车辆计算系统120存储位置历史记录作为内部状态，以提高后续本地化调用的准确性。位置历史记录存储从汽车关闭/停止的时间点开始的位置历史。本地化API 250包括基于HD地图生成指定车道的准确路线的本地化路线API。本地化路线API经由第三方地图将从源到目的地的路线作为输入，并基于HD地图生成表示为沿着输入路线的可导航车道的连通图的高精度路线。

地标地图API 255提供车辆周围的世界的几何和语义描述，例如，车辆当前行驶的车道的各个部分的描述。地标地图API 255包括允许基于地标地图的查询的API，例如，获取车道API和获取特征API。获取车道提供相对于车辆和获取特征API的车道信息。获取车道API接收位置例如使用车辆的纬度和经度指定的车辆的位置作为输入，并返回相对于输入位置的车道信息。获取车道API可以指定指示相对于检索到车道信息的输入位置的距离的距离参数。获取特征API接收识别一个或更多个车道元素的信息，并返回相对于指定车道元素的地标特征。对于每个地标，地标特征包括特定于地标类型的空间描述。

3D地图API 265提供对存储在本地HD地图存储器275中的道路的空间三维(3D)表示和道路周围的各种物理对象的有效访问。3D地图API 365包括获取可导航表面API和获取占用网格API。获取可导航表面API接收一个或更多个车道元素的标识符作为输入，并返回指定车道元素的可导航边界。获取占用网格API接收位置例如车辆的纬度和经度作为输入，并返回描述道路表面的占用的信息以及该位置附近的HD地图中可用的所有对象。描述占用的信息包括在地图中占用的所考虑的所有位置的分层体积网格。占用网格包括在可导航区域附近例如在路缘和凸起处的高分辨率的信息，以及在较不重要的区域中例如路缘以外的树木和墙壁的相对低的分辨率的信息。获取占用网格API对于检测障碍物并在必要时改变方向是有用的。

3D地图API还包括地图更新API，例如，下载地图更新API和上传地图更新API。下载地图更新API接收计划路线标识符作为输入，并下载与所有计划路线或特定计划路线相关的数据的地图更新。上传地图更新API将由车辆计算系统120收集的数据上传到在线HD地图系统110。这使得在线HD地图系统110能够基于沿着各种路线行驶的车辆的传感器观察到的地图数据的改变使存储在在线HD地图系统110中的HD地图数据保持最新。

当车辆沿着路线行驶时，路线API 270返回包括源和目的地之间的完整路线以及路线的一部分的路线信息。3D地图API 365允许查询HD地图。路线API 270包括添加计划路线API和得到计划路线API。添加计划路线API提供描述到在线HD地图系统110的计划路线的信息，使得描述相关HD地图的信息可以由车辆计算系统120下载并保持最新。添加计划路线API接收使用以纬度和经度表示的折线指定的路线以及指定可以删除路线数据之后的时间段的生存时间(TTL)参数作为输入。因此，添加计划路线API使得车辆指示在不久的将来车辆正在计划采取的路线作为自主行程。添加计划路线API将路线与HD地图对准、记录路线及其TTL值并确保存储在车辆计算系统120中的路线的HD地图数据是最新的。得到计划路线API返回计划路线列表，并提供描述路线标识符标识的路线的信息。

地图更新API 285管理与本地HD地图存储器275和存储在在线HD地图系统110中的HD地图存储器165的地图数据的更新有关的操作。因此，车辆计算系统120中的模块调用地图更新API 285，用于将数据从在线HD地图系统110下载到车辆计算系统120，以根据需要存储在本地HD地图存储器275中。地图更新API 285还使得车辆计算系统120能够确定由车辆传感器105监视的信息是否指示由在线HD地图系统110提供的地图信息中的差异并且将数据上传到在线HD地图系统110，这可以使在线HD地图系统110更新存储在HD地图存储器165中的被提供给其他车辆150的地图数据。

图4示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。不同的车辆制造商具有用于从车辆传感器105接收信息和用于控制车辆控制器130的不同指令。此外，不同的供应商提供具有自主驾驶功能例如车辆传感器数据的收集和分析的不同计算平台。用于自主车辆的计算平台的示例包括供应商提供的平台，例如NVIDIA、QUALCOMM和INTEL。这些平台提供自主车辆制造商在自主车辆制造中使用的功能。车辆制造商可以使用用于自主车辆的任一个或一些计算平台。在线HD地图系统110基于特定于车辆制造商的指令和特定于车辆的供应商特定平台的指令来提供用于处理HD地图的库。该库提供对HD地图数据的访问，并允许车辆与在线HD地图系统110交互。

如图3所示，在实施方式中，HD地图API被实现为包括车辆制造商适配器310、计算平台适配器320和公共HD地图API层330的库。公共HD地图API层包括可以跨多个车辆计算平台和车辆制造商使用的通用指令。计算平台适配器320包括特定于每个计算机平台的指令。例如，公共HD地图API层330可以调用计算平台适配器320以从特定计算平台支持的传感器接收数据。车辆制造商适配器310包括特定于车辆制造商的指令。例如，公共HD地图API层330可以调用由车辆制造商适配器310提供的功能，以将特定控制指令发送到车辆控制器130。

在线HD地图系统110存储用于多个计算平台的计算平台适配器320和用于多个车辆制造商的车辆制造商适配器310。在线HD地图系统110确定特定车辆制造商和特定自动驾驶车辆的特定计算平台。在线HD地图系统110为特定车辆制造商选择车辆制造商适配器310，并为该特定车辆的特定计算平台选择计算平台适配器320。在线HD地图系统110将所选择的车辆制造商适配器310和所选择的计算平台适配器320的指令发送到该特定自主车辆的车辆计算系统120。该特定自主车辆的车辆计算系统120安装所接收的车辆制造商适配器310和计算平台适配器320。车辆计算系统120周期性地检查在线HD地图系统110是否具有对所安装的车辆制造商适配器310和计算平台适配器320的更新。如果与安装在车辆上的版本相比可获得更近的更新，则车辆计算系统120请求并接收最新更新并安装它。

HD地图系统架构

图4示出了根据实施方式的HD地图系统的系统架构。在线HD地图系统110包括地图创建模块410、地图更新模块420、地图数据编码模块430、负载平衡模块440、地图准确度管理模块、车辆接口模块和HD地图存储器165。在线HD地图系统110的其他实施方式可以包括比图4中所示更多或更少的模块。指示由特定模块执行的功能可以由其他模块实现。在实施方式中，在线HD地图系统110可以是包括多个处理器的分布式系统。

地图创建模块410根据从沿着各种路线行驶的多个车辆收集的地图数据来创建地图。地图更新模块420通过从最近沿着地图信息被改变的路线行驶的车辆接收更近的信息来更新先前计算的地图数据。例如，如果由于区域中的建造，某些道路标志已经改变或者车道信息已经改变，则地图更新模块420相应地更新地图。地图数据编码模块430对地图数据进行编码以能够有效地存储数据和有效地将所需的地图数据发送到车辆150。负载平衡模块440平衡车辆之间的负载以确保从车辆接收数据的请求均匀地分布在不同的车辆之间。即使从各个车辆接收的信息可能不具有高准确度，然而地图准确度管理模块450仍使用各种技术保持地图数据的高准确度。

图5示出了根据实施方式的HD地图的部件。HD地图包括若干地理区域的地图。地理区域的HD地图510包括地标地图(LMap)520和占用地图(OMap)530。地标地图包括描述车道的包括车道的空间位置的信息和关于每个车道的语义信息。车道的空间位置包括高精度例如等于或低于10cm精度的纬度、经度和高度上的几何位置。车道的语义信息包括诸如方向、速度、车道类型(例如，直行车道、左转车道、右转车道、出口车道等)的限制、向左横穿的限制、到其他车道的连接等。地标地图还可以包括描述停止线、让行线、人行横道的空间位置、安全可导航空间、减速带的空间位置、路缘和包括与行驶限制相关的所有标志的空间位置和类型的道路标志的信息。在HD地图中描述的道路标志的示例包括停车标志、交通灯、速度限制、单向、不进入、让行(车辆、行人、动物)等。

占用地图530包括道路的空间三维(3D)表示以及道路周围的所有物理对象。存储在占用地图530中的数据在本文中也被称为占用网格数据。3D表示可以与指示对象存在于位置处的可能性的置信度分数相关联。占用地图530可以以多种其他方式表示。在一个实施方式中，占用地图530表示为覆盖表面的3D网格几何形状(三角形的集合)。在另一实施方式中，占用地图530表示为覆盖表面的3D点的集合。在另一实施方式中，使用5-10cm分辨率的3D体积单元网格来表示占用地图530。每个单元指示在该单元处是否存在表面，并且如果表面存在，则朝向沿着表面的方向。

与地标地图520相比，占用地图530可以占用大量存储空间。例如，占用地图530可以使用lGB/Mile的数据，使美国地图(包括4百万英里的道路)占用4×10¹⁵字节或4千兆字节。因此，在线HD地图系统110和车辆计算系统120使用数据压缩技术以能够存储和传输地图数据，从而降低存储和传输成本。因此，在本文中公开的技术使得可以自动驾驶自主车辆。

在一个实施方式中，HD地图不需要或依赖于通常包括在地图中的数据，例如地址、道路名称、地理编码地址的能力和计算地名或地址之间的路线的能力。车辆计算系统120或在线HD地图系统110访问其他地图系统，例如谷歌地图以获得该信息。因此，车辆计算系统120或在线HD地图系统110从诸如谷歌地图的工具接收导航指令到路线中并且基于HD地图信息将信息转换为路线。

HD地图中的地理区域

在线HD地图系统110将大的物理区域划分为地理区域并存储每个地理区域的表示。每个地理区域表示由几何形状例如矩形或正方形界定的连续区域。在实施方式中，在线HD地图系统110将物理区域划分为相同大小的地理区域，而与存储每个地理区域的表示所需的数据量无关。在另一实施方式中，在线HD地图系统110将物理区域划分为不同大小的地理区域，其中每个地理区域的大小是基于表示地理区域所需的信息量来确定的。例如，表示具有大量街道的人口稠密区域的地理区域表示与表示具有非常少街道的人口稀疏区域的地理区域相比的较小物理区域。因此，在该实施方式中，在线HD地图系统110基于存储与HD地图相关的物理区域的各种元素所需的信息量的估计来确定地理区域的大小。

在实施方式中，在线HD地图系统110表示使用对象或数据记录的地理区域，该对象或数据记录包括各种属性，所述各种属性包括地理区域的唯一标识符、地理区域的唯一名称、例如使用纬度和经度坐标的边界框的地理区域的边界的描述以及地标特征和占用网格数据的集合。

图6A至图6B示出了根据实施方式的在HD地图中定义的地理区域。图6A示出了方形地理区域610a。图6B示出了两个相邻的地理区域610a和610b。在线HD地图系统110以地理区域的表示存储数据，其在当车辆跨地理区域边界行驶时实现从一个地理区域平滑过渡到另一地理区域。

根据实施方式，如图6所示，每个地理区域具有围绕其的预定宽度的缓冲区。缓冲区包括地理区域的所有4个侧周围的冗余地图数据(在地理区域由矩形界定的情况下)。图6A示出了地理区域610a周围50米的缓冲区的边界620和地理区域610a周围100米的缓冲区的边界630。当车辆跨越该缓冲区内的阈值距离时，车辆计算系统120将车辆的当前地理区域从一个地理区域切换到相邻的地理区域。例如，如图6B所示，车辆在地理区域610a中的位置650a处启动。车辆沿着路线行进以到达位置650b，在达位置650b处它跨越地理区域610的边界但是停留在缓冲区的边界620内。因此，车辆计算系统120继续使用地理区域610a作为车辆的当前地理区域。一旦车辆跨越位置650c处的缓冲区的边界620，车辆计算系统120就将车辆的当前地理区域从地理区域610a切换到610b。由于车辆沿着紧密跟随地理区域的边界的路线行驶，缓冲区的使用阻止了车辆的当前地理区域的快速切换。

HD地图中的车道表示

HD地图系统100表示HD地图中的街道的车道信息。尽管在本文中描述的实施方式涉及街道，但是技术适用于高速公路、小巷、大道、林荫大道或车辆可以行驶的任何其他路径。HD地图系统100使用车道作为参考系，用于选择路线和车辆的定位。由HD地图系统100表示的车道包括明确标记的车道，例如白色黄色带车道，例如在没有线路或路缘但具有两个行驶方向的乡村道路上隐含的车道和用作车道的隐含路径，例如，转弯车从另一车道进入车道时所产生的路径。HD地图系统100还存储关于车道的信息，例如，诸如相对于车道的道路标志和交通灯的地标特征、用于障碍物检测的相对于车道的占用网格和相对于车道的可导航空间，因此车辆可以在当车辆必须在车道外进行计划外的移动时的紧急情况下有效地计划/做出反应。因此，HD地图系统100存储车道网络的表示，以允许车辆计划源和目的地之间的合法路径，并添加参考系以实时感测和控制车辆。HD地图系统100存储信息并提供API，API使得车辆能够确定车辆当前所在的车道、相对于车道几何形状的精确车辆位置和相对于车道和相邻连接车道的所有相关特征/数据。

图7示出了根据实施方式的HD地图中的车道表示。图7示出了交通路口处的车辆710。HD地图系统为车辆提供对与车辆的自动驾驶相关的地图数据的访问。这包括例如与车道相关联的特征720a和720b，但可能不是与车辆最接近的特征。因此，HD地图系统100存储表示车道与特征的关系的数据的以车道为中心的表示，使得车辆可以在给定车道的情况下有效地提取特征。

HD地图系统100将车道的一部分表示为车道元素。车道元素指定车道的边界和各种约束，所述各种约束包括车道元素内的车辆可以行驶的合法方向、车道元素内的车辆可以行驶的速度、车道元素是否仅用于左转或右转等。HD地图系统100将车道元素表示为单个车辆车道的连续几何部分。HD地图系统100存储表示车道元素的对象或数据结构，所述车道元素包括表示车道的几何边界；沿着车道的行驶方向；用于在车道中行驶的车辆限制，例如，速度限制、与包括进出车道的连接车道的关系；终止限制，例如，车道是否在停止线处、让行标志处或减速带处终止；以及与自主驾驶相关的道路特征的关系，例如交通灯位置、道路标志位置等的信息。

由HD地图系统100表示的车道元素的示例包括：高速公路上的一条右车道、道路上的一条车道、左转车道、从左转车道进入另一车道的转弯、从入口匝道进入的合并车道、从出口匝道进入的出口车道，以及私人车道。HD地图系统100表示使用每个方向一个的两个车道元素的一车道道路。HD地图系统100表示类似于一车道道路共享的中间转弯车道。

图8A至图8B示出了根据实施方式的HD地图中的车道元素和车道元素之间的关系。图8A示出了道路中的T形交叉路口的示例，其示出了经由转弯车道810b连接到车道元素810c并且经由转弯车道810d连接到车道810e的车道元素810a。图8B示出了道路中的Y形交叉路口的示例，其示出了直接连接到车道810h并且经由车道810g连接到车道810i的标签81f。HD地图系统100将从源位置到目的地位置的路线确定为可以被遍历以从源位置到达目的地位置的一系列连接车道元素。

坐标系统

图9A至图9B示出了根据实施方式的由HD地图系统使用的坐标系。其他实施方式可以使用其他坐标系。

在实施方式中，HD地图系统使用图9A中所示的车辆坐标系，使得X轴的正方向是车辆的前向方向，在面向前方时Y轴的正方向位于车辆的左侧，并且Z轴的正方向向上。所有轴代表例如使用米的距离。坐标系的原点位于汽车中心附近的地面上，使得原点的z坐标值位于地面上以及x坐标和y坐标值在汽车的中心附近。在实施方式中，原点的X，Y坐标位于汽车的LIDAR传感器的中心。

在另一实施方式中，HD地图系统使用图9B中所示的LIDAR坐标系，使得在面向前方时X轴的正方向位于车辆的左侧，Y轴的正方向是车辆的前向方向，并且Z轴的正方向向上。所有轴代表例如使用米的距离。坐标系的原点位于LIDAR的圆盘设备的物理中心。

在校准阶段期间，HD地图系统确定坐标变换T_l2c以将LIDAR坐标系映射到车辆坐标系。例如，给定点P_lidar，可以通过执行变换P_car＝T_l2c*P_lidar来获得车辆P_车中的对应点。点表示P_车用于对准和处理。

点云解开

图10示出了根据实施方式的由HD地图系统进行的LIDAR点云解开的过程。LiDAR安装在移动的车辆上。因此，LIDAR在进行扫描时正在移动。例如，在每小时65英里的行驶速度下，每次扫描期间，10HZ的LIDAR采样可以行进最多达3.5米。HD地图系统补偿LIDAR的运动，以将原始LIDAR扫描数据转换为与现实世界一致的点云。

为了恢复在特定时间戳处相对于LiDAR的位置的周围环境的真实3D点云，HD地图系统在扫描环境的过程期间执行被称为解开的过程以补偿LiDAR的运动。

假设LiDAR在扫描期间移动的运动为T。LiDAR波束经由其在距离图像中的行和列索引来识别。HD地图系统得到每个LiDAR波束相对于扫描开始时间的相对定时。HD地图系统使用线性运动插值来根据其相对于开始时间的插值运动来移动每个LiDAR波束。在为每个LiDAR波束添加该附加运动补偿之后，HD地图系统将静态世界环境恢复为解开的点云。

根据不同的实施方式，存在不同方式来在每次扫描的过程期间估计LiDAR的相对运动(T)，即解开变换。在一个实施方式中，HD地图系统使用GNSS-IMU(全球定位系统-惯性测量单元)数据进行解开。在另一实施方式中，HD地图系统使用原始的连续LiDAR点云来运行逐对点云配准。在另一实施方式中，HD地图系统执行全局对准，然后计算来自相邻LiDAR姿势的相对变换。

全局对准

给定轨迹集合(包括GNSS-IMU和LiDAR数据)，HD地图系统执行融合GNSS-IMU和LiDAR数据以计算每个LiDAR帧的全局一致的车辆姿势(位置和方向)的全局对准。利用全局车辆姿势，HD地图系统将LiDAR帧合并为一致的统一的点云，根据该一致的统一的点云可以构建3D HD地图。

图11示出了根据实施方式的全局对准模块的系统架构。全局对准模块包括姿势图更新模块1110、逐对对准模块1120、ICP结果过滤器模块1130、表面分类模块1140、姿势图优化模块1150、分布式执行模块1160、未对准热点检测模块1160、GNSS姿势先验处理模块1170和姿势图存储器1180。结合在本文中描述的各种过程进一步描述每个模块的功能。

单轨迹成对对准

图12(A)示出了根据实施方式的单个轨迹逐对对准过程。在实施方式中，单个逐对对准过程由逐对对准模块1120执行。HD地图系统将每个数据集合数据组织为轨迹。轨迹数据至少包括GNSS-IMU和LiDAR数据。单个轨迹对准是执行以下步骤的预处理步骤：(1)接收1205单个轨迹数据(1)执行1210LiDAR到车辆校准变换；(2)基于GNSS-IMU和LiDAR数据的时间戳执行1215它们的同步；(3)移除1220静态样本，例如，当车辆停在交通灯处时所取的样本；(4)计算1225运动补偿的解开变换；(5)通过计算同一轨迹内的点云之间的逐对配准来执行1230逐对对准。HD地图系统还执行1235ICP结果过滤器。

当车辆停止例如在红色交通灯处时，LiDAR测量是多余的。HD地图系统通过预先过滤轨迹样本来移除静止点云样本。HD地图系统保留每个轨迹的第一样本。当且仅当它们与通过其GNSS位置测量的先前非静态样本的距离超过以米测量的特定阈值(例如，0.1米)时，HD地图系统将后续样本识别为非静态样本。尽管GNSS测量并不总是准确的并且可能具有突然跳跃，但是HD地图系统使用GNSS位置来过滤掉静态样本，因为GNSS测量是全局一致的。作为比较，来自全局LiDAR姿势的相对位置可以在每次计算全局优化时变化，从而产生不稳定的非静态样本。

解开变换是扫描过程期间的相对运动(即，从扫描的开始时间到结束时间)。因此，HD地图系统始终使用连续的LiDAR样本来估计解开变换。例如，HD地图系统需要计算非静态样本i的解开变换，HD地图系统使用即时样本(i+1)来计算该解开变换，即使样本(i+1)可能不是非样本。

HD地图系统使用原始LiDAR点云预先计算解开变换。基本假设是可以通过仅使用原始LiDAR点云运行点到面的ICP来估计正确的运动。对于稳定运动(即，速度或旋转速率没有变化)，该假设通常是正确的。在该假设下，解开变换对相关点云具有相同的效果，因此，忽略它仍然提供来自两个原始点云的合理运动估计。

为了计算非静态样本i的解开变换，HD地图系统找到其连续的LiDAR样本(i+1)，并使用以下设置运行点到面的ICP：(1)源点云：LiDAR样本i+1(2)目标点云：LiDAR样本i。HD地图系统估计法线并构造目标点云的空间索引数据结构(KD树)，并使用点到面ICP计算源点云的相对变换作为解开变换。对于ICP处理的初始猜测，HD地图系统使用来自GNSS-IMU的运动估计。用于计算解开变换的ICP可能不能收敛。在这种情况下，HD地图系统忽略非静态样本。

一旦计算出所有非静态样本的解开变换，则HD地图系统使用解开变换来对所有相关点云进行运动补偿，使得它们与现实世界一致。HD地图系统计算相同轨迹非静态样本之间的逐对点云对准。对于每个非静态轨迹样本，HD地图系统使用搜索半径来查找其他附近的单轨迹非静态样本。HD地图系统将有关样本组织成用于ICP计算的ICP对的列表。每个ICP对可以经由并行计算框架独立计算。对于每个ICP对，首先使用源点云和目标点云的相应的解开变换解开源点云和目标点云，然后将其作为输入提供给点到面ICP处理以获得它们的相对变换。

逐对点到面ICP处理计算变换矩阵(T)，并且还将6DOF(自由度)变换的置信度报告为6×6信息矩阵。例如，如果6DOF的运动估计是[tx，ty，tz，侧倾，俯仰，偏摆]，则6×6信息矩阵(Q)是为每个维度提供置信度度量的协方差矩阵的逆。例如，如果汽车沿x轴进入长走廊，则点到面ICP不能准确确定沿x轴的相对运动，因此，HD地图系统向信息矩阵中的与tx对应的元素分配低置信度值(即tx的大方差)。

交叉轨迹逐对对准

为了合并来自不同轨迹的LiDAR样本，HD地图系统计算来自不同轨迹的LiDAR样本的环路闭合逐对变换。对于每个非静态样本，HD地图系统在半径内搜索来自其他轨迹的附近非静态样本。相关样本被组织成ICP对的列表，用于ICP计算。每个ICP对可以通过并行计算框架独立计算。对于每个ICP对，首先使用相应的解开变换解开源和目标点云，然后将其馈送到点到面ICP以获得它们的相对变换。

在完成所有逐对对准后，HD地图系统执行全局姿势优化并解决以下问题。

给定来自多个轨迹的N个样本的集合{Sample_i}及它们在这些样本中的相对变换{T_ij,i∈[1...N]，j∈[1...N]}和相应的信息矩阵{Ω_ij,i∈[1...N]，j∈[1...N]}，HD地图系统为每个样本{x_i，i∈[1...N]}计算全局一致姿势的集合，使得逐对转换之间的不一致性被最小化：

图12(B)示出了根据实施方式的全局对准过程。在完成单个轨迹对准后，全局对准模块400出于环路闭合目的通过对来自不同轨迹的LiDAR样本执行1245交叉轨迹逐对对准来执行全局对准。HD地图系统将单个轨迹逐对对准结果和交叉轨迹逐对对准结果组合，以构建全局姿势图。HD地图系统重复执行1255全局姿势优化并执行1260结果的审核和手动改进。HD地图系统经由全局姿势图优化确定1270最终车辆姿势。

生成姿势图

在实施方式中，执行全局优化作为姿势图的处理。HD地图系统使用节点来表示所有可用样本({V_i＝x_i})的每个样本的姿势。边缘是逐对变换和用于节点之间的逐对变换的相应信息矩阵({E_ij＝{T_ij,Ω_ij}})。

图13示出了根据实施方式的姿势图的可视化。全局姿势优化的目标是优化姿势图中每个节点的姿势，使得它们的相对逐对变换尽可能接近根据逐对ICP计算的由相应的信息矩阵加权的变换。这可以使用以下等式在数学上表达：

其中，

是根据全局姿势计算的节点i和节点j之间的逐对变换；

是根据全局姿势计算出的逐对变换与根据ICP计算出的逐对变换相比的差异；以及

是来自边缘e_ij的由全局姿势与由信息矩阵Ω_ij加权的逐对ICP之间的不一致性引起的误差项。ICP结果的置信度越高，则因而误差项越高。

将姿势先验添加到姿势图

上面的姿势图优化增加了由于逐对变换而引起的约束，因此，对所有节点的任何全局变换仍然是优化的有效解决方案。在实施方式中，因为GNSS测量通常是全局一致的，所以HD地图系统尽可能接近地保持姿势与GNSS测量一致。因此，HD地图系统选择节点子集(P)，并使与它们相对应的GNSS姿势的全局姿势差异最小化。

图14示出了根据实施方式的包括基于GNSS的姿势先验的姿势图的可视化。如图14所示，将一元边缘添加到姿势图中节点的子集。示出为粉红色节点的点1410是添加到相应的图节点的姿势先验。

添加全局姿势先验等同于在节点子集上添加正则化项：x_i：是添加到节点x_i的全局GNSS姿势先验，并且

是当前姿势x_i与其姿势先验

之间的姿势差异；Ω_ii：是全局姿势先验的强度或置信度。该信息越大，为该全局姿势先验添加的权重越大。根据各种实施方式，有多种方式来选择姿势先验的样本子集：(1.)以固定距离间隔从每个轨迹中选择样本(2.)执行随机采样(3.)每纬度/经度边界框选择一个节点。实施方式可以基于GNSS姿势和逐对对准的质量来调整节点子集的创建。例如，选择过程可以有利于选择具有高质量姿势的GNSS节点或者增加具有低质量逐对对准的区域中的采样密度。

HD地图系统确定全局姿势先验的置信度，其类似于GNSS姿势的置信度度量。可以使用估计的误差方差的逆来测量置信度。因此，HD地图系统将姿势中较低的方差与较高的置信度相关联。HD地图系统在执行用于估计位置的GNSS计算时确定位置误差方差。HD地图系统通过考虑诸如卫星的相对位置和到每个卫星的距离的残余误差等的因素来确定位置误差方差。HD地图系统将完整姿势(位置和方向)误差方差确定为用于将GNSS姿势与其他传感器数据(例如，IMU、磁力计、视觉测距等)组合的计算的副产品。在实施方式中，HD地图系统使用输出具有每个姿势估计的误差方差的卡尔曼滤波器。HD地图系统确定估计的姿势与GNSS和IMU数据越一致，则姿势中的预期误差方差越低并且我们的置信度越高。位置和姿势误差方差都是集成GNSS/IMU设备的标准输出。

姿势图优化

HD地图系统执行姿势图的初始化以用于正确的收敛。姿势图优化是非线性优化，其中可能存在多个局部最小值。HD地图系统使用GNSS姿势初始化姿势图中的所有姿势。虽然每个GNSS姿势可能完全偏离，但是GNSS测量提供了姿势误差的全局界限。初始化姿势图之后，HD地图系统使用非线性求解器优化整个姿势图。

自动构造的姿势图可能由于缺少环路闭合边缘或非平面结构，例如立交桥、多层车库等而容易出错。HD地图系统通过检查具有全局姿势的合并的点云的锐度来指定操作员验证全局优化的姿势。HD地图系统还允许操作员手动添加环路闭合边缘以改善姿势图质量。在完成手动审核过程后，优化具有添加的手动边缘的新姿势图，使得可以产生更准确的全局姿势集。为了自动识别HD地图系统需要手动审核或改进的位置，HD地图系统提供自动对准热点检测。

总体对准过程

图15示出了根据实施方式的用于执行姿势图优化的过程的流程图。过程的各个步骤可以由姿势图优化模块1150和GNSS姿势先验处理模块1170执行。HD地图系统在姿势图存储器1180中存储1500姿势图。姿势表示车辆的位置和方向。HD地图系统收集轨迹数据，每个轨迹数据包括由沿着路线行驶的车辆收集的传感器数据，例如，LIDAR帧表示由安装在自主车辆上的LIDAR收集的距离图像。姿势图中的两个姿势之间的边缘连接两个相关联的节点，例如，表示车辆沿着路线从其收集传感器数据的连续位置的节点。

GNSS姿势先验处理模块1170从姿势图中选择1510节点子集。对于子集的每个节点，GNSS姿势先验处理模块1170执行步骤1520和1530。GNSS姿势先验处理模块1170识别1520与节点对应的GNSS姿势。GNSS姿势先验处理模块1170使节点与GNSS姿势之间的全局姿势差异最小化1530。

姿势图优化模块1150使用姿势图执行1540姿势图优化。HD地图系统合并传感器数据，例如LIDAR帧，以生成一致的统一的点云。HD地图系统使用点云生成高清晰度地图。

ICP结果的过滤

传统的ICP技术不保证收敛到全局最优解。实际上，如果对ICP算法的初始猜测不良，则ICP可能会陷入局部最小值并返回不正确的变换。因此，实施方式使用质量控制方法对每个ICP结果进行评级，并去除不良的ICP结果。HD地图系统基于ICP计算期间可以收集的各种统计数据，对ICP结果使用自动QA方法。

在每个ICP的最后迭代中，HD地图系统从当前的对应关系集合C＝{c_i|c_i＝[s_i→(d_i，n_i)]}中收集统计数据。从这些对应关系中，HD地图系统收集以下统计数据：(1)对应关系之间的平均签名距离误差。(2)对应关系之间签名的点到面的误差的方差。(3)对应关系之间签名距离误差分布的直方图。由于变换是在6D参数空间(用于平移的三个自由度(3DOF)和用于旋转的3DOF)，故HD地图系统将代价函数近似为二次代价，如下式所示：

其中，x_T＝[t_x，t_y，t_z，侧倾，俯仰，偏摆]是可以生成4x4变换矩阵的6D向量，并且被称为ICP信息矩阵。信息矩阵揭示了ICP优化的每个维度的不确定性。对于ICP信息矩阵，HD地图系统计算以下属性：条件数和特征值。

除了统计数据之外，HD地图系统还计算ICP结果与相应的GNSS-IMU姿势之间的姿势差异。对于每个ICP结果，HD图系统计算ICP结果与逐对姿势之间的姿势差异，该逐对姿势根据ICP结果与根据GNSS-IMU计算的逐对姿势之间的GNSS-IMU姿势差异来计算。姿势差异可以概括为6D向量：[delta_x，delta_y，delta_z，delta_侧倾，delta_俯仰，delta_偏摆]。该6D向量也被添加到SVM ICP结果分类器的特征向量中。

结合ICP信息矩阵的统计和分析，HD地图系统为每个ICP形成特征向量，包括以下特征：平均签名距离误差、方差签名距离误差、误差直方图、条件数、特征值、GNSS-IMU姿势之间的差异和其他可能的特征，例如视觉测距之间的差异。HD地图系统首先构建一组人工验证的地面真实ICP结果数据集，并计算每个ICP结果的特征向量。该特征向量的集合使得HD地图系统能够训练二进制分类器，例如SVM分类器，其可以根据相应的特征向量预测当前ICP结果正确的概率。训练的机器学习模型(例如，SVM模型)报告每个ICP结果正确的概率，这使得HD地图系统能够过滤掉不良的ICP结果，并且告知人工贴标签机可能需要手动调整的不良的ICP结果。

图16示出了根据实施方式的基于机器学习的ICP结果过滤器的系统架构。ICP结果过滤器480包括训练模块1610、ICP结果过滤器模型1620、特征提取模块1630和训练数据存储器1640。训练数据存储器1640存储用于训练ICP结果过滤器模型1620的训练数据。特征提取模块1630从存储在训练数据存储器1640中的数据或者从接收以用于使用ICP结果过滤器模型1620进行处理的输入数据中提取特征。训练模块1610使用存储在训练数据存储器1640中的训练数据来训练ICP结果过滤器模型1620。

图17示出了根据实施方式的用于训练基于机器学习的ICP结果过滤器的模型的过程。训练模块1610接收1700多个数据集，所述多个数据集包括根据由车辆的传感器捕获的数据确定的区域的3D表示。

训练模块1610重复步骤1610、1620、1630、1640和1650。训练模块1610确定1710地理区域中的多个对象的第一3D表示和第二3D表示。训练模块1610基于迭代最近点(ICP)技术确定1720用于将第一3D表示映射到第二3D表示的变换。特征提取模块1630基于特定ICP结果提取1730包括特征的特征向量。训练模块1610从用户接收1750用于ICP结果的标签。训练模块1610将带标签的ICP结果存储在训练数据存储器1740中。

训练模块1610训练基于机器学习的ICP结果过滤器模型1620，ICP结果过滤器模型1620被配置成生成指示输入的ICP结果是否需要手动验证的分数。

图18示出了根据实施方式的使用基于机器学习的模型执行ICP结果过滤器的过程。ICP结果过滤器模块480接收1800由在该区域中行驶的自主车辆的传感器捕获的地理区域的一部分的传感器数据。

ICP结果过滤器模块480重复步骤1810、1820、1830、1840和1850以执行全局姿势优化。ICP结果过滤器模块480确定1810区域的一部分中的多个对象的第一3D表示和第二3D表示。ICP结果过滤器模块480基于迭代最近点(ICP)技术确定1820用于将第一3D表示映射到第二3D表示的变换。ICP结果过滤器模块480基于ICP结果提取1830包括特征的特征向量。ICP结果过滤器模块480提供1840特征向量作为基于机器学习的ICP结果过滤器模型1820的输入以用于确定指示ICP结果的正确性的分数。如果分数指示结果不准确，则ICP结果过滤器模块480提供用于手动验证的结果。在一些实施方式中，结果验证由自动代理执行，例如由专家系统执行。

HD地图系统基于手动验证接收结果，并基于全局姿势优化生成1860HD图。

全局对准的分布式执行

为了创建覆盖大地理区域例如大城市的地图，姿势图可以包含具有大量边缘的数十亿个样本。实际上不可能在单个计算机器上执行姿势图优化。HD地图系统的实施方式实现分布式方法以优化大姿势图。

图19(A-B)示出了根据实施方式的将姿势图划分为用于姿势图优化的分布式执行的子图。如图19(A)所示，给定大姿势图1900，HD地图系统将姿势图分成不相交的子图1910。对于每个子图1910，HD地图系统以一些余量扩展其边界，如图19所示。因此，每个子图包含作为由该特定子图处理的节点的核心节点1920的集合。另外，它还在缓冲区中具有周围的缓冲节点1930。在缓冲区的边界上，HD地图系统具有固定的边界节点。

如图19(B)所示，HD地图系统将整个姿势图1900划分为大量子图1910，其中，所有子图的核心节点1920的并集覆盖原始姿势图中的所有节点。以下过程以分布式方式优化姿势图。

图20示出了根据实施方式的用于分布式处理姿势图的过程。在实施方式中，该过程的步骤由分布式执行模块1160执行。HD地图系统接收2000姿势图的节点和边缘。姿势图中的节点表示样本的姿势，并且姿势图中的边缘表示对中的节点之间的逐对变换。分布式执行模块1160将姿势图划分2010为多个姿势子图，每个姿势子图包括核心姿势子图部分和边界姿势子图部分，如图19所示。分布式执行模块1160在多个处理器上分发2020子图，每个处理器被分配有相邻姿势子图的集合。HD地图系统100使用多个处理器并行地执行2030全局姿势图优化。

图21示出了根据实施方式的用于分布式优化姿势图的过程。对于每个姿势子图，HD地图系统重复以下步骤。在边界节点姿势在迭代之间改变或者跨边界节点的改变化的总度量大于阈值的情况下，重复以下步骤。HD地图系统在保持边界节点固定的同时优化2100姿势子图。HD地图系统根据相邻姿势子图更新2110边界节点。HD地图系统确定2120边界节点的改变量。如果边界节点没有改变或者边界节点的改变量低于阈值，则HD地图系统标记2130子图优化完成。

HD地图系统将姿势图切割成具有不相交核心节点的子姿势的的方式影响了相交姿势图的收敛速度。子姿势图在本文中也被称为姿势子图。存在长反馈环，其中错误以波形弹跳，致使边界节点在大量迭代中发生变化。各种实施方式。各种实施方式利用不同的候选再划分策略来解决问题。根据实施方式，HD地图系统基于纬度/经度边界框来再划分姿势图。该策略可能产生大量的边界节点，这会减慢收敛速度。在另一实施方式中，HD地图系统基于图形切割来再划分姿势图。例如，HD地图系统可以在长路段的中心处切割姿势图。这使得边界节点的数量最少。

在另一实施方式中，HD地图系统在交叉路口处切割姿势图。由于交叉路口中的样本通常良好受约束于许多边缘，故在交叉路口处切割姿势图可以致使边界节点的快速收敛，从而加速分布式姿势图优化。通常，在实施方式中，HD地图系统识别大量具有由车辆返回的样本的地理区域部分，并将姿势图划分为子图，使得边界通过这样的区域。使子图的边界通过具有大量样本的地理区域部分致使更快的收敛。

全局对准的增量处理

HD地图系统使得能够将轨迹数据增量添加到构造和优化的姿势图。这使得能够定期更新姿势图并将其结合到HD地图中。

图22示出了说明根据实施方式的对姿势图的增量更新的过程的示例。

图22示出了包括轨迹{轨迹₁，轨迹₂，......，轨迹_N}的现有姿势图G₀。在收集新轨迹之后，新轨迹集合被添加到图形G₀中，HD地图系统将这些M_新个{轨迹_N+1，轨迹_N+2，......，轨迹_N+M}添加到现有姿势图以获得包括所有N+M个轨迹的新姿势图G。

图23示出了说明根据实施方式的对姿势图的增量更新的过程的流程图。在实施方式中，过程的各个步骤由增量姿势图更新模块1110执行并在在线HD地图系统110中执行。

HD地图系统生成2300包括轨迹的集合S1{轨迹₁，轨迹₂，......，轨迹_N}的姿势图G₀。在实施方式中，使用如图20和图21所示的过程生成并优化姿势图G₀。HD地图系统接收2310新轨迹的集合S2{轨迹_N+1，轨迹_N+2，......，轨迹_N+M}以添加到现有姿势图G₀。

HD地图系统在包括轨迹Tx和Ty的轨迹对之间执行2320逐对对准，使得从M个新轨迹的集合S2中选择Tx和Ty。因此，HD地图系统为新轨迹执行单个轨迹解开变换和单个轨迹逐对变换。

HD地图系统在轨迹对(Tp，Tq)之间执行2330逐对对准，使得从集合S1中选择Tp并且从集合S2中选择Tq。因此，HD地图系统通过将新轨迹彼此相关联以及将新轨迹与现有轨迹相关联来执行交叉轨迹逐对对准。如图22所示，除了计算M个新轨迹之间的交叉轨迹逐对对准之外，HD地图系统还计算新轨迹与现有N个轨迹的交叉轨迹逐对对准。利用新的单个轨迹和交叉轨迹逐对对准结果，HD地图系统构建新姿势图G，其中G的节点是G₀中的所有样本与新轨迹中的所有样本的并集。G的边缘包括G₀的边缘和新计算的单个轨迹和交叉轨迹逐对ICP结果。

HD地图系统在来自集合S1和S2的轨迹上执行2340姿势图优化。在一个实施方式中，HD地图系统执行姿势图的优化而不改变用于轨迹{轨迹₁，轨迹₂，......，轨迹_N}的现有样本的姿势。因此，在姿势图优化期间，HD地图系统冻结轨迹{轨迹₁，轨迹₂，......，轨迹_N}的现有样本的姿势。因此，HD地图系统仅优化新轨迹样本姿势。

在另一实施方式中，HD地图系统对轨迹{轨迹₁，轨迹₂，......，轨迹_N}的现有样本姿势进行改变。因此，HD地图系统启动整个新的全局优化过程而不冻结任何节点姿势。在这种情况下，全局优化类似于姿势图G的新的全局优化。

HD地图系统在姿势图存储器2280中存储2350更新的姿势图。HD地图系统使用更新的姿势图来更新HD地图并向在适当的区域中行驶的车辆提供更新的HD地图。

姿势图的修补

由于姿势图的质量，由HD地图系统生成的优化姿势可能并非对于姿势图中的所有节点是准确的。有时，由于缺少环路闭合边缘或插入错误的ICP边缘，优化结果可能在小区域中是不正确的。在这些情况下，HD地图系统接收来自用户例如人类操作员的输入。接收到的输入使得有问题的区域被标记有纬度/经度边界框。随后，例如，手动地固定该纬度/经度边界框内的姿势图的一部分。

在实施方式中，HD地图系统呈现显示纬度/经度边界框内的姿势图的一部分的用户界面。HD地图系统通过用户界面接收移除被识别为不正确的边缘的请求或接收添加新的经验证的边缘的请求。

在基于经由用户界面接收的请求执行姿势图编辑之后，HD地图系统重新优化姿势图并为边界框内的所有节点生成正确的姿势。在实施方式中，HD地图系统在执行编辑的姿势图的优化时不改变纬度/经度边界框外的姿势。因此，HD地图系统在姿势图优化期间冻结纬度/经度边界框外的节点的姿势。因此，HD地图系统仅优化和更新指定的纬度/经度边界框内的样本姿势。在另一实施方式中，HD地图系统开始全新的全局优化而不冻结任何节点姿势。在这种情况下，全局优化类似于对编辑的姿势图执行新的全局优化。

在实施方式中，HD地图系统允许弃用旧轨迹。假设当前姿势图G₀被优化，HD地图系统仅移除相应的轨迹样本和连接到它们的所有边缘。结果是没有弃用样本的较小姿势图。在这种情况下，HD地图系统响应于弃用轨迹而不执行姿势图优化。

基于表面分类为硬/软的逐对对准

HD地图系统计算两个邻近样本之间的相对逐对变换。给定两个点云，HD地图系统使用点到面ICP(即，迭代最近点)处理来获得它们的相对变换和相应的置信度估计，其使用是协方差矩阵的逆的信息矩阵来表示。

HD地图系统如下执行点到面ICP处理。HD地图系统将被称为源点云和目标点云的两个点云识别为对周围环境的稀疏观测，并使用ICP处理来找到将源点云从其局部坐标系变换为目标点云的坐标系的期望变换。由于数据的稀疏性，源点云和目标点云不可能在环境中采样完全相同的点。因此，对于稀疏的LiDAR点云，简单的点到点的ICP很容易产生误差。通常，环境，特别是在驾驶场景下，通常具有大量的平坦表面。在这些情况下，在基本ICP处理中使用点到面误差度量会产生更鲁棒的变换估计。

图24示出了根据实施方式的由HD地图系统执行的ICP处理。给定对应关系，HD地图系统执行使以下成本函数最小化得点到面ICP：

其中，(n_i，d_i)是目标点云中的点，其中n_i是点d_i处的估计的表面法线，并且s_i是源点云中的对应点；w_i是分配给每个对应关系的权重，其对于最简单的加权策略被设置为1.0，并且可以具有针对其他加权方案的不同自适应。优化问题通过调整变换T来使从源到目标的点到面误差的总和最小化。在每次迭代中，经由最邻近搜索来更新对应关系。

HD地图系统利用不同的置信度度量来处理不同点的法线估计。例如，HD地图系统将道路表面或建筑物表面的法线与高置信度相关联，将树叶或灌木丛的法线与低置信度相关联，因为这些不是稳定的平面结构。在正常计算期间，除了计算每个位置处的法向量之外，HD地图系统还通过估计相邻点的分布来估计每个法线的置信度(或鲁棒性)。可以从LiDAR距离图像获得相邻点。

图25示出了根据实施方式的由HD地图系统对LiDAR距离图像上的点云法线的估计。图25示出了形成LIDAR点云的LIDAR扫描的波束。图25还示出了对应的LIDAR距离图像。

在执行点到面ICP时由HD地图系统执行的步骤之一是可靠地估计目标点云的表面法线。在一个实施方式中，HD地图系统经由对特定半径上的p的相邻点的统计分析来估计特定点p处的表面法线。这是具有挑战性的，因为在自主驾驶车辆中使用的大多数LiDAR具有有限数量的激光束。收集的LiDAR点云对于利用相同激光束收集的点具有更高的点密度，并且在不同的激光束之间更稀疏。点密度的这种不均匀分布导致传统邻近搜索的麻烦。因此，较小的搜索半径使得难以在相同的激光束内找到相邻者，其大部分位于线而不是平面上。另一方面，包括来自不同行的相邻点的大搜索半径也可以包括来自其他平面表面的点。本发明的实施方式解决了这些问题并且允许估计LIDAR范围扫描的法线。

HD地图系统将LiDAR点云的测量编码为距离图像，其中，行和列对预校准的俯仰角和偏摆角进行编码，并且像素值对到障碍物的距离进行编码。为了解决基于最邻近者的法线估计的挑战，HD地图系统直接在LiDAR距离图像上估计点云法线。该技术具有以下优点：(1)更可靠，因为它解决了每个激光束内和激光束之间的点密度差异。(2)更有效，因为邻近搜索在图像网格上非常快，并且不需要额外的空间搜索结构，例如K-D树。

图26示出了根据实施方式的用于通过由HD地图系统确定LiDAR距离图像上的点云法线的过程。HD地图系统接收2600由安装在特定地理区域中行驶的车辆上的LIDAR捕获的LIDAR数据。

对于每个点P，HD地图系统执行以下步骤2630、2640和2650。HD地图系统确定2630LiDAR距离图像中的数据点的四个直接相邻者，所述四个直接相邻者至少距离最小阈值距离：p_顶，p_底，p_左和p_右。如果缺少顶相邻者和底相邻者，或缺少左相邻者和右相邻者，则HD地图系统确定法线是空值。

HD地图系统基于直接相邻者根据数据点确定2640水平和垂直向量。HD地图系统根据p及其四个相邻者确定最合适的水平和垂直向量

水平向量被计算如下，并以类似的方式计算垂直向量。如果

和

均存在，则系统检查它们的角度。如果系统确定角度太大(即，大于预定阈值)，则系统将较短的向量视为

否则系统将平均值视为

HD地图系统将数据点的法线确定2650为水平和垂直向量

和的交叉积。在实施方式中，将法向量调整为指向LiDAR中心。

图27示出了根据实施方式的用于基于表面分类为硬/软来执行逐对对准的过程。流程图中所示的各种步骤可以通过除了在本文中指出的模块之外的模块来执行。可以以与在本文中指出的顺序不同的顺序执行某些步骤。

全局对准模块400确定2700地理区域的一部分的多个3D表示。3D表示可以是点云表示，但可以是用于对3D对象和结构建模的任何其他机制。地理区域的一部分的多个3D表示包括地理区域的一部分的第一3D表示R1和第二3D表示R2。地理区域的一部分可以包括多个结构或对象，例如，建筑物、树木、栅栏、墙壁等。

表面分类模块1140确定2710与数据点相关联的指示与数据点对应的表面的硬度度量的置信度度量。表面分类模块1140将诸如建筑物和墙壁等的结构和对象视为与诸如树木等的结构或诸如生物等的对象相比的相对硬的表面。表面分类模块1140基于与结构表面上的点返回的LIDAR信号相关联的各种标准来确定结构表面的硬度度量。在实施方式中，每个标准与分数相关联。表面硬度的度量被确定为与表面相关联的分数的加权总和。用于确定结构表面的硬度度量的标准是表面上的点的法向量的分布。确定结构表面的硬度的另一标准是由表面反射的光的颜色。例如，表面分类模块1140将某些颜色识别为指示植被，例如绿色。因此，表面分类模块1140将具有这种颜色的表面与作为诸如树或任何类型的植被的软表面的高可能性相关联。表面分类模块1140使用的另一标准是表面返回的激光信号的强度。表面分类模块1140将由表面返回的较高强度的信号关联为硬表面的指示。在实施方式中，提取与点或表面相关联的各种特征作为特征向量，并将其提供给基于机器学习的模型，以确定指示表面硬度水平的分数。在实施方式中，基于机器学习的模型是将表面分类为硬表面或软表面的分类器。在实施方式中，使用描述由车辆的传感器捕获的表面的标记样本来训练基于机器学习的模型。下面结合图28、图24和图26进一步描述确定置信度的度量的进一步细节。

表面分类模块1140通过基于每个数据点的置信度度量来对数据点进行加权，基于迭代最近点(ICP)技术确定2730用于将第一3D表示映射到第二3D表示的变换T。确定HD地图系统100通过使用变换T组合第一3D表示R1和第二3D表示R2来确定2740地理区域的高清晰度地图。HD地图系统100存储高清晰度地图。HD地图系统100使用高清晰度地图用于自主车辆的驾驶。

图27中描述的过程是基于启发式的并且可能不测量结构的实际硬度。例如，树的硬雕像将被归类为软表面，即使它是刚性的且不可移动的。然而，技术在实践中提供了准确的结果，因为遇到与软表面非常相似的雕像或刚性结构的可能性很低。因此，统计上，在实践中遇到的大多数结构和物体的结果是准确的。

图28示出了根据实施方式的用于确定沿着表面的点的置信度的度量以用于逐对对准的过程。表面分类模块1140识别结构表面上的点。表面分类模块1140确定与点对应的表面处的法线。表面分类模块1140确定表面的相邻点的法线的分布的度量。分布的度量可以是统计度量，例如方差或标准差。表面分类模块1140将表面处的点的置信度的度量确定为与表面的相邻点的法线的分布的度量逆相关的值。因此，表面分类模块1140在例如，墙壁、建筑物等的表面的相邻点的法线分布中具有低方差的点中分配指示高置信度的分数。类似地，表面分类模块1140在例如树的表面的相邻点的法线分布中具有高方差的点中分配指示低置信度的分数。

图29示出了根据实施方式的用于确定点的置信度的度量的过程。对于具有估计的法线的每个点P重复图29的处理。表面分类模块1140初始化2910计数器N＝0和变量V＝0。对于距离图像的矩形窗口中的点P的相邻区域中的每个点Pi执行步骤2920和2930。表面分类模块1140使用等式

确定2920点Pi的点到面距离d_i。表面分类模块1140将d_i与阈值进行比较以确定距离是否低于阈值。如果距离值d_i被确定为低于阈值，则表面分类模块1140将d_i的平方与变量V的值相加，即，V＝V+d_i ²，并且例如通过执行N++将N递增1。

表面分类模块1140将方差的值确定2940为V/N。表面分类模块1140将点P的置信度的度量确定2950为方差的函数。在实施方式中，法向量的置信度的度量被确定为置信度

其中，σ是参数。表面分类模块1140确定每个法线的置信度值，并将置信度值组合成每个ICP代价的权重，使得较高权重对应于高法线置信度，如以下等式所示：

min_T∑_iw_i|n_i·(T·s_i-d_i)|²，其中，

在一些实施方式中，除了经由法线置信度对每个对应关系进行加权之外，HD地图系统还经由基于对应点之间的距离对对应关系进行加权来实现对噪声和异常值的进一步鲁棒性。给定对应关系

HD地图系统通过Lorentz函数经由对应的点到面误差对对应关系进行加权：

Lorentz函数用于惩罚错误的对应关系，从而使结果具有鲁棒性。在一些实施方式中，表面分类模块1140将Lorentz的权重与法线置信度相乘作为每个对应关系的最终权重。

软表面在本文中也被称为软景观表面，并且硬表面在本文中被称为硬景观表面。表面具有可以是硬的或软的表面类型。具有硬表面类型的表面是硬表面，例如，墙壁，并且具有软表面类型的表面是软表面，例如树。

HD地图系统使用置信度度量作为表面分类器，其中，“硬景观”表面具有高置信度并且“软景观”具有低置信度。HD地图系统使用此硬景观/软景观分类方法来避免在一次扫描中将硬景观点与另一次扫描中的软景观匹配，并使用置信度权重来强制执行该约束。

HD地图系统将硬景观表面与更高的置信度相关联，因为它们通常在对准上比软景观点更有价值。这是因为当LIDAR扫描诸如墙壁的硬表面时，它返回一组干净、结构良好的点。因此匹配墙壁的两次扫描相当容易。但是当它扫描软景观(诸如灌木丛)时，点非常嘈杂，并且具有复杂的随机结构，这取决于信号进入灌木丛的深度、叶子定向的方式等。因此，当HD地图系统尝试匹配灌木丛的两次扫描时，HD地图系统可能会减少法线的权重并仅使用这些点。

通常，将硬景观与硬景观匹配提供了强大的约束，并且由HD地图系统以更大的权重进行加权。将软景观与软景观匹配是有用的，但具有较弱的约束，因为一次扫描可能会击中一片叶子，并且第二次扫描可能会击中不同但在附近的叶子。因此，与硬景观到硬景观表面匹配相比，HD地图系统利用更低的权重对软景观到软景观表面匹配进行加权。此外，HD地图系统对硬景观到软景观匹配的权重最小，因为这表示匹配错误。

因此，与具有不同表面类型的点相比，如果点具有匹配表面类型的表面，则HD地图系统通过将对应点加权得较高来确定用于将第一3D表示映射到第二3D表示的变换。在实施方式中，如果点在具有匹配的硬度度量的表面上，则HD地图系统将对应点加权得较高。因此，如果两个表面的硬度度量在彼此的阈值内，则两个表面具有匹配的硬度度量。此外，与均在软表面上的点相比，如果点均在硬表面上，则HD地图系统将对应点加权得较高。

未对准热点的检测

在HD地图系统执行全局对准之后，通常存在需要进一步分析的潜在对准问题，例如，人工或使用自动化工具的质量保证。人工或自动化工具可以进一步提供用于改进对准数据的输入。然而，覆盖大面积的HD地图中存在的数据量是巨大的。因此，例如通过使用人工操作员对整个地图进行QA来对整个地图进行详细的后续分析是不切实际的。HD地图系统的实施方式实现自动未对准热点检测过程以自动识别对准问题的区域。因此，仅对所识别的热点而不是整个HD地图执行后续分析。这提高了完成HD地图的过程的效率，并提高了结果的质量。例如，HD地图需要在阈值时间量内完成，以能够提供用于沿着路线行驶的车辆。如果HD地图的验证和完成过程花费很长时间，则由于从各种自主车辆接收的更新而对HD地图的改变不能传播到沿着路线行驶的其他车辆。实施方式使得HD地图的验证过程和QA有效，从而使得能够向沿着各种路线适时行驶的后续车辆提供HD地图。

实施方式自动识别需要例如以人工QA的形式进一步分析和验证的以下情况。HD地图系统经由未对准热点检测过程进行检测：(1)道路的非平面交叉：例如，上下通道、桥梁等。LIDAR样本具有非常小的重叠，因此难以使用ICP来对准，而需要人工将它们对准以保证全局姿势的一致性。(2)远程环路闭合：由于缺少重叠的点云，ICP可能失效，因此HD地图系统不会自动对准彼此远离(例如，超过25米)的点云。由于典型的LiDAR具有非常大的范围(～100m)，点云可能仍然有重叠。在这种情况下，HD地图系统通过在相距很远但仍然具有一些重叠部分的点云之间添加约束来向用户发送信息以手动闭合环路。(3)引起OMap中的未对准地面、未对准垂直平面墙壁等的对准误差。

检测未对准热点的整体过程

之后图30示出了根据实施方式的用于基于未对准热点的自动检测来生成高清晰度地图的过程。在实施方式中，由在线HD地图系统110例如由全局对准模块460执行图30中所示的各个步骤。在其他实施方式中，处理的一些步骤可以由车辆计算系统120执行。

HD地图系统100从行驶通过地理区域的多个车辆的传感器接收3000数据。例如，多个车辆可以在同一条道路上行驶并且发送传感器数据，所述传感器数据包括由安装在汽车上的相机捕获的图像、LIDAR扫描数据等。HD地图系统100基于所接收的数据执行3010点云的对准。例如，基于从车辆V1接收的传感器数据确定的地理区域的一部分的点云可以与基于从车辆V2接收的传感器数据确定的地理区域的相同部分的点云稍微不同。全局对准模块460执行不同点云表示的对准以生成地理区域的总点云表示。因此，全局对准模块460基于所接收的传感器数据生成区域的三维表示。

未对准热点检测模块1160识别3030地理区域的三维表示中的未对准热点。在本文中进一步详细描述了热点检测模块1160使用的用于识别3030未对准热点的各种技术。在实施方式中，HD地图系统100构建3040突出显示各种未对准热点的地理区域的视觉表示，例如，视觉表示可以是热地图图表。HD地图系统100经由客户端设备的显示器的用户界面呈现3050视觉表示。在实施方式中，HD地图系统100经由用户界面接收3060修改地理区域的高清晰度地图的请求。例如，用户可以查看视觉表示并分析热点以识别对准的问题，然后对表示对准结果的数据进行校正。在另一实施方式中，自动代理，例如，专家系统可以执行对3030所识别的未对准热点的分析，以推荐对HD地图数据的修改或者自动地对地理区域的HD地图数据进行修改。

在实施方式中，未对准热点检测模块1160基于环路闭合数据检测未对准。未对准热点检测模块1160检测非平面交叉道路和远程环路闭合边缘。对于两种情况，给定两个任意样本，未对准热点检测模块1160计算它们的图形距离(即，通过遍历姿势图确定的最短路径距离)与它们的测地距离即两点之间的直线距离之间的比率。如果比率高，则未对准热点检测模块1160确定存在以下高可能性：两个点云具有重叠部分，但是不具有环路闭合逐对变换。因此，未对准热点检测模块1160将这些部分指示为未对准热点。

在另一实施方式中，未对准热点检测模块1160检测地理区域的三维表示中的未对准地面。完全对准的地面应该是单层节点，但是实践由全局对准模块400确定的对准地面节点具有非零值的厚度。未对准热点检测模块1160确定厚的地面节点层指示不良的对准，而薄层指示良好的对准。因此，未对准热点检测模块1160将未对准的可能性确定为与地理区域的一部分中的代表地面的层的厚度直接有关的值。

图31示出了根据实施方式的用于检测在点云中表示的表面的未对准的过程。图31所示的过程是图30所示的步骤3030的实施方式。未对准热点检测模块1160识别地理区域的三维表示例如点云表示中的表面3100。例如，表面可以代表地面或墙壁。未对准热点检测模块1160确定3110所识别表面的法线。未对准热点检测模块1160沿着法线方向和与法线相反的方向识别3120点云表示内的数据点。未对准热点检测模块1160选择3130可能表示所识别的表面的点簇，例如，未对准热点检测模块1160可以对所识别的数据点进行聚类，并选择表示接近所识别的表面的最邻近点的簇。

在实施方式中，未对准热点检测模块1160以最接近所识别的表面的所识别的数据点开始。未对准热点检测模块1160通过将数据点添加到集合来构建数据点的集合，如果它们在集合内的至少一个其他数据点的阈值距离内的话。当最近的数据到所选择的数据点集合大于阈值距离时，未对准热点检测模块1160。

未对准热点检测模块1160确定3140沿着法线的被确定为表示表面的所选择的数据点之间的最大距离。未对准热点检测模块1160将在沿着表面的在特定数据点处的未对准的度量确定QX50为与沿着与在表面上该特定数据点对应的法线的所选择的数据点之间的确定3140的最大距离直接相关或直接成比例的值。

图32示出了根据实施方式的对在点云中表示的地面的未对准的检测。在OMap构建过程中，HD地图系统将插值的地面点获取到垂直列的临时存储器中。当HD地图系统获取所有地面点，基于该垂直列中的所有z坐标值计算平均高度值(沿Z轴)。未对准热点检测模块1160确定平均z值，并将地面表示的厚度确定为在垂直列内的z坐标的最大值(max_z)与z坐标的最小值(min_z)之间的差值。未对准热点检测模块1160使用沿垂直列的地面厚度的度量作为未对准的指示。因此，未对准热点检测模块1160将表示未对准可能性的分数确定为与max_z和min_z值之间的差值成正比(或直接相关)的值。在一个实施方式中，未对准热点检测模块1160使用一个字节(0-255)来表示未对准的可能性，0表示完全对准的地面，255表示diff(max_z，min_z)>＝50cm。例如，节点z值的列表可以是[12,13,14,16]，节点z的平均值是14(13.75几乎等于14)，并且diff(max_z，min_z)＝4。每个节点约为5厘米，因此转换为公制值，diff为20厘米。未对准热点检测模块1160将一个字节值确定为(255*20/50.0)＝100(近似)。

图33示出了根据实施方式的用于检测点云中表示的地面的未对准的过程。图31所示的过程是图30所示的步骤3030的实施方式。未对准热点检测模块1160识别3300表示区域的三维表示中的地面表面的一部分的节点。未对准热点检测模块1160将与节点对应的多个数据点映射3310到三维表示内的垂直列。假设地面的法线处于垂直方向，即Z轴。垂直列包括通过改变z坐标值而具有相同x和y坐标值的数据点。未对准热点检测模块1160确定3320多个数据点中的最大z坐标和最小z坐标值。未对准热点检测模块1160基于与最大z坐标值与最小z坐标值之间的差成比例的值来确定3330对于地面的一部分的未对准的度量。

图34示出了根据实施方式的用于检测在点云中表示的垂直表面的未对准的过程。图34所示的过程是图30所示的步骤3030的实施方式。未对准热点检测模块1160识别3400地理区域的三维表示中的非地面节点。未对准热点检测模块1160识别3410表示垂直平面表面的数据点。在实施方式中，未对准热点检测模块1160使用平面分割技术来识别3410表示垂直平面表面的数据点。

未对准热点检测模块1160对于垂直表面的每个节点或对于垂直表面的至少节点的子集重复以下的步骤3420、步骤3430、步骤3440和步骤3450。未对准热点检测模块1160识别3420垂直表面的法线。法线表示水平面中的向量。未对准热点检测模块1160沿法线方向和与法线相反的方向识别数据点。未对准热点检测模块1160选择具有相同z坐标值的与垂直表面接近的数据点的簇。未对准热点检测模块1160将节点处的未对准的度量确定3450为与簇内的最远点之间的距离成比例的值。

未对准热点检测模块1160还确定每个垂直节点列的平均未对准度量。未对准热点检测模块1160将结果转换为2D热图图像，因此每个图像像素表示一个垂直列的未对准的平均概率。

图35示出了说明根据实施方式的垂直结构例如在点云中表示的墙壁的未对准的检测的示例。类似于地面对准，未对准热点检测模块1160将墙壁处理为薄的垂直平面层。但是，未对准会导致重复且厚的墙壁层。未对准热点检测模块1160识别未对准的墙壁或任何垂直表面内的部分。HD地图系统通过将每个节点的中心视为点来将构建的OMap处理为点云。未对准热点检测模块1160获得非地面节点，因为它们表示垂直表面。未对准热点检测模块1160使用平面分割算法来获得所有平面表面，例如，基于子窗口的区域增长(SBRG)算法。由于点云是从OMap转换的，故不包括所有临时障碍点(例如汽车)。未对准热点检测模块1160将分割点标记为墙壁或垂直表面。

根据实施方式，未对准热点检测模块1160执行以下步骤。在以下描述中，地理区域的三维表示中的点被称为节点。未对准热点检测模块1160将所有墙壁节点标记为未知。

未对准热点检测模块1160针对每个未知墙壁节点执行以下步骤。未对准热点检测模块1160获得节点的法线。沿着法线方向和反方向，未对准热点检测模块1160找到相同的z水平中的最小x坐标(min_x)、最大x坐标(max_x)、最小y坐标(min_y)和最大y坐标(max_y)。找到的节点的法线应与正在处理的当前墙壁节点的法线相匹配。目的不是选择墙壁节点的另一侧。在实施方式中，未对准热点检测模块1160构建所有墙壁节点的KD树。对于正在处理的当前墙壁节点，未对准热点检测模块1160搜索在阈值距离(例如，1米)内的所有墙壁节点。未对准热点检测模块1160识别墙壁节点的最邻近点。热点检测模块1160基于某些标准排除(或跳过)一些点。如果节点z坐标不同，则未对准热点检测模块1160排除该点。如果当前节点的法线与相邻节点的法线之间的角度大于阈值，则未对准热点检测模块1160排除该点。如果从相邻节点到当前节点的向量方向与当前节点的法线不平行，则未对准热点检测模块1160排除该点。如果需要，未对准热点检测模块1160更新min_x、max_x、min_y和max_y值。未对准热点检测模块1160将最邻近节点标记为DONE。

未对准热点检测模块1160使用min_x、max_x、min_y和max_y来计算距离以指示未对准厚度。例如，min_x＝2、max_x＝5、min_y＝10、max_y＝20，产生10.4的距离，其大致等于52(10.4*5cm)厘米。类似于地面未对准概率值，在实施方式中，HD地图系统使用一个字节来表示该值。HD地图系统将所有这些节点从未知标记为DONE，因此不需要再次计算它们。

在完成所有墙壁节点之后，未对准热点检测模块1160针对每个垂直列确定该垂直列中的所有墙壁节点的平均未对准概率，并将该值分配给垂直列。为了确定未对准概率的平均值，未对准热点检测模块1160将同一垂直列中的所有墙壁节点未对准概率值相加。未对准热点检测模块1160将所产生的值除以该垂直列中的墙壁节点的总数，以获得平均的未对准概率。

在实施方式中，未对准热点检测模块1160将垂直列概率或地面未对准概率导出为作为热图的2D图像。例如，未对准热点检测模块1160可以将高概率的未对准着色为红色，并且将对准良好的x、y位置着色为绿色。HD地图系统向用户提供生成的热图，以使得用户能够可视地检查OMap并关注被识别为具有高概率的未对准的区域。

生成的热图还可以用于通过使用下面描述的方法生成热点位置。该过程适用于地面未对准概率和墙壁未对准概率热图。当生成2D热图时，HD地图系统通过使用n x n移动窗口(例如，n＝5)根据其确定热点位置。如果超过50％(当n＝5时，实际数字为13,25*0.5＝12.5)像素值大于100(意味着未对准大约20厘米。255*20cm/50cm＝102)，热点的纬度/经度被导出到输出。因此，最终结果是热点纬度/经度位置的列表，其被提供给审核工具以使得操作员能够审核那些位置的数据并手动检查对准。

根据另一实施方式，在保持聚类直径的约束大约为10m(即，类似于对准采样的比例的值)的情况下，通过使用合并相邻簇的聚类算法来对大于100的像素值进行聚类来识别热点。HD地图系统为每个簇生成热点并将其导出到审核工具。

计算机器架构

图36是示出能够从机器可读介质读取指令并在处理器(或控制器)中执行它们的示例机器的部件的框图。具体地，图36示出了计算机系统3600的示例形式的机器的图形表示，在所述计算机系统3600内可以执行用于使机器执行在本文中所讨论的任何一种或多种方法的指令3624(例如，软件)。在替选实施方式中，机器作为独立设备操作或者可以被连接(例如，联网)到其他机器。在联网部署中，机器可以在服务器客户端网络环境中以服务器机器或客户端机器的功能来运行，或者作为对等(或分布式)网络环境中的对等机器运行。

机器可以是服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能手机、web设备、网络路由器、交换机或网桥，或能够执行指定该机器要采取的动作的指令3624(顺序或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但术语“机器”还应被视为包括单独或联合执行指令3624以执行在本文中所讨论的任一种或更多种方法的机器的任何集合。

示例计算机系统3600包括处理器3602(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或这些的任何组合)、主存储器3604和静态存储器3606，其被配置成经由总线3608彼此通信。计算机系统3600还可以包括图形显示单元3610(例如，等离子体显示板(PDP)、液晶显示器(LCD)、投影仪或阴极射线管(CRT))。计算机系统3600还可以包括也被配置成经由总线3608进行通信的字母数字输入设备3612(例如，键盘)、光标控制设备3614(例如，鼠标、轨迹球、操纵杆、运动传感器或其他指向仪器)、存储单元3616、信号发生设备3618(例如，扬声器)和网络接口设备3620。

存储单元3616包括机器可读介质3622，其上存储有体现在本文中描述的方法或功能中的任一个或更多个的指令3624(例如，软件)。指令3624(例如，软件)也可以在由计算机系统3600、主存储器3604和也构成机器可读介质的处理器3602执行期间完全或至少部分地驻留在主存储器3604内或处理器3602内(例如，在处理器的高速缓存存储器内)。可以经由网络接口设备3620在网络3626上发送或接收指令3624(例如，软件)。

虽然在示例实施方式中将机器可读介质3622示为单个介质，但是术语“机器可读介质”应当被视为包括能够存储指令(例如，指令3624)的单个介质或多个介质(例如，集中式或分布式数据库，或者相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括能够存储用于由机器执行的指令(例如，指令3624)并且使机器执行在本文中公开的任一种或更多种方法的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁介质形式的数据存储库。

附加配置考虑

已经出于说明的目的呈现了本发明的实施方式的前述描述；它并非旨在穷举或将本发明限制于所公开的确切形式。相关领域的技术人员可以理解，根据以上公开内容，许多修改和变化是可能的。

例如，尽管在本文中描述的技术应用于自主车辆，但是该技术也可以应用于其他应用，例如，用于显示具有驾驶员的车辆的HD地图、用于在诸如移动电话、笔记本电脑、平板电脑或任何具有显示屏的计算设备的客户端设备的显示器上显示HD地图。在本文中显示的技术还可以应用于例如在计算机游戏中显示用于计算机模拟目的的地图等。

本说明书的一些部分根据对信息的操作的算法和符号表示来描述本发明的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来有效地将其工作的实质传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述，但应理解为由计算机程序或等效电路、微代码等实现。此外，在不失一般性的情况下，将这些操作的安排称为模块，有时也证明是方便的。所描述的操作及其相关联的模块可以体现为软件、固件、硬件或其任何组合。

在本文中描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或更多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块用包括含有计算机程序代码的计算机可读介质的计算机程序产品实现，计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。

本发明的实施方式还可以涉及用于执行在本文中的操作的装置。该装置可以针对所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，并且耦接到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。

本发明的实施方式还可以涉及体现在载波中的计算机数据信号，其中计算机数据信号包括计算机程序产品或在本文中描述的其他数据组合的任何实施方式。计算机数据信号是以有形介质或载波呈现并在有形的载波中调制或以其他方式编码的产品，并且根据任何合适的传输方法传输。

最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且其可以不被选择用于描绘或限制本发明的主题。因此，本发明的范围旨在不受该详细描述的限制，而是受基于其的申请提交的任何权利要求的限制。

Claims (65)

1.一种用于生成高清晰度地图以在驾驶自主车辆时使用的方法，所述方法包括：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括车辆的位置和方向，并且其中，节点对之间的每个边表示所述节点对中的节点之间的变换；

从所述姿势图中选择节点子集；

对于所述节点子集中的每个节点，识别与所述节点对应的全球导航卫星系统(GNSS)姿势；

基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；

合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；

基于所述点云表示来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。

2.根据权利要求1所述的方法，其中，所述传感器数据包括LIDAR距离图像。

3.根据权利要求1所述的方法，还包括：

在与单个轨迹相关联的节点对之间执行逐对对准，其中，轨迹表示与车辆通过路线的单次行驶对应的数据集合，所述数据包括具有相关联的传感器数据的姿势序列。

4.根据权利要求3所述的方法，还包括：

执行节点对之间的逐对对准，其中，从第一轨迹中选择所述对中的第一节点，并且从第二轨迹中选择所述对中的第二节点。

5.根据权利要求4所述的方法，还包括：

执行逐对对准的结果的过滤以确定结果是否需要进一步审核。

6.根据权利要求5所述的方法，其中，所述逐对对准的结果的过滤是使用基于机器学习的模型来执行的，所述基于机器学习的模型被配置成预测指示逐对对准的结果是否需要进一步审核的分数。

7.根据权利要求1所述的方法，还包括：

响应于确定传感器数据的一个或更多个样本是被静止车辆捕获的来移除所述样本。

8.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：沿着捕获与所述节点对应的传感器数据的自主车辆行进的路径以固定距离间隔来选择节点。

9.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：从所述姿势图中随机选择节点。

10.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：

基于纬度值和经度值确定边界框；以及

从每个边界框中选择节点。

11.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：

识别具有低质量的逐对对准的区域；以及

增加所识别出的区域中的采样频率。

12.根据权利要求1所述的方法，其中，从所述姿势图中选择所述节点子集包括：

识别具有高质量的GNSS姿势的节点；以及

与具有较低质量的GNSS姿势的节点相比，增加选择所识别出的节点的可能性。

13.一种存储指令的非暂态计算机可读存储介质，所述指令用于：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

从所述姿势图中选择节点子集；

对于所述节点子集中的每个节点，识别与所述节点对应的全球定位系统(GNSS)姿势；

基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；

合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；

基于所述点云表示来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。

14.一种计算机系统，包括：

电子处理器；以及

非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

从所述姿势图中选择节点子集；

对于所述节点子集中的每个节点，识别与所述节点对应的全球导航卫星系统(GNSS)姿势；

基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化；

合并由多个自主车辆捕获的传感器数据，以生成地理区域的点云表示；

基于所述点云表示来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。

15.一种用于分布式处理姿势图以生成高清晰度地图的方法，所述方法包括：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

生成姿势图，其中，所述图中的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

将所述姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合；

迭代地执行以下步骤，所述步骤包括：

对于每个子姿势图，保持边界节点的值固定并优化子姿势图，以及

使用所有子姿势图的核心节点姿势来更新所有节点姿势；基于所述点云表示来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中对所述自主车辆进行导航。

16.根据权利要求15所述的方法，其中，所述传感器数据包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据以及由惯性测量单元(IMU)收集的数据。

17.根据权利要求15所述的方法，其中，重复执行所述步骤还包括：作为更新所有节点姿势的结果，确定是否存在边界节点的改变；以及响应于确定所述边界节点的改变低于阈值来停止所述迭代。

18.根据权利要求15所述的方法，其中，将所述子图分发给多个处理器以用于分布式执行。

19.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：

基于纬度值和经度值确定边界框；以及

将边界框内的所有姿势分配给子图。

20.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：沿道路划分所述姿势图以获得子图。

21.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：沿道路中的交叉路口划分所述姿势图以获得子图。

22.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：以使边界节点的数量最小化为目的来划分所述姿势图。

23.根据权利要求15所述的方法，其中，将所述姿势图划分为多个子图包括：识别具有大量的由车辆返回的样本的地理区域部分；并将所述姿势图划分为子图，使得子图的边界通过所识别出的所述地理区域部分。

24.一种存储指令的非暂态计算机可读存储介质，所述指令用于：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

将所述姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合；

迭代地执行以下步骤，所述步骤包括：

对于每个子姿势图，保持边界节点的值固定并优化子姿势图，以及

使用所有子姿势图的核心节点姿势来更新所有节点姿势；基于点云表示来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。

25.一种计算机系统，包括：

电子处理器；以及

非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

生成姿势图，其中，所述图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

将所述姿势图划分为多个子图，每个子图包括核心节点集合和缓冲节点集合；

迭代地执行以下步骤，所述步骤包括：

对于每个子姿势图，保持边界节点的值固定并优化子姿势图，以及

使用所有子姿势图的核心节点姿势来更新所有节点姿势；

基于点云表示来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。

26.一种用于增量更新姿势图以生成高清晰度地图的方法，所述方法包括：

接收由自主车辆的传感器收集的轨迹数据，每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集；

生成姿势图，其中，所述姿势图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

接收新轨迹数据的集合以更新所述姿势图；

在所述新轨迹数据的集合内执行姿势之间的对准；

执行姿势对之间的对准，其中，所述姿势对包括来自所生成的姿势图的姿势和来自所述新轨迹的集合的姿势；

通过将来自所述新轨迹的集合的姿势添加到所述姿势图来更新所述姿势图；

执行更新的姿势图的姿势图优化；

基于经优化的更新的姿势图来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。

27.根据权利要求26所述的方法，其中，所述传感器数据包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据以及由惯性测量单元(IMU)收集的数据。

28.根据权利要求26所述的方法，其中，在所述新轨迹数据的集合内执行姿势之间的对准包括：

执行姿势对之间的单轨迹对准，其中，所述对中的每个姿势在相同的轨迹数据内。

29.根据权利要求26所述的方法，其中，在所述新轨迹数据的集合内执行姿势之间的对准包括：

执行姿势对之间的交叉轨迹对准，其中，来自所述对的第一姿势来自第一轨迹数据，并且来自所述对的第二姿势来自第二轨迹数据。

30.根据权利要求26所述的方法，其中，执行所述更新的姿势图的姿势图优化包括：

在改变来自所述新轨迹数据的集合的姿势的同时保持来自所述姿势图的姿势数据固定。

31.根据权利要求26所述的方法，其中，执行所述更新的姿势图的姿势图优化包括：

在改变来自姿势图的姿势和来自所述新轨迹数据的集合的姿势的同时优化姿势。

32.根据权利要求26所述的方法，还包括：

发送描述姿势图的一部分的信息以经由用户界面呈现，其中，所述姿势图的一部分用于地理区域的一部分；以及

接收编辑所述姿势图的请求，所述编辑包括以下中之一：移除所述姿势图的边缘；或将边缘添加到所述姿势图。

33.根据权利要求32所述的方法，其中，所述地理区域的一部分是使用边界框来指定的，所述边界框是使用纬度值和经度值来指定的。

34.根据权利要求33所述的方法，还包括：

响应于编辑所述姿势图，重新优化所述姿势图，所述重新优化保持与所述边界框外部的位置相关联的姿势固定并且修改与所述边界框内部的位置相关联的姿势。

35.根据权利要求26所述的方法，还包括：

响应于确定轨迹数据与阈值相比而较旧，弃用所述轨迹数据，所述弃用包括：删除基于所述轨迹数据的所有边缘。

36.一种存储指令的非暂态计算机可读存储介质，所述指令用于：

接收由自主车辆的传感器收集的轨迹数据，每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集；

生成姿势图，其中，所述姿势图中的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

接收新轨迹数据的集合以更新所述姿势图；

在所述新轨迹数据的集合内执行姿势之间的对准；

执行姿势对之间的对准，其中，所述姿势对包括来自所生成的姿势图的姿势和来自所述新轨迹的集合的姿势；

通过将来自所述新轨迹的集合的姿势添加到所述姿势图来更新所述姿势图；

执行更新的姿势图的姿势图优化；

基于经优化的更新的姿势图来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。

37.一种计算机系统，包括：

电子处理器；以及

非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：

接收由自主车辆的传感器收集的轨迹数据，每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集；

生成姿势图，其中，所述姿势图的每个节点表示车辆的姿势，所述姿势包括所述车辆的位置和方向，并且其中，节点对之间的每个边缘表示所述节点对中的节点之间的变换；

接收新轨迹数据的集合以更新所述姿势图；

在所述新轨迹数据的集合内执行姿势之间的对准；

执行姿势对之间的对准，其中，所述姿势对包括来自所生成的姿势图的姿势和来自所述新轨迹的集合的姿势；

通过将来自所述新轨迹的集合的姿势添加到所述姿势图来更新所述姿势图；

执行更新的姿势图的姿势图优化；

基于经优化的更新的姿势图来生成高清晰度地图；以及

将所述高清晰度地图发送到一个或更多个自主车辆以用于对所述地理区域中的自主车辆进行导航。

38.一种用于基于表面分类来生成高清晰度地图以在驾驶自主车辆时使用的方法，所述方法包括：

基于由行驶通过地理区域的自主车辆捕获的传感器数据来生成所述地理区域的第一三维表示；

基于由行驶通过地理区域的自主车辆捕获的传感器数据来生成所述地理区域的第二三维表示；

对于所述三维表示中的多个点中的每一个：

识别与所述点相关联的结构的表面；

基于一个或更多个标准确定所述表面的硬度的度量；以及

基于所确定的所述结构的表面的硬度的度量来确定所述点的置信度的度量；

通过基于每个点的置信度的度量对数据点进行加权，基于迭代最近点(ICP)方法来确定用于将所述第一3D表示映射到所述第二3D表示的变换；

通过使用所述变换将所述第一3D表示组合到所述第二3D表示来确定所述区域的高清晰度地图；以及

提供所述高清晰度地图以用于驾驶一个或更多个自主车辆。

39.根据权利要求38所述的方法，其中，确定用于将所述第一3D表示映射到所述第二3D表示的变换包括：与具有不同表面类型的对应点相比，如果对应点具有匹配表面类型的表面，则将所述对应点加权得较高，其中，表面类型是硬或软中之一。

40.根据权利要求38所述的方法，确定用于将所述第一3D表示映射到所述第二3D表示的变换包括：如果对应点在具有匹配的硬度度量的表面上，则将所述对应点加权得较高，其中，如果第一表面的硬度度量在第二表面的硬度度量的阈值内，则所述第一表面具有与所述第二表面匹配的硬度度量。

41.根据权利要求38所述的方法，确定用于将所述第一3D表示映射到所述第二3D表示的变换包括：与都在软表面类型的表面上的对应点相比，如果对应点都在硬表面类型的表面上，则将所述对应点加权得较高。

42.根据权利要求38所述的方法，其中，基于一个或更多个标准确定所述表面的硬度的度量包括：

确定所述结构的表面上的多个点的法向量的方差的度量，其中，所述多个点位于所述点附近。

43.根据权利要求42所述的方法，其中，所述置信度的度量是与所述结构的表面上的多个点的法向量的方差的度量逆相关的值。

44.根据权利要求38所述的方法，其中，用于确定所述表面的硬度的度量的一个或更多个标准包括根据由安装在自主车辆上的相机捕获的所述结构的图像确定的颜色或表面。

45.根据权利要求38所述的方法，其中，用于确定所述表面的硬度的度量的一个或更多个标准包括与所述结构的表面相关联的LIDAR激光返回的数量。

46.根据权利要求38所述的方法，其中，用于确定所述表面的硬度的度量的一个或更多个标准包括与所述结构的表面相关联的LIDAR激光的强度。

47.根据权利要求38所述的方法，其中，所述地理区域的三维表示是点云表示。

48.根据权利要求38所述的方法，其中，由车辆捕获的传感器数据包括由安装在所述车辆上的LIDAR捕获的LIDAR距离图像。

49.根据权利要求48所述的方法，其中，确定LIDAR距离图像中的点的法向量包括：

确定所述LiDAR距离图像中的所述点的多个相邻点；

确定所述点与所述相邻点之间的水平向量和垂直向量；以及

将所述法向量确定为所述水平向量与所述法向量的交叉积。

50.根据权利要求48所述的方法，其中，确定所述点的置信度的度量包括：

选择所述LIDAR距离图像中的窗口；

为所选择的所述LiDAR距离图像中的窗口中的点选择多个相邻点；

将方差值确定为所述点与所述相邻点之间的距离的总和；以及

基于所述方差确定所述置信度的度量。

51.一种存储指令的非暂态计算机可读存储介质，所述指令用于：

基于由行驶通过地理区域的自主车辆捕获的传感器数据生成所述地理区域的第一三维表示；

基于由行驶通过地理区域的自主车辆捕获的传感器数据生成所述地理区域的第二三维表示；

对于所述三维表示中的多个点中的每一个：

识别与所述点相关联的结构的表面；

基于一个或更多个标准确定所述表面的硬度的度量；以及

基于所确定的所述结构的所述表面的硬度的度量来确定所述点的置信度的度量；

通过基于每个点的置信度的度量对数据点进行加权，基于迭代最近点(ICP)方法来确定用于将所述第一3D表示映射到所述第二3D表示的变换；

通过使用所述变换将所述第一3D表示组合到所述第二3D表示来确定所述区域的高清晰度地图；以及

提供所述高清晰度地图以用于驾驶一个或更多个自主车辆。

52.一种计算机系统，包括：

电子处理器；以及

非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：

基于由行驶通过地理区域的自主车辆捕获的传感器数据生成所述地理区域的第一三维表示；

基于由行驶通过地理区域的自主车辆捕获的传感器数据生成所述地理区域的第二三维表示；

对于所述三维表示中的多个点中的每一个：

识别与所述点相关联的结构的表面；

基于一个或更多个标准来确定所述表面的硬度的度量；以及

基于所确定的所述结构的所述表面的硬度的度量来确定所述点的置信度的度量；

通过基于每个点的置信度的度量对数据点进行加权，基于迭代最近点(ICP)方法来确定用于将所述第一3D表示映射到所述第二3D表示的变换；

通过使用所述变换将所述第一3D表示组合到所述第二3D表示来确定所述区域的高清晰度地图；以及

提供所述高清晰度地图以用于驾驶一个或更多个自主车辆。

53.一种用于确定对准数据中的热点以生成在驾驶自主车辆时使用的高清晰度地图的方法，所述方法包括：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

组合所接收的传感器数据以生成所述地理区域的三维表示，其中，所述三维表示用于生成高清晰度地图；

从所述地理区域的三维表示中识别表面；

基于与所识别的表面相关联的点确定所述三维表示中的所述表面的厚度的度量；

将所识别的表面的至少一部分的未对准可能性的度量确定为与所述厚度的度量成比例的值；

配置用户界面以显示所述地理区域内的所识别的表面的未对准可能性的度量；以及

发送所述用户界面以经由客户端设备进行呈现。

54.根据权利要求53所述的方法，其中，所述用户界面包括识别所述地理区域的表面的未对准区域的热图。

55.根据权利要求53所述的方法，其中，所述地理区域的三维表示是点云。

56.根据权利要求53所述的方法，其中，由车辆捕获的传感器数据包括由安装在所述车辆上的相机捕获的一个或更多个图像或由安装在所述车辆上的LIDAR捕获的扫描数据。

57.根据权利要求53所述的方法，其中，确定所述表面的厚度的度量包括：

确定指向垂直于所识别的表面的方向的法向量；

在所识别的表面上选择点；

沿法线方向和与所述法线方向相反的方向识别与所述三维表示中的所选择的点有关的点簇；以及

将所述簇中的点之间的最大距离确定为所识别的表面的厚度的度量。

58.根据权利要求57所述的方法，其中，所识别的表面表示地面，并且所述法向量指向垂直方向。

59.根据权利要求57所述的方法，其中，所识别的表面表示墙壁，并且所述法向量在水平平面中。

60.根据权利要求59所述的方法，其中，识别所述点簇包括：如果点具有与所识别的表面上的所选择的点不同的垂直坐标，则排除所述点。

61.根据权利要求59所述的方法，其中，识别所述点簇包括：如果从点到所识别的表面上的所选择的点的向量方向与所述法向量不平行，则排除所述点。

62.根据权利要求53所述的方法，还包括：

响应于发送所述用户界面以经由所述客户端设备进行呈现，接收对所述高清晰度地图的修改；以及

提供经修改的高清晰度地图以用于驾驶自主车辆。

63.根据权利要求53所述的方法，还包括：

沿着所述地理区域中的路径识别第一点和第二点；

确定所述两个点之间的第一距离度量，所述第一距离度量表示沿着所述路径行进以从第一路径到达第二路径的距离；

基于所述第一点和所述第二点之间的测地距离确定第二距离度量；以及

将与所述第一点和所述第二点相关联的未对准概率的度量确定为与所述第一距离度量和所述第二距离度量之间的差异成比例的值。

64.一种存储指令的非暂态计算机可读存储介质，所述指令用于：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

组合所接收的传感器数据以生成所述地理区域的三维表示，其中，所述三维表示用于生成高清晰度地图；

从所述地理区域的三维表示中识别表面；

基于与所识别的表面相关联的点确定所述三维表示中的所述表面的厚度的度量；

将所识别的表面的至少一部分的未对准可能性的度量确定为与所述厚度的度量成比例的值；

配置用户界面以显示所述地理区域内的所识别的表面的所述未对准可能性的度量；以及

发送所述用户界面以经由客户端设备进行呈现。

65.一种计算机系统，包括：

电子处理器；以及

非暂态计算机可读存储介质，其存储可由所述电子处理器执行的指令，所述指令用于：

接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据；

组合所接收的传感器数据以生成所述地理区域的三维表示，其中，所述三维表示用于生成高清晰度地图；

从所述地理区域的三维表示中识别表面；

基于与所识别的表面相关联的点确定所述三维表示中的所述表面的厚度的度量；

将所识别的表面的至少一部分的未对准可能性的度量确定为与所述厚度的度量成比例的值；

配置用户界面以显示所述地理区域内的所识别的表面的未对准可能性的度量；以及

发送所述用户界面以经由客户端设备以进行呈现。

Images