CN111102986A - 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位 - Google Patents

Abstract

除了其他方面，描述了用于运载工具导航的环境中的尺寸缩小的地图的生成与定位的技术。这些技术包括，使用位于环境内的时空位置处的运载工具的一个或多个传感器，生成表示该环境的M维传感器数据，其中M大于2。生成表示运载工具的操作状态的测程数据。测程数据与时空位置相关联。从M维传感器数据生成环境的N维地图，其中N小于M。N维地图的生成包括从M维传感器数据提取时空位置的M维环境特征。M维环境特征与测程数据相关联。生成M维环境特征的N维版本。M维环境特征的N维版本被嵌入在N维地图中。

Description

用于运载工具导航的尺寸缩小的地图的自动生成以及时空 定位

相关申请的交叉引用

本申请要求2018年10月29日提交的美国临时申请62/752,297和2019年2月19日提交的美国临时申请62/807,652的权益，这两个申请均通过引用以其整体并入本文。

技术领域

本说明书总体上涉及用于运载工具的导航规划，并且具体地涉及用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位。

技术背景

自主运载工具(AV)具有通过减少道路交通事故、交通拥堵、停车拥堵和燃油效率来使交通系统转变的潜力。然而，用于自主运载工具的导航的常规方法通常依赖于传统的低分辨率地图，并且不足以精确定位AV。而且，用于导航的常规方法不足以解决数据噪声和不确定性的问题。向另外，在使用常规方法对AV进行导航期间，AV可能无法区分传统低分辨率地图中的两个或多个似合理的时空位置。

发明内容

提供了用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位的技术。该技术包括生成表示运载工具所在的环境的M维传感器数据，其中M大于2。运载工具的一个或多个传感器生成M维传感器数据。运载工具位于环境中的一时空位置处。一个或多个传感器生成表示运载车辆的操作状态的测程数据。测程数据与时空位置相关联。使用运载工具的一个或多个处理器，从M维传感器数据生成环境的N维地图，其中N小于M。N维地图的生成包括从M维传感器数据提取时空位置的M维环境特征。M维环境特征与测程数据相关联。生成M维环境特征的N维版本。M维环境特征的N维版本被嵌入在N维地图中。

在一个实施例中，运载工具的一个或多个传感器用于生成表示运载工具所在的时空位置处的物理特征的视觉数据。视觉数据包括与表示物理特征的多个二维平面对应的多个像素。视觉数据用于确定多个像素中的第一像素与第二像素之间的深度差。第一像素对应于多个二维平面中的第一二维平面，第二像素对应于多个二维平面中的第二二维平面。运载工具的一个或多个处理器用于将深度差嵌入第三二维平面内。第三二维平面表示地图。深度差在该时空位置处嵌入地图中。

在一个实施例中，M维环境特征的N维版本的嵌入包括将与M维环境特征的N维版本对应的计算机可读语义注释嵌入在N维地图内。

在一个实施例中，M维传感器数据包括三维LiDAR点云数据，并且M维环境特征的N维版本的生成包括将三维LiDAR点云数据映射到二维图像。

在一个实施例中，M维传感器数据包括根据时间索引的(M-1)维LiDAR点云数据，而N维地图包括根据时间索引的(N-1)维图像数据。

在一个实施例中，M维传感器数据被映射到多个平面，其中多个平面中的每个平面对应于不同的N维地图。

在一个实施例中，测程数据用于确定运载工具相对于N维地图的位置坐标。

在一个实施例中，测程数据用于确定运载工具相对于N维地图的方向取向。

在一个实施例中，所确定的位置坐标和方向取向被发送到远程服务器或另一运载工具以向其他运载工具提供导航辅助。

在一个实施例中，一个或多个传感器包括运载工具的控制器局域网(CAN)总线，并且测程数据是使用CAN总线生成的。

在一个实施例中，一个或多个传感器包括运载工具的惯性测量单元(IMU)，并且测程数据是使用IMU生成的。

在一个实施例中，测程数据包括速度、转向角、纵向加速度或横向加速度。

在一个实施例中，M维环境特征的提取包括从M维传感器数据生成多个像素，其中多个像素的数量对应于一个或多个传感器的LiDAR束的数量。分析多个像素中的第一像素与第一像素的相邻像素之间的深度差，以提取M维环境特征。

在一个实施例中，M维环境特征的提取包括从M维传感器数据生成多个像素。响应于多个像素中的第一像素与第一像素的相邻像素之间的深度差小于阈值，从多个像素提取M维环境特征。

在一个实施例中，M维环境特征与测程数据的关联包括M维环境特征与时空位置的关联或概率性匹配。

在一个实施例中，位于环境内的第二时空位置处的运载工具的一个或多个传感器被用来生成表示环境的第二M维传感器数据。第二M维传感器数据与第二时空位置相关联，以使第二M维传感器数据不同于M维传感器数据。

在一个实施例中，M维环境特征的N维版本的生成包括对M维环境特征的N维位置坐标的实例进行计数。

在一个实施例中，M维环境特征的N维版本的嵌入包括响应于M维环境特征的N维位置坐标的实例的计数超过阈值，将M维环境特征的N维位置坐标嵌入N维地图中。

在一个实施例中，M维环境特征表示路段、建筑区域、路缘、建筑物、位于路段上的停车位、高速公路出口或入口坡道，或停车场。

在一个实施例中，M维环境特征表示路段上的标记、位于环境内的路标、交通信号或分隔两个车道的中线。

在一个实施例中，M维环境特征表示运载工具、行人或骑自行车的人。

在一个实施例中，M维环境特征表示将车道分成多个车道、将多个车道合并成单个车道、多个车道的交叉口、包括用于运载工具进入或离开环岛的空间位置的环岛，或者道路网的车道的弯曲。

在一个实施例中，自主运载工具包括一个或多个计算机处理器和一个或多个非瞬态存储介质，所述非瞬态存储介质存储指令，当所述指令由所述一个或多个计算机处理器执行时，使得本文公开的权利要求中任一项的方法被执行。

在一个实施例中，一个或多个非瞬态存储介质存储指令，当这些指令由一个或多个计算设备执行时，使得本文公开的权利要求中任一项的方法被执行。

在一个实施例中，一种方法包括执行涉及指令的机器执行的操作，所述指令在由一个或多个计算设备执行时使得本文公开的权利要求中任一项的方法被执行，其中，机器执行的操作是发送所述指令、接收所述指令、存储所述指令或执行所述指令中的至少一者。

在一个实施例中，一种运载工具包括一个或多个传感器，该一个或多个传感器被配置为在该运载工具所在的环境内的时空位置处生成表示该环境的M维传感器数据，其中M大于2。生成表示运载工具的操作状态的测程数据，其中测程数据与时空位置相关联。一个或多个处理器通信地耦合到一个或多个传感器，并且被配置为从M维传感器数据生成环境的N维地图，其中N小于M，并且N维地图的生成包括从M维传感器数据提取时空位置的M维环境特征。M维环境特征与测程数据相关联。生成M维环境特征的N维版本。M维环境特征的N维版本被嵌入在N维地图中。

可以将这些和其他方面、特征和实现表达为方法、装置、系统、组件、程序产品、用于执行功能的装置或步骤、以及以其他方式表达。

根据包括权利要求的以下描述，这些和其他方面、特征和实现方式将变得显而易见。

附图说明

图1示出根据一个或多个实施例的具有自主能力的自主运载工具(AV)的示例。

图2图示出根据一个或多个实施例的示例“云”计算环境。

图3图示出根据一个或多个实施例的计算机系统。

图4示出根据一个或多个实施例的用于AV的示例架构。

图5示出根据一个或多个实施例可由感知模块使用的输入和输出的示例。

图6示出根据一个或多个实施例的LiDAR系统的示例。

图7示出根据一个或多个实施例的操作中的LiDAR系统。

图8更详细地示出根据一个或多个实施例的LiDAR系统的操作。

图9示出根据一个或多个实施例的规划模块的输入与输出之间的关系的框图。

图10示出根据一个或多个实施例的在路径规划中使用的有向图。

图11示出根据一个或多个实施例的控制模块的输入和输出的框图。

图12示出根据一个或多个实施例的控制器的输入、输出和组件的框图。

图13图示出根据一个或多个实施例的用于AV导航的尺寸缩小的地图的自动生成和时空定位的框图。

图14图示出根据一个或多个实施例的用于AV导航的尺寸缩小的地图的自动生成和时空定位的示例环境。

图15图示出根据一个或多个实施例的用于AV导航的示例尺寸缩小的地图。

图16图示出根据一个或多个实施例的用于AV导航的尺寸缩小的地图的自动生成和时空定位的过程。

图17图示出根据一个或多个实施例的用于AV导航的尺寸缩小的地图的自动生成和时空定位的过程。

具体实施方式

在以下描述中，出于解释的目的阐述了众多特定细节以便提供对本发明的透彻理解。然而，将显而易见的是，可以在没有这些特定细节的情况下实践本发明。在其他情况下，以框图形式示出了公知的结构和设备，以避免不必要地使本发明模糊。

在附图中，为了易于描述，示出了示意性要素的特定布置或次序，示意性要素诸如表示设备、模块、指令块和数据要素的那些示意性要素。然而，本领域技术人员应当理解，附图中的示意性要素的特定排序或布置并非旨在暗示要求特定的处理次序或顺序、或过程的分离。此外，在附图中包括示意性要素并不意味着暗示在所有实施例中都要求此类要素，或者在一些实施例中由此类要素表示的特征可以不被包括在其他要素中或与其他要素组合。

此外，在附图中，在使用诸如实线或虚线或箭头的之类连接要素来说明两个或更多个其他示意性要素之间的连接、关系或关联的情况下，不存在任何此类连接要素并不意味着暗示没有连接、关系或关联可以存在。换句话说，要素之间的一些连接、关系或关联未在附图中示出，以免使本公开模糊。另外，为了易于说明，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，在连接要素表示信号、数据或指令的通信的情况下，本领域技术人员应当理解，此类要素如可根据需要来表示一个或多个信号路径(例如，总线)以影响通信。

现在将详细参照实施例，在附图中图示出这些实施例的示例。在以下详细描述中，阐述了众多具体细节以便提供对所描述的各实施例的透彻理解。然而，对本领域的普通技术人员将显而易见的是，可在没有这些特定细节的情况下实施所描述的各实施例。在其他实例中，并未对公知方法、程序、组件、电路以及网络进行详细描述，以免不必要地使实施例的各方面模糊。

以下描述了若干特征，这些特征各自可以彼此独立地使用或者与其他特征的任何组合一起使用。然而，任何单独的特征可能无法解决上面讨论的问题中的任一个，或者可能仅解决上面讨论的问题之一。上面讨论的问题中的一些可能无法通过本文中所描述的特征中的任一特征完全解决。尽管提供了标题，与特定标题有关但未在具有该标题的部分中找到的信息也能在本说明书中的其他地方被找到。本文中根据以下大纲来对实施例进行描述：

1.总体概述

2.系统概述

3.自主运载工具架构

4.自主运载工具输入

5.自主运载工具规划

6.自主运载工具控制

7.用于尺寸缩小的地图的自动生成的架构

8.用于尺寸缩小的地图的自动生成的环境

9.示例尺寸缩小的地图

10.用于尺寸缩小的地图的自动生成的过程

总体概述

自主运载工具(AV)通过获取有关该AV的环境的信息并将其自身定位在该环境中来进行导航。AV通过在解决传感器噪声和不确定性的同时将传感器测量收集并关联到多维地图中来执行地图生成。此外，随着AV在环境中行进，AV通过将传感器测量与AV所在的时空位置相关联来解决其位置和方向取向的估计中的不确定性。AV使用传感器测量来估计AV相对于地图的位置和方向取向。AV解决了相对于地图的传感器噪声和不确定性，以在地图中的两个或多个似合理的时空位置之间进行区分。

在导航期间，AV在环境中遇到动态条件并跨环境的未映射部分进行导航。因此，在导航期间，AV生成环境的地图，并同时确定AV相对于地图的位置和方向取向。当AV在环境中行进时，AV估计其轨迹并生成环境的地图。为了解决传感器测量中的固有噪声，AV生成M维传感器数据(例如，三维LiDAR点云数据)作为传感器测量的一部分。在一个实施例中，AV使用AV的控制器局域网(CAN)总线或惯性测量单元(IMU)来生成测程数据。IMU是一种电子设备，其测量和报告AV的比力、角速率或AV周围的磁场。IMU使用加速度计、陀螺仪或磁力计的组合。IMU用于操纵AV。当GNSS信号不可用(诸如在隧道中)或存在电子干扰时，IMU允许AV上的GNSS接收器工作。测程测量包括速度、加速度或转向角。AV使用测程数据来提供唯一识别的签名，以在环境中的不同时空位置之间进行区分。

在一个实施例中，AV使用M维传感器数据生成基础地图。在一个实施例中，M维基础地图是M维LiDAR点云图。AV解决了基础地图中的不准确性，诸如错误标识的环闭合。AV将测程数据用于闭环来解决基础地图中的误差，即识别两个不同的时空位置何时不正确相关，并移除两个不同的时空位置之间的关系。删除了不正确的环闭合后，基础地图被优化。

AV在尺寸上将基础地图缩小为N维地图，其中N小于M。例如，可以将三维地图缩小为二维地图。除其他益处和优点外，与使用M维传感器数据或基础地图相比，AV或其他运载工具使用N维图在计算上更加高效。此外，减小了用于存储N维地图的数据存储。

在一个实施例中，使用位于环境内的时空位置处的AV的一个或多个传感器，生成表示该环境的M维传感器数据，其中M大于2。使用一个或多个传感器，生成表示AV的操作状态的测程数据。测程数据与时空位置相关联。使用AV的一个或多个处理器，从M维传感器数据生成环境的N维地图，其中N小于M。N维地图的生成包括从M维传感器数据提取时空位置的M维环境特征。M维环境特征与测程数据相关联。生成M维环境特征的N维版本。M维环境特征的N维版本被嵌入在N维地图中。

在一个实施例中，M维环境特征的N维版本的生成包括标识环境中的M维环境特征，如在M维传感器数据或基础地图中标记的。M维传感器数据(例如，三维点云数据)被分析为L像素图像，其中L是AV传感器的LiDAR束的数量。对于L像素图像内的每个像素，确定像素与其相邻像素之间的深度差。如果深度差小于阈值，则识别M维环境特征。对于每个M维环境特征，M维环境特征的位置坐标被用于通过对M维环境特征的N维位置坐标的实例进行计数来将M维环境特征分配给网格。响应于计数超过阈值，将M维环境特征的N维位置坐标嵌入到N维地图中。

系统概述

图1示出了具有自主能力的AV 100的示例。

如本文中所使用，术语“自主能力”指使得运载工具能够在没有实时人类干预的情况下被部分地或完全地操作的功能、特征或设施，包括但不限于完全自主的运载工具、高度自主的运载工具以及有条件的自主运载工具。

如本文中所使用，AV是具有自主能力的运载工具。

如本文中所使用，“运载工具”包括运输货物或人的装置。例如，汽车、公共汽车、火车、飞机、无人机、卡车、船只、船舶、潜水器、飞船等。无人驾驶汽车是运载工具的示例。

如本文中所使用，“道路”是可由运载工具穿行的物理区域，并且可以与经命名的通路(例如，城市街道、州际高速公路等)相对应，或可以与未经命名的通路(例如，住宅或办公建筑中的车道、停车场的一段、空地的一段以及乡村区域的土路等)相对应。

如本文中所使用，“车道”是可由运载工具穿行的道路的部分，并且可对应于车道标记之间的大多数或全部空间，或可对应于车道标记之间的空间中的仅一些(例如，少于50％)。例如，具有分隔较远的车道标记的道路可在标记之间容纳两个或更多个运载工具，使得一个运载工具能够在不穿越车道标记的情况下经过另一运载工具，并且可因此解释为在车道标记之间具有两个车道。车道也可以独立于标记。例如，如果另一运载工具临时停在导航运载工具前并且占据导航运载工具正在行驶的标记车道的一部分，新“车道”可以被定义为标记车道的剩余部分和相邻标记车道的一部分。

如本文中所使用，“轨迹”指的是用于将AV从第一时空位置导航至第二时空位置的路径或路线。在实施例中，第一时空位置被称为初始或起始位置，且第二时空位置被称为目的地、最终位置、目标、目标地点或目标位置。在一些示例中，轨迹由一个或多个段(例如，道路区段)组成，并且每段由一个或多个块(例如，车道或交叉口的部分)组成。在实施例中，时空位置与现实世界位置相对应。例如，时空位置是用于接载或卸放人或货物的接载或卸放位置。

如本文中所使用，“(多个)传感器”包括检测有关传感器周围的环境的信息的一个或多个硬件组件。硬件组件中的一些可包括感测组件(例如，图像传感器、生物特征识别传感器)、发射和/或接收组件(例如，激光或射频波发射器和接收器)、电子组件(诸如，模数转换器)、数据存储设备(诸如，RAM和/或非易失性存储)、软件或固件组件以及数据处理组件(诸如，ASIC(专用集成电路))、微处理器和/或微控制器。

如本文中所使用，“场景描述”是数据结构(例如，列表)或数据流，该数据结构或数据流包括由AV运载工具上的一个或多个传感器检测到的或由在AV外部的源提供的一个或多个经分类或经标识的对象。

如本文中所使用，“道路”是可由运载工具穿行的物理区域，并且可以与经命名的通路(例如，城市街道、州际高速公路等)相对应，或可以与未经命名的通路(例如，住宅或办公建筑中的车道、停车场的一段、空地的一段以及乡村区域的土路等)相对应。由于一些运载工具(例如，四轮皮卡、运动型多功能车等)能够穿行各种并非专门针对运载工具行驶适配的物理区域，因此“道路”可以是并非由任何市政当局或其他政府或行政主体正式定义为通路的物理区域。

如本文中所使用，“车道”是可由运载工具穿行的道路的部分，并且可对应于车道标记之间的大多数或全部空间，或可对应于车道标记之间的空间中的仅一些(例如，少于50％)。例如，具有分隔较远的车道标记的道路可在标记之间容纳两个或更多个运载工具，使得一个运载工具能够在不穿行车道标记的情况下经过另一运载工具，并且可因此解释为具有比车道标记之间的空间更窄的车道，或在车道标记之间具有两个车道。在没有车道标记的情况下，车道也可被解释。例如，可以基于环境的物理特征来限定车道，例如，乡村区域中沿着通路的岩石和树木。

“一个或多个”包括：由一个要素执行的功能；由多于一个的要素例如以分布式方式执行的功能；由一个要素执行的若干功能；由若干要素执行的若干功能；或上述的任何组合。

还将理解的是，虽然在一些实例中，术语第一、第二等在本文中用于描述各种要素，但这些要素不应受这些术语的限制。这些术语仅用于将一个要素与另一个区别开来。例如，第一接触件可被称为第二接触件，并且类似地，第二接触件可被称为第一接触件，而没有背离各个所描述的实施例的范围。第一接触件和第二接触件二者都是接触件，但它们并非相同的接触件。

在对本文中各种所描述的实施例的描述中使用的术语仅出于描述特定实施例的目的，而不旨在是限制性的。如在对所描述的各实施例和所附权利要求的描述中所使用，单数形式“一(a、an)”、和“该(the)”旨在也包括复数形式，除非上下文另外明确指出。还将理解的是，本文所使用的术语“和/或”是指并且包含相关联的所列项目中的任一个以及相关联的所列项目中的一个或更多个的所有可能的组合。将进一步理解的是，术语“包含(includes、including)”和/或“包括(comprises、comprising)”当在本申请文件中使用时，指明所陈述的特征、整数、步骤、操作、要素和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、要素、组件和/或其群组的存在或添加。

如本文中所使用的，取决于上下文，术语“如果(if)”可选地被解释为表示“当…时或“在…后”或“响应于确定”或“响应于检测到”。类似地，取决于上下文，短语“如果被确定”或“如果检测到(所陈述的状况或事件)”被可选地解释为表示“在确定…后”或“响应于确定”或“在检测到(所陈述的状况或事件)后”或“响应于检测到(所陈述的状况或事件)”。

如本文中所使用，AV系统指的是该AV以及支持该AV的操作的硬件、软件、存储的数据以及实时生成的数据的阵列。在实施例中，AV系统被结合到AV中。在实施例中，AV系统跨若干位置分布。例如，AV系统的软件中的一些实现在类似于下文关于图3描述的云计算环境300的云计算环境上。

总体上，本文描述适用于具有一项或多项自主能力的任何运载工具的技术，这些运载工具包括完全自主的运载工具、高度自主的运载工具和有条件自主的运载工具，诸如分别为所谓的5级、4级和3级运载工具(参见SAE国际标准J3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义(Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)，其通过引用整体并入本文，以用于有关运载工具的自主级别的分类的更多详细信息)。本文档中所描述的技术也可适用于部分自主的运载工具和驾驶员辅助的运载工具，诸如所谓的2级和1级运载工具(参见SAE国际标准J3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义)。在实施例中，1级、2级、3级、4级和5级运载工具系统中的一个或多个可以基于传感器输入的处理在某些操作条件下使某些运载工具操作(例如，转向、制动和使用地图)自动化。本文描述的技术能够使从完全自主的运载工具到人工操作的运载工具的范围内的任何级别的运载工具受益。

参考图1，AV系统120自主地或半自主地操作AV 100沿着轨迹198通过环境190至目的地199(有时被称为最终位置)，同时避开对象(例如，自然障碍191、运载工具193、行人192、骑车者以及其他障碍物)并遵守道路规则(例如，操作规则或驾驶偏好)。

在实施例中，AV系统120包括设备101，该设备101被装配成用于接收并作用于来自计算机处理器146的操作命令。在实施例中，计算处理器146与下文参照图3描述的处理器304类似。设备101的示例包括转向控制件102、制动器103、齿轮、加速器踏板或其他加速控制机制、风挡雨刮器、侧门锁、窗户控制件或转向指示器。

在实施例中，AV系统120包括传感器121，用于测量或推断AV100的状态或状况的属性，诸如AV的位置、线速度和角速度和加速度、以及前进方向(例如，AV 100前端的取向)。传感器121的示例为全球导航卫星系统(GNSS)传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计轮滑移率的轮速度传感器、轮制动压力或制动扭矩传感器、发动机扭矩或轮扭矩传感器以及转向角和角速度传感器。

在实施例中，传感器121也包括用于感测或测量AV的环境的属性的传感器。例如，采用可见光、红外或热(或两者)光谱的单目或立体视频相机122、LiDAR 123、雷达、超声传感器、飞行时间(TOF)深度传感器、速度传感器、温度传感器、湿度传感器以及降水传感器。

在实施例中，AV系统120包括数据存储单元142以及存储器144，用于存储与计算机处理器146相关联的机器指令或由传感器121收集的数据。在实施例中，数据存储单元142与下文描述的与图3有关的ROM 308或存储设备310类似。在实施例中，存储器144与下文描述的主存储器306类似。在实施例中，数据存储单元142和存储器144存储与环境190相关的历史信息、实时信息和/或预测信息。在实施例中，所存储的信息包括地图、驾驶性能、交通堵塞更新或天气状况。在实施例中，与环境190相关的数据从位于远程的数据库134通过通信信道被传送到AV 100。

在实施例中，AV系统120包括通信设备140，用于将其他运载工具的状态和状况的所测量或所推断的属性(诸如位置、线速度和角速度、线加速度和角加速度、以及线性前进方向和角航向)传递至AV 100。这些设备包括运载工具到运载工具(V2V)和运载工具到基础设施(V2I)通信设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的设备。在实施例中，通信设备140跨电磁频谱(包括无线电通信和光通信)或其他介质(例如，空气和声学介质)进行通信。运载工具到运载工具(V2V)通信与运载工具到基础设施(V2I)通信(以及在一些实施例中，一个或多个其他类型的通信)的组合有时被称为运载工具到所有(V2X)通信。V2X通信通常遵守一个或多个与自主运载工具通信或在自主运载工具之间进行通信的通信标准。

在实施例中，通信设备140包括通信接口。例如，有线、无线、WiMAX、Wi-Fi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数据从位于远程的数据库134传送到AV系统120。在实施例中，位于远程的数据库134嵌入在如图2中所示的云计算环境200中。通信接口140将从传感器121收集的数据或与AV 100的操作相关的其他数据传送到位于远程的数据库134。在实施例中，通信接口140将与遥操作相关的信息传送到AV 100。在一些实施例中，AV 100与其他远程(例如，“云”)服务器136通信。

在实施例中，位于远程的数据库134也存储并传送数字数据(例如，存储诸如道路和街道位置之类的数据)。此类数据被存储在位于AV 100上的存储器144中，或通过通信信道从位于远程的数据库134被传送到AV 100。

在实施例中，位于远程的数据库134存储并传送有关运载工具的驾驶属性的历史信息(例如，速度和加速度分布)，该运载工具之前曾在一天中类似的时间沿着轨迹198行驶。在一个实现中，此类数据可被存储在位于AV 100上的存储器144中，或通过通信信道从位于远程的数据库134被传送到AV 100。

位于AV 100上的计算设备146基于实时传感器数据和先前信息通过算法方式生成控制动作，从而允许AV系统120执行其自主驾驶能力。

在实施例中，AV系统120包括耦合至计算设备146的计算机外围设备132，用于向AV100的用户(例如，乘客或远程用户)提供信息和警报以及接收来自该用户的输入。在实施例中，外围设备132与下文参照图3所讨论的显示器312、输入设备314以及光标控制器316类似。耦合是无线的或有线的。可以将接口设备中的任何两个或更多个集成到单个设备中。

云计算环境

图2示出了示例“云”计算环境。云计算是服务交付模型，用于实现到可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机以及服务)共享池的方便、按需的网络访问。在典型的云计算系统中，一个或多个大型云数据中心容纳被用于交付由云提供的服务的机器。现在参考图2，云计算环境200包括云数据中心204a、204b以及204c，它们通过云202被互连。数据中心204a、204b以及204c向连接到云202的计算机系统206a、206b、206c、206d、206e以及206f提供云计算服务。

云计算环境200包括一个或多个云数据中心。通常，云数据中心(例如图2中所示的云数据中心204a)指的是组成云(例如，图2中示出的云202)或云的特定部分的服务器的物理布置。例如，服务器在云数据中心物理地布置为房间、组、排以及机架。云数据中心具有一个或多个区域，这一个或多个区域包括一个或多个服务器房间。每一个房间具有一排或多排服务器，并且每一排包括一个或多个机架。每一个机架包括一个或多个个体服务器节点。在一些实现中，基于数据中心设施的物理基础设施要求(其包括功率、能源、热、热量和/或其他要求)将区域、房间、机架和/或排中的服务器被布置成组。在实施例中，服务器节点与图3中所述的计算机系统类似。数据中心204a具有通过许多机架而分布的许多计算系统。

云202包括云数据中心204a、204b和204c以及网络和联网资源(例如，联网装备、节点、路由器、交换机以及联网电缆)，这些网络和联网资源将云数据中心204a、204b以及204c互连，并帮助促进计算系统206a-f对云计算服务的访问。在实施例中，网络表示使用有线或无线链路耦合的一个或多个本地网络、广域网或互联网络的任何组合，有线和无线链路使用地面或卫星连接来部署。通过网络交换的数据使用任何数量的网络层协议进行传送，这些网络层协议诸如网际协议(IP)、多协议标签交换(MPLS)、异步传输模式(ATM)以及帧中继等。进一步地，在其中网络表示多个子网的组合的实施例中，在下方子网中的每一个子网处使用不同的网络层协议。在一些实施例中，网络表示一个或多个经互连的互联网络，诸如公共因特网。

计算系统206a-f或云计算设备消费方通过网络链路和网络适配器被连接至云202。在实施例中，计算系统206a-f被实现为各种计算设备，例如服务器、台式计算机、膝上型计算机、平板、智能手机、物联网(IoT)设备、自主运载工具(包括，汽车、无人机、班车、火车、公共汽车等)以及消费者电子产品。在实施例中，计算系统206a-f在其他系统中实现或实现为其他系统的部分。

计算机系统

图3图示出计算机系统300。在实现中，计算机系统300是专用计算设备。专用计算机设备是硬接线的以执行技术，或包括被持久地编程以执行技术的数字电子设备(诸如，一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或可包括被编程以依照固件、存储器、其他存储或其组合内的程序指令来执行技术的一个或多个通用硬件处理器。此类专用计算设备还可将定制的硬接线逻辑、ASIC或FPGA与定制的编程进行组合，以实现这些技术。在各种实施例中，专用计算设备是台式计算机系统、便携式计算机系统、手持设备、网络设备或包含用于实现这些技术的硬接线和/或程序逻辑的任何其他设备。

在实施例中，计算机系统300包括用于传送信息的总线302或其他通信机制、以及与总线304耦合以用于处理信息的硬件处理器302。硬件处理器304例如是通用微处理器。计算机系统300还包括主存储器306(诸如，随机存取存储器(RAM)或其他动态存储设备)，该主存储器耦合至总线302，用于存储信息以及用于由处理器304执行的指令。在一个实现中，主存储器306被用来在用于处理器304执行的指令的执行期间存储临时变量或其他中间信息。此类指令在被存储在对于处理器304可访问的非瞬态存储介质中时将计算机系统300呈现为被定制成用于执行这些指令中指定的操作的专用机器。

在实施例中，计算机系统300进一步包括耦合至总线302的、用于存储用于处理器304的静态信息和指令的只读存储器(ROM)308或其他静态存储设备。提供存储设备310，并且该存储设备耦合至总线302以用于存储信息和指令，该存储设备诸如，磁盘、光盘、固态驱动器、或三维交叉点存储器。

在实施例中，计算机系统300经由总线302耦合至显示器312以向计算机用户显示信息，该显示器312诸如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、发光二极管(LED)显示器、或有机发光二极管(OLED)显示器。包括字母数字及其他键的输入设备314耦合至总线302，用于将信息和命令选择传送到处理器304。另一类型的用户输入设备是用于将方向信息和命令选择传送到处理器304并用于控制显示器312上的光标移动的光标控制器316，诸如，鼠标、轨迹球、启用触摸的显示器或光标方向键。该输入设备典型地具有两个轴(第一轴(例如，x轴)和第二轴(例如，y轴))上的两个自由度，这允许设备指定平面中的位置。

根据一个实施例，本文中的技术由计算机系统300响应于处理器304执行主存储器306中所包含的一条或多条指令的一个或多个序列而执行。此类指令从另一存储介质(诸如，存储设备310)被读取到主存储器306中。对主存储器306中所包含的指令序列的执行使得处理器304执行本文中所描述的过程步骤。在替代实施例中，使用硬接线电路代替软件指令，或者与软件指令组合地使用硬接线电路。

本文中所使用的术语“存储介质”是指存储使得机器以特定方式进行操作的数据和/或指令的任何非暂态介质。此类存储介质包括非易失性介质和/或易失性介质。非易失性介质包括例如，光盘、磁盘、固态驱动器或三维交叉点存储器，诸如存储设备310。易失性介质包括动态存储器，诸如主存储器306。常见形式的存储介质包括例如，软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪存-EPROM、NV-RAM、或任何其他存储芯片或盒式存储器。

存储介质与传输介质不同，但可以与传输介质一同使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜导线和光纤，包括含总线302的导线。传输介质还可以采取声波或光波的形式，诸如那些在无线电波和红外数据通信期间生成的波。

在实施例中，各种形式的介质涉及将一条或多条指令的一个或多个序列承载至处理器304以供执行。例如，指令最初被承载在远程计算机的磁盘或固态驱动器上。远程计算机将这些指令加载到其动态存储器中，并使用调制解调器通过电话线发送这些指令。计算机系统300本地的调制解调器在电话线上接收数据，并使用红外发射器将该数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将该数据置于总线302上。总线302将数据承载至主存储器306，处理器304从该主存储器306检取指令并执行这些指令。由主存储器306接收的指令可在由处理器304执行之前或之后任选地被存储在存储设备310上。

计算机系统300还包括耦合至总线302的通信接口318。通信接口318提供到网络链路320的双向数据通信耦合，该网络链路320连接至本地网络322。例如，通信接口318是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接口318是用于提供到兼容的局域网(LAN)的数据通信连接的LAN卡。在一些实现中，还实现了无线链路。在任何此类实现中，通信接口318发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路320典型地提供通过一个或多个网络到其他数据设备的数据通信。例如，网络链路320提供通过本地网络322到主机计算机324或到由互联网服务提供商(ISP)326运营的云数据中心或装备的连接。ISP 326进而通过世界范围的分组数据通信网络(现在通常被称为“因特网”328)提供数据通信服务。本地网络322和因特网328两者均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路320上和通过通信接口318的信号是示例形式的传输介质，这些信号承载去往和来自计算机系统300的数字数据。在实施例中，网络320包含上文所述的云202或云202的部分。

计算机系统300通过(多个)网络、网络链路320和通信接口318发送消息并接收包括程序代码的数据。在实施例中，计算机系统300接收代码以用于处理。所接收的代码在其被接收时由处理器304执行，和/或被存储在存储设备310和/或其他非易失性存储中以供稍后执行。

自主运载工具架构

图4示出了用于自主运载工具(例如，图1所示的AV 100)的示例架构400。架构400包括感知模块402(有时被称为感知电路)、规划模块404(有时被称为规划电路)、控制模块406(有时被称为控制电路)、定位模块408(有时被称为定位电路)以及数据库模块410(有时被称为数据库电路)。每一个模块都在AV 100的操作中发挥作用。模块402、404、406、408以及410一起可以是图1所示的AV系统120的部分。在一些实施例中，模块402、404、406、408以及410中的任一个是计算机软件(例如，存储在计算机可读介质上的可执行代码)以及计算机硬件(例如，一个或多个微处理器、微控制器、专用集成电路(ASIC)、硬件存储器设备、其他类型的集成电路、其他类型的计算机硬件或上述这些事物中的任何事物或所有事物的组合)的组合。

在使用中，规划模块404接收表示目的地412的数据，并确定表示轨迹414(有时被称为路线)的数据，AV 100可沿该轨迹行驶以到达(例如，抵达)目的地412。在使用中，规划模块404接收表示目的地412的数据，并确定表示轨迹414(有时被称为路线)的数据，AV 100可沿该轨迹行驶以到达(例如，抵达)目的地412。

感知模块402使用一个或多个传感器121(例如，也如图1中所示)标识附近的物理对象。对象经分类(例如，被编组为诸如行人、自行车、机动车、交通标志等的类型)，并且包括经分类的对象416的场景描述被提供给规划模块404。

规划模块404也接收来自定位模块408的表示AV位置418的数据。定位模块408通过使用来自传感器121的数据以及来自数据库模块410的数据(例如，地理数据)来计算位置从而确定AV位置。例如，定位模块408使用来自GNSS(全球导航卫星系统)传感器的数据并使用地理数据来计算AV的经度和纬度。在实施例中，由定位模块408使用的数据包括：道路几何属性的高精度地图、描述道路网络连接性属性的地图、描述道路物理属性(诸如交通速度、交通量、车辆和自行车行车道的数量、车道宽度、车道交通方向或车道标记类型和位置或其组合)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号)的空间位置的地图。

控制模块406接收表示轨迹414的数据以及表示AV位置418的数据，并以将使得AV100沿轨迹414行驶至目的地412的方式操作AV的控制功能420a-c(例如，转向、油门、制动、点火)。例如，如果轨迹414包括左转向，则控制模块406将以如下方式操作控制功能420a-c，该方式使得转向功能的转向角度将使得AV 100左转且油门和制动将使得AV 100在作出转向前停下并等待通行的行人或运载工具。

自主运载工具输入

图5示出了由感知模块402(图4)所使用的输入502a-d(例如，图1所示的传感器121)以及输出504a-d(例如，传感器数据)的示例。一个输入502a是LiDAR(光检测和测距)系统(例如，图1所示的LiDAR123)。LiDAR是使用光(例如，诸如红外光之类的光的猝发)以获得有关其视线内的物理对象的数据的技术。LiDAR系统产生LiDAR数据作为输出504a。例如，LiDAR数据是被用于构建环境190的表示的3D或2D点的集合(也称为点云)。

另一输入502b是雷达系统。雷达是使用无线电波以获取有关附近物理对象的数据的技术。雷达可获取有关不在LiDAR系统视线内的对象的数据。雷达系统502b生成雷达数据作为输出504b。例如，雷达数据是被用于构建环境190的表示的一个或多个射频电磁信号。

另一输入502c是相机系统。相机系统使用一个或多个相机(例如，使用诸如电耦合器件(CCD)之类的光传感器的数码相机)以获得有关附近物理对象的信息。相机系统产生相机数据作为输出504c。相机数据通常采取图像数据的形式(例如，诸如RAW、JPEG、PNG等图像数据格式的数据)。在一些示例中，相机系统具有例如用于立体观测(立体视觉)的多个独立相机，这使得相机系统能够感知深度。尽管由相机系统感知的对象在本文中被描述为“附近”，但这是相对于AV的。在使用中，相机系统可被配置成用于“看见”远处的对象，例如，位于AV前方多达一公里或更远的对象。相应地，相机系统可具有诸如被优化以感知远处对象的传感器以及透镜之类的特征。

另一输入502d是交通灯检测(TLD)系统。TLD系统使用一个或多个相机以获得有关交通灯、街道标志以及提供视觉导航信息的其他物理对象的信息。TLD系统产生TLD数据作为输出504d。TLD数据通常采取图像数据的形式(例如，诸如RAW、JPEG、PNG等图像数据格式的数据)。TLD系统与结合了相机的系统的不同之处在于，TLD系统使用具有广视场(例如，使用广角透镜或鱼眼透镜)的相机以获得有关提供视觉导航信息的尽可能多的物理对象的信息，从而使得AV 100能够访问由这些对象提供的所有相关的导航信息。例如，TLD系统的视角可以是大约120度或更大。

在一些实施例中，输出504a-d是使用传感器融合技术被组合的。因此，各个输出504a-d被提供给AV 100的其他系统(例如，被提供给如图4所示的规划模块404)，或者经组合的输出能够以相同类型(例如，使用相同的组合技术，或组合相同的输出，或这两者)或不同类型(例如，使用不同的对应组合技术，或组合不同的对应输出，或这两者)的单个经组合的输出或多个经组合的输出的形式被提供至其他系统，。在一些实施例中，使用早期融合技术。早期融合技术通过在一个或多个数据处理步骤被应用到经组合的输出之前将输出组合来表征。在一些实施例中，使用后期融合技术。后期融合技术通过在一个或多个数据处理步骤被应用到各个输出之后将输出组合来表征。

LiDAR系统的示例

图6示出了LiDAR系统602的示例(例如，图5中所示的输入502a)。LiDAR系统602从光发射器606(例如，激光发射器)发出射线604a-c。由LiDAR系统发出的射线通常不在可视频谱内；例如，通常使用红外射线。发出的射线604b中的一些遇到物理对象608(例如，运载工具)并往回反射到LiDAR系统602。(由LiDAR系统发射的光通常不穿透物理对象，例如，以固态存在的物理对象。)LiDAR系统602也具有一个或多个光检测器610，其检测反射的光。在实施例中，与LiDAR系统相关联的一个或多个数据处理系统生成图像612，该图像612表示LiDAR系统的视场614。图像612包括表示物理对象608的边界616的信息。以此方式，图像612被用于确定AV附近的一个或多个物理对象的边界616。

操作中的LiDAR系统

图7示出了操作中的LiDAR系统602。在该图中示出的场景中，AV 100接收图像702形式的相机系统输出504c以及LiDAR数据点704形式的LiDAR系统输出504a。在使用中，AV100的数据处理系统将图像702与数据点704相比较。具体而言，在图像702中被标识的物理对象706也在数据点704中被标识。以此方式，AV 100基于数据点704的轮廓和密度来感知物理对象的边界。

图8更详细地示出了LiDAR系统602的操作。如上文所述，AV100基于由LiDAR系统602检测到的数据点的特性来检测物理对象的边界。如图8中所示，平的对象(诸如，地面802)将以一致的方式反射由LiDAR系统602发射的射线804a-d。换言之，由于LiDAR系统602使用一致的间隔发出射线，因此地面802将会以同样一致的间隔将射线往回反射至LiDAR系统602。随着AV 100在地面802上行驶，如果没有对象阻碍道路，则LiDAR系统602将继续检测由下一有效地面点806反射的光。然而，如果对象808阻碍了道路，则由LiDAR系统602发射的光804e-f将以与所预期的一致方式不一致的方式从点810a-b被反射。从该信息中，AV 100可判定存在对象808。

路径规划

图9示出了规划模块404(例如，如图4中所示)的输入与输出之间的关系的框图900。通常，规划模块404的输出是从起点904(例如，源位置或初始位置)到终点906(例如，目的地或最终位置)的路线902。路线902通常由一个或多个分段定义。例如，分段是指在街道、道路、公路、车道或其他适合机动车行驶的物理区域的至少一部分上行驶的距离。在一些示例中，例如，如果AV 100是具有越野能力的运载工具(诸如，四轮驱动(4WD)或全轮驱动(AWD)汽车、SUV、皮卡等)，则路线902包括诸如未铺砌道路或开放空地之类的”越野”区段。

除路线902之外，规划模块也输出车道级路线规划数据908。车道级路线规划数据908被用于基于分段在特定时间的状况来遍历路线902的分段。例如，如果路线902包括多车道公路，则车道级路线规划数据908包括轨迹规划数据910，AV 100可使用该轨迹规划数据，例如基于是否正接近出口、车道中的一个或多个车道是否有其他运载工具、或在几分钟或更短时间内变化的其他因素在多个车道中选择车道。类似地，在一些实现中，车道级路线规划数据908包括特定于路线902的区段的速度约束912。例如，如果区段包括行人或预期外的交通，则速度约束912可将AV 100限制到低于预期速度(例如，基于用于该区段的速度限制数据的速度)的行驶速度。

在实施例中，向规划模块404的输入包括数据库数据914(例如，来自如图4所示的数据库模块410)、当前位置数据916(例如，如图4所示的AV位置418)、目的地数据918(例如，用于如图4所示的目的地412)以及对象数据920(例如，由如图4所示的感知模块402感知的被分类的对象416)。在一些实施例中，数据库数据914包括规划中使用的规则。规则使用正式语言来指定，例如，使用布尔逻辑来指定。在由AV 100遇到的任何给定情况中，规则中的至少一些将应用于该情况。如果规则具有基于可用于AV 100的信息(例如，有关周围环境的信息)而被满足的条件，则该规则应用于给定情况。规则可具有优先级。例如，规则如果道路为高速公路，则“移动至最左侧车道”可具有比“如果一英里以内正接近出口，则移动至最右侧车道”更低的优先级。

路径规划

图10示出了在(例如，由规划模块404(图4)执行的)路线规划中使用的有向图1000。总体上，如图10中所示的有向图那样的有向图1000被用于确定任何起点1002与终点1004之间的路径。在现实世界术语中，分隔起点1002和终点1004的距离可以相对较大(例如，在两个不同的城市区域中)或可以相对较小(例如，紧邻城市街区的两个交叉口或多车道道路的两个车道)。

在实施例中，有向图1000具有节点1006a-d，其表示能够由AV100占据的起点1002与终点1004之间的不同位置。在一些示例中，例如，当起点1002和终点1004表示不同城市区域时，节点1006a-d表示道路的区段。在一些示例中，例如，当起点1002和终点1004表示相同道路上的不同位置时，节点1006a-d表示该道路上的不同位置。以此方式，有向图1000包括采用不同粒度级别的信息。在实施例中，具有高粒度的有向图也是具有更大比例的另一有向图的子图。例如，在其中起点1002距终点1004较远(例如，相距很多英里)的有向图的大多数信息具有低粒度且该有向图基于所存储的数据，但对于该图的、表示AV 100的视场内的物理位置的部分也包括一些高粒度信息。

节点1006a-d与对象1008a-b不同，对象1008a-b不能与节点重叠。在实施例中，当粒度为低时，对象1008a-b表示不能被机动车穿行的区域，例如，没有街道或道路的区域。当粒度为高时，对象1008a-b表示AV 100的视场内的物理对象，例如，其他机动车、行人、或AV100无法与其共享物理空间的其他实体。在实施例中，对象1008a-b的一些或全部为静态对象(例如，不改变位置的对象，诸如街灯或电线杆)或动态对象(例如，能够改变位置的对象，诸如行人或其他运载工具)。

节点1006a-d由边1010a-c连接。如果两个节点1006a-b由边1010a连接，则AV 100可以在一个节点1006a与另一节点1006b之间行驶，例如，不必在抵达另一节点1006b之前行驶至中间节点。(当我们提到AV 100在节点之间行驶时，我们是指AV 100在由相应节点表示的两个物理位置之间行驶。)在AV 100从第一节点行驶至第二节点或从第二节点行驶至第一节点的意义上，边1010a-c通常是双向的。在实施例中，在AV 100能从第一节点行驶至第二节点但AV 100无法从第二节点行驶至第一节点的意义上，边1010a-c是单向的。当边1010a-c表示例如单行道、街道、道路或公路的各个车道、或由于法律或物理约束仅能在一个方向穿行的其他特征时，边1010a-c是单向的。

在实施例中，规划模块404使用有向图1000来标识由起点1002与终点1004之间的节点和边组成的路径1012。

边1010a-c具有相关联的成本1014a-b。成本1014a-b是表示如果AV 100选择该边则将被花费的资源的值。典型的资源为时间。例如，如果一条边1010a表示另一边1010b两倍的物理距离，则第一边1010a的相关联的成本1014a可以是第二边1010b的相关联的成本1014b的两倍。影响时间的其他因素包括预期交通、交叉路口数量、速度限制等。另一典型的资源为燃料经济性。两条边1010a-b可表示相同的物理距离，但是一条边1010a可能比另一边1010b需要更多的燃料(例如，由于道路状况、预期天气等)。

当规划模块404标识起点1002与终点1004之间的路径1012时，规划模块404通常选择针对成本优化的路径，例如，当各个边的成本加在一起时具有最低总成本的路径。

自主运载工具控制

图11示出了(例如，如图4中所示的)控制模块406的输入和输出的框图1100。控制模块根据控制器1102操作，该控制器1102包括例如与处理器304类似的一个或多个处理器(例如，一个或多个计算机处理器，诸如，微处理器、或微控制器、或这两者)、与主存储器306、ROM 1308以及存储设备210类似的短期和/或长期数据存储(例如，存储器随机存取存储器、或闪存、或这两者)、以及存储在存储器内的指令，当该指令被执行(例如，由一个或多个处理器执行)时执行控制器1102的操作。

在实施例中，控制器1102接收表示期望输出1104的数据。期望输出1104通常包括速度，例如，速率和前进方向。期望输出1104可基于例如从(例如，如图4所示的)规划模块404接收的数据。根据期望输出1104，控制器1102生成可用作油门输入1106以及转向输入1108的数据。油门输入1106表示例如通过接合转向踏板、或接合另一油门控制件以实现期望输出1104来接合AV100的油门(例如，加速控制)所按照的幅度。在一些示例中，油门输入1106也包括可用于接合AV 100的制动(例如，减速控制)的数据。转向输入1108表示转向角，例如，AV的转向控制件(例如，方向盘、转向角致动器或用于控制转向角的其他功能)为实现期望输出1104而应当被定位所处于的角度。

在实施例中，控制器1102接收反馈，该反馈被用于调整被提供给油门和转向的输入。例如，如果AV 100遇到了扰动1110，诸如山丘，则AV100的测量速度1112降低至预期输出速度。在实施例中，任何测量输出1114都被提供至控制器1102，使得例如基于测量速度与期望输出之间的差异1113执行必要的调整。测量输出1114包括测量位置1116、测量速度1118(包括速率和朝向)、测量加速度1120以及可由AV 100的传感器测量的其他输出。

在实施例中，有关干扰1110的信息被事先检测(例如，由诸如相机或LiDAR传感器之类的传感器检测)，并被提供至预测性反馈模块1122。预测性反馈模块1122随后向控制器1102提供信息，控制器1102可使用该信息以相应地调整。例如，如果AV 100的传感器检测到(“看见”)山，则该信息可被控制器1102使用以准备在合适的时间接合油门以避免显著的减速。

控制器的输入、输出和组件的框图

图12示出了控制器1102的输入、输出以及组件的框图1200。控制器1102具有速度分析器1202，该速度分析器1202影响油门/制动控制器1204的操作。例如，取决于例如由控制器1102接收并由速度分析器1202处理的反馈，速度分析器1202使用油门/制动器1206指示油门/制动器控制器1204进行加速或进行减速。

控制器1102还具有横向跟踪控制器1208，该横向跟踪控制器1208影响转向控制器1210的操作。例如，取决于例如由控制器1102接收且由横向跟踪控制器1208处理的反馈，横向跟踪控制器1208指示转向控制器1204调整转向角致动器1212的位置。

控制器1102接收用于确定如何控制油门/制动器1206以及转向角致动器1212的若干输入。规划模块404提供由例如控制器1102使用以便当AV 100开始操作时选择朝向并且当AV 100到达交叉路口时确定要穿行哪个路段的信息。定位模块408向控制器1102提供例如描述AV 100的当前位置的信息，从而使得控制器1102能够判定AV 100是否位于基于油门/制动器1206以及转向角致动器1212正被控制所按照的方式而预期的位置。在实施例中，控制器1102从其他输入1214接收信息(例如，从数据库、计算机网络等接收的信息)。

用于尺寸缩小的地图的生成的架构

图13图示出根据一个或多个实施例的用于环境1304中的尺寸缩小的地图1364的生成和定位的架构1300的框图。架构1300包括环境1304、AV 1308、远程服务器1312和一个或多个运载工具1316。在其他实施例中，架构1300包括与本文中所描述的组件相比附加的或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。环境1304可以是以上参考图1示出和描述的环境190的示例。

环境1304表示地理区域，诸如州、城镇、邻里或道路网或段。环境1304包括AV 1308以及由地图内的环境特征1360表示的一个或多个对象1320和1324。这些对象是AV 1308外部的物理实体。在其他实施例中，环境1304包括比本文所述的组件更多或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

服务器1312存储由AV 1308和运载工具1316访问的数据，并且执行由AV 1308和运载工具1316使用的计算。服务器1312可以是图1中所示的服务器136的示例。服务器1312通信地耦合到AV 1308和运载工具1316。在一个实施例中，服务器1308可以是如以上关于图1和图2中的服务器136更详细地描述的“云”服务器。服务器1308的部分可在软件或硬件中实现。例如，服务器1308或服务器1308的部分可以是以下各项的部分：PC、平板PC、STB、智能电话、物联网(IoT)器具、或能够执行指定将要由该机器执行的动作的指令的任何机器。在一个实施例中，服务器1312接收并存储环境的一个或多个N维地图1364，其由AV 1308生成并且发送到服务器1312。服务器1312还可以向运载工具1316发送N维地图的各部分以辅助运载工具1316在该环境中进行导航。

车辆1316是位于环境1304之内或之外的非自主、部分自主或自主车辆。在图13的实施例中，示出了运载工具1316位于环境1304的外部，但是，运载工具1316可以进入或离开环境1304。存在两种操作模式：映射模式和行驶模式。在映射模式下，AV 1308在环境1304中行进以生成N维地图1364。在行驶模式下，AV 1308或运载工具1316可以从AV 1308或服务器1312接收所生成的N维地图1364的各部分以进行导航辅助。在实施例中，运载工具1316可以生成N维地图的各部分或将N维地图的各部分发送到服务器1312，以及可选地发送到AV1308。

对象1320和1324位于AV 1308外部的环境1304内，如以上参考图4和图5中的对象416所描述的。在一个实施例中，对象1320是环境1304的一个或多个静态特征，诸如路段、建筑区域、路缘、建筑物、位于路段上的停车位、高速公路出口或入口坡道，或停车场。静态特征是环境的更永久的特征，其每天都不变。在行驶模式下，映射了静态特征后，AV 1308就可专注于在动态特征(诸如另一运载工具)周围进行导航。在另一个实施例中，对象1320表示用于车辆导航的路标或交通标志，诸如路段上的标记、位于环境内的路标、交通信号或分隔两个车道的中线(这将有关行驶方向和车道变化来指示驾驶员)。在行驶模式下，AV 1308可以使用来自地图1364的此类映射特征来得到情境并做出导航决策。例如，分隔两个车道的中线将指示AV 1308不要离即将到来的交通旁边的中线太近。

在另一个实施例中，对象1320表示与运载工具操纵相关联的更复杂特征，诸如将车道分成多个车道、将多个车道合并成单个车道、多个车道的交叉口、包括用于运载工具进入或离开环岛的空间位置的环岛，或者道路网的车道的弯曲。在行驶模式下，复杂特征调用AV 1308的导航系统内的导航算法，以指导AV 1308进行复杂的操控，诸如三点调头、车道合并、或进入环岛。在另一个实施例中，对象1324表示更动态的特征，诸如另一运载工具、行人或骑自行车的人。动态特征指示AV 1308执行碰撞预测并在需要时降低驾驶激进性。在映射模式下，对象1320和1324由AV 1308分类(例如，分组为诸如行人、汽车等的类型)，并且表示分类的对象1320和1324的数据被提供到模块(诸如N维地图生成器1328)以用于地图生成。上面参考图6、图7和图8中的物理对象608、物理对象608的边界616、物理对象706、地面802和对象808更详细地描述了对象1320和1324。

AV 1308包括N维地图生成器1328、一个或多个传感器1344和1348以及通信设备1332。AV 1308通信地耦合到服务器1312，并且可选地耦合到一个或多个运载工具1316。AV1308可以是图1中的AV 100的实施例。在其他实施例中，AV 1308包括与本文中所描述的那些组件相比附加的或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

一个或多个视觉传感器1336视觉地感测环境1304的状态(例如，对象1320和1324的存在和结构)，并将表示该状态的m维传感器数据1344发送到n维地图生成器1328，其中m大于2。视觉传感器1336可以是以上参考图1示出和描述的传感器122-123的实施例。视觉传感器1336通信地耦合到n维地图生成器1328以发送M维传感器数据1344，其中N小于M。视觉传感器1336包括：可见光、红外或热(或两者)光谱中的一个或多个单目或立体摄像机；LiDAR；雷达；超声传感器；飞行时间(TOF)深度传感器，并且可以包括温度传感器、湿度传感器或降水传感器。

在一个实施例中，视觉传感器1336生成表示环境1304的M维传感器数据1344，其中AV 1308位于环境1304内的第一时空位置处。第一时空位置包括地理坐标、与位于该地理坐标的AV 1308相关联的时间或位于该地理坐标的AV 1308的前进方向(方向取向或姿势)。在一个实施例中，第一时空位置包括GNSS坐标、商业名称、街道地址或城市或城镇的名称。

在一个实施例中，M维传感器数据1344包括三维LiDAR点云数据，如以上参考图6-8更详细描述的。在一个实施例中，M维传感器数据1344包括根据时间索引的(M-1)维LiDAR点云数据。在该实施例中，多于一组的(M-1)维LiDAR点云数据被叠加。LiDAR数据被叠加在多个帧中以生成M维传感器数据1344。例如，对应于诸如对象1320的特定目标的点云数据被叠加。以这种方式，可以识别交通状况的变化。

在一个实施例中，视觉传感器1336是空间分布的智能相机或LiDAR设备，其能够从各种视角处理环境1304的M维传感器数据1344并将其融合为比个体图像更有用的数据形式。M维传感器数据1344被发送到N维地图生成器1328以用于图像处理、通信和存储功能。在上文参考图6、图7和图8中的输入502a-d、LiDAR系统602、光604a-c、光发射器606、光检测器610、视场614和光804a-d更详细地描述视觉传感器1336。上文参考图6、图7和图8中的输出504a-d、图像612和LiDAR数据点704更详细地描述了M维传感器数据1344。

一个或多个测程传感器1340感测AV 1308相对于环境1304的状态，并将表示AV1308的状态的测程数据1348发送到N维地图生成器1328。测程传感器1340可以是以上参考图1示出和描述的传感器121的实施例。测程传感器1340通信地耦合到N维地图生成器1328以发送测程数据1348。测程传感器1340包括一个或多个GNSS传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计车轮滑移率的车辆速度传感器、车轮制动压力或制动扭矩传感器、发动机扭矩或车轮扭矩传感器或转向角和角速度传感器。

测程传感器1340生成表示AV 1304的操作状态的测程数据1348。测程数据1348与AV 1304所处的时空位置相关联，如上面参考视觉传感器1336所述。在一个实施例中，测程传感器1340包括运载工具的控制器局域网(CAN)总线，并且测程数据1348是使用CAN总线生成的。CAN总线是用于位于AV 1308上的微控制器和设备相互通信的运载工具总线。CAN总线根据基于消息的协议进行操作，该协议被设计用于运载工具内的多路电气布线。在一个实施例中，CAN总线是多主机串行总线，用于连接AV 1308上的电子控制单元(ECU)。

在一个实施例中，测程传感器1340包括AV 1308的IMU，并且使用IMU生成测程数据1348。在一个实施例中，测程传感器1340使用加速计、陀螺仪或磁力计的组合来测量并报告AV 1308的比力、角速率或AV 1308周围的磁场。在另一个实施例中，测程传感器1340生成包括速度、转向角、纵向加速度或横向加速度的测程数据1348。测程传感器1340利用原始IMU测量值来确定姿态、角速率、线速度和相对于全局参考系的位置。在一个实施例中，由IMU报告的测程数据1348用于通过积分来自陀螺仪的角速率以计算角位置来确定姿态、速度和位置。测程数据1348与由测程传感器1340测量的重力矢量融合以估计姿态。

N维地图生成器1328从M维传感器数据1344生成环境1304的N维地图1364。N维地图生成器1328包括特征提取器1352和维数减少模块1356。N维地图生成器1328通信地耦合到视觉传感器1336和测程传感器1340，以接收M维传感器数据1344和测程数据1348。N维地图生成器1328通信地耦合到通信设备1332，以将N维地图1364发送到通信设备1332。

N维地图生成器1328可以是图4所示的规划模块404的实施例或者可以被包含在规划模块404内。N维地图生成器1328可以以软件或硬件来实现。例如，N维地图生成器1328或N维地图生成器1328的一部分可以是以下各者的一部分：PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器。在其他实施例中，N维地图生成器1328包括比本文描述的组件更多或更少的组件。类似地，各功能能以与此处所描述的方式不同的方式在各组件和/或不同的实体之间分布。

特征提取器1352从M维传感器数据1344提取表示AV 1308所位于的时空位置处的环境的M维环境特征1360。特征提取器1352通信地耦合至视觉传感器1336以接收M维传感器数据1344。特征提取器1352可以以软件或硬件来实现。在一个实施例中，特征提取器1352或特征提取器1352的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。

在一个实施例中，特征提取器1352从M维传感器数据1344生成多个像素。生成的像素数N对应于视觉传感器1336的LiDAR束的数量(例如，来自图6中的LiDAR系统602的光发射器606的LiDAR束604a-c的数量)。特征提取器1352分析多个像素中的第一像素与第一像素的相邻像素之间的深度差，以提取M维环境特征1360。在一个实施例中，特征提取器1352根据为像素收集的高度范围渲染多个像素中的每个像素。特征提取器1352确定目标对象(例如1320)的可见高度并且对于视点是不变的。在另一个实施例中，特征提取器1352从M维传感器数据1344生成目标对象1320的数字模型，并使用顺序滤波器将数字模型分割成不同的M维环境特征1360。

在一个实施例中，特征提取器1352响应于多个像素中的第一像素与第一像素的相邻像素之间的深度差小于阈值，从多个像素提取M维环境特征。在一个实施例中，特征提取器1352指定限定了第一像素周围的矩形区域的邻域窗口。落在窗口内的像素被视为第一像素的相邻像素。当从M维传感器数据1344生成多个像素时，特征提取器1352考虑AV 1304的方向取向以及M维环境特征1360的位置不确定性。在一个实施例中，特征提取器1352在提取M维环境特征以对图像中的位置不确定性进行编码时，使用可变大小的高斯核。

在一个实施例中，特征提取器1352将像素从M维传感器数据1344分离成个体片段。特征提取器1352对片段进行过滤以去除不感兴趣的小的非对象特征，例如，道路上的细小裂缝、路牌中的小缺陷等。特征提取器1352在剩余的片段上执行标记功能以将对象标识符从M维传感器数据1344分配给每个像素。与同一对象相关联的每个像素接收相同的标识符。在一个实施例中，K-均值聚类或区域增长方法被用于从像素提取M维环境特征1360。

维数减少模块1356从提取的M维环境特征1360生成环境1304的N维地图1364。维数减少模块1356通信地耦合到特征提取器1352，以接收提取的M维环境特征1360。维数减少模块1356通信地耦合至测程传感器1340以接收测程数据1348。维数减少模块1356通信地耦合至通信设备1332以发送生成的N维图1364。维数减少模块1356可以以软件或硬件来实现。在一个实施例中，维数减少模块1356或维数减少模块1356的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。

在一个实施例中，M维传感器数据1344包括三维LiDAR点云数据，如以上参考图6-8更详细描述的。维数减少模块1356通过将三维LiDAR点云数据映射到二维图像来生成M维环境特征1360的N维版本。在一个实施例中，维数减少模块1356使用用于边缘检测的坎尼(Canny)算子从二维图像中提取表示目标对象1320的形状的边缘像素。使用霍夫变换将提取的边缘像素组装成对象1320的轮廓，以提取与M维环境特征1360的N维版本对应的多边形。

在一个实施例中，维数减少模块1356通过将M维传感器数据1344映射到与N维地图1364对应的平面来生成N维地图1364。在一个实施例中，维数减少模块1356通过使用高斯核在平面上绘制数据，将M维传感器数据1344映射到平面上。核的方差可以反映由于对对象1320的表面进行稀疏采样而导致的范围不确定性和位置不确定性。属于同一对象1320的部分的其他附近点利用也用高斯核绘制的线连接起来。

在一个实施例中，维数减少模块1356使用平面寻找方法将M维传感器数据1344映射到平面。在一个实施例中，维数减少模块1356使用区域生长平面寻找方法来使用M维传感器数据1344的栅格化版本来利用M维传感器数据1344的结构。通过在M维传感器数据1344内的给定点处开始并且向外扩展(例如，沿着扫描线)，维数降低模块1356更新平面参数估计，直到生成平面为止。在另一个实施例中，维数减少模块1356使用基于RANSAC的平面寻找方法来将平面直接拟合到M维传感器数据1344。。

在另一个实施例中，维数减少模块1356将M维传感器数据1344映射到多个平面，其中多个平面中的每个平面对应于不同的N维地图。例如，多个平面被使用来标识并注释三维高度相关特征，例如路缘或建筑物的高度。使用维数减少模块1356的益处和优点在于，高斯核可以使对象1320的表面的外观平滑，从而防止错误特征的检测。

在一个实施例中，M维环境特征1360的N维版本的生成包括对M维环境特征1360的N维位置坐标的实例进行计数。N维位置坐标包括纬度、经度、海拔或相对于外部对象(例如，对象1320或运载工具1316)的坐标。响应于M维环境特征1360的N维位置坐标的实例的计数超过阈值T，维数减少模块1356通过将M维环境特征1360的N维位置坐标嵌入N维地图1364中，从而将M维环境特征1360的N维版本嵌入N维地图1364中。在一个实施例中，维数减少模块1356选择M维环境特征1360的数据点，将N维位置坐标的实例拟合到数据点，并存储M维环境特征1360的N维位置坐标的实例。当M维环境特征1360的N维位置坐标的实例的计数超过阈值T时，维数减少模块1356将M维环境特征1360的N维版本嵌入N维地图1364中。

N维地图生成器1328将M维环境特征1360与从测程传感器1340接收的测程数据1348相关联以生成N维地图。将M维环境特征1360与测程数据1348相关联的益处和优点是，减少了可能由传感器噪声和AV 1308对其方向和位置的估计引起的误差。将M维环境特征1360与测程数据1348相关联使得AV 1308能够解决诸如错误识别的环路闭合之类的不准确性。AV 1308将测程数据1348使用于闭环来解决此类误差，即识别两个不同的时空位置何时不正确相关联，并移除两个不同的时空位置之间的关联性。

在一个实施例中，AV 1308位于环境1304内的第二时空位置处。第二时空位置不同于上述的第一时空位置。类似于第一时空位置，第二时空位置包括地理坐标、与位于地理坐标处的AV 1308相关联的时间或AV 1308的前进方向(方向取向或姿势)。在另一个实施例中，第二时空位置包括GNSS坐标、商业名称、街道地址或城市或城镇的名称。

AV 1308的视觉传感器1336(位于第二时空位置处)生成第二M维传感器数据，该第二M维传感器数据表示第二时空位置处的环境1304。维数减小模块1356将第二M维传感器数据与第二时空位置相关联，以使第二M维传感器数据不同于M维传感器数据1344。这种方法的益处和优点在于，维数减少模块1356生成N维地图，以使得AV 1308能够在N维地图1364中的两个或多个似合理位置之间进行正确区分。因此，M维特征1360的N维版本被嵌入在N维地图1364中的正确时空位置处。

在一个实施例中，N维地图生成器1328通过将M维环境特征与时空位置相关或概率性匹配来将M维环境特征1360与测程数据1348相关联。N维地图生成器1328使用测程数据1348来确定AV 1308相对于N维地图1364的位置坐标和方向取向。位置坐标包括纬度、经度、海拔或相对于外部对象(例如，对象1320或运载工具1316)的坐标。在一个实施例中，N维地图生成器1328使用测程数据1348来通过分析相关联的传感器数据1344相对于初始时空位置估计AV 1308的位置随时间的变化。特征提取器1352从M维传感器数据1344提取图像特征点并跟踪图像序列中的图像特征点以确定AV 1308的位置坐标。AV 1308可以使用单个相机、立体相机或全向相机以获取M维传感器数据1344。特征提取器1352定义感兴趣的特征，并跨图像帧执行特征的概率性匹配，以构建AV 1308的光流场。

在一个实施例中，N维地图生成器1328使用相关性或概率性匹配来建立特征提取器1352生成的两个图像之间的对应关系。如上所述，例如使用Lucas-Kanade方法构造光流场。N维地图生成器1328检查流场矢量是否存在潜在的跟踪误差，并去除任何被识别的异常值。N维地图生成器1328根据构造的光流来估计视觉传感器1336的运动。然后，将估计的运动用于确定AV 1308的时空位置和方向取向。在一个实施例中，N维地图生成器1328经由通信设备1332将所确定的位置坐标和方向取向发送到远程服务器1312或运载工具1316来为运载工具1316提供导航辅助。在如上参考图1描述的网络上实现地图传输。

在一个实施例中，维度减少模块1356通过将与M维环境特征1360的N维版本对应的计算机可读语义注释嵌入在N维地图1364内来嵌入M维环境特征1360的N维版本。维度减少模块1356将语义注释嵌入使得其成为信息源，其易于由AV 1308、服务器1312或运载工具1316解释、组合和重复使用。例如，语义注释可以是在N维地图1364的人类可读部分中不可见的结构化数字旁注。因为语义注释是机器可解释的，所以语义注释使AV 1308能够执行诸如对N维地图1364进行分类、链接、推断、搜索或过滤的操作。

维数减小模块1356从而通过将N维地图1364链接到提取的环境特征来用计算机可读信息使N维地图内容丰富化。在一个实施例中，M维环境特征1360的N维版本被分成一个或多个几何块，其中每个几何块是语义注释。例如，该特征可以表示路段的沿相同方向定向的多个车道，并且每个几何块表示路段的单个车道。在一个实施例中，将几何块叠加到M维传感器数据1344上以生成表示更复杂特征的多边形。例如，多边形可以表示可行驶路面的车道分成多个车道、可行驶路面的多个车道合并成单个车道、多个车道的交叉口或环岛。

地图1364使用诸如停车位或旁路的存在之类的语义特征实现自主行驶。在行驶模式下，运载工具1316将其自身的传感器数据与来自地图1364的语义注释进行组合，以实时观察路况。因此，运载工具1316可以提前了解100m以上的道路状况。详细的地图1364比单独的车载传感器提供更高的准确性和可靠性。地图1364提供了对运载工具1316的时空位置的估计，并且运载工具1316的导航系统知道了预期的目的地。运载工具1316在运载工具1316的视线范围内确定本地导航目标。运载工具1316的传感器使用地图1364确定到道路边缘的位置，生成到本地导航目标的路径。

通信设备1332还与服务器1312、AV 1308内的乘客或其他运载工具交流数据，诸如指令或AV 1308或其他运载工具的状态和条件的测量或推断的属性。通信设备1332可以是图1所示的通信设备140的实施例。通信设备1332跨网络通信地耦合到服务器1312并且可选地耦合到车辆1316。在实施例中，通信设备1332跨因特网、电磁频谱(包括无线电通信和光通信)或其他介质(例如，空气和声学介质)进行通信。通信设备1332的部分可在软件或硬件中实现。例如，通信设备1332或通信设备1320的一部分可以是PC、平板PC、STB、智能电话、IoT器具或能够执行指定由机器采取的动作的指令的任何机器的一部分。上文参考图1中的通信设备140更详细地描述了通信设备1332。

本文公开的实施例的益处和优点在于，与直接扫描点云空间的传统方法相比，从M维传感器数据中提取M维环境特征的计算成本更低。N维地图被编码为比M维表示需要更少的存储位。N维地图减少了存储数据并将数据发送到远程服务器和其他运载工具所需的资源。AV能够有效地确定用于实时导航的定位。导航N维地图1364的复杂度也降低了。使用生成的N维地图对AV进行导航，可以提高乘客和行人的安全性，降低AV的磨损，减少行驶时间，缩短行驶距离等。对于道路网络上的其他车辆，也获得了增加的安全性。

将M维环境特征与测程数据相关联的益处和优点是，减少了可能由传感器噪声和AV 1308对其方向和位置的估计引起的误差。将M维环境特征与测程数据相关联，使得AV能够解决诸如错误识别的环闭合之类的不准确性。AV将测程数据使用于闭环来解决此类误差，即识别两个不同的时空位置何时不正确相关联，并移除两个不同的时空位置之间的关联性。

使用维度减少模块的进一步的益处和优点在于，维数减少模块生成N维地图，以使得AV能够在N维地图中的两个或多个似合理位置之间进行正确区分。因此，M维特征的N维版本被嵌入在N维地图中的正确时空位置处。而且，内置的高斯核可以使目标对象表面的外观变得平滑，从而防止错误特征的检测。

用于尺寸缩小的地图的自动生成的示例环境

图14图示出根据一个或多个实施例的用于尺寸缩小的地图1364的自动生成和时空定位的示例环境1400。环境1400包括AV 1308所位于的时空位置1404。环境1400包括路段1408、路缘1412、建设区域1416、道路标记1420(方向箭头)、表示AV 1308所位于的车道的边界的车道标记1424，以及车道外的停放车辆1428。

AV 1308的视觉传感器1336生成表示在时空位置1404处的环境1400的M维传感器数据1344。例如，在图14中生成的M维传感器数据1344描述路缘1412、施工区域1416、道路标记1420、车道标记1424或停放车辆1428的形状、结构和位置。视觉传感器1336包括：可见光、红外或热(或两者)光谱中的一个或多个单目或立体摄像机；LiDAR 1436；雷达；超声传感器；飞行时间(TOF)深度传感器，并且可以包括温度传感器、湿度传感器或降水传感器。在一个实施例中，M维传感器数据1344包括相机图像、三维LiDAR点云数据或根据时间索引的(M-1)维LiDAR点云数据。

测程传感器1340生成表示AV 1308的操作状态的测程数据1348。AV 1308的测程传感器1340包括一个或多个GNSS传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计车轮滑移率的车辆速度传感器、车轮制动压力或制动扭矩传感器、发动机扭矩或车轮扭矩传感器，或转向角和角速度传感器。测程数据1348与时空位置1404和路段1408相关联。在一个实施例中，N维地图生成器1328使用测程数据1348确定AV 1308的位置1404和方向取向。AV 1308向服务器1312或另一运载工具1316发送确定的位置坐标和方向取向，以向其他的运载工具1316提供导航辅助。

N维地图生成器1328从M维传感器数据1344生成环境1400的N维地图1364，其中N小于M。N维地图1364的维数和所需的数据存储从而减少了。在行驶模式下分析N维地图1364的复杂性也降低了。为了生成N维地图1364，特征提取器1352从M维传感器数据1344提取M维环境特征1360。例如，M维环境特征1360可以表示建筑区域1416或道路标记1420。在一个实施例中，M维环境特征1360的提取包括生成多个像素，其中多个像素的数量对应于LiDAR束1436的数量。AV 1308分析多个像素中的第一像素与第一像素的相邻像素之间的深度差，以提取M维环境特征1360。

N维地图生成器1328将M维环境特征1360与测程数据1348相关联。由此减少了在AV1308的方向取向和位置1404的估计期间由传感器噪声引起的误差。AV 1308将测程数据1348用于闭环来解决此类误差，例如，识别两个不同的时空位置(例如1404和1432)何时被错误地相关，并移除两个不同的时空位置1404和1432之间的关系。

在一个实施例中，N维地图生成器1328通过将三维LiDAR点云数据映射到二维图像来生成M维环境特征1360的N维版本。N维地图生成器1328使用用于边缘检测的边缘算子从二维图像提取表示目标对象1416的形状的边缘像素。使用变换将提取的边缘像素组装成对象1416的轮廓，以提取与M维环境特征1360的N维版本对应的多边形。

N维地图生成器1328将与M维环境特征1360的N维版本相对应的计算机可读语义注释嵌入N维地图1364中。在一个实施例中，M维环境特征1360的N维版本由几何形状表示。例如，该形状可以代表建筑区域1416。在一个实施例中，将几何块叠加到M维传感器数据1436上以生成表示更复杂特征的多边形。例如，多边形可以表示车道标记1424。

在一个实施例中，当AV 1308位于环境1400内的第二时空位置1432时，视觉传感器1336生成表示环境1400的第二M维传感器数据。AV 1308将第二M维传感器数据与第二时空位置1432相关联，以使第二M维传感器数据不同于M维传感器数据1344。AV 1308从而为环境1400中的所有节点(时空位置)生成唯一标识的签名。N维地图生成器1328接收LiDAR点云数据，并根据LiDAR点云数据生成基础地图。该地图可能具有错误标识的环闭合形式的不准确性和误差。通过将测程测量数据1348用于闭环来将第二M维传感器数据与第二时空位置1432关联以解决这些误差，例如，识别两个节点(例如1404和1432)何时不正确地相关并移除这两个节点的关系。

用于AV导航的示例尺寸缩小的地图

图15图示出根据一个或多个实施例的用于AV 1308导航的示例尺寸缩小的地图1500。地图1500对应于以上参考图14示出和描述的环境1400。在映射模式下，维数减少模块1356嵌入图14中的车道标记特征1424的N维版本，作为N维地图1500内的计算机可读语义注释1504。语义注释1504是易于由图13中的AV 1308、服务器1312或运载工具1316解释、组合和重复使用的信息源。在一个实施例中，语义注释1504是机器可解释的彩色结构化数字旁注。注释1504的颜色或纹理使AV 1308能够执行诸如对N维地图1500进行分类、链接、推断、搜索或过滤的操作。在行驶模型中，特征的颜色可以向AV 1308指示该特征是车道标记1424的一部分，并且停留在车道内的规则能够对AV 1308进行导航。

维数减少模块1356从而通过将N维地图1500链接到提取的环境特征来用计算机可读信息使N维地图内容丰富化。在一个实施例中，M维环境特征1360的N维版本被分成一个或多个几何块，其中每个几何块是语义注释，例如几何块1508。几何块1508表示与图14中的路段1408相关联的可行驶区域。路段1408的沿相同方向定向的车道可以具有与几何块1508相同的注释和颜色。车道的方向由语义注释1532表示，其是图14中的道路标记1420的表示。

在一个实施例中，将几何块叠加到M维传感器数据1344上以生成表示更复杂特征的多边形，诸如几何形状1512。该几何形状1512表示停放的车辆1428。在行驶模式下，与几何形状1512相关联的颜色或其他信息向AV 1308指示停放的运载工具1428的位置是停车位。每次AV 1308在映射模式下对路段1408进行后续访问时，AV 1308都会搜索景观的变化并更新N维地图1500。例如，AV 1308在映射模式下多次穿越环境1400。这由AV 1308的导航系统或服务器1312解释为意味着停放的运载工具1428的位置可能被其他运载工具占用，或在其他时间未被占用。

N维地图生成器1328嵌入语义元数据、标记和自定义注释，例如1516。在行驶模式下，AV 1308可以使用注释1516确定不同时空位置之间的关系。例如，AV 1308确定注释1516表示图2中的路缘1412。因此，AV 1308应在由几何块1508指示的可行驶区域中行驶，而不应在路缘另一侧的时空位置1520中行驶。

在一个实施例中，地图1500中的每个位置或地点由纬度和经度坐标表示。在行驶模式下，AV 1308可以使用基于搜索的方法来确定两个位置之间的距离或路径，诸如图14中的1404和1432。通过使用语义注释来注释每个时空位置，将交通或行驶信息添加到地图1500并从地图1500中获取。例如，语义注释1524的颜色指示AV 1308应该放慢速度或以其他方式谨慎行事，例如增加与由几何形状1528表示的建设区域1416的横向距离。

在一些实施例中，AV 1308从视觉传感器1336收集3D数据(例如，LIDAR点数据)，并生成可用于2D地图表示的数据。例如，AV 1308的视觉传感器1336可以用于生成视觉数据1344，该视觉数据1344使用垂直高度来表示AV 1308所位于的时空位置1404处的物理特征。视觉数据1344包括与表示物理特征的多个二维平面对应的多个像素。由此，AV 1308在考虑了传感器的噪声和不确定性的同时将传感器测量收集并匹配到通用的地图表示中。使用视觉数据1344，AV 1308确定多个像素中的第一像素与第二像素之间的深度差。第一像素对应于多个二维平面中的第一二维平面，第二像素对应于多个二维平面中的第二二维平面。由此，AV 1308将点云地图分析为N像素图像，其中N是LIDAR束的数量。向对于图像中的每个像素，AV 1308都会分析像素的相邻像素的深度差，以确定垂直特征。使用一个或多个处理器146，AV 1308将深度差嵌入到第三二维平面内。第三二维平面表示地图1500。深度差在该时空位置1404处嵌入地图1500中。AV 1308从而将地图表示从3D点云地图转换为2D地图以减少数据存储量。在2D地图中标记了标识环境1304中的垂直特征。对于每个垂直特征，特征的3D尺寸将转换为2D尺寸。

在一些实施例中，测程传感器1340用于生成与时空位置1404对应的测程数据1348。AV 1308从而使用传感器测量1348来比在3D地图表示中执行的方式更有效地估计AV1308相对于2D地图表示1500的位置。使用一个或多个处理器146，AV 1308将深度差与测程数据1348相关联。

在一些实施例中，响应于第一像素和第二像素之间的深度差小于阈值来执行深度差的确定。在一些实施例中，深度差与测程数据1348的关联包括将深度差与时空位置1404关联。在一些实施例中，深度差与测程数据1348的关联包括将深度差与时空位置104概率性匹配。例如，当物理特征的位置被标记在地图上并且与AV 1308在位置1404处的位置相关时，AV 1308或另一实体可以将概率性匹配用于验证目的。

在一些实施例中，视觉数据1344包括三维LiDAR点云数据。AV 1308通过将深度差嵌入第三二维平面内来将三维LIDAR点云数据转换为第三二维平面上的二维图像。例如，当像素和相邻像素之间的深度差小于设定值时，AV 1308将深度差标记为垂直特征。在一些实施例中，视觉数据1344包括根据时间索引的M维LiDAR点云数据。因此，地图1500包括根据时间索引的N维图像数据，并且N小于M。

在一些实施例中，深度差的嵌入包括在地图1500内插入与深度差相对应的计算机可读语义注释1504。AV 1308从而更新实时地图表示(例如，如显示给远程操作者)并且可能会将数据发送到其他AV系统。

在一些实施例中，AV 1308使用测程数据1348来确定AV 1308相对于地图1500的时空位置1404。在一些实施例中，AV 1308使用测程数据1348来确定AV 1308相对于地图1500的方向取向。在一些实施例中，AV 1308的控制器局域网(CAN)总线用于将视觉数据1344从AV 1308的视觉传感器1336发送到一个或多个处理器146。在一些实施例中，AV 1308的CAN总线用于将测程数据1348从AV 1308的惯性测量单元(IMU)发送到一个或多个处理器146。在一个实施例中，测程数据1348包括速度、转向角、纵向加速度或横向加速度。

在一些实施例中，深度差的确定包括对视觉数据1344的二维位置坐标的实例进行计数。在一些实施例中，深度差的嵌入包括响应于二维位置坐标的实例的计数超过阈值，将深度差插入到地图1500中的二维位置坐标处。

在一些实施例中，深度差表示路段、路缘、建筑物或停车位的一部分。在一些实施例中，深度差表示路段上的标记、道路标志、交通信号或车道分隔线的一部分。在一些实施例中，深度差表示运载工具、行人或骑自行车的人的一部分。

用于尺寸缩小的地图的自动生成的过程

图16图示出根据一个或多个实施例的用于AV 1308导航的环境1304中的尺寸缩小的地图1364的自动生成和时空定位的过程1600。在一个实施例中，图16的过程可以由AV1308的一个或多个组件(诸如，N维地图生成器1328)执行。在其他实施例中，诸如远程服务器1312之类的其他实体执行过程1600的一些或全部步骤。同样，实施例可以包括不同和/或附加步骤，或者以不同顺序执行步骤。

AV 1308生成1604表示环境1304的M维传感器数据1344，其中M大于2。在一个实施例中，此处用作示例，M维传感器数据1344是三维LiDAR点云数据。在该实施例中，AV 1308使用视觉传感器1336(例如以上参考图1描述的LiDAR 123)以生成三维LiDAR点云数据。AV1308位于环境1304内的一时空位置处。视觉传感器1336还可以包括：可见光、红外或热(或两者)光谱中的一个或多个单目或立体摄像机；雷达；超声传感器；飞行时间(TOF)深度传感器，并且可以包括温度传感器、湿度传感器或降水传感器。

AV 1308使用测程传感器1340生成1608表示AV 1304的操作状态的测程数据1348。测程数据1348与时空位置相关联。测程传感器1340感测AV 1308相对于环境1304的状态，并将表示AV 1308的状态的测程数据1348发送到N维地图生成器1328。在先前段落中描述的示例实施例中，N维地图生成器1328是二维地图生成器。测程传感器1340包括一个或多个GNSS传感器、测量运载工具线性加速度和角速度的IMU、用于测量或估计车轮滑移率的车辆速度传感器、车轮制动压力或制动扭矩传感器、发动机扭矩或车轮扭矩传感器或转向角和角速度传感器。

AV 1308从M维传感器数据1344提取1612时空位置的M维环境特征1360。在前面段落中描述的示例实施例中，M维环境特征1360是三维LiDAR点云数据中提取的三维环境特征。在该示例实施例中，AV 1308从三维LiDAR点云数据生成多个像素。所生成的像素的数量与LiDAR 123的LiDAR束的数量相对应。AV 1308分析多个像素中的第一像素与第一像素的相邻像素之间的深度差，以提取三维环境特征。

AV 1308将M维环境特征1360与测程数据1348相关联。在前面段落中描述的示例实施例中，三维环境特征与测距数据1348相关联。由此减少了由传感器噪声和AV 1308对其方向取向和位置的估计引起的误差。将三维环境特征与测程数据1348相关联，使得AV 1308能够解决诸如错误识别的环闭合之类的不准确性。AV 1308将测程数据1348使用于闭环来解决此类误差，即识别两个不同的时空位置何时不正确相关，并移除两个不同的时空位置之间的关系。

AV 1308生成1620M维环境特征1360的N维版本，其中N小于M。在先前段落中描述的示例实施例中，M维环境特征1360的N维版本是三维环境特征的二维版本。AV 1308通过将三维LiDAR点云数据映射到二维图像来生成三维环境特征的二维版本。AV 1308使用用于边缘检测的Canny算子从二维图像提取表示目标对象1320的形状的边缘像素。使用霍夫变换将提取的边缘像素组装成对象1320的轮廓，以提取与三维环境特征的二维版本对应的多边形。

AV 1308在环境1304的N维地图1364内嵌入1624M维环境特征1360的N维版本。在前面段落中描述的示例实施例中，将三维环境特征的二维版本嵌入到环境1304的二维地图中。AV 1308将对应于环境特征的语义注释1504嵌入使得其成为信息源，易于由AV 1308、服务器1312或运载工具1316解释、组合和重复使用。例如，语义注释1504可以是在二维地图的人类可读部分中不可见的结构化数字旁注。因为语义注释1504是机器可解释的，所以语义注释1504使AV 1308能够执行诸如对二维地图进行分类、链接、推断、搜索或过滤的操作。

用于尺寸缩小的地图的自动生成的过程

图17图示出根据一个或多个实施例的用于AV 1308导航的环境1304中的尺寸缩小的地图1364的自动生成的过程1700。在一个实施例中，图17的过程可以由AV 1308的一个或多个组件(诸如，N维地图生成器1328)执行。在其他实施例中，诸如远程服务器1312之类的其他实体执行过程1700的一些或全部步骤。同样，实施例可以包括不同和/或附加步骤，或者以不同顺序执行步骤。

AV 1308使用一个或多个传感器1336来生成表示Av 1308所位于的时空位置1404处的物理特征的视觉数据1344。视觉数据1344包括与表示物理特征的多个二维平面对应的多个像素。在一个实施例中，此处用作示例，视觉数据1344是三维LiDAR点云数据。在该实施例中，AV 1308使用视觉传感器1336(例如以上参考图1描述的LiDAR 123)以生成三维LiDAR点云数据。

AV 1308使用视觉数据1344以确定多个像素中的第一像素与第二像素之间的深度差。第一像素对应于多个二维平面中的第一二维平面。第二像素对应于多个二维平面中的第二二维平面。由此，AV 1308将点云地图分析为N像素图像，其中N是LIDAR束的数量。对于图像中的每个像素，AV 1308都会分析像素的相邻像素的深度差，以确定垂直特征。

AV 1308使用一个或多个处理器146以将深度差嵌入1712到第三二维平面内。第三二维平面表示地图1500。深度差在该时空位置1404处嵌入地图1500中。AV 1308将对应于物理特征的语义注释1504嵌入使得其成为信息源，易于由AV 1308、服务器1312或运载工具1316解释、组合和重复使用。例如，语义注释1504可以是在二维地图的人类可读部分中不可见的结构化数字旁注。因为语义注释1504是机器可解释的，所以语义注释1504使AV 1308能够执行诸如对二维地图1500进行分类、链接、推断、搜索或过滤的操作。

在先前的描述中，已参照许多特定的细节来描述本发明的实施例，这些特定细节可因实现方式而异。因此，说明书和附图应被认为是说明性而非限制性意义的。本发明范围的唯一且排他的指示符，本申请人期望本发明的范围的内容是以发布此类权利要求的特定的形式从本申请发布的权利要求书的字面和等效范围，包括任何后续校正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求中所使用的意义为准。此外，当我们在先前的说明书或所附权利要求中使用术语“进一步包括”时，该短语的下文可以是额外步骤或实体，或先前所述的步骤或实体的子步骤/子实体。

Claims (20)

1.一种方法，包括：

使用位于环境内的时空位置处的运载工具的一个或多个传感器，生成表示所述环境的M维传感器数据，其中M大于2；

使用所述一个或多个传感器，生成表示所述运载工具的操作状态的测程数据，所述测程数据与所述时空位置相关联；以及

使用所述运载工具的一个或多个处理器，基于所述M维传感器数据生成所述环境的N维地图，其中N小于M，所述N维地图的生成包括：

使用所述一个或多个处理器，基于所述M维传感器数据提取M维环境特征；

使用所述一个或多个处理器，将所述M维环境特征与所述测程数据相关联；

使用所述一个或多个处理器，生成所述M维环境特征的N维版本；并且

使用所述一个或多个处理器，将所述M维环境特征的所述N维版本嵌入所述N维地图中。

2.如权利要求1所述的方法，其中所述M维环境特征的N维版本的嵌入包括：使用所述一个或多个处理器，将与所述M维环境特征的N维版本对应的计算机可读语义注释嵌入在所述N维地图中。

3.如权利要求1所述的方法，其中所述M维环境特征的N维版本的生成包括：使用所述一个或多个处理器，将所述三维LiDAR点云数据映射到二维图像，所述M维传感器数据包括三维LiDAR点云数据。

4.如权利要求1所述的方法，其中所述M维传感器数据包括根据时间索引的(M-1)维LiDAR点云数据，所述N维地图包括根据时间索引的(N-1)维图像数据。

5.如权利要求1所述的方法，进一步包括：使用所述一个或多个处理器，将所述M维传感器数据映射到多个平面，所述多个平面中的每个平面对应于不同的N维地图。

6.如权利要求1所述的方法，进一步包括：使用所述一个或多个处理器，基于所述测程数据确定所述运载工具的位置坐标，所述位置坐标与所述N维地图相关。

7.如权利要求6所述的方法，进一步包括：使用所述一个或多个处理器，将所确定的位置坐标发送到远程服务器或另一运载工具中的至少一个以向所述其他运载工具提供导航辅助。

8.如权利要求1所述的方法，进一步包括：使用所述一个或多个处理器，基于所述测程数据确定所述运载工具的方向取向，所述方向取向与所述N维地图相关。

9.如权利要求1所述的方法，其中所述一个或多个传感器包括所述运载工具的控制器局域网(CAN)总线，所述测程数据是使用所述CAN总线生成的。

10.如权利要求1所述的方法，其中所述一个或多个传感器包括所述运载工具的惯性测量单元(IMU)，所述测程数据是使用所述IMU生成的。

11.如权利要求1所述的方法，其中所述测程数据包括速度、转向角、纵向加速度或横向加速度中的至少一个。

12.如权利要求1所述的方法，其中所述M维环境特征的提取包括：

使用所述一个或多个处理器，基于所述M维传感器数据生成多个像素，所述多个像素的数量对应于所述一个或多个传感器的LiDAR束的数量；以及

使用所述一个或多个处理器，分析所述多个像素中的第一像素与所述第一像素的相邻像素之间的深度差，以提取所述M维环境特征。

13.如权利要求1所述的方法，其中所述M维环境特征的提取包括：

使用所述一个或多个处理器，基于所述M维传感器数据生成多个像素；并且

使用所述一个或多个处理器，响应于所述多个像素中的第一像素与所述第一像素的相邻像素之间的深度差小于阈值，从所述多个像素提取所述M维环境特征。

14.如权利要求1所述的方法，其中所述M维环境特征与所述测程数据的关联包括所述M维环境特征与所述时空位置的关联或概率性匹配中的至少一者。

15.如权利要求1所述的方法，进一步包括：

使用所述运载工具的所述一个或多个传感器，生成表示所述环境的第二M维传感器数据，所述运载工具位于所述环境内的第二时空位置处；并且

使用所述一个或多个处理器，将所述第二M维传感器数据与所述第二时空位置相关联，以使所述第二M维传感器数据不同于所述M维传感器数据。

16.如权利要求1所述的方法，其中所述M维环境特征的N维版本的生成包括：使用所述一个或多个处理器，对所述M维环境特征的N维位置坐标的实例进行计数。

17.如权利要求1所述的方法，其中所述M维环境特征的N维版本的嵌入包括：

响应于所述M维环境特征的N维位置坐标的实例的计数超过阈值，使用所述一个或多个处理器，将所述M维环境特征的N维位置坐标嵌入所述N维地图中。

18.如权利要求1所述的方法，其中所述M维环境特征表示路段、建筑区域、路缘、建筑物、位于路段上的停车位、高速公路出口或入口坡道，或停车场中的至少一个。

19.一种自主运载工具，包括：

一个或多个计算机处理器；以及

一个或多个非瞬态存储介质，存储有指令，所述指令在由所述一个或多个计算机处理器执行时，使所述一个或多个计算机处理器：

使用所述运载工具的一个或多个传感器，生成表示环境的M维传感器数据，其中M大于2，所述运载工具位于所述环境内的一时空位置处；

使用所述一个或多个传感器，生成表示所述运载工具的操作状态的测程数据，所述测程数据与所述时空位置相关联；以及

基于所述M维传感器数据生成所述环境的N维地图，其中N小于M，所述N维地图的生成包括：

基于所述M维传感器数据提取M维环境特征；

将所述M维环境特征与所述测程数据相关联；

生成所述M维环境特征的N维版本；并且

将所述M维环境特征的所述N维版本嵌入所述N维地图中。

20.一个或多个非瞬态存储介质，存储有指令，所述指令在由一个或多个计算设备执行时，使所述一个或多个计算设备：

使用所述运载工具的一个或多个传感器，生成表示环境的M维传感器数据，其中M大于2，所述运载工具位于所述环境内的一时空位置处；

使用所述一个或多个传感器，生成表示所述运载工具的操作状态的测程数据，所述测程数据与所述时空位置相关联；以及

基于所述M维传感器数据生成所述环境的N维地图，其中N小于M，所述N维地图的生成包括：

基于所述M维传感器数据提取M维环境特征；

将所述M维环境特征与所述测程数据相关联；

生成所述M维环境特征的N维版本；并且

将所述M维环境特征的所述N维版本嵌入所述N维地图中。

Images