CN116745188A - 基于不确定道路使用者的行为生成自主车辆的纵向计划的方法和系统 - Google Patents

Abstract

一种系统包括自主车辆的计算设备和包括一个或多个编程指令的计算机可读存储介质。该系统识别位于自主车辆前方的一个或多个前方对象，并且对于已识别的一个或多个前方对象中的每个前方对象，确定与前方对象相关联的行动类型，该行动类型用于生成自主车辆的纵向计划。

Description

基于不确定道路使用者的行为生成自主车辆的纵向计划的方 法和系统

交叉引用和优先权要求

本专利文件要求2021年1月7日提交的申请号为17/143,509的美国专利申请的优先权，该申请通过引用并入本文。

背景技术

为了在道路上安全舒适地运行，自主车辆必须减速和/或停车，以防各种对象和/或行为者，包括但不限于其他车辆、道路使用者(如自行车或行人)或静止对象(如道路碎片或建筑塔架)。所有这些行为者和/或对象都需要自主车辆的潜在纵向行动。

由于各种噪声因素，是否对此类行为者或对象采取行动的决定可能无法确定。感知噪声、遮挡的视野以及预测其他道路问题的行为的普遍挑战可能会使自主车辆难以决定是否对各种行为者和/或对象采取行动。例如，自主车辆可能不确定是否应该对表现出不可预测行为的道路使用者采取行动。

如果自主车辆对不存在或不相关的对象或行为者采取某种行动，这种行为可能会给乘客带来不舒服的乘坐体验。然而，如果自主车辆没有对行为者或对象采取行动，则自主车辆可能比在某些情况下所期望的更靠近这种行为者或对象。

本文描述了旨在解决上述问题和/或其他问题的方法和系统。

发明内容

在各种实施例中，一种系统包括自主车辆的计算设备和计算机可读存储介质，该计算机可读存储介质包括一个或多个编程指令，编程指令在被执行时使计算设备执行各种操作。该系统识别位于自主车辆前方的一个或多个前方对象，并且对于已识别的一个或多个前方对象中的每个前方对象，确定与前方对象相关联的行动类型。行动类型指示自主车辆相对于前方对象采取的行动的类型，并且包括直接行动类型和间接行动类型。该系统为与直接行动类型相关联的一个或多个前方对象中的每个前方对象生成与前方对象相关联的一个或多个约束，为与间接行动类型相关联的一个或多个前方对象中的每个前方对象生成与前方对象相关联的一个或多个处理操作，生成包括为与直接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的约束的至少一部分的约束集，生成包括为与间接行动类型相关联的一个或多个前方对象中的每个前方对象而生成的处理操作的至少一部分的处理操作集，并且部分地基于约束集和处理操作集来生成自主车辆的纵向计划。

系统可以使自主车辆基于纵向计划而调整其操作。可选地，该系统可以使自主车辆限制其正加速度或减速。

系统可以通过以下方式来确定与前方对象相关联的行动类型：识别自主车辆的停止权限，并且确定在自主车辆行使停止权限的情况下自主车辆是否会与前方对象交互。停止权限可以包括以下中的一项或多项：最大减速率或加速度的最大变化率。

系统可以通过以下方式确定在自主车辆行使停车权限的情况下自主车辆是否会与前方对象交互：识别与前方对象相关联的安全裕量，在一时间段内传播自主车辆的一个或多个状态直到完全停止，对于每个传播状态，确定在时间段中的某个时刻处于传播状态的自主车辆与在该时刻前方对象的预测位置之间的距离是否小于所述安全裕量，以及响应于确定在该时刻处于传播状态的自主车辆与在该时刻前方对象的预测位置之间的距离小于安全裕量，为前方对象指定直接行动类型。安全裕量可以表示距前方对象的距离。

系统可以通过以下方式确定与前方对象相关联的行动类型：确定与前方对象相关联的确定性等级，确定与前方对象相关联的行动的严重程度，确定与前方对象相关联的对象类型，识别与确定性等级、行动的严重程度和对象类型相关联的减速率和急动(jerk)率，以及确定在自主车辆行使减速率和急动率的情况下是否可以避免与前方对象交互。

系统可以通过以下方式确定在自主车辆行使减速率和急动率的情况下是否可以避免与前方对象交互：识别与前方对象相关联的安全裕量，在一时间段内传播自主车辆的一个或多个状态直至完全停止，并且对于每个传播状态，确定在时间段中的某个时刻处于传播状态的自主车辆与前方对象在该时刻的预测位置之间的距离是否小于安全裕量。安全裕量可以表示距前方对象的距离。

系统可以响应于确定在该时刻处于传播状态的自主车辆与在该时刻前方对象的预测位置之间的距离小于安全裕量，而为前方对象指定直接行动类型。

系统可以响应于确定在该时刻处于传播状态的自主车辆与在该时刻前方对象的预测位置之间的距离不小于安全裕量，而为前方对象指定间接行动类型。

系统可以通过组合为与直接行动类型相关联的一个或多个前方对象中的每个前方对象生成的约束的至少一部分来生成约束集。

系统可以通过组合为与间接行动类型相关联的一个或多个前方对象中的每个前方对象生成的处理操作的至少一部分来生成处理操作集。

系统可以通过向自主车辆的纵向控制器提供来自约束集的最严格约束和来自处理操作集的最严格处理操作来生成自主车辆的纵向计划。

附图说明

图1示出了生成自主车辆的纵向计划的示例方法的流程图。

图2示出了相对于示例前方对象行使停止权限的示例自主车辆的图示。

图3示出了自主车辆相对于前方对象的示例传播状态的图示。

图4示出了自主车辆相对于前方对象的示例传播状态的图示。

图5示出了示例自主车辆的示例加速度随时间变化的曲线图。

图6是示出示例自主车辆系统的框图。

图7示出了示例车辆控制器系统。

图8示出了示例LiDAR系统。

图9是示出可能的电子系统、子系统、控制器和/或AV的其他组件和/或外部电子设备的各种元件的框图。

具体实施方式

本文中使用的单数形式“一”、“一个”和“该”包括复数形式，除非上下文另有明确规定。除非另有定义，否则本文中使用的所有技术和科学术语具有本领域普通技术人员通常理解的含义。本文中使用的术语“包含”是指“包括但不限于”。与本文相关的附加术语的定义包含在具体实施方式的末尾。

本文描述了自主车辆用来决定是否对一个或多个前方对象采取行动的系统和方法，如下所述。为了本公开的目的，采取行动是指调整自主车辆的纵向行动。这可以包括但不限于限制自主车辆的正加速度或由自主车辆减速。

是否对前方对象采取行动的决定可以至少部分基于自主车辆对前方对象行为的确定性等级。这一决定可以被纳入自主车辆的纵向计划中。

图1示出了生成自主车辆的纵向计划的示例方法的流程图。如图1所示，自主车辆的车载计算设备可以识别100一个或多个前方对象。前方对象是指位于自主车辆前方的对象或行为者。在各种实施例中，前方对象可以是可以促使自主车辆采取行动以避免自主车辆与这样的对象或行为者之间的交互的对象或行为者。前方对象的示例可以包括但不限于其他车辆、骑车人、行人、静态对象(例如道路碎片、建筑塔架等)和/或诸如此类。

如下文更详细地讨论的，车载计算设备可以识别100一个或多个前方对象，作为自主车辆周围环境的感知信息的一部分。例如，车载计算设备可以基于由自主车辆的一个或多个传感器提供的传感器数据来确定感知数据，该感知数据包括但不限于与一个或多个前方对象有关的信息。

车载计算设备可以获得与已识别的一个或多个前方对象有关的信息。该信息可以包括与前方对象相关联的类型、前方对象的当前状态、前方对象的未来状态和/或自主车辆应当对前方对象采取行动的确定性等级的指示(在本公开中称为确定性等级)。

在各种实施例中，与前方对象相关联的类型可以是前方对象的行为者或对象的类型的指示。例如，前方对象的类型可以是车辆、行人、静态对象等。

在各种实施例中，系统可以在操作(例如，驾驶)期间接收安装在车辆上的传感器收集(例如，记录、获得、测得等)的原始数据日志。这种原始数据日志的示例可以包括但不限于点云、2D图像、3D图像、音频日志等。数据日志可以包括单个数据点(例如，单个图像、单个点云帧)、数据序列(例如，图像序列、视频、点云帧的突发传送(burst)等)和/或任何其他合适的数据样本。传感器数据的单个“日志”是指传感器在连续时间段“t”内收集的数据。数据日志可以包括帧中的传感器测量数据或随时间的扫描，例如周期性地、间歇性地、响应于感测事件等。数据日志数据可以持续地(例如，连续地)、周期性地、随机地、在触发事件(例如，驾驶事件、数据值或信号超过阈值等)发生时和/或以任何其他合适的时间特性来记录。

在各种实现方式中，每个接收到的数据日志可以包括元数据，例如但不限于，指示数据日志的收集时间的时间戳，与收集数据日志的地点相对应的位置信息和/或地图信息，与收集数据日志的时间和地点处的环境条件(例如，下雨、多云、晴天等)有关的信息，与收集数据日志的时间和地点处的一个或多个事件(例如，通常是高交通量时间、近临界事件、碰撞事件、接管事件等)有关的信息，等等。可选地，系统可以从其他数据存储器(例如，天气数据库、交通数据库、卫星图像数据库等)接收关于数据日志的元数据。

系统可以检测和标记每个接收到的原始数据日志(例如，点云、摄像机图像等)中的一个或多个对象和/或事件。例如，可以使用示例对象检测模型(例如，卷积神经网络(CNN)、掩码R-CNN等)来检测和标记每一个接收到的初始数据日志中的一个或多个对象和/或事件。对象检测模型可以输出包括围绕检测到的对象的边界框和/或对象的标签的图像或点云。

“边界框”是指表示对象位置的矩形框。边界框可以在数据中由对应于框的第一个角(例如右上角)的x轴和y轴坐标[x_max，y_max]以及对应于与第一个角相对的矩形的角(例如左下角)的x轴和y轴线坐标[x_min，y_min]来表示。它可以被计算为包含对象的所有点的最小矩形，可选地加上额外的空间以允许误差幅度。对象的点可以是由一个或多个传感器检测到的点，例如由摄像机捕获的图像的像素，或者由LiDAR传感器捕获的点云的点。

边界框表示未标记数据日志中被认为包含已识别对象的区域。因此，可以向边界框指定指示被认为包含在边界框内的已识别对象的标签。每个检测到的对象可以由其位置(质心或中心点)、边界、标签类别或甚至大小来表示。在一个实施例中，对象检测器可以输出包括围绕检测到的对象的边界框和/或检测到的对象的标签的图像或点云。在各种实施例中，标签可以对应于与对象相关联的类型。

例如，基于生成的边界框的大小和/或形状，可以将其标记为公共汽车，并为其指定“公共汽车”的对象类型。可以理解，在本公开的范围内，可以使用额外和/或替代的考虑因素和/或对象类型。

前方对象的当前状态可以指示前方对象和自主车辆之间的距离、前方对象的当前速度、前方对象的当前加速度等。该信息可以在跟踪和/或运动规划期间获得。例如，与前方对象相对应的点云数据可以用作训练模型(例如，神经网络)的输入，以生成与前方对象的状态相关的估计。

前方对象的未来状态可以指示自主车辆预期前方对象如何随时间行驶。例如，前方对象的状态可以用于使用任何已知或此后已知的轨迹预测方法或模型来预测对象的轨迹。预测系统可以将跟踪系统的输出与道路网络的地图和/或其他观察到的场景情景相融合。车辆的感知或预测系统可以生成的前方对象的轨迹是指前方对象在时间范围内将遵循的预测路径，以及前方对象的预测速度和/或前方对象在沿着时间范围的各个点沿着路径的位置。

在各种实施例中，对前方对象应采取行动的确定性等级的指示可以是可能值的标度的值。例如，标度可以是从0到1的连续标度，其中确定性为0表示应当对前方对象采取行动的最小确定性，1表示应当对前方对象采取行动的最大确定性。应当理解，在本公开的范围内可以使用确定性的替代指示或测量。

前方对象的确定性指示可以从一个或多个检测操作中获得，并且可以表示所观察的对象类型的确定性或不确定性。作为另一示例，可以从一个或多个跟踪或运动规划操作获得前方对象的确定性的指示，并且可以表示对象的大小、速度和/或方向的确定性或不确定性。作为另一个示例，前方对象的确定性的指示可以从一个或多个预测操作获得，并且可以表示对象的未来位置的确定性或不确定性。

返回参考图1，车载计算设备可以为每个已识别的前方对象确定102是否应该对前方对象采取直接或间接的行动。直接行动是指自主车辆主动采取的与前方对象保持一定距离的行动，例如，施加制动、减速等。间接行动是指自主车辆采取的行动，例如，在不直接考虑自主车辆将与前方对象保持的距离的情况下，减缓或限制朝向前方对象的加速度。

在各种实施例中，对前方对象应采取直接或间接行动的确定可以基于所涉及的安全性和/或舒适性。例如，为了确保自主车辆及其乘客的安全，自主车辆可以在必要时对前方对象采取直接行动以避免碰撞，而不管与前方对象相关联的确定性等级。如果自主车辆确定对前方对象采取直接行动对安全性而言不是至关重要的，那么自主车辆可以从舒适的角度确定它是否应该对前方对象采取直接或间接行动。

在考虑对前方对象采取行动的安全性方面时，车载计算设备可以识别与自主车辆相关的停止权限。停止权限是指自主车辆可以安全执行的最大减速率和/或加速度的最大变化率。在各种实施例中，该信息可以由一个或多个数据存储器(自主车辆的车载存储器或自主车辆外部的存储器)存储，并且可以由车载计算设备提取。

车载计算设备可以确定在自主车辆行使停车权限的情况下是否可以在一定的安全裕量下避免与前方对象相交。安全裕量可以由一个或多个数据存储器(自主车辆的车载存储器或自主车辆外部的存储器)存储。安全裕量可以通过车载计算设备来提取。

例如，自主车辆可以使用其停止权限将其状态传播到完全停车。对于每个传播状态，自主车辆可以检查其与在那个时刻前方对象的预测位置的距离。如果自主车辆的传播状态超出了安全裕量(即，如果自主车辆的传播状态和前方对象的预测位置之间的距离小于安全裕量)，则自主车辆可以确定它应该采取直接行动来确保安全。然而，如果没有检测到这种超出行为，那么自主车辆可能不会对前方对象采取直接行动来满足安全考虑。相反，在这种情况下，自主车辆如何对前方对象采取行动可能具有灵活性，如下文更详细讨论的那样。

图2示出了相对于示例前方对象(OV)202行使停止权限的示例自主车辆(AV)200的图示。具体地，图2示出了自主车辆200在时间t0相对于前方对象202的示例状态，以及自主车辆在时间Tl、T2、T3和T4相对于前方对象的预测位置的四个传播状态。图2示出了自主车辆200在每个时间的示例速度(作为行使其停止权限的结果)。图2还示出了前方对象202的示例速度。安全裕量由附图标记204描述。如图2所示，在Tl，自主车辆200的传播状态超出了安全裕量204，并且在T2，自主车辆的传播状态超过了前方对象202的预测位置，表明在自主车辆行使其停止权限的情况下自主车辆与前方对象之间将发生碰撞。因此，自主车辆200可以确定其应当对前方对象202采取直接行动。

在自主车辆出于安全考虑没有对前方对象采取行动的情况下，自主车辆可以出于舒适考虑确定是否对前方对象采取直接或间接行动。一般来说，自主车辆如果不确定是否需要对前方对象采取行动，可能会推迟做出这样的决定，直到它对如何行动更有信心。通常，当自主车辆接近前方对象时，它会更好地了解是否应该采取行动。当自主车辆接近不确定的前方对象时，可能会发生以下三种情况之一。第一，自主车辆确信不需要对前方对象采取任何行动。在这种情况下，可以将前方对象从考虑中移除。

第二，自主车辆可能会越来越确信需要对前方对象采取行动。例如，与假阳性相比，自主车辆可以获得更多的数据(例如，从自主车辆的一个或多个传感器获得的数据)，表明前方对象是真实的行为者或对象。作为另一个例子，自主车辆的预测系统可以获得足够的观测结果，以确信自主车辆将来将与前方对象交互。

第三，自主车辆可以继续不确定是否对前方对象采取行动。

对于第二种和第三种情况，自主车辆可以决定是否采取直接或间接行动。在做出该确定时，自主车辆可以考虑与前方对象相关联的确定性等级。自主车辆可以对确定性等级超过特定值或在特定值范围内的前方对象采取直接行动。例如，自主车辆可以对确定性等级接近值“1”(在0到1的标度上)的前方对象进行直接行动。相反，如果前方对象的确定性等级低于特定值或在特定值范围内，自主车辆可以决定推迟对前方对象的行动。例如，自主车辆可以推迟对确定性等级接近值“0”(在0到1的标度上)的前方对象的行动。在本公开的范围内可以使用附加的和/或替代的确定性等级和/或标度。

在确定是否采取直接或间接行动时，自主车辆可以考虑对前方对象采取行动所需的行动的严重程度。换言之，自主车辆需要多大程度的刹车才能避免与前方对象的交互。如果自主车辆远离移动较慢的前方对象，则对前方对象减速所需的行动的严重程度可能很小。因此，自主车辆可以等待采取直接行动，而不会对乘客的舒适性产生负面影响。

相反，如果自主车辆靠近移动较慢的前方对象，则对前方对象减速的行动的严重程度可能很大。在这种情况下，推迟行动可能需要在未来采取更严峻的行动。

下面的表1说明了行动的确定性等级和严重程度的示例组合以及自主车辆相对于前方对象采取的相应示例行动。

确定性/行动的严重程度	行动的严重程度低	行动的严重程度高
			确定性低	确定延迟行动	可能采取行动
确定性高	可能采取行动	确定采取行动

表1

如表1所示，如果自主车辆确定与前方对象相关联的确定性低，并且对前方对象采取行动所需的行动的严重程度低，则自主车辆可以延迟行动。相反，如果自主车辆确定存在与前方对象相关联的确定性高，并且对前方对象采取行动所需的行动的严重程度高，则自主车辆可以采取行动。应当理解，在本公开的范围内可以使用确定性、行动的严重程度和自主车辆行动的附加的和/或替代的组合。

为了确定自主车辆应该对前方行动采取什么行动，自主车辆可以考虑前方对象的确定性等级和所涉及行动的严重程度。行动的最大严重程度可以定义为确定性等级的函数，并且自主车辆可以评估在给定所确定的行动严重程度的情况下是否可以避免与前方对象的交互。

为了将行动的最大严重程度定义为前方对象的确定性等级的函数，行动的严重程度可以通过减速和急动来参数化。两个参数的大值可以指示更严重的响应。这些值可以指定用于高度确定和高度不确定的前方对象。不同的配置可以用于针对不同前方对象类型的不同的配置。对于给定前方对象，减速和/或急动的值可以基于其确定性等级及其前方对象类型来插值。

表2说明了与示例前方对象类型和确定性等级相关联的示例减速和急动参数值。

表2

如表2所示，对象类型为“行人”并且确定性等级为‘0’(意味着系统不确定前方对象是否为行人)的前方对象相比于与确定性等级为‘1’相关联的行人类型前方对象，需要更严峻的行动(例如，3m/s²的减速和3m/s³的急动)。这种严峻的行动实际上延迟了自主车辆对该前方对象的行动。

自主车辆可以基于确定的参数值来评估是否可以避免与前方对象的交互。该评估可以涉及使用适用的减速和急动参数来将其状态传播到完全停止。对于每个传播状态，自主车辆可以检查其与该时刻前方对象的预测位置的距离。如果自主车辆的传播状态超出了安全裕量(即，如果自主车辆的传播状态和前方对象的预测位置之间的距离小于安全裕量)，则自主车辆可以确定它应该采取直接行动。如果没有发现此类超出行为，那么自主车辆可以采取间接行动。

图3示出了自主车辆300的示例传播状态的图示，该自主车辆相对于对象类型为“汽车”和确定性等级为‘1’的前方对象302以2m/s²的速率以2m/s³的急动率减速。如图3所示，自主车辆300在时间T1的传播状态超出安全裕量304，并且自主车辆在时间T2的传播状态超过前方对象302的预测位置，指示自主车辆和前方对象之间将发生碰撞。因此，自主车辆300可以确定其应当对前方对象302采取直接行动。

图4示出了自主车辆400相对于前方对象402的示例传播状态的图示，自主车辆在时间T2的最终位置不会导致与前方对象的交互。在这种情况下，自主车辆可以对前方对象采取间接行动。

返回参考图1，自主车辆可以向系统考虑的每个前方对象指定104行动类型。行动类型可以对应于自主车辆确定要对相关前方对象采取的行动。例如，如果自主车辆确定对前方对象采取直接行动，则自主车辆可以向前方对象指定104与直接行动相关联的行动类型。相反，如果自主车辆确定对前方对象采取间接行动，则自主车辆可以向前方对象指定104与间接行动相关联的行动类型。

对于与直接行动类型相关联的一个或多个前方对象，自主车辆可以为前方对象生成106一个或多个约束。约束可以与前方对象的位置、地点和/或移动有关。例如，约束可以包括前方对象的位置、速度和/或加速度。自主车辆在生成要使用的纵向计划(例如速度分布)时可以考虑这些约束以安全舒适地跟随前方对象。

在各种实施例中，对于与间接行动类型相关联的一个或多个前方对象，自主车辆可以为前方对象生成108一个或多个处理操作。处理操作可以包括但不限于一个或多个规则、启发、逻辑等。

不同于与直接行动行动类型相关联的前方对象，在自主车辆的纵向计划过程中，不直接考虑与间接行动类型相关联的前方对象。相反，纵向计划以间接和启发的方式受到这样一个前方对象的影响。这允许自主车辆根据自主车辆状态、前方对象状态和前方对象的不确定性等级来行使不同程度的谨慎。这种谨慎程度可以是前方对象和自主车辆状态下确定性的平稳函数。

一种间接影响自主车辆对具有间接行动行动类型的前方对象的速度计划的机制是限制自主车辆的正加速度。例如，图5示出了示例自主车辆的示例加速度随时间变化的曲线图。如图5所示，仅考虑自主车辆的最大加速度500，可以生成基本计划502。然而，如果自主车辆前方有一个或多个不确定的前方对象，进行这种加速可能会让人感到不舒服，而且可能不安全。这样，可以施加期望的最大加速度504以产生更保守的速度分布506。

期望的最大加速度可以是自主车辆状态和前方对象状态的函数。例如，自主车辆可以确定基于自主车辆行驶到前方对象的当前位置所需的时间的期望最大加速度。自主车辆可以根据自主车辆的当前速度和加速度来确定到达当前前方对象位置的时间。如果该时间超过阈值(例如，自主车辆需要一段时间才能到达前方对象)，则自主车辆的车载计算设备可以将其加速度设置为使得自主车辆行为受到最小影响的值，并且将使自主车辆加速到设置值。例如，车载计算设备可以将加速度设置为高值，并且可以使自主车辆通过施加气体来实现该加速度。

如果确定的时间低于阈值(例如，自主车辆将相对较快地到达前方对象)，则自主车辆的车载计算设备可以将其加速度设置为零或相对较低的值，以防止自主车辆自主加速。

在某些实施例中，如果确定的时间低于阈值(例如，可校准的阈值)，则自主车辆的车载计算设备可以将其加速度设置为小负值，以使自主车辆开始减速。

返回参考图1，自主车辆可以通过组合与具有直接行动行动类型的前方对象相关联的约束来生成106约束集。如果考虑多个前方对象采取直接行动，则可能需要考虑多个约束。该信息可以被聚合以便提供给纵向计划器以生成自主车辆的纵向计划。在各种实施例中，自主车辆可以仅向纵向计划器提供该集中最严格的约束。

自主车辆可以通过组合与具有间接行动行动类型的前方对象相关联的处理操作来生成108处理操作集。如果考虑多个前方对象采取间接行动，则可能需要考虑多个处理操作(例如，多个期望的最大加速度)。该信息可以被聚合以便提供给纵向计划器以生成自主车辆的纵向计划。在各种实施例中，自主车辆可以仅向纵向计划器提供该集中最严格的处理操作(例如，该集中的最小期望最大加速度)。

自主车辆可以至少部分地基于约束集和处理操作集生成110自主车辆的纵向计划。在各种实施例中，车载计算设备的纵向计划器可以生成110自主车辆的纵向计划。例如，车载计算设备可以生成110自主车辆的纵向计划，该纵向计划遵循约束集中的约束和处理操作集中的处理操作。可替换地，车载计算设备可以生成110自主车辆的纵向计划，该纵向计划仅遵守约束集中的最严格约束和处理操作集中的最严格处理操作。

车载计算设备可以使112自主车辆通过执行纵向计划来调整其操作。例如，如果纵向计划指示自主车辆响应于其接近某个前方对象而减速，则车载计算设备可能使自主车辆不加速或刹车。作为另一个例子，如果纵向计划指示自主车辆加速，则车载计算设备可以使自主车辆施加气体以实现指示的加速率。

图6是示出示例系统600的框图，该示例系统600包括通过网络610与一个或多个数据存储器602和/或一个或多个服务器603通信的自主车辆601。尽管示出了一个自主车辆，但是多个自主车辆可以通过网络610彼此连接和/或连接到数据存储器602和/或服务器603。网络610可以是任何类型的网络，例如局域网(LAN)、广域网(WAN)(例如因特网)、蜂窝网络、卫星网络或其组合，并且可以是有线或无线的。数据存储器602可以是任何类型的数据存储器，例如但不限于地图数据存储器、交通信息数据存储器、用户信息数据存储器、感兴趣点数据存储器或任何其他类型的内容数据存储器。服务器603可以是任何种类的服务器或服务器集群，例如但不限于Web或云服务器、应用服务器、后端服务器或其组合。

如图6所示，自主车辆601可以包括传感器系统611、车载计算设备612、通信接口614和用户界面615。自主车辆601还可以包括车辆中包括的某些部件(例如，如图7所示)，例如发动机、车轮、方向盘、变速器等，这些部件可以由车载计算设备612使用各种通信信号和/或命令来控制，例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。

传感器系统611可以包括一个或多个传感器，这些传感器连接到和/或包括在自主车辆601内。这种传感器的示例包括但不限于LiDAR系统、无线电探测和测距(RADAR，也下也称为雷达)系统、激光探测和测距(LADAR)系统、声音导航和测距(SONAR，以下也称为声纳)系统、一个或多个摄像机(例如可见光谱摄像机、红外摄像机等)、温度传感器、位置传感器(例如全球定位系统(GPS)等)、定位传感器、燃料传感器、运动传感器(例如惯性测量单元(IMU)等)，湿度传感器、占用传感器等。传感器数据可以包括描述对象在自主车辆601的周围环境内的位置的信息、关于环境本身的信息、关于自主车辆601的运动的信息、关于自主车辆的路线的信息等等。当自主车辆601在表面上行驶时，至少一些传感器可以收集与表面有关的数据。

LiDAR系统可以包括传感器，该传感器被配置为感测或检测自主车辆601所在环境中的对象和/或行为者。通常，LiDAR系统是一种结合了光学遥感技术的设备，该技术可以通过用光照射目标来测量到目标的距离和/或目标(例如地面)的其他特性。例如，LiDAR系统可以包括被配置为发射激光脉冲的激光源和/或激光扫描仪以及被配置为接收激光脉冲的反射的检测器。例如，LiDAR系统可以包括由旋转镜反射的激光测距仪，在被数字化的场景周围以一维、二维或多维扫描激光，以指定的角度间隔收集距离测量值。例如，LiDAR系统可以被配置为发射激光脉冲作为光束。可选地，可以扫描光束以生成二维或三维距离矩阵。在一个示例中，距离矩阵可以用于通过测量脉冲的发射和相应反射信号的检测之间的时间延迟来确定到给定车辆或表面的距离。在一些示例中，可以将多个LiDAR系统连接到第一车辆，以扫描第一车辆的整个360°视界。LiDAR系统可以被配置为向计算设备提供表示已经被激光照射的表面的点数据云。除了距离之外，这些点可以由LiDAR系统根据方位角和仰角来表示，距离可以被转换为相对于附着到车辆的局部坐标系的(X，Y，Z)点数据。此外，LiDAR可以被配置为提供从表面反射的光或激光的强度值，该强度值可以指示表面类型。在示例中，LiDAR系统可以包括诸如光源(例如，激光源)、扫描仪和光学器件、光电探测器和接收器电子器件以及位置和导航系统之类的部件。在一个示例中，LiDAR系统可以被配置为使用紫外线(UV)、可见光或红外光来对对象进行成像，并且可以与包括非金属对象在内的广泛目标一起使用。在一个示例中，窄激光束可以用于以高分辨率映射对象的物理特征。

应该注意的是，用于收集与表面有关的数据的LiDAR系统可以包括在除自主车辆601之外的系统中，例如但不限于(自主或有人驾驶的)其他车辆、机器人、卫星等。

图7示出了车辆701(例如图6的自主车辆601)的示例系统架构。车辆701可以包括发动机或马达702以及用于测量车辆和/或其环境的各种参数的各种传感器。两种类型的车辆常见的操作参数传感器包括，例如：位置传感器736，例如加速度计、陀螺仪和/或惯性测量单元；速度传感器738；以及里程计传感器740。车辆701还可以具有时钟742，系统架构使用该时钟742来确定操作期间的车辆时间。时钟742可以被编码到车载计算设备712中，它可以是单独的设备，或者可以有多个时钟。

车辆701还可以包括各种传感器，这些传感器用于收集有关车辆行驶环境的信息。这些传感器可以包括例如定位传感器760，例如GPS设备；对象检测传感器，例如一个或多个摄像机762；LiDAR传感器系统764；和/或雷达和/或声纳系统766。传感器还可以包括环境传感器768，例如降水传感器和/或环境温度传感器。对象检测传感器可以使车辆701能够在任何方向上检测在车辆701的给定距离或范围内的对象，而环境传感器收集关于车辆行驶区域内的环境条件的数据。该系统架构还将包括用于捕获环境图像的一个或多个摄像机762。

在操作过程中，信息从传感器传递到车载计算设备712。车载计算设备712分析由传感器捕获的数据，并可选地基于分析结果控制车辆的操作。例如，车载计算设备712可以经由制动控制器722来控制制动；经由转向控制器724控制方向；经由节气门控制器726(在燃气动力车辆中)或马达速度控制器728(例如在电动车辆中的电流水平控制器)来控制速度和加速度；控制差速齿轮控制器730(在具有变速器的车辆中)；和/或控制诸如辅助设备控制器754之类的其他控制器。

地理位置信息可以从定位传感器260传送到车载计算设备712，然后车载计算设备可以访问与位置信息相对应的环境地图，以确定环境的已知固定特征，例如街道、建筑物、停车标志和/或停/走信号。从摄像机762捕获的图像和/或从诸如LiDAR系统764之类的传感器捕获的对象检测信息从这些传感器传送到车载计算设备712。车载计算设备712可以处理对象检测信息和/或捕获的图像，以检测车辆701附近的对象。附加地或替代地，车辆701可以将任何数据发送到远程服务器系统603(图6)以进行处理。基于传感器数据和/或捕获的图像进行对象检测的任何已知或以后已知的技术都可以用于本文公开的实施例中。

车载计算设备712可以获得、提取和/或创建地图数据，该地图数据提供关于自主车辆701的周围环境的详细信息。车载计算设备712还可以基于例如三维位置数据(例如，来自GPS的数据)、三维方位数据、预测位置等来确定AV在环境中的位置、方位、姿态等(定位)。例如，车载计算设备712可以接收GPS数据以确定AV的纬度、经度和/或海拔位置。其他位置传感器或系统，例如基于激光的定位系统、惯性辅助GPS或基于摄像机的定位，也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置(例如纬度、经度和海拔)以及相对位置信息(例如相对于其周围的其他汽车的位置)，相对位置信息通常可以用比绝对地理位置更少的噪声来确定。地图数据可以提供关于以下方面的信息：不同道路、路段、车道段、建筑物或其他项目的身份和位置；行车道的位置、边界和方向(例如，特定道路内的停车车道、转弯车道、自行车道或其他车道的位置和方向)以及与行车道相关联的元数据；交通控制数据(例如，标牌、交通灯或其他交通控制设备的位置和指示)；和/或提供帮助车载计算设备712分析自主车辆701的周围环境的信息的任何其他地图数据。

在某些实施例中，地图数据还可以包括参考路径信息，该参考路径信息对应于车辆沿着一条或多条车道行驶使得对象的运动被限制在参考路径上的常见模式(例如，对象通常行驶的行车道内的位置)。这样的参考路径可以被预先定义，例如行车道的中心线。可选地，可以基于一段时间内对车辆或其他对象的历史观测来生成参考路径(例如，用于直线行驶、车道合并、转弯等的参考路径)。

在某些实施例中，车载计算设备712还可以包括和/或可以接收与用户的行程或路线有关的信息、路线上的实时交通信息等。

车载计算设备712可以包括路线控制器731和/或可以与路线控制器731通信，该路线控制器731为自主车辆生成从起始位置到目的地位置的导航路线。路线控制器731可以访问地图数据存储器以识别车辆可以行驶以从起始位置到达目的地位置的可行路线和路段。路线控制器731可以对可行路线进行评分并识别到达目的地的优选路线。例如，路线控制器731可以生成使路线期间行进的欧几里得距离或其他成本函数最小化的导航路线，并且可以进一步访问可能影响在特定路线上行进所花费的时间量的交通信息和/或估计。根据实现方式，路线控制器731可以使用各种路由方法生成一个或多个路线，例如Dijkstra算法、Bellman-Ford算法或其他算法。路线控制器731还可以使用交通信息来生成反映路线的预期条件(例如，一周中的当前日期或一天中的当前时间等)的导航路线，使得为高峰时段期间的行程而生成的路线可以不同于为深夜行程而生成的路线。路线控制器731还可以生成到目的地的多于一条的导航路线，并且将这些导航路线中的多于一个发送给用户以供用户从各种可行路线中进行选择。

在各种实施例中，车载计算设备712可以确定自主车辆701周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和所获得的位置信息，车载计算设备712可以确定自主车辆701的周围环境的感知信息。感知信息可以表示普通驾驶员在车辆周围环境中将感知的情况。感知数据可以包括与自主车辆701的环境中的一个或多个对象有关的信息。例如，车载计算设备712可以处理传感器数据(例如，LiDAR或RADAR数据、摄像机图像等)，以便识别自主车辆701的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。车载计算设备712可以使用任何现在或以后已知的对象识别算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段上逐帧迭代地跟踪对象)来确定感知。

在一些实施例中，车载计算设备712还可以为环境中的一个或多个已识别对象来确定该对象的当前状态。状态信息可以包括但不限于每个对象的以下信息：当前位置；当前速度和/或加速度、当前航向；当前姿态；当前形状、大小或占地面积(footprint)；类型(例如，车辆、行人、自行车、静态对象或障碍物)；和/或其他状态信息。

车载计算设备712可以执行一个或多个预测和/或预报操作。例如，车载计算设备712可以预测一个或多个对象的未来位置、轨迹和/或行动。例如，车载计算设备712可以至少部分地基于感知信息(例如，每个对象的状态数据，包括如下所述确定的估计形状和姿态)、位置信息、传感器数据和/或描述对象、自主车辆701、周围环境的过去和/或当前状态和/或它们的关系的任何其他数据来预测对象的未来位置、轨迹和/或行动。例如，如果对象是车辆并且当前驾驶环境包括十字路口，则车载计算设备712可以预测该对象是否可能直线向前移动或转弯。如果感知数据指示十字路口没有红绿灯，车载计算设备712还可以预测车辆是否必须在进入十字路口之前完全停车。

在各种实施例中，车载计算设备712可以确定自主车辆的运动计划。例如，车载计算设备712可以基于感知数据和/或预测数据来确定自主车辆的运动计划。具体地，给定关于邻近对象的未来位置的预测和其他感知数据，车载计算设备712可以确定自主车辆701的运动计划，该运动计划相对于对象的未来位置最佳地导航自主车辆。

在一个或多个实施例中，车载计算设备712可以接收预测并做出关于如何应对自主车辆701的环境中的对象和/或行为者的决定。例如，对于特定的参与者(例如，具有给定速度、方向、转弯角度等的车辆)，车载计算设备712基于例如交通状况、地图数据、自主车辆的状态等来决定是否超车、让行、停车和/或通过。此外，车载计算设备712还规划自主车辆701在给定路线上行驶的路径，以及驾驶参数(例如，距离、速度和/或转弯角度)。也就是说，对于给定对象，车载计算设备712决定如何应对该对象并确定如何实现。例如，对于给定对象，车载计算机设备712可以决定通过该对象，并可以确定是从对象的左侧还是右侧通过(包括速度等运动参数)。车载计算设备712还可以评估检测到的对象与自主车辆701之间发生碰撞的风险。如果风险超过可接受的阈值，则可以确定在自主车辆遵循定义的车辆轨迹和/或在预先定义的时间段(例如，N毫秒)内执行一个或多个动态生成的紧急机动的情况下是否可以避免碰撞。如果可以避免碰撞，则车载计算设备712可以执行一个或多个控制指令以执行谨慎的机动(例如，稍微减速、加速、变道或转弯)。相反，如果不能避免碰撞，则车载计算设备712可以执行一个或多个控制指令以执行紧急机动(例如，制动和/或改变行驶方向)。

如上所述，生成关于自主车辆运动的规划和控制数据以供执行。车载计算设备712可以例如经由制动控制器来控制制动；经由转向控制器来控制方向；经由节气门控制器(在燃气动力车辆中)或马达速度控制器(例如电动车辆中的电流水平控制器)来控制速度和加速度；控制差速齿轮控制器(在配备变速器的车辆中)；和/或控制其他控制器。

在本文中讨论的各种实施例中，描述可以说明车辆或包括在车辆中的控制器(例如，在车载计算系统中)可以实现使车辆和/或控制器做出决策并使用决策来控制车辆操作的编程指令。然而，实施例不限于这种布置，因为在各种实施例中，分析、决策和/或操作控制可以全部或部分地由与车辆的车载计算设备和/或车辆控制系统进行电子通信的其他计算设备来处理。这种其他计算设备的示例包括与乘坐车辆的人相关联的电子设备(例如智能手机)，以及经由无线通信网络与车辆进行电子通信的远程服务器。任何这样的设备的处理器可以执行将在下面讨论的操作。

返回参考图6，通信接口614可以被配置为允许自主车辆601与外部系统之间的通信，外部系统例如外部设备、传感器、其他车辆、服务器、数据存储器、数据库等。通信接口614可以使用任何现在或以后已知的协议、保护方案、编码、格式、封装等，例如但不限于Wi-Fi、红外链路、蓝牙等。用户界面系统615可以是在车辆901内实现的外围设备的一部分，包括例如关键字、触摸屏显示设备、麦克风和扬声器等。

图8示出了可以在各种实施例中使用的示例LiDAR系统801。如图8所示，LiDAR系统801包括壳体805，该壳体805可以围绕诸如轮毂或轴818的中心轴线旋转360°。壳体可以包括由透光材料制成的发射器/接收器孔811。尽管图8中所示的示例具有单个孔径，但是在各种实施例中，可以提供用于发射和/或接收光的多个孔径。无论哪种方式，当壳体805围绕内部部件旋转时，该系统都可以通过一个或多个孔811发射光，并接收朝向一个或多个孔811的反射光。在替代实施例中，壳体805的外壳可以是固定圆顶，至少部分地由透光材料制成，并且在壳体805内部具有可旋转部件。

在旋转外壳或固定圆顶内是光发射器系统804，该系统被配置和定位为通过孔811或通过一个或多个激光发射器芯片或其他发光器件通过壳体805的透明圆顶产生和发射光脉冲。发射器系统804可以包括任意数量的单独发射器，包括例如8个发射器、64个发射器或128个发射器。发射器可以发射基本上相同强度或不同强度的光。由804发射的各个光束将具有明确定义的偏振状态，该偏振状态在整个阵列上不相同。例如，一些光束可以具有垂直偏振，而其他光束可以具有水平偏振。LiDAR系统还将包括光检测器808，该光检测器包含定位并配置成接收反射回系统中的光的光电检测器或光电检测器阵列。发射器系统804和检测器808将与旋转外壳一起旋转，或者它们将在壳体805的固定圆顶内旋转。一个或多个光学元件结构809可以定位在发光单元804和/或检测器808前方，以用作聚焦和引导穿过光学元件结构809的光的一个或多个透镜或波片

一个或多个光学元件结构809可以位于反射镜802的前面，以聚焦和引导穿过光学元件结构808的光。如下所示，该系统包括光学元件结构809，该光学元件结构位于反射镜803的前面并且连接到该系统的旋转元件，使得光学元件结构808与反射镜802一起旋转。可替换地或附加地，光学元件结构809可以包括多个这样的结构(例如透镜和/或波片)。可选地，多个光学元件结构809可以以阵列的形式布置在外壳部分811上或与外壳部分形成一体。

可选地，每个光学元件结构809可以包括分束器，该分束器将系统接收的光与系统产生的光分离。分束器可以包括例如四分之一波或半波波片，以执行分离并确保接收的光被引导到接收器单元而不是发射器系统(这可以在没有这样的波片的情况下发生，因为发射的光和接收的光应该表现出相同或相似的偏振)。

LiDAR系统将包括为激光发射器单元804供电的电源单元821、马达803和电子部件。LiDAR系统还将包括具有诸如处理器822和包含编程指令的非暂时性计算机可读存储器823之类的元件的分析器815，编程指令被配置成使系统接收由光检测器单元手机的数据，并且分析数据以测量接收到的光的特性，并且生成信息，连接的系统可以使用该信息来做出关于在收集数据的环境中操作的决策。可选地，分析器815可以与所示的LiDAR系统801集成，或者其一些或全部可以在LiDAR系统外部，并且经由有线或无线通信网络或链路通信地连接到LiDAR系统。

图9描绘了可以包括在系统的任何电子组件中的内部硬件的示例，例如AV的内部处理系统、外部监控和报告系统或远程服务器。电气总线900用作互连硬件的其它所示组件的信息高速公路。处理器905是系统的中央处理设备，被配置为执行执行编程指令所需的计算和逻辑操作。本文和权利要求书中所使用的术语“处理器”和“处理设备”可以是指单个处理器或一组处理器中共同执行一组操作的任意数量的处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、远程服务器或它们的组合。只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘驱动器和能够存储电子数据的其他设备构成存储器设备925的示例。存储器设备可以包括存储数据和/或指令的单个设备或设备集合。各种实施例可以包括包含编程指令的计算机可读介质，编程指令被配置为使一个或多个处理器执行在先前附图的情景中描述的功能。

可选显示接口930可以允许来自总线900的信息以视觉、图形或字母数字格式显示在显示设备935上，例如车辆的仪表板内显示系统上。还可以提供音频接口和音频输出(例如扬声器)。与外部设备的通信可以使用各种通信设备940来进行，例如无线天线、射频识别(RFID)标签和/或短程或近场通信收发器，其中的每一个可以可选地经由一个或多个通信系统与设备的其他组件通信连接。通信设备940可以被配置为通信连接到通信网络，例如因特网、局域网或蜂窝电话数据网络。

硬件还可以包括用户接口传感器945，该传感器允许接收来自输入设备950的数据，例如键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、指示设备和/或麦克风。数字图像帧也可以从可以捕获视频和/或静止图像的摄像机920接收。该系统还可以从诸如加速度计、陀螺仪或惯性测量单元的运动和/或位置传感器970接收数据。该系统还可以接收来自LiDAR系统960的数据，例如本文中先前描述的那些。

上述公开的特征和功能以及替代方案可以组合成许多其他不同的系统或应用。各种组件可以用硬件或软件或嵌入式软件来实现。本领域技术人员可以做出各种当前不可预见或不可预期的替代、修改、变化或改进，其中的每一个也旨在被公开的实施例所涵盖。

与上述公开内容相关的术语包括：

“自动化设备”或“机器人设备”是指包括处理器、编程指令和一个或多个物理硬件组件的电子设备，这些物理硬件组件可以响应于处理器的命令在最少人工干预或无需人工干预的情况下移动。通过这样的移动，机器人设备可以执行一个或多个自动功能或功能集。这样的操作、功能或任务的示例可以包括但不限于，操作车轮或螺旋桨以实现驾驶、飞行或其他运输动作、操作机器人升降机用于装载、卸载、医疗相关过程、建筑相关过程和/或诸如此类。示例自动化设备可以包括但不限于自主车辆、无人机和其他自主机器人设备。

术语“车辆”是指能够承载一名或多名乘客和/或货物并由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于轿车、卡车、货车、火车、自主车辆、飞机、无人机等。“自主车辆”是指具有处理器、编程指令和传动系部件的车辆，传动系部件可由处理器控制，无需人工操作。自主车辆可以是完全自主的，对于大多数或所有的驾驶条件和功能，不需要人工操作。或者，自主车辆可以是半自主的，在某些条件下或对于某些操作，可能需要人工操作，或者人工操作可以超驰车辆的自主系统并且可以承担车辆的控制。自主车辆还包括自主系统增强车辆的人工操作的车辆，例如具有驾驶员辅助转向、速度控制、制动、停车和其他高级驾驶员辅助系统的车辆。

在本文中，术语“街道”、“车道”和“十字路口”以在一条或多条道路上行驶的车辆为例进行了说明。然而，实施例旨在包括其他位置的车道和十字路口，例如停车区。此外，对于设计用于室内的自主车辆(例如仓库中的自动分拣设备)，街道可以是仓库的走廊，车道可以是走廊的一部分。如果自主车辆是无人机或其他飞机，则术语“街道”可以代表气道，车道可以是气道的一部分。如果自主车辆是船只，那么术语“街道”可以表示水道，车道可以是水道的一部分。

“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或者存储器可以与其他设备共享，如在虚拟机或容器布置中。存储器将包含或接收编程指令，该编程指令在由处理器执行时使电子设备根据编程指令执行一个或多个操作。

术语“存储器”、“存储器设备”、“计算机可读存储介质”、“数据存储器”、“数据存储设备”等均指存储计算机可读数据、编程指令或两者的非暂时性设备。除非另有特别说明，否则术语“存储器”、“存储器设备”、“计算机可读存储介质”、“数据存储器”、“数据存储设施”等旨在包括单个设备实施例、多个存储器设备一起或共同存储一组数据或指令的实施例，以及这些设备内的单个扇区。

术语“对象”当指由车辆感知系统检测到或由模拟系统模拟的对象时，旨在包括静止对象和移动(或潜在移动)行为者，除非使用术语“行为者”或“静止对象”另有明确说明。

术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另有特别说明，否则单数术语“处理器”或“处理设备”是旨在包括单个处理设备实施例和多个处理设备一起或共同执行过程的实施例。

在本文中，术语“通信链路”和“通信路径”是指第一设备向一个或多个其他设备发送通信信号和/或从一个或多个其他设备接收通信信号的有线或无线路径。如果设备能够通过通信链路发送和/或接收数据，则设备是“通信连接的”。“电子通信”是指通过一个或多个信号在两个或更多个电子设备之间传输数据，无论是通过有线网络还是无线网络，无论是直接还是间接通过一个或者多个中间设备。

术语“纵向计划”是指自主车辆如何执行纵向控制的一个或多个指令。这些指令可能与制动和/或节气门控制有关。

在本文中，当使用“第一”和“第二”等相对顺序术语来修饰名词时，这种使用只是为了区分一个项目和另一个项目，除非特别说明，否则并不要求顺序。

此外，“垂直”和“水平”、或“前部”和“后部”等相对位置的术语在使用时，旨在彼此相对，而不必是绝对的，并且仅指与这些术语相关的设备的一个可能位置，这取决于设备的方向。当本文使用术语“前部”、“后部”和“侧面”来指代车辆的区域时，它们指的是相对于车辆默认行驶区域的车辆区域。例如，车辆的“前部”是指距离车辆前照灯比距离车辆尾灯更近的区域，而车辆的“后部”是指距离车辆尾灯比距离车辆前照灯更近的区域。此外，术语“前部”和“后部”不一定局限于前向或后向区域，还包括比后部更靠近前部的侧面区域，反之亦然。车辆的“侧面”是指位于车辆最前面和最后部分之间的侧面部分。

Claims (26)

1.一种方法，包括：

通过自主车辆的计算设备执行以下操作：

识别位于所述自主车辆前方的一个或多个前方对象，

对于已识别的所述一个或多个前方对象中的每个前方对象，确定与所述前方对象相关联的行动类型，其中所述行动类型指示所述自主车辆相对于所述前方对象要采取的行动的类型，其中所述行动类型包括直接行动类型和间接行动类型，

对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象，生成与所述前方对象相关联的一个或多个约束，

对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象，生成与所述前方对象相关联的一个或多个处理操作，

生成约束集，所述约束集包括对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述约束的至少一部分，

生成处理操作集，所述处理操作集包括对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述处理操作的至少一部分，以及

部分地基于所述约束集和所述处理操作集来生成所述自主车辆的纵向计划。

2.根据权利要求1所述的方法，还包括使所述自主车辆基于所述纵向计划而调整其操作。

3.根据权利要求2所述的方法，其中使所述自主车辆基于所述纵向计划而调整其操作包括以下中的一项或多项：

使所述自主车辆限制其正加速度，或

使所述自主车辆减速。

4.根据权利要求1所述的方法，其中确定与所述前方对象相关联的行动类型包括：

识别所述自主车辆的停止权限；并且

确定在所述自主车辆行使所述停止权限的情况下所述自主车辆是否会与所述前方对象交互。

5.根据权利要求4所述的方法，其中所述停止权限包括以下中的一个或多个：

最大减速率；或

加速度的最大变化率。

6.根据权利要求4所述的方法，其中确定在所述自主车辆行使所述停止权限的情况下所述自主车辆是否会与所述前方对象交互包括：

识别与所述前方对象相关联的安全裕量，其中所述安全裕量表示距所述前方对象的距离；

在一时间段内传播所述自主车辆的一个或多个状态直至完全停止；

对于每个传播状态，确定在所述时间段中的某个时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的距离是否小于所述安全裕量；并且

响应于确定所述时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的所述距离小于所述安全裕量，为所述前方对象指定所述直接行动类型。

7.根据权利要求1所述的方法，其中确定与所述前方对象相关联的行动类型包括：

确定与所述前方对象相关联的确定性等级；

确定与所述前方对象相关联的行动的严重程度；

确定与所述前方对象相关联的对象类型；

识别与所述确定性等级、所述行动的严重程度和所述对象类型相关联的减速率和急动率；并且

确定在所述自主车辆行使所述减速率和所述急动率的情况下是否可以避免与所述前方对象交互。

8.根据权利要求7所述的方法，其中确定在所述自主车辆行使所述减速率和所述急动率的情况下是否可以避免与所述前方对象交互，包括：

识别与所述前方对象相关联的安全裕量，其中所述安全裕量表示距所述前方对象的距离；

在一时间段内传播所述自主车辆的一个或多个状态直至完全停止；以及

对于每个传播状态，确定在所述时间段中的某个时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的距离是否小于所述安全裕量。

9.根据权利要求8所述的方法，进一步包括：

响应于确定在所述时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的所述距离小于所述安全裕量，为所述前方对象指定所述直接行动类型。

10.根据权利要求8所述的方法，进一步包括：

响应于确定在所述时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的所述距离不小于所述安全裕量，为所述前方对象指定所述间接行动类型。

11.根据权利要求1所述的方法，其中生成约束集包括组合对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述约束的所述至少一部分。

12.根据权利要求1所述的方法，其中生成处理操作集包括组合对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述处理操作的所述至少一部分。

13.根据权利要求1所述的方法，其中生成所述自主车辆的纵向计划包括向所述自主车辆的纵向控制器提供来自所述约束集的最严格约束和来自所述处理操作集的最严格处理操作。

14.一种系统，包括：

自主车辆的计算设备；和

计算机可读存储介质，包括一个或多个编程指令，所述编程指令在被执行时使所述计算设备执行以下操作：

识别位于所述自主车辆前方的一个或多个前方对象，

对于已识别出的所述一个或多个前方对象中的每个前方对象，确定与所述前方对象相关联的行动类型，其中所述行动类型指示所述自主车辆相对于所述前方对象采取的行动的类型，其中所述行动类型包括直接行动类型和间接行动类型，

对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象，生成与所述前方对象相关联的一个或多个约束，

对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象，生成与所述前方对象相关联的一个或多个处理操作，

生成约束集，所述约束集包括对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述约束的至少一部分，

生成处理操作集，所述处理操作集包括对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述处理操作的至少一部分，以及

部分地基于所述约束集和所述处理操作集来生成所述自主车辆的纵向计划。

15.根据权利要求14所述的系统，其中所述计算机可读存储介质还包括在被执行时使所述自主车辆基于所述纵向计划而调整其操作的一个或多个编程指令。

16.根据权利要求15所述的系统，其中在被执行时使所述自主车辆基于所述纵向计划来调整其操作的所述一个或多个编程指令包括在被执行时使所述自主车辆执行以下操作中的一项或多项的一个或多个编程指令：

限制其正加速度，或

减速。

17.根据权利要求14所述的系统，其中在被执行时使所述计算设备确定与所述前方对象相关联的行动类型的所述一个或多个编程指令包括在被执行时使所述计算设备执行以下操作的一个或多个编程指令：

识别所述自主车辆的停止权限；以及

确定在所述自主车辆行使所述停止权限的情况下所述自主车辆是否会与所述前方对象交互。

18.根据权利要求17所述的系统，其中所述停止权限包括以下中的一个或多个：

最大减速率；或

加速度的最大变化率。

19.根据权利要求17所述的系统，其中在被执行时使所述计算设备确定在所述自主车辆行使所述停止权限的情况下所述自主车辆是否会与所述前方对象交互的所述一个或多个编程指令包括在被执行时使所述计算设备执行以下操作的一个或多个编程指令：

识别与所述前方对象相关联的安全裕量，其中所述安全裕量表示距所述前方对象的距离；

在一时间段内传播所述自主车辆的一个或多个状态直至完全停止；

对于每个传播状态，确定在所述时间段中的某个时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的距离是否小于所述安全裕量；以及

响应于确定所述时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的所述距离小于所述安全裕量，为所述前方对象指定所述直接行动类型。

20.根据权利要求14所述的系统，其中在被执行时使所述计算设备确定与所述前方对象相关联的行动类型的所述一个或多个编程指令包括在被执行时使所述计算设备执行以下操作的一个或多个编程指令：

确定与所述前方对象相关联的确定性等级；

确定与所述前方对象相关联的行动的严重程度；

确定与所述前方对象相关联的对象类型；

识别与所述确定性等级、所述行动的严重程度和所述对象类型相关联的减速率和急动率；以及

确定在所述自主车辆行使所述减速率和所述急动率的情况下是否可以避免与所述前方对象交互。

21.根据权利要求20所述的系统，其中在被执行时使所述计算设备确定在所述自主车辆行使所述减速率和所述急动率的情况下是否可以避免与所述前方对象交互的所述一个或多个编程指令包括在被执行时使所述计算设备执行以下操作的一个或多个编程指令：

识别与所述前方对象相关联的安全裕量，其中所述安全裕量表示距所述前方对象的距离；

在一时间段内传播所述自主车辆的一个或多个状态直至完全停止；以及

对于每个传播状态，确定在所述时间段中的某个时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的距离是否小于所述安全裕量。

22.根据权利要求21所述的系统，其中所述计算机可读存储介质还包括在被执行时使所述计算设备执行以下操作的一个或多个编程指令：

响应于确定在所述时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的所述距离小于所述安全裕量，为所述前方对象指定所述直接行动类型；以及

响应于确定在所述时刻处于所述传播状态的所述自主车辆与所述前方对象在所述时刻的预测位置之间的所述距离不小于所述安全裕量，为所述前方对象指定所述间接行动类型。

23.根据权利要求14所述的系统，其中在被执行时使所述计算设备生成约束集的所述一个或多个编程指令包括在被执行时使所述计算机设备组合对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述约束的所述至少一部分的一个或多个编程指令。

24.根据权利要求14所述的系统，其中在被执行时使所述计算设备生成处理操作集的所述一个或多个编程指令包括在被执行时使所述计算设备组合对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述处理操作的所述至少一部分的一个或多个编程指令。

25.根据权利要求14所述的系统，其中在被执行时使所述计算设备生成所述自主车辆的纵向计划的所述一个或多个编程指令包括在被执行时使所述计算设备向所述自主车辆的纵向控制器提供来自所述约束集的最严格约束和来自所述处理操作集的最严格处理操作的一个或多个编程指令。

26.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时被配置为使所述至少一个计算设备执行以下操作：

识别位于所述自主车辆前方的一个或多个前方对象；

对于已识别的所述一个或多个前方对象中的每个前方对象，确定与所述前方对象相关联的行动类型，其中所述行动类型指示所述自主车辆相对于所述前方对象采取的行动的类型，其中所述行动类型包括直接行动类型和间接行动类型；

对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象，生成与所述前方对象相关联的一个或多个约束；

对于与所述间接行动类型相关联的所述一个或多个前方对象中的每个前方对象，生成与所述前方对象相关联的一个或多个处理操作；

生成约束集，所述约束集包括对于与所述直接行动类型相关联的所述一个或多个前方对象中的每个前方对象而生成的所述约束的至少一部分；

生成处理操作集，所述处理操作集包括对于与所述间接行动类型相关联一部分；以及

部分地基于所述约束集和所述处理操作集来生成所述自主车辆的纵向计划。