CN111133485A - 自主交通工具的对象预测优先级排序系统和方法 - Google Patents

Abstract

提供了用于为自主车辆确定对象优先级排序和预测未来对象位置的系统和方法。一种方法可以包含：通过包括一或多个处理器的计算系统，获得至少描述由自主车辆感知的多个对象的当前或过去状态的状态数据。所述方法可以进一步包含：通过计算系统，至少部分地基于多个对象中的每个对象的相应的状态数据，确定每个对象的优先级分类。所述方法可以进一步包含：通过计算系统，至少部分地基于每个对象的优先级分类，确定计算系统确定每个对象的预测的未来状态的顺序；和通过计算系统，至少部分地基于所确定的顺序，确定每个对象的预测的未来状态。

Description

自主交通工具的对象预测优先级排序系统和方法

优先权要求

本申请基于并要求于2017年8月23日提交的美国临时专利申请第62/549,407号和于2017年11月14日提交的美国专利申请第15/811,865号的优先权，上述专利申请通过引用并入本文。

技术领域

本公开一般涉及自主交通工具。更特别地，本公开涉及用于确定自主交通工具感知的对象的优先级分类和至少部分地基于每个对象的相应的优先级分类预测对象的未来位置的系统和方法。

背景技术

自主交通工具是能够以最少的或零人工输入感知其环境并进行导航的交通工具。特别地，自主交通工具能够使用各种传感器观察其周围环境，并且能够通过对传感器收集的数据执行各种处理技术来尝试理解周围环境。在给出其周围环境的情况下，自主交通工具能够识别通过此类周围环境的适当的运动路径。

发明内容

本公开的实施例的各方面和优点将在以下描述中进行部分阐述，或者可以从描述中了解，或者可以通过实施例的实施了解。

本公开的一个示例方面涉及一种计算机实现的方法。所述方法可以包含：通过包括一或多个处理器的计算系统，获得至少描述自主交通工具感知的多个对象的当前或过去状态的状态数据。所述方法可以进一步包含：通过所述计算系统，至少部分地基于所述多个对象中的每个对象的所述相应的状态数据，确定每个对象的优先级分类。所述方法可以进一步包含：通过所述计算系统，至少部分地基于每个对象的所述优先级分类，确定所述计算系统确定每个对象的预测的未来状态的顺序。所述方法可以进一步包含：通过所述计算系统，至少部分地基于所确定的顺序，确定每个对象的所述预测的未来状态。

本公开的另一个示例方面涉及一种计算系统。所述计算系统可以包含感知系统，所述感知系统包括一或多个处理器。所述感知系统可以被配置为在多个连续时间帧中的每一个内生成状态数据，所述状态数据至少描述自主交通工具感知的多个对象中的每一个的当前状态。所述计算系统可以进一步包含优先级分类系统，所述优先级分类系统包括一或多个处理器。所述优先级分类系统可以被配置为在所述多个连续时间帧中的每一个内，至少部分地基于所述多个对象中的每个对象的所述相应的状态数据，将每个对象分类为高优先级或低优先级。所述计算系统可以进一步包含预测系统，所述预测系统包括一或多个处理器。所述预测系统可以被配置为在所述多个连续时间帧中的每一个内，接收每个相应的对象的所述优先级分类；确定分类为高优先级的每个对象在所述当前时间帧内的预测的未来状态；并且将分类为高优先级的每个对象在所述当前时间帧内的所述预测的未来状态，提供给所述一或多个处理器实现的运动计划系统。

本公开的另一个示例方面涉及一种自主交通工具。所述自主交通工具可以包含一或多个处理器和一或多种非暂时性计算机可读介质，所述非暂时性计算机可读介质共同存储指令，所述指令在由所述一或多个处理器执行时使所述一或多个处理器执行操作。所述操作可以包含：获得至少描述自主交通工具感知的多个对象的当前或过去状态的状态数据。所述操作可以进一步包含：至少部分地基于所述多个对象中的每个对象的相应的状态数据，确定每个对象的优先级分类。所述操作可以进一步包含：至少部分地基于每个对象的所述优先级分类，确定所述计算系统确定每个对象的预测的未来状态的顺序。所述操作可以进一步包含：至少部分地基于所确定的顺序，确定每个对象的所述预测的未来状态。

本公开的其他方面涉及各个系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

参考以下描述和所附权利要求，将更好地理解本公开的各个实施例的这些和其他特征、方面和优点。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。

附图说明

说明书中参考附图阐述了涉及本领域普通技术人员的对实施例的详细讨论，其中：

图1描绘了根据本公开的示例方面的示例自主交通工具的框图；

图2描绘了根据本公开的示例方面的示例感知系统；

图3描绘了根据本公开的示例方面的示例预测系统；

图4描绘了根据本公开的示例方面的示例对象预测过程的框图；

图5描绘了根据本公开的示例方面的示例计算系统的框图；以及

图6描绘了根据本公开的示例方面的用于确定自主交通工具的运动计划的示例方法的流程图。

具体实施方式

一般地，本公开涉及用于确定自主交通工具感知的对象的优先级分类和至少部分地基于每个对象的相应的优先级分类预测对象的未来位置的系统和方法。特别地，自主交通工具可以包含或以其他方式使用预测系统，以便至少部分地基于描述对象的当前和/或过去状态和/或周围环境的感知信息，预测诸如例如其他交通工具、行人、骑自行车的人之类的对象的未来位置。在一些实现方式中，自主交通工具可以包含或以其他方式使用优先级分类系统，以便对感知系统感知的每个对象的相应优先级进行分类。例如，在一些实现方式中，可以将每个对象分类为高优先级或低优先级。预测系统可以至少部分地基于每个对象的优先级分类，确定每个对象的预测的未来状态。例如，在一些实现方式中，计算系统确定每个对象的预测的未来状态的顺序可以基于每个对象的优先级分类进行确定，诸如，例如通过在确定分类为低优先级的对象的预测的未来状态之前，确定分类为高优先级的对象的预测的未来状态。

作为一个示例，在在多个时间帧上迭代操作的系统中，预测系统可以在当前时间帧中，确定在当前时间帧内分类为高优先级的每个对象的预测的未来状态。然而，预测系统可以等待并确定(例如，在后续时间帧内，或者至少在将分类为高优先级的每个对象的预测的未来状态提供给运动计划系统之后)在当前时间帧内分类为低优先级的每个对象的预测的未来状态。以这种方式，可以以一种提前方式(例如，“在时间表之前”)将高优先级对象的预测的未来状态传递给运动计划系统，从而允许运动计划系统有额外的时间来确定相对于高优先级对象的运动计划，并允许交通工具有额外的时间来实现所确定的运动计划。以这种方式，可以相对于分类为高优先级的对象，控制自主交通工具更快地作出反应。例如，通过由预测系统提前预测的未来状态而获得的额外时间，可以使交通工具更快地停止，或者以其他方式进行操纵改进，从而提高乘客和交通工具的安全性。

根据本公开的另一个方面，在一些实现方式中，可以基于每个对象的优先级分类，确定用于确定每个对象的预测的未来状态的预测系统的类型。例如，在一些实现方式中，高保真度预测系统可以用于分类为高优先级的对象，而低保真度预测系统可以用于分类为低优先级的对象。

根据本公开的另一个方面，本文描述的优先级分类系统可以包含或利用一或多个机器习得模型，所述机器习得模型有助于对自主交通工具感知的每个对象进行分类。作为示例，在一些实现方式中，优先级分类系统可以包含机器习得对象分类器，所述机器习得对象分类器被配置为诸如通过将每个对象分类为高优先级或低优先级，对每个感知的对象进行分类。使用机器习得模型可以提高对象优先级分类的速度、质量和/或准确性。通过根据优先级提高对象分类的能力，可以通过例如允许在较低优先级对象之前预测较高优先级对象的未来状态，来更有效地使用预测系统资源。进一步地，这可以允许将较高优先级对象的预测的未来状态更快地提供给运动计划系统，这减少了用于确定运动计划的总延迟，从而缩短自主交通工具的响应时间并提高乘客安全性和交通工具效率。

更特别地，在一些实现方式中，自主交通工具可以包含辅助控制自主交通工具的计算系统。自主交通工具可以是陆基自主交通工具(例如，汽车、卡车、公共汽车等)，空基自主交通工具(例如，飞机、无人机、直升机或其他飞机)或其他类型的交通工具(例如，船只)。在一些实现方式中，计算系统可以包含感知系统、预测系统和运动计划系统，三者协作以感知自主交通工具的周围环境并确定用于相应地控制自主交通工具的运动的运动计划。例如，感知系统可以感知接近自主交通工具的一或多个对象，并且将指示所述一或多个对象的状态数据提供给预测系统。然后，预测系统可以确定感知系统感知到的每个对象的预测的未来状态。然后，运动计划系统可以基于对象的预测的未来状态，确定自主交通工具的运动计划。如此，自主交通工具可以感知接近所述自主交通工具的对象，并且作为响应，相应地对自主交通工具进行控制。

在一些实现方式中，自主交通工具可以使用在多个连续时间帧内获得的数据，按顺序执行感知、预测和运动计划步骤中的每一个。例如，对于时间帧N，感知系统可以接收时间帧N的传感器数据；感知系统可以针对感知系统在时间帧N-1内感知的一或多个对象，同时生成数据并将其提供给预测系统；预测系统可以同时确定感知系统在时间帧N-2内感知的每个对象的预测的未来状态；并且运动计划系统可以使用在时间帧N-3内的预测的未来状态，同时确定自主交通工具的运动计划。因此，可以使用来自多个连续时间帧中的每一个的数据，迭代地确定用于自主交通工具的运动计划。

然而，在这种实现方式中，感知系统、预测系统和运动计划系统中的每一个都可以要求先前的系统在每个系统可以随后分析所述时间帧的数据之前，完成对所述时间帧的数据的相应的分析。例如，对于每一个连续的时间帧，感知系统可能需要完成对从自主交通工具上的一或多个传感器获得的数据的分析，以便生成由预测系统使用的状态数据。类似地，在运动计划系统可以确定用于自主交通工具的运动计划之前，预测系统可能需要完成对某个时间帧的状态数据的分析，以便确定每个对象的预测的未来状态。因此，从传感器感测到对象到响应于所述对象而确定运动计划为止的总时间，可能取决于每个系统都完成对对象和与所述对象同时感知的所有其他对象的相应分析。

相反，根据本公开的示例方面的系统和方法可以允许确定自主交通工具感知的对象的优先级分类，并且至少部分地基于每个对象的优先级分类，确定每个对象的预测的未来状态，从而能够在分析较低优先级对象之前对较高优先级对象进行分析。

特别地，在一些实现方式中，感知系统可以从一或多个传感器中接收传感器数据，所述一或多个传感器耦合至或以其他方式包含在自主交通工具中。作为示例，所述一或多个传感器可以包含光检测和测距(LIDAR)系统、无线电检测和测距(RADAR)系统、一或多个相机(例如，可见光谱相机、红外照相机等)和/或其他传感器。传感器数据可以包含描述对象在自主交通工具的周围环境中的位置的信息。在一些实现方式中，可以在多个连续的时间帧获得传感器数据。基于从一或多个传感器中接收的传感器数据和/或地图数据，感知系统可以在每个时间帧识别接近自主交通工具的一或多个对象。作为示例，在一些实现方式中，感知系统可以将传感器数据(例如，LIDAR数据)分割成离散对象多边形，和/或逐帧(例如，在若干连续的时间帧或时间段内以迭代的方式)跟踪对象。

特别地，在一些实现方式中，感知系统可以针对每个对象生成描述所述对象的当前状态(也称为所述对象的一或多个特征)的状态数据。作为示例，每个对象的状态数据可以描述对以下对象特征的估计：位置(也称为方位)；速度(也称为速率)；加速度；航向；横摆率；定位位；尺寸/足迹(例如，以边界多边形或其他形状表示)；类型/类别(例如，交通工具、行人、自行车)；与自主交通工具的距离；与自主交通工具交互的最小路径；与自主交通工具交互的最短持续时间；和/或其他状态信息和/或状态信息的上述形式的协方差。在一些实现方式中，对象的某些状态数据可以用于确定对象的一或多个其他特征。例如，在一些实现方式中，对象的位置、速度、加速度和/或航向可以用于确定与自主交通工具交互的最小路径或与自主交通工具交互的最短持续时间。感知系统可以将状态数据提供给优先级分类系统和/或预测系统(例如，针对每个时间帧以迭代的方式)。

根据本公开的一方面，自主交通工具可以进一步包含优先级分类系统，所述优先级分类系统被配置为对自主交通工具感知到的每个对象进行分类。在一些实现方式中，优先级分类系统可以包含在或以其他方式并入感知系统中。在一些实现方式中，优先级分类系统可以包含在或以其他方式并入预测系统中。优先级分类系统可以基于每个对象的状态数据，对感知系统感知的对象进行分类。例如，优先级分类系统可以将每个对象分类为多个优先级类别之一，和/或相对于每个其他对象对每个对象进行排名。可以基于每个对象的状态数据，确定每个对象的相对优先级分类和/或排名。每个对象的优先级分类可以指示所述对象对于确定用于自主交通工具的运动计划的重要性。作为示例，分配给每个对象的优先级分类可以基于多个因素，诸如对象与自主交通工具进行交互的可能性，对象与自主交通工具可能进行多久的交互，对象是否可能影响自主交通工具的运动计划等。例如，与远离自主交通工具行驶的交通工具相比，朝向自主交通工具高速行驶的交通工具可以分类为较高优先级对象。

在一些实现方式中，优先级分类可以基于一或多个启发式过程。例如，可以使用一或多个阈值，基于对象的一或多个特征对对象进行分类。例如，可以使用最短持续时间、最小路径或与自主交通工具交互的最小距离，基于对象到自主交通工具的距离或对象将可能与自主交通工具交互多长时间来对对象进行分类。类似地，可以使用航向和/或速率对对象进行分类。例如，与朝向自主交通工具行驶的对象相比，在远离自主交通工具的航向上行驶的对象可以分类为较低优先级；而与朝向自主交通工具以较低速度行驶的对象相比，朝向自主交通工具以较高速度行驶的对象可以分类为较高优先级。也可以使用其他特征，诸如对象类型(例如，交通工具、自行车、行人等)、对象尺寸、方位或本文所述的任何其他特征。

在一些实现方式中，可以将每个对象分类为高优先级或低优先级。例如，优先级分类系统可以基于每个对象的相应的状态数据，将每个对象分类为高优先级或低优先级。在一些实现方式中，可以在确定任何低优先级对象的预测的未来状态之前，确定每个高优先级对象的预测的未来状态。

在一些实现方式中，可以至少部分地基于自主交通工具的速率，确定高优先级对象与低优先级对象的比率。例如，在一些实现方式中，为了减小用于确定较高速度下的运动计划的总延迟，相较于较低速度，可以将较少的对象分类为高优先级。例如，可以使用一或多个阈值或范围，基于自主交通工具的速率，确定高优先级对象与低优先级对象的比率。然后，可以基于高优先级对象与低优先级对象的比率，将每个对象分类为高优先级或低优先级。

根据本公开的另一个方面，本文描述的优先级分类系统和方法可以包含或利用一或多个有助于对象分类的机器习得模型。作为示例，在一些实现方式中，优先级分类系统可以包含机器习得对象优先级分类器，以便对自主交通工具感知的每个对象进行分类。在一些实现方式中，机器习得对象优先级分类器可以将每个对象分类为高优先级或低优先级。

根据本公开的又一个方面，可以使用在行驶道(例如，道路)上的自主交通工具的实际操作期间收集的日志数据，对本文描述的优先级分类系统包含或采用的机器习得模型进行训练。例如，日志数据可以包含针对自主交通工具(例如，自主交通工具的感知系统)感知的各种对象的传感器数据和/或状态数据，以及在收集传感器数据和/或生成状态数据之后和/或同时出现的每个对象的最终未来状态。因此，日志数据可以包含对象的大量现实世界示例，诸如，在对象的最终未来状态中，对象是否变得或多或少可能与自主交通工具进行交互，所述现实世界示例与同所述感知同时进行的自主交通工具收集和/或生成的数据(例如，传感器数据、地图数据、感知数据等)配对。在此类现实世界日志数据方面对机器习得模型进行训练，可以使机器习得模型能够确定对象分类，从而更好地反映或模拟现实世界对象行为。

根据本公开的其他方面，预测系统能够至少部分地基于每个对象的优先级分类，确定每个对象的预测的未来状态。例如，预测系统确定每个对象的预测的未来状态的顺序可以至少部分地基于分配给对象的优先级分类。例如，在一些实现方式中，可以在确定较低优先级对象的预测的未来状态之前，确定较高优先级对象的预测的未来状态。在一些实现方式中，可以在确定分类为低优先级的任何对象的预测的未来状态之前，确定分类为高优先级的每个对象的预测的未来状态。在一些实现方式中，可以基于对象相较于每个其他对象的相对优先级，确定每个对象的预测的未来状态。例如，可以为自主交通工具感知的每个对象分配相对优先级排名(例如，对于Y个对象，等级为1至Y)，并且可以基于对象的优先级排名，确定预测的未来状态。

预测系统可以至少部分地基于从感知系统接收的感知信息(例如，每个对象的状态数据)、地图数据、传感器数据和/或描述对象的过去和/或当前状态、自主交通工具、周围环境和/或其之间的关系的任何其他数据，预测对象的未来位置。例如，预测系统可以估计动作者或其他对象在计划期距上的未来运动，所述计划期距对应于产生用于自主交通工具的运动计划的时间段。在一些实现方式中，预测系统可以将概率似然附加到对象的每个预测的运动或其他未来位置。

在一些实现方式中，预测系统可以接收自主交通工具感知的每个相应的对象的优先级分类，以及每个对象在多个连续的时间帧内的相应的状态数据。例如，感知系统可以在多个连续的时间帧提供多个对象的状态数据，并且优先级分类系统可以在多个连续的时间帧中的每一个内，提供每个对象的相应的优先级分类。

在一些实现方式中，在当前(即，最近获得的)时间帧接收多个对象的优先级分类和相应的状态数据时，预测系统可以确定分类为高优先级的每个对象在当前时间帧的预测的未来状态。如本文中所使用的，术语“当前”或“最近获得的”在关于时间帧使用时，是指最近提供给特定系统(例如，感知系统、预测系统)的时间帧。例如，使用当前时间帧的状态数据，可以为每个高优先级对象确定预测的未来位置。一旦已经在当前时间帧内确定分类为高优先级的每个对象的预测的未来状态，就可以将分类为高优先级的每个对象的预测的未来状态提供给运动计划系统。因此，只要已经确定每个高优先级对象的预测的未来状态，就可以确定自主交通工具的运动计划。

进一步地，在一些实现方式中，在预测系统已经将分类为高优先级的每个对象的预测的未来状态提供给运动计划系统之后，预测系统可以确定分类为低优先级的每个对象在当前时间帧内的预测的未来状态。因此，自主交通工具感知的每个对象可以具有由预测系统在每个时间帧内确定的预测的未来状态。

另外，在一些实现方式中，预测系统可以将分类为低优先级的每个对象在先前顺序时间帧内的预测的未来状态，与分类为低优先级的每个对象在当前时间帧内的预测的未来状态一起，同时提供给运动计划系统。例如，只要已经确定了每个高优先级对象在当前时间帧内的预测的未来状态，就可以将每个高优先级对象在当前时间帧内的预测的未来状态，与每个低优先级对象在先前顺序时间帧内的预测的未来状态一起，提供给运动计划系统。例如，通过选择、获得或以其他方式使用先前顺序时间帧的每个低优先级对象的预测的未来状态，预测系统可以确定分类为低优先级的每个对象的预测的未来状态。因此，只要预测系统确定所有高优先级对象的预测的未来状态，就可以将包括高优先级对象的当前预测的未来状态和低优先级对象的先前顺序预测的未来状态的一整组预测的未来状态，提供给运动计划系统，而不是等待直到已经确定自主交通工具感知的每个对象在当前时间帧内预测的未来状态。这可以减少用于确定交通工具的运动计划的总延迟，从而缩短自主交通工具的响应时间并提高乘客的安全性。

在一些实现方式中，预测系统可以包含低保真度预测系统和高保真度预测系统。如本文所使用的，术语“低保真度”和“高保真度”是指预测系统或相应的预测系统使用的算法的相对计算强度。例如，在一些实现方式中，高保真度预测系统可以包含或以其他方式利用一或多个机器习得模型，以便预测每个对象的未来位置。例如，在一些实现方式中，预测系统可以是面向目标的预测系统，所述预测系统生成一或多个潜在目标，选择一或多个最可能的潜在目标，并开发出对象可以通过其实现一或多个所选目标的一或多个轨迹。例如，预测系统可以包含：场景生成系统，其为对象生成一或多个目标和/或对所述一或多个目标进行计分；和场景开发系统，其确定对象可以通过其实现目标的一或多个轨迹。在一些实现方式中，预测系统可以包含机器习得目标计分模型、机器习得轨迹开发模型和/或其他机器习得模型。在一些实现方式中，高保真度预测系统可以用于确定分类为高优先级的对象的预测的未来状态。

在一些实现方式中，低保真度预测系统可以包含一或多个状态正向积分模型。例如，低保真度预测系统可以通过对当前状态进行正向积分来预测对象的未来状态。例如，低保真度预测系统可以使用对象的当前方位、当前速率和当前航向，确定对象在未来时间段的预测的未来位置。在一些实现方式中，低保真度预测系统可以用于确定分类为低优先级的对象的预测的未来状态。

如此，根据本公开的示例方面的系统和方法可以允许确定自主交通工具感知的对象的优先级分类。特别地，通过应用一或多个启发式过程和/或使用机器习得模型，本公开的系统和方法可以确定自主交通工具感知的每个对象的相应的优先级分类。然后，可以至少基于每个对象的相应的优先级分类，对确定每个对象的预测的未来状态的顺序进行确定。根据相应的优先级对对象进行分类的能力可以允许将计算资源集中在较高优先级的对象上。

这样，本公开的一个技术效果和益处是减少了用于确定较高优先级对象的预测的未来位置的延迟，与低优先级对象相比，较高优先级对象更可能影响自主交通工具的运动计划。特别地，本公开提供的技术使得只要已经确定所有高优先级对象的预测的未来位置，就能够使计算系统确定用于自主交通工具的运动计划。因此，本公开可以允许缩短自主交通工具感知对象并响应于所述对象而确定运动计划所需的时间。进一步地，本公开可以允许使用较高保真度预测系统来确定较高优先级对象的预测未来位置，并允许使用较低保真度预测系统来确定较低优先级对象的预测的未来位置。这可以允许更有效地使用自主交通工具上的计算资源。

本公开还提供了其他技术效果和益处，包含，例如，增强乘客安全性。例如，根据本公开的示例方面的系统和方法可以允许缩短响应于自主交通工具感知的对象而确定运动计划的反应时间。这可以允许自主交通工具更快地停止，围绕对象进行导航，或以其他方式更快地响应对象，从而降低自主交通工具与对象碰撞的可能性。

现在参考附图，将进一步详细讨论本公开的示例方面。图1描绘了根据本公开的示例方面的示例自主交通工具10的框图。自主交通工具10可以包含一或多个传感器101、交通工具计算系统102以及一或多个交通工具控制件107。交通工具计算系统102可以辅助控制自主交通工具10。特别地，交通工具计算系统102可以从一或多个传感器101接收传感器数据，通过对传感器101收集的数据执行各种处理技术来尝试理解周围环境，并通过所述周围环境生成适当的运动路径。交通工具计算系统102可以控制一或多个交通工具控制件107以根据运动路径来操作自主交通工具10。

交通工具计算系统102可以包含一或多个处理器112和存储器114。一或多个处理器112可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、计算设备、微控制器等)，并且可以是一个处理器或多个可操作地连接的处理器。存储器114可以包含一或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘及其组合等。存储器114可以存储数据116和指令118，所述指令可以由处理器112执行以使交通工具计算系统102执行操作。

如图1所示，交通工具计算系统102可以包含感知系统103、预测系统104和运动计划系统105，三者协作以感知自主交通工具10的周围环境并确定用于相应地控制自主交通工具10的运动的运动计划。

特别地，在一些实现方式中，感知系统103可以从一或多个传感器101中接收传感器数据，所述一或多个传感器耦合至或以其他方式包含在自主交通工具10中。作为示例，一或多个传感器101可以包含光检测和测距(LIDAR)系统、无线电检测和测距(RADAR)系统、一或多个相机(例如，可见光谱相机、红外照相机等)和/或其他传感器。传感器数据可以包含描述对象在自主交通工具10的周围环境中的位置的信息。

作为一个示例，对于LIDAR系统，传感器数据可以包含与已经反射了测距激光的对象相对应的多个点的位置(例如，在相对于LIDAR系统的三维空间中)。例如，LIDAR系统可以通过测量飞行时间(TOF)来测量距离，TOF需要短激光脉冲从传感器行进到对象并返回，从而根据已知光速计算距离。

作为另一个示例，对于RADAR系统，传感器数据可以包含与已经反射了测距无线电波的对象相对应的多个点的位置(例如，在相对于RADAR系统的三维空间中)。例如，由RADAR系统发射的无线电波(例如，脉冲式或连续式)可以从对象反射并返回到RADAR系统的接收机，从而给出关于对象的位置和速度的信息。因此，RADAR系统可以提供有关对象的当前速度的有用信息。

作为又一个示例，对于一或多个相机，可以执行各种处理技术(例如，距离成像技术，诸如，例如，来自运动的结构、结构光、立体三角测量和/或其他技术)，以识别对应于一或多个相机捕获的图像中描绘的对象的多个点的位置(例如，在相对于一或多个相机的三维空间中)。其他传感器系统也可以识别与对象相对应的点的位置。

作为另一个示例，一或多个传感器101可以包含定位系统。定位系统可以确定交通工具10的当前方位。定位系统可以是用于分析交通工具10的方位的任何设备或电路系统。例如，定位系统可以通过使用一或多个惯性传感器、卫星定位系统，基于IP地址，通过对网络接入点或其他网络部件(例如，蜂窝塔、WiFi接入点)使用三角测量和/或接近度，和/或使用其他技术来确定方位。交通工具10的方位可以被交通工具计算系统102的各种系统使用。

因此，可以使用一或多个传感器101来收集传感器数据，所述传感器数据包含描述了对应于自主交通工具10的周围环境中的对象的点的位置(例如，在相对于自主交通工具10的三维空间中)的信息。在一些实现方式中，传感器101可以位于自主交通工具10上的各种不同的位置。作为示例，在一些实现方式中，一或多个相机和/或LIDAR传感器可以位于安装在自主交通工具10的顶部上的吊舱或其他结构中，而一或多个RADAR传感器可以位于自主交通工具10的前部和/或后部保险杠或主体板内部或后面。作为另一个示例，相机也可以位于交通工具10的前部或后部保险杠处。也可以使用其他位置。

除了传感器数据之外，感知系统103可以检索或以其他方式获得地图数据126，所述地图数据提供了关于自主交通工具10的周围环境的详细信息。地图数据126可以提供关于以下的信息：不同的行驶道(例如，道路)、路段、建筑物或其他物品或对象(例如，路灯柱、人行横道、路缘石等)的标识和位置；行车道的位置和方向(例如，停车道、转弯车道、自行车道或特定道路或其他行驶道内的其他车道的位置和方向)；交通控制数据(例如，标牌、交通信号灯或其他交通控制设备的位置和说明)；和/或提供辅助交通工具计算系统102理解和感知其周围环境及其关系的信息的任何其他地图数据。

感知系统103可以基于从一或多个传感器101接收到的传感器数据和/或地图数据126，识别接近自主交通工具10的一或多个对象。特别地，在一些实现方式中，感知系统103可以针对每个对象确定描述所述对象的当前状态(也称为所述对象的特征)的状态数据。作为示例，每个对象的状态数据可以描述对以下对象特征的估计：当前位置(也称为方位)；当前速度(也称为速率)；当前加速度；当前航向；当前定位；尺寸/形状/足迹(例如，以诸如边界多边形或多面体之类的边界形状表示)；类型/类别(例如，交通工具与行人与自行车与其他)；横摆率；与自主交通工具的距离；与自主交通工具交互的最小路径；与自主交通工具交互的最短持续时间；和/或其他状态信息。

在一些实现方式中，感知系统103可以在多次迭代中确定每个对象的状态数据。特别地，感知系统103可以在每次迭代中更新每个对象的状态数据。因此，感知系统103可以随着时间的过去检测并跟踪接近自主交通工具10的对象(例如，交通工具)。

预测系统104可以从感知系统103接收状态数据，并基于此类状态数据预测每个对象的一或多个未来位置。例如，预测系统104可以预测每个对象在接下来的5秒、10秒、20秒等内所处的位置。作为一个示例，可以根据对象的当前速度，预测所述对象遵循其当前轨迹。作为另一个示例，可以使用其他更复杂的预测技术或建模。

运动计划系统105可以至少部分地基于感知系统103提供的对象的预测的一或多个未来位置和/或对象的状态数据，确定自主交通工具10的运动计划。换言之，给定关于对象的当前位置和/或接近的对象的预测的未来位置的信息，运动计划系统105可以确定用于自主交通工具10的运动计划，所述运动计划相对于此类位置处的对象为自主交通工具10提供最佳导航。在一些实现方式中，运动计划系统105可以使用一或多个经调整的交通工具参数来确定自主交通工具的运动计划，如本文所述。

在一些实现方式中，运动计划系统105可以针对自主交通工具10的一或多个候选运动计划中的每一个，对一或多个成本函数和/或一或多个奖励函数进行评估。例如，成本函数可以描述遵循特定候选运动计划的成本(例如，随着时间的成本)，而奖励函数可以描述遵循特定候选运动计划的奖励。例如，奖励可以与成本的符号相反。

因此，给定关于对象的当前位置和/或预测的未来位置的信息，运动计划系统105可以确定遵循特定候选路径的总成本(例如，成本函数和/或奖励函数提供的成本和/或奖励总和)。运动计划系统105可以至少部分地基于成本函数和奖励函数，选择或确定用于自主交通工具10的运动计划。例如，可以选择或以其他方式确定使总成本最小化的运动计划。运动计划系统105可以将所选运动计划提供给交通工具控制器106，所述交通工具控制器控制一或多个交通工具控制件107(例如，致动器或控制气流、转向、制动等的其他设备)以执行所选运动计划。

根据本公开的示例方面，交通工具计算系统102还可以包含优先级分类系统150，所述优先级分类系统被配置为对自主交通工具10感知到的一或多个对象进行分类。例如，在一些实现方式中，优先级分类系统150可以从感知系统103接收描述自主交通工具10感知的一或多个对象的状态数据。然后，优先级分类系统150可以至少部分地基于每个对象的相应的状态数据，对每个对象进行分类。

例如，在一些实现方式中，每个对象的优先级分类可以基于对象的方位、速率和/或航向。例如，可以给予更接近自主交通工具的对象较高优先级分类。类似地，对于在朝向自主交通工具和/或朝向自主交通工具即将到达的位置的方向上行驶的对象，可以给予较高优先级分类。在一些实现方式中，与以较低速度行驶的对象相比，可以给予以较高速度行驶的对象，诸如以较高速度朝向自主交通工具行驶的对象，较高优先级分类。

在一些实现方式中，优先级分类可以基于对象将与自主交通工具交互的似然性，或者以其他方式对确定自主交通工具的运动计划有着重要性。例如，与在将与自主交通工具的运动路径交互的方向上行驶的对象相比，可以给予在与自主交通工具相反的方向上行驶的对象较低优先级分类。

在一些实现方式中，优先级分类可以基于对象类型。例如，在一些实现方式中，与其他对象，诸如静态(即，不移动)交通工具相比，可以为行人分配较高优先级。类似地，可以使用其他对象类型和/或类别确定每个对象的优先级分类。

在一些实现方式中，每个对象的优先级分类可以基于与自主交通工具交互的最小路径或与自主交通工具交互的最短持续时间。例如，与自主交通工具交互的最小路径可以对应于沿着对象将必须横穿的一或多个行驶道的距离，以便与对象交互。因此，例如，沿着与自主交通工具相反的方向在高速公路上行驶的交通工具，可能需要退出高速公路、调头、重新进入高速公路并超越自主交通工具，以便与自主交通工具交互。在这种情况下，交通工具可能具有与自主交通工具交互的较长的最小交互路径和/或最短持续时间。相反，临近与自主交通工具的行驶路径垂直的行驶路径处的交叉路口的交通工具，很可能具有与自主交通工具交互的较短的最小交互路径和/或最短持续时间。在这种情况下，与在相反方向上行驶的交通工具相比，可以给予临近交叉路口的交通工具较高优先级分类。

在一些实现方式中，优先级分类系统150可以将每个对象分类为高优先级或低优先级。例如，可以根据二进制分类对每个对象进行分类，在二进制分类中，每个对象要么是高优先级对象，要么是低优先级对象。例如，与自主交通工具交互的最小交互路径和/或最短持续时间小于阈值的对象，可以分类为高优先级对象。类似地，进行交互的最小交互路径和/或最短持续时间超过阈值的对象，可以分类为低优先级对象。在一些实现方式中，特定类型的对象(例如，行人)可以始终分类为高优先级对象。在一些实现方式中，已经确定为不太可能与自主交通工具交互的对象或者已经确定用于自主交通工具的运动计划的对象，可以分类为低优先级对象。

在一些实现方式中，优先级分类系统150可以相对于自主交通工具感知的其他对象，对每个对象进行分类。例如，在一些实现方式中，可以关于自主交通工具感知的每个其他对象，为每个对象分配相对优先级。例如，可以基于对象的相应的优先级，为每个对象分配相对优先级排名。例如，如果自主交通工具在其周围环境中感知到Y个对象，可以根据1至Y的评分，为每个对象分配相对排名。如此，可以相对于自主交通工具感知的每个其他对象，为每个对象分配优先级分类。

在一些实现方式中，优先级分类系统150可以基于自主交通工具的速率对每个对象进行分类。在一些实现方式中，可以基于交通工具的速率，确定高优先级对象与低优先级对象的比率。例如，在较高速率下，优选地限制高优先级对象的数量，以便减少预测系统104必须确定其在当前时间帧内的预测的未来状态的若干高优先级对象和/或使其最小化，以便缩短用于响应于此类对象而确定运动计划的延迟和/或使其最小化。在这种情况下，相较于较低速率，分类为高优先级对象的对象可能更少。

在一些实现方式中，可以基于一或多个阈值速率，确定高优先级对象与低优先级对象的比率。例如，对于第一速率范围1至X，可以使用1个高优先级对象与Y个低优先级对象的比率，而对于第二速度范围X至2X，则可以使用1个高优先级对象与2Y个低优先级对象的比率。在其他实现方式中，可以使用其他预定比率。在一些实现方式中，每个对象可以分类为高优先级或低优先级，使得高优先级对象与低优先级对象的比率一般符合预定比率(即，高优先级对象与低优先级对象的比率在预定比率的阈值方差内)。

在一些实现方式中，机器习得模型可以用于基于每个对象的相应的状态数据，确定每个对象的优先级分类。例如，在一些实现方式中，机器习得模型可以被配置为将每个对象分类为高优先级或低优先级，并且将每个对象的优先级分类提供给预测系统104。在一些实现方式中，可以将每个对象的相应的状态数据输入到机器习得模型中，并且可以将指示对象的相应的优先级分类的数据作为机器习得模型的输出进行接收。

在一些实现方式中，可以至少部分地基于训练数据对机器习得模型进行训练，所述训练数据包括先前在先前的自主交通工具驾驶阶段期间收集的带注释的交通工具数据日志。例如，可以在一或多个自主交通工具驾驶阶段期间记录交通工具数据日志，其可以包含自主交通工具感知的对象的状态数据。在一些实现方式中，交通工具数据日志可以由人类审查员添加注释，以帮助训练机器习得模型。例如，在一些实现方式中，可以将对象标记为高优先级或低优先级。然后，可以对机器习得模型进行训练，以基于训练数据确定对象的优先级分类。

根据本公开的示例方面，交通工具计算系统102可以至少部分地基于每个对象的优先级分类，确定每个对象的预测的未来状态。例如，优先级分类系统150可以被配置为将感知系统103感知的每个对象的优先级分类提供给预测系统104。然后，预测系统104可以至少部分地基于每个对象的优先级分类，确定每个对象的预测的未来状态。

例如，在一些实现方式中，计算系统确定每个对象的预测的未来状态的顺序可以至少部分地基于分配给每个对象的优先级分类。例如，在一些实现方式中，可以在确定任何低优先级对象的预测的未来状态之前，确定分类为高优先级的所有对象的预测的未来状态。在一些实现方式中，可以根据每个对象的相应的优先级排名，确定每个对象的预测的未来状态。例如，对于Y个对象，可以为每个对象分配1至Y的相对优先级排名，并且可以基于每个对象的相对优先级排名(即，以1开头并以Y结束)，确定每个对象的预测的未来状态。

如将关于图5更详细讨论的，在一些实现方式中，可以至少部分地基于每个对象的优先级分类，选择未来位置预测系统。例如，在一些实现方式中，低保真度预测系统可以用于确定低优先级对象的预测的未来状态，而高保真度预测系统可以用于确定高优先级对象的预测的未来状态。

感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个，都可以包含用于提供所需功能的计算机逻辑。在一些实现方式中，感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个，都可以以控制通用处理器的硬件、固件和/或软件来实现。例如，在一些实现方式中，感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个都包含程序文件，所述程序文件存储在存储设备上，加载到存储器中并且由一或多个处理器执行。在其他实现方式中，感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个均包含一或多组计算机可执行指令，所述计算机可执行指令存储在有形计算机可读存储介质中，诸如RAM硬盘或光学或磁性介质。

现在参考图2，示出了描绘根据本公开的示例方面的示例感知系统103的框图。与图1中所示的元件相同或相似的元件使用相同的附图标记表示。

正如所示，在一些实现方式中，优先级分类系统150可以被实现为感知系统103的子部分。例如，感知系统103可以接收来自一或多个传感器101(如图1所示)的传感器数据和地图数据126。感知系统103可以为自主交通工具10感知的每个对象生成状态数据，使用优先级分类系统150为每个对象执行优先级分类，并且将每个对象的状态数据和相应的优先级分类提供给预测系统104。

现在参考图3，示出了描绘根据本公开的示例方面的示例预测系统104的框图。与图1和2中所示的元件相同或相似的元件使用相同的附图标记表示。

正如所示，在一些实现方式中，优先级分类系统150可以被实现为预测系统104的子部分。例如，感知系统103可以接收来自一或多个传感器101(如图1所示)的传感器数据和地图数据126。然后，感知系统103可以将指示一或多个对象的状态数据提供给预测系统104。然后，预测系统104可以使用优先级分类系统150确定每个对象的优先级分类，并且至少部分地基于每个对象的优先级分类，确定每个对象的预测的未来状态。然后，预测系统104将每个对象的预测的未来状态提供给运动计划系统105。

因此，如图1-3所示，优先级分类系统150可以被实现为独立的优先级分类系统150，或者被实现为感知系统103或预测系统104的子系统。

现在参考图4，示出了根据本公开的示例方面的示例对象预测过程的图。如图4所示，在一些实现方式中，交通工具计算系统可以使用在多个连续时间帧内获得的数据，迭代地确定运动计划。例如，图1-3所示的感知系统、预测系统和运动计划系统中的每一个可以同时对来自多个连续时间帧的数据进行分析。作为示例，对于时间帧N，感知系统可以接收时间帧N内的传感器数据；感知系统可以针对感知系统在时间帧N-1内感知的一或多个对象，同时生成数据并将其提供给预测系统；预测系统可以同时确定感知系统在时间帧N-2内感知的每个对象的预测的未来状态；并且运动计划系统可以使用在时间帧N-3内的预测的未来状态，同时确定自主交通工具的运动计划。在后续时间帧N+1内，感知系统、预测系统和运动计划系统中的每一个都可以接收从上游系统接收的数据并对其进行相应的分析，从而使运动计划系统使用在时间帧N-2内的预测的未来状态确定运动计划。如此，可以使用来自多个连续时间帧中的每一个的数据，迭代地确定用于自主交通工具的运动计划。

例如，如图4所示，框410表示感知系统对来自帧N的数据进行的分析。正如所示，感知系统对帧N的数据的分析可以包含多个对象411A-J。每个对象都可以具有描述感知系统生成的对象的关联的状态数据。例如，对于每个对象411A-J，感知系统可以生成描述方位、速率、加速度、航向、大小、类型、横摆率的状态数据，或者描述本文所描述的对象的其他状态数据。

如从框410到框430的箭头所示，一旦感知系统已经完成其分析，就可以将描述感知系统生成的对象411A-J在帧N内的状态数据提供给预测系统。

然而，根据本公开的示例方面，预测系统还可以接收每个对象的优先级分类。例如，在一些实现方式中，可以将每个对象分类为高优先级(“HP”)或低优先级(“LP”)。如本文所描述的，可以基于每个对象的相应的状态数据，确定每个对象的优先级分类。进一步地，在一些实现方式中，可以通过机器习得模型确定优先级分类。

因此，如框430所示，预测系统可以从感知系统接收每个对象的相应的优先级分类以及描述每个对象的相应的状态数据。然后，感知系统可以至少部分地基于每个对象的相应的优先级分类，确定每个对象的预测的未来状态。例如，在一些实现方式中，预测系统可以首先确定分类为高优先级的每个对象的预测的未来状态。例如，如图4所示，预测系统可以首先确定HP对象431A-D的预测的未来状态。换言之，预测系统可以至少部分地基于在最近时间帧(帧N)内获得的状态数据，确定分类为高优先级的每个对象的预测的未来状态。

根据本公开的另外的示例方面，一旦预测系统已经确定分类为高优先级的每个对象的预测的未来状态，预测系统就可以将分类为高优先级的每个对象在当前时间帧内的预测的未来状态，提供给运动计划系统。例如，如虚线框440到框450的箭头所示，一旦预测系统已经确定每个高优先级对象HP 431A-D的预测的未来状态，预测系统就可以将对象HP431A-D的预测的未来状态，提供给运动计划系统。如此，运动计划系统可以以提前方式(例如，“在时间表之前”)开始确定运动计划。

根据本公开的另外的示例方面，一旦预测系统已经确定分类为高优先级的每个对象的预测的未来状态，预测系统就可以为识别为低优先级的每个对象确定预测的未来状态。例如，在预测系统已经将高优先级对象HP 431A-D提供给运动计划系统之后，预测系统可以确定每个低优先级对象LP 431E-J的预测的未来状态。如此，在特定帧(例如，帧N)内感知的每个对象可以具有由预测系统确定的预测的未来状态。

在一些实现方式中，预测系统可以进一步被配置为将分类为低优先级的每个对象在先前顺序时间帧内的预测的未来状态，与分类为低优先级的每个对象在当前时间帧内的预测的未来状态一起，同时提供给运动计划系统。换言之，在一些实现方式中，基于在先前顺序时间帧内获得的状态数据，通过选择、获得或以其他方式确定对象的预测的未来状态，可以确定低优先级对象的预测的未来状态。

例如，如框420所示，预测系统可以预先确定对象421A-J的预测的未来状态，包含高优先级对象HP 421A-D和低优先级对象LP 421E-J。例如，当感知系统在时间帧N内生成对象411A-J的状态数据时(在框410中)，预测系统可以同时确定高优先级对象HP 421A-D和低优先级对象LP 421E-J在时间帧N-1内的预测的未来状态(在框420中)。进一步地，作为示例，每个高优先级对象HP 421A-D可以分别对应于时间帧N-1的每个高优先级对象HP 431A-D，而每个低优先级对象LP 421E-J可以分别对应于时间帧N-1的每个低优先级对象LP431E-J。

因此，如从框440到框450的箭头所示，当预测系统将高优先级对象HP 431A-D的预测的未来状态提供给运动计划系统时，预测系统可以被配置为同时提供每个低优先级对象(即，LP 431E-J)在先前顺序时间帧(即，LP 421E-J)内的先前确定的预测的未来状态。这样，只要预测系统已经确定分类为高优先级的每个对象(HP 431A-D)的预测的未来状态，就可以将包括所有高优先级对象(HP 431A-D)在当前时间帧内的预测的未来状态和所有低优先级对象(LP 421E-J)在先前顺序时间帧内的先前确定的预测的未来状态的一整组预测的未来状态，同时提供给运动计划系统。

图4中描绘的对象预测过程提供的优点是，可以减少确定用于自主交通工具的运动计划所需的时间。例如，对于诸如本文所描述的顺序交通工具自主系统之类的交通工具自主系统，运动计划系统可以更快地接收每个对象的预测的未来状态，从而允许在时间表之前确定运动计划。进一步地，预测系统确定每个对象的预测的未来状态的时间的缩短，可以对应于高优先级对象与低优先级对象的比率。例如，如图4所示，在将每个对象431A-D和421E的预测的未来状态提供给运动计划系统之前，预测系统将仅需要确定高优先级对象HP431A-D(即，10个对象中的4个)在时间帧N内的预测的未来状态，从而可减少约60％的所需处理时间。

进一步地，因为可以基于低优先级对象对运动计划可以忽略的影响而对其进行分类，所以，使用低优先级对象在先前顺序时间帧的预测的未来状态可以净增加乘客和自主交通工具的安全性。例如，低优先级对象，诸如远离自主交通工具定位并远离自主交通工具行驶的对象，可能不太可能影响自主交通工具的运动计划。然而，高优先级对象，诸如朝向自主交通工具行驶或位于自主交通工具附近的对象，很有可能影响自主交通工具的运动计划。通过使这种高优先级对象在缩短的时间内被传感器感测、被感知系统感知、被预测系统预测以及由运动计划系统进行计划，自主交通工具可以对高优先级对象作出更快的响应，从而减少诸如碰撞之类的不安全条件的似然性。

现在参考图5，描绘了根据本公开的示例实施例的示例计算系统100的框图。与图1-3中所示的元件相同或相似的元件使用相同的附图标记表示。正如所示，示例计算系统100可以包含计算系统102(例如，自主交通工具10上的交通工具计算系统102)和机器学习计算系统130，二者通过一或多个通信网络180通信耦合。

计算系统102可以包含一或多个处理器112和存储器114。一或多个处理器112可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或多个可操作地连接的处理器。存储器114可以包含一或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、一或多个存储设备、闪存设备等，及其组合。

存储器114可以存储能够由一或多个处理器112访问的信息。举例来说，存储器114(例如，一或多个非暂时性计算机可读存储介质、存储设备)可以存储能够获得、接收、访问、写入、操纵、创建和/或存储的数据116。存储器114还可以存储能够由一或多个处理器112执行的计算机可读指令118。指令可以是以任何合适的编程语言编写的软件，也可以用硬件实现。附加地或可替代地，指令可以在处理器112上的逻辑和/或虚拟单独线程中执行。例如，存储器114可以存储指令，所述指令在由一或多个处理器112执行时，使一或多个处理器112执行本文所描述的任何操作和/或功能。

计算系统102还可以包含用于与一或多个系统或设备通信的网络接口128，所述系统或设备包含位置远离计算系统102的系统或设备。网络接口128可以包含用于与一或多个网络(例如，180)通信的任何电路、部件、软件等。在一些实现方式中，网络接口128可以包含，例如用于数据通信的通信控制器、接收机、收发器、发射机、端口、导体、软件和/或硬件中的一或多个。

如本文所描述的，计算系统102还可以包含感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150。感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个，都可以包含用于提供所需功能的计算机逻辑。在一些实现方式中，感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个，都可以以控制通用处理器的硬件、固件和/或软件来实现。例如，在一些实现方式中，感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个可以包含程序文件，所述程序文件存储在存储设备上，加载到存储器中并且由一或多个处理器执行。在其他实现方式中，感知系统103、预测系统104、运动计划系统105、交通工具控制器106和优先级分类系统150中的每一个都可以包含一或多组计算机可执行指令，所述指令存储在有形计算机可读存储介质中，诸如RAM硬盘或光学或磁性介质。

根据本公开的示例方面，在一些实现方式中，预测系统104可以包含低保真度预测系统122和高保真度预测系统124。例如，在一些实现方式中，高保真度预测系统124可以包含或以其他方式利用一或多个机器习得模型，以便预测每个对象的未来位置。例如，在一些实现方式中，高保真度预测系统124可以是面向目标的预测系统，所述预测系统生成一或多个潜在目标，选择一或多个最可能的潜在目标，并开发出对象可以通过其实现一或多个所选目标的一或多个轨迹。例如，高保真度预测系统124可以包含：场景生成系统，其为对象生成一或多个目标和/或对所述一或多个目标进行计分；和场景开发系统，其确定对象可以通过其实现目标的一或多个轨迹。在一些实现方式中，高保真度预测系统124可以包含机器习得目标计分模型，机器习得轨迹开发模型和/或其他机器习得模型。

在一些实现方式中，低保真度预测系统122可以包含一或多个状态正向积分模型。例如，低保真度预测系统122可以通过对当前状态进行正向积分来预测对象的未来状态。例如，低保真度预测系统可以使用对象的当前方位、当前速率和当前航向，确定对象在未来时间段的预测的未来位置。

在一些实现方式中，通过至少部分地基于对象的优先级分类选择未来位置预测系统，并且使用所选未来位置预测系统确定对象的预测的未来状态，计算系统102可以至少部分地基于对象的优先级分类，来确定每个对象的预测的未来状态。例如，在一些实现方式中，低保真度预测系统122可以用于确定低分类为优先级的对象的预测的未来状态，而高保真度预测系统124可以用于确定分类为高优先级的对象的预测的未来状态。

使用低保真度预测系统和高保真度预测系统，至少部分地基于每个对象的优先级分类来确定每个对象的预测的未来状态，提供的优点是：可以更有效地分配计算资源。例如，由于其对交通工具运动计划的影响可能可忽略而分类为低优先级的对象，可能不需要复杂的预测系统(诸如高保真度预测系统124)来确定这些对象的预测的未来状态。例如，位置远离自主交通工具和/或在远离自主交通工具的方向上行驶的低优先级对象，可能对自主交通工具的运动计划几乎没有影响。这样，对比低保真度预测模型122(诸如简单的状态正向积分模型)，本文所描述的面向目标的预测系统提供的粒度几乎没有提供任何好处。因此，通过首先确定每个对象的优先级分类，可以更有效地分配计算资源，以便确定每个对象的预测的未来状态。

根据本公开的另一个示例方面，优先级分类系统150可以存储或包含一或多个机器习得模型120。例如，机器习得模型120可以是或可以以其他方式包含各种机器习得模型，诸如，基于决策树的模型、支持向量机、k最临近模型、神经网络(例如，深度神经网络)或其他多层非线性模型。示例神经网络包含前馈神经网络、递归神经网络(例如，长短期记忆递归神经网络)或其他形式的神经网络。

在一些实现方式中，一或多个机器习得模型120可以包含机器习得对象优先级分类器。例如，在一些实现方式中，机器习得对象优先级分类器可以被配置为将感知系统103感知的对象分类为高优先级或低优先级。在一些实现方式中，机器习得对象优先级分类器可以被配置为根据相应的对象优先级对对象进行排名，如本文所描述的。

在一些实现方式中，计算系统102可以使用机器习得模型120，确定每个对象的优先级分类。例如，计算系统102可以获得描述机器习得模型的数据，将感知系统103感知的每个对象的相应的状态数据输入到机器习得模型120中，并且将指示每个对象的相应的优先级分类的数据作为机器习得模型的输出进行接收。在一些实现方式中，机器习得模型120和/或优先级分类系统150可以被配置为将每个对象的相应的优先级分类提供给预测系统104。

在一些实现方式中，交通工具计算系统102可以通过网络180从机器学习计算系统130接收一或多个机器习得模型120，并且可以将一或多个机器习得模型120存储在存储器114中。然后，交通工具计算系统102可以使用或以其他方式实现一或多个机器习得模型120(例如，通过处理器112)。

在一些实现方式中，可以通过机器学习计算系统130执行本文描述的某些操作，所述机器学习计算系统的位置远离计算系统102并且通过一或多个无线网络180(例如，蜂窝数据网络、卫星通信网络、广域网等)与计算系统102通信。作为示例，机器学习计算系统130可以包含一或多个服务器计算设备。在使用多个服务器计算设备的情况下，可以根据并行计算架构、顺序计算架构或其组合，对服务器计算设备进行布置。

机器学习计算系统130可以包含一或多个处理器132和存储器134。一或多个处理器132可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或多个可操作地连接的处理器。存储器134可以包含一或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、一或多个存储设备、闪存设备等，及其组合。

存储器134可以存储能够由一或多个处理器132访问的信息。举例来说，存储器134(例如，一或多个非暂时性计算机可读存储介质、存储设备)可以存储能够获得、接收、访问、写入、操纵、创建和/或存储的数据136。在一些实现方式中，机器学习计算系统130可以从远离系统130的一或多个存储设备获得数据。

存储器134还可以存储能够由一或多个处理器132执行的计算机可读指令138。指令138可以是以任何合适的编程语言编写的软件，也可以用硬件实现。附加地或可替代地，指令138可以在处理器132上的逻辑和/或虚拟单独线程中执行。例如，存储器134可以存储指令138，所述指令在由一或多个处理器132执行时，使一或多个处理器132执行本文所描述的任何操作和/或功能。

机器学习计算系统130还可以包含用于与一或多个系统或设备通信的网络接口164，所述系统或设备包含位置远离机器学习计算系统130的系统或设备。网络接口164可以包含用于与一或多个网络(例如，180)通信的任何电路、部件、软件等。在一些实现方式中，网络接口164可以包含，例如用于数据通信的通信控制器、接收机、收发器、发射机、端口、导体、软件和/或硬件中的一或多个。

在一些实现方式中，机器学习计算系统130包含一或多个服务器计算设备。如果机器学习计算系统130包含多个服务器计算设备，此类服务器计算设备可以根据各种计算架构来操作，包含：例如，顺序计算架构、并行计算架构或其某种组合。

除了在计算系统102处的模型110之外，或者可替代其地，机器学习计算系统130可以包含一或多个机器习得模型140。例如，机器习得模型140可以是或可以以其他方式包含各种机器习得模型，诸如，基于决策树的模型、支持向量机、k最临近模型、神经网络(例如，深度神经网络)或其他多层非线性模型。示例神经网络包含前馈神经网络、递归神经网络(例如，长短期记忆递归神经网络)或其他形式的神经网络。

作为示例，机器学习计算系统130可以根据客户端-服务器的关系与计算系统102通信。例如，机器学习计算系统140可以实现机器习得模型140，以便向计算系统102提供Web服务。例如，Web服务可以将对象优先级分类提供给计算系统102。

因此，机器习得模型110可以位于计算系统102中并在其中使用，和/或机器习得模型140可以位于机器学习计算系统130中并在其中使用。

在一些实现方式中，机器学习计算系统130和/或计算系统102可以通过使用模型训练器160来训练机器习得模型110和/或140。模型训练器160可以使用一或多种训练或学习算法对机器习得模型110和/或140进行训练。一种示例训练技术是误差反向传播。在一些实现方式中，模型训练器160可以使用一组标记的训练数据162执行监督训练技术。在其他实现方式中，模型训练器160可以使用一组未标记的训练数据162执行非监督训练技术。模型训练器160可以执行若干泛化技术，以提高被训练的模型的泛化能力。泛化技术包括权重衰减、丢弃或其他技术。

特别地，模型训练器160可以基于一组训练数据162来训练机器习得模型110和/或140。训练数据162可以包含，例如，来自先前完成的自主交通工具驾驶阶段的交通工具数据日志。交通工具数据日志可以包含，例如，自主交通工具的一或多个传感器获得的传感器数据、描述自主交通工具的感知系统103感知的一或多个对象的状态数据、预测系统104确定的自主交通工具感知的对象的预测的未来状态、运动计划系统105确定的先前运动计划或本文所描述的其他交通工具数据。在一些实现方式中，模型训练器160可以被配置为通过确定自主交通工具感知的对象是否影响自主交通工具的运动计划，对机器习得模型110和/或140进行训练。

根据本公开的另一个方面，训练数据162可以包含交通工具数据日志，所述交通工具数据日志包含由人类审查者记录的对象优先级分类标记，可以用于训练机器习得模型110和/或140。特别地，人类审查者可以审查交通工具数据日志，并为感知系统103感知的对象标记对象优先级分类。

模型训练器160包含用于提供所需功能的计算机逻辑，并且可以以控制通用处理器的硬件、固件和/或软件实现。例如，在一些实现方式中，模型训练器160包含程序文件，所述程序文件存储在存储设备上，加载到存储器中并且由一或多个处理器执行。在其他实现方式中，模型训练器160包含一或多组计算机可执行指令，所述计算机可执行指令存储在有形计算机可读存储介质中，诸如RAM硬盘或光学或磁性介质。

网络180可以是允许设备之间进行通信的任何类型的网络或网络的组合。在一些实施例中，网络180可以包含局域网、广域网、因特网、安全网络、蜂窝网络、网状网络、对等通信链路和/或其某种组合中的一或多个，并且可以包括任意数量的有线或无线链路。举例来说，经由使用任何类型的协议、保护方案、编码、格式、封装等的网络接口，可以完成通过网络180的通信。

图5示出了可用于实现本公开的一个示例计算系统100。也可以使用其他计算系统。例如，在一些实现方式中，计算系统102可以包含模型训练器160和训练数据集162。在这样的实现方式中，机器习得模型110可以在计算系统102中进行本地训练和使用。作为另一个示例，在一些实现方式中，计算系统102未连接到其他计算系统。

另外，图示和/或讨论为包含在计算系统102或130中的一个中的部件，可以替代地包含在计算系统102或130中的另一个之中。此类配置可以在不脱离本公开的范围的情况下实现。使用基于计算机的系统允许在部件之间实现任务和功能的多种可能的配置、组合和划分。计算机实现的操作可以在单个部件上执行，也可以在多个部件上执行。计算机实现的任务和/或操作可以按顺序执行或并行执行。数据和指令可以存储在单个存储设备中，也可以存储在多个存储设备中。

现在参考图6，描绘了根据本公开的示例方面的用于至少部分地基于对象的优先级分类来确定自主交通工具感知的对象的预测的未来状态的示方例法(600)。虽然图6为了说明和讨论的目的描绘了以特定顺序执行的步骤，但本公开的方法不限于所示的特定顺序或布置。在不脱离本公开的范围的情况下，可以以各种方式省略、重新布置、组合和/或调整方法(600)的各个步骤。方法(600)可以由诸如包括一或多个计算设备的计算系统之类的计算系统实现。

在(602)中，方法(600)可以包含：通过计算系统，获得至少描述自主交通工具感知的多个对象的当前或过去状态的状态数据。例如，状态数据可以包含描述对象的一或多个特征(诸如，方位、速率、加速度、航向、横摆率、形状、大小、类型、与自主交通工具之间的距离、与自主交通工具交互的最小路径、与自主交通工具交互的最短持续时间)的数据、本文描述的任何其他状态数据或描述自主交通工具感知的对象的任何状态数据。在一些实现方式中，状态数据可以从自主交通工具的感知系统获得，所述感知系统被配置为基于从自主交通工具的一或多个传感器获得的传感器数据来生成状态数据。

在(604)中，方法(600)可以包含：通过计算系统，至少部分地基于每个对象的相应的状态数据，确定多个对象中的每个对象的优先级分类。例如，在一些实现方式中，可以通过优先级分类系统确定每个对象的优先级分类。在一些实现方式中，优先级分类可以是每个对象的高优先级分类或低优先级分类。在一些实现方式中，优先级分类可以是每个对象的相应的优先级排名(相对于自主交通工具感知的每个其他对象)。

在一些实现方式中，可以通过机器习得模型确定优先级分类。例如，在(606)中，所述方法可以包含获得描述机器习得模型的数据。在一些实现方式中，可以从计算系统的存储器(例如，非暂时性计算机可读介质)获得描述机器习得模型的数据。在一些实现方式中，机器习得模型可以是机器习得对象优先级分类器，所述机器习得对象优先级分类器被配置为基于每个对象的相应的状态数据，将每个对象分类为高优先级或低优先级。

在(608)中，方法(600)可以包含将对象的相应的状态数据输入到机器习得模型中。例如，感知系统生成的状态数据可以由优先级分类系统的机器习得模型接收。可以将每个对象的相应的状态数据输入到机器习得模型中，以便确定每个相应的对象的优先级分类。

在(610)中，方法(600)可以包含将指示相应的优先级分类的数据作为机器习得模型的输出进行接收。例如，在一些实现方式中，机器习得模型可以是机器习得对象优先级分类器，所述机器习得对象优先级分类器被配置为将每个对象分类为高优先级或低优先级，并且基于每个对象的相应的状态数据，输出相应的高优先级或低优先级分类。

在(612)中，方法(600)可以包含：通过计算系统，至少部分地基于每个对象的优先级分类，确定计算系统确定每个对象的预测的未来状态的顺序。例如，在一些实现方式中，可以将每个对象分类为高优先级或低优先级，并且顺序可以确定为使得在确定任何低优先级对象的预测的未来状态之前，确定每个高优先级对象的预测的未来状态。在一些实现方式中，确定计算系统确定每个对象的预测的未来状态的顺序基于分配给每个对象的优先级排名。例如，最高排名的对象可以首先确定预测的未来状态，而每个连续排名的对象则根据每个对象的相应的优先级排名依次确定。

在(614)中，方法(600)可以包含：通过计算系统，至少部分地基于所确定的顺序，确定每个对象的预测的未来状态。例如，在一些实现方式中，预测系统可以在确定分类为低优先级的每个对象的预测的未来状态之前，确定分类为高优先级的每个对象的预测的未来状态的顺序。在一些实现方式中，只要预测系统已经确定分类为高优先级的每个对象的预测的未来状态，预测系统就可以被配置为将每个高优先级对象的预测的未来状态提供给运动计划系统。在一些实现方式中，确定分类为高优先级的每个对象的预测的未来状态可以包含：至少部分地基于在最近时间帧内获得的状态数据，确定每个高优先级对象的未来状态。在一些实现方式中，确定分类为低优先级的每个对象的预测的未来状态可以包含：基于在先前顺序时间帧内获得的状态数据，确定对象的预测的未来状态。例如，在一些实现方式中，在预测系统将每个高优先级对象在当前时间帧内的预测的未来状态提供给运动计划系统的同时，预测系统可以将每个低优先级对象在先前顺序时间帧内的先前确定的预测的未来状态提供给运动计划系统。

在一些实现方式中，至少部分地基于所确定的顺序来确定每个对象的预测的未来状态可以包含：至少部分地基于对象的优先级分类，选择未来位置预测系统；和使用所选未来位置预测系统，确定对象的预测的未来状态。例如，在一些实现方式中，预测系统可以包含低保真度预测系统和高保真度预测系统。在一些实现方式中，低保真度保护系统可以用于确定每个低优先级对象的预测的未来状态，而高保真预测系统可以用于确定每个高优先级对象的预测的未来状态。

在(616)中，方法(600)可以包含：至少部分地基于至少一个对象的预测的未来状态，确定用于自主交通工具的运动计划。例如，运动计划系统可以接收自主交通工具感知的一或多个对象的一或多个预测的未来状态，并且可以至少部分地基于一或多个对象的预测的未来状态，确定自主交通工具的运动计划。

如此，根据本公开的示例方面的系统和方法可以允许确定自主交通工具感知的对象的优先级分类，基于每个对象的相应的优先级分类确定每个对象的预测的未来状态，以及至少部分地基于预测的未来状态确定自主交通工具的运动计划。

本文讨论的技术涉及服务器、数据库、软件应用程序和其他基于计算机的系统，以及对此类系统采取的行动和往来于此类系统的信息。基于计算机的系统的固有灵活性允许在部件之间，对任务和功能进行多种可能的配置、组合以及划分。举例来说，本文讨论的过程可以使用单个设备或部件或以组合形式工作的多个设备或部件来实现。数据库和应用程序可以在单个系统上实现，也可以分布在多个系统上。分布式部件可以按顺序或并行运行。

尽管本主题已经针对其各种具体示例实施例进行了详细描述，但是每个示例都是通过说明的方式提供，而不对本公开构成限制。本领域技术人员在理解前述内容后，可以容易地对这些实施例进行变更、变型和等效操作。因此，本公开不排除包括对本领域普通技术人员而言显而易见的对本主题内容的这种修改、变型和/或添加。举例来说，作为一个实施例的一部分示出或描述的特征，可以和另一个实施例一起使用来形成又一个实施例。因此，本公开旨在涵盖此类变更、变型和等效形式。

Claims (20)

1.一种计算机实现的方法，包括：

通过包括一或多个处理器的计算系统，获得至少描述自主交通工具感知的多个对象的当前或过去状态的状态数据；

通过所述计算系统，至少部分地基于所述多个对象中的每个对象的所述相应的状态数据，确定每个对象的优先级分类；

通过所述计算系统，至少部分地基于每个对象的所述优先级分类，确定所述计算系统确定每个对象的预测的未来状态的顺序；以及

通过所述计算系统，至少部分地基于所述所确定的顺序，确定每个对象的所述预测的未来状态。

2.根据权利要求1所述的计算机实现的方法，进一步包括：

通过所述计算系统，至少部分地基于至少一个所述对象的所述预测的未来状态，确定用于所述自主交通工具的运动计划。

3.根据权利要求1或2所述的计算机实现的方法，其中，通过所述计算系统，至少部分地基于每个对象的所述相应的状态数据，确定所述多个对象中的每个对象的优先级分类包括：通过所述计算系统，将每个对象分类为高优先级或低优先级。

4.根据前述权利要求中任一项所述的计算机实现的方法，其中，通过所述计算系统获得至少描述自主交通工具感知的多个对象的当前或过去状态的状态数据包括：通过所述计算系统，获得多个连续的时间帧内描述所述自主交通工具感知的所述多个对象的当前状态的状态数据。

5.根据权利要求4所述的计算机实现的方法，其中，通过所述计算系统确定分类为高优先级的对象的所述预测的未来状态包括：通过所述计算系统，至少部分地基于最近时间帧内获得的状态数据，确定所述对象的所述预测的未来状态。

6.根据权利要求4或5所述的计算机实现的方法，其中，通过所述计算系统确定分类为低优先级的对象的所述预测的未来状态包括：通过所述计算系统，基于先前顺序时间帧内获得的状态数据，确定所述已确定的对象的预测的未来状态。

7.根据前述权利要求中任一项所述的计算机实现的方法，其中，通过所述计算系统，至少部分地基于对象的所述优先级分类，确定所述对象的预测的未来状态包括：

通过所述计算系统，至少部分地基于所述对象的所述优先级分类，选择未来位置预测系统；和

通过所述计算系统，使用所述所选择的未来位置预测系统，确定所述对象的所述预测的未来状态。

8.根据权利要求7所述的计算机实现的方法，其中，所述未来位置预测系统包括低保真度预测系统或高保真度预测系统；

其中，每个对象的所述优先级分类包括高优先级分类或低优先级分类；

其中，通过所述计算系统确定每个低优先级对象的所述预测的未来状态包括：通过所述计算系统，使用所述低保真度预测系统，确定所述对象的所述预测的未来状态；并且

其中，通过所述计算系统确定每个高优先级对象的所述预测的未来状态包括：通过所述计算系统，使用所述高保真度预测系统，确定所述对象的所述预测的未来状态。

9.根据前述权利要求中任一项所述的计算机实现的方法，其中，通过所述计算系统确定每个对象的优先级分类包括：通过所述计算系统，至少部分地基于所述自主交通工具的速率，确定第一数量的所述要分类为高优先级的对象与第二数量的所述要分类为低优先级的对象的比率。

10.根据前述权利要求中任一项所述的计算机实现的方法，其中，通过所述计算系统确定每个对象的优先级分类包括：通过所述计算系统，至少部分地基于所述对象的一或多个特征，确定每个对象的所述优先级分类；

其中，每个对象的所述一或多个特征包括以下一或多项：位置、速率、加速度、航向、横摆率、形状、大小、类型、与所述自主交通工具的距离、与所述自主交通工具交互的最小路径或与所述自主交通工具交互的最短持续时间。

11.根据前述权利要求中任一项所述的计算机实现的方法，其中，通过所述计算系统，至少部分地基于每个对象的所述相应的状态数据，确定每个对象的优先级分类包括：通过所述计算系统，使用机器习得模型确定每个对象的所述优先级分类。

12.根据权利要求11所述的计算机实现的方法，其中，所述机器习得模型已经至少部分地基于训练数据进行了训练，所述训练数据包括先前在先前的自主交通工具驾驶阶段期间收集的带注释的交通工具数据日志。

13.根据权利要求11或12所述的计算机实现的方法，其中，通过所述计算系统，使用所述机器习得模型确定每个对象的所述优先级分类包括：

通过所述计算系统，获得描述所述机器习得模型的数据；

通过所述计算系统，将每个对象的所述相应的状态数据输入到所述机器习得模型中；以及

通过所述计算系统，将指示每个对象的相应的优先级分类的数据作为所述机器习得模型的输出进行接收。

14.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述计算系统在所述自主交通工具上。

15.一种计算系统，包括：

包括一或多个处理器的感知系统，其中，所述感知系统被配置为在多个连续时间帧中的每一个内生成状态数据，所述状态数据至少描述自主交通工具感知的多个对象中的每一个的当前状态；

包括一或多个处理器的优先级分类系统，其中，所述优先级分类系统被配置为在所述多个连续时间帧中的每一个内，至少部分地基于每个对象的所述相应的状态数据，将所述多个对象中的每个对象分类为高优先级或低优先级；以及

包括一或多个处理器的预测系统，其中，所述预测系统被配置为在所述多个连续时间帧中的每一个内：

接收每个相应的对象的所述优先级分类；

确定当前时间帧内每个分类为高优先级的对象的预测的未来状态；以及

将在所述当前时间帧内分类为高优先级的每个对象的所述预测的未来状态，提供给所述一或多个处理器实现的运动计划系统。

16.根据权利要求15所述的计算系统，其中，在所述将分类为高优先级的每个对象的所述预测的未来状态提供给所述运动计划系统之后，所述预测系统进一步被配置为：

确定分类为低优先级的每个对象在所述当前时间帧内的预测的未来状态。

17.根据权利要求15或16所述的计算系统，其中，所述预测系统进一步被配置为：

将分类为低优先级的每个对象在先前顺序时间帧内的预测的未来状态，提供给所述运动计划系统；

其中，分类为低优先级的每个对象在所述先前顺序时间帧内的所述预测的未来状态，与分类为高优先级的每个对象在所述当前时间帧内的所述预测的未来状态一起，同时提供给所述运动计划系统。

18.根据权利要求15、16或17中任一项所述的计算系统，其中，所述优先级分类系统包括机器习得对象优先级分类器，其被配置为将每个相应的对象分类为高优先级或低优先级。

19.根据权利要求15、16、17或18中任一项所述的计算系统，其中，所述预测系统进一步被配置为对分类为低优先级的对象执行低保真度预测；并且

其中，所述预测系统进一步被配置为对分类为高优先级的对象执行高保真度预测。

20.一种自主交通工具，包括：

一或多个处理器；和

一或多个非暂时性计算机可读介质，其共同存储指令，所述指令在由所述一或多个处理器执行时使所述一或多个处理器执行操作，所述操作包括：

获得至少描述自主交通工具感知的多个对象的一个当前或过去状态的状态数据；

至少部分地基于每个对象的所述相应的状态数据，确定所述多个对象中的每个对象的优先级分类；

至少部分地基于每个对象的所述优先级分类，确定所述计算系统确定每个对象的预测的未来状态的顺序；以及

至少部分地基于所述所确定的顺序，确定每个对象的所述预测的未来状态。

Images