CN116917184A - 移动机器人的预测与规划 - Google Patents

Abstract

一种预测场景中一个或更多个参与者代理的动作的方法由场景中的自主代理实施。多个代理模型用于生成一组候选未来，每个候选未来提供参与者代理的预期动作。将加权函数应用于每个候选未来以指示该候选未来在场景中的相关性。基于所指示的相关性为每个参与者代理选择一组候选未来，其中多个代理模型包括表示从车辆场景推断的合理目标导向行为的第一模型和表示不能够从车辆场景推断的替代行为的至少一个第二模型。

Description

移动机器人的预测与规划

技术领域

本公开涉及自动驾驶车辆和其他移动机器人的规划和预测。

背景技术

新兴技术是可以在城镇道路上自行导航的自动驾驶车辆(autonomous vehicle，AV)。这种车辆不仅必须在人和其他车辆之间执行复杂的操纵，而且在保证对不利事件发生(诸如在环境中与这些代理的碰撞)的概率的严格限制的同时必须经常这样做。自动驾驶车辆(也称为无人驾驶车辆)是指具有用于监测其外部环境的传感器系统和能够使用这些传感器自动做出驾驶决策并实施该驾驶决策的控制系统的车辆。这种车辆尤其包括基于来自传感器系统的感知输入对车辆速度和行进方向进行自动调整的能力。全自动驾驶或“无人驾驶”车辆具有无需来自人类驾驶员的任何输入而运行的足够决策能力。然而，本文中使用的术语“自动驾驶车辆”也适用于半自动驾驶车辆，这种半自动驾驶车辆具有更有限的自主决策能力，因此仍需要来自人类驾驶员的一定程度的监督。其他移动机器人正在开发中，例如用于在内部和外部工业区中运送货物。这种移动机器人不载人，属于被称为UAV(unmanned autonomous vehicle，无人自动驾驶车辆)的移动机器人类别。自动驾驶空中移动机器人(无人机，drone)也正在开发中。

这种AV或移动机器人面临的核心问题是预测环境中其他代理的行为，以便可以评估可能由自动驾驶车辆采取的动作(自主动作)。这允许以考虑到对其他车辆的预测的方式来规划自主动作。

名称为“自动驾驶车辆规划和预测”的公开WO 2020079066描述了一种基于“逆向规划”的预测形式。逆向规划是指假设代理将以可预测的方式规划其决策的预测方法类别。可以对可能的操纵或行为进行逆向规划，以便基于相关观察来推断代理的当前操纵/行为(操纵检测的形式)。也可以对可能的目标进行逆向规划，以推断代理的可能目标(目标识别的形式)。

发明内容

发明人已经认识到WO 2020079066中描述的方法在可能推断代理的目标的性质方面具有局限性。

本发明的各方面通过提供一种用于执行代理行为预测的方法来解决这些限制，该代理行为包括多种类型的代理行为，而不仅仅是WO 2020079066中所描述的合理目标导向行为。本发明的各方面使得能够对各种范围的代理行为(包括实际驾驶员在实践中可以遵循的一系列行为)进行建模。这种行为扩展了合理的目标导向行为，可能包括驾驶员错误和非合理行为。

根据本发明的一个方面，提供了一种由自主代理在对场景中的一个或更多个参与者代理的动作进行预测的场景中实施的方法，该方法包括：

对于每个参与者代理，使用多个代理模型来生成一组候选未来，每个候选未来提供参与者代理的预期动作；

将加权函数应用于每个候选未来以指示该候选未来在场景中的相关性；以及

基于所指示的相关性为每个参与者代理选择一组候选未来，其中多个代理模型包括表示从车辆场景推断的合理目标导向行为的第一模型和表示不能够从车辆场景推断的替代行为的至少一个第二模型。

在一些实施例中，生成每个候选未来的步骤由自主代理的预测部件执行，该预测部件以预测时间步长提供每个预期动作。候选未来可以被传输到自主代理的规划器。预测时间步长可以是在生成候选未来时的当前时间之前的预定时间。可以在给定的时间窗口中生成候选未来。

在其他实施例中，通过联合规划器/预测探索方法生成候选未来。

在一些实施例中，使用代理模型生成候选未来的步骤包括向每个代理模型提供场景中所有参与者代理的当前状态。

在一些实施例中，在生成候选未来之前，可以将场景中一个或更多个参与者代理的历史提供给每个代理模型。

可以在生成候选未来之前将当前场景的传感器导出数据提供给每个代理模型。可以从构成自主代理的AV上的传感器系统导出数据。

至少一个第二模型可以选自以下代理模型类型中的一个或更多个：

表示基于关于场景的不充分或不正确信息的合理目标导向行为的代理模型类型；

表示参与者代理的意外动作的代理模型类型；以及

对已知或观察的驾驶员错误进行建模的代理模型类型。

在一些实施例中，每个候选未来被限定为参与者代理的一个或更多个轨迹。在其他实施例中，每个候选未来被限定为光栅概率密度函数。

选择候选未来的步骤可以包括使用指示事件发生的可能性的概率分数和指示产生的结果对自主代理的重要性的重要性因素中的至少一个。

使用指示候选未来将由参与者代理实施的可能性的概率分数和指示候选未来对自主代理的重要性的重要性因素中的至少一个。

在另一方面，本发明提供了一种计算机设备，该计算机设备包括一个或更多个硬件处理器和计算机存储器，该计算机存储器存储计算机可执行指令，该计算机可执行指令在由一个或更多个硬件处理器执行时实施上述限定的方法。

在另一方面，本发明提供了一种计算机程序产品，该计算机程序产品包括存储在计算机存储器上的计算机可执行指令，该计算机可执行指令能够由一个或更多个硬件处理器执行以实施上述限定的方法。

计算机设备可以体现在自动驾驶车辆的车载计算机系统中，该自动驾驶车辆包括用于捕获数据的车载传感器系统，该数据包括关于场景的环境和该环境中的参与者代理的状态的信息。

计算机设备可以包括数据处理部件，该数据处理部件被配置为实施定位、对象检测和对象追踪中的至少一个，以提供场景的环境表示。

在另一方面，本公开提供了一种对计算机实施的行为模型进行训练以用于预测车辆场景中的参与者车辆代理的动作的方法，其中行为模型被配置为识别在车辆场景中发生的极低概率事件，该方法包括：

将输入训练数据应用于计算机实施的机器学习系统，训练数据来源于在这种极低概率事件是数据集的收集数据的唯一来源的情境中收集的数据集，其中计算机实施的机器学习系统被配置为分类器，由此所训练的模型识别车辆场景中的这种极低概率事件。

在另一方面，本公开还提供了一种计算机设备，该计算机设备包括一个或更多个硬件处理器和存储计算机可执行指令的计算机存储器，计算机可执行指令在由一个或更多个硬件处理器执行时实施前述方法。

在另一方面，本公开还提供了一种计算机程序产品，该计算机程序产品包括存储在计算机存储器上的计算机可执行指令，该计算机可执行指令能够由一个或更多个硬件处理器执行以实施前述方法。

为了更好地理解本发明并示出如何执行本发明，现在将以示例的方式参考附图。

附图说明

图1是AV车载计算机系统的功能示意图；

图2示出了车道变换交互场景。

具体实施方式

本公开涉及在交互场景中执行代理行为预测的方法和系统，在该交互场景中，自主代理需要预测和规划其操纵。本公开涉及基于多种类型的代理行为(包括合理目标导向行为和诸如错误的非理想行为)的交互预测，以产生交互场景中的未来状态的估计。交互预测涉及预测多个预期的未来状态，每个预期的未来状态包括场景中每个代理的未来位置或轨迹，以及对每个状态可能发生的概率的估计。这些预测的未来状态涉及例如通过考虑代理将如何对自主车辆做出反应对未来状态中存在的每个代理的一致预测。

现在将参考图1，图1示出了作为AV运行时堆栈的一部分的自动驾驶车辆(自主车辆(ego vehicle)，EV)的车载计算机系统100中包括的某些功能部件的示意性功能框图。这些部件包括数据处理部件102、预测部件104和规划部件(AV规划器)106。计算机系统100包括计算机设备，该计算机设备具有一个或更多个硬件处理器和存储计算机可执行指令的计算机存储器，计算机可执行指令在由一个或更多个硬件处理器执行时实施功能部件的功能。可以以存储或可传输指令的形式在暂时性或非暂时性计算机程序产品中提供计算机可执行指令。

数据处理部件102接收来自AV上的车载传感器系统108的传感器数据。车载传感器系统108可以采用不同的形式，但通常包括各种传感器(诸如图像捕获设备(相机)、LIDAR单元等、卫星定位传感器(GPS等)、运动传感器(加速度计、陀螺仪等)等)，这些传感器共同提供丰富的传感器数据，可能从这些丰富的传感器数据中提取关于周围环境以及AV和该环境内的其他参与者(车辆、行人等)的状态的详细信息。

在图1中，示出了三个示例参与者，分别标记为参与者车辆(AV)1、AV2和AV3。

注意的是，本技术不限于使用AV本身的车载光学传感器(图像捕获设备、LIDAR等)来使用图像数据等捕获。可以替代地或附加地使用外部捕获的传感器数据(例如由AV附近的外部图像捕获单元捕获的CCTV图像等)来应用该方法。在这种情况下，AV可以经由一个或更多个无线通信链路从外部传感器数据源接收至少一些传感器输入。

数据处理部件102处理传感器数据，以便从中提取信息。该组功能部件负责记录关于场景和场景中的参与者的一般信息。这些功能部件包括定位块110、对象检测块112和对象追踪块114。

执行定位以提供对周围环境及周围环境内的AV位置的感知。可以使用各种定位技术(包括视觉定位和基于地图的定位)来提出异议。作为示例，参考名称为“车辆定位”的英国专利申请No.1812658.1，该英国专利申请通过引用被整体并入本文。该专利申请公开了一种合适的定位方法，该定位方法使用视觉检测和预定地图数据的组合。将分割应用于视觉(图像)数据以检测周围道路结构，该周围道路结构又与诸如高清晰度地图的预定映射数据相匹配，以便确定相对于道路和/或周围环境的其他结构中在地图参照系中的AV位置的精确和稳健的估计，这又通过合并视觉数据和地图数据基于视觉检测和基于地图的推断的组合来确定。为了确定位置估计，使用粒子滤波或类似方法将根据结构匹配确定的单个位置估计与其他位置估计(例如GPS)相结合，以提供地图参照系中AV的精确位置估计，该精确位置估计对单个位置估计的精确性的波动是稳健的。在精确地确定了地图上的AV位置之后，将视觉检测到的道路结构与预定的地图数据合并，以提供实时地图形式的车辆当前和历史周围环境的综合表示，以及地图参照系中AV位置的精确和稳健估计。在本情境中，术语“地图数据”包括通过将视觉(或基于其他传感器的)检测与预定地图数据合并而导出的实时地图的地图数据，但也包括预定地图数据或仅从视觉/传感器检测导出的地图数据。

对象检测应用于传感器数据，以检测和定位环境中的外部参与者，诸如车辆、行人和AV需要能够安全响应其行为的其他外部参与者。这可以例如包括3D边界框检测的形式，其中估计环境内和/或相对于自主车辆的对象的位置、方向或大小。这可以例如应用于3D图像数据，诸如RGBD(红绿蓝深度)、LIDAR、点云等。这允许在地图上确定这种外部参与者的位置和其他物理属性。

对象追踪用于追踪检测到的对象在环境中的任何移动。结果是通过对象追踪随时间变化确定的每个参与者的观察轨迹。观察到的轨迹行程是移动对象的历史，其捕获移动对象随时间变化的路径，并且还可以捕获其他信息，诸如对象在不同时间点的历史速度、加速度等。

提供了保存代理的历史的代理历史部件113。每个代理具有标识符，自主车辆通过该标识符识别场景中的参与者，并且与在代理历史表113中的其历史相关联。

根据本发明的实施例的交互预测系统包括一组代理模型AMa、AMb、AMc……，每个代理模型获取所有代理的当前状态、代理的历史和当前场景的输入的细节，并产生给定代理的未来动作的预测集。

由数据处理部件102实施的定位、对象检测和对象追踪提供了自主车辆周围环境、该环境内任何外部参与者的当前状态以及AV能够追踪的这些参与者的历史轨迹的综合表示。这是实时不断更新的，以提供最新的位置和环境感知。

如上所述，该信息被提供给代理模型，以产生给定代理的未来动作的预测集。

预测部件104使用该信息作为预测分析的基础，在预测分析中，预测部件104对AV附近的外部参与者的未来行为进行预测。预测部件104包括计算机可执行指令，当由计算机系统100中的计算机设备的一个或更多个硬件处理器执行时，这些计算机可执行指令实施用于进行这种预测的方法。可以存储或可传输指令的形式在暂时性或非暂时性计算机程序产品中提供计算机可执行指令。

为了进行预测，预测部件使用未来探索系统FES(future exploration system)105，FES105使用代理模型为处于给定状态的每个代理寻找可能的未来，对可能的未来状态和来自这些状态的动作进行选择性探索，并产生由场景中的代理的未来状态组成的预测未来集。

根据当前观察到的世界状态和其中的代理，如果需要在给定的时间窗口(诸如提前五秒)进行预测，则产生预测涉及例如通过选择被认为是最可能的未来集或与代理行为的特定模型一致的未来集来选择所有可能未来的简化集。在一些实施例中，可以选择对自主车辆产生良好决策具有重要意义的未来。例如，一些未来可能是较低的概率，但会导致碰撞，甚至只是给自主驾驶员或其他驾驶员带来不便，这些也会被考虑在内。

在一个实施例中，AV规划部件106(有时在本文中称为AV规划器)使用关于自主车辆周围环境及其中的外部代理的提取信息以及由预测部件104提供的行为预测，作为AV规划的基础。也就是说，预测部件104的预测分析在已经由数据处理部件从传感器数据提取的信息之上添加一层预测信息，该层预测信息又被AV规划部件106用作AV规划决策的基础。注意，在其他实施例中，规划和预测可以在对未来路径的联合探索中一起执行。规划部件106包括计算机可执行指令，当由计算机系统100的计算机设备的一个或更多个硬件处理器执行时，该计算机可执行指令实施规划方法。可以以存储或可传输指令的形式在暂时性或非暂时性计算机程序产品中提供计算机可执行指令。

该系统实施分层规划过程，在该过程中，AV规划部件106做出各种高级决策以及实施高级决策所需的越来越低的级别决策。例如，如本文进一步描述的，AV规划器可以推断归因于某些参与者的某些目标，然后确定与这些目标相关联的某些路径。较低级别决策可以基于针对这些路径要采取的动作。最终的结果是一系列实时的低级别动作决策。为了实施这些决策，AV规划部件106生成控制信号，该控制信号至少部分地输入到AV的驱动机构116，以便控制AV的行为。例如，它可以控制转向、制动、加速、换档等。还可以生成控制信号来执行诸如发信号之类的辅助动作。

可能的不利行为的范围可以非常广泛，该范围可以从相对常见的行为(诸如未能观察到另一代理)到非常不寻常的动作(诸如代理转向或加速到自主车辆的位置)。不利行为的专家系统需要包括一组可能的行为和概率估计。可以低概率对不寻常事件进行编码，也可以从模型中排除不寻常事件，这意味着概率接近0。以这种方式，不利代理行为的专家系统是概率模型的形式，需要根据数据产生估计，并基于概率预测将估计与规划系统集成。

基于所选择的系统表示和所选择的规划系统的要求来建立概率模型输出的编码。一种可能的候选编码和接口可以是为给定时间窗口提供未来集，每个未来包括场景中每个代理的轨迹以及相关联的概率估计。这是低带宽编码，该低带宽编码可以适用于预测和规划系统相当独立的情况，并且使用少量数据来产生系统之间的编码交换。这种方法的变体是将每个未来编码为提供更多信息的每个代理的光栅概率密度图。

如上所述，确定可能行为的方法是联合未来探索。这是一种紧密耦合的方法，其中由预测系统对未来进行的探索与规划系统并行运行，使得待探索的未来的选择取决于由规划器提供的未来的重要性。所提出的自主轨迹可以与由规划器对未来进行的探索并行开发，并且随着预测的发生，所提出的自主轨迹可以随着时间变化而演变。规划器基于概率或重要性(以及潜在的其他参数)来选择待探索的未来，并且对于每个状态，预测部件104估计场景中的每个代理可以采取的动作的分布。在本公开中，预测部件的作用是在给定状态(以及先前状态的历史)的情况下，它估计场景中每个代理的动作或操纵的概率分布。

随着规划的修改，导出关于未来的信息，即某些联合未来状态可能仍然相关，而其他状态则不那么相关，因此每一次变化都意味着需要探索和评估附加未来状态。用于预测的有效表示可以仅允许参与交互的代理需要评估，同时可以保留独立代理的预测。预测部件104与规划器一起使用代理模型AMa、AMb……，以便预测驾驶区域中外部参与者的行为。选择所有可能未来的简化集的方式对规划部件106和AV堆栈中的适当规划具有意义。在某些实施例中，如何执行这一点以及使用未来的简化集的部件的目标是待评估的考虑因素。

代理模型可以是不同的类型。如本文所讨论的，本系统的目的是对可能不是合理行为的各种行为进行建模。如本文所限定的，合理模型沿着最佳路径朝着合理选择的目标移动。AV可能表现出不一定沿着最佳路径移动的其他行为，换言之，这些行为在它们所走的路径和移动速度上可能具有一定程度的可变性。另一类行为是避免碰撞。在充分了解做出最佳选择所需场景的所有方面的情况下，代理可以采取合理的步骤来避免碰撞。然而，代理可能表现出不完美的行为。代理可以采取合理的步骤来避免碰撞，但由于感知差等原因，可能没有被完全告知。由于规划失败/感知失败或任何其他原因，代理可能根本无法采取动作来避免碰撞。

在一些实施例中，可以根据观察到的行为来对这些行为进行建模。

第一种类型的代理模型是所谓的合理模型。根据该合理模型，假设场景中的所有代理都合理动作。也就是说，假设它们将沿着最佳路径朝着特定目标移动。它们将在合理、知情的基础上采取动作来避免碰撞。使用合理模型类型的预测方法基于给定的规划模型来预测轨迹，而不考虑其他动作，诸如非合理行为或基于代理的错误观察的行为。因此，这种类型的模型产生了预测未来集，这预测未来集不包括不利的可能性，尽管这些不利的可能性对于指导自主车辆的动作可能极其重要。如果只使用这样一个模型来产生自主规划，那么假设其他代理将为自主车辆让路可能过于乐观。在早期申请PCT/EP2020/061232中描述了这种合理类型模型的示例，该申请的内容通过引用被整体并入本文。

第二种类型的代理模型可以是基于不正确信息来调节合理动作，诸如没有观察到另一代理的存在。例如，当传感器确定环境是有限感知的环境时，这种模型可能是有用的。这可能是由于诸如恶劣天气或传感器缺陷等外部环境条件造成的。

第三种类型的模型可以是意外或非合理的行为，诸如朝着未知目标的移动或给定情境中的意外移动。例如，明显沿着直线路径的代理可能以无法从地图或环境本身中合理推断出的方式来转向车道转弯或掉头。稍后将描述用于识别此类动作的可能方法。

可以通过使用专家数据集产生模型，来对某些不完美行为进行建模，如下所述。例如，可以从事故记录中提取对场景的不充分感知或根本不避免碰撞的防碰撞行为模型。

未来探索系统105对由一个或更多个模型提供的未来进行选择性探索，并选择可用作规划和预测基础的信息性未来集。构建候选未来树，并探索该候选未来树的分支，以确定应该由规划和预测系统选择的未来。例如，该系统可以使用蒙特卡罗树搜索(Monte-Carlo tree search)。

在每个时间步长处，模型AMa、AMb……中的每一运行模型为场景中的每个代理提出动作集。这些用于构建可能未来的分支树。

由给定状态得出的后续未来集取决于用于每个代理模型的表示。每个模型产生根据特定表示限定的建议(候选)动作集。例如，依据系统的性质，可以被限定为轨迹集或光栅概率密度函数。在一些实施例中，探索可能未来可以需要加权函数来指示每个候选分支的相关性。能够影响加权的一些因素包括未来将发生的预期概率及其重要性。在使用单独的规划和预测的实施例中，可以通过来自规划的反馈来推断重要性，例如，规划器可以指示感兴趣的自主路径并指示未来状态的重要性的权重，这可以通知待探索的相关未来。

在联合探索方法下，规划器选择待探索的未来状态。重要性与状态的结果相关，也可能与风险相关联(尽管可能包括如不便等其他因素)。具有低碰撞概率但高碰撞风险的状态可以被认为是显著的。

使用分数来确定应该维持的候选未来。分数可以基于任何合适的标准，例如使用上述概率和重要性因素。

规划部件106可以执行平衡事件发生的概率和产生的结果的重要性的操作。用于确定预测的每个未来的兴趣值的分数可以使用类似的度量，尽管在一些情况下，预测系统可以使用基于来自规划器的重要性反馈的分数。

可以多种不同的方式提供重要性度量。规划器如何能够产生重要性度量的示例是基于引入候选未来是否改变自主车辆的当前选择规划。

可能影响应该检查哪些候选未来的另一因素是基于哪些未来与自主车辆的一条或多条感兴趣路径相关。选择自主轨迹来约束可能未来可以被认为是对可能未来设置条件。在其他示例中，可以基于多个可能的自主路径来操作交互预测，或者与规划器迭代地操作交互预测，而不是基于固定的自主路径来预测未来。例如，可以通过评估特定路径的未来，然后在修改路径后重新评估附加未来进行迭代操作。

如所讨论的，在一些实施例中，使用候选自主轨迹和未来预测的联合探索。

交互预测系统中出现的问题是需要在预测中包括可能的不利事件，以避免导致过于乐观的预测，乐观的预测包括关于代理对自主动作和场景中的其他代理做出有利反应的假设。可以通过对不利代理行为进行建模来消除或改善这个问题，不利代理行为包括不利事件，诸如其他代理的错误或不合作行为。

一种方法是收集大量的驾驶经验数据，驾驶经验数据包括不利事件的示例，并可用于产生这些行为的概率模型。然而，不利事件是罕见的，因此为了有效识别不利事件，需要大规模数据集。即使使用了大数据集，也很难在实例之间进行归纳，因此如果在一个场景中观察到罕见事件，则不清楚该事件被认为在其他场景中发生的可能性有多大。概率值被分配给在不同状态中发生的事件的方式可能取决于概率模型的属性，因此可能无法良好地定义什么是正确的概率估计。这可能会引起特别的困难。例如，可以用1E-4(10^-4)或1E-7(10^-7)预测事件发生的概率。这两种概率评估都可以基于可用数据进行合理评估。例如，生成这两个估计的两个模型在对观察到的数据进行测试时可能具有相同的总体精确性，但可能会为罕见事件的预测分配不同的概率估计。由于在后续处理中以数字形式使用这些估计，它们可能会导致与之截然不同的结果，例如，系统可能会忽略合理可能发生的事件，而另一系统则可能会采取措施避免或补偿此类事件。

克服这些困难的方法是明确限定代理行为的模型，代理行为包括不利动作，诸如代理未能观察到其他代理或没有以适当的方式做出反应以避免碰撞。可以通过手动定义这些错误可能发生的方式来构建这样的专家系统。可以通过限制观察到的信息来重现一些不利事件，诸如在没有观察到其他代理的情况下产生代理规划。在其他实施例中，可以不同的方式来定义动作，诸如有限状态机在给定的代理状态或规划轨迹上运行，例如通过随机地或基于某些情况对过度加速或延迟制动进行编码。使用这样的专家系统具有许多优点，诸如：

允许以最小的开销进行逐步开发，并且可以允许具有相当少量的开发的相当良好的行为；

不需要收集随机采样的驾驶经验的大规模数据集；

系统中的知识可以被逐步扩展和改进，并可以利用专门的信息源来建立知识库。

然而，建立捕获不利代理行为的专家系统的主要挑战是能够识别足够的行为来有效地覆盖域，并能够验证覆盖范围。附加挑战是能够产生足够可靠地覆盖一系列行为的实施方式，并分配精确的概率估计。

根据本发明的一些实施例，通过使用集中于此类不利事件的训练数据集(诸如可以在保险公司中找到的事故报告的数据集)，使用驾驶中不利事件的专业知识来训练模型。这类数据集中于驾驶经验的长尾细节(即，罕见事件)，并基于大量的驾驶经验来收集这类数据，例如，车辆保险公司维护的数据集可以有效地从持有此类保险的驾驶员的数百万小时的驾驶经验中收集，从持有此类保险的驾驶员的集体经验中收集。合并这些数据集可能需要考虑数据中存在的偏差，但尽管如此，此类数据源仍可以有用地用于训练模型，并验证开发的模型覆盖不利事件域的程度。

现在将描述利用本文描述的多代理模型的可能实施方式。

针对自动驾驶车辆要从其当前位置行进到选择的目的地，必须确定如何导航路线，同时考虑道路布局和道路上其他车辆的已知固定约束。这涉及到分层决策，其中更高级别决策被逐步分解为安全有效地实施更高级别决策所需的越来越细粒度的决策。

作为示例，行程可以被分解为一系列目标，这些目标是通过执行一系列操纵来实现的，而这些操纵又是通过实施动作来实现的。

在如下所述的技术的实施例的情境中使用这些术语。

目标是规划车辆试图从其当前位置或状态到达的位置的高级方面。这可以例如是高速公路出口、环形交叉路口上的出口或车辆前方设定距离处的车道上的点。可以基于车辆的最终目的地、为车辆选择的路线、车辆所处的环境等来确定目标。

车辆可以通过执行预定义的操纵或(更可能的)此类操纵的时间序列来达到预定义的目标。操纵的一些示例包括右转、左转、停车、车道变换、超车和(保持在正确的车道上的)车道追随。车辆当前可执行的操纵取决于其直接环境。例如，在T形交叉口处，车辆不能继续直行，但可以左转、右转或停车。

在任何给定时间，选择单个当前操纵，只要选择了该操纵，AV就会采取执行该操纵所需的任何动作，例如，当选择了车道跟随操纵时，以安全的速度将AV保持在正确车道中，并与前方任何车辆保持距离；当选择超车操纵时，采取预期超越前方车辆所需的任何预备动作，以及在安全的情况下超车所需的任何动作等等。给定选择的当前操纵，将实施策略以通知车辆应采取哪些动作来执行该操纵。动作是低级别控制操作，这些低级别控制操作可以包括例如顺时针转动方向盘5度或将加速器压力增加10％。可以通过考虑车辆本身的状态(包括当前位置和当前速度)、环境(包括道路布局)以及环境中其他车辆或代理的行为来确定要采取的动作。术语“场景”可用于描述许多其他车辆/代理表现出特定行为的特定环境。

可以使用强化学习或其他形式的ML训练来离线学习在给定场景中执行给定操纵的动作策略。

应该理解的是，给出的目标、作为动作的操纵的示例是非详尽的，可以根据车辆所处的情况来定义其他示例。

在某些实施例中，该模型可以有助于解释正在观察的当前情况。例如，该模型可以估计驾驶员可能会做四种最有可能的动作，当观察到它们实际所做的动作时，该模型有助于解释这一点。例如，如果观察到AV采取了特定的动作，模型会将其解释为驾驶员似乎正朝着右转方向行进，因为它们正在转弯并减速。

图2示出了车道变换交互场景，其中S1、S2表示各自的目标。在图2中，示出了每个代理朝向每个目标行进的路径的几个示例。为每个代理/目标对示出了多条路径，在这种情况下，表示在自行车运动学模型下被认为合理的最早/最新路径，以及在中间的一条路径。例如，考虑代理车辆AV1。被认为最早的合理路径被标记为P1E，并且最新的合理路径被标记为P1L。中间路径被标记为P1M。类似地，对于代理车辆AV2，该车辆的一组路径被标记为P2e、P2m和P2ll。相应地，对于代理车辆AV3。出于解释的目的，代理车辆AV1可以被认为是自主车辆。自主车辆AV1具有基于对代理车辆AV2的行为的预期来规划其路径的任务。使用基于合理目标的模型，自主车辆AV1将规划代理车辆AV2执行可能位于路径P2e……P2l中的任何路径上的合理超车操纵。自主车辆将基于已知的舒适性和安全性标准相应地规划。

然而，在少数情况下，代理车辆AV2可能不合理地操作。例如，它可能突然向右转向并减速，如标记为Pr的虚线所示。

相反地，代理车辆AV2可以合理地动作，但是在差的感知条件下，使得它看不到前方车辆AV3。在这种情况下，代理车辆AV2可能根本不会进入超车操纵，而是潜在地导致危险的碰撞。自主车辆AV1具有以一定的偶然性来规划的任务，这种偶然性可以是可能结果。也就是说，在自主车辆可能规划的路径集中，可能存在一组合理路径，然后存在可以用概率加权包括的一组不寻常路径。

Claims (20)

1.一种由自主代理在场景中实施以预测所述场景中一个或更多个参与者代理的动作的方法，所述方法包括：

对于每个参与者代理，使用多个代理模型来生成一组候选未来，每个候选未来提供所述参与者代理的预期动作；

将加权函数应用于每个候选未来以指示所述候选未来在所述场景中的相关性；以及

基于所指示的相关性为每个参与者代理选择一组候选未来，其中所述多个代理模型包括表示从车辆场景推断的合理目标导向行为的第一模型和表示不能够从所述车辆场景推断的替代行为的至少一个第二模型。

2.根据权利要求1所述的方法，其中，生成每个候选未来的步骤由所述自主代理的预测部件执行，所述预测部件在预测时间步长处提供每个预期动作。

3.根据权利要求1或2所述的方法，包括将所述候选未来传输到所述自主代理的规划器。

4.根据权利要求1或2所述的方法，其中，通过联合规划器/预测探索方法生成所述候选未来。

5.根据任一前述权利要求所述的方法，其中，使用所述代理模型生成所述候选未来的步骤包括向每个代理模型提供所述场景中所有参与者代理的当前状态。

6.根据任一前述权利要求所述的方法，包括在生成所述候选未来之前，向每个代理模型提供所述场景中一个或更多个参与者代理的历史。

7.根据任一前述权利要求所述的方法，包括在生成所述候选未来之前，将当前场景的传感器导出数据提供给每个代理模型。

8.根据权利要求2或从属于权利要求2的权利要求3-7中任一项所述的方法，其中，所述预测时间步长是生成所述候选未来的当前时间之前的预定时间。

9.根据任一前述权利要求所述的方法，其中，生成所述候选未来的步骤包括在给定的时间窗口中生成所述候选未来。

10.根据任一前述权利要求所述的方法，其中，所述至少一个第二模型选自以下代理模型类型中的一个或更多个：

表示基于关于所述场景的不充分或不正确信息的合理目标导向行为的代理模型类型；

表示参与者代理的意外动作的代理模型类型；以及

对已知或观察的驾驶员错误进行建模的代理模型类型。

11.根据任一前述权利要求所述的方法，其中，每个候选未来被限定为所述参与者代理的一个或更多个轨迹。

12.根据权利要求1-10中任一项所述的方法，其中，每个候选未来被限定为光栅概率密度函数。

13.根据任一前述权利要求所述的方法，其中，选择所述候选未来的步骤包括使用指示事件发生的可能性的概率分数和指示产生的结果对所述自主代理的重要性的重要性因素中的至少一个。

14.一种计算机设备，包括一个或更多个硬件处理器和计算机存储器，所述计算机存储器存储计算机可执行指令，所述计算机可执行指令在由所述一个或更多个硬件处理器执行时实施任一前述权利要求所述的方法。

15.一种计算机程序产品，包括存储在计算机存储器上的计算机可执行指令，所述计算机可执行指令能够由一个或更多个硬件处理器执行以实施权利要求1-13中任一项所述的方法。

16.根据权利要求14所述的计算机设备，当体现在自动驾驶车辆的车载计算机系统中时，所述自动驾驶车辆包括用于捕获数据的车载传感器系统，该数据包括关于场景的环境和该环境中的参与者代理的状态的信息。

17.根据权利要求16所述的计算机设备，包括数据处理部件，所述数据处理部件被配置为实施定位、对象检测和对象追踪中的至少一个，以提供所述场景的环境的表示。

18.一种对计算机实施的行为模型进行训练以用于预测车辆场景中参与者车辆代理的动作的方法，其中，所述行为模型被配置为识别在所述车辆场景中发生的极低概率事件，所述方法包括：

将输入训练数据应用于计算机实施的机器学习系统，所述训练数据来源于在该极低概率事件是数据集的收集数据的唯一来源的情境中收集的数据集，其中，所述计算机实施的机器学习系统被配置为分类器，由此所训练的模型识别所述车辆场景中的该极低概率事件。

19.一种计算机设备，包括一个或更多个硬件处理器和计算机存储器，所述计算机存储器存储计算机可执行指令，所述计算机可执行指令能够由所述一个或更多个硬件处理器执行时实施权利要求18所述的方法。

20.一种计算机程序产品，包括存储在计算机存储器上的计算机可执行指令，所述计算机可执行指令能够由一个或更多个硬件处理器执行以实施权利要求18所述的方法。