CN116507541A - 用于在自动驾驶中预测其他道路使用者的反应的方法和系统 - Google Patents

用于在自动驾驶中预测其他道路使用者的反应的方法和系统 Download PDF

Info

Publication number
CN116507541A
CN116507541A CN202180077365.2A CN202180077365A CN116507541A CN 116507541 A CN116507541 A CN 116507541A CN 202180077365 A CN202180077365 A CN 202180077365A CN 116507541 A CN116507541 A CN 116507541A
Authority
CN
China
Prior art keywords
candidate
trajectory
autonomous vehicle
self
actions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077365.2A
Other languages
English (en)
Inventor
N·洪卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ergo Artificial Intelligence Co ltd
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN116507541A publication Critical patent/CN116507541A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—

Abstract

用于确定自主车辆(AV)的轨迹的系统和方法。当AV的车载系统检测到AV附近的另一行为者时，它将生成与自主车辆同位的虚拟替身。系统将预测另一行为者的可能模态，并且对于每个模态，预测另一行为者的一个或多个可能轨迹。然后，系统预测虚拟替身的候选动作，每个候选动作对应于另一行为者的可能轨迹中的一个或多个。然后，计算系统将确定自主车辆的候选轨迹，并且它将选择候选轨迹之一作为选择的自主车辆要遵循的轨迹。

Description

用于在自动驾驶中预测其他道路使用者的反应的方法和系统
相关申请的交叉引用
本专利文件要求于2020年11月18日提交的第16/951，416号美国专利申请的优先权，其全部内容通过引用并入本文。
背景技术
当自主车辆(AV)控制系统做出关于在环境中如何以及向何处移动车辆的决策时，一个具有挑战性的问题是如何规划AV与环境中的其他行为者之间的可能交互。用于考虑其他行为者的经典方法是预测其他行为者可能采取的轨迹。然后，在运动规划中，AV计划通过将这些潜在轨迹视为在未来有一定机会存在的硬障碍物来规避这些潜在轨迹。
然而，将其他行为者的未来动作视为不变的硬边界以在所有情况下进行规避不是理想的，这是因为它会导致AV规避其他行为者实际上不会到达的空间和时间上的地点。它还会导致AV无法考虑行为者的其他潜在动作，诸如行为者可以如何对AV的动作做出反应。
因此，AV运动规划的重要任务是推理自我车辆(ego-vehicle)的动作将如何影响另一车辆对如何移动的决策。然而，关于AV与其他车辆之间的交互的推理固有地在计算上是复杂的。AV必须推理另一行为者在第一时刻可能如何动作，然后AV可能如何对其做出反应，然后所述另一行为者在下一个时刻可能如何对AV的反应做出反应，在整个不久的将来的过程中诸如此类。当仅考虑一个行为者时，可能性的空间呈指数增长，并且当考虑多个行为者的动作时，可能性的空间增长甚至更快；它在计算上很快变得难以迅速地在可能性的整个空间上推理。
本文件描述了旨在解决上述问题和/或其他问题的方法和系统。
发明内容
在各种实施例中，一种确定自主车辆的轨迹的方法包括由自主车辆的存在检测子系统检测另一非自我行为者。在时间t0，自主车辆的车载计算系统将生成与自主车辆同位(co-located)的虚拟替身(doppelganger)。计算系统将预测非自我行为者的可能模态，并且对于每个模态，预测另一行为者的一个或多个可能轨迹。计算系统将预测虚拟替身的候选动作，其中每个候选动作对应于非自我行为者的可能轨迹中的一个或多个。计算系统将预测非自我行为者的反应动作，其中每个反应动作对虚拟替身的候选动作之一作出反应。计算系统将确定自主车辆的候选轨迹，并且它将选择候选轨迹之一作为选择的自主车辆要遵循的轨迹。然后，自主车辆的自动化子系统将使自主车辆沿着选择的轨迹移动。可选地，为了选择候选轨迹，计算系统可以使用自主车辆的候选轨迹来细化另一行为者的预测的反应动作，并且使用经细化的反应动作来选择自主车辆要遵循的轨迹。
在各种实施例中，该方法还可以包括根据非自我行为者将执行经细化的反应动作中的一个或多个的概率水平来对自主车辆的候选轨迹进行评分。然后，选择候选轨迹之一作为选择的自主车辆要遵循的轨迹可以包括选择具有最高分数的候选轨迹。可选地，对自主车辆的候选轨迹进行评分还将考虑对于每个候选轨迹，假设非自我行为者执行特定轨迹Ti，应该被执行的候选轨迹的估计值。
在一些实施例中，该方法还包括确定候选轨迹中的哪一个最可能在非自我行为者中引发特定的经细化的反应轨迹或模态。如果是这样的话，则选择候选轨迹中之一作为选择的自主车辆要遵循的轨迹可以包括选择最可能在另一行为者中引发特定的经细化的轨迹或模态的候选轨迹。
在一些实施例中，预测虚拟替身的候选轨迹包括识别与非自我行为者的每个预测模态统计相关的候选轨迹。
在一些实施例中，预测虚拟替身的候选轨迹包括识别与该模态的非自我行为者的伴随轨迹预测之一统计相关的候选轨迹。
在一些实施例中，AV的存在检测子系统还将检测附加非自我行为者。在这些实施例中，在时间t0，AV的车载计算系统可以：(i)预测每个附加非自我行为者的可能模态，以产生所有非自我行为者的可能联合模态的组合集合；(ii)减少可能联合模态的集合，以通过例如推理哪些联合模态在非自我行为者之间内部一致来产生减少的集合；(iii)对于减少的集合中的每个模态，预测附加非自我行为者中的一个或多个的一个或多个可能轨迹；(iv)预测虚拟替身的附加候选动作，其中每个附加候选动作对应于附加非自我行为者的可能轨迹中的一个或多个；(v)预测附加非自我行为者的反应动作，其中每个反应动作对虚拟替身的候选动作或附加候选动作之一作出反应；(vi)确定自主车辆的候选轨迹；以及(vii)使用自主车辆的候选轨迹来细化非自我行为者中的一个或多个的所预测的反应动作。
附图说明
图1示出自主车辆(AV)与环境中的另一移动行为者之间的交互的示例。
图2是示出算法的示例步骤的流程图，该算法用于预测另一车辆对自我车辆可能采取的各种动作作出反应的动作，然后使用这些预测来选择自我车辆的动作。
图3A和图3B示出系统可以如何使用虚拟替身的潜在动作来预测另一行为者的反应轨迹。
图4示出AV的示例系统和组件。
图5示出AV与环境中的多个移动行为者之间的交互的示例。
具体实施方式
如本文件中所使用的，单数形式“一(a)”、“一(an)”和“该(the)”包括复数引用，除非上下文另有明确说明。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员通常理解的含义相同的含义。如本文件中所使用的，术语“包括”意指“包括但不限于”。
与本文件相关的附加术语的定义包括在本具体实施方式的末尾。
本文件描述了一种方法，通过该方法，自主车辆(AV)将预测环境中的其他移动者的潜在动作，然后使用该结果来做出关于AV将在何时和何处移动的决策。本文件可以将做出这种决策的AV称为“自我车辆”或通过简单地使用大写术语“自我(Ego)”。本文件可以将诸如车辆(汽车、卡车、自行车等)和行人的其他移动者称为“其他行为者”、“非自我行为者”，或者通过简单地使用大写术语“其他(Other)”。
在本文件中，非自我行为者Other(其他)具有的动作的高级类别被称为其未来状态分布p(Other)的“模态”。因此，对于给定对象，p(Other)包括多种模态。例如，与Ego(自我)合并的行为者可能具有p(Other)，其具有两种模态：(1)“让步(yield)”和(2)“不让步”，或者甚至具有三种模态：(1)“让步”、(2)“不让步”、和(3)“移动到左车道”。注意，每种模态本身可以由Other可以经过的许多单独的可能轨迹组成。例如，如果Other选择“让步”模态，则其仍然具有硬制动、软制动或两者之间的选项。
本文件的预测动作可以由AV的预测子系统执行。如下面将在图4中描述的，AV将包括车载计算系统，该车载计算系统从各种传感器(诸如相机和激光雷达(LiDAR)系统传感器)接收数据，处理该数据以对移动行为者和其他对象进行分类，并预测检测到的移动行为者可能采取的一个或多个动作。然后，AV的运动规划子系统可以使用预测来选择AV将响应于移动行为者的动作而采取的动作，诸如加速、减速、转弯或移动到另一车道等。运动规划子系统也可以结合在AV的车载计算系统中，可选地具有唯一的处理和存储组件或具有共享组件(即，组件可以在预测与运动规划系统之间共享)。
对于任何检测到的Other，自我车辆的预测系统可以生成标称预测的集合p(Other)，其是另一行为者的可能未来状态的分布的估计。因此，如上所述，运动规划系统将使用p(Other)来提出动作并选择反映这些动作的轨迹。然而，如背景技术部分所述，Other的动作可以完全或部分地对Ego的动作作出反应。因此，预测将以Ego采取的动作为条件，并且因此可以反映为p(Other|Ego)。因此，Other可以采取的可能动作的数量随着Ego可能采取的动作的数量而增加。
因此，该文件提出了这样的方法，通过该方法，车辆可以选择Ego能够采取以影响Other的动作的动作，理想地将p(Other|Ego)缩窄为主要分布在单个模态上。这种缩窄称为“p(Other|Ego)中的模态坍缩(collapse)”。
考虑图1所示的示例场景，其中自我车辆101正在沿着第一车道111行驶并且即将合并到第二车道112中。自我车辆的传感器检测到第二车道112中的移动行为者102(在这种情况下，另一车辆)，朝向第一车道111与第二车道112之间的交叉路口移动。下面将描述自我车辆的传感器可以检测移动行为者的方法。
如果人类正在操作自我车辆101，则人类操作者将理解他或她的动作将影响该场景的结果。例如，如果自我车辆101要加速，则p(Other|Ego)将朝向模态Other＝Yield转移，并且如果自我车辆101要减速，则p(Other|Ego)将朝向模态Other＝No Yield转移。人类操作员知道其动作将影响Other的动作。
本文件描述了一种方法，其中在自主模式下操作的车辆可以为Ego选择将影响Other中的期望动作的动作，从而帮助Ego更有效地开发和分析动作的联合分布p(Other，Ego)，即，随着Other和Ego交互而可能发生的联合结果的分布。
该系统通过生成“虚拟Ego”来实现这一点，该“虚拟Ego”在本文件中被称为“虚拟替身”或Egodoppelganger，其是车辆的虚拟表示，该车辆位于Ego当前在给定时间点t0所处的位置，并且具有Ego在当前时间之前和在当前时间以前的一组时间(t＜＝t0)内的姿势历史，但是以与具有类似特性的非Ego行为者匹配的方式行动。也就是说，Egodoppelganger不像Ego那样行动，而是在相同的情况下像非Ego行为者那样行动。
图2示出AV(Ego)的车载计算系统可以通过其实现该预测功能的算法。在201处，Ego的存在检测系统将检测另一行为者(Other)的存在，并识别Other可能与Ego的规划路径相交。存在检测系统将包括捕获关于环境中的其他对象和行为者的数据的一个或多个传感器，以及被配置为分析该数据并对识别的行为者和对象进行分类的处理器和编程指令。例如，存在检测系统可以捕获移动行为者的图像并使用分类器(即，经训练模型)处理图像以识别对象的存在并将对象分类为车辆、自行车、行人或其他移动行为者。可以采用其他存在检测系统元件，诸如LiDAR传感器。存在检测系统可以使用任何现在或以后已知的对象识别算法、视频跟踪算法和计算机视觉算法来识别移动行为者。例如，系统可以使用边界框来识别第一帧中的对象，并且在一时间段内迭代地逐帧跟踪框的移动。
在202处，Ego的预测子系统可以通过为Other选择任何数量的模态的集合Mo＝{MO，1，Mo，2，...MO，N}来预测Other的可能动作类别。例如，参考图1的示例，预测子系统可以识别两种模态{让步/不让步}。示例结果可以是p(Mo＝{让步：0.3，/不让步：0.7}。注意，这里定义的模态不是明确的单个轨迹，而是一类轨迹，在将来，Other将从中选择一个对Ego尚且未知的轨迹。系统可以使用任何可能的算法来选择预测的模态，诸如查找表、规则集或训练模型，其将可能的模态与检测到的道路状况和其他行为者动作相关联。由于Ego的未来轨迹尚未定义，因此Other的预测模态隐含地说明了Other可能对其做出反应的所有合理可能的Ego未来轨迹。
作为示例，系统可以使用作为纵向模型的参数化运动模型来预测移动行为者对AV的可能反应的集合。正如自我车辆在合并之前具有是加速还是减速的选择一样，移动行为者具有是加速并超过自我车辆还是减速并在其后面排队的选择。因此，移动行为者可以在几种可能反应模态之间进行选择。因此，自我车辆的运动规划系统可以假设移动者相对于某个成本函数最优地或合理地行动，并且当面临选择(诸如加速并超过，或减速并在后面排队)时，移动行为者可以从n个模态中选择与其他模态相比具有较低成本的模态。例如，移动行为者可以在70％的时间让步，但在30％的时间不让步。因此，系统可以确定任何数量的n个模态的概率分布，每个模态具有相关联的概率。使用上述示例结果，自我车辆可以假设另一行为者将在70％的时间让步，并且该另一行为者将在30％的时间不让步。
在203处，Ego的预测系统将生成虚拟替身Egodoppelganger，并且在204处，针对p(Other)中的每个模态MO，i，假设Other将最终根据模态Mo，i执行某个轨迹，生成虚拟替身可能采取的一个或多个动作的预测。对于p(Other)中的每个模态MO，i，这可以表示为p(Egodoppelganger|Other＝MO，i)。这不一定是对Other的轨迹的反应，而是他们的联合结果之间的统计相关性的函数。例如，再次参考图1，如果已知Other 102最终已经让步于Ego，则虚拟替身将已经经过的最大似然轨迹将是在Other之前进入车道112的最大似然轨迹。另一方面，如果已知Other102未让步，则虚拟替身将已经经过的最大似然轨迹将是已经减速并保持在车道111中，直到Other102已经超过。系统使用以Other的假设结果MO，i为条件的预测方法和模型来实现这一点，考虑到系统所知道的关于其他车辆在Other在交互结束时以模态MO，i结束的类似情况下已经做了什么，确定虚拟替身最可能采取的动作。
作为示例，系统可以递送(1)场景中所有对象(包括Ego)的轨迹历史以及(2)从p(Other)中选择的Other的假设模态MO，i作为深度神经网络模型的输入，该深度神经网络模型已经用来自许多类似交互的历史数据进行训练。神经网络可以针对每个MO，i预测单个虚拟Ego最大似然轨迹Tdoppelganger。该轨迹将表示在Other以MO，i结束的条件下，在Ego的情况下的其他车辆已经完成的最可能的事情。
返回到图2，在205处，Ego的预测子系统将再次预测Other的可能动作，只是在该步骤中，预测将是对虚拟替身的可能动作的反应预测，即，对于每个替身轨迹Ti，doppelganger的p(Other|Egodoppelganger＝Ti，doppelganger)。因此，系统将针对每个模态MOi预测轨迹的集合F＝{f1，f2，...f3j}。第i个模态的第j个预测MO，i在下文中表示为Fi，j。用于预测行为者的轨迹的技术在本领域中是公知的，并且能够使用用于确定行为者的轨迹的任何已知或将要已知的技术。示例轨迹预测算法在例如Chang等人于2019年11月6日在https：//arxiv.org/abs/1911.02620上发布的“Argoverse：3D tracking and Forecasting with Rich Maps(Argoverse：利用丰富地图进行3D跟踪和预测)”中公开，并且包括诸如Social-LSTM、Social-GAN、INtentNet、DESIRE、R2P2和PRECOG等算法。在一些实施例中，这些算法还可以将自我车辆的过去动作视为输入，以预测移动行为者的轨迹。例如，如果自我车辆的过去动作表明移动到移动行为者的路径中的意图，则移动车辆的轨迹可以部分地对自我车辆的移动行为者的预期动作作出反应。
例如，参考图3A，如果虚拟替身121遵循轨迹T1并且在Other 102之前合并到车道112中，则Other 102将让步的概率可以是0.8，并且Other 102将转向但不让步的概率可以是0.2。参考图3B，如果虚拟替身121遵循轨迹T2，减速并保持在车道111中，则Other102将让步的概率可以仅为0.05，而Other102将沿着车道112前进的概率可以为0.95。
作为示例，系统可以将(1)场景中所有对象(包括Ego)的轨迹历史以及(2)从p(Other)中选择的Other的假设模态MO，i递送到深度神经网络模型，该深度神经网络模型已经用来自许多类似交互的历史数据进行训练。神经网络可以针对每个MO，i预测单个虚拟Ego最大似然轨迹Tdoppelganger。该轨迹将表示在Other以MO，i结束的条件下，在Ego的情况下的其他车辆已经完成的最可能的事情。
作为示例，系统可以将(1)场景中所有对象(包括Ego)的轨迹历史以及(2)从p(Other)中选择的Other的假设模态MO，i递送到深度神经网络模型，该深度神经网络模型已经用来自许多类似交互的历史数据进行训练。神经网络可以针对每个MO，i预测单个虚拟Ego最大似然轨迹Tdoppelganger。该轨迹将表示在Other以MO，i结束的情况下，在Ego的情况下的其他车辆已经完成的最可能的事情。
返回图2，知道系统在步骤204和205中学习了什么，然后在206处，系统将为自我车辆确定任何数量的候选轨迹。该确定可以由轨迹生成器模块执行，该轨迹生成器模块可以被实现为AV的预测子系统、AV的运动规划子系统或单独的轨迹生成子系统中的编程指令。每个候选轨迹将包括自主车辆将从其当前位置到达目标位置的路径和对应的时间元素。在生成候选轨迹时，自我车辆的运动规划可以考虑地图数据、检测到的对象、交通信号和检测到的交通信号状态或环境的其他方面。例如，为了确定候选轨迹，系统可以确定哪些车道可用于自主车辆到达目的地。每个这样的车道可以被认为是轨迹将沿着其遵循的路径。然后，系统可以将各种速度应用于每个路径以选择候选轨迹，其中一些候选轨迹比其他候选轨迹相对更快地到达目标，并且一些候选轨迹比其他候选轨迹相对更慢地到达目标。
系统可以考虑其在先前步骤中学习的内容，特别是步骤204的pEgodoppelganger|Other＝MO，i)和步骤205的p(Other|Egodoppelganger＝Ti，doppelganger)，来细化或限制其候选轨迹的集合。例如，诸如上面在图3A和图3B的上下文中描述的场景示出Ego的动作能够显著影响场景的结果，并且影响某个Ego如何关于Other对Ego动作的响应。如果Ego选择如图3B所示的轨迹T2，则Ego几乎确定Other将采取的动作，这是因为最可能的模态MO(No Yield)具有可能性0.95。相反，如果Ego选择如图3A所示的轨迹T1，则Other的动作不太确定，这是由于最可能的模态MO(Yield)仅具有可能性0.8。因此，系统可以选择Ego将对场景的结果具有更大影响的轨迹作为Ego的候选轨迹，从而降低不确定性。系统还可以选择类似于任何Ti，doppelganger的轨迹，并且推理Other的动作的可能性将是类似的。系统可以针对多个模态重复这一点，从而产生相对于Other的动作具有相对低的不确定性的候选轨迹的集合，从而消除导致更不确定结果的候选轨迹。因此，Ego可以理解哪些候选轨迹可能引起p(Other|Ego)中的模态坍缩。如果其他因素使不引发模态坍缩的候选轨迹成为AV要考虑的重要轨迹，则系统仍然可以选择不引发模态坍缩的候选轨迹。例如，再次参考图3A和图3B，系统可以确定应该总是考虑类似于121的合并轨迹，而不管在p(Other|Ego)中引发模态坍缩的可能性，这是因为现在合并的益处可以超过尝试合并成功的不确定性。
在207处，预测子系统可以利用实际(不仅仅是虚拟)的建议轨迹p(Other|Ego＝TTG，i)来细化其他行为者的反应预测。系统将以与它最初在步骤205中确定Other的反应动作相同的方式来完成这一点，只是在步骤207中，除了或代替替身的可能轨迹，系统将考虑如在步骤206中确定的用于Ego的候选轨迹中的至少一些。
一旦系统针对每个候选轨迹具有Other的反应动作的经细化预测的集合，则在208处，它将基于候选轨迹影响场景中的结果的可能性和这些结果的各种益处或者基于其他因素来对候选轨迹进行评分。例如，系统可以根据其预期值V(TTG)对任何给定轨迹TTG进行评分，其中：
V(TTG)＝sum_[i}[p(Other)＝TOther，i|Ego＝TTG)*(V(TTG，TOther)]
其可以被读作在所有Other预测上的(假设Ego执行TTG而Other执行预测i(Ti)的概率P(other))*(假设Other执行Ti而Ego执行TTG的值)的总和。
在209处，系统然后可以使用分数，使用任何合适的规则集合来选择要遵循的候选轨迹。例如，系统可以选择具有最高分数的候选轨迹。替代地，系统可以选择最可能影响另一行为者采取特定动作的轨迹。在选择过程中可以考虑其他因素或因素的组合。
尽管上面的描述描述了系统预测单个其他行为者的模态和预测轨迹的简单示例，但是在许多场景中，AV可能遇到多个其他行为者，并且将需要在运动规划中考虑多个非Ego行为者的潜在模态和导出轨迹。在这些情况下，系统可以针对数量为m的行为者中的每一个预测数量为n的模态(如上面的步骤202)以产生然后考虑整组其他行为者的潜在nm个联合模态的组合集合。例如，诸如图1所示的交叉街道可以包括成排的多个车辆，必须考虑每个车辆，并且每个车辆可以让步于或不让步于Ego。这在图5中以示例的方式示出，其中自主车辆503沿着第一车道511行驶并且即将合并到第二车道512中。自我车辆的传感器检测到第二车道512中的两个移动行为者(车辆O1 501和O2 502)，朝向第一车道511与第二车道512之间的交叉路口移动)。在诸如此类的场景中，系统可以考虑各个行为者的动作的所有潜在组合，诸如Other O1 501让步，而Other O2 502不同时让步。然后，例如通过消除将导致其他行为者中的一个或多个的交通违规或不安全状况的那些联合模态，系统可以减少该组合集合以仅包括最可能的那些联合模态。诸如通过移除其中一个行为者在交叉路口处不让步但直接在其前面的行为者让步的那些联合模态，系统可以进一步减少该集合以仅包括跨行为者内部一致的那些联合模态。这能够通过“修剪”极不可能的其他行为者轨迹或者通过AV的动作不太可能能够呈现的其他行为者轨迹来帮助减少轨迹选择所需的循环数量。然后，系统将针对该集合中剩余的每个模态生成虚拟替身轨迹，并且针对每个虚拟替身轨迹生成每个其他行为者的反应轨迹。因此，系统可以并行地考虑所有其他行为者。
在210处，自我车辆的自动化子系统然后可以使自我车辆沿着选择的轨迹移动。例如，选择的轨迹将具有特定路径以及路径中的每个点处的速度。自主车辆系统将使车辆的转向系统沿着路径引导车辆，并且使车辆的加速或制动子系统在路径的每个点处以轨迹的速度移动自主车辆。下面将在图4的上下文中讨论可以实现这些动作的AV的元件。
图4示出用于车辆的示例系统架构499，该车辆诸如作为本实施例中的自主车辆的AV。因此，以下对系统架构499的讨论足以用于理解图1的自我车辆101。
如图4所示，车辆包括发动机或马达402和用于测量车辆的各种参数的各种传感器404-418。在具有燃料动力发动机的气体动力或混合动力车辆中，传感器可以包括例如发动机温度传感器404、电池电压传感器406、发动机每分钟转数(RPM)传感器408和节流阀位置传感器410。如果车辆是电动车辆或混合动力车辆，则车辆可以具有电动马达，并且因此将具有传感器，诸如电池监测系统412(以测量电池的电流、电压和/或温度)、马达电流传感器414和温度传感器416以及马达位置传感器，诸如旋转变压器和编码器418。
两种类型的车辆共有的操作参数传感器包括例如：位置传感器436，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器438；以及里程表传感器440。车辆还可以具有时钟442，系统使用时钟442来确定操作期间的车辆时间。时钟442可以被编码到车辆车载计算设备中，它可以是单独的设备，或者多个时钟可以是可用的。
车辆还将包括各种传感器，其作为存在检测系统操作以收集关于车辆所位于的环境的信息。这些传感器可以包括例如：位置传感器460(例如，全球定位系统(GPS)设备)；对象检测传感器，诸如一个或多个相机462；LiDAR传感器系统464；和/或雷达和/或声纳系统466。传感器还可以包括环境传感器468，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得车辆能够在任何方向上检测在车辆400的给定距离范围内的对象(诸如图1的移动行为者102)，而环境传感器收集关于车辆行驶区域内的环境状况的数据。
在操作期间，将信息从传感器传送到车载计算设备420。车载计算设备420还用作存在检测系统的一部分，以分析由传感器捕获的数据并且可选地基于分析的结果来控制车辆的操作，以及用作使车辆移动的自动化子系统。车载计算设备将包括一个或多个处理器和一个或多个存储器设备。
例如，车载计算设备420可以包括编程，该编程被配置为使处理器经由制动控制器422控制制动；经由转向控制器424控制方向；经由节流阀控制器426(在气体动力车辆中)或马达速度控制器428(诸如电动车辆中的电流水平控制器)、差速齿轮控制器430(在具有变速器的车辆中)、和/或其他控制器控制速度和加速度。
地理位置信息可以从位置传感器460传送到车载计算设备420，车载计算设备420然后可以访问对应于位置信息的环境的地图，以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停车/行进信号。从相机462捕获的图像和/或从诸如LiDAR 464的传感器捕获的对象检测信息从那些传感器传送到车载计算设备420，其中这样的元件是车辆的存在检测系统的元件。对象检测信息和/或捕获的图像由车载计算设备420处理，以检测车辆400附近的对象。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或将要已知的技术能够用于本文件中公开的实施例中。
在本文件中讨论的各种实施例中，描述可以陈述车辆或车辆的车载计算设备可以实现编程指令，该编程指令使车辆的车载计算设备做出决策并使用该决策来控制一个或多个车辆系统的操作。然而，实施例不限于这种布置，这是因为在各种实施例中，分析、决策制定和/或操作控制可以全部或部分地由与车辆的车载计算设备电子通信的Other计算设备来处理。这样的其他计算设备的示例包括与乘坐在车辆中的人相关联的电子设备(诸如智能电话)，以及经由无线通信网络与车辆电子通信的远程服务器。任何这样的设备的处理器可以执行上面讨论的操作。上述方法提高了轨迹选择中的计算效率。在传统的AV控制系统中，预测子系统在不考虑Ego的任何特定动作的情况下针对其他行为者生成许多预测。因此，传统系统生成大量Other预测，假定当Other看到Ego正在做什么时，其他行为者可能不会做某些事情，这些预测仅略微可能为真。一些系统可以尝试通过确定Ego如何在Other中引发给定动作来解决这一点，但是这也是计算密集的，这是因为必须考虑Ego的所有潜在动作。本文件的方法通过首先确定在Other中可能的动作，然后确定Ego可以如何帮助促使该动作，从而使用替身预测来更直接地解决问题。当协同部署时，本文件的方法固有地推理p(Other，Ego)，从而减少或消除了通过某种其他方法明确地建模和采样所有p(Other，Ego)的需要，考虑到现有技术的当前状态，这同样是计算上昂贵的任务。
上面公开的特征和功能以及替代方案可以组合到许多其他不同的系统或应用中。各种组件可以在硬件或软件或嵌入式软件中实现。本领域技术人员可以进行各种目前未预见或未预期的替代、修改、变化或改进，其中的每一个也旨在由所公开的实施例涵盖。
与上面提供的公开相关的术语包括：
术语“车辆”是指能够承载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自主车辆、飞机、空中无人机等。“自主车辆”或“AV”是具有处理器、编程指令和可由处理器控制而不需要人类操作者的传动系组件的车辆。自主车辆可以是完全自主的，在这一点上，它对于大多数或所有驾驶条件和功能不需要人类操作者，或者自主车辆可以是半自主的，在这一点上，在某些条件下或对于某些操作可能需要人类操作者，或者人类操作者可以超控车辆的自主系统并且可以控制车辆。自主车辆还包括其中自主系统增强车辆的人工操作的车辆，诸如具有驾驶员辅助转向、速度控制、制动、停车和其他系统的车辆。
术语“自我车辆”是指在环境中移动的特定车辆。当在本文件中使用时，术语“自我车辆”通常是指在环境中移动的AV，其具有自主车辆控制系统(AVS)，该自主车辆控制系统(AVS)被编程为做出关于AV将在何处移动或将不在何处移动的决策。
在本文件中，术语“街道”、“车道”、“道路”和“交叉路口”通过示例的方式示出，其中车辆在一个或多个道路上行驶。然而，实施例旨在包括其他位置(诸如停车区域)中的车道和交叉路口。另外，对于被设计为在室内使用的自主车辆(诸如仓库中的自动拣选设备)，街道可以是仓库的走廊，并且车道可以是走廊的一部分。如果自主车辆是无人机或其他飞行器，则术语“街道”或“道路”可以表示气道，并且车道可以是气道的一部分。如果自主车辆是船只，则术语“街道”或“道路”可以表示水路，并且车道可以是水路的一部分。
“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与虚拟机或容器布置中的其他设备共享。存储器将包含或接收编程指令，该编程指令在由处理器执行时使电子设备根据编程指令执行一个或多个操作。
术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等均是指其上存储计算机可读数据、编程指令或两者的非暂时性设备。除非另有特别说明，否则术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等旨在包括单个设备实施例、其中多个存储器设备一起或共同存储一组数据或指令的实施例、以及这些设备内的各个扇区。
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另有特别说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和多个处理设备一起或共同执行过程的实施例。
在本文件中，当诸如“第一”和“第二”的顺序相对术语用于修饰名词时，这种使用仅旨在将一个项目与另一项目区分开，并且不旨在要求顺次顺序，除非特别说明。

Claims (20)

1.一种确定自主车辆的轨迹的方法，所述方法包括：
由自主车辆的存在检测子系统检测非自我行为者；
在时间点t0，由所述自主车辆的车载计算系统：
生成在所述时间点t0与所述自主车辆同位的虚拟替身，
预测所述非自我行为者的多个可能模态，并且对于所述模态中的每一个，预测所述非自我行为者的一个或多个可能轨迹；
预测所述虚拟替身的候选动作，其中每个候选动作对应于所述非自我行为者的可能轨迹中的一个或多个，
预测另一行为者的反应动作，其中所述反应动作中的每一个对所述虚拟替身的所述候选动作之一作出反应，
确定所述自主车辆的候选轨迹，
使用所述自主车辆的所述候选轨迹来细化所述非自我行为者的所预测的反应动作；
使用经细化的反应动作来选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹，以及
由所述自主车辆的自动化子系统使所述自主车辆沿着所选择的轨迹移动。
2.根据权利要求1所述的方法，还包括：
根据所述另一行为者将执行所述经细化的反应动作中的一个或多个的概率水平来对所述自主车辆的所述候选轨迹进行评分；以及
其中，选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹包括：选择具有最高分数的候选轨迹。
3.根据权利要求2所述的方法，其中，对所述自主车辆的所述候选轨迹进行评分还针对每个候选轨迹考虑以下因素：
假设所述另一行为者执行特定轨迹Ti.，应该被执行的所述候选轨迹的估计值。
4.根据权利要求1所述的方法，还包括：
确定所述候选轨迹中的哪一个最可能在所述另一行为者中引发特定的经细化的反应轨迹或模态，以及
其中，选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹包括：选择最可能在所述另一行为者中引发特定的经细化的轨迹或模态的所述候选轨迹。
5.根据权利要求1所述的方法，其中，预测所述虚拟替身的所述候选轨迹包括识别与所述另一行为者的所述预测模态中的每一个统计相关的候选轨迹。
6.根据权利要求1所述的方法，其中，预测所述虚拟替身的所述候选轨迹包括：对于所述模态中的每一个，识别与移动行为者的所述伴随轨迹预测中的每一个相关的候选轨迹。
7.根据权利要求1所述的方法，还包括：
由所述自主车辆的所述存在检测子系统检测多个附加非自我行为者；以及
由所述自主车辆的所述车载计算系统在所述时间点t0：
预测每个附加其他行为者的多个可能模态，以产生所有非自我行为者的可能联合模态的组合集合，
减少可能模态的所述集合以产生减少的集合，
对于所述减少的集合中的每个模态，预测所述附加非自我行为者中的一个或多个的一个或多个可能轨迹，
预测所述虚拟替身的附加候选动作，其中每个附加候选动作对应于所述附加非自我行为者的可能轨迹中的一个或多个，以及
预测所述附加非自我行为者的反应动作，其中所述反应动作中的每一个对所述虚拟替身的所述候选动作或附加候选动作之一作出反应，
确定所述自主车辆的候选轨迹，
使用所述自主车辆的所述候选轨迹来细化所述非自我行为者中的至少一个的所预测的反应动作。
8.一种确定自主车辆的轨迹的方法，所述方法包括：
由自主车辆的存在检测子系统检测非自我行为者；
在时间点t0，由所述自主车辆的车载计算系统：
生成在所述时间点t0与所述自主车辆同位的虚拟替身，
预测所述非自我行为者的多个可能模态，并且对于所述模态中的每一个，预测所述非自我行为者的一个或多个可能轨迹；
预测所述虚拟替身的候选动作，其中每个候选动作对应于所述非自我行为者的可能轨迹中的一个或多个，
预测所述另一行为者的反应动作，其中所述反应动作中的每一个对所述虚拟替身的所述候选动作之一作出反应，
确定所述自主车辆的候选轨迹，以及
选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹，以及
由所述自主车辆的自动化子系统使所述自主车辆沿着所选择的轨迹移动。
9.根据权利要求8所述的方法，还包括：
根据所述非自我行为者将执行所述经细化的反应动作中的一个或多个的概率水平来对所述自主车辆的所述候选轨迹进行评分；以及
其中，选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹包括：选择具有最高分数的候选轨迹。
10.根据权利要求8所述的方法，其中，对所述自主车辆的所述候选轨迹进行评分还针对每个候选轨迹考虑以下因素：
假设所述非自我行为者执行特定轨迹Ti，应该被执行的所述候选轨迹的估计值。
11.根据权利要求8所述的方法，还包括：
确定所述候选轨迹中的哪一个最可能在所述另一行为者中引发特定的经细化的反应轨迹或模态，以及
其中，选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹包括：选择最可能在所述另一非自我中引发特定的经细化的轨迹或模态的所述候选轨迹。
12.根据权利要求8所述的方法，其中，预测所述虚拟替身的所述候选轨迹包括识别与以下项中的一个或多个统计相关的候选轨迹：
所述非自我行为者的所述预测模态中的每一个；或
对于所述模态中的每一个，所述非自我行为者的伴随轨迹预测之一。
13.根据权利要求8所述的方法，还包括：
由所述自主车辆的所述存在检测子系统检测多个附加非自我行为者；以及
由所述自主车辆的所述车载计算系统在所述时间点t0：
预测每个附加非自我行为者的多个可能模态，以产生所有其他非自我的可能联合模态的组合集合，
减少可能联合模态的所述集合以产生减少的集合，
对于所述减少的集合中的每个模态关节，预测所述附加非自我行为者中的一个或多个的一个或多个可能轨迹，
预测所述虚拟替身的附加候选动作，其中每个附加候选动作对应于所述附加非自我行为者的可能轨迹中的一个或多个，以及
预测所述附加非自我行为者的反应动作，其中所述反应动作中的每一个对所述虚拟替身的所述候选动作或附加候选动作之一作出反应，
确定所述自主车辆的候选轨迹，
使用所述自主车辆的所述候选轨迹来细化所述非自我行为者中的一个或多个的所预测的反应动作。
14.一种自主车辆的运动规划系统，所述系统包括：
所述自主车辆的车载计算系统的处理器；以及
所述车载计算系统的存储器，所述存储器包括编程指令，所述编程指令被配置为使所述处理器：
从所述车辆的存在检测系统接收指示非自我行为者接近所述自主车辆的数据，
生成与所述自主车辆同位的虚拟替身，
预测所述非自我行为者的多个可能模态，并且对于所述模态中的每一个，预测所述非自我行为者的一个或多个可能轨迹，
预测所述虚拟替身的候选动作，其中每个候选动作对应于所述非自我行为者的可能轨迹中的一个或多个，
预测所述非自我行为者的反应动作，其中，所述反应动作中的每一个对所述虚拟替身的所述候选动作之一作出反应，
确定所述自主车辆的候选轨迹，
选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹，以及
将选择的轨迹提供给所述自主车辆的自动化子系统，以使所述自主车辆沿着所选择的轨迹移动。
15.根据权利要求14所述的运动规划系统，还包括编程指令，所述编程指令被配置为使所述处理器：
在选择所选择的轨迹之前，使用所述自主车辆的所述候选轨迹来细化所述非自我行为者的所预测的反应动作；以及
当选择所选择的轨迹时，使用所述经细化的反应动作来选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹。
16.根据权利要求14所述的运动规划系统，还包括编程指令，所述编程指令被配置为使所述处理器：
根据所述非自我行为者将执行所述经细化的反应动作中的一个或多个的概率水平，对所述自主车辆的候选轨迹进行评分；以及
其中，用于选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹的所述指令包括用于选择具有最高分数的候选轨迹的指令。
17.根据权利要求16所述的运动规划系统，其中，用于对所述自主车辆的所述候选轨迹进行评分的指令包括还针对每个候选轨迹考虑以下因素的指令：
假设所述非自我行为者执行特定轨迹Ti，应该被执行的所述候选轨迹的估计值。
18.根据权利要求14所述的运动规划系统，还包括编程指令，所述编程指令被配置为使所述处理器：
确定所述候选轨迹中的哪一个最可能在所述非自我行为者中引发特定的经细化的反应轨迹或模态，
其中，用于选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹的所述指令包括用于选择最可能在所述非自我行为者中引发特定的经细化的轨迹或模态的所述候选轨迹的指令。
19.根据权利要求14所述的运动规划系统，其中，用于预测所述虚拟替身的所述候选轨迹的所述指令包括用于识别与以下项中的一个或多个统计相关的候选轨迹的指令：
所述非自我行为者的所述预测模态中的每一个；或
对于所述模态中的每一个，所述非自我行为者的所述伴随轨迹预测之一。
20.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个计算设备执行时被配置为使所述至少一个计算设备执行操作，所述操作包括：
检测非自我行为者；
在时间点t0生成与所述自主车辆同位的虚拟替身；
预测所述非自我行为者的多个可能模态，并且对于所述模态中的每一个，预测所述非自我行为者的一个或多个可能轨迹；
预测所述虚拟替身的候选动作，其中，每个候选动作对应于所述非自我行为者的可能轨迹中的一个或多个；
预测另一行为者的反应动作，其中，所述反应动作中的每一个对所述虚拟替身的所述候选动作之一作出反应；
确定所述自主车辆的候选轨迹；
使用所述自主车辆的所述候选轨迹来细化所述非自我行为者的所预测的反应动作；
使用经细化的反应动作来选择所述候选轨迹之一作为选择的所述自主车辆要遵循的轨迹；以及
使所述自主车辆沿着所选择的轨迹移动。
CN202180077365.2A 2020-11-18 2021-11-02 用于在自动驾驶中预测其他道路使用者的反应的方法和系统 Pending CN116507541A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/951,416 2020-11-18
US16/951,416 US11753044B2 (en) 2020-11-18 2020-11-18 Method and system for forecasting reactions of other road users in autonomous driving
PCT/US2021/057643 WO2022108747A1 (en) 2020-11-18 2021-11-02 Method and system for forecasting reactions of other road users in autonomous driving

Publications (1)

Publication Number Publication Date
CN116507541A true CN116507541A (zh) 2023-07-28

Family

ID=81588209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077365.2A Pending CN116507541A (zh) 2020-11-18 2021-11-02 用于在自动驾驶中预测其他道路使用者的反应的方法和系统

Country Status (4)

Country Link
US (2) US11753044B2 (zh)
EP (1) EP4247687A1 (zh)
CN (1) CN116507541A (zh)
WO (1) WO2022108747A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11814075B2 (en) * 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
US20240051581A1 (en) * 2022-08-15 2024-02-15 Motional Ad Llc Determination of an action for an autonomous vehicle in the presence of intelligent agents

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN109313445A (zh) * 2016-03-23 2019-02-05 优特诺股份有限公司 车辆驾驶和自动驾驶的促进
US20200089238A1 (en) * 2018-09-15 2020-03-19 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a road agent external to a vehicle
CN111373458A (zh) * 2017-11-07 2020-07-03 图森有限公司 用于自主车辆的轨迹规划的基于预测的系统和方法
CN111824139A (zh) * 2019-04-23 2020-10-27 百度（美国）有限责任公司 用于预测与自动驾驶车辆相关的运动对象的运动的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10407035B1 (en) 2016-08-03 2019-09-10 Apple Inc. Integrated chassis control
CN110352330B (zh) * 2017-03-07 2024-04-19 罗伯特·博世有限公司 用于自主交通工具的动作规划系统和方法
US10324469B2 (en) 2017-03-28 2019-06-18 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle in shared environment
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10562538B2 (en) 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
US11161502B2 (en) * 2019-08-13 2021-11-02 Zoox, Inc. Cost-based path determination
US11891087B2 (en) * 2019-12-20 2024-02-06 Uatc, Llc Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
CN114829225A (zh) * 2019-12-27 2022-07-29 伟摩有限责任公司 自主载具的条件行为预测
US11661082B2 (en) * 2020-10-28 2023-05-30 GM Global Technology Operations LLC Forward modeling for behavior control of autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN109313445A (zh) * 2016-03-23 2019-02-05 优特诺股份有限公司 车辆驾驶和自动驾驶的促进
CN111373458A (zh) * 2017-11-07 2020-07-03 图森有限公司 用于自主车辆的轨迹规划的基于预测的系统和方法
US20200089238A1 (en) * 2018-09-15 2020-03-19 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a road agent external to a vehicle
CN111824139A (zh) * 2019-04-23 2020-10-27 百度（美国）有限责任公司 用于预测与自动驾驶车辆相关的运动对象的运动的方法

Also Published As

Publication number Publication date
US20220153313A1 (en) 2022-05-19
US11753044B2 (en) 2023-09-12
EP4247687A1 (en) 2023-09-27
US20230382430A1 (en) 2023-11-30
WO2022108747A1 (en) 2022-05-27

Similar Documents

Publication Publication Date Title
CN113128326B (zh) 具有语义地图和lstm的车辆轨迹预测模型
US20200331476A1 (en) Automatic lane change with minimum gap distance
CN116209611B (zh) 在自动驾驶中使用其他道路使用者对自我交通工具行为的反应的方法和系统
CN110857085A (zh) 车辆路径规划
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US20230382430A1 (en) Method and system for forecasting reactions of other road users in autonomous driving
CN116249644A (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
US11718290B2 (en) Methods and systems for safe out-of-lane driving
US20230111354A1 (en) Method and system for determining a mover model for motion forecasting in autonomous vehicle control
EP4129797A1 (en) Method and system for training an autonomous vehicle motion planning model
EP4330785A1 (en) Method of navigating autonomous vehicle to passenger pickup / drop-off location
US20240017746A1 (en) Assessing present intentions of an actor perceived by an autonomous vehicle
US20220388534A1 (en) Method and system for predicting behavior of actors in an environment of an autonomous vehicle
EP4163755B1 (en) Systems and methods for controlling speed of an autonomous vehicle
US20230303117A1 (en) Method and system for assessing whether a vehicle is likely to leave an off-road parking area
US11881031B2 (en) Hierarchical processing of traffic signal face states
EP4148600A1 (en) Attentional sampling for long range detection in autonomous vehicles
US20230054626A1 (en) Persisting Predicted Objects for Robustness to Perception Issues in Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination