CN116323364A - 用于车辆运动计划的路点预测和运动预报 - Google Patents

用于车辆运动计划的路点预测和运动预报 Download PDF

Info

Publication number
CN116323364A
CN116323364A CN202180069725.4A CN202180069725A CN116323364A CN 116323364 A CN116323364 A CN 116323364A CN 202180069725 A CN202180069725 A CN 202180069725A CN 116323364 A CN116323364 A CN 116323364A
Authority
CN
China
Prior art keywords
actor
vehicle
segment
scene
reference multi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180069725.4A
Other languages
English (en)
Inventor
S·S·坎德尔瓦尔
W·J·齐
J·辛格
A·T·哈特内特
D·拉马南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN116323364A publication Critical patent/CN116323364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了确定行动者在车辆操作的环境中的轨迹的系统和方法。车辆检测可以在车辆的环境的场景内移动的行动者。一些方法可以使用场景的上下文来确定用于行动者的参考多段线以及确定行动者的运动学历史。运动学历史可以被用于预测路点，识别从当前位置延伸到沿着参考多段线的最接近所述路点的点的片段，以及确定以参考多段线的所述片段为条件的行动者的轨迹。其他方法可以包括生成行动者运动学历史的上下文嵌入以生成行动者的多个预测的轨迹，每个轨迹与多个参考多段线之一对应。然后能够使用预测的轨迹来计划车辆的移动。

Description

用于车辆运动计划的路点预测和运动预报
相关申请的交叉引用
本申请要求(i)于2020年8月12日提交的美国临时专利申请No.63/064,598；(ii)于2021年5月5日提交的美国专利申请No.17/308,688；及(iii)于2021年5月5日提交的美国专利申请No.17/308,721的优先权。每个优先权申请的公开内容都通过引用完全并入本文档。
技术领域
本公开涉及运动预报，并且具体地涉及自主车辆或半自主车辆可以预报车辆在环境中检测到的其他行动者的运动的方法和系统。
背景技术
在复杂的社会场景中预报或预测其他行动者的未来状态是自主车辆(AV)发展中的核心挑战。这是一项特别困难的任务，因为行动者的未来是多模态的并且取决于其他行动者、道路结构以及甚至AV的预期运动计划。大规模AV测试的出现，连同驾驶数据集和地图的公开发布，刺激了最近在数据驱动前馈方法方面有前途的工作，这些方法旨在应对这些挑战。
针对这个问题的大多数方法将地图信息嵌入鸟瞰图(BEV)栅格化的图像中，从而允许学习到的模型(通常是卷积神经网络(CNN)和循环神经网络(RNN)的组合)从提取出的特征预测轨迹。虽然方便，但栅格化也有一些缺点。这些缺点包括，例如：1)所得的模型往往要求相对大量的参数；以及2)问题的一些方面在不利于栅格化的坐标空间中被最好地表示。例如，虽然车辆运动的物理学一般在欧几里德空间中建模，但车道-跟随行为和基于地图的交互更容易在道路网络的曲线坐标中表示。类似地，可以在具有N个节点的拓扑图表示中自然地捕获N个行动者之间的社会交互。最近著名的VectorNet和SAMMP方法采用将各个物体表示为可以相互关注的节点的这样一种方法。
直到最近，运动预报研究主要集中在行人轨迹上，无论是在第一人称活动识别、运动还是多行动者监控的上下文中。用于AV预报的流行方法采用场景上下文的复杂栅格化表示，通过将轨迹历史与来自地图的丰富语义信息(例如，车道、限速、交通灯状态等)组合来构造周围环境的BEV图像。虽然这些方法中的一些同时生成所有预测的状态，但其他方法采用循环(recurrent)解码器按顺序预测状态，而其他方法仍在试验这两种方法。
虽然几种方法结合了栅格化，但是关于栅格化已经出现了问题，因为在AV预报中存在无法由像素的矩阵或简单向量容易地表示的问题。虽然前馈模型的强大基准性能令人振奋，但安全关键型(safety critical)应用可以要求自上而下(top-down)的反馈和因果可解释性。例如，因为现实世界城市驾驶环境中所有潜在未来的空间都非常大，所以实时计划可以要求计划器能够交互式地探测预报器，从而仅探索那些与计划相关的未来。为了探索替代未来而要求对场景上下文进行重新生成或重新处理的方法对于实时计划而言可能效率太低。
至少出于这些原因，需要一种在预测多个状态的同时无需栅格化而预测行动者轨迹的有效手段。
发明内容
根据本公开的一方面，提供了一种确定行动者在车辆操作的环境中的轨迹的方法。该方法包括由环境中车辆的物体检测系统检测可以在环境中的场景内移动的行动者。该方法还包括使用场景的上下文来确定行动者的参考多段线(polyline)以及确定行动者的运动学(kinematic)历史。参考多段线定义行动者在一段时间内可以在场景内沿着其行进的路径，以及运动学历史包括测得的行动者的移动的路径。该方法另外包括使用运动学历史来预测路点(waypoint)，该路点是行动者在路点时间段结束时的预测的位置，以及识别参考多段线的片段，该片段从当前位置延伸到沿着参考多段线的最接近路点的点，以及确定以参考多段线的片段为条件的行动者的轨迹。
根据各种实施例，使用场景的上下文来确定行动者的参考多段线包括确定行动者可以沿着其行进的多个车道片段以及选择参考多段线。参考多段线与多个车道片段中的不会使行动者违反场景上下文规则的车道片段对应。
根据各种实施例，该方法还包括由车辆使用确定的轨迹来使车辆采取一个或多个动作。
根据各种实施例，一个或多个动作包括更改车辆的路径、更改车辆的姿态或更改车辆的速度中的一个或多个。
根据本公开的另一方面，提供了一种用于确定行动者在车辆操作的环境中的轨迹的系统。该系统包括环境中的车辆。该车辆包括被配置为检测可以在环境中的场景内移动的行动者的物体检测系统，以及包括一个或多个编程指令的计算机可读存储介质。一个或多个编程指令在被执行时将使车辆使用场景的上下文来确定行动者的参考多段线，确定行动者的运动学历史，使用运动学历史来预测路点，识别参考多段线的片段，该片段从当前位置延伸到沿着参考多段线的最接近路点的点，以及确定以参考多段线的片段为条件的行动者的轨迹。参考多段线定义行动者在一段时间内可以在场景内沿着其行进的路径，运动学历史包括测得的行动者的移动的路径，并且路点是行动者在路点时间段结束时的预测的位置。
根据各种实施例，使用场景的上下文来确定行动者的参考多段线包括确定行动者可以沿着其行进的多个车道片段以及选择参考多段线。参考多段线与多个车道片段中的不会使行动者违反场景上下文规则的车道片段对应。
根据各种实施例，计算机可读存储介质还包括一个或多个编程指令，指令在被执行时将使车辆使用确定的轨迹来采取一个或多个动作。
根据各种实施例，一个或多个动作包括更改车辆的轨迹路径、更改车辆的姿态或更改车辆的速度中的一个或多个。
根据本公开的其他方面，提供了一种确定行动者在车辆操作的环境中的轨迹的方法。该方法包括由环境中的车辆的物体检测系统来检测可以在环境中的场景内移动的行动者，确定行动者的运动学历史，以及使用场景的上下文和行动者的运动学历史来确定行动者的多个参考多段线。运动学历史包括测得的行动者的路径。每个参考多段线根据场景的上下文定义行动者在一段时间内可以在场景内沿着其行进的路径。该方法还包括生成行动者的运动学历史的上下文嵌入以生成行动者的多个预测的轨迹，其中该生成以每个预测轨迹与参考多段线之一对应为条件。该方法另外包括由车辆使用多个预测的轨迹来计划车辆的移动。
根据各种实施例，该方法还包括从有向(directed)车道图构造预测多段线。
根据各种实施例，使用场景的上下文来确定物体的多个参考多段线包括确定行动者可沿着其行进的多个车道片段，以及仅选择与不会使行动者违反场景上下文规则的车道片段对应的参考多段线。
根据各种实施例，由解码器模块执行使用行动者的运动学历史来生成多个预测轨迹。
根据各种实施例，该方法还包括预测路点。路点是行动者在路点时间段结束时的预测的位置。根据各种实施例，该方法还包括识别参考多段线的片段，该片段从当前位置延伸到沿着参考多段线的最接近路点的点，以及将第一未来轨迹状态确定为以参考多段线的片段为条件的轨迹。
根据各种实施例，使用多个预测的轨迹来计划车辆的移动包括识别第一未来轨迹状态可以与车辆的计划轨迹相交的位置和时间的一个或多个组合，以及使车辆的运动子系统采取回避识别出的位置和时间的组合的动作。
根据各种实施例，一个或多个动作包括更改车辆的路径、更改车辆的姿态和/或更改车辆的速度。
根据本公开的另一方面，提供了一种用于确定行动者在车辆操作的环境中的轨迹的系统。该系统包括环境中的车辆。该车辆包括被配置为检测可以在环境中的场景内移动的行动者的物体检测系统和计算机可读存储介质。计算机可读存储介质包括一个或多个程序指令，这些程序指令在被执行时将使车辆确定行动者的运动学历史，以及使用场景的上下文和运动学历史为行动者来确定多个参考多段线。运动学历史包括测得的行动者的移动的路径，并且每个参考多段线根据场景的上下文定义行动者在一段时间内可以在场景内沿着其行进的路径。一个或多个编程指令在被执行时还将使车辆使用行动者的运动学历史的上下文嵌入来生成行动者的多个预测的轨迹，其中该生成以每个预测轨迹与参考多段线之一对应为条件，以及使用多个预测的轨迹来计划车辆的一个或多个移动。
根据各种实施例，物体检测系统包括位置传感器、一个或多个相机、LiDAR传感器系统、雷达系统和/或声纳系统。
根据各种实施例，物体检测系统包括一个或多个环境传感器。
根据各种实施例，环境传感器包括降水传感器和/或环境温度传感器。
根据各种实施例，计算机可读存储介质还包括一个或多个编程指令，指令在被执行时将使车辆从有向车道图构造预测的多段线。
根据各种实施例，使用场景的上下文来确定物体的多个参考多段线包括确定行动者可以沿着其行进的多个车道片段，以及仅选择与多个车道片段中的不会使行动者违反场景上下文规则的车道片段对应的参考多段线。
根据各种实施例，车辆还包括解码器模块，该解码器模块被配置为使用行动者的运动学历史来生成多个预测的轨迹。
根据各种实施例，计算机可读存储介质还包括一个或多个编程指令，这些编程指令在被执行时将使车辆预测路点。路点是行动者在路点时间段结束时的预测的位置。根据各种实施例，计算机可读存储介质还包括一个或多个程序指令，这些编程指令在被执行时将使车辆识别参考多段线的片段，该片段从当前位置延伸到沿着参考多段线的最接近路点的点，以及将第一未来轨迹状态确定为以参考多段线的片段为条件的轨迹。
根据各种实施例，使用多个预测的轨迹来计划车辆的移动包括识别第一未来轨迹状态可以与车辆的计划轨迹相交的位置和时间的一个或多个组合，以及使车辆的运动子系统采取回避识别出的位置和时间的组合的动作。
根据各种实施例，一个或多个动作包括更改车辆的路径、更改车辆的姿态和/或更改车辆的速度。
附图说明
图1A-1B图示了根据本公开的各种实施例的行动者在环境中的可能预测的轨迹。
图1C图示了根据本公开的各种实施例的车道片段的有向图。
图2图示了根据本公开的各种实施例的用于预报一个或多个行动者的运动的方法的流程图。
图3A图示了根据本公开的各种实施例的假设分析运动预测器(WIMP)编码器-解码器体系架构内的数据流的概述。
图3B图示了根据本公开的各种实施例的多段线注意力模块的概述。
图4A-4D根据本公开的各种实施例以图形方式描绘了在解码期间生成的地图车道多段线注意力权重。
图5A-5D说明性地描绘了根据本公开的各种实施例的以启发式选择的多段线和对应的反事实参考多段线为条件的两个预测场景的可视化。
图6A-6D图示了根据本公开的各种实施例的以地面实况场景上下文和反事实社会上下文为条件的两个场景的可视化。
图7是根据本公开的说明性计算设备的各种元件的图示。
图8图示了根据本公开的各种实施例的自主车辆的示例元件。
具体实施方式
如本文所使用的，单数形式“一个”、“一种”和“该”包括复数引用，除非上下文另有明确规定。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员普遍理解的相同含义。如本文所使用的，术语“包括”是指“包括但不限于”。与本文档相关的附加术语的定义包括在本具体实施方式的末尾。
“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与虚拟机或容器布置中的其他设备共享。存储器将包含或接收编程指令，这些编程指令在被处理器执行时使电子设备根据编程指令执行一个或多个操作。
术语“存储器”、“存储器设备”、“计算机可读存储介质”、“数据存储库”、“数据存储设施”等每个指代计算机可读数据、编程指令或两者被存储在其上的非暂态设备。除非另有明确说明，否则术语“存储器”、“存储器设备”、“计算机可读存储介质”、“数据存储库”、“数据存储设施”等旨在包括单个设备实施例、多个存储器设备一起或共同存储数据或指令的集合的实施例，以及此类设备内的各个扇区。
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另有明确说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和其中多个处理设备一起或共同执行过程的实施例。
术语“模块”是指由处理器执行的计算机可读编程指令的集合，其使处理器执行指定的功能。例如，术语“路点预测器模块”是指系统的元素，其中处理器将执行编程指令的集合，这些指令使处理器预测环境中检测到的行动者的路点。
术语“车辆”是指能够运载一个或多个乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的交通工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自主车辆、飞机、航空无人机等。“自主车辆”(AV)是具有处理器、编程指令和无需人类操作者即可由处理器控制的传动系组件的车辆。AV可以是完全自主的，因为它不要求人类操作者来完成大多数或所有驾驶条件和功能，或者它可以是半自主的，因为在某些情况下或某些操作可以要求人类操作者，或者人类操作者可以超越车辆的自主系统并可以控制车辆。
术语“行动者”是指AV在其环境中检测到的移动或可移动物体。术语“行动者”包括但不限于车辆、行人、骑自行车的人和/或可以移动进入AV路径的其他物体。
当在AV运动计划的上下文中使用时，术语“轨迹”是指AV的运动计划系统将生成的计划，并且AV的运动控制系统在控制AV的运动时将遵循该计划。轨迹包括AV在一个时间范围内多个时间点的计划的位置和朝向，以及AV在同一时间范围内的计划的方向盘角度和角速率。AV的运动控制系统将消费轨迹并向AV的转向控制器、制动控制器、油门控制器和/或其他运动控制子系统发送命令，以使AV沿着计划的路径移动。
当在行动者运动预测的上下文中使用时，车辆的感知或预测系统可以生成的行动者的“轨迹”是指系统预测行动者将在一定时间范围内遵循的路径，以及行动者的预测的速度和/或行动者在该时间范围内各个点处沿着路径的位置。
在本文档中，当诸如“第一”和“第二”之类的术语被用来修饰名词时，这种使用只是为了将一个项目与另一个项目区分开来，而不是为了要求顺序次序，除非特别说明。此外，诸如“垂直”和“水平”，或“前”和“后”之类的相对位置的术语在使用时是指彼此相对而不需要是绝对的，并且仅指与那些术语相关联的设备的取决于设备的朝向的一种可能位置。
图神经网络和图卷积已被用于响应AV预报中普遍存在的栅格化问题。本系统和方法建立在图注意力网络(GAT)之上，并采用能够生成多样化预测的多模态解码器。
在各种实施例中，提供了用于应用基于RNN的方法进行上下文感知多模态行为预报的系统和方法。这种方法不要求栅格化的输入，并且包括道路网络注意力模块和动态交互图，以捕获可解释的几何和社会关系。与现有的基于图的(graph-based)方法相比，本方法包括被构造为高效地支持反事实推理的(counterfactual reasoning)模型。
可以操纵个体施动者(agent)的社会上下文，以便以附加的假设(未观察到的)行动者为条件或消除特定的社会影响(参见图6)。本方法结合道路网络，以车道多段线的形式生成拓扑目标，这些车道多段线是从车道片段的底层有向图(“有向车道图”)构建的。重要的是，当前的方法并不是对完整的局部地图结构进行编码，而是明确地以个体拓扑目标为预报的条件。这允许计划器推理和查询相关轨迹(例如，“鉴于左转与我的路径相交，重新预报该行动者的运动”)。特别地，本方法展示了基于拓扑查询的反事实预测，这是对现有AV预报技术的改进。
现在参考图1A-1C，根据本公开的各种实施例说明性地描绘环境中的行动者的可能预测的轨迹(图1A-1B)和有向车道图(图1C)。
对于任何道路、方向或计划的线路，对于给定的行动者来说可以发生无限数量的可能未来中的任何一个。然而，这些可能未来中多数的可能性很小。虽然对于给定的行动者可以存在许多可能发生的未来，但只有一小部分可能与AV的计划器相关。在图1A中，AV 100沿着道路行进并具有预期的轨迹120。AV 100对面是行动者105。根据各种实施例，AV 100可以包括物体检测系统，该物体检测系统被配置为分析全部或部分AV 100的周围环境。AV的示例元素，包括物体检测系统元素，将在下面图8的讨论中进行描述。物体检测系统可以被配置为识别AV 100的环境中的一个或多个物体(诸如可以移动的行动者和/或静止物体)，确定一个或多个物体是否在运动或已经在运动(即，是行动者)，和/或记录一个或多个行动者的运动以确定一个或多个行动者的运动学历史。确定行动者105的三种预测的模式110、115，其中两种预测的模式是主导预测的模式110，并且一种预测的模式(非法左转)是非主导预测的模式115。如图1A中所示，主导预测的模式110中的每一种都不与AV的预期轨迹120交互。因此，计划器无需考虑主导预测的模式110，而只需考虑穿越交通115的非法左转。
如图1B中所示，场景内的车道片段的部分集合被说明性地描绘为片段a、b、c、d、e、f、g、h、i、j和k。诸如跟随片段b(非法左转)的非法机动，可以由计划器制图或者产生幻觉(hallucinate)。与车道片段相关联的中心线(居中的多段线)在车道片段f(其被示为虚线)中示出。计划器可以从有向车道图中识别这些片段，如图1C中所示，该图识别可以与AV 100的预期路线交互的车道。在有向车道图中，箭头表示有向边，而粗的无向边表示行动者105的移动可以与AV 100的移动交互的车道。行动者105的预测的车道位置由节点a、b、c、d、e、f和g表示，AV 100的预测的车道位置由圆圈e、h、i、j和k表示。行动者105可以与AV 100交互(即，与AV 100碰撞，或造成反应性移动)的预测的车道位置由节点e表示，它包括在行动者105的预测的车道位置和AV 100的预测的车道位置两者中。
现在参考图2，根据本公开的各种实施例，说明性地描绘了用于预报一个或多个行动者的运动的方法200的流程图。
根据各种实施例，本公开的体系架构包括假设分析(what-if)运动预测器(WIMP)模型，该模型通过学习具有N个交互的行动者的连续空间离散时间系统来解决运动预报的任务。根据各种实施例，本公开的体系架构包括代码集。代码集可以存储在AV上、远程服务器上和/或任何其他合适的电子设备上。令
Figure BDA0004172368510000091
表示第n个行动者在时间t的平面(x,y)坐标，/>
Figure BDA0004172368510000092
Figure BDA0004172368510000093
表示所有N个行动者的联合状态。令/>
Figure BDA0004172368510000094
表示直到时间t的联合可观察历史，并且/>
Figure BDA0004172368510000095
表示行动者n的整个可观察历史。类似地，令/>
Figure BDA0004172368510000096
表示未来时间-步长t+1至t+T的所有行动者的联合状态。相应地定义Yt,Yn和/>
Figure BDA0004172368510000097
用于运动预报的流行方法常常依赖于栅格化表示来提供关于场景和道路几何形状的上下文信息。然而，本公开的系统和方法使用每个路段的级联中心多段线表示通过道路网络(车道片段的有向图)的有效路径。根据各种实施例，WIMP模型基于观察到的场景上下文和/或一个或多个行动者的运动学历史自动选择候选多段线。场景上下文可以包括与社会规范和/或法律要求对应的场景上下文规则的定义的集合。例如，如果场景的地图数据或与场景的地理位置相关联的(一个或多个)法律要求识别出行动者的特定转弯是非法的，或者会将车辆移入不允许的车道，或者会使车辆太靠近另一个行动者(在阈值距离内)，那么系统不会选择包括该转弯的参考多段线。因此，场景上下文规则和检测到或接收到的场景数据可以识别哪些路段将不被认为是候选多段线。然而，注意的是，可以用本公开的模型来实现选择候选多段线的其他自动和/或手动手段。
以基于多段线的输入为条件相比于其栅格化对应物具有若干优点：i)其提供了用于准确预测的强大的、基于证据的先验；ii)其允许进行可解释的模型行为分析并实现以假设的“假设分析”多段线为条件的反事实预测；以及iii)其导致不要求图像处理组件的存储器效率更高的模型。
根据各种实施例，在步骤201处确定AV的轨迹，并在步骤202处识别一个或多个行动者n。引导行动者n的参考多段线被表示为P个离散点的集合
Figure BDA0004172368510000101
其中
Figure BDA0004172368510000102
所有行动者的此类多段线的集合用C＝{C1,C2,…,CN}表示。多段线Cn是通过沿着运动的方向在道路网络中搜索与Xn相似度最高的车道片段而获得的。本公开的一个目标是对条件分布Pr(Y|X,C)进行有效地建模。虽然可以以联合方式对上面提到的分布进行建模，但对于大N而言，这常常是棘手的且计算效率低下。
本公开的体系架构采用基于RNN的体系架构来顺序建模Pr(Y|X,C)。具体而言，假设以下因式分解成立：
Figure BDA0004172368510000103
应当注意的是，即使等式1分解成以个体多段线为条件的个体行动者的条件式的乘积，关于其他行动者和多段线的全局信息也经由历史X和先前预测(Yt+1,…,Yδ-1)而被隐式概括。为了捕获这种分布，提出了一种新颖的基于图的循环注意力方法。如图2和图3A-3B中所示，WIMP体系架构至少具有三个关键组件：i)基于图的编码器模块301，其捕获场景上下文和高阶社会交互；ii)解码器模块302，其生成多样化的多模态预测；以及iii)新颖的多段线注意力模块303，其选择道路网络的相关区域，预测可以以这些区域为条件。
如图3A-3B中所示，WIMP编码器-解码器体系架构(图3A)和多段线注意力模块303(图3B)内的数据流的概述被示例性地描绘。输入轨迹和参考多段线首先被用于计算每个行动者的嵌入(embedding)，然后经由图注意力将社会上下文结合。最后，使用地图感知(map-aware)解码器生成预测的集合，该解码器经由软注意力(soft-attention)关注多段线的相关区域。
如图2和图3A中所示，在203处，可以通过AV的感知子系统使用诸如LiDAR(激光雷达)传感器和相机之类的传感器来确定行动者或物体的运动学历史。根据各种实施例，采用视点变换Γ(Xn)通过平移和旋转将每个行动者的历史归一化到参考系，使+x轴与焦点施动者F的航向(诸如AV)对齐并且
Figure BDA0004172368510000111
Figure BDA0004172368510000112
其中/>
Figure BDA0004172368510000113
Figure DA00041723685142925276
如等式2中所述，每个行动者n通过习得函数Φpoly关注其参考多段线313Cn的片段。直觉上，驾驶员会注意到他们当前靠近的道路网络中的区域，以及他们计划到达的未来目标位置。多段线注意力模块303Φpoly通过在步骤204处为每个行动者n和时间步长t预测参考多段线313以及沿着其多段线的当前和目标索引来使这种直觉操作化：
Figure BDA0004172368510000115
其中/>
Figure BDA0004172368510000116
Figure DA00041723685142932632
参考等式3，d(·)是距离度量并且路点预测器模块351Φf是在未来对粗略路点352Δ时间-步长产生幻觉的习得函数。每个时间-步长可以定义路点时间段。根据各种实施例，路点时间段可以是例如大致几分之一秒、一秒、多秒和/或其他合适的时间长度。每个行动者的上下文历史311
Figure BDA0004172368510000118
在步骤203处经由共享的循环编码器模块312Φenc捕获。应当注意的是，路点预测器模块351Φf不使用任何多段线信息并且仅基于每个施动者或行动者的运动学历史311来预测路点，运动学历史311在步骤205处被编码。路点是在路点时间段结束时施动者或行动者(可以是物体)的预测的位置。
如下所述，根据各种实施例，可以预测施动者或行动者的一个或多个未来路点。在此过程期间，多段线自注意力(self-attention)模块353可以识别参考多段线的片段354，该片段从当前位置延伸到沿着参考多段线的最接近路点的点。可以确定由参考多段线的片段为条件的行动者的一个或多个未来轨迹或轨迹状态。
以自我监督的方式进行训练，使用地面实况(ground-truth)未来轨迹作为标签，在步骤206处，经由社会图或其他行动者的其他编码更新运动学历史编码。然后可以如下获得当前和目标索引之间的片段
Figure BDA0004172368510000119
的向量化的注意力加权表示355/>
Figure BDA0004172368510000121
(其中Q、V、K是学习到的变换矩阵)：
Figure BDA0004172368510000122
其中/>
Figure BDA0004172368510000123
Figure BDA0004172368510000124
由于编码器模块312Φenc在所有行动者上独立运行，因此在特定行动者n的t个时间-步长
Figure BDA0004172368510000125
之后获得的隐藏表示对于场景中的其他动态行动者是未察觉的(oblivious)。一种可能的解决方案是提供/>
Figure BDA0004172368510000126
Figure BDA0004172368510000127
作为等式2的输入，但这在计算上可能效率低下并且占用大量存储器。不是在平面坐标空间中捕获社会交互，本公开的体系架构利用编码器模块312Φenc的能力来为特定行动者n生成丰富的潜在隐藏表示/>
Figure BDA0004172368510000128
根据各种实施例，采用图关注模块305Φgat对这些表示进行如下操作：
Figure BDA0004172368510000129
其中/>
Figure BDA00041723685100001210
Figure BDA00041723685100001211
参考等式5，D是表示注意力头(attention head)的数量的超参数，[·,·]是级联操作，⊙是内积，并且Wd、ad是学习到的参数。对于每个行动者n，本公开的体系架构专注于学习对其社会未知的隐藏表示
Figure BDA00041723685100001212
的残余改变。直观上，这可以被认为是行动者最初对其未来轨迹具有社会不可知的估计，Φenc学习残余改变以结合来自场景内其他行动者的信息。
根据等式1，WIMP被配置为学习每个行动者n的条件分布
Figure BDA00041723685100001213
为了实现这个目标，采用基于长短期记忆(LSTM)的解码器模块321Φdec：i)在步骤207处，生成单模态或多样化的多模态预测(例如，轨迹323)；ii)在参考多段线Cn上调节每个预测，使得仅与参考多段线重叠的预测的轨迹被考虑。特别地，对于未来时间-步长δ，如下获得/>
Figure BDA00041723685100001214
Figure BDA00041723685100001215
其中/>
Figure BDA00041723685100001216
Figure BDA00041723685100001217
参考等式6，Φpred是学习到的预测函数322，Φpoly是多段线注意力模块303。学习到的预测函数322Φpred的实施方式在体系架构上是不可知的。例如，学习到的预测函数322Φpred可以是双变量高斯函数或高斯函数的混合函数。对于仅评估单个焦点行动者F的预测的数据集，解码器325输入Yδ可以仅包含针对单个行动者
Figure BDA0004172368510000131
的预测。然而，即使在这个场景中，WIMP仍然能够经由从基于图的编码器获得的嵌入/>
Figure BDA0004172368510000132
来建模社会交互。根据各种实施例，在207处，行动者的运动学历史的上下文嵌入被用于生成行动者的多个预测轨迹，其中生成以每个预测的轨迹与参考多段线之一对应为条件。
根据各种实施例，基于单模态或多样化的多模态预测和条件预测，WIMP可以以图形方式描绘(如有向车道图，如上所述)AV的预测和轨迹，以在步骤208处确定每个行动者的任何多模态预测是否与AV的轨迹交互。根据各种实施例，确定是否有任何多模态预测与AV的轨迹交互还可以包括确定交互的可能性。根据各种实施例，如果交互轨迹被考虑是可能的(例如，如果可能性分数高于阈值)，那么AV在步骤209处执行动作。动作可以包括更改AV的路径、更改AV的速度和/或被配置为回避与一个或多个行动者交互的任何其他合适的动作。
现在参考图4A-4C，说明性地描绘了在解码期间生成的地图车道多段线注意力权重的可视化。在图4A中描绘的场景中，示出了焦点行动者的历史405及其地面实况未来410。图4A中的圆圈415突出显示行动者在未来3秒后的真实状态。图4A中的线420表示预测的轨迹，其中V形标记t＝+3秒状态。虚线425指参考多段线。车辆430和圆圈435图示了道路上(on-roadway)和道路外(off-roadway)的当前位置。在图4B-4D中，不透明度与社会关注的程度对应。由多段线注意力模块选择的多段线的子集在440处示出，而该片段内的点(黑色圆圈)445上的注意力权重经由椭圆450示出(对于t＝+0秒、+1秒和+2秒时的预测)。根据各种实施例，WIMP被配置为学习平滑地关注沿着参考多段线的即将到来的点。
根据各种实施例，WIMP在三元组的合集上进行训练，三元组包含：历史轨迹；地面实况未来轨迹；以及基于地图的道路上下文{(X,Y,C)}。遵循标准预测基准，未来轨迹仅针对每个训练示例中的单个焦点施动者进行描述，表示为YF。
根据各种实施例，为了鼓励预测的轨迹的集合中的多样性和多模态，本公开的体系架构被配置为学习M个不同预测器的混合。通过“多项选择”或明确地将每个训练示例指派给特定混合的“胜者全得”(WTA，winner-takes-all)损失来鼓励多样性：
Figure BDA0004172368510000141
参考等式7，
Figure BDA0004172368510000142
是由第m个混合预测的焦点轨迹。基于与距离函数相关的实验数据，已经确定轨迹之间的L1范数表现良好。
通过跟踪每个训练示例的arg min m索引，WTA损失自然地将训练示例聚类到M个集群中。以前的工作表明，直接优化这种损失会导致糟糕的结果，因为(i)难以用小批量SGD进行随机优化，因为优化对初始化是敏感的，并且(ii)每种混合都容易过度拟合，因为它是用较少的数据训练的。一个提议的解决方案是“进化的WTA”(EWTA)，其中单个最小值minm被M'最低成本的混合所取代。用M'＝M进行初始化，示例最初与所有M个集群相关联，从而鼓励每种混合生成同等的预测。随着时间的推移，随着M'退火(anneal)到1(导致标准WTA损失)，每种混合的迭代专门化确保每种最终混合都已使用完整数据集“预训练”。
以上产生了M个不同的预测的轨迹，这些轨迹可以直接馈送到要求方法返回M个预测的多输出预报基准中。为了将这些输出重新用于单一预测评估，每种混合的准确性都在验证集上被排名。
经由实验，已经证明了WIMP在为道路行动者生成准确、可解释和可控的轨迹预测方面的有效性。场景注意力编码器能够捕获现实世界城市驾驶场景中存在的复杂上下文、语义和社会关系。根据各种实施例，这些习得的场景嵌入可以与多模式解码器组合以生成似合理的(plausible)未来轨迹的多样化集合。随后执行了一系列基于反事实推理的实验，以证明预测的模式的分布如何受到场景上下文的影响。
对运动预报数据集进行了实验，该数据集具有大规模车辆轨迹数据集，其包含从城市驾驶场景中的车辆日志中提取的超过300,000个精选场景。给定2秒的轨迹历史作为输入，目标是预测特定焦点施动者在接下来的3秒内的未来运动(以100ms的间隔采样)。除了焦点施动者历史之外，还提供了附近(社会)行动者的位置历史。其中包括由基于车道的多段线组成的语义向量图。
为了评估WIMP在存在不确定性的情况下如何执行，特别具有挑战性的场景的一小部分(≈350个示例)以盲转为特征(定义为观察到的2秒轨迹是直线的示例，但地面实况未来3秒轨迹包含转弯和/或车道改变)是从数据集中提取的。即使对于最近最先进的方法，盲转(BT，blind turn)子集也提出了重大挑战，因为生成高质量的预测需要结合社会和语义信息来解决不确定性。
为了评估预测质量，使用了广泛采用的预报度量：最小平均位移误差(ADE)和最小最终位移误差(FDE)，针对单一(K＝1)和多模态(K＝6)预测场景进行评估。为了在更具挑战性的场景中捕获预测性能，采用了未命中率(MR)度量，即，FDE>2m的场景的部分。
在搜集实验数据之后，将WIMP与几种最近的最先进(SOTA)方法(SAMMP、UULM-MRM和VectorNet)进行了比较。在Argoverse挑战测试集上进行评估(结果总结在表1中)，发现这些方法中的每一种都具有很强的竞争力，其性能远高于基于K-NN和LSTM的基线设置的标准。此外，根据实验数据，确定基于WIMP的模型通过示出与基于单模态和多模态预测的度量相关的改进的性能来改进大量经过测试的技术。
Figure BDA0004172368510000151
表1：
在测试集上评估的运动预报性能，报告了单模态(K＝1)和多模态(K＝6)预测场景的MR和最小FDE/ADE。
具有挑战性的场景中的评估。由于整个数据集可以偏向于简单的直线轨迹，我们还评估了子集上的预测性能(结果总结在表2中)，其主要包括具有挑战性的盲转场景。在这个设置中，我们表明WIMP的性能优于非基于地图的方法(诸如SAMMP)，比整个数据集大得多，因为多段线和基于社会图的注意力允许模型即使在具有多个可能发生的未来轨迹的复杂场景中也解决和解释不确定性。在此类场景中，采用基于多段线的坐标系的模型(诸如LSTM+地图(先前))也表现出奇的好，因为预测空间强烈依赖于地图信息，以整体性能换取更好的转弯预测结果。我们注意到WIMP受这种偏差方差权衡的影响要小得多，在BT和一般设置中都提供最佳性能。我们还证明了预测准确性随着参考多段线质量的提高而提高。通过采用oracle事后选择最优多段线(在观察未来之后)，我们观察到显著的改进，指示WIMP可以利用此类oracles提供的“假设分析”多段线。我们将在下一节中进一步分析这一点。
模型 MR FDE ADE
SAMMP 0.67 4.91 2.38
NN+地图(削减) 0.61 5.11 3.93
LSTM+地图(先前) 0.51 2.64 3.01
WIMP 0.49 3.52 3.01
WIMP(Oracle) 0.33 2.46 1.30
表2：
在盲转验证数据子集上评估的运动预报性能。由于所选择的数据本质上是多模态的，因此仅报告(K＝6)预测的度量。
为了证明WIMP体系架构的每个组件如何对整体预测性能做出贡献，执行了消融研究，结果总结在表3中。当为模型提供地图和社会上下文时，同时耦合到基于L1的EWTA损失，获得了最佳结果。还试验了替代损失公式。例如，用负对数似然(NLL)替换EWTA损失显著降低性能，而标准L1损失提供了令人印象深刻的(K＝1)性能，但不能适应进行多重预测。
Figure BDA0004172368510000171
表3：
具有不同输入配置和训练目标的WIMP的消融研究。报告了验证集上K＝1和K＝6指标的定量结果。
发现本公开所提出的条件预报方法很容易支持对假设或不太可能的场景(反事实)的调查。计划器可以容易地使用这个能力将计算分配给仅相关的未来，或推理来自道路网络的闭塞区域的社会影响。重要的是，这些反事实查询可以另外地或替代地用于调查和评估超出基于距离的度量之外的模型。以极端上下文输入为条件的可感测预测表明，本公开的模型已经学习了驾驶行为的强大因果表示并且有可能很好地进行泛化(例如，参见图5和图6)。
现在参考图5A-5D，根据本公开的各种实施例，以启发式选择的(heuristically-selected)多段线(图5A和图5C中所示)和对应的反事实参考多段线(图5B和图5D中所示)为条件的两个预测场景的可视化被说明性地描绘。当进行不同的预测时，WIMP被配置为学习以生成一些独立于条件多段线的轨迹(例如，参见图5A和图5C中的直通预测)。另外，如果参考多段线在语义上或几何上与观察到的场景历史不兼容(如图5D中所示，反事实多段线与其他行动者相交)，模型将学会忽略地图输入，而仅依赖于社会和历史上下文。
现在参考图6A-6D，根据本公开的各种实施例，说明性地描绘了以地面实况场景上下文(图6A和图6C)和反事实社会上下文(图6B和图6D)为条件的两个场景的可视化(图6A-6B和图6C-6D)。反事实行动者用圆圈突出显示。在图6B中，一辆停止的车辆刚好在十字路口之外，阻挡了地面实况右转弯。鉴于焦点施动者的历史和速度，这使右转极不可能，并且该模式消失。在图6D中，图6C中所示的领导行动者被停止的车辆替换。如预期的那样，这使模型预测包含激进减速的轨迹。在图6A-6D中所示的实施例中，与原始场景中的10.3m/s相比，代表性轨迹的最终速度(vf)在反事实设置中为3.3m/s。
以复杂道路环境中动态施动者的未来状态为条件进行计划的能力是对自主车辆安全高效运行的核心挑战。运动预测问题的进展对自主汽车作为辅助交通工具、长途货运和本地交付选项的部署时间表、规模和性能具有下游影响。越来越多的经济、公共政策以及最近的公共卫生论文研究和模拟了AV的大规模部署的影响。
虽然关于自主驾驶进行了描述，但WIMP模型可以用于其他领域或努力。例如，根据一些实施例，WIMP模型被配置用于行人轨迹或人类动作的预测。
WIMP模型可以由结合到AV的一个或多个电子设备和/或被配置为获取计划AV的路线所需的视觉和社会信息/数据的任何合适的设备来运行。
现在参考图7，提供了计算设备700的说明性体系架构的图示。计算设备700可以是独立的设备，结合到AV或其他合适的车辆或设备中，以电子方式彼此耦合和/或电子通信多个设备，或其他合适形式的电子设备。计算设备700可以包括或与耦合到AV的物体检测系统一起使用，如上文和下文图8中所述。
计算设备700可以包括比图7中所示组件更多或更少的组件。然而，所示组件足以公开实现本解决方案的说明性解决方案。图7的硬件体系架构表示被配置为预报一个或多个行动者的代表性计算设备的一种实施方式。因此，图7的计算设备700实现了本文描述的(一个或多个)方法的至少一部分。在各种实施例中，计算设备700包括用于实现上述WIMP编码器-解码器体系架构的编程指令。
计算设备700的一些或所有组件可以被实现为硬件、软件和/或硬件和软件的组合。硬件包括但不限于一个或多个电子电路。电子电路可以包括但不限于无源元件(例如，电阻器和电容器)和/或有源元件(例如，放大器和/或微处理器)。无源和/或有源组件可以适用于、布置为和/或被编程为执行本文所述的方法、过程或功能中的一个或多个。
如图7中所示，计算设备700包括用户接口702、中央处理单元(“CPU”)706、系统总线710、通过系统总线710连接到计算设备700的其他部分并可由其访问的存储器712、系统接口760以及连接到系统总线710的硬件实体714。用户接口可以包括输入设备和输出设备，它们促进用于控制计算设备700的操作的用户-软件交互。输入设备包括但不限于相机、运动传感器、物理和/或触摸键盘750和/或其他合适的输入设备。输入设备可以通过有线或无线连接(例如，
Figure BDA0004172368510000191
连接)连接到计算设备700。输出设备包括但不限于扬声器752、显示器754和/或发光二极管756。系统接口760被配置为促进与外部设备(例如，网络节点，诸如接入点等)的有线或无线通信。
硬件实体714中的至少一些执行涉及访问和使用存储器712的动作，存储器712可以是随机存取存储器(“RAM”)、磁盘驱动器、闪存、光盘只读存储器(“CD-ROM”)和/或能够存储指令和数据的另一种硬件设备。硬件实体714可以包括盘驱动单元716，该盘驱动单元716包括计算机可读存储介质718，在该计算机可读存储介质718上存储指令720的一个或多个集合(例如，软件代码)，指令720被配置为实现本文描述的方法、过程或功能中的一个或多个。指令720在由计算设备700执行期间也可以完全或至少部分地驻留在存储器712和/或CPU 706内。存储器712和CPU 706也可以构成机器可读介质。如此处使用的，术语“机器可读介质”是指存储指令720的一个或多个集合的单一介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。如此处使用的，术语“机器可读介质”还指能够存储、编码或携带指令720的集合以供计算设备700执行并且使计算设备700执行本公开的方法中的任何一个或多个的任何介质。
图8图示了车辆100(例如，自主车辆)的示例系统体系架构800。车辆100可以包括引擎或马达802以及用于测量车辆和/或其环境的各种参数的各种传感器。两种类型的车辆共有的操作参数传感器包括例如：位置传感器836，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器838；以及里程计传感器840。车辆100还可以具有时钟842，系统体系架构800使用时钟842来确定操作期间的车辆时间。时钟842可以被编码到车辆车载计算设备810中，它可以是单独的设备，或者多个时钟可以是可用的。
车辆100还可以包括各种传感器，这些传感器与处理器和编程指令一起用作物体检测系统，该物体检测系统操作以收集关于车辆在其中行进的环境的信息。这些传感器可以包括例如：位置传感器860，诸如GPS设备；物体检测传感器，诸如一个或多个相机862；LiDAR传感器系统864；和/或雷达和/或声纳系统866。传感器还可以包括环境传感器868，诸如降水传感器和/或环境温度传感器。物体检测传感器可以使车辆100能够检测在任何方向上车辆100的给定距离或范围内的物体，而环境传感器收集关于车辆行进区域内的环境条件的数据。系统体系架构800还将包括用于捕获环境图像的一个或多个相机862。任何或所有这些传感器将捕获传感器数据，这将使车辆的车载计算设备810和/或外部设备的一个或多个处理器能够执行编程指令，编程指令使计算系统能够对感知数据中的物体进行分类，并且所有此类传感器、处理器和指令可以被视为车辆的感知系统。车辆还可以经由一个或多个无线通信链路，诸如称为车辆到车辆、车辆到物体或其他V2X通信链路的那些通信链路。术语“V2X”是指车辆与车辆在其环境中可能遇到或影响的任何物体之间的通信。
在操作期间，信息从传感器传送到车载计算设备810。车载计算设备810分析由传感器捕获的数据，并且基于分析的结果可选地控制车辆的操作。例如，车载计算设备810可以经由制动控制器822控制制动；经由转向控制器824控制方向；经由油门控制器826(在汽油动力车辆中)或马达速度控制器828(诸如电动车辆中的电流水平控制器)控制速度和加速度；差动齿轮控制器830(在具有变速器的车辆中)；和/或诸如辅助设备控制器854之类的其他控制器。车载计算设备810可以包括自主车辆导航控制器820，其被配置为控制车辆通过十字路口的导航。在一些实施例中，十字路口可以包括交通灯。在一些实施例中，十字路口可以包括智能节点。在一些实施例中，车载计算设备810可以被配置为如果车辆在十字路口的范围内则基于增强的感知数据(APD)是否可用来切换模式(增强的感知模式和非增强的感知模式)。
地理位置信息可以从位置传感器860传送到车载计算设备810，车载计算设备810然后可以访问与位置信息对应的环境地图以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停/走信号。从相机862捕获的图像和/或从诸如LiDAR系统864之类的传感器捕获的物体检测信息从那些传感器传送到车载计算设备810。物体检测信息和/或捕获的图像可以由车载计算设备810处理以检测车辆100附近的物体。另外地或替代地，车辆100可以将任何数据传输到远程服务器系统以供处理。用于基于传感器数据和/或捕获的图像进行物体检测的任何已知或将已知的技术都可以用在本文档中公开的实施例中。
虽然本解决方案已经针对一种或多种实施方式进行了说明和描述，但是本领域的其他技术人员在阅读和理解本说明书和附图后将想到等同的变更和修改。此外，虽然本解决方案的特定特征可以仅针对几个实施方式中的一个被公开，但是这样的特征可以与其他实施方式的一个或多个其他特征组合，如对于任何给定或特定应用可能期望和有利的那样。因此，本解决方案的广度和范围不应受到上述任何实施例的限制。更确切地说，本解决方案的范围应根据以下权利要求及其等同物来定义。

Claims (32)

1.一种确定行动者在车辆操作的环境中的轨迹的方法，所述方法包括：
由环境中车辆的物体检测系统检测能够在所述环境中的场景内移动的行动者；
使用所述场景的上下文来确定所述行动者的参考多段线，其中所述参考多段线定义所述行动者在一段时间内能够在所述场景内沿着其行进的路径；
确定所述行动者的运动学历史，其中所述运动学历史包括测得的所述行动者的移动的路径；
使用所述运动学历史来预测路点，其中所述路点是所述行动者在路点时间段结束时的预测的位置；
识别所述参考多段线的片段，所述片段从当前位置延伸到沿着所述参考多段线的最接近所述路点的点；以及
确定以所述参考多段线的所述片段为条件的所述行动者的轨迹。
2.如权利要求1所述的方法，其中使用所述场景的上下文来确定所述行动者的所述参考多段线包括：
确定所述行动者能够沿着其行进的多个车道片段；以及
选择所述参考多段线，其中所述参考多段线与所述多个车道片段中的不会使所述行动者违反场景上下文规则的车道片段对应。
3.如权利要求1所述的方法，还包括由所述车辆使用所确定的轨迹来使所述车辆采取一个或多个动作。
4.如权利要求3所述的方法，其中所述一个或多个动作包括以下一项或多项：
更改所述车辆的路径；
更改所述车辆的姿态；或者
更改所述车辆的速度。
5.一种用于确定行动者在车辆操作的环境中的轨迹的系统，所述系统包括：
物体检测系统，被配置为检测能够在车辆的环境中的场景内移动的行动者；以及
计算机可读存储介质，包括一个或多个编程指令，所述编程指令在被执行时将使处理器：
使用所述场景的上下文来确定所述行动者的参考多段线，其中所述参考多段线定义所述行动者在一段时间内能够在所述场景内沿着其行进的路径，
确定所述行动者的运动学历史，其中所述运动学历史包括测得的所述行动者的移动的路径，
使用所述运动学历史来预测路点，其中所述路点是所述行动者在路点时间段结束时的预测的位置，
识别所述参考多段线的片段，所述片段从当前位置延伸到沿着所述参考多段线的最接近所述路点的点，以及
确定以所述参考多段线的所述片段为条件的所述行动者的轨迹。
6.如权利要求5所述的系统，其中使用所述场景的上下文来确定所述行动者的所述参考多段线的指令包括用于以下的指令：
确定所述行动者能够沿着其行进的多个车道片段；以及
选择所述参考多段线，其中所述参考多段线与所述多个车道片段中的不会使所述行动者违反场景上下文规则的车道片段对应。
7.如权利要求5所述的系统，其中所述计算机可读存储介质还包括一个或多个编程指令，所述编程指令在被执行时将使所述车辆使用所确定的轨迹来采取一个或多个动作。
8.如权利要求7所述的系统，其中所述一个或多个动作包括以下一项或多项：
更改所述车辆的轨迹路径；
更改所述车辆的姿态；或者
更改所述车辆的速度。
9.一种计算机可读存储介质，包括一个或多个编程指令，编程指令在被执行时将使处理器：
使用车辆的物体检测系统来检测能够在所述车辆周围的环境中的场景内移动的行动者；
使用所述场景的上下文来确定所述行动者的参考多段线，其中所述参考多段线定义所述行动者在一段时间内能够在所述场景内沿着其行进的路径；
确定所述行动者的运动学历史，其中所述运动学历史包括测得的所述行动者的移动的路径；
使用所述运动学历史来预测路点，其中所述路点是所述行动者在路点时间段结束时的预测的位置；
识别所述参考多段线的片段，所述片段从当前位置延伸到沿着所述参考多段线的最接近所述路点的点；以及
确定以所述参考多段线的所述片段为条件的所述行动者的轨迹。
10.如权利要求9所述的计算机可读存储介质，其中使用所述场景的上下文来确定所述行动者的所述参考多段线的指令包括用于以下的指令：
确定所述行动者能够沿着其行进的多个车道片段；以及
选择所述参考多段线，其中所述参考多段线与所述多个车道片段中的不会使所述行动者违反场景上下文规则的车道片段对应。
11.如权利要求9所述的计算机可读存储介质，还包括附加的编程指令，所述编程指令在被执行时将使所述车辆使用所确定的轨迹来采取一个或多个动作。
12.如权利要求11所述的计算机可读存储介质，其中所述一个或多个动作包括以下一项或多项：
更改所述车辆的轨迹路径；
更改所述车辆的姿态；或者
更改所述车辆的速度。
13.一种确定行动者在车辆操作的环境中的轨迹的方法，所述方法包括：
由环境中车辆的物体检测系统检测能够在所述环境中的场景内移动的行动者；
确定所述行动者的运动学历史，其中所述运动学历史包括测得的所述行动者的移动的路径；
使用所述场景的上下文和所述行动者的所述运动学历史来确定所述行动者的多个参考多段线，其中每个参考多段线根据所述场景的上下文定义所述行动者在一段时间内能够在所述场景内沿着其行进的路径；
生成所述行动者的所述运动学历史的上下文嵌入以生成所述行动者的多个预测的轨迹，其中所述生成以所述预测的轨迹中的每个与所述参考多段线之一对应为条件；以及
由所述车辆使用所述多个预测的轨迹来计划所述车辆的移动。
14.如权利要求13所述的方法，还包括从有向车道图构造预测的多段线。
15.如权利要求13所述的方法，其中使用所述场景的上下文来确定所述物体的多个参考多段线包括：
确定所述行动者能够沿着其行进的多个车道片段；以及
仅选择与不会使所述行动者违反场景上下文规则的车道片段对应的参考多段线。
16.如权利要求13所述的方法，其中使用所述行动者的所述运动学历史来生成多个预测的轨迹是由解码器模块执行的。
17.如权利要求13所述的方法，还包括：
预测路点，其中所述路点是所述行动者在路点时间段结束时的预测的位置；
识别所述参考多段线的片段，所述片段从当前位置延伸到沿着所述参考多段线的最接近所述路点的点；以及
将第一未来轨迹状态确定为以所述参考多段线的所述片段为条件的轨迹。
18.如权利要求17所述的方法，其中使用所述多个预测的轨迹来计划所述车辆的移动包括：
识别所述第一未来轨迹状态能够与所述车辆的计划的轨迹相交的位置和时间的一个或多个组合；以及
使所述车辆的运动子系统采取回避识别出的位置和时间的组合的动作。
19.如权利要求18所述的方法，其中所述一个或多个动作包括以下一项或多项：
更改所述车辆的路径；
更改所述车辆的姿态；或者
更改所述车辆的速度。
20.一种用于确定行动者在车辆操作的环境中的轨迹的系统，所述系统包括：
物体检测系统，被配置为检测能够在车辆的环境中的场景内移动的行动者；以及
计算机可读存储介质，包括一个或多个编程指令，所述编程指令在被执行时将使处理器：
确定所述行动者的运动学历史，其中所述运动学历史包括测得的所述行动者的移动的路径，
使用所述场景的上下文和所述运动学历史来确定所述行动者的多个参考多段线，其中每个参考多段线根据所述场景的上下文定义所述行动者在一段时间内能够在所述场景内沿着其行进的路径，
使用所述行动者的所述运动学历史的上下文嵌入以生成所述行动者的多个预测的轨迹，其中所述生成以所述预测的轨迹中的每个与所述参考多段线之一对应为条件，以及
使用所述多个预测的轨迹来计划所述车辆的一个或多个移动。
21.如权利要求20所述的系统，其中所述物体检测系统包括以下一项或多项：位置传感器；一个或多个相机；LiDAR传感器系统；雷达系统；或声纳系统。
22.如权利要求20所述的系统，其中所述物体检测系统包括一个或多个环境传感器。
23.如权利要求22所述的系统，其中所述环境传感器包括以下一项或多项：降水传感器；或环境温度传感器。
24.如权利要求20所述的系统，其中所述计算机可读存储介质还包括一个或多个编程指令，所述编程指令在被执行时将使所述车辆从有向车道图构造预测的多段线。
25.如权利要求20所述的系统，其中使用所述场景的上下文来确定所述物体的多个参考多段线的指令包括用于以下的指令：
确定所述行动者能够沿着其行进的多个车道片段；以及
仅选择与不会使所述行动者违反场景上下文规则的车道片段对应的参考多段线。
26.如权利要求20所述的系统，其中还包括解码器模块，所述解码器模块被配置为使用所述行动者的所述运动学历史来生成多个预测的轨迹。
27.如权利要求20所述的系统，其中所述计算机可读存储介质还包括一个或多个编程指令，所述编程指令在被执行时将使所述处理器：
预测路点，其中所述路点是所述行动者在路点时间段结束时的预测的位置；
识别所述参考多段线的片段，所述片段从当前位置延伸到沿着所述参考多段线的最接近所述路点的点；以及
将第一未来轨迹状态确定为以所述参考多段线的所述片段为条件的轨迹。
28.如权利要求27所述的系统，其中使用所述多个预测的轨迹来计划所述车辆的移动的指令包括用于以下的指令：
识别所述第一未来轨迹状态能够与所述车辆的计划的轨迹相交的位置和时间的一个或多个组合；以及
使所述车辆的运动子系统采取回避识别出的位置和时间的组合的动作。
29.如权利要求28所述的系统，其中所述一个或多个动作包括以下一项或多项：
更改所述车辆的路径；
更改所述车辆的姿态；或者
更改所述车辆的速度。
30.一种计算机可读存储介质，包括一个或多个编程指令，编程指令在被执行时将使处理器：
使用车辆的物体检测系统来检测能够在所述车辆周围的环境的场景内移动的行动者：
确定所述行动者的运动学历史，其中所述运动学历史包括测得的所述行动者的移动的路径；
使用所述场景的上下文和所述运动学历史来确定所述行动者的多个参考多段线，其中每个参考多段线根据所述场景的上下文定义所述行动者在一段时间内能够在所述场景内沿着其行进的路径；
使用所述行动者的所述运动学历史的上下文嵌入以生成所述行动者的多个预测的轨迹，其中所述生成以所述预测的轨迹中的每个与所述参考多段线之一对应为条件；以及
使用所述多个预测的轨迹来计划车辆的一个或多个移动。
31.如权利要求30所述的计算机可读存储介质系统，还包括附加的编程指令，编程指令在被执行时将使所述处理器：
预测路点，其中所述路点是所述行动者在路点时间段结束时的预测的位置；
识别所述参考多段线的片段，所述片段从当前位置延伸到沿着所述参考多段线的最接近所述路点的点；以及
将第一未来轨迹状态确定为以所述参考多段线的所述片段为条件的轨迹。
32.如权利要求31所述的计算机可读存储介质系统，其中使用多个预测的轨迹来计划所述车辆的移动的指令包括用于以下的指令：
识别所述第一未来轨迹状态能够与所述车辆的计划的轨迹相交的位置和时间的一个或多个组合；以及
使所述车辆的运动子系统采取回避识别出的位置和时间的组合的动作。
CN202180069725.4A 2020-08-12 2021-08-09 用于车辆运动计划的路点预测和运动预报 Pending CN116323364A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063064598P 2020-08-12 2020-08-12
US63/064,598 2020-08-12
US17/308,688 US11794731B2 (en) 2020-08-12 2021-05-05 Waypoint prediction for vehicle motion planning
US17/308,721 2021-05-05
US17/308,721 US20220048503A1 (en) 2020-08-12 2021-05-05 Path-conditioned motion forecasting for vehicle motion planning
US17/308,688 2021-05-05
PCT/US2021/045257 WO2022035776A1 (en) 2020-08-12 2021-08-09 Waypoint prediction and motion forecasting for vehicle motion planning

Publications (1)

Publication Number Publication Date
CN116323364A true CN116323364A (zh) 2023-06-23

Family

ID=80223888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180069725.4A Pending CN116323364A (zh) 2020-08-12 2021-08-09 用于车辆运动计划的路点预测和运动预报

Country Status (4)

Country Link
US (2) US11794731B2 (zh)
EP (1) EP4196381A1 (zh)
CN (1) CN116323364A (zh)
WO (1) WO2022035776A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021092334A1 (en) * 2019-11-06 2021-05-14 Ohio State Innovation Foundation Systems and methods for vehicle dynamics and powertrain control using multiple horizon optimization
CN114787739A (zh) * 2019-11-15 2022-07-22 伟摩有限责任公司 使用向量化输入的智能体轨迹预测
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine
DE102021202333A1 (de) * 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Spurgraphen als surrogat für betriebs-/fahrszenarien
US11853069B2 (en) * 2021-03-12 2023-12-26 Waymo Llc Continuing lane driving prediction
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US20230322270A1 (en) * 2022-04-08 2023-10-12 Motional Ad Llc Tracker Position Updates for Vehicle Trajectory Generation
US20230415766A1 (en) * 2022-06-22 2023-12-28 Argo AI, LLC Lane segment clustering using hybrid distance metrics
CN114872735B (zh) * 2022-07-10 2022-10-04 成都工业职业技术学院 基于神经网络算法的自动驾驶物流车辆决策方法和装置
CN115840857B (zh) * 2023-02-22 2023-05-09 昆明理工大学 一种联合多元时空轨迹的群体行为模式挖掘方法
CN116880462A (zh) * 2023-03-17 2023-10-13 北京百度网讯科技有限公司 自动驾驶模型、训练方法和自动驾驶方法和车辆

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104640756B (zh) 2012-09-19 2017-03-29 丰田自动车株式会社 车辆驾驶行为预测装置
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US10493985B2 (en) * 2014-12-19 2019-12-03 Hitachi, Ltd. Travel control device
KR102524851B1 (ko) 2016-10-31 2023-04-25 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
US10394245B2 (en) 2016-11-22 2019-08-27 Baidu Usa Llc Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions
US10268200B2 (en) 2016-12-21 2019-04-23 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
KR20190099475A (ko) 2017-01-20 2019-08-27 닛산 지도우샤 가부시키가이샤 차량 거동 예측 방법 및 차량 거동 예측 장치
KR102354332B1 (ko) * 2017-03-13 2022-01-21 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
US10279734B2 (en) 2017-06-16 2019-05-07 GM Global Technology Operations LLC Systems and methods for external warning by an autonomous vehicle
US10656657B2 (en) 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10019011B1 (en) 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10562538B2 (en) 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
US20190210591A1 (en) 2018-01-08 2019-07-11 Sri International System and Method to Enhance the Driving Performance of a Leanable Vehicle
JP7063043B2 (ja) 2018-03-26 2022-05-09 株式会社デンソー 車両制御装置、および、決定方法
US11260855B2 (en) 2018-07-17 2022-03-01 Baidu Usa Llc Methods and systems to predict object movement for autonomous driving vehicles
US11169531B2 (en) 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes
WO2020079074A2 (en) 2018-10-16 2020-04-23 Five AI Limited Autonomous vehicle planning
US11215997B2 (en) 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US11230285B2 (en) 2019-10-14 2022-01-25 Pony Ai Inc. System and method for determining a vehicle action
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
US11420648B2 (en) * 2020-02-29 2022-08-23 Uatc, Llc Trajectory prediction for autonomous devices
CN111428943B (zh) 2020-04-23 2021-08-03 福瑞泰克智能系统有限公司 障碍物车辆轨迹预测的方法、设备和计算机设备

Also Published As

Publication number Publication date
US11794731B2 (en) 2023-10-24
WO2022035776A1 (en) 2022-02-17
US20220048503A1 (en) 2022-02-17
US20220048498A1 (en) 2022-02-17
EP4196381A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
CN116323364A (zh) 用于车辆运动计划的路点预测和运动预报
Bachute et al. Autonomous driving architectures: insights of machine learning and deep learning algorithms
US11726477B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
US11835962B2 (en) Analysis of scenarios for controlling vehicle operations
Yurtsever et al. A survey of autonomous driving: Common practices and emerging technologies
Muhammad et al. Deep learning for safe autonomous driving: Current challenges and future directions
AU2019253703B2 (en) Improving the safety of reinforcement learning models
US11634162B2 (en) Full uncertainty for motion planning in autonomous vehicles
US11625036B2 (en) User interface for presenting decisions
CA3096415A1 (en) Dynamically controlling sensor behavior
Huang et al. Gameformer: Game-theoretic modeling and learning of transformer-based interactive prediction and planning for autonomous driving
US11960292B2 (en) Method and system for developing autonomous vehicle training simulations
Villagra et al. Motion prediction and risk assessment
Worrall et al. A context-based approach to vehicle behavior prediction
US11810365B1 (en) Perception error modeling
US12030523B2 (en) Agent trajectory planning using neural networks
US20230410469A1 (en) Systems and methods for image classification using a neural network combined with a correlation structure
US20230040006A1 (en) Agent trajectory planning using neural networks
US20230229826A1 (en) Method for assigning a lane relationship between an autonomous vehicle and other actors near an intersection
US20230030474A1 (en) Method and system for developing autonomous vehicle training simulations
Duy Application of Deep Reinforcement Learning for Measuring the Efficiency of Autonomous Vehicles under a Mixed-Traffic Condition in Non-Signalized Intersections
Azarchenkov et al. Algorithm for Predicting the Trajectory of Road Users to Automate Control of an Autonomous Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230720

Address after: Dearborn, Michigan, USA

Applicant after: Ford Global Technologies, LLC

Address before: Pennsylvania, America

Applicant before: Ergo artificial intelligence Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination