CN113272830B - 行为预测系统中的轨迹表示 - Google Patents

行为预测系统中的轨迹表示 Download PDF

Info

Publication number
CN113272830B
CN113272830B CN201980088053.4A CN201980088053A CN113272830B CN 113272830 B CN113272830 B CN 113272830B CN 201980088053 A CN201980088053 A CN 201980088053A CN 113272830 B CN113272830 B CN 113272830B
Authority
CN
China
Prior art keywords
environment
target agent
time
trajectory
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980088053.4A
Other languages
English (en)
Other versions
CN113272830A (zh
Inventor
K.雷法特
S.罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113272830A publication Critical patent/CN113272830A/zh
Application granted granted Critical
Publication of CN113272830B publication Critical patent/CN113272830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

用于生成环境中的目标智能体的轨迹的表示的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一方面，环境中的目标智能体的轨迹的表示是多个通道的级联，其中每个通道被表示为数据值的二维数组。每个通道中的每个值对应于环境中的相应空间位置，以及不同通道中的对应位置对应于环境中的相同空间位置。通道包括时间通道和与预定的一组运动参数中的每个运动参数对应的相应运动通道。

Description

行为预测系统中的轨迹表示
技术领域
本说明书涉及自主载具(autonomous vehicle)。
背景技术
自主载具包括自动驾驶汽车、船和飞机。自主载具使用各种机载传感器和计算机系统来检测附近的对象并且使用这样的检测来做出控制和导航决策。
发明内容
本说明书描述了在一个或多个位置的一个或多个计算机上作为计算机程序实现的系统，其生成行为预测数据。
根据第一方面，提供一种方法，该方法包括获得表征环境中的目标智能体的轨迹的历史数据。历史数据针对多个先前时间点中的每一个包括限定下述各项的数据：(i)目标智能体在先前时间点所占据的环境中的空间位置，以及(ii)预定的一组运动参数中的每个运动参数的相应值。每个运动参数的值表征目标智能体在先前时间点的运动的相应特征。生成环境中的目标智能体的轨迹的表示，其中，环境中的目标智能体的轨迹的表示是多个通道的级联(concatenation)。每个通道被表示为数据值的二维数组，以及每个通道中的每个位置对应于环境中的相应空间位置。不同通道中的对应位置对应于环境中的相同空间位置。通道包括时间通道和与该预定的一组运动参数中的每个运动参数对应的相应运动通道。
针对目标智能体在特定先前时间点所占据的环境中的每个特定空间位置，与特定空间位置对应的时间通道中的位置限定特定先前时间点。此外，针对每个运动通道，与特定空间位置对应的运动通道中的位置限定在特定先前时间点与运动通道对应的运动参数的值。
使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据。
在一些实现方式中，该方法包括获得表征目标智能体在先前时间点的速度的速度运动参数的值。在一些实现方式中，该方法包括获得表征目标智能体在先前时间点的加速度的加速度运动参数的值。在一些实现方式中，该方法包括获得表征目标智能体在先前时间点的走向的走向运动参数的值。
在一些实现方式中，该方法包括使用载具的规划系统处理表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，以生成控制输出。基于控制输出，自主地修改载具的操作。
在一些实现方式中，该方法包括处理包括环境中的目标智能体的轨迹的表示的输入，以生成下述数据：该数据针对环境中的多个空间位置中的每一个，限定目标智能体将在当前时间点之后的指定时间点占据该空间位置的相应概率。
在一些实现方式中，该方法包括处理除了环境中的目标智能体的轨迹的表示之外还包括限定在当前时间点之后环境中的目标智能体的候选未来轨迹的数据的输入，以生成限定目标智能体的未来轨迹是目标智能体的候选未来轨迹的概率的数据。
在一些实现方式中，该方法包括生成下述数据：该数据限定目标智能体将做出预定数目的可能驾驶决策中的每一个的相应概率。
在一些实现方式中，该方法包括生成时间通道和与该预定的一组运动参数中的每个运动参数对应的相应运动通道，时间通道和相应运动通道中的每一个表示环境的自上而下透视。
在一些实现方式中，该方法包括处理包括下述各项中的一个或多个的输入：(i)表示环境的已知几何结构的道路图通道，(ii)通过目标智能体边界框表示在当前时间点环境中的目标智能体的空间位置的目标智能体定位通道，以及(iii)通过相应其他智能体边界框表示在当前时间点环境中的一个或多个其他智能体的相应空间位置的辅助定位通道。
在一些实现方式中，该方法包括生成环境中的多个其他智能体的轨迹的联合表示。使用卷积神经网络处理除了环境中的目标智能体的轨迹的表示之外还包括环境中的多个其他智能体的轨迹的联合表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据。
在一些实现方式中，环境中的多个其他智能体的轨迹的联合表示包括辅助时间通道和与预定的一组运动参数中的每个运动参数对应的相应辅助运动通道。每个通道被表示为数据值的二维数组，以及每个通道中的每个数据值对应于环境中的相应空间位置。针对特定其他智能体在特定先前时间点所占据的环境中的每个特定空间位置：与特定空间位置对应的辅助时间通道中的数据值限定特定先前时间点；以及针对每个辅助运动通道，与特定空间位置对应的辅助运动通道中的数据值限定表征特定其他智能体在特定先前时间点的运动的相应特征的、与辅助运动通道对应的运动参数的值。
根据第二方面，提供一种系统，该系统包括数据处理装置和存储器，存储器与数据处理装置进行数据通信，并存储使数据处理装置执行先前描述的方法的操作的指令。
根据第三方面，提供一个或多个非临时性计算机存储介质，其存储指令，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行操作，所述操作包括先前描述的方法的操作。
可以实施本说明书中描述的主题内容的具体实施例以实现以下优点中的一个或多个。
本说明书中描述的机载系统可准确生成表征在载具附近的目标智能体的未来轨迹的行为预测数据。因此，本说明书中描述的机载系统可部署在载具中，以使得载具能够做出完全自主或部分自主驾驶决策，向载具的驾驶员呈现信息来辅助驾驶员安全地操作载具，或上述二者。
本说明书中描述的机载系统使用数据表示系统来生成轨迹表示数据，该轨迹表示数据将目标智能体的轨迹和一个或多个其他智能体的轨迹限定为二维(2D)“通道”的集合。机载系统使用卷积神经网络处理轨迹表示数据以生成针对目标智能体的行为预测数据。作为2D通道的集合的智能体的轨迹的表示比作为3D通道的集合的表示更紧凑，且与1D表示不同，可以由卷积神经网络中的多维卷积滤波器来处理。因此，与机载系统将智能体的轨迹表示为3D通道的集合的情况相比，通过将智能体的轨迹表示为2D通道的集合，机载系统会消耗更少的计算资源(例如存储器、计算能力或这二者)。而且，卷积神经网络可通过使用多维卷积滤波器处理表示智能体的轨迹的2D通道的集合学习来利用轨迹表示数据的不同空间区域之间的复杂交互，从而生成更准确的行为预测数据。
本说明书中描述的行为预测神经网络可被训练以通过直接处理表示智能体轨迹的数据来生成行为预测数据。相比之下，一些传统行为预测系统被配置为处理大量手工特征，所述手工特征必须被显式地指定为对传统系统的输入。本说明书中描述的行为预测神经网络可比这些传统系统生成更准确的行为预测数据，并且使得不必须进行费力的手工特征工程。
在附图和以下说明中阐述了本说明书的主题内容的一个或多个实施例的细节。从描述、附图和权利要求中，主题内容的其他特征、方面和优点将变得更加清晰。
附图说明
图1是示例机载系统的框图。
图2是示例数据表示系统的框图。
图3是数据表示系统可通过其生成表示目标智能体的先前轨迹的通道的示例处理的图示。
图4是示例行为预测神经网络的框图。
图5是用于生成行为预测数据的示例处理的流程图。
在各个图中相似的附图标记和名称指示相似的元件。
具体实施方式
本说明书描述了载具的机载系统可以如何生成表征在载具附近的目标智能体的未来轨迹的行为预测数据。目标智能体可以是例如行人、骑自行车的人或另一载具。为了生成行为预测数据，机载系统使用数据表示系统来生成表示在载具附近的目标智能体的轨迹和其他智能体的轨迹的轨迹表示数据，作为二维(2D)“通道”的集合。机载系统使用卷积神经网络处理轨迹表示数据，以生成针对目标智能体的行为预测数据。行为预测数据可以例如限定目标智能体做出预定数目的可能驾驶决策(例如，让行、改变车道、通过、制动或加速)中的每个的相应概率。
机载系统可使用行为预测数据来执行使载具更安全地操作的动作。例如，如果行为预测数据提示(suggest)汇入载具不太可能让行，则机载系统可生成完全自主控制输出来应用载具的制动器，以避免与汇入载具碰撞。作为另一示例，如果行为预测数据提示汇入载具不太可能让行，则机载系统可通过调整载具的轨迹的指令向载具的驾驶员呈现警报消息，以避免与汇入载具碰撞。
下面更详细地描述这些特征和其他特征。
图1是示例机载系统100的框图。机载系统100由硬件和软件组件组成，硬件和软件组件中的一些或全部物理上位于载具102上。在一些情况下，机载系统100可做出完全自主或部分自主驾驶决策(即，独立于载具102的驾驶员做出的驾驶决策)，向载具102的驾驶员呈现信息来辅助驾驶员安全操作载具，或进行以上二者。例如，响应于确定另一载具不太可能给载具102让行，机载系统100可自主地应用载具102的制动器，或自主地改变载具102的轨迹，以防止载具102和其他载具之间的碰撞。作为另一示例，响应于确定另一载具不太可能给载具102让行，机载系统100可通过调整载具102的轨迹的指令向载具102的驾驶员呈现警报消息，以避免与另一载具碰撞。
尽管图1中的载具102被描绘为汽车，并且在本文档中的示例是参考汽车描述的，但是一般地，载具102可以是任何类型的载具。例如，除了汽车之外，载具102可以是水运工具或航空器。此外，机载系统100可包括对于图1所描绘的那些组件附加的组件(例如，碰撞检测系统或导航系统)。
机载系统100包括使得机载系统100能够“看见”在载具102附近的环境的传感器系统104。更具体来说，传感器系统104包括一个或多个传感器，其中一些传感器被配置为接收来自在载具102附近的环境的电磁辐射的反射。例如，传感器系统104可包括被配置为检测激光的反射的一个或多个激光传感器(例如，LIDAR激光传感器)。作为另一示例，传感器系统104可包括被配置为检测无线电波的反射的一个或多个雷达传感器。作为另一示例，传感器系统104可包括被配置为检测可见光的反射的一个或多个相机传感器。
传感器系统104持续(即，在多个时间点中的每个时间点处)捕获原始传感器数据，该原始传感器数据可指示反射的辐射行进的距离、强度和方向。例如，传感器系统104中的传感器可在特定方向上发送电磁辐射的一个或多个脉冲，并且可测量任何反射的强度、以及接收到反射的时间。可通过确定在发送脉冲和接收其反射之间经过的时间来计算距离。每个传感器可以以角度、方位角或这二者持续扫过特定空间。以方位角扫过例如可允许传感器沿着相同视线检测多个对象。
机载系统100可使用传感器系统104持续生成的传感器数据来跟踪在载具102附近的环境中的智能体(例如，行人、骑自行车的人、其他载具等)的轨迹。智能体的轨迹是指下述数据：针对多个时间点中的每个时间点，限定在该时间点处在环境中智能体所占据的空间位置、以及在该时间点处智能体的运动的特征。在该时间点处智能体的运动的特征可以包括例如智能体的速度(例如，以英里每小时-mph测量)、智能体的加速度(例如，以英尺每平方秒测量)、以及智能体的走向(例如，以度测量)。智能体的走向是指智能体的行进方向，并且可以表示为相对于环境中的给定参照系(例如，北南东西参照系)限定的角数据(例如，在从0度至360度的范围内)。
为了跟踪在载具102附近的环境中智能体的轨迹，机载系统100可保持(例如，在物理数据存储设备中)历史数据106，其限定直至当前时间点智能体的轨迹。机载系统100可使用传感器系统104持续生成的传感器数据来持续更新(例如，每0.1秒)限定智能体的轨迹的历史数据106。通常，在给定时间点，历史数据106包括限定下述项的数据：(i)在载具102附近的智能体的相应轨迹，以及(ii)直至给定时间点载具102自身的轨迹。
机载系统100可使用历史数据106来针对在载具102附近的智能体中的一个或多个生成表征智能体的未来轨迹的相应行为预测数据108。在具体示例中，智能体可以是试图汇入载具102正行进的道路上的另一载具，并且行为预测数据108可以限定另一载具将会给载具102让行的概率。机载系统100可例如以有规律的时间间隔(例如，每0.1秒)针对在载具102附近的智能体持续生成行为预测数据108。
为了方便，接下来的描述一般提及如下机载系统100，其生成表征在当前时间点在载具102附近的环境中单个目标智能体的未来轨迹的行为预测数据108。更一般地，机载系统100可使用本说明书中描述的方法来生成表征在载具102附近的任何数目的智能体的未来轨迹的行为预测数据108。例如，机载系统100可使用本说明书中描述的方法来针对被确定为高优先级智能体的多个智能体中的每个生成行为预测数据108(如前所述)。
为了针对在载具102附近的目标智能体生成行为预测数据108，机载系统100使用数据表示系统110处理历史数据106来生成轨迹表示数据112。如将参考图2和图3更详细描述的，轨迹表示数据112包括直至当前时间点目标智能体的轨迹的表示。可选地，轨迹表示数据112还可包括以下中的一个或多个：(i)直至当前时间点一个或多个其他智能体(潜在地包括载具102)的轨迹的联合表示，(ii)在当前时间点之后目标智能体的候选未来轨迹的表示，或(iii)在当前时间点之后一个或多个其他智能体的预测的未来轨迹的联合表示。
如将参考图4更详细描述的，机载系统100使用行为预测神经网络114处理针对目标智能体生成的轨迹表示数据112，以生成表征目标智能体的未来轨迹的行为预测数据108。
机载系统100可将行为预测神经网络114生成的行为预测数据108提供给规划系统116、用户界面系统118或这二者。
当规划系统116接收行为预测数据108时，规划系统116可使用行为预测数据108来做出完全自主或部分自主驾驶决策。例如，规划系统116可生成完全自主规划来导航载具102，通过改变载具102的未来轨迹以避开另一智能体，从而避免与另一智能体碰撞。在具体示例中，机载系统100可向规划系统116提供如下行为预测数据108，该行为预测数据108指示正试图汇入载具102正行进的道路上的另一载具不太可能给载具102让行。在该示例中，规划系统116可生成完全自主控制输出来应用载具102的制动器，以避免与汇入载具碰撞。规划系统116生成的完全自主或部分自主驾驶决策可由载具102的控制系统来实施。例如，响应于接收到规划系统116生成的、指示应当应用载具的制动器的完全自主驾驶决策，控制系统可将电子信号发送至载具的制动控制单元。响应于接收到电子信号，制动控制单元可在机械上应用载具的制动器。
当用户界面系统118接收到行为预测数据108时，用户界面系统118可使用行为预测数据108来向载具102的驾驶员呈现信息以辅助驾驶员安全地操作载具102。用户界面系统118可通过任何适当的方式向载具102的驾驶员呈现信息，例如通过经由载具102的扬声器系统发送的音频消息或通过载具中的视觉显示系统(例如，载具102的仪表板上的LCD显示器)上显示的警报。在具体示例中，机载系统100可向用户界面系统118提供指示正试图汇入载具102正行进的道路上的另一载具不太可能给载具102让行的行为预测数据108。在该示例中，用户界面系统118可通过调整载具102的轨迹的指令向载具102的驾驶员呈现警报消息，以避免与汇入载具碰撞。
机载系统100可生成训练数据120，训练数据120由训练系统122使用，以从机载系统100持续生成的轨迹表示数据112确定行为预测神经网络114的训练的参数值。机载系统100可以以离线批处理的方式或以在线方式，例如每当其被生成时就持续将训练数据120提供给训练系统122。
典型地，训练系统122托管在数据中心124内，数据中心124可以是在一个或多个位置具有数百或数千个计算机的分布式计算系统。
训练系统122包括被配置成从输入的轨迹表示数据生成行为预测数据的训练行为预测神经网络134。训练系统122包括多个计算设备，所述多个计算设备具有根据训练行为预测神经网络134的架构实施训练行为预测神经网络134的每层的相应操作的软件或硬件模块。训练行为预测神经网络134一般具有与机载的行为预测神经网络114相同(至少部分相同)的架构。
训练行为预测神经网络134可使用存储在模型参数128的集合中的参数的当前值计算训练行为预测神经网络134的每层的操作。尽管示为逻辑上分离，但是模型参数128和执行操作的软件或硬件模块实际上可位于同一计算设备上或同一存储器设备上。
训练数据130包括多个训练示例132。训练示例132中的每个包括在给定时间点针对目标智能体的相应轨迹表示数据，以及可选地包括在给定时间点针对一个或多个其他智能体的轨迹表示数据。此外，每个训练示例132包括指示表征在给定时间点之后目标智能体的实际轨迹的行为数据的标签(label)。例如，标签可以指示在给定时间点之后目标智能体是否做出预定数目的可能驾驶决策(例如，让行、改变车道、通过、制动或加速)中的每个决策。可通过自动(例如，无监督)加标签过程、通过手动加标签过程(例如，在人工评估员执行加标签的情况下)或以上二者的某种组合来生成标签。可从实际或仿真驾驶数据记录获得训练数据130中的训练示例132。
训练行为预测神经网络134可处理来自训练示例132的相应轨迹表示数据，以针对每个训练示例132生成相应行为预测数据136。训练引擎138分析行为预测数据136并将行为预测数据136与训练示例132中的标签进行比较。更具体地，训练引擎138计算表征所生成的行为预测数据136和训练示例132中的标签之间的差的损失函数。训练引擎138然后通过使用适当的机器学习训练技术(例如，随机梯度下降)来生成更新的模型参数值140。训练引擎138然后可使用更新的模型参数值140更新模型参数128的集合。
在完成训练之后，训练系统122可向机载系统100提供一组训练的参数值142以用于做出完全或部分自主驾驶决策。训练系统122可通过至机载系统100的有线或无线连接提供该组训练的参数值142。
图2是示例数据表示系统110的框图。数据表示系统110是在一个或多个位置的一个或多个计算机上实施为计算机程序的系统的示例，其中实施下面所述的系统、组件和技术。
数据表示系统110处理历史数据106以生成轨迹表示数据112。轨迹表示数据112由多个“通道”组成。每个通道是数据值的二维(2D)数组，其表示在载具附近的环境的“自上而下”透视(perspective)。每个通道中的每个位置对应于环境中的相应空间位置，并且可通过相应坐标来索引。通道中的每个具有相同的维度(即，相同的行数和列数)、相同的环境的自上而下透视，且彼此对齐(即，配准)。也就是说，不同通道中由相同坐标索引的位置对应于环境中的同一空间位置。换言之，不同通道中的对应位置对应于环境中的同一空间位置。
为了表示目标智能体的轨迹，轨迹表示数据112包括目标智能体时间通道和与预定数目的运动参数中的每个相对应的相应目标智能体运动参数通道。运动参数中的每个表征智能体的运动的相应特征，比如智能体的速度、加速度或走向。如图2所描绘的，轨迹表示数据112可包括目标智能体时间通道202、目标智能体速度通道204、目标智能体加速度通道206和目标智能体走向通道208。
目标智能体时间通道和目标智能体运动参数通道表示直至当前时间点目标智能体的先前轨迹，以及可选地表示在当前时间点之后目标智能体的候选未来轨迹。目标智能体的候选未来轨迹是指在当前时间点之后目标智能体的可能轨迹。更具体地，目标智能体的候选未来轨迹针对在当前时间点之后的多个未来时间点中的每个，指定在未来时间点智能体可占据的环境中的空间位置。对于多个未来时间点中的每个，候选未来轨迹进一步指定了表征在未来时间点目标智能体的运动的、预定数目的运动参数中的每个的可能值。机载系统100可使用任何合适的轨迹生成算法来生成目标智能体的候选未来轨迹。例如，机载系统100可通过处理表示在载具附近的环境中的几何结构的道路图(例如，道路、道路中的不同车道、人行横道等)来生成目标智能体的候选未来轨迹。在具体示例中，机载系统100可处理道路图来生成目标智能体的候选未来轨迹，其中目标智能体保持其当前车道同时针对停止标志减速。
为了简化，接下来的描述提及表示直至当前时间点目标智能体的先前轨迹的目标智能体时间通道和目标智能体运动参数通道。应理解，除了直至当前时间点目标智能体的先前轨迹之外，类似地目标智能体时间通道和目标智能体运动参数通道可表示在当前时间点之后目标智能体的候选未来轨迹。
目标智能体时间通道表示在目标智能体的先前轨迹中目标智能体占据环境中不同空间位置所处的相应时间点。每个运动参数通道表示当在目标智能体的先前轨迹中目标智能体占据环境中的不同空间位置时表征目标智能体的运动的相应运动参数的值。特别是，对于目标智能体所占据的环境中的每个空间位置，与空间位置相对应的目标智能体时间通道中的数据值限定了目标智能体占据空间位置所处的时间点。而且，与空间位置相对应的每个相应目标智能体运动参数通道中的数据值限定了表征当目标智能体占据环境中的空间位置时目标智能体的运动的、相应运动参数的值。
一般说来，环境可以包括未被包括在目标智能体的先前轨迹或候选未来轨迹中的多个空间位置。对于这些空间位置，数据表示系统110可将与这些空间位置相对应的目标智能体时间通道和目标智能体运动参数通道中的数据值设置为默认值(例如，值0)。
当环境中的同一空间位置在多个时间点由目标智能体占据时，系统110可将与空间位置相对应的目标智能体时间通道和运动参数通道中的相应数据值设置为任何合适的值。例如，系统110可根据当目标智能体占据空间位置时的最后一个时间点设置与空间位置相对应的目标智能体时间通道和运动参数通道中的相应数据值。也就是说，系统110可设置与空间位置相对应的目标智能体时间通道中的数据值，以限定目标智能体占据空间位置的最后一个时间点。而且，系统110可设置目标智能体运动参数通道中的相应数据值以限定表征目标智能体最后一次占据空间位置时目标智能体的运动的、相应运动参数的值。
为了表示“其他智能体”(即，目标智能体之外的智能体，且潜在地包括载具102)的轨迹，轨迹表示数据可选地包括与预定数目的运动参数中的每个相对应的辅助时间通道和相应辅助运动参数通道。如图2所描绘的，轨迹表示数据112可包括辅助时间通道210、辅助速度通道212、辅助加速度通道214和辅助走向通道216。
辅助时间通道和辅助运动参数通道联合表示直至当前时间点其他智能体的先前轨迹，以及可选地表示在当前时间点之后其他智能体的预测的未来轨迹。系统110可从先前时间点获得其他智能体的预测的未来轨迹，作为行为预测神经网络114的行为预测输出。智能体的预测的未来轨迹针对在当前时间点之后的多个未来时间点中的每个指定在未来时间点智能体可占据的环境中的空间位置。针对多个未来时间点中的每个，预测的未来轨迹进一步指定表征在未来时间点智能体的运动的、预定数目的运动参数中的每个的可能值。
为了简化，接下来的描述提及表示直至当前时间点其他智能体的先前轨迹的辅助时间通道和辅助运动参数通道。应理解，除了直至当前时间点其他智能体的先前轨迹之外，类似地辅助时间通道和辅助运动参数通道可表示在当前时间点之后其他智能体的预测的未来轨迹。
辅助时间通道联合表示在其他智能体的先前轨迹中其他智能体占据环境中不同空间位置所处的相应时间点。每个辅助运动参数通道表示当在其他智能体的先前轨迹中其他智能体占据环境中的不同空间位置时表征其他智能体的运动的相应运动参数的值。特别是，对于其他智能体中的一个所占据的环境中的每个空间位置，与空间位置相对应的辅助时间通道中的数据值限定其他智能体占据空间位置所处的时间点。而且，与空间位置相对应的每个相应辅助运动参数通道中的数据值限定当其他智能体占据环境中的空间位置时表征其他智能体的运动的相应运动参数的值。
通常，环境可以包括未被包括在其他智能体中的任何智能体的先前轨迹或预测的未来轨迹中的多个空间位置。对于这些空间位置，数据表示系统110可将与这些空间位置相对应的辅助时间通道和辅助运动参数通道中的数据值设置为默认值(例如，值0)。
当环境中的同一空间位置在多个时间点由其他智能体占据时，于是系统110可将与空间位置相对应的辅助时间通道和辅助运动参数通道中的相应数据值设置为任何合适的值。例如，系统110可根据其他智能体中的一个占据空间位置的最后一个时间点设置与空间位置相对应的辅助时间通道和辅助运动参数通道中的相应数据值。
通过使用与每个运动参数相对应的单个辅助时间通道和单个辅助运动参数通道来联合表示其他智能体的轨迹，系统110可生成具有预定维度的轨迹表示数据，而与其他智能体的(可变)数目无关。以这种方式，系统110生成的轨迹表示数据112可由行为预测神经网络容易地处理，该行为预测神经网络被配置为处理预定维度的轨迹表示数据112。
在一些实现方式中，除了时间通道和运动参数通道之外，系统110可在轨迹表示数据112中包括进一步的通道。例如，系统110可包括以下中的一个或多个：道路图通道、目标智能体定位通道、以及辅助定位通道。道路图通道表示在载具102附近的环境的已知几何结构。例如，道路图通道可表示环境的不同特征的位置，包括：道路、道路中的不同车道、人行横道、交通灯、施工区、学校区域等。目标智能体定位通道表示在当前时间点环境中目标智能体的空间位置(例如，如由边界框限定的)。辅助定位通道(例如，辅助定位通道218)联合表示在当前时间点在环境中每个其他智能体的位置(例如，如由边界框限定的)。在图2所描绘的示例中，道路图通道和目标智能体定位通道叠加到单个通道220上。
系统110通过对齐且在通道方面(channel-wise)级联所生成的通道来确定轨迹表示数据112，如222所描绘的。也就是说，轨迹表示数据112是所生成的通道的级联。通过以这种格式隐含地表示目标智能体和其他智能体的相应轨迹，系统110生成又紧凑且又可以由卷积行为预测神经网络有效处理的表示。特别是，卷积行为预测神经网络可使用多维(例如，二维或三维)卷积滤波器限定的卷积神经网络层来处理轨迹表示数据，从而使得行为预测神经网络能够学习环境的不同空间区域之间的复杂空间关系。
图3是示例处理的图示，数据表示系统110可通过该处理生成目标智能体时间通道302、目标智能体速度通道304和目标智能体走向通道306，这些通道表示直至当前时间点目标智能体的先前轨迹和在当前时间点之后目标智能体的候选未来轨迹。
限定目标智能体的先前轨迹的数据(例如，如由数据表示系统110从历史数据106获得的)和目标智能体的候选未来轨迹以表格格式308表示。表格的每行限定时间点、目标智能体在该时间点在环境中占据的空间位置、目标智能体在该时间点的速度、以及目标智能体在该时间点的走向。
例如，表格308的第一行限定了在时间点-3(例如，在当前时间点之前3秒)，目标智能体在环境中占据的空间位置由通道参照系中的坐标[-3，-2]来限定，目标智能体的速度是45mph，并且目标智能体的走向是45度(例如从北开始顺时针方向)。坐标[-3，-2]在通道参照系中被表示，并且可被映射以表示环境参照系中的空间位置。例如，通道参照系中的坐标可表示以目标智能体为中心的北南东西环境参照系中的5英尺增量。在该示例中，通道参照系中的坐标[-3，-2]可表示环境中的如下空间位置，其是目标智能体在当前时间点占据的空间位置以西15英尺且以南10英尺。作为另一示例，表格308的最后一行限定了在时间点+2(例如，在当前时间点之后2秒)，智能体占据的空间位置(即，根据候选未来轨迹)由通道参照系中的坐标[2，0]限定，目标智能体的速度是49mph，且目标智能体的走向是90度。
数据表示系统110将与空间位置[-3，-2]、[-2，-1]、[-1，0]、[0，0]、[1，0]和[2，0]相对应的目标智能体时间通道中的数据值设置为目标智能体占据相应空间位置的相应时间点-3、-2、-1、0、+1和+2。为了清楚，与其他空间位置相对应的目标智能体时间通道中的数据值被示为空白。一般说来，数据表示系统110将与其他空间位置相对应的目标智能体时间通道中的数据值设置为默认值(例如，值0)。类似地，数据表示系统110将与空间位置[-3，-2]、[-2，-1]、[-1，0]、[0，0]、[1，0]和[2，0]相对应的目标智能体速度通道中的数据值设置为相应速度值45、47、51、49、49和49，其限定当目标智能体占据相应空间位置时目标智能体的速度(以mph为单位)。类似地，数据表示系统110将与空间位置[-3，-2]、[-2，-1]、[-1，0]、[0，0]、[1，0]和[2，0]相对应的目标智能体走向通道中的数据值设置为相应走向值45、45、90、90、90和90，其限定了当目标智能体占据相应空间位置时目标智能体的走向(以度为单位)。
在一些实现方式中，数据表示系统110确定通道参照系来使智能体在当前时间点占据的空间位置对应于通道中的每个的“中心”处的数据值。以一致的通道参照系生成轨迹表示数据可有利于在轨迹表示数据上训练行为预测神经网络。
图4是示例行为预测神经网络114的框图。行为预测神经网络114是在一个或多个位置的一个或多个计算机上实施为计算机程序的系统的示例，其中实施下面描述的系统、组件和技术。
行为预测神经网络114被配置为处理轨迹表示数据112以生成表征在当前时间点之后目标智能体的未来轨迹的行为预测数据108。由数据表示系统110生成轨迹表示数据112，如参考图2和图3所述。
网络114是卷积神经网络。也就是说，网络114的架构包括一个或多个卷积神经网络层。卷积神经网络层中的每个由一组卷积滤波器的相应参数值限定。卷积神经网络层被配置成处理卷积神经网络层输入来生成包括一个或多个特征图的卷积神经网络层输出。特征图中的每个对应于层的相应卷积滤波器，并且通过对卷积滤波器与层输入进行卷积且可选地将激活函数应用到卷积结果来生成。由于轨迹表示数据112被表示为多个2D通道在通道方面的级联，网络114的卷积层的卷积滤波器通常是多维的(例如，2D或3D)。
在一些实现方式中，行为预测数据108针对环境中的多个空间位置中的每个限定目标智能体将会在当前时间点之后的指定时间点占据该空间位置的相应概率。在这些实现方式中，网络114的输出层可以是具有对应于环境中的空间位置中的每个的相应神经元的sigmoid(S形)层。目标智能体将会在当前时间点之后的指定时间点占据特定空间位置的概率可被限定为与特定空间位置相对应的sigmoid输出层中的神经元的激活。
在一些实施方式中，行为预测数据108限定轨迹表示数据112(如参考图2所述)表示的目标智能体的候选未来轨迹是目标智能体的实际未来轨迹的概率。在这些实现方式中，网络114的输出层可以包括单个神经元，其中神经元的激活被限定为具有输出范围[0,1]的激活函数(例如，sigmoid激活函数)的输出。轨迹表示数据112表示的目标智能体的候选未来轨迹是目标智能体的实际未来轨迹的概率可被限定为输出层中的单个神经元的激活。
在一些实现方式中，行为预测数据108限定目标智能体将做出预定数目的可能驾驶决策中的每个决策的相应概率。例如，可能驾驶决策可以包括以下中的一个或多个：让行、改变车道、通过、制动和加速。在这些实现方式中，网络114的输出层可以是具有对应于可能驾驶决策中的每个的相应神经元的sigmoid层。目标智能体将在当前时间点之后做出特定驾驶决策的概率可被限定为与特定驾驶决策相对应的sigmoid输出层中的神经元的激活。
图4中描绘了网络114的示例架构402。在该示例架构中，通过第一卷积层、第一池化层、第二卷积层、第二池化层和具有单个神经元的全连接层处理轨迹表示数据112。池化层可以是例如最大池化层或平均池化层。
图5是用于生成行为预测数据的示例处理500的流程图。为了方便，处理500将被描述为由位于一个或多个位置的一个或多个计算机执行。例如，根据本说明书适当编程的机载系统，比如图1的机载系统100，可执行处理500。
系统获得表征目标智能体的先前轨迹且可选地表征一个或多个其他智能体的相应先前轨迹的历史数据(502)。表征智能体的轨迹的历史数据针对多个时间点中的每个包括限定智能体在该时间点占据的环境中的空间位置的数据。对于每个时间点，历史数据还限定预定组运动参数中的每个运动参数的相应值。每个运动参数的值表征智能体在该时间点的运动的相应特征。运动参数的示例包括：速度、加速度和走向。在一些实现方式中，系统还获得表征目标智能体的候选未来轨迹和一个或多个其他智能体的预测的未来轨迹的数据。其他智能体的预测的未来轨迹可通过系统针对其他智能体之前生成的行为预测输出来限定。
系统处理历史数据以生成轨迹表示数据(504)。轨迹表示数据是多个2D通道在通道方面的级联，每个2D通道表示在载具附近的环境的自上而下透视。通道包括限定目标智能体的先前轨迹以及可选地限定目标智能体的候选未来轨迹的目标智能体时间通道和相应目标智能体运动参数通道。通道还包括联合表示其他智能体的先前轨迹以及可选地表示其他智能体的预测的未来轨迹的辅助时间通道和相应辅助运动参数通道。在一些实现方式中，轨迹表示数据包括另外的通道，比如道路图通道、目标智能体定位通道和辅助定位通道(如参考图2所述)。
系统使用行为预测神经网络处理轨迹表示数据，以生成表征在当前时间点之后目标智能体的未来轨迹的行为预测数据(506)。在一些实现方式中，行为预测数据针对环境中的多个空间位置中的每个限定目标智能体将在当前时间点之后的时间点占据空间位置的相应概率。在一些实现方式中，行为预测数据限定轨迹表示数据表示的目标智能体的候选未来轨迹是目标智能体的实际未来轨迹的概率。在一些实现方式中，行为预测数据限定目标智能体将做出预定数目的可能驾驶决策中的每个的相应概率。
系统将行为预测数据提供给规划系统、用户界面系统或二者(508)。当规划系统接收行为预测数据时，规划系统可使用行为预测数据来做出全自主或部分自主驾驶决策。当用户界面系统接收到行为预测数据时，用户界面系统可使用行为预测数据来向载具的驾驶员呈现信息以辅助驾驶员安全地操作载具。规划系统生成的全自主或部分自主驾驶决策可通过载具的控制系统来实施。例如，响应于接收到由规划系统生成的、指示应当应用载具的制动器的全自主驾驶决策，控制系统可向载具的制动控制单元发送电子信号。响应于接收到电子信号，制动控制单元可在机械上应用载具的制动器。
本说明书结合系统和计算机程序组件使用术语“配置成”。对于被配置成执行特定操作或动作的一个或多个计算机的系统，意味着在系统上已安装在操作中使系统执行操作或动作的软件、固件、硬件、或它们的组合。对于被配置成执行特定操作或动作的一个或多个计算机程序，意味着一个或多个程序包括在被数据处理装置执行时使装置执行操作或动作的指令。
在本说明书中描述的主题内容和功能操作的实施例可以以数字电子电路、有形实施的计算机软件或固件、计算机硬件(包括本说明书中公开的结构及其结构等同物)或它们中的一个或多个的组合来实施。本说明书中描述的主题内容的实施例可作为一个或多个计算机程序来实施，即编码在有形非临时性存储介质上的一个或多个计算机程序指令模块，以由数据处理装置执行，或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或多个的组合。替选地或附加地，程序指令可编码在人工生成的传播信号上，例如机器生成的电信号、光信号或电磁信号，生成该传播信号来编码信息以发送到合适的接收器装置以由数据处理装置执行。
术语“数据处理装置”是指数据处理硬件并且包括用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。装置还可以是或还可以包括专用逻辑电路，比如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置可选地还可以包括为计算机程序创建执行环境的代码，比如构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。
计算机程序也可被称作或描述为程序、软件、软件应用、应用、模块、软件模块、脚本或代码，计算机程序可以以任何形式的编程语言来编写，包括编译语言或解释语言，或声明语言或程序语言，且其可以任何形式来部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境中的其他单元。程序可以但不需要对应于文件系统中的文件。程序可以存储在保持其他程序或数据的文件的一部分中，比如以标记语言文档存储的一个或多个脚本，可以存储在专用于所涉程序的单个文件中，或可以存储在多个协调文件中，比如存储一个或多个模块、子程序或代码部分的文件。计算机程序可以被部署成在位于一个地点或跨多个地点分布且通过数据通信网络互连的一个计算机上或多个计算机上执行。
在本说明书中，术语“引擎”用来广泛指代基于软件的系统、子系统或被编程为执行一个或多个特定功能的进程。一般说来，引擎将被实施为安装在一个或多个位置的一个或多个计算机上的一个或多个软件模块或组件。在一些情况下，一个或多个计算机将专用于特定引擎；在其他情况下，可在同一计算机或相同的多个计算机上安装并运行多个引擎。
在本说明书中描述的处理和逻辑流可通过一个或多个可编程计算机来执行，该可编程计算机执行一个或多个计算机程序，以通过在输入数据上操作且生成输出来执行功能。处理和逻辑流还可通过专用逻辑电路，例如FPGA或ASIC，或通过专用逻辑电路和一个或多个可编程计算机的组合来执行。
适于执行计算机程序的计算机可基于通用微处理器或专用微处理器或基于这二者，或任何其他类型的中央处理单元。通常，中央处理单元从只读存储器或随机存取存储器或这二者接收指令和数据。计算机的必要元件是执行或运行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充或包含在专用逻辑电路中。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备或可操作地耦合以从一个或多个用于存储数据的大容量存储设备接收数据或向其转送数据或进行这二者，一个或多个用于存储数据的大容量存储设备比如是磁盘、磁光盘或光盘。然而，计算机不需要具有这样的设备。而且，计算机可嵌入另一设备中，例如来说，诸如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或便携式存储设备，例如，通用串行总线(USB)闪存驱动。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移除盘；磁光盘；和CD-ROM以及DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题内容的实施例可在计算机上实施，计算机具有显示设备，例如CRT(阴极射线管)或LCD(液晶显示器)监视器，用于向用户显示信息；键盘和指向设备，例如鼠标和跟踪球，用户通过其可向计算机提供输入。也可使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，比如视觉反馈、听觉反馈或触觉反馈；以及来自用户的输入可以以任何形式来接收，包括声学、语音或触觉输入。另外，计算机可通过向用户使用的设备发送文档以及从该设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求向用户设备上的网络浏览器发送网页。此外，计算机可通过向个人设备(比如运行消息传送应用的智能电话)发送文本消息或其他形式的消息以及作为返回从用户接收响应消息来与用户交互。
用于实施机器学习模型的数据处理装置还可包括例如专用硬件加速器单元，用于处理机器学习训练或生产的通常的且计算密集的部分，比如推理、工作负荷。
机器学习模型可使用机器学习框架，比如TensorFlow框架、Microsoft CognitiveToolkit框架、Apache Singa框架或Apache MXNet框架来实施和部署。
本说明书中描述的主题内容的实施例可在计算系统中实施，计算系统包括后端组件，比如作为数据服务器；或包括中间件组件，比如应用服务器；或包括前端组件，比如客户端计算机，客户端计算机具有图形用户界面、网络浏览器或应用程序，用户通过应用程序可与本说明书中描述的主题内容的实施交互；或包括一个或多个这种后端、中间件或前端组件的任何组合。系统的组件可通过数字数据通信的任何形式或介质(比如通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)(比如因特网)。
计算系统可包括客户端和服务器。客户端和服务器一般彼此远离且典型地通过通信网络交互。客户端和服务器的关系由于运行在相应计算机上且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施例中，服务器将数据(比如HTML网页)发送给用户设备，例如用于向与设备交互的用户显示数据以及从该用户接收用户输入的目的，该用户设备用作客户端。可在服务器处从设备接收在用户设备处生成的数据，例如用户交互的结果。
尽管本说明书包含许多特定的实施细节，但是这些不应被理解为任何发明范围的限制或对所主张权利的内容范围的限制，反而应被理解为可专用于具体发明的具体实施例的特征的描述。在分开的实施例的上下文中在说明书中描述的某些特征也可在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可分开地在多个实施例中实施或以任何适当的子组合来实施。而且，尽管以上将特征描述为在某些组合中作用以及甚至可如初始那样主张权利，然而所主张权利组合中的一个或多个特征在一些情况下可从组合中去除，且所主张权利的组合可针对子组合或子组合的变型。
类似地，尽管在附图中描绘了操作且在权利要求中按具体顺序记载操作，这不应被理解为：为了实现期望的结果，要求这样的操作按照所示具体顺序或按照顺次顺序执行，或者执行所有示出的操作。在某些情况下，多任务或并行处理可能是有利的。而且，在上述实施例中各种系统模块和组件的分离不应被理解为在所有实施例中都要求这样的分离，并且应理解所描述的程序组件和系统可在单个软件产品中总体上集成在一起或打包到多个软件产品中。
已经描述了主题内容的具体实施例。其他实施例在所附权利要求的范围内。例如，权利要求中记载的动作可以不同顺序执行且仍实现期望的结果。作为一个示例，附图中描绘的处理不一定要求所示具体顺序或顺次顺序来实现期望的结果。在一些情况下，多任务和并行处理可能是有利的。

Claims (20)

1.一种由一个或多个数据处理装置执行的方法，所述方法包括：
获得表征环境中的目标智能体的轨迹的历史数据，所述历史数据针对多个先前时间点中的每一个包括限定下述各项的数据：(i)目标智能体在先前时间点所占据的环境中的空间位置，以及(ii)预定的一组运动参数中的每个运动参数的相应值，其中，每个运动参数的值表征目标智能体在先前时间点的运动的相应特征；
生成环境中的目标智能体的轨迹的表示，其中：
环境中的目标智能体的轨迹的表示是多个通道的级联；
每个通道被表示为数据值的二维数组；
每个通道中的每个位置对应于环境中的相应空间位置；
不同通道中的对应位置对应于环境中的相同空间位置；
通道包括时间通道和与该预定的一组运动参数中的每个运动参数对应的相应运动通道；以及
针对目标智能体在特定先前时间点所占据的环境中的每个特定空间位置：
与特定空间位置对应的时间通道中的位置限定特定先前时间点；以及
针对每个运动通道，与特定空间位置对应的运动通道中的位置限定在特定先前时间点与运动通道对应的运动参数的值；以及
使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据。
2.根据权利要求1所述的方法，其中，获得针对先前时间点的、该预定的一组运动参数中的每个运动参数的相应值包括以下中的一个或多个：
获得表征目标智能体在先前时间点的速度的速度运动参数的值；
获得表征目标智能体在先前时间点的加速度的加速度运动参数的值；以及
获得表征目标智能体在先前时间点的走向的走向运动参数的值。
3.根据权利要求1-2中任一项所述的方法，还包括：
使用载具的规划系统处理表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，以生成控制输出；以及
基于控制输出，自主地修改载具的操作。
4.根据权利要求1-2中任一项所述的方法，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
处理包括环境中的目标智能体的轨迹的表示的输入，以生成下述数据：该数据针对环境中的多个空间位置中的每一个，限定目标智能体将在当前时间点之后的指定时间点占据该空间位置的相应概率。
5.根据权利要求1-2中任一项所述的方法，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
处理除了环境中的目标智能体的轨迹的表示之外还包括限定在当前时间点之后环境中的目标智能体的候选未来轨迹的数据的输入，以生成限定目标智能体的未来轨迹是目标智能体的候选未来轨迹的概率的数据。
6.根据权利要求1-2中任一项所述的方法，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
生成下述数据：该数据限定目标智能体将做出预定数目的可能驾驶决策中的每一个的相应概率。
7.根据权利要求1-2中任一项所述的方法，其中，生成环境中的目标智能体的轨迹的表示包括：
生成时间通道和与该预定的一组运动参数中的每个运动参数对应的相应运动通道，时间通道和相应运动通道中的每一个表示环境的自上而下透视。
8.根据权利要求1-2中任一项所述的方法，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入包括：
处理包括下述各项中的一个或多个的输入：(i)表示环境的已知几何结构的道路图通道，(ii)通过目标智能体边界框表示在当前时间点环境中的目标智能体的空间位置的目标智能体定位通道，以及(iii)通过相应其他智能体边界框表示在当前时间点环境中的一个或多个其他智能体的相应空间位置的辅助定位通道。
9.根据权利要求1-2中任一项所述的方法，还包括：
生成环境中的多个其他智能体的轨迹的联合表示；以及
使用卷积神经网络处理除了环境中的目标智能体的轨迹的表示之外还包括环境中的多个其他智能体的轨迹的联合表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据。
10.根据权利要求9所述的方法，其中：
环境中的多个其他智能体的轨迹的联合表示包括辅助时间通道和与预定的一组运动参数中的每个运动参数对应的相应辅助运动通道；
每个通道被表示为数据值的二维数组，以及每个通道中的每个数据值对应于环境中的相应空间位置；以及
针对多个其他智能体中的特定其他智能体在特定先前时间点所占据的环境中的每个特定空间位置：
与特定空间位置对应的辅助时间通道中的数据值限定特定先前时间点；以及
针对每个辅助运动通道，与特定空间位置对应的辅助运动通道中的数据值限定表征特定其他智能体在特定先前时间点的运动的相应特征的、与辅助运动通道对应的运动参数的值。
11.一种用于生成表征未来轨迹的数据的系统，包括：
数据处理装置；
存储器，与数据处理装置进行数据通信，并存储使数据处理装置执行操作的指令，所述操作包括：
获得表征环境中的目标智能体的轨迹的历史数据，所述历史数据针对多个先前时间点中的每一个包括限定下述各项的数据：(i)目标智能体在先前时间点所占据的环境中的空间位置，以及(ii)预定的一组运动参数中的每个运动参数的相应值，其中，每个运动参数的值表征目标智能体在先前时间点的运动的相应特征；
生成环境中的目标智能体的轨迹的表示，其中：
环境中的目标智能体的轨迹的表示是多个通道的级联；
每个通道被表示为数据值的二维数组；
每个通道中的每个位置对应于环境中的相应空间位置；
不同通道中的对应位置对应于环境中的相同空间位置；
通道包括时间通道和与该预定的一组运动参数中的每个运动参数对应的相应运动通道；以及
针对目标智能体在特定先前时间点所占据的环境中的每个特定空间位置：
与特定空间位置对应的时间通道中的位置限定特定先前时间点；以及
针对每个运动通道，与特定空间位置对应的运动通道中的位置限定在特定先前时间点与运动通道对应的运动参数的值；以及
使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据。
12.根据权利要求11所述的系统，其中，获得针对先前时间点的、该预定的一组运动参数中的每个运动参数的相应值包括以下中的一个或多个：
获得表征目标智能体在先前时间点的速度的速度运动参数的值；
获得表征目标智能体在先前时间点的加速度的加速度运动参数的值；以及
获得表征目标智能体在先前时间点的走向的走向运动参数的值。
13.根据权利要求11-12中任一项所述的系统，其中，所述操作还包括：
使用载具的规划系统处理表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，以生成控制输出；以及
基于控制输出，自主地修改载具的操作。
14.根据权利要求11-12中任一项所述的系统，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
处理包括环境中的目标智能体的轨迹的表示的输入，以生成下述数据：该数据针对环境中的多个空间位置中的每一个，限定目标智能体将在当前时间点之后的指定时间点占据该空间位置的相应概率。
15.根据权利要求11-12中任一项所述的系统，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
处理除了环境中的目标智能体的轨迹的表示之外还包括限定在当前时间点之后环境中的目标智能体的候选未来轨迹的数据的输入，以生成限定目标智能体的未来轨迹是目标智能体的候选未来轨迹的概率的数据。
16.一种非临时性计算机存储介质，其存储指令，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行操作，所述操作包括：
获得表征环境中的目标智能体的轨迹的历史数据，所述历史数据针对多个先前时间点中的每一个包括限定下述各项的数据：(i)目标智能体在先前时间点所占据的环境中的空间位置，以及(ii)预定的一组运动参数中的每个运动参数的相应值，其中，每个运动参数的值表征目标智能体在先前时间点的运动的相应特征；
生成环境中的目标智能体的轨迹的表示，其中：
环境中的目标智能体的轨迹的表示是多个通道的级联；
每个通道被表示为数据值的二维数组；
每个通道中的每个位置对应于环境中的相应空间位置；
不同通道中的对应位置对应于环境中的相同空间位置；
通道包括时间通道和与该预定的一组运动参数中的每个运动参数对应的相应运动通道；以及
针对目标智能体在特定先前时间点所占据的环境中的每个特定空间位置：
与特定空间位置对应的时间通道中的位置限定特定先前时间点；以及
针对每个运动通道，与特定空间位置对应的运动通道中的位置限定在特定先前时间点与运动通道对应的运动参数的值；以及
使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据。
17.根据权利要求16所述的非临时性计算机存储介质，其中，获得针对先前时间点的、该预定的一组运动参数中的每个运动参数的相应值包括以下中的一个或多个：
获得表征目标智能体在先前时间点的速度的速度运动参数的值；
获得表征目标智能体在先前时间点的加速度的加速度运动参数的值；以及
获得表征目标智能体在先前时间点的走向的走向运动参数的值。
18.根据权利要求16-17中任一项所述的非临时性计算机存储介质，其中，所述操作还包括：
使用载具的规划系统处理表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，以生成控制输出；以及
基于控制输出，自主地修改载具的操作。
19.根据权利要求16-17中任一项所述的非临时性计算机存储介质，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
处理包括环境中的目标智能体的轨迹的表示的输入，以生成下述数据：该数据针对环境中的多个空间位置中的每一个，限定目标智能体将在当前时间点之后的指定时间点占据该空间位置的相应概率。
20.根据权利要求16-17中任一项所述的非临时性计算机存储介质，其中，使用卷积神经网络处理包括环境中的目标智能体的轨迹的表示的输入，以生成表征在当前时间点之后环境中的目标智能体的未来轨迹的数据，包括：
处理除了环境中的目标智能体的轨迹的表示之外还包括限定在当前时间点之后环境中的目标智能体的候选未来轨迹的数据的输入，以生成限定目标智能体的未来轨迹是目标智能体的候选未来轨迹的概率的数据。
CN201980088053.4A 2018-11-20 2019-10-30 行为预测系统中的轨迹表示 Active CN113272830B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/196,769 US10739777B2 (en) 2018-11-20 2018-11-20 Trajectory representation in behavior prediction systems
US16/196,769 2018-11-20
PCT/US2019/058836 WO2020106422A1 (en) 2018-11-20 2019-10-30 Trajectory representation in behavior prediction systems

Publications (2)

Publication Number Publication Date
CN113272830A CN113272830A (zh) 2021-08-17
CN113272830B true CN113272830B (zh) 2023-08-04

Family

ID=70726577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980088053.4A Active CN113272830B (zh) 2018-11-20 2019-10-30 行为预测系统中的轨迹表示

Country Status (4)

Country Link
US (3) US10739777B2 (zh)
EP (1) EP3867826A4 (zh)
CN (1) CN113272830B (zh)
WO (1) WO2020106422A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3850548A1 (en) * 2018-09-11 2021-07-21 NVIDIA Corporation Future object trajectory predictions for autonomous machine applications
US11034348B2 (en) 2018-11-20 2021-06-15 Waymo Llc Agent prioritization for autonomous vehicles
US11635764B2 (en) * 2019-02-22 2023-04-25 Uatc, Llc. Motion prediction for autonomous devices
US11887731B1 (en) * 2019-04-22 2024-01-30 Select Rehabilitation, Inc. Systems and methods for extracting patient diagnostics from disparate
EP3767542A1 (en) * 2019-07-17 2021-01-20 Robert Bosch GmbH Training and data synthesis and probability inference using nonlinear conditional normalizing flow model
US11403853B2 (en) * 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks
EP3806065A1 (en) * 2019-10-11 2021-04-14 Aptiv Technologies Limited Method and system for determining an attribute of an object at a pre-determined time point
US11912271B2 (en) 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
US11592827B1 (en) * 2019-12-18 2023-02-28 Waymo Llc Predicting yielding likelihood for an agent
CN111524190B (zh) * 2020-07-01 2020-10-02 北京三快在线科技有限公司 视觉定位网络的训练、无人驾驶设备的控制方法及装置
US11687077B2 (en) 2020-08-07 2023-06-27 Waymo Llc Ranking agents near autonomous vehicles by mutual importance
KR102370079B1 (ko) * 2020-09-01 2022-03-07 주식회사 인포카 운전 지원 방법 및 장치
CN113341958B (zh) * 2021-05-21 2022-02-25 西北工业大学 一种混合经验的多智能体强化学习运动规划方法
CN113435356B (zh) * 2021-06-30 2023-02-28 吉林大学 一种克服观察噪声与感知不确定性的轨迹预测方法
CN113495530B (zh) * 2021-08-26 2022-11-22 珠海格力智能装备有限公司 运动控制方法及其装置、计算机可读存储介质以及处理器
US11722865B2 (en) * 2021-10-11 2023-08-08 Qualcomm Incorporated Vehicle-to-everything (V2X) information verification for misbehavior detection
BE1029668B1 (nl) 2021-12-03 2023-03-02 Ivex Methoden, systemen, opslagmedia en apparatuur voor end-to-end scenario-extractie uit 3d input puntenwolken, scenario-indeling en het genereren van sequentiële rij-eigenschappen voor de identificatie van veiligheidskritieke scenario-categorieën
US11675362B1 (en) * 2021-12-17 2023-06-13 Motional Ad Llc Methods and systems for agent prioritization
US20230202521A1 (en) * 2021-12-27 2023-06-29 Gm Cruise Holdings Llc System and method of using an autolabeler to generate yield/assert labels based on on-road autonomous vehicle use
CN116259003B (zh) * 2023-01-06 2023-11-10 苏州同企人工智能科技有限公司 施工场景中施工类别识别方法及系统
CN117459401B (zh) * 2023-09-15 2024-06-18 永信至诚科技集团股份有限公司 网络靶场环境快照的生成方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004050690A1 (de) * 2004-10-18 2006-04-20 Siemens Ag Verfahren, Computer-Programm mit Programm-Code-Mitteln, Computer-Programm-Produkt und Gerät zur Modellierung der Umwelt eines autonomen mobilen Systems
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN106056213A (zh) * 2015-04-06 2016-10-26 谷歌公司 使用目标和观察来选择强化学习动作
WO2017167801A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Fahrerassistenzsystem zum unterstützen eines fahrers beim führen eines fahrzeugs
CN107862321A (zh) * 2016-09-22 2018-03-30 千寻位置网络有限公司 自动识别行车状态的方法及其系统
CN108290594A (zh) * 2015-09-30 2018-07-17 西门子股份公司 用于轨道线路网络的安全方法和安全系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979173B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
US20060165811A1 (en) * 2005-01-26 2006-07-27 Black Michael J Method and system for automatic decoding of motor cortical activity
US8538675B2 (en) 2009-06-01 2013-09-17 Raytheon Company Non-kinematic behavioral mapping
US8861842B2 (en) 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US8712096B2 (en) 2010-03-05 2014-04-29 Sri International Method and apparatus for detecting and tracking vehicles
US8706298B2 (en) 2010-03-17 2014-04-22 Raytheon Company Temporal tracking robot control system
DE102011107111A1 (de) 2011-07-12 2013-01-17 Continental Automotive Gmbh Verfahren und Kommunikationssystem zum Empfang von Daten bei der drahtlosen Fahrzeug-zu-Umgebung-Kommunikation
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9495874B1 (en) 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US9176500B1 (en) 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
DE102012021282A1 (de) 2012-10-29 2014-04-30 Audi Ag Verfahren zur Koordination des Betriebs von vollautomatisiert fahrenden Kraftfahrzeugen
US9734220B2 (en) * 2012-12-04 2017-08-15 Planet Os Inc. Spatio-temporal data processing systems and methods
CN108604309B (zh) * 2015-11-12 2022-06-07 渊慧科技有限公司 从动作集中选择代理执行的动作的方法、系统和存储介质
US20180046920A1 (en) * 2016-08-10 2018-02-15 Paypal, Inc. User Data Learning Based on Recurrent Neural Networks with Long Short Term Memory
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
US10059336B2 (en) 2017-01-06 2018-08-28 Toyota Research Institute, Inc. Systems and methods for dynamically adjusting a vehicle trajectory according to deviations of a driver from expected inputs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004050690A1 (de) * 2004-10-18 2006-04-20 Siemens Ag Verfahren, Computer-Programm mit Programm-Code-Mitteln, Computer-Programm-Produkt und Gerät zur Modellierung der Umwelt eines autonomen mobilen Systems
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN106056213A (zh) * 2015-04-06 2016-10-26 谷歌公司 使用目标和观察来选择强化学习动作
CN108290594A (zh) * 2015-09-30 2018-07-17 西门子股份公司 用于轨道线路网络的安全方法和安全系统
WO2017167801A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Fahrerassistenzsystem zum unterstützen eines fahrers beim führen eines fahrzeugs
CN107862321A (zh) * 2016-09-22 2018-03-30 千寻位置网络有限公司 自动识别行车状态的方法及其系统

Also Published As

Publication number Publication date
CN113272830A (zh) 2021-08-17
US11003189B2 (en) 2021-05-11
US11586213B2 (en) 2023-02-21
US10739777B2 (en) 2020-08-11
US20210232147A1 (en) 2021-07-29
US20200159232A1 (en) 2020-05-21
WO2020106422A1 (en) 2020-05-28
EP3867826A4 (en) 2022-08-10
EP3867826A1 (en) 2021-08-25
US20200333794A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN113272830B (zh) 行为预测系统中的轨迹表示
Ma et al. Artificial intelligence applications in the development of autonomous vehicles: A survey
CN113439247B (zh) 自主载具的智能体优先级划分
US11772654B2 (en) Occupancy prediction neural networks
CN114080634B (zh) 使用锚定轨迹的代理轨迹预测
US11586931B2 (en) Training trajectory scoring neural networks to accurately assign scores
US11693415B2 (en) Predicting cut-in probabilities of surrounding agents
US11977382B2 (en) Ranking agents near autonomous vehicles by mutual importance
US11967103B2 (en) Multi-modal 3-D pose estimation
US11620838B2 (en) Systems and methods for answering region specific questions
US20210364637A1 (en) Object localization using machine learning
US11657268B1 (en) Training neural networks to assign scores
US20230406360A1 (en) Trajectory prediction using efficient attention neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant