CN115116021A - 用于完成连续多代理轨迹预测的系统和方法 - Google Patents

用于完成连续多代理轨迹预测的系统和方法 Download PDF

Info

Publication number
CN115116021A
CN115116021A CN202210284323.2A CN202210284323A CN115116021A CN 115116021 A CN115116021 A CN 115116021A CN 202210284323 A CN202210284323 A CN 202210284323A CN 115116021 A CN115116021 A CN 115116021A
Authority
CN
China
Prior art keywords
self
agent
aware
location
surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210284323.2A
Other languages
English (en)
Inventor
马珩博
李家琛
崔智保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115116021A publication Critical patent/CN115116021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种用于利用基于图形的条件生成存储系统完成连续多代理轨迹预测的系统和方法，该系统和方法包括接收与自我意识代理的周围位置相关联的数据，并且将与自我意识代理的周围位置相关联的数据输入到至少一个情景存储缓冲器，并且处理与自我意识代理的周围位置相关联的场景图，该场景图与多个时间步长相关联。该系统和方法另外包括将与多个时间步长相关联、与自我意识代理的周围位置相关联的数据聚合到混合数据中，并且利用混合数据训练生成存储和预测因子。该系统和方法进一步包括基于对生成存储和预测因子的训练来预测与位于自我意识代理的周围位置内的交通代理相关联的未来轨迹。

Description

用于完成连续多代理轨迹预测的系统和方法
相关申请的交叉引用
本专利申请要求于2021年3月23日提交的美国临时申请序列号63/164,931的优先权，该专利申请明确地以引用方式并入本文。
背景技术
作为决策制作、运动计划和控制的先决条件，多代理轨迹预测在自主驾驶系统中起重要作用。预测不同场景中的周围交通参与者的可能的未来轨迹对于实现自主驾驶系统的效率和安全性是必不可少的。包括各种复杂道路几何形状和多个交通代理的若干因素产生复杂的行为并增加轨迹预测的难度。
发明内容
根据一个方面，一种计算机实现的方法，该方法用于利用基于图形的条件生成存储系统完成连续多代理轨迹预测，该方法包括接收与自我意识代理的周围位置相关联的数据。该数据与多个时间步长相关联。该计算机实现的方法还包括将与自我意识代理的周围位置相关联的数据输入到至少一个情景存储缓冲器，并且处理与自我意识代理的周围位置相关联的场景图，该场景图与多个时间步长相关联。该计算机实现的方法另外包括将与多个时间步长相关联、与自我意识代理的周围位置相关联的数据聚合到混合数据中，并且利用混合数据训练生成存储和预测因子。计算机实现的方法进一步包括基于对生成存储和预测因子的训练来预测与位于自我意识代理的周围位置内的交通代理相关联的未来轨迹。
根据另一方面，一种用于利用基于图形的条件生成存储系统完成连续多代理轨迹预测的系统，该系统包括存储指令的存储器，该存储器在由处理器执行时使得处理器接收与自我意识代理的周围位置相关联的数据。该数据与多个时间步长相关联。指令还使得处理器将与自我意识代理的周围位置相关联的数据输入到至少一个情景存储缓冲器，并且处理与自我意识代理的周围位置相关联的场景图，该场景图与多个时间步长相关联。指令另外使得将与多个时间步长相关联、与自我意识代理的周围位置相关联的数据聚合到混合数据中，并且利用混合数据训练生成存储和预测因子。指令进一步使得基于对生成存储和预测因子的训练来预测与位于自我意识代理的周围位置内的交通代理相关联的未来轨迹。
根据又一方面，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储指令，该指令在由包括处理器的计算机执行时执行一种方法，该方法包括：接收与自我意识代理的周围位置相关联的数据。该数据与多个时间步长相关联。方法还包括将与自我意识代理的周围位置相关联的数据输入到至少一个情景存储缓冲器，并且处理与自我意识代理的周围位置相关联的场景图，该场景图与多个时间步长相关联。方法另外包括将与多个时间步长相关联、与自我意识代理的周围位置相关联的数据聚合到混合数据中，并且利用混合数据训练生成存储和预测因子。方法进一步包括包括基于对生成存储和预测因子的训练来预测与位于自我意识代理的周围位置内的交通代理相关联的未来轨迹。
附图说明
被认为是本公开的特性的新颖特征在所附权利要求中提出。在下面的描述中，在整个说明书和附图中，相似的部分分别用相同的数字标记。为了清楚和简洁起见，附图未必按比例绘制，并且某些附图可以以夸大或概括的形式示出。然而，当结合附图阅读时，通过参照说明性实施方案的以下详细说明，将最好地理解本公开本身及其优选的使用方式、其进一步的目的和进步，其中：
图1是根据本公开的示例性实施方案的用于利用条件生成存储来完成连续多代理交互行为预测的示例性系统的示意图；
图2是根据本公开的示例性实施方案的用于输出与多个时间步长处的周围位置相关联的场景图方法的过程流程图；
图3是根据本公开的示例性实施方案的用于训练图形神经网络基础结构的生成存储和预测因子的图形神经网络基础结构的多个部件和模块的示意性概述；
图4是根据本公开的示例性实施方案的用于基于由预测因子输出的预测轨迹来训练预测因子和操作自我意识代理的方法的过程流程图；并且
图5是根据本公开的示例性实施方案的用于利用基于图形的条件生成存储系统完成连续多代理轨迹预测的方法的过程流程图。
具体实施方式
以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的部件的各种示例和/或形式。这些示例并非旨在进行限制。
如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线还可以是使用诸如面向媒体的系统传送(MOST)、控制器局域网(CAN)、本地互连网络(LIN)等等协议来将在车辆内的部件互连的车辆总线。
如本文所用，“计算机通信”是指在两个或更多个计算设备(例如，计算机、个人数字助理、蜂窝电话、网络设备)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可以跨例如无线系统(例如，IEEE802.11)、以太网系统(例如，IEEE 802.3)、令牌环系统(例如，IEEE 802.5)、局域网(LAN)、广域网(WAN)、点对点系统、电路交换系统、分组交换系统等等发生。
如本文所用，“盘”可以是例如磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存存储器卡和/或存储棒。此外，盘可以是CD-ROM(压缩盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVDROM)。盘可以存储控制或分配计算装置的资源的操作系统。
如本文所用，“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可以包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)和直接RAM总线RAM(DRRAM)。存储器可以存储控制或分配计算装置的资源的操作系统。
如本文所用，“模块”包括但不限于存储指令的非暂态计算机可读介质、在机器上执行的指令、在机器上执行的硬件、固件、软件、和/或每一者的组合以执行一个或多个功能或一个或多个动作和/或引起另一个模块、方法和/或系统执行功能或动作。模块还可包括逻辑、软件控制微处理器、离散逻辑电路、模拟电路、数字电路、编程逻辑装置、包含执行指令的存储器设备、逻辑门、门组合，和/或其他电路部件。多个模块可组合成一个模块，并且单个模块可分布在多个模块之间。
“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电气接口。
如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位串流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
如本文所用，“运载工具”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动运载工具。术语“车辆”包括(但不限于)：汽车、卡车、面包车、小型货车、SUV、摩托车、踏板车、船只、卡丁车、游乐车、铁路运输、个人水艇和飞机。在一些情况中，机动车辆包括一个或多个发动机。此外，术语“车辆”可以是指能够运载一个或多个人类乘员并且完全地或部分地由电池供电的一个或多个电动马达供电的电动车辆(EV)。EV可包括电池动力电动运载工具(BEV)和插电式混合动力电动运载工具(PHEV)。另外，术语“车辆”可还是指由任何形式的能量提供动力的自主车辆和/或自行驾驶车辆。自动运载工具可以运载或可以不运载一个或多个人类乘员。此外，术语“车辆”可包括具有预定路径的自动化或非自动的车辆或自由移动的车辆。
如本文所用，“值”和“水平”可包括(但不限于)数值或其他种类的值或水平，诸如百分比、非数值、离散状态、离散值、连续值等等。如整个该具体实施方式及权利要求书中所用，术语“X的值”或“X的级别”是指用于区分X的两个或更多个状态的任何数值或其他种类的值。例如，在一些情况下，X的值或级别可作为0％与100％之间的百分数给出。在其他情况下，X的值或级别可以是1与10之间的范围内的值。在再其他情况下，X的值或级别可能不是数值，而是可与给定离散状态相关联，诸如“不是X”、“略微x”、“x”、“十分x”和“极其x”。
I.系统概述
现在参考附图，其中所示内容是出于说明一个或多个示例性实施方案的目的而非出于限制一个或多个示例性实施方案的目的，图1是根据本公开的示例性实施方案的用于利用条件生成存储来完成连续的多代理交互行为预测的示例性系统100的示意图。本文所讨论的系统100的部件以及其他系统、硬件架构和软件架构的部件可组合、省略或组织成各种实施方案的不同架构。
一般来讲，系统包括自我意识代理102，该自我意识代理包括电子控制单元(ECU)104，该ECU执行一个或多个应用程序、操作系统、代理系统和子系统用户界面等。ECU 104还可以执行交互轨迹行为预测应用程序(轨迹预测应用程序)106，该应用程序可以被配置为相对于利用条件生成存储的多代理轨迹来完成连续的多代理交互行为预测。轨迹预测应用程序106可以被配置为利用图形神经网络基础结构108来生成混合数据集，该混合数据集用于训练条件生成存储和预测因子两者。
如下文所论述，轨迹预测应用程序106可以基于与过去时间步长(例如，过去时间点)相关联的历史轨迹数据和与位于当前时间步长(例如，在当前时间点处)的自我意识代理102的周围位置内的交通代理相关联的数据，利用图形神经网络基础结构108来输出可以位于自我意识代理102的周围位置内的交通代理(例如，行人和车辆)的预测轨迹。自我意识代理102的周围位置可以包括自我意识代理102的周围环境。因此，该周围位置可以包括可以包含在自我意识代理102的周围环境内的相应道路、路径、行车道、过道等。
自我意识代理102可包括但不限于车辆、机器人、机动自行车/小型摩托车、自动购物车、自动运输箱/行李箱/手提箱、机动轮椅等。轨迹预测应用程序106可以被配置为接收与自我意识代理102的一个或多个位置相关联的数据。如下文更详细地讨论的，此类数据可以由轨迹预测应用程序106分析以训练图形神经网络基础结构108的生成存储。生成存储可以用于训练图形神经网络基础结构108的预测因子以完成针对位于自我意识代理102的周围位置内的交通代理中的每个交通代理的轨迹预测。
轨迹预测应用程序106可以被配置为在连续学习设置中提供多代理交互行为预测，其中各种数据集可以在各个位置处收集。在许多情况下，可能相对于预测方法发生灾难性遗忘。直观地，因为在自我意识代理102的周围位置处的当前时间步长处的交互行为可以由于在不同时间点的自我意识代理102的周围位置内的交通参与者的不同位置而与在自我意识代理102的周围位置处的一个或多个过去时间步长处发生的交互行为不同，所以模型可能更喜欢利用与周围位置相关联的更多当前交互行为，而不是与如模型的更旧的过去位置相关联的交互行为。换句话说，预测模型可能更可能关于更近的位置信息而不是过去的位置信息训练，这导致了称为灾难性遗忘的现象。
这种灾难性遗忘的现象可能导致对以前所学利用不足，以及此类模型的关于自我意识代理102的周围位置的不足和/或无效的性能，该周围位置可以与先前位置不同。轨迹预测应用程序106提供了在计算机和周围轨迹预测技术上的改进，使得该应用程序在具有各个时间点处捕获的许多环境和道路配置的许多位置处，使用基于连续的多代理轨迹预测框架的图形神经网络来减缓灾难性遗忘并提供多代理交互行为预测。因此，应用程序106使连续学习能够有效地在多代理轨迹预测任务中使用。
如下文更详细地论述(并且在图3中表示)，轨迹预测应用程序106利用包括预测因子、情景存储缓冲器和条件变量自动编码器的图形神经网络基础结构108作为生成存储的一部分。轨迹预测应用程序106可以被配置为以传感器数据的形式接收输入数据，并且可以处理基于不同位置的不同数据集，该不同位置包括在各个时间点的自我意识代理102的各种周围环境。轨迹预测应用程序106利用存储初始图形信息的情景存储，该初始图形信息与一个或多个过去时间步长相关联。
轨迹预测应用程序106可以被配置为对一批初始图形进行采样并使用条件生成存储来生成与交通代理相关联的过去轨迹，该交通代理可以位于一个或多个相应过去时间步长处的自我意识代理102的周围位置内。由此，轨迹预测应用程序106可以被配置为利用混合数据，该混合数据是与过去时间步长相关联的数据和与相对于自我意识代理102的周围位置的当前时间步长的当前数据相关联的混合数据。
该混合数据可以用于训练生成存储，该生成存储可以进一步用于训练预测因子，从而输出预测轨迹，该预测轨迹可以与位于自我意识代理102的周围位置内的交通代理中的每个交通代理相关联。也可以采样当前数据集的一小部分以存储在情景存储缓冲器中以在未来时间步长处(例如，在来自当前时间步长的未来时间点中的时间步长处)利用。因此，轨迹预测应用程序106使连续学习能够在多代理轨迹预测任务中使用。
如下所述，轨迹预测应用程序106可以被配置为提供用于控制自我意识代理102的一个或多个系统的命令。此类命令可以包含警报控制命令和/或自主控制命令，该警报控制命令和/或自主控制命令可以用于提供一个或多个警报(例如，基于轨迹的警告)和/或可以与自我意识代理102相关联的代理自主控制。
继续参考图1，ECU 104可以被配置为可操作地连接到自我意识代理102的多个附加部件，包括但不限于存储单元112、相机系统116、激光雷达系统118、自主控制器120、系统/控制单元122和动态传感器124。在一个或多个实施方案中，ECU 104可包括微处理器、一个或多个专用集成电路(ASIC)或其他类似设备。ECU 104还可包括内部处理存储器、接口电路和总线线路以便传输数据、发送命令并且与自我意识代理102的多个部件通信。
ECU 104还可包括通信设备(未示出)以便在自我意识代理102内(例如，在一个或多个部件之间)发送数据并且与外部托管的计算系统(例如，在自我意识代理102外部)通信。通常，ECU 104与存储单元112通信以执行存储在存储单元112内的一个或多个应用程序、操作系统、系统和子系统用户界面等。
在一个实施方案中，ECU 104可与代理自主控制器120通信以执行自主驾驶命令，以操作自我意识代理102使其以特定方式完全自主驾驶或半自主驾驶。如下所述，自主驾驶命令可以是基于由轨迹预测应用程序106提供的命令以使自我意识代理102在其周围位置内导航来自主地控制自我意识代理102的一个或多个功能，从而考虑位于自我意识代理102的周围位置内的一个或多个交通代理的预测轨迹。
具体地，自主驾驶命令可以是基于由轨迹预测应用程序106提供的命令以自主地控制自我意识代理102的一个或多个功能以便在周围位置内行进，同时避免相对于位于自我意识代理102的周围位置内的一个或多个交通代理的预测轨迹的并行时间步长处的任何重叠。
在一个或多个实施方案中，代理自主控制器120可以通过向代理系统/控制单元122中的一个或多个系统/控制单元提供一个或多个命令来自主地控制自我意识代理102的操作，以提供对自我意识代理102遵循由应用程序106提供的代理自主命令的完全自主控制或半自主控制。自我意识代理102的此类自主控制可以通过以下方式来提供：发送一个或多个命令以控制系统/控制单元122中的一个或多个以在一个或多个情况期间(例如，当提供驾驶员辅助控制时)操作(例如，驾驶、导航)自我意识代理102，和/或完全控制自我意识代理102的操作。
在一些实施方案中，可以提供一个或多个命令以控制自我意识代理102的一个或多个高级驾驶员辅助系统(ADAS)(未示出)，该ADAS可以由操作员114(例如，驾驶员)手动驱动以提供考虑位于自我意识代理102的周围位置内的一个或多个交通代理的预测轨迹的一个或多个警报和/或警告。
可以向一个或多个系统/控制单元122提供一个或多个命令，该一个或多个系统/控制单元包括但不限于引擎控制单元、制动控制单元、变速器控制单元、转向控制单元等，以控制待基于一个或多个自主命令自主驾驶的自我意识代理102，该一个或多个自主命令由轨迹预测应用程序106输出以在自我意识代理102的周围位置内导航自我意识代理102。具体地说，可以自主地控制自我意识代理102的一个或多个功能以在周围环境内行进，同时避免相对于位于自我意识代理102的周围位置内的一个或多个交通代理的预测轨迹在并行时间步长处的任何重叠。
在一个或多个实施方案中，系统/控制单元122可以可操作地连接到自我意识代理102的动态传感器124。动态传感器124可以被配置为从一个或多个系统、子系统、控制系统等接收输入。在一个实施方案中，动态传感器124可以成为自我意识代理102的控制器局域网(CAN)的一部分，并且可以被配置为向ECU 104提供动态数据以用于一个或多个系统、子系统、控制系统等。动态传感器124可以包括但可不限于位置传感器、行驶方向传感器、速度传感器、转向速度传感器、转向角度传感器、油门开度传感器、加速度计、磁力仪、陀螺仪、偏航速率传感器、制动力传感器、车轮速度传感器、车轮转向角传感器、变速器齿轮传感器、温度传感器、RPM传感器、GPS/DGPS传感器等(未示出单独的传感器)。
在一种配置中，在进行一个或多个驾驶操纵时并且/或者在自我意识代理102受到控制而自主地驾驶时，动态传感器124可以提供以一个或多个值(例如，数值级别)形式的动态数据，该一个或多个值与自我意识代理102的实时动态性能相关联。如下所述，由动态传感器124输出的动态数据可以与自我意识代理102在其周围环境内行进时的实时动态操作相关联。可以通过轨迹预测应用程序106分析动态数据以确定与自我意识代理102相关联的动态约束，以由此自主地控制自我意识代理102以基于此类约束以如下方式来操作：避免与位于自我意识代理102的周围位置内的一个或多个交通代理的预测轨迹有任何重叠。
继续参考图1，相机系统116可以包括相机(未示出)中的一个或多个相机，该一个或多个相机可以定位在一个或多个方向上和在一个或多个区域处，以捕获自我意识代理102的周围环境的一个或多个图像(例如，自我意识代理102正在其上行驶的道路的图像)。该相机系统116的一个或多个相机可以被设置在自我意识代理102的外前部分，包括(但不限于)仪表板、保险杠、前照明单元、挡泥板和挡风玻璃的不同部分。在一个实施方案中，该一个或多个相机可以被配置为RGB相机，该RGB相机可以捕获RGB带，该RGB带被配置为捕获关于物体外观的丰富信息，该物体外观与道路车道标识、道路/通路标记和/或道路/路径基础设施(例如，护栏)有关。
在其他实施方案中，该一个或多个相机可以被配置作为立体相机，该立体相机被配置为以三维图像的形式捕获环境信息。在一种或多种配置中，该一个或多个相机可以被配置为从自我意识代理102的角度捕获自我意识代理102的周围位置的一个或多个第一人称视角RGB图像/视频。在一个实施方案中，相机系统116可以被配置为将一个或多个RGB图像/视频(例如，图像序列)转换为图像数据，该图像数据发送到轨道预测应用程序106以待分析。
在示例性实施方案中，激光雷达系统118可以可操作地连接到多个激光雷达传感器(未示出)。具体地，激光雷达系统118可以包括一个或多个平面扫描激光器，该一个或多个平面扫描激光器包括相应的三维激光雷达传感器，该三维激光雷达传感器可以被配置为朝向自我意识代理102的周围环境振荡并发射紫外光、可见光或近红外光的一个或多个激光束。该多个激光雷达传感器可以被配置为从一个或多个交通代理接收一个或多个经反射的激光波(例如，信号)，该一个或多个交通代理位于自我意识代理102的周围位置内。换句话讲，在将一个或多个激光束传输到周围环境时，该一个或多个激光束可以由一个或多个交通代理反射为激光波，该一个或多个交通代理位于一个或多个时间点处的自我意识代理102的周围位置内。
在一个实施方案中，多个激光雷达传感器中的每个激光雷达传感器可以被配置为分析经反射的激光波并将相应的激光雷达数据输出到轨道预测应用程序106。激光雷达数据可以包括激光雷达坐标，该激光雷达坐标可以与一个或多个交通代理的位置、定位、深度和/或维度(例如，测量结果)相关联，该一个或多个交通代理诸如位于多个时间步长处的自我意识代理的位置内(例如，可以位于自我意识代理102的周围位置内)的周围车辆和行人。
如下所述，由相机系统116提供的图像数据和/或由激光雷达系统118提供的激光雷达数据可以传送到轨迹预测应用程序106以输入到图形神经网络基础结构108以使用机器学习/深度学习技术进行电子分析。如此，可以聚合和分析由相机系统116提供的图像数据和/或由激光雷达系统118提供的激光雷达数据来确定信息，该述信息与多个代理及其彼此间的相互作用相关联并且相对于自我意识代理102。
在示例性实施方案中，外部服务器110可以由OEM、第三方管理员和/或数据集管理器拥有、操作和/或管理，该数据集管理器管理与轨迹预测应用程序106的操作相关联的数据。外部服务器110可以由处理器126可操作地控制，该处理器可以被配置为执行轨迹预测应用程序106。具体地，处理器126可以被配置为执行一个或多个应用程序、操作系统、数据库等。处理器126还可以包括内部处理存储器、接口电路以及用于传递数据、发送命令并且与外部服务器110的多个部件通信的总线。
在一个实施方案中，处理器126可操作地连接到外部服务器110的存储器128。一般来讲，ECU 126可以与存储器128通信以执行存储在存储器128内的一个或多个应用程序、操作系统等。在一个实施方案中，存储器128可以存储与轨迹预测应用程序106相关联的一个或多个可执行应用程序文件。
在一个实施方案中，外部服务器110的存储器128可以被配置为存储图形神经网络基础结构108。如下面更详细地讨论的，图形神经网络基础结构108可以被配置为执行机器学习/深度学习技术，以处理与先前已经位于过去时间步长处的自我意识代理102的周围位置内的交通代理的过去轨迹相关联的图形以及与位于当前时间步长处的自我意识代理102的周围位置内的交通代理的当前轨迹相关联的图形，以由生成存储和预测因子利用。图形神经网络基础结构108可以以双存储器配置进行配置，该双存储器配置可以与地面实况数据相比生成交互行为。
由于可以在生成的数据和与自我意识代理102的周围位置相关联的当前数据上更新多代理交互行为预测因子，因此图形神经网络基础结构108可以被配置为输出图形并提供节点级别、边缘级别和图形级别的预测任务，该各级别预测任务与位于自我意识代理102的周围位置内的交通代理的轨迹相关联，从而减轻在其它复杂的多代理空间时间预测技术中发现的任何灾难性遗忘问题。
通过利用图形神经网络基础结构108，轨迹预测应用程序106提供对一个或多个代理的轨迹预测和控制，以基于基于存储器的方法考虑轨迹预测，该基于存储器的方法基于图形表示和具有优异存储效率的条件生成模型。因此，基于轨迹预测应用程序106通过利用图形神经网络基础结构108的功能，在多代理轨迹预测任务中有效地使用连续学习。
II.交互轨迹行为预测应用程序及相关方法
现在将根据示例性实施方案并且连续参考图1来描述轨迹预测应用程序106的部件。在示例性实施方案中，轨迹预测应用程序106可以存储在存储单元112上并且由自我意识代理102的ECU 104执行。在另一实施方案中，轨迹预测应用程序106可以存储在外部服务器110的存储器128(未示出)上，并且可以由自我意识代理102的远程信息处理控制单元(未示出)访问，以由自我意识代理102的ECU 104执行。
现在将讨论轨迹预测应用程序106的一般功能。在示例性实施方案中，轨迹预测应用程序106可以包括多个模块130-134，该多个模块可以被配置为使用人类视觉感觉和存储机制来提供驾驶情况感知。该多个模块130-134可以包括数据接收模块130、交互行为预测模块(相互预测模块)132、和代理控制模块134。然而，应当理解，轨迹预测应用程序106可以包括为代替模块130-134而被包括在内的一个或多个附加模块和/或子模块。
图2是根据本公开的示例性实施方案的用于输出与自我意识代理102的周围位置相关联的场景图的方法200的过程流程图。图2将参考图1和图3的部件来描述，但是应当理解，图2的方法200可以与其他系统/部件一起使用。应当理解，方法200可以在当前时间步长t处、在一个或多个过去时间步长t-n处执行，并且/或者可以在一个或多个未来时间步长t+n处执行。
方法200可以在框202处开始，其中方法200可包括接收与自我意识代理102的周围位置相关联的图像数据。在示例性实施方案中，在一个或多个过去时间步长和/或在当前时间步长处，轨迹预测应用程序106的数据接收模块130可以被配置为与相机系统116通信以收集与自我意识代理102的周围位置的未修剪的图像/视频相关联的图像数据。
在一些配置中，图像数据可以与在特定时间步长处捕获的自我意识代理102的周围位置的一个或多个第一人称视点RGB图像/视频有关。图像数据可以被配置为包括关于物体外观的丰富信息，该物体外观与在一个或多个时间步长处的自我意识代理102的周围位置内的道路车道标识、道路/通路标记、车道/路径基础设施有关。在一些实施方案中，数据接收模块130可以将图像数据封装并存储在存储单元112上，以在一个或多个时间点处进行评估。
方法200可前进至框204，其中方法200可以包括接收与自我意识代理102的周围位置相关联的激光雷达数据。在示例性实施方案中，数据接收模块130可以与自我意识代理102的激光雷达系统118通信以从自我意识代理102收集激光雷达数据，该激光雷达数据包括基于激光雷达的观察。该基于激光雷达的观察可以指示一个或多个交通代理的位置、范围和定位，经反射的激光波相对于自我意识代理102的位置/定位从该一个或多个交通代理反射出来。在一些实施方案中，数据接收模块130可以将激光雷达数据封装并存储在存储单元112上，以在一个或多个时间点处进行评估。
方法200可以进行到方框206，其中方法200可以包括聚合图像数据和激光雷达数据。在示例性实施方案中，数据接收模块130可以被配置为将图像数据和激光雷达数据聚集到与位于相应时间步长处的自我意识代理102的周围位置有关联的聚集位置数据中，该图像数据可以包括关于物体外观的丰富信息，物体外观与在一个或多个时间步长处的自我意识代理102的位置内的车道车道标识、道路/通路标记和/或道路/路径基础设施有关，激光雷达数据与基于激光雷达的观察有关，该基于激光雷达的观察可以指示一个或多个交通代理的位置、范围和定位。在一个实施方案中，在一个或多个过去时间步长和当前时间步长处，数据接收模块130可以被配置为将聚合位置数据传送到轨迹预测应用程序106的交互预测模块132。
方法200可以前进至框208，其中方法200可以包括将与周围位置相关联的聚合位置数据输入到图形神经网络基础结构108。在示例性实施方案中，在一个或多个过去时间步长和当前时间步长处，交互预测模块132可以被配置为访问外部服务器110，并且可以被配置为向图形神经网络基础结构108传送聚合位置数据，该聚合位置数据与在一个或多个相应过去时间步长处接收到的自我意识代理102的周围位置相关联的数据相关联。相对于与自我意识代理102的当前环境有关的数据，交互预测模块132可以被配置为向图形神经网络基础结构108传送聚合位置数据，该聚合位置数据与在当前时间步长处接收到的自我意识代理102的周围位置相关联。
图3是根据本公开的示例性实施方案的用于训练生成存储308、314和图形神经网络基础结构108的预测因子316的图形神经网络基础结构108的多个部件和模块的示意性概述。如图3所示，可以向图形神经网络基础结构108输入与过去时间步长相关联的聚合位置数据302a，该聚合位置数据包括已经位于一个或多个过去时间步长处的自我意识代理102的周围位置内的交通代理相关联的数据。另外，可以向图形神经网络基础结构108输入与自我意识代理102的周围位置相关联的聚合位置数据302b，该聚合位置数据包括与位于当前时间步长处的自我意识代理102的周围位置内的交通代理和周围位置的道路相关联的数据。
再次参考图2的方法200，在向图形神经网络基础结构108输入聚合位置数据时，方法200可以进行到框210，其中方法200可以包括将过去时间步长相关联的聚合位置数据存储在情景存储缓冲器304a内。该情景存储缓冲器304a可以被配置为“旧”缓冲器，该“旧”缓冲器被配置为存储与位于过去时间步长处的自我意识代理102的周围位置内的交通参与者的定位、位置和/或配置相关联的过去数据或“旧数据”。在示例性实施方案中，交互预测模块132可以利用图形神经网络基础结构108来访问情景存储缓冲器304a，并且存储与过去时间步长相关联的聚合位置数据的一部分，该聚合位置数据的一部分与位于相应过去时间步长处的周围位置内的交通参与者的定位、位置和/或配置有关。
在一个实施方案中，情景存储缓冲器304a可以包括存储器，该存储器被配置为存储与过去多代理交互轨迹有关的数据。在一种配置中，图形神经网络基础结构108可以被配置为减少与全长轨迹相关联的全长轨迹数据的存储量，该全长轨迹包括每个交通代理从开始多个时间步长处的轨迹到结束的位置。图形神经网络基础结构108可以选择性地存储与在相应的过去时间步长处的交通代理中的每个交通代理的(过去)轨迹相关联的一些初始信息。换句话说，将情景存储缓冲器304a控制为一定大小(例如，较小存储缓冲器)以存储与在相应过去时间步长处的交通代理中的每个交通代理的过去轨迹有关的信息的部分。在许多情况下，在某些过去轨迹的长度特别长的情况下，需要存储的数据量的减少可能是显著的。
继续参考图2和图3，方法200可以前进到框212，其中方法200可以包括将与当前时间步长相关联的聚合位置数据存储在情景存储缓冲器304b内。在示例性实施方案中，在输入与自我意识代理102的周围位置相关联的聚合位置数据302b时，聚合位置数据302b可以作为当前数据集310存储在外部服务器110的存储器128内。当前数据集310可以表示为Dk。
在一个配置中，聚合位置数据302b可以存储在情景存储缓冲器304b内。情景存储缓冲器304b可以被配置为“新”缓冲器，其被配置为存储与位于当前时间步长处的周围位置内的交通参与者的定位、位置和/或配置相关联的当前数据(实时接收)或“新数据”。另外，交互预测模块132可以被配置为基于存储在外部服务器110的存储器128上的当前数据集310，利用图形神经网络基础结构108来处理与在当前时间步长处的自我意识代理102的周围位置内的交通代理的轨迹相关联的场景图306b。
在示例性实施方案中，交互预测模块132可以利用图形神经网络基础结构108来访问情景存储缓冲器304b，并且存储与在当前时间步长处的自我意识代理102的周围位置相关联的聚合位置数据的一部分。具体地，可以将整个数目的情况的一小部分随机采样到当前数据集310中，并且它们的数据可以表示为输入到情景存储缓冲器304b的场景图形306b中的情况的子集。
可以在未来时间步长处利用情景存储缓冲器304b来存储当前数据集310的小部分，以允许与周围位置相关联的当前数据集310在一个或多个未来时间点处被评估。因此，轨迹预测应用程序106使连续学习能够在针对未来时间点处的过去时间步长和当前时间步长的多代理轨迹预测任务中使用。换句话说，轨迹预测应用程序106可以使用与自我意识代理102的周围位置相关联的聚合位置数据302b来在许多未来迭代中连续地利用图形神经网络基础结构108。
在存储情景存储缓冲器304上的聚合位置数据302b时，方法200可以前进到框214，其中方法200可以包括输出与过去时间步长相关联的场景图306a。在一个实施方案中，交互预测模块132可以被配置为基于存储在情景存储缓冲器304a上的数据，利用图形神经网络基础结构108来处理与位于相应过去时间步长处的自我意识代理102的周围位置内的交通代理的轨迹相关联的场景图306a。
在一种配置中，相应场景图306a中的每个场景图可以被分类为初始图形，该初始图形各自包括与选择性存储的部分初始信息相关联的初始信息，该选择性存储的部分初始信息与在相应过去时间步长处的交通代理中的每个交通代理的(过去)轨迹相关联。针对每个场景图306a的此类初始信息可以定义为Ginit＝{V,E}，其中
Figure BDA0003559452440000151
和边缘属性Eij∈E指示节点i和j之间是否存在边缘。
如果两个交通代理的参考不具有任何相互作用或者一个参考文献上的特定交通代理不能通过交通规则移位到另一个参考，则在两个交通代理之间没有边缘。另外，x0是当前时间步长处的每个交通代理的当前状态，
Figure BDA0003559452440000161
是当前步长之前的H时间步长处的状态，并且
Figure BDA0003559452440000162
是目标位置，其可以被定义为一个或多个未来(下一个)时间步长处(从数据内捕获的特定过去时间步长)的每个交通代理的预期目的地或位置。因此，场景图306可以用于生成交通代理之间的相互行为，该交通代理位于该初始信息上调节的相应过去时间步长处的自我意识代理102的周围位置内。
图4是根据本公开的示例性实施方案的用于基于由预测因子316输出的预测轨迹来训练预测因子316和操作自我意识代理102的方法400的过程流程图。图4将参考图1和图3的部件来描述，但是应当理解，图4的方法400可以与其他系统/部件一起使用。应当理解，方法400可以在当前时间步长t处、在一个或多个过去时间步长t-n处执行，并且/或者可以在一个或多个未来时间步长t+n处执行。
方法400可以从方框402开始，其中方法400可包括检索与自我意识代理102的位置相关联的数据。在示例性实施方案中，存储在情景存储缓冲器304a、304b上的聚合位置数据可以由轨迹预测应用程序106的数据接收模块130访问和检索。
参考图3和图4，方法400可以前进到框404，其中方法400可以包括从与自我意识代理102的周围位置相关联的当前数据集310输入数据以训练生成存储314和预测因子316。如上所述，生成的数据可以表示为Dk，并且当前数据集310可以表示为Dk。因此，混合数据312可以表示为
Figure BDA0003559452440000163
在一个实施方案中，可以基于当前数据集310训练图形神经网络基础结构108的生成存储308，以由此训练预测因子316。在一种配置中，图形神经网络基础结构108的生成存储308可以被配置为编码器解码器结构，该编码器解码器结构包括卷积神经网络、可以包括输入层、隐藏层和输出层的相应多层感知器、以及递归神经网络，其中节点之间的连接可以沿着时间序列形成有向图。
生成存储308可以被配置为条件生成存储
Figure BDA0003559452440000164
其中
Figure BDA0003559452440000165
是所有交通代理的整个轨迹。相对于生成存储308的编码器结构，对于每个交通代理i，每个参照图像I·和每个轨迹
Figure BDA0003559452440000166
分别由卷积神经网络和递归神经网络编码。图像I·是每个交通代理在初始笛卡尔坐标系中的栅格化参照图像i。初始状态信息
Figure BDA0003559452440000167
由多层感知器解码。在获得三个特征时，多层感知器用于集成这些特征。图形神经网络基础结构108可以被配置为由此逼近后验分布
Figure BDA0003559452440000171
其中z＝{zi}i＝1:n和zi高斯随机变量。
相对于生成存储308的解码器结构，类似于编码器结构，多层感知器和卷积神经网络用于处理针对每个节点的初始状态信息和参照图像I·。图形神经网络基础结构108捕获交互模式并使用递归神经网络来逼近全长度轨迹分布P(X|z,Ginit)，其中X用作
Figure BDA0003559452440000172
的缩写。条件VAE的训练损失
Figure BDA0003559452440000173
是：
Figure BDA0003559452440000174
其中
Figure BDA0003559452440000175
和θ是编码器
Figure BDA0003559452440000176
和解码器Pθ(X|z,Ginit)的参数。β是用于调整第二正则化的重要性的超参数。在输入初始场景图306a时，r可以通过采样z与标准高斯分布不同的z时间来从解码器θ采样轨迹(X|z,Ginit)。类似于预测因子，参考的路点ci可以从Xi转换到pi。
因此，在K场景的训练数据集Dk可以基于从情景存储缓冲器304aBk-1采样Dk|/r初始场景图306a Ginit来构建。对于每个初始图Ginit，z的时间r针对场景图形206a中的每个节点随机采样，并且生成存储308的解码器结构用于生成r多代理轨迹。因此，基于选择性存储的部分初始信息生成在相应过去时间步长处的交通代理中每一个的完整的多代理轨迹，选择性存储的部分初始信息与位于初始存储在情景存储缓冲器304a上的相应过去时间步长的自我意识代理102的周围位置内的交通代理中的每一个的(过去)轨迹相关联。所生成的数据可以表示为Dk。
在一个实施方案中，新生成存储314可以被配置为是
Figure BDA0003559452440000177
的新生成存储314，其中
Figure BDA0003559452440000178
是位于当前时间步长处的自我意识代理102的周围位置内和过去时间步长处的自我意识代理102的周围位置的全部交通代理的整个轨迹。相对于生成存储308的编码器结构，对于每个交通代理i，每个参照图像I·和每个轨迹
Figure BDA0003559452440000179
分别由卷积神经网络和递归神经网络编码。图像I·是每个交通代理在初始笛卡尔坐标系中的栅格化参照图像i。初始状态信息
Figure BDA00035594524400001710
由多层感知器解码。在获得三个特征时，多层感知器用于集成这些特征。图形神经网络基础结构108可以被配置为逼近后验分布
Figure BDA0003559452440000181
其中z＝{zi}i＝1:n和zi高斯随机变量。
图形神经网络基础结构108可以被配置为利用解码器来捕获交互模式并使用递归神经网络逼近针对交通代理中每一个的全长度轨迹分布P(X|z,Ginit)。因此，基于选择性存储的部分信息生成在过去时间步长和当前时间步长处的交通代理中每个交通代理的完整的多代理轨迹，选择性存储的部分信息与位于自我意识代理102的周围位置内的交通代理中的每个交通代理的(过去)轨迹相关联。在一个实施方案中，生成存储308可以由此训练预测因子316以生成预测轨迹。
方法400可前进至框406，其中方法400可以包括生成预测轨迹，该预测轨迹与位于自我意识代理102的周围环境内的交通代理中的每个交通代理相关联。在示例性实施方案中，交互预测模块132可以被配置为将混合数据
Figure BDA00035594524400001811
输入到图形神经网络基础结构108的预测因子316。
在一个或多个实施方案中，图形神经网络基础结构108的预测因子316被配置为使用对全部交通代理的观察来计算多模态概率多代理轨迹分布，该全部交通代理已位于在当前时间步长处的自我意识代理102的周围位置处和在相应过去时间步长的自我意识代理102的周围位置内。给定来自oi的每个交通代理i的参考ci，每种交通代理i的轨迹pi是否转换为Frenét坐标并表示为Xi。Ii定义为ci的栅格化图像，并且注释ci重新使用作为参考的路点表示。
利用与每个交通代理i相关联的速度信息
Figure BDA0003559452440000182
其中
Figure BDA0003559452440000183
以及
Figure BDA0003559452440000184
表示相对于参考自我意识代理102ci的纵向速度和横向速度。对于每个边缘eij边缘特征被定义为相对信息Rejectij＝||pi-pj||(即，不同交通代理之间的欧几里得距离)。在每个交通代理i的当前位置处居中的参照图像Ii用于提供与参考相关的未来车道几何信息和周围位置。图像Ii的y轴对准每个交通代理i的速度方向。特征嵌入功能用于提取上述信息以形成初始节点属性
Figure BDA0003559452440000185
和边缘属性
Figure BDA0003559452440000186
给定一组轨迹观察，图形神经网络基础结构108具有：
Figure BDA0003559452440000187
因此，预测因子316和新生成存储314是单独优化的：
Figure BDA0003559452440000188
Figure BDA0003559452440000189
Figure BDA00035594524400001810
Figure BDA0003559452440000191
其中γ是超参数，以确定在过去时间步长处收集的数据与当前时间步长处收集的数据的比率。
在示例性实施方案中，预测因子316可以输出位于自我意识代理102的周围位置内的交通代理中的每个交通代理的预测轨迹。特别地，预测因子316可以生成并构建表示不同多代理之间的相互作用机制的全连接图。该图可以表示为G＝{V,E}，其中v＝{vi}表示节点属性，并且E＝{eij}表示边缘属性。在传递第m个消息时，更新规则是：
Figure BDA0003559452440000192
Figure BDA0003559452440000193
其中fe以及fv分别是边缘和节点的嵌入功能。
Figure BDA0003559452440000194
的上标表示传递第M个消息。Φ[j∈N(vi)](·)聚集vi和其相邻的N(vi)之间的eij所有边缘的信息。使用注意机制：
Figure BDA0003559452440000195
Figure BDA0003559452440000196
预测轨迹还可以基于高斯混合模型，以表示未来水平中的不同时间步长处的每个交通代理的动作：
Figure BDA0003559452440000197
Figure BDA0003559452440000198
Figure BDA0003559452440000199
其中wj,μj及∑j分别表示第j个高斯函数的权值、均值和变量。每个高斯函数表示未来动作的分布。在获得动作信息之后，使用一阶积分器来提供Frenét坐标中的位置。由此在Frenét坐标中输出每个交通代理的预测轨迹并转换到笛卡尔坐标。该程序直接结合道路路由信息。损失LP(ψ,D是log-可能性：
Figure BDA00035594524400001910
其中ψ是预测因子的参数。
在一个或多个配置中，与位于自我意识代理102的周围位置内的交通代理中的每个交通代理相关联的预测轨迹以笛卡尔坐标的形式输出到交互预测模块132。交互预测模块132可以被配置为分析笛卡尔坐标并将与位于周围位置内的每个交通代理的预测轨迹相关联的数据输出到多个时间步长(t、t+1、t+2、t+n)处的轨迹预测应用程序106的代理控制模块134。
继续参考图4的方法400，在预测位于自我意识代理102的周围位置内的交通代理中的每个交通代理的轨迹时，方法400可以进行到框408，其中方法400可以包括基于交通代理中的每个交通代理的预测轨迹来控制自我意识代理102的一个或多个系统以操作自我意识代理102。
在示例性实施方案中，在接收到来自轨迹解码器414的交通代理中的每个交通代理的输出的预测轨迹时，交互预测模块132可以被配置为传送与交通代理的预测轨迹有关的轨迹数据。在一种配置中，轨迹数据可以包括地理位置坐标，该地理位置坐标跟踪多个时间步长(t、t+1、t+2、t+n)处的每个交通代理的相应预测轨迹。
在一个实施方案中，代理控制模块134可以被配置为分析位于自我意识代理102的周围环境内的自我意识代理102的轨迹数据和地理位置。在一种配置中，代理控制模块134可以被配置为输出代理自主命令，该代理自主命令可以与驱动参数相关联，以自主地控制自我意识代理102的操作以考虑交通代理的预测轨迹。
在一个实施方案中，代理控制模块134可以被配置为将自主控制命令传送到自我意识代理102的自主控制器120。自主控制器120由此可以可操作地控制自我意识代理102的系统/控制单元122，以根据自主控制命令自主地操作自我意识代理102，以提供一个或多个驱动操作，从而在周围环境内导航自我意识代理102。因此，可以自主地控制自我意识代理102的一个或多个功能以在周围环境内行进，同时避免相对于位于自我意识代理102的周围位置内的交通代理的预测轨迹在并行时间步长处的任何重叠。
具体地，自我意识代理102可以可操作地控制以自主操作(例如，特定速度、加速度、转向角、节流角、制动力等的应用程序106)。根据粘附到自我意识代理102的动态约束以在周围位置操作的自主控制命令不与静态障碍物和交通代理的预测轨迹重叠，同时优化速度和转向，并且使与自主意识代理102的自主动态参数相关联的控制努力最小化。
在一个配置中，代理控制模块134可以被配置为向自我意识代理102的系统/控制单元122输出警报输出命令，以向自我意识代理102的操作员114提供一个或多个警告和/或警报，该警告和/或警报可以与位于周围位置内的交通代理的预测轨迹相关联。
图5是根据本公开的示例性实施方案的用于完成连续多代理轨迹预测的方法500的过程流程图。图5将参考图1和图3的部件来描述，但是应当理解，图5的方法500可以与其他系统/部件一起使用。方法500可从方框502开始，其中方法500可包括接收与自我意识代理102的周围位置相关联的数据。在一个实施方案中，数据与多个时间步长相关联。
方法500可以前进到框504，其中方法500可以包括将与自我意识代理102的周围位置相关联的数据输入到至少一个情景存储缓冲器，并且处理与自我意识代理102的周围位置相关联的场景图，该场景图与多个时间步长相关联。方法可以进行到框506，其中方法500可以包括将与多个时间步长相关联、与所述自我意识代理的所述周围位置相关联的数据聚合到混合数据中，并且利用混合数据训练生成存储和预测因子。方法500可以前进至框508，其中方法500可包括基于对生成存储和预测因子的训练来预测与位于自我意识代理102的周围位置内的交通代理相关联的未来轨迹。
从前面的描述中应当显而易见的是，本公开的各种示例性实施方案可在硬件中实现。此外，各种示例性实施方案可以被实现为存储在非暂态机器可读存储介质(诸如易失性或非易失性存储器)上的指令，该指令可以由至少一个处理器读取和执行以执行本文详细描述的操作。机器可读存储介质可以包括用于以机器可读的形式存储信息的任何机构，诸如个人或膝上型计算机、服务器或其他计算设备。因此，非暂态机器可读存储介质不包括暂态信号，但可包括易失性和非易失性存储器两者，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储器设备和类似存储介质。
本领域的技术人员应当理解，本文的任何框图表示体现本公开的原理的示例性电路的概念视图。类似地，应当理解，任何流程图、流程示意图、状态转换图、伪代码等表示可以在机器可读介质中基本上表示并且因此由计算机或处理器执行的各种过程，无论这种计算机或处理器是否被明确示出。
应当理解，上面公开的特征和功能以及其他特征和功能的各种实施方式或它们的替代物或变体可以理想地组合成许多其他不同系统或应用。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在被所附权利要求书涵盖。

Claims (20)

1.一种计算机实现的方法，所述方法用于利用基于图形的条件生成存储系统完成连续的多代理轨迹预测，所述方法包括：
接收与自我意识代理的周围位置相关联的数据，其中所述数据与多个时间步长相关联；
将与所述自我意识代理的所述周围位置相关联的所述数据输入到至少一个情景存储缓冲器，并且处理与所述自我意识代理的所述周围位置相关联的场景图，所述场景图与所述多个时间步长相关联；
将与所述多个时间步长相关联、与所述自我意识代理的所述周围位置相关联的所述数据聚合到混合数据中，并且利用所述混合数据训练生成存储和预测因子；以及
基于对所述生成存储和所述预测因子的所述训练来预测与位于所述自我意识代理的所述周围位置内的交通代理相关联的未来轨迹。
2.根据权利要求1所述的计算机实现的方法，其中接收与所述自我意识代理的所述周围位置相关联的数据包括接收与RGB图像相关联的图像数据，所述RGB图像捕获关于物体外观的丰富信息，所述物体外观与在所述多个时间步长处的所述自我意识代理的位置内的道路车道标识、道路标记和道路基础设施有关。
3.根据权利要求1所述的计算机实现的方法，其中接收与所述自我意识代理的所述周围位置相关联的数据包括接收与激光雷达坐标有关的激光雷达数据，所述激光雷达坐标与在所述多个时间步长处的所述自我意识代理的位置内的所述交通代理的位置、定位、深度和维度相关联。
4.根据权利要求1所述的计算机实现的方法，其中输入与所述自我意识代理的所述位置相关联的所述数据包括将与当前时间步长处的所述自我意识代理的所述周围位置相关联的聚合位置数据以及与过去时间步长处的所述自我意识代理的所述周围位置相关联的聚合位置数据输入到图形神经网络基础结构，其中所述图形神经网络基础结构包括所述至少一个情景存储缓冲器、所述生成存储和所述预测因子。
5.根据权利要求4所述的计算机实现的方法，其中处理所述场景图包括将与所述过去时间步长相关联的聚合位置数据存储在所述至少一个情景存储缓冲器内，并且基于存储在所述至少一个情景存储缓冲器上的数据来处理与所述过去时间步长处的所述交通代理的轨迹相关联的所述场景图。
6.根据权利要求5所述的计算机实现的方法，其中聚合与来自多个时间步长的所述自我意识代理的所述周围位置相关联的数据包括混合来自当前数据集的数据，所述当前数据集与以下项相关联：位于所述当前时间步长处的所述自我意识代理的所述周围位置内的交通代理的多代理轨迹，以及与位于所述过去时间步长处的所述自我意识代理的所述周围位置内的交通代理相关联的多代理轨迹。
7.根据权利要求6所述的计算机实现的方法，其中利用所述混合数据来训练所述生成存储和所述预测因子包括基于选择性存储的部分信息生成完整的多代理轨迹，所述选择性存储的部分信息与所述过去时间步长处的所述交通代理中的每个交通代理的所述轨迹和所述当前时间步长处的所述交通代理中的每个交通代理的所述轨迹相关联。
8.根据权利要求6所述的计算机实现的方法，其中利用所述混合数据来训练所述生成存储和所述预测因子包括在所述多个时间步长期间使用对所有所述交通代理的观察来计算多模态概率多代理轨迹分布，所有所述交通代理已经和位于所述自我意识代理的所述周围位置内。
9.根据权利要求1所述的计算机实现的方法，其中预测与位于所述自我意识代理的所述周围位置内的交通代理相关联的所述未来轨迹包括预测因子在Frenét坐标中输出所述交通代理中的每个交通代理的所述预测轨迹并且在笛卡尔坐标中将所述预测轨迹转换为待评估的以控制所述自我意识代理的至少一个系统，从而考虑与位于所述自我意识代理的所述周围位置内的交通代理相关联的所述预测轨迹。
10.一种用于利用基于图形的条件生成存储系统完成连续多代理轨迹预测的系统，所述系统包括：
存储指令的存储器，所述指令在由处理器执行时使得所述处理器：
接收与自我意识代理的周围位置相关联的数据，其中所述数据与多个时间步长相关联；
将与所述自我意识代理的所述周围位置相关联的所述数据输入到至少一个情景存储缓冲器，并且处理与所述自我意识代理的所述周围位置相关联的场景图，所述场景图与所述多个时间步长相关联；
将与所述多个时间步长相关联、与所述自我意识代理的所述周围位置相关联的所述数据聚合到混合数据中，并且利用所述混合数据训练生成存储和预测因子；以及
基于对所述生成存储和所述预测因子的所述训练来预测与位于所述自我意识代理的所述周围位置内的交通代理相关联的未来轨迹。
11.根据权利要求10所述的系统，其中接收与所述自我意识代理的所述周围位置相关联的数据包括接收与RGB图像相关联的图像数据，所述RGB图像捕获关于物体外观的丰富信息，所述物体外观与在所述多个时间步长处的所述自我意识代理的位置内的道路车道标识、道路标记和道路基础设施有关。
12.根据权利要求10所述的系统，其中接收与所述自我意识代理的所述周围位置相关联的数据包括接收与激光雷达坐标有关的激光雷达数据，所述激光雷达坐标与在所述多个时间步长处的所述自我意识代理的位置内的所述交通代理的位置、定位、深度和维度相关联。
13.根据权利要求10所述的系统，其中输入与所述自我意识代理的所述位置相关联的所述数据包括将与当前时间步长处的所述自我意识代理的所述周围位置相关联的聚合位置数据以及与过去时间步长处的所述自我意识代理的所述周围位置相关联的聚合位置数据输入到图形神经网络基础结构，其中所述图形神经网络基础结构包括所述至少一个情景存储缓冲器、所述生成存储和所述预测因子。
14.根据权利要求13所述的系统，其中处理所述场景图包括将与所述过去时间步长相关联的聚合位置数据存储在所述至少一个情景存储缓冲器内，并且基于存储在所述至少一个情景存储缓冲器上的数据来处理与所述过去时间步长处的所述交通代理的轨迹相关联的所述场景图。
15.根据权利要求14所述的系统，其中聚合与来自多个时间步长的所述自我意识代理的所述周围位置相关联的数据包括混合来自当前数据集的数据，所述当前数据集与位于所述当前时间步长处的所述自我意识代理的所述周围位置内的交通代理的多代理轨迹以及与位于所述过去时间步长处的所述自我意识代理的所述周围位置内的交通代理相关联的多代理轨迹相关联。
16.根据权利要求15所述的系统，其中利用所述混合数据来训练所述生成存储和所述预测因子包括基于选择性存储的部分信息生成完整的多代理轨迹，所述选择性存储的部分信息与所述过去时间步长处的所述交通代理中的每个交通代理的所述轨迹和所述当前时间步长处的所述交通代理中的每个交通代理的所述轨迹相关联。
17.根据权利要求15所述的系统，其中利用所述混合数据来训练所述生成存储和所述预测因子包括在所述多个时间步长期间使用对所有所述交通代理的观察来计算多模态概率多代理轨迹分布，所有所述交通代理已经和位于所述自我意识代理的所述周围位置内。
18.根据权利要求10所述的系统，其中预测与位于所述自我意识代理的所述周围位置内的交通代理相关联的所述未来轨迹包括预测因子在Frenét坐标中输出所述交通代理中的每个交通代理的所述预测轨迹并且在笛卡尔坐标中将所述预测轨迹转换为待评估的以控制所述自我意识代理的至少一个系统，从而考虑与位于所述自我意识代理的所述周围位置内的交通代理相关联的所述预测轨迹。
19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令在由包括处理器的计算机执行时执行一种方法，所述方法包括：
接收与自我意识代理的周围位置相关联的数据，其中所述数据与多个时间步长相关联；
将与所述自我意识代理的所述周围位置相关联的所述数据输入到至少一个情景存储缓冲器，并且处理与所述自我意识代理的所述周围位置相关联的场景图，所述场景图与所述多个时间步长相关联；
将与所述多个时间步长相关联、与所述自我意识代理的所述周围位置相关联的所述数据聚合到混合数据中，并且利用所述混合数据训练生成存储和预测因子；以及
基于对所述生成存储和所述预测因子的所述训练来预测与位于所述自我意识代理的所述周围位置内的交通代理相关联的未来轨迹。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中预测与位于所述自我意识代理的所述周围位置内的交通代理相关联的所述未来轨迹包括预测因子在Frenét坐标中输出所述交通代理中的每个交通代理的所述预测轨迹并且在笛卡尔坐标中将所述预测轨迹转换为待评估的以控制所述自我意识代理的至少一个系统，从而考虑与位于所述自我意识代理的所述周围位置内的交通代理相关联的所述预测轨迹。
CN202210284323.2A 2021-03-23 2022-03-22 用于完成连续多代理轨迹预测的系统和方法 Pending CN115116021A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163164931P 2021-03-23 2021-03-23
US63/164,931 2021-03-23
US17/380,224 US20220308581A1 (en) 2021-03-23 2021-07-20 System and method for completing continual multi-agent trajectory forecasting
US17/380,224 2021-07-20

Publications (1)

Publication Number Publication Date
CN115116021A true CN115116021A (zh) 2022-09-27

Family

ID=83325471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210284323.2A Pending CN115116021A (zh) 2021-03-23 2022-03-22 用于完成连续多代理轨迹预测的系统和方法

Country Status (2)

Country Link
US (1) US20220308581A1 (zh)
CN (1) CN115116021A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115416693A (zh) * 2022-09-30 2022-12-02 重庆大学 一种基于时空走廊的自动驾驶轨迹规划方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12080044B2 (en) 2021-11-24 2024-09-03 Zoox, Inc. Prediction sampling techniques
US12065171B2 (en) 2021-11-24 2024-08-20 Zoox, Inc. Encoding relative object information into node edge features
US12084087B2 (en) * 2021-11-24 2024-09-10 Zoox, Inc. Focusing prediction distribution output for efficient sampling

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411935B2 (en) * 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
WO2012129371A2 (en) * 2011-03-22 2012-09-27 Nant Holdings Ip, Llc Reasoning engines
US8825350B1 (en) * 2011-11-22 2014-09-02 Kurt B. Robinson Systems and methods involving features of adaptive and/or autonomous traffic control
US9239989B2 (en) * 2012-03-28 2016-01-19 General Electric Company Computer-implemented system with adaptive cognitive features and method of using the same
JP6817456B2 (ja) * 2017-02-24 2021-01-20 ディープマインド テクノロジーズ リミテッド ニューラルエピソード制御
WO2019232335A1 (en) * 2018-06-01 2019-12-05 Volkswagen Group Of America, Inc. Methodologies, systems, and components for incremental and continual learning for scalable improvement of autonomous systems
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
DE102018213971A1 (de) * 2018-08-20 2020-02-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Auswahl eines Fahrmanövers
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
US11494597B2 (en) * 2019-03-22 2022-11-08 Sri International Generative memory for lifelong machine learning
US11320820B2 (en) * 2019-03-26 2022-05-03 GM Global Technology Operations LLC Hyperassociation in episode memory
US20200310449A1 (en) * 2019-03-26 2020-10-01 GM Global Technology Operations LLC Reasoning system for sensemaking in autonomous driving
US11420655B2 (en) * 2019-09-26 2022-08-23 Hrl Laboratories, Llc System and method for safety and efficacy override of an autonomous system
US12005892B2 (en) * 2019-11-14 2024-06-11 Nec Corporation Simulating diverse long-term future trajectories in road scenes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115416693A (zh) * 2022-09-30 2022-12-02 重庆大学 一种基于时空走廊的自动驾驶轨迹规划方法及系统

Also Published As

Publication number Publication date
US20220308581A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7113048B2 (ja) 混雑した道路における協働認識車線変更制御を提供するためのシステム及び方法
CN110895674B (zh) 用于基于自我中心视觉的未来车辆定位的系统和方法
US11586974B2 (en) System and method for multi-agent reinforcement learning in a multi-agent environment
US11042156B2 (en) System and method for learning and executing naturalistic driving behavior
US11555927B2 (en) System and method for providing online multi-LiDAR dynamic occupancy mapping
CN115116021A (zh) 用于完成连续多代理轨迹预测的系统和方法
US11608067B2 (en) Probabilistic-based lane-change decision making and motion planning system and method thereof
US11087477B2 (en) Trajectory prediction
US11873012B2 (en) System and method for providing social-stage spatio-temporal multi-modal future forecasting
US11188766B2 (en) System and method for providing context aware road-user importance estimation
US11209820B2 (en) System and method for providing autonomous vehicular navigation within a crowded environment
US12072678B2 (en) Systems and methods for providing future object localization
US11498591B2 (en) System and method for providing adaptive trust calibration in driving automation
CN114819177A (zh) 用于在多主体强化学习中利用递归推理图的系统和方法
US20210094569A1 (en) System and method for providing accurate trajectory following for automated vehicles in dynamic environments
CN115761431A (zh) 为模型预测控制提供时空代价地图推断的系统和方法
CN115200583A (zh) 用于提供针对轨迹预测的长期和关键意图的系统和方法
US20240061435A1 (en) Systems and methods for path planning with latent state inference and graphical relationships
US12065173B2 (en) System and methods for speed and lane advisory in evaluating lane change events and opportunities
US20230050217A1 (en) System and method for utilizing model predictive control for optimal interactions
US11216001B2 (en) System and method for outputting vehicle dynamic controls using deep neural networks
US12112622B2 (en) Systems and methods for heterogeneous multi-agent multi-modal trajectory prediction with evolving interaction graphs
CN113312955A (zh) 用于执行交叉口情景检索的系统及其方法
US11979590B2 (en) Systems and methods for predicting future data using diverse sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination