CN115200583A - 用于提供针对轨迹预测的长期和关键意图的系统和方法 - Google Patents

用于提供针对轨迹预测的长期和关键意图的系统和方法 Download PDF

Info

Publication number
CN115200583A
CN115200583A CN202210207995.3A CN202210207995A CN115200583A CN 115200583 A CN115200583 A CN 115200583A CN 202210207995 A CN202210207995 A CN 202210207995A CN 115200583 A CN115200583 A CN 115200583A
Authority
CN
China
Prior art keywords
agent
self
heterogeneous traffic
loki
intent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210207995.3A
Other languages
English (en)
Inventor
H·吉瑞斯
冮海明
斯里坎特·马拉
李家琛
金原昭
崔智保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115200583A publication Critical patent/CN115200583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于提供针对轨迹预测的长期和关键意图的系统和方法，该系统和方法包括接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据，并且处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，该LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹。该系统和方法还包括编码异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样。该系统和方法进一步包括基于LOKI数据集中包括的数据、经编码的过去观察历史和相应目标来解码和预测与异质交通代理中的每个异质交通代理相关联的未来轨迹。

Description

用于提供针对轨迹预测的长期和关键意图的系统和方法
相关申请的交叉引用
本专利申请要求于2021年3月25日提交的美国临时申请序列号63/166,195的优先权，该专利申请明确地以引用方式并入本文。
背景技术
轨迹预测的最新进展已经表明，对代理意图的明确推理对于准确地预测其运动是很重要的。然而，当前的研究活动不直接适用于智能和安全关键的系统。这主要是因为非常少的公共数据集可用，并且这些公共数据集仅考虑从有限的以自我为中心的视角下的特定行人短时间内的意图。
在过去几年中，已经广泛地研究在诸如行人和车辆等场景中对动态代理的未来轨迹进行预测。对于安全关键的应用程序诸如自主车辆或社交机器人导航，这是非常重要且具有挑战性的任务。虽然近年来这些方法已经成效显著，但是很少有基准来专门测试这些模型是否可以准确地推理出关键操纵，诸如车辆或行人穿越道路时的突然转弯和车道变化。传统的轨迹错误度量可能不会捕获帧级操纵的性能，这对安全计划是至关重要的。
发明内容
根据一个方面，一种计算机实现的方法，该方法用于提供针对轨迹预测的长期和关键意图，该方法包括接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据。该计算机实现的方法还包括处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，该LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹。LOKI数据集填充有注释，该注释包括图像数据和激光雷达数据以及注释标签，该注释标签与影响该异质交通代理中的每个异质交通代理的代理意图的属性有关。该计算机实现的方法另外包括编码异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样。该计算机实现的方法进一步包括基于LOKI数据集中包括的数据、经编码的过去观察历史和相应目标来解码和预测异质交通代理中的每个异质交通代理相关联的未来轨迹。
根据另一方面，一种用于提供针对轨迹预测的长期和关键意图的系统，该系统包括存储指令的存储器，该存储器在由处理器执行时使处理器接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据，并且处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，该LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹。LOKI数据集填充有注释，该注释包括图像数据和激光雷达数据以及注释标签，该注释标签与影响该异质交通代理中的每个异质交通代理的代理意图的属性有关。该指令还使处理器编码异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样。指令进一步使处理器基于LOKI数据集中包括的数据、经编码的过去观察历史和相应目标来解码和预测与异质交通代理中的每个异质交通代理相关联的未来轨迹。
根据又一方面，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储指令，该指令在由包括处理器的计算机执行时执行一种方法，该方法包括接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据。该方法还包括处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，该LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹。LOKI数据集填充有注释，该注释包括图像数据和激光雷达数据以及注释标签，该注释标签与影响该异质交通代理中的每个异质交通代理的代理意图的属性有关。该方法另外包括编码异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样。该方法进一步包括基于LOKI数据集中包括的数据、经编码的过去观察历史和相应目标来解码和预测异质交通代理中的每个异质交通代理相关联的未来轨迹。
附图说明
被认为是本公开的特性的新颖特征在所附权利要求中提出。在下面的描述中，在整个说明书和附图中，相似的部分分别用相同的数字标记。为了清楚和简洁起见，附图未必按比例绘制，并且某些附图可以以夸大或概括的形式示出。然而，当结合附图阅读时，通过参照说明性实施方案的以下详细说明，将最好地理解本公开本身及其优选的使用方式、其进一步的目的和进步，其中：
图1是根据本公开的示例性实施方案的用于提供针对轨迹预测的长期和关键意图的示例性系统的示意图；
图2是根据本公开的示例性实施方案的用于填充LOKI数据集的方法的过程流程图；
图3是根据本公开的示例性实施方案的用于基于LOKI数据集中包括的数据来编码和预测与该异质交通代理中的每个异质交通代理相关联的未来轨迹的方法的过程流程图；
图4是根据本公开的示例性实施方案的LOKI应用程序的交互预测模块的编码器解码器结构的示意性概述；并且
图5是根据本公开的示例性实施方案的用于提供针对轨迹预测的长期和关键意图的方法的过程流程图。
具体实施方式
以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的部件的各种示例和/或形式。这些示例并非旨在进行限制。
如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线还可以是使用诸如面向媒体的系统传送(MOST)、控制器局域网(CAN)、本地互连网络(LIN)等等协议来将在车辆内的部件互连的车辆总线。
如本文所用，“计算机通信”是指在两个或更多个计算设备(例如，计算机、个人数字助理、蜂窝电话、网络设备)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可以跨例如无线系统(例如，IEEE802.11)、以太网系统(例如，IEEE 802.3)、令牌环系统(例如，IEEE 802.5)、局域网(LAN)、广域网(WAN)、点对点系统、电路交换系统、分组交换系统等等发生。
如本文所用，“盘”可以是例如磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存存储器卡和/或记忆棒。此外，盘可以是CD-ROM(压缩盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVDROM)。盘可以存储控制或分配计算装置的资源的操作系统。
如本文所用，“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可以包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)和直接RAM总线RAM(DRRAM)。存储器可以存储控制或分配计算装置的资源的操作系统。
如本文所用，“模块”包括但不限于存储指令的非暂态计算机可读介质、在机器上执行的指令、在机器上执行的硬件、固件、软件、和/或每一者的组合以执行一个或多个功能或一个或多个动作和/或引起另一个模块、方法和/或系统执行功能或动作。模块还可以包括逻辑、软件控制微处理器、离散逻辑电路、模拟电路、数字电路、编程逻辑装置、包含执行指令的存储器设备、逻辑门、门组合和/或其他电路部件。多个模块可组合成一个模块，并且单个模块可分布在多个模块之间。
“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电气接口。
如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位串流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
如本文所用，“车辆”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动车辆。术语“车辆”包括(但不限于)：汽车、卡车、面包车、小型货车、SUV、摩托车、踏板车、船只、卡丁车、游乐车、铁路运输、个人水艇和飞机。在一些情况中，机动车辆包括一个或多个发动机。此外，术语“车辆”可以是指能够运载一个或多个人类乘员并且完全地或部分地由电池供电的一个或多个电动马达供电的电动车辆(EV)。EV可包括电池动力电动车辆(BEV)和插电式混合动力电动车辆(PHEV)。另外，术语“车辆”可还是指由任何形式的能量提供动力的自主车辆和/或自行驾驶车辆。自动车辆可以运载或可以不运载一个或多个人类乘员。此外，术语“车辆”可包括具有预定路径的自动化或非自动的车辆或自由移动的车辆。
如本文所用，“值”和“水平”可包括(但不限于)数值或其他种类的值或水平，诸如百分比、非数值、离散状态、离散值、连续值等等。如整个该具体实施方式及权利要求书中所用，术语“X的值”或“X的级别”是指用于区分X的两个或更多个状态的任何数值或其他种类的值。例如，在一些情况下，X的值或级别可作为0％与100％之间的百分数给出。在其他情况下，X的值或级别可以是1与10之间的范围内的值。在再其他情况下，X的值或级别可能不是数值，而是可与给定离散状态相关联，诸如“不是X”、“略微x”、“x”、“十分x”和“极其x”。
I.系统概述
现在参考附图，其中所示内容是出于说明一个或多个示例性实施方案的目的而非出于限制一个或多个示例性实施方案的目的，图1是根据本公开的示例性实施方案的用于提供针对轨迹预测的长期和关键意图的示例性系统的示意图。本文所讨论的系统100的部件以及其他系统、硬件架构和软件架构的部件可组合、省略或组织成各种实施方案的不同架构。
一般来讲，该系统包括自我意识代理102，该自我意识代理包括电子控制单元(ECU)104，该ECU执行一个或多个应用程序、操作系统、代理系统和子系统用户界面等。ECU104还可以执行长期和关键意图轨迹预测应用程序(LOKI应用程序)106，该LOKI应用程序可以被配置为提供针对可以位于自我意识代理102的周围环境内的一个或多个异质交通代理(例如，行人和车辆)和/或自我意识代理102的轨迹预测的长期和关键意图。
自我意识代理102可以包括但不限于车辆、机器人、机动自行车/小型摩托车、自动购物车、自动运输箱/行李箱/手提箱、机动轮椅等。LOKI应用程序106可以被配置为接收与自我意识代理102的周围环境相关联的数据。如下文更详细地讨论的，此类数据可以由LOKI应用程序106分析以处理命名为针对预测轨迹的长期和关键意图数据集(LOKI数据集)108的新型大规模数据集，其存储在外部托管的计算基础设施(外部服务器)110上以由自我意识代理102和/或一个或多个异质交通代理访问。LOKI数据集108可以被配置为处理针对位于自我意识代理102的周围环境内的异质交通代理的轨迹和意图预测。
在示例性实施方案中，可以处理LOKI数据集108以发现可能影响意图的若干因素，包括但不限于：i)自我意识代理的自我意愿，ii)社交交互，iii)环境约束，以及iv)情境信息。LOKI应用程序106还被配置为提供对异质交通轨迹和意图预测的技术的改进。这种功能可以用于相对于自我意识代理102的周围环境中的异质交通代理中每个异质交通代理的意图进行递归推理以帮助轨迹预测，该轨迹预测与位于自我意识代理102的周围环境内的异质交通代理中的每个异质交通代理相关联。
如下面更详细地讨论的，LOKI应用程序106可以被配置为相对于异质多代理轨迹预测和意图预测来完成任务预测。LOKI应用程序106可以被配置为将目标定义为最终定位，即每个代理(例如，位于自我意识代理102的周围环境内的多个异质交通代理和自我意识代理102中的每一者)想要达到的给定预测范围。LOKI应用程序106可以另外将意图定义为代理如何实现其相应目标。
在示例性实施方案中，使用接收行动者轨迹的观察编码器可以基于合并的图像数据-激光雷达数据，LOKI应用程序106可以被配置为编码每个代理的过去观察历史，以独立提出在针对周围环境内包括的每个代理的潜在最终目的地上的长期目标分布。LOKI应用程序106还可以被配置为使用LOKI数据集108解码该异质交通代理中的每个异质交通代理的轨迹。
在一个或多个实施方案中，LOKI应用程序106可以被配置为处理场景图以允许代理共享轨迹信息、意图和长期目标。该图的节点可以表示道路入口和道路出口信息，这可以向代理提供地图拓扑信息。在每个时间步长处，通过该图传播当前场景信息。因此，该系统被配置为预测每个代理的意图，其与每个相应代理可能在一个或多个未来时间步长处采用的动作有关。在预测下一个定位之前，该系统的轨迹解码器在预测意图、目标、过去运动和场景上进行调节。可以针对范围长度递归重复这个过程。
因此，LOKI数据集108可以使LOKI应用程序106能够完成传统轨迹预测以及提供关于对如何在长期范围上改变意图的理解。LOKI应用程序106可以为LOKI数据集108提供可以用作针对车辆和行人两者的意图理解的基准的第一基准。由此，LOKI应用程序106可以利用LOKI数据集108来执行联合轨迹和意图预测框架，该联合轨迹和意图预测框架可以胜过当前现有技术的轨迹预测度量，并且可以为意图预测提供强基线。
在示例性实施方案中，LOKI应用程序106可以被配置为提供用于控制自我意识代理102的一个或多个系统的命令。此类命令可以包括警报控制命令和/或自主控制命令，该警报控制命令和/或自主控制命令可以用于提供一个或多个警报(例如，基于轨迹的警告)和/或可以与自我意识代理102相关联的代理自主控制。
继续参考图1，ECU 104可以被配置为可操作地连接到自我意识代理102的多个附加部件，包括但不限于，存储单元112、相机系统116、激光雷达系统118、自主控制器120、系统/控制单元122和动态传感器124。在一个或多个实施方案中，ECU 104可包括微处理器、一个或多个专用集成电路(ASIC)或其他类似设备。ECU 104还可包括内部处理存储器、接口电路和总线线路以便传输数据、发送命令并且与自我意识代理102的多个部件通信。
ECU 104还可包括通信设备(未示出)以便在自我意识代理102内(例如，在一个或多个部件之间)发送数据并且与外部托管的计算系统(例如，在自我意识代理102外部)通信。通常，ECU 104可以与存储单元112通信以执行存储在存储单元112内的一个或多个应用程序、操作系统、系统和子系统用户界面等。
在一个实施方案中，ECU 104可以与自主控制器120通信以执行自主驾驶命令，以操作自我意识代理102使其以特定方式完全自主驾驶或半自主驾驶。如下所述，自主驾驶命令可以是基于由LOKI应用程序106提供的命令以在周围环境内导航自我意识代理102，以自主地控制自我意识代理102的一个或多个功能，从而考虑位于自我意识代理102的周围环境内的异质交通代理中的一个或多个的预测轨迹。具体地，自主驾驶命令可以是基于由LOKI应用程序106提供的命令以在周围环境内导航自我意识代理102，从而自主地控制自我意识代理102的一个或多个功能以在周围环境内行进，同时避免相对于位于自我意识代理102的周围环境内的异质交通代理中的一个或多个的预测轨迹在并行时间步长处的任何重叠。
在一个或多个实施方案中，自主控制器120可以通过向系统/控制单元122中的一个或多个系统/控制单元提供一个或多个命令来自主地控制自我意识代理102的操作，以提供对自我意识代理102遵循由该应用程序106提供的代理自主命令的完全自主控制或半自主控制。自我意识代理102的此类自主控制可以通过以下方式来提供：发送一个或多个命令以控制系统/控制单元122中的一个或多个系统/控制单元来在一个或多个情况期间(例如，当提供驾驶员辅助控制时)操作(例如，驾驶、导航)自我意识代理102，和/或完全控制操作自我意识代理102。
在一些实施方案中，可以提供一个或多个命令以控制自我意识代理102的一个或多个高级驾驶员辅助系统(ADAS)(未示出)，其可以由操作员114(例如，驾驶员)手动驱动以提供一个或多个警告和/或警告考虑位于自我意识代理102的周围环境内的异质交通代理中的一个或多个的预测轨迹。
可以向一个或多个系统/控制单元122提供一个或多个命令，该一个或多个系统/控制单元包括但不限于引擎控制单元、制动控制单元、变速器控制单元、转向控制单元等，以基于由LOKI应用程序106输出的一个或多个自主命令来控制自我意识代理102以使其自主地驾驶，从而在自我意识代理102的周围环境内导航自我意识代理102。具体地说，自我意识代理102的一个或多个功能可以自主地控制以在周围环境内行进，同时避免相对于位于自我意识代理102的周围环境内的异质交通代理中的一个或多个的预测轨迹在并行时间步长处的任何重叠。
在一个或多个实施方案中，系统/控制单元122可以可操作地连接到自我意识代理102的动态传感器124。动态传感器124可以被配置为从一个或多个系统、子系统、控制系统等接收输入。在一个实施方案中，动态传感器124可以成为自我意识代理102的控制器局域网(CAN)的一部分，并且可被配置为向ECU 104提供动态数据，以用于一个或多个系统、子系统、控制系统等。动态传感器124可包括但可不限于位置传感器、行驶方向传感器、速度传感器、转向速度传感器、转向角度传感器、油门开度传感器、加速度计、磁力仪、陀螺仪、偏航速率传感器、制动力传感器、车轮速度传感器、车轮转向角传感器、变速器齿轮传感器、温度传感器、RPM传感器、GPS/DGPS传感器等(未示出单独的传感器)。
在一种配置中，在进行一个或多个驾驶操纵时并且/或者在自我意识代理102受到控制而自主地驾驶时，动态传感器124可以提供与自我意识代理102的实时动态性能相关联的呈一个或多个值(例如，数值级别)形式的动态数据。如下所述，由动态传感器124输出的动态数据可以与自我意识代理102在其周围环境内行进时的实时动态操作相关联。可以由LOKI应用程序106分析动态数据以确定与自我意识代理102相关联的动态约束，以由此自主地控制自我意识代理102，从而基于此类约束以如下方式操作：避免与位于自我意识代理102的周围环境内的异质交通代理中的一个或多个的预测轨迹有任何重叠。
继续参考图1，相机系统116可以包括该相机(未示出)中的一个或多个相机，该一个或多个相机可以定位在一个或多个方向上和在一个或多个区域处，以捕获自我意识代理102的周围环境的一个或多个图像(例如，自我意识代理102正在其上行驶的道路的图像)。相机系统116中的一个或多个相机可以被设置在自我意识代理102的外前部分，包括(但不限于)仪表板、保险杠、前照明单元、挡泥板和挡风玻璃的不同部分。在一个实施方案中，该一个或多个相机可以被配置作为可以捕获RGB带的RGB相机，该RGB带被配置为捕获关于物体外观以及自我意识代理102与自我意识代理102的周围环境内的物体之间的关系和交互的丰富信息。
在其他实施方案中，该一个或多个相机可以被配置作为立体相机，该立体相机被配置为以三维图像的形式捕获环境信息。在一种或多种配置中，该一个或多个相机可以被配置为从自我意识代理102的角度捕获自我意识代理102的周围环境的一个或多个第一人称视角的RGB图像/视频。相机系统116可以被配置为将一个或多个RGB图像/视频(例如，图像序列)转换为传送给LOKI应用程序106的图像数据以待分析。
在示例性实施方案中，激光雷达系统118可以可操作地连接到多个激光雷达传感器(未示出)。具体地，激光雷达系统118可以包括一个或多个平面扫描激光器，该一个或多个平面扫描激光器包括相应的三维激光雷达传感器并且可以被配置为朝向自我意识代理102的周围环境的场景振荡并发射紫外光、可见光或近红外光的一个或多个激光束。该多个激光雷达传感器可以被配置为接收从一个或多个物体反射的一个或多个经反射的激光波(例如，信号)，该一个或多个物体诸如位于自我意识代理102的驾驶场景内的周围车辆。换句话讲，在将一个或多个激光束传输到周围环境时，该一个或多个激光束可以由一个或多个障碍物反射为激光波，该一个或多个障碍物包括可以位于一个或多个时间点处的自我意识代理102的周围环境内的一个或多个异质交通代理。
在一个实施方案中，多个激光雷达传感器中的每个激光雷达传感器可以被配置为分析所反射的激光波并且将相应的激光雷达数据输出到LOKI应用程序106。激光雷达数据可以包括激光雷达坐标，该激光雷达坐标可以与一个或多个异质交通代理(诸如，可以位于自我意识代理102的周围环境内的周围车辆和行人)的位置、定位、深度和/或维度(例如，测量结果)相关联。
如下文所论述，可以将由相机系统116提供的图像数据和/或由激光雷达系统118提供的激光雷达数据传送到LOKI应用程序106以待针对一个或多个物体分类器进行分析，以对位于自我意识代理102的周围环境内的静态物体和动态物体进行分类。另外，可以聚合和分析由相机系统116提供的图像数据和/或由激光雷达系统118提供的激光雷达数据，以相对于自我意识代理102的位置确定异质交通代理的定位。
在示例性实施方案中，外部服务器110可以由OEM、第三方管理员和/或数据集管理器拥有、操作和/或管理，该数据集管理器管理与LOKI应用程序106的操作相关联的数据。外部服务器110可以由处理器126可操作地控制，该处理器可以被配置为执行LOKI应用程序106。具体地，处理器126可以被配置为执行一个或多个应用程序、操作系统、数据库等。处理器126还可以包括内部处理存储器、接口电路以及用于传递数据、发送命令并且与外部服务器110的多个部件通信的总线。
在一个实施方案中，处理器126可以操作地连接到外部服务器110的存储器128。一般来讲，处理器126可以与存储器128通信以执行存储在存储器128内的一个或多个应用程序、操作系统等。在一个实施方案中，存储器128可以存储与LOKI应用程序106相关联的一个或多个可执行应用程序文件。
在示例性实施方案中，LOKI数据集108被配置为存储注释，该注释包括图像数据和激光雷达数据和注释标签，该注释标签与影响异质交通代理中的每个异质交通代理的代理意图的属性有关。注释标签包括意图标签、环境标签和情境标签，该意图标签与行人和车辆的意图相关联，该环境标签与周围环境相关，该情境标签与影响异质交通代理中每个异质交通代理的未来行为的因素相关联。
具体地，意图标签可以被定义为行动者“如何”经由一系列动作来决定到达目标。在每个帧处，LOKI应用程序106可以被配置为注释交通参与者的当前动作。该系统可以使用未来动作来生成意图标签。环境标签可以与周围环境相关联，该周围环境可能严重影响自我意识代理102和异质交通代理的意图。这些标签可以由道路的结构和交通规则来确定，该交通规则可以应用于位于自我意识代理102的周围环境内的任何异质交通代理。车道信息可以包括自我意识代理102位于其上的当前车道的允许动作，以及其他异质交通代理之间的相对位置。情境标签可以包括可以影响异质交通代理和/或自我意识代理102的未来行为的其他因素。此类因素可以包括天气、道路状况、性别、年龄，这些因素可以被包括为外部情境标签。
II.长期和关键意图轨迹预测应用程序及相关方法
现在将根据示例性实施方案并且连续参考图1来描述LOKI应用程序106的部件。在示例性实施方案中，LOKI应用程序106可存储在存储单元112上并且由自我意识代理102的ECU 104执行。在另一实施方案中，LOKI应用程序106可存储在外部服务器110的存储器128上，并且可由自我意识代理102的远程信息控制单元访问，以待由自我意识代理102的ECU104执行。
现在将讨论LOKI应用程序106的一般功能。在示例性实施方案中，LOKI应用程序106可以包括多个模块130-134，该多个模块可以被配置为使用人类视觉感觉和存储器机制提供驾驶员情况感知预测。该多个模块130-134可以包括数据接收模块130、联合交互预测模块(交互预测模块)132和代理控制模块134。然而，应当理解，LOKI应用程序106可以包括为代替模块130-134而被包括在内的一个或多个附加模块和/或子模块。
图2是根据本公开的示例性实施方案的用于填充LOKI数据集108的方法200的过程流程图。图2将参照图1的部件来描述，但应当理解，图2的方法200可以与其他系统/部件一起使用。方法200可在框202处开始，其中方法200可包括接收与自我意识代理102的周围环境相关联的图像数据。
在一个示例性实施方案中，LOKI应用程序106的数据接收模块130可被配置为与相机系统116通信以收集与自我意识代理102的周围环境的未修剪的图像/视频相关联的图像数据。在一些配置中，图像数据可以与自我意识代理102的周围环境的一个或多个第一人称视角的RGB图像/视频有关。如上所述，该图像数据可以与位于周围环境内的周围静态物体和动态物体的一个或多个RGB图像/视频有关，该一个或多个RGB图像/视频由可操作地连接到相机系统116的一个或多个相机捕获。在一些实施方案中，数据接收模块130可将图像数据封装并存储在存储单元112上，以在一个或多个时间点处进行评估。
方法200可前进至框204，其中方法200可包括接收与自我意识代理102的周围环境相关联的激光雷达数据。在示例性实施方案中，数据接收模块130可以与自我意识代理102的激光雷达系统118通信以从自我意识代理102收集激光雷达数据，该激光雷达数据包括基于激光雷达的观察。该基于激光雷达的观察可以指示一个或多个物体的位置、范围和定位，经反射的激光波相对于自我意识代理102的位置/定位反射。在一些实施方案中，数据接收模块130可将激光雷达数据封装并存储在存储单元112上，以在一个或多个时间点处进行评估。
方法200可前进到方框206，其中方法200可包括聚合图像数据和激光雷达数据。在示例性实施方案中，数据接收模块130可以与LOKI应用程序106的交互预测模块132通信以提供人工智能能力，从而将从激光雷达系统118接收到的激光雷达数据与从相机系统116接收到的图像数据进行多模块聚合。交互预测模块132可以将图像数据和激光雷达数据聚合到与自我意识代理102的周围环境相关联的聚合环境数据中，以进一步通过交互预测模块132评估以提供注释。
方法200可前进至框208，其中方法200可包括注释代理的边界框。在示例性实施方案中，交互预测模块132可以被配置为基于环境数据分析激光雷达点云和图像坐标。交互预测模块132可以被配置为处理边界框，该边界框分别与位于自我意识代理102的周围环境内的静态物体(例如，树、建筑物、磁极、锥体、桶、物理屏障、护栏、交通标志)、动态物体(例如，其他车辆、行人)、交通标识、交通基础设施等相关联。
在一个实施方案中，交互预测模块132可以被配置为相对于位于自我意识代理102的周围环境内的静态物体、动态物体、交通标识、物理屏障、护栏、交通标志、交通基础设施等，利用可以与每个异质代理的描述相关联的物体分类来注释与每个相应的异质代理相关联的3D边界框中的每一个边界框。该注释可以指示描述，诸如每个物体相对于自我意识代理102的相对定位、每个行人的性别或年龄、每个交通灯的状态、交通灯的类型、道路标记的类型、车辆类型等。交互预测模块132还可以被配置为处理2D边界框，该2D边界框可以与道路基础设施和异质轨迹信息有关。该2D边界框可以包括潜在目的地和道路入口/出口信息等。
方法200可以前进到框210，其中方法200可以包括注释与意图、环境和情境相关联的标签并填充LOKI数据集108。在示例性实施方案中，在注释边界框时，交互预测模块132可以被配置为注释标签，该标签与可能影响异质交通代理中的每个异质交通代理的操作的属性有关。在一个实施方案中，交互预测模块132可以被配置为利用包括意图标签、环境标签和情境标签的带注释标签来注释异质标签中的每个异质标签。
在一个实施方案中，意图标签与该异质交通代理中的每个异质交通代理的意图相关联。预期可以被定义为每个代理决定“如何”利用一系列动作到达目标(例如，特定的路点、特定的目的地)。在一个配置中，对于一系列时间步长(例如，t-n、t-2、t-1、t)交互预测模块132可以被配置为注释异质交通代理的当前动作。交互预测模块132可以利用后续时间步长(例如，t、t+1、t+2、t+n)处的进一步行动来生成与该异质交通代理中的每个异质交通代理相关联的意图标签。例如，如果位于该环境内的车辆(异质代理)的在时间t处的当前动作是“移动中”，并且时间t+1处的未来动作是“已停止”，则车辆的当前意图是停止。应了解，可以探索各种意图范围。例如，可以将0.8s作为可以帮助指导轨迹预测的短期意图预测来探索。
在一个或多个实施方案中，环境标签与自我意识代理102的周围环境相关联。具体地，周围环境可能特别影响每个异质代理(尤其针对驾驶区域用户)的意图。在一个示例中，环境信息包括“道路出口和入口”位置、“交通灯”、“交通标志”、“车道信息”等。此类标签可以由在自我意识代理102的周围环境中每个异质代理正在其上行进的道路的结构来确定。车道信息可以包括每个异质代理正在其上行进的当前车道的允许动作，以及异质交通代理中的每个异质交通代理之间的相对位置。
在一个实施方案中，情境标签可以与可能影响自我意识代理102和/或自我意识代理102的周围环境内的异质交通代理的未来行为的因素相关联。在一个示例中，情境标签可以被定义为“天气”、“道路状况”、“性别”、“年龄”等。情境标签可以指示因素是代理或环境的字符，这使得即使在类似的环境条件下也可能导致不同的意图。
在示例性实施方案中，在注释意图标签、环境标签和情境标签时，交互预测模块132可以被配置为访问存储在外部服务器110的存储器128上的LOKI数据集108并且可以用意图标签、环境标签和情境标签填充该LOKI数据集108，这些标签与位于自我意识代理102的周围环境内的异质交通代理中的每个异质交通代理相关联。由此可以访问LOKI数据集108并用作大规模数据集，该大规模数据集被设计用于联合意图和轨迹预测的任务。
图3是根据本公开的示例性实施方案的用于基于LOKI数据集108内包括的数据来编码和预测与该异质交通代理中的每个异质交通代理相关联的未来轨迹的方法300的过程流程图。图3将参考图1的部件来描述，但应当理解，图3的方法300可与其他系统/部件一起使用。图3的方法300可以在框302处开始，其中方法300可以包括编码位于自我意识代理102的周围环境内的每个异质交通代理的过去观察历史。
在示例性实施方案中，交互预测模块132可以被配置为完成多代理轨迹预测，同时并行预测代理意图。意图类型可以在代理类别之间变化：车辆和行人。交互预测模块132可以如下配制问题：假设在给定场景中，存在N代理，A1:N。给定坐标中轨迹历史的过去tobs＝3s，问题需要预计在自上而下图像空间中的代理的将来tpred＝5s坐标。由于LOKI数据集108允许取决于代理类型(行人与车辆)的逐帧意图预测，因此除了传统的轨迹预测问题之外，还可以在每个时间步长定义用于预测针对每个异质交通代理的离散意图的另一任务。
直观地，异质交通代理中的每个异质交通代理可以具有预定的长期目标，其旨在到达。对于每个代理，AK，模块132可以使用条件性变化自动编码器(CVAE)来估计最终长期目标GK，其仅仅是BEV中的估计位置uKf＝(xKf，yKf)，其中f指示最终帧。
参考图4，根据本公开的示例性实施方案的LOKI应用程序106的交互预测模块132的编码器解码器结构400的示意性概述。如图所示，在一个实施方案中，对于每个异质交通代理，将行动者状态402和行动者轨迹404输入到观察编码器406。每个异质交通代理的过去观察历史可以使用观察编码器406编码。可以完成长期目标提议408，其独立提出在每个异质交通代理的潜在最终目的地上的长期目标分布。然后，输出预测目标G 410并使用交互预测模块132传递。
再次参考图3的方法300，在编码每个异质交通代理的过去观察历史时，方法300可以前进到框304，其中方法300可以包括输出场景图。在示例性实施方案中，交互预测模块132可以被配置为构建与自我意识代理102的周围环境相关联的场景图。如图4的编码器解码器结构400的示意性概述所示，场景图412可以构建有节点，该节点与自我意识代理102的周围环境相关联的代理、物体、意图和道路信息有关。
具体地，场景图412可以被构建成允许自我意识代理102和异质交通代理(例如，通过使用便携式无线设备的V2V和/或无线通信)共享轨迹信息、意图和长期目标。场景图412可以包括黑色节点，该黑色节点表示道路入口/出口信息，该道路入口/出口信息可以向自我意识代理102和异质交通代理提供地图拓扑信息。换句话说，场景图412的节点可以包括位于自我意识代理102的周围环境内的异质交通代理的轨迹信息、意图和长期目标，以及与自我意识代理102的周围环境的道路拓扑相关联的地图拓扑信息。
在一个实施方案中，不失一般性，代理A，和意图I，没有指定代理类型。因此，构建交通场景图以考虑可能影响意图和轨迹预测的社交和环境因素。更详细地，假设我们具有场景图
Figure BDA0003529940070000151
其中顶点，
Figure BDA0003529940070000152
表示代理和道路入口/出口，并且边缘ε，捕获代理-代理和代理-地图的影响。在包括自我意识代理102的周围环境的给定场景中，对于相邻代理vi以及vJ，存在方向边缘eij，i影响代理j(在一定距离阈值内)。方向边缘eij，如果道路入口/出口节点i在距代理j一定距离内。
再次参考图3的方法300，在输出场景图412时，方法300可前进至框306，其中方法300可包括针对预测每个代理的意图。参考图4，交互预测模块132可以被配置为预测针对位于自我意识代理102的周围环境内的每个异质代理车辆和每个异质代理行人的意图。
在一个实施方案中，交互预测模块132可以被配置为经由菊链式过程预测每个代理的未来位置。具体地，在每个帧处，m交互预测模块132经由下面使用的注意力机制共享代理之间的信息：
Figure BDA0003529940070000161
其中
Figure BDA0003529940070000162
表示更新的节点特征，随之是具有其所有相邻节点的基于注意力的特征聚集
Figure BDA0003529940070000163
交互预测模块132使用代理的速度和相对位置作为边缘特征。在每个时间步长消息之前，由两层的多层感知器(MLP)编码这些特征。使用缩放的点生产注意力调配物，如下：
Figure BDA0003529940070000164
此处，aij表示两个节点之间的注意力系数i以及j以及d表示节点的程度。使用针对
Figure BDA0003529940070000165
γ、ψ和ξ的单层。
在消息传递之后，允许异质交通代理共享其过去轨迹、目标和意图信息以及通过道路入口/出口节点的道路信息，交互预测模块132被配置为随后预测代理意图，这被定义为代理的未来动作m+q帧提前。在一个示例中，q＝4，因此预测未来的短期意图0.8s。
继续参考图3，方法300可以前进到框308，其中方法300可以包括基于预测意图、目标、过去运动和场景解码每个代理的预测轨迹。在示例性实施方案中，交互预测模块132被配置为基于帧m+1处的代理意图调节帧m的轨迹预测。
形式上，在每个帧处，m，估计针对代理(不同组的针对行人与车辆的意图)的离散的一组意图上的概率分布，Ai：
Figure BDA0003529940070000171
其中I是指意图，U是位置，G是长期定位目标，a是动作，并且Ree是指道路入口/出口标签。意图网络是两层的MPL，其使用每个行动者从最近的消息传递的更新隐藏状态预测意图。此后，预测每个代理的下一定位，U，并且调节如下：
Figure BDA0003529940070000172
因此，在预测每个异质代理的意图时(将每个代理在一个或多个未来时间步长处的将近的未来所采取的动作)，轨迹解码器414在预测位于自我意识代理102的周围环境内的每个异质代理的下一位置之前，在预测意图、目标、过去运动和场景上进行调节。轨迹解码器414由GRU组成，该GRU更新每个行动者的当前隐藏状态，随后是用于预测每个步长处的定位的两层的MPL。在示例性实施方案中，交互预测模块132可以被配置为利用轨迹解码器414来使用LOKI数据集108输出异质交通代理中的每个异质交通代理的预测轨迹。具体地，轨迹解码器414可以被配置为访问LOKI数据集108并且分析除了场景图412之外的LOKI数据集108，以确定所有异质交通代理的预测意图、目标和过去运动以及自我意识代理102的周围环境的场景，从而预测位于自我意识代理102的周围环境内的异质交通代理中的每个异质交通代理的轨迹416。
继续参考图3的方法300，在解码每个异质交通代理的预测轨迹时，方法300可以前进到框310，其中方法300可以包括基于异质交通代理中的每个异质交通代理的预测轨迹来控制自我意识代理102的一个或多个系统以操作自我意识代理102。
在示例性实施方案中，在从轨迹解码器414接收到异质交通代理中的每个异质交通代理的输出的预测轨迹时，交互预测模块132可以被配置为传送与异质交通代理的预测轨迹有关的轨迹数据。在一种配置中，轨迹数据可以包括地理位置坐标，该地理位置坐标跟踪多个时间步长(t、t+1、t+2、t+n)处的异质交通代理中的每个异质交通代理的相应预测轨迹。
在一个实施方案中，代理控制模块134可以被配置为分析位于自我意识代理102的周围环境内的自我意识代理102的地理位置和轨迹数据。在一种配置中，代理控制模块134可以被配置为输出代理自主命令，该代理自主命令可以与驱动参数相关联，以自主地控制自动代理102的操作，从而考虑异质交通代理的预测轨迹。
在一个实施方案中，代理控制模块134可以被配置为将自主控制命令传送到自我意识代理102的自主控制器120。由此，自主控制器120可以可操作地控制自我意识代理102的系统/控制单元122，以根据自主控制器自主地操作自我意识代理102，从而提供一个或多个驱动操作以在周围环境内导航自动代理102。因此，自我意识代理102的一个或多个功能可以自主地控制以在周围环境内行进，同时避免相对于位于自我意识代理102的周围环境内的异质交通代理中的一个或多个的预测轨迹在并行时间步长处的任何重叠。
具体地，自我意识代理102可以可操作地控制以根据自主控制命令自主地操作(例如，特定速度、加速、转向角、节流角、制动力等的应用程序106)，该自主控制命令粘附到自我意识代理102的动态约束以在周围环境内操作而不与静态障碍物和异质交通代理的预测轨迹重叠，同时优化速度和转向，并且使与自主意识代理102的自主动态参数相关联的控制力最小化。
在另一个实施方案中，代理控制模块134可以被配置为分析轨迹数据和进一步的阈值，该阈值可以与每个异质交通代理的类型和每个物体的位置相关联。在一个配置中，代理控制模块134可以被配置为向自我意识代理102的系统/控制单元122输出警报输出命令，以向自我意识代理102的操作员114提供一个或多个警告和/或警报，该一个或多个警告和/或警报可以与位于驾驶场景内的异质交通代理的预测轨迹相关联。
图5是根据本公开的示例性实施方案的用于针对轨迹预测的长期和关键意图的方法500的过程流程图。图5将参照图1的部件来描述，但应当理解，图5的方法500可以与其他系统/部件一起使用。方法500可以在框502处开始，其中方法500可以包括接收与RGB图像和激光雷达点云相关联、与自我意识代理102的周围环境相关联的图像数据和激光雷达数据。
方法500可以前进到框504，其中方法500可以包括：处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，该LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹。方法500可以前进到框506，其中方法500可以包括编码该异构交通代理中的每个异质交通代理的过去观察历史并对相应目标进行采样。方法500可以前进到框508，其中方法500可以包含基于LOKI数据集中包括的数据、经编码的过去观察历史和相应目标来解码和预测与该异质交通代理中的每个异质交通代理相关联的未来轨迹。
从前面的描述中应当显而易见的是，本公开的各种示例性实施方案可在硬件中实现。此外，各种示例性实施方案可以被实现为存储在非暂态机器可读存储介质(诸如易失性或非易失性存储器)上的指令，该指令可以由至少一个处理器读取和执行以执行本文详细描述的操作。机器可读存储介质可以包括用于以机器可读的形式存储信息的任何机构，诸如个人或膝上型计算机、服务器或其他计算设备。因此，非暂态机器可读存储介质不包括暂态信号，但可包括易失性和非易失性存储器两者，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储器设备和类似存储介质。
本领域的技术人员应当理解，本文的任何框图表示体现本公开的原理的示例性电路的概念视图。类似地，应当理解，任何流程图、流程示意图、状态转换图、伪代码等表示可以在机器可读介质中基本上表示并且因此由计算机或处理器执行的各种过程，无论这种计算机或处理器是否被明确示出。
应当理解，上面公开的特征和功能以及其他特征和功能的各种实施方式或它们的替代物或变体可以理想地组合成许多其他不同系统或应用。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在被所附权利要求书涵盖。

Claims (20)

1.一种计算机实现的方法，所述方法用于提供针对轨迹预测的长期和关键意图，所述方法包括：
接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据；
处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，所述LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹，其中所述LOKI数据集填充有注释，所述注释包括图像数据和激光雷达数据以及注释标签，所述注释标签与影响所述异质交通代理中的每个异质交通代理的代理意图的属性有关；
编码所述异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样；以及
基于所述LOKI数据集中包括的数据、所述经编码的过去观察历史和所述相应目标来解码和预测与所述异质交通代理中的每个异质交通代理相关联的未来轨迹。
2.根据权利要求1所述的计算机实现的方法，其中所述RGB图像和所述激光雷达点云捕获位于所述周围环境内的所述异质交通代理，其中所述异质交通代理包括行人和车辆。
3.根据权利要求2所述的计算机实现的方法，其中所述注释标签包括意图标签，所述意图标签与所述行人和所述车辆的意图相关联。
4.根据权利要求2所述的计算机实现的方法，其中所述注释标签包括环境标签，所述环境标签与所述自我意识代理的所述周围环境有关。
5.根据权利要求1所述的计算机实现的方法，其中所述注释标签包括情境标签，所述情境标签与影响所述异质交通代理中的每个异质交通代理的未来行为的因素相关联。
6.根据权利要求1所述的计算机实现的方法，其中编码所述过去观察历史包括在观察编码器内输入所述异质代理中的每个异质代理的行动者状态和行动者轨迹以处理长期目标提议，所述长期目标提议独立提出在每个异质交通代理的潜在最终目的地上的长期目标分布。
7.根据权利要求1所述的计算机实现的方法，其中构建场景图包括节点，所述节点向所述异质交通代理提供与所述周围环境有关的地图拓扑信息。
8.根据权利要求1所述的计算机实现的方法，其中解码和预测未来轨迹包括分析所述LOKI数据集和场景图，以确定所有所述异质交通代理的所述预测意图、目标和过去运动以及所述自我意识代理的所述周围环境的场景，从而预测位于所述自我意识代理的所述周围环境内的所述异质交通代理中每个异质交通代理的所述轨迹。
9.根据权利要求1所述的计算机实现的方法，还包括基于与所述异质交通代理中的每个异质交通代理相关联的所述预测未来轨迹来控制所述自我意识代理的至少一个系统以在所述自我意识代理的所述周围环境内操作所述自我意识代理。
10.一种用于提供针对轨迹预测的长期和关键意图的系统，所述系统包括：
存储指令的存储器，所述指令在由处理器执行时使得所述处理器：
接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据；
处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，所述LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹，其中所述LOKI数据集填充有注释，所述注释包括图像数据和激光雷达数据以及注释标签，所述注释标签与影响所述异质交通代理中的每个异质交通代理的代理意图的属性有关；
编码所述异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样；以及
基于所述LOKI数据集中包括的数据、所述经编码的过去观察历史和所述相应目标来解码和预测与所述异质交通代理中的每个异质交通代理相关联的未来轨迹。
11.根据权利要求10所述的系统，其中所述RGB图像和所述激光雷达点云捕获位于所述周围环境内的所述异质交通代理，其中所述异质交通代理包括行人和车辆。
12.根据权利要求11所述的系统，其中所述注释标签包括意图标签，所述意图标签与所述行人和所述车辆的意图相关联。
13.根据权利要求11所述的系统，其中所述注释标签包括环境标签，所述环境标签与所述自我意识代理的所述周围环境有关。
14.根据权利要求10所述的系统，其中所述注释标签包括情境标签，所述情境标签与影响所述异质交通代理中的每个异质交通代理的未来行为的因素相关联。
15.根据权利要求10所述的系统，其中编码所述过去观察历史包括在观察编码器内输入所述异质代理中的每个异质代理的行动者状态和行动者轨迹以处理长期目标提议，所述长期目标提议独立提出在每个异质交通代理的潜在最终目的地上的长期目标分布。
16.根据权利要求10所述的系统，其中构建场景图包括节点，所述节点向所述异质交通代理提供与所述周围环境有关的地图拓扑信息。
17.根据权利要求10所述的系统，其中解码和预测未来轨迹包括分析所述LOKI数据集和场景图，以确定所有所述异质交通代理的所述预测意图、目标和过去运动以及所述自我意识代理的所述周围环境的场景，从而预测位于所述自我意识代理的所述周围环境内的所述异质交通代理中的每个异质交通代理的所述轨迹。
18.根据权利要求10所述的系统，还包括基于与所述异质交通代理中的每个异质交通代理相关联的所述预测未来轨迹来控制所述自我意识代理的至少一个系统以在所述自我意识代理的所述周围环境内操作所述自我意识代理。
19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令在由包括处理器的计算机执行时执行一种方法，所述方法包括：
接收与RGB图像和激光雷达点云相关联、与自我意识代理的周围环境相关联的图像数据和激光雷达数据；
处理针对预测轨迹的长期和关键意图数据集(LOKI数据集)，所述LOKI数据集用于完成针对异质交通代理的意图预测和联合轨迹，其中所述LOKI数据集填充有注释，所述注释包括图像数据和激光雷达数据以及注释标签，所述注释标签与影响所述异质交通代理中的每个异质交通代理的代理意图的属性有关；
编码所述异质交通代理中的每个异质交通代理的过去观察历史并对相应目标进行取样；以及
基于所述LOKI数据集中包括的数据、所述经编码的过去观察历史和所述相应目标来解码和预测与所述异质交通代理中的每异质交通代理相关联的未来轨迹。
20.根据权利要求19所述的非暂态计算机可读存储介质，还包括基于与所述异质交通代理中的每个异质交通代理相关联的所述预测未来轨迹来控制所述自我意识代理的至少一个系统以在所述自我意识代理的所述周围环境内操作所述自我意识代理。
CN202210207995.3A 2021-03-25 2022-03-03 用于提供针对轨迹预测的长期和关键意图的系统和方法 Pending CN115200583A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163166195P 2021-03-25 2021-03-25
US63/166,195 2021-03-25
US17/352,540 US20220306160A1 (en) 2021-03-25 2021-06-21 System and method for providing long term and key intentions for trajectory prediction
US17/352,540 2021-06-21

Publications (1)

Publication Number Publication Date
CN115200583A true CN115200583A (zh) 2022-10-18

Family

ID=83362956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210207995.3A Pending CN115200583A (zh) 2021-03-25 2022-03-03 用于提供针对轨迹预测的长期和关键意图的系统和方法

Country Status (2)

Country Link
US (1) US20220306160A1 (zh)
CN (1) CN115200583A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US11556126B2 (en) * 2019-02-20 2023-01-17 Toyota Research Institute, Inc. Online agent predictions using semantic maps
US11820397B2 (en) * 2019-11-16 2023-11-21 Uatc, Llc Localization with diverse dataset for autonomous vehicles
US11554790B2 (en) * 2020-05-08 2023-01-17 Zoox, Inc. Trajectory classification

Also Published As

Publication number Publication date
US20220306160A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
CN110895674B (zh) 用于基于自我中心视觉的未来车辆定位的系统和方法
US11783232B2 (en) System and method for multi-agent reinforcement learning in a multi-agent environment
US11608083B2 (en) System and method for providing cooperation-aware lane change control in dense traffic
US11042156B2 (en) System and method for learning and executing naturalistic driving behavior
US11587329B2 (en) Method and apparatus for predicting intent of vulnerable road users
US11555927B2 (en) System and method for providing online multi-LiDAR dynamic occupancy mapping
CN111050116A (zh) 利用时间递归网络进行在线动作检测的系统和方法
US20230081247A1 (en) System and method for future forecasting using action priors
US11873012B2 (en) System and method for providing social-stage spatio-temporal multi-modal future forecasting
CN114391088A (zh) 轨线规划器
WO2021090897A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20210094569A1 (en) System and method for providing accurate trajectory following for automated vehicles in dynamic environments
US20210082283A1 (en) Systems and methods for providing future object localization
US11498591B2 (en) System and method for providing adaptive trust calibration in driving automation
CN116674593A (zh) 用于自主车辆的具有异常检测的安全增强规划系统
CN115116021A (zh) 用于完成连续多代理轨迹预测的系统和方法
US20230071810A1 (en) System and method for providing spatiotemporal costmap inference for model predictive control
US20220306160A1 (en) System and method for providing long term and key intentions for trajectory prediction
US11216001B2 (en) System and method for outputting vehicle dynamic controls using deep neural networks
US11868137B2 (en) Systems and methods for path planning with latent state inference and graphical relationships
US20230311949A1 (en) Systems and methods for speed and lane advisory
US20230050217A1 (en) System and method for utilizing model predictive control for optimal interactions
US20230148102A1 (en) Systems and methods for predicting future data using diverse sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination