CN113850363A - 将驾驶规范应用于自动车辆行为预测的技术 - Google Patents

将驾驶规范应用于自动车辆行为预测的技术 Download PDF

Info

Publication number
CN113850363A
CN113850363A CN202011466085.4A CN202011466085A CN113850363A CN 113850363 A CN113850363 A CN 113850363A CN 202011466085 A CN202011466085 A CN 202011466085A CN 113850363 A CN113850363 A CN 113850363A
Authority
CN
China
Prior art keywords
neural network
series
time
behavior
relational
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011466085.4A
Other languages
English (en)
Inventor
马桂香
尼科尔·贝卡奇
奈斯林·艾哈迈德
伊格纳西奥·阿尔瓦雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113850363A publication Critical patent/CN113850363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及将驾驶规范应用于自动车辆行为预测的技术。系统、装置和方法可以提供如下技术，该技术基于从外部对象数据导出的对象轨迹历史来针对诸如车辆之类的多个外部对象生成一系列带时间戳的对象图形。该技术还可以经由诸如图形注意力网络之类的第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由诸如长短期记忆网络之类的第二神经网络基于一系列关系对象表示来确定用于多个外部对象的预测对象轨迹。该技术还可以基于预测对象轨迹和实时感知误差信息来修改自主车辆的行为。

Description

将驾驶规范应用于自动车辆行为预测的技术
技术领域
实施例总体上涉及自动控制系统。具体而言，实施例涉及在自动车辆控制系统中学习并应用驾驶规范的技术。
背景技术
自动控制系统可以用于各种环境中，例如自主车辆环境。驾驶车辆通常需要解释细微的间接提示以预测其它交通参与者(agent)的行为。这些提示通常是相关的。给定车辆可执行的一组允许(安全)的动作受到驾驶参与者的通信能力的限制，驾驶者通常依赖于本地驾驶规范和使用推理和可预测性的预期行为来高效且安全地操作。隐含地或明确地传达提示的能力有助于确保安全的驾驶条件。虽然驾驶环境中的对象之间的直接交互造成明显的危险，但是车辆和沿着道路的其他对象之间的间接交互可以增加车辆动作的安全性和可解释性。驾驶者基于车辆(和驾驶者)对规范驾驶行为的遵守来获得关于附近车辆的相当大量的信息。例如，车辆之间的间接交互可以传达切换车道的期望、即将到来的交通延迟等。车辆之间或行人与车辆之间的通信本质上是相关的，因为两个参与者必须使用商定的词汇交换信息。与驾驶规范的偏差可能对混合交通环境中的自主(即，自动驾驶)车辆提出安全性挑战。
发明内容
根据本公开的一方面，提供了一种计算系统。该计算系统包括：传感器接口，用于接收外部对象数据；以及耦合到传感器接口的处理器，处理器包括一个或多个衬底和耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
根据本公开的另一方面，提供了一种半导体装置。该半导体装置包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
根据本公开的另一方面，提供了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质包括指令的集合，指令当由计算系统执行时，使得计算系统：基于从多个外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
根据本公开的另一方面，提供了一种关系推理方法。该方法包括：基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
附图说明
通过阅读以下说明书和所附权利要求书，并且通过参考以下附图，实施例的各种优点对于本领域技术人员将变得清晰可见，其中：
图1是示出根据一个或多个实施例的自主车辆系统的示例的组件的图示；
图2是根据一个或多个实施例的用于自主车辆的关系推理系统的示例的框图；
图3是示出根据一个或多个实施例的关系推理系统的图形提取模块的示例的图示；
图4是示出根据一个或多个实施例的关系推理系统的图形注意力网络的示例的图示；
图5是示出根据一个或多个实施例的关系推理系统的长短期记忆网络的示例的图示；
图6提供了示出根据一个或多个实施例的用于自主车辆的关系推理系统的示例的操作的流程图；
图7是示出根据一个或多个实施例的性能增强的计算系统的示例的框图；
图8是示出根据一个或多个实施例的示例半导体装置的框图；
图9是示出根据一个或多个实施例的处理器的示例的框图；以及
图10是示出根据一个或多个实施例的基于多处理器的计算系统的示例的框图。
具体实施方式
一般而言，实施例提供了用于自主车辆的关系推理系统，该系统预测驾驶环境中的交通参加者的行为。实施例还提供了对交通参与者未来轨迹的有效预测以及所观察行为与预测行为之间的偏差的量化，以用于轨迹规划和安全性计算。另外，实施例包括将利用关系信息并且被训练以对驾驶规范的知识进行编码的技术。具体而言，实施例使用图形注意力网络来学习关系嵌入，然后将关系嵌入馈送到递归神经网络。递归神经网络提供了针对自主车辆以及针对相邻车辆和对象的轨迹预测，并且检测潜在碰撞。
关系推理系统的实施例为自主车辆提供了如下能力：学习和推理区域和本地驾驶行为以预测意图并改进道路上的汽车之间的通信以及诸如骑车人和行人之类的其他个体之间的通信。运输环境中的参与者之间的关系通信严重依赖于对可以被认为是本地驾驶规范的可预测且商定的动作/响应的遵守。参与者不仅必须识别行为，而且必须决定特定操作是否可传达。在决定动作意味着传达意图之后，驾驶参与者必须提供对该意图的解释。在不同地理区域和情境情况中的相同动作可以传达许多不同的事物。根据实施例，系统可以快速地推广到具有独特的规范集合的新情形和新位置。
例如，支持自主车辆(即，自动驾驶汽车)的大多数基本推理集中于对在自动驾驶汽车的特定安全半径内的对象的识别和轨迹预测。虽然这已经被示出为保证了一定的安全水平，但是它忽略了也可以用于增加自动驾驶系统的安全性和可预测性的许多类型的关系信息。在两个参与者之间间接通信的情况下，关系信息变得比对象级信息更重要，并且驾驶者之间的通信对于道路安全性是重要的。实施例使用神经网络嵌入来学习可以用于与自动驾驶汽车有关的各种类型的关系推理的关系信息，其中，关注于在扩展对象检测方面的自动驾驶汽车的安全性决策和验证，以推断经辨识的对象的轨迹并检测可能的碰撞，以及所导致的碰撞或回避对环境的影响。这样的实施例不仅检测场景中的对象，而且还推断这些对象将如何在不断变化的环境内交互。另外，为减少歧义并且增加自动驾驶车辆可以实现的计算推理的量，实施例表示规范驾驶行为并且通过识别有意义的交互、考虑特定情形中的规范交互并且比较规范行为与行为意图的潜在偏离来将可能的间接通信与规范行为进行比较。
图1是示出根据一个或多个实施例的自主车辆系统100的示例的组件的图示，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。自主车辆系统100可以包括若干模块或子系统，包括感知模块102、环境模块104、规划模块106和致动模块108。感知模块102和环境模块104可以经由传感器(例如，激光雷达、雷达、相机和位置信息)收集感知特征，并且处理它们以获得与自主车辆的环境中的相关参与者和对象有关的定位和运动学信息。
该信息可以作为输入被提供给规划模块106，规划模块可以执行在以下附图中更详细描述的关系推理系统的特征。在一些实施例中，规划模块106可以包括如图1中的断接图示中所示的一些或所有组件。规划模块106的输出可以作为输入被提供给致动模块108，致动模块可以执行用于控制自主车辆的转向、加速和/或制动功能的致动命令。
图2是根据一个或多个实施例的用于自主车辆的关系推理系统200的示例的框图，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。实施例提供了基于两个神经网络的框架(即，子系统)，其接收经处理的感知特征(包括例如定位和运动学信息)作为输入，这些经处理的感知特征提供了关于自主车辆连同其它车辆和对象的轨迹历史。轨迹历史可以由图形提取模块转换为图，并且被馈送到第一神经网络以用于驾驶规范编码，其继而可以被馈送到第二神经网络以用于轨迹预测。轨迹预测可用于通知致动命令。第一神经网络可以是图形注意力(GAT)网络，以在关系模型中利用来自驾驶场景的空间和时间信息对驾驶规范和参与者与参与者的通信进行编码。然后，可以将该关系表示提供给第二神经网络以预测自主车辆和交互对象的轨迹，该第二神经网络可以是长短期记忆(LSTM)递归网络。GAT-LSTM框架可以接收训练反馈，该训练反馈将在自主车辆系统的范围内交互的特定对象的预测轨迹与实际轨迹进行比较。在实施例中，图形提取模块可以在处理器中执行的软件中实现，并且GAT和LSTM网络可以在现场可编程门阵列(FPGA)加速器中实现。以这种方式，可以在FPGA中有效地训练模型(即GAT-LSTM)的主要部分，而在处理器中执行图形提取模块可以减少存储器访问需求以及否则要在FPGA中执行的计算。在实施例中，GAT和LSTM网络可以在处理器和FPGA的组合中实现。
在推断期间，该框架可以预测未来轨迹并且评估预测轨迹与观测轨迹之间的偏差。预测轨迹可以包括在每个轨迹的计算中的实时感知误差信息，从而影响自主车辆的导航行为。在一些实施例中，预测轨迹以及实时感知误差信息可以与安全性准则配对以提供驾驶行为约束。
如图2所示，关系推理系统200可以包括框架，该框架包括图形提取模块210、第一神经网络220和第二神经网络230。如本文中参考图3进一步描述的，图形提取模块210可以基于输入的经处理的车辆和对象数据240生成一系列带时间戳的对象图形。输入的经处理的车辆和对象数据240可以从传感器数据(例如，相机、雷达、激光雷达等)、地图数据和提供关于自主车辆附近的车辆和其它对象的信息的其它数据获得，并且可以经由传感器接口245接收。在一些实施例中，输入的经处理的车辆和对象数据240可以从感知模块获得(例如，经由如图1中所示的感知模块102和/或环境模块104，已经讨论过)。感知模块可以是例如如下感知模块，比如结合由
Figure BDA0002834249060000061
和移动眼(Mobileye)引入的责任敏感安全性(RSS)数学框架使用的用于自主车辆操作的感知模块。诸如车辆(例如，闪烁的前灯)之间或车辆/行人/骑车人(例如，手动转向信号)和其他指示器(例如，转向信号、刹车灯、汽车喇叭、应急车灯或警报器)之间的间接交互之类的附加数据也可被包括在输入的车辆和对象数据240中。在实施例中，本地状况数据250也可以输入到图形提取模块210，并且连同经处理的车辆和对象数据一起包含在生成的带时间戳的对象图形中。本地状况数据250可以包括例如天气状况、当日时间、一周中的哪天、一年中的哪天、固定障碍物等中的一个或多个。
可以是如本文参考图4进一步描述的图形注意力(GAT)网络的第一神经网络220可以接收一系列带时间戳的对象图形作为输入，并且学习包含驾驶规范的嵌入以生成一系列关系对象表示。可以是如本文中参考图5进一步描述的长短期记忆(LSTM)递归网络的第二神经网络230可以接收一系列的关系对象表示作为输入，以确定自主车辆和其它外部对象(包括其它车辆)的预测对象轨迹。通过将图形注意力网络与长短期记忆网络相结合以学习交通参与者之间的关系和空间交互，从而通过递归来学习每个交通参与者的长期变化和依赖性，该框架利用关系推理的益处和以编码驾驶规范为目标的神经网络的时间序列学习的益处两者以改进轨迹预测。
从第二神经网络230得到的预测车辆轨迹260(即，车辆的未来轨迹的预测)可以作为输入被提供给车辆导航致动器子系统270，以用于导航和控制自主车辆。另外，来自路线规划模块的路线规划输入280和来自安全性模块的安全性准则输入285也可以由车辆导航致动器子系统270在导航和控制自主车辆时应用。可以由路线规划模块利用诸如交通标志、道路规则(例如，在道路右侧行驶、除了超车(pass)之外保持右行、仅在虚线处超车等)的信息来影响路线规划输入280。
图3是示出根据一个或多个实施例的关系推理系统的图形提取模块310的示例的图300，参考本文描述的组件和特征，包括但不限于附图和相关联的描述。图形提取模块310通常可以并入到已经讨论过的图形提取模块210(图2)中。图形提取模块310可以接收车辆和对象坐标数据320作为输入。0可以从识别的相关对象和它们在传感器数据(例如，视频和/或图像)中出现的位置来确定车辆和对象坐标数据32，其可以是向量。车辆和对象坐标数据320可以包括例如自主车辆和自主车辆附近的其他车辆(例如其他汽车、卡车、公共汽车、摩托车、拖拉机等)的坐标。可以在特定历史时间窗口{tc-h+1,…,tc}上的一系列间隔处测量这些坐标。在这点上，车辆和对象坐标数据320可以表示在测量的时间窗口内的车辆和对象轨迹历史。在一些实施例中，车辆和对象坐标数据320可以包括已经讨论过的输入经处理的车辆和对象数据240(图2)。在实施例中，可以是向量的本地状况数据330也可以输入到图形提取模块310。在实施例中，本地状况数据330可以包括已经讨论过的本地状况数据250(图2)。
图形提取模块310可以通过基于每对对象i和j它们的坐标值计算它们的距离di来处理车辆和对象坐标数据320。然后可以为每个时间点s创建图形Gs＝{Vs,Es}，其中，图形中的每个节点表示对象，并且如果dij<D，则在节点i和j之间存在边，其中，D是阈值距离。一旦处理了历史时间窗口的所有坐标，就将轨迹历史转换成图形。即，将时间步长{tc-h+1,…,tc}处的坐标(对象位置/图像)转换为带时间戳的图形
Figure BDA0002834249060000071
给定带时间戳的对象图形340的输出集合和每个节点i在每个时间戳s的坐标值(xis,yis)，轨迹预测可以基于预测节点在未来时间点{tc+1,tc+2,…,tc+f}的坐标值，其中，f是要获得预测的未来窗口的大小。
可以将带时间戳的对象图形340可视化为二维图345的时间序列，其中，每个平面表示针对特定时间戳之一构造的图形，并且图形中的每个节点表示对象位置。当然，如所构造的，这些图形可以表示多于两个维度。例如，所生成的每个图形可以包含三个维度(表示3维空间中的对象位置)。可以基于附加输入向量来生成附加维度的图形。
图4是示出根据一个或多个实施例的关系推理系统的图形注意力网络410的示例的图示400，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。一般而言，图形注意力网络是通过堆叠其中节点能够注意到其邻居的特征的神经网络层来对图形结构化数据进行操作的神经网络。图形注意力网络410通常可以并入到已经讨论过的第一神经网络220(图2)中。图形注意力网络410被设计为捕获图形中的节点之间的关系交互，即交通参与者之间的空间交互，其编码关于该地理位置中的驾驶规范的信息。带时间戳的对象图形420的集合提供节点特征(即，每个交通参与者的坐标值)的集合作为到图形注意力网络410的输入。每个交通参与者被表示为图中的节点，并且边表示两个参与者之间的有意义的关系。通过对其中对象之间的交互是可能的和/或可通信的数据的训练来鼓励关系表示，以使得模型将学习在各种环境中的驾驶规范。
图形注意力网络410可以包括多个(M个)堆叠的神经网络层，并且每个神经网络前馈激活层产生表示所学习的关系信息的新的潜在节点特征(也称为嵌入)的集合。除了捕获节点之间的重要关系交互之外，图形注意力架构的优点包括计算效率，因为图形中的预测可以跨节点邻域并行化并独立地执行，以及归纳学习，即，模型可以推广到新的/未见的节点、边和图形。
如图4所示，可以根据图形注意力网络410的层L中的节点i及其相邻节点N(i)的节点特征或嵌入来计算层L+1中的节点i的节点嵌入。给定来自层L的节点嵌入，将由权重矩阵W参数化的共享线性变换应用于每个节点，并且然后对节点执行注意力机制(att)以计算节点i和每个邻居节点j之间的注意力系数：eij＝att(Whi,Whj)
每个值eij指示节点j的特征对参考节点i的重要性。将SoftMax函数用于跨j的所有选择来正规化注意力系数：
Figure BDA0002834249060000081
其中节点k是节点i的邻居。在图形注意力网络410中，注意力机制att可以是单层前馈神经网络，其由可学习的权重向量α参数化并且应用LeakyReLU非线性。泄漏修正线性单位函数(LeakyReLU)是神经网络中使用的激活函数。完全展开，由注意力机制计算的系数可以表示为：
Figure BDA0002834249060000091
如图4所示，节点i具有邻居{j1,j2,j3,j4},，它们具有来自层l的其节点嵌入
Figure BDA0002834249060000092
可以计算注意力系数
Figure BDA0002834249060000093
其中
Figure BDA0002834249060000094
Figure BDA0002834249060000095
然后，在应用SoftMax函数之后，正规化系数
Figure BDA0002834249060000096
可以如下计算：
Figure BDA0002834249060000097
其中向量a和W可以通过训练获得。为了获得节点i的(L+1)层输出嵌入hi，可以然后经由相邻节点的特征的线性组合来合计经正规化注意力系数
Figure BDA0002834249060000098
并且可以应用非线性函数(例如，修正线性单元或ReLU)：
hi＝σ(∑j∈N(i)αijWhj)
在经由图形注意力网络410的M层处理之后，可以获得关系对象表示430的结果集合。关系对象表示430可以提供时间窗口{tc-h+1,…,tc}中的每个时间戳的特征矩阵，其中每行表示交通参与者的特征向量，其已经编码了该参与者与其相邻交通参与者之间的空间和通信交互。关系对象表示430表示所学习的车辆和其它对象之间在该历史时间窗口上的关系—包括关系如何在时间窗口上变化。
图5是示出根据一个或多个实施例的关系推理系统的长短期记忆(LSTM)神经网络510的示例的图示500，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。一般而言，长短期记忆神经网络是并入有(一个或多个)记忆单元以使其与其他序列学习模型相比对时间延迟长度较不敏感的递归神经网络。因此，在关系推理框架的上下文中，LSTM网络510可以处理和预测给定未知持续时间的时间滞后并且用于各种大小和密度的图形的时间序列。与图形注意力网络410一起，这使得关系推理系统能够在预测所需的历史的持续时间以及系统能够预测对象轨迹的未来时间段方面是高度灵活的。LSTM网络510通常可以并入到已经讨论过的第二神经网络230(图2)中。
LTSM网络510可以包括编码器LSTM 520和解码器LSTM 530。编码器LSTM 520和解码器LSTM 530中的每一个本身可以是长短期(LSTM)神经网络，其中编码器LSTM用于对在多个时间点学习的关系表示进行编码，并且采用解码器LSTM进行未来的轨迹预测。编码器LSTM 520和解码器LSTM 530中的每一个可以是两层LSTM网络。在一些实施例中，编码器LSTM 520和/或解码器LSTM 530可以包括使用三层或更多层的布置；可以确定层数以最佳地适应所收集的车辆数据的规模和复杂度。关系对象表示540、在每个时间点的每个交通参与者的经学习的关系表示以及它们的时间特征(即，由图形注意力网络410输出的关于本地驾驶规范的信息)可以作为对LTSM网络510的输入而被接收，以用于经由编码器LSTM 520对每个交通参与者或对象的时间位置变化进行编码。编码器LSTM 520的隐藏状态和历史时间点处每个参与者的坐标值继而可被馈入到解码器LSTM 530中，以预测每个交通参与者或对象的未来轨迹(即，对象行为)，其中，该未来轨迹由用于未来f个时间点t＝{tc+1,…,tc+f}的参与者i的坐标
Figure BDA0002834249060000111
给出。预测的车辆轨迹550(即，车辆的未来轨迹的预测)可从LSTM网络510输出，并结合已经讨论过的自主车辆致动(例如，车辆导航致动器子系统270(图2))来使用。对象行为的预测可以包括预测对象坐标(位置)、取向(航向)、和/或速率属性(例如，速度)。
可以使用表示各种情况和位置的数据来训练关系推理系统(具体地，图形注意力网络410以及LSTM网络510)—从而使得关系推理系统稳健并且能够推广到具有地理位置变化和局部规范变化的变化和可变条件。关系推理系统GAT-LSTM是端对端框架，因此在该框架中的神经网络组件被作为一个单元一起训练。可以从诸如在当今的自动车队中捕获的数据记录之类的数据记录中获得训练数据。例如，关系推理系统的输入可以是感知模块在特定时间的输出，并且在给定输入数据的情况下，将基于对顺序轨迹的准确预测来训练该系统。为了训练的目的，可以采用损失函数来衡量误差。用于训练系统的误差函数可以基于预测在训练数据中表示的交通参与者的未来轨迹。作为示例，下面的均方误差(MSE)损失函数可以用于训练关系推理系统：
Figure BDA0002834249060000112
其中，t＝{tc+1,tc+2,…,tc+f}是未来的时间点，
Figure BDA0002834249060000113
是交通参与者i在时间t的预测坐标，并且
Figure BDA0002834249060000114
是地面真值(参与者i在时间t的真实坐标)。可以使用随机梯度下降优化器(例如，在Kingma、Diederik P.和Jimmy Ba的“Adam:A method for stochasticoptimization(亚当：一种随机优化方法)”(可经由arXiv预印本：arXiv：1412.6980(2014)获得)中描述的随机梯度下降优化器)来训练关系推理系统。
图6提供了示出根据一个或多个实施例的用于操作用于自主车辆的关系推理系统的示例的过程600的流程图，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。过程600可在已经讨论过的本文参考图2描述的关系推理系统200中实现。更具体地，过程600可以在一个或多个模块中作为存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存之类的机器或计算机可读存储介质中的逻辑指令集实现；在诸如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)之类的可配置逻辑中实现；在使用诸如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术之类的电路技术的固定功能逻辑硬件中实现；或者在其任意组合中实现。
例如，用于执行过程600中所示的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括面向对象的编程语言，例如JAVA、SMALLTALK、C++等，以及常规的过程编程语言，例如“C”编程语言或类似的编程语言。另外，逻辑指令可以包括汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、状态设置数据、集成电路的配置数据、使硬件本地的电子电路和/或其它结构组件(例如，主处理器、中央处理单元/CPU、微控制器等)个性化的状态信息。
所示的处理框610用于基于从外部对象数据导出的对象轨迹历史，针对多个外部对象生成一系列带时间戳的对象图形。外部对象数据可以包括已经讨论过的车辆和经处理的车辆和对象数据240(图2)或对象坐标数据320(图3)。基于对象轨迹历史的一系列带时间戳的对象图形可以经由已经讨论过的图形提取模块310(图3)生成，并且可以包括已经讨论过的带时间戳的对象图形340(图3)。
所示的处理框620提供了经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示。第一神经网络可以包括已经讨论过的神经网络220(图2)或图形注意力网络410(图4)。该系列关系对象表示可以包括已经讨论过的关系对象表示430。
所示的处理框630提供了经由第二神经网络基于一系列关系对象表示确定对多个外部对象的未来对象轨迹的预测。第二神经网络可以包括已经讨论过的神经网络230(图2)或LSTM网络510(图5)。对多个外部对象的未来对象轨迹的预测可以包括已经讨论过的预测车辆轨迹260(图2)或预测车辆轨迹550(图5)。
多个外部对象的预测对象轨迹(框630)可以由自主车辆用于导航目的。例如，所示的处理框640提供了随预测对象轨迹一起包括实时感知误差信息。接下来，所示的处理框650提供基于预测对象轨迹和实时感知误差信息修改车辆行为。修改车辆行为可以包括发出致动命令以导航车辆。致动命令可以根据车辆的低级控制器而不同。通常，向低级控制器给予参考目标速度和由控制器试图遵守的车辆参考系中的点序列组成的路径。即，控制器设定方向盘和油门/制动器以在去往组成路径的下一点的同时保持该目标速度。在一些实施例中，致动命令可以包括用于油门、制动和转向角的值。
在一些实施例中，预测轨迹以及实时感知误差信息可以与安全性准则配对以提供驾驶行为约束。安全性准则通常可以被理解为包括用于碰撞避免的规则或原则，例如通过在特定情形期间建立最小纵向和横向距离度量。安全性准则还可以包括道路的本地规则，例如路段中的最大速度、相关信号和/或允许或禁止某些机动操作(例如，在交叉路口处)。为帮助确保安全，用于多个外部对象的预测对象轨迹(框630)还可以由自主车辆使用以比安全性准则所提供的更多地修改或约束车辆行为。例如，所示处理框660提供确定观察对象行为与预测对象行为的偏差。接下来，所示的处理框670提供了基于所确定的对象行为与预测行为的偏差来修改车辆行为。修改自主车辆行为的示例可以包括：1)增加与相同车道和方向上的另一车辆的纵向距离，2)增加与相邻车道上的道路使用者的最小横向距离，3)在交叉路口处给另一车辆让路(即使自主车辆具有优先权或通行权)，4)即使速度在当前路段所允许的最大速度内仍降低当前速度(例如，在具有遮挡或其它障碍物的区域中)。
图7示出了例示根据一个或多个实施例的用于基于本地驾驶规范预测车辆轨迹的示例计算系统10的框图，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。系统10通常可以是具有如下功能的电子设备/平台的一部分：计算和/或通信功能(例如，服务器、云基础设施控制器、数据库控制器、笔记本计算机、台式计算机、个人数字助理/PDA、平板计算机、可转换平板计算机、智能电话等)、成像功能(例如，相机、摄像机)、媒体播放功能(例如，智能电视/TV)、可穿戴功能(例如，手表、眼镜、头饰、鞋类、珠宝)、车辆功能(例如，汽车、卡车、摩托车)、机器人功能(例如，自主机器人)、物联网(IoT)功能等，或其任意组合。在所示的示例中，系统10包括具有可耦合到系统存储器20的集成存储器控制器(IMC)14的主处理器12(例如，中央处理单元/CPU)。主处理器12可以包括任何类型的处理设备，例如微控制器、微处理器、RISC处理器、ASIC等，以及相关的处理模块或电路。系统存储器20可以包括任何非暂态机器或计算机可读存储介质，例如RAM、ROM、PROM、EEPROM、固件、闪存等；可配置逻辑，比如，例如PLA、FPGA、CPLD；使用诸如ASIC、CMOS或TTL技术之类的电路技术的固定功能硬件逻辑，或它们的适合于存储指令28的任意组合。
系统10还可以包括输入/输出(I/O)子系统16。I/O子系统16可以与例如一个或多个输入/输出(I/O)设备17、网络控制器24(例如，有线和/或无线NIC)、以及存储装置22通信。存储装置22可以包括任何适当的非暂态机器或计算机可读存储器类型(例如，闪存、DRAM、SRAM(静态随机存取存储器)、固态驱动器(SSD)、硬盘驱动器(HDD)、光盘等)。存储装置22可以包括大容量存储装置。在一些实施例中，主处理器12和/或I/O子系统16可以经由网络控制器24与存储装置22(其全部或部分)通信。在一些实施例中，系统10还可以包括图形处理器26(例如，图形处理单元/GPU)和AI加速器27。在一些实施例中，系统10还可以包括感知子系统18(例如，包括一个或多个传感器和/或相机)和/或致动子系统19。在实施例中，系统10还可以包括视觉处理单元(VPU)，未示出。
主处理器12和I/O子系统16可以一起在半导体管芯上实现为片上系统(SoC)11，如实线包围所示出的。SoC 11因此可以作为用于自主车辆控制的计算装置来操作。在一些实施例中，SoC 11也可以包括系统存储器20、网络控制器24、图形处理器26和/或AI加速器27(以虚线包围示出)中的一个或多个。在一些实施例中，SoC 11还可以包括系统10的其他组件。
主处理器12、I/O子系统16、图形处理器26、AI加速器27和/或VPU可以执行从系统存储器20和/或存储装置22取回的程序指令28，以执行如本文参考图6所述的过程600的一个或多个方面，因此，指令28的执行可以使得SoC 11基于从外部对象数据导出的针对多个外部对象的对象轨迹历史来生成一系列带时间戳的对象图形；经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由第二神经网络基于一系列关系对象表示来确定用于多个外部对象的预测对象轨迹。系统10可以实现如本文参考图1-5描述的自主车辆系统100、关系推理系统200、图形提取模块310、图形注意力网络410、和/或LSTM网络510的一个或多个方面。因此，系统10被认为至少在可以基于本地驾驶规范预测车辆和对象轨迹的方面是性能增强的。
用于执行上述过程的计算机程序代码可以以一种或多种编程语言的任意组合来编写，并被实现为程序指令28，上述编程语言包括面向对象的编程语言，例如JAVA、JAVASCRIPT、PYTHON、SMALLTALK、C++等，和/或常规的过程编程语言，例如“C”编程语言或类似的编程语言。另外，程序指令28可以包括汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、状态设置数据、集成电路的配置数据、使硬件本地的电子电路和/或其它结构组件(例如，主处理器、中央处理单元/CPU、微控制器、微处理器等)个性化的状态信息。
I/O设备17可以包括一个或多个输入设备，例如触摸屏、键盘、鼠标、光标控制设备、触摸屏、麦克风、数码相机、视频记录器、摄像机、生物测定扫描仪和/或传感器；输入设备可以用于输入信息并与系统10和/或其它设备交互。I/O设备17还可以包括一个或多个输出设备，例如显示器(例如，触摸屏、液晶显示器/LCD、发光二极管/LED显示器、等离子面板等)、扬声器和/或其他视觉或音频输出设备。输入和/或输出设备可以用于例如提供用户接口。
图8示出了例示根据一个或多个实施例的用于基于本地驾驶规范预测车辆轨迹的示例半导体装置30的框图，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。半导体装置30可以例如被实现为芯片、管芯或其他半导体封装。半导体装置30可以包括一个或多个衬底32，其包括例如硅、蓝宝石、砷化镓等。半导体装置30还可以包括逻辑34，其包括例如耦合到(一个或多个)衬底32的(一个或多个)晶体管阵列和(一个或多个)其他集成电路(IC)组件。逻辑34可以至少部分地在可配置逻辑或固定功能逻辑硬件中实现。逻辑34可以实现以上参考图7描述的片上系统(SoC)11。逻辑34可以实现如本文参考图6描述的过程600的一个或多个方面，包括基于从外部对象数据导出的针对多个外部对象的对象轨迹历史来生成一系列带时间戳的对象图形；经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示；并且经由第二神经网络基于一系列关系对象表示来确定用于多个外部对象的预测对象轨迹。逻辑34可以实现如本文参考图1至图5描述的自主车辆系统100、关系推理系统200、图形提取模块310、图形注意力网络410、和/或LSTM网络510的一个或多个方面。因此，装置30被认为至少在可以基于本地驾驶规范预测车辆和对象轨迹的方面是性能增强的。
可以使用任何适当的半导体制造工艺或技术来构造半导体装置30。例如，逻辑34可以包括位于(例如，嵌入)(一个或多个)衬底32内的晶体管沟道区。因此，逻辑34和(一个或多个)衬底32之间的接口可以不是突变结。逻辑34也可以被认为包括在(一个或多个)衬底34的初始晶圆上生长的外延层。
图9是示出根据一个或多个实施例的示例处理器核心40的框图，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。处理器核心40可以是用于任何类型的处理器的核心，所述处理器例如是微处理器、嵌入式处理器、数字信号处理器(DSP)、网络处理器或执行代码的其它设备。尽管在图9中仅示出了一个处理器核心40，但是处理元件可以可替换地包括不止一个的图9中示出的处理器核心40。处理器核心40可以是单线程核心，或者对于至少一个实施例，处理器核心40可以是多线程的，因为它可以包括每核心不止一个硬件线程上下文(或“逻辑处理器”)。
图9还示出了耦合到处理器核心40的存储器41。存储器41可以是本领域技术人员已知的或以其他方式可用的各种各样的存储器(包括存储器层级结构的各种层)中的任何一种。存储器41可以包括要由处理器核心40执行的一个或多个代码42指令。代码42可以实现如本文参考图6描述的过程600的一个或多个方面。处理器核心40可以实现如本文参考图1至图5描述的自主车辆系统100、关系推理系统200、图形提取模块310、图形注意力网络410、和/或LSTM网络510的一个或多个方面。处理器核心40遵循由代码42指示的指令的程序序列。每个指令可以进入前端部分43，并且由一个或多个解码器44处理。解码器44可以生成作为其输出的微操作，例如预定格式的固定宽度微操作，或者可以生成反映原始代码指令的其他指令、微指令或控制信号。所示的前端部分43还包括寄存器重命名逻辑46和调度逻辑48，其通常分配资源并将对应于转换指令的操作排队以供执行。
处理器核心40被示为包括具有一组执行单元55-1到55-N的执行逻辑50。一些实施例可以包括专用于特定功能或功能集的多个执行单元。其它实施例可以仅包括一个执行单元或者可以执行特定功能的一个执行单元。所示的执行逻辑50执行由代码指令指定的操作。
在完成由代码指令指定的操作的执行之后，后端逻辑58退出代码42的指令。在一个实施例中，处理器核心40允许乱序执行，但要求指令的有序退出。退出逻辑59可以采用本领域技术人员已知的各种形式(例如，重排序缓冲器等)。以此方式，处理器核心40在代码42的执行期间至少在由解码器生成的输出、由寄存器重命名逻辑46利用的硬件寄存器和表、以及由执行逻辑50修改的任何寄存器(未示出)方面进行变换。
尽管在图9中未示出，但是处理元件可以包括与处理器核心40一起在芯片上的其他元件。例如，处理元件可以包括存储器控制逻辑以及处理器核心40。处理元件可以包括I/O控制逻辑和/或可以包括与存储器控制逻辑集成的I/O控制逻辑。处理元件还可以包括一个或多个缓存。
图10是示出根据一个或多个实施例的基于多处理器的计算系统60的示例的框图，参考了本文描述的组件和特征，包括但不限于附图和相关联的描述。多处理器系统60包括第一处理元件70和第二处理元件80。虽然示出了两个处理元件70和80，但是应当理解，系统60的实施例还可以仅包括一个这样的处理元件。
系统60被示为点对点互连系统，其中第一处理元件70和第二处理元件80经由点对点互连71耦合。应当理解，图10中所示的任何或所有互连可以被实现为多点分支总线而不是点对点互连。
如图10所示，处理元件70和80中的每一个可以是多核处理器，包括第一和第二处理器核心(即，处理器核心74a和74b以及处理器核心84a和84b)。这样的核心74a、74b、84a、84b可以被配置为以与上面结合图9所讨论的方式类似的方式执行指令代码。
每个处理元件70、80可以包括至少一个共享缓存99a、99b。共享缓存99a、99b可以存储分别由诸如核心74a、74b和84a、84b之类的处理器的一个或多个组件利用的数据(例如，指令)。例如，共享缓存99a、99b可以本地缓存存储在存储器62、63中的数据，以供处理器的组件更快地访问。在一个或多个实施例中，共享缓存99a、99b可以包括一个或多个中间级缓存，比如，第2级(L2)、第3级(L3)、第4级(L4)、或其他级缓存、末级缓存(LLC)、和/或其组合。
虽然仅示出了两个处理元件70、80，但是应当理解，实施例的范围不限于此。在其它实施例中，一个或多个附加处理元件可以存在于给定处理器中。可替换地，处理元件70、80中的一个或多个可以是除处理器以外的元件，例如加速器或现场可编程门阵列。例如，附加的处理元件可以包括与第一处理器70相同的附加处理器、与第一处理器70的处理器异构或不对称的附加处理器、加速器(例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列或任何其他处理元件。处理元件70、80之间在包括架构、微架构、热、功耗特性等的一系列品质度量方面可以存在各种差异。这些差异可以有效地将它们自身表现为处理元件70、80之间的不对称性和异构性。对于至少一个实施例，各种处理元件70、80可以驻留在同一管芯封装中。
第一处理元件70还可以包括存储器控制器逻辑(MC)72和点对点(P-P)接口76和78。类似地，第二处理元件80可以包括MC 82以及P-P接口86和88。如图10所示，MC 72和82将处理器耦合到相应的存储器，即存储器62和存储器63，它们可以是本地附着到相应处理器的主存储器的部分。虽然将MC 72和82示为集成到处理元件70、80中，但是对于可替换的实施例，MC逻辑可以是处理元件70、80外部的分立逻辑而不是集成在其中。
第一处理元件70和第二处理元件80可分别经由P-P互连76和86耦合到I/O子系统90。如图10所示，I/O子系统90包括P-P接口94和98。此外，I/O子系统90包括接口92，以将I/O子系统90与高性能图形引擎64耦合。在一个实施例中，总线73可以用于将图形引擎64耦合到I/O子系统90。可替换地，点对点互连可以耦合这些组件。
I/O子系统90转而可经由接口96耦合到第一总线65。在一个实施例中，第一总线65可以是外围组件互连(PCI)总线，或者诸如快速PCI(PCI Express)总线或其它第三代I/O互连总线之类的总线，但是实施例的范围不限于此。
如图10所示，各种I/O设备65a(例如，生物测定扫描仪、扬声器、相机、传感器)可以与总线桥66一起耦合到第一总线65，总线桥66可以将第一总线65耦合到第二总线67。在一个实施例中，第二总线67可以是低引脚数(LPC)总线。在一个实施例中，各种设备可以耦合到第二总线67，包括例如键盘/鼠标67a、(一个或多个)通信设备67b和数据存储单元68，比如可以包括代码69的磁盘驱动器或其他大容量存储设备。所示的代码69可以实现如本文参考图6所描述的过程600的一个或多个方面。所示的代码69可以类似于已经讨论过的代码42(图9)。此外，音频I/O67c可以耦合到第二总线67，并且电池61可以向计算系统60供电。系统60可以实现如本文参考图1-5描述的自主车辆系统100、关系推理系统200、图形提取模块310、图形注意力网络410、和/或LSTM网络510的一个或多个方面。
注意，可以设想其它实施例。例如，代替图10的点对点架构，系统可以实现多点分支总线或另一这样的通信拓扑结构。此外，可以替换地使用比图10所示的更多或更少的集成芯片来划分图10的元件。
可以以硬件、软件或其任何合适的组合来实现上述系统、设备、组件和/或方法中的每一者的实施例，包括系统10、半导体装置30、处理器核心40、系统60、自主车辆系统100、关系推理系统200、图形提取模块310、图形注意力网络410、LSTM网络510、和/或过程600、和/或任何其他系统组件。例如，硬件实现方式可以包括可配置逻辑，例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、或使用诸如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)、或晶体管-晶体管逻辑(TTL)技术之类的电路技术的固定功能逻辑硬件，或其任意组合。
可替换地或另外，前述系统和/或组件和/或方法的全部或部分可以在一个或多个模块中作为存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等机器或计算机可读存储介质中的逻辑指令的集合来实现，以由处理器或计算设备执行。例如，执行组件的操作的计算机程序代码可以以一种或多种操作系统(OS)适用/适当的编程语言的任意组合来编写，上述编程语言包括面向对象的编程语言，比如PYTHON、PERL、JAVA、SMALLTALK、C++、C#等，以及常规的过程编程语言，比如“C”编程语言或类似的编程语言。
其他注释和示例：
示例1包括一种计算系统，该计算系统包括：用于接收外部对象数据的传感器接口，耦合到传感器接口的处理器，该处理器包括一个或多个衬底和耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形，经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示，并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
示例2包括示例1的系统，其中，耦合到一个或多个衬底的逻辑还用于随预测对象轨迹一起包括实时感知误差信息，并且基于预测对象轨迹和实时感知误差信息来修改自主车辆的行为。
示例3包括示例1的系统，其中，耦合到一个或多个衬底的逻辑还用于确定观察到的对象行为与预测对象行为的偏差，并且基于确定的对象行为偏差来修改自主车辆的行为。
示例4包括示例1的系统，其中，对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，一系列带时间戳的对象图形辅助学习车辆在时间窗口上的相关程度，其中，关系对象表示代表所学习的在时间窗口上的多个车辆之间的关系，并且其中，第一神经网络用于编码基于位置的驾驶规范。
示例5包括示例4的系统，其中，第二神经网络包括用于编码时间车辆位置变化的第一递归神经网络，和用于预测多个车辆的未来行为的第二递归神经网络。
示例6包括示例1到5中任一项的系统，其中，第一神经网络包括图形注意力(GAT)网络，并且第二神经网络包括长短期记忆(LSTM)网络，及其中，第一神经网络和第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
示例7包括一种半导体装置，该半导体装置：包括一个或多个衬底，以及耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形，经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示，并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
示例8包括示例7的半导体装置，其中，耦合到一个或多个衬底的逻辑还用于随预测对象轨迹一起包括实时感知误差信息，并且基于预测对象轨迹和实时感知误差信息来修改自主车辆的行为。
示例9包括示例7的半导体装置，其中，耦合到一个或多个衬底的逻辑还用于确定观察到的对象行为与预测对象行为的偏差，并且基于确定的对象行为偏差来修改自主车辆的行为。
示例10包括示例7的半导体装置，其中，对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，一系列带时间戳的对象图形辅助学习车辆在时间窗口上的相关程度，其中，关系对象表示代表所学习的在时间窗口上的多个车辆之间的关系，并且其中，第一神经网络用于编码基于位置的驾驶规范。
示例11包括示例10的半导体装置，其中，第二神经网络包括用于编码时间车辆位置变化的第一递归神经网络，和用于预测多个车辆的未来行为的第二递归神经网络。
示例12包括示例7到11中任一项的半导体装置，其中，第一神经网络包括图形注意力(GAT)网络，并且第二神经网络包括长短期记忆(LSTM)网络，并且其中，第一神经网络和第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
示例13包括示例7的半导体装置，其中，耦合到所述一个或多个衬底的逻辑包括位于一个或多个衬底内的晶体管沟道区。
示例14包括至少一种非暂态计算机可读存储介质，该至少一种非暂态计算机可读存储介质包括指令的集合，指令当由计算系统执行时，使得计算系统基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形，经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示，并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
示例15包括示例14的至少一种非暂态计算机可读存储介质，其中，指令在被执行时还使得计算系统：随预测对象轨迹一起包括实时感知误差信息与预测对象轨迹，并且基于预测对象轨迹和实时感知误差信息来修改自主车辆的行为。
示例16包括示例14的至少一种非暂态计算机可读存储介质，其中，指令在被执行时还使得计算系统：确定观察到的对象行为与预测对象行为的偏差，并且基于确定的对象行为偏差来修改自主车辆的行为。
示例17包括示例14的至少一种非暂态计算机可读存储介质，其中，对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，一系列带时间戳的对象图形辅助学习车辆在时间窗口上的相关程度，其中，关系对象表示代表所学习的在时间窗口上的多个车辆之间的关系，并且其中，第一神经网络用于编码基于位置的驾驶规范。
示例18包括示例17的至少一种非暂态计算机可读存储介质，其中，第二神经网络包括用于编码时间车辆位置变化的第一递归神经网络和用于预测多个车辆的未来行为的第二递归神经网络。
示例19包括示例14到18中任一项的至少一种非暂态计算机可读存储介质，其中，第一神经网络包括图形注意力(GAT)网络，并且第二神经网络包括长短期记忆(LSTM)网络，并且其中，第一神经网络和第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
示例20包括一种关系推理方法，该方法包括：基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形，经由第一神经网络基于一系列带时间戳的对象图形来生成一系列关系对象表示，并且经由第二神经网络基于一系列关系对象表示来确定对多个外部对象的未来对象轨迹的预测。
示例21包括示例20的方法，还包括：随预测对象轨迹一起包括实时感知误差信息，并且基于预测对象轨迹和实时感知误差信息来修改自主车辆的行为。
示例22包括示例20的方法，还包括：确定观察到的对象行为与预测对象行为的偏差，并且基于确定的对象行为偏差来修改自主车辆的行为。
示例23包括示例20的方法，其中，对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，一系列带时间戳的对象图形辅助学习车辆在时间窗口上的相关程度，其中，关系对象表示代表所学习的在时间窗口上的多个车辆之间的关系，并且其中，第一神经网络用于编码基于位置的驾驶规范。
示例24包括示例23的方法，其中，第二神经网络包括用于编码时间车辆位置变化的第一递归神经网络和用于预测多个车辆的未来行为的第二递归神经网络。
示例25包括示例20到24中任一项的方法，其中，第一神经网络包括图形注意力(GAT)网络，并且第二神经网络包括长短期记忆(LSTM)网络，并且其中，第一神经网络和第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
示例26包括一种装置，其包括用于执行示例20到24中任一项的方法的模块。
因此，本文描述的技术通过概括社会驾驶规范和其他类型的关系信息来提供对自主车辆以及相邻车辆和对象的未来轨迹的有效且稳健的预测。该技术基于来自驾驶环境的包括关于标准驾驶规范的地理空间信息的关系提示来对动作和响应进行优先级排序。另外，该技术使得能够基于预测对象轨迹和实时感知误差信息来导航车辆，并且基于对象行为与预测行为的偏差来修改安全性准则。
实施例适用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片组组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片、片上系统(SoC)、SSD/NAND控制器ASIC等。另外，在一些附图中，信号导线用线表示。一些可以是不同的，以指示更多的组成信号路径，具有数字标记以指示组成信号路径的数量，和/或在一个或多个端部具有箭头以指示主要信息流方向。然而，这不应以限制性方式来解释。相反，这些增加的细节可以与一个或多个示例性实施例结合使用，以便于更容易地理解电路。任何表示的信号线，无论是否具有附加信息，实际上可以包括可以在多个方向上传播的一个或多个信号，并且可以利用任何适当类型的信号方案来实现，例如，利用差分对实现的数字或模拟线、光纤线和/或单端线。
已经给出了示例性的尺寸/模型/值/范围，但是实施例不限于此。随着制造技术(例如光刻)随着时间的推移而成熟，期望可以制造更小尺寸的器件。另外，为了说明和讨论的简单，并且为了不使实施例的某些方面难以理解，可以在附图中示出或者可以不在附图中示出到IC芯片和其它组件的公知的电源/接地连接。此外，可以以框图形式示出布置，以避免使实施例难以理解，并且还鉴于关于这样的框图布置的实施方式的细节高度依赖于实施例将在其中实现的计算系统的事实，即这样的细节应当在本领域技术人员的知识范围内。在阐述具体细节(例如电路)以便描述示例实施例的情况下，对于本领域技术人员而言应当显而易见的是，可以在没有这些具体细节的情况下或者利用这些具体细节的变型来实践实施例。因此，本说明书应被认为是说明性的而非限制性的。
术语“耦合”在本文中可以用于指所讨论的组件之间的任何类型的直接或间接关系，并且可以应用于电、机械、流体、光、电磁、机电或其他连接。此外，术语“第一”、“第二”等在本文中仅用于促进讨论，并且除非另外指出，否则不带有特定的时间或先后顺序意义。
如本申请和权利要求书中所使用的，由术语“中的一个或多个”连接的项目列表可以表示所列出的术语的任意组合。例如，短语“A、B或C中的一个或多个”可以表示A；B；C；A和B；A和C；B和C；或A、B和C。
本领域技术人员将从前面的描述中理解，可以以各种形式实现实施例的广泛技术。因此，虽然已经结合其特定示例描述了实施例，但是实施例的真实范围不应如此限制，因为在研究附图、说明书和所附权利要求书之后，其它修改对于本领域技术人员将变得清晰可见。

Claims (25)

1.一种计算系统，包括：
传感器接口，用于接收外部对象数据；以及
耦合到所述传感器接口的处理器，所述处理器包括一个或多个衬底和耦合到所述一个或多个衬底的逻辑，其中，所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到所述一个或多个衬底的所述逻辑用于：
基于从所述外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；
经由第一神经网络基于所述一系列带时间戳的对象图形来生成一系列关系对象表示；并且
经由第二神经网络基于所述一系列关系对象表示来确定对所述多个外部对象的未来对象轨迹的预测。
2.根据权利要求1所述的系统，其中，耦合到所述一个或多个衬底的所述逻辑还用于：
随预测对象轨迹一起包括实时感知误差信息；并且
基于所述预测对象轨迹和所述实时感知误差信息来修改自主车辆的行为。
3.根据权利要求1所述的系统，其中，耦合到所述一个或多个衬底的所述逻辑还用于：
确定观察到的对象行为与预测对象行为的偏差；并且
基于确定的对象行为偏差来修改自主车辆的行为。
4.根据权利要求1所述的系统，其中，所述对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，所述一系列带时间戳的对象图形辅助学习所述车辆在所述时间窗口上的相关程度，其中，所述关系对象表示代表所学习的在所述时间窗口上的所述多个车辆之间的关系，并且其中，所述第一神经网络用于编码基于位置的驾驶规范。
5.根据权利要求4所述的系统，其中，所述第二神经网络包括第一递归神经网络和第二递归神经网络，所述第一递归神经网络用于编码时间车辆位置变化，所述第二递归神经网络用于预测所述多个车辆的未来行为。
6.根据权利要求1到5中任一项所述的系统，其中，所述第一神经网络包括图形注意力GAT网络，并且所述第二神经网络包括长短期记忆LSTM网络，并且其中，所述第一神经网络和所述第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
7.一种半导体装置，包括：
一个或多个衬底；以及
耦合到所述一个或多个衬底的逻辑，其中，所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到所述一个或多个衬底的所述逻辑用于：
基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；
经由第一神经网络基于所述一系列带时间戳的对象图形来生成一系列关系对象表示；并且
经由第二神经网络基于所述一系列关系对象表示来确定对所述多个外部对象的未来对象轨迹的预测。
8.根据权利要求7所述的半导体装置，其中，耦合到所述一个或多个衬底的所述逻辑还用于：
随预测对象轨迹一起包括实时感知误差信息；并且
基于所述预测对象轨迹和所述实时感知误差信息来修改自主车辆的行为。
9.根据权利要求7所述的半导体装置，其中，耦合到所述一个或多个衬底的所述逻辑还用于：
确定观察到的对象行为与预测对象行为的偏差；并且
基于确定的对象行为偏差来修改自主车辆的行为。
10.根据权利要求7所述的半导体装置，其中，所述对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，所述一系列带时间戳的对象图形辅助学习所述车辆在所述时间窗口上的相关程度，其中，所述关系对象表示代表所学习的在所述时间窗口上的所述多个车辆之间的关系，并且其中，所述第一神经网络用于编码基于位置的驾驶规范。
11.根据权利要求10所述的半导体装置，其中，所述第二神经网络包括第一递归神经网络和第二递归神经网络，所述第一递归神经网络用于编码时间车辆位置变化，所述第二递归神经网络用于预测所述多个车辆的未来行为。
12.根据权利要求7到11中任一项所述的半导体装置，其中，所述第一神经网络包括图形注意力GAT网络，并且所述第二神经网络包括长短期记忆LSTM网络，并且其中，所述第一神经网络和所述第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
13.根据权利要求7到11中任一项所述的半导体装置，其中，耦合到所述一个或多个衬底的所述逻辑包括位于所述一个或多个衬底内的晶体管沟道区。
14.一种计算设备，包括：
用于基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形的装置；
用于经由第一神经网络基于所述一系列带时间戳的对象图形来生成一系列关系对象表示的装置；以及
用于经由第二神经网络基于所述一系列关系对象表示来确定对所述多个外部对象的未来对象轨迹的预测的装置。
15.根据权利要求14所述的计算设备，还包括：
用于随预测对象轨迹一起包括实时感知误差信息的装置；以及
用于基于所述预测对象轨迹和所述实时感知误差信息来修改自主车辆的行为的装置。
16.根据权利要求14所述的计算设备，还包括：
用于确定观察到的对象行为与预测对象行为的偏差的装置；以及
用于基于确定的对象行为偏差来修改自主车辆的行为的装置。
17.根据权利要求14所述的计算设备，其中，所述对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，所述一系列带时间戳的对象图形辅助学习所述车辆在所述时间窗口上的相关程度，其中，所述关系对象表示代表所学习的在所述时间窗口上的所述多个车辆之间的关系，并且其中，所述第一神经网络用于编码基于位置的驾驶规范。
18.根据权利要求17所述的计算设备，其中，所述第二神经网络包括第一递归神经网络和第二递归神经网络，所述第一递归神经网络用于编码时间车辆位置变化，所述第二递归神经网络用于预测多个所述车辆的未来行为。
19.根据权利要求14到18中任一项所述的计算设备，其中，所述第一神经网络包括图形注意力GAT网络，及所述第二神经网络包括长短期记忆LSTM网络，并且其中，所述第一神经网络和所述第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
20.一种关系推理方法，包括：
基于从外部对象数据导出的对象轨迹历史来针对多个外部对象生成一系列带时间戳的对象图形；
经由第一神经网络基于所述一系列带时间戳的对象图形来生成一系列关系对象表示；并且
经由第二神经网络基于所述一系列关系对象表示来确定对所述多个外部对象的未来对象轨迹的预测。
21.根据权利要求20所述的方法，还包括：
随预测对象轨迹一起包括实时感知误差信息；并且
基于所述预测对象轨迹和所述实时感知误差信息来修改自主车辆的行为。
22.根据权利要求20所述的方法，还包括：
确定观察到的对象行为与预测对象行为的偏差；并且
基于确定的对象行为偏差来修改自主车辆的行为。
23.根据权利要求20所述的方法，其中，所述对象轨迹历史包括时间窗口内的多个车辆的坐标，其中，所述一系列带时间戳的对象图形辅助学习所述车辆在所述时间窗口上的相关程度，其中，所述关系对象表示代表所学习的在所述时间窗口上的所述多个车辆之间的关系，并且其中，第一神经网络用于编码基于位置的驾驶规范。
24.根据权利要求23所述的方法，其中，所述第二神经网络包括第一递归神经网络和第二递归神经网络，所述第一递归神经网络用于编码时间车辆位置变化，所述第二递归神经网络用于预测多个车辆的未来行为。
25.根据权利要求20到24中任一项所述的方法，其中，所述第一神经网络包括图形注意力GAT网络，并且所述第二神经网络包括长短期记忆LSTM网络，并且其中，所述第一神经网络和所述第二神经网络被使用从关系对象数据生成的对象轨迹历史来作为单元进行训练，所述关系对象数据是从跨多个地理位置收集的车辆驾驶数据获得的。
CN202011466085.4A 2020-06-25 2020-12-14 将驾驶规范应用于自动车辆行为预测的技术 Pending CN113850363A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/912,241 2020-06-25
US16/912,241 US20200324794A1 (en) 2020-06-25 2020-06-25 Technology to apply driving norms for automated vehicle behavior prediction

Publications (1)

Publication Number Publication Date
CN113850363A true CN113850363A (zh) 2021-12-28

Family

ID=72747569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011466085.4A Pending CN113850363A (zh) 2020-06-25 2020-12-14 将驾驶规范应用于自动车辆行为预测的技术

Country Status (4)

Country Link
US (1) US20200324794A1 (zh)
CN (1) CN113850363A (zh)
BR (1) BR102021001832A2 (zh)
DE (1) DE102020132559A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN117962917A (zh) * 2022-10-24 2024-05-03 北京三快在线科技有限公司 自动驾驶决策规划方法及自动驾驶车辆

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
EP3832420B1 (en) * 2019-12-06 2024-02-07 Elektrobit Automotive GmbH Deep learning based motion control of a group of autonomous vehicles
US12061480B2 (en) * 2020-08-27 2024-08-13 Toyota Research Institute, Inc. Causing a mobile robot to move according to a planned trajectory determined from a prediction of agent states of agents in an environment of the mobile robot
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
CN112634328B (zh) * 2020-12-24 2022-11-08 电子科技大学长三角研究院(衢州) 基于自定中心星状图和注意力机制预测行人轨迹的方法
CN112465273B (zh) * 2020-12-25 2022-05-31 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法
CN113077489B (zh) * 2021-04-21 2024-03-15 中国第一汽车股份有限公司 一种行人轨迹预测方法、装置、设备及储存介质
WO2022231519A1 (en) * 2021-04-26 2022-11-03 Nanyang Technological University Trajectory predicting methods and systems
CN113518035B (zh) * 2021-05-26 2023-01-31 香港中文大学（深圳） 路由确定方法及装置
CN113240199B (zh) * 2021-06-07 2022-10-28 广西民族大学 基于dilate_tlstm的港口船舶轨迹预测方法
DE102021206014A1 (de) * 2021-06-14 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Bewegungsvorhersage für Verkehrsteilnehmer
CN113291321A (zh) * 2021-06-16 2021-08-24 苏州智加科技有限公司 一种车辆轨迹预测方法、装置、设备及存储介质
CN115496174B (zh) * 2021-06-18 2023-09-26 中山大学 优化网络表示学习的方法、模型训练方法和系统
CN113673412B (zh) * 2021-08-17 2023-09-26 驭势（上海）汽车科技有限公司 关键目标物的识别方法、装置、计算机设备及存储介质
CN113989326B (zh) * 2021-10-25 2023-08-25 电子科技大学 一种基于注意力机制的目标轨迹预测方法
US12080044B2 (en) 2021-11-24 2024-09-03 Zoox, Inc. Prediction sampling techniques
US12065171B2 (en) * 2021-11-24 2024-08-20 Zoox, Inc. Encoding relative object information into node edge features
US12084087B2 (en) * 2021-11-24 2024-09-10 Zoox, Inc. Focusing prediction distribution output for efficient sampling
CN114368387B (zh) * 2021-12-21 2024-06-14 吉林大学 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法
EP4207000A1 (en) * 2022-01-04 2023-07-05 Siemens Aktiengesellschaft Computer-implemented method for correcting at least one model output of a first trained machine learning model
US20230234612A1 (en) * 2022-01-25 2023-07-27 GM Global Technology Operations LLC System for predicting a location-based maneuver of a remote vehicle in an autonomous vehicle
CN114881339A (zh) * 2022-05-19 2022-08-09 长安大学 车辆轨迹预测方法、系统、计算机设备及存储介质
CN115099009B (zh) * 2022-05-31 2023-08-29 同济大学 一种基于推理图的混合交通流运动行为建模方法
CN114872735B (zh) * 2022-07-10 2022-10-04 成都工业职业技术学院 基于神经网络算法的自动驾驶物流车辆决策方法和装置
US11861853B1 (en) * 2022-11-17 2024-01-02 Elm System and method of vehicle speed estimation using moving camera and time series neural network
WO2024108079A1 (en) * 2022-11-18 2024-05-23 Visa International Service Association Method, system, and computer program product for spatial-temporal graph sandwich transformer for traffic flow forecasting
US20240217548A1 (en) * 2023-01-04 2024-07-04 Zoox, Inc. Trajectory prediction for autonomous vehicles using attention mechanism
CN116523156A (zh) * 2023-04-04 2023-08-01 同济大学 一种非保守型智能汽车决策规划一体化方法
US11838826B1 (en) 2023-04-25 2023-12-05 T-Mobile Usa, Inc. Location clustering and routing for 5G drive testing
CN116959260B (zh) * 2023-09-20 2023-12-05 东南大学 一种基于图神经网络的多车辆驾驶行为预测方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3400419A2 (en) * 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
US20180328745A1 (en) * 2017-05-09 2018-11-15 Uber Technologies, Inc. Coverage plan generation and implementation
US20200174490A1 (en) * 2017-07-27 2020-06-04 Waymo Llc Neural networks for vehicle trajectory planning
US11256983B2 (en) * 2017-07-27 2022-02-22 Waymo Llc Neural networks for vehicle trajectory planning
US10883844B2 (en) * 2017-07-27 2021-01-05 Waymo Llc Neural networks for vehicle trajectory planning
US11555706B1 (en) * 2017-09-27 2023-01-17 Apple Inc. Processing graph representations of tactical maps using neural networks
US11475351B2 (en) * 2017-11-15 2022-10-18 Uatc, Llc Systems and methods for object detection, tracking, and motion prediction
US10275689B1 (en) * 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US11256729B2 (en) * 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10990101B2 (en) * 2018-04-18 2021-04-27 Baidu Usa Llc Method for drifting correction for planning a path for autonomous driving vehicles
US11370446B2 (en) * 2018-08-06 2022-06-28 Honda Motor Co., Ltd. System and method for learning and predicting naturalistic driving behavior
US11521009B2 (en) * 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
US10875538B2 (en) * 2018-09-18 2020-12-29 Allstate Insurance Company Exhaustive driving analytical systems and modelers
US10831210B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Trajectory generation and optimization using closed-form numerical integration in route-relative coordinates
US11125881B2 (en) * 2018-12-10 2021-09-21 Waymo Llc Lidar-based trailer tracking
US11087173B2 (en) * 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
KR102555374B1 (ko) * 2018-12-27 2023-07-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11139990B2 (en) * 2018-12-29 2021-10-05 Intel Corporation Automatically verifying vehicle identity and validating vehicle presence
US10915109B2 (en) * 2019-01-15 2021-02-09 GM Global Technology Operations LLC Control of autonomous vehicle based on pre-learned passenger and environment aware driving style profile
IT201900002853A1 (it) * 2019-02-27 2020-08-27 Magneti Marelli Spa "Sistema per ottenere la predizione di un’azione di un veicolo e procedimento corrispondente"
DE112020002666T5 (de) * 2019-06-06 2022-05-12 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
US11023749B2 (en) * 2019-07-05 2021-06-01 Zoox, Inc. Prediction on top-down scenes based on action data
US11403853B2 (en) * 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks
US11380108B1 (en) * 2019-09-27 2022-07-05 Zoox, Inc. Supplementing top-down predictions with image features
US11610423B2 (en) * 2019-11-15 2023-03-21 Waymo Llc Spatio-temporal-interactive networks
US11420648B2 (en) * 2020-02-29 2022-08-23 Uatc, Llc Trajectory prediction for autonomous devices
US12103554B2 (en) * 2020-03-05 2024-10-01 Aurora Operations, Inc. Systems and methods for autonomous vehicle systems simulation
EP3929814A1 (en) * 2020-06-22 2021-12-29 Robert Bosch GmbH Making time-series predictions using a trained decoder model
EP3958129A1 (en) * 2020-08-17 2022-02-23 Volvo Car Corporation Method and system for validating autonomous control software for a self-driving vehicle
US11756309B2 (en) * 2020-11-23 2023-09-12 Waymo Llc Contrastive learning for object detection
US12060083B2 (en) * 2021-04-23 2024-08-13 Motional Ad Llc Planning with dynamic state a trajectory of an autonomous vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN115009275B (zh) * 2022-08-08 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN117962917A (zh) * 2022-10-24 2024-05-03 北京三快在线科技有限公司 自动驾驶决策规划方法及自动驾驶车辆

Also Published As

Publication number Publication date
BR102021001832A2 (pt) 2022-01-04
DE102020132559A1 (de) 2021-12-30
US20200324794A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
CN113850363A (zh) 将驾驶规范应用于自动车辆行为预测的技术
US11702105B2 (en) Technology to generalize safe driving experiences for automated vehicle behavior prediction
JP7086911B2 (ja) 自動運転車両のためのリアルタイム意思決定
JP7222868B2 (ja) オブジェクト挙動のリアルタイム予測
EP3739523A1 (en) Using decay parameters for inferencing with neural networks
CN113056749B (zh) 用于自主机器应用的未来对象轨迹预测
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
US20230280702A1 (en) Hybrid reinforcement learning for autonomous driving
JP2023507695A (ja) 自律運転アプリケーションのための３次元交差点構造予測
JP2023514905A (ja) 自律型車両のためのビヘイビア・プランニング
CN111695717A (zh) 自主机器应用中的时间信息预测
Kolekar et al. Behavior prediction of traffic actors for intelligent vehicle using artificial intelligence techniques: A review
US20230038673A1 (en) Sequential pedestrian trajectory prediction using step attention for collision avoidance
CN118215613A (zh) 用于高效的对象属性和/或意图分类的机器学习架构
Zhang et al. A learning-based method for predicting heterogeneous traffic agent trajectories: Implications for transfer learning
CN113767393A (zh) 使用具有显示生命周期的矢量图数据可视化自主交通工具过程
CN116324902A (zh) 检测对象和确定对象的行为
US20230169313A1 (en) Method for Determining Agent Trajectories in a Multi-Agent Scenario
US20240101157A1 (en) Latent variable determination by a diffusion model
CN117928530A (zh) 用于路径分布估计的方法和装置
Sharma et al. Transformer based composite network for autonomous driving trajectory prediction on multi-lane highways
CN113848699A (zh) 处理自动控制系统中的模糊性的技术
Chen et al. Edge-Cloud Collaborative Motion Planning for Autonomous Driving with Large Language Models
CN118306428B (zh) 智能体行驶预测模型构建方法、预测方法、设备及介质
Samal et al. Machine Learning Components for Autonomous Navigation Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination