CN113386745B - 确定关于对象的预计轨迹的信息的方法和系统 - Google Patents

确定关于对象的预计轨迹的信息的方法和系统 Download PDF

Info

Publication number
CN113386745B
CN113386745B CN202110208413.9A CN202110208413A CN113386745B CN 113386745 B CN113386745 B CN 113386745B CN 202110208413 A CN202110208413 A CN 202110208413A CN 113386745 B CN113386745 B CN 113386745B
Authority
CN
China
Prior art keywords
data
computer
intermediate data
network
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110208413.9A
Other languages
English (en)
Other versions
CN113386745A (zh
Inventor
赵坤
A·阿拉什卡
M·莫伊特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Manufacturing Management Services Co ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN113386745A publication Critical patent/CN113386745A/zh
Application granted granted Critical
Publication of CN113386745B publication Critical patent/CN113386745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/648—Performing a task within a working area or space, e.g. cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/65—Following a desired speed profile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及确定关于对象的预计轨迹的信息的方法和系统，该方法包括：确定与所述对象的预计轨迹相关的输入数据；使用机器学习方法基于所述输入数据确定第一中间数据；使用基于模型的方法基于所述输入数据确定第二中间数据；以及基于所述第一中间数据和所述第二中间数据确定关于所述对象的预计轨迹的信息。

Description

确定关于对象的预计轨迹的信息的方法和系统
技术领域
本公开涉及确定关于对象的预计轨迹的信息的方法和系统。
背景技术
车辆的人类驾驶员考虑周围交通参与者来做出机动决定。人类驾驶员下意识地、持续地和即时地预测周围动态对象的未来轨迹和碰撞的潜在风险。同时，驾驶员试图跟随车道，并将车辆保持在车道的中心。
对于至少部分自主的车辆，推荐车辆本身执行所有这种处理，这需要关于车辆周围和车辆本身的信息，尤其需要关于各种对象的预计轨迹的信息。
因此，需要有效且可靠地确定关于对象的预计轨迹的信息。
发明内容
本公开提供了一种计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
在一个方面，本公开涉及一种用于确定关于对象(例如车辆或行人)的预计轨迹的信息的计算机实现的方法，该方法包括由计算机硬件组件执行(换言之：实施)的以下步骤：确定与对象的预计轨迹相关的输入数据；使用机器学习方法基于所述输入数据确定第一中间数据；使用基于模型的方法基于所述输入数据确定第二中间数据；以及基于所述第一中间数据和所述第二中间数据确定关于所述对象的预计轨迹的信息。
预计轨迹可以是未来预计轨迹，其中“未来”可以被理解为在输入数据之后。这可以理解为预测将来的轨迹。
在另一方面，预计轨迹可以是过去的轨迹，其可以被理解为在输入数据之前。这可以理解为重建过去的轨迹。
换言之，关于预计轨迹的信息可以基于两种不同方法的结果来确定，一种方法是基于模型的方法，而另一种方法是机器学习方法。本方法提供了融合(融合基于模型的方法的结果和机器学习方法的结果)轨迹预测方法。还可以提供相应的系统。
基于第一中间数据和第二中间数据确定关于对象的预计轨迹的信息可以被理解为融合第一中间数据和第二中间数据以获得(直接地或在一个或更多个进一步处理步骤之后)关于对象的预计轨迹的信息。
说明性地，机器学习方法不需要学习所有内容，而仅仅是基于模型的方法(例如现有预测系统)没有描述的部分。例如，不能容易地模拟与其他车辆的交互，因此，可以通过机器学习方法来学习与其他车辆的交互的方面。
例如，如果现有系统使用“速度×时间”来预测未来位置，显然不能准确地描述车辆运动的加速和制动。然后可以训练机器学习方法以考虑车辆运动的加速和制动。
利用根据该方面的方法，机器学习方法可以结合已知的知识(即，基于模型的方法)并且可以改进长期轨迹应用的性能。
根据另一方面，输入数据可以基于传感器数据，其中，传感器数据包括雷达数据、激光雷达数据、超声波数据、移动无线电通信数据或摄像头数据中的至少一者。使用这些传感器，可以确定对象的先前轨迹，并且先前轨迹的信息可以用作输入数据。
根据另一方面，输入数据包括与对象和/或其他对象的位置和/或速度和/或加速度相关的信息。
根据另一方面，关于对象的预计轨迹的信息由时间的离散点(其中实际预计轨迹可以基于离散点之间的插值来确定)或由随时间的连续函数(其中实际预计轨迹可以基于对连续函数的评估来确定)来表示。
根据另一方面，基于第一中间数据和第二中间数据相加来确定关于对象的预计轨迹的信息。第一中间数据和第二中间数据可以被加权，并且权重可以由经训练的融合网络提供。权重可以是固定的，或者可以取决于第一中间数据和/或第二中间数据。
应当理解，这里提到的任何网络可以是神经网络或用于基于输入数据确定输出数据的任何其他合适类型的网络。
根据另一方面，可以使用融合网络基于第一中间数据和第二中间数据来确定关于对象的预计轨迹的信息。融合网络可以是神经网络，并且可以被训练以结合第一中间数据和第二中间数据来提供预计轨迹。
根据另一方面，融合网络包括多个可学习参数。例如，融合网络可以是神经网络，可学习参数可以是神经网络的权重。
根据另一方面，融合网络包括加权和。在加权和中使用的权重可以是常数或者可以从第一中间数据和/或第二中间数据学习(例如使用神经网络)。
根据另一方面，基于第一中间数据和第二中间数据相加来确定关于对象的预计轨迹的信息。
根据另一方面，所述机器学习方法包括第一编码网络。根据另一方面，所述基于模型的方法包括第二编码网络。
根据另一方面，可以使用第一解码网络基于第一中间数据来确定第一解码中间数据，其中，进一步基于第一解码中间数据来确定关于对象的预计轨迹的信息。根据另一方面，可以使用第二解码网络基于第二中间数据来确定第二解码中间数据，其中，进一步基于第二解码中间数据来确定关于对象的预计轨迹的信息。
根据另一方面，使用第一编码网络来确定第一中间数据，使用第二编码网络来确定第二中间数据，并且基于第一中间数据和第二中间数据使用融合网络来确定关于预计轨迹的信息。换句话说，可以在潜在空间(latent space)中执行融合(如下文将更详细描述)，且第一和第二中间数据是编码输出。
根据另一方面，使用第一编码网络和第一解码网络来确定第一中间数据，使用第二编码网络和第二解码网络来确定第二中间数据，并且使用融合网络基于第一中间数据和第二中间数据来确定关于预计轨迹的信息。换句话说，可以在物理空间中执行融合(如下文将更详细描述)，且第一和第二中间数据是解码输出。
在另一方面，本公开涉及一种计算机系统，所述计算机系统包括被配置成执行本文所述的计算机实现的方法的若干或所有步骤的多个计算机硬件组件。
计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储器单元和至少一个非暂时性数据存储器)。应当理解，可以提供另外的计算机硬件组件并用于在计算机系统中执行计算机实现的方法的步骤。非暂时性数据存储器和/或存储器单元可以包括计算机程序，用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文所描述的计算机实现的方法的若干或所有步骤或方面。
在另一方面，本公开涉及一种包括如上所述的计算机系统的车辆。
在另一方面，所述车辆还包括至少一个传感器，其被配置为获取传感器数据，其中，所述计算机系统被配置为基于所获取的传感器数据来确定所述输入数据。
在另一方面，本公开涉及一种非暂时性计算机可读介质，其包括用于执行本文所述的计算机实现的方法的若干或所有步骤或方面的指令。计算机可读介质可以被配置为：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，例如闪存；等等。此外，计算机可读介质可以被配置为经由诸如互联网连接的数据连接可访问的数据存储装置。计算机可读介质例如可以是在线数据储存库或云存储。
本公开还涉及用于指示计算机执行本文所述的计算机实现的方法的若干或所有步骤或方面的计算机程序。
附图说明
本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：
图1示出了基于机器学习的方法的图示；
图2示出了根据各种实施方式的扩展系统的图示；
图3示出了具有图2所示布置的替代布置的根据各种实施方式的系统的图示；
图4示出了具有图2所示布置的替代布置的根据各种实施方式的系统的图示；以及
图5示出了根据各种实施方式的确定关于对象的预计轨迹的信息的方法的流程图。
附图标记列表
100 基于机器学习的方法的图示
102 输入
104 编码网络
106 潜在代码
108 解码网络
110 预测未来轨迹
200 根据各种实施方式的扩展系统的图示
202 输入
204 第一编码网络
206 第一潜在代码
208 基于模型的预测系统
210 基于模型的结果
212 第二编码网络
214 第二潜在代码
216 融合网络
218 融合代码
220 解码网络
222 预测未来轨迹
300 根据各种实施方式的具有图2所示布置的替代布置的系统的图示
302 第一解码网络
304 预测未来轨迹的第一部分
306 第二解码网络
308 预测未来轨迹的第二部分
310 加权和
312 融合网络
314 权重
400 根据各种实施方式的具有图2所示布置的替代布置的系统的图示
500 示出根据各种实施方式的用于确定关于对象的预计轨迹的信息的方法的流程图
502 确定与对象的预计轨迹相关的输入数据的步骤
504 使用机器学习方法基于输入数据确定第一中间数据的步骤
506 使用基于模型的方法基于输入数据确定第二中间数据的步骤
508 基于第一中间数据和第二中间数据确定关于对象的预计轨迹的信息的步骤
具体实施方式
图1示出了基于机器学习的方法的图示100。可以将输入X 102提供给编码网络104，该输入X 102可以包括目标轨迹的测量特征，并且还可能包括其相邻车辆的轨迹。测量例如可以是关于当前位置和速度的信息。编码网络104可以是神经网络(NN)，例如基于RNN(递归神经网络)的网络。例如，在欧洲专利申请19202631.8(通过引用将其整体并入本文)中描述的方法可以用作编码网络104。该网络的输出106(也可称为h1)可以是潜在空间(换言之：隐藏空间)中的代码，其描述目标的完整过去动态，并且还可能描述其与周围车辆的交互。
利用潜在代码106，解码网络108可以将其解码成预测未来轨迹Y 110的给定形式。在一个示例中，对于五秒长的未来轨迹可以预测五个点，它们之间具有一秒的间隔。
对象的过去轨迹可以用连续时间帧上的多个点来描述。各个点可以包括但不限于描述对象在特定过去时间帧的状态的特征(例如位置、速度、加速度、航向角)。
根据各种实施方式，给定目标对象的过去轨迹以及可能还有其周围对象的轨迹，可以预测目标的未来轨迹，其可以类似地由多个未来时间帧处的多个点来表示，或者其可以以连续的方式来描述，诸如欧洲专利申请19219051.0中描述的方法，其通过引用整体并入本文。
图2示出了根据各种实施方式的扩展系统的图示200，其扩展了图1的基于纯机器学习的网络。
X 202可以是输入，例如系统轨迹输入(换言之：过去轨迹)。Y 222可以是预测的未来轨迹。第一编码网络204和第一潜在代码206(h1)可以与图1的编码网络104和潜在代码106相似或相同。第一潜在代码206可以是第一中间数据。
基于模型的预测系统208可以输出基于模型的结果210，其可用作第二编码网络212的输入。第二编码网络212可以输出第二潜在代码214。第二潜在代码214可以是第二中间数据。第二编码网络212可以用于将基于模型的预测的输出210(其例如可以包括或可以是未来轨迹点)编码为潜在代码，使得可以在潜在空间中执行融合。
融合网络216可以是具有可学习(换言之：可训练或可优化)参数的网络，并且可以基于第一潜在代码206(h1)和第二潜在代码214(h2)来输出融合代码218(h)。例如，融合网络216可以根据以下等式来确定融合代码218：
h＝f(W1*h1+W2*h2+b)，
其中，f可以是函数，例如激活函数，并且W1和W2可以是可训练权重。融合代码218可以提供给解码网络220以解码最终轨迹。
轨迹数据可以是时间序列数据，并且编码和解码网络可以使用RNN来实现，例如长短期存储器(LSTM)和/或门控递归单元(GRU)。然而，应当理解，可以使用任何其它类型的网络来代替RNN进行编码或解码，例如可以使用卷积神经网络(CNN)。
输入数据X 202例如可以包括在纵向和/或横向方向上的过去轨迹点位置、所测得的速度和/或加速度。这些数据可以在车辆坐标系中提供。此外，输入数据X可以包括自我车辆自身的速度和/或偏航率。
如其名称所暗示的，潜在代码可能不具有特定的物理含义。潜在代码可以是编码网络的输出，并且该输出实际上不具有物理意义，因此该输出可以被认为是潜在代码。可以认为潜在代码类似于加密代码。
基于模型的结果210可以包括表示预测轨迹点的位置的数据，例如x和y位置。在各种实施方式中，预测的轨迹点可以具有比仅是位置更多的变量，例如，其还可以包括速度和/或加速度。
基于模型的预测系统208可以包括用于预测运动或轨迹的计算的、基于物理学的模型，并且可以是基于物理定律的或可以是基于跟踪的。
例如，存在限制和描述对象的运动的物理定律。理论上，可以使用物理定律来预测任何运动对象的运动。
作为一个简化示例，给定速度v，加速度a，t秒之后的驾驶距离s可以使用下式来计算：
s＝v*t+0.5*a*t^2。
该物理定律是正确的，但是由于速度v和加速度a在时间段t(例如t秒)内保持恒定(即相同)的基本假设，仅采用该物理定律对于运动对象的预测可能不适当地起作用，并且该假设对于相对长的时间段t可能不是有效的或可行的，这是长期轨迹预测的情况。如果想要预测车辆的下一个例如0.05秒的位置，则上述物理定律可以很好地保持。车辆不能立即改变其运动，因此对于0.05秒的未来预测，该假设仍然可行。但是对于自主驾驶应用，需要几秒的长期预测，例如以帮助预测可能的危险、和/或帮助规划自我路径。
人类驾驶员可以非常快地对突然的紧急情况作出反应，并且在不到半秒钟内进行制动，因此这种简单的基于物理定律的方法显然不能用于自主驾驶应用。
这样，更先进的基于物理定律的方法可以用于根据各种实施方式的基于模型的方法。例如，可以将运动分解为纵向和横向，并且可以使用速度和加速度分别预测x和y分量。如果提供更多信息，那么不仅速度和加速度，而且例如加速度变化率、转弯速率、俯仰角等，可以进一步改进基于模型的预测。现实世界驾驶状况可能偏离上述等式所描述的。
在对象跟踪区域中，可以使用用于状态估计的基于卡尔曼滤波器的方法。例如，这种方法可以用于雷达应用。
跟踪系统可以结合系统模型，该系统模型用各种参数来描述例如具有复杂物理建模的对象的运动。给定得到的测量，跟踪器可以对这些参数进行估计。
此外，像多模型(MM)(例如交互多模型(IMM))的技术可以提供将多个不同的系统模型结合到跟踪系统中的可能性。这种跟踪器可以估计所有模型及其相应参数的可能性。
作为简化示例，车辆跟踪系统可以具有以下模型：
·车辆以恒定加速度直线向前行驶(恒定速度是加速度恒定为0的特殊情况)。
·车辆以恒定的偏航运动转弯。
然后，跟踪系统可以估计每个模型的可能性，并且查看哪一个最可能发生在当前时间帧。这种基于IMM的跟踪系统可以更快地响应操纵，并且因此可以在现实世界应用中提供良好的性能。
这种系统也可以用于预测，因为它具有多个模型及其可能性，所以它可以给出更好的预测。
根据欧洲专利申请19202631.8(其通过引用整体并入本文)，可以为长期轨迹预测分类三个关键因素：
·过去轨迹
·动态环境
·静态环境
可以考虑“过去轨迹”的因素，即如何更精确地建模和估计运动。根据各种实施方式，对于长期未来轨迹，也可以考虑与周围动态和静态环境的交互。
描述移动的物理定律可能不是错误的，只是它们使用的假设可能对所有情况无效。根据各种实施方式，可以使用涉及物理定律的模型的知识，并且可以训练机器学习方法来补偿在某些情况下物理模型的无效性。
根据各种实施方式，基于机器学习的方法可以与任何现有的预测系统相结合：一方面，数据驱动方法可以结合到问题中，避免显式建模。对象的运动仍然可以根据物理定律来建模，但是环境的其它因素可能不能(容易地)以这种方式来完成。因此，可以使用根据各种实施方式的机器学习方法来近似与环境的底层相当复杂的交互。
另一方面，来自任何现有系统的已知知识可以被带入机器学习方法。
根据各种实施方式，可以提供任何现有系统(例如基于模型的方法)与用于轨迹预测的基于机器学习的方法的集成。不管现有系统如何简单或复杂，基于机器学习的方法(例如(神经)网络)都可以帮助改进轨迹预测结果。
回到图2，处理路径“X->编码网络1->h1->融合网络”可以集成任何机器学习系统。例如，学习目标与其周围车辆之间的交互的系统(例如，如欧洲专利申请19202631.8中所述，其通过引用整体并入本文)，或学习目标与静态驾驶环境的交互的系统。
处理路径“X2->编码网络2->h2->融合”可以将已知知识带入机器学习方法，例如使用基于模型的预测系统208。整个网络不需要完全从数据中学习所有内容。
图3示出了根据各种实施方式的系统的图示300，该系统具有图2所示布置的替代布置。例如，第一解码网络302可以基于第一潜在代码206提供预测未来轨迹222的第一部分304(y1)，而第二解码网络306可以基于第二潜在代码214提供预测未来轨迹222的第二部分308(y2)。预测未来轨迹222可以是第一部分304和第二部分(其对应于基于模型的结果210)的加权和310，使得：y＝w*y1+(1-w)*y2，其中，加权相加的权重w 314可以被融合网络312学习。
当比较图2和图3时，可以看出，以相同的方式处理第一潜在代码206和第二潜在代码214。区别在于第一潜在代码206和第二潜在代码214如何组合并最终解码为最终结果Y(222)。
在图2所示的实施方式中，在潜在空间中执行融合，即融合网络216直接将第一潜在代码206和第二潜在代码214组合成一个潜在代码h(218)。之后使用解码网络220执行潜在代码h(218)的解码。在图2所示的实施方式中，第一中间数据可以是第一潜在代码206，第二中间数据可以是第二潜在代码214。
在图3所示的实施方式中，在物理空间中执行融合，即，每个加权和组合预测轨迹y1(304)和y2(308)(而不是如图2所示的它们的潜在代码)。用于相加的权重w(218)可以从第一和第二潜在代码206、214获知。在图2所示的实施方式中，第一中间数据可以是预测未来轨迹y1(304)的第一部分，而第二中间数据可以是预测未来轨迹y2(304)的第二部分。
根据各种实施方式，可以不存在第二解码网络306，并且可以使用基于模型的结果210来代替预测轨迹y2(308)。
图4示出了根据各种实施方式的系统的图示400，该系统具有图2所示布置的替代布置，其中融合可以是“相加”(addition)操作。给定输入，网络给出预测304(y1)，并且将其直接加到基于模型的预测301。这可以直观地理解为网络对基于模型的预测进行校正。
图4所示的实施方式可以被认为是图3所示的实施方式的特殊情况，其中权重w具有恒定值“1”。因此，不再需要用于产生权重w 314的第二编码网络212、第二解码网络306和融合网络312。
因此，在图2和图3或图4中示出的实施方式之间的主要区别是在哪里执行融合(或者在潜在空间中融合潜在代码，或者在物理空间中首先解码代码然后将它们加在一起)。
图5示出了根据各种实施方式的用于确定关于对象的预计轨迹的信息的方法的流程图500。在502中，可以确定与对象的预计轨迹相关的输入数据。在504中，可以使用机器学习方法基于输入数据确定第一中间数据。在506中，可以使用基于模型的方法基于输入数据确定第二中间数据。在508中，可以基于第一中间数据和第二中间数据确定关于对象的预计轨迹的信息。
根据各种实施方式，输入数据可以基于传感器数据，传感器数据包括雷达数据、激光雷达数据、超声波数据、移动无线电通信数据或摄像头数据中的至少一者。
根据各种实施方式，输入数据可以包括或可以是与对象和/或其他对象的位置和/或速度和/或加速度相关的信息。
根据各种实施方式，关于对象的预计轨迹的信息可以由时间的离散点或由随时间的连续函数来表示。
根据各种实施方式，可以基于第一中间数据和第二中间数据相加来确定关于对象的预计轨迹的信息。
根据各种实施方式，可以基于第一中间数据和第二中间数据使用融合网络来确定关于对象的预计轨迹的信息。
根据各种实施方式，其中，融合网络可以包括多个可学习参数。
根据各种实施方式，融合网络包括加权和(换言之：在融合网络中使用加权和)。
根据各种实施方式，基于第一中间数据和第二中间数据相加来确定关于对象的预计轨迹的信息。
根据各种实施方式，机器学习方法可以包括或可以是第一编码网络。
根据各种实施方式，基于模型的方法可以包括第二编码网络。
根据各种实施方式，可以使用第一编码网络来确定第一中间数据，可以使用第二编码网络来确定第二中间数据，并且可以基于第一中间数据和第二中间数据使用融合网络来确定关于预计轨迹的信息。
根据各种实施方式，可以使用第一编码网络和第一解码网络来确定第一中间数据，可以使用第二编码网络和第二解码网络来确定第二中间数据，并且可以基于第一中间数据和第二中间数据使用融合网络来确定关于预计轨迹的信息。
根据各种实施方式，该方法还可以包括使用第一解码网络基于第一中间数据确定第一解码中间数据，其中，可以进一步基于第一解码中间数据确定关于对象的预计轨迹的信息。
根据各种实施方式，该方法还可以包括使用第二解码网络基于第二中间数据确定第二解码中间数据，其中，可以进一步基于第二解码中间数据确定关于对象的预计轨迹的信息。
步骤502、步骤504、步骤506、步骤508中的每一个以及上述其它步骤可以由计算机硬件组件来执行。

Claims (14)

1.一种确定关于对象的预计轨迹的信息的计算机实现的方法，
该方法包括由计算机硬件组件执行的以下步骤：
-确定与所述对象的所述预计轨迹相关的输入数据(502)；
-使用机器学习方法基于所述输入数据确定第一中间数据(504)；
-使用基于模型的方法基于所述输入数据确定第二中间数据(506)；以及
-基于所述第一中间数据并基于所述第二中间数据确定关于所述对象的所述预计轨迹的所述信息(508)，
其中，关于所述对象的所述预计轨迹的所述信息是基于所述第一中间数据并基于所述第二中间数据使用融合网络来确定的。
2.根据权利要求1所述的计算机实现的方法，
其中，所述融合网络包括多个可学习参数。
3.根据权利要求1或2所述的计算机实现的方法，
其中，所述融合网络包括加权和。
4.根据权利要求1所述的计算机实现的方法，
其中，关于所述对象的所述预计轨迹的所述信息是基于所述第一中间数据和所述第二中间数据相加来确定的。
5.根据权利要求1所述的计算机实现的方法，
其中，所述机器学习方法包括第一编码网络。
6.根据权利要求1所述的计算机实现的方法，
其中，所述基于模型的方法包括第二编码网络。
7.根据权利要求1所述的计算机实现的方法，
其中，所述第一中间数据是使用第一编码网络确定的；
其中，所述第二中间数据是使用第二编码网络确定的。
8.根据权利要求1所述的计算机实现的方法，
其中，所述第一中间数据是使用第一编码网络和第一解码网络确定的；
其中，所述第二中间数据是使用第二编码网络和第二解码网络确定的。
9.根据权利要求1所述的计算机实现的方法，
其中，所述输入数据是基于传感器数据的，所述传感器数据包括雷达数据、激光雷达数据、超声波数据、移动无线电通信数据或摄像头数据中的至少一者。
10.根据权利要求1所述的计算机实现的方法，
其中，所述输入数据包括与所述对象和/或另外的对象的位置和/或速度和/或加速度相关的信息。
11.一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行根据权利要求1至10中任一项所述的计算机实现的方法的步骤。
12.一种包括根据权利要求11所述的计算机系统的车辆。
13.根据权利要求12所述的车辆，该车辆还包括：
至少一个传感器，所述至少一个传感器被配置成采集传感器数据；并且
其中，所述计算机系统被配置成基于所获取的传感器数据来确定所述输入数据。
14.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至10中任一项所述的计算机实现的方法的指令。
CN202110208413.9A 2020-02-27 2021-02-25 确定关于对象的预计轨迹的信息的方法和系统 Active CN113386745B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20159899.2A EP3872710A1 (en) 2020-02-27 2020-02-27 Method and system for determining information on an expected trajectory of an object
EP20159899.2 2020-02-27

Publications (2)

Publication Number Publication Date
CN113386745A CN113386745A (zh) 2021-09-14
CN113386745B true CN113386745B (zh) 2023-12-29

Family

ID=69742833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110208413.9A Active CN113386745B (zh) 2020-02-27 2021-02-25 确定关于对象的预计轨迹的信息的方法和系统

Country Status (3)

Country Link
US (1) US11941509B2 (zh)
EP (1) EP3872710A1 (zh)
CN (1) CN113386745B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3806065A1 (en) 2019-10-11 2021-04-14 Aptiv Technologies Limited Method and system for determining an attribute of an object at a pre-determined time point
EP3943969A1 (en) 2020-07-24 2022-01-26 Aptiv Technologies Limited Methods and systems for predicting a trajectory of an object
US20220121201A1 (en) * 2020-10-15 2022-04-21 Argo AI, LLC System for anticipating future state of an autonomous vehicle
CN117371184B (zh) * 2023-09-20 2024-04-16 广东省水利水电第三工程局有限公司 一种大型混凝土的水化反应结构强度变化仿真方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156850B1 (en) * 2017-12-08 2018-12-18 Uber Technologies, Inc. Object motion prediction and vehicle control systems and methods for autonomous vehicles
CN109937343A (zh) * 2017-06-22 2019-06-25 百度时代网络技术（北京）有限公司 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN110834644A (zh) * 2019-10-30 2020-02-25 中国第一汽车股份有限公司 一种车辆控制方法、装置、待控制车辆及存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050265633A1 (en) * 2004-05-25 2005-12-01 Sarnoff Corporation Low latency pyramid processor for image processing systems
EP1779295A4 (en) 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
EP3845427A1 (en) 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US10482331B2 (en) 2015-11-20 2019-11-19 GM Global Technology Operations LLC Stixel estimation methods and systems
US20170293837A1 (en) 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Multi-Modal Driving Danger Prediction System for Automobiles
US11774944B2 (en) * 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US10482379B2 (en) * 2016-07-29 2019-11-19 Google Llc Systems and methods to perform machine learning with feedback consistency
US10713500B2 (en) 2016-09-12 2020-07-14 Kennesaw State University Research And Service Foundation, Inc. Identification and classification of traffic conflicts using live video images
GB201616095D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd A neural network and method of using a neural network to detect objects in an environment
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
KR20180094725A (ko) 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
US11200433B2 (en) 2017-05-03 2021-12-14 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
EP3596661A1 (en) * 2017-05-19 2020-01-22 Deepmind Technologies Limited Data efficient imitation of diverse behaviors
US10395144B2 (en) 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
EP3438872A1 (en) 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US10656657B2 (en) 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
US20190065878A1 (en) 2017-08-22 2019-02-28 GM Global Technology Operations LLC Fusion of radar and vision sensor systems
DE102017121052A1 (de) 2017-09-12 2019-03-14 Valeo Schalter Und Sensoren Gmbh Verarbeitung einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke zu einem Poincaré-invarianten symmetrischen Eingabevektor für ein neurales Netzwerk
CN108874445A (zh) * 2017-10-30 2018-11-23 上海寒武纪信息科技有限公司 神经网络处理器及使用处理器执行向量点积指令的方法
US11017550B2 (en) * 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US10933869B2 (en) 2017-11-29 2021-03-02 Uatc, Llc Autonomous vehicle motion control systems and methods
EP3495220B1 (en) 2017-12-11 2024-04-03 Volvo Car Corporation Path prediction for a vehicle
US11370423B2 (en) * 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US11454975B2 (en) * 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
KR102175239B1 (ko) 2018-08-16 2020-11-06 (주)스마트레이더시스템 인공 지능을 이용하여 레이더 신호로부터 타겟을 추적하는 방법 및 그 장치
EP3806065A1 (en) 2019-10-11 2021-04-14 Aptiv Technologies Limited Method and system for determining an attribute of an object at a pre-determined time point
EP3839805A1 (en) 2019-12-20 2021-06-23 Aptiv Technologies Limited Method for determining continuous information on an expected trajectory of an object
CN111401419A (zh) 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 基于改进RetinaNet的员工着装规范检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937343A (zh) * 2017-06-22 2019-06-25 百度时代网络技术（北京）有限公司 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US10156850B1 (en) * 2017-12-08 2018-12-18 Uber Technologies, Inc. Object motion prediction and vehicle control systems and methods for autonomous vehicles
CN110834644A (zh) * 2019-10-30 2020-02-25 中国第一汽车股份有限公司 一种车辆控制方法、装置、待控制车辆及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fusion Modeling Method of Car-Following Characteristics;YUFANG LI;《IEEE Access》;全文 *
Neural Network Aided Potential Field Approach For Pedestrian Prediction;Florian Particke;《IEEE Access》;全文 *

Also Published As

Publication number Publication date
EP3872710A1 (en) 2021-09-01
US20210271252A1 (en) 2021-09-02
US11941509B2 (en) 2024-03-26
CN113386745A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113386745B (zh) 确定关于对象的预计轨迹的信息的方法和系统
Kuutti et al. A survey of deep learning applications to autonomous vehicle control
Huang et al. Uncertainty-aware driver trajectory prediction at urban intersections
Casas et al. Implicit latent variable model for scene-consistent motion forecasting
Yao et al. Bitrap: Bi-directional pedestrian trajectory prediction with multi-modal goal estimation
Huang et al. Multi-modal sensor fusion-based deep neural network for end-to-end autonomous driving with scene understanding
Tang et al. Multiple futures prediction
Karle et al. Scenario understanding and motion prediction for autonomous vehicles—review and comparison
US11189171B2 (en) Traffic prediction with reparameterized pushforward policy for autonomous vehicles
CN109624990B (zh) 用于基于关键帧的自主车辆操作的系统及计算机实现方法
Yuan et al. Deep reinforcement learning based game-theoretic decision-making for autonomous vehicles
US11242050B2 (en) Reinforcement learning with scene decomposition for navigating complex environments
CN113807460B (zh) 智能体动作的确定方法和装置、电子设备和介质
CN109941293A (zh) 使用深度视频帧预测来训练自主车辆的控制器
Stanley et al. Neuroevolution of an automobile crash warning system
Nayak et al. Uncertainty estimation of pedestrian future trajectory using Bayesian approximation
Kalapos et al. Sim-to-real reinforcement learning applied to end-to-end vehicle control
Acerbo et al. Safe and computational efficient imitation learning for autonomous vehicle driving
CN112418432A (zh) 分析多个物理对象之间的相互作用
CN112418421A (zh) 一种基于图注意力自编码模型的路侧端行人轨迹预测算法
Chen et al. Spatial-temporal graph neural network for interaction-aware vehicle trajectory prediction
Karle et al. Mixnet: Physics constrained deep neural motion prediction for autonomous racing
Yavas et al. A Real-World Reinforcement Learning Framework for Safe and Human-Like Tactical Decision-Making
Gao et al. Modeling spatio-temporal interactions for vehicle trajectory prediction based on graph representation learning
US12112622B2 (en) Systems and methods for heterogeneous multi-agent multi-modal trajectory prediction with evolving interaction graphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240731

Address after: Luxembourg

Patentee after: Anbofu Technology (2) Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michael

Patentee before: Aptiv Technologies Ltd.

Country or region before: Barbados

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20241014

Address after: Luxembourg

Patentee after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Luxembourg

Patentee before: Anbofu Technology (2) Co.,Ltd.

Country or region before: Luxembourg