CN114723097A - 用于为基于注意力的轨迹预测方法确定权重的方法和系统 - Google Patents

用于为基于注意力的轨迹预测方法确定权重的方法和系统 Download PDF

Info

Publication number
CN114723097A
CN114723097A CN202111610207.7A CN202111610207A CN114723097A CN 114723097 A CN114723097 A CN 114723097A CN 202111610207 A CN202111610207 A CN 202111610207A CN 114723097 A CN114723097 A CN 114723097A
Authority
CN
China
Prior art keywords
computer
sequence
capture
capture result
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111610207.7A
Other languages
English (en)
Inventor
I·弗里曼
赵坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN114723097A publication Critical patent/CN114723097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Electromagnetism (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)

Abstract

本公开提供用于为基于注意力的轨迹预测方法确定权重的方法和系统。该方法包括由计算机硬件组件执行的以下步骤：接收由传感器取得的多个捕捉结果形成的序列；基于序列的第一捕捉结果确定序列的第一捕捉结果的未归一化权重；以及基于序列的第一捕捉结果的未归一化权重和序列的第二捕捉结果的归一化权重来确定序列的第一捕捉结果的归一化权重。

Description

用于为基于注意力的轨迹预测方法确定权重的方法和系统
技术领域
本公开涉及用于为基于注意力的轨迹预测方法确定权重的方法和系统。
背景技术
预测例如载具、骑车人或行人这样的对象的轨迹是各种汽车应用中的基本任务。
因此，需要提供有效且可靠的轨迹预测。
发明内容
本公开提供由计算机实现的方法、计算机系统、车辆和非暂时计算机可读介质。在说明书和附图中给出了实施方式。
在一个方面，本公开一种用于为基于注意力的轨迹预测方法确定权重的由计算机实现的方法，该方法包括由计算机硬件组件执行(即实施)的以下步骤：接收由传感器取得的多个捕捉结果形成的序列；基于所述序列的第一捕捉结果确定所述序列的所述第一捕捉结果的未归一化权重；以及基于所述序列的所述第一捕捉结果的所述未归一化权重和所述序列的第二捕捉结果的归一化权重来确定所述序列的所述第一捕捉结果的归一化权重。
基于注意力的方法的权重可以包括或者可以是归一化权重或者多个这样的归一化权重。
应当理解，用该方法，可以如本文所述确定多个归一化权重。
将理解，多个捕捉结果形成的序列可以是插值序列并且不一定对应于实际传感器读数序列。
用该方法，在聚焦于模型特定代理时可以观察到时间尺寸。该方法可以提供计算轻量的方法。
根据另一个方面，关于序列的捕捉结果递归地确定多个归一化权重。这允许该方法具有高效率，其中使用一个捕捉结果的归一化权重来确定另一个捕捉结果的归一化权重。这样，序列的历史可以以非常紧凑的方式传播。递归深度为一个捕捉结果是优选的，即第一捕捉结果的归一化权重基于不包括第一捕捉结果的仅一个第二捕捉结果的归一化权重。可以理解的是，其他进一步捕捉结果的归一化权重仍然可以影响第一捕捉结果的归一化权重，即通过“仅一个第二捕捉结果”的归一化权重。这是由于信息传播的递归性质。
根据另一个方面，捕捉结果的所述序列表示捕捉结果的时间序列，并且其中，所述序列的包括所述第二捕捉结果和所述第一捕捉结果在内的至少一些捕捉结果对应于不同的时刻。捕捉结果的序列可以例如包括视频序列和/或雷达数据序列和/或激光雷达数据序列。
序列的包括第一捕捉结果和第二捕捉结果在内的至少一些捕捉结果对应于不同的时刻。特别地，第一捕捉结果可以对应于第一时刻并且第二捕捉结果对应于第二时刻，第一时刻在第二时刻之后。这就是说，进一步的捕捉结果表示序列的历史，其用于实现方法的实时处理。但是，也可以从未来的捕捉结果中取得数据，如果在确定归一化权重之前可以获取至少一些捕捉结果，则这很有用。
根据另一个方面，第一捕捉结果对应于第一时刻并且第二捕捉结果对应于第二时刻，第二时刻在第一时刻之前。
根据另一个方面，第一捕捉结果的归一化权重是通过根据合并规则合并第一捕捉结果的未归一化权重和第二捕捉结果的归一化权重来确定的。这意味着将第一捕捉结果的未归一化权重和第二捕捉结果的归一化权重融合在一起，即数学组合以产生第一捕捉结果的归一化权重。因此，至少两个不同捕捉结果的信息被设置在一个归一化权重中。原则上，可以使用任何期望的数学运算来合并权重。
根据另一个方面，融合数据保持了关于所有先前时间步的信息，而不仅仅是前一时间步。换句话说，对于时间步t>0，融合数据可能是来自时间步[0,1,…,t-1]的加权组合。换句话说：顺序处理的迭代性质保持系统中所有先前时间步的激活。
根据另一个方面，合并规则定义将第一捕捉结果的未归一化权重和第二捕捉结果的归一化权重使用各自的因子相加，并且对所得的和应用归一化规则以获得第一捕捉结果的归一化权重。
根据另一个方面，在和中，第一捕捉结果的未归一化权重乘以第一因子，并且第二捕捉结果的归一化权重乘以第二因子。
因子(在下文中可以称为α和β)可以是可训练的参数。由于仅使用两个附加参数，因此可以提供轻量的机器学习模型。特别是对于通常具有数千个参数的模型，两个附加参数可能是可忽略的开销。该方法可以作为网络的一部分进行训练。
第一因子和第二因子可用于控制第二捕捉结果的归一化权重对第一捕捉结果的归一化权重的影响(例如当采用归一化权重的递归确定时)。第二因子越大(或越高)，归一化权重的历史就越重要。这对相应捕捉结果的归一化权重应用较大的平滑。
根据另一个方面，归一化规则包括指数归一化。对于轨迹预测的改进，已发现指数归一化非常有效。
指数归一化可以定义为多个权重中的相应一个的指数函数除以权重中至少一些、优选地所有权重的指数函数之和。例如，假设有两个权重p1和p2。然后，第一个值p1的指数归一化版本可以表示为p1’＝exp(p1)/(exp(p1)+exp(p2))，其中exp()表示指数函数。同样，第二个值p2的指数归一化版本可以表示为p2’＝exp(p2)/(exp(p1)+exp(p2))。该算式提供的指数归一化可以称为柔性最大值(softmax)归一化。柔性最大值函数也可以称为归一化指数函数，并且可以是指数函数到多维的一般化。
根据另一个方面，第一捕捉结果的未归一化权重是通过使用人工神经网络生成的，人工神经网络可以简称为“神经网络”。可以计算导数。可以将导数集成到人工神经网络的基于梯度的优化的训练方案中。更具体地，各种实施方式或方面的数学形式相对于其输入及其参数(α和β)具有明确的导数。然后，这些导数可以用于通过该算法传播误差信号，从而允许集成到任何基于梯度的学习方法(例如人工神经网络或条件随机场)中。
根据另一个方面，神经网络包括卷积神经网络。卷积神经网络是一类人工神经网络，其被设计成模仿从眼睛到视觉皮层的人类视觉处理系统。其由任意数量的连续层组成，这些层被一起训练以完成所需的任务。卷积神经网络的各层都学习识别与特定任务相关的复杂性不断增加的特征。虽然优选使用卷积神经网络，但要强调的是，也可以使用其他方式，只要其适合于如上所述逐个捕捉结果生成多个未归一化权重。
根据另一个方面，在基于注意力的方法中，权重用于与特征向量点积。
根据另一个方面，权重与特征向量的相应部分的相关性有关。
根据各个方面的方法可以是临时(Adhoc)方法，其可以应用于现有技术以进行改进。上下文中的“临时”可以理解为表示可以在不对现有系统进行进一步修改或调整的情况下将该方法附加到现有模型；该方法可以由独立的计算单元提供。
在另一个方面，本公开针对一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文描述的由计算机实现的方法的若干或所有步骤。计算机系统可以是载具的一部分。
计算机系统可以包括多个计算机硬件组件(例如处理器(例如处理单元或处理网络)、至少一个存储器(例如存储器单元或存储器网络)，以及至少一个非暂时数据存储部)。应当理解，可以提供并使用另外的计算机硬件组件来在计算机系统中执行由计算机实现的方法的步骤。非暂时数据存储部和/或存储器单元可以包括用于指示计算机执行本文描述的由计算机实现的方法的若干或所有步骤或方面的计算机程序，例如使用处理单元和至少一个存储器单元。
在另一个方面，本公开涉及一种载具，所述载具包括本文所描述的计算机系统。所述载具还可包括传感器。
在另一个方面，本公开涉及一种非暂时计算机可读介质，其包括用于执行在此描述的由计算机实现的方法的几个或所有步骤或方面的指令。计算机可读介质可以被配置成：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态硬盘(SSD)；只读存储器(ROM)，例如闪存；等。此外，计算机可读介质可以被配置成可通过数据连接(例如互联网连接)访问的数据存储器。例如，计算机可读介质可以是在线数据储存库或云存储。
本公开还针对一种用于指示计算机执行这里描述的由计算机实现的方法的若干或所有步骤或方面的计算机程序。
各个方面可以应用于自适应巡航控制、自动紧急制动、路径规划和/或(现实的)环境仿真。
附图说明
在此结合以下附图描述本公开的示例性实施方式和功能。
图1示意性地示出了根据各种实施方式的预测系统的图示；
图2示意性地示出了根据各种实施方式的用于为基于注意力的方法确定权重的方法的流程图；
图3示意性地示出了根据各种实施方式的权重确定系统；以及
图4示意性地示出了具有多个计算机硬件组件的计算机系统，该计算机系统被配置成执行根据各种实施方式的用于为基于注意力的方法确定权重的由计算机实现的方法的步骤。
具体实施方式
预测例如载具、骑车人或行人这样的对象的轨迹是各种汽车应用中的基本任务。
根据各种实施方式，可以提供有效且可靠的轨迹预测。
轨迹预测或用于轨迹预测的方法已被广泛使用。例如，轨迹预测现在用于自主应用，例如载具的自主驾驶。在此类应用中，不仅图像数据，还有来自其他传感器的数据，例如雷达和激光雷达传感器必须针对其内容进行处理和分析，并且可以预测其他载具、骑车人或行人的轨迹。
由于轨迹预测的输出，即所预测的轨迹(或所预测的多个轨迹，例如一辆或多辆载具、一名或多名骑车人和/或一名或多名行人的所预测的轨迹)形成了自动应用的安全关键基础，例如，自动生成自动驾驶汽车的指令，轨迹预测的高可靠性至关重要。
阻碍轨迹预测的高准确性的一个问题是单次捕捉结果本身并不总是非常可靠。为了减少这个问题，根据各种实施方式，可以评估作为序列(诸如视频序列)的一部分的多个后续捕捉结果。这种方案可以允许考虑基于捕捉结果的所预测的轨迹之间的时间依赖性，其中，不符合系统趋势的个体异常值可以被排除或至少减少其对轨迹预测的影响。
注意模型和配置可以输出两个张量。第一张量可以包括场景中各个代理的特征向量。第二张量可以为各个代理提供权重。第二张量可以对应于不同环境元素的估计相关性上的分布。然后可以计算向量的点积(乘法和加法)(换句话说：特征向量和包括各个代理权重的向量的点积)以创建恒定大小的特征向量，其中所有代理都根据它们的相关性分数而被包括在内。
根据各种实施方式，可以应用在各种出版物中描述的传统的转换器框架。
分布可以指在所有邻居上的相关性分布。例如，如果计划向左变道，则左侧载具的重要性可以为80％，而前方载具的相关性仅为20％。
注意力向量可以是给出上述分布的向量的名称。
邻居可以指代本代理周围的代理，例如载具。
特征值可以被理解为神经网络的给定层的输出。
图1示出了根据各种实施方式的预测系统的图示100。矢量、数据和特征由阴影框例示，类似于示例框102。操作和功能由实心框例示，类似于示例框104。模型由虚线框例示，类似于示例框106。
图1示出了根据各种实施方式的预测系统的图示100。矢量、数据和特征由阴影框说明，类似于示例框102。操作和功能由实心框说明，类似于示例框104。模型由虚线框说明，类似于示例框106。
在时间步i使用或获得的相应数据、函数或模型由索引i指示。
在各个时间步i中，可以向第一机器学习模型110i提供捕捉结果108i以获得注意力权重112i和特征116i。注意力权重112i可以被称为未归一化权重。
融合的权重124i可以被确定为注意权重112i(例如乘以加权因子α)与前一时间步的注意力向量118i-1(例如乘以加权因子β)的加权和。应当理解，根据各种实施方式，可以在加权和中使用柔性最大值权重而不是参与(attended)向量。
融合的权重124i可以经历归一化(例如柔性最大值归一化)以获得柔性最大值权重114i。
可以理解的是，在时间步1中，没有先前的时间步可用，因此可以直接根据注意力权重1121得到柔性最大值权重1141(在不得到融合的权重的情况下)。
柔性最大值权重114i可以与特征116i相乘以获得参与向量118i，参与向量118i可以是第二机器学习模型120i的输入，第二机器学习模型120i在时间步i产生预测122i。
特征可以按代理排列为[特征，代理]形式的张量(即第一张量)，例如尺寸[64,7]针对64个特征和7个代理，即64行和7列。然后，注意力向量(即第二张量)可以是所有代理的相关性分布，即具有尺寸[7,1]的矩阵，即具有7行和1列。
通过计算相应的矩阵乘法，可以获得矩阵(实际上是向量)，其中所有特征都是原始特征在所有7个代理上的加权和，即矩阵乘法的结果可以具有尺寸[64，1]，即64行和1列。
在机器学习应用中，可能需要基于大量变量进行预测。根据各种实施方式，在理解它们的相互作用的同时可以考虑多个(半)自变量。
例如，随着越来越多的代理同时在同一道路上驾驶，交通可能比单个代理任务复杂，从而产生复杂的交互。
根据各种实施方式，可以提供时间集成。当处理具有强时间一致性的时间序列时，例如代理跟踪，时间尺寸可以保持可以根据各种实施方式考虑的信息。
根据各种实施方式提供的方法和系统可以应用于分类和/或回归。
根据各种实施方式，可以提供用于轨迹预测的时间自适应注意力。
根据各种实施方式，可以通过用于处理注意力的自适应时间方法来改进轨迹预测。
为了鼓励在邻居上生成分布，同时不让特征值因点积而爆炸(或消失)，可以对权重应用将柔性最大值归一化。
根据各种实施方式，可以使用以下函数：
fused{t＝n}＝softmax(α*y{t＝n}+β*fused{t＝n-1})。
fused{t＝n}可以是与第一捕捉结果有关的归一化权重(例如在时间t＝n)，fused{t＝n-1}可以是与第二捕捉结果有关的归一化权重(例如在时间t＝n-1，例如在与第一捕捉结果有关的时间步t＝n之前的一个时间步)，y{t＝n}可以是与第一捕捉结果有关的未归一化权重，并且α和β可以是权重因子。可以训练加权因子α和β；例如，加权因子可以与网络一起优化。可以计算关于这些参数的梯度并将其用于在每次训练迭代时更新其值。或者，可以试探性地确定加权参数。
系统可以用零初始化。由于这些值被柔性最大值归一化，因此最大值为1，因此不会影响第一次迭代的结果。这可以相当于设定fused{t＝1}＝softmax(α*y{t＝1})。
交通数据在注意力方面大多是稀疏的，即在时间步t0重要的邻居代理也很可能在下一个时间步t1相关。在这些大多数情况下，注意力可能会考虑过去的时间步并具有稳定的注意力向量。但是，偶尔可能会发生需要模型立即注意的事件，例如强力制动。根据各种实施方式，该方法允许模型否决时间融合并立即转移关注点。
在训练期间，网络可以了解到强特征值必须与关键事件相关。例如，可以假设为我们的载具预测了以下类别之一：[保持速度，制动，加速]。在常见情况下，网络可以输出这些类别的确定性值，这些值大致在[0，5]的范围内，例如[5，1，1]将表示对保持当前速度的强烈偏好。需要注意的是，然后对这些值进行柔性最大值归一化以得到伪分布，也就是说，它们被归一化使得其总和为1。当网络识别出需要完全并且立即的注意力的情况时，例如前车紧急制动，可以输出[0，50，0]这样的向量。从数学上讲，如此强的值足以否决系统中的所有其他值，从而强加获胜的类(归一化后的值将为1或接近1，无论其他值是什么，因为这些其他值在给定的示例中不会超过5)。
可以在产生柔性最大值权重的任何注意力模型上面使用各种实施方式。
应当理解，代替柔性最大值，可以使用其他归一化函数，例如可以基于最小-最大特征缩放来提供归一化。
根据各种实施方式，归一化直接发生在网络激活/预测上(而不是发生在未归一化的过去预测上)。换句话说，首先进行融合，然后才进行柔性最大值。已经发现，首先归一化然后才融合将具有负面特性。
应当理解，本文使用的“权重”可以表示用于创建激活的参数，激活又被归一化(例如，柔性最大值归一化)。
可以提供用于轨迹预测的注意力数据的时间集成的各种实施方式。其可以提供归一化的调整，并且可以例如应用于轨迹预测的注意力领域。这可以提供更有效和/或更可靠的方法，例如用于自适应巡航控制、路径规划、现实仿真。
图2示出了流程图200，其例示了根据各种实施方式的用于为基于注意力的方法确定权重的方法。在202，可以接收由传感器取得的多个捕捉结果形成的序列。在204，可以基于序列的第一捕捉结果来确定序列的第一捕捉结果的未归一化权重。在206，可以基于序列的第一捕捉结果的未归一化权重和序列的第二捕捉结果的归一化权重来确定序列的第一捕捉结果的归一化权重。
根据各种实施方式，可以关于序列的捕捉结果递归地确定多个归一化权重。
根据各种实施方式，捕捉结果的序列可以表示捕捉结果的时间序列，并且其中，所述序列的包括所述第二捕捉结果和所述第一捕捉结果在内的至少一些捕捉结果对应于不同的时刻。
根据各种实施方式，第一捕捉结果可以对应于第一时刻并且第二捕捉结果可以对应于第二时刻。第二个时刻可以在第一个时刻之前，换言之在第一个时刻前面。
根据各种实施方式，可以通过根据合并规则合并第一捕捉结果的未归一化权重和第二捕捉结果的归一化权重来确定第一捕捉结果的归一化权重。
根据各种实施方式，合并规则可以定义将第一捕捉结果的未归一化权重和第二捕捉结果的归一化权重使用各自的因子相加，并且可以对所得的和应用归一化规则以获得第一捕捉结果的归一化权重。
根据各种实施方式，在和中，第一捕捉结果的未归一化权重可以乘以第一因子，并且第二捕捉结果的归一化权重可以乘以第二因子。
根据各种实施方式，归一化规则可以包括或者可以是指数归一化。
根据各种实施方式，指数归一化可以包括或者可以是柔性最大值归一化。
根据各种实施方式，可以通过使用神经网络来生成第一捕捉结果的未归一化权重。
根据各种实施方式，神经网络可以包括或者可以是卷积神经网络。
根据各种实施方式，在基于注意力的方法中，权重可以用于与特征向量点积。
根据各种实施方式，权重可以与特征向量的相应部分的相关性有关。
步骤202、204、206以及上述进一步的步骤中的各个步骤可以由计算机硬件组件来执行。
图3示出了根据各种实施方式的权重确定系统300。例如，权重确定系统300可以为基于注意力的方法确定权重。权重确定系统300可以包括接收回路302、未归一化权重确定回路304和归一化权重确定回路306。
接收回路302可以被配置成接收由传感器取得的多个捕捉结果形成的序列。
未归一化权重确定回路304可以被配置成基于序列的第一捕捉结果确定序列的第一捕捉结果的未归一化权重。
归一化权重确定回路306可以被配置成基于序列的第一捕捉结果的未归一化权重和序列的第二捕捉结果的归一化权重来确定序列的第一捕捉结果的归一化权重。
接收回路302、未归一化权重确定回路304和归一化权重确定回路306可以彼此耦接，例如，经由电连接308(诸如电缆或计算机总线)，或经由任何其他合适的电连接来交换电信号。
“回路”可以理解为任何种类的逻辑实现实体，其可以是专用回路或执行存储在存储器、固件或其任何组合中的程序的处理器。
图4示出了具有多个计算机硬件组件的计算机系统400，这些计算机硬件组件被配置成执行根据各种实施方式的用于为基于注意力的方法确定权重的由计算机实现的方法的步骤。计算机系统400可以包括处理器402、存储器404和非暂时数据存储部406。摄像头408和/或距离传感器410(例如雷达传感器或激光雷达传感器)可以被设置成计算机系统400的一部分(如图4所例示)，或者可以被设置在计算机系统400的外部。
处理器402可以执行在存储器404中提供的指令。非暂时数据存储部406可以存储计算机程序，包括可以传送到存储器404然后由处理器402执行的指令。摄像头408和/或者距离传感器410可以用于确定捕捉结果。
处理器402、存储器404和非暂时数据存储部406可以例如彼此耦接，例如经由电连接412(诸如电缆或计算机总线)，或经由任何其他合适的电气连接来交换电信号。摄像头408和/或距离传感器410可以例如经由外部接口耦接到计算机系统400，或者可以被设置成计算机系统的一部分(换言之：在计算机系统内部，例如经由电连接412耦接)。
措辞“耦接”或“连接”旨在包括直接“耦接”(例如经由物理链接)或直接“连接”，以及间接“耦接”或间接“连接”(例如经由逻辑连接)链接)。
应当理解，对于上述方法之一所描述的内容可以类似地适用于权重确定系统300和/或计算机系统400。
附图标记列表
100 根据各种实施方式的预测系统的图示
102 例示向量/数据/特征的示例框
104 例示操作/功能的示例框
106 例示模型的示例框
108i 在时间步i的捕捉结果
110i 在时间步i使用的第一机器学习模型
112i 在时间步i的注意力权重
114i 在时间步i的柔性最大值权重
116i 在时间步i的特征
118i 在步i的参与向量
120i 在时间步i的机器学习模型
122i 在时间步1的预测
124i 在时间步i处的融合的权重
200 例示根据各种实施方式的用于为基于注意力的方法确定权重的方法的流程图
202 接收由传感器取得的多个捕捉结果的序列的步骤
204 基于序列的第一捕捉结果确定序列的第一捕捉结果的未归一化权重的步骤
206 基于序列的第一捕捉结果的未归一化权重和序列的第二捕捉结果的归一化权重来确定序列的第一捕捉结果的归一化权重的步骤
300 权重确定系统
302 接收回路
304 未归一化权重确定回路
306 归一化权重确定回路
308 连接
400 根据各种实施方式的计算机系统
402 处理器
404 存储器
406 非暂时数据存储部
408 摄像头
410 距离传感器
412 连接

Claims (15)

1.一种用于为基于注意力的轨迹预测方法确定权重的由计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：
-接收(202)由传感器取得的多个捕捉结果形成的序列；
-基于所述序列的第一捕捉结果确定(204)所述序列的所述第一捕捉结果的未归一化权重；以及
-基于所述序列的所述第一捕捉结果的所述未归一化权重和所述序列的第二捕捉结果的归一化权重来确定(206)所述序列的所述第一捕捉结果的归一化权重。
2.根据权利要求1所述的由计算机实现的方法，其中，关于所述序列的捕捉结果递归地确定多个归一化权重。
3.根据前述权利要求中任一项所述的由计算机实现的方法，其中，捕捉结果的所述序列表示捕捉结果的时间序列，并且其中，所述序列的包括所述第二捕捉结果和所述第一捕捉结果在内的至少一些捕捉结果对应于不同的时刻。
4.根据权利要求3所述的由计算机实现的方法，其中，所述第一捕捉结果对应于第一时刻并且所述第二捕捉结果对应于第二时刻，所述第二时刻在所述第一时刻之前。
5.根据前述权利要求中任一项所述的由计算机实现的方法，其中，所述第一捕捉结果的所述归一化权重是通过根据合并规则合并所述第一捕捉结果的未归一化权重和所述第二捕捉结果的归一化权重来确定的。
6.根据权利要求5所述的由计算机实现的方法，其中，所述合并规则定义了将所述第一捕捉结果的未归一化权重和所述第二捕捉结果的归一化权重使用各自的因子相加，并且对所得的和应用归一化规则以获得所述第一捕捉结果的所述归一化权重。
7.根据权利要求6所述的由计算机实现的方法，其中，在所述和中，所述第一捕捉结果的未归一化权重乘以第一因子，并且所述第二捕捉结果的归一化权重乘以第二因子。
8.根据权利要求6或7中任一项所述的由计算机实现的方法，其中，所述归一化规则包括指数归一化。
9.根据权利要求8所述的由计算机实现的方法，其中，所述指数归一化包括柔性最大值归一化。
10.根据前述权利要求中任一项所述的由计算机实现的方法，其中，所述第一捕捉结果的未归一化权重是通过使用神经网络优选地卷积神经网络生成的。
11.根据前述权利要求中任一项所述的由计算机实现的方法，其中，在基于注意力的方法中，所述权重用于与特征向量点积。
12.根据权利要求11所述的由计算机实现的方法，其中，所述权重与所述特征向量的相应部分的相关性有关。
13.一种计算机系统(400)，该计算机系统(400)包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行根据权利要求1至12中的至少一项所述的由计算机实现的方法的步骤。
14.一种载具，所述载具包括根据权利要求13所述的计算机系统(400)。
15.一种非暂时计算机可读介质，所述非暂时计算机可读介质包括用于执行根据权利要求1至12中的至少一项所述的由计算机实现的方法的指令。
CN202111610207.7A 2021-01-04 2021-12-27 用于为基于注意力的轨迹预测方法确定权重的方法和系统 Pending CN114723097A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21150060.8 2021-01-04
EP21150060.8A EP4024321A1 (en) 2021-01-04 2021-01-04 Method and system for determining weights for an attention based method for trajectory prediction

Publications (1)

Publication Number Publication Date
CN114723097A true CN114723097A (zh) 2022-07-08

Family

ID=74095736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111610207.7A Pending CN114723097A (zh) 2021-01-04 2021-12-27 用于为基于注意力的轨迹预测方法确定权重的方法和系统

Country Status (3)

Country Link
US (1) US12049220B2 (zh)
EP (1) EP4024321A1 (zh)
CN (1) CN114723097A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854293B (zh) * 2024-01-09 2024-07-30 扬州大学 基于稀疏自注意力网络的城市车流od流量提取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169656B2 (en) * 2016-08-29 2019-01-01 Nec Corporation Video system using dual stage attention based recurrent neural network for future event prediction
WO2020101777A1 (en) * 2018-11-16 2020-05-22 Google Llc Segmenting objects by refining shape priors
US12013244B2 (en) * 2019-04-26 2024-06-18 Nvidia Corporation Intersection pose detection in autonomous machine applications
US11780472B2 (en) * 2019-11-16 2023-10-10 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
CN112926334A (zh) * 2019-12-06 2021-06-08 北京三星通信技术研究有限公司 确定词表示向量的方法、装置及电子设备

Also Published As

Publication number Publication date
EP4024321A1 (en) 2022-07-06
US12049220B2 (en) 2024-07-30
US20220212660A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
EP3427194B1 (en) Recurrent networks with motion-based attention for video understanding
US20170262995A1 (en) Video analysis with convolutional attention recurrent neural networks
US11256964B2 (en) Recursive multi-fidelity behavior prediction
Akan et al. Stretchbev: Stretching future instance prediction spatially and temporally
KR102694572B1 (ko) 완전 연결 네트워크의 데이터 입력 및 출력을 제어하는 방법 및 장치
Wang et al. End-to-end self-driving using deep neural networks with multi-auxiliary tasks
WO2018084941A1 (en) Temporal difference estimation in an artificial neural network
CN112055863A (zh) 用于确定神经网络的网络配置的方法和设备
JP7295282B2 (ja) 適応的ハイパーパラメータセットを利用したマルチステージ学習を通じて自律走行自動車のマシンラーニングネットワークをオンデバイス学習させる方法及びこれを利用したオンデバイス学習装置
CN113139446A (zh) 一种端到端自动驾驶行为决策方法、系统及终端设备
US11410040B2 (en) Efficient dropout inference for bayesian deep learning
CN109941293A (zh) 使用深度视频帧预测来训练自主车辆的控制器
Tang et al. Adaptive probabilistic vehicle trajectory prediction through physically feasible bayesian recurrent neural network
CN112418432A (zh) 分析多个物理对象之间的相互作用
CN110390381B (zh) 利用卷积神经网络来处理数据序列的装置和方法
CN114723097A (zh) 用于为基于注意力的轨迹预测方法确定权重的方法和系统
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
US20240143975A1 (en) Neural network feature extractor for actor-critic reinforcement learning models
EP3702971A1 (en) Method for estimating the uncertainty of a recognition process in a recognition unit; electronic control unit and motor vehicle
CN111435457A (zh) 对传感器获取的采集进行分类的方法
Pak et al. CarNet: A dynamic autoencoder for learning latent dynamics in autonomous driving tasks
KR102090109B1 (ko) 학습 및 추론 장치 및 그 방법
Behera et al. Large Model-assisted Federated Learning for Object Detection of Autonomous Vehicles in Edge
US20230085043A1 (en) Utilizing hidden state sharing modules to prevent catastrophic forgetting
US20240161312A1 (en) Realistic distraction and pseudo-labeling regularization for optical flow estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240305

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right