CN115687912A - 预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统 - Google Patents

预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统 Download PDF

Info

Publication number
CN115687912A
CN115687912A CN202210892194.5A CN202210892194A CN115687912A CN 115687912 A CN115687912 A CN 115687912A CN 202210892194 A CN202210892194 A CN 202210892194A CN 115687912 A CN115687912 A CN 115687912A
Authority
CN
China
Prior art keywords
computer
trajectory data
data
implemented method
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210892194.5A
Other languages
English (en)
Inventor
D·斯帕塔
A·格鲁姆佩
I·弗里曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN115687912A publication Critical patent/CN115687912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统。一种用于预测对象的轨迹数据的计算机实现的方法包括由计算机硬件组件执行的以下步骤：采集对象的雷达数据；基于所述雷达数据确定所述对象的轨迹数据的参量化；其中所述对象的轨迹数据包括所述对象的位置和所述对象的方向，其中所述参量化包括多个参数，并且其中所述参量化包括预定次数的多项式，其中所述参数包括与所述预定次数的多项式的多项式空间的基的元素相关的多个系数；以及基于所述雷达数据确定所述对象的轨迹数据的方差。

Description

预测对象的轨迹数据的方法和系统及训练机器学习方法来预 测对象的轨迹数据的方法和系统
技术领域
本公开涉及预测对象的轨迹数据的方法和系统以及训练机器学习方法来预测对象的轨迹数据的方法和系统。
背景技术
对象跟踪是例如至少部分自主驾驶的车辆中的必要特征。
因此，需要提供更可靠和有效的对象跟踪。
发明内容
在一个方面，本公开旨在一种预测对象的轨迹数据的计算机实现方法，该方法包括由计算机硬件组件执行的以下步骤：获得对象的雷达数据；基于所述雷达数据来确定所述对象的轨迹数据的参量化，其中，所述对象的轨迹数据包括所述对象的位置和所述对象的方向，其中，所述参量化包括多个参数，并且其中，所述参量化包括预定次数的多项式，其中，所述参数包括与所述预定次数的多项式的多项式空间的基的要素相关的多个系数；以及基于所述雷达数据来确定所述对象的轨迹数据的方差。该方法可以提供(或可以是)机器学习方法的评估，例如人工神经网络。
轨迹可以理解为随时间变化的特性(例如，位置或取向/方向)。
根据实施方式，确定对象的轨迹数据的方差包括：基于所述雷达数据来确定所述对象的轨迹数据的方差的参量化；其中，所述参量化包括多个另外参数，其中，所述参量化包括预定的另一次数的另一多项式，其中，所述多个另外参数包括与所述预定的另一次数的多项式的多项式空间的基的要素相关的多个另外的系数。
根据实施方式，所述对象的轨迹数据的方差包括参数的多元正态分布。例如，提供轨迹数据的参量化的多项式的参数可以是方差的参量化的另外的参数，并且另外的多项式可以具有轨迹数据的参量化的次数的两倍的次数。
根据实施方式，确定轨迹数据的方差包括确定正定矩阵。正定矩阵可以理解为LDL分解的矩阵。应当理解，实际上可能不需要进行LDL分解；在技术上，可以进行相反的操作：LDL公式可用于根据使用神经网络层可获得的输出来构建正定矩阵。LDL(“下-对角-下”)分解可以将协方差矩阵表示为单位下三角矩阵、具有严格正对角元素的对角矩阵(可以对应于正定矩阵)和单位下三角矩阵的转置的乘积。可以使用人工神经网络的两层来生成协方差矩阵。
根据一实施方式，所述方法还包括由所述计算机硬件组件执行的以下步骤：基于使用循环分量(recurrent component)的残余骨干(residual backbone)，基于所述雷达数据来确定第一中间数据；使用特征金字塔，基于所述第一中间数据来确定第二中间数据，其中，所述特征金字塔优选地包括转置的跨界卷积(其可以增加特征的丰富度)；并且其中，所述对象的轨迹数据的参量化是基于第二中间数据来确定的。
因此，该方法可以提供用于雷达数据的多对象跟踪方法，该方法将多个方法组合到循环卷积单阶段特征金字塔网络中，并且对雷达数据(例如雷达点云数据或雷达立方体数据)联合执行检测和运动预测，以解决跟踪任务。
雷达立方体数据也可以被称为雷达数据立方体。
根据一实施方式，使用循环分量的残余骨干包括前面有循环层栈的残余骨干；和/或使用循环分量的残余骨干包括含有多个循环层的循环残余骨干。已经发现，通过允许网络在多个尺度上融合时间信息，在骨干中提供多个循环层改进了性能。
根据一实施方式，多个循环层包括卷积长短期存储器，然后是卷积层，再然后是归一化层：和/或其中，所述多个循环层包括卷积层，随后是归一化层，随后是修正线性单元，随后是卷积长短期存储器，随后是卷积层，再随后是归一化层。
根据一实施方式，所述循环分量包括每时间帧执行一次的循环回路；和/或所述循环分量在时间帧之间保持隐藏状态。这可以使得该方法(或在该方法中使用的网络)能够学习使用来自任意远的时间点的信息，并且过去的传感器读数不需要被缓冲和排队等候处理来操作该方法或网络。
根据实施方式，对象的雷达数据包括雷达数据立方体和雷达点数据中的至少一者。
根据一个实施方式，系数表示相应的平均值。根据一实施方式，其他分量表示标准偏差。
根据一实施方式，所述计算机实现方法还包括由所述计算机硬件组件执行的下列步骤：基于所述轨迹数据的方差对所述轨迹数据进行后处理。已经发现，在对轨迹数据进行所述进一步处理时利用方差可以改善所述进一步处理的结果。
根据一个实施方式，后处理包括关联、聚合和评分中的至少一者。关联例如可以是指将新的检测与现有轨迹相关联。聚合例如可以是指组合来自关于相同时间步长的多个检测的信息。评分可以例如是指确定检测是否是误报。
根据实施方式，所述方法是使用包括第一训练和第二训练的训练方法来训练的，其中，在第一训练中，确定轨迹数据的参数，并且其中，在第二训练中，确定轨迹数据的参数和轨迹数据的方差的参数。
在另一方面，本公开旨在一种训练用于预测对象的轨迹数据的机器学习方法的计算机实现方法，该方法包括由计算机硬件组件执行的以下步骤：第一训练，其中，确定用于轨迹数据的参数；以及第二训练，其中，确定所述轨迹数据的参数和所述轨迹数据的方差的参数。
已经发现，将训练分成两个阶段(第一训练和第二训练)改善了训练结果并减少了训练时间和/或所需的训练数据量。第一训练的结果可以在第二训练中重复使用(例如作为第二训练中优化的起始值)。
根据一个实施方式，在第一步骤中，平滑L1函数用作损失函数。在第一训练期间不考虑方差相关分量可以避免回归目标压倒分类目标。
根据实施方式，在第二步骤中，使用二元正态对数似然函数作为损失函数。
在另一方面，本公开涉及一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所述的计算机实现的方法的若干或所有步骤。计算机系统可以是车辆的一部分。
计算机系统可以包括多个计算机硬件组件(例如处理器(例如处理单元或处理网络)、至少一个存储器(例如存储器单元或存储器网络)以及至少一个非暂时性数据存储装置)。应当理解，可以提供另外的计算机硬件组件并将其用于在计算机系统中执行计算机实现方法的步骤。非暂时性数据存储部和/或存储器单元可以包含计算机程序，所述计算机程序用于指示计算机例如使用处理单元和至少一个存储器单元来执行在此描述的计算机实现方法的若干或所有步骤或方面。
在另一方面，本公开旨在一种包括如本文所述的计算机系统的至少一个子集的车辆。
在另一方面，本公开旨在一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行本文所述的计算机实现方法的若干或所有步骤或方面的指令。所述计算机可读媒介可以被配置为：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，例如闪存；等等。此外，计算机可读介质可以被配置为可经由诸如因特网连接的数据连接来访问的数据存储部。计算机可读介质例如可以是在线数据储存库或云存储。
本公开还旨在一种用于指示计算机执行本文所述的计算机实现方法的若干或所有步骤或方面的计算机程序。
这里描述的方法和系统可以提供用于雷达数据的多对象跟踪方法，该方法通过公式化时间连续多项式函数来改进跟踪。
附图说明
本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：
图1示出了根据各种实施方式的第一训练阶段的设置；
图2示出了根据各种实施方式的第二训练阶段的设置；
图3是示出根据各种实施方式的用于预测对象的轨迹数据的方法的流程图；
图4是示出根据各种实施方式的训练用于预测对象的轨迹数据的机器学习方法的方法的流程图；
图5是具有多个计算机硬件组件的计算机系统，所述多个计算机硬件组件被配置实施方式的用于预测对象的轨迹数据的计算机实现方法的步骤，或者根据各种实施方式的用于预测对象的轨迹数据的计算机实现方法的步骤。
具体实施方式
各种实施方式可以为DeepTracker提供方差估计。
通过使用同时执行对象检测和短期运动预测的深度神经网络，DeepTracker(其可以是用于RADAR的深度多对象跟踪器的简短形式，如在欧洲专利申请20187694.3中所描述的，其在此全部并入)可以改进经典方法。运动预测可用于在简单的后处理步骤中执行对象信息的交叉框架关联(cross-frame association)和聚合，从而允许有效的对象跟踪和时间平滑。
欧洲专利申请21186073.9(其全文在此引入)提供了一种DeepTracker的重制，其中，使用多项式函数重制其运动预测。这可以允许时间连续的对象轨迹，既将剩余特征间隙的部分闭合到使用显式运动模型的经典方法又将附加的正则化引入模型中。
DeepTracker可以在给定输入数据的情况下将可能轨迹的基础分布的平均值建模。根据各个实施方式，可以提供该均值周围的不确定性的概念。
像卡尔曼滤波这样的方法可以保持对被跟踪对象状态的协方差矩阵的估计，使得跟踪方法本身以及任何下游任务能够基于系统在其输出中的总置信度来做出更可靠的判断。这对于DeepTracker的跟踪方法可能是重要的特征，因为它执行短期运动预测，其具有固有的不确定性水平。没有传感器能够真实地提供所有必要的信息以在所有情况下以完美的精确度预测未来，并且因此某些重要的因素(例如像驾驶员意图)原则上不能通过模型在其输入方面解释。
根据各种实施方式，可以改进DeepTracker，使得其估计其回归输出的异方差偶然不确定性(heteroscedastic aleatoric uncertainty)。异方差偶然不确定性可以是指即使在给定更多的样本时也不可约的数据相关不确定性。
对于每个对象，DeepTracker可以估计四条信息(对象的位置、对象的尺寸、对象的速度和对象在2D空间中的取向)。其中，位置和取向可以用时间连续多项式函数来表示，以允许预测到任意时间点，其中，速度可以作为位置多项式的导数来获得，并且尺寸可以被认为是时间恒定的。所有这四条信息可以表示为2D(二维)笛卡尔矢量(在取向的情况下，例如通过将其编码为方向矢量)。根据各种实施方式，通过用二元正态分布(由2D平均矢量μ和2×2协方差矩阵Σ组成)的参数代替每个2D笛卡尔矢量，可以将不确定性建模。
根据各个实施方式，可以考虑两种可能性来参量化协方差矩阵(对于一个2D矢量具有单个方差参数的各向同性方差(Σ＝σI)，以及可以对矢量的两个分量的方差的不同水平以及它们之间的相关性进行建模的全协方差矩阵)。
对角情况(Σ＝diag(σx，σy))可假设矢量的分量是不相关的。然而，网络输出必须经受对自我车辆的运动的补偿，这涉及坐标系的旋转，并且因此无论如何，只要对角矩阵是非各向同性的(σx≠σy)，就可能引入分量之间的相关性。索引x例如可以用于标志表示相应属性(其可以例如是位置或方向)的矢量的第一分量(或第一变量或第一参数)，而索引y可以用于标志表示相应属性的所述矢量的第二分量(或第二变量或第二参数)。
因此，所考虑的两个参量化提供了运行时效率和表达力(representationalpower)之间的折衷。
对于时间恒定的输出，模型可以直接输出输出分布的均值和方差参数。对于由时间连续多项式函数产生的那些输出，可以通过将正态分布置于由模型输出的多项式系数上来实现方差估计。由于作为其系数的函数的多项式是线性组合，因此对具有正态分布系数的多项式的求值又导致另一正态分布，使得实际输出分布的生成微不足道。输出均值可以被精确地表示和处理为非分布输出，作为可选择次数的两个单独的多项式函数(一个多项式函数用于第一分量，并且一个多项式函数用于第二分量)。在各向同性的情况下，可以假设方差在两个多项式(换言之：两个多项式函数)之间共享，并且是不同的，但在不同系数之间不相关。使用2次作为示例，预先确定的目标的位置和预先确定的目标的取向中的每一项可被表示为2D矢量。x和y可以表示这些2D矢量的两个维度。x可以由多项式x(t)＝cx,0+cx,1t+cx,2t2来表示，y可以由多项式y(t)＝cy,0+cy,1t+cy,2t2来表示，并且方差输出可以被计算为σ(t)＝σ0+σ1t2+σ2t4。位置和取向可以各自具有它们自己的有单独系数(或参数)的独立的x(t)、y(t)、和σ(t)(或者Σo)。系数是不同的回归输出，但是两者都使用与这里所述相同的技术来计算(因此矢量o可以指其中之一，即表示位置的矢量或表示取向的矢量)。
可以假设x和y共享一个方差，使得对于每个i(i＝0，i＝1，或i＝2)，每个cx,i/cy,i对得到其自己的方差σi，并且不同的对(例如cx,i/cy,j对或cx,i/cx,j对，其中i≠j)被建模为彼此不相关(即，具有相关系数零)。cx,i、cy,i和σi可以是每个目标的网络输出(即，由网络提供的一组参数cx,i、cy,i和σi，作为针对每个目标和每个位置或取向的输出)。然后，可以基本上通过一个附加的多项式函数(其中时间指数加倍)根据系数方差计算输出方差。在全协方差矩阵的情况下，可以将方差建模为包含两个多项式的单个大矩阵，允许来自不同多项式和来自同一多项式的系数之间的相关。输出协方差矩阵Σo可以从系数协方差矩阵Σc使用包含适当排列的时间幂的矩阵S计算为Σo＝SΣcST。S可以被构造成使得将其与包含多项式系数的矢量相乘实现相应的多项式。以2次为例，任意定义系数矢量以具有布局c＝[cx,0,cx,1,cx,2,cy,0,cy,1,cy,2]T，则S的正确结构为
Figure BDA0003768033150000061
使得
Figure BDA0003768033150000071
然后，如果Σc是矢量c的协方差矩阵，Σo＝SΣcST是矢量o的协方差矩阵。
根据各个实施方式，用于方差的网络层可以被设计为这些网络层的输出总是在有效值的范围内。在各向同性的情况下，这可以意味着确保输出方差是严格正的，这可以通过softplus激活函数(已经发现它比也可以用于此目的的指数激活函数在数值上更稳定)来实现。在协方差矩阵的情况下，这可能需要输出矩阵是正定的，这可以使用逆LDL(“下-对角-下”)分解来实现。LDL分解可以使用公式Σ＝L D L T来表示协方差矩阵Σ，其中，L是单位下三角矩阵，并且D是具有严格正对角元素的对角矩阵。因此，可以使用两个网络层来生成大小为N×N的协方差矩阵，一个网络层具有线性激活和N(N-1)/2个输出值(被安排到矩阵L中)，另一个网络层具有softplus激活和N个值(被安排到矩阵D中)。
在网络优化期间，网络可以学习输出使训练示例的可能性最大化的正态分布。这可以通过用从二元正态分布的概率密度函数导出的负对数似然损失替换规则平滑L1回归损失经由标准梯度下降法来实现。
已经发现，负对数似然损失的梯度看起来具有比平滑L1损失更大的比例，这可能导致回归目标压倒分类目标，防止收敛和损害性能。这可以通过将训练分成两个阶段来避免。首先，可以提供预训练阶段(换言之：非方差预训练；换言之：第一训练；换言之：第一训练阶段)，在该阶段中，首先优化分类和回归平均值(完全忽略回归方差输出并使用规则平滑L1损失)。第二，可以提供方差估计阶段(换句话说：第二训练；换言之：第二训练阶段，在该阶段中，继续训练(例如，通过保持在第一训练阶段中获得的结果(例如权重))，现在还通过使用负对数似然损失代替平滑L1损失来优化方差输出。
图1示出了根据各个实施方式的第一训练阶段的设置的图示100。回归头子网络102可以输出位置平均系数104、方向平均系数108和尺寸平均值122。可以使用位置平均系数104的多项式求值110来确定位置平均值(position means)116。可以使用位置平均系数104的时间导数(或导数；d/dt)106的多项式求值112来确定速度平均值(velocity means)118。可以使用方向平均系数108的多项式求值114来确定方向平均值(direction means)120。位置装置116、速度装置118、方向装置120和尺寸装置122可以被提供给标准回归损失评估块124。标准回归损失评估块124的输出可以用作用于在第一训练阶段中训练所述网络的损失函数(换言之：优化准则)。
图2示出了根据各个实施方式的第二训练阶段的设置的图示200。图2中所示的各种项可以与图1中所示的项相似或相同，从而可以使用相同的附图标记并且可以省略重复的描述。回归头子网络102还可以输出位置方差系数202、方向方差系数206和尺寸方差220。可以使用位置方差系数202的多项式求值208来确定位置方差214。可以使用位置方差系数202的时间导数(或导数；d/dt)204的多项式求值210来确定速度方差216。可以使用方向方差系数206的多项式求值212来确定方向方差218。位置装置116、速度装置118、方向装置120、尺寸装置122、位置方差214、速度方差216、方向方差218和尺寸方差220可以被提供给二元正态对数似然块222。二元正态对数似然模块222的输出可以用作用于在第二训练阶段中训练所述网络的损失函数(换言之：优化准则)。
根据各个实施方式，可以提供用于在DeepTracker的后处理步骤中使用的关联、聚合和评分的方法，它们可以建设性地使用估计的方差来提高性能。
新检测与现有轨迹的关联可以通过使用方差感知关联分数(variance-awareassociation score)来改进。可以使用输出分布的概率密度函数的乘积下面的体积来代替检测小轨道(detection tracklet)中的边界框与现有对象轨道之间的交并比(intersection over union)。该体积可以具有使其适合作为关联分数的三个属性：1)分布的均值匹配得越好，分数越高。2)方差越高，关联得分随着平均值距离的增加而下降越不明显(因此，随着不确定性增加，模型变得更愿意关联较差的匹配)。3)方差越低，当平均值接近时得分越高(因此系统可能更喜欢将好的匹配与高确定性相关联，而不是将同样良好的匹配与较低确定性相关联)。
为了聚合来自关于相同时间步长的多个检测的信息，代替求对象数据的平均值，可以将数据的正态分布相乘(这可以导致另一正态分布)。这可以具有至少两个有利的特性：1)具有较高确定性的数据点可以对最终结果给予较大的影响。2)与聚合点的不确定性相比(并与其成比例)，最终结果的不确定性可以降低。说明性地，该技术可以涉及倒方差加权以及卡尔曼滤波器的更新步骤。
对于评分，在对象的方差与其是误报的机会之间可能存在联系。该联系可以通过这里描述的聚合方案来增强，因为与较少的新检测相关联的对象轨道也可以具有较少需要聚合的点，从而具有较高的方差。这对于新的轨道和对于最近失去跟踪的轨道尤其如此。因此，估计的方差可用于细化由分类分支产生的置信分数。根据各种实施方式，对于此重评分，可主要考虑位置方差，因为其在对象身份方面最具区别性。根据各种实施方式，对象位置相对于对象尺寸的标准偏差可以采用：
s＝(sx+sy)/2，
Figure BDA0003768033150000091
σ′p＝σp/s，
其中，(sx,sy)可以是二维边界框尺寸的平均值并且Σp可以是2×2位置协方差矩阵。如果c是置信分数，则更新的分数c′可以被计算为：
Figure BDA0003768033150000092
其中，α和β可以是可调参数。该方案可以具有至少用于重新评分的三个可取的属性：1)如果原始分数已经完全可信或不可信(c∈{0，1})，则方差可以对分数没有影响。2)对于所有其他分数(c∈(0，1))，该分数可以随着方差增大而趋于零，并且可以随着方差接近零而趋于一。3)这些变化发生的速度可以与原始分数成比例。
根据各种实施方式，网络可以估计其回归输出周围的方差，该回归输出与它产生的误差很好地相关，表明它成功地量化了它自己的不确定性。此外，这里描述的后处理方法可以提供性能的提高，特别是对于行人。
图3示出了示出根据各种实施方式的用于预测对象的轨迹数据的方法的流程图300。在302，可以获取对象的雷达数据。在304，可以基于雷达数据来确定对象的轨迹数据的参量化。对象的轨迹数据可以包括或可以是对象的位置和对象的方向。参量化可以包括多个参数。参量化可以包括或可以是预定次数的多项式，其中，(参量化的)参数可以包括或可以是与预定次数的多项式的多项式空间的基的元素相关的多个系数。在306，可以基于雷达数据来确定对象的轨迹数据的方差。
图4示出了示出根据各种实施方式的训练用于预测对象的轨迹数据的机器学习方法的方法的流程图400。在402，可以提供第一训练，其中，确定轨迹数据的参数。在404，可以提供第二训练，其中，确定轨迹数据的参数和轨迹数据的方差的参数。
步骤302、304、306、402、404中的每一个以及上述进一步的步骤可以由计算机硬件组件来执行。
图5示出了具有多个计算机硬件组件的计算机系统500，所述多个计算机硬件组件被配置为执行根据各种实施方式的用于预测对象的轨迹数据的计算机实现的方法的步骤或根据各种实施方式的用于预测对象的轨迹数据的计算机实现方法的步骤。计算机系统500可以包括处理器502、存储器504和非瞬态数据存储装置506。雷达传感器508可以被提供为计算机系统500的一部分(如图5所示)，或者可以被提供在计算机系统500的外部。
处理器502可以执行存储器504中提供的指令。非暂时性数据存储装置506可以存储计算机程序，包括可以传送到存储器504然后由处理器502执行的指令。雷达传感器508可以用于获取对象的雷达数据。
处理器502、存储器504和非暂时性数据存储装置506可例如经由电连接510(例如电缆或计算机总线)或经由任何其它合适的电连接彼此联接以交换电信号。雷达传感器508可以例如经由外部接口联接到计算机系统500，或者可以被提供为计算机系统的一部分(换言之：计算机系统内部，例如经由电连接510联接)。
术语“联接”或“连接”旨在分别包括直接“联接”(例如经由物理链路)或直接“连接”以及间接“联接”或间接“连接”(例如经由逻辑链路)。
应当理解，以上针对方法之一所描述的内容对于计算机系统500可以类似地成立。
应当理解，尽管这里的各种示例性实施方式已经相对于分档器进行了描述，但是这里描述的各种方法和系统可以应用于任何其它方法或系统(DeepTracker之外)。
附图标记列表
100 根据各种实施方式的第一训练阶段的设置的图示
102 回归头子网
104 位置平均系数
106 时间导数
108 方向平均系数
110 多项式求值
112 多项式求值
114 多项式求值
116 位置装置
118 速度装置
120 方向装置
122 尺寸平均值
124 标准回归损失评估块
200 根据各种实施方式的第二训练阶段的设置的图示
202 位置方差系数
204 时间导数
206 方向方差系数
208 多项式求值
210 多项式求值
212 多项式求值
214 位置方差
216 速度方差
218 方向方差
220 尺寸方差
222 二元正态对数似然块
300 示出根据各种实施方式的用于预测对象的轨迹数据的方法的流程图
302 获取对象的雷达数据的步骤
304 基于雷达数据来确定对象的轨迹数据的参量化的步骤
306 基于雷达数据来确定对象的轨迹数据的方差的步骤
400 示出根据各种实施方式的训练用于预测对象的轨迹数据的机器学习方法的方法的流程图
402 第一训练
404 第二训练
500 根据各种实施方式的计算机系统
502 处理器
504 存储器
506 非暂时性数据存储部
508 雷达传感器
510 连接

Claims (15)

1.一种预测对象的轨迹数据的计算机实现方法，所述计算机实现方法包括由计算机硬件组件执行的以下步骤：
获取(302)所述对象的雷达数据；
基于所述雷达数据，确定(304)所述对象的所述轨迹数据的参量化，其中，所述对象的所述轨迹数据包括所述对象的位置和所述对象的方向，其中，所述参量化包括多个参数，并且其中，所述参量化包括预定次数的多项式，其中，所述参数包括与所述预定次数的多项式的多项式空间的基的元素相关的多个系数；以及
基于所述雷达数据，确定(306)所述对象的所述轨迹数据的方差。
2.根据权利要求1所述的计算机实现方法，其中，确定所述对象的所述轨迹数据的方差的步骤包括：
基于所述雷达数据，确定(306)所述对象的所述轨迹数据的所述方差的参量化，
其中，所述参量化包括多个另外参数，其中，所述参量化包括预定的另一次数的另一多项式，其中，所述多个另外参数包括与所述预定的另一次数的另一多项式的多项式空间的基的元素相关的多个另外系数。
3.根据权利要求1或2所述的计算机实现方法，其中，所述对象的所述轨迹数据的所述方差包括所述参数上的多元正态分布。
4.根据权利要求3所述的计算机实现方法，其中，确定所述轨迹数据的所述方差的步骤包括确定正定矩阵。
5.根据权利要求1至4中任一项所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：
基于使用循环分量的残余骨干，基于所述雷达数据，确定第一中间数据；
使用特征金字塔，基于所述第一中间数据来确定第二中间数据，其中，所述特征金字塔优选地包括转置的跨步卷积；并且
其中，所述对象的所述轨迹数据的所述参量化是基于所述第二中间数据确定的；
其中，使用所述循环分量的所述残余骨干优选地包括循环层栈之后的残余骨干；和/或
其中，使用所述循环分量的所述残余骨干优选地包含具有多个循环层的循环残余骨干；和/或
其中，所述多个循环层优选地包括卷积长短期存储器，随后是卷积，再随后是归一化：和/或
其中，所述多个循环层优选地包括卷积，随后是归一化，随后是修正线性单元，随后是卷积长短期存储器，随后是卷积，再随后是归一化；和/或
其中，所述循环分量优选地包括每时间帧执行一次的循环回路；和/或
其中，所述循环分量优选地在时间帧之间保持隐藏状态。
6.根据权利要求1至5中任一项所述的计算机实现方法，其中，所述对象的所述雷达数据包括雷达数据立方体和雷达点数据中的至少一者。
7.根据权利要求1至6中任一项所述的计算机实现方法，其中，所述系数表示相应的平均值。
8.根据权利要求1至7中任一项所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：
基于所述轨迹数据的所述方差，对所述轨迹数据进行后处理。
9.根据权利要求8所述的计算机实现方法，其中，所述后处理包括关联、聚合和评分中的至少一者。
10.根据权利要求1至9中任一项所述的计算机实现方法，其中，所述计算机实现方法是使用包括第一训练和第二训练的训练方法来训练的，
其中，在所述第一训练中，确定所述轨迹数据的参数；并且
其中，在所述第二训练中，确定所述轨迹数据的参数和所述轨迹数据的所述方差的参数。
11.一种训练用于预测对象的轨迹数据的机器学习方法的计算机实现方法，所述计算机实现方法包括由计算机硬件组件执行的以下步骤：
第一训练(402)，其中，确定所述轨迹数据的参数；以及
第二训练(404)，其中，确定所述轨迹数据的参数和所述轨迹数据的方差的参数。
12.根据权利要求11所述的计算机实现方法，
其中，在所述第一步骤中，使用平滑的L1函数作为损失函数；和/或
其中，在所述第二步骤中，使用二元正态对数似然函数作为损失函数。
13.一种计算机系统(500)，所述计算机系统(500)包括多个计算机硬件组件，所述多个计算机硬件组件被配置为执行根据权利要求1至12中任一项所述的计算机实现方法的步骤。
14.一种车辆，所述车辆包括根据权利要求13所述的计算机系统(500)的至少子集。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至12中任一项所述的计算机实现方法的指令。
CN202210892194.5A 2021-07-29 2022-07-27 预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统 Pending CN115687912A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21188550.4 2021-07-29
EP21188550.4A EP4124887A1 (en) 2021-07-29 2021-07-29 Methods and systems for predicting trajectory data of an object and methods and systems for training a machine learning method for predicting trajectory data of an object

Publications (1)

Publication Number Publication Date
CN115687912A true CN115687912A (zh) 2023-02-03

Family

ID=77226594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210892194.5A Pending CN115687912A (zh) 2021-07-29 2022-07-27 预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统

Country Status (3)

Country Link
US (1) US20230034973A1 (zh)
EP (1) EP4124887A1 (zh)
CN (1) CN115687912A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045055A1 (en) * 2016-08-31 2018-03-08 Autoliv Asp, Inc. Improved detection of a target object utilizing automotive radar
EP3839805A1 (en) * 2019-12-20 2021-06-23 Aptiv Technologies Limited Method for determining continuous information on an expected trajectory of an object

Also Published As

Publication number Publication date
US20230034973A1 (en) 2023-02-02
EP4124887A1 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
CN109697510B (zh) 具有神经网络的方法和装置
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
CN111753952A (zh) 学习包括高斯过程的概率模型的参数
CN114169110B (zh) 基于特征优选和GWOA-XGBoost的电机轴承故障诊断方法
Fan et al. Entropy‐based variational Bayes learning framework for data clustering
CN114417942B (zh) 一种杂波识别方法及系统及装置及介质
Sudhakar et al. Ada-SISE: adaptive semantic input sampling for efficient explanation of convolutional neural networks
Duan et al. Age estimation using aging/rejuvenation features with device-edge synergy
US20220026556A1 (en) Methods and Systems for Predicting a Trajectory of an Object
CN113887699A (zh) 知识蒸馏方法及电子设备、存储介质
CN112991394A (zh) 基于三次样条插值和马尔科夫链的kcf目标跟踪方法
Wu Fault diagnosis model based on Gaussian support vector classifier machine
Gao et al. Underdetermined blind source separation method based on quantum Archimedes optimization algorithm
CN114444727B (zh) 活体检测的方法、装置、电子模型及存储介质
CN115687912A (zh) 预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统
Wu et al. Real-time compressive tracking with motion estimation
Mohamad et al. Comparison between PSO and OLS for NARX parameter estimation of a DC motor
KR102289396B1 (ko) 군장비 수리부속 품목 수요예측의 고도화를 위한 강화학습 적용
Leke et al. Deep learning-bat high-dimensional missing data estimator
CN114445456A (zh) 基于部分模型的数据驱动智能机动目标跟踪方法及装置
Leke et al. Missing data estimation using bat algorithm
Jiang et al. Learning Target Point Seeking Weights Spatial–Temporal Regularized Correlation Filters for Visual Tracking
İnan et al. Estimation performance of the novel hybrid estimator based on machine learning and extended Kalman filter proposed for speed-sensorless direct torque control of brushless direct current motor
Liu et al. Recurrent kernel online sequential extreme learning machine with kernel adaptive filter for time series prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240301

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg