CN115339473A - 一种多障碍物全模态预测场景的处理方法和装置 - Google Patents

一种多障碍物全模态预测场景的处理方法和装置 Download PDF

Info

Publication number
CN115339473A
CN115339473A CN202211062858.1A CN202211062858A CN115339473A CN 115339473 A CN115339473 A CN 115339473A CN 202211062858 A CN202211062858 A CN 202211062858A CN 115339473 A CN115339473 A CN 115339473A
Authority
CN
China
Prior art keywords
scene
prediction
obstacle
predicted
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211062858.1A
Other languages
English (en)
Inventor
大方
张雨
何润林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyu Technology Co Ltd
Original Assignee
Suzhou Qingyu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyu Technology Co Ltd filed Critical Suzhou Qingyu Technology Co Ltd
Priority to CN202211062858.1A priority Critical patent/CN115339473A/zh
Publication of CN115339473A publication Critical patent/CN115339473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例涉及一种多障碍物全模态预测场景的处理方法和装置，所述方法包括：获取多个障碍物的第一障碍物数据；将各个第一障碍物数据输入多模态轨迹预测模型进行轨迹预测得到模态总量N的第一预测轨迹数据组；对第一障碍物数据的数量进行统计生成第一障碍物总数K；进行多障碍物轨迹组合得到NK个第一预测场景；在各个第一预测场景中对当前预测场景的K个第一预测轨迹对应的第一预测轨迹概率进行总和计算生成对应的第一场景概率总和；按第一场景概率总和从大到小的顺序对第一预测场景进行排序生成第一预测场景序列，并将第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。通过本发明可以解决由单一预测场景导致的估计不足问题。

Description

一种多障碍物全模态预测场景的处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种多障碍物全模态预测场景的处理方法和装置。
背景技术
自动驾驶系统的轨迹预测模块在常规情况下会使用一个多模态轨迹预测模型根据每个障碍物在当前时刻的历史轨迹和实时位置对该障碍物在未来时段的多种运动可能状态(例如直行、左转、右转、掉头等)的运动轨迹进行预测并为每个预测轨迹生成一个对应的预测轨迹概率，多模态就是指多种运动可能状态；然后再从每个障碍物对应的多个预测轨迹中选择预测轨迹概率最高的作为各个障碍物在当前时刻的最大可能预测轨迹；然后再将由所有障碍物的最大可能预测轨迹组成的多障碍物预测场景输出到下游的规划模块进行自车行驶路径规划处理。通过实践我们会发现这种处理方式得到的预测场景存在估计不足的问题：在构建多障碍物预测场景时只选择了最大可能预测轨迹进行构建，对其他可能发生的突发状态估计不足。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种多障碍物全模态预测场景的处理方法、装置、电子设备及计算机可读存储介质；预先基于高斯混合模型的概率分布函数构建损失函数来对多模态轨迹预测模型进行训练；在模型训练成熟后，基于多模态轨迹预测模型对各个障碍物在未来时段的多种可能运动轨迹进行预测得到对应的多个预测轨迹以及每个预测轨迹的预测轨迹概率，并对所有障碍物的所有预测轨迹进行组合得到多个预测场景，并对每个预测场景的场景概率总和进行计算，并按场景概率总和由大到小的顺序对所有预测场景进行排序从而得到最终的多障碍物全模态预测场景。通过本发明，基于高斯混合模型概率分布函数构建的损失函数来对模型进行训练，可以对预测轨迹与预测概率进行同步监督，从而达到提高多模态轨迹预测模型预测精度的目的；通过本发明可以得到未来时段所有障碍物的全模态预测场景，从而可以解决由单一预测场景导致的估计不足问题。
为实现上述目的，本发明实施例第一方面提供了一种多障碍物全模态预测场景的处理方法，所述方法包括：
获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di；障碍物索引i为大于或等于1的正整数；所述第一障碍物数据Di包括第一历史轨迹和第一位置；
将各个所述第一障碍物数据Di输入预设的多模态轨迹预测模型进行轨迹预测处理得到模态总量N的第一预测轨迹数据组Ei,g；所述模态总量N为所述多模态轨迹预测模型对应的输出模态总量；所述第一预测轨迹数据组Ei,g包括第一预测轨迹Si,g和第一预测轨迹概率ρi,g；模态索引g为大于或等于1的正整数，其取值范围为1≤g≤N；
对所述第一障碍物数据Di的数量进行统计生成对应的第一障碍物总数K；
从各个障碍物对应的多个所述第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合得到对应的第一预测场景Vj；场景索引j为大于或等于1的正整数，其取值范围为1≤j≤NK；
在各个所述第一预测场景Vj中，对当前预测场景的K个所述第一预测轨迹Si,g对应的所述第一预测轨迹概率ρi,g进行总和计算生成对应的第一场景概率总和Rj；并按所述第一场景概率总和Rj从大到小的顺序对所述第一预测场景Vj进行排序生成对应的第一预测场景序列，并将所述第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。
优选的，所述方法还包括：在所述获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di之前，预先基于高斯混合模型的概率分布函数构建损失函数来对所述多模态轨迹预测模型进行训练。
优选的，各个所述第一预测场景Vj均由所述第一障碍物总数K的所述第一预测轨迹Si,g组成；各个所述第一预测场景Vj内的任两个所述第一预测轨迹Si,g的所述障碍物索引i不重合；任两个所述第一预测场景Vj的所述第一预测轨迹Si,g不会完全重合。
本发明实施例第二方面提供了一种用于实现上述第一方面所述的多障碍物全模态预测场景的处理方法的装置，所述装置包括：获取模块、多模态轨迹预测处理模块、第一预测场景处理模块和第二预测场景处理模块；
所述获取模块用于获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di；障碍物索引i为大于或等于1的正整数；所述第一障碍物数据Di包括第一历史轨迹和第一位置；
所述多模态轨迹预测处理模块用于将各个所述第一障碍物数据Di输入预设的多模态轨迹预测模型进行轨迹预测处理得到模态总量N的第一预测轨迹数据组Ei,g；所述模态总量N为所述多模态轨迹预测模型对应的输出模态总量；所述第一预测轨迹数据组Ei,g包括第一预测轨迹Si,g和第一预测轨迹概率ρi,g；模态索引g为大于或等于1的正整数，其取值范围为1≤g≤N；
所述第一预测场景处理模块用于对所述第一障碍物数据Di的数量进行统计生成对应的第一障碍物总数K；并从各个障碍物对应的多个所述第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合得到对应的第一预测场景Vj；场景索引j为大于或等于1的正整数，其取值范围为1≤j≤NK；
所述第二预测场景处理模块用于在各个所述第一预测场景Vj中，对当前预测场景的K个所述第一预测轨迹Si,g对应的所述第一预测轨迹概率ρi,g进行总和计算生成对应的第一场景概率总和Rj；并按所述第一场景概率总和Rj从大到小的顺序对所述第一预测场景Vj进行排序生成对应的第一预测场景序列，并将所述第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种多障碍物全模态预测场景的处理方法、装置、电子设备及计算机可读存储介质；预先基于高斯混合模型的概率分布函数构建损失函数来对多模态轨迹预测模型进行训练；在模型训练成熟后，基于多模态轨迹预测模型对各个障碍物在未来时段的多种可能运动轨迹进行预测得到对应的多个预测轨迹以及每个预测轨迹的预测轨迹概率，并对所有障碍物的所有预测轨迹进行组合得到多个预测场景，并对每个预测场景的场景概率总和进行计算，并按场景概率总和由大到小的顺序对所有预测场景进行排序从而得到最终的多障碍物全模态预测场景。通过本发明，基于高斯混合模型概率分布函数构建的损失函数来对模型进行训练，可以对预测轨迹与预测概率进行同步监督，提高了多模态轨迹预测模型的预测精度；通过本发明可以得到未来时段所有障碍物的全模态预测场景，解决了由单一预测场景导致的估计不足问题。
附图说明
图1为本发明实施例一提供的一种多障碍物全模态预测场景的处理方法示意图；
图2为本发明实施例二提供的一种多障碍物全模态预测场景的处理装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供一种多障碍物全模态预测场景的处理方法，如图1为本发明实施例一提供的一种多障碍物全模态预测场景的处理方法示意图所示，本方法主要包括如下步骤：
步骤1，获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di；
其中，障碍物索引i为大于或等于1的正整数；第一障碍物数据Di包括第一历史轨迹和第一位置。
这里，自动驾驶系统的轨迹预测模块从上游的感知模块处输出的感知数据集合中将与当前障碍物对应的第一历史轨迹和第一位置；第一历史轨迹为当前障碍物在当前时刻之前一段固定时长的实际运动轨迹；第一位置为当前障碍物在当前时刻的实时位置坐标。
步骤2，将各个第一障碍物数据Di输入预设的多模态轨迹预测模型进行轨迹预测处理得到模态总量N的第一预测轨迹数据组Ei,g；
其中，模态总量N为多模态轨迹预测模型对应的输出模态总量；第一预测轨迹数据组Ei,g包括第一预测轨迹Si,g和第一预测轨迹概率ρi,g；模态索引g为大于或等于1的正整数，其取值范围为1≤g≤N。
这里，本发明实施例的多模态轨迹预测模型为一个预先训练成熟的用于进行多模态轨迹预测的轨迹预测模型；多模态轨迹预测模型可以基于障碍物的历史轨迹、实时位置进行轨迹预测并输出对应的多个预测轨迹以及每个预测轨迹的预测轨迹概率；多模态轨迹预测模型的模态总量N表示当前模型可以对N种运动可能(模态)进行预测，每种模态输出一个预测轨迹数据组即第一预测轨迹数据组Ei,g，每个第一预测轨迹数据组Ei,g中的第一预测轨迹Si,g即为当前模态的预测轨迹，第一预测轨迹概率ρi,g即为对应的第一预测轨迹Si,g的预测轨迹概率。
需要说明的是，本发明实施例在使用多模态轨迹预测模型之前需要对其进行模型训练。即在获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di之前，预先基于高斯混合模型的概率分布函数构建损失函数来对多模态轨迹预测模型进行训练，具体包括：
步骤A0，构建训练数据集；
其中，训练数据集包括多个训练数据集记录；训练数据集记录包括训练历史轨迹h、训练实时位置p和训练真值轨迹S*；
这里，本发明实施例在构建训练数据集时，先在一个没有明确道路交通标志、标识且带有至少一个交叉路口的场景内，对途经该场景的各个障碍物的运动轨迹进行采集得到多个采集轨迹；并在每个采集轨迹上选择一点作为实时位置p，并以实时位置p为分界点将采集轨迹分为前后两段子轨迹，并按一个设定时长从前段子轨迹中提取一个固定长度的轨迹作为历史轨迹h，该历史轨迹h的结束轨迹点的位置为实时位置p，再按一个设定时长从后段子轨迹中提取一个固定长度的轨迹作为训练真值轨迹S*，该训练真值轨迹S*的起始轨迹点的位置为实时位置p，再由得到的一组训练历史轨迹h、训练实时位置p和训练真值轨迹S*组成一个训练数据集记录存入训练数据集中；
步骤A1，初始化收敛计数器的计数值为0；并从训练数据集中提取第一个训练数据记录作为当前训练数据记录；
步骤A2，从当前训练数据记录中提取出训练历史轨迹h和训练实时位置p组成对应的当前训练障碍物数据；并将当前训练障碍物数据输入多模态轨迹预测模型进行轨迹预测处理得到模态总量N的预测轨迹数据组Eg；
其中，预测轨迹数据组Eg包括预测轨迹Sg和对应的预测轨迹概率ρg；
这里，因为已知多模态轨迹预测模型的输出模态总量为模态总量N，所以基于一组训练障碍物数据可以得到N个预测轨迹数据组Eg，每个预测轨迹数据组Eg对应一种模态(运动可能状态)；
步骤A3，由预测轨迹Sg的数据维度确定对应的维度参数M；并由各个预测轨迹Sg确定对应的协方差矩阵Cg；并将协方差矩阵Cg加入到对应的预测轨迹数据组Eg中；
这里，当前步骤是在做高斯混合模型的概率分布函数的参数准备，更新后的预测轨迹数据组Eg应包括三个参数：预测轨迹Sg、预测轨迹概率ρg和协方差矩阵Cg；维度参数M与预测轨迹Sg的数据维度对应，预测轨迹Sg的数据维度也就是预测轨迹Sg的轨迹点坐标维度，若预测轨迹Sg的轨迹点坐标为二维坐标则对应的维度参数M＝2，若预测轨迹Sg轨迹点坐标为三维坐标则对应的维度参数M＝3；
步骤A4，基于高斯混合模型的概率分布函数构建第一概率函数P(S*|E)，并基于第一概率函数P(S*|E)构建对应的负对数似然损失函数记为第一损失函数L1：
L1＝-log(P(S*|E))，
Figure BDA0003826971080000071
(S*-Sg)T为(S*-Sg)的转置矩阵；
这里，高斯混合模型的原理及其对应的概率分布函数的推导都是公开的技术实现，可通过公开的技术资料获取，在此不做一一赘述；本发明实施例之所以基于高斯混合模型的概率分布函数来构建损失函数，是因为得到的第一概率函数P(S*|E)可以对多模态轨迹预测模型输出的预测轨迹Sg与预测轨迹概率ρg进行同步监督，以此来构建损失函数有助于同时提高模型的轨迹预测和概率预测精度；
步骤A5，将训练真值轨迹S*、维度参数M和模态总量N的预测轨迹数据组Eg(Sg,ρg,Cg)代入第一损失函数L1进行计算得到对应的第一损失值；
步骤A6，对第一损失值是否进入预设的收敛损失值范围进行识别；若第一损失值未进入收敛损失值范围，则将收敛计数器的计数值重置为0，并对多模态轨迹预测模型的模型参数进行调制，并在调制结束时返回步骤A2继续训练；若第一损失值已经进入收敛损失值范围，则对收敛计数器的计数值进行加1，并对加1后收敛计数器的计数值是否超过预设的收敛次数阈值进行判断，若已超过则转至步骤A7，若未超过则从训练数据集中提取下一个训练数据记录作为新的当前训练数据记录并返回步骤A2继续训练；
这里，在第一损失值未进入收敛损失值范围时，说明模型还未收敛需要对多模态轨迹预测模型的模型参数进行调制，并在调制后返回步骤A2基于之前的训练障碍物数据继续训练和调制；在对多模态轨迹预测模型的模型参数进行调制时可将模型参数代入到第一损失函数L1中得到对应的目标函数，并按使目标函数达到极值的估算方式对多模态轨迹预测模型的模型参数进行估算，并根据得到的估算值对多模态轨迹预测模型的模型参数进行调制；
在第一损失值已经进入收敛损失值范围时，本发明实施例不会直接判断模型已经训练成熟，而是要基于一个预先设定的收敛次数阈值对最近连续进入收敛损失值范围的次数即当前收敛计数器的计数值进行判断；若收敛计数器的计数值超出收敛次数阈值，说明模型训练成熟，此时本发明实施例会转至步骤A7；若收敛计数器的计数值未超出收敛次数阈值，说明还需进一步使用新的训练障碍物数据进行训练以保证模型的输出稳定性，此时本发明实施例会从训练数据集中提取新的训练数据记录作为当前训练数据记录并返回步骤A2继续训练；
步骤A7，停止模型训练，并确认多模态轨迹预测模型已经训练成熟。
步骤3，对第一障碍物数据Di的数量进行统计生成对应的第一障碍物总数K。
步骤4，从各个障碍物对应的多个第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合得到对应的第一预测场景Vj；
其中，场景索引j为大于或等于1的正整数，其取值范围为1≤j≤NK；各个第一预测场景Vj均由第一障碍物总数K的第一预测轨迹Si,g组成；各个第一预测场景Vj内的任两个第一预测轨迹Si,g的障碍物索引i不重合；任两个第一预测场景Vj的第一预测轨迹Si,g不会完全重合。
例如，已知多个障碍物的数量为3即第一障碍物总数K＝3，对应的3个障碍物分别为：障碍物1、障碍物2、障碍物3；已知多模态轨迹预测模型的模态总量N＝2；
通过前述步骤2可以为每个障碍物预测出2组第一预测轨迹数据组Ei,g分别为：
障碍物1的第一预测轨迹数据组E1,1(S1,1,ρ1,1)、第一预测轨迹数据组E1,2(S1,2,ρ1,2)，
障碍物2的第一预测轨迹数据组E2,1(S2,1,ρ2,1)、第一预测轨迹数据组E2,2(S2,2,ρ2,2)，
障碍物3的第一预测轨迹数据组E3,1(S3,1,ρ3,1)、第一预测轨迹数据组E3,2(S3,2,ρ3,2)；
那么，从各个障碍物对应的多个第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合就可以得到NK＝23＝8个第一预测场景Vj，分别为：
第一预测场景V1{S1,1,S2,1,S3,1},第一预测场景V2{S1,1,S2,2,S3,1},
第一预测场景V3{S1,1,S2,1,S3,2},第一预测场景V4{S1,1,S2,2,S3,2},
第一预测场景V5{S1,2,S2,1,S3,1},第一预测场景V6{S1,2,S2,2,S3,1},
第一预测场景V7{S1,2,S2,1,S3,2},第一预测场景V8{S1,2,S2,2,S3,2}。
步骤5，在各个第一预测场景Vj中，对当前预测场景的K个第一预测轨迹Si,g对应的第一预测轨迹概率ρi,g进行总和计算生成对应的第一场景概率总和Rj；并按第一场景概率总和Rj从大到小的顺序对第一预测场景Vj进行排序生成对应的第一预测场景序列，并将第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。
例如，已知多个障碍物的数量为3即第一障碍物总数K＝3，对应的3个障碍物分别为：障碍物1、障碍物2、障碍物3；已知多模态轨迹预测模型的模态总量N＝2；由步骤4得到8个第一预测场景Vj，分别为：第一预测场景V1{S1,1,S2,1,S3,1},第一预测场景V2{S1,1,S2,2,S3,1},第一预测场景V3{S1,1,S2,1,S3,2},第一预测场景V4{S1,1,S2,2,S3,2},第一预测场景V5{S1,2,S2,1,S3,1},第一预测场景V6{S1,2,S2,2,S3,1},第一预测场景V7{S1,2,S2,1,S3,2},第一预测场景V8{S1,2,S2,2,S3,2}；
那么，在8个第一预测场景Vj中对各个预测场景的3个第一预测轨迹Si,g对应的第一预测轨迹概率ρi,g进行总和计算就可得到对应的8个第一场景概率总和Rj，分别为：R1＝ρ1,1+ρ2,1+ρ3,1，R2＝ρ1,1+ρ2,2+ρ3,1，R3＝ρ1,1+ρ2,1+ρ3,2，R4＝ρ1,1+ρ2,2+ρ3,2，R5＝ρ1,2+ρ2,1+ρ3,1，R6＝ρ1,2+ρ2,2+ρ3,1，R7＝ρ1,2+ρ2,1+ρ3,2，R8＝ρ1,2+ρ2,2+ρ3,2；
设8个第一场景概率总和Rj从大到小的顺序为R1>R2>R3>R4>R8>R6>R5>R7，那么，第一预测场景序列也就是多障碍物全模态预测场景就应为{V1,V2,V3,V4,R8,V6,V5,V7}。
图2为本发明实施例二提供的一种多障碍物全模态预测场景的处理装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、多模态轨迹预测处理模块202、第一预测场景处理模块203和第二预测场景处理模块204。
获取模块201用于获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di；障碍物索引i为大于或等于1的正整数；第一障碍物数据Di包括第一历史轨迹和第一位置。
多模态轨迹预测处理模块202用于将各个第一障碍物数据Di输入预设的多模态轨迹预测模型进行轨迹预测处理得到模态总量N的第一预测轨迹数据组Ei,g；模态总量N为多模态轨迹预测模型对应的输出模态总量；第一预测轨迹数据组Ei,g包括第一预测轨迹Si,g和第一预测轨迹概率ρi,g；模态索引g为大于或等于1的正整数，其取值范围为1≤g≤N。
第一预测场景处理模块203用于对第一障碍物数据Di的数量进行统计生成对应的第一障碍物总数K；并从各个障碍物对应的多个第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合得到对应的第一预测场景Vj；场景索引j为大于或等于1的正整数，其取值范围为1≤j≤NK。
第二预测场景处理模块204用于在各个第一预测场景Vj中，对当前预测场景的K个第一预测轨迹Si,g对应的第一预测轨迹概率ρi,g进行总和计算生成对应的第一场景概率总和Rj；并按第一场景概率总和Rj从大到小的顺序对第一预测场景Vj进行排序生成对应的第一预测场景序列，并将第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。
本发明实施例提供的一种多障碍物全模态预测场景的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种多障碍物全模态预测场景的处理方法、装置、电子设备及计算机可读存储介质；预先基于高斯混合模型的概率分布函数构建损失函数来对多模态轨迹预测模型进行训练；在模型训练成熟后，基于多模态轨迹预测模型对各个障碍物在未来时段的多种可能运动轨迹进行预测得到对应的多个预测轨迹以及每个预测轨迹的预测轨迹概率，并对所有障碍物的所有预测轨迹进行组合得到多个预测场景，并对每个预测场景的场景概率总和进行计算，并按场景概率总和由大到小的顺序对所有预测场景进行排序从而得到最终的多障碍物全模态预测场景。通过本发明，基于高斯混合模型概率分布函数构建的损失函数来对模型进行训练，可以对预测轨迹与预测概率进行同步监督，提高了多模态轨迹预测模型的预测精度；通过本发明可以得到未来时段所有障碍物的全模态预测场景，解决了由单一预测场景导致的估计不足问题。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多障碍物全模态预测场景的处理方法，其特征在于，所述方法包括：
获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di；障碍物索引i为大于或等于1的正整数；所述第一障碍物数据Di包括第一历史轨迹和第一位置；
将各个所述第一障碍物数据Di输入预设的多模态轨迹预测模型进行轨迹预测处理得到模态总量N的第一预测轨迹数据组Ei,g；所述模态总量N为所述多模态轨迹预测模型对应的输出模态总量；所述第一预测轨迹数据组Ei,g包括第一预测轨迹Si,g和第一预测轨迹概率ρi,g；模态索引g为大于或等于1的正整数，其取值范围为1≤g≤N；
对所述第一障碍物数据Di的数量进行统计生成对应的第一障碍物总数K；
从各个障碍物对应的多个所述第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合得到对应的第一预测场景Vj；场景索引j为大于或等于1的正整数，其取值范围为1≤j≤NK；
在各个所述第一预测场景Vj中，对当前预测场景的K个所述第一预测轨迹Si,g对应的所述第一预测轨迹概率ρi,g进行总和计算生成对应的第一场景概率总和Rj；并按所述第一场景概率总和Rj从大到小的顺序对所述第一预测场景Vj进行排序生成对应的第一预测场景序列，并将所述第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。
2.根据权利要求1所述的多障碍物全模态预测场景的处理方法，其特征在于，所述方法还包括：在所述获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di之前，预先基于高斯混合模型的概率分布函数构建损失函数来对所述多模态轨迹预测模型进行训练。
3.根据权利要求1所述的多障碍物全模态预测场景的处理方法，其特征在于，
各个所述第一预测场景Vj均由所述第一障碍物总数K的所述第一预测轨迹Si,g组成；各个所述第一预测场景Vj内的任两个所述第一预测轨迹Si,g的所述障碍物索引i不重合；任两个所述第一预测场景Vj的所述第一预测轨迹Si,g不会完全重合。
4.一种用于执行权利要求1-3任一项所述的多障碍物全模态预测场景的处理方法的装置，其特征在于，所述装置包括：获取模块、多模态轨迹预测处理模块、第一预测场景处理模块和第二预测场景处理模块；
所述获取模块用于获取多个障碍物在当前时刻的历史轨迹和实时位置组成对应的第一障碍物数据Di；障碍物索引i为大于或等于1的正整数；所述第一障碍物数据Di包括第一历史轨迹和第一位置；
所述多模态轨迹预测处理模块用于将各个所述第一障碍物数据Di输入预设的多模态轨迹预测模型进行轨迹预测处理得到模态总量N的第一预测轨迹数据组Ei,g；所述模态总量N为所述多模态轨迹预测模型对应的输出模态总量；所述第一预测轨迹数据组Ei,g包括第一预测轨迹Si,g和第一预测轨迹概率ρi,g；模态索引g为大于或等于1的正整数，其取值范围为1≤g≤N；
所述第一预测场景处理模块用于对所述第一障碍物数据Di的数量进行统计生成对应的第一障碍物总数K；并从各个障碍物对应的多个所述第一预测轨迹Si,g中任选一个预测轨迹进行多障碍物轨迹组合得到对应的第一预测场景Vj；场景索引j为大于或等于1的正整数，其取值范围为1≤j≤NK；
所述第二预测场景处理模块用于在各个所述第一预测场景Vj中，对当前预测场景的K个所述第一预测轨迹Si,g对应的所述第一预测轨迹概率ρi,g进行总和计算生成对应的第一场景概率总和Rj；并按所述第一场景概率总和Rj从大到小的顺序对所述第一预测场景Vj进行排序生成对应的第一预测场景序列，并将所述第一预测场景序列作为当前时刻的多障碍物全模态预测场景输出。
5.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-3任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-3任一项所述的方法的指令。
CN202211062858.1A 2022-08-31 2022-08-31 一种多障碍物全模态预测场景的处理方法和装置 Pending CN115339473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211062858.1A CN115339473A (zh) 2022-08-31 2022-08-31 一种多障碍物全模态预测场景的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211062858.1A CN115339473A (zh) 2022-08-31 2022-08-31 一种多障碍物全模态预测场景的处理方法和装置

Publications (1)

Publication Number Publication Date
CN115339473A true CN115339473A (zh) 2022-11-15

Family

ID=83955968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211062858.1A Pending CN115339473A (zh) 2022-08-31 2022-08-31 一种多障碍物全模态预测场景的处理方法和装置

Country Status (1)

Country Link
CN (1) CN115339473A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669738A (zh) * 2023-12-20 2024-03-08 苏州元脑智能科技有限公司 引擎更新方法、处理方法、装置、设备、介质及机器人

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669738A (zh) * 2023-12-20 2024-03-08 苏州元脑智能科技有限公司 引擎更新方法、处理方法、装置、设备、介质及机器人
CN117669738B (zh) * 2023-12-20 2024-04-26 苏州元脑智能科技有限公司 引擎更新方法、处理方法、装置、设备、介质及机器人

Similar Documents

Publication Publication Date Title
JP6892484B2 (ja) 物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両
CN110825579B (zh) 服务器性能监控方法、装置、计算机设备及存储介质
CN113264066B (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN111009153A (zh) 一种轨迹预测模型的训练方法、装置和设备
CN114022847A (zh) 一种智能体轨迹预测方法、系统、设备和存储介质
US20210134002A1 (en) Variational 3d object detection
CN112399348B (zh) 一种移动轨迹的确定方法及装置、存储介质
CN113485322B (zh) 船舶航迹规划方法、终端设备及计算机可读存储介质
CN115339473A (zh) 一种多障碍物全模态预测场景的处理方法和装置
CN115423735A (zh) 一种客流量统计方法及系统
CN115436910A (zh) 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN115900742A (zh) 车辆的参考轨迹规划方法、装置、电子设备及存储介质
US20230043061A1 (en) System and method for 3d multi-object tracking in lidar point clouds
JP7348243B2 (ja) 交通流監視測定システムのテスト方法、装置及び機器
CN115456060A (zh) 一种预测轨迹的处理方法和装置
CN111813882A (zh) 一种机器人地图构建方法、设备及存储介质
US20230237810A1 (en) Method and system for annotating sensor data
CN114966736A (zh) 一种基于点云数据进行目标速度预测的处理方法
CN114663478A (zh) 一种根据多参考点预测信息估计锚点位置的方法
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
CN116863325A (zh) 一种用于多个目标检测的方法和相关产品
CN114137525A (zh) 基于车载毫米波雷达的多目标检测方法和系统
CN114898311A (zh) 一种轨迹预测处理方法和装置
CN114913213B (zh) 一种鸟瞰特征的学习方法和装置
CN113642448B (zh) 一种空中平台对海/地面机动目标的图像识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination