CN114022847A - 一种智能体轨迹预测方法、系统、设备和存储介质 - Google Patents

一种智能体轨迹预测方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN114022847A
CN114022847A CN202111394192.5A CN202111394192A CN114022847A CN 114022847 A CN114022847 A CN 114022847A CN 202111394192 A CN202111394192 A CN 202111394192A CN 114022847 A CN114022847 A CN 114022847A
Authority
CN
China
Prior art keywords
agent
track
intelligent
information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111394192.5A
Other languages
English (en)
Inventor
胡坚明
贵宁
曾天楚
裴欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111394192.5A priority Critical patent/CN114022847A/zh
Publication of CN114022847A publication Critical patent/CN114022847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种智能体轨迹预测方法、系统、设备和存储介质，方法包括以下步骤：获取智能体及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。本发明通过将图神经网络与生成式网络结合起来，借由图神经网络表达智能体间的交互，通过循环神经网络提取历史和未来信息，通过生成式网络得到轨迹的概率模型，提高轨迹预测的合理性与精确度，可以广泛应用于智能体轨迹预测领域。

Description

一种智能体轨迹预测方法、系统、设备和存储介质
技术领域
本发明属于智能体(主要包括车辆、行人等)轨迹预测领域，尤其涉及一种基于条件变分自编码器(Conditional Variational Autoencoder)和图神经网络的智能体轨迹预测方法、系统、设备和存储介质。
背景技术
随着自动驾驶技术的不断发展，收集并理解智能体周围目标的信息和行为越发成为自动驾驶系统中的重要一环。智能体的轨迹预测是指根据智能体和周围目标过去的运动轨迹，预测物体在将来一小段时间内的运动轨迹，主要包括行人轨迹预测和车辆轨迹预测。轨迹预测技术可以为自动驾驶系统提前做出决策提供重要的信息，可以极大地提升轨迹规划的稳定度和舒适度。
在自动驾驶的场景中，每个个体之间可能会存在多种多样的关系，且这些关系会随着时间不断变化。此外，每个智能体未来的运动轨迹很可能存在多模态的特点：如一辆车在交叉路口可能直行也可能转弯，这样的特点使得传统轨迹预测方法难以在此类复杂场景中取得较好的效果。早期的轨迹预测技术主要采用基于概率的方法，这其中又细分为基于运动学和动力学的建模和基于机动信息的方法(即以车辆或行人的运动特征为可观测状态，推断其不可观测的未来状态)；近年来的轨迹预测方法多采用基于深度学习的方法，如基于循环神经网络(RNN)、基于生成式网络(如生成对抗网络(GAN),变分自编码器(VAE))、基于图神经网络等方法。简单的基于RNN的方法在精度上不能达到很高的水平，且RNN方法不能处理未来轨迹的多模态性质；基于生成式网络的方法可以通过调整隐变量的方法生成多模态的轨迹，也可以采用高斯混合模型(GMM)采样多种未来轨迹；基于图神经网络的方法则能够处理多智能体问题。
如果单独采用生成式网络进行轨迹预测，则会忽略由于智能体处于同一个场景图中彼此轨迹的相互影响；如果单独采用传统的图神经网络，则无法很好地在时间序列上提取特征，忽视智能体历史信息，同时无法产生贴合轨迹不确定性的概率模型。
发明内容
针对上述问题，本发明的目的是提供一种智能体轨迹预测方法、系统、设备和存储介质，通过将图神经网络与生成式网络结合起来，借由图神经网络表达智能体间的交互，通过循环神经网络提取历史和未来信息，通过生成式网络得到轨迹的概率模型，提高智能体轨迹预测的合理性与精确度。
为实现上述目的，本发明采取以下技术方案：
一种智能体轨迹预测方法，其包括以下步骤：
获取智能体及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；
将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；
将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。
进一步，所述获取智能体及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集的方法，包括：
获取智能体及其周围智能体的历史轨迹；
基于获取的智能体的历史轨迹，计算得到智能体的位置及速度信息；
选取预测感兴趣的场景区域，并基于该场景区域内活动的智能体构建场景图，得到；
将场景图和各智能体的位置及速度信息合并后，作为训练样本集。
进一步，所述将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估的方法，包括：
构建智能体轨迹预测模型；
确定损失函数；
基于训练样本集和损失函数，对构建的智能体轨迹预测模型进行训练，得到训练好的智能体轨迹预测模型；
对训练完成的智能体轨迹预测模型进行测试评估，得到最终的智能体轨迹预测模型。
进一步，所述智能体轨迹预测模型包括：编码器单元、图神经网络单元和解码器单元；
所述编码器单元以相应场景下智能体及其周围智能体的位置和速度信息为输入，以智能体轨迹的编码信息为输出；
所述图神经网络单元以智能体轨迹的编码信息为输入，以表示智能体轨迹信息的隐变量z的采样值为输出；
所述解码器单元以表示智能体轨迹信息的隐变量z的采样值为输入，以智能体的预测轨迹的概率分布为输出。
进一步，所述编码器单元包括智能体历史编码模块、智能体交互编码模块和智能体未来编码模块；
所述智能体历史编码模块以智能体本身的位置和速度信息为输入，以表示智能体历史轨迹编码的集合向量e1为输出；
所述智能体交互编码模块以智能体i及其感兴趣的其他智能体j的位置和速度信息为输入，以表示智能体交互编码的集合向量e2为输出；
所述智能体未来编码模块以智能体i本身的未来轨迹为输入，以表示智能体i未来轨迹编码的集合向量futurei为输出。
进一步，所述图神经网络单元包括第一全连接网络、第二全连接网络和第三全连接网络；
所述第一全连接网络以集合向量e1、集合向量e2和图像表示向量e3的联合向量为输入，以表示智能体信息的隐变量z的概率分布为输出；
所述第二全连接网络以集合向量e1、集合向量e2、图像表示向量e3以及集合向量futurei的联合向量为输入，以表示智能体信息的隐变量z的概率分布为输出；
所述第三全连接网络用于对第一全连接网络和第二全连接网络输出的隐变量z的概率分布进行采样，实现一维化。
进一步，所述解码器单元包括GRU模块、GMM模块和预测轨迹模块；
所述GRU模块用于对隐变量z进行解码，得到一个高斯混合模型的参数，用来描述当前智能体未来轨迹的概率分布；
所述GMM模块用于得到高斯混合模型的参数后生成轨迹的概率分布；
所述预测轨迹模块根据所需预测的模式，从概率分布中进行采样得到智能体的预测轨迹。
一种智能体轨迹预测系统，该系统包括：
数据集获取模块，用于获取智能体i及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；
模型训练模块，用于将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；
模型测试和预测模块，用于将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。
一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行所述计算机程序时执行以实现所述智能体轨迹预测方法的步骤。
一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述智能体轨迹预测方法的步骤。
本发明由于采取以上技术方案，其具有以下优点：
1)本发明在预测智能体未来轨迹时采用了条件变分自编码器架构，使模型可以输出轨迹的概率分布；也可以通过采样多个隐变量的方式获得不同的轨迹分布；
2)本发明在利用位置信息的同时可以利用历史速度和智能体的头朝向信息，相较于传统的智能体轨迹预测一般只利用智能体历史位置信息，预测精度更高；
3)本发明在模型的训练阶段中，在编码阶段引入了智能体未来轨迹以更好地获得真实的轨迹分布，从而能够通过采样的方式获得不同的未来轨迹；
4)本发明在处理多智能体之间的注意机制时，引入智能体之间的相对速度和位移。对于车辆，考虑到驾驶员在车辆中时视野受到驾驶室的限制；对于行人，本发明认为行人会更加注重他们身前的智能体，次之是身旁的，最后才会注意到身后的智能体；相比于认为两个智能体距离足够接近就可以互相纳入参考范围且两者的权重相等，本发明采用一种类似余弦距离的权重度量方式，更多地考虑视野在智能体注意力上的作用，更贴近实际；
因此，本发明可以广泛应用于智能体轨迹预测领域。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
图1是本发明实施例提供的智能体轨迹预测方法流程图；
图2是本发明实施例提供的智能体轨迹预测网络整体结构；
图3是本发明实施例提供的首钢数据集缩略图；
图4是本发明实施例提供的训练过程损失；
图5是本发明实施例提供的Zara1预测结果展示；
图6是本发明实施例提供的ETH预测结果展示；
图7是本发明实施例提供的首钢预测结果展示。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明一些实施例中提供一种智能体轨迹预测方法，将图神经网络和条件变分自编码器架构结合在一起，使用深度学习的方法训练模型，得到多模态且精度较高的智能体轨迹预测方法。通过将图神经网络和条件变分自编码器结构结合起来，利用图神经网络在编码智能体历史轨迹的基础上添加周围智能体的历史轨迹信息，利用条件变分自编码器在编码多种历史轨迹和环境信息的情况下，配合高斯混合模型实现多模态的智能体轨迹预测。因此，本发明能够有效提高智能体轨迹预测的精度和多模态预测能力。
与之相对应的，本发明的另一些实施例中，还提供一种智能体轨迹预测系统、设备和存储介质。
实施例1
如图1所示，本实施例提供一种智能体轨迹预测方法，包括以下步骤：
1)获取智能体i及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；
2)将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；
3)将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。
在一个优选的实施例中，上述步骤1)具体包括以下步骤：
1.1)获取智能体及其周围智能体的历史轨迹。
其中，智能体可以为车辆或者行人。在获取智能体及其周围智能体的历史轨迹时，需要获取相应场景内所有参与轨迹预测的智能体在过去预设时间步长内的轨迹信息。
优选地，可以获取8个时间步长内的轨迹信息，当智能体为车辆时，步长可以选为0.1s，当智能体为行人时，步长可以选为0.4s。
1.2)基于获取的智能体的历史轨迹，计算得到智能体的位置及速度信息。
基于获取的智能体及其周围智能体的历史轨迹信息获取其他信息，包括速度、偏航角和地图信息(如每个坐标的道路类别)等。其中，速度和偏航角可以直接提供，也可以根据坐标信息差分计算估计。本实施例中通过时序差分的方式，计算所有智能体的瞬时速度，计算公式为：
Figure BDA0003369335630000061
Figure BDA0003369335630000062
其中，dt为数据的分辨率；
Figure BDA0003369335630000063
和
Figure BDA0003369335630000064
分别为t时刻第i个智能体的速度在x轴和y轴方向的分量；
Figure BDA0003369335630000065
和
Figure BDA0003369335630000069
为t时刻第i个智能体的横坐标和纵坐标；
Figure BDA0003369335630000066
和
Figure BDA0003369335630000067
为t-1时刻第i个智能体的横坐标和纵坐标。
1.3)选取预测感兴趣的场景区域，并基于该场景区域内活动的智能体构建场景图，得到G＝(V，E)。
本实施例中，通过获取过去8个时间步长内的轨迹信息，来预测智能体在未来8个步长或12个时间步长内的轨迹。由于需要选定每个智能体在预测过程中纳入考虑的邻居智能体，因此需要在历史轨迹数据的起始时刻计算一张有向带权图以表征各智能体之间的感知。
计算方法为：根据当前智能体的速度方向和当前智能体与其他智能体的位移方向之夹角判定当前智能体与其他智能体之间的感知能力强弱，并以此建立一张表征当前场景下各智能体之间感知能力的有向带权图G＝(V，E)，该有向带权图以邻接矩阵A表示，其中，邻接矩阵A中各元素的计算公式为：
Figure BDA0003369335630000068
其中，Aij表示智能体i对智能体j的注意力权重；vi表示智能体i的速度向量，pi，pj表示智能体i，j的位置向量。
1.4)将场景图G＝(V，E)和各智能体的位置及速度信息合并后，作为训练样本集。
在一个优选的实施例中，上述步骤2)中，具体包括以下步骤：
2.1)构建智能体轨迹预测模型，以训练样本集为输入，以智能体的预测轨迹的概率分布为输出。
具体的，如图2所示，本实施例构建的智能体轨迹预测模型将图神经网络和条件变分自编码器架构结合在一起，其包括：编码器单元、图神经网络单元和解码器单元。其中，编码器单元以相应场景下智能体及其周围智能体的位置和速度信息为输入，以智能体轨迹的编码信息为输出；图神经网络单元以智能体轨迹的编码信息为输入，以表示智能体轨迹信息的隐变量z的采样值为输出；解码器单元以表示智能体轨迹信息的隐变量z的采样值为输入，以智能体的预测轨迹为输出。
在一个优选的实施例中，编码器单元包括智能体历史编码模块、智能体交互编码模块和智能体未来编码模块。其中，智能体历史编码模块以智能体本身的位置和速度信息为输入，以表示智能体历史轨迹编码的集合向量e1为输出；智能体交互编码模块以智能体i及其感兴趣的其他智能体j的位置和速度信息为输入，以表示智能体交互编码的集合向量e2为输出；智能体未来编码模块以智能体i本身的未来轨迹为输入，以表示智能体i未来轨迹编码的集合向量futurei为输出。
实际上，在训练阶段，编码器单元的输入为以智能体的历史轨迹数据构成的标签数据，该标签数据中拥有智能体前8个步长和后12个步长的轨迹信息，其中，前8个步长的轨迹信息作为智能体的历史轨迹信息，用于输入智能体历史编码模块和智能体交互编码模块；后12个步长的轨迹信息作为智能体对应的未来轨迹信息，用于输入智能体未来编码模块。
在一个优选的实施例中，智能体历史编码模块采用LSTM(长短期记忆)网络编码历史轨迹的序列数据，该LSTM网络长度为32，其输出为：
Figure BDA0003369335630000071
其中，
Figure BDA0003369335630000072
和
Figure BDA0003369335630000073
分别为LSTM网络对t时刻和t-1时刻第i个智能体编码的隐藏状态；Ti为该智能体的类型，对于同一种类的智能体采用同一个LSTM网络进行编码；
Figure BDA0003369335630000074
为智能体i在t时刻的位置和速度向量；WNT为该神经网络的权重。
在一个优选的实施例中，智能体交互编码模块采用长度为8的LSTM网络对智能体的交互进行编码，并在LSTM网络的输出上施加简单的注意力网络，其输出为：
Figure BDA0003369335630000075
其中，
Figure BDA0003369335630000076
为t时刻第i个智能体编码的隐藏状态的向量表示；WNI表示该神经网络的权重；
Figure BDA0003369335630000077
为智能体i邻接智能体的信息平均与智能体i本身信息的联合向量，其计算公式为：
Figure BDA0003369335630000081
其中，
Figure BDA0003369335630000082
为Ti类型的智能体i的邻居智能体集合；
Figure BDA0003369335630000083
和
Figure BDA0003369335630000084
分别为智能体j和智能体i在t时刻的位置和速度向量；
在一个优选的实施例中，智能体未来编码模块采用长度为32的双向LSTM网络对智能体i的未来轨迹进行编码，其获得的集合向量记为futurei，计算公式为：
Figure BDA0003369335630000085
其中，
Figure BDA0003369335630000086
是智能体i每个状态多个分量的简称，tobs+表示未来的12个时间步长。
在一个优选的实施例中，编码器单元还包括上下文信息模块，该上下文信息模块以场景图像为输入，以图像表示向量e3为输出。其中，如果数据集中没有提供上下文信息，则集合向量e1和集合向量e2无需与e3拼接。
在一个优选的实施例中，图神经网络单元包括第一全连接网络、第二全连接网络和第三全连接网络。其中，第一全连接网络以集合向量e1、集合向量e2和图像表示向量e3的联合向量为输入，以表示智能体信息的隐变量z的概率分布为输出；第二全连接网络以集合向量e1、集合向量e2、图像表示向量e3以及集合向量futurei的联合向量为输入，以表示智能体信息的隐变量z的概率分布为输出；第三全连接网络用于对第一全连接网络和第二全连接网络输出的隐变量z的概率分布进行采样，实现一维化。
实际上，第一全连接网络可以看做是对第二全连接网络的估计，训练时通过损失函数来计算第一全连接网络和第二全连接网络输出的概率分布之间的差异，当损失函数逐渐收敛时，便可以保证第一全连接网络和第二全连接网络输出的隐变量z的概率分布基本相同。
在一个优选的实施例中，第二全连接网络输出的隐变量z的概率分布记为p(z|x，y)，其表达式为：
p(z|x，y)＝MLP([eX|futurei])or p(z|x)＝MLP(eX)
其中，x表示智能体的历史信息，即上下文信息、智能体历史轨迹以及智能体交互信息，y表示智能体的未来信息；eX为集合向量e1、集合向量e2、图像表示向量e3以及集合向量futurei构成的联合向量。特别的，由于在测试阶段不能获得当前智能体的未来轨迹，因此，联合向量eX由集合向量e1、集合向量e2、图像表示向量e3构成，输入到第一全连接网络后，其输出的隐变量z的概率分布记为p(z|x)。
在一个优选的实施例中，解码器单元包括GRU(Gate Recurrent Unit)模块、GMM(高斯混合模型)模块和预测轨迹模块。其中，GRU模块用于对隐变量z进行解码，得到一个高斯混合模型的参数，用来描述当前智能体未来轨迹的概率分布；GMM模块用于根据得到的高斯混合模型的参数后生成智能体轨迹的概率分布；预测轨迹模块根据所需预测的模式，从概率分布中进行采样得到预测的轨迹。
在一个优选的实施例中，GRU模块采用128维的门控循环单元，其计算公式为：
Figure BDA0003369335630000091
其中，GRU128为128维的门控循环单元，eX为上述得到的联合向量，
Figure BDA0003369335630000092
表示采样后的隐变量z。
2.2)确定损失函数。
在训练过程中有两个目标：使得整体模型的输出拟合真实的数据；使得两个输出隐变量概率分布的网络即第一全连接网络和第二全连接网络输出的结果相近，使得测试和训练结果没有明显的波动。因此采用以下的损失函数：
Figure BDA0003369335630000093
其中，DKL表示KL散度，用于表示两个概率分布之间的相似性，数值越小，则表示两个分布越接近；xi和yi表示第i个智能体的历史轨迹坐标集合；z表示隐变量；pψ(yi|xi，z)表示在已知智能体i的历史轨迹以及得到隐变量z的情况下，得到的未来轨迹的概率分布，ψ表示神经网络的权重参数；qφ(z|xi，yi)表示已知智能体的历史轨迹和未来轨迹，得到的隐变量z的概率分布，φ表示神经网络权重参数，该概率用于训练时采样隐变量z；pθ(z|xi)表示已知智能体历史轨迹，得到隐变量的概率分布，θ表示神经网络权重参数，该概率用于测试时采样隐变量z。
2.3)基于训练样本集和损失函数，对构建的智能体轨迹预测模型进行训练，得到训练好的智能体轨迹预测模型。
2.4)对训练完成的智能体轨迹预测模型进行测试评估，得到最终的智能体轨迹预测模型。
在一个优选的实施例中，上述步骤2.4)中，对训练完成的智能体轨迹预测模型进行测试评估时，包括：首先，获取参与轨迹预测的智能体在过去8个时间步长内的历史轨迹；其次，基于获取的历史轨迹信息，通过编码器单元计算得到集合向量e1，e2；然后，将得到的e1，e2拼接后输入到第一全连接网络p(z|x)并重采样以得到隐变量z，再经解码器中的GRU模块解码后，输出预测的智能体轨迹分布；最后，计算预测的智能体轨迹分布与智能体对应的未来轨迹分布的误差，若满足预设要求则通过测试评估，否则继续训练。
实施例2
本实施例在多个数据集上对实施例1提供的智能体轨迹预测方法进行验证，并对比了几种不同的方法，以下是具体效果：
本实施例在行人轨迹数据集和车辆轨迹数据集中均进行了验证。其中，行人数据集为ETH(苏黎世联邦理工学院)和UCY(塞浦路斯大学)，数据集中的4个数据集，包含ETH，Hotel，Univ和Zara1；车辆数据集是本实施例在交通模拟软件SUMO中截取的北京首钢工业园区的一个三岔路口路段作为地图(如图3)后生成的仿真数据。
算法整体基于深度学习模型，在PyTorch上实现并训练。在首钢工业园数据集上的训练集损失函数变化情况如图4所示，可以观察到经过2小时的训练后损失函数基本收敛。
轨迹预测领域最常用的指标有两个：平均位移误差(Average DisplacementError,ADE)和最终位移误差(Final Displacement Error)。ADE是指预测时域内预测轨迹和真实轨迹的平均欧式距离，FDE是指预测终点和真实终点之间的欧式距离。由于我们的模型可以生成多模态的轨迹概率分布，因此预测结果可以从两个维度分析：可能性最大结果和全结果。可能性最大结果是指隐变量z取期望值时预测得到的轨迹期望值，全结果是指隐变量z通过采样得到，预测轨迹为所有采样结果中和真实轨迹最接近的一条的期望值。
本实施例在行人数据集ETH,Hotel,Univ和Zara1中将实施例1的方法与两类轨迹预测算法做比较。
首先，原始数据集都可以包含多个场景，场景以.txt格式存储。每个场景内的数据格式如下表1所示。
表1每个场景内的数据格式
时间戳t 智能体编号id 横坐标x 纵坐标y
int int float float
一类是可以输出多种可能未来轨迹的模型，具体情况如表2所示：
表2全采样最优结果
Figure BDA0003369335630000101
Figure BDA0003369335630000111
另一类是可以输出最佳未来轨迹或只能输出一种未来轨迹的模型，效果如表3所示：
表3数学期望结果
数据集 线性模型 LSTM S-LSTM
ETH 1.33/2.94 1.09/2.41 1.09/2.35
Hotel 0.39/0.72 0.86/1.91 0.79/1.76
Univ 0.82/1.59 0.61/1.31 0.67/1.40
Zara1 0.62/1.21 0.41/0.88 0.47/1.00
数据集 S-ATTN Trajectron++ 我们的模型
ETH 0.39/3.74 0.71/1.66 0.45/1.13
Hotel 0.29/2.64 0.22/0.46 0.48/1.19
Univ 0.33/3.92 0.44/1.17 0.43/1.05
Zara1 0.20/0.52 0.30/0.79 0.48/1.17
从这两张表中可以看出，我们的算法可以在绝大多数情况下得到优于大多数算法的行人轨迹预测结果，且能够消减不同数据集(不同智能体群)之间的差异，可以获得方差更小的预测轨迹。
本实施例的算法在车辆轨迹数据集中的表现如表4所示：
表4.首钢数据集结果
我们的模型 全采样最优结果 数学期望结果
ADE(m) 0.47 0.60
FDE(m) 0.99 1.22
与表2和表3所示的行人数据集预测结果对比可以看出：车辆数据集预测结果和行人数据集预测结果的数量级差异并不明显，且考虑到车辆尺寸与人体尺寸之间的比例，可以说算法在车辆轨迹预测任务中取得了较好的结果。
本实施例在行人数据集中的部分预测场景如图5，图6所示。圆点代表智能体(行人)，黑色虚线表示智能体的历史轨迹，空心虚线表示智能体最可能的未来轨迹，实线则表示智能体各种可能的未来轨迹(未做平滑处理)。在车辆数据集中的部分预测场景如图7所示。
实施例3
上述实施例1提供了一种智能体轨迹预测方法，与之相对应地，本实施例提供一种一种智能体轨迹预测系统。本实施例提供的系统可以实施实施例1的一种智能体轨迹预测方法，该识别系统可以通过软件、硬件或软硬结合的方式来实现。例如，该系统可以包括集成的或分开的功能模块或功能单元来执行实施例1各方法中的对应步骤。由于本实施例的识别系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例1的部分说明即可，本实施例的系统的实施例仅仅是示意性的。
本实施例提供的一种智能体轨迹预测系统，包括：
数据集获取模块，用于获取智能体i及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；
模型训练模块，用于将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；
模型测试和预测模块，用于将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。
实施例4
本实施例提供一种与本实施例1所提供的一种智能体轨迹预测方法对应的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的方法。
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例1所提供的一种智能体轨迹预测方法。
在一些实施例中，存储器可以是高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
在另一些实施例中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。
实施例5
本实施例1的一种智能体轨迹预测方法可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的一种智能体轨迹预测方法的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种智能体轨迹预测方法，其特征在于，包括以下步骤：
获取智能体及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；
将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；
将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。
2.如权利要求1所述的一种智能体轨迹预测方法，其特征在于：所述获取智能体及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集的方法，包括：
获取智能体及其周围智能体的历史轨迹；
基于获取的智能体的历史轨迹，计算得到智能体的位置及速度信息；
选取预测感兴趣的场景区域，并基于该场景区域内活动的智能体构建场景图，得到；
将场景图和各智能体的位置及速度信息合并后，作为训练样本集。
3.如权利要求1所述的一种智能体轨迹预测方法，其特征在于：所述将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估的方法，包括：
构建智能体轨迹预测模型；
确定损失函数；
基于训练样本集和损失函数，对构建的智能体轨迹预测模型进行训练，得到训练好的智能体轨迹预测模型；
对训练完成的智能体轨迹预测模型进行测试评估，得到最终的智能体轨迹预测模型。
4.如权利要求3所述的一种智能体轨迹预测方法，其特征在于：所述智能体轨迹预测模型包括：编码器单元、图神经网络单元和解码器单元；
所述编码器单元以相应场景下智能体及其周围智能体的位置和速度信息为输入，以智能体轨迹的编码信息为输出；
所述图神经网络单元以智能体轨迹的编码信息为输入，以表示智能体轨迹信息的隐变量z的采样值为输出；
所述解码器单元以表示智能体轨迹信息的隐变量z的采样值为输入，以智能体的预测轨迹的概率分布为输出。
5.如权利要求4所述的一种智能体轨迹预测方法，其特征在于：所述编码器单元包括智能体历史编码模块、智能体交互编码模块和智能体未来编码模块；
所述智能体历史编码模块以智能体本身的位置和速度信息为输入，以表示智能体历史轨迹编码的集合向量e1为输出；
所述智能体交互编码模块以智能体i及其感兴趣的其他智能体j的位置和速度信息为输入，以表示智能体交互编码的集合向量e2为输出；
所述智能体未来编码模块以智能体i本身的未来轨迹为输入，以表示智能体i未来轨迹编码的集合向量futurei为输出。
6.如权利要求5所述的一种智能体轨迹预测方法，其特征在于：所述图神经网络单元包括第一全连接网络、第二全连接网络和第三全连接网络；
所述第一全连接网络以集合向量e1、集合向量e2和图像表示向量e3的联合向量为输入，以表示智能体信息的隐变量z的概率分布为输出；
所述第二全连接网络以集合向量e1、集合向量e2、图像表示向量e3以及集合向量futurei的联合向量为输入，以表示智能体信息的隐变量z的概率分布为输出；
所述第三全连接网络用于对第一全连接网络和第二全连接网络输出的隐变量z的概率分布进行采样，实现一维化。
7.如权利要求4所述的一种智能体轨迹预测方法，其特征在于：所述解码器单元包括GRU模块、GMM模块和预测轨迹模块；
所述GRU模块用于对隐变量z进行解码，得到一个高斯混合模型的参数，用来描述当前智能体未来轨迹的概率分布；
所述GMM模块用于得到高斯混合模型的参数后生成轨迹的概率分布；
所述预测轨迹模块根据所需预测的模式，从概率分布中进行采样得到智能体的预测轨迹。
8.一种智能体轨迹预测系统，其特征在于，该系统包括：
数据集获取模块，用于获取智能体i及其周围智能体的历史轨迹信息作为数据集并进行预处理，得到训练样本集；
模型训练模块，用于将训练样本集输入预先构建的智能体轨迹预测模型进行训练，并对训练完成的智能体轨迹预测模型进行测试评估；
模型测试和预测模块，用于将当前智能体的实时数据输入智能体轨迹预测模型中进行轨迹预测，得到当前智能体的预测轨迹分布。
9.一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现权利要求1到7任一项所述智能体轨迹预测方法的步骤。
10.一种计算机存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现根据权利要求1到7任一项所述智能体轨迹预测方法的步骤。
CN202111394192.5A 2021-11-23 2021-11-23 一种智能体轨迹预测方法、系统、设备和存储介质 Pending CN114022847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111394192.5A CN114022847A (zh) 2021-11-23 2021-11-23 一种智能体轨迹预测方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111394192.5A CN114022847A (zh) 2021-11-23 2021-11-23 一种智能体轨迹预测方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114022847A true CN114022847A (zh) 2022-02-08

Family

ID=80066272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111394192.5A Pending CN114022847A (zh) 2021-11-23 2021-11-23 一种智能体轨迹预测方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114022847A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114516336A (zh) * 2022-02-24 2022-05-20 重庆长安汽车股份有限公司 一种考虑道路约束条件的车辆轨迹预测方法
CN114792320A (zh) * 2022-06-23 2022-07-26 中国科学院自动化研究所 轨迹预测方法、轨迹预测装置和电子设备
CN114898550A (zh) * 2022-03-16 2022-08-12 清华大学 一种行人轨迹预测方法和系统
CN115071762A (zh) * 2022-08-22 2022-09-20 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质
CN115071704A (zh) * 2022-07-19 2022-09-20 小米汽车科技有限公司 轨迹预测方法、装置、介质、设备、芯片和车辆
CN115147790A (zh) * 2022-06-28 2022-10-04 重庆长安汽车股份有限公司 一种基于图神经网络的车辆未来轨迹预测方法
CN115221971A (zh) * 2022-07-28 2022-10-21 上海人工智能创新中心 一种基于异质图的轨迹预测方法
CN115359568A (zh) * 2022-08-24 2022-11-18 深圳职业技术学院 行人智能体运动与应急疏散的仿真方法及计算机设备
CN116079747A (zh) * 2023-03-29 2023-05-09 上海数字大脑科技研究院有限公司 机器人跨具身控制方法、系统、计算机设备和存储介质
CN117077727A (zh) * 2023-09-18 2023-11-17 华东师范大学 基于时空注意力机制和神经常微分方程的轨迹预测方法
DE102022002457A1 (de) 2022-07-05 2024-01-11 Mercedes-Benz Group AG Verfahren zur Prädiktion eines Einflusses eines Verkehrsteilnehmers auf zumindest einen anderen Verkehrsteilnehmer und Verfahren zum Betrieb eines Fahrzeugs
CN117874529A (zh) * 2024-03-12 2024-04-12 浪潮电子信息产业股份有限公司 运动轨迹预测方法、模型训练方法、装置、设备及介质
CN115147790B (zh) * 2022-06-28 2024-06-04 重庆长安汽车股份有限公司 一种基于图神经网络的车辆未来轨迹预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110243A (zh) * 2019-04-27 2019-08-09 华南理工大学 一种基于回声状态网络的历史轨迹目的地预测方法
CN111260082A (zh) * 2020-03-08 2020-06-09 北京瀚科科技集团有限公司 一种基于神经网络的空间对象运动轨迹曲线预测方法
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN113068131A (zh) * 2021-06-01 2021-07-02 浙江非线数联科技股份有限公司 一种用户移动方式和轨迹的预测方法、装置、设备及存储介质
CN113269363A (zh) * 2021-05-31 2021-08-17 西安交通大学 一种高超声速飞行器的轨迹预测方法、系统、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110243A (zh) * 2019-04-27 2019-08-09 华南理工大学 一种基于回声状态网络的历史轨迹目的地预测方法
CN111260082A (zh) * 2020-03-08 2020-06-09 北京瀚科科技集团有限公司 一种基于神经网络的空间对象运动轨迹曲线预测方法
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN113269363A (zh) * 2021-05-31 2021-08-17 西安交通大学 一种高超声速飞行器的轨迹预测方法、系统、设备及介质
CN113068131A (zh) * 2021-06-01 2021-07-02 浙江非线数联科技股份有限公司 一种用户移动方式和轨迹的预测方法、装置、设备及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114516336B (zh) * 2022-02-24 2023-09-26 重庆长安汽车股份有限公司 一种考虑道路约束条件的车辆轨迹预测方法
CN114516336A (zh) * 2022-02-24 2022-05-20 重庆长安汽车股份有限公司 一种考虑道路约束条件的车辆轨迹预测方法
CN114898550A (zh) * 2022-03-16 2022-08-12 清华大学 一种行人轨迹预测方法和系统
CN114898550B (zh) * 2022-03-16 2024-03-19 清华大学 一种行人轨迹预测方法和系统
CN114792320A (zh) * 2022-06-23 2022-07-26 中国科学院自动化研究所 轨迹预测方法、轨迹预测装置和电子设备
CN115147790A (zh) * 2022-06-28 2022-10-04 重庆长安汽车股份有限公司 一种基于图神经网络的车辆未来轨迹预测方法
CN115147790B (zh) * 2022-06-28 2024-06-04 重庆长安汽车股份有限公司 一种基于图神经网络的车辆未来轨迹预测方法
DE102022002457A1 (de) 2022-07-05 2024-01-11 Mercedes-Benz Group AG Verfahren zur Prädiktion eines Einflusses eines Verkehrsteilnehmers auf zumindest einen anderen Verkehrsteilnehmer und Verfahren zum Betrieb eines Fahrzeugs
CN115071704A (zh) * 2022-07-19 2022-09-20 小米汽车科技有限公司 轨迹预测方法、装置、介质、设备、芯片和车辆
CN115071704B (zh) * 2022-07-19 2022-11-11 小米汽车科技有限公司 轨迹预测方法、装置、介质、设备、芯片和车辆
CN115221971A (zh) * 2022-07-28 2022-10-21 上海人工智能创新中心 一种基于异质图的轨迹预测方法
CN115071762A (zh) * 2022-08-22 2022-09-20 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质
CN115071762B (zh) * 2022-08-22 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质
CN115359568A (zh) * 2022-08-24 2022-11-18 深圳职业技术学院 行人智能体运动与应急疏散的仿真方法及计算机设备
CN116079747A (zh) * 2023-03-29 2023-05-09 上海数字大脑科技研究院有限公司 机器人跨具身控制方法、系统、计算机设备和存储介质
CN117077727A (zh) * 2023-09-18 2023-11-17 华东师范大学 基于时空注意力机制和神经常微分方程的轨迹预测方法
CN117077727B (zh) * 2023-09-18 2024-04-09 华东师范大学 基于时空注意力机制和神经常微分方程的轨迹预测方法
CN117874529A (zh) * 2024-03-12 2024-04-12 浪潮电子信息产业股份有限公司 运动轨迹预测方法、模型训练方法、装置、设备及介质
CN117874529B (zh) * 2024-03-12 2024-05-28 浪潮电子信息产业股份有限公司 运动轨迹预测方法、模型训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN114022847A (zh) 一种智能体轨迹预测方法、系统、设备和存储介质
Becker et al. An evaluation of trajectory prediction approaches and notes on the trajnet benchmark
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
Ma et al. Classification of automatic radar plotting aid targets based on improved fuzzy C-means
CN111553950B (zh) 一种钢卷对中判断方法、系统、介质及电子终端
Su et al. Uncertainty quantification of collaborative detection for self-driving
CN113076922B (zh) 一种物体检测方法及装置
CN112085789A (zh) 位姿估计方法、装置、设备及介质
Liu et al. Online multiple outputs least-squares support vector regression model of ship trajectory prediction based on automatic information system data and selection mechanism
EP4214682A1 (en) Multi-modal 3-d pose estimation
CN114802303A (zh) 障碍物轨迹预测方法、装置、电子设备及存储介质
CN116595871A (zh) 基于动态时空交互图的车辆轨迹预测建模方法与装置
CN115272712A (zh) 一种融合运动目标分析的行人轨迹预测方法
Banerjee et al. Explaining deep-learning models using gradient-based localization for reliable tea-leaves classifications
Kim et al. Prediction of the superiority of the hydrodynamic performance of hull forms using deep learning
CN113128446A (zh) 一种基于信念图增强网络的人体姿态估计方法
CN117408372A (zh) 一种基于深度学习的船舶轨迹预测方法与系统
CN116934820A (zh) 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及系统
Sirohi et al. Uncertainty-aware lidar panoptic segmentation
Ruppel et al. Transformers for object detection in large point clouds
CN114936593A (zh) 基于深度归一化自连接脉冲神经网络的汽车入侵检测方法
CN113920311A (zh) 一种基于边缘辅助信息的遥感图像分割方法及系统
Zeller et al. Radar Velocity Transformer: Single-scan Moving Object Segmentation in Noisy Radar Point Clouds
CN113111729A (zh) 人员识别模型的训练方法、识别方法、系统、装置及介质
Dong et al. Transfusor: Transformer Diffusor for Controllable Human-like Generation of Vehicle Lane Changing Trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination