CN112418421A - 一种基于图注意力自编码模型的路侧端行人轨迹预测算法 - Google Patents

一种基于图注意力自编码模型的路侧端行人轨迹预测算法 Download PDF

Info

Publication number
CN112418421A
CN112418421A CN202011229257.6A CN202011229257A CN112418421A CN 112418421 A CN112418421 A CN 112418421A CN 202011229257 A CN202011229257 A CN 202011229257A CN 112418421 A CN112418421 A CN 112418421A
Authority
CN
China
Prior art keywords
pedestrian
pedestrians
motion
latent variable
term memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011229257.6A
Other languages
English (en)
Other versions
CN112418421B (zh
Inventor
杨彪
闫国成
徐黎明
何才臻
詹为钦
吕继东
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu China Israel Industrial Technology Research Institute
Changzhou University
Original Assignee
Jiangsu China Israel Industrial Technology Research Institute
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu China Israel Industrial Technology Research Institute, Changzhou University filed Critical Jiangsu China Israel Industrial Technology Research Institute
Priority to CN202011229257.6A priority Critical patent/CN112418421B/zh
Publication of CN112418421A publication Critical patent/CN112418421A/zh
Application granted granted Critical
Publication of CN112418421B publication Critical patent/CN112418421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于图注意力自编码模型的路侧端行人轨迹预测算法，综合考虑了行人自身的运动状态和周围其他行人特别是运动方向上行人的运动状态对其未来轨迹的影响，本发明通过基于长短期记忆网络的编码器‑解码器进行行人运动轨迹建模，提取行人运动状态，进一步利用图模型和行人之间方位夹角，设计了双注意力机制，为周围行人的影响力分配不同的权重，同时利用潜变量预测器从观测轨迹和真实轨迹中预测潜在的运动变量分布规律，综合以上特点，本发明不仅能够有效的建模行人的运动模式，还能从行人的运动轨迹中学到潜在的运动规律，并且利用本发明提出的双注意力机制有效的建模行人之间的相互影响。

Description

一种基于图注意力自编码模型的路侧端行人轨迹预测算法
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及行人轨迹预测领域，本发明提供一种基于图注意力自编码模型的路侧端行人轨迹预测算法。
背景技术
随着深度学习、自动驾驶技术以及控制理论的不断发展，无人驾驶汽车得到了广泛的关注，具有光明的应用前景；无人车可以给人们的生活带来便利，但是无人车在顺利运行的过程中道路上其他使用者的位置对无人车运行有很大的影响，尤其是道路上行人的位置；预测道路上其他使用者的运动对自动驾驶来说是无比重要的，相比于道路上的其他使用者，尤其是对行人来说：汽车的质量更大，速度更快；为了更好地保护行人，无人车需要预测行人的未来轨迹，调整自身的运动策略，从而避免和行人发生碰撞；
由于行人的行为具有随机性，无论是机器或是人类，都无法完全准确地预测行人的未来轨迹；行人的轨迹受周围行人的影响，这种影响是潜在的不易描述的，但是行人未来的轨迹总是受到行人周围其他人的影响，利用这一常识建模行人之间的社会互动行为，从而更好地建模行人的运动模式并预测行人未来的轨迹；
准确预测行人运动轨迹的一个挑战来自于人类社会交互行为的复杂性；行人运动行为受到其周围行人之间的动作交互、周围行人的社会关系、周围的语义环境所共同影响，其中大多数因素不是直接可见的，需要从复杂的运动规律中推断出来，或从上下文信息中建模；如何让无人车学到潜在社会交互是准确预测行人轨迹的关键；
准确行人运动轨迹的另一个挑战来自于行人自身运动意图的复杂性；行人自身运动意图往往影响着行人运动模式，行人自身运动意图具有多样性且难以从轨迹数据上直接推理得出，这使得行人运动模式具有多样性，在行人轨迹预测中行人运动模式的多样性也必须被考虑；行人的运动模式是复杂多样的，复杂的行人运动很难用一个动力学模型来描述，对机动目标的一般运动进行建模的一种常用方法是定义和融合不同的典型运动模式，每种模式由不同的动态状态描述；运动状态可以是线性运动、转弯机动、突然加速，随着时间的推移，形成复杂的运动模式，如何建模这种复杂的行人运动模式是行人轨迹预测的另一个关键。
发明内容
本发明要解决的技术问题是：为了克服自动驾驶技术中，行人轨迹难以准确预测的问题，提供一种基于图注意力自编码模型的路侧端行人轨迹预测算法。
本发明解决其技术问题所采用的技术方案是：一种基于图注意力自编码模型的路侧端行人轨迹预测算法，包括如下步骤：
S10：建模行人的运动状态；
S20：建模行人的社会交互状态；
S30：拼接行人的运动状态和社会交互状态，生成可预测的行人潜在变量分布；
S40：预测行人轨迹；
所述步骤S30具体包括如下步骤：
S31：设计潜变量预测器；
S32：使用潜变量预测器预测行人潜在的变量分布；
S33：将行人潜在的变量分布、行人的运动状态和行人的社会交互状态进行拼接。
进一步的，在步骤S31中，潜变量预测器由两个前馈神经网络组成，定义如下：
Figure BDA0002764618080000031
Figure BDA0002764618080000032
其中Ψ(·)和
Figure BDA0002764618080000033
是前馈神经网络，
Figure BDA0002764618080000034
和
Figure BDA0002764618080000035
分别是这两个前馈神经网络的参数，
Figure BDA0002764618080000036
和
Figure BDA0002764618080000037
是潜变量预测器第k类输入。
进一步的，在步骤S32中，k＝1、2、3、分别表示行人位置、速度、加速度，行人位置揭示了潜在场景的布局，速度反映了行人的运动模式，加速度反应了行人运动激烈程度；潜在变量预测器从这三种输入中估计出三种潜在的变量分布；最后把这三种潜变量分布和高斯随机噪声融合在一起，最终构成训练阶段的潜变量分布参数；同时本发明应用高斯随机噪声产生轨迹的多模态输出；在训练过程中潜在变量损失函数用来衡量观测轨迹的潜在变量分布和真实轨迹潜在变量分布之间的差距，使用KL散度来计算这种误差，公式如下：
Figure BDA0002764618080000038
其中
Figure BDA0002764618080000039
和
Figure BDA00027646180800000310
分别表示观测轨迹的潜变量分布和真实轨迹的潜变量分布；
总的损失函数由两部分构成，一部分是潜变量分布KL散度损失函数，一部分是预测值与真实值之间的偏差L2损失函数；总的损失函数加权定义如下：
Figure BDA00027646180800000311
其中α设置为10，具体的数值通过在基准数据集上交叉验证得到；在训练时设置批处理大小为64，400个epoch，编码器-解码器学习率设置为0.001，潜变量预测器的学习率设置为0.0001使用Adam优化器对参数进行优化。
进一步的，所述步骤S20具体包括如下步骤：
S21：计算行人方位角：利用行人头部朝向信息来计算行人和行人之间的方位夹角，用以分配行人之间影响力的大小；行人之间方位夹角的余弦值计算如下：
Figure BDA0002764618080000041
其中n是同一场景中行人的个数，bij表示行人i和行人j之间的方位夹角；
S22：设计注意力机制：根据行人之间的方位夹角余弦值设计硬注意力机制和软注意力机制；硬注意力机制用一个与cos(β)形状相同的矩阵HA表示，HA中每一个元素hij的值都设置为0或1，当行人之间的方位夹角余弦值大于预设阈值0.2时，对应的注意力权重hij为1，当行人之间的方位夹角余弦值小于预设阈值0.2时，对应的注意力权重hij为0；软注意力机制自适应的计算行人之间的相关性，软注意力机制权重SA的计算公式如下:
Figure BDA0002764618080000042
其中
Figure BDA0002764618080000043
表示sigmoid激活函数，Conv(·)表示1x1卷积层。
进一步的，所述步骤3具体包括如下步骤：
S23：将行人运动状态
Figure BDA0002764618080000044
输入到基于图模型的双注意力机制模块中，基于图模型的双注意力机制模块利用行人的运动状态聚合周围行人的社会交互信息，并输出行人的社会交互状态
Figure BDA0002764618080000045
S24：经过基于图模型的双注意力模块，得到行人的社会交互状态，用一个基于长短期记忆网络的图-长短期记忆网络来编码行人的社会交互状态
Figure BDA0002764618080000046
输出一个融合周围行人的社会交互运动状态
Figure BDA0002764618080000047
图-长短期记忆网络的定义如下：
Figure BDA0002764618080000051
其中G-LSTM(·)表示图-长短期记忆网络，WG是G-LSTM(·)的可学习参数。
进一步的，所述步骤S10具体包括如下步骤：
S11：输入数据：输入数据是时间序列位置坐标
Figure BDA0002764618080000052
其中
Figure BDA0002764618080000053
S12：计算出行人i在t时刻的相关位置：
Figure BDA0002764618080000054
S13：利用一个单层的多层感知机将相关位置信息转变成一个固定长度的多维变量
Figure BDA0002764618080000055
多层感知机的定义如下：
Figure BDA0002764618080000056
其中φ(·)表示多层感知机，Wee是多层感知机的参数；
S14：编码行人相关位置信息，得到行人运动状态
Figure BDA0002764618080000057
使用基于长短期记忆网络的运动-长短期记忆网络来编码行人相关位置信息，通过运动-长短期记忆网络建模行人每个时刻的运动模式，得到行人运动状态
Figure BDA0002764618080000058
具体定义如下：
Figure BDA0002764618080000059
其中M-LSTM(·)表示运动长短期记忆网络，WM是运动-长短期记忆网络的参数，参数可在行人之间共享；将行人运动状态
Figure BDA00027646180800000510
输入到本发明提出的基于图模型的双注意力机制模块中，基于图模型的双注意力机制模块利用行人的运动状态聚合周围行人的社会交互信息，并输出行人的社会交互状态
Figure BDA00027646180800000511
进一步的，所述步骤S40具体包括如下步骤：
S41：将步骤S33中的拼接结果输入到解码-长短期记忆网络，得到行人未来的运动状态：通过潜变量预测器，可以从行人的观测轨迹和真实轨迹中预测出行人运动的潜在变量分布规律，并得到潜变量分布参数
Figure BDA00027646180800000512
把行人运动状态
Figure BDA00027646180800000513
社会交互运动状态
Figure BDA00027646180800000514
和潜变量分布参数
Figure BDA00027646180800000515
拼接组成解码器的输入
Figure BDA00027646180800000516
我们用一个长短期记忆网络的解码-长短期记忆网络来对
Figure BDA0002764618080000061
进行处理，输出的结果更新为
Figure BDA0002764618080000062
新状态；长短期记忆网络的定义如下：
Figure BDA0002764618080000063
其中D-LSTM(·)表示解码-长短期记忆网络，WD是解码-长短期记忆网络的参数，这个参数可在行人之间共享；
S42：将行人未来的运动状态输入线性层，转变成行人的相关位置：使用一个线性层将
Figure BDA0002764618080000064
转变成行人的相关位置
Figure BDA0002764618080000065
具体定义如下：
Figure BDA0002764618080000066
采用多模式输出，一次输出m条轨迹，使用2范数损失函数计算这m条轨迹和真实值之间的偏差，表达式如下：
Figure BDA0002764618080000067
其中
Figure BDA0002764618080000068
是行人真实轨迹，
Figure BDA0002764618080000069
是第m条预测的行人未来轨迹，在本发明中设置m＝20。
本发明的有益效果是:本发明的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，综合考虑了行人自身的运动状态和周围其他行人特别是运动方向上行人的运动状态对其未来轨迹的影响，本发明通过基于长短期记忆网络的编码器-解码器进行行人运动轨迹建模，提取行人运动状态，进一步利用图模型和行人之间方位夹角，设计了双注意力机制，为周围行人的影响力分配不同的权重，同时利用潜变量预测器从观测轨迹和真实轨迹中预测潜在的运动变量分布规律，综合以上特点，本发明不仅能够有效的建模行人的运动模式，还能从行人的运动轨迹中学到潜在的运动规律，并且利用本发明提出的双注意力机制有效的建模行人之间的相互影响；设计了一种基于长短期记忆网络可对行人轨迹自动进行编码和解码的编码器-解码器网络，该网络可从行人轨迹数据中学习行人的运动状态用于建模行人自身的运动模式利用基于长短期记忆网络的编码-解码网络来建模行人的运动，有效的提取了行人的运动状态；设计了一种基于图模型的双注意力机制用于建模行人的社会交互行为，这种注意力机制能够结合行人自身运动状态和头部朝向信息，为周围行人对其未来轨迹的影响力分配不同的权重，用于建模行人的社会交互行为对行人未来轨迹的影响，设计了一种行人运动潜变量预测器，通过潜变量预测器可以预测行人潜在运动变量的分布规律，产生多模式输出，用于建模行人运动模式的多样性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明中提出的基于图注意力自编码模型的路侧端行人轨迹预测算法流程图；
图2是本发明中提出的用于编码和解码行人轨迹的编码器-解码器网络示意图；
图3是本发明中提出潜变量预测器示意图。
具体实施方式
现在结合附图对本发明做进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，包括如下步骤：
S10：建模行人的运动状态；
S20：建模行人的社会交互状态；
S30：拼接行人的运动状态和社会交互状态，生成可预测的行人潜在变量分布；
S40：预测行人轨迹；
所述步骤S10具体包括如下步骤：
S11：输入数据：输入数据是时间序列位置坐标
Figure BDA0002764618080000081
其中
Figure BDA0002764618080000082
S12：计算出行人i在t时刻的相关位置：
Figure BDA0002764618080000083
S13：利用一个单层的多层感知机将相关位置信息转变成一个固定长度的多维变量
Figure BDA0002764618080000084
多层感知机的定义如下：
Figure BDA0002764618080000085
其中φ(·)表示多层感知机，Wee是多层感知机的参数；
S14：编码行人相关位置信息，得到行人运动状态
Figure BDA0002764618080000086
使用基于长短期记忆网络的运动-长短期记忆网络来编码行人相关位置信息，如图2所示，通过运动-长短期记忆网络建模行人每个时刻的运动模式，得到行人运动状态
Figure BDA0002764618080000087
具体定义如下：
Figure BDA0002764618080000088
其中M-LSTM(·)表示运动长短期记忆网络，WM是运动-长短期记忆网络的参数，参数可在行人之间共享；将行人运动状态
Figure BDA0002764618080000089
输入到本发明提出的基于图模型的双注意力机制模块中，基于图模型的双注意力机制模块利用行人的运动状态聚合周围行人的社会交互信息，并输出行人的社会交互状态
Figure BDA00027646180800000810
在行人轨迹预测中，图模型是一种有效建模行人之间相互影响的模型；我们可以对一个真实的社会场景建立图模型，场景中的每一个行人看作图中的一个节点，行人和行人之间的社会交互影响可以被图神经网络建模；本发明中，我们使用图注意力模型聚合节点周围邻居节点的信息，并为不同的邻居节点的影响力分配不同的权重；
所述步骤S20具体包括如下步骤：
S21：计算行人方位角：理论上图注意力模型学习行人之间的相互影响是一种数据驱动的方式，然而在学习中缺少多种类型的训练数据；基于这样一种事实，行人的未来轨迹总是被他前方的行人所影响，所以行人前方的其他人总是对行人的未来轨迹产生较大的影响，在学习行人和行人之间相互作用影响未来轨迹时，我们要特别注意行人前方的其他行人的运动状态；一般情况下行人的头部朝向就是行人运动方向，我们可以利用行人头部朝向信息来计算行人和行人之间的方位夹角，用以分配行人之间影响力的大小；行人之间方位夹角的余弦值计算如下：
Figure BDA0002764618080000091
其中n是同一场景中行人的个数，bij表示行人i和行人j之间的方位夹角；
S22：设计注意力机制：除了使用图注意力机制外，根据行人之间的方位夹角余弦值设计软注意力机制和硬注意力机制；一个行人对另一个行人的影响随着他们之间方位角余弦值增加而减小；硬注意力机制用一个与cos(β)形状相同的矩阵HA表示，HA中每一个元素hij的值都设置为0或1，当行人之间的方位夹角余弦值大于预设阈值0.2时，对应的注意力权重hij为1，当行人之间的方位夹角余弦值小于预设阈值0.2时，对应的注意力权重hij为0；软注意力机制与硬注意力机制通过阈值来计算注意力权重不同；软注意力机制自适应的计算行人之间的相关性，软注意力机制权重SA的计算公式如下:
Figure BDA0002764618080000092
其中
Figure BDA0002764618080000093
表示sigmoid激活函数，Conv(·)表示1x1卷积层。将计算出的注意力权重应用到行人的运动状态上，因为行人不同的注意力权重表示行人之间影响力的大小，所以为周围行人分配不同的注意力权重能更好的建模行人和行人之间的影响关系；
S23：将行人运动状态
Figure BDA0002764618080000101
输入到基于图模型的双注意力机制模块中，基于图模型的双注意力机制模块利用行人的运动状态聚合周围行人的社会交互信息，并输出行人的社会交互状态
Figure BDA0002764618080000102
S24：经过基于图模型的双注意力模块，得到行人的社会交互状态，用一个基于长短期记忆网络的图-长短期记忆网络来编码行人的社会交互状态
Figure BDA0002764618080000103
输出一个融合周围行人的社会交互运动状态
Figure BDA0002764618080000104
图-长短期记忆网络的定义如下：
Figure BDA0002764618080000105
其中G-LSTM(·)表示图-长短期记忆网络，WG是G-LSTM(·)的可学习参数。
所述步骤S30具体包括如下步骤：
S31：设计潜变量预测器；
S32：使用潜变量预测器预测行人潜在的变量分布；
S33：将行人潜在的变量分布、行人的运动状态和行人的社会交互状态进行拼接。
想要准确建模行人的运动模式并预测行人轨迹，行人运动分布的潜变量是一种很重要的影响因素，本发明应用一个潜在变量预测器来生成可预测的行人潜在变量分布，这是一种以数据驱动的方式预测潜在变量分布参数的方法；本发明使用的潜变量预测器可在训练阶段从行人的观测轨迹和真实轨迹中预测出潜在的变量分布参数，从而学到行人潜在的运动规律；在步骤S31中，如图3所示的潜变量预测器由两个前馈神经网络组成，定义如下：
Figure BDA0002764618080000106
Figure BDA0002764618080000107
其中Ψ(·)和
Figure BDA0002764618080000111
是前馈神经网络，这两个前馈神经网络分别从行人的真实轨迹和行人的观测轨迹中使用潜变量预测器预测行人潜在的变量分布，
Figure BDA0002764618080000112
和
Figure BDA0002764618080000113
分别是这两个前馈神经网络的参数，
Figure BDA0002764618080000114
和
Figure BDA0002764618080000115
是潜变量预测器第k类输入。
进一步的，在步骤S32中，k＝1、2、3、分别表示行人位置、速度、加速度，行人位置揭示了潜在场景的布局，速度反映了行人的运动模式，加速度反应了行人运动激烈程度；潜在变量预测器从这三种输入中估计出三种潜在的变量分布；最后把这三种潜变量分布和高斯随机噪声融合在一起，最终构成训练阶段的潜变量分布参数；同时本发明应用高斯随机噪声产生轨迹的多模态输出；在训练过程中潜在变量损失函数用来衡量观测轨迹的潜在变量分布和真实轨迹潜在变量分布之间的差距，使用KL散度来计算这种误差，公式如下：
Figure BDA0002764618080000116
其中
Figure BDA0002764618080000117
和
Figure BDA0002764618080000118
分别表示观测轨迹的潜变量分布和真实轨迹的潜变量分布；
总的损失函数由两部分构成，一部分是潜变量分布KL散度损失函数，一部分是预测值与真实值之间的偏差L2损失函数；总的损失函数加权定义如下：
Figure BDA0002764618080000119
其中α设置为10，具体的数值通过在基准数据集上交叉验证得到；在训练时设置批处理大小为64，400个epoch，编码器-解码器学习率设置为0.001，潜变量预测器的学习率设置为0.0001使用Adam优化器对参数进行优化。
所述步骤S40具体包括如下步骤：
S41：将步骤S33中的拼接结果输入到解码-长短期记忆网络，得到行人未来的运动状态：通过潜变量预测器，可以从行人的观测轨迹和真实轨迹中预测出行人运动的潜在变量分布规律，并得到潜变量分布参数
Figure BDA00027646180800001110
把行人运动状态
Figure BDA0002764618080000121
社会交互运动状态
Figure BDA0002764618080000122
和潜变量分布参数
Figure BDA0002764618080000123
拼接组成解码器的输入
Figure BDA0002764618080000124
我们用一个长短期记忆网络的解码-长短期记忆网络来对
Figure BDA0002764618080000125
进行处理，输出的结果更新为
Figure BDA0002764618080000126
新状态；长短期记忆网络的定义如下：
Figure BDA0002764618080000127
其中D-LSTM(·)表示解码-长短期记忆网络，WD是解码-长短期记忆网络的参数，这个参数可在行人之间共享；
S42：将行人未来的运动状态输入线性层，转变成行人的相关位置：使用一个线性层将
Figure BDA0002764618080000128
转变成行人的相关位置
Figure BDA0002764618080000129
具体定义如下：
Figure BDA00027646180800001210
采用多模式输出，一次输出m条轨迹，使用2范数损失函数计算这m条轨迹和真实值之间的偏差，表达式如下：
Figure BDA00027646180800001211
其中
Figure BDA00027646180800001212
是行人真实轨迹，
Figure BDA00027646180800001213
是第m条预测的行人未来轨迹，在本发明中设置m＝20。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种基于图注意力自编码模型的路侧端行人轨迹预测算法，其特征在于：包括如下步骤：
S10：建模行人的运动状态；
S20：建模行人的社会交互状态；
S30：拼接行人的运动状态和社会交互状态，生成可预测的行人潜在变量分布；
S40：预测行人轨迹；
所述步骤S30具体包括如下步骤：
S31：设计潜变量预测器；
S32：使用潜变量预测器预测行人潜在的变量分布；
S33：将行人潜在的变量分布、行人的运动状态和行人的社会交互状态进行拼接。
2.如权利要求1所述的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，其特征在于：在步骤S31中，潜变量预测器由两个前馈神经网络组成，定义如下：
Figure FDA0002764618070000011
Figure FDA0002764618070000012
其中Ψ(·)和
Figure FDA0002764618070000013
是前馈神经网络，
Figure FDA0002764618070000014
和
Figure FDA0002764618070000015
分别是这两个前馈神经网络的参数，
Figure FDA0002764618070000016
和
Figure FDA0002764618070000017
是潜变量预测器第k类输入。
3.如权利要求2所述的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，其特征在于：在步骤S32中，k＝1、2、3、分别表示行人位置、速度、加速度，行人位置揭示了潜在场景的布局，速度反映了行人的运动模式，加速度反应了行人运动激烈程度；潜在变量预测器从这三种输入中估计出三种潜在的变量分布；最后把这三种潜变量分布和高斯随机噪声融合在一起，最终构成训练阶段的潜变量分布参数；同时本发明应用高斯随机噪声产生轨迹的多模态输出；在训练过程中潜在变量损失函数用来衡量观测轨迹的潜在变量分布和真实轨迹潜在变量分布之间的差距，使用KL散度来计算这种误差，公式如下：
Figure FDA0002764618070000021
其中
Figure FDA0002764618070000022
和
Figure FDA0002764618070000023
分别表示观测轨迹的潜变量分布和真实轨迹的潜变量分布；
总的损失函数由两部分构成，一部分是潜变量分布KL散度损失函数，一部分是预测值与真实值之间的偏差L2损失函数；总的损失函数加权定义如下：
Figure FDA0002764618070000024
其中α设置为10，具体的数值通过在基准数据集上交叉验证得到；在训练时设置批处理大小为64，400个epoch，编码器-解码器学习率设置为0.001，潜变量预测器的学习率设置为0.0001使用Adam优化器对参数进行优化。
4.如权利要求4所述的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，其特征在于：所述步骤S20具体包括如下步骤：
S21：计算行人方位角：利用行人头部朝向信息来计算行人和行人之间的方位夹角，用以分配行人之间影响力的大小；行人之间方位夹角的余弦值计算如下：
Figure FDA0002764618070000025
其中n是同一场景中行人的个数，bij表示行人i和行人j之间的方位夹角；
S22：设计注意力机制：根据行人之间的方位夹角余弦值设计硬注意力机制和软注意力机制；硬注意力机制用一个与cos(β)形状相同的矩阵HA表示，HA中每一个元素hij的值都设置为0或1，当行人之间的方位夹角余弦值大于预设阈值0.2时，对应的注意力权重hij为1，当行人之间的方位夹角余弦值小于预设阈值0.2时，对应的注意力权重hij为0；软注意力机制自适应的计算行人之间的相关性，软注意力机制权重SA的计算公式如下:
Figure FDA0002764618070000031
其中
Figure FDA0002764618070000032
表示sigmoid激活函数，Conv(·)表示1x1卷积层。
S23：将行人运动状态
Figure FDA0002764618070000033
输入到基于图模型的双注意力机制模块中，基于图模型的双注意力机制模块利用行人的运动状态聚合周围行人的社会交互信息，并输出行人的社会交互状态
Figure FDA0002764618070000034
S24：经过基于图模型的双注意力模块，得到行人的社会交互状态，用一个基于长短期记忆网络的图-长短期记忆网络来编码行人的社会交互状态
Figure FDA0002764618070000035
输出一个融合周围行人的社会交互运动状态
Figure FDA0002764618070000036
图-长短期记忆网络的定义如下：
Figure FDA0002764618070000037
其中G-LSTM(·)表示图-长短期记忆网络，WG是G-LSTM(·)的可学习参数。
5.如权利要求1所述的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，其特征在于：所述步骤S10具体包括如下步骤：
S11：输入数据：输入数据是时间序列位置坐标
Figure FDA0002764618070000038
其中
Figure FDA0002764618070000039
S12：计算出行人i在t时刻的相关位置：
Figure FDA00027646180700000310
S13：利用一个单层的多层感知机将相关位置信息转变成一个固定长度的多维变量
Figure FDA00027646180700000311
多层感知机的定义如下：
Figure FDA00027646180700000312
其中φ(·)表示多层感知机，Wee是多层感知机的参数；
S14：编码行人相关位置信息，得到行人运动状态
Figure FDA0002764618070000041
使用基于长短期记忆网络的运动-长短期记忆网络来编码行人相关位置信息，通过运动-长短期记忆网络建模行人每个时刻的运动模式，得到行人运动状态
Figure FDA0002764618070000042
具体定义如下：
Figure FDA0002764618070000043
其中M-LSTM(·)表示运动长短期记忆网络，WM是运动-长短期记忆网络的参数，参数可在行人之间共享；将行人运动状态
Figure FDA0002764618070000044
输入到本发明提出的基于图模型的双注意力机制模块中，基于图模型的双注意力机制模块利用行人的运动状态聚合周围行人的社会交互信息，并输出行人的社会交互状态
Figure FDA0002764618070000045
6.如权利要求5所述的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，其特征在于：所述步骤S40具体包括如下步骤：
S41：将步骤S33中的拼接结果输入到解码-长短期记忆网络，得到行人未来的运动状态：通过潜变量预测器，可以从行人的观测轨迹和真实轨迹中预测出行人运动的潜在变量分布规律，并得到潜变量分布参数
Figure FDA0002764618070000046
把行人运动状态
Figure FDA0002764618070000047
社会交互运动状态
Figure FDA0002764618070000048
和潜变量分布参数
Figure FDA0002764618070000049
拼接组成解码器的输入
Figure FDA00027646180700000410
我们用一个长短期记忆网络的解码-长短期记忆网络来对
Figure FDA00027646180700000411
进行处理，输出的结果更新为
Figure FDA00027646180700000412
新状态；长短期记忆网络的定义如下：
Figure FDA00027646180700000413
其中D-LSTM(·)表示解码-长短期记忆网络，WD是解码-长短期记忆网络的参数，这个参数可在行人之间共享；
S42：将行人未来的运动状态输入线性层，转变成行人的相关位置：使用一个线性层将
Figure FDA00027646180700000414
转变成行人的相关位置
Figure FDA00027646180700000415
具体定义如下：
Figure FDA00027646180700000416
采用多模式输出，一次输出m条轨迹，使用2范数损失函数计算这m条轨迹和真实值之间的偏差，表达式如下：
Figure FDA0002764618070000051
其中
Figure FDA0002764618070000052
是行人真实轨迹，
Figure FDA0002764618070000053
是第m条预测的行人未来轨迹，在本发明中设置m＝20。
CN202011229257.6A 2020-11-06 2020-11-06 一种基于图注意力自编码模型的路侧端行人轨迹预测算法 Active CN112418421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011229257.6A CN112418421B (zh) 2020-11-06 2020-11-06 一种基于图注意力自编码模型的路侧端行人轨迹预测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011229257.6A CN112418421B (zh) 2020-11-06 2020-11-06 一种基于图注意力自编码模型的路侧端行人轨迹预测算法

Publications (2)

Publication Number Publication Date
CN112418421A true CN112418421A (zh) 2021-02-26
CN112418421B CN112418421B (zh) 2024-01-23

Family

ID=74780421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011229257.6A Active CN112418421B (zh) 2020-11-06 2020-11-06 一种基于图注意力自编码模型的路侧端行人轨迹预测算法

Country Status (1)

Country Link
CN (1) CN112418421B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114446046A (zh) * 2021-12-20 2022-05-06 上海智能网联汽车技术中心有限公司 一种基于lstm模型的弱势交通参与者轨迹预测方法
CN114660934A (zh) * 2022-03-03 2022-06-24 西北工业大学 一种基于视觉-触觉融合的机械臂自主操作策略学习方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274029A (zh) * 2017-06-23 2017-10-20 深圳市唯特视科技有限公司 一种利用动态场景内交互作用介质的未来预测方法
CN108320513A (zh) * 2018-03-30 2018-07-24 南京理工大学 一种绿灯闪烁信号时行人过街行为分析方法
US20200017117A1 (en) * 2018-07-14 2020-01-16 Stephen Milton Vehicle-data analytics
KR20200018868A (ko) * 2018-08-13 2020-02-21 한국과학기술원 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN111461437A (zh) * 2020-04-01 2020-07-28 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法
CN111666804A (zh) * 2019-03-06 2020-09-15 罗伯特·博世有限公司 对于自主驾驶有用的行人移动预测

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274029A (zh) * 2017-06-23 2017-10-20 深圳市唯特视科技有限公司 一种利用动态场景内交互作用介质的未来预测方法
CN108320513A (zh) * 2018-03-30 2018-07-24 南京理工大学 一种绿灯闪烁信号时行人过街行为分析方法
US20200017117A1 (en) * 2018-07-14 2020-01-16 Stephen Milton Vehicle-data analytics
KR20200018868A (ko) * 2018-08-13 2020-02-21 한국과학기술원 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치
CN111666804A (zh) * 2019-03-06 2020-09-15 罗伯特·博世有限公司 对于自主驾驶有用的行人移动预测
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN110879994A (zh) * 2019-12-02 2020-03-13 中国科学院自动化研究所 基于形状注意力机制的三维目测检测方法、系统、装置
CN111461437A (zh) * 2020-04-01 2020-07-28 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹金梦，倪蓉蓉，杨彪: "基于多尺度多任务卷积神经网络的人群计数", 《计算机应用》, vol. 39, no. 1, pages 199 - 204 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114446046A (zh) * 2021-12-20 2022-05-06 上海智能网联汽车技术中心有限公司 一种基于lstm模型的弱势交通参与者轨迹预测方法
CN114660934A (zh) * 2022-03-03 2022-06-24 西北工业大学 一种基于视觉-触觉融合的机械臂自主操作策略学习方法
CN114660934B (zh) * 2022-03-03 2024-03-01 西北工业大学 一种基于视觉-触觉融合的机械臂自主操作策略学习方法

Also Published As

Publication number Publication date
CN112418421B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
Ivanovic et al. Multimodal deep generative models for trajectory prediction: A conditional variational autoencoder approach
Bhattacharyya et al. Modeling human driving behavior through generative adversarial imitation learning
Chen et al. Interpretable end-to-end urban autonomous driving with latent deep reinforcement learning
Tang et al. Multiple futures prediction
Banijamali et al. Robust locally-linear controllable embedding
Ivanovic et al. Mats: An interpretable trajectory forecasting representation for planning and control
Schrauwen et al. An overview of reservoir computing: theory, applications and implementations
EP3776370A1 (en) Graph neural network systems for behavior prediction and reinforcement learning in multple agent environments
Kim et al. Multi-head attention based probabilistic vehicle trajectory prediction
Gidado et al. A survey on deep learning for steering angle prediction in autonomous vehicles
CN112347923A (zh) 一种基于对抗生成网络的路侧端行人轨迹预测算法
CN112119404A (zh) 样本高效的强化学习
Yan et al. Trajectory prediction for intelligent vehicles using spatial‐attention mechanism
Wang et al. Transferable and adaptable driving behavior prediction
CN112418421A (zh) 一种基于图注意力自编码模型的路侧端行人轨迹预测算法
Zhou et al. Clone swarms: Learning to predict and control multi-robot systems by imitation
CN113386745A (zh) 确定关于对象的预计轨迹的信息的方法和系统
Ma et al. Neural network model-based reinforcement learning control for auv 3-d path following
Hu et al. Holistic transformer: A joint neural network for trajectory prediction and decision-making of autonomous vehicles
Yin et al. Diverse critical interaction generation for planning and planner evaluation
Wang et al. Uncovering interpretable internal states of merging tasks at highway on-ramps for autonomous driving decision-making
Lin et al. Research on UUV obstacle avoiding method based on recurrent neural networks
Nakanoya et al. Personalized federated learning of driver prediction models for autonomous driving
Xie et al. A cognition‐inspired trajectory prediction method for vehicles in interactive scenarios
Sun et al. Simulating realistic crowd based on agent trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant