CN113362368B - 一种基于多层次时空图神经网络的人群轨迹预测方法 - Google Patents

一种基于多层次时空图神经网络的人群轨迹预测方法 Download PDF

Info

Publication number
CN113362368B
CN113362368B CN202110855171.2A CN202110855171A CN113362368B CN 113362368 B CN113362368 B CN 113362368B CN 202110855171 A CN202110855171 A CN 202110855171A CN 113362368 B CN113362368 B CN 113362368B
Authority
CN
China
Prior art keywords
pedestrian
time
lstm
motion
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110855171.2A
Other languages
English (en)
Other versions
CN113362368A (zh
Inventor
刘绍华
刘海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110855171.2A priority Critical patent/CN113362368B/zh
Publication of CN113362368A publication Critical patent/CN113362368A/zh
Application granted granted Critical
Publication of CN113362368B publication Critical patent/CN113362368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明提供了一种基于多层次时空图神经网络的人群轨迹预测方法，属于计算机视觉和人群轨迹预测技术领域。本发明方法包括：从场景中各行人的历史轨迹中提取行人的运动状态特征；将行人运动过程建模为一个多层次动态时空有向图，使用一个多层次时空图神经网络进行处理，提取得到每个行人的运动交互特征，在提取时，在不同层次分别提取不同距离范围的交互特征，再将不同层次的交互特征融合得到最终的交互特征；基于运动交互特征和运动状态特征预测行人的未来轨迹。本发明通过将不同距离范围的行人交互建模在图的不同层次来差异化建模不同距离范围相同类型交互的影响，使行人交互建模更细致合理，从而提升人群轨迹预测精度。

Description

一种基于多层次时空图神经网络的人群轨迹预测方法
技术领域
本发明属于计算机视觉和人群轨迹预测技术领域，涉及人群运动交互建模，具体涉及一种基于多层次时空图神经网络建模人群运动交互的人群轨迹预测方法。
背景技术
人群轨迹预测是指在给定场景中一段历史时期行人运动轨迹和场景信息的情况下，预测未来一段时期这些行人的运动轨迹。人群轨迹预测在许多方面都有重要应用，比如自动驾驶，机器人导航和智能交通系统。越来越多的移动服务机器人会在与人类共享的家庭、工业和城市环境中运行。为了规划安全的运动路径以及创造良好的人机交互体验，机器人需要对周围的人群进行智能感知并合理预测人群的运动。类似的还有自动驾驶车辆，对于自动驾驶车辆而言，预测周围道路使用者的行动是其完成安全驾驶、避免碰撞事故的必要前提。尤其对于行人这一道路弱势群体，他们相比于车辆等道路使用者更容易受到伤害。所以对于自动驾驶车辆来说，准确预测行人将来的动向显得尤为迫切。智能监控系统需要对监控中的人群目标进行有效分析，人群轨迹预测是进行人群行为分析的关键基础技术。行人在运动过程中不是独立前进的，会互相产生影响和交互。行人之间会互相避让，会保持一定的社交距离，后面的行人会跟随前面的行人等等一系列的行人之间微妙多样的交互行为会影响行人的运动轨迹。
现有的人群轨迹预测方法对行人之间运动交互的处理从技术上主要可以分为基于池化机制、基于注意力机制和基于图神经网络三大类，与本发明最相关的是基于图神经网络的方法。行人之间的交互很适合使用图结构来描述，一般地，图的节点是行人而边表示两个行人之间存在交互影响，然后通过将邻接节点的属性汇聚到目标节点的方式提取得到周围行人对目标行人的交互影响。基于图神经网络的人群轨迹预测方法如Social-BiGAT方法、STGAT方法、以及Social-STGCNN方法。参考文献1公开的Social-BiGAT方法，在每个时刻使用图注意力机制对场景中所有人进行行人交互影响的提取，当提取目标行人的交互特征时，所有人都被视作会对该行人产生影响，然后基于注意力机制计算出场景中每个人对目标行人的不同的交互影响分数，再加权求和得到目标行人的交互特征，简言之就是图是一个完全图，然后汇聚邻居节点属性到中心节点得到中心节点新的属性(交互影响)。Social-BiGAT在每个时刻建立一张空间图来建模场景中行人之间的交互过程，每张空间图之间并不发生联系，只是将图注意力机制在空间上对交互特征进行了提取。而参考文献2公开的STGAT方法和参考文献3公开的Social-STGCNN方法在建模行人交互过程时，将整个过程建模成一个时空图而不只是像比Social-BiGAT一样在每个时刻构建一个空间图。但是它们都忽略了重要一点，就是空间上，不同范围内的相同类型交互也会导致不同的行为。比如假设在稍远处有一个行人朝目标行人奔跑而来，而近处有一个行人挡住了目标行人的前进，他们都会对目标行人有重大影响，然而他们对目标行人造成的影响结果是有差异的，一个是提前避让，另一个是瞬时避让，因此，需要做到差异化建模不同距离范围相同交互的影响。
参考文献：
[1]Kosaraju,V.,Sadeghian,A.,Martn-Martn,R.,et al.Social-BiGAT:Multimodal Trajectory Forecasting using Bicycle-GAN and Graph AttentionNetworks[G]//Advances in Neural Information Processing Systems.2019:137-146.
[2]Huang,Y.,Bi,H.,Li,Z.,et al.STGAT:Modeling Spatial-TemporalInteractions for Human Trajectory Prediction[C]//Proceedings of the IEEEInternational Conference on Computer Vision.2019:6272-6281.
[3]Mohamed,A.,Qian,K.,Elhoseiny,M.,et al.Social-STGCNN:ASocialSpatio-Temporal Graph Convolutional Neural Network for Human TrajectoryPrediction[C]//IEEE Conference on Computer Vision and PatternRecognition.2020:14412-14420.
发明内容
针对现有人群轨迹预测方法都不能够差异化建模不同距离范围相同交互的影响的问题，本发明提出一种基于多层次时空图神经网络建模人群运动交互的人群轨迹预测方法，建立多层次的图结构，将不同距离范围的行人交互在图的不同层次进行建模，以差异化建模不同距离范围相同交互的影响。
本发明提供的一种基于多层次时空图神经网络的人群轨迹预测方法，包括以下步骤：
步骤1：提取场景中各行人的运动状态特征。获取场景中各行人的历史轨迹，输入运动信息编码器获取每个行人pi的运动状态特征hmo(i)。i为正整数。
步骤2：提取行人的运动交互特征。将行人运动过程建模为一个多层次动态时空有向图，使用一个多层次时空图神经网络进行处理，提取得到每个行人的运动交互特征。
步骤3：基于运动交互特征Hg(i)和运动状态特征hmo(i)，使用运动解码器来预测行人的未来轨迹。
所述步骤2包括如下子步骤：
(21)所述多层次动态时空有向图的建立方式是：将场景中的每个行人作为一个节点，建立一个K层次的有向图，K为大于1的正整数；设置超参数层次距离列表{d1,d2,…,dK}；设置节点的属性是行人的位置；在某一时刻，对于目标节点vi，如果从节点vj到节点vi的距离大于dk-1且小于dk，则在第k层建立一条从vj到vi的有向边，对于第1层，当节点vj到节点vi的距离小于d1，则建立一条从vj到vi的有向边；对于所有层次的每个节点都有一条自环边；对不同时刻，位于不同层的同一行人，建立时间边，即对同一行人节点建立上一时刻指向下一时刻的有向边。k＝1,2,…K。
(22)对多层次动态时空有向图的每个层次分别提取节点的交互特征。对于每个层次的节点，首先进行空间交互特征提取，即通过汇聚每个节点的空间维度上连接的节点的特征来得到空间交互特征。在得到每个层次的节点的空间交互特征后，再使用LSTM融合沿着时间维度融合上述空间交互特征来提取出时空交互特征。
(23)使用注意力机制融合同一个行人在不同层的交互特征，得到各行人最终的运动交互特征。最终获得行人pi的运动交互特征为Hg(i)。
相对于现有技术，本发明的优点和积极效果在于：本发明方法提出一种多层次时空图神经网络来差异化建模不同距离范围的相同交互。通过将不同距离范围的行人交互建模在图的不同层次来差异化建模不同距离范围相同类型交互的影响，使行人交互建模更细致合理，从而达到提升人群轨迹预测的精度的技术目的。现有方法都是在图的相同层次建模提取所有的交互特征，而本发明的方法在不同层次分别提取不同距离范围的交互特征，再将不同层次的交互特征融合得到最终的交互特征。实验结果证明利用本发明方法预测的人群轨迹分布相对于现有技术更准确。
附图说明
图1为本发明的人群轨迹预测方法的流程示意图；
图2为本发明实施例将本发明方法与STGAT方法的轨迹预测结果对比图。
具体实施方式
下面结合附图和实施例来说明本发明的实现，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种多层次的行人交互建模方法，基于图神经网络方法提出一种基于多层次时空图神经网络建模人群运动交互的人群轨迹预测方法，实现本发明实施例的实验平台参数如下：
CPU：Intel(R)Core(TM)i7-7800X CPU@3.50GHz
GPU：TITAN XP
操作系统：Ubuntu 16.04.6
代码运行环境：Python 3.7、Pytorch 1.5.0
本发明实施例实现的人群轨迹预测方法，如图1所示，主要包括三个步骤。
步骤1：行人各异的运动状态特征提取。
每个行人的运动状态是不一样的，从他(她)们每个人的历史轨迹中可以进行运动状态特征的提取。本发明使用一个运动信息编码器提取行人各异的运动特征。运动信息编码器使用轨迹序列的一阶差分序列作为输入。一阶差分序列中的值为行人前后两时刻的位置坐标差。
一阶差分序列的每个值
Figure BDA0003180742250000041
的计算过程如下所示。
Figure BDA0003180742250000042
Figure BDA0003180742250000043
其中，在场景中建立x-y坐标系，
Figure BDA0003180742250000044
和
Figure BDA0003180742250000045
分别代表第i个行人pi在t时刻的x轴坐标和y轴坐标，
Figure BDA0003180742250000046
是第i个行人pi在t-1时刻的位置坐标。
运动信息编码器由一个全连接层和一个LSTM(长短期记忆网络)组成。这个全连接层将一阶差分序列中的每个相对位置转换成一个高维特征向量，然后该向量被送入LSTM中，在多个时刻的这种循环之后，得到了最终的运动状态特征，该过程如下式所示。标记运动信息编码器中的LSTM模型为LSTMmo。
Figure BDA0003180742250000047
其中，Wmo是LSTM模型LSTMmo的参数，Linearen表示全连接层，Wen是全连接层的权重参数。对于行人pi，LSTMmo在前一时刻和后一时刻的隐状态向量分别被表示为
Figure BDA0003180742250000048
和
Figure BDA0003180742250000049
和
Figure BDA00031807422500000410
也代表行人pi在t-1时刻和t时刻的运动状态特征。最后，利用运动信息编码器得到每个行人pi在观察时长Tobs的运动特征向量
Figure BDA00031807422500000411
简记作hmo(i)。
步骤2：提取行人运动交互特征。
本发明将行人运动过程建模为一个多层次动态时空图，使用一个多层式时空图神经网络进行处理，提取得到每个行人的运动交互特征。
步骤21，建立多层次动态时空有向图。
本发明建立一个多层次动态时空有向图来建模行人之间的动态交互过程。图的节点是场景中的行人。在给定了超参数层次距离列表{d1,d2,…,dK}之后，可以建立一个K层次的图。K为大于2的正整数，具体取值可根据实验或由经验来确定。在每个时刻，如果从节点vj到节点vi的距离大于dk-1且小于dk，则在图的第k(k∈[1,K])个层次建立一条从vj到vi的有向边。特殊地，在第1个层次，当节点vj到节点vi的距离小于d1，则建立一条从vj到vi的有向边。对于所有层次的每个节点，都有一条自环边。除了空间边，还有时间边，时间边联接了相同行人的不同连续时刻。时间边是指对同一节点，建立从上一时刻指向下一时刻的有向边。如果只有一个层次，并且层次距离列表是d1＝+∞，那么这个图就退化成了一个单层的完全图，就类似STGAT建立的图。在t时刻，节点
Figure BDA00031807422500000412
的属性是行人的位置
Figure BDA00031807422500000413
步骤22，对图的每个层次分别提取节点的交互特征。
在建立了多层次图之后，对图进行处理。对于每个层次的节点，首先进行空间交互特征提取，即通过汇聚每个节点的每层空间维度上连接的节点(因为有自环边，所以包括了自己这个节点)的特征来得到空间交互特征Vi t。Vi t为在t时刻行人节点pi的空间交互特征。空间交互特征提取可以通过GAT(图注意网络)模型来实现，也可以通过类似GraphSAGE模型来实现。每个层次的节点得到空间交互特征以后，再使用LSTM来进行时间边的处理，得到节点的交互特征。此处LSTM模型标记为LSTMg。
Figure BDA0003180742250000051
其中，Wg是模型LSTMg的参数，
Figure BDA0003180742250000052
和htg(i)分别是LSTMg在t-1时刻和t时刻的隐状态向量。
Figure BDA0003180742250000053
和
Figure BDA0003180742250000054
也代表行人pi在t-1时刻和t时刻的交互特征。最后，得到每个层次的每个节点在观察时长Tobs的交互特征
Figure BDA0003180742250000055
第k个层次的
Figure BDA0003180742250000056
简记为
Figure BDA0003180742250000057
步骤23，融合同一个行人在不同层次的交互特征。
因为本发明建立来了一个K层次图，因此经上面步骤22可得到行人pi在所有层次的交互特征
Figure BDA0003180742250000058
本步骤对行人在所有层次的交换特征进行融合得到每个行人最终的运动交互特征。这个融合过程使用一个注意力机制实现，具体计算过程如下式所示。由公式(5)可获得不同层交互特征的权重，由公式(6)对所有层次的交互特征进行融合得到行人最终的运动交互特征。
Figure BDA0003180742250000059
Figure BDA00031807422500000510
其中，
Figure BDA00031807422500000511
表示
Figure BDA00031807422500000512
的权重，Hg(i)表示最终得到的行人pi的运动交互特征，上角标T表示转置。
步骤3：对行人未来轨迹进行预测。
本发明使用一个运动解码器基于前面两个编码器得到的运动交互特征Hg(i)和运动状态特征hmo(i)来预测未来轨迹。运动解码器包含一个全连接层和一个LSTM网络模型。标记运动解码器中的LSTM模型为LSTMde。首先将行人pi的交互特征Hg(i)和行人运动特征hmo(i)进行拼接送入全连接层中得到LSTMde的初始化隐藏状态向量。
hde(i)＝Linear(concat(Hg(i),hmo(i))；Wh) (7)
然后利用模型LSTMde不断循环迭代预测行人未来的位置变化量
Figure BDA00031807422500000513
进而得到未来位置
Figure BDA00031807422500000514
计算过程如下。
Figure BDA00031807422500000515
Figure BDA00031807422500000516
Figure BDA00031807422500000517
公式(7)中，concat是拼接操作；Wh是全连接层Linear的权重参数；Linear表示运动解码器的全连接层；hde(i)表示运动解码器的全连接层的输出。
公式(8)中，
Figure BDA0003180742250000061
是预测行人pi在t时刻相对前一时刻的相对位置；LSTMde的输入是将
Figure BDA0003180742250000062
经过全连接层Linearde升维处理，Lde是Linearde的权重参数；
Figure BDA0003180742250000063
分别表示LSTMg上一个时刻和当前时刻的隐藏状态；Wde是模型LSTMde的参数。
公式(9)表示对模型LSTMde的输出
Figure BDA0003180742250000064
利用全连接层Linearpred进行降维，得到预测的行人在t+1时刻相对t时刻的相对位置
Figure BDA0003180742250000065
Wpred是全连接层Linearpred的权重参数。
公式(10)表示根据预测的相对位置
Figure BDA0003180742250000066
及预测的t时刻的位置
Figure BDA0003180742250000067
计算得到行人pi在t+1时刻的位置。
本发明实施例的模型训练中，将批处理量(batch size)设为32，模型训练200轮，使用了Adam优化器进行优化，学习率为0.0001。利用训练数据集对所涉及的全连接层和LSTM网络的参数进行训练，得到训练好的模型，然后对行人执行上述步骤1～3来预测行人轨迹。
将本发明方法在公开数据集(pedestrian walking path dataset)上和现有方法进行实验对比，该数据集为像素坐标，图片大小为1920×1080，使用(8帧)6.4秒历史轨迹预测(12帧)9.6秒未来轨迹，评价指标为ADE/FDE，ADE为未来所有12帧预测位置与真实位置的距离差的平均值，FDE为预测终点位置与真实终点位置的距离差。ADE和FDE值越小，效果越好。
表1本发明方法与现有方法在不同数量人群轨迹预测的结果对比
人数范围(d) 10≤d≤30 30≤d≤50 50≤d≤70 70≤d 总体
SGAN 35.57/70.39 44.02/87.08 43.30/85.84 47.34/93.24 44.02/86.96
SGAN-P 36.06/71.02 41.92/81.39 40.70/78.70 45.09/87.39 42.03/81.54
STGAT 33.20/60.21 38.06/68.25 38.33/69.18 41.97/75.98 39.02/70.47
本发明方法 30.53/57.88 34.62/64.81 34.68/64.81 39.75/75.21 35.99/67.53
如表1所示，对比方法有SGAN(不带社交池化层的GAN)、SGAN-P(带社交池化层的GAN)和STGAT，均为现有用于预测行人轨迹的方法。SGAN和SGAN-P可参见参考文献4，STGAT可参见参考文献2。如表1所示，实验时，按照样本人数范围进行划分后分别进行实验，再对数据集总体进行实验，结果显示，在各种人群数量情况下，本发明方法的结果都优于现有方法。参考文献[4]Gupta,A.,et al."Social GAN:Socially Acceptable Trajectorieswith Generative Adversarial Networks."2018IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR)IEEE,2018.
同时本发明还通过与STGAT的定性实验证明本发明方法的效果。如图2所示，实线为观测轨迹，虚线为未来的真实轨迹，可以看到，进行多次轨迹分布预测，采用本发明方法预测的轨迹分布更准确。

Claims (5)

1.一种基于多层次时空图神经网络的人群轨迹预测方法，其特征在于，包括如下步骤：
步骤1：获取场景中各行人的历史轨迹，输入运动信息编码器获取每个行人pi的运动状态特征hmo(i)，i为正整数；
步骤2：将行人运动过程建模为一个多层次动态时空有向图，使用多层次时空图神经网络提取每个行人pi的运动交互特征Hg(i)；包括如下步骤：
步骤2.1：建立多层次动态时空有向图，包括：
(1)将场景中的每个行人作为一个节点，节点的属性是行人的位置，设置超参数层次距离列表{d1,d2,...,dK}，建立一个K层次的有向图，K为大于1的正整数；
(2)设置在某一时刻，对于目标节点vi，如果从节点vj到节点vi的距离大于dk-1且小于dk，则在第k层建立一条从vj到vi的有向边，对于第1层，当节点vj到节点vi的距离小于d1，则建立一条从vj到vi的有向边；对于所有层的每个节点都有一条自环边；对不同时刻，位于不同层的同一行人，建立时间边；k＝1,2,…K；
步骤22：对有向图的每个层上的每个节点提取交互特征，包括：(1)对每个节点，汇聚该节点在当前层所连接的节点的特征得到空间交互特征；(2)得到每层上各节点的空间交互特征后，使用长短期记忆网络LSTM进行时间边处理，得到节点的交互特征；
步骤23：使用注意力机制融合同一个行人在不同层的交互特征，得到各行人最终的运动交互特征；
步骤3：对每个行人pi，基于运动状态特征hmo(i)和运动交互特征Hg(i)使用运动解码器预测未来轨迹。
2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，所述的运动信息编码器由一个全连接层和一个长短期记忆网络LSTM组成；从行人的历史轨迹中提取行人位置的一阶差分序列输入运动信息编码器，一阶差分序列记载行人前后两时刻的相对位置；所述全连接层将一阶差分序列中的每个相对位置转换成一个高维特征向量，并输入LSTM中，在经过观察时长Tobs后，得到行人的运动状态特征；
标记运动信息编码器中的LSTM模型为LSTMmo、全连接层为Linearen；对于行人pi，LSTMmo在t时刻的隐藏状态为
Figure FDA0003427371720000011
如下：
Figure FDA0003427371720000012
其中，Wmo是模型LSTMmo的参数，Wen是全连接层的权重参数；
Figure FDA0003427371720000013
表示一阶差分序列中记载的行人pi在第t时刻相对前一时刻的相对位置；
利用LSTMmo循环迭代得到行人pi在观察时长Tobs的运动特征向量hmo(i)。
3.根据权利要求1所述的方法，其特征在于，所述的步骤22包括：
设行人节点pi在t时刻的空间交互特征为Vi t，使用LSTM模型LSTMg进行时间边的处理，对于行人pi，LSTMg在t时刻的隐藏状态为
Figure FDA0003427371720000021
如下：
Figure FDA0003427371720000022
其中，Wg是模型LSTMg的参数；
利用LSTMg循环迭代得到在第k层的节点pi在观察时长Tobs的交互特征
Figure FDA0003427371720000023
4.根据权利要求1或3所述的方法，其特征在于，所述的步骤23包括：
利用注意力机制确定行人节点pi在第k层的交互特征
Figure FDA0003427371720000024
的权重
Figure FDA0003427371720000025
如下：
Figure FDA0003427371720000026
融合行人pi在所有层的交互特征，得到行人的运动交互特征Hg(i)，如下：
Figure FDA0003427371720000027
其中，上角标T表示转置。
5.根据权利要求1所述的方法，其特征在于，所述的步骤3中，运动解码器包括全连接层和LSTM模型LSTMde；对行人pi，将运动状态特征hmo(i)和运动交互特征Hg(i)拼接后输入全连接层Linear得到LSTMde的初始化隐藏状态向量；利用LSTMde循环迭代预测行人未来的位置变化量，其中：
LSTMde在t时刻的隐藏状态
Figure FDA0003427371720000028
如下：
Figure FDA0003427371720000029
其中，Wde是模型LSTMde的参数；
Figure FDA00034273717200000210
是预测行人pi在t时刻相对前一时刻的相对位置；将
Figure FDA00034273717200000211
经过全连接层Linearde升维处理后输入LSTMde，Lde是Linearde的权重参数；
Figure FDA00034273717200000212
是LSTMde在t-1时刻的隐藏状态；
对
Figure FDA00034273717200000213
利用一个全连接层Linearpred进行降维，得到预测的行人pi在t+1时刻相对t时刻的相对位置
Figure FDA00034273717200000214
由
Figure FDA00034273717200000215
和上次预测的行人pi在t时刻的位置
Figure FDA00034273717200000216
来预测行人pi在t+1时刻的位置。
CN202110855171.2A 2021-07-26 2021-07-26 一种基于多层次时空图神经网络的人群轨迹预测方法 Active CN113362368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855171.2A CN113362368B (zh) 2021-07-26 2021-07-26 一种基于多层次时空图神经网络的人群轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855171.2A CN113362368B (zh) 2021-07-26 2021-07-26 一种基于多层次时空图神经网络的人群轨迹预测方法

Publications (2)

Publication Number Publication Date
CN113362368A CN113362368A (zh) 2021-09-07
CN113362368B true CN113362368B (zh) 2022-02-25

Family

ID=77540372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110855171.2A Active CN113362368B (zh) 2021-07-26 2021-07-26 一种基于多层次时空图神经网络的人群轨迹预测方法

Country Status (1)

Country Link
CN (1) CN113362368B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568416B (zh) * 2021-09-26 2021-12-24 智道网联科技(北京)有限公司 无人车轨迹规划方法、装置和计算机可读存储介质
CN114194213A (zh) * 2021-12-29 2022-03-18 北京三快在线科技有限公司 一种目标物轨迹预测方法、装置、存储介质及电子设备
CN115829171B (zh) * 2023-02-24 2023-05-09 山东科技大学 一种联合时空信息和社交互动特征的行人轨迹预测方法
CN116186953B (zh) * 2023-04-26 2023-07-07 中国电建集团昆明勘测设计研究院有限公司 一种水准测量有向图的布局方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
CN104615983B (zh) * 2015-01-28 2018-07-31 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
CN109726658B (zh) * 2018-12-21 2022-10-04 上海科技大学 人群计数及定位方法、系统、电子终端及存储介质
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110503684A (zh) * 2019-08-09 2019-11-26 北京影谱科技股份有限公司 相机位姿估计方法和装置
CN110660082B (zh) * 2019-09-25 2022-03-08 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN110781838B (zh) * 2019-10-28 2023-05-26 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN111161315B (zh) * 2019-12-18 2023-01-03 北京大学 一种基于图神经网络的多目标跟踪方法和系统
CN111210523B (zh) * 2019-12-26 2022-04-22 北京邮电大学 一种人群运动仿真方法及装置
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法

Also Published As

Publication number Publication date
CN113362368A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113362368B (zh) 一种基于多层次时空图神经网络的人群轨迹预测方法
Manh et al. Scene-lstm: A model for human trajectory prediction
Song et al. Pedestrian trajectory prediction based on deep convolutional LSTM network
CN110660082B (zh) 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN109636049B (zh) 一种结合道路网络拓扑结构与语义关联的拥堵指数预测方法
Zhong et al. Learning behavior patterns from video: A data-driven framework for agent-based crowd modeling
Cai et al. Environment-attention network for vehicle trajectory prediction
CN113362491B (zh) 一种车辆轨迹预测及驾驶行为分析方法
CN113362367B (zh) 一种基于多精度交互的人群轨迹预测方法
CN115438856A (zh) 基于时空交互特征和终点信息的行人轨迹预测方法
CN115829171B (zh) 一种联合时空信息和社交互动特征的行人轨迹预测方法
Hoy et al. Learning to predict pedestrian intention via variational tracking networks
Zou et al. Multi-modal pedestrian trajectory prediction for edge agents based on spatial-temporal graph
CN114898293A (zh) 一种面向自动驾驶汽车的过街行人群体多模态轨迹预测方法
Yang et al. PTPGC: Pedestrian trajectory prediction by graph attention network with ConvLSTM
Zhang et al. Social-IWSTCNN: A social interaction-weighted spatio-temporal convolutional neural network for pedestrian trajectory prediction in urban traffic scenarios
Zhou et al. Grouptron: Dynamic multi-scale graph convolutional networks for group-aware dense crowd trajectory forecasting
Liu et al. Multi-agent trajectory prediction with graph attention isomorphism neural network
CN114723784A (zh) 一种基于域适应技术的行人运动轨迹预测方法
Kiss et al. Probabilistic dynamic crowd prediction for social navigation
CN117314956A (zh) 一种基于图神经网络的交互行人轨迹预测方法
Doellinger et al. Environment-aware multi-target tracking of pedestrians
Chen et al. Dynamic vehicle graph interaction for trajectory prediction based on video signals
Wang et al. Path planning model of mobile robots in the context of crowds
Zhang et al. Multimodal motion prediction based on adaptive and swarm sampling loss functions for reactive mobile robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant