CN113362367A - 一种基于多精度交互的人群轨迹预测方法 - Google Patents
一种基于多精度交互的人群轨迹预测方法 Download PDFInfo
- Publication number
- CN113362367A CN113362367A CN202110855170.8A CN202110855170A CN113362367A CN 113362367 A CN113362367 A CN 113362367A CN 202110855170 A CN202110855170 A CN 202110855170A CN 113362367 A CN113362367 A CN 113362367A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- interaction
- information
- lstm
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 43
- 230000002452 interceptive effect Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 230000015541 sensory perception of touch Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 13
- 230000010354 integration Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种基于多精度交互的人群轨迹预测方法,属于计算机视觉技术领域。本发明方法包括:使用LSTM网络来编码行人的历史状态;对行人的运动交互采用全局交互建模和局部交互建模方式,全局交互建模时先划分场景,对每个划分的子区域进行区域建模,再整合获取全局交互信息,最后将局部交互信息和全局交互信息拼接得到完整交互信息;在解码端利用一个LSTM网络进行解码,预测行人轨迹。通过全局交互信息对行人的轨迹做出微调,通过局部交互信息可以捕捉行人的细节运动信息,行人可以对近期运动做出及时的避让,更接近真实轨迹。采用本发明方法能更加准确预测行人轨迹,并在保证交互信息各异性的同时降低了计算复杂度。
Description
技术领域
本发明属于计算机视觉技术领域,涉及人群轨迹预测和人群交互建模技术,具体涉及一种基于多精度交互的人群轨迹预测方法。
背景技术
轨迹预测算法根据行人的历史位置信息实现目标未来的轨迹信息预测,是目前计算机视觉领域的研究热点之一。伴随着5G网络商用和城市现代化的发展,国家高度重视智慧交通、公共安全等重点方向的建设,而轨迹预测算法作为必要的基础性研究技术,在自动驾驶、机器人导航、行人意图分析等现实场景中起到关键作用。例如在机器人导航系统中,机器人应该充分考虑场景内其他行人的轨迹信息,规划安全合理的路径避免碰撞。然而,行人不是只受牛顿定律影响运动的实体,相反人们会根据自己的主观意愿动态地改变运动状态,因此行人的轨迹一般不是线性的。其次在现实生活中运动场景错综复杂,人们会与场景内的其他行人发生多种复杂的交互,如跟随交互、避障交互等。这些复杂且多样的交互方式,给行人轨迹预测问题带来了许多挑战。
现有轨迹预测方法的流程一般可以分为以下三个阶段:
1)根据行人的历史位置坐标对行人运动状态信息编码;
2)对第一阶段编码的行人运动状态进行交互建模;
3)根据第一、第二阶段的建模数据进行解码,预测未来轨迹。
近几年有许多基于深度学习的方法被提出用于改进上述流程中第二阶段的行人交互建模。目前提出用于轨迹预测的模型有STGAT模型和StarNet模型等。
参考文件1(Huang Y,Bi H,Li Z,et al.Stgat:Modeling spatial-temporalinteractions for human trajectory prediction[C]//Proceedings of the IEEEInternational Conference on Computer Vision.2019:6272-6281.)公开一种新颖的时空图注意网络,称为STGAT,其中行人之间的空间和时间相互作用分别被编码。由于GAT(图形注意力网络)可以通过为不同节点分配不同的重要性来聚合来自邻居的信息,因此STGAT使用GAT建模行人间的运动信息共享和运动交互机制。该方案建模场景中涉及的所有行人之间的交互,每个时刻的空间相互作用由GAT捕获,通过深度学习,GAT结构可以自动为目标行人计算周围不同行人对其的运动影响。考虑到行人运动轨迹的时间连续性,STGAT使用额外的LSTM(长短期记忆网络)结构来捕获行人间交互的时间连续性。最后,利用序列生成序列(seq2seq)的架构来生成未来一段时间行人的运动轨迹。
参考文献2(Zhu Y,Qian D,Ren D,et al.StarNet:Pedestrian trajectoryprediction using deep neural network in star topology[C]//Proceedings of theIEEE/RSJ International Conference on Intelligent Robots and Systems.2019:8075-8080.)提出了一种StarNet模型。该文献中同样利用seq2seq的结构来生成未来一段时间行人的运动轨迹并提出了一个全新的交互模块。StarNet模型认为现有方法都是对每一对行人单独计算交互,但是现实生活中人们感受到的交互应该是整个场景中所有行人、障碍物共同组成的整体交互。因此StarNet模型根据每个时刻场景中的障碍物和行人的位置构成了一张静态的“交互图”,随着时间变化,这些静态的“交互图”变成了一张带有时序信息的动态图。StarNet模型让所有的行人共享全局交互信息可以在计算全局交互的同时提高计算效率。
但现有技术中存在如下缺点与不足:STGAT模型中的注意力机制和图神经网络可以帮助行人精确学习到行人之间的关联系数和交互信息,但是这种两两计算的注意力机制消耗的资源大,随着行人数量N的变大,计算量呈平方倍增长,并且当行人数量过多时,该方法会导致行人之间的重要性区分度变弱。而StarNet模型虽然考虑了行人和全局场景的交互,显著提高了计算效率,但是现实场景中,即使不同行人在同一个场景,他们受到的全局交互也应该是不同的,同时StarNet模型没有仔细考虑局部邻域内的动态交互,不同行人的交互缺少各异性。并且当场景尺寸较大时,对整个场景建模一个全局交互图,不能有效的捕捉全部有效信息。
发明内容
针对复杂场景下行人数量多的情况,基于注意力机制计算行人交互的复杂度高,以及对全局场景进行整体交互建模的建模精度差,不同行人的交互缺少各异性的问题,本发明提出一种基于多精度交互的人群轨迹预测方法,通过全局交互模块(GlobalInteraction Module,GIM)和局部交互模块(Local Interaction Module,LIM)两种精度的交互建模方式,使行人交互建模更加细致合理,达到提升人群轨迹预测的精度的效果,具有保证行人交互个性化的同时减少计算次数的优势。
本发明提供的一种基于多精度交互的人群轨迹预测方法,包括如下步骤:
步骤1:获取行人历史轨迹视频,为行人建立个体运动的时空连续性模型;其中,使用E-LSTM网络来编码行人的历史状态,使用行人的相对位置作为E-LSTM网络的输入;
步骤2:行人运动交互建模,包括全局交互建模和局部交互建模;
(一)全局交互建模包括:(1)首先按照设置的精度对当前场景进行区域划分,将每个行人的位置坐标映射为场景的区域坐标,并构建一个遮掩矩阵用来判断划分的区域内是否有行人存在;(2)在划分的每个子区域内构建图网络,每个行人对应一个节点,用边记录行人之间是否存在交互信息;对每个子区域内个体先采用图卷积网络进行建模交互,再利用最大池化操作聚合区域信息得到行人交互信息;(3)基于当前的行人运动状态和获得的交互信息,利用自注意力机制建模全局交互信息;
其中,设t时刻区域r内存在Nr个行人,该区域的图网络表示为 为节点集合,每个节点代表一个行人的状态信息, 代表行人Nr的运动状态;是一个0-1矩阵,元素值为1代表两行人之间存在交互信息,值为0代表两行人之间不存在交互信息;将输入图卷积网络后得到建模交互后的行人状态信息再对最大池化操作得到输出结果
其中,Wgcn是图卷积网络的参数,Q是Wgcn的参数维度;
(二)局部交互建模,包括:(1)根据邻居阈值筛选出产生交互的周围行人;(2)基于行人运动状态,利用注意力机制对周围行人的交互进行融合得到行人的局部交互信息;
(三)将局部交互信息和全局交互信息拼接得到行人i在t时刻的完整交互信息。
步骤3:对行人未来轨迹解码预测。
利用注意力机制对行人不同时刻的完整交互信息分配不同的权重,获取对行人观察时刻融合后的交互信息Hinteraction,将行人的运动信息和交互信息Hinteraction拼接作为解码端的LSTM的初始化向量,利用解码端LSTM预测行人的相对位置,进而预测行人的绝对位置。
相对于现有技术,本发明的优点和积极效果在于:
(1)本发明方法提出一种全局-局部交互建模结构,将行人的交互信息分为两个阶段计算,全局交互信息对行人的轨迹做出微调,可以指导行人的远距离移动,局部交互信息可以捕捉行人的细节运动信息,用来指导行人的瞬时移动,在全局交互建模基础上添加局部交互建模,行人可以对近期运动做出及时的避让,更接近真实轨迹。
(2)本发明方法提出一种区域划分交互计算方法;现有方法一般是计算每对行人之间的交互,计算复杂度高,或者是利用池化层等方法对整个场景整体建模,这种方法导致不同行人的交互相同,缺乏各异性。本发明方法利用区域划分算法将场景分成若干份,然后对每个划分的子区域进行区域建模,在现在常用的两种方法中找到了平衡点,在保证交互信息各异性的同时降低了计算复杂度。
(3)将本发明方法与现有方法在若干公开数据集上进行实验对比,发现采用本发明方法进行行人轨迹预测时可以获取更优的效果,能更加准确得预测行人轨迹。
附图说明
图1为本发明的一种多精度交互的人群轨迹预测方法的整体流程示意图;
图2为本发明方法中交互建模的示意图,图中上半部分为局部交互建模示意图,下半部分为全局交互建模示意图;
图3为本发明提出的全局交互建模的流程图;
图4为本发明提出的局部交互建模流程图;
图5为本发明实验中预测的行人轨迹对比图。
具体实施方式
下面结合附图和实施例来说明本发明技术方案的实现,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
现有方法一般是计算每对行人之间的交互,计算复杂度高,或者是利用池化层等方法对整个场景整体建模,这种方法导致不同行人的交互相同,缺乏各异性。本发明采用深度学习的技术手段提出一种基于多精度交互的人群轨迹预测方法,采用一种多精度的行人交互建模方法,即全局-局部交互计算结构,将整个场景划分为不同的区域,利用图神经网络在每个区域内部构建局部信息传递进而生成区域交互,同时为了捕捉周围的细节信息,构建一个额外的局部交互模块来捕获周围行人的交互细节,在保证交互信息各异性的同时降低了计算复杂度。
本发明实施例的实验平台参数如下:
CPU:Intel(R)Core(TM)i7-7800X CPU@3.50GHz
GPU:TITAN XP
操作系统:Ubuntu 16.04.6
代码运行环境:Python 3.7、Pytorch 1.5.0
在上述智能实验平台上运行本发明的基于多精度交互的人群轨迹预测方法。如图1所示,本发明实施例实现的人群轨迹预测方法,首先获取行人历史轨迹视频,从历史轨迹视频中按照0.4秒时间间隔提取8帧图像,并转化为二维的行人位置坐标,本发明实施例中是利用开源的目标跟踪算法(如SORT算法)获取行人位置,并在场景建立坐标系获得行人具体坐标,然后利用LSTM对历史数据进行编码,通过全局交互模块和局部交互模块对行人信息进行建模,并利用注意力机制融合不同时刻的交互信息,最后利用交互信息和时间编码信息解码出行人的未来轨迹。本发明实施例的人群轨迹预测方法主要包括如下三个步骤。
步骤1:个体运动的时空连续性建模。
每个行人都有自己的运动状态,这些状态可能包含行人的方向、速度和加速度等信息。本发明使用编码端LSTM(Encoder LSTM,E-LSTM)来编码行人的历史状态。为了提高模型的迁移能力,本发明使用行人的相对位置作为模型输入,首先计算每个行人的相对位置,设代表行人i在t时刻的x轴坐标,代表行人i在t时刻的y轴坐标。
然后将相对位置映射到一个固定的高维空间,并用作LSTM模型的输入。
其中,fe为多层感知机,We为fe的训练参数,为映射到高维空间的行人i的相对位置,为行人i在时刻t的运动状态,WE-LSTM为E-LSTM的模型参数。fe将行人位置相对坐标映射为64维E-LSTM网络的隐藏层设为64维。
步骤2:行人运动交互建模。
本发明将交互模块分为全局交互模块和局部交互模块,进而对场景内的信息进行多精度的交互建模。如图2所示,本发明对目标行人进行交互建模,图2中小方框内的行人为目标行人,本发明通过局部交互模块和全局交互模块进行建模,最后将两个模块的建模信息进行拼接得到最终交互信息。
首先说明全局交互模块。全局交互建模的流程如图3所示。全局交互模块首先将二维的行人位置坐标输入LSTM时间序列编码,利用区域划分算法获得每个行人的区域坐标,然后在每个划分的子区域内利用图网络建模子区域交互,利用注意力机制对不同区域的交互进行融合得到全局交互信息。本发明将全局区域划分为不同的子区域,对每个子区域建模可以获得局部区域的行人交互对目标行人的影响,并且可以结合局部场景信息,具有很强的扩展性,全局交互模块可以将每个子区域的交互进行融合,得到全局场景交互信息对行人运动状态的影响。
全局模块是一个多区域的交互模块,用来捕获动态场景中的区域性交互。本发明将场景划分为不同区域。这种划分方法不仅可以根据空间位置对行人进行聚类,而且可以结合场景信息生成更复杂的交互信息。首先,定义场景划分的精度为R=m×n,并按照设置的精度对当前场景进行区域划分,本发明实施例中,场景划分的精度R=3*3。然后将每个行人的位置坐标映射为场景的区域坐标,同时本发明构建了一个维度为m×n的遮掩(mask)矩阵,用来判断划分的区域内是否有行人存在。
本发明利用区域划分算法将场景内的行人划分到对应的区域坐标内,所使用的一种区域划分算法如下:
在上述区域划分算法中,N代表当前场景中的行人个数,输入行人坐标(Pi(x),Pi(y)),初始化遮掩矩阵M为0矩阵,对于区域内的行人i,根据上面第4行和第5行的计算公式来获取行人i的区域坐标(PRi(x),PRi(y)),并根据所得到的区域坐标,更新遮掩矩阵M中对应位置的元素值为1。(xmin,ymin)和(xmax,ymax)分别为场景区域的左下角和右上角的坐标。
区域划分结束后,为了挖掘行人的空间相关性,本发明在每个子区域内构建一个图卷积网络来生成区域状态信息。对有行人存在的每个子区域建立图网络结构,设第r个区域内存在Nr个行人,每个区域内的子图可以表示为 是子图中节点的集合,每个行人对应一个节点,代表区域内一个行人的状态信息,D代表行人状态的特征维度,即对应E-LSTM网络输出的行人运动状态的维度,本发明实施例中D为64;是一个0-1矩阵,用来存储图中的边,即行人之间的交互信息,矩阵中元素值为1代表对应的两行人节点之间有边相连,行人之间存在交互信息,元素值为0代表对应的两节点之间没有边连接,行人之间不存在交互信息。上角标t表示t时刻。
每个区域的子图构建结束后,本发明在每个子图中使用图卷积网络(GCN)使每个区域内的个体间进行信息传递。本发明先采用GCN进行建模交互,然后利用最大池化(MaxPooling)操作聚合区域信息。本发明实施例中,使用了两层GCN网络堆叠,第一层GCN的输出维度为32维,第二层GCN的输出维度为64维。
本发明假设是完全连通的图,Wgcn是图网络学习的参数。场景内存在m×n个子区域,本发明使用自注意力机制(self-attention)对不同区域分配对应的重要性权重。本发明选用了self-attention来建模全局交互信息。如公式(7)计算不同区域对行人的重要度,如公式(8)对重要度进行归一化,如公式(9)获取行人i在t时刻的全局交互信息。
其中,Si,r代表区域r对行人i的关联程度,关联程度即重要度;fq′(·)、fv-region(·)均为多层感知机,fq′(·)维度映射为64维,fv-region(·)维度映射为32维,<·,·>代表内积操作;D代表的维度,本发明实施例为64;αi,r代表归一化后区域r对行人i的重要性分数;Mr代表遮掩矩阵M中对应区域r的元素;是行人i在t时刻的全局交互信息。
其次,说明局部交互模块。如图4所示,局部交互模块根据邻居阈值筛选出会产生交互的周围行人,将二维的行人位置坐标输入LSTM时间序列编码,利用注意力机制对周围行人的交互进行融合得到局部交互信息。
局部交互模块用来捕获行人局部范围的精细交互信息。因为行人的交互是动态的,为了建模这种交互,本发明同样使用自注意力机制(self-attention)来适应性的捕获不同行人的关联程度。因为正常行人的行走速度是1.1m/s,本发明实施例要预测的是行人未来的4.8秒轨迹,因此本发明将局部行人的邻近阈值threshold设为5米。
首先,本发明定义一个矩阵G来表示局部行人。
其中,Pi t、分别代表行人i和j在t时刻的位置,||.||2代表2范数,此处用于求取行人i和j的距离。当两行人i和j间距离小于等于阈值threshold时,代表两行人i和j间会产生交互,对应在矩阵G中元素Gij取值为1,否则,代表两行人间不产生交互,Gij取值为0。矩阵G作为掩码矩阵参与局部信息状态的更新。
本发明使用内积和归一化指数函数(Softmax)计算行人之间的归一化相关性,然后更新局部信息状态。利用公式(11)计算获取各行人对行人i的关联程度,利用公式(12)对公式(11)所计算的关联程度进行归一化,利用公式(13)获取行人的局部交互信息。
其中,Scorei,j代表行人j对行人i的关联程度,N代表所有行人个数;fq(·)、fk(·)、fv(·)均为多层感知机函数,fq(·)和fk(·)的维度映射为64维,fv(·)维度映射为32维;分别代表行人i、行人j在t时刻的运动状态;对Scorei,j进行归一化得到αtti,j;是行人i在t时刻的局部交互信息。
最后本发明将局部交互信息和全局交互信息拼接得到行人i在t时刻的完整交互信息。
步骤3:对行人未来轨迹进行解码预测。
不同时刻的交互信息重要程度不同,为了处理捕捉这种交互的差异性,本发明引入了时间注意力机制,对不同时刻的交互分配不同的权重。
其中,αi,t′表示行人i在t′时刻的重要性;ftime(.)是多层感知机;表示行人i在t′时刻的完整交互信息;Tobs表示观察时间长度,本发明实施例中Tobs为8;Hinteraction表示对观察时刻融合后的编码信息。本发明中为了让模型的泛化和学习能力更强,将进行编码,然后再计算注意力机制。
行人的运动状态和交互状态分别由单个分支和交互分支编码,然后本发明将行人运动信息、交互信息拼接并作为在解码端LSTM(Decoder LSTM,D-LSTM)的初始化向量。在前面的工作基础上,本发明利用一个基于LSTM的解码器来预测行人的相对位置。
其中,finit、fdemb、fdecoder均是多层感知机,finit、fdemb维度映射为64维,fdecoder将向量映射为2维坐标;表示连接操作;表示输入D-LSTM网络的初始向量,表示行人i在时刻Tobs的运动信息,Hinteraction表示对行人i观察时刻融合后的交互信息;表示预测的行人i在t时刻相对于上一时刻的相对位置,Wdec表示D-LSTM网络模型的参数; 分别表示由D-LSTM网络模型解码获取的t+1时刻、t时刻的运动状态;的维度为64维;Wdecoder是多层感知机fdecoder的参数;对进行降维映射,预测得到行人i在t+1时刻相对于上一时刻的相对位置
模型训练中本发明将批处理量(batch size)设为32,模型训练200轮,学习率为0.001,来训练所涉及到的LSTM网络和多层感知机的参数。利用训练好的LSTM网络和多层感知机,执行上述步骤1~3,来对当前场景中的行人轨迹进行预测。
本发明中的多层感知机可以进行数据维度的变化,将数据映射到一个高维度数据学习复杂的信息,或者映射到一个低维度数据以压缩数据减少计算压力,然后再映射回自己需要的数据维度,本发明的多层感知机主要起到维度变化的作用。
将本发明方法在公开数据集上与现有方法进行实验对比,结果显示本发明的结果优于现有方法,评价指标为ADE/FDE,ADE为未来12帧(4.8秒)预测位置与真实位置的距离差的平均值,FDE为预测终点位置与真实终点位置的距离差。ADE和FDE值越小,效果越好。对比数据如表1所示。
表1本发明方法与现有方法在公开数据集的结果对比
方法 | ETH | HOTEL | UNIV | ZARA1 | ZARA2 | AVG |
SGAN | 0.81/1.52 | 0.72/1.61 | 0.60/1.26 | 0.34/0.69 | 0.42/0.84 | 0.58/1.18 |
SoPhie | 0.70/1.43 | 0.76/1.67 | 0.54/1.24 | 0.30/0.63 | 0.38/0.78 | 0.54/1.15 |
STGAT | 0.65/1.12 | 0.35/0.66 | 0.52/1.10 | 0.34/0.69 | 0.29/0.60 | 0.43/0.83 |
本发明 | 0.62/1.15 | 0.27/0.49 | 0.52/1.10 | 0.31/0.62 | 0.25/0.51 | 0.39/0.77 |
现有技术中有利用生成对抗网络(GAN)进行轨迹预测方法,如利用SGAN(半监督式GAN)进行轨迹预测;基于GAN利用场景中路径历史以及场景上下文信息进行路径预测方法——SoPhie;基于Seq2Seq的结构使用GAT提取交互信息的网络STGAT进行轨迹预测。如表1所示,将本发明方法与SGAN、SoPhie、STGAT三种方法分别在公开数据集ETH、HOTEL、UNIV、ZARA1、ZARA2和AVG上进行对比,加粗数据表示本发明方法在ADE或FDE上在对应数据集上的最优。通过表1可知,采用本发明方法进行轨迹预测,由于现有方法,能更加准确进行行人轨迹预测。
同时将本发明方法与STGAT方法进行定性实验对比,证明了本发明方法的有效性。如图5所示,实线是观察的历史轨迹,虚线是真实的未来轨迹,实心三角箭头的虚线是本发明预测的未来轨迹,普通箭头虚线是对比方法STGAT的预测轨迹,从图5中可以看出本发明预测的轨迹效果更好,与真实的轨迹距离更近,并且可以预测出直行、转弯等行为。
Claims (7)
1.一种基于多精度交互的人群轨迹预测方法,其特征在于,包括如下步骤:
步骤1,获取行人历史轨迹视频,为行人建立个体运动的时空连续性模型;其中使用LSTM网络来编码行人的历史状态,使用行人的相对位置作为LSTM网络的输入;
步骤2,对行人运动交互建模,包括全局交互建模和局部交互建模;
步骤2.1,全局交互建模包括:(1)首先按照设置的精度对当前场景进行区域划分,将每个行人的位置坐标映射为场景的区域坐标,并构建一个遮掩矩阵用来判断划分的区域内是否有行人存在;(2)在划分的每个子区域内构建图网络,每个行人对应一个节点,用边记录行人之间是否存在交互信息;对每个子区域内个体先采用图卷积网络进行建模交互,再利用最大池化操作聚合区域信息;
其中,设t时刻区域r内存在Nr个行人,该区域的图网络表示为 为节点集合,每个节点代表一个行人的状态信息, 代表行人Nr的运动状态;是一个0-1矩阵,元素值为1代表两行人之间存在交互信息,值为0代表两行人之间不存在交互信息;将输入图卷积网络后得到建模交互后的行人状态信息再对最大池化操作得到输出结果
其中,Wgcn是图卷积网络的参数,Q是Wgcn的参数维度;
步骤2.2,局部交互建模,包括:(1)根据邻居阈值筛选出产生交互的周围行人;(2)基于行人运动状态,利用注意力机制对周围行人的交互进行融合得到行人的局部交互信息;
步骤2.3,将行人i的局部交互信息和全局交互信息拼接,得到行人i在t时刻的完整交互信息;
步骤3,利用注意力机制对行人不同时刻的完整交互信息分配不同的权重,获取对行人观察时刻融合后的交互信息Hinteraction,将行人的运动信息和交互信息Hinteraction拼接作为解码端的LSTM的初始化向量,利用解码端LSTM预测行人的相对位置,进而预测行人的绝对位置。
6.根据权利要求1或3所述的方法,其特征在于,所述的步骤3中,包括:
首先,引入时间注意力机制,对行人i在t′时刻的交互信息分配权重αi,t′,如下:
然后,在解码端利用一个标记为D-LSTM的LSTM网络预测行人的相对位置,包括:
7.根据权利要求6所述的方法,其特征在于,所述的方法对LSTM网络参数和多层感知机的参数进行训练,利用训练好的LSTM网络和多层感知机,执行所述的步骤1~3对场景中的行人轨迹进行预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110855170.8A CN113362367B (zh) | 2021-07-26 | 2021-07-26 | 一种基于多精度交互的人群轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110855170.8A CN113362367B (zh) | 2021-07-26 | 2021-07-26 | 一种基于多精度交互的人群轨迹预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113362367A true CN113362367A (zh) | 2021-09-07 |
CN113362367B CN113362367B (zh) | 2021-12-14 |
Family
ID=77540411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110855170.8A Active CN113362367B (zh) | 2021-07-26 | 2021-07-26 | 一种基于多精度交互的人群轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362367B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114819253A (zh) * | 2022-03-02 | 2022-07-29 | 湖北大学 | 城市人群聚集热点区域预测方法、系统、介质及终端 |
CN115009275A (zh) * | 2022-08-08 | 2022-09-06 | 北京理工大学前沿技术研究院 | 面向城市场景下车辆轨迹预测方法、系统及存储介质 |
CN115071762A (zh) * | 2022-08-22 | 2022-09-20 | 北京理工大学前沿技术研究院 | 面向城市场景下行人轨迹预测方法、模型及存储介质 |
CN115272395A (zh) * | 2022-07-11 | 2022-11-01 | 哈尔滨工业大学重庆研究院 | 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392445A (zh) * | 2014-11-21 | 2015-03-04 | 中国计量学院 | 一种监控视频中人群小群体分割方法 |
WO2018059300A1 (zh) * | 2016-09-29 | 2018-04-05 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
CN108537818A (zh) * | 2018-03-07 | 2018-09-14 | 上海交通大学 | 基于集群压力lstm的人群轨迹预测方法 |
CN110135314A (zh) * | 2019-05-07 | 2019-08-16 | 电子科技大学 | 一种基于深度轨迹预测的多目标跟踪方法 |
CN112215193A (zh) * | 2020-10-23 | 2021-01-12 | 深圳大学 | 一种行人轨迹预测方法及系统 |
CN112465273A (zh) * | 2020-12-25 | 2021-03-09 | 湖北汽车工业学院 | 一种基于局部注意力机制的无人车轨迹预测方法 |
CN112541449A (zh) * | 2020-12-18 | 2021-03-23 | 天津大学 | 一种基于无人机航拍视角的行人轨迹预测方法 |
-
2021
- 2021-07-26 CN CN202110855170.8A patent/CN113362367B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392445A (zh) * | 2014-11-21 | 2015-03-04 | 中国计量学院 | 一种监控视频中人群小群体分割方法 |
WO2018059300A1 (zh) * | 2016-09-29 | 2018-04-05 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
CN108537818A (zh) * | 2018-03-07 | 2018-09-14 | 上海交通大学 | 基于集群压力lstm的人群轨迹预测方法 |
CN110135314A (zh) * | 2019-05-07 | 2019-08-16 | 电子科技大学 | 一种基于深度轨迹预测的多目标跟踪方法 |
CN112215193A (zh) * | 2020-10-23 | 2021-01-12 | 深圳大学 | 一种行人轨迹预测方法及系统 |
CN112541449A (zh) * | 2020-12-18 | 2021-03-23 | 天津大学 | 一种基于无人机航拍视角的行人轨迹预测方法 |
CN112465273A (zh) * | 2020-12-25 | 2021-03-09 | 湖北汽车工业学院 | 一种基于局部注意力机制的无人车轨迹预测方法 |
Non-Patent Citations (5)
Title |
---|
ALEXANDRE ALAHI 等: "Social LSTM:Human Trajectory Prediction in Crowded Spaces", 《IEEE》 * |
PU ZHANG 等: "SR-LSTM: State Refinement for LSTM towards Pedestrian Trajectory Prediction", 《IEEE》 * |
曹翰林 等: "轨迹表示学习技术研究进展", 《软件学报》 * |
李幸超: "基于循环神经网络的轨迹位置预测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
王天保 等: "图卷积神经网络行人轨迹预测算法", 《哈尔滨工业大学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114819253A (zh) * | 2022-03-02 | 2022-07-29 | 湖北大学 | 城市人群聚集热点区域预测方法、系统、介质及终端 |
CN115272395A (zh) * | 2022-07-11 | 2022-11-01 | 哈尔滨工业大学重庆研究院 | 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法 |
CN115009275A (zh) * | 2022-08-08 | 2022-09-06 | 北京理工大学前沿技术研究院 | 面向城市场景下车辆轨迹预测方法、系统及存储介质 |
CN115071762A (zh) * | 2022-08-22 | 2022-09-20 | 北京理工大学前沿技术研究院 | 面向城市场景下行人轨迹预测方法、模型及存储介质 |
CN115071762B (zh) * | 2022-08-22 | 2022-12-16 | 北京理工大学前沿技术研究院 | 面向城市场景下行人轨迹预测方法、模型及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113362367B (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362367B (zh) | 一种基于多精度交互的人群轨迹预测方法 | |
Song et al. | Pedestrian trajectory prediction based on deep convolutional LSTM network | |
Vu et al. | Hybridnets: End-to-end perception network | |
Gao et al. | LFT-Net: Local feature transformer network for point clouds analysis | |
CN113362368B (zh) | 一种基于多层次时空图神经网络的人群轨迹预测方法 | |
CN114120439B (zh) | 一种智能汽车自车视角下的行人意图多任务识别及轨迹预测方法 | |
Sharma et al. | Pedestrian intention prediction for autonomous vehicles: A comprehensive survey | |
CN114169241A (zh) | 一种端到端的多目标识别、追踪与预测方法 | |
CN113705636A (zh) | 一种自动驾驶车辆轨迹预测方法、装置及电子设备 | |
CN112541449A (zh) | 一种基于无人机航拍视角的行人轨迹预测方法 | |
CN115438856A (zh) | 基于时空交互特征和终点信息的行人轨迹预测方法 | |
Yau et al. | Graph-sim: A graph-based spatiotemporal interaction modelling for pedestrian action prediction | |
CN115439507A (zh) | 基于多层次互增强与相关金字塔的三维视频目标跟踪方法 | |
Liu et al. | Multi-agent trajectory prediction with graph attention isomorphism neural network | |
CN117077727A (zh) | 基于时空注意力机制和神经常微分方程的轨迹预测方法 | |
Feng et al. | Using appearance to predict pedestrian trajectories through disparity-guided attention and convolutional LSTM | |
Singh et al. | Multi-scale graph-transformer network for trajectory prediction of the autonomous vehicles | |
Zhu et al. | Tri-HGNN: Learning triple policies fused hierarchical graph neural networks for pedestrian trajectory prediction | |
Liu et al. | Social graph transformer networks for pedestrian trajectory prediction in complex social scenarios | |
Zhu et al. | BiFF: Bi-level Future Fusion with Polyline-based Coordinate for Interactive Trajectory Prediction | |
Xu et al. | Integration of Mixture of Experts and Multimodal Generative AI in Internet of Vehicles: A Survey | |
Hayakawa et al. | Recognition and 3d localization of pedestrian actions from monocular video | |
Zhang et al. | Graphad: Interaction scene graph for end-to-end autonomous driving | |
CN115034459A (zh) | 一种行人轨迹时间序列预测方法 | |
CN114723782A (zh) | 一种基于异构图学习的交通场景运动目标感知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |