CN108537818A - 基于集群压力lstm的人群轨迹预测方法 - Google Patents

Abstract

本发明提供一种基于集群压力LSTM的人群轨迹预测方法，步骤为：获得每个行人个体的运动轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；计算不同高斯核下的整张图像的密度信息，进行压力池化得到融合局部密度的隐藏层信息；计算邻域内LSTM当前的运动一致性矩阵，进行集群池化，得到融合行人运动一致性的隐藏层信息；将上述融合局部密度的隐藏层信息和融合行人运动一致性的隐藏层信息，与最初的隐藏状态信息连接到一起，得到新的压力集群度隐藏特征，输入到下一个LSTM单元中得到下一个预测输出。本发明有效利用行人之间相互作用，既包含由密度信息所显示的不稳定性压力信息和邻域内人群一致性的集群性信息，提高了人群轨迹预测的准确性。

Description

基于集群压力LSTM的人群轨迹预测方法

技术领域

本发明涉及计算机视频处理技术领域，具体涉及一种基于集群压力长短期记忆网络(LSTM)的人群轨迹预测方法，设计一种适合于预测人群中行人个体行动轨迹的LSTM网络。

背景技术

行人可以通过日常经验和基本常识理解其他人的行为，人们身处拥挤的公共场景比如人行道，机场地铁，或者大型购物中心时，可以通过观察周围环境和自身常识选择自己的行走路线，另外，他们行动的目的地，对个人空间尊重和在原有的路线上是否有其他人都会影响其对于自己行走路线的选择。对于人群行为轨迹的预测需要考虑大量的常识性行为，因此这是在视觉分析领域较具有挑战性的问题。

行人轨迹预测可以感知行人在人群活动中下一个时间段的位置信息，通过预测到的行人信息可以提前推断行人在人群中的活动，提供更多的信息，从而能够更有效对人群进行分析。对于人群中行人下一个时间段位置的预测，轨迹的突变可以推断异常状态，轨迹的交互作用也可以推断出可能发生危险的位置，做到防范于未然，对人群管理有着极其重要的作用。

现有技术中，人群轨迹预测可以通过自身设计的特性和属性来进行跟踪预测(参见：Kitani K M,Ziebart B D,Bagnell J A,et al.Activity Forecasting[M]//ComputerVision–ECCV 2012.Springer Berlin Heidelberg,2012:201-214.)的和通过环境语义建模(参见：Yi S,Li H,Wang X.Understanding pedestrian behaviors from stationarycrowd groups[J].2015:3488-3496.)。但是以上两种方法面临如下的问题：

1)采用传统特征下需要采用手动定义的函数来定义；

2)方法和特征由数据集驱动，不具有普遍性；

3)不会考虑未来情况下行人之间的相互作用。

发明内容

为了克服上述现有技术的不足之处，本发明的目的在于提供一种基于集群压力LSTM的人群轨迹预测方法，可以有效利用行人之间相互作用，同时考虑行人所处环境邻域信息及人群整体运动趋势，实现了多个场景下对于人群轨迹的预测。

根据本发明上述的目的，一种基于集群压力LSTM的人群轨迹预测方法，包括：

对于需要预测的每个场景，获得图像中每个行人个体的运动轨迹，每个行人个体的运动轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；

计算不同高斯核下的整张图像的密度信息，进行压力池化得到融合局部密度的隐藏层信息；

计算邻域内LSTM当前的运动一致性矩阵，该运动一致性矩阵包含：预测个体与邻域内其他个体之间的一致性以及个体在整个邻域内的一致性信息，将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息；

将上述融合了压力特征的所述融合局部密度的隐藏层信息和融合了集群特征的所述融合行人运动一致性的隐藏层信息，与所述最初的隐藏状态信息连接到一起，得到新的压力集群度隐藏特征；

将所述新的压力集群度隐藏特征输入到下一个LSTM单元中得到下一个预测输出，得到下一个时间段的预测行人轨迹位置。

优选地，所述得到最初的隐藏状态信息，其中：

获得场景图像中各个行人在各帧的位置信息表示第t帧第i个行人的位置为输入到LSTM单元得到最初的隐藏状态信息。

优选地，所述计算不同高斯核下的整张图像的密度信息，包括：

采用局部时空二值化的方法得到整张图像的信息，采用不同高斯核对得到的密度信息进行处理，得到不同大小的高斯核下的密度图。

优选地，所述进行压力池化得到融合局部密度的隐藏层信息，包括：

对预测个体邻域内的LSTM进行压力池化，设：N×N邻域在M个高斯核得到的N×N×M维度的密度矩阵，代表第k个高斯核所得到N×N维度的密度矩阵W_socialD在j个LSTM所处位置的密度值，代表第j个邻域行人LSTM所处位置，则压力池化的公式如下：

其中，为上一时间段预测个体的初始的隐藏层信息，表示在N×N邻域的(m,n)位置的隐藏状态信息，表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化。

优选地，所述计算邻域内LSTM当前的运动一致性矩阵，是指：已知不同行人的位置信息，计算预测个体邻域内与个体之间的运动一致性和邻域内个体在整体的运动一致性，其中：

计算个体i在个体j的周围邻域的行为一致性，采用如下公式：

ω_t(i,j)＝max(C_t(i,j),0)(j∈Nⁱ)

其中C_t(i,j)定义为在t时间时行人个体i和行人个体j的速度相关；

Nⁱ定义为个体i的邻域中所有个体的集合。

计算个体在整个邻域内的一致性，采用基于路径的个体一致性，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边，C为人群中个体的集合，W为C中个体所形成的图的邻接矩阵，个体在路径长度为l的情况下个体的一致性采用如下公式，并作为图中边的权重：

p_k,p_k+1分别表示路径上k,k+1相邻的两个个体；

两者之间存在一条或多条长度为l的路径，把长度为l的路径所得到的个体一致性相加，用ν_l(i,j)为矩阵W^l中第i行个体j列的元素，其中W^l为矩阵W的l次方，则将个体i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中P_l表示个体i,j之间路径长度为l的所有个体的集合，j_l表示到个体i路径长度为l的个体，为个体i,j的个体一致性：

对于i会有多个长度为l的点，通过将i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中e表示单位矩阵，C为人群中个体的集合：

由于两点之间的路径数目成指数增长，φ_l(i)会随着两点之间路径长度的增加指数增长，对于个体i其在群体中的一致性是对它在路径l在l＝1,2，…∞上一致性的和如下公式：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

其中：W为上述关于一致性矩阵，Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性；z为一致性系数在0～1之间，e表示单位矩阵；

采用以上得到两种一致性信息，得到G×G×2的运动一致性矩阵W_socialC，其中G为邻域范围定义。

优选地，所述将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息，如下公式所示：

其中，为上一时间段预测个体的初始的隐藏层信息，表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化；表示个体j在运动一致性矩阵W_socialC中在第k维所在位置对应值。

优选地，所述压力集群度隐藏特征，如下公式所示：

其中：

表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；

]分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。

与现有技术相比，本发明具有如下的有益效果：

本发明可以有效利用行人之间相互作用，同时考虑行人所处环境邻域信息及人群整体运动趋势的基于集群压力LSTM的人群轨迹预测方法，既包含由密度信息所显示的不稳定性压力信息和邻域内人群一致性的集群性信息，提高了人群轨迹预测的准确性，实现了多个场景下对于人群轨迹的预测，尤其适用于在分析人群中个体在未来时间段的运动轨迹。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中基于集群压力LSTM的人群轨迹预测方法流程图；

图2为本发明一实施例中压力集群池化层示意图；

图3为本发明一实施例中结果的轨迹预测定性比较结果，现有预测方法预测结果与实际轨迹的比较。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

随着循环神经网络(RNN)和长短期记忆网络(LSTM)等对于序列预测有较好性能的深度学习算法的出现，改进了传统的行人轨迹预测方法，本发明提出了一种基于集群压力LSTM网络的人群轨迹预测方法。

首先，对于需要预测的每个场景先进行预处理获得图像中所有人在不同时间的位置坐标，获得每个行人个体的运动轨迹；每个行人轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；

然后采用基于稀疏时空局部二值模式计算整张图像的密度信息，采用不同大小的高斯核得到多张密度图，并将邻域内LSTM的隐藏状态信息与其对应位置的密度信息相结合；

再计算邻域内LSTM当前的运动一致性矩阵，该运动一致性矩阵包含预测个体与邻域内其他个体之间的一致性与个体在整个邻域内的一致性信息，得到的运动一致性矩阵与之前的LSTM隐藏状态信息相结合；

将得到的两个新的隐藏状态信息融合连接得到新的隐藏状态信息输入到下一个LSTM单元中得到下一个预测输出，最后得到下一个时间段的预测行人轨迹位置。

参照图1所示，本发明方法部分实施例中可以参照以下步骤进行实施：

第一步：得到场景中各个行人在各帧的位置信息表示第t帧第i个行人的位置为输入到LSTM单元得到最初的隐藏状态信息。

第二步：计算不同高斯核下的整张图像的密度信息，进行压力池化。

1、利用三维Hessian矩阵时域变化剧烈的点提取出来，时空对Hessian矩阵对视频序列I(x,y,t)的处理如下公式，其中表示x方向的二阶偏微分，表示水平x方向和时间t方向的混合偏微分，y表示垂直方向：

2、时空局部二值化特征提取，以特征点的灰度值为阈值，将相邻多帧3×3邻域范围内的值与阈值做比较，大于阈值则取1，小于阈值则取0。最后将相邻多帧的二值化特征序列相连，构建X×Y×T空间，X,Y,T分别为在水平，垂直和时间域上所选取的邻域大小，计算时空局部二值化特征，采用傅里叶变换对时空LBP进行谱分析。

所述的时空局部二值模式可以采用现有技术实现，如可以参见：Yang H,Cao Y,SuH,et al.The large-scale crowd analysis based on sparse spatial-temporal localbinary pattern[J].Multimedia Tools&Applications,2014,73(1):41-60。

3、改变高斯核的大小，分别计算不同大小的高斯核下的密度图。

4、对预测个体邻域内的LSTM进行压力池化，如图2所示表明了对于个体i时间t-1得到的隐藏状态信息经过压力集群池化层后得到新的隐藏状态信息作为下一个时间单元新的输入的过程，其中为时间t-1时个体j的隐藏状态信息，N×N邻域在M个高斯核得到的N×N×M维度的密度矩阵，代表第k个高斯核所得到N×N维度的密度矩阵W_socialD在j个LSTM所处位置的密度值，则代表第j个邻域行人LSTM所处位置，压力池化的计算公式如下所示：

其中，为上一时间段预测个体的初始的隐藏层信息，表示在N×N邻域的(m,n)位置的经过压力池化后的隐藏状态信息，表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化。

第三步：计算不同的一致性信息矩阵，进行集群池化。

具体步骤为：

1、已知不同行人的位置信息，首先计算个体与邻域内其他个体之间的一致性。计算个体i在个体j的周围邻域的行为一致性：

ω_t(i,j)＝max(C_t(i,j),0)(j∈Nⁱ)

其中C_t(i,j)定义为在t时间时个体i和个体j的速度相关，Nⁱ定义为个体i的邻域中所有个体的集合。

2、计算基于路径的个体一致性，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边。C为人群中个体的集合，W为C中个体所形成的图的邻接矩阵，个体在路径长度为l的情况下个体的一致性为如下公式，并作为图中边的权重：

p_k,p_k+1分别表示路径上k,k+1相邻的两个个体。

两者之间存在一条或多条长度为l的路径，因此把这些长度为l的路径所得到的个体一致性相加，其中ν_l(i,j)为矩阵W^l中第i行个体j列的元素，其中W^l为矩阵W的l次方。将个体i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下：

其中P_l表示个体i,j之间路径长度为l的所有个体的集合，j_l表示到个体i路径长度为l的个体，为个体i,j的个体一致性。

3、对于i来说其中会有多个长度为l的点，通过将i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下：

其中e表示单位矩阵，C为人群中个体的集合。

4、由于两点之间的路径数目成指数增长，φ_l(i)会随着两点之间路径长度的增加指数增长，对于个体i其在群体中的一致性是对它在路径l在l＝1,2，…∞上一致性的和如下公式：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

其中：W为上述关于一致性矩阵，Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性，z为一致性系数在0～1之间，e表示单位矩阵。

5、采用以上两种得到的一致性信息，得到G×G×2的运动一致性矩阵W_socialC，其中G为邻域范围定义。进行集群池化，得到如下公式：

表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，表示个体j在运动一致性矩阵W_socialC中在第k维所在位置对应值。

上述一致性信息计算，可以参见：Zhou B,Tang X,Zhang H,et al.MeasuringCrowd Collectiveness[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2014,36(8):1586-99。

第四步：将上述融合了压力特征和集群特征的隐藏层状态信息与原有的隐藏层状态信息连接到一起，得到最终的压力集群度隐藏特征如下公式：

其中：

表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；

分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。

第五步：作为新的隐藏层状态信息输入到下一个LSTM单元中，如此迭代进而得到最后的预测结果迭代多次对模型进行训练。

第六步：利用得到的模型进行行人轨迹预测，输入1到时间T_obs的人群轨迹信息，预测时间T_obs+1到T_pred的轨迹。

基于上述的方法步骤，以下提供一具体应用实例，以下实施例采用的图像来自数据库EHT和UCY数据集，这两个数据集为现有常见人群预测的公共数据集。

具体的，本实施例基于集群压力LSTM人群轨迹预测方法，包括如下具体步骤：

第一步：得到场景中各个行人在各帧的位置信息表示第t帧第i个行人的位置为输入到LSTM单元得到最初的隐藏状态信息。本实施例中选择输入8帧的信息作为观察序列。在其他实施例中，可以根据实际情况选择其他帧数信息作为观察序列。

第二步：计算不同高斯核下的整张图像的密度信息，进行压力池化。

本实施例中，利用三维Hessian矩阵时域变化剧烈的点提取出来，以特征点的灰度值为阈值，将相邻多帧3×3邻域范围内的值与阈值做比较，大于阈值则取1，小于阈值则取0。最后将相邻5帧的二值化特征序列相连，构建3×3×5空间，计算时空局部二值化特征，采用傅里叶变换对时空LBP进行谱分析。

本实施例中采用不同大小的6个高斯核，高斯核大小分别为：[5,11,51,101.301,501]，计算不同大小的高斯核下的密度图。

本实施例中把邻域范围定义为32×32邻域在6个高斯核得到的32×32×6维度的密度矩阵，池化窗口大小为8×8，最后得到的压力池化层大小为4×4，压力池化的计算公式如下所示，其中表示在N×N邻域的(m,n)位置经过压力池化后的隐藏状态信息，表示个体j在运动一致性矩阵W_socialD中在第k维所在位置对应值：

第三步：计算两种的一致性信息矩阵，进行集群池化。

本实施例中：

第一种为32×32邻域内计算个体i在个体j的周围邻域的行为一致性，采用余弦进行定义：

W为32×32邻域内所有个体所形成的图的邻接矩阵，第二种一致性信息矩阵为32×32邻域内每个个体i在邻域内的整体运动一致性为：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性，z为一致性系数在0～1之间，e表示单位矩阵。

采用以上两种得到的一致性信息，得到32×32×2的运动一致性矩阵W_socialC。

对运动一致性矩阵W_socialC进行集群池化，得到如下公式：

表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，表示个体j在运动一致性矩阵W_socialC中在第k维所在位置对应值。池化窗口大小为8×8，最后得到的压力池化层大小为4×4。

第四步：将上述融合了压力特征和集群特征的隐藏层状态信息与原有的隐藏层信息连接到一起，整体的集群压力池化层维度为4×4×8得到最终的压力集群度隐藏特征如下公式：

表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。

第五步：作为新的隐藏层特征输入到下一个LSTM单元中，如此迭代进而得到最后的预测结果

为了使得训练模型的准确性，在本实施例中采用负对数函数作为模型的损失函数如下公式：

其中分别为二变量高斯分布的均值，标准差和联合分布概率。

本实施例中对训练数据集的迭代次数为100，训练出模型。

第六步：利用以第五步中公式作为损失函数的集群压力LSTM得到的模型进行行人轨迹预测；

输入1到时间T_obs的人群轨迹信息，预测时间T_obs+1到T_pred的轨迹，其中本实施例采用T_obs＝8，T_pred＝20，即已知前8帧的信息，预测9到20帧的轨迹。

通过实验证明，本发明方法较之以前方法能很好的进行人群轨迹预测。如图3所示，其中分别表示了数据集5个场景中采用SocialLSTM(参见：Alahi A,Goel K,RamanathanV,et al.Social LSTM:Human Trajectory Prediction in Crowded Spaces[C]//IEEEConference on Computer Vision and Pattern Recognition.IEEE Computer Society,2016:961-971.)方法和本发明所提出的基于集群压力LSTM的人群轨迹方法相对于实际的人群轨迹预测的比较，分别用三种不同颜色表现三种情况下的人群轨迹，对比两种方法的预测结果发现：

对于单独的行人个体，采用SocialLSTM和本发明所提出的集群压力LSTM方法所预测的结果相比，差距并不明显；

对于部分单独行走的个体或者邻域周围密度分布较平均的场景比如在数据集HOTEL的场景如图3中第二行，发现在本发明定义的邻域范围内其没有其他LSTM对其相互作用，所以SocialLSTM与本发明提出的方法的相差不大；

而对于一些场景中局部密度较大且人群相互之间作用较明显的帧，本发明所提出的基于集群压力LSTM的人群预测方法与实际的人群轨迹重合度较高，特别是在UCY数据集中，本发明提出的方法相较于原有的SocialLSTM算法对于人群轨迹的预测准确率有较大的提高。

综上实施例可以看出，本发明充分利用已有的先验信息，考虑人群中由于密度不同导致的不稳定因素，融入局部密度信息，考虑到行人邻域间运动一致性，融入一致性信息，提高了人群轨迹预测的准确性，能实现了多个场景下对于人群轨迹的预测。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于集群压力LSTM的人群轨迹预测方法，其特征在于，包括：

对于需要预测的每个场景，获得图像中每个行人个体的运动轨迹，每个行人个体的运动轨迹用一个LSTM单元代表，得到最初的隐藏状态信息；

计算不同高斯核下的整张图像的密度信息，进行压力池化得到融合局部密度的隐藏层信息；

计算邻域内LSTM当前的运动一致性矩阵，该运动一致性矩阵包含：预测个体与邻域内其他个体之间的一致性以及个体在整个邻域内的一致性信息，将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息；

将上述融合了压力特征的所述融合局部密度的隐藏层信息和融合了集群特征的所述融合行人运动一致性的隐藏层信息，与所述最初的隐藏状态信息连接到一起，得到新的压力集群度隐藏特征；

将所述新的压力集群度隐藏特征输入到下一个LSTM单元中得到下一个预测输出，得到下一个时间段的预测行人轨迹位置。

2.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述得到最初的隐藏状态信息，其中：

获得场景图像中各个行人在各帧的位置信息表示第t帧第i个行人的位置为输入到LSTM单元得到最初的隐藏状态信息。

3.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述计算不同高斯核下的整张图像的密度信息，包括：

采用局部时空二值化的方法得到整张图像的信息，采用不同高斯核对得到的密度信息进行处理，得到不同大小的高斯核下的密度图。

4.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述进行压力池化得到融合局部密度的隐藏层信息，包括：

对预测个体邻域内的LSTM进行压力池化，设：N×N邻域在M个高斯核得到的N×N×M维度的密度矩阵，代表第k个高斯核所得到N×N维度的密度矩阵W_socialD在j个LSTM所处位置的密度值，代表第j个邻域行人LSTM所处位置，则压力池化的公式如下：

其中，为上一时间段预测个体的初始的隐藏层信息，表示在N×N邻域的(m,n)位置的隐藏状态信息，表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化。

5.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述计算邻域内LSTM当前的运动一致性矩阵，是指：已知不同行人的位置信息，计算预测个体邻域内与个体之间的运动一致性和邻域内个体在整体的运动一致性，其中：

计算个体i在个体j的周围邻域的行为一致性，采用如下公式：

ω_t(i,j)＝max(C_t(i,j),0)(j∈Nⁱ)

其中：C_t(i,j)定义为在t时间时行人个体i和行人个体j的速度相关；Nⁱ定义为个体i的邻域中所有个体的集合；

计算个体在整个邻域内的一致性，采用基于路径的个体一致性，用图的形式表示在人群中每个个体之间的相似性，人群中的每个个体为图中的点，成对个体间的路径为图的边，C为人群中个体的集合，W为C中个体所形成的图的邻接矩阵，个体在路径长度为l的情况下个体的一致性v_γl采用如下公式，并作为图中边的权重：

p_k,p_k+1分别表示路径上k,k+1相邻的两个个体；

两者之间存在一条或多条长度为l的路径，把长度为l的路径所得到的个体一致性相加，用ν_l(i,j)为矩阵W^l中第i行个体j列的元素，其中W^l为矩阵W的l次方，则将个体i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中P_l表示个体i,j之间路径长度为l的所有个体的集合，j_l表示到个体i路径长度为l的个体，为个体i,j的个体一致性：

对于i会有多个长度为l的点，通过将i与这些个点的相似性求和从而计算基于路径l的个体i的一致性如下，其中e表示单位矩阵，C为人群中个体的集合：

由于两点之间的路径数目成指数增长，φ_l(i)会随着两点之间路径长度的增加指数增长，对于个体i其在群体中的一致性是对它在路径l在l＝1,2，…∞上一致性的和如下公式：

φ(i)＝[((Ι-zW)^-1-Ι)e]_i

其中：W为上述关于一致性矩阵，Ι为对角矩阵，φ(i)为个体i在人群中的运动一致性；z为一致性系数在0～1之间，e表示单位矩阵；

采用以上得到两种一致性信息，得到G×G×2的运动一致性矩阵W_socialC，其中G为邻域范围定义。

6.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述将所述运动一致性矩阵进行集群池化，得到融合行人运动一致性的隐藏层信息，如下公式所示：

其中，为上一时间段预测个体的初始的隐藏层信息，表示在N×N邻域的(m,n)位置经过集群池化后的隐藏状态信息，表示行人个体i是否在行人个体j的邻域范围，如果在邻域范围内函数值取1，该池化为求和池化；表示个体j在运动一致性矩阵W_socialC中在第k维所在位置对应值。

7.根据权利要求1所述的基于集群压力LSTM的人群轨迹预测方法，其特征在于，所述压力集群度隐藏特征，如下公式所示：

其中：

表示在N×N邻域的(m,n)位置经过集群压力池化后得到的隐藏状态信息，作为下一个单元的输入；

]分别表示初始的隐藏状态信息，压力池化后得到的隐藏状态信息，集群池化后的隐藏状态信息。