CN110956684A

CN110956684A - 基于残差网络的人群运动疏散仿真方法及系统

Info

Publication number: CN110956684A
Application number: CN201911183252.1A
Authority: CN
Inventors: 张桂娟; 姚珍珍; 陆佃杰; 刘弘
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2020-04-03
Anticipated expiration: 2039-11-27
Also published as: CN110956684B

Abstract

本公开公开了基于残差网络的人群运动疏散仿真方法及系统，获取待进行人群疏散仿真的视频；从待进行人群疏散仿真的视频中，提取实际的群体内聚性特征和实际的群体集群性特征；基于实际的群体内聚性特征，将待进行人群疏散仿真的视频中的人群划分为若干个实际群组；针对每个实际群组，将当前实际群组中每个实际个体的运动特征和实际的群体集群性特征作为训练好的残差网络的输入值，训练好的残差网络输出当前实际个体下一时间步的预测速度；根据当前实际个体下一时间步的预测速度，生成人群疏散的仿真动画，对人群运动疏散速度进行引导。实验结果表明，该方法能够真实地模拟人群运动过程，并且训练的人群仿真框架可以适用于不同的场景。

Description

基于残差网络的人群运动疏散仿真方法及系统

技术领域

本公开涉及人群疏散仿真技术领域，特别是涉及基于残差网络的人群运动疏散仿真方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

近年来，突发公共事件或重大伤亡灾害频繁发生，在一个拥挤的地区，一旦发生紧急情况，很容易造成恶意事件，如人群拥挤和踩踏。另外，现实中的场景类型存在很大差异，在不同场景中进行疏散演习耗资巨大，并且不能真实反映出人们在紧急情况下的行为。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

因此，群体仿真技术得到工业界、学术界和政府部门越来越多的关注，其能克服许多实战演练的缺点和不足，进而为疏散过程提供指导。传统的人群疏散仿真方法由于许多人为假设的数据和规则降低了人群仿真的视觉真实感。数据驱动方法是提高人群仿真真实感的有效途径，但是现有的工作主要针对特定场景训练模型，并将其运用到相同的场景，因此缺乏对模型适应性的考虑。目前，虽然有的基于神经网络的研究可以适应多个场景，但是它们大多仅集中考虑了人群邻域范围内的局部行为属性，却忽视了一些全局行为属性，从而造成了真实度的缺失。

发明内容

为了解决现有技术的不足，本公开提供了基于残差网络的人群疏散仿真方法及系统；该方法首先提取大量视频中的真实数据，对群体中共有的运动行为属性进行量化。其次建立了一个用于人群行为属性学习的残差网络模型。在此模型中，基于量化群体行为属性的结果，重新定义了残差网络的输入与输出，对其进行训练。残差网络从真实数据中学习人群运动的规则，从而使模型拟合群体运动的行为。该方法能够真实地模拟人群运动过程，并且训练的人群仿真框架可以适用于不同的场景，为人群疏散方案的制定提供借鉴。

第一方面，本公开提供了基于残差网络的人群疏散仿真方法；

基于残差网络的人群疏散仿真方法，包括：

获取待进行人群疏散仿真的视频；从待进行人群疏散仿真的视频中，提取实际的群体内聚性特征和实际的群体集群性特征；

基于实际的群体内聚性特征，将待进行人群疏散仿真的视频中的人群划分为若干个实际群组；

针对每个实际群组，将当前实际群组中每个实际个体的运动特征和实际的群体集群性特征作为训练好的残差网络的输入值，训练好的残差网络输出当前实际个体下一时间步的预测速度；

根据当前实际个体下一时间步的预测速度，生成人群疏散的仿真动画，对人群运动疏散速度进行引导。

第二方面，本公开还提供了基于残差网络的人群疏散仿真系统；

基于残差网络的人群疏散仿真系统，包括：

特征提取模块，其被配置为：获取待进行人群疏散仿真的视频；从待进行人群疏散仿真的视频中，提取实际的群体内聚性特征和实际的群体集群性特征；

群组划分模块，其被配置为：基于实际的群体内聚性特征，将待进行人群疏散仿真的视频中的人群划分为若干个实际群组；

速度预测模块，其被配置为：针对每个实际群组，将当前实际群组中每个实际个体的运动特征和实际的群体集群性特征作为训练好的残差网络的输入值，训练好的残差网络输出当前实际个体下一时间步的预测速度；

人群疏散仿真动画生成模块，其被配置为：根据当前实际个体下一时间步的预测速度，生成人群疏散的仿真动画，对人群运动疏散速度进行引导。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

提出了一种基于数据驱动的残差网络人群疏散仿真方法。该方法利用真实数据对群体中共有的运动行为属性进行量化，将真实数据和神经网络方法结合，进而预测群体的速度。

为了实现该方法，本发明构建了一种基于数据驱动的残差网络人群疏散仿真框架，通过真实感渲染得到预期人群动画效果。该方法能够真实地模拟人群运动过程，并且训练的人群仿真框架可以适用于不同的场景，为人群疏散方案的制定提供借鉴。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图；

图2为第一个实施例的两个个体间路径；

图3为第一个实施例的人群行为属性学习的残差网络模型架构。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了基于残差网络的人群疏散仿真方法；

如图1所示，基于残差网络的人群疏散仿真方法，包括：

S1：获取待进行人群疏散仿真的视频；从待进行人群疏散仿真的视频中，提取实际的群体内聚性特征和实际的群体集群性特征；

S2：基于实际的群体内聚性特征，将待进行人群疏散仿真的视频中的人群划分为若干个实际群组；

S3：针对每个实际群组，将当前实际群组中每个实际个体的运动特征和实际的群体集群性特征作为训练好的残差网络的输入值，训练好的残差网络输出当前实际个体下一时间步的预测速度；

S4：根据当前实际个体下一时间步的预测速度，生成人群疏散的仿真动画，对人群运动疏散速度进行引导。

作为一个或多个实施例，所述方法，训练好的残差网络的训练过程，包括：

S31：构建残差网络；基于历史真实视频提取训练用群体内聚性特征和训练用群体集群性特征；

S32：基于训练用群体内聚性特征，将历史真实视频中的人群划分为若干个训练群组；

S33：针对每个训练群组，将当前训练群组中每个训练个体的运动特征和训练用群体集群性特征作为残差网络的输入值，将当前训练群组中当前训练个体的下一时间步的速度作为残差网络的输出值，对残差网络进行训练，得到训练好的残差网络。

应理解的，实际的群体内聚性特征与训练用群体内聚性特征的获取步骤是一样的。

作为一个或多个实施例，S1中，实际的群体内聚性特征，等于任意两个个体间的位置相似性、速度大小相似性和运动方向相似性的三者加权求和。

进一步地，S1中，实际的群体内聚性特征的获取步骤，包括：

其中，C(i,j,t)表示个体i和个体j在t时刻的内聚性；ω_P+ω_S+ω_O＝1；ω_P表示位置相似的权重值；ω_S表示速度大小相似的权重值；ω_O表示运动方向相似的权重值；C(i,j,t)越大，个体之间的内聚性越明显，Pos(i,j,t)代表个体i和个体j在t时刻的位置相似性；Spe(i,j,t)代表个体i和个体j在t时刻的速度大小相似性；Ori(i,j,t)表示个体i和个体j在t时刻的运动方向相似性。

进一步地，所述个体i和个体j在t时刻的位置相似性Pos(i,j,t)的具体计算公式为：

其中，

为利用欧氏距离计算的个体i和j在t时刻的距离。

本实施例使用sigmoid函数将个体间的距离值映射到[0,1]。结果越小，个体之间就越相似。

进一步地，所述个体i和个体j在t时刻的速度大小相似性Spe(i,j,t)的具体计算公式为：

其中，

表示个体i和个体j在t时刻的速度差异，为了使个体i和个体j之间的速度差异更显著，公式(2)中计算平方差，Spe(i,j,t)值越小，个体i和个体j在t时刻的速度大小就越相似。

进一步地，所述运动相似性通过余弦函数来计算。

进一步地，所述个体i和个体j在t时刻的运动方向相似性Ori(i,j,t)的具体计算公式为：

其中，

表示个体i在t时刻的方向向量，

表示个体j在t时刻的方向向量，Ori(i,j,t)越大，个体i和个体j在t时刻的运动方向越相似。

应理解的，获得的内聚性量化结果通常以分组形式表现，因此本实施例依据内聚性量化的结果对人群进行分组，分组的结果有助于进一步对目标个体和组内的邻居之间的关系进行分析，从而有利于进一步指定残差网络的部分输入。

应理解的，实际的群体集群性特征与训练用群体集群性特征的获取步骤是一样的。获得的内聚性量化结果有助于分析人群内部存在的关系。

作为一个或多个实施例，S1中，实际的群体集群性特征的获取步骤，包括：

S11：基于个体位置集合P_i，对于个体i，将个体i与其邻居连接成图；个体i的邻居是指距离个体i最近的四个其他个体；

S12：根据广度优先搜索算法选择个体i和其余个体间的最短路径，并将个体i和其余个体间的最短路径存于路径集合W中；

S13：根据路径集合W和个体的当前速度集V_t，计算所有个体对个体i的集群性影响值；输出

的值。

进一步地，所述S13：根据路径集合W和个体的当前速度集V_t，计算所有个体对个体i的集群性影响值

所采用的计算公式为：

其中，E_i(l,t)是在t时刻时，个体i在路径l上所受的集群性影响的速度方向向量，||l||代表了路径l的长度。

进一步地，个体受所有相同长度的最短路径的集群性影响E_i(l,t)的计算公式为：

将与个体i相连所有为||l||的最短路径存储在集合W中，并对个体i在每条路径上受集群性影响的速度方向向量进行累加；其中，||·||表示向量的模。

当目标个体与其他个体之间的最短路径长度||l||＝1时，个体i与其他个体为相邻关系。

进一步地，在t时刻时，个体i在最短路径l_ij上所受的集群性影响E_i(l_ij,t)的计算公式为：

其中，

表示t时刻个体i的速度方向向量。

表示在t时刻，该条路径的末端的个体j的速度方向向量。φ是集群性控制参数,用于控制集群性运动中个体作为一个整体的一致性程度，其取值范围在[0,1]之间,φ值越大，人群的集群性程度就越高。

应理解的，在群体系统中，目标个体i与场景中其他个体存在直接相关和间接相关两种关系。当一个个体i与个体j间接相关时，它们之间会有多条路径连接，在这种情况下，本实施例采用广度优先搜索算法选择个体间的最短路径，如果两个个体之间的最短路径存在多条，则随机选择一条。另外，本实施例将定义一个集合W存储与个体i相连的所有个体之间的最短路径。如图2所示，个体i与个体j间接相关，它们之间的路径表示为l_ij，其中，将其中一条最短路径定义为

路径l_{ij_s}的长度为|l_{ij_s}|＝3。

作为一个或多个实施例，S2中，基于实际的群体内聚性特征，将待进行人群疏散仿真的视频中的人群划分为若干个实际群组；具体步骤包括：判断相邻个体的实际的群体内聚性特征的特征值是否大于等于设定阈值，如果大于等于设定阈值，则表示当前相邻个体属于同一个实际群组；否则，表示当前相邻个体不属于同一个实际群组。实际群组中的“实际”二字是为了与训练过程的训练群组区分而设定的，没有特殊意义。

作为一个或多个实施例，S3中，每个实际个体的运动特征，具体包括：

目标个体当前运动特征的水平速度和垂直速度、目标个体与障碍物的相对水平距离和相对垂直距离、目标个体与最终目标的相对水平距离和相对垂直距离、目标个体所在的群体对当前个体i的集群性影响

和场景内的所有个体对目标个体的影响力f。

进一步地，所述场景内的所有个体对目标个体的影响力f的计算公式为：

其中，N表示场景中的总个体数，

表示目标个体在t时刻的位置，

表示场景中的其它个体在t时刻的位置，

表示目标个体与个体i之间的距离。

作为一个或多个实施例，S31中，构建残差网络，所述残差网络的结构，包括依次连接的：

输入层，用于特征数据的输入；

第一卷积层，使用卷积核进行特征提取和特征映射；

第一批归一化层：用于在网络中对特征归一化，加速训练和优化结果；

第一残差模块，用于缓解梯度消失；

第二残差模块，用于缓解梯度消失；

全连接层，通常在网络的尾部进行重新拟合，减少特征信息的损失；

输出层，用于输出结果；

其中，第一残差模块，包括：

第二卷积层，使用卷积核进行特征提取和特征映射；

第二批归一化层，用于在网络中对特征归一化，加速训练和优化结果；

第三卷积层，使用卷积核进行特征提取和特征映射；

第三批归一化层，用于在网络中对特征归一化，加速训练和优化结果。

其中，第二残差模块，包括：

第四卷积层，使用卷积核进行特征提取和特征映射；

第四批归一化层，用于在网络中对特征归一化，加速训练和优化结果；

第五卷积层，使用卷积核进行特征提取和特征映射；

第五批归一化层，用于在网络中对特征归一化，加速训练和优化结果。

其中，第三批归一化层的输出值与第一批归一化层的输出值求和后作为第四卷积层的输入值；

其中，第三批归一化层的输出值、第一批归一化层的输出值与第五批归一化层求和后，作为全连接层的输入值。

应理解的，本实施例展现了人群行为属性学习的残差网络模型的示意图，如图3所示，其中在网络中有两个残差模块。已知残差网络的输入是向量组X，假设期望输出为h(X)(输出由水平速度和垂直速度组成)，如果直接把输入X传到输出作为初始结果，那么此时需要学习的目标就是：

F(X)＝h(X)-X, (9)

其中，F(X)代表学习的目标函数，在使用残差网络时，相当于学习目标改变了，不再是学习一个完整的输出h(X)，而是学习输入与输出之间的差别h(X)-X，即残差。

作为一个或多个实施例，S31中，基于历史真实视频提取训练用群体内聚性特征和训练用群体集群性特征；包括：基于历史真实视频提取每个训练个体的位置和速度；基于每个训练个体的位置和速度，提取训练用群体内聚性特征和训练用群体集群性特征。

进一步地，所述基于历史真实视频提取每个训练个体的位置和速度；是通过目标跟踪学习算法TLD实现。

应理解的，本实施例采用Kalal提出的目标跟踪学习检测(TLD)框架对输入视频的个体轨迹进行定期跟踪和采样。一般的，人群中的物理属性包含了群体的位置和速度，因此，本实施例首先从真实的行人轨迹中提取每个个体的位置，速度，这些轨迹由一系列带有时间轴的二维位置坐标表示。基于追踪的结果，本实施例使用一个三元组I＝(P_i,V_i,O_i)来表示每个个体i在在视频中的位置、速度大小和方向信息。

代表了个体i在t时刻的位置。

代表了个体i在t时刻的速度大小。

代表了个体i在t时刻的方向，其中

在这里，n表示视频中的所有帧。

作为一个或多个实施例，S33中，具体的输入和输出特征如表1所示。

表1人群行为属性学习的残差网络模型的输入和输出

由于内聚性的表现形式为小组，所以基于内聚性的量化，本实施例将人群进行了分组，然后进一步分析了组内的目标个体与邻域内的个体之间的关系。最终，将目标个体与邻域中的个体之间的互动特征作为残差网络的部分输入，其中，互动特征主要包含了相对水平距离，相对垂直距离，相对水平速度和相对垂直速度。值得一提的是，在目标个体的邻域内，距离个体越近的邻居对其影响力越大，因此，为了平衡模型的计算复杂度和可靠性，本实施例在选择目标个体的邻居时，只选择了距离目标个体最近的四个邻居作为交互对象。

内聚性是群体运动中一个普遍存在的局部属性，是指个体之间由于特殊关系所形成的群体运动特征。一般来说，个体行为的相似性越高，内聚性就越明显。因此，本实施例使用真实数据对内聚性进行了量化，获得的内聚性量化结果有助于分析人群内部存在的关系。

集群性是群体运动中的一个普遍存在的全局属性，是指群体中个体为同一目标而行动的程度。在人群运动过程中，个体的运动状态直接受其邻域范围内其他个体运动的影响，间接受到邻域范围外其他个体的影响。因此，在集群性运动建模时，本实施例提出了一个基于最短路径的集群性传播算法，利用这个算法去计算目标个体与其它所有个体之间的集群性影响。值得一提的是，本实施例使用真实数据计算了人群运动中的集群性指标，获得的集群性指标有助于分析群体间存在的关系，同时也有助于指定残差网络的部分输入。

作为一个或多个实施例，S33中，对残差网络进行训练：

使用反向传播算法去训练网络，根据预先设定的权重和激活函数Relu计算训练和输出的目标之间的误差，然后调整神经元之间连接的权重，使误差最小化。

接下来，进行新一轮的训练，根据更新后的权重计算新的训练误差，并重新调整权重。

这个过程将重复很多次，直到训练误差降低到可接受的范围。

然后，本实施例使用Adam算法代替随机梯度下降法来优化参数，使损失最小化。

Adam算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，其优点在于经过偏置校正后，每一次迭代学习率都有一个确定范围，使得参数比较平稳。值得一提的是，本实施例使用均方误差作为损失函数。

为了防止模型的过度拟合，得到可靠稳定的模型，本实施例将样本集按一定比例分成训练和测试集，其中70％的样本作为训练集，30％作为测试集。值得注意的是，训练集和测试集的样本是随机分配的，然后，我们对网络的训练结果进行独立性测试，进一步确定网络的泛化能力，最终得到一个训练好的网络。具体来说，以验证误差最小的网络状态作为最终训练网络。在接下来的工作中，本实施例将这个网络用于不同场景的人群仿真过程中，对其进行验证。

所述步骤(4)中的仿真系统是基于XNA技术开发的跨平台仿真系统，三维实时真实感渲染平台以MS.NET Framework 4.0、XNA 4.0为平台。

真实感动画的仿真系统是基于XNA技术开发的跨平台仿真系统。三维实时真实感渲染平台主要是MS.NET Framework 4.0、XNA 4.0，得到预测的速度后，本实施例在此平台上生成人群的仿真动画效果。

本发明公开了一种基于数据驱动的残差网络人群疏散仿真方法。首先从大量真实视频中提取群体的位置、速度等物理属性，然后将其用于量化群体的基本社会行为属性，例如群体中局部的内聚性和全局的集群性。此外，提取的真实数据也将作为本实施例网络模型的部分输入。其次，一个用于人群行为属性学习的残差网络模型被建立。在此模型中，基于量化群体行为属性的结果，重新定义了残差网络的输入与输出，对其进行训练。残差网络从真实数据中学习人群运动的规则，从而使网络模型拟合群体运动的行为。最终，本实施例实现了一个基于数据驱动的残差网络人群疏散仿真模型的仿真系统。实验结果表明，该方法能够真实地模拟人群运动过程，并且训练的人群仿真框架可以适用于不同的场景。

实施例二，本实施例还提供了基于残差网络的人群疏散仿真系统；

基于残差网络的人群疏散仿真系统，包括：

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。

实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.基于残差网络的人群疏散仿真方法，其特征是，包括：

2.如权利要求1所述的方法，其特征是，训练好的残差网络的训练过程，包括：

3.如权利要求1所述的方法，其特征是，实际的群体内聚性特征，等于任意两个个体间的位置相似性、速度大小相似性和运动方向相似性的三者加权求和。

4.如权利要求1所述的方法，其特征是，实际的群体集群性特征的获取步骤，包括：

的值。

5.如权利要求1所述的方法，其特征是，基于实际的群体内聚性特征，将待进行人群疏散仿真的视频中的人群划分为若干个实际群组；具体步骤包括：判断相邻个体的实际的群体内聚性特征的特征值是否大于等于设定阈值，如果大于等于设定阈值，则表示当前相邻个体属于同一个实际群组；否则，表示当前相邻个体不属于同一个实际群组。

6.如权利要求1所述的方法，其特征是，每个实际个体的运动特征，具体包括：

和场景内的所有个体对目标个体的影响力f。

7.如权利要求2所述的方法，其特征是，构建残差网络，所述残差网络的结构，包括依次连接的：

输入层，用于特征数据的输入；

第一卷积层，使用卷积核进行特征提取和特征映射；

第一残差模块，用于缓解梯度消失；

第二残差模块，用于缓解梯度消失；

输出层，用于输出结果；

其中，第一残差模块，包括：

第二卷积层，使用卷积核进行特征提取和特征映射；

第三卷积层，使用卷积核进行特征提取和特征映射；

第三批归一化层，用于在网络中对特征归一化，加速训练和优化结果；

其中，第二残差模块，包括：

第四卷积层，使用卷积核进行特征提取和特征映射；

第五卷积层，使用卷积核进行特征提取和特征映射；

第五批归一化层，用于在网络中对特征归一化，加速训练和优化结果；

8.基于残差网络的人群疏散仿真系统，其特征是，包括：

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。