CN114627406A - 一种人群快速聚集行为的识别方法、系统、设备及介质 - Google Patents

Abstract

本发明公开一种人群快速聚集行为的识别方法、系统、设备及介质，其识别方法包括：获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；当存在拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以目标帧图像为起点，在预设时间段内所有帧图像的拥堵系数及最大聚集区域人数；判断预设时间段内是否存在拥堵系数和最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。本发明解决了人群密集时人体轮廓缺失严重带来的特征表达困难问题，同时提高识别方法适应性。

Description

一种人群快速聚集行为的识别方法、系统、设备及介质

技术领域

本发明涉及视频监控技术领域，尤其涉及一种人群快速聚集行为的识别方法、系统、设备及计算机可读存储介质。

背景技术

现阶段，随着公共安全意识的提升和安防技术的快速发展，视频监控系统已逐步应用于平安城市领域。传统通过人工检索查看实时视频的监控方式已日渐不能满足城市快速发展的需求，而随着计算机性能的不断提升、计算机视觉技术的不断发展，基于图像处理的方式越来越多的被运用到智能视频监控中。

传统的人群聚集检测方法主要有光流法(参考专利文献CN107330372B)、帧间差分法(参考专利文献CN112232316B)及数学统计法(参考专利文献CN105117683B)；其中，光流法和帧间差分法通过提取的前景特征来估计人群聚集情况，但光流法耗时长，帧间差分法对噪声适应差，而数学统计主要针对特定场景设计，上述三种方法均难以适应多样的环境条件。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种适应性较强的人群快速聚集行为的识别方法，可适用于多个场景需求。

本发明的目的之二在于提供一种人群快速聚集行为的识别系统。

本发明的目的之三在于提供一种电子设备。

本发明的目的之四在于提供一种计算机可读存储介质。

本发明的目的之一采用如下技术方案实现：

一种人群快速聚集行为的识别方法，包括：

获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；

根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；

当存在所述拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以所述目标帧图像为起点，在预设时间段内所有帧图像的所述拥堵系数及最大聚集区域人数；判断所述预设时间段内是否存在所述拥堵系数和所述最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。

进一步地，所述头部检测模型是通过标注有行人头部的图像样本集对神经网络进行训练获得；并在所述头部检测模型检测到图像中存在头部时，为每个头部所在位置生成其对应的矩形框进行显示。

进一步地，所述聚类分析的方法为：

根据每个头部对应的矩形框的位置计算每个矩形框与其余矩形框之间的距离，将距离小于第一固定距离的所有矩形框存储在第一邻近矩形数组中；

计算每个矩形框的相邻矩形框数量，判断每个矩形框的相邻矩形框数量是否小于预设值，将相邻矩形框数量小于预设值的矩形框及其对应的所述第一邻近矩形数组删除以获得初步聚集区域；

对每个初步聚集区域进行矩形区域生长处理以获得最终的聚集区域。

进一步地，所述矩形区域生长处理的方法为：

遍历每个聚集区域，计算出每个聚集区域中拥有最多邻近矩形的目标矩形框，获取以当前聚集区域中所述目标矩形框中点为圆心，以第一固定距离为半径向外扩展区域内的矩形集合，遍历矩形合集以搜索距离小于等于第二固定距离的矩形框并将其存储在第二邻近矩形数组中；其中第二固定距离小于第一固定距离；

将每个聚集区域所对应的第一邻近矩形数组和第二邻近矩形数组进行并集运算以获得每个聚集区域的区域生长结果。

进一步地，所述第一固定距离＝(矩形框的宽度值的平方+矩形框的高度值的平方)*2.5，所述第二固定距离＝(矩形框的宽度值的平方+高度值的平方)*1.5。

进一步地，对于当前帧图像中的聚集区域的所述拥堵系数的计算方法为：

其中，len[L(n)]表示当前检测的矩形框数组大小，len(G_p)表示所有聚集区域人数总和，len(G_b)表示聚集区域总数目，β∈(0.4,0.5,0.6)，β取值与最大聚集区域内人数大小有关，分别对应([3,9),[9,12),[12,+∞))人数取值。

进一步地，对于当前帧图像中非聚集区域的所述拥堵系数的计算方法为：

Crd＝α*len[L(n)]；

其中，场景系数α为0.01≤α≤0.04，len[L(n)]表示当前检测的矩形框数组大小；当Crd超过1.0时，取值为1.0。

本发明的目的之二采用如下技术方案实现：

一种人群快速聚集行为的识别系统，执行如上述的人群快速聚集行为的识别方法，包括：

头部检测模块，用于获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；

人群分析模块，用于根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；当存在所述拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以所述目标帧图像为起点，在预设时间段内所有帧图像的所述拥堵系数及最大聚集区域人数；

判断输出模块，用于判断所述预设时间段内是否存在所述拥堵系数和所述最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。

本发明的目的之三采用如下技术方案实现：

一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的人群快速聚集行为的识别方法。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的人群快速聚集行为的识别方法。

相比现有技术，本发明的有益效果在于：

本发明提出一种人群特征描述方法，利用头部识别方式来解决了人群分布密集时人体轮廓缺失严重带来的特征表达困难问题；本发明通过对每个聚集区域进行聚类处理，准确根据人群分布情况划分图像中的人群密集区域，提高人群快速聚集检测的准确性；同时，结合拥堵系数计算方法使得本发明方法具有更强的场景适应性，能同时适应多个场景需求，具有较高可行性。

附图说明

图1为本发明人群快速聚集行为的识别方法的原理示意图；

图2为本发明人群快速聚集行为的识别方法流程示意图；

图3为本发明头部检测模型的神经网络结构示意图；

图4为本发明人群快速聚集行为的识别系统的模块示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

本实施例提供一种人群快速聚集行为的识别方法，本方法可应用在背景噪声较大、环境复杂多变的实际场景中，可同时适应多个场景需求，具有更强的适应性。

本实施例的人群快速聚集行为具体指的是在指定时间内人群从之前的稀疏并不拥堵的状态快速转变为拥堵状态，即人群突然聚集描述的是在某一段时间内，人群由最初的稀疏，甚至无人到迅速集结在某个或几个位置，且拥堵程度、聚集区域人员数目超过事先设定的阈值。

根据以上人群快速聚集的特征，参考图1、图2所示，本实施例提出一种人群快速聚集识别方法：

步骤S1：获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；

步骤S2：根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；

步骤S3：将所述拥堵系数与预设值进行比对，当存在所述拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以所述目标帧图像为起点，在预设时间段内所有帧图像的所述拥堵系数及最大聚集区域人数；判断所述预设时间段内是否存在所述拥堵系数和所述最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。

本实施例考虑人群在聚集时处于密集状态，人体轮廓信息缺失严重，而人头信息却大致完整，在密集的人群中人头特征是主要的人群信息描述特征；因此，本实施例使用基于行人头部检测方法来在描述某帧图像中人群大致分部情况。本实施例在对当前帧图像进行分析之前，需要预先建立头部检测模型。

具体地，本实施例预先获取图像样本集，图像样本集包括有大量包含头部特征的图像，每张样本图像以1920*1080尺度为基准点，若样本图像超过1920*1080像素时，则需对图像样本进行裁剪并进行归一化处理后，再对每张样本图像中头部宽度大于20像素的目标标注出来，将经过上述处理后的图像样本作为卷积神经网络的训练样本进行学习和训练以构建出头部检测模型。

如图3所示，本实施例头部检测模型的卷积神经网络包括了conv0/relu到conv18/relu共19个卷积层和5个Pooling层，回归层分别由conv6、conv9、conv12、conv14、conv16、conv18层接relu后的输出组成，每层回归层都具有6个PriorBox。网络输入的图像大小为640*640，对输入的样本图像进行训练和学习后可获得一个包含背景和头部信息的头部检测模型

本实施例通过实际场景拍摄获得连续帧图像后，将每一帧都输入已经建好的头部检测模型中，头部检测模型检测到图像中存在头部时，为每个头部所在位置生成其对应的矩形框进行显示。

本实施例利用矩形框代表行人头部所在位置，当人群聚集时，将会呈现出多个矩形框彼此紧贴现象，因此只需考虑各个矩形框之间的关系便能描述人群分布情况。一般认为当超过3个人聚集在同一个区域时，存在拥堵的可能性较大，因此，本实施例以最少3个人组成一个聚集区域为基本点，计算整帧图像聚集区域个数及每个聚集区域内的头部数量。

本实施例中聚集区域G(Y)的获取原理如下：

一般认为人群中拥有最多邻近人数的目标人物分布在最密集的中心区域，若在计算聚集区域时，能找出拥有最多邻近矩形框的目标矩形框，该目标矩形框则最接近某个聚集区域的中心，再结合矩形区域生长处理，就能大致找出这个聚集区域内所有的矩形框。

本实施例中计算出拥有最多邻近矩形框的目标矩形框的方法为：

设由一组检测矩形框构成的数组为L(n)，当前矩形框表示为L(k)(k∈[0,n])，计算当前矩形框L(k)与L(k)以外的其余矩形框之间的距离，将距离小于第一固定距离的所有矩形框存在第一邻近矩形数组中，计算方法可表示为：

其中，|L(k)→L(k+m)表示两个矩形框L(k)和L(k+m)中心点的距离，m∈[-k,0)∪(0,n-k；Vec[L(k)]表示所有矩形框对应的邻近矩形框分布。

对Vec[L(k)]进行排序，就能找出拥有最多邻近矩形的目标矩形框，目标矩形框代表着聚集区域的中心。

所述第一固定距离是判断是否满足“邻近矩形框”的依据，具体地：在由一组检测矩形框组成的数组中，以两个矩形框中心点间的距离作为不同矩形框之间的距离S(x₁,x₂)，当需要获取与某个矩形框x₁邻近的其他矩形框数目时，需要结合第一固定距离进行计算，若一矩形框x₁与另一矩形框x₂之间的距离小于第一固定距离，则二者为邻近关系；若二者距离大于第一固定距离，则二者并非邻近关系。本实施例考虑到图像中因距离相机远近存在透视失真的因素，将第一固定距离固定为矩形框x₁的宽、高平方和的2.5倍，即所述第一固定距离＝(矩形框的宽度值的平方+矩形框的高度值的平方)*2.5，记为dis(L)，邻近矩形框的计算即是计算出满足与x₁中心点距离小于2.5倍x₁的宽、高平方和的所有矩形框。

在邻近矩形框的计算过程中使用了2.5倍宽、高平方和，即聚集区域内目标矩形框到其他矩形框之间的距离均保持在第一固定距离范围内，若仍有其它矩形框分布在某个矩形框聚集区域的边缘，它应从属于这个聚集区域。为了进一步优化聚集区域，计算每个矩形框的相邻矩形框数量，判断每个矩形框的相邻矩形框数量是否小于预设值，将相邻矩形框数量小于预设值的矩形框及其对应的所述第一邻近矩形数组删除以获得初步聚集区域；本实施例中删除邻近矩形框数量少于2的矩形框及对应的第一邻近矩形数组。

其后，遍历初步聚集区域集合中的每一个聚集区域，再对每个聚集区域进行矩形区域生长处理以获得最终的聚集区域G(Y)。具体地，所述矩形区域生长处理的方法为：

步骤S21：遍历每个聚集区域，计算出每个聚集区域中拥有最多邻近矩形的目标矩形框后，获取以当前聚集区域中所述目标矩形框中点为圆心，以第一固定距离为半径向外扩展区域内的矩形集合；举个例子，假设其中一个聚集区域为Vec[L(b)]，具有最多邻近矩形框的目标矩形框是L(b)，计算Vec[L(b)]中以目标矩形框L(b)中点为圆心，以第一固定距离为半径的圆外侧分布的矩形集合，记为Vec₀[L(b)]。

步骤S22：遍历矩形合集Vec₀[L(b)]每一个元素，并从L(n)中搜索距离小于等于第二固定距离的矩形框，并将其存储在第二邻近矩形数组Vec₁[L(b)]中；其中第二固定距离小于第一固定距离，本实施例中第二固定距离为矩形框的宽、高平方和的1.5倍，即所述第二固定距离＝(矩形框的宽度值的平方+高度值的平方)*1.5。

步骤S23：求出第一邻近矩形数组Vec[L(b)]和第二邻近矩形数组Vec₁[L(b)]并集构成的矩形框Vec_last[L(b)]，即为某个聚集区域的矩形区域生长结果。

把所有聚集区域经过矩形区域生长处理后的结果记为最终的聚集区域G(Y)，而最终的聚集区域中的头部数量则为Y(X)，而头部数量可直接通过头部检测模型检测到的头部矩形框数量来体现。

本实例中拥堵系数的计算分为两种情况进行计算，即存在聚集区域和不存在聚集区域；具体地：

当人群分布离散，不存在聚集区域时，人群在环境中每个位置出现的概率近似相同，即人群符合均匀分布；基于该特征，本实施例引入场景系数α，其表示场景中某个位置出现人员与整个场景满员的比率，当场景较为开阔时，α值偏小，当场景视野较窄时，α值偏大；本实施例经过多次试验后表明0.01≤α≤0.04最佳，因此，当前帧图像不存在聚集区域的拥堵系数计算方法如下：

Crd＝α*len[L(n)]；

其中，场景系数α为0.01≤α≤0.04，len[L(n)]表示当前检测的矩形框数组大小；当Crd超过1.0时，取值为1.0。

当场景中出现明显的人群聚集区域时，那么该环境渐渐地表现为拥挤，拥挤的位置相比离散人群分布的位置将变得更为重要，因此，本实施例当前帧图像存在聚集区域时的拥堵系数计算方法为：

其中，len[L(n)]表示当前检测的矩形框数组大小，len(G_p)表示所有聚集区域人数总和，len(G_b)表示聚集区域总数目，β∈(0.4,0.5,0.6)，β取值与最大聚集区域内人数大小有关，分别对应([3,9),[9,12),[12,+∞))人数取值。

本实施例计算出拥堵系数后，若在预设时间段内拥堵系数增长较大，且聚集区域内人数超过预设阈值，则可认为这是一种人群快速聚集行为。因此，本实施例经过大量场景的试验，找到一个合适的表达人群稀疏的系数值，其稀疏系数取0.3较合理，即小于这个数值时，不计入快速聚集的时间之内。参考图2所示，当拥堵系数大于稀疏系数时开始计时，计算并更新预设时间段内所有帧的拥堵系数及最大聚集区域人数；若在预设时间段内拥堵系数和最大聚集区域人数均未超过事先设定的预设阈值，那么就认为这段预设时间段内人群没有快速聚集，则可以继续对下一帧图像进行头部检测以对下一帧图像的人群聚集行为进行分析。若在预设时间段内拥堵系数和最大聚集区域人数在某一帧均超过预设阈值，则代表着存在人群快速聚集的行为，由于当某一帧图像存在人群聚集行为后下一帧图像中人群无法马上散去，因此，在进行人群快速聚集行为判断时，还可考虑剩余的帧内是否满足拥堵系数和最大聚集区域人数都超过预设阈值的条件，若有，则可认为人群在拥堵系数和最大聚集区域人数都超过预设阈值的帧图像所对应的时间内快速聚集。

实施例二

如图4所示，本实施例提供一种人群快速聚集行为的识别系统，执行如实施例一所述的人群快速聚集行为的识别方法，包括：

头部检测模块，用于获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；

人群分析模块，用于根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；当存在所述拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以所述目标帧图像为起点，在预设时间段内所有帧图像的所述拥堵系数及最大聚集区域人数；

判断输出模块，用于判断所述预设时间段内是否存在所述拥堵系数和所述最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。

本实施例利用Box-Gather(检测框聚集)方法对人头检测结果处理，获取聚集区域及每个区域内的人头数目；并采用拥堵系数计算方法，利用检测所得的头部数量计算整张图像的拥挤程度(0～1)；在一段指定时间内，当拥挤程度超过某个阈值，且聚集区域内的人数超过事先设定的阈值时，则认为人群快速聚集。本实施例可适应背景噪声较大、环境复杂多变的场景，大幅度提高人群聚集行为识别的适应性。

本实施例提供一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的人群快速聚集行为的识别方法；另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的人群快速聚集行为的识别方法。

本实施例中的系统、设备及存储介质与前述实施例中的方法是基于同一发明构思下的多个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的系统、设备及存储介质的结构及实施过程，为了说明书的简洁，在此就不再赘述。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种人群快速聚集行为的识别方法，其特征在于，包括：

获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；

根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；

当存在所述拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以所述目标帧图像为起点，在预设时间段内所有帧图像的所述拥堵系数及最大聚集区域人数；判断所述预设时间段内是否存在所述拥堵系数和所述最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。

2.根据权利要求1所述的人群快速聚集行为的识别方法，其特征在于，所述头部检测模型是通过标注有行人头部的图像样本集对神经网络进行训练获得；并在所述头部检测模型检测到图像中存在头部时，为每个头部所在位置生成其对应的矩形框进行显示。

3.根据权利要求2所述的人群快速聚集行为的识别方法，其特征在于，所述聚类分析的方法为：

根据每个头部对应的矩形框的位置计算每个矩形框与其余矩形框之间的距离，将距离小于第一固定距离的所有矩形框存储在第一邻近矩形数组中；

计算每个矩形框的相邻矩形框数量，判断每个矩形框的相邻矩形框数量是否小于预设值，将相邻矩形框数量小于预设值的矩形框及其对应的所述第一邻近矩形数组删除以获得初步聚集区域；

对每个初步聚集区域进行矩形区域生长处理以获得最终的聚集区域。

4.根据权利要求3所述的人群快速聚集行为的识别方法，其特征在于，所述矩形区域生长处理的方法为：

遍历每个所述聚集区域，计算出每个所述聚集区域中拥有最多邻近矩形的目标矩形框，获取以当前聚集区域中所述目标矩形框中点为圆心，以所述第一固定距离为半径向外扩展区域内的矩形集合，遍历矩形合集以搜索距离小于等于第二固定距离的矩形框并将其存储在第二邻近矩形数组中；其中所述第二固定距离小于所述第一固定距离；

将每个所述聚集区域所对应的所述第一邻近矩形数组和所述第二邻近矩形数组进行并集运算以获得每个所述聚集区域的区域生长结果。

5.根据权利要求4所述的人群快速聚集行为的识别方法，其特征在于，所述第一固定距离＝(矩形框的宽度值的平方+矩形框的高度值的平方)*2.5，所述第二固定距离＝(矩形框的宽度值的平方+高度值的平方)*1.5。

6.根据权利要求1所述的人群快速聚集行为的识别方法，其特征在于，对于当前帧图像中的所述聚集区域的所述拥堵系数的计算方法为：

其中，len[L(n)]表示当前检测的矩形框数组大小，len(G_p)表示所有聚集区域人数总和，len(G_b)表示聚集区域总数目，β∈(0.4,0.5,0.6)，β取值与最大聚集区域内人数大小有关，分别对应[3,9),[9,12),[12,+∞)人数取值。

7.根据权利要求5所述的人群快速聚集行为的识别方法，其特征在于，对于当前帧图像中非聚集区域的所述拥堵系数的计算方法为：

Crd＝α*len[L(n)]；

其中，场景系数α为0.01≤α≤0.04，len[L(n)]表示当前检测的矩形框数组大小；当Crd超过1.0时，取值为1.0。

8.一种人群快速聚集行为的识别系统，其特征在于，执行如权利要求1～7任意一项所述的人群快速聚集行为的识别方法，包括：

头部检测模块，用于获取连续帧图像，基于头部检测模型依次对每一帧图像进行头部检测；

人群分析模块，用于根据头部检测结果对整帧图像的聚集区域进行聚类分析，计算每个聚类后的聚集区域内的人头数量，并对每一帧图像对应的拥堵系数进行计算；当存在所述拥堵系数大于预设稀疏系数的目标帧图像时，计算并更新以所述目标帧图像为起点，在预设时间段内所有帧图像的所述拥堵系数及最大聚集区域人数；

判断输出模块，用于判断所述预设时间段内是否存在所述拥堵系数和所述最大聚集区域人数均超过其对应的预设阈值的帧图像，若存在，则输出人群快速聚集的结果。

9.一种电子设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1～7任一所述的人群快速聚集行为的识别方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1～7任一所述的人群快速聚集行为的识别方法。

Images