CN106778688A - 一种拥挤场景监控视频中人群流异常事件的检测方法 - Google Patents

Abstract

本发明提供一种拥挤场景监控视频中人群流异常事件的检测方法，涉及计算机视觉技术领域。首先，通过关联连续多帧间的光流，得到粒子运动的短时轨迹片段；然后，采用层次聚类算法对不稳定的光流轨迹片段进行聚类，使相邻且相似的轨迹片段聚成具有统计意义的小区域，提高运动描述的可靠性；最后，通过计算小区域中粒子运动的主方向和活动范围来检测人群流异常，为可能发生的安全事故提供预警。本发明粒子轨迹片段的聚类使单条不可靠的粒子轨迹能够与周围相似的粒子轨迹一起用于人群流运动描述，提高了运动描述的稳定性。在真实场景的监控视频上进行了测试，结果表明该方法能够有效检测人群流异常，且对过分割的轨迹片段聚类结果具有较强的适应性。

Description

一种拥挤场景监控视频中人群流异常事件的检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种拥挤场景监控视频中人群流异常事件的检测方法。

背景技术

随着我国经济的持续发展，城市化水平得到了显著提高，很多大型公共场所，如：大型商场、影剧院、体育场馆、展览馆等随之建设。相应的文化、体育等方面的大型社会活动也日益增多，带来了拥堵、踩踏等公共安全事故在大型活动中频频发生。

从人群拥挤踩踏事故的发生过程可以看出，人流量大的场所和活动的安全管理除了需要对人群的密度和流量进行监控以外，还需要对人群的流向和对冲情况做出分析判断，及时合理地采取限流、分流、单向通行等管控措施，减少堵塞、预防踩踏等恶性事故的发生。检测异常的人群流，即不规则涌动的人群流(包括对流和乱流等)，其目的就是自动地发现踩踏等安全事故的前兆，以便提前采取应对措施、防止事态进一步恶化。然而，目前尚未检索到用于异常事件预警的与人群流异常检测相关的文献报道。这里要检测的异常人群流并不一定与正在发生的安全事故相对应，但是其中却蕴藏着潜在的危险，极有可能会发展成灾难性事件。在人员密集的拥挤场景中，个体的运动通常是不可预测的，此外拥挤还会带来严重的动态遮挡，因此人群流的异常检测具有一定的挑战性，亟需一种方法解决上述问题。

发明内容

针对现有技术的缺陷，本发明提供一种拥挤场景监控视频中人群流异常事件的检测方法。该方法基于由粗到精部分形状匹配的人群流异常检测，粒子轨迹片段的聚类使单条不可靠的粒子轨迹能够与周围相似的粒子轨迹一起用于人群流运动描述，提高了运动描述的稳定性。

一种拥挤场景监控视频中人群流异常事件的检测方法，包括如下步骤：

步骤1：提取监控视频中的轨迹片段，一个视频片段W×H×T中粒子的运动轨迹表示为：

{(x(t)，y(t))|x∈[1，W]，y∈[1，H]，t∈[1，T]} (1)

其中，W表示视频的宽，H表示视频的高，T表示视频片段连续帧的个数，矢量(x(t)，y(t))表示粒子(x，y)在t时刻的位置。

粒子(x，y)的位置的衍化方程为：

其中，round(·)表示取整运算，u和v分别表示水平方向和垂直方向的运动速率，即粒子在相邻帧间位移的水平和垂直分量。

步骤2：采用由粗到精的部分形状匹配策略度量轨迹片段之间的相似性，包括以下步骤：

从两条待匹配的轨迹片段中提取可能对应的候选轨迹片段对；

采用粗匹配过程中的精简步骤去除明显不相似的候选轨迹片段对；

采用精匹配过程对精简后的每对候选轨迹片段对提取特征并计算匹配代价，其中最小的匹配代价作为这两条待匹配轨迹片段的相似度。

精匹配过程中提取的特征为形状上下文描述子，即将极坐标的极角和极径划分为b_ρ×b_θ个格子，将轨迹片段的起点平移至极坐标的原点，统计每个格子中的粒子个数，获得一个直方图{h(n)|n∈[1，N]}，其中h(n)表示落在第n个格子中的粒子个数，N＝b_ρ×b_θ，表示直方图格子的总数。

步骤3：对轨迹片段进行层次聚类；

利用层次聚类算法对粒子轨迹片段进行聚类，得到若干运动基本一致的小区域patch(m)，m为小区域的编号，保证相邻且相似的轨迹片段能归为一类。

步骤4：提取运动特征；

对聚类后形成的小区域patch(m)提取具有统计意义的运动特征，所述运动特征包括粒子规模numel、粒子运动的平均速度和粒子运动的主方向H_dir。

步骤5：判断人群流是否异常；

步骤5.1：根据粒子活动范围存在重叠的两块小区域主方向的合并方向是否大于90°来判断是否存在对冲运动，如果合并方向大于90°，则存在对冲运动，执行步骤5.2，否则不存在对冲运动，进行下一视频片段的检测；

步骤5.2：根据对冲小区域的粒子个数之和与总的粒子个数之比来判断人群流的状态，如果比值大于预设门限τ_R，则判定为人群流异常，即存在不规则涌动的人群流，否则为正常，进行下一视频帧的检测。

进一步地，所述步骤4中运动特征粒子规模numel、粒子运动的平均速度和粒子运动的主方向H_dir的计算公式分别如下：

numel(m)＝#{(x_p(t)，y_p(t))|(x_p，y_p)∈patch(m)，t∈[1，T]} (3)

H_dir＝{h_dir(n)|n∈[1，N]} (5)

其中，#表示集合中元素的个数；(x_p，y_p)表示小区域中粒子的位置；(x_p(t)，y_p(t))表示小区域中粒子(x_p，y_p)在t时刻的位置；粒子运动的主方向H_dir为包含至少80％粒子的连续最少格子，h_dir(n)＝true or false，表示极坐标上角度等间隔的N个格子中第n个格子是否含有粒子。

由上述技术方案可知，本发明的有益效果在于：本发明提供的一种拥挤场景监控视频中人群流异常事件的检测方法，采用由粗到精的部分形状匹配策略来度量轨迹片段的相似性，然后根据相似度的排序对轨迹片段进行层次聚类，使相似的粒子轨迹片段聚集在一起用于从统计意义上描述聚类得到的小区域的运动特征，进而检测人群流异常。粒子轨迹片段的聚类使单条不可靠的粒子轨迹能够与周围相似的粒子轨迹一起用于人群流运动描述，提高了运动描述的稳定性。

附图说明

图1为本发明第一实施例提供的原始的人群流视频帧；

图2为本发明第一实施例提供的拥挤场景监控视频中人群流异常事件的检测方法流程图；

图3为图1中人群流运动的光流场示意图；

图4为图1中人群流的粒子运动轨迹示意图；

图5为本发明第一实施例提供的直方图格子的划分示意图；

图6为图5中粒子分布的直方图示意图；

图7为对图4中的轨迹片段聚类得到的不同类别示意图；

图8为本发明第一实施例提供的小区域中粒子运动的主方向示意图；

图9为本发明第一实施例提供的人群流发生异常的区域示意图；

图10为本发明第二实施例提供的10段不同场景测试视频帧示意图；

图11为图10中测试视频帧上粒子轨迹片段的聚类结果示意图；

图12为图10中检测到的异常人群流区域示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明检测异常的人群流，即不规则涌动的人群流(包括对流和乱流等)，其目的就是自动地发现踩踏等安全事故的前兆，以便提前采取应对措施、防止事态进一步恶化。

本发明提出一种基于由粗到精部分形状匹配的人群流异常检测方法。首先，通过关联连续多帧间的光流，得到粒子运动的短时轨迹片段。然后，采用层次聚类算法对不稳定的光流轨迹片段进行聚类，使相邻且相似的轨迹片段聚成具有统计意义的小区域，提高运动描述的可靠性。最后，通过计算小区域中粒子运动的主方向和活动范围来检测人群流异常。

实施例1

以一段记录不规则涌动的拥挤人群的视频为例，其中的某视频帧如图1所示，详细阐述一种拥挤场景监控视频中人群流异常事件的检测方法，其流程如图2所示，具体过程如下所述。

步骤1：提取监控视频中的轨迹片段。一个视频片段480×360×600中粒子的运动轨迹表示为{(x(t)，y(t))|x∈[1，480]，y∈[1，360]，t∈[1，600]}；

其中，矢量(x(t)，y(t))表示粒子(x，y)在t时刻的位置。图3为图1所示的人群流视频的光流场，图4为视频片段的粒子运动轨迹，人群流的轨迹片段从深色逐渐运动到浅色。由图可见，粒子运动轨迹展示出了人群流在时间和空间上的运动变化，即人群流运动的趋势，比光流包含了更丰富的时空运动信息。

粒子(x，y)的位置的衍化方程为：

其中，round(·)表示取整运算，u和v分别表示水平方向和垂直方向的运动速率，即粒子在相邻帧间位移的水平和垂直分量。

步骤2：采用由粗到精的部分形状匹配策略度量轨迹片段之间的相似性。主要步骤包括：从两条待匹配的轨迹片段中提取可能对应的候选轨迹片段对；

采用粗匹配过程中的精简步骤去除那些明显不相似的候选轨迹片段对；

采用精匹配过程对精简后的每对候选轨迹片段对提取特征并计算匹配代价，其中最小的匹配代价作为这两条待匹配轨迹片段的相似度。

精匹配过程中提取的特征为形状上下文描述子，即将极坐标的极角和极径划分为b_ρ×b_θ＝4×8个格子，如图5所示，将轨迹片段的起点平移至极坐标的原点，统计每个格子中的粒子个数，获得一个直方图{h(n)|n∈[1，32]}，如图6所示，其中h(n)表示落在第n个格子中的粒子个数，N＝b_ρ×b_θ，表示直方图格子的总数。

步骤3：对轨迹片段进行层次聚类。

将轨迹片段进行聚类，得到一些运动基本一致的小区域patch(m)，m为小区域的编号，构成具有统计意义的小单元，从而提高运动描述的可靠性。利用层次聚类算法对粒子轨迹片段进行聚类，保证相邻且相似的轨迹片段能归为一类。这里并不要求聚类结果非常精确，过分割的聚类结果同样可以用于人群流的异常检测。

对图4中的粒子轨迹片段进行层次聚类得到的小区域如图7所示，不同灰度的区域表示轨迹片段聚类得到的不同类别。由图可见，轨迹片段聚类将人群流进行了过分割，聚为同类的粒子运动轨迹都是很相似的，可以一起用于从统计意义上描述小区域的运动，进一步用于人群流的异常检测。

步骤4：提取运动特征。

对聚类后形成的小区域patch(m)提取具有统计意义的运动特征，包括粒子规模numel、粒子运动的平均速度粒子运动的主方向H_dir。

运动特征粒子规模numel、粒子运动的平均速度和粒子运动的主方向H_dir的计算公式分别如下：

numel(m)＝#{(x_p(t)，y_p(t))|(x_p，y_p)∈patch(m)，t∈[1,600]}；

H_dir＝{h_dir(n)|n∈[1，32]}。

其中，#表示集合中元素的个数；(x_p，y_p)表示小区域中粒子的位置；(x_p(t)，y_p(t))表示小区域中粒子(x_p，y_p)在t时刻的位置；粒子运动的主方向H_dir为包含至少80％粒子的连续最少格子，h_dir(n)＝true or false，表示极坐标上角度等间隔的32个格子中第n个格子是否含有粒子。

根据图7所示的粒子轨迹片段的聚类结果，计算每个小区域中粒子运动的主方向H_dir，如图8所示，圆圈中深色的扇形表示小区域中粒子运动的主方向。对照图4，不难发现小区域内粒子运动平稳、一致的其主方向的角度较小，而运动发生偏转的小区域的主方向角度较大。

步骤5：判断人群流是否异常。

步骤5.1：根据粒子活动范围存在重叠的两块小区域的主方向的合并方向是否大于90°来判断是否存在对冲运动，如果合并方向大于90°，则存在对冲运动，执行步骤5.2，否则不存在对冲运动，进行下一视频片段的检测；

步骤5.2：根据对冲小区域的粒子个数之和与总的粒子个数之比来判断人群流的状态，如果比值大于预设门限τ_R＝6，则判定为人群流异常，即存在不规则涌动的人群流(如：对流和乱流等)，否则为正常，进行下一视频帧的检测。

根据图8中小块区域内粒子运动的主方向和活动范围，检测到的人群流异常区域如图9 所示，深色标注的是人群流发生异常的区域。可见，提出的人群流异常检测方法并不需要理想的粒子轨迹聚类结果，在过分割的聚类结果之上同样可以实现人群流的异常检测。

实施例2

一种拥挤场景监控视频中人群流异常事件的检测方法，以10段不同场景的视频为例，进一步验证本发明方法的有效性。这些视频的分辨率从480×360到720×480，帧率从10fps(frames per second)到25fps，包含正常和异常的人群流各5段，如图10所示，左列为异常人群流视频，右列为正常人群流视频。图10中左列异常组第一段视频记录的是不规则涌动的拥挤人群；第二段视频来自于人群流分割数据集，视频中不同方向的人群流交织在了一起；第三段视频中人行横道两端的行人相对而行穿过道路；第四段视频记录了参加麦加朝觐的穆斯林在围着“天房”(Kabba)旋转；第五段视频记录了由突发事件引起的人群慌乱逃离。可以看出，前四段视频中并没有发生安全事故，但是却存在巨大的安全隐患，极有可能会发展成灾难性事件。而通常的异常检测方法并未将这些情况定义为待检测的异常。图10中右列正常组的第一段视频来自于人群流分割数据集，视频中参加马拉松赛跑的选手正在依次通过弧形的跑道；第二段视频来自于人群流分割数据集，视频中的隔离物隔开了两个方向上运动的人群流；第三段视频中下班的工人正排队通过工厂大门；第四段视频是人行道上行走的人群；第五段视频是公路上参加长跑的人群。正常人群流的运动通常都是稳定的，发生危险的可能性非常低。

在测试视频上，从每30帧中提取粒子运动的轨迹片段，然后利用层次聚类算法对这些轨迹片段进行聚类，其中轨迹片段间的相似性采用由粗到精的部分形状匹配方法进行度量。10段不同场景视频的聚类结果如图11所示，这里去除了少于200条轨迹片段的类别，因为小类别只包含一些易受干扰的细节信息。图11中聚为同类的轨迹片段一起用于从统计意义上提取聚类得到的小区域的运动特征。图11中同时展示了小区域内粒子运动的主方向，可以看出异常人群流视频中的运动不平稳，相应的粒子运动的主方向的角度范围通常也较大；而正常人群流视频中的运动相对平稳、方向一致性强，粒子运动的主方向的角度范围较小。这些聚类结果显然是过分割的，通过选取不同的参数聚类结果可能会有所改善。但是，参数的选取是与视频的分辨率、人群密度和个体速度相关的，所以对于不同场景的视频无法同时获得理想的聚类结果。

人群流异常检测就是要从监控视频中找出包含可能带来灾难性后果的不稳定状态，以达到提前预警的目的。本实施例方法检测到图10中左列的异常人群流视频中的异常人群流区域如图12所示。结果表明提出的方法在非理想的聚类结果之上同样可以实现人群流的异常检测，因此该方法是具有较强的适应性。

本发明提供的一种拥挤场景监控视频中人群流异常事件的检测方法，采用由粗到精的部分形状匹配策略来度量轨迹片段的相似性，然后根据相似度的排序对轨迹片段进行层次聚类，使相似的粒子轨迹片段聚集在一起用于从统计意义上描述聚类得到的小区域的运动特征，进而检测人群流异常。粒子轨迹片段的聚类使单条不可靠的粒子轨迹能够与周围相似的粒子轨迹一起用于人群流运动描述，提高了运动描述的稳定性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种拥挤场景监控视频中人群流异常事件的检测方法，其特征在于：该方法包括如下步骤：

步骤1：提取监控视频中的轨迹片段，一个视频片段W×H×T中粒子的运动轨迹表示为：

{(x(t)，y(t))|x∈[1，W]，y∈[1，H]，t∈[1，T]} (1)

其中，W表示视频的宽，H表示视频的高，T表示视频片段连续帧的个数，矢量(x(t)，y(t))表示粒子(x，y)在t时刻的位置；

步骤2：采用由粗到精的部分形状匹配策略度量轨迹片段之间的相似性，包括以下步骤：

从两条待匹配的轨迹片段中提取可能对应的候选轨迹片段对；

采用粗匹配过程中的精简步骤去除明显不相似的候选轨迹片段对；

采用精匹配过程对精简后的每对候选轨迹片段对提取特征并计算匹配代价，其中最小的匹配代价作为这两条待匹配轨迹片段的相似度；

步骤3：对轨迹片段进行层次聚类；

利用层次聚类算法对粒子轨迹片段进行聚类，得到若干运动基本一致的小区域patch(m)，m为小区域的编号，保证相邻且相似的轨迹片段能归为一类；

步骤4：提取运动特征；

对聚类后形成的小区域patch(m)提取具有统计意义的运动特征，所述运动特征包括粒子规模numel、粒子运动的平均速度和粒子运动的主方向H_dir；

步骤5：判断人群流是否异常；

步骤5.1：根据粒子活动范围存在重叠的两块小区域主方向的合并方向是否大于90°来判断是否存在对冲运动，如果合并方向大于90°，则存在对冲运动，执行步骤5.2，否则不存在对冲运动，进行下一视频片段的检测；

步骤5.2：根据对冲小区域的粒子个数之和与总的粒子个数之比来判断人群流的状态，如果比值大于预设门限τ_R，则判定为人群流异常，即存在不规则涌动的人群流，否则为正常，进行下一视频帧的检测。

2.根据权利要求1所述的一种拥挤场景监控视频中人群流异常事件的检测方法，其特征在于：所述步骤4中运动特征粒子规模numel、粒子运动的平均速度和粒子运动的主方向H_dir的计算公式分别如下：

numel(m)＝#{(x_p(t)，y_p(t))|(x_p，y_p)∈patch(m)，t∈[1，T]} (3)

$\stackrel{\‾}{v}=\frac{\underset{(x_p,y_p)\∈patch\left(m\right)}{\Σ}\underset{t\∈T}{\Σ}\sqrt{{\[x_p\left(t\right)-x_p\left(1\right)\]}^2+{\[y_p\left(t\right)-y_p\left(1\right)\]}^2}}{numel\left(patch\right(m\left)\right)}---\left(4\right)$

H_dir＝{h_dir(n)|n∈[1，N]} (5)

其中，#表示集合中元素的个数；(x_p，y_p)表示小区域中粒子的位置；(x_p(t)，y_p(t))表示小区域中粒子(x_p，y_p)在t时刻的位置；粒子运动的主方向H_dir为包含至少80％粒子的连续最少格子，h_dir(n)＝true or false，表示极坐标上角度等间隔的N个格子中第n个格子是否含有粒子。