CN103593646A - 一种基于微行为分析的密集人群异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于微行为分析的密集人群行为检测方法。其过程为：根据密集视频中人的大小，按照比例对原视频图像采样，获得采样图像；计算采样图像由粒子流定义的动态系统；利用动态系统的速度、位置信息，对采样粒子进行微行为处理；构建样本序列，对粒子微行为进行信息提取，并将信息量化标记，构建时空立方体；采集用以训练的密集人群视频序列，通过上述步骤，提取视频序列中的样本特征序列，并将其作为训练隐条件随机场模型的观察序列，利用隐条件随机场训练，实现密集人群行为检测。本发明的目的在于解决高密度环境下由于无法高效的实现单个物体的检测和跟踪而使人群行为理解具有潜在危险性问题，适用于人群行为比较复杂的场景，识别特定的人群行为，并且进行异常检测。

Description

一种基于微行为分析的密集人群异常行为检测方法

技术领域

本发明属于视频中密集人群行为识别领域，特别是涉及到一种基于微行为分析的密集人群共同行为的识别和异常处理方法，该方法可以应用于车站、商场以及应急入、出口等人群流动比较大的地方。

背景技术

密集人群场景的视频分析对计算机视觉技术提出了巨大的挑战。现实生活中高密度的环境使得单个物体的识别和跟踪不切实际。在不清楚个体行为的情况下理解密集人群行为是非常危险的。密集人群行为智能检测技术有着广泛的应用，比如说，可以预言拥塞状况，避免悲剧的发生。

目前视频监控技术（应用于车站、道路、商场等等场合）注意力主要集中在检测或者跟踪单个目标，人数的计算，识别或分割不同区域的运动，或者是人群异常检测，缺乏具体分析密集人群行为的能力。由于其复杂性，对于高密度人群场景分析中所遇到的问题的处理能力是有限的。因此如何有效识别密集人群行为是值得学者深入研究的技术问题。

按照常理，行为分析和场景理解涉及到目标识别、跟踪和行为识别。这种方法要求运用底层运动信息，表观特征，或者目标轨迹，在低密度的人群场景中有较好的性能，但是在现实生活中高密度场景中并不适用。目标跟踪也是一个棘手的问题，由于计算开销或者不可靠性，所适用的方法通常不适用于多目标跟踪。

因此，研究者提出了一个整体方法来进行行为分析和场景理解，这样可以避免了跟踪和直接利用特征，不需要处理呈现出来的运动的轨迹。这种方法需要多分辨率直方图、时空立方体、表观或者运动描述子等等特征。另一个方法是基于动态纹理的表示方法，在这种方法中，将表观和动态性相结合建立模型，以此来检测人群场景中异常现象。虽然这种方法适合行为的识别以及行为检测和分割，但是往往需要手动标注，计算量很大。

目前，一般的方法是通过学习得到的人群场景正常行为来检测异常行为，但是我们的方法涉及到检测和识别特定的人群行为。对于该领域，S. Ali等人提出的方法是利用人群流动来帮助跟踪单个目标，参见Floor fields for tracking in high density crowd scenes, in ECCV ’08: Proceedings of the 10th European Conference on Computer Vision, 2008, pp. 1–14.，但是这种方法只是针对于匀速运动的密集人群。

发明内容

本发明的内容在于克服已有的技术的不足，提出一种基于微行为分析的密集人群异常行为检测方法，通过建立物理模型，对局部微行为进行分析，不仅能够识别特定的人群共同行为，而且还能够检测出人群异常状况的发生，对于社会安全有着重要意义。

实现本发明的技术方案是：一种基于微行为的密集人群异常行为检测方法，包括如下步骤：

（1）输入视频序列，根据视频中人所占据的空间的大小                                                

，按照比例将原大小为

的视频图像分割成

个块，其中，

代表横向分割块数，

代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为

的采样图像；

（2）通过计算粒子流定义的动态系统，获得特定位置粒子的速度信息，该特定位置粒子能够反映密集人群实际场景中不同的个体的采样点，其中

，

，在这里x, y指的是粒子的位置，u和v分别代表在x, y方向上的速度，表示时间；

（3）利用动态系统提供的信息，计算采样点的梯度矩阵

：

：其中

为

特征方程，

 和

是其特征值，， 

，

。其中，

 是矩阵的迹，

 是矩阵的行列式，通过适当的采样，梯度矩阵能够很好的描述局部人群聚合离散趋势；

（4）通过

 和

 分析每个采样点的梯度矩阵的特征值，根据特征值谱和公差

将采样点着色；并且根据特征值谱将对应的采样点标记成对应的人群微行为； 

（5）构建时空立方体：整个视频被统一分为不重叠的小片段，每个长度间隔I帧，将大小为

的采样图像分为块，每一块的大小为

，共分为

块，统计每一立方体不同特征值条件以及不同方向下每种微行为的数目作为样本信息，获得隐条件随机场训练样本的特征序列； 

（6）采集用以训练的密集人群视频序列，通过上述步骤（1）~（5），提取视频序列中的样本特征序列，并将其对隐条件随机场模型进行训练；

（7）用训练获得的隐条件随机场模型来检测监控视频中密集人群的异常行为。

进一步的，步骤（1）中图像块的分割由视频中人所占据的空间大小决定。

进一步的，步骤（4）中所述人群微行为包括堵塞、环形、平行、瓶颈或源头。

本发明对于场景类型并不做要求，只是要求是有流量特征；能够充分利用底层局部运动特征信息，将其和时空立方体高层次信息相结合，获得表达人群行为信息的特征序列，通过训练模型，不仅能够识别统一的密集人群行为，还可以检测异常行为的发生。在一些情况下，在高密度人群场景中进行目标的检测和跟踪缺乏可靠性。而我们提出的这种方法避免了目标的检测和跟踪，所以在各种高密度人群识别中有良好的性能，对于大小群体均适合。

本发明与现有的技术相比具有以下优点：

（1）由于本发明使用底层信息，结合人群统一行为流的特点，充分利用采样点的梯度矩阵，获得局部微行为特征集，因而避免密集人群目标的跟踪与检测问题；

（2）根据梯度矩阵的意义，我们帧对视频中人群大小进行采样，选择适当的粒子点，保证矩阵的特征值谱能够真正意义上表示人群分散、聚合等特征行为信息，并且不需要对场景类型做特殊要求，有较高的精确性；

（3）使用时空立方体，将微行为特征集与时空特征块相结合，利用多个时空立方体描述整段视频，不仅实现具有某种流量特征的人群行为识别，也能实现异常行为检测。

附图说明

图1是本发明的基于微行为分析的密集人群异常行为检测方法流程示意图；

图2是不同条件下特征值着色说明图；

图3是五种与

有关的模型对应着相关的人群行为图。

具体实施方式

参照图1，本发明的具体实现过程如下：

一：输入视频序列，根据视频中人的大小，按照比例将原视频图像分割成个块，

代表横向分割块数，

代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为

的采样图像。图像块的分割由视频中人所占据的空间大小决定，目的是使各个采样点的信息尽可能反映密集人群实际场景中不同的个体行为信息，由此可见，人群密度越高，采样点数越多，计算越精确。所以我们的方法对于大小人群均适用。通过以上方法获得

个采样点。

二：通过计算采样图像由粒子流定义的动态系统

，获得粒子的速度信息。其中

，

。在这里x, y指的是粒子的位置，u和v分别代表在x, y方向上的速度，表示时间；

三：利用动态系统提供的速度信息，计算采样点之间的梯度矩阵

，表示为

得到特征值

，并且

，

。

和

提供重要的场信息。如图所示：

现在考虑由

所引起的如图3中所描述的密集人群微行为流。

堵塞：局部的粒子流动可以互相反射彼此，并且这种反射的方向在某种程度上存在随机性，并不能按照预想的方向进行，于是用

 来表示这种状况。这是在一些人口稠密的情况下周围的人群阻止了其他行人去他们想去的地方表现出来的特征，我们将此行为定义为阻塞；另外，由于人群密度的增大，从不同方向上运动过来的人群可能彼此挡住去路，此情况下，人群高密度会导致交通的堵塞，致使没有质点的运动。这种情况通常出现在人群正常流动之后，也定义为堵塞。换句话说，堵塞能够很好的解释高密度人群使正常行为失效这一现象。

环形：

 所描述的运动是人群流为弧形或者圆形的特点。这种行为可能在人们必须绕着某一障碍物进行演习时发生，形成了拱桥形状。也有可能在特殊的场合，人们围成一圈跳舞或者开车，形成了一个圆圈。在以上两种任意一种情况中，采样点的梯度矩阵的特征值是共轭复数。

平行：在拥挤的情况下，运动方向相反或者相同的运动趋势自然形成，我们将此行为称为车道。运动的人群会尽量避免碰撞，结果是大家按照大体相同的方向和速度运动。在这种情况下附近的个人运动相对于其他人群的运动时微不足道的，因为他们都是一起运动的。这种行为准确的说明了我们称之为车道的原因，并且它由非孤立的临界点很好的表示了，即在此路径中

 。很明显，如果场景是静止的，那么光流是0。但是我们对这种不重要的事件并不感兴趣，并且这种现象和许多行人或者车辆在一条直线上以同样的速度，向相同的方向运动的情况并不相同。另外，需要说明的是单个物体向唯一的方向运动并不认为是车道行为，我们注重的是整个人群的共同行为。

瓶颈：如果 ，从各个点而来的轨迹汇聚于一个位置，也就是说，从各个方向而来的行人和车辆进入了同一个狭窄的通道。因此我们定义瓶颈作为行人们有规律通过的狭窄的通道口的行为描述。这个定义可以考虑到很多不同的流流向同一点这一情况。但是，这并不能将正常场合和异常堵塞场合（典型的例子是在恐慌情况下，人们同时想从一个狭窄的通道通过）做出区分。尽管现在的框架暂时检测不出恐慌，但是它可以将这种情况作为阻塞行为的一个特例识别出来。

源头：当

 的时候从一个方向分散开来。这种行为一般会在人们离开一个狭窄的通道走向不同的方向时出现，我们称这个出口为源头。这种行为和瓶颈行为相对立。所以通常在瓶颈行为之后检测源头现象。

四、通过

 和

 分析每个采样点的梯度矩阵的特征值。根据实验取得

的值，判断

、

以及

之间的关系。归类总结三者之间的关系，可以分为七种情况，分别标记为不同的颜色，如图2表示，R、Y、B、G、A、C、W、K分别代表了红色、黄色、蓝色、绿色、紫色、蓝绿色、白色和黑色的数目，并且根据判断条件对不同的采样粒子点所代表的行为进行分类。通过实验发现，公差

一般取得0.005可以获得较好的实验结果。

如上表所示，T代表采样点的总数目，L代表满足某种情况的比例阈值，通常L由实验经验获得，将采样点着色后，根据特征值谱对应的采样点标记成对应的特定五种密集人群微行为； 

五：构建时空立方体。整个视频被统一分为不重叠的小片段，每个长度间隔I帧。在我们的视频序列中，这样的帧序选取也是充分考虑行为时长和样本数据量。将大小为

的采样图像分为

块（其中，），每一块的大小为

。根据特征值谱的描述，统计每一立方体中五种微行为对应的采样点数目，将统计量作为样本信息，获得隐条件随机场训练样本的特征序列。

为了能够分析整段视频序列，设置滑动窗口的大小为

，相邻的不重叠的

帧构成时空立方体。首先根据特征值谱的描述，统计视频中同一立方体的每一时空块五种微行为对应的采样点数目，令统计量为

，则

为

的列向量；整个时空立方体特征表示为，将连续N个时空立方体的特征合并成一个特征序列，并作为隐条件随机场的观察序列

。

六：采集用以训练的密集人群视频序列，通过上述步骤，提取视频序列中的样本特征序列，，并将其作为训练隐条件随机场模型的观察序列

，设隐条件随机场的隐变量集为

，其中

是

对应的隐变量，

是隐状态集合，隐变量集

及其邻域关系组成无向图

，其中

是隐变量顶点集合，

是边集合，边表示隐变量存在邻域关系，则隐条件随机场分类模型表示为

。

其中，

是视频的场景类别标记，是所有场景类别标记的集合；势函数

由θ参数化获得，参数θ由目标函数

决定，

表示所有的观察序列的总个数。

七：给定一个测试序列和训练得到的参数

，将根据目标函数

获得视频序列类别。

Claims (3)

1.一种基于微行为的密集人群异常行为检测方法，包括如下步骤：

（1）输入视频序列，根据视频中人所占据的空间的大小                                                

，按照比例将原大小为

的视频图像分割成个块，其中，

代表横向分割块数，代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为

的采样图像；

（2）通过计算粒子流定义的动态系统，获得特定位置粒子的速度信息，该特定位置粒子能够反映密集人群实际场景中不同的个体的采样点，其中

，，在这里x, y指的是粒子的位置，u和v分别代表在x, y方向上的速度，

表示时间；

（3）利用动态系统提供的信息，计算采样点的梯度矩阵

：：其中

为特征方程，

 和

是其特征值，

， 

，

，其中，

 是矩阵的迹，

 是矩阵的行列式，通过适当的采样，梯度矩阵能够很好的描述局部人群聚合离散趋势；

（4）通过

 和

 分析每个采样点的梯度矩阵的特征值，根据特征值谱和公差

将采样点着色；并且根据特征值谱将对应的采样点标记成对应的人群微行为； 

（5）构建时空立方体：整个视频被统一分为不重叠的小片段，每个长度间隔I帧，将大小为

的采样图像分为块，每一块的大小为

，共分为

块，统计每一立方体不同特征值条件以及不同方向下每种微行为的数目作为样本信息，获得隐条件随机场训练样本的特征序列； 

（6）采集用以训练的密集人群视频序列，通过上述步骤（1）~（5），提取视频序列中的样本特征序列，并将其对隐条件随机场模型进行训练；

（7）用训练获得的隐条件随机场模型来检测监控视频中密集人群的异常行为。

2.如权利要求1所述的基于微行为的密集人群异常行为检测方法，其特征在于：

步骤（1）中图像块的分割由视频中人所占据的空间大小决定。

3.如权利要求1所述的基于微行为的密集人群异常行为检测方法，其特征在于：步骤（4）中所述人群微行为包括堵塞、环形、平行、瓶颈或源头。

Images