CN105023019A

CN105023019A - 一种用于视频监控自动探测人群异常行为的特征描述方法

Info

Publication number: CN105023019A
Application number: CN201410154600.3A
Authority: CN
Inventors: 杨夙; 张新峰
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2014-04-17
Filing date: 2014-04-17
Publication date: 2015-11-04
Anticipated expiration: 2034-04-17
Also published as: CN105023019B

Abstract

本发明属于模式识别和人工智能技术领域，具体为一种用于视频监控自动探测人群异常行为的特征描述方法。本发明方法的步骤为：计算监控视频中像素运动的瞬时速度；根据像素的速度的属性，建立分布直方图；根据该直方图的统计意义或数学意义构造出对应的特征描述。本发明提出的用于自动监视视频监控中异常人群移动的特征描述方法具有明确的物理意义，便于有目的的参数调整以适应不同场合的应用；实现步骤简单，速度快，不需要费时的机器学习过程；不基于目标跟踪，不受场景中人数的限制，不受视频分辨率的影响。

Description

一种用于视频监控自动探测人群异常行为的特征描述方法

技术领域

本发明属于模式识别和人工智能技术领域，具体涉及一种用于自动探测视频监控中异常人群移动的特征描述方法。

背景技术

视频监控被越来越广泛的用于各种公共场所，如火车站、机场、地铁、公交车、道路、商场等。人工监控的方式需要安保人员长时间面对大量显示器，工作枯燥又需要长时间集中注意力，容易造成对异常突发事件的误报、延报和漏报。迫切需要自动监视的方法。

较早的基于目标的自动监视方法是将视频中的人群行为看成是由单个人行为组合而成的。因此，这类方法通过单个个体来研究群体行为，其性能依赖于目标的分割[1]或者目标的跟踪[2,3]。在低密度的人群的场景中，基于目标的方法能够获得较好的性能。然而，在高密度人群的场景中，严重的遮挡以及动态的遮挡严重地影响着目标分割和跟踪的准确性。捕捉单个人的行为变得不可能。

最新的人群异常行为的检测方法通过对视频的局部小单元（视频单帧的像素、小块或多帧的小块）进行建模，来回避目标的分割和跟踪。基于局部小单元的方法可以分为两大类：基于机器学习的方法和基于门限的方法。下面将讨论这两类中一些有代表性的方法。

基于机器学习的方法需要一个学习过程（有监督，无监督或半监督）来为视频中的人群行为进行建模。Mehran等[4]结合Social Force Model (SFM)和光流算法为人群正常行为状态下粒子之间的作用力进行建模。Zhu等[5]在SFM的框架下提出了环境权重相互作用力来区分人群的正常行为和异常行为。文献[6]利用动态纹理对人群场景及其动态特性进行建模。Reddy等[7]提取每个前景单元的运动、大小和纹理特征，对这些特征分别独立建模来实现异常人群行为的识别。Ryan等[8]基于灰度共生矩阵提出了光流纹理来度量视频流的均匀程度，进而实现异常行为的探测。Wu等[9]利用拉格朗日粒子轨迹的不变性来探测和定位人群的异常行为。Wang等[10]利用小波变换来获得频率特征进而探测异常的人群行为。Kratz等[11]从3D的小块视频中提取梯度信息来拟合高斯模型，利用耦合的隐马尔科夫模型探测群体事件中的异常。Yang等[12]用正常行为做字典用稀疏表示的方法重构人群行为，根据重构代价来探测异常行为。这些基于机器学习的方法包含的学习过程是非常费时间的。此外，机器学习算法的分类结果是与训练样本的选择有关的，也就是说不同的训练样本可能产生不同的探测结果。如果选择的训练样本不合适或者不充分，检测到的异常行为有可能是错误的或者根本探测不到。可是，目前还没有公认的训练样本的选择标准。基于机器学习的方法要实现异常行为的探测需要对人群的异常行为和正常行为同时进行建模。然而，在长时间的监控视频中，正常行为的类型数会远远超过异常行为的类型数。用少量的训练样本通过学习的方法为各种类型的正常行为建立统一的模型是非常困难的。所以，基于机器学习的方法通常不适用于长时间的自动监视[13]。

基于门限的方法是一类不需要机器学习的算法，当目标值超过预设门限时发出警告。Ihaddadene等[14]通过分析运动方向代替目标跟踪来实现异常事件的探测。Xiong等[13]提出了一种能量模型来探测两种类型的人群异常行为。Zhong等[15]通过用运动特征定义人群能量来表示拥挤程度，进而探测异常行为。Cao等[16]结合了人群动能、由动能导出的运动变化和由方向直方图得到的运动方向变化来检测异常事件。众所周知，机器学习能够用于估计系统的参数，可是基于门限的方法没有学习过程，如果同时参数的物理意义不够明确，当为了满足不同应用需求对参数作调整时，就会变得非常盲目，需要大量试误，这样会消耗大量的时间和精力进行参数调整。

参考文献

[1] Tu, P., et al., Unified Crowd Segmentation, in Computer Vision – ECCV 2008, D. Forsyth, P. Torr, and A. Zisserman, Editors. 2008, Springer Berlin Heidelberg. p. 691-704.

[2] Wang, X., K. Tieu, and E. Grimson, Learning Semantic Scene Models by Trajectory Analysis, in Computer Vision – ECCV 2006, A. Leonardis, H. Bischof, and A. Pinz, Editors. 2006, Springer Berlin Heidelberg. p. 110-123.

[3] Basharat, A., A. Gritai, and M. Shah. Learning object motion patterns for anomaly detection and improved object detection. in Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. 2008.

[4] Mehran, R., A. Oyama, and M. Shah. Abnormal crowd behavior detection using social force model. in Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. 2009.

[5] Zhu, X., et al., Weighted Interaction Force Estimation for Abnormality Detection in Crowd Scenes, in Computer Vision ACCV 2012, K. Lee, et al., Editors. 2013, Springer Berlin Heidelberg. p. 507-518.

[6] Mahadevan, V., et al. Anomaly detection in crowded scenes. in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. 2010.

[7] Reddy, V., C. Sanderson, and B.C. Lovell. Improved anomaly detection in crowded scenes via cell-based analysis of foreground speed, size and texture. in Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer Society Conference on. 2011.

[8] Ryan, D., et al. Textures of optical flow for real-time anomaly detection in crowds. in Advanced Video and Signal-Based Surveillance (AVSS), 2011 8th IEEE International Conference on. 2011.

[9] Shandong, W., B.E. Moore, and M. Shah. Chaotic invariants of Lagrangian particle trajectories for anomaly detection in crowded scenes. in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. 2010.

[10] Wang, B., et al., Abnormal crowd behavior detection using high-frequency and spatio-temporal features. Machine Vision and Applications, 2012. 23(3): p. 501-511.

[11] Kratz, L. and K. Nishino. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models. in Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. 2009.

[12] Yang, C., Y. Junsong, and L. Ji. Sparse reconstruction cost for abnormal event detection. in Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. 2011.

[13] Xiong, G., et al., An energy model approach to people counting for abnormal crowd behavior detection. Neurocomputing, 2012. 83(0): p. 121-135.

[14] Ihaddadene, N. and C. Djeraba. Real-time crowd motion analysis. in Pattern Recognition, 2008. ICPR 2008. 19th International Conference on. 2008.

[15] Zhi, Z., et al. Crowd Energy and Feature Analysis. in Integration Technology, 2007. ICIT '07. IEEE International Conference on. 2007.

[16] Tian, C., et al. Abnormal crowd motion analysis. in Robotics and Biomimetics (ROBIO), 2009 IEEE International Conference on. 2009.。

发明内容

本发明的目的在于提供一种用于自动探测视频监控中异常人群移动的特征描述方法。

本发明提出的特征描述方法，具体步骤如下：

(1) 计算监控视频中像素运动的瞬时速度；

(2) 根据像素速度的属性，建立分布直方图；

(3) 根据该直方图的统计意义或数学意义构造出对应的描述特征。

本发明中，所述的计算监控视频中像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻若干帧之间的相关性来定量估计出像素运动的瞬时速度；具体可有以下2种代表性的计算方法：

（1a）所述的计算视频中像素运动的瞬时速度，是求相邻帧间对应像素邻域内最小的图像序列的灰度的微分对应的像素矢量，这个像素矢量即为像素的瞬时速度；

（1b）所述的计算视频中像素运动的瞬时速度，是利用对相邻帧之间特征描述（包括纹理、形状等特征）相似的目标或区域进行定位，然后通过其位移计算像素的瞬时速度。

本发明中，所述的像素的速度的属性定义如下：以像素的速度为自变量的任何形式的函数；有以下3种代表性的定义：

（2a）所述的像素的速度的属性定义为像素的速度的大小；

（2b）所述的像素的速度的属性定义为像素的速度的方向；

（2c）所述的像素的速度的属性定义为像素的速度的大小和方向构成的矢量。

本发明中，所述的分布直方图，其计算方法是统计像素的速度属性的每个取值区间内包含的像素个数；有以下代表性的计算方法：

统计落在由速度的大小和方向按照一定间隔划分得到的小区间内的像素个数；

本发明中，所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：以分布直方图作为输入的任何形式的函数；有以下2种代表性的计算方法：

（3a）所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：对分布直方图计算波尔兹曼熵，其中，，，表示落在直方图第n个区间中的像素个数，，N表示直方图区间的总个数，表示从P个元素中取出Q个元素的组合的个数，(Q,P)∈{(k ₁,K),(k ₂,K-k ₁),…,(k _N,K-k ₁-…-k _N _-1)}；

（3b）所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：计算分布直方图的信息熵，其中，直方图各区间的分布概率，表示落在直方图第n个区间中的像素个数，，N表示直方图区间的总个数。

本发明的优点是

本发明提出的用于自动监视视频监控中异常人群移动的特征描述方法具有明确的物理意义，便于有目的的参数调整以适应不同场合的应用；实现步骤简单，速度快，不需要费时的机器学习过程；不基于目标跟踪，不受场景中人数的限制，不受视频分辨率的影响。

附图说明

图1为异常事件的探测结果。其中，每行表示同一场景中视频的探测结果。实际情况和探测结果的指示条：绿色表示正常情况，红色表示异常情况。左列图像是正常情况中的一帧；右列图像是异常情况中的一帧。

图 2人群行为特征描述方法的流程图。

具体实施方式

一个视频监控的自动监视系统通常由以下部分组成：输入视频、特征提取、判决。这里，采用一般的监控设备的视频作为输入；判决采用门限方法（小于门限判为是正常；大于门限判为异常）；特征提取采用本发明提出的方法，具体实施方式如下：

实施例1：

(1)采用Brox光流算法[Thomas Brox, et al. High Accuracy Optical Flow Estimation Based on a Theory for Warping. in European Conference on Computer Vision, 2004. Proceedings ECCV '04, Springer LNCS]，提取视频中各个像素的运动速度，这里，表示第个像素的运动速度；

(2)对速度大于0.1的像素，根据其速度的大小和方向统计这些像素落到由速度的大小和方向等间隔划分得到的小区间内的个数，得到一个直方图，记作，其中，表示落在直方图第n个区间中的像素个数，N表示直方图区间的总个数；

(3)计算，其中，，表示从P个元素中取出Q个元素的组合的个数；计算，其中，，S即为所求的视频监控中人群移动的特征描述。

实施例2：

(1)采用Horn-Schunck光流算法[Barron, J.L., et al. Performance of optical flow techniques. in Computer Vision and Pattern Recognition, 1992. Proceedings CVPR '92., 1992 IEEE Computer Society Conference on. 1992]，提取视频中各个像素的运动速度，这里，表示第个像素的运动速度；

(2)与实施例1步骤(2)相同；

(3)与实施例1步骤(3)相同。

实施例3：

(1)与实施例2步骤(1)相同；

(2)与实施例1步骤(2)相同；

(3)计算信息熵，其中，，，H即为所求的视频监控中人群移动的特征描述。

基于实施例1的特征描述方法，设计了监控视频中人群异常移动的自动检测程序。经对Unusual crowd activity dataset of University of Minnesota数据集(http://mha.cs.umn.edu/movies/crowd-activity-all.avi)的测试。该测试视频包含3个室内室外场景的11段灰度和彩色视频。整个视频共有7739帧，每帧的分辨率为。详细的测试结果如图1和表1所示。

由图1可以看出基于实施例1特征描述方法的探测结果不存在孤立的错误的探测区间。如果实施例1的特征大于用户预设的判决门限，则系统发出警告，那么从报警次数上来说，基于实施例1的自动监视系统每次报警都是正确的，即不存在误报。报警时刻较实际异常发生时刻的平均延时为0.22秒（6.73帧）。

虽然所有的异常事件都被基于实施例1的自动监视系统探测到了，可是探测到的异常事件的起止时刻与实际情况略有偏差，由此引起的误判的可能性如表1所示。由表1可以看出异常事件被误判为正常的可能性为3.44%；正常事件被误判为异常的可能性为4.99%。那么从报警持续时长上来说，基于实施例1的自动监视系统的报警错误率非常低。

图1. 异常事件的探测结果。每行表示同一场景中视频的探测结果。实际情况和探测结果的指示条：绿色表示正常情况，红色表示异常情况。左列图像是正常情况中的一帧；右列图像是异常情况中的一帧。

表1探测结果的混淆矩阵（%）。对角线元素分别表示正常情况和异常情况的识别率；非对角线元素表示误判率。

表1

事件	正常	异常
			正常	95.01	4.99
异常	3.44	96.56

Claims

1. 一种用于视频监控自动探测人群异常行为的特征描述方法，其特征在于具体步骤为：

（1）计算监控视频中像素运动的瞬时速度；

（2）根据像素的速度的属性，建立分布直方图；

（3）根据该直方图的统计意义或数学意义构造出对应的特征描述。

2. 根据权利要求1所述的特征描述方法，其特征在于：所述的计算监控视频中像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻若干帧之间的相关性来定量估计出像素运动的瞬时速度。

3. 根据权利要求2所述的特征描述方法，其特征在于：所述的计算监控视频中像素运动的瞬时速度，是求相邻帧间对应像素邻域内最小的图像序列的灰度的微分对应的像素矢量，这个像素矢量即为像素的瞬时速度；

或者，利用对相邻帧之间特征描述相似的目标或区域进行定位，然后通过其位移计算像素的瞬时速度，所述特征包括纹理、形状特征；

所述像素的速度的属性定义如下：以像素的速度为自变量的任何形式的函数。

4. 根据权利要求3所述的特征描述方法，其特征在于：所述像素的速度的属性定义如下：

（a）像素的速度的大小；或者

（b）像素的速度的方向；或者

（c）像素的速度的大小和方向构成的矢量。

5. 根据权利要求1所述的特征描述方法，其特征在于：所述的分布直方图，其计算方法是统计像素的速度属性的每个取值区间内包含的像素个数。

6. 根据权利要求5所述的特征描述方法，其特征在于：所述的分布直方图，其计算方法是统计落在由速度的大小和方向按照一定间隔划分得到的小区间内的像素个数。

7. 根据权利要求1所述的特征描述方法，其特征在于：所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：以分布直方图作为输入的任何形式的函数。

8. 根据权利要求1或7所述的特征描述方法，其特征在于：所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：对分布直方图计算波尔兹曼熵，其中，，，表示落在直方图第个区间中的像素个数，，表示直方图区间的总个数，表示从个元素中取出个元素的组合的个数，(Q,P)∈{(k ₁,K),(k ₂,K-k ₁),…,(k _N,K-k ₁-…-k _N _-1)}。

9. 根据权利要求1或7所述的特征描述方法，其特征在于：所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：计算分布直方图的信息熵，其中，直方图各区间的分布概率，表示落在直方图第个区间中的像素个数，，表示直方图区间的总个数。