CN105023019B - 一种用于视频监控自动探测人群异常行为的特征描述方法 - Google Patents
一种用于视频监控自动探测人群异常行为的特征描述方法 Download PDFInfo
- Publication number
- CN105023019B CN105023019B CN201410154600.3A CN201410154600A CN105023019B CN 105023019 B CN105023019 B CN 105023019B CN 201410154600 A CN201410154600 A CN 201410154600A CN 105023019 B CN105023019 B CN 105023019B
- Authority
- CN
- China
- Prior art keywords
- pixel
- histogram
- speed
- crowd
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于模式识别和人工智能技术领域，具体为一种用于视频监控自动探测人群异常行为的特征描述方法。本发明方法的步骤为：计算监控视频中像素运动的瞬时速度；根据像素的速度的属性，建立分布直方图；根据该直方图的统计意义或数学意义构造出对应的特征描述。本发明提出的用于自动监视视频监控中异常人群移动的特征描述方法具有明确的物理意义，便于有目的的参数调整以适应不同场合的应用；实现步骤简单，速度快，不需要费时的机器学习过程；不基于目标跟踪，不受场景中人数的限制，不受视频分辨率的影响。
Description
技术领域
本发明属于模式识别和人工智能技术领域，具体涉及一种用于自动探测视频监控中异常人群移动的特征描述方法。
背景技术
视频监控被越来越广泛的用于各种公共场所，如火车站、机场、地铁、公交车、道路、商场等。人工监控的方式需要安保人员长时间面对大量显示器，工作枯燥又需要长时间集中注意力，容易造成对异常突发事件的误报、延报和漏报。迫切需要自动监视的方法。
较早的基于目标的自动监视方法是将视频中的人群行为看成是由单个人行为组合而成的。因此，这类方法通过单个个体来研究群体行为，其性能依赖于目标的分割[1]或者目标的跟踪[2,3]。在低密度的人群的场景中，基于目标的方法能够获得较好的性能。然而，在高密度人群的场景中，严重的遮挡以及动态的遮挡严重地影响着目标分割和跟踪的准确性。捕捉单个人的行为变得不可能。
最新的人群异常行为的检测方法通过对视频的局部小单元（视频单帧的像素、小块或多帧的小块）进行建模，来回避目标的分割和跟踪。基于局部小单元的方法可以分为两大类：基于机器学习的方法和基于门限的方法。下面将讨论这两类中一些有代表性的方法。
基于机器学习的方法需要一个学习过程（有监督，无监督或半监督）来为视频中的人群行为进行建模。Mehran等[4]结合Social Force Model (SFM)和光流算法为人群正常行为状态下粒子之间的作用力进行建模。Zhu等[5]在SFM的框架下提出了环境权重相互作用力来区分人群的正常行为和异常行为。文献[6]利用动态纹理对人群场景及其动态特性进行建模。Reddy等[7]提取每个前景单元的运动、大小和纹理特征，对这些特征分别独立建模来实现异常人群行为的识别。Ryan等[8]基于灰度共生矩阵提出了光流纹理来度量视频流的均匀程度，进而实现异常行为的探测。Wu等[9]利用拉格朗日粒子轨迹的不变性来探测和定位人群的异常行为。Wang等[10]利用小波变换来获得频率特征进而探测异常的人群行为。Kratz等[11]从3D的小块视频中提取梯度信息来拟合高斯模型，利用耦合的隐马尔科夫模型探测群体事件中的异常。Yang等[12]用正常行为做字典用稀疏表示的方法重构人群行为，根据重构代价来探测异常行为。这些基于机器学习的方法包含的学习过程是非常费时间的。此外，机器学习算法的分类结果是与训练样本的选择有关的，也就是说不同的训练样本可能产生不同的探测结果。如果选择的训练样本不合适或者不充分，检测到的异常行为有可能是错误的或者根本探测不到。可是，目前还没有公认的训练样本的选择标准。基于机器学习的方法要实现异常行为的探测需要对人群的异常行为和正常行为同时进行建模。然而，在长时间的监控视频中，正常行为的类型数会远远超过异常行为的类型数。用少量的训练样本通过学习的方法为各种类型的正常行为建立统一的模型是非常困难的。所以，基于机器学习的方法通常不适用于长时间的自动监视[13]。
基于门限的方法是一类不需要机器学习的算法，当目标值超过预设门限时发出警告。Ihaddadene等[14]通过分析运动方向代替目标跟踪来实现异常事件的探测。Xiong等[13]提出了一种能量模型来探测两种类型的人群异常行为。Zhong等[15]通过用运动特征定义人群能量来表示拥挤程度，进而探测异常行为。Cao等[16]结合了人群动能、由动能导出的运动变化和由方向直方图得到的运动方向变化来检测异常事件。众所周知，机器学习能够用于估计系统的参数，可是基于门限的方法没有学习过程，如果同时参数的物理意义不够明确，当为了满足不同应用需求对参数作调整时，就会变得非常盲目，需要大量试误，这样会消耗大量的时间和精力进行参数调整。
参考文献
[1] Tu, P., et al., Unified Crowd Segmentation, in Computer Vision –ECCV 2008, D. Forsyth, P. Torr, and A. Zisserman, Editors. 2008, SpringerBerlin Heidelberg. p. 691-704.
[2] Wang, X., K. Tieu, and E. Grimson, Learning Semantic Scene Modelsby Trajectory Analysis, in Computer Vision – ECCV 2006, A. Leonardis, H.Bischof, and A. Pinz, Editors. 2006, Springer Berlin Heidelberg. p. 110-123.
[3] Basharat, A., A. Gritai, and M. Shah. Learning object motionpatterns for anomaly detection and improved object detection. in ComputerVision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. 2008.
[4] Mehran, R., A. Oyama, and M. Shah. Abnormal crowd behaviordetection using social force model. in Computer Vision and PatternRecognition, 2009. CVPR 2009. IEEE Conference on. 2009.
[5] Zhu, X., et al., Weighted Interaction Force Estimation forAbnormality Detection in Crowd Scenes, in Computer Vision ACCV 2012, K. Lee,et al., Editors. 2013, Springer Berlin Heidelberg. p. 507-518.
[6] Mahadevan, V., et al. Anomaly detection in crowded scenes. inComputer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on.2010.
[7] Reddy, V., C. Sanderson, and B.C. Lovell. Improved anomalydetection in crowded scenes via cell-based analysis of foreground speed, sizeand texture. in Computer Vision and Pattern Recognition Workshops (CVPRW),2011 IEEE Computer Society Conference on. 2011.
[8] Ryan, D., et al. Textures of optical flow for real-time anomalydetection in crowds. in Advanced Video and Signal-Based Surveillance (AVSS),2011 8th IEEE International Conference on. 2011.
[9] Shandong, W., B.E. Moore, and M. Shah. Chaotic invariants ofLagrangian particle trajectories for anomaly detection in crowded scenes. inComputer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on.2010.
[10] Wang, B., et al., Abnormal crowd behavior detection using high-frequency and spatio-temporal features. Machine Vision and Applications,2012. 23(3): p. 501-511.
[11] Kratz, L. and K. Nishino. Anomaly detection in extremely crowdedscenes using spatio-temporal motion pattern models. in Computer Vision andPattern Recognition, 2009. CVPR 2009. IEEE Conference on. 2009.
[12] Yang, C., Y. Junsong, and L. Ji. Sparse reconstruction cost forabnormal event detection. in Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on. 2011.
[13] Xiong, G., et al., An energy model approach to people countingfor abnormal crowd behavior detection. Neurocomputing, 2012. 83(0): p. 121-135.
[14] Ihaddadene, N. and C. Djeraba. Real-time crowd motion analysis.in Pattern Recognition, 2008. ICPR 2008. 19th International Conference on.2008.
[15] Zhi, Z., et al. Crowd Energy and Feature Analysis. inIntegration Technology, 2007. ICIT '07. IEEE International Conference on.2007.
[16] Tian, C., et al. Abnormal crowd motion analysis. in Robotics andBiomimetics (ROBIO), 2009 IEEE International Conference on. 2009.。
发明内容
本发明的目的在于提供一种用于自动探测视频监控中异常人群移动的特征描述方法。
本发明提出的特征描述方法，具体步骤如下：
(1) 计算监控视频中像素运动的瞬时速度；
(2) 根据像素速度的属性，建立分布直方图；
(3) 根据该直方图的统计意义或数学意义构造出对应的描述特征。
本发明中，所述的计算监控视频中像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻若干帧之间的相关性来定量估计出像素运动的瞬时速度；具体可有以下2种代表性的计算方法：
（1a）所述的计算视频中像素运动的瞬时速度，是求相邻帧间对应像素邻域内最小的图像序列的灰度的微分对应的像素矢量，这个像素矢量即为像素的瞬时速度；
（1b）所述的计算视频中像素运动的瞬时速度，是利用对相邻帧之间特征描述（包括纹理、形状等特征）相似的目标或区域进行定位，然后通过其位移计算像素的瞬时速度。
本发明中，所述的像素的速度的属性定义如下：以像素的速度为自变量的任何形式的函数；有以下3种代表性的定义：
（2a）所述的像素的速度的属性定义为像素的速度的大小；
（2b）所述的像素的速度的属性定义为像素的速度的方向；
（2c）所述的像素的速度的属性定义为像素的速度的大小和方向构成的矢量。
本发明中，所述的分布直方图，其计算方法是统计像素的速度属性的每个取值区间内包含的像素个数；有以下代表性的计算方法：
统计落在由速度的大小和方向按照一定间隔划分得到的小区间内的像素个数；
本发明中，所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：以分布直方图作为输入的任何形式的函数；有以下2种代表性的计算方法：
（3a）所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：对分布直方图计算波尔兹曼熵，其中，，，表示落在直方图第n个区间中的像素个数，，N表示直方图区间的总个数，表示从P个元素中取出Q个元素的组合的个数，(Q,P)∈{(k 1,K),(k 2,K-k 1),…,(k N ,K-k 1-…-k N-1)}；
（3b）所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：计算分布直方图的信息熵，其中，直方图各区间的分布概率，表示落在直方图第n个区间中的像素个数，，N表示直方图区间的总个数。
本发明的优点是
本发明提出的用于自动监视视频监控中异常人群移动的特征描述方法具有明确的物理意义，便于有目的的参数调整以适应不同场合的应用；实现步骤简单，速度快，不需要费时的机器学习过程；不基于目标跟踪，不受场景中人数的限制，不受视频分辨率的影响。
附图说明
图1为异常事件的探测结果。其中，每行表示同一场景中视频的探测结果。实际情况和探测结果的指示条：绿色表示正常情况，红色表示异常情况。左列图像是正常情况中的一帧；右列图像是异常情况中的一帧。
图 2人群行为特征描述方法的流程图。
具体实施方式
一个视频监控的自动监视系统通常由以下部分组成：输入视频、特征提取、判决。这里，采用一般的监控设备的视频作为输入；判决采用门限方法（小于门限判为是正常；大于门限判为异常）；特征提取采用本发明提出的方法，具体实施方式如下：
实施例1：
(1)采用Brox光流算法[Thomas Brox, et al. High Accuracy Optical FlowEstimation Based on a Theory for Warping. in European Conference on ComputerVision, 2004. Proceedings ECCV '04, Springer LNCS]，提取视频中各个像素的运动速度 ，这里，表示第个像素的运动速度；
(2)对速度大于0.1的像素，根据其速度的大小和方向 统计这些像素落到由速度的大小和方向等间隔划分得到的小区间内的个数，得到一个直方图，记作，其中，表示落在直方图第n个区间中的像素个数，N表示直方图区间的总个数；
(3)计算，其中，，表示从P个元素中取出Q个元素的组合的个数；计算，其中，，S即为所求的视频监控中人群移动的特征描述。
实施例2：
(1)采用Horn-Schunck光流算法[Barron, J.L., et al. Performance ofoptical flow techniques. in Computer Vision and Pattern Recognition, 1992.Proceedings CVPR '92., 1992 IEEE Computer Society Conference on. 1992]，提取视频中各个像素的运动速度 ，这里，表示第个像素的运动速度；
(2)与实施例1步骤(2)相同；
(3)与实施例1步骤(3)相同。
实施例3：
(1)与实施例2步骤(1)相同；
(2)与实施例1步骤(2)相同；
(3)计算信息熵，其中，，，H即为所求的视频监控中人群移动的特征描述。
基于实施例1的特征描述方法，设计了监控视频中人群异常移动的自动检测程序。经对Unusual crowd activity dataset of University of Minnesota数据集(http://mha.cs.umn.edu/movies/crowd-activity-all.avi)的测试。该测试视频包含3个室内室外场景的11段灰度和彩色视频。整个视频共有7739帧，每帧的分辨率为。详细的测试结果如图1和表1所示。
由图1可以看出基于实施例1特征描述方法的探测结果不存在孤立的错误的探测区间。如果实施例1的特征大于用户预设的判决门限，则系统发出警告，那么从报警次数上来说，基于实施例1的自动监视系统每次报警都是正确的，即不存在误报。报警时刻较实际异常发生时刻的平均延时为0.22秒（6.73帧）。
虽然所有的异常事件都被基于实施例1的自动监视系统探测到了，可是探测到的异常事件的起止时刻与实际情况略有偏差，由此引起的误判的可能性如表1所示。由表1可以看出异常事件被误判为正常的可能性为3.44%；正常事件被误判为异常的可能性为4.99%。那么从报警持续时长上来说，基于实施例1的自动监视系统的报警错误率非常低。
图1. 异常事件的探测结果。每行表示同一场景中视频的探测结果。实际情况和探测结果的指示条：绿色表示正常情况，红色表示异常情况。左列图像是正常情况中的一帧；右列图像是异常情况中的一帧。
表1探测结果的混淆矩阵（%）。对角线元素分别表示正常情况和异常情况的识别率；非对角线元素表示误判率。
表1
| 事件 | 正常 | 异常 |
| 正常 | 95.01 | 4.99 |
| 异常 | 3.44 | 96.56 |
Claims (1)
1.一种用于视频监控自动探测人群异常行为的特征描述方法，其特征在于具体步骤为：
(1)计算监控视频中像素运动的瞬时速度；
(2)根据像素的速度的属性，建立分布直方图；
(3)根据该直方图的统计意义或数学意义构造出对应的特征描述；
步骤(1)中所述的计算监控视频中像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻若干帧之间的相关性来定量估计出像素运动的瞬时速度；包括：
求相邻帧间对应像素邻域内最小的图像序列的灰度的微分对应的像素矢量，这个像素矢量即为像素的瞬时速度；
或者，利用对相邻帧之间特征描述相似的目标或区域进行定位，然后通过其位移计算像素的瞬时速度，所述特征包括纹理、形状特征；
所述像素的速度的属性定义如下：
(a)像素的速度的大小；或者
(b)像素的速度的方向；或者
(c)像素的速度的大小和方向构成的矢量；
步骤(2)中，所述的分布直方图，其计算方法是统计像素的速度属性的每个取值区间内包含的像素个数，或者
统计落在由速度的大小和方向按照一定间隔划分得到的小区间内的像素个数；
所述的直方图的统计意义或数学意义构造出对应的特征描述，其计算方法如下：
对分布直方图计算波尔兹曼熵S＝k·lnW，其中，k＝1.38×10-5，kn表示落在直方图第n个区间中的像素个数，N表示直方图区间的总个数，表示从P个元素中取出Q个元素的组合的个数，(Q,P)∈{(k1,K),(k2,K-k1),…,(kN,K-k1-…-kN-1)}；或者
计算分布直方图的信息熵直方图各区间的分布概率kn表示落在直方图第n个区间中的像素个数，N表示直方图区间的总个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410154600.3A CN105023019B (zh) | 2014-04-17 | 2014-04-17 | 一种用于视频监控自动探测人群异常行为的特征描述方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410154600.3A CN105023019B (zh) | 2014-04-17 | 2014-04-17 | 一种用于视频监控自动探测人群异常行为的特征描述方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105023019A CN105023019A (zh) | 2015-11-04 |
| CN105023019B true CN105023019B (zh) | 2018-11-13 |
Family
ID=54412974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410154600.3A Active CN105023019B (zh) | 2014-04-17 | 2014-04-17 | 一种用于视频监控自动探测人群异常行为的特征描述方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105023019B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446922B (zh) * | 2015-07-31 | 2019-10-22 | 中国科学院大学 | 一种人群异常行为分析方法 |
| CN107392100B (zh) * | 2017-06-17 | 2020-07-07 | 复旦大学 | 用于自动探测监控视频中局部异常的检测方法 |
| CN107424170B (zh) * | 2017-06-17 | 2020-07-28 | 复旦大学 | 自动探测监控视频中局部异常行为的运动特征描述方法 |
| CN109819208B (zh) * | 2019-01-02 | 2021-01-12 | 江苏警官学院 | 一种基于人工智能动态监控的密集人群安防监控管理方法 |
| CN109948424A (zh) * | 2019-01-22 | 2019-06-28 | 四川大学 | 一种基于加速度运动特征描述子的群体异常行为检测方法 |
| CN110427796B (zh) * | 2019-05-08 | 2023-06-30 | 上海理工大学 | 获取动态纹理描述模型的方法及视频异常行为检索法 |
| CN110781853B (zh) * | 2019-11-01 | 2022-12-27 | 浙江大华技术股份有限公司 | 人群异常检测方法以及相关装置 |
| CN113344649A (zh) * | 2021-08-05 | 2021-09-03 | 江西合一云数据科技有限公司 | 社会调查大数据构建系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254329A (zh) * | 2011-08-18 | 2011-11-23 | 上海方奥通信技术有限公司 | 基于运动向量归类分析的异常行为检测方法 |
| CN102682303A (zh) * | 2012-03-13 | 2012-09-19 | 上海交通大学 | 基于lbp加权社会力模型的人群异常事件检测方法 |
| CN103077401A (zh) * | 2012-12-27 | 2013-05-01 | 深圳市赛为智能股份有限公司 | 一种基于光流上下文直方图的异常行为检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8083060B1 (en) * | 2010-07-05 | 2011-12-27 | Tsai-Fa Liu | Tool holder assembly |
-
2014
- 2014-04-17 CN CN201410154600.3A patent/CN105023019B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254329A (zh) * | 2011-08-18 | 2011-11-23 | 上海方奥通信技术有限公司 | 基于运动向量归类分析的异常行为检测方法 |
| CN102682303A (zh) * | 2012-03-13 | 2012-09-19 | 上海交通大学 | 基于lbp加权社会力模型的人群异常事件检测方法 |
| CN103077401A (zh) * | 2012-12-27 | 2013-05-01 | 深圳市赛为智能股份有限公司 | 一种基于光流上下文直方图的异常行为检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于区域光流特征的异常行为检测;杜鉴豪 等;《浙江大学学报》;20110731;第45卷(第7期);1161-1166 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105023019A (zh) | 2015-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105023019B (zh) | 一种用于视频监控自动探测人群异常行为的特征描述方法 | |
| Wu et al. | A Bayesian model for crowd escape behavior detection | |
| CN103745230B (zh) | 一种自适应群体异常行为分析方法 | |
| WO2015131734A1 (zh) | 一种前视监视场景下的行人计数方法、装置和存储介质 | |
| Lim et al. | Crowd saliency detection via global similarity structure | |
| de Almeida et al. | Change detection in human crowds | |
| Du et al. | Abnormal event detection in crowded scenes based on structural multi-scale motion interrelated patterns | |
| Hu et al. | A novel approach for crowd video monitoring of subway platforms | |
| Choudhary et al. | Real-time crowd behavior detection using SIFT feature extraction technique in video sequences | |
| Li et al. | Anomaly detection based on maximum a posteriori | |
| Kaltsa et al. | Swarm-based motion features for anomaly detection in crowds | |
| Wang et al. | Counting people with support vector regression | |
| CN107424170B (zh) | 自动探测监控视频中局部异常行为的运动特征描述方法 | |
| KR101467307B1 (ko) | 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치 | |
| Chebi et al. | Crowd events recognition in a video without threshold value setting | |
| Gad et al. | Crowd density estimation using multiple features categories and multiple regression models | |
| Shreedarshan et al. | Crowd recognition system based on optical flow along with SVM classifier | |
| Xu et al. | Unusual scene detection using distributed behaviour model and sparse representation | |
| Hao et al. | A Detection Method of Abnormal Event in Crowds Based on Image Entropy | |
| Felemban et al. | Deep Trajectory Classification Model for Congestion Detection in Human Crowds. | |
| Shirbhate et al. | Video surveillance system using motion detection-a survey | |
| Lee et al. | Modeling crowd motions for abnormal activity detection | |
| Biswas et al. | Short local trajectory based moving anomaly detection | |
| Yang et al. | Graph stream mining based anomalous event analysis | |
| Patil et al. | Video anomaly detection and localization using 3D SL-HOF descriptor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |