CN107424170A

CN107424170A - 用于自动探测监控视频中局部异常行为的运动特征描述方法

Info

Publication number: CN107424170A
Application number: CN201710459981.XA
Authority: CN
Inventors: 杨夙; 张新峰
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2017-06-17
Filing date: 2017-06-17
Publication date: 2017-12-01
Anticipated expiration: 2037-06-17
Also published as: CN107424170B

Abstract

本发明属于视频监控技术领域，具体是一种用于自动探测监控视频中局部异常行为的运动特征描述方法。本发明方法是根据关联的多帧间运动的统计量构造出对应的特征描述，具体步骤：计算监控视频中像素运动的速度；根据像素的速度，关联多帧间的运动；根据关联的多帧间运动的像素分布直方图，构造出对应的描述特征。本方法不受视频分辨率以及人群规模的影响，在特征描述的基础上，可以实现在视频中局部区域异常行为的自动检测。

Description

用于自动探测监控视频中局部异常行为的运动特征描述方法

技术领域

本发明属于视频监控技术领域，具体涉及一种用于自动探测监控视频中局部异常行为的运动特征描述方法。

背景技术

随着视频监控系统的普及，视频监控被越来越广泛的用于各种人员密集场所以及其他重要的公共场所，如火车站、机场、地铁、公交车、道路、商场等。但是，目前要对大量的区域进行实时监控，就需要操作人员长时间面对多台监视器，持续关注监视区域的动态。当人长时间从事枯燥工作时，注意力会下降，容易造成对异常突发事件的误报、延报和漏报，因此迫切需要能够从拥挤的场景中自动检测异常行为的方法。

传统的基于目标的自动监视方法，将人群视为独立个体的组合，这类方法检测异常需要研究每个个体的行为，因此其性能依赖于目标的分割[1]或者目标的跟踪[2,3]。在人流密度低的场景中，此类方法的表现良好。然而，在拥挤的场景中，密集的各种目标以及严重的相互遮挡，导致了目标分割和跟踪准确性的急剧下降，想要获得人群中的每个个体的行为是不切实际的[4]。

为了避免在拥挤的场景中，分割和跟踪单个目标，最新的异常检测方法是利用视频的局部小单元，如：像素、图像块和三维的视频块[5]，来构建模型。当前主要采用的局部特征包括：局部小单元的属性[6,7,8,9]、局部小单元的相互作用[10,11]和局部小单元的轨迹[12]。下面将回顾这三类中有代表性的特征。

(1)Adam等[6]利用特定区域的光流直方图得到异常检测的判断规则。Mahadevan等[7]利用混合动态纹理来同时描述拥挤场景中，局部区域的外观和动态。这种方法在进行时空异常检测时，计算量很大。Reddy等[8]从每个前景单元中提取多种特征，包括运动、尺寸和纹理。然后，融合每种特征的判断做出最终的异常判定。Yang等[9]基于正常状态的光流多尺度直方图字典，计算重构代价来检测异常事件。在很多情况下，外观特征并不适用于在拥挤的场景中，区分正常和异常状态，因为外观会随着时间变化，并且分布广泛的人工纹理，像：衣服和车的喷漆，是任意形式的。大部分运动特征都是基于光流的，而光流只能获取连续帧间的运动，无法关联多帧间的运动。

(2)Mehran等[10]引入了局部相互作用特征，即社会力模型(social forcemodel,SFM)，通过粒子间的相互作用力来进行建模，其中，粒子通过光流算法计算得到。然而，局部小单元相互作用特征不稳定、易出错，而且相互作用的建模也很复杂。Raghavendra等[11]引入了粒子群优化算法(Particle Swarm Optimization,PSO)，通过选择粒子来优化社会力模型，但是该算法很难用于在线监视，因为优化过程需要耗费大量的时间。

(3)Wu等[12]利用粒子轨迹的混沌不变量，即最大李雅普诺夫指数(maximalLyapunov exponent)和关联维(correlation dimension)，作为特征，检测和定位异常行为。当运动受到空间限制时，比如：在走廊和地下通道中，因为不满足混沌理论的先决条件，所以要根据轨迹特征来区分正常和异常状态就变得非常困难。

参考文献

[1]Tu,P.,et al.,Unified Crowd Segmentation[C],in Computer Vision–ECCV2008,D.Forsyth,P.Torr,and A.Zisserman,Editors.2008,Springer BerlinHeidelberg.p.691-704.

[2]Wang,X.,K.Tieu,and E.Grimson,Learning Semantic Scene Models byTrajectory Analysis[C],in Computer Vision–ECCV 2006,A.Leonardis,H.Bischof,andA.Pinz,Editors.2006,Springer Berlin Heidelberg.p.110-123.

[3]Basharat A,Gritai A,Shah M.Learning object motion patterns foranomaly detection andimproved object detection[C].Computer Vision and PatternRecognition,2008.CVPR 2008.IEEEConference on,2008:1-8.

[4]Jie F,Chao Z,Pengwei H.Online anomaly detection in videos byclustering dynamicexemplars[C].Image Processing(ICIP),2012 19th IEEEInternational Conference on,2012:3097-3100.

[5]Kai-Wen C,Yie-Tarng C,Wen-Hsien F.Video anomaly detection andlocalization usinghierarchical feature representation and Gaussian processregression[C].Computer Vision andPattern Recognition(CVPR),2015IEEEConference on,2015:2909-2917.

[6]Adam A,Rivlin E,Shimshoni I,et al.Robust Real-Time Unusual EventDetection usingMultiple Fixed-Location Monitors[J].Pattern Analysis andMachine Intelligence,IEEETransactions on,2008,30(3):555-560.

[7]Mahadevan V,Weixin L,Bhalodia V,et al.Anomaly detection in crowdedscenes[C].Computer Vision and Pattern Recognition(CVPR),2010IEEE Conferenceon,2010:1975-1981.

[8]Reddy V,Sanderson C,Lovell B C.Improved anomaly detection incrowded scenes viacell-based analysis of foreground speed,size and texture[C].Computer Vision and PatternRecognition Workshops(CVPRW),2011IEEE ComputerSociety Conference on,2011:55-61.

[9]Yang C,Junsong Y,Ji L.Sparse reconstruction cost for abnormalevent detection[C].Computer Vision and Pattern Recognition(CVPR),2011IEEEConference on,2011:3449-3456.

[10]Mehran R,Oyama A,Shah M.Abnormal crowd behavior detection usingsocial force model[C].Computer Vision and Pattern Recognition,2009.CVPR2009.IEEE Conference on,2009:935-942.

[11]Raghavendra R,Del Bue A,Cristani M,et al.Optimizing interactionforce for global anomaly

detection in crowded scenes[C].Computer Vision Workshops(ICCVWorkshops),2011 IEEEInternational Conference on,2011:136-143.

[12]Wu S.,Moore B E,Shah M.Chaotic invariants of Lagrangian particletrajectories for anomaly detection in crowded scenes[C].Computer Vision andPattern Recognition(CVPR),2010IEEE Conference on,2010:2054-2060.。

发明内容

本发明的目的在于提供一种用于自动探测监控视频中局部异常的运动特征描述方法。

本发明提出的特征描述方法，是根据关联的多帧间运动的统计量构造出对应的特征描述；具体步骤如下：

(1)计算监控视频中像素运动的速度；

(2)根据像素的速度，关联多帧间的运动；

(3)根据关联的多帧间运动的像素分布直方图，构造出对应的描述特征。

本发明中，所述的计算监控视频中像素运动的速度，是利用帧序列中像素在时间域上的变化来定量估计出像素运动的瞬时速度；有以下2种代表性的计算方法：

(1a)求相邻帧间对应像素邻域内最小的图像序列灰度微分对应的像素矢量，这个像素矢量即为像素的瞬时速度；

(1b)通过相邻帧之间特征描述(包括纹理、形状等特征)相似的目标或区域的位移变化计算像素的瞬时速度；

本发明中，所述的关联多帧间的运动，其计算方法是以连接多帧间的运动作为输入的任何形式的函数；有以下2种代表性的计算方法：

(2a)根据多帧间的运动计算总的位移，包括距离和角度；

(2b)统计落在由以起点为中心，关联的多帧间的像素点的瞬时运动速度的距离和角度按照一定间隔划分进行直方图统计。

本发明的优点

本发明提出的用于自动探测监控视频中局部异常的运动特征描述方法能够如实反映局部小块区域的运动趋势和细节；不同于混沌不变量特征，即使是在狭小空间中，运动受限的情况下，异常行为同样可以通过形状直方图中轨迹的长度来反映；不基于目标跟踪，不受场景中人数的限制，不受视频分辨率的影响。在特征描述的基础上，可以实现在视频中局部区域异常行为的自动检测。

附图说明

图1：本发明方法在Subway数据集上的检测结果。其中，实线格子表示正确的检测；虚线格子表示错误的警报。(a)和(e)错误方向：一些人由出口逆向进入月台。(b)和(f)徘徊：一个人在徘徊；还有两个人正在通过出口的旋转门进入月台。(c)和(g)其他异常：一个人在清理墙面；一个人从列车上下来紧接着又回到列车上。(d)和(h)错误警报：一个成人正在帮助一个儿童通过旋转闸门；一个人经过旋转闸门后，一跃而上；正确的检测：一个人正由旋转闸门进入月台。

图2：短时轨迹片段及其基于直方图的形状描述。其中，(a)实线、短虚线和长虚线框对应着异常，即两个踩滑板的人和一个骑自行车的人；点划线框对应的是一个正常的行人。(b)中的直方图描述的是(a)中起点位于点划线框内的所有轨迹片段。

具体实施方式

一个自动监视系统通常由以下部分组成：输入视频、特征提取、判决。这里，采用一般的监控设备的视频作为输入；判决采用概率门限方法(小于门限即为小概率事件，判为是异常；大于门限判为正常)；特征提取采用本发明提出的方法，具体实施方式如下：

实施例1：

(1)采用Brox光流算法[Thomas Brox,et al.High Accuracy Optical FlowEstimation Based on a Theory for Warping[C].in European Conference onComputer Vision,2004.Proceedings ECCV'04,Springer LNCS]，提取视频中各个像素的运动速度其中，W×H表示视频的分辨率，T表示连续帧的个数，表示在t时刻像素(w,h)在水平方向和垂直方向的运动速率；

(2)连接连续帧间像素的运动矢量：其中，[·]表示取整操作，向量表示像素(w,h)在t时刻的位置；

(3)统计局部区域内，那些落到由距离和方向等间隔划分得到的小格子内的不重叠的像素个数，获得一个直方图{h(n)|n∈[1,N]}，即为所求的监控视频中局部区域运动特征的描述，其中，h(n)表示落在第n个格子中的粒子个数，N＝b_M×b_A表示直方图的格子总数。

实施例2：

(1)采用Horn-Schunck光流算法[Barron,J.L.,et al.Performance of opticalflow techniques.in Computer Vision and Pattern Recognition,1992.ProceedingsCVPR'92.,1992IEEE Computer Society Conference on.1992]，提取视频中各个像素的运动速度；

(2)与实施例1步骤(2)相同；

(3)与实施例1步骤(3)相同。

基于实施例1的特征描述方法，设计了监控视频中自动探测局部异常的检测程序。在Subway数据集

(https://onedrive.live.com/？authkey＝％21AJ3Gz1NwcSrHjiw&id＝8bec9ebb7d9fc69a％21463&cid＝8BEC9EBB7D9FC69A&group＝0)上进行异常检测测试。在实验中，我们利用地铁出口的监控视频来检验方法的性能。摄像头对着出口，这里占大多数的正常行为是：从月台向出口方向走，通过旋转闸门上来，向左或向右转。视频的持续时长为43分钟，分辨率为384×512个像素，包含19个异常事件，主要涉及：方向错误、徘徊和其他异常[Kim J,Grauman K.Observe locally,infer globally:A space-time MRF fordetecting abnormalactivities with incremental updates[C].Computer Vision andPattern Recognition,2009.CVPR2009.IEEE Conference on,2009:2921-2928.]。处理这些监控视频的难点不仅在于场景拥挤、行人的数量和密度动态变化，而且还存在一定程度的透视变形。

前10分钟视频用于训练，剩下的视频用于测试。基于实施例1的自动监视系统的检测结果如图1所示，其中包括正确和错误的检测结果。结果表明基于实施例1的自动监视系统能够同时检测不同尺度的多个异常目标，而不管目标距离摄像头近或者远。图1中虚线格子区域虽未标注，而实际上是真正的异常。例如：如图1d所示，一个成人正在帮助一个儿童通过旋转闸门；如图1h所示，一个人经过旋转闸门后，一跃而上。这些不寻常的行为在标准中没有标注为异常，但是能够被本发明提出的方法检测到。此外，还可以看出本发明提出的方法能够在有透视变形的监控视频中，能够准确的检测异常事件。由表1可以看出，基于实施例1的自动监视系统利用最少的训练数据，实现了高的检测率和低的错误报警率。

表1.在Subway数据集上的异常检测率和错误报警率

Claims

1.一种用于自动探测监控视频中局部异常行为的运动特征描述方法，其特征在于，是根据关联的多帧间运动的统计量构造出对应的特征描述；具体步骤如下：

（1）计算监控视频中像素运动的速度；

（2）根据像素的速度，关联多帧间的运动；

（3）根据关联的多帧间运动的像素分布直方图，构造出对应的描述特征；

其中，所述计算监控视频中像素运动的速度，是利用帧序列中像素在时间域上的变化来定量估计出像素运动的瞬时速度；所述关联多帧间的运动，其计算方法是以连接多帧间的运动作为输入的任何形式的函数。

2.根据权利要求1所述的运动特征描述方法，其特征在于，所述计算监控视频中像素运动的速度，采用如下2种计算方法之一：

（1a）求相邻帧间对应像素邻域内最小的图像序列灰度微分对应的像素矢量，这个像素矢量即为像素的瞬时速度；

（1b）通过相邻帧之间特征描述相似的目标或区域的位移变化计算像素的瞬时速度；这里的特征描述包括纹理特征、形状特征。

3.根据权利要求1所述的运动特征描述方法，其特征在于，所述的关联多帧间的运动，采用以下2种计算方法之一：

（2a）根据多帧间的运动计算总的位移，包括距离和角度；

（2b）统计落在由以起点为中心，关联的多帧间的像素点的瞬时运动速度的距离和角度按照一定间隔划分进行直方图统计。