CN107392100A - 用于自动探测监控视频中局部异常的检测方法 - Google Patents

Abstract

本发明属于视频监控技术领域，具体为自动探测监控视频中局部异常的检测方法。本发明的步骤为：从训练视频中检索与监控视频局部区域的运动特征最相似的若干个区域；根据检索出的这些区域，构建评估模型；根据监控视频局部区域与这个构建的评估模型的一致性，判断监控视频局部区域是否为异常。本发明方法不依赖于特定行为的表现和状态，因此不需要为无法预先知道的典型模式构建模型；对正常训练集中混入少量的异常样本并不敏感；将那些出现概率小的事件识别为异常，概率门限的物理含义非常明确，容易设置；为最相似的若干个样本间的相似度建模，避免了对高维特征建模的过拟合问题；运算效率非常高，适合于实时监控。

Description

用于自动探测监控视频中局部异常的检测方法

技术领域

本发明属于视频监控技术领域，具体涉及自动探测监控视频中局部异常的检测方法。

背景技术

随着视频监控被越来越广泛的用于各种人员密集场所以及其他重要的公共场所，如火车站、机场、地铁、公交车、道路、商场等。但是，人工监控的方式需要安保人员长时间面对多台监视器，持续关注监视区域的动态。工作既枯燥又需要长时间集中注意力，容易造成对异常突发事件的误报、延报和漏报，因此迫切需要能够从拥挤的场景中自动检测异常行为的方法。

传统的基于目标的自动监视方法将人群视为单独个体的组合，因此这类方法通过个体行为来研究整个场景中各种目标的行为，其性能很大程度上依赖于目标的分割[1]或者跟踪[2,3]。在低密度的人群的场景中，基于目标的方法表现良好。然而，在拥挤的场景中，做着各种随机运动的目标聚集在一起，造成了严重的静态和动态的相互遮挡，导致通过目标分割或跟踪来捕捉每个个体的行为是不可行的[4]。

为了避免在拥挤的场景中，分割和跟踪目标，最新的趋势是对局部小单元，如：像素、图像块和三维的视频块[5]进行建模。因为异常事件很少发生，而且彼此之间存在着不可预测的差异，所以几乎不可能事先为所有异常模式构建模型，因而只利用正常的局部小单元进行建模的无监督学习(unsupervised learning)框架受到了广泛的关注[6]。根据采用的无监督模型的不同，基于局部小单元的建模方法可以大致分为三类：基于聚类的方法、基于重构的方法和基于关系的模型。下面将对其中有代表性的方法进行讨论。

(1)一种直接的方式是通过聚类算法找出离群的局部小单元，判为异常[7]。实际上，这种方法已经广泛用于现有的工作中[7,8,9,10,11,12]。然而，如何确定聚类个数仍然是一个未解的问题，这限制了这类方法在实际监控中的应用。典型的聚类算法，比如：k-means和高斯混合模型(Gaussian Mixture Model,GMM)[7,8]都需要事先指定典型模式的个数[9]。然而，在拥挤的场景中，运动是无常的，以致很多运动模式无法被预知，导致了典型运动模式的个数是不确定的。因此，要求事先给定典型运动模式的个数是不切实际的。另一种解决方案是根据距离门限进行聚类，通过距离判断一个样本是否属于现有的一类典型模式，还是应该为这个样本创建一个新的模式[9,10,11]，以及判断两簇(clusters)是否合并[12]。这类方法不需要预先设定典型模式的个数，但是需要指定一个距离门限。由于目标的大小是随距离摄像头的远近而改变的，即存在透视变形(perspective distortion)，透视变形同时还带来了运动的畸变，这造成不存在能够适应整个场景的距离门限。

(2)对于基于重构的方法，Yang等[13]利用以前的和周围的正常时空单元分别构造字典，然后，利用稀疏表示(sparserepresentation)重构测试样本，将那些重构代价超过预设门限的测试单元检测为异常。动态稀疏编码(dynamic sparse coding)方法利用由正常事件在线更新得到的字典重构时空单元，将重构误差大于预设门限的单元判为异常[14]。然而，一旦有少量的异常样本混入了字典，那么这种方法将无法检测此类异常。此外，这类方法需要一个误差门限。然而，由于透视变形导致整个场景中不同区域的重构误差是非均匀的，所以能够适应整个场景的误差门限并不存在。

(3)另一类是基于对正常时空单元间的关系进行建模的方法。Kim和Grauman[15]利用时空马尔科夫随机场(Markov random field,MRF)在视频序列中检测异常行为。这里，马尔科夫随机场的每个节点对应视频帧中的一个局部区域，时空相邻节点间用连接关联。构建正常行为的马尔科夫随机场模型，将那些与学习得到的模型不相符的情况，判为异常。在拥挤的场景中，相邻的时空单元可能来自不同的目标或者同一个目标的不同部分。此外，由于动态遮挡，这些时空单元是动态变化的。结果导致极其复杂和无常的时空单元之间的相互关系，很容易就超出训练得到的原型。这限制了此类方法的应用。

参考文献

[1]Tu,P.,et al.,Unified Crowd Segmentation[C],in Computer Vision–ECCV2008,D.Forsyth,P.Torr,and A.Zisserman,Editors.2008,Springer BerlinHeidelberg.p.691-704.

[2]Wang,X.,K.Tieu,and E.Grimson,Learning Semantic Scene Models byTrajectory Analysis[C],in Computer Vision–ECCV 2006,A.Leonardis,H.Bischof,andA.Pinz,Editors.2006,Springer Berlin Heidelberg.p.110-123.

[3]Basharat A,Gritai A,Shah M.Learning object motion patterns foranomaly detection andimproved object detection[C].Computer Vision and PatternRecognition,2008.CVPR 2008.IEEEConference on,2008:1-8.

[4]Jie F,Chao Z,Pengwei H.Online anomaly detection in videos byclustering dynamicexemplars[C].Image Processing(ICIP),2012 19th IEEEInternational Conference on,2012:3097-3100.

[5]Kai-Wen C,Yie-Tarng C,Wen-Hsien F.Video anomaly detection andlocalization usinghierarchical feature representation and Gaussian processregression[C].Computer Vision andPattern Recognition(CVPR),2015 IEEEConference on,2015:2909-2917.

[6]Bertini M,Bimbo A D,Seidenari L.Multi-scale and real-time non-parametric approach foranomaly detection and localization[J].Computer Visionand Image Understanding,2012,116(3):320–329.

[7]Mahadevan V,Weixin L,Bhalodia V,et al.Anomaly detection in crowdedscenes[C].Computer Vision and Pattern Recognition(CVPR),2010 IEEE Conferenceon,2010:1975-1981.

[8]Kai-Wen C,Yie-Tarng C,Wen-Hsien F.Video anomaly detection andlocalization usinghierarchical feature representation and Gaussian processregression[C].Computer Vision andPattern Recognition(CVPR),2015 IEEEConference on,2015:2909-2917.

[9]Kratz L,Nishino K.Anomaly detection in extremely crowded scenesusing spatio-temporalmotion pattern models.Computer Vision and PatternRecognition,2009.CVPR2009.IEEEConference on.2009:1446-1453.

[10]Shandong W,Moore B E,Shah M.Chaotic invariants of Lagrangianparticle trajectories for anomaly detection in crowded scenes[C].ComputerVision and Pattern Recognition(CVPR),2010IEEE Conference on,2010:2054-2060.

[11]Roshtkhari M J,Levine M D.An on-line,real-time learning methodfor detecting anomalies invideos using spatio-temporal compositions[J].Computer Vision and Image Understanding,2013,117(10):1436-1452.

[12]Bertini M,Bimbo A D,Seidenari L.Multi-scale and real-time non-parametric approach foranomaly detection and localization[J].Computer Visionand Image Understanding,2012,116(3):320–329.

[13]Yang C,Junsong Y,Ji L.Sparse reconstruction cost for abnormalevent detection[C].Computer Vision and Pattern Recognition(CVPR),2011 IEEEConference on,2011:3449-3456.

[14]Zhao B,Fei-Fei L,Xing E P.Online detection of unusual events invideos via dynamic sparsecoding[C].IEEE Computer Society Conference onComputer Vision and PatternRecognition,2011:3313-3320.

[15]Kim J,Grauman K.Observe locally,infer globally:A space-time MRFfor detecting abnormalactivities with incremental updates[C].Computer Visionand Pattern Recognition,2009.CVPR2009.IEEE Conference on,2009:2921-2928.。

发明内容

本发明的目的在于提供一种用于自动探测监控视频中局部异常的检测方法。

本发明提出的用于自动探测监控视频中局部异常的检测方法，具体步骤如下：

(1)从训练视频中检索与监控视频局部区域的运动特征最相似的若干个区域；

(2)根据检索出的这些区域，构建评估模型；

(3)根据监控视频局部区域与这个构建的评估模型的一致性，判断监控视频局部区域是否为异常。

本发明中，所述的检索与监控视频局部区域最相似的训练视频的若干个区域，是利用监控视频局部区域与训练视频局部区域之间的距离来找出最相似的若干个区域；代表性的计算方法有如下两种：

(1a)从训练视频中找出与监控视频局部区域的χ²检验最小的若干个区域；

(1b)从训练视频中找出与监控视频局部区域之间的L2范数距离最小的若干个区域。

本发明中，所述的为检索出的区域构建评估模型，是利用这些检索出的训练视频的区域的一致性构建概率模型；代表性的计算方法有如下两种：

(2a)利用这些检索出的区域两两之间的χ²检验构建高斯模型；

(2b)利用这些检索出的区域两两之间的L2范数距离构建高斯模型。

本发明中，所述的监控视频局部区域与这个构建的评估模型的一致性，是指监控视频局部区域服从构建的评估模型的程度；代表性的计算方法有如下两种：

(3a)计算监控视频局部区域与检索出的区域的χ²检验服从由检索出的区域两两之间的χ²检验构建的高斯模型的联合概率；

(3b)计算监控视频局部区域与检索出的区域的L2范数距离服从由检索出的区域两两之间的L2范数距离构建的高斯模型的联合概率。

如果联合概率小于用户指定的概率门限，则为小概率事件，那么对应的监控视频局部区域判为异常；反之，为正常。

本发明的优点

本发明提出的用于自动探测监控视频中局部异常行为的检测方法，(1)不依赖于特定行为的表现和状态，因此不需要为无法预先知道的典型模式构建模型。事实上，异常检测的机制是基于单类的无监督学习，因此不需要人工标记训练数据，也不需要知道相机参数。(2)对正常训练集中混入少量的异常样本并不敏感，因为提出的异常检测模型是基于统计的，若干个与测试样本最相似的训练样本不受影响的可能性极大，避免了稀疏重构所面临的问题。(3)不同于利用运动特征的距离或者重构误差的方法，通过概率检测异常能够适应整个场景，因为概率不会受到由透视变形导致的运动畸变的影响。(4)这里，将那些出现概率小的事件识别为异常。概率门限的物理含义非常明确，所以容易设置。而为重构误差或运动特征的距离预设一个门限则需要非常专业的领域知识。此外，如何调整预设门限来改变检测结果也并不明确。(5)为最相似的若干个样本间的相似度建模，避免了对高维特征建模的过拟合问题。(6)不依赖于拥挤场景中的目标分割或跟踪。(7)运算效率非常高，这对于实时监控是非常必要的。

附图说明

图1.在Subway数据集上的检测结果。实线格子表示正确的检测；虚线格子表示错误的警报。(a)和(e)错误方向：一些人由出口逆向进入月台。(b)和(f)徘徊：一个人在徘徊；还有两个人正在通过出口的旋转门进入月台。(c)和(g)其他异常：一个人在清理墙面；一个人从列车上下来紧接着又回到列车上。(d)和(h)错误警报：一个成人正在帮助一个儿童通过旋转闸门；一个人经过旋转闸门后，一跃而上；正确的检测：一个人正由旋转闸门进入月台。

图2.基于K近邻相似度的统计模型。(a)中间的方格表示测试样本；周围的方格表示与测试样本最相似的K个样本。(b)双箭头表示最相似的K个样本两两之间的相似度。(c)为(b)中的相似度构建的一维高斯模型。

具体实施方式

一个自动监视系统通常由以下部分组成：输入视频、特征提取、判决。这里，采用一般监控设备拍摄的视频作为输入；特征采用局部区域短时运动轨迹的直方图；判决采用本发明提出的方法，具体实施方式如下：

实施例1：

(1)利用χ²检验作为相似性度量：其中H_p＝{h_p(n)|n∈[1，N]}和H_q＝{h_q(n)|n∈[1，N]}分别表示两个区域的运动特征，从训练视频中选出与测试区域最相似的K个区域，其运动特征为{H_NN(k)|k∈[1，K]}；

(2)在这K个区域{H_NN(k)|k∈[1，K]}中，计算每两个区域之间的相似度{χ²[H_NN(i)，H_NN(j)]|i≠j，i∈[1，K]，j∈[1，K]}，并为这些相似度构建一个一维的高斯模型其中μ和σ²分别表示相似度{χ²[H_NN(i)，H_NN(j)]|i≠j，i∈[1，K]，j∈[1，K]}的均值和方差，计算公式为：

(3)用监控视频局部区域的运动特征H_T与它的K个最相似的区域的运动特征{H_NN(k)|k∈[1，K]}之间的相似度{χ²[H_T，H_NN(k)]|k∈[1，K]}服从高斯模型的概率来计算该监控视频局部区域的判决值其中Pr表示相似度服从高斯模型的概率。如果L_T小于用户指定的概率门限T_p，则为小概率事件，那么对应的监控视频局部区域判为异常；反之，为正常。

实施例2：

(1)利用L2范数距离作为相似性度量：其中H_p＝{h_p(n)|n∈[1，N]}和H_q＝{h_q(n)|n∈[1，N]}分别表示两个区域的运动特征，从训练视频中选出与监控视频局部区域最相似的K个区域，其运动特征为{H_NN(k)|k∈[1，K]}；

(2)在这K个区域的运动特征{H_NN(k)|k∈[1，K]}中，计算每两个区域运动特征之间的相似度{L2[H_NN(i)，H_NN(j)]|i≠j，i∈[1，K]，j∈[1，K]}，并为这些相似度构建一个一维的高斯模型其中μ和σ²分别表示相似度{χ²[H_NN(i)，H_NN(j)]|i≠j，i∈[1，K]，j∈[1，K]}的均值和方差，计算公式为：

(3)用监控视频局部区域的运动特征H_T与它的K个最相似的区域的运动特征{H_NN(k)|k∈[1，K]}之间的相似度{L2[H_T，H_NN(k)]|k∈[1，K]}服从高斯模型的概率来计算该监控视频局部区域的判决值其中Pr表示相似度服从高斯模型的概率。如果L_T小于用户指定的概率门限T_p，则为小概率事件，那么对应的监控视频局部区域判为异常；反之，为正常。

基于实施例1，设计了监控视频中自动探测局部异常的检测程序。在Subway数据集

(https://onedrive.live.com/？authkey＝％21AJ3Gz1NwcSrHjiw&id＝8bec9ebb7d9fc69a％21463&cid＝8BEC9EBB7D9FC69A&group＝0)上进行异常检测测试。在实验中，我们利用地铁出口的监控视频来检验方法的性能。摄像头对着出口，这里占大多数的正常行为是：从月台向出口方向走，通过旋转闸门上来，向左或向右转。视频的持续时长为43分钟，分辨率为384×512个像素，包含19个异常事件，主要涉及：方向错误、徘徊和其他异常[Kim J，Grauman K.Observe locally，infer globally：A space-time MRF fordetecting abnormalactivities with incremental updates[C].Computer Vision andPattern Recognition,2009.CVPR2009.IEEE Conference on,2009:2921-2928.]。处理这些监控视频的难点不仅在于场景拥挤、行人的数量和密度动态变化，而且还存在一定程度的透视变形。

前10分钟视频用于训练，剩下的视频用于测试。基于实施例1的自动监视系统的检测结果如图1所示，其中包括正确和错误的检测结果。结果表明基于实施例1的自动监视系统能够同时检测不同尺度的多个异常目标，而不管目标距离摄像头近或者远。图1中虚线格子区域表示虽未标注，而实际上是真正的异常。例如：如图1d所示，一个成人正在帮助一个儿童通过旋转闸门；如图1h所示，一个人经过旋转闸门后，一跃而上。这些不寻常的行为在标准中没有标注为异常，但是能够被本发明提出的方法检测到。此外，还可以看出本发明提出的方法能够在有透视变形的监控视频中准确检测异常事件。由表1可以看出，基于实施例1的自动监视系统利用最少的训练数据，实现了高的检测率和低的错误报警率。

表1.在Subway数据集上的异常事件检测

Claims (7)

1.一种用于自动探测监控视频中局部异常的检测方法，其特征在于，具体步骤为：

（1）从训练视频中检索与监控视频局部区域的运动特征最相似的若干个区域；

（2）根据检索出的这些区域，构建评估模型；

（3）根据监控视频局部区域与这个构建的评估模型的一致性，判断监控视频局部区域是否为异常。

2.根据权利要求1所述的检测方法，其特征在于，所述的检索与监控视频局部区域最相似的训练视频的若干个区域，是利用监控视频局部区域与训练视频局部区域之间的距离来找出最相似的若干个区域。

3.根据权利要求2所述的检测方法，其特征在于，所述的检索与监控视频局部区域最相似的训练视频的若干个区域，计算方法为如下两种之一：

（1a）从训练视频中找出与监控视频局部区域的检验最小的若干个区域；

（1b）从训练视频中找出与监控视频局部区域之间的L2范数距离最小的若干个区域。

4.根据权利要求1所述的检测方法，其特征在于，所述的为检索出的区域构建评估模型，是利用这些检索出的训练视频的区域的一致性构建概率模型。

5.根据权利要求4所述的检测方法，其特征在于，所述的为检索出的区域构建评估模型，计算方法为如下两种之一：

（2a）利用这些检索出的区域两两之间的检验构建高斯模型；

（2b）利用这些检索出的区域两两之间的L2范数距离构建高斯模型。

6.根据权利要求1所述的检测方法，其特征在于，所述的监控视频局部区域与这个构建的评估模型的一致性，是指监控视频局部区域服从构建的评估模型的程度。

7.根据权利要求6所述的检测方法，其特征在于，所述的监控视频局部区域与这个构建的评估模型的一致性，计算方法为如下两种之一：

（3a）计算监控视频局部区域与检索出的区域的检验服从由检索出的区域两两之间的检验构建的高斯模型的联合概率；

（3b）计算监控视频局部区域与检索出的区域的L2范数距离服从由检索出的区域两两之间的L2范数距离构建的高斯模型的联合概率；

如果联合概率小于用户指定的概率门限，则为小概率事件，那么对应的监控视频局部区域判为异常；反之，为正常。