CN106033548B

CN106033548B - 基于改进字典学习的拥挤人群异常检测方法

Info

Publication number: CN106033548B
Application number: CN201510112141.7A
Authority: CN
Inventors: 袁媛; 卢孝强; 冯亚闯
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Priority date: 2015-03-13
Filing date: 2015-03-13
Publication date: 2021-04-20
Anticipated expiration: 2035-03-13
Also published as: CN106033548A

Abstract

本发明公开了一种基于改进字典学习的拥挤人群异常检测方法，主要解决字典学习过程中没有重点关注典型事件编码的问题，以及相似样本编码差异较大的问题。其实现步骤是：(1)事件特征提取；(2)挖掘训练数据中的典型事件类型；(3)学习训练样本间的关系；(4)构建目标函数，学习字典；(5)在测试视频上检测异常的样本；(6)统计实验结果，计算异常检测算法精度。本发明与现有方法相比，探索了视频数据中潜在的典型事件类型，使学到的字典更适用于特定的视频集，增大了异常事件的可区分性。同时，训练数据的空间信息被有效利用，提高了编码的有效性，并提高了异常检测的精度，可用于公共安全智能管理、军事侦察以及刑侦辅助等领域。

Description

基于改进字典学习的拥挤人群异常检测方法

技术领域

本发明属于信息处理技术领域，特别涉及一种异常事件检测技术，可用于公共安全、智能管理、军事侦察以及刑侦辅助等领域。

背景技术

近年来随着整个社会对安全防护意识的不断加强，以及图像处理、机器视觉和网络传输等计算机技术的迅速发展，视频智能监控得到了蓬勃的发展。目前的视频监控主要还是由人来完成。科学研究表明，当安防人员同时面对几十乃至几百个摄像机屏幕时，超过10分钟就容易产生疲劳和走神，从而漏掉90％的视频信息。同时对于海量数据的事后查询检索依靠人力的办法显得费时费力(研究表明，99.9％的人力是浪费的)，甚至贻误时效性。视频异常事件检测技术是智能视频监控技术中的一个关键课题，它应用于一些特定场景中，比如医院、交通路口、银行、停车场、商场、机场、森林以及人较多的公共场所。目的是采用图像处理和计算机视觉等技术从视频数据绝大多数正常事件中检测出少量异常事件，并及时发出报警信号便于工作人员应对。

拥挤人群是异常事件检测问题中最具有挑战性的场景，主要是由于场景中的运动目标比较多，目标运动复杂，彼此之间出现频繁的遮挡。目前，已有的拥挤场景异常检测算法包括以下两类：

一是基于混合动态纹理的方法，这种方法致力于提取一组潜在动态纹理，来模拟给定的视频序列。Mahadevan等人在文献“V.Mahadevan,W.Li,V.Bhalodia,andN.Vasconcelos,Anomaly Detection in Crowded Scenes.In Proc.IEEE Conference onComputer Vision and Pattern Recognition,pages 1975-1981,2010”中提出时间和空间联合的异常探测器。该方法利用混合动态纹理对视频块的表观和动态进行表达。在时间维，模型表达概率低的视频块被认为是异常块；在空间维，视频块的表达系数与周围块系数不一致的被认为是异常。这种方法充分考虑了视频的表观和动态变化，同时在时间维和空间维进行了分析。但由于拥挤人群的复杂性，要充分进行表达就需要多个动态纹理进行混合，使得计算复杂度非常高。

二是基于稀疏表达的方法。这种方法的核心思想是通过学习一组过完备的正常基底，使得训练样本在这组基底上的重构误差非常小。Cong等人在文献“Y.Cong,J.Yuan,andJ.Liu,Sparse reconstruction cost for abnormal event detection.In Proc.IEEEConference on Computer Vision and Pattern Recognition,pages 3449–3456,2011”中提出一种字典学习方法。该方法认为被选中频率高的基底更可能是需要的正常基底，同时在目标函数稀疏约束中降低该基底系数的权重。然而，这种方法并没有考虑视频中主要包含什么样的事件，以及这些事件的编码情况。也没有考虑样本的分布情况对编码的影响，由于学到的字典是过完备的，这就使得相似的样本可能出现差异非常大的编码，降低异常检测的精度。

发明内容

本发明的目的在于针对上述现有方法的不足，提出一种基于改进字典学习的异常检测方法。该方法从原始训练数据中学习典型事件类型，同时挖掘样本空间的分布信息。

实现本发明目的的技术方案是：

一种基于改进字典学习的拥挤人群异常检测方法，其特殊之处是：包括以下步骤：

(1)视频事件特征提取；

(1a)将视频分为训练视频和测试视频；

(1b)利用超像素分割算法将每一帧训练视频和测试视频分割成若干超像素；

(1c)计算每帧训练视频和测试视频的光流图，并在每个超像素内对光流信息进行统计得到光流直方图特征；训练视频和测试视频的光流直方图特征分别组成训练样本集X和测试样本集Y；

(2)挖掘步骤(1c)得到的训练样本集X数据中典型事件类型；

(2a)在训练样本集X上训练高斯混合模型；高斯混合模型中的类中心μ就是数据中潜在的典型事件类型；每类典型事件具有一个相应的典型事件编码β；

(2b)每个训练样本的编码α应该与对应典型事件的编码β相似，相似的程度由两者间的相关系数决定，即

j∈C_k，得到的编码应该满足如下目标式

其中C_k表示第k个事件类型；

(3)学习步骤(1c)得到的训练样本集X中样本的空间分布；

计算训练样本间的距离，选择与每个训练样本距离最近的n个训练样本构建图模型；图模型中边的权重由下式计算

式中σ是高斯分布的尺度参数；

将训练样本间的图模型关系拓展到训练样本的编码α上，使得相似的训练样本具有相似的编码，相似程度由W_ij决定，W_ij值越大表示x_i与x_j越相似，具体可以表示为如下目标式

(4)构建字典学习框架，学习改进后的字典；

综合步骤(2)和(3)中的目标式，得到最终的目标函数如下

其中D、A＝{α_j|j＝1,2…}和β分别是要求的字典、训练样本集的编码和典型事件的编码；

是图拉普拉斯矩阵；λ，η和ν是调节各项的权重参数；

通过加速的近似梯度算法优化上式得到期望的字典D、训练样本的编码α和典型事件的编码β；

(5)估计步骤(1)得出的测试样本集Y中测试样本y的事件类型，并计算其编码；

(5a)将测试样本y带入步骤(2)学到的高斯混合模型，预估对应的事件类型；

(5b)根据步骤(5a)预估的测试样本的事件类型对其进行编码，利用如下目标式

求解测试样本y的编码s，式中D和β分别是步骤(4)学习得到的字典和典型事件编码；λ，η是调节各项的权重参数；c是编码s与β的相关系数。

优选的在上述步骤之后还包括步骤(6)：

计算测试样本的重构误差，并计算算法的检测精度；

(6a)测试样本y的重构误差可表示为

(6b)通过上式计算每一个超像素的重构误差，给定一个阈值ξ判断每个超像素是否异常；

算法的检测精度采用以下两个指标：

(6b1)帧层的精度；在异常帧上只要有一个像素被检测到就认为该帧是一个正确的检测；

(6b2)像素层的精度；在异常帧上只有超过40％的异常像素被准确检测到才认为该帧是正确的检测。

优选的上述步骤(3)中n等于10。

本发明的优点是：

本发明由于在训练数据中挖掘出了典型的事件类型，因此在同源的测试数据中正常的样本被更好的表达，增大了异常样本与正常样本编码间的差异，使得异常的样本更容易区分。同时探索了样本间的相似性，使得相似样本间的编码也相似，提高了编码的可靠性。

下面结合附图，对本发明实现的步骤作进一步的详细描述：

附图说明

图1为本发明基于改进字典学习的异常检测方法流程图；

图2(a)为本发明在数据集上运行得到的帧层ROC曲线；

图2(b)为本发明在数据集上运行得到的像素层ROC曲线；

图3为本发明在数据集上运行得到的可视化结果。

具体实施方式

参照图1，本发明实现的步骤如下：

步骤1，事件特征提取。

(1a)将视频分为训练视频和测试视频；

(1b)利用超像素分割算法将每一帧视频分割成若干超像素，这样可以使每个超像素的目标内容基本相似。

(1c)计算每帧视频的光流图，并在每个超像素内对光流信息进行统计得到HOF(光流直方图)特征。训练和测试视频内超像素的HOF特征分别组成训练样本集X和测试样本集Y。

步骤2，挖掘典型事件类型。

(2a)在训练样本集X上利用高斯混合模型算法进行聚类，得到高斯混合模型的参数信息。高斯混合模型算法不仅考虑了样本与类中心的关系，同时考虑了聚类大小的信息。把得到的类中心μ作为训练视频中潜在的典型事件类型，每个训练样本样本都具有一个事件类别。

(2b)学习得到典型事件μ的编码β，每个样本的编码α应该与对应的β相似。相似的程度由两者间的相关系数决定，即

j∈C_k(C_k是第k个事件类型)。c值越大表示x与μ越相似。因此，我们期望得到的编码应该满足下式

步骤3，学习样本的空间分布。

计算训练样本间的距离，选择与每个训练样本距离最近的10个训练样本构建图模型；图模型中边的权重由下式计算

式中σ是高斯分布的尺度参数；

步骤4，构建字典学习框架，学习改进后的字典。

综合步骤2和3，得到最终的目标函数如下

其中D、A＝{α_j|j＝1,2…}和β分别是要求的字典、训练样本和典型事件的编码，

是图拉普拉斯矩阵。λ，η和ν是调节各项的权重参数。

通过APG(加速的近似梯度)算法优化上式可以得到期望的字典D、训练样本的编码α和典型事件编码β。

步骤5，估计测试样本的事件类型，并计算其编码。

(5a)将测试样本y带入步骤2学到的高斯混合模型，预估对应的事件类型。

(5b)根据测试样本的事件类型对其进行编码β，利用如下目标式

求解测试样本y的编码s，式中D和β分别是步骤4学习得到的字典和典型事件编码；λ，η是调节各项的权重参数；c是编码s与β的相关系数。

步骤6，计算测试样本的重构误差，并计算算法的检测精度。

(6a)测试样本y的重构误差可表示为

(6b)通过上式可以计算每一个超像素的重构误差，此时给定一个阈值ξ可以判断每个超像素是否异常。算法的检测精度通常采用以下两个指标：

(6b1)帧层(frame-level)的精度。在异常帧上只要有一个像素被检测到就认为该帧是一个正确的检测(true positive，TP)；

(6b2)像素层(pixel-level)的精度。在异常帧上只有超过40％的异常像素被准确检测到才认为该帧是正确的检测。

在上述两种情况中，只要在正常帧上有一个像素被错误检测就认为是错误的检测(false positive，FP)。假设测试视频中异常的帧数为P，正常的帧数为N，则可以计算正确检测的比率(true positive rate，TPR)和错误检测的比率(false positive rate，FPR)：TPR＝TP/P，FPR＝FP/N。通过改变阈值ξ，可以得到一系列的TPR和FPR。分别以FPR和TPR为横、纵坐标可以画出ROC(receiver operating characteristic)曲线。定量的对比指标包括ROC曲线下的面积值和ROC曲线与主对角线交点处的FPR值和TPR值，分别表示为AUC(areaunder curve)，EDR(equal detected rate)和EER(equal error rate)。

本发明的效果可以通过以下实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i3-2130 3.4GHZ、内存16G、WINDOWS 7操作系统上，运用MATLAB软件进行的仿真。

实验中使用的视频数据库是加利福尼亚大学圣迭戈分校的UCSD异常事件检测数据库，其视频由校园内的固定摄像头拍摄的。拍摄的内容没有任何的人为干预，全是自然情况下发生的行为。其中正常的视频内只包含行人在道路上行走，而异常的视频中会出现滑滑板、骑自行车、践踏草坪等行为，也会出现汽车、手推车等非行人的目标。

2.仿真内容

首先，在UCSD数据集上，完成本发明算法(基于改进字典学习的异常检测算法)的实验。为了证明算法的有效性，综合考虑算法的流行性、崭新性，我们选取了6个对比方法进行比较。帧层和像素层的ROC曲线如图2所示，定量的检测精度如表1和表2所示。

表1帧层检测精度

表2像素层检测精度

其中的对比算法分别为：

MDT和SF-MPPCA的实验结果，来自文献V.Mahadevan,W.Li,V.Bhalodia,andN.Vasconcelos,Anomaly Detection in Crowded Scenes.In Proc.IEEE Conference onComputer Vision and Pattern Recognition,pages 1975-1981,2010.

MPPCA的实验结果，来自文献J.Kim and K.Grauman,Observe locally,inferglobally:A space-time MRF for detecting abnormal activities with incrementalupdates.In Proc.IEEE Conference on Computer Vision and Pattern Recognition,2009,pp.2921–2928.

SF的实验结果，来自文献R.Mehran,A.Oyama,and M.Shah,Abnormal crowdbehaviordetection using social force model.InProc.IEEE Conference onComputerVision and Pattern Recognition,2009,pp.935–942.

Adam的实验结果，来自文献A.Adam,E.Rivlin,I.Shimshoni,and D.Reinitz,Robust real-timeunusual event detection using multiple fixed-locationmonitors.IEEETransactions on Pattern Analysis and Machine Intelligence,vol.30,no.3,pp.555–560,2008.

SRC的实验结果，来自文献Y.Cong,J.Yuan,and J.Liu,Sparse reconstructioncost for abnormal event detection.In Proc.IEEE Conference on Computer Visionand Pattern Recognition,2011,pages 3449–3456.

从图2和表1表2可以看出，本发明在帧层和像素层的检测精度比现有的异常检测方法都好。这是因为本发明挖掘了训练集中的潜在典型事件类型，以及样本与典型事件间的关系，使得异常与正常样本的差异更加显著。同时约束相似样本的编码也相似，提高了编码的可靠性，从而提高了异常检测的精度。

部分可视化的对比结果如图3所示，其中(I)表示真实的异常目标，(II)是MDT的结果，(III)是SF-MPPCA的结果，(IV)是SRC的结果，(V)是我们方法的结果。可以看出我们的方法比大部分算法的定位都要精确。在第二幅图像中，SRC的定位结果比我们好一点，这是因为SRC在每个位置都学习一个字典。而在同样条件下，我们的方法一定可以得到更精确的检测。