CN105227907A

CN105227907A - 基于视频的无监督异常事件实时检测方法

Info

Publication number: CN105227907A
Application number: CN201510548355.9A
Authority: CN
Inventors: 李宏亮; 马金秀; 杨德培; 罗雯怡; 侯兴怀; 姚梦琳; 李君涵
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2015-08-31
Filing date: 2015-08-31
Publication date: 2016-01-06
Anticipated expiration: 2035-08-31
Also published as: CN105227907B

Abstract

本发明提供一种基于视频的无监督异常事件实时检测方法。本发明为了减少帧间特征点的数量，同时降低计算特征点的复杂度，采用间隔的方法检测特征点，即将视频分段，首帧检测特征点，后续只需进行跟踪。跟踪方法计算量相对较少，这样极大地降低了计算复杂度。在一段视频结束后，再重新检测特征点。得到每一个视频段的特征点后，提取运动特征点的方向、速度和位置直方图串联起来作为视频段的特征，接着对这些特征进行高斯混合建模，并实时更新，得到异常事件的概率，进而判断是否有异常事件发生从而进行异常事件实时检测。

Description

基于视频的无监督异常事件实时检测方法

技术领域

本发明涉及视频检测技术。

背景技术

随着社会经济的发展，民众对于安全的需求也在不断上升。异常事件检测作为安防监控系统的重要组成部分，受到了普遍的重视，视频监控系统性能的好坏和监控的有效性直接影响安防系统的整体效果。异常事件检测通过对监控图像文件的自动分析研究，检测出视频文件中的可疑事件并自动发动警报，并且应当能够根据当前视频监控文件中的具体事件对未来事件进行一定可信度下的事件预测分析判决。最早的视频监控主要用于刑事侦查，一般是在案件发生后进行回放，需要人工查找事件发生时的情况。由于难以确定发生的具体时间，人工搜寻耗时长，很难进行准确快速的定位，且由于人眼的限制，很多特殊场景或较小细节问题不容易察觉，造成监控失败。由于以上的限制条件，传统视频监控的缺点也逐渐显露出来。长时间观察监视器导致监控工作人员视觉神经疲劳和注意力不能集中，有时甚至会导致对潜在危险事件的忽视。由于监控图像画面的信息量较大，需要监控工作人员通过观察分析得到结论，超时观察会使监控工作人员对于图像产生视觉惯性，难以准确地根据即时监控做出判断。

此外，传统视频监控只是记录已经发生和正在发生的事件，不能对未来的事件做出预测，对即将到来的危机发出警报，智能化必定是图像监控的进一步发展趋势，通过对监控得到的图像信息进行分析学习，计算机可以智能地根据监控视频中正在发生的事件对将来的事件、动作做出预测分析，及时发出警告，避免危险的发生。

传统的异常事件检测方法大多采用监督学习的方法，需要事先标定正常事件和异常事件，但在实际生活中异常事件多种多样，难以准确描述。

无监督异常事件检测方法主要是采用光流法提取特征，主要包括光流运动直方图和多尺度光流运动直方图。但是通过光流法提取运动特征速度较慢，不能满足视频监控的实时性要求。也有利用时空滤波器检测运动目标，并提取运动目标的颜色和纹理特征直方图，这种方法检测准确率低，且也不能满足实时要求。也有采用时空梯度特征对视频进行表征，但这种方法特征维度过高，后期采用稀疏重构方法进行异常事件重构时，计算量大，复杂度过高，难以应用到实际的视频监控中。

目前，较好的方法是首先对视频分段，对于每一段视频提取多尺度光流运动直方图或多尺度时空梯度直方图，进而利用K-means算法进行聚类，得到多个类别，接着建立Parzen窗概率模型，通过后验概率计算当前视频段是否属于正常类别。若大于某一阈值，则认为该段视频发生了异常事件。该方法由于采用多尺度光流运动直方图作为特征，提取特征较为复杂，很难达到实时性要求。在进行异常事件建模时采用稀疏重构方法或聚类方法，要人工设置阈值，难以适用于多种场合。

发明内容

本发明所要解决的技术问题是，提供一种快速有效的无监督视频异常事件实时检测方法。

本发明为解决上述技术问题所采用的技术方案是，基于视频的无监督异常事件实时检测方法，包括以下步骤：

1)训练步骤：

1-1取一段实时的监控视频作为训练部分并进行分段；

1-2对于各视频段内的第一帧，通过帧间差和背景差提取运动区域，对运动区域提取边缘，再在边缘上按照间隔步长提取运动特征点；

1-3对于各视频段内的第一帧之后的每一帧对运动特征点通过快速运动估计进行跟踪，得到特征点在各视频段内的运动轨迹；

1-4对视频段内每一帧的特征点计算8个方向的运动方向直方图、8个区段的运动速度直方图以及9维的特征点位置直方图作为该帧的特征；所述9维的特征点位置直方图是将每一帧划分为3*3的网格，特征点所在的网格即为该特征点的位置；

1-5将视频段内全部帧的特征串联起来作为该视频段的运动特征；

1-6训练部分的每段视频的运动特征组成样本特征训练集，对样本特征训练集采用高斯混合建模，利用最大后验概率多次迭代得到高斯混合模型的模型参数；模型参数包括均值、协方差矩阵和先验概率；

2)检测步骤：

2-1取当前待测的实时的监控视频进行分段；

2-2对于各视频段内的第一帧，通过帧间差和背景差提取运动区域，对运动区域提取边缘，再在边缘上按照间隔步长提取运动特征点；

2-3对于各视频段内的第一帧之后的每一帧对运动特征点通过快速运动估计进行跟踪，得到特征点在各视频段内的运动轨迹；

2-4对视频段内每一帧的特征点计算8个方向的运动方向直方图、8个区段的运动速度直方图以及9维的特征点位置直方图作为该帧的特征；所述9维的特征点位置直方图是将每一帧划分为3*3的网格，特征点所在的网格即为该特征点的位置；

2-5将视频段内全部帧的特征串联起来作为该视频段的运动特征；

2-6待测的视频段的运动特征输入高斯混合模型得到当前运动特征的后验概率，再根据后验概率计算异常事件发生的概率与预设门限进行比较，当后验概率，后验概率小于预设门限则表示无异常事件出现，更新先验概率后进入一下视频段的检测；否则，表示当前视频段发生了异常事件，新建一个高斯混合模型并初始化模型参数后进入一下视频段的检测；初始化模型参数时，先验概率设置为最小值。

本发明为了减少帧间特征点的数量，同时降低计算特征点的复杂度，采用间隔的方法检测特征点，即将视频分段，首帧检测特征点，后续只需进行跟踪。跟踪方法计算量相对较少，这样极大地降低了计算复杂度。在一段视频结束后，再重新检测特征点。得到每一个视频段的特征点后，提取运动特征点的方向、速度和位置直方图串联起来作为视频段的特征，接着对这些特征进行高斯混合建模，并实时更新，得到异常事件的概率，进而判断是否有异常事件发生从而进行异常事件实时检测。

本发明的有益效果是，基于运动特征表征视频段，提取的特征简单有效，复杂度低，能够满足监控视频异常事件检测的实时性要求且能达到一个较精确的分类结果。

附图说明

图1：本发明的异常事件检测流程示意图

具体实施方式

本发明可以分为建立异常事件检测模型和测试更新两个阶段。对于实时的监控视频，选取当前一小时作为训练部分，建立异常事件检测模型，具体可以分为以下四个步骤：

步骤一：对于帧率为25帧/秒的监控视频，选取100帧，即4秒的视频作为一段小视频；

步骤二：对于每段小视频，每隔25帧检测一次特征点。采用帧间差和背景差得到运动区域，对运动区域提取边缘特征点，特征点步长为4。或者，直接对每段小视频的第一帧检测特征点。

步骤三：利用三步搜索法跟踪检测到的特征点，提取特征点的8个方向的运动方向直方图、8个区段的运动速度直方图和9个维度的位置直方图。位置直方图是将视频帧分为3*3的网格，特征点所在的网格就是该特征点的位置。将运动的方向、速度和位置直方图串联起来并进行归一化得到运动特征，具体如下公式：

F_d＝[d₁,d₂,d₃,d₄,d₅,d₆,d₇,d₈](1)

F_v＝[v₁,v₂,v₃,v₄,v₅,v₆,v₇,v₈](2)

F_p＝[p₁,p₂,p₃,p₄,p₅,p₆,p₇,p₈,p₉](3)

F₁＝[F_d,F_v,F_p](4)

其中，F_d为运动方向直方图，d₁,d₂,d₃,d₄,d₅,d₆,d₇,d₈分别为8个方向分量，F_v为运动速度直方图，v₁,v₂,v₃,v₄,v₅,v₆,v₇,v₈分别为8个速度段，F_p为运动位置直方图，p₁,p₂,p₃,p₄,p₅,p₆,p₇,p₈,p₉分别为9个运动位置分量，F₁为最终得到的当前帧的运动特征。将视频段内全部帧的特征串联起来作为该视频段的运动特征。训练部分的每段视频的运动特征组成样本特征训练集。

步骤四：对得到的样本特征训练集采用高斯混合建模，高斯混合模型概率密度函数如下式：

p (x) = Σ_{k = 1}^{K} p (x) p (x | k) = Σ_{k = 1}^{K} w_{k} N (x | u_{k}, C_{k}) - - - (5)

高斯混合模型由K类高斯分布组成，每一类高斯分布称为一个成分，这些高斯成分线性组合形成了高斯混合概率密度函数，其中

N (x | u_{k}, C_{k}) = Σ_{k = 1}^{K} w_{k} \frac{1}{{(2 π)}^{n / 2} | C_{k} |^{1 / 2}} e^{- \frac{{(F - u_{k})}^{T} C_{k}^{- 1} (F - u_{k})}{2}}

为一个高斯成分，w_k为第k类高斯成分的先验概率，u_k为第k类高斯分布的均值，n为运动特征F的维度，K为高斯分布总数。通过最大期望算法求得高斯混合模型的均值u、协方差矩阵C和先验概率w_k。

得到了异常事件的高斯混合模型后，就可进行异常事件检测，主要分为以下几个步骤：

步骤一：对于当前监控视频，按照建立异常事件检测模型的步骤一、步骤二和步骤三提取运动特征，得到当前视频段的运动特征F。

步骤二：将运动特征F输入高斯混合模型得到后验概率p，后验概率大于预设门限则表示无异常事件出现，更新模型参数后进入一下视频段的检测；否则，表示当前视频段发生了异常事件，以该特征为均值，新建一个高斯混合模型并初始化模型参数后进入一下视频段的检测；初始化模型参数时，先验概率设置为最小值，同时赋予较小的权值和较大的方差。

更新模型参数方法如下：

将当前运动特征F_t与k个高斯分布依次匹配，匹配条件如式(6)，

|F_t-u_k,t-1|≤2.5C_k,t-1(6)

下标t表示当前时刻，u_k,t-1为t-1时刻的第k类高斯分布的均值，C_k,t-1为t-1时刻的第k类高斯分布的协方差矩阵；

满足匹配条件的归入该高斯分布，并对其参数进行更新。参数更新如下：

u_k,t＝(1-λ)u_k,t-1+λF_t(7)

C_{k, t} = (1 - λ) C_{k, t - 1}^{2} + λ {(F_{t} - u_{k, t})}^{T} (F_{t} - u_{k, t}) - - - (8)

w_k,t＝(1-ε)w_k,t-1(9)

其中，λ为学习率。ε为模型的更新因子，值越大，则事件更新速度越快。新建模型类对应的先验概率很小，当多次出现匹配至该类的情况时先验概率才会增加。以达到随着时间的推进，相同的异常事件重复发生演变为正常事件的目的。

Claims

1.基于视频的无监督异常事件实时检测方法，其特征在于，包括以下步骤：

1)训练步骤：

1-1取一段实时的监控视频作为训练部分并进行分段；

2)检测步骤：

2-1取当前待测的实时的监控视频进行分段；

2-6待测的视频段的运动特征输入高斯混合模型得到当前运动特征的后验概率，再根据后验概率计算异常事件发生的概率与预设门限进行比较，当后验概率，后验概率小于预设门限则表示无异常事件出现，更新模型参数后进入一下视频段的检测；否则，表示当前视频段发生了异常事件，新建一个高斯混合模型并初始化模型参数后进入一下视频段的检测；初始化模型参数时，先验概率设置为最小值。

2.如权利要求1所述基于视频的无监督异常事件实时检测方法，其特征在于，快速运动估计采用三步搜索算法。

3.如权利要求1所述基于视频的无监督异常事件实时检测方法，其特征在于，高斯混合模型概率密度函数p(x)如下式：

p (x) = Σ_{k = 1}^{K} w_{k} N (x | u_{k}, C p (x) = Σ_{k = 1}^{K} w_{k} N (x | u_{k}, C_{k}))

其中，高斯成分函数

N (x | u_{k}, C_{k}) = Σ_{k = 1}^{K} w_{k} \frac{1}{{(2 π)}^{n / 2} | C_{k} |^{1 / 2}} e^{- \frac{{(F - u_{k})}^{T} {C_{k}}^{- 1} (F - u_{k})}{2}},

w_k为第k类高斯成分的先验概率，u_k为第k类高斯分布的均值，F为运动特征，n为运动特征F的维度，K为高斯分布总数，C_k为第k类高斯分布的协方差矩阵。

4.如权利要求1所述基于视频的无监督异常事件实时检测方法，其特征在于，更新模型参数的具体方法是：

将当前运动特征F_t与k个高斯分布依次匹配，匹配条件满足：

|F_t-u_k,t-1|≤2.5C_k,t-1

将满足匹配条件的归入该高斯分布，并对其参数进行更新。参数更新如：

u_k,t＝(1-λ)u_k,t-1+λF_t

C_{k, t} = (1 - λ) C_{k, t - 1}^{2} + λ {(F_{t} - u_{k, t})}^{T} (F_{t} - u_{k, t})

w_k,t＝(1-ε)w_k,t-1

其中，λ为学习率，ε为模型的更新因子，w_k,t-1表示t-1时刻的第k类高斯分布的先验概率。