CN105184818A - 一种视频监控异常行为检测方法及其检测系统 - Google Patents

Abstract

本发明公开了一种视频监控异常行为检测方法及其检测系统，所述方法包括：获取视频图像序列，利用混合高斯模型建立背景模型；根据建立的背景模型，利用背景差除法从视频图像序列中提取出前景目标区域图像，并将其划分为若干个前景目标图像块；利用背景差除法计算每一个前景目标图像块的运动标签，并提取每一个前景目标图像块的五维特征参数；采用离线SVM分类器判断当前前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束；若为异常行为图像块，则判别该异常行为图像块所属异常行为类别。通过本发明，利用混合高斯模型进行背景建模，能够精确分割前景区域与背景区域，并能准确检测视频监控图像中的异常行为。

Description

一种视频监控异常行为检测方法及其检测系统

技术领域

本发明涉及异常行为检测技术领域，具体涉及一种视频监控异常行为检测方法及其检测系统。

背景技术

视频监控的目的就是对监视场景中的异常事件或监控对象的行为进行检测与分析。目前较成熟的视频异常行为检测包括越界、入侵禁区、徘徊、滞留、快速运动等行为。异常行为检测的实现方法通常有两类：(1)把小概率行为或与先验规则相反的行为看作异常行为；(2)把与已知正常行为的模式不匹配的行为看作异常行为。

在近年来国际顶级期刊IEEET-PAMI和计算机视觉及模式识别的顶级国际会议CVPR,ICCV等已发表论文均提到的异常行为检测算法是通过对视频结构语义的分析，针对像素块的运动标签在时间维度和空间维度的分布关系，定义了五种低维度的行为特征描述符作为视频中行为特征的表示。但是，在该论文提出的方法中，在获取前景像素时，仅使用用于了背景差除法，认为连续变化的像素即为前景，连续静止的像素即为背景，这种判别标准过于单一，对于背景复杂、变化的场景容易造成虚假报警、漏报警、跟踪困难等不良后果。

发明内容

本发明所要解决的技术问题是提供一种视频监控异常行为检测方法及其检测系统，能够准确检测视频监控图像中的异常行为。

本发明提供了如下方案：

基于本发明的一个方面，提供了一种视频监控异常行为检测方法，所述方法包括：

S1、获取视频图像序列，并根据获取的所述视频图像序列，利用混合高斯模型建立背景模型；

S2、根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像；

S3、按照预先设定大小将所述前景目标区域图像划分为若干个前景目标图像块；

S4、利用背景差除法计算每一个前景目标图像块的运动标签，并提取每一个前景目标图像块的五维特征参数，所述五维特征参数包括位置关系特征、平均运动行为强度特征、运动行为方向特征、领域相关性特征和单位运动行为强度分布特征；

S5、采用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断每一个前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束；若为异常行为图像块，则判别该异常行为图像块所属异常行为类别。

基于本发明的另一个方面，提供了一种视频监控异常行为检测系统，所述系统包括：

背景模型建立模块，用于获取视频图像序列，并根据获取的所述视频图像序列，利用混合高斯模型建立背景模型；

前景区域提取模块，用于根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像；

划分模块，用于按照预先设定大小将所述前景目标区域图像划分为若干个前景目标图像块；

运动标签计算模块，用于利用背景差除法计算每一个前景目标图像块的运动标签；

提取模块，用于根据每一个前景目标图像块的运动标签，提取每一个前景目标图像块的五维特征参数；

判断模块，用于采用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断每一个前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束；

类别判别模块，用于若所述判断模块判断出前景目标图像块为异常行为图像块，则判别该异常行为图像块所属异常行为类别。

本发明提供的一种视频监控异常行为检测方法及其检测系统，以视频图像序列为原始数据，利用混合高斯模型建立背景模型，能够减少光照变化以及场景内的背景微小变化对检测的影响；利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像，将其划分为若干个前景目标图像块，计算每一个图像块的运动标签和五维特征参数，可以精确描述前景目标图像块的运动模式，最后利用离线SVM分类器判断前景目标图像块的运动模式是否属于异常行为模式，若为异常行为模式，则利用不同类别的SVM分类器进行匹配，判别异常行为模式所属类别，细化了异常行为的分类，同时大大增加了检测的准确性。

附图说明

图1为本发明实施例一的一种视频监控异常行为检测方法流程图；

图2为本发明实施例一的整个方法处理流程图；

图3为本发明实施例二的一种视频监控异常行为检测系统示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一、一种视频监控异常行为检测方法。以下结合图2和图2对本实施例提供的方法进行详细说明。

参见图1，S1、获取频图像序列，并根据获取的所述视频图像序列，利用混合高斯模型建立背景模型。

具体的，首先，视频监控设备会采集一段时间内的视频监控图像数据，并将采集的视频监控图像数据经过压缩编码后传输给视频处理设备，视频处理设备接收到压缩编码后的视频监控图像数据后，对其进行解码，将压缩数据编码文件转换为模拟视频监控图像数据文件，并将视频监控图像处理为视频图像序列，且对视频图像序列进行预处理，包括将彩色视频图像序列转换成灰度视频图像序列，并进行直方图均衡化、中值滤波和伽玛校正等。

随后，对经过预处理后的视频图像序列，利用混合高斯模型建立背景模型，采用混合高斯模型建立背景模型能够减少光照变化以及场景内的背景微小变化对检测的影响。混合高斯模型的定义如下：

$p\left(x\right)={\Σ}_{k=1}^K{\mathrm{\π}}_{k}p\left(x\right|k)$

其中，K为模型的个数，π_k为第k个模型高斯的权值，p(x|k)为第k个模型高斯的概率密度函数，x为样本点，p(x)为样本点x的概率密度函数，本算法的混合高斯模型个数为5个。

S2、根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像。

具体的，根据上述步骤S1采用混合高斯模型建立的背景模型，并利用背景差除法从视频图像序列中提取出可能的前景目标区域图像，即监视对象可能出现的大概位置。具体的利用背景差除法提取前景目标区域图像的过程为：将获取的所述视频图像序列中的当前帧图像与建立的所述背景模型中的背景图像作差，若当前帧图像中的当前位置上的像素特征与背景图像上对应位置上的像素特征差异大于预设值，则该当前位置上的点为前景点，所述视频图像序列中每一帧图像中的所有前景点的集合构成前景目标区域图像。

S3、按照预先设定大小将所述前景目标区域图像划分为若干个前景目标图像块。

具体的，当利用背景差除法从视频图像序列中提取出前景目标区域图像后，按照预先设定大小将前景目标区域图像划分为若干个前景目标图像块。

S4、利用背景差除法计算每一个前景目标图像块的运动标签，并提取每一个前景目标图像块的五维特征参数，所述五维特征参数包括位置关系特征、平均运动行为强度特征、运动行为方向特征、领域相关性特征和单位运动行为强度分布特征。

具体的，运动标签是一种基于行为特征的异常检测算法的特征表示方法，它反映的是图像中某一像素点运动变化的运动变化情况。通过背景差除法可以计算出每个像素的运动标签，“1”代表有运动的前景，“0”代表静止的背景。运动标签有它的可解释性：一系列连续的“1”代表着忙碌的运动过程，而一系列连续的“0”代表着空闲状态。假设t时刻，图像S中的某一像素点使用表示这点的运动标签，利用了运动标签的描述方法，可以用一串二进制的数值序列反映一个像素点在时间上的运动行为变化过程。通过分析这些运动标签所产生的二进制数值序列之间的特征关系，直观反映了视频中行为在时间和空间上变化情况，进一步可以检测出视频中的异常行为。

利用背景差除法计算得到每一个前景目标图像块的运动标签之后，提取每一个前景目标图像块的五维特征参数，其中，五维特征参数包括位置关系特征、平均运动行为强度特征、运动行为方向特征、领域相关性特征和单位运动行为强度分布特征。

这里五维特征参数应当理解为5种特征，每种特征又有不同的数据维数。

(1)位置关系特征(1维实数)，其定义了该运动标签所在的区域位置。对于输入图像帧S_i，像素点P_i＝(x,y)，它的位置关系特征具体计算如下：

Pos(P_i)＝Pos(x,y)＝(y×x/n)+x/n

图像分割成多个n×n的像素块，n为块的大小。

(2)平均运动行为强度特征(Avg,Val分别为1维实数)

对于序号为(i,j)的像素块PATCH_i,j，在空间和时间两个维度上统计它的整体平均运动变化情况和分布情况，时间t∈[1,T]如下：

$Avg({\mathrm{PATCH}}_{i,j},T)=\frac{1}{T}\underset{t=1}{\overset{T}{\Σ}}\left(\frac{1}{n\×n}\underset{P_i\∈{\mathrm{PATCH}}_{i,j}}{\Σ}{M}_t\left(P_i\right)\right)$

$Val({\mathrm{PATCH}}_{i,j},T)=\frac{1}{T}\underset{t=1}{\overset{T}{\Σ}}{\[\left(\frac{1}{n\×n}\underset{P_i\∈{\mathrm{PATCH}}_{i,j}}{\Σ}{M}_t\left(P_i\right)\right)-Avg({\mathrm{PATCH}}_{i,j},t)\]}^2$

(3)运动行为方向特征(1维实数)，对于序号为(i,j)的像素块PATCH_i,j，计算它与邻域空间内的像素块的运动标签的梯度方向，如下：

$Dir({\mathrm{PATCH}}_{i,j},T)={\tan }^{-1}\left(\frac{Avg({\mathrm{PATCH}}_{i,j+1},T)-Avg({\mathrm{PATCH}}_{i,j-1},T)}{Avg({\mathrm{PATCH}}_{i+1,j},T)-Avg({\mathrm{PATCH}}_{i-1,j},T)}\right)$

(4)邻域相关性特征(4维实数)

不同的像素块之间在空间维度上存在一定的相关特征，通过这一特点，提取像素块与它邻域空间内的像素块之间的运动标签的匹配图特征，描述像素块的局部特征关系，也反映了行为在空间维度的关系。

假设在时间T内，两个像素块的运动标签序列为{M₁(P_i),...,M_t(P_i),...,M_T(P_i)}和{M₁(P_j),...,M_t(P_j),...,M_T(P_j)}，将这两个运动标签序列之间的关系比较，转化为2个长度相等的0/1字符串之间最大重叠度的计算问题，算法过程如下：

①固定某个字符串，滑动另一个字符串进行匹配。

②在字符串移动匹配过程中，计算对应位置的字符相同的个数和字符串长度之间的比例关系，并且保存下来。

③对保存的所有比例关系，选择其中最大值当做这两个字符串的匹配率Q，这就是像素块运动标签之间的相关度性特征。

通过上述过程，对于序号为(i,j)的像素块PATCH_i,j，计算其邻域空间的相关性特征，如下：Cor(PATCH_i,j,T)＝[Q_i+1,j,Q_i-1,j,Q_i,j+1,Q_i,j-1]

(5)单位运动行为强度分布特征(w+1维实数)

假设一个窗口大小为w，在时间维度上进行滑动划分，将视频序列V划分成M－w+1个窗口。对于序号为(i,j)的像素块PATCH_i,j，在第T时刻的窗口中的运动标签序列总数如下：

$Count({\mathrm{PATCH}}_{i,j},T,w)=Int\left(\underset{t=T}{\overset{T+w-1}{\Σ}}\right(\frac{1}{n\×n}\underset{P_i\∈{\mathrm{PATCH}}_{i,j}}{\Σ}{M}_t\left(P_i\right)\left)\right)$

其中Count(PATCH_i,j,T,w)∈[0,w],Int是取整函数。同时，可以计算视频序列V的基于窗体的w运动标签总和序列为：

CountSerial(PATCH_i,j,M-w+1,w)＝

{Count(PATCH_i,j,1,w),...Count(PATCH_i,j,t,w),....,Count(PATCH_i,j,M-w+1,w)}

根据上述可知，Count的取值有w+1种可能性，通过统计这w+1种值的总和所占的比例来获取该像素块的运动标签变化情况。下式定义了这w+1维单位运动行为强度分布特征。C(P_i)＝[c₀(P_i),c₁(P_i),...,c_j(P_i),...,c_w(P_i)]

其中，B表示所有运动标签总和是j的序列。

S5、采用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断每一个前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束；若为异常行为图像块，则判别该异常行为图像块所属异常行为类别。

具体的，采用离线SVM分类器进行对每一个前景目标图像块的五维特征参数测试，判断每一个前景目标图像块是否为正常行为图像块。设S＝{s₁，s₂，...s_n}为候选目标样本，即前景目标图像块的集合，F＝{f₁，f₂，...f_n}为提取的候选样本的五维特征参数，即提取的每一个前景目标图像块的五维特征参数的集合。采用已训练的离线SVM分类器检测的结果为{w，b}，则样本标签y＝{y₁，y₂，...y_n}，可表示为：

y_i＝w×f_i+b；

其中，w,b分别是分类超平面的系数，采用Libsvm训练数据形成模型(model),实质是算出了分类超平面wx+b＝0中的w,b；y为所有测试样本的预测标签集合，y1,y2...表示某一测试样本的预测标签。若y_i＞0，则认为该样本为正常，否则为异常。

针对异常行为图像块，利用不同类别的SVM分类器进行匹配，判断该异常行为图像块所属异常行为类别，若没有与该异常行为图像块匹配的异常行为类别，则将该异常行为图像块定义为未知异常行为类型图像块。最后，输出异常行为图像块在所述视频图像序列的位置区域以及该异常行为图像块的类别标签。

参见图2，图2为本实施例体用的视频监控异常行为检测整个处理过程流程图。首先获取视频图像序列，利用混合高斯模型建立背景模型，然后根据背景模型中的背景图像，利用背景差除法从视频图像序列中提取出前景目标区域图像，并按照预先设定大小将前景目标区域图像划分为若干个前景目标图像块，并计算每一个前景目标图像块的运动标签和五维特征参数，最后利用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断该前景目标图像块是否为异常行为图像块，若为正常行为图像块，则结束；若为异常行为图像块，则利用已训练好的不同类别的SVM分类器进行匹配，判断该异常行为图像块所属异常行为类别，若没有与该异常行为图像块匹配的异常行为类别，则将该异常行为图像块定义为未知异常行为类型图像块。

实施例二、一种视频监控异常行为检测系统。以下结合图3对本实施例提供的系统进行详细说明。

参见图3，本实施例提供的视频监控异常行为检测系统包括视频图像预处理模块302、背景模型建立模块302、前景区域提取模块303、划分模块304、运动标签计算模块305、特征提取模块306、判断模块307、类别判断模块308和输出模块309。

其中，视频图像预处理301，主要用于将获取的视频监控图像处理成视频图像序列，并对所述视频图像序列进行预处理，所述预处理包括将彩色视频图像序列转换为灰度视频图像序列，以及对灰度视频图像序列进行直方图均衡化、中值滤波和伽玛校正。

背景模型建立模块302，主要用于获取视频图像序列，并根据获取的所述视频图像序列，利用混合高斯模型建立背景模型。

前景区域提取模块303，主要用于根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像。

具体的，前景区域提取模块303将获取的所述视频图像序列中的当前帧图像与背景模型建立模块303建立的所述背景模型中的背景图像作差，若当前帧图像中的当前位置上的像素特征与背景图像上对应位置上的像素特征差异大于预设值，则该当前位置上的点为前景点，所述视频图像序列中每一帧图像中的所有前景点的集合构成前景目标区域图像。

划分模块304，主要用于按照预先设定大小将所述前景目标区域图像划分为若干个前景目标图像块。

运动标签计算模块305，主要用于利用背景差除法计算每一个前景目标图像块的运动标签。

特征提取模块306，主要用于根据每一个前景目标图像块的运动标签，提取每一个前景目标图像块的五维特征参数。

判断模块307，主要用于采用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断每一个前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束。

类别判断模块308，主要用于若所述判断模块判断出前景目标图像块为异常行为图像块，则判别该异常行为图像块所属异常行为类别。

具体的，针对异常行为图像块，类别判别模块308利用不同类别的SVM分类器进行匹配，判断该异常行为图像块所属异常行为类别，若没有与该异常行为图像块匹配的异常行为类别，则将该异常行为图像块定义为未知异常行为类型图像块。

输出模块309，主要用于输出异常行为图像块在所述视频图像序列的位置区域以及该异常行为图像块的类别标签。

本发明提供的一种视频监控异常行为检测方法及其检测系统，以视频图像序列为原始数据，利用混合高斯模型建立背景模型，能够减少光照变化以及场景内的背景微小变化对检测的影响；利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像，将其划分为若干个前景目标图像块，计算每一个图像块的运动标签和五维特征参数，可以精确描述前景目标图像块的运动模式，最后利用离线SVM分类器判断前景目标图像块的运动模式是否属于异常行为模式，若为异常行为模式，则利用不同类别的SVM分类器进行匹配，判别异常行为模式所属类别，细化了异常行为的分类，同时大大增加了检测的准确性。

在本说明书的描述中，参考术语“实施例一”、“实施例二”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对办发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种视频监控异常行为检测方法，其特征在于，所述方法包括：

S1、获取视频图像序列，并根据获取的所述视频图像序列，利用混合高斯模型建立背景模型；

S2、根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像；

S3、按照预先设定大小将所述前景目标区域图像划分为若干个前景目标图像块；

S4、利用背景差除法计算每一个前景目标图像块的运动标签，并提取每一个前景目标图像块的五维特征参数，所述五维特征参数包括位置关系特征、平均运动行为强度特征、运动行为方向特征、领域相关性特征和单位运动行为强度分布特征；

S5、采用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断每一个前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束；若为异常行为图像块，则判别该异常行为图像块所属异常行为类别。

2.如权利要求1所述的视频监控异常行为检测方法，其特征在于，所述步骤S1之前还包括：

获取视频监控图像，将所述视频监控图像处理成视频图像序列，并对所述视频图像序列进行预处理，所述预处理包括将彩色视频图像序列转换为灰度视频图像序列，以及对灰度视频图像序列进行直方图均衡化、中值滤波和伽玛校正。

3.如权利要求2所述的视频监控异常行为检测方法，其特征在于，所述步骤S2具体包括：

将经过预处理后的视频图像序列中的当前帧图像与建立的所述背景模型中的背景图像作差，若当前帧图像中的当前位置上的像素特征与背景图像上对应位置上的像素特征差异大于预设值，则该当前位置上的点为前景点，所述视频图像序列中每一帧图像中的所有前景点的集合构成前景目标区域图像。

4.如权利要求2所述的视频监控异常行为检测方法，其特征在于，所述步骤S5中若为异常行为图像块，则判别该异常行为图像块所属异常行为类别具体包括：

针对异常行为图像块，利用不同类别的SVM分类器进行匹配，判断该异常行为图像块所属异常行为类别，若没有与该异常行为图像块匹配的异常行为类别，则将该异常行为图像块定义为未知异常行为类型图像块。

5.如权利要求1所述的视频监控异常行为检测方法，其特征在于，所述方法还包括：

输出异常行为图像块在所述视频图像序列的位置区域以及该异常行为图像块的类别标签。

6.一种视频监控异常行为检测系统，其特征在于，所述系统包括

背景模型建立模块，用于获取视频图像序列，并根据获取的所述视频图像序列，利用混合高斯模型建立背景模型；

前景区域提取模块，用于根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像；

划分模块，用于按照预先设定大小将所述前景目标区域图像划分为若干个前景目标图像块；

运动标签计算模块，用于利用背景差除法计算每一个前景目标图像块的运动标签；

提取模块，用于根据每一个前景目标图像块的运动标签，提取每一个前景目标图像块的五维特征参数；

判断模块，用于采用离线SVM分类器对每一个前景目标图像块的五维特征参数进行测试，判断每一个前景目标图像块是否为正常行为图像块，若为正常行为图像块，则结束；

类别判别模块，用于若所述判断模块判断出前景目标图像块为异常行为图像块，则判别该异常行为图像块所属异常行为类别。

7.如权利要求6所述的视频监控异常行为检测系统，其特征在于，所述系统还包括：

视频图像预处理模块，用于将获取的视频监控图像处理成视频图像序列，并对所述视频图像序列进行预处理，所述预处理包括将彩色视频图像序列转换为灰度视频图像序列，以及对灰度视频图像序列进行直方图均衡化、中值滤波和伽玛校正。

8.如权利要求6所述的视频监控异常行为检测系统，其特征在于，所述前景区域提取模块，用于根据建立的所述背景模型，利用背景差除法从获取的所述视频图像序列中提取出前景目标区域图像具体包括：

将获取的所述视频图像序列中的当前帧图像与建立的所述背景模型中的背景图像作差，若当前帧图像中的当前位置上的像素特征与背景图像上对应位置上的像素特征差异大于预设值，则该当前位置上的点为前景点，所述视频图像序列中每一帧图像中的所有前景点的集合构成前景目标区域图像。

9.如权利要求6所述的视频监控异常行为检测系统，其特征在于，所述判别模块，用于若所述判断模块判断出前景目标图像块为异常行为图像块，则判别该异常行为图像块所属异常行为类别具体包括：

针对异常行为图像块，利用不同类别的SVM分类器进行匹配，判断该异常行为图像块所属异常行为类别，若没有与该异常行为图像块匹配的异常行为类别，则将该异常行为图像块定义为未知异常行为类型图像块。

10.如权利要求7所述的视频监控异常行为检测系统，其特征在于，所述系统还包括：

输出模块，用于输出异常行为图像块在所述视频图像序列的位置区域以及该异常行为图像块的类别标签。