CN102254329A - 基于运动向量归类分析的异常行为检测方法 - Google Patents

Abstract

一种基于运动向量归类分析的异常行为检测方法，包括：(1)从相邻帧之间提取当前帧的运动向量信息，相邻帧之间的运动向量信息是由多个运动向量所组成的场，其中每个运动向量对应一帧中的一个像素块或一个像素；(2)根据该些运动向量信息计算对应像素块或像素之间的时间和空间相关性；(3)根据步骤(2)得到的时间和空间的相关性，对像素块或像素的特征进行分类，从中区分包括出不规则运动向量、规则运动向量、背景向量在内的向量信息；(4)选取分类至不规则运动向量类的像素块或像素，从中提取特征信息；(5)基于步骤(4)提取的特征信息与预先设定的域值比对，确定是否存在异常行为。本发明通过对运动向量进行分类提取特性信息进行行为识别，额外复杂度低，且既能在压缩域也能在像素域实施，灵活性高。

Description

基于运动向量归类分析的异常行为检测方法

技术领域

本发明涉及的是一种视频处理分析技术领域的方法，具体是一种基于运动向量归类分析的异常行为检测方法和装置。

背景技术

异常行为检测是视频监控和视频分析中的重要内容，在社区安防、家庭护理、交通管理等方面有着广泛的应用。目前的异常行为检测算法主要是通过在视频中分割出目标并提取特征，并通过事先训练好的分类器或预设的判定条件来进行判别的。

现有的大多数异常事件检测方法都是在像素域进行的。比如：Hua Zhong等人在《2004International Conference on Computer Vision and PatternRecognition》(2004年计算机视觉和模式识别会议集)第819到826页发表的“Detecting Unusual Activity in Video”(检测视频中的非正常行为)论文中提出从原始像素域视频中提取空间直方图(spatial histogram)来表示运动区域，并通过向量量化(vector quantization)来类聚出最终的原形特征(prototype features)来检测异常行为。然而，这些基于像素域的方法大多复杂度很高，往往难以达到实时性的要求。同时，由于实际生活中大多数视频都是以压缩域的格式进行存储，在处理这些视频时，像素域方法往往需要更大的复杂度。

此外，也有一些基于变换域的检测方法提出。比如，Haowei Liu等人在《2010 International Symposium on Circuits and Systems》(2010年电路与系统会议集)第3693到3696页发表的“Video activity detection using compresseddomain motion trajectories for H.264 videos”(在H.264压缩域视频中使用运动轨迹进行行为检测)论文中提出在压缩域视频中提取目标的运动轨迹，并以此来识别目标的异常行为。这些基于变换域的算法由于是从已有的压缩视频中提取特征，其运算复杂度可以显著降低。然而现有的压缩域方法提取的特征往往过于简单而达不到令人满意的性能。因此，需要考虑更有效的异常行为检测算法，同时在算法复杂度和性能上达到优化。

发明内容

本发明针对现有方法存在的上述不足，提出了一种基于运动向量归类分析的方法。该方法通过对视频中相邻帧之间的运动向量进行分类，从而提取出运动目标的有效信息，并基于此信息进行异常行为识别。本发明中所使用的运动向量信息可以从已有的压缩域视频中提取，从而大大降低运算复杂度；也可以从像素域中直接计算得到，从而方便地嵌入到现有的大多数像素域算法框架中。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

一种基于运动向量归类分析的异常行为检测方法，包括：

(1)从相邻帧之间提取当前帧的运动向量信息，相邻帧之间的运动向量信息是由多个运动向量所组成的场，其中每个运动向量对应一帧中的一个像素块或一个像素；

(2)根据该些运动向量信息计算对应像素块或像素之间的时间和/或空间相关性；

(3)根据步骤(2)得到的时间和/或空间的相关性，对像素块或像素的特征进行分类，从中区分包括出不规则运动向量、规则运动向量、背景向量在内的向量信息；

(4)选取分类至不规则运动向量类的像素块或像素，从中提取特征信息；

(5)基于步骤(4)提取的特征信息与预先设定的域值比对，确定是否存在异常行为。

本发明的原理是，由于目标的各种行为和动作往往会在运动向量之间的时空相关性上产生不同的影响，通过对运动向量时空相关性的分析和分类，就能提取出能有效区分正常和异常行为的特征信息，从而达到异常行为检测的目的。同时，由于现有的大多数已有的压缩域视频中都已包含运动向量信息，因此本发明在对压缩域视频进行检测时，只需很少的额外计算量就能有效地进行异常行为检测。与现有技术相比，本发明通过对运动向量进行分类提取特性信息进行行为识别，额外复杂度低，且既能在压缩域也能在像素域实施，灵活性高。

附图说明

图1是本发明方法的流程图；

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例包括以下步骤：

第一步、提取相邻帧之间的运动向量信息，在本实例中，我们将当前帧图像分为16×16大小且互不交叠的正方形像素块并对每个像素块分别求其运动向量，形成一个运动向量场。提取运动向量的基本方法与Liu文中提到的H.264运动估计的算法一致。具体是指：

${\mathrm{MV}}_{(x,y)}=\underset{(x-i,y-j)}{\min }\mathrm{COST}(x-i,y-j)$

其中，MV_(x，y)是当前帧中处于(x，y)位置的像素块对应的运动向量(本实例中，我们用B(x，y)表示处于(x，y)位置的像素块，其中像素块位置指的是像素块中最左上角的像素在一帧中的位置)。(i，j)对应前一帧中像素块B(i，j)的位置，i和j的取值范围是以x和y为中心以r为半径一个矩形邻域，即x-r≤i≤x+r，y-r≤j≤y+r，在本实例中，r取值为32；COST是当前像素块和前一帧像素块的代价函数，即：

COST(x-i，y-j)＝SAD(x-i，y-j)+λ·R(mv(x-i，y-j))

其中，R(mv(x-i，y-j))是当前像素块B(x，y)和前一帧像素块B(i，j)之间向量长度的代价，λ是一个参数，在本实例中，R和λ的取值和算法与Liu文中提到的H.264运动估计算法一致。SAD(x-i，y-j)是像素块之间的绝对差值和(Sumof Absolute Difference)，即：

$\mathrm{SAD}(x-i,y-j)=\underset{k=x,l=y}{\overset{x+B,y+B}{\mathrm{\Σ}}}\left|s\right[k,l]-c[k-(x-i),l-(y-j)\left]\right|$

其中，s[k，l]是当前像素块(x，y)中的一个像素，c[k-(x-i)，l-(y-j)]是前一帧像素块B(i，j)中的一个像素；B是像素块的大小，在本实利中取16。

第二步、根据提取出的运动向量计算各像素块之间的时间和空间相关性。在本实例中，当前像素块B(x，y)的时间和空间相关性是指：

(1)COST_(x，y)：即当前像素块和其在前一帧中最匹配像素块(即MV_(x，y)对应的块)之间的代价函数值，在本实例中，可以由第一步中相同的方法计算得到。

(2)

即当前像素块的空间预测运动向量和时间预测运动向量的差值。其中，

是在前一帧中，位于(x，y)位置的像素块对应的运动向量。PMV_(x，y)是对当前像素块B(x，y)运动向量的预测值，在本实例中，可用Liu文中提到的H.264一样的方法得到，即：

${\mathrm{PMV}}_{(x,y)}=\mathrm{median}({\mathrm{MV}}_{(x,y)}^U,{\mathrm{MV}}_{(x,y)}^{\mathrm{UR}},{\mathrm{MV}}_{(x,y)}^L)$

其中，

分别代表当前像素块B(x，y)上方，右上方及左方像素块的运动向量；median(·)是取中值的操作。

运动向量差值|MV₁-MV₂|的定义为： $|{\mathrm{MV}}_1-{\mathrm{MV}}_2|=|{\mathrm{MV}}_1^x-{\mathrm{MV}}_2^x|+|{\mathrm{MV}}_1^y-{\mathrm{MV}}_2^y|,$ 其中，和

分别代表运动向量MV_i的x和y分量。

第三步、基于计算出的运动向量间时间和空间相关性对运动向量进行分类，区分出不规则运动向量、规则运动向量、及背景向量等信息。在本实例中，具体是指：

${\mathrm{Class}}_{(x,y)}=\begin{array}{}\end{array}\left\{\begin{array}{cc}1& \mathrm{if}{\mathrm{COST}}_{(x,y)}<T_1\mathrm{and}|{\mathrm{PMV}}_{(x,y)}-{\mathrm{MV}}_{(x,y)}^P|\&le;T_2\\ 2& \mathrm{if}{\mathrm{COST}}_{(x,y)}\&GreaterEqual;T_1\mathrm{and}|{\mathrm{PMV}}_{(x,y)}-{\mathrm{MV}}_{(x,y)}^P|\&le;T_2\\ 3& \mathrm{if}|{\mathrm{PMV}}_{(x,y)}-{\mathrm{MV}}_{(x,y)}|>T_2\end{array}\right.$

其中，Class_(x，y)是对当前像素块B(x，y)的分类结果。T₁和T₂是两个阈值，在本实例中，T₁和T₂分别取2000和1。COST_(x，y)及

是第二步中计算出的当前像素块B(x，y)的时间和空间相关性

在本发明中，利用运动向量之间时间和空间的相关性，可以对当前像素块运动向量的特性进行分类。在本实例中，第一类(即Class_(x，y)为1)像素块的特点是和前一帧中最匹配块有很大的相似性(即COST_(x，y)＜T₁)，同时其运动和时间和空间相临像素块的运动也十分接近(即)，运动十分规律，因此，第一类像素块可以看成是对应于背景及平滑区域的像素块。第二类(即Class_(x，y)为2)像素块的特点是和前一帧中最匹配块的相似性较小(即COST_(x，y)＞T₁)，但是其运动仍然非常规律(即

)，因此，第二类像素块可以看成是对应于拥有规则运动及复杂纹理的背景区域的像素块。剩下的第三类(即Class_(x，y)为2)像素块的特点是其运动和空间和时间相邻的像素块不一致(即

)，运动不规则且难以预测，因此，第三类像素块可以看成是对应于不规则运动的前景目标像素块。图2是利用本实例分类方法进行分类的效果图，其中，(a)是原始帧图像，(b)是第一类像素块分布，(c)是第二类像素块分布，(d)是第三类像素块分布结果，其意义和上述的分析一致。

第四步、从第三步分类出的结果中选取代表不规则运动的一类或者几类运动向量，并提取相应特征。本实例中，从第三步中分类出的第三类像素块作为代表不规则运动的类，该类像素块的分布和运动向量信息将作为特征进行前景目标提取和异常行为的检测。

第五步、基于第四步提取的特征对视频中的前景目标进行提取并对异常行为进行检测。

在本实例中，前景目标区域的方法是指：

$B(x,y)=\left\{\begin{array}{ccc}\mathrm{foreground}& \mathrm{if}& {\mathrm{Class}}_{(x,y)}=3\\ \mathrm{background}& \mathrm{if}& \mathrm{else}\end{array}\right.$

图3是用本实例的方法进行前景检测的结果示意图，其中，(a)是原始帧图像，(b)是前景检测的结果。

同时，本实例以检测摔倒及非法闯入这两个异常事件为例，其检测方法如下：

$E=\left\{\begin{array}{ccc}\mathrm{Fall}& \mathrm{if}& \underset{\left\{B(x,y)\right|{\mathrm{Class}}_{(x,y)}=2\}}{\mathrm{\&Sigma;}}{\mathrm{MV}}_{(x,y)}^Y/N\left(\right\{B(x,y)|{\mathrm{Class}}_{(x,y)}=3\})>T_3\\ \mathrm{Break}\_\mathrm{in}& \mathrm{if}& N\left(\right\{B(x,y)|{\mathrm{Class}}_{(x,y)}=3,B(x,y)\&Element;G\})>T_4\end{array}\right.$

其中，E是当前帧检测的异常事件，Fall和Break_in分别代表跌倒和非法闯入的事件.

代表像素块B(x，y)运动向量的Y分量(即垂直分量)，{B(x，y)|Class_(x，y)＝3}是第二步中被归类为第三类的像素块的集合；N({B(x，y)|Class_(x，y)＝3})是当前帧中被归为第三类的像素块的总数。N({B(x，y)|Class_(x，y)＝3，(x，y)∈G})是处于指定的区域G以内的第三类像素块的总数。T₃和T₄是两个阈值，在本实例中，分别取值为

和

其中，H是整个图像帧的高度，N({B(x，y)|B(x，y)∈G})是处于指定区域G内的像素块总个数。从以上公式，可以看出本实例中将第三类像素块作为目标前景区域，当前景区域平均垂直向下分量大于一个阈值时，便判定为摔倒。同时，当处于指定的禁区G内的前景像素块个数明显较大时，便判定为禁区闯入。

实施效果

依据上述步骤，对于我们收集的测试视频及进行分析，该测试集选取了PETS 2004，CAVIAR等数据库中的部分视频及自行拍摄的部分视频，一共有100个视频片断，包含了30个跌倒行为，30个禁区闯入行为，其余视频为各种正常时间的视频。其中，禁区闯入行为的禁区为事先指定。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)2Duo CPU E75002.93GHz，内存2GB。

结果显示，对30个跌倒行为的识别率为93.3％，对30个禁区闯入的识别率为96.7％，取得了很高的识别效率。这一实验表明，本实施例的异常行为检测算法能有效地对异常行为进行检测。

本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于运动向量归类分析的异常行为检测方法，其特征在于，包括：

(1)从相邻帧之间提取当前帧的运动向量信息，相邻帧之间的运动向量信息是由多个运动向量所组成的场，其中每个运动向量对应一帧中的一个像素块或一个像素；

(2)根据该些运动向量信息计算对应像素块或像素之间的时间和空间相关性；

(3)根据步骤(2)得到的时间和空间的相关性，对像素块或像素的特征进行分类，从中区分包括出不规则运动向量、规则运动向量、背景向量在内的向量信息；

(4)选取分类至不规则运动向量类的像素块或像素，从中提取特征信息；

(5)基于步骤(4)提取的特征信息与预先设定的域值比对，确定是否存在异常行为。

2.如权利要求1所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤(1)中从相邻帧之间提取当前帧的运动向量信息为利用下述两种方法之一实现的向量：

方法一：直接利用压缩域视频中已有运动向量作为的向量，

方法二：从像素域中利用包括运动估计或光流场在内方法生成的向量。

3.根据权利要求2所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤(1)中利用运动估计生成运动向量的方法进一步包括：

${\mathrm{MV}}_{(x,y)}=\underset{(x-i,y-j)}{\min }\mathrm{COST}(x-i,y-j)$

其中，MV(x，y)是当前帧中处于(x，y)位置的像素块对应的运动向量(本实例中，我们用B(x，y)表示处于(x，y)位置的像素块，其中像素块位置指的是像素块中最左上角的像素在一帧中的位置)。(i，j)对应前一帧中像素块B(i，j)的位置，i和j的取值范围是以x和y为中心以r为半径一个矩形邻域，即x-r≤i≤x+r，y-r≤j≤y+r，COST是当前像素块和前一帧像素块的代价函数。

4.根据权利要求3所述的利用运动估计生成运动向量的方法，在利用运动估计生成运动向量时使用的代价函数为：

COST(x-i，y-j)＝SAD(x-i，y-j)+λ·R(mv(x-i，y-j))

其中，R(mv(x-i，y-j))是当前像素块B(x，y)和前一帧像素块B(i，j)之间向量长度的代价，λ是一个参数，R和λ的具体取值和算法与Liu文中提到的H.264运动估计算法一致。SAD(x-i，y-j)是像素块之间的绝对差值和：

$\mathrm{SAD}(x-i,y-j)=\underset{k=x,l=y}{\overset{x+B,y+B}{\mathrm{\&Sigma;}}}\left|s\right[k,l]-c[k-(x-i),l-(y-j)\left]\right|$

其中，s[k，l]是当前像素块(x，y)中的一个像素，c[k-(x-i)，l-(y-j)]是前一帧像素块B(i，j)中的一个像素；B是像素块的大小。

5.根据权利要求1或4所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤(2)中包括两种当前像素块B(x，y)的时间和空间相关性：

(1)COST(x，y)：即当前像素块和其在前一帧中最匹配像素块MV(x，y)对应的块之间的代价函数值；

(2)

即当前像素块的空间预测运动向量和时间预测运动向量的差值；其中，

是在前一帧中，位于(x，y)位置的像素块对应的运动向量；PMV(x，y)是对当前像素块B(x，y)运动向量的预测值。

6.根据权利要求5所述的基于运动向量归类分析的异常行为检测方法，其特征在于，提取出的运动向量计算各像素块之间的时间和空间相关性的方法，其中对当前像素块和其在前一帧中最匹配像素块之间的代价函数进一步包含下面三种形式：

由权利要求4中定义的代价函数方法计算得到的像素块之间的绝对差值和：

$\mathrm{SAD}(x-i,y-j)=\underset{k=x,l=y}{\overset{x+B,y+B}{\mathrm{\&Sigma;}}}\left|s\right[k,l]-c[k-(x-i),l-(y-j)\left]\right|$

其中，s[k，l]是当前像素块(x，y)中的一个像素，c[k-(x-i)，l-(y-j)]是前一帧像素块B(i，j)中的一个像素；B是像素块的大小；

像素块差值经过离散余弦变换或整数变换后的直流分量的值。

7.根据权利要求5所述的基于运动向量归类分析的异常行为检测方法，其特征在于，其中对当前像素块B(x，y)运动向量的预测值PMV(x，y)为：

${\mathrm{PMV}}_{(x,y)}=\mathrm{median}({\mathrm{MV}}_{(x,y)}^U,{\mathrm{MV}}_{(x,y)}^{\mathrm{UR}},{\mathrm{MV}}_{(x,y)}^L)$

其中，分别代表当前像素块B(x，y)上方，右上方及左方像素块的运动向量；median(·)是取中值的操作；

运动向量差值|MV₁-MV₂|的定义为： $|{\mathrm{MV}}_1-{\mathrm{MV}}_2|=|{\mathrm{MV}}_1^x-{\mathrm{MV}}_2^x|+|{\mathrm{MV}}_1^y-{\mathrm{MV}}_2^y|,$ 其中，

和

分别代表运动向量MV_i的x和y分量。

8.根据权利要求5所述的基于运动向量归类分析的异常行为检测方法，其特征在于，步骤(3)进一步包括：：

${\mathrm{Class}}_{(x,y)}=\begin{array}{}\end{array}\left\{\begin{array}{cc}1& \mathrm{if}{\mathrm{COST}}_{(x,y)}<T_1\mathrm{and}|{\mathrm{PMV}}_{(x,y)}-{\mathrm{MV}}_{(x,y)}^P|\&le;T_2\\ 2& \mathrm{if}{\mathrm{COST}}_{(x,y)}\&GreaterEqual;T_1\mathrm{and}|{\mathrm{PMV}}_{(x,y)}-{\mathrm{MV}}_{(x,y)}^P|\&le;T_2\\ 3& \mathrm{if}|{\mathrm{PMV}}_{(x,y)}-{\mathrm{MV}}_{(x,y)}|>T_2\end{array}\right.$

其中，Class(x，y)是对当前像素块B(x，y)的分类结果。T1和T2是两个阈值。COST(x，y)及

是权利要求5中计算出的当前像素块B(x，y)的时间和空间相关性.

9.根据权利要求1所述的基于运动向量归类分析的异常行为检测方法，其特征在于：步骤(5)进一步包括：

$B(x,y)=\left\{\begin{array}{ccc}\mathrm{foreground}& \mathrm{if}& {\mathrm{Class}}_{(x,y)}=3\\ \mathrm{background}& \mathrm{if}& \mathrm{else}\end{array}\right.$

其中，B(x，y)是当前像素块，Class(x，y)是当前像素块的分类结果。

10.根据权利要求1所述的基于运动向量归类分析的异常行为检测方法，其特征在于：步骤(5)中提取的特征信息与预先设定的域值比对，确定是否存在异常行为进一步为：

$E=\left\{\begin{array}{ccc}\mathrm{Fall}& \mathrm{if}& \underset{\left\{B(x,y)\right|{\mathrm{Class}}_{(x,y)}=2\}}{\mathrm{\&Sigma;}}{\mathrm{MV}}_{(x,y)}^Y/N\left(\right\{B(x,y)|{\mathrm{Class}}_{(x,y)}=3\})>T_3\\ \mathrm{Break}\_\mathrm{in}& \mathrm{if}& N\left(\right\{B(x,y)|{\mathrm{Class}}_{(x,y)}=3,B(x,y)\&Element;G\})>T_4\end{array}\right.$

其中，E是当前帧检测的异常事件，Fall和Break_in分别代表跌倒和非法闯入的事件.

代表像素块B(x，y)运动向量的Y分量，{B(x，y)|Class_(x，y)＝3}是第二步中被归类为第三类的像素块的集合；N({B(x，y)|Class_(x，y)＝3})是当前帧中被归为第三类的像素块的总数。N({B(x，y)|Class_(x，y)＝3，(x，y)∈G})是处于指定的区域G以内的第三类像素块的总数，T3和T4是两个阈值。

Images