CN103150579A - 一种基于视频序列的人体异常行为检测方法 - Google Patents

Abstract

本发明是一种基于视频序列的人体异常行为检测方法。首先，对摄像头采集到的视频图像序列进行运动目标检测；接着提取运动人体区域的运动特征、并使用非负矩阵分解对运动区域进行特征降维，作为运动目标的局部特征；然后将运动特征和局部特征的进行融合，作为运动行为的特征向量；然后采用基于“投票法”的SVM多类分类器进行运动行为的识别和分类，对识别的运动目标行为做出评判。本分明在降维的同时进行了多特征融合，提高了分别识别性能。本发明应用于智能视频监控，自动分析公共场所中运动人体的行为，对异常行为做出判断，使计算机协助人活着代替人完成监控任务。

Description

一种基于视频序列的人体异常行为检测方法

技术领域

本发明涉及一种基于视频序列的人体异常行为检测方法，属于涉及图像处理和计算机视觉技术领域，尤其涉及视频中异常行为的检测方法。

背景技术

智能监控技术是计算机视觉的一个重要应用领域，在军用和民用中都有极大的研发和应用价值，智能视觉监控这项技术主要是用在对安全要求敏感的场合，如ATM机、银行、商店、停车场、机场、政府大楼、军事基地、码头等。然而，现有的视频监控系统大多只是进行场景内运动目标的检测或跟踪，进行进一步处理的比较少，而生活中监控的目的就是对场景中的异常事件或人的异常行为进行检测和分析。智能视频监控对异常行为的检测不仅可以及时发现不正当行为，告知工作人员及时处理，阻止不法行为的发生，而且可节省大量的存储空间，避免不法行为发生后工作人员海量的查找和取证。

目前人体行为识别的方法主要分为两类：模板匹配法和状态空间法。前者是将视频序列转换为一组态形状模式，然后将其与预先保存好的模板进行比较，选择与测试序列距离最小的模板所属类别作为被测试序列的最终识别结果，该方法虽然简单，但缺乏考虑相邻帧间的动态特性，难以取得较好的效果；后者定义每个静态姿势作为一个状态，将这些状态之间通过某种概率联系起来，任何运动序列可以看作是这些静态姿势的不同状态之间的一次遍历过程，在整个遍历过程中计算联合似然值并将最大值作为行为分类的标准，该方法能够较好地刻画人体行为的本质特征，但每一帧行为特征值的提取对结果的影响比较大。虽然现在有一些特征提取方法可以用来提取行为帧的特征值，如Hu矩，R变换等，但是采用这些方法的人体行为识别率不高，难以达到应用要求。因此，提取行为帧中更优的特征值，从而提高人体行为分析的识别率，是一个十分迫切需要解决的问题。

发明内容

本发明的目的是提供一种有效的基于视频序列中人体异常行为检测方法，亦可用来对公共场所异常行为进行监控，从而解决目前在人体行为识别中使用的特征提取方法无法很好的提取行为特征而导致识别率不好的问题。

为了达到上述目的，本发明的技术方案是提供了一种基于视频序列的人体异常行为检测方法，其特征在于，步骤为：

第一步、建立行为模型数据库：

步骤1.1、通过摄像头和WDM视频采集卡采集训练行为视频图像序列，作为训练样本；

步骤1.2、提取训练行为视频图像序列中运动人体的运动特征及局部特征，将运动特征及局部特征相结合，组成一组训练特征向量；

步骤1.3、将训练特征向量作为输入，利用机器方法进行学习从而得到行为模型数据库；

第二步、人体行为判断：

步骤2.1、通过摄像头和WDM视频采集卡采集实时行为视频图像序列；

步骤2.2、提取实时行为视频图像序列中运动人体的运动特征及局部特征，将运动特征及局部特征相结合，组成一组实时特征向量；

步骤2.3、将实时特征向量作为输入，利用行为模型数据库采用机器方法对识别的运动人体区域的行为做出评判。

优选地，所述步骤1.2及所述步骤2.2包括：

步骤S1、从训练行为视频图像序列或实时行为视频图像序列中提取运动人体，其步骤为：

步骤S11、对训练行为视频图像序列或实时行为视频图像序列利用混合高斯模型进行背景建模；

步骤S12：利用背景差分法将运动人体区域从背景模型中提取出来；

步骤S13：利用帧间差分法从训练行为视频图像序列或实时行为视频图像序列中提取运动人体区域；

步骤S14：将步骤S12和步骤S13中提取出来的运动人体区域进行与运算，提取出新的运动人体区域；

步骤S15：对通过步骤S14得到的运动人体区域利用形态学滤波的方法进行阴影的去除和空洞的弥补以及连通域的处理，得到运动人体；

步骤S2、利用NMF算法提取运动人体的局部特征；

步骤S3、提取运动人体的运动特征，该运动特征至少包括长宽比、占空比及周长比，其中，长宽比定义为运动人体外接矩形的长跟宽的比，占空比定义为前景图中运动人体区域的面积与运动人体外接矩形面积之比，周长比定义为运动人体边缘周长与运动人体外接矩形周长的比值；

步骤S4、将运动人体的局部特征与运动特征相结合，组成一组训练特征向量或实时特征向量。

优选地，在所述步骤1.3中，利用SVM分类器进行学习，其步骤为：首先，构造

个分类器，k为训练样本的类别数；其次，对各类训练样本的训练特征向量进行标记，分别取k类训练样本中的任意两类所对应的训练特征向量作为训练集，进行训练。

优选地，在所述步骤2.3中，利用SVM分类器对识别的运动人体区域的行为做出评判的步骤为：把待识别的实时特征向量分别对个分类器进行测试，然后采取投票的形式进行分类和识别。

本发明的有益效果是：本发明采用多特征融合的思想，将运动特征和局部特征想结合，并采用多类机器学习的方法进行运动人体目标的识别，增加了运动速度，提高了有效性。本发明可用来对公共场所异常行为进行识别和监控，减少了监控人员的工作量，提高了公共场所的安全性。

附图说明

图1为基于视频序列中人体异常行为检测的流程图；

图2为训练行为原始矩阵的获取方式的示意图；

图3A为基于视频序列中人体异常行为检测的训练算法流程；

图3B为基于视频序列中人体异常行为检测的识别算法流程。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

本发明方法所需要的硬件最低配置：512M内存计算机；最低分辨率为320*240的摄像头或者监控器；帧率为25帧/S的视频采集卡。

图1给出了基于视频序列中人体异常行为检测的流程图，该流程图主要包括三个模块：一、前景提取模块，该模块主要功能是提取出运动人体。二、特征选择和提取模块，该模块的功能是提取运动人体的运动特征和局部特征，并将局部特征和运动特征进行融合，同时该模块也起到了降维的作用。三、行为检测模块，该模块的功能是对待识别的行为进行分类与识别。

其步骤为：

第一步、建立行为模型数据库：

步骤1.1、通过摄像头和WDM视频采集卡采集训练行为视频图像序列，作为训练样本；

步骤1.2、提取训练行为视频图像序列中运动人体的运动特征及局部特征，将运动特征及局部特征相结合，组成一组训练特征向量；

步骤1.3、将训练特征向量作为输入，利用机器方法进行学习从而得到行为模型数据库；

第二步、人体行为判断：

步骤2.1、通过摄像头和WDM视频采集卡采集实时行为视频图像序列；

步骤2.2、提取实时行为视频图像序列中运动人体的运动特征及局部特征，将运动特征及局部特征相结合，组成一组实时特征向量；

步骤2.3、将实时特征向量作为输入，利用行为模型数据库采用机器方法对识别的运动人体区域的行为做出评判。

下面详细地给出各个步骤的细节说明。

运动人体的提取，首先由采集到的图像序列基于混合多高斯构建背景图像模型，接着由当前输入图像与背景模型进行差分并做二值化处理，其具体步骤为：

步骤S11、对训练行为视频图像序列或实时行为视频图像序列利用混合高斯模型进行背景建模；

步骤S12：利用背景差分法将运动人体区域从背景模型中提取出来；

步骤S13：利用帧间差分法从训练行为视频图像序列或实时行为视频图像序列中提取运动人体区域；

步骤S14：将步骤S12和步骤S13中提取出来的运动人体区域进行与运算，提取出新的运动人体区域；

步骤S15：对通过步骤S14得到的运动人体区域利用形态学滤波的方法进行阴影的去除和空洞的弥补以及连通域的处理，得到运动人体。

局部特征的提取：

在本发明中，基于NMF进行运动人体的局部特征的提取。NMF的基本思想大致描述如下：

首先假设处理的对象是一个空间大小为m×n的矩阵样本数据，该样本数据中的各个元素都是非负的，用V_m×n来表示，然后对矩阵V_m×n进行线性分解，即寻找到两个非负矩阵，近似的使得：

$V_{m\×n}\≈{\hat{V}}_{m\×n}=W_{m\×r}{H}_{r\×n}---\left(1\right);$

其中W_m×r为基矩阵且W_m×r≥0，H_r×n为系数矩阵且H_r×n≥0，r必须满足r＜mn/(m+n)或者r＜＜min(m，n)，这样基矩阵W_m×r和系数矩阵H_r×n中的元素数目小于原始矩阵V_m×n中元素数目，达到了对矩阵进行降维处理的效果，同时也可以减少数据存储空间。

为了得到一个近似于

的分解过程，必须要定义目标函数，这样我们就能保证达到相应的逼近效果。NMF求解的目标函数可分为很多种，主要是通过利用两个非负矩阵A，B之间的距离来计算。

其中一个比较常用的就是A和B之间的欧氏距离，这个距离可以表示为：

${\left|\right|A-B\left|\right|}^2=\underset{\mathrm{ij}}{\mathrm{\Σ}}{(A_{\mathrm{ij}}-B_{\mathrm{ij}})}^2---\left(2\right);$

当且仅当A＝B时，式(2)可以取得最小值0，若以此作为NMF算法的目标函数，即选Min||V_m×n-W_m×rH_r×n||²，对于任意的W_m×r及H_r×n，要求W_m×r及H_r×n均大于0。

另外一个比较常用的是采用K-L散度来衡量A与B之间的距离，这个距离可以表示为：

$D\left(A\right|\left|B\right)=\underset{i,j}{\mathrm{\Σ}}(A_{\mathrm{ij}}\log (A_{\mathrm{ij}}/B_{\mathrm{ij}})-A_{\mathrm{ij}}+B_{\mathrm{ij}})---\left(3\right);$

同样，当且仅当A＝B时，式(3)可以取得最小值0，若以此作为NMF算法的目标函数，即选MinD(V_m×n||W_m×rH_r×h)，对于任意的W_m×r及H_r×n，要求W_m×r及H_r×n均大于0。

对于以上两个优化问题，迭代规则如下：

对于问题一，迭代规则如下：

$H_{\mathrm{ij}}\←H_{\mathrm{ij}}\frac{{\left(W^{T}V\right)}_{\mathrm{ij}}}{{\left(W^T\mathrm{WH}\right)}_{\mathrm{ij}}}---\left(4\right);$

$W_{\mathrm{ki}}\←W_{\mathrm{ki}}\frac{{\left({\mathrm{VH}}^T\right)}_{\mathrm{ij}}}{{\left({\mathrm{WHH}}^T\right)}_{\mathrm{ki}}}---\left(5\right);$

其中，ij和ki均为矩阵的下标，表示矩阵在第i(k)行和j(i)列的值。

在计算过程中，首先选取非负初始矩阵W和H，按照上述迭代规则，当W和H趋于稳定时，||V-WH||²单调不增，即||V-WH||²达到局域最小值。

对于问题二，迭代规则如下：

$H_{\mathrm{dj}}\←H_{\mathrm{dj}}\frac{\underset{i}{\mathrm{\Σ}}{w}_{\mathrm{id}}{V}_{\mathrm{ij}}/{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}{\underset{k}{\mathrm{\Σ}}{W}_{\mathrm{kd}}}---\left(6\right);$

$W_{\mathrm{td}}\←W_{\mathrm{td}}\frac{\underset{i}{\mathrm{\Σ}}{H}_{\mathrm{dj}}{V}_{\mathrm{ij}}/{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}{\underset{k}{\mathrm{\Σ}}{H}_{\mathrm{dk}}}---\left(7\right);$

同样，在计算过程中，首先选取非负初始矩阵W和H，按照上述迭代规则，当W和H趋于稳定时，D(V||WH)单调不增，即D(V||WH)达到局域最小值。

利用NMF算法进行运动人体局部特征提取过程如下：(1)读入行为数据库。将每一帧二维的运动人体图像数据读入，并将二维数据向量转化为一维的向量，按顺序连成一列，那么一个包含N帧的训练行为序列就可以得到一个包含N列的原始矩阵V_i，图2给出了原始矩阵V_i的获取方式。然后将M个训练行为序列所得到的原始矩阵按列方式组合在一起，得到一个具有N×M列的总样本数据矩阵V；(2)分解矩阵。将总样本数据矩阵V进行非负矩阵的分解，获得基矩阵W和系数矩阵H，分解原理参看公式(1)。分解方法为按公式(2)和公式(3)对W和H进行迭代更新，直接||V-WH||²收敛。(3)获得训练行为的特征向量。以基矩阵W的列向量为基向量构造特征子空间，将每一个训练行为序列的原始矩阵V_i投影到该特征子空间，得到该行为序列的特征向量e_i，计算公式如下：

e_i＝W^TV_i    (8)；

按列组合e_i可得各类训练行为特征矩阵E_i。

运动特征的提取，包括三种运动特征：最小矩形长宽比、占空比、周长比。

下面给出三种运动特征的定义：

长宽比：定义目标外接矩形的长跟宽的比为该目标的长宽比。虽然此特征能很好的描述目标的形状信息，但当目标旋转时该特征值将发生变化，从而影响对目标描述的准确性。

占空比：定义为前景图中目标区域的面积与目标外接矩形面积之比，该特征具备平移和旋转不变性，反映了目标的覆盖度的情况。对于目标区域的面积就是目标像素数，对于目标外接矩形的面积就是目标的最小外接矩形内的像素数。

周长比：表示目标边缘周长与目标外接矩形周长的比值。在数字图像中，目标边缘周长就等于目标边缘像素点的个数，这个特征量反映了目标的轮廓特征的情况

上述的三个目标特征量可以对目标(即运动人体)有一个全面的描述。

分别取每个训练行为序列的长宽比、占空比、周长比的均值、方差和标准差9个特征值作为运动特征W_k(k＝1～9)，加入到上述NMF提取的该行为序列的特征向量e_i之后，组成一组新的特征向量F_i，记作F_i＝[e_i，W_k]^T。

根据局部特征及运动特征进行训练用于实现人体异常行为识别的分类器。下面主要介绍基于SVM分类器的基本思想和分类过程。

SVM的基本思想是通过某种事先选择的非线性映射，将输入向量映射到一个高维的特征空间，把要求的非线性问题变成高维空间中的线性问题。在高维空间中构造一个最优线性分类面，使得不仅能够把两类分开，而且使两类的分类间隔最大。

在线性不可分的情况下，所得广义最优分类面的对偶问题与线性可分情况下的几乎相同，而对于非线性问题，可以通过非线性变换转化为某个高维空间中的线性问题，在变化空间中求最优分类面，支持向量机对于此类的非线性变换，采用核函数的思想来实现高维空间的点积，只需要选择适当核函数，就可以避免求解非线性映射函数的具体显示，在运算中，也巧妙的解决了高维空间计算带来的“维数灾难”问题。目前核函数主要有一下四种：

(1)线性核函数：K(x·x_i)＝<x·x>；

(2)多项式核函数：K(x·x_i)＝(<x·x_i>+1)^d，d＝1，2，......;

(3)径向基核函数：K(x·x_i)＝exp(-g||x-x_i||²);

(4)Sigmoid核函数：K(x·x_i)＝tan[b<x·x>-c]；

SVM主要是要用来解决二分类问题的，本发明，为了实现多分类的目的，采用“投票法”的分类策略，该方法是在每两类间训练一个分类器，因此对于一个k类问题，将有k(k-1)/2个分类函数。当对一个未知样本进行分类时，每个分类器都对其类别进行判断，并为相应的类别“投上一票”，最后得票最多的类别即作为该未知样本的类别。在核函数选取方面，本发明主要采用径向基核函数，使用交叉验证算法应用于样本特征，进行参数寻优，来确定SVM核函数g和误差惩罚因子C，其中g是径向基核函数的宽度参数，C用于控制模型复杂度和逼近误差的折中，从而得到最优的(g，C)组合。在得到训练好的分类器以后就可以对待识别的行为序列加以分类和识别。

图3A及图3B给出了基于视频序列中人体异常行为检测的算法流程。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权力要求范围中。

Claims (4)

1.一种基于视频序列的人体异常行为检测方法，其特征在于，步骤为：

第一步、建立行为模型数据库：

步骤1.1、通过摄像头和WDM视频采集卡采集训练行为视频图像序列，作为训练样本；

步骤1.2、提取训练行为视频图像序列中运动人体的运动特征及局部特征，将运动特征及局部特征相结合，组成一组训练特征向量；

步骤1.3、将训练特征向量作为输入，利用机器方法进行学习从而得到行为模型数据库；

第二步、人体行为判断：

步骤2.1、通过摄像头和WDM视频采集卡采集实时行为视频图像序列；

步骤2.2、提取实时行为视频图像序列中运动人体的运动特征及局部特征，将运动特征及局部特征相结合，组成一组实时特征向量；

步骤2.3、将实时特征向量作为输入，利用行为模型数据库采用机器方法对识别的运动人体区域的行为做出评判。

2.如权利要求1所述的一种基于视频序列的人体异常行为检测方法，其特征在于，所述步骤1.2及所述步骤2.2包括：

步骤S1、从训练行为视频图像序列或实时行为视频图像序列中提取运动人体，其步骤为：

步骤S11、对训练行为视频图像序列或实时行为视频图像序列利用混合高斯模型进行背景建模；

步骤S12：利用背景差分法将运动人体区域从背景模型中提取出来；

步骤S13：利用帧间差分法从训练行为视频图像序列或实时行为视频图像序列中提取运动人体区域；

步骤S14：将步骤S12和步骤S13中提取出来的运动人体区域进行与运算，提取出新的运动人体区域；

步骤S15：对通过步骤S14得到的运动人体区域利用形态学滤波的方法进行阴影的去除和空洞的弥补以及连通域的处理，得到运动人体；

步骤S2、利用NMF算法提取运动人体的局部特征；

步骤S3、提取运动人体的运动特征，该运动特征至少包括长宽比、占空比及周长比，其中，长宽比定义为运动人体外接矩形的长跟宽的比，占空比定义为前景图中运动人体区域的面积与运动人体外接矩形面积之比，周长比定义为运动人体边缘周长与运动人体外接矩形周长的比值；

步骤S4、将运动人体的局部特征与运动特征相结合，组成一组训练特征向量或实时特征向量。

3.如权利要求1所述的一种基于视频序列的人体异常行为检测方法，其特征在于，在所述步骤1.3中，利用SVM分类器进行学习，其步骤为：首先，构造

个分类器，k为训练样本的类别数；其次，对各类训练样本的训练特征向量进行标记，分别取k类训练样本中的任意两类所对应的训练特征向量作为训练集，进行训练。

4.如权利要求3所述的一种基于视频序列的人体异常行为检测方法，其特征在于，在所述步骤2.3中，利用SVM分类器对识别的运动人体区域的行为做出评判的步骤为：把待识别的实时特征向量分别对

个分类器进行测试，然后采取投票的形式进行分类和识别。

Images