CN109948424A - 一种基于加速度运动特征描述子的群体异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于加速度运动特征描述子的群体异常行为检测方法，涉及智能视频监控、异常行为检测等领域。首先通过图像中的光流信息计算加速度光流信息，然后按时空块构建加速度光流特征描述子，将t帧图像的所有时空块加速度特征描述子级联以描述所有区域中的运动信息。采用仅包含正常行为的训练集建立高斯伯努利受限玻尔兹曼机模型，用最大期望算法求取模型参数；检测阶段通过重建特征与原始特征的误差大小是否超过预设门限值来完成异常行为检测。该方法不仅能适用于普通场景的监控视频，更能适用于人群较为密集的大型公共场所的监控视频。

Description

一种基于加速度运动特征描述子的群体异常行为检测方法

技术领域

本发明涉及视频智能监控领域中的异常行为检测问题，尤其是涉及一种基于加速度光流信息构建的运动特征描述子，使用高斯伯努利受限玻尔兹曼机模型的群体异常行为检测方法。

背景技术

传统的视频监控系统主要依赖于数名工作人员同时观察多台监控设备，实时判断画面中是否出现紧急情况。随着平安城市的建设，大量铺设的摄像头将耗费更多的人力资源，因此智能化分析监控摄像头视频内容变得非常重要。其中，判断监控视频中人群行为是否出现异常，是视频内容智能化分析一项重要的内容。所谓异常事件是指行人个体或群体做出与当前场景下一般行为不同的或者发生与所处环境不相容的动作行为。异常行为一般发生次数较少，发生频率较低。在公共场所中具体包括非法入侵、车辆逆行、人群聚集逃离、打架斗殴、人群骚乱等。对于监控视频的异常行为检测，学者们从不同的角度出发研究了许多不同的算法。

视频中异常行为检测，通常将其作为典型分类问题。训练集中包含部分正常视频及部分异常视频，对其中的异常视频进行时间及空间上的标注，在此基础上进行分类器的训练。随后对测试集中视频内容，分类器做出正常异常的判断。这一类方法需要大量标注清晰的正常异常视频，人工成本高，获取困难。另外一种研究思路是使用离群点检测来实现异常行为检测。根据正常行为视频数据构建一个正常行为特征所在的子空间，当测试集中的行为特征落入之前构建的子空间中，则认为是正常行为，否则认为是离群点，判定为异常行为。这类方法仅仅需要正常行为视频作为训练集，数据量大，标注容易，易于实现。

发明内容

本发明提出了一种基于加速度运动特征描述子的群体异常行为检测方法，首先进行加速度光流的提取，然后对提取到的加速度光流构建运动特征描述子基于夹角的加速度直方图HAVA(Histogram of angle between velocity and acceleration)，将HAVA与光流直方图HOF(Histogram of optical flow)级联，利用高斯伯努利受限玻尔兹曼机建立正常行为的模式，通过判断测试数据的重建误差完成异常行为检测。

本发明通过以下技术方案来实现上述目的：

(1)提取两帧图像间的稠密光流。

(2)根据稠密光流计算视频图像的加速度光流。

(3)将整幅加速度光流图划分到网格状的矩形块中，对每一个矩形块的加速度光流构建一个加速度描述子，将所有矩形块的加速度描述子堆叠得到描述该幅图的加速度新的描述子，将描述子与HOF级联。

(4)用训练视频集中加速度特征建立受限玻尔兹曼机模型。在测试阶段，利用已建立的受限玻尔兹曼机模型根据重建特征误差大小检测人群行为是否异常。

附图说明

图1一种基于加速度运动特征描述子的群体异常行为检测方法框架图；

具体实施方式

下面结合附图对本发明作进一步说明：

计算光流及加速度光流的具体方法如下：

本发明采用Horn-Schunck光流法提取对图像的每一个像素计算光流值。像素点(x,y)的的亮度值为E(x,y)，(u,v)为Horn-Schunck光流法计算得到的光流矢量，(a,g)为加速度矢量。光流约束方程为:

uE_x+vE_y+E_t＝0 (1)

式(1)对时间求偏导可得到光流加速度约束方程：

其中a_x，a_y，g_x,g_y分别是a,g对x，y的偏导。因此计算光流加速度的问题转换为如何根据光流加速度约束条件(ξ_ac)和平滑约束条件(ξ_sc)来求解光流加速度约束方程中最小误差ξ。最小误差求解公式为：

其中，

根据变分法求解式(3)中最小误差，如下式：

其中E_xt,E_yt,E_tt分别是E_x,E_y,E_t对t的偏导。a、g的离散拉普拉斯近似解可以根据下式求解：

其中，

加速度描述子构建具体方法如下：

首先，视频按照m×n的网格在空域上划分为多个大小相同的矩形网状空间块，同时将连续t帧视频中子区域对应位置相同的空间块拼接为一个完整的时空块。随后对各时空块中所有像素点计算稠密光流图谱和加速度光流。其中第t帧中的点(x,y)，其光流加速度水平方向和垂直方向上的分量分别为和则该点的光流加速度矢量为光流矢量为加速度光流的强度及其与光流矢量的夹角分别定义如下：

对位于同一时空块的所有像素点进行直方图统计。首先，直方图设置为k箱，即将夹角θ_AV映射为k个区间：

χ＝{χ₁,χ₂,...,χ_k} (15)

其中，

然后以加速度强度大小|OA|作为直方图分箱投票权重，计算得到加速度光流直方图HAVA，如式(17)所示：

h_i＝{∑|OA|,θ_AV∈χ_i},i＝1,2,...,k (17)

最后，将这t帧中所有m×n个子空间块加速度信息直方图按固定顺序堆叠起来，获得一个更高维的特征矢量。这样就将t帧视频图像中包含的运动信息表征为一个m×n×k维的特征矢量。最后将该加速度描述子与HOF描述子级联，构成能够描述视频图像中全部运动信息的描述子。

建立玻尔兹曼机异常行为检测模型过程如下：

高斯伯努利受限玻尔兹曼机GBRBM(Gaussian-Bernoulli Restricted BoltzmannMachine)是受限玻尔兹曼机RBM(Restricted Boltzmann Machine)的一种变体。假设GBRBM有m个可见节点和n个隐藏节点h＝{h₁,h₂,...,h_n}∈{0,1}ⁿ。模型的参数包括可见层的偏置矩阵与隐藏层偏置矩阵以及权重矩阵权重矩阵W中的元素w_ij表示可见单元v_i与隐藏单元h_j之间的连接权重。参数集合ψ＝{b,c,W}可得到一个确定的RBM。

GBRBM是一类基于能量的模型，其能量定义如下：

根据RBM二分图结构特点，可以计算其条件概率分布p(v|h)以及p(h|v)。由于RBM层内单元无连接特点，即处于同一层的神经单元相对于另一层神经元条件独立。针对两层神经元的RBM，当给定可见层单元状态时，隐藏层单元是否激活是条件独立；反之，当给定隐藏层单元状态时，可见层单元是否激活也条件独立。公式如下：

可见层单元和隐层单元条件概率分布如下：

其中N(·|μ,σ²)代表均值为μ、标准差为σ的高斯概率密度函数。f(x)为sigmoid激活函数。

RBM是一种基于能量的模型，其学习过程主要为寻找一组参数使得网络能量最小化。对比散度算法(Contrastive Divergence,CD)是一种非常成功的RBM训练算法。对训练样本集中每一个样本v,首先根据式(20)计算得到隐层神经元状态的概率分布，再对这个概率分布通过Gibbs采样得到h，类似地根据式(19)从h中产生v'，在根据v'产生h'，最终得到连接权重的更新公式如式(23)

Δw＝η(vh^T-v'h'^T) (23)

异常行为检测具体方法下：

整个过程分为训练阶段和测试阶段。训练阶段通过获取训练集中所有视频运动特征，构建得到一个正常行为的GBRBM模型。在测试阶段，根据模型重建测试数据误差的大小来判断是否发生异常。其中利用受限玻尔兹曼机进行异常行为检测是一种无监督方法，不需要任何先验知识来对异常行为做标签。首先使用正常行为的视频数据构建训练集，GBRBM模型学习其正常行为的模式，得到一组最优化参数然后将待测视频的特征矢量送入GBRBM模型，可以在隐藏层获得该特征新的表达形式其中表达式如下：

随后将隐藏层矢量映射到可见层，得到输入的重建数据其中表达式如下：

由于RBM良好的因式分解特性，上述前向传播和后向传播过程计算非常高效。在实际应用中，重建得到的数据可以用来恢复在原始数据v中被噪声干扰的元素；或者根据重建数据与原始数据v之间的重建误差来处理二分类的问题。

在测试阶段视频中若存在异常行为，其运动特征与训练阶段中仅包含正常行为的视频特征存在明显的差异。而GBRBM模型是通过正常数据训练得到，不能够很好地描述异常行为特征。因此重建后的异常行为特征与原始特征存在较大的差异，重建误差数值较大。而测试集中正常行为特征仍然符合训练阶段中正常行为模式，重建后误差较小。因此可以与预设门限进行比较来实现异常行为检测。使用原始数据与重建数据之差的二范数来表示该特征的重建误差，公式如式(26)。

将重建误差与预先设置的门限值进行比较，判断是否发生异常，公式如式：

为了验证本发明提出的基于加速度运动特征描述子的群体异常行为检测方法的有效性，在多个公共数据集上进行了实验验证，包括明尼苏达大学(University ofMinnesota,UMN)数据集与更具挑战性的UCF-Web数据集。与目前主流的方法进行对比，表现出较好的效果。采用ROC(Receiver operating characteristic curve)作为评测标准，AUC(Area under curve)表示ROC曲线下面积。实验结果如表1和表2所示

表1 UMN数据集下与当前流行算法对比结果

表2 UCF-Web数据集与当前流行算法结果对比

Claims (4)

1.一种基于加速度运动特征描述子的群体异常行为检测方法，其特点在于包括以下步骤：

(1)提取视频图像中运动个体加速度光流信息；

(2)根据图像中的加速度光流信息构建一种新的加速度运动特征描述子；

(3)按照步骤(2)提取训练视频集的加速度运动特征，并在此特征集合上建立高斯伯努利受限玻尔兹曼机模型，在测试阶段，提取测试视频的加速度特征，使用此模型重建特征，根据重建特征与原始特征的误差大小进行异常行为检测。

2.根据权利要求1所述的方法，其特点在于步骤(1)中计算图像中运动个体加速度光流，计算方法如下：

像素点(x,y)的的亮度值为E(x,y)，(u,v)为Horn-Schunck光流法计算得到的光流矢量，(a,g)为加速度矢量，光流约束方程为:

根据光流加速度约束条件(ξ_ac)和平滑约束条件(ξ_sc)使用变分法来求解光流加速度约束方程中最小误差ξ:

3.根据权利要求1所述的方法，其特点在于步骤(2)中新的加速度特征描述子的构建方法，首先将视频图像划分为m*n的网状时空块，连续t帧视频图像中对应子区域的空间块拼接为一个完整的时空块，对位于同一时空块的所有像素点的加速度光流与速度光流夹角作为直方图分箱对象，同时使用加速度矢量大小进行加权构建得到加速度直方图描述子，最后将t帧图像中所有子空间块加速度信息直方图按固定顺序堆叠起来，获得一个更高维的特征矢量来表达这t帧视频图像中的加速度运动信息。

4.根据权利要求1所述的方法，其特点在于步骤(3)中使用高斯伯努利受限玻尔兹曼机模型进行异常行为检测，在训练阶段分别用人群状态为正常的视频中的加速度光流特征，根据模型能量最小化原则，训练高斯伯努利受限玻尔兹曼机；在测试阶段利用模型特性，将待检测特征从隐藏层映射到可见层，判断可见层的重建特征与原始特征的差异大小，作为重建误差，与门限值进行比较，判断是否发生群体异常行为。