CN106709447A - 基于目标定位与特征融合的视频中异常行为检测方法 - Google Patents

Abstract

本发明公开了基于目标定位与特征融合的视频中异常行为检测方法，包括基于背景差分以及光流统计的运动区域检测，基于时空特征以及深度特征的特征融合，基于多SVM模型训练的决策。本发明对各个维度特征分别训练分类器，最终选择集成学习的方法进行异常检测的决策。本发明的目的在于通过快速检测的手段检测出运动目标区域，改进传统的遍历式的小块检测，提高计算效率，同时通过特征层面以及模型决策层面的融合，提高检测的准确率。

Description

基于目标定位与特征融合的视频中异常行为检测方法

技术领域

本发明涉及智能视频监控领域，具体涉及基于目标定位与特征融合的视频中异常行为检测方法。

背景技术

异常行为检测作为一种计算机智能视频分析方法，在智能监控领域具有潜在的应用价值，对维护公共安全，改善用户体验，降低人力成本等具有极大的促进作用；另外，由于实际的视频场景通常是复杂多变的，异常行为检测将会面临遮挡，光照变化，视角变化，尺度变化，人群拥挤，同一行为的多变性等难点，需要综合运用图像处理，计算机视觉和机器学习等领域的理论方法，具有较大的挑战性和研究价值。目前主流的视频中异常行为检测方法主要有基于目标跟踪的检测以及基于时空特征的检测两大类，前者算法的检测效果依赖于目标的跟踪效果以及运动轨迹特征的提取，后者算法的检测效果依赖于时空特征的设计，与此同时，后者算法通常需要遍历每一帧视频的每一个小块区域，从而定位出异常的位置，计算量较大。

发明内容

本发明的目的是提供基于目标定位与特征融合的视频中异常行为检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下的技术方案：

基于目标定位与特征融合的视频中异常行为检测方法，包括如下步骤：

(1)基于背景差分以及光流统计的运动区域检测，快速检测定位出运动区域以便检测是否异常；

(2)基于时空特征以及深度特征的特征融合，提取了基于显著性的空间特征，基于缓慢变化的时间特征以及基于多层稀疏自编码的高层特征，用于描述运动区域的各个维度信息；

(3)基于多SVM模型训练的决策，对各个维度特征分别训练分类器，最终选择集成学习的方法进行异常检测的决策。

进一步地，步骤(1)具体包括：对于一段输入视频，采用简单的背景差分方法，模糊定位出运动的区域；在此基础上，通过对候选区域的像素点面积做阈值判断，过滤非人运动目标；最后，计算光流场直方图，选取光流密集的区域作为最终的运动目标。

进一步地，步骤(2)具体包括：对于检测到的运动目标，设计浅层特征与高层特征融合的方法，其中浅层特征指人工设计的时空特征，空间维度采用的是信息显著性特征，时间维度采用的是缓慢变化特征；高层特征指多层稀疏自编码器；通过浅层特征与高层特征的融合，从不同角度描述运动区域的信息。

进一步地，步骤(3)具体包括：基于候选运动区域的多种维度特征，采用线性支持向量机进行分类，判断是否异常，从而最终定位出异常的位置。

进一步地，步骤(1)中，将当前帧与背景帧做差分，即可求得背景差图，然后采用最大类间方差法进行阈值分割，获得候选运动目标区域。

进一步地，步骤(1)中，由背景差分所得的候选运动目标区域，可能出现非监控目标即出现的不是人而且其他物体，考虑到人与其他运动物体的体型上的差距，通过对候选运动目标区域进行像素点面积计算，减少候选运动目标区域的数量，避免后续步骤无效的特征计算，从而减少计算量。

进一步地，步骤(1)中，光流场直方图计算是为了选取光流密集的运动区域，考虑到异常行为往往是骤变的行为，通常会出现在光流比较密集的区域，通过光流统计阈值的过滤，同样减少候选运动目标区域的数量。

进一步地，步骤(2)中的信息显著性特征(SI)计算主要是通过对每一帧图像进行小块划分(经验值一般为5*5的大小)；然后计算每个小块的4元傅里叶变换的振幅谱；最后通过如下的公式算出每个小块的显著性：

S_i＝∑_i≠jw_i,j*D_i,j，

其中i分别表示第i个小块，j表示第i个小块周围的每个小块，D_i,j表示第i、j个小块的4元傅里叶变换的振幅谱的差，w表示权重。

进一步地，步骤(2)中的缓慢变化特征(SFA)主要是给定一个I维的输入信号：

x(t)＝[x₁(t),…x_i(t)]^T，

其中：t∈[t₀,t₁]代表着时间，t₀,t₁表示两个时间点，x_i(t)表示t时刻第i维特征值；

SFA的目的是找出一套输入输出函数：

g(x)＝[g₁(x),…g_j(x)]^T g_j(x)表示特征变换后第j维特征值，

使得J维输出信号：

y(t)＝[y₁(t),…y_j(t)]^T

其中

y_j(t)＝g_j(x(t)，j∈{1,…,J}

尽可能地变化缓慢，公式如下：

同时满足条件：

＜y_j＞_t＝0

其中表示的是y的一阶梯度，＜y_j＞_t表示的是y在时间上的均值；公式min表示的是最小化输出信号在时间上的变化程度，时间上信号的变化主要由一阶梯度的平方的均值来衡量；所满足的条件中第二条是为了限制输出信号的每一维都携带信息量；第三条了保证输出信号的不同维度携带不同的信息，同时也反映维度之间的一个次序关系，其中第一个维度就是变化最缓慢的维度，第二个维度就是变化第二缓慢的维度，以此类推。

进一步的，步骤(2)中的多层稀疏自编码器(SAE)是一个4层的小型深度学习网络，结构为输入层-隐藏层1-隐藏层2-输出层，采用的是逐层贪心的预训练方法，每一层训练都是非监督的，约束条件主要是稀疏以及自编码。

本发明的运动目标检测包括但不仅限于光流轨迹统计以及物体检测识别；先进行运动发生区域的快速检测定位，改进传统的小块遍历计算的缺点，从而提高后续异常检测环节。其中运动目标检测包括但不仅限于光流轨迹统计以及物体检测识别。高层特征包括但不仅限于多层稀疏自编码等深度模型特征。本发明不仅在特征环节进行特征融合，也在决策环节进行集成学习的融入，其中集成学习的方法包括但不仅限于投票模型。

与现有的技术相对，本发明的有益效果是：本发明方法通过先定位运动目标领域再异常识别的方法，可以更加有效地进行异常行为的检测，具体体现在2方面，一方面是避免遍历计算区域特征，计算量减少，另一方面是更加精确地定位监控目标。除此之外，多种维度的特征融合既考虑了传统的时空特征，也考虑了高层次的抽象特征，特征描述更加具有区分性，有利于后续分类器的判别。

附图说明

图1为基于目标定位与特征融合的视频中异常行为检测方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚，完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，可以看到基于目标定位与特征融合的视频中异常行为检测方法，整个流程主要有4个环节，包括对输入视频的预处理从而检测定位出运动目标区域，运动区域的时空特征以及高维度特征提取，分类模型的训练，以及最后的决策环节，下面将对这4个环节进行举例说明。

S1:在视频的预处理环节，首先会对视频数据进行简单的白化处理，保证各维度信息的零均值以及方差为1的特性，随后通过简单的二值图做差，定位出大概的运动前景，结合运动目标的体型面积信息，筛选非监控目标区域，最后，需要对候选运动目标区域做光流计算，统计每个候选运动目标区域的光流密度，选取密度较高的区域作为最终的运动目标候选区域。

S2：在特征提取环节，主要对运动区域提取3个不同维度的特征，其中包括时间特征SFA，空间特征SI以及高维特征SAE，下面将分别阐述3种特征的提取过程：

(1)空间特征SI:首先需要对每一帧图像进行小块划分，小块的规模一般为5*5，紧接着需要计算每个小块与周围小块的4元傅里叶变换的振幅谱的差，最终进行加权，从而得出该小块的显著性值，作为特征；除此之外，一般需要对图像进行金字塔小块划分，增加特征鲁棒性。

(2)时间特征SFA:首先在目标运动区域进行样本块的抽样，将连续dt帧并为一个时刻的输入向量，除此之外，为了引入非线性特征，需要对原始信号做非线性扩展，一般采用的是二项式扩展；紧接着做PCA降维，避免机器学习中的维数灾难问题。构造完训练样本之后，根据以下的目标函数进行优化训练：

训练方法采用的是基于矩阵分解的方法:

，其中x表示输入特征向量wj表示第j维特征转换向量yj表示第j维输出特征值。最终通过训练，每个小块可以得到K维特征向量。

(3)高层特征SAE:首先需要从运动区域进行帧级别的小块提取训练样本，规格大小为8*8，每个样本具有64维的向量，作为多层稀疏编码器的输入，稀疏编码器总共有4层，输入层对应64维的输入向量，后面跟着2层全连层以及1层输出层，训练的目标函数采用平均平方误差，训练优化算法采用逐层训练的非监督贪心策略，最后提取第2层隐藏层的输出向量最后高层特征向量，刻画样本的高层信息。

S3:在模型训练环节，对每种维度的特征单独训练SVM分类器，同时也将时间特征SFA与空间特征SI进行拼接融合，单独训练一个SVM分类器，由于每种维度的特征刻画数据不同维度的信息，因此单独进行分类器的训练，可以更好的挖掘出信息，同时也在特征维度融合，考虑特征的互补。SVM分类器采用的是基于线性核的SVM

S4:在决策环节，主要是基于集成学习的思想，将模型训练环节的4个SVM模型的输出结果，进行投票选择，从而提高整个方法的稳定性以及检测效果。

由此可见，本发明方法的工作原理主要是先通过背景差分，目标检测等手段定位出运动目标区域，改进传统的遍历区域的方法，从而提高检测速度；其次，本发明方法不仅结合传统的时间以及空间特征，也引进了高层特征，从而提高更加全面的信息描述；最后，该方法不仅在特征维度进行信息互补融合，在决策层也进行投票融合，从而提高整个方法的检测效果。

Claims (10)

1.基于目标定位与特征融合的视频中异常行为检测方法，其特征在于包括如下步骤：

(1)基于背景差分以及光流统计的运动区域检测，快速检测定位出运动区域以便检测是否异常；

(2)基于时空特征以及深度特征的特征融合，提取了基于显著性的空间特征，基于缓慢变化的时间特征以及基于多层稀疏自编码的高层特征，用于描述运动区域的各个维度信息；

(3)基于多SVM模型训练的决策，对各个维度特征分别训练分类器，最终选择集成学习的方法进行异常检测的决策。

2.根据权利要求1所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(1)具体包括：对于一段输入视频，采用简单的背景差分方法，模糊定位出运动的区域；在此基础上，通过对候选区域的像素点面积做阈值判断，过滤非人运动目标；最后，计算光流场直方图，选取光流密集的区域作为最终的运动目标。

3.根据权利要求1所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(2)具体包括：对于检测到的运动目标，设计浅层特征与高层特征融合的方法，其中浅层特征指人工设计的时空特征，空间维度采用的是信息显著性特征，时间维度采用的是缓慢变化特征；高层特征指多层稀疏自编码器；通过浅层特征与高层特征的融合，从不同角度描述运动区域的信息。

4.根据权利要求1所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(3)具体包括：基于候选运动区域的多种维度特征，采用线性支持向量机进行分类，判断是否异常，从而最终定位出异常的位置。

5.根据权利要求1所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(1)中，将当前帧与背景帧做差分，即可求得背景差图，然后采用最大类间方差法进行阈值分割，获得候选运动目标区域。

6.根据权利要求5所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(1)中，由背景差分所得的候选运动目标区域，可能出现非监控目标即出现的不是人而且其他物体，考虑到人与其他运动物体的体型上的差距，通过对候选运动目标区域进行像素点面积计算，减少候选运动目标区域的数量，避免后续步骤无效的特征计算，从而减少计算量。

7.根据权利要求5所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(1)中，光流场直方图计算是为了选取光流密集的运动区域，考虑到异常行为往往是骤变的行为，通常会出现在光流比较密集的区域，通过光流统计阈值的过滤，同样减少候选运动目标区域的数量。

8.根据权利要求3所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(2)中的信息显著性特征(SI)计算主要是通过对每一帧图像进行小块划分；然后计算每个小块的4元傅里叶变换的振幅谱；最后通过如下的公式算出每个小块的显著性：

S_i＝∑_i≠jw_i,j*D_i,j，

其中i分别表示第i个小块，j表示第i个小块周围的每个小块，D_i,j表示第i、j个小块的4元傅里叶变换的振幅谱的差，w表示权重。

9.根据权利要求3所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(2)中的缓慢变化特征(SFA)主要是给定一个I维的输入信号：

x(t)＝[x₁(t),…x_i(t)]^T，

其中：t∈[t₀,t₁]代表着时间，t₀,t₁表示两个时间点，x_i(t)表示t时刻第i维特征值；

SFA的目的是找出一套输入输出函数：

g(x)＝[g₁(x),…g_j(x)]^T g_j(x)表示特征变换后第j维特征值，

使得J维输出信号：

y(t)＝[y₁(t),…y_j(t)]^T

其中

y_j(t)＝g_j(x(t)，j∈1,…,J}

尽可能地变化缓慢，公式如下：

$\min :{\mathrm{\&Delta;}}_j=\mathrm{\&Delta;}\left(y_j\right)=<{\stackrel{\&CenterDot;}{y}}_j^2{>}_t$

同时满足条件：

<y_j>_t＝0

$<y_j^2{>}_t=1$

$\&ForAll;j^{\&prime;}<j,<y_{j^{\&prime;}}{y}_j{>}_t=0,$

其中表示的是y的一阶梯度，<y_j>_t表示的是y在时间上的均值；公式min表示的是最小化输出信号在时间上的变化程度，时间上信号的变化主要由一阶梯度的平方的均值来衡量；所满足的条件中第二条是为了限制输出信号的每一维都携带信息量；第三条了保证输出信号的不同维度携带不同的信息，同时也反映维度之间的一个次序关系，其中第一个维度就是变化最缓慢的维度，第二个维度就是变化第二缓慢的维度，以此类推。

10.根据权利要求3所述的基于目标定位与特征融合的视频中异常行为检测方法，其特征在于步骤(2)中的多层稀疏自编码器(SAE)是一个4层的小型深度学习网络，结构为输入层-隐藏层1-隐藏层2-输出层，采用的是逐层贪心的预训练方法，每一层训练都是非监督的，约束条件是稀疏以及自编码。