CN106503652A - 基于低秩自适应稀疏重建的异常事件检测方法 - Google Patents

Abstract

本发明公开了一种基于低秩自适应稀疏重建的异常事件检测方法，包括特征提取、训练和检测三个过程：1)提取视频序列的多尺度三维梯度特征；2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集；3)初始化剩余训练特征和相关参数；4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息；5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；6)根据重建误差，判断测试特征是否为异常特征。本发明解决了异常检测技术中，未充分挖掘视频数据的低秩特性和检测效率不佳的缺点。

Description

基于低秩自适应稀疏重建的异常事件检测方法

技术领域

本发明涉及模式识别和视频分析领域，更具体地说，涉及一种基基于低秩自适应稀疏重建的异常事件检测方法。

背景技术

视频序列异常事件检测是计算机视觉中的一个活跃的研究课题，已被广泛使用在许多应用中，如人群监控，公共场所检测，交通安全和个人行为异常。面对海量的视频数据，传统的人工标记异常事件费时、低效。因此，自动化和快速的视频序列异常检测方法是迫切需要的。

虽然关于异常事件检测的研究在特征提取、行为建模和异常测量等方面已经取得了很大的进展，但是视频序列异常事件检测仍然是一个非常具有挑战性的任务。首先，对于视频中的异常事件没有精确的定义。一种常见的异常行为识别方法是异常行为模式聚类，另一种是把那些发生率低的检测样本作为异常。第一种方法的困难之处在于没有足够的先验知识来描述异常行为模式；第二种方法需要建立概率模型，异常检测依赖于正常模式的定义和特征的多尺度变化。其次，密集场景中的异常检测要求行为模型可以处理高密度的运动目标，这需要考虑多个目标之间遮掩和相互作用的影响。

从特征提取的角度看，异常事件检测方法可以分为基于目标轨迹的方法和基于低层次特征的方法。基于目标轨迹的方法首先进行运动目标跟踪，然后利用目标轨迹来检测异常事件。基于目标轨迹的方法可以清晰地表示各时刻目标的空间状态，但是这一类方法对噪声、遮掩和跟踪错误敏感，不能对密集场景进行异常检测。基于低层次特征的方法通过提取视频序列中像素级别的运动特征和形态特征，可以克服目标轨迹法的缺点。

目前，异常事件检测的主流方法包括动态贝叶斯网络(DBNs)，概率主题模型(PTMs)和稀疏表示模型。在DBNs中，隐藏马尔可夫模型(HMM)和马尔可夫随机场(MRF)随着检测目标的增加会成几何级数地提高建模代价，导致这些模型不足以处理密集的场景。与DBNs相比，PTMs，如PLSA和LDA，只关注空间上共生的视觉单词，却忽略了特征的时序信息，使得概率主题模型不能在时空上定位异常事件。近年来，针对异常检测的稀疏表示模型引起了人们的关注。大多数的稀疏表示模型通过训练得到一个过完备字典，但是没有充分挖掘视频数据的低秩特性和内在结构冗余。

发明内容

本发明的目的在于，针对上述异常检测技术中，未充分挖掘视频数据的低秩特性和检测效率不佳的缺点，利用低秩逼近算法获取字典及其字典基中的低秩信息，提出一种基于低秩自适应稀疏重建的异常事件检测方法。

实现本发明目的的技术解决方案为：一种基于低秩自适应稀疏重建的异常事件检测方法，包括特征提取、训练和检测三个过程：

特征提取过程包括以下步骤：

1)提取视频序列的多尺度三维梯度特征；

2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集。

训练过程包括以下步骤：

3)初始化剩余训练特征和相关参数；

4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息。

测试过程包括以下步骤：

5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；

6)根据重建误差，判断测试特征是否为异常特征。

上述方法中，所述步骤1)包括以下具体步骤：

1.1)对视频序列的每一帧图像进行不同尺度的缩放，形成一个三层图像金字塔。

1.2)对每一层图像进行时空立方体采样，提取空间上不重叠区域的三维梯度特征。

1.3)针对每一层视频序列，将同一空间区域上连续5帧的三维梯度特征叠加在一起，组成一个时空特征。

上述方法中，所述步骤2)包括以下具体步骤：

2.1)利用主成分分析(PCA)，对上述提取的每一个时空特征进行降维。

2.2)利用上述方法，将训练视频序列和测试视频序列转换为训练特征集和测试特征集。

上述方法中，所述步骤3)包括以下具体步骤：

3.1)将步骤2.2)获取的训练特征集初始化为剩余训练特征集。

3.2)初始化正则化参数、误差阈值、迭代次数和正常模式字典集。

上述方法中，所述步骤4)包括以下具体步骤：

4.1)如果剩余特征集为空，训练过程结束；如果剩余特征集不为空，确定聚类数目，对剩余特征集进行K均值聚类。

4.2)分别对每一个特征聚类进行字典学习，得到组稀疏字典。

4.3)挑选合适字典去表示剩余特征。如果字典可以表示剩余特征，则将该字典加入正常模式字典集，保留该字典中原子所对应的低秩信息，并将可以用该字典表示的特征从剩余训练特征集中移除；如果字典不可以表示任意一个剩余特征，则丢弃该字典。

4.4)迭代次数加1，跳到步骤4.1)。

上述方法中，所述步骤5)包括以下具体步骤：

5.1)对于每一个测试特征，遍历由训练过程获取的正常模式字典集及其低秩信息，利用本发明提出的加权稀疏重建方法，估算字典对应的稀疏系数。

5.2)根据5.1)估算的稀疏系数和对应字典及其低秩信息，计算该测试特征对应于该组稀疏字典的重建误差。

上述方法中，所述步骤6)包括以下具体步骤：

6.1)对于某一测试特征，如果找到一个对应重建误差小于重建阈值的字典，则判断该测试特征为正常特征。

6.2)对于某一测试特征，如果其对应的任意字典集的重建误差均大于重建阈值，则判断该测试特征为异常特征；

本发明与现有技术相比，其显著优点：其一，因为每个视频特征聚类的低秩特性，利用低秩逼近学习正常模式字典的方法，可以有效地表示组相似的正常特征；其二，该方法自适应地决定每个正常行为模式的字典基数目，可以更准确地进行动态场景语义理解；其三，不同于传统的稀疏表示方法，该方法通过在一个字典集中挑选一个合适的字典，来表示检测样本，使得视频事件的稀疏重建更精准，显著提高了检测速度，保证实时性；其四，基于低秩信息加权的视频事件重建方法可以高效地检测异常事件。

附图说明

图1为自适应异常事件检测方法概览图。

图2为三维时空梯度特征提取流程图。

图3为多尺度视频帧。

图4为三维梯度特征。

图5为空间区域上重叠的时空立方体。

图6为组稀疏字典学习流程图。

图7为异常事件检测流程图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

本发明的异常事件检测方法包括特征提取过程、训练过程和测试过程三个主要过程，如图1所示。

特征提取过程如图2所示，包括以下具体步骤：

视频序列图像帧转换为三维图像金字塔过程21。将视频序列的每一帧图像转换为灰度图像，并将每一帧灰度图像缩放为三种不同尺度：20×20,30×40和120×160，形成一个三层图像金字塔。对于图像金字塔的每个尺度，每一帧被划分为同样空间大小(10×10)的不重叠区域，如图3所示。

提取视频序列三维梯度特征过程22。为了兼顾密集场景中目标的形态特征和运动特征，采用三维时空梯度作为特征提取的目标，如图4所示。假设x,y和t分别表示视频序列中的水平、垂直和时间方向，G是一个像素的三维梯度，它对应的三维投影分别是G_x、G_y和G_t。

利用时空立方体采样形成时空特征过程23。连续5帧上的同一空间区域组成时空立方体，每一个时空立方体由一个大小为10×10×5的立方体中的所有像素构成，l_x×l_y＝10×10和l_t＝5分别表示时空立方体的空间大小和时序长度。一个时空立方体中的所有像素的三维梯度构成一个三维时空梯度特征。为了保持场景事件的时序信息，在每一个空间区域上采样时序上重叠的时空立方体，如图5所示。假设一个时空立方体的体心为(S_x,S_y,S_t)，那么其时序上相邻的时空立方体位于(S_x,S_y,S_t-l_t/2)和(S_x,S_y,S_t+l_t/2)。

利用时空特征降维形成训练特征集和测试特征集过程24。由于上述三维梯度特征的维数(10×10×5×3＝1500)过高，会导致训练过程和测试过程计算量过大，影响检测的实时性，所以使用PCA将时空特征降到100维。最后，得到训练特征集和测试特征集。

需要注意的是，训练视频序列中只包含正常事件；测试视频序列既包含正常事件，也包含异常事件。

训练过程是指通过已知的正常行为样本集，学习正常行为模式的过程。包括以下具体步骤：

本发明采用迭代的方式，分别对每个空间位置上的所有特征进行训练，得到每个空间位置上的一个组稀疏字典集，用来表示该空间位置上的所有训练特征。对于每个空间位置上的所有特征，利用K均值得到相似特征聚类，然后对每个相似特征聚类采用低秩逼近算法进行字典学习。每次迭代将可以用字典表示的特征去除，然后对剩余特征继续下一次迭代的字典学习，直到所有特征都可以被训练得到的字典表示。

初始化训练参数过程61。剩余训练特征集初始化为由特征提取过程得到的训练特征集，即X＝[x₁,x₂,...,x_n]，其中n为特征数目，m为每个特征的维数，正则化参数τ＝0.015、误差阈值T＝0.06、迭代次数j＝1和正常模式字典集

利用K均值进行剩余训练特征集聚类过程62。根据剩余训练特征的数目，首先自适应地选择聚类数目，再对剩余特征集进行K均值聚类。假设第j^th次迭代中第c^th个聚类的特征表示为其中j＝1,2,...,N，表示第c^th个聚类的特征数目，函数f(·)把聚类中的特征序号映射到该特征在初始特征集中的序号。

如图6，利用低秩逼近算法学习组稀疏字典过程63。不同于传统的稀疏表示模型，本发明利用视频特征聚类的低秩结构，采用低秩逼近算法，学习包含高度相关字典基的组稀疏字典，从而抛弃视频数据中的冗余信息。组稀疏字典学习的目标函数如下：

其中，采用奇异值分解，τ是正则化参数，ω_i是第i个奇异值λ_i的权重。上述加权低秩优化问题采用奇异值阈值化算法，公式(1)的闭合解如下：

其中，r是通过软阈值操作估算的秩。软阈值操作作用于每个奇异值，小于τ·ω_i的奇异值被置为0，大于τ·ω_i的奇异值仍保持原值。

选择组稀疏字典及其低秩信息过程64。一旦确定对于任一特征目标函数如下：

其中，表示的稀疏系数向量，表示特征是否能够被字典表示，约束项∑γ_i,j＝1和γ_i,j＝{0,1}用于保证只能挑选一个字典来表示 表示用字典表示特征聚类的系数向量，T表示误差阈值。γ的闭合解如下：

如果可以表示则把字典加入字典集合D，保留该字典对应的奇异值信息，使得迭代次数j＝j+1，并把稀疏系数的特征从剩余特征集X^j中移除；如果不可以表示任意一个剩余特征则丢弃字典

迭代进行过程63和64，直到剩余特征集为空集。

最后，取得正常特征的组稀疏字典集，每个字典用于表示正常行为模式。注意，由于训练特征集对应的视频序列只包含正常事件，所以学习到的字典均表示正常行为模式。

如图7，检测过程是指通过训练过程学习到的正常模式字典集，检测测试样本是否为异常样本的过程。包括以下具体步骤：

初始化测试参数过程71。初始化正常行为模式字典集为由训练过程得到的字典集，即D＝[D₁,D₂,...D_N]，对应的奇异值为其中重建误差阈值为R。

利用低秩信息加权稀疏重建方法，计算测试特征的重建误差过程72。针对任意一个测试特征x，利用低秩信息加权重建方法对每个字典D_k计算重建误差，计算方法如下：

其中，表示字典D_k的重建权值向量。因为原子对应更大的奇异值，表示该原子包含更重要的正常行为模式特性，应该赋予该原子更小的重建代价。原子权重被设置为：

为了尽可能地节省时间，采用加权正交匹配追踪算法来求解式(5):

此时重建误差为：

判断测试特征是否为异常特征过程73。通过搜索一个合适的字典来表示该测试样本，进而利用重建误差来判断该测试样本是否为异常事件。如果重建误差小于重建误差阈值，则表明测试特征x可以被字典D_k表示，即测试特征x属于正常事件；否则，测试特征x不能被字典D_k表示。如果正常模式字典集中的所有字典均不能表示测试特征x，则测试特征x属于异常事件。

这里需要着重指出，相比于目前最先进的算法，本发明采用迭代低秩逼近方法，取得了至少4％的检测正确率提升。通过检索正常模式字典集的方法，本发明的检测速度可以较传统异常检测方法提升20倍以上。另外，相比于传统稀疏表示方法，本发明采用SVD阈值算法可以减少至少10倍的训练时间。

Claims (6)

1.一种基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：包括特征提取、训练和检测三个过程：

特征提取过程，包括以下步骤：

1)提取视频序列的多尺度三维梯度特征；

2)对多尺度三维梯度特征进行降维，形成训练特征集和测试特征集；

训练过程，包括以下步骤：

3)初始化剩余训练特征和相关参数；

4)对剩余训练特征进行迭代组稀疏字典学习，获得正常模式字典集及其低秩信息；

测试过程，包括以下步骤：

5)利用由训练过程获取的组稀疏字典集及其低秩信息，对测试特征进行加权稀疏重建；

6)根据重建误差，判断测试特征是否为异常特征。

2.根据权利要求1所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤1)包括以下具体步骤：

1.1)对视频序列的每一帧图像进行不同尺度的缩放，形成一个三层图像金字塔；

1.2)对每一层图像进行时空立方体采样，提取空间上不重叠区域的三维梯度特征；

1.3)针对每一层视频序列，将同一空间区域上连续5帧的三维梯度特征叠加在一起，组成一个时空特征。

3.根据权利要求1、2所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤2)包括以下具体步骤：

2.1)利用主成分分析PCA，对上述提取的每一个时空特征进行降维；

2.2)利用上述方法，将训练视频序列和测试视频序列转换为训练特征集和测试特征集。

4.根据权利要求1或3所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤3)包括以下具体步骤：

3.1)将步骤2.2)获取的训练特征集初始化为剩余训练特征集；

3.2)初始化正则化参数、误差阈值、迭代次数和正常模式字典集。

5.根据权利要求1中所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于，：所述步骤4)包括以下具体步骤：

假设迭代次数j＝1，剩余训练特征表示为X^j＝[x₁,x₂,...,x_n]，其中n为特征数目，m为每个特征的维数，正则化参数为τ，正常模式字典集为

4.1)确定聚类数目C^j，对剩余特征集X^j进行K均值聚类，此时第j^th次迭代中第c^th个聚类的特征表示为其中j＝1,2,...,N，表示第c^th个聚类的特征数目，函数f(·)把聚类中的特征序号映射到该特征在初始特征集中的序号；

4.2)利用公式(1)和公式(2)：

$(D_c^j,{\mathrm{\Λ}}_c^j,V_c^j)=\arg \underset{D,\mathrm{\Λ},V}{min}\left|\right|X_c^j-D_c^j{\mathrm{\Λ}}_c^j{\left(V_c^j\right)}^T|{|}_2^2+\mathrm{\τ}\underset{i=1}{\overset{n_c^j}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{\mathrm{\λ}}_i---\left(1\right)$

$\left\{\begin{array}{c}(D_c^j,{\mathrm{\Λ}}_c^j,V_c^j)=svd\left(X_c^j\right)\\ {\widehat{\mathrm{\λ}}}_i=S_{\mathrm{\τ}\·{\mathrm{\ω}}_i}\left({\mathrm{\λ}}_i\right)\end{array}\right.---\left(2\right)$

对所有剩余特征的聚类进行字典学习，得到第j^th次迭代中C^j个特征聚类的字典集合其中，采用奇异值分解，τ是正则化参数，ω_i是第i个奇异值λ_i的权重， r是通过软阈值操作估算的秩；软阈值操作作用于每个奇异值，小于τ·ω_i的奇异值被置为0，大于τ·ω_i的奇异值仍保持原值；

4.3)一旦确定对于任一剩余特征利用公式(3)和公式(4)挑选字典去表示剩余特征；

$\begin{array}{c}\underset{\mathrm{\γ}}{\min }\underset{i=1}{\overset{n_c^j}{\mathrm{\Σ}}}{\mathrm{\γ}}_{f(i,c)}^j\left(\right||x_{f(i,c)}^j-D_c^j{\mathrm{\β}}_{f(i,c)}^j|{|}_2^2-T)\\ s.t.\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_{f(i,c)}^j=1,{\mathrm{\γ}}_{f(i,c)}^j=\{0,1\}\end{array}---\left(3\right)$

其中，表示的稀疏系数向量，表示特征是否能够被字典表示，约束项∑γ_i,j＝1和γ_i,j＝{0,1}用于保证只能挑选一个字典来表示 表示用字典表示特征聚类的系数向量，T表示误差阈值；

如果可以表示剩余特征则把字典加入字典集合D，保留该字典对应的奇异值信息，并把稀疏系数的特征从剩余特征集X^j中移除；如果不可以表示任意一个剩余特征则丢弃字典

4.4)迭代次数加1，j＝j+1；

4.5)当剩余特征集为空集时，组稀疏字典学习过程结束。

6.根据权利要求1中所述的基于低秩自适应稀疏重建的异常事件检测方法，其特征在于：所述步骤5)包括以下具体步骤：

假设正常模式字典集为D＝[D₁,D₂,...D_N]，对应的奇异值为其中

5.1)给定一个测试特征x，对字典D_k(k＝1,2,...N)计算重建误差：

$\underset{{\mathrm{\β}}_k}{min}\left|\right|x-D_k{\mathrm{\β}}_k|{|}_2^2+\mathrm{\α}|\left|W_k{\mathrm{\β}}_k\right|{|}_1---\left(5\right)$

其中，表示字典D_k的重建权值向量；

5.2)因为原子对应更大的奇异值，表示该原子包含更重要的正常行为模式特性，应该赋予该原子更小的重建代价；原子权重被设置为：

$w_{k,t}=1-\frac{{\mathrm{\λ}}_{k,t}}{\left|\right|{\mathrm{\λ}}_k|{|}_1}---\left(6\right)$

5.3)采用加权正交匹配追踪算法来求解式(5):

${\widehat{\mathrm{\β}}}_k=\arg \underset{{\mathrm{\β}}_k}{min}\left|\right|x-D_k{\mathrm{\β}}_k|{|}_2^2+\mathrm{\α}|\left|W_k{\mathrm{\β}}_k\right|{|}_1---\left(7\right)$

5.4)利用公式(8)计算测试特征x的重建误差：

$E_k=\left|\right|x-D_k{\widehat{\mathrm{\β}}}_k|{|}_2^2+\mathrm{\α}|\left|W_k{\widehat{\mathrm{\β}}}_k\right|{|}_1---\left(8\right)$

如果重建误差小于重建误差阈值，则表明测试特征x可以被字典D_k表示，即测试特征x属于正常事件；否则，测试特征x不能被字典D_k表示，使得k＝k+1，返回步骤5.1)。

5.5)如果正常模式字典集中的所有字典均不能表示测试特征x，则测试特征x属于异常事件。