CN107665325A - 基于原子特征袋模型的视频异常事件检测方法及系统 - Google Patents

Abstract

一种基于原子特征袋模型的视频异常事件检测方法及系统，首先对视频进行采样，将视频划分为若干作为视频事件的时空体，再将每个时空体划分为时空块，而后从时空块中提取GCM描述子以及相邻时空块之间的STCV描述子，然后使用BoAF模型得到每个视频事件BoAF表示，最后采用K‐SVD算法，学习正常事件BoAF表示的过完备字典，计算每个事件的BoAF表示在这个字典下的稀疏重建代价，以稀疏重建代价大于经验阀值的视频事件为异常事件，本发明能够检测场景中的异常行为，且能够有效检测由于事件结构上下文引起的异常事件，在复杂拥挤的场景中取得了更高的检测率。

Description

基于原子特征袋模型的视频异常事件检测方法及系统

技术领域

本发明涉及的是一种图像处理识别领域的技术，具体是一种基于原子特征袋模型的视频异常事件检测方法及系统。

背景技术

传统的监控方式依靠人力，通常效率低下难以处理摄像头产生的海量数据。智能视屏监控是当前形势下的迫切需要，能够弥补人力的不足。

视频异常事件是指监控目标引起的不符合场景中事件规则且具有潜在危险性的事件。智能视频监控能够及时检测视频场景中发生的异常事件并发出警报，提醒人员应对处理，还能够准确定位引发异常事件的监控目标。

现在通常使用的词袋(BoW)模型是将视频时空体内部包含的局部特征描述子根据最近邻原则赋予码本上视觉词的标记，并将视频时空体建模成BoW表示。BoW模型在异常事件检测中忽略了时空体内部局部特征描述子之间的时空顺序，因此难以检测出结构上下文异常事件。此外，BoW模型还忽略了相同类型特征描述子之间的类内差异，造成较大的近似误差导致漏检或误检。

现有技术中涉及的多视角视频监控中异常事件建模方法，一般包括时空局部特征提取、“词袋”的构建、异常事件建模。但现有技术在存在动态，如树木、波动水面等，以及拥挤的场景中会产生大量无意义的特征点，其使用的时空特征描述子以及词袋模型不能反映出局部特征描述子之间的时空组合关系，难以检测出由于这种时空组合关系异常变化而引起的异常事件，忽略了相同类型特征描述子之间的类内差异，造成较大的近似误差从而导致异常事件的漏检或误检。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于原子特征袋模型的视频异常事件检测方法及系统，能够检测场景中的异常行为，且能够有效检测由于事件结构上下文引起的异常事件，在复杂拥挤的场景中取得了更高的检测率。

本发明是通过以下技术方案实现的：

本发明首先对视频进行采样，将视频划分为若干作为视频事件的时空体，再将每个时空体划分为时空块，而后从时空块中提取梯度-中心矩(GCM)描述子以及相邻时空块之间的时空块上下文变化(STCV)描述子，然后使用原子特征袋(BoAF)模型得到每个视频事件BoAF表示，最后采用字典学习算法(K-SVD算法)，学习正常事件BoAF表示的过完备字典，计算每个事件的BoAF表示在这个字典下的稀疏重建代价(SRC)，以SRC大于经验阀值的视频事件为异常事件。

本发明具体包括以下步骤：

1)将视频图像经过等间隔密集采样划分成大小一致的视频事件的时空体，再将每个时空体划分为大小一致的时空块；

2)从每个时空块中提取GCM描述子；

3)计算相邻时空块之间的STCV描述子；

4)使用字典学习算法，得到每个STCV描述子的稀疏重建系数s；

5)将稀疏重建系数s扩展成非负稀疏重建系数w；

6)将当前的视频事件中所有的非负稀疏重建系数w累积获得当前视频事件的BoAF表示f；

7)使用字典学习算法并获得过完备字典用于计算事件的BoAF表示在这个字典下的稀疏重建代价，若稀疏重建代价大于经验阀值则为异常事件。

所述的步骤2)具体包括以下步骤：

2.1)计算时空块中每个二维图像的每个像素的空间梯度幅度获得梯度时空块g，其中：v_ijt表示在时空位置(i,j,t)的像素灰度值；

2.2)计算所有像素的空间梯度幅度的第二、三和四阶中心矩其中：r＝{2,3,4}，τ为时空块在时间上的长度；

2.3)将中心矩分别拉伸成向量m⁽²⁾，m⁽³⁾，m⁽⁴⁾并组合获得GCM描述子

所述的STCV描述子其中：给定时空位置(i,j,t)的GCM描述子u_ijk，[d₁,d₂,d₃,d₄,d₅]^T为特征描述子u_ijk与其相邻的5个时空块u_i-1,j,k，u_i,j-1,k，u_i+1,j,k，u_i,j+1,k，u_i,j,k-1之间的欧式距离，r为[d₁,d₂,d₃,d₄,d₅]^T时间上的一阶导数获得差分向量。

所述的字典学习算法的目标函数为其中：D为通过字典学习算法获得的字典。

所述的非负稀疏重建系数

所述的BoAF表示其中：w_i为所有时空体中第i个局部特征描述子的非负稀疏重建系数。

所述的稀疏重建代价其中：α为过完备字典B下的稀疏重建系数。

本发明涉及一种实现上述方法的系统，包括：视频数据采集模块、局部特征提取模块、BoAF建模模块和异常事件检测模块，其中：视频数据采集模块、局部特征提取模块、BoAF建模模块和异常事件检测模块顺序相连，视频数据采集模块输出视频序列到局部特征提取模块，局部特征提取模块输出GCM描述子发送到BoAF建模模块，BoAF建模模块输出事件的BoAF表示到异常事件检测模块，异常事件检测模块输出事件的正常或异常标记。

附图说明

图1为本发明流程示意图；

图2为异常事件示意图；

图3为异常事件检测的ROC曲线示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例首先对当前事件的视频进行采样，将视频划分为时空体，再将每个时空体划分为时空块，而后从时空块中提取GCM描述子以及相邻时空块之间的STCV描述子，然后使用原子特征袋模型得到BoAF表示，最后BoAF表示在采用字典学习算法得到正常事件的字典下的稀疏重建代价大于经验阀值则当前事件为异常事件。

所述的时空体为基本检测单元，其大小为16×16×16，每一个时空体可以看作一个视频事件。时空体为视频序列在时空划分中的产生的局部三维数据块。首先缓存数帧序列图像，获得视频片段，然后在空间上进行划分，获得三维数据块。每个时空体在本发明中认为是一个视频事件。所述的时空块是时空体经过进一步划分后获得的，大小为4×4×4，每个时空体中包含有32个时空块。时空体经过进一步划分后获得更小的三维数据块，每个时空体由多个时空块组成，本发明从时空块中提取GCM描述子，并计算STCV描述子用于描述这个时空块。在BoAF建模中，超完备字典中原子的数目设置为15。在事件分类阶段，超完备字典中原子数目设置为40。

所述的原子特征袋模型为一种中层特征模型，它将视频事件建模成字典上的原子特征的统计直方图向量的BoAF表示，能够更准确的描述视频事件的构成，且更鲁棒于噪声。

所述的超完备字典为使用K-SVD算法学习的字典，其中字典D用于事件的BoAF建模，字典B用于的事件分类。由于字典中原子数目大于字典的维数，因此字典是过完备的。

所述的原子为字典中每一个列向量，字典中原子数目为其中的列向量数目。每个原子代表一种特征类型，以不同的权值参与数据的重建。

基于原子特征袋模型的视频异常事件检测方法及系统包括以下具体步骤：

所述的视频异常事件检测方法包括训练阶段和检测阶段，训练阶段利用检测阶段的部分步骤实现，以下主要针对检测阶段的步骤。

1)将视频图像经过等间隔密集采样划分成大小一致的表示视频事件的时空体，再将每个时空体划分为大小一致的时空块v(x,y,t)，每个时空块大小为h×w×τ。

2)从每个时空块中提取GCM描述子。所述的GCM描述子是一种能够兼顾空间纹理和时间运动信息的时空特征描述子。

2.1)计算时空块中每个二维图像的每个像素v_ijt的空间梯度幅度获得梯度时空块g，其中：

2.2)计算所有像素的空间梯度幅度的第二、三和四阶中心矩其中：r＝{2,3,4}，τ为时空块的时间长度。

2.3)将中心矩分别拉伸成向量m⁽²⁾，m⁽³⁾，m⁽⁴⁾并组合获得GCM描述子

所述的第二、三、四阶中心矩分别反映了在空间位置(i,j)上的像素空间梯度幅度在时间上变化的3个重要特性，即方差、偏度、峰度。将每个像素的空间梯度幅度和它所在空间位置的三个中心矩值相乘，即m⁽²⁾g_ijt,m⁽³⁾g_ijt和m⁽⁴⁾g_ijt，并将相乘后获得的时空块g^(r)拉伸成为一个向量m^(r)，再将三个中心矩向量连接成一个长向量，即GCM描述子其维数为3hwτ。

3)计算相邻时空块及其相邻时空块的GCM描述子，再计算时空块的STCV描述子。

所述的STCV描述子其中：给定时空块的GCM描述子u_ijk，[d₁,d₂,d₃,d₄,d₅]^T为给定时空块的特征描述子u_ijk与其相邻的5个时空块u_i-1,j,k，u_i,j-1,k，u_i+1,j,k，u_i,j+1,k，u_i,j,k-1之间的欧式距离，r为[d₁,d₂,d₃,d₄,d₅]^T时间上的一阶导数获得差分向量。

4)使用字典学习算法，得到每个STCV描述子的稀疏重建系数s。

所述的字典学习算法的目标函数为获得用于BoAF建模的最优字典D。在每个时刻，使用前一时刻的字典通过稀疏编码获得当前时刻的一组STCV描述子{x₁,...,x_n}的稀疏重建系数{s₁,...,s_n}。

5)将稀疏重建系数s扩展成非负稀疏重建系数w。

所述的STCV描述子x_i的稀疏重建系数s_i扩展成所有元素都为正数的向量w_i，即

6)将当前视频事件中所有的非负稀疏重建系数w累积获得当前的视频事件的BoAF表示f。

所述的BoAF表示其中：w_i为所有时空块对应的非负稀疏重建系数。

7)使用字典学习算法并获得过完备字典用于计算事件的BoAF表示在这个字典下的稀疏重建代价，若稀疏重建代价大于经验阀值则为异常事件。

所述的学习字典即正常事件字典，在训练阶段，采用正常的视频事件通过步骤1)～6)获得正常事件的过完备字典B。所述的稀疏重建代价其中：α为过完备字典B下通过稀疏编码获得的稀疏重建系数。

当稀疏重建代价大于预先设定的经验阈值δ时，当前视频事件则标记为异常，否则为正常。即

所述的过完备字典B为优化获得的最优的过完备字典，其中A＝[α₁,...,α_n]为稀疏系数矩阵，每一列α_i为第i个事件的稀疏重建系数；f_i为第i个事件的BoAF表示。

本实施例中的实现上述方法的系统，包括：视频数据采集模块、局部特征提取模块、BoAF建模模块和异常事件检测模块，其中：视频数据采集模块、局部特征提取模块、BoAF建模模块和异常事件检测模块顺序相连，视频数据采集模块输出视频序列到局部特征提取模块，局部特征提取模块输出GCM描述子发送到BoAF建模模块，BoAF建模模块输出事件的BoAF表示到异常事件检测模块，异常事件检测模块输出事件的正常或异常标记。

本实施例中，采用UCSD Ped1标准数据库来评价本发明的性能。UCSD Ped1数据库是常用于视频异常事件检测与定位方法性能评价的标准数据库。它是由安装在高处固定摄像头拍摄的加州大学圣地亚哥分校校园中某两条道路上来往行人的视频序列。数据库中人群密度疏密变化不等，有几十个人的密集场景到几个人的稀疏场景。这个数据库唯一定义的正常事件就是行人以正常速度沿着道路走动。异常事件包括进入道路的骑自行车人、滑板人、汽车、行人的奔跑以及在草坪上走动等事件。UCSD Ped1子集共含有14000帧图像，分为34个训练序列和36个测试序列，每个序列含有200帧，分辨率为238×158。

为了准确的评价检测视频异常事件的效果及性能，采用像素级准则进行性能评价。像素级准则在帧级准则之上规定当且仅当真实异常区域的40％像素被检测，这一帧才被视为一个真阳性检测，否则就视为假阳性检测。真阳性率(TPR)和假阳性率(FPR)在不同阈值下的受试者操作特征(ROC)曲线表征，其中TPR和FPR的定义为：

所述的TP、TN、FP、FN的分别表示真阳、真阴、假阳、假阴性检测。检测方法的性能汇总为检测率(DR)，它是ROC曲线上的TPR＝1-FPR点的值。这里使用DR和ROC曲线下面积(AUC)共同评价方法的性能。

如图2所示，可以看出本发明能够有效的检测不同类型的异常事件，如人群恐慌、人群中出现的汽车、滑板人、骑自行车人等。

如图3所示，给出了包括基于社会力模型的方法(SFM)、混合动态纹理(Mixture ofDynamic Texture)、光流直方图(HOF)、时空梯度直方图(HSTG)、光流混合概率主成分分析(SF-MPPCA)、稀疏重建(SRC)以及本发明在UMN数据库上实验结果的像素级ROC曲线。表1给出了本发明和对比方法的ROC曲线,以及相等错误率(EER)的值，EER值越低表明方法的性能越好。

表1不同方法的EER值对比

与现有技术相比，本发明基于时空密集采样的特征提取方法能够避免在复杂拥挤的场景中难以较好实现的目标跟踪与特征点检测问题；GCM描述子能够获取事件中的重要信息，兼顾异常事件检测中的运动与外观视觉线索，且计算高效；STCV描述子能够有效反映事件中的结构上下文信息；BoAF模型能够有效降低近似误差，且能够处理视觉词分配过程中的不确定性，具有更好的性能。

Claims (9)

1.一种基于原子特征袋模型的视频异常事件检测方法，其特征在于，首先对视频进行采样，将视频划分为若干作为视频事件的时空体，再将每个时空体划分为时空块，而后从时空块中提取GCM描述子以及相邻时空块之间的STCV描述子，然后使用BoAF模型得到每个视频事件BoAF表示，最后采用字典学习算法学习正常事件BoAF表示的过完备字典，计算每个事件的BoAF表示在这个字典下的稀疏重建代价，以稀疏重建代价大于经验阀值的视频事件为异常事件。

2.根据权利要求1所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，具体包括以下步骤：

1)将视频图像经过等间隔密集采样划分成大小一致的视频事件的时空体，再将每个时空体划分为大小一致的时空块；

2)从每个时空块中提取GCM描述子；

3)计算相邻时空块之间的STCV描述子；

4)使用字典学习算法，得到每个STCV描述子的稀疏重建系数s；

5)将稀疏重建系数s扩展成非负稀疏重建系数w；

6)将当前的视频事件中所有的非负稀疏重建系数w累积获得当前视频事件的BoAF表示f；

7)使用字典学习算法并获得过完备字典用于计算事件的BoAF表示在这个字典下的稀疏重建代价，若稀疏重建代价大于经验阀值则为异常事件。

3.根据权利要求2所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，步骤2)具体包括以下步骤：

2.1)计算时空块中每个二维图像的每个像素的空间梯度幅度获得梯度时空块g，其中：v_ijt表示在时空位置(i,j,t)的像素灰度值；

2.2)计算所有像素的空间梯度幅度的第二、三和四阶中心矩其中：r＝{2,3,4}，τ为时空块在时间上的长度；

2.3)将中心矩分别拉伸成向量m⁽²⁾，m⁽³⁾，m⁽⁴⁾并组合获得GCM描述子

4.根据权利要求3所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，所述的STCV描述子其中：给定时空位置(i,j,t)的GCM描述子u_ijk，，[d₁,d₂,d₃,d₄,d₅]^T为给定时空块的特征描述子u_ijk与其相邻的5个时空块u_i-1,j,k，u_i,j-1,k，u_i+1,j,k，u_i,j+1,k，u_i,j,k-1之间的欧式距离，r为[d₁,d₂,d₃,d₄,d₅]^T时间上的一阶导数获得差分向量。

5.根据权利要求4所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，所述的字典学习算法的目标函数为其中：D为通过字典学习算法获得的字典。

6.根据权利要求5所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，所述的非负稀疏重建系数

7.根据权利要求6所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，所述的BoAF表示其中：w_i为所有时空体中第i个局部特征描述子的非负稀疏重建系数。

8.根据权利要求7所述的基于原子特征袋模型的视频异常事件检测方法，其特征是，所述的稀疏重建代价其中：α为过完备字典B下的稀疏重建系数。

9.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：视频数据采集模块、局部特征提取模块、BoAF建模模块和异常事件检测模块，其中：视频数据采集模块、局部特征提取模块、BoAF建模模块和异常事件检测模块顺序相连，视频数据采集模块输出视频序列到局部特征提取模块，局部特征提取模块输出GCM描述子发送到BoAF建模模块，BoAF建模模块输出事件的BoAF表示到异常事件检测模块，异常事件检测模块输出事件的正常或异常标记。