CN109902564B - 一种基于结构相似性稀疏自编码网络的异常事件检测方法 - Google Patents

Abstract

本发明涉及一种基于结构相似性稀疏自编码网络的异常事件检测方法。本发明分为两个阶段：在训练阶段，提取训练数据的结构相似性SSIM特征，并将SSIM特征作为稀疏自编码网络的输入训练网络的权重参数，利用稀疏自编码网络的隐藏层对SSIM特征进行降维并提取均值和方差；在测试阶段，提取测试数据的SSIM特征，输入到训练好的稀疏自编码网络中，得到隐藏层的输出数据，结合训练阶段得到的均值和方差求马氏距离，当马氏距离小于阈值时，判为正常事件；当马氏距离大于等于阈值时，判为异常事件。本发明通过提取SSIM特征来表征场景的变化程度，从而能更好地鉴别是否发生异常事件。

Description

一种基于结构相似性稀疏自编码网络的异常事件检测方法

技术领域

本发明属于计算机技术领域，特别是视频处理技术领域，涉及一种对视频进行异常事件检测的方法，具体是一种基于结构相似性稀疏自编码网络的异常事件检测方法。

背景技术

异常事件检测是属于智能视频监控的范畴，是利用智能算法针对监控视频中的异常事件进行检测，并发出报警信号以提高相关部门的响应速度。视频异常事件检测技术的发展在维护公共场所安全、节约人力物力上有着重要的作用。

在不同的视频场景中对异常的定义是不一样的，在同一个场景中异常事件的种类也是比较多样化的。通常情况下，异常事件是不同于正常事件的、发生概率比较小的事件。从目前的异常检测方法来看，大致可以分为基于人为选择特征的方法和基于深度神经网络自动选择特征的方法。大多数方法一般涉及两个部分，在训练阶段通过无监督学习训练数据的外观和运动特征，建立与正常数据相关联的一个或多个模型。在测试阶段，根据视频数据与模型是否匹配判定视频是否异常。

发明内容

本发明的目的是提供一种基于结构相似性稀疏自编码网络的异常事件检测方法，以提高对异常行为的检测率。

为解决上述技术问题，本发明提供的技术方案提取了结构相似性(SSIM)特征进行稀疏表示，并用马氏距离检测离群数据。

本发明方法包括训练阶段和测试阶段，其具体细节说明如下：

训练阶段：

步骤(1).对视频数据集中的训练数据进行预处理：

将训练数据中的每一帧尺寸规范为M×N，M和N分别代表每帧图像的高和宽，将尺寸规范后的图像按照网格的方式分割成不重叠的空间区域，形成n个尺寸大小都是p×p的网格区域。

步骤(2).提取训练数据的SSIM特征，所述的SSIM为结构相似性：

a_r表示训练数据中第t帧上的某块网格区域，a_ro、a_r1、a_r2、a_r3、a_r4、a_r5、a_r6、a_r7分别表示目标区域a_r左上、上、右上、左、右、左下、下、右下的8个邻域；目标区域a_r的SSIM特征组成是{S_r0,S_r1,L,S_r17}；

①计算在第t帧和它的前n帧中，邻域a_ri′与目标区域a_r的SSIM值之和S_ri′：

R_j(a_r)表示在第j帧中的a_r区域，R_j(a_ri′)表示在第j帧中的邻域a_ri′，SSIM(x,y)表示两个图像块x和y的结构相似性；

②计算第t帧目标区域a_r和前n帧目标区域a_r的SSIM值之和S_r8：

③计算在第t帧和它的后n帧中，邻域a_r(i″-9)与目标区域a_r的SSIM值之和S_ri″：

④计算第t帧目标区域a_r和后n帧目标区域a_r的SSIM值之和S_r17：

通过以上①～④的计算，得到目标区域a_r的SSIM特征序列{S_r0,S_r1,L,S_r17}，用相同的方式计算每一帧图像的每个网格区域的特征序列；将一帧图像中每个网格区域的特征序列连接起来组成一个向量，作为这一帧图像的SSIM特征，表示为X_r。

步骤(3).训练稀疏自编码网络：

所述的稀疏自编码网络总共有三层，分别为输入层、隐藏层和输出层；

将X_r作为稀疏自编码网络的输入数据训练此网络，在训练稀疏自编码网络的过程中，根据最小化目标函数的原则对网络中的参数进行迭代更新，稀疏自编码网络的目标函数计算公式如下：

m为输入的训练样本个数，X_ri为第i个输入数据，Y_ri为网络第i个输出数据，λ为权重因子的系数，D是输入层节点数，与X_r的长度相同，H是隐藏层节点数，W_kj表示隐藏层到输出层之间的权重参数，β为惩罚因子的权重，ρ_k′表示隐藏神经元k的平均激活度，ρ为稀疏参数，KL(ρ||ρ_k′)表示KL散度；

当上一次迭代的目标函数与这一次目标函数的均方误差小于1时，迭代结束，得到训练完成的稀疏自编码模型A；

步骤(4).将所有训练数据的SSIM特征序列输入到模型A中，得到隐藏层的输出数据H_r。计算H_r的均值μ和协方差Σ。

测试阶段：

步骤(5).对视频数据集中的测试数据进行预处理：

将测试数据中的每一帧尺寸规范为M×N，M和N分别代表每帧图像的高和宽，将尺寸规范后的图像按照网格的方式分割成不重叠的空间区域，形成n个尺寸大小都是p×p的网格区域。

步骤(6).提取测试数据的SSIM特征：

a_e表示测试数据中第t帧上的某块网格区域，a_e0、a_e1、a_e2、a_e3、a_e4、a_e5、a_e6、a_e7分别表示目标区域a_e左上、上、右上、左、右、左下、下、右下的8个邻域；目标区域a_e的SSIM特征组成是{S_e0,S_e1,L,S_e17}；

⑤计算在第t帧和它的前n帧中，邻域a_ei′与目标区域a_e的SSIM值之和S_ei′：

R_j(a_e)表示在第j帧中的a_e区域，R_j(a_ei′)表示在第j帧中的邻域a_ei′；

⑥计算第t帧目标区域a_e和前n帧目标区域a_e的SSIM值之和S_e8：

⑦计算在第t帧和它的后n帧中，邻域a_r(i″-9)与目标区域a_e的SSIM值之和S_ei″：

⑧计算第t帧目标区域a_e和后n帧目标区域a_e的SSIM值之和S_e17：

通过以上⑤～⑧的计算，得到目标区域a_e的SSIM特征序列{S_e0,S_e1,L,S_e17}，用相同的方式计算每一帧测试图像的每个网格区域的特征序列；将一帧图像中每个网格区域的特征序列连接起来组成一个向量，作为这一帧图像的SSIM特征，表示为X_e。

步骤(7).将测试数据的SSIM特征X_e输入到模型A中，得到隐藏层的输出数据H_e；根据训练阶段得到的均值μ和协方差Σ，计算H_e与训练数据的马氏距离α；α＜th，判定为正常事件；α≥th，判定为异常事件，th为设定阈值时。

本发明的有益效果是：本发明通过提取空间和时间维度的SSIM特征来捕捉场景的变化程度，利用稀疏自编码网络对SSIM特征进行稀疏表示，从而去掉SSIM特征中的冗余信息，压缩了数据量，利用马氏距离将异常事件检测出来。与传统方法采用的光流或光流直方图特征相比，本发明采用SSIM特征具有更好的特征表征能力，且实现方法简单快速；与基于深度学习网络自我学习特征的方法相比，本发明采用SSIM特征具有良好的解释性，便于抓住事件特征，同时具有更高的检测准确性。

附图说明

图1为本发明方法训练阶段的流程图；

图2为本发明方法测试阶段的流程图；

图3为本发明中稀疏自编码网络结构图。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

一种基于结构相似性稀疏自编码网络的异常事件检测方法，包括训练阶段和测试阶段。训练阶段由三个模块组成：1、预处理模块，该模块主要功能是获取训练数据集的网格区域数据；2、SSIM特征提取模块，该模块主要功能是提取训练数据集中每帧图像的SSIM特征序列；3、训练稀疏自编码网络，该模块主要功能是将的SSIM特征序列作为稀疏自编码网络的输入，对网络进行训练，得到训练完成的模型。测试阶段也由三个模块组成：1、预处理模块，该模块主要功能是获取测试数据集的网格区域数据；2、SSIM特征提取模块，该模块主要功能是提取测试数据集中每帧图像的SSIM特征序列；3、检测模块，该模块主要功能是将测试数据集的SSIM特征序列输入到训练好的模型中，得到隐藏层的输出数据，并用马氏距离的衡量方式将离群的异常事件

如图1所示，训练阶段具体步骤是：

步骤(1).对视频数据集中的训练数据进行预处理：

将训练数据中的每一帧尺寸规范为120×160，120代表每帧图像的高，160代表每帧图像的宽，将尺寸规范后的图像按照网格的方式分割成不重叠的空间区域，形成12个尺寸大小都是40×40的网格区域。

步骤(2).提取训练数据的SSIM(结构相似性)特征。

a_r表示训练数据中第t帧上的某块网格区域，a_ro、a_r1、a_r2、a_r3、a_r4、a_r5、a_r6、a_r7分别表示目标区域a_r左上、上、右上、左、右、左下、下、右下的8个邻域；目标区域a_r的SSIM特征组成是{S_r0,S_r1,L,S_r17}；

步骤(2).提取训练数据的SSIM特征。a_r表示训练数据中第t帧上的某块网格区域，a_r0、a_r1、a_r2、a_r3、a_r4、a_r5、a_r6、a_r7分别表示目标区域a_r左上、上、右上、左、右、左下、下、右下的8-邻域。目标区域a_r的SSIM特征组成是{S_r0，S_r1……S_r17}。

①计算在第t帧和它的前5帧中，邻域a_ri′与目标区域a_r的SSIM值之和S_ri′：

R_j(a_r)表示在第j帧中的a_r区域，R_j(a_ri′)表示在第j帧中的邻域a_ri′，SSIM(x,y)表示两个图像块x和y的结构相似性；

②计算第t帧目标区域a_r和前5帧目标区域a_r的SSIM值之和S_r8：

③计算在第t帧和它的后5帧中，邻域a_r(i″-9)与目标区域a_r的SSIM值之和S_ri″；

④计算第t帧目标区域a_r和后5帧目标区域a_r的SSIM值之和S_r17：

通过以上①～④的计算，得到目标区域a_r的SSIM特征序列{S_r0,S_r1,L,S_r17}，用相同的方式计算每一帧图像的每个网格区域的特征序列；将一帧图像中每个网格区域的特征序列连接起来组成一个向量，作为这一帧图像的SSIM特征，表示为X_r。

步骤(3).训练稀疏自编码网络：

所述的稀疏自编码网络总共有三层，分别为输入层、隐藏层和输出层，稀疏自编码网络如图3所示，输入层节点为216，隐藏节点个数为100，输入层和隐藏层之间的权重参数记为W₁，W₁∈R^216×100，R表示实数集合，隐藏层与输出层之间的权重参数记为W₂，W₂∈R^100×216。

将X_r作为稀疏自编码网络的输入数据训练此网络，在训练稀疏自编码网络的过程中，根据最小化目标函数的原则对网络中的参数进行迭代更新，稀疏自编码网络的目标函数计算公式为：

其中，m为输入的训练样本个数，X_ri为第i个输入数据，Y_ri为网络第i个输出数据，λ为权重因子的系数，λ＝0.0001，D是输入层节点数，与X_r的长度相同，D＝216，H是隐藏层节点数，H＝100，W_kj表示隐藏层到输出层之间的权重参数，β为惩罚因子的权重，β＝3，ρ_k′表示隐藏神经元k的平均激活度，ρ为稀疏参数，ρ＝0.05，KL(ρ||ρ_k′)表示KL散度。

当上一次迭代的目标函数与这一次目标函数的均方误差小于1时，迭代结束，得到训练完成的稀疏自编码模型A。

步骤(4).将所有训练数据的SSIM特征序列输入到模型A中，得到隐藏层的输出数据H_r。计算H_r的均值μ和协方差Σ。

如图2所示，测试阶段的具体步骤是：

步骤(5).对视频数据集中的测试数据进行预处理：

将测试数据中的每一帧尺寸规范为120×160，120代表每帧图像的高，160代表每帧图像的宽，将尺寸规范后的图像按照网格的方式分割成不重叠的空间区域，形成个12尺寸大小都是40×40的网格区域。

步骤(6).提取测试数据的SSIM特征：

a_e表示测试数据中第t帧上的某块网格区域，a_e0、a_e1、a_e2、a_e3、a_e4、a_e5、a_e6、a_e7分别表示目标区域a_e左上、上、右上、左、右、左下、下、右下的8个邻域；目标区域a_e的SSIM特征组成是{S_e0,S_e1,L,S_e17}；

⑤计算在第t帧和它的前5帧中，邻域a_ei′与目标区域a_e的SSIM值之和S_ei′：

R_j(a_e)表示在第j帧中的a_e区域，R_j(a_ei′)表示在第j帧中的邻域a_ei′；

⑥计算第t帧目标区域a_e和前5帧目标区域a_e的SSIM值之和S_e8：

⑦计算在第t帧和它的后5帧中，邻域a_r(i″-9)与目标区域a_e的SSIM值之和S_ei″：

⑧计算第t帧目标区域a_e和后5帧目标区域a_e的SSIM值之和S_e17：

通过以上⑤～⑧的计算，得到目标区域a_e的SSIM特征序列{S_e0,S_e1,L,S_e17}，用相同的方式计算每一帧测试图像的每个网格区域的特征序列；将一帧图像中每个网格区域的特征序列连接起来组成一个向量，作为这一帧图像的SSIM特征，表示为X_e。

步骤(7).将测试数据的SSIM特征X_e输入到模型A中，得到隐藏层的输出数据H_e。根据训练阶段得到的均值μ和协方差Σ，利用现有的技术计算H_e与训练数据的马氏距离α。α＜th，判定为正常事件；α≥th，判定为异常事件；设定阈值th＝276。

Claims (4)

1.一种基于结构相似性稀疏自编码网络的异常事件检测方法，包括训练阶段和测试阶段，其特征在于：

所述的训练阶段具体步骤是：

步骤(1).对视频数据集中的训练数据进行预处理；

步骤(2).提取训练数据的SSIM特征，所述的SSIM为结构相似性：

a_r表示训练数据中第t帧上的某块网格区域，a_ro、a_r1、a_r2、a_r3、a_r4、a_r5、a_r6、a_r7分别表示目标区域a_r左上、上、右上、左、右、左下、下、右下的8个邻域；计算得到目标区域a_r的SSIM特征序列{S_r0，S_r1，S_r17}，计算方法如下：

①计算在第t帧和它的前n帧中，邻域a_ri′与目标区域a_r的SSIM值之和S_ri′：

R_j(a_r)表示在第j帧中的a_r区域，R_j(a_ri′)表示在第j帧中的邻域a_ri′，SSIM(x,y)表示两个图像块x和y的结构相似性；

②计算第t帧目标区域a_r和前n帧目标区域a_r的SSIM值之和S_r8：

③计算在第t帧和它的后n帧中，邻域a_r(i″-9)与目标区域a_r的SSIM值之和S_ri″：

④计算第t帧目标区域a_r和后n帧目标区域a_r的SSIM值之和S_r17：

通过以上①～④的计算，得到目标区域a_r的SSIM特征序列{S_r0，S_r1，S_r17}；

用相同的方式计算每一帧图像的每个网格区域的特征序列；将一帧图像中每个网格区域的特征序列连接起来组成一个向量，作为这一帧图像的SSIM特征，表示为X_r；

步骤(3).训练稀疏自编码网络：

将X_r作为稀疏自编码网络的输入数据训练此网络，在训练稀疏自编码网络的过程中，根据最小化目标函数的原则对网络中的参数进行迭代更新，稀疏自编码网络的目标函数计算公式如下：

其中m为输入的训练样本个数，X_ri为第i个输入数据，Y_ri为网络第i个输出数据，λ为权重因子的系数，D是输入层节点数，与X_r的长度相同，H是隐藏层节点数，W_kj表示隐藏层到输出层之间的权重参数，β为惩罚因子的权重，ρ′_k表示隐藏神经元k的平均激活度，ρ为稀疏参数，KL(ρ||ρ′_k)表示KL散度；

当上一次迭代的目标函数与这一次目标函数的均方误差小于1时，迭代结束，得到训练完成的稀疏自编码模型A；

步骤(4).将所有训练数据的SSIM特征序列输入到模型A中，得到隐藏层的输出数据H_r；计算H_r的均值μ和协方差Σ；

所述的测试阶段具体步骤是：

步骤(5).对视频数据集中的测试数据进行预处理；

步骤(6).提取测试数据的SSIM特征：

a_e表示测试数据中第t帧上的某块网格区域，a_e0、a_e1、a_e2、a_e3、a_e4、a_e5、a_e6、a_e7分别表示目标区域a_e左上、上、右上、左、右、左下、下、右下的8个邻域；计算得到目标区域a_e的SSIM特征序列{S_e0，S_e1，S_e17}，计算方法如下：

⑤计算在第t帧和它的前n帧中，邻域a_ei′与目标区域a_e的SSIM值之和S_ei′：

R_j(a_e)表示在第j帧中的a_e区域，R_j(a_ei′)表示在第j帧中的邻域a_ei′；

⑥计算第t帧目标区域a_e和前n帧目标区域a_e的SSIM值之和S_e8：

⑦计算在第t帧和它的后n帧中，邻域a_r(i″-9)与与目标区域a_e的SSIM值之和S_ei″：

⑧计算第t帧目标区域a_e和后n帧目标区域a_e的SSIM值之和S_e17：

通过以上⑤～⑧的计算，得到目标区域a_e的SSIM特征序列{S_e0，S_e1，S_e17}；

用相同的方式计算每一帧测试图像的每个网格区域的特征序列；将一帧图像中每个网格区域的特征序列连接起来组成一个向量，作为这一帧图像的SSIM特征，表示为X_e；

步骤(7).将测试数据的SSIM特征X_e输入到模型A中，得到隐藏层的输出数据H_e；根据训练阶段得到的均值μ和协方差Σ，计算H_e与训练数据的马氏距离α；α＜th，判定为正常事件；α≥th，判定为异常事件，th为设定阈值。

2.如权利要求1所述的一种基于结构相似性稀疏自编码网络的异常事件检测方法，其特征在于：步骤(1)对训练数据进行预处理是将训练数据中的每一帧尺寸规范为M×N，M和N分别代表每帧图像的高和宽，将尺寸规范后的图像按照网格的方式分割成不重叠的空间区域，形成n个尺寸大小都是p×p的网格区域。

3.如权利要求1所述的一种基于结构相似性稀疏自编码网络的异常事件检测方法，其特征在于：步骤(5).对测试数据进行预处理是将测试数据中的每一帧尺寸规范为M×N，M和N分别代表每帧图像的高和宽，将尺寸规范后的图像按照网格的方式分割成不重叠的空间区域，形成n个尺寸大小都是p×p的网格区域。

4.如权利要求1所述的一种基于结构相似性稀疏自编码网络的异常事件检测方法，其特征在于：步骤(3)中所述的稀疏自编码网络总共有三层，分别为输入层、隐藏层和输出层。

Images