CN109086797A - 一种基于注意机制的异常事件检测方法及系统 - Google Patents

Abstract

一种基于注意机制的异常事件监测方法及系统，包括模型训练步骤和数据处理步骤，模型训练步骤包括前向传播步骤和后向传播步骤。前向传播步骤中选取VGG网络结构，将选取的图片通过VGG网络进行特征提取，每张图片得到k*k*D特征立方体，在基于注意力的模型中，每个时间，LSTM都会生成一个k*k区域的概率值并与下一帧的特征立方体相乘作为下一帧的输入。后向传播步骤在利用训练数据训练时，在前一帧训练完成时，利用损失函数和注意力惩罚所形成的双重随机惩罚函数的最优解来更新前向传播时的权值。数据处理步骤：利用训练得到的模型，对待处理视频进行处理，检测出异常事件及异常事件的发生区域。本发明不仅能更好的检测出异常还能检测出异常区域范围。

Description

一种基于注意机制的异常事件检测方法及系统

技术领域

本发明涉及模式识别领域，尤其涉及基于深度表达的异常事件检测算法方面，更具体地说，本发明涉及一种基于注意机制的异常事件检测方法及系统，基于注意的循环模型，利用长短期记忆网络(Long short-term memory，简称LSTM)得到的注意区域概率和VGG提取到的特征，检测出异常区域的位置。

背景技术

随着“平安城市”、“平安校园”等项目的推进，智能化视频监控已经成为公共安全领域的一项重要技术，而异常事件检测则是提高视频监控智能化程度的一个主要途径。异常事件检测旨在从大量的视频数据中分析事件内容，归纳正常事件规律，检测出与之不一样的异常视频事件。对这些信息进行有效的检测和分离，可大大减小安防监控人员的工作量，降低危险事件漏检的机率。同时，监控过程中只保存可疑的视频事件信息，将节约大量的存储空间。

与行为识别不同，视频中的异常事件检测是由正常事件样本进行训练。这主要是因为异常视频事件的以下四个特性：(1)罕见性。异常事件的发生率与正常事件相比要低很多，所以异常事件的视频极为罕见，我们无法得到一个庞大且具体的异常事件体系。(2)区分场景性。异常事件在不同场景定义不同。(3)不可预测性。一个场景中，异常事件很多，无法一一列举。(4)与正常事件互异性。异常事件视频与正常事件相比，总存在一些差异，我们找出与这些与正常事件规律不相符的事件即可判定为异常。

近几年提出了大量的异常事件检测算法。根据拍摄场景的不同，目前的异常事件检测方法可以分为两类：稀疏场景下的异常检测和拥挤场景下的异常检测。在拥挤场景下，目标之间不可避免地存在严重的遮挡，使得单个目标的提取变得非常困难，所以基于视频块的特征被广泛采用，比如光流直方图(Histogram of optical flow，简称HOF)、梯度直方图(Histogram of oriented gradient，简称HOG)、社会力(Social force，简称SF)模型等。大量的研究表明，视频事件的特征对异常检测的精度非常重要，已有的手工设计的特征并不能适用于所有的情况，而目前在计算机视觉领域广泛应用且非常有效的深度学习特征在异常视频事件检测领域却很少涉及。由于视频事件的时间特性，相邻帧间的视频内容是有关，普通的深度神经网络的隐藏层之间是独立，并不能挖掘事件时间上的变化特性。而且目前只能做到检测异常，无法做到检测出异常区域的位置。

发明内容

针对上述技术问题，本发明提出一种基于注意机制的异常事件检测方法及系统，以能更好的检测出异常还能检测出异常区域范围。

本发明利用VGG进行深度特征提取得到k*k*D的特征立方体，利用长短期记忆网络进行学习，得到注意区域的概率同时建立视频事件长时间的依赖关系，并利用基于注意的循环模型来进行异常区域检测，在基于注意力的模型中，当前帧的LSTM有两个输出，一个是经过tanh激活函数得到的异常区域检测，一个是经过softmax激活函数后预测的k*k区域的概率值大小，本发明将预测的k*k区域的概率值大小与下一帧的特征立方体进行元素相乘，并将结果作为下一帧长短期记忆网络的输入。LSTM采用非线性变换，同时考虑当前输入和前一时刻的隐藏状态作为当前时刻隐藏状态的输入。因此，可以更好地模拟复杂的视频事件。

本发明解决其技术问题所采用的技术方案是：构造一种基于注意机制的异常事件监测方法，模型训练步骤和数据处理步骤，模型训练步骤包括前向传播步骤和后向传播步骤；

其中，前向传播步骤包括：

S1、用一段视频作为训练数据，视频中每帧都有一个标签，标签中y_t表示是否异常，然后对训练数据通过VGG网络进行特征提取，每帧图像得到一个k*k*D的特征立方体；

S2、由多层感知器初始化得到第一帧上的k*k个注意区域的概率l₁，将l₁与VGG提取的第一帧的特征立方体上的区域分别相乘得到一个新值，并将此新值作为输入给LSTM；经过LSTM的softmax激活函数预测第二帧的k*k个注意区域的概率l₂，经过tanh激活函数预测表示第一帧图片是否为异常；

S3、第二帧时，用前一帧预测得到的l₂和VGG提取到的第二帧的特征立方体相乘，作为该帧LSTM输入，预测l₃和若预测为异常，那么在l₂的k*k个区域中，哪个区域概率大，就认为这个区域为异常区域范围，并通过图片大小和区域位置折算出坐标信息；

S4、采用与步骤S3同样的方法，来进行后续帧的处理，直至训练数据处理完毕；

后向传播步骤：在利用训练数据训练时，在前一帧训练完成时，利用损失函数和注意力惩罚所形成的双重随机惩罚函数的最优解来更新前向传播时的权值；权值w更新为其中α为学习率，双重随机惩罚函数L为：

第一项是时间序列的交叉熵，y_t是每帧是否异常的真实值，是每帧是否异常的预测值，T是时间总长度，第二项是注意机制的约束项，l_t,i是通过softmax激活函数后得到的概率值，为了使得代价函数L最小，要趋于1，即某个注意区域在所有时刻激活函数输出和为1，这样惩罚了模型总是注意同一个区域的情况，λ是注意惩罚系数，第三项是正则化，防止过拟合，γ是权重衰减系数，θ代表所有的模型参数。

数据处理步骤：利用模型训练步骤训练得到的模型，对待处理视频进行处理，检测出异常事件及异常事件的发生区域。

进一步地，在本发明的基于注意机制的异常事件监测方法中，步骤S1中，作为所述训练数据的视频来源于UCSD数据集。

进一步地，在本发明的基于注意机制的异常事件监测方法中，步骤S2具体包括：

采用以下初始化策略获取LSTM的细胞状态和隐藏状态以加快收敛速度:

然后采用C₀以及h₀计算初始输入帧X₁的l₁，f_init,c和f_init,h是是两个多层感知器，T是时间总长度，l₁表示第一个经过softmax激活函数后得到的各区域概率。

进一步地，在本发明的基于注意机制的异常事件监测方法中，

其中w_i是第i个元素的权重，L_t表示有1-k²个区域的随机变量，h_t为隐藏状态。

进一步地，在本发明的基于注意机制的异常事件监测方法中，所述VGG网络具体是指VGG19部分网络结构。

根据本发明的另一方面，本发明为解决其技术问题，还提供了一种基于注意机制的异常事件监测系统，模型训练模块和数据处理模块，模型训练模块包括前向传播模块和后向传播模块；

其中，前向传播模块包括：

特征提取子模块，用于用一段视频作为训练数据，视频中每帧都有一个标签，标签中y_t表示是否异常，然后对训练数据通过VGG网络进行特征提取，每帧图像得到一个k*k*D的特征立方体；

初始帧处理子模块，用于由多层感知器初始化得到第一帧上的k*k个注意区域的概率l₁，将l₁与VGG提取的第一帧的特征立方体上的区域分别相乘得到一个新值，并将此新值作为输入给LSTM；经过LSTM的softmax激活函数预测第二帧的k*k个注意区域的概率l₂，经过tanh激活函数预测表示第一帧图片是否为异常；

第二帧处理子模块、第二帧时，用前一帧预测得到的l₂和VGG提取到的第二帧的特征立方体相乘，作为该帧LSTM输入，预测l₃和若预测为异常，那么在l₂的k*k个区域中，哪个区域概率大，就认为这个区域为异常区域范围，并通过图片大小和区域位置折算出坐标信息；

迭代处理子模块，用于采用与步骤第二帧处理子模块同样的方法，来进行后续帧的处理，直至训练数据处理完毕；

后向传播模块，用于在利用训练数据训练时，在前一帧训练完成时，利用损失函数和注意力惩罚所形成的双重随机惩罚函数的最优解来更新前向传播时的权值；权值w更新为其中α为学习率，双重随机惩罚函数L为：

第一项是时间序列的交叉熵，y_t是每帧是否异常的真实值，是每帧是否异常的预测值，T是时间总长度，第二项是注意机制的约束项，l_t,i是softmax激活函数，为了使得代价函数L最小，要趋于1，即某个注意区域在所有时刻激活函数输出和为1，这样惩罚了模型总是注意同一个区域的情况，λ是注意惩罚系数，第三项是正则化，防止过拟合，γ是权重衰减系数，θ代表所有的模型参数。

数据处理模块，用于利用模型训练模块训练得到的模型，对待处理视频进行处理，检测出异常事件及异常事件的发生区域。

进一步地，在本发明的基于注意机制的异常事件监测系统中，特征提取子模块中，作为所述训练数据的视频来源于UCSD数据集。

进一步地，在本发明的基于注意机制的异常事件监测系统中，初始帧处理子模块具体用于：

采用以下初始化策略获取LSTM的细胞状态和隐藏状态以加快收敛速度:

然后采用C₀以及h₀计算初始输入帧X₁的l₁，f_init,c和f_init,h是是两个多层感知器，T是时间总长度，l₁表示第一个经过softmax激活函数后得到的各区域概率。

进一步地，在本发明的基于注意机制的异常事件监测系统中，

其中w_i是第i个元素的权重，L_t表示有1-k²个区域的随机变量，h_t为隐藏状态。

进一步地，在本发明的基于注意机制的异常事件监测系统中，所述VGG网络具体是指VGG19部分网络结构。

实施本发明的基于注意机制的异常事件监测方法及系统，具有以下有益效果：本发明利用VGG进行深度特征提取得到特征立方体，利用长短期记忆网络的学习，得到注意区域的概率同时建立视频事件长时间的依赖关系，提出的注意机制结合特征立方体和区域的概率，不仅能更好的检测出异常还能检测出异常区域范围，检测准确率高。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于注意机制的异常事件监测方法一实施例的流程图；

图2是本发明的注意机制图；

图3是本发明的训练模型图；

图4(a)、图4(b)本发明的检测结果图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，本发明提供了一种基于注意机制的的异常事件检测方法，包括模型训练步骤和数据处理步骤，模型训练步骤包括前向传播步骤和后向传播步骤；

前向传播步骤包括：

S1、用一段视频作为训练数据，视频中每帧都有一个标签，标签中y_t表示是否异常，。本实施例通过在ImageNet数据集(UCSD数据集)上训练的VGG模型(VGG19部分网络结构)提取特征，本发明选择第五组卷积的第3个卷积层，也就是第15层，作为输出，得到一个k*k*D(14*14*512)的立方体作为深度特征。因此在每个时间t上，都能得到k²个D维矢量，将这些向量称为特征立方体中的特征切片：

X_t＝[X_t,1,…,X_t,k2],X_t,i∈R^D (1)

这些k²垂直特征切片中的每一个都映射到输入空间中的不同重叠区域，本发明的模型选择将注意力集中在这些k²区域上。

S2、由多层感知器初始化得到第一帧上的k*k个注意区域的概率l₁，将l₁与VGG提取的第一帧的特征立方体上的区域分别相乘得到一个新值，并将此新值作为输入给LSTM；经过LSTM的softmax激活函数预测第二帧的k*k个注意区域的概率l₂，经过tanh激活函数预测表示第一帧图片是否为异常；

S3、第二帧时，用前一帧预测得到的l₂和VGG提取到的第二帧的特征立方体相乘，作为该帧LSTM输入，预测l₃和若预测为异常，那么在l₂的k*k个区域中，哪个区域概率大，就认为这个区域为异常区域范围，并通过图片大小和区域位置折算出坐标信息；

S4、采用与步骤S3同样的方法，来进行后续帧的处理，直至训练数据处理完毕；

本发明使用Zaremba等人讨论的LSTM为：

i_t是输入门，f_t是遗忘门，o_t是输出门，g_t是输入调制门，c_t是一个细胞状态，h_t是一个隐藏状态，X_t代表在时间步长t时，LSTM的输入。M:R^a→R^b是由可训练参数组成的仿射变换,其中a＝d+D和b＝4d,其中d是所有参数的维数，包括：f_t，o_t，g_t，c_t和h_t。

在每个时间t时，我们的模型通过softmax激活函数预测各个区域的概率值l_t+1，在K*K个区域中，哪个区域概率大，就认为这个区域为异常区域范围，并通过图片大小和区域位置折算出坐标信息。然后通过激活函数tanh得到用来预测每帧是否异常，softmax激活函数定义如下：

其中w_i是第i个元素的权重，L_t表示有1-k²个区域的随机变量。softmax激活函数输出的概率可以被认为是我们的模型认为输入帧中对应区域重要的概率。在计算这些概率后，注意机制通过对不同区域的特征切片进行期望来计算下一个时间步的输入的期望值：

X_t是特征立方体，X_t,i是时间t的特征立方体的第i个区域(总共有k*k个区域)，l_t,i是时间t特征立方体的第i个区域的概率值大小，我需要注意的区域概率值就大，否则就给一个小概率值。

本发明使用以下初始化策略获取LSTM的细胞状态和隐藏状态以加快收敛速度:

f_init,c和f_init,h是是两个多层感知器，T是时间总长度，这些值用于计算初始输入X₁的l₁，l₁表示第一个经过softmax激活函数后得到的各区域概率，在我们的实验中，我们使用的LSTM，如图3所示。

后向传播步骤：在利用训练数据训练时，在前一帧训练完成时，利用损失函数和注意力惩罚所形成的双重随机惩罚函数的最优解(L最小时的解)来更新前向传播时的权值；权值w更新为其中α为学习率。

本发明使用交叉熵损失加上引入的双重随机惩罚，损失函数定义如下：

第一项是时间序列的交叉熵，y_t是每帧是否异常的真实值，是每帧是否异常的预测值，T是时间总长度。第二项是注意机制的约束项，为了使得代价函数L最小，要趋于1，即某个注意区域在所有时刻激活函数输出和为1，这样惩罚了模型总是注意同一个区域的情况，λ是注意惩罚系数。第三项是正则化，防止过拟合，γ是权重衰减系数，θ代表所有的模型参数。

数据处理步骤；利用模型训练模块训练得到的模型，对待处理视频进行处理，检测出异常事件及异常事件的发生区域。

图4(a)行人闯入草坪后被注意力区域跟进，行人离开后注意力区域回到路面。

图4(b)是一个滑滑板车的人出现在道路，注意力区域很好地发现了这个异常。

综上所述，在本发明中：

(1)对前面已有异常事件算法大多采用手工设计特征的缺陷，本章验证了目前流行的深度学习方法在视频异常事件检测中的有效性。VGG之所以是一个很好的特征提取器，除了和它的网络结构有关，还和它的训练方式有关系，VGG并不是直接训练完成的，它使用了逐层训练的方法。

(2)利用基于注意的循环模型来进行动作识别，在基于注意力的模型中，本发明将从经过softmax激活函数后得到k*k区域的概率值大小与特征立方体进行元素相乘，将这些对应区域相乘，从而保留要注意的位置，让背景变成接近0的数，从而可以得到异常区域范围。

(3)利用一种基于长短期记忆网络的预测模型，利用视频事件过去的信息预测当前的内容，建立视频帧之间的关系。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于注意机制的异常事件监测方法，其特征在于，模型训练步骤和数据处理步骤，模型训练步骤包括前向传播步骤和后向传播步骤；

其中，前向传播步骤包括：

S1、用一段视频作为训练数据，视频中每帧都有一个标签，标签中y_t表示是否异常，然后对训练数据通过VGG网络进行特征提取，每帧图像得到一个k*k*D的特征立方体；

S2、由多层感知器初始化得到第一帧上的k*k个注意区域的概率l₁，将l₁与VGG提取的第一帧的特征立方体上的区域分别相乘得到一个新值，并将此新值作为输入给LSTM；经过LSTM的softmax激活函数预测第二帧的k*k个注意区域的概率l₂，经过tanh激活函数预测 表示第一帧图片是否为异常；

S3、第二帧时，用前一帧预测得到的l₂和VGG提取到的第二帧的特征立方体相乘，作为该帧LSTM输入，预测l₃和若预测为异常，那么在l₂的k*k个区域中，哪个区域概率大，就认为这个区域为异常区域范围，并通过图片大小和区域位置折算出坐标信息；

S4、采用与步骤S3同样的方法，来进行后续帧的处理，直至训练数据处理完毕；

后向传播步骤：在利用训练数据训练时，在前一帧训练完成时，利用损失函数和注意力惩罚所形成的双重随机惩罚函数的最优解来更新前向传播时的权值；权值w更新为其中α为学习率，双重随机惩罚函数L为：

第一项是时间序列的交叉熵，y_t是每帧是否异常的真实值，是每帧是否异常的预测值，T是时间总长度，第二项是注意机制的约束项，l_t,i是softmax激活函数，为了使得代价函数L最小，要趋于1，即某个注意区域在所有时刻激活函数输出和为1，这样惩罚了模型总是注意同一个区域的情况，λ是注意惩罚系数，第三项是正则化，防止过拟合，γ是权重衰减系数，θ代表所有的模型参数。

数据处理步骤：利用模型训练步骤训练得到的模型，对待处理视频进行处理，检测出异常事件及异常事件的发生区域。

2.根据权利要求1所述的基于注意机制的异常事件监测方法，其特征在于，步骤S1中，作为所述训练数据的视频来源于UCSD数据集。

3.根据权利要求1所述的基于注意机制的异常事件监测方法，其特征在于，步骤S2具体包括：

采用以下初始化策略获取LSTM的细胞状态和隐藏状态以加快收敛速度:

然后采用C₀以及h₀计算初始输入帧X₁的l₁，f_init,c和f_init,h是是两个多层感知器，T是时间总长度，l₁表示第一个经过softmax激活函数后得到的各区域概率。

4.根据权利要求1所述的基于注意机制的异常事件监测方法，其特征在于，

其中w_i是第i个元素的权重，L_t表示有1-k²个区域的随机变量，h_t为隐藏状态。

5.根据权利要求1所述的基于注意机制的异常事件监测方法，其特征在于，所述VGG网络具体是指VGG19部分网络结构。

6.一种基于注意机制的异常事件监测系统，其特征在于，模型训练模块和数据处理模块，模型训练模块包括前向传播模块和后向传播模块；

其中，前向传播模块包括：

特征提取子模块，用于用一段视频作为训练数据，视频中每帧都有一个标签，标签中y_t表示是否异常，然后对训练数据通过VGG网络进行特征提取，每帧图像得到一个k*k*D的特征立方体；

初始帧处理子模块，用于由多层感知器初始化得到第一帧上的k*k个注意区域的概率l₁，将l₁与VGG提取的第一帧的特征立方体上的区域分别相乘得到一个新值，并将此新值作为输入给LSTM；经过LSTM的softmax激活函数预测第二帧的k*k个注意区域的概率l₂，经过tanh激活函数预测 表示第一帧图片是否为异常；

第二帧处理子模块、第二帧时，用前一帧预测得到的l₂和VGG提取到的第二帧的特征立方体相乘，作为该帧LSTM输入，预测l₃和若预测为异常，那么在l₂的k*k个区域中，哪个区域概率大，就认为这个区域为异常区域范围，并通过图片大小和区域位置折算出坐标信息；

迭代处理子模块，用于采用与步骤第二帧处理子模块同样的方法，来进行后续帧的处理，直至训练数据处理完毕；

后向传播模块，用于在利用训练数据训练时，在前一帧训练完成时，利用损失函数和注意力惩罚所形成的双重随机惩罚函数的最优解来更新前向传播时的权值；权值w更新为其中α为学习率，双重随机惩罚函数L为：

第一项是时间序列的交叉熵，y_t是每帧是否异常的真实值，是每帧是否异常的预测值，T是时间总长度，第二项是注意机制的约束项，l_t,i是softmax激活函数，为了使得代价函数L最小，要趋于1，即某个注意区域在所有时刻激活函数输出和为1，这样惩罚了模型总是注意同一个区域的情况，λ是注意惩罚系数，第三项是正则化，防止过拟合，γ是权重衰减系数，θ代表所有的模型参数。

数据处理模块，用于利用模型训练模块训练得到的模型，对待处理视频进行处理，检测出异常事件及异常事件的发生区域。

7.根据权利要求1所述的基于注意机制的异常事件监测系统，其特征在于，特征提取子模块中，作为所述训练数据的视频来源于UCSD数据集。

8.根据权利要求1所述的基于注意机制的异常事件监测系统，其特征在于，初始帧处理子模块具体用于：

采用以下初始化策略获取LSTM的细胞状态和隐藏状态以加快收敛速度:

然后采用C₀以及h₀计算初始输入帧X₁的l₁，f_init,c和f_init,h是是两个多层感知器，T是时间总长度，l₁表示第一个经过softmax激活函数后得到的各区域概率。

9.根据权利要求1所述的基于注意机制的异常事件监测系统，其特征在于，

其中w_i是第i个元素的权重，L_t表示有1-k²个区域的随机变量，h_t为隐藏状态。

10.根据权利要求1所述的基于注意机制的异常事件监测系统，其特征在于，所述VGG网络具体是指VGG19部分网络结构。