CN110826702A - 一种多任务深度网络的异常事件检测方法 - Google Patents

Abstract

本发明涉及一种多任务深度网络的异常事件检测方法，其特征在于，提出了一种基于联合优化策略的多任务深度神经网络去检测异常事件，首先，使用连续的视频帧作为输入，通过三维卷积网络去学习局部时空上下文特征；其次，构造了一个端到端训练的循环卷积神经网络去学习全局时空上下文特征；利用全局特征，多任务神经网络可以同时计算得到输入视频帧的异常类型和异常分数。实验结果表明，该方法在异常检测公共数据集中的检测结果优于最先进的方法。

Description

一种多任务深度网络的异常事件检测方法

技术领域

本发明设计了一种多任务深度网络的异常事件检测方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

视频异常检测是一项高级别的计算机视觉任务，其目的是有效区分视频序列中的异常和正常活动以及视频序列所属的异常类别，与正常行为相比，很少发生或发生概率较低的事件通常被认为是异常事件。近年来，许多高校以及研究所对异常检测进行了大量的研究，但是在实际工作中很难建立有效的异常检测模型。主要原因由以下两个方面形成：(1)现有的异常视频数据集的视频帧数和异常类别是有限的；并且很多都不是在真实场景下拍摄的，导致很难有效训练异常检测模型；(2)数据集的异常定义不清晰，使得不能准确地对异常视频序列进行标注。

传统的异常检测方法主要从两个方面进行设计。一种异常检测方法针对视频序列中的正常模式，通过重构法去检测异常，这个方法的目标是学习这些正常模式的特征表示模型；在测试阶段，利用异常样本与正常样本之间的特征表示差异来确定测试数据是否属于异常。虽然此方法能够很好的重建出视频序列中训练集出现过的正常部分，但关键问题它是严重依赖于训练数据，测试数据中出现的新的正常也可以被误以为是异常。另一种方法将异常检测视为一个分类问题，这个方法利用训练好的分类器，通过提取光流直方图或动态纹理等特征来预测视频序列的异常分数。为了获得满意的性能，提取有效的判别特征对于此异常检测方法至关重要。

以上介绍的现有异常检测方法在异常检测方面都取得了较好的性能。它们中的大多数都是基于这样一种假设设计的：任何不同于在训练集中学习到的正常模式的模式都被视为异常。但是，同一个活动在不同场景下可能表示为正常或异常事件，这会使检测的难度加大。例如，两个人街头斗殴的场景可能被认为是异常的，但是这两个人在进行拳击运动时则是正常的；在步行街上惊慌奔跑的女孩/男孩可能被认为是异常的，但在下雨的时候因为女孩/男孩忘记带伞而奔跑，这个事件是正常的；动物触摸人类可能被认为是异常的(蛇咬人)，而海豚亲吻人类则是正常的。此外，高维视频数据中存在大量冗余的视觉信息，也增加了视频序列中事件表示的难度。因此，虽然已经有一些关于异常检测的研究，但对于视频序列中的异常检测任务仍然具有挑战性。

发明内容

本发明涉及一种对于视频序列的异常检测方法，其特征在于，提出了一种基于联合优化策略的多任务深度神经网络去检测异常事件，首先，使用连续的视频帧作为输入，通过三维卷积网络去学习局部时空上下文特征；其次，构造了一个端到端训练的循环卷积神经网络去学习全局时空上下文特征；利用全局特征，多任务神经网络可以同时计算得到输入视频帧的异常类型和异常分数。实验结果表明，该方法在异常检测公共数据集中的检测结果优于最先进的方法。

一种多任务深度网络的异常事件检测方法，其特征在于，包括以下几个步骤：

A.首先使用Conv3DNet提取局部上下文时空特征；

B.将得到的局部特征拼接起来，通过循环卷积神经网络提取全局上下文时空特征；

C.采用多任务神经网络同时得到视频序列的异常类别以及异常分数。

进一步地，提取视频序列局部特征的具体步骤是：

首先，将视频序列分割成若干个片段，每个片段包含相同的帧数；然后，将片段里面的视频帧调整成相同的大小，放进训练好的C3D网络中；最后提取其pool5层的特征作为该视频片段的局部特征。

进一步地，提取视频序列全局特征的具体步骤是：

A.将连续几个片段的局部特征拼接在一起，放进ConvLSTM网络中，ConvLSTM在LSTM的基础上增加了卷积层，能够更好地提取时空特征；ConvLSTM定义如下所示：

i_t＝σ(ω_xi*x_t+ω_hi*h_t-1+ω_cioc_t-1+b_i) (1)

f_t＝σ(ω_xf*x_t+ω_hf*h_t-1+ω_cfoc_t-1+b_f) (2)

c_t＝f_toc_t-1+i_totanh(ω_xc*x_t+ω_hc*h_t-1+b_c) (3)

o_t＝σ(ω_xo*x_t+ω_ho*h_t-1+ω_cooc_t+b_o) (4)

h_t＝o_totanh(c_t) (5)

其中，i_t和h_t表示t时刻的输入和输出，f_t表示遗忘门，o_t表示输出门，c_t表示记忆单元，*表示卷积运算，o表示Hadamard乘积，σ表示sigmoid激活函数；

B.提取ConvLSTM最后一层的隐藏状态值，用它表示对应视频片段的全局特征。

进一步地，提取全局特征后，连接四个全连接网络层，最后一层卷积层分成两个分支，维度分别为14和80，分别用来预测得到所需要的视频片段的异常类别以及视频帧的异常分数。

附图说明

图1为本发明的异常检测模型框架图；

图2为本发明的异常类别分类结果混淆矩阵图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。

本发明的方法实现过程如图1-2所示，具体过程如下：

步骤1：将视频序列分割成若干个片段，放进C3D网络中得到pool5层的特征，作为视频序列的局部特征；

步骤2：将连续几个视频片段的局部特征合并，放进ConvLSTM网络中得到最后一层的状态值作为全局特征，然后经过四个全连接层后得到视频片段的异常类别以及视频帧的异常分数。

本发明使用四种常用的标准来评估算法实现时间的快慢以及检测异常事件的准确性。第一种标准是ROC曲线下的面积(Area Under Curve)，用于评估异常检测得分的准确性。第二种标准是异常分类准确率。第三种标准是混淆矩阵，它是一个概率矩阵，对角线的值越高，说明分类越精确。最后一个标准是花费的时间值，用于比较不同方法检测异常所需要的时间。为了验证本发明提出的算法的性能，本发明将算法与现有的视频异常检测方法在数据库Avenue，LV，UCF-Crimes，UCSD以及我们所提出的数据集(LAD)上进行比较，包括DeepMIL，GMM，Sparse，Conv-AE，U-Net，ConvLSTM-AE，Unmasking以及Stacked RNN等方法。

为了能够准确地从视频序列中检测到异常事件，本发明提出了一种多任务深度网络的异常事件检测方法。

本发明各个部分的具体操作如下：

(1)局部时空特征的提取：

在该方法中，因为局部异常值能够为理解异常活动提供丰富的视觉信息，所以学习了局部时空上下文特征，使用C3D网络对每个视频序列进行特征编码。每个视频序列可以由式(6)所示：

其中，V表示视频序列，M表示视频序列的总帧数，N表示片段数，m＝16表示每个片段中视频的帧数。

首先把视频序列分割成片段，将片段里面的帧数调整大小为112*112，然后把视频片段放进训练好的C3D网络中学习高维视觉特征，并将网络pool5层的特征作为该视频片段的局部特征。

(2)全局时空特征的提取：

众所周知，视频序列是一种包含大量视觉信息的高维数据，因此，在保留重要线索的同时滤除掉冗余的信息对异常检测模型非常重要。为了学习更鲁棒的全局时空上下文特征，将k＝5个连续视频的局部特征放进两层ConvLSTM中学习高维特征。ConvLSTM使用三维数据作为输入，使用卷积操作，不仅可以获取时间信息，还可以得到空间特征。同时，通过减少所需要的参数数量，提供了更好的泛化。ConvLSTM可由以下公式所示：

i_t＝σ(ω_xi*x_t+ω_hi*h_t-1+ω_ciοc_t-1+b_i) (7)

f_t＝σ(ω_xf*x_t+ω_hf*h_t-1+ω_cfοc_t-1+b_f) (8)

c_t＝f_tοc_t-1+i_tοtanh(ω_xc*x_t+ω_hc*h_t-1+b_c) (9)

o_t＝σ(ω_xo*x_t+ω_ho*h_t-1+ω_coοc_t+b_o) (10)

h_t＝o_tοtanh(c_t) (11)

其中，i_t和h_t表示t时刻ConvLSTM的输入和输出，f_t表示遗忘门，o_t表示输出门，c_t表示记忆单元，*表示卷积运算，ο表示Hadamard乘积，σ表示sigmoid激活函数。

本发明将连续的视频片段输入到ConvLSTM后，将最后一层的隐藏状态值作为其全局特征。

(3)多任务分支网络的设计：

将全局特征经过四个全连接层，前三个全连接层的维度分别设置为2048，1024和512，最后一个全连接层的维度分别设置为14和m*k＝80，分别代表异常类别分类和异常分数，最后得到输入的连续视频片段的异常类别以及片段里视频帧的异常分数。

在这个检测模型中，本发明设计了一个多任务联合学习网络去学习异常分类和异常分数检测之间的内在关系。异常分类子网络的任务是识别异常类别，采用了交叉熵损失函数，损失函数由式(12)所示：

其中，y表示视频序列的标签，

表示异常分类子网络预测的分数，

是一个正则化项，用来避免过拟合。

除此之外，将预测异常分数看成一个回归问题，因此，在这个子网络中，使用了smoothL1损失函数，其公式由式(13)所示：

其中，s_i表示视频帧的标签，

表示视频帧异常得分子网络预测的分数，smoothL1是一个分段函数，其公式由式(14)所示：

基于l₁和l₂，最终的损失函数如式(15)所示：

l＝λ₁l₁+λ₂l₂ (15)

其中，λ₁＝λ₂＝0.5。

因此，本模型的目标是优化以下公式，其公式由式(16)所示：

表1：本发明和其它不同视频异常检测模型在不同异常数据集中的AUC性能比较；

表2：本发明和其它不同视频异常检测模型在不同异常数据集中的异常类别和时间性能比较；

	Time(ms)	Accuracy
			DeepMIL	2.72	-
GMM	31	-
			Sparse	6.23	-
Conv-AE	3.92	-
			Conv3DNet	3.19	0.4589
Proposed	4.14	0.5071

上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。

Claims (5)

1.一种多任务深度网络的异常事件检测方法，其特征在于，包括以下几个步骤：

A.首先使用Conv3DNet提取局部上下文时空特征；

B.将得到的局部特征拼接起来，通过循环卷积神经网络提取全局上下文时空特征；

C.采用多任务神经网络同时得到视频序列的异常类别以及异常分数。

2.根据权利要求1所述的方法，其特征在于，提取视频序列局部特征的具体步骤是：

首先，将视频序列分割成若干个片段，每个片段包含相同的帧数；然后，将片段里面的视频帧调整成相同的大小，放进训练好的C3D网络中；最后提取其pool5层的特征作为该视频片段的局部特征。

3.根据权利要求2所述的方法，其特征在于，提取视频序列全局特征的具体步骤是：

A.将连续几个片段的局部特征拼接在一起，放进ConvLSTM网络中，ConvLSTM在LSTM的基础上增加了卷积层，能够更好地提取时空特征；ConvLSTM定义如下所示：

i_t＝σ(ω_xi*x_t+ω_hi*h_t-1+ω_cioc_t-1+b_i) (1)

f_t＝σ(ω_xf*x_t+ω_hf*h_t-1+ω_cfoc_t-1+b_f) (2)

c_t＝f_toc_t-1+i_totanh(ω_xc*x_t+ω_hc*h_t-1+b_c) (3)

o_t＝σ(ω_xo*x_t+ω_ho*h_t-1+ω_cooc_t+b_o) (4)

h_t＝o_totanh(c_t) (5)

其中，i_t和h_t表示t时刻的输入和输出，f_t表示遗忘门，o_t表示输出门，c_t表示记忆单元，*表示卷积运算，o表示Hadamard乘积，σ表示sigmoid激活函数；

B.提取ConvLSTM最后一层的隐藏状态值，用它表示对应视频片段的全局特征。

4.根据权利要求3所述的方法，其特征在于，提取全局特征后，连接四个全连接网络层，最后一层卷积层分成两个分支，维度分别为14和80，分别用来预测得到所需要的视频片段的异常类别以及视频帧的异常分数。

5.根据权利要求3所述的方法，其特征在于，其中，A.局部时空特征的提取：

采用局部时空上下文特征，使用C3D网络对每个视频序列进行特征编码，每个视频序列可以由式(6)所示：

其中，V表示视频序列，M表示视频序列的总帧数，N表示片段数，m＝16表示每个片段中视频的帧数；

首先把视频序列分割成片段，将片段里面的帧数调整大小为112*112，然后把视频片段放进训练好的C3D网络中学习高维视觉特征，并将网络pool5层的特征作为该视频片段的局部特征；

B.全局时空特征的提取：

将k＝5个连续视频的局部特征放进两层ConvLSTM中学习高维特征，ConvLSTM使用三维数据作为输入，使用卷积操作，不仅可以获取时间信息，还可以得到空间特征，同时，通过减少所需要的参数数量，提供了更好的泛化；

C.多任务分支网络的设计：

将全局特征经过四个全连接层，前三个全连接层的维度分别设置为2048，1024和512，最后一个全连接层的维度分别设置为14和m*k＝80，分别代表异常类别分类和异常分数，最后得到输入的连续视频片段的异常类别以及片段里视频帧的异常分数。

Images