CN107944373A - 一种基于深度学习的视频异常行为检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的视频异常行为检测方法。本发明方法首先进行预处理，然后进行训练阶段和测试阶段。训练阶段首先得到三个训练样本集，将其分别送到Alexnet中，得到三组特征数据，赋予标签值，将三组特征数据及其相应标签数据作为三个一类支持向量机。测试阶段首先得到三个测试样本，将其分别送入Alexnet中，得到三组特征数据，设定初始标签值，将三组特征数据及其相应标签值送到三个一类支持向量机中进行检测，输出三个测试样本的分类标签值，如果存在‑1，表示该帧图像的人群行为异常。本发明用深度学习的方法从大数据中自动学习特征，可更全面的表达输入，克服了手工提取特征的不足，从而提高异常行为的检测率。

Description

一种基于深度学习的视频异常行为检测方法

技术领域

本发明属于视频处理技术领域，涉及一种对视频进行异常行为检测的方法，具体是一种基于深度学习的视频异常行为检测方法。

背景技术

视频异常行为检测是指采用智能分析算法，让计算机代替工作人员实现监控场景中目标行为的自动检测，并判断目标行为是否会给公众带来危险。当异常行为发生时，能自动识别场景中异常行为，并发出警报，提醒相关部门人员及时响应。

异常行为检测的工作主要分为两个过程:特征表征和异常行为判断。特征表征是指从视频数据中提取能够表达这段视频关键信息的特征,这个过程在整个检测过程起了关键的作用,特征的好坏直接会影响到最终的检测效果。考虑到监控场景的复杂多变性，以及人群流动速度不断变化，大多采用光流特征，但是光流特征对光线敏感,从而会影响到检测结果；考虑到光流的光线敏感性，又提出了对光线变化具有更好鲁棒性的纹理特征；之后又有学者提出将低层视觉特征和其它特征结合在一起使用，比如将检测目标的速度、尺寸、纹理等多个特征结合在一起表示行为。

近年来，随着深度学习理论的提出,为设计自动特征学习方法奠定了基础,它采用分层学习机制，能够自动地从输入数据逐层学习出高级抽象特征，而非采用手工设计的特征，它可以针对新的应用从训练数据中很快学习得到新的有效的特征表示，目前已经在可视目标识别、人体动作识别、以及人脸识别等多领域获得较为显著的效果。

因此，将深度学习应用到异常行为检测的特征表征阶段，往往可以取得相比传统特征提取方法更好的效果。

发明内容

本发明的目的就是提供一种有效的视频异常行为检测方法，以更好的表达特征，从而提高异常行为的检测率。

为解决上述技术问题，本发明提供的技术方案将深度学习与传统方法相结合，本方案分为训练阶段和测试阶段，其具体步骤如下：

步骤(1)、预处理：

选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；将数据集的前P帧作为训练集Y，剩余的Q帧作为测试集T，组成Y的数据都是正常行为的样本数据；

步骤(2)、训练阶段：

步骤(2-1).设Y中第i帧图像为y_i；

首先，每隔M₁帧连续取k帧图像，即得到作为训练样本一的第i个数据；

其次，每隔M₂帧连续取k帧图像，即得到作为训练样本二的第i个数据；

最后，每隔M₃帧连续取k帧图像，即得到作为训练样本三的第i个数据；

其中j表示相隔帧数的倍率，j∈[0,k-1]；

得到三个训练样本集Y1、Y2、Y3，分别由所有的Y1_i、Y2_i、Y3_i组成，即Y1＝{Y1_i}、Y2＝{Y2_i}、Y3＝{Y3_i}；其中0≤i≤P-1-max(M₁,M₂,M₃)×(k-1)；

步骤(2-2).以Y1、Y2、Y3作为输入分别送到Alexnet(注：引用自ImageNetclassification with deep convolutional neural networks[C]//InternationalConference on Neural Information Processing Systems.Curran AssociatesInc.2012:1097-1105.)网络中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据集合F1、F2、F3,它们分别由相应的所有样本集数据的特征所组成；其中Alexnet网络是以2012年imagenet大赛的冠军获得者Alex命名的卷积神经网络；

步骤(2-3).为F1、F2、F3的每个特征数据赋予一个标签值，因为训练样本都是正常行为，标签数据分别为L1＝{1}、L2＝{1}、L3＝{1}，|L1|＝|L2|＝|L3|＝|F1|＝|F2|＝|F3|,其中符号“||”表示求集合的元素个数；

步骤(2-4).将三组特征数据F1、F2、F3及其相应的标签数据L1、L2、L3表示为三个样本集：{F1,L1}、{F2,L2}、{F3,L3}，作为三组输入分别送到三个一类支持向量机(oneclass SVM)进行训练，得到三个一类支持向量机，分别记做one-SVM1，one-SVM2，one-SVM3；

步骤(3)、测试阶段：

步骤(3-1).设T中第n帧图像为t_n；

首先，每隔M₁帧连续取k帧图像，即得到作为测试样本一；

其次，每隔M₂帧连续取k帧图像，即得到作为测试样本二；

最后，每隔M₃帧连续取k帧图像，即得到作为测试样本三；

其中0≤n≤Q-1-max(M₁,M₂,M₃)×(k-1)，j表示相隔帧数的倍率，j∈[0,k-1]；

步骤(3-2).以T1_n、T2_n、T3_n作为输入分别送入训练阶段步骤(2-1)的Alexnet中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据TF1_n、TF2_n、TF3_n；

步骤(3-3).为待测试特征TF1_n、TF2_n、TF3_n设定一个初始标签值，记为TL1_n＝1、TL2_n＝1、TL3_n＝1；

步骤(3-4).将三组特征数据TF1_n、TF2_n、TF3_n及其相应的标签值TL1_n、TL2_n、TL3_n表示为三个输入样本：{TF1_n,TL1_n}、{TF2_n,TL2_n}、{TF3_n,TL3_n}，作为三组输入分别送到one-SVM1、one-SVM2、one-SVM3中进行检测，输出三个测试样本的分类标签值，若分类标签值等于1表示模型检测出该帧图像为正常帧，分类标签值等于-1则表示模型检测出该帧为异常帧；

步骤(3-5).对三个分类标签值进行投票，投票规则是：如果三个分类标签值中有任意两个或两个以上的值为1，则最终输出结果为1，表示该帧图像的人群行为正常；如果三个分类标签值中有任意两个或两个以上的值为-1，则最终输出结果为-1，表示该帧图像的人群行为异常，从而得到最终标签输出，得到模型的检测结果。

本发明的有益效果是：本发明用深度学习的方法从大数据中自动学习特征，可以更全面的表达输入，克服了手工提取特征的不足，从而提高异常行为的检测率；本发明对输入视频帧进行时间采样，用帧间相隔M_a(a＝1,2,3)帧的k帧图像串联得到的时空块作为Alexnet输入，提取得到的特征可以更好的表达输入的运动信息，并用一类支持向量机结合投票的方式检测异常行为。

附图说明

图1为基于深度学习的视频异常行为检测的流程图；

图2为获取视频时空块输入的过程；

图3为用深度学习网络模型提取特征的过程。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

图1给出了基于深度学习的视频异常行为检测的流程图，该流程图主要包括两个阶段：训练阶段和测试阶段。训练阶段由三个模块组成：一、数据处理模块，该模块主要功能是获取训练图像的时空块输入；二、深度学习模块，该模块主要功能是从训练数据集中提取行为特征；三、训练分类器模块，该模块主要功能是利用正常行为特征训练得到符合正常行为特征数据分布的分类器；测试阶段也由三个模块组成：一、数据处理模块，该模块主要功能是获取待测试图像的时空块输入；二、深度学习模块，该模块主要功能是从待测试数据集中提取行为特征；三、行为检测模块，该模块主要功能是利用训练阶段得到的分类器实现对待检测行为的最终检测。

其具体步骤为：

步骤(1)、预处理：

选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为227×227；将数据集的前P帧作为训练集Y，剩余的Q帧作为测试集T，组成Y的数据都是正常行为的样本数据；

步骤(2)、训练阶段：

步骤(2-1).如图2所示，设Y中第i帧图像为y_i，首先，取连续3帧图像，即得到Y1_i＝{y_i,y_i+1,y_i+2}，作为训练样本一的第i个数据；其次，每隔1帧连续取3帧图像，即得到Y2_i＝{y_i,y_i+2,y_i+4}，作为训练样本二的第i个数据；最后，每隔2帧连续取k帧图像，即得到Y3_i＝{y_i,y_i+3,y_i+6}，作为训练样本三的第i个数据；得到三个训练样本集Y1＝{Y1_i}、Y2＝{Y2_i}、Y3＝{Y3_i}，其中0≤i≤P-1-2×(k-1)；

步骤(2-2).以Y1、Y2、Y3作为输入分别送到Alexnet中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据集合F1、F2、F3,它们分别由所有数据的特征所组成；Alexnet网络的前三层结构如图3所示，其具体实现如下：

在Conv1阶段，输入数据Y1_i尺寸为227×227×3，使用96个大小规格为11×11×3的卷积核对输入数据做卷积操作，并采用Relu激励函数对卷积输出进行数据映射后，获得96个尺寸为55×55的特征图，送入Pooling层采用取最大运算进行降采样处理，最终得到Conv1的输出为96个尺寸为27×27的特征图，作为Conv2的输入。

Conv2中使用256个大小规格为5×5×48的卷积核对96个尺寸为27×27的特征图做卷积操作，进一步提取特征，其中卷积核是针对从96个特征图中随机选取的48个特征图中相应区域做加权操作后得到的区域做卷积操作，然后采用Relu激励函数对卷积输出进行数据映射后，得到256个尺寸为27×27的特征图，再经过Pooling层采用取最大运算进行下采样，处理得到256个尺寸为13×13的特征输出，作为Conv3的输入。

Conv3用了384个尺寸为3×3的卷积核对256个尺寸为13×13的特征图进行特征提取，得到了最终需要的特征输出，尺寸为384×13×13；

步骤(2-3).为F1、F2、F3的每个特征数据赋予一个标签值，选用的训练样本集均为正常行为，标签数据分别为L1＝{1}、L2＝{1}、L3＝{1}，|L1|＝|L2|＝|L3|＝|F1|＝|F2|＝|F3|；

步骤(2-4).将三组特征数据F1、F2、F3及其相应的标签数据L1、L2、L3表示为三个样本集：{F1,L1}、{F2,L2}、{F3,L3}，作为三组输入分别送到三个一类支持向量机(one-class SVM)进行训练，得到三个一类支持向量机，分别记做one-SVM1、one-SVM2、one-SVM3；

步骤(3)、测试阶段：

步骤(3-1).设T中第n帧图像为t_n，首先，取连续3帧图像，即得到T1_n＝{t_n,t_n+1,t_n+2}，作为测试样本一；其次，每隔1帧连续取3帧图像，即得到T2_n＝{t_n,t_n+2,t_n+4}，作为测试样本二；最后，每隔2帧连续取3帧图像，即得到T3_n＝{t_n,t_n+3,t_n+6}，作为测试样本三；

步骤(3-2).以T1_n、T2_n、T3_n作为输入分别送到训练阶段步骤(2-2)的Alexnet中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据集合TF1_n、TF2_n、TF3_n；

步骤(3-3).为待检测特征TF1_n、TF2_n、TF3_n设定一个初始标签值，记为TL1_n＝1、TL2_n＝1、TL3_n＝1；

步骤(3-4).将三组特征数据TF1_n、TF2_n、TF3_n及其相应的标签值TL1_n、TL2_n、TL3_n表示为三个输入样本：{TF1_n,TL1_n}、{TF2_n,TL2_n}、{TF3_n,TL3_n}，作为三组输入分别送到one-SVM1、one-SVM2、one-SVM3中进行检测，输出三个测试样本的分类标签值，若分类标签值等于1表示模型检测出该帧图像为正常帧，分类标签值等于-1则表示模型检测出该帧为异常帧。

步骤(3-5).对三个分类标签值进行投票，投票规则是：如果三个分类标签值中有任意两个或两个以上的值为1，则最终输出结果为1，表示该帧图像的人群行为正常；如果三个分类标签值中有任意两个或两个以上的值为-1，则最终输出结果为-1，表示该帧图像的人群行为异常,从而得到最终标签输出，得到模型的检测结果。

Claims (1)

1.一种基于深度学习的视频异常行为检测方法，其特征在于具体步骤是：

步骤(1)、预处理：

选取待检测视频数据集，将视频中的图像数据帧变成灰度图像，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；将数据集的前P帧作为训练集Y，剩余的Q帧作为测试集T，组成Y的数据都是正常行为的样本数据；

步骤(2)、训练阶段：

步骤(2-1).设Y中第i帧图像为y_i；

首先，每隔M₁帧连续取k帧图像，即得到作为训练样本一的第i个数据；

其次，每隔M₂帧连续取k帧图像，即得到作为训练样本二的第i个数据；

最后，每隔M₃帧连续取k帧图像，即得到作为训练样本三的第i个数据；

其中j表示相隔帧数的倍率，j∈[0,k-1]；

得到三个训练样本集Y1、Y2、Y3，分别由所有的Y1_i、Y2_i、Y3_i组成，即Y1＝{Y1_i}、Y2＝{Y2_i}、Y3＝{Y3_i}；其中0≤i≤P-1-max(M₁,M₂,M₃)×(k-1)；

步骤(2-2).以Y1、Y2、Y3作为输入分别送到Alexnet网络中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据集合F1、F2、F3,它们分别由相应的所有样本集数据的特征所组成；

步骤(2-3).为F1、F2、F3的每个特征数据赋予一个标签值，因为训练样本都是正常行为，标签数据分别为L1＝{1}、L2＝{1}、L3＝{1}，|L1|＝|L2|＝|L3|＝|F1|＝|F2|＝|F3|,其中符号“||”表示求集合的元素个数；

步骤(2-4).将三组特征数据F1、F2、F3及其相应的标签数据L1、L2、L3表示为三个样本集：{F1,L1}、{F2,L2}、{F3,L3}，作为三组输入分别送到三个一类支持向量机进行训练，得到三个一类支持向量机，分别记做one-SVM1，one-SVM2，one-SVM3；

步骤(3)、测试阶段：

步骤(3-1).设T中第n帧图像为t_n；

首先，每隔M₁帧连续取k帧图像，即得到作为测试样本一；

其次，每隔M₂帧连续取k帧图像，即得到作为测试样本二；

最后，每隔M₃帧连续取k帧图像，即得到作为测试样本三；

其中0≤n≤Q-1-max(M₁,M₂,M₃)×(k-1)，j表示相隔帧数的倍率，j∈[0,k-1]；

步骤(3-2).以T1_n、T2_n、T3_n作为输入分别送入训练阶段步骤(2-1)的Alexnet中，将网络的第3层输出作为提取的特征，并对得到的特征进行归一化处理，得到三组特征数据TF1_n、TF2_n、TF3_n；

步骤(3-3).为待测试特征TF1_n、TF2_n、TF3_n设定一个初始标签值，记为TL1_n＝1、TL2_n＝1、TL3_n＝1；

步骤(3-4).将三组特征数据TF1_n、TF2_n、TF3_n及其相应的标签值TL1_n、TL2_n、TL3_n表示为三个输入样本：{TF1_n,TL1_n}、{TF2_n,TL2_n}、{TF3_n,TL3_n}，作为三组输入分别送到one-SVM1、one-SVM2、one-SVM3中进行检测，输出三个测试样本的分类标签值，若分类标签值等于1表示模型检测出该帧图像为正常帧，分类标签值等于-1则表示模型检测出该帧为异常帧；

步骤(3-5).对三个分类标签值进行投票，投票规则是：如果三个分类标签值中有任意两个或两个以上的值为1，则最终输出结果为1，表示该帧图像的人群行为正常；如果三个分类标签值中有任意两个或两个以上的值为-1，则最终输出结果为-1，表示该帧图像的人群行为异常，从而得到最终标签输出，得到模型的检测结果。