CN109034092A - 用于监控系统的异常事件检测方法 - Google Patents

Abstract

本发明提供一种用于监控系统的异常事件检测方法，其包括以下步骤：S1、图像处理：在异常事件模型训练之前，进行图像预处理以及图像增强处理，以便将各种待检测的异常事件特征进行凸显，并将处理好的数据分为训练集和测试集；S2、模型训练：用处理好的训练集进行异常事件模型训练,首先进行异常事件模型初始化，然后设计网络结构，初始化网络参数，根据异常事件模型的训练要求，增加批归一化和Dropout训练技巧模块，最终获得训练好的异常事件检测模型；S3、异常事件检测：用测试集对所述训练好的模型进行异常事件检测，最后将检测的结果可视化在测试集上。本发明对多场景的异常事件检测有很强的泛化能力，并且对多种异常事件的检测都具有较高的准确率。

Description

用于监控系统的异常事件检测方法

技术领域

本发明涉及四种异常事件的检测方法，具体为一种用于监控系统的异常事件检测方法。

背景技术

近几年，监控系统广泛存在生活中的各行各业，以至目前监控摄像图在生活中随处可见。但传统的监控系统只能起视频录制的作用，对事件没有自动检测和识别的功能，如果发生恶性事件，需要相关人员临时查看录像，这么做不仅延误事件的处理，而且也很容易误报漏报。基于上述现实存在的问题，使得基于视觉的异常事件检测技术拥有广泛的应用场景，异常事件检测算法性能的好坏直接影响监控系统的实时性和准确性，对整个监控系统的应用价值起决定作用。

在不同应用上，异常事件检测的异常定义各异、高密度人群中遮挡现象严重、异常检测场景也具有多样性等，这些因素给异常事件检测的研究带来巨大的挑战。

异常事件检测过程一般由三大部分组成：图像处理，模型训练和模型检测。图像处理是指在模型训练前，尽可能的用图像处理算法将各种待测异常事件的特征凸显出来。然后用处理之后的图像进行模型训练，最后用训练好的模型检测测试集中的异常事件。

深度学习检测(deep learning detection)在异常事件检测中使用深度神经网络做为检测模型。由于深度神经网络模型过于复杂，训练过程中不仅计算量巨大，还容易过拟合。在训练的时候，为了防止这种现象的出现，使用了批归一化(Batch Normalization),Dropout等训练技巧。

发明内容

本发明针对现有技术的不足，提出一种用于监控系统的异常事件检测方法，不仅在精度上能超越一般的异常检测算法，更突出的是，本文的异常事件检测能适应多种现实场景，能够检测出多种异常事件行为。

具体地本发明提供一种用于监控系统的异常事件检测方法，其包括以下步骤：

S1、图像处理：在异常事件模型训练之前，进行图像预处理以及图像增强处理，以便将各种待检测的异常事件特征进行凸显，并将处理好的数据通过交叉验证，按照7:3的比例分为训练集和测试集；

S2、模型训练：用所述处理好的训练集进行异常事件模型训练,首先进行异常事件模型初始化，然后设计网络结构，初始化网络参数，根据异常事件模型的训练要求，增加批归一化和Dropout训练技巧模块，最终获得训练好的异常事件检测模型；

S3、异常事件检测：用测试集对所述训练好的模型进行异常事件检测，最后将检测的结果可视化在测试集上。

优选地，在所述步骤S1中的图像处理具体包括以下子步骤：

S11数据预处理：将视频集解析成视频帧图像，然后进行ROI处理、下采样处理和光流处理；

S12数据筛选:将数据集中无事件的图像过滤掉，保留有意义的图像，具体方法为通过像素之间的比对，首先求得向量的模长，然后计算内积，通过内积进行像素比对，得到无事件的图像，所述无事件的图像像素较空，图像内积较小；

S13数据增强:筛选出优质训练集之后，将筛选出的图像进行图像翻转变换，图像反射变换以及图像椒盐噪声处理，扩充训练集数量。

优选地，S11具体包括以下步骤：

①进行ROI处理：基于的原视频帧大小是1920*1080，通过多次场景分析，最终确定提取ROI设置的大小为700*700；首先定义一个700*700像素全为0的三通道目的图像Image1，然后在原视频帧中，指定适当位置，用原视频图像与Image1图像作“与”操作之后，获得的区域图像作为最终的ROI图像区域；

②直接将ROI处理之后的图像送到神经网络中去训练，在获取ROI图像区域之后又对其进行下采样处理：先定义一个指定大小像素全为0的三通道目的图像Image2，然后，采用最近邻插值算法，将图像下采样到指定尺寸；

③在进行ROI和下采样处理之后，给训练图像引入了运动信息，进行光流处理，用来捕获运动信息。

优选地，S13具体包括以下步骤：

①图翻转变换：将原坐标点(x₀,y₀)顺时针旋转a度之后，得到坐标(x^*,y^*)，如果原坐标为x₀＝rcosb,y₀＝rsinb，其中，r表示原坐标点到坐标轴原点(0,0)的距离，b表示原坐标点到原点的直线与x轴的夹角。则翻转变化之后的像素点的坐标为

x^*＝rcosb-a＝rcosbcosa+rsinbsina＝x₀cosa+y₀sina，

y^*＝rsinb-a＝rsinbcosa-rcosbsina＝-x₀sina+y₀cosa；

②图像反射变换：变换前的一个坐标点为(x,y)，则变换后的坐标x^*＝width-x-1y^*＝y；其中，width表示图像的宽度。

③椒盐噪声处理：椒盐噪声中一个重要的参数为信噪比D，一般情况D的取值范围为^[0,1]，指定信噪比，且获取了整个图像的像素数目M之后，计算加噪的像素数目；设加噪的像素数目为N，则N＝M*(1-D)，之后在原图中随机找到这N个像素点，将这N个像素点置225或者置0。

优选地，所述步骤S2用于监控系统的异常事件检测的模型训练过程如下：

S21、输入：图像处理之后的正负样本及标签S＝{(x₁,y₁),......,(x_n,y_n)}，

其中y_i＝{0,1}分别对应负样本和正样本，即正常事件和异常事件；

S22、参数设定：设置批训练大小b，测试准确率阈值α，最大训练次数β，学习率λ，冲量m和权重惩罚系数w，是否使用GPU参数。

S23、训练：训练集与参数准备好之后，便可以直接训练了。

优选地，步骤S21具体包括以下步骤：

①将所有正常事件的图片X1的标签设为0，作为训练集的负样本Neg＝{X1,0}；

②将所有异常事件的图片X2的标签设为1，作为训练集的正样本Pos＝{X2,1}；

③合并正负样本，将所有训练集送到网络中参与模型训练。

优选地，步骤S23具体包括以下步骤：

①使用Xavier初始化方法进行权重的初始化，Xavier初始化分布为其中n_i表示第i个神经元节点。Xavier初始化权重的作用，能够在神经网络经过多层传输之后，还能够使得神经元信号保持在一个合理的范围内；

②将样本封装成LMDB格式的数据集；在中间层进行批归一化，首先计算上一层激活函数值的均值，然后计算上一层激活函数值的标准差，接着对本层特征数据归一化处理，最后重构本层数据特征，即为最终Batch Normalization的结果；

③计算输出层；通过Softmax函数预测每个样本的每种标签的输出概率，选取概率最大的标签，作为最终样本标签的预测。

本发明的有益效果：

①本发明根据异常事件特征，进行数据前期预处理。该过程首先将AVS格式的视频流解码，将视频文件转换成图像文件，然后对图像进行ROI处理，下采样处理以及光流处理。处理完毕后，为了防止后期模型训练出现过拟合现象，在原处理好的数据集基础上又进行翻转变换、反射变换和椒盐噪声处理，对数据集中的数据数量进行了扩充，最终完成数据前期处理。这种前期数据处理的过程，能够将多种异常特征凸显出来，便于后阶段的模型训练。

②本发明将深度学习理论应用在异常事件检测中，提高异常事件的检测效果。该过程首先将上一步处理好的数据集，采用卷积神经网络作为本文基本网络模型，调节网络各参数，并通过对数据进行批归一化(Batch Normalization)处理，使用Dropout随机忽略一些神经元和在网络最后一层应用全局平均池化代替全连接等方法，使模型更适用于异常事件的检测中。

③传统算法进行异常事件检测时，大多只能对特定场景或者特定异常有较好的检测效率，却不能应用到实际中，面对实际场景，很多传统算法根本达不到检测的要求。而本发明的算法，对多场景的异常事件检测有很强的泛化能力，并且对多种异常事件的检测都具有较高的准确率。

附图说明

图1为本发明的使用用于监控系统的异常事件检测方法的流程图；

图2为本发明的用于监控系统的异常事件检测方法中图像处理流程图；

图3为本发明的用于监控系统的异常事件检测方法中模型训练流程图；

图4为本发明的用于监控系统的异常事件检测方法中模型检测流程图。

具体实施方式

下面结合视频序列“PKU-SVD-B”的异常事件检测对本文提出的方法作进一步的说明：

本发明使用用于监控系统的异常事件检测方法，如图1所示，具体包含以下步骤：

步骤一，图像处理：由于异常事件是一种小概率事件，其本身不是某种特定的事件，不同的事件，特征各异。所以在进行模型训练的时候，需要根据特定的异常事件获取特定异常事件的特征。因此在训练模型之前需要将各种待检测的异常事件特征凸显出来。根据这种思路，本发明在异常事件检测模型训练之前，进行了一系列的图像处理工作。处理完毕之后，为了防止后期模型训练时出现过拟合现象，本发明还增加了多种图像增强处理方法。

步骤二，模型训练：用处理好的训练集进行异常事件模型训练。首先进行模型初始化，然后设计网络结构，初始化网络参数，根据异常事件模型训练要求，增加批归一化，Dropout等训练技巧，最终完成模型训练。

步骤三，异常事件检测：训练好模型之后，用测试集对训练好的模型进行异常事件检测，最后将检测的结果可视化在测试集上。

其中，步骤一中所述图像处理，如图2所示，具体包含以下步骤：

1)数据预处理：将视频集解析成视频帧图像，然后进行ROI处理，下采样处理和光流处理。其中，①进行ROI处理的主要过程为：本发明基于的原视频帧大小是1920*1080，通过多次对场景分析，最终确定提取ROI设置的大小为700*700。首先定义一个700*700像素全为0的三通道目的图像Image1，然后在原视频帧中，指定适当位置，用原视频图像与Image1图像作“与”操作之后，获得的区域图像作为最终的ROI图像区域。②直接将ROI处理之后的图像送到神经网络中去训练，700*700的分辨率对于深度学习的训练还是过大，还需要进一步缩小样本的分辨率大小，所以本发明在获取ROI图像区域之后又对其进行了下采样处理。进行下采样处理的主要过程为：先定义一个指定大小像素全为0的三通道目的图像Image2，然后，采用最近邻插值算法，将图像下采样到指定尺寸。③因为本发明中的异常事件存在一部分突发事件，而速度便是区别一些突发事件与正常事件最大的特征之一，所以在进行ROI和下采样处理之后，本发明还给训练图像引入了运动信息，光流的实质就是用来捕获运动信息；

2)数据筛选:由于数据集为视频集，里面存在大量无事件的视频帧，这些图像对模型训练毫无意义，所以我们将这些无事件的图像过滤掉，只保留有意义的图像，筛选的过程主要是通过像素之间的比对，首先求得向量的模长，然后计算内积，通过内积进行像素比对，一般无事件的图像，图像像素较空，图像内积较小。

3)数据增强:筛选出优质训练集之后，为了防止后期模型训练出现过拟合现象，将筛选出的图像进行图像翻转变换，图像反射变换以及图像椒盐噪声处理，扩充训练集数量，其中，①图翻转变换主要过程为：将原坐标点(x₀,y₀)顺时针旋转a度之后，得到坐标(x^*,y^*)，如果原坐标为x₀＝rcosb,y₀＝rsinb，其中，r表示原坐标点到坐标轴原点(0,0)的距离，b表示原坐标点到原点的直线与x轴的夹角。则翻转变化之后的像素点的坐标为

x^*＝rcosb-a＝rcosbcosa+rsinbsina＝x₀cosa+y₀sina，

y^*＝rsinb-a＝rsinbcosa-rcosbsina＝-x₀sina+y₀cosa。②图像反射变换主要过程为：变换前的一个坐标点为(x,y)，则变换后的坐标x^*＝width-x-1 y^*＝y。其中，width表示图像的宽度。③椒盐噪声处理的主要过程为：椒盐噪声中一个重要的参数为信噪比D，一般情况D的取值范围为^[0,1]，指定信噪比，且获取了整个图像的像素数目M之后，就可以计算加噪的像素数目了。设加噪的像素数目为N，则N＝M*(1-D)，有了这个数目之后，就在原图中随机找到这N个像素点，将这N个像素点置225或者置0。

其中步骤(2)用于监控系统的异常事件检测的模型训练过程如下：

1)输入：图像处理之后的正负样本及标签S＝{(x₁,y₁),......,(x_n,y_n)}，其中y_i＝{0,1}分别对应负样本和正样本，即正常事件和异常事件。

首先，将所有正常事件的图片X1的标签设为0，作为训练集的负样本Neg＝{X1,0}；

然后，将所有异常事件的图片X2的标签设为1，作为训练集的正样本Pos＝{X2,1}；

最后合并正负样本，将所有训练集送到网络中参与模型训练。

2)参数设定：设置批训练大小b，测试准确率阈值α，最大训练次数β，学习率λ，冲量m和权重惩罚系数w，是否使用GPU参数。

3)训练：训练集与参数准备好之后，便可以直接训练了。

首先，使用Xavier初始化方法进行权重的初始化，Xavier初始化分布为其中n_i表示第i个神经元节点。Xavier初始化权重的作用，能够在神经网络经过多层传输之后，还能够使得神经元信号保持在一个合理的范围内。

然后，将样本封装成LMDB格式的数据集。考虑到将样本归一化之后，样本数据经过激活函数的非线性映射，样本数据分布又将重新打乱，不利于特征的提取，所以本发明在中间层也加了一种归一化的手段，叫批归一化(Batch Normalization)，主要过程为：首先计算上一层激活函数值的均值，然后计算上一层激活函数值的标准差，接着对本层特征数据归一化处理，最后重构本层数据特征，即为最终Batch Normalization的结果。

最后，计算输出层。通过Softmax函数预测每个样本的每种标签的输出概率，选取概率最大的标签，作为最终样本标签的预测。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此本发明不应局限于最佳实施例和附图所公开的内容。

Claims (7)

1.一种用于监控系统的异常事件检测方法，其特征在于：其包括

以下步骤：

S1、图像处理：在异常事件模型训练之前，进行图像预处理以及图像增强处理，以便将各种待检测的异常事件特征进行凸显，并将处理好的数据按照7:3的比例分为训练集和测试集；

S2、模型训练：用所述处理好的训练集进行异常事件模型训练,首先进行异常事件模型初始化，然后设计网络结构，初始化网络参数，根据异常事件模型的训练要求，增加批归一化和Dropout训练技巧模块，最终获得训练好的异常事件检测模型；

S3、异常事件检测：用测试集对所述训练好的模型进行异常事件检测，最后将检测的结果可视化在测试集上。

2.根据权利要求1所述的用于监控系统的异常事件检测方法，其特征在于：在所述步骤S1中的图像处理具体包括以下子步骤：

S11数据预处理：将视频集解析成视频帧图像，然后进行ROI处理、下采样处理和光流处理；

S12数据筛选:将数据集中无事件的图像过滤掉，保留有意义的图像，具体方法为通过像素之间的比对，首先求得向量的模长，然后计算内积，通过内积进行像素比对，得到无事件的图像，所述无事件的图像像素较空，图像内积较小；

S13数据增强:筛选出优质训练集之后，将筛选出的图像进行图像翻转变换，图像反射变换以及图像椒盐噪声处理，扩充训练集数量。

3.根据权利要求2所述的用于监控系统的异常事件检测方法，其特征在于：S11具体包括以下步骤：

①进行ROI处理：基于的原视频帧大小是1920*1080，通过多次场景分析，最终确定提取ROI设置的大小为700*700；首先定义一个700*700像素全为0的三通道目的图像Image1，然后在原视频帧中，指定适当位置，用原视频图像与Image1图像作“与”操作之后，获得的区域图像作为最终的ROI图像区域；

②直接将ROI处理之后的图像送到神经网络中去训练，在获取ROI图像区域之后又对其进行下采样处理：先定义一个指定大小像素全为0的三通道目的图像Image2，然后，采用最近邻插值算法，将图像下采样到指定尺寸；

③在进行ROI和下采样处理之后，给训练图像引入了运动信息，进行光流处理，用来捕获运动信息。

4.根据权利要求2所述的用于监控系统的异常事件检测方法，其特征在于：S13具体包括以下步骤：

①图翻转变换：将原坐标点(x₀,y₀)顺时针旋转a度之后，得到坐标(x^*,y^*)，如果原坐标为x₀＝rcosb,y₀＝rsinb，其中，r表示原坐标点到坐标轴原点(0,0)的距离，b表示原坐标点到原点的直线与x轴的夹角，则翻转变化之后的像素点的坐标为

x^*＝rcosb-a＝rcosbcosa+rsinbsina＝x₀cosa+y₀sina，

y^*＝rsinb-a＝rsinbcosa-rcosbsina＝-x₀sina+y₀cosa；

②图像反射变换：变换前的一个坐标点为(x,y)，则变换后的坐标x^*＝width-x-1 y^*＝y；其中，width表示图像的宽度；

③椒盐噪声处理：椒盐噪声中一个重要的参数为信噪比D，一般情况D的取值范围为[0,1]，指定信噪比，且获取了整个图像的像素数目M之后，计算加噪的像素数目；设加噪的像素数目为N，则N＝M*(1-D)，之后在原图中随机找到这N个像素点，将这N个像素点置225或者置0。

5.根据权利要求1所述的用于监控系统的异常事件检测方法，其特征在于：所述步骤S2用于监控系统的异常事件检测的模型训练过程如下：

S21、输入：图像处理之后的正负样本及标签S＝{(x₁,y₁),......,(x_n,y_n)}，

其中y_i＝{0,1}分别对应负样本和正样本，即正常事件和异常事件；

S22、参数设定：设置批训练大小b，测试准确率阈值α，最大训练次数β，学习率λ，冲量m和权重惩罚系数w，是否使用GPU参数；

S23、训练：训练集与参数准备好之后，便可以直接训练了。

6.根据权利要求5所述的用于监控系统的异常事件检测方法，其特征在于：

步骤S21具体包括以下步骤：

①将所有正常事件的图片X1的标签设为0，作为训练集的负样本Neg＝{X1,0}；

②将所有异常事件的图片X2的标签设为1，作为训练集的正样本Pos＝{X2,1}；

③合并正负样本，将所有训练集送到网络中参与模型训练。

7.根据权利要求5所述的用于监控系统的异常事件检测方法，其特征在于：

步骤S23具体包括以下步骤：

①使用Xavier初始化方法进行权重的初始化，Xavier初始化分布为其中n_i表示第i个神经元节点，Xavier初始化权重的作用，能够在神经网络经过多层传输之后，还能够使得神经元信号保持在一个合理的范围内；

②将样本封装成LMDB格式的数据集；在中间层进行批归一化，首先计算上一层激活函数值的均值，然后计算上一层激活函数值的标准差，接着对本层特征数据归一化处理，最后重构本层数据特征，即为最终Batch Normalization的结果；

③计算输出层；通过Softmax函数预测每个样本的每种标签的输出概率，选取概率最大的标签，作为最终样本标签的预测。