CN108830882A - 视频异常行为实时检测方法 - Google Patents

Abstract

本发明公开了一种视频异常行为实时检测方法，包括：提取输入视频图像的图像前景，再分区域提取出所有的前景区域；提取前景区域的光流幅度，再通过光流幅度提取HMOF特征；利用基于自编码的特征提取模块来重构HMOF特征；利用高斯混合分类器来分类重构后的HMOF特征，将其分为正常和异常两类，从而完成对视频异常行为的检测与定位。该方法具有检测性能较好，检测速度快等优点。

Description

视频异常行为实时检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种视频异常行为实时检测方法。

背景技术

视频中异常行为检测是计算机视觉领域中的一个重要问题，用摄像头捕获到目标区域视频信息，算法需要自动检测出视频中不符合常规模式的行为(违反交通规则，打架斗殴，违法偷窃等)。

现有方法主要分为三种类型：

(1)基于轨迹分析的方法。使用目标跟踪的算法得到视频中运动目标的轨迹图，之后运用特定的轨迹分析方法来分析某个轨迹是否属于异常轨迹，这类方法只能在轨迹层分析速度、方向等异常，忽略了场景信息。

(2)基于特征提取的方法。这类算法核心思想是提取到能表征视频内容的核心特征，之后在提取到的特征的基础上分析是否属于异常行为。这类方法可以分为区域特征学习和全局特征学习的方法，现有的方法中，前者大多在所有视频块上建模，采用的一般为人为设计特征，不具有针对性。后者需要处理复杂的视频动态，对模型复杂度要求很高。

(3)基于行为建模的方法。在小的视频块上建立运动模型，在该模型下出现概率低的行为被归类为异常。这类方法主要缺陷是行为模式复杂多样，难以建立有效模型。

异常检测算法常用的性能评判标准分为帧级和像素级别，其中帧级常用于评价全局异常，如果某一帧里至少包含一个异常像素，就将这一帧视为异常，这种评价指标无需精确检测出异常的像素位置，只需确定视频的帧序列中的视频帧是哪些。像素级常用于评价局部异常，即需要确定异常目标位于视频哪一块区域，需要和数据集的异常标注进行对比，超过40％面积的异常标注被检测出来才认为这一帧检测正确。采用等错误率(EER)作为帧级和像素级的指标，EER是接受者操作特性曲线(ROC)与(0,1)到(1，0)线段的交点，EER越低，说明ROC曲线越靠近左上方，系统的性能越好。下面介绍目前方法中在异常检测数据集UCSD Ped2中帧级和像素级分别做的最好的方法。

Tan Xiao等人在文章“Learning to detect anomalies in surveillancevideo”(IEEE Signal Processing Letters，2015)提出了一种新的基于稀疏的非负矩阵分解(SSMF)的异常检测方法，构造一个非负系数直方图作为视频的时空体的局部特征，为了避免过多的局部检测，将视频中的空间和时间上下文信息集成到模型中，从而可以实现异常检测。该方法在像素级EER获得了目前最好的性能，为17％。

Sabokrou等人在文章“Deep-Cascade:Cascading 3D Deep Neural Networks forFast Anomaly Detection and Localization in Crowded Scenes”(IEEE Transactionson Image Processing，2017)中提出了一种基于级联(DeepCascade)的异常检测方法，利用级联分类器，分步骤进行检测，多阶段检测从简单到困难的区域(patch)。第一个阶段过一个级联的自编码器，第二个阶段过一个级联的CNN卷积神经网络，分为四个子部分，每个子部分都会截流正常的patch，把疑似异常的patch输入下一个子部分，从而实现对异常的检测。该方法在帧级EER获得了目前最好的性能，为8.2％。

但是，由于视频中异常行为检测不仅对算法性能要求较高，对实时性要求也高。如果算法处理速度很慢，不能做到实时，很难运用到现实生活中。现有的算法大部分耗时较多，不能做到实时；另外少数(比如，上述两种算法)能做到实时的算法，其性能与目前最好的算法性能相比仍有较大的差距。

发明内容

本发明的目的是提供一种视频异常行为实时检测方法，具有检测性能较好，检测速度快等优点。

本发明的目的是通过以下技术方案实现的：

一种视频异常行为实时检测方法，包括：

提取输入视频图像的图像前景，再分区域提取出所有的前景区域；

提取前景区域的光流幅度，再通过光流幅度提取HMOF特征；

利用基于自编码的特征提取模块来重构HMOF特征；

利用高斯混合分类器来分类重构后的HMOF特征，将其分为正常和异常两类，从而完成对视频异常行为的检测与定位。

由上述本发明提供的技术方案可以看出，一方面，基于HMOF(光流幅度直方图)特征，可以更为有效提取异常行为信息；另一方面，采用基于自编码的特征提取模块，极大的提升了处理速度，可以达到实时效果，并且显著提升了算法性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种视频异常行为实时检测方法的流程图；

图2为本发明实施例提供的提取HMOF特征的示意图；

图3为本发明实施例提供的基于自编码的特征提取模块来重构HMOF特征的示意图；

图4为本发明实施例提供的检测结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种视频异常行为实时检测方法，如图1所示，其主要包括：

1、提取输入视频图像的图像前景，再分区域提取出所有的前景区域。

视频图像中每一个像素点都是由前景颜色和背景颜色组合而成，其中前景颜色所占的比重称为alpha因子，记为a，颜色组合方程如下

I＝aF+(1-a)B；

其中I、F、B分别对应表示视频图像上一点的合成色、前景色、背景色；

利用K最近邻算法(KNN matting)来提取出图像中的前景，再将前景分成大小相同且不重合的区域，统计每个区域前景像素点之和，如果大于设定阈值，则将设为前景区域，从而得到视频图像所有的前景区域。

2、提取前景区域的光流幅度，再通过光流幅度提取HMOF特征。

本步骤过程如图2所示，首先，计算HMOF的阈值δ：由于训练集中存在噪点，会使得局部光流幅度变的很大，因此，将训练集所有光流幅度按从小到大进行排序，然后去掉最大的s％的光流，取剩下中最大的光流幅度作为阈值δ。然后，提取前景区域的光流幅度，并将光流幅度，分成n个区间，第i个区间为[(i-1)/n×δ,i/n×δ]；为了测试所有的光流点，可以将最后一个区间改成[(n-1)/n×δ,+∞]。最后得到光流幅度直方图，再进行归一化处理获得HMOF特征。

3、利用基于自编码的特征提取模块来重构HMOF特征。

如图3所示，基于自编码器的特征提取模块采用神经网络中的自编码器，能够用于特征变化，获得特征中更深层次的信息。首先，在正常的视频上利用所有视频块的HMOF特性训练基于自编码的特征提取模块，使得在训练样本上重构误差最小；然后，采用训练视频所有区域视频块的HMOF特征训练该基于自编码的特征提取模块；再将前景区域视频块的HMOF特征送入该基于自编码的特征提取模块，获得的中间隐层的输出即为重构后的HMOF特征。

4、利用高斯混合分类器来分类重构后的HMOF特征，将其分为正常和异常两类，从而完成对视频异常行为的检测与定位。

混合高斯模型是指对样本的概率密度分布进行估计，而估计采用的模型(训练模型)是几个高斯分布函数的线性组合，理论上多个高斯分布函数的线性组合可以拟合出任意类型的分布。(具体是几个要在模型训练前建立好)。

每个高斯分布函数可以看做一个聚类，数据的分布是多个聚类的组合。本发明需要学习出正常样本(所有正常视频块)特征数据的所有聚类，从而在测试时对待测样本(一个视频块特征)的高斯分布在所有聚类上分别投影，得到待测样本属于各个聚类上的概率。若待测样本属于任意一个聚类(概率大于阈值)，可以认为该待测样本高斯分布和正常样本一致，可以判定为正常；若都不属于，则为异常。

混合高斯模型定义如下：

其中x是待测样本，即重构后的HMOF特征；K为高斯模型的个数；π_k为第k个高斯模型的权重；p(x|k)则为第k个高斯模型的概率密度，其均值为μ_k，方差为σ_k；概率密度的估计就是要求出π_k、μ_k和σ_k各个变量；当求出p(x)的表达式后，求和式的各项的结果就分别代表样本x属于各个聚类的概率。

高斯混合分类器基于高斯混合模型对测试的特征进行分类，并给出得分。其中高斯混合分类器训练使用正常视频的所有区域视频块经过自编码器重构后的HMOF特征，之后上述步骤3得到的视频前景区域视频块重构后的HMOF特征输入到训练好的高斯混合分类器中，得分如果小于阈值0，就会被判为异常；否则，被判为正常。

因为在监控场景中物体往往有多个前景区域(也即前景视频块)组成，所以为了提高系统的鲁棒性，若当前视频帧内异常的前景区域数目超过一个阈值时，认为当前视频帧内视频异常，否则，认为当前视频帧内视频正常，并将当前视频帧内的所有异常的前景区域改成正常，从而完成了对视频中异常行为的检测和定位。检测结果如图4所示，右侧涵盖自行车的区域即为检测的异常区域。

本发明实施例提供的上述方案与现有技术相比主要具有以下优点：

第一，学习HMOF特征，能有效提取异常行为信息。如表1所示，是在异常检测数据集UCSD Ped2上测试结果。在本发明提出的算法框架中如果用传统的HOF特征和MHOF特征去替代HMOF特征，可以看出：1)帧级：HMOF特征比HOF特征在EER上低了9.2％，比MHOF特征低了8.3％；2)像素级：HMOF特征比HOF特征在EER上低了8％，比MHOF特征低了9.1％。因此HMOF特征相比其他传统特征，能有效提出异常行为信息。

第二，采用特征提取加自编码重构框架，处理速度快，可以达到实时效果，并且显著提升了算法性能。如表1所示，本发明提出的算法性能和目前最好的算法相比，帧级EER从8.2％降到了7.2％，像素级EER从17％降到了14.8％。由此看出，本发明提出的异常检测算法性能超过了目前最好的算法性能，达到了最优。另外，经过在异常检测数据集UCSD Ped2上测试，本发明提出的算法处理速度为0.048秒每帧，处理速度快，可以达到实时。

表1各异常检测算法的性能比较

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种视频异常行为实时检测方法，其特征在于，包括：

提取输入视频图像的图像前景，再分区域提取出所有的前景区域；

提取前景区域的光流幅度，再通过光流幅度提取HMOF特征；

利用基于自编码的特征提取模块来重构HMOF特征；

利用高斯混合分类器来分类重构后的HMOF特征，将其分为正常和异常两类，从而完成对视频异常行为的检测与定位。

2.根据权利要求1所述的一种视频异常行为实时检测方法，其特征在于，所述提取输入视频图像的图像前景，再分区域提取出所有的前景区域包括：

视频图像中每一个像素点都是由前景颜色和背景颜色组合而成，其中前景颜色所占的比重称为alpha因子，记为a，颜色组合方程如下

I＝aF+(1-a)B；

其中I、F、B分别对应表示视频图像上一点的合成色、前景色、背景色；

利用K最近邻算法来提取出图像中的前景，再将前景分成大小相同且不重合的区域，统计每个区域前景像素点之和，如果大于设定阈值，则将设为前景区域，从而得到视频图像所有的前景区域。

3.根据权利要求1所述的一种视频异常行为实时检测方法，其特征在于，所述提取前景区域的光流幅度，再通过光流幅度提取HMOF特征包括：

计算HMOF的阈值δ；

提取前景区域的光流幅度，并将光流幅度，分成n个区间，第i个区间为[(i-1)/n×δ,i/n×δ]；从而得到光流幅度直方图，再进行归一化处理获得HMOF特征。

4.根据权利要求3所述的一种视频异常行为实时检测方法，其特征在于，计算HMOF的阈值δ的过程包括：将训练集所有光流幅度按从小到大进行排序，然后去掉最大的s％的光流，取剩下中最大的光流幅度作为阈值δ。

5.根据权利要求1所述的一种视频异常行为实时检测方法，其特征在于，所述利用基于自编码的特征提取模块来重构HMOF特征包括：

首先，在正常的视频上利用所有视频块的HMOF特征训练基于自编码的特征提取模块，使得在训练样本上重构误差最小；

然后，采用训练视频所有区域视频块的HMOF特征训练该基于自编码的特征提取模块；再将前景区域视频块的HMOF特征送入该基于自编码的特征提取模块，获得的中间隐层的输出即为重构后的HMOF特征。

6.根据权利要求1所述的一种视频异常行为实时检测方法，其特征在于，所述利用高斯混合分类器来分类重构后的HMOF特征包括：

混合高斯模型是指对样本的概率密度分布进行估计，每个高斯分布函数看做一个聚类，数据的分布是多个聚类的组合；先学习出正常样本特征数据的所有聚类，从而对待测样本的高斯分布在所有聚类上分别投影，得到待测样本属于各个聚类上的概率；若待测样本在任一个聚类的概率大于阈值，则认为待测样本属于相应的聚类，从而认为待测样本高斯分布和正常样本一致，判定为正常；否则，判定为异常；

混合高斯模型定义如下：

其中x是待测样本，即重构后的HMOF特征；K为高斯模型的个数；π_k为第k个高斯模型的权重；p(x|k)则为第k个高斯模型的概率密度，其均值为μ_k，方差为σ_k；概率密度的估计就是要求出π_k、μ_k和σ_k各个变量；当求出p(x)的表达式后，求和式的各项的结果就分别代表样本x属于各个类的概率。

7.根据权利要求1或6所述的一种视频异常行为实时检测方法，其特征在于，若当前视频帧内异常的前景区域数目超过一个阈值时，认为当前视频帧内视频异常；否则，认为当前视频帧内视频正常，并将当前视频帧内的所有异常的前景区域改成正常。