CN107832716B - 基于主动被动高斯在线学习的异常检测方法 - Google Patents

Abstract

本发明公开了一种基于主动被动高斯在线学习的异常检测方法，包括：将输入的正常的连续视频帧进行预处理使目标形态上融入运动的信息，获得处理后的融合图像；利用深度神经网络提取融合图像的特征，获得一系列的特征向量；利用特征向量并结合基于主动被动规则约束的在线学习方法训练高斯分布，作为正常参考模型；在异常检测阶段，采用同样的方式对输入的连续视频帧进行预处理与特征提取操作，并求取各个特征向量在训练后的高斯分布上的分布距离，根据分布距离来判断相应特征向量是否异常。该方法可以在保证检测精度的前提下，降低训练时间并减少资源消耗。

Description

基于主动被动高斯在线学习的异常检测方法

技术领域

本发明涉及异常检测技术领域，尤其涉及一种基于主动被动高斯在线学习的异常检测方法。

背景技术

视频异常检测是关乎公共安全的计算机视觉和机器学习相结合的重要研究领域，目前有大量的精确有效的基于场景监控视频的异常检测算法，主要完成具有不同于场景中大部分目标的特殊目标检测，这种不同主要表现在外观速度或者轨迹上。

现有的异常检测技术很多的是使用手工特征来进行分类，手工特征有着算法复杂度高，算法精度较差的缺陷。由于近年来深度学习的广泛应用和出色表现，使用深度神经网络进行异常检测，也成为一种比较新的解决思路，但是由于深度信息数量大维度高，训练判别模型时具有资源占用巨大时间开销巨大的缺点。

发明内容

本发明的目的是提供一种基于主动被动高斯在线学习的异常检测方法，可以在保证检测精度的前提下，降低训练时间并减少资源消耗。

本发明的目的是通过以下技术方案实现的：

一种基于主动被动高斯在线学习的异常检测方法，包括：

将输入的正常的连续视频帧进行预处理使目标形态上融入运动的信息，获得处理后的融合图像；

利用深度神经网络提取融合图像的特征，获得一系列的特征向量；

利用特征向量并结合基于主动被动规则约束的在线学习方法训练高斯分布，作为正常参考模型；

在异常检测阶段，采用同样的方式对输入的连续视频帧进行预处理与特征提取操作，并求取各个特征向量在训练后的高斯分布上的分布距离，根据分布距离来判断相应特征向量是否异常。

由上述本发明提供的技术方案可以看出，通过基于主动被动规则约束的在线学习方法训练高斯分布，将训练后的高斯分布用于分类和提取来自视频深度信息中可能存在的异常，大大减少了传统训练手段带来的时间和计算资源消耗巨大的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于主动被动高斯在线学习的异常检测方法的流程图；

图2为本发明实施例提供的一种基于主动被动高斯在线学习的异常检测方法的示意图；

图3为本发明实施例提供的计算模型和学习模型的异常检测效果比较结果。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1为本发明实施例提供的一种基于主动被动高斯在线学习的异常检测方法的流程图，图2为相应的示意图。如图1所示，其主要包括如下步骤：

步骤11、将输入的正常的连续视频帧进行预处理使目标形态上融入运动的信息，获得处理后的融合图像。

预处理过程如下：将连续的六帧视频帧按顺序两两平均，然后将平均产生的三张均值图片作为三个通道融合成一张图片。

细节说明：由于图片的预处理机制，会产生6帧图像的延迟，这段时间对于目前至少25fps的监控视频是可以忽略的(即少于0.2秒)。同时由于在线学习初期对噪声的敏感性，可以考虑事先采用部分视频帧进行初始化，1秒钟的视频帧就足以完成对判别模型的初始化过程了，在此之后系统可以在线地运行。

步骤12、利用深度神经网络提取融合图像的特征，获得一系列的特征向量。

本发明实施例中，可以先测试和比较目前常用的几种深度神经网络对于监控视频的特征响应，找到响应最突出的一种网络结构用于之后的特征提取工作。通过大量实验比较，本实施例中，可以优选VGG16网络的conv4-1层作为特征输出层。

对于特定的深度神经网络，其包含若干输出层，对于某一时刻t，输入的融合图像，输出层k输出的特征为每个像素点坐标的m_k维的特征向量的集合，表示为：

其中，(w_k,h_k)为特征向量的尺寸，(u,v)为特征向量中像素点坐标，m_k为特征向量的数目，每一特征向量分别对应着输出层k中一个卷积核产生的响应。

每个特征向量产生自一个特定层的特定位置，源自于一个特定的感知区域。一般地对于大部分卷积和池化操作构成的卷积神经网络而言，每层输出的特征向量尺寸(w_k,h_k)随着k的增加而减小，但是特征向量的维度(数目)m_k会随着k的增加而变高。

步骤13、利用特征向量并结合基于主动被动规则约束的在线学习方法训练高斯分布，作为正常参考模型。

为了对正常的行为进行建模，本发明实施例中使用一个高斯分布(高斯模型)来拟合步骤12提取的正常区域的特征分布，这一高斯分布就成为正常参考模型。在后续的检测阶段，测试帧It被类似的区域特征描述表示，出现和正常区域特征有很大差异的输入区域被确定为异常，这样的处理方式便于我们进行高效的计算。

在本步骤中，使用一系列特征向量训练高斯分布G(f,μ,Σ)，其中，μ为均值，Σ为协方差，f为特征向量集合，输出层k对应的第l个特征向量为f_k(u,v,l)，u＝1,2,...,w_k，v＝1,2,...,h_k，l＝1,2,...,m_k。

训练高斯分布G时使用基于主动被动规则约束(passive-aggressive rule)的在线学习方法，主动条件下让目标方程向着一个方向逼近，但是被动地我们需要让它承受某种约束，也就是说被动规则使得我们的目标方程加入了一个惩罚单元，类似于优化神经网络参数时使用的惩罚项(penalty term)。将更新前和更新后的两个分布的KL分歧作为被动约束，被动约束用于约束参数值同时约束参数的分布类型和变化趋势，也就是说，我们在优化对数似然概率的同时要求我们这一次更新产生的高斯分布和更新之前的高斯分布尽可能相像。之后我们不通过梯度下降，而是直接求取组合了主动和被动规则的方程的极值，从而得到对于目标参数的更新。公式的主要推导过程如下：

式中，L表示目标函数，x指特征向量，等价于f_k(u,v,l)，为了书写简单和表述方便用x表示；μ指训练高斯分布的均值，Σ表示训练高斯分布的协方差；无下标表示当前次的更新参数，下标t-1表示上一次更新的参数，例如，当前次为第t次的更新，则μ、Σ分别对应当前次(第t次)更新的均值与协方差，μ_t-1、Σ_t-1分别对应上一次(t-1次)更新的均值与协方差；N表示高斯分布函数，D_KL为两个分布(N(μ_t-1,Σ_t-1)与N(μ,Σ))的KL分歧。

对于第t次的更新，在特征向量批内(批内特征向量数量为M)计算特征向量的均值与协方差，因为设置批大小M等于每个输入帧所产生的特征向量数，所以t在物理意义上代表着帧序号；之后再使用以上公式优化更新批之间(当先批和前一批之间)的均值与协方差，也可以认为t指批号。基于此，本领域技术人员可以理解，式中的t-1主要是为了区分相关参数是上一次更新产生的产生。

展开L(μ,Σ)后得到：

式中，x_i为批内第i个特征向量

将上式中的D_KL进行展开：

其中的λ为约束系数，等于迭代次数分之一(λ＝1/(t-1))；Tr为矩阵基本运算的迹运算，d为常数。

使用快坐标优化算法的方式求解上式取极限条件目标参数μ,Σ的值；首先固定协方差Σ不变，来更新均值μ，求解方法是，求关于μ的偏微分函数，然后令其为0，解得对于均值的更新方程：

即，

之后，再固定均值μ不变，求关于协方差Σ的偏微分函数，解出对于协方差Σ的更新：

通过上式公式能够得到对于目标参数均值和方差的更新，在每次迭代中，一次性读入一批(M个)特征向量，在批内计算对均值和协方差的更新，通过若干批的更新得到最终的均值与协方差，从而完成高斯分布的训练。

步骤14、在异常检测阶段，采用同样的方式对输入的连续视频帧进行预处理与特征提取操作，并求取各个特征向量在训练后的高斯分布上的分布距离，根据分布距离来判断相应特征向量是否异常。

在异常检测阶段，对输入的连续视频帧进行预处理与特征提取操作后，输出层k对应的特征向量记为f_k'(u,v,l)，求取特征向量f_k'(u,v,l)在训练后高斯分布G上的分布距离(马氏距离)：

若求得的分布距离小于阈值α，则相应特征正常；否则，相应特征异常，表示为：

使用这样的判别模型，基于的是对于异常目标的出现以及异常目标的形态具有高度的随机性而符合正态分布的假设。同时在考虑检测的快速性方面单高斯模型有着很大的优势。

由于特征向量的维度很高，在本发明中有512维(m_k＝512)这样即便使用的是简单的单高斯分布，训练产生均值和协方差矩阵的成本仍然是很高的(512维的高维高斯分布)，假设对于一个长度为5分钟的视频其帧率是25FPS分辨率为256×256，训练产生其对应的单高斯分布的代价是在一个宽为512高为5×60×25×32×32＝768万的矩阵中计算均值和协方差，我们使用最直接的方法进行计算并粗略测算了时间，高达1.5小时，内存(RAM)占用更是高达180GB。而且在实际状况下，我们不仅不能只使用5分钟的视频进行训练，也不可能使用这么不清晰的视频进行训练，而且超过180GB内存配置的PC机是几乎不存在的，所以对训练过程在保证结果有效性的前提下进行加速和内存压缩就成为了一个非常重要的问题。

另外，现有的异常检测算法中虽然有着很高的检测精度，但是由于计算缓慢，完全没有检测的实时性可言，这样大大制约了这类技术在现实场景中的使用，按照我们对传统训练高斯模型方法的估计，现在最高端的高性能计算服务器中都很少有满足其内存要求的型号，更不要说我们实际应用环境下的普通个人电脑的计算资源了，所以对算法进行“减负”是现在很多异常检测技术实际应用前必须面对的重要问题。所以，本发明提出的在线学习策略，不仅仅对于我们使用的高斯模型，对于很多的判别模型的训练，以及很多异常检测手段的优化，都有着一定的参考和启发意义。

通过相关实验表明，使用本发明的方法可以节约80％以上的时间消耗和99％的内存占用(参见表1)。在加速和节约资源的同时保证异常检测的精度不下降(参见附图3)，计算模型(VGG4-1learned(AUC＝0.83))和基于本发明的学习模型(Computed(AUC＝0.83))的异常检测效果几乎一致说明我们学习到的模型和直接计算结果是一致的。

表1算法内存占用和训练时间分析和比较

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于主动被动高斯在线学习的异常检测方法，其特征在于，包括：

将输入的正常的连续视频帧进行预处理使目标形态上融入运动的信息，获得处理后的融合图像；

利用深度神经网络提取融合图像的特征，获得一系列的特征向量；

利用特征向量并结合基于主动被动规则约束的在线学习方法训练高斯分布，作为正常参考模型；

在异常检测阶段，采用同样的方式对输入的连续视频帧进行预处理与特征提取操作，并求取各个特征向量在训练后的高斯分布上的分布距离，根据分布距离来判断相应特征向量是否异常。

2.根据权利要求1所述的一种基于主动被动高斯在线学习的异常检测方法，其特征在于，所述将输入的正常的连续视频帧进行预处理使目标形态上融入运动的信息，获得处理后的融合图像包括：

将连续的六帧视频帧按顺序两两平均，然后将平均产生的三张均值图片作为三个通道融合成一张图片。

3.根据权利要求1所述的一种基于主动被动高斯在线学习的异常检测方法，其特征在于，所述利用深度神经网络提取融合图像的特征，获得一系列的特征向量包括：

对于特定的深度神经网络，其包含若干输出层，对于某一时刻t，输入的融合图像，输出层k输出的特征为每个像素点坐标的m_k维的特征向量的集合，表示为：

其中，(w_k,h_k)为特征向量的尺寸，(u,v)为特征向量中像素点坐标，m_k为特征向量的数目，每一特征向量分别对应着输出层k中一个卷积核产生的响应。

4.根据权利要求1所述的一种基于主动被动高斯在线学习的异常检测方法，其特征在于，所述利用特征向量并结合基于主动被动规则约束的在线学习方法训练高斯分布包括：

使用一系列特征向量训练高斯分布G(f,μ,Σ)，其中，μ为均值，Σ为协方差，f为特征向量集合，输出层k对应的第l个特征向量为f_k(u,v,l)，u＝1,2,...,w_k，v＝1,2,...,h_k，(w_k,h_k)为特征向量的尺寸，(u,v)为特征向量中像素点坐标，m_k为特征向量的数目；

训练高斯分布G时使用基于主动被动规则约束的在线学习方法，主动条件下让目标方程向着一个方向逼近，将更新前和更新后的两个分布的KL分歧作为被动约束，被动约束用于约束参数值同时约束参数的分布类型和变化趋势，具体如下：

式中，L表示目标函数，x指特征向量，等价于f_k(u,v,l)，μ、Σ分别对应当前次，即第t次更新的均值、协方差，μ_t-1、Σ_t-1分别对应上一次，即t-1次更新的均值、协方差；N表示高斯分布函数，D_KL为两个分布的KL分歧；

展开L(μ,Σ)后得到：

式中，x_i为第i个特征向量；

将上式中的D_KL进行展开：

其中的λ为约束系数；

使用快坐标优化算法的方式求解上式取极限条件目标参数μ,Σ的值；首先固定协方差Σ不变，来更新均值μ，求解方法是，求关于μ的偏微分函数，然后令其为0，解得对于均值的更新方程：

即，

之后，再固定均值μ不变，求关于协方差Σ的偏微分函数，解出对于协方差Σ的更新：

通过上式公式能够得到对于目标参数μ,Σ的更新，在每次迭代中，一次性读入一批特征向量，在批内计算对均值和协方差的更新，通过若干批的更新得到最终的均值与协方差，从而完成高斯分布的训练。

5.根据权利要求1所述的一种基于主动被动高斯在线学习的异常检测方法，其特征在于，所述求取各个特征在训练后的高斯分布上的分布距离，根据分布距离来判断相应特征是否异常包括：

对输入的连续视频帧进行预处理与特征提取操作后，输出层k对应的特征向量记为f_k'(u,v,l)，求取特征向量f_k'(u,v,l)在训练后高斯分布G上的分布距离：

若求得的分布距离小于阈值α，则相应特征正常；否则，相应特征异常，表示为：

Images