CN109034123A - 一种基于瞬时能量的突发人群异常检测方法 - Google Patents

Abstract

本发明公开了一种基于瞬时能量的突发人群异常检测方法，基于像素统计分析的运动特征点提取方法来提取图像运动区域的特征点，利用动能作为人群的基本能量特征，并基于能量块在连续两帧间的动能差，提取人群运动状态的瞬时能量特征，以此对人突发人群异常进行检测。上述突发人群异常检测方法不仅可以有效减少运动特征点的获取数量从而避免后续对一些无意义的特征点进行处理，而且还能反映前景运动区域的纹理特征从而反映人群密度的分布状况，使得提取的运动特征点更具有代表性与均匀性；无论是在异常发生时的响应速度还是对人群运动状态变化的描述，上述突发人群异常检测方法都显示出了突出的优越性。

Description

一种基于瞬时能量的突发人群异常检测方法

技术领域

本发明涉及智能视频监控领域，具体涉及一种基于瞬时能量的突发人群异常检测方法。

背景技术

随着日渐紧张的公共安全形势，在人群场景中，对异常事件的自动检测将会对公共安全有着重要的意义，因此智能视频监控已经成为计算机视觉领域重要的研究方向。目前该研究方向的难点主要集中在如何自动获取个体或者群体的有效特征信息，并对特征信息做出正确的理解判断。为了尝试解决监控视频中人群异常自动识别的问题，目前国内外已经提出了许多基于计算机视觉的方法。

目前较为常用的获取前景运动区域特征点的方法有：角点检测法和均匀布点法。角点检测法可以较为全面的获得前景运动区域的特征点，但是对于某些局部区域获取的特征点过于集中，从而影响后续运动特征的提取。均匀布点法是在前景运动区域平面内人工均匀标注颗粒点，将这些颗粒点认为是人群运动图像的特征点，这种方法尽管可以均匀的获取前景运动区域的特征点，但是不能反映前景运动区域中纹理的变化，使得特征点的提取较为粗糙。

基于动能特征的异常检测算法，但动能特征响应时间较慢，并且突发异常特征描述不显著。基于加速度特征的突发异常检测算法，加速度特征的计算量过大，达不到实时性的要求，并且鲁棒性较差。当人群出现异常时，人群状态变化最为明显的特征就是人群动能的突然变化，使得人群的能量从一个能量级跃变为另外一个能量级，但目前并没有相关人群发生异常时的能量突变特征的研究。

发明内容

针对上述问题，本发明提出了一种基于瞬时能量的突发人群异常检测方法，提取像素统计分析的运动特征点，采用了如下技术方案：

一种基于瞬时能量的突发人群异常检测方法，基于像素统计分析的运动特征点提取方法来提取图像运动区域的特征点，利用动能作为人群的基本能量特征，并基于能量块在连续两帧间的动能差，提取人群运动状态的瞬时能量特征，以此对人突发人群异常进行检测。

进一步，具体包括如下步骤：

S1、进行基于像素统计分析的运动特征点提取，利用混合高斯模型获得视频图像的背景模型以后，采用背景减的方法获得前景运动区域，再以前景运动区域作为掩模，从而获得前景运动区域的二值化图像，基于前景像素面积占比的前景运动区域的特征点提取；

S2、获取网格的运动向量，获得图像的特征点后，使用L-K光流法对特征点进行跟踪，从而获得提供特征点的运动信息的特征点光流，经过光流法处理后，第j个网格内的第i个特征点p_i ^j的运动矢量表示为：

那么第j个网格中的n个特征点的运动矢量组成的运动向量M_j表示为集合：

进一步，对于第j个网格中这n个运动矢量，进行进一步的筛选，在前景像素占比r较小时，通过判断网格内每个特征点运动矢量的模值来近似判断该特征点是否属于前景运动区域上的像素点，当某个特征点的运动矢量满足：

此时将该特征点的运动矢量从上述集合中删除，其中阈值T取得是通过记录一段时间内各个特征点运动矢量的模值的最小值；

最终获得表征第j个网格的运动向量M′_j：

其中m≤n。

进一步，瞬时能量φ[k]的计算过程如下：

第j个网格中的动能E_j定义如下：

对于视频图像中第j个网格的动能E_j，在从第k帧开始的连续两帧之间的动能差ΔE_j[k]：

ΔE_j[k]＝E_j[k+1]-E_j[k]

如果满足：

ΔE_j[k]≤ε

其中ε为动能差阈值，

其中l[k]为第k帧图像中含有前景运动区域网格的个数，并且ψ[k]满足：

人群瞬时能量φ[k]为：

其中κ为总动能差ψ[k]的放大因子，κ＝10；k₀满足：

当k-k₀＝τ时，令φ[k]＝0，即瞬时能量φ[k]最多只计算τ帧的视频图像，然后将会自动置0，目的是减少对人群异常的误报或错报，并且可以对视频长时间周期性的检测；

当人群处于平稳的运动状态时，瞬时能量φ[k]＝0；而当有异常发生时，满足阈值条件的总动能差ψ[k]被放大因子κ放大后将会被累加，从而使得瞬时能量φ[k]增大，当φ[k]到达异常阈值α，此时则认为人群有异常发生，即：并进行报警。

进一步，动能差阈值ε为实验统计人群平稳运动时，视频图像中的网格内相邻两帧之间动能差ΔE_j的最大值。

相对于现有技术，本发明有益的技术效果为：

基于像素统计分析的运动特征点获取，不仅可以有效减少运动特征点的获取数量从而避免后续对一些无意义的特征点进行处理，而且还能反映前景运动区域的纹理特征从而反映人群密度的分布状况，这样使得提取的运动特征点更具有代表性与均匀性。基于瞬时能量的人群突发异常检测算法无论是在异常发生时的响应速度还是对人群运动状态变化的描述，都显示出了突出的优越性。

附图说明

图1为基于像素统计分析的运动特征点提取方法的流程图。

图2瞬时能量的计算流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明基于瞬时能量的突发人群异常的检测方法，采用基于像素统计分析的运动特征点提取方法来提取图像运动区域的特征点，利用动能作为人群的基本能量特征，并基于能量块在连续两帧间的动能差，提取人群运动状态的瞬时能量特征，以此对人突发人群异常进行检测，具体阐述如下：

首先进行基于像素统计分析的运动特征点提取，以图中的网格作为参照，进行前景像素统计从而对运动特征点进行提取。利用混合高斯模型获得视频图像的背景模型以后，采用背景减的方法获得前景运动区域。然后再以前景运动区域作为掩模，从而获得前景运动区域的二值化图像。

在获取人群运动区域的特征点时，为反映运动人群在前景中的密度分布，在基于前景像素统计的人群密度估计的算法上，本发明提出了基于前景像素面积占比的前景运动区域的特征点提取，使得提取的特征点能够较好的描述前景运动区域。设网格内前景像素的面积占比为r，每个网格单元所占的像素点数为N_mes，每个网格单元内前景运动区域的像素数为N_for，因此前景像素面积占比r表示为：

根据每个网格单元内前景像素的面积占比r，动态分配网格单元内的特征点个数n以及特征点的位置分布。根据每个网格单元内前景像素的面积占比r，动态分配网格单元内的特征点个数n以及特征点的位置分布，现定义网格单元中前景像素面积占比与特征点数量及分布对照表，对照表如表1所示：

表1前景像素面积占比与特征点数量及分布对照表

由表1可知，当0≤r＜0.1时，可近似认为该网格所在区域不存在人群运动或者仅仅是噪声的影响，可以将该网格忽略不计，因此根据面积占比对网格区域进行预判别，这样可以节省运算时间，从而可以提高算法那的效率。随着前景面积占比r不断地增大，此时可近似认为网格所在区域人群运动面积增加。当0.1≤r＜0.3时，此时人群运动区域主要存在于网格的边缘部分，因此在网格边缘部分提取特征点；随着前景面积占比r的进一步增大，此时认为人群运动面积逐渐占据整个网格，因此向网格中心方向提取特征点。

其次，获取网格的运动向量。对于视频中的每一帧图像，都可以利用基于前景像素统计分析的方法提取前景运动区域的特征点，一旦获得图像的特征点，便可以使用L-K光流法对特征点进行跟踪，从而获得特征点的光流，光流可以提供特征点的运动信息。因此，经过光流法处理后，第j个网格内的第i个特征点p_i ^j的运动矢量可以表示为：

那么第j个网格中的n个特征点的运动矢量组成的运动向量M_j表示为：

对于第j个网格中这n个运动矢量，可以进行进一步的筛选。由表3-1可知在前景像素占比r较小时，有些特征点有可能未被标定在前景运动区域之上，此时该特征点的运动矢量将与网格内的其他特征点的运动矢量有较大的差别，这种差别主要体现在运动矢量模值的大小，因此通过判断网格内每个特征点运动矢量的模值来近似判断该特征点是否属于前景运动区域上的像素点。当某个特征点的运动矢量满足：

此时将该特征点的运动矢量从集合(1)中删除，其中阈值T是通过记录一段时间内各个特征点运动矢量模值中的最小值。经过式(2)对集合(1)中运动矢量点的滤除，最终获得表征第j个网格的运动向量M′_j：

其中m≤n。接下来，基于运动向量M′_j的统计特征表征人群的运动状态，并通过对运动统计特征的分析，判断人群是否发生异常。

第j个网格中的动能E_j定义如下：

在视频监控中，正常情况下人群都是以平稳的速度在运动，相对应的人群的动能也是平缓变化的，此时人群处在一种稳态，在一段时间内，人群整体的能量值近似维持在一个常值。此时对于视频图像中第j个网格的动能E_j，在从第k帧开始的连续两帧之间的动能差ΔE_j[k]：

ΔE_j[k]＝E_j[k+1]-E_j[k]

应当满足：

ΔE_j[k]≤ε

其中ε为动能差阈值，其值可以通过实验统计人群平稳运动时，视频图像中的网格内相邻两帧之间动能差ΔE_j的最大值。

通过观察，当人群出现异常时，人群状态变化最为明显的特征就是人群速度的突变，使得人群的能量从一个能量级跃变为另外一个能量级，为了表示这一能量的变化，本发明提出了瞬时能量这一统计特征，并利用该特征对视频中人群的异常状态进行检测。首选定义从第k帧开始连续两帧视频图像中总动能差ψ[k]，其定义如下：

其中l[k]为第k帧图像中含有前景运动区域网格的个数，并且ψ[k]满足：

现定义人群瞬时能量φ[k]如下：

其中κ为总动能差ψ[k]的放大因子，通过放大因子κ可更加显著的描述人群异常发生时的变化特性，本发明取κ＝10；此外，k₀满足：

当k-k₀＝τ时，令φ[k]＝0，也就是瞬时能量φ[k]最多只计算τ帧的视频图像，然后将会自动置0，目的是减少对人群异常的误报或错报，并且可以对视频长时间周期性的检测，具体参见的瞬时能量φ[k]的计算流程图。

当人群处于平稳的运动状态时，瞬时能量φ[k]＝0；而当有异常发生时，满足阈值条件的总动能差ψ[k]被放大因子κ放大后将会被累加，从而使得瞬时能量φ[k]增大，当φ[k]到达异常阈值α，此时则认为人群有异常发生，并进行报警。

在本发明中，将从视频训练集中提取人群异常阈值α，在测试集中进行验证。基于瞬时能量的人群异常检测可以表示为：

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于瞬时能量的突发人群异常检测方法，其特征在于：基于像素统计分析的运动特征点提取方法来提取图像运动区域的特征点，利用动能作为人群的基本能量特征，并基于能量块在连续两帧间的动能差，提取人群运动状态的瞬时能量特征，以此对人突发人群异常进行检测。

2.根据权利要求1所述的检测方法，其特征在于：具体包括如下步骤：

S1、进行基于像素统计分析的运动特征点提取，利用混合高斯模型获得视频图像的背景模型以后，采用背景减的方法获得前景运动区域，再以前景运动区域作为掩模，从而获得前景运动区域的二值化图像，基于前景像素面积占比的前景运动区域的特征点提取；

S2、获取网格的运动向量，获得图像的特征点后，使用L-K光流法对特征点进行跟踪，从而获得提供特征点的运动信息的特征点光流，经过光流法处理后，第j个网格内的第i个特征点p_i ^j的运动矢量表示为：

那么第j个网格中的n个特征点的运动矢量组成的运动向量M_j表示为集合：

3.根据权利要求2所述的方法，其特征在于：对于第j个网格中的n个运动矢量组成的运动向量M_j，进行进一步的筛选，在前景像素占比r较小时，通过判断网格内每个特征点运动矢量的模值来近似判断该特征点是否属于前景运动区域上的像素点，当某个特征点的运动矢量满足：

此时将该特征点的运动矢量从上述集合中删除，其中阈值T取得是通过记录一段时间内各个特征点运动矢量的模值的最小值；

最终获得表征第j个网格的运动向量M′_j：

其中m≤n。

4.根据权利要求3所述的方法，瞬时能量φ[k]的计算过程如下：

第j个网格中的动能E_j定义如下：

对于视频图像中第j个网格的动能E_j，在从第k帧开始的连续两帧之间的动能差ΔE_j[k]：

ΔE_j[k]＝E_j[k+1]-E_j[k]

如果满足：

ΔE_j[k]≤ε

其中ε为动能差阈值，

其中l[k]为第k帧图像中含有前景运动区域网格的个数，并且ψ[k]满足：

人群瞬时能量φ[k]为：

其中κ为总动能差ψ[k]的放大因子，κ＝10；k₀满足：

当k-k₀＝τ时，令φ[k]＝0，即瞬时能量φ[k]最多只计算τ帧的视频图像，然后将会自动置0，目的是减少对人群异常的误报或错报，并且可以对视频长时间周期性的检测；

当人群处于平稳的运动状态时，瞬时能量φ[k]＝0；而当有异常发生时，满足阈值条件的总动能差ψ[k]被放大因子κ放大后将会被累加，从而使得瞬时能量φ[k]增大，当φ[k]到达异常阈值α，此时则认为人群有异常发生，即：并进行报警。

5.根据权利要求4所述的方法，其特征在于：动能差阈值ε为实验统计人群平稳运动时，视频图像中的网格内相邻两帧之间动能差ΔE_j的最大值。