CN106326840A - 一种基于光流直方图熵的人群异常行为检测方法 - Google Patents

Abstract

本发明提供一种基于光流直方图熵的人群异常行为检测方法，将比特平面滤波用于异常行为检测的预处理过程，去除由摄像头本身和图像背景引入的噪声，以便于在之后的背景建模中更好的提取视频中的运动目标。另外，本发明将人群异常行为检测问题建模为光流直方图的混乱程度这种模型，在计算出图像的光流之后，对目标区域求光流的直方图，从而消除部分噪声，之后对光流直方图求熵得到高层特征，进一步去掉噪声的影响。本发明低层特征的噪声入手，提出了一种同时兼顾低层特征和高层特征的人群异常行为检测算法，在人群稀疏和密集的情况下都能有很好的效果。

Description

一种基于光流直方图熵的人群异常行为检测方法

技术领域

本发明涉及计算机视觉领域，具体涉及智能监控领域。

背景技术

目前，国内越来越多的公共区域都安装了监控摄像头，但是这些摄像头只能被动记录视频，仅作为事后调查的依据，而不能做到实时自动报警。随着公共场所的安全问题日益突出，人们对智能监控的要求也越来越高。智能监控逐渐成为计算机视觉领域中是一个备受关注且发展迅速的领域，其中人群异常行为检测技术得到了快速的发展和广泛的应用，依靠人力来对异常事件进行报警的时代已经一去不复返。鉴于智能监控技术给人们带来的巨大的人力解放，它在许多国家已成为研究的热点，比如人群异常行为的预警，其主要目的是从监控视频的画面中找到人群的异常行为，并进行报警。

在人群异常行为检测技术中，主要存在两个基本的问题：(1)对基本行为的描述；(2)异常行为模型的建立。在过去的10多年的时间里，研究人员对于这两个问题提出了多种方法，比如对于行为的表示，提出了“基于低层视觉特征的行为表示”，该方法手工提取一些低层特征作为行为的表示如灰度、梯度、目标轮廓等。基于低层视觉特征的行为表示能够刻画目标的局部运动，而且计算复杂度低，但有很高的噪声。于是人们又提出了“基于语义的高层特征的行为表示”，比如利用目标跟踪算法得到目标的轨迹、提取人群运动密度能量等，这些方法一方面不适用于人群密集的场所(因为人群密集的地方跟踪算法通常已经失效了)，另一方面计算复杂度很高，很难做到实时的监控。从基于视频的人群异常行为分析研究起，到目前为止仍然还没有一种成熟的方法来对人群异常行为进行预警。

发明内容

本发明所要解决的技术问题是，提供一种在人群稀疏和密集的情况下都能有很好的效果人群异常行为检测方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于光流直方图熵的人群异常行为检测方法，包括以下步骤：

1)将视频输入的第1帧图像转换为灰度图，提取每一个像素灰度值的最高4个比特进行位平面滤波；

2)利用高斯混合模型基于视频的第1帧图像进行背景建模，得到运动的区域；

3)对视频中第t帧图像转换为灰度图后进行最高4个比特的位平面滤波，利用高斯混合模型求运动区域，再对临近的运动区域进行融合，t＝2,3，…；

4)对第t帧图像中融合后的运动区域的外接矩形求取光流特征；

5)求第t帧图像中运动区域的外接矩形中的光流直方图p(x)；

6)求第t帧图像中运动区域的外接矩形中的光流直方图的熵H(x)，并对其进行归一化得到归一化后的光流直方图的熵S(x)；

7)根据归一化后的光流直方图的熵S(x)与阈值th进行比较，当归一化后的光流直方图的熵S(x)大于阈值th则判断运动区域内发生了异常行为，否则判断运动区域内为正常行为；对第t帧图像中融合后的所有运动区域判断完成后，更新t＝t+1，返回步骤3)处理视频中的下一帧图像。

首先，本发明将比特平面滤波用于异常行为检测的预处理过程，发现去除最低的4个比特平面，去除由摄像头本身和图像背景引入的噪声，以便于在之后的背景建模中更好的提取视频中的运动目标。另外，本发明将人群异常行为检测问题建模为光流直方图的混乱程度这种模型，一般情况下，人群的行为都是按照一定的方向有序的进行，在发生异常行为的时候，比如打架斗殴等，人体各个部位的运动方向则十分混乱，本发明提出使用光流直方图的熵来表征这种混乱程度。在计算出图像的光流之后，对目标区域求光流的直方图，从而消除部分噪声，之后对光流直方图求熵得到高层特征，进一步去掉噪声的影响。

本发明的有益效果是，从低层特征的噪声入手，提出了一种同时兼顾低层特征和高层特征的人群异常行为检测算法，在人群稀疏和密集的情况下都能有很好的效果。

附图说明

图1左边为原图；右边为高4位比特平面滤波后的图像；

图2左边为原图，右边为高斯混合模型背景建模得到的运动前景；

图3左边为原图，右边为运动目标的光流特征示意图；

图4左边为正常行为的光流的直方图，右边为异常行为的光流的直方图；

图5正常行为与异常行为的归一化后的光流直方图的熵；

具体实施方式

本发明首先对输入的视频帧进行预处理，提取该帧图像的最高的4个比特面，然后使用高斯混合模型对图像做背景建模，得到图像中的运动区域，对运动区域进行合并，得到运动目标的外接矩形，然后利用前后两帧图像求该矩形区域内图像的光流特征，并得到光流的直方图，根据直方图求得目标区域的光流直方图的熵，最后利用阈值和熵来判断目标区域是否存在异常行为。

为了方便描述本发明的内容，首先对一些术语进行说明。

1：位平面滤波。对一幅用8个比特表示其每个像素灰度值的图象来说，其中的每个比特可看作表示了1个二值的平面，也称位面。越低位的比特变化越快，包含的噪声越多，在此处取最高位的4个比特，忽略掉低4位的4个比特，结果如图1所示。位平面滤波也叫比特平面滤波，是数字图像处理中的一种现有方法，申请人发现对于异常行为的检测来说这种滤波方式很好，在过滤噪声的同时不会影响“光流直方图的熵”这种特征的提取。

2：高斯混合模型。高斯背景模型是由Stauffer等人提出的经典的自适应混合高斯背景提取方法，是一种基于背景建模的方法，它是根据视频中的每个像素在时域上的分布情况来构建各个像素的颜色分布模型，依次来达到背景建模的目的。混合高斯背景模型是有限个高斯函数的加权和，它能描述像素的多峰状态，适用于对光照渐变、树木摇摆等复杂背景进行准确建模，该方法目前已经成为比较常用的背景提取方法。利用高斯混合模型提取到的运动目标如图2所示。

3：图像的光流特征。光流法是比较经典的运动估计方法，在空间中，运动可以用运动场描述。而在一个图像平面上，物体的运动往往是通过图像序列中不同图象灰度分布的不同体现的。从而，空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。运动目标区域的光流如图3所示。

4：光流的直方图。光流的方向分布在0～360°的范围内，将0～360°分成12等分的区间，统计落在每个区间里面的光流的幅度，就得到该区间内的光流的强度p(x)。光流的直方图如图4所示。

5：光流直方图的熵。熵是一个系统中"无秩序"的程度，当图像中出现异常行为时，人体运动的无序程度明显更大，即此时的光流直方图的熵就越大。直方图熵的计算如下，其中p(x)表示直方图的分布。

$H\left(x\right)=\underset{x}{\Σ}p\left(x\right)\ln \frac{1}{p\left(x\right)}$

6：决策函数。在视频中，每一帧图像的运动区域的面积都是不同的，为了能在一个统一的标准下对异常行为进行判断，需要对运动区域光流直方图的熵进行归一化，得归一化后的光流直方图的熵S(x)。最后统计异常行为和正常行为的S(x)的分布，设定一个阈值th，阈值th可根据实验得到，归一化后的运动区域光流直方图的熵S(x)大于阈值则判定该区域为异常行为，否则为正常行为。决策函数为T：

$S\left(x\right)=\frac{H\left(x\right)}{s}\·\mathrm{\ϵ}$

其中，s表示背景建模得到的运动区域的面积，ε是与摄像机安装距离相关的可调的参数，当摄像机安装确定之后ε就成为一个常数。如图5所示，圆圈视频帧为异常行为，*号表示视频帧为正常行为。

具体操作步骤如下：

步骤1、对视频输入的每一帧图像，转换为灰度图，提取每一个像素灰度值的最高4个比特进行滤波。

步骤2、使用视频的第一帧图像，对高斯混合模型进行初始化，同时将第一帧图像保存起来，以便于第二帧图像计算光流。

步骤3、从第二帧图像开始，同样先进行位平面滤波，然后利用高斯混合模型求得运动的区域，将相隔较近的区域融合为一个区域。

步骤4、对上一步得到的运动的区域求取光流特征。

步骤5、求每一个区域中的光流的直方图p(x)。

步骤6、求光流直方图的熵H(x)。

步骤7、求归一化后的光流直方图的熵S(x)，最后利用决策函数进行判决该区域是否发生异常行为。对第当前帧图像所有运动区域判断完成后，返回步骤3处理视频中的下一帧图像。

Claims (1)

1.一种基于光流直方图熵的人群异常行为检测方法，其特征在于，包括以下步骤：

1)将视频输入的第1帧图像转换为灰度图，提取每一个像素灰度值的最高4个比特进行位平面滤波；

2)利用高斯混合模型基于视频的第1帧图像进行背景建模，得到运动的区域；

3)对视频中第t帧图像转换为灰度图后进行最高4个比特的位平面滤波，利用高斯混合模型求运动区域，再对临近的运动区域进行融合，t＝2,3，…；

4)对第t帧图像中融合后的运动区域的外接矩形求取光流特征；

5)求第t帧图像中运动区域的外接矩形中的光流直方图p(x)；

6)求第t帧图像中运动区域的外接矩形中的光流直方图的熵H(x)，并对其进行归一化得到归一化后的光流直方图的熵S(x)；

7)根据归一化后的光流直方图的熵S(x)与阈值th进行比较，当归一化后的光流直方图的熵S(x)大于阈值th则判断运动区域内发生了异常行为，否则判断运动区域内为正常行为；对第t帧图像中融合后的所有运动区域判断完成后，更新t＝t+1，返回步骤3)处理视频中的下一帧图像。