CN106548142A - 一种基于信息熵的视频中人群突发事件检测与评估方法 - Google Patents

Abstract

本发明公开了一种基于信息熵的视频中人群突发事件检测与评估方法，包括以下步骤：(1)光流法提取视频图像中的特征点，得到特征点的位置信息；(2)根据步骤(1)中得到的位置信息，计算特征点的速度和加速度，再对加速度进行滤波处理，通过设定加速度阈值从而判断特征点的运动强度；(3)将视频中的图像划分为N个区域，计算步骤(2)中得到的特征点的速度矢量在每个区域中的分布概率p_i；(4)根据分布概率p_i计算信息熵，通过设定信息熵阈值从而判断特征点的混乱程度。本发明根据分布概率p_i计算信息熵，信息熵代表了混乱度，将信息熵运用于突发事件检测，能够判断人群处于混乱还是有序的状态，结合运动强度与混乱度检测评估突发事件。

Description

一种基于信息熵的视频中人群突发事件检测与评估方法

技术领域

本发明涉及智能视频监控技术领域，尤其涉及一种基于信息熵的视频中人群突发事件检测与评估方法，用于自动检测视频中的突发事件并判断人群混乱还是有序。

背景技术

随着经济的发展，监控摄像头越来越多，给人们带来了安全与便利。但是，由于监控设备的增加，安保人员很难长时间精力高度集中地关注大量的监控设备，人们对很多安全性事件都是后知后觉的，这使得大多数监控摄像头的作用仅仅局限于事后调查与取证。因而，为了实时监测视频并对突发事件报警，智能监控技术成为人们关注的焦点。

现有的突发事件检测很多针对于人群行为的检测，例如《基于SVM的室内异常行为检测算法研究》中提到提取人体的轮廓，判断站立、跌倒、蹲下等不同的行为。在安防领域，我们更加关心的是群体行为的检测，群体行为往往会导致严重的安全事件。

另外，在地震、火灾等事故发生时，我们希望能够了解人群是混乱还是有序撤退的情况，从而对事件的紧急程度做出判断，合理配置救援资源。目前关于突发事件的发明有车辆相关的公开号为101192344B的发明专利以及终端相关的公开号为104269034A的发明专利等，但针对人群突发事件检测的发明很少。

发明内容

为了克服人工观察监控视频的局限性，提高视频监控的智能化，本发明提供一种基于信息熵的视频中人群突发事件检测与评估方法，该方法针对的场景是公共场合下运动强度大、混乱度大的人群突发事件，用于自动检测视频中的突发事件并判断人群混乱还是有序。

为了实现本发明的目的所采用的技术方案是：一种基于信息熵的视频中人群突发事件检测与评估方法，包括以下步骤：

(1)光流法提取视频图像中的特征点，得到特征点的位置信息；

(2)根据步骤(1)中得到的位置信息，计算特征点的速度和加速度，再对加速度进行滤波处理，通过设定加速度阈值从而判断特征点的运动强度；

(3)将图像划分为N个区域，计算步骤(2)中得到的特征点的速度矢量在每个区域中的分布概率p_i，其中N为大于等于4小于等于12的整数；

(4)根据分布概率p_i计算信息熵，通过设定信息熵阈值从而判断特征点的混乱程度。

进一步地，所述步骤(1)具体为：

调用goodFeaturesToTrack函数获得一帧视频图像中的多个特征点，通过LK光流算法可以得到第t帧视频图像中第k个特征点(x_k,y_k)对应的位置信息为其中t和k均为正整数。

进一步地，所述N优选为8。

进一步地，所述步骤(2)具体为：

首先通过位置信息计算第t帧第k个特征点的速度v_t,k：

其中，为视频第t-1帧中第k个特征点对应的位置信息；

而前一帧和后一帧的速度差就是加速度；假设其中共有n个特征点，特征点对应的光流加速度分别为a₁,a₂…a_n，为了减少异常的光流加速度对检测结果的影响，接下来对光流加速度进行高斯滤波处理，得到高斯滤波后的第m个光流加速度：

其中为高斯滤波后的第m个光流加速度，a_m为高斯滤波前的第m个光流加速度，1￡m￡n，m为光流加速度的均值，

计算视频在第t帧中所有特征点的加速度之和，记为A_t，当A_t大于加速度阈值时，说明视频中运动强度很大。

进一步地，所述加速度阈值的设定具体为：

检测一个突发事件未发生的场景，获取一段时间内的视频，并输出视频图像中特征点的加速度数据，加速度阈值设定为加速度数据中最大值的2倍左右。

进一步地，所述步骤(3)具体为：

将图像划分为N个区域，统计步骤(2)中得到的特征点的速度矢量在每个区域里的数量，用每个区域里速度矢量的数量除以速度矢量的总数，得到速度矢量在各区域的分布概率p_i。

进一步地，所述步骤(4)具体为：

根据分布概率p_i计算信息熵，记为H_n，则有：

计算时以10为底取对数，信息熵的单位是det(迪特)，设置信息熵阈值为0.5det，当信息熵超过这个阈值的时候，判断人群处于混乱状态，而当信息熵未超过阈值的时候，则人群处于有序状态。

本发明的有益效果是：根据分布概率p_i计算信息熵，信息熵代表了混乱度，将信息熵运用于突发事件检测，能够判断人群处于混乱还是有序的状态。通过加速度、信息熵与相应阈值的比较，算法结合运动强度和混乱度判断突发事件，能适用于多种不同背景的环境中。算法运行可与视频同步，满足实时性和实用性的要求。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为特征点提取的效果图；

图2为本发明实施例中获得信息熵计算采用的分区示意图；

图3为本发明实施例中场景一的测试结果，(a)为场景一视频截图，(b)为场景一的加速度随帧数的变化图，(c)为场景一突发事件发生时信息熵的大小变化图；

图4为本发明实施例中场景二的测试结果，(a)为场景二视频截图，(b)为场景二的加速度随帧数的变化图，(c)为场景二突发事件发生时信息熵的大小变化图；

图5为本发明实施例中场景三的测试结果，(a)为场景三视频截图，(b)为场景三的加速度随帧数的变化图，(c)为场景三突发事件发生时信息熵的大小变化图；

图6为本发明实施例中场景四的测试结果，(a)为场景四视频截图，(b)为场景四的加速度随帧数的变化图，(c)为场景四突发事件发生时信息熵的大小变化图；

图7为本发明实施例中场景五的测试结果，(a)为场景五视频截图，(b)为场景五的加速度随帧数的变化图，(c)为场景五突发事件发生时信息熵的大小变化图；

图8为本发明实施例中场景六的测试结果，(a)为场景六视频截图，(b)为场景六的加速度随帧数的变化图，(c)为场景六突发事件发生时信息熵的大小变化图；

具体实施方式

下面结合附图对本发明做进一步地说明。

一种基于信息熵的视频中人群突发事件检测与评估方法，包括以下步骤：

(1)光流法提取视频图像中的特征点，得到特征点的位置信息；

(2)根据步骤(1)中得到的位置信息，计算特征点的速度和加速度，再对加速度进行滤波处理，通过设定加速度阈值从而判断特征点的运动强度；

(3)将图像划分为N个区域，计算步骤(2)中得到的特征点的速度矢量在每个区域中的分布概率p_i，其中N为大于等于4小于等于12的整数，优选为8，表示8个方向，便于程序实现；

(4)根据分布概率p_i计算信息熵，通过设定信息熵阈值从而判断特征点的混乱程度。

步骤1)：调用goodFeaturesToTrack函数获得一帧视频图像中的多个特征点，通过LK光流算法可以得到第t帧视频图像中第k个特征点(x_k,y_k)对应的位置信息为其中t和k均为正整数，如图1所示；

步骤2)：首先通过位置信息计算第t帧第k个特征点的速度v_t,k：

其中，为视频第t-1帧中第k个特征点对应的位置信息；

而前一帧和后一帧的速度差就是加速度；假设其中共有n个特征点，特征点对应的光流加速度分别为a₁,a₂…a_n，为了减少异常的光流加速度对检测结果的影响，接下来对光流加速度进行高斯滤波处理，得到高斯滤波后的第m个光流加速度：

其中为高斯滤波后的第m个光流加速度，a_m为第m个光流加速度，1￡m￡n，m为光流加速度的均值，

计算视频在第t帧中所有特征点的加速度之和，记为A_t，当A_t大于加速度阈值时，说明视频中运动强度很大。

检测一个突发事件未发生的场景，获取一段时间内的视频，并输出视频图像中特征点的加速度数据，加速度阈值设定为加速度数据中最大值的2倍左右。加速度阈值的大小与场景、光照、人群密度等有关。之后在此基础上通过信息熵的大小判断有序还是混乱。

步骤3)：如图2所示，将图像划分为N个区域，统计步骤(2)中得到的特征点的速度矢量在每个区域里的数量，用每个区域里速度矢量的数量除以速度矢量的总数，得到速度矢量在各区域的分布概率p_i。在这里，我们用分布的统计结果近似代替概率。

步骤4)：根据分布概率p_i计算信息熵，记为H_n，则有：

计算时以10为底取对数，信息熵的单位是det(迪特)，设置信息熵阈值为0.5det，当信息熵超过这个阈值的时候，判断人群处于混乱状态，而当信息熵未超过阈值的时候，则人群处于有序状态。根据信息熵的性质，最大熵为lg8＝0.903det，最小熵为0，阈值为0.5det可以很好地区分混乱和有序。值得注意的是，我们计算的不是一种静态像素分布的熵，而是对运动矢量统计计算得到的熵，反映视频中人群的运动情况。

实施例：

6个场景描述如下：

场景一：如图3所示，视频开始时，人群在排球场上保持静止，在某个时刻，人群突然随机地朝多个方向奔跑，呈现混乱的状态，人群占整个画面的局部。

场景二：如图4所示，视频开始时，人群在公园草地上自由走动，在某个时刻，人群各自随机地朝多个方向奔跑，呈现混乱的状态，人群占据整个画面。

场景三：如图5所示，视频开始时，人群在广场上自由走动，在某个时刻，人群各自随机地朝多个方向奔跑，呈现混乱的状态，人群占据整个画面。

场景四：如图6所示，视频开始时，人群在排球场上保持静止，在某个时刻，人群突然朝一个方向奔跑，呈现有序撤退的状态，人群占整个画面的局部。

场景五：如图7所示，视频开始时，人群在室内走道上走动，在某个时刻，人群突然朝一个方向奔跑，呈现有序撤退的状态，人群占据整个画面。

场景六：如图8所示，视频开始时，人群在排球场上向一个方向走动，在某个时刻，人群突然朝一个方向奔跑，呈现有序撤退的状态，人群占整个画面的局部。

应用本发明的测试的结果是：

场景一：184帧左右人群突发事件产生，事件发生前加速度为0，人群静止；事件发生后检测到加速度超过阈值100，信息熵超过阈值0.5，人群处于混乱状态。

场景二：210帧左右人群突发事件产生，事件发生前加速度很小；事件发生后检测到加速度超过阈值100，信息熵超过阈值0.5，人群处于混乱状态。

场景三：95帧左右人群突发事件产生，事件发生前加速度很小；事件发生后检测到加速度超过阈值300，信息熵超过阈值0.5，人群处于混乱状态。

场景四：60帧左右人群突发事件产生，事件发生前加速度为0，人群静止；事件发生后检测到加速度超过阈值100，信息熵小于阈值0.5，人群有序撤退。

场景五：100帧左右人群突发事件产生，事件发生前加速度很小；事件发生后检测到加速度超过阈值100，信息熵小于阈值0.5，人群有序撤退。

场景六：150帧左右人群突发事件产生，事件发生前加速度很小；事件发生后检测到加速度超过阈值100，信息熵小于阈值0.5，人群有序撤退。

表1各场景测试结果

测试结果分析

(1)对比不同背景的场景二、三、四、五的检测结果可以发现，在排球场、公园草地、广场、室内走道等不同的场景中，当突发事件未发生的时候，算法检测结果无异常；当突发事件发生时，算法能有效检测突发事件，判断人群状态。实验采用了多种场景，这些场景的光照、对比度、色彩等各不相同，说明算法适用范围广。

(2)场景一、二、三检测中人群处于混乱状态，场景四、五、六中检测人群处于有序撤退状态，多组实验的结果对比显示算法能够根据信息熵的大小有效判断人群的状态，为突发事件发生时紧急程度的判断提供参考，从而有针对性地采取措施。

(3)场景一、四、六属于局部事件，即发生突发事件的人群占整个画面的局部；场景二、三、五属于全局事件，发生突发事件的人群几乎占据了整个画面。从局部事件和全局事件的测试结果来看，无论视频中人群的像素点占整个画面的小部分还是大部分对算法都没有影响，算法能有效地检测出突发事件，判断人群混乱还是有序。

(4)从表1可以看出，虽然当视频的分辨率为640×480时，算法的检测速度在9帧/秒以下，无法满足实时性的要求，但是当视频的分辨率为320×240时，算法的检测速度在29.8帧/秒以上，超过视频播放速度18帧/秒，可以满足实时检测的要求。因此，对于低分辨率的监控视频，本文算法能快速准确地检测出突发事件。目前监控视频的主流传输格式为CIF，分辨率为352×288，帧率为1-30帧/秒可调，对照实验结果，说明对于大多数监控视频，本发明能够满足实时检测人群突发事件的要求。如果提高计算机的运算速度，则算法可以适用于更高分辨率的视频检测。

本发明针对人群突发事件，提出了一种基于信息熵的人群突发事件检测与评估方法，能够实时地自动检测监控视频中的人群突发事件，判断人群处于混乱还是有序的状态，从而合理地安排救援力量。将信息熵的概念应用于智能视频监控，表征了视频中的混乱度，有利于对事件的紧急程度做出判断，合理配置救援资源。

Claims (7)

1.一种基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，包括以下步骤：

(1)光流法提取视频图像中的特征点，得到特征点的位置信息；

(2)根据步骤(1)中得到的位置信息，计算特征点的速度和加速度，再对加速度进行滤波处理，通过设定加速度阈值从而判断特征点的运动强度；

(3)将图像划分为N个区域，计算步骤(2)中得到的特征点的速度矢量在每个区域中的分布概率p_i，其中N为大于等于4小于等于12的整数；

(4)根据分布概率p_i计算信息熵，通过设定信息熵阈值从而判断特征点的混乱程度。

2.根据权利要求1基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，所述N优选为8。

3.根据权利要求1基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，所述步骤(1)具体为：

调用goodFeaturesToTrack函数获得一帧视频图像中的多个特征点，通过LK光流算法可以得到第t帧视频图像中第k个特征点(x_k,y_k)对应的位置信息为其中t和k均为正整数。

4.根据权利要求3基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，所述步骤(2)具体为：

首先通过位置信息计算第t帧第k个特征点的速度v_t,k：

$v_{t,k}=\sqrt{{(V_{x_{t,k}}-V_{x_{t-1,k}})}^2+{(V_{y_{t,k}}-V_{y_{t-1,k}})}^2}$

其中，为视频第t-1帧中第k个特征点对应的位置信息；

而前一帧和后一帧的速度差就是加速度；假设其中共有n个特征点，特征点对应的光流加速度分别为a₁,a₂…a_n，为了减少异常的光流加速度对检测结果的影响，接下来对光流加速度进行高斯滤波处理，得到高斯滤波后的第m个光流加速度：

$\stackrel{\‾}{a_m}=a_m{e}^{-{(a_m-m)}^2}$

其中为高斯滤波后的第m个光流加速度，a_m为高斯滤波前的第m个光流加速度，m为光流加速度的均值，

计算视频在第t帧中所有特征点的加速度之和，记为A_t，当A_t大于加速度阈值时，说明视频中运动强度很大。

5.根据权利要求4基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，所述加速度阈值的设定具体为：

检测一个突发事件未发生的场景，获取一段时间内的视频，并输出视频图像中特征点的加速度数据，加速度阈值设定为加速度数据中最大值的2倍左右。

6.根据权利要求4基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，所述步骤(3)具体为：

将图像划分为N个区域，统计步骤(2)中得到的特征点的速度矢量在每个区域里的数量，用每个区域里速度矢量的数量除以速度矢量的总数，得到速度矢量在各区域的分布概率p_i。

7.根据权利要求6基于信息熵的视频中人群突发事件检测与评估方法，其特征在于，所述步骤(4)具体为：

根据分布概率p_i计算信息熵，记为H_n，则有：

$H_n=H(p_1,p_2,...,p_n)=-{\mathrm{k\Σ}}_{i=1}^n{p}_i\log p_i$

计算时以10为底取对数，信息熵的单位是det(迪特)，设置信息熵阈值为0.5det，当信息熵超过这个阈值的时候，判断人群处于混乱状态，而当信息熵未超过阈值的时候，则人群处于有序状态。