CN104732528A - 基于当前帧粒子加权社会力总和的群体异常事件检测方法 - Google Patents

Abstract

本发明提供一种基于当前帧粒子加权社会力总和的群体异常事件检测方法，该方法包括：在灰度帧图片上放置一系列粒子，并对每个粒子进行标记；使用光流法对视频序列中的光流粒子进行跟踪并计算出粒子的速度场；根据所述速度场计算改进的加权社会力模型中，每个粒子处受到的交互作用力；对所述每个粒子处受到的交互作用力设定阀值，将去除噪声后的所述交互作用力定义当前帧粒子的加权社会力总和；对所述当前帧粒子的加权社会力总和设定阀值，若当前帧粒子加权社会力总和大于某一阀值并持续一段时间，则当前帧判断为异常，否则为正常。本发明适用于于人群密度大、场景复杂的异常行为检测。该方法简单实用，计算量少。

Description

基于当前帧粒子加权社会力总和的群体异常事件检测方法

技术领域

本发明涉及计算机视觉及图像处理领域，尤其涉及一种基于当前帧粒子加权社会力总和的群体异常事件检测方法。

背景技术

近几年来，随着群体事件发生日益频发及人们对社会公共安全意识不断的增强，基于视频的群体异常行为分析受到越来越多国内外学者的关注，并取得了大量的成果。然而在高密度的人群场景中,由于场景中存在严重的遮挡,情景复杂等现象，对于人群异常事件的检测通常都存在着较高的误检率问题。在视频监控领域中，计算机视觉研究人员将群体异常事件检测方法根据其研究对象的不同将之分为两类:基于个体目标的研究和基于群体特征的研究。

第一类是基于个体目标的方法，该类方法将人群看作是由相互独立的个体组成，这样可以结合传统的单个目标行为分析技术进行人群行为的研究。通过对视频中的每个目标进行单独建模和跟踪分析，提取每个行人的姿势和动作等特征，识别其行为，然后将个人看作是人群的一部分，可以通过分析个体的特征来分析人群的行为特征。在简单的环境下，这种方法具有较好的效果。但是在高密度，复杂的人群场景下，由于存在严重的遮挡现象，要实现对多个目标分割、跟踪、行为识别等是非常困难的。另外，计算速度也会受到目标数量的影响，而且这种方法忽略了人与人之间的相互作用性。

而另一类是基于群体特征的方法，把人群看作为一个整体来进行研究，对视频进行特征提取，建立群体的模型，然后对正常人群行为和异常人群行为进行分类。这种方法对人群的整体分析效果较好，比较适用于密度场景中的人群。其中，社会力模型是一个重要的群体仿真模型，由于能够比较真实的体现出群体的运动情况，且对群体运动的建模相对合理，该模型已经引起了国内外学者广泛的关注。Ramin Mehran等人在2009年《IEEE InternationalConference on Computer Vision and Pattern Recognition》上发表的“Abnormalcrowd behavior detection using social force model”文章中提出将社会力模型应用到视频中的人群分析,用来检测人群的异常行为。该算法通过在图片上均匀平铺一层光流粒子，并让它们随光流时空变化进行移动，使用社会力模型估算出粒子间的相互作用力来表征行人间的相互作用力，从而避免了对行人目标的检测、分割和跟踪等复杂过程，因此计算量大大减小且更易实现。该模型主要以牛顿动力学和社会心理学作为基本理论，是一种简单而高效的模型，相比现有方法更加适用于人群拥挤的，遮挡现象严重的场景。另外，该方法采用k-means算法，对得到的社会力聚类得到码书，并用词袋模型的方法来统计每段视频中码书中关键词出现的频率。最后用“Latent Dirichletallocation”(隐Dirichlet分布)法对视频进行分类。

传统的社会力模型仍存在一些不足之处：(1)忽视了近邻对行人影响因素的不一致性，如：行人与近邻间距离越远，对行人产生的影响越小或近邻位置所在方向和行人的运动方向夹角超过一定阀值将对行人的运动没有影响等因素；(2)没有考虑行人与行人之间的相互作用力与场景中行人的规模的相关性；(3)相互作用力的非对称性，如行人甲试图避让行人乙，这并不意味着行人乙也会试图去避让行人甲，因为是否做出避让行为和行人的视觉角度密切相关的。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，对社会力模型进行了改进，将行人与近邻间距离，运动方向的视角信息及场景中行人规模这三个要素融入社会力模型，使得改进后的社会力模型能对密集场景中复杂运动，遮挡现象等进行更有效地建模。而且,基于改进社会力模型的异常检测算法具有较好的检测率，能够有效检测出人群异常事件。

本发明提供的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法尤其适用于于人群密度大、场景复杂的异常行为检测。

一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,包括以下几个步骤：

步骤1：将彩色视频帧图片转化为灰度帧图片，将群体中的行人考虑成质量相等的运动的粒子，在灰度帧图片上放置一系列粒子，并对每个粒子进行标记；

步骤2:使用光流法对视频序列中的光流粒子进行跟踪，由两帧间的粒子位移计算出粒子的速度场；

步骤3：根据所述速度场计算改进的加权社会力模型中，每个粒子处受到的交互作用力；

步骤4：对所述每个粒子处受到的交互作用力设定阀值以去除噪声，将去除噪声后的所述交互作用力定义当前帧粒子的加权社会力总和；

步骤5：对所述当前帧粒子的加权社会力总和设定阀值，若当前帧粒子加权社会力总和大于某一阀值并持续一段时间，则当前帧判断为异常，否则为正常。

进一步地，如上所述的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,

步骤1中，通过网格状采样标记将一系列光流粒子均匀平铺在灰度帧图片上，然后在视频图像中平铺光流粒子，即每隔m个像素放置一个粒子p_i，m＝5～10，i∈(1，N′)，N′为总粒子数；其中，放置粒子的规则为：对视频图片中感兴趣的像素点进行标记。

进一步地，如上所述的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,

步骤3中，所述改进的加权社会力模型中，每个粒子处受到的交互作用力为：

$F_{\mathrm{int}}=m_i\{\frac{{\mathrm{dV}}_i}{\mathrm{dt}}-\frac{1}{\mathrm{\&tau;}}(<V_i^{\mathrm{avg}}>-V_i)\}---\left(1\right)$

其中，_τ是松弛时间系数，粒子i的质量为m_i＝1，粒子当前的实际速度Vi定义为粒子连续3帧的速度场均值；期望速度为K表示在P_i移动时近邻的总个数，V_j表示粒子P_j在位置(x_j,y_j)上实际速度；

其中，

$f_{\mathrm{ij}}=w_{\mathrm{ij}}^c{w}_{\mathrm{ij}}^{\mathrm{\&phi;}}\exp (-\frac{d_{\mathrm{ij}}^2\left(t\right)}{2{\mathrm{\&sigma;}}_d^2})---\left(2\right)$

f_ij表示粒子P_j对粒子P_i的影响程度；

$d_{\mathrm{ij}}^2=\arg \min \left({\left|\right|c_i+t{V}_i-(x_j+t{V}_j)\left|\right|}^2\right)---\left(3\right)$

$w_{\mathrm{ij}}^c=\left\{\begin{array}{cc}1& d_{\mathrm{ij}}^2<d_c\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

$w_{\mathrm{ij}}^{\mathrm{\&phi;}}=\left\{\begin{array}{cc}1& {\mathrm{\&phi;}}_{\mathrm{ij}}\&le;{\mathrm{\&phi;}}_{\mathrm{ivwe}}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

其中，表示粒子P_i和P_j分别以当前速度不变进行运动所能达到的最小距离，对设定阀值d_c，当表示P_i会对P_j产生影响；

φ_ij表示P_i当前速度方向和指向相邻点P_j方向的夹角，对φ_ij设定阀值φ_view，当φ_ij＜φ_view时，表示P_i在P_j的视野中，即P_i会对P_j产生影响；当φ_ij＞φ_view时，表示P_i不会对P_j产生影响。

进一步地，如上所述的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,

步骤4中，所述当前帧粒子的加权社会力总和Ft为：

$F_t=\frac{K}{M*N}*\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{F}_{\mathrm{int}}---\left(6\right)$

其中，K表示当前帧去除噪音点后粒子的总数，M*N表示视频帧的分辨率。表示提取粒子的数目规模。

与现有技术相比，本发明的有益效果：

1、由于本申请步骤3考虑到行人间能达到的最近距离和运动速度方向视角对行人期望速度产生的影响，对模型中的行人期望速度进行加权，改进了传统的社会力模型，能够更好的描述行人间的相互作用力，从而有效的应用于场景中人群建模。

2、由于本申请步骤4的去噪声步骤，从而不需要复杂的背景提取，建模及目标的跟踪检测，降低了算法的复杂度。

3、采用去噪后的粒子数目除以采样粒子的总数目对场景中运动人群占图片的比例进行估计，可以方便简单估计出场景中的人群规模。

4、对视频中所有粒子求出交互作用力之和，设定阀值检测异常，能够简单有效地检测出人群的异常行为。

附图说明

图1为本发明基于当前帧粒子加权社会力总和的群体异常事件检测方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施采用的视频序列来自明尼苏达大学中的人群异常事件序列。视频中包含室内及室外等3种场景,每段视频中人群一开始都是正常行走，经过一段时间后开始四面八方奔跑。本文中将人群奔跑事件定义为需要进行检测的群体异常行为，视频中只要有出现奔跑事件就定义为异常帧。

图1为本发明基于当前帧粒子加权社会力总和的群体异常事件检测方法流程图，如图1所示，本发明提供的基于当前帧粒子加权社会力总和的群体异常事件检测方法包括以下步骤：

步骤101：将彩色视频帧图片转化为灰度帧图片，将群体中的行人考虑成质量相等的运动的粒子，在灰度帧图片上放置一系列粒子，并对每个粒子进行标记；

具体地，首先彩色视频帧图片转化为灰度帧图片，然后将群体中的行人考虑成质量相等的运动的粒子，通过网格状采样标记将一系列粒子均匀平铺在图像帧上，然后在视频图像中平铺光流粒子，即每隔m个像素放置一个粒子p_i，其中：m＝5～10，i∈(1，N′)，N′为总粒子数。

所述的粒子是指：视频图片范围内感兴趣的像素点，即需要跟踪的像素点。放置粒子就是对视频图片中感兴趣的像素点进行标记。

步骤102:使用光流法对视频序列中的光流粒子进行跟踪，由两帧间的粒子位移计算出粒子的速度场；

具体地，使用光流法对视频序列中粒子p_i进行跟踪，由两帧间的粒子位移计算出粒子的速度场V(x_i，y_i)，其中：(x_i，y_i)表示第i个粒子的横纵坐标，i∈(1，N′)。

所述的粒子速度场的计算为：对于任意粒子pi，由光流法可得粒子在t时刻像素点位置为(x_t，y_t),在t+1时刻像素的位置为(x_t+1，y_t+1),,令V_x＝x_t+1-x_t，V_y＝y_t+1-y_t。V_x，V_y分别为速度场V(x_i，y_i)的横纵坐标分量。

步骤103：根据所述速度场计算改进的加权社会力模型中，每个粒子处受到的交互作用力；

具体地，根据改进的加权社会力模型计算每个粒子处的受到的交互作用力的大小F_int(x_i，y_i)，该模型假设监控场景中的行人会受到两种虚拟作用力：来自自身的驱动力和来自外部环境的交互作用力。其中，自驱动力F_d是指行人施加给自身，迫使其朝期望的运动方向运动的作用力。来自外部环境的交互作用力F_int是指行人移动时来自其他行人的交互作用力及外界环境(如：障碍物等)间的作用力的合力。改进的加权社会力模型是：

$F_{\mathrm{int}}=m_i\{\frac{{\mathrm{dV}}_i}{\mathrm{dt}}-\frac{1}{\mathrm{\&tau;}}(<V_i^{\mathrm{avg}}>-V_i)\}---\left(1\right)$

其中，τ是松弛时间系数，粒子i的质量为m_i＝1，粒子当前的实际速度V_i定义为粒子连续3帧的光流速度均值。期望速度为K表示在P_i移动时近邻的总个数，V_j表示粒子P_j在位置(x_j,y_j)上实际速度，f_ij表示粒子P_j对粒子P_i的影响程度，其中涉及到粒子P_i和粒子P_j间能达到的最近距离和运动速度方向视角信息。如下所示：

$f_{\mathrm{ij}}=w_{\mathrm{ij}}^c{w}_{\mathrm{ij}}^{\mathrm{\&phi;}}\exp (-\frac{d_{\mathrm{ij}}^2\left(t\right)}{2{\mathrm{\&sigma;}}_d^2})---\left(2\right)$

$d_{\mathrm{ij}}^2=\arg \min \left({\left|\right|c_i+t{V}_i-(x_j+t{V}_j)\left|\right|}^2\right)---\left(3\right)$

$w_{\mathrm{ij}}^c=\left\{\begin{array}{cc}1& d_{\mathrm{ij}}^2<d_c\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

$w_{\mathrm{ij}}^{\mathrm{\&phi;}}=\left\{\begin{array}{cc}1& {\mathrm{\&phi;}}_{\mathrm{ij}}\&le;{\mathrm{\&phi;}}_{\mathrm{ivwe}}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

将式(3)、(4)、(5)代入(2)中，计算得到f_ij，然后再将(2)代入(1)，即可计算出每个粒子处受到的交互作用力F_int。其中，表示粒子P_i和P_j分别以当前速度不变进行运动所能达到的最小距离。在本实施实例中P_j的影响半径σ_d＝30,最小距离d_c＝30,视觉角度φ_view＝120。如果粒子间距离的值越小，那么就表明P_j越容易引起P_i的主意。如果的值越大，那么就表明P_j越不容易引起P_i的主意。因此对设定阀值d_c，当表示P_i会对P_j产生影响。φ_ij表示P_i当前速度方向和指向相邻点P_j方向的夹角，正如行人只能看见前方的东西。因此对φ_ij设定阀值φ_view，当φ_ij＜φ_view时，表示P_i在P_j的视野中，即P_i会对P_j产生影响，而当φ_ij＞φ_view时，表示P_i不会对P_j产生影响。

步骤104：对所述每个粒子处受到的交互作用力设定阀值以去除噪声，将去除噪声后的所述交互作用力定义当前帧粒子的加权社会力总和；

具体地，对每个粒子受到的交互作用力设定阀值，用于去除部分噪声点。在本实施实例中阀值F_int＝0.003。

步骤105：对所述当前帧粒子的加权社会力总和设定阀值，若当前帧粒子加权社会力总和大于某一阀值并持续一段时间，则当前帧判断为异常，否则为正常。

具体地，在去除噪声点后，定义当前帧粒子的加权社会力总和为：其中，K表示当前帧去除噪音点后粒子的总数，M*N表示视频帧的分辨率。表示提取粒子的数目规模，可以大致体现出当前图像中激烈运动前景所占的比例。对当前帧粒子加权社会力总和设定阀值，若当前帧粒子加权社会力总和大于一定阀值并持续一段时间则当前帧判断为异常。由于各个视频存在差异性，如拍摄距离及角度不同会使检测时会存在较大的差异。因此，视频帧粒子的加权社会力总和需要根据实际的场景进行调整。在本实施实例中，阀值设定为视频前五帧整体加权社会力的均值。

本发明一方面采用光流算法对采样的粒子进行跟踪，对粒子受到的交互力设定阀值可以有效去除噪音粒子；另一方面，通过考虑行人间能达到的最近距离和运动速度方向视角对行人期望速度产生的影响，对模型中的行人期望速度进行加权改进，可以更加有效的应用于场景中人群建模；再一方面，采用去噪后的粒子数目除以采样粒子的总数目对场景中运动人群占图片的比例进行估计，可以方便简单估计出场景中的人群规模，最后，将当前帧的整体加权社会力简单地定义为所有粒子的加权社会力之乘以去噪粒子数的比例。对当前帧的整体加权社会力设定阀值，若当前帧粒子加权社会力总和大于一定阀值并持续一段时间则判断为异常。该方法简单实用，计算量少。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,其特征在于,包括以下几个步骤：

步骤1：将彩色视频帧图片转化为灰度帧图片，将群体中的行人考虑成质量相等的运动的粒子，在灰度帧图片上放置一系列粒子，并对每个粒子进行标记；

步骤2:使用光流法对视频序列中的光流粒子进行跟踪，由两帧间的粒子位移计算出粒子的速度场；

步骤3：根据所述速度场计算改进的加权社会力模型中，每个粒子处受到的交互作用力；

步骤4：对所述每个粒子处受到的交互作用力设定阀值以去除噪声，将去除噪声后的所述交互作用力定义当前帧粒子的加权社会力总和；

步骤5：对所述当前帧粒子的加权社会力总和设定阀值，若当前帧粒子加权社会力总和大于某一阀值并持续一段时间，则当前帧判断为异常，否则为正常。

2.根据权利要求1所述的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,其特征在于,

步骤1中，通过网格状采样标记将一系列光流粒子均匀平铺在灰度帧图片上，然后在视频图像中平铺光流粒子，即每隔m个像素放置一个粒子p_i，m＝5～10，i∈(1，N′)，N′为总粒子数；其中，放置粒子的规则为：对视频图片中感兴趣的像素点进行标记。

3.根据权利要求2所述的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,其特征在于：

步骤3中，所述改进的加权社会力模型中，每个粒子处受到的交互作用力为：

$F_{\mathrm{int}}=m_i\{\frac{d{V}_i}{\mathrm{dt}}-\frac{1}{\mathrm{\&tau;}}(<V_i^{\mathrm{avg}}>-V_i)\}---\left(1\right)$

其中，τ是松弛时间系数，粒子i的质量为m_i＝1，粒子当前的实际速度V_i定义为粒子连续3帧的速度场均值；期望速度为K表示在P_i移动时近邻的总个数，V_j表示粒子P_j在位置(x_j,y_j)上实际速度；

其中，

$f_{\mathrm{ij}}=w_{\mathrm{ij}}^c{w}_{\mathrm{ij}}^{\mathrm{\&phi;}}\exp (-\frac{d_{\mathrm{ij}}^2\left(t\right)}{2{\mathrm{\&sigma;}}_d^2})---\left(2\right)$

f_ij表示粒子P_j对粒子P_i的影响程度；

$d_{\mathrm{ij}}^2=\arg \min \left({\left|\right|x_i+t{V}_i-(x_j+t{V}_j)\left|\right|}^2\right)---\left(3\right)$

$w_{\mathrm{ij}}^c=\left\{\begin{array}{cc}1& d_{\mathrm{ij}}^2<d_c\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

$w_{\mathrm{ij}}^{\mathrm{\&phi;}}=\left\{\begin{array}{cc}1& {\mathrm{\&phi;}}_{\mathrm{ij}}\&le;{\mathrm{\&phi;}}_{\mathrm{view}}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

其中，表示粒子P_i和P_j分别以当前速度不变进行运动所能达到的最小距离，对设定阀值d_c，当表示P_i会对P_j产生影响；

φ_ij表示P_i当前速度方向和指向相邻点P_j方向的夹角，对φ_ij设定阀值φ_view，当φ_ij＜φ_view时，表示P_i在P_j的视野中，即P_i会对P_j产生影响；当φ_ij＞φ_view时，表示P_i不会对P_j产生影响。

4.根据权利要求3所述的一种基于当前帧粒子加权社会力总和的群体异常事件检测方法,其特征在于：

步骤4中，所述当前帧粒子的加权社会力总和F_t为：

$F_t=\frac{K}{M*N}*\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{F}_{\mathrm{int}}---\left(6\right)$

其中，K表示当前帧去除噪音点后粒子的总数，M*N表示视频帧的分辨率，表示提取粒子的数目规模。