CN103258193A - 一种基于kod能量特征的群体异常行为识别方法 - Google Patents

Abstract

本发明公开了一种基于KOD能量特征的群体异常行为识别方法，该方法首先对运动目标进行检测，获得运动目标区域；然后提取群体行为KOD能量特征，并进行归一化；最后通过训练隐马尔可夫模型实现群体异常行为识别。实验结果表明，使用KOD能量特征能够有效地检测出群体异常行为并识别出其类型，能够达到92%的准确率。

Description

一种基于KOD能量特征的群体异常行为识别方法

技术领域

本发明涉及的是一种基于KOD能量特征的群体异常行为识别方法。

背景技术

随着社会经济的发展，城市中的人口密度越来越大，由此引起的诸如群体斗殴、非法聚集等群体异常行为时有发生，对城市的治安造成很大的威胁。因此，群体异常行为的检测识别成为视频监控中一个很有研究价值的课题。然而，监控场景的多样性，人群密度的不同以及群体间的相互遮挡引起的行为特征的提取困难及描述性弱等，导致群体异常行为的检测识别率较低。

目前，国内外学者已经在群体异常行为检测方面取得了一定成果。其中，Andrade等人通过提取光流特征，构建隐马尔可夫模型（Hidden Markov Model,HMM）实现群体异常检测，但由于光流对群体行为的描述性弱，使得检测率比较低。Wang等人通过采用改进的自适应大小时空体特征对群体行为进行描述，却存在计算量巨大的缺点。另外，Xiong等人通过定义群体行为能量模型实现群体异常检测。Mehran等人提出在图像中建立粒子，利用社会力模型描述粒子与周围空间的相互作用力，采用力的强度来描述视频图像中行人行为，然后构建局部时空立方体并建立Bag-of-words模型，能够检测出群体运动剧烈的异常行为。Kratz等人使用基于梯度的时空模型描述场景运动信息，并用HMM来捕获时空模型之间的关系，实现群体的局部异常行为检测。Xu等人使用LBP-TOP算法提取群体行为特征，然后使用隐含狄利克雷分配（Latent DirichletAllocation,LDA）算法对纹理特征进行训练，构建得到LDA模型，最后检测群体局部异常行为。

然而，这些算法主要采用光流、局部时空或纹理特征描述群体行为，用来检测群体行为局部异常，缺乏对群体行为的全局特征描述，无法从整体上表征群体行为的运动状态，且少有针对群体异常行为的行为类型识别研究。

发明内容

针对这些问题，本发明在提取的传统视觉特征基础上，提出了一种基于KOD能量特征的群体异常行为识别算法，结合统计规律分别定义并提取群体动能、方向势能和距离势能三种能量，构成KOD能量特征，生成相应的行为模式，最后通过构建不同异常行为的隐马尔可夫模型进行分类识别。该算法能够检测并识别多种群体异常行为，且具有较高的识别率。

本发明所要解决的技术问题是针对现有技术的不足提供一种基于KOD能量特征的群体异常行为识别方法。

本发明的技术方案如下：

一种基于KOD能量特征的群体异常行为识别方法，包括以下步骤：A1、运动目标检测；

A2、KOD能量特征提取；

A21基本特征提取

采用基于灰度的Harris角点检测方法提取角点。通过计算图像像素点的梯度及曲率来检测目标边缘的角点，并用角点代表群体中的个体。然后采用基于金字塔模型的Lucas-Kanade光流计算法通过特征匹配求得角点处的光流，得到群体行为的基本特征。

A22能量特征提取

分别定义群体动能、方向势能和距离势能三种群体行为能量，分别描述群体的运动激烈程度、群体的主流运动方向、群体中个体的位置分布以及群体随时间的相对位置变化情况，包含丰富的特征信息对群体全局运动状态进行表征：

1）群体动能

使用式（1）计算所有代表个体的特征角点的运动能量之和，即群体动能E_k(n)：

$E_k\left(n\right)=\frac{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}{m}_i{\left|v_i\right|}^2}{I}---\left(1\right)$

其中，m_i表示第i个角点的质量权重值，群体行为发生时，假设群体中的个体在群体行为中所占的权重相同，因此，质量权重值m_i取相同常量值；I表示第n帧中角点的个数；v_i代表了第i个角点的光流矢量(v_ix,v_iy)，|v_i|表示光流失量的幅值，计算方法如式（2）所示：

$\left|v_i\right|=\sqrt{{v_{\mathrm{ix}}}^2+{v_{\mathrm{iy}}}^2}---\left(2\right)$

2）方向势能

群体行为分析中假设每一个角点代表群体中的一个个体，因此，定义c_i和c_j角点运动之间的差异性S_ij为运动方向差异性及运动速度大小差异性的加权和，如式（3）所示；

群体的方向势能即为所有个体与个体之间的方向势能总和，计算各个角点间差异性的总和，归一化后得到第n帧中群体的方向能量E_o(n)，如式（4）所示：

$S_{\mathrm{ij}}=\mathrm{\α}\left[\arccos \left(\frac{v_i{v}_j}{\left|v_i\right|\left|v_j\right|}\right)\right]+\mathrm{\β}\left|\right|v_i|-|v_j\left|\right|---\left(3\right)$

$E_o\left(n\right)=\mathrm{\γ}\frac{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{I}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}}{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}(i-1)}---\left(4\right)$

其中，v_i和v_j分别表示第i和j个角点的光流矢量；α与β分别代表群体运动方向及运动速度大小所占的权重，一般取经验值且满足α>β，另外α和β的取值需要使得方向及大小两种差异性接近相同数量级；γ为归一化常量；

3）距离势能

通过计算角点与中心的欧氏距离代替个体之间的距离，并由式（5）计算得到归一化后的群体的总距离势能E_d(n)：

其中，

是修正因子，取常量；

A23行为模式提取

通过计算角点光流特征，计算群体动能、方向势能和距离势能三种行为能量并生成高层KOD能量特征后，提取群体异常行为模式；首先通过提取正常和异常行为中能量特征，针对不同场景不同视角下的视频序列统计得到群体正常行为的动能阈值

、方向势能阈值

，分别表示正常行走与奔跑的动能分界线和群体正常与异常行为的方向散度分界线；

当群体动能大于一定的阈值时，定义其为动能异常，即表示群体运动较剧烈，因此群体异常行为序列中一帧的特征向量P_t中元素p₁ ^t由式（6）计算；

${p_1}^t=\left\{\begin{array}{c}1,E_k>{\mathrm{\&theta;}}_{E_k}\\ 0,E_k<{\mathrm{\&theta;}}_{E_k}\end{array}\right.---\left(6\right)$

群体方向势能越大代表群体中个体的运动方向越发散，群体运动方向越不统一，特征向量中元素p₂ ^t由式（7）计算；

${p_2}^t=\left\{\begin{array}{c}1,E_o>{\mathrm{\&theta;}}_{E_o}\\ 0,E_o<{\mathrm{\&theta;}}_{E_o}\end{array}\right.---\left(7\right)$

当群体距离势能随着视频序列显示出递增趋势，表示群体正在扩散，反之，表明群体正在聚集；考虑当前帧与前一帧的距离势能变化趋势，计算特征向量中元素p₃ ^t，如式（8）所示；

${p_3}^t=\left\{\begin{array}{c}1,E_d(t-1)<E_d\left(t\right)\\ 0,E_d(t-1)>E_d\left(t\right)\end{array}\right.---\left(8\right)$

然后分别将每一帧的能量特征元素连接起来共同生成特征向量P_t=(p₁ ^t,p₂ ^t,p₃ ^t),将一类异常行为的多帧图像序列特征向量联合起来生成行为模式P=(K,P_t-1,P_t,P_t+1,K)；

A3分类识别

提取能量特征构造特征向量并生成行为模式后，通过构建隐马尔可夫模型对未知行为进行分类识别；训练HMM即优化模型参数λ={A,B,Π}，使得观测序列产生的概率P(O|λ_i)最大化；在为群体异常行为构建HMM时，首先定义模型的隐状态，根据群体异常行为典型行为模式P定义相应行为的隐状态集合，确定状态集合Q和观测值集合V后，根据经验初始化初始状态矩阵Π。

然后，分别定义前向变量（9）、后向变量（10），中间变量（11）（12）式用于模型参数估计，

α_t(i)=P(O₁,O₂,K,O_t,s_t=q_i|λ)          （9）

β_t(i)=P(O_t+1,K,O_T|s_t=q_i,λ)          （10）

γ_t(i)=P(s_t=q_i|O₁,K,O_T,λ)          （11）

ξ_t(i,j)=P(s_t=q_i,s_t+1=q_j|O₁,K,O_T,λ)          （12）

最后，使用Baum-Welch算法对模型参数进行估计，如式（13）～（15）所示；

${\stackrel{\&OverBar;}{a}}_{\mathrm{ij}}=\frac{\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_t(i,j)}{\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_t\left(i\right)}---\left(13\right)$

${\stackrel{\&OverBar;}{b}}_i\left(k\right)=\frac{{\mathrm{\&Sigma;}}_{t\&Element;\{t{|O}_t=v_k\}}{\mathrm{\&gamma;}}_t\left(i\right)}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_t\left(i\right)}---\left(14\right)$

${\stackrel{\&OverBar;}{\mathrm{\&pi;}}}_i={\mathrm{\&gamma;}}_1\left(i\right)---\left(15\right)$

优化模型参数后，得到群体异常行为最佳模型；

为识别未知类型观测序列所属行为类型，我们首先为每一类异常行为构建并训练一个HMMλ_i={A_i,B_i,Π_i}，在识别阶段，选择观察序列最匹配的模型即该行为所属分类，用式（16）实现。

$c^{*}=\arg \underset{i}{\max }\left(P\left({\mathrm{\&lambda;}}_i\right|O)\right)---\left(16\right)$

另外，当给定观测序列O和模型参数λ_i时，根据贝叶斯准则，即可由前向算法将该分类问题转化为计算P(O|λ_i)，产生该观测序列的概率最大的模型，即所属异常行为类型。

所述的群体异常行为识别方法，所述步骤A1具体包括以下步骤：

1）将视频图像转换为灰度图像；

2）利用当前视频帧灰度图像减去上一帧得到帧间差图像；

3）采用中值滤波滤除到图像中的噪声，然后对滤波后图像进行二值化；

4）采用形态学原理对二值图像进行膨胀，得到连通区域，然后得到运动目标区域。

本发明针对群体场景监控下的突发性群体异常行为检测识别问题，提出了基于KOD能量特征的群体异常行为识别算法。通过定义并提取群体动能、方向势能和距离势能三种能量构成KOD能量特征对群体行为进行表征，最后通过使用HMM对不同类型的群体异常行为视频序列进行训练及识别，能够有效的检测识别群体异常行为。实验结果表明，使用KOD能量特征能够有效地检测出群体异常行为并识别出其类型，能够达到92%的准确率。

附图说明

图1为基于KOD能量特征的群体异常行为识别方法流程；

图2为PETS数据集中突散行为的KOD能量曲线；（a）正常行为；（b）开始突散；（c）动能曲线；（d）方向势能曲线；（e）距离势能曲线；（f）突散行为；

图3为UMN数据集中突然奔跑行为的KOD能量曲线；(a)正常行为（b）开始奔跑；(c)动能曲线；(d)方向势能曲线；(e)距离势能曲线；(f)突然奔跑行为。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

本发明群体异常行为识别的算法流程如图1所示。

1、运动目标检测。

1）将视频图像转换为灰度图像。

2）利用当前视频帧灰度图像减去上一帧得到帧间差图像。

3）采用中值滤波滤除到图像中的噪声，然后对滤波后图像进行二值化。

4）采用形态学原理对二值图像进行膨胀，得到连通区域，然后得到运动目标区域。

2、KOD能量特征提取

2.1基本特征提取

提取基本特征前,需要对视频序列进行运动目标检测，获得群体运动目标所在区域。群体运动目标区域的获取是为了通过优化图像中角点的提取，减少角点光流的计算量，从而更好地描述群体及群体行为。因此，无需精确提取目标区域而只提取粗略的运动区域，并将其作为掩膜进行特征角点的提取。

本发明采用基于灰度的Harris角点检测方法提取角点。通过计算图像像素点的梯度及曲率来检测目标边缘的角点，并用角点代表群体中的个体。然后采用基于金字塔模型的Lucas-Kanade光流计算法通过特征匹配求得角点处的光流，得到群体行为的基本特征。

2.2能量特征提取

由视觉的直观性得知，群体由多个个体组成，能够描述群体行为及动态的基本特征包括：群体中个体的总数（即群体规模）、个体的运动速度大小及方向、个体在群体中所处位置（即群体中个体的分布）及群体的整体运动速度等。然而，基本光流特征只包含代表群体中个体的特征角点的运动速度即运动方向和运动速度大小信息，只能表征群体中个体的运动状态，却无法描述群体的运动趋势和运动状态，以及群体的分布状态等，因此无法直接从全局上识别群体异常行为。

考虑到光流特征对群体行为的描述缺少重要特征信息，本发明提出包含群体中个体运动信息、群体中个体位置分布及相对位置变化、群体主流运动方向等信息描述的KOD能量特征。基于物理学定义，物体由于运动而具有的能量叫动能；由于各物体间存在相互作用而具有的、由各物体间相对位置决定的能量叫势能；由此，本发明算法分别定义群体动能、方向势能和距离势能三种群体行为能量，分别描述群体的运动激烈程度、群体的主流运动方向、群体中个体的位置分布以及群体随时间的相对位置变化情况，包含丰富的特征信息对群体全局运动状态进行表征。

1）群体动能

群体动能代表群体整体的运动激烈程度，将群体视为个体的集合，由提取的特征角点代表其中个体，因此，计算群体动能即所有个体的运动能量之和等同于计算全部角点的运动能量之和。遵循物理学中对运动物体的动能定义，使用式（1）计算所有代表个体的特征角点的运动能量之和，即群体动能E_k(n)：

$E_k\left(n\right)=\frac{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{m}_i{\left|v_i\right|}^2}{I}---\left(1\right)$

其中，m_i表示第i个角点的质量权重值，群体行为发生时，假设群体中的个体在群体行为中所占的权重相同，因此，质量权重值m_i取相同常量值。I表示第n帧中角点的个数。v_i代表了第i个角点的光流矢量(v_ix,v_iy)，|vi|表示光流失量的幅值，计算方法如式（2）所示：

$\left|v_i\right|=\sqrt{{v_{\mathrm{ix}}}^2+{v_{\mathrm{iy}}}^2}---\left(2\right)$

2）方向势能

描述群体中个体相互作用的能量叫做势能。为描述群体相互作用引起的运动方向一致性，定义方向势能，表示运动的统一性。个体与个体间的方向势能表现为：若个体相互之间的运动方向差异较小，则说明运动方向一致或接近，反之，说明二者方向比较分散。因此，定义方向势能为群体中个体的运动方向差异性的总和，用于描述群体的运动方向及群体行为一致性。另外，在方向势能的计算中加入运动速度大小差异性能够更充分的描述群体运动程度一致性。群体行为分析中假设每一个角点代表群体中的一个个体，因此，定义c_i和c_j角点运动之间的差异性S_ij为运动方向差异性及运动速度大小差异性的加权和，如式（3）所示。群体的方向势能即为所有个体与个体之间的方向势能总和，计算各个角点间差异性的总和，归一化后得到第n帧中群体的方向能量E_o(n)，如式（4）所示：

$S_{\mathrm{ij}}=\mathrm{\&alpha;}\left[\arccos \left(\frac{v_i{v}_j}{\left|v_i\right|\left|v_j\right|}\right)\right]+\mathrm{\&beta;}\left|\right|v_i|-|v_j\left|\right|---\left(3\right)$

$E_o\left(n\right)=\mathrm{\&gamma;}\frac{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{I}{\mathrm{\&Sigma;}}}{S}_{\mathrm{ij}}}{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}(i-1)}---\left(4\right)$

其中，v_i和v_j分别表示第i和j个角点的光流矢量；α与β分别代表群体运动方向及运动速度大小所占的权重，一般取经验值且满足α>β，另外α和β的取值需要使得方向及大小两种差异性接近相同数量级。γ为归一化常量。

3）距离势能

群体行为特征中有一个重要描述指标是群体中个体位置分布。由于难以直接用点的分布描述位置分布，所以采用点与点之间的相对位置描述群体中个体的相对位置关系。因此，定义距离势能为个体之间的欧式距离，用以描述个体之间的远近。群体整体的距离势能，则能描述整个群体中个体的分布状态。若群体距离势能较小，说明群体中个体比较集中，群体较密集，反之说明群体比较分散。

计算群体中两两个体间的欧式距离计算量较大，且有不必要的重复计算。因此考虑通过计算各个角点的坐标的平均值近似为群体所在区域的中心，通过计算角点与中心的欧氏距离代替个体之间的距离，并由式（5）计算得到归一化后的群体的总距离势能E_d(n)：

其中，

是修正因子，取常量。

2.3行为模式提取

本发明通过计算角点光流特征，计算群体动能、方向势能和距离势能三种行为能量并生成高层KOD能量特征后，提取群体异常行为模式。首先通过提取正常和异常行为中能量特征，针对不同场景不同视角下的视频序列统计得到群体正常行为的动能阈值

、方向势能阈值

，分别表示正常行走与奔跑的动能分界线和群体正常与异常行为的方向散度分界线。

当群体动能大于一定的阈值时，定义其为动能异常，即表示群体运动较剧烈，因此群体异常行为序列中一帧的特征向量P_t中元素p₁ ^t由式（6）计算。

${p_1}^t=\left\{\begin{array}{c}1,E_k>{\mathrm{\&theta;}}_{E_k}\\ 0,E_k<{\mathrm{\&theta;}}_{E_k}\end{array}\right.---\left(6\right)$

群体方向势能越大代表群体中个体的运动方向越发散，群体运动方向越不统一，特征向量中元素p₂ ^t由式（7）计算。

${p_2}^t=\left\{\begin{array}{c}1,E_o>{\mathrm{\&theta;}}_{E_o}\\ 0,E_o<{\mathrm{\&theta;}}_{E_o}\end{array}\right.---\left(7\right)$

当群体距离势能随着视频序列显示出递增趋势，表示群体正在扩散，反之，表明群体正在聚集。考虑当前帧与前一帧的距离势能变化趋势，计算特征向量中元素p₃ ^t，如式（8）所示。

${p_3}^t=\left\{\begin{array}{c}1,E_d(t-1)<E_d\left(t\right)\\ 0,E_d(t-1)>E_d\left(t\right)\end{array}\right.---\left(8\right)$

然后分别将每一帧的能量特征元素连接起来共同生成特征向量P_t=(p₁ ^t,p₂ ^t,p₃ ^t),将一类异常行为的多帧图像序列特征向量联合起来生成行为模式P=(K,P_t-1,P_t,P_t+1,K)。

3分类识别算法

提取能量特征构造特征向量并生成行为模式后，本发明算法通过构建隐马尔可夫模型（Hidden Markov Model,HMM）对未知行为进行分类识别。首先定义HMM中涉及到的参数，并加以解释说明，如表1所示。

表1HMM参数列表

训练HMM即优化模型参数λ={A,B,Π}，使得观测序列产生的概率P(O|λ_i)最大化。在为群体异常行为构建HMM时，首先定义模型的隐状态，根据群体异常行为典型行为模式P定义相应行为的隐状态集合，确定状态集合Q和观测值集合V后，根据经验初始化初始状态矩阵Π。

然后，分别定义前向变量（9）、后向变量（10），中间变量（11）（12）式用于模型参数估计，

α_t(i)=P(O₁,O₂,K,O_t,s_t=q_i|λ)          （9）

β_t(i)=P(O_t+1,K,O_T|s_t=q_i,λ)          （10）

γ_t(i)=P(s_t=q_i|O₁,K,O_T,λ)          （11）

ξ_t(i,j)=P(s_t=q_i,s_t+1=q_j|O₁,K,O_T,λ)          （12）

最后，使用Baum-Welch算法对模型参数进行估计，如式（13）～（15）所示。

${\stackrel{\&OverBar;}{a}}_{\mathrm{ij}}=\frac{\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_t(i,j)}{\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_t\left(i\right)}---\left(13\right)$

${\stackrel{\&OverBar;}{b}}_i\left(k\right)=\frac{{\mathrm{\&Sigma;}}_{t\&Element;\{t{|O}_t=v_k\}}{\mathrm{\&gamma;}}_t\left(i\right)}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_t\left(i\right)}---\left(14\right)$

${\stackrel{\&OverBar;}{\mathrm{\&pi;}}}_i={\mathrm{\&gamma;}}_1\left(i\right)---\left(15\right)$

优化模型参数后，得到群体异常行为最佳模型。

为识别未知类型观测序列所属行为类型，我们首先为每一类异常行为构建并训练一个HMMλ_i={A_i,B_i,Π_i}，在识别阶段，选择观察序列最匹配的模型即该行为所属分类，用式（16）实现。

$c^{*}=\arg \underset{i}{\max }\left(P\left({\mathrm{\&lambda;}}_i\right|O)\right)---\left(16\right)$

另外，当给定观测序列O和模型参数λ_i时，根据贝叶斯准则，即可由前向算法将该分类问题转化为计算P(O|λ_i)，产生该观测序列的概率最大的模型（该观测序列行为所在模型），即所属异常行为类型。

4、实验结果与分析

本发明实验是在普通PC机（CPU为双核1.8GHz，2GB内存）上进行，通过VS2010和matlab2010开发平台编写代码并加载OpenCV函数库来实现本发明算法，并通过与传统的光流特征进行对比分析验证本发明提出算法的准确性。算法分别在公共数据集PETS和UMN数据集上进行测试。

PETS数据集是包含同一场景多种视角下的多种不同群体行为的数据集。本发明实验主要采用PETS中的群体行为数据，包括群体突聚、突散、突然奔跑等异常行为。本发明算法对PETS数据集中群体突散行为进行分析，识别结果如图2所示。

突散行为发生前，如图2（a）所示，群体比较集中，有少量运动，因此初期的动能比较小，接近于零，但是当突散行为发生时，如图2（b）所示，群体运动变化剧烈，以较高的速度散开，由图2（c）动能曲线可直观看出，群体约在第30帧处开始加速运动，其中，横线表示动能阈值，此处取值60，代表群体运动剧烈与否的分界线；图2（d）中横线代表方向势能的阈值，取值60，由方向曲线看出，群体方向势能一直大于阈值，表明个体的运动方向从始至终均比较发散，且稳定发散；图2（e）中距离势能曲线在一段时间内呈现较稳定上升趋势，表明群体中的个体相互距离越来越远。综合三种能量成KOD能量特征，生成相应行为模式，有效且准确地描述了群体突散行为，为群体突散行为类型的检测识别提供了保障，如图2（f）所示。

UMN数据集是一种标准的群体异常行为检测算法测试数据集，包含了草地、大厅、广场三种场景下的群体正常行为和异常行为。针对其中群体突然奔跑行为进行实验，实验结果如图3所示。

群体正常行为如图3（a）所示，群体中个体运动比较杂乱无章，运动速度一般，且群体中个体分布不会过于密集。因此初期的动能均小于动能阈值，但是当群体突然奔跑时，如图3（b）所示，群体运动突然发生剧烈变化，以较高的速度向统一的方向突然奔跑，由图3（c）动能曲线可看出，群体约在第40帧处开始加速运动，动能发生较大增长，且超过动能阈值，其中，动能阈值取值60；图3（d）中方向势能阈值取值60，由方向曲线看出，群体方向势能一直低于其阈值，表明个体的运动方向从始至终均比较统一，且在20帧后处于稳定状态，表明群体运动方向渐变统一；图3（e）中距离势能曲线在整个视频序列中呈现平稳趋势，表明群体中的个体相互距离比较稳定，符合群体分布比较稳定的特性。综合三种能量成KOD能量特征，生成突然奔跑的行为模式，描述群体突然奔跑行为，实现对其他突然奔跑行为的准确识别，如图3（f）所示。

本发明使用交叉验证中的留一法对PETS数据集和UMN数据集中三种群体异常行为进行训练及识别，得到本发明算法的群体异常行为识别率，如表2所示。

表2基于KOD能量特征的群体异常行为识别率

为验证本算法的准确性，将本发明算法与采用传统光流特征的算法进行对比。传统光流只包含群体中个体的运动方向及速度幅值，采用全部角点的光流信息构成群体行为特征向量描述群体行为，并对不同的异常行为训练构建HMM。由于光流信息主要描述局部状态，而缺乏对群体整体的运动状态描述，因此，在HMM中估计状态转移时不能准确地界定光流特征所处行为状态，并通过状态转移预测异常行为的发生。因此准确率不如KOD能量特征高，对比结果如表3所示。

表3KOD特征与传统光流特征的对比

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于KOD能量特征的群体异常行为识别方法，其特征在于，包括以下步骤：A1、运动目标检测；

A2、KOD能量特征提取；

A21基本特征提取

采用基于灰度的Harris角点检测方法提取角点。通过计算图像像素点的梯度及曲率来检测目标边缘的角点，并用角点代表群体中的个体。然后采用基于金字塔模型的Lucas-Kanade光流计算法通过特征匹配求得角点处的光流，得到群体行为的基本特征。

A22能量特征提取

分别定义群体动能、方向势能和距离势能三种群体行为能量，分别描述群体的运动激烈程度、群体的主流运动方向、群体中个体的位置分布以及群体随时间的相对位置变化情况，包含丰富的特征信息对群体全局运动状态进行表征：

1）群体动能

使用式（1）计算所有代表个体的特征角点的运动能量之和，即群体动能E_k(n)：

$E_k\left(n\right)=\frac{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{m}_i{\left|v_i\right|}^2}{I}---\left(1\right)$

其中，m_i表示第i个角点的质量权重值，群体行为发生时，假设群体中的个体在群体行为中所占的权重相同，因此，质量权重值m_i取相同常量值；I表示第n帧中角点的个数；v_i代表了第i个角点的光流矢量(v_ix,v_iy)，|v_i|表示光流失量的幅值，计算方法如式（2）所示：

$\left|v_i\right|=\sqrt{{v_{\mathrm{ix}}}^2+{v_{\mathrm{iy}}}^2}---\left(2\right)$

2）方向势能

群体行为分析中假设每一个角点代表群体中的一个个体，因此，定义c_i和c_j角点运动之间的差异性S_ij为运动方向差异性及运动速度大小差异性的加权和，如式（3）所示；群体的方向势能即为所有个体与个体之间的方向势能总和，计算各个角点间差异性的总和，归一化后得到第n帧中群体的方向能量E_o(n)，如式（4）所示：

$S_{\mathrm{ij}}=\mathrm{\&alpha;}\left[\arccos \left(\frac{v_i{v}_j}{\left|v_i\right|\left|v_j\right|}\right)\right]+\mathrm{\&beta;}\left|\right|v_i|-|v_j\left|\right|---\left(3\right)$

$E_o\left(n\right)=\mathrm{\&gamma;}\frac{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{I}{\mathrm{\&Sigma;}}}{S}_{\mathrm{ij}}}{\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}(i-1)}---\left(4\right)$

其中，v_i和v_j分别表示第i和j个角点的光流矢量；α与β分别代表群体运动方向及运动速度大小所占的权重，一般取经验值且满足α>β，另外α和β的取值需要使得方向及大小两种差异性接近相同数量级；γ为归一化常量；

3）距离势能

通过计算角点与中心的欧氏距离代替个体之间的距离，并由式（5）计算得到归一化后的群体的总距离势能E_d(n)：

其中，是修正因子，取常量；

A23行为模式提取

通过计算角点光流特征，计算群体动能、方向势能和距离势能三种行为能量并生成高层KOD能量特征后，提取群体异常行为模式；首先通过提取正常和异常行为中能量特征，针对不同场景不同视角下的视频序列统计得到群体正常行为的动能阈值

、方向势能阈值

，分别表示正常行走与奔跑的动能分界线和群体正常与异常行为的方向散度分界线；

当群体动能大于一定的阈值时，定义其为动能异常，即表示群体运动较剧烈，因此群体异常行为序列中一帧的特征向量P_t中元素p₁ ^t由式（6）计算；

${p_1}^t=\left\{\begin{array}{c}1,E_k>{\mathrm{\&theta;}}_{E_k}\\ 0,E_k<{\mathrm{\&theta;}}_{E_k}\end{array}\right.---\left(6\right)$

群体方向势能越大代表群体中个体的运动方向越发散，群体运动方向越不统一，特征向量中元素p₂ ^t由式（7）计算；

${p_2}^t=\left\{\begin{array}{c}1,E_o>{\mathrm{\&theta;}}_{E_o}\\ 0,E_o<{\mathrm{\&theta;}}_{E_o}\end{array}\right.---\left(7\right)$

当群体距离势能随着视频序列显示出递增趋势，表示群体正在扩散，反之，表明群体正在聚集；考虑当前帧与前一帧的距离势能变化趋势，计算特征向量中元素p₃ ^t，如式（8）所示；

${p_3}^t=\left\{\begin{array}{c}1,E_d(t-1)<E_d\left(t\right)\\ 0,E_d(t-1)>E_d\left(t\right)\end{array}\right.---\left(8\right)$

然后分别将每一帧的能量特征元素连接起来共同生成特征向量P_t=(p₁ ^t,p₂ ^t,p₃ ^t),将一类异常行为的多帧图像序列特征向量联合起来生成行为模式P=(K,P_t-1,P_t,P_t+1,K)；

A3分类识别

提取能量特征构造特征向量并生成行为模式后，通过构建隐马尔可夫模型对未知行为进行分类识别；训练HMM即优化模型参数λ={A,B,Π}，使得观测序列产生的概率P(O|λ_i)最大化；在为群体异常行为构建HMM时，首先定义模型的隐状态，根据群体异常行为典型行为模式P定义相应行为的隐状态集合，确定状态集合Q和观测值集合V后，根据经验初始化初始状态矩阵Π。

然后，分别定义前向变量（9）、后向变量（10），中间变量（11）（12）式用于模型参数估计，

α_t(i)=P(O₁,O₂,K,O_t,s_t=q_i|λ)             （9）

β_t(i)=P(O_t+1,K,O_T|s_t=q_i,λ)             （10）

γ_t(i)=P(s_t=q_i|O₁,K,O_T,λ)              （11）

ξ_t(i,j)=P(s_t=q_i,s_t+1=q_j|O₁,K,O_T,λ)        （12）

最后，使用Baum-Welch算法对模型参数进行估计，如式（13）～（15）所示；

${\stackrel{\&OverBar;}{a}}_{\mathrm{ij}}=\frac{\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&xi;}}_t(i,j)}{\underset{t=1}{\overset{T-1}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_t\left(i\right)}---\left(13\right)$

${\stackrel{\&OverBar;}{b}}_i\left(k\right)=\frac{{\mathrm{\&Sigma;}}_{t\&Element;\{t{|O}_t=v_k\}}{\mathrm{\&gamma;}}_t\left(i\right)}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_t\left(i\right)}---\left(14\right)$

${\stackrel{\&OverBar;}{\mathrm{\&pi;}}}_i={\mathrm{\&gamma;}}_1\left(i\right)---\left(15\right)$

优化模型参数后，得到群体异常行为最佳模型；

为识别未知类型观测序列所属行为类型，我们首先为每一类异常行为构建并训练一个HMMλ_i={A_i,B_i,Π_i}，在识别阶段，选择观察序列最匹配的模型即该行为所属分类，用式（16）实现。

$c^{*}=\arg \underset{i}{\max }\left(P\left({\mathrm{\&lambda;}}_i\right|O)\right)---\left(16\right)$

另外，当给定观测序列O和模型参数λ_i时，根据贝叶斯准则，即可由前向算法将该分类问题转化为计算P(O|λ_i)，产生该观测序列的概率最大的模型，即所属异常行为类型。

2.根据权利要求1所述的群体异常行为识别方法，其特征在于，所述步骤A1具体包括以下步骤：

1）将视频图像转换为灰度图像；

2）利用当前视频帧灰度图像减去上一帧得到帧间差图像；

3）采用中值滤波滤除到图像中的噪声，然后对滤波后图像进行二值化；

4）采用形态学原理对二值图像进行膨胀，得到连通区域，然后得到运动目标区域。

Images