CN102156880B - 基于改进的社会力模型的异常集群行为检测方法 - Google Patents

Abstract

一种视频图像处理技术领域的基于改进的社会力模型的异常集群行为检测方法，用于解决复杂高密集度场景中人群异常行为的检测与定位，考虑到行人速度对相互间作用力的影响，使其更好的描述行人间的相互作用力，即行人受到的社会力。用光流法跟踪均匀分布在前景像素中的粒子，得到行人的速度场，用改进的社会力模型，计算出行人受到的社会力。统计每个前景矩形块中行人的速度和受力，设定阈值，判断每个矩形块中行人行为不稳定性的级别，并视不稳定性高的矩形块为异常块，既能够检测异常行为又能通过矩形块对异常行为进行了准确的定位。

Description

基于改进的社会力模型的异常集群行为检测方法

技术领域

本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于改进的社会力模型的异常集群行为检测方法。

背景技术

随着世界人口的快速增长和社会安全意识的提高，越来越多的学者开始关注集群行为的研究。在视频监控领域中，计算机视觉研究人员对集群行为分析的方法可以归纳为三类：一类是传统的，基于对象的研究，也就是将群体看做是有个人组成的；另一类是采用整体布局的思想，将人群看做是一个统一的整体。在第一类研究方法中，由于其关注个体，实现过程一般需要对目标进行分割、检测，计算复杂度较高，而且目标的检测和轨迹跟踪往往受到高密集度和严重遮挡的影响，在实际场景复杂的情况下效果并不好。第二类研究方法主要从整体出发，不关注个人行为，对整体的人群布局，整体场景建模，以获得群体特征，实现过程较第一类方法更加简单，在高密集度和遮挡严重的实际场景中结果也更加准确；第三类方法出现在2008年，将以上两种方法做了有效的结合，既考虑个人行为，又考虑整个场景布局进行整体特征的提取，更有针对性的解决了密集人群中个人行为分析的问题，是今后集群分析领域的趋势。

经对现有技术文献的检索发现，Ramin Mehran等人在2009年《IEEE InternationalConference on Computer Vision and Pattern Recognition》(IEEE机器视觉和模式识别国际会议)上发表的“Abnormal crowd behavior detection using social force model”(用社会力模型检测异常集群行为)提出了用社会力模型描述集群行为的方法，该方法用光流法跟踪均匀分布在视频范围内的粒子，运用社会力模型间接计算社会力的方法将粒子的速度场转换为行人间的社会力，避免了行人目标的检测、分割和跟踪等复杂过程，因此计算量大大减小且更易实现。该模型是一种结合了社会心理学和物理力学描述人群中行人行为的模型。该模型本身表示的是因群体中的个体间相互作用力而表现出的群体行为特征，属于上述三种方法的第三类，因此是简洁而高效的，相比现有方法更适用于高密集度，严重遮挡的场景。另外，该方法采用k-means算法，对得到的社会力聚类得到码书，并用“Bag of Words”方法统计每段视频中码书中关键词出现的频率。最后用“Latent Dirichlet allocation”(隐Dirichlet分布)法对视频进行分类。由于该方法需要统计整个视频帧中的社会力分布，因此只能判断视频帧的异常与正常，不能对异常事件进行准确的定位，因此存在很大的局限性。另外，该方法直接表示行人受到的总的作用力和行人对自己的作用力，通过两者的差值间接计算行人间的相互作用力，也就是社会力，计算结果并不理想，因此需要进一步挖掘出能够更好的利用社会力模型表述行人受到的作用力的方法。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于改进的社会力模型的异常集群行为检测方法，用于解决复杂高密集度场景中人群异常行为的检测与定位，考虑到行人速度对相互间作用力的影响，使其更好的描述行人间的相互作用力，即行人受到的社会力。用光流法跟踪均匀分布在前景像素中的粒子，得到行人的速度场，用改进的社会力模型，计算出行人受到的社会力。统计每个前景矩形块中行人的速度和受力，设定阈值，判断每个矩形块中行人行为不稳定性的级别，并视不稳定性高的矩形块为异常块，既能够检测异常行为又能通过矩形块对异常行为进行了准确的定位。

本发明是通过以下技术方案实现的，本发明包括以下几个步骤：

第一步、从视频序列中得到背景图像，用背景减除法提取前景图像，然后进行分块及粒子提取并实时更新背景图像。

所述的背景减除法是指：提取视频序列的第一帧作为初始背景B₀(x，y)，通过k帧更新得到较准确的背景图像为B_k(x，y)，第k帧原始图像为I_k(x，y)读入，通过背景减除法得到前景图像F_k(x，y)＝I_k(x，y)-B_k(x，y)。

所述的背景更新是指：背景图像根据当前输入图像I_k(x，y)和前一帧背景图像B_k-1(x，y)的加权和不断更新，具体表示如下，其中α为背景更新速率：

B_k(x，y)＝(1-α)B_k-1+αI_k(x，y)

所述的分块及粒子提取包括以下步骤：

1.1)在视频图像大小为m×n的范围内每隔M个像素放置一个粒子p_i′，并将视频帧分割为固定大小为R_w×R_h的矩形块{b_l′}，其中：M＝5～10，i′∈(1，N′)，N′为总的粒子数，l′∈(1，Bn′)，Bn′为总的矩形块个数。

所述的放置是指：标记视频范围内感兴趣的像素点，即需要跟踪的像素点。

所述的粒子是指：视频范围内感兴趣的像素点，即需要跟踪的像素点p_i′＝p_i′(x_i′，y_i′)，x_i′，y_i′分别为该粒子所处的横纵坐标位置。

1.2)提取出包含前景像素的矩形块{b_l}和位于前景像素的粒子p_i，其中：，l∈(1，Bn)，Bn为包含前景像素的矩形块个数，且Bn＜Bn′，i∈(1，N)，N为位于前景像素的粒子，N＜N′。

所述的提取是指：舍弃位于背景图像像素范围内的矩形块和粒子，标记位于前景像素中的矩形块和粒子，即判断粒子p_i是否属于前景像素，若属于则认为p_i位于前景像素，对于矩形块b_l则判断其是否包含前景像素，若包含BP％以上前景像素则认为b_l包含前景像素，其中BP＝10。

所述的前景像素的判断基准为：第k帧内任一像素pixel(x_i，y_i)在前景图像I_k(x，y)氛围内，即判断pixel(x_i，y_i)∈I_k(x，y)是否成立，若成立则属于前景像素；反之，则不属于。

第二步、用光流法跟踪视频序列中位于前景像素的粒子p_i，由两帧间的粒子位移计算出粒子的速度场V(x_i，y_i)″，利用粒子位移约束条件排除噪声点和跟踪错误的影响得到V(x_i，y_i)′，再根据场景的不同对求得的速度场V(x_i，y_i)′归一化，得到实际V(x_i，y_i)，其中：(x_i，y_i)表示第i个粒子的横纵坐标，i∈(1，N′)。

所述的光流法是指：Lucas-Kanade光流算法，一种基于局部平滑性约束来求解的两帧差分的光流估计算法，是在相邻图像之间的时间间隔很小并且图像中灰度变化很小的假设下提出的，为减缓该假设条件带来的不利后果，采用了金字塔方法来降低图像的分辨率。

所述的速度场的具体计算公式为：对于任意粒子p_i由光流法可得其在前后两帧的不同位置，分别为(x_i，y_i)和(x_i′，y_i′)，其中x_i，y_i为粒子p_i在前一帧物理位置的横纵坐标，x_i′，y_i′为粒子p_i在后一帧物理位置的横纵坐标，V_x＝x_i′-x_i，V_y＝y_i′-y_i，V_x，V_y分别为速度场V(x_i，y_i)″的横纵坐标分量，且V(x_i，y_i)″＝(V_x，V_y)。

所述的粒子位移约束条件是指：根据对视频场景的先验知识，约束粒子位移的最小值和最大值，设定最小值为V_min，最大值为V_max，并记粒子实际位移为V(x_i，y_i)，当位移小于最小值则为噪声点；当位移大于最大值则为跟踪错误的点：

$\left\{\begin{array}{cc}V{(x_i,y_i)}^{\&prime;}=0,& V{(x_i,y_i)}^{\&prime;\&prime;}<V_{\min }\mathrm{orV}{(x_i,y_i)}^{\&prime;\&prime;}>V_{\max }\\ V{(x_i,y_i)}^{\&prime;}=V{(x_i,y_i)}^{\&prime;\&prime;},& V_{\min }<V{(x_i,y_i)}^{\&prime;\&prime;}<V_{\max }\end{array}\right..$

所述的归一化是指：由于行人运动速度随场景深度增大的带来的损失正比于行人身高随场景深度增大的带来的损失，因此：h＝(βy+1)h₀，其中：h₀为行人在视频中深度最大位置，即离摄像头最远身高，y为场景深度，h为行人在视频中不同场景深度观测到的身高，β值通过以下方式得到：选取同一视频场景中P个不同的行人，记录他们在不同场景深度y对应的身高h，用最小二乘法拟合曲线得到β的值，则有

实际速度 $V(x_i,y_i)=\frac{1}{\mathrm{\&beta;}{y}_i+1}V{(x_i,y_i)}^{\&prime;}.$

第三步、根据改进的社会力模型计算每个粒子处的受到的相互社会力的大小F(x_i，y_i)，分别统计每个矩形块b_l中V(x_i，y_i)和F(x_i，y_i)的均值

其中：i ∈b_l，l∈(1，Bn)。

所述的改进的社会力模型是指：

其中：

和

两项分别表示对

大小和方向的修正：

$a_i^{\&prime;}=\left|\right|v_j-v_i\left|\right|(\mathrm{\&omega;}+(1-\mathrm{\&omega;})\frac{1+\cos \left({\mathrm{\&theta;}}_{i,j}\right)}{2}),$ $n_{i,k}^{\&prime;}=\frac{(v_j-v_i)}{\left|\right|v_j-v_i\left|\right|},$

其中：θ_i，j＝arccos(-v_i，v_i-v_j)，表示行人i，j速度方向的差异，ω为各向异性的权重值，

表达式前面一项表示i，j速度大小差异对

的影响，后面一项表示i，j速度方向差异对

的影响，的完整形式具体表示如下：

其中：周围行人j对i的作用力为f_ij，b_i为常数；d_i，j＝‖x_i-x_j‖表示两个行人重心间的距离，x_i和x_j分别是行人i和j的重心位置；n_ij＝(x_i-x_j)/d_ij表示从行人j指向i的单位向量；

表示行人j在与i中心连线与行人i行走方向e_i的夹角，即行人j在i的视野范围内的位置，行人j越靠近行人i的视野中心，对行人i的影响越大，λ为各向异性的比重。

所述的社会力大小F(x_i，y_i)通过以下方式计算得到：

3.1)对位于前景像素的粒子p_i，得到其物理位置为(x_i，y_i)，速度为v_i＝V(x_i，y_i)＝(V_x，V_y)，V_x和V_y分别为x和y轴的速度分量，设定影响粒子p_i的范围为W×W的窗口，超出窗口范围的粒子视为对粒子p_i无影响，遍历所有在以p_i为中心，W×W窗口范围内的位于前景像素的粒子p_j；

3.2)计算每个粒子p_j和p_i间相互作用力

3.3)计算所有粒子p_j和p_i间相互作用力的总和

所述的均值通过以下方式得到：

I)统计矩形块b_l中受力不为零的粒子个数，n_l；

II)分别统计矩形块b_l内粒子平均速度

和平均受力

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{V}}_l=\frac{1}{n_l}\underset{i\&Element;b_l}{\mathrm{\&Sigma;}}V(x_i,y_i)\\ {\stackrel{\&OverBar;}{F}}_l=\frac{1}{n_l}\underset{i\&Element;b_l}{\mathrm{\&Sigma;}}F(x_i,y_i)\end{array}\right..$

第四步、对训练视频序列的BN个前景矩形块{b_l}，用K-means算法对聚类，类别个数为K，聚类结果为

将

分别由小到大排列以表示人群不稳定性由低到高，其中：l∈(1，BN)，k∈(1，K)。

所述的训练视频序列是指：所有视频序列的一个子集，即用所有视频序列中的一部分来得到异常行为检测所需的检测参数，如以下步骤五中的C个不同的人群不稳定度。

所述的K-means算法是指：基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

第五步、将K类聚类结果

用阈值T划分为C个不同的人群不稳定程度，测试视频序列的每个前景矩形块{b_t}的

与K类聚类结果进行匹配，将具有高度不稳定性的区域视为异常事件发生区域。

所述的匹配是指：找到测试序列中每个前景矩形块的平均速度与平均受力与第几类聚类中心之间欧氏距离最小，则说明该前景矩形块与该聚类中心匹配。

所述的阈值T为：用

两者的大小衡量人群的不稳定度，设定阈值T＝(T_v，T_f)，T_v表示前景矩形块中平均速度的阈值，

分别表示前景矩形块中平均受力的阈值。

所述的C个不同的人群不稳定性程度是指：C种不同的人群状态，其不稳定性由低到高依次指：行人行驶速度较慢，受到的社会力很小；行人行驶速度较慢，受到的社会力较大；行人行驶速度较快，受到的社会力较小；行人行驶速度较块，受到的社会力很大。这四种不同的人群状态反应了人群不稳定性程度大小，人群的不稳定性程度可以作为衡量人群是否异常状态的指标，人群不稳定性越大，人群越有可能处于异常状态。具体将不稳定性程度由低到高表示为C1级、C2级、C3级和C4级，若前景矩形块b_t的平均速度和平均受力

与第m个聚类结果

匹配，且当

同时成立，b_t不稳定程度为C1级；当同时成立，b_t不稳定程度为C2级；当

同时成立，b_t不稳定程度为C3级；当同时成立，b_t不稳定程度为C4级，如图5所示为本方法对集群行为4个级别不稳定性的检测示意图，不稳定性程度由低到高为C1级、C2级、C3级和C4级，分别用蓝色、绿色、黄色和红色表示。

所述的高度不稳定性的确切数值依据是：当b_t的不稳定程度大于C2级，即为C3，C4级时，视为具有高度不稳定度区域。

第六步、根据前景矩形块不稳定性程度的统计特性，判断关键帧是否为异常帧，即检测异常帧。

所述的关键帧是指：设定每经过F帧有一帧为关键帧。

所述的前景矩形块不稳定性程度的统计特性是指：关键帧前F帧内所有前景矩形块的不稳定程度大于C2级别的矩形块个数n_c在总的矩形块个数n中所占的比例

所述的判断关键帧是否为异常是指：设定阈值Th，当该关键帧的前景矩形块不稳定性程度的统计特性c＞Th时判断该帧为异常帧。

本发明的原理是，考虑到行人速度对行人间相互作用力的影响，采用改进的社会力模型。考虑影响行人i受到的社会力的四方面因素：行人i与周围行人j间的距离d_i，j，周围行人j的位置与行人i视野中心的夹角θ_i，j，行人i与j的速度大小的偏差‖v_j-v_i‖，及方向的偏差

综合考虑着四种因素，直接计算社会力，能够简洁准确描述行人受到的外界作用力。

与现有技术相比，本发明考虑到行人速度对行人间相互作用力的影响，改进了原有的社会力模型，能够更好的描述行人间的相互作用力，选取社会力与速度场作为衡量人群不稳定性的标准，能够有效检测异常的集群行为。基于前景矩形块的异常行为检测，可以准确定位异常事件发生的位置。本发明的检测率高达90％。

附图说明

图1是本发明利用改进的社会力模型进行异常行为检测工作流程图。

图2是本发明步骤一初始化粒子和提取前景矩形块的示意。

图3是本发明改进的社会力模型中个物理量的示意图。

图4是本发明计算得到的速度场和社会力场示意图。

图5是本发明对集群行为4个级别不稳定性的检测示意图。

图6是本发明对3个场景的异常帧检测示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例包括以下步骤：

第一步、从视频序列中得到背景图像，用背景减除法提取前景图像，然后进行分块及粒子提取并实时更新背景图像。

所述的背景减除法是指：提取视频序列的第一帧作为初始背景B₀(x，y)，通过k帧更新得到较准确的背景图像为B_k(x，y)，第k帧原始图像为I_k(x，y)读入，通过背景减除法得到前景图像F_k(x，y)＝I_k(x，y)-B_k(x，y)。

所述的背景更新是指：背景图像根据当前输入图像I_k(x，y)和前一帧背景图像B_k-1(x，y)的加权和不断更新，具体表示如下，其中α为背景更新速率：

B_k(x，y)＝(1-α)B_k-1+αI_k(x，y)

所述的分块及粒子提取包括以下步骤：

1.1)在视频图像大小为m×n的范围内每隔M个像素放置一个粒子p_i′，并将视频帧分割为固定大小为R_w×R_h的矩形块{b_l′}，其中：M＝5～10，i′∈(1，N′)，N′为总的粒子数，l′∈(1，Bn′)，Bn′为总的矩形块个数。

所述的放置是指：标记视频范围内感兴趣的像素点，即需要跟踪的像素点。

所述的粒子是指：视频范围内感兴趣的像素点，即需要跟踪的像素点p_i′＝p_i′(x_i′，y_i′)，x_i′，y_i′分别为该粒子所处的横纵坐标位置。

1.2)提取出包含前景像素的矩形块{b_l}和以及位于前景像素的粒子p_i，其中：，l∈(1，Bn)，Bn为包含前景像素的矩形块个数，且Bn＜Bn′，i∈(1，N)，N位于前景图像的粒子个数，N＜N′，R_w＝20，R_h＝30。

所述的提取是指：舍弃位于背景图像像素范围内的矩形块和粒子，标记位于前景像素中的矩形块和粒子，即判断粒子p_i是否属于前景像素，若属于则认为p_i位于前景像素，对于矩形块b_l则判断其是否包含前景像素，若包含BP％以上前景像素则认为b_l包含前景像素，其中BP＝10。

所述的前景像素的判断基准为：第k帧内任一像素pixel(x_i，y_i)在前景图像I_k(x，y)氛围内，即判断pixel(x_i，y_i)∈I_k(x，y)是否成立，若成立则属于前景像素；反之，则不属于。

该实施例视频序列大小为m＝320，n＝240，矩形块大小为R_w＝20，R_h＝30，放置粒子间隔M＝5，粒子总数为N′＝(m/M)×(n/M)＝3072，Bn′＝(m/R_w)×(n/R_h)＝128，背景更新速率α＝0.01。

第二步、用光流法跟踪视频序列中位于前景像素的粒子p_i，由两帧间的粒子位移计算出粒子的速度场V(x_i，y_i)″，利用粒子位移约束条件排除噪声点和跟踪错误的影响得到V(x_i，y_i)′，再根据场景的不同对求得的速度场V(x_i，y_i)′归一化，得到实际速度V(x_i，y_i)，其中：(x_i，y_i)表示第i个粒子的横纵坐标，i∈(1，N′)。

所述的光流法是指：Lucas-Kanade光流算法，一种基于局部平滑性约束来求解的两帧差分的光流估计算法，是在相邻图像之间的时间间隔很小并且图像中灰度变化很小的假设下提出的，为减缓该假设条件带来的不利后果，采用了金字塔方法来降低图像的分辨率。

所述的速度场的具体计算公式为：对于任意粒子p_i由光流法可得其在前后两帧的不同位置，分别为(x_i，y_i)和(x_i′，y_i′)，其中x_i，y_i为粒子p_i在前一帧物理位置的横纵坐标，x_i′，y_i′为粒子p_i在后一帧物理位置的横纵坐标，V_x＝x_i′-x_i，V_y＝y_i′-y_i，V_x，V_y分别为速度场V(x_i，y_i)″的横纵坐标分量V(x_i，y_i)″＝(V_x，V_y)。

所述的粒子位移约束条件是指：根据对视频场景的先验知识，约束粒子位移的最小值和最大值，设定最小值为V_min，最大值为V_max，并记粒子实际位移为V(x_i，y_i)，当位移小于最小值则为噪声点；当位移大于最大值则为跟踪错误的点：

$\left\{\begin{array}{cc}V{(x_i,y_i)}^{\&prime;}=0,& V{(x_i,y_i)}^{\&prime;\&prime;}<V_{\min }\mathrm{orV}{(x_i,y_i)}^{\&prime;\&prime;}>V_{\max }\\ V{(x_i,y_i)}^{\&prime;}=V{(x_i,y_i)}^{\&prime;\&prime;},& V_{\min }<V{(x_i,y_i)}^{\&prime;\&prime;}<V_{\max }\end{array}\right..$

所述的归一化是指：由于行人运动速度随场景深度增大的带来的损失正比于行人身高随场景深度增大的带来的损失，因此：h＝(βy+1)h₀，其中：h₀为行人在视频中深度最大位置，即离摄像头最远身高，y为场景深度，h为行人在视频中不同场景深度观测到的身高，β值通过以下方式得到：选取同一视频场景中P个不同的行人，记录他们在不同场景深度y对应的身高h，用最小二乘法拟合曲线得到β的值，则有

实际速度 $V(x_i,y_i)=\frac{1}{\mathrm{\&beta;}{y}_i+1}V{(x_i,y_i)}^{\&prime;}.$

该实施例中V_min＝0.01，V_max＝30，求得β＝0.0043。

第三步、根据改进的社会力模型计算每个粒子处的受到的相互社会力的大小F(x_i，y_i)，分别统计每个矩形块b_l中V(x_i，y_i)和F(x_i，y_i)的均值

其中：i ∈b_l，l∈(1，Bn)。

所述的改进的社会力模型是指：

其中：

和

两项分别表示对

大小和方向的修正：

$a_i^{\&prime;}=\left|\right|v_j-v_i\left|\right|(\mathrm{\&omega;}+(1-\mathrm{\&omega;})\frac{1+\cos \left({\mathrm{\&theta;}}_{i,j}\right)}{2}),$ $n_{i,k}^{\&prime;}=\frac{(v_j-v_i)}{\left|\right|v_j-v_i\left|\right|},$

其中：θ_i，j＝arccos(-v_i，v_i-v_j)，表示行人i，j速度方向的差异，ω为各向异性的权重值，

表达式前面一项表示i，j速度大小差异对

的影响，后面一项表示i，j速度方向差异对

的影响，

的完整形式具体表示如下：

其中：周围行人j对i的作用力为f_ij，b_i为常数；d_i，j＝‖x_i-x_j‖表示两个行人重心间的距离，x_i和x_j分别是行人i和j的重心位置；n_ij＝(x_i-x_j)/d_ij表示从行人j指向i的单位向量；

表示行人j在与i中心连线与行人i行走方向e_i的夹角，即行人j在i的视野范围内的位置，行人j越靠近行人i的视野中心，对行人i的影响越大，λ为各向异性的比重。

所述的社会力大小F(x_i，y_i)通过以下方式计算得到：

3.1)对位于前景像素的粒子p_i，得到其物理位置为(x_i，y_i)，速度为v_i＝V(x_i，y_i)＝(V_x，V_y)，V_x和V_y分别为x和y轴的速度分量，设定影响粒子p_i的范围为W×W的窗口，超出窗口范围的粒子视为对粒子p_i无影响，遍历所有在以p_i为中心，W×W窗口范围内的位于前景像素的粒子p_j；

3.2)计算每个粒子p_j和p_i间相互作用力

3.3)计算所有粒子p_j和p_i间相互作用力的总和

所述的均值

通过以下方式得到：

I)统计矩形块b_l中受力不为零的粒子个数n_l；

II)分别统计矩形块b_l内粒子平均速度

和平均受力

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{V}}_l=\frac{1}{n_l}\underset{i\&Element;b_l}{\mathrm{\&Sigma;}}V(x_i,y_i)\\ {\stackrel{\&OverBar;}{F}}_l=\frac{1}{n_l}\underset{i\&Element;b_l}{\mathrm{\&Sigma;}}F(x_i,y_i)\end{array}\right..$

该实施例中W＝100。

第四步、对训练视频序列的BN个前景矩形块{b_l}，用K-means算法对

聚类，类别个数为K，聚类结果为将

分别由小到大排列以表示人群不稳定性由低到高，其中：l∈(1，BN)，k∈(1，K)。

所述的训练视频序列是指：所有视频序列的一个子集，即用所有视频序列中的一部分来得到异常行为检测所需的检测参数，如以下步骤五中的C个不同的人群不稳定度。

所述的K-means算法是指：基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

本实施例中K＝20。

第五步、将K类聚类结果

用阈值T划分为C个不同的人群不稳定程度，测试视频序列的每个前景矩形块{b_t}的

与K类聚类结果进行匹配，将具有高度不稳定性的区域视为异常事件发生区域。

所述的匹配是指：找到测试序列中每个前景矩形块的平均速度与平均受力与第几类聚类中心之间欧氏距离最小，则说明该前景矩形块与该聚类中心匹配。

所述的阈值T为：用

两者的大小衡量人群的不稳定度，设定阈值T＝(T_v，T_f)，T_v表示前景矩形块中平均速度的阈值，

分别表示前景矩形块中平均受力的阈值。

所述的C个不同的人群不稳定性程度是指：C种不同的人群状态，其不稳定性由低到高依次指：行人行驶速度较慢，受到的社会力很小；行人行驶速度较慢，受到的社会力较大；行人行驶速度较快，受到的社会力较小；行人行驶速度较块，受到的社会力很大。这四种不同的人群状态反应了人群不稳定性程度大小，人群的不稳定性程度可以作为衡量人群是否异常状态的指标，人群不稳定性越大，人群越有可能处于异常状态。具体将不稳定性程度由低到高表示为C1级、C2级、C3级和C4级，若前景矩形块b_t的平均速度和平均受力

与第m个聚类结果

匹配，且当

同时成立，b_t不稳定程度为C1级；当同时成立，b_t不稳定程度为C2级；当

同时成立，b_t不稳定程度为C3级；当

同时成立，b_t不稳定程度为C4级，如图5所示为本方法对集群行为4个级别不稳定性的检测示意图，不稳定性程度由低到高为C1级、C2级、C3级和C4级，分别用蓝色、绿色、黄色和红色表示。

所述的高度不稳定性的确切数值依据是：当b_t的不稳定程度大于C2级，即为C3，C4级时，视为具有高度不稳定度区域。

本实施例中C＝4，T_v＝37， $T_f^1=29,$ $T_f^2=119.$

第六步、根据前景矩形块不稳定性程度的统计特性，判断关键帧是否为异常帧，即检测异常帧。

所述的关键帧是指：设定每经过F帧有一帧为关键帧。

所述的前景矩形块不稳定性程度的统计特性是指：关键帧前F帧内所有前景矩形块的不稳定程度大于C2级别的矩形块个数n_c在总的矩形块个数n中所占的比例

所述的判断关键帧是否为异常是指：设定阈值Th，当该关键帧的前景矩形块不稳定性程度的统计特性c＞Th时判断该帧为异常帧。

本实施例中F＝5，Th＝10％。

实施效果

依据上述步骤，对UMN Dataset(明尼苏达大学数据库)进行异常集群行为的检测。该数据库有11段包括正常集群行为和异常集群行为的视频，视频包括3种不同的室内外场景，分别为场景1，场景2，场景3。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel

Core^TM 2 Duo CPU E6600 2.40GHz，内存2GB。

本方法对三个场景的异常行为平均检测率为90％。相比现有技术，本方法的优势为不仅能够检测异常帧，还能够判断帧内各个区域的不稳定性程度，检测帧内异常区域并定位该区域。

Claims (10)

1.一种基于改进的社会力模型的异常集群行为检测方法，其特征在于，包括以下几个步骤：

第一步、从训练视频序列中得到背景图像，用背景减除法提取前景图像，然后进行分块及粒子提取并实时更新背景图像；

第二步、用光流法跟踪训练视频序列中位于前景像素的粒子p_i，由两帧间的粒子位移计算出粒子的速度场V(x_i，y_i)″，利用粒子位移约束条件排除噪声点和跟踪错误的影响得到V(x_i，y_i)′，再根据场景的不同对求得的速度场V(x_i，y_i)′归一化，得到实际速度V(x_i，y_i)，其中：(x_i，y_i)表示第i个粒子的横纵坐标，i∈(1，N′)N′为总的粒子数；

第三步、根据改进的社会力模型计算每个粒子处受到的相互社会力的大小F(x_i，y_i)，分别统计每个由第一步分得的前景矩形块b_l中V(x_i，y_i)和F(x_i，y_i)的均值其中：i∈b_l，下标l∈(1，Bn)，Bn为包含前景像素的前景矩形块个数；

第四步、对训练视频序列的Bn个前景矩形块{b_l}，用K-means算法对

聚类，类别个数为K，聚类结果为

将

分别由小到大排列以表示人群不稳定性由低到高，其中：下标l∈(1，Bn)，k∈(1，K)；

第五步、将K类聚类结果

用阈值T划分为C个不同的人群不稳定程度，训练视频序列的每个前景矩形块b_t的

与K类聚类结果进行匹配，将具有高度不稳定性的区域视为异常事件发生区域；

第六步、根据前景矩形块不稳定性程度的统计特性，判断关键帧是否为异常帧，即检测异常帧。

2.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的背景减除法是指：提取训练视频序列的第一帧作为初始背景B₀(x，y)，通过k帧更新得到较准确的背景图像为B_k(x，y)，读入第k帧原始图像I_k(x，y)，通过背景减除法得到前景图像F_k(x，y)＝I_k(x，y)-B_k(x，y)。

3.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的更新背景图像是指：背景图像根据当前第k帧原始图像I_k(x，y)和前一帧背景图像B_k-1(x，y)的加权和不断更新，具体表示如下，其中α为背景更新速率：B_k(x，y)＝(1-α)B_k-1+αI_k(x，y)

4.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的分块及粒子提取包括以下步骤：

1.1)在视频图像大小为m×n的范围内每隔M个像素放置一个粒子p_i′，并将视频帧分割为固定大小为R_w×R_h的前景矩形块{b_l′}，其中：M＝5～10，i′∈(1，N′)，N′为总的粒子数，l′∈(1，Bn′)，Bn′为总的前景矩形块个数；

1.2)提取出包含前景像素的前景矩形块{b_l}和以及位于前景像素的粒子p_i，其中：l∈(1，Bn)，Bn为包含前景像素的矩形块个数，且Bn＜Bn′，i∈(1，N)，N位于前景图像的粒子个数，N＜N′。

5.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的提取是指：舍弃位于背景图像像素范围内的前景矩形块和粒子，标记位于前景像素中的前景矩形块和粒子，即判断粒子p_i是否属于前景像素，若属于则认为p_i位于前景像素，对于前景矩形块b_l则判断其是否包含前景像素，若包含BP％以上前景像素则认为b_l包含前景像素，其中BP＝10；其中：前景像素的判断基准为：第k帧内任一像素pixel(x_i，y_i)在前景图像I_k(x，y)氛围内，即判断pixel(x_i，y_i)∈I_k(x，y)是否成立，若成立则属于前景像素；反之，则不属于。

6.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的速度场的具体计算公式为：对于任意粒子p_i由光流法可得其在前后两帧的不同位置，分别为(x_i，y_i)和(x_i′，y_i′)，其中x_i，y_i为粒子p_i在前一帧物理位置的横纵坐标，x_i′，y_i′为粒子p_i在后一帧物理位置的横纵坐标，V_x＝x_i′-x_i，V_y＝y_i′-y_i，V_x，V_y分别为速度场V(x_i，y_i)″的横纵坐标分量，且V(x_i，y_i)″＝(V_x，V_y)。

7.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的粒子位移约束条件是指：根据对视频场景的先验知识，约束粒子位移的最小值和最大值，设定最小值为V_min，最大值为V_max，并记粒子实际位移为V(x_i，y_i)，当位移小于最小值则为噪声点；当位移大于最大值则为跟踪错误的点：

$\left\{\begin{array}{cc}V(x_i,y_i)\&prime;=0,& V(x_i,y_i)\&prime;\&prime;<V_{\min }\mathrm{orV}(x_i,y_i)\&prime;\&prime;>V_{\max }\\ V(x_i,y_i)\&prime;=V(x_i,y_i)\&prime;\&prime;,& V_{\min }<V(x_i,y_i)\&prime;\&prime;<V_{\max }\end{array}\right.-.$

8.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的归一化是指：由于行人运动速度随场景深度的增大带来的损失正比于行人身高随场景深度增大的带来的损失，因此：h＝(βy+1)h₀，其中：h₀为行人在视频中深度最大位置，即离摄像头最远身高，y为场景深度，h为行人在视频中不同场景深度观测到的身高，β值通过以下方式得到：选取同一视频场景中P个不同的行人，记录他们在不同场景深度y对应的身高h，用最小二乘法拟合曲线得到β的值，则有 $\frac{V(x_i,y_i)}{V(x_i,y_i)\&prime;}=\frac{h_0}{h}=\frac{1}{\mathrm{\&beta;}{y}_i+1},$ 实际速度 $V(x_i,y_i)=\frac{1}{{\mathrm{\&beta;y}}_i+1}V(x_i,y_i)\&prime;$

9.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，所述的改进的社会力模型是指：

其中：a′_i和n′_i，j两项分别表示对

大小和方向的修正：

$a_i^{\&prime;}=\left|\right|v_j-v_i\left|\right|(\mathrm{\&omega;}+(1-\mathrm{\&omega;})\frac{1+\cos \left({\mathrm{\&theta;}}_{i,j}\right)}{2}),$ $n_{i,k}^{\&prime;}=\frac{(v_j-v_i)}{\left|\right|v_j-v_i\left|\right|},$

其中：θ_i，j＝arccos(-v_i，v_i-v_j)，表示行人i，j速度方向的差异，ω为各向异性的权重值，a′_i表达式前面一项表示i，j速度大小差异对

的影响，后面一项表示i，j速度方向差异对

的影响，

的完整形式具体表示如下：

其中：周围行人j对i的作用力为f_ij，b_i为常数；d_i，j＝||x_i-x_j||表示两个行人重心间的距离，x_i和x_j分别是行人i和j的重心位置；n_ij＝(x_i-x_j)/d_ij表示从行人j指向i的单位向量；

表示行人j与i中心连线与行人i行走方向e_i的夹角，即行人j在i的视野范围内的位置，行人j越靠近行人i的视野中心，对行人i的影响越大，λ为各向异性的比重。

10.根据权利要求1所述的基于改进的社会力模型的异常集群行为检测方法，其特征是，第三步中，所述的社会力大小F(x_i，y_i)通过以下方式计算得到：

3.1)对位于前景像素的粒子p_i，得到其物理位置为(x_i，y_i)，速度为v_i＝V(x_i，y_i)＝(V_x，V_y)，V_x和V_y分别为x和y轴的速度分量，设定影响粒子p_i的范围为W×W的窗口，超出窗口范围的粒子视为对粒子p_i无影响，遍历所有在以p_i为中心，W×W窗口范围内的位于前景像素的粒子p_j；

3.2)计算每个粒子p_j和p_i间相互作用力

3.3)计算所有粒子p_j和p_i间相互作用力的总和

$F(x_i,y_i)=F_i^{\mathrm{soc}}=\underset{j\&Element;\mathrm{win}(W\&times;W)}{\mathrm{\&Sigma;}}{f}_{i,j}^{\mathrm{soc}};$

所述的均值

通过以下方式得到：

I)统计前景矩形块bl中受力不为零的粒子个数n_l；

II)分别统计前景矩形块b_l内粒子平均速度

和平均受力 $\left\{\begin{array}{c}\stackrel{\&OverBar;}{V_l}=\frac{1}{n_l}\underset{i\&Element;b_l}{\mathrm{\&Sigma;}}V(x_i,y_i)\\ \stackrel{\&OverBar;}{F_l}=\frac{1}{n_l}\underset{i\&Element;b_l}{\mathrm{\&Sigma;}}F(x_i,y_i)\end{array}\right..$

Images