CN103488993A - 一种基于fast的人群异常行为识别方法 - Google Patents

Abstract

本发明属于属于计算机视觉领域，公开了一种基于FAST的人群异常行为识别方法，包括：将视频流图像转换为图片数据；对图像进行增强预处理；建立混合高斯背景模型；进行FAST角点检测；计算角点协方差矩阵，根据矩阵行列式的值I得到人群面积变化曲线S；将每一个I值及曲线S上与该I值对应的斜率值构成的特征向量输入支持向量机中，进行人群行为分析和模型训练得到人群行为预测值P；根据P值得到人群行为结果，并对人群的异常行为进行分类识别。本发明针对传统方法的不足，将人群角点特征作为一个整体的特征来研究不同人群情况，通过协方差矩阵的计算，建立人群行为模型，得到不同人群的行为情况。可用于安防监控、资源管理等领域。

Description

一种基于FAST的人群异常行为识别方法

技术领域

本发明属于计算机视觉领域，涉及一种基于FAST(features from accelerated segment test，加速分割检测特征)的人群异常行为识别方法。

背景技术

随着经济技术的飞速发展，旅游景点及火车站、地铁站等公共交通系统中常常出现人流高峰，高密度人群给交通安全带来了极大的隐患。因此，对人群进行监控，识别人群异常行为，并采取适当的安全措施以消除事故隐患显得尤为重要。

通常情况下，以人作为目标的异常行为分析包括两个方面：一是对目标个体或少量目标的异常行为分析；二是对人数较多的群体异常事件分析。

目前，人群的行为分析方法有基于整体特征的分析方法、基于个体特征的分析方法、光流法等。

Shah利用拉格朗日粒子动态系统对人流进行行为分析，是典型的基于整体特征的分析方法。利用整体特征分析方法对高密度人群的分割分析可以取得理想的效果，但实时性较差。Tom Drummond等人提出利用FAST角点特征对目标整体进行分析，FAST角点是一种启发式的、简单快速的角点探测算法即FAST角点检测，FAST算法检测速度快。可应用于实时视频处理。

Antonio等利用基于个体特征的分析方法，提出一种以角点为特征，结合角点之间的联合运动向量，对人群运动的行为速度进行分析。该方法的优点是对与低密度人群可以取得理想的效果，缺点是只能应用于人群速度的分析。

在光流法的研究中，Ihaddadene利用每帧图像的光流向量聚类程度来描述拥挤场景的位置重叠程度，对人群的行为进行分析，该方法在单一性方向的情况下应用效果较好。Andrade等人结合主成分分析、HMM、谱聚类等方法对图像光流向量进行分析，检测人群的异常行为。Utasi等人利用统计滤波器对密集光流向量场进行聚类，对人群的行为进行分析。光流法的缺点主要体现在计算速度相对于其它方法较慢，很多场合不能满足实时需求。

目前，用于监测系统的大多是单一视频传感器，图像信息往往会受到除复杂背景、各类噪声、光照等因素的影响外，还存在射影畸形、摄像机角度变换等因素带来的影响，对环境依赖性强，不能实现监测全天候、低错率等。因此，高密度人群动态监测系统监测实时性差；运动群体的分割是高密度人群研究的难点。

发明内容

针对现有技术存在的高密度人群难分割，受复杂背景、各类噪声、光照等影响问题，本发明提出了一种基于FAST的人群异常行为识别方法，根据人群运动的实时性和不同密度的准确性，利用角点特征的协方差矩阵快速进行人群行为识别。

为了实现上述目的，本发明采用以下技术方案。

一种基于FAST的人群异常行为识别方法，其特征在于包括以下步骤：

步骤一，将监控的视频流图像数据转换为图片数据。

步骤二，对图像进行增强预处理。

对图像进行直方图均衡化，借助直方图变换实现灰度映射，从而达到图像增强的目的。在角点检测中，进行直方图均衡化的目的是保证每个灰度级的概率密度相等。对那些对比度比较大的图像，先对其进行直方图均衡化，再进行特征点检测，使特征点分布更加均匀。对离散数字图像{z}，灰度为i的像素的出现概率为：

$p_x\left(i\right)=\frac{n_i}{n}$

式中，n_i表示灰度i出现的次数，0≤i≤L，L是图像中所有的灰度数，n是图像中所有的像素数，p_x(i)为灰度为i的像素的归一化直方图。

步骤三，建立混合高斯背景模型。

（1）建立背景像素序列

多高斯模型法对每个像素用K个高斯模型进行建模。步骤二处理后视频帧序列为：

式中，

为每一个单态高斯模型。

X_t帧中每个像素点的概率为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}\·G_i(X_t,{\stackrel{\→}{\mathrm{\μ}}}_{i,t},U_{i,t})$

式中，K是所采用混合多高斯模型的具体个数，K值越大，处理像素值波动的能力越强，但处理效率也相应降低，因此，K一般取3～5；ω_i,t是第i个高斯模型在t时刻的权重，

和U_i,t为第i个高斯模型在t时刻的均值和方差，G是高斯分布概率密度函数，其表达式为：

$G_i(X_t,{\stackrel{\→}{\mathrm{\μ}}}_{i,t},U_{i,t})=\frac{1}{\sqrt{2\mathrm{\π}}{\left|U_{i,t}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X_i-{\stackrel{\→}{\mathrm{\μ}}}_{i,t})}^T{U_{i,t}}^{-1}(X_i-{\stackrel{\→}{\mathrm{\μ}}}_{i,t})}$

（2）修正背景图像

模型参数更新模型初始化任务完成后，在时刻t对视频帧X_t的每个像素点的值与它对应的混合高斯模型进行匹配检测：

1)如果像素值与混合高斯模型中第i个高斯分布均值

的差值的绝对值小于其标准差的2.5倍，则定义该高斯分布与像素值匹配，采用标准差的2.5倍这个阈值可有效地降低周期性的光线变化所带来的影响。

2)如果该像素至少与混合高斯模型中的一个高斯分布匹配，那么混合高斯模型的参数更新规则为：对于不匹配的高斯分布，它们的均值

和协方差矩阵T_i,t保持不变；匹配的高斯分布的均值

和协方差矩阵T_i,t的表达式为：

${\stackrel{\→}{\mathrm{\μ}}}_{i,t}=(1-\mathrm{\ρ}){\stackrel{\→}{\mathrm{\μ}}}_{i,t-1}+\mathrm{\ρ}{X}_t$

$T_{i,t}=(1-\mathrm{\ρ})T_{i,t-1}+\mathrm{diag}\left[\mathrm{\ρ}{(X_t-{\stackrel{\→}{\mathrm{\μ}}}_{i,t})}^T(X_t-{\stackrel{\→}{\mathrm{\μ}}}_{i,t})\right]$

式中，

a为参数估计的学习速率，通常取值0.002。

3)如果该像素与混合高斯模型中任何一个高斯分布都不匹配，将最不可能代表背景过程的高斯分布重新赋值：将当前像素点的值作为这个高斯分布的均值，同时为这个高斯分布取一个较大的方差和较小的权值。然后，将K个高斯分布按下式更新在时刻t的权值：

ω_i,t＝(1-α)ω_i,t-1+α(M_i,t)

式中，M_i,t为单模态模型参数，如果某个高斯分布与t时刻的像素值匹配，那么M_i,t取1；否则M_i,t取0。

步骤四，进行FAST角点检测。

（1）将图像与步骤三混合高斯建模背景相减得到人群前景图，经二值化转换和形态学滤波得到掩模模板。掩模模板的坐标和FAST特征角点的坐标做交集运算得到运动目标FAST特征角点坐标集。这样处理后克服了由于聚集后静止人群角点被判定为背景角点的影响，提高了识别的准确性。

（2）在每一帧人群图像中，以任意一个像素点P（候选点）为中心选择圆形区域，该圆形区域为一个半径等于3的离散化的Bresenham圆，最外围的像素点按顺时针方向依次编号为1～16。分别判断这16个像索点是否满足下面的条件：

N＝|I(x)-I(p)|＞ε_d    （1）

式中，I（x）表示圆周上任意一点的图像灰度值，I（p）表示中心像素点的图像灰度值，ε_d为给定的一个极小阈值。ε_d的取值范围为0<ε_d<100，选取不同的阈值ε_d可以控制提出的角点数目，本发明实施例采用的值为45。

如果有连续m个以上的像素点满足公式(1)，就可以确定该候选点为角点。通常m取12，可以很快排除伪角点。m取不同的值可以控制提出的角点数目。

选择m=12时，角点检测可简化为对像索编号为1，5，9，13的4个像素点进行检测，因为在该4个像素点中有3个均满足式(1)才可能被确认为角点。如此就可以快速排除整幅图像中的很多像素点，提高角点的检测效率。

步骤五，计算角点协方差矩阵，根据矩阵行列式的值得到人群面积变化曲线。

假设目标角点坐标集为D，D为一个每行由一个角点的横、纵坐标组成的矩阵，设角点的坐标为（x，y），则角点坐标集协方差矩阵定义为：

$\mathrm{\&Sigma;}(x,y)=\left[\begin{array}{cc}{S}_{\mathrm{xx}}(x,y)& S_{\mathrm{xy}}(x,y)\\ S_{\mathrm{xy}}(x,y)& S_{\mathrm{yy}}(x,y)\end{array}\right]$

其中，S_xx为所有角点横坐标x的方差，S_yy为所有角点纵坐标y的方差，S_xy为角点集坐标（x，y）的协方差。

协方差矩阵对应行列式的值为：

I＝|S_xx(x,y)×S_yy(x,y)-S_xy(x,y)²|

行列式I的值表征了场景中角点的面积。

以帧序列为横坐标、行列式值I为纵坐标画曲线，通过均值滤波消除一些突变和干扰，得到人群面积变化曲线S。

步骤六，将步骤五中的每一个I值及曲线S上与该I值相对应的斜率值构成的特征向量T输入支持向量机中，进行人群行为分析训练和人群行为模型训练，得到人群行为预测值：

P=（T，D）

式中，D为摄像机与人群的距离，P为人群行为预测值，P的取值范围为-100～100。

每个I值对应的一个斜率，人群疏散时曲线上升，斜率为正；人群集聚时曲线下降，斜率为负；正常行走的人群I值很低；由此可区分正常、聚集和疏散情况。

步骤七，根据步骤六的P值得到人群行为结果P_behaviour，根据P_behaviour对人群的异常行为进行分类识别。

P_behaviour为人群行为预测值P的差值，取差值的序列帧范围一般在10～80帧之间，本发明实施例取值为40帧。人群的各种不同行为对应的P_behaviour值为：

人群是正常行走时，P_behaviour一般在2～10之间；

人群原地活动时，P_behaviour一般在-2～2之间；

人群聚集时，P_behaviour一般在-2～-70之间；

人群疏散时，P_behaviour一般在8～100之间。

根据P_behaviour的取值范围可对以下的人群行为进行分类识别：

（1）人群是正常行走还是聚集或疏散的识别；

（2）人群聚集后原地活动的识别；

（3）人群聚集后正常行走的识别；

（4）人群聚集后突然疏散的识别。

与现有技术相比，本发明具有以下优点：本发明针对传统方法的不足，将人群角点特征作为一个整体的特征进行分析来研究不同人群情况，通过协方差矩阵的计算，建立人群行为模型，得到不同人群的行为情况。可用于安防监控、资源管理等领域。

附图说明

图1为本发明所涉及的方法流程图；

图2为本发明所涉及的方法示意图；

图3为本发明实例例绘制的人群面积变化曲线：（a）为人群进行集聚时的情况；（b）为人群在聚集后突然疏散的情况。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

图1为本发明所涉及的方法流程图，图2为本发明所涉及的方法示意图。具体包括以下步骤：

步骤一，将监控的视频流图像数据转换为图片数据。

步骤二，对图像进行增强预处理。

步骤三，建立混合高斯背景模型。

步骤四，进行FAST角点检测。

步骤五，计算角点协方差矩阵，根据矩阵行列式的值得到人群面积变化曲线。

图3为人群面积变化曲线：（a）为人群进行集聚时的情况；（b）为人群在聚集后突然疏散的情况。

步骤六，将步骤五中的每一个I值及曲线S上与该I值相对应的斜率值构成的特征向量T输入支持向量机中，进行人群行为分析训练和人群行为模型训练，得到人群行为预测值。

步骤七，根据步骤六的P值得到人群行为结果P_behaviour，根据P_behaviour对人群的异常行为进行分类识别。

人群行为识别方法的优劣主要通过实验视频序列的和实际人群行为对比来做判断。误差分析主要考察指标采用平均绝对误差(meanabsolute error,MAE)、平均相对误差(meanrelativeerror,MRE)。

为了验证本发明提出方法的准确性，采用PETS2009的专业人群数据集和自行拍摄数据集进行实验分析。PETS209数据集为单一相机、固定斜向下拍摄的视频；自行拍摄数据集为专业摄像机在校园教学楼和操场拍摄，主要拍摄正常行走人群和疏散人群，摄像头的参数设置和位置摆放更适合分析及加清晰化预制拍摄。实验过程中，训练样本占总视频序列60%左右。通过对样本训练，得到人群行为模型。用实验视频预测人群行为的平均绝对误差和平均相对误差如表1所示。

表1 人群行为预测平均绝对误差和平均相对误差

视频样本	MAE	MRE
			PETS2009基准数据集1	2.37	13.63%
PETS2009基准数据集2	2.85	14.11%
			PETS2009基准数据集3	3.27	15.63%
PETS2009基准数据集4	1.95	9.22%
			自行拍摄数据集1	1.22	7.71%
自行拍摄数据集2	1.03	8.26%
			自行拍摄数据集3	3.12	13.51%
自行拍摄数据集4	2.06	9.91%

由表1可知，本发明所述述的人群异常行为识别方法具有较高的识别精度，平均相对误差最大只有15.63%。比较表1中两组数据的平均绝对误差和平均相对误差可以发现，自行拍摄的数据集整体优于PTES数据集，这是由于根据实验测试后自行拍摄数据集判断结果，修改了摄像头的参数，调整了摄像机摆放的位置，同时这也说明对摄像机的参数、位置和角点做了调整后，对人群行为的判断有很大的帮助。

Claims (3)

1.一种基于FAST的人群异常行为识别方法，其特征在于包括以下步骤：

步骤一，将监控的视频流图像数据转换为图片数据；

步骤二，对图像进行增强预处理；

对图像进行直方图均衡化，借助直方图变换实现灰度映射，从而达到图像增强的目的；对离散数字图像{z}，灰度为i的像素的出现概率为：

$p_x\left(i\right)=\frac{n_i}{n}$

式中，n_i表示灰度i出现的次数，0≤i≤L，L是图像中所有的灰度数，n是图像中所有的像素数，p_x(i)为灰度为i的像素的归一化直方图；

步骤三，建立混合高斯背景模型，方法如下：

（1）建立背景像素序列

应用多高斯模型法对每个像素用K个高斯模型进行建模；步骤二处理后视频帧序列为：

式中，

为每一个单态高斯模型；

X_t帧中每个像素点的概率为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}\&CenterDot;G_i(X_t,{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t},U_{i,t})$

式中，K是所采用混合多高斯模型的具体个数，K值越大，处理像素值波动的能力越强，但处理效率也相应降低，因此，K一般取3～5；ω_i,t是第i个高斯模型在t时刻的权重，

和U_i,t为第i个高斯模型在t时刻的均值和方差，G是高斯分布概率密度函数，其表达式为：

$G_i(X_t,{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t},U_{i,t})=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\left|U_{i,t}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X_i-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t})}^T{U_{i,t}}^{-1}(X_i-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t})}$

（2）修正背景图像

模型参数更新模型初始化任务完成后，在时刻t对视频帧X_t的每个像素点的值与它对应的混合高斯模型进行匹配检测：

1）如果像素值与混合高斯模型中第i个高斯分布均值的差值的绝对值小于其标准差的2.5倍，则定义该高斯分布与像素值匹配，采用标准差的2.5倍这个阈值可有效地降低周期性的光线变化所带来的影响；

2）如果该像素至少与混合高斯模型中的一个高斯分布匹配，混合高斯模型的参数更新规则为：对于不匹配的高斯分布，它们的均值

和协方差矩阵T_i,t保持不变；匹配的高斯分布的均值

和协方差矩阵T_i,t的表达式为：

${\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t}=(1-\mathrm{\&rho;}){\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t-1}+\mathrm{\&rho;}{X}_t$

$T_{i,t}=(1-\mathrm{\&rho;})T_{i,t-1}+\mathrm{diag}\left[\mathrm{\&rho;}{(X_t-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t})}^T(X_t-{\stackrel{\&RightArrow;}{\mathrm{\&mu;}}}_{i,t})\right]$

式中，

a为参数估计的学习速率，通常取值0.002；

3）如果该像素与混合高斯模型中任何一个高斯分布都不匹配，将最不可能代表背景过程的高斯分布重新赋值：将当前像素点的值作为这个高斯分布的均值，同时为这个高斯分布取一个较大的方差和较小的权值；然后，将K个高斯分布按下式更新在时刻t的权值：

ω_i,t＝(1-α)ω_i,t-1+α(M_i,t)

式中，M_i,t为单模态模型参数，如果某个高斯分布与t时刻的像素值匹配，那么M_i,t取1；否则M_i,t取0；

步骤四，进行FAST角点检测，方法如下：

（1）将图像与步骤三混合高斯建模背景相减得到人群前景图，经二值化转换和形态学滤波得到掩模模板；掩模模板的坐标和FAST特征角点的坐标做交集运算得到运动目标FAST特征角点坐标集；

（2）在每一帧人群图像中，以任意一个像素点P为中心选择圆形区域，该圆形区域为一个半径等于3的离散化的Bresenham圆，最外围的像素点按顺时针方向依次编号为1～16；分别判断这16个像索点是否满足下面的条件：

N＝|I(x)-I(p)|＞ε_d   （1）

式中，I（x）表示圆周上任意一点的图像灰度值，I（p）表示中心像素点的图像灰度值，ε_d为给定的一个极小阈值；ε_d的取值范围为0<ε_d<100，选取不同的阈值ε_d可以控制提出的角点数目；

如果有连续m个以上的像素点满足公式(1)，就可以确定该候选点为角点；通常m取12；m取不同的值可以控制提出的角点数目；

步骤五，计算角点协方差矩阵，根据矩阵行列式的值得到人群面积变化曲线；

假设目标角点坐标集为D，D为一个每行由一个角点的横、纵坐标组成的矩阵，设角点的坐标为（x，y），则协方差矩阵定义为：

$\mathrm{\&Sigma;}(x,y)=\left[\begin{array}{cc}{S}_{\mathrm{xx}}(x,y)& S_{\mathrm{xy}}(x,y)\\ S_{\mathrm{xy}}(x,y)& S_{\mathrm{yy}}(x,y)\end{array}\right]$

其中，S_xx为所有角点横坐标x的方差，S_yy为所有角点纵坐标y的方差，S_xy为角点集坐标（x，y）的协方差；

协方差矩阵对应行列式的值为：

I＝|S_xx(x,y)×S_yy(x,y)-S_xy(x,y)²|

行列式I的值表征了场景中角点的面积；

以帧序列为横坐标、行列式值I为纵坐标画曲线，通过均值滤波消除一些突变和干扰，得到人群面积变化曲线S；

步骤六，将步骤五中的每一个I值及曲线S上与该I值相对应的斜率值构成的特征向量T输入支持向量机中，进行人群行为分析训练和人群行为模型训练，得到人群行为预测值：

P=（T，D）

式中，D为摄像机与人群的距离，P为人群行为预测值，P的取值范围为-100～100；

步骤七，根据步骤六的P值得到人群行为结果P_behaviour，根据P_behaviour对人群的异常行为进行分类识别。

2.根据权利要求1所述的一种基于FAST的人群异常行为识别方法，其特征在于，步骤七中的P_behaviour为所述人群行为预测值P的差值，取差值的序列帧范围一般在10～80帧之间。

3.根据权利要求1或2所述的一种基于FAST的人群异常行为识别方法，其特征在于，人群的各种不同行为对应的P_behaviour值为：

人群是正常行走时，P_behaviour一般在2～10之间；

人群原地活动时，P_behaviour一般在-2～2之间；

人群聚集时，P_behaviour一般在-2～-70之间；

人群疏散时，P_behaviour一般在8～100之间；

根据P_behaviour的取值范围可对以下的人群行为进行分类识别：

（1）人群是正常行走还是聚集或疏散的识别；

（2）人群聚集后原地活动的识别；

（3）人群聚集后正常行走的识别；

（4）人群聚集后突然疏散的识别。

Images