发明内容
为此,本发明提取基于运动场的暴力行为快速检测方法,解决复杂监控场景中暴力行为检测精度低和速度慢的问题。
本发明提出的暴力行为检测方法主要包括四个步骤:ROI(Region of Interest)区域获取、运动场计算、特征提取和特征分类,如图1所示,详述如下:
一、ROI区域获取
暴力行为发生的区域一定是有着复杂运动的区域,获取有复杂运动的ROI区域(MR),可以减少后续过程的计算量,同时减少误检现象。
(1)、目标检测
本发明提出基于自适应阈值分割的相邻N帧差分目标检测算法,该算法抗噪性能强、速度快、效率高,能有效地降低虚警率,其具体过程为(以N=5的情况为例):
step1取相邻五帧图像Ik-2、Ik-1、Ik、Ik+1、Ik+2,计算帧差数据Erro。
其中,α为权值,初值设为0.5。
step2确定自适应阈值T。计算帧差数据均值,并将其乘以一个加权系数,以之作为自适应阈值。
T=β×m
其中,M×N为图像尺寸,β为加权系数,这里取β=10。
step3更新α,提取运动区域Mk。
α=e-2/m
(2)、ROI区域标识
本发明提出基于中值滤波和数学形态学相结合的ROI区域融合算法,对检测出来的目标区域进行合并和标识,步骤如下:
step1使用3×3中值滤波模板消除孤立运动点;
step2目标区域的合并
采用数学形态学中的膨胀和腐蚀操作,去除图像的“孔洞”;
step3 ROI区域标识
采用8-邻接连通方法,对检测出来的运动目标的二值图像进行标识;由于只有在较大区域中才可能发生暴力行为,因此使用一个固定阈值Tarea剔除运动像素数目过少的运动区域。
其中,MRi j表示t时刻的第j个运动区域,Numi j代表该运动区域中运动像素的个数,Tarea=55。
二、运动场计算
暴力行为以运动的复杂程度作为主要特性,因此,求取暴力行为所在ROI区域的运动场是暴力行为检测的基础。
本发明采用基于多菱形模板的ROI区域运动场计算方法,ROI区域运动场的获取过程如下:
step1搜索17个“①”点(如图2所示),求取最小误差MBD的位置。若MBD点在搜索窗的中心,则算法结束;若MBD点在大菱形模板上,则进行step2,否则进行step3。
step2以step1的MBD点为中心,重复使用小菱形模板进行搜索,直到MBD点位于搜索窗中心。
step3将搜索步长减半,并确定新的MBD点,直到步长等于1,算法结束。
由于目标距离摄像机远近不同时,求取运动场的尺度不同,为此,需要对求取的运动场进行归一化。
本发明提出基于针孔摄像机模型的运动场归一化方法,具体的归一化方法描述如下:
真实物体在摄像机成像平面上的投影,广泛使用针孔摄像机模型,如图3所示,为避免真实物体在成像平面被反转,我们将成像平面和真实物体放在了焦点的同侧。其中,F为摄像机镜头的焦距,C为焦点,高度分别为h1、h2的目标T1、T2在成像平面上的图像高度分别为h1′、h2′,由几何关系可知,h1′、h2′存在如下关系:
设针孔摄像机模型视场角为β,其焦距为F,成像平面位于摄像机焦点处,成像大小为m×n,如图4所示。由它们之间的几何关系,可以容易地推导出如下关系:
以成像平面的中心点为原心O,建立笛卡尔坐标系,由摄像机镜头的有关性质可知,光轴OC垂直于成像平面,如图5所示。设目标基准点T′的坐标为(x,y),它在u、v轴上的投影与焦点C所形成的连线与光轴所成的夹角分别为α、γ,由相关的三角函数知识,可知:
式中,目标基准点T′的坐标(x,y)以图像左下角为坐标原点,F为焦距。
图6所示是一个摄像头位于监控区域斜上方的监控系统的几何示意图。其中,C为焦点,其与地面高度CA=H,光轴与地面的夹角为θ,T为目标点,其在成像平面上的位置为T′(x,y),其中,TB⊥OA,可以通过几何关系得到如下关系:
于是可得两者成像大小的比值kn:
对于同一物体在不同距离上的成像大小的比值,ht/h0=1,而D0/H恰好是所求的缩放系数η。因此,上式可以简化为:
其中,η=D0/H,是摄像机高度与参考高度的比值。
这里kn称为缩放因子,对于得到的每一个ROI区域的运动场,将其乘以相应的缩放因子,即可实现运动场的归一化处理。
三、特征提取
从统计的角度看,当场景中含有暴力行为时,对应ROI区域的运动场模值大、方向紊乱,这里以此特性来提取暴力行为特征。
(1)、稳定因子fU
当有发生暴力行为时,由于人与人之间的相互阻挡与对抗,运动目标质心位置的变化较为缓慢。这种现象反应到运动场上,即运动场的均值较小。本发明提出稳定因子fU来描述该现象,其计算方法如下:
为便于表述,设某运动区域通过块匹配准则,共获得M个运动幅度不为0的运动场,其中第i个宏块的运动场为(Vx
i,Vy
i)。分别计算运动场在x、y向上的均值
通过如下公式计算稳定因子fU:
其中,λ为固定系数,可通过实验确定,这里取λ=0.5。
(2)、运动场平均能量MR和平均方差σR
当有发生暴力行为时,运动区域的某些部位(如手臂、武器和脚等)必然以较快的速度运动,而其它一些部位的运动速度相对较慢。反应到运动场上,即运动场能量波动较大。本发明提出运动场平均能量MR和平均方差σR来描述该现象。其计算方法如下:
先使用如下公式计算各运动场的能量Ri:
然后计算运动场的平均能量MR和平均方差σR:
(3)、归一化方向熵Eo和方向离差Mo
当有发生暴力行为时,由于相互对抗及躲避等行为,必然导致运动场在方向上显得很杂乱。本发明提出归一化方向熵Eo和方向离差Mo来表征该现象。其实现方法如下:
step1将0~360度划分为N个方向,N为正整数,(实验发现,N的取值应取在10~30之间为宜),分别用0~N-1进行标记,对运动场的方向进行归一化,统计各方向上运动场出现的概率,称为归一化运动方向直方图H(θ),如图7所示,在图7中N取为16。
Step2计算归一化方向直方图H(θ)的熵Eo:
式中,pi为运动场在第i个方向上的概率。
Step3计算方向离差Mo:对于直方图H(θ)中的第i个方向,它与任一方向j的相对方向θij可用如下公式计算:
四、特征分类
通常情况下,当运动区域中有暴力行为发生时,计算得到的fU、σR、Eo和Mo值较大,而MR会处于一个相对稳定的范围内。其它行为则不满足这种统计特性,,譬如行走、聊天等一些速度较慢的运动,虽然其fU、MR值有可能和暴力行为相近,但σR、Eo和Mo的值会明显偏小;而对于跑步等速度较快的运动,其fU值会变得很小,Eo和Mo的值偏小,MR值会明显偏大。根据上述统计特性,本发明采用联合高斯型隶属度函数对特征参数进行归一化处理,以减小各特征参数在数量变化上的差异:
其中,fi=σR、Eo、Mo、MR。c1,c2分别为两个高斯函数的均值,σ1,σ2分别为两个高斯函数的均方差,可通过实验确定。
实验证明,归一化处理后,特征参数具有良好的统计特性:当运动区域有暴力行为发生时,各特征参数均能获得较大的取值;否则,不同的正常行为发生时,有不同的特征参数取值较小。因此,算法对特征融合的要求较低,本发明采用快捷的加权求和方式对求取的特征参数进行融合,提出暴力级数RVI的概念:
式中,0≤wi≤1,表示第i个特征参数的权值,可通过实验确定。fi=fU、MR、σR、Eo、Mo。
暴力级数RVI是对运动区域中运动轨迹、速度、方向的变化情况,以及混乱程度的综合反映,对场景中的暴力行为具有较强的表征能力。因为每帧图像中通常会有多个运动区域,本发明选取其中最大的RVI来表征当前帧,定义为最大暴力级数MVI:
MVI=max{RVIi}
由于真实环境中人行为的多变性及其它一些不可预知因素,使用单帧MVI进行暴力行为检测容易出现较高的误警率。本发明提出平均最大暴力级数AMVI的概念,使用多帧MVI的均值来表征监视场景中正在发生暴力行为的可能性:
使用固定阈值对当前帧的AMVI进行判定:
如果flag=1,判定场景中有暴力行为发生,当前帧为暴力帧,可发出警报或进行其它处理。
本发明的方法的优点在于:(1)可以智能检测视频中存在的斗殴、打砸、奔跑等暴力行为,检测效率高,漏检率和误检率低;(2)不需要依据人体的颜色信息进行行为判别,环境适应能力强,可以适应昼夜不间断工作;(3)不需要依靠人体的精确轮廓信息进行行为判别,可以适应不同拥挤程序的人群;(4)依据针孔摄像机模型自动进行特征归一化处理,对摄像机的架设条件要求小。
具体实施方式
本发明提出的暴力行为检测方法,主要包括四个步骤:
一、ROI区域获取;
二、运动场计算;
三、特征提取;
四、特征分类。
其中,
一、ROI区域获取包括:
(1)、目标检测,其具体过程为:
step1取相邻五帧图像Ik-2、Ik-1、Ik、Ik+1、Ik+2,计算帧差数据Erro;
step2确定自适应阈值T;计算帧差数据均值,并将其乘以一个加权系数,以之作为自适应阈值;
step3更新α,提取运动区域Mk;
(2)、ROI区域标识,步骤如下:
step1使用3×3中值滤波模板消除孤立运动点;
step2目标区域的合并;
采用数学形态学中的膨胀和腐蚀操作,去除图像的“孔洞”;
step3 ROI区域标识;
采用8-邻接连通方法,对检测出来的运动目标的二值图像进行标识。
二、运动场计算,ROI区域运动场的获取过程如下:
step1搜索17个“①”点,求取最小误差MBD的位置,若MBD点在搜索窗的中心,则算法结束;若MBD点在大菱形模板上,则进行step2,否则进行step3;
step2以step1的MBD点为中心,重复使用小菱形模板进行搜索,直到MBD点位于搜索窗中心;
step3将搜索步长减半,并确定新的MBD点,直到步长等于1,算法结束。
归一化方法具体为:kn为缩放因子,对于得到的每一个ROI区域的运动场,将其乘以相应的缩放因子,即可实现运动场的归一化处理;
其中,η=D0/H,是摄像机高度与参考高度的比值。
三、特征提取,包括:
(1)、稳定因子fU,其具体计算方法为:
其中,λ为固定系数,可通过实验确定,这里取λ=0.5,
分别表示运动场在x、y方向上的均值;
(2)、运动场平均能量MR和平均方差σR
其中:Ri为各运动场的能量:
(Vxi,Vyi)表示第i个宏块的运动场;
(3)、归一化方向熵Eo和方向离差Mo,其实现方法如下:
step1将0~360度划分为N个方向,N为;
Step2计算归一化方向直方图H(θ)的熵Eo。
四、特征分类
采用联合高斯型隶属度函数对特征参数进行归一化处理,以减小各特征参数在数量变化上的差异:
其中,fi=σR、Eo、Mo、MR;c1,c2分别为两个高斯函数的均值,σ1,σ2分别为两个高斯函数的均方差,可通过实验确定。