CN103279737B - 一种基于时空兴趣点的打架行为检测方法 - Google Patents

Abstract

本发明公开一种基于时空兴趣点的打架行为检测方法，该方法首先检测当前帧的时空兴趣点，再通过分割提取有效的时空兴趣点集，然后分析有效兴趣点集的分布及其质心的平均位移量，据此调整当前场景的打架等级，并输出状态信息“打架”或“正常”。本发明采用时空兴趣点来描述视频中的人体运动，并通过分析时空兴趣点的分布及其质心的平均位移量来检测人体交互的剧烈程度，从而判断当前监控场景中是否发生打架行为。本发明能准确地反映当前帧图像中运动较剧烈的区域，且不易受光照等环境变化的影响，检测速度快，具有较好的鲁棒性，能较准确及时地识别出场景中的打架行为，并能较好地区分握手、跑步等正常行为，有效地降低误报率。

Description

一种基于时空兴趣点的打架行为检测方法

技术领域

本发明属于计算机视觉与模式识别领域，具体地，涉及一种利用监控视频检测打架行为的方法。

背景技术

随着经济和科技的发展，摄像头已被大量地安装在公共场所中。然而，目前的监控系统中，主要还是采用人工的方法观察场景中是否出现异常行为。这种肉眼观察方法费时费力，而且随着摄像头的增多，越来越无法满足实际的监控需求。近年来，随着计算机视觉与模式识别技术的发展，逐渐出现了智能视频监控系统。打架行为检测是智能监控中的一项重要而具有挑战性的内容，在银行、监狱等场所都有很大的应用前景。所以这方面的研究十分必要。

异常行为检测一直是近年来计算机视觉和模式识别领域研究的热点，国内外很多学者也在这方面做了大量的有益成果。近年来论文中的方法主要有：

RaminMehran等人在2009年提出在图像中建立粒子，利用SFM(Social Force Model)描述粒子与周围空间的相互作用力，用力的强度来描述视频中人的行为；Shandong Wu等在2010年采用了一种粒子流动的方式，利用粒子的轨迹来描述局部的运动轨迹，实现异常行为的检测与定位；针对拥挤场景中的异常行为检测问题；Vijay Mahadevan等人在2010年提出用MDT(Mixtures of Dynamic Textures)模型描述视频序列，然后分别检测模型在时间和空间上的异常，整合后判断异常行为是否出现；Xinyi Cui等人在2011年采用KLT算法跟踪时空兴趣点，根据各兴趣点的速度矢量来计算人群的交互势能（Interaction Energy Potentials），并结合各兴趣点区域的光流特征，通过SVM方法来分类正常和异常行为；Yinghuan Shi等人在2010年提出采用STCOG模型对正常行为建模，并检测异常行为，其模型参数可以在线更新；Bin Zhao等人在2011年采用一种无监督的动态稀疏编码方法来检测异常行为，在检测过程中实时更新字典，并根据重构向量的稀疏性来判断异常行为。

专利方面，申请号为CN200910258677.4的中国发明专利公开了一种音视频联合分析的打架斗殴检测系统及其检测方法；申请号为CN201010511659.5的中国发明专利公开了一种自动检测打架行为系统，主要根据动态主体的短时间动态历程来分析打架行为特性；申请号为CN201210176959.1的中国发明专利公开了一种利用视频检测打架行为的方法和装置，主要根据运动前景的面积变化强度来判断是否发生打架行为；申请号为CN201210304084.9的中国发明专利公开了一种基于立体视觉运动场分析的打架斗殴检测方法；申请号为CN201210595936.4的中国发明专利通过任意两个人体轮廓之间的距离，以及若干帧后人体是否处于倒地来确定是否发生打架行为。

实际的监控场景通常是复杂多变的，光照变化、遮挡、人群拥挤等都会给实际的打架行为检测造成困难。传统的基于前景提取及跟踪的打架行为检测方法通常只适用环境简单，人群稀少的场景。在运动特征提取方面，光流法的计算量过大，难以满足实时监控的需求。另外，一些基于机器学习的方法则需要针对不同场景使用大量的训练样本，实施比较复杂。

发明内容

针对现有技术的不足，本发明提供一种基于时空兴趣点的打架行为检测方法，用于自动检测监控视频中的打架行为。本发明通过提取有效兴趣点，并进一步分析兴趣点的分布及质心的平均位移量，来确定打架等级，同时根据打架等级设置当前场景状态。该方法检测速度快，适用于多种场景，且具有较好的鲁棒性。

为实现上述目的，本发明采用的技术方案是：首先检测当前帧的时空兴趣点，再通过分割提取有效的时空兴趣点集，然后分析有效兴趣点集的分布及其质心的平均位移量，据此调整当前场景的打架等级，并输出状态信息“打架”或“正常”。

本发明所述方法包括如下步骤：

第一步，采用帧差法捕获运动人体轮廓，即用当前帧灰度图像减去上一帧灰度图像，并作阈值化处理，得到运动前景二值轮廓图像。

第二步，获取时空兴趣点。使用二维Gabor滤波器对第一步中得到的图像进行滤波，再进行极大值滤波处理，从而检测出当前帧中各时空兴趣点的坐标。

第三步，判断第二步所获取的时空兴趣点个数，若个数少于阈值，则认为当前未发生打架行为，若个数大于阈值，则继续执行下面的步骤。

第四步，提取有效时空兴趣点集。具体来说，先将各时空兴趣点往图像的横轴作投影，若相邻投影点的距离大于阈值，则在该相邻点之间作分割，最终将N个点分割成P个点集，将其中含点最多的点集记为Px；相同地，再将各时空兴趣点往图像的纵轴作投影，同样将这N个点分割成Q个点集，将其中含点最多的点集记为Qy。比较点集Px和Qy所含点的个数，将点数目较少的点集作为最终的有效时空兴趣点集。

第五步，计算第四步提取的有效时空兴趣点集的质心，并计算所有点到该质心的横向平均距离，若该平均距离低于某个阈值，则认为当前主要是单个人运动，属正常行为，否则继续执行下面步骤。

第六步，计算质心位移量。即计算当前帧有效时空兴趣点的质心与前一帧有效时空兴趣点的质心之间的距离。

第七步，将当前帧及前四帧的质心位移量相加作平均，得到当前质心的平均位移量。

第八步，若第七步中获得的当前质心平均位移量大于高位移阈值，则打架等级值增一，若该值小于低位移阈值，则打架等级值减一。其中，打架等级值最高增至5，最低减至-5。

第九步，根据打架等级值，判断当前监控场景是否出现打架行为。

本发明对检测出的时空兴趣点进行了过滤处理。即对于点数较少的情况，直接判断为正常行为，而对于点数较多的情况，采用向图像横轴和纵轴投影的方法对所有点作分割，从而提取出兴趣点相对集中且数量较多的点集。这部分点集反映了当前图像中运动交互最为剧烈的区域，因此需将其作为有效点集来进行后续分析。

本发明根据有效兴趣点集中所有点到质心的横向平均距离，来区分单人运动和多人交互。

本发明通过兴趣点质心的平均位移量来判断运动的剧烈程度。引入打架等级概念，当质心平均位移量小于阈值时，说明当前运动交互不激烈，打架等级降低，当质心平均位移量大于阈值时，说明当前交互激烈，打架等级增加。这种方法可以有效避免将当前场景中短时出现的剧烈交互行为误判为打架行为，从而减少误判率。

本发明在根据打架等级判断当前场景状态时，采用滞回比较的方法，即设置双门限-5和5，当打架等级大于-5且小于5时，保持当前状态；正常状态下，当打架等级增至5时，跳转为打架状态；打架状态下，当打架等级减至-5时，跳转为正常状态。

与现有技术相比，本发明具有如下的有益效果：

首先，本发明在银行、商场、过道等多个场景下都能够取得较高的打架行为识别率，具有很高的实际应用价值；

其次，本发明在多种摄像头安装高度和角度下都能够有效地进行打架行为检测，从而大大拓宽了实际应用范围；

再次，本发明采用时空兴趣点来描述人体运动，时空兴趣点的提取准确稳定，对视频质量的要求不高，且检测迅速，能满足实时监控的需求。

最后，本发明易于实现，事先不需要采集大量的视频样本进行学习训练，这对现有技术是一个有益的突破。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为从两人打架图像中提取的二值轮廓图，其中（a）为原始帧图像，（b）为利用帧差法和阈值化后得到的轮廓图。

图2为从人行走视频帧中提取的时空兴趣点图。

图3为对时空兴趣点进行坐标轴投影，并提取有效时空兴趣点集的示意图。

图4为时空兴趣点及质心图，其中（a）为单人运动情况，（b）为多人交互情况。

图5为视频序列中质心的移动图，其中（a）为两人握手情况，（b）为两人打架情况。

图6为打架等级与当前场景状态间的函数关系曲线。

图7为监狱场景图。

图8为监狱场景视频中一帧的时空兴趣点图。

图9为监狱场景视频的状态（“正常”或“打架”）跳转过程图。

图10为过道、商场、银行等场景视频的部分检测结果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供一种从监控视频序列中识别打架行为的方法，该方法首先提取当前帧图像的时空兴趣点，再通过坐标投影，提取出有效时空兴趣点集，然后通过分析有效点集的分布和质心的平均位移，确定打架等级，据此判断当前场景状态，从而实现有效及时的打架行为检测。具体说明如下：

第一步，采用帧差法捕获运动人体轮廓，即用当前帧灰度图像减去上一帧灰度图像，并作阈值化处理，得到运动前景二值轮廓图像。

首先将当前帧及前一帧的图像转换为灰度图，分别记为I_t和I_t-1，然后作差。设图像像素的坐标为(x,y)，则I_t和I_t-1的差定义为：

ΔI_t(x,y)＝|I_t(x,y)-I_t-1(x,y)|. (1)

然后作阈值化处理，其中二值图像V_t中像素(x,y)的灰度值定义为：

$V_t(x,y)=\left\{\begin{array}{cc}255& \mathrm{if\Δ}{I}_t(x,y)>\mathrm{\ϵ}\\ 0& \mathrm{otherwise}\end{array}\right.,---\left(2\right)$

其中ε为预设的阈值，一般取为30，可以适用于大部分场景。图1显示了从运动人体图像中提取的二值轮廓图。

第二步，获取时空兴趣点。使用二维Gabor滤波器对第一步中得到的图像进行滤波，再进行极大值滤波处理，从而检测出当前帧中各时空兴趣点的坐标。图2中白色的圆点即为从人走路图像中提取的时空兴趣点，这些点有效地反映了当前帧中运动较为剧烈的区域。

第三步，判断第二步所获取的时空兴趣点个数，若个数少于阈值（该阈值的取值范围可以为6～10），则认为当前未发生打架行为，若个数大于阈值，则继续执行下面的步骤。

第四步，提取有效时空兴趣点集。具体来说，先将各时空兴趣点往图像的横轴作投影，若相邻投影点的距离大于阈值（该阈值可以取图像中人的像素高度的1/2），则在该相邻点之间作分割，最终将N个点分割成P个点集，将其中含点最多的点集记为Px；类似地，再将各时空兴趣点往图像的纵轴作投影，同样将这N个点分割成Q个点集，将其中含点最多的点集记为Qy。比较点集Px和Qy所含点的个数，将点数目较少的点集作为最终的有效时空兴趣点集。

图3显示了有效时空兴趣点集的提取过程。图3中，白色的点为初始提取的所有时空兴趣点，将点向X、Y轴投影。根据相邻投影点的间隔及事先选定的阈值，在Y轴方向将点分成了三个点集：S1、S2、S3，其中点数最多的点集为S3，在X轴方向将点分成了2个点集：S4、S5，其中点数最多的点集为S5。点集S3所含点数小于S5所含点数，因此，最终提取的有效点集为S3，即白色矩形框中的点，这些点正是当前场景中运动最为激烈的点，需要在下面的步骤中重点分析，以进一步确定是否是打架行为所产生的时空兴趣点。

第五步，计算第四步提取的有效时空兴趣点集的质心，并计算所有点到该质心的横向平均距离，若该平均距离低于某个阈值（该阈值可以取图像中人的像素高度的1/20），则认为当前主要是单个人运动，属正常行为，否则继续执行下面步骤。

设有效时空兴趣点集的质心(x_c,y_c)，共有n个有效时空兴趣点，第i个点在图像中的坐标为(x_i,y_i)，则质心x_c的定义为：

$x_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}{n},$ $y_c=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i}{n}---\left(3\right)$

计算所有点到该质心的横向平均距离Dx，定义为：

$\mathrm{Dx}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|x_i-x_c|}{n}---\left(4\right)$

若Dx低于某个阈值，则认为当前主要是单个人运动，属正常行为，否则继续执行下面步骤。图4中白色“*”形符号代表的就是当前有效时空兴趣点的质心，其中图4(a)为单人行走，图4(b)为二人打架。显然，图4(b)对应的Dx比图4(a)大，因此根据Dx来判断单人运动的情况是比较有效的。

第六步，计算质心位移量。即计算当前帧有效时空兴趣点的质心与前一帧有效时空兴趣点的质心之间的距离。

第七步，将当前帧及前四帧的质心位移量相加作平均，得到当前质心的平均位移量。如图5所示，白色的圆点为时空兴趣点，白色“*”形符号为时空兴趣点的质心。图5(a)展示了两个人握手时的连续三帧图像，前后帧中质心的位移量较小；图5(b)展示了两个人打架时的连续三帧图像，前后帧中质心的位移量较大。因此，质心的平均位移量可以有效地反映人体交互的剧烈程度。

第八步，若第七步中获得的当前质心平均位移量大于高位移阈值（该阈值可根据需要进行设定，一般取图像中人的像素高度的1/8），则打架等级值增一，若该值小于低位移阈值（该阈值可根据需要进行设定，一般取图像中人的像素高度的1/40），则打架等级值减一。其中，打架等级值最高增至5，最低减至-5。

第九步，根据打架等级值，判断当前监控场景是否出现打架行为。图6显示了打架等级与当前场景状态间的函数关系，其中横坐标为打架等级，纵坐标为当前场景状态。正常状态时，只有打架等级值增至5，才跳转到打架状态，并输出报警信息；打架状态时，只有当打架等级值降至-5时，才跳转到正常状态，并输出正常信息。另外，本场景的初始打架等级设为-5，初始状态设为“正常”。这种滞回特性可以有效避免场景状态的频繁切换，减少误判率，并提高系统的鲁棒性。

具体应用实例：

以监狱场景为例，其场景如图7所示，视频大小为320*240。由于本发明在实施过程中需要涉及一些阈值参数，比如用于提取有效兴趣点集的阈值、用于判断单人运动的阈值、用于判断质心平均偏移量剧烈程度的高低阈值等。这些阈值实际上与监控视频中人的大小有直接关系，若能大致估计监控视频中人的大小，其他阈值参数就可以按比例计算得到。根据图7可知，该监控视角下，一个人的高度大致为100个像素，记为Height。在下面的实施步骤中，将以该参数为依据，设定相应的阈值。

首先，检测当前帧的时空兴趣点。先将当前帧转换为灰度图并采用帧差法提取运动前景的二值轮廓图像，再对该图像使用二维Gabor滤波器进行滤波，并进行极大值滤波处理，从而检测出当前帧中各时空兴趣点的坐标。

然后，判断第二步所获取的时空兴趣点个数，若个数少于阈值（该实例中取6），则认为当前未发生打架行为，若个数大于阈值，则继续执行下面的步骤。

接下来，去除无关点，提取有效时空兴趣点集。具体来说，先将各时空兴趣点往图像的横轴作投影，若相邻投影点的距离大于阈值（本场景中取Height/2），则在该相邻点之间作分割，最终将N个点分割成P个点集，将其中含点最多的点集记为Px；类似地，再将各时空兴趣点往图像的纵轴作投影，同样将这N个点分割成Q个点集，将其中含点最多的点集记为Qy。比较点集Px和Qy所含点的个数，将点数目较少的点集作为最终的有效时空兴趣点集。图8为视频中的其中一帧图像，通过上述方法，最终选取白色矩形框中的点集为有效时空兴趣点集，用于后续分析。

接着，计算所提取的有效时空兴趣点集的质心，并计算所有点到该质心的横向平均距离，若该平均距离低于某个阈值（本场景中取为Height/20），则认为当前主要是单个人运动，属正常行为，否则计算质心位移量，即计算当前帧有效时空兴趣点的质心与前一帧有效时空兴趣点的质心之间的距离。为提高稳定性，将当前帧及前四帧的质心位移量相加作平均，得到当前质心的平均位移量。平均位移量可以更好地反映当前场景中人体交互的剧烈程度。

若当前质心平均位移量大于高位移阈值（本场景中取为Height/8），则打架等级值增一，若该值小于低位移阈值（本场景中取为Height/40），则打架等级值减一。其中，打架等级值最高增至5，最低减至-5。

最后，根据打架等级值，判断当前监控场景是否出现打架行为。具体判断方法为：正常情况时，只有打架等级值增至5，才认为出现打架行为，并显示报警信息（“打架”）；检测出打架行为后，当打架等级值降至-5时，才认为打架行为消失，并显示正常信息（“正常”）。图9截取了视频中的部分帧，可以看出当前场景状态从“正常”跳转到“打架”以及从“打架”跳转到“正常”的过程。

在其他场景下使用本发明提出的方法也可以取得准确的打架行为识别结果，图10分别显示了过道、商场、银行等场景监控视频的部分检测结果图。

区别于已有的方法，本发明采用时空兴趣点来描述视频中的人体运动，并通过分析时空兴趣点的分布及其质心的平均位移量来检测人体交互的剧烈程度，从而判断当前监控场景中是否发生打架行为。本发明采用的时空兴趣点检测方法能准确地反映当前帧图像中运动较剧烈的区域，且不易受光照等环境变化的影响，检测速度快，具有较好的鲁棒性。为了证明本发明提出方法的有效性，我们分别选取了监狱、过道、商场、银行、会议室等场景的监控视频进行打架行为识别。实验证明，本发明提出的方法能较准确及时地识别出场景中的打架行为，并能较好地区分握手、跑步等正常行为，有效地降低误报率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种基于时空兴趣点的打架行为检测方法，其特征在于，包括步骤如下：

第一步，采用帧差法捕获运动人体轮廓：用当前帧灰度图像减去上一帧灰度图像，并作阈值化处理，得到运动前景二值轮廓图像；

第二步，获取时空兴趣点：使用二维Gabor滤波器对第一步中得到的图像进行滤波，再进行极大值滤波处理，从而检测出当前帧中各时空兴趣点的坐标；

第三步，判断第二步所获取的时空兴趣点个数，若个数少于阈值，则认为当前未发生打架行为，若个数大于阈值，则继续执行下面的步骤；

第四步，提取有效时空兴趣点集：先将各时空兴趣点往图像的横轴作投影，若相邻投影点的距离大于阈值，则在该相邻点之间作分割，最终将N个点分割成P个点集，将其中含点最多的点集记为Px；相同地，再将各时空兴趣点往图像的纵轴作投影，同样将这N个点分割成Q个点集，将其中含点最多的点集记为Qy；比较点集Px和Qy所含点的个数，将点数目少的点集作为最终的有效时空兴趣点集；

第五步，计算第四步提取的有效时空兴趣点集的质心，并计算所有有效时空兴趣点到该质心的横向平均距离，若该平均距离低于阈值，则认为当前主要是单个人运动，属正常行为，否则继续执行下面步骤；

第六步，计算质心位移量：计算当前帧有效时空兴趣点的质心与前一帧有效时空兴趣点的质心之间的距离；

第七步，将当前帧及前四帧的质心位移量相加作平均，得到当前质心的平均位移量；

第八步，若第七步中获得的当前质心平均位移量大于高位移阈值，则打架等级值增一，若该值小于低位移阈值，则打架等级值减一，其中，打架等级值最高增至5，最低减至-5；高位移阈值大于低位移阈值，这两个阈值根据需要进行设定；

第九步，根据打架等级值，判断当前监控场景是否出现打架行为；具体判断方法为：正常情况时，只有打架等级值增至5，才认为出现打架行为，并显示报警信息；检测出打架行为后，当打架等级值降至-5时，才认为打架行为消失，并显示正常信息。

2.根据权利要求1所述的基于时空兴趣点的打架行为检测方法，其特征在于，所述第一步，具体为：

首先将当前帧及前一帧的图像转换为灰度图，分别记为I_t和I_t-1，然后作差，设图像像素的坐标为(x,y)，则I_t和I_t-1的差定义为：

ΔI_t(x,y)＝|I_t(x,y)-I_t-1(x,y)|

然后作阈值化处理，其中二值图像V_t中像素(x,y)的灰度值定义为：

$V_t(x,y)=\left\{\begin{array}{cc}255& {\mathrm{if\ΔI}}_t(x,y)>\mathrm{\ϵ}\\ 0& otherwise\end{array}\right.,$

其中ε为预设的阈值，取为30。

3.根据权利要求1所述的基于时空兴趣点的打架行为检测方法，其特征在于，所述第五步，所有点到该质心的横向平均距离具体为：

设有效时空兴趣点集的质心(x_c,y_c)，共有n个有效时空兴趣点，第i个点在图像中的坐标为(x_i,y_i)，则质心的定义为：

$x_c=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_i}{n},y_c=\frac{\underset{i=1}{\overset{n}{\Σ}}{y}_i}{n}$

计算所有点到该质心的横向平均距离Dx，定义为：

$Dx=\frac{\underset{i=1}{\overset{n}{\Σ}}|x_i-x_c|}{n}.$

4.根据权利要求1所述的基于时空兴趣点的打架行为检测方法，其特征在于，根据有效兴趣点集中所有点到质心的横向平均距离，来区分单人运动和多人交互。

5.根据权利要求1所述的基于时空兴趣点的打架行为检测方法，其特征在于，通过兴趣点质心的平均位移量来判断运动的剧烈程度，引入打架等级概念，当质心平均位移量小于阈值时，说明当前运动交互不激烈，打架等级降低，当质心平均位移量大于阈值时，说明当前交互激烈，打架等级增加。

6.根据权利要求1所述的基于时空兴趣点的打架行为检测方法，其特征在于，在根据打架等级判断当前场景状态时，采用滞回比较的方法，即设置双门限-5和5，当打架等级大于-5且小于5时，保持当前状态；正常状态下，当打架等级增至5时，跳转为打架状态；打架状态下，当打架等级减至-5时，跳转为正常状态。