CN102509083A - 一种肢体冲突事件的检测方法 - Google Patents

Abstract

本发明涉及动态图像处理，具体涉及一种肢体冲突事件的检测方法，该方法由以下步骤组成：首先利用图像序列的帧差信息滤除相对静止状态下的图像，得到运动目标的轮廓，经滤波和除噪后，再利用图像投影方法，确定运动目标的数量和独立性，若运动目标数量少于2或不相交，则不存在肢体冲突事件，否则即对图像进行对象肢体精确检测，即，通过块匹配方法实现对运动目标的双向运动估计，并提取各运动目标的特征量，构建行为判断模型，当至少一个运动目标的双向运动特征量都符合判断原则，则存在肢体冲突事件，否则不存在。本发明所述的方法可实现监控区域的无人值守和冲突事件报警。

Description

一种肢体冲突事件的检测方法

技术领域

本发明涉及图像处理，特别是动态图像的分析处理领域，具体涉及一种肢体冲突事件的检测方法。

背景技术

随着计算机技术、通讯技术与图像处理技术的发展，视频监控已经在各种应用场合得到广泛应用。然而，目前大多情况下，视频监控终端还需人工值守，通过有规律切换视频监控画面或根据需要手动切换来了解监控现场相关信息，从而判断是否发生冲突事件。显然人工值守的方式存在工作量巨大、冲突事件响应速度慢、冲突事件存在漏检漏报等不足之处。

视频图像处理技术的引入是有效解决上述问题的方法之一，利用计算机代替人脑来分析、理解监控视频图像的内容，自动查找目标、自动跟踪目标和自动识别目标，从而实现肢体冲突事件的自动分析与报警。

目前现有技术中，

中国知识产权局2009年9月23日公开了“监狱专用SkyEyes^TM智能监控系统”(专利号：ZL 200820081498.9)，该专利仅公开了异常或冲突事件分析报警系统的结构和工作原理，并没有涉及具体的视频图像分析理解和实现方法。

中国知识产权局2009年10月14日公开了“基于计算机视觉的电梯轿厢内暴力行为智能检测装置”(专利号：ZL 200820081498.9)，该专利主要内容包括背景建模和人体前景对象提取模块、人群行为特征序列提取模块、隐马尔可夫模型的建模模块等。一方面，其人体前景对象提取模块采用Codebook算法实现前景人体对象的提取，然而该算法提取出来的目标对象包括静止和运动的人体对象，却没有专门针对暴力行为造成人体身体(特别是肢体)动作幅度大这一特点，采用相应的图像过滤手段把人体处于相对静止状态的图像过滤掉，而在正常情况下，乘坐在电梯内的人体一般处于相对静止或偶尔有短暂动作的状态，其人体前景对象提取模块需要处理的图像序列数量庞大，因此其处理的速度不高；另一方面，其利用隐马尔可夫模型(HMM)实现电梯内的暴力行为检测需要经过训练和检测两个阶段。在训练阶段需要获取大量电梯内的正常行为的特征向量数据，训练所需的时间必然受到训练样本大小的影响，样本越大训练时间越长，因此在检测速度上受训练时间制约。此外，该专利根据暴力行为中人体对象在视频图像表现为前景连通区域的相关特征，仅针对已有的视频图像进行分析，而并没对当前行为做进一步预测，以更准确的确定是否为暴力事情，这样，有可能把人物间善意的速度较快的身体接触误判为暴力事件。

发明内容

鉴于现有技术的不足，本发明的目的在于提供一种肢体冲突事件的检测方法，该方法能够根据肢体冲突事件中冲突对象的运动过程从监控视频图像序列中准确分析是否存在肢体冲突事件，从而提高冲突监控的准确率及响应效率。

本发明实现上述目的的技术方案是：

一种肢体冲突事件的检测方法，该方法由以下步骤组成：

1)运动图像处理

1.1)先将连续的多帧监控视频图像转换为灰度图像，根据当前帧和相邻的前后帧的运动对象和背景图像的相对变化，再利用对称差分法算出大致运动目标的二值图；

1.2)先利用边缘检测方法对步骤1.1)得到的二值图进行修正，再选用3×3的滤波模板利用8连通区域标记和双阈值法，滤除二值图中的噪声和空洞；

1.3)用实用人体体表面积九分法将修正后的二值图划分为多个区域，若某个区域的面积小于设定的阈值，则将其判定为运动目标无明显运动的区域并抛弃，若区域的面积大于设定的阈值，则判定为运动目标有明显运动的区域，予以保留并转入步骤2)；

2)肢体动作粗判定

利用图像投影定理，根据监控装置拍摄的画面与水平面的夹角，将步骤1.3)得到的二值图进行坐标变换，将步骤1.3)得到的运动目标的二值图分别投影至水平面和铅垂面，然后，对运动目标的投影坐标所围成的矩形空间进行标记和统计，从而确定运动目标数量，若运动目标数量大于等于2，且各自围成的空间存在相交的情况时，则转入步骤3)做进一步检测，否则不存在肢体冲突，便返回步骤1.1)；

3)肢体动作精确检测

3.1)将当前帧和参考帧分割成一系列宏块图像，对包含于步骤2)所述矩形空间内的宏块按下述方法进行块匹配：先对各运动矢量的预测值进行比较，以各运动矢量的求和绝对差值最小者的运动矢量作为搜索起始点，以大菱形模板和小菱形模板进行菱形搜索，若当前宏块与参考帧(0，0)矢量处的宏块的求和绝对差值小于设定阈值，则判定该宏块为静止块，并中止搜索，得到最佳匹配点(0，0)，若当前宏块与参考帧(0，0)矢量处的宏块的求和绝对差值大于或等于设定阈值，则判定该宏块为运动块，先采用大菱形模板对各宏块进行匹配，使得求和绝对差值最小的点位于大菱形模板的中心，再采用小菱形模板对大菱形模板内的宏块进行匹配，若求和绝对差值最小的点位于小菱形模板中心，则该点所在的宏块即为匹配块；

3.2)首先根据运动矢量可直观反应运动对象在空间位置的相对偏移量，引入设定阈值，若步骤3.1)得到的各宏块图像的运动矢量的模值大于所设定的阈值，且包含于步骤2)所述的矩形坐标空间，则判定该宏块为运动目标，并进行标记，否则即判定为背景图像；然后分别计算判定为运动目标的宏块与相邻帧图像的运动矢量差，即得到该宏块的双向运动估计量；最后，以各宏块的双向运动估计量作为特征量，将这些特征量作为输入量，构建从当前帧开始到前向多帧中各个运动目标的前向运动矢量场和从当前帧开始到后向多帧中各个运动目标的后向运动矢量场，由各个运动目标的双向运动矢量场构建肢体动作精确判断模型，计算当前帧各个运动目标的双向运动估计平均运动矢量差，根据当前帧的前向和后向多帧之间的时间差计算出当前帧中各个运动目标的双向运动估计平均矢量变化速度，若当前帧图像中至少有一个运动目标的双向运动估计平均矢量变化速度的模值都超过所设定的阈值，则最终判定存在肢体冲突事件。

上述方案中所述的实用人体体表面积九分法为现有技术，具体实施可参照“关于人体部位识别的一种模糊算法”(王芹，王然冉，姜述风，卿华，关于人体部位识别的一种模糊算法[J].科学技术与工程.Vol.4 No.8：687-690.)一文的描述。

本发明一方面利用图像序列的帧差信息快速过滤运动目标无明显运动的图像序列，同时对运动目标有明显运动的图像，根据运动图像的像素分布特性，快速锁定各个运动目标的运动区域，根据运动目标的运动信息及运动目标的数量初步判断是否存在肢体冲突；另一方面，对初步判断为肢体冲突的运动区域进行双向运动估计，通过跟踪与预测整个肢体冲突发生的过程，再构建行为模式判断模型来实现肢体冲突的精确检测，显著提高了肢体冲突事件检测的准确率及检测速度。

附图说明

图1为本发明所述肢体冲突检测方法的主流程图；

图2为本发明所述运动图像处理过程的程序流程图；

图3为本发明所述运动对象肢体动作粗判定过程的程序流程图；

图4为本发明所述运动目标肢体动作精确检测过程的程序流程图；

图5为本发明所述相邻帧基于块的运动估计方法程序流程图；

图6为本发明所述菱形搜索方法的程序流程图；

图7为本发明所述构建行为模式判断模型流程图；

图8为本发明所述菱形搜索方法的大菱形搜索模板LDSP示意图；

图9为本发明所述菱形搜索方法的小菱形搜索模板SDSP示意图；

图10为本发明所述投影方法的投影示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的详细描述，但该实施例不应理解为对本发明的限制。

参见图1，本发明所述的肢体冲突事件的检测方法由运动图像处理、肢体动作粗判定和肢体动作精确检测三个步骤组成。所述的三个步骤的具体实施方法如下所述：

1)运动图像处理

参见图2，根据相邻帧图像无明显变化的特点，滤除图像中的无明显运动的部分，具体步骤如下：

1.1.1)从监控视频序列中获取第k-1、k、k+1三帧连续图像，并将其转换为灰度图像，并通过线性变换将得到的灰度图像中所有像素点的灰度值变换至0～255的范围内，变换公式为：

$I^{\′}=\frac{(I-I_{\min })\×255}{(I_{\max }-I_{\min })}$

式中，I为变换前的灰度图像的灰度值函数，I’为变换后的灰度图像的灰度值函数，I_min为变换前的当前帧图像的最小灰度值，I_max为变换前的当前帧图像的最大灰度值；

1.1.2)根据运动对象和背景图像的相对变化，利用对称差分法检测出第k帧图像中的运动对象的二值图，以得到运动目标的轮廓，计算公式为：

d_(k-1，k)(x，y)＝|f_k(x，y)-f_k-1(x，y)|

d_(k，k+1)(x，y)＝|f_k+1(x，y)-f_k(x，y)|

b_k(x，y)＝b_(k-1，k)(x，y)∩b_(k，k+1)(x，y)

其中，所述的f_k-1(x，y)、f_k(x，y)、f_k+1(x，y)分别是连续的三帧灰度图像，所述的d_(k-1，k)(x，y)、d_(k，k+1)(x，y)是相邻两帧图像的灰度差值图像，所述的b_(k-1，k)(x，y)、d_(k，k+1)(x，y)是相邻两帧灰度差值图像的二值图，所述的b_k(x，y)是第k帧运动目标的二值图；

1.2)针对第k帧图像可能存在缺口和裂纹，利用边缘检测方法对其进行修正，并利用滤波技术去除所述b_k(x，y)二值图的噪声和空洞，步骤如下：

1.2.1)将步骤1.1.2)所得到的二值图b_k(x，y)以半径为r的圆形结构元素β_r进行膨胀，根据不同图像采集装置采集的视频序列，r可以选取不同的值，r的取值范围为：2≤r≤5，本实施例r取4，得到运动目标图像b_k ¹(x，y)；

1.2.2)利用边缘检测方法对步骤1.1.2)所得到的二值图b_k(x，y)采用Canny算子进行检测，得到边缘图像b_k ²(x，y)，将膨胀后的图像b_k ¹(x，y)与边缘检测得到的图像b_k ²(x，y)进行与运算，得到对运动目标轮廓修正后的图像b_k ³(x，y)，计算公式为：

$b_k^1(x,y)=b_k(x,y)\⊕{\mathrm{\β}}_r$

$b_k^2(x,y)=\mathrm{Canny}\left(b_k(x,y)\right)$

$b_k^3(x,y)=b_k^1(x,y)\∩b_k^2(x,y)$

1.2.3)利用图像滤波技术去除步骤1.2.2)得到的b_k ³(x，y)图像的噪声和空洞，得到滤波后的图像b_k ⁴(x，y)，采用8连通区域标记及双阈值法，选取3×3的滤波模板，步骤如下：

1.2.3.1)利用8领域概念对每个8连通区域的像素点进行标记，如果标记的像素点的个数小于设定阈值T₁，则认为该连通区域为噪声，并将其去除，否则则认为该连通区域为图像；

1.2.3.2)将去除噪声后的二值图取反，选取阈值T₂，重复步骤1.2.3.1)，待整幅图像处理完之后，再将图像取反，即可获得去除噪声和黑洞的二值图；

其中，所述的T₁和T₂可在程序调试时，根据不同图像采集装置采集的视频序列选取不同的取值，其取值范围为：100≤T₁≤1000，1000≥T₂，本实施例T₁取100，T₂取1000；

1.3)见表1，根据人物运动时各个身体部位的识别结果及实用人体体表面积九分法(可参考文献：王芹，王然冉，姜述风，卿华，关于人体部位识别的一种模糊算法[J].科学技术与工程.Vol.4No.8：687-690)，将修正后的二值图划分为多个区域，若某个区域的面积小于设定的阈值，则将其判定为运动目标无明显运动的区域并抛弃，若区域的面积大于或等于设定的阈值，则判定为运动目标有明显运动的区域，予以保留并转入步骤2)，步骤如下：

1.3.1)剔除步骤1.2.3.2)处理后得到的二值图中，运动对象无明显运动的区域，计算公式为：

S_i∈U_s  S_i≥T_s，1≤i≤n

$S_i\∉U_s$ S_i＜T_s，1≤i≤n

U_s＝Φ  i＝0

式中，所述的U_s为运动目标图像有明显运动的区域的面积集合，所述的S_i为运动目标图像各区域的面积，所述的T_s为判定运动目标图像各区域有无相对运动的阈值，根据实用人体体表面积九分法表，参见表1，T_s的取值范围为：S×0.02≤T_s≤S×0.03，本实施例t_s取S×0.02，S为各个运动对象的体表面积，所述的n为运动目标图像中区域的总数；

1.3.2)图像序列过滤的判定方法为：若U_s为空集，则认为第k帧图像中目标对象无明显动作，可将其滤除，否则即判定为运动目标有明显运动的区域，予以保留并转入步骤2)；

表1实用人体体表面积九分法表

2)肢体动作粗判定

参见图3，根据肢体冲突事件至少有两个运动目标，且有明显肢体接触的特点，通过确定图像序列中运动目标数量、所在区域及其相互独立性即可粗判定是否可能存在肢体冲突，方法为：根据第k帧图像在θ方向上的投影特性可快速判断运动目标的数量及其所在的区域，并对目标区域进行标记和统计，具体步骤如下：

2.1)参见图10，利用图像投影定理，计算滤波后的二值图b_k ⁴(x，y)在θ方向上的投影，定性确定运动目标所在区间，其中，所述的θ为监控装置安装位置使得视频序列可能产生的偏转角度，用弧度表示，本实施例中θ＝0，所述的投影计算公式为：

$p_{\mathrm{kx}}=p_{\mathrm{kx}}(t,0)=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}{b}_k^4(i,n)$

$p_{\mathrm{ky}}=p_{\mathrm{ky}}(t,\frac{\mathrm{\π}}{2})=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{b}_k^4(m,i)$

其中，所述的p_kx为第k帧滤波后的运动目标图像b_k ⁴(x，y)在水平面内的投影，p_ky为第k帧滤波后的运动目标图像b_k ⁴(x，y)在铅垂面内的投影，m和n分别为运动目标图像的行数和列数，b⁴ _k(i，n)和b⁴ _k(m，i)分别为运动目标图像在水平投影及垂直投影方向的像素，通过上述公式可进一步确定运动目标所在的投影区间为(x_i，y_i)，(x_i+1，y_i)，(x_i，y_i+1)，(x_i+1，y_i+1)四点围成的矩形空间；

2.2)对运动目标所在空间进行标记和统计，确定运动目标数量，并根据目标数量和所在空间相交与否来判断是否可能存在肢体冲突事件，若运动目标数量小于2，或者运动目标数量大于等于2且不相交时，则不存在冲突事件；否则可能存在冲突事件，需进一步对图像做肢体动作精确检测。

3)参见图4，所述运动目标肢体动作精确检测的过程为：

根据发生肢体冲突时运动目标由所在空间不相交-所在空间相交-再次分开这一特殊运动过程，对当前帧中运动目标图像进行双向运动估计和特征提取，再建立行为模式判断模型，然后根据输出结果准确判定是否存在肢体冲突，该过程的具体步骤如下：

3.1)参见图5，利用块匹配方法，以第k-1帧作为参考帧，对第k帧运动图像序列进行双向运动估计，具体步骤如下：

3.1.1)将第k、k-1帧图像分割成一系列子块图像，宏块大小为M×N，宏块数量为L，选取宏块内求和绝对差值SAD作为判别块匹配的准则，计算公式为：

$\mathrm{SAD}(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|f_k(m,n)-f_{k-1}(m+i,n+j)|$

其中，所述的f_k，f_k-1分别为当前帧和参考帧图像的灰度值，(i，j)是位移矢量，若某一子块的位移矢量(i₀，j₀)使得上式SAD(i₀，j₀)达到最小，则该子块即为要找的最佳匹配块，该矢量即为最佳匹配点；

3.1.2)采用SAD比较法通过对各预测矢量进行比较，取SAD最小者作为搜索起始点，公式表示为：

SAD_n＝min{SDA₁，SDA₂……SDA_M}or SAD_n＝min{SDA₁，SDA₂……SDA_N}

V₀(x₀，y₀)＝V_n(x_n，y_n)

其中，所述的SAD_n是宏块内最小的SAD值，所述的M×N是宏块的大小，所述的V_n(x_n，y_n)是SAD_n对应的矢量，所述的(x₀，y₀)是预测的搜索起始点；

3.1.3)参见图6、图8、图9，采用菱形搜索(DS)作为搜索策略，针对当前帧视频图像中运动矢量的基本规律，选用两种搜索模板：一种为大菱形搜索模板LDSP，该模板由中心点及围绕中心点的8个点构成；一种为小菱形搜索模板SDSP，该模板由中心点及围绕中心点的4个点构成；

3.1.4)针对各运动图像序列在时间和空间上的高相关性，对上述DS方法进行改进，具体改进方法为：

在搜索之前使用运动预测，引入一设定阈值T_g，T_g的取值范围为：512≤T_g≤1024，本实施例中T_g取512(具体可参考文献：K.K.Ma，P.I.Hosur.Performance Report of Motion Vector Field Adaptive SearchTechnique(MVFAST).MPEG2000/m5851，March 2000)，如果当前宏块与参考帧(0，0)矢量处宏块的SAD值小于该阈值，则判定当前宏块属于静止块并终止搜索，得到最佳匹配点(0，0)，否则判定当前块为运动块，需要使用DS方法进行块匹配，即先重复使用LDSP，直到最佳匹配块落在LDSP中心，以实现搜索过程粗定位，再进一步使用SDSP在LDSP菱形区域所围的8个点中搜索，实现最佳匹配块的准确定位；

3.2)特征提取：对第k帧图像及其相邻帧k+1、k-1的运动图像序列进行双向运动估计后，分别提取前向及后向运动的特征量，具体步骤为：

3.2.1)根据运动矢量可直观反应运动对象在空间位置的相对偏移量，引入设定阈值z_T，z_T的取值范围为5≤z_T≤10，本实施例z_T取5，将3.1.1)步骤分割得到的每一个宏块的运动矢量模值||z(i)||与设定阈值z_T进行比较，若矢量模值大于阈值，且包含于步骤2.1)所确定的矩形空间中，则判定该宏块为运动目标S_a，否则该宏块为背景S_b，计算公式为：

$\left\{\begin{array}{cc}z\left(i\right)\&Element;S_a& \left|\right|z\left(i\right)\left|\right|>z_T,0<i<L\\ z\left(i\right)\&Element;S_b& \left|\right|z\left(i\right)\left|\right|\&le;z_T,0<i<L\end{array}\right.$

3.2.2)所述的特征量为步骤3.1.4)双向运动估计后相邻帧中各个运动目标的运动矢量差，计算公式为：

${\&dtri;z}_{(k,k+1)}\left(i\right)=|z_{k+1}\left(i\right)-z_k\left(i\right)|$

${\&dtri;z}_{(k-1,k)}\left(i\right)=|z_k\left(i\right)-z_{k-1}\left(i\right)|$

式中，

和

分别是运动目标S_a中第i个宏块的前向运动估计和后向运动估计的运动矢量差，z_k+1(i)、z_k-1(i)、z_k(i)分别为第k+1、k、k-1帧图像中运动估计后的第i个宏块的运动矢量；

3.3)参见图7，构建行为模式判断模型：首先进行模型输入量的选取，再对所述的输入量进行分析处理，从而构建运动目标的行为判断模型，具体步骤为：

3.3.1)将从第k帧开始进行双向运动估计的特征量作为输入量，构建第k帧到第k-n帧和第k+m帧运动估计后各个运动目标的运动矢量场，公式表示为：

$\left\{\begin{array}{ccccc}{\&dtri;z}_{(k,k+1)}^i\left(1\right)& {\&dtri;z}_{(k,k+1)}^i\left(2\right)& ...& {\&dtri;z}_{(k,k+1)}^i(a_k-1)& {\&dtri;z}_{(k,k+1)}^i\left(a_k\right)\\ {\&dtri;z}_{(k+1,k+2)}^i\left(1\right)& {\&dtri;z}_{(k+1,k+2)}^i\left(2\right)& ...& {\&dtri;z}_{(k+1,k+2)}^i(a_{k+1}-1)& {\&dtri;z}_{(k+1,k+2)}^i\left(a_{k+1}\right)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ {\&dtri;z}_{(k+m-2,k+m-1)}^i\left(1\right)& {\&dtri;z}_{(k+m-2,k+m-1)}^i\left(2\right)& ...& {\&dtri;z}_{(k+m-2,k+m-1)}^i(a_{k+m-1}-1)& {\&dtri;z}_{(k+m-2,k+m-1)}^i\left(a_{k+m-1}\right)\\ {\&dtri;z}_{(k+m-1,k+m)}^i\left(1\right)& {\&dtri;z}_{(k+m-1,k+m)}^i\left(2\right)& ...& {\&dtri;z}_{(k+m-1,k+m)}^i(a_{k+m}-1)& {\&dtri;z}_{(k+m-1,k+m)}^i\left(a_{k+m}\right)\end{array}\right.---I)$

$\left\{\begin{array}{ccccc}{\&dtri;z}_{(k,k-1)}^i\left(1\right)& {\&dtri;z}_{(k,k-1)}^i\left(2\right)& ...& {\&dtri;z}_{(k,k-1)}^i(a_k-1)& {\&dtri;z}_{(k,k-1)}^i\left(a_k\right)\\ {\&dtri;z}_{(k-1,k-2)}^i\left(1\right)& {\&dtri;z}_{(k-1,k-2)}^i\left(2\right)& ...& {\&dtri;z}_{(k-1,k-2)}^i(a_{k-1}-1)& {\&dtri;z}_{(k-1,k-2)}^i\left(a_{k-1}\right)\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ {\&dtri;z}_{(k-n+2,k-n+1)}^i\left(1\right)& {\&dtri;z}_{(k-n+2,k-n+1)}^i\left(2\right)& ...& {\&dtri;z}_{(k-n+2,k-n+1)}^i(a_{k-1}-1)& {\&dtri;z}_{(k-n+2,k-n+1)}^i\left(a_{k-n+1}\right)\\ {\&dtri;z}_{(k-n+1,k-n)}^i\left(1\right)& {\&dtri;z}_{(k-n+1,k-n)}^i\left(2\right)& ...& {\&dtri;z}_{(k-n+1,k-n)}^i(a_k-1)& {\&dtri;z}_{(k-n+1,k-n)}^i\left(a_{k-n+1}\right)\end{array}\right\}---\mathrm{II})$

式中，式I)为前向运动矢量场，式II)为后向运动矢量场，i为第i个运动目标的标记，a_k-n…a_k+m为第k-n帧到第k+m帧各帧中运动目标包含宏块的个数；

3.3.2)对构建的运动矢量场中各帧的特征量进行统计平均，得到某帧中各个运动目标的前向运动估计及后向运动估计的平均矢量差Gz_i(p)，计算公式为：

$\left\{\begin{array}{c}{\mathrm{Gz}}_i\left(p\right)=\frac{1}{a_p}\underset{j=1}{\overset{a_p}{\mathrm{\&Sigma;}}}{\&dtri;z}_{(p,p+1)}^i\left(j\right)=\frac{1}{a_p}\underset{j=1}{\overset{a_p}{\mathrm{\&Sigma;}}}{\&dtri;z}_{(p,p-1)}^i\left(j\right),p\&Element;(k-n,k+m)\\ \left\{\begin{array}{ccccc}{\mathrm{Gz}}_i\left(1\right)& {\mathrm{Gz}}_i\left(2\right)& ...& {\mathrm{Gz}}_i(m+n)& {\mathrm{Gz}}_i(m+n+1)\end{array}\right\}\end{array}\right.$

式中，i为第i个运动目标的标记，p为第k-n帧至第k+m帧中的一帧，a_p为第p帧中包含的宏块的个数，m+n+1为k-n到k+m的帧数差值；

3.3.3)计算第k帧双向运动估计的各个运动目标的平均矢量变化速度

计算公式为：

$\stackrel{\&OverBar;}{{\mathrm{Gz}}_i}=\frac{1}{\mathrm{\&tau;}}\underset{j=k-n}{\overset{k+m}{\mathrm{\&Sigma;}}}{\mathrm{Gz}}_i\left(j\right)$

式中，τ为k-n帧到k+m帧的时间差；

3.3.4)根据肢体冲突行为的运动特征建立行为模式判断模型的判断准则：根据运动目标在空间位置的偏移量的变化速度蕴含了肢体冲突的剧烈程度，设定阈值Z_H，Z_H的取值范围为：5≤Z_H≤10，本实施例Z_H取5，若当前帧图像中，至少有一个运动目标的双向运动估计的平均矢量变化速度的模值都大于阈值Z_H时，则最终判定存在肢体冲突事件，用公式表示为：

式中，i为第i个运动目标的标记，

分别为当前帧的前向运动估计平均矢量变化速度和后向运动估计平均矢量变化速度。

Claims (1)

1.一种肢体冲突事件的检测方法，该方法由以下步骤组成：

1)运动图像处理

1.1)先将连续的多帧监控视频图像转换为灰度图像，根据当前帧和相邻的前后帧的运动对象和背景图像的相对变化，再利用对称差分法算出大致运动目标的二值图；

1.2)先利用边缘检测方法对步骤1.1)得到的二值图进行修正，再选用3×3的滤波模板利用8连通区域标记和双阈值法，滤除二值图中的噪声和空洞；

1.3)用实用人体体表面积九分法将修正后的二值图划分为多个区域，若某个区域的面积小于设定的阈值，则将其判定为运动目标无明显运动的区域并抛弃，若区域的面积大于设定的阈值，则判定为运动目标有明显运动的区域，予以保留并转入步骤2)；

2)肢体动作粗判定

利用图像投影定理，根据监控装置拍摄的画面与水平面的夹角，将步骤1.3)得到的二值图进行坐标变换，将步骤1.3)得到的运动目标的二值图分别投影至水平面和铅垂面，然后，对运动目标的投影坐标所围成的矩形空间进行标记和统计，从而确定运动目标数量，若运动目标数量大于等于2，且各自围成的空间存在相交的情况时，则转入步骤3)做进一步检测，否则不存在肢体冲突，便返回步骤1.1)；

3)肢体动作精确检测

3.1)将当前帧和参考帧分割成一系列宏块图像，对包含于步骤2)所述矩形空间内的宏块按下述方法进行块匹配：先对各运动矢量的预测值进行比较，以各运动矢量的求和绝对差值最小者的运动矢量作为搜索起始点，以大菱形模板和小菱形模板进行菱形搜索，若当前宏块与参考帧(0，0)矢量处的宏块的求和绝对差值小于设定阈值，则判定该宏块为静止块，并中止搜索，得到最佳匹配点(0，0)，若当前宏块与参考帧(0，0)矢量处的宏块的求和绝对差值大于或等于设定阈值，则判定该宏块为运动块，先采用大菱形模板对各宏块进行匹配，使得求和绝对差值最小的点位于大菱形模板的中心，再采用小菱形模板对大菱形模板内的宏块进行匹配，若求和绝对差值最小的点位于小菱形模板中心，则该点所在的宏块即为匹配块；

3.2)首先根据运动矢量可直观反应运动对象在空间位置的相对偏移量，引入设定阈值，若步骤3.1)得到的各宏块图像的运动矢量的模值大于所设定的阈值，且包含于步骤2)所述的矩形坐标空间，则判定该宏块为运动目标，并进行标记，否则即判定为背景图像；然后分别计算判定为运动目标的宏块与相邻帧图像的运动矢量差，即得到该宏块的双向运动估计量；最后，以各宏块的双向运动估计量作为特征量，将这些特征量作为输入量，构建从当前帧开始到前向多帧中各个运动目标的前向运动矢量场和从当前帧开始到后向多帧中各个运动目标的后向运动矢量场，由各个运动目标的双向运动矢量场构建肢体动作精确判断模型，计算当前帧各个运动目标的双向运动估计平均运动矢量差，根据当前帧的前向和后向多帧之间的时间差计算出当前帧中各个运动目标的双向运动估计平均矢量变化速度，若当前帧图像中至少有一个运动目标的双向运动估计平均矢量变化速度的模值都超过所设定的阈值，则最终判定存在肢体冲突事件。

Images