CN103077373A - 基于上肢推搡检测打架行为的方法 - Google Patents

Abstract

本发明提供了一种基于上肢推搡检测打架行为的方法，检测每帧图像中的人体轮廓；确定到图像中任意两个人体轮廓之间的距离小于阈值，且检测到属于所述两个人体轮廓的上肢出现了融合；在预定的时间内，检测到所述两个人体轮廓之间的距离大于阈值；确定出现打架行为。本发明的方法，通过任意两个人体轮廓之间的距离、以及人体的推搡确定打架过程，不需要用户用眼睛检测，减少了打架现象被不能被及时发现的情况。

Description

基于上肢推搡检测打架行为的方法

技术领域

本发明涉及安防领域，具体而言，涉及一种基于上肢推搡检测打架行为的方法。

背景技术

目前在安防领域中，通过摄像头检测当前区域内的事件，例如：检测当前区域内的活动的人或动物等。

现有的检测技术只能拍摄图像的内容，不能对图像的内容做进一步的分析。当图像中出现人员有打架现象，用户只能通过眼睛观察判断后才能确定，如果当时没有看到，则这些行为会被忽略。

发明内容

本发明旨在提供一种基于上肢推搡检测打架行为的方法，以解决上述图像中出现的打架现象被忽略的问题。

在本发明的实施例中，提供了一种基于上肢推搡检测打架行为的方法，包括：

检测每帧图像中的人体轮廓；

确定到图像中任意两个人体轮廓之间的距离小于阈值，且检测到属于所述两个人体轮廓的上肢出现了融合；

在预定的时间内，检测到所述两个人体轮廓之间的距离大于阈值；

确定出现打架行为。

本发明的方法，通过任意两个人体轮廓之间的距离、以及人体的推搡确定打架过程，不需要用户用眼睛检测，减少了打架现象被不能被及时发现的情况。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了实施例的流程图；

图2示出了实施例中检测过程的流程图；

图3示出了实施例中的背景图像；

图4示出了实施例中的当前图像；

图5示出了实施例中差分图像；

图6示出了实施例中选择轮廓点的示意图；

图7示出了实施例中得到的轮廓的示意图；

图8示出了实施例分类器分离的人体轮廓和周围其它物体图像的示意图；

图9示出了实施例中腐蚀过程的示意图；

图10示出了实施例中膨胀过程的示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

参见图1，实施例中的步骤包括：

S11：检测每帧图像中的人体轮廓；

S12：确定到图像中任意两个人体轮廓之间的距离小于第一阈值，且检测到属于所述两个人体轮廓的上肢出现了融合；

其中，第一阈值可根据两个人之间的水平像素点的数量设置。也可按照比例确定，例如：距离为框住人体轮廓的最小矩形宽度的1.3-1.7倍

S13：在预定的时间内，检测到所述两个人体轮廓之间的距离大于第二阈值；

S14：确定出现打架行为。

实施例中的方法，通过任意两个人体轮廓之间的距离、以及人体的上肢的推搡确定打架过程，不需要用户用眼睛检测，减少了打架现象被不能被及时发现的情况。

优选地，参见图2，实施例中的所述检测的过程包括：

S21：将当前帧的图像二值化，得到差分图像；

取图3所示的彩色图像作为背景图像，从图4所示的第二帧彩色图像开始，将当前图像与背景图像简单相减取绝对值并二值化得到图5所示的差分图像--d(i，j)。

S22：逐行扫描所述差分图像中的像素点，如果扫描到的像素点为白色像素点，则根据相邻像素点的灰度，遍历到由多个白色像素点构成的封闭区域的轮廓；

可采用基于连通性的边界跟踪算法,获得提取整个图像序列中行人的轮廓。把轮廓以点序列的形式存储。

轮廓线上点，与其相邻点的灰度值有一定的跳跃，故通过灰度值的对比，就可以将这些点提取出来。参见图6，为了简单，去掉了图像边框上所有象素点，每个被提取的象素点A，与其周围的8个点作比较，当某点周围8个参考点有一个不都与之相同时，这个点就是轮廓点。

边界跟踪算法先选择一起始点s∈S_c，然后沿顺时针或逆时针利用连通性跟踪边界直到回到起始点。

已知像素p,q∈S，如果存在一条从p到q的路径，且路径上的全部像素都包含在S中，则称p与q是连通的。如图7所示的在差分图像上得到的像素点。

连通性(connectivity)是等价关系．对属于S的任意三个像素p、q和r，有下列性质：

1）像素p与p本身连通（自反性）．

2）如果p与q连通，则q与p连通（互换性）．

3）如果p与q连通且q与r连通，则p与r连通（传递性）．

S23：确定包含所述封闭区域的轮廓的边界像素点的最小外接矩形；

对于查找出的轮廓点序列,计算这个序列中所有点在水平和竖直方向上的最小值和最大值X_max，Y_min，X_max，Y_max。则外接矩形的左上角坐标和宽高为（X_min，Y_min），width=X_max-X_min+1，height=Y_max-Y_min+1。

S24：采用训练集识别所述最小外接矩形内的人体轮廓。

对外接矩形区域基于梯度直方图特征HOG的支持向量机的分类器SVM进行人体轮廓检测。

该分类器可训练出一个分类平面，如图8所示，将能将输入图像中的人体图像和非人体图像区分开。

使用支持向量机法进行人体检测的过程如下：

1）训练：选取合适的核函数，k（xi，xj）。

2）最小化||w||，在ω_i(w·x_i-b)≥1-ξ_i的条件下。

3）只存储非零的α_i和相应的x_i（它们是支持向量）。

4）将图像按一定比例缩放到不同尺度，在每一个尺度下使用64*128大小的窗口扫描图像。然后再对每个窗口下的图像进行分类。

5）分类：对于模式X，用支持向量x_i和相应的权重α_i计算判别函数式

这个函数的符号决定这个区域是不是人体。

6）其中模式X为输入人体区域。

7）对待检测区域的检测策略是从上到下，从左到右，对每个64*128大小的的窗口进行分类。

8）再对图像进行缩小，再进行分类，直到待检测区域已经小于64*128。

优选地，上述实施例中，还包括：对图5中的差分图像执行形态学运算，将运算的结果执行后续操作。

对于差分图像先进行形态学开运算去除掉孤立的小点，噪声，毛刺及小桥。再通过形态学闭运算弥合断裂的人体区域。然后输出二值图像作为后续处理。

一般意义的腐蚀概念可参见图9，定义为:X用B来腐蚀，表示为：

$E=\mathrm{X\ΘB}=\left\{x\right|{\left(B\right)}_x\⊆X\}$

膨胀可以看作是腐蚀的对偶运算，参见图10，其定义是：把结构元素B做关于原点的映射，再平移a后得到(B^V)_a，若(B^V)_a与X的交集不为空，我们记下这个B^V _a的原点a，所有满足上述条件的a点组成的集合称作X被B膨胀的结果。

腐蚀和膨胀不是互逆运算，所以可以级联使用。先腐蚀后膨胀的过程称为开运算。

形态学开运算用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。

X用B来开启表示为：

先膨胀后腐蚀的过程称为闭运算。用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。X用B来闭合，表示为： $\mathrm{CLOSE}\left(X\right)=X\·B=(X\⊕B)\mathrm{\ΘB}$

优选地，上述实施例中，所述检测属于所述两个人体轮廓的上肢出现了融合的过程包括：

确定当前帧图像内的人体轮廓的中心位置；

在所述中心位置的2倍范围内检测图像中属于不同的两个人体轮廓的两个上肢；

如果两个上肢的位置差异小于thr1＝5、且其中一个较宽的上肢的宽度与另一个较窄上肢宽度的比值小于thr2=1.5，则确定出现了融合。

上述检测过程中，需要先融合相同的手臂，对于检测到的每个人体轮廓的手臂，在检测过程中，同一个手臂，会检测出多个。

即若检测到的手臂位置差异小于阈值thr1,且手臂的大小差异小于thr2，则认定这是同一个手臂。

Distance（arm1，arm2）<thr1;

Different（arm1，arm2）<thr2;

其中thr1=5，thr2=1.5

Distance（arm1，arm2）为arm1的中心位置和arm2中心位置的欧式距离。其中，检测出手臂arm，通常采用最小的矩形框住手臂，中心位置为矩形的中心。

Different（arm1，arm2）为arm1所在矩形宽于arm2宽的比值。

在融合之后，然后判定推搡，即不同人的水平手臂发生了融合。即

arm1属于people(1)，arm2属于people(2)，

如果Distance（arm(1)，arm(2)）<thr1;

Different（arm(1），arm(2)）<thr2;

其中thr1＝5，thr2=1.5，则认为出现了推搡。

Distance（arm(1)，arm(2)）为arm1的中心位置和arm2中心位置的欧式距离。

Different（arm(1），arm(2)）为arm1所在矩形宽于arm2宽的比值。

实施例中，在预定的时间内，检测到所述两个人体轮廓之间的距离大于第二阈值的过程包括：

Distance（people（i）t1，people(i)t2）/(t2-t1)>thr3，则认定打架事件发生。t1、t2为时间，Thr3可根据景深设置为100像素/s到300像素/s之间。

经过大量的试验，当thr1、thr2、thr3满足要求时，识别的正确率较高，介于77%~87%之间；当thr1、thr2、thr3不满足要求，偏离预定值时，识别的正确率较低，小于40%，存在大量的误报现象，影响了正常的安防工作。

优选地，上述实施例中，对于差分图像中的人体轮廓，由于前后相邻两帧图像存在时间差，在时间差中，拍摄的后一帧图像中，可能存在新进入拍摄区域的人，为追踪图像中的每个人，可为图像中识别的每个人体轮廓建立一个链表，用于存储其在每帧图像中的轨迹，如位置记录。

优选地，实施例中，所述检测每帧图像中的每个人体轮廓之后，还包括：与相邻的上一帧图像中距离最近的人体轮廓进行比较，确定是否为同一个人体轮廓；

如果是，则更新该人体轮廓的移动轨迹；

如果不是，则为该人体轮廓建立对应的移动轨迹。可根据每个人体轮廓在图像的中心位置作为移动轨迹。

优选地，所述确定是否为同一个人体轮廓的过程包括：

如果确定到差分图像中的两个人体轮廓的交织面积S_cross>min(S_pre,S_temp)×R，则认为是同一个人体轮廓；

其中S_cross=Width_cross×Height_cross，

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)；

Width_cross为投影到水平方向上的交叉部分的长度。

Height_cross为投影到垂直方向上的交叉部分的长度。

right_pre为前一帧轮廓的右边界的值。

right_temp为当前帧轮廓的右边界的值。

lef驴_pre为前一帧轮廓的左边界的值。

left_temp为当前帧轮廓的左边界的值。

Bottom_pre为前一帧轮廓的下边界的值。

Bottom_temp为当前帧轮廓的下边界的值

Top_pre为前一帧轮廓的上边界的值。

Top_temp为当前帧轮廓的上边界的值。

R=0.4，所述R为交叉比例。

优选地，所述更新该人体轮廓的移动轨迹的过程包括：

将人体轮廓在当前帧中图像的位置坐标与相邻的上一帧图像的位置坐标存在一起；

所述为该人体轮廓建立对应的移动轨迹的过程包括：

为该人体轮廓赋予ID，记录该人体轮廓在当前帧中图像的位置坐标。

优选地，上述实施例中，通过追踪每个人体轮廓的方式，记录图像中存在的人数，并能在出现打架情况后，在当前图像或历史图像中以明显的颜色标示打架人员，由于记录了人体轮廓在图像中的位置，可在之前的历史图像中，追踪打架的人员的位置。为后续的查找过程提供的便利。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于上肢推搡检测打架行为的方法，其特征在于，包括：

检测每帧图像中的人体轮廓；

确定到图像中任意两个人体轮廓之间的距离小于第一阈值，且检测到属于所述两个人体轮廓的上肢出现了融合；

在预定的时间内，检测到所述两个人体轮廓之间的距离大于第二阈值；

确定出现打架行为。

2.根据权利要求1所述的方法，其特征在于，所述检测人体轮廓的过程包括：

将当前帧的图像与背景图像相减的绝对值二值化，得到差分图像；

逐行扫描所述差分图像中的像素点，如果扫描到的像素点为白色像素点，则根据相邻像素点的灰度，遍历到由多个白色像素点构成的封闭区域的轮廓；

确定包含所述封闭区域的轮廓的边界像素点的最小外接矩形；

采用训练集识别所述最小外接矩形内的人体轮廓。

3.根据权利要求2所述的方法，其特征在于，还包括：对所述差分图像执行形态学运算，将运算的结果执行后续操作。

4.根据权利要求2所述的方法，其特征在于，所述识别最小外接矩形内的人体轮廓包括：

对外接矩形区域基于梯度直方图特征HOG的支持向量机的分类器SVM进行人体轮廓检测。

5.根据权利要求4所述的方法，其特征在于，所述检测属于所述两个人体轮廓的上肢出现了融合的过程包括：

确定当前帧图像内的人体轮廓的中心位置；

在所述中心位置的2倍范围内检测图像中属于不同的两个人体轮廓的两个上肢；

如果两个上肢的位置差异小于5、且其中一个较宽的上肢的宽度与另一个较窄上肢宽度的比值小于1.5，则确定出现了融合。

6.根据权利要求1所述的方法，其特征在于，所述阈值为100像素/s与300像素/s之间。

7.根据权利要求1或5所述的方法，其特征在于，所述检测每帧图像中的每个人体轮廓之后，还包括：

与相邻的上一帧图像中距离最近的人体轮廓进行比较，确定是否为同一个人体轮廓；

如果是，则更新该人体轮廓的移动轨迹；

如果不是，则为该人体轮廓建立对应的移动轨迹。

8.根据权利要求7所述的方法，其特征在于，所述确定是否为同一个人体轮廓的过程包括：

如果确定到两个人体轮廓的交织面积S_cross>min(S_pre,S_temp)×R，则认为是同一个人体轮廓；

其中S_cross=Width_cross×Height_cross，

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)；

Width_cross为投影到水平方向上的交叉部分的长度；

Height_cross为投影到垂直方向上的交叉部分的长度；

right_pre为前一帧轮廓的右边界的值；

right_temp为当前帧轮廓的右边界的值；

left_pre为前一帧轮廓的左边界的值；

left_temp为当前帧轮廓的左边界的值；

Bottom_pre为前一帧轮廓的下边界的值；

Bottom_temp为当前帧轮廓的下边界的值；

Top_pre为前一帧轮廓的上边界的值；

Top_temp为当前帧轮廓的上边界的值；

R=0.4，所述R为交叉比例。

9.根据权利要求7所述的方法，其特征在于，所述更新该人体轮廓的移动轨迹的过程包括：

将人体轮廓在当前帧中图像的位置坐标与相邻的上一帧图像的位置坐标存在一起；

所述为该人体轮廓建立对应的移动轨迹的过程包括：

为该人体轮廓赋予ID，记录该人体轮廓在当前帧中图像的位置坐标。

Images