CN103020611A - 检测打架行为的方法 - Google Patents
检测打架行为的方法 Download PDFInfo
- Publication number
- CN103020611A CN103020611A CN2012105959364A CN201210595936A CN103020611A CN 103020611 A CN103020611 A CN 103020611A CN 2012105959364 A CN2012105959364 A CN 2012105959364A CN 201210595936 A CN201210595936 A CN 201210595936A CN 103020611 A CN103020611 A CN 103020611A
- Authority
- CN
- China
- Prior art keywords
- human body
- body contour
- contour outline
- image
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种检测打架行为的方法,包括:检测每帧图像中的人体轮廓;确定到图像中任意两个人体轮廓之间的距离小于阈值,且在若干帧后的图像内,检测到倒地的人体轮廓,则确定出现打架行为。本发明的方法,通过任意两个人体轮廓之间的距离、以及若干帧后人体是否处于倒地确定打架过程,不需要用户用眼睛检测,减少了打架现象被不能被及时发现的情况。
Description
技术领域
本发明涉及安防领域,具体而言,涉及一种检测打架行为的方法。
背景技术
目前在安防领域中,通过摄像头检测当前区域内的事件,例如:检测当前区域内的活动的人或动物等。
现有的检测技术只能拍摄图像的内容,不能对图像的内容做进一步的分析。当图像中出现人员有打架现象,用户只能通过眼睛观察判断后才能确定,如果当时没有看到,则这些行为会被忽略。
发明内容
本发明旨在提供一种检测打架行为的方法,以解决上述图像中出现的打架现象被忽略的问题。
在本发明的实施例中,提供了一种检测打架行为的方法,包括:
检测每帧图像中的人体轮廓;
确定到图像中任意两个人体轮廓之间的距离小于阈值,且在若干帧后的图像内,检测到倒地的人体轮廓,则确定出现打架行为。
本发明的方法,通过任意两个人体轮廓之间的距离、以及若干帧后人体是否处于倒地确定打架过程,不需要用户用眼睛检测,减少了打架现象被不能被及时发现的情况。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了实施例的流程图;
图2示出了实施例中检测过程的流程图;
图3示出了实施例中的背景图像;
图4示出了实施例中的当前图像;
图5示出了实施例中差分图像;
图6示出了实施例中选择轮廓点的示意图;
图7示出了实施例中得到的轮廓的示意图;
图8示出了实施例分类器分离的人体轮廓和周围其它物体图像的示意图;
图9示出了实施例中腐蚀过程的示意图;
图10示出了实施例中膨胀过程的示意图;
图11示出了实施例中检测到人体矩形轮廓的示意图;
图12示出了实施例中检测倒地的人体矩形轮廓的示意图。
具体实施方式
下面将参考附图并结合实施例,来详细说明本发明。
参见图1,实施例中的步骤包括:
S11:检测每帧图像中的人体轮廓;
S12:确定到图像中任意两个人体轮廓之间的距离小于阈值,且在若干帧后的图像内,检测到倒地的人体轮廓,则确定出现打架行为。
其中,阈值可根据两个人之间的水平像素点的数量设置。
实施例中的方法,通过任意两个人体轮廓之间的距离、以及人体的上肢高度确定打架过程,不需要用户用眼睛检测,减少了打架现象被不能被及时发现的情况。
优选地,参见图2,实施例中的所述检测的过程包括:
S21:将当前帧的图像二值化,得到差分图像;
取图3所示的彩色图像作为背景图像,从图4所示的第二帧彩色图像开始,将当前图像与背景图像简单相减取绝对值并二值化得到图5所示的差分图像--d(i,j)。
S22:逐行扫描所述差分图像中的像素点,如果扫描到的像素点为白色像素点,则根据相邻像素点的灰度,遍历到由多个白色像素点构成的封闭区域的轮廓;
可采用基于连通性的边界跟踪算法,获得提取整个图像序列中行人的轮廓。把轮廓以点序列的形式存储。
轮廓线上点,与其相邻点的灰度值有一定的跳跃,故通过灰度值的对比,就可以将这些点提取出来。参见图6,为了简单,去掉了图像边框上所有象素点,每个被提取的象素点A,与其周围的8个点作比较,当某点周围8个参考点有一个不都与之相同时,这个点就是轮廓点。
边界跟踪算法先选择一起始点s∈Sc,然后沿顺时针或逆时针利用连通性跟踪边界直到回到起始点。
已知像素p,q∈S,如果存在一条从p到q的路径,且路径上的全部像素都包含在S中,则称p与q是连通的。如图7所示的在差分图像上得到的像素点。
连通性(connectivity)是等价关系.对属于S的任意三个像素p、q和r,有下列性质:
1)像素p与p本身连通(自反性).
2)如果p与q连通,则q与p连通(互换性).
3)如果p与q连通且q与r连通,则p与r连通(传递性).
S23:确定包含所述封闭区域的轮廓的边界像素点的最小外接矩形;
对于查找出的轮廓点序列,计算这个序列中所有点在水平和竖直方向上的最小值和最大值Xmax,Ymin,Xmax,Ymax。则外接矩形的左上角坐标和宽高为(Xmin,Ymin),width=Xmax-Xmin+1,height=Ymax-Ymin+1。
S24:采用训练集识别所述最小外接矩形内的人体轮廓。
对外接矩形区域基于梯度直方图特征HOG的支持向量机的分类器SVM进行人体轮廓检测。
该分类器可训练出一个分类平面,如图8所示,将能将输入图像中的人体图像和非人体图像区分开。
使用支持向量机法进行人体检测的过程如下:
1)训练:选取合适的核函数,k(xi,xj)。
2)最小化||w||,在ωi(w·xi-b)≥1-ξi的条件下。
3)只存储非零的αi和相应的xi(它们是支持向量)。
4)将图像按一定比例缩放到不同尺度,在每一个尺度下使用64*128大小的窗口扫描图像。然后再对每个窗口下的图像进行分类。
6)其中模式X为输入人体区域。
7)对待检测区域的检测策略是从上到下,从左到右,对每个64*128大小的的窗口进行分类。
8)再对图像进行缩小,再进行分类,直到待检测区域已经小于64*128。
优选地,上述实施例中,还包括:对图5中的差分图像执行形态学运算,将运算的结果执行后续操作。
对于差分图像先进行形态学开运算去除掉孤立的小点,噪声,毛刺及小桥。再通过形态学闭运算弥合断裂的人体区域。然后输出二值图像作为后续处理。
一般意义的腐蚀概念可参见图9,定义为:X用B来腐蚀,表示为:
膨胀可以看作是腐蚀的对偶运算,参见图10,其定义是:把结构元素B做关于原点的映射,再平移a后得到(BV)a,若(BV)a与X的交集不为空,我们记下这个BV a的原点a,所有满足上述条件的a点组成的集合称作X被B膨胀的结果。
腐蚀和膨胀不是互逆运算,所以可以级联使用。先腐蚀后膨胀的过程称为开运算。
形态学开运算用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。
先膨胀后腐蚀的过程称为闭运算。用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。X用B来闭合,表示为:
优选地,实施例中,所述确定出现打架行为的过程包括:
如果任意两个人体轮廓之间的距离为:框住人体轮廓的最小矩形宽度的1.3-1.7倍;则触发预报警;
在若干帧后,如果检测到处于正、负30°范围内的接近水平的人体轮廓,则确定出现打架行为;触发报警。
经过大量的试验,当在正、负0-15度范围内,有效率是90%;在正、负15-30度范围之外,有效率75%;可以得出,在阈值范围之外,存在大量的误报现象,影响了正常的安防工作。
例如,参见图11;当前帧识别到若干人距离较近,在若干帧之后,存在如图12所示的处于倒地的人体轮廓,则触发报警。
优选地,上述实施例中,对于差分图像中的人体轮廓,由于前后相邻两帧图像存在时间差,在时间差中,拍摄的后一帧图像中,可能存在新进入拍摄区域的人,为追踪图像中的每个人,可为图像中识别的每个人体轮廓建立一个链表,用于存储其在每帧图像中的轨迹,如位置记录。
优选地,实施例中,所述检测每帧图像中的每个人体轮廓之后,还包括:与相邻的上一帧图像中距离最近的人体轮廓进行比较,确定是否为同一个人体轮廓;
如果是,则更新该人体轮廓的移动轨迹;
如果不是,则为该人体轮廓建立对应的移动轨迹。可根据每个人体轮廓在图像的中心位置作为移动轨迹。
优选地,所述确定是否为同一个人体轮廓的过程包括:
如果确定到差分图像中的两个人体轮廓的交织面积Scross>min(Spre,Stemp)×R,则认为是同一个人体轮廓;
其中Scross=Widthcross×Heightcross,
Widthcross=min(rightpre,righttemp)-max(leftpre,lefttemp)
Heightcross=min(Bottompre,Bottomtemp)-max(Toppre,Toptemp);
Widthcross为投影到水平方向上的交叉部分的长度。
Heightcross为投影到垂直方向上的交叉部分的长度。
rightpre为前一帧轮廓的右边界的值。
righttemp为当前帧轮廓的右边界的值。
leftpre为前一帧轮廓的左边界的值。
lefttemp为当前帧轮廓的左边界的值。
Bottompre为前一帧轮廓的下边界的值。
Bottomtemp为当前帧轮廓的下边界的值
Toppre为前一帧轮廓的上边界的值。
Toptemp为当前帧轮廓的上边界的值。
R=0.4,所述R为交叉比例。
优选地,所述更新该人体轮廓的移动轨迹的过程包括:
将人体轮廓在当前帧中图像的位置坐标与相邻的上一帧图像的位置坐标存在一起;
所述为该人体轮廓建立对应的移动轨迹的过程包括:
为该人体轮廓赋予ID,记录该人体轮廓在当前帧中图像的位置坐标。
优选地,上述实施例中,通过追踪每个人体轮廓的方式,记录图像中存在的人数,并能在出现打架情况后,在当前图像或历史图像中以明显的颜色标示打架人员,由于记录了人体轮廓在图像中的位置,可在之前的历史图像中,追踪打架的人员的位置。为后续的查找过程提供的便利。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种检测打架行为的方法,其特征在于,包括:
检测每帧图像中的人体轮廓;
确定到图像中任意两个人体轮廓之间的距离小于阈值,且在若干帧后的图像内,检测到倒地的人体轮廓,则确定出现打架行为。
2.根据权利要求1所述的方法,其特征在于,所述检测人体轮廓的过程包括:
将当前帧的图像与背景图像相减的绝对值二值化,得到差分图像;
逐行扫描所述差分图像中的像素点,如果扫描到的像素点为白色像素点,则根据相邻像素点的灰度,遍历到由多个白色像素点构成的封闭区域的轮廓;
确定包含所述封闭区域的轮廓的边界像素点的最小外接矩形;
采用训练集识别所述最小外接矩形内的人体轮廓。
3.根据权利要求2所述的方法,其特征在于,还包括:对所述差分图像执行形态学运算,将运算的结果执行后续操作。
4.根据权利要求2所述的方法,其特征在于,所述识别最小外接矩形内的人体轮廓包括:
对外接矩形区域基于梯度直方图特征HOG的支持向量机的分类器SVM进行人体轮廓检测。
5.根据权利要求1所述的方法,其特征在于,所述:
所述阈值的范围为:框住人体轮廓的最小矩形宽度的1.3-1.7倍;
如果检测到处于正、负30°范围内的接近倒地的人体轮廓,则确定出现打架行为;
还包括:触发报警。
6.根据权利要求1或5所述的方法,其特征在于,所述检测每帧图像中的每个人体轮廓之后,还包括:
与相邻的上一帧图像中距离最近的人体轮廓进行比较,确定是否为同一个人体轮廓;
如果是,则更新该人体轮廓的移动轨迹;
如果不是,则为该人体轮廓建立对应的移动轨迹。
7.根据权利要求6所述的方法,其特征在于,所述确定是否为同一个人体轮廓的过程包括:
如果确定到两个人体轮廓的交织面积Scross>min(Spre,Stemp)×R,则认为是同一个人体轮廓;
其中Scross=Widthcross×Heightcross,
Widthcross=min(rightpre,righttemp)-max(leftpre,lefttemp)
Heightcross=min(Bottompre,Bottomtemp)-max(Toppre,Toptemp);
Widthcross为投影到水平方向上的交叉部分的长度;
Heightcross为投影到垂直方向上的交叉部分的长度;
rightpre为前一帧轮廓的右边界的值;
righttemp为当前帧轮廓的右边界的值;
leftpre为前一帧轮廓的左边界的值;
lefttemp为当前帧轮廓的左边界的值;
Bottompre为前一帧轮廓的下边界的值;
Bottomtemp为当前帧轮廓的下边界的值;
Toppre为前一帧轮廓的上边界的值;
Toptemp为当前帧轮廓的上边界的值;
R=0.4,所述R为交叉比例。
8.根据权利要求6所述的方法,其特征在于,所述更新该人体轮廓的移动轨迹的过程包括:
将人体轮廓在当前帧中图像的位置坐标与相邻的上一帧图像的位置坐标存在一起;
所述为该人体轮廓建立对应的移动轨迹的过程包括:
为该人体轮廓赋予ID,记录该人体轮廓在当前帧中图像的位置坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210595936.4A CN103020611B (zh) | 2012-12-30 | 2012-12-30 | 检测打架行为的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210595936.4A CN103020611B (zh) | 2012-12-30 | 2012-12-30 | 检测打架行为的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020611A true CN103020611A (zh) | 2013-04-03 |
CN103020611B CN103020611B (zh) | 2016-06-29 |
Family
ID=47969202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210595936.4A Expired - Fee Related CN103020611B (zh) | 2012-12-30 | 2012-12-30 | 检测打架行为的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020611B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279737A (zh) * | 2013-05-06 | 2013-09-04 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
CN105957077A (zh) * | 2015-04-29 | 2016-09-21 | 国网河南省电力公司电力科学研究院 | 基于视觉显著性分析的输电线路异物检测方法 |
CN106210634A (zh) * | 2016-07-18 | 2016-12-07 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人员倒地报警方法和装置 |
CN109214390A (zh) * | 2017-06-29 | 2019-01-15 | 国网江苏省电力公司泰州供电公司 | 基于机器视觉原理的栅栏状态检测方法及系统 |
CN110298323A (zh) * | 2019-07-02 | 2019-10-01 | 中国科学院自动化研究所 | 基于视频分析的打架检测方法、系统、装置 |
CN110482390A (zh) * | 2019-08-29 | 2019-11-22 | 南京市特种设备安全监督检验研究院 | 一种自动扶梯/自动人行道夹角人员误入监测识别预警系统及监测识别方法 |
CN111445370A (zh) * | 2019-11-01 | 2020-07-24 | 泰州市海陵区一马商务信息咨询有限公司 | 多功能乘坐防卫报警系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750709A (zh) * | 2012-05-31 | 2012-10-24 | 中国科学院自动化研究所 | 利用视频检测打架行为的方法和装置 |
CN102799856A (zh) * | 2012-06-15 | 2012-11-28 | 天津大学 | 基于双通道红外信息融合的人体动作识别方法 |
-
2012
- 2012-12-30 CN CN201210595936.4A patent/CN103020611B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750709A (zh) * | 2012-05-31 | 2012-10-24 | 中国科学院自动化研究所 | 利用视频检测打架行为的方法和装置 |
CN102799856A (zh) * | 2012-06-15 | 2012-11-28 | 天津大学 | 基于双通道红外信息融合的人体动作识别方法 |
Non-Patent Citations (1)
Title |
---|
郁映卓: "《基于人体运动特征的异常行为检测和姿态识别》", 《CNKI中国优秀硕士学位论文全文数据库(电子期刊)》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279737A (zh) * | 2013-05-06 | 2013-09-04 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
CN103279737B (zh) * | 2013-05-06 | 2016-09-07 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
CN105957077A (zh) * | 2015-04-29 | 2016-09-21 | 国网河南省电力公司电力科学研究院 | 基于视觉显著性分析的输电线路异物检测方法 |
CN105957077B (zh) * | 2015-04-29 | 2019-01-15 | 国网河南省电力公司电力科学研究院 | 基于视觉显著性分析的输电线路异物检测方法 |
CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
CN106210634A (zh) * | 2016-07-18 | 2016-12-07 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人员倒地报警方法和装置 |
CN109214390A (zh) * | 2017-06-29 | 2019-01-15 | 国网江苏省电力公司泰州供电公司 | 基于机器视觉原理的栅栏状态检测方法及系统 |
CN109214390B (zh) * | 2017-06-29 | 2022-02-08 | 国网江苏省电力公司泰州供电公司 | 基于机器视觉原理的栅栏状态检测方法及系统 |
CN110298323A (zh) * | 2019-07-02 | 2019-10-01 | 中国科学院自动化研究所 | 基于视频分析的打架检测方法、系统、装置 |
CN110298323B (zh) * | 2019-07-02 | 2021-10-15 | 中国科学院自动化研究所 | 基于视频分析的打架检测方法、系统、装置 |
CN110482390A (zh) * | 2019-08-29 | 2019-11-22 | 南京市特种设备安全监督检验研究院 | 一种自动扶梯/自动人行道夹角人员误入监测识别预警系统及监测识别方法 |
CN111445370A (zh) * | 2019-11-01 | 2020-07-24 | 泰州市海陵区一马商务信息咨询有限公司 | 多功能乘坐防卫报警系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103020611B (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020611A (zh) | 检测打架行为的方法 | |
Javed et al. | Tracking and object classification for automated surveillance | |
CN103093212B (zh) | 基于人脸检测和跟踪截取人脸图像的方法和装置 | |
CN103077373B (zh) | 基于上肢推搡检测打架行为的方法 | |
AU2017211712A1 (en) | Methods and systems for drowning detection | |
CN110223322B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
EP2345999A1 (en) | Method for automatic detection and tracking of multiple objects | |
CN103679118A (zh) | 一种人脸活体检测方法及系统 | |
CN103077375B (zh) | 检测打架行为的方法 | |
Llorca et al. | A vision-based system for automatic hand washing quality assessment | |
CN104123544A (zh) | 基于视频分析的异常行为检测方法及系统 | |
CN104616006B (zh) | 一种面向监控视频的胡须人脸检测方法 | |
CN103093274A (zh) | 基于视频的行人计数的方法 | |
CN103049748B (zh) | 行为监测方法及装置 | |
Hernández et al. | People counting with re-identification using depth cameras | |
CN103049746B (zh) | 基于面部识别的检测打架行为的方法 | |
Nosheen et al. | Efficient Vehicle Detection and Tracking using Blob Detection and Kernelized Filter | |
KR101542206B1 (ko) | 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법 | |
Hilario et al. | Pedestrian detection for intelligent vehicles based on active contour models and stereo vision | |
JP2014149597A (ja) | 通行物体検出装置 | |
Ekinci et al. | Background estimation based people detection and tracking for video surveillance | |
CN103077374B (zh) | 基于上肢高度检测打架行为的方法 | |
KR101985869B1 (ko) | 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법 | |
JP6851246B2 (ja) | 物体検出装置 | |
Pervaiz et al. | An optimized system for human behaviour analysis in E-learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160629 Termination date: 20191230 |
|
CF01 | Termination of patent right due to non-payment of annual fee |