CN104168451B - 智能视频监控中的打斗检测方法 - Google Patents

智能视频监控中的打斗检测方法 Download PDF

Info

Publication number
CN104168451B
CN104168451B CN201410360321.2A CN201410360321A CN104168451B CN 104168451 B CN104168451 B CN 104168451B CN 201410360321 A CN201410360321 A CN 201410360321A CN 104168451 B CN104168451 B CN 104168451B
Authority
CN
China
Prior art keywords
moving mass
video image
mass
fighting
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410360321.2A
Other languages
English (en)
Other versions
CN104168451A (zh
Inventor
易军
廖银伟
聂兴勇
李太福
周伟
黄迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN201410360321.2A priority Critical patent/CN104168451B/zh
Publication of CN104168451A publication Critical patent/CN104168451A/zh
Application granted granted Critical
Publication of CN104168451B publication Critical patent/CN104168451B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种智能视频监控中的打斗检测方法，该方法采用动态能量特征来量化视频画面中发生打斗情况的可能性，动态能量特征包括动能、势能和混乱程度，这里动能需要运动速度和物体质量，势能需要物体质量和物体之间的距离，混乱程度需要物体总的运动方向和物体内部各点的运动方向，物体质量、运动速度和方向是不好获得的，本方案将物体质量简化为物体在视频画面中所占比例，物体的运动速度和方向则在之前背景差分提取前景的基础上，采取光流法获取物体内部每个点的运动方向和速度，最后结合相应的控制流程，有效实现了视频画面中的打斗检测，算法复杂度低，运算速度快，误判率低，稳定性好。

Description

智能视频监控中的打斗检测方法
技术领域
本发明涉及智能视频监控技术，更具体的说，是一种智能视频监控中的打斗检测方法，属于视频图像处理技术。
背景技术
随着科学技术的发展，智能视频监控已经在人们的生产和生活中得到广泛的应用。作为智能小区安防系统而言，智能视频监控已经从简单的视频取证逐渐发展为视频图像的智能识别。在视频图像智能识别中，通常包括人脸识别和人体异常行为检测。
现有的人体异常行为检测算法通常是针对单人情况下的异常动作检测，这种方法适用于监控区域只有一个人的情况，但是实际中在视频监控中有可能会出现多人发生暴力冲突事件，若没有及时发现予以制止，危害可能会很大，特别是小区的一些偏僻场所，若经常发生暴力事件，会严重影响小区住户的安全感。
目前，已有研究者提出通过动态能量特征来描述图像中运动团块之间的关系，从而量化画面中发生打斗的可能性，具体可以参考文献[1][2]，在上述文献中，将动能和势能相结合来描述了运动团块的动态能量特征，其中动能用于描述物体的运动速度，运动速度越大，发生较大幅度动作的概率也越大；势能用于描述两个物体之间的关系，两个物体离的越近，发生打斗的概率也越大。
采用动能和势能来描述视频图像中运动团块的关系，虽然在一定程度上可以实现多人打斗检测，但是没有考虑到人体运动的规律，当两人原地打斗时动能会比较小，动能加上势能可能会和正常情况差别不大，会很容易产生漏判，同时针对多人打斗而言，现有简单计算动能与势能的方法，难以设定动态能量特征判断阈值，从而导致误判概率较高，难以得到广泛应用。
参考文献：
[1]胡栋.人体异常行为识别算法研究与实现[D].电子科技大学,2010.
[2]原光明.基于打斗过程中运动能量特征的打斗行为识别研究[J].内江科技,2012(10):31-32.
发明内容
针对现有技术的不足，本发明提供一种智能视频监控中的打斗检测方法，该方法将运动团块的混乱程度融入动态能量特征中，解决了现有算法仅仅利用动能和势能作为动态能量特征因子所引起的误判率高的缺陷，同时，本方法利用缓存器存储连续几帧视频图像的动态能量特征值来于阈值比较，以提高算法的准确性。
为了实现上述目的，本发明所采用的具体技术方案如下：
一种智能视频监控中的打斗检测方法，其关键在于按照以下步骤进行：
步骤1：获取视频图像帧并进行目标提取，得到视频图像中的运动团块信息；
步骤2：按照EMEF＝Ek+Ep+c计算视频图像中运动团块的动态能量特征值EMEF，其中Ek为动能，Ep为势能，c为混乱程度；
步骤3：将步骤2中所得的动态能量特征值EMEF存入长度为s的缓冲区域中，并计算缓冲区域的总值MA；
步骤4：判断MA是否大于预设阈值MS，如果大于，则提示发生打斗，否则返回步骤1获取下一帧视频图像继续检测。
作为进一步描述，步骤2中运动团块的动能Ek按照计算，其中：
Pi表示视频图像帧中第i个运动团块在所有运动团块中所占有的面积比；
为第i个运动团块的动能，mi为第i个运动团块在视频图像中所占的比重，vi为第i个运动团块的移动速度；
n为视频图像中运动团块的总个数；
再进一步描述，步骤2中运动团块的势能Ep按照以下方式计算：
步骤221：按照计算两个团块之间的势能，其中G为引力常数，mi表示第i个运动团块在视频图像中所占的比重，mj表示第j个运动团块在视频图像中所占的比重，ri,j表示视频图像中第i个运动团块与第j个运动团块之间的距离，i,j∈(1,n)且i≠j，n为视频图像中运动团块的总个数；
步骤222：按照步骤221的方式计算出视频图像中n个运动团块两两之间的势能，按照排列组合总共有个值，依次记录每个值为Ep,k，
步骤223：按照计算视频图像中运动团块的势能，其中qk为步骤222中第k个值的权重系数。
结合视频图像的具体情况，步骤223中所述的权重系数其中rk表示Ep,k所对应的两个团块之间的距离，m表示个组合情况下，任一两团块之间距离的倒数之和。
更进一步描述，步骤2中运动团块的混乱程度c按照以下方式计算：
步骤231：设一个运动团块中第l个点运动速度的x分量和y分量分别为vl(x)和vl(y)，按照计算第l个点运动方向与水平线的夹角，l＝1～N，N为该运动团块的像素点个数；
步骤232：按照计算整个运动团块运动方向与水平线的夹角；
步骤233：按照计算每个点的运动方向和总运动方向的偏差；
步骤234：按照计算出该运动团块的混乱程度；
步骤235：按照步骤231-步骤234的方式分别计算n个运动团块的混乱程度，依次记为ci，i＝1～n，则该视频图像运动团块的混乱程度其中ui表示第i个运动团块混乱程度所占的权重系数，n为视频图像中运动团块的总个数。
结合视频图像的具体情况，可以设定第i个运动团块混乱程度所占的权重系数
在处理过程中，通常采用光流法计算每个运动团块的运动速度以及该运动团块中每个点的运动速度。
本发明的显著效果是：
本方案采用动态能量特征来量化视频画面中发生打斗情况的可能性，动态能量特征包括动能、势能和混乱程度，这里动能需要运动速度和物体质量，势能需要物体质量和物体之间的距离，混乱程度需要物体总的运动方向和物体内部各点的运动方向，物体质量、运动速度和方向是不好获得的，本方案将物体质量简化为物体在视频画面中所占比例，物体的运动速度和方向则在之前背景差分提取前景的基础上，采取光流法获取物体内部每个点的运动方向和速度，最后结合相应的控制流程，有效实现了视频画面中的打斗检测，算法复杂度低，运算速度快，误判率低，稳定性好。
附图说明
图1是本发明的控制流程图；
图2是图1执行报警策略的具体控制流程图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
如图1、图2所示，一种智能视频监控中的打斗检测方法，按照以下步骤进行：
步骤1：获取视频图像帧并进行目标提取，得到视频图像中的运动团块信息，这里通常利用背景差分算法提取视频图像帧中的运动团块，然后利用光流法计算每个运动团块的运动速度和方向以及该运动团块中每个点的运动速度和方向；
步骤2：按照EMEF＝Ek+Ep+c计算视频图像中运动团块的动态能量特征值EMEF，其中Ek为动能，Ep为势能，c为混乱程度；
其中，运动团块的动能Ek的计算方式很多，本实施例中按照计算，这里：
Pi表示视频图像帧中第i个运动团块在所有运动团块中所占有的面积比；
为第i个运动团块的动能，mi为第i个运动团块在视频图像中所占的比重，这里也为面积比，vi为第i个运动团块的移动速度；
n为视频图像中运动团块的总个数。
运动团块的势能Ep的计算方式很多，本实施例中按照以下方式计算：
步骤221：按照计算两个团块之间的势能，其中G为引力常数，mi表示第i个运动团块在视频图像中所占的比重，mj表示第j个运动团块在视频图像中所占的比重，ri,j表示视频图像中第i个运动团块与第j个运动团块之间的距离，i,j∈(1,n)且i≠j，n为视频图像中运动团块的总个数；
步骤222：按照步骤221的方式计算出视频图像中n个运动团块两两之间的势能，按照排列组合总共有个值，依次记录每个值为Ep,k，
步骤223：按照计算视频图像中运动团块的势能，其中qk为步骤222中第k个值的权重系数，且其中rk表示Ep,k所对应的两个团块之间的距离，m表示个组合情况下，任一两团块之间距离的倒数之和。
运动团块的混乱程度c的计算方式很多，本实施例中按照以下方式计算：
步骤231：设一个运动团块中第l个点运动速度的x分量和y分量分别为vl(x)和vl(y)，按照计算第l个点运动方向与水平线的夹角，l＝1～N，N为该运动团块的像素点个数；
步骤232：按照计算整个运动团块运动方向与水平线的夹角；
步骤233：按照计算每个点的运动方向和总运动方向的偏差；
步骤234：按照计算出该运动团块的混乱程度；
步骤235：按照步骤231-步骤234的方式分别计算n个运动团块的混乱程度，依次记为ci，i＝1～n，则该视频图像运动团块的混乱程度其中表示第i个运动团块混乱程度所占的权重系数，n为视频图像中运动团块的总个数。
通过上述方式分别计算出每一帧视频图像的动能、势能和混乱程度后，相加既得该帧视频图像的动态能量特征值，然后进入步骤3。
步骤3：将步骤2中所得的动态能量特征值EMEF存入长度为s的缓冲区域中，并计算缓冲区域的总值MA；
缓冲区的长度代表所选择连续视频图像帧的帧数，通过连续多次提取视频图像帧的动态能量特征值进行判断，避免某帧图像异常而引起误判，从而减少算法误判率，经过实验测试，在人体正常行走时和发生打斗时视频图像的动态能量特征值分别如表1所示。
表1正常行走时的动态能量特征值
帧数 正常行走 发生打斗
1 3.135 13.165
2 4.352 14.329
3 4.316 15.724
4 5.134 16.286
5 4.681 14.492
6 4.453 18.182
以表1所示的数据而言，可以发现打斗情况下的动态能量特征的平均值是15.363，如果选择连续的s帧视频图像的动态能量特征值的和进行判断，可以根据平均值的大小确定s帧动态能量特征值之和的阈值，从而事先确定预设阈值MS，最后进入步骤4进行阈值比较。
步骤4：判断MA是否大于预设阈值MS，如果大于，则提示发生打斗，否则返回步骤1获取下一帧视频图像继续检测。
综上所述，本方法将动能、势能和混乱程度相结合作为动态能量特征，在计算过程中，分别考虑到视频图像中各个运动团块的权重系数，针对多人打斗检测而言，算法的准确性更高，稳定性好。

Claims (3)

1.一种智能视频监控中的打斗检测方法，其特征在于按照以下步骤进行：
步骤1：获取视频图像帧并进行目标提取，得到视频图像中的运动团块信息；
步骤2：按照EMEF＝Ek+Ep+c计算视频图像中运动团块的动态能量特征值EMEF，其中Ek为动能，Ep为势能，c为混乱程度；
步骤3：将步骤2中所得的动态能量特征值EMEF存入长度为s的缓冲区域中，并计算缓冲区域的总值MA；
步骤4：判断MA是否大于预设阈值MS，如果大于，则提示发生打斗，否则返回步骤1获取下一帧视频图像继续检测；
步骤2中运动团块的动能Ek按照计算，其中：
Pi表示视频图像帧中第i个运动团块在所有运动团块中所占有的面积比；
为第i个运动团块的动能，mi为第i个运动团块在视频图像中所占的比重，vi为第i个运动团块的移动速度；
n为视频图像中运动团块的总个数；
步骤2中运动团块的势能Ep按照以下方式计算：
步骤221：按照计算两个团块之间的势能，其中G为引力常数，mi表示第i个运动团块在视频图像中所占的比重，mj表示第j个运动团块在视频图像中所占的比重，ri,j表示视频图像中第i个运动团块与第j个运动团块之间的距离，i,j∈(1,n)且i≠j，n为视频图像中运动团块的总个数；
步骤222：按照步骤221的方式计算出视频图像中n个运动团块两两之间的势能，按照排列组合总共有个值，依次记录每个值为Ep,k，
步骤223：按照计算视频图像中运动团块的势能，其中qk为步骤222中第k个值的权重系数；
步骤223中所述的权重系数其中rk表示Ep,k所对应的两个团块之间的距离，m表示个组合情况下，任一两团块之间距离的倒数之和；
步骤2中运动团块的混乱程度c按照以下方式计算：
步骤231：设一个运动团块中第l个点运动速度的x分量和y分量分别为vl(x)和vl(y)，按照计算第l个点运动方向与水平线的夹角，l＝1～N，N为该运动团块的像素点个数；
步骤232：按照计算整个运动团块运动方向与水平线的夹角；
步骤233：按照计算每个点的运动方向和总运动方向的偏差；
步骤234：按照计算出该运动团块的混乱程度；
步骤235：按照步骤231-步骤234的方式分别计算n个运动团块的混乱程度，依次记为ci，i＝1～n，则该视频图像运动团块的混乱程度其中ui表示第i个运动团块混乱程度所占的权重系数，n为视频图像中运动团块的总个数。
2.根据权利要求1所述的智能视频监控中的打斗检测方法，其特征在于：第i个运动团块混乱程度所占的权重系数
3.根据权利要求1所述的智能视频监控中的打斗检测方法，其特征在于：采用光流法计算每个运动团块的运动速度以及该运动团块中每个点的运动速度。
CN201410360321.2A 2014-07-25 2014-07-25 智能视频监控中的打斗检测方法 Expired - Fee Related CN104168451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410360321.2A CN104168451B (zh) 2014-07-25 2014-07-25 智能视频监控中的打斗检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410360321.2A CN104168451B (zh) 2014-07-25 2014-07-25 智能视频监控中的打斗检测方法

Publications (2)

Publication Number Publication Date
CN104168451A CN104168451A (zh) 2014-11-26
CN104168451B true CN104168451B (zh) 2018-07-31

Family

ID=51912056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410360321.2A Expired - Fee Related CN104168451B (zh) 2014-07-25 2014-07-25 智能视频监控中的打斗检测方法

Country Status (1)

Country Link
CN (1) CN104168451B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117756A (zh) * 2018-07-25 2019-01-01 钱文浩 打斗程度计算机解析方法
CN109309798B (zh) * 2018-08-15 2019-05-10 上海极链网络科技有限公司 数据帧自动抓取机构

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196996A (zh) * 2007-12-29 2008-06-11 北京中星微电子有限公司 一种图像检测方法及装置
KR20120025718A (ko) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 이상행위 검출장치 및 방법
CN102629384A (zh) * 2012-02-28 2012-08-08 成都三泰电子实业股份有限公司 视频监控中异常行为的检测方法
CN102880444A (zh) * 2012-08-24 2013-01-16 浙江捷尚视觉科技有限公司 一种基于立体视觉运动场分析的打架斗殴检测方法
CN103077423A (zh) * 2011-10-25 2013-05-01 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN103258193A (zh) * 2013-05-21 2013-08-21 西南科技大学 一种基于kod能量特征的群体异常行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196996A (zh) * 2007-12-29 2008-06-11 北京中星微电子有限公司 一种图像检测方法及装置
KR20120025718A (ko) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 이상행위 검출장치 및 방법
CN103077423A (zh) * 2011-10-25 2013-05-01 中国科学院深圳先进技术研究院 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法
CN102629384A (zh) * 2012-02-28 2012-08-08 成都三泰电子实业股份有限公司 视频监控中异常行为的检测方法
CN102880444A (zh) * 2012-08-24 2013-01-16 浙江捷尚视觉科技有限公司 一种基于立体视觉运动场分析的打架斗殴检测方法
CN103258193A (zh) * 2013-05-21 2013-08-21 西南科技大学 一种基于kod能量特征的群体异常行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Energy-Based Surveillance Systems for ATM Machines;Ning Ding 等;《World Congress on Intelligent Control and Automation》;20100709;第2880-2887页 *
人体异常行为识别算法研究与实现;胡栋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110415(第4期);参见正文第3页，第34-47页 *
基于打斗过程中运动能量特征的打斗行为识别研究;原光明;《内江科技》;20121025(第10期);第31-32页 *

Also Published As

Publication number Publication date
CN104168451A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
CN109615019B (zh) 基于时空自动编码器的异常行为检测方法
CN107330920B (zh) 一种基于深度学习的监控视频多目标追踪方法
CN103258193B (zh) 一种基于kod能量特征的群体异常行为识别方法
CN106571014A (zh) 一种在视频中识别异常动作的方法和系统
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN104658152B (zh) 一种基于视频的运动物体入侵报警方法
TWI441096B (zh) 適用複雜場景的移動偵測方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
Andersson et al. Fusion of acoustic and optical sensor data for automatic fight detection in urban environments
CN101968848B (zh) 一种视频监测方法、系统及视频监测报警系统
CN105426820A (zh) 基于安防监控视频数据的多人异常行为检测方法
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN103456009B (zh) 目标检测方法与装置、监控系统
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
CN116758475A (zh) 基于多源图像识别和深度学习的能源站异常行为预警方法
CN112597928B (zh) 一种事件检测方法及相关装置
CN104392445A (zh) 一种监控视频中人群小群体分割方法
CN109299700A (zh) 基于人群密度分析的地铁群体异常行为检测方法
CN104168451B (zh) 智能视频监控中的打斗检测方法
Huo et al. 3DVSD: An end-to-end 3D convolutional object detection network for video smoke detection
Hao et al. A detection method of abnormal event in crowds based on image entropy
Lian et al. An improved fire and smoke detection method based on YOLOv7
Yang et al. An efficient lightweight object detector for railway tunnel safety monitoring
Mishra et al. Occlusion handling strategies for multiple moving object classification
Mahin et al. A simple approach for abandoned object detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180731

Termination date: 20190725

CF01 Termination of patent right due to non-payment of annual fee