CN102880444B - 一种基于立体视觉运动场分析的打架斗殴检测方法 - Google Patents

一种基于立体视觉运动场分析的打架斗殴检测方法 Download PDF

Info

Publication number
CN102880444B
CN102880444B CN201210304084.9A CN201210304084A CN102880444B CN 102880444 B CN102880444 B CN 102880444B CN 201210304084 A CN201210304084 A CN 201210304084A CN 102880444 B CN102880444 B CN 102880444B
Authority
CN
China
Prior art keywords
block
motion vector
fighting
depth
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210304084.9A
Other languages
English (en)
Other versions
CN102880444A (zh
Inventor
尚凌辉
刘家佳
王弘玥
鲍迪钧
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201210304084.9A priority Critical patent/CN102880444B/zh
Publication of CN102880444A publication Critical patent/CN102880444A/zh
Application granted granted Critical
Publication of CN102880444B publication Critical patent/CN102880444B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于立体视觉运动场分析的打架斗殴检测方法。本发明根据目标的运动矢量场和深度图,提取出目标人体。以运动矢量场为主要特征,基于块统计累积运动矢量方向直方图,计算一段时间内累积直方图的熵。统计块内平均运动矢量强度,根据目标的深度信息,制定运动剧烈程度评价策略。最后结合块的混乱和剧烈程度评价分数,得到此块发生打架斗殴行为的概率,经过时间和空间累积,当打架斗殴行为的概率持续大于一定阈值时,则确认打架斗殴行为发生。本发明可以过滤监控环境下的场景光照变化、目标交错遮挡引起运动矢量计算错误。根据场景深度信息对剧烈程度判定更为合理,通过建立打架斗殴概率模型,对其时空分布分析之后得到鲁棒的检测结果。

Description

一种基于立体视觉运动场分析的打架斗殴检测方法
技术领域
本发明属于视频智能监控技术领域,涉及一种基于立体视觉运动场分析的打架斗殴检测方法。
背景技术
利用二维图像配准方法,计算视频相邻帧的像素运动矢量,对人体的运动矢量进行统计分析或者转换成能量的形式,提取出运动方向混乱以及快速运动的像素点,这些像素的集合作为剧烈运动区域,作为多人打架斗殴的基本特征。通过对剧烈运动区域的时空分布分析,建立基于运动场的打架斗殴规则,判断剧烈运动区域是否产生于打架斗殴事件,实现对此类人体异常行为的检测。基于此类技术的专利有《一种人群剧烈运动的检测方法及装置-200910242555.6》以及《音视频联合分析的打架斗殴检测系统-200920291779.1》。
此类技术的缺陷:对视频邻近帧的运动矢量计算都采用了基于灰度特征的微分光流方法,得到的是一个二维图像上像素位置偏移量。而基于灰度特征的光流方法有很多缺陷都限制了此类技术的推广,例如它受光照环境的变化影响很大,场景的光照变化会导致目标真实运动场计算错误;无法计算目标遮挡时的运动场;由于三维场景下目标距离相机远近不同时其反应在二维平面上的运动矢量不同,因此传统方法对剧烈运动的判定不够鲁棒。
发明内容
本发明主要针对现有打架斗殴检测方法的缺陷,采用立体视觉与运动场提取结合的方法,减少与过滤光照变化、目标运动混乱与交错遮挡导致的光流计算错误,提升人体打架斗殴行为检测在复杂环境下的鲁棒性。
本发明的主要构思,基于双目视觉的立体匹配算法得到场景中目标的深度信息,提取图像灰度和梯度特征,结合微分光流算法得到鲁棒的目标运动矢量场。根据目标的运动矢量场和深度图,可以提取出感兴趣的目标人体,并且过滤掉受到光照变化和遮挡引起光流计算错误的运动矢量场。以运动矢量场为主要特征,基于块统计累积运动矢量方向直方图,计算一段时间内累积直方图的熵,用来评价此块运动的复杂程度。统计块内平均运动矢量强度,根据目标的深度信息,制定运动剧烈程度评价策略。最后,结合块的混乱和剧烈程度评价分数,得到此块发生打架斗殴行为的概率,经过一段时间和空间的累积,当打架斗殴行为的概率持续大于一定阈值时,则确认打架斗殴行为发生。
本发明解决技术问题所采取的技术方案为:
第一步:获取双目视频图像,并对其灰度化处理。
第二步:对双目视频灰度化的同步帧做立体匹配,得到视差和深度置信图,将视差并转化为深度图。
第三步:对双目视频中的一路视频,提取灰度与梯度特征,计算多分辨率下的微分光流,得到运动矢量场;并根据深度置信图对运动矢量过滤。
第四步:根据深度图,建立远近不同目标速度模型(运动矢量模型)。
第五步:对第三步中的该路视频的灰度图像中的8*8像素单位小块,做运动矢量方向直方图统计。
第六步:累积邻近时间每个块的运动矢量方向直方图,计算累积后直方图的熵作为混乱程度评价,对熵值高的块标记为混乱块。
第七步:统计混乱块运动矢量强度均值,根据第四步建立的速度模型判定其是否为剧烈运动块;如果混乱块判定为剧烈运动块,则执行第八步,否则返回第一步,做下一帧双目视频图像处理。
第八步:对剧烈运动块,统计其在一定时间与一定空间范围内的出现次数,生成概率图。对于概率较大的块,经过时空累积之后,满足持续时间和面积阈值之后,则确认打架斗殴行为产生,输出这些概率较大的块,标识为打架斗殴行为发生的区域。
本发明有益效果:本发明可以过滤监控环境下的场景光照变化、目标交错遮挡引起运动矢量计算错误,克服这些不利条件的影响。根据场景深度信息对剧烈程度判定更为合理,通过建立打架斗殴概率模型,对其时空分布分析之后得到鲁棒的检测结果。
附图说明
图1为本发明方法流程图;
图2为双目成像系统平面示意图;
图3为运动矢量计算流程图;
图4为混乱与剧烈报警块检测流程图;
图5为打架斗殴行为判定规则流程图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示,本发明方法包括以下步骤:
第一步:获取双目视频图像,并对其灰度化处理。
第二步:对双目视频灰度化的同步帧立体匹配,得到视差和深度置信图,将视差并转化为深度图。双目视觉从人的双目产生立体感中获得启示,研究如何从左右两个摄像机所得的两幅图像中获取场景中物体的深度(距离)信息。图2给出了双目成像系统平面示意图,图中L和R为主光轴平行的左右两架摄像机,O1O2为目标物体,IL和IR为其在左右两个成像平面上形成的像。在目标O1O2上的每一个参考点在IL和IR上有不同的位置,这一位置的差别被称之为视差。视差与目标的深度成反比,由以下公式表示为,其中为目标深度即目标离相机的距离,为相机距离,为对应匹配点的视差,为相机焦距。视差计算由立体匹配算法得到,对于基于像素的匹配算法,通过比较两幅图之间像素点的灰度相关性得到所有点的匹配关系。其中局部窗口匹配算法,选取以匹配点为中心的窗口,然后在两幅图的相应窗口之间进行灰度相关性计算,评价对应匹配之间的相似程度,选取使匹配代价最小视差作为最终视差。在匹配过程中,通过反向匹配验证策略,可以得到匹配的置信度评价,从而对场景中的光照、目标遮挡、弱纹理区域有大致的定位,这样对后续的光流过滤有指导意义。
第三步:如图3。本步骤采用微分光流算法获取时间上连续两帧图像上各点的运动矢量。本方法结合两大经典微分光流算法LK(BruceD.Lucas,TakeoKanade.AnIterativeImageRegistartionTechniquewithanApplicationtostereovision)与HS(B.K.P.Horn,B.G.Schunck.ArtificialIntelligenceLaboratory,MassachusettsInstituteofTechnology)。LK与HS结合,主要是结合二者抗噪声和高密度的优点,修改能量函数,修改后能量函数第一项为LK中基于窗口的统计图像梯度方法(体现灰度不变假设),第二项为基于窗口的统计图像拉氏算子方法(图像二阶导的协方差矩阵,体现梯度不变假设),第三项为增加了权重的速度平滑假设,分别如下式:
灰度不变约束:,其中为灰度差能量函数,(,)为图像中(,)坐标的灰度,(,)为(,)坐标点的运动矢量;梯度不变约束:,其中为梯度差能量函数,,,,,,均为灰度的二阶梯度;速度平滑约束:,其中为速度差异能量函数,,,,为运动矢量的水平和竖直分量一阶倒数。结合这三个约束,就可以得到能量函数:,其中为梯度差能量函数与速度差异能量函数的权重。对能量函数,求其极值得到,运动矢量(,)的迭代求解公式为:
其中
,,
,,,
为迭代收敛系数,为n+1次迭代之后得到的运动矢量在水平和竖直方向的分量。
结合深度图中立体匹配错误的点,即深度置信图,可以认为发生遮挡或者光照变化,标记其光流为零,过滤光流计算错误的运动矢量。
第四步:由于目标的深度不同,投影到图像平面上,造成目标离成像系统远近不同导致其图像平面的运动矢量不同,因此得到深度信息之后,对处于不同深度的目标建立多个速度模型,可以有效标识出此深度下正常的运动矢量。如图4,本方法采用在线求平均值策略,结合深度与运动矢量,建立正常行为的速度模型;
第五步:如图4,按8*8像素将双目中的一路视频的灰度图像分成若干小块,将每个小块的运动矢量离散化为16个方向,建立方向直方图。
第六步:如图4,累积邻近30帧内小块的方向直方图,计算其熵,用来表征方向的不确定性,即混乱特性。公式为:,其中为直方图的熵值,为直方图每个方向的概率,lg为取10为底的对数。对于熵绝对值大于0.25的块,标记为混乱块。
第七步:如图4,计算混乱块的平均运动矢量模,,其中,为块内第i点运动矢量的水平和竖直分量;与速度模型比较,大于同深度正常速度的块为剧烈运动块。
第八步:如图5,根据剧烈运动块在时间和空间的出现次数,统计其在邻近30帧出现的概率。对每个块按照阈值0.6二值化,标记高概率块为1,低概率块为0;然后做连通域搜索,去除孤立与面积较小的连通域;计算连通域内报警块的平均概率,对大于0.8的连通域标记为有效打架区域,则打架行为持续时间计数加1,打架行为报警块累积面积累加上当前连通域面积。当打架持续时间超过100(经验阈值)帧,报警块累积面积超过300(经验阈值)块时,确认打架行为发生,输出最后一帧的连通区域,作为报警时的打架区域;
连通区域搜索方法:本方法以区域生长来搜索连通区域,实施步骤为:1)从上向下,从左至右,扫描图像,若遇到未标记目标点时,则可认为该目标点是新的连通域的种子,将该目标点作为种子压入堆栈;2)从堆栈中取出一个种子,以该种子为起点向左搜索其左边界目标点;从左边界点向右扫描并标记目标点,在标记的过程中,查找与该游程连通的上行和下行的游程,并取新游程中的一个目标点作为游程种子压入堆栈;3)重复从堆栈中取出种子,按步骤2)标记目标点,直至堆栈为空;4)堆栈空时,则连通域标记完成,继续扫描图像,直到结束。游程编码是用一个符号值代替具有相同值的连续符号。以游程为种子单位,能有效地减少算法存取种子的次数;同时线标记游程内的连续目标点,可减少目标点的邻域搜索次数。
以上为本方法一个实施例,按照此方法,可以在光照变化环境下与多人交叉遮挡时,检测多人打架斗殴行为。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应带理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (5)

1.一种基于立体视觉运动场分析的打架斗殴检测方法,其特征在于该方法包括以下步骤:
第一步:获取双目视频图像,并对其灰度化处理;
第二步:对双目视频灰度化的同步帧做立体匹配,得到视差和深度置信图,将视差转化为深度图;
第三步:对双目视频中的一路视频,提取灰度与梯度特征,计算多分辨率下的微分光流,得到运动矢量场;并根据深度置信图对运动矢量过滤;所述的计算多分辨率下的微分光流采用结合两大经典微分光流算法LK与HS;深度置信图表征了立体匹配错误的点,可以认为这些点发生了遮挡或者光照变化,标记其光流为零,过滤这些点的运动矢量;
第四步:根据深度图,建立远近不同目标速度模型;
第五步:对第三步中的该路视频的灰度图像中的8*8像素单位小块,做运动矢量方向直方图统计;
第六步:累积邻近时间每个块的运动矢量方向直方图,计算累积后直方图的熵作为混乱程度评价,对熵值高的块标记为混乱块;
第七步:统计混乱块运动矢量强度均值,根据第四步建立的速度模型判定其是否为剧烈运动块;如果混乱块判定为剧烈运动块,则执行第八步,否则返回第一步,做下一帧双目视频图像处理;
第八步:对剧烈运动块,统计其在一定时间与一定空间范围内的出现次数,生成概率图;对于概率较大的块,经过时空累积之后,满足持续时间和面积阈值之后,则确认打架斗殴行为产生,输出这些概率较大的块,标识为打架斗殴行为发生的区域。
2.根据权利要求1所述的一种基于立体视觉运动场分析的打架斗殴检测方法,其特征在于:所述的视差由立体匹配算法计算得到,对于基于像素的立体匹配算法,通过比较两幅图之间像素点的灰度相关性得到所有点的匹配关系。
3.根据权利要求1所述的一种基于立体视觉运动场分析的打架斗殴检测方法,其特征在于:根据第四步深度图中的深度信息,对处于不同深度的目标建立多个速度模型,有效标识出此深度下正常的运动矢量大小。
4.根据权利要求1所述的一种基于立体视觉运动场分析的打架斗殴检测方法,其特征在于:第六步中方向直方图的熵,用来表征方向的不确定性,即混乱特性。
5.根据权利要求1所述的一种基于立体视觉运动场分析的打架斗殴检测方法,其特征在于:剧烈运动块的判定准则为:计算混乱块的平均运动矢量模V,其中,ui和vi为块内第i点运动矢量的水平和竖直分量;将平均运动矢量模V与速度模型比较,大于同深度正常速度的块为剧烈运动块。
CN201210304084.9A 2012-08-24 2012-08-24 一种基于立体视觉运动场分析的打架斗殴检测方法 Expired - Fee Related CN102880444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210304084.9A CN102880444B (zh) 2012-08-24 2012-08-24 一种基于立体视觉运动场分析的打架斗殴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210304084.9A CN102880444B (zh) 2012-08-24 2012-08-24 一种基于立体视觉运动场分析的打架斗殴检测方法

Publications (2)

Publication Number Publication Date
CN102880444A CN102880444A (zh) 2013-01-16
CN102880444B true CN102880444B (zh) 2016-03-09

Family

ID=47481788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210304084.9A Expired - Fee Related CN102880444B (zh) 2012-08-24 2012-08-24 一种基于立体视觉运动场分析的打架斗殴检测方法

Country Status (1)

Country Link
CN (1) CN102880444B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156933A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场的图像配准方法
CN103761748B (zh) * 2013-12-31 2016-12-07 北京邮电大学 异常行为检测方法和装置
CN103927517B (zh) * 2014-04-14 2017-02-15 电子科技大学 一种基于人体全局特征直方图熵的动作检测方法
CN104168451B (zh) * 2014-07-25 2018-07-31 重庆科技学院 智能视频监控中的打斗检测方法
US10121062B2 (en) * 2014-11-03 2018-11-06 Koninklijke Philips N.V. Device, system and method for automated detection of orientation and/or location of a person
CN104637072B (zh) * 2015-03-09 2017-04-19 宁波大学 一种循环流化床锅炉气固流场颗粒运动检测方法
CN104866830B (zh) * 2015-05-27 2019-01-25 北京格灵深瞳信息技术有限公司 一种异常动作检测方法及装置
CN106980829B (zh) * 2017-03-17 2019-09-20 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
CN108596032B (zh) * 2018-03-21 2020-09-29 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN111860030A (zh) * 2019-04-24 2020-10-30 杭州海康威视数字技术股份有限公司 行为检测方法、装置、设备及存储介质
CN110135352B (zh) * 2019-05-16 2023-05-12 南京砺剑光电技术研究院有限公司 一种基于深度学习的战术动作评估方法
CN112364680B (zh) * 2020-09-18 2024-03-05 西安工程大学 一种基于光流算法的异常行为检测方法
CN112380905B (zh) * 2020-10-15 2024-03-08 西安工程大学 一种基于监控视频的直方图结合熵的异常行为检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455B (zh) * 2010-10-08 2012-02-01 东南大学 一种基于立体匹配的彩色图像三维重建方法
KR101733131B1 (ko) * 2010-12-14 2017-05-10 한국전자통신연구원 3차원 제스처 처리 방법 및 장치

Also Published As

Publication number Publication date
CN102880444A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
CN102880444B (zh) 一种基于立体视觉运动场分析的打架斗殴检测方法
CN102831618B (zh) 基于霍夫森林的视频目标跟踪方法
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN103164711B (zh) 基于像素和支持向量机的区域人流密度估计的方法
CN102999920B (zh) 基于最近邻分类器和均值漂移的目标跟踪方法
CN102156880B (zh) 基于改进的社会力模型的异常集群行为检测方法
CN103810476B (zh) 基于小群体信息关联的视频监控网络中行人重识别方法
CN109064484B (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
CN104077605B (zh) 一种基于颜色拓扑结构的行人搜索识别方法
CN103049758B (zh) 融合步态光流图和头肩均值形状的远距离身份验证方法
CN106127148A (zh) 一种基于机器视觉的手扶电梯乘客异常行为检测算法
CN109934848A (zh) 一种基于深度学习的运动物体精准定位的方法
CN109670380A (zh) 动作识别、姿势估计的方法及装置
CN107742097B (zh) 一种基于深度相机的人体行为识别方法
CN103077539A (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN108830246B (zh) 一种交通环境行人多维运动特征视觉提取方法
CN112488057A (zh) 一种利用人头点定位和关节点信息的单相机多目标跟踪方法
CN102592144B (zh) 一种基于多摄像机无重叠视域行人匹配方法
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN105427345A (zh) 基于相机投影矩阵的三维人流运动分析方法
CN104751111A (zh) 识别视频中人体行为的方法和系统
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN112115889B (zh) 基于视觉的智能车运动目标检测方法
CN105513094A (zh) 基于三维Delaunay三角剖分的立体视觉跟踪方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

Address before: 310013, Zhejiang, Xihu District, Hangzhou, Tian Shan Road, No. 398, Kun building, four floor, South Block

Applicant before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

Address before: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Fighting detecting method based on stereoscopic vision motion field analysis

Effective date of registration: 20190821

Granted publication date: 20160309

Pledgee: Hangzhou Yuhang Small and Medium-sized Enterprise Transfer Service Co.,Ltd.

Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

Registration number: Y2019330000020

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160309

Termination date: 20210824