CN110298323A - 基于视频分析的打架检测方法、系统、装置 - Google Patents
基于视频分析的打架检测方法、系统、装置 Download PDFInfo
- Publication number
- CN110298323A CN110298323A CN201910591102.8A CN201910591102A CN110298323A CN 110298323 A CN110298323 A CN 110298323A CN 201910591102 A CN201910591102 A CN 201910591102A CN 110298323 A CN110298323 A CN 110298323A
- Authority
- CN
- China
- Prior art keywords
- frame image
- frame
- fighting
- people
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000010937 topological data analysis Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004886 head movement Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明属于模式识别领域，具体涉及一种基于视频分析的打架检测方法、系统、装置，旨在为了解决目前打架检测方法误检率高的问题。本发明方法包括：对输入视频的第t帧图像进行灰度化处理；基于第t帧图像与第t‑1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；获取第t帧图像中运动物体最小外接矩形集合MOTt；基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；跟踪VIOOBt并记录其轨迹TRAIL；基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。本发明提高了检测的准确度，适合拥挤环境与非拥挤环境下打架检测，具有较广泛的适用范围。
Description
技术领域
本发明属于模式识别领域，具体涉及一种基于视频分析的打架检测方法、系统、装置。
背景技术
安全问题至关重要，社会各界普遍关切，但在公共场所的打架殴现象却时有发生，严重影响着社会的和谐稳定。近年来，公共场所打架斗殴事件呈高发态势，如公交车内，地铁车厢内时有发生乘客间打架斗殴事件等等，不仅当事人的生命财产受到威胁，而且造成了严重的社会影响。
为减少公共公场所打架斗殴等诸多安全问题，人们开始将视频监控引入到安防领域。传统的视频监控系统都是安保人员实时的盯着监控屏幕，需要投入大量人力，而且人力资源利用率低。
随着计算机视觉的不断发展，智能监控系统已经深入到各个领域，也被引入安防领域。基于视频的打架斗殴检测是重要的智能监控系统任务之一，即在没有人工的干预下，通过模式识别技术分析视频中的行为，从而检测出打架事件并报警，这样大大减少人力资源，并提高报警效率。
现有的打架检测算法有的是检测激烈运动当做打架检测，有的算法检测人头与衣领来完成打架检测，这些算法或者误检比较多或者应用场合很受限制。
基于视频分析的打架检测方法一个难点是误检比较多，有的算法只检测激烈运动就作为打架行为，往往会有很多有激烈运动的非打架行为存在。
基于视频分析的打架检测方法另一难点就是在拥挤场合下检测打架。目前很多打架检测算法只适合人少场合下进行打架检测，拥挤场合打架检测往往准确率低，误检高。
发明内容
为了解决现有技术中的上述问题，即为了解决目前打架检测方法误检率高的问题，本发明的第一方面，提出了一种基于视频分析的打架检测方法，包括：
步骤S10，对输入视频的第t帧图像进行灰度化处理；
步骤S20，基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；
步骤S30，获取第t帧图像中运动物体最小外接矩形集合MOTt；
步骤S40，基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；
步骤S50，跟踪VIOOBt并记录其轨迹TRAIL；
步骤S60，基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
在一些优选的实施方式中，步骤S20中“提取第t帧图像中灰度变化大于设定阈值的区域集合VIOREG”，其方法为：
步骤S201，基于所述灰度差值，获取t帧图像相对于t-1帧图像的剧烈运动二值图VIOt，
其中，Et(x,y)为t帧图像与t-1帧图像在点(x,y)处的灰度差值的绝对值；T1为设定阈值；a、b分别为VIOt预设的灰度值；
步骤S202，基于预设滑窗对VIOt进行遍历，获取剧烈运动区域集合VIOREGt；所述剧烈运动区域集合VIOREGt中各剧烈运动区域为值为a的点的数量大于设定阈值T2的滑窗覆盖区域。
在一些优选的实施方式中，步骤S30中“获取第t帧图像中运动物体最小外接矩形集合MOTt”，其方法为：
步骤S301，利用三帧差法获取第t帧图像中运动物体集合MOTt′，公式为
Result1＝|It-It-1|mul|It+1-It|
Result2＝二值化(Result1)
MOTt′＝形态学处理(Result2)
其中，It为第t帧图像的灰度图；Result1、Result2为中间变量；
步骤S302，通过跟踪边界对数字二值图像进行拓扑分析的方法获取第t帧图像中运动物体MOTti′的轮廓，并基于该轮廓获取其最小外接矩形MOTti。
在一些优选的实施方式中，步骤S40中所述剧烈运动物体集合VIOOBt，其获取方法为：
其中，为MOTti的面积；T3设定阈值。
在一些优选的实施方式中，步骤S50中轨迹TRAIL采用近邻重叠法进行跟踪获取，其公式表示为：
TRAIL＝{Objectt|Objectt＝Merge(Objectt1,Objectt2......),OverL(Objectti,Objectt-1)>T4}
其中，Objectt为第t帧图该剧烈运动物体位置；Merge(Objectt1,Objectt2…)为第t帧图像中满足某些条件的各运动物体位置的合并；OverL(Objectti,Objectt-1)>T4为当前帧中与前帧即t-1帧该剧烈运动物体重叠度大于某阈值T4的各个运动物体；Objectti为第t帧图像中第i个运动物体位置，Objectt-1为第t-1帧图像中该剧烈运动物体位置；T4为设定阈值。即当前帧中与前帧该剧烈运动物体重叠度大于某阈值的运动物体合并成为一个运动物体，其位置就是该剧烈运动物体在当前帧的位置。
在一些优选的实施方式中，步骤S60中“基于TRAIL确定各帧图像中人头位置”，其方法为：
步骤S601，基于梯度图三帧差分法获得TRAIL中每帧的运动物体二值图；
步骤S602，通过跟踪边界对数字二值图像进行拓扑分析的方法提取运动物体图轮廓，并获得轮廓上每点坐标
步骤S603，基于运动物体图轮廓的点坐标，采用链码算法获取人头位置。
在一些优选的实施方式中，步骤S60中“判断人头运动的轨迹的一致性”，其方法为：
其中，(disa)k_Δt为该人头图像在第k个Δt时间间隔在a方向的位移，；|(disa)k_Δt-(disa)k'_Δt|为该人头图像对象第k个Δt时间间隔在a方向位移与该人头图像对象第k'个Δt时间间隔在a方向位移差异；ThreD1、ThreD2分别为两个设定的距离阈值，x、y为图像帧的二维坐标方向，k、k'为自然数；Uniformh＝1则该头运动具有一致性，否则没有一致性。
本发明的第二方面，提出了一种基于视频分析的打架检测系统，该系统包括预处理模块、第一提取模块、第二提取模块、第三提取模块、轨迹获取模块、打架判断模块；
所述预处理模块，配置为对输入视频的第t帧图像进行灰度化处理；
所述第一提取模块，配置为基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；
所述第二提取模块，配置为获取第t帧图像中运动物体最小外接矩形集合MOTt；
所述第三提取模块，配置为基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；
所述轨迹获取模块，配置为跟踪VIOOBt并记录其轨迹TRAIL；
所述打架判断模块，配置为基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于视频分析的打架检测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于视频分析的打架检测方法。
本发明的有益效果：
本发明融合了打架行为多种特征完成打架检测，降低了误检率，提高了检测的准确度；另外，本发明提高了拥挤场合下打架检测的准确度，适合拥挤环境与非拥挤环境下打架检测，具有较广泛的适用范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于视频分析的打架检测方法流程示意图。
图2是本发明一种实施例中8链码示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明构思的要点包括以下三方面：
(1)打架属于剧烈运动，所以要先检测有剧烈运动的运动物体。
(2)当场景有快速运动物体如汽车或者快速行走的人群，都会检测出剧烈运动，所以需要跟踪剧烈运动物体，并检测剧烈运动物体中人头。
(3)一种打架属于两人或多人厮打在一起，可以检测到两个以上人头靠的很近，一种打架属于一个人打另一人，被打的人抱着头，所以只能检测到一个人头。通过跟踪剧烈运动的轨迹，结合人头检测完成打架检测，该方法可以有效降低误检，因为只跟踪有剧烈运动的物体，所以该发明可以对拥挤环境中的打架行为进行检测。
本发明的一种基于视频分析的打架检测方法，如图1所示，包括：
步骤S10，对输入视频的第t帧图像进行灰度化处理；
步骤S20，基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；
步骤S30，获取第t帧图像中运动物体最小外接矩形集合MOTt；
步骤S40，基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；
步骤S50，跟踪VIOOBt并记录其轨迹TRAIL；
步骤S60，基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
为了更清晰地对本发明基于视频分析的打架检测方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S10，对输入视频的第t帧图像进行灰度化处理。
通过摄像机捕捉视频(本实施例中采用频率为25帧/秒)，对获取当前帧进行灰度化以及平滑处理等预处理，当然，也可以对一段视频帧序列图像统一进行灰度化以及平滑处理等预处理。
步骤S20，基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt。
步骤S201，基于所述灰度差值，获取t帧图像相对于t-1帧图像的剧烈运动二值图VIOt中点(x,y)的值VIOt(x,y)通过公式(1)、(2)获取。
Et(x,y)＝|It(x,y)-It-1(x,y)| (2)
其中，Et(x,y)为第t帧图像与第t-1帧图像在点(x,y)处的灰度差值的绝对值；It(x,y)为第t帧图像在点(x,y)处的灰度值；It-1(x,y)为第t-1帧图像在点(x,y)处的灰度值；T1为设定阈值；a、b分别为VIOt预设的灰度值。
本实施例中a＝255、b＝0。当某像素点(x,y)运动能量值Et(x,y)大于阈值T1，则该点为255，否则为0，从而得到剧烈运动的二值图VIOt。对运动速度比较缓慢的像素点，相邻两帧之间的灰度值差别不大，故在剧烈运动的二值图VIOt中为0，对运动速度比较快的像素点，相邻两帧之间的灰度值差大于某阈值，故在剧烈运动的二值图VIOt中为亮点255。本实施例中阈值T1取值为30。
步骤S202，基于预设滑窗对VIOt进行遍历，获取剧烈运动区域集合VIOREGt；所述剧烈运动区域集合VIOREGt中各剧烈运动区域为值为a的点的数量大于设定阈值T2的滑窗覆盖区域。
判断一个区域是否为剧烈运动区域VIOREGt的方法是：在剧烈运动二值图VIOt的一个M*M区域内，判断VIOt(x,y)＝255的点的总数COUT是否大于预设的阈值T2，偌大于则判定该M*M区域为剧烈运动区域。本实施例中T2＝(M*M)*80％，M取值为40(M一般在[30,50]之间取值)。剧烈运动区域VIOREGt是图像像素点运动能量足够大的密集区域，在打架过程中，会出现该VIOREGt区域。
为了更好的获得剧烈运动区域VIOREGt，本实施例采用预设滑窗对VIOt进行遍历，并采用上述方法对此滑窗覆盖区域进行判断。
步骤S30，获取第t帧图像中运动物体最小外接矩形集合MOTt。
获得运动物体一般有基于背景建模的背景减法与帧差法，由于在拥挤场所是无法进行背景建模的，因此本发明采用适合拥挤场所下获得运动物体三帧差法。
三帧差法获得的运动物体对运动物体运动速度比较敏感，当运动物体运动速度比较快，那么提取出的运动物体比较完整，否则只能提取出运动物体的一部分。
步骤S301，利用三帧差法获取第t帧图像中运动物体集合MOTt′，公式如(3)、(4)、(5)所示。
Result1＝|It-It-1|mul|It+1-It| (3)
Result2＝二值化(Result1) (4)
MOTt′＝形态学处理(Result2) (5)
其中，It为第t帧图像的灰度图；Result1、Result2为中间变量，Result1为It分别与前一帧灰度图的差值绝对值、后一帧灰度图的差值绝对值的对应位相乘；Result2通过对Result1进行二值化处理得到；MOTt′通过对Result2进行形态学处理得到。
步骤S302，通过跟踪边界对数字二值图像进行拓扑分析的方法获取第t帧图像中运动物体MOTti′的轮廓，并基于该轮廓获取其最小外接矩形MOTti。
针对运动物体图MOTti′，需要将其中运动物体用矩形框框住，通过跟踪当前帧运动物体轮廓，得到运动物体轮廓外接矩形。运动物体轮廓提取是通过跟踪边界对数字二值图像进行拓扑分析完成的(该方法由Satoshi Suzuki等提出，具体可参考“Satoshi Suzuki，KeiichiA be，Topological Structural Analysis of Digitized Binary Images byBorder Following，Computer Vision Graphics&Image Processing，1985”)，该方法是确定二值图像边界的围绕关系，即确定外边界，由于该边界和原图的区域具有一一对应关系(外边界对应像素值为1的连通区域)，因此我们就可以用边界来表示原图。
通过跟踪边界对数字二值图像进行拓扑分析的方法采用编码的思想，给外边界赋予整数值。输入的二值图像即为0和1的图像，用f(i,j)表示图像的像素值。每次行扫描，遇到以下情况终止：
f(i,j-1)＝0，f(i,j)＝1；此时(i,j)是外边界的起始点。
然后从起始点开始，标记边界上的像素。在这里分配一个唯一的标示符给新发现的边界，叫做NBD。初始时NBD＝1，每次发现一个新边界加1。在这个过程中，遇到f(p,q)＝1,f(p,q+1)＝0时，将f(p,q)置为-NBD，此时(p,q)就是右边边界的终止点。
步骤S40，基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt。
包含打架信息的图像的特点之一就是包含有剧烈运动的运动物体VIOOBt，即：打架的运动物体中包含剧烈运动区域VIOREGt，同时打架的运动物体矩形框的面积比较大。运动物体是通过三帧差法获得，当运动物体运动较慢，同一个运动物体前景图可能会断开，不是连通的，这就导致同一个运动物体可能断点多，由多个像素值为1的连通区域构成，导致每个运动物体最小外接矩形框面积比较低，一个人可能由多个矩形框构成。打架时除了部分地方，比如手或脚有剧烈攻击运动(即构成剧烈运动区域VIOREGt)外，身体也会有比较大的运动，这就导致身体运动物体即像素值为1的连通域变大，断点少，即导致打架的运动物体矩形框的面积比较大。
有剧烈运动的运动物体VIOOBt表示为式(6)：
其中，MOTti表示第帧t图像中第i个运动物体的最小外接矩形；为MOTti面积；为T3设定阈值。
当第t帧图像中第i个运动物体外接矩形框面积大于设定阈值T3，且包含剧烈运动区域VIOREGt，则认为该运动物体为有剧烈运动的运动物体VIOOBt，为可能的打架行为。本实施例中，T3取值为20000。
步骤S50，跟踪VIOOBt并记录其轨迹TRAIL。
因为检测到有剧烈运动的运动物体VIOOBt，有可能是打架，也可能是人群朝某方向行走或者汽车通过等噪音，所以通过跟踪有剧烈运动的运动物体VIOOBt，并记录其轨迹TRAIL来降低误检。
用近邻重叠法完成跟踪，该方法的特点就是当周围环境比较拥挤，比如地铁车厢内，依然可以稳定跟踪有剧烈运动的运动物体VIOOBt。
TRAIL表述如式(7)所示：
TRAIL＝{Objectt|Objectt＝Merge(Objectt1,Objectt2......),OverL(Objectti,Objectt-1)>T4}
(7)
其中，Objectt为被跟踪剧烈运动物体在该帧即第t帧的位置；Merge(Objectt1,Objectt2…)为第t帧图像中满足某些条件的各运动物体位置的合并；OverL(Objectti,Objectt-1)>T4为当前帧中与前帧即t-1帧该剧烈运动物体重叠度大于某阈值T4的各个运动物体；Objectti为第t帧图像中第i个运动物体位置，Objectt-1为第t-1帧图像中该剧烈运动物体位置；T4为设定阈值。本实施例中T4的取值为30％。即当前帧中与前帧剧烈运动物体重叠度大于某阈值的运动物体合并成为一个运动物体，其位置就是该剧烈运动物体在当前帧的位置。
步骤S60，基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
步骤S601，基于梯度图三帧差分法获得TRAIL中每帧的运动物体二值图。
本实施例通过基于梯度图三帧差分法获得TRAIL中每帧的运动物体二值图。
三帧差分算法是相邻两帧差分算法的一种改进方法，它选取连续三帧视频图像进行差分运算。该算法的基本原理是先选取视频图像序列中连续三帧图像并分别计算相邻两帧的差分图像，然后将差分图像通过选取适当的阈值进行二值化处理，得到二值化图像，最后在每一个像素点得到的二值图像进行逻辑与运算，获取共同部分，从而获得运动目标二值图。基于梯度图三帧差分法相比基于灰度图三帧差分法，对缓慢运动比较敏感，可以提取运动物体的完整轮廓。
步骤S602，通过跟踪边界对数字二值图像进行拓扑分析的方法提取运动物体图轮廓，并获得轮廓上每点坐标。
本实施例中，该步骤方法与步骤S302获取运动物体MOTti′的轮廓的方法一致，均为Satoshi Suzuki提取运动物体图轮廓的方法。
步骤S603，基于运动物体图轮廓的点坐标，采用链码算法获取人头位置。
如图2所示的8链码示例图，按照水平、垂直和两条对角线方向，可以为相邻的两个像素点定义8个方向符：0、1、2、3、4、5、6、7。链码就是用线段的起点加上由这几个方向符所构成的一组数列，通常称之为Freeman链码。人头是由(0,6,7)，(4,5，6)，(2,3,4)，(0,1,2)四个链码顺序构成的曲线。
检索二值图像中轮廓线，获取每个轮廓线上的像素点坐标；
根据公式(8)确定轮廓线上各点的特征：
其中，contourj(xi,yi)为轮廓线上第j轮廓上的第i点的特征；Pj(xi,yi)为第j轮廓上的第i点的坐标；Pj(xi+1,yi+1)为第j轮廓上的第i点的下一个点即第i+1点坐标；||Pj(xi,yi)-Pj(xi+1,yi+1)||为轮廓上第i点的链码值；a/b/c表示a或b或c。(a,b,c)可取四种可能(0,6,7)，(4,5,6)，(2,3,4)，(0,1,2)。在寻找(0,6,7)曲线时，a、b、c分别为0,6,7；在寻找(4,5,6)曲线时，a、b、c分别为4,5,6；在寻找(2,3,4)曲线时，a、b、c分别为2,3,4；在寻找(0,1,2)曲线时，a、b、c分别为0,1,2；
通过公式(8)可以看出，第i点的链码值为a或b或c时contourj(xi,yi)为1，否则contourj(xi,yi)为0。
根据轮廓线上各点的特征，通过公式(9)确定该轮廓线是否为人头的一段曲线：
其中，N为第j轮廓线上的点数；Countj1为第j轮廓上特征contourj(xi,yi)为0的点的个数；Countj2为第j轮廓上特征contourj(xi,yi)为1的点的个数；T5为预设阈值常数；lanej为是否为人头的一段曲线的表示，lanej为1则第j轮廓线是(a,b,c)曲线。(a,b,c)可取四种可能(0,6,7)，(4,5，6)，(2,3,4)，(0,1,2)。
人头是由四种曲线构成，即(0,6,7)曲线，(4,5，6)曲线，(2,3,4)曲线，(0,1,2)曲线，人头检测是根据该四种曲线中某两种或两种以上曲线相连构成人头，结合人头尺寸范围最后确定人头位置，该方法可以检测到被遮挡一部分的人头。当人头被遮挡住一部分，只剩下上面的头顶，可以通过检测相连的(0,1,2)曲线与(0,6,7)曲线，结合人头尺寸范围来确定人头位置。
步骤S604，判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
本实施例是通过融合轨迹TRAIL特征以及轨迹中每帧人头轮廓特征完成打架检测。打架有一种情况就是两个人厮打在一起，这种情况可以在有剧烈运动的运动物体轨迹TRAIL中检到靠的比较近的人头。打架还有一种情况就是一人打另一人，被打的人抱着头，这种情况只能检到打人的人头，通过分析轨迹TRAIL可以检`测到打人。有剧烈运动的运动物体，有可能是打架，也可能是人群走动或者车辆行驶，人群走动或者车辆行驶的运动轨迹具有一定方向性，而有打架行为时可以检测到一个人头或者靠着比较近的多个人头，且运动轨迹的方向性比较混乱。通过结合检测有剧烈运动的运动物体特征，有剧烈运动的运动物体轨迹特征以及人头特征可以有效防止人群走动或者车辆行驶或者离近摄像机经过的物体导致的误检。
步骤S604进一步包括：
步骤S6041，跟踪剧烈运动物体中的人头。
利用简单直观的方法跟踪人头，即找出与前帧被跟踪人头位置最近距离的当前帧人头位置，且该距离小于设定的距离阈值，则以上比较的两个人头为同一人头，是该人头在前一帧的位置以及在当前帧的位置。如公式(10)所示：
Trailh为被跟踪头轨迹，(Objecth)t为第t帧被跟踪头对象的位置，|(Objecthi)t-(Objecth)t-1|为被跟踪头在第t-1帧的位置(Objecth)t-1与当前帧第t帧某头对象i位置(Objecthi)t距离。min(|(Objecthi)t-(Objecth)t-1|,i＝1,2,.......)为当前帧第t帧中各头中与前一帧第t-1帧被跟踪头位置最近的头位置。
|(Objecth)t-(Objecth)t-1|为被跟踪对象在第t帧位置与第t-1帧位置距离，ThreDis＝50，为距离阈值。
步骤S6042，计算每个被跟踪头轨迹Trailh每隔Δt时间间隔在x方向位移与在y方向位移。如公式(11)、公式(12)。
(disx)k_Δt＝|(objectx)t+kΔt-(objectx)t+(k-1)Δt|,k＝1,2,3......(11)
(disy)k_Δt＝|(objecty)t+kΔt-(objecty)t+(k-1)Δt|,k＝1,2,3......(12)
其中，(disx)k_Δt为该被跟踪人头在第k个Δt间隔在x方向移动距离，(objectx)t+kΔt为该被跟踪对象在第t+kΔt帧x方向位置，|(objectx)t+kΔt-(objectx)t+(k-1)Δt|为该被跟踪头在第t+kΔt帧x方向位置与第t+(k-1)Δt帧x方向位置距离。
步骤S6043，人头运动轨迹一致性判断。
分析一系列位移(disx)k_Δt,k＝1,2,3......与(disy)k_Δt,k＝1,2,3......，如果这些位移都大于设定阈值，且位移间的差异小于某阈值，则该人头运动轨迹具有一致性，否则没有一致性。如公式(13)所示。
公式(13)中Uniformh＝1则该头运动具有一致性，否则没有一致性。(disa)k_Δt为该头在第k个Δt时间间隔在x方向或者y方向位移；ThreD1为阈值，这里设为20，其中k取值为1,2,3，......；时间间隔Δt取为10帧，|(disa)k_Δt-(disa)k'_Δt|为该头对象第k个Δt时间间隔在x方向或者y方向位移与该头对象第k'个Δt时间间隔在x方向或者y方向位移差异，ThreD2为距离阈值，这里取值为30。
步骤S6044，当人头轨迹分析中Uniformh＝0，则判断此时有打架行为。
本发明第二实施例的一种基于视频分析的打架检测系统，包括预处理模块、第一提取模块、第二提取模块、第三提取模块、轨迹获取模块、打架判断模块；
所述预处理模块，配置为对输入视频的第t帧图像进行灰度化处理；
所述第一提取模块，配置为基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；
所述第二提取模块，配置为获取第t帧图像中运动物体最小外接矩形集合MOTt；
所述第三提取模块，配置为基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；
所述轨迹获取模块，配置为跟踪VIOOBt并记录其轨迹TRAIL；
所述打架判断模块，配置为基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于视频分析的打架检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于视频分析的打架检测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述基于视频分析的打架检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于视频分析的打架检测方法，其特征在于，包括：
步骤S10，对输入视频的第t帧图像进行灰度化处理；
步骤S20，基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；
步骤S30，获取第t帧图像中运动物体最小外接矩形集合MOTt；
步骤S40，基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；
步骤S50，跟踪VIOOBt并记录其轨迹TRAIL；
步骤S60，基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
2.根据权利要求1所述的基于视频分析的打架检测方法，其特征在于，步骤S20中“提取第t帧图像中灰度变化大于设定阈值的区域集合VIOREG”，其方法为：
步骤S201，基于所述灰度差值，获取t帧图像相对于t-1帧图像的剧烈运动二值图VIOt，
其中，Et(x,y)为t帧图像与t-1帧图像在点(x,y)处的灰度差值的绝对值；T1为设定阈值；a、b分别为VIOt预设的灰度值；
步骤S202，基于预设滑窗对VIOt进行遍历，获取剧烈运动区域集合VIOREGt；所述剧烈运动区域集合VIOREGt中各剧烈运动区域为值为a的点的数量大于设定阈值T2的滑窗覆盖区域。
3.根据权利要求1所述的基于视频分析的打架检测方法，其特征在于，步骤S30中“获取第t帧图像中运动物体最小外接矩形集合MOTt”，其方法为：
步骤S301，利用三帧差法获取第t帧图像中运动物体集合MOTt′，公式为
Result1＝|It-It-1|mul|It+1-It|
Result2＝二值化(Result1)
MOTt′＝形态学处理(Result2)
其中，It为第t帧图像的灰度图；Result1、Result2为中间变量；
步骤S302，通过跟踪边界对数字二值图像进行拓扑分析的方法获取第t帧图像中运动物体的轮廓，并基于该轮廓获取其最小外接矩形MOTti。
4.根据权利要求3所述的基于视频分析的打架检测方法，其特征在于，步骤S40中所述剧烈运动物体集合VIOOBt，其获取方法为：
其中，为MOTti的面积；T3设定阈值。
5.根据权利要求1所述的基于视频分析的打架检测方法，其特征在于，步骤S50中轨迹TRAIL是采用近邻重叠法进行跟踪获取，其公式表示为：
TRAIL＝{Objectt|Objectt＝Merge(Objectt1,Objectt2......),OverL(Objectti,Objectt-1)>T4}
其中，Objectt为第t帧图该剧烈运动物体位置；Merge(Objectt1,Objectt2…)为第t帧图像中满足某些条件的各运动物体位置的合并；
OverL(Objectti,Objectt-1)>T4为当前帧中与前帧即t-1帧该剧烈运动物体重叠度大于某阈值T4的各个运动物体；Objectti为第t帧图像中第i个运动物体位置，Objectt-1为第t-1帧图像中该剧烈运动物体位置；T4为设定阈值。即当前帧中与前帧剧烈运动物体重叠度大于某阈值的运动物体合并成为一个运动物体，其位置就是该剧烈运动物体在当前帧的位置。
6.根据权利要求1所述的基于视频分析的打架检测方法，其特征在于，步骤S60中“基于TRAIL确定各帧图像中人头位置”，其方法为：
步骤S601，基于梯度图三帧差分法获得TRAIL中每帧的运动物体二值图；
步骤S602，通过跟踪边界对数字二值图像进行拓扑分析的方法提取运动物体图轮廓，并获得轮廓上每点坐标
步骤S603，基于运动物体图轮廓的点坐标，采用链码算法获取人头位置。
7.根据权利要求1所述的基于视频分析的打架检测方法，其特征在于，步骤S60中“判断人头运动的轨迹的一致性”，其方法为：
其中，(disa)k_Δt为该人头图像在第k个Δt时间间隔在a方向的位移，；|(disa)k_Δt-(disa)k'_Δt|为该人头图像对象第k个Δt时间间隔在a方向位移与该人头图像对象第k'个Δt时间间隔在a方向位移差异；ThreD1、ThreD2分别为两个设定的距离阈值，x、y为图像帧的二维坐标方向，k、k'为自然数；Uniformh＝1则该头运动具有一致性，否则没有一致性。
8.一种基于视频分析的打架检测系统，其特征在于，该系统包括预处理模块、第一提取模块、第二提取模块、第三提取模块、轨迹获取模块、打架判断模块；
所述预处理模块，配置为对输入视频的第t帧图像进行灰度化处理；
所述第一提取模块，配置为基于第t帧图像与第t-1帧图像的灰度差值，提取t帧图像中灰度变化大于设定阈值的区域集合VIOREGt；
所述第二提取模块，配置为获取第t帧图像中运动物体最小外接矩形集合MOTt；
所述第三提取模块，配置为基于VIOREGt、MOTt，获取第t帧图像中剧烈运动物体集合VIOOBt；
所述轨迹获取模块，配置为跟踪VIOOBt并记录其轨迹TRAIL；
所述打架判断模块，配置为基于TRAIL确定各帧图像中人头位置，并判断人头运动的轨迹的一致性，当一致性小于设定阈值时判断当前输入视频中存在打架行为。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于视频分析的打架检测方法。
10.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于视频分析的打架检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910591102.8A CN110298323B (zh) | 2019-07-02 | 2019-07-02 | 基于视频分析的打架检测方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910591102.8A CN110298323B (zh) | 2019-07-02 | 2019-07-02 | 基于视频分析的打架检测方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110298323A true CN110298323A (zh) | 2019-10-01 |
| CN110298323B CN110298323B (zh) | 2021-10-15 |
Family
ID=68029943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910591102.8A Active CN110298323B (zh) | 2019-07-02 | 2019-07-02 | 基于视频分析的打架检测方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298323B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046788A (zh) * | 2019-12-10 | 2020-04-21 | 北京文安智能技术股份有限公司 | 一种停留人员的检测方法、装置及系统 |
| CN111753724A (zh) * | 2020-06-24 | 2020-10-09 | 上海依图网络科技有限公司 | 一种异常行为识别方法及装置 |
| CN111860192A (zh) * | 2020-06-24 | 2020-10-30 | 国网宁夏电力有限公司检修公司 | 一种移动物体的识别方法及系统 |
| WO2021098657A1 (zh) * | 2019-11-18 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 视频检测方法、装置、终端设备及可读存储介质 |
| CN113468913A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理、动作识别、模型训练方法、设备及存储介质 |
| CN115294486A (zh) * | 2022-10-08 | 2022-11-04 | 彼图科技(青岛)有限公司 | 一种基于无人机和人工智能的违章建筑数据识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751678A (zh) * | 2009-12-16 | 2010-06-23 | 北京智安邦科技有限公司 | 一种人群剧烈运动的检测方法及装置 |
| CN101883258A (zh) * | 2009-05-08 | 2010-11-10 | 上海弘视通信技术有限公司 | 暴力犯罪检测系统及其检测方法 |
| CN102708571A (zh) * | 2011-06-24 | 2012-10-03 | 杭州海康威视软件有限公司 | 视频中剧烈运动的检测方法及其装置 |
| CN102750709A (zh) * | 2012-05-31 | 2012-10-24 | 中国科学院自动化研究所 | 利用视频检测打架行为的方法和装置 |
| WO2013003330A1 (en) * | 2011-06-27 | 2013-01-03 | Massachusetts Institute Of Technology | Modulated aperture imaging for automatic moving target detection |
| CN103020611A (zh) * | 2012-12-30 | 2013-04-03 | 信帧电子技术（北京）有限公司 | 检测打架行为的方法 |
| CN103428407A (zh) * | 2012-05-25 | 2013-12-04 | 信帧电子技术（北京）有限公司 | 一种视频中打架的侦测方法 |
| CN104301697A (zh) * | 2014-07-15 | 2015-01-21 | 广州大学 | 一种公共场所暴力事件自动检测系统及其方法 |
| CN104318578A (zh) * | 2014-11-12 | 2015-01-28 | 苏州科达科技股份有限公司 | 一种视频图像分析方法及系统 |
| US20160371827A1 (en) * | 2014-02-24 | 2016-12-22 | Shenzhen Huabao Electronic Technology Co., Ltd. | Method and apparatus for recognizing moving target |
-
2019
- 2019-07-02 CN CN201910591102.8A patent/CN110298323B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101883258A (zh) * | 2009-05-08 | 2010-11-10 | 上海弘视通信技术有限公司 | 暴力犯罪检测系统及其检测方法 |
| CN101751678A (zh) * | 2009-12-16 | 2010-06-23 | 北京智安邦科技有限公司 | 一种人群剧烈运动的检测方法及装置 |
| CN102708571A (zh) * | 2011-06-24 | 2012-10-03 | 杭州海康威视软件有限公司 | 视频中剧烈运动的检测方法及其装置 |
| WO2013003330A1 (en) * | 2011-06-27 | 2013-01-03 | Massachusetts Institute Of Technology | Modulated aperture imaging for automatic moving target detection |
| CN103428407A (zh) * | 2012-05-25 | 2013-12-04 | 信帧电子技术（北京）有限公司 | 一种视频中打架的侦测方法 |
| CN102750709A (zh) * | 2012-05-31 | 2012-10-24 | 中国科学院自动化研究所 | 利用视频检测打架行为的方法和装置 |
| CN103020611A (zh) * | 2012-12-30 | 2013-04-03 | 信帧电子技术（北京）有限公司 | 检测打架行为的方法 |
| US20160371827A1 (en) * | 2014-02-24 | 2016-12-22 | Shenzhen Huabao Electronic Technology Co., Ltd. | Method and apparatus for recognizing moving target |
| CN104301697A (zh) * | 2014-07-15 | 2015-01-21 | 广州大学 | 一种公共场所暴力事件自动检测系统及其方法 |
| CN104318578A (zh) * | 2014-11-12 | 2015-01-28 | 苏州科达科技股份有限公司 | 一种视频图像分析方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| FATH U MIN ULLAH 等: "Violence Detection Using Spatiotemporal Features with 3D Convolutional Neural Network", 《SENSORS》 * |
| 赵军: "基于机器视觉的羽毛球路径跟踪算法的研究及实现", 《中国优秀硕士学位论文全文数据库社会科学2辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098657A1 (zh) * | 2019-11-18 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 视频检测方法、装置、终端设备及可读存储介质 |
| CN111046788A (zh) * | 2019-12-10 | 2020-04-21 | 北京文安智能技术股份有限公司 | 一种停留人员的检测方法、装置及系统 |
| CN113468913A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理、动作识别、模型训练方法、设备及存储介质 |
| CN111753724A (zh) * | 2020-06-24 | 2020-10-09 | 上海依图网络科技有限公司 | 一种异常行为识别方法及装置 |
| CN111860192A (zh) * | 2020-06-24 | 2020-10-30 | 国网宁夏电力有限公司检修公司 | 一种移动物体的识别方法及系统 |
| CN115294486A (zh) * | 2022-10-08 | 2022-11-04 | 彼图科技(青岛)有限公司 | 一种基于无人机和人工智能的违章建筑数据识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110298323B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298323A (zh) | 基于视频分析的打架检测方法、系统、装置 | |
| Hsieh et al. | Shadow elimination for effective moving object detection by Gaussian shadow modeling | |
| Haritaoglu et al. | w 4 s: a real-time system for detecting and tracking people in 2 1/2 d | |
| Pai et al. | Pedestrian detection and tracking at crossroads | |
| Senior et al. | Appearance models for occlusion handling | |
| CN106600625A (zh) | 检测小型生物的图像处理方法及装置 | |
| Di Lascio et al. | A real time algorithm for people tracking using contextual reasoning | |
| KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| JP3655618B2 (ja) | 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム | |
| CN111191570A (zh) | 图像识别方法和装置 | |
| KR101866381B1 (ko) | 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법 | |
| Tang et al. | Hybrid blob and particle filter tracking approach for robust object tracking | |
| CN108710879A (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
| Sengar et al. | Moving object tracking using Laplacian-DCT based perceptual hash | |
| KR101137110B1 (ko) | 영상 내 물체 감시 방법 및 장치 | |
| JP4020982B2 (ja) | 動画像処理装置 | |
| Ling et al. | Colour-based object tracking in surveillance application | |
| JP6028972B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| Rogers et al. | Counting bicycles using computer vision | |
| JP4787424B2 (ja) | 映像オブジェクト検出・追跡装置 | |
| KR20000054784A (ko) | 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법 | |
| Mudjirahardjo et al. | Temporal analysis for fast motion detection in a crowd | |
| JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| KR100911121B1 (ko) | 영상 기반의 인간 블랍 추적방법 | |
| Kim et al. | Accurate abandoned and removed object classification using hierarchical finite state machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |