CN110059531A - 基于视频图像的打架行为检测方法及装置 - Google Patents
基于视频图像的打架行为检测方法及装置 Download PDFInfo
- Publication number
- CN110059531A CN110059531A CN201811559623.7A CN201811559623A CN110059531A CN 110059531 A CN110059531 A CN 110059531A CN 201811559623 A CN201811559623 A CN 201811559623A CN 110059531 A CN110059531 A CN 110059531A
- Authority
- CN
- China
- Prior art keywords
- video image
- measured
- frame
- image frame
- fighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于视频图像的打架行为检测方法及装置，通过获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值。若大于所述第一预设阈值，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为。若小于或等于所述第一预设阈值，则获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。本方案通过多个决策结合特征变化综合判断是否发生打架行为，提高了基于视频图像中打架行为检测的准确性。
Description
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种基于视频图像的打架行为检测方法及装置。
背景技术
伴随着时代的发展以及科技的进步，基于视频图像的行为分析技术也在不断的发生着改变。目前，在广场、道路、酒店以及监狱等场所对打架斗殴的行为分析有着强烈的需求。现有的打架检测算法大多是基于传统的背景减除算法，首先检测出运动目标；然后再提取运动目标的特征点来计算运动矢量，或者是提取目标的轮廓；最后利用运动矢量特征或者轮廓变化规则来判断是否发生打架。传统的运动目标检测算法容易受到光照等因素的影响，导致难以准确的检测出目标，容易造成后续规则的误判；多人打架斗殴或者有多人围观打架时，容易出现打架目标被遮挡，造成打架行为的漏检。
发明内容
有鉴于此，本申请的目的在于，提供一种基于视频图像的打架行为检测方法及装置以改善上述问题。
本申请实施例提供一种基于视频图像的打架行为检测方法，应用于视频监测设备，所述方法包括：
获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值；
若大于所述第一预设阈值，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为；
若小于或等于所述第一预设阈值，则获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的各个第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。
进一步地，所述根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为的步骤包括：
框选所述待测视频图像帧和所述多个相邻视频图像帧中所述第一目标特征密集的区域，以获得对应的外接边框；
检测所述待测视频图像帧和所述多个相邻视频图像帧的外接边框中的第一目标特征的变化情况，以判断是否发生打架行为。
进一步地，所述框选所述待测视频图像帧和所述多个相邻视频图像帧中所述第一目标特征密集的区域，以获得外接边框的步骤包括：
利用边框对所述待测视频图像帧中各所述第一目标特征进行标注；
框选各所述第一目标特征和与其距离不超过所述边框宽度的第一预设倍数的第一目标特征，以获得外接边框。
进一步地，所述检测所述待测视频图像帧和所述多个相邻视频图像帧的外接边框中的第一目标特征的变化情况，以判断是否发生打架行为的步骤包括：
检测所述相邻视频图像帧的外接边框中的第一目标特征的数量是否超过所述待测视频图像帧的外接边框中的第一目标特征的数量的第二预设倍数；
若超过所述第二预设倍数，则检测所述待测视频图像帧和所述相邻视频图像帧的外接边框中的第一目标特征波动值是否大于第二预设阈值；
若所述第一目标特征波动值大于所述第二预设阈值，则确定发生打架行为。
进一步地，所述第二目标特征包括头部特征、上半身特征及下半身特征，所述检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为的步骤包括：
检测所述待测视频图像帧中各第二目标特征内是否具有相连接的部分；
若所述待测视频图像帧中的第二目标特征内有相连接的部分，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧中的第二目标特征，计算所述待测视频图像帧和所述多个相邻视频图像帧中的第二目标特征的面积变化熵值；
检测所述面积变化熵值是否大于第三预设阈值，若所述面积变化熵值大于所述第三预设阈值，则检测所述待测视频图像帧中的第二目标特征中的下半身特征是否有连接，以判断是否发生打架行为；或
检测各所述第二目标特征的预设点轨迹，以判断是否发生打架行为。
进一步地，所述检测所述待测视频图像帧中各第二目标特征内是否具有相连接的部分的步骤包括；
获得所述第二目标特征中的头部特征的个数；
若所述第二目标特征内包括至少两个所述头部特征，即确定各所述第二目标特征内具有相连接的部分。
进一步地，所述计算所述待测视频图像帧和所述多个相邻视频图像帧中的第二目标特征的面积变化熵值的步骤包括：
计算各所述第二目标特征的面积S；
划分得到第一预设单位面积，以获得多个第一区间，计算所述待测视频图像帧和所述多个相邻视频图像帧中，面积S落在各所述第一区间的次数；
根据面积S落在各所述第一区间的次数，计算所述待测视频图像帧和所述多个相邻视频图像帧中第二目标特征的面积变化熵值。
进一步地，所述检测所述第二目标特征中的下半身特征是否有连接，以判断是否发生打架行为的步骤包括：
获取所述第二目标中的头部特征的个数和下半身特征的个数；
若所述头部特征的个数大于或等于2，且所述下半身特征的个数小于所述头部特征的个数，则确定所述第二目标特征中的下半身特征有连接判定发生打架行为。
进一步地，所述检测所述第二目标特征的预设点轨迹，以判断是否发生打架行为的步骤包括：
记录所述待测视频图像帧中的第二目标特征的第一预设点与各所述相邻视频图像帧中的第二目标特征的第二预设点的运动方向；
根据预设角度，将二维空间划分为多个第二区间，计算所述第一预设点和第二预设点运动矢量方向出现在各所述第二区间的次数，以获得所述第一预设点和所述第二预设点的轨迹变化的熵值；
判断所述轨迹变化的熵值是否大于第四预设阈值，若所述预设点轨迹变化的熵值大于所述第四预设阈值，则确定出现打架行为。
本实施例还提供一种基于视频图像的打架行为检测装置，包括：
第一目标检测模块，用于获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值；
第一判别模块，用于当所述第一目标特征大于所述第一预设阈值时，获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况以判断是否发生打架行为；
第二判别模块，用于当所述第一目标特征小于或等于所述第一预设阈值时，获得待测视频图像帧中第二目标特征，检测所述待测视频图像帧中各个第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。
本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的基于视频图像的打架行为检测方法。
本发明实施例提供了一种基于视频图像的打架行为检测方法及装置，通过获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值。若大于所述第一预设阈值，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为。若小于或等于所述第一预设阈值，则获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。本方案通过多个决策结合特征变化综合判断是否发生打架行为，提高了基于视频图像中打架行为检测的准确性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的基于视频图像的打架行为检测方法的流程图。
图3为图2中步骤S2的子步骤的流程图。
图4为本发明实施例中框选第一目标特征的效果图。
图5为图2中步骤S3的子步骤的流程图。
图6为本发明实施例中区域分割后获得的第二目标特征的对比效果图。
图7为本发明实施例提供的基于视频图像的打架行为检测装置的功能模块框图。
图标：100-电子设备；110-基于视频图像的打架行为检测装置；111-第一目标检测模块；112-第一判别模块；113-第二判别模块；120-处理器；130-存储器。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
现有技术一，依据上肢接触、轮廓接近来作为触发条件。此方法在多目标聚集的场景中，目标轮廓相互粘连遮挡，提取上肢以及轮廓较为困难，同时要求在规定的时间内两人之间的轮廓要大于阈值，难以适应目标纠缠在一起或被遮挡的混乱场景。因此，该方法对打架行为的检测有一定的局限性。
现有技术二，依据平均位移量作为触发条件。此方法在多目标聚集的场景中，目标间相互粘连遮挡，利用传统算法对目标的检测也较为困难，在多目标时，该方案计算目标质心的位移较为困难。因此，该方法对打架行为的检测有一定的局限性。
如图1所示，本发明实施例基于上述研究发现提供了一种电子设备100，所述电子设备100包括存储器130、处理器120和基于视频图像的打架行为检测装置110。
所述存储器130和处理器120之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于视频图像的打架行为检测装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器130中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行的计算机程序，例如，所述基于视频图像的打架行为检测装置110所包括的软件功能模块及计算机程序等，以实现基于视频图像的打架行为检测方法。
其中，所述存储器130可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器130用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。
所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。
可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
可选地，所述电子设备100的具体类型不受限制，例如，可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、web(网站)服务器、数据服务器等具有处理功能的设备。
结合图2，本发明实施例还提供一种可应用于上述电子设备100的基于视频图像的打架行为检测方法。其中，所述方法有关的流程所定义的方法步骤可以由所述处理器120实现。下面将对图2所示的具体流程进行详细阐述。
S1，获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值。
具体地，获得待测视频图像帧，采用预先训练好的基于区域的全卷积网络(Region-based Fully Convolutional Networks，RFCN)的目标检测网络对待测视频图像帧进行目标检测，得到准确的所述第一目标特征的区域，所述第一目标特征可以是人头特征、人脚特征和肢体特征等。特别说明的是，作为优选方案，本发明实施例中选择人头特征作为所述第一目标特征，在实际应用中，可根据具体场景设定具体的特征。
根据所述第一目标特征的区域获得第一目标特征的数量，若所述第一目标特征的数量小于2则判定不会发生打架行为，即此时待测视频图像帧中没有人或只有一个人。若所述第一目标特征的数量大于或等于2，则进一步判断待测视频图像帧中是一群人还是几个人，检测所述第一目标特征的数量是否大于第一预设阈值，若大于第一预设阈值，即可知道待测视频图像帧中是一群人，若小于第一预设阈值，可知道待测视频图像帧中包括几个人。
传统的背景减除算法在检测出运动目标时容易受光照等的干扰，并且无法区分运动目标是否为行人，同时传统的行人检测算法在行人存在遮挡或者粘连时难以有效的定位出目标的位置。采用预先训练好的基于区域的全卷积网络的目标检测网络对待测视频图像帧进行检测，可以定位出人头特征的具体位置，较传统方法具有更好的鲁棒性和可区分性，此外，RFCN检测方法对行人存在遮挡、行人身体存在倾角时具有更大的灵活性和精确度。
S2，若大于所述第一预设阈值，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为。
显而易见地，当检测到所述第一目标特征的数量大于第一预设阈值，即可判断当前发生的行为可能属于群体斗殴或者多人围观。请结合参阅图3，S2还包括S21和S22，通过以下步骤以进一步判断当前的行为类型。
S21，框选所述待测视频图像帧和所述多个相邻视频图像帧中所述第一目标特征密集的区域，以获得对应的外接边框。
具体地，利用边框对所述待测视频图像帧中各所述第一目标特征进行标注。请参阅图4，图4为本发明实施例中，利用边框对所述第一目标特征进行标注后的效果图。
框选各所述第一目标特征和与其距离不超过所述边框宽度的第一预设倍数的第一目标特征，以获得外接边框。
需要注意的是，所述边框的形状可以是正方形、长方形、圆形、三角形和其他多边形，具体形状在此不做限定，在具体实施中，可以按照实际需求设置。
S22，检测所述待测视频图像帧和所述多个相邻视频图像帧的外接边框中的第一目标特征的变化情况，以判断是否发生打架行为。
首先，检测所述相邻视频图像帧的外接边框中的第一目标特征的数量是否超过所述待测视频图像帧的外接边框中的第一目标特征的数量的第二预设倍数。
具体地，根据公式计算所述待测视频图像帧和所述相邻视频图像帧的外接边框内所述第一目标特征的密度，其中，num为所述外接边框中的人头个数，W为所述外接边框的宽度，H为所述外接边框的高度。
计算各所述第一目标特征的变化值，判断所述变化值是否超过第二预设倍数。
需要说明的是，本发明实施例中，当所述变化值超过第二预设倍数时，即可知当前视频中加入了大量的人，可以判断当前可能发生了打架行为，需要进一步确认。
其次，若超过所述第二预设倍数，则检测所述待测视频图像帧和所述相邻视频图像帧的外接边框中的第一目标特征波动值是否大于第二预设阈值。
具体地，所述待测视频图像帧和所述相邻视频图像帧的外接边框内的所述第一目标特征密度均值，公式为:其中N为所述待测视频图像帧和所述相邻视频图像帧的个数，Di为各所述外接边框内所述第一目标特征密度。
根据公式获得所述外接边框内第一目标特征波动值。比较所述波动值与所述第二预设阈值。
最后，若所述第一目标特征波动值大于所述第二预设阈值，则确定发生打架行为。
需要说明的是，所述第一目标特征波动值大于所述第二预设阈值时，可知当前待测视频图像帧中人数发生了巨大的波动，可以确认此时发生了打架行为。
S3，若小于或等于所述第一预设阈值，则获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。
请结合参阅图5，S3包括S31、S32、S33和S34。
S31，检测所述待测视频图像帧中各第二目标特征内是否具有相连接的部分。
具体地，在本发明实施例的一种实施方式中，采用基于全卷积神经网络(FullyConvolutional Networks，FCN)对所述待测视频图像帧进行区域分割。
在本发明实施例的另一种实施方式中，可以是基于语义图像分割(DeepLab)对所述待测视频图像帧进行区域分割。
在本发明实施例的又一种实施方式中，还可以采用基于语义深度卷积编码器(SegNet)对所述待测视频图像帧进行区域分割。
上述分割方法具体实施规则可参考现有技术，在此不做赘述。
对所述对所述待测视频图像帧进行区域分割后，获得的所述第二目标特征包括头部特征、上半身特征及下半身特征，并获得各所述第二目标特征中的头部特征的个数。若至少一个所述第二目标特征内包括至少两个所述头部特征，即确定所述第二目标特征内具有相连接的部分。请参阅图6，RFCN检测出来的第一目标特征1与第一目标特征2与FCN分割出的所述第二目标特征中的1和2相对应，由于所述第二目标特征中含有1和2两个所述头部特征，所以所述第二目标特征中两个人物相互接触。
需要说明的是，在对所述待测视频图像帧进行区域分割时，是以具有连接部分的区域作为一个整体来分割，因此，区域分割后得到的第二目标特征中可能包含相互连接的两个人或三个人，也可能只包含一个人。
S32，若所述待测视频图像帧中的第二目标特征内有相连接的部分，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧中的第二目标特征，计算所述待测视频图像帧和所述多个相邻视频图像帧中的第二目标特征的面积变化熵值。
具体地，首先计算各所述第二目标特征的面积S。
其次，根据所述外接边框的宽度划分得到第一预设单位面积，以获得多个第一区间，计算所述待测视频图像帧和所述多个相邻视频图像帧中，面积S落在各所述第一区间的次数。
具体地，本发明实施例中，根据公式计算所述待测视频图像帧和所述多个相邻视频图像帧中，以为一个区间，面积S落在第i个区间的次数，其中，表示量化的单位面积，N表示所述待测视频图像帧和所述多个相邻视频图像帧的个数，a为1、2、3、4或其他任意数值。特别地，本发明实施例中，经发明人大量实践，其中a为3时获得的效果较好。
最后，根据面积S落在各所述第一区间的次数，计算所述待测视频图像帧和所述多个相邻视频图像帧中第二目标特征的面积变化熵值。
具体地，本发明实施例中，根据公式计算所述待测视频图像帧和所述多个相邻视频图像帧中第二目标特征的面积变化熵值。其中，b为1、2、3、4或其他任意数值。特别地，b为10时，是发明人在实践中得出的优选值，在实际应用过程中，可根据需求设定。
S33，检测各所述第二目标特征的面积变化熵值是否大于第三预设阈值，若各所述第二目标特征的面积变化熵值大于所述第三预设阈值，则检测各所述第二目标特征中的下半身特征是否有连接，以判断是否发生打架行为。
具体地，若一个所述第二目标特征连通，则获取所述第二目标中的头部特征的个数和下半身特征的个数。
若所述头部特征的个数大于或等于2，且所述下半身特征的个数小于所述头部特征的个数，则确定所述第二目标特征中的下半身特征有连接，判定发生打架行为。
S34，检测各所述第二目标特征的面积变化熵值是否大于第三预设阈值，若各所述第二目标特征的面积变化熵值大于所述第三预设阈值，则检测各所述第二目标特征的预设点轨迹，以判断是否发生打架行为。
首先，记录所述待测视频图像帧中的第二目标特征的第一预设点与各所述多个相邻视频图像帧中的第二目标特征的第二预设点的运动方向。
需要注意的是，本发明实施例中，所述预设点可以是所述第二目标特征的中心点，还可以是所述第二目标特征中的头部特征。具体位置可在实际应用中根据需求设置。
其次，根据预设角度，将二维空间划分为多个第二区间，计算所述第一预设点和第二预设点运动矢量方向出现在各所述第二区间的次数，以获得所述第一预设点和所述第二预设点的轨迹变化的熵值。
具体地，本发明实施例中，根据公式计算所述第一预设点和所述第二预设点的轨迹变化的熵值，其中，表示将第一预设点或第二预设点运动矢量的方向以90°为单位，分为四个区间时每个区间出现的次数。
最后，判断所述轨迹变化的熵值是否大于第四预设阈值，若所述轨迹变化的熵值大于所述第四预设阈值，则确定出现打架行为。
请参阅图7，本发明实施例还提供一种基于视频图像的打架行为检测装置110，包括：
第一目标检测模块111，用于获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值。
第一判别模块112，用于当所述第一目标特征大于所述第一预设阈值时，获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况以判断是否发生打架行为。
第二判别模块113，用于当所述第一目标特征小于或等于所述第一预设阈值时，获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。
可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
综上所述，本发明实施例提供了一种基于视频图像的打架行为检测方法及装置，通过获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值。若大于所述第一预设阈值，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为。若小于或等于所述第一预设阈值，则获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。本方案通过多个决策结合特征变化综合判断是否发生打架行为，提高了基于视频图像中打架行为检测的准确性。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种基于视频图像的打架行为检测方法，其特征在于，应用于视频监测设备，所述方法包括：
获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值；
若大于所述第一预设阈值，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为；
若小于或等于所述第一预设阈值，则获得所述待测视频图像帧中的第二目标特征，检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。
2.根据权利要求1所述的基于视频图像的打架行为检测方法，其特征在于，所述根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况判断是否发生打架行为的步骤包括：
框选所述待测视频图像帧和所述多个相邻视频图像帧中所述第一目标特征密集的区域，以获得对应的外接边框；
检测所述待测视频图像帧和所述多个相邻视频图像帧的外接边框中的第一目标特征的变化情况，以判断是否发生打架行为。
3.根据权利要求2所述的基于视频图像的打架行为检测方法，其特征在于，所述框选所述待测视频图像帧和所述多个相邻视频图像帧中所述第一目标特征密集的区域，以获得外接边框的步骤包括：
利用边框对所述待测视频图像帧中各所述第一目标特征进行标注；
框选各所述第一目标特征和与其距离不超过所述外接边框宽度的第一预设倍数的第一目标特征，以获得外接边框。
4.根据权利要求3所述的基于视频图像的打架行为检测方法，其特征在于，所述检测所述待测视频图像帧和所述多个相邻视频图像帧的外接边框中的第一目标特征的变化情况，以判断是否发生打架行为的步骤包括：
检测所述相邻视频图像帧的外接边框中的第一目标特征的数量是否超过所述待测视频图像帧的外接边框中的第一目标特征的数量的第二预设倍数；
若超过所述第二预设倍数，则检测所述待测视频图像帧和所述相邻视频图像帧的外接边框中的第一目标特征波动值是否大于第二预设阈值；
若所述第一目标特征波动值大于所述第二预设阈值，则确定发生打架行为。
5.根据权利要求1所述的基于视频图像的打架行为检测方法，其特征在于，所述第二目标特征包括头部特征、上半身特征及下半身特征，所述检测所述待测视频图像帧中的第二目标特征内是否具有相连接的部分，以判断是否发生打架行为的步骤包括：
检测所述待测视频图像帧中各第二目标特征内是否具有相连接的部分；
若所述待测视频图像帧中的第二目标特征内有相连接的部分，则获得与所述待测视频图像帧相邻的多个相邻视频图像帧中的第二目标特征，计算所述待测视频图像帧和所述多个相邻视频图像帧中的第二目标特征的面积变化熵值；
检测所述面积变化熵值是否大于第三预设阈值，若所述面积变化熵值大于所述第三预设阈值，则检测所述待测视频图像帧中的第二目标特征中的下半身特征是否有连接，以判断是否发生打架行为；或
检测所述第二目标特征的预设点轨迹，以判断是否发生打架行为。
6.根据权利要求5所述的基于视频图像的打架行为检测方法，其特征在于，所述检测所述待测视频图像帧中各第二目标特征内是否具有相连接的部分的步骤包括；
获得所述第二目标特征中的头部特征的个数；
若所述第二目标特征内包括至少两个所述头部特征，即确定所述第二目标特征内具有相连接的部分。
7.根据权利要求5所述的基于视频图像的打架行为检测方法，其特征在于，所述计算所述待测视频图像帧和所述多个相邻视频图像帧中的第二目标特征的面积变化熵值的步骤包括：
计算各所述第二目标特征的面积S；
划分得到第一预设单位面积，以获得多个第一区间，计算所述待测视频图像帧和所述多个相邻视频图像帧中，面积S落在各所述第一区间的次数；
根据面积S落在各所述第一区间的次数，计算所述待测视频图像帧和所述多个相邻视频图像帧中第二目标特征的面积变化熵值。
8.根据权利要求5所述的基于视频图像的打架行为检测方法，其特征在于，所述检测所述第二目标特征中的下半身特征是否有连接，以判断是否发生打架行为的步骤包括：
获取所述第二目标中的头部特征的个数和下半身特征的个数；
若所述头部特征的个数大于或等于2，且所述下半身特征的个数小于所述头部特征的个数，则确定所述第二目标特征中的下半身特征有连接，判定发生打架行为。
9.根据权利要求5所述的基于视频图像的打架行为检测方法，其特征在于，所述检测所述第二目标特征的预设点轨迹，以判断是否发生打架行为的步骤包括：
记录所述待测视频图像帧中的第二目标特征的第一预设点与各所述相邻视频图像帧的第二预设点的运动方向；
根据预设角度，将二维空间划分为多个第二区间，计算所述第一预设点和第二预设点运动矢量方向出现在各所述第二区间的次数，以获得所述第一预设点和所述第二预设点的轨迹变化的熵值；
判断所述轨迹变化的熵值是否大于第四预设阈值，若所述轨迹变化的熵值大于所述第四预设阈值，则确定出现打架行为。
10.一种基于视频图像的打架行为检测装置，其特征在于，包括：
第一目标检测模块，用于获得待测视频图像帧中第一目标特征的数量，检测所述第一目标特征的数量是否大于第一预设阈值；
第一判别模块，用于当所述第一目标特征大于所述第一预设阈值时，获得与所述待测视频图像帧相邻的多个相邻视频图像帧，并根据所述待测视频图像帧和所述多个相邻视频图像帧中的第一目标特征的变化情况以判断是否发生打架行为；
第二判别模块，用于当所述第一目标特征小于或等于所述第一预设阈值时，获得待测视频图像帧中第二目标特征，检测所述待测视频图像帧中各个第二目标特征内是否具有相连接的部分，以判断是否发生打架行为。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-9中任意一项所述的基于视频图像的打架行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811559623.7A CN110059531B (zh) | 2018-12-19 | 2018-12-19 | 基于视频图像的打架行为检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811559623.7A CN110059531B (zh) | 2018-12-19 | 2018-12-19 | 基于视频图像的打架行为检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110059531A true CN110059531A (zh) | 2019-07-26 |
| CN110059531B CN110059531B (zh) | 2021-06-01 |
Family
ID=67315861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811559623.7A Active CN110059531B (zh) | 2018-12-19 | 2018-12-19 | 基于视频图像的打架行为检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059531B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111045372A (zh) * | 2019-12-30 | 2020-04-21 | 重庆能工科技发展有限公司 | 一种智能工地管理系统 |
| CN111242008A (zh) * | 2020-01-10 | 2020-06-05 | 河南讯飞智元信息科技有限公司 | 打架事件检测方法、相关设备及可读存储介质 |
| CN111275921A (zh) * | 2019-08-19 | 2020-06-12 | 深圳市鸿合创新信息技术有限责任公司 | 一种行为监控方法及装置、电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509083A (zh) * | 2011-11-19 | 2012-06-20 | 广州大学 | 一种肢体冲突事件的检测方法 |
| CN102750709A (zh) * | 2012-05-31 | 2012-10-24 | 中国科学院自动化研究所 | 利用视频检测打架行为的方法和装置 |
| CN103077373A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 基于上肢推搡检测打架行为的方法 |
| CN103974028A (zh) * | 2013-01-30 | 2014-08-06 | 由田新技股份有限公司 | 人员激烈行为侦测方法 |
| CN104036301A (zh) * | 2014-06-11 | 2014-09-10 | 北京中慧煌技术有限公司 | 基于光流块特征的暴力事件识别方法及系统 |
| KR20150010248A (ko) * | 2013-07-18 | 2015-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 감지 방법 및 장치 |
| CN107194317A (zh) * | 2017-04-24 | 2017-09-22 | 广州大学 | 一种基于网格聚类分析的暴力行为检测方法 |
| CN107247946A (zh) * | 2017-07-06 | 2017-10-13 | 北京安宁威尔科技发展有限公司 | 行为识别方法及装置 |
| CN108596032A (zh) * | 2018-03-21 | 2018-09-28 | 浙江大华技术股份有限公司 | 一种视频中打架行为检测方法、装置、设备及介质 |
-
2018
- 2018-12-19 CN CN201811559623.7A patent/CN110059531B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509083A (zh) * | 2011-11-19 | 2012-06-20 | 广州大学 | 一种肢体冲突事件的检测方法 |
| CN102750709A (zh) * | 2012-05-31 | 2012-10-24 | 中国科学院自动化研究所 | 利用视频检测打架行为的方法和装置 |
| CN103077373A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 基于上肢推搡检测打架行为的方法 |
| CN103974028A (zh) * | 2013-01-30 | 2014-08-06 | 由田新技股份有限公司 | 人员激烈行为侦测方法 |
| KR20150010248A (ko) * | 2013-07-18 | 2015-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 감지 방법 및 장치 |
| CN104036301A (zh) * | 2014-06-11 | 2014-09-10 | 北京中慧煌技术有限公司 | 基于光流块特征的暴力事件识别方法及系统 |
| CN107194317A (zh) * | 2017-04-24 | 2017-09-22 | 广州大学 | 一种基于网格聚类分析的暴力行为检测方法 |
| CN107247946A (zh) * | 2017-07-06 | 2017-10-13 | 北京安宁威尔科技发展有限公司 | 行为识别方法及装置 |
| CN108596032A (zh) * | 2018-03-21 | 2018-09-28 | 浙江大华技术股份有限公司 | 一种视频中打架行为检测方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| EUGENE YUJUN FU等: "Automatic Fight Detection Based on Motion Analysis", 《2015 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 * |
| 李保田: "基于视频的打架斗殴检测系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275921A (zh) * | 2019-08-19 | 2020-06-12 | 深圳市鸿合创新信息技术有限责任公司 | 一种行为监控方法及装置、电子设备 |
| CN111045372A (zh) * | 2019-12-30 | 2020-04-21 | 重庆能工科技发展有限公司 | 一种智能工地管理系统 |
| CN111242008A (zh) * | 2020-01-10 | 2020-06-05 | 河南讯飞智元信息科技有限公司 | 打架事件检测方法、相关设备及可读存储介质 |
| CN111242008B (zh) * | 2020-01-10 | 2024-04-12 | 河南讯飞智元信息科技有限公司 | 打架事件检测方法、相关设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110059531B (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| CN104680555B (zh) | 基于视频监控的越界检测方法及越界监控系统 | |
| CN105405150B (zh) | 基于融合特征的异常行为检测方法和装置 | |
| CN104103030B (zh) | 图像分析方法、照相机装置、控制装置及控制方法 | |
| CN106296721B (zh) | 基于立体视觉的对象聚集检测方法和装置 | |
| CN109076198A (zh) | 基于视频的对象跟踪遮挡检测系统、过程和设备 | |
| CN101167086A (zh) | 用于安全应用的人体检测和跟踪 | |
| US20090304229A1 (en) | Object tracking using color histogram and object size | |
| CN110400332A (zh) | 一种目标检测跟踪方法、装置及计算机设备 | |
| CN110059531A (zh) | 基于视频图像的打架行为检测方法及装置 | |
| CN103810717B (zh) | 一种人体行为检测方法及装置 | |
| CN107818573A (zh) | 一种目标跟踪方法及装置 | |
| EA018349B1 (ru) | Способ видеоанализа | |
| CN108256404A (zh) | 行人检测方法和装置 | |
| CN101986348A (zh) | 一种视觉目标识别与跟踪方法 | |
| Srivastava et al. | Crowd flow estimation using multiple visual features for scenes with changing crowd densities | |
| CN109902551A (zh) | 开放场景的实时人流统计方法和装置 | |
| CN111091025B (zh) | 图像处理方法、装置和设备 | |
| Conte et al. | Counting moving persons in crowded scenes | |
| CN110929584A (zh) | 网络训练方法、监控方法、系统、存储介质和计算机设备 | |
| CN109961029A (zh) | 一种危险物品检测方法、装置及计算机可读存储介质 | |
| CN110148147A (zh) | 图像检测方法、装置、存储介质和电子装置 | |
| Shalnov et al. | Convolutional neural network for camera pose estimation from object detections | |
| CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
| CN107665495B (zh) | 对象跟踪方法及对象跟踪装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |