CN107330414A

CN107330414A - 暴力行为监控方法

Info

Publication number: CN107330414A
Application number: CN201710551767.7A
Authority: CN
Inventors: 黄万伟; 张建伟; 征察; 孙玉胜; 梁树军; 李玉华; 马欢; 张玲; 马军霞; 赵晓君
Original assignee: Zhengzhou University of Light Industry
Current assignee: Zhengzhou University of Light Industry
Priority date: 2017-07-07
Filing date: 2017-07-07
Publication date: 2017-11-07

Abstract

本发明公开了一种暴力行为监控方法，包含：采集当前视频帧的图像，并提取该当前视频帧的图像的二值前景图像；将该当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R；根据该当前视频帧的图像与前一视频帧的图像，计算全局运动强度E；根据该相似度R与该全局运动强度E，融合计算暴力行为指数；如果该暴力行为指数大于预先设定的阈值，则判定发生暴力行为，并且系统发出报警信号。本发明能够更加准确、及时地发现暴力犯罪情况，尤其是在较为密闭的场所，从而使得更及时地对暴力犯罪的受害人进行及时的救援。

Description

暴力行为监控方法

技术领域

本发明涉及安防领域，具体涉及基于对多种场景下的暴力行为监控领域。

背景技术

随着城市化进程的不断发展，城市中出现了越来越多的类似于ATM机操作间、电梯轿厢等较为密闭的场所。近年来，在较为密闭的场所发生暴力犯罪案件屡有发生。又因为这些场所的密闭特点，这些暴力犯罪案件在发生时很难被发现，从而无法对受害者进行及时的帮助。

在城市中，上述的较为密闭的场所一般会安装有监控摄像头。这些监控系统只负责将监控场景中的事件进行记录回传。这样发生重大事件后，可以通过视频进行事后取证，排解纠纷，破获案件。但现有的监控系统缺乏有效的数据分析功能，无法准确、及时地自动发现场景中出现的异常事件。

另外，在一些较为重要的场所，其监控摄像头拍摄到的画面回传至监控中心，监控中心往往不得不有监控人员对实时画面进行监视分析。

这样不仅造成监控成本的上升，而且一个监控人员往往监控多个画面，容易引起工作疲劳，反应不够及时和准确，导致监控的准确度和效率均不够理想。

综上所述，本领域迫切需要一种暴力行为监控技术，能够更加准确、及时地发现暴力犯罪情况，尤其是在较为密闭的场所，从而使得更及时地对暴力犯罪的受害人进行及时的救援。

发明内容

本发明的目的就是提供一种暴力行为监控方法，能够准确、及时地检测到暴力犯罪行为，从而更及时有效地对暴力犯罪的是害人进行救援。

本发明提供了一种暴力行为监控方法，包含：

采集当前视频帧的图像，并提取该当前视频帧的图像的二值前景图像；

将该当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R；

根据该当前视频帧的图像与前一视频帧的图像，计算全局运动强度E；

根据该相似度R与该全局运动强度E，融合计算暴力行为指数：

Value＝αR+βE

其中，Value为暴力行为指数，α为相似度系数，β为全局运动强度系数；

如果该暴力行为指数大于预先设定的阈值，则判定发生暴力行为，并且系统发出报警信号。

在另一优选例中，在该将该当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R的步骤中，采用分层匹配方法。

在另一优选例中，该分成匹配方法包含以下步骤：

在系统更新时，根据归一化化相关系数匹配法计算任意两个暴力行为模板之间的相似度；

采用AP聚类算法根据该暴力行为模板之间的相似度进行聚类,获得聚类结果，并将每个类簇中的暴力行为模板图像视为一个暴力行为模板包；

将该当前视频帧的图像的二值前景图像和每个该暴力行为模板包的聚类中心图像进行匹配，获得和每个该暴力行为模板包的聚类中心图像的相似度，并确定相似度最高的聚类中心图像；

计算该当前视频帧的图像的二值前景图像与该相似度最高的聚类中心图像所在的暴力行为模板包中的所有图像的相似度，并将最高的相似度作为该当前视频帧的图像的二值前景图像与该暴力行为模板的相似度R。

在另一优选例中，在该将该当前图像的二值前景图像与暴力行为模板进行对比的步骤中，还包含：

对该当前图像和该暴力行为模板分别进行去均值处理。

在另一优选例中，该相似度R的计算方式为：

其中，U，V为暴力行为模板大小，f(x,y)为匹配区域内的像素灰度值，t(x-u,y-v)为暴力行为模板中的像素灰度值，为匹配区域中的均值，为暴力行为模板的灰度均值：

公式(1)的分母是零均值函数与零均值暴力行为模板函数的方差。

在另一优选例中，该全局运动强度E的计算公式为：

其中，m为图像上的目标像素点的个数，V＝(v_x,v_y)为像素的运动速度。

在另一优选例中，该暴力行为指数的预先设定的阈值为0.5。

在另一优选例中，该α和β的取值范围为0-1之间的自然数,并且，α≤β。

在另一优选例中，该α＝0.4，并且，该β＝0.6。

在另一优选例中，该方法还包含：

当该暴力行为指数大于该预先设定的阈值时，监控人员根据采集的当前视频帧的图像判断是否发生暴力行为，如果是，则将采集到的该当前视频帧的图像的二值前景图像保存并加入到暴力行为模板库中作为新的暴力行为模板。

在另一优选例中，在该采集当前视频帧的图像，并提取该当前视频帧的图像的二值前景图像的步骤中，还包含：

设定该二值前景图像独立物体的面积阈值，将小于该阈值的独立物体从该二值前景图像中删除。

本发明实施方式与现有技术相比，至少具有以下区别和效果：

能够准确、及时地检测到暴力犯罪行为，从而更及时有效地对暴力犯罪的是害人进行救援。

具体地说，首先，将模板匹配相似度和运动强度融合判断。摄像头捕获的每帧图像和模板匹配相似度R从静态图像的角度提供了判定当前是否发生暴力行为的信息，而全局运动强度E则从时序的图像序列角度提供了判定当前是否发生暴力行为的信息。因此将两者融合起来进行判定可以获得更好的效果。

在获得R和E后，对每帧图像可能含有暴力行为的程度进行打分，分数定义为：Value＝αR+βE。当该分数超过设定的阈值时判定发生暴力行为。

进一步地说，α和β的取值范围为0-1之间的自然数。经过大量数据统计，α小于β时，融合判断的结果准确率较高，进一步地说，当α＝0.4，β＝0.6时，融合判断的结果准确率更高。

第二，考虑到随着系统使用时间的增加，会不断有新的暴力行为模板被添加至模板库中，模板库中的模板也不断增加。在这种情况下，当模板库中的模板数量增加到一定程度后，将帧图像的前景二值图像和每个模板都进行对比，并计算相似度，将会耗费大量时间，使得系统难以进行实时处理。因此，本发明采用分层匹配方法以获得每帧图像的模板匹配相似度，显著减少了模板匹配所需要消耗的时间，使暴力行为监控更为及时高效。

应理解，在本发明范围内中，本发明的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一累述。

附图说明

图1是本发明的一个实施例的暴力行为监控方法涉及的硬件结构示意图；

图2是本发明的一个实施例的暴力行为监控方法中的远程用户终端界面；

图3是本发明的一个实施例的基于改进的背景消除的图像前景内容提取的计算流程图；

图4是本发明的一个实施例的基于二值前景图像和暴力行为模板库的图像匹配的流程图；

图5是本发明的一个实施例的基于C/S通信模式的通信报警系统的流程图；

图6是本发明的一个实施例的使用径向基神经网络结构示意图；

图7是本发明的一个实施例的发生暴力行为时的图像与正常情况下的图像的示意图；

图8是本发明的一个实施例的暴力行为监控方法流程示意图。

具体实施方式

本发明人经过广泛而深入的研究，发现摄像头捕获的每帧图像和模板匹配相似度R从静态图像的角度提供了判定当前是否发生暴力行为的信息，而全局运动强度E则从时序的图像序列角度提供了判定当前是否发生暴力行为的信息。因此将两者融合起来进行判定可以获得更好的效果。因为很难通过经验知识来手动设计融合方式，所以选择通过训练一个基于径向基神经网络(RBF神经网络)的融合模型来进行相似度R和全局运动强度E的融合。

此外，考虑到本发明受具体使用环境的影响(如使用环境的背景，摄像头的位置)，事先训练好的融合模型可能并不完全适用于新的使用环境中。因此，采用在线学习的方式，在使用时根据使用环境中产生的暴力事件图像和正常事件图像，对系统本身的性能进行不断的自我完善。

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

术语

如本文所用，术语“模板”、“暴力行为模板”可互换使用，指本发明的事先采集到的包含暴力行为的二值前景图像,用于和摄像头拍摄到的图像的二至前景图像进行对比。

如本文所用，术语“二值前景图像”指本发明在将摄像机拍摄到的图像删除无位移的背景图像后，将运动的前景图像使用二值化处理后得到的图像。

如本文所用，术语“全局运动强度”指本发明用于摄像头视野内物体运动剧烈强度的物理量。

如本文所用，术语“暴力行为指数”指本发明判定该帧图像中含有暴力行为的概率。

如本文所用，术语“分层匹配方法”指本发明用于匹配摄像头拍摄到的图像的二值前景图像和模板的具体方法。

如本文所用，术语“AP聚类算法”指本发明将模板图像划分为不同的模板包时所采用的具体算法。

如本文所用，术语“类簇”指本发明使用AP聚类算法对模板图像进行聚类后，比较相似的模板聚成的团。

如本文所用，术语“暴力行为模板包”指本发明使用AP聚类算法对模板图像进行聚类后，得到若干图像类簇，每个类簇中的所有图像即组成一个暴力行为模板包。

如本文所用，术语“聚类中心图像”指本发明每个暴力行为模板包中具有代表整个包图像能力的类簇中心图像，其是由AP聚类算法自动指定的。

如本文所用，术语“相似度(R)”指本发明用于度量摄像头拍摄到的图像的二值前景图像和模板的相似程度的物理量

如本文所用，术语“像素灰度值”指由于景物各点的颜色及亮度不同，摄成的黑白图像上各点呈现不同程度的灰色，把白色与黑色之间按对数关系分成若干级，称为“灰度等级”，或称为灰度值。

实施例概述

如上所述，将摄像头捕获的每帧图像和模板匹配相似度、以及全局运动强度两者融合起来进行判定可以获得更好的效果。

另外，如上所述，考虑到本系统在实际使用时，受具体使用环境的影响(如使用环境的背景，摄像头的位置)，事先训练好的融合模型可能并不完全适用于新的使用环境中。因此，采用在线学习的方式，在使用时根据使用环境中产生的暴力事件图像和正常事件图像，对系统本身的性能进行不断的自我完善。

如图8所示，本发明的实施例的暴力行为监控方法，包含：

步骤801，采集当前视频帧的图像，并提取该当前视频帧的图像的二值前景图像。

此后，进入步骤802，将该当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R。

此后，进入步骤803，根据该当前视频帧的图像与前一视频帧的图像，计算全局运动强度E；

此后，进入步骤804，根据该相似度R与该全局运动强度E，融合计算暴力行为指数：

Value＝αR+βE

此后，进入步骤805，判断该暴力行为指数是否大于预先设定的阈值，如果是，则判定发生暴力行为，并且系统发出报警信号。否则，返回步骤801。

进一步地说，另一优选例中，在该将该当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R的步骤中，采用分层匹配方法。

进一步地说，该分成匹配方法包含以下步骤：

进一步地说，另一优选例中，在该将该当前图像的二值前景图像与暴力行为模板进行对比的步骤中，还包含：

对该当前图像和该暴力行为模板分别进行去均值处理。

进一步地说，另一优选例中，该相似度R的计算方式为：

进一步地说，另一优选例中，该全局运动强度E的计算公式为：

进一步地说，另一优选例中，该暴力行为指数的预先设定的阈值为0.5。

进一步地说，另一优选例中，该α和β的取值范围为0-1之间的自然数,并且，α≤β。

进一步地说，另一优选例中，该α＝0.4，并且，该β＝0.6。

进一步地说，另一优选例中，该方法还包含：

进一步地说，另一优选例中，在该采集当前视频帧的图像，并提取该当前视频帧的图像的二值前景图像的步骤中，还包含：

本发明的主要优点包括：

根据改进的背景减除法来获图像的前景内容，并通过将二值化的前景图像和模板进行匹配来判断是否发生暴力行为，更准确快速。

可以快速检测图像中的暴力行为，并将检测结果推送至远程用户终端。

采用本申请的暴力行为监控系统，可以对ATM机服务间、电梯等场所内的暴力行为进行自动监控，应用场合广泛，为维护社会治安提供有力保障。

另外，该方法及系统还具有运营成本低，可靠性较好，可移植性强和便于部署等特点，应用前景十分广阔。

第一实施例：暴力行为监控方法

下面详细描述本发明的实施例中的具体细节。

系统部署前的预训练

采集200个训练样本(200个(R,E)组合)，其中100个正常样本，被标记为0,100个异常样本，被标记为1。

利用其来训练一个资源分配神经网络(resources allocating network，RAN)，得到出厂的模型设置。

使用过程中的在线学习

在使用过程中，系统采集每帧图像的R和E，并输入至融合模型中，输出一个介于[0,1]之间的标量P，可作为暴力行为指数，即，将其视为系统判定该帧图像中含有暴力行为的概率，

若上述暴力行为指数，即，P值大于0.5，系统发出报警，并将当前图像发送至监控人员处。此时，监控人员根据当前图像，需根据系统提示来指明系统是否判断正确。

这种情况下，若监控人员指明系统判定正确，该帧图像的(R,E)被标记为1，否则标记为0。

此后，利用该样本，通过Levenberg-Marquardt算法作为训练算法再次训练融合模型，进行参数的微调。

并且，当该样本是暴力图像时，将该图像的二值前景图像保存下来，加入至模板库中作为新的模板。

暴力行为模板库

在本发明的实施例中，模板采用的是暴力行为模板库，而非正常行为模板库。

具体地说，在电梯轿厢、酒店走廊或者ATM机操作间内，由于人的姿势、位置不同，正常行为的形态多种多样，正常行为模板不易收集和匹配。在实际应用中容易将一些正常行为误检为暴力行为。

而在电梯轿厢、酒店走廊和ATM操作间等环境下，扭打、攻击等暴力行为往往比较有规律可循(如发生暴力行为时人体轮廓往往纠缠在一起)。因此使用暴力行为模板库，通过比较当前图像和暴力行为模板库中的模板的相似度，误检率较低，更容易发现真正的暴力行为。

径向基神经网络结构

本发明使用的径向基神经网络结构如图6所示。

在本发明中，选择径向基神经网络，而不是一般的前馈神经网络的原因在于：径向基神经网络是种高效的前馈式网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。

将提取的前景图像与模板进行对比(相似度R)

在本发明的实施例中，二值前景图像和模板的匹配相似度采用归一化化相关系数匹配法实现。

其中，U，V为模板大小，f(x,y)为匹配区域内位置在(x,y)处的像素灰度值，t(x-u,y-v)为模板中位置在(x-u,y-v)处的像素灰度值，为匹配区域中的均值，为模板的灰度均值：

公式(1)的分母是零均值函数与零均值模板函数的方差。

去均值处理

进一步地说，在本发明的实施例中，由于图像的均值通常不为零，难以检测到匹配点。所以，在相关匹配时，有必要对模板和原图像分别进行去均值处理，使相关算法对图像的亮度变化和图像的对比度变化不敏感。

运动强度判断(E)

在本发明的实施例中，全局运动强度计算公式如下：

具体地说，在暴力行为发生时，人体的运动强度较大。通过分析图像中人体的运动强度，可以为判断是否发生暴力行为提供线索。

本发明的实施例采用光流法对图像中人体的运动强度进行测算。该方法主要思想如下：

视频中相邻的两帧之间时间差距很小，因此可以认为两帧亮度恒定不变，图像中人体部分的像素也不会随时间变化，而且相邻视频帧物体运动相对比较平滑。

定义图像上的一个目标像素点(x,y)在t时刻的灰度值为I(x,y,t)，在经过很短的时间间隔Δt，x,y分别增加了Δx,Δt，则对应点(x+Δx,y+Δy)的灰度值变为I(x+Δx,y+Δy,t+Δt)。由此可以得到：I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)。

因此可求得该像素的运动速度为V＝(v_x,v_y)，

在具体方法上，计算图像中目标像素点的运动速度采用Lucas–Kanade光流法，该方法具有精度高、速度快以及抗噪声效果好等特点，如图1所示。

在求得图像中目标像素点的运动速度后，图像中的全局运动强度可通过求得，m为图像上的目标像素点的个数。

如图7所示，发生暴力行为时(右)运动强度比正常情况下(左)运动强度大。

上述两种判断的融合Value＝αR+βE

在本发明的实施例中，将模板匹配相似度和运动强度融合判断。

具体地说，摄像头捕获的每帧图像和模板匹配相似度R从静态图像的角度提供了判定当前是否发生暴力行为的信息，而全局运动强度E则从时序的图像序列角度提供了判定当前是否发生暴力行为的信息。因此将两者融合起来进行判定可以获得更好的效果。

帧图像和模板的分层匹配方法

在本发明的实施例中，考虑到随着系统使用时间的增加，会不断有新的暴力行为模板被添加至模板库中，模板库中的模板也不断增加。

在这种情况下，当模板库中的模板数量增加到一定程度后，将帧图像的前景二值图像和每个模板都进行对比，并计算相似度，将会耗费大量时间，使得系统难以进行实时处理。

因此，在本发明的实施例中，采用以下分层匹配方法以获得每帧图像的模板匹配相似度。

首先，在系统更新时间，使用如下方法将模板库中的模板划分成多个包：

1.在系统更新时间，根据归一化化相关系数匹配法(之前提供过详细的公式)，计算任意两个模板之间的相似度。两个图像或模板之间的相似度的具体技术方式会在上文中已经详细描述，在此不做赘述。

2.采用AP聚类算法(Affinity propagation clustering algorithm)，根据模板之间的相似度进行聚类。AP聚类算法的特点是不需要事先确定聚类的数目，而且在聚类结果中，采用真实样本点作为聚类中心。在获得聚类结果后，将每个类簇中的模板图像视为一个模板包。

此后，对帧图像的二值前景图像进行匹配，具体地说，方法如下。

1.将该帧的二值前景图像和每个模板包的聚类中心图像进行匹配，获得和每个聚类中心图像的相似度，并找到最相似的聚类中心图像。

2.该帧的二值前景图像和最相似地聚类中心图像所在包中的所有图像进行匹配，将其该包中的最相似的模板，即，匹配值最高的模板的匹配值作为该帧和模板的匹配度。

删除小物体

在本发明的实施例中，设定前景图像面积阈值，过滤面积较小的干扰噪声。

具体地说，在前景图像中可以观察到除了人体的轮廓外，还存在一些干扰噪声点。本发明通过设定前景图像独立物体的面积阈值，将小于阈值的独立物体从前景中删除，可以克服小物体对获得人体轮廓的干扰。

二值化

具体地说，在本发的实施例中，在从前景提取模块中获得前景图像之后，对整个图像进行二值化处理，将背景像素的值同一设定为0，前景图像的像素统一设定为1。通过二值化图像，去除了图像中人物的外貌、衣着等无关信息，却保留了人体的姿态、动作信息，更有利于判定人物的行为。

硬件结构说明

图1示出了本发明的一个实施例的暴力行为监控方法涉及的硬件系统。如图1所示，硬件系统包括：监控摄像头，智能分析服务器和远程用户终端。

具体地说，监控摄像头负责采集目标区域内的视觉信息，并传递给智能分析服务器。本实施例中的监控系统可兼容市场上绝大部分监控摄像头。

智能分析服务器，负责对监控摄像头采集的图像进行分析。在对原始图像进行灰度化、前景内容提取后，将前景内容进行二值化并和模板库中的模板进行对比，获得前景内容和每一个模板的相似度，若相似度超过事先设定的阈值则将拍摄到的原始图像传送至远程用户终端，并发出警报。

远程用户终端负责接收智能分析服务器发出的告警信息。

如图2所示，远程用户终端的界面通过MFC框架开发，界面分为四个区域：图片区、图片信息区、开始检测按钮、推出按钮。

点击开始检测按钮后，远程用户终端开始处于监听状态，收到图片后，把图片显示到图片区域，相应的图片信息区会显示图片的信息。

图3是本实施例的基于改进的背景消除的图像前景内容提取的计算流程图。

针对电梯、ATM机操作间内背景比较固定但仍有可能出现较小变化的特点，采用一种可以自动更新背景图像的背景消除法来获得图像前景内容。在系统刚启动时，由监控人员手动确定当前摄像头拍摄到的一张图像作为背景图像。之后在系统运行时，不断将摄像头新捕获的帧减去背景图作为前景图。对于前景图中出现的每一个独立物体，检测其大小是否超出预先设定的阈值，若超出则将其保留在前景图中，否则将其从前景图中删除。通过这种方式可以在一定程度上克服远处物体的变化所带来的噪声影响，同时也减少了近处小物体对分析人体行为的影响。

在上述的基础上，在前景图像中，若某一物体在超出预定阈值的时间内处于同一位置，且不发生其他变化，则将该物体从前景图像中删除并纳入背景图像中。通过这种方法可以实现背景图像的自动更新，可以克服因为光照、背景中新添加的固定物体等因素对提取前景图像的影响，提高了前景图像的质量。

图4是本发明的一个实施例的基于二值前景图像和暴力行为模板库的图像匹配的流程图。

在从前景提取模块中获得前景图像之后，对整个图像进行二值化处理，将背景像素的值同一设定为0，前景图像的像素统一设定为1。通过二值化图像，去除了图像中人物的外貌、衣着等无关信息，却保留了人体的姿态、动作信息，更有利于判定人物的行为。

在获得二值化的图像后，将图像中的每一个独立物体缩放至模板的尺寸，并采用相关系数匹配法将图像中的每个独立物体与模板进行匹配，并计算匹配度。若有匹配度超过预先设定的阈值，则进行报警。

图5是本发明的一个实施例的基于C/S通信模式的通信报警系统的流程图。

在本实施例中，智能分析服务器和远程用户终端是多对一的关系，即多台智能分析服务器的报警图片可以不定时的发送到远程用户终端，远程用户终端一直处在监听阻塞状态，直到接收到智能分析服务器的连接请求，然后建立连接，开始传输图片，完成图片传输以后，再次回到监听状态。

网络上的两个程序通过一个双向的通信连接实现数据的交换，这个通信连接的一端称为一个socket。根据连接启动的方式以及本地套接字要连接的目标，C/S模型套接字之间的连接过程可以分为三个步骤：服务器监听，客户端请求，连接确认。每个步骤的原理在智能分析服务器中已有介绍。本远程用户终端在该C/S模型中担任的是服务器角色，一直处在监听状态，直到接受客户端的请求，与客户端建立连接，完成数据传输后再回到监听状态。

下面进一步说明与本实施例实现相关的系统。

根据本发明的一个实施例的暴力行为监控方法，其执行的系统包括：图像采集模块，前景提取模块，图像匹配模块，通信预警模块和暴力行为模板库。其中：图像采集模块用于实现对当前视野中视觉内容的采集，采集到的视觉信息一方面以视频的形式存储于硬盘之中，一方面以图像帧的形式存储于内存中以便进一步的处理。前景提取模块用于设计一种基于改进的背景消除的图像前景内容提取方法。该方法可以实现背景图像的自动更新，并能够在一定程度上克服远处背景的变化对前景图像提取的影响。图像匹配模块用于实现二值化的前景图像和暴力行为模板库中的模板之间的对比，并计算前景图像和模板之间的相似程度，当相似程度大于设定的阈值则判定为发生暴力行为。通信预警模块用于实现智能分析服务器和远程用户终端的对比，其采用C/S通信模式，将检测出的暴力行为的原始图像发送至远程用户终端。暴力行为模板库是一个由多种暴力行为图像模板构成的数据库，该数据库可以不断进行更新。

进一步地说，另一优选例中，所述前景提取模块包括：利用手动设置的第一张背景图像作为初始背景图像，该背景图像应在没有前景物体存在的情况下由监控摄像头所拍摄得到。

系统启动后，前景提取模块根据将所拍摄的图像减去背景图像，获得最初的前景图像，将前景图像上每个轮廓不相交的物体视为独立物体，度量每个独立物体的面积大小，按照事先设定的阈值将面积较小的物体从前景图像中删除。这是因为监控摄像机前的人体一般占据画面比较大的面积，而一些无需关心的其他物体常占据画面面积较小，通过该方法可以克服无关紧要的物体对行为分析的干扰。

事先设定一个时间阈值，在获得上述处理的前景图像之后，对于前景画面中超过该时间阈值且未发生位置改变或形变的物体，将其从前景图像中去除并将其添加至背景图像中。这是因为随着光照、或者背景中发生长时间的变化，会使得初始背景图像不再符合当前背景，通过该方法可以每隔一段时间对背景进行更新。

进一步地说，另一优选例中，采用基于二值图像的模板匹配：

在获得前景图像后，将整个图像进行二值化，将背景图像像素值设定为0，前景图像像素值设定为1。这是因为前景图像含有大量的无用的信息，如人物的衣着、肤色、外貌等。这些信息使得数据冗余且降低了系统的鲁棒性。通过将图像二值化，可以去除这些冗余信息，并保留下人体的形态、姿势信息。

在获得二值化的图像之后，将图像和暴力行为模板库中的二值模板图像利用相关系数匹配法进行匹配，若相似度大于事先设定的阈值，则发出告警信息。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本发明提及的所有文献都在本申请中引用作为参考，就如同每一篇文献被单独引用作为参考那样。此外应理解，在阅读了本发明的上述讲授内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

并且，在本专利的权利要求书和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的权利要求书和说明书中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。

虽然通过参照本发明的某些优选实施例，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种暴力行为监控方法，其特征在于，包含：

采集当前视频帧的图像，并提取所述当前视频帧的图像的二值前景图像；

将所述当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R；

根据所述当前视频帧的图像与前一视频帧的图像，计算全局运动强度E；

根据所述相似度R与所述全局运动强度E，融合计算暴力行为指数：

Value＝αR+βE

如果所述暴力行为指数大于预先设定的阈值，则判定发生暴力行为，并且系统发出报警信号。

2.如权利要求1所述的暴力行为监控方法，其特征在于，在所述将所述当前视频帧的图像的二值前景图像与暴力行为模板进行对比，得到相似度R的步骤中，采用分层匹配方法。

3.如权利要求2所述的暴力行为监控方法，其特征在于，所述分成匹配方法包含以下步骤：

采用AP聚类算法根据所述暴力行为模板之间的相似度进行聚类,获得聚类结果，并将每个类簇中的暴力行为模板图像视为一个暴力行为模板包；

将所述当前视频帧的图像的二值前景图像和每个所述暴力行为模板包的聚类中心图像进行匹配，获得和每个所述暴力行为模板包的聚类中心图像的相似度，并确定相似度最高的聚类中心图像；

计算所述当前视频帧的图像的二值前景图像与所述相似度最高的聚类中心图像所在的暴力行为模板包中的所有图像的相似度，并将最高的相似度作为该当前视频帧的图像的二值前景图像与所述暴力行为模板的相似度R。

4.如权利要求1所述的暴力行为监控方法，其特征在于，在所述将所述当前图像的二值前景图像与暴力行为模板进行对比的步骤中，还包含：

对所述当前图像和所述暴力行为模板分别进行去均值处理。

5.如权利要求1所述的暴力行为监控方法，其特征在于，所述相似度R的计算方式为：

6.如权利要求1所述的暴力行为监控方法，其特征在于，所述全局运动强度E的计算公式为：

<mrow> <mi>E</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mrow> <mo>(</mo> <msubsup> <mi>v</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>v</mi> <msub> <mi>y</mi> <mi>i</mi> </msub> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow>

7.如权利要求1所述的暴力行为监控方法，其特征在于，所述暴力行为指数的预先设定的阈值为0.5。

8.如权利要求1所述的暴力行为监控方法，其特征在于，所述α和β的取值范围为0-1之间的自然数,并且，α≤β。

9.如权利要求1所述的暴力行为监控方法，其特征在于，所述α＝0.4，并且，所述β＝0.6。

10.如权利要求1所述的暴力行为监控方法，其特征在于，还包含：

当所述暴力行为指数大于所述预先设定的阈值时，监控人员根据采集的当前视频帧的图像判断是否发生暴力行为，如果是，则将采集到的所述当前视频帧的图像的二值前景图像保存并加入到暴力行为模板库中作为新的暴力行为模板。

11.如权利要求1所述的暴力行为监控方法，其特征在于，在所述采集当前视频帧的图像，并提取所述当前视频帧的图像的二值前景图像的步骤中，还包含：

设定所述二值前景图像独立物体的面积阈值，将小于所述阈值的独立物体从所述二值前景图像中删除。