CN110781723B - 一种群体异常行为识别方法 - Google Patents

Abstract

本发明涉及一种群体异常行为识别方法，基于获取的视频流进行串联行人检测，当判断为多人时，基于运动历史图，计算能量值E，当E大于等于设定能量阈值时判断为多人异常行为，进行告警。本发明从整体角度出发，找到区分异常行为和正常行为的显著特征进行分析判断，结合人群密度估计和运动历史图的能量值，对群体正常行为和群体异常行为进行区分，识别算法准确率高，满足系统实时性要求。

Description

一种群体异常行为识别方法

技术领域

本发明涉及数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种群体异常行为识别方法。

背景技术

异常行为识别方法一般可以分为两类，包括基于模型匹配的行为识别方法和基于相似度度量的行为识别方法。

基于模型的行为识别方法是从包含人体行为，如行走、跳跃、跑步、摔倒等的视频序列中，提取运动目标的外形、特征点、光流等信息进行人工建模作为已知行为的参考模型，然后将视频中的行为与已知模型进行匹配分类从而达到行为识别的目的；人工建模常用的模型有隐马尔科夫模型以及它的改进方法。Chen等通过提取目标的步态特征进行建模，利于步态特征模型进行异常行为检测；Piciarelli等提提取目标的运动轨迹进行建模，利用单类支持向量机(SVM)实现异常行为的识别的方法。基于模型的行为识别方法的检测效果取决于每个模型是否有足够多的样本，在训练样本足够多的前提下，该类算法的识别效果较好，但提取多维特征进行建模以及大量样本的训练需要足够的时间和较大的内存。

基于相似性度量的行为分析方法将异常行为识别看成一个二分类问题，即人的行为只有两种，正常行为和异常行为；该方法无需定义人体行为模型，而是通过自动的从视频图像序列中学习正常行为的模式达到异常行为识别的目的；将视频进行分段处理，提取每一小段视频的特征组成矢量特征，运用聚类以及相似性度量的方法进行行为分析，把类别少的视频段作为异常行为视频段。朱旭东等提出了基于主题隐马尔科夫模型的人体异常行为识别方法，该方法通过无任何人工标注的视频训练集自动学习人体行为模型实时检测异常行为；王燕妮等提出一种基于模糊迭代自组织数据分析聚类结合直方图熵值算法的异常行为智能检测方法，通过模糊迭代自组织数据分析聚类方法获取视频关键帧，根据分类结果采用直方图熵值法对异常行为进行判断。基于相似性度量的行为分析方法对异常判断较为准确，但不能对具体是何种异常行为进行分类，容易受到目标被遮挡、人体四肢运动的随意性的影响，所以该类算法不适宜做具体异常行为的分析，也不适宜做指定目标的行为分析。

公共场所发生打架斗殴、群体恐慌等多人异常行为，常常伴随着人员伤亡和财产损失，造成不良社会影响，因此对公共场所的多人异常行为进行智能监测和预警对保护人民人身财产安全，维护社会秩序稳定有重大意义。多人异常行为是指在非单人场景下的打架斗殴行为、多人恐慌行为，若提取监控场景下每个人的特征进行行为分析，将产生巨大的运算量，直接影响检测的实时性。

发明内容

为了解决现有技术中存在的问题，本发明提供一种优化的群体异常行为识别方法，采用基于相似性度量的识别算法，分别通过设计能量函数计算视频序列运动历史图的能量值来来判定多人异常行为是否发生。

本发明所采用的技术方案是，一种群体异常行为识别方法，所述方法包括以下步骤：

步骤1：获取视频流；

步骤2：基于视频流进行串联行人检测；若为多人，则进行下一步，否则，重复步骤2；

步骤3：基于运动历史图，计算能量值E；

步骤4：若E小于设定能量阈值，则为正常行为，返回步骤2，否则，进行下一步；

步骤5：判断为多人异常行为，进行告警。

优选地，所述步骤2包括以下步骤：

步骤2.1：对视频流进行处理，获得前景二值图；

步骤2.2：对前景二值图进行连通域检测，获得代表行人的白色像素；

步骤2.3：计算人群密度C，

其中，p_white表示前景二值图中的白色像素，p_sum表示监控区域总像素的个数；

步骤2.4：当C超过设定值时，表示为多人，进行步骤3，否则，重复步骤2。

优选地，所述步骤3中，

其中，λ为增加能量放大系数，p(i)表示灰度值为i的像素占像素总数的比例，i的取值范围和灰度值的取值范围相同，均为0到255。

优选地，所述步骤4中，能量阈值为21。

本发明提供了一种优化的群体异常行为识别方法，基于获取的视频流进行串联行人检测，当判断为多人时，基于运动历史图，计算能量值E，当E大于等于设定能量阈值时判断为多人异常行为，进行告警。本发明从整体角度去出发，找到区分异常行为和正常行为的显著特征进行分析判断，结合人群密度估计和运动历史图(MHI)的能量值，对群体正常行为和群体异常行为进行区分，识别算法准确率高，满足系统实时性要求。

附图说明

图1为本发明的流程图；

图2为在CASIA数据集采样一段40帧的抢劫行为视频序列后，设衰减参数δ为5、更新阈值ξ为25，最高灰度值τ分别为120、200、255时呈现的提取效果，τ为120、200、255分别对应左图、中图和右图；

图3为在CASIA数据集采样一段40帧的抢劫行为视频序列后，设最大灰度值τ为200、更新阈值ξ为25，衰减参数δ为2、5、10时呈现的提取效果，衰减参数δ为2、5、10分别对应左图、中图和右图；

图4为在CASIA数据集采样一段40帧的抢劫行为视频序列后，设最大灰度值τ为225，衰减参数δ为5，更新阈值ξ为15、25、60时呈现的提取效果，更新阈值ξ为15、25、60分别对应左图、中图和右图；

图5为在不同场景下，视频序列发生动态多人异常行为时图像能量的变化情况，其中，以T_e对应的虚线表示异常行为分界线，实线曲线的两人打架行为发生在30帧到60帧范围的室内，虚线曲线的两人打架行为发生在55帧到95帧范围的室外，以星号连接的曲线的多人恐慌行为发生在75到88帧范围的室外，通过阈值T_e可区分不同人数、场景的多人异常行为。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种群体异常行为识别方法，所述方法包括以下步骤。

步骤1：获取视频流。

步骤2：基于视频流进行串联行人检测；若为多人，则进行下一步，否则，重复步骤2。

所述步骤2包括以下步骤：

步骤2.1：对视频流进行处理，获得前景二值图；

步骤2.2：对前景二值图进行连通域检测，获得代表行人的白色像素；

步骤2.3：计算人群密度C，

其中，p_white表示前景二值图中的白色像素，p_sum表示监控区域总像素的个数；

步骤2.4：当C超过设定值时，表示为多人，进行步骤3，否则，重复步骤2。

本发明中，在不同人群密度的场景下采用相同判定规则对人群行为进行描述并不准确，为了准确区分不同人群密度下的异常行为，提出将人群密度特征作为评估异常行为的特征之一。

本发明中，对于目标的触发可以采用区域入侵行为检测进行，在指定区域内实时进行人体检测，指定区域出现行人即判定有区域入侵行为，即触发目标检测。

本发明中，人群密度即在固定场景下的人群密集程度，基于视频图像确定若干与行人对应的检测区域，获得代表行人的白色像素后，完成目标识别，进行目标密度测算。

本发明中，行人所占监控区域面积越大人群密度值C就越高。

步骤3：基于运动历史图，计算能量值E。

所述步骤3中，

其中，λ为增加能量放大系数，p(i)表示灰度值为i的像素占像素总数的比例，i的取值范围和灰度值的取值范围相同，均为0到255。

本发明中，运动历史图(Motion History Image,MHI)是一种表示目标在一段时间内运动状况的图像，最初由Bobick和Davis提出，MHI图像为灰度图，每个像素灰度值的高低表示了该位置最近的运动情况，像素点越亮表示该像素点位置越接近当前帧运动目标所在位置；运动历史图不仅可以描述前景目标的运动方向，也可以通过像素灰度值得变化描述目标的运动轨迹；算法简洁，实时性强，在行为识别领域应用广泛。

本发明中，运动历史图的原理简要来说首先将前景目标与背景做分割，然后将前景的视频序列压缩成一张静态灰度图像；

联立：

D(x,y,t)＝|I(x,y,t)-I(x,y,t-Δ)|；

H_τ(x,y,t)表示运动历史图当前t时刻(x,y)位置处的灰度值；Ψ(x,y,t)是像素值更新函数，表示当前帧(x,y)位置的运动情况；τ和δ为自行设定参数，τ表示当前MHI中最高灰度值，δ为当前MHI的衰减参数，共同从帧数的维度给出了运动历史图所描述的时间范围；Sp表示运动历史图可以表述的帧数跨度，计算方式采用进一法；D(x,y,t)表示相邻前景检测图在未进行前二值化处理前的灰度图(x,y)位置灰度值差值的绝对值，ξ为自行设定的更新阈值。

本发明中，在MHI提取算法中，τ、δ、ξ为自行设定的参数，通过在CASIA数据集采样的一段40帧的抢劫行为视频序列进行试验，分别对应图2、图3、图4为参照；

衰减参数δ设为5，更新阈值ξ设为25，分别设最高灰度值τ为120、200、255；当τ为120，因衰减参数δ为5，所能描述动作的帧数跨度Sp等于24，所以不能把40帧连续动作在MHI中完整表示；δ为200时的运动历史图恰好可完整表示出这组30帧的连续动作；当δ设定为最大值255时，此时Sp等于51，此时得到的MHI也可完整表示出整个动作过程；τ作为决定运动历史图描述时间范围的重要参数，同时也决定了MHI中灰度值最大值，因此τ尽量选择较大的值，保证记录连续动作的完整性和图像亮度；

最大灰度值τ设为200，更新阈值ξ设为25，分别设衰减参数δ为2、5、10；衰减参数δ决定了像素在当前时刻未发生运动时的灰度衰减值。当最大灰度值τ为200时，δ为2、5时的运动历史图可完整描述40帧的动作，若δ大于5，则不能对40帧动作进行完整描述；δ取值为2或5时，MHI图相似，其中δ取2时的MHI图中目标运动轨迹更丰富一些；δ取10时的MHI图可描述帧跨度Sp为20，图像只保留了后20帧动作目标的运动轨迹；δ的大小决定了运动轨迹的连续性，δ设置较小时，运动目标经过后的像素点的衰减变化慢，运动的轨迹连续性好；反之δ设置较大，在发生运动后又静止的像素点衰减较快，容易丢失部分运动信息；δ等于10时的MHI所能描述动作的帧数跨度Sp为20，并不能完整的描述一组40帧的连续动作；δ大小决定了MHI信息的丰富程度，可根据具体应用需求选取合适的值；

最大灰度值τ设为225，衰减参数δ设为5，分别设定更新阈值ξ为15、25、60；更新阈值ξ用于判定当前像素点为最近运动目标所在位置的，配合H_τ决定将像素点更新为最亮灰度值τ或进行像素灰度值衰减的操作；通过将更新阈值设定为15、25、60进行比较发现ξ取值过小时容易使得图像噪声点增多，这是由于阈值设置过低，H_τ函数对像素灰度值变化过于敏感导致的；而当ξ设置过大时又会导致H_τ函数对像素灰度值变化反应迟钝，图像噪声虽然减少但是运动轨迹也受到了影响；因此选择大小适中的MHI，有助于在提取视频序列的MHI时降低图像噪声并清晰的刻画运动目标的当前位置以和最近时刻运动状态；

本发明中，综上，在提取MHI时，选取时间跨度τ为255，衰减参数δ为5，更新阈值ξ为25。

步骤4：若E小于设定能量阈值，则为正常行为，返回步骤2，否则，进行下一步。

所述步骤4中，能量阈值为21。

步骤5：判断为多人异常行为，进行告警。

本发明中，熵(entropy)是一项应用于热力学领域的衡量体系混乱程度的参量，1850年由德国物理学家鲁道夫·克劳修斯提出，信息论创始人香农在1948年出版的著作《通信学原理》中将熵的概念引入到信息论中来。图像熵是一种特征的统计形式，它反映了图像中灰度分布聚集特征所包含的信息量，图像熵定义为

其中，p(i)表示灰度值为i的像素占像素总数的比例，i的取值范围和灰度值得取值范围相同均为0到255；图像熵的大小与整幅图像中像素值取值的种类，像素值分布的均匀程度成正相关。

本发明中，多人场景下的异常行为种类多样，且根据监控场景的不同具体定义也有所区别，一般来说，是指在两人或两人以上场景下发生的打架斗殴，群体恐慌事件；发生本文所定义的群体异常行为时，前景行人目标运动幅度较大且运动轨迹无规则性，即图像中的信息量比正常情景下要大，故结合图像熵算法构造基于MHI的能量函数，通过MHI图像能量值的大小判定是否有异常行为发生。

本发明中，基于MHI的能量函数是针对MHI图像性质以及具体用途对图像熵函数进行改进的能量计算方式

其中λ为能量放大系数，C表示人群密度估计参数；相较图像熵函数，能量函数的改进主要在以下三方面：

(1)增加能量放大系数λ，将能量值放大，便于在实验中观察能量波动情况和设置能量阈值；

(2)在图像熵算法基础上增加了权重

突出MHI中最近时刻目标所在区域内像素的显著性；MHI通过图像中像素灰度值的高低反应目标最近一段时间内的运动轨迹，其中灰度值最高的区域为目标当前所在位置；距离当前时刻越近的目标运动轨迹，越具有参考价值，故为图像熵函数增加i/255的权重，使得灰度值越高的像素分配的权重越大，削弱了距离目标当前时刻较远的轨迹信息对能量函数的影响，增强了距离当前时刻较近的轨迹信息的显著性，使得能量函数更准确的反映当前时刻监控场景下的信息量大小；

(3)使用人群密度参数C的倒数加权能量函数，统一不同数量人群下能量阈值的设定标准。

本发明中，λ取7.7。

本发明中，一般情况下，运动离散程度越高、运动轨迹混乱、人数越多情形下的多人异常行为图像帧的MHI图像熵应该越高，事实上，MHI图像熵值的高低是与运动目标运动的离散程度以及运动目标所占监控画面的比例有本质联系的；行人所占监控画面的比例不仅与监控场景中人数有关，也与监控摄像机的高度、行人距监控相机的远近有关。

本发明中，通过设定图像能量阈值进行告警，通过能量函数加权人群密度值C的倒数的方式提升人群密度低的场景下图像能量值，降低人群密度高的场景下图像的能量值，统一不同人数、不同场景下的能量阈值T_e的设定标准，多快好省的解决不同人数下的异常行为判断问题。

本发明中，通过设定能量阈值T_e的方式区别多人正常行为与异常行为，一般来说，T_e为21，通过阈值T_e可很好的区分不同人数的多人异常行为，如图5所示。

本发明中，为验证算法的实用性，在CASIA行为识别数据集、UNM数据集，和自行采集数据集上进行验证；

CASIA行为识别数据集共包括1446条视频序列，分单人行为和双人交互行为两类，单人行为包括行走、跑步、摔倒等，双人行为包括打斗，碰头、尾随等；选取其中摔倒视频序列25个，打斗视频序列12个以及其他行为视频序列共10个进行实验；

UMN数据库包含11组视频，每组视频起始部分为行人正常走动的视频序列，随后为人群突然加速四散跑动的异常行为视频序列；选取UMN全部视频序列进行实验；

自行拍摄视频序列中，多人打斗视频序列10个，单人、多人正常行走视频各10个；

算法性能评价指标包括准确率、虚警率和漏检率三项，其中准确率是指正确检测视频数量占总的实验视频数量的百分比；虚警率是指错检视频数量占实验视频数量的百分比，漏检率是指发生异常行为但算法未检测出的视频数量占实验视频数量的百分比；多人异常行为产生虚警的视频序列是在自行拍摄视频序列的电梯场景中，由于电梯轿厢内部墙面为光滑金属，墙面反射的光影丰富了MHI图的内容，使得算法计算能量值偏高，产生虚警；产生漏检的视频序列发生在CASIA两人打斗视频序列上，漏检原因为两人打斗过程中肢体动作不丰富，且持续时间很短使得MHI图能量值偏低造成漏检；算法的准确率达到91％以上，达到预期要求；

多人异常行为检测算法平均处理速度为27帧每秒。

本发明基于获取的视频流进行串联行人检测，当判断为多人时，基于运动历史图，计算能量值E，当E大于等于设定能量阈值时判断为多人异常行为，进行告警。本发明从整体角度去出发，找到区分异常行为和正常行为的显著特征进行分析判断，结合人群密度估计和运动历史图(MHI)的能量值，对群体正常行为和群体异常行为进行区分，识别算法准确率高，满足系统实时性要求。

Claims (2)

1.一种群体异常行为识别方法，其特征在于：所述方法包括以下步骤：

步骤1：获取视频流；

步骤2：基于视频流进行串联行人检测，包括以下步骤：

步骤2.1：对视频流进行处理，获得前景二值图；

步骤2.2：对前景二值图进行连通域检测，获得代表行人的白色像素；

步骤2.3：计算人群密度C，

其中，p_white表示前景二值图中的白色像素，p_sum表示监控区域总像素的个数；

步骤2.4：当C超过设定值时，表示为多人，进行步骤3，否则，重复步骤2；

步骤3：基于运动历史图，计算能量值E，

其中，λ为增加能量放大系数，p(i)表示灰度值为i的像素占像素总数的比例，i的取值范围和灰度值的取值范围相同，均为0到255；

步骤4：若E小于设定能量阈值，则为正常行为，返回步骤2，否则，进行下一步；

步骤5：判断为多人异常行为，进行告警。

2.根据权利要求1所述的一种群体异常行为识别方法，其特征在于：所述步骤4中，能量阈值为21。

Images