CN106980829A - 基于视频分析的打架斗殴异常行为自动检测方法 - Google Patents

Abstract

本发明公开了一种基于视频分析的打架斗殴异常行为自动检测方法，包括：S1、输入视频序列中的原始图像；S2、采用金字塔L‑K光流法，计算图像中所有像素点的运动矢量；S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正；S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点；S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标；S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。本发明在现有的光流方法计算结果的基础上，增加视角调整系数矩阵，经过改进后的光流矢量将更加准确的体现出具有纵向透视视角场景下目标的运动特征。

Description

基于视频分析的打架斗殴异常行为自动检测方法

技术领域

本发明涉及异常行为识别技术领域，特别是涉及一种基于视频分析的打架斗殴异常行为自动检测方法。

背景技术

视频监控系统是多媒体技术、计算机网络、工业控制和人工智能等技术的综合运用，正向着数字化、系统的网络化和管理的智能化方向不断发展。目前，视频监控广泛用于信息获取、指挥调度、安全防范等方面，可以提供生产流程控制、医疗监护、远程教育、大型公共设施的安防等多种服务。特别客流密集的公共场所，视频监控系统的安全防护功能体现的尤为突出。

城市轨道交通作为当前公共交通重要的出行方式之一，在发展相对成熟的北京、上海等城市日服务乘客达到1000余万人次，要确保正常、平稳的运营秩序，视频监控系统必不可少，是城市轨道交通维护和保证运营安全的重要手段。它能够为控制中心的调度员、各车站值班员、列车司机等提供站台、扶梯、检票口等有关列车运行、防灾救灾、旅客疏导以及社会治安等方面的视觉信息。旨在使相关人员针对异常事件能够快速反应、合理处置，并将所发生事件的全过程及重要数据进行记录，为处理事故提供切实依据。

但是这些轨道交通闭路电视监视系统也存在明显不足。首先，由于监控室或监控中心空间有限，因而只能通过轮换画面来监视所有的场景或选择敏感区域进行重点监视，导致在时间和空间上都难以将监控画面完全实时呈现，留下监测盲区。其次，监控系统主要依靠工作人员值守监视，依据人对视频信息的内容作出判断，鉴于人员成本，只能有重点的监视关键区域。同时人的视觉疲劳也会导致判断能力的下降，面对多点多站海量监控画面，难免出现漏查，这导致视频监控系统只能起到利用录像存储进行事后取证的作用，而难以形成主动预警和及时报警的良性机制，失去实时监控的意义。

为解决这一问题，引进机器视觉的智能检测技术，通过视频数据分析处理对指定的异常事件自动检测并实时报警，以提醒工作人员确认事件并采取相应措施。针对可疑物品遗留、穿越禁区报警、视频移动侦测、可疑人员长期滞留、客流量突变告警等异常事件已经有较多研究，本专利主要针对公共场所打架斗殴突发事件，通过对连续的视频数据进行有效分析、识别和判断，实现异常行为自动检测。

机器视觉和人工智能技术在视频监控中的两个重要应用方面一是目标或人体的运动检测，它属于视觉的低层次处理，包括图像预处理、运动前景分割、目标检测与跟踪等；二是行为或事件的模式识别，它属于视觉的高层次处理，包括目标识别与分类、人体行为理解、表情识别、异常事件的语义理解与描述分析等，本专利的研究应用即属于后者。

针对异常行为的视觉分析研究方法主要分为三大类别：基于运动目标的研究方法、全局特征分析的研究方法、混合型研究方法。此外，当前十分热门的深度学习网络和三维重建等技术，也已经开始应用到视频监控异常检测当中。

现有技术中的利用光流法实现基于图像全局运动特征的异常行为的研究，对图像所呈现的视角特点，缺少必要的调整步骤。针对某些场景的视角特点，通过光流法计算结果基本能够正确体现在场景中人的运动变化，而另外有些场景中由于具有强烈的透视效果，当人在站台摄像头下与站台的末端，同样强度的运动通过光流法计算，结果将存在显著偏差，因此传统的光流法将不能正确的反映场景中远离摄像设备的目标运动特征，那么就意味着发生在站台末端的异常行为将极有可能漏检和漏报，反之发生在靠近摄像设备的正常行为也同样有可能被误判为异常。

因此，针对上述技术问题，有必要提供一种基于视频分析的打架斗殴异常行为自动检测方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于视频分析的打架斗殴异常行为自动检测方法。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于视频分析的打架斗殴异常行为自动检测方法，所述方法包括：

S1、输入视频序列中的原始图像；

S2、采用金字塔L-K光流法，计算图像中所有像素点的运动矢量，运动矢量包括运动速度和运动方向

S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正；

S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点；

S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标；

S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。

作为本发明的进一步改进，所述步骤S2中：

图像I中像素点为m＝(x,y)^T，v_m＝(u,v)是像素点m的光流；

运动速度

运动方向

作为本发明的进一步改进，所述步骤S3中：

修正后的运动速度矩阵为DVel_k×l＝DM_k×l*Vel_k×l，(*，Hadamard乘积)，其中k×l是图像的分辨率,Hadamard乘积为两个矩阵对应元素的乘积。

作为本发明的进一步改进，所述步骤S3中的系数矩阵DM_k×l获取方法为：

S301、在图像所处的实际场景中，将所呈现的站台研究区域从前至后进行标定，以纵向设置若干测试点，各测试点间距相同；

S302、从前至后依次各测试点上做横向匀速运动，并记录提取整个测试过程的视频；

S303、将测试视频图像序列进行相邻帧之间的光流法计算，获得运动速度并均值化体现对应图像整体的运动速度量；

S304、通过测试视频中的各帧整体运动速度统计，计算各测试点的平均速度值；

S305、统计处理场景中各测试点的速度值，以前景中第一个测试点作为标准点反推后续各测试点的速度调整系数；

S306、将各测试点的调整系数进行拟合，估算出在图像整个纵向坐标下连续的调整系数矩阵DM_k×l。

作为本发明的进一步改进，所述步骤S4中的聚类分析采用K-means聚类方法实现，对图像中各像素点速度值分为强弱两类。

作为本发明的进一步改进，所述步骤S4中有效像素点m的判断公式为：

其中，m＝(x,y)^T为图像中任一像素点。

作为本发明的进一步改进，所述步骤S4还包括：

基于聚类的分类结果将图像中所有像素点进行是否有效判断，形成图像有效点判别矩阵EM_k×l，其中k×l是图像的分辨率。

作为本发明的进一步改进，所述步骤S5具体为：

根据公式判断两个像素点的运动为非同向运动，m＝(x,y)^T和m⁰＝(x⁰,y⁰)^T为两个像素点；

每一个有效像素点在其自身为圆心，运动速度大小为半径的区域内，分析非同向运动的程度，用非同向运动的个数作为再一次突出异常行为像素点的加强系数与其速度值相乘，获得具有运动方向信息的运动速度特征

将图像中所有有效像素点进行处理，将获得图像全局性的带有方向信息的平均运行特征，并计算后续异常行为判定指标为其中，图像中位于(x,y)的像素点，其DVel(x,y)＝视角调整系数×非同向运动像素个数×Vel(x,y)是经过视角系数修正，包含方向信息的运动强度特征，图像的分辨率为k×l，且N＝k，M＝l。

作为本发明的进一步改进，所述步骤S6包括：

确定判定指标发生打架斗殴异常行为的判定阈值，进行判断，如果超过阈值，则置异常行为判断值为1，反之，则为0。

作为本发明的进一步改进，所述步骤S6后还包括：

设置一个长度为n的状态存储器记录图像帧异常超限情况，采用数据先进先出原则，连续依次记录各图像序列的异常判定值；

当状态存储器中数据之和超过异常报警次数的阈值，将进行异常行为的报警；反之，进入下一帧图像的分析。

本发明在现有的光流方法计算结果的基础上，增加视角调整系数矩阵，经过改进后的光流矢量将更加准确的体现出具有纵向透视视角场景下目标的运动特征。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一具体实施方式中基于视频分析的打架斗殴异常行为自动检测方法的流程示意图；

图2为本发明一具体实施方式中的测试过程示意图；

图3为本发明中像素运动方向示意图；

图4a、4b为本发明中像素非同向运动分析示意图；

图5为本发明一具体实施例中3层的金字塔L-K光流法计算运动矢量示意图；

图6为本发明一具体实施例中场景透镜效果所导致的运动强度失真曲线图；

图7为本发明一具体实施例中视角调整系数的实验实施示意图；

图8为本发明一具体实施例中视角调整系数计算过程示意图；

图9为本发明一具体实施例中视角调整系数有效性验证曲线图；

图10为本发明一具体实施例中有效像素点提取示意图；

图11为本发明一具体实施例中异常打架行为检测验证结果图；

图12为本发明中四种算法运算结果的对比图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

首先，对本发明中所提及的相关术语进行定义。

CCTV：Closed Circuit Television，闭路电视，简称CCTV。一种图像通信系统，其信号从视屏源(如摄像机)通过传输介质传送给与源点相通的特定显示设备(如显示器)，广泛用作视频监控系统。

透视：指在平面或曲面上描绘物体的空间关系的方法或技术。

透视效果：指由于物体与观察者的距离增加而导致物体变小的一种视觉效果。

光流矢量：利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系，体现出的运动变化具有大小和方向的信息。

图像帧：就是影像动画中最小单位的单幅影像画面，一帧就是一副静止的画面，连续的帧就形成动画。

像素：像素是构成数码影像的基本单元，通常以像素每英寸PPI(pixels perinch)为单位来表示影像分辨率的大小。

分辨率：屏幕图像的精密度，是指显示器所能显示的像素有多少。

Hadamard乘积，m×n矩阵A＝[a_ij]与m×n矩阵B＝[b_ij]的Hadamard积记为A*B。其元素定义为两个矩阵对应元素的乘积(A*B)_ij＝a_ijb_ij的m×n矩阵。

现有技术中针对异常行为的视觉分析研究方法主要分为三大类别：

基于运动目标的研究方法

基于运动目标的研究方法，在视频场景中分割或提取出不同的运动目标，通过跟踪目标的运动轨迹或是运动的特征形态实现异常识别。当监测设备固定，背景差法是最为常用的目标提取方法。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背景建模及其更新，目前不断有研究对背景模型进行改进，使得前景提取更为有效。另一种经典的运动目标检测和分割方法是帧差法，通过图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域，更加适用于快速运动目标的检测。提取后的运动目标对其跟踪或与已有的行为形态库对比分析，从而达到检测异常的目的。通过研究证明，以提取运动目标为前提进行异常分析具有一定的检测能力，但也有比较明显的缺陷，当场景环境复杂，如地铁站台场景中乘客较多，相互遮挡，那么对运动目标的提取将会存在极大难度。

全局特征分析的研究方法

基于全局特征的分析，不再分割或提取运动目标，而是针对图像帧以像素为单位分析其运动的时空梯度或是光流矢量的特征。其中光流法是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，是公认的显著而有效的计算运动变化的方法。光流在处理群体行为运动更具优势，相对适合处理运动目标的重叠和遮挡的复杂场景。按照理论基础与数学方法的区别把它们分成四种：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。近年来神经动力学方法也颇受学者重视。而最为常用的基于梯度的光流的典型计算方法，由两位代表人物Horn Schunck和Lucas Kanade提出。

假定图像上点m＝(x,y)^T在时刻t的灰度值为I(x,y,t)，经过时间间隔dt后，对应点的灰度为I(x+dx,y+dy,t+dt)，当dt→0时，可以认为两点的灰度不变，也就是：

I(x+dx,y+dy,t+dt)＝I(x,y,t) (式1)

如果图像灰度随x,y,t缓慢变化，可以将(11)式左边泰勒级数展开：

其中，ε代表二阶无穷小项。由于dt→0，忽略ε，可以得到：

令代表x,y方向上的光流，分别代表图像灰度相对于x,y,t的偏导，式(3)可以写成：

I_xu+I_yv+I_t＝0 (式4)

此式即光流场的基本方程。写成向量形式，即：

其中，是图像在点m处的梯度，v_m＝(u,v)是点m的光流。(4)称为光流约束方程，是所有基于梯度的光流计算方法的基础。

梯度光流法又分为全局约束方法和局部约束方法。全局约束方法假定光流在整个图像范围内满足一定的约束条件，而局部约束的方法假定在给定点周围的一个小区域内，光流满足于一定的约束条件。Lucas Kanade提出的(简称LK)光流方法是基于局部约束的。一般认为L-K局域光流方法在计算光流的正确性及运算方面均高于全局Horn-Schunck(简称H-S)光流方法。

在L-K光流算法的具体实现中，根据(式4)光流约束条件，在空间邻域Ω(可以定义为s×s，n＝s2)，则可以得到一个超定的图像流约束方程：

而针对空间领域Ω，s的取值为区域窗口，当窗口小，则会出现孔径问题，影响实际跟踪效果；而较大的窗口，又会违背运动连贯的假设。因此，引入图像金字塔来解决这一问题，即为金字塔的改进型L-K光流算法。

针对图像I定义一个金字塔表示，大小为n_x×n_y，设L⁰＝L是第0层图像，这张图像的分辨率最高(原始图像)，并把长宽分别定义为n⁰ _x＝n_x、n⁰ _y＝n_y，然后用一种递归方式建立金字塔；利用I⁰计算I¹，然后利用I¹计算I²，以此类推。设L为金字塔层数，则I^L-1为L-1层图像，和分别为I^L-1的宽和高。图像I^L-1定义如下：

为了满足公式(式7)，必须在图像I^L-1 上的周围定义一些虚拟的像素(实际并不存在)：

I^L-1(-1，y)＝I^L-1(0，y)

I^L-1(x，-1)＝I^L-1(x，0)

此时，由(式7)定义的图像I^L坐标(x，y)需满足和因此，图像I^L的宽度和高度的最大整数满足下列两个条件：

由式(式7)(式8)(式9)可以从下到上的建立图像I的高斯金字塔：{I^L}_L＝0,...,Lm其中Lm是指金字塔的高度，通常取2，3，4，在大多数情况下没有必要建立更高层的金字塔。

混合型研究方法

混合型研究方法包括基于运动目标或基于全局运动特征分析的基础与神经网络等智能算法相结合。同时，也有通过流体力学的原理或其他的物理原理实现对群体异常行为判断。

本发明专利旨在为城市轨道交通中乘客发生打架较斗殴异常事件实现自动检测的技术方法，并且在出入口、扶梯、售检票、通道、站台等众多场景中，特别涉及乘客聚集量最大，停留时间最长的站台场景。从技术实现方案的选定上，属于全局特征分析的研究方法。

本发明在现有的光流方法计算结果的基础上，增加视角调整系数矩阵，经过改进后的光流矢量将更加准确的体现出具有纵向透视视角场景下目标的运动特征。

本发明为基于视频分析的打架斗殴异常行为自动检测方法，特别涉及地铁站台场景中具有显著透视效果的打架斗殴异常行为的检测，参图1所示，本发明一具体实施方式包括以下步骤：

S1、输入视频序列中的原始图像。

S2、采用金字塔L-K光流法，计算图像中所有像素点的运动矢量，运动矢量包括运动速度和运动方向

具体地，本实施方式中根据光流法的基本原理和运算效果的分析，采用3层的金字塔L-K光流法计算，计算出图像中所有像素点的运动矢量，包括运行的速度和方向信息，图像I中像素点m＝(x,y)^T，v_m＝(u,v)是m的光流：

运动速度为：

运动方向为：

S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正，修正后的运动速度矩阵为DVel_k×l＝DM_k×l*Vel_k×l，(*，Hadamard乘积)，其中k×l是图像的分辨率,Hadamard乘积为两个矩阵对应元素的乘积。

针对单视角视频图像的应用中，存在透视效果对目标运动的计算失真的问题，增加视角的调整步骤，在步骤S2计算出的运动速度矩阵的基础上增加视角调整系数矩阵DM的修正,形成相对正确的速度矩阵DVel_k×l＝DM_k×l*Vel_k×l，(*，Hadamard乘积)。该步骤的思路和实现是发明的创造性所在和需要保护的地方。

其中，由于图像拍摄视角不同对运动速度的系数矩阵DM_k×l获取通过实验加数据统计方法，具体步骤为：

S301、在图像所处的实际场景中，将所呈现的站台研究区域从前至后进行标定，以纵向设置若干测试点，各测试点间距相同。其中，测试点个数应根据场景区域长度调整，确保能够相对完整反映图像透视效果的变形过程；

S302、使用测试设备或人员从前至后依次各测试点上做横向匀速运动(如图2所示，统一从左侧至右侧运动)，并记录提取整个测试过程的视频；

S303、将测试视频图像序列进行相邻帧之间的光流法计算，获得运动速度并均值化体现对应图像整体的运动速度量；

S304、通过测试视频中的各帧整体运动速度统计，计算各测试点的平均速度值。由于测试设备或人员始终保持匀速运动，同一测试点的运动速度会在一个小范围内数值波动，因此均值处理后作为该测试点的测试速度；

S305、统计处理场景中各测试点的速度值，以前景中第一个测试点作为标准点反推后续各测试点的速度调整系数；

S306、将各测试点的调整系数进行拟合，估算出在图像整个纵向坐标下连续的调整系数矩阵DM_k×l。场景在横向上无透视效果的前提下，DM_k×l每一行数值相同，即为主要针对纵向透视失真的修正。

S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点。

针对修正后的运动速度矩阵DVel_k×l，能够更加正确的反映研究目标运动强度，再进行聚类分析。

本实施方式中采用K-means聚类方法实现对图像中各像素点速度值分为强弱两类，可以避免固定阈值法局限性，将光流法计算得到图像像素点的速度作为数据特征，定义一个距离函数(即均方差作为标准测度函数)衡量数据点间的相似度，将分类中速度值较大的一类像素点作为有效像素点；反之，则为无效像素点。令图像中任一点m＝(x,y)^T，作为点m是否有效的判断公式：

同理，基于聚类的分类结果将图像中所有像素点进行是否有效判断，形成图像有效点判别矩阵EM_k×l，其中k×l是图像的分辨率。令DVel_k×l*EM_k×l则可以将运动平缓的像素点忽略，强化运动显著点的作用，同时也简化计算量，提高运算速度。

S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标。

针对运动方向信息的处理，对于图像中像素之间的运动存在以下几种情况，如图3所示，其中，a为同向运动，b为反向运动，c、d为交叉运动。

同向运动，即两个分量朝着一个目标方向前进；异向运动，即两个分量朝着两个完全相反的方向运动；不属于以上两种情况的运动，统称为交叉运动。在发生打架斗殴事件的情况下，图像中像素点之间应存在较多的非同向运动。将两个像素m＝(x,y)^T和m⁰＝(x⁰,y⁰)^T方向角差值的绝对值满足：

则将上述两点的运动视为非同向运动。

针对打架斗殴异常行为的特点，运动目标(乘客)都存在肢体向上的碰撞，运动方向相对杂乱，因此针对一个像素点与其相关的非同向运动的像素越多，即越可能是异常行为的运动。因此，研究每一个有效像素在其自身为圆心，运动速度大小为半径的区域内，分析非同向运动的程度如图4a所示，以研究点m为例，在点划线的圆形区域内找寻非同向相关运动像素，共有4个相关像素点，按照(式12)箭头矢量实线的3个像素与m互为非同向运动，因此用非同向运动的个数作为再一次突出异常行为像素的加强系数与其速度值相乘如图4b所示，获得具有运动方向信息的运动速度特征同理，将图像中所有有效像素点进行处理，将获得图像全局性的带有方向信息的平均运行特征，作为后续异常行为关键的判定指标χ：

其中，图像中位于(x,y)的像素点，其DVel(x,y)＝视角调整系数×非同向运动像素个数×Vel(x,y)是经过视角系数修正，包含方向信息的运动强度特征，图像的分辨率为k×l，则N＝k，M＝l。

S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。

确定判定指标发生打架斗殴异常行为的判定阈值，进行判断，如果超过阈值，则置异常行为判断值为1，反之，则为0。

S7、设置一个长度为n的状态存储器记录图像帧异常超限情况，采用数据先进先出原则，连续依次记录各图像序列的异常判定值；当状态存储器中数据之和超过异常报警次数的阈值，将进行异常行为的报警；反之，进入下一帧图像的分析。

因为打架斗殴一般是一个持续变化的运动过程，所以应确保指标连续性超限或准连续超限，因为要避免因为某些原因如灯光突变，剧烈抖动等造成的误报；以及打架中运动强度不稳定，中间某个阈值未超限造成漏报。本实施方式中设置一个长度为n的状态存储器(数组)记录图像帧异常超限情况，采用数据先进先出原则，连续依次各图像序列的异常判定值。当状态存储器(数组)中数据(元素)之和超过异常报警次数的阈值，将进行异常行为的报警；反之，进入下一帧图像的分析。

根据上述所供技术方案，将其应用到苏州轨道交通一号线乐桥车站站台场景下进行验证性测试。提取该车站CCTV中12号摄像设备的标清视频数据，格式.avi,分辨率为576*768，帧速率为25帧/秒。在近90分钟的测试视频中，共发生三次异常打架斗殴事件(实验模拟)。具体实施主要步骤如下：

(1)输入原始图片

(2)以相邻两帧进行采用3层的金字塔L-K光流法计算运动矢量，获得基本的运动特征，以箭头体现运动矢量，长度代表速度大小，箭头指向代表运动方向，如图5所示。

(3)根据该摄像设备的视角问题，研究其透镜效果所导致的失真程度，如图6所示。令工作人员以尽量匀速从场景的前端走至末端，可以发现运动强度随位置变化，这就是场景视角透视效果所带来的运动强度失真问题。

在实际应用中，采用实验法进行视角调整系数的估计。将场景中以2.5米为间隔选取13个测试点，实验人员携带反光测试版(目的是避免在站台末端运动目标不够清晰)以此在测试点进行尽量匀速的运动如图7所示。

在每一个测试点计算运动强度的全局均值，以场景前端第一个测试点为标准，进行后续位置的系数计算并进行平滑处理，估计出主要解决纵向透视效果的调整系数，如图8所示。

通过上图所获得视角调整参数拟合关系，输入视角调整矩阵，修正该场景中不同纵向像素运动强度，对图6所示场景运动强度失真的修正，其有效性见图9，其中，上部为修正后运动强度数据和修正后运动强度平滑处理曲线，下部为未修正运动强度数据和未修正运动强度平滑处理曲线。

(4)以场景视角调整后能够相对更加正确反映运动强度为基础，通过非固定阈值的K-means聚类法实现对运动显著的像素提取并作为有效像素点，如图10所示，红点标注部分表示该图片中的有效像素点(a)、(b)、(c)、(d)分别表示异常打架、正常候车、异常跑动和正常上下车行为。可以发现不管是异常还是正常情况，通过聚类的方法将像素的运动强度动态的划分成运动强烈和运动平缓两大类。同时，从图10可见，运动显著的像素点数量比例上较少，以其作为有效像素点进行研究不仅能够提高运算效率，还能强化运动的特征。

(5)通过包含运动强度和方向的运动特征指标的计算，以设定阈值的方式判断打架的异常行为。通过运动特征指标的计算，将四段打架异常行为的片段剪辑在一起(前两段打架发生在站台中间，另两段打架发生在站台末段，其中含有正常行为)，运算结果如图11所示。纵轴代表χ数据，从平滑处理后的实曲线可以看出，在发生打架异常行为会有比较明显的波动。特别值得一提的是，发生在站台末端的打架行为也具有相对明显的特征数据波动，说明视角调整步骤的有效性。

(6)通过对于特征数据的标准化，进行了4算法运算结果的对比，确定异常检测判断阈值如图12所示，其中，最左端下向上以此为trend line 1、trend line 4、trend line2、trend line 3。

如图12所示，四条平滑线是四种算法针对打架剪辑视频全局运动特征指标的计算结果。

trend line 1：实施方案中只通过3层的金字塔L-K光流法计算，计算出图像中所有像素点的运动强度，进行简单掩模处理之后，将掩模外有效区域像素进行全局均值处理.

trend line 2：实施方案中通过3层的金字塔L-K光流法计算，结合聚类方法提取有效像素，进行有效像素的全局均值处理。

trend line 3：实施方案中通过3层的金字塔L-K光流法计算，结合聚类方法提取有效像素，设计运动综合特征指标能够体现运动强度和方向信息，以更加合理的运动特征指标对有效像素的进行全局均值处理。

从以上三条数据曲线的后半段发现，发生在站台末端的异常事件在特征指标的数值上基本没有变化，这将意味着异常打架事件的漏报。并且，在打架异常发生的时段，数据突变不够明显，较难选出合适的阈值。

trend line 4，就是本发明的技术方案，增加视角调整的关键步骤后，特征指标的数据形态比较理想。结合原始数据和平滑处理后曲线变化，选取χ≈0.4作为特征指标判断异常行为阈值，指标数值>0.4，异常判定值＝1，反之为0。

(7)设置1×12的一维数组作为异常判定值状态存储器，当数组元素之和超过10，即异常行为次数阈值为10，则判定为打架异常行为并产生报警。否则，进行下一帧处理。

通过实例应用的验证，在主要的误报率(false positive rate)和漏报率(falsenegative rate)指标上，都有较好的结果如表1所示。其中：

表1记录了以同一视频采用四种算法检测异常打架斗殴行为的实验结果，序号I、II、III、IV分别表示trend line 1、trend line 2、trend line 3、trend line 4数据实验所实施的算法，通过对比可以验证本发明提出的技术方案具有更加理想的异常打架斗殴自动检测效果。

表1实验效果对比记录表

算法	误报率	漏报率
			I	30.4％	75％
II	29.8％	50％
			III	33.1％	50％
IV	24.7％	0

由上述技术方案可以看出，本发明具有以下有益效果：

采用单视角场景的研究，算法实时性更强，并且避免多视角在场景融合方面同步性等难题；

对于单视角场景存在，视角不同对三维运动呈现在二维图像上的失真问题，通过增加视角调整步骤改进现有光流计算，提高运动特征描述的准确性；

动态地提取图像中运动变化显著的像素点作为有效像素点，计算有效像素点的运动变化，可以提高运算的效率，同时也能够进一步提高运动特征描述的准确性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述方法包括：

S1、输入视频序列中的原始图像；

S2、采用金字塔L-K光流法，计算图像中所有像素点的运动矢量，运动矢量包括运动速度和运动方向

S3、在运动速度矩阵的基础上增加视角调整系数矩阵DM的修正；

S4、对修正后的运动速度矩阵进行聚类分析，动态提取每一帧图像不同行为下的有效像素点；

S5、结合运动矢量关于运动速度和运动方向的信息，提出异常行为的综合特征指标；

S6、确定运动特征指标发生打架斗殴异常行为的判定阈值，并根据该阈值进行打架斗殴异常行为的判断。

2.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S2中：

图像I中像素点为m＝(x,y)^T，v_m＝(u,v)是像素点m的光流；

运动速度

运动方向

3.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S3中：

修正后的运动速度矩阵为DVel_k×l＝DM_k×l*Vel_k×l，(*，Hadamard乘积)，其中k×l是图像的分辨率,Hadamard乘积为两个矩阵对应元素的乘积。

4.根据权利要求3所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S3中的系数矩阵DM_k×l获取方法为：

S301、在图像所处的实际场景中，将所呈现的站台研究区域从前至后进行标定，以纵向设置若干测试点，各测试点间距相同；

S302、从前至后依次各测试点上做横向匀速运动，并记录提取整个测试过程的视频；

S303、将测试视频图像序列进行相邻帧之间的光流法计算，获得运动速度并均值化体现对应图像整体的运动速度量；

S304、通过测试视频中的各帧整体运动速度统计，计算各测试点的平均速度值；

S305、统计处理场景中各测试点的速度值，以前景中第一个测试点作为标准点反推后续各测试点的速度调整系数；

S306、将各测试点的调整系数进行拟合，估算出在图像整个纵向坐标下连续的调整系数矩阵DM_k×l。

5.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S4中的聚类分析采用K-means聚类方法实现，对图像中各像素点速度值分为强弱两类。

6.根据权利要求5所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S4中有效像素点m的判断公式为：

其中，m＝(x,y)^T为图像中任一像素点。

7.根据权利要求5所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S4还包括：

基于聚类的分类结果将图像中所有像素点进行是否有效判断，形成图像有效点判别矩阵EM_k×l，其中k×l是图像的分辨率。

8.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S5具体为：

根据公式判断两个像素点的运动为非同向运动，m＝(x,y)^T和m⁰＝(x⁰,y⁰)^T为两个像素点；

每一个有效像素点在其自身为圆心，运动速度大小为半径的区域内，分析非同向运动的程度，用非同向运动的个数作为再一次突出异常行为像素点的加强系数与其速度值相乘，获得具有运动方向信息的运动速度特征

将图像中所有有效像素点进行处理，将获得图像全局性的带有方向信息的平均运行特征，并计算后续异常行为判定指标为其中，图像中位于(x,y)的像素点，其DVel(x,y)＝视角调整系数×非同向运动像素个数×Vel(x,y)是经过视角系数修正，包含方向信息的运动强度特征，图像的分辨率为k×l，且N＝k，M＝l。

9.根据权利要求8所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S6包括：

确定判定指标发生打架斗殴异常行为的判定阈值，进行判断，如果超过阈值，则置异常行为判断值为1，反之，则为0。

10.根据权利要求1所述的基于视频分析的打架斗殴异常行为自动检测方法，其特征在于，所述步骤S6后还包括：

设置一个长度为n的状态存储器记录图像帧异常超限情况，采用数据先进先出原则，连续依次记录各图像序列的异常判定值；

当状态存储器中数据之和超过异常报警次数的阈值，将进行异常行为的报警；反之，进入下一帧图像的分析。