CN105426820A - 基于安防监控视频数据的多人异常行为检测方法 - Google Patents

Abstract

本发明提供一种基于安防监控视频数据的多人异常行为检测方法，对监控摄像头标准AV输出信号进行采集；对行人特征进行提取，分别得到粗级检测器，粗级行人ROIs和精密级ROIs；对行人行为进行跟踪，采用粒子滤波方法将视频中每个跟踪目标分别包围在一个矩形框中，对每个跟踪目标的状态转移建立多阶自回归过程数学模型，获得描述运动目标实际运动情况的状态转移模型；在粒子滤波器框架之下，获得融合颜色和形状特征的粒子滤波人体跟踪方法；异常行人分类，计算精密级ROIs的光流特征；将监控视频流中的每帧灰度图像设定为一个Markov随机场；对视频监控场景中判断为异常交通行为的行人进行特征提取，建立连续隐马尔可夫模型，对异常行为进行识别。

Description

基于安防监控视频数据的多人异常行为检测方法

技术领域

本发明涉及一种基于安防监控视频数据的多人异常行为检测方法，属于3S集成应用领域。

背景技术

感知和识别复杂环境中人的行为举止是智能视频监控研究的热点和难点课题之一，其任务是利用摄像机对特定环境中持续和瞬间物体进行实时监控和场景解释，理解和预测上下文相关的物体行为和事件并根据从传感器获得的信息与被观测的物体进行交互，在公共设施、商业、交通和军事等场景的检测、监控、管理和指挥等应用中具有重要价值。日益增长的社会安全要求产生了对许多环境进行监控的需求，使得视频监控技术的研究和应用受到学术界、工业界及政府部门更多的关注，大范围嵌入型、多摄像机协同、多视角动态场景、多目标和多层次行为的分布式智能监控系统成为这一领域的研究热点，并在基于任务的摄像机网络部署和控制及多摄像机集成和协作，尤其是活动摄像及其视频内容处理、视频压缩、网络通信协议和数据传输标准等多方面进行了大量研究，也出现了许多针对地铁、机场、车站等场所及交通运输等领域的分布式智能视频监控系统。

然而，智能视频监控是一个十分复杂的问题，它与摄像机数目(单摄像机vs.多摄像机)、摄像机的配置(集中式vs.分布式)和方式(固定摄像机vs.活动摄像机)、运动目标数目(单目标vs.多目标和类型(刚体vs.非刚体)、传感器类型(可见光图像vs.红外图像)和样式(单目摄像机vs.立体摄像机)及场景状况等诸多因素有密切关系，除了在检测、跟踪和识别等算法对运动目标姿态或状态改变及环境光照等因素变化的鲁棒性，复杂目标和环境处理过程的准确性和快速性等关键问题外，在分布式摄像机网络资源的配置和优化、多摄像机协同和信息融合、模型数据库的可测量性和增量式更新机制等诸多方面还有待于进一步深入研究。

智能环境中视觉行为感知系统承担着对环境中人进行监控与交互的双重任务，其目标是利用多个摄像机形成的视觉感知网络实现对人各种行为举止的感知和响应。因此，基于视觉感知网络智能环境的软件系统需要解决三大相互关联的关键技术问题：一是面向多尺度行为信息感知的多摄像机控制模型；二是面向行为检测和跟踪的多线索融合技术；三是基于上下文的动作和活动分析与解释方法，但是目前并没有一种很好的解决方法。

发明内容

本发明的目的在于克服现有技术的不足，从而提供一种基于安防监控视频数据的多人异常行为检测方法，实现安防视频监控场景中实时行人检测和跟踪，并对行人的异常行为进行识别和判别，为安防监控的自动化判别提供依据，为紧急事件的预警判知和政府应急决策提供帮助。

本发明的目的是通过下面的技术方案来实现的：一种基于安防监控视频数据的多人异常行为检测方法，其特征在于：它包括以下步骤：

步骤1：视频数据采集

对监控摄像头标准AV输出信号进行采集，并将采集到的AV信号经过压缩编码形成H.264和MPEG-4标准视频数据；

步骤2：行人特征提取

2.1、针对采集到的视频图像，提取Haar特征和FDF特征，得到粗级检测器；

2.2、对待测图像进行遍历检测，采用AdaboostCascade方法得到粗级行人ROIs；

2.3、采用方向梯度直方图特征提取算法，利用SVM进行训练得到精密级分类器，对得到的粗级行人ROIs进行检测，得到精密级ROIs。

步骤3：行人行为跟踪

3.1、采用粒子滤波方法将视频中每个跟踪目标分别包围在一个矩形框中，矩形框自适应的随运动目标大小变化；

3.2、对每个跟踪目标的状态转移建立多阶自回归过程数学模型，以当前状态之前的多个状态作为基准，加入随机扰动对下一状态进行预测，获得描述运动目标实际运动情况的状态转移模型；

3.3、在粒子滤波器框架之下，根据监控视频中行人的颜色和形状特征在行为分析过程中的稳定性，利用加权颜色直方图和四方向特征作为观测模型，获得融合颜色和形状特征的粒子滤波人体跟踪方法，通过融合后行人的颜色和形状特征确定粒子的权值进行更新；

步骤4：异常行人分类

4.1、计算精密级ROIs的光流特征，去除由环境产生的扰动，采用幅值加权的方向直方图来描述异常行为的运动幅度和混乱程度，首先对幅值进行归一化处理，作为方向的权值，然后求和作为直方图的大小，像素的变化情况反映不规则行为；

4.2、采用Markov随机场理论，将监控视频流中的每帧灰度图像设定为一个Markov随机场，像素点的灰度值作为Markov随机场的随机变量，其的随机场能量值用于反映视频中被监控目标在短时间内行为的变化；

4.3、对视频监控场景中判断为异常交通行为的行人进行特征提取，根据通过收集训练数据建立的连续隐马尔可夫模型，采用概率的方法对异常行为进行识别，细化为不同的行为模式，并将行为模式进行分类存储。

本发明围绕智慧安防监控动态感知的核心问题，发掘自然监控场景中行人的形态特征变化规律，设计基于多特征和机器学习的分级行人检测算法、视频行人粒子滤波跟踪算法、基于马尔科夫随机场和隐马尔科夫的行人行为模型，揭示复杂自然场景和随观测时间变化空间上下文关系，将自然场景中的内在的复杂形态规律运用到行人异常行为分类中去，提高视频监控场景群体行为异常的识别认知率。

具体实施方式

下面给出具体实施方式对本发明作进一步的详细描述。

一种基于安防监控视频数据的多人异常行为检测方法，它包括以下步骤：

步骤1：视频数据采集

对监控摄像头标准AV输出信号进行采集，并将采集到的AV信号经过压缩编码形成H.264和MPEG-4标准视频数据；

步骤2：行人特征提取

针对行人特征的提取，提出的是一种分级行人检测方法。

2.1、首先进行粗级检测，针对采集到的视频图像，提取能有效地描述人体的轮廓并且计算相对简单的特征，Haar特征和FDF特征，得到粗级检测器。

2.2、对待测图像进行遍历检测，采用AdaboostCascade方法得到粗级行人ROIs；AdaboostCascade方法利用增l减r法和待选择特征之间的相关性，减少被选择特征之间的冗余度，增加被选择特征之间的独立性，得到最优的特征组合，可以提高级联检测器的性能，减少检测时间，该级分类器要求检测率高，并允许存在一定的虚警。

2.3、采用方向梯度直方图特征提取算法，利用SVM进行训练得到精密级分类器，对得到的粗级行人ROIs进行检测，得到精密级ROIs。由于候选检测范围已经被粗级检测大幅度缩小，可以采用计算量相对较大的人体特征提取算法，如专门为人体而提出的方向梯度直方图特征HOG，利用SVM进行训练得到精密级分类器，对得到的粗级行人ROIs进行检测，得到精密级ROIs，精密级要求检测率高，虚警率低。

步骤3：行人行为跟踪

3.1、采用粒子滤波方法将视频中每个跟踪目标分别包围在一个矩形框中，矩形框自适应的随运动目标大小变化；

3.2、对每个跟踪目标的状态转移建立多阶自回归过程数学模型，以当前状态之前的多个状态作为基准，加入随机扰动对下一状态进行预测，获得描述运动目标实际运动情况的状态转移模型；

3.3、在粒子滤波器框架之下，根据监控视频中行人的颜色和形状特征在行为分析过程中的稳定性，利用加权颜色直方图和四方向特征作为观测模型，获得融合颜色和形状特征的粒子滤波人体跟踪方法，通过融合后行人的颜色和形状特征确定粒子的权值进行更新；

步骤4：异常行人分类

4.1、计算精密级ROIs的光流特征，去除由环境产生的扰动，采用幅值加权的方向直方图来描述异常行为的运动幅度和混乱程度，首先对幅值进行归一化处理，作为方向的权值，然后求和作为直方图的大小，像素的变化情况反映不规则行为；

4.2、采用Markov随机场理论，将监控视频流中的每帧灰度图像设定为一个Markov随机场，像素点的灰度值作为Markov随机场的随机变量，其的随机场能量值用于反映视频中被监控目标在短时间内行为的变化；

4.3、对视频监控场景中判断为异常交通行为的行人进行特征提取，根据通过收集训练数据建立的连续隐马尔可夫模型，采用概率的方法对异常行为进行识别，细化为不同的行为模式，如挥手、跳跃、奔跑，并将行为模式进行分类存储。

Markov随机场的能量函数能较好地反映视频中多个行人目标区的剧烈变化，对群聚和突发暴力事件有较好的识别率。将监控视频流中的每帧灰度图像设定为一个Markov随机场，这时随机变量x就成了像素点处的标值，即为灰度值，其能量值可以很好地反映了视频中被监控目标在短时间内行为的剧烈变化。第帧能量函数由两部分组成：（1）空间算子部分，它记录了第帧图像中每个像素点灰度值与背景以及邻域的相对关系信息；（2）时间算子部分，它记录了第帧的灰度值与前后帧的关系信息。

空间算子的MRF模型由两类节点组成，隐藏变量，观测变量，本发明初步假设x、y满足高斯正态分布，可得到视频流中第n帧能量函数的空间算子部分的计算公式：

其中为两者间的比例关系，是第n帧视频图像中s像素点位置的灰度值，是背景图像中对应位置像素点的灰度值，N(s)为s的邻域系统。

时间算子的MRF模型主要利用的每个像素点某帧的灰度值与邻域帧的联系，它与除此之外的其他帧无关。第n帧图像能量的时间算子部分可以初步表示为：

其中为前一帧的在s处的灰度值。

本发明在上述理论框架的基础上深入研究能量函数和监控场景行人行为之间的深层次内涵，分析大量视频监控基础上寻求Markov场能量函数的最佳表示，相应调整经验参数和，可以提高行人异常行为的检出率。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (1)

1.一种基于安防监控视频数据的多人异常行为检测方法，其特征在于：它包括以下步骤：

步骤1：视频数据采集

对监控摄像头标准AV输出信号进行采集，并将采集到的AV信号经过压缩编码形成H.264和MPEG-4标准视频数据；

步骤2：行人特征提取

2.1、针对采集到的视频图像，提取Haar特征和FDF特征，得到粗级检测器；

2.2、对待测图像进行遍历检测，采用AdaboostCascade方法得到粗级行人ROIs；

2.3、采用方向梯度直方图特征提取算法，利用SVM进行训练得到精密级分类器，对得到的粗级行人ROIs进行检测，得到精密级ROIs；

步骤3：行人行为跟踪

3.1、采用粒子滤波方法将视频中每个跟踪目标分别包围在一个矩形框中，矩形框自适应的随运动目标大小变化；

3.2、对每个跟踪目标的状态转移建立多阶自回归过程数学模型，以当前状态之前的多个状态作为基准，加入随机扰动对下一状态进行预测，获得描述运动目标实际运动情况的状态转移模型；

3.3、在粒子滤波器框架之下，根据监控视频中行人的颜色和形状特征在行为分析过程中的稳定性，利用加权颜色直方图和四方向特征作为观测模型，获得融合颜色和形状特征的粒子滤波人体跟踪方法，通过融合后行人的颜色和形状特征确定粒子的权值进行更新；

步骤4：异常行人分类

4.1、计算精密级ROIs的光流特征，去除由环境产生的扰动，采用幅值加权的方向直方图来描述异常行为的运动幅度和混乱程度，首先对幅值进行归一化处理，作为方向的权值，然后求和作为直方图的大小，像素的变化情况反映不规则行为；

4.2、采用Markov随机场理论，将监控视频流中的每帧灰度图像设定为一个Markov随机场，像素点的灰度值作为Markov随机场的随机变量，其的随机场能量值用于反映视频中被监控目标在短时间内行为的变化；

4.3、对视频监控场景中判断为异常交通行为的行人进行特征提取，根据通过收集训练数据建立的连续隐马尔可夫模型，采用概率的方法对异常行为进行识别，细化为不同的行为模式，并将行为模式进行分类存储。