CN104268563B - 一种基于异常行为检测的视频摘要方法 - Google Patents

Abstract

本发明公开了一种基于异常行为检测的视频摘要方法，其特征是按如下步骤进行：1提取视频帧的运动标签；2获取基于尺寸的目标描述符；3联合运动标签和目标描述符建立事件模型，获得运动目标在一段固定时间内的行为信号；4学习只包含正常行为的训练视频序列，获得行为背景图；5对当前测试视频序列进行异常检测，标记异常行为；6截取包含异常行为的视频片段形成视频摘要。本发明能提高异常行为检测的准确性和效率，并能将异常行为总结成一段视频摘要，从而方便人工查询。

Description

一种基于异常行为检测的视频摘要方法

技术领域

本发明涉及视频分析领域，具体地说是一种基于异常行为检测的视频摘要方法。

背景技术

随着网络视频相机技术的发展，视频监控技术已经在安防等领域得到了广泛的应用。分布在各个场所的网络摄像机24小时不间断的产生大量视频数据。现有的视频监控系统大多只是进行场景内运动目标的检测或跟踪，进行进一步处理的比较少，而监控的目的就是对场景中的异常事件或人的异常行为进行检测和分析。由于视频数据量巨大，人工查找效率低下，且易受到人体感官疲劳的影响发生漏检和误检的情况，为了协助甚至代替人工劳作，自动检测监控视频中的运动目标、识别异常行为成为一个热门研究点。

视频监控的一个基本任务就是对场景中的运动目标进行检测。针对运动目标检测的方法主要有背景差分法、马尔科夫随机场和基于水平集的方法等。然而上述这些方法都是在背景不变这个前提条件下提出的。当所目标处背景环境很复杂时，如相机抖动、快速的光照变化、杂乱的背景运动等，运动检测变得十分困难，计算成本也相应增加。因此传统的方法不能很好解决这样的问题。

异常行为检测的方法可分为基于模式分类的方法和基于机器学习的方法。在基于模式分类的方法中，异常行为模板是已知的，测试视频中与模板匹配的行为被认为是异常行为。这种方法一般只适用于已知具体异常模式的检测，不适用于异常行为未知的情况，不具有一般性。基于机器学习的方法利用训练视频自动学习正常行为模型，在测试视频中不符合正常行为模型的行为被认为是异常。

以机器学习为基础的异常检测方法可以获得比较好的效果。但是传统的方法通常需要对运动目标进行特征提取，并计算光流场、空间运动直方图或运动轨迹图等，通过最优化迭代等方法检测出异常行为。这种多阶段的处理过程占用的内存和计算能力较大，实时性不强；并且每一阶段的计算误差会逐层传递，影响检测精度。因此这些方法都存在一定的局限性。

发明内容

本发明是为避免现技术所存在的不足之处，提出一种基于异常行为检测的视频摘要方法，以期提高异常行为检测的准确性和效率，并能将异常行为总结成一段视频摘要，从而方便人工查询。

本发明为解决技术问题采用如下技术方案：

本发明一种基于异常行为检测的视频摘要方法的特点按如下步骤进行：

步骤1、利用一固定的摄像头获取在时间段T＝(t₁,t₂,...t_d...,t_s)内的视频，每一时刻对应一帧视频，从而获得视频帧 表示在t_d时刻下的视频帧；1≤d≤s；s为视频的总帧数；从所述视频帧中选取在时间段T'＝(t_α,t_α+1,...t_β...,t_α+N)内的视频帧作为训练视频帧，N为训练视频的总帧数；表示在t_β时刻下的视频帧；α≤β≤α+N；则其余视频帧为测试视频帧V₂＝V-V₁；所述训练视频帧V₁只包含正常行为；所述测试视频帧V₂包含正常行为和异常行为；

步骤2、利用中值滤波法获得所述视频帧V的背景图像b；

步骤3、利用式(1)获得t_d时刻下视频帧中任意像素点位置的运动标签从而获得t_d时刻下视频帧中所有像素点位置的运动标签

式(1)中：表示视频帧中的像素点位置；表示t_d时刻下视频帧中像素点位置的像素值，表示t_d时刻下视频帧中的背景图像；α为判断阈值；

步骤4、利用式(2)获得t_d时刻下视频帧中任意像素点位置的基于尺寸的目标描述符从而获得t_d时刻下视频帧中所有像素点位置的目标描述符

式(2)中：表示t_d时刻下视频帧中以像素点位置为中心，以W×W为大小的窗口；表示在窗口内与像素点位置相邻的像素点位置；并有：

式(3)中：表示t_d时刻下视频帧中像素点位置的运动标签；

步骤5、联合所述运动标签序列M_Γ和目标描述符序列R_Γ，从而建立事件模型

步骤5.1、利用式(1)获得在时间窗Γ＝[t_d-γ+1,t_d]内运动标签序列M_Γ，利用式(2)获得在时间窗Γ＝[t_d-γ+1,t_d]内目标描述符序列R_Γ，γ为参数；1≤γ≤s；

步骤5.2、利用式(4)所示的隐马尔可夫模型获得所述运动标签序列M_Γ的概率

式(4)中：ω为隐马尔科夫模型的初始运动状态概率；p为静止状态概率，1-p为静止转移概率；q为运动状态概率，1-q为运动转移概率；表示静止状态的时间间隔，表示运动状态的时间间隔；l表示从运动到静止状态的转移次数；n表示从静止到运动状态的转移次数；1≤k₁≤l；1≤k₂≤n；

步骤5.3、利用式(5)获得所述运动标签序列M_Γ和目标描述符序列R_Γ的联合概率

式(5)中，为条件概率函数，并有：

步骤5.4、对式(5)取负对数后获得如式(7)所示的t_d时刻下视频帧中任意像素点位置的事件模型从而获得t_d时刻下视频帧中所有像素点位置的事件模型

式(7)中：D₁,D₂,D₃为所设定的参数；表示在时间窗Γ中的像素点位置处的状态转移总数；t_d-γ+1≤i≤t_d；

步骤6：学习训练视频帧V₁获得行为背景图

步骤6.1、重复步骤3-步骤5获得所述训练视频帧V₁中t_β时刻下视频帧中所有像素点位置的事件模型

步骤6.2、利用式(8)和式(9)分别估计所述训练视频帧V₁中事件模型的均值和方差

步骤6.3、根据高斯分布和区间估计原理，获得如式(10)所示的所述训练视频帧V₁中事件模型的均值的置信区间：

式(10)中：t_η/2(N-1)表示自由度为N-1的t分布，η为t分布的显著水平；

步骤6.4、利用式(11)获得所述训练视频帧V₁中像素点位置处的行为背景图从而获得所述训练视频帧V₁中所有像素点位置的行为背景图B：

步骤7：利用式(12)获得所述测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处的异常行为从而获得所述训练视频帧V₂中所有像素点位置的异常行为X：

式(12)中：表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处出现异常行为；表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处没有出现异常行为；Θ为所述方差的区间估计，并有

式(13)中：表示自由度为N-1的χ²分布；ξ为χ²分布的显著水平；

步骤8：在所述测试视频帧V₂中截取包含异常行为的所有视频帧作为视频摘要。

与已有技术相比，本发明有益效果体现在：

1、本发明提出了一种新颖的异常行为检测方法，通过计算目标运动标签并引入目标描述符为视频中的运动建立行为模型，将问题转化为训练视频和观测视频中行为图的比较问题；并利用区间估计理论，获得行为差分的阈值，定位异常行为发生的区域。

2、本发明通过采用估计时间窗内的运动标签均值的方法，对利用传统的背景差分法进行运动目标检测的方法做出了改进，可以有效地增强运动目标检测在复杂背景(如相机抖动、非结构化背景运动等)下的鲁棒性，提高运动目标检测的准确性，并且保持背景差分法计算量小、运算速度快的特点；

3、本发明引入了一种通过生成低维的背景行为图为视频序列建立动态特性统计模型的方法，避免了传统方法需要对目标进行跟踪、特征提取、分割或最优化迭代等复杂的多阶段处理过程，简化了计算复杂度，提高了检测效率；

4、本发明的方法是基于对训练样本和观测样本之间的行为差分，而不像传统方法往往需要将具体目标的行为模板与观测样本中的行为进行匹配。因此本发明的方法不受具体目标类别的限制，对在同一段视频中的人或者车辆等任意目标具有普适性。

附图说明

图1为本发明实施例流程示意图；

图2为本发明在相机抖动或复杂运动背景的条件下，与其他三种运动目标检测算法的对比图。

具体实施方式

如图1所示，一种基于异常行为检测的视频摘要方法可以分为异常行为检测、检测结果的标注和视频摘要的生成三个主要环节，并按如下具体步骤进行：

步骤1、利用一固定的摄像头获取在时间段T＝(t₁,t₂,...t_d...,t_s)内的视频，每一时刻对应一帧视频，从而获得视频帧 表示在t_d时刻下的视频帧；1≤d≤s；s为视频的总帧数；从视频帧中选取在时间段T'＝(t_α,t_α+1,...t_β...,t_α+N)内的视频帧作为训练视频帧，N为训练视频的总帧数；表示在t_β时刻下的视频帧；α≤β≤α+N；则其余视频帧为测试视频帧V₂＝V-V₁；训练视频帧V₁只包含正常行为；测试视频帧V₂包含正常行为和异常行为；

在具体实施中，采用CVPR2012变化检测数据集进行实验。CVPR2012变化检测数据集分为六大类共31个视频序列，包含各种内容和形式的视频，从黑白到彩色，从室内到室外，从城市到自然环境等。通常选取200-1000帧作为训练视频。

步骤2、利用中值滤波法获得视频帧V的背景图像b；中值滤波法背景建模的原理是以相等的间隔抽取视频中的帧图像，对所有抽取的图像中每一个像素位置的像素值进行排序，取中间值作为背景图像位于该像素位置的像素值。例如有一250帧的视频，每10帧抽取1帧，共得到25帧图像；对像素位置A的25个像素值按从小到大的顺序排序，选取其中第13个像素值作为获得的背景图像在像素位置A处的像素值。可以选取视频的前200-500帧用于生成背景图像，并对背景进行实时更新。

步骤3、利用式(1)获得t_d时刻下视频帧中任意像素点位置的运动标签从而获得t_d时刻下视频帧中所有像素点位置的运动标签

式(1)中：表示视频帧中的像素点位置；表示t_d时刻下视频帧中像素点位置的像素值，表示t_d时刻下视频帧中的背景图像；α为判断阈值；在本实施例中，选取参数α＝20。表示该像素处于“忙碌”状态，表示该像素处于“空闲”状态。在一段时间内一个像素位置处的运动标签表示为一段二进制波形，可以看作是一种简单的行为信号。

步骤4、运动目标留下的行为信号还与其大小、形状、速度等有关。目标描述符和运动标签可以共同描述目标的行为信号。选择基于目标大小的目标描述符有两个原因：第一，它很简洁，并且在大量的视频资料中都取得很好的效果，具有足够的辨识力；第二，它可以通过如下步骤有效地近似表示。

首先，利用式(2)获得t_d时刻下视频帧中任意像素点位置的基于尺寸的目标描述符从而获得t_d时刻下视频帧中所有像素点位置的目标描述符

式(2)中：表示t_d时刻下视频帧中以像素点位置为中心，以W×W为大小的窗口；表示在窗口内与像素点位置相邻的像素点位置；并有：

式(3)中：表示t_d时刻下视频帧中像素点位置的运动标签；当时，像素点位置与像素点位置都被认为是运动的；当目标描述符时，表示像素点位置远离运动位置；当像素点位置逐渐靠近运动目标，目标描述符呈非线性增加；当像素点位置属于一个完全覆盖窗口的运动目标时，目标描述符

步骤5、一个事件是和一段时间范围联系起来的。将像素点位置处一个γ帧时间窗内运动目标的行为信号定义为一个事件。联合运动标签序列M_Γ和目标描述符序列R_Γ，从而建立事件模型

步骤5.1、利用式(1)获得在时间窗Γ＝[t_d-γ+1,t_d]内运动标签序列M_Γ，利用式(2)获得在时间窗Γ＝[t_d-γ+1,t_d]内目标描述符序列R_Γ，γ为参数；1≤γ≤s；在本实施例中，γ设为24。

步骤5.2、利用式(4)所示的隐马尔可夫模型获得运动标签序列M_Γ的概率

式(4)中：ω为隐马尔科夫模型的初始运动状态概率；p为静止状态概率，1-p为静止转移概率；q为运动状态概率，1-q为运动转移概率；表示静止状态的时间间隔，表示运动状态的时间间隔；l表示从运动到静止状态的转移次数；n表示从静止到运动状态的转移次数；1≤k₁≤l；1≤k₂≤n；

步骤5.3、利用式(5)获得运动标签序列M_Γ和目标描述符序列R_Γ的联合概率

式(5)中，为条件概率函数，假设“空闲”和“忙碌”阶段相互独立，因为一个像素的不同“忙碌”阶段对应不同目标；不同的“空闲”阶段对应两个目标之间不同的时间间隔。则并有：

步骤5.4、对式(5)取负对数后获得如式(7)所示的t_d时刻下视频帧中任意像素点位置的事件模型从而获得t_d时刻下视频帧中所有像素点位置的事件模型

式(7)中：D₁,D₂,D₃为所设定的参数；在本实施例中，设定D₁＝0,D₂＝0,D₃＝1；表示在时间窗Γ中的像素点位置处的状态转移总数；t_d-γ+1≤i≤t_d；

步骤6：学习训练视频帧V₁获得行为背景图

步骤6.1、首先，重复步骤3-步骤5获得训练视频帧V₁中t_β时刻下视频帧中所有像素点位置的事件模型

步骤6.2、背景行为图实际上描述了训练视频中正常行为发生的概率。假设事件在像素点位置处与时间无关，并且服从均值为μ方差为σ²的高斯分布，根据最大似然估计理论，利用式(8)和式(9)分别估计训练视频帧V₁中事件模型的均值和方差

步骤6.3、根据高斯分布的定义，如果令背景行为图则测试视频中一半的行为将会被认为是异常。可以认为异常行为发生的概率在一定的区间范围内，那么根据高斯分布和区间估计原理，获得如式(10)所示的训练视频帧V₁中事件模型的均值的置信区间将会提高异常行为检测的精确性：

式(10)中：t_η/2(N-1)表示自由度为N-1的t分布，η为所设定的t分布的显著水平；在本实施例中，η选取10％。

步骤6.4、利用式(11)获得训练视频帧V₁中像素点位置处的行为背景图从而获得训练视频帧V₁中所有像素点位置的行为背景图B：

步骤7：利用式(12)获得测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处的异常行为从而获得训练视频帧V₂中所有像素点位置的异常行为X：

式(12)中：表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处出现异常行为；表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处没有出现异常行为；Θ为方差的区间估计，并有

式(13)中：表示自由度为N-1的χ²分布；ξ为所设定的χ²分布的显著水平；在本实施例中，ξ选取5％。

捕获了时间窗Γ内观测到的目标行为，因此可以将其称为观察行为图。由于观察行为图与一段时间内运动目标标签及目标描述符统计量相关，最终检测出的异常行为通常伴随着严重的拖尾现象。为了解决这个问题，精确的异常目标轮廓可以通过式(14)获得：

式(14)中：表示经过去除拖尾运算后，在t_d时刻下视频帧中像素点位置处的异常行为，表示存在异常，表示没有异常；表示在t_d-1时刻下视频帧中像素点位置处的异常行为，其事件模型与时间窗Γ'＝[t_d-γ+1,t_d-1]相关。

步骤8：异常行为被检测出之后，采用联通区域的方法标记异常事件的位置，用一个矩形框将异常的目标包围起来，并定义一个最小矩形框阈值，去除小于这个阈值的不可能包含异常行为的矩形框。按照一定的比例放大其余的矩形框，确保其完全覆盖检测到的目标。最后，在测试视频帧V₂中截取包含异常行为的所有视频帧作为视频摘要。本实施例中，矩形框阈值设定为5×5，矩形框放大比例取值为20％。

实施例：

图1中的原始视频为高速公路口一个摄像机拍摄的画面，可用于检测经过此路段的大型车辆或是否发生交通事故等。

为了验证本发明中对运动目标检测的改进效果，从2012CVPR变化检测数据集选取了3个视频进行检测。图2为在相机抖动或复杂运动背景的条件下，本发明与3种运动目标检测算法的比较。将每种算法检测到的运动目标与手工标注的真实值比较，图2中的Recall代表检测正确的前景像素点个数与真实前景像素点个数之比，图2中False Positive Rate代表检测错误的背景像素点个数与真实背景像素点个数之比。图2中GMM代表混合高斯背景建模法检测的结果，图2中Vibe代表视觉背景提取方法的检测结果，图2中BackgroundSubtraction代表背景差分法检测的结果。图2中的(a)为一固定的红外摄像机拍摄的波光粼粼的湖面的场景，图2中的(b)为一手持的抖动摄像机拍摄的羽毛训练的场景。如前，图2结果显示本发明可以有效地增强运动目标检测在复杂背景(如相机抖动、非结构化背景运动等)下的鲁棒性，提高运动目标检测的准确性，同时保持较高的运算速度。对于320×240像素的视频，本发明运行速度可达46.91帧/秒。

Claims (1)

1.一种基于异常行为检测的视频摘要方法，其特征是按如下步骤进行：

步骤1、利用一固定的摄像头获取在时间段T＝(t₁,t₂,...t_d...,t_s)内的视频，每一时刻对应一帧视频，从而获得视频帧 表示在t_d时刻下的视频帧；1≤d≤s；s为视频的总帧数；从所述视频帧中选取在时间段T'＝(t_α,t_α+1,...t_β...,t_α+N)内的视频帧作为训练视频帧，N为训练视频的总帧数；表示在t_β时刻下的视频帧；α≤β≤α+N；则其余视频帧为测试视频帧V₂＝V-V₁；所述训练视频帧V₁只包含正常行为；所述测试视频帧V₂包含正常行为和异常行为；

步骤2、利用中值滤波法获得所述视频帧V的背景图像b；

步骤3、利用式(1)获得t_d时刻下视频帧中任意像素点位置的运动标签从而获得t_d时刻下视频帧中所有像素点位置的运动标签

式(1)中：表示视频帧中的像素点位置；表示t_d时刻下视频帧中像素点位置的像素值，表示t_d时刻下视频帧中的背景图像；α为判断阈值；

步骤4、利用式(2)获得t_d时刻下视频帧中任意像素点位置的基于尺寸的目标描述符从而获得t_d时刻下视频帧中所有像素点位置的目标描述符

式(2)中：表示t_d时刻下视频帧中以像素点位置为中心，以W×W为大小的窗口；表示在窗口内与像素点位置相邻的像素点位置；并有：

式(3)中：表示t_d时刻下视频帧中像素点位置的运动标签；

步骤5、联合运动标签序列M_Γ和目标描述符序列R_Γ，从而建立事件模型

步骤5.1、利用式(1)获得在时间窗Γ＝[t_d-γ+1,t_d]内运动标签序列M_Γ，利用式(2)获得在时间窗Γ＝[t_d-γ+1,t_d]内目标描述符序列R_Γ，γ为参数；1≤γ≤s；

步骤5.2、利用式(4)所示的隐马尔可夫模型获得所述运动标签序列M_Γ的概率

式(4)中：ω为隐马尔科夫模型的初始运动状态概率；p为静止状态概率，1-p为静止转移概率；q为运动状态概率，1-q为运动转移概率；表示静止状态的时间间隔，表示运动状态的时间间隔；l表示从运动到静止状态的转移次数；n表示从静止到运动状态的转移次数；1≤k₁≤l；1≤k₂≤n；

步骤5.3、利用式(5)获得所述运动标签序列M_Γ和目标描述符序列R_Γ的联合概率

式(5)中，为条件概率函数，并有：

步骤5.4、对式(5)取负对数后获得如式(7)所示的t_d时刻下视频帧中任意像素点位置的事件模型从而获得t_d时刻下视频帧中所有像素点位置的事件模型

式(7)中：D₁,D₂,D₃为所设定的参数；表示在时间窗Γ中的像素点位置处的状态转移总数；t_d-γ+1≤i≤t_d；

步骤6：学习训练视频帧V₁获得行为背景图

步骤6.1、重复步骤3-步骤5获得所述训练视频帧V₁中t_β时刻下视频帧中所有像素点位置的事件模型

步骤6.2、利用式(8)和式(9)分别估计所述训练视频帧V₁中事件模型的均值和方差

步骤6.3、根据高斯分布和区间估计原理，获得如式(10)所示的所述训练视频帧V₁中事件模型的均值的置信区间：

式(10)中：t_η/2(N-1)表示自由度为N-1的t分布，η为t分布的显著水平；

步骤6.4、利用式(11)获得所述训练视频帧V₁中像素点位置处的行为背景图从而获得所述训练视频帧V₁中所有像素点位置的行为背景图B：

步骤7：利用式(12)获得所述测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处的异常行为从而获得所述训练视频帧V₂中所有像素点位置的异常行为X：

式(12)中：表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处出现异常行为；表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处没有出现异常行为；Θ为所述方差的区间估计，并有

$\mathrm{\Θ}\∈(\sqrt{\frac{(N-1){\widehat{\mathrm{\σ}}}^2}{{\mathrm{\χ}}_{\mathrm{\ξ}/2}^2(N-1)}},\sqrt{\frac{(N-1){\widehat{\mathrm{\σ}}}^2}{{\mathrm{\χ}}_{1-\mathrm{\ξ}/2}^2(N-1)}})---\left(13\right)$

式(13)中：表示自由度为N-1的χ²分布；ξ为χ²分布的显著水平；

步骤8：在所述测试视频帧V₂中截取包含异常行为的所有视频帧作为视频摘要。