CN102496024B

CN102496024B - 智能监控中以特征帧触发的事件检测方法

Info

Publication number: CN102496024B
Application number: CN201110382431.5A
Authority: CN
Inventors: 孙建德; 张丽坤; 张�杰
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2011-11-25
Filing date: 2011-11-25
Publication date: 2014-03-12
Anticipated expiration: 2031-11-25
Also published as: CN102496024A

Abstract

本发明提出了一种智能监控中以特征帧触发的事件检测方法，包括以下步骤：(1)将监控视频帧中运动受关注区域从监控视频中提取出来；(2)将监控视频帧中静止受关注区域从监控视频中提取出来；(3)将静止受关注区域与动态受关注区域融合，得到监控视频帧中最终的视觉受关注区域；(4)从监控视频帧中的受关注区域中筛选出至少一个最受关注的区域；(5)将受关注区域变化的帧，选为候选帧；(6)再将选定的候选帧进行前后帧比较，选定特征帧表示受关注事件的发生。本发明用特征帧触发对受关注事件的发生进行报警，能够以符合人眼注视特性的方式，在智能视频监控系统中对监控视频中的受关注事件进行智能实时的检测，实时地对事件的发生进行报警。

Description

智能监控中以特征帧触发的事件检测方法

技术领域

本发明涉及一种以特征帧触发的智能监控中的事件检测方法，属于图像、多媒体信号处理技术领域。

背景技术

随着多媒体技术的发展和社会的进步，智能监控系统越来越普遍化，比如在公交车、商店、超市、银行等公共场所都会装有监控摄像机。对监控视频中发生的受关注事件进行实时报警，能够有效地遏制一些恶性事件或是危险情况的进一步发展，对这类事件做出及时的处理，这对整个社会的公共安全有着非常重要的意义。

但是，现在对于监控视频的分析处理，主要是靠人工观看。在有专职监控人员实时监控的情况下，监控人员同时监视一定数量的监控屏幕，这使得监控人员往往很难坚持长时间的注意力，并且很难同时达到多个屏幕无遗漏的人工监控。另外，在没有专职监控人员实时监控的情况下，监控视频往往用于在事件发生后作为证据或者事情调查过程中的证据进行使用，这虽然能够发挥监控视频作为证据的作用，但是不能发挥监控视频对于事件实时反映的特点，对于控制事件的发展没有任何意义。如何能够对所有监控场景中发生的受关注事件不遗漏，如何能够对监控场景中受关注事件的发生实时发出警报，就成为了智能监控中的焦点问题。

监控视频一般是在固定摄像头的情况下采取的，这样可以建立稳定的背景模型，有利于事件的检测，而现在存在的对监控视频的应用仅仅是对整个视频拍摄后，通过人眼观看来判断是否发生过受关注的事件，不可能对发生的受关注事件进行智能实时的检测，也就不能有效遏制恶性事件或危险情况的发展。近年来，视频监控在各种场合广泛普及，现有的大部分基于视频的事件检测方法仅仅采用低级语义特征来表征事件，如颜色、纹理、亮度、运动等。而基于人类视觉系统的高级语义特征对视频内容的描述才是最准确的。现有的基于视频的事件检测方法不能对视频内容得到最准确的描述。

发明内容

本发明针对目前监控视频中对可能发生的突发事件进行智能实时处理的局限性，提出了一种能够对视频内容得到准确描述的智能监控中以特征帧触发的事件检测方法，该方法用动、静态受关注区域形成视频关注节奏来选取特征帧，并用特征帧触发对受关注事件的发生进行报警。

本发明的智能监控中以特征帧触发的事件检测方法，包括以下步骤：

(1)将监控视频帧中运动受关注区域从监控视频中提取出来；

(2)将监控视频帧中静止受关注区域从监控视频中提取出来；

(3)将静止受关注区域与动态受关注区域融合，得到监控视频帧中最终的视觉受关注区域；

(4)从监控视频帧中的受关注区域中筛选出至少一个最受关注的区域；

(5)将受关注区域变化的帧，选为候选帧；

(6)再将选定的候选帧进行前后帧比较，选定特征帧，来表示受关注事件的发生。

步骤(1)中，运动受关注区域提取可以根据需要采用现有的运动区域提取的各种方法，如帧差法、LK光流算法、基于块运动估计的方法、多层次图分割前景提取方法、基于颜色纹理信息的快速前景提取方法或混合高斯背景建模方法等；

步骤(2)中，静止受关注区域提取可以根据需要，采用基于局部特征的提取方法、基于全局特征的提取方法、局部与全局结合的提取方法或者是基于颜色、纹理、亮度等特征的提取方法。基于局部特征的提取方法，如中央-周边差法、颜色对比法及多低级特征局部对比法等。基于全局特征的提取方法，如颜色直方图法、图像频谱残差法及图像频率调制法。局部与全局结合的提取方法，如中央-周边差结合图像频谱残差的方法或中央-周边差结合颜色直方图的方法等。基于颜色、纹理、亮度等特征的提取方法，如基于颜色直方图的方法、中央-周边差的方法等。

步骤(3)中，静止受关注区域与动态受关注区域融合可以根据需要采用运动优先、运动静态并重或者静态优先的准则。

步骤(4)中，监控视频中受关注区域的筛选可以根据需要选择基于灰度能量和的方法、基于灰度能量局部最大值的方法或基于颜色对比度的方法等。

步骤(5)中，选择候选帧时，可以根据需要采用基于灰度能量的变化方法、基于灰度能量局部最大值的方法或基于颜色对比度的变化方法等。

步骤(6)中，特征帧的选定，可以根据需要对前后两帧进行比较，在前后两帧进行比较过程中，当受关注区域变化大于设定的门限时，将后一帧、前一帧、或者两帧同时选定为特征帧。

本发明考虑到人眼注视的特性，用动、静态受关注区域形成视频关注节奏来选取特征帧，并用特征帧触发对受关注事件的发生进行报警，能够以符合人眼注视特性的方式，在智能视频监控系统中对监控视频中的受关注事件进行智能实时的检测，实时地对事件的发生进行报警，有效地遏制恶性事件或是危险情况的发展，对于监控视频中事件智能实时检测的意义非常重大。

附图说明

图1是本发明方法的流程图。

图2是本方法提取的特征帧。

图3是视频检测出特征帧在时间上的对应位置图。

具体实施方式

图1给出了本发明的具体流程，采用LK光流算法和混合高斯建模技术检测视频的运动受关注区域，对视频中各帧提取静态受关注区域，两者融合得到视频各帧的最终视觉受关注区域；然后将受关注区域变化的帧作为候选帧；最后将候选帧的相邻帧进行比较，将大于设定阈值的帧选为特征帧，在特征帧出现的时刻进行报警提醒，以此来表征受关注事件的发生。根据所示的流程，具体包括以下步骤：

1.动态受关注区域的提取

将输入的视频序列应用LK光流算法和混合高斯建模算法分别检测运动目标，将得到的运动目标图像运用基本的形态学操作如膨胀、腐蚀得到最终的动态受关注区域。运动目标检测的具体实施过程是：从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景。为了弥补摄像机的运动对运动目标检测造成的影响，采用LK光流算法对帧进行检测，从而达到较好的视频帧前景与背景的分离，所谓的前景就是我们所指的运动目标。从而形成动态受关注区域T_sm。

2.静态受关注区域的提取

基于颜色、纹理、亮度等视觉特征对视频中每帧进行处理，得到各帧的静态受关注区域S_sm。

3.根据运动优先原则将静、动态受关注区域进行融合。生物研究表明人眼往往对运动的物体比较敏感，基于运动优先性，我们定义动态跟静态受关注区域的权重如下：

w_T＝T_sm′×exp(1-T_sm′)，w_S＝1-w_T

这里T_sm′＝Max(T_sm)-Mean(T_sm)，w_T和w_S分别是动态受关注区域和静态受关注区域的权重。

最终形成的受关注区域为：

Saliency＝w_T×T_sm+w_S×S-sm

4.对得到的动、静态受关注区域图进行关注区域的筛选，以8*8大小的块对各帧对应的动、静态关注图进行关注区域的筛选，具体过程如下：

(1)对每一子块取均值，找到均值最大的块，然后将均值最大块的均值的90％设定为阈值T1，以该块为中心，若均值大于该阈值就将原来的块扩展一行，这样逐行扩展直到小于该阈值为止；再用同样的方法进行二次扩展，这时阈值为T2，这样就得到了受关注最高的区域。

(2)将步骤(1)中得到的区域置为零，重复步骤(1)的过程得到第二个受关注区域。

(3)将两个区域分别取均值，进行比较，找到第二个区域的均值比第一个区域的均值大的帧作为特征帧的候选帧，然后对这些帧相邻的帧求距离，大于设定的阈值T3的帧选出作为特征帧，特征帧出现的时刻也正是突发事件可能发生的时刻。

为了证明本发明的有效性，进行了相应实验，图2给出了从视频中检测出来的特征帧，其中包括人物进入监控(图2中的(a))、从监控中离开(图2中的(f))、以及两个人物在监控场景中的关键动作(图2中的(b)-(e))的特征帧。由图2可以看出选出的特征帧能够代表视频中主要受关注事件出现的时刻，在这样的时刻可以进行实时的报警，就可以达到事件智能实时检测的目的。图3通过曲线的方式表明了受关注事件发生的时序，其中峰值出现的时刻是特征帧出现的时刻，可以在这些时刻进行提示报警，已达到事件检测的目的。

综上分析，本发明提出的基于动、静态受关注区域从而提取特征帧的方法能够得到监控视频中的受关注事件，能够有效的遏制恶性事件或危险情况的发展，因此用特征帧触发进行事件检测的方法可以应用到监控视频的事件智能实时检测中。

Claims

1.一种智能监控中以特征帧触发的事件检测方法，其特征在于：包括以下步骤：

（1）将监控视频帧中运动受关注区域从监控视频中提取出来；

（2）将监控视频帧中静止受关注区域从监控视频中提取出来；

（3）将静止受关注区域与动态受关注区域融合，得到监控视频帧中最终的视觉受关注区域；

（4）从监控视频帧中的受关注区域中以8*8大小的块对各帧对应的动、静态关注图进行关注区域的筛选，对每一子块取均值，找到均值最大的块，然后将均值最大块的均值的90%设定为阈值T1，以该块为中心，若均值大于该阈值就将原来的块扩展一行，这样逐行扩展直到小于该阈值为止；再用同样的方法进行二次扩展，这时阈值为T2，筛选出一个最受关注的区域；将得到的最受关注区域置为零；重复上述过程，筛选出其它的最受关注区域；

（5）将受关注区域变化的帧，选为候选帧；

（6）再将选定的候选帧进行前后帧比较，选定特征帧，来表示受关注事件的发生。

2.根据权利要求1所述的智能监控中以特征帧触发的事件检测方法，其特征在于：所述步骤（1）中，运动受关注区域提取采用帧差法、LK光流算法、基于块运动估计的方法、多层次图分割前景提取方法、基于颜色纹理信息的快速前景提取方法或混合高斯背景建模方法。

3.根据权利要求1所述的智能监控中以特征帧触发的事件检测方法，其特征在于：所述步骤（2）中，静止受关注区域提取采用基于局部特征的提取方法、基于全局特征的提取方法、局部与全局结合的提取方法或者是基于颜色、纹理、亮度特征的提取方法。

4.根据权利要求1所述的智能监控中以特征帧触发的事件检测方法，其特征在于：所述步骤（3）中，静止受关注区域与动态受关注区域融合采用运动优先、运动静态并重或者静态优先的准则。

5.根据权利要求1所述的智能监控中以特征帧触发的事件检测方法，其特征在于：所述步骤（4）中，监控视频中受关注区域的筛选选择基于灰度能量和的方法、基于灰度能量局部最大值的方法或基于颜色对比度的方法。

6.根据权利要求1所述的智能监控中以特征帧触发的事件检测方法，其特征在于：所述步骤（5）中，选择候选帧时采用基于灰度能量的变化方法、基于灰度能量局部最大值的方法或基于颜色对比度的变化方法。

7.根据权利要求1所述的智能监控中以特征帧触发的事件检测方法，其特征在于：所述步骤（6）中，特征帧的选定对前后两帧进行比较，在前后两帧进行比较过程中，当受关注区域变化大于设定的门限时，将后一帧、前一帧或者两帧同时选定为特征帧。