CN106951870B - 主动视觉注意的监控视频显著事件智能检测预警方法 - Google Patents

Abstract

本发明涉及主动视觉注意的监控视频显著事件智能检测预警方法，建立自底向上视觉注意初级信息的快速提取方法，构建了动态目标的主动检测模型；然后运用粒子群算法，对显著目标进行主动跟踪，同时建立了监控视频中显著事件的主动预警模型，从而实现了基于视觉注意模型的监控视频显著事件智能检测预警系统。实验表明本发明方法运行效率高，对姿态和形状变化、部分遮挡、快速移动、光照变化具有良好鲁棒性。

Description

主动视觉注意的监控视频显著事件智能检测预警方法

技术领域

本发明涉及主动视觉注意的监控视频显著事件智能检测预警方法。

背景技术

目标检测及跟踪在智能机器人、视频监控、医疗诊断、智能人机交互、军事等领域的广泛普及与应用，使得针对动态目标检测及跟踪的研究成为机器视觉的热点和难点课题。对监控视野内的动态目标进行自动检测跟踪，是对视频资料进行分析研判、智能识别、自动预警等任务的基础，是各种视频应用系统的技术核心。

动态目标检测根据其应用范围可以分为静态目标检测与运动目标检测。静态目标检测多指静态图像、数码照片、扫描图像等中的目标检测，动态目标检测多指视频中的目标，例如运动跟踪、交通监控、行为分析等内容的检测。动态目标检测是指在视频图像序列中判断是否有前景目标的运动，如果有则对目标进行初始定位的检测过程，它更多地依赖于目标的运动特性即时间上的连贯性。动态目标检测多是基于底层视频信息的检测，是指从图像序列中将前景变化区域从背景图像中提取出来。动态目标检测经过几十年的发展，相继出现了一系列优秀的算法，但仍面临许多的问题和困难。现阶段动态目标检测的难点主要在背景动态变化的提取与更新、光线渐变、突变、反光问题、阴影干扰、目标遮挡、背景物体变化。针对其中的某些子问题，很多学者在特定场景下做了很多的研究和优化，但目前仍然没有一种非常有效的通用检测算法。目前常用的方法大体有以下几种：背景差分算法、帧间差分法、光流法、基于统计学习的方法、立体视觉法、以及基于前几种方法的混合方法，背景差分算法一般能提供最完全的特征数据，适用于背景已知的场景，其关键在于如何获取场景的静态背景模型，模型必须能及时适应光线、运动以及背景物体的移入移出等变化导致的背景动态变化，相对于其它方法而言，简单、易于实现，是最受欢迎的运动目标检测方法之一；帧间差分法主要利用时间信息，比较图像序列中连续、帧图像对应位置的像素点变化差值，如果大于某个阈值就认为是运动像素。该算法非常简单，而且对动态环境中的运动具有较强的自适应性，但它不能完全提取所有相关的特征像素点，得到的背景也并不是纯的背景图像，所以检测结果并不是十分精确，在运动实体内部容易产生空洞现象，不利于进一步的目标分析和识别；光流法支持摄像机运动的场景，可以得到完整的运动信息，能够很好地从背景中检测到相关前景目标，甚至动态目标的一部分，而实现摄像机运动过程中独立动态目标的检测。然而大多数光流法要遍历所有帧中的像素点，计算量庞大，算法复杂耗时，很难实现实时检测，同时算法对图像中的噪声敏感，抗噪性能差。基于统计、学习的方法利用独立或成组的像素特征来构建更新背景模型，采用学习概率来抑制误识。这类方法对于噪声、阴影、光线等变化比较鲁棒，抗干扰能力比较强，正越来越多地应用于运动目标检测。但由于运动的复杂性，使该方法难以采用一种统一的概率分配模型来描述，学习过程要遍历图像的所有位置，训练样本大，计算复杂，不适于实时处理。

动态目标跟踪算法大致可分为基于目标区域的跟踪、基于目标特征的跟踪、基于目标变形模板的跟踪和基于目标模型的跟踪。然而所有的目标跟踪算法的性能或多或少都依赖于目标跟踪特征的选择。尤其对于基于目标特征的跟踪，目标跟踪特征选择的优劣直接影响到目标跟踪性能的好坏。因而选择合适的目标特征是保证跟踪性能的前提条件。在目标跟踪过程中，运动目标和背景始终处于变化之中，即使在摄像头静止的场景中，对某一固定背景下的运动目标进行长时间的跟踪，由于光照、噪声等因素捕获的跟踪目标与背景也是动态的。而采用某一固定特征的跟踪往往无法适应目标与背景的变化导致跟踪的失败。基于计算机视觉的目标跟踪问题可以看作是目标前景和背景的分类问题。很多研究认为，对目标和背景具有最好可分离性的特征是好的目标跟踪特征。基于上述思想产生了一系列，通过自适应动态选择目标跟踪特征的方法来提高目标跟踪的性能的算法。其中，Collins等人提出了一种通过在线选取最佳的RGB颜色组合特征的目标跟踪算法，该算法采用穷举法在49种组合中选择IV个具有最大可分离性的特征作为跟踪特征。但是在每次跟踪中采用穷举法获取最佳跟踪特征必然影响到算法的实时性。He等通过构建一个聚类模型根据颜色特征将目标分割出来，并对每一个颜色特征构建一个高斯分割模型，通过对每一个特征的区分度选择一个最佳的分割模型，但是在实际应用中符合高斯分布的跟踪场景很少。Wang等人在Mean-shift跟踪框架下，在RGB、HSV、归一化的RGB颜色特征和形状纹理特征中选择目标与背景区分度最大的两个特征描述目标模型，但是由于计算量太大不能实现实时跟踪。尹宏鹏，柴毅等人提出了一种多特征自适应融合的运动目标跟踪算法，通过计算目标的颜色、边缘特征以及纹理特征的目标与背景间的可分离度对各特征进行线性加权组合。然而该算法中的各特征为同源特征互补性并不强，并在实际运算中需要增加各特征计算的工作量。以上研究都是从不同的角度对目标跟踪特征进行优化，对所提特征的每一维元素赋予适当的权值，提高目标跟踪性能。在实际应用中需要优化的权值较多，权值的数值变化规律难以用数学模型准确描述。如果采用人工试凑法或网格搜索法确定权值，计算量会很大，而且很难逼近最优解。粒子群优化算法是Kennedy和Eberhart受人工生命研究结果的启发、通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法。

视觉是人类认知世界的最重要途径之一，对动态目标的检测与跟踪应从探索视觉对动态目标的感知机理出发。近年随着神经生物学和心理学等学科的发展，研究人员尝试将人类视觉的注意机制融入到计算机视觉中，构建由生物学启发下的计算机视觉模型，成为机器视觉和图像处理领域新的研究热点。研究表明，选择性注意机制是人类从外界输入的大量信息中选择特定感兴趣区域的一个关键技术。人类视觉系统选择性注意机制主要包括两个子过程：①快速的、采用bottom-up控制策略的预注意机制，该机制基于输入景象的显著性计算的，属于低级的认知过程。②慢速的、采用top-down控制策略的注意机制，它通过调整选择准则，以适应外界命令的要求，从而达到将注意力集中于特定目标的目的，属于高级的认知过程。视觉选择性注意机制是仿照人的视觉生理结构建立起相应的计算模型，模拟自底向上的低级视觉方式找出图像中容易吸引人眼注意的区域，为进一步的动态目标处理提供良好基础。生理和心理研究表明，人类总是主动地特别关注于某些特定的、能够产生新异刺激的区域，这种具有选择性和主动性的心理活动被称为注意机制。视觉的选择性注意是灵长类动物的一个内在属性，也是人类视觉系统(Human vision system)的一个核心而重要的特征。近年来，有一些动态目标的检测算法都尝试融入视觉的选择性注意特性。他们都是基于这样的思想：采用了bottom-up控制策略，线性滤波后提取颜色、方向、亮度等低层信息，计算这些低层次图像特性的高斯金字塔，再进行局部视觉反差仿真计算以得到感兴趣区域，利用感兴趣区域辅助目标检测。近年来，对显著区域检测模型的研究已经取得了很多成果，其中最典型的是L·Itti提出的基于显著视觉注意力的自底向上显著区域检测模型，该模型已广泛应用于图像/视频压缩、机器人视觉等领域。感知视觉包含两个重要的阶段：基于自底向上视觉显著特征驱动的预注意阶段(pre-attentive stage)和自顶向下基于知识或任务驱动的主动注意(attentive stage)阶段。目前，动态目标检测及跟踪主要都是基于灰度、颜色、纹理等特征的，基于视觉注意模型的动态目标的检测及跟踪的方法比较少，基于视觉注意模型主动的动态目标检测及跟踪方法的研究具有一定的现实意义和较为广泛的应用前景。

发明内容

针对现有技术存在的上述问题，本发明的目的是针对现有动态目标检测及跟踪算法在目标检测的准确性、鲁棒性及光照遮挡方面的不足，提出主动视觉注意的监控视频显著事件智能检测预警方法。

为实现上述目的，本发明采用如下技术方案：主动视觉注意的监控视频显著事件智能检测预警方法，其特征在于，包括如下步骤：

S1：主动视觉注意的监控视频动态目标检测；

S1a：读入原视频，并捕获视频帧；

S1b：输入第一个帧图像作为当前帧图像；

S1c：通过盒滤波BoxFilter建立多阶的金字塔尺度空间σ∈[0,8]，将当前帧图像分解成多个多尺度的低级视觉特征，即I(σ),C(σ,{BY,RG}),O(σ,θ)和运动特征；

I(σ)表示灰度特征、C(σ,{BY,RG})表示颜色特征、O(σ,θ)表示方向特征；

其中，方向特征通过Gabor方向滤波得到4个方向特征θ∈{0°,45°,90°,135°}；

S1d：对当前帧图像提取灰度特征I(σ)得到灰度特征图；

对当前帧图像提取颜色特征C(σ,{BY,RG})得到颜色特征图，对颜色特征图计算红绿对抗色

和蓝黄对抗色

分别得到红绿对抗色特征图和蓝黄对抗色特征图；

对当前帧图像提取方向特征O(σ,θ)得到方向特征图；

对当前帧图像分别在上、下、左、右四个方向上检测以1像素/帧的速度在该方向的运动情况，得到上、下、左、右四个方向的运动特征图；

S1e：对步骤S1d得到的运动特征图在空间上求取x,y两个方向的梯度，从而去掉具有一致运动的像素点及由摄像机在拍摄视频过程中运动所带来的图像的整体运动，得到运动目标的运动轮廓特征图DM(d),d＝DMx，DMy；

S1f：构建盒差异滤波DOBox尺度空间分别计算各个特征图中心尺度与周围尺度的差异得到各个低级视觉特征的差异图；

计算灰度特征图中心尺度与周围尺度的差异得灰度特征差异图I(c,s)；

计算红绿对抗色特征图中心尺度与周围尺度的差异得红绿对抗色差异图

计算蓝黄对抗色特征图中心尺度与周围尺度的差异得蓝黄对抗色差异图

计算方向特征图中心尺度与周围尺度的差异得方向特征差异图O(c,s,θ)；

计算运动轮廓特征图DM(d),d＝DMx，DMy中心尺度与周围尺度的差异得方向运动差异图DM(c,s,d)；

S1g：通过基于多尺度积的特征融合与规则化，对步骤S1f得到I(c,s),

O(c,s,θ),DM(c,s,d)进行处理，分别得到灰度特征显著图

颜色对特征显著图

方向特征显著图

和运动轮廓特征显著图

S1h：将步骤S1g得到的灰度特征显著图I、颜色对特征显著图

方向特征显著图

和运动轮廓特征显著图

进行相乘融合，得到一副显著图；

S1i：保存步骤S1h得到的显著图，如果当前帧图像为视频的后一帧图像，则执行下一步；否则，继续读取原视频的下一帧图像，将所述原视频的下一帧图像作为当前帧图像，并返回步骤S1c；

S2：主动显著目标跟踪和显著事件预警；

主动显著目标跟踪:

1)读入步骤S1i得到的由多帧显著图构成的新视频的第一帧显著图，并将所述第一帧显著图作为当前显著图；

设定灰度阈值和面积阈值；

设当前显著图在原视频中对应的帧图像定义为当前对应帧图像；

2)应用图切法将当前显著图进行分割得到多个区域，在所述多个区域中去掉灰度值小于灰度阈值的区域和面积小于面积阈值的区域，在留下的区域中随机选定其中一个区域作为跟踪目标，将跟踪目标在当前对应帧图像中对应的区域作为当前对应目标区域，将当前对应目标区域的灰度值作为跟踪目标的特征；

3)根据步骤1)选定的跟踪目标在当前显著图中的位置预测该跟踪目标在当前对应帧图像的下一帧图像中的位置，预测的所述跟踪目标在当前对应帧图像的下一帧图像中的位置作为目标模板，将该目标模板的中心点设为P1；

4)在所述目标模板的中心点P1的周围选取多个点，每个点作为一个粒子，所有粒子构成粒子群；以每个粒子为中心，分别建立搜索区域，以所述粒子为中心建立的搜索区域为候选区域；

5)以目标模板和候选区域的灰度特征相似性作为粒子群算法的适应度函数，求解该适应度函数得到一个最优解，该最优解即为与目标模板最相似的动态目标中心Pbest；

6)采用所述动态目标中心Pbest更新目标模板的中心点P1，得到校正模板；

7)保存步骤6)得到的校正模板，如果当前显著图为多帧显著图构成的新视频的最后一帧显著图，则执行下一步；否则，继续读取多帧显著图构成的新视频的下一帧显著图，将所述多帧显著图构成的新视频的下一帧显著图作为当前显著图，并返回步骤2)；

显著事件预警：

i)采用公式(1)计算由多帧显著图构成的新视频中每帧显著图在每个位置的显著值的平均值，将所述平均值作为该帧显著图的显著值；

其中，M和N分别表示第t帧显著图的长和宽、S(i,j,t)为第t帧显著图在(i,j)位置的显著值、MeanSM_t表示第t帧显著图的显著值；

ii)设置长度为T帧的滑动窗口，计算每个滑动窗口视频段的时间-空间显著性，以此检测显著事件所属的视频段，利用公式(2)计算第k个滑动窗口的显著值标准差SM_σ_k；

其中，T表示第k个滑动窗口中所包含的显著图的帧数，MeanSM_kr表示第k个滑动窗口内第r帧显著图的显著值，

表示第k个滑动窗口内所有帧显著图显著值的平均值；

iii)利用公式(3)计算第k个滑动窗口的频率值SM_ω_k：

其中，ω(·)表示对第k个滑动窗口内T帧的显著图的显著值做傅里叶变换，并取得傅里叶频谱除去DC系数后的最大系数；

iv)利用第k个滑动窗口的显著值标准差SM_σ_k和频率值SM_ω_k的加权融合作为表征显著事件的显著度值Frame_SM；

其中，α为平衡加权系数，为经验值，V表示多帧显著图构成的新视频中滑动框口的数目；

显著事件预警：设置报警响应阈值，当步骤iv)计算的表征显著事件的显著度值Frame_SM达到报警响应阈值时，则进行异常预警。

作为优化，所述步骤ii)中T的取值为5。

相对于现有技术，本发明具有如下优点：

相对于现有技术，本发明具有如下优点：本方法从研究符合人眼视觉特性的主动目标检测出发，实现了对动态目标的主动和准确定位，并结合粒子群算法实现了对目标的跟踪。该方法模拟实现了人眼视觉显著性的注意机制，能够主动发现场景中的空间和时间上的显著动态目标，并结合视觉显著目标运动特征实现对目标的实时跟踪。相较传统方法，能够更准确的捕捉到场景中的ROI并对其进行跟踪，也因此对目标姿态和形状变化、部分遮挡及快速移动等目标跟踪问题有更好的鲁棒性，同时能在一定程度克服光照变化的影响。

附图说明

图1为主动视觉注意的监控视频动态目标检测的流程图

图2为主动显著目标跟踪的流程图。

图3为主动视觉注意的监控视频动态目标检测和预警的流程图。

图4为对FSNV算法在复杂背景视频的动态跟踪测试结果。

图5为对FSNV算法在一般高速运动下的动态跟踪测试结果。

图6为对FSNV算法在高亮度下的动态跟踪测试结果。

图7为对FSNV算法在多个运动目标下的动态跟踪测试结果。

图8为视频：lancaster_320x240_12p.yuv，第2894帧到2994帧的显著值在时间域上的分布情况；被标注的区域依次是：场景s切换、字幕进入、手的运动和场景切换。

图9为视频：lancaster_320x240_12p.yuv，第2894帧到2994帧的显著注意均值的时域分布；黑框为利用项目提出的时空域显著事件检测算法检测出的显著事件。

具体实施方式

下面对本发明作进一步详细说明。

主动视觉注意的监控视频显著事件智能检测预警方法，主动动态目标检测方法中，视觉显著性计算模型以Itti提出自底向上视觉显著注意检测模型为原型，在底层特征提取中，利用亮度特征和运动特征代替原来的灰度(I)，颜色(C)，方向(O)视觉特征，在特征多尺度空间的构造时，利用三次B样条的卷积高效性、紧支撑性和良好的局部控制特性，实现特征在不同尺度下的稳定多分辨率表示，构建B样条特征尺度空间，利用的DOB尺度空间实现视频显著注意区域的快速提取，通过对大量视频的实验训练，得到各特征融合的权重参数，将各个特征显著图按权重合并为一幅灰度显著图。

在主动动态目标检测完成后，选定跟踪目标，提取选定目标的灰度特征；利用卡尔曼滤波预测跟踪的显著目标在下一帧图像中的位置，其中心点设为P1,以该点为中心确定搜索区域，也就是要在该区域找到和目标模板最相似的候选区域中心点。为了使用粒子群算法和卡尔曼滤波更好的结合，在该区域中心点P1的周围选取一些点(粒子)，再以每个粒子为中心，分别建立搜索区域，这样就形成了多(粒子群规模)个候选区域，而以上知道粒子群的适应度函数为目标模板和候选区域的灰度特征相似性，这样就可以应用粒子群算法求一个最优解，即与目标模板最相似的动态目标中心Pbest，然后利用最优解Pbest作为卡尔曼滤波的观测值来校正预测值。

主动视觉注意的监控视频显著事件智能检测预警方法，包括如下步骤：

S1：主动视觉注意的监控视频动态目标检测；

S1a：读入原视频，并捕获视频帧；为现有技术，本发明不做详细解释说明

基于盒差异滤波器(DoBox)的高效尺度空间，及基于多尺度积的特征融合和快速多特征融合算法，本文提出了视频的快速高效的视觉显著性检测算法(FSNV，FastSaliency For Network Video)。实验结果表明，该算法能够实现对视频帧显著区域的实时检测，并具有对运动目标进行在线跟踪的效果。

S1b：输入第一个帧图像作为当前帧图像；

S1c：通过盒滤波BoxFilter建立多阶的金字塔尺度空间σ∈[0,8]，将当前帧图像分解成多个多尺度的低级视觉特征，即I(σ),C(σ,{BY,RG}),O(σ,θ)和运动特征；

I(σ)表示灰度特征、C(σ,{BY,RG})表示颜色特征、O(σ,θ)表示方向特征；(I(σ)表示灰度Intensity特征、C(σ,{BY,RG})表示颜色Color特征、O(σ,θ)表示方向Orientation特征)

其中，方向特征通过Gabor方向滤波得到4个方向特征θ∈{0°,45°,90°,135°}；

S1d：对当前帧图像提取灰度特征I(σ)得到灰度特征图；

对当前帧图像提取颜色特征C(σ,{BY,RG})得到颜色特征图，对颜色特征图计算红绿对抗色

和蓝黄对抗色

分别得到红绿对抗色特征图和蓝黄对抗色特征图；计算红绿(Red-Green)对抗色

和蓝黄(Blue-Yellow)对抗色

的方法属于现有技术，本发明不做详细解释说明。

对当前帧图像提取方向特征O(σ,θ)得到方向特征图；

对当前帧图像(基于相关感知运动特征)分别在上、下、左、右四个方向上检测以1像素/帧(即Δx＝Δy＝1)的速度在该方向的运动情况，得到上、下、左、右四个方向的运动特征图；

S1e：对步骤S1d得到的运动特征图在空间上求取x,y两个方向的梯度(运动特征图在空间上求取x,y两个方向的梯度属于现有技术，本发明不做详细解释说明)，从而去掉具有一致运动的像素点及由摄像机在拍摄视频过程中运动所带来的图像的整体运动，得到运动目标的运动轮廓特征图DM(d),d＝DMx，DMy；

S1f：构建盒差异滤波DOBox尺度空间分别计算各个特征图中心尺度与周围尺度的差异得到各个低级视觉特征的差异图；

计算灰度特征图中心尺度与周围尺度的差异得灰度特征差异图I(c,s)；

计算红绿对抗色特征图中心尺度与周围尺度的差异得红绿对抗色差异图

计算蓝黄对抗色特征图中心尺度与周围尺度的差异得蓝黄对抗色差异图

计算方向特征图中心尺度与周围尺度的差异得方向特征差异图O(c,s,θ)；

计算运动轮廓特征图DM(d),d＝DMx，DMy中心尺度与周围尺度的差异得方向运动差异图DM(c,s,d)；

每个特征空间通道，利用中央刺激周围抑制策略(Center-Surround尺度差分)模拟计算视觉感受野的中心-周围拮抗效应，即构建盒差异滤波DOBox尺度空间，通过计算各个特征图以及运动轮廓特征图DM(d),d＝DMx，DMy中心尺度(默认设置为金字塔的c∈{3,4,5})与周围尺度(默认设置为s＝c+δ,δ∈{3,4})的差异得到各个低级视觉特征的差异图，分别记为I(c,s),

O(c,s,θ),DM(c,s,d)；

S1g：通过基于多尺度积的特征融合与规则化，对步骤S1f得到I(c,s),

O(c,s,θ),DM(c,s,d)进行处理，分别得到灰度特征显著图

颜色对特征显著图

方向特征显著图

和运动轮廓特征显著图

通过基于多尺度积的特征融合与规则化对步骤S1f得到的差异图进行处理的方法属于现有技术，本发明中不做详细解释说明

以运动特征图为例：

各尺度各方向的运动差异图合并后产生运动特征显著图

(即为上文中DM)：

其中，M(c,s,d)表示在方向d(d∈{←,→})上，中心尺度c与周围尺度s之间的运动差异，

是一个非线性规则化算子，在不断地迭代中实现局部和周围显著区域的竞争演化，从而，不同的迭代次数将产生不同大小的显著区域。

表示跨尺度相加运算。)

S1h：将步骤S1g得到的灰度特征显著图

颜色对特征显著图

方向特征显著图

和运动轮廓特征显著图

进行相乘融合，相乘融合的方法属于现有技术，本发明中不做详细解释说明，得到一副显著图“Saliency Map”，(文中显著图的大小采用金字塔的第5级，即为原图大小的

)

S1i：保存步骤S1h得到的显著图，如果当前帧图像为视频的后一帧图像，则执行下一步；否则，继续读取原视频的下一帧图像，将所述原视频的下一帧图像作为当前帧图像，并返回步骤S1c；

(由于算法采用了轻量级显著性提取框架，整个算法的时间复杂度很低，可以实现实时视频的跟踪和检测)

S2：主动显著目标跟踪和显著事件预警；

主动显著目标跟踪:

1)读入步骤S1i得到的由多帧显著图构成的新视频的第一帧显著图，并将所述第一帧显著图作为当前显著图；

设定灰度阈值和面积阈值；

设当前显著图在原视频中对应的帧图像定义为当前对应帧图像；

2)应用图切法将当前显著图进行分割得到多个区域，在所述多个区域中去掉灰度值小于灰度阈值的区域和面积小于面积阈值的区域，在留下的区域中随机选定其中一个区域作为跟踪目标，(随机选一个进行计算就行了，整个目标的跟踪就是以这个区域的跟踪结果为依据。比如一个人的区域可能是由头、躯干、腿、手等区域几部分构成，计算时以躯干区域作为跟踪目标就行了。)

将跟踪目标在当前对应帧图像中对应的区域作为当前对应目标区域，将当前对应目标区域

的灰度值作为跟踪目标的特征；

3)基于卡尔曼滤波对目标进行跟踪；根据步骤1)选定的跟踪目标在当前显著图中的位置预测该跟踪目标在当前对应帧图像的下一帧图像中的位置，预测的所述跟踪目标在当前对应帧图像的下一帧图像中的位置作为目标模板，将该目标模板的中心点设为P1；

4)(为了使用粒子群算法和卡尔曼滤波更好的结合，)在所述目标模板的中心点P1的周围选取多个点，每个点作为一个粒子，所有粒子构成粒子群；以每个粒子为中心，分别建立搜索区域，以所述粒子为中心建立的搜索区域为候选区域，这样就形成了多个候选区域；

5)以目标模板和候选区域的灰度特征相似性作为粒子群算法的适应度函数，如何统计目标模板和候选区域的灰度特征相似性属于现有技术，本发明不做详细解释说明，求解该适应度函数得到一个最优解，该最优解即为与目标模板最相似的动态目标中心Pbest；

6)(将所述动态目标中心Pbest作为卡尔曼滤波的观测值来校正目标模板的中心点)，采用所述动态目标中心Pbest更新目标模板的中心点P1，得到校正模板；

7)保存步骤6)得到的校正模板，如果当前显著图为多帧显著图构成的新视频的最后一帧显著图，则执行下一步；否则，继续读取多帧显著图构成的新视频的下一帧显著图，将所述多帧显著图构成的新视频的下一帧显著图作为当前显著图，并返回步骤2)；

显著事件预警：(步骤S1中检测的是每一帧中的显著目标，是确定显著目标的空间位置，而显著事件是在时间和空间上都具有显著性的时间点，也即事件，例如在一段视频中突然发生的爆炸时间，爆炸发生瞬间的视频段可视为显著事件。)

i)采用公式(1)计算由多帧显著图构成的新视频中每帧显著图在每个位置的显著值的平均值，将所述平均值作为该帧显著图的显著值；

其中，M和N分别表示第t帧显著图的长和宽、S(i,j,t)为第t帧显著图在(i,j)位置的显著值、MeanSM_t表示第t帧显著图的显著值；

ii)设置长度为T帧的滑动窗口，计算每个滑动窗口视频段的时间-空间显著性，以此检测显著事件所属的视频段，利用公式(2)计算第k个滑动窗口的显著值标准差SM_σ_k；

其中，T表示第k个滑动窗口中所包含的显著图的帧数，MeanSM_kr表示第k个滑动窗口内第r帧显著图的显著值，

表示第k个滑动窗口内所有帧显著图显著值的平均值；

作为优化，所述T的取值为5。项目组通过多次实验测试得到以5帧为滑动窗口实验效果最佳。

iii)为了更好的了解滑动窗口内显著值的频率变化情况，利用傅里叶函数，对滑动窗口内帧图像的显著值进行傅里叶变换，选取傅里叶变换后频域系数作为窗口内显著值频率(ω)变化的依据，实验表明选取最大的频域系数，对显著值变化的描述最好。利用公式(3)计算第k个滑动窗口的频率值SM_ω_k：

其中，ω(·)表示对第k个滑动窗口内T帧的显著图的显著值做傅里叶变换，并取得傅里叶频谱除去DC系数后的最大系数；

iv)利用第k个滑动窗口的显著值标准差SM_σ_k和频率值SM_ω_k的加权融合作为表征显著事件的显著度值Frame_SM；第k个滑动窗口的显著值标准差SM_σ_k表示第k个滑动窗口幅值变化，SM_ω_k表示第k个滑动窗口频率变化；

其中，α为平衡加权系数，为经验值，V表示多帧显著图构成的新视频中滑动框口的数目；

v)显著事件预警：设置报警响应阈值，当步骤iv)计算的表征显著事件的显著度值Frame_SM达到报警响应阈值时，则进行异常预警。

主动视觉注意的监控视频动态目标检测方法即FSNV的效果测试：

表1-表4为对FSNV算法分别在复杂背景下、一般高速运动下、高亮度环境下、多个运动目标下的动态目标跟踪进行了测试和评估。测试视频为普通用户摄像头录制的avi视频：background.avi，speed.avi，lightInten.avi，moves.avi。

表1.对FSNV算法在复杂背景视频的动态跟踪测试结果评估

用例编号	D01
		视频文件	background.avi
测试目的	测试复杂背景下动态跟踪的效果
		视频信息	无
测试状态	成功

参见图4可知：FSNV算法在复杂背景下的运动检测成功，影片的背景复杂，但是显著图并没有跟踪复杂背景，所以跟踪过程确定是基于运动的跟踪，跟踪效果理想。

表2.对FSNV算法在一般高速运动下的动态跟踪测试结果评估

参见图5可知：FSNV算法在一般高速运动下的运动检测成功，影片内的运动时自由落体运动，高度的限制形成了一般高速运动场景。证明在一般高速的运动下，FSNV算法的跟踪依然成功，跟踪效果理想。

表3.对FSNV算法在高亮度下的动态跟踪测试结果评估

用例编号	D03
		视频文件	lightInten.avi
测试目的	测试高亮度下的动态跟踪效果
		视频信息	无
测试状态	成功

参见图6可知：FSNV算法的显著性检测依据两个方向，一个是亮度，一个帧之间的运动。在高亮度的动态跟踪效果下，原本作为显著性提取方面之一的亮度提取对运动显著性提取产生了抑制。相当于非显著位置的运动，对比显著位置的运动，会较难被发现，这正是人眼观察世界的特点。这一点更加证明了FSNV算法很好的模拟了人眼的注意机制。跟踪效果理想。

表4.对FSNV算法在多个运动目标下的动态跟踪测试结果评估

用例编号	D04
		视频文件	moves.avi
测试目的	测试多个运动目标下的动态跟踪效果
		视频信息	无
测试状态	成功

参见图7可知：FSNV算法在有多个运动情况下的运动检测成功，跟踪效果理想。

根据文献LItti,C.Koch,and E.Niebur.A model of saliency-base visualattention for rapid scene analysis[J].IEEE Trans.Pattern Analysis and MachineIntelligence,1998,20(11):1254-1259.的记载，视觉显著性计算模型Itti算法需要约1分钟的时间处理一个30*40像素的视频帧，而FSNV算法只需要11毫秒处理相同大小的视频帧。由此可见，项目提出的FSNV算法计算时间上提高了上千倍，FXNV算法可以达到实时的视频显著区域检测效果，符合网络视频实时高效的要求。

监控视频显著事件检测实验：

在视频lancaster_320x240_12p.yuv上进行实验测试，第2894帧到2994帧的显著值在时间域上的分布情况如图5，被标注的区域依次是：场景s切换、字幕进入、手的运动和场景切换。实验表明，只通过窗口标准差或频率表征显著事件不能够充分反映在时间域上人类视觉系统注意焦点的变换，如图8所示。在第2904帧左右，空间域显著值在时间域上幅值变化比较大，但是其频率变化很小，反映到真实的视频中是一艘货轮在江面上缓慢的运动，行驶经过一个雕像，人眼在看这段视频时不会注意到货船的运动，而是注意到了它的背景。图8中在第2924帧左右，空间域显著值的幅值和频率在时间域上变化剧烈，反映真实的视频中是场景的切换，而观测者的视觉也会随场景切换而变动。

图9为视频lancaster_320x240_12p.yuv利用以上时-空域视觉显著性事件检测算法得到的检测结果，如图中黑框为根据显著值在时域上的变化幅度和频率计算，并与实验所得阈值比较后的时域显著事件检测结果。其中滑动窗口值为20。可以看出，检测结果与图8中手动标注的显著事件基本一致。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.主动视觉注意的监控视频显著事件智能检测预警方法，其特征在于，包括如下步骤：

S1：主动视觉注意的监控视频动态目标检测；

S1a：读入原视频，并捕获视频帧；

S1b：输入第一个帧图像作为当前帧图像；

S1c：通过盒滤波BoxFilter建立多阶的金字塔尺度空间σ∈[0,8]，将当前帧图像分解成多个多尺度的低级视觉特征，即I(σ),C(σ,{BY,RG}),O(σ,θ)和运动特征；

I(σ)表示灰度特征、C(σ,{BY,RG})表示颜色特征、O(σ,θ)表示方向特征；

其中，方向特征通过Gabor方向滤波得到4个方向特θ∈{0°,45°,90°,135°}；

S1d：对当前帧图像提取灰度特征I(σ)得到灰度特征图；

对当前帧图像提取颜色特征C(σ,{BY,RG})得到颜色特征图，对颜色特征图计算红绿对抗色Rg和蓝黄对抗色By,分别得到红绿对抗色特征图和蓝黄对抗色特征图；

对当前帧图像提取方向特征O(σ,θ)得到方向特征图；

对当前帧图像分别在上、下、左、右四个方向上检测以1像素/帧的速度在该方向的运动情况，得到上、下、左、右四个方向的运动特征图；

S1e：对步骤S1d得到的运动特征图在空间上求取x,y两个方向的梯度，从而去掉具有一致运动的像素点及由摄像机在拍摄视频过程中运动所带来的图像的整体运动，得到运动目标的运动轮廓特征图DM(d),d＝DMx，DMy；

S1f：构建盒差异滤波DOBox尺度空间分别计算各个特征图中心尺度与周围尺度的差异得到各个低级视觉特征的差异图；

计算灰度特征图中心尺度与周围尺度的差异得灰度特征差异图I(c,s)；

计算红绿对抗色特征图中心尺度与周围尺度的差异得红绿对抗色差异图Rg(c,s)；

计算蓝黄对抗色特征图中心尺度与周围尺度的差异得蓝黄对抗色差异图By(c,s)；

计算方向特征图中心尺度与周围尺度的差异得方向特征差异图O(c,s,θ)；

计算运动轮廓特征图DM(d),d＝DMx，DMy中心尺度与周围尺度的差异得方向运动差异图DM(c,s,d)；

S1g:通过基于多尺度积的特征融合与规划化，对步骤S1f得到I(c,s)，Rg(c,s)，By(c,s)，O(c,s,θ)，DM(c,s,d)进行处理，分别得到灰度特征显著图

颜色对特征显著图

方向特征显著图

和运动轮廓特征显著图

S1h：将步骤S1g得到的灰度特征显著图

颜色对特征显著图

方向特征显著图

和运动轮廓特征显著图

进行相乘融合，得到一副显著图；

S1i：保存步骤S1h得到的显著图，如果当前帧图像为视频的后一帧图像，则执行下一步；否则，继续读取原视频的下一帧图像，将所述原视频的下一帧图像作为当前帧图像，并返回步骤S1c；

S2：主动显著目标跟踪和显著事件预警；

主动显著目标跟踪:

1)读入步骤S1i得到的由多帧显著图构成的新视频的第一帧显著图，并将所述第一帧显著图作为当前显著图；

设定灰度阈值和面积阈值；

设当前显著图在原视频中对应的帧图像定义为当前对应帧图像；

2)应用图切法将当前显著图进行分割得到多个区域，在所述多个区域中去掉灰度值小于灰度阈值的区域和面积小于面积阈值的区域，在留下的区域中随机选定其中一个区域作为跟踪目标，将跟踪目标在当前对应帧图像中对应的区域作为当前对应目标区域，将当前对应目标区域的灰度值作为跟踪目标的特征；

3)根据步骤1)选定的跟踪目标在当前显著图中的位置预测该跟踪目标在当前对应帧图像的下一帧图像中的位置，预测的所述跟踪目标在当前对应帧图像的下一帧图像中的位置作为目标模板，将该目标模板的中心点设为P1；

4)在所述目标模板的中心点P1的周围选取多个点，每个点作为一个粒子，所有粒子构成粒子群；以每个粒子为中心，分别建立搜索区域，以所述粒子为中心建立的搜索区域为候选区域；

5)以目标模板和候选区域的灰度特征相似性作为粒子群算法的适应度函数，求解该适应度函数得到一个最优解，该最优解即为与目标模板最相似的动态目标中心Pbest；

6)采用所述动态目标中心Pbest更新目标模板的中心点P1，得到校正模板；

7)保存步骤6)得到的校正模板，如果当前显著图为多帧显著图构成的新视频的最后一帧显著图，则执行下一步；否则，继续读取多帧显著图构成的新视频的下一帧显著图，将所述多帧显著图构成的新视频的下一帧显著图作为当前显著图，并返回步骤2)；

显著事件预警：

i)采用公式(1)计算由多帧显著图构成的新视频中每帧显著图在每个位置的显著值的平均值，将所述平均值作为该帧显著图的显著值；

其中，M和N分别表示第t帧显著图的长和宽、S(i,j,t)为第t帧显著图在(i,j)位置的显著值、MeanSMt表示第t帧显著图的显著值；

ii)设置长度为T帧的滑动窗口，计算每个滑动窗口视频段的时间-空间显著性，以此检测显著事件所属的视频段，利用公式(2)计算第k个滑动窗口的显著值标准差SM_σk；

其中，T表示第k个滑动窗口中所包含的显著图的帧数，MeanSMkr表示第k个滑动窗口内第r帧显著图的显著值，

表示第k个滑动窗口内所有帧显著图显著值的平均值；

iii)利用公式(3)计算第k个滑动窗口的频率值SM_ωk：

其中，ω(·)表示对第k个滑动窗口内T帧的显著图的显著值做傅里叶变换，并取得傅里叶频谱除去DC系数后的最大系数；

iv)利用第k个滑动窗口的显著值标准差SM_σk和频率值SM_ωk的加权融合作为表征显著事件的显著度值Frame_SM；

其中，α为平衡加权系数，V表示多帧显著图构成的新视频中滑动框口的数目；

v)显著事件预警：设置报警响应阈值，当步骤iv)计算的表征显著事件的显著度值Frame_SM达到报警响应阈值时，则进行异常预警。

2.如权利要求1所述的主动视觉注意的监控视频显著事件智能检测预警方法，其特征在于，所述步骤ii)中T的取值为5。

Images