CN107564022A

CN107564022A - 基于贝叶斯融合的视频显著性检测方法

Info

Publication number: CN107564022A
Application number: CN201710570472.4A
Authority: CN
Inventors: 韩冰; 张景滔; 韩怡园; 仇文亮; 魏国威
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2018-01-09
Anticipated expiration: 2037-07-13
Also published as: CN107564022B

Abstract

本发明公开了一种贝叶斯融合的视频显著性检测方法，主要解决现有视频显著性检测方法不能检测小目标的问题。其实现方案是：1提取视频序列静态边界概率显著图、颜色均值显著图和颜色对比显著图，加权融合生成静态显著图；2.提取视频序列动态边界概率显著图、PCA先验显著图和背景先验显著图，加权融合生成动态显著图；3.将静态显著图和动态显著图利用贝叶斯模型进行融合，进而得到视频序列的显著图。本发明相较于传统的视频显著性算法，增强了特征空间和时间的表征能力，降低了复杂背景对检测效果的影响，有效地检测出视频中的小目标，可用于视频目标跟踪、视频分割的前期预处理。

Description

基于贝叶斯融合的视频显著性检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种视频显著性检测方法，可用于目标跟踪、物体识别和视频分割。

背景技术

计算机在处理复杂场景问题时，背景的复杂性使得现有的一些方法不能对场景进行更好的处理。研究发现，人类视觉系统能够轻松地理解各种复杂场景，因此在处理复杂场景的相关问题时可以借鉴人类系统的工作原理。学者对人类视觉注意选择机制进行深入地研究和推理后得到视觉显著性理论，该理论认为人类视觉系统只详细处理图像的某些局部，而对图像的其余部分几乎视而不见。基于此理论，计算机视觉领域的相关学者提出了对图像或者视频中人类感兴趣区域的检测，目前该领域已成为研究的热门。其中显著性算法在检测效果和运算速度上都有突出的表现，因而受到研究者们的广泛关注。视频显著区域提取是视频监控、人类行为认知和视频检索等视频分析过程中的重要的步骤。由于视频数据的复杂性和多样性，视频帧之间的强相关性和动态时变性等特点，使得视频显著性区域的检测难度增大。

目前已有的视频显著区域提取方法主要有以下几种模型：

Cheng提出的视觉注意模型，该模型不仅考虑了亮度和颜色特征，而且还添加了运动信息，为视频序列显著区域提取算法研究打下了基础；

Guo等人提出的PQFT空时显著性模型，简单且快速，其应用傅里叶变换将图像的亮度、颜色、运动特征融合，但易受到背景纹理的干扰。为了解决这个问题，Cui等人提出了一种基于SR的空时显著区域快速提取算法，以X-T和Y-T两个方向的时间切片来表示动态信息，从而将前景目标从复杂背景中提取出来；

Seo和Milanfar提出使用自相似性在空时区域进行显著性检测，它是一个无参的自底向上的模型。该模型将时间域与空间域融合，提高了检测准确率；

Rahtu等人提出的基于条件随机场CRF模型的显著物体分割算法，采用了运动优先的方法来融合动态和静态特征，符合人们视觉注意的感知偏向；

Rudoy等人提出一种视线转移动力学模型，利用分类器学习从一个区域跳转到另一个区域的概率，把概率值作为视频的显著值，提高了检测速率。

上述几种视频显著区域提取方法由于都是在图像域的显著模型上添加运动特征，其时域结构过于简单，序列之间关系微弱，虽然可以提取得到视频显著区域，但准确率和效率都比较低。因此如何提取更加有效的视频动态特征，并将静态特征与动态特征有效融合是目前视频显著性提取方法的重要研究内容。

发明内容

本发明的目的在于针对上述方法的不足，提出一种基于贝叶斯融合的视频显著性检测方法，以提取更加有效的视频动态特征，提高检测准确率。

实现本发明目的的技术方案是：给定一个视频序列，先进行SLIC超像素分割得到超像素分割图，在空间域上提取颜色梯度图、区域颜色对比图以及边界概率图，然后进行加权融合得到静态显著图作为空间域显著性检测结果；在时间域上提取视频图像的光流场动态特征，利用该特征得到PCA显著图和动态边界概率图，然后加入背景先验图进行融合得到动态显著图作为时间域显著性检测结果，最后利用贝叶斯模型对空时显著图进行融合，得到视频序列的最终显著性检测结果。其实现步骤包括如下：

(1)输入待检测的视频帧，提取每一帧图像的静态显著图；

(1a)对输入的图像进行超像素分割，得到视频序列对应的超像素块集合，然后利用多尺度形态学估计法，得到每一帧图像的静态边界概率图，将静态边界概率图映射到超像素块中得到静态边界概率显著图；

(1b)利用过分割的方法将视频序列分割为若干区域，根据区域之间颜色差异性和区域内像素数量来计算每个区域的显著值，最后将相区域显著值映射在视频图像上得到局部颜色对比显著图；

(1c)计算视频序列中每一个超像素块的颜色均值，对其进行归一化后得到视频序列的颜色均值显著图；

(1d)通过线性加权的方法对(1a)-(1c)中得到的显著图进行融合，求和得到该视频中每一帧图像的静态显著图；

(2)输入待检测的视频帧，提取每一帧图像的动态显著图；

(2a)对输入的视频序列进行动态特征提取，得到每一帧图像的光流图；

(2b)输入每一帧图像的光流图并对其进行超像素分割，利用多尺度形态学的方法得到动态边界概率图，然后计算每一个超像素块基于光流图的边界概率值，映射得到视频序列动态边界概率显著图；

(2c)输入每一帧图像的光流图，利用光流图中超像素块间的主成分差异得到视频序列每一帧图像的PCA先验显著图；

(2d)计算光流图中超像素块之间的颜色差异图和空间距离图，映射到超像素块对应的位置，得到视频序列背景先验显著图；

(2e)对(2a)-(2d)得到的显著图进行加权融合，得到视频序列每一帧图像的动态显著图；

(3)对(1d)和(2e)得到的视频序列静态显著图和动态显著图进行基于贝叶斯模型的融合，得到视频序列最终的显著图。

本发明与现有技术相比具有如下优点：

1)本发明相对于传统的视频显著性检测算法，对视频序列的静态特征和动态特征进行提取与融合，增强了特征在空间和时间上的表征能力，能够得到既完整又相对准确的目标显著区域；

2)本发明用贝叶斯模型对静态显著图和动态显著图进行融合，将静态显著图作为先验概率，将动态显著图作为观测概率，将每一个像素点对应的显著值都进行比较与融合，降低了背景对检测效果的影响，在视频数据集上获得了较好的实验效果。

本发明的技术过程和效果可结合以下附图详细说明。

附图说明

图1是本发明的实现示意图；

图2是用本发明与现有不同视频显著性方法在segtrack1数据库下的检测结果对比图；

图3是对本发明和现有不同算法检测结果进行评价的P-R曲线和F-measure图；

图4是对本发明和现有不同算法检测结果进行评价的ROC曲线和AUC图。

具体实施方式

以下结合附图对本发明的是实施例和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤一，获取视频序列的静态显著图。

1.1)获得静态边界概率显著图

对原始视频序列F＝{F¹,F²,…F^k,…F^l}中每帧图像F^k,k＝1,2,…l，k为视频序列中图像的帧数，采用多尺度形态学估计的方法得到静态边界图，获得图像中目标的边界；

将F^k中像素对应的边界概率值表示为i表示图像F^k中像素点数量，用SLIC超像素分割算法处理F^k，得到其对应的超像素块集合是超像素块集合N^k中的第j个超像素块，j＝1,2…n，n为集合N^k中超像素块的个数；

计算超像素块的边界概率值

将映射到视频序列Fk中，得到该帧图像的静态边界概率显著图

1.2)获取局部颜色对比显著图

利用过分割的方法将视频序列F^k分割为若干区域R＝{r₁,r₂,…r_r,…r_p}，r_r为图像F^k中的第r个区域，r_i为图像F^k中的第i个区域，r＝1,2,…p，i＝1,2,…p,i≠r，p 为视频序列F^k中区域的数量，区域r_r的显著值S(r_r)由该区域和其他区域的颜色空间距离和该区域像素数量加权的颜色差异性来确定，即：

其中ω(r_r)为区域r_r的权重大小，这里ω(r_r)用区域r_r中像素的数量来表示，D_r(r_r,r_i)为区域r_r和区域r_i的颜色空间距离，f(c_r,s)为r_r区域内的颜色概率分布统计值，f(c_i,l)为 r_i区域内的颜色概率分布统计值，D(c_r,s,c_i,l)为区域r_r和区域r_i内颜色概率分布统计值之间的差异；

将区域显著值S(r_r)映射在视频序列F^k中，得到第k帧图像的局部颜色对比显著图

1.3)计算SLIC超像素分割后图像中每个超像素块的颜色均值然后对该颜色均值进行归一化操作，得到颜色均值显著图

1.4)通过线性加权的方法对上述求得的各个显著图赋予相应的权重系数进行加权求和，得到视频序列的静态显著图S_sta：

其中ω₁，ω₂，ω₃分别表示颜色均值显著图、静态边界概率显著图和局部颜色对比显著图的权重值。

步骤二，获取视频序列的动态显著图。

2.1)计算视频序列光流图M＝{M¹,M²,…M^k,…M^l}对应的边界概率图，得到图像F^k中每一个超像素块的边界概率值，将概率值映射到图像F^k中，得到图像F^k的动态边界概率显著图

2.2)提取PCA先验显著图：

2.2.1)根据主成分分析方法将超像素块中的光流特征降至1维并计算平均光流特征：

2.2.2)计算与平均超像素块之间的距离：

2.2.3)定义为LAB颜色空间上与其他超像素块距离之和：

2.2.4)利用超像素块的颜色区分度对(2b)中求得的距离加权，得到当前超像素块的显著值

2.2.5)将超像素块的显著值映射到序列中，得到视频序列的动态光流显著图 S(M^k)，并对该S(M^k)进行归一化操作，使其取值在[0,1]之间；

2.2.6)使用0和1之间的10个空间规则阈值对不同的图像块进行迭代，检测不同像素的簇，计算不同阈值迭代结果所得集合的质心，并以它为中心添加高斯特征，再将这些高斯特征与空间规则阈值相对应，得到一个权重相关的结果图G(M^k)；

2.2.7)将归一化之后的动态光流显著图S(M^k)与高斯权重图G(M^k)进行融合，得到最终的PCA先验显著图

2.3)提取背景先验显著图：

2.3.1)提取每帧光流图中超像素块的LAB颜色特征，根据该特征值将光流图边缘的超像素块聚为T类，基于T个不同的类别，构建T个不同的全局颜色差异图GCD，在第t个GCD图中，计算超像素块的显著值为：

其中q^t是属于第t类的超像素点的个数，t＝1,2…T，表示超像素点和在颜色空间上的欧氏距离，σ与β为权重值；

2.3.2)构建全局空间距离GSD矩阵W＝[w_t,i]_T×n，其中w_t,i代表超像素点和所有第t类图像边缘超像点之间的空间距离，r_i和r_j是超像素区域和的坐标属性，σ₂为控制权重的常量，

2.3.3)计算超像素块的背景先验显著值

2.3.4)将显著值映射到光流图M^k中，得到视频序列的背景先验显著图

2.4)得到动态特征各个部分的显著图之后，同样利用线性加权的方法来求最后的动态显著图：

其中ω₄，ω₅，ω₆分别表示景先验显著图、边界概率显著图和PCA先验显著图的权重。

步骤三，用贝叶斯模型融合静态显著图和动态显著图。

3.1)用静态显著图S_sta作为先验概率，获取静态显著图S_sta中的前景区域F_sta和背景区域B_sta，

3.2)通过动态显著图S_mon计算似然函数，对S_mon中每个像素点k通过比较前景区域中的S_sta来统计相似像素点的数量，得到前景区域F_sta对应的概率似然函数 P(S_mon(k)|F_sta)和背景区域B_sta概率似然函数P(S_mon(k)|B_sta)：

3.3)根据上述得到的似然函数计算贝叶斯模型的后验概率P(F_i|S_j(k))：

其中是前景区域F_s中所包含的像素点个数，表示背景区域B_s中的像素点数量。

本发明的效果可以通过以下实验进一步说明：

1.实验条件

实验硬件设备：PHILIPS台式机；

实验软件平台：Windows7操作系统下的MATLAB R2012a。

2.实验内容与结果

第一步，用本发明和已有的九种视频显著性算法PDA、Seo、Rahtu、Seg、GBVS、CBSal、 CE、DCMR、STC分别对视频分割数据库中的四个视频birdfall2、cheetah、parachute和 monkey-dog进行显著性检测，各个方法对比结果如图2所示，其中：

第一行表示原始视频序列，

第二行是用PDA方法检测的显著图，

第三行是用Seo方法检测的显著图，

第四行是用Rahtu方法检测的显著图，

第五行是用Seg方法检测的显著图，

第六行是用GBVS方法检测的显著图，

第七行是用CBSal方法检测的显著图，

第八行是用CE方法检测的显著图，

第九行是用DCMR方法检测的显著图，

第十行是用STC方法检测的显著图，

第十一行是用本发明检验的显著图，

最后一行是类标显著图。

第二步，采用查准率-查全率曲线Precision-Recall对图2进行评测，结果如图3所示, 其中图3(a)是十种视频显著性检测方法的查准率-查全率曲线Precision-Recall，图3(b) 是方法对应的F-measure值。

第三步，为了更好的评估并且区分这些方法，进一步计算ROC曲线以及它与坐标轴所围区域面积AUC，结果如图4所示，其中图4(a)是十种视频显著性检测方法的ROC曲线图，图4(b)是ROC曲线与坐标轴所围面积的直方图AUC。

综合上述评测方法，从不同的角度比较各方法之间的优劣。

3.实验结果分析

图2直观地显示出不同方法效果上的差异：

对于birdfall2视频，本发明不仅可排除复杂背景的影响，而且能把小目标显著区域提取出来，而其余方法只能得到目标的模糊轮廓或大致位置；

对于cheetah视频，Rahtu方法由于没有滤去背景的影响，导致得到的显著区域与背景对比不强烈，使得结果出现偏差；

对于parachute视频，由于视频中背景较为复杂，在用Seg和CBSal方法处理时，因受到云彩等细节的干扰，所得结果中目标与背景融为一体，而本发明结果可以明显看出目标的轮廓和细节信息；

对于monkey-dog视频，其中两个不同目标的运动幅度不同，本发明可以提取出运动较为显著的目标，而其他方法的检测结果则会受到非显著目标的影响；

从图3、图4所示的Precision-Recall曲线、ROC曲线，可更加直观的显示出本发明优于现有视频显著性检测方法。

Claims

1.一种基于贝叶斯融合的视频显著性检测方法，包括：

(1)输入待检测的视频帧，提取每一帧图像的静态显著图；

(2)输入待检测的视频帧，提取每一帧图像的动态显著图；

(2e)对(2a)-(2c)得到的显著图进行加权融合，得到视频序列每一帧图像的动态显著图；

2.根据权利要求1中所述的方法，其中步骤(1a)中求取视频序列静态边界概率图，是利用数学形态学图像处理中的基本思想，即构建具有形态的结构元素去匹配和提取图像中对应形状的位置；再利用膨胀、腐蚀、开启和闭合的形态学运算方法处理该位置特征，进而得到目标边界。

3.根据权利要求1中所述的方法，其中步骤(1b)中求取视频序列区域对比显著图，是先将待求视频图像进行过分割，每个区域的显著值由该区域和其他区域的颜色空间距离和区域内像素数量加权的颜色差异性确定。

4.根据权利要求1中所述的方法，其中步骤(1c)中求取视频序列颜色均值显著图，是先计算超像素分割后每个超像素块的颜色均值，再对序列中各个超像素块的颜色均值进行归一化，得到基于颜色均值的显著图。

5.根据权利要求1中所述的方法，其中步骤(2)中求取视频序列PCA先验显著图，按照如下步骤进行：

(2a)根据主成分分析方法将超像素块中的光流特征降至1维并计算平均光流特征：

<mrow> <msup> <mover> <mi>M</mi> <mo>&OverBar;</mo> </mover> <mi>k</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msubsup> <mover> <mi>M</mi> <mo>~</mo> </mover> <mi>i</mi> <mi>k</mi> </msubsup> <mo>;</mo> </mrow>

(2b)计算与平均超像素块之间的距离：

<mrow> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msubsup> <mover> <mi>M</mi> <mo>~</mo> </mover> <mi>i</mi> <mi>k</mi> </msubsup> <mo>-</mo> <msup> <mover> <mi>M</mi> <mo>&OverBar;</mo> </mover> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

(2c)定义为LAB颜色空间上与其他超像素块距离之和：

<mrow> <mi>C</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mo>|</mo> <mi>L</mi> <mi>A</mi> <mi>B</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>L</mi> <mi>A</mi> <mi>B</mi> <mrow> <mo>(</mo> <msup> <mi>N</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> </mrow>

(2d)利用超像素块的颜色区分度对(2b)中求得的距离加权，得到当前超像素块的显著值

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mi>C</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

(2e)将超像素块的显著值映射到序列中，得到视频序列的动态光流显著图S(M^k)，并对该S(M^k)进行归一化操作，使其取值在[0,1]之间；

(2f)使用0和1之间的10个空间规则阈值对不同的图像块进行迭代，检测不同像素的簇，计算不同阈值迭代结果所得集合的质心，并以它为中心添加高斯特征，再将这些高斯特征与空间规则阈值相对应，得到一个权重相关的结果图G(M^k)。

(2g)将归一化之后的动态光流显著图S(M^k)与高斯权重图G(M^k)进行融合，得到最终的PCA先验显著图

<mrow> <msubsup> <mi>S</mi> <mi>p</mi> <mi>k</mi> </msubsup> <mo>=</mo> <mi>S</mi> <mrow> <mo>(</mo> <msup> <mi>M</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mi>G</mi> <mrow> <mo>(</mo> <msup> <mi>M</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>

6.根据权利要求1所述的方法，其中步骤(2)中求取视频序列背景先验显著图，按照如下步骤进行：

(2a)提取每帧光流图中超像素块的LAB颜色特征，根据该特征值将光流图边缘的超像素块聚为T类，基于T个不同的类别，构建T个不同的全局颜色差异图GCD，在第t个GCD图中，计算超像素块的显著值为：

<mrow> <msub> <mi>s</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mi>q</mi> <mi>t</mi> </msup> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>q</mi> <mi>t</mi> </msup> </munderover> <mfrac> <mn>1</mn> <mrow> <msup> <mi>e</mi> <mfrac> <mrow> <mo>-</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>N</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> </mrow> <mrow> <mn>2</mn> <msup> <mi>&delta;</mi> <mn>2</mn> </msup> </mrow> </mfrac> </msup> <mo>+</mo> <mi>&beta;</mi> </mrow> </mfrac> <mo>,</mo> </mrow>

(2b)构建全局空间距离GSD矩阵W＝[w_t,i]_T×n，其中w_t,i代表超像素点和所有第t类图像边缘超像点之间的空间距离，r_i和r_j是超像素区域和的坐标属性，σ₂为控制权重的常量，

(2c)计算超像素块的背景先验显著值

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <msubsup> <mi>N</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>s</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>;</mo> </mrow>

(2d)将显著值映射到光流图M^k中，得到视频序列的背景先验显著图