CN105913456A - 基于区域分割的视频显著性检测方法 - Google Patents

Abstract

本发明公开了一种区域分割的视频显著性检测方法，主要解决现有视频显著性检测方法检测准确率低的问题，其步骤是：1.对视频帧进行线性迭代聚类，得到超像素块，提取超像素块静态特征；2.利用变分光流法，得到超像素块的动态特征；3.将静态特征和动态特征进行融合得到特征矩阵，再对特征矩阵进行K‑means聚类；4.对每一类分别进行线性回归模型训练，得到回归模型，5.用回归模型重建测试集样本与显著性程度的映射关系得到测试集超像素块的显著值，进而得到测试序列的显著图。本发明相较于传统的视频显著性算法，增强了特征空间和时间表征能力，降低了光照对检测效果的影响，可用于视频目标跟踪、视频分割的前期预处理。

Description

基于区域分割的视频显著性检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种视频显著性检测方法，可用于目标跟踪、物体识别和视频分割。

背景技术

计算机在处理复杂场景问题时，背景的复杂性使得现有的一些方法不能对场景进行更好的处理。研究发现，人类视觉系统能够轻松地理解各种复杂场景，因此在处理复杂场景的相关问题时可以借鉴人类系统的工作原理。学者对人类视觉注意选择机制进行深入地研究和推理后得到视觉显著性理论，该理论认为人类视觉系统只详细处理图像的某些局部，而对图像的其余部分几乎视而不见。基于此理论，计算机视觉领域的相关学者提出了对图像或者视频中人类感兴趣区域的检测，目前该领域已成为研究的热门。其中显著性算法在检测效果和运算速度上都有突出的表现，因而受到研究者们的广泛关注。视频显著区域提取是视频监控、人类行为认知和视频检索等视频分析过程中的重要的步骤。由于视频数据的复杂性和多样性，视频帧之间的强相关性和动态时变性等特点，使得视频显著性区域的检测难度增大。

目前已有的视频显著区域提取方法主要有以下几种模型：

Cheng提出的视觉注意模型，该模型不仅考虑了亮度和颜色特征，而且还添加了运动信息，为视频序列显著区域提取算法研究打下了基础；

Guo等人提出的PQFT空时显著性模型，简单且快速，其应用傅里叶变换将图像的亮度、颜色、运动特征融合，但易受到背景纹理的干扰。为了解决这个问题，Cui等人提出了一种基于SR的空时显著区域快速提取算法，以X-T和Y-T两个方向的时间切片来表示动态信息，从而将前景目标从复杂背景中提取出来；

Seo和Milanfar提出使用自相似性在空时区域进行显著性检测，它是一个无参的自底向上的模型。该模型将时间域与空间域融合，提高了检测准确率；

Rahtu等人提出的基于条件随机场CRF模型的显著物体分割算法，采用了运动优先的方法来融合动态和静态特征，符合人们视觉注意的感知偏向；

Rudoy等人提出一种视线转移动力学模型，利用分类器学习从一个区域跳转到另一个区域的概率，把概率值作为视频的显著值，提高了检测速率。

上述视频显著区域提取方法都是在图像域的显著模型上添加运动特征，其时域结构过于简单，序列之间关系微弱，虽然可以提取得到视频显著区域，但准确率和效率都比较低。因此如何提取更加有效的视频动态特征，并将静态特征与动态特征有效融合是目前视频显著性提取方法的重要研究内容。

发明内容

本发明的目的在于针对上述方法的不足，提出一种基于区域分割的视频显著性检测方法，以有效地提高检测准确率，提取更加有效的视频动态特征。

实现本发明目的的技术方案是：给定一个视频序列，先进行SLIC超像素分割，再以超像素块为单位，提取颜色、纹理以及运动信息作为特征向量；取一部分序列所有块的特征向量作为训练样本，并对其进行归一化和聚类；利用聚类后各个类的特征矩阵和类标向量训练对应的回归模型；选取匹配的回归模型重建测试样本与显著程度的映射关系，从而得到测试样本中每一个超像素块的显著值，进而获取测试序列的显著图。其实现步骤包括如下：

(1)输入待检测的视频帧，提取每一帧图像的静态特征和动态特征；

(1a)对输入的图像进行线性迭代聚类，得到超像素块，求取每一个超像素块中所包含像素点的颜色特征值、直方图特征值和纹理特征值，并用这三个特征的均值组成特征向量作为该超像素块的静态特征；

(1b)将相邻两帧视频图像的纹理特征值用光流法进行差分处理，得到前一帧图像的光流场特征值；

(1c)将每一帧图像的光流场特征值分解为水平方向vx和垂直方向vy两个特征；

(1d)计算每一个超像素块所包含像素点水平方向vx和垂直方向vy的特征均值,并用这两个特征的均值组成特征向量作为该超像素块的动态特征；

(2)将步骤(1)中得到的超像素块静态特征和动态特征进行融合，得到每一个超像素块的特征向量，对视频序列所有超像素块的特征向量进行归一化，得到特征向量集F，将视频序列前15帧图像所有超像素块特征向量F₁作为训练样本进行K-means聚类，得到k＝5个训练样本以及对应的聚类中心；

(3)把聚类得到的5个训练样本分别输入到支持向量机中，训练得到5个SVR回归模型；

(4)取特征向量集F中剩余部分向量F₂作为测试样本，分别计算F₂中每个向量与k个聚类中心的欧式距离，寻找最邻近的类，并用与该最邻近的类相对应的SVR回归模型测试得到样本F₂中每一个超像素块对应的显著值，构成显著值向量；

(5)将得到的显著值向量依次映射到测试样本中的所有超像素块上，得到测试序列显著图。

本发明与现有技术相比具有如下优点：

1)本发明相对于传统的视频显著性算法，在超像素级上进行特征提取与融合，增强了特征空间和时间上的表征能力，能够得到既完整又相对准确的目标显著区域；

2)本发明用局部方向模式特征代替原始帧中的亮度连续与高阶连续，提取相邻两帧图像的纹理特征，作为变分光流模型的输入，求取每一个视频帧的动态光流场特征，降低了光照对检测效果的影响，在视频数据集上获得了较好的实验效果。

本发明的技术过程和效果可结合以下附图详细说明。

附图说明

图1是本发明的实现示意图；

图2是本发明中基于超像素块的静态特征提取示意图；

图3是本发明中动态光流场特征提取示意图；

图4是本发明与不同视频显著性方法的结果对比图；

图5是本发明与不同算法的P-R曲线；

图6是本发明与不同算法的ROC曲线和对应AUC值的直方图；

具体实施方式

参照图1，本发明基于区域分割的视频显著性检测方法，包括如下步骤：

步骤一，获取视频序列的超像素块。

1.1)对视频分割数据库中的视频进行分帧，得到视频序列；

1.2)对视频序列进行简单的线性迭代聚类SLIC，得到视频序列的超像素块，该简单的线性迭代聚类算法根据像素点之间的颜色相似性与邻近性进行分簇，不仅考虑了像素点之间的空间距离，还考虑了其彩色信息的差异性。

步骤二，提取超像素块的静态特征。

每一个超像素块的静态特征，包括颜色特征值、直方图特征值和纹理特征值。

参照图2，本步骤的具体实现如下：

2.1)提取颜色特征：

2.1.1)利用matlab中的颜色函数先求得输入视频图像中每一个像素点的RGB颜色特征值；再对各个超像素块中的所有像素点颜色特征求平均，得到超像素块的颜色特征值F_ci，其中i表示R、G、B三个颜色通道i＝1,2,3，F_ci＝{f_ci(1),…f_ci(j),…f_ci(n)}表示第i个颜色通道中所有超像素块的颜色特征值，f_ci(j)为第i个颜色通道中第j个超像素块的颜色特征值，j表示序列中的超像素块j＝1,…n，n是序列中所包含的超像素块的数量；

2.1.2)按下述公式对颜色特征值归一化，得到颜色特征矩阵Nor_ci(j)：

${\mathrm{Nor}}_{ci}\left(j\right)=\frac{{\max }_p-f_{ci}\left(j\right)}{{\max }_p-{\min }_p},$

其中，p表示F_ci，max_p和min_p分别是R、G、B三个颜色通道中的最大值和最小值；

2.2)提取直方图特征：

2.2.1)将待求视频图像的颜色空间划分成若干个小的颜色区间，使每个区间成为直方图的一个条状区，并计算落在每个小区间的像素数量得到颜色直方图；再对各个超像素块中的所有像素点直方图特征求平均，得到超像素块的直方图特征值F_hi,其中F_hi＝{f_hi(1),…f_hi(j),…f_hi(n)}表示第i个特征向量中所有超像素块的直方图特征值，f_hi(j)为第i个特征向量中第j个超像素块的直方图特征值；

2.2.2)对直方图特征值归一化，得到直方图特征矩阵Nor_hi(j)：

${\mathrm{Nor}}_{hi}\left(j\right)=\frac{f_{hi}\left(j\right)}{\underset{k=1}{\overset{n}{\Σ}}{f}_{hi}\left(k\right)}$

其中，是第i个通道中所有直方图特征值的和；

2.3)提取纹理特征：

2.3.1)取输入视频图像的局部方向模式特征，再对各个超像素块中的所有像素点局部方向模式特征求平均，得到超像素块的纹理特征值F_li，其中F_li＝{fli(1),…fli(j),…fli(n)}表示第i个特征向量中所有超像素块的纹理特征值，fli(j)为第i个特征向量中第j个超像素块的纹理特征值；

2.3.2)对纹理特征值归一化，得到纹理特征矩阵Nor_li(j)：

${\mathrm{Nor}}_{li}\left(j\right)=\frac{{\max }_q-f_{li}\left(j\right)}{{\max }_q-{\min }_q}$

其中q表示F_li，max_q和min_q分别是三个颜色通道纹理特征向量的最大值和最小值。

步骤三，提取超像素块的动态特征，获得动态特征矩阵。

参照图3，本步骤的具体实现如下：

3.1)用局部方向模式纹理特征代替原始视频帧中的亮度连续与高阶连续，将相邻两帧视频图像的纹理特征值用光流法进行差分处理，得到前一帧图像的光流场特征值，将每一帧图像的光流场特征值分解为水平方向vx和垂直方向vy两个特征；

3.2)计算每一个超像素块所包含像素点水平方向vx和垂直方向vy的特征均值,并用这两个特征的均值组成特征向量作为该超像素块的动态特征F_mz，其中z表示vx、vy两个方向的特征向量z＝1,2,F_mz＝{f_mz(1),…f_mz(j),…f_mz(n)}表示第i个特征向量中所有超像素块的动态特征值，f_mz(j)表示第z个特征向量中第j个超像素块的动态特征值；

3.3)将水平方向vx和垂直方向vy的超像素块动态特征值归一化，得到动态特征矩阵Nor_mz(j)：

${\mathrm{Nor}}_{mz}\left(j\right)=\frac{{\max }_t-f_{mz}\left(j\right)}{{\max }_t-{\min }_t}$

其中，t表示F_mz，max_t和min_t分别是纹理特征向量的最大值和最小值。

步骤四，对超像素块的静态特征和动态特征进行融合。

将超像素块静态和动态特征向量融合后的特征矩阵用F＝{Nor_ci(j),Nor_hi(j),Nor_li(j),Nor_mz(j)}表示，将视频序列前15帧图像所有超像素块特征向量F₁作为训练样本进行K-means聚类，其步骤如下：

4.1)将训练样本F₁表示为{region¹,region²,…region^s,…regionⁿ¹}，其中region^s表示F₁中第s个超像素块的特征向量，s＝1,2…,n1，n1表示样本F₁包含的超像素块的个数；

4.2)将聚类中心表示为{μ1,μ2…μr,…μk}，其中μr表示第r个类的聚类中心，r＝1,2…,k，k表示聚类中心的个数；

4.3)计算region^s与k个聚类中心之间的最小欧氏距离C^(s)：

C^(s)＝argmin_r||region^s-μ_r||²，

其中||||²是二范数的表示，||region^s-μ_r||²表示region^s与第r个聚类中心μ_r之间的欧式距离，argmin_r表示取k个欧式距离中的最小值；

4.4)将region^s添加到最小欧式距离C^(s)对应的类r中，重新计算该类的聚类中心：

$\widehat{{\mathrm{\μ}}_r}=\frac{\underset{s=1}{\overset{n1}{\Σ}}\{C^{\left(s\right)}=r\}{\mathrm{region}}^s}{\underset{s=1}{\overset{n1}{\Σ}}\{C^{\left(s\right)}=r\}},$

其中，表示所有属于类r的超像素块的集合；

4.5)将步骤4.3)和4.4)进行迭代运算之后得到k个训练样本。

步骤五，多回归模型训练与测试

5.1)用k个训练样本分别训练k个回归模型；

5.2)对于每个测试集超像素块，计算它与各个聚类中心的欧式距离，用最小欧式距离对应类的回归模型得到每一个测试超像素块对应的显著值；

5.3)将得到的显著值映射到每个测试块中得到视频测试序列显著图。

本发明的效果通过以下实验进一步说明：

1.实验条件

实验硬件设备：PHILIPS台式机；

实验软件平台：Windows7操作系统下的MATLAB R2012a；

2.实验内容与结果

第一步，用本发明和已有的六种视频显著性算法Seo、CBSal、Rahtu、PDA、Seg、GBVS分别对视频分割数据库中的视频进行显著性检测，各个方法对比结果如图4所示，其中：

图4(a)表示原始视频序列，图4(b)是用PDA方法性检的显著图，图4(c)是用Seo方法性检的显著图，图4(d)是用Rahtu方法性检显著图，图4(e)是用Seg方法性检的显著图，图4(f)是用GBVS方法性检的显著图，图4(g)是用CBSal方法性检的显著图，图4(h)是用本发明检验的显著图，图4(i)是类标显著图。

第二步，采用查准率-查全率曲线Precision-Recall对图4进行评测，结果如图5所示,其中图5是这些方法的查准率-查全率曲线Precision-Recall。

第三步，为了更好的评估并且区分这些方法，进一步计算ROC曲线以及它与坐标轴所围区域面积AUC，结果如图6所示，其中图6(a)是这些方法的ROC曲线图，图6(b)是ROC曲线与坐标轴所围面积的直方图AUC。

综合上述评测方法，从不同的角度比较各方法之间的优劣。

3.实验结果分析

图4直观地显示出不同方法效果上的差异：

对于第三行包含多目标的视频，本发明不仅可提取出大目标显著区域，而且能把小目标显著区域提取出来，而其余方法只能得到大目标的轮廓；

对于第四行和第五行的单目标视频，Rahtu方法由于没有滤去背景的影响，导致得到的显著区域与背景对比不强烈，使得结果出现偏差；

对于第六行视频目标背景复杂，用Seg和CBSal方法处理时，因受到树枝等细节的干扰，所得结果中目标与背景融为一体，而本发明结果可以明显看出目标的轮廓和细节信息。

图5、图6所示的Precision-Recall曲线、ROC曲线更加直观的显示出本发明的优越性。

综上，本发明所述的视频显著性检测方法在该领域中明显优于现有视频显著性检测方法。

Claims (6)

1.一种基于区域分割的视频显著性检测方法，包括如下步骤：

(1)输入待检测的视频帧，提取每一帧图像的静态特征和动态特征；

(1a)对输入的图像进行线性迭代聚类，得到超像素块，求取每一个超像素块中所包含像素点的颜色特征值、直方图特征值和纹理特征值，并用这三个特征的均值组成特征向量作为该超像素块的静态特征；

(1b)将相邻两帧视频图像的纹理特征值用光流法进行差分处理，得到前一帧图像的光流场特征值；

(1c)将每一帧图像的光流场特征值分解为水平方向vx和垂直方向vy两个特征；

(1d)计算每一个超像素块所包含像素点水平方向vx和垂直方向vy的特征均值,并用这两个特征的均值组成特征向量作为该超像素块的动态特征；

(2)将步骤(1)中得到的超像素块静态特征和动态特征进行融合，得到每一个超像素块的特征向量，对视频序列所有超像素块的特征向量进行归一化，得到特征向量集F，将视频序列前15帧图像所有超像素块特征向量F₁作为训练样本进行K-means聚类，得到k＝5个训练样本以及对应的聚类中心；

(3)把聚类得到的5个训练样本分别输入到支持向量机中，训练得到5个SVR回归模型；

(4)取特征向量集F中剩余部分向量F₂作为测试样本，分别计算F₂中每个向量与k个聚类中心的欧式距离，寻找最邻近的类，并用与该最邻近的类相对应的SVR回归模型测试得到样本F₂中每一个超像素块对应的显著值，构成显著值向量；

(5)将得到的显著值向量依次映射到测试样本中的所有超像素块上，得到测试序列显著图。

2.根据权利要求1中所述的方法，其中步骤(1a)中求取超像素块的颜色特征值，是利用matlab中的颜色函数先求得输入待求的视频图像中每一个像素点的RGB颜色特征值；再对各个超像素块中的所有像素点颜色特征求平均，得到超像素块的颜色特征值。

3.根据权利要求1中所述的方法，其中步骤(1a)中求取超像素块的直方图特征值，是先将待求视频图像的颜色空间划分成若干个小的颜色区间，使每个区间成为直方图的一个条状区，并计算落在每个小区间的像素数量得到颜色直方图；再对各个超像素块中的所有像素点直方图特征求平均，得到超像素块的直方图特征值。

4.根据权利要求1中所述的方法，其中步骤(1a)中求取超像素块的纹理特征值，是先提取输入视频图像的局部方向模式特征，再对各个超像素块中的所有像素点局部方向模式特征求平均，得到超像素块的纹理特征值。

5.根据权利要求1中所述的方法，其中步骤(2)中对视频序列所有超像素块特征归一化组成特征向量集F，按照如下步骤进行：

(2a)按下述公式对颜色特征归一化，得到颜色特征矩阵Nor_ci(j)：

${\mathrm{Nor}}_{ci}\left(j\right)=\frac{{\max }_p-f_{ci}\left(j\right)}{{\max }_p-{\min }_p}$

其中i表示R、G、B三个颜色通道i＝1,2,3，j表示序列中的超像素块j＝1,…n，n是序列中所包含的超像素块的数量，F_ci＝{f_ci(1),…f_ci(j),…f_ci(n)}表示第i个颜色通道中所有超像素块的颜色特征值，f_ci(j)为第i个颜色通道中第j个超像素块的颜色特征值，将F_ci表示为p，max_p和min_p分别是R、G、B三个颜色通道中的最大值和最小值；

(2b)对直方图特征值归一化，得到直方图特征矩阵Nor_hi(j)：

${\mathrm{Nor}}_{hi}\left(j\right)=\frac{f_{hi}\left(j\right)}{\underset{k=1}{\overset{n}{\Σ}}{f}_{hi}\left(k\right)}$

其中F_hi＝{f_hi(1),…f_hi(j),…f_hi(n)}表示第i个特征向量中所有超像素块的直方图特征值，f_hi(j)为第i个特征向量中第j个超像素块的直方图特征值，是第i个通道中所有直方图特征值的和。

(2c)对纹理特征值归一化，得到纹理特征矩阵Nor_li(j)；

${\mathrm{Nor}}_{li}\left(j\right)=\frac{{\max }_q-f_{li}\left(j\right)}{{\max }_q-{\min }_q}$

其中F_li＝{fli(1),…fli(j),…fli(n)}表示第i个特征向量中所有超像素块的纹理特征值，fli(j)为第i个特征向量中第j个超像素块的纹理特征值，将F_li表示为q，max_q和min_q分别是三个颜色通道纹理特征向量的最大值和最小值；

(2d)对步骤(1d)中得出水平方向vx和垂直方向vy的超像素块动态特征值归一化，得到运动特征矩阵Nor_mz(j)：

${\mathrm{Nor}}_{mz}\left(j\right)=\frac{{\max }_t-f_{mz}\left(j\right)}{{\max }_t-{\min }_t}$

其中其中z表示vx、vy两个方向的特征向量z＝1,2,F_mz＝{f_mz(1),…f_mz(j),…f_mz(n)}表示第i个特征向量中所有超像素块的动态特征值，f_mz(j)表示第z个特征向量中第j个超像素块的动态特征值，将F_mz表示成t，max_t和min_t分别是纹理特征向量的最大值和最小值；

(2e)将上述步骤(2a)、(2b)、(2c)和(2d)得到的特征矩阵进行融合，即得到特征向量集：F＝{Nor_ci(j),Nor_hi(j),Nor_li(j),Nor_mz(j)}。

6.根据权利要求1所述的方法，其中步骤(2)中将视频序列前15帧图像所有超像素块特征向量F₁作为训练样本进行K-means聚类，按照如下步骤进行：

(2a)将训练样本F₁表示为{region¹,region²,…region^s,…regionⁿ¹}，其中region^s表示F₁中第s个超像素块的特征向量，s＝1,2…,n1，n1表示样本F₁包含的超像素块的个数；

(2b)将聚类中心表示为{μ1,μ2…μr,…μk}，其中μr表示第r个类的聚类中心，r＝1,2…,k，k表示聚类中心的个数；

(2c)计算region^s与k个聚类中心之间的最小欧氏距离C^(s)：

C^(s)＝argmin_r||region^s-μ_r||²

其中||region^s-μ_r||²表示region^s与第r个聚类中心μ_r之间的欧式距离，argmin_r表示取k个欧式距离中的最小值；

(2d)将region^s添加到最小欧式距离C^(s)对应的类r中，重新计算该类的聚类中心：

$\widehat{{\mathrm{\μ}}_r}=\frac{\underset{s=1}{\overset{n1}{\Σ}}\{C^{\left(s\right)}=r\}{\mathrm{region}}^s}{\underset{s=1}{\overset{n1}{\Σ}}\{C^s=r\}};$

将新的聚类中心表示为其中表示第r个类新的聚类中心。表示所有属于类r的超像素块的集合；

(2e)按照步骤(2c)-(2d)进行迭代，得到最优k值。