CN106611427A - 基于候选区域融合的视频显著性检测方法 - Google Patents

Abstract

本发明提供一种基于候选区域融合的视频显著性检测方法，包括以下步骤：将视频分为视频帧后，先将单个视频帧分割成超像素，分别计算每个超像素的空间显著度和时间显著度，然后通过自适应权重分配策略将空间显著图与时间显著图融合得到初步的时空显著图，通过候选区域的选择、合并、优化得到最终的时空显著图。本发明的视频显著性检测方法能有效克服背景杂乱、摄像机运动、显著性目标运动不一致的影响，准确的标注视频的显著性区域。

Description

基于候选区域融合的视频显著性检测方法

技术领域

本发明属于视频的显著性检测技术领域，尤其是涉及基于候选区域融合的视频显著性检测，可应用于多种类型视频的显著性区域检测。

背景技术

视频的显著性区域检测技术模仿人类的视觉注意机制，使计算机能在视频中快速准确地定位最显著的区域，对于视频压缩、视频检索、视频目标提取等应用有重要的意义。

目前，已有许多研究机构从事视频的显著性区域检测技术的研究，提出了多个有效的视频显著性模型。现有的大多数视频显著性模型框架是先分别计算出视频帧的空间显著度和时间显著度，再通过权重分配策略将两者融合，得出最终的显著度。视频帧的空间显著度计算方法等同于图像的显著性检测，可以使用现有的图像显著性检测方法。时间显著度的计算方法主要有两类，一类是帧间差法，通过前后帧的帧间差获取视频的运动信息，但这种方法难以获取完整的运动目标；另一类是光流法，先通过光流法得到视频帧每个像素点的运动向量，再对运动向量处理得到视频帧的时间显著度。时空融合方法主要有两类，一类是为空间显著度和时间显著度分配固定的权重进行融合，另一类融合方法在不同的区域为空间显著度和时间显著度自适应分配不同的权重进行融合。现有的视频显著性检测模型在背景均匀、目标运动较一致的条件下，有较好的检测效果，但在显著性目标运动的一致性较差、背景复杂、背景运动噪声较大等情况下检测的效果不理想，会产生检测区域不准确、不完整的情况。

发明内容

本发明的第一方面提出一种基于候选区域融合的视频显著性检测方法，包括以下步骤：

步骤1、从视频中提取出视频帧后，先将视频帧从rgb颜色空间转换到lab颜色空间，再对视频帧进行超像素分割，将一个视频帧表示成一组超像素块；

步骤2、计算视频帧的空间显著图：先求出每个超像素块的三种特征：边界连通度、颜色分布紧凑度、距离加权的颜色对比度，然后通过三个特征计算初始的空间显著度，再根据超像素的前景概率、背景概率、相邻超像素的关系对初始的空间显著度进行优化得到优化的空间显著度值；

步骤3、计算视频帧的时间显著图：首先计算出视频帧像素级的光流数据，得到每个像 素的运动向量；然后将每个超像素中所有像素的运动向量按照强度10个级数、方向16个级数进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表；根据超像素的量化运动向量表，计算每组运动向量数据的平均强度值和概率值，得到超像素的运动向量平均强度表和概率分布表；再计算每个超像素平均强度的全局对比度和概率分布的全局对比度；最后将两个对比度值分别归一化，进行合并得到每个超像素的时间显著度；

步骤4、对每个超像素的时间显著度和空间显著度进行初步融合，得到视频帧的初步融合显著图；

步骤5、用自适应阈值法对空间显著图和初步融合显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域，把从初步融合图中得到的候选显著性区域作为种子候选区域，计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，遍历所有候选区域后得到最终的显著性区域图；

步骤6、获取有连续显著度值的显著图：首先将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，再对显著性区域里超像素的显著度值进行优化，得到最终的显著图，其中thresh_spatial为视频帧空间显著图的自适应阈值。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是根据本发明某些实施例的基于候选区域融合的视频显著性检测方法的流程示意图。

图2是本发明的基于候选区域融合的视频显著性检测方法与现有技术中4种视频显著性检测算法的检测结果对比示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

根据本发明的实施例，一种基于候选区域融合的视频显著性检测方法，总体上来说靠靠以下步骤:将视频分为视频帧后，先将单个视频帧分割成超像素，分别计算每个超像素的空间显著度和时间显著度，然后通过自适应权重分配策略将空间显著图与时间显著图融合得到初步的时空显著图，通过候选区域的选择、合并、优化得到最终的时空显著图。

结合图1所示，下面将更加具体地描述前述实施例的视频显著性检测方法的实现过程。

基于候选区域融合的视频显著性检测方法，大致包含以下6个步骤，分别为：

步骤1、从视频中提取出视频帧后，先将视频帧从rgb颜色空间转换到lab颜色空间，再对视频帧进行超像素分割，将一个视频帧表示成一组超像素块；

步骤2、计算视频帧的空间显著图：先求出每个超像素块的三种特征：边界连通度、颜色分布紧凑度、距离加权的颜色对比度，然后通过三个特征计算初始的空间显著度，再根据超像素的前景概率、背景概率、相邻超像素的关系对初始的空间显著度进行优化得到优化的空间显著度值；

步骤3、计算视频帧的时间显著图：首先计算出视频帧像素级的光流数据，得到每个像素的运动向量；然后将每个超像素中所有像素的运动向量按照强度10个级数、方向16个级数进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表；根据超像素的量化运动向量表，计算每组运动向量数据的平均强度值和概率值，得到超像素的运动向量平均强度表和概率分布表；再计算每个超像素平均强度的全局对比度和概率分布的全局对比度；最后将两个对比度值分别归一化，进行合并得到每个超像素的时间显著度；

步骤4、对每个超像素的时间显著度和空间显著度进行初步融合，得到视频帧的初步融合显著图；

步骤5、用自适应阈值法对空间显著图和初步融合显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域，把从初步融合图中得到的候选显著性区域作为种子候选区域，计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，遍历所有候选区域后得到最终的显著性区域图；

步骤6、获取有连续显著度值的显著图：首先将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，再对显著性区域里超像素的显著度值进行优化，得到最终的显著图，其中thresh_spatial为视频帧空间显著图的自适应阈值。

利用本发明前述实施例的技术方案的视频显著性检测方法，能有效克服背景杂乱、摄像机运动、显著性目标运动不一致的影响，准确的标注视频的显著性区域。这一点将在下面的对比例中加以更加充分的说明。

【步骤1】

从视频中提取出视频帧后，先将视频帧从rgb颜色空间转换到lab颜色空间，再对视频帧进行超像素分割，将一个视频帧表示成一组超像素块。

在一个示例性的例子中，前述步骤1的实现包括：

先将视频帧从rgb颜色空间转换到lab颜色空间，再用SLIC超像素分割算法对视频帧进行分割，SLIC算法的初始超像素数目设为w*h/400，w、h分别为视频帧的宽和高，将一个视频帧表示成一组超像素块。

【步骤2】

计算视频帧的空间显著图：先求出每个超像素块的三种特征：边界连通度、颜色分布紧凑度、距离加权的颜色对比度，然后通过三个特征计算初始的空间显著度，再根据超像素的前景概率、背景概率、相邻超像素的关系对初始的空间显著度进行优化得到优化的空间显著度值。

在一个示例性的例子中，前述步骤2中计算视频帧的空间显著图的实现包括：

(1)计算每个超像素的距离加权对比度。

距离加权颜色对比度的计算方法如下述公式(1)，其中ωctr(p)为超像素p的加权对比度，N表示图像帧包含的超像素的数目。ω_spa(p,p_j)表示超像素p_j与p的空间距离权值，计算方法如公式(2)，d_spa(p,p_i)表示超像素p_j与p的空间距离，σ_spa根据经验取0.25。d_lab(p,p_j)表示超像素p和p_j在lab颜色空间的距离，计算方法如公式(3)，lab(p)和lab(p_j)分别为超像素p和p_j在lab颜色空间的取值。

(2)用关联繁殖(affinity propagation)聚类算法^[1]对超像素进行聚类得到若干个近似目标区 域。关联繁殖聚类算法^[1]的输入参数包括相似度矩阵、偏好度(preference)、抑制度(dampfact)。用超像素中所有像素颜色值的平均值表示该超像素的颜色值，根据超像素的颜色值构建视频帧所有超像素的相似度矩阵Sim，如公式(4)所示，Sim(i,j)表示超像素i、j之间的相似性。关联繁殖算法^[1]的偏好度设置为相似矩阵Sim的列均值，抑制度设置为0.9。

(3)计算近似目标区域reg_i的边界连通度，一个近似目标区域中的超像素有相同的颜色分布紧凑度。边界连通度计算方法如公式(5)，其中BndCon(i)为边界连通度值，Len_bnd(i)为近似目标区域reg_i在视频帧边界上的长度，SArea(i)为近似目标区域reg_i的面积。

(4)计算近似目标区域reg_i的颜色分布紧凑度，一个近似目标区域中的超像素有相同的颜色分布紧凑度。颜色分布紧凑度计算方法如公式(5)，其中BndCon(i)为颜色分布紧凑度值，K为近似目标区域包含的超像素个数，mpos(i)为近似目标区域reg_i中心的坐标，pos(j)为近似目标区域中包含超像素j的中心坐标。

(5)初始的空间显著度的计算方法如公式(7)所示，其中bndcon(p)、comp(p)、ωctr(p)分别表示超像素p的边界连通度、颜色分布紧凑度、距离加权对比度。

(6)初始的空间显著度的优化方法，采用下述公式(8)所示。N为视频帧包含的超像素个数，λ根据经验取5。为超像素i的前景概率，取值为初始空间显著度值为超像素i的背景概率，计算方法如公式(9)所示，其中σ_b根据经验取1。超像素i、j在空间上相邻，s_i、s_j为超像素i、j的优化后的显著度值，ω_ij的计算方法如公式(10)所示，其中d_lab(p_i,p_j)的计算方法如公式(3)，σ_b根据经验取10。

【步骤3】

计算视频帧的时间显著图：首先计算出视频帧像素级的光流数据，得到每个像素的运动向量；然后将每个超像素中所有像素的运动向量按照强度10个级数、方向16个级数进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表；根据超像素的量化运动向量表，计算每组运动向量数据的平均强度值和概率值，得到超像素的运动向量平均强度表和概率分布表；再计算每个超像素平均强度的全局对比度和概率分布的全局对比度；最后将两个对比度值分别归一化，进行合并得到每个超像素的时间显著度。

根据本发明的实施例，前述步骤3中计算视频帧的时间显著图的具体实现包括：

(1)用Brox的Large displacement optical flow法^[2](Brox,T.,Malik,J.(2011)Large displacement optical flow:Descriptor matching in variational motion estimation.IEEE Trans.Pattern Analysis and Machine Intelligence,33(3)500–513)计算出视频帧的光流，光流数据包括每个像素的二维运动向量；

(2)将每个超像素中所有像素的运动向量按照强度10个级数、方向16个级数进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表。如超像素p的运动向量表为MQT_p(MQT_p＝[b₁,b₂,…,b₁₆₀],b_i＝(mv₁,mv₂,…,mv_in))，其中b_i表示落到量化格i中的运动向量集合，i_n表示b_i中运动向量的个数；

(3)根据超像素的量化运动向量表，通过公式(11)、(12)计算每组运动向量数据的平均强度值和概率值，其中MVAIT(p)、MVPDH(p)分别表示超像素p的运动向量平均强度表和概率分布表，I_j表示运动向量mv_j的强度，i_n表示b_n中运动向量的个数。

(4)根据超像素的运动向量平均强度表和概率分布表，按照公式(13)、(14)分别计算每个超像素平均强度的全局对比度和概率分布的全局对比度。公式(13)、(14)中，N表示视频帧中超像素的数量，MVPDH(p,j)表示超像素p的概率分布表的j个概率值，表示超像素p的平均强度表的j个平均强度值。

(5)将所有超像素的平均强度的全局对比度和概率分布的全局对比度分别归一化，用公式(15)进行合并得到每个超像素的时间显著度。S^T(p)表示超像素p的时间显著度值。

S^T(p)＝S_pdc(p)*exp(S_aic(p)) (15)

【步骤4】

对每个超像素的时间显著度和空间显著度进行初步融合，得到视频帧的初步融合显著图。

根据本发明的实施例，前述步骤4中两种显著图的初步融合具体包括：

对每个超像素的时间显著度S^T(p)和空间显著度S^S(p)用公式(16)进行初步融合，得到视频帧的初步融合时空显著图。

【步骤5】

用自适应阈值法对空间显著图和初步融合显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域，把从初步融合图中得到的候选显著性区域作为种子候选区域，计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，遍历所有候选区域后得到最终的显著性区域图。

根据本发明的实施例，前述步骤5的具体实现包括：

(1)用自适应阈值法对空间显著图和初步融合时空显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域；

(2)把从初步融合时空显著图中得到的候选显著性区域作为种子候选区域，用公式(17)、(18)、(19)计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，将每个种子候选区域分别于所有非种子候选区域进行比较、合并后得到最终的显著性区域图。公式(17)中sim(i,j)表示候选区域i、j之间的相似性，sim_color(i,j)、sim_region(i,j)分别表示候选区域i、j之间的颜色相似性和空间相似性。公式(18)中，overlapAre(a,i)j表示候选区域i、j的重叠区域面积，Area(i)表示候选区域i的面积大小。公式(19)用候选区域i、j颜色直方图的卡方距离来衡量颜色相似性，颜色直方图通过对候选区域在Lab空间的三个通道里进行联合量化产生，三个通道的量化级数都为10，H_i(·)、H_j(·)分别表示候选区域i、j颜色直方图。

sim(i,j)＝sim_region(i,j)×sim_color(i,j) (17)

【步骤6】

获取有连续显著度值的显著图：首先将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，再对显著性区域里超像素的显著度值进行优化，得到最终的显著图，其中thresh_spatial为视频帧空间显著图的自适应阈值。

根据本发明的实施例，在一些例子中，前述步骤6的实现具体包括：

(1)将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，thresh_spatial为视频帧空间显著图的自适应阈值；

(2)再次用公式(8)对显著性区域里超像素的显著度值进行优化，得到最终的显著图，用公式(8)进行优化时，s_i表示超像素i的初步融合显著度值，且超像素i包含在已得出的显著性区域中。其他参数含义与前述步骤的含义相同。

下面将本发明前述实施例的技术方案与现有最新的4种视频显著性检测算法在10组常用的测试视频上进行比较。4种算法分别为：Hadi的Saliency aware video compression(SAVC) ^[4]，Liu的Superpixel-based spatiotemporal saliency detection(SP)^[5]，zhou的Time-mapping using space-time saliency(TM)^[6]，Wenguan的Saliency-Aware Geodesic Video Object Segmentation(SAG)^[7]。

10组测试视频选自常用的视频显著性检测数据库Saliency-based video segmentation with graph cuts and sequentially updated priors^[3](Fukuchi,K.,Miyazato,K.,Kimura,A.,Takagi,S.,Yamato,J.(2009)Saliency-based video segmentation with graph cuts and sequentially updated priors.IEEE ICME,pp.638-641),10组测试视频都包含人工标准的标准图。评价的指标为Precision值、Recall值、F-measure值、MAE(mean absolute errors)值。Precision为检测的准确率，计算方法如公式(20)。Recall为检测的召回率，计算方法如公式(21)。F-measure为结合准确率和召回率的综合评估指标，计算方法如公式(22)。公式(20)、(21)、(22)其中gt表示检测图像的标准图，s表示将算法的检测结果用阈值进行二值化后的结果，β为平衡准确率和召回率的参数，在以下试验中设置为0.3。MAE为检测结果与标准图的平均绝对误差，计算方法如公式(23)，绝对误差越小表明算法性能越优异。表1为本发明与其它四种算法在10组测试视频上的准确率、召回率、F-measure值，二值化阈值为自适应阈值法[Learning to detect a salient object]，本发明的准确率、召回率、F-measure均高于其它四种算法。表2为本发明与其它四种算法在10组测试视频上的MAE，本发明优于其它四种算法。为更准确的评价算法，排除不同阈值的影响，本发明用0～255的256个阈值分别进行分割计算F-measure，结果显示在图2，如图所示， 本发明的检测结果如曲线1所示，SAG的检测结果如曲线2，SP的检测结果如曲线3，TM的检测结果如曲线4，SAVC的检测结果如曲线5。可见，本发明在各个阈值上的检测结果均好于其他4种算法。

表1

表2

	AN119T	BR128T	BR130T	DO01_013	DO01_014	DO01_030	DO01_055	DO02_001	M07_058	VWC102T	Average
												SAVC	0.191	0.210	0.123	0.259	0.183	0.168	0.300	0.254	0.126	0.223	0.191
TM	0.153	0.335	0.179	0.242	0.110	0.324	0.199	0.437	0.122	0.077	0.186
												SP	0.063	0.201	0.097	0.194	0.052	0.205	0.067	0.064	0.046	0.073	0.106
SAG	0.089	0.293	0.098	0.217	0.047	0.259	0.050	0.064	0.030	0.044	0.119
												OURS	0.025	0.089	0.023	0.074	0.016	0.110	0.022	0.020	0.018	0.027	0.042

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种基于候选区域融合的视频显著性检测方法，其特征在于，该方法包括以下步骤：

步骤1、从视频中提取出视频帧后，先将视频帧从rgb颜色空间转换到lab颜色空间，再对视频帧进行超像素分割，将一个视频帧表示成一组超像素块；

步骤2、计算视频帧的空间显著图：先求出每个超像素块的三种特征：边界连通度、颜色分布紧凑度、距离加权的颜色对比度，然后通过三个特征计算初始的空间显著度，再根据超像素的前景概率、背景概率、相邻超像素的关系对初始的空间显著度进行优化得到优化的空间显著度值；

步骤3、计算视频帧的时间显著图：首先计算出视频帧像素级的光流数据，得到每个像素的运动向量；然后将每个超像素中所有像素的运动向量按照强度10个等级、方向16个等级进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表；根据超像素的量化运动向量表，计算每组运动向量数据的平均强度值和概率值，得到超像素的运动向量平均强度表和概率分布表；再计算每个超像素平均强度的全局对比度和概率分布的全局对比度；最后将两个对比度值分别归一化，进行合并得到每个超像素的时间显著度；

步骤4、对每个超像素的时间显著度和空间显著度进行初步融合，得到视频帧的初步融合显著图；

步骤5、用自适应阈值法对空间显著图和初步融合显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域，把从初步融合图中得到的候选显著性区域作为种子候选区域，计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，遍历所有候选区域后得到最终的显著性区域图；以及

步骤6、获取有连续显著度值的显著图：首先将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，再对显著性区域里超像素的显著度值进行优化，得到最终的显著图，其中thresh_spatial为视频帧空间显著图的自适应阈值。

2.根据权利要求1所述的基于候选区域融合的视频显著性检测方法，其特征在于，所述步骤2的具体实现包括：

(1)计算每个超像素的距离加权对比度

距离加权颜色对比度的计算方法如下述公式(1)，其中ωctr(p)为超像素p的加权对比度，N表示图像帧包含的超像素的数目；ω_spa(p,p_j)表示超像素p_j与p的空间距离权值，计算方法如公式(2)，d_spa(p,p_i)表示超像素p_j与p的空间距离，σ_spa取0.25；d_lab(p,p_j)表示超像素p和p_j在lab颜色空间的距离，计算方法如公式(3)，lab(p)和lab(p_j)分别为超像素p和p_j在lab颜色空间的取值:

$\mathrm{\ω}ctr\left(p\right)=\underset{j=1}{\overset{N}{\Σ}}{d}_{lab}(p,p_j){\mathrm{\ω}}_{spa}(p,p_j)---\left(1\right)$

${\mathrm{\ω}}_{spa}(p,p_j)=\exp (-\frac{d_{spa}^2(p,p_i)}{2{\mathrm{\σ}}_{spa}^2})---\left(2\right)$

$d_{lab}(p,p_j)=\left|\right|lab\left(p\right)-lab\left(p_j\right)|{|}_2^2---\left(3\right)$

(2)用关联繁殖(affinity propagation)聚类算法^[1]对超像素进行聚类得到若干个近似目标区域，关联繁殖聚类算法^[1](B.J.Frey,D.Dueck.(2007)Clustering by passing messages between datapoints.:Science 972–976.)的输入参数包括相似度矩阵、偏好度、抑制度，用超像素中所有像素颜色值的平均值表示该超像素的颜色值，根据超像素的颜色值构建视频帧所有超像素的相似度矩阵Sim，如公式(4)所示，Sim(i,j)表示超像素i、j之间的相似性，关联繁殖算法^[1]的偏好度设置为相似矩阵Sim的列均值，抑制度设置为0.9：

$Sim(i,j)=\left|\right|lab\left(i\right)-lab\left(j\right)|{|}_2^2---\left(4\right)$

(3)计算近似目标区域reg_i的边界连通度，一个近似目标区域中的超像素有相同的颜色分布紧凑度，边界连通度计算方法如公式(5)，其中BndCon(i)为边界连通度值，Len_bnd(i)为近似目标区域reg_i在视频帧边界上的长度，SArea(i)为近似目标区域reg_i的面积:

$BndCon\left(i\right)=\frac{{\mathrm{Len}}_{bnd}\left(i\right)}{\sqrt{SArea\left(i\right)}}---\left(5\right)$

(4)计算近似目标区域reg_i的颜色分布紧凑度，一个近似目标区域中的超像素有相同的颜色分布紧凑度，颜色分布紧凑度计算方法如公式(5)，其中BndCon(i)为颜色分布紧凑度值，K为近似目标区域包含的超像素个数，mpos(i)为近似目标区域reg_i中心的坐标，pos(j)为近似目标区域中包含超像素j的中心坐标：

$comp\left(i\right)=\frac{1}{K}\underset{j=1}{\overset{K}{\Σ}}\left|\right|pos\left(j\right)-mpos\left(i\right)|{|}_2^2---\left(6\right)$

(5)初始的空间显著度的计算方法如公式(7)所示，其中bndcon(p)、comp(p)、ωctr(p)分别表示超像素p的边界连通度、颜色分布紧凑度、距离加权对比度:

$S_{initial}^S\left(p\right)=(1-bndcon(p\left)\right)\×(1-comp(p\left)\right)\×\mathrm{\ω}ctr\left(p\right)---\left(7\right)$

(6)初始的空间显著度的优化方法，采用下述公式(8)，其中，N为视频帧包含的超像素个数，λ根据经验取5；为超像素i的前景概率，取值为初始空间显著度值 为超像素i的背景概率，计算方法如公式(9)，其中σ_b取1；超像素i、j在空间上相邻，s_i、s_j为超像素i、j的优化后的显著度值；ω_ij的计算方法如公式(10)，其中d_lab(p_i,p_j)的计算方法如公式(3)，σ_b取10。

${\mathrm{\ω}}_i^{bg}=1-\exp (-\frac{{\mathrm{bndcon}}^2\left(p_i\right)*{\mathrm{comp}}^2\left(p_i\right)}{2{\mathrm{\σ}}_b^2})---\left(9\right)$

${\mathrm{\ω}}_{ij}=\exp (-\frac{d_{lab}^2(p_i,p_j)}{2{\mathrm{\σ}}_c^2})+\mathrm{\ϵ}---\left(10\right)$

3.根据权利要求1或2所述的基于候选区域融合的视频显著性检测方法，其特征在于，所述步骤3的具体实现包括：

(1)用Brox的Large displacement optical flow法^[2]计算出视频帧的光流，光流数据包括每个像素的二维运动向量；

(2)将每个超像素中所有像素的运动向量按照强度10个级数、方向16个级数进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表，对于某个超像素p的运动向量表为MQT_p(MQT_p＝[b₁,b₂,…,b₁₆₀],其中b_i表示落到量化格i中的运动向量集合，i_n表示b_i中运动向量的个数；

(3)根据超像素的量化运动向量表，通过公式(11)、(12)计算每组运动向量数据的平均强度值和概率值，其中MVAIT(p)、MVPDH(p)分别表示超像素p的运动向量平均强度表和概率分布表，I_j表示运动向量mv_j的强度，i_n表示b_n中运动向量的个数:

$MVAIT\left(p\right)=\[{\mathrm{ba}}_1,...,{\mathrm{ba}}_i,...,{\mathrm{ba}}_{160}\],{\mathrm{ba}}_i=\frac{1}{i_n}\underset{j=1}{\overset{i_n}{\Σ}}{I}_j---\left(11\right)$

$MVPDH\left(p\right)=\[{\mathrm{bp}}_1,\mathrm{...},{\mathrm{bp}}_i,\mathrm{...},{\mathrm{bp}}_{160}\],{\mathrm{bp}}_i=i_n/\underset{j=1}{\overset{160}{\Σ}}{i}_j---\left(12\right)$

(4)根据超像素的运动向量平均强度表和概率分布表，按照公式(13)、(14)分别计算每个超像素平均强度的全局对比度和概率分布的全局对比度，公式(13)、(14)中，N表示视频帧中超像素的数量，MVPDH(p,j)表示超像素p的概率分布表的j个概率值，表示超像素p的平均强度表的j个平均强度值:

$S_{pdc}\left(p\right)=\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{160}{\Σ}}{\left(MVPDH\right(p,j)-MVPDH(i,j\left)\right)}^2---\left(13\right)$

$S_{aic}\left(p\right)=\underset{i=1}{\overset{N}{\Σ}}\underset{j=1}{\overset{160}{\Σ}}{\left(MVAIT\right(p,j)-MVAIT(i,j\left)\right)}^2---\left(14\right)$

(5)将所有超像素的平均强度的全局对比度和概率分布的全局对比度分别归一化，用公式(15)进行合并得到每个超像素的时间显著度。S^T(p)表示超像素p的时间显著度值。

S^T(p)＝S_pdc(p)*exp(S_aic(p)) (15)

4.根据权利要求3所述的基于候选区域融合的视频显著性检测方法，其特征在于，所述步骤4的具体实现包括：

对每个超像素的时间显著度S^T(p)和空间显著度S^S(p)用公式(16)进行初步融合，得到视频帧的初步融合时空显著图。

$S^{pst}\left(p\right)=\frac{S^S\left(p\right)}{S^S\left(p\right)+S^T\left(p\right)}{S}^T\left(p\right)+\frac{S^T\left(p\right)}{S^S\left(p\right)+S^T\left(p\right)}{S}^S\left(p\right)---\left(16\right)$

5.根据权利要求4所述的基于候选区域融合的视频显著性检测方法，其特征在于，所述步骤5的具体实现包括：

(1)用自适应阈值法对空间显著图和初步融合的时空显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域；

(2)把从初步融合时空显著图中得到的候选显著性区域作为种子候选区域，用公式(17)、(18)、(19)计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，将每个种子候选区域分别于所有非种子候选区域进行比较、合并后得到最终的显著性区域图；公式(17)中sim(i,j)表示候选区域i、j之间的相似性，sim_color(i,j)、sim_region(i,j)分别表示候选区域i、j之间的颜色相似性和空间相似性；公式(18)中，表示候选区域i、j的重叠区域面积，Area(i)表示候选区域i的面积大小；公式(19)用候选区域i、j颜色直方图的卡方距离来衡量颜色相似性，颜色直方图通过对候选区域在Lab空间的三个通道里进行联合量化产生，三个通道的量化级数都为10，H_i(·)、H_j(·)分别表示候选区域i、j颜色直方图。

sim(i,j)＝sim_region(i,j)×sim_color(i,j) (17)

${\mathrm{sim}}_{region}(i,j)=\frac{overlapArea(i,j)}{Area\left(i\right)}---\left(18\right)$

${\mathrm{sim}}_{color}(i,j)=\exp (-0.5*\underset{k=1}{\overset{1000}{\Σ}}\frac{{\[H_i\left(k\right)-H_j\left(k\right)\]}^2}{H_i\left(k\right)+H_j\left(k\right)})---\left(19\right)$

6.根据权利要求5所述的基于候选区域融合的视频显著性检测方法，其特征在于，所述步骤6的具体实现包括：

(1)将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，thresh_spatial为视频帧空间显著图的自适应阈值；

(2)再次用公式(8)对显著性区域里超像素的显著度值进行优化，得到最终的显著图，用公式(8)进行优化时，s_i表示超像素i的初步融合显著度值，且超像素i包含在已得出的显著性区域中，其他参数含义与前述步骤的含义相同。