CN109711417B

CN109711417B - 一种基于低水平显著性融合和测地线的视频显著性检测方法

Info

Publication number: CN109711417B
Application number: CN201811488005.8A
Authority: CN
Inventors: 李伟生; 冯思琴; 贾玲慧
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2022-12-27
Anticipated expiration: 2038-12-06
Also published as: CN109711417A

Abstract

本发明公开了一种基于低水平显著性融合和测地线的视频显著性检测方法，包括步骤：S1通过显著性估计分别求得空间边缘显著图，空间颜色显著图和运动边界图；S2平滑处理，并集成三个特征显著图得到低水平的时空显著图；S3对每一帧构造无向加权图，然后根据到图像边界的最短测地线距离，计算前景概率；S4对每对相邻视频帧，构造无向加权图，将帧L_k分解为背景区域D_k和对象区域O^k,最后在无向加权图的基础上，计算得到最后的显著图。本发明的空间颜色特征，增强或锐化突出对象的微小细节来表示高显著度。本发明的低层次显著性融合策略，保证互补地使用平滑的颜色显著性、空间边缘和时间运动边界线索产生高精度低水平显著性。

Description

一种基于低水平显著性融合和测地线的视频显著性检测方法

技术领域

本发明属于视频处理技术领域，特别涉及低水平显著性融合方法和测地线方法以及两种方法的结合。

背景技术

目前，国内外诸多著名学者都致力于显著性检测方法的研究，显著性检测方法主要有以下四种：图像显著性检测，协同显著性检测和视频显著性检测。

基于图像显著性检测经过几十年的研究已经有了很大的研究进展。主要分为两类：一类是自顶向下的检测方法，这类方法需要有训练过程和特定的先验知识；另一类方法是自底向上的检测方法，该类方法主要利用底层线索(边缘，形状，方向，颜色，深度)构建图像显著性检测模型，L.Itti和C.Koch等人提出以一种将底层特征融合的视觉显著性检测模型，首次通过定量计算对视觉显著性进行研究。近些年来，学者更是利用深度学习在人类感知系统的作用机理，将深度学习与传统的图像显著性检测方法结合进行更深一步的研究。但是图像显著性检测只对静止的图像产生好的效果，当存在动态背景或运动的目标时，忽视了运动因素，不能产生理想的显著图。协同显著性检测目的是检测在多张图像中重复出现的同一或近似的目标对象，但是该类方法受到目标类别，目标内部特性和目标位置等因素的制约，所以在研究这类方法时，要充分考虑协同显著性目标是否具备这两个条件：1)在单张图片中协同显著性目标应该是显著的；2)在同组图像之间协同显著性目标应该具有较高的相似性。相对于静止图像，视频显著目标检测模型需要考虑更多的信息量，不仅要包含目标空间域的边缘，形状，方向，颜色等底层特征，还要考虑时域内目标的运动信息，因此其算法要在静态图像显著性检测的基础上进行扩展，并且运动线索在整个显著性检测中占据重要位置，L.Itti等人在原始图像显著性检测Itti的基础上，增加了时间轴上的运动信息，其中运动特征是将相邻两帧图像通过高斯金字塔进行多尺度分解，通过“中心-环绕”算子计算差异得到的。

虽然视频显著性检测方法众多，但是却各有弊端，即使基于边缘检测的方法在视频显著性检测领域上已经得到了较好的结果，由于仅仅检测高对比度边缘导致难以均匀地突出整个对象，而提出的空间颜色显著性将色彩自然特征中的颜色边缘连通性、颜色稀有性和颜色紧凑性有效的综合在一起，完成对基于边缘检测方法的补充，另外这些方法所采用的融合过程在时间上是局部的(以逐帧的方式)，不能实现鲁棒的低显著性，并且当运动线索与颜色线索起到相反的作用时，也不能巧妙的对它们进行处理。因此我们提出的基于低水平显著性融合和测地线的视频显著性检测方法，在视频显著性检测领域具有广泛的应用前景。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种有效提取对象底层特征、并很好的将这些底层特征进行融合的一种基于低水平显著性融合和测地线的视频显著性检测方法。

本发明采用的技术方案如下：一种基于低水平显著性融合和测地线的视频显著性检测方法，包括以下步骤：

S1、首先，输入原始视频帧，并求取原始视频帧的超像素图像，根据每一个超像素图像分别求取空间边缘图ES^k，运动边界图MS^k，空间颜色显著图CS^k。

S2、其次，对得到的空间颜色显著图CS^k进行平滑处理，然后集成平滑之后的颜色显著图CS^k，运动边界图MS^k和空间边缘图ES^k得到低水平的时空显著图H^k。

S3、再次，对任一幅图像，构造一个无向加权图

V^k表示超像素节点，ε^k表示节点对之间的链路计算权重

根据到图像边界的最短测地线距离，计算前景概率为

S4、最后，对于每对相邻视频帧，构造一个无向加权图

对于每一帧，通过具有自适应阈值的前景概率

将帧L_k分解为背景区域D_k和对象区域O^k,最后在无向加权图

的基础上，计算得到最后的显著图。

所述步骤S1中求取的空间颜色显著图CS^k是通过集成颜色边缘连通性Bdc(i)、颜色稀有性Comp(i)和颜色紧凑性

得到的，

所述步骤S2中平滑处理的过程如下：

式中，c_t,i表示第t个视频帧中第i个超像素的平均RGB颜色值，

表示满足||p_t,i,p_k,j||≤θ的空间局部邻域，σ控制平滑强度。c_k,j表示第k个视频帧中第j个超像素的平均RGB颜色值，

表示第k帧中第j个超像素的颜色显著性，

表示第t帧中第i个超像素平滑之后的颜色显著性,pt_,i表示第t帧中第i个超像素的中心位置，p_k,j分别表示第k帧中第j个超像素的中心位置。

所述步骤S3中对每个超像素，根据到图像边界的最短测地线距离，计算前景概率

式中，沿着帧L_k四条边界的超像素表示为G,在图

中，

表示第n帧中的第k个超像素，任意两个超像素之间的测地线距离定义为图

上沿其最短路径的累积边权：

式中，C_v1,v2(p)表示连接节点V₁,V₂的路径，W^k表示图

的权重矩阵，每一帧的前景概率

归一化为[0,1]。

表示超像素

和

之间的测地线距离。

所述步骤S4中计算最后的时空显著图

如下：

本发明的优点及有益效果如下：

本发明提出了一种新的无监督视频显著性检测方法。使用一组更完整的显著性线索，利用空间边缘来构造外观信息，时间运动边界来构造运动信息。特别地，为了充分考虑颜色的固有特性，集成从超像素图像中提取的颜色边缘连通性、颜色稀疏性和颜色紧凑性得到空间颜色显著信息，以补偿仅检测高对比度边缘造成的底层特征缺乏。其次采用的平滑策略进一步提高了检测精度。随后，采用一种新的基于策略的低水平显著性融合方法，保证互补地利用平滑的颜色显著性、空间边缘和运动边界线索来产生高精度的低水平时空显著图。

附图说明

图1是本发明提供优选实施例方法的流程图；

图2为集成的空间颜色显著图示例；

图3为平滑的颜色显著图示例；

图4为集成的低水平时空显著图；

图5为SegTrack v2中的实验原图和各方法的实验结果图示例；

图6为ViSal中的实验原图和各方法的实验结果图示例；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明的方法流程如图1所示。

本发明涉及了集成的空间颜色显著图示例如图2、平滑的颜色显著图示例如图3、集成的低水平时空显著图示例如图4。

具体步骤：

步骤S1：输入一组视频帧，采用SLIC算法将视频帧分解为超像素图像，根据每一个超像素图像求取空间边缘图ES^k，采用大位移运动估计算法获得后续帧对之间的光流ν^k，随后根据

计算梯度值，其中ν^k表示帧对间光流，

表示梯度值，并最终得到超像素光流梯度图MS^k。计算空间颜色显著图时要分别计算颜色边缘连通性Bdc(i)、颜色稀有性Comp(i)和颜色紧凑性

式(1)中，len(i)表示图像中近似目标区域边缘上的像素数目，area(i)表示近似目标区域面积。

式(2)中，

表示超像素

中所有像素的平均值。mpos(i)代表了目标区域中所有像素的平均值，K表示近似目标区域i中的超像素数目

式(3)中，N表示图像中的超像素数目，式(4)中

表示距离加权系数，

表示两个超像素之间的距离，σ_spa设为0.25，式(5)中

表示两个超像素之间的距离，

表示超像素

中所有像素在Lab颜色空间的平均值，

表示超像素

中所有像素在Lab颜色空间的平均值。最后我们通过下面的公式来集成Bdc(i)，Comp(i)和

得到空间颜色显著图CS^k：

步骤S2：得到空间颜色显著图之后，我们对它进行平滑，进一步的提高检测精度，平滑过程如下：

式(7)中，c_t,i表示第t个视频帧中第i个超像素的平均RGB颜色值，

表示满足||p_t,i,p_k,j||≤θ的空间局部邻域，c_k,j表示第k个视频帧中第j个超像素的平均RGB颜色值，

表示第k帧中第j个超像素的颜色显著性，

表示第t帧中第i个超像素平滑之后的颜色显著性,p_t,i表示第t帧中第i个超像素的中心位置，p_k,j分别表示第k帧中第j个超像素的中心位置，σ控制平滑强度其中θ的定义为：

式(8)中m和n分别表示当前帧中的帧号和超像素号。式(9)中E(·)表示指示函数，ξ经验性的设置为10来控制过滤强度，第i个超像素的平均中心坐标表示为I_i，同时为了确保在每一帧中显著性的一致性，第q帧的的平滑范围θ_q可以被动态的更新如下所示：

θ_q←αθ_q+(1-α)θ_q-1 (10)

式(10)中，α表示学习权重，我们将它设为0.2。最后我们按照如下的方式集成空间信息和运动信息，得到融合的低水平时空显著图：

H^k＝CS^kοMS^kοES^k (11)

步骤S3：对一幅图像，构造一个无向加权图

使用超像素作为节点V^k，使用节点对之间的链路作为边ε^k，计算权重

对每个超像素，根据到图像边界的最短测地线距离，我们计算前景概率

式(12)中，沿着帧L_k四条边界的超像素表示为G,在图

中，任意两个超像素之间的测地线距离定义为图

上沿其最短路径的累积边权：

式(13)中，C_v1,v2(p)表示连接节点V₁,V₂(分别对于p＝0和p＝1)的路径。每一帧的前景目标概率

归一化为[0,1]；随后，I^k表示帧L_k的目标概率图。

步骤S4:对于每对相邻视频帧，构造一个无向加权图

对于每一帧，我们通过具有自适应阈值的对象概率

将帧L_k分解为背景区域D_k和对象区域O^k,最后在无向加权图

的基础上，计算得到最后的显著图：

式中，

表示第n帧中的第k个超像素，D表示相邻两帧的背景区域，

表示构造的帧间图。基于图

计算了显著性，

表示到相邻两帧背景的最短测地线距离。

为了评估本算法的性能，本发明采用SegTrackv1,SegTrack v2,and ViSal三个公开视频数据集作为实验数据集，并且与六种图像显著性模型：BSCA，MIPS，SP-MS，MST，LPS，RCRR和五种视频显著性模型：SAG,GF,SGSP,SGAF,and STBP进行实验对比。

本实验选择了S-measure，MAE，NSS，and s-AUC四个评价指标对实验结果进行定性定量评价，图5为SegTrack v2中的实验原图和各方法的结果图。图6为ViSal中的实验原图和各方法的实验结果图，表1为采用S-measure，MAE，NSS，and s-AUC评价指标定量分析实验结果。实验结果对比表如表1所示，在SegTrack v1中，我们的方法在NSS和s-AUC指标上表现出最好的结果，并且在MAE和S-measure这两项指标上略低于SAG方法。在SegTrack v2中，我们的方法在NSS、s-AUC和S-measure指标上展示了最好的结果，但是在MAE指标上略低于STBP方法。在Visal数据集中，我们的方法在NSS、MAE和S-measure这三个评价指标中取得了最好的结果，但是在s-AUC评价指标中略低于MIPS方法。

表1实验结果对比表

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。