CN108550132B - 一种图像协同显著目标检测方法 - Google Patents

Abstract

一种图像协同显著目标检测方法，首先，对一组图像中每副图像进行超像素分割并构图；然后，将这组图像边界的超像素互相连接起来，基于组合后图像的协同显著区域紧凑性先验知识，再结合背景先验知识优化得到每幅图像的初始显著图；再次，对一组图像中一幅图像进行基于超像素的全局相似度显著传播得到初始协同显著图；最后，对初始显著图和初始协同显著图进行融合得到最终的协同显著图。

Description

一种图像协同显著目标检测方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种图像协同显著目标检测方法。

背景技术

如今，我们的世界充满着大量的信息，各种信息以不同的载体出现在我们的身边，有声音、文字、图像、视频等等。尽管外界信息如此多样变化，人类依然可以依靠视觉感知系统去感知约80％的信息，并且能够在较短的时间内对如此繁杂的信息做出识别和响应。而这一切都是因为人类视觉机制会选择性地过滤非注意事件，而优先对注意事件保持较高的准确率和响应速度。启发于人类的视觉注意机制，计算视觉领域诞生了图像显著目标检测方法。显著目标检测目的是识别出图像场景中最容易引起人类视觉注意力的目标，主要应用在图像分割、图像压缩、图像检索、目标检测和识别等领域。计算机在进行相关图像处理操作前可以采用显著检测技术过滤掉无关信息，从而大大减小图像处理的工作量，提升效率。

计算机视觉中的协同显著性检测越来越受到人们的关注，并可以应用在很多视觉任务中，比如协同分割、协同对象识别、图像检索和图像摘要等领域。

现在对于多幅图像之间的协同显著，Chang等人《From co-saliency to co-segmentation:An efficient and fully unsupervised energy minimization model》首先为每个图像生成单独的显著图，然后在大多数图像中频繁出现的显著区域被检测为协同显著对象。Fu等人《Cluster-Based Co-Saliency Detection》基于像素级别聚类再使用对比度线索，空间线索和协同线索进行协同显著性检测。Cao等人《Self-AdaptivelyWeighted Co-Saliency Detection via Rank Constraint》使用不同的单图像显著性模型生成的多重显著图基于秩为一的约束进行组合；Li《Saliency-Model-Guided Visual Co-Saliency Detection》等人提出由单图像显著模型生成的显著图被充分利用在两个阶段查询排序方案指导的协同显著检测；Liu等人《Co-Saliency Detection Based onHierarchical Segmentation》对细分区域进行了区域相似度和区域对比度测量，并在粗分割基础上测量显著对象，并将这些检测结果与区域之间的全局相似性进行了整合，得到最终的协同显著图；Li等人《Co-saliency detection based on region-level fusion andpixel-level refinement》组合使用基于层次分割的区域级融合和像素级细化，以提高协同显著性检测性能；Ye等人《Co-Saliency Detection via Co-Salient Object Discoveryand Recovery》利用粗分割和细分割并且结合边缘检测和目标检测通过区域级的相似度最终生成协同显著图；Hwang等人《Image co-saliency detection based on clusteringand diffusion process》提出先提取单个图像的显著区域依据超像素的相似度得到超像素的协同显著值，再计算基于超像素类的协同显著值，最后通过两个阶段的显著值扩散得到最终的协同显著图。

然而上述大部分协同显著性检测工作并不能得到很好的检测效果，因此亟需提供一种新型的对于多幅图之间的系统显著目标检测方法来解决上述问题。

发明内容

为解决上述技术问题，本发明一种图像协同显著目标检测方法，首先，对一组图像中每副图像进行超像素分割并构图；然后，将这组图像边界的超像素互相连接起来，基于组合后图像的协同显著区域紧凑性先验知识，再结合背景先验知识优化得到每幅图像的初始显著图；再次，对一组图像中一幅图像进行基于超像素的全局相似度显著传播得到初始协同显著图；最后，对初始显著图和初始协同显著图进行融合得到最终的协同显著图。

本发明解决技术问题采用如下技术方案：

一种图像协同显著目标检测方法，其步骤包括：

(1)将一组图像中每幅图像分割为超像素，以超像素为节点，构造闭环图，此过程称为局部构图；

(2)将一组图像中单幅图像之间的边界超像素互相连接起来，由此得到一组图像组成的大图，并构造整幅大图的闭环图，此过程称为全局构图；

(3)使用流形排序来传播相似度，通过计算超像素的空间方差来抑制背景和显著但非协同部分，由此得到基于全局紧凑先验的前景先验显著图；

(4)计算每一幅图像中超像素距离图像中心的距离得到前景先验图，然后与所述基于全局紧凑先验的前景先验显著图进行融合处理；

(5)在局部构图的基础上，引用边界连通性先验知识对初始显著图进行背景抑制优化，从而得到边界连通性背景先验显著图；

(6)使用显著性优化算法来融合(4)和(5)得到的显著图；

(7)一组图像中一幅图像与剩余所有图像，基于图像之间超像素的颜色相似性和对应初始显著图超像素的显著值进行显著值传播，得到基于全局相似度显著传播的显著图；

(8)使用加法运算融合(6)和(7)得到显著图，最后使用高斯优化提高显著值的准确率。

与已有技术相比，本发明有益效果体现在：

1.对一组图像中单个图像先构图，然后将这组图的边界节点互相连接，再使用基于全局的紧凑先验知识进行一组图像的显著性检测。

2.利用全局一组图像之间的超像素之间的相似度，通过对初始显著图进行全局相似度显著传播。

附图说明

图1为本发明算法流程图。

图2为本发明连接一组图像边界的超像素的示意图。

图3为本发明局部紧凑先验和全局紧凑先验PR曲线对比图。

图4为本发明局部紧凑先验和全局紧凑先验评估指标直方图对比图。

图5为本发明应用全局相似度显著传播的PR曲线对比图。

图6为本发明应用全局相似度显著传播的评估指标直方图对比图。

图7为本发明与其他协同显著检测方法对比实验PR曲线图对比图。

图8为本发明与其他协同显著检测方法对比实验评估指标直方图对比图。

图9为本发明与其他协同显著检测方法质量对比效果图。

以下通过具体实施方式，并结合附图对本发明作进一步说明，但本发明的实施方式不限于此。

具体实施方式

下面结合附图对此发明的较佳实施例进行详细阐述，以使此发明的优点和特征能更易于被本领域技术人员理解，从而对此发明的保护范围做出更为清楚明确的界定。

请参阅图1，此发明实施例包括：

一种图像协同显著目标检测方法，包括基于全局紧凑先验的显著检测和基于全局相似度显著传播。全局紧凑先验方法需要全局构图，然后融合两种不同方式得到的前景先验显著图。全局相似度显著传播通过一组图像中一幅图像与剩余所有图像，基于图像之间超像素的颜色相似性和对应初始显著图超像素的显著值S_sal进行显著值传播。

在此发明一个较佳实施例中，所述一种图像协同显著目标检测方法，具体包括以下步骤：

S1:对一组图中的每个图像采用SLIC算法进行超像素分割，将图像分割成N个超像素。对于图像中每个超像素表示为i{i＝1...N}。

S2:以超像素为单位对图像进行局部构图和全局构图，进一步的，在步骤S2中，局部构图和全局构图的方法如下：

S2.1:局部构图：由于基于相邻的区域可能具有相似的外观特征，相距较远的超像素外观值相似度高，但这两个超像素也不一定具有相似的显著性值，所以将超像素i和超像素j之间的相似度权重定义为W_ij：

其中，||c_i-c_j||表示超像素i和超像素j里像素的平均LAB颜色空间特征向量c_i和c_j之间的欧式距离；δ是常量；K(i)表示超像素i的直接相邻节点以及那些相邻节点的直接邻居节点的集合；B表示处于图像边界的超像素节点集合。因此，关联矩阵W＝[w_ij]_N×N表示任何一对超像素之间的相似度，度矩阵D＝diag{d₁,...,d_N}，其中d_i＝Σ_jW_ij是将每个节点和其他节点相似度相加，这样可以得到归一化后的矩阵：

S＝D^-1/2WD^-1/2 (2)

S2.2:全局构图：基于之前局部构图基础上，将一组图像中单幅图像之间的边界超像素互相连接起来如图2所示，由此可以得到一组图像组成的大图，此过程即称为全局构图。由全局构图即可引入基于全局紧凑先验知识进行显著性检测。

与局部构图相比全局构图不同的是将一组图像组成一幅图像，对应的每一幅图像的边界超像素互相连接在一起，因此对于局部构图中定义的超像素之间的关联矩阵W_ij，在全局构图中同样适用，特别地，在全局构图中定义的关联矩阵对应公式(1)中的B表示所有图像中处于图像边界的超像素节点集合。

S3:基于全局紧凑先验显著检测：在单幅显著图检测中，显著对象通常对应于实际事物对象，这些显著目标通常组合在一起从而成为连接的区域。因此，显著对象通常具有紧凑的空间分布，而背景区域在整个图像上具有更宽阔的分布。同样，那么通过将一组待检测的图像进行全局构图后，从而组成一幅大图像，那么此时这幅大图像中协同显著部分由于在每一幅图中都会出现所以更加具有空间分布紧凑的属性，而那些非协同显著区域由于不会在图像中反复出现所以具有相对分布较更宽的特点。由此可以使用全局紧凑先验进行显著检测。

为了更精确地描述超像素之间的相似性，通过构建的图使用流形排序来传播相似度，如公式(3)所示。

其中，H_all＝[h_ij]_N'×N'为扩散传播后的相似矩阵；W_all为一组图像进行全局构图后对应的关联矩阵同理公式(1)；D_all为一组图像进行全局构图后对应的度矩阵；而A_all＝[a_ij]_N'×N'为一组图像全局构图后求得的归一化关联矩阵，N'表示一组图像中超像素的总数目，其中a_ij表示一对超像素i和j相似度如公式(4)所示：

由于突出物体通常被背景区域包围。因此，在空间域中，当与显著颜色相比时，背景区域的颜色通常在整个图像上具有较大的扩展。在图像上表现出大的空间方差的颜色不太可能是显著的。我们计算超像素i的空间方差：

其中，n_j表示属于超像素j的像素数目，

表示超像素j的中心位置，对于空间平均值，

定义为：

此时，可以得到相应的基于全局紧凑先验的前景先验显著图，如图1(b)所示，可以从这步检测结果发现不仅多幅图像中的绿色草地背景部分被抑制住了，而且对应的显著但非协同部分的黄色球员和蓝色运动员均相比协同显著的红色运动员也被不同程度的抑制住了。

另一方面，人们在拍照时通常会在图像中心附近放置自己感兴趣的对象。由此，显著的物体更有可能放置在图像中心附近，背景通常遍及整个图像，因此在全局构图基础上，计算每一幅图像中超像素距离图像中心的距离：

其中，p(i)为超像素i所属图像的中心坐标；由此即可以得到图1(c)的前景先验显著图。

最后，对以上两项sv(i)和sd(i)按下列公式(8)进行融合处理：

S_f(i)＝1-Norm(sv(i)+sd(i)) (8)

其中，Norm(x)是归一化函数，将x归一化到0到1之间。便得到融合后的前景先验显著图。

S4:通过边界连通性相关知识对初始显著图进行背景优化根据边界连通性，计算背景区域采用下式：

其中，Len_bnd(i)表示区域连接图像边界的长度，Area(i)表示区域i的面积。将图像的边界作为背景种子，那么超像素i背景显著值为S_b(i)，公式为：

其中，δ_BC为常量。这时便可以得到图1(d)的边界连通性背景先验显著图。

S5:为了更好突出显著前景，抑制图像背景以及保持光滑的显著值，基于局部构图利用显著性优化算法，来融合前景先验显著图和背景先验显著图。令W_f和W_b为对角矩阵，其中对角线上值分别为前景先验显著S_f和背景先验显著S_b，那么融合优化过程可以通过能量最小化下式：

x^TW_bx+(x-1)^TW_f(x-1)+x^T(D-W)x (11)

公式从左到右三项：第一项为背景项，其鼓励具有较大背景概率W_b的超像素i取小显著值x(接近0)；第二项为前景项，其鼓励具有较大前景概率W_f的超像素i占据较大的显著值x(接近1)；对于最后一项W是由W_ij组成的平滑矩阵，D是W的度矩阵。通过连接所有相邻的超像素(i,j)并将其权重分配为：

其中，u为实验固定参数值为0.1。通过优化上式，我们可以得到下式(13)：

S_sal＝(W_b+W_f+D-W)^-1W_f·1 (13)

其中1表示由1组成的列向量，其维度与所要检测的图像的超像素数目相同。

通过融合优化基于全局紧凑先验的前景先验显著图和边界连通性的背景先验显著图即可得到如图1(e)所示的初始显著图。

S6:基于全局相似度显著传播是通过一组图像中一幅图像与剩余所有图像，基于图像之间超像素的颜色相似性和对应初始显著图超像素的显著值S_sal进行显著值传播。以一组M张图像为例，其对第m(n＝1,...,M,n≠m)张图像的显著性传播公式(14)如下：

其中，

表示第m张图像的超像素i和第n张图像的超像素j之间的颜色相似度，λ为常量取值为10，而

表示第n张图像对应的初始显著图第j个超像素的显著值。那么第m张图像中超像素i的基于全局相似度显著传播定义为：遍历M张引导图像以及其中第n张图像中所有超像素j，通过第n张图像的超像素j初始显著值

及超像素i和超像素j之间的颜色相似度加权共同决定。这种简单而有效的方式，将一组图像从M-1张引导图像的初始显著图n的显著值依据全局图像超像素与被引导图像上相应超像素颜色相似度传播到被引导图像m的对应的超像素上，这样使得不同图像的相似度越高的超像素就越具有相似的显著性值。如图1(f)通过使用基于全局相似度显著传播的检测结果可以明显发现这些非协同显著区域均被抑制住了。

S7:融合并细化显著图，进一步的，在步骤S7中,融合和细化的具体方法如下：

S7.1:由于基于全局相似度显著传播可能会导致有些背景区域被高亮，所以我们结合初始显著图良好的背景抑制效果，采用公式(15)的加法运算融合显著图。

其中，

表示使用基于全局紧凑先验的初始显著图像m的超像素i的显著值，

表示使用基于全局相似度显著传播的初始协同显著图m的超像素i的显著值。

S7.2:考虑到超像素内的像素点的区别性，如果把超像素的显著值直接分配到超像素内每个像素上，结果会有一定的误差，所以需要对误差进行一定的优化，通过高斯优化来提高显著值的准确率，形成最终显著图。

此发明提出一种协同性显著目标检测方法，不同于以往的显著检测，对一组图像中单个图像先构图，然后将这组图的边界节点互相连接，再使用基于全局的紧凑先验知识进行一组图像的显著性检测。然后利用全局一组图像之间的超像素之间的相似度，通过对初始显著图进行全局相似度显著传播。

用iCoseg数据集从全局紧凑先验知识和单幅图内使用局部紧凑先验知识进行对比试验，最终得到如下图3所对应的PR曲线图和图4所对应的评估直方图。通过图3图4，可以发现，基于全局紧凑先验知识无论是从PR曲线还是从评估直方图方面对比效果都要明显优于在一组图中对单幅图使用紧凑先验知识，这说明全局紧凑先验知识对协同显著检测具有增强作用。

在iCoseg数据集上分别进行初始显著图、初始协同显著图、最终协同显著图进行实验对比，最终的实验结果如图5、图6所示。从PR曲线和评估指标直方图可以发现使用基于全局相似度的显著传播方法的初始显著图相比未使用该方法的初始显著图均具有明显提升效果，即可以说全局相似度显著传播对协同显著检测具有增强作用。另一方面，从实验结果也可以发现对初始显著图和初始协同显著图融合阶段也是十分有效的。

与6个经典的算法(即CB、HS、RFPR、SACS、EMR、CODR算法)在iCoseg数据集上进行实验比较。实验结果如图7、图8所示。从图7中的PR曲线可以发现本发明方法对应于图中的红色的曲线除了与CODR所对应的曲线相交之外，都要高于剩余的五种算法对应的曲线，这表明本发明提出的算法模型在查全率和查准率上要明显优于这五种算法模型。图8的评估指标直方图表明，此发明在查准率达到0.8383,高于其他6种算法，F-measure值为0.7802略低于算法CODR的0.7962，但皆高于其他算法。

如图9所示是此发明分别与六种算法的质量对比实验结果，图中从上到下依次表示输入图像、真值图、CB、HS、RFPR、SACS、EMR、CODR以及本发明提出的算法。图9中选择1～5列和6～10列两组图像。图像都是分别来自于iCoseg数据集中对应两个类中的五张图像，对于第一组图像其中的协同显著目标为豹子，通过实验结果可以看出本发明提出的方法有很好的表现，豹子这个前景区域得到很好的高亮而同时背景区域也得到了很好的抑制，而第二组背景比较复杂图像的协同显著目标为穿红色衣服的足球员，通过图中可以发现红色球员被很好的高亮，而包括穿蓝色，黄色等衣服的球员等背景区域都被很好的抑制住了。通过实验结果质量对比表明本发明相对于其他六种经典算法，此发明不仅能够针对一组简单背景图像做出很好的协同显著检测，也能很好抑制较复杂的背景和显著非协同区域的一组复杂背景图像。

以上所述仅为此发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明专利保护范围内。

Claims (1)

1.一种图像协同显著目标检测方法，其步骤包括：

(1)将一组图像中每幅图像分割为超像素，以超像素为节点，构造闭环图，此过程称为局部构图；

(2)将一组图像中单幅图像之间的边界超像素互相连接起来，由此得到一组图像组成的大图，并构造整幅大图的闭环图，此过程称为全局构图；

(3)使用流形排序来传播相似度，通过计算超像素的空间方差来抑制背景和显著但非协同部分，由此得到基于全局紧凑先验的前景先验显著图；

(4)计算每一幅图像中超像素距离图像中心的距离得到前景先验图，然后与所述基于全局紧凑先验的前景先验显著图进行融合处理；

(5)在局部构图的基础上，引用边界连通性先验知识对初始显著图进行背景抑制优化，从而得到边界连通性背景先验显著图；

(6)使用显著性优化算法来融合(4)和(5)得到的显著图；

(7)一组图像中一幅图像与剩余所有图像，基于图像之间超像素的颜色相似性和对应初始显著图超像素的显著值进行显著值传播，得到基于全局相似度显著传播的显著图；

(8)使用加法运算融合(6)和(7)得到显著图，最后使用高斯优化提高显著值的准确率。

Images