CN103745468A - 一种基于图结构和边界先验的显著性物体检测方法 - Google Patents

Abstract

本发明提供一种基于图结构和边界先验的显著性物体检测方法，该方法的主要思想是将图像的上、下、左、右四条边界上的超像素作为背景先验(边界先验)，通过建立图结构得到图像中每一个超像素到边界的测地线距离，利用其来衡量显著性大小。首先将输入图像过分割为超像素；其次将每一个超像素作为图结构的顶点，并且加入四个虚顶点，定义三种类型的边及其权值，以此建立起完整的图结构；紧接着计算每一个顶点分别到四个虚顶点的最短距离得到四张显著性图；最后通过一个融合策略输出最终的显著性图。本发明得到的显著性图能均匀的突出图像中的显著性物体，尤其是可以很好的抑制背景，有利于后续诸如图像检索、目标跟踪等处理。

Description

一种基于图结构和边界先验的显著性物体检测方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，具体涉及一种基于图结构和边界先验的显著性物体检测方法。

背景技术

显著性的计算模型一直是计算机视觉领域中的热点问题，即在时空域大量信息中选择特定感兴趣区域的过程。视觉显著性是生物视觉系统的信息处理的重要环节，为进一步高层问题奠定基础。显著性检测就是要使得计算机拥有人的这一视觉选择注意机制。一方面，视觉显著性的计算模型，可以为生物视觉系统的工作机理提供佐证；另一方面，视觉显著性的计算模型，可以为计算机视觉领域中的场景理解问题提供帮助。显著性检测的结果被称为“显著性图”，图上亮度越大的区域意味着越容易吸引人的注意。

显著性检测的主要方法大体可以分为三类。第一类方法，采用“自底而上”思想，即利用局部中心邻域结构，实现显著性的建模。第二类方法，采用“自顶向下”思想，即利用图像的统计特性的先验知识，实现显著性的建模。第三类方法，则同时运用“自底而上”与“自顶向下”的想法，结合机器学习方法，实现显著性的度量。本发明主要利用图像中的利用底层特征如颜色、分布等作为显著性检测的依据，因此本发明属于“自底向上”的显著性检测方法。

近些年来，国内外很多知名学者在这方面做了大量的有益成果，其中的方法主要有：Itti等人于1998年提出使用特征的中心－周围差异原理来进行显著性检测，所用特征具体包括颜色、强度与方向，并且采用DOG来实现中心周围差异的计算。Hou等人于2007年提出光谱残差的方法，其在图像傅立叶变换后的幅度谱上计算光谱残差，然后再将该残差进行反变换得到显著性图。Cheng等人于2011年提出利用直方图来得到颜色的统计特性，从而利用基于颜色对比来估计图像块的显著性，其特点是对颜色进行了量化，提升了检测效率。Perazzi等人于2012年提出将显著性检测视为图像特征上的高维高斯滤波操作。

专利方面，申请号为CN201110335538.4的中国发明专利申请通过对待检测图像进行多次小波变换，利用小波变换所得到的高频带数据初步确定显著性物体的大小和位置后，再采用中心—周边直方图算法获得精确的显著性值，从而准确地检测到显著性物体；申请号为CN201210425652.0的中国发明专利提出一种基于尺度选择的自顶向下的视觉显著性提取方法，包括两个阶段，训练阶段学习得到非线性模型，并找到多尺度合并中的最佳的尺度。它充分考虑了人的意图，而且利用多尺度的上下文关系，能有效地提取出与人的意图相关的视觉显著的区域；申请号为CN201310044869.1的中国发明专利申请利用颜色对比和颜色分布，综合这两种特征使得检测结果比较均匀，保持物体的边缘细节，并且能够较强的抑制背景干扰。

本发明的方法不同于上述所有方法，因为本发明切入点如何定义背景，以往的大多数方法因为显著性物体检测而关注点都在何为显著性物体，而本发明从背景的角度出发，通过建立图结构，最终将显著性物体凸显出来，与以上的方法检测结果相比，不仅可以保证均匀完整的突出显著性物体，更突出的优势是可以更好地抑制背景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于图结构和边界先验的显著性物体检测方法，该方法能有效突出图像中的显著性物体，同时抑制背景，有利于后续诸如图像检索、目标跟踪等处理。

所谓边界先验是指在一幅图像中，靠近边界的部分一般来说都是背景，这是根据大量观察和摄影原则得到的，具有比较普遍的适用性，本发明的思想正是基于此，但是方法的设计也同时考虑到了少数边界不止有背景，也有显著性物体切到的情况，因此本发明利用边界先验但并不局限于该先验。

本发明所述的基于图结构和边界先验的显著性物体检测方法，具体步骤如下：

1、图像预处理

将输入的彩色图像过分割为许多颜色相似，保边界的超像素，并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位；

具体地：将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图像过分割为K个超像素，按照式(1)计算超像素内部的平均位置p_i和平均颜色c_i，将超像素作为处理的最小单位；

$p_i=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{SP}}_i}{I}_p}{\left|{\mathrm{SP}}_i\right|},c_i=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{SP}}_i}{I}_c}{\left|{\mathrm{SP}}_i\right|}---\left(1\right)$

其中I_p为像素I的位置向量(2维向量[x,y])，I_c为像素I的颜色向量(3维向量[L,a,b])，|SP_i|表示超像素SP_i中所含像素的个数，i表示超像素的下标号(i=1,2,…,K)。

本发明通过图像预处理，进一步提升了图像处理的速度和检测结果的均匀。超像素和像素相比，是一个颜色相似的区域，将其作为处理单元，可以减少单元的个数，而且可以保证最终同一个单元中的像素的显著性一致，使得检测结果更加均匀。

2、建立图结构

把每一幅图像转化为一个图结构，将超像素作为图结构的顶点，并且加入四个虚顶点，每一个虚顶点对应图像的一条边界，同时再定义三种类型的边即邻接边、特征边、虚边及其权值；

具体地：把每一幅图像转化为一个图结构，一个完整的图结构G包含顶点集合V、边集合E以及边的权值集合W。

（1）顶点集合V

图的顶点集包含两类顶点，第一类顶点是上一步分割得到的超像素，即图像中的每一个超像素作为图结构中的一个顶点；第二类顶点是额外加入的四个虚顶点，分别对应图像的上、下、左、右四条边界；

（2）边集合E

图的边集合包含三类边：

第一类边称为“邻接边”：每一个超像素在位置空间上和与其相邻（共享边界的）的超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离，因为相邻的超像素有很大可能处于同一显著性水平；

第二类边称为“特征边”：每一个超像素在颜色空间上和与其最相似的k个超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离的同时，还要考虑位置空间的距离；因为颜色相似的超像素直接相连可以减小最后所求距离的长度，这一点是专门考虑到路径所带来的积累效应而特别设计的，对抑制背景十分有效，但是如果所连的超像素中有可能存在显著的超像素，这样直接相连有可能削弱其显著性，所以在之后的权值设计时要再将位置空间考虑进去；

第三类边称为“虚边”：每一个虚顶点和其对应的边界上的超像素顶点之间所连的边，权值采用基于颜色对比的方式。虚边的存在主要解决边界先验不满足，即边界上不止有背景还有部分显著性物体切到的情况。

（3）边的权值集合W

图的权值集合针对边集合对应三类权值：

第一类为“邻接边”权值：该类边的权值定义为两个超像素在LAB空间上的Euclidean距离，如式(2)所示：

w(i,j)=||c_i-c_j||₂    (2)

其中c_i,c_j为超像素SP_i和SP_j的平均颜色，i,j表示超像素的下标号，从式子可以看出，越相似的邻接区域邻接边权值越小。

第二类为“特征边”权值：该类边的权值定义综合考虑到两个超像素在颜色空间和位置空间的差别，如式(3)所示：

$w(i,j)=e^{\mathrm{\β}{\left|\right|p_i-p_j\left|\right|}_2}\×{\left|\right|c_i-c_j\left|\right|}_2---\left(3\right)$

其中c_i,c_j为超像素SP_i和SP_j的平均颜色，p_i,p_j为超像素SP_i和SP_j的平均位置，i,j表示超像素的下标号，β为控制这两种差别作用的一个参数，将与SP_i在颜色空间相似的k个超像素都按照式(3)所定义的权值相连。从式子可以看出，如果位置空间上相距很远的超像素即使颜色很相似，也依然会具有较大的权值，在之后决策最短距离的时候倾向于被忽略，符合对显著性物体的一般认识，显著性物体是具有紧凑性的，即相似的两个超像素如果属于同一显著性物体，不会相离的很远。

第三类为“虚边”权值：该类边的权值定义基于某一边界上的所有超像素之间的颜色对比，如式(4)所示(以对应上边界的上虚顶点φ_top为例)：

$\∀i\∈{\mathrm{\Ω}}_{\mathrm{top}},w(i,{\mathrm{\φ}}_{\mathrm{top}})={\mathrm{\Σ}}_{j\∈{\mathrm{\Ω}}_{\mathrm{top}}}{\left|\right|c_i-c_j\left|\right|}_2---\left(4\right)$

其中Ω_top为上边界超像素的集合，i,j表示超像素的下标号，同理可定义其余三条边界对应的虚边权值。

3、显著性图计算

利用图结构，采用Dijkstra算法计算每一个顶点分别到四个虚顶点的最短距离，如式(5)所示：

$S_1\left(i\right)={\min }_{N_1=i,N_2,...,N_{\mathrm{end}}={\mathrm{\φ}}_{\mathrm{top}}}{\mathrm{\Σ}}_{k=1}^{n-1}\mathrm{\ω}(N_k,N_{k+1}),s.t.(N_k,N_{k+1})\∈E---\left(5\right)$

其中S₁(i)为超像素i到对应上边界的虚顶点φ_top的最短距离，E是所有边的集合，N_k是出现在从i到φ_top这条路径上的顶点，ω(N_k,N_k+1)是连接N_k,N_k+1这两个顶点的边的权值。距离越大，代表该超像素的显著性值越大。同理可以计算出S₂(i)、S₃(i)、S₄(i)，分别对应超像素i到对应下、左、右边界的虚顶点的最短距离，这样就得到了四幅显著性图S₁、S₂、S₃和S₄。

4、显著性图融合：通过一个融合策略输出最终的显著图，该融合策略凸显显著性物体的同时，更加有效地抑制背景。

首先将S₁、S₂、S₃、S₄四幅显著性图均归一化到[0,1]之间，然后按照式(6)所示的融合方法输出最终的显著性图：

其中S_boundary(i)为超像素i在最终的显著性图中的显著性值，

为利用OTSU算法求得的对应S_h的一个阈值，该阈值可以使图像显著性值集合分为两类，而且这两类的类间差别最大。融合策略的思想即如果超像素i在S₁、S₂、S₃、S₄四幅显著性图中的显著性值均满足

那么认为它是显著的区域，采用平均加权的策略；如果在任意一幅中违反这个条件，那么认为它是非显著的区域，则采用相乘策略。

相乘策略的主要作用是抑制背景，由于四幅显著性图均归一化到[0,1]之间，意味着四个小于1的数的相乘结果会远远小于其中任何一个(比如0.3⁴＜＜0.3)，也就是说这对属于背景的超像素，其显著性的检测结果越小越好，然而它同样也会带来过抑制的问题，即把本来显著性很大的属于显著性的超像素抑制(比如0.9⁴=0.66)，所以此时采用加权平均的策略使得融合的结果维持原来其在单幅图中的显著水平(比如(0.9+0.9+0.9+0.9)/4=0.9)，而决定采用平均还是相乘就要看该超像素在四幅图中的显著性水平，如果一直都维持很高，和四条边界都相差很大，那么它就很有可能是属于显著性物体部分，反之如果它在基于某一条边界的显著性图中的显著值很低，说明它可能和这条边界对应的背景比较相似，那么它就很有可能是属于背景部分。

与现有技术相比，本发明具有如下的优势：

首先，充分利用了四条边界所包含的背景信息，检测结果在抑制背景方面有很大的优势；

其次，融合策略也保证了显著性物体可以凸显出来，不会因为背景的抑制而引起过抑制；

最后，步骤中用到的一些算法都有很成熟和经过优化的实现，实现非常方便，在得到高质量检测结果的同时还很快速；

本发明通过利用图像边界先验和建立图结构，能够比较准确快速地检测出图像中的显著性物体，尤其是在抑制背景干扰方面优势明显，能取得令人满意的检测结果，对后续诸如图像检索、目标跟踪等处理过程有重要意义。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为过分割后图像。

图2为建立的图结构示意图和基于四条边界(四个虚顶点)生成的四幅显著性图。

图3为经过融合策略输出的最终的显著性图。

图4为简单阈值分割显著性物体示例(左)和标准检测结果(右)。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

基于发明内容中的技术表述，本实施例提供一种基于图结构和边界先验的显著性物体检测方法，该方法的主要思想是将图像的上、下、左、右四条边界上的超像素作为背景先验(边界先验)，通过建立图结构得到图像中每一个超像素到边界的测地线距离，利用其来衡量显著性大小。本实施例中没有详细说明的部分可以参照发明内容中的描述。

在本实施例中对于一幅输入图像，按照如下详细步骤进行处理：

1、图像预处理

首先将输入的彩色图像的颜色空间从RGB转到LAB，然后使用SLIC算法将图像过分割为约K=300个超像素，然后按照式(1)计算每个超像素的平均位置与颜色，输入图像与过分割结果示例见图1。

2、建立图结构

按照顶点集合G、边集合E和权值集合W的定义为输入图像建立完整的图结构，在构建第二类“特征边”时选择k=4，即把超像素和与其最相似的4个超像素相连，定义其权值时选择β=5来调控位置空间差别和颜色空间差别所起的作用，这些都是实验经验所确定的参数，所建立的图结构示例见图2。

3、显著性图计算

按照式(5)计算每一个顶点分别到四个虚顶点的最短距离，利用Toolbox Graph中的Dijkstra算法，得到四幅显著性图S₁、S₂、S₃、S₄，得到的结果示例见图2。

4、显著性图融合

按照式(6)的策略对四幅显著性图进行融合输出最后的显著性图，得到的结果示例见图3，显著性图中越亮的区域意味着这个区域越可能属于显著的物体。

通过本实施例所得到的显著性图能够明显的突出图像中的显著性物体，抑制背景噪声，即使是使用最简单的阈值化操作就能从最终的显著性图中分割出显著的物体，分割示例见图4(左)，和图4(右)的人工标定的Ground Truth效果几乎不相上下。

可见本发明得到的显著性图能均匀的突出图像中的显著性物体，尤其是可以很好的抑制背景，有利于后续诸如图像检索、目标跟踪等处理。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于图结构和边界先验的显著性物体检测方法，其特征在于包括如下步骤：

第一步，图像预处理：将输入的彩色图像过分割为许多颜色相似，保边界的超像素，并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位；

第二步，建立图结构：把每一幅图像转化为一个图结构，将超像素作为图结构的顶点，并且加入四个虚顶点，每一个虚顶点对应图像的一条边界，同时再定义三种类型的边即邻接边、特征边、虚边及其权值；

第三步，显著性图计算：利用图结构，采用Dijkstra算法计算每一个顶点分别到四个虚顶点的最短距离，得到四张分别基于上、下、左、右四条边界的显著性图；

第四步，显著性图融合：通过一个融合策略输出最终的显著图，该融合策略侧重于凸显显著性物体的同时，能有效的抑制背景。

2.根据权利要求1所述的基于图结构和边界先验的显著性物体检测方法，其特征在于所述第一步，具体为：

将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图像过分割为K个超像素，按照式(1)计算超像素内部的平均位置p_i和平均颜色c_i，将超像素作为处理的最小单位；

$p_i=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{SP}}_i}{I}_p}{\left|{\mathrm{SP}}_i\right|},c_i=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{SP}}_i}{I}_c}{\left|{\mathrm{SP}}_i\right|}---\left(1\right)$

其中I_p为像素I的位置向量即2维向量[x,y]，I_c为像素I的颜色向量即3维向量[L,a,b]，|SP_i|表示超像素SP_i中所含像素的个数，i表示超像素的下标号(i=1,2,…,K)。

3.根据权利要求1所述的基于图结构和边界先验的显著性物体检测方法，其特征在于所述的建立图结构，包含两类顶点和三类边：

两类顶点：（1）图像中的每一个超像素作为图结构中的一个顶点；（2）加入四个虚顶点，分别对应图像的上、下、左、右四条边界；

三类边：（1）邻接边：每一个超像素在位置空间上和与其相邻的超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离；（2）特征边：每一个超像素在颜色空间上和与其最相似的k个超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离的同时，还要考虑位置空间的距离；（3）虚边：每一个虚顶点和其对应的边界上的超像素顶点之间所连的边，权值采用基于颜色对比的方式。

4.根据权利要求1-3任一项所述的基于图结构和边界先验的显著性物体检测方法，其特征在于，所述的显著性图计算，具体为：

采用Dijkstra算法计算每一个顶点分别到四个虚顶点的最短距离，公式如下：

$S_1\left(i\right)=\underset{N_1=i,N_2,...,N_{\mathrm{end}}={\mathrm{\φ}}_{\mathrm{top}}}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}\mathrm{\ω}(N_k,N_{k+1}),s.t.(N_k,N_{k+1})\∈E$

其中S₁(i)为超像素i到对应上边界的虚顶点φ_top的最短距离，E是所有边的集合，N_k是出现在从i到φ_top这条路径上的顶点，ω(N_k,N_k+1)是连接N_k,N_k+1这两个顶点的边的权值，同理计算出S₂(i)、S₃(i)、S₄(i)，分别对应超像素i到对应下、左、右边界的虚顶点的最短距离，得到了四幅显著性图S₁、S₂、S₃和S₄。

5.根据权利要求4所述的基于图结构和边界先验的显著性物体检测方法，其特征在于，所述的显著性图融合，具体为：

首先将S₁、S₂、S₃、S₄四幅显著性图均归一化到[0,1]之间，然后通过如下的融合方式输出最终的显著性图：

其中S_boundary(i)为超像素i在最终的显著性图中的显著性值，

为对应的S_h图的均值；融合策略即如果超像素i在S₁、S₂、S₃、S₄四幅显著性图中的显著性值均满足

那么认为它是显著的区域，采用平均加权的策略；如果在任意一幅中违反这个条件，那么认为它是非显著的区域，则采用相乘策略。

Images