CN104240244B - 一种基于传播模式和流形排序的显著性物体检测方法 - Google Patents

Abstract

本发明提供了一种基于传播模式和流形排序的显著性物体检测方法，所述方法首先通过过分割方法将输入图像分割为超像素以屏蔽图像细节；然后通过将每个超像素节点作为图模型的顶点构造一个闭环的图模型，所有的图像边缘的超像素彼此两两相连，各超像素连接围绕其周围的两层超像素；分析每个超像素的传播模式并得到其初始显著性值；最后以所有超像素为前景，结合其对应初始显著性值，利用流形排序方法计算最终的显著性图。本发明得到的显著性图能够有效地突出图像中的显著性物体，且模型简洁，计算快速，有利于加速后期的图像处理应用。

Description

一种基于传播模式和流形排序的显著性物体检测方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，具体地，涉及一种基于传播模式和流形排序的显著性物体检测方法。

背景技术

显著性的计算是当前计算机视觉领域的一个热点问题，其目的在于从时空域大量信息中选取特定的感兴趣的区域。视觉显著性检测亦可被描述成是使得计算机拥有人的视觉注意机制的研究。显著性检测可以在计算机视觉领域中的许多问题中发挥作用，例如用于图像压缩，加快物体识别和检测算法等。一般而言，视觉显著性检测的输出结果是一张“显著性图”，其中越亮的区域表示该区域的显著性特征越强，越容易被人所关注。

目前而言，显著性检测的主要方法可分为“自底向上”和“自顶向下”，以及将两者结合之后的方法。“自底向上”的方法主要利用的是图像的底层信息，例如图像的颜色，纹理等；“自顶向下”的方法利用高层的信息，结合机器学习等方法。

显著性检测方法在国内外诸多知名学者的努力下有了较大的发展，其中的方法主要有：Itti等人在1998年提出使用特征的“中心－周围差异”原理来进行显著性检测，所用特征具体包括颜色、强度与方向。Hou等人于2007年提出光谱残差的方法，利用图像傅立叶变换后的幅度谱上计算光谱残差，然后再将该残差进行反变换得到显著性图。Cheng等人于2011年提出利用直方图来得到颜色的统计特性，然后利用基于颜色对比来估计图像块的显著性，由于对颜色进行了量化，因此检测效率得到了提升。

专利方面，申请号为CN201410180885的中国发明专利发明公开一种基于对比度与角点最小凸包的显著性检测方法。首先根据超像素的全局对比计算全局显著图，然后使用中心—周围算子计算局部显著图，最后根据Harris角点的最小凸包估计主要目标的位置与大小过滤到背景中部分区域的干扰，使得主要目标得以突出；申请号为CN201410098280的中国发明专利提供一种基于前景先验和背景先验的显著性物体检测方法，该方法分别从显著性物体(前景)和背景出发，结合各自先验知识的优势来定义对应的显著性衡量方式。对于显著性物体，首先利用对比先验计算每个子区域的中心－周围颜色对比，然后将该对比度值乘以中心先验，最后通过平滑得到基于前景的显著性图。对于背景，利用边界先验和所定义的8邻域“缝”，动态优化找到每一个像素分别到四条边界的最优“缝”，计算最优“缝”的成本得到基于背景的显著性图。最后将两张显著性图相乘，再经过平滑输出最终的显著性图。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于传播模式和流形排序的显著性物体检测方法，该方法能够快速有效地自动选择初始显著性节点，然后由流形排序的方法得到最终显著性结果，有效突出显著性物体，同时抑制背景区域。该发明可以使用于图像压缩以及加速图像检索、目标检测等计算机视觉领域的问题。

为实现以上目的，本发明提供一种基于传播模式和流形排序的显著性物体检测方法，具体步骤如下：

第一步，图像的超像素表达：

将输入的图像通过超像素分割方法分割为N个颜色相似的超像素区域，计算每个超像素区域内的平均颜色信息，并将每个超像素作为显著性表达的最小单位；

第二步，建立闭环图模型：

将每个超像素做为顶点构建图模型。在该图模型中，所有的在图像边缘的超像素彼此之间两两相连，因此该图模型属于闭环图模型。各超像素连接围绕其周围的两层超像素，超像素之间的连接边的权重根据颜色信息以及所在的围绕层数计算；

第三步，初始显著性值计算：

利用第二步得到的图模型，结合流形排序的方法计算排序矩阵；单独以每个超像素为显著性查询节点计算流形排序的结果，将该结果作为该查询节点的传播模式，该传播模式是以当前超像素为查询节点时，图模型内所有节点的显著性值分布以向量的形式表示，统计该向量内所有元素的和，作为当前超像素的初始显著性值；依照此方法计算得到所有超像素的初始显著性值；

第四步，最终显著性图计算：

通过第三步得到的每个超像素的初始显著性值，以所有的超像素作为显著性查询节点(前景)，按照流形排序的方法计算最终的显著性图。

优选地，所述第一步中，具体的：

将输入的彩色图像的颜色空间从RGB转到LAB，并利用SLIC超像素分割算法将图像过分割为N个超像素，按照以下公式计算超像素内部的平均颜色c_i：

其中：I_c为像素I的颜色向量即3维向量[L，a，b]，|SP_i|表示超像素SP_i中所含像素的个数，i表示超像素的下标号，i＝1，2，……，N。

通过图像的超像素表达，可以屏蔽图像的细节信息，达到提升图像处理的速度和检测结果的均匀平滑的效果；相比于像素，超像素的特点是将颜色相近的区域进行了统一表达作为最小处理单元，从而大幅度减少了计算量，也保证最终的显著性结果局部平滑一致。

优选地，所述第一步中，仅需提取颜色信息而不用计算相应的位置等信息作为图模型的计算参数。

优选地，所述第二步中，将每个超像素做为顶点构建图模型以表示原图，具体的是：在经过第一步的分割之后，图像有N个超像素进行抽象表达，以这N个超像素作为图的顶点构造图模型，一个完整的图模型G包含顶点集合V、边集合E以及边的权值集合W。

优选地，所述第二步中，图模型中各超像素连接围绕其周围的两层超像素，超像素之间的连接边的权重根据颜色信息以及所在的围绕层数计算，具体的：

某一超像素与其第二层围绕的超像素的连接边的权重根据超像素颜色信息计算后，再乘以不大于1的系数λ，λ取值范围大于零且小于等于1，以此来区分两层围绕的超像素的距离差异；公式为：

其中：λ为调整各层权重的系数，对第一层环绕的超像素λ取值为1，对第二层环绕的超像素λ取值为0.5；σ是控制权重大小的一个常量；c_i和c_j表示超像素的颜色信息；

两层连接的图模型是为了更好地表达数据的流形的特性，构成权值集合。

优选地，所述第三步中，流形排序的方法公式表达如下：

f^*＝(D-αW)^-1y, (3)

其中：D＝diag{d_ii,...,d_nn}为度量矩阵，d_ii＝∑_jω_ij为邻接矩阵中各行元素的和；α＝1/(1+μ)是用于调整流形排序的光滑性和拟合程度的参数(例如α＝0.99)；为该图模型的邻接矩阵，其中的元素表示各超像素之间的连接权重；y＝[y₁,...,y_n]^T是用于存储初始显著性值的向量。在具体使用中，流形排序首先需要指定一些节点作为查询节点，即将这些指定的查询节点在y＝[y₁,...,y_n]^T中的对应元素赋上初始值，指定节点之外的节点的对应元素赋值为零。

优选地，所述第三步中，选择查询节点时，不是采用先利用背景先验计算然后转换到前景的方式，而是直接通过超像素的内在传播模式特性进行计算初始显著性值，且该方式求得每个超像素的初始显著性值各不相同，表达了每个超像素初始显著性特性的差别。

优选地，所述第三步中，各个节点的所述初始显著性值是通过分析每个节点的传播模式来得到的；传播模式的计算具体为：如选择第i个超像素作为显著性查询节点，则将y＝[y₁,...,y_n]^T中的第i个元素置为1，其余的元素置为0；

由公式(3)计算可以得到此次流形排序的结果，即N个超像素的对应本次查询节点的显著性值；f^*为一个列向量，其包含的值的分布形式即可看作为此次显著性查询节点的传播模式，计算f^*中所有元素的和即得到了此次显著性查询节点的初始显著性值。

优选地，所述第三步中，因为每一个超像素对应的传播模式即为(D-αW)^-1中的一列，并且矩阵(D-αW)^-1是对称的，因此计算所有超像素的初始显著性值可以由如下的公式计算：

y^init＝(D-αW)^-1*s, (4)

其中：y^init保存所有超像素的初始显著性值，s为所有元素全为1的列向量。

优选地，所述第四步中，计算求得每个超像素的所述初始显著性值之后，即得到了y^init，相当于完成了所述初始显著性节点的选择；将y^init代入公式(3)即可求得最终的每个超像素的显著性值。

本发明最终显著性图计算使用的是全图范围内的超像素节点作为查询节点(前景节点)，显著的超像素节点的初始显著性值高，对最终的显著性图贡献大；而背景超像素节点的初始显著性值较小，对最终的显著性图贡献小。

优选地，所述第四步中，通过截断操作对小于某一阈值的所述8初始显著性值归零，以避免大量的背景超像素节点的累加效应对最终显著性图的破坏。

与现有技术相比，本发明具有如下的有益效果：

本发明为保证显著性检测过程的快速有效，仅利用图像的颜色信息进行显著性的计算，而不涉及更多的复杂描述方式。此外，本发明不必利用前景或背景的先验知识，而是通过计算超像素的传播模式这一内在固有信息来得到初始的显著性值，该步骤的意义在于在更大的空间范围内指定前景(显著性)节点。本发明最终都可以由矩阵运算操作，因此可以实现快速计算。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例原图像以及过分割后以超像素为顶点的图模型示意图，其中(a)为原图像，(b)为过分割后以超像素为顶点的图模型；

图2为本发明一实施例某背景节点对应的传播模式及某显著性节点对应的传播模式，其中(a)为某背景节点对应的传播模式示意图，(b)为某显著性节点对应的传播模式示意图；

图3为本发明一实施例初始显著性值对应的显著性图及最终显著性图，其中(a)为初始显著性值对应的显著性图，(b)为最终显著性图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种基于传播模式和流形排序的显著性物体检测方法，该方法是通过分析图像中每个超像素的传播模式，得到每个超像素的初始显著性值，然后以所有超像素为前景，根据各自相应的初始显著性值，结合流形排序的方法计算显著性图。

在本实施例中对于一幅输入图像，按照如下详细步骤进行处理：

1、图像的超像素表达

首先将输入的彩色图像的颜色空间从RGB转到LAB，然后使用SLIC算法将图像过分割为约N＝200个超像素，然后按照式(1)计算每个超像素的平均颜色c_i：

其中：I_c为像素I的颜色向量即3维向量[L,a,b]，|SP_i|表示超像素SP_i中所含像素的个数，i表示超像素的下标号(i＝1，2，……，N)。

原始图像与过分割结果如图1所示。通过图像的超像素表达，可以屏蔽图像的细节信息，达到提升图像处理的速度和检测结果的均匀平滑的效果。相比于像素，超像素的特点是将颜色相近的区域进行了统一表达作为最小处理单元，从而大幅度减少了计算量，也保证最终的显著性结果局部平滑一致。

2、建立闭环图模型

按照顶点集合G、边集合E和权值集合W的定义为输入图像建立完整的闭环图模型。所有的图像边缘的超像素彼此两两相连，各超像素连接围绕其周围的两层超像素，所建立的图模型示例如图1中的(b)所示。

图模型为闭环的形式，即所有的在图像边缘的超像素彼此之间两两相连；这一做法可以有效地保证在图像不同的边界上的相似的超像素可以有效地连接，并且这一过程对于计算传播模式而言也是必须的。

在闭环图模型中，图模型中各超像素连接围绕其周围的两层超像素，且两层计算权重时区分对待，第二层的权重相应减小。具体的，图模型中各超像素连接围绕其周围的两层超像素，超像素之间的连接边的权重根据颜色信息以及所在的围绕层数计算，某一超像素与其第二层围绕的超像素的连接边的权重根据超像素颜色信息计算后，再乘以不大于1的系数，以此来区分两层围绕的超像素的距离差异。公式为：

其中，λ为调整各层权重的系数，对第一层环绕的超像素，λ取值为1，对第二层环绕的超像素，λ取值为0.5。σ是控制权重大小的一个常量(例如σ²＝0.1)。c_i和c_j表示超像素的颜色信息。两层连接的图模型是为了更好地表达数据的流形的特性。构成权值集合。

3、初始显著性值的计算

流形排序方法旨在利用数据的内在的流形结构(一般先将数据建立成一个图模型)，所有的节点通过其所在的图模型将其初始值传递到与其相邻的节点，该过程不断重复直到达到一个稳定的状态。在显著性物体检测中，需要选择图模型中的部分节点为显著性节点(前景)，为它们赋予显著性初值，然后再计算显著性图。选择这些初始显著性节点并计算其显著性初值可通过分析传播模式后得到。

传播模式是在流形排序的背景下定义的，其含义是某一个单一的节点的初始值在经过流形排序算法在图模型中传递之后，图模型中所有的节点的得分值的分布模式。(注意在分析传播模式时，每个单一节点的初始值都是置为1)。具体而言，一个显著性节点的初始值经过传递之后，会发生一种类似局部传播的效应，即只有该显著性节点及其周围的部分节点能得到较大的得分值，而较远的节点的得分值很低；一个背景节点的初始值经过传递之后，会发生一种类似稀释的效应，即所有的节点的得分值都较低。

利用显著性节点和背景节点的这种传播模式差异，可以对显著性节点和背景节点计算不同的显著性初始值，然后以所有的超像素为并结合流形排序的算法计算最终的显著性图。

流形排序的思想可由公式表达如下：

f^*＝(D-αW)^-1y, (3)

其中，D＝diag{d_ii,...,d_nn},d_ii＝∑_jω_ij，α＝1/(1+μ)，y＝[y₁,...,y_n]^T。在具体使用中，流形排序首先需要指定一些节点作为查询节点，即将这些指定的查询节点在y＝[y₁,...,y_n]^T中的对应元素赋上初始值，指定节点之外的节点的对应元素赋值为零。在图像显著性检测中，该步骤的意义即等价于选择部分节点当做初始显著性节点，然后利用这些初始显著性节点根据流形排序的方法计算其他节点的显著性值。

为了避免人工地指定初始的显著性节点，可以通过分析每个节点的传播模式来得到各个节点的初始显著性值。传播模式的计算具体为：如选择第i个超像素作为显著性查询节点，则将y＝[y₁,...,y_n]^T中的第i个元素置为1，其余的元素置为0。由公式(3)计算可以得到此次流形排序的结果，即N个超像素的对应本次查询节点的显著性值。f^*为一个列向量，其包含的值的分布形式即可看作为此次显著性查询节点的传播模式。计算f^*中所有元素的和即得到了此次显著性查询节点的初始显著性值。

利用以上过程，即可求得所有的超像素的初始显著性值。

进一步根据分析，以上过程可以统一到一次矩阵运算。因为每一个超像素对应的传播模式即为(D-αW)^-1中的一列，并且矩阵(D-αW)^-1是对称的，因此计算所有超像素的初始显著性值可以由如下的公式计算：

y^init＝(D-αW)^-1*s, (4)

其中，y^init保存所有超像素的初始显著性值，s为所有元素全为1的列向量。

某背景超像素对应的传播模式如图2(a)所示，某前景超像素对应的传播模式如图2(b)所示。根据所有超像素的初始显著性值可以得到一个初始显著性图，示例如图3(a)所示。由图可见初始显著性图的效果已经较为令人满意。

4、最终显著性图计算

计算求得每个超像素的初始显著性值之后，即得到了y^init，相当于完成了初始显著性节点的选择。将y^init代入公式(3)即可求得最终的每个超像素的显著性值，其对应的显著性图如图3(b)所示。由图可见最终显著性图相比于初始显著性图能更好地抑制背景区域。

本发明仅利用图像的颜色信息进行显著性的计算，而不涉及更多的复杂描述方式。此外，本发明不必利用前景或背景的先验知识，而是通过计算超像素的传播模式这一内在固有信息来得到初始的显著性值。该步骤的意义是可以再更大的空间范围内指定前景(显著性)节点。由于本发明最终都可以由矩阵运算操作，因此可以实现快速计算。本发明得到的显著性图能够有效地突出图像中的显著性物体，且模型简洁，计算快速，有利于加速后期的图像处理应用。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述方法包括如下步骤：

第一步，图像的超像素表达：将输入的图像通过超像素分割方法分割为N个颜色相似的超像素区域，计算每个超像素区域内的平均颜色信息，并将每个超像素作为显著性表达的最小单位；

第二步，建立闭环图模型：将每个超像素做为顶点构建图模型，在该图模型中，所有的在图像边缘的超像素彼此之间两两相连，因此该图模型属于闭环图模型；各超像素连接围绕其周围的两层超像素，超像素之间的连接边的权重根据颜色信息以及所在的围绕层数计算；

第三步，初始显著性值计算：利用第二步得到的图模型，结合流形排序的方法计算排序矩阵；单独以每个超像素为显著性查询节点计算流形排序的结果，将该结果作为该查询节点的传播模式，该传播模式是以当前超像素为查询节点时，图模型内所有节点的显著性值分布以向量的形式表示，统计该向量内所有元素的和，作为当前超像素的初始显著性值；依照此方法计算得到所有超像素的初始显著性值；

第四步，最终显著性图计算：通过第三步得到的每个超像素的初始显著性值，以所有的超像素作为显著性查询节点，按照流形排序的方法计算最终的显著性图。

2.根据权利要求1所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第一步中，仅需提取颜色信息而不用计算相应的位置信息作为后续图模型的计算参数。

3.根据权利要求2所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第一步中，具体为：

将输入的彩色图像的颜色空间从RGB转到LAB，并利用SLIC超像素分割算法将图像过分割为N个超像素，按照以下公式计算超像素内部的平均颜色c_i：

$c_i=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{SP}}_i}{I}_c}{\left|{\mathrm{SP}}_i\right|}$

其中：I_c为像素I的颜色向量即3维向量[L，a，b]，|SP_i|表示超像素SP_i中所含像素的个数，i表示超像素的下标号，i＝1，2，……，N。

4.根据权利要求1所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第二步中，将每个超像素做为顶点构建图模型以表示原图，具体的是：在经过第一步的分割之后，图像由N个超像素进行抽象表达，以这N个超像素作为图的顶点构造图模型，一个完整的图模型G包含顶点集合V、边集合E以及边的权值集合W。

5.根据权利要求4所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第二步中，图模型中各超像素连接围绕其周围的两层超像素，超像素之间的连接边的权重根据颜色信息以及所在的围绕层数计算，具体的：

某一超像素与其第二层围绕的超像素的连接边的权重根据超像素颜色信息计算后，再乘以系数λ，λ取值范围大于零且小于等于1，以此来区分两层围绕的超像素的距离差异；公式为：

${\mathrm{\ω}}_{ij}=\mathrm{\λ}*e^{-\frac{\left|\right|c_i-c_j\left|\right|}{{\mathrm{\σ}}^2}}$

其中：λ为调整各层权重的系数，对第一层环绕的超像素λ取值为1，对第二层环绕的超像素λ取值为0.5；σ是控制权重大小的一个常量；c_i和c_j表示超像素的颜色信息；

两层连接的图模型是为了更好地表达数据的流形的特性，构成权值集合。

6.根据权利要求1-5任一项所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第三步中，流形排序的方法公式表达如下：

f^*＝(D-αW)^-1y,

其中：D＝diag{d_ii,...,d_nn}为度量矩阵，d_ii＝∑_jω_ij为邻接矩阵中各行元素的和；α＝1/(1+μ)是用于调整流形排序的光滑性和拟合程度的参数；为该图模型的邻接矩阵，其中的元素表示各超像素之间的连接权重；y＝[y₁,...,y_n]^T是用于存储初始显著性值的向量。

7.根据权利要求6所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第三步中，选择查询节点时，不是采用先利用背景先验计算然后转换到前景的方式，而是直接通过超像素的内在传播模式特性进行计算初始显著性值，且该方式求得每个超像素的初始显著性值各不相同，表达了每个超像素初始显著性特性的差别。

8.根据权利要求7所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第三步中，各个节点的初始显著性值是通过分析每个节点的传播模式来得到的；传播模式的计算具体为：如选择第i个超像素作为显著性查询节点，则将y＝[y₁,...,y_n]^T中的第i个元素置为1，其余的元素置为0；

由流形排序的方法公式计算得到此次流形排序的结果，即N个超像素的对应本次查询节点的显著性值；f^*为一个列向量，其包含的值的分布形式即可看作为此次显著性查询节点的传播模式，计算f^*中所有元素的和即得到了此次显著性查询节点的初始显著性值。

9.根据权利要求8所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第三步中，因为每一个超像素对应的传播模式即为(D-αW)^-1中的一列，并且矩阵(D-αW)^-1是对称的，因此计算所有超像素的初始显著性值由如下的公式计算：

y^init＝(D-αW)^-1*s,

其中：y^init保存所有超像素的初始显著性值，s为所有元素全为1的列向量。

10.根据权利要求9所述的一种基于传播模式和流形排序的显著性物体检测方法，其特征在于，所述第四步中，计算求得每个超像素的所述初始显著性值之后，即得到了保存所有超像素的初始显著性值y^init，相当于完成了初始显著性节点的选择；将y^init代入流形排序的方法公式即求得最终的每个超像素的显著性值。