CN106127785A - 基于流形排序和随机游走的图像显著性检测方法 - Google Patents

Abstract

本发明提出了一种基于流形排序和随机游走的图像显著性检测方法，包括如下步骤：S1，获取图像，对该图像进行超像素分割，以超像素为节点构建闭环图模型；S2，基于前景特征进行流形排序得到流形排序前景特征显著图S_MRfg，基于背景特征进行流行排序得到流形排序背景特征显著图S_MRbg；S3，以初始前景特征为种子节点，由随机游走方法获得前景特征显著图S_RWfg；以初始背景特征为种子节点，由随机游走方法获得背景特征显著图S_RWbg；S4，将S_MRfg、S_MRbg、S_RWfg、S_RWbg四个显著图进行结合，得到最终的显著图。本发明获取了较为准确的前景和背景特征，通过显著性计算得到的检测图像准确度非常高。

Description

基于流形排序和随机游走的图像显著性检测方法

技术领域

本发明涉及图像识别领域，尤其涉及一种基于流形排序和随机游走的图像显著性检测方法。

背景技术

近年来，随着计算机和互联网技术的飞速发展，多媒体数据呈现爆炸式的增长，多媒体信息的存储、传输和处理变得越来越重要，尤其是图像处理相关的研究和应用。显著性检测是图像分析处理前期的一个重要工作，其目标就是检测出图像中最显著最重要的部分。通过显著性检测可以将有限的计算资源优先分配给图像中的显著区域，大大提高图像分析和处理的效率。

当前，图像的显著性检测已经成为计算机视觉领域的重点研究方向之一。作为一种图像预处理技术，图像的显著性检测被广泛应用在图像分析处理中，包括图像分割、物体检测、自适应图像压缩、基于内容的图像检索、视频目标检测等等领域。

国内外的研究学者已经对图像显著性检测这一课题做了广泛的研究，并取得了一定成果。图像的显著性检测算法，按照实现思路的不同可以分为两种：自上而下的显著性检测和自下而上显著性检测。自上而下的方法是由任务驱动的，从高层语义入手，如目标检测等；自下而上的方法是由数据驱动的，从底层特征入手，如颜色、边缘、纹理信息等。按照解决问题的不同，图像显著性检测算法也可以分为两类：眼动点预测模型和显著目标检测模型。眼动点预测模型的任务是检测出图像中引起人视觉注意的显著位置，以此为基础分析和指导人的注意力；而显著目标检测模型的目的则是准确地从图像中提取出显著目标区域，以此为基础进行更高层的图像处理任务。本发明主要关注自下而上的显著目标检测算法。

目前大部分的自下而上的显著目标检测模型都是计算像素或区域在邻域或全局上的对比度来衡量显著性的。根据考虑对比度的范围可以分为局部对比度方法和全局对比度方法。其中，局部对比度方法考虑某区域与其邻域内的其他区域的对比度，而全局对比度方法考虑某区域与整个图像范围内其他区域的对比度作为显著性衡量。

Ma等人提出了一种基于局部对比度的显著性检测算法。该方法通过计算像素与其局部邻域内像素的LUV颜色距离作为每个像素的显著值，然后使用模糊增长算法来求得图像的显著区域。Zhai等人提出了一种基于全局对比度的显著性检测算法。该方法将每个像素与图中全局范围的其他像素的颜色距离作为显著值，使用基于直方图统计的方法计算显著性。Achanta等人介绍了一种基于图像不同尺度对比度的显著性检测方法，文章以图像块作为显著值计算的单位，利用内部图像块和不同尺度外部图像块在颜色和亮度上的特征差异计算显著值。Goferman等人提出了一种结合局部对比度和全局对比度的显著性检测算法。该方法融合了局部的对比度，全局的稀有度、视觉组织规则和表层特征等进行建模，通过比较不同区域在不同尺度、不同位置和注意力焦点上的差异来衡量显著性。Cheng等人提出了一种基于区域全局对比度的显著性计算方法Region-based Contract(以下简称RC算法)。该方法使用基于图的分割方法将图像过分割成小的区域，以全局范围内区域间的颜色距离和空间距离的加权来衡量每个区域的显著性。Perazzi等人提出了一种SaliencyFilter算法(以下简称SF算法)。该算法使用改进的超像素分割方法来进行图像预处理，并提出了结合颜色独立性和空间颜色分布的显著性计算方法。Yang等人提出了一种基于闭环图和背景先验的显著检测方法(以下简称MR算法)，将流形排序算法引入到显著性检测的应用中来。该方法将图像抽象为一个基于超像素的闭环图模型，然后基于流形排序算法分两个阶段来计算每个节点的显著值。第一阶段以四个边界的节点作为背景先验种子节点，以各节点与背景种子的差异度计算显著值；第二阶段将第一阶段得到的显著图进行二值化的结果作为前景种子节点，以各节点与前景种子的相似度再进行一次显著值计算，以此得到最终的显著图。

在当前已有研究中，MR算法是一个效果较好且具有一定代表性的算法。虽然MR算法在大多数简单图像场景下都有良好的表现，然而，由于MR算法过度依赖于边界节点的背景特征，当面临图像的显著区域的特征与背景区域相似，或者显著区域内各个部分特征差异较大的复杂情况时，MR算法无法检测出准确的显著区域。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于流形排序和随机游走的图像显著性检测方法。

为了实现本发明的上述目的，本发明提供了一种基于流形排序和随机游走的图像显著性检测方法，包括如下步骤：

S1，获取图像，对该图像进行超像素分割，以超像素为节点构建闭环图模型；

S2，基于前景特征进行流形排序得到流形排序前景特征显著图S_MRfg，基于背景特征进行流行排序得到流形排序背景特征显著图S_MRbg；

S3，以初始前景特征为种子节点，由随机游走方法获得前景特征显著图S_RWfg；以初始背景特征为种子节点，由随机游走方法获得背景特征显著图S_RWbg；

S4，将S_MRfg、S_MRbg、S_RWfg、S_RWbg四个显著图进行结合，得到最终的显著图。

所述的基于流形排序和随机游走的图像显著性检测方法，优选的，所述S1包括：

S1-1，将图像分割为n个超像素区域，以每个超像素为节点建立闭环图G，计算度矩阵D和权重矩阵W；

S1-2，计算最优相似度矩阵A＝(D-αW)^-1，并将其对角元素设置为0；

S1-3，由公式计算拉普拉斯矩阵L，其中，u、v是节点下标，d表示节点的度，w表示节点间的权重。

所述的基于流形排序和随机游走的图像显著性检测方法，优选的，所述S2包括：

基于闭环图模型，将所有节点设为查询节点，相当于直接利用闭环图本身的最优相似度矩阵A，计算每个节点与其他节点的差异和。在公式(4)中令y＝[1,1,...,1]^T。以此进行流形排序得到一个显著图S_MRfg，该显著图即为考虑全局特征得到各个节点的显著值，计算公式为：

S_MRfg＝A×[1,1,...,1]^T，

接下来，对两个显著图分别进行二值化得到前景种子和背景种子，计算得到初始前景fgQuery和初始背景bgQuery，通过如下公式反映了准确的前景特征和背景特征。

fgQuery＝Query1∩Query2

candidate＝Query1∪Query2-Query1∩Query2

其中，初始前景特征fgQuery，定义为前景种子和背景种子的交集，即两次被标记为显著区域的节点集合；初始背景特征bgQuery，定义为前景种子和背景种子并集的非，即两次被标记为非显著区域的节点集合；候选查询节点candidate，定义为前景种子和背景种子的并集和交集的差，即在两次标记不同的那些节点集合，是待判定为前景或背景的节点；Query1是前景种子，Query2是背景种子，fgQuery∪bgQuery∪candidate＝V，V是所有节点的集合。

所述的基于流形排序和随机游走的图像显著性检测方法，优选的，所述S3包括：

S3-1，基于前景特征的随机游走：以初始前景fgQuery为初始节点，由公式和公式S_M＝S_fg得到基于随机游走的前景特征显著图，其中S_U是非种子节点的显著值，S_M是种子节点的显著值，其中L为拉普拉斯矩阵，S_fg为基于前景特征的显著图，将拉普拉斯矩阵L按照种子节点S_M和非种子节点S_U的顺序重新排列，L重新表示为：B是L的子矩阵，T是矩阵转置的标志，是矩阵运算的常用符号；

S3-2，基于背景特征的随机游走：以初始背景bgQuery为初始节点，由公式和公式S_M＝1-S_bg得到基于随机游走的背景特征显著图。

所述的基于流形排序和随机游走的图像显著性检测方法，优选的，所述S4包括：

采用公式S＝(S_MRfg+S_MRbg)×(S_RWfg+S_RWbg)进行结合，得到最终的显著图。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

基于MR算法的过程，结合全局对比度的前景特征，获得图像中最具有代表性的前景特征和背景特征；

分别利用流形排序和随机游走算法进行显著性计算，并提出一种合理的结合多个显著图的显著值计算公式。

实验表明，针对复杂背景的图像，本发明算法较MR算法有明显提升。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明方法流程图；

图2是闭环图模型；

图3自适应阈值下各个算法的精确率、召回率、F值比较图；

图4各个算法的MAE比较图；

图5固定阈值下各个算法的P-R曲线图；

图6固定阈值下各个算法的F值曲线图；

图7是本发明DUT-OMRON数据集上各个算法显著图对比结果图；

图8是本发明工作流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图8所示，本发明提供了一种基于流形排序和随机游走的图像显著性检测方法，包括如下步骤：

S1，获取图像，对该图像进行超像素分割，以超像素为节点构建闭环图模型；

S2，基于前景特征进行流形排序得到流形排序前景特征显著图S_MRfg，基于背景特征进行流行排序得到流形排序背景特征显著图S_MRbg；

S3，以初始前景特征为种子节点，由随机游走方法获得前景特征显著图S_RWfg；以初始背景特征为种子节点，由随机游走方法获得背景特征显著图S_RWbg；

S4，将S_MRfg、S_MRbg、S_RWfg、S_RWbg四个显著图进行结合，得到最终的显著图。

如图1所示，流形排序算法就是以图模型来模拟数据集的流形结构。通过该图模型，数据集中的数据点把自身的排序值不断传播给相邻的数据点，直到整个图模型达到平衡状态后停止传播。最终得到的每个数据点的排序值反映了该数据点成为“中心类”的可能性。流形排序理论描述如下：

给定一个数据集X＝{x₁，...，x_i，x_i+1，...，x_n}∈R^n×n，其中n是数据的数量，i是数据的下标。前i个数据是已标记的查询数据点，剩下的数据是未标记数据点。令f:X→Rⁿ表示一个排序方程，其中f_i表示数据点x_i的排序值。f可以看作一个向量f＝[f₁,...,f_n]^T。令y＝[y₁,...,y_n]^T表示一个标签向量，其中当x_i为查询数据点时y_i＝1，否则y_i＝0。流形排序过程算法步骤如下所示。

算法：流形排序

(1)构建一个图G(V,E)，其中节点集合V，为数据集X，边E的权重表示为相似度矩阵W＝[w_ij]_n×n。计算图的度矩阵D＝diag{d₁₁,...,d_nn}，其中d_i＝∑_jw_ij。S是W的归一化矩阵S＝D^-1/2WD^-1/2。

(2)利用公式f(t+1)＝αSf(t)+(1-α)y进行迭代，直到收敛。其中α是调节参数，α∈[0,1)。

(3)令f_i ^*代表数列{f_i(t)}的极值。最后根据f_i ^*对数据点进行排序。

文章中已经证明，流形排序的结果最终将收敛到如下闭合解：

f^*＝(I-αS)^-1y (1)

公式(1)的非归一化的解为：

f^*＝(D-αW)^-1y (2)

本质上来说，显著性检测问题可以看成一个二分类问题，根据初始查询节点的特征，给出图像中各个像素属于显著区域的可能性，或者将图像中的像素标记为显著区域或非显著区域。因此流形排序算法也适用于显著性计算。MR算法。

MR算法首先提出了一个基于超像素分割的闭环图模型，如图2。

闭环图模型是一个以超像素为节点的无向图模型G＝(V,E)，其中V代表节点集合，E代表无向边集合。闭环图的具体构建过程如下：

①对一个输入图像，使用SLIC超像素方法将图像分割成若干个超像素，每个超像素都作为图G中的一个节点，加入节点集合V；

②每个节点都与其邻节点、间接邻节点之间有边；

③边界节点之间两两有边，在图像的四周形成一个连通的环；

④集合E中各个边的权重定义为边所连接两节点的平均Lab颜色的欧几里得距离，具体计算公式如下：

$w_{ij}=e^{-\frac{\left|\right|c_i-c_j\left|\right|}{{\mathrm{\σ}}^2}},i,j\∈V---\left(3\right)$

其中i、j是节点的下标，0≤i，j≤n，c_i是节点i中包含所有像素点的Lab平均颜色。

对图像显著性检测问题，先构造上述的闭环图模型，选定具有显著特征的初始查询节点，然后就可以利用流形排序理论，根据公式(1)或公式(2)求得每个节点的排序值。这个排序值体现了节点与初始查询的相似程度，即显著程度。将这个排序值转换为图像中各个像素的显著值，即得到了显著图。

为统一计算形式，将公式(1)和公式(2)表示为一个公式，即公式(4)。

令A＝(D-αW)^-1，则：

f^*＝Ay (4)

当基于显著区域(前景)的查询节点进行流形排序时，每个节点的显著性定义为归一化的排序向量f^*；当基于非显著区域(背景)的查询节点进行流形排序时，每个节点的显著性定义为1-f^*。

随机游走(Random Walk)理论:给定一个图和一个初始节点，从初始节点出发，以一定的概率从一个节点游走到它的相邻节点。以当前所在节点作为新的初始节点，继续重复随机游走过程。这些随机选出的节点序列就构成了一个随机游走过程。2004年，Grady首次将随机游走引入到图像分割领域，提出了随机游走图像分割模型。如今，随机游走在机器学习和计算机视觉领域有着广泛的应用，包括图像分割、图像匹配、文档聚类、多标签分类等等。

在各种各样的实际应用中，随机游走的实质其实就是对数据进行多标签分类，我们可以归纳出以下基本的随机游走算法。

给定一个数据集X＝{x₁，...，x_n}∈Rⁿ，其中n是数据的数量，i是数据的下标。随机游走的任务就是将数据分为K类。我们首先为每一个类中取至少一个数据作为种子节点，这样数据集X被自然分为两类：种子节点和非种子节点。数据集其中x_M表示种子节点，x_U表示非种子节点。

构建一个图G(V,E)，其中节点V为数据集X，边E的权重表示为相似度矩阵W＝[w_ij]_n×n。图的度矩阵D＝diag{d₁₁,...,d_nn}，其中d_i＝Σ_jw_ij。我们定义大小为n×n的Laplacian矩阵L为：

$L_{uv}=\left\{\begin{array}{cc}{d}_u& ifu=v\\ -w_{uv}& if{x}_{u}and{x}_v\mathrm{ar}eadjacentnode\\ 0& otherwise\end{array}\right.---\left(5\right)$

我们定义每个节点的标签为其中k为分类标号。我们定义数据集中所有节点属于第k类的概率为其中：

$p_u^k=\left\{\begin{array}{c}1,Q\left(x_u\right)=k\\ 0,otherwise\end{array}\right.---\left(6\right)$

与数据集X同理，根据是否为种子节点，其中表示种子节点属于第k类的概率，表示非种子节点属于第k类的概率。

将Laplacian矩阵L按照种子节点和非种子节点的顺序重新排列，L可以重新表示为：

$L=\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]$

p^k的最优解被证明可以由最小化Dirichlet方程求解：

$\begin{array}{c}Dir\[p^k\]=\frac{1}{2}{\left(p^k\right)}^{T}L\left(p^k\right)\\ =\frac{1}{2}\[{\left(p_M^k\right)}^T{\left(p_U^k\right)}^T\]\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]\left[\begin{array}{c}{p}_M^k\\ p_U^k\end{array}\right]\\ =\frac{1}{2}({\left(p_M^k\right)}^T{L}_M{p}_M^k+2{\left(p_U^k\right)}^T{B}^T{p}_U^k+{\left(p_U^k\right)}^T{L}_U{p}_U^k)\end{array}---\left(7\right)$

对Dir[p^k]求解关于的微分，可得：

$L_U{p}_U^k=-B^T{p}_M^k---\left(8\right)$

$p_U^k=-L_U^{-1}{B}^T{p}_M^k.---\left(9\right)$

至此，在给定k类种子节点的前提下，我们可以通过公式(9)得到其他非种子节点属于k类的概率，并将其分类为概率最大的类。

随机游走算法在图像分割领域具有突出的优势。首先，算法无需迭代，计算速度非常快；其次，算法有良好的数学理论基础，因此在很多实际应用中能取得很好的实验效果，特别是针对含有噪声，弱边界甚至缺失边界的图像。

与图像分割类似，显著性检测问题，本质上来说也是一个二分类问题，因此也可以通过随机游走算法进行显著性计算。

若以具有前景特征的节点为种子节点进行随机游走过程，可以直接利用公式(10)和公式(11)计算各个节点的显著值：

$S_U=-L_U^{-1}{B}^T{S}_{fg}---\left(10\right)$

S_M＝S_fg (11)

其中S_U是非种子节点的显著值，S_M是种子节点的显著值。

若以具有背景特征的节点为种子节点进行随机游走过程，可以直接利用公式(12)和公式(13)计算各个节点的显著值：

$S_U=1-(-L_U^{-1}{B}^T(1-S_{bg}\left)\right)---\left(12\right)$

S_M＝1-S_bg (13)

其中S_U是非种子节点的显著值，S_M是种子节点的显著值。

基于流形排序和随机游走的图像显著性检测

针对MR算法在复杂背景图像下无法检测出准确显著区域的缺点，本发明提出了一种基于流形排序和随机游走的图像显著性检测算法(MRRW算法)。MRRW算法过程示意图如图1所示。

首先，给定一个图像，对其进行超像素分割，以超像素为节点构建闭环图模型。计算权值矩阵W、度矩阵D、拉普拉斯矩阵L。然后基于前景特征进行流形排序，得到基于MR的前景特征显著图S_MRfg；基于背景特征进行流形排序，得到基于MR的背景特征显著图S_MRbg。

其中，S_MRbg就是通过MR算法过程计算得到的；S_MRfg的具体计算过程如下：基于闭环图模型，将所有节点设为查询节点，相当于直接利用闭环图本身的最优相似度矩阵A，计算每个节点与其他节点的差异和。在公式(4)中令y＝[1,1,...,1]^T。以此进行流形排序得到一个显著图S_MRfg，该显著图即为考虑全局特征得到各个节点的显著值，计算公式为公式(14)。

S_MRfg＝A×[1,1,...,1]^T (14)

接下来，对两个显著图分别进行二值化得到前景种子和背景种子，根据公式(15)可以计算得到“最能代表前景特征”的初始前景fgQuery和“最能代表背景特征”的初始背景bgQuery，它们反映了较为准确的前景和背景特征。

其中，初始前景fgQuery，定义为前景种子和背景种子的交集，即两次被标记为显著区域的节点集合。初始背景bgQuery，定义为前景种子和背景种子并集的非，即两次被标记为非显著区域的节点集合。候选查询节点candidate，定义为前景种子和背景种子的并集和交集的差，即在两次标记不同的那些节点集合，是待判定为前景或背景的节点。Query1是前景种子，Query2是背景种子，fgQuery∪bgQuery∪candidate＝V。

以初始前景为种子节点，由随机游走算法得到基于RW的前景特征显著图S_RWfg；以初始背景为种子节点，由随机游走算法得到基于RW的背景特征显著图S_RWbg。

至此，我们得到了4个不同的显著图：S_MRfg、S_MRbg、S_RWfg、S_RWbg。对这四个显著图，我们采用公式(16)进行结合，得到最终的显著图。

S＝(S_MRfg+S_MRbg)×(S_RWfg+S_RWbg) (16)

公式(16)的实际意义可以这样理解：我们分别使用流形排序和随机游走算法两种评价系统来评估各个节点的基于前景特征和背景特征的显著性；对这两个算法都给予了较高显著值的那些节点，我们就赋予它更高的显著值。公式(16)展开后即为四个显著图分别两两相乘的和，因此，该公式也可以理解为对这四个显著图的融合，既保证被至少两个显著图标记为显著的区域不被检测错误，也容忍了个别显著图中标记错误的情况，不对错误进行累积。

除了公式(16)的结合方式，还有其他两个可取的计算方案：

①最终显著图是基于RW的前景特征显著图，这是由于面对较为复杂的情况，以精确率为更重要的考量时，可以直接采用较为正确的初始前景为种子进行随机游走算法；

S＝S_RWfg (17)

②最终显著图是，同样强调精确率，直接对随机游走产生的两个显著图进行结合。

S＝S_RWfg×S_RWbg (18)

通过实验验证，这三种方式都对MR算法在复杂场景下的表现有不同程度的提升，但公式(16)的表现最佳。图3给出了对比数据。可以看出，利用公式(16)进行显著性计算的精确率和F值最高，平均绝对误差最小，P-R曲线和F值曲线也有较好的表现。

MRRW算法

获取图像Image

输出图像的各个超像素的显著值，得到一个图像的显著图saliencymap

(1)将图像分割为n个超像素区域，以每个超像素为节点建立闭环图G，计算度矩阵D和权重矩阵W；

(2)计算最优相似度矩阵A＝(D-αW)^-1，并将其对角元素设置为0；

(3)由公式(5)计算拉普拉斯矩阵L；

(4)基于前景特征的流形排序：根据公式(14)，将所有节点作为查询节点进行流形排序计算，得到前景特征显著图，以自适应阈值二值化后得到前景种子Query1；

(5)基于背景特征的流形排序：以四个方向的边界节点作为查询节点进行流形排序计算，得到第一阶段显著图；将第一阶段显著图二值化的结果作为查询节点再进行一次流形排序计算，得到背景特征显著图，以自适应阈值二值化后得到背景种子Query2；

(6)根据公式(15)计算初始前景fgQuery、初始背景bgQuery；

(7)基于前景特征的随机游走：以初始前景fgQuery为初始节点，由公式(10)和公式(11)得到基于随机游走的前景特征显著图；

(8)基于背景特征的随机游走：以初始背景bgQuery为初始节点，由公式(12)和公式(13)得到基于随机游走的背景特征显著图；

(9)利用公式(16)计算各个节点的排序值，得到的排序值即为各个超像素的显著值，并以此求得图像的显著图。

本发明方法(MRRW)与近几年的其他三种state-of-art类算法：MR算法、SF算法、RC算法进行了对比分析。

实验中涉及到几个参数，它们分别是：超像素个数(闭环图节点个数)n，公式(4)中的调节参数α。本发明实验中，参考MR算法中的设定，取n＝200,α＝0.99。使用了以下几种评价指标与其他算法进行分析对比：精确率(Precision)、召回率(Recall)、F值(F-measure)、P-R曲线、F值曲线和平均绝对误差(MAE)。对F值的计算公式(19)，设β²＝0.3以强调精确率的重要性。

$F_{\mathrm{\β}}=\frac{(1+{\mathrm{\β}}^2)\mathrm{Pr}ecision\×\mathrm{Re}call}{{\mathrm{\β}}^2\mathrm{Pr}ecision+\mathrm{Re}call}---\left(19\right)$

图3是MRRW、MR、RC、SF四种算法在DUT-OMRON数据集上自适应阈值下的精确率、召回率和F值。从图3中可以看出，MRRW算法相比MR算法精确率有所提升，召回率有所下降，F值仍有提升，这是因为我们在实际应用中更看重精确率。从数据来看，MRRW算法比MR算法的精确率提高了8.5％，F值提高了5.7％。

图4是四种算法在DUT-OMRON数据集上的平均绝对误差比较，从图上看，MRRW算法的MAE值比MR算法的小一倍。MRRW算法和SF算法在这一指标上表现更好，这是因为它们对非显著区域的分类更为准确。

图5和图6分别是固定阈值下各个算法的P-R曲线和F值曲线。可以看出，MRRW算法在P-R曲线上是表现最好的，在F值曲线上与MR算法差不多。

因此，从图3-6可以看出，在复杂图像背景下，MRRW算法比包括MR算法在内的其他三种算法精确率更高、效果更好。

本发明算法得到的显著图与其他三种算法：MR算法、RC算法、SF算法的对比结果，其中GT是人工标记的显著区域。可以看出，以GT为参照，本发明算法的效果普遍好于其他三种算法。

从实验结果来看，MR算法对显著区域的判定存在大面积的偏差，墙壁和天空特征与前景接近被认为显著；而MRRW算法则能清晰地标记出显著区域。图7的中间两组图像，由于人的帽子和塔顶的特征与背景更接近，MR算法将其认为是背景；MRRW结合了四种显著图后认为其为前景。图7的最后两组图片，MR算法和MRRW都有较好的实验效果，不过MRRW算法的显著区域更突显，显著与非显著区域的边界更清晰。这是也由于MRRW算法采用了乘法结合不同的显著图，这使得被两个显著图同时认为显著的区域得到更高的显著值，而非显著区域同理得到更低的显著值。

从实验效果上来看，图7依次排列为原图、GT、MRRW、MR RC、SF的顺序行，通过不同场景进行比较。MRRW算法减少了MR算法在某些图片上大面积检测错误的情况，使得“模糊区域”获得更准确的显著值从而让显著区域更准确。总体来看，MRRW算法在复杂图像背景情况下比MR、RC、SF三种算法的实验效果都要好。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于流形排序和随机游走的图像显著性检测方法，其特征在于，包括如下步骤：

S1，获取图像，对该图像进行超像素分割，以超像素为节点构建闭环图模型；

S2，基于前景特征进行流形排序得到流形排序前景特征显著图S_MRfg，基于背景特征进行流行排序得到流形排序背景特征显著图S_MRbg；

S3，以初始前景特征为种子节点，由随机游走方法获得前景特征显著图S_RWfg；以初始背景特征为种子节点，由随机游走方法获得背景特征显著图S_RWbg；

S4，将S_MRfg、S_MRbg、S_RWfg、S_RWbg四个显著图进行结合，得到最终的显著图。

2.根据权利要求1所述的基于流形排序和随机游走的图像显著性检测方法，其特征在于，所述S1包括：

S1-1，将图像分割为n个超像素区域，以每个超像素为节点建立闭环图G，计算度矩阵D和权重矩阵W；

S1-2，计算最优相似度矩阵A＝(D-αW)^-1，并将其对角元素设置为0；

S1-3，由公式计算拉普拉斯矩阵L，其中，u、v是节点下标，d表示节点的度，w表示节点间的权重。

3.根据权利要求1所述的基于流形排序和随机游走的图像显著性检测方法，其特征在于，所述S2包括：

基于闭环图模型，将所有节点设为查询节点，相当于直接利用闭环图本身的最优相似度矩阵A，计算每个节点与其他节点的差异和。在公式(4)中令y＝[1,1,...,1]^T。以此进行流形排序得到一个显著图S_MRfg，该显著图即为考虑全局特征得到各个节点的显著值，计算公式为：

S_MRfg＝A×[1,1,...,1]^T，

接下来，对两个显著图分别进行二值化得到前景种子和背景种子，计算得到初始前景fgQuery和初始背景bgQuery，通过如下公式反映了准确的前景特征和背景特征。

fgQuery＝Query1∩Query2

candidate＝Query1∪Query2-Query1∩Query2

其中，初始前景特征fgQuery，定义为前景种子和背景种子的交集，即两次被标记为显著区域的节点集合；初始背景特征bgQuery，定义为前景种子和背景种子并集的非，即两次被标记为非显著区域的节点集合；候选查询节点candidate，定义为前景种子和背景种子的并集和交集的差，即在两次标记不同的那些节点集合，是待判定为前景或背景的节点；Query1是前景种子，Query2是背景种子，fgQuery∪bgQuery∪candidate＝V，V是所有节点的集合。

4.根据权利要求1所述的基于流形排序和随机游走的图像显著性检测方法，其特征在于，所述S3包括：

S3-1，基于前景特征的随机游走：以初始前景fgQuery为初始节点，由公式和公式S_M＝S_fg得到基于随机游走的前景特征显著图，其中S_U是非种子节点的显著值，S_M是种子节点的显著值，其中L为拉普拉斯矩阵，S_fg为基于前景特征的显著图，将拉普拉斯矩阵L按照种子节点S_M和非种子节点S_U的顺序重新排列，L重新表示为：B是L的子矩阵，T是矩阵转置的标志，是矩阵运算的常用符号；

S3-2，基于背景特征的随机游走：以初始背景bgQuery为初始节点，由公式和公式S_M＝1-S_bg得到基于随机游走的背景特征显著图。

5.根据权利要求1所述的基于流形排序和随机游走的图像显著性检测方法，其特征在于，所述S4包括：

采用公式S＝(S_MRfg+S_MRbg)×(S_RWfg+S_RWbg)进行结合，得到最终的显著图。