CN111091129B - 一种基于多重颜色特征流形排序的图像显著区域提取方法 - Google Patents

Abstract

本发明提供一种基于多重颜色特征流形排序的图像显著区域提取方法，涉及图像处理与计算机视觉技术领域。本发明步骤如下：步骤1：图像预处理；对原图像进行颜色空间转换，将图像RGB颜色空间转换为CIELab颜色空间，并对转换后的图像进行超像素分割，得到处理后图像；步骤2：图像特征提取；在步骤1得到的处理后图像上以超像素作为节点构造图模型，提取颜色均值特征和直方图特征，在图模型上分别以两种特征利用流形排序方法计算所有节点的显著性值f₁和f₂；步骤3：显著图融合；将f₁和f₂分别进行归一化，并将归一化后的数据进行等比例线性融合得到图像显著性值f′，并生成显著图S。该方法能够突出目标区域抑制背景，准确地检测出显著区域。

Description

一种基于多重颜色特征流形排序的图像显著区域提取方法

技术领域

本发明涉及图像处理与计算机视觉技术领域，尤其涉及一种基于多重颜色特征流形排序的图像显著区域提取方法。

背景技术

图像显著性区域提取旨在使用计算机模拟人类视觉机制，自动地从图像中检测出人眼感兴趣的区域，是计算机视觉领域一个重要的预处理步骤。通过各种算法模型计算出来的显著图被广泛地应用于图像分割、图像压缩与目标识别等领域。如何准确、快速地识别图像显著性区域是图像显著性检测研究的主要方向。

近几十年来，研究者们对图像的显著性检测展开了深入研究。目前显著性检测方法大致可以分为两类：(1)自底向上。是基于输入图像底层的特征，如颜色、纹理或距离等，提取图像中的显著目标，属于数据驱动的数据处理类型，速度较快。(2)自顶向下。属于任务驱动的数据处理类型，需要大量的视觉数据集进行训练，受主观意识支配，且依赖于所需的任务，是慢速的注意机制。由于自底向上的显著性检测算法着眼于图像特征，独立于特定任务，因此，目前显著性检测方法多采用自底向上的方法。如基于频域的SR方法和FT方法等，这些方法虽然计算速度快并且能够均匀的检测出目标区域，但是显著区域与背景的亮度区别并不明显。为解决这些问题一种基于对比度的MR(Manifold ranking)方法被提了出来，该方法利用流形排序模型检测图像显著性目标，有着很高的检测准确率，但是这种方法提取CIELab颜色空间的颜色均值特征来描述图像，这势必会造成信息的丢失，对于前景和目标颜色相似或者背景和目标接触较多的情况，该方法很难将背景和目标区域区分开来，检测效果有限。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于多重颜色特征流形排序的图像显著区域提取方法，能够突出目标区域抑制背景，准确地检测出显著区域。

为解决上述技术问题，本发明所采取的技术方案是：

本发明提供一种基于多重颜色特征流形排序的图像显著区域提取方法，包括以下步骤：

步骤1：图像预处理；对原图像进行颜色空间转换，将图像RGB颜色空间转换为CIELab颜色空间，并对转换后的图像进行超像素分割，得到处理后图像；采用SLIC算法对图像进行超像素分割，得到超像素块集合X＝{x₁、x₂、…、x_n},其中n是超像素块个数；

步骤2：图像特征提取；在步骤1得到的处理后图像上以超像素作为节点构造图模型，提取颜色均值特征和直方图特征，在图模型上分别以两种特征利用流形排序方法计算所有节点的显著性值f₁和f₂；

步骤3：显著图融合；将步骤2得到的f₁和f₂分别进行归一化，并将归一化后的数据进行等比例线性融合得到图像显著性值f′，并生成显著图S。

所述步骤2还包括如下步骤：

步骤2.1：以超像素作为节点构造图模型；在数据集X上定义一个图G＝(V，E)，图G的节点V由数据集X组成，两个节点之间边E权重为w_ij；

步骤2.2：获取处理后图像颜色均值特征和直方图特征；

步骤2.2.1：提取处理后图像CIELab颜色空间中所有超像素块的颜色均值特征集合C＝{c₁、c₂、…、c_n},其中c_n＝(lⁿ,aⁿ,bⁿ)^T代表超像素块n中所有像素点的颜色均值特征，lⁿ代表超像素块n中所有像素点l通道的颜色均值，aⁿ代表超像素块n中所有像素点a通道的颜色均值，bⁿ代表超像素块n中所有像素点b通道的颜色均值；

步骤2.2.2：提取处理后图像CIELab颜色直方图特征H；将每个超像素的l通道量化为o个柱,a通道量化为m个柱,b通道量化为z个柱，得到CIELab颜色直方图特征向量集合H＝{h₁、h₂、…、h_n},其中

代表超像素块n组成的o+m+z维的CIELab颜色直方图特征向量；

步骤2.3：根据颜色均值特征采用流形排序方法计算前景显著性值f₁；

步骤2.3.1：采用背景先验，以处理后图像四周边界区域的超像素节点作为查询节点，分别得到上边界的前景显著图S1、下边界的前景显著图S2、左边界的前景显著图S3和右边界的前景显著图S4；

具体包括如下步骤：首先以处理后图像的上边界区域中超像素节点为查询节点，其他节点作为未被标记的节点，判断节点x_i是否为查询节点，若是，则y_i＝1，若否，则y_i＝0，得出指示向量Y＝[y₁,y₂，…，y_n]^T，根据权值

计算出图模型关联矩阵W＝[w_ij]_n×n和图模型度矩阵D，其中，i,j∈V，n为节点个数，c_i和c_j表示节点i和节点j的颜色平均值，||·||表示欧式距离，δ是权重常数，用来控制c_i到c_j边的权重；度矩阵D＝diag{d₁₁,…,d_ii,…,d_nn},其中

在图模型G上根据显著值公式f＝(D-αW)^-1Y得出上边界区域的显著值f_p，即为所有节点相对于查询节点的排序值，其中Y代表指示向量，α为约束系数，归一化显著值f_p到[0,1]得到f_p'，并计算f″_p＝1-f′_p，根据f″_p得到以上边界为查询节点的显著图S1；重复本步骤，分别计算出以处理后图像的下边界区域、左边界区域、右边界区域的超像素节点作为查询节点的前景显著图S2、S3、S4；

步骤2.3.2：将前景显著图S1、S2、S3、S4进行融合，得到显著图S_c＝S1×S2×S3×S4,对S_c进行自适应阈值分割，阈值为前景显著图S_c的平均显著值，将大于等于阈值的点作为前景种子节点，判断节点x_i是否为前景种子节点，若是，则y′_i＝1，若否，则y′_i＝0，得出指示向量Y′＝[y′₁,y′₂，…，y′_n]^T，根据显著值公式f＝(D-αW)^-1Y得出显著值f^*，归一化显著值f^*到[0,1]，得到f₁ ^*，并计算f₁＝1-f₁ ^*，得到前景显著图S_c的前景显著性值f₁；

步骤2.4：根据直方图特征采用流形排序方法计算前景显著性值f₂；

步骤2.4.1：采用背景先验，以处理后图像四周边界区域的超像素节点作为查询节点，得到上边界的前景显著图S5、下边界的前景显著图S6、左边界的前景显著图S7、右边界的前景显著图S8；

具体包括如下步骤：首先以处理后图像的上边界区域中超像素节点为查询节点，其他节点作为未被标记的节点，判断节点x_i是否为查询节点，若是，则y″_i＝1，若否，则y″_i＝0，得出指示向量Y″＝[y″₁,y″₂,…,y″_n]^T，根据权值

计算出图模型关联矩阵W′＝[w′_ij]_n×n和图模型度矩阵D′，其中，d_{bhattacharrya}(H_i,H_j)代表节点i的颜色直方图H_i到节点j的颜色直方图H_j的巴氏距离，δ是权重常数，用来控制边的权重，度矩阵D′＝diag{d′₁₁、d′₂₂、…、d′_ii、…、d′_nn},其中

在图模型G上根据显著值公式f＝(D-αW)^-1Y得出上边界区域的显著值f_H，归一化显著值f_H到[0,1]得到f′_H，并计算f″_H＝1-f′_H，根据f″_H得到以上边界为查询节点的显著图S5，重复本步骤，分别计算出以处理后图像的下边界区域、左边界区域、右边界区域的超像素节点作为查询节点的前景显著图S6、S7、S8；

步骤2.4.2：将前景显著图S5、S6、S7、S8进行融合，得到显著图S_H＝S5×S6×S7×S8,对S_H进行自适应阈值分割，阈值为显著图S_H的平均显著值，将大于等于阈值的点作为前景种子节点，判断节点x_i是否为前景种子节点，若是，则y″′_i＝1，若否，则y″′_i＝0，得出指示向量Y″′＝[y″′₁,y″′₂,…,y″′_n]^T，根据显著值公式f＝(D-αW)^-1Y得出显著值

归一化显著值

到[0,1]，得到

并计算

得到前景显著图S_H的前景显著性值f₂。

所述步骤2.4.1中的巴氏距离d_{bhattacharrya}(H_i,H_j)的具体公式为：

其中，N代表直方图的柱数。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于多重颜色特征流形排序的图像显著区域提取方法，本发明提取了超像素的CIELab颜色均值特征和直方图两种特征，利用流形排序算法计算超像素的显著性值，并将两种特征下得到的超像素显著性值进行等比例融合，得到图像最终的显著性值。本发明从多个角度分析了图像，CIELab颜色特征均值从宏观角度描述超像素，包含了粗尺度三维颜色特征，而颜色直方图从微观角度描述超像素的细节颜色信息，包含了多维的细尺度颜色特征。从而较好的突出了目标区域，同时也抑制了背景。将本方法与当前流行的7种算法在公开数据集MSRA-5000上进行了对比，在视觉及定量指标上都优于其它方法。

附图说明

图1为本发明实施例提供的方法流程图；

图2为本发明实施例提供的测试基本图；

图3为本发明实施例提供的显著性图；

图4为本发明实施例提供的评价指标对比图，其中，a为P-R曲线示意图，b为P-R曲线示意图，c为P、R以及F-measure值的柱状图；

图5为本发明实施例提供的视觉对比图，其中，a为原图，b为采用SR方法的示意图，c为采用AC方法的示意图，d为采用FT方法的示意图，e为采用PCA方法的示意图，f为采用MSS方法的示意图，g为采用WTLL方法的示意图，h为采用MR方法的示意图，i为采用本方法的示意图，j为原图的真值图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的方法如下所述。

本发明提供一种基于多重颜色特征流形排序的图像显著区域提取方法，包括以下步骤：

步骤1：图像预处理；对如图2所示的原图像(即测试基本图)进行颜色空间转换，将图像RGB颜色空间转换为CIELab颜色空间，并对转换后的图像进行超像素分割，以提高提取效率，并得到处理后图像；采用SLIC(Simple Linear Iterative Cluste)算法对图像进行超像素分割，得到超像素块集合X＝{x₁、x₂、…、x_n},其中n是超像素块个数；

SLIC(Simple Linear Iterative Cluste)算法对图像进行超像素分割的具体方法为对CIELab颜色空间中的图像，提取每个像素的五维特征向量

[v,q]表示像素点的坐标。通过对所有的像素点和最近的聚类中心进行计算，从而得出一个新的聚类中心，将新的聚类中心与旧的聚类中心进行反复的差值计算，直到该差值收敛于某一个特定的值，对于大多数图像，迭代次数一般在10次以内。由于进行超像素分割后，不连通区域的像素没有对应的聚类中心，该方法在最后对这些像素进行了处理，将其分配到与其临近的最大的超像素块中。具体步骤如下：

(1)在处理后图像所有像素点N中，设置超像素个数n，并均匀分配聚类中心，我们每隔S＝sqrt(N/n)个像素取一个聚类中心，为了使其具有更好的鲁棒性，避免聚类中心落在图像的边缘，计算该像素点为中心的3×3的邻域内的所有像素点的梯度值，并将梯度最小的像素点作为修正后的聚类中心。

(2)利用CIELab空间中的颜色距离和像素间的空间距离来生成超像素。对于尺度较大的超像素，其空间距离有时会很大，远远超过了颜色距离，这样就会削弱颜色距离在度量中的作用，失去了颜色距离该有的作用，从而影响到图像边界的连通性。为了消除这种影响，将这两种距离先进行归一化，再结合起来形成统一的度量，颜色距离

空间距离

其中θ代表2S×2S范围内的第θ个像素，λ表示第λ个聚类中心，在每个聚类中心的周围2S×2S为其邻域范围，在此范围内根据公式

其中m代表最大的颜色距离，搜索最为相似的像素点，决定像素点的归属。

其中，S＝sqrt(N/n)，就是2倍的S这么大的距离，也可以理解为每个超像素的聚类中心相隔的距离是S，搜索范围是以聚类中心为圆心，半径是2S；

(3)反复计算聚类中心，并在得到的新的聚类中心上进行重新聚类并迭代进行差值计算，直到该聚类中心收敛时停止计算。

(4)如果存在不连通区域，将其分配到与之临近的最大的超像素块中。

步骤2：图像特征提取；在步骤1得到的处理后图像上以超像素作为节点构造图模型，提取颜色均值特征和直方图特征，在图模型上分别以两种特征利用流形排序方法计算所有节点的显著性值f₁和f₂；

步骤2.1：构造图模型；在数据集X上定义一个图G＝(V，E)，图G的节点V由数据集X组成，即数据集X内数据构成节点V；每个节点不仅和它相邻的节点相连，那些与该节点的邻接节点共享同一个超像素边界的节点也和该节点相连，而且图像四个边界内的节点也是两两之间相连,两个节点之间边E权重为w_ij；

在数据集X上定义了一个图模型G＝(V,E)，其中V是结点集X，E是连接节点的边构成的集合，是由关联矩阵W＝[w_ij]_n×n加权得到的。定义给定图模型G的度矩阵D＝diag{d₁₁,…,d_nn},其中d_ii＝∑_jw_ij,类似于网页排序和谱聚类算法。通过求解以下优化问题来计算排序值的最优解f：

其中，参数μ控制平滑约束(第一项)和拟合约束(第二项)之间的平衡。通过上式的导数为零来计算最小值，排序函数可以写成：

f＝(I-αT)^-1Y                      (2)

其中，I是一个单位矩阵，参数α＝1/(1+μ)，T是归一化的拉普拉斯矩阵,T＝D^-1/2WD^-1/2。

利用非归一化的拉普拉斯矩阵，可以得到排序函数公式(1)的另一种形式：

f＝(D-αW)^-1Y               (3)

步骤2.2：以超像素作为节点根据处理后图像获取颜色均值特征和直方图特征；

步骤2.2.1：提取处理后图像CIELab颜色空间中所有超像素块的颜色均值特征集合C＝{c₁、c₂、…、c_n},其中c_n＝(lⁿ,aⁿ,bⁿ)^T代表超像素块n中所有像素点的颜色均值特征，lⁿ代表超像素块n中所有像素点l通道的颜色均值，aⁿ代表超像素块n中所有像素点a通道的颜色均值，bⁿ代表超像素块n中所有像素点b通道的颜色均值；

步骤2.2.2：提取处理后图像CIELab颜色直方图特征H；将每个超像素的l通道量化为o个柱,a通道量化为m个柱,b通道量化为z个柱，得到CIELab颜色直方图特征向量集合H＝{h₁、h₂、…、h_n},其中

代表超像素块n组成的o+m+z维的CIELab颜色直方图特征向量；

步骤2.3：根据颜色均值特征采用流形排序方法计算前景显著性值f₁；

所述流形排序是基于图正则化框架下半监督学习的一种，基本思想是根据训练样本及某种相似度构造一个图，图中结点对应了(已标记或未标记)示例，边为示例间的相似度，依此对样本进行分类，由于流形结构不仅能够合理地描述出数据间的相互关系，还能整体考虑数据集的全局结构，因此，本发明使用带权流形结构来刻画超像素之间的关系，使得数据的表达更加直观。

具体步骤如下：

步骤2.3.1：采用背景先验，以处理后图像四周边界区域的超像素节点作为查询节点，分别得到上边界的前景显著图S1、下边界的前景显著图S2、左边界的前景显著图S3和右边界的前景显著图S4；

具体包括如下步骤：首先以处理后图像的上边界区域的超像素节点为查询节点，其他节点作为未被标记的节点，判断节点x_i是否为查询节点，若是，则y_i＝1，若否，则y_i＝0，得出指示向量Y＝[y₁,y₂，…，y_n]^T，每个待排序的未标记的节点x_i的排序值(即显著值)由函数f＝(D-αW)^-1Y确定，根据权值

计算出关联矩阵W＝[w_ij]_n×n和度矩阵D，其中，i,j∈V，n为节点个数，c_i和c_j表示节点i和节点j的颜色平均值，||·||表示欧式距离，δ是权重常数，用来控制c_i到c_j边的权重；度矩阵D＝diag{d₁₁,…,d_ii,…,d_nn},其中

根据显著值公式f＝(D-αW)^-1Y得出上边界区域的显著值f_p，即为所有节点相对于查询节点的排序值，其中y代表指示向量，α代表约束系数，f_p中每一个元素代表一个节点和查询节点的相关性，归一化显著值f_p到[0,1]得到f′_p，并计算f″_p＝1-f′_p，根据f″_p得到以上边界为查询节点的显著图S1；重复本步骤，同样方法可以分别计算出以处理后图像的下边界区域、左边界区域、右边界区域的超像素节点作为查询节点的前景显著图S2、S3、S4；

步骤2.3.2：将前景显著图S1、S2、S3、S4进行融合，得到显著图S_c＝S1×S2×S3×S4,对S_c进行自适应阈值分割，阈值为前景显著图S_c的平均显著值，将大于等于阈值的点作为前景种子节点，判断节点x_i是否为前景种子节点，若是，则y′_i＝1，若否，则y′_i＝0，得出指示向量Y′＝[y′₁,y′₂，…，y′_n]^T，根据显著值公式f＝(D-αW)^-1Y得出显著值f^*，归一化显著值f^*到[0,1]，得到f₁ ^*，并计算f₁＝1-f₁ ^*，得到前景显著图S_c的前景显著性值f₁；

步骤2.4：根据直方图特征采用流形排序方法计算前景显著性值f₂；

步骤2.4.1：采用背景先验，以处理后图像四周边界区域的超像素节点作为查询节点，得到上边界的前景显著图S5、下边界的前景显著图S6、左边界的前景显著图S7、右边界的前景显著图S8；

具体包括如下步骤：首先以处理后图像的上边界区域的超像素节点为查询节点，其他节点作为未被标记的节点，判断节点x_i是否为查询节点，若是，则y″_i＝1，若否，则y″_i＝0，得出指示向量Y″＝[y″₁,y″₂,…,y″_n]^T，每个待排序的未标记的节点x_i的排序值由函数f＝(D-αW)^-1Y确定,根据权值

计算出关联矩阵W′＝[w_i′_j]_n×n和度矩阵D′，其中，d_{bhattacharrya}(H_i,H_j)代表节点i的颜色直方图H_i到节点j的颜色直方图H_j的巴氏距离，δ是权重常数，用来控制边的权重即用来控制H_i到H_j的边的权重，度矩阵D′＝diag{d′₁₁、d′₂₂、…、d′_ii、…、d′_nn},其中

根据显著值公式f＝(D-αW)^-1Y得出上边界区域的显著值f_H，即为所有节点相对于查询节点的排序值，f_p中每一个元素代表一个节点和查询节点的相关性，归一化显著值f_H到[0,1]得到f′_H，并计算f″_H＝1-f′_H，根据f″_H得到以上边界为查询节点的显著图S5，重复本步骤，同样方法可以分别计算出以处理后图像的下边界区域、左边界区域、右边界区域的超像素节点作为查询节点的前景显著图S6、S7、S8；

所述巴氏距离d_{bhattacharrya}(H_i,H_j)的具体公式为：

其中，N代表直方图的柱数。

步骤2.4.2：将前景显著图S5、S6、S7、S8进行融合，得到显著图S_H＝S5×S6×S7×S8,对S_H进行自适应阈值分割，阈值为显著图S_H的平均显著值，将大于等于阈值的点作为前景种子节点，判断节点x_i是否为前景种子节点，若是，则y″′_i＝1，若否，则y″′_i＝0，得出指示向量Y″′＝[y″′₁，y″′₂,…,y″′_n]^T，根据显著值公式f＝(D-αW)^-1Y得出显著值

归一化显著值

到[0,1]，得到

并计算

得到前景显著图S_H的前景显著性值f₂；其中每一个元素为一个节点和前景种子点的相关性，即为显著性。

步骤3：显著图融合；将步骤2得到的f₁和f₂分别进行归一化到[0,1]，并将归一化后的数据进行等比例线性融合得到图像显著性值f′，并生成显著图S，如图3所示。

本实施例中，假设将图像四周边界区域作为背景区域，这个假设是基于经验的假设。同时α设置为经验值0.99，δ²设置为经验值0.1。

如图4所示，7种算法(SR(Spectral Residual谱残余方法)、AC(Salient RegionDetection and Segmentation基于局部对比度方法)、FT(Frequency-tuned基于频率方法)、PCA(Principal Component Analysis,基于主成分分析方法)、MSS(Maximumsymmetric surround基于最大对称环绕方法)、WTLL(Low-level Features Based onWavelet Transform基于小波变换的低层特征提取方法)和MR(Manifold ranking基于图的流行排序方法))在MSRA-5000数据集上的评价指标对比可知本方法的P-R曲线和ROC曲线都是最高的；而且F-measure值也高于其他7种算法。

如图5所示，是本方法与7种方法在公开的MSRA-5000数据集部分实验结果的视觉对比图，从图中看出，本方法能够较准确地检测出显著目标。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于多重颜色特征流形排序的图像显著区域提取方法，其特征在于：包括以下步骤：

步骤1：图像预处理；对原图像进行颜色空间转换，将图像RGB颜色空间转换为CIELab颜色空间，并对转换后的图像进行超像素分割，得到处理后图像；采用SLIC算法对图像进行超像素分割，得到超像素块集合X＝{x₁、x₂、…、x_n},其中n是超像素块个数；

步骤2：图像特征提取；在步骤1得到的处理后图像上以超像素作为节点构造图模型，提取颜色均值特征和直方图特征，在图模型上分别以两种特征利用流形排序方法计算所有节点的显著性值f₁和f₂；

步骤3：显著图融合；将步骤2得到的f₁和f₂分别进行归一化，并将归一化后的数据进行等比例线性融合得到图像显著性值f′，并生成显著图S；

所述步骤2还包括如下步骤：

步骤2.1：以超像素作为节点构造图模型；在数据集X上定义一个图G＝(V，E)，图G的节点V由数据集X组成，两个节点之间边E权重为w_ij；

步骤2.2：获取处理后图像颜色均值特征和直方图特征；

步骤2.2.1：提取处理后图像CIELab颜色空间中所有超像素块的颜色均值特征集合C＝{c₁、c₂、…、c_n},其中c_n＝(lⁿ,aⁿ,bⁿ)^T代表超像素块n中所有像素点的颜色均值特征，lⁿ代表超像素块n中所有像素点l通道的颜色均值，aⁿ代表超像素块n中所有像素点a通道的颜色均值，bⁿ代表超像素块n中所有像素点b通道的颜色均值；

步骤2.2.2：提取处理后图像CIELab颜色直方图特征H；将每个超像素的l通道量化为o个柱,a通道量化为m个柱,b通道量化为z个柱，得到CIELab颜色直方图特征向量集合H＝{h₁、h₂、…、h_n},其中

代表超像素块n组成的o+m+z维的CIELab颜色直方图特征向量；

步骤2.3：根据颜色均值特征采用流形排序方法计算前景显著性值f₁；

步骤2.3.1：采用背景先验，以处理后图像四周边界区域的超像素节点作为查询节点，分别得到上边界的前景显著图S1、下边界的前景显著图S2、左边界的前景显著图S3和右边界的前景显著图S4；

具体包括如下步骤：首先以处理后图像的上边界区域中超像素节点为查询节点，其他节点作为未被标记的节点，判断节点x_i是否为查询节点，若是，则y_i＝1，若否，则y_i＝0，得出指示向量Y＝[y₁,y₂，…，y_n]^T，根据权值

计算出图模型关联矩阵W＝[w_ij]_n×n和图模型度矩阵D，其中，i,j∈V，n为节点个数，c_i和c_j表示节点i和节点j的颜色平均值，||·||表示欧式距离，δ是权重常数，用来控制c_i到c_j边的权重；度矩阵D＝diag{d₁₁,…,d_ii,…,d_nn},其中

在图模型G上根据显著值公式f＝(D-αW)^-1Y得出上边界区域的显著值f_p，即为所有节点相对于查询节点的排序值，其中Y代表指示向量，α为约束系数，归一化显著值f_p到[0,1]得到f'_p，并计算f″_p＝1-f'_p，根据f″_p得到以上边界为查询节点的显著图S1；重复本步骤，分别计算出以处理后图像的下边界区域、左边界区域、右边界区域的超像素节点作为查询节点的前景显著图S2、S3、S4；

步骤2.3.2：将前景显著图S1、S2、S3、S4进行融合，得到显著图S_c＝S1×S2×S3×S4,对S_c进行自适应阈值分割，阈值为前景显著图S_c的平均显著值，将大于等于阈值的点作为前景种子节点，判断节点x_i是否为前景种子节点，若是，则y′_i＝1，若否，则y′_i＝0，得出指示向量Y′＝[y′₁,y′₂，…，y′_n]^T，根据显著值公式f＝(D-αW)^-1Y得出显著值f^*，归一化显著值f^*到[0,1]，得到f₁ ^*，并计算f₁＝1-f₁ ^*，得到前景显著图S_c的前景显著性值f₁；

步骤2.4：根据直方图特征采用流形排序方法计算前景显著性值f₂；

步骤2.4.1：采用背景先验，以处理后图像四周边界区域的超像素节点作为查询节点，得到上边界的前景显著图S5、下边界的前景显著图S6、左边界的前景显著图S7、右边界的前景显著图S8；

具体包括如下步骤：首先以处理后图像的上边界区域中超像素节点为查询节点，其他节点作为未被标记的节点，判断节点x_i是否为查询节点，若是，则y″_i＝1，若否，则y″_i＝0，得出指示向量Y″＝[y″₁,y″₂,…,y″_n]^T，根据权值

计算出图模型关联矩阵W′＝[w′_ij]_n×n和图模型度矩阵D′，其中，d_{bhattacharrya}(H_i,H_j)代表节点i的颜色直方图H_i到节点j的颜色直方图H_j的巴氏距离，δ是权重常数，用来控制边的权重，度矩阵D′＝diag{d′₁₁、d′₂₂、…、d′_ii、…、d′_nn},其中

在图模型G上根据显著值公式f＝(D-αW)^-1Y得出上边界区域的显著值f_H，归一化显著值f_H到[0,1]得到f′_H，并计算f″_H＝1-f′_H，根据f″_H得到以上边界为查询节点的显著图S5，重复本步骤，分别计算出以处理后图像的下边界区域、左边界区域、右边界区域的超像素节点作为查询节点的前景显著图S6、S7、S8；

步骤2.4.2：将前景显著图S5、S6、S7、S8进行融合，得到显著图S_H＝S5×S6×S7×S8,对S_H进行自适应阈值分割，阈值为显著图S_H的平均显著值，将大于等于阈值的点作为前景种子节点，判断节点x_i是否为前景种子节点，若是，则y″′_i＝1，若否，则y″′_i＝0，得出指示向量Y″′＝[y″′₁,y″′₂,…,y″′_n]^T，根据显著值公式f＝(D-αW)^-1Y得出显著值

归一化显著值

到[0,1]，得到

并计算

得到前景显著图S_H的前景显著性值f₂。

2.根据权利要求1所述的一种基于多重颜色特征流形排序的图像显著区域提取方法，其特征在于：所述步骤2.4.1中的巴氏距离d_{bhattacharrya}(H_i,H_j)的具体公式为：

其中，N代表直方图的柱数。

Images