CN108765384A - 一种联合流形排序和改进凸包的显著性检测方法 - Google Patents

Abstract

本发明公开一种联合流形排序和改进凸包的显著性检测方法，步骤是对输入的图像首先通过流行排序算法(MR)在CIELab颜色空间上对图像的前景进行提取，在CIELab颜色空间上通过颜色特征计算得到显著区域的大致位置的显著图，将显著图融合提取的前景图像得到先验图；其次通过高斯金字塔算法对图像进行降采样，得到两种不同尺度的图像，结合经典的Harris算子检测原图和两种不同尺度图像的角点，将三者求交集得到更合理的凸包；然后利用颜色直方图结合凸包来计算观察似然概率；最后根据已有的先验图和似然概率,结合贝叶斯模型得到显著图。与现有技术相比，本发明的方法能够快速有效的检测图像的显著性区域，得到一致高亮的显著目标，得到较符合视觉感知的显著图。

Description

一种联合流形排序和改进凸包的显著性检测方法

技术领域

本发明属于图像处理技术领域，具体是涉及一种联合流形排序和改进凸包的显著性检测方法。

背景技术

研究人员发现人的视觉注意机制可以准确、快速定位自然场景中最引人注意的物体或区域，计算机通过模仿这一视觉注意机制原理形成显著性检测技术。显著性检测是图像处理中关键的一个阶段，并且广泛应用于计算机视觉领域，包括目标识别、视频压缩、基于内容的图像检索、图像的感兴趣物体分割等。计算机视觉领域的显著性检测算法通常可以分为两类：自底向上(数据驱动)的方法和自顶向下(任务驱动)的方法。自底向上的方法是基于低级视觉特性的，如图像包含的颜色、位置、纹理等特征进行显著性判断。Itti等受生物模型启发首次提出“A model of saliency based visual attention for rapidscene analysis”一种自底向上的显著性模型。它模拟灵长类动物的早期视觉特征，结合图像颜色、亮度和方向三个方面的特征，在不同尺度上依据中心—周围对比原理计算特征图，融合各尺度特征图来得到最终的显著图。由于该模型重点突出图像的高频细节，无法得到准确的显著图。

近年来，研究者们对生物启发模型的研究之后提出了基于纯数学计算的显著性检测模型，该模型符合人类视觉系统快速获取显著物体的视觉原理并且计算速度快。Hou等提出“Saliency Detection:A Spectral Residual Approach”在频率域的计算方法，通过计算图像在频率域的冗余部分和变化部分得到图像的显著图。Achanta等从频域角度出发，首次提出了“.Frequency-tuned salient region detection”一种基于全局对比的显著区域检测算法。该算法首先对输入图像进行高斯滤波，然后将滤波后的图像中的每个像素值和整幅图像的平均像素值之间的欧几里得空间距离作为该像素的显著值。频率域的计算模型简单易于实现并且计算效率高，但是该模型过分的强调图像的边缘且频率域与空域之间的转换图像会丢失一部分信息，所以得到的显著图比较模糊。

随着研究的深入，一些研究者引入一些传统的算法。Yang等引入MR(ManifoldRanking)算法同时利用前景和背景的超像素形成一个闭环图，以超像素块作为图中的节点，并且用MR算法对每个节点与通过比较背景和前景的相似度进行排序进而得到最终得到显著图。Wei Y等提出一种“Geodesic Saliency Using Background Priors”算法，该算法是在传统得方法基础上同时考虑图像两个背景先验即图像的边界和链接先验，基于对比度和两个背景先验得到图像的测地显著性，对测地显著性进一步计算得到最终的显著图。通过得到不同的背景先验计算图像的显著性方法虽然能够更加清晰的突出显著区域。但是对于一些对比度不高和复杂的图像，显著性检测效果不明显。

基于贝叶斯模型是利用图像低层和中层视觉信息在贝叶斯框架下进行显著性检测。这种方法需要给定固定的窗口，然后根据贝叶斯理论计算显著图。由于传统基于贝叶斯模型的算法对固定窗口选定不够精确，故而算法对于多个目标图像检测效果较差，且算法的适应性较差。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提出了一种联合流形排序和改进凸包的显著性检测方法。

本发明的的方法能够准确、一致高亮的突出显著目标对输入的图像首先通过流行排序算法(MR)在CIELab颜色空间上对图像的前景进行提取，在CIELab颜色空间上通过颜色特征计算得到显著图，将显著图融合提取的前景图像得到先验图；其次通过高斯金字塔算法对图像进行降采样，得到两种不同尺度的图像，结合经典的Harris算子检测原图和两种不同尺度图像的角点，将三者求交集得到更合理的凸包；然后利用颜色直方图结合凸包来计算观察似然概率；最后根据已有的先验图和似然概率,结合贝叶斯模型得到显著图。

为实现上述目的，本发明的技术方案为：

一种联合流形排序和改进凸包的显著性检测方法，包括以下步骤：

步骤1、计算合理改进凸包：首先通过将图像进行降采样，得到不同尺度的图像，然后计算原图像和采样图像的凸包，最后将原图像凸包和采样图像的凸包取交集得到改进凸包；

步骤2、对图像前景进行提取：将图像进行超像素分割，然后通过流行排序算法计算图像的前景显著图；

步骤3、在CIElab颜色空间上计算图像的颜色特征，通过计算每个超像素的显著性值得到显著性区域的大致位置；

步骤4、最终显著图计算：通过计算图像的先验图和观察似然融合贝叶斯模型计算得到最终的显著图。

进一步，上述步骤1中，将图像进行降采样的具体内容是：

通过高斯金字塔对原图像G进行两次降采样，减少不重要的冗余信息量，分别得到降采样1次的图像G₁和降采样2次的图像G₂，降采样的图像由公式(1)计算得到；

式中，l为降采样l次，这里取值为1，2；m≤M_r，n≤M_c，M_r和M_c为图像得行数和列数；0≤i≤R_l,0≤j≤C_l，R_l和C_l分别是高斯金字塔图像第l层的行数和列数；ω(m,n)是一个模板，实际是高斯滤波器；

进一步，上述步骤1中，将原图像凸包和采样图像的凸包取交集得到改进凸包的具体方法是：

对原图像G，降采样1次图像G1和降采样2次图像G2进行Harris角点检测，然后用Graham扫描算法(Graham Scan Algorithm)得到所述角点的凸包，凸包区域分别对应为R1，R2，R3；将R1，R2和R3这三个凸包区域的交集区域作为输入图像前景目标的近似位置，记为R。

进一步，上述步骤2中图像进行超像素分割具体方法是：

将原图像G采用SLIC算法(SLIC：Simple linear iterative cluste的简称)进行超像素分割，原图像G分割得到的超像素块集合记为X＝{x₁,x₂...,x_T}，其对应的显著性值记为V＝{v₁,v₂...,v_T}，T是分割的所述超像素块的个数；

通过流行排序算法计算图像的前景显著图具体方法是：

(21)将四边的背景超像素作为查询节点，通过公式(2)涮选出来的点作为背景点向量，由此计算得到上边界节点作为查询种子的排序结果为

f^*＝(D-αW)^-1 _y…………(2)

其中D为图的度矩阵D＝diag{d₁₁,…,d_nn}，其中d_ii＝∑w_ij；W为关联矩阵W＝[w_ij]_n×n其中w_ij＝exp(-||c_i-c_j||÷σ²)(i,j∈V)，c_i和c_j表示对应于CIELab颜色空间中的两个节点i和j的超像素的平均值，σ是控制边权重的常数，根据颜色空间中的距离计算权重；α＝1/(1+μ)，μ为平滑约束控制项，试验取值为0.99；

(22)用1减去得以上边界为节点为背景特征的图像显著值，由公式(3)计算得到使用上边界先验的显著图S_t；以此类推可以计算出使用下、左、右边界的超像素节点作为背景种子点的显著图S_b、S_l、S_r；

式中，i＝1,2,…N,N为图的节点总数。

(23)四边求出来的前景向量做内积，先验图S_f1由公式(4)得到；

S_f1(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)其中i＝1,2,…,N。…………(4)

进一步，上述步骤3的计算每个超像素的显著性值得到显著性区域的大致位置的具体方法是：

通过计算超像素在CIElab颜色空间上颜色特征，统计超像素中含有图像边界区域的数量N_b，超像素的显著性由公式(5)得到；

其中c_i代表第i个超像素的颜色特征(i＝1...T)，n_j带代表区域属于图像边界(j＝1…N_b),d(c_i,n_j)代表c_i与n_j之间的欧氏距离。

进一步，上述步骤4的计算最终的显著图的具体方法是：

(41)融合S_f1(i)与S_f2(i)得到每个超像素的先验概率，根据由公式(6)计算得到；

(42)判断所述凸包区域R内外的显著性值，所述超像素块集合分为两个部分，其一是所述超像素块在凸包区域R内部，记为R_I，表示前景区域；其二是所述超像素块在凸包区域R外，记为R_O，在CIElab颜色空间统计颜色直方图，通过颜色直方图来描述凸包内外的颜色分布；每个像素y用向量[l(y),a(y),b(y)]来表示，统计区域R_I和R_O的颜色直方图；令N_I代表区域R_I内像素个数，而N_O代表区域R_O内像素个数；N_I(f(y))和N_O(f(y)，f∈{l,a,b}分别代表区域R_I和区域R_O中颜色值f(y)所在的颜色区间在对应的颜色直方图中的值；为了提高计算效率，认为CIELab三个颜色通道之间是相互独立的；最总得到区域R_I和区域R_O像素y的观测似然性；S_I(y)和S_O(y)，由公式(7)计算得到；

(43)融合所述的步骤(41)与步骤(42)得到的显著值得到最终每个像素y的显著值，

每个像素的显著值由公式(8)计算得到；

其中，表示像素点y所在超像素i的先验显著值，是像素点y所在超像素i的先验非显著概率。

本发明的优点和有益效果为：该方法区别其他方法的特色在于，利用MR算法提取的图像的前景显著图融合通过超像素计算的全局对比图得到先验图，接着通过高斯金字塔进行降采样形成多尺度图像，通过Harris算法进行角点检测形成每种尺度的凸包，融合不同尺度的凸包得到更加合理的凸包，通过凸包计算凸包内外的显著性，最后根据贝叶斯理论融合先验图和凸包内外的显著图得到最终的显著图。经过实验可以发现显著性检测结果更接近真值，并且在国际上公开的测试集上取得了明显比传统方法更好的结果。

附图说明

图1为本发明的实现流程图；

图2为本发明实施例的测试原图；

图3a为本发明实施例通过流形排序算法提取的前景显著图；

图3b为本发明实施例通过超像素计算得到显著目标的大致位置图；

图3c为本发明实施例的最终先验图；

图4a为本发明实施例的原图像凸包图；

图4b为本发明实施例的第一次降采样凸包图；

图4c为本发明实施例的第二次降采样凸包图；

图4d为本发明实施例的改进凸包交集图；

图5为本发明实施例的最终显著性图；

图6a为使用GS算法得到的显著性图；

图6b为使用PCA算法得到的显著性图；

图6c为使用SF算法得到的显著性图；

图6d为使用LMLC算法得到的显著性图；

图6e为本发明实施例的显著性图；

图6f为真值。

具体实施方式

以下结合附图对发明的实施例和效果作进一步详细描述。

参照图1，本发明的一种联合流形排序和改进凸包的显著性检测方法，利用MR算法提取的图像的前景显著图融合通过超像素计算的全局对比图得到先验图，接着通过高斯金字塔进行降采样形成多尺度图像，通过Harris算法进行角点检测形成每种尺度的凸包，融合不同尺度的凸包得到更加合理的凸包，通过凸包计算凸包内外的显著性，最后根据贝叶斯理论融合先验图和凸包内外的显著图得到最终的显著图，具体实现步骤如下：

步骤1、计算合理改进凸包：首先通过将图像进行降采样，得到不同尺度的图像，然后计算原图像和采样图像的凸包，最后将原图像凸包和采样图像的凸包取交集得到改进凸包；该步骤的详细内容是：

(11)将图像进行降采样是指通过高斯金字塔对原图像G进行两次降采样，减少不重要的冗余信息量，分别得到降采样1次的图像G₁和降采样2次的图像G₂，降采样的图像由公式(1)计算得到；

式中，l为降采样l次，这里取值为1，2；m≤M_r，n≤M_c，M_r和M_c为图像得行数和列数；0≤i≤R_l,0≤j≤C_l，R_l和C_l分别是高斯金字塔图像第l层的行数和列数；ω(m,n)是一个模板，实际是高斯滤波器；

(12)将原图像凸包和采样图像的凸包取交集得到改进凸包是指对原图像G，降采样1次图像G1和降采样2次图像G2进行Harris角点检测，然后用Graham扫描算法(GrahamScan Algorithm)得到所述角点的凸包，凸包区域分别对应为R1，R2，R3；将R1，R2和R3这三个凸包区域的交集区域作为输入图像前景目标的近似位置，记为R。

步骤2、对图像前景进行提取：将图像进行超像素分割，然后通过流行排序算法计算图像的前景显著图；该步骤的详细内容是：

(21)将原图像G采用SLIC算法(SLIC：Simple linear iterative cluste的简称)进行超像素分割，原图像G分割得到的超像素块集合记为X＝{x₁,x₂...,x_T}，其对应的显著性值记为V＝{v₁,v₂...,v_T}，T是分割的所述超像素块的个数；

通过流行排序算法计算图像的前景显著图具体是：

(22)将四边的背景超像素作为查询节点，通过公式(2)涮选出来的点作为背景点向量，由此计算得到上边界节点作为查询种子的排序结果为

f^*＝(D-αW)^-1 _y…………(2)

其中D为图的度矩阵D＝diag{d₁₁,…,d_nn}，其中d_ii＝∑w_ij；W为关联矩阵W＝[w_ij]_n×n其中w_ij＝exp(-||c_i-c_j||÷σ²)(i,j∈V)，c_i和c_j表示对应于CIELab颜色空间中的两个节点i和j的超像素的平均值，σ是控制边权重的常数，根据颜色空间中的距离计算权重；α＝1/(1+μ)，μ为平滑约束控制项，试验取值为0.99；

(23)用1减去得以上边界为节点为背景特征的图像显著值，由公式(3)计算得到使用上边界先验的显著图S_t；以此类推可以计算出使用下、左、右边界的超像素节点作为背景种子点的显著图S_b、S_l、S_r；

式中，i＝1,2,…N,N为图的节点总数。

(24)四边求出来的前景向量做内积，先验图S_f1由公式(4)得到；

S_f1(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)其中i＝1,2,…,N。…………(4)

步骤3、在CIElab颜色空间上计算图像的颜色特征，通过计算每个超像素的显著性值得到显著性区域的大致位置；该步骤的详细内容是：

计算每个超像素的显著性值得到显著性区域的大致位置具体是：通过计算超像素在CIElab颜色空间上颜色特征，统计超像素中含有图像边界区域的数量N_b，超像素的显著性由公式(5)得到；

其中c_i代表第i个超像素的颜色特征(i＝1…T)，n_j带代表区域属于图像边界(j＝1…N_b),d(c_i,n_j)代表c_i与n_j之间的欧氏距离。

步骤4、最终显著图计算：通过计算图像的先验图和观察似然融合贝叶斯模型计算得到最终的显著图；该步骤的详细内容是：

(41)计算最终的显著图具体是：融合S_f1(i)与S_f2(i)得到每个超像素的先验概率，根据由公式(6)计算得到；

(42)判断所述凸包区域R内外的显著性值，所述超像素块集合分为两个部分，其一是所述超像素块在凸包区域R内部，记为R_I，表示前景区域；其二是所述超像素块在凸包区域R外，记为R_O，在CIElab颜色空间统计颜色直方图，通过颜色直方图来描述凸包内外的颜色分布；每个像素y用向量[l(y),a(y),b(y)]来表示，统计区域R_I和R_O的颜色直方图；令N_I代表区域R_I内像素个数，而N_O代表区域R_O内像素个数；N_I(f(y))和N_O(f(y)，f∈{l,a,b}分别代表区域R_I和区域R_O中颜色值f(y)所在的颜色区间在对应的颜色直方图中的值；为了提高计算效率，认为CIELab三个颜色通道之间是相互独立的；最总得到区域R_I和区域R_O像素y的观测似然性；S_I(y)和S_O(y)，由公式(7)计算得到；

(43)融合所述的步骤(41)与步骤(42)得到的显著值得到最终每个像素y的显著值，

每个像素的显著值由公式(8)计算得到；

其中，表示像素点y所在超像素i的先验显著值，是像素点y所在超像素i的先验非显著概率。

实施例的作用与效果

依据上述步骤，在公开的图像数据集MSRA5000上进行测试。所有实验均在PC计算机上实现，该PC计算机的主要参数为：Intel(R)Core(TM)i5-6300HQ CPU@2.30GHz,8GB内存,Window 10。

图2为本发明实施例的测试原图；图3a为本发明实施例通过流形排序算法提取的前景显著图；图3b为本发明实施例通过超像素计算得到显著目标的大致位置；图3c为本发明实施例的最终先验图；图4a为本发明实施例的原图像凸包图；图4b为本发明实施例的第一次降采样凸包图；图4c为本发明实施例的第二次降采样凸包图；图4d为本发明实施例的改进凸包交集图；图5为本发明实施例的最终显著性图；图6a为使用GS算法得到的显著性图；图6b为使用PCA算法得到的显著性图；图6c为使用SF算法得到的显著性图；图6d为使用LMLC算法得到的显著性图；图6e为本发明实施例的显著性图；图6f为真值。由此可以发现本发明的方法具有良好的显著性检测效果，与理想值相吻合，且显著性结果优于其他算法。上述实施方式为本发明的优选案例，但并不用来限制本发明的保护范围。

Claims (5)

1.一种联合流形排序和改进凸包的显著性检测方法，其特征在于，包括以下步骤：

步骤1、计算合理改进凸包：首先通过将图像进行降采样，得到不同尺度的图像，然后计算原图像和采样图像的凸包，最后将原图像凸包和采样图像的凸包取交集得到改进凸包；

步骤2、对图像前景进行提取：将图像进行超像素分割，然后通过流行排序算法计算图像的前景显著图；

步骤3、在CIElab颜色空间上计算图像的颜色特征，通过计算每个超像素的显著性值得到显著性区域的大致位置；

步骤4、最终显著图计算：通过计算图像的先验图和观察似然融合贝叶斯模型计算得到最终的显著图。

2.根据权利要求1所述的一种联合流形排序和改进凸包的显著性检测方法，其特征在于，所述步骤1中，将图像进行降采样的具体内容是：

通过高斯金字塔对原图像G进行两次降采样，减少不重要的冗余信息量，分别得到降采样1次的图像G₁和降采样2次的图像G₂，降采样的图像由公式(1)计算得到：

式中，l为降采样l次，这里取值为1，2；m≤M_r，n≤M_c，M_r和M_c为图像得行数和列数；0≤i≤R_l,0≤j≤C_l，R_l和C_l分别是高斯金字塔图像第l层的行数和列数；ω(m,n)是一个模板，实际是高斯滤波器；

将原图像凸包和采样图像的凸包取交集得到改进凸包的具体内容是：

对原图像G，降采样1次图像G1和降采样2次图像G2进行Harris角点检测，然后用Graham扫描算法得到所述角点的凸包，凸包区域分别对应为R1，R2，R3；将R1，R2和R3这三个凸包区域的交集区域作为输入图像前景目标的近似位置，记为R。

3.根据权利要求1所述的一种联合流形排序和改进凸包的显著性检测方法，其特征在于,所述步骤2中图像进行超像素分割的具体内容是：

将原图像G采用SLIC算法进行超像素分割，原图像G分割得到的超像素块集合记为X＝{x₁,x₂...,x_T}，其对应的显著性值记为V＝{v₁,v₂...,v_T}，T是分割的所述超像素块的个数；

通过流行排序算法计算图像的前景显著图的具体步骤是：

(21)将四边的背景超像素作为查询节点，通过公式(2)涮选出来的点作为背景点向量，由此计算得到上边界节点作为查询种子的排序结果为

f^*＝(D-αW)^-1 _y............(2)

其中D为图的度矩阵D＝diag{d₁₁,…,d_nn}，其中d_ii＝∑w_ij；W为关联矩阵W＝[w_ij]_n×n其中w_ij＝exp(-||c_i-c_j||÷σ²)(i,j∈V)，c_i和c_j表示对应于CIELab颜色空间中的两个节点i和j的超像素的平均值，σ是控制边权重的常数，根据颜色空间中的距离计算权重；α＝1/(1+μ)，μ为平滑约束控制项，试验取值为0.99；

(22)用1减去得以上边界为节点为背景特征的图像显著值，由公式(3)计算得到使用上边界先验的显著图S_t；以此类推可以计算出使用下、左、右边界的超像素节点作为背景种子点的显著图S_b、S_l、S_r；

式中，i＝1,2,…N,N为图的节点总数；

(23)四边求出来的前景向量做内积，先验图S_f1由公式(4)得到；

S_f1(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)其中i＝1,2,…,N…………(4)。

4.根据权利要求1所述的一种联合流形排序和改进凸包的显著性检测方法，其特征在于所述步骤3的计算每个超像素的显著性值得到显著性区域的大致位置的具体内容是：

通过计算超像素在CIElab颜色空间上颜色特征，统计超像素中含有图像边界区域的数量N_b，超像素的显著性由公式(5)得到；

其中c_i代表第i个超像素的颜色特征(i＝1…T)，n_j带代表区域属于图像边界(j＝1…N_b),d(c_i,n_j)代表c_i与n_j之间的欧氏距离。

5.根据权利要求1所述的一种联合流形排序和改进凸包的显著性检测方法，其特征在于所述步骤4的计算最终的显著图的具体方法是：

(41)融合S_f1(i)与S_f2(i)得到每个超像素的先验概率，根据由公式(6)计算得到；

(42)判断所述凸包区域R内外的显著性值，所述超像素块集合分为两个部分，其一是所述超像素块在凸包区域R内部，记为R_I，表示前景区域；其二是所述超像素块在凸包区域R外，记为R_O，在CIElab颜色空间统计颜色直方图，通过颜色直方图来描述凸包内外的颜色分布；每个像素y用向量[l(y),a(y),b(y)]来表示，统计区域R_I和R_O的颜色直方图；令N_I代表区域R_I内像素个数，而N_O代表区域R_O内像素个数；N_I(f(y))和N_O(f(y)，f∈{l,a,b}分别代表区域R_I和区域R_O中颜色值_f(y)所在的颜色区间在对应的颜色直方图中的值；为了提高计算效率，认为CIELab三个颜色通道之间是相互独立的；最总得到区域R_I和区域R_O像素y的观测似然性；S_I(y)和S_O(y)，由公式(7)计算得到；

(43)融合所述的步骤(41)与步骤(42)得到的显著值得到最终每个像素y的显著值，每个像素的显著值由公式(8)计算得到；

其中，表示像素点y所在超像素i的先验显著值，是像素点y所在超像素i的先验非显著概率。