CN104103082A - 一种基于区域描述和先验知识的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于区域描述和先验知识的图像显著性检测方法，包括以下步骤：(1)对待检测图像进行预分割，生成超像素，得到预分割图像；(2)生成超像素的融合特征协方差矩阵；(3)计算每个超像素的特征差异区域描述符和空间分布区域描述符；(4)计算待检测图像的各像素点的初始显著度值；(5)获取图像先验显著区域及背景区域；(6)计算待检测图像每个像素点的显著度权值；(7)计算每个像素点的最终显著度值。本发明得到的最终显著图能够均匀地突出显著区域，抑制背景噪声干扰，不仅能够在一般图像中得到很好的显著性检测效果，也能处理复杂图像的显著性检测，有利于后续诸如图像关键区域提取等处理。

Description

一种基于区域描述和先验知识的图像显著性检测方法

技术领域

本发明涉及图像智能处理领域，特别涉及一种基于区域描述和先验知识的图像显著性检测方法。

背景技术

随着图像处理技术的快速发展，图像视觉显著性检测成为一个备受关注的课题。显著性检测广泛应用于图像处理各个领域，比如图像分割、图像检索、物体检测和识别、自适应图像压缩、图像拼接等。

人们在观察一幅图像时，给予图像各区域的关注往往是不均匀的。其中受到更多关注和引起人们兴趣的区域称为显著对象。心理学和感知等学科研究表明，人们更倾向于通过显著对象获取图像信息，对图像进行分析、理解。相对于其它区域，显著对象在图像评价中起到关键作用。此外，通过优先分析和处理显著性区域，能够提高计算资源的利用效率，因此视觉显著对象的检测具有重要的研究意义。

图像显著性检测是检测一个场景中最显著和最吸引注意力的区域,利用每个像素的不同灰度，表示这个像素属于显著区域的可能性，其输出结果通常是一幅被称为显著图的灰度图，显著图中每个像素的灰度值被称为显著度值。现有进行显著性检测的方法分为两大类。一类是基于注视点预测的模型；另一类是基于提取和分割显著物体的模型。本发明所涉及的方法属于后一类。这类方法，主要是通过对分割区域与邻域之间的差异度进行比较，来计算分割区域的显著度值。

下面对国内外关于图像显著性检测的方法和专利做相关介绍。T.Liu等人于2011年在国际模式识别顶级期刊PAMI期刊中发表了“Learning to detect asalient object”一文。该方法通过条件随机场理论(Conditional randomfield)，利用多尺度对比度、中心四周直方图以及颜色空间分布等特征学习用户感兴趣的显著区域，通过穷举算法在显著图上搜索目标矩形。该算法检测到目标物体的准确率高，但是搜索过程耗时长。

Achanta等人在2009年的计算机视觉国际会议CVPR会议发表了“Frequency-tuned Salient Region Detection”一文，文中所述方法的原理是将图像通过一个带通滤波器滤波，把高频的噪声和细节，以及低频的均匀背景去除掉。具体实现是首先对原图进行高斯模糊得到清晰度较低的图像，同时，计算整幅图像的平均值，然后两者相减取绝对值，得到最后的显著图。该方法提取出的Z.Liu等人在2009年的图像处理期刊IET发表了“Efficient saliencydetection based on Gaussian models”一文，该文提出的显著性模型是以高斯分布模型作为基础建立的，该模型首先利用均值飘移算法在Luv颜色空间中把图像预分割为不同区域，然后利用一系列高斯分布模型描述各个区域，并计算每个像素与不同区域之间的颜色相似程度，再计算各区域之间的颜色距离以及空间距离，分别形成颜色显著性图和空间显著性图。最后由两者相结合形成最终的显著性图。该方法仅仅利用了图像的颜色特征，导致最终的显著图中可能含有大量背景噪声干扰。

区域具有清晰度较高且边缘清晰的特点，而且算法简单，运算耗时少。但该方法具有一个明显的缺点，当背景稍微复杂时，显著性检测效果会变得很不理想。

Z.Liu等人在2009年的图像处理期刊IET发表了“Efficient saliencydetection based on Gaussian models”一文，该文提出的显著性模型是以高斯分布模型作为基础建立的，该模型首先利用均值飘移算法在Luv颜色空间中把图像预分割为不同区域，然后利用一系列高斯分布模型描述各个区域，并计算每个像素与不同区域之间的颜色相似程度，再计算各区域之间的颜色距离以及空间距离，分别形成颜色显著性图和空间显著性图。最后由两者相结合形成最终的显著性图。该方法仅仅利用了图像的颜色特征，导致最终的显著图中可能含有大量背景噪声干扰。

目前我国在该领域相关专利有：基于色彩直方图和全局对比度的图像视觉显著性计算方法(专利号201110062520.1)。该方法同时考虑了全局对比度和空间相干性。但是由于仅利用了颜色直方图和空间关系，而且得到的显著图是基于分割区域而非像素，使得最终的显著图比较粗糙，并且在背景较为复杂时检测结果不太理想。

综上所述，现有基于分割区域的显著性检测方法大部分仅利用图像的颜色特征，导致最终生成的显著图比较粗糙，可能含有大量背景噪声干扰，而且对背景复杂的图像显著性检测效果较差。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于区域描述和先验知识的图像显著性检测方法，能够使图像的显著区域均匀地凸显出来，并有效地抑制背景噪声干扰，对背景较复杂的图像也能得到良好的显著图检测结果。

本发明的目的通过以下技术方案实现：

一种基于区域描述和先验知识的图像显著性检测方法，包括如下步骤：

(1)对待检测图像进行预分割，生成超像素，得到预分割图像；

(2)将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非线性的方法，生成超像素的融合特征协方差矩阵；

(3)计算每个超像素的特征差异区域描述符和空间分布区域描述符；

(4)利用超像素的特征差异区域描述符和空间分布区域描述符，计算待检测图像的各像素点的初始显著度值；

(5)基于显著点的先验知识，获取图像先验显著区域及背景区域；

(6)根据超像素与背景区域的颜色距离，计算待检测图像每个像素点的显著度权值；

(7)将步骤(6)中得到的各像素点的显著度权值进行归一化后，与初始显著度值相乘，计算得到每个像素点的最终显著度值。

步骤(1)所述对图像进行预分割，具体为采用自适应SLIC算法对图像进行预分割，包括以下步骤：

(1-1)计算图像复杂度及分割数量N；

首先将待检测图像转化为灰度图，然后计算0°，45°，90°，135°四个方向的灰度共生矩阵，再计算四个方向上灰度共生矩阵的能量、熵、相关性和均匀度四个常用特征，根据下式分别计算0°，45°，90°，135°四个方向的复杂度，

GrayComplexity(α)＝entropy(α)+homogeneous(α)-energy(α)-correlation(α)

其中，α的取值为1、2、3、4，分别对应0°，45°，90°，135°四个方向；

对四个方向上的复杂度加和求平均，得到图像复杂度，计算公式如下：

$\mathrm{GrayCompleixty}=\frac{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}\mathrm{GrayCompleixty}\left(\mathrm{\α}\right)}{4}$

分割数量N由下式计算：

N＝30×(GrayCompleixty+1)

(1-2)将待检测图像从RGB色彩空间转换为CIELab色彩空间；

(1-3)利用SLIC算法将图像分割为N个超像素，得到预分割图像。

步骤(2)所述将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非线性的方法，生成超像素的融合特征协方差矩阵具体为：

(2-1)提取每个像素点在CIELab色彩空间中的颜色和纹理特征；

分别求预分割图像在0°，45°，90°，135°四个方向上的Gabor纹理灰度图，并计算每个像素点在四个方向上的Gabor纹理值；将颜色L、a、b以及四个方向上的Gabor纹理灰度值g₁，g₂，g₃，g₄组合，形成每个像素点的7维特征向量f＝(L,a,b,g₁,g₂,g₃,g₄)；

(2-2)生成第i个超像素R_i的融合特征协方差矩阵

采用非线性的方法，按照下式把7维特征向量生成7×7的特征协方差矩阵以表征超像素R_i的特征：

$C_{R_i}=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(f_j-u_{R_i}){(f_j-u_{R_i})}^T$

其中，表示预分割图像中超像素R_i的融合特征协方差矩阵，f_j表示超像素R_i中的第j个像素点的7维特征向量，表示R_i的特征向量平均值，n表示R_i中像素点的数量；j＝1、2、3…n；i＝1、2、3…N。

步骤(3)所述计算每个超像素的特征差异区域描述符和空间分布区域描述符，具体为：

(3-1)计算预分割图像中超像素R_i的特征差异区域描述符以衡量超像素R_i与其他超像素的特征差异程度，具体的公式为：

$D_{R_i}^f=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ρ}(C_{R_i},C_{R_t})\·w(p_i,p_t)$

$w(p_i,p_t)=\frac{1}{z_i}\exp (-\frac{1}{2{\mathrm{\σ}}_p^2}{\left|\right|p_i-p_t\left|\right|}^2)$

其中，p_i,p_t分别代表超像素R_i,R_t的空间质心位置，t＝1、2、3…N；w(p_i,p_t)是一个高斯分布形式的权值系数，其大小和超像素的空间位置有关，用于增强邻近超像素的影响；1/z_i是归一化因子，以保证权值系数之和为1，即 是一个控制参数；表示两个超像素特征协方差矩阵之间的距离；||p_i-p_t||是超像素R_i,R_t的空间质心之间的欧式距离；

(3-2)计算预分割图像中超像素R_i的空间分布区域描述符用以度量超像素R_i的空间分布程度，该值越小表明R_i空间分布越紧凑，具体的公式为：

$D_{R_i}^s=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|p_i-p_t\left|\right|}^2\·w(u_{R_i},u_{R_t})$

$w(u_{R_i},u_{R_t})=\frac{1}{z_i}\exp (-\frac{1}{2{\mathrm{\σ}}_p^2}\mathrm{\ψ}(u_{R_i},u_{R_t}))$

其中，||p_i-p_t||表示超像素R_i,R_t之间的空间欧氏距离，表示R_i和R_t特征上的相似性权值系数，表示是利用特征的一维统计特性得到的马氏距离。

步骤(4)所述利用超像素的征差异区域描述符和空间分布区域描述符，计算待检测图像的各像素点的初始显著度值，具体为：

首先将特征差异区域描述符和空间分布区域描述符归一化到[0，1]之间，再计算待检测图像的超像素R_i的粗显著度值S_i，得到粗显著图，最后使用高维高斯滤波器对显著区域进行升采样，得到超像素R_i中的第j个像素点的初始显著度值S′_j。

所述粗显著度值S_i由下式计算：

$S_i=D_{R_i}^f\exp (-\mathrm{\τ}\·D_{R_i}^s)$

其中，τ是用来调节空间分布区域描述符和特征差异区域描述符权重的参数，τ越大空间分布区域描述符的影响越小，其取值根据实际情况选取。

步骤(5)所述基于显著点的先验知识，获取图像先验显著区域R_in及背景区域R_out，具体为：

利用颜色增强Harris角点检测方法，找到显著区域的角点作为先验显著点，然后用一个凸包把所有先验显著点包含在内，从而确定出先验显著区域R_in，其他区域作为背景R_out，得到先验显著图。

步骤(6)所述根据超像素与背景区域R_out的颜色距离，计算待检测图像每个像素点的显著度权值，具体为：

(6-1)计算待检测图像的背景区域颜色

(6-2)计算预分割图像中超像素R_i的显著度权值χ_i：

${\mathrm{\χ}}_i=\exp (-K(i,R_{\mathrm{in}})\frac{1}{\arg \min \left|\right|c_i-c_k^{R_{\mathrm{out}}}\left|\right|})$

$K(i,R_{\mathrm{in}})=\left\{\begin{array}{cc}1000& R_i\∈R_{\mathrm{in}}\\ 100& R_i\∉R_{\mathrm{in}}\end{array}\right.$

其中，表示最小颜色距离，是预分割图像中超像素R_i的平均颜色c_i与先验显著图中背景区域分割块平均颜色之间最小的欧氏距离，K(i,R_in)是控制参数；

(6-3)计算预分割图像中超像素R_i中的第j个像素点的显著度权值λ_j：

λ_j＝χ_i。

步骤(6-1)计算待检测图像的背景区域颜色具体为：

用mean-shift算法，根据相似度将原图像中的背景区域划分割为β个分割块，再根据下式计算处于背景区域R_out的分割块的平均颜色

$c_k^{R_{\mathrm{out}}}=\frac{\underset{I_m\∈R_k^{\′}}{\mathrm{\Σ}}{I}_m^C}{\left|R_k^{\′}\right|}$

其中，R′_k表示第k个分割块，k＝1、2、3…β；表示像素点I_m的颜色向量，|R′_k|表示R′_k中像素点总个数。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明创造性地提出了一种基于区域描述和先验知识进行图像显著性检测的具体可行的方法，得到的最终显著图不仅考虑了基于图像颜色和纹理的区域描述，而且利用了图像显著图先验知识，能够均匀的突出显著区域，保持显著区域的边缘细节，并有效的抑制背景噪声干扰，对背景复杂的图像也能很好地进行显著性检测。

(2)本发明采用一种自适应SLIC图像分割算法，将图像预分割为面积较小的超像素。SLIC分割算法必须指定需要分割的超像素数量，现有方法一般将超像素数量设为一个定值，由于图像内容差异很大，很难找到一个对任何图像都合适的定值。本发明创造性地提出了一种自适应SLIC算法，它能根据图像的复杂度自适应地确定图像分割的数量，克服了SLIC分割算法不灵活的固有缺陷，对图像的分割效果很好。

(3)本发明利用超像素代替单个像素点作为计算单元，极大地减少了运算量，同时很好地保留图像边缘信息和局部的结构信息，使得最终显著图更均匀。

(4)本发明采用非线性的方法对超像素内部各像素点的特征进行融合。为了表征超像素的特征，需要对超像素内部各像素点的颜色特征和纹理特征进行融合。由于颜色特征和纹理特征的单位度量不同，单纯地线性叠加两种特征值不能准确度量超像素的特征。本发明将各像素点的颜色和纹理特征组成特征向量并进行非线性融合，生成融合特征协方差矩阵。

(5)本发明利用颜色增强角点检测找到图像中先验显著点，然后用一个凸包把所有先验显著点包含在内，从而确定出先验显著区域，以增强背景和前景的对比，抑制背景噪声干扰。

附图说明

图1为本发明的实施例的基于区域描述和先验知识的图像显著性检测方法的工作流程图。

图2为本发明的实施例的待检测原图像

图3为本发明的实施例的预分割图像。

图4为本发明的实施例的粗显著图。

图5为本发明的实施例的初始显著图。

图6为本发明的实施例的颜色增强角点检测结果图。

图7为本发明的实施例的先验显著图。

图8为本发明的实施例中对先验显著图进行mean-shift分割后的结果图。

图9为本发明的实施例的最终显著图。

图10为本发明的实施例的理想显著图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，本实施的基于区域描述和先验知识的图像显著性检测方法，包括如下步骤：

(1)对待检测图像(如图2)进行预分割，生成超像素，得到预分割图像(如图3)；具体包括以下步骤：

(1-1)计算图像复杂度及分割数量N；

首先将待检测图像转化为灰度图，然后计算0°，45°，90°，135°四个方向的灰度共生矩阵，再计算四个方向上灰度共生矩阵的能量、熵、相关性和均匀度四个常用特征，根据下式分别计算0°，45°，90°，135°四个方向的复杂度，

GrayComplexity(α)＝entropy(α)+homogeneous(α)-energy(α)-correlation(α)

其中，α的取值为1、2、3、4，分别对应0°，45°，90°，135°四个方向；

对四个方向上的复杂度加和求平均，得到图像复杂度，计算公式如下：

$\mathrm{GrayCompleixty}=\frac{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}\mathrm{GrayCompleixty}\left(\mathrm{\α}\right)}{4}$

图像复杂度值越大，表明图像越复杂，变化越剧烈，因此需要分割的超像素数量也越多，这样才能保留图像内部的结构信息。

分割数量N由下式计算：

N＝30×(GrayCompleixty+1)；

(1-2)将待检测图像从RGB色彩空间转换为CIELab色彩空间；

(1-3)利用SLIC算法将图像分割为N个超像素，得到预分割图像。

本发明采用自适应SLIC算法对图像进行预分割，SLIC(Achanta等人于2010年提出“SLIC Superpixels”)图像分割算法是一种简单的线性迭代聚类，它必须指定需要分割的超像素数量。现有方法一般将超像素数量设为一个定值，但是图像内容差异很大，很难找到一个对任何图像都合适的定值。考虑到图像越复杂其内部结构变化越剧烈，预分割的超像素要越多才能很好地保留图像内部的结构信息。如果直接利用像素的特征进行图像显著性检测，计算量将非常大。而且单一的某个像素点并不具有什么实际意义，人类往往关注的是由像素点组成的一个区域，只有像素点组合在一起对人类才有意义。超像素是由图像中一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像显著性检测的有效信息，且一般不会破坏图像中物体的边界信息。所以，以超像素代替原来的像素点作为计算单元能极大地减少运算量，同时很好地保留图像边缘信息和局部的结构信息，使得最终的显著图更均匀。因此本发明首先对图像进行预分割生成超像素。本发明的自适应SLIC算法，它能根据图像的复杂程度自适应地确定图像分割的超像素数量，当图像复杂程度越大时，分割的超像素数量相应的也越多。

(2)将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非线性的方法，生成超像素的融合特征协方差矩阵；具体包括：

(2-1)提取每个像素点在CIELab色彩空间中的颜色和纹理特征；

分别求预分割图像在0°，45°，90°，135°四个方向上的Gabor纹理灰度图，并计算每个像素点在四个方向上的Gabor纹理值；将颜色L、a、b以及四个方向上的Gabor纹理灰度值g₁，g₂，g₃，g₄组合，形成每个像素点的7维特征向量f＝(L,a,b,g₁,g₂,g₃,g₄)；

(2-2)生成第i个超像素R_i的融合特征协方差矩阵

采用非线性的方法，按照下式把7维特征向量生成7×7的特征协方差矩阵以表征超像素R_i的特征：

$C_{R_i}=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(f_j-u_{R_i}){(f_j-u_{R_i})}^T$

其中，表示预分割图像中超像素R_i的融合特征协方差矩阵，f_j表示超像素R_i中的第j个像素点的7维特征向量，表示R_i的特征向量平均值，n表示R_i中像素的数量；j＝1、2、3…n；i＝1、2、3…N。

色彩和纹理是图像的两种基本特征，在进行显著性检测时充分利用这些特征，得到的显著图比只考虑其中一种特征更为理想。本发明采用非线性的方法将超像素内部各像素点的特征进行融合，得到超像素特征。由于颜色特征和纹理特征的单位度量不同，单纯地线性叠加两种特征值不能准确度量超像素的特征。

(3)计算每个超像素的特征差异区域描述符和空间分布区域描述符；具体为：

(3-1)计算预分割图像中超像素R_i的特征差异区域描述符

如果某个超像素的特征与其他超像素特征差异较大，则该超像素很可能属于显著区域，具有较大的显著度值。本发明通过计算各超像素的特征差异区域描述符来衡量超像素R_i与其他超像素的特征差异程度，具体的公式为：

$D_{R_i}^f=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ρ}(C_{R_i},C_{R_t})\·w(p_i,p_t)$

$w(p_i,p_t)=\frac{1}{z_i}\exp (-\frac{1}{2{\mathrm{\σ}}_p^2}{\left|\right|p_i-p_t\left|\right|}^2)$

其中，p_i,p_t分别代表超像素R_i,R_t的空间质心位置，t＝1、2、3…N；w(p_i,p_t)是一个高斯分布形式的权值系数，其大小和超像素的空间位置有关，用于增强邻近超像素的影响；1/z_i是归一化因子，以保证权值系数之和为1，即 是一个控制参数， $\mathrm{\ρ}(C_{R_i},C_{R_j})=\sqrt{\underset{m=1}{\overset{n}{\mathrm{\Σ}}}{\ln }^2{\mathrm{\λ}}_m(C_{R_i},C_{R_j})},$ 其中，表示融合特征协方矩阵的广义特征值，它必须满足方程： 表示两个超像素特征协方差矩阵之间的距离；||p_i-p_t||是超像素R_i,R_t的空间质心之间的欧式距离；

(3-2)计算预分割图像中超像素R_i的空间分布区域描述符

显著区域在图像中的分布一般是紧凑的，而背景区域在图像中分布较为分散。因此，可以定义一个空间分布区域描述符以度量超像素R_i的空间分布程度，该值越小表明R_i空间分布越紧凑，具体的公式为：

$D_{R_i}^s=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|p_i-p_t\left|\right|}^2\·w(u_{R_i},u_{R_t})$

$w(u_{R_i},u_{R_t})=\frac{1}{z_i}\exp (-\frac{1}{2{\mathrm{\σ}}_p^2}\mathrm{\ψ}(u_{R_i},u_{R_t}))$

其中，表示R_i和R_t特征上的相似性权值系数，表示是利用特征的一维统计特性得到的马氏距离，∧表示所有均值特征向量的协方差矩阵的逆。

(4)利用超像素的征差异区域描述符和空间分布区域描述符，计算待检测图像的各像素点的初始显著度值：首先将特征差异区域描述符和空间分布区域描述符归一化到[0，1]之间，再计算待检测图像的超像素R_i的粗显著度值S_i，得到粗显著图(见图4)，最后使用高维高斯滤波器对显著区域进行升采样，得到超像素R_i中的第j个像素点的初始显著度值S′_j，至此，获得了比粗显著图更精细的初始显著图，见图5；

所述粗显著度值S_i由下式计算：

$S_i=D_{R_i}^f\exp (-\mathrm{\τ}\·D_{R_i}^s)$

其中，指数函数用来增强空间分布区域描述符对显著度值大小的影响，这是因为在显著性检测中空间分布区域描述符的作用比特征差异区域描述符更重要。τ是一个用来调节空间分布区域描述符和特征差异区域描述符权重的参数，τ越大空间分布区域描述符的影响越小，其取值一般根据实际情况选取。

(5)基于显著点的先验知识，获取图像先验显著区域及背景区域；具体为：

显著区域一般有清晰的轮廓，利用颜色增强Harris角点检测方法，找到显著区域的角点作为先验显著点，图6中的小五角星为本实施例检测到的先验显著点。再用一个凸包把所有先验显著点包含在内，从而确定出先验显著区域R_in，其他区域作为背景区域R_out，得到先验显著图。图7中较亮的多边形区域为本实施例的R_in，多边形以外的区域为R_out。

由于步骤(1)-(4)得的初始显著图仍存在很多背景噪声，影响显著性检测的效果。本发明利用图像显著区域先验知识来增强前景和背景的颜色对比，抑制背景噪声干扰。图像的显著区域一般都是亮度变化剧烈的区域。角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点，可以作为图像的显著点，用一个凸包将所有显著点包围起来，便可得到显著区域的大致位置。一般的角点检测仅仅利用了图像的亮度信息，损失了图像颜色信息。而颜色增强Harris角点检测(根据Weijer等人的“Boosting color saliency in imagefeature detection”)还利用了图像颜色的变化，使得检测出来的角点更准确。

(6)根据超像素与背景区域的颜色距离，计算待检测图像每个像素点的显著度权值，通过计算各个预分割图像中各超像素与背景区域主要颜色的距离，为距离大的超像素赋予较大的显著度权值，以增强显著区域的显著性；距离小的分割块则赋予较小的显著度权值，以突出显著区域，具体步骤如下：

(6-1)计算待检测图像的背景区域颜色：

由于图像中显著区域的颜色一般与背景区域颜色相差较大，而非显著区域的颜色与背景区域颜色相近。因此，可以通过计算预分割图像中各个超像素与背景区域主要颜色的距离，为距离大的超像素赋予较大的显著度权值，以增强显著区域的显著性；距离小的超像素则赋予较小的显著度权值，以突出显著区域，具体步骤如下：

用mean-shift算法，根据相似度将原图像中的背景区域划分割为β个分割块(见图8)，再根据下式计算处于背景区域R_out的分割块的平均颜色

$c_k^{R_{\mathrm{out}}}=\frac{\underset{I_m\∈R_k^{\′}}{\mathrm{\Σ}}{I}_m^C}{\left|R_k^{\′}\right|}$

其中，R′_k表示第k个分割块，k＝1、2、3…β；表示像素I_m的颜色向量，|R′_k|表示R′_k中像素总个数。

mean-shift算法(Christoudias等人于2002年提出“Synergism in low levelvision”)将原图分割为一些面积较大的分割块，这不同于步骤(1)的超像素预分割，相似的背景区域将被分割为大的分割块。

(6-2)计算预分割图像中超像素R_i的显著度权值χ_i：

${\mathrm{\χ}}_i=\exp (-K(i,R_{\mathrm{in}})\frac{1}{\arg \min \left|\right|c_i-c_k^{R_{\mathrm{out}}}\left|\right|})$

$K(i,R_{\mathrm{in}})=\left\{\begin{array}{cc}1000& R_i\∈R_{\mathrm{in}}\\ 100& R_i\∉R_{\mathrm{in}}\end{array}\right.$

其中，表示最小颜色距离，是预分割图像中超像素R_i的平均颜色c_i与先验显著图中背景区域分割块平均颜色之间最小的欧氏距离，K(i,R_in)是控制参数；

(6-3)计算预分割图像中超像素R_i中的第j个像素点的显著度权值λ_j：

λ_j＝χ_i。

(7)将步骤(6)中得到的各像素点的显著度权值进行归一化后，与初始显著度值相乘，计算得到每个像素点的最终显著度值：

初始显著图中存在较多背景噪声干扰，为了提高显著性检测质量，本发明将步骤(6)中利用显著区域先验知识得到的各像素点的显著度权值进行归一化后得然后将与初始显著度值S′_j相乘，以提高那些与背景颜色差异大的像素点的显著度值，达到突出显著区域，抑制背景噪声干扰的效果，得到高质量的最终显著图，具体的公式为：

${\tilde{S}}_j={\widetilde{\mathrm{\λ}}}_j\·S_j^{\′}$

其中，是对预分割图像中像素点j的显著度值λ_j归一化后的值，S′_j为像素点j的初始显著度值。至此，得到输入图像的最终显著图，显著图中越亮的区域表示显著度值越大，属于显著区域的可能性越大。最终显著图是原图像的灰度级显著图，归一化的图像灰度范围为[0,255]。

本实施得到的最终显著图见图9。图10为由微软研究院标准显著性测试图库根据人类视觉观察提供的理想显著图，其中白色区域为显著性区域。图9与图10比较发现，本实施例的最终显著图与理想显著图吻合，本发明具有良好的显著性检测效果。通过本实施例得到的最终显著图是灰度级显著图，归一化的图像灰度范围为[0,255]。最终显著图不仅考虑了基于图像颜色和纹理的区域描述符，而且利用了图像先验显著图知识，能够均匀的突出显著区域，保持显著区域的边缘细节，并有效的抑制背景噪声干扰，对背景复杂的图像也能很好地进行显著性检测。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于区域描述和先验知识的图像显著性检测方法，其特征在于，包括如下步骤：

(1)对待检测图像进行预分割，生成超像素，得到预分割图像；

(2)将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非线性的方法，生成超像素的融合特征协方差矩阵；

(3)计算每个超像素的特征差异区域描述符和空间分布区域描述符；

(4)利用超像素的特征差异区域描述符和空间分布区域描述符，计算待检测图像的各像素点的初始显著度值；

(5)基于显著点的先验知识，获取图像先验显著区域及背景区域；

(6)根据超像素与背景区域的颜色距离，计算待检测图像每个像素点的显著度权值；

(7)将步骤(6)中得到的各像素点的显著度权值进行归一化后，与初始显著度值相乘，计算得到每个像素点的最终显著度值。

2.根据权利要求1所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(1)所述对图像进行预分割，具体为采用自适应SLIC算法对图像进行预分割，包括以下步骤：

(1-1)计算图像复杂度及分割数量N；

首先将待检测图像转化为灰度图，然后计算0°，45°，90°，135°四个方向的灰度共生矩阵，再计算四个方向上灰度共生矩阵的能量、熵、相关性和均匀度四个常用特征，根据下式分别计算0°，45°，90°，135°四个方向的复杂度，

GrayComplexity(α)＝entropy(α)+homogeneous(α)-energy(α)-correlation(α)

其中，α的取值为1、2、3、4，分别对应0°，45°，90°，135°四个方向；

对四个方向上的复杂度加和求平均，得到图像复杂度，计算公式如下：

$\mathrm{GrayCompleixty}=\frac{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}\mathrm{GrayCompleixty}\left(\mathrm{\α}\right)}{4}$

分割数量N由下式计算：

N＝30×(GrayCompleixty+1)

(1-2)将待检测图像从RGB色彩空间转换为CIELab色彩空间；

(1-3)利用SLIC算法将图像分割为N个超像素，得到预分割图像。

3.根据权利要求2所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(2)所述将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非线性的方法，生成超像素的融合特征协方差矩阵具体为：

(2-1)提取每个像素点在CIELab色彩空间中的颜色和纹理特征；

分别求预分割图像在0°，45°，90°，135°四个方向上的Gabor纹理灰度图，并计算每个像素点在四个方向上的Gabor纹理值；将颜色L、a、b以及四个方向上的Gabor纹理灰度值g₁，g₂，g₃，g₄组合，形成每个像素点的7维特征向量f＝(L,a,b,g₁,g₂,g₃,g₄)；

(2-2)生成第i个超像素R_i的融合特征协方差矩阵

采用非线性的方法，按照下式把7维特征向量生成7×7的特征协方差矩阵以表征超像素R_i的特征：

$C_{R_i}=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(f_j-u_{R_i}){(f_j-u_{R_i})}^T$

其中，表示预分割图像中超像素R_i的融合特征协方差矩阵，f_j表示超像素R_i中的第j个像素点的7维特征向量，表示R_i的特征向量平均值，n表示R_i中像素点的数量；j＝1、2、3…n；i＝1、2、3…N。

4.根据权利要求3所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(3)所述计算每个超像素的特征差异区域描述符和空间分布区域描述符，具体为：

(3-1)计算预分割图像中超像素R_i的特征差异区域描述符以衡量超像素R_i与其他超像素的特征差异程度，具体的公式为：

$D_{R_i}^f=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ρ}(C_{R_i},C_{R_t})\·w(p_i,p_t)$

$w(p_i,p_t)=\frac{1}{z_i}\exp (-\frac{1}{2{\mathrm{\σ}}_p^2}{\left|\right|p_i-p_t\left|\right|}^2)$

其中，p_i,p_t分别代表超像素R_i,R_t的空间质心位置，t＝1、2、3…N；w(p_i,p_t)是一个高斯分布形式的权值系数，其大小和超像素的空间位置有关，用于增强邻近超像素的影响；1/z_i是归一化因子，以保证权值系数之和为1，即 是一个控制参数；表示两个超像素特征协方差矩阵之间的距离；||p_i-p_t||是超像素R_i,R_t的空间质心之间的欧式距离；

(3-2)计算预分割图像中超像素R_i的空间分布区域描述符用以度量超像素R_i的空间分布程度，该值越小表明R_i空间分布越紧凑，具体的公式为：

$D_{R_i}^s=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|p_i-p_t\left|\right|}^2\·w(u_{R_i},u_{R_t})$

$w(u_{R_i},u_{R_t})=\frac{1}{z_i}\exp (-\frac{1}{2{\mathrm{\σ}}_p^2}\mathrm{\ψ}(u_{R_i},u_{R_t}))$

其中，||p_i-p_t||表示超像素R_i,R_t之间的空间欧氏距离，表示R_i和R_t特征上的相似性权值系数，表示是利用特征的一维统计特性得到的马氏距离。

5.根据权利要求4所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(4)所述利用超像素的征差异区域描述符和空间分布区域描述符，计算待检测图像的各像素点的初始显著度值，具体为：

首先将特征差异区域描述符和空间分布区域描述符归一化到[0，1]之间，再计算待检测图像的超像素R_i的粗显著度值S_i，得到粗显著图，最后使用高维高斯滤波器对显著区域进行升采样，得到超像素R_i中的第j个像素点的初始显著度值

6.根据权利要求5所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，所述粗显著度值S_i由下式计算：

$S_i=D_{R_i}^f\exp (-\mathrm{\τ}\·D_{R_i}^s)$

其中，τ是用来调节空间分布区域描述符和特征差异区域描述符权重的参数，τ越大空间分布区域描述符的影响越小，其取值根据实际情况选取。

7.根据权利要求6所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(5)所述基于显著点的先验知识，获取图像先验显著区域R_in及背景区域R_out，具体为：

利用颜色增强Harris角点检测方法，找到显著区域的角点作为先验显著点，然后用一个凸包把所有先验显著点包含在内，从而确定出先验显著区域R_in，其他区域作为背景R_out，得到先验显著图。

8.根据权利要求7所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(6)所述根据超像素与背景区域R_out的颜色距离，计算待检测图像每个像素点的显著度权值，具体为：

(6-1)计算待检测图像的背景区域颜色

(6-2)计算预分割图像中超像素R_i的显著度权值χ_i：

${\mathrm{\χ}}_i=\exp (-K(i,R_{\mathrm{in}})\frac{1}{\arg \min \left|\right|c_i-c_k^{R_{\mathrm{out}}}\left|\right|})$

$K(i,R_{\mathrm{in}})=\left\{\begin{array}{cc}1000& R_i\∈R_{\mathrm{in}}\\ 100& R_i\∉R_{\mathrm{in}}\end{array}\right.$

其中，表示最小颜色距离，是预分割图像中超像素R_i的平均颜色c_i与先验显著图中背景区域分割块平均颜色之间最小的欧氏距离，K(i,R_in)是控制参数；

(6-3)计算预分割图像中超像素R_i中的第j个像素点的显著度权值λ_j：

λ_j＝χ_i。

9.根据权利要求8所述的基于区域描述和先验知识的图像显著性检测方法，其特征在于，步骤(6-1)计算待检测图像的背景区域颜色具体为：

用mean-shift算法，根据相似度将原图像中的背景区域划分割为β个分割块，再根据下式计算处于背景区域R_out的分割块的平均颜色

$c_k^{R_{\mathrm{out}}}=\frac{\underset{I_m\∈R_k^{\′}}{\mathrm{\Σ}}{I}_m^C}{\left|R_k^{\′}\right|}$

其中，R′_k表示第k个分割块，K＝1、2、3…β；表示像素I_m的颜色向量，|R′_k|表示R′_k中像素总个数。