CN103714537B - 一种图像显著性的检测方法 - Google Patents

Abstract

本发明涉及一种图像显著性的检测方法，该方法包括：对输入图像进行格式转换，得到灰度图像和Lab格式图像；计算灰度图像每一个像素点的灰度特征值，并计算灰度特征均值AvgH；计算Lab格式图像的L、A和B三个分量，并计算这三个分量值的平均值和特征值；将所得每个特征值与其均值的欧氏距离作为该像素的显著性值，最后将所有像素的显著性值转化为灰度图像构造显著性图。本发明方法复杂度低、简单易行，可操作性强，相比现有图像显著性检测方法的表现结果更好。本发明方法可用于提取场景图像中人们感兴趣的区域，特别是敦煌壁画初始轮廓信息，为敦煌壁画初期结构识别提供有效技术支持。

Description

一种图像显著性的检测方法

技术领域

本发明涉及图像的感兴趣区域处理，具体地指一种图像显著性的检测方法，属于图像处理领域。

背景技术

随着信息技术的快速发展，图像数据已经成为主要的信息来源之一，而日益增长的数据处理需求必然要求提高信息处理效率。人类具有快速搜索到感兴趣区域的能力，即使在不断变化的环境中也能迅速觉察到那些重要的信息并及时做出反应，这种具有选择能力和主动能力的活动就是注意机制。在图像处理任务中所关心的内容通常仅是原始图像中很小的一部分，因此，有必要将最高的处理优先级赋予最显著的图像区域，这样既可以降低计算过程的复杂度，又能够减少不必要的计算浪费。敦煌壁画是敦煌艺术的主要组成部分，规模巨大，技艺精湛，它的内容丰富多彩，风格迥异。不同时期敦煌壁画的飞天文化元素具有不同的时代特点，挖掘这些文化特征对于文化遗产的数字化保护具有重要意义。由于敦煌壁画本身数据的复杂性，不可能对每个细节部分进行特征提取，只能选择性地获取飞天文化元素的特征，进而提取不同时期飞天文化元素的结构模式，而在智能图像处理任务中模拟人类的注意选择机制能够很好地解决这一问题。

到目前为止，关于视觉注意机制和视觉显著性检测的研究仍然是国内外研究热点，已经产生了多种视觉注意计算模型进而视觉显著性处理方法。这些模型所描述的视觉注意模式或处理方法不尽相同，在实际应用中都各有侧重，处理过程基本上都是图像采样、特征提取、显著性度量、注意目标的检测和选择等基本环节。

将视觉显著性模型应用到敦煌壁画飞天文化元素特征提取的一个主要原因，就是考虑到视觉显著性模型能够很快定位到人们所关注的重要区域，而对这些重要区域进行处理和分析，一方面提高了计算机处理效率，另一方面对于研究提取不同时期飞天文化元素的结构模式具有重要意义。

对图像视觉显著性区域检测的研究，目前国内外的研究机构和大学已经做了大量的研究工作，并取得了一定的科研成果。Treisman和Gelade、Koch和Ullman的早期工作以及之后Itti、Wolfe等其他研究者提出的视觉注意理论将视觉注意的过程分为了两个阶段：基于自底向上的、独立于特定任务、快速的显著性区域检测和基于自顶向下、有意识的、慢速的显著性区域检测。Koch和Ullman早期提出的生物学视觉注意模型以及其他几个基本的模型主要模拟人类视觉系统，对于显著性区域检测和提取问题提出了一些初步的设想，基于此Itti等人提出的跨尺度中心-周边算子模型用于提取图像显著性区域。

按照对比度区域可以将显著性估计方法分为局部对比度和全局对比度。基于局部对比度的方法利用区域相对于图像局部领域的稀有度。Itti等人通过图像中心-周围的局部差异来获得，Ma和Zhang同样使用了局部对比度的方法结合模糊增长模型进行了扩展。Harel提出的基于图论的方法通过局部归一化来突出显著部分。Goferman等人同时对局部底层线索、全局考虑、视觉组织规则以及表层特征进行建模来突出显著性物体。利用局部对比度来进行图像显著性处理偏向于使用图像局部特征，比如边缘的显著性等来产生高显著性值。

基于纯计算模型而不是基于生物视觉理论的算法最近几年提出了很多，一般有基于局部对比的算法、基于信息论的算法、基于频谱分析的算法、基于全局对比度的算法等，这些显著性检测方法对于特定应用，例如目标跟踪、感兴趣区域提取、图像视频语义信息挖掘，都得到了较好的应用，但是对于敦煌壁画的显著性检测处理效果不是很理想，主要原因是敦煌壁画数据量大、颜色信息丰富、历史悠久，导致图像前景和背景区分度比较低，因此需要提出适合于敦煌壁画的显著性检测方法，深入挖掘壁画创作初期，敦煌壁画供养人是如何对敦煌壁画的线条及其颜色进行构思的，这就是本发明的主要研究背景。

发明内容

本发明目的在于克服上述现有技术的不足而提供一种图像显著性的检测方法，该方法包括：

对输入图像进行格式转换，得到灰度图像和Lab格式图像；

对上述灰度图像，根据灰度特征函数，计算出每一个像素点(i,j)的灰度特征值H(i,j)，并由此计算灰度图像每个像素点的灰度特征值的平均值，得到所述灰度图像的灰度特征均值AvgH；

对上述Lab格式图像进行L、A和B三个分量的计算，得到每一个像素点(i,j)亮度分量值L(i,j)，颜色分量值A(i,j)和B(i,j)；然后对亮度分量值L(i,j)、颜色分量值A(i,j)和B(i,j)进行高斯模糊得到每一个像素点的亮度值GYL(i,j)、颜色值GYA(i,j)和GYB(i,j)；再计算这三个分量值的平均值，得到所述输入图像的亮度均值AvgL、颜色均值AvgA和AvgB；根据亮度值GYL(i,j)、颜色值GYA(i,j)和GYB(i,j)以及亮度均值AvgL、颜色均值AvgA和AvgB，计算得到Lab格式图像亮度和颜色分量的特征值；

将所述每个特征值与其均值的欧氏距离作为该像素的显著性值，最后将所有像素的显著性值转化为灰度图像构造显著性图。

本发明方法的算法复杂度低、简单易行，可操作性强，相比现有图像显著性检测方法的表现结果更好，因此，本发明方法可用于提取场景图像中人们感兴趣的区域，特别是敦煌壁画初始轮廓信息，为敦煌壁画初期结构识别提供有效技术支持。

附图说明

图1为本发明图像显著性的检测方法的流程图。

图2为采用现有图像显著性检测方法与本发明方法进行图像显著性检测后的图像对比图。

图3为采用现有图像显著性检测方法与本发明方法进行图像显著性检测后的ROC曲线(Receiver Operating Characteristic Curve)对比图。图中，曲线1～6分别为HIG方法、HC方法、IG方法、LC方法、RC方法、SR方法的ROC曲线。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，本发明图像显著性的检测方法，即HIG（Histogram combined with Image average and Gaussian blur的简称）方法，包括以下步骤：

S100、输入原始图像，本实施例以敦煌图像为例进行详细说明。

S200、对敦煌图像进行转换得到灰度图像，对得到的灰度图像进行以下操作：

S201、对灰度图像根据灰度特征函数计算出每一个像素点(i,j)的灰度特征值H(i,j)，具体根据下式灰度特征函数进行计算：

$H(i,j)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{{(i-\frac{m}{2})}^2+{(j-\frac{n}{2})}^2}{{2\mathrm{\σ}}^2}}$

式中，σ是高斯函数的标准差，m和n分别表示灰度图像的宽和高。

S202、根据灰度特征值H(i,j)计算所述灰度图像的平均值，得到灰度图像的灰度均值AvgH，具体根据下式进行计算AvgH：

$\mathrm{AvgH}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}H(i,j)}{m\×n}$

式中，m×n表示灰度图像的像素点总数。

S300、对输入图像进行转换得到Lab格式图像，对Lab格式图像进行L、A和B三个分量的计算，得到每一个像素点(i,j)亮度分量值L(i,j)，颜色分量值A(i,j)和B(i,j)，对得到的三个分量值进行以下处理：

S301、对亮度分量值L(i,j)、颜色分量值A(i,j)和B(i,j)进行高斯模糊操作，得到每个像素点(i,j)的亮度值GYL(i,j)、颜色值GYA(i,j)和GYB(i,j)。

本实施例中，高斯模糊是对像素点(i,j)在带通滤波器的使用上选择DoG(Difference of Gaussian)滤波器：

$\mathrm{DoG}(i,j)=G(i,j;{\mathrm{\σ}}_1)-G(i,j;{\mathrm{\σ}}_2)=\frac{1}{2\mathrm{\π}}(\frac{1}{{\mathrm{\σ}}_1^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}_1^2}}-\frac{1}{{\mathrm{\σ}}_2^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}_2^2}})$

其中，σ₁和σ₂分别是两个高斯函数的标准差。

将多个滤波器进行叠加结果为：

$\underset{k=0}{\overset{m\×n-1}{\mathrm{\Σ}}}[G(i,j;{\mathrm{\ρ}}^{k+1}\mathrm{\σ})-G(i,j;{\mathrm{\ρ}}^k\mathrm{\σ})]=G(i,j;{\mathrm{\ρ}}^{m\×n}\mathrm{\σ})G(i,j;\mathrm{\σ})$

其中，第一个高斯函数的标准差ρ^m×n为无穷大，经过卷积之后图像的所有像素点的值为原图像所有像素点值的平均值。第二个高斯函数的标准差σ较小，选择使用二项式滤波器来近似，可以有效地加快计算的速度。

S302、计算三个分量值的平均值，得到Lab格式图像的亮度均值AvgL、颜色均值AvgA和AvgB，具体计算如下：

$\mathrm{AvgL}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{GYL}(i,j)}{m\×n},\mathrm{AvgA}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{GYA}(i,j)}{m\×n},\mathrm{AvgB}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{GYB}(i,j)}{m\×n}$

式中，m×n表示Lab格式图像的像素点总数。

S303、根据亮度均值AvgL、颜色均值AvgA和AvgB以及亮度值GYL(i,j)、颜色值GYA(i,j)和GYB(i,j)，计算得到亮度和颜色分量的特征值。该特征值的计算为本领域技术人员的常规技术手段，此处不再赘述。

S400、将所述每个特征值与其均值的欧氏距离作为该特征值的显著性值，即显著性值由下式表示：

$S(i,j)=\left|\right|I_{\mathrm{\μ}}-I_{{\mathrm{\ω}}_{\mathrm{hc}}}(i,j)\left|\right|+\left|\right|\mathrm{AvgH}-H(i,j)\left|\right|$

式中，I_μ是Lab格式图像的颜色和亮度特征值构成的特征向量经过算术平均后的平均向量，是Lab格式图像的像素点(i,j)经过高斯核模糊后图像，在本实施例中用二项滤波器近似；AvgH表示灰度图像的灰度特征均值，H(i,j)表示灰度图像中像素点(i,j)的灰度特征值，||·||表示欧式距离。

S500、最后计算出每个像素点(i,j)的显著性值，最后将所有像素的显著性值构造成显著性图进行输出。

采用上述方法对敦煌图像的原始图像进行显著性检测，然后采用其他现有的图像显著性检测方法进行检测，得出的检测结果如图2所示，其中，图2中HIG方法为本发明方法，图3为检测结果的ROC评价曲线图。由图2和图3可以得出结论：与其他现有显著性方法进行比较，采用本发明图像显著性检测方法的表现结果更好，且更能凸显敦煌飞天文化元素中的飘带轮廓特征，对于研究敦煌飞天绘画风格具有重要科学依据。

Claims (5)

1.一种图像显著性的检测方法，其特征在于，包括：

对输入图像进行格式转换，得到灰度图像和Lab格式图像；

对上述灰度图像，根据灰度特征函数，计算出每一个像素点(i,j)的灰度特征值H(i,j)，并由此计算灰度图像每个像素点的灰度特征值的平均值，得到所述灰度图像的灰度特征均值AvgH；

对上述Lab格式图像进行L、A和B三个分量的计算，得到每一个像素点(i,j)亮度分量值L(i,j)，颜色分量值A(i,j)和B(i,j)；然后对亮度分量值L(i,j)、颜色分量值A(i,j)和B(i,j)进行高斯模糊得到每一个像素点的亮度值GYL(i,j)、颜色值GYA(i,j)和GYB(i,j)；再计算这三个分量值的平均值，得到所述输入图像的亮度均值AvgL、颜色均值AvgA和AvgB；根据亮度值GYL(i,j)、颜色值GYA(i,j)和GYB(i,j)以及亮度均值AvgL、颜色均值AvgA和AvgB，计算得到Lab格式图像亮度和颜色分量的特征值；

将所述每个特征值与其均值的欧氏距离作为该像素点的显著性值，最后将所有像素的显著性值转化为灰度图像构造显著性图。

2.根据权利要求1所述图像显著性的检测方法，其特征在于：所述灰度特征值H(i,j)根据下式灰度特征函数计算：

$H(i,j)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{{(i-\frac{m}{2})}^2+{(j-\frac{n}{2})}^2}{{2\mathrm{\σ}}^2}}$

式中，σ是高斯函数的标准差，m和n分别表示灰度图像的宽和高。

3.根据权利要求2所述图像显著性的检测方法，其特征在于所述灰度图像的灰度均值AvgH根据下式计算：

$\mathrm{AvgH}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}H(i,j)}{m\×n}$

式中，m×n表示灰度图像的像素点总数。

4.根据权利要求1所述图像显著性的检测方法，其特征在于所述Lab格式图像的亮度均值AvgL、颜色均值AvgA和颜色均值AvgB分别根据下式计算：

$\mathrm{AvgL}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{GYL}(i,j)}{m\×n},\mathrm{AvgA}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{GYA}(i,j)}{m\×n},\mathrm{AvgB}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{GYB}(i,j)}{m\×n}$

式中，m×n表示Lab格式图像的像素点总数。

5.根据权利要求4所述图像显著性的检测方法，其特征在于所述像素点(i,j)显著性值由下式表示：

$S(i,j)=\left|\right|I_{\mathrm{\μ}}-I_{{\mathrm{\ω}}_{\mathrm{hc}}}(i,j)\left|\right|+\left|\right|\mathrm{AvgH}-H(i,j)\left|\right|$

式中，I_μ是Lab格式图像的颜色和亮度特征值构成的特征向量经过算术平均后的平均向量，是Lab格式图像中像素点(i,j)经过高斯核模糊后图像，AvgH表示灰度图像的灰度特征均值，H(i,j)表示灰度图像中像素点(i,j)的灰度特征值，||·||表示欧式距离。