CN106780582A - 基于纹理特征和颜色特征融合的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于纹理特征和颜色特征融合的图像显著性检测方法，主要解决现有技术对于纹理特征利用不充分，对高纹理图像显著性检测效果较差的问题。其方案是：1)输入图像，并利用基于总变差模型的滤波方法去除纹理，得到含颜色特征的图像；2)对输入的图像，利用Gabor滤波器进行滤波，得到含图像纹理信息的图像；3)根据颜色特征的图像计算初步对比度值；4)根据纹理信息图像计算背景概率；5)对初步对比度值和背景概率进行融合得到新的对比度，进而得到基于颜色和纹理特征的显著图。本发明充分利用了图像的颜色和纹理信息，提高了复杂纹理图像的检测效果，可用于计算机视觉任务中。

Description

基于纹理特征和颜色特征融合的图像显著性检测方法

技术领域

本发明属于图像检测技术领域，特别是涉及一种图像显著性检测方法，可用于图像分割、目标识别、图像的自适应压缩、内容感知图像缩放和图像检索。

背景技术

人们经常毫不费力地判断图像区域的重要性，并且把注意力集中在重要的部分。由于通过显著性区域可以优化分配图像分析时的计算资源，所以计算机检测图像的显著性区域具有重要意义。提取显著图被广泛用在许多计算机视觉应用中，包括对兴趣目标物体图像分割、目标识别、图像的自适应压缩、内容感知图像缩放和图像检索等。

显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，而且它经常被归因于图像属性的变化，比如颜色、纹理和边界等。视觉显著性是通过包括认知心理学、神经生物学和计算机视觉在内的多学科研究出来的，与我们感知和处理视觉刺激密切相关。人类注意力理论假设人类视力系统仅仅详细处理了部分图像，同时保持其他的部分基本未处理。由Treisman和Gelade，Koch和Ullman进行的早期工作，以及随后由Itti，Wolfe等人提出的注意力理论提议将视觉注意力分为两个阶段：快速的、下意识的、自底向上的、数据驱动显著性提取；慢速的、任务依赖的、自顶向下的、目标驱动显著性提取。

其中对于下意识的自底向上的显著性检测，其实现方法大多是基于生物学激励或者是纯粹的计算，还有部分方法兼顾上述两方面。这些方法利用低水平的处理来决定图像目标与它们周围的对比度，用到了像亮度、颜色和边缘这样的特征属性。

自底向上的显著性检测方法速度快，符合人类视觉系统快速获取显著区域的视觉原理，所以基于纯计算的方法是目前研究比较多的方法。Ma等人于2003年提出一种基于局部对比度的方法获取显著图。Achanta等人于2008年对Ma等人的方法提出改进，提出了一种多尺度对比分析的显著性区域提取方法。然而在纯计算方法中，基于局部对比度的方法生成的显著图只在图像边缘具有较高的显著性，而不能均匀的突显整个目标物。此后Achanta等人于2009年提出了一种频率调谐的显著性方法。但是这种方法不适用于那些显著物体占据太多像素的图像。Achanta等人于2010年对2009年提出的方法进行了改进，提出了最大对称周边的显著性检测方法。该方法尽管解决了此前方法的问题，但是他没有考虑空间信息对显著性的影响。Cheng等人于2011年提出了基于全局对比度的显著性检测方法，该方法在计算对比度过程中考虑了空间信息的影响，取得了较为准确的显著性检测效果。Zhu等人于2014年提出了基于背景强健的显著性检测方法，通过引入不同区域的边界连接程度，提高了显著性区域的对比度，显著提高了显著性检测效果。

上面提到的所有方法存在一个共同的问题是：没有考虑图像的纹理信息，而纹理信息则是反映图像内在性质的一个重要特征。Castleman等人认为，纹理是图像中一块区域像素灰度级的空间分布属性，这种空间结构的固有属性可通过邻域像素间的相关性刻画，同时也是一种不依赖于颜色或亮度变化来反映图像中同质现象的视觉特征，体现了物体表面的内在属性，上述方法由于缺失纹理特征，必然导致在处理高纹理图像时的质量下降。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于纹理特征和颜色特征融合的图像显著性检测方法，以提高显著性检测的准确率和召回率。

为实现上述目的，本发明的实现步骤包括如下：

1.一种基于纹理特征和颜色特征融合的图像显著性检测方法，包括如下步骤：

1)输入原始图像I，对其进行去纹理处理，得到去纹理图像S，利用SLIC方法对去纹理图像S进行超像素分割，得到颜色超像素图像SP₁；

2)输入原始图像I，利用Gabor滤波器函数提取其纹理特征，得到纹理特征图像T，利用SLIC方法对纹理特征图进行超像素分割，得到纹理超像素图像SP₂；

3)把颜色超像素图像SP₁转化到CIE-Lab颜色空间，得到对应的CIE-Lab颜色超像素图像SP₃，在CIE-Lab颜色超像素图像SP₃中第i个超像素p_i和第j个超像素p_j，计算颜色距离d_app(p_i,p_j)₁和空间距离d_spa(p_i,p_j)；

4)计算CIE-Lab颜色超像素图像SP₃中第i个超像素p_i的初步对比度Ctr(p_i)，利用该对比度得到基于颜色特征的颜色显著图SM₁；

5)把纹理超像素图像SP₂转化到CIE-Lab颜色空间，得到对应的CIE-Lab纹理超像素图像SP₄，对CIE-Lab纹理超像素图像SP₄中第i个超像素p_i和第j个超像素p_j构建无相权值表，从该无相权值表中得到第i个超像素和第j个超像素的最短路径，计算p_i和p_j在最短路径的累积权重d_geo(p,q)；

6)计算CIE-Lab纹理超像素图像SP₄中第i个超像素p_i的广度面积Area(p_i)和p_i边界连接函数为BndCon(p_i)，根据这两个参数计算背景概率

其中，σ_BC为比例系数，σ_BC∈[0.5,2.5]；

7)用背景概率作为权值，对初步对比度Ctr(p_i)进行加强，得到加强后的对比度ωCtr(p_i)，利用该对比度ωCtr(p_i)得到基于纹理特征的纹理显著图SM₂；

8)输入纹理显著图SM₂，并利用SLIC方法对纹理特征图进行超像素分割，得到纹理超像素显著图SM₃，再将SM₃转化到CIE-Lab颜色空间，得到对应的CIE-Lab纹理显著图SM₄，在SM₄中第i个超像素p_i和第j个超像素p_j，计算颜色距离d_app(p_i,p_j)₂

9)将第i个超像素p_i和第j个超像素p_j分别在CIE-Lab颜色超像素图像SP₃中的颜色距离d_app(p_i,p_j)₁在CIE-Lab纹理显著图SM₄中的颜色距离d_app(p_i,p_j)₂及背景概率进行线性融合，得到最终对比度ωCtr(p_i)*，利用该对比度得到同时包含颜色特征和纹理特征的最终显著图SM。

本发明与现有的技术相比具有以下优点：

1.本发明充分利用了图像的纹理特征和颜色特征，提高了对图像基本信息的利用率，得到的显著图更符合人类的视觉注意模型。

2.本发明充分考虑了应用范围，采用自底向上的图像显著性检测，不需要任何先验知识就能获取显著图；

3.本发明利用SLIC对图像进行超像素分割，并针对超像素计算对比度，在提高计算效率的同时很好的保持了显著性区域的边缘信息，提高分割准确度。

附图说明

图1是本发明的实现流程图；

图2是显著性目标为植物的图像；

图3是显著性目标为动物的图像；

图4是显著性目标为其它的图像；

图5是本发明对显著性目标为植物的图像处理后得到的显著图；

图6是本发明对显著性目标为动物的图像处理后得到的显著图；

图7是本发明对显著性目标为其它的图像处理后得到的显著图；

图8是本发明和现有多种显著性检测方法进行显著性检测后的平均错误率结果图；

图9是本发明和现有多种显著性检测方法进行显著性检测后的准确率、召回率和综合正确率的结果图。

具体实施方式

参照图1，本发明基于纹理特征和颜色特征融合的图像显著性检测方法，其实现如下：

步骤1：输入原始图像I，获取包含图像颜色信息的颜色超像素图像SP₁。

1a)输入原始图像I，本实例的原始图像为3幅，其中第1幅是图2所示的显著性目标为植物的图像，第2幅是图3所示的显著性目标为动物的图像，第3幅是图4所示的显著性目标为其它的图像；

1b)用基于总变差模型的滤波器对上述图像进行滤波，得到去纹理图像S；

1c)利用SLIC方法对去纹理图像S进行超像素分割：

先将每一幅原始图像I转化为CIE-LAB颜色空间和XY坐标下的5维特征向量；

再对5维特征向量构造距离度量标准，利用该标准对转化后的图像像素进行局部聚类与分割，得到颜色超像素图像SP₁。

步骤2：根据输入原始图像I，获取包含图像纹理信息的纹理超像素图像SP₂。

2a)定义Gabor滤波器的函数为：

其中(x,y)为Gabor滤波点坐标，x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ，λ为正弦函数波长，θ为Gabor核函数的方向，ψ为相位偏移，σ是高斯函数的标准差，γ为空间宽高比，i为虚数单位；

2b)通过Gabor滤波器对输入的每一幅原始图像I图像进行滤波，得到纹理特征图像T；

2c)利用SLIC方法对纹理特征图像T进行超像素分割，得到纹理超像素图像SP₂。

步骤3：计算基于颜色特征的初步对比度Ctr(p_i)。

对比度的计算是显著性检测过程中的关键步骤，研究者使用较多的一种方法就是通过在一定的颜色空间求颜色距离，然后再与空间距离进行加权，得到对比度值。参考这些方法，对于第i个超像素p的初步对比度，本实例通过如下步骤计算：

3a)把颜色超像素图像SP₁转化到CIE-Lab颜色空间，得到对应的CIE-Lab颜色超像素图像SP₃；

3b)计算第i个超像素和第j个超像素在CIE-Lab颜色超像素图像SP₃中的颜色距离d_app(p_i,p_j)₁和空间距离d_spa(p_i,p_j)：

其中C_i1为第i个超像素在CIE-Lab颜色超像素图像SP₃的颜色值，C_j1为第j个超像素在CIE-Lab颜色超像素图像SP₃的颜色值，d(p_i,p_j)表示第i个超像素和第j个超像素中心的距离，σ_spa为比例系数，取值为0.25；

3c)根据3b)的结果，计算第i个超像素基于颜色特征初步对比度Ctr(p_i)：

步骤4：计算第i个超像素的背景概率

为了有效提升显著性检测的质量，引入背景概率作为权值，对基于颜色特征初步对比度Ctr(p_i)进行扩展。

对于第i个超像素的背景概率通过如下步骤计算：

4a)把纹理超像素图像SP₂转化到CIE-Lab颜色空间，得到对应的CIE-Lab纹理超像素图像SP₄；

4a)在CIE-Lab纹理超像素图像SP₄中，取第i个超像素和第j个超像素构建无相权值表，计算第i个超像素到第j个超像素在最短路径的累积权重d_geo(p_i,p_j)：

当第i个超像素和第j个超像素为同一个超像素时，即在i＝j这种特殊情况下，定义d_geo(p_i,p_j)＝0。

4b)计算第i个超像素的广度面积Area(p_i)：

其中d_geo(p_i,p_j)表示第i个超像素到第j个超像素最短路径的累积权重，σ_clr为比例系数，取值在[5,15]之间，这里取σ_clr＝10；

4c)计算第i个超像素的边界连接函数BndCon(p_i)：

其中Area(p_i)表示第i个超像素的广度面积，δ表示超像素p_i在是否在图像边界上，若在，则δ取1，反之取0；

4d)计算第i个超像素的背景概率

其中，σ_BC为比例系数，σ_BC∈[0.5,2.5]。

步骤5：计算用背景概率增强后的最终对比度ωCtr(p_i)*。

5a)根据步骤3和步骤4的结果，计算基于颜色特征的对比度ωCtr(p_i)：

5b)对基于纹理特征得到的显著图SM₂，利用SLIC方法进行超像素分割，得到一个新的纹理超像素显著图SM₃；

5c)将SM₃转化到CIE-Lab颜色空间得到对应的CIE-Lab纹理显著图SM₄，并计算SM₄中的第i个超像素和第j个超像素的颜色距离d_app(p_i,p_j)₂：

其中，C_i2为第i个超像素在CIE-Lab纹理显著图SM₄的颜色值，C_j2为第j个超像素在CIE-Lab纹理显著图SM₄的颜色值；

5d)计算增强后的最终对比度ωCtr(p_i)*：

其中d_app(p_i,p_j)₁为第i个超像素与第j个超像素在CIE-Lab颜色超像素图像SP₃中的颜色距离，d_app(p_j,p_j)₂为第i个超像素与第j个超像素在CIE-Lab纹理显著图SM₄中的颜色距离，d_spa(p_i,p_j)为第i个超像素与第j个超像素的空间距离，为第i个超像素的背景概率，α为阻尼因子，α∈[0,1]。

本实例中，最终的纹理显著图为3幅，其中第1幅是图5所示的显著性目标为植物的图像处理后得到的显著图，第2幅是图6所示的显著性目标为动物的图像处理后得到的显著图，第3幅是图7所示的显著性目标为其他的图像处理后得到的显著图。

新的对比度通过引入纹理特征信息，增强了显著性区域的对比度，抑制了背景区域的对比度，得到新的对比度值更加准确，显著图的质量也能得到显著提高。

本发明的效果可以通过以下对真实图像的仿真实验进一步说明：

1、仿真实验条件

本发明的仿真在windows 7旗舰版，CPU Inter I5，基本频率3.4GHZ，软件平台为Matlab 2016上实现。仿真实验选用标准的MSRA-10000数据集进行测试。该数据集中的图像，具有背景复杂且目标区域对比度低的特点，对其中的图像显著性检测是一个很有挑战性的工作，很多具有代表性的方法都选择在该数据集上进行测试。

仿真使用的现有四种显著性检测方法分别为：

RBD法：基于背景强健的图像显著性检测方法；

SF法：基于显著性滤波器的图像显著性检测方法；

GS法：基于测地线距离的图像显著性检测方法；

MR法：基于流形排序算法的图像显著性检测方法。

2、仿真内容与结果

仿真一，用本发明和现有的多种显著性检测方法对MSRA-10000数据集中的图像进行显著性检测，检测的平均错误率(MAE)如图8。

从图8可以看出，较低的MAE值表明了本发明的显著性图和真实值更为相似，它可以直接反应显著图与真值之间的相似程度，对于以后的实际应用，如目标提取或图像修剪具有重要意义，可在多种有代表性的显著性检测算法中进行广泛使用。

仿真二，用本发明和现有的多种显著性检测方法对MSRA-10000数据集中的图像进行显著性检测，检测结果的准确率(Precision)，召回率(Recall)，综合正确率(Fm)结果如图9。

从图9可以看出，本发明无论是准确率，召回率，还是作为整体评价标准的综合正确率都具有明显的提高。

综上，本发明通过把基于纹理特征得到的显著性信息，添加到基于颜色的对比度计算过程中去，不仅提高了对图像基本信息的利用率，使显著性检测的过程更接近人类的视觉注意模型，而且提高了显著性检测的质量。

Claims (10)

1.一种基于纹理特征和颜色特征融合的图像显著性检测方法，包括：

1)输入原始图像I，对其进行去纹理处理，得到去纹理图像S，利用SLIC方法对去纹理图像S进行超像素分割，得到颜色超像素图像SP₁；

2)输入原始图像I，利用Gabor滤波器函数提取其纹理特征，得到纹理特征图像T，利用SLIC方法对纹理特征图进行超像素分割，得到纹理超像素图像SP₂；

3)把颜色超像素图像SP₁转化到CIE-Lab颜色空间，得到对应的CIE-Lab颜色超像素图像SP₃，在CIE-Lab颜色超像素图像SP₃中第i个超像素p_i和第j个超像素p_j，计算颜色距离d_app(p_i,p_j)₁和空间距离d_spa(p_i,p_j)；

4)计算CIE-Lab颜色超像素图像SP₃中第i个超像素p_i的初步对比度Ctr(p_i)，利用该对比度得到基于颜色特征的颜色显著图SM₁；

5)把纹理超像素图像SP₂转化到CIE-Lab颜色空间，得到对应的CIE-Lab纹理超像素图像SP₄，对CIE-Lab纹理超像素图像SP₄中第i个超像素p_i和第j个超像素p_j构建无相权值表，从该无相权值表中得到第i个超像素和第j个超像素的最短路径，计算p_i和p_j在最短路径的累积权重d_geo(p_i,p_j)；

6)计算CIE-Lab纹理超像素图像SP₄中第i个超像素p_i的广度面积Area(p_i)和p_i边界连接函数为BndCon(p_i)，根据这两个参数计算背景概率

${\mathrm{\ω}}_i^{bg}=1-\exp (-\frac{{\mathrm{BndCon}}^2\left(p_i\right)}{2{\mathrm{\σ}}_{BC}^2}),$

其中，σ_BC为比例系数，σ_BC∈[0.5,2.5]；

7)用背景概率作为权值，对初步对比度Ctr(p_i)进行加强，得到加强后的对比度ωCtr(p_i)，利用该对比度ωCtr(p_i)得到基于纹理特征的纹理显著图SM₂；

8)输入纹理显著图SM₂，并利用SLIC方法对纹理特征图进行超像素分割，得到纹理超像素显著图SM₃，再将SM₃转化到CIE-Lab颜色空间，得到对应的CIE-Lab纹理显著图SM₄，在SM₄中第i个超像素p_i和第j个超像素p_j，计算颜色距离d_app(p_i,p_j)₂

9)将第i个超像素p_i和第j个超像素p_j分别在CIE-Lab颜色超像素图像SP₃中的颜色距离d_app(p_i,p_j)₁在CIE-Lab纹理显著图SM₄中的颜色距离d_app(p_i,p_j)₂及背景概率进行线性融合，得到最终对比度ωCtr(p_i)*，利用该对比度得到同时包含颜色特征和纹理特征的最终显著图SM。

2.根据权利要求书1所述的方法，其中步骤(1)中用SLIC方法对原始图像进行超像素分割，是先将原始图像I转化为CIE-LAB颜色空间和XY坐标下的5维特征向量；再对5维特征向量构造距离度量标准，利用该标准对转化后的图像像素进行局部聚类与分割，得到颜色超像素图像SP₁。

3.根据权利要求书1所述方法，其中步骤(2)中的Gabor滤波器函数，表示如下：，

$g\left(x,y;\mathrm{\λ},\mathrm{\θ},\mathrm{\ψ},\mathrm{\σ},\mathrm{\γ}\right)=\exp \left(-\frac{x^{\′2}+{\mathrm{\γ}}^2{y}^{\′2}}{2{\mathrm{\σ}}^2}\right)\exp \left(i\left(2\mathrm{\π}\frac{x^{\′}}{\mathrm{\λ}}+\mathrm{\ψ}\right)\right),$

其中(x,y)为Gabor滤波点坐标,x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ，λ为正弦函数波长，θ为Gabor核函数的方向，ψ为相位偏移，σ是高斯函数的标准差，γ为空间宽高比,i为虚数单位。

4.根据权利要求书1所述的方法，其中步骤(3)中计算颜色超像素图像的颜色距离d_app(p_i,p_j)₁和空间距离d_spa(p_i,p_j)，按其公式进行：

$d_{app}{(p_i,p_j)}_1=\sqrt{{(C_{i1}-C_{j1})}^2},$

$d_{spa}(p_i,p_j)=\exp (-\frac{d^2(p_i,p_j)}{2{\mathrm{\σ}}_{spa}^2}),$

其中C_i1为超像素p_i在CIE-Lab颜色超像素图像SP₃的颜色值，C_j1为超像素p_j在CIE-Lab颜色超像素图像SP₃的颜色值，d(p_i,p_j)表示两个超像素p和q中心的距离，σ_spa为比例系数，取值为0.25。

5.根据权利要求书1所述的方法，其中步骤(4)中计算第i个超像素的对比度Ctr(p_i)，其公式如下：

$Ctr\left(p_i\right)=\underset{j=1}{\overset{N}{\underset{i\≠j}{\mathrm{\Σ}}}}{d}_{app}{(p_i,p_j)}_1{d}_{spa}(p_i,p_j),$

其中,N表示超像素的数目，d_app(p_i,p_j)₁表示第i个超像素到第j个超像素的颜色距离，d_spa(p_i,p_j)表示第i个超像素到第j个超像素的空间距离，i,j∈[1,N]且i≠j。

6.根据权利要求书1所述的方法，其中步骤(5)中计算超像素(p_i,p_j)在最短路径的累积权重d_geo(p_i,p_j)，按如下公式计算：

$d_{geo}(p_i,p_j)=\underset{p_i=p_1,p_i=p_2,...,p_i=p_j}{min}\underset{i=1}{\overset{N-1}{\Σ}}{d}_{app}{(p_i,p_{i+1})}_1,$

当超像素(p_i,q_j)为同一个超像素时，即在i＝j这种特殊情况下，定义d_geo(p_i,p_j)＝0。

7.根据权利要求书1所述的方法，其中步骤(6)中计算第i个超像素的广度面积Area(p_i)和边界连接函数BndCon(p_i)，按如下公式进行：

$Area\left(p_i\right)=\underset{j=1}{\overset{N}{\underset{i\≠j}{\mathrm{\Σ}}}}\exp (-\frac{d_{geo}^2(p_i,p_j)}{2{\mathrm{\σ}}_{clr}^2}),$

$BndCon\left(p_i\right)=\frac{Area\left(p_i\right)\·\mathrm{\δ}}{\sqrt{Area\left(p_i\right)}},$

其中d_geo(p_i,p_j)表示第i个超像素到第j个超像素最短路径的累积权重，σ_clr为比例系数，取值在[5,15]之间，δ表示超像素p_i在是否在图像边界上，若在，则δ取1，反之取0。

8.根据权利要求书1所述的方法，其中步骤(7)中计算新对比度ωCtr(p_i)，其计算公式如下

$\mathrm{\ω}Ctr\left(p_i\right)=\underset{i=1}{\overset{N}{\Σ}}{d}_{app}{(p_i,p_j)}_1{d}_{spa}(p_i,p_j){\mathrm{\ω}}_i^{bg},$

是第i个超像素的背景概率。

9.根据权利要求书1所述的方法，其中步骤(8)计算纹理显著图SM₄的颜色距离d_app(p_i,p_j)₂，其公式如下：

$d_{app}{(p_i,p_j)}_2=\sqrt{{(C_{i2}-C_{j2})}^2},$

其中，C_i2为超像素p_i在CIE-Lab纹理显著图SM₄的颜色值，C_j2为超像素p_j在CIE-Lab纹理显著图SM₄的颜色值。

10.根据权利要求书1所述的方法，其中步骤(9)计算最终对比度ωCtr(p)*，其公式如下

$\mathrm{\ω}Ctr{\left(p_i\right)}^{*}=\underset{j=1}{\overset{N}{\underset{i\≠j}{\mathrm{\Σ}}}}\[{\mathrm{\αd}}_{app}{\left(p_i,p_j\right)}_1+\left(1-\mathrm{\α}\right)d_{app}{\left(p_j,p_j\right)}_2\]d_{spa}\left(p_i,p_j\right){\mathrm{\ω}}_i^{bg},$

其中d_app(p_i,p_j)₁为第i个超像素与第j个超像素在CIE-Lab颜色超像素图像SP_1.1中的颜色距离，d_app(p_j,p_j)₂为第i个超像素与第j个超像素在CIE-Lab纹理显著图SM₄中的颜色距离，d_spa(p_i,p_j)为第i个超像素与第j个超像素的空间距离，为第i个超像素的背景概率，α为阻尼因子，α∈[0,1]。