CN102999926B - 一种基于底层特征融合的图像视觉显著性计算方法 - Google Patents

Abstract

本发明公开了一种基于底层特征融合的图像视觉显著性计算方法，包括以下步骤：1.1）把图像分割成若干不规则碎片；1.2）计算每个碎片颜色特征的独特性；1.3）计算每个碎片颜色特征的分散性；1.4）通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图，进一步得到图像视觉显著性图；1.5）通过计算每个碎片图像的显著性的加权平均，为图像的每一个像素点分配显著性值。本发明能有效地计算图像每个像素的显著性值。

Description

一种基于底层特征融合的图像视觉显著性计算方法

技术领域

本发明涉及无线通讯技术领域，尤其涉及一种基于底层特征融合的图像视觉显著性计算方法。

背景技术

视觉注意力是人类视觉系统重要机制，人类的视觉注意力可以快速有效地检查到图像中显著的区域。因此，在计算机视觉领域模拟人类视觉注意力的显著性检测模型的研究引起了研究者的广泛注意。图像的显著性检测(Saliencydetection)被广泛地应用于许多计算机视觉和图像处理应用当中，如图像中感兴趣物体的分割(专利200910046276)、目标识别、目标敏感的图像缩放(专利200910092756)、图像检索(专利200910081069)等。

该领域目前国内相关专利有：基于色彩直方图和全局对比度的图像视觉显著性计算方法(专利号201110062520.1)。该方法仅考虑了颜色特征的独特性，没有考虑颜色特征的分散性、纹理特征的独特性和分散性以及景深对视觉显著性的影响，所以其性能受到了限制。

发明内容

本发明解决的技术问题是如何融合图像多种底层特征，有效地计算图像像素的显著性值。

为了解决以上技术问题，本发明实施例公开了一种基于底层特征融合的图像视觉显著性计算方法，包括以下步骤：

1.1)把图像分割成若干不规则碎片；

1.2)计算每个碎片颜色特征的独特性；

1.3)计算每个碎片颜色特征的分散性；

1.4)通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图，对任意一个像素点首先与其周围的8个像素点进行比较得到二值化的模型，然后再乘以相应的权重，就可以得到所述像素点的局部二值模型LBP值，最后统计一个碎片中所有像素点的LBP值从而得到统计直方图，将所述统计直方图作为所述碎片的纹理描述子；

计算每个碎片的纹理特征的独特性，计算每个碎片的纹理特征的分散性，通过计算每个碎片的纹理特征的显著性得到图像的纹理显著性图；

计算图像边缘的模糊程度σ，把模糊程度σ归一化到[0,1]的范围，用如下公式求出碎片i的景深值F_i：

$F_i=\underset{(x.y)\∈I}{\Σ}(1-\mathrm{\σ}(x,y\left)\right)w(x,y,x_{p_i},y_{p_i}),$

其中(x,y)代表是图像I的像素点的位置，σ(x,y)表示像素点(x,y)的模糊程度,w(x,y,x_pi,y_pi)是加权函数其输入为像素点坐标和碎片坐标，(x_pi,y_pi)代表碎片i的位置；

通过计算每个碎片的相对景深值得到图像的景深图，融合所述图像的景深图、纹理显著性图和颜色显著性图得到图像的视觉显著性图；

1.5)通过计算每个碎片图像的显著性的加权平均，为图像的每一个像素点分配显著性值。

进一步地，所述颜色特征的独特性具体计算方法如下：

$U_i^C=\underset{j=1}{\overset{N}{\Σ}}\left|\right|c_i-c_j|{|}^{2}w(p_i,p_j),$

其中代表第i个碎片的颜色独特性，c_i和c_j分别代表碎片i和碎片j的平均颜色，p_i和p_j分别代表碎片i和碎片j的位置，w(p_i,p_j)是加权函数，N表示碎片的总数。

进一步地，所述颜色特征的分散性具体计算方法如下：

$D_i^C=\underset{j=1}{\overset{N}{\Σ}}\left|\right|p_j-{\stackrel{\‾}{p}}_i|{|}^{2}w(c_i,c_j),$

其中代表第i个碎片的颜色特征的分散性，c_i和c_j分别代表碎片i和碎片j的平均颜色，p_j代表碎片j的位置，是碎片i的颜色特征c_i的加权平均位置，w(c_i,c_j),是加权函数，N表示碎片的总数。

进一步地，所述图像的颜色显著性图具体计算方法如下：

$S_i^C=U_i^C\·\exp (-k_C\·D_i^C),$

其中代表第i个碎片的颜色显著性，k_C是比重系数，表示第i个碎片的颜色独特性，表示第i个碎片的颜色特征的分散性。

进一步地，所述纹理特征的独特性具体计算方法如下：

$U_i^t=\underset{j=1}{\overset{N}{\Σ}}\mathrm{\χ}(t_i,t_j)w(p_i,p_j),$

其中代表第i个碎片的纹理特征的独特性，N代表碎片的个数，t_i和t_j分别代表碎片i和碎片j的纹理描述子，p_i和p_j分别代表碎片i和碎片j的位置，χ(t_i,t_j)代表是两个纹理描述子t_i和t_j的差异，w(p_i,p_j)是加权函数，N表示碎片的总数。

进一步地，所述纹理特征的分散性具体计算方法如下：

$D_i^t=\underset{j=1}{\overset{N}{\Σ}}\left|\right|p_j-{\stackrel{\‾}{p}}_i|{|}^{2}w(t_i,t_j),$

其中代表第i个碎片的纹理特征的分散性，t_i和t_j分别代表碎片i和碎片j的纹理描述子，p_j代表碎片j的位置，是碎片i的纹理描述子t_i的加权平均位置，w(t_i,t_j)是加权函数，N表示碎片的总数。

进一步地，所述图像的纹理显著性图具体计算如下：

$S_i^T=U_i^T\·\exp (-k_T\·D_i^T),$

其中代表第i个碎片的纹理显著性，k_T是比重系数，代表第i个碎片的纹理特征的独特性，代表第i个碎片的纹理特征的分散性。

进一步地，所述融合具体计算方法如下：

$S_i={\mathrm{\αS}}_i^T+(1-\mathrm{\α})S_i^C$

其中S_i代表计算碎片i的显著性，代表第i个碎片的纹理显著性值，代表第i个碎片的颜色显著性值，权重系数α满足条件：0≤α≤1；通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。

进一步地，所述融合具体计算方法如下：

其中S_i代表碎片i的显著性，F_i表示碎片i的景深值；

或者，其中S_i代表碎片i的显著性，F_i表示碎片i的景深值，0≤α≤1；通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。

本发明通过计算颜色特征的独特性和分散性并将它们有效地融合在一起，最终计算出整幅图像的显著性图。本方法在国际现有的最大的测试集上取得了明显优于传统方法的结果。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是本发明实施例一种基于底层特征融合的图像视觉显著性计算方法流程示意图。

具体实施方式

参照图1对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，一种基于底层特征融合的图像视觉显著性计算方法，包括以下步骤：

S101、用简单线性迭代聚类的方法把输入图像分割成N个不规则“碎片”；

S201、计算每个碎片颜色特征的独特性；

用如下公式计算第i个碎片的颜色独特性

$U_i^C=\underset{j=1}{\overset{N}{\Σ}}\left|\right|c_i-c_j|{|}^{2}w(p_i,p_j),$

其中c_i和c_j分别代表碎片i和碎片j的平均颜色，p_i和p_j分别代表碎片i和碎片j的位置，w(p_i,p_j)取高斯加权函数，N表示碎片的总数。

在实验中，σ_p取0.25就能得到比较好结果。

S202、计算每个碎片颜色特征的分散性；

用如下公式计算第i个碎片的颜色特征的分散性

$D_i^C=\underset{j=1}{\overset{N}{\Σ}}\left|\right|p_j-{\stackrel{\‾}{p}}_i|{|}^{2}w(c_i,c_j),$

其中c_i和c_j分别代表碎片i和碎片j的平均颜色，p_j代表碎片j的位置，是碎片i的颜色特征c_i的加权平均位置，加权函数w(c_i,c_j)取高斯加权函数， $\begin{array}{cc}w(c_i,c_j)=\exp (-\frac{1}{2{\mathrm{\σ}}_c^2}||c_i,c_j|{|}^2)/Z_i,& Z_i=\underset{j=1}{\overset{N}{\Σ}}w(c_i,c_j)\end{array}.$ 在实验中，σ_c取20就能得到比较好结果。

S203、通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图。

用如下公式计算第i个碎片的颜色显著性：

$S_i^C=U_i^C\·\exp (-k_C\·D_i^C).$

表示第i个碎片的颜色独特性，表示第i个碎片的颜色特征的分散性，在实验中，k_C取3就能得到比较好结果。这样通过计算每个碎片颜色特征的显著性就可以得到图像的颜色显著性图S^C。

S301、计算每个碎片纹理特征的独特性；

一般地讲，一个碎片与其周围的碎片差异越大，这个碎片越显著。所以用如下公式计算第i个碎片的纹理特征的独特性：

$U_i^t=\underset{j=1}{\overset{N}{\Σ}}\mathrm{\χ}(t_i,t_j)w(p_i,p_j),$

其中t_i和t_j分别代表碎片i和碎片j的纹理描述子，p_i和p_j分别代表碎片i和碎片j的位置，χ(t_i,t_j)代表是两个纹理描述子t_i和t_j的差异，w(p_i,p_j)是加权函数。

描述一个碎片的纹理特征的方法很多，这里以“局部二值模型”(LBP，LocalBinaryPattern)直方图为例作为碎片的纹理描述子。具体地讲，对任意一个像素点首先与其周围的8个像素点进行比较得到二值化的“模型”(Pattern)，然后再乘以相应的权重，就可以得到这个像素的LBP值，最后统计一个碎片中所有像素的LBP值从而得到统计直方图，用这个直方图作为对应碎片的纹理描述子。χ(t_i,t_j)代表是两个纹理描述子t_i和t_j的差异，计算两个纹理描述子的差异的方法有很多种，这里以卡方距离(Chi-squaredistance)作为计算方法。加权函数w(p_i,p_j)也有很多种，这里选用高斯加权函数在实验中，σ_p取0.25就能得到比较好结果。

S302、计算每个碎片纹理特征的分散性；

如果同样的纹理特征分散于整幅图像，则这种纹理特征的显著性较低；反之，如果一种纹理特征在图像中比较集中比较紧凑，则这种纹理特征的显著性较高。用如下公式计算第i个碎片的纹理特征的分散性：

$D_i^t=\underset{j=1}{\overset{N}{\Σ}}\left|\right|p_j-{\stackrel{\‾}{p}}_i|{|}^{2}w(t_i,t_j),$

其中t_i和t_j分别代表碎片i和碎片j的纹理描述子，p_j代表碎片j的位置，是碎片i的纹理描述子t_i的加权平均位置，加权函数w(t_i,t_j)取高斯加权函数。 $\begin{array}{cc}w(t_i,t_j)=\exp (-\frac{1}{2{\mathrm{\σ}}_t^2}\mathrm{\χ}(t_i,t_j\left)\right)/Z_i,& Z_i=\underset{j=1}{\overset{N}{\Σ}}w(t_i,t_j)\end{array}.$ 在实验中，σ_t取20就能得到比较好结果。

S303、通过计算每个碎片纹理特征的显著性得到图像的纹理显著性图。

用如下公式计算第i个碎片的纹理显著性：

$S_i^T=U_i^T\·\exp (-k_T\·D_i^T).$

代表第i个碎片的纹理特征的独特性，代表第i个碎片的纹理特征的分散性，在实验中，k_T取3就能得到比较好结果。这样通过计算每个碎片纹理特征的显著性就可以得到图像的纹理显著性图S^T。

步骤S401：通过计算每个碎片的相对景深值得到图像的景深图；

首先计算图像边缘的模糊程度σ，把模糊程度σ归一化到[0,1]的范围，然后用如下公式求出碎片i的景深值：

$F_i=\underset{(x.y)\∈I}{\Σ}(1-\mathrm{\σ}(x,y\left)\right)w(x,y,x_{p_i},y_{p_i}),$

其中(x,y)代表是图像I的像素点的位置，σ(x,y)表示像素点(x,y)的模糊程度,w(x,y,x_pi,y_pi)是权重函数其输入为像素点坐标和碎片坐标，w(x,y,x_pi,y_pi)取高斯权重函数 $w(x,y,x_{p_i},y_{p_i})=\exp (-\frac{1}{2{\mathrm{\σ}}_F^2}|\left|\right(x,y)-(x_{p_i},y_{p_i})\left|{|}^2\right),$ (x_pi,y_pi)代表碎片i的位置。在实验中，σ_F取0.5就能得到比较好结果。

S501、融合景深图、纹理显著性图和颜色显著性图得到最终的显著性图；

本发明实施例提出了三种融合景深图、纹理显著性图和颜色显著性图的方法，这三种方法都能取得比较好的效果。

方法一：利用如下公式计算碎片i的显著性：

$S_i={\mathrm{\αS}}_i^T+(1-\mathrm{\α})S_i^C$

代表第i个碎片的纹理显著性值，表第i个碎片的颜色显著性值。本方法只利用了纹理显著性图和颜色显著性图的线性组合，权重系数α满足条件：0≤α≤1。通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。

方法二：利用如下公式计算碎片i的显著性值F_i：

$S_i=S_i^T\×S_i^C\×F_i,$

通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。

方法三：利用如下公式计算碎片i的显著性：

$S_i=\[{\mathrm{\αS}}_i^T+(1-\mathrm{\α})S_i^C\]\×F_i,$

本方法首先利用了纹理显著性图和颜色显著性图的线性组合，然后再与景深图相乘。在实验中权重系数α取0.5可以得到较好结果。通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。

S601、为图像的每一个像素点分配显著性值。利用如下公式计算出像素i的显著性值：

${\stackrel{\·}{S}}_i=\underset{j=1}{\overset{N}{\Σ}}{w}_{ij}{S}_j,$

在实验中，为了得到较好的结果权重函数w_ij可取如下高斯函数：

$w_{ij}=\frac{1}{Z_i}\exp (-\frac{1}{3}(\frac{1}{30}\mathrm{\χ}(t_i,t_j)+\frac{1}{30}\left|\right|c_i-c_j|{|}^2+\frac{1}{30}||p_i-p_j|{|}^2\left)\right)$

利用上述公式依次计算出每一个像素值的显著性值，从而得到最终的图像显著性图。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (9)

1.一种基于底层特征融合的图像视觉显著性计算方法，其特征在于，包括以下步骤：

1.1)把图像分割成若干不规则碎片；

1.2)计算每个碎片颜色特征的独特性；

1.3)计算每个碎片颜色特征的分散性；

1.4)通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图，对任意一个像素点首先与其周围的8个像素点进行比较得到二值化的模型，然后再乘以相应的权重，就可以得到所述像素点的局部二值模型LBP值，最后统计一个碎片中所有像素点的LBP值从而得到统计直方图，将所述统计直方图作为所述碎片的纹理描述子；

计算每个碎片的纹理特征的独特性，计算每个碎片的纹理特征的分散性，通过计算每个碎片的纹理特征的显著性得到图像的纹理显著性图；

计算图像边缘的模糊程度σ，把模糊程度σ归一化到[0,1]的范围，用如下公式求出碎片i的景深值F_i：

$F_i=\underset{(x.y)\∈I}{\Σ}(1-\mathrm{\σ}(x,y\left)\right)w(x,y,x_{p_i},y_{p_i}),$

其中(x,y)代表是图像I的像素点的位置，σ(x,y)表示像素点(x,y)的模糊程度,是加权函数其输入为像素点坐标和碎片坐标，代表碎片i的位置；

通过计算每个碎片的景深值得到图像的景深图，融合所述图像的景深图、纹理显著性图和颜色显著性图得到图像的视觉显著性图；

1.5)通过计算每个碎片图像的显著性的加权平均，为图像的每一个像素点分配显著性值。

2.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述颜色特征的独特性具体计算方法如下：

$U_i^C=\underset{j=1}{\overset{N}{\Σ}}\left|\right|c_i-c_j|{|}^{2}w(p_i,p_j),$

其中代表第i个碎片的颜色独特性，c_i和c_j分别代表碎片i和碎片j的平均颜色，p_i和p_j分别代表碎片i和碎片j的位置，w(p_i,p_j)是加权函数，N表示碎片的总数。

3.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述颜色特征的分散性具体计算方法如下：

$D_i^C=\underset{j=1}{\overset{N}{\Σ}}\left|\right|p_j-{\stackrel{\‾}{p}}_i|{|}^{2}w(c_i,c_j),$

其中代表第i个碎片的颜色特征的分散性，c_i和c_j分别代表碎片i和碎片j的平均颜色，p_j代表碎片j的位置，是碎片i的颜色特征c_i的加权平均位置，w(c_i,c_j),是加权函数，N表示碎片的总数。

4.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述图像的颜色显著性图具体计算方法如下：

$S_i^C=U_i^C\·\exp (-k_C\·D_i^C),$

其中代表第i个碎片的颜色显著性，k_C是比重系数，表示第i个碎片的颜色独特性，表示第i个碎片的颜色特征的分散性。

5.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述纹理特征的独特性具体计算方法如下：

$U_i^t=\underset{j=1}{\overset{N}{\Σ}}\mathrm{\χ}(t_i,t_j)w(p_i,p_j),$

其中代表第i个碎片的纹理特征的独特性，t_i和t_j分别代表碎片i和碎片j的纹理描述子，p_i和p_j分别代表碎片i和碎片j的位置，χ(t_i,t_j)代表是两个纹理描述子t_i和t_j的差异，w(p_i,p_j)是加权函数，N表示碎片的总数。

6.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述纹理特征的分散性具体计算方法如下：

$D_i^t=\underset{j=1}{\overset{N}{\Σ}}\left|\right|p_j-{\stackrel{\‾}{p}}_i|{|}^{2}w(t_i,t_j),$

其中代表第i个碎片的纹理特征的分散性，t_i和t_j分别代表碎片i和碎片j的纹理描述子，p_j代表碎片j的位置，是碎片i的纹理描述子t_i的加权平均位置，w(t_i,t_j)是加权函数，N表示碎片的总数。

7.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述图像的纹理显著性图具体计算如下：

$S_i^T=U_i^T\·\exp (-k_T\·D_i^T),$

其中代表第i个碎片的纹理显著性，k_T是比重系数，代表第i个碎片的纹理特征的独特性，代表第i个碎片的纹理特征的分散性。

8.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述融合具体计算方法如下：

$S_i={\mathrm{\αS}}_i^T+(1-\mathrm{\α})S_i^C$

其中S_i代表计算碎片i的显著性，代表第i个碎片的纹理显著性值，代表第i个碎片的颜色显著性值，权重系数α满足条件：0≤α≤1；通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。

9.根据权利要求8所述的基于底层特征融合的图像视觉显著性计算方法，其特征在于，所述融合具体计算方法如下：

其中S_i代表碎片i的显著性，F_i表示碎片i的景深值；

或者，其中S_i代表碎片i的显著性，F_i表示碎片i的景深值，0≤α≤1；通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。