CN103247051A - 一种基于期望步数的图像显著程度检测方法 - Google Patents

Abstract

本发明公开了一种基于期望步数的图像显著程度检测方法，包括：将输入图像切分成不重叠的图像块，提取每个图像块的初级视觉特征；构造全连通图和k规则图。对于每个图像块计算这个图像块与其他所有图像块的不相似度，利用图像块间的不相似度计算两个图模型中各结点的初始转移概率，得到平稳分布的概率，然后求得求的关键结点；将全连通图和k规则图进行融合，计算到达关键结点的期望步数，然后计算出每个结点的显著值，得到显著图。通过二维高斯平滑算子进行平滑，得到最终反映图像各个区域显著程度的结果图像。与传统方法相比，本发明通过图像库测试对比证明了其有效性以及在效果上明显的优势。

Description

一种基于期望步数的图像显著程度检测方法

技术领域

本发明涉及图像处理中的局部区域分析，特别涉及图像中的视觉显著性区域检测方法。

背景技术

生物视觉系统所具有的视觉选择性注意是由视觉显著性机制驱动的。心理学研究发现，那些能够产生新异的刺激、较强的刺激和人所期待的刺激的场景区域容易引起观察者的注意。视觉选择性注意机制是生物体特别是人类的一个内在属性，面对复杂、未知的场景，人类能够不受复杂背景影响，快速而准确地检测到显著目标，是由于人类可以通过显著性区域优先分配图像分析与合成所需要的计算资源。而计算机视觉系统只会不加选择地平等对待视觉场景中的各个区域，在无法理解场景变化的同时还会造成计算瓶颈。如果我们把人类视觉系统的选择性注意功能引入到计算机视觉系统中，势必会提升现有计算机图像分析效率。

模拟人类选择性注意机制的计算模型提取的显著性图像被广泛的应用于许多计算机视觉领域，如自适应图像压缩，目标检测，目标识别，内容感知图像编辑和图像检索等邻域。因此，显著性计算模型成为了一个比较流行的研究课题。

目前视觉显著性的计算模型己经研究得比较深入，特别是Itti等人基于Treisman特征整合理论提出的模型极具代表性，该模型首先对输入图像构成空间金字塔并提取亮度，颜色和方向等初级视觉特征，然后进行多尺度融合，并基于“中央一周边差”理论度量图像中每个局部区域在每种特征上的显著程度，形成特征显著图。最后对特征显著图进行线性求和得到总的视觉显著图。但是，目前的显著性检测算法主要是建立在视觉特征的局部对比的基础上的，缺乏从全局角度对显著目标的自身特性进行分析理解，因此当背景较杂乱时会出现大量的误判现象，检测结果不够理想。

发明内容

本发明的目的在于提供一种基于期望步数的显著性检测方法，具体包括以下步骤：

步骤1，将输入图像切分成不重叠的图像块；

步骤2，提取每个图像块的颜色，方向熵和纹理特征，构造特征向量；

步骤3，将每个图像块视为全连通图和k规则图中的一个结点，对于每个结点，利用步骤2所得到的特征向量计算这个结点与其他所有结点的不相似度，利用结点间的不相似度得到全连通图关联矩阵

和k规则图的关联矩阵

L表示分割后的图像块总数；根据全连通图的状态转移矩阵P^g计算全连通图的平稳分布

进而得到全连通图的基础矩阵Z^g．根据基础矩阵Z^g计算全连通图中从平稳分布出发到达任意节点i的期望步数

根据k规则图的状态转移矩阵P¹计算k规则图的平稳分布

进而得到k规则图的基础矩阵Z¹，根据基础矩阵Z¹计算k规则图中从平稳分布出发到达任意节点i的期望步数

：

步骤4，利用步骤3所得到的全连通图中从平稳分布出发到达任意节点i的期望步数以及k规则图中从平稳分布出发到达任意节点i的期望步数

得到关键结点Nmsal，计算方法如下：

$\mathrm{Nmsal}=\max \left(\frac{E_{\mathrm{\π}}^g\left(T_i\right)}{E_{\mathrm{\π}}^i\left(T_i\right)}\right)$ 公式(3)

其中i＝1，2…，L；

全连通图G每个结点与图中所有结点连通，反映了图像的全局属性，显著结点与其他结点的不相似度较大，从其他结点出发到达这样的结点较困难，从平稳分布出发到达这种结点的期望步数就越高。k规则图L反映了图像的局部属性，因为每个结点只与周围的相邻的结点连通。相邻的区域内的结点之间的视觉特征差异较小，结点之间的转移速度更快，到达显著结点的期望步数较低。我们用全连通图G与k规则图L中期望步数的比值中最大的值作为关键结点，即最显著的结点。

步骤5，对于步骤3得到的全连通图关联矩阵

和k规则图关联矩阵

进行融合，得到混合图关联矩阵

Am=αA¹+A^g，α为融合系数，α∈(0．01,0．1)，步骤1得到的每个图像块视为混合图中的一个结点；计算混合图上关键结点Nmsal到达每个结点的期望步数，对期望步数进行归一化处理得到混合图中每个结点的显著值；根据混合图中每个结点的显著值得到输入图像的显著图SalMap，所述的显著图SalMap是一个J行N列的灰度图，J=H／k，N=W／k，显著图salMap上第i行第j列的元素对应原图像I上切分出的图像块

p_{（i-1）*N+j}(i=l，2……J，j=1，....，N)的显著值；

步骤6，对于步骤5所得到的显著图salMap通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像。

所述的步骤1包括以下步骤：

把图像I切分成图像块，当图像的宽W和高H不是k的整数倍时，需要先对图像进行缩放，保证图像的宽和高是k的整数倍；将图像I按照从左至右从上至下的顺序切分成不重叠的图像块，每个图像块是一个方块，宽和高都是k，每个图像块中的像素个数是k²，图像I可以切分出的图像块总数

所述的步骤2还进一步包括以下步骤：

步骤2．1，提取颜色特征，将每个图像块转化到YCbCr空间，将每个图像块的Cb和Cr通道作为颜色特征；

步骤2．2，提取方向熵：步骤1中得到的图像块为彩色图像块，首先将彩色图像块转化成灰度图图像块，对灰度图图像块进行高斯平滑，以消除噪声，然后对灰度图图像块进行二维傅里叶变换，将其转化到频域，并进行中心化处理，计算出每一个灰度图图像块的方向直方图H(θ_i)，方向直方图H(θ_i)的计算公式如式(1)所示

$H\left({\mathrm{\θ}}_i\right)={\mathrm{\Σ}}_{{\tan }^{-1(m^{*}/n^{*})\∈{\mathrm{\θ}}_i}}\log \left(\right|f(m,n)|+1)$ 公式(1)

其中，(m，n)表示灰度图图像块上像素点的坐标，f(m，n)表示在(m，n)处的傅里叶频率值，(m^*，n^*)是中心化后的坐标，直方图从(-90°，90°)每10°度为一段，0_i表示第i，i＝1，2…18段相位；

根据方向直方图，每一个图像块的方向熵Ep的计算公式如式(2)所示：

$\mathrm{Ep}=-\mathrm{\ΣH}\left({\mathrm{\θ}}_i\right)\log H\left({\mathrm{\θ}}_i\right)$ 公式(2)

其中，θ_i与(1)式中相同；

步骤2.3，计算纹理特征，首先在灰度图图像块上求得图像的灰度共生矩阵，其中选择了三个表征量作为特征，分别是能量E(Energy)，对比度C(Contrast)，同质性H(Homogeneity)；

最终得到每个图像块的特征向量g=[Cb，Cr，Ep，E，C，H]。

步骤3中所述的不相似度的计算方法如下：

${\mathrm{\ω}}_{\mathrm{ij}}=\exp (-\mathrm{\β}{(g_i-g_j)}^2)$ 公式(4)

其中，ω_ij为结点i和结点j之间在特征向量空间的不相似程度，β是一个自由参数，β∈(0．1～0.9)，g_i和g_j分别为结点i和结点j的特征向量。

步骤3中所述的全连通图关联矩阵

的第i行第j列的元素α_ij，其计算公式如式(3)所示：

$a_{\mathrm{ij}}=\left\{\begin{array}{cc}{\mathrm{\ω}}_{\mathrm{ij}}& i\≠j\\ 0& i=j\end{array}\right.$ 公式(5)

其中，ω_ij为结点i和结点j之间在特征向量空间的不相似程度

步骤3中所述的k规则图关联矩阵

的第i行第j列的元素α_ij，其计算公式如下，

其中，ω_ij为结点i和结点j之间在特征向量空间的不相似程度，

N(i)表示结点i的空间邻域，i＝1，2，…L，j=1，2，…，L；

步骤3中所述的全连通图的状态转移矩阵P^g的计算方法如下：

P^g=(D^g)^-1A^g    公式(7)

其中， $D^g=\mathrm{diag}(d_1^g,...,d_L^g),$ 公式(8)

$d_i^g={\mathrm{\Σ}}_i{\mathrm{\ω}}_{\mathrm{ij}}$ 公式(9)

步骤3中所述的全连通图的平稳分布的第j个元素π_j的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\π}}_j={\mathrm{\Σ}}_{i=1,i\≠j}^L{\mathrm{\π}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\Σ}}_{j=1}^L{\mathrm{\π}}_j=1\end{array}\right.$ 公式(10)

其中，p_ij为全连通图的状态转移矩阵P^g第i行第j列的元素，π_j表示全连通图中结点j的平稳分布概率；

步骤3中所述的全连通图的基础矩阵Z^g的计算方法如下：

z^g=(I-P^g+W)^-1    公式(11)

其中，I是单位阵，W是由L个全连通图的平稳分布

组成的L×L矩阵；

步骤3中所述的全连通图中从平稳分布出发到达任意节点i的期望步数

的计算方法如下：

$E_{\mathrm{\π}}^g\left(T_i\right)=E_i^g\left(T_i\right)\×z_{\mathrm{ii}}$ 公式(12)

其中，

公式(13)，π_i表示全连通图的平稳分布

的第i个元素，z_ii是全连通图的基础矩阵Z^g的第i行第i列的元素，i＝1，2，...，L；

步骤3中所述的k规则图的状态转移矩阵P¹的计算方法如下：

P¹=(D¹)^-1A¹    公式(14)

其中， $D^1=\mathrm{diag}(d_1^1,...,d_L^1)$ 公式(15)，

$d_i^1={\mathrm{\Σ}}_j{\mathrm{\ω}}_{\mathrm{ij}}$ 公式(16)

步骤3中所述的k规则图的平稳分布

的第j个元素π_j的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\π}}_j={\mathrm{\Σ}}_{i=1,i\≠j}^L{\mathrm{\π}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\Σ}}_{j=1}^L{\mathrm{\π}}_j=1\end{array}\right.$ 公式(17)

其中，p_ij为k规则图的状态转移矩阵P¹第i行第j列的元素，π_j表示k规则图中结点j的平稳分布概率；

步骤3中所述的k规则图的基础矩阵z¹的计算方法如下：

z¹=(I-P¹+W)^-1    公式(18)

其中，I是单位阵，W是由L个k规则图的平稳分布

组成的L×L矩阵；

步骤3中所述的k规则图中从平稳分布出发到达任意节点i的期望步数

的计算方法如下：

$E_{\mathrm{\π}}^i\left(T_i\right)=E_i^1\left(T_i\right)\×z_{\mathrm{ii}}$ 公式(19)

其中，

公式(20)，π_i表示k规则图的平稳分布

的第i个元素，z_ii是k规则图的基础矩阵z¹的第i行第i列的元素，i＝1，2，...，L；

步骤5中所述的混合图上的关键节点到达任意节点i的期望步数的计算方法如下：

将公式中的上标改为m，利用公式(4)、(7)-(9)以及混合图关联矩阵A^m计算出混合图状态转移概率矩阵P^m，利用P^m，根据公式(10)、(11)计算得到混合图平稳分布π^m和混合图基础矩阵z^m，然后计算混合图中从关键结点出发到达所有节点的期望步数

(i=1，2……L)，计算公式如下：

$E_{\mathrm{Nmsal}}^m\left(T_i\right)=E_i^m\left(T_i\right)\×(z_{\mathrm{ii}}-z_{\mathrm{Nmsali}})$ 公式(21)

其中，π_i表示混合图平稳分布π^m中第i个元素，z_ii和z_Nmsali分别表示混合图基础矩阵z^m中第i行第i列以及第Nmsal行第i列的元素；

有益效果：

1、与传统方法相比，本发明通过图像库测试对比证明了其有效性以及在效果上明显的优势。

2、本发明的主要计算量集中在步骤(2)(3)，但在该步骤中每个图像块的计算是相互独立的，因此可以采用并行计算策略来提高执行效率。

附图说明

图1是本发明所涉及方法全过程的流程图；

图2a眼动议采集的人类真实视点图；

图2b采用itti方法得到的视图；

图2c采用bruce方法得到的视图；

图2d采用hou方法得到的视图；

图2e采用Harel方法得到的视图；

图2f采用W．Wang方法得到的视图；

图2g采用本发明得到的显著图；

具体实施方式

下面结合具体实施方式对本发明做进一步的说明。

假设输入一幅3通道彩色图像I，其宽和高分别为W、H。

首先在步骤1中要把图像切分成图像块，将图像I按照从左至右从上至下的顺序切分成不重叠的图像块p_i(i=1,2，...，L)，每个图像块是一个方块，宽和高都是k(k<W，k<H)，因此每个图像块中的像素个数是k²，图像I可以切分出的图像块总数当图像的宽和高不是k的整数倍时，需要先对图像进行缩放，要保证图像的宽和高是k的整数倍，这里假定尺寸变化后图像的宽和高仍分别用W、H表示(不影响后文理解)。

接下来在步骤2中对步骤1所得到的图形块提取特征，步骤2共包含3个子步骤：

步骤2．1，提取颜色特征，将每个图像块转化到YCbCr空间，将每个图像块的Cb和Cr通道作为颜色特征；

步骤2．2，提取方向熵：步骤1中得到的图像块为彩色图像块，首先将彩色图像块转化成灰度图图像块，对灰度图图像块进行高斯平滑，以消除噪声，然后对灰度图图像块进行二维傅里叶变换，将其转化到频域，并进行中心化处理，计算出每一个灰度图图像块的方向直方图H(θ_i)，方向直方图H(θ_i）的计算公式如式(1)所示：

$H\left({\mathrm{\&theta;}}_i\right)={\mathrm{\&Sigma;}}_{{\tan }^{-1}(m^{*}/n^{*})\&Element;{\mathrm{\&theta;}}_i}\log \left(\right|f(m,n)|+1)---\left(1\right)$

其中，(m，n)表示灰度图图像块上像素点的坐标(m=l，2…k，n=l，2…k)，f(m，n)表示在(m，n)处的傅里叶频率值，(m^*，n^*)是中心化后的坐标(m^*=1，2…k，n^*=1，2…k)，直方图从(-90°，90°)每10°度为一段，θ_i表示第i(i＝1，2…18)段相位；

根据方向直方图，计算每一个结点的方向熵Ep，方向熵Ep的计算公式如式(2)所示：

Ep＝-∑H(θ_i)logH(θ_i)  (2)

其中，θ_i与(1)式中相同；

步骤2.3，计算纹理特征，首先在灰度图图像块上求得其灰度共生矩阵，其中选择了三个表征量作为特征，分别是能量(Energy)，对比度(Contrast)，同质性(Homogeneity)，能量是灰度共生矩阵元素值的平方和，反映了图像灰度分布均匀程度和纹理粗细度；对比度反映了图像的清晰度和纹理沟纹深浅的程度；同质性反映了图像亮度值的相似性；灰度共生矩阵通过matlab中graycomatrix函数求得，三个特征量通过matlab中graycoprops求得；

最终得到每个图像块的特征向量g=[Cb，Cr，Ep，E，C，H]。

然后构造全连通图和k规则图，

构造全连通图G，全连通图G由关联矩阵

表征，

的第i行第j列的元素α_ij的计算公式如下：

${\mathrm{\&alpha;}}_{\mathrm{ij}}=\left\{\begin{array}{cc}{\mathrm{\&omega;}}_{\mathrm{ij}}& i\&NotEqual;j\\ 0& i=j\end{array}\right.$

其中，ω_ij为结点i和结点j之间边的权值(i=1,2，...，L，j＝l，2，...，L)，反映了结点i和结点j之间在特征向量空间的不相似程度，ω_ij计算公式如下：

${\mathrm{\&omega;}}_{\mathrm{ij}}=\exp (-\mathrm{\&beta;}{(g_i-g_j)}^2)---\left(4\right)$

β(β=O.8)是一个自由参数，用来规格化特征(g_i-g_j)²，g_i和g_j为对应结点i和结点j的特征向量(i=1,2，...，L，j=1,2，...，L)。

由关联矩阵

可以求得全连通图G的度数矩阵D^g，

其中每个结点的度数

反映了结点i与连接到i的所有其他节点不相似度的总和，进而得到由全连通图构造的马尔科夫链的状态转移矩阵P^g，状态转移矩阵P^g中的元素记录了对应结点的初始转移概率，P^g的求解过程如下：

$d_i^g={\mathrm{\&Sigma;}}_j{\mathrm{\&omega;}}_{\mathrm{ij}}$

$D^g=\mathrm{diag}(d_1^g,...,d_L^g)$

P^g=(D^g)^-1A^g

其中，i=1，2，…，L，j=1，2，...，L；

根据状态转移矩阵P^g计算全连通图的平稳分布其中

的第j个元素π_j的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\&pi;}}_j={\mathrm{\&Sigma;}}_{i=1,i\&NotEqual;j}^L{\mathrm{\&pi;}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\&Sigma;}}_{j=1}^L{\mathrm{\&pi;}}_j=1\end{array}\right.$

其中，p_ij为全连通图的状态转移矩阵P^g第i行第j列的元素，π_j表示全连通图中结点j的平稳分布概率；

进而得到全连通图的基本矩阵为Z

z^g=(I-P^g+W)^-1

其中，I是单位阵，W是由L个全连通图的平稳分布

组成的L×L矩阵。

进而可以求得全连通图中从平稳分布出发到达任意节点i的期望步数计算方法如下：

$E_{\mathrm{\&pi;}}^g\left(T_i\right)=E_i^g\left(T_i\right)\&times;z_{\mathrm{ii}}$

其中，

π_i表示全连通图的平稳分布

的第i个元素，z_ii是全连通图的基础矩阵z^g的第i行第i列的元素，i＝1，2，...，L；

构造k规则图L，k规则图由关联矩阵

表征，

的第i行第j列的元素α_ij，其计算公式如下，

其中，i＝1，2，…L，j=1，2，…L，N(i)表示结点i的空间邻域，ω_ij为结点i和结点j之间在特征向量空间的不相似程度，ω_ij＝exp(-β(g_i-g_j)²)，β(β=O.8)是一个自由参数，用来规格化特征(g_i-g_j)²，g_i和g_j为对应结点i和结点j的特征向量(i=l，2，...，L，j=1，2，...，L)；

k规则图的状态转移矩阵P¹的计算方法如下：

P¹=(D¹)^-1A¹

其中， $D^1=\mathrm{diag}(d_1^1,...,d_L^1),d_i^1={\mathrm{\&Sigma;}}_j{\mathrm{\&omega;}}_{\mathrm{ij}}$ ，(i=1，2，…，L，j=1，2，…，L)。

k规则图的平稳分布

的第j个元素π_j的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\&pi;}}_j={\mathrm{\&Sigma;}}_{i=1,i\&NotEqual;j}^L{\mathrm{\&pi;}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\&Sigma;}}_{j=1}^L{\mathrm{\&pi;}}_J=1\end{array}\right.$

其中，p_ij为k规则图的状态转移矩阵P¹第i行第j列的元素，π_j表示k规则图中结点j的平稳分布概率；

k规则图的基础矩阵z¹的计算方法如下：

Z¹=(I-P¹+W)^-1

其中，I是单位阵，W是由L个k规则图的平稳分布

组成的L×L矩阵；

k规则图中从平稳分布出发到达任意节点i的期望步数

的计算方法如下：

$E_{\mathrm{\&pi;}}^1\left(T_i\right)={\mathrm{\&Sigma;}}_i^1\left(T_i\right)\&times;z_{\mathrm{ii}}$

其中，

π_i表示k规则图的平稳分布

的第i个元素，z_ii是k规则图的基础矩阵z¹的第i行第i列的元素，i＝1，2，...，L；

利用上述步骤中得到的全连通图中从平稳分布出发到达任意节点i的期望步数

以及k规则图中从平稳分布出发到达任意节点i的期望步数计算关键结点Nmsal，计算方法如下：

$\mathrm{Nmsal}=\max \left(\frac{E_{\mathrm{\&pi;}}^g\left(T_i\right)}{E_{\mathrm{\&pi;}}^i\left(T_i\right)}\right)$ 其中i＝1，2，...，L；

对于得到的全连通图关联矩阵

和k规则图关联矩阵

进行融合，得到混合图关联矩阵

A^m=αA¹+A^g，α为融合系数，α∈(0.01，0.1)，步骤1得到的每个图像块视为混合图中的一个结点；计算混合图上关键结点Nmsal到达每个结点的期望步数，具体计算过程如下：

首先计算p^m，p^m=(D^m)^-1A^m公式(7)，其中，

公式(8)，

公式(9)，ω_ij=exp(-β(g_i-g_j)²)公式(4)，ω_ij为结点i和结点j之间在特征向量空间的不相似程度，步骤1得到的每个图像块视为混合图中的一个结点，β是一个自由参数，β∈(0.1～0.9)，g_i和g_j分别为结点i和结点j的特征向量。

接下来，计算混合图的平稳分布

，其中第j个元素π_j，即混合图中结点j的平稳分布概率的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\&pi;}}_j={\mathrm{\&Sigma;}}_{i=1,i\&NotEqual;j}^L{\mathrm{\&pi;}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\&Sigma;}}_{j=1}^L{\mathrm{\&pi;}}_j=1\end{array}\right.$ 公式(10)

其中，P_ij为混合图的状态转移矩阵p^m第i行第j列的元素，π_i表示混合图中结点i的平稳分布概率；

然后，计算混合图的基础矩阵z^m，计算方法如下：Z^m=(I-p^m+W)^-1公式(11)，其中，I是单位阵，W是由L个混合图的平稳分布组成的L×L矩阵；

最后，计算混合图中从关键结点出发到达所有节点的期望步数

(i=1,2……L)，计算公式如下： $E_{\mathrm{Nmsal}}^m\left(T_i\right)=E_i^m\left(T_i\right)\&times;(z_{\mathrm{ii}}-z_{\mathrm{Nmsali}})$ ，其中， $E_i^m\left(T_i\right)=\frac{1}{{\mathrm{\&pi;}}_i},$ π_i表示混合图平稳分布π^m中第i个元素，z_ii和Z_Nmali分别表示混合图基础矩阵z^m中第i行第i列以及第Nmsal行第i列的元素；

对期望步数进行归一化处理得到混合图中每个结点的显著值；根据混合图中每个结点的显著值得到输入图像的显著图SalMap，所述的显著图SalMap是一个J行N列的灰度图，J=H／k，N=W／k，显著图SalMap上第i行第j列的元素对应原图像I上切分出的图像块p_(i-1)*N+j(i=1,2......J，j=1，....，N)的显著值；

最后，显著图SalMap通过二维高斯平滑算子进行平滑，得到最终反映图像上各区域视觉显著程度的结果图像，结果图上数值越大的区域就表示越显著。

本发明的上述操作到此己经实现了输入图像上各区域视觉显著性程度计算。

本发明在视觉显著性区域检测领域公认的测试图像库——法国INRIA实验室成员Bruce提供的图像库进行测试，该图像库共包括120幅彩色图像，每幅图像配有利用眼动仪记录的人类视点图。将本发明具体实施步骤中的方法与本领域一些经典方法进行了对比，本发明具体实施步骤中所描述方法的测试结果与人眼视点最一致，图2a-2g是本发明得到的显著图与眼动仪采集的人类真实视点以及本领域一些经典方法的结果，说明了本发明得到的显著图与人类真实视点有极高的相似度。其中，第一列为眼动议采集的人类真实视点图，其他依次为itti方法，bruce方法，Hou方法，Harel方法，W.Wang方法，最后一列为本发明得到的显著图。

Claims (8)

1.一种基于期望步数的图像显著程度检测方法，其特征在于，包括以下步骤：

步骤1，将宽为W，高为H的输入图像I切分成L个大小为k×k的不重叠的图像块；

步骤2，提取每个图像块的颜色，方向熵和纹理特征，构造特征向量；

步骤3，将每个图像块视为全连通图和k规则图中的一个结点，对于每个结点，利用步骤2所得到的特征向量计算这个结点与其他所有结点的不相似度，利用结点间的不相似度得到全连通图关联矩阵

和k规则图的关联矩阵

L表示分割后的图像块总数；根据全连通图的状态转移矩阵P^g计算全连通图的平稳分布

进而得到全连通图的基础矩阵Z^g，根据基础矩阵Z^g计算全连通图中从平稳分布出发到达任意节点i的期望步数根据k规则图的状态转移矩阵P^l计算k规则图的平稳分布

进而得到k规则图的基础矩阵Z^l，根据基础矩阵Z^l计算k规则图中从平稳分布出发到达任意节点i的期望步数

步骤4，利用步骤3所得到的全连通图中从平稳分布出发到达任意节点i的期望步数

以及k规则图中从平稳分布出发到达任意节点i的期望步数

得到关键结点Nmsal，计算方法如下：

$\mathrm{Nmsal}=\max \left(\frac{E_{\mathrm{\&pi;}}^g\left(T_i\right)}{E_{\mathrm{\&pi;}}^i\left(T_i\right)}\right)$ 公式（3）

其中i＝1,2,...,L；

步骤5，对于步骤3得到的全连通图关联矩阵和k规则图关联矩阵

进行融合，得到混合图关联矩阵

A^m=αA¹+A^g，α为融合系数，α∈(0.01，0.1)，步骤1得到的每个图像块视为混合图中的一个结点；计算混合图上关键结点Nmsal到达每个结点的期望步数，对期望步数进行归一化处理得到混合图中每个结点的显著值；根据混合图中每个结点的显著值得到输入图像的显著图salMap，所述的显著图salMap是一个J行N列的灰度图，J＝H/k，N＝W/k，显著图salMap上第i行第j列的元素对应原图像I上切分出的图像块p_(i-1)*N+j(i=l，2……J，j=i，....，N)的显著值；

步骤6，对于步骤5所得到的显著图salMap通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像。

2.根据权利要求1所述的一种基于期望步数的图像显著程度检测方法，其特征在于，所述的步骤1包括以下步骤：

把图像I切分成图像块，当图像的宽W和高H不是k的整数倍时，需要先对图像进行缩放，保证图像的宽和高是k的整数倍；将图像I按照从左至右从上至下的顺序切分成不重叠的图像块，每个图像块是一个方块，宽和高都是k，每个图像块中的像素个数是k²，图像I可以切分出的图像块总数

3.根据权利要求1所述的一种基于期望步数的图像显著程度检测方法，其特征在于，所述的步骤2还进一步包括以下步骤：

步骤2．1，提取颜色特征，将每个图像块转化到YCbCr空间，将每个图像块的Cb和Cr通道作为颜色特征；

步骤2．2，提取方向熵：步骤1中得到的图像块为彩色图像块，首先将彩色图像块转化成灰度图图像块，对灰度图图像块进行高斯平滑，以消除噪声，然后对灰度图图像块进行二维傅里叶变换，将其转化到频域，并进行中心化处理，计算出每一个灰度图图像块的方向直方图H(θ_i)，方向直方图H(θ_i)的计算公式如式(1)所示

$H\left({\mathrm{\&theta;}}_i\right)={\mathrm{\&Sigma;}}_{{\tan }^{-1}(m^{*}/n^{*})\&Element;{\mathrm{\&theta;}}_i}\log \left(\right|f(m,n)|+1)$ 公式(1)

其中，(m，n)表示灰度图图像块上像素点的坐标，f(m，n)表示在(m，n)处的傅里叶频率值，(m^*，n^*)是中心化后的坐标，直方图从(-90°，90°)每10°度为一段，θ_i表示第i，i＝1，2…18段相位；

根据方向直方图，每一个图像块的方向熵Ep的计算公式如式(2)所示：

Ep＝-∑H(θ_i)logH(θ_i)    公式(2)

其中，θ_i与（1）式中相同；

步骤2.3，计算纹理特征，首先在灰度图图像块上求得图像的灰度共生矩阵，其中选择了三个表征量作为特征，分别是能量E(Energy)，对比度C（Contrast），同质性H（Homogeneity）；

最终得到每个图像块的特征向量g＝[Cb，Cr，Ep，E，C，H]。

4.根据权利要求1所述的一种基于期望步数的图像显著程度检测方法，其特征在于，步骤3中所述的不相似度的计算方法如下：

ω_ij=exp(-β(g_i-g_j)²)    公式（4）

其中，ω_ij为结点i和结点j之间在特征向量空间的不相似程度，β是一个自由参数，β∈(O.1～0.9)，g_i和g_j分别为结点i和结点j的特征向量。

5.根据权利要求4所述的一种基于期望步数的图像显著程度检测方法，其特征在于，步骤3中所述的全连通图关联矩阵

的第i行第j列的元素α_ij，其计算公式如式（3）所示：

${\mathrm{\&alpha;}}_{\mathrm{ij}}=\left\{\begin{array}{cc}{\mathrm{\&omega;}}_{\mathrm{ij}}& i\&NotEqual;j\\ 0& i=j\end{array}\right.$ 公式（5）

其中，ω_ij为结点i和结点j之间在特征向量空间的不相似程度

步骤3中所述的k规则图关联矩阵

的第i行第j列的元素α_ij，其计算公式如下，

其中，i=1,2,…L,j=1,2,…,L，ω_ij为结点i和结点j之间在特征向量空间的不相似程度，

N(i)表示结点i的空间邻域。

6.根据权利要求5所述的一种基于期望步数的图像显著程度检测方法，其特征在于，步骤3中所述的全连通图的状态转移矩阵P^g的计算方法如下：

P^g＝(D^g)^-1A^g    公式（7）

其中， $D^g=\mathrm{diag}(d_1^g,...,d_L^g),$ 公式（8）

$d_i^g={\mathrm{\&Sigma;}}_j{\mathrm{\&omega;}}_{\mathrm{ij}}$ 公式（9）

步骤3中所述的全连通图的平稳分布

的第j个元素π_j的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\&pi;}}_j={\mathrm{\&Sigma;}}_{i=1,i\&NotEqual;j}^L{\mathrm{\&pi;}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\&Sigma;}}_{j=1}^L{\mathrm{\&pi;}}_j=1\end{array}\right.$ 公式（10）

其中，p_ij为全连通图的状态转移矩阵p^g第i行第j列的元素，π_j表示全连通图中结点j的平稳分布概率；

步骤3中所述的全连通图的基础矩阵Z^g的计算方法如下：

Z^g＝(I-P^g+W)^-1    公式（11）

其中，I是单位阵，W是由L个全连通图的平稳分布

组成的L×L矩阵；

步骤3中所述的全连通图中从平稳分布出发到达任意节点i的期望步数

的计算方法如下：

$E_{\mathrm{\&pi;}}^g\left(T_i\right)=E_i^g\left(T_i\right)\&times;z_{\mathrm{ii}}---\left(12\right)$

其中，

公式（13），π_i表示全连通图的平稳分布

的第i个元素，z_ii是全连通图的基础矩阵Z^g的第i行第i列的元素，i＝1,2,...,L。

7.根据权利要求5所述的一种基于期望步数的图像显著程度检测方法，其特征在于，步骤3中所述的k规则图的状态转移矩阵P^l的计算方法如下：

P^l＝(D^l)^-1A^l    公式（14）

其中， $D^1=\mathrm{diag}(d_1^1,\&CenterDot;\&CenterDot;\&CenterDot;,d_L^1)$ 公式(15)，

$d_i^1={\mathrm{\&Sigma;}}_j{\mathrm{\&omega;}}_{\mathrm{ij}}$ 公式(16)

步骤3中所述的k规则图的平稳分布

的第j个元素π_j的计算方法如下：

$\left\{\begin{array}{c}{\mathrm{\&pi;}}_j={\mathrm{\&Sigma;}}_{i=1,i\&NotEqual;j}^L{\mathrm{\&pi;}}_i{p}_{\mathrm{ij}}\\ {\mathrm{\&Sigma;}}_{j=1}^L{\mathrm{\&pi;}}_j=1\end{array}\right.$ 公式(17)

其中，p_ij为k规则图的状态转移矩阵P¹第i行第j列的元素，π_j表示k规则图中结点j的平稳分布概率；

步骤3中所述的k规则图的基础矩阵Z¹的计算方法如下：

Z¹=(I-P¹+W)^-1   公式(18)

其中，I是单位阵，W是由L个k规则图的平稳分布

组成的L×L矩阵；

步骤3中所述的k规则图中从平稳分布出发到达任意节点i的期望步数的计算方法如下：

$E_{\mathrm{\&pi;}}^1\left(T_i\right)=E_i^1\left(T_i\right)\&times;z_{\mathrm{ii}}$ 公式(19)

其中，

公式(20)，π_i表示k规则图的平稳分布的第i个元素，z_ii是k规则图的基础矩阵z¹的第i行第i列的元素，i＝1，2，…，L。

8.根据权利要求6所述的一种图像块显著程度的衡量方法，其特征在于，步骤5中所述的混合图上的关键节点到达任意节点i的期望步数的计算方法如下：

将公式中的上标改为m，利用公式(4)、(7)-(9)以及混合图关联矩阵A^m计算出混合图状态转移概率矩阵P^m，利用P^m，根据公式(10)、(11)计算得到混合图平稳分布π^m和混合图基础矩阵Z^m，然后计算混合图中从关键结点出发到达所有节点的期望步数

(i=1，2……L)，计算公式如下：

$E_{\mathrm{Nmsal}}^m\left(T_i\right)=E_i^m\left(T_i\right)\&times;(z_{\mathrm{ii}}-z_{\mathrm{Nmsali}})$ 公式（21）

其中，

π_i表示混合图平稳分布π^m中第i个元素，z_ii和z_Nmsali分别表示混合图基础矩阵Z^m中第i行第i列以及第Nmsal行第i列的元素。

Images