CN104408712A - 基于信息融合的隐马尔可夫显著区域检测方法 - Google Patents

Abstract

本发明涉及一种基于信息融合的隐马尔可夫显著区域检测方法，本发明可以应用于复杂背景下的目标区域检测和识别。技术特征在于：首先计算图像的三个颜色对比通道；然后，通过最大后验概率迭代计算各通道的最终标签图像；再用最大互信息的标签类得到各通道突出图；最后将3个通道中所有大于冗余信息的连通区域信息量相加并归一化，得到最终显著图。本发明在充分利用了图像先验信息同时保留了数据细节，解决了区域颜色信息丢失所带来的问题，能够迅速对焦于广泛的显著区域而不用提前进行训练。

Description

基于信息融合的隐马尔可夫显著区域检测方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于信息融合的隐马尔可夫显著区域检测方法。

背景技术

显著区域检测是从复杂的自然场景中检测出最能吸引观察者注意的图像区域，这些区域可以给人眼带来较强的刺激，使视觉系统能够用有效的方式来分配有限的感性资源。目前显著区域检测广泛的应用于自适应压缩和缩放，无监督图像分割，目标识别等众多图像处理领域。因此，研究显著区域检测方法有很重要的实用价值。

目前针对显著区域检测的一些主要方法：

SUN方法是Christopher Kanan等在“Robust Classification of Objects，Faces，and FlowersUsing Natural Image Statistics”in CVPR 2010中提出的。其思路是从自然图像集合当中，用独立成分分析训练出一个基特征来模仿神经元的感受野，从而求解图像中的显著目标区域。该方法符合自上而下的视觉系统，其计算速度较快。然而，人眼能够迅速的从大量复杂背景中寻找出有用的目标，在很大程度上就是依赖于颜色信息。该方法在处理时只考虑灰度图像，忽略了图像的颜色信息，而这些在不同的像素位置上的颜色值反映的是真实场景的有关信息，这导致在不同颜色背景下计算出的显著值近似，影响了检测的效果。

四元数方法是Boris Schauerte等在“Quatemion-based Spectral Saliency Detection for EyeFixation Prediction”in ECCV 2012中提出的。其主要思想是将图像作为一个整体映射到四元数频谱，从四元数频谱的变化率出发给出一个通用显著区域检测模型。该方法从纯数学的角度考虑了区域显著性在四元数频谱的变化，检测出的区块较完整。然而，该方法缺乏对图像显著区域的先验知识利用，显著区域检测是为了理解，但是理想的检测结果需要理解后的结果作为先验知识，因而显著区域检测是一个病态问题，该方法忽略了对这种病态性问题的考虑，随着图像场景的复杂化，其检测准确性也急剧下降。

发明内容

本发明的目的是针对背景技术存在的缺陷，提出一种基于信息融合的隐马尔可夫显著区域检测方法，保留了图像的先验知识和颜色信息，可以从一个复杂的自然场景当中自动检测出显著区域，能够迅速对焦于广泛的显著区域而不用提前进行训练。

为实现上述目的，本发明的技术方案包括如下几个步骤：

步骤1)读取待检测图像Y，用RGB颜色空间转换为对比颜色空间方法，计算出三个对比颜色通道Y_RG，Y_BY，Y_I。

步骤2)将通道Y_RG视作观察场来计算完全数据Z_RG和初始标签图具体步骤如下：

2a)用canny算法求通道Y_RG的边缘响应，该边缘响应就是完全数据Z_RG。

2b)对通道Y_RG用高斯模糊来降低图像细节并减少噪声。

2c)用k-means聚类算法计算通道Y_RG的初始标签图聚类数即标签类l的个数。

步骤3)计算初始标签图中各类标签的均值与方差，作为初始参数。

步骤4)通过最大后验概率来计算新标签图像详细步骤如下：

4a)求似然能量函数U(y|x；λ)，方法为：其中y_i为通道Y_RG的第i个像素，与为标签图像的第i个像素所在的标签类l的均值和方差， $\mathrm{\λ}=\{{{\mathrm{\μ}}_x}_i,{{\mathrm{\σ}}_x}_i\}$ 为参数集合。

4b)计算先验能量函数U(x)，可以通过该式得到：它是基团集合C中所有基团的势函数V_c(x)的总和。其中，势函数V_c(x)为：x′_i是点x_i的邻域像素点。δ(x_i，x′_i)是邻域像素对的势函数参数，具有以下这种形式： $\mathrm{\δ}(x_i,x_i^{\′})=\left\{\begin{array}{cc}0& (x_i\≠x_i^{\′})\\ 1& (x_i=x_i^{\′})\end{array}\right..$

4c)重复步骤4a)-4b)，更新似然能量函数和先验能量函数，用来计算新标签图像方法为： ${\hat{X}}_{\mathrm{RG}}=\underset{x}{\arg \min }\{U\left(y\right|x;\mathrm{\λ})+U\left(x\right)\}.$

步骤5)用步骤4)得到的新标签图像来重新估计参数，具体步骤如下：

5a)计算通道Y_RG的条件分布g(y_i|x_i；λ_l)，条件分布用高斯分布来表达，λ_l为新标签图像的第l类标签的参数集合。

5b)执行t次迭代，计算标签类l的条件概率，方法为：

其中，的计算方法同步骤4b)中势函数的计算方法，是x_i的邻域像素点。

5c)计算第l类标签的最大后验概率：P(y_i)为通道Y_RG在第i个像素上的概率，用高斯分布来表达。

5d)用最大后验概率P^(t)(l|y_i)重新估计参数，具体计算方法为：

${\mathrm{\μ}}_l^{(t+1)}=\frac{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)y_i}{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)},$ ${\left({\mathrm{\σ}}_l^{(t+1)}\right)}^2=\frac{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i){(y_i-{\mathrm{\μ}}_l)}^2}{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)}$

步骤6)重复步骤4)-5)，得到通道Y_RG的最终标签图像X_RG。

步骤7)计算通道Y_BY与通道Y_I的最终标签图X_BY与X_I，方法同步骤4)-6)。得到三个通道的最终标签图X＝{X_RG，X_BY，X_I}。

步骤8)计算三通道突出图X^*。方法是在给定待检测图像Y的条件下，找到各通道下最终标签图X的互信息值最大的标签类l，该标签类l即为突出图X^*：

$X^{*}=\underset{l}{\max }[H\left(X_l\right)-H\left(X_l\right|Y)]=\underset{i=1}{\overset{X_l}{\mathrm{\Σ}}}P\left(X_i\right)\log \frac{1}{P\left(X_i\right)}-\underset{i=1}{\overset{X_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{Y}{\mathrm{\Σ}}}P\left(Y_j\right)P\left(X_i\right|Y_j)\log \frac{1}{P\left(X_i\right|Y_j)}$

其中，H(X_l)是标签图像X中的标签类l所代表的图像区域X_l的熵。H(X_l|Y)反映的是当人眼观察到图像Y后，图像中出现标签区域X_l的熵。

步骤9)删除突出图中过小的连通区域。突出图X^*由多个独立的连通区域{R₁，R₂...，R_k}构成，若第k个连通区域满足条件则保留，否则从突出图中删除，其中d为面积阈值，m·n为图像的尺寸。

步骤10)计算三个对比颜色通道突出图X^*中的各连通区域的自信息。

步骤11)最后将三通道下的突出图融合成一幅显著图S，计算方法是将三通道中所有大于冗余信息参数的连通区域的自信息相加，并归一化，得到最终显著图S。

所述RGB颜色空间转换对比颜色空间方法，利用文章Color invariance中提出的颜色空间转换方法。

所述canny算法采用文章On regularized Laplacian zero crossings and other optimal edgeintegrators中的canny边缘检测算法。

所述k-means聚类算法采用文章A fast k-means implementation using coresets中的k-means聚类算法。

有益效果

本发明涉及一种基于信息融合的隐马尔可夫显著区域检测方法，使用基于贝叶斯框架的隐马尔可夫随机场结构，在充分利用了图像先验信息的同时又保留了数据细节，该结构能够克服显著目标检测的病态性问题。其能有效刻画图像的空间信息。对于包含的光谱变化率、纹理基元的排列以及图像表面局部的内在特征的复杂场景图像，用该结构来描述检测显著区域的先验分布非常恰当。

本发明还使用各颜色通道下基于随机场求出的标签图像与原始图像的互信息，来寻找每个颜色通道中最有代表性的目标区域。这些区域承载着代表该颜色背景下在原始图像中信息量最大的显著性目标。然后利用这些候选区域本身所包含的信息量来确定视觉系统真正在注意的是哪些区域，从而将多通道突出图融合成一幅显著图，解决了区域颜色信息丢失所带来的问题，能够迅速对焦于广泛的显著区域而不用提前进行训练。

附图说明

图1是本发明方法的工作原理流程图。

图2是本发明方法的实例操作流程图。

具体实施方式

现结合实施例、附图对本发明作进一步的描述：

用于实施的硬件环境是：Intel core 15-2400CPU、2GB内存、1GB显卡计算机，运行的软件环境是：Matlab 2012a、WindowsXP。使用数据库公开可下载的MSRA显著目标图像集进行实验，该数据库是由20000幅图像组成，被三个人进行显著区域标注。我们用Matlab软件实现了本发明提出的方法。

本发明的具体实施步骤如下：

步骤1)读取待检测图像Y，将RGB颜色空间转换为对比颜色空间，计算三个对比颜色通道Y_RG，Y_BY，Y_I，其中设置伽马矫正参数为2.4，用于移出RGB图像各分量的伽马非线性。

步骤2)将通道Y_RG视作观察场来计算完全数据Z_RG和初始标签图具体步骤如下：

2a)用canny算法求通道Y_RG的边缘响应，该边缘响应就是完全数据Z_RG，设置边缘检测门限为0.75，得到的完全数据Z是值为0、1的逻辑图像。

2b)对通道Y_RG用高斯模糊来降低图像细节并减少噪声，高斯标准差取值4。

2c)用k-means聚类算法计算通道Y_RG的初始标签图聚类数即标签类l的个数，聚类个数取值3。

步骤3)计算初始标签图中3类标签的均值μ⁰与方差σ⁰，作为初始参数。

步骤4)通过最大后验概率来计算新标签图像详细步骤如下：

4a)求似然能量函数U(y|x；λ)，方法为：其中y_i为通道Y_RG的第i个像素，与为标签图像的第i个像素所在的标签类l的均值和方差，为参数集合。这里依据观察数据y_i之间相互独立，假设同一类图像标签的像素服从同一种分布，并用高斯分布来近似同一类图像标签区域像素的分布情况。

4b)计算先验能量函数U(x)，可以通过该式得到：它是基团集合C中所有基团的势函数V_c(x)的总和。

其中，势函数V_c(x)为：x′_i是点x_i的4-邻域像素点。δ(x_i，x′_i)是邻域像素对的势函数参数，具有以下这种形式： $\mathrm{\δ}(x_i,x_i^{\′})=\left\{\begin{array}{cc}0& (x_i\≠x_i^{\′})\\ 1& (x_i=x_i^{\′})\end{array}\right..$ 设置4-邻域像素来表示基团C，即x_i的标签值与4-邻域像素点x′_i的标签值相等时势函数为0。

4c)重复步骤4a)-4b)，迭代次数取10，更新似然能量函数和先验能量函数，用来计算新标签图像方法为： ${\hat{X}}_{\mathrm{RG}}=\underset{x}{\arg \min }\{U\left(y\right|x;\mathrm{\λ})+U\left(x\right)\}.$

步骤5)用步骤4)得到的新标签图像来重新估计其参数，具体步骤如下：

5a)计算通道Y_RG的条件分布g(y_i|x_i；λ_l)，条件分布用高斯分布来表达，λ_l为新标签图像的第l类标签的参数集合。

5b)计算第t次迭代时，标签类l的条件概率，方法为：

其中，的计算方法同步骤4b)，N_i表示i的4-邻域，对应x_i的4-邻域像素点。

5c)计算第l类标签的最大后验概率：P(y_i)为通道Y_RG在第i个像素上的概率，用高斯分布来表达。

5d)用最大后验概率P^(t)(l|y_i)重新估计参数，计算方法如下：

${\mathrm{\μ}}_l^{(t+1)}=\frac{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)y_i}{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)},$ ${\left({\mathrm{\σ}}_l^{(t+1)}\right)}^2=\frac{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i){(y_i-{\mathrm{\μ}}_l)}^2}{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)}$

步骤6)重复步骤4)-5)，迭代次数取10，得到通道Y_RG的最终标签图像X_RG。

步骤7)计算通道Y_BY与通道Y_I的最终标签图X_BY与X_I，方法同步骤4)-6)。得到三个通道的最终标签图X＝{X_RG，X_BY，X_I}。

步骤8)计算三通道突出图X^*。方法是在给定待检测图像Y的条件下，找到各通道下最终标签图X的互信息值最大的标签类l，该标签类l即为突出图：

$X^{*}=\underset{l}{\max }[H\left(X_l\right)-H\left(X_l\right|Y)]=\underset{i=1}{\overset{X_l}{\mathrm{\Σ}}}P\left(X_i\right)\log \frac{1}{P\left(X_i\right)}-\underset{i=1}{\overset{X_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{Y}{\mathrm{\Σ}}}P\left(Y_j\right)P\left(X_i\right|Y_j)\log \frac{1}{P\left(X_i\right|Y_j)}.$

其中，H(X_l)是标签图像X中的标签类l所代表的图像区域X_l的熵。H(X_l|Y)反映的是当人眼观察到图像Y后，图像中出现标签区域X_l的熵。

步骤9)删除突出图X^*中过小的连通区域。突出图X^*由多个独立的连通区域{R₁，R₂...，R_k}构成，若第k个连通区域满足条件则保留，否则从突出图中删除，其中m·n为图像的尺寸，d为面积阈值，取值范围为[50，500]。

步骤10)计算三个对比颜色通道突出图X^*中的各连通区域的自信息：I(R_k)＝-logP(R_k)，其中I(R_k)表示突出图X^*所包含的第k个连通区域R_k的信息量。

步骤11)最后将三通道下的突出图融合成一幅显著图S，计算方法是将3个通道中所有大于冗余信息参数的连通区域的自信息相加，并归一化，得到最终显著图S。计算表达形式为：其中w·I_max是冗余信息参数，I_max是该通道下的所有连通区域中最大的信息值，w是冗余阈值，取值范围从0到1。

所述RGB颜色空间转换对比颜色空间方法，利用文章Color invariance中提出的颜色空间转换方法。

所述canny算法采用文章On regularized Laplacian zero crossings and other optimal edgeintegrators中的canny边缘检测算法。

所述k-means聚类算法采用文章A fast k-means implementation using coresets中的k-means聚类算法。

Claims (4)

1.一种基于信息融合的隐马尔可夫显著区域检测方法，其特征在于步骤如下：

步骤1)读取待检测图像Y，将RGB颜色空间转换为对比颜色空间，计算出三个对比颜色通道Y_RG，Y_BY，Y_I。

步骤2)将通道Y_RG视作观察场来计算完全数据Z_RG和初始标签图具体步骤如下：

2a)用canny算法求通道Y_RG的边缘响应，该边缘响应就是完全数据Z_RG。

2b)对通道Y_RG用高斯模糊来降低图像细节并减少噪声。

2c)用k-means聚类算法计算通道Y_RG的初始标签图聚类数即标签类l的个数。

步骤3)计算初始标签图中各类标签的均值与方差，作为初始参数。

步骤4)通过最大后验概率来计算新的标签图像详细步骤如下：

4a)求似然能量函数U(y|x；λ)，方法为：其中y_i为通道Y_RG的第i个像素，与为标签图像的第i个像素所在的标签类l的均值和方差，为参数集合。

4b)计算先验能量函数U(x)，可以通过该式得到：它是基团集合C中所有基团的势函数V_c(x)的总和。其中，势函数V_c(x)为：x′_i是点x_i的邻域像素点。δ(x_i，x′_i)是邻域像素对的势函数参数，该参数具有以下这种形式：

$\mathrm{\δ}(x_i,x_i^{\′})=\left\{\begin{array}{c}0,(x_i\≠x_i^{\′})\\ 1,(x_i=x_i^{\′})\end{array}\right..$

4c)重复步骤4a)-4b)，更新似然能量函数和先验能量函数，用来计算新标签图像方法为： ${\hat{X}}_{\mathrm{RG}}=\underset{X}{\arg \min }\{U\left(y\right|x;\mathrm{\λ})+U\left(x\right)\}.$

步骤5)用步骤4)得到的新标签图像来重新估计参数，具体步骤如下：

5a)计算通道Y_RG的条件分布g(y_i|x_i；λ_l)，条件分布用高斯分布来表达，λ_l为新标签图像的第l类标签的参数集合。

5b)执行t次迭代，计算标签类l的条件概率，方法为：其中，的计算方法同步骤4b)中势函数的计算方法，是x_i的邻域像素点。

5c)计算第l类标签的最大后验概率：P(y_i)为通道Y_RG在第i个像素上的概率，用高斯分布来表达。

5d)用最大后验概率P^(t)(l|y_i)重新估计参数，具体计算方法为：

${\mathrm{\μ}}_l^{(t+1)}=\frac{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)y_i}{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)},{\left({\mathrm{\σ}}_l^{(t+1)}\right)}^2=\frac{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i){(y_i-{\mathrm{\μ}}_l)}^2}{\underset{i\∈S}{\mathrm{\Σ}}{P}^{\left(t\right)}\left(l\right|y_i)}$

步骤6)重复步骤4)-5)，得到通道Y_RG的最终标签图像X_RG。

步骤7)计算通道Y_BY与通道Y_I的最终标签图X_BY与X_I，方法同步骤4)-6)。得到三个通道的最终标签图X＝{X_RG，X_BY，X_I}。

步骤8)计算三通道突出图X^*。方法是在给定待检测图像Y的条件下，找到各通道下最终标签图X的互信息值最大的标签类l，该标签类l即为突出图X^*：

$X^{*}=\underset{l}{\max }[H\left(X_l\right)-H\left(X_l\right|Y)]=\underset{i=1}{\overset{X_l}{\mathrm{\Σ}}}P\left(X_i\right)\log \frac{1}{P\left(X_i\right)}-\underset{i=1}{\overset{X_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{Y}{\mathrm{\Σ}}}P\left(Y_j\right)P\left(X_i\right|Y_j)\log \frac{1}{P\left(X_i\right|Y_j)}$

其中，H(X_l)是标签图像X中的标签类l所代表的图像区域X_l的熵。H(X_l|Y)反映的是当人眼观察到图像Y后，图像中出现标签区域X_l的熵。

步骤9)删除各通道突出图X^*中过小的连通区域。突出图由多个独立的连通区域{R₁，R₂...，R_k}构成，若第k个连通区域满足条件则保留，否则从突出图中删除，其中d为面积阈值，m·n为图像的尺寸。

步骤10)计算三个对比颜色通道突出图X^*中的各连通区域的自信息。

步骤11)最后将三通道下的突出图融合成一幅显著图S，计算方法是将三通道中所有大于冗余信息参数的连通区域的自信息相加，并归一化，得到最终显著图S。

2.根据权利要求1所述RGB颜色空间转换对比颜色空间方法，利用文章Colorinvariance中提出的颜色空间转换方法。

3.根据权利要求1所述canny算法采用文章On regularized Laplacian zero crossings andother optimal edge integrators中的canny边缘检测算法。

4.根据权利要求1所述k-means聚类算法采用文章A fast k-means implementation usingcoresets中的k-means聚类算法。