CN106960434A - 一种基于被包围状态和贝叶斯模型的图像显著性检测方法 - Google Patents

Abstract

本发明提出了一种基于被包围状态和贝叶斯模型的图像显著性检测方法，目的在于检测出图像中的显著性物体。包括：1)通过计算图像中的被包围区域预测注视区域，也就是显著物体大致区域；2)使用简单线性迭代聚类算法对原始图像处理得到图像的超像素，利用归一化割算法对超像素进行分层聚类，得到三层聚类结果；3)基于已经计算得到的注视区域和三层聚类结果，利用贝叶斯模型分别进行计算得到图像的三层显著图；4)最后融合这三层显著图得到最终的显著图。本发明能够找到图像中显著物体，同时提高了显著性检测的准确率。

Description

一种基于被包围状态和贝叶斯模型的图像显著性检测方法

技术领域

本发明属于计算机图像处理领域，涉及一种基于被包围状态和贝叶斯模型的图像显著性检测方法。

背景技术

近年来，图像的显著性检测作为计算机视觉领域的一个重要方向受到国内外研究人员的普遍关注。当前的方法主要发展为两个方向：自底向上(非监督)和自顶向下(监督)。

目前的自底向上的显著性检测方法主要有：基于超像素的聚类的显著性检测，它主要利用超像素之间的相似性进行聚类得到显著图；基于图割的多层自适应区域融合方法，在这个方法中，利用超像素对图像建立图割模型，初始化自适应参数，通过自适应参数的逐层调整得到多层初始显著图，最后融合所有的初始显著图得到最终的显著图；基于贝叶斯框架的显著性检测，它通过处理基于像素为单位每一个像素，结合凸包和贝叶斯模型计算每个像素的显著值得到显著图；基于背景先验和吸收马尔可夫链的显著性检测方法，它主要是把图像的四周边界作为背景先验，利用吸收马尔可夫链进行吸收处理得到每个超像素的显著值，从而计算得到显著图。

自底向上的显著性检测方法还有很多，分析上面提到的几种方法我们可以得出自底向上的显著性检测的几个主要特征。自底向上的显著性检测方法需要先验知识的挖掘、基于图像的图模型的建立以及对应数学模型的建立等。比如对比度先验、背景先验和贝叶斯框架的建立等。

发明内容

针对现有技术存在的问题，本发明提出一种基于被包围状态和贝叶斯模型的图像显著性检测方法，目的在于更加准确、高效、快速的检测出图像中的显著性物体。

本发明的技术方案为：

一种基于被包围状态和贝叶斯模型的图像显著性检测方法，包括以下步骤：

第一步，计算包括显著物体的注视区域

1.1)采用公式(1)计算得到一组二值图；

其中，F_φ是用于特征通道采样的先验分布函数；是用于在特征通道θ上进行阈值采样的先验分布函数；φ(I)是定义的一个特征图，φ(I)∈[0,1]；B_i是产生的二值图，i＝1,2,…..,16。

1.2)基于步骤1.1)得到的二值图，对二值图进行激活，激活二值图中的被包围区域；

M⁺(B)＝M(B)∧B, (2)

二值图中包含多个连通分支，当一个像素被包含于边界连通分支中时，那么这个像素是没有被包围的。基于这一准则，以二值图的边界像素节点作为种子，利用注入填充算法(Flood Fill algorithm)高效的覆盖没有被包围的像素，从而得到激活图M(B)；激活图M(B)把所有被包围的像素值设为1，没有被包围的值设为0；最后利用公式(2)和公式(3)对激活图M(B)进行处理得到两个子激活图M⁺(B)、M^-(B)。

1.3)计算得到包括显著物体的注视区域

根据步骤1.2)得到的两个子激活图，利用公式(4)计算得到每一个二值图的初始注视图，再利用公式(5)对得到的二值图的初始注视图进行归一化处理，得到最终的注视图，所述的注视图为得到的包括显著物体的注视区域；

其中，M⁺(B)和M^-(B)为步骤1.2)得到的子激活图；A(B)是经计算得到的初始注视图，i＝1,2,…..,16；为计算得到的最终注视图。

第二步，建立超像素图的模型

2.1)利用简单线性迭代聚类(SLIC)算法对初始图像进行图像处理，得到一幅图像的超像素图。

2.2)超像素节点之间边的建立以及边的权重的计算

基于步骤2.1)得到的超像素图，以每一个超像素作为节点，在相邻超像素之间建立边的连接关系；如果不相邻的两个超像素与同一超像素连接，那么对这两个超像素建立边的连接关系。

利用公式(6)计算超像素图中连接的两个超像素节点之间的权重w_i,j。

其中，c_i和c_j表示两个超像素的特性均值；σ²是一个平衡参数，在实验中设置为0.1。

2.3)建立超像素图的模型G＝(V,E)；其中，V是超像素节点的集合，E是建立的边的集合。

第三步，基于Ncut对超像素进行聚类得到三层聚类结果和

3.1)Ncut模型的建立

基于第二步得到的超像素图的模型G，定义W＝(ω_ij)_mm作为超像素图的模型G的邻接矩阵，其中m＝200,表示超像素的数量；是超像素图的模型G的度矩阵，其中得到超像素图的模型G的拉普拉斯矩阵L＝D-W。对于两个子集A和B之间割的花费定义如下：

定义为A的补集，给定m个子集，Ncut可以计算出m个子集之间割的最小值，定义如下：

由于公式(8)是一个NP问题，可以为每一个A_i定义一个指示向量，这个指示向量可以通过求D^-1L的前q个最小的特征向量得到，从而可以求解公式(8)，其中，q＝9。

3.2)利用Ncut得到聚类信息

定义求解D^-1L的前q个最小的特征向量为v₁,v₂,...,v_q，对应的特征值为λ₁,λ₂,...,λ_q。在图G中，如果超像素S_i和S_j是邻接的，利用公式(10)重新构建它们之间关系权重。

3.3)计算得到三层聚类结果和

定义三个阈值t₁,t₂和t₃，其中t₁＜t₂＜t₃。对于两个不同的区域，如果区域i和区域j之间的d_ij≤t₁，那么合并这两个区域为一个区域，经过计算可得到第一层聚类结果基于第一层聚类结果将阈值设置为t₂，经计算可得到第二层聚类结果同样的方法，设置阈值为t₃，经计算得到第三层聚类结果。最终，经过以上计算从而得到三层聚类结果和

第四步，利用贝叶斯模型对每一层聚类结果进行处理，得到图像的三层初始显著图。

4.1)先验图的计算

对于聚类集中每个像素的先验显著性概率有如下定义

其中，cluster定义一个聚类集合，att定义第一步(1.3)计算得到的注视图区域。

4.2)观测似然度的计算

在第一步中计算出的注视区域将图像分割为不相交两部分，定义注视区域为I，其余部分为O。观测似然概率的计算有如下定义

其中，N_I定义了区域I中像素的数量，N_O定义了区域O中像素的数量，f(v)定义了像素v在CIELab颜色空间的呈现，N_I(f(v))和N_O(f(v))定义了N_I包含f(v)以及N_O包含f(v)的数量。

4.3)初始显著图的计算

利用贝叶斯框架，可以计算出图像中每一个像素的显著概率，从而得到初始的显著图，通过如下公式定义可计算出初始显著图

p(bk)＝1-p(sal) (15)

对于三层聚类结果，经过以上步骤的计算可得到三层初始显著图和

第五步，融合三层初始显著图，计算得到最终的显著图。

5.1)最终显著图的计算

通过融合以上步骤所计算出的三层初始显著图，利用公式(16)可计算出最终的显著图

本发明的有益效果为：该方法区别于已有方法的特色在于，利用被包围状态预测人眼的注视区域，检测出显著物体的大致区域。接着用Ncut对超像素进行三层聚类得到三层聚类结果。基于注视区域和三层聚类结果，利用贝叶斯模型计算出三层初始显著图，最后融合三个初始显著图得到最终的显著图。该方法的显著性检测结果更接近真值。

附图说明

图1是本发明方法的流程示意图。

图2是几种不同方法的显著性检测结果对比图。(a)待检测图片；(b)XL方法检测结果；(c)MR方法检测结果；(d)HS方法检测结果；(e)MS方法检测结果；(f)本发明的检测结果；(g)真值。

图3是本发明与其他显著性检测方法在MSRA标准数据库上的MAE(平均绝对误差)对比。

具体实施方法

下面结合附图对本发明的实施方式进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

在MSRA标准数据库上对提出的算法进行测试，其中MSRA数据库中包含了1000张图片，图片中包含了各种背景复杂场景，数据库复杂度较高，目标大小、形状、位置各异，对显著性检测具有很大的挑战性。这个数据库都有对应的人工标定的显著性目标区域图。

图1是本发明的流程示意图；图2是本发明与其他不同算法的显著性检测结果对比图；图3是本发明与其他不同显著性检测算法在MSRA标准数据库上的MAE(平均绝对误差)对比图。实现本算法的具体步骤为：

步骤1，计算显著物体的大致区域

1.1：二值图的计算如下所示

其中F_φ是用于特征通道采样的先验分布函数，是用于在特征通道θ上进行阈值采样的先验分布函数，φ(I)定义了一个特征图，φ(I)∈[0,1]，B_i是产生的二值图。

1.2：激活图的计算

基于先前计算得到的二值图，对二值图进行处理激活二值图中的被包围区域。

M⁺(B)＝M(B)∧B, (2)

二值图中包含多个连通分支，当一个像素被包含于边界连通分支中时，那么这个像素是没有被包围的。基于这一准则，以边界节点作为种子，利用注入填充算法(FloodFill algorithm)可以高效的覆盖掉没有被包围的像素，从而得到激活图M(B)，它把所有被包围的像素值设为1，没有被包围的值设为0。接着利用公式(2)(3)对激活图进行处理得到两个子激活图。

1.3：计算得到显著物体的大致区域

其中，基于上一步得到的子激活图，利用公式(4)计算出每一个二值图的注视图，基于得到的每一个二值图的注视图，利用公式(5)进行归一化处理得到最终的注视图，这个注视图就是我们要得到的显著物体的大致区域。

步骤2，建立图像的图模型

2.1：计算得到初始超像素

利用简单线性迭代聚类(SLIC)算法对图像处理，得到一幅图像的超像素图。SLIC算法是基于两个像素的颜色相似性和坐标距离进行聚类得到最终的超像素。

2.2：图模型中节点和边的构建

基于2.1中得到的超像素图，以每一个超像素作为图中节点，相邻超像素之间建立连接关系。如果不相邻的两个超像素和同一超像素邻接，那么对这两个超像素建立邻接关系。

利用公式(6)可计算图中连接的两个节点之间的权重，其中c_i和c_j表示两个超像素的特性均值，σ²是一个平衡参数，在实验中设置为0.1。

最后，我们建立了图的模型G＝(V,E)，其中，V是超像素节点的集合，E是建立的边的集合。

步骤3：基于Ncut对超像素进行聚类得到三层聚类结果和

3.1：归一化割模型的建立

基于步骤2得到的图G，定义W＝(ω_ij)_mm是它的邻接矩阵，其中m＝200,是超像素的数量；是它的度矩阵，其中可得到图G的拉普拉斯矩阵L＝D-W。对于两个子集A和B之间割的花费有如下定义

定义为A的补集，给定m个子集，Ncut可以计算出m个子集之间割的最小值。有如下定义

由于公式(8)是一个NP问题，可以为每一个A_i定义一个指示向量，这个指示向量可以通过求D^-1L的前q个最小的特征向量得到，从而可以求解公式(8)，其中，q＝9。

3.2：利用归一化割得到聚类信息

定义求解D^-1L的前q个最小的特征向量为v₁,v₂,...,v_q，对应的特征值为λ₁,λ₂,...,λ_q。在图G中，如果超像素S_i和S_j是邻接的，利用公式(10)重新构建它们之间关系权重。

3.3：计算得到三层聚类结果和

定义三个阈值t₁,t₂和t₃，它们的值分别为0.04，0.09和0.15。对于两个不同的区域，如果区域i和区域j之间的d_ij≤0.04，那么合并这两个区域为一个区域，经过计算可得到第一层聚类结果基于第一层聚类结果将阈值设置为0.09，经计算可得到第二层聚类结果同样的方法，设置阈值为0.15，经计算得到第三层聚类结果。最终，经过以上计算从而得到三层聚类结果 和

步骤4：利用贝叶斯模型对每一层聚类结果进行处理，得到图像的三层初始显著图

4.1：先验图的计算

对于聚类集中每个像素的先验显著性概率有如下定义

其中，cluster定义了一个聚类集合，att定义了第一步(1.3)计算得到的注视图区域。

4.2：观测似然度的计算

在第一步中计算出的注视区域将图像分割为不相交两部分，定义注视区域为I，其余部分为O。观测似然概率的计算有如下定义

其中，N_I定义了区域I中像素的数量，N_O定义了区域O中像素的数量，f(v)定义了像素v在CIELab颜色空间的呈现，N_I(f(v))和N_O(f(v))定义了N_I包含f(v)以及N_O包含f(v)的数量。

4.3：初始显著图的计算

利用贝叶斯框架，可以计算出图像中每一个像素的显著概率，从而得到初始的显著图，通过如下公式定义可计算出初始显著图

p(bk)＝1-p(sal) (15)

对于三层聚类结果，经过以上的计算可得到三层初始显著图和

步骤5：融合三层初始显著图，计算得到最终的显著图

5.1：最终显著图的计算

通过融合以上步骤所计算出的三层初始显著图，利用公式(16)可计算出最终的显著图

Claims (3)

1.一种基于被包围状态和贝叶斯模型的图像显著性检测方法，其特征在于以下步骤：

第一步，计算包括显著物体的注视区域；

第二步，建立超像素图的模型G＝(V,E)；其中，V是超像素节点的集合，E是建立的边的集合；

第三步，基于Ncut对超像素进行聚类得到三层聚类结果和

3.1)建立Ncut模型

基于第二步得到的超像素图的模型G，定义W＝(ω_ij)_mm作为模型G的邻接矩阵，其中m＝200,表示超像素的数量；是模型G的度矩阵，其中得到模型G的拉普拉斯矩阵L＝D-W；对于两个子集A和B之间割的花费定义如下：

$cut(A,B)=\underset{i\∈A,j\∈B}{\Σ}{\mathrm{\ω}}_{ij}---\left(7\right)$

定义为A的补集，给定m个子集，Ncut计算出m个子集之间割的最小值，定义如下：

$Ncut(A_1,A_2,\mathrm{...},A_m)=\underset{i=1}{\overset{m}{\Σ}}\frac{cut(A_i,{\stackrel{\‾}{A}}_i)}{assoc(A_i,V)}---\left(8\right)$

$assoc(A_i,V)=\underset{i\∈A,j\∈V}{\Σ}{\mathrm{\ω}}_{i,j}---\left(9\right)$

为每一个A_i定义一个指示向量，指示向量通过求D^-1L的前q个最小的特征向量得到，从而求解公式(8)，其中，q＝9；

3.2)利用Ncut得到聚类信息

定义求解D^-1L的前q个最小的特征向量为v₁,v₂,...,v_q，对应的特征值为λ₁,λ₂,...,λ_q；在模型G中，如果超像素S_i和S_j是邻接的，利用公式(10)重新构建超像素S_i和S_j之间的关系权重；

$d_{ij}=\underset{k=1}{\overset{q}{\Σ}}\frac{1}{\sqrt{{\mathrm{\λ}}_k}}|v_k\left(S_i\right)-v_k\left(S_j\right)|---\left(10\right)$

3.3)计算得到三层聚类结果和

定义三个阈值t₁,t₂和t₃，其中t₁＜t₂＜t₃；对于两个不同的区域，如果区域i和区域j之间的d_ij≤t₁，则合并这两个区域为一个区域，经过计算得到第一层聚类结果基于第一层聚类结果将阈值设置为t₂，经计算得到第二层聚类结果同样的方法，设置阈值为t₃，经计算得到第三层聚类结果；最终，经过以上计算得到三层聚类结果和

第四步，利用贝叶斯模型对每一层聚类结果进行处理，得到图像的三层初始显著图；

4.1)先验图的计算

对于聚类集中每个像素的先验显著性概率有如下定义：

$p\left(sal\right)=\frac{\left|cluster\∪att\right|}{\left|cluster\right|}---\left(11\right)$

其中，cluster定义一个聚类集合，att定义第一步(1.3)计算得到的注视图区域；

4.2)观测似然度的计算

在第一步中计算出的注视区域将图像分割为不相交两部分，定义注视区域为I，其余部分为O；观测似然概率的计算有如下定义：

$p\left(v\right|sal)=\underset{F\∈\{1,a,b\}}{\Π}\frac{N_I\left(f\right(v\left)\right)}{N_I}---\left(12\right)$

$p\left(v\right|bk)=\underset{f\∈\{1,a,b\}}{\Π}\frac{N_0\left(f\right(v\left)\right)}{N_0}---\left(13\right)$

其中，N_I定义区域I中像素的数量，N_O定义区域O中像素的数量，f(v)定义像素v在CIELab颜色空间的呈现，N_I(f(v))和N_O(f(v))定义N_I包含f(v)以及N_O包含f(v)的数量；

4.3)初始显著图的计算

利用贝叶斯框架，计算图像中每一个像素的显著概率，得到初始的显著图，通过如下公式定义计算出初始显著图：

$p\left(sal\right|v)=\frac{p\left(sal\right)p\left(v\right|sal)}{p\left(sal\right)p\left(v\right|sal)+p\left(bk\right)p\left(v\right|bk)}---\left(14\right)$

p(bk)＝1-p(sal) (15)

对于三层聚类结果，经过以上步骤的计算得到三层初始显著图和

第五步，融合三层初始显著图，计算得到最终的显著图；

5.1)计算最终显著图

融合以上步骤计算得到的三层初始显著图，利用公式(16)计算得到最终的显著图；

2.根据权利要求1所述的一种基于被包围状态和贝叶斯模型的图像显著性检测方法，其特征在于，第一步所述的计算包括显著物体的注视区域的具体步骤为：

1.1)采用公式(1)计算得到一组二值图；

$\begin{array}{c}{B}_i=THRESH\left(\mathrm{\φ}\right(I),\mathrm{\θ}),\\ \mathrm{\φ}~F_{\mathrm{\φ}},\mathrm{\θ}~F_{\mathrm{\θ}}^{\mathrm{\φ}}.\end{array}---\left(1\right)$

其中，F_φ是用于特征通道采样的先验分布函数；是用于在特征通道θ上进行阈值采样的先验分布函数；φ(I)是定义的一个特征图，φ(I)∈[0,1]；B_i是产生的二值图，i＝1,2,…..,16；

1.2)基于步骤1.1)得到的二值图，对二值图进行激活，激活二值图中的被包围区域；

M⁺(B)＝M(B)∧B, (2)

其中，M(B)为二值图的激活图，激活图M(B)将所有被包围的像素值设为1，没有被包围的值设为0；M⁺(B)、M^-(B)为M(B)的两个子激活图；

1.3)计算得到包括显著物体的注视区域

根据步骤1.2)得到的两个子激活图，利用公式(4)计算得到每一个二值图的初始注视图，再利用公式(5)对得到的二值图的初始注视图进行归一化处理，得到最终的注视图，所述的注视图为得到的包括显著物体的注视区域；

$A\left(B\right)=\frac{H^{+}\left(B\right)}{\left|\right|H^{+}\left(B\right)|{|}_2}+\frac{H^{-}\left(B\right)}{\left|\right|H^{-}\left(B\right)|{|}_2}---\left(4\right)$

$\stackrel{\‾}{A}=sum\left(A_i\right(B\left)\right)/{\max }_i\left(A_i\right(B\left)\right)---\left(5\right)$

其中，A(B)是经计算得到的初始注视图，i＝1,2,…..,16；为计算得到的最终注视图。

3.根据权利要求1或2所述的一种基于被包围状态和贝叶斯模型的图像显著性检测方法，其特征在于，第二步所述的建立超像素图的模型的具体步骤为：

2.1)利用简单线性迭代聚类算法对初始图像进行图像处理，得到一幅图像的超像素图；

2.2)超像素节点之间边的建立以及边的权重的计算

基于步骤2.1)得到的超像素图，以每一个超像素作为节点，在相邻超像素之间建立边的连接关系；如果不相邻的两个超像素与同一超像素连接，那么对这两个超像素建立边的连接关系；

利用公式(6)计算超像素图中连接的两个超像素节点之间的权重w_i,j；

$w_{i,j}=\exp (-\frac{\left|\right|c_i-c_j|{|}^2}{{\mathrm{\σ}}^2}),---\left(6\right)$

其中，c_i和c_j表示两个超像素的特性均值；σ²是一个平衡参数，设置为0.1；

2.3)建立超像素图的模型G＝(V,E)；其中，V是超像素节点的集合，E是建立的边的集合。