CN106780430B - 一种基于被包围状态和马尔可夫模型的图像显著性检测方法 - Google Patents

Abstract

本发明提出了一种基于被包围状态和马尔可夫模型的图像显著性检测方法，目的在于检测出图像中的显著性物体。首先，利用被包围状态对眼睛注视点预测得到显著性物体的大致区域。其次，使用简单线性迭代聚类算法对原始图像处理得到图像的超像素图，基于超像素建立图像的图模型。然后，以检测出的显著性物体大致区域的超像素作为前景先验，利用吸收马尔可夫链检测出初始的显著性图S1。接下来，将离预测显著性物体大致区域最远的两条边界的超像素作为背景先验，利用吸收马尔可夫链检测出初始的显著图S2。最后，结合S1和S2得到最终的显著图。该方法能够找到图像中显著物体，同时提高了显著性检测的准确率。

Description

一种基于被包围状态和马尔可夫模型的图像显著性检测方法

技术领域

本发明属于计算机图像处理领域，涉及一种基于被包围状态和马尔可夫模型的图像显著性检测方法。

背景技术

近年来，图像的显著性检测作为计算机视觉领域的一个重要方向受到国内外研究人员的普遍关注。当前的方法主要发展为两个方向：自底向上(非监督) 和自顶向下(监督)。

目前的自底向上的显著性检测方法主要有：基于超像素的聚类的显著性检测，它主要利用超像素之间的相似性进行聚类得到显著图；基于图割的多层自适应区域融合方法，在这个方法中，利用超像素对图像建立图割模型，初始化自适应参数，通过自适应参数的逐层调整得到多层初始显著图，最后融合所有的初始显著图得到最终的显著图；基于贝叶斯框架的显著性检测，它通过处理基于像素为单位每一个像素，结合凸包和贝叶斯模型计算每个像素的显著值得到显著图；基于背景先验和吸收马尔可夫链的显著性检测方法，它主要是把图像的四周边界作为背景先验，利用吸收马尔可夫链进行吸收处理得到每个超像素的显著值，从而计算得到显著图。

自底向上的显著性检测方法还有很多，分析上面提到的几种方法我们可以得出自底向上的显著性检测的几个主要特征。自底向上的显著性检测方法需要先验知识的挖掘、基于图像的图模型的建立以及对应数学模型的建立等。比如对比度先验、背景先验和贝叶斯框架的建立等。

发明内容

针对现有技术存在的问题，本发明提出一种基于被包围状态和马尔可夫模型的图像显著性检测方法，目的在于更加准确高效的检测出图像中的显著性物体。

本发明的技术方案为：

一种基于被包围状态和马尔可夫模型的图像显著性检测方法，包括以下步骤：

第一步，计算显著物体的大致区域

1.1)采用公式(1)计算得到一组二值图；

其中，F_φ是用于特征通道采样的先验分布函数；是用于在特征通道θ上进行阈值采样的先验分布函数；φ(I)是定义的一个特征图，φ(I)∈[0,1]；B_k是产生的二值图，k＝1,2,…..,16。

1.2)基于步骤1.1)得到的二值图，对二值图进行激活，激活二值图中的被包围区域。

M⁺(B)＝M(B)∧B, (2)

二值图中包含多个连通分支，当一个像素被包含于边界连通分支中时，那么这个像素是没有被包围的。基于这一准则，以二值图的边界像素节点作为种子，利用注入填充算法(Flood Fill algorithm)高效的覆盖没有被包围的像素，从而得到激活图M(B)；激活图M(B)把所有被包围的像素值设为1，没有被包围的值设为0；最后利用公式(2)和公式(3)对激活图M(B)进行处理得到两个子激活图 M⁺(B)、M^-(B)。

1.3)计算得到显著物体的大致区域

根据步骤1.2)得到的两个子激活图，利用公式(4)计算得到每一个二值图的初始注视图，再利用公式(5)对得到的二值图的初始注视图进行归一化处理，得到最终的注视图，所述的注视图为得到的显著物体的大致区域；

其中，M⁺(B)和M^-(B)为步骤1.2)得到的子激活图；A(B)是经计算得到的初始注视图，k＝1,2,…..,16；为计算得到的最终注视图。

第二步，建立超像素图的模型

2.1)利用简单线性迭代聚类(SLIC)算法对初始图像进行图像处理，得到一幅图像的超像素图。

2.2)超像素节点之间边的建立以及边的权重的计算

基于步骤2.1)得到的超像素图，以每一个超像素作为节点，在相邻超像素之间建立边的连接关系；如果不相邻的两个超像素与同一超像素连接，那么对这两个超像素建立边的连接关系；对上下两个边界的对称超像素建立边的连接关系，对左右两个边界的对称超像素建立边的连接关系。

利用公式(6)计算超像素图中连接的两个超像素节点之间的权重w_i,j。

其中，c_i和c_j表示两个超像素的特性均值；σ²是一个平衡参数，在实验中设置为0.1。

2.3)建立超像素图的模型G＝(V,E)；其中，V是超像素节点的集合，E是建立的边的集合。

第三步，以检测出的显著性物体的大致区域中的超像素作为前景先验，利用吸收马尔可夫链检测出初始的显著性图S1

3.1)构建转移矩阵

对第二步得到的图模型G中的节点进行重新排列，前t个节点为转移节点，后r个节点为吸收节点；其中，吸收节点为检测出的显著物体大致区域中的超像素，如公式(7)所示，定义关联矩阵C，c为C中的成员；

关联矩阵中若c_i和c_j都是转移节点并且有边连接，那么c_ij＝w_ij；若 c_i为吸收节点，那么c_ii＝1；c_ij的完整定义如下所示

定义度矩阵D＝diag(∑_j c_ij)，通过度矩阵D和关联矩阵C，由公式(8) 计算得到转移矩阵P。

其中，Q为一个t×t的矩阵；R为一个t×r的非零矩阵；0为一个r×t 的零矩阵；I为一个r×r的单位矩阵。

3.2)利用吸收马尔可夫链检测初始显著图S1

定义吸收概率矩阵为：

B＝NR

N＝(I-Q)^-1 (9)

对每个转移节点的吸收概率进行从大到小排序，取前0.8倍的吸收概率的平均值作为转移节点的吸收概率fs(i)；定义吸收节点的显著性值为1，转移节点的显著性值sal(i)＝exp(fs(i))·(1-fs(i))；通过计算得到每个节点的显著性值，最终得到初始显著图S1。

第四步，利用第一步计算得到的注视图，将距离预测显著性物体大致区域最远的两条边界的超像素作为背景先验，利用吸收马尔可夫链检测出初始的显著图S2

计算初始显著图S2的步骤和第三步相似，所不同的是在以选出的距离显著物体大致区域最远的两条边界的超像素作为吸收马尔可夫链的吸收节点，进行后续处理运算得到初始显著图S2。

第五步，计算最终显著图

利用公式(10)，融合初始显著图S1和S2得到最终显著图S。

S＝0.5(S1+S2) (10)

本发明的有益效果为：该方法区别于已有方法的特色在于，利用被包围状态检测出显著物体的大致区域，以检测出的这个显著物体大致区域中的超像素为前景先验，以距离这个大致显著区域最远的两条边界中的超像素为背景先验，充分结合利用了背景先验和前景先验，利用吸收马尔可夫链进行显著性检测得到两个初始显著图，最后融合两个初始显著图得到最终的显著图。该方法的显著性检测结果更接近真值。

附图说明

图1是本发明方法的流程示意图。

图2是几种不同方法的显著性检测结果对比图。(a)待检测图片；(b)XL方法检测结果；(c)MR方法检测结果；(d)HS方法检测结果；(e)MS方法检测结果； (f)本发明的检测结果；(g)真值。

图3是本发明与其他显著性检测方法在MSRA标准数据库上的PR(准确率、召回率)曲线对比。

具体实施方法

下面结合附图对本发明的实施方式进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

在MSRA标准数据库上对提出的算法进行测试，其中MSRA数据库中包含了1000张图片，图片中包含了各种背景复杂场景，数据库复杂度较高，目标大小、形状、位置各异，对显著性检测具有很大的挑战性。这四个数据库都有对应的人工标定的显著性目标区域图。

图1是本发明的流程示意图；图2是本发明与其他不同算法的显著性检测结果对比图；图3是本发明与其他不同显著性检测算法在MSRA标准数据库上的PR(准确率、召回率)曲线对比图。实现本算法的具体步骤为：

步骤1，计算显著物体的大致区域

1.1：二值图的计算如下所示

其中F_φ是用于特征通道采样的先验分布函数，是用于在特征通道θ上进行阈值采样的先验分布函数，φ(I)定义了一个特征图，φ(I)∈[0,1]，B_k是产生的二值图。

1.2：激活图的计算

基于先前计算得到的二值图，对二值图进行处理激活二值图中的被包围区域。

M⁺(B)＝M(B)∧B, (2)

二值图中包含多个连通分支，当一个像素被包含于边界连通分支中时，那么这个像素是没有被包围的。基于这一准则，以边界节点作为种子，利用注入填充算法(FloodFill algorithm)可以高效的覆盖掉没有被包围的像素，从而得到激活图M(B)，它把所有被包围的像素值设为1，没有被包围的值设为0。接着利用公式(2)(3)对激活图进行处理得到两个子激活图。

1.3：计算得到显著物体的大致区域

其中，基于上一步得到的子激活图，利用公式(4)计算出每一个二值图的注视图，基于得到的每一个二值图的注视图，利用公式(5)进行归一化处理得到最终的注视图，这个注视图就是我们要得到的显著物体的大致区域。

步骤2，建立图像的图模型

2.1：计算得到初始超像素

利用简单线性迭代聚类(SLIC)算法对图像处理，得到一幅图像的超像素图。SLIC算法是基于两个像素的颜色相似性和坐标距离进行聚类得到最终的超像素。

2.2：图模型中节点和边的构建

基于2.1中得到的超像素图，以每一个超像素作为图中节点，相邻超像素之间建立连接关系。如果不相邻的两个超像素和同一超像素邻接，那么对这两个超像素建立邻接关系。对上下两个边界的对称超像素建立邻接关系，对左右两个边界的对称超像素建立邻接关系。

利用公式(6)可计算图中连接的两个节点之间的权重，其中c_i和c_j表示两个超像素的特性均值，σ²是一个平衡参数，在实验中设置为0.1。

最后，我们建立了图的模型G＝(V,E)，其中，V是超像素节点的集合，E是建立的边的集合。

步骤3：以检测出的显著性物体大致区域的超像素作为前景先验，利用吸收马尔可夫链检测出初始的显著性图S1

3.1：构建转移矩阵

对步骤2中得到的图G中的节点进行重新排列，前t个节点为转移节点，后r个节点为吸收节点，其中吸收节点为检测出的显著物体大致区域中的超像素，定义关联矩阵C，关联矩阵中若c_i和c_j都是转移节点并且有边连接，那么c_ij＝w_ij，若c_i为吸收节点，那么c_ii＝1。c_ij的完整定义如下所示

定义度矩阵D＝diag(∑_j c_ij)，通过度矩阵D和关联矩阵C，由公式(8) 可计算得到转移矩阵P。

3.2：利用吸收马尔可夫链检测初始显著图S1

吸收概率矩阵被定义为

B＝NR (9)

其中，N＝(I-Q)^-1。对每个转移节点的吸收概率进行从大到小的排序，取前0.8倍的吸收概率的平均值作为转移节点的吸收概率fs(i)。定义吸收节点的的显著性值为1，转移节点的显著性值sal(i) ＝ exp(fs(i)) · (1-fs(i)) 。通过计算得到每个节点的显著性值从而我们得到初始显著图S1。

步骤4，将离预测显著性物体大致区域最远的两条边界的超像素作为背景先验，利用吸收马尔可夫链检测出初始的显著图S2

计算初始显著图S2的步骤和步骤3中相似，所不同的是在这里以选出的距离显著物体大致区域最远的两条边界的超像素作为吸收马尔可夫链的吸收节点，进行后续处理运算得到初始显著图S2。

步骤5，计算最终显著图

利用公式(10)，融合初始显著图S1和S2可得到最终显著图S。

S＝0.5(S1+S2) (10)。

Claims (3)

1.一种基于被包围状态和马尔可夫模型的图像显著性检测方法，其特征在于以下步骤：

第一步，计算显著物体的大致区域

第二步，建立超像素图的模型

2.1)利用简单线性迭代聚类SLIC算法对初始图像进行图像处理，得到一幅图像的超像素图；

2.2)建立超像素节点之间边的连接关系和计算边的权重

利用公式(6)计算超像素图中连接的两个超像素节点之间的权重w_i,j；

其中，c_i和c_j表示两个超像素的特性均值；σ²为平衡参数，设置为0.1；

2.3)建立超像素图的模型G＝(V,E)；其中，V是超像素节点的集合，E是建立的边的集合；

第三步，以检测出的显著性物体的大致区域中的超像素作为前景先验，利用吸收马尔可夫链检测出初始的显著性图S1

3.1)构建转移矩阵

对第二步得到的图模型G中的节点进行重新排列，前t个节点为转移节点，后r个节点为吸收节点；其中，吸收节点为检测出的显著物体大致区域中的超像素，如公式(7)所示，定义关联矩阵C，c为C中的成员；

若关联矩阵中若c_i和c_j都是转移节点并且有边连接，那么c_ij＝w_ij；若c_i为吸收节点，那么c_ii＝1；c_ij的完整定义如下所示：

定义度矩阵D＝diag(∑_j c_ij)，通过度矩阵D和关联矩阵C，由公式(8)计算得到转移矩阵P；

其中，Q为一个t×t的矩阵；R为一个t×r的非零矩阵；0为一个r×t的零矩阵；I为一个r×r的单位矩阵；

3.2)利用吸收马尔可夫链检测初始显著图S1

定义吸收概率矩阵为：

对每个转移节点的吸收概率进行从大到小排序，取前0.8倍的吸收概率的平均值作为转移节点的吸收概率fs(i)；定义吸收节点的显著性值为1，转移节点的显著性值sal(i)＝exp(fs(i))·(1-fs(i))；通过计算得到每个节点的显著性值，最终得到初始显著图S1；

第四步，利用第一步计算得到的显著物体的大致区域，将距离预测显著性物体大致区域最远的两条边界的超像素作为背景先验，即作为吸收马尔可夫链的吸收节点，利用吸收马尔可夫链检测出初始的显著图S2，其他计算初始显著图S2的步骤和第三步相同；

第五步，利用公式S＝0.5(S1+S2)，融合初始显著图S1和S2得到最终显著图S。

2.根据权利要求1所述的一种基于被包围状态和马尔可夫模型的图像显著性检测方法，其特征在于，第一步所述的计算显著物体的大致区域的具体步骤为：

1.1)采用公式(1)计算得到一组二值图；

其中，F_φ是用于特征通道采样的先验分布函数；是用于在特征通道θ上进行阈值采样的先验分布函数；φ(I)是定义的一个特征图，φ(I)∈[0,1]；B_k是产生的二值图，k＝1,2,…..,16；

1.2)基于步骤1.1)得到的二值图，对二值图进行激活，激活二值图中的被包围区域；

M⁺(B)＝M(B)∧B, (2)

其中，M(B)为二值图的激活图；M⁺(B)、M^-(B)为M(B)的两个子激活图；

1.3)计算得到显著物体的大致区域

利用公式(4)计算得到每一个二值图的初始注视图；利用公式(5)对二值图的初始注视图进行归一化处理，得到最终的注视图，所述的注视图为得到的显著物体的大致区域；

其中，A(B)是经计算得到的初始注视图，k＝1,2,…..,16；为计算得到的最终注视图。

3.根据权利要求1或2所述的一种基于被包围状态和马尔可夫模型的图像显著性检测方法，其特征在于，所述的步骤2.2)建立超像素节点之间边的连接关系具体为：基于步骤2.1)得到的超像素图，以每一个超像素作为节点，在相邻超像素之间建立边的连接关系；如果不相邻的两个超像素与同一超像素连接，对这两个超像素建立边的连接关系；对上下两个边界的对称超像素建立边的连接关系，对左右两个边界的对称超像素建立边的连接关系。