CN108154150A - 一种基于背景先验的显著性检测方法 - Google Patents

Abstract

本发明公开一种基于背景先验的显著性检测方法，首先将彩色图像及深度图像作为输入，然后通过预处理操作对输入的图像进行超像素分割及深度图质量评估，然后基于深度选择性差异和背景先验，计算每个超像素区域的初始显著值，最后通过代价函数的最小化对初始显著图进行优化，从而得到最终的显著性检测结果。应用本发明，不仅解决了传统的基于彩色图像的显著性检测方法无法检测到与背景具有相似视觉特征物体的问题，还解决了仅仅依靠深度信息进行显著性检测时，无法忽略底部背景区域而导致的误检问题。本发明适用于同时具有彩色图像及深度图像时的显著性检测，总体效果良好，能有效地检测出显著物体，准确率较高。

Description

一种基于背景先验的显著性检测方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及彩色图像、深度图像与显著性物体检测方法，具体为一种基于背景先验的显著性检测方法。

背景技术

视觉显著性是指在视觉处理的早期阶段，图像中的显著区域迅速抓住观众注意力的主观感知。显著性检测技术是目标检测与识别、图像检索、图像压缩和图像重定向等应用的关键核心，在诸多领域具有广泛的应用前景。

显著性检测的目的在于有效地突出显著区域并且抑制背景区域。显著性检测过程主要依赖于视觉信息的收集和特征的提取，目前，图像显著性检测的方法已经有很多，其中大多数方法是基于颜色、形状、方向、纹理和曲率等特征对比计算显著性。当显著目标没有表现出以上可区分的视觉特征时，上述方法则很难检测到显著目标。

随着同时捕捉颜色信息和深度信息的RGBD摄像头的出现，人类对场景的感知能力有了进一步的提升，人们不仅可以捕获到图像的颜色信息，也可以得到物体的距离信息。在显著性检测过程中，加入深度信息可以识别出与背景具有相似视觉特征的显著物体。但由于深度信息的局限性，无法明确区分目标与近处的背景，因此，将颜色和深度信息二者结合使用，成为当前研究的热点。

综上所述，当目标与背景具有相似视觉特征时，传统基于彩色图像的显著性检测方法无法有效检测到目标。并且当显著目标位于地面或者大片背景区域时，由于目标与背景的深度接近，导致仅仅基于深度图像的显著性检测方法可能存在误检。因此，当前需要一种新的基于颜色及深度信息的显著性检测方法，以解决以上问题。

发明内容

本发明要解决的问题是：在图像的显著性物体检测技术中，单纯以彩色图像作为输入，无法有效检测到与背景具有相似视觉特征的物体；而仅仅基于深度图的显著性检测方法，可能存在底部背景区域与显著目标深度接近时导致的误检。因此，需要提出一种新的充分利用颜色信息及深度信息的显著性检测方法，提高检测效果。

为了解决上述问题，本发明提供了一种基于背景先验的显著性检测方法，将图像的颜色信息及深度信息同时加入到显著性物体检测中，充分利用图像的RGBD信息，从而得到显著性检测的结果，包括以下步骤：

1)采用超像素分割(SLIC)算法将输入的彩色图像分成一系列超像素区域，并且根据深度图像的质量来调节颜色特征和深度特征在最终检测特征中的所占比重；

2)计算各超像素区域的深度选择性差异，获得每个超像素区域的基于深度选择性差异的显著值；

3)计算各超像素区域的基于背景先验的显著值，具体为：首先，对边界上所有超像素区域进行筛选，获得边界背景集合；其次，基于每个超像素区域的深度选择性差异显著值，对图像中所有超像素区域进行自适应阈值分割，获得基于深度先验的背景集合；然后，依据图像的超像素区域集合、边界背景集合、基于深度先验的背景集合构建图模型；最后，依据构建的图模型计算每个超像素区域的边界连通性，从而获得图像中每个超像素区域基于背景先验的显著值；

4)融合图像中每个超像素区域的基于深度选择性差异的显著值和基于背景先验的显著值，得到图像的初始显著图；

5)采用代价函数的最小化对图像的初始显著图进行优化，从而获得最终的显著图。

作为优选，所述步骤3)具体为：

3.1)获取边界背景集合，首先将位于边界的所有超像素区域构成初始的边界背景集合；然后将初始边界背景集合中每个超像素区域与四个基准背景进行特征比较，选出初选的边界目标超像素区域集合和与四个基准背景相似的一般边界背景集合；进一步依据紧凑性对初选的边界目标超像素区域集合进行筛选，得到最终的边界目标超像素区域集合和与四个基准背景差异大的特殊边界背景集合；合并与四个基准背景相似的一般边界背景集合和与四个基准背景差异大的特殊边界背景集合，得到最终的边界背景集合；

3.2)基于深度先验的背景集合，基于每个超像素区域的深度选择性差异显著值，对图像中所有超像素区域进行自适应阈值分割，获得基于深度先验的背景集合；

3.3)依据图像的超像素区域集合、边界背景集合、基于深度先验的背景集合，构建图模型，首先，图像中的所有超像素区域构成图模型的顶点集V，相邻超像素区域之间的联系、位于同一集合内的两个超像素之间的联系视作图中的一条边，构成边集合E，每条边所连接的两个超像素区域之间的特征差异作为该边的对应权值，构成权值集合W，从而得到图模型G＝{V,E,W}；

3.4)依据边界连通性的原理，对构建的图模型进行边界连通性计算，从而得到图像中每个超像素区域的基于背景先验的显著值。

步骤5)采用代价函数的最小化对初始显著图进行优化的具体步骤为：将图像的背景先验和由初始显著图得到的前景先验整合到优化目标函数中，同时还加入保证相邻节点之间平滑过渡的平滑约束项，最后通过最小化目标函数获得优化后的显著图。

步骤1)采用超像素分割(SLIC)算法对彩色图像进行超像素分割，通过区域匹配，在深度图像中找到对应的区域，从而获得深度图像对应的分割图；深度图像的质量采用深度图质量评估方法(R.Cong,J.Lei,C.Zhang,etc..Saliency Detection forStereoscopic Images Based on Depth Confidence Analysis and Multiple CuesFusion.IEEE Signal Processing Letters,2016,23(6):819-823)进行评估。

本发明提供了一种基于背景先验的显著性检测方法，该方法首先以彩色图像及深度图像作为输入；其次，对输入的图像进行超像素分割及深度图像质量评估；然后，基于深度选择性差异和背景先验计算每个超像素区域的初始显著值，最后，对初始显著图进行优化，从而得到最终的显著性检测结果。应用本发明，解决了单纯基于彩色图像无法检测到与背景具有相似视觉特征物体的问题，还解决了仅仅依赖深度图像无法忽略底部背景区域而导致的误检问题。本发明适用于同时具有彩色图像和深度图像的显著性检测，能有效地检测出显著物体，准确率较高。

本发明的优点是：首先，本发明以彩色图像、深度图像作为输入，并根据深度图像的质量来调节颜色特征和深度特征在最终检测特征中的所占比重，充分利用了三维信息对视觉显著性的影响；其次，提出一种获取更加精确的边界背景集合的方法，同时，从边界连通性的角度计算超像素区域属于背景的概率，从而获得初始显著图；最后，采用代价函数的最小化对初始显著图进行优化，提高显著性检测结果。

附图说明

图1是本发明基于背景先验的显著性检测模型。

图2是本发明获取更精确的边界背景集合的流程。

具体实施方式

本发明提供了一种基于背景先验的显著性检测方法，该方法首先以彩色图像、深度图像作为输入，将超像素分割算法作用于彩色图像，根据深度图像与彩色图像的对应关系，获取对应的区域标记；其次，通过对深度图像质量的评估，对图像的颜色特征和深度特征在最终检测特征中的所占比重进行动态调节；然后，基于深度选择性差异和背景先验计算每个超像素区域的初始显著值；最后，根据代价函数的最小化对初始的显著图进行优化，从而得到最终的显著性检测结果。本发明适用于同时具有彩色图像和深度图像的显著性检测，检测结果准确。

本发明包括以下步骤：

1)基于SLIC超像素分割算法对彩色图像进行分割，得到彩色图像的N个区域标记，然后在深度图像中找到对应的区域，从而获得深度图像对应的分割图；

2)采用深度图质量评估方法，进行深度图像的质量评估，并依据深度图像的质量对颜色特征和深度特征在最终检测特征中的所占比重进行动态调整，定义本发明采用的最终图像特征为：

I_k＝(1-λ)c_k+λd_k

其中，I_k表示图像中像素点p_k的特征值，λ表示深度图像质量的评价结果，c_k和d_k分别表示像素点p_k的颜色特征以及深度特征；

3)采用基于深度选择性差异的显著性检测方法，分别计算每个超像素区域的局部选择性差异和全局选择性差异，获得每个超像素区域的基于深度选择性差异的显著值S_d；

4)对位于边界的所有超像素区域进行筛选，获得更精确的边界背景集合B₁；

4.1)首先，将位于边界的所有超像素区域构成初始的边界背景集合；

4.2)将边界背景集合中每个超像素区域与四个基准背景进行特征比较，选出初选的边界目标超像素区域集合和与四个基准背景相似的一般边界背景集合；

通过观察发现，目标一般不会位于图像的四个角区域，因此，本发明选择图像的四个角区域作为四个基准背景，通过计算初始边界背景集合中的每个超像素区域与四个基准背景之间的颜色特征差异，对初始边界背景集合中的超像素区域进行筛选。

通过观察发现，位于图像边界的超像素区域与四个基准背景之间的颜色特征差异存在以下情况：

如果该超像素区域属于目标，那么它与四个基准背景的特征差异应该都很大，则这四个特征差异值的波动较小，且其均值较大；

如果该超像素区域属于背景，会有两种情况：一是该超像素区域与四个基准背景的特征差异有大有小，则这四个特征差异值的波动较大，且其均值可能大也可能小；二是该超像素区域与四个基准背景的特征差异都很小，则这四个特征差异值的波动较小，且其均值也较小。

本发明定义位于图像边界的超像素区域与四个基准背景比较的目标筛选条件为：

(a)与四个基准背景相比，特征差异的均值大于阈值μ；

(b)与四个基准背景相比，特征差异的方差小于阈值ν。

其中，阈值μ、ν分别为位于边界的所有超像素区域与四个基准背景之间颜色特征差异的均值、差异波动性的均值。

通过对初始边界背景集合中的每个超像素区域进行筛选，找到同时满足上述两个条件的超像素区域，即得到初选的边界目标超像素区域集合，初始边界背景集合中的其他超像素区域则为与四个基准背景相似的一般边界背景集合；

4.3)进一步依据每个超像素区域的紧凑性对初选的边界目标超像素区域集合进行筛选，得到最终的边界目标超像素区域集合和与四个基准背景差异大的特殊边界背景集合。

经过4.2)筛选得到的初选边界目标超像素区域集合，可能包含真正的边界目标超像素区域，也可能包含一些属于特殊背景的超像素区域。因此，本发明根据超像素区域的紧凑性，对初选的边界目标超像素区域集合进行进一步的筛选，从而获得最终的边界背景集合。

一般情况下，目标区域的紧凑性较高，背景区域的紧凑性较差。针对不同的边界设定不同的紧凑性阈值，计算初选边界目标超像素区域集合中每个超像素区域的紧凑性，如果该超像素区域的紧凑性大于其所在边界的紧凑性阈值，则认为其是目标区域；反之，则认为其是特殊背景区域。经过这次筛选操作，可以得到最终的边界目标超像素区域集合和与四个基准背景差异大的特殊边界背景集合。

4.4)合并4.2)筛选得到的与四个基准背景相似的一般边界背景集合和4.3)筛选得到的与四个基准背景差异大的特殊边界背景集合，从而得到最终的边界背景集合。

5)基于图像中每个超像素区域的深度选择性差异显著值，对图像中所有超像素区域进行自适应阈值分割，获得基于深度先验的背景集合B₂；

通过观察发现，位于图像内部的背景与目标一般不会位于同一个深度范围内，因此当二者具有相似视觉特征时，利用深度信息也可以将目标与背景区分开。

对图像中所有超像素区域的深度选择性差异显著值进行自适应阈值分割，当某超像素区域的显著值低于设定的阈值时，就将其加入到基于深度先验的背景集合中，从而得到基于深度先验的背景集合B₂。

6)依据图像的超像素区域集合、边界背景集合、基于深度先验的背景集合，构建图模型；

6.1)将图像中的所有超像素区域构成图模型的顶点集V；

6.2)相邻超像素区域间、位于边界背景集合B₁和基于深度先验的背景集合B₂内任意两个超像素区域间构造一条边，从而得到图模型的边集合E；

6.3)每条边所连接的两个超像素区域间的图像特征差异作为该边的对应权值，任意两个超像素区域r_i和r_j之间的图像特征差异为：

其中，分别表示超像素区域r_i和r_j中所有像素点图像特征的均值，n_i，n_j分别表示超像素区域r_i和r_j中像素点个数，I_k表示像素点p_k的图像特征。

计算边集合E中每条边所连接的两个超像素区域间的图像特征差异，从而得到图模型的权值集合W，即得到图像的图模型G＝{V,E,W}。

7)依据构建的图模型及边界连通性原理，计算图像中每个超像素区域的基于背景先验的显著值S_b；

7.1)定义任意两个超像素区域r和q之间的最短路径代价为它们之间最短路径所经过的所有边的权重之和：

7.2)定义超像素区域r的跨度区域面积为：

其中，参数σ₁用于控制跨度区域面积的强度。

7.3)定义超像素区域r位于图像边界的长度为：

其中，当超像素区域r_i位于图像的边界背景集合B₁时，δ(r_i∈B₁)＝1，否则δ(r_i∈B₁)＝0。

7.4)计算超像素区域r的边界连通性：

7.5)根据超像素区域r的边界连通性，计算该超像素区域r的属于背景区域的概率为：

其中参数σ_b用于控制背景概率的强度。

7.6)根据超像素区域r的属于背景区域的概率，计算该超像素区域r的基于背景先验的显著值为：

8)融合图像中每个超像素区域的基于深度选择性差异的显著值S_d和基于背景先验的显著值S_b，得到图像的初始显著图S_c；

9)采用代价函数的最小化对图像的初始显著图进行优化，从而获得最终的显著图。

将根据超像素区域的边界连通性得到的背景先验和由初始显著图得到的前景先验整合到优化目标函数中，同时还加入保证相邻节点之间平滑过渡的平滑约束项，最后通过最小化目标函数获得优化后的显著图。

设图像中N个超像素区域的显著值为则代价函数定义为：

公式中的三项分别定义不同约束下的代价，第一项为背景元素的代价值，背景元素权重是由超像素区域的边界连通性计算得到的背景概率pb(r_i)；第二项为前景元素的代价值，前景元素权重是超像素区域的初始显著值S_c(r_i)；第三项是一个光滑操作，平滑约束项的作用就是使相邻的超像素之间显著性差别不能太大,消除背景项与前景项的微小噪声，平滑权重为：

其中，e(r_i,r_j)表示超像素区域r_i和r_j间的图像特征差异；参数σ_c用于控制特征差异的影响；参数μ是一个常量，其作用是消除前景区域和背景区域中小的噪声区域。

最后优化的显著图通过最小化代价函数获得。

本发明在图像处理和计算机视觉领域有着广泛的应用，例如:目标检测与识别、图像分类、图像检索等。下面参照附图，对本发明进行详尽的描述。

(1)首先，通过评估深度图的质量，对颜色特征和深度特征在最终检测特征中的所占比重进行动态调整；采用SLIC超像素分割算法分割彩色图像，通过区域匹配，得到深度图像中对应的区域。本发明中，超像素数量设定为图像对角线上的像素数。

(2)采用基于深度选择性差异的显著性检测方法，计算每个超像素区域的基于深度选择性差异的显著值S_d；

(3)计算每个超像素区域的基于背景先验的显著值；

(3.1)根据输入的图像，获取图像的边界背景集合B₁，具体做法如图2所示。首先，将位于图像边界的所有超像素区域构成初始的边界背景集合；其次，对该集合的超像素区域进行特征差异筛选,将该集合中每个超像素区域与四个基准背景比较，根据目标筛选条件，得到初选的边界目标超像素区域集合，而初始边界背景集合中的其他超像素区域则为与四个基准背景相似的一般边界背景集合；然后,对初选的边界目标超像素区域集合中的每个超像素区域进行紧凑性筛选，得到最终的边界目标超像素区域集合和与四个基准背景差异大的特殊边界背景集合；最后合并与四个基准背景相似的一般边界背景集合和与四个基准背景差异大的特殊边界背景集合，从而得到最终的边界背景集合B₁。设置四个基准背景为图像的四个角区域；目标筛选条件中的阈值μ、ν，分别为位于边界的所有超像素区域与四个基准背景之间颜色特征差异的均值、差异波动性的均值；

(3.2)获取基于深度先验的背景集合B₂。对图像中所有超像素区域的深度选择性差异显著值进行自适应阈值分割，当某超像素区域的显著值低于设定的阈值时，就将其加入到基于深度先验的背景集合中，从而得到基于深度先验的背景集合B₂。设置阈值为基于深度选择性差异显著值的自适应阈值；

(3.3)依据图像的超像素区域集合、边界背景集合、基于深度先验的背景集合，构建图模型。将图像中的所有超像素区域构成图模型的顶点集V；相邻超像素区域间、位于边界背景集合B₁和基于深度先验的背景集合B₂内任意两个超像素区域间构造一条边，得到图模型的边集合E；每条边所连接的两个超像素区域间的图像特征差异作为该边的对应权值，从而得到图模型的权值集合W，即得到图像的图模型G＝{V,E,W}。

(3.4)依据构建的图模型及边界连通性原理，计算图像中每个超像素区域的基于背景先验的显著值S_b。参数σ₁用于控制跨度区域面积的强度，σ₁取值为7；参数σ_b用于控制背景概率的强度，σ_b取值为1。

(4)融合图像中每个超像素区域的基于深度选择性差异的显著值和基于背景先验的显著值，得到图像的初始显著图；

(5)采用代价函数的最小化对图像的初始显著图进行优化，从而获得最终的显著图。

将根据超像素区域的边界连通性得到的背景先验和由初始显著图得到的前景先验整合到优化目标函数中，同时还加入保证相邻节点之间平滑过渡的平滑约束项，最后通过最小化目标函数获得优化后的显著图。参数σ_c用于控制特征差的影响，取值为7；参数μ用于消除前景区域和背景区域中小的噪声区域，取值为0.1；

在Intel Core i5-4590 3.30GHz CPU和Win7 64位操作系统下，采用VS2010和MATLAB R2010b编程实现该方法。

本发明提供了一种基于背景先验的显著性检测方法，适用于同时具有彩色图像及深度图像时的显著性检测，检测结果准确。实验表明该方法能够快速有效的进行显著性检测，准确率较高。

Claims (6)

1.一种基于背景先验的显著性检测方法，将图像中的颜色信息及深度信息同时加入到显著性检测方法中，充分利用图像的RGBD信息，得到显著性检测的结果，包括以下步骤：

1)采用超像素分割SLIC算法将输入的彩色图像分成一系列超像素区域，通过区域匹配，在深度图像中找到对应的区域；采用深度图质量评估方法评估深度图质量，根据深度图像的质量调节颜色特征和深度特征在最终检测特征中的所占比重；

2)计算各超像素区域的深度选择性差异，获得每个超像素区域的基于深度选择性差异的显著值；

3)计算各超像素区域的基于背景先验的显著值，具体为：首先，对边界上所有超像素区域进行筛选，获得边界背景集合；其次，基于每个超像素区域的深度选择性差异显著值，对图像中所有超像素区域进行自适应阈值分割，获得基于深度先验的背景集合；然后，依据图像的超像素区域集合、边界背景集合、基于深度先验的背景集合构建图模型；最后，依据构建的图模型计算每个超像素区域的边界连通性，从而获得图像中每个超像素区域基于背景先验的显著值；

4)融合图像中每个超像素区域的基于深度选择性差异的显著值和基于背景先验的显著值，得到图像的初始显著图；

5)采用代价函数的最小化对图像的初始显著图进行优化，从而获得最终的显著图。

2.根据权利要求1所述的一种基于背景先验的显著性检测方法，其特征步骤3)具体为：

3.1)获取边界背景集合，首先将位于边界的所有超像素区域构成初始的边界背景集合；然后将初始边界背景集合中每个超像素区域与四个基准背景进行特征比较，选出初选的边界目标超像素区域集合和与四个基准背景相似的一般边界背景集合；进一步依据紧凑性对初选的边界目标超像素区域集合进行筛选，得到最终的边界目标超像素区域集合和与四个基准背景差异大的特殊边界背景集合；合并与四个基准背景相似的一般边界背景集合和与四个基准背景差异大的特殊边界背景集合，得到最终的边界背景集合；

3.2)基于深度先验的背景集合，基于每个超像素区域的深度选择性差异显著值，对图像中所有超像素区域进行自适应阈值分割，获得基于深度先验的背景集合；

3.3)依据图像的超像素区域集合、边界背景集合、基于深度先验的背景集合，构建图模型，首先，图像中的所有超像素区域构成图模型的顶点集V，相邻超像素区域之间的联系、位于同一集合内的两个超像素之间的联系视作图中的一条边，构成边集合E，每条边所连接的两个超像素区域之间的图像特征差异作为该边的对应权值，构成权值集合W，从而得到图模型G＝{V,E,W}；

3.4)依据边界连通性的原理，对构建的图模型进行边界连通性计算，从而得到图像中每个超像素区域的基于背景先验的显著值。

3.根据权利要求1所述的一种基于背景先验的显著性检测方法，其特征步骤5)采用代价函数的最小化对初始显著图进行优化的具体步骤为：将图像的背景先验和由初始显著图得到的前景先验整合到优化目标函数中，同时还加入保证相邻节点之间平滑过渡的平滑约束项，最后通过最小化目标函数获得优化后的显著图。

4.如权利要求2所述的一种基于背景先验的显著性检测方法，其特征，步骤3.3)具体为：

3.3.1)、将图像中的所有超像素区域构成图模型的顶点集V；

3.3.2)、相邻超像素区域间、位于边界背景集合B₁和基于深度先验的背景集合B₂内任意两个超像素区域间构造一条边，从而得到图模型的边集合E；

3.3.3)、每条边所连接的两个超像素区域间的图像特征差异作为该边的对应权值，任意两个超像素区域r_i和r_j之间的图像特征差异为：

其中，分别表示超像素区域r_i和r_j中所有像素点图像特征的均值，n_i，n_j分别表示超像素区域r_i和r_j中像素点个数，I_k表示像素点p_k的图像特征；

3.3.4)、计算边集合E中每条边所连接的两个超像素区域间的图像特征差异，从而得到图模型的权值集合W，即得到图像的图模型G＝{V,E,W}。

5.如权利要求2所述的一种基于背景先验的显著性检测方法，其特征，步骤3.4)具体为：

3.4.1)、定义任意两个超像素区域r和q之间的最短路径代价为它们之间最短路径所经过的所有边的权重之和：

3.4.2)、定义超像素区域r的跨度区域面积为：

其中，参数σ₁用于控制跨度区域面积的强度；

3.4.3)、定义超像素区域r位于图像边界的长度为：

其中，当超像素区域r_i位于图像的边界背景集合B₁时，δ(r_i∈B₁)＝1，否则δ(r_i∈B₁)＝0；

3.4.1)、计算超像素区域r的边界连通性：

3.4.1)、根据超像素区域r的边界连通性，计算该超像素区域r的属于背景区域的概率为：

其中，参数σ_b用于控制背景概率的强度；

3.4.1)、根据超像素区域r的属于背景区域的概率，计算该超像素区域r的基于背景先验的显著值为：

6.如权利要求3所述的一种基于背景先验的显著性检测方法，其特征，设图像中N个超像素区域的显著值为则代价函数定义为：

公式中的三项分别定义不同约束下的代价，第一项为背景元素的代价值，背景元素权重是由超像素区域的边界连通性计算得到的背景概率pb(r_i)；第二项为前景元素的代价值，前景元素权重是超像素区域的初始显著值S_c(r_i)；第三项是光滑操作；

平滑约束项的作用就是使相邻的超像素之间显著性差别不能太大,消除背景项与前景项的微小噪声，平滑权重为：

其中，e(r_i,r_j)表示超像素区域r_i和r_j间的图像特征差异；参数σ_c用于控制特征差异的影响；参数μ是个常量，其作用是消除前景区域和背景区域中小的噪声区域；

最后优化的显著图通过最小化代价函数获得。