CN106991669A - 一种基于深度选择性差异的显著性检测方法 - Google Patents

Abstract

本发明提供了一种基于深度选择性差异的显著性检测方法。该方法首先获取深度图像作为输入，然后对每一张深度图像进行平滑处理，接着计算每一个分割区域的选择性差异值，最后依据中心偏好优化初始显著图，从而得到最终的显著性检测结果。应用本发明，不仅解决了单纯基于彩色图无法检测到与背景具有相似视觉特征物体的问题，还解决了基于深度图像忽略底部背景区域从而导致误检的问题。本发明适用于深度图像的显著性检测，计算复杂度较低，检测结果准确。本发明在图像处理和计算机视觉领域有着广泛的应用。

Description

一种基于深度选择性差异的显著性检测方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及双目图像与显著性物体检测方法，具体为一种基于深度选择性差异的显著性检测方法。

背景技术

视觉显著性是指在视觉处理的早期阶段，图像中的显著区域迅速抓住观众注意力的主观感知。显著性检测在计算机视觉领域有着广泛的应用，包括目标检测与识别、图像检索、图像压缩和图像重定向等。

显著性检测的目的在于模仿人类视觉感知，迅速且准确地定位图像中最为显著的物体。显著性检测过程主要依赖于视觉信息的收集和特征的提取，目前，大多数显著性检测方法以彩色图像作为输入，基于颜色、形状、方向、纹理和曲率等视觉特征对比计算显著性，当图像中显著物体具有以上至少一种鲜明的视觉特征时，可以有效检测到显著物体，反之，当显著物体与背景具有相似视觉特征时，由于缺乏3D空间信息，将得不到有效的检测结果。

三维视觉信息为显著性检测提供了非常有用的深度线索，利用深度信息可以识别出与背景具有相似视觉特征的显著物体。深度图像不同于彩色图像，重点体现在深度特征的提取。基于深度图像更容易检测到最为显著的物体，这是基于深度图特性和基本假设：显著性区域相比背景区域具有很强的对比度。这种假设有其局限性，其忽略了深度图像中底部背景区域，从而将其误检为显著。

综上所述，当目标与背景具有相似视觉特征时，单纯基于彩色图像的显著性检测方法效果不好，并且目前基于深度图的显著性检测方法由于忽略底部背景区域从而导致误检。因此，当前需要一种新的基于深度图的显著性检测方法，以解决以上问题。

发明内容

本发明要解决的问题是：在图像的显著性物体检测技术中，单纯以彩色图像作为输入，无法有效检测到与背景具有相似视觉特征的物体；而传统基于深度图的显著性检测方法由于忽略底部背景区域而导致误检。需要提出一种新的显著性检测方法，提高检测效果。

为了解决上述问题，本发明提供一种基于深度选择性差异的显著性检测方法，将图像中的深度信息加入到显著性检测中，并计算其选择性差异值，从而得出显著性检测的结果，包括以下步骤：

1)获取深度图像，并进行平滑处理；

2)计算深度图像中每一个超像素的选择性差异值，具体为：对每个超像素，首先，计算与其邻域内深度比自身大的超像素之间的深度差异值，并将这些差异值累加作为该超像素的全局选择性差异值；然后，计算该超像素内所有像素与其所在行背景深度值的差异值累加和，作为该超像素的局部选择性差异值；将全局选择性差异值和局部选择性差异值的乘积作为该超像素的选择性差异值，从而得到初始显著性图；

3)结合中心偏好优化初始显著性图，得到最终的显著性检测结果。

作为优选，步骤2)为：首先利用分割算法对彩色图像进行超像素分割，超像素的数量设置为图像对角线上像素点的个数；然后，计算每个超像素的选择性差异值，将选择性差异值归一化到[0,255]区间，并将其分配给超像素内每个像素点，构成初始显著性图。

作为优选，计算选择性差异值具体为：

2.1)计算全局选择性差异值时，首先设定邻域半径，在邻域内，根据深度信息，分别计算该超像素质心处像素点与邻域内深度值比其自身大的超像素质心点的深度差异值，将深度差异值累加和作为该超像素的全局选择性差异值，其中设置L为邻域半径，参数L为图像中对角线上像素点个数的30％,其描述为：

S_G(R_i)表示区域R_i的全局选择性差异值，d(p,q)表示像素点p相对于像素点q的选择性差异值，d_p,d_q分别为像素点p,q的深度值，C_L(R_i)表示区域R_i以L为半径的邻域，c_i表示区域R_i的质心，w(p,q)为像素点p,q之间的距离权值，D_s(p,q)为像素点p,q之间的空间距离，参数σ²用于控制距离权值的强度；

2.2)计算局部选择性差异值时，首先，计算该超像素内每个像素点与其所在行背景深度值的差异值，然后，将该超像素内每个像素点的差

异值累加，并将累加和作为该超像素的局部选择性差异值，其为：

S_L(R_i)表示区域R_i的局部选择性差异值，d(p,B)表示像素点p的深度值d_p与所在行r的背景深度值的选择性差异值，n_i为区域R_i中像素点的个数，cols为图像的列数，也即每行内像素点的个数，α为行内采样点取值因子；

2.3)每个超像素的选择性差异值为全局选择性差异值和局部选择性差异值的乘积，其为：

S_sd(R_i)＝S_G(R_i)S_L(R_i)。

作为优选，步骤3)利用中心偏好优化初始显著性图：显著对象趋向居于图像中心，对初始显著性图做一个二维高斯加权，以图像中心为原点，以图像半高半宽为半径；从而优化初始显著性图，得到最终的显著性检测结果。

作为优选，步骤1)所述的深度图像是利用光流法作用于双目图像所求得水平方向的光流，然后归一化得到的可视化的深度图像。

本发明提供了一种基于深度选择性差异的显著性检测方法，该方法首先获取深度图像作为输入，然后对每一张深度图像进行平滑处理，接着计算每一个分割区域的选择性差异值，最后依据中心偏好优化初始显著性图，从而得到最终的显著性检测结果。应用本发明，解决了单纯基于彩色图像无法检测到与背景具有相似视觉特征物体的问题，还解决了基于深度图像忽略底部背景区域从而导致误检的问题。本发明适用于深度图像的显著性检测，计算复杂度较低，检测结果准确。

本发明的优点是：首先，本发明以深度图像作为输入，充分利用图像的深度信息；其次，本发明分步骤提取图像中的显著区域，全局选择性差异从全局角度突显具有较小深度的区域，局部选择性差异削弱图像中同水平方向深度变化不明显的背景区域；最后，利用图像的中心偏好优化初始显著性图，提高显著性检测结果。

附图说明

图1是本发明基于深度选择性差异的显著性检测方法的流程图；

图2是本发明基于深度图的全局选择性差异操作示例；

图3是本发明基于深度图的局部选择性差异操作示例。

具体实施方式

本发明提供了一种基于深度选择性差异的显著性检测方法，该方法先以深度图像作为输入，并将分割算法作用于彩色图像，获取图像对应的区域标记，然后对每一幅深度图像进行高斯平滑处理，接着计算区域的选择性差异值，最后根据图像的中心偏好优化初始显著性图，从而得到最终的显著性检测结果。本发明适用于深度图像的显著性检测，计算复杂度较低，检测结果准确。

如图1所示，本发明包括以下步骤：

1)获取具有深度信息的图像，所述具有深度信息的图像是利用光流法作用于双目图像获得水平方向的光流，归一化后得到的可视化的深度图像。

2)基于SLIC超像素分割算法对彩色图像左图进行分割，得到图像对应的区域标记。

3)对深度图像进行平滑处理，并计算图像中每一区域的选择性差异值。

3.1)考虑到深度图像中显著物体一定是在部分背景的前面，体现在像素点上，就是深度值较小的像素点更有可能属于目标物体，基于这一特性，本发明提出一种全局选择性差异的检测方法，计算每一区域与图像中其他区域之间的差异值，由于深度图像中像素点的深度值具有一定的连续性，取区域质心处深度值代表区域深度值，对比的选择性则体现在只和比自身深度值大的区域进行比较，将多个对比结果进行累加得到区域的全局选择性差异值。其次考虑到距离远的区域并不重要，设置L为邻域半径，实验证明：L的长度为图像对角线上像素点个数的30％为最优值，其数学描述为：

S_G(R_i)表示区域R_i的全局选择性差异值，d(p,q)表示像素点p相对于像素点q的选择性差异值，dp,d_q分别为像素点p,q的深度值，C_L(R_i)表示区域R_i以L为半径的邻域，c_i表示区域R_i的质心，特别地，考虑两区域间距离对差异值的影响，加入像素点p,q之间的距离权值w(p,q)，其中，D_s(p,q)为像素点p,q之间的空间距离，参数σ²用于控制距离权值的强度。

3.2)基于全局选择性差异筛选出图像中具有较小深度的区域，而此时，处于图像底部的背景区域也被检测为显著区域。观察到，图像中的一些背景区域，其中每一行的深度变化都不大，针对这一特性，本发明提出一种局部选择性差异的检测方法，用以抑制大片背景区域的显著性。计算图像中超像素的局部选择性差异值，具体为：选择超像素内比所在行背景深度值小的像素点，并计算其与所在行背景深度值的差异，然后，将这些差异值累加，其累加和作为该超像素的局部选择性差异值，其数学描述为：

S_L(R_i)表示区域R_i的局部选择性差异值，d(p,B)表示像素点p的深度值d_p与所在行r的背景深度值的选择性差异值，n_i为区域R_i中像素点的个数，cols为图像的列数，也即每行内像素点的个数，α为行内采样点取值因子，当α取0.01时得到最优值。

3.3)基于深度信息计算得到每个超像素的全局选择性差异值和局部选择性差异值后，将两者相乘作为该超像素最终的选择性差异值，其数学描述为：

S_sd(R_i)＝SG(R_i)SL(R_i)

将选择性差异值归一化到[0,255]区间，并将各超像素的选择性差异值分配给其内部每个像素点，构成初始显著性图。

4)利用图像的中心偏好优化初始显著性图，得到图像最终的显著性检测结果。中心偏好是指显著物体趋向居于图像中心的特性。此处对初始显著性图做一个二维高斯加权，其中以图像中心为原点，以图像半高半宽为半径。

本发明在图像处理和计算机视觉领域有着广泛的应用，例如：显著性分析、对象分割、彩色图像分类、图像或视频适配和压缩等。下面参照附图，对本发明进行详尽的描述。

(1)在本发明的实施例中，从双目图像中获取深度图，然后对每张深度图像应用高斯平滑，平滑窗口半径为σ＝7，用以消除深度图像中的噪声。

(2)将SLIC超像素分割算法作用于彩色图像左图，得到图像划分后的区域标记。

(3)根据深度图像计算初始显著性图。

(3.1)根据深度图像，计算图像中每个区域的全局选择性差异值，具体做法如图2所示。依据深度图像和区域标记，首先，计算每个区域质心点的坐标，并以该坐标处深度值作为质心点深度值；然后，计算每个区域的全局选择性差异值：在以当前区域质心坐标为圆心，以L为半径的邻域内，比较该区域质心点深度值与其他区域质心点深度值，当对比区域质心点深度值大于该区域质心点深度值时，计算其深度差异的绝对值，并将其累加作为该区域的全局选择性差异值。设置邻域半径L，L取值为图像对角线长度的30％；设置σ²控制距离权值的强度，σ²取值为0.4；

(3.2)根据深度图像，计算图像中每个区域的局部选择性差异值，具体做法如图3所示。首先，依据深度图像，计算图像中每一行的背景深度值，具体为：将该行内像素点以深度值从大到小进行排序，取前cols*α个像素点作为采样点，计算其深度均值作为该行背景深度值；然后，依据深度图像和区域标记，计算该区域内每个像素点与其所在行背景深度值的差值：当该像素点深度值小于所在行背景深度值时，计算其差异值；最后，将其累加作为该区域的局部选择性差异值。设置采样点取值因子为α，α取值为0.01；

(3.3)对图像中的每个区域，计算其全局选择性差异值和局部选择性差异值的乘积，作为区域的选择性差异值；

(4)利用中心偏好优化初始显著性图。显著物体趋向居于图像的中心，此处对显著图像采用二维高斯G(x,y,σ_x,σy)进行过滤，其中参数σ_x,σy分别对应于图像的半高和半宽。

在Intel Core i5-4590 3.30GHz CPU和Win7 64位操作系统下，采用VS2010和MATLAB R2010b编程实现该方法。对于一张499*372的图像，程序执行时间为0.431s。

本发明提供了一种基于深度选择性差异的显著性检测方法，适用于深度图像的显著性检测，计算复杂度较低，检测结果准确。实验表明该方法能够快速有效的进行显著性检测。

Claims (5)

1.一种基于深度选择性差异的显著性检测方法，其特征在于，将图像中的深度信息加入到显著性检测中，并计算其选择性差异值，从而得出显著性检测的结果，包括以下步骤：

1)获取深度图像，并进行平滑处理；

2)计算深度图像中每一个超像素的选择性差异值，具体为：对每个超像素，首先，计算与其邻域内深度比自身大的超像素之间的深度差异值，并将这些差异值累加作为该超像素的全局选择性差异值；然后，计算该超像素内所有像素与其所在行背景深度值的差异值累加和，作为该超像素的局部选择性差异值；将全局选择性差异值和局部选择性差异值的乘积作为该超像素的选择性差异值，从而得到初始显著性图；

3)结合中心偏好优化初始显著性图，得到最终的显著性检测结果。

2.根据权利要求1所述的一种基于深度选择性差异的显著性检测方法，其特征在于，步骤2)为：首先利用分割算法对彩色图像进行超像素分割，超像素的数量设置为图像对角线上像素点的个数；然后，计算每个超像素的选择性差异值，将选择性差异值归一化到[0,255]区间，并将其分配给超像素内每个像素点，构成初始显著性图。

3.根据权利要求1或2所述的基于深度选择性差异的显著性计算方法，其特征在于，计算选择性差异值具体为：

2.1)计算全局选择性差异值时，首先设定邻域半径，在邻域内，根据深度信息，分别计算该超像素质心处像素点与邻域内深度值比其自身大的超像素质心点的深度差异值，将深度差异值累加和作为该超像素的全局选择性差异值，其中设置L为邻域半径，参数L为图像中对角线上像素点个数的30％,其描述为：

$S_G\left(R_i\right)=\underset{R_k\∈C_L\left(R_i\right)}{\Σ}d(c_i,c_k)w(c_i,c_k)$

$d(p,q)=\left\{\begin{array}{cc}{d}_q-d_p,& d_q-d_p>0\\ 0,& d_q-d_p\≤0\end{array}\right.$

$w(p,q)=e^{-D_s(p,q)/{\mathrm{\σ}}^2}$

S_G(R_i)表示区域R_i的全局选择性差异值，d(p,q)表示像素点p相对于像素点q的选择性差异值，d_p,d_q分别为像素点p,q的深度值，C_L(R_i)表示区域R_i以L为半径的邻域，c_i表示区域R_i的质心，w(p,q)为像素点p,q之间的距离权值，D_s(p,q)为像素点p,q之间的空间距离，参数σ²用于控制距离权值的强度；

2.2)计算局部选择性差异值时，首先，计算该超像素内每个像素点与其所在行背景深度值的差异值，然后，将该超像素内每个像素点的差异值累加，并将累加和作为该超像素的局部选择性差异值，其为：

$S_L\left(R_i\right)=\frac{\underset{p\∈R_i}{\Σ}d(p,B)}{n_i}$

$d(p,B)=\left\{\begin{array}{cc}{d}_r^B-d_p,& d_r^B-d_p>0\\ 0,& d_r^B-d_p\≤0\end{array}\right.$

$d_r^B=\frac{\underset{q\∈r^{{\mathrm{top}}_{\mathrm{\α}}}}{\Σ}{d}_q}{cols*\mathrm{\α}}$

S_L(R_i)表示区域R_i的局部选择性差异值，d(p,B)表示像素点p的深度值d_p与所在行r的背景深度值的选择性差异值，n_i为区域R_i中像素点的个数，cols为图像的列数，也即每行内像素点的个数，α为行内采样点取值因子；

2.3)每个超像素的选择性差异值为全局选择性差异值和局部选择性差异值的乘积，其为：

S_sd(R_i)＝S_G(R_i)S_L(R_i)。

4.根据权利要求1或2所述的基于深度选择性差异的显著性检测方法，其特征在于，步骤3)利用中心偏好优化初始显著性图：显著对象趋向居于图像中心，对初始显著性图做一个二维高斯加权，以图像中心为原点，以图像半高半宽为半径；从而优化初始显著性图，得到最终的显著性检测结果。

5.根据权利要求1或2所述的基于深度选择性差异的显著性检测方法，其特征在于，步骤1)所述的深度图像是利用光流法作用于双目图像所求得水平方向的光流，然后归一化得到的可视化的深度图像。