CN106023184A - 一种基于各向异性中心环绕差异的深度显著性检测方法 - Google Patents

Abstract

一种基于各向异性中心环绕差异的深度显著性检测方法，先以深度图作为输入，然后对每一张深度图进行高斯平滑处理，计算每一个像素的各向异性中心环绕差异的深度值，最后根据先验知识进行显著性计算和结果提优。由于本发明方法考虑到全局的深度特征，显著性检测结果准确，运算复杂度也较低，使得本发明更适用于深度图像的显著性检测，同时利用两个普遍的先验知识去提纯初始结果，提高显著性检测效果。此外，本发明不占用大量的计算资源，执行效率很高，在图像处理和视觉领域有着广泛的应用。

Description

一种基于各向异性中心环绕差异的深度显著性检测方法

技术领域

本发明属于计算机技术领域，涉及立体图像的深度图与显著性物体检测方法，具体为一种基于各向异性中心环绕差异的深度显著性检测方法。

背景技术

显著性检测可以认为是人类的视觉注视行为，这种行为是一个复杂的过程，包括视觉信息的收集和过滤，目的是能够迅速的在视觉中找到最显著的物体。如果仅对视觉中的显著性物体做进一步处理，那么视觉分析行为的复杂度会有效减少并且计算资源可以优化配置。显著性检测在图像处理和视觉领域有着广泛的应用，例如：显著性分析、对象分割、彩色图像分类、图像或视频适配和压缩等。

计算显著性模型类似于人类视觉的特征收集行为，这种行为能够快速的从输入的视觉信息中提取特征，并且把这些特征组合成一个显著的图像。显著性检测主要依赖于视觉信息的收集和特征的提取。为了简便，大多数现在的工作都把彩色图像作为输入，结果证明效果都不是很好，因为他们缺少了3D空间信息。

早在2000年就已经开始使用场景的深度图作为视觉注视的研究。一些最新的研究表明：深度感知能够对视觉注视起到很大的作用，因为深度图不同于彩色图，特征的提取是深度显著性检测的关键点。早些的深度特征如：深度、梯度、曲率很容易导致错误的检测原因在于它们缺少全局的特征考虑。立体图像更容易检测出唯一并且较近的区域，它是基于基本的假设：显著性区域有着不一致性、与周围背景有着很强的对比度。这种假设有着局限性、容易缺少显著性物体中扁平化区域。Lang et al[具体参见文献：Congyan Lang,Tam VNguyen,Harish Katti,Karthik Yadati,Mohan Kankanhalli,and Shuicheng Yan,“Depthmatters:Influence of depth cues on visual saliency,”in Computer Vision–ECCV2012,pp.101–115.Springer,2012.]模型在给定的深度和深度范围采用条件几率的方法来进行显著性检测，这种方法的局限在于只考虑局部的深度特征而缺失了全局深度结构信息。

综上所述，传统基于彩色图的显著性检测方法效果不太好，并且基于深度图的显著性检测方法由于缺少全局深度信息效果也不太好。因此显著性检测方法有待继续研究，效果还可以进一步提高。

发明内容

本发明要解决的问题是：对于图像的显著性物体检测技术中，如果以传统基于彩色图作为输入，显著性检测会得到错误的结果，而以基于深度图作为输入，由于缺少全局深度结构信息，检测效果也同样不能满足需求，需要提出新的显著性检测方法，提高检测效果。

本发明的技术方案为：一种基于各向异性中心环绕差异的深度显著性检测方法，将图像的深度信息加入到显著性物体检测中，并计算中心环绕各向异性的值，得出显著性检测的结果,包括以下步骤：

1)获取深度图像，并进行归一化处理；

2)对具有深度图像进行高斯平滑处理，然后对每一个像素计算各向异性中心环绕差异值，具体为：以每个像素为出发点，在其周围的若干个方向上寻找深度最小值，计算深度最小值与中心像素深度值的差异，并对每个方向上的差异进行累加得到各向异性中心环绕差异值，作为像素的显著值，对深度图像中的所有像素完成各向异性中心环绕差异值计算后，得到初始显著图；

3)在初始显著图基础上，结合显著对象的深度和中心区域分布的先验知识进行结果提优，得到最终的显著性检测的结果。

作为进一步的优选方式，步骤2)为：高斯平滑处理后，利用线性迭代聚类SLIC算法对彩色图像进行超像素分割，超像素的数量在像素上被设置为图像对角线的长度值，对每个超像素，计算其形心像素的各向异性中心环绕差异值，完成对每个超像素的显著值计算，将显著值调整到[0,255]区间，并将超像素中心的显著值分配给超像素内的每个像素，形成一个初始显著图。

计算各向异性中心环绕差异值具体为：

2.1)对具有深度信息的图像进行高斯平滑处理，平滑窗口半径根据图像大小设定，计算异性中心环绕差异时，沿着八个方向上执行各向异性扫描，对于每一条扫描线，根据图像的深度信息，以最小深度值的像素点作为背景像素点，计算中心像素点与背景像素点之间的深度差值，其中设置L作为扫描线的长度，参数L的典型值为图像对角线长度的1/3；

2.2)各向异性中心环绕差异值为八个方向扫描值的和，以圆形坐标系,八个方向分别为：0°，45°，90°，135°，180°，225°，270°，315°，各向异性中心环绕差异值数学描述为:

$D_{acsd}^i\left(p\right)=d\left(p\right)-min\left(d_k^i\right),k\∈\[1,L\]$

$D_{acsd}\left(p\right)=\underset{i\∈\[1,8\]}{\Σ}{D}_{acsd}^i\left(p\right)$

表示像素点p沿着扫描线i的异性中心环绕差异的值，d(p)表示像素点p的深度值，k是扫描线i上的像素编号，是扫描线i上的最小深度值，D_acsd(p)是像素点p在八个方向上异性中心环绕差异值的和，即各向异性中心环绕差异值。

步骤3)利用两个普遍的先验知识去提纯初始显著图：

第一，显著对象趋向于居中，对图像作一个以图像中心为原点，半径分别为图像高宽的二维高斯加权；

第二，越近的区域表现出更多的显著性，因此保留深度分布中较近，即更靠近观察者的50％像素的显著值不变，对剩余的像素根据深度值进行一个线性抑制：假设d₅₀是划分较近的50％像素的深度阈值，则将剩余像素的显著值乘以d(p)/d₅₀；

完成显著性检测结果的提优，得到图像最终的显著性检测图。

步骤1)所述具有深度信息的图像通过TOF相机、光场相机、激光测距扫描仪或结构光扫描仪获取。

本发明提供了一种基于各向异性中心环绕差异的深度显著性检测方法，该方法先以深度图作为输入，然后对每一张深度图进行高斯平滑处理，接着计算像素的各向异性中心环绕差异的深度值，最后根据先验知识进行显著性计算和结果提优。由于本发明方法考虑到全局的深度特征，显著性检测结果准确，运算复杂度也较低，这样使得本发明更适用于深度图像的显著性检测。

本发明的优点是：首先，本发明是基于深度图作为输入，不会缺失3D空间信息。其次，本发明考虑全局深度信息，不是单一的考虑局部深度，通过比较每一个像素在八个方向上的各向异性中心环绕的深度差值，像素差值较高的为显著性物体中的像素，这样能够很好的检测出显著性物体。然后，利用两个普遍的先验知识去提纯初始结果，提高显著性检测效果。此外，本发明的计算时间复杂度为线性O(N)，N为问题的规模，在这里是图像的像素数量)，不占用大量的计算资源，算法执行效率很高。

附图说明

图1是本发明各向异性中心环绕差异的深度显著性检测方法的流程图。

图2是高斯函数差分的局限性。

图3是本发明的各向异性中心环绕差异的深度操作示例。

图4是召回率与累计深度比曲线。

具体实施方式

本发明提供了一种基于各向异性中心环绕差异的深度显著性检测方法，该方法先以深度图作为输入，然后对每一张深度图进行高斯平滑处理，接着计算像素的各向异性中心环绕差异的深度值，最后根据先验知识进行显著性计算和结果提优。由于本发明方法考虑到全局的深度特征，显著性检测结果准确，运算复杂度也较低，这样使得本发明更适用于深度图像的显著性检测。

本发明包括以下步骤：

1)获取具有深度信息的图像，所述具有深度信息的图像可以通过TOF相机，光场相机，激光测距扫描仪，结构光扫描仪等获取。

2)对这些具有深度信息的图像进行高斯平滑处理。在对处理后的图像计算各向异性中心环绕差异值。

2.1)为了克服高斯函数差分方法在小粒度上会丢失全局信息而在大尺度上会忽略细节信息的问题。本发明提出一种沿着多个方向上执行各向异性扫描的方法，以每个像素为中心点出发，在其周围的若干个方向上寻找深度最小值，对于每一条扫描线，假设以最小深度值的像素点作为背景，并且计算中心像素点与背景像素点之间的深度差值。我们并不考虑两者之间的深度改变量，因为它仅仅影响显著物体的边界区域。本发明提出的各向异性中心环绕差异的计算方法(ANISOTROPIC CENTER-SURROUND DIFFERENCE)ACSD，这种方法很容易被噪声所影响，所以采用高斯平滑作用在这些深度图像上，对具有深度信息的图像进行高斯平滑处理，平滑窗口半径根据图像大小设定，其次考虑到远距离的像素点并不重要，设置L作为扫描线的长度。实验表明：L的长度为图像对角线长度的1/3为最优值。

2.2)ACSD值为八个方向扫描值得和，以圆形坐标系，八个方向分别为：0°，45°，90°，135°，180°，225°，270°，315°。ACSD数学描述为:

$D_{acsd}^i\left(p\right)=d\left(p\right)-min\left(d_k^i\right),k\∈\[1,L\]$

$D_{acsd}\left(p\right)=\underset{i\∈\[1,8\]}{\Σ}{D}_{acsd}^i\left(p\right)$

表示像素点p沿着扫描线i的异性中心环绕差异的值，d(p)表示像素点p的深度值，k是扫描线i上的像素编号，是扫描线i上的最小深度值，D_acsd(p)是像素点p在八个方向上异性中心环绕差异值的和，即各向异性中心环绕差异值(ACSD值)。对每个像素完成ACSD值计算后，就得到初步的显著图结果。

中心点明显的具有显著性原因在于，在每一条扫描线上它都表现的很明显。显然远距离的背景像素点ACSD的值比较小，因为它本来就很不明显。近距离背景，也就是图片的底部，有很高的深度值，却不是显著的，是因为它在上面三个方向得到了很高的ACSD的值，但是在水平、底部方向被有效地抑制了。

为了加速计算，高斯平滑处理后，先利用简单的线性迭代聚类SLIC算法对彩色图像进行超像素分割，超像素的数量在像素上被设置为图像对角线的长度值，对每个超像素，计算其形心像素的各向异性中心环绕差异值，完成对每个超像素的显著值计算，将显著值调整到[0,255]区间，并将超像素中心的显著值分配给超像素内的每个像素，形成一个初始显著图。这样以超像素计算ACSD值来替代原来的每一个像素的计算方法，可以加快对图像初始显著图的计算速度，同时也不影响检测结果。

3)利用深度和中心区域的先验知识，对初始显著图进行提优。

第一，显著对象趋向于居中，对图像作一个以图像中心为原点，半径分别为图像高宽的二维高斯加权；

第二，越近的区域表现出更多的显著性，因此保留深度分布中较近，即更靠近观察者的50％像素的显著值不变，对剩余的像素根据深度值进行一个线性抑制：假设d₅₀是划分较近的50％像素的深度阈值，则将剩余像素的显著值乘以d(p)/d₅₀；

由上述两条完成显著性检测结果的提优，得到图像最终的显著性检测图。

本发明在图像处理和视觉领域有着广泛的应用，例如：显著性分析、对象分割、彩色图像分类、图像或视频适配和压缩等。下面参照附图，对本发明进行详细的描述。

(1)在本发明的实施例中，从立体图像中获取深度图，然后对每张深度图进行平滑窗口半径σ＝7的高斯平滑，以消除深度图像中的噪声。

(2)根据深度图计算初始显著图，具体做法如图3所示，对深度图中的每个像素计算一个ACSD值，即中心像素与周边各个扫描方向上深度最小值的深度差。考虑到远距离像素点不重要，我们为每一根扫描线设置最大扫描长度L，L的长度为图像对角线长度的1/3为最优值，ACSD值为八个方向扫描值得和。由像素的ACSD值得到初始显著图。

(3)利用先验知识对上一步的初始显著性结果进行提优。第一，越近的区域表现出更多的显著性。如图4所示，在深度图上，更靠近观察者的前50％的像素，拥有95.78％的显著物体召回率，因此我们保留深度分布中前50％的像素显著性，其余部分像素作d(p)/d₅₀线性抑制,d₅₀是前50％像素的深度阈值。第二，显著对象趋向于居中。因此我们对显著图像采用二维高斯G(x,y,σ_x,σ_y)过滤，其中参数σ_x，σ_y分别等于图像的半高和半宽。

在英特尔酷睿i7-4770CPU，主频3.4GHZ，内存16GB机器上用C++代码实现该方法。对于一张1280*720图像，执行时间为0.718s。对于超像素图像，执行时间为0.656s,显著性检测执行时间为0.062s。

本发明提供了一种基于各向异性中心环绕差异的深度显著性检测方法，作用于深度图进行显著性检测。我们的方法执行效率高并且算法复杂度低。实验表明该方法能够快速有效的进行显著性检测。

Claims (5)

1.一种基于各向异性中心环绕差异的深度显著性检测方法,其特征是将图像的深度信息加入到显著性物体检测中，并计算中心环绕各向异性的值，得出显著性检测的结果,包括以下步骤：

1)获取深度图像，并进行归一化处理；

2)对具有深度图像进行高斯平滑处理，然后对每一个像素计算各向异性中心环绕差异值，具体为：以每个像素为出发点，在其周围的若干个方向上寻找深度最小值，计算深度最小值与中心像素深度值的差异，并对每个方向上的差异进行累加得到各向异性中心环绕差异值，作为像素的显著值，对深度图像中的所有像素完成各向异性中心环绕差异值计算后，得到初始显著图；

3)在初始显著图基础上，结合显著对象的深度和中心区域分布的先验知识进行结果提优，得到最终的显著性检测的结果。

2.根据权利要求1所述的一种基于各向异性中心环绕差异的深度显著性检测方法,其特征是步骤2)为：高斯平滑处理后，利用线性迭代聚类SLIC算法对彩色图像进行超像素分割，超像素的数量在像素上被设置为图像对角线的长度值，对每个超像素，计算其形心像素的各向异性中心环绕差异值，完成对每个超像素的显著值计算，将显著值调整到[0,255]区间，并将超像素中心的显著值分配给超像素内的每个像素，形成一个初始显著图。

3.根据权利要求1或2所述的一种基于各向异性中心环绕差异的深度显著性检测方法，其特征是计算各向异性中心环绕差异值具体为：

2.1)对具有深度信息的图像进行高斯平滑处理，平滑窗口半径根据图像大小设定，计算异性中心环绕差异时，沿着八个方向上执行各向异性扫描，对于每一条扫描线，根据图像的深度信息，以最小深度值的像素点作为背景像素点，计算中心像素点与背景像素点之间的深度差值，其中设置L作为扫描线的长度，参数L的典型值为图像对角线长度的1/3；

2.2)各向异性中心环绕差异值为八个方向扫描值的和，以圆形坐标系,八个方向分别为：0°，45°，90°，135°，180°，225°，270°，315°，各向异性中心环绕差异值数学描述为:

$D_{acsd}^i\left(p\right)=d\left(p\right)-min\left(d_k^i\right),k\∈\[1,L\]$

$D_{acsd}\left(p\right)=\underset{i\∈\[1,8\]}{\Σ}{D}_{acsd}^i\left(p\right)$

表示像素点p沿着扫描线i的异性中心环绕差异的值，d(p)表示像素点p的深度值，k是扫描线i上的像素编号，是扫描线i上的最小深度值，D_acsd(p)是像素点p在八个方向上异性中心环绕差异值的和，即各向异性中心环绕差异值。

4.根据权利要求1或2所述的一种基于各向异性中心环绕差异的深度显著性检测方法,其特征是步骤3)利用两个普遍的先验知识去提纯初始显著图：

第一，显著对象趋向于居中，对图像作一个以图像中心为原点，半径分别为图像高宽的二维高斯加权；

第二，越近的区域表现出更多的显著性，因此保留深度分布中较近，即更靠近观察者的50％像素的显著值不变，对剩余的像素根据深度值进行一个线性抑制：假设d₅₀是划分较近的50％像素的深度阈值，则将剩余像素的显著值乘以d(p)/d₅₀；

完成显著性检测结果的提优，得到图像最终的显著性检测图。

5.根据权利要求1或2所述的一种基于各向异性中心环绕差异的深度显著性检测方法,其特征是步骤1)所述具有深度信息的图像通过TOF相机、光场相机、激光测距扫描仪或结构光扫描仪获取。