CN107945187B - 一种深度形状先验提取方法 - Google Patents

Abstract

一种深度形状先验提取方法，所述深度形状先验提取方法包括以下步骤：将具有较大RGB显著性值的K个超像素区域选为根种子点，建立起深度特性和显著性之间关系；基于深度平滑性和一致性约束，确定每个根种子点的子节点集合，以此来描述深度形状属性；考虑前后两次循环传播中的相关超像素节点的深度一致性、和当前循环超像素与根种子点之间的深度一致性，将最终的DSP值定义为两种情况深度一致性的最大值；多个根种子点生成的DSP图融合后得到最终的DSP结果。本发明通过对深度图像数据的深入分析，充分挖掘深度图的形状先验信息，为RGBD显著性检测提供有效深度信息。

Description

一种深度形状先验提取方法

技术领域

本发明涉及图像处理、立体视觉技术领域，尤其涉及一种深度形状先验提取方法。

背景技术

人类视觉感知系统可以自动感知场景信息，定位重要目标和区域。实际上，人类在对场景进行感知时，除了获取颜色、形状等外貌信息外，还可以感知场景的深度信息，即景深。随着成像设备的发展，场景深度数据的获取方式变得更加快捷、便利。这为针对RGBD数据的相关研究工作奠定了数据基础。作为彩色数据的补充，深度数据可以提供许多有效信息，如位置关系、目标形状等，进而提升任务性能。目前针对RGBD数据已开展了广泛的研究，例如：RGBD目标识别、RGBD场景分割、RGBD显著性检测等。作为计算机视觉领域的一项重要预处理技术，视觉显著性检测已广泛应用于检测、编码、增强、压缩等领域。

Cong等人提出了一种深度置信测度的深度特性描述方法。Ju等人提出了一种各向异性中心-周围差异测度描述场景深度信息。Feng等人利用局部背景环绕特征对深度图像进行描述。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法并未建立显著性目标与其深度分布的对应关系；现有方法通常将深度图作为额外的一种特征，而未捕获深度图的形状等有用信息。

发明内容

本发明提供了一种深度形状先验提取方法，本发明通过对深度图像数据的深入分析，充分挖掘深度图的形状先验信息，为RGBD显著性检测提供有效深度信息，详见下文描述：

一种深度形状先验提取方法，所述深度形状先验提取方法包括以下步骤：

1)将具有较大RGB显著性值的K个超像素区域选为根种子点，建立起深度特性和显著性之间关系；

2)基于深度平滑性和一致性约束，确定每个根种子点的子节点集合，以此来描述深度形状属性；

3)考虑前后两次循环传播中的相关超像素节点的深度一致性、和当前循环超像素与根种子点之间的深度一致性，将最终的DSP值定义为两种情况深度一致性的最大值；

4)多个根种子点生成的DSP图融合后得到最终的DSP结果。

在步骤1)之前，所述深度形状先验提取方法还包括：

通过超像素分割算法对彩色图像进行分割，得到N个超像素区域，通过RGB显著性检测算法得到每个超像素区域的RGB显著性结果。

进一步地，所述深度平滑性具体为：

邻域超像素区域和第l-1次循环产生的子节点的深度差异小于特定的阈值。

进一步地，所述深度一致性约束具体为：

根种子点与当前循环的邻域超像素之间的深度差值小于某一特定阈值。

其中，所述最终的DSP值具体为：

DSP_k(r_cp)＝1-min(|d_cp,l-d_c,l-1|,|d_cp,l-d_rk|)

其中，DSP_k(r_cp)表示从第k个根种子点出发，第l次循环的子节点r_cp的DSP值，d_cp,l表示l次循环的子节点r_cp的深度值，d_c,l-1表示l-1次循环的子节点集合的平均深度值，d_rk表示根种子节点的深度值，min为最小化函数，|·|为绝对值函数。

进一步地，在步骤3)之后、步骤4)之前，所述深度形状先验提取方法还包括：

计算当前循环扩散过程的DSP值，进行下一次循环扩散，直到不存在满足深度约束条件的邻域超像素为止。

本发明提供的技术方案的有益效果是：

1、本发明深入挖掘了深度图的形状信息，提出了一种深度形状先验提取方法，该先验有效描述了深度图中显著性目标的形状信息；

2、本发明抑制了背景干扰，获得了显著性目标的准确表达，为显著性检测任务提供了良好的深度表达信息。

附图说明

图1为一种深度形状先验提取方法的流程图；

图2为本发明得到的深度形状先验图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

RGBD数据除了可以提供丰富的颜色信息外，还引入了立体感知的深度信息，极大地丰富了数据类型，包含了更多有用的信息。但是，如何充分挖掘深度图像中的有效信息成为相关研究的重点和难点。经观察发现，质量较好的深度图可以提供良好的目标形状先验和边界信息，且目标内部区域的深度值具有较高的一致性。为此，本发明实施例提供了一种深度形状先验提取方法。

实施例1

一种深度形状先验提取方法，参见图1，该深度形状先验提取方法包括以下步骤：

101：将具有较大RGB显著性值的K个超像素区域选为根种子点，建立起深度特性和显著性之间关系；

102：基于深度平滑性和一致性约束，确定每个根种子点的子节点集合，以此来描述深度形状属性；

103：考虑前后两次循环传播中的相关超像素节点的深度一致性、和当前循环超像素与根种子点之间的深度一致性，将最终的DSP值定义为两种情况深度一致性的最大值；

104：多个根种子点生成的DSP图融合后得到最终的DSP结果。

其中，在步骤101之前，该深度形状先验提取方法还包括：

通过超像素分割算法对彩色图像进行分割，得到N个超像素区域，通过RGB显著性检测算法得到每个超像素区域的RGB显著性结果。

进一步地，步骤102中的深度平滑性具体为：

邻域超像素区域和第l-1次循环产生的子节点的深度差异小于特定的阈值。

进一步地，步骤102中的深度一致性约束具体为：

根种子点与当前循环的邻域超像素之间的深度差值小于某一特定阈值。

进一步地，在步骤103之后、步骤104之前，该深度形状先验提取方法还包括：

计算当前循环扩散过程的DSP值，进行下一次循环扩散，直到不存在满足深度约束条件的邻域超像素为止。

综上所述，本发明实施例通过上述步骤101-步骤104深入挖掘了深度图的形状信息，有效描述了深度图中显著性目标的形状信息；抑制了背景干扰，获得了显著性目标的准确表达，为显著性检测任务提供了良好的深度表达信息。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：图像预处理；

设RGB彩色图像记为I，对应的深度图记为D。首先，利用SLIC(简单线性迭代聚类)超像素分割算法对彩色图像进行分割，得到N个超像素区域，记为

其中，r_m为超像素区域。

然后，选择一种现有的RGB显著性检测算法作为基础算法，如BSCA算法(基于元胞自动机的显著性检测算法)，得到每个超像素区域的RGB显著性结果，记超像素区域r_m的RGB显著性值为S_i(r_m)。

经观察发现，深度图通常具有以下特性：

1)与背景区域相比，显著性对象往往具有更大的深度值；

2)高质量深度图中的对象区域往往具有锐利的边界和明显的形状；

3)目标内部区域的深度值往往比较平滑、均匀。

受这些观察启发，本发明实施例提出了一种深度信息描述子——深度形状先验(depth shape prior，DSP)。该描述子通过深度传播和区域增长过程捕获深度图的形状属性，进而获得深度信息的良好表达。

202：确定根种子点；

对于图像I，将具有较大RGB显著性值的K个超像素区域选为根种子点，公式如下：

其中，sort为降序排列函数，S(r_m)表示超像素区域r_m的RGB显著性值，r_rk表示选择出的根种子点，K为根种子点个数。

可以看出，本发明实施例通过选择显著的超像素区域作为传播过程的根种子点，建立起了深度特性和显著性之间关系。此外，本发明实施例将每个超像素区域的DSP值都初始化为0。

203：基于深度平滑性和一致性约束，确定每个根种子点的子节点集合，以此来描述深度形状属性；

在第l次循环中，如果第l-1次循环产生的子节点的直接邻域满足如下两个约束条件，则将其看作是第l次循环的子节点：

1)深度平滑性；

根据之前的观察，显著性目标内部区域的深度值应该具有较好的平滑性和一致性。也就是说，上一次循环得到的子节点的深度值应该与当前循环节点的深度值具有近似的数值分布特性。因此，本发明实施例将该特性数学建模为：邻域超像素区域和第l-1次循环产生的子节点的深度差异应该小于特定的阈值。具体公式表达如下：

|d_nq-d_c,l-1|≤0.1

其中，d_nq表示当前循环过程的邻域超像素r_nq的深度值，d_c,l-1表示l-1次循环产生的子节点的平均深度值。

2)深度一致性；

因为深度传播过程是通过依次循环扩散进行的，经过多轮传播后容易产生累积误差，降低子节点选择的准确性。因此，考虑到所有的子节点都是由最初的根种子点扩散而来的，本发明实施例引入了深度一致性约束，使得选择的邻域节点的深度值应尽可能与根种子点深度值接近。

本发明实施例将该特性数学建模为：根种子点与当前循环的邻域超像素之间的深度差值应小于一个特定阈值。具体表达公式如下：

|d_nq-d_rk|≤0.2

其中，d_nq表示当前循环过程的邻域超像素r_nq的深度值，d_rk表示根种子节点的深度值。

204：计算子节点的DSP值；

由根种子点出发，本发明实施例通过深度传播过程逐步扩散得到深度图中显著性目标的形状轮廓。因此，本发明实施例利用深度一致性来度量深度形状先验值。同时考虑前后两次循环传播中的相关超像素节点的深度一致性和当前循环超像素与根种子点之间的深度一致性，本发明实施例将最终的DSP值定义为两种情况深度一致性的最大值。其数学表达式如下：

DSP_k(r_cp)＝1-min(|d_cp,l-d_c,l-1|,|d_cp,l-d_rk|)

其中，DSP_k(r_cp)表示从第k个根种子点出发，第l次循环的子节点r_cp的DSP值，d_cp,l表示l次循环的子节点r_cp的深度值，d_c,l-1表示l-1次循环的子节点集合的平均深度值，d_rk表示根种子节点的深度值，min为最小化函数，|·|为绝对值函数。

DSP数值越大，说明所选子节点的深度一致性越好。计算当前循环扩散过程的DSP值后，将进行下一次循环扩散，直到不存在满足深度约束条件的邻域超像素为止。

205：多个根种子点生成的DSP图融合后得到最终的DSP结果。

为了避免选择单个根种子点造成的不确定性和奇异性问题，本发明实施例采用了多个根种子点融合策略。利用上述操作分别计算K个根种子点的DSP图，通过加权平均融合方法得到最终的DSP图，其计算公式如下：

其中，DSP(r_m)表示超像素区域r_m的最终DSP值，DSP_k(r_m)表示从第k个根种子点出发的超像素区域r_m的DSP值，K为根种子点个数。

综上所述，本发明实施例通过上述步骤201-步骤205深入挖掘了深度图的形状信息，提出了一种深度形状先验提取方法，该先验有效描述了深度图中显著性目标的形状信息；抑制了背景干扰，获得了显著性目标的准确表达，为显著性检测任务提供了良好的深度表达信息。

实施例3

下面结合具体的实验、图2对实施例1和2中的方案进行可行性验证，详见下文描述：

图2给出了深度形状先验描述子的可视化图。第一列为原始RGB彩色图像，第二列为原始深度图，第三列为DSP算子可视化结果。从图中2可以看出，本方法提出的深度形状描述算子可以有效捕获深度图中显著性目标的形状信息，目标边界区域清晰、锐利，目标内部区域均匀，背景抑制能力强，具有较好的深度图描述能力。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种深度形状先验提取方法，其特征在于，所述深度形状先验提取方法包括以下步骤：

1)将具有较大RGB显著性值的K个超像素区域选为根种子点，建立起深度特性和显著性之间关系；

2)基于深度平滑性和一致性约束，确定每个根种子点的子节点集合，以此来描述深度形状属性；

3)考虑第l-1次和第l次循环传播中的相关超像素节点的深度一致性、和第l次循环超像素与根种子点之间的深度一致性，将最终的DSP值定义为两种情况深度一致性的最大值；

4)多个根种子点生成的DSP图融合后得到最终的DSP结果；

其中，所述最终的DSP值具体为：

DSP_k(r_cp)＝1-min(|d_cp,l-d_c,l-1|,|d_cp,l-d_rk|)

其中，DSP_k(r_cp)表示从第k个根种子点出发，第l次循环的子节点r_cp的DSP值，d_cp,l表示l次循环的子节点r_cp的深度值，d_c,l-1表示l-1次循环的子节点集合的平均深度值，d_rk表示根种子节点的深度值，min为最小化函数，|·|为绝对值函数。

2.根据权利要求1所述的一种深度形状先验提取方法，其特征在于，在步骤1)之前，所述深度形状先验提取方法还包括：

通过超像素分割算法对彩色图像进行分割，得到N个超像素区域，通过RGB显著性检测算法得到每个超像素区域的RGB显著性结果。

3.根据权利要求1所述的一种深度形状先验提取方法，其特征在于，所述深度平滑性具体为：

邻域超像素区域和第l-1次循环产生的子节点的深度差异小于特定的阈值。

4.根据权利要求1所述的一种深度形状先验提取方法，其特征在于，所述深度一致性约束具体为：

根种子点与当前循环的邻域超像素之间的深度差值小于某一特定阈值。

5.根据权利要求1所述的一种深度形状先验提取方法，其特征在于，在步骤3)之后、步骤4)之前，所述深度形状先验提取方法还包括：

计算当前循环扩散过程的DSP值，进行下一次循环扩散，直到不存在满足深度约束条件的邻域超像素为止。

Images