CN105869172B - 一种深度图可靠性评价测度方法 - Google Patents

Abstract

本发明属于图像处理、立体视觉技术领域，为通过对RGBD数据库中深度图的特性进行分析，研究一种面向立体视觉显著性检测深度图可靠性评价测度，为立体视觉显著性检测的深度信息引入提供参考信息。本发明采用的技术方案是，一种深度图可靠性评价测度方法，步骤如下1.深度图归一化；2.深度图的均值参量计算；3.深度图的变异系数参量计算；4.深度图的频率熵参量计算；5.可靠性评价测度计算。本发明主要应用于图像处理场合。

Description

一种深度图可靠性评价测度方法

技术领域

本发明属于图像处理、立体视觉技术领域，涉及一种面向立体视觉显著性检测的深度图可靠性评价测度方法。

背景技术

众所周知，人类视觉系统具有在图像中迅速定位对象、精确识别对象的卓越能力。使机器也拥有这种能力并代替人类对图像进行识别、分类的美好愿景催生了计算机视觉学科。视觉显著性检测作为计算机视觉领域的一个重要分支，已获得学术界、工业界的广泛关注。所谓显著性检测是指提取图像中引起人视觉关注或吸引观看者兴趣的区域或对象的过程。人们生存的自然界为三维空间，自然界的景物是立体的。人们观看自然景物时，不仅能看到景物的高度和宽度，而且能够辨别景物的远近，产生深度感，即视觉可建立自然景物的立体感，或者说人具有立体视觉。人类立体视觉的产生主要靠双眼从略有差别的方向观看物体获取双目立体信息，经大脑融合而获得立体视觉，感知三维世界。深度图就是对人类感知的深度远近信息的直观表征，它表示的是物空间中一点与摄像机之间的距离。随着技术的进步和硬件设备的发展，人们获得了越来越多的彩色-深度数据(RGBD数据)，这也为立体视觉显著性的研究提供了数据上的有力支持。而立体视觉显著性模型可以应用于立体电影内容自适应制作、平面内容到立体内容的转换、立体视频编解码及立体显示等各个环节。现今，获取深度图像的主要手段有两种：双视点深度估计和硬件采集。这样获得的深度数据，往往由于技术的限制、自然条件的影响使得深度数据的可靠性不高。尤其是在利用深度信息进行立体视觉显著性检测时，如果深度信息不够准确可能对检测结果产生严重的影响。本发明拟从立体显著性检测的角度出发，提出一种对深度图可靠性的有效测度。

Sang-Hyun Cho等人于2014年提出过一种视差置信测度，文中利用成本曲线度量的曲率对立体图像中的每个区域进行视差置信度计算，并将该测度引入到立体视觉显著性检测中。

发明内容

为克服现有技术的不足，本发明旨在通过对RGBD数据库中深度图的特性进行分析，研究一种面向立体视觉显著性检测深度图可靠性评价测度，为立体视觉显著性检测的深度信息引入提供参考信息。本发明采用的技术方案是，一种深度图可靠性评价测度方法，步骤如下

1.深度图归一化

首先利用线性函数归一化方法将原始深度数据转换到[0,1]的范围内，其归一化公式如下：

其中，depth表示原始的深度图深度值，depth_min和depth_max分别表示原始深度图的最小和最大深度值，D表示归一化后的深度图。

2.深度图的均值参量计算

选择归一化深度图的均值作为深度图可靠性分析的一个区分特征，其公式表达式为：

其中，N_Σ表示归一化深度图的总像素个数，m为归一化深度图的平均深度值。

3.深度图的变异系数参量计算

变异系数的定义如下：

其中，σ为归一化深度图的标准方差，m为归一化深度图的均值；

4.深度图的频率熵参量计算

首先，利用L-1个阈值T_k将深度图划分为L个层次等级，其中，k∈{1,2,…,L-1},T_k∈[0,1]，然后，统计深度图每个层次内的像素个数，计算得到每个深度层次等级的深度频率，设P_i表示深度图的第i个层次的深度频率，其计算公式如下：

其中，表示统计归一化深度图中深度值属于l_i层次等级的像素个数，深度频率熵的定义如下：

其中，P_i为归一化深度图的第i个层次等级的深度频率值，L为划分的层次等级个数，参量将一般质量深度图与其他质量的深度图区分开来；

5.可靠性评价测度计算

面向立体视觉显著性的深度图可靠性评价测度λ_d定义如下：

λ_d＝exp((1-m)×(CV)×H)-1。

深度频率熵的求取过程进一步具体包括：将一张深度图划分为低、中、高三个层次等级，即L＝3，实际操作步骤如下：

(1)确定三个层次区域。

取T₁＝0.4，T₂＝0.6，即深度值介于0到0.4之间的像素划归为低深度区域，深度值在0.4到0.6之间的像素划归为中深度区域，大于0.6的像素划归高深度区域；

(2)计算各层次的深度频率。

对应低深度区域像素所占的比例；

代表中深度区域像素所占的比例；

为高深度区域像素所占的比例。

(3)计算深度频率熵。

将P₁、P₂和P₃代入公式中，求得该深度图的深度频率熵。

本发明的特点及有益效果是：

本发明在利用深度图进行立体视觉显著性检测之前，先对输入的深度图可靠性进行评估，根据深度图的可靠性有选择的利用深度信息进行显著性检测，提高显著性检测的准确性，减少不可靠深度图对立体显著性检测的影响。

附图说明：

图1给出了不同质量的深度图及其对应的可靠性测度值。

图2给出了深度图可靠性测度对立体显著性检测方法的积极作用。

图3给出本发明提出方法的流程图。

具体实施方式

与Sang-Hyun Cho不同，本发明提出了一种基于深度图特性分析的面向立体视觉显著性的深度图可靠性测度。

RGBD数据库中的深度图质量参差不齐，在进行立体视觉显著性检测时，较差深度图的引入可能影响检测效果，降低算法的准确性。为此，本发明提供了一种面向立体视觉显著性的深度图可靠性评价测度。

1.深度图归一化

首先利用线性函数归一化方法将原始深度图转换到[0,1]的范围内，其归一化公式如下：

其中，depth表示原始的深度图深度值，depth_min、depth_max分别表示原始深度图的最小和最大深度值，D表示归一化后的深度图。

2.深度图的均值参量计算

从显著性检测的角度分析，理想的深度图应该具有一定的层次性，即显著性区域和背景区域应该存在较为明显的层次分级，显著性区域通常具有较大的深度值，而背景区域的深度值则相对较小。对不同质量深度图的数值分布特性分析发现，较好的深度图表现出了一定的层次性，而较差的深度图，深度层次性较差，深度值主要集中在大数值区域。基于上述分析，我们选择归一化深度图的均值作为深度图可靠性分析的一个区分特征，其公式表达式为：

其中，N_Σ表示归一化深度图的总像素个数，m为归一化深度图的平均深度值。

3.深度图的变异系数参量计算

经观察发现，较差深度图的数值分布较为集中，而较好的深度图并未呈现出十分明显的数据集中分布特性，因此可以考虑引入一个描述深度图数据离散程度的参量来区分较差和较好深度图。在概率论和数理统计中，方差用来度量随机变量与其数学期望(即均值)之间的偏离程度。当数据分布比较分散(即数据在平均数附近波动较大)时，各个数据与平均数的差的平方和较大，方差就较大；当数据分布比较集中时，各个数据与平均数的差的平方和较小，方差较小。因此，方差与数据的波动程度成正比关系，方差越大，数据的波动越大；反之，方差越小，数据的波动就越小。此外，标准差与平均数的比值称为变异系数，记为CV，反映了数据离散程度的绝对值。其数据大小不仅受变量值离散程度的影响，而且还受变量值平均水平大小的影响。因此，我们引入变异系数参量来描述深度图的离散程度，经分析，较差的深度图具有较小的变异系数值，这说明其数值分布较为集中，这也与我们之前的分析相一致。变异系数的定义如下：

其中，σ为归一化深度图的标准方差，m为归一化深度图的均值。CV越大，说明深度图的离散程度越大，其深度图的层次性越好。

4.深度图的频率熵参量计算

观察不同质量深度图的数值分布发现，一般深度图的深度值分布与其他质量的深度图相比具有明显的差别，其数值在各个深度值上分布较广，不存在明显的集中分布，随机性较大。因此，可以引入一种描述数据分布随机性的参量将此类型深度图与其他质量深度图区分开来。本发明结合深度图的分布特性，给出了一种描述深度数据随机性的参量—深度频率熵。

首先，利用L-1个阈值T_k(k∈{1,2,…,L-1}，T_k∈[0,1])将归一化深度图划分为L个层次等级。然后，统计深度图每个层次内的像素个数，计算得到每个深度层次等级的深度频率，设P_i表示深度图的第i个层次的深度频率，其计算公式如下：

其中，表示归一化深度图中深度值属于l_i层次等级的像素个数，N_Σ为归一化深度图的总像素个数。

深度频率熵的定义如下：

其中，P_i为归一化深度图的第i个层次等级的深度频率值，L为划分的层次等级个数。H描述了数据的随机性，一般质量的深度图数值分布范围广，随机性较大，故深度频率熵值也较大。因此，参量H可以有效的将一般质量深度图与其他质量的深度图区分开来。

通常，可以将一张深度图划分为低、中、高三个层次等级，即L＝3，以此为例，实际操作步骤如下：

(1)确定三个层次区域。

取T₁＝0.4，T₂＝0.6，即深度值介于0到0.4之间的像素划归为低深度区域，深度值在0.4到0.6之间的像素划归为中深度区域，大于0.6的像素划归高深度区域。

(2)计算各层次的深度频率。

对应低深度区域像素所占的比例；

代表中深度区域像素所占的比例；

为高深度区域像素所占的比例。

(3)计算深度频率熵。

将P₁、P₂和P₃代入公式中，求得该深度图的深度频率熵。

5.可靠性评价测度计算

综合考虑均值、变异系数和深度频率熵等参量，本发明给出了一种面向立体视觉显著性的深度图可靠性评价测度λ_d，其定义如下：

λ_d＝exp((1-m)×(CV)×H)-1

其中，m为归一化深度图的平均深度值，CV是归一化深度图的变异系数参量，H是描述了数据的随机性的深度频率熵参量。λ_d描述了深度图的可靠性程度，数值越大，深度图可靠性程度越大。附图1给出了该测度的实际计算结果，从图中可以看出，深度图可靠性越高，层次性越好，λ_d数值就越大，该测度可以将示例中的三种不同质量的深度图有效的区分开来。

本发明给出的面向立体视觉显著性检测的深度图可靠性测度可以应用于立体显著性检测模型中。将该测度作为一个惩罚因子累加到输入的深度图中，对于可靠性高的深度图，该测度数值较大，允许更多的深度信息进入显著性检测模型，辅助显著性检测；对于不可靠的深度图，该测度数值较小，将会大大弱化深度图在显著性检测模型中的作用，降低不可靠深度图对模型的影响，进而保证检测的准确性。附图2给出了NJU-400立体显著性检测数据库下，使用深度图可靠性测度和不使用该测度的立体显著性检测的准确率-召回率曲线结果。从图中可以看出，使用深度图可靠性测度后，立体视觉显著性检测结果有了明显的提升(图中黑色线明显高于灰色线)，这也证明了本发明的有效性。

Claims (2)

1.一种深度图可靠性评价测度方法，其特征是，步骤如下：

1)深度图归一化

首先利用线性函数归一化方法将原始深度数据转换到[0,1]的范围内，其归一化公式如下：

其中，depth表示原始的深度图深度值，depth_min和depth_max分别表示原始深度图的最小和最大深度值，D表示归一化后的深度图；

2)深度图的均值参量计算

选择归一化深度图的均值作为深度图可靠性分析的一个区分特征，其公式表达式为：

其中，N_Σ表示归一化深度图的总像素个数，m为归一化深度图的平均深度值；

3)深度图的变异系数参量计算

变异系数的定义如下：

其中，σ为归一化深度图的标准方差；

4)深度图的频率熵参量计算

首先，利用L-1个阈值T_k将深度图划分为L个层次等级，其中，k∈{1,2,…,L-1},T_k∈[0,1]，然后，统计深度图每个层次内的像素个数，计算得到每个深度层次等级的深度频率，设P_i表示深度图的第i个层次的深度频率，其计算公式如下：

其中，表示统计归一化深度图中深度值属于l_i层次等级的像素个数，深度频率熵的定义如下：

其中，P_i为归一化深度图的第i个层次等级的深度频率值，L为划分的层次等级个数，参量将一般质量深度图与其他质量的深度图区分开来；

5)可靠性评价测度计算

面向立体视觉显著性的深度图可靠性评价测度λ_d定义如下：

λ_d＝exp((1-m)×(CV)×H)-1。

2.如权利要求1所述的一种深度图可靠性评价测度方法，其特征是，深度频率熵的求取过程进一步具体包括：将一张深度图划分为低、中、高三个层次等级，即L＝3，实际操作步骤如下：

(1)确定三个层次区域

取T₁＝0.4，T₂＝0.6，即深度值介于0到0.4之间的像素划归为低深度区域，深度值在0.4到0.6之间的像素划归为中深度区域，大于0.6的像素划归高深度区域；

(2)计算各层次的深度频率

对应低深度区域像素所占的比例；

代表中深度区域像素所占的比例；

为高深度区域像素所占的比例；

(3)计算深度频率熵

将P₁、P₂和P₃代入公式中，求得该深度图的深度频率熵。