CN112085683B - 一种显著性检测中的深度图可信度检测方法 - Google Patents

Abstract

本发明公开了一种显著性检测中的深度图可信度检测方法。该方法具体包括以下步骤：判断待测深度图像的收敛性；B)对收敛的深度图像做中值滤波处理；C)对中值滤波处理后的深度图像及其参考图像进行边缘检测，并获取边缘信息；D)计算深度图像及其参考图像的边缘的相似度，获得可信度分数。该方法引入图像收敛性概念，过滤显著物体不明显的深度图像，在提取边缘特征前进行中值滤波处理，通过自适应阈值的边缘检测，在像素级别上求取深度图像和参考图像的相似度，使深度图像显著物体的边缘定位更准确，不会受到边缘附近区块因失真等原因导致的数值变化的影响，获得的深度图像的可信度结果更为准确。

Description

一种显著性检测中的深度图可信度检测方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种显著性检测中的深度图可信度检测方法。

背景技术

近年来，模仿人类视觉机制进行的显著性区域检测是计算机视觉领域的热门研究内容之一。视觉注意力机制可以帮助人类快速地识别视觉显著区域，进而从大量复杂的视觉信息中获取有价值的内容。

在立体图像显著性检测过程中，除了颜色，亮度，纹理等特征会引起人眼的视觉注意外，深度特征作为一种更重要的显著性特性用于反映自然场景空间的位置信息，在立体视觉显著性检测中占有重要地位。相较于传统的彩色图显著性检测，高质量深度图像的引入提高了检测的准确性，如何判断输入深度图的可信度成为显著性检测技术的关键。

如中国专利CN105139401A，公开日2015年12月09日，一种深度图中深度的可信度的评估方法，该方法包括：获取不同场景下的至少两组第一原始图像对，根据第一原始图像对，生成预测器；获取输入的第二原始图像对，第二原始图像对包括一场景下对齐的第二原始彩色图和第二原始深度图；提取第二原始图像对的第二特征向量；根据预测器以及第二特征向量，预测第二原始深度图的深度的可信度。该发明能够预测基于低精度深度设备采集的场景深度信息的置信度，但对于高精度的深度图像预测偏差明显。

鉴于上述现状，需要引入图像的收敛性这一概念，过滤掉显著物体不明显的深度图，在提取特征前加入中值滤波，用真值图像作为参考图像，通过自适应阈值的边缘检测，获得深度图像可信度。

发明内容

本发明要解决的技术问题是：现有深度图可信度检测技术中缺少对深度图像的预处理，在噪声较为明显的场景中损失边缘信息。且在处理复杂场景下的深度图时，显著目标不明显而不利于后续的显著性检测。

为解决上述技术问题，本发明提供了一种显著性检测中的深度图可信度检测方法。

该方法具体包括以下步骤：

A)判断待测深度图像的收敛性，若待测深度图像收敛，则进入步骤B)，反之，读取下一待测深度图像并重复本步骤；

B)对收敛的深度图像做中值滤波处理；

C)对中值滤波处理后的深度图像及其参考图像进行边缘检测，获取深度图像及其参考图像的边缘信息，其中的参考图像为待测深度图像的真值图；

D)计算深度图像及其参考图像的边缘的相似度，获得可信度分数。

作为优选，步骤A)中，判断待测深度图像的收敛性的方法包括以下步骤：

A1)计算输入图像的二维熵值：

建立特征向量(i,j)，i表示像素的灰度值，图像的邻域灰度均值j作为灰度分布的空间特征量，图像的灰度分布概率P_ij为：

图像的二维熵值H′为：

其中，n(i,j)为特征向量(i,j)出现的次数，M和N分别代表图像的长度和宽度。

计算输入的深度图像的二维熵值，图像的二维熵值可以表征灰度分布的空间特征。

A2)计算归一化熵值H′_BN：

其中，H_max表示待测图像中的最大二维熵，H_min表示待测图像中的最小二维熵。

对计算出的深度图像二维熵值进行归一化处理，归一化后的熵值可以从数量级不同的数据放在一起比较。

A3)计算判断阈值T：

设定不同的初始门限t₁,t₂,…,t_n，计算数据库中待测深度图像的归一化熵值H′_BN，将归一化熵值H′_BN低于门限值的图像视为收敛图像，收敛图像数量变化最大的门限值为最终的判断阈值T，T的表达式为：

T→max|n(t_i)-n(t_i+1)|

其中n(t_i)为收敛图像的数量，使用判断阈值T判断待测深度图像的收敛性。

计算判断阈值T，从而通过判断阈值T判断图像的收敛性，过滤不收敛的深度图像。不收敛的深度图像为显著物体不明显的深度图像。

作为优选，步骤B)中，对收敛的深度图像做中值滤波处理的方法包括以下步骤：

B1)获取图像选定区域的中值：

分析输入图像的像素值大小，在选定的区域R中，p_k表示选定区域内2k+1个像素的值：

Median(p₀,p₁,p₂,…p_k,…,p_2k)＝p_k

当(p₀,p₁,p₂,…p_k,…,p_2k)是按数值大小排列时，p_k为整个序列的中值；

获取图像选定区域的中值，作为中值滤波处理的重要输入数据。

B2)中值滤波：

在选定的区域R中，用相邻像素的中值更新整个区域R的像素值，过程公式为：

I_m(x,y)→median{I(x±m,y±n)|(m,n)∈R}

其中，(x,y)代表图像像素的位置，(m,n)代表图像区域中邻域的大小。

使用中值滤波作深度图像的预处理，能在滤除图片噪声的同时能够保护显著物体的边缘，且中值滤波是在最小绝对误差下准则下的最优滤波。

作为优选，步骤C)中，获取深度图像及其参考图像的边缘信息的方法包括以下步骤：

C1)对中值滤波处理后的深度图像进行降噪处理；

C2)获取深度图像及其参考图像的梯度特征；

C3)对梯度幅值进行非极大值抑制；

C4)筛选图像边缘。

通过降噪处理，深度图像和参考图像梯度特征提取及边缘筛选处理作边缘检测，获得对中值滤波处理后的深度图像和参考图像边缘信息。

作为优选，步骤C1)中，对深度图像进行降噪处理的方法为高斯滤波。

使用高斯滤波对深度图像进行降噪处理，在降噪的同时能够准确定位图像显著物体的边缘。

作为优选，步骤C2)中，获取图像梯度特征的方法包括以下步骤：

对图像数据求偏导：

在(x,y)点处的梯度幅值用绝对值的和M(x,y)近似表示：

M(x,y)≈|g_x|+|g_y|

当M(x,y)取得局部最大值时，此时对应的梯度方向α(x,y)反映边缘方向：

梯度特征是矢量，梯度方向是图像在某一点处增长率最快的方向，梯度幅值是最大变化率。使用对图像数据求偏导的方法能够更快速得获取图像的梯度特征。

作为优选，步骤C3)中，对梯度幅值进行非极大值抑制的方法包括以下步骤：

获取插值点M₁：

M₁＝M_y*I_g(x+adds(2),y+adds(1))+

(M_x-M_y)*I_g(x+adds(4),y+adds(3))

其中，M_x是图像梯度方向上的坐标，M_y是垂直于梯度方向的坐标，I_g是输入的边缘检测图像，adds()用来获取边缘法线两侧的坐标，将低于插值最大值的边缘点舍弃。

对梯度幅值采取非极大值抑制能够控制显著图像边缘的粗细程度。

作为优选，步骤C4)中，筛选图像边缘的方法包括以下步骤：

按照灰度值的大小将图像的像素分为集合C₁{1，2，3…N}和C₂{N+1,N+2,…L}，每个集合中像素值对应的灰度值概率分布为L_n,

L_n的熵H_n表示为：

其中，P_i表示对应集合中所有灰度值的出现概率，n＝1，2。

熵的判别函数E(N)为：

当判别函数最大时对应的N即为分割时的高阈值T_h，此时图像灰度部分的熵最为接近；低阈值T_l与高阈值T_h呈线性关系。

由双阈值对图像边缘筛选，获取的边缘信息为大于T_h的像素点和介于T_l和T_h之间且垂直梯度方向的不连续点。

经过非极大值抑制处理后的图像边缘，存在虚假边缘和不连续的边缘，通过双阈值对图像边缘筛选去除虚假边缘和不连续的边缘。

用数学集合记录边缘点的坐标，用每个点的对应关系比较边缘信息，定位更加准确，不会受到边缘附近区块因失真等原因导致的数值变化的影响。

作为优选，步骤D)中，获取可信度分数的方法包括以下步骤：

计算待测深度图像和真值图像的相似度，由边缘像素点的重合比例得到真匹配度S_t：

其中，E_d为深度图像的边缘像素点集合，E_gt为真值图像的边缘像素点集合，card()表示集合中的元素个数，误匹配度S_f的公式计算如下：

最终获得深度图像可信度S为：S＝1-S_f+S_t。

通过计算真匹配度S_t和误匹配度S_f，可以更准确地计算深度图像的可信度。

该方法根据熵值的不同引入图像收敛性概念，过滤显著物体不明显的深度图像，在提取边缘特征前进行中值滤波处理，通过自适应阈值的边缘检测，在像素级别上求取深度图像和参考图像的相似度，本发明的实质性效果是：深度图像显著物体的边缘定位更准确，不会受到边缘附近区块因失真等原因导致的数值变化的影响，从而获得的深度图像的可信度结果更为准确。

附图说明

图1是本发明的流程图。

图2是本发明的输入的待测深度图像。

图3是本发明步骤B中值滤波处理后的深度图像。

图4是本发明步骤C中对深度图像的边缘检测处理后的深度图像。

图5是本发明的输入的待测深度图像对应的真值图像。

图6是本发明步骤C中对真值图像的边缘检测处理后的深度图像。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

如图1所示，一种显著性检测中的深度图可信度检测方法，该方法具体包括以下步骤：

A)判断如图2所示的待测深度图像的收敛性，若待测深度图像收敛，则进入步骤B)，反之，可信度分数置0，读取下一待测深度图像并重复本步骤；

判断待测深度图像的收敛性的具体步骤有：

A1)计算输入图像的二维熵值：

对于灰度图像，令p_i表示图像中各个灰度级i出现的概率，那么一维灰度熵计算公式如下：

p_i的计算可以由灰度直方图获得。

二维熵可以表征灰度分布的空间特征，建立特征向量(i,j)，i表示像素的灰度值，图像的邻域灰度均值j作为灰度分布的空间特征量，图像的灰度分布概率P_ij为：

图像的二维熵值H′为：

其中，n(i,j)为特征向量(i,j)出现的次数，M和N分别代表图像的长度和宽度。

A2)计算归一化熵值H′_BN：

其中，H_max表示待测图像中的最大二维熵，H_min表示待测图像中的最小二维熵。

A3)计算判断阈值T：

设定不同的初始门限t₁＝0.1,t₂＝0.2,…,t₁₀＝1.0，计算数据库中待测深度图像的归一化熵值H′_BN，将归一化熵值H′_BN低于门限值的图像视为收敛图像，收敛图像数量变化最大的门限值为最终的判断阈值T，T的表达式为：

T→max|n(t_i)-n(t_i+1)|

其中n(t_i)为收敛图像的数量，i＝1,2,…9。使用判断阈值T判断待测深度图像的收敛性。若待测深度图像收敛，则进入步骤B)，反之，读取下一待测深度图像并重复步骤A)。

B)对收敛的深度图像做中值滤波处理；

中值滤波的工作原理是，分析输入图像的像素值大小，在选定的区域R中用相邻像素的中位数更新整个区域的像素值。对收敛的深度图像做中值滤波处理的方法包括以下步骤：

B1)获取图像选定区域的中值：

分析输入图像的像素值大小，在选定的区域R中，p_k表示选定区域内2k+1个像素的值：

Median(p₀,p₁,p₂,…p_k,…,p_2k)＝p_k

当(p₀,p₁,p₂,…p_k,…,p_2k)是按数值大小排列时，p_k为整个序列的中值；

B2)中值滤波：

在选定的区域R中，用相邻像素的中值更新整个区域R的像素值，过程公式为：

I_m(x,y)→median{I(x±m,y±n)|(m,n)∈R}

其中，(x,y)代表图像像素的位置，(m,n)代表图像区域中邻域的大小。这里m＝n＝2。中值滤波后的深度图像如图3所示。

C)对中值滤波处理后的深度图像及其参考图像进行边缘检测，获取深度图像及其参考图像的边缘信息。

深度图像的参考图像可以是待测深度图像的真值图，如图5所示，也可以是待测深度图像的彩色图像。真值图像的纹理结构和显著目标相对于彩色图更单一，提取边缘的步骤更简单，也不需要后续繁琐的处理。本实施例选用待测图像的真值图像作为参考图像。

对深度图像及其真值图像进行边缘检测，获取深度图像及其真值图像的边缘信息。

C1)对中值滤波处理后的深度图像进行降噪处理；通常选用高斯滤波方法。

高斯滤波能在降噪的同时能够准确定位图像的边缘。二维高斯函数的公式为：

其中，G(x,y,σ)为滤波模板，σ＝1为常量系数，决定高斯滤波器的宽度，同时控制滤波的平滑程度。那么高斯滤波可以表示为：

I_g(x,y)＝G(x,y,σ)*I_m(x,y)

式中*表示卷积符号，I_g(x,y)表示滤波后的图像信息。

C2)获取深度图像及其参考图像的梯度特征；

获取图像梯度特征的方法为：

梯度特征是一个矢量，定义为对二维连续数据集合求偏导，梯度方向就是图像在(x,y)这一点处增长率最快的方向，幅值就是最大变化率。

在(x,y)点处的梯度幅值可以表示为：

通常幅值可以用绝对值的和M(x,y)近似表示，以减少计算的复杂程度：

M(x,y)≈|g_x|+|g_y|

当M(x,y)取得局部最大值时，此时对应的梯度方向α(x,y)反映了边缘方向：

C3)对梯度幅值进行非极大值抑制；

为了控制边缘的粗细程度，我们需要在梯度方向上抑制非极大值。插值点M₁的获取公式如下：

M₁＝M_y*I_g(x+adds(2),y+adds(1))+

(M_x-M_y)*I_g(x+adds(4),y+adds(3))

其中，M_x是图像梯度方向上的坐标，M_y是垂直于梯度方向的坐标，I_g是输入的边缘检测图像，adds()用来获取边缘法线两侧的坐标。通过比较插值大小来得到局部区域的最大值点，将低于插值的边缘点舍弃。

C4)检测边缘；

用迭代最佳阈值法检测和连接边缘。按照灰度值的大小将图像的像素分为集合C₁{1，2，3…N}和C₂{N+1,N+2,…L}，每个集合中像素值对应的灰度值概率分布为L_n,

L_n的熵H_n表示为：

其中，P_i表示对应集合中所有灰度值的出现概率，n＝1，2。

熵的判别函数E(N)为：

当判别函数最大时对应的N即为分割时的高阈值T_h，此时图像灰度部分的熵最为接近；低阈值T_l与高阈值T_h呈线性关系，这里取T_l＝0.4*T_h。

通过图像梯度特征及边缘筛选作边缘检测，获得图像边缘信息。也可以用已有的边缘检测算子来作边缘检测，包括罗伯茨算子，索贝尔算子。

经过非极大值抑制后的图像边缘，存在虚假边缘和不连续的边缘，由双阈值对图像边缘筛选；获取的边缘信息为大于T_h的像素点和介于T_l和T_h之间且垂直梯度方向的不连续点。获得的深度图像边缘图如图4所示。

获得的真值图像边缘图如图6所示。

D)计算深度图像及其参考图像的边缘的相似度，获得可信度分数。

获取可信度分数的方法包括以下步骤：

计算待测深度图像和真值图像的相似度，由边缘像素点的重合比例得到真匹配度S_t：

其中，E_d为深度图像的边缘像素点集合，E_gt为真值图像的边缘像素点集合，card()表示集合中的元素个数，误匹配度S_f的公式计算如下：

最终获得深度图像可信度S为：S＝1-S_f+S_t。

本发明的保护内容不局限与以上事例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和有点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (8)

1.一种显著性检测中的深度图可信度检测方法，其特征在于，

包括以下步骤：

A)判断待测深度图像的收敛性，具体为：

A1)计算输入图像的二维熵值：

建立特征向量(i,j)，i表示像素的灰度值，图像的邻域灰度均值j作为灰度分布的空间特征量，图像的灰度分布概率P_ij为：

图像的二维熵值H′为：

其中，n(i,j)为特征向量(i,j)出现的次数，M和N分别代表图像的长度和宽度；

A2)计算归一化熵值H′_BN：

其中，H_max表示待测图像中的最大二维熵，H_min表示待测图像中的最小二维熵；A3)计算判断阈值T：

设定不同的初始门限t₁,t₂,…,t_n，计算数据库中待测深度图像的归一化熵值H′_BN，将归一化熵值H′_BN低于门限值的图像视为收敛图像，收敛图像数量变化最大的门限值为最终的判断阈值T，T的表达式为：

T→max|n(t_i)-n(t_i+1)|

其中n(t_i)为收敛图像的数量，使用判断阈值T判断待测深度图像的收敛性，若待测深度图像收敛，则进入步骤B)，反之，读取下一待测深度图像并重复本步骤；

B)对收敛的深度图像做中值滤波处理；

C)对中值滤波处理后的深度图像及其参考图像进行边缘检测，获取深度图像及其参考图像的边缘信息，所述参考图像为待测深度图像的真值图；

D)计算深度图像及其参考图像的边缘的相似度，具体通过计算真匹配度S_t和误匹配度S_f，获得可信度分数，最终获得深度图像可信度S为：S＝1-S_f+S_t。

2.根据权利要求1所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤B)中，对收敛的深度图像做中值滤波处理的方法包括以下步骤：

B1)获取图像选定区域的中值：

分析输入图像的像素值大小，在选定的区域R中，p_k表示选定区域内2k+1个像素的值：

Median(p₀，p₁，p₂，...p_k，...，p_2k)＝p_k

当(p₀，p₁，p₂，…p_k，…，p_2k)是按数值大小排列时，p_k为整个序列的中值；

B2)中值滤波：

在选定的区域R中，用相邻像素的中值更新整个区域R的像素值，过程公式为：

I_m(x，y)→median{I(x±m，y±n)|(m，n)∈R}

其中，(x，y)代表图像像素的位置，(m，n)代表图像区域中邻域的大小。

3.根据权利要求1所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤C)中，获取深度图像及其参考图像的边缘信息的方法包括以下步骤：

C1)对中值滤波处理后的深度图像进行降噪处理；

C2)获取深度图像及其参考图像的梯度特征；

C3)对梯度幅值进行非极大值抑制；

C4)筛选图像边缘。

4.根据权利要求3所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤C1)中，对深度图像进行降噪处理的方法为高斯滤波。

5.根据权利要求3所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤C2)中，获取图像梯度特征的方法包括以下步骤：

对图像数据求偏导：

在(x，y)点处的梯度幅值用绝对值的和M(x，y)近似表示：

M(x，y)≈|g_x|+|g_y|

当M(x，y)取得局部最大值时，此时对应的梯度方向α(x，y)反映边缘方向：

6.根据权利要求3所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤C3)中，对梯度幅值进行非极大值抑制的方法包括以下步骤：

获取插值点M₁：

M₁＝M_y*I_g(x+adds(2)，y+adds(1))+(M_x-M_y)*I_g(x+adds(4)，y+adds(3))

其中，M_x是图像梯度方向上的坐标，M_y是垂直于梯度方向的坐标，I_g是输入的边缘检测图像，adds()用来获取边缘法线两侧的坐标，将低于插值最大值的边缘点舍弃。

7.根据权利要求3所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤C4)中，筛选图像边缘的方法包括以下步骤：

按照灰度值的大小将图像的像素分为集合C₁{1，2，3…N}和C₂{N+1，N+2，…L}，每个集合像素值对应的灰度值概率分布为L_n，

L_n的熵H_n表示为：

其中，P_i表示对应集合中所有灰度值的出现概率，n＝1，2；

熵的判别函数E(N)为：

当判别函数最大时对应的N即为分割时的高阈值T_h，此时图像灰度部分的熵最为接近；低阈值T_l与高阈值T_h呈线性关系；

由双阈值对图像边缘筛选，获取的边缘信息为大于T_h的像素点和介于T_l和T_h之间且垂直梯度方向的不连续点。

8.根据权利要求1所述的一种显著性检测中的深度图可信度检测方法，其特征在于，

步骤D)中，获取可信度分数的方法包括以下步骤：

计算待测深度图像和真值图像的相似度，由边缘像素点的重合比例得到真匹配度S_t：

其中，E_d为深度图像的边缘像素点集合，E_gt为真值图像的边缘像素点集合，card()表示集合中的元素个数，误匹配度S_f的公式计算如下：

最终获得深度图像可信度S为：S＝1-S_f+S_t。