CN110866882B - 基于深度置信度的分层联合双边滤波深度图修复方法 - Google Patents

Abstract

本发明公开了一种基于深度置信度的分层联合双边滤波深度图修复方法，首先基于深度信息获取构建RGB‑D相机深度退化模型；其次对获取的深度图进行深度像素置信度分类，然后在联合双边滤波的基础上结合深度置信度测量机制提出分层联合双边滤波；最后利用分层联合双边滤波对修复区域完成深度图修复。相比现有技术，本发明方法对深度图的修复在边缘保持效果、深度值连续性上进一步提高了精度，能获取高精度三维深度图。

Description

基于深度置信度的分层联合双边滤波深度图修复方法

技术领域

本发明属于深度图像修复技术领域，具体涉及一种基于深度置信度的分层联合双边滤波深度图修复方法。

背景技术

在三维重建、人机交互(Human-Computer Interaction，HCI)和汽车辅助驾驶等图像分割、目标检测、物体跟踪等领域中三维深度信息是三维场景信息的重要特征。深度信息的获取则成为三维信息的研究热点。深度图能够直接反映出场景物体到相机的距离，目前深度图通常通过三维深度相机(例如Kinect和Time of Flight，ToF)获取，但其存在分辨率低、深度值缺失和噪声污染等问题。

到目前为止，主要获取深度信息的两类方法：被动方法和主动方法。被动方法(立体匹配)是在多视图中进行对应像素点匹配，然后估计像素点的视差求取深度，是获取深度信息的经典算法，该方法不依赖于复杂的设备，只需要拍摄双视图或多视图图像计算估计深度信息，如通过立体匹配和三角测量计算图像的深度信息，但实际应用仍然存在需精度高的图像校正算法以及无纹理区域低效率问题等。与被动方法不同，获取深度信息的主动方法是通过基于3D飞行时间相机(例如，3D-ToF，Kinectv2和基于结构光相机(例如，Kinectv1)来实现动态场景的深度信息实时获取。ToF相机可以获取实时动态场景的深度信息，但是存在分辨率低和噪声干扰等问题。而Kinect相机生成的深度图通常容易产生与深度距离相关的测量误差，导致深度不连续、彩色图像中边缘之间的不匹配，以及由于无效测量引起的各种空洞。针对ToF相机存在的问题，主要通过扩大空间分辨率和平滑噪声来进行深度修复；而针对Kinect相机深度不连续和空洞问题，主要利用丢失的深度值来填充空洞进行深度修复。针对以上两种深度图像的修复问题，现有技术中存在用于以上深度图中深度数据的优化算法，如联合双边滤波器(Joint Bilateral filtering，JBF)和扩展双边滤波器(Bilateral filtering，BF)可有效用于深度图修复，基于彩色图像引导设定双边权重，但深度图像的边缘信息/纹理信息被忽略，不充分考虑彩色纹理信息，容易产生纹理伪像和深度不连续性问题。而由于深度图的待修复区域主要分布在发生遮挡区域和无纹理区域，其他区域是单独的小噪声像素，联合双边滤波器窗口尺寸大小固定，小尺寸窗口处理大空洞区域效果有限，采用大尺寸窗口则会增加算法的处理时间，造成边缘模糊和纹理伪像。

发明内容

有鉴于此，本发明的目的在于避免现有技术中的不足而提供一种基于深度置信度的分层联合双边滤波深度图修复方法，其对深度图的修复在边缘保持效果、深度值连续性上进一步提高了精度，能获取高精度三维深度图。

本发明的目的通过以下技术方案实现：提供基于深度置信度的分层联合双边滤波深度图修复方法，所述方法包括以下步骤：

S1、基于深度信息获取构建RGB-D相机深度退化模型；

S2、采用深度置信度测量机制对获取的深度图进行深度像素置信度分类；

S3、依据联合双边滤波结合深度置信度测量机制提出分层联合双边滤波；

S4、利用分层联合双边滤波对修复区域完成深度图修复。

作为进一步的改进，所述步骤S1中深度退化模型为：

I₀＝P*I+n (1)

式中，I和I₀分别表示深度信息实际值和深度相机设备捕获的深度图，P表示观测矩阵，n是随机产生的噪声。

作为进一步的改进，观测矩阵P在不同类型的深度相机设备、不同的场景环境中采用不同的矩阵形式。

作为进一步的改进，所述步骤S2中深度置信度测量机制通过左右一致性检查进行判断将深度像素分为高置信度、低置信度和被遮挡像素，具体步骤为：

S21、定义P_ij(x,y,d)表示深度值为d的一个像素，P_ij-R(x_R,y_R,d_R)表示P_ij像素右邻域的像素，P_ij-L(x_L,y_L,d_L)表示P_ij像素左邻域的像素，其中，i表示原始深度图中随机像素的滤波器窗口，j是像素邻域中的像素索引号，x表示深度值为d的P_ij像素的横坐标，y表示深度值为d的P_ij像素的纵坐标；

S22、设定左右一致性LRC为：

S23、设定阈值

和

若C_LRC小于预先设定的阈值

时，被判定为高置信度像素；若C_LRC大于预先设定的阈值

且小于预先设定的阈值

时，被判定为低置信度像素；若C_LRC大于阈值

被判定为被遮挡像素。

作为进一步的改进，所述步骤S3具体表现为依据联合双边滤波结合深度置信度测量机制，确定分层联合双边滤波的权重值Q，并同时选择相应的滤波器大小，其中：

式中，L是距滤波器中心像素的距离，σ_s表示用于调整空间近似度的参数，且

作为进一步的改进，所述滤波器大小选择与深度像素置信度类别和权重值的关系为：

若权重值为1，则认定为高置信度像素，选择的滤波器大小为

若权重值为0，则认定为低置信度像素，选择的滤波器大小为

若权重值大于0且小于1，则认定为被遮挡像素，选择的滤波器大小为

作为进一步的改进，所述步骤S4分层联合双边滤波具体根据当前像素类别、权重值、滤波器大小，对不同置信度类别的深度像素进行深度图修复，以获得高质量、高分辨率的深度图。

作为进一步的改进，所述分层联合双边滤波器表示为：

式中，p表示原始深度图中的一个像素点，N(p)表示像素点p的一个邻域，q表示p的邻域N(p)中的另一个像素点，Dⁱ(q)表示像素点q第i个滤波器窗口的深度值，Wⁱ(q)表示像素点q第i个滤波器窗口的加权函数，其中：

式中，Qⁱ(q)表示像素点q的权重值，Iⁱ(p)表示待修复彩色图像像素点p，Iⁱ(q)表示待修复彩色图像像素点q，

表示联合双边滤波的距离加权函数，且

采用高斯核形式计算：

式中，σ_R表示用于调整亮度近似度的参数。

作为进一步的改进，低置信度区域选择用相应大尺寸滤波器窗口7*7进行深度修复；高置信度区域采用小尺寸滤波器窗口3*3进行深度修复。

针对上述研究中深度图修复存在边缘模糊、纹理伪像以及耗时长等问题，本发明提出一种基于深度置信度的分层联合双边滤波深度图修复方法，首先基于深度信息获取构建RGB-D相机深度退化模型；其次对获取的深度图进行深度像素置信度分类，然后在联合双边滤波的基础上结合深度置信度测量机制提出分层联合双边滤波；最后利用分层联合双边滤波对修复区域完成深度图修复，本发明方法对深度图的修复在边缘保持效果、深度值连续性上进一步提高了精度，能获取高精度三维深度图。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是基于深度置信度的分层联合双边滤波深度图修复方法的总体框架图；

图2是本发明基于深度置信度的分层联合双边滤波深度图修复方法的总体框架图一实施例的流程图；

图3是深度置信度测量机制的流程图；

图4a为BF算法的图像修复效果图；

图4b为JBF算法的图像修复效果图；

图4c为JABDU算法的图像修复效果图；

图4d为本发明方法的图像修复效果图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

如图1和图2所示，本发明实施例提供的基于深度置信度的分层联合双边滤波深度图修复方法，包括以下步骤：

S1、基于深度信息获取构建RGB-D(RGB+Depth Map，红绿蓝色彩模式+深度图)相机深度退化模型；

本步骤主要针对随机深度缺失和结构性深度缺失两种退化形式，建立了深度退化模型如下：

I₀＝P*I+n (1)

式中，I和I₀分别表示深度信息实际值和深度相机设备捕获的深度图，P表示观测矩阵，n是随机产生的噪声，需要说明的是，观测矩阵P在不同类型的深度相机设备、不同的场景环境中采用不同的矩阵形式。

S2、采用深度置信度测量机制对获取的深度图进行深度像素置信度分类；

通过确定强大而有效的置信度分类度量，能极大地提高置信度测量的稳定性和精确性，优选地，深度置信度测量机制通过左右一致性检查进行判断将深度像素分为高置信度、低置信度和被遮挡像素。

S3、依据联合双边滤波结合深度置信度测量机制提出分层联合双边滤波；

具体地，该步骤中依据联合双边滤波结合深度置信度测量机制，确定分层联合双边滤波的权重Q，并同时选择相应的滤波器大小。

S4、利用分层联合双边滤波对修复区域完成深度图修复；

优选地，该步骤中分层联合双边滤波具体根据当前像素类别、权重值、滤波器大小，对不同置信度类别的深度像素进行深度图修复，以获得高质量、高分辨率的深度图。

上述修复方法，首先基于深度信息获取存在的问题提出相应的深度退化模型，再采用深度置信度测量机制对深度像素进行置信度分类，根据深度置信度确定滤波器窗口权重值，最后利用提出的分层联合双边滤波算法对修复区域完成深度图修复，对深度图修复后边缘更加清晰合理，消除了边缘模糊和纹理伪像，有效提高了三维深度图修复的精确度。

作为进一步优选的实施方式，所述步骤S2中深度置信度测量机制的具体为：

S21、定义P_i(x_i,y_j,d)表示深度值为d的一个像素，P_ij-R(x_R,y_R,d_R)表示P_ij像素右邻域的像素，P_ij-L(x_L,y_L,d_L)表示P_ij像素左邻域的像素，其中，i表示原始深度图中随机像素的滤波器窗口，j是像素邻域中的像素索引号，x表示深度值为d的P_ij像素的横坐标，y表示深度值为d的P_ij像素的纵坐标；

S22、设定左右一致性LRC(Left Right Consistency，左右一致性)为：

S23、设定阈值

和

若C_LRC小于预先设定的阈值

时，被判定为高置信度像素；若C_LRC大于预先设定的阈值

且小于预先设定的阈值

时，被判定为低置信度像素；若C_LRC大于阈值

被判定为被遮挡像素。

深度置信度测量机制流程图如图3所示，通过引入深度置信度测量机制，对待修复深度像素进行置信度大小分类，区分出了高置信度像素、低置信度像素、被遮挡像素，有利于提高后续深度修复速度和精度。

在进一步地技术方案中，本发明通过分层联合双边滤波对不同置信度类别的深度像素进行深度图修复，以获得高质量、高分辨率的深度图，下文将对该部分重点展开论述。

通过置信度测量机制从高置信度像素到低置信度像素的方式对需修复的深度图进行处理。生成深度置信度用于后续联合双边滤波处理，动态估计深度像素的权重。提出的分层联合双边滤波算法重点关注低置信度和被遮挡的像素，在联合双边滤波基础上结合置信度分层机制，提高像素级别的深度修复的上下文适应性。

假设p表示原始深度图中的一个像素点，则双边滤波器可表示为：

式中，q是p的邻域N(p)中的另一个像素点，K_p表示权重归一化系数，I_p表示p处的颜色强度，I_q表示q处的颜色强度，

表示空间域的权重值函数，

表示像素范围域的权重值函数，其中：

式中，σ_S表示用于调整空间近似度的参数，σ_C表示用于调整色度相似性的参数。

当像素点q和p之间的空间距离增加时，两个内核计算的权重会取较小的值，不同的相邻像素被空间距离分开，可以很好地保留图像边缘。

但双边滤波器的权重值并不稳定，在边缘区域滤除噪声能力弱，为了改善双边滤波器的稳定性问题，通过使用空间近似度和亮度相似度计算相邻像素的权重值，并通过加权平均值对缺失像素进行插值。

设D和d分别表示上采样深度图和给定的低分辨率深度图的深度值，然后根据下式计算深度图中的p位置处的深度值：

式中，j是相邻像素的像素索引号，q_j是相邻像素对应位置，

是q_j处像素的深度值，H表示权重值，其表达式为：

式中I_p和

分别是p和q_j处的颜色强度,σ_s和σ_R分别表示调整空间近似度和亮度相似度的参数。

本发明设定高置信度深度像素的滤波器窗口权重值为1，则分层联合双边滤波的权重值Q定义为：

式中，L是距滤波器中心像素的距离，且

进一步地，Dⁱ表示第i个滤波器窗口的深度值，Iⁱ表示输入的待修复彩色图，本发明分层联合双边滤波器表示为：

式中，p表示原始深度图中的一个像素点，N(p)表示像素点p的一个邻域，q表示p的邻域N(p)中的另一个像素点，Dⁱ表示第i个滤波器窗口的深度值，Wⁱ表示第i个滤波器窗口的加权函数，其中：

式中，Qⁱ(q)表示像素点q的权重值，Iⁱ(p)表示待修复彩色图像像素点p，Iⁱ(q)表示待修复彩色图像像素点q，

表示联合双边滤波的距离加权函数，且

采用高斯核形式计算：

式中，σ_R表示用于调整亮度近似度的参数。

此外，值得提及的是，本发明中滤波器大小选择与深度像素置信度类别和权重值的关系为：

若权重值为1，则认定为高置信度像素，选择的滤波器大小为

若权重值为0，则认定为低置信度像素，选择的滤波器大小为

若权重值大于0且小于1，则认定为被遮挡像素，选择的滤波器大小为

上述关系可以如下公式表示：

优选地，如大空洞、大噪声区域等低置信度区域选择用相应大尺寸滤波器窗口7*7进行深度修复；高置信度区域采用小尺寸滤波器窗口3*3，一定程度地解决联合双边滤波器窗口尺寸大小存在的问题，同时减少边缘模糊和纹理伪像，算法的处理速度也大大提高。

图4a为BF(Bilateral filtering，双边滤波)算法的图像修复效果图，图4b为JBF(Joint Bilateral filtering，联合双边滤波)算法的图像修复效果图，图4c为JABDU(Joint-adaptive bilateral depth map upsampling，联合自适应双边上采样)算法的图像修复效果图，图4d为本发明算法的图像修复效果图。在图4a-4d中用小矩形框突出深度修复明显区域，从中可以看出本发明明显提高了深度数据修复效果，深度图像质量明显提高。

综上所述，本发明基于深度置信度的分层联合双边滤波深度图修复方法，具有如下优点：

1)针对不同的RGB-D获取深度信息存在分辨率低、深度值缺失和噪声污染等问题，Kinect深度图可能会丢失随机深度数据，而ToF深度图经常会出现分辨率低和噪声污染退化问题，本发明提出的深度退化模型，在数学形式上准确描述深度图的多种退化形式。

2)为了能提高深度修复的处理速度和精度，本发明在深度图退化模型的基础上进一步提出深度置信度测量机制，结合感兴趣空洞区域窗口化和深度像素范围搜索特点，将深度像素的置信度测量通过左右一致性(Left Right Consistency，LRC)检查进行判断，通过置信度测量将深度像素分为高置信度、低置信度和被遮挡像素。

3)本发明提出RGB-D相机深度图修复统一算法框架，通过深度置信度测量机制从高置信度像素到低置信度像素的方式对需修复的深度图进行处理，提出基于分层联合双边滤波的深度图修复统一算法框架，进一步地，通过置信度测量机制和权重分配，在大空洞、大噪声区域等低置信度区域可选择用相应大尺寸滤波器窗口7*7进行深度修复，高置信度区域采用小尺寸滤波器窗口3*3，确保获取高精度三维深度图。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (6)

1.基于深度置信度的分层联合双边滤波深度图修复方法，其特征在于，所述方法包括以下步骤：

S1、基于深度信息获取构建RGB-D相机深度退化模型；

S2、采用深度置信度测量机制对获取的深度图进行深度像素置信度分类，分为高置信度、低置信度和被遮挡像素；

S3、依据联合双边滤波结合深度置信度测量机制提出分层联合双边滤波，确定分层联合双边滤波的权重值Q，并同时选择相应的滤波器大小，其中：

式中，L是距滤波器中心像素的距离，σ_s表示用于调整空间近似度的参数，且

S4、利用分层联合双边滤波对修复区域完成深度图修复；

所述步骤S4具体表现为分层联合双边滤波具体根据当前像素类别、权重值、滤波器大小，对不同置信度类别的深度像素进行深度图修复，以获得高质量、高分辨率的深度图，其中，分层联合双边滤波时分层联合双边滤波器表示为：

式中，p表示原始深度图中的一个像素点，N(p)表示像素点p的一个邻域，q表示p的邻域N(p)中的另一个像素点，Dⁱ(q)表示像素点q第i个滤波器窗口的深度值，Wⁱ(q)表示像素点q第i个滤波器窗口的加权函数，其中：

式中，Qⁱ(q)表示像素点q的权重值，Iⁱ(p)表示待修复彩色图像像素点p，Iⁱ(q)表示待修复彩色图像像素点q，

表示联合双边滤波的距离加权函数，且

采用高斯核形式计算：

式中，σ_R表示用于调整亮度近似度的参数。

2.根据权利要求1所述的基于深度置信度的分层联合双边滤波深度图修复方法，其特征在于，所述步骤S1中深度退化模型为：

I₀＝P*I+n (1)

式中，I和I₀分别表示深度信息实际值和深度相机设备捕获的深度图，P表示观测矩阵，n是随机产生的噪声。

3.根据权利要求2所述的基于深度置信度的分层联合双边滤波深度图修复方法，其特征在于，观测矩阵P在不同类型的深度相机设备、不同的场景环境中采用不同的矩阵形式。

4.根据权利要求3所述的基于深度置信度的分层联合双边滤波深度图修复方法，其特征在于，所述步骤S2中深度置信度测量机制通过左右一致性检查进行判断将深度像素分为高置信度、低置信度和被遮挡像素，具体步骤为：

S21、定义P_ij(x,y,d)表示深度值为d的一个像素，P_ij-R(x_R,y_R,d_R)表示P_ij像素右邻域的像素，P_ij-L(x_L,y_L,d_L)表示P_ij像素左邻域的像素，其中，i表示原始深度图中随机像素的滤波器窗口，j是像素邻域中的像素索引号，x表示深度值为d的P_ij像素的横坐标，y表示深度值为d的P_ij像素的纵坐标；

S22、设定左右一致性LRC为：

S23、设定阈值

和

若C_LRC小于预先设定的阈值

时，被判定为高置信度像素；若C_LRC大于预先设定的阈值

且小于预先设定的阈值

时，被判定为低置信度像素；若C_LRC大于阈值

被判定为被遮挡像素。

5.根据权利要求4所述的基于深度置信度的分层联合双边滤波深度图修复方法，其特征在于，所述滤波器大小选择与深度像素置信度类别和权重值的关系为：

若权重值为1，则认定为高置信度像素，选择的滤波器大小为

若权重值为0，则认定为低置信度像素，选择的滤波器大小为

若权重值大于0且小于1，则认定为被遮挡像素，选择的滤波器大小为

6.根据权利要求5所述的基于深度置信度的分层联合双边滤波深度图修复方法，其特征在于，低置信度区域选择用相应大尺寸滤波器窗口7*7进行深度修复；高置信度区域采用小尺寸滤波器窗口3*3进行深度修复。

Images