CN108765477A - 一种基于最优化的Kinect深度图修复方法 - Google Patents

Abstract

本发明公开了一种基于最优化的Kinect深度图修复方法，首先利用Sobel算子进行边缘检测，删除深度图像边缘的错误数据；然后使用联合双边滤波计算每一点与周边邻域的权重值，权重包括颜色相似度权重和空域距离权重，均采用高斯滤波计算，使用邻域的权重与深度的乘积减去该点的深度数据的差值，并使得该差值达到最小，最后使用最优化方法解出每个点的深度数据。本发明能够将深度图像数据缺失严重的部分完全恢复，并使得深度图像的边缘能够与彩色图像的边缘达到匹配。采用联合双边滤波技术进行权重计算，提高计算效力和准确度，采用最优化的建模方法求解深度数据，使得得到的深度数据最优。

Description

一种基于最优化的Kinect深度图修复方法

技术领域

本发明属于计算机视觉技术领域，具体是一种基于最优化的Kinect深度图修复方法。

背景技术

深度图恢复在计算机视觉中起到不可替代的作用，在2010年，微软推出了新型的深度传感设备Kinect，可以同时获得彩色图像和深度图像，因该设备价格低廉且能够实时得到其深度图像，所以该设备在各个领域得到广泛的运用，如虚拟交互、三维重建、跟踪、识别、游戏开发等各个方面，但是其缺点也逐渐暴露，即数据的精度不能令人满意。第一，Kinect在捕捉深度数据的过程中，物体边缘的深度数据缺失，且物体边缘处存在错误数据，特别是在前景对象的边界部分；第二，Kinect扫描出来的深度图与其彩色图像的边缘不匹配，存在一定程度的偏差；第三，Kinect扫描的深度图噪声多，且受环境的影响大。

上述问题使Kinect扫描出来的深度图像有如此多的缺陷不能直接使用，必须对深度图像进行后期处理。目前，对于Kinect深度图修复问题已经有很多研究方法，其中最为常见的方法是结合彩色图像纹理对深度图像进行修复，该方法虽然可以恢复出完整的深度图，但是彩色图像的边缘和深度图像的边缘不能基本匹配且误差较大，基于该方法有不同的技术，如基于联合双边滤波技术，仅考虑颜色和距离因素修复深度图，(Le A V,Jung SW,Won C S.Directional joint bilateral filter for depth images.[J].Sensors,2014,14(7):11362.)及(Matsuo T,Fukushima N,Ishibashi Y.Weighted jointbilateral filter with slope depth compensation filter for depth maprefinement[C].International Conference on Computer Vision Theory andApplications.2015.)；如基于三边滤波技术，Lo K H等人的方法在联合双边滤波的基础上考虑了局部梯度因素，如(Lo K H,Wang Y F,Hua K L.Edge-Preserving Depth MapUpsampling by Joint Trilateral Filter.[J].IEEE Transactions on Cybernetics,2017,PP(99):1-14.),Zhang S等人的方法在联合双边滤波的基础上考虑了强度的因素，如(Zhang S,Zhong W,Ye L,et al.A Modified Joint Trilateral Filter for DepthImage Super Resolution[M].Digital TV and Wireless Multimedia Communication.)；如基于自回归模型技术，(Yang J,Ye X,Li K,et al.Color-Guided Depth Recovery FromRGB-D Data Using an Adaptive Autoregressive Model[J].IEEE Transactions onImage Processing,2014,23(8):3443-3458.)；基于图割技术，(Daniel Herrera C,JuhoKannala,L’ubor Ladicky,et al.Depth Map Inpainting under a Second-OrderSmoothness Prior[C]Scandinavian Conference on Image Analysis.Springer BerlinHeidelberg,2013:555-566.)。

发明内容

针对现有技术存在的缺陷与不足，本发明提出了一种基于最优化的Kinect深度图修复方法。采用的技术方案如下：

一种基于最优化的Kinect深度图修复方法，首先删除深度图像边缘的错误，然后使用联合双边滤波计算每一点与周边邻域的权重值，使用邻域的权重与深度的乘积减去该点的深度数据的差值，并使得该差值达到最小，最后使用最优化方法建模解出每个点的深度数据。

进一步地，所述深度图修复方法的实现包括如下步骤：

S1，进行边缘检测，删除深度图边缘；

S2，计算每个边缘点与邻域的权重，并得到该边缘点与邻域的总权重；

S3，利用边缘点与邻域的权重，计算每个边缘点的深度数据。

进一步地，所述步骤S1使用Sobel算子进行边缘检测。

进一步地，使用Sobel算子进行边缘检测的过程如下：

Sobel算子包含横向和纵向的3*3的卷积因子，将这两个卷积因子与深度图像Z进行平面卷积：

|G|＝|G_x|+|G_y|

若G大于阈值认为该点为边缘点，则该点二值化设为1，否则设为0；并删除二值化为1的点的深度数据，把这些点的深度值设为0。

进一步地，步骤S2中边缘点与邻域的权重包括颜色相似度权重和空域距离权重。

进一步地，所述颜色相似度权重的计算采用高斯滤波计算，表达式为：

进一步地，所述空域距离权重采用高斯滤波计算，表达式为：

进一步地，所述S2中该边缘点与邻域的总权重为：

W＝W1×W2。

进一步地，步骤S3中计算每个边缘点的深度数据的表达式：

j(Z)＝min∑_r((Z(r)-∑_s∈N(r)W×Z(s))²)。

进一步地，还包括：将计算每个边缘点的深度数据的表达式j(Z)＝min∑_r((Z(r)-∑_s∈N(r)W×Z(s))²)建模为方程组：

利用最优化建模方法求解此方程组得到深度数据；d_r表示r点的深度数据。

本发明的有益效果：

1、完全恢复出深度图像，包括深度图像数据缺失严重的部分；

2、深度图像的边缘能够与彩色图像的边缘达到匹配。

3、将双边滤波技术应用在本发明的权重计算过程，计算出该点与邻域点之间在空域以及颜色相似度上的权重值，两点之间的颜色越近，则颜色相似度的权重越大，距离越近，则空域权重越大，两个权重值的乘积为该点与邻域权重的总权重值。若邻域中的一点权重值越大，则该点深度在计算过程中所占比例越大；如此，极大简化计算过程、并提高计算结果的准确度。

4、在深度计算的权重计算过程中，利用已知该点与周边邻域间的权重值，使用邻域的权重与深度的乘积减去该点的深度数据的差值达到最小，针对许多深度数据未知，通过最优化的建模方法解出该点的深度数据，使得得到的深度数据能达到最优解。

附图说明

图1是本发明中的一种对Kinect深度图像进行空洞修复的方法的流程图；

图2a是Kinect摄像机扫描的原始彩色图像；

图2b是Kinect摄像机扫描的原始深度图像；

图3是删除原始深度图像边缘的深度图像；

图4是本发明修复的深度图像；

图5是修复的深度图像与原始彩色图像的边缘对齐图像；

具体实施方式

本发明的构思是：首先删除深度图像边缘的错误，然后使用双边滤波技术计算一点与周边邻域的权重值，使用邻域的权重与深度的乘积减去该点的深度数据的差值达到最小，最后使用最优化建模方法解出每个点的深度数据。

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

如图1所示，本发明的一种基于最优化的Kinect的深度图修复方法，包括以下步骤：

S1：使用Sobel算子进行边缘检测，删除深度图边缘

由于Kinect扫描出的深度图的边缘许多为错误的数据(图2(b))，为了防止这些错误数据对后面的深度计算有干扰，所以需要删除这些数据，在这过程中，使用Sobel算子进行边缘检测，边缘检测过程如下：

Sobel算子包含横向和纵向的3*3的卷积因子，将这两个卷积因子与深度图像Z进行平面卷积。

|G|＝|G_x|+|G_y|

若G大于阈值认为该点为边缘点，则该点二值化设为1，否则设为0；将二值化为1的点的深度数据值设为0(图3)，在下面步骤中重新计算。

S2：计算权重

Kinect扫描出彩色图像(如图2(a))，计算每个边缘点与邻域的权重，该权重分为颜色相似度权重和空域距离权重。首先颜色相似度权重的计算公式如公式(2):

空域距离的计算公式如公式(3)：

所述公式(2)中，颜色相似度权重采用高斯滤波计算，W1为颜色相似度的权重，Y(r)为该点的RGB值，Y(s)为该点邻域的RGB值，σ1为方差。

所述公式(3)中，空域距离用高斯滤波计算，W2为空域距离的权重，r为该点的坐标点，s为该点邻域的坐标点，σ2为方差。

该边缘点与邻域的总权重如公式(4):

W＝W1×W2 (4)

S3：求解深度数据

由S2已知每个边缘点与邻域间的权重，则可以计算每个边缘点的深度数据j(Z)，如公式(5)

所述公式(5)中，Z(r)为该点的深度数据，Z(s)为邻域的深度数据，W为邻域点的权重。将公式(5)中所示的目标建模成如公式(6)中所示方程组：

所述公式(6)中，Z(r)深度数据缺失的情况下则等于周边像素深度值的加权平均，若该点有深度数据则列出该点的深度值，d_r表示r点的深度数据。公式(6)的方程组通过求解方程组得到公式(5)的最优解。

Kinect深度图像恢复的实验结果如图4，深度图像与彩色图像的边缘匹配结果如图5，结合以上各图可以看出，本发明结合联合双边滤波，使用最优化建模方法解出深度数据，高效的修复出深度图像中存在的空洞，同时能够达到深度图像与彩色图像的边缘基本匹配的效果。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于最优化的Kinect深度图修复方法，其特征在于，首先删除深度图像边缘的错误，然后使用联合双边滤波计算每一点与周边邻域的权重值，使用邻域的权重与深度的乘积减去该点的深度数据的差值，并使得该差值达到最小，最后使用最优化模型解出每个点的深度数据。

2.根据权利要求1所述的一种基于最优化的Kinect深度图修复方法，其特征在于，所述深度图修复方法的实现包括如下步骤：

S1，进行边缘检测，删除深度图边缘；

S2，计算每个边缘点与邻域的权重，并得到该边缘点与邻域的总权重；

S3，利用边缘点与邻域的权重，计算每个边缘点的深度数据。

3.根据权利要求2所述的一种基于最优化的Kinect深度图修复方法，其特征在于，所述步骤S1使用Sobel算子进行边缘检测。

4.根据权利要求3所述的一种基于最优化的Kinect深度图修复方法，其特征在于，使用Sobel算子进行边缘检测的过程如下：

Sobel算子包含横向和纵向的3*3的卷积因子，将这两个卷积因子与深度图像Z进行平面卷积：

|G|＝|G_x|+|G_y|

若G大于阈值认为该点为边缘点，则该点二值化设为1，否则设为0；并删除二值化为1的点的深度数据，把这些点的深度值设为0。

5.根据权利要求2所述的一种基于最优化的Kinect深度图修复方法，其特征在于，步骤S2中边缘点与邻域的权重包括颜色相似度权重和空域距离权重。

6.根据权利要求5所述的一种基于最优化的Kinect深度图修复方法，其特征在于，所述颜色相似度权重的计算采用高斯滤波计算，表达式为：

7.根据权利要求5所述的一种基于最优化的Kinect深度图修复方法，其特征在于，所述空域距离权重采用高斯滤波计算，表达式为：

8.根据权利要求7所述的一种基于最优化的Kinect深度图修复方法，其特征在于，所述S2中该边缘点与邻域的总权重为：

W＝W1×W2。

9.根据权利要求8所述的一种基于最优化的Kinect深度图修复方法，其特征在于，步骤S3中计算每个边缘点的深度数据的表达式：

10.根据权利要求9所述的一种基于最优化的Kinect深度图修复方法，其特征在于，还包括：将计算每个边缘点的深度数据的表达式 建模为方程组：

利用最优化的模型解此方程组得到深度数据。