CN112991193A - 深度图像修复方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种深度图像修复方法、设备及计算机可读存储介质，通过Kinect传感器获取彩色图像和深度图像；对相机进行标定、对深度图像进行可视化处理；深度图像和彩色图像裁剪对齐；然后判断空洞类型，根据空洞的类型使用不同算法分步进行修复：利用改进的快速行进法修复物体表面空洞，对遮挡空洞利用基于方向的联合双边滤波进行填充，最后用自适应中值滤波去噪。本发明能够有效的修复空洞且深度图边缘细节更加清晰，为后续的三维重建提供高质量的深度信息。

Description

深度图像修复方法、设备及计算机可读存储介质

技术领域

本发明涉及本发明涉及图像处理技术领域，尤其涉及一种基于Kinect的深度图像修复方法、设备及计算机可读存储介质。

背景技术

现在，三维重建是目前计算机视觉中研究的一个热点问题，随着Kinect传感器的发布，三维重建方面得到了极大的发展，将人机交互推向一个高潮，使得人们更方便的学习和实现三维重建技术。进行三维重建的重要环节包括图像的获取、特征提取、匹配等，而获取目标场景的深度图像是重建工作的最基本的前提，根据图像来求解相机位姿来生成点云数据，然后经过点云配准生成三维地图，因此深度图像的质量决定了重建的精度。

Kinect能同时获取三维重建所需的深度图像和彩色图像，但是因为Kinect的自身限制和环境因素，获取的深度图像存在很多空洞和噪声等问题导致所获取得到的深度信息不准确，对于之后进行三维重建存在着很大的影响，重建时的点云数据特征信息丢失会导致点云图的误差增加，所以对深度图像的空洞进行一系列的修复，得到更高质量的深度图像，更精确的深度信息对进一步的重建工作有着很重要的意义。目前，深度图修复的主要算法有高斯滤波，双边滤波，偏微分方程等，这些算法通常不能修复大区域空洞，图像边缘会出现模糊现象，且用单一的滤波算法进行修复具有盲目性。

发明内容

本发明要解决的技术问题是：针对Kinect获取的深度图像通常存在空洞和噪声，如果不进行处理直接转换为点云数据来进行三维重建时将影响重建精度，点云图上会出现部分缺失和“斑点”的问题，提供一种深度图像修复方法，用于处理和修复该类深度图像。根据本发明的另一个方面，提供一种计算机可读存储介质和深度图像修复设备，用于处理Kinect获取的深度图像。

本发明为解决上述技术问题，采用如下技术方案：

一种深度图像修复方法，用于处理Kinect获取的深度图像，其特征在于包括如下步骤：

S1：首先利用Kinect获取室内彩色图像和深度图像；对Kinect的深度相机和彩色相机进行标定，使深度图像和彩色图像像素点一一对齐；

S2：对深度图像进行可视化处理，将深度图转化成普通的灰度图；

S3：将深度图像四周的无效黑色区域进行裁剪处理；

S4：然后判断裁剪处理后深度图像的空洞类型；

S5：根据空洞的类型使用不同算法进行分步修复，所述的分步修复过程为：利用改进的快速行进法修复物体表面空洞；对遮挡空洞利用基于方向的联合双边滤波进行填充；

S6：最后使用自适应中值滤波对修复后的深度图像进行去噪处理，获取高质量的深度图像。

上述技术方案中，步骤S1中采用张正友标定法对相机进行标定，具体步骤如下：

1)用图像编辑软件绘制出一个7×10棋盘标定格图像，用A3纸打印出该图像，并将打印后图像粘贴在平坦的木板上，作为对Kinect进行标定的棋盘标定板；

2)从不同角度拍摄出若干张棋盘标定板图片，检测出图像中的特征点；

3)求解相机的内外参数并使用极大似然估计提升精度；

4)应用最小二乘求出实际的径向畸变系数；

5)输出相机的内外参数及畸变系数。

上述技术方案中，步骤S2中对深度图像进行可视化处理的公式为：

式中：Z(u,v)为深度图像的距离，Z_max为Kinect传感器的最大测量范围，G(x,y)为转换为普通的灰度图的灰度值。

上述技术方案中，步骤S4中判断空洞类型通过计算空洞邻域内像素点的深度值方差△_Depth实现，计算公式如下：

其中，D_p表示空洞邻域内p像素点的深度值，

表示空洞邻域的像素值均值，n表示像素点总个数，通过计算得到的深度值方差△_Depth与阈值△_threshold进行比较，阈值设为11：若△_Depth<△_threshold，该空洞为物体表面空洞；若△_Depth>△_threshold，该空洞为物体遮挡空洞。

上述技术方案中，步骤S5中改进的快速行进法具体步骤为：

S51：对彩色图像使用K-means算法进行聚类处理：

S511：首先随机选择K个初始聚类中心；

S512：分别计算每个样本点到各个聚类中心的距离，将该样本点归到距离最短的聚类中心所在的类；

S513：当样本点被归纳到其所属的类别中，重新计算各个聚类中心的中心位置；

S514：进行收敛判断，通过步骤S512和S513的循环计算，直到聚类中心不再发生变化，则聚类划分结束；

S52：利用聚类后的彩色图像信息来引导深度图像填充：

根据待修补像素周围的非空像素对该像素点的值进行估计，像素深度估计公式如下：

其中，q点是p点的邻域像素，D_q表示点q的深度，

表示像素点q的梯度，ω(p,q)表示权函数，用来衡量q点与其邻域像素q的相似程度；

将彩色图像的聚类信息引入到缺失深度点的估计中去，结合双边滤波器的设计方式，将上式中的权函数重新设计为两个权重因子的乘积,两个权重因子分别由空间距离因子dst(p,q)和颜色相似因子col(p,q)构成：

ω(p,q)＝dst(p,q)col(p,q) (4)

式中：

p、q分别表示空洞像素点及其邻域像素点的坐标，I_p和I_q代表点像素点p和q经过聚类后的彩色信息值，d₀和I₀一般取1。

上述技术方案中，步骤S5中改进的快速行进法修复图像时，区别对待已知像素和填充后的已知像素，将像素点看成三种类型：已知像素点，未修复像素点和正在修复的像素点，令已知像素点置信度为p(i,j)＝1，未修复像素点的置信度为p(i,j)＝0，B(p)表示正在修复像素点的邻域，则p点的置信度为：

式中：n表示p点在修复时利用了n个邻域像素点，con(x,y)_i分别为这n个像素点的置信度，计算方法同con(x,y)_p；

则改进后的待填充点的像素值为：

上述技术方案中，步骤S5中使用K-Means聚类时，K值取2以区分图片中的背景和前景。

上述技术方案中，步骤S5中利用基于方向的联合双边滤波算法计算公式如下：

其中：D_p待修复空洞处的深度值，D_q为邻域像素点的深度值，p为空洞像素点，坐标为(p_x,p_y)，q为邻域像素点，坐标为(q_x,q_y)，I^p，I^q分别为彩色图像中p、q点处的颜色值。

上述技术方案中，步骤S6中自适应中值滤波在滤波的过程中会根据预先设定好的条件，改变滤波窗口的尺寸大小，同时判断当前像素是不是噪声，如果是则用邻域中值替换掉当前像素；不是，则不作改变；滤波窗口初始值为3。

根据本发明的另一个方面，提供一种计算机可读存储介质，其上存储有计算机指令，计算机的处理器执行所述计算机指令时实现如上所述任一项方法中的步骤。根据本发明的再一个方面，提供一种深度图像修复设备，用于处理Kinect获取的深度图像，其包括处理器和存储器，所述处理器与所述存储器通信连接；其中，所述存储器存储有计算机指令，所述处理器运行所述计算机指令时执行如上所述任一项方法中的步骤。

相对于现有技术，针对当前Kinect获取的深度图像通常有空洞和噪声影响三维重建后的点云图质量的问题，本发明提出一种深度图像修复方法设备及计算机可读存储介质，先对获取的深度图像进行预处理，然后针对不同空洞类型分别处理：对于物体表面空洞采用改进的FMM算法进行深度值估计，通过改进的权函数很好的解决了空洞像素值填充错误的问题；采用DJBF算法修复遮挡空洞；最后使用可以自适应调整滤波窗口大小的自适应中值滤波去噪。有效的修复空洞且深度图像边缘细节更加清晰更有利于后续的三维重建工作。

附图说明

图1是根据本发明实施的深度图像修复方法的流程图；

图2是本发明棋盘格标定板；

图3中，(a)是本发明可视化前的深度图像，(b)是本发明经过可视化后的图像；

图4是原始未经过处理和修复的深度图像

图5是本发明经过裁剪前后的彩色图像和深度图像对比图；

图6是采用现有方法和本发明对深度图像对两种不同场景下的深度图像修复的结果对比图。

具体实施方式

为了进一步说明本发明的技术方案，下面将结合附图1-5对本方案进行详细的说明。

如图1所示，根据本发明实施的基于Kinect的深度图像修复方法，包括如下流程：

步骤S1：Kinect传感器获取室内环境的彩色图像和深度图像；启动PC机，打开VS2015，插上Kinect，打开驱动包Kinect_SDK即可获取深度和彩色图像，彩色图选image格式，深度图选binary格式进行保存。

之后对深度摄像头和彩色摄像头进行标定；由于Kinect中的深度摄像头和彩色摄像头不在同一个位置，因此需要对相机进行标定使深度图像和彩色图像的像素一一对齐。具体步骤如下：

1)用图像编辑软件(Photoshop)绘制出一个7×10棋盘标定格图像，如图2所示，用A3纸打印出该图像，并将其粘贴在平坦的木板上，作为对Kinect进行标定的棋盘标定板。

2)从不同角度拍摄出若干张棋盘标定板图片，检测出图像中的特征点。

3)求解相机的内外参数并使用极大似然估计提升精度。

4)应用最小二乘求出实际的径向畸变系数。

5)输出相机的内外参数及畸变系数。

步骤S2：深度图像的采集和可视化处理；由于原始的深度图像是看不到与彩色图像对应的任何特征和细节的，如图3(a)所示；为了便于后续操作，对深度图像进行可视化处理，将深度图转化成普通的灰度图。转化后的深度图像如图3(b)所示。

将深度图像可视化的公式为：

式中：Z(u,v)为深度图像的距离，Z_max为Kinect的最大测量范围，G(x,y)为转换为普通的灰度图的灰度值。

步骤S3：经过标定后的深度图像四周出现黑色边框，如图4所示，因此需要将深度图像和彩色图像进行裁剪对齐处理，便于后续的图像修复工作，对齐指的是在同一位置的彩色像素和深度值是一一对应的。

调用C++中的resize函数，输入需要裁剪图像的左上角和右下角两点的坐标就可以确定图像的裁剪位置，自动完成图像裁剪，将深度图中边缘的空洞去除，并将彩色图像执行同一操作来与深度图像对齐，结果如图5所示。

步骤S4：空洞类型判断；对于物体表面空洞和遮挡空洞修复方法不同，首先需要对空洞类型进行判断然后才能有针对性的修复，判断空洞类型通过计算邻域内像素点的深度值方差△_Depth，计算公式如下：

其中，D_p表示空洞邻域内p像素点的深度值，D表示空洞邻域的像素值均值，n表示像素点总个数，通过计算得到的深度值方差△_Depth与阈值△_threshold进行比较，阈值设为11：若△_Depth<△_threshold，该空洞为物体表面空洞；若△_Depth>△_threshold，该空洞为遮挡空洞。

步骤S51：物体表面空洞修复；此类空洞由于物体表面比较光滑的区域发生镜面反射或者物体吸收红外光所导致的，针对空洞区域本发明采用改进的FMM(Fast MarchingMethod，简称FMM)快速行进算法进行修复。

步骤511：对彩色图像使用K-means算法进行聚类处理，原理如下:

1)首先随机选择K个初始聚类中心，本发明只要区分图片中的背景和前景，所以K值取2；

2)在第m次迭代中，对任意一个样本点，求其到K个聚类中心的距离，将该样本点归到距离最短的聚类中心所在的类；

3)当样本点被归纳到其所属的类别中，重新计算各个聚类中心的中心位置；

4)进行收敛判断，通过步骤2)和3)的循环计算，直到聚类中心不再发生变化，则聚类划分结束。

步骤S512：聚类后的彩色图像信息来引导深度图像填充。

FMM算法基本思路是根据待修补像素周围的非空像素对该像素点的值进行估计，像素深度估计公式如下：

其中，q点是p点的邻域像素，D_q表示点q的深度，

表示像素点q的梯度，ω(p,q)表示权函数，用来衡量q点与其邻域像素q的相似程度。

步骤S513：由于FMM算法设计的权函数没有考虑彩色图像的颜色信息，对未知区域进行填充时过度依赖于深度信息将对较大空洞的修复效果不显著。因此本文权函数ω(p,q)重新设计，增加颜色相似因子，设计为两个权重因子的乘积。两个权重因子分别由空间距离因子dst(p,q)和颜色相似因子col(p,q)构成。

ω(p,q)＝dst(p,q)col(p,q) (12)

式中：

p、q分别表示空洞像素点及其邻域像素点的坐标，I_p和I_q代表点像素点p和q处经过聚类后的彩色信息值，d₀和I₀一般取1。

步骤S514：FMM算法修复图像时，同等对待已知像素和填充后的已知像素，再利用修复后的像素点进行插值,势必会造成误差的积累。本文将像素点看成三种类型：已知像素点，未修复像素点和正在修复的像素点，令已知像素点置信度为p(i,j)＝1，未修复像素点的置信度为p(i,j)＝0，B(p)表示正在修复像素点的邻域，则p点的置信度为

式中：n表示p点在修复时利用了n个邻域像素点，con(x,y)_i分别为这n个像素点的置信度，计算方法同con(x,y)_p。

则改进后的待填充点的像素值计算方法为：

其中，B(p)是p点的邻域，q点是p点的邻域像素，D_q表示q点的深度，

D_q表示像素点q的梯度，ω(p,q)表示权函数，用来衡量p点与其邻域像素q的相似程度。

上述修复过程通过求解空洞像素点p与待填充边界

的距离T来确定待修补空洞中像素点的修复顺序。本发明利用聚类后的彩色图像的颜色相似性对像素点的修补顺序进行自适应调整来引导深度图像填充，即在空洞的边界减缓图像的修补，在深度图像空洞的平滑区域，加快深度图像的修补以获得更好的修复效果。约束式如下所示：

F表示扩散函数，对式(14)进行求解，得到待填充区域中每个像素点的填充次序。假设像素点p的坐标为(i,j)，根据离散求取梯度的方法，式(14)可以转换为：

其中：

分别表示对T进行后向与前向差分，

的定义与(18)，(19)相同，对改进的FMM不断迭代，选择T值最小的像素点进行深度估计。

步骤S52：遮挡空洞填充，空洞区域处于物体边缘位置，空洞区域及邻域往往包含不同物体表面的像素点，深度值是非连续的，本发明将基于方向的联合双边滤波(Directional Joint Bilateral Filter,简称DJBF)修复，避免不同物体的像素点对空洞区域深度值计算结果的干扰，计算公式如下：

其中：D_p待修复空洞处的深度值，D_q为邻域像素点的深度值，p为空洞像素点，坐标为(p_x,p_y)，q为邻域像素点，坐标为(q_x,q_y)，I^p，I^q分别为彩色图像中p、q点处的颜色值，f_r ^c用来衡量邻域像素的颜色相似度，计算公式如下：

式中：σ为高斯函数的标准差

在空间邻近度因子使用基于方向的高斯滤波(directional Gaussian filter,DGF)来计算，具体如下:

x_θ＝(q_x-p_x)cosθ-(q_y-p_y)sinθ (23)

y_θ＝(q_x-p_x)sinθ+(q_y-p_y)cosθ (24)

式中：θ为边界方向，σ_x,σ_y为高斯函数中沿x，y方向的标准差。θ的计算公式如下：

其中：g_x，g_y分别是沿x，y方向的梯度。

步骤S6：自适应中值滤波去噪；经过上述步骤后，深度图像的空洞已被填充，但填充后的深度图像会有噪声出现，如果不进行去噪，点云图上会出现黑色“斑点”。将采用自适应中值滤波进行去噪处理，在滤波的过程中，自适应中值滤波器会根据预先设定好的条件，改变滤波窗口的尺寸大小，同时还会根据一定的条件判断当前像素是不是噪声，如果是则用邻域中值替换掉当前像素；不是，则不作改变。

假设符号定义如下：

Z_min为X_x,y的最小灰度值，Z_med为X_x,y灰度值的中值，Z_max为X_x,y的最大灰度值，Z(x,y)为在坐标(x,y)上的灰度值，X_max为X_x,y允许的窗口最大尺寸。首先窗口的初始值为3，自适应中值滤波器主要有两个处理步骤A和B，其具体含义如下：

A:如果Z_min<Z_med<Z_max，则转到B，否则增大窗口尺寸；如果窗口尺寸小于等于X_max，则重复A，否则输出Z(x,y)。

B:如果Z_min<Z(x,y)<Z_max，则输出Z(x,y)，否则输出Z_med。

其中：A步骤的目的判断当前区域的中值点是否是噪声点，若不是则跳转到B；若是噪声点，应该扩大窗口尺寸，在一个更大的范围内寻找一个合适的非噪声点，随后再跳转到B，否则输出的中值点是噪声点；跳转到B之后：判断中心点的像素值是否是噪声点，若是噪声点，则使用中值替代原始灰度值，滤去噪声；若不是噪声点，保留当前像素点的灰度值。

自适应中值滤波在平滑噪声的同时能很好地保持边缘，减少滤波图像中物体边缘失真等缺陷，得到更清晰的深度图像。

图6的A组和B组是对于不同类型场景的原始深度图像、BF算法、FMM算法和本发明方法修复后的对比图，可以看出本发明提出的方法修复后的深度图像在准确修复大面积的空洞的同时，保留了良好的边缘信息和图像结构完整性。

上述技术方案中，上述一种基于Kinect的深度图像修复方法，是基于Windows1032位操作系统，处理器为Intel Core i5-7200U 2.5GHz，实验平台为VS2015+OpenCV，编程语言为C++的PC上实现的。

根据本发明的再一个方面，提供一种计算机可读存储介质，其上存储有计算机指令，当计算机的处理器执行所述计算机指令时，可实现本发明的上述部分或全部处理步骤。本发明的计算机可读存储介质可选用市面上已有的类型和品牌，可采用非易失性或易失性存储介质、云储存等，对它们的功能和工作原理在此不再赘述。

根据本发明的又一个方面，提供一种深度图像修复设备，用于处理Kinect获取的深度图像，其包括处理器和存储器，所述存储器中存储有计算机指令，当所述处理器执行所述计算机指令时，执行本发明上述方法的上述部分或全部处理步骤。所述的处理器和存储器可以采用现有的那些，例如常规处理器、服务器、云处理器，以及非易失性或易失性存储介质、云储存等，对它们的功能和工作原理在此不再进行赘述。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述特定实施方式，本领域技术人员可以在权利要求的范围内进行修改或者同等变换，均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度图像修复方法，用于处理Kinect获取的深度图像，其特征在于包括如下步骤：

S1：首先利用Kinect获取室内彩色图像和深度图像；对Kinect的深度相机和彩色相机进行标定，使深度图像和彩色图像像素点一一对齐；

S2：对深度图像进行可视化处理，将深度图转化成普通的灰度图；

S3：将深度图像四周的无效黑色区域进行裁剪处理；

S4：然后判断裁剪处理后深度图像的空洞类型；

S5：根据空洞的类型使用不同算法进行分步修复，所述的分步修复过程为：利用改进的快速行进法修复物体表面空洞；对遮挡空洞利用基于方向的联合双边滤波进行填充；

S6：最后使用自适应中值滤波对修复后的深度图像进行去噪处理，获取高质量的深度图像。

2.根据权利要求1所述的深度图像修复方法，其特征在于步骤S1中采用张正友标定法对相机进行标定，具体步骤如下：

1)用图像编辑软件绘制出一个7×10棋盘标定格图像，用A3纸打印出该图像，并打印后图像粘贴在平坦的木板上，作为对Kinect进行标定的棋盘标定板；

2)从不同角度拍摄出若干张棋盘标定板图片，检测出图像中的特征点；

3)求解相机的内外参数并使用极大似然估计提升精度；

4)应用最小二乘求出实际的径向畸变系数；

5)输出相机的内外参数及畸变系数。

3.根据权利要求1所述的深度图像修复方法，其特征在于步骤S2中对深度图像进行可视化处理的公式为：

式中：Z(u,v)为深度图像的距离，Z_max为Kinect传感器的最大测量范围，G(x,y)为转换为普通的灰度图的灰度值。

4.根据权利要求1所述的深度图像修复方法，其特征在于步骤S4中判断空洞类型通过计算空洞邻域内像素点的深度值方差△_Depth实现，计算公式如下：

其中，D_p表示空洞邻域内p像素点的深度值，

表示空洞邻域的像素值均值，n表示像素点总个数，通过计算得到的深度值方差△_Depth与阈值△_threshold进行比较，阈值设为11：若△_Depth<△_threshold，该空洞为物体表面空洞；若△_Depth>△_threshold，该空洞为物体遮挡空洞。

5.根据权利要求1所述的深度图像修复方法，其特征在于步骤S5中改进的快速行进法具体步骤为：

S51：对彩色图像使用K-means算法进行聚类处理：

S511：首先随机选择K个初始聚类中心；

S512：分别计算每个样本点到各个聚类中心的距离，将该样本点归到距离最短的聚类中心所在的类；

S513：当样本点被归纳到其所属的类别中，重新计算各个聚类中心的中心位置；

S514：进行收敛判断，通过步骤S512和S513的循环计算，直到聚类中心不再发生变化，则聚类划分结束；

S52：利用聚类后的彩色图像信息来引导深度图像填充：

根据待修补像素周围的非空像素对该像素点的值进行估计，像素深度估计公式如下：

其中，q点是p点的邻域像素，D_q表示点q的深度，

表示像素点q的梯度，ω(p,q)表示权函数，用来衡量q点与其邻域像素q的相似程度；

将彩色图像的聚类信息引入到缺失深度点的估计中去，结合双边滤波器的设计方式，将上式中的权函数重新设计为两个权重因子的乘积,两个权重因子分别由空间距离因子dst(p,q)和颜色相似因子col(p,q)构成：

ω(p,q)＝dst(p,q)col(p,q) (4)

式中：

p、q分别表示空洞像素点及其邻域像素点的坐标，I_p和I_q代表点像素点p和q经过聚类后的彩色信息值，d₀和I₀一般取1。

6.根据权利要求5所述的深度图像修复方法，其特征在于步骤S5中改进的快速行进法修复图像时，区别对待已知像素和填充后的已知像素，将像素点看成三种类型：已知像素点，未修复像素点和正在修复的像素点，令已知像素点置信度为p(i,j)＝1，未修复像素点的置信度为p(i,j)＝0，B(p)表示正在修复像素点的邻域，则p点的置信度为：

式中：n表示p点在修复时利用了n个邻域像素点，con(x,y)_i分别为这n个像素点的置信度，计算方法同con(x,y)_p；

则改进后的待填充点的像素值为：

7.根据权利要求1所述的深度图像修复方法，其特征在于步骤S5中利用基于方向的联合双边滤波算法计算公式如下：

其中：D_p待修复空洞处的深度值，D_q为邻域像素点的深度值，p为空洞像素点，坐标为(p_x,p_y)，q为邻域像素点，坐标为(q_x,q_y)，I^p，I^q分别为彩色图像中p、q点处的颜色值。

8.根据权利要求1所述的深度图像修复方法，其特征在于步骤S6中自适应中值滤波在滤波的过程中会根据预先设定好的条件，改变滤波窗口的尺寸大小，同时判断当前像素是不是噪声，如果是则用邻域中值替换掉当前像素；不是，则不作改变；滤波窗口初始值为3。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，计算机的处理器执行所述计算机指令时实现如权利要求1～8中任一项所述方法中的步骤。

10.一种深度图像修复设备，用于处理Kinect获取的深度图像，其特征在于，其包括处理器和存储器，所述处理器与所述存储器通信连接；其中，所述存储器存储有计算机指令，所述处理器运行所述计算机指令时执行如权利要求1～8中任一项所述方法中的步骤。

Images