CN108629756A - 一种Kinect v2深度图像无效点修复方法 - Google Patents

Abstract

本发明提供一种Kinect v2深度图像无效点修复方法。本发明方法，包括：S1：通过Kinect v2相机分别捕获同一场景中的多模态图像；S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，进而完成彩色图像和原始深度图像的配准；S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值出现的频率，计算该频数下有效深度值的标准差，进而完成无效点填充优先级的评估；S4：计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。本发明不仅能够修复原始深度图像中的无效点，而且能够提高修复结果的可靠性，可在图像处理领域广泛推广。

Description

一种Kinect v2深度图像无效点修复方法

技术领域

本发明涉及图像处理领域，尤其涉及一种Kinect v2深度相机获取的深度图像中无效点修复方法。

背景技术

深度相机作为一款新的传感器，它已被广泛应用于人机交互游戏、智能移动机器人、增强现实及三维模型重建等各个领域。其中最流行的是微软发布的Kinect系列的最新版本—Kinect v2。它同时集成了分辨率为1920*1080的彩色摄像机，高精度的红外光投射仪以及分辨率为512*424的深度成像仪。Kinect V2使用TOF技术测量场景中物体的深度，该技术通过测量红外光发射和接受的时间差来计算相机平面和物体间的距离。

相比于其他深度相机，尽管Kinect v2捕获的深度图像在精度与鲁棒性上有相对较高的可靠性，但它仍然存在一些局限性。根据Kinect v2的深度测量机制，Kinect v2获取的深度图像可能会含有三种不同类型的无效点(深度值为零的像素点)。(1)由于Kinect V2深度相机视野扩大，造成返回的红外光强度减弱，进而导致深度成像仪无法捕获到返回的红外光，产生第一类无效点。(2)由于场景的遮挡，深度成像仪无法捕获到红外光，产生第二类无效点。(3)由于物体表面的反射率太低或深度相机与物体相距太近或太远，造成深度成像仪无法计算发射红外光与接受红外光之间的相位差，产生第三类无效点。

由于深度图像中无效点的存在，在一定程度上降低了人机交互的真实感，三维重建模型的精度等问题，这一问题引起了国内外学者的广泛研究，并提出了很多关于深度图像修复的方法。这些方法基本可以分为两类：一类是基于彩色图像引导的修复方法；另一类是基于深度图像像素分布的修复方法。但现有技术的方法或多或少都存在不能大面积修复遮挡造成的无效点、不能很好地修复深度图像视野周围出现的无效点、不能很好地修复因深度相机视野扩大引起的无效点等弊端。

发明内容

根据上述提出的技术问题，而提供一种修复效果可靠的Kinect v2深度图像无效点修复方法。本发明采用的技术手段如下：

一种Kinect v2深度图像无效点修复方法，包括如下步骤：

S1：通过Kinect v2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；

S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；

S3：通过遍历原始深度图像完成深度图像中无效点的标记，计算无效点八邻域内有效深度值的频率，并计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；

S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。

进一步地，S1具体包括如下步骤：

S101:搭建多模态图像采集系统；

S102:同时启动Kinect v2中的彩色视频流和深度视频流，获取同一场景中的彩色和深度图像。

进一步地，S2具体包括如下步骤：

S201:通过Kinect v2相机同时获取同一时刻，同一位置的彩色和深度棋盘格图像；

S202:利用Opencv3中张正友标定函数，分别完成彩色和深度相机的内外参数的标定，即计算彩色和深度相机的内参矩阵(K_c,K_d)和彩色相机的外参矩阵(R_c,T_c)、深度相机的外参矩阵(R_d,T_d)；

S203：根据相机成像原理，将图像坐标系与相机坐标系通过如下方程式进行转换：

其中p_c和p_d分别表示彩色和深度图像中一点，P_c,P_d分别表示相应的彩色相机和深度相机坐标系下的对应点；

S204：根据相机模型，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵R和平移向量T描述，通过如下方程式进行转换：

P_c＝RP_d+T (3)

其中公式(2)分别表示彩色相机坐标系，深度相机坐标系与世界坐标系之间的变换关系，公式(3)表示深度相机坐标系与彩色相机坐标系之间的关系，P_w表示世界坐标系下的任意一点，

通过公式(1)，(2)，分别得到旋转矩阵R和平移向量T如下：

通过公式(1)，(3)，(4)得出彩色图像与深度图像之间配准关系如下：

通过公式(5),可以获取深度图像对应的彩色图像，即完成彩色和深度图像的配准及对齐。

进一步地，S3具体包括如下步骤：

S301：通过遍历原始深度图像中所有深度值为零的点完成深度图像中无效点的标记，具体表现为：通过二维向量保存无效点的坐标值；

S302：通过无效点的标记坐标，计算无效点八邻域内有效深度值的概率p(d(s)|{d(s′)|s′∈Ω_s&d(s′)＞0})，为了简化系统的时间复杂度，通过如下公式计算其等价的有效深度值出现的频率n_v(s)，

n_v(s)＝N/Ω_s (6)

其中，N为无效点八邻域的有效深度值的个数，Ω_s为无效深度点的八邻域。

在频率n_v(s)的基础上，通过如下公式计算无效点八邻域内有效深度值的标准差σ_d(s)：

其中

其中，d(s)表示深度图像中任意无效深度点s的深度像素值，d(s′)表示s八邻域内有效深度值点s′的深度像素值，ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，μ_d(s)表示无效深度点s八邻域内有效深度值的均值；

S303：计算已标记的无效点八邻域内有效深度值出现的频率n_v(s)，根据n_v(s)和标准差σ_d(s)，通过如下公式计算无效点的优先级评估函数R(s)：

其中，1/C_σ是归一化参数，该参数能够使σ_d(s)/C_σ处于[0,1]。

首先,根据优先级评估函数R(s)，深度图像中的全部无效点都将按照从高到低分配修复秩序，然后，当优先级高的无效点被修复后，将改变其邻域无效点的优先级秩序，这意味着仅有很少无效点的优先级需要更新，这在一定程度上减少了系统的时间复杂度。

进一步地，S4具体包括如下步骤：

S401：利用Opencv3中的cvtColor函数将与深度图像对齐的RGB空间的彩色图像变换到Lab色彩空间；

S402：根据S201-S204计算的彩色相机和深度相机的内参矩阵(K_c,K_d)及两相机之间的旋转矩阵R和平移向量T，得到深度图像中任一有效深度值对应的原始彩色图像的像素坐标的关系如下：

其中(x,y)表示原始彩色图像中坐标，(u,v)表示原始深度图像中的坐标，Z_c表示彩色相机与物体表面之间的距离，d表示深度相机与物体表面之间的距离；

S403：假设无效点八邻域内任一有效深度值为该无效点的修复深度值，即：d(s)＝d_i(s′)，通过公式(10)分别计算出其对应原始彩色图像中的像素坐标，从而索引其对应的彩色像素值c_i(s)，将c_i(s)从RGB色彩空间变换到Lab色彩空间，分别在对齐的彩色图像上索引无效点八邻域内有效深度值点对应彩色图像中的真实彩色像素值c_i(s′)，通过相似度度量关系，计算与无效点s对应彩色图像中的像素点相似度最高的像素坐标，相似度度量关系如下：

其中ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，c_i(s)[L],c_i(s)[a],c_i(s)[b]分别表示彩色像素值c_i(s)在L,a,b三个通道上的像素值，c_i(s′)[L],c_i(s′)[a],c_i(s′)[b]分别表示真实彩色像素值c_i(s′)在L,a,b三个通道上的像素值；

S404：根据公式(9)优先级评估函数计算的无效点修复秩序，迭代应用公式(11)求解的像素坐标对应的深度值修复无效点，从而完成深度图像中全部无效点的修复。

本发明利用Kinect v2获取的深度图像和相应的彩色图像完成深度图像中无效点的修复，与传统方法相比，本发明不仅能够修复原始深度图像中的无效点，而且能够提高修复结果的可靠性。另外，由于本发明首先完成深度图像中无效点标记及无效点修复秩序的评估，这在一定程度上减少了系统的时间复杂度，提高了程序的运行效率。基于上述理由本发明可在图像处理领域领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种Kinect v2深度图像中无效点修复方法的流程图；

图2是本发明一种Kinect v2深度图像中无效点修复方法的技术路线图；

图3是Kinect v2相机获取的原始彩色图像；

图4a是与原始深度图像对齐的彩色图像；

图4b是Kinect v2相机获取的原始深度图像；

图5是Kinect v2相机获取的同一场景，同一时刻及同一位置的原始彩色和红外棋盘格图像(Kinect v2深度图像与红外图像为同一个相机捕获)。其中，(a)原始彩色图像；(b)原始红外图像。

图6为本发明对Kinect v2获取的原始深度图像中无效点进行修复的效果图。其中，(a)表示Kinect v2获取的相应的彩色图像，(b)表示原始深度图像，(c)表示修复后的深度图像。

图7为本发明对来源于Middlebury Databases中的Aloe中无效点进行修复的效果图。其中，(a)表示Aloe相应的彩色图像,(b)表示原始深度图像，(c)表示修复后的深度图像。

图8为本发明与现有技术修复结果的对比图。其中，(a)表示MiddleburyDatabases中Book的相应彩色图像，(b)表示原始深度图像，(c)表示外加噪声后的深度图像，(d)表示Kopf J等人的方法，(e)表示Alexandru T的方法，(f)表示本发明提出的方法。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种Kinect v2深度图像无效点修复方法，包括如下步骤：

S1：通过Kinect v2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；

S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；

S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值的出现的频率，计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；

S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。

实施例1：如图2所示，本发明的一种Kinect v2深度图像中无效点修复方法的技术路线，主要包括如下步骤：

步骤1：通过Kinect v2相机获取同一场景中的多模态图像，即：彩色图像和深度图像。其具体步骤如下：

1.1使用三脚架，Kinect v2相机和联想笔记本搭建多模态图像采集系统；

1.2同时启动Kinect v2中的彩色视频流和深度视频流，获取同一场景中的彩色和深度图像。

Kinect v2相机捕获的原始彩色图像如图3，inect v2捕获的同一场景中的深度图像如图4(b)。

步骤2：通过张正友相机标定方法，完成Kinect v2中彩色和深度相机的内外参数的标定，具体步骤如下：

2.1通过Kinect v2相机同时获取同一时刻，同一场景及同一角度的彩色和深度棋盘格图像。

Kinect v2中彩色相机捕获的不同角度的彩色棋盘格图像如图5(a)，由于Kinectv2中深度成像仪与红外成像仪是同一个镜头，因此，可以通过Kinect v2捕获同一场景，同一时刻及同一角度的红外棋盘格图像如图5(b)。

2.2利用Opencv3中张正友标定函数，分别完成彩色和深度相机的内外参数的标定，即计算彩色和深度相机的内参矩阵(K_c,K_d)和外参矩阵(R_c,T_c)、(R_d,T_d)。

2.3根据相机成像原理，图像坐标系与相机坐标系之间存在如下关系：

其中p_c和p_d分别表示彩色和深度图像中一点，P_c,P_d分别表示相应的彩色相机和深度相机坐标系下的一点。

2.4根据相机模型，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵R和平移向量T描述，表示关系如下：

其中(R_c,T_c)、(R_d,T_d)分别表示彩色相机和深度相机的外参矩阵，P_w表示世界坐标系下的任意一点，P_c,P_d同(1),它们也具有如下关系：

P_c＝RP_d+T (3)

通过(1),(2)两式，可以计算R和T如下：

通过(1),(3),4),可以推出彩色图像与深度图像之间配准关系如下：

其中p_c,p_d,K_c,K_d,R_c,T_c,R_d,T_d同上。

通过公式(5),可以获取深度图像对应的彩色图像如图4(a)。由于Kinect v2中彩色相机的垂直视角为53.5°,深度相机的垂直视角为60°,因此，深度图像中会存在部分深度值不能索引到相应的彩色值。

步骤3：通过遍历深度图像完成深度图像中无效点的标记，进而通过提出的方法完成无效点填充秩序的评估，其具体步骤如下：

3.1根据上文的描述：深度值为零的点即为无效点。通过遍历原始深度图像中所有深度值为零的点便可以完成深度图像中无效点的标记，即通过二维向量保存无效点的坐标值。

3.2通过无效点的标记坐标，可以计算无效点八邻域内有效深度值的概率p(d(s)|{d(s′)|s′∈Ω_s&d(s′)＞0})。从概率p的定义可知，它等价于无效点八邻域内有效深度值出现的频率，为了简化系统的时间复杂度，可以通过如下公式计算其等价的有效深度值出现的频率n_v(s)，

n_v(s)＝N/Ω_s (6)

其中，N为无效点八邻域有效深度值的个数，Ω_s为无效深度点的八邻域。在频率n_v(s)的基础上，计算其八邻域内有效深度值的标准差σ_d(s)，其计算公式如下：

其中

这里，d(s)表示深度图像中任意无效深度点s的深度像素值，d(s′)表示s八邻域内有效深度值点s′的深度像素值，ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}是无效深度点s八邻域内有效深度值的集合，μ_d(s)是无效深度点s八邻域内有效深度值的均值。

3.3通过步骤3.2的分析，对已标记的无效点计算其八邻域内有效深度值出现的频率n_v(s)，并利用公式(7)计算其八邻域内有效深度值的标准差σ_d(s)。

3.4根据计算的无效点八邻域内有效深度值的频率n_v(s)和标准差σ_d(s)，定义无效点的优先级评估函数R(s)，定义如下：

其中1/C_σ是归一化参数，该参数能够使σ_d(s)/C_σ处于[0,1]。

首先,根据优先级评估函数R(s)，深度图像中的全部无效点都将按照从高到低分配修复秩序，然后，当优先级高的无效点被修复后，将改变其邻域无效点的优先级秩序，这意味着仅有很少无效点的优先级需要更新，这在一定程度上减少了系统的时间复杂度。

步骤4：通过原始深度图像中的无效点索引对应的彩色图像像素点，进而计算其八邻域中与其相似度最高的像素坐标，从而实现深度图像中无效点的修复。其具体步骤如下：

4.1利用Opencv3中的cvtColor函数将与深度图像对齐的RGB空间的彩色图像变换到Lab色彩空间。

4.2根据步骤2计算的彩色和深度相机的内参矩阵(K_c,K_d)及两相机之间的旋转矩阵R和平移向量T，可以推导出深度图像中任一有效深度值对应的原始彩色图像的像素坐标(相同视角范围)的关系如下：

其中(x,y)表示原始彩色图像中坐标，(u,v)表示原始深度图像中的坐标，Z_c表示彩色相机与物体表面之间的距离，d表示深度相机与物体表面之间的距离。

4.3在步骤4.2的基础上，首先，假设无效点八邻域内任一有效深度值为该无效点的修复深度值，即：d(s)＝d_i(s′)。进而可以通过公式(10)分别计算出其对应原始彩色图像中的像素坐标，从而可以索引其对应的彩色像素值c_i(s)。其次，通过步骤4.1的方法将c_i(s)从RGB色彩空间变换到Lab色彩空间。然后，分别在对齐的彩色图像上索引无效点八邻域内有效深度值点对应彩色图像中的真实彩色像素值c_i(s′)。最后，通过相似度度量关系，计算与无效点s对应彩色图像中的像素点相似度最高的像素坐标。相似度度量关系如下：

其中ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}是无效深度点s八邻域内有效深度值的集合，c_i(s)[L],c_i(s)[a],c_i(s)[b]分别表示c_i(s)像素在L,a,b三个通道上的像素值，c_i(s′)[L],c_i(s′)[a],c_i(s′)[b]同理。

4.4根据公式(9)优先级评估函数计算的无效点修复秩序，迭代应用公式(11)求解的像素坐标对应的深度值修复无效点，从而完成深度图像中全部无效点的修复，获得完整的深度图像。

6(a)表示Kinect v2获取的相应的彩色图像，7(a)表示Aloe相应的彩色图像，8(a)表示Middlebury Databases中Book的相应彩色图像，使用本发明方法分别对Kinect v2获取的原始深度图像图6(b),Middlebury Databases中Aloe原始深度图像图7(b),Middlebury Databases中Book原始深度图像图8(b)，Middlebury Databases中Book添加噪声的深度图像8(c)进行无效点修复，修复结果如图6(c),7(c),8(f)。从图中可以看出，本发明不仅能够很好的完成深度图像中无效点的修复，而且能够较好的保持深度图像中边缘区域。

如图8(d)所示，使用Kopf J等人的方法对Middlebury Databases中添加噪声的Book深度图像8(c)进行无效点修复后，深度图像中Book边缘区域模糊化，并且深度图像中的无效点修复效果不佳。

如图8(e)和8(f)所示，分别使用Alexandru T的方法和本发明提出的方法对Middlebury Databases中添加噪声的Book深度图像8(c)进行无效点修复后，分别计算修复后的深度图像与原始深度图像之间的PSNR(PSNR是图像处理等领域中信号重建质量的测量方法，PSNR越大，处理后图像与原始图像越相近，反之，相反)。Alexandru T的方法PSNR是49.8248，本发明的方法PSNR是55.3921。可以看出，本发明能够对深度图像中的无效点进行高精度的修复。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种Kinect v2深度图像无效点修复方法，其特征在于，包括如下步骤：

S1：通过Kinect v2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；

S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；

S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值的出现的频率，计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；

S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。

2.根据权利要求1所述的Kinect v2深度图像无效点修复方法，其特征在于，S1具体包括如下步骤：

S101:搭建多模态图像采集系统；

S102:同时启动Kinect v2中的彩色视频流和深度视频流，获取同一场景中的彩色和深度图像。

3.根据权利要求2所述的Kinect v2深度图像无效点修复方法，其特征在于，S2具体包括如下步骤：

S201:通过Kinect v2相机同时获取同一时刻，同一位置的彩色和深度棋盘格图像；

S202:利用Opencv3中张正友标定函数，分别完成彩色和深度相机的内外参数的标定，即计算彩色和深度相机的内参矩阵(K_c,K_d)和彩色相机的外参矩阵(R_c,T_c)、深度相机的外参矩阵(R_d,T_d)；

S203：根据相机成像原理，将图像坐标系与相机坐标系通过如下方程式进行转换：

其中p_c和p_d分别表示彩色和深度图像中一点，P_c,P_d分别表示相应的彩色相机和深度相机坐标系下的对应点；

S204：根据相机模型，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵R和平移向量T描述，通过如下方程式进行转换：

P_c＝RP_d+T (3)

其中公式(2)分别表示彩色相机坐标系，深度相机坐标系与世界坐标系之间的变换关系，公式(3)表示深度相机坐标系与彩色相机坐标系之间的关系，P_w表示世界坐标系下的任意一点，

通过公式(1)，(2)，分别得到旋转矩阵R和平移向量T如下：

通过公式(1)，(3)，(4)得出彩色图像与深度图像之间配准关系如下：

通过公式(5)，获取深度图像对应的彩色图像，即完成彩色和深度图像的配准及对齐。

4.根据权利要求3所述的Kinect v2深度图像无效点修复方法，其特征在于，S3具体包括如下步骤：

S301：通过遍历原始深度图像中所有深度值为零的点完成深度图像中无效点的标记，具体表现为：通过二维向量保存无效点的坐标值；

S302：通过无效点的标记坐标，计算无效点八邻域内有效深度值的概率p(d(s)|{d(s′)|s′∈Ω_s&d(s′)＞0})，为了简化系统的时间复杂度，通过如下公式计算其等价的有效深度值出现的频率n_v(s)，

n_v(s)＝N/Ω_s (6)

其中，N为无效点八邻域的有效深度值的个数，Ω_s为无效深度点的八邻域。

在频率n_v(s)的基础上，通过如下公式计算无效点八邻域内有效深度值的标准差σ_d(s)：

其中

其中，d(s)表示深度图像中任意无效深度点s的深度像素值，d(s′)表示s八邻域内有效深度值点s′的深度像素值，ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，μ_d(s)表示无效深度点s八邻域内有效深度值的均值；

S303：计算已标记的无效点八邻域内有效深度值出现的频率n_v(s)，根据n_v(s)和标准差σ_d(s)，通过如下公式计算无效点的优先级评估函数R(s)：

其中，1/C_σ是归一化参数，该参数能够使σ_d(s)/C_σ处于[0,1]。

5.根据权利要求4所述的Kinect v2深度图像无效点修复方法，其特征在于，S4具体包括如下步骤：

S401：利用Opencv3中的cvtColor函数将与深度图像对齐的RGB空间的彩色图像变换到Lab色彩空间；

S402：根据S201-S204计算的彩色相机和深度相机的内参矩阵(K_c,K_d)及两相机之间的旋转矩阵R和平移向量T，得到深度图像中任一有效深度值对应的原始彩色图像的像素坐标的关系如下：

其中(x,y)表示原始彩色图像中坐标，(u,v)表示原始深度图像中的坐标，Z_c表示彩色相机与物体表面之间的距离，d表示深度相机与物体表面之间的距离；

S403：假设无效点八邻域内任一有效深度值为该无效点的修复深度值，即：d(s)＝d_i(s′)，通过公式(10)分别计算出其对应原始彩色图像中的像素坐标，从而索引其对应的彩色像素值c_i(s)，将c_i(s)从RGB色彩空间变换到Lab色彩空间，然后分别在对齐的彩色图像上索引无效点八邻域内有效深度值点对应彩色图像中的真实彩色像素值c_i(s′)，通过相似度度量关系，计算与无效点s对应彩色图像中的像素点相似度最高的像素坐标，相似度度量关系如下：

其中ψ_s＝{s′|s′∈Ω_s,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，c_i(s)[L],c_i(s)[a],c_i(s)[b]分别表示彩色像素值c_i(s)在L,a,b三个通道上的像素值，c_i(s′)[L],c_i(s′)[a],c_i(s′)[b]分别表示真实彩色像素值c_i(s′)在L,a,b三个通道上的像素值；

S404：根据公式(9)优先级评估函数计算的无效点修复秩序，迭代应用公式(11)求解的像素坐标对应的深度值修复无效点，从而完成深度图像中全部无效点的修复。