CN106162147B - 基于双目Kinect深度相机系统的深度恢复方法 - Google Patents

Abstract

本发明属于计算机视觉领域，为实现双视点深度补充信息的充分利用，对低质量深度图进行填充以获得高质量深度图。本发明采取的技术方案是，基于双目Kinect深度相机系统的深度恢复方法，步骤是，首先搭建一个基于双目深度相机的采集系统，并基于相机间相关关系和系统误差特性的分析；通过边缘导向融合策略和系统误差补偿进行视点融合，实现视点间深度信息的补充，最后利用边缘导向的滤波形式完成深度图像的扩散填充以得到深度图像。本发明主要应用于图像处理场合。

Description

基于双目Kinect深度相机系统的深度恢复方法

技术领域

本发明属于计算机视觉领域，涉及双目深度相机系统的建立和深度图的恢复工作。

背景技术

近几年，立体显示和三维立体应用在消费市场中越来越受欢迎。作为三维应用中重要的一部分，高质量深度图像的获取成为了一个热门研究领域。目前，深度图像的获取主要分为两类，其中一种是被动获取，例如立体匹配、2D-3D转换技术。然而，这些方法都是基于推断的，是从彩色图像的结构信息中估计深度，并不是对深度进行直接测量，这种方法往往会产生错误的深度估计结果。另一种是主动方式，即：直接获取深度图像。2011年，微软推出了第一代Kinect深度相机，最近，微软更新发布了第二代深度相机Kinect v2。不同于利用散斑结构光成像原理的第一代Kinect，Kinect v2利用ToF(时间飞行)技术，能够获取比一代Kinect准确性更高的深度图像，但是系统误差、低分辨率、噪声和深度缺失等问题依旧存在。

针对直接获取的深度图，也存在很多问题，例如：深度缺失、噪声等。考虑到深度图像与其对应的彩色图像在结构上具有一致性，目前有很多基于联合滤波的算法用于深度图像的修复，例如Guided image filter(导向图像滤波)，Cross-based local multipointfiltering(基于交叉的局部多点滤波)，这些方法能够得到较高质量的深度图，但只是针对单一视点深度图像，对于单视点中大面积深度缺失等问题，以及需要多视点彩色图像-深度图像对的立体显示来说缺乏有效性。

对于多视点成像，叶昕辰等人提出了利用第一代Kinect实现多视点成像的方法；Zhu等人利用一个ToF相机和两台彩色相机搭建了多视点相机系统来获取高质量深度图像；Choi等人同样建立了多视点系统对低分辨率深度图像进行上采样修复工作。然而这些方法中并没有考虑系统内各个视点间的相互关系，或者只使用了简单的融合方式对不同视点的图像进行融合。因此进一步分析和完善双目采集系统的特性描述、改进融合方式以实现高质量的深度恢复是很有必要的。

发明内容

本发明旨在克服现有技术的不足，实现双视点深度补充信息的充分利用，对低质量深度图进行填充以获得高质量深度图。本发明采取的技术方案是，基于双目Kinect深度相机系统的深度恢复方法，步骤是，首先搭建一个基于双目深度相机的采集系统，并基于相机间相关关系和系统误差特性的分析；通过边缘导向融合策略和系统误差补偿进行视点融合，实现视点间深度信息的补充，最后利用边缘导向的滤波形式完成深度图像的扩散填充以得到深度图像。

构建双目深度相机系统具体步骤：将两个深度相机放置在水平架子上，相机间基线距离可调节，使用两台电脑分别控制两个相机进行采集；左侧相机视为主视点相机，记为K_L；右侧相机为辅助视点相机，记作K_R，K_L、K_R采集到的深度图像分别扭转到K_L的彩色相机的坐标系中，K_L采集到的深度图像经过图像配准得到的散点图记为D_L，K_R采集到的深度图像进过配准得到的散点图记为D_R，从而在主视点位置处，得到具有相同分辨率的高质量彩色图像和两张深度散点图像。

系统内相机间关系和系统误差分析：从相机间关系和误差分布状况两方面对其进行分析；

21)相机间相互影响误差：用搭建好的双目系统采集同一静止场景的深度图像，第一次只有K_L相机保持工作状态，K_R关闭；第二次同时开启两台相机处于工作状态，同样仅使用K_L采集场景图，对比两次得到的场景图像判断误差情况，确定相机间相互影响状况；

22)系统误差分布形式：在同一视点下的两张深度散点图中，深度值均存在的像素位置进行深度值相减得到误差散点图，根据误差散点图，分析其分布形式；

边缘导向的融合策略：令x表示图像上的像素位置，D_L(x)为深度图D_L中x位置处的深度值，D_R(x)为深度图D_R中x位置处的深度值，D(x)为融合深度图D中x位置处的深度值，在同一视点下的两张深度散点图上，像素位置x上存在以下三种情况：

31)D_L中x位置处的深度值不为0，此时，不论D_R中x位置处的深度值是否为0，融合图像D中x位置处的深度值D(x)都等于D_L中的值D_L(x)，即：D(x)＝D_L(x)；

32)D_L中x位置处的深度值为0，D_R中x位置处的深度值也为0，则融合图像D中x位置处的深度值D(x)置为0，即：D(x)＝0；

33)D_L中x位置处的深度值为0，而D_R中x位置处的深度值不为0。对于这种情况，本发明提出了一种判别准则来决定D_R中x位置处的深度值是否可以用于D(x)的估计，这一判别准则包含两部分：彩色连续性F_c(x)和深度连续性F_d(x)：

其中，∑·为求和符号；E是由彩色图像通过Canny算子计算得到的彩色边缘图像，N_e(x)是E中以x为中心的N×N邻域，y表示邻域N_e(x)内的像素位置，E(y)指E中y位置处的值；|·|为绝对值符号，为D_L中以x为中心的N×N邻域内有效邻域值(不等于0的深度值)的均值估计，D_th为深度阈值，将F_c(x)和F_d(x)联合，得到最终的判决准则F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值为1，则认为D_R(x)可以用于D(x)的误差补偿估计；否则，D_R(x)不可用于D(x)的误差补偿估计，D(x)置为0，即：D(x)＝0。

基于误差补偿的双视点融合：

41)对于可以进行补偿的像素位置，深度值由误差补偿公式得到：

其中，x表示深度图中像素位置，||·||₂为二范数项，e为误差散点图，N(x)为e中以x为中心的N×N邻域，y表示邻域N(x)内的像素位置，e(y)为e中y位置处的误差值。

42)得到的拟合值将进一步作为误差的补充填入到误差散点图e中。

深度图像的填充：得到融合后的深度图后，引入彩色边缘图像控制深度扩散顺序，保证在空洞区域由外向内扩散填充。对于深度缺失点，滤波方程为：

其中，w为标准化系数，I为同一坐标系下的高质量彩色图像；为融合深度图D中像素x邻域内的可行集，由彩色边缘图像E决定，y表示可行域内的像素位置；D(x)、D(y)、I(x)、I(y)分别表示融合深度图D、彩色图I中像素x、y位置处的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分别表示欧几里得空间距离、深度值差异和彩色空间差异，其下标λ、ξ、μ为对应项方差。

本发明的技术特点及效果：

本发明搭建了一个新的双目深度相机采集系统,设计了新的深度修复框架来获得高质量深度图像，具有以下特点：

1、程序简单，易于实现。

2、充分利用了双目视点的信息，实现了最优深度图像的恢复。

3、从相机间相互影响和误差分布情况两方面对双目深度相机系统误差的分析，补充描述了深度相机系统的误差特性，对深度图像融合起指导作用。

4、提出了边缘导向的融合策略，通过彩色边缘的引入和约束，避免了在深度不连续区域引入错误深度值，消除过补偿的出现，保证了深度边缘的准确和锐利。

5、提出了基于误差补偿的融合方法，避免在正确的补偿位置引入错误的补偿值，保证深度恢复的正确性，从而实现辅助视点对主视点的深度补偿。

6、整个框架流程中，不仅充分利用了双目视点的深度补偿信息，同时在深度图像融合和深度扩散填充过程中，充分利用了同一视点下的高质量彩色图像的引导和约束作用，保证了深度融合和扩散填充的有效性和准确性，从而得到了深度图像的最优恢复结果。

附图说明

图1是本发明方法的流程图；

图2是本发明中建立的双目深度相机系统采集的实际场景图，其中展示了进行相机校正和图像配准后得到的主视点上的三张图像：1)彩色图像；2)主视点相机(K_L)得到的深度散点图D_L；3)辅助视点(KR)进行图像配准后得到的主视点(K_L)坐标系下的深度散点图D_R；

图3是双目深度图像的误差分布特性示意图；

图4是误差补偿对最终效果影响的对比图：第一行、第二行分别为没有误差补偿和进行误差补偿的深度图像填充结果。

图5是单视点和双目视点融合结果对比图：1)彩色图像；2)单视点深度散点图；3)视点融合深度散点图；4)和5)分别是2)和3)的深度图像填充结果。

图6是深度图像填充结果图：1)彩色图像；2)本发明方法的图像填充结果。

具体实施方式

下面结合实施例和附图对本发明基于双目深度相机采集系统的新的深度图像修复框架做出详细说明。

本发明基于双目深度相机采集系统提出了一种新的深度修复框架来获取高质量深度图像。首先利用两台Kinect v2相机搭建双目深度相机采集系统；从系统误差的角度入手分析描述系统特性，提出一种基于系统误差补偿的边缘导向深度图像融合策略，在充分利用双视点的深度补偿信息的基础上消除系统误差对融合准确性的干扰，得到融合深度图像；最后采用彩色边缘导向的深度扩散方法对融合图像进行填充。具体方法包括以下步骤：

1)构建双目深度相机系统：两个深度相机放置在水平架子上，相机距离可调节，系统的视场范围可通过相机间基线距离调节。同时两台电脑分别控制两个相机进行采集，以保证实时储存的可靠性。系统采集的同步性由路由器构建局部网络来实现，一个电脑作为服务器发送UDP触发信号，另一台电脑作为客户端接收UDP触发信号，从而完成两台相机的同步采集工作。

注：在双目系统中，左侧相机视为主视点相机，记为K_L；右侧相机为辅助视点相机，记作K_R。K_L、K_R采集到的深度图像分别扭转到K_L的彩色相机的坐标系中进行图像配准，K_L采集到的深度图像进行配准得到的散点图记为D_L，K_R采集到的深度图像进过配准得到的散点图记为D_R。从而在主视点位置处，得到具有相同分辨率的高质量彩色图像和两张深度散点图像。

2)系统内相机间关系和系统误差分析：对于主视点位置得到具有相同分辨率的两张深度散点图像而言，理论上同一位置处的深度值应保持一致，而实际中存在偏差。对于这种系统误差，从来源和特质两方面对其进行分析对后续工作至关重要。

21)相机间相互影响误差：相机间相互影响误差是指两台相机同时处于工作状态时，一台相机对另一台相机产生影响，从而使得两台相机采集到的深度图像在深度值上存在偏差。用搭建好的双目系统采集同一静止场景的深度图像，第一次只有K_L相机保持工作状态，K_R关闭，第二次同时开启两台相机处于工作状态，同样仅使用K_L采集场景图。对比两次得到的场景图像可以发现，K_R处于工作状态时，K_L采集到的场景深度图像噪声更大，空洞增加，但两次采集到的图像在深度值上没有明显的差异分布。从而排除了系统内相机间互相干扰引起的系统误差。

22)系统误差分布形式：由于深度散点图由图像配准生成，有效深度值所在位置并不是一一对应，系统误差的计算针对两张深度散点图中深度值均存在的像素位置。对深度值均存在的像素位置进行深度值相减得到误差散点图，从而得到误差分布情况：误差分布不是随机分布，而呈现一定的与位置相关的规律性；图像中心位置误差较小，两个相机得到的深度值准确性较高；随着与图像中心位置距离的增加，误差增加，两个相机得到的深度值准确性降低。同时，这种与距离相关的误差分布近似二次锥形状(近高斯分布)。

3)边缘导向的融合策略：双目深度系统的优势在于辅助视点中存在主视点中没有的深度信息，以此可以对主视点信息进行补充。即：主视点中由于物体的遮挡等原因存在深度不可测区域，例如前背景衔接处，而这些位置可能是辅助视点可见区域，在辅助视点深度散点图中存在有效深度值，从而可以为主视点提供深度补充信息。边缘导向融合策略即确定融合点的位置，以确保填充位置的准确，避免在多余的填充信息，得到准确的融合深度图D。

令x表示图像上的像素位置，D_L(x)为深度图D_L中x位置处的深度值，D_R(x)为深度图D_R中x位置处的深度值，D(x)为融合深度图D中x位置处的深度值。在同一视点下的两张深度散点图上，像素位置x存在处以下三种情况：

31)D_L中x位置处的深度值不为0，此时，不论D_R中x位置处的深度值是否为0，融合图像D中x位置处的深度值D(x)都置为D_L中的值D_L(x)，即：D(x)＝D_L(x)。这是因为D_L由辅助视点深度图进行配准而得，此过程中由于存在较大的基线距离更容易引入误差，影响深度值的可靠性，所以当D_L中深度值存在时，融合深度图的深度值以D_L的深度值为准。

32)D_L、D_R中x位置处的深度值均为0，则融合图像D中x位置处的深度值D(x)置为0。即：D(x)＝0。

33)这种情况较为特殊，也是最重要的一种情况。即：D_L中x位置处的深度值为0，而D_R中x位置处的深度值不为0，此时称像素位置x为待补偿位置。对于这种情况，本发明提出了一种判别准则来决定D_R中x位置处的深度值是否可以用于D(x)的估计。这一判别准则包含两部分：彩色连续性F_c(x)和深度连续性F_d(x)。

彩色连续性F_c(x)指待补偿位置x不属于彩色边缘区域，即当x的邻域内不存在彩色边界时，视为该位置处具有彩色连续性。因为彩色边缘区域可能存在深度跃变，更容易引入错误的深度值，彩色连续性的约束可以从彩色边缘角度避免错误深度值得引入。数学表达为：

其中，∑·为求和符号；E是由彩色图像通过Canny算子计算得到的彩色边缘图像，N_e(x)是E中以x为中心的N×N邻域，y表示邻域N_e(x)内的像素位置，E(y)指E中y位置处的边缘标识值。

深度连续性F_d(x)是指D_R中的深度值与D_L中待补偿位置的估计值连续，即两者差值在一定范围以内，此时称该位置具有深度连续性。因为深度补偿要在同一类深度中进行，即背景深度补偿背景深度、前景深度补偿前景深度，而不能用背景深度对前景深度进行补偿(反之亦然)，所以要对深度连续性进行判断和约束，以保证补偿的准确。数学表达为：

其中，|·|为绝对值符号，为D_L中以x为中心的N×N邻域内有效邻域值(不为0的深度值)的均值估计；D_th为深度阈值。

将F_c(x)和F_d(x)联合，得到最终的判决准则F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值为1，则认为D_R(x)可以用于D(x)的误差补偿估计；否则，D_R(x)不可用于D(x)的误差补偿估计，D(x)置为0，即：D(x)＝0。

这一过程中，彩色边缘图像的引入保证了深度融合准确性，以免在错误的位置引入深度值，避免了过补偿的出现。

4)基于误差补偿的双视点融合：像素x处的误差补偿可以看作是一个误差拟合过程，计算误差散点图中的局部有效误差的加权平均作为误差的拟合值，并将其与D_R(x)进行补偿从而得到最终的融合深度值D(x)。

41)对于可以进行补偿的像素位置，深度值由误差补偿公式得到：

其中，x表示深度图中像素位置，||·||₂为二范数项，e为误差散点图，N(x)为e中以x为中心的N×N邻域，y表示邻域N(x)内的像素位置，e(y)为e中y位置处的误差值。

42)通常情况下，误差散点图是稀疏的，信息量较少，所以得到的拟合值将继续作为e的补充填入到误差散点图中，以此增加误差散点图的误差值，为后续的深度补偿提供更多的信息。

5)深度图像的填充：得到融合后的深度图后，使用一种边缘导向的三遍滤波将稀疏的深度散点图中有效深度值扩散到整个图像，以得到高质量的深度图像。图像扩散过程中，彩色边缘图像E用于控制扩散顺序，保证在深度确实区域由外向内扩散，避免在深度不连续区域形成伪像，对于深度缺失点，滤波方程为：

其中，w为标准化系数，I为同一坐标系下的高质量彩色图像；为融合深度图D中像素x邻域内的可行集，由彩色边缘图像E决定，y表示可行域内的像素位置；D(x)、D(y)、I(x)、I(y)分别表示融合深度图D、彩色图I中像素x、y位置处的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分别表示欧几里得空间距离、深度值差异和彩色空间差异，其下标λ、ξ、μ为对应项方差。

本发明基于双目深度相机采集系统提出了一种新的深度修复框架来获取高质量深度图像(如图1的框架流程所示)，其中提出了边缘导向的视点融合策略和误差补偿方法，以充分利用双目系统的深度补充信息。结合实施例和附图详细说明如下：

1)构建双目深度相机系统：两个深度相机放置在水平架子上，相机距离可调节，系统的视场范围可通过相机间基线距离调节。同时两台电脑分别控制两个相机进行采集，以保证实时储存的可靠性。系统采集的同步性由路由器构建局部网络来实现，一个电脑作为服务器发送UDP触发信号，另一台电脑作为客户端接收UDP触发信号，从而完成两台相机的同步采集工作。实验中，系统参数设置：彩色图像分辨率1920×1080；深度图像分辨率512×424；相机帧率为30fps。

注：在双目系统中，左侧相机视为主视点相机，记为K_L；右侧相机为辅助视点相机，记作K_R。经过相机标定和图像配准后，K_L、K_R采集到的深度图像分别扭转到K_L的彩色相机的坐标系中，K_L采集到的深度图像进行配准得到的散点图记为D_L，K_R采集到的深度图像进过配准得到的散点图记为D_R。

从而在主视点位置得到具有相同分辨率的高质量彩色图像和两张深度散点图像(如图2所示)。从图中可以看到，D_L图像在前背景交接处存在大面积空洞，而在D_R对应位置存在深度信息，因此，可以将D_R中的深度信息与D_L融合，从而实现对主视点深度信息的补充。

2)系统内相机间关系和系统误差分析：对于主视点位置得到具有相同分辨率的两张深度散点图像而言，理论上同一位置处的深度值应保持一致，而实际中存在偏差。对于这种系统误差，从来源和特质两方面对其进行分析对双视点融合至关重要。

21)相机间相互影响误差：相机间相互影响误差是两台相机同时处于工作状态时，一台相机对另一台相机产生影响，从而引起两台相机采集到的深度图像在深度值上存在偏差。用搭建好的双目系统采集同一静止场景的深度图像，第一次只有K_L相机保持工作状态，K_R关闭，第二次同时开启两台相机处于工作状态，同样仅使用K_L采集场景图。对比两次得到的场景图像可以发现，K_R工作时，K_L采集到的场景深度图像噪声更大，空洞增加，但两次采集到的图像在深度值上没有明显的差异分布。从而排除了系统内相机间互相干扰引起的系统误差。

22)系统误差分布形式：由于深度散点图由图像配准生成，有效深度值坐在位置并不是一一对应，系统误差的计算针对两张深度散点图中深度值均存在的像素位置。对深度值均存在的像素位置进行深度相减得到误差散点图，从而得到误差分布情况(如图3所示)：误差分布不是随机分布，而呈现一定的与位置相关的规律性；图像中心位置误差较小，两个相机得到的深度值准确性较高；随着与图像中心位置距离的增加，误差增加，两个相机得到的深度值准确性降低。同时，这种与距离相关的误差分布近似二次锥形状(近高斯分布)。

3)边缘导向的融合策略：双目深度系统的优势在于辅助视点中存在主视点中没有的深度信息，以此可以对主视点信息进行补充。即：主视点中由于物体的遮挡等原因存在深度不可测区域，例如前背景衔接处，而这些位置可能是辅助视点可见区域，在辅助视点深度散点图中存在有效深度值，从而可以对主视点进行深度信息补充。边缘导向融合策略即确定融合点的位置，以确保填充位置的准确，避免在多余的填充信息，得到准确的融合深度图D。

令x表示图像上的像素位置，D_L(x)为深度图D_L中x位置处的深度值，D_R(x)为深度图D_R中x位置处的深度值，D(x)为融合深度图D中x位置处的深度值。在同一视点下的两张深度散点图上，像素位置x存在处以下三种情况：

31)D_L中x位置处的深度值不为0，此时，不论D_R中x位置处的深度值是否为0，融合图像D中x位置处的深度值D(x)都置为D_L中的值D_L(x)，即：D(x)＝D_L(x)。这是因为D_L由辅助视点深度图进行配准而得，此过程中由于存在较大的基线距离更容易引入误差，影响深度值的可靠性，所以当D_L中深度值存在时，融合深度图的深度值以D_L的深度值为准。

32)D_L、D_R中x位置处的深度值均为0，则融合图像D中x位置处的深度值D(x)置为0。即：D(x)＝0。

33)这种情况较为特殊，也是最重要的一种情况。即：D_L中x位置处的深度值为0，而D_R中x位置处的深度值不为0，此时称像素位置x为待补偿位置。对于这种情况，本发明提出了一种判别准则来决定D_R中x位置处的深度值是否可以用于D(x)的估计。这一判别准则包含两部分：彩色连续性F_c(x)和深度连续性F_d(x)。

彩色连续性F_c(x)指待补偿位置x不属于彩色边缘区域，即当x的邻域内不存在彩色边界时，视为该位置处具有彩色连续性。因为彩色边缘区域可能存在深度跃变，更容易引入错误的深度值，彩色连续性的约束可以从彩色边缘角度避免错误深度值得引入。数学表达为：

其中，∑·为求和符号；E是由彩色图像通过Canny算子计算得到的彩色边缘图像，N_e(x)是E中以x为中心的21×21邻域，y表示邻域N_e(x)内的像素位置，E(y)指E中y位置处的边缘标识值。

深度连续性F_d(x)是指D_R中的深度值与D_L中待补偿位置的估计值连续，即两者差值在一定范围以内，此时称该位置具有深度连续性。因为深度补偿要在同一类深度中进行，即背景深度补偿背景深度、前景深度补偿前景深度，而不能用背景深度对前景深度进行补偿(反之亦然)，所以要对深度连续性进行判断和约束，以保证补偿的准确。数学表达为：

其中，|·|为绝对值符号，N_d(x)为，为D_L中以x为中心的21×21邻域内有效邻域值(不为0的深度值)的均值估计；D_th为深度阈值，实验中D_th＝500。

将F_c(x)和F_d(x)联合，得到最终的判决准则F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值为1，则认为D_R(x)可以用于D(x)的误差补偿估计；否则，D_R(x)不可用于D(x)的误差补偿估计，D(x)置为0，即：D(x)＝0。

4)基于误差补偿的双视点融合：对于可以进行补偿的像素位置，深度值由误差补偿公式得到：

其中，x表示深度图中像素位置，||·||₂为二范数项，e为误差散点图，N(x)为e中以x为中心的23×23邻域，y表示邻域N(x)内的像素位置，e(y)为e中y位置处的误差值。

像素x处的误差补偿可以看作是一个误差拟合过程，计算误差散点图中的局部有效误差的加权平均作为误差的拟合值，并将其与D_R(x)进行补偿从而得到最终的融合深度值D(x)。

通常情况下，误差散点图是稀疏的，信息量较少，所以得到的拟合值将继续作为e的补充填入到误差散点图中，以此增加误差散点图的误差值，为后续的深度补偿提供更多的信息。

双视点融合结果对比图如图4所示，本发明提出的融合策略能够很好避免错误深度信息的引入，保证融合的准确性。

5)深度图像的填充：得到融合后的深度图后，使用一种边缘导向的三遍滤波将稀疏的深度散点图中有效深度值扩散到整个图像，以得到高质量的深度图像。图像扩散过程中，彩色边缘图像E用于控制扩散顺序，保证在深度确实区域由外向内扩散，避免在深度不连续区域出现过滤波、形成伪像，对于深度缺失点，滤波方程为：

其中，w为标准化系数，I为同一坐标系下的高质量彩色图像；为融合深度图D中像素x邻域内的可行集，由彩色边缘图像E决定，y表示可行域内的像素位置；D(x)、D(y)、I(x)、I(y)分别表示融合深度图D、彩色图I中像素x、y位置处的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分别表示欧几里得空间距离、深度值差异和彩色空间差异，其下标λ、ξ、μ为对应项方差，取值分别为200、10、6。

实验最终结果如图5，图6所示。

Claims (5)

1.一种基于双目Kinect深度相机系统的深度恢复方法，其特征是，首先搭建一个基于双目深度相机的采集系统，并基于相机间相关关系和系统误差特性的分析；使用基于边缘约束和误差补偿的视点融合算法进行视点融合，实现视点间深度信息的补充，最后利用基于边缘导向的三边滤波器完成深度图像的扩散填充以得到深度图像；其中：边缘导向的融合策略：令x表示图像上的像素位置，D_L(x)为深度图D_L中x位置处的深度值，D_R(x)为深度图D_R中x位置处的深度值，D(x)为融合深度图D中x位置处的深度值，在同一视点下的两张深度散点图上，像素位置x上存在以下三种情况：

31)D_L中x位置处的深度值不为0，此时，不论D_R中x位置处的深度值是否为0，融合图像D中x位置处的深度值D(x)都等于D_L中的值D_L(x)，即：D(x)＝D_L(x)；

32)D_L中x位置处的深度值为0，D_R中x位置处的深度值也为0，则融合图像D中x位置处的深度值D(x)置为0，即：D(x)＝0；

33)D_L中x位置处的深度值为0，而D_R中x位置处的深度值不为0，对于这种情况，采用如下判别准则来决定D_R中x位置处的深度值是否可以用于D(x)的估计，判别准则包含两部分：彩色连续性F_c(x)和深度连续性F_d(x)：

其中，∑·为求和符号；E是由彩色图像通过Canny算子计算得到的彩色边缘图像，N_e(x)是E中以x为中心的N×N邻域，y表示邻域N_e(x)内的像素位置，E(y)指E中y位置处的值；|·|为绝对值符号，为D_L中以x为中心的N×N邻域内有效邻域值即不等于0的深度值的均值估计，D_th为深度阈值，将F_c(x)和F_d(x)联合，得到最终的判决准则F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值为1，则认为D_R(x)可以用于D(x)的误差补偿估计；否则，D_R(x)不可用于D(x)的误差补偿估计，D(x)置为0，即：D(x)＝0。

2.如权利要求1所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，构建双目深度相机系统具体步骤：将两个深度相机放置在水平架子上，相机间基线距离可调节，使用两台电脑分别控制两个相机进行采集；左侧相机视为主视点相机，记为K_L；右侧相机为辅助视点相机，记作K_R，K_L、K_R采集到的深度图像分别扭转到K_L的彩色相机的坐标系中，K_L采集到的深度图像经过图像配准得到的散点图记为D_L，K_R采集到的深度图像经过配准得到的散点图记为D_R，从而在主视点位置处，得到具有相同分辨率的高质量彩色图像和两张深度散点图像。

3.如权利要求2所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，系统内相机间关系和系统误差分析：从相机间关系和误差分布状况两方面对其进行分析；

21)相机间相互影响误差：用搭建好的双目系统采集同一静止场景的深度图像，第一次只有K_L相机保持工作状态，K_R关闭；第二次同时开启两台相机处于工作状态，同样仅使用K_L采集场景图，对比两次得到的场景图像判断误差情况，确定相机间相互影响状况；

22)系统误差分布形式：在同一视点下的两张深度散点图中，深度值均存在的像素位置进行深度值相减得到误差散点图，根据误差散点图，分析其分布形式。

4.如权利要求2所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，基于误差补偿的双视点融合：

41)对于可以进行补偿的像素位置，深度值由误差补偿公式得到：

其中，x表示深度图中像素位置，||·||₂为二范数项，e为误差散点图，N(x)为e中以x为中心的N×N邻域，y表示邻域N(x)内的像素位置，e(y)为e中y位置处的误差值；

42)得到的拟合值将进一步作为误差的补充填入到误差散点图e中。

5.如权利要求1所述的基于双目Kinect深度相机系统的深度恢复方法，其特征是，深度图像的扩散填充：得到融合后的深度图D(x)后，对于图中深度缺失点，滤波方程为：深度图像的填充：得到融合后的深度图后，引入彩色边缘图像控制深度扩散顺序，保证在空洞区域由外向内扩散填充，对于深度缺失点，滤波方程为：

其中，w为标准化系数，I为同一坐标系下的高质量彩色图像；为融合深度图D中像素x邻域内的可行集，由彩色边缘图像E决定，y表示可行域内的像素位置；D(x)、D(y)、I(x)、I(y)分别表示融合深度图D、彩色图I中像素x、y位置处的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分别表示欧几里得空间距离、深度值差异和彩色空间差异，其下标λ、ξ、μ为对应项方差。