CN109685732B - 一种基于边界捕捉的深度图像高精度修复方法 - Google Patents

Abstract

本发明请求保护一种基于边界捕捉的深度图像高精度修复方法，其包括以下步骤：步骤1、首先设计了一种并行的深度图像和彩色图像的配准方法，从而快速完成彩色图像中每一个像素点深度值的获取；步骤2、其次在联合双边滤波器的基础上引入噪声核函数和从属核函数对深度图像进行降噪；步骤3、然后利用深度图像与彩色图像具有相似物体边界的特性，通过彩色图像物体边界对深度图像边界进行捕捉，获取深度图像物体边界处的“空洞”区域；步骤4、最后通过改进的快速进行法对空洞区域进行填补，本发明可以在保证实时性的前提下提高深度图像边缘精度。

Description

一种基于边界捕捉的深度图像高精度修复方法

技术领域

本发明属于增强现实技术领域，具体涉及一种基于边界捕捉的深度图像高 精度修复方法。

背景技术

近年来随着主动测距传感技术的发展，利用低价的传感器来实时获取较高 分辨率的三维场景信息已经成为可能。特别是随着Kinect、Softkinetic等深度传 感器的问世，使这种优势更加明显。它们通过对目标场景发射连续的近红外脉 冲，然后用传感器接收由物体反射回的光脉冲。通过比较发射光脉冲与经过物 体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟进而得到物体 相对于发射器的距离，最终得到一幅深度图像。但受限于硬件精度和装配环境 特点，采集到的深度图像通常存在大量的噪声和“空洞”，影响深度图像的准确 度，从而直接影响点云的数量和生成质量。目前已有学者提出多种深度图像降 噪修复算法，对于深度图像质量的提高起到了积极的作用。主要包括：

基于单帧深度图像的降噪是最早发展起来的深度图像修复技术，代表方法 有：均值滤波、中值滤波、高斯滤波、双边滤波及他们的改进算法。均值滤波 算法简单，计算速度快，但该方法在降低噪声的同时会使物体的边缘和细节部 分图像产生模糊，而且不能去除噪声，只能微弱的减弱噪声。中值滤波算法简 单，对被椒盐噪声污染的深度图像降噪效果明显，但是深度图像中除含有椒盐 噪声外，还有轻微的高斯噪声，尤其在物体边缘处还存在很多不确定性像素和 遮挡快，此时中值滤波无法利用图像中的结构信息，从而导致深度图像中细节 信息的丢失。虽然Loupas针对中值滤波的缺陷提出了一种结合线性滤波器的自 适应权值中值滤波方法，该方法提高了图像的细节描述能力，但却降低了对非 高斯噪声的鲁棒性。高斯滤波对服从正态分布的噪声有较好的抑制效果，被广 泛的应用于图像的降噪过程。但是高斯滤波会将噪声区域像素值传播到非噪声 图像区域。双边滤波是一种加权非线性高斯滤波，高斯滤波只考虑了空间距离 的影响，对每一个像素点值的变化并不关注，因此高斯滤波会在过滤噪声的同 时将图像中的边缘信息模糊掉。为了更好地保留边缘信息，双边滤波在权值的 确定上进行了变化，双边滤波的权值增加了一项新的子项，即像素变化权值， 可以在像素值变化较大时，让权值变小，使滤波器降低在边缘处的滤波效果，起到保护边缘的目的。但是该方法会将边界深度值平均，导致物体边缘与背景 交界处出现过渡结构，不利于图像边界或纹理信息的保持，影响深度图像质量。

结合多源信息的深度图像降噪是目前被广泛使用的方法，该类方法采用同 一时刻获取的高分辨率彩色图像对低分辨率的深度图像进行降噪修复。由于两 种模态的图像具有共同的特征属性，如边界信息、纹理变化信息。因此，彩色 图像中的这些特征能为深度图像的降噪修复提供信息指导。

Yeo等人采用基于自适应高斯函数标准差的联合双边滤波(Adaptive Based JBF)对深度图像进行降噪，实验结果表明：使用自适应高斯函数标准差的联合 双边滤波算法生成的深度图像更加平滑，物体边界更加清晰。Chan和Liu等分 别提出采用局部统计和测地距离来决定联合双边滤波器中的权重值大小。Xie和 Diebel等采用马尔科夫随机场(MRF)优化策略，利用高分辨率边界彩色图像， 通过联合双边滤波生成高分辨率深度图像，该方法不仅避免了直接纹理预测， 同时减少了锯齿状伪影，使边界保持良好的特性。但是，上述深度图像降噪方 法，在彩色图像边界没有显著色差时，会在深度图像边缘产生模糊效果。而且 深度图像中脉动的离群深度值和大面积的噪音也会由于滤波器的使用而扩散到 周边图像区域，从而影响深度图像精度。

Riegler等采用完全卷积网络和非局部变分方法组成的原始对偶网络对数据 库中的深度-彩色图像进行训练，从而获得没有噪声、分辨率高的深度图像。但 是该方法采用的对偶网络需要一个较大的数据集进行监督学习。Hui等采用多尺 度引导卷积网络(MSG-Net)对深度图像进行修复，该方法使用尺度融合策略， 将彩色图像中的特征信息作为深度图像的有效补充，达到了较好的修复效果。 Zhang等采用卷积神经网络对深度图像进行降噪和修复，该方法采用深度图像和 彩色图像作为输入，并使用三层网络对深度图像进行高维投影、丢失数据恢复、 图像重构，获得了较好的降噪修复效果。但是采用临近视频帧和卷积网络等方 法对深度图像进行降噪修复实时性较差，卷积网络需要大量的数据集进行监督 学习，实施过程不便，且对于无先验知识的机械产品装配场景不适用。

通过以上分析可以看出，目前深度图像降噪修复领域尚存在的问题是：基 于单帧深度图像的降噪修复方法，不利于图像边界或纹理信息的保持，影响深 度图像质量。基于多帧彩色-深度图像的降噪修复方法实时性较差，需要大量的 数据集进行监督学习，实施过程不便。基于单帧深度-彩色图像的降噪修复是目 前常用的方法，但是，

1)现有研究中往往会由于滤波器的使用，导致深度图像中脉动的离群深度 值和大面积的噪音扩散到周边图像区域，从而影响深度图像精度。

2)现有方法大多会将物体边缘平滑，使物体边缘与背景交界处出现过渡结 构，降低了深度图像精度，而且现有降噪修复算法耗时较长。如何在保证实时 性的前提下提高深度图像边缘精度，有待深入探讨。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种在保证实时性的前提下提 高深度图像边缘精度的基于边界捕捉的深度图像高精度修复方法。本发明的技 术方案如下：

一种基于边界捕捉的深度图像高精度修复方法，其包括以下步骤：

步骤1、首先设计了一种并行的深度图像和彩色图像的配准方法，主要包括：

(1)首先将深度传感器进行联合标定，分别获取彩色相机内部参数矩阵M_{int_C}， 深度相机内部参数矩阵M_{int_D}和他们之间的相对位置关系；

(2)然后对于深度图像中的每一个像素点，为了获得它在彩色图像中的对应点，采用图形处理器(GPU)多线程对深度图像中的每一个像素点进行并行反投影， 通过深度相机坐标系和彩色相机坐标系之间的关系，可以求得深度相机坐标空 间点P_{3D_D}在彩色相机坐标系空间中的位置P_{3D_C}；

(3)最后利用彩色相机内部参数矩阵M_{int_C}将P_{3D_C}投影到彩色图像平面；

从而快速完成彩色图像中每一个像素点深度值的获取；

步骤2、其次在联合双边滤波器的基础上引入噪声核函数和从属核函数对深 度图像进行降噪；

步骤3、然后利用深度图像与彩色图像具有相似物体边界的特性，通过彩色 图像物体边界对深度图像边界进行捕捉，获取深度图像物体边界处的“空洞” 区域；

步骤4、最后通过改进的快速进行法对空洞区域进行填补，改进的快速进行 法在传统FMM方法的基础上进行改进，结合深度传感器彩色图像信息，对空洞 区域边缘上的点p的从属关系进行判断，并重新设计了权值。

进一步的，所述步骤1设计了一种并行的深度图像和彩色图像的配准方法， 具体包括：

将深度图像与彩色图像建立映射关系，即是将空间某一点在深度图像坐标 系中坐标u_D＝(x_d,y_d)与其在彩色图像坐标系中的坐标u_C＝(x_C,y_C)对应起来；

首先将深度传感器进行联合标定，分别获取彩色相机内部参数矩阵M_{int_C}，深 度相机内部参数矩阵M_{int_D}和他们之间的相对位置关系

R为3×3 的旋转矩阵，T为3×1的平移向量；

在时刻i，对于深度图像D_i(u)中的每一个像素点u＝(x,y)，为了获得它在彩色 图像中的对应点u_C＝(x_C,y_C)，像素点u首先被反投影到深度相机坐标系空间，为 了对此反投影过程进行加速，采用图形处理器多线程对深度图像中的每一个像 素点u进行并行反投影，其在深度相机坐标空间点P_{3D_D}表示为：

P_{3D_D}＝D_i(u)M_{int_D} ^-1[u,1] (1)

然后通过深度相机坐标系和彩色相机坐标系之间的关系

求得P_{3D_D}点在彩色相机坐标系空间中的位置P_{3D_C}：

P_{3D_C}＝RP_{3D_D}+T (2)

最后利用彩色相机内部参数矩阵M_{int_C}将P_{3D_C}投影到彩色图像平面：

s[x_C,y_C,1]^T＝M_{int_C}P_{3D_C}，s表示缩放因子(3)

通过以上映射过程，就能获得彩色图像上每一个像素点对应的深度信息。

进一步的，所述步骤2在联合双边滤波器的基础上引入噪声核函数和从 属核函数对深度图像进行降噪，具体表达式为；

式中：D_p(i,j)表示降噪后的深度图像,，i、j分别为在图像点p的横坐标、纵坐 标。k、l分别表示在图像点q的横、纵坐标。D_q(k,l)表示降噪前的的深度图像。 p—当前待修复点图像坐标；D_p—滤除噪声之后的深度图像像素值；q—用于修 复当前图像点p的支持像素；B(ε)—用于修复当前图像点p的邻域；

—空间域核函数，空间距离越近，其权值越大；

—颜色相似核函数，通过比较p点对应彩色图 像像素值I_p和q点对应彩色图像像素值I_q，在像素值变化较大时，其权值较小；

—从属核函数，如果支持像素q(k,l)位于背景上，从属核函数权值设置为0，其他情况设置为1；

—噪声核 函数，红色区域为噪声，给权重值0，q表示以像素p为中心的支持像素坐标。

进一步的，所述步骤3通过彩色图像物体边界对深度图像边界进行捕捉，具 体包括：深度图像与彩色图像具有相似的物体边界，并且边界处具有较大的图 像梯度，通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在彩色 图像中的对应点，通过动态规划有效地进行能量函数最小化，以确定每个边缘 点的最佳目标位置；最后，获取目标边界和实际边界形成的空洞区域，为此区 域的空洞填补做准备。

进一步的，通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在 彩色图像中的对应点，具体包括：首先在深度图像物体边界处提取局部邻域内 具有较大深度值跳变的点，并且只考虑具有有效深度值的像素。对于每一个像 素，在其3×3的邻域内，如果四个相邻像素中的任何一个具有无效的深度值或 具有与中心像素不同的有效深度值，那么该中心像素被认为是一个边缘点，为 了消除离群异常值的影响，在边缘点提取之前采用形态学掩模进行形态学开运 算；

然后对提取的边缘点进行分组并排序，为了对边缘点进行分组，在图像网格 上进行深度优先搜索，在搜寻的过程中，只有当前边缘点在另一个边缘点的3 ×3邻域内且两像素之间的深度差小于某一阈值τ_max，那么认为这两个像素点为 相邻边缘点，每一组边缘点都被重新排序，以便它们从边缘轮廓的一端向另一 端移动，所有操作分别针对每一组的边缘点执行；最后计算这些边缘点的法线 方向，使用低通滤波来平滑边缘点的位置，并利用两个相邻点计算每个边缘点 的法线，沿法线方向搜索候选点。

进一步的，定义了一个平滑项来惩罚彩色图像中相邻边缘像素之间的较大偏 差：

式中：p_i,p_j——连续的两个边缘点；c_i,k,c_j,l——分别为p_i和p_j对应的彩色图像中的候选点；d_max——两个连续的边缘点允许的最大偏差；

因此，深度图像边缘点集对应的彩色图像中的最佳候选点集通过优化能量函 数E获得：

式中：λ_s——平滑约束权值；

式(12)属于离散最优化问题，可以通过动态规划有效解决，理解为解空间 的最佳路径问题，首先构造一个N×(2r_s+1)维的矩阵H，N为深度图像边缘点个 数，用E_d(i,k)对H(i,k)进行初始化：E_d(i,k)表示平滑项，H(i,k)表示单应性矩阵

H(i,k)＝E_d(i,k) (13)

然后从第一个边缘点开始遍历，对矩阵H进行更新，从而得到最佳候选点i到 i+1的最佳路径：

H(i+1,l)＝E_d(i+1,l)+m_kin{H(i,k)+E_s(i,k,i+1,l)} (14)

最终，通过优化计算可以获得每一个边缘点的目标位置和最佳候选点i到i+1 的最佳路径，从而获得最佳物体目标候选边界。

进一步的，所述步骤4通过改进的快速进行法对空洞区域进行填补，具体包 括：结合彩色图像信息的改进FMM方法如下：

式中：D_p——深度图中像素p点的深度值；q——待修复像素p点的支持像素， D_q表示像素q点的深度值。

对权值w(p,q)进行了修改，新的权值如下：

w(p,q)＝dir(p,q)·clr(p,q)·lev(p,q)bel(p,q) (18)

其中去掉了几何距离因子dst(p,q)，添加了颜色相似权值函数clr(p,q)，lev(p,q)表示水平集距离因子。它表示彩色图像中颜色的相似程度：

式中：I_p——p点对应的彩色图像像素值；I_q——q点对应的彩色图像像素值；δ——高斯函数的标准差；同时添加了新的权值项，从属核函数bel(p,q)。

本发明的优点及有益效果如下：

本发明设计了一种并行的深度图像到彩色图像的快速配准方法，实现了彩色 图像中每一个像素点深度数据的快速获取，可以解决该映射过程运算量大，会 严重影响到系统的运行速度的问题，该运算方法对该过程能起到加速的作用。 其次在联合双边滤波器(JBF)的基础上引入噪声核函数和从属核函数对深度图 像进行降噪，避免了噪声区域的扩散。然后利用深度图像与彩色图像具有相似 物体边界的特性，通过彩色图像物体边界对深度图像边界进行捕捉，获取深度 图像物体边界处的“空洞”区域。最后通过改进的FMM(FastMarching Method， 快速进行)算法对空洞区域进行填补，使深度图像恢复良好的边界特性，从而 获得高精度的深度图像。通过算法的运行效果，证明了方法的实时性和有效性。

附图说明

图1是本发明提供优选实施例基于边界捕捉的深度图像修复方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明借助深度传感器采集的彩色图像信息，提出了一种基于边界捕捉的 深度图像修复方法。该方法首先设计了一种并行的深度图像和彩色图像的配准 方法，从而快速完成彩色图像中每一个像素点深度值的获取。其次在联合双边 滤波器的基础上引入噪声核函数和从属核函数对深度图像进行降噪，然后利用 深度图像与彩色图像具有相似物体边界的特性，通过彩色图像物体边界对深度 图像边界进行捕捉，获取深度图像物体边界处的“空洞”区域。最后通过改进 的快速进行法对空洞区域进行填补。本方法实时性好，在更好的对深度图像进 行降噪的同时，维持了深度图像中物体良好的边缘特性，降噪修复效果优于双 边滤波、联合双边滤波和Weighted Joint Bilateral Filter等算法。该方法主要包括 以下步骤：

1.深度图像到彩色图像的映射

由于深度传感器与彩色相机并不处在同一空间位置，它们所获取的图像像 素会因相机空间位置的不同和视场角的不同而产生偏移。因此需要将深度传感 器所获取的深度图像和彩色相机获取的彩色图像逐像素建立映射关系，以方便 深度信息的使用。

将深度图像与彩色图像建立映射关系，即是将空间某一点在深度图像坐标 系中坐标u_D＝(x_d,y_d)与其在彩色图像坐标系中的坐标u_C＝(x_C,y_C)对应起来。但是 由于该映射过程运算量大，会严重影响到系统的运行速度。因此本文设计了一 种并行运算方法对该过程进行加速。

首先采用方法将深度传感器进行联合标定，分别获取彩色相机内部参数矩阵M_{int_C}，深度相机内部参数矩阵M_{int_D}和他们之间的相对位置关系

R为3×3的旋转矩阵，T为3×1的平移向量。

在时刻i，对于深度图像D_i(u)中的每一个像素点u＝(x,y)，为了获得它在彩色 图像中的对应点u_C＝(x_C,y_C)，像素点u首先被反投影到深度相机坐标系空间。为 了对此反投影过程进行加速，采用图形处理器(GPU)多线程对深度图像中的每 一个像素点u进行并行反投影，其在深度相机坐标空间点P_{3D_D}表示为：

P_{3D_D}＝D_i(u)M_{int_D} ^-1[u,1] (1)

然后通过深度相机坐标系和彩色相机坐标系之间的关系

可以 求得P_{3D_D}点在彩色相机坐标系空间中的位置P_{3D_C}：

P_{3D_C}＝RP_{3D_D}+T (2)

最后利用彩色相机内部参数矩阵M_{int_C}将P_{3D_C}投影到彩色图像平面：

s[x_C,y_C,1]^T＝M_{int_C}P_{3D_C} (3)

通过以上映射过程，就能获得彩色图像上每一个像素点对应的深度信息。

2.改进的联合双边滤波器降噪

由于机械产品装配环境中存在大量表面光滑的零部件、部分吸收红外光线的 金属材料以及环境温度变化等，致使深度图像中物体边界处呈现锯齿状“波 动”、无法测量的“空洞”以及大量的图像噪声。为抑制深度图像中的噪声， 首先结合深度传感器彩色图像信息，利用改进的联合双边滤波(JBF)对深 度图像进行降噪。联合双边滤波器是一种双边滤波改进算法，提出的初衷是 将同一位置获取的两幅不同特征的图像，利用其中一幅图像对另一幅图像进 行降噪修复。由于深度传感器能获取同一时刻的彩色和深度图像，因此可以利用彩色图像中完整的边缘信息来对深度图像进行滤波。联合双边滤波可由 下式表示：

式中：

I(x,y)——滤除噪声之后的图像像素值；

n(i,j)——用于去除噪声的支持像素值；

w(i,j)——滤波器在处的权值，且；

B(ε)——像素的邻域。

w_k(i,j)为高斯滤波权值，它与空间距离线性相关，空间距离越近，其权值越 大，数学表达式为：

式中：

σ_k——高斯函数的标准差。

w_h(i,j)为颜色相似权值，颜色越接近，其权值越大，数学表达式为：

式中：

G(i,j)——为彩色图像中的像素值；

σ_h——高斯函数的标准差。

联合双边滤波只考虑了空间距离和颜色相似程度对深度图像的影响。但是 由于深度图像本身含有噪声，如果在考虑空间距离时，不将这部分噪声加以消 除就会在降噪过程中引入新的误差。同时，深度图像物体边界处像素值会发生 跳变，对于边界处的像素降噪需要考虑支持像素的从属关系，降低误差。因此， 本文在考虑空间距离(空间域核函数)和颜色相似程度(颜色相似核函数)的 基础上，引入噪声核函数和从属核函数，

式中：

p—当前待修复点图像坐标

D_p—滤除噪声之后的深度图像像素值；

q—用于修复当前图像点p的支持像素；

B(ε)—用于修复当前图像点p的邻域；

—空间域核函数，空间距离越近，其权值越大。

—颜色相似核函数，通过比较p点对应彩色图

像像素值I_p和q点对应彩色图像像素值I_q，在像素值变化较大时，其权值较 小。

—从属核函数，如果支持像素q(k,l)位于背景上，从属核函数权值设置为0，其他情况设置为1。

—噪声核函数，红色区域为噪声，给权重值0。 q表示以像素p为中心的支持像素坐标。

3.深度图像物体目标边界捕捉

上边介绍了深度图像的降噪方法，本节将利用彩色图像信息，对降噪后的深 度图像中物体的目标边界进行捕捉，为边界空洞区域修复做准备。受文献的 启发，本部分介绍了一种高精度的深度图像边界捕捉方法。其主要思想为： 深度图像与彩色图像具有相似的物体边界，并且边界处具有较大的图像梯度。 通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在彩色图像 中的对应点，通过动态规划有效地进行能量函数最小化，以确定每个边缘点 的最佳目标位置。最后，获取目标边界和实际边界形成的空洞区域，为此区 域的空洞填补做准备。

首先在深度图像物体边界处提取局部邻域内具有较大深度值跳变的点，并且 只考虑具有有效深度值的像素。对于每一个像素，在其3×3的邻域内。如果四 个相邻像素中的任何一个具有无效的深度值或具有与中心像素不同的有效深度 值，那么该中心像素被认为是一个边缘点。为了消除离群异常值的影响，在边 缘点提取之前采用形态学掩模进行形态学开运算。

然后对提取的边缘点进行分组并排序。为了对边缘点进行分组，我们在图像 网格上进行深度优先搜索。在搜寻的过程中，只有当前边缘点在另一个边缘点 的3×3邻域内且两像素之间的深度差小于某一阈值τ_max，那么可认为这两个像 素点为相邻边缘点。为了后期对应候选点搜索和优化计算方便，每一组边缘点 都被重新排序，以便它们从边缘轮廓的一端向另一端移动。所有操作分别针对 每一组的边缘点执行。

最后计算这些边缘点的法线方向。由于原始的深度边缘呈现锯齿状“波动”， 直接从这些边缘点计算法线方向将出现杂乱无章的特点，因此，使用低通滤波 来平滑边缘点的位置，并利用两个相邻点计算每个边缘点的法线，为后文沿法 线方向搜索候选点打基础。平滑边缘点仅用于法线计算，而所有后续处理仍然 依赖于原始深度边缘点。

对于彩色图像，首先在RGB颜色空间中，利用Sobel算子获得物体位置x处 的梯度：

同时为了提高物体边界处的判别能力，同时利用Sobel算子在YCbCr色彩空 间计算梯度方向：

根据前面所描述的，深度图像上的边缘点应该对齐到彩色图像中具有较大梯 度方向的点。因此，以深度图像中每一个边缘点为圆心，在半径为r_s的范围内， 沿2D法线正、负方向搜索彩色图像中的对应点。定义深度图像上的某一边缘点 为p_i及其对应彩色图像候选点集为

在不同颜色空间候选 点方向梯度最大的惩罚函数定义为：

式中：

w^rgb——RGB颜色空间在位置x处梯度权值；

w^cbcr——YCbCr颜色空间在位置x处梯度权值；

为了达到平滑的对齐效果，相邻两边缘点应该对齐到在彩色图像中彼此相距 不远的位置。因此，我们定义了一个平滑项来惩罚彩色图像中相邻边缘像素之 间的较大偏差：

式中：

p_i,p_j——连续的两个边缘点；

c_i,k,c_j,l——分别为p_i和p_j对应的彩色图像中的候选点；

d_max——两个连续的边缘点允许的最大偏差。

因此，深度图像边缘点集对应的彩色图像中的最佳候选点集可以通过优化能 量函数E获得：

式中：

λ_s——平滑约束权值；

式(12)属于离散最优化问题，可以通过动态规划有效解决，理解为解空间 的最佳路径问题。首先构造一个N×(2r_s+1)维的矩阵H，N为深度图像边缘点个 数。用E_d(i,k)对H(i,k)进行初始化：

H(i,k)＝E_d(i,k) (13)

然后从第一个边缘点开始遍历，对矩阵H进行更新，从而得到最佳候选点i到 i+1的最佳路径：

H(i+1,l)＝E_d(i+1,l)+m_kin{H(i,k)+E_s(i,k,i+1,l)} (14)

最终，通过优化计算可以获得每一个边缘点的目标位置和最佳候选点i到i+1 的最佳路径，从而获得最佳物体目标候选边界。

4.空洞区域分类

在获取了目标边界和实际边界形成的空洞区域后，本文将其划分为两种情况， 一种情况为深度值缺失(目标边界和实际边界形成的区域深度图像像素值 D(u)＝0u∈Case1)，另一种情况与其相反，物体边界以外被标记为物体的深度值 (目标边界和实际边界形成的区域深度图像像素值)。对于这两种情况，修复时 所采用的参考像素略有不同。对于第一种情况，采用来自物体的深度值对缺失 的深度值进行修复。对于第二种情况，首先将待恢复区域深度值置0，然后按深 度值缺失进行处理，但恢复过程采用来自周围背景的深度值对缺失的深度值进 行修复。空洞区域填补

为了对上述两种情况下的空洞区域进行填补，对快速行进法进行改进。快速 行进法(Fast Marching Method，FMM)图像修复的基本原理是利用待修复像素 周围一个小邻域内的相关像素对待修复像素进行估计，从而实现对图像缺失区 域的修复。其修复顺序为先对待修复区域边缘上的像素进行修复，然后层层向 内推进，直到修复区域内所有像素点。

Ω表示深度图像中的空洞区域，p点为空洞区域边缘上的一点，N为p点的 法线方向，以p点为中心，ε为尺度选择一个小邻域对像素p的值进行估计。假 设某一支持像素q∈B(ε)，像素点q的像素值为I_q，q点的梯度为▽I_q。p点像素值 的一阶估计为：

遍历邻域B(ε)，像素p的像素值估计为：

式中：

w(p,q)——像素点的权重项。其中w(p,q)＝dir(p,q)·dst(p,q)·lev(p,q)；

dir(p,q)——方向因子，

表示越靠近法向量的像素点对p点的贡献越大；

dst(p,q)——几何距离因子，

表示距离p点越近的像素点对于点p贡献越大。d₀为距离参数，一般情况下取值为1；

lev(p,q)——水平集距离因子，

表示离p所在的轮廓线越近的已知像素点对点p的贡献越大。T₀为水平集参数，一般情况下取值为1。

本文在传统FMM方法的基础上进行改进，结合深度传感器彩色图像信息，对 p点的从属关系进行判断，并重新设计了权值。

结合彩色图像信息的改进FMM方法如下：

式中：

D_p——深度图中像素p点的深度值；

q——待修复像素p点的支持像素。

本文对权值w(p,q)进行了修改，新的权值如下：

w(p,q)＝dir(p,q)·clr(p,q)·lev(p,q)bel(p,q) (18)

其中去掉了几何距离因子dst(p,q)，添加了颜色相似权值函数clr(p,q)，它表 示彩色图像中颜色的相似程度：

式中：

I_p——p点对应的彩色图像像素值；

I_q——q点对应的彩色图像像素值；

δ——高斯函数的标准差。

同时添加了新的权值项，从属核函数bel(p,q)，对于Case1情况：

对于Case2的情况：

通过p和q点在对应的彩色图像中的从属关系，确定从属核函数的取值。从 而能够有效

处理深度值缺失和物体边界以外被标记为物体的深度值这两种情况，实现了深度图像的边界恢复。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于边界捕捉的深度图像高精度修复方法，其特征在于，包括以下步骤：

步骤1、首先设计了一种并行的深度图像和彩色图像的配准方法，包括：

(1)首先将深度传感器进行联合标定，分别获取彩色相机内部参数矩阵M_{int_C}，深度相机内部参数矩阵M_{int_D}和它们之间的相对位置关系；

(2)然后对于深度图像中的每一个像素点，为了获得它在彩色图像中的对应点，采用图形处理器多线程对深度图像中的每一个像素点进行并行反投影，通过深度相机坐标系和彩色相机坐标系之间的关系，可以求得深度相机坐标空间点P_{3D_D}在彩色相机坐标系空间中的位置P_{3D_C}；

(3)最后利用彩色相机内部参数矩阵M_{int_C}将P_{3D_C}投影到彩色图像平面；

从而快速完成彩色图像中每一个像素点深度值的获取；

步骤2、其次在联合双边滤波器的基础上引入噪声核函数和从属核函数对深度图像进行降噪；

步骤3、然后利用深度图像与彩色图像具有相似物体边界的特性，通过彩色图像物体边界对深度图像边界进行捕捉，获取深度图像物体边界处的“空洞”区域；

步骤4、最后通过改进的快速进行法对空洞区域进行填补，改进的快速进行法，改进在于在传统FMM方法的基础上进行改进，结合深度传感器彩色图像信息，对空洞区域边缘上的点p的从属关系进行判断，并重新设计了权值；

所述步骤4通过改进的快速进行法对空洞区域进行填补，具体包括：结合彩色图像信息的改进FMM方法如下：

式中：D_p——深度图中像素p点的深度值；q——待修复像素p点的支持像素，D_q表示像素q点的深度值；

对权值w(p,q)进行了修改，新的权值如下：

w(p,q)＝dir(p,q)·clr(p,q)·lev(p,q)bel(p,q) (18)

其中去掉了几何距离因子dst(p,q)，添加了颜色相似权值函数clr(p,q)，lev(p,q)表示水平集距离因子，它表示彩色图像中颜色的相似程度：

式中：I_p——p点对应的彩色图像像素值；I_q——q点对应的彩色图像像素值；δ——高斯函数的标准差；同时添加了新的权值项，从属核函数bel(p,q)。

2.根据权利要求1所述的一种基于边界捕捉的深度图像高精度修复方法，其特征在于，所述步骤1设计了一种并行的深度图像和彩色图像的配准方法，具体包括：

将深度图像与彩色图像建立映射关系，即是将空间某一点在深度图像坐标系中坐标u_D＝(x_d,y_d)与其在彩色图像坐标系中的坐标u_C＝(x_C,y_C)对应起来；

首先将深度传感器进行联合标定，分别获取彩色相机内部参数矩阵M_{int_C}，深度相机内部参数矩阵M_{int_D}和它们之间的相对位置关系

R为3×3的旋转矩阵，T为3×1的平移向量；

在时刻i，对于深度图像D_i(u)中的每一个像素点u＝(x,y)，为了获得它在彩色图像中的对应点u_C＝(x_C,y_C)，像素点u首先被反投影到深度相机坐标系空间，为了对此反投影过程进行加速，采用图形处理器多线程对深度图像中的每一个像素点u进行并行反投影，其在深度相机坐标空间点P_{3D_D}表示为：

P_{3D_D}＝D_i(u)M_{int_D} ^-1[u,1] (1)

然后通过深度相机坐标系和彩色相机坐标系之间的关系

求得P_{3D_D}点在彩色相机坐标系空间中的位置P_{3D_C}：

P_{3D_C}＝RP_{3D_D}+T (2)

最后利用彩色相机内部参数矩阵M_{int_C}将P_{3D_C}投影到彩色图像平面：

s[x_C,y_C,1]^T＝M_{int_C}P_{3D_C}，s表示缩放因子 (3)

通过以上映射过程，就能获得彩色图像上每一个像素点对应的深度信息。

3.根据权利要求1所述的一种基于边界捕捉的深度图像高精度修复方法，其特征在于，所述步骤2在联合双边滤波器的基础上引入噪声核函数和从属核函数对深度图像进行降噪，具体表达式为；

式中：D_p(i,j)表示降噪后的深度图像，i、j分别为在图像点p的横坐标、纵坐标，k、l分别表示在图像点q的横、纵坐标；D_q(k,l)表示降噪前的深度图像，p—当前待修复点图像坐标；D_p—滤除噪声之后的深度图像像素值；q—用于修复当前图像点p的支持像素；B(ε)—用于修复当前图像点p的邻域；

—空间域核函数，空间距离越近，其权值越大；

—颜色相似核函数，通过比较p点对应彩色图像像素值I_p和q点对应彩色图像像素值I_q，在像素值变化较大时，其权值较小；

—从属核函数，如果支持像素q(k,l)位于背景上，从属核函数权值设置为0，其他情况设置为1；

—噪声核函数，红色区域为噪声，给权重值0，q表示以像素p为中心的支持像素坐标。

4.根据权利要求1所述的一种基于边界捕捉的深度图像高精度修复方法，其特征在于，所述步骤3通过彩色图像物体边界对深度图像边界进行捕捉，具体包括：深度图像与彩色图像具有相似的物体边界，并且边界处具有较大的图像梯度，通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在彩色图像中的对应点，通过动态规划有效地进行能量函数最小化，以确定每个边缘点的最佳目标位置；最后，获取目标边界和实际边界形成的空洞区域，为此区域的空洞填补做准备。

5.根据权利要求4所述的一种基于边界捕捉的深度图像高精度修复方法，其特征在于，通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在彩色图像中的对应点，具体包括：首先在深度图像物体边界处提取局部邻域内具有较大深度值跳变的点，并且只考虑具有有效深度值的像素；对于每一个像素，在其3×3的邻域内，如果四个相邻像素中的任何一个具有无效的深度值或具有与中心像素不同的有效深度值，那么该中心像素被认为是一个边缘点，为了消除离群异常值的影响，在边缘点提取之前采用形态学掩模进行形态学开运算；

然后对提取的边缘点进行分组并排序，为了对边缘点进行分组，在图像网格上进行深度优先搜索，在搜寻的过程中，只有当前边缘点在另一个边缘点的3×3邻域内且两像素之间的深度差小于某一阈值τ_max，那么认为这两个像素点为相邻边缘点，每一组边缘点都被重新排序，以便它们从边缘轮廓的一端向另一端移动，所有操作分别针对每一组的边缘点执行；最后计算这些边缘点的法线方向，使用低通滤波来平滑边缘点的位置，并利用两个相邻点计算每个边缘点的法线，沿法线方向搜索候选点。

6.根据权利要求4所述的一种基于边界捕捉的深度图像高精度修复方法，其特征在于，定义了一个平滑项来惩罚彩色图像中相邻边缘像素之间偏差：

式中：p_i,p_j——连续的两个边缘点；c_i,k,c_j,l——分别为p_i和p_j对应的彩色图像中的候选点；d_max——两个连续的边缘点允许的最大偏差；

因此，深度图像边缘点集对应的彩色图像中的最佳候选点集通过优化能量函数E获得：

式中：λ_s——平滑约束权值；

式(12)属于离散最优化问题，可以通过动态规划有效解决，理解为解空间的最佳路径问题，首先构造一个N×(2r_s+1)维的矩阵H，N为深度图像边缘点个数，用E_d(i,k)对H(i,k)进行初始化：E_d(i,k)表示平滑项，H(i,k)表示单应性矩阵；

H(i,k)＝E_d(i,k) (13)

然后从第一个边缘点开始遍历，对矩阵H进行更新，从而得到最佳候选点i到i+1的最佳路径：

最终，通过优化计算可以获得每一个边缘点的目标位置和最佳候选点i到i+1的最佳路径，从而获得最佳物体目标候选边界。

Images