CN103136775A

CN103136775A - 基于局部约束重建的kinect深度图空洞填充方法

Info

Publication number: CN103136775A
Application number: CN2013100873639A
Authority: CN
Inventors: 胡瑞敏; 胡金晖; 王中元; 龚燕; 段漭; 宗成强; 石艺; 郭春辉
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2013-03-19
Filing date: 2013-03-19
Publication date: 2013-06-05

Abstract

本发明公开了一种基于局部约束重建的KINECT深度图空洞填充方法，包括步骤：以深度图中空洞像素为中心构建搜索窗，获取搜索窗内的所有非空洞像素；获取空洞像素和非空洞像素在纹理图中的对应位置像素；以各对应位置像素为中心分别构建块，空洞像素的对应位置像素所在的块作为中心块，非空洞像素的对应位置像素所在的块作为邻域块；基于局部约束重建准则构造代价函数，并获得邻域块用来表达中心块的最优权重向量；基于领域块的最优权重向量对搜索窗内的所有非空洞像素的像素值加权求和得到目标像素值，并将目标像素值作为该深度图中该空洞像素的像素值。本发明能更精确地填补深度图在边缘区域和平滑区域的空洞。

Description

基于局部约束重建的KINECT深度图空洞填充方法

技术领域

本发明涉及一种KINECT深度图空洞填充方法，尤其是涉及一种基于局部约束重建的KINECT深度图空洞填充方法及系统。

背景技术

目前，深度信息被广泛应用于基于深度的视点绘制、3D建模和姿势识别等领域。近来，微软发布的KINECT为实时获取深度信息提供了便利，KINECT不仅价格低廉而且还能同时采集场景的深度图和纹理图。然而，由于KINECT采集深度信息所用的结构光测量方法易受到遮挡、透明物体或纹理丰富的区域的影响，导致采集的深度图在对象的边缘或平坦的区域存在空洞，这些空洞严重影响了深度图的应用。因此，对深度图的空洞进行精确填充至关重要。

近年来，很多学者对KINECT深度图的空洞填充提出了不同的方法。Fu等^[1]提出利用连续帧的帧间填充模式来恢复丢失的深度值，然后利用双边滤波算法对深度图进行去噪处理。然而，该算法导致深度图的边缘膨胀，并且一些小空洞依然存在。基于深度图和纹理图在结构上和空间上的相似性，有学者基于纹理图区域分割结果，利用迭代扩散的方法恢复丢失的深度信息，但是该方法易受到纹理图分割精度的限制。Miao等人^[2]利用in-painting算法实现了空洞填充，该方法通过划分波动边缘区域对空洞进行填充，但是在对象边缘的空洞是利用波动边缘区域内深度值的均值进行填充的，深度值并不精确。为了增加非空洞像素权值计算的准确性，Camplani等人^[3]基于联合双边滤波算法利用纹理图来计算非空洞像素的权值进行空洞填充，尽管该方法获得了一定的成效，但该方法在计算非空洞像素的权值时仅分别考虑了单个周围像素对中心像素的贡献，并未考虑所有周围像素对中心像素的整体贡献，致使计算的权值并不最优，影响了空洞填充的精确性。

文中涉及如下参考文献：

[1]Jingjing Fu,Shiqi Wang,Yan Lu,Shipeng Li and Wenjun Zeng,“Kinect-Like Depth Denoising”,in Proc.IEEE International Symposium on Circuits and Systems,pp.512-515,2012.

[2]Dan Miao,Jingjing Fu,Yan Lu,Shipeng Li and Chang Wen Chen,“Texture-assisted Kine ct DepthIn-painting”,in Proc.IEEE International Symposium on Circuits and Systems,pp.604-607,2012.

[3]Camplani,M.and Salgado,L,“Efficient spatio-temporal hole filling strategy for Kinect depth maps”,inProc.SPIE,2012.

发明内容

针对现有技术存在的问题，本发明提供了一种精确度更高的、基于局部约束重建的KINECT深度图空洞填充方法及系统。

为了解决上述技术问题，本发明采用如下的技术方案：

一种基于局部约束重建的KINECT深度图空洞填充方法，包括对深度图当前的空洞像素逐一执行以下步骤：

步骤1，以空洞像素为中心构建搜索窗，并获取搜索窗内的所有非空洞像素；

步骤2，获取搜索窗中心的空洞像素和搜索窗内的所有非空洞像素在纹理图中的对应位置像素，搜索窗中心的空洞像素在纹理图中的对应位置像素简称为空洞像素的对应位置像素，搜索窗内的非空洞像素在纹理图中的对应位置像素简称为非空洞像素的对应位置像素；

步骤3，以纹理图中的各对应位置像素为中心分别构建块，将空洞像素的对应位置像素所在的块作为中心块，将非空洞像素的对应位置像素所在的块作为邻域块；

步骤4，基于局部约束重建准则构造代价函数，根据所构建的代价函数获得所有邻域块用来表达中心块的最优权重向量，所获得的最优权重向量中的各元素对应各邻域块的最优权重；

步骤5，以邻域块的最优权重为位于邻域块中心的非空洞像素的权重，对搜索窗内的所有非空洞像素的像素值加权求和得到目标像素值，并将目标像素值作为深度图中该空洞像素的像素值。

步骤1具体为：

将深度值为0的像素定义为空洞像素，将深度图中位于坐标x位置的空洞像素记为d(x)；以d(x)像素为中心，划定大小为L×L像素的方形搜索窗S_x，获得该方形搜索窗S_x区域内的所有深度值不为0的像素，即非空洞像素，记为d(y_n)，y_n为非空洞像素的位置坐标，1≤n≤N，N为方形搜索窗S_x内非空洞像素的数量。本步骤中采用的搜索窗并不限于方形搜索窗，也可采用矩形搜索窗等，搜索窗大小根据实际情况自行设定。

步骤2具体为：

将纹理图中位于坐标x位置的像素I(x)作为深度图中的空洞像素d(x)的对应位置像素，将纹理图中位于坐标y_n位置的像素I(y_n)作为深度图中的非空洞像素d(y_n)的对应位置像素，1≤n≤N，N为方形搜索窗S_x内非空洞像素的数量。

步骤3中具体为：

在纹理图中，将以像素I(x)为中心的K×K像素大小的块作为中心块，记为p(x)；将以像素I(y_n)为中心的K×K像素大小的块作为邻域块p(y_n)。

步骤4中所述的基于局部约束重建准则构造的代价函数如下：

w^{*} = \underset{w}{\arg \min} {| | P (x) - Σ_{n = 1}^{N} w (y_{n}) P (y_{n}) | |}_{2}^{2} + τ Σ_{n = 1}^{N} {[s (y_{n}) w (y_{n})]}^{2}

其中，

w^*＝[w^*(1),w^*(2),...w^*(n),...,w^*(N)]表示最优权重向量，w^*(n)表示邻域块p(y_n)所对应的最优权重，w(y_n)表示邻域块p(y_n)所对应的权重，1≤n≤N，N为搜索窗内非空洞像素的数量；

P(x)表示中心块p(x)内所有像素的像素值所组成的列向量；

P(y_n)表示邻域块p(y_n)内所有像素的像素值所组成的列向量；

τ为平衡因子，根据经验取值；

s(y_n)为中心块p(x)与邻域块p(y_n)的相似性。

s(y_n)可采用公知技术进行计算，具体公式如下：

s(y_n)＝||P(x)-P(y_n)||₂

上述代价函数中第一项

的值，就是当

取最小值时所得到的一组权值w(y_n)。

步骤5中采用如下公式获得目标像素值D(x)′，作为深度图中空洞像素的像素值：

D {(x)}^{'} = Σ_{n = 1}^{N} w^{*} (n) D (y_{n})

其中，D(y_n)为非空洞像素d(y_n)的像素值。

本发明还提供了一种基于局部约束重建的KINECT深度图空洞填充系统，包括：

搜索模块，用来以空洞像素为中心构建搜索窗，并获取搜索窗内的所有非空洞像素；

获取对应位置像素模块，用来获取搜索窗中心的空洞像素和搜索窗内的所有非空洞像素在纹理图中的对应位置像素；

块构建模块，用来以纹理图中的各对应位置像素为中心分别构建块，将空洞像素的对应位置像素所在的块作为中心块，将非空洞像素的对应位置像素所在的块作为邻域块；

最优权重向量获取模块，用来基于局部约束重建准则构造代价函数，根据所构建的代价函数获得所有邻域块用来表达中心块的最优权重向量，所获得的最优权重向量中的各元素对应各邻域块的最优权重；

深度图空洞像素填充模块，用来以邻域块的最优权重为位于邻域块中心的非空洞像素的权重，对搜索窗内的所有非空洞像素的像素值加权求和得到目标像素值，并将目标像素值作为深度图中该空洞像素的像素值。

上述最优权重向量获取模块涉及的基于局部约束重建准则构造的代价函数如下：

w^{*} = \underset{w}{\arg \min} {| | P (x) - Σ_{n = 1}^{N} w (y_{n}) P (y_{n}) | |}_{2}^{2} + τ Σ_{n = 1}^{N} {[s (y_{n}) w (y_{n})]}^{2}

其中，

P(x)表示中心块p(x)内所有像素的像素值所组成的列向量；

P(y_n)表示邻域块p(y_n)内所有像素的像素值所组成的列向量；

τ为平衡因子，根据经验取值；

s(y_n)为中心块p(x)与邻域块p(y_n)的相似性。

和现有技术相比，本发明具有如下优点：

1）本发明在纹理图中采用分块的方法来获取非空洞像素的权值，能有效避免纹理图中的纹理细节映射到深度图中。

2）本发明构造的代价函数能整体求取非空洞像素的权值，精确性更高。

3）本发明构造的代价函数中的局部约束项S(y_n)能保证求取的非空洞像素权值的局部稀疏性，使得空洞填充后的深度图中图像的边缘轮廓更清晰。

附图说明

图1是本发明方法流程图；

图2是本发明具体实施例中利用KINECT采集的纹理图及初始深度图，其中，图（a）为采集的纹理图，图（b）为采集的初始深度图；

图3是本发明具体实施例中利用KINECT采集的另一组纹理图及初始深度图，其中，图（a）为采集的纹理图，图（b）为采集的初始深度图；

图4是对图2中原始深度图进行空洞填充后的整体效果，其中，图（a）为Miao的方法的深度图空洞填充效果图，图（b）为Camplani的方法的深度图空洞填充效果图，图（c）为本发明方法的深度图空洞填充效果图；

图5是对图3中原始深度图进行空洞填充后的整体效果图，其中，图（a）为Miao的方法的深度图空洞填充效果图，图（b）为Camplani的方法的深度图空洞填充效果图，图（c）为本发明方法的深度图空洞填充效果图；

图6～7是对图2中原始深度图进行进行空洞填充后的局部区域效果图，其中，图（a）为局部区域纹理图，图（b）为局部区域原始深度图，图（c）为Miao的方法的深度图空洞填充局部区域效果图，图（d）为Camplani的方法的深度图空洞填充局部区域效果图，图（e）为本发明方法的深度图空洞填充局部区域效果图；

图8～9是对图3中原始深度图进行进行空洞填充后的局部区域效果图，其中，图（a）为局部区域纹理图，图（b）为局部区域原始深度图，图（c）为Miao的方法的深度图空洞填充局部区域效果图，图（d）为Camplani的方法的深度图空洞填充局部区域效果图，图（e）为本发明方法的深度图空洞填充局部区域效果图。

具体实施方式

本发明利用纹理图和深度图在结构上的相似性，构造基于局部约束重建的代价函数来求取非空洞像素的权重来进行空洞填充，更精确地填补了深度图在边缘区域和平滑区域的空洞。

本具体实施例利用KINECT同时采集分辨率为480×640像素的场景的纹理图和深度图，见图2，利用纹理图来指导深度图的空洞填充。设置搜索窗S_x大小为21×21像素，中心块p(x)和邻域块p(y_n)大小为5×5像素，平衡因子τ设置为0.9。

下面将以图为例，详细说明本发明方法的具体步骤，如下：

步骤1，以深度图中的当前空洞像素为中心构建搜索窗S_x，并获取搜索窗内的所有非空洞像素。

为便于实施参考，提供具体步骤如下：

1.1：将深度图中位于坐标x位置、深度值为0的像素记为空洞像素d(x)；

1.2：以空洞像素d(x)为中心，划定大小为21×21像素的方形搜索窗S_x，获取该方形搜索窗S_x区域内所有深度值不为0的像素，即非空洞像素，记为d(y_n)，y_n为非空洞像素的位置坐标，1≤n≤N，N为方形搜索窗S_x内非空洞像素的数量。

步骤2，获取空洞像素d(x)和所有非空洞像素d(y_n)在纹理图中的对应位置像素，空洞像素d(x)在纹理图中的对应位置像素简称为空洞像素的对应位置像素，非空洞像素d(y_n)在纹理图中的对应位置像素简称为非空洞像素的对应位置像素。

为便于实施参考，提供具体步骤如下：

将纹理图中位于坐标x位置的像素I(x)作为深度图中的空洞像素d(x)的对应位置像素，将纹理图中位于坐标y_n位置的像素I(y_n)作为深度图中的非空洞像素d(y_n)的对应位置像素。

步骤3，以纹理图中的对应位置像素I(x)和I(y_n)为中心构建块，将空洞像素的对应位置像素I(x)所在的块作为中心块，将非空洞像素的对应位置像素I(y_n)所在的块作为邻域块。

为便于实施参考，提供具体步骤如下：

步骤3.1：将以空洞像素的对应位置像素I(x)为中心的5×5像素大小的块作为中心块，记为p(x)；

步骤3.2：将以非空洞像素的对应位置像素I(y_n)为中心的5×5像素大小的块作为邻域块p(y_n)。

步骤4，基于局部约束重建准则构造代价函数，根据该代价函数获得邻域块用来表达中心块的最优权重向量，所获得的最优权重向量中的各元素对应各邻域块的最优权重。

基于局部约束重建准则所构造的代价函数构造如式（1）所示：

w^{*} = \underset{w}{\arg \min} {| | P (x) - Σ_{n = 1}^{N} w (y_{n}) P (y_{n}) | |}_{2}^{2} + τ Σ_{n = 1}^{N} {[s (y_{n}) w (y_{n})]}^{2} - - - (1)

式（1）中：

w^*=[w(y₁),w(y₂),…,w(y_N)]，为邻域块的最优权重向量；

w^*(n)表示邻域块p(y_n)所对应的最优权重，也就是位于邻域块p(y_n)中心的非空洞像素的最优权重；

w(y_n)表示邻域块p(y_n)所对应的权重，1≤n≤N，N为搜索窗内非空洞像素的数量；

P(x)表示中心块p(x)内所有像素的像素值所组成的列向量；

P(y_n)表示邻域块p(y_n)内所有像素的像素值所组成的列向量；

τ为平衡因子，根据经验选取使图像效果最好的值；

s(y_n)为中心块p(x)与邻域块p(y_n)的相似性，s(y_n)＝||P(x)-P(y_n)||₂。

步骤5，将步骤4得到最优权重向量作为非空洞像素的权重向量，对方形搜索窗S_x内的所有非空洞像素的像素值加权求和得到目标像素值，并将目标像素值作为深度图中的该当前空洞像素的像素值。

为便于实施参考，提供具体步骤如下：

步骤5.1:根据式（1）获得邻域块的最优权重向量的解，如式（2）所示：

w^*＝(G+τM²)\1 （2）

其中，

G＝(P(x)·ones(1,N)-d_matrix)^T(P(x)·ones(1,N)-d_matrix)，P(x)为中心块p(x)内所有像素的像素值所组成的列向量，ones(1,N)为1×N大小的元素全部为1的行向量，则，P(x)·ones(1,N)为N个P(x)列向量组成的矩阵；

d_matrix是N个列向量P(y_n)构成的矩阵，1≤n≤N，列向量P(y_n)为邻域块p(y_n)内所有像素的像素值所组成的列向量；

“\”表示用1除以(G+τM²)的运算；

M为N×N的对角矩阵，M的第n行第n列元素M_nn＝s(y_n),1≤n≤N；

T表示矩阵的转置。

步骤5.2：采用式（3）对方形搜索窗S_x内的所有非空洞像素的像素值加权求和：

D {(x)}^{'} = Σ_{n = 1}^{N} w^{*} (n) D (y_{n}) - - - (3)

式（3）中，D(x)′为目标像素值；D(y_n)为非空洞像素d(y_n)的像素值。

对深度图中的每个空洞像素逐一执行上述步骤1～5，从而完成对深度图的空洞填充。

分别采用本发明方法、Miao的方法^[3]、Camplani的方法^[4]对图2中的深度图进行空洞填充，填充结果见图3～9，从图中可以看出，相比于其他方法，本发明能更好地填补深度图在边缘区域和平滑区域的空洞。

本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.基于局部约束重建的KINECT深度图空洞填充方法，其特征在于，包括对深度图当前的空洞像素逐一执行以下步骤：

2.如权利要求1所述的基于局部约束重建的KINECT深度图空洞填充方法，其特征在于：

所述的基于局部约束重建准则构造的代价函数如下：

w^{*} = \underset{w}{\arg \min} {| | P (x) - Σ_{n = 1}^{N} w (y_{n}) P (y_{n}) | |}_{2}^{2} + τ Σ_{n = 1}^{N} {[s (y_{n}) w (y_{n})]}^{2}

其中，

P(x)表示中心块p(x)内所有像素的像素值所组成的列向量；

P(y_n)表示邻域块p(y_n)内所有像素的像素值所组成的列向量；

τ为平衡因子，根据经验取值；

s(y_n)为中心块p(x)与邻域块p(y_n)的相似性。

3.基于局部约束重建的KINECT深度图空洞填充系统，其特征在于，包括：

4.如权利要求3所述的基于局部约束重建的KINECT深度图空洞填充系统，其特征在于：

所述的最优权重向量获取模块涉及的基于局部约束重建准则构造的代价函数如下：

w^{*} = \underset{w}{\arg \min} {| | P (x) - Σ_{n = 1}^{N} w (y_{n}) P (y_{n}) | |}_{2}^{2} + τ Σ_{n = 1}^{N} {[s (y_{n}) w (y_{n})]}^{2}

其中，

P(x)表示中心块p(x)内所有像素的像素值所组成的列向量；

P(y_n)表示邻域块p(y_n)内所有像素的像素值所组成的列向量；

τ为平衡因子，根据经验取值；

s(y_n)为中心块p(x)与邻域块p(y_n)的相似性。