CN106296706A - 一种联合全局建模和非局部滤波的深度计算重建方法 - Google Patents

Abstract

本发明为一种联合全局建模和非局部滤波的深度计算重建方法，属于图像处理领域。该方法借助于高分辨率彩色图，对初始低质量深度图通过全局方式建立深度计算重建模型，并通过非局部的定点迭代滤波方法进行深度重建。本方法程序简单，易于实现，能够获得分辨率更高的深度图像；全局建模方法利用了彩色图像全局的信息，恢复深度图像中深度边缘以及非局部的细小结构的效果好；利用求导的方式推导出定点迭代滤波算法，避免了采用最小二乘求解大规模矩阵求逆的问题，在设计和实现上保持了精简性，而且在算法上具有低复杂度。

Description

一种联合全局建模和非局部滤波的深度计算重建方法

技术领域

本发明属于图像处理领域，涉及采用全局方式对深度相机获取的深度图建模，并推导非局部定点迭代滤波算法对深度图进行优化。具体涉及一种联合全局建模和非局部滤波的深度计算重建方法。

背景技术

普通图像是三维场景在二维成像平面上的投影——这种成像方式导致了三维场景深度信息的损失。为了获取场景深度信息，人们通常对多视角图像进行立体匹配计算视差，根据多视角几何关系推导出相应的深度。这类方法存在计算复杂度大，无纹理区域难以处理等问题。随着成像技术的进步，近年面市的深度相机突破了传统三维扫描仪只能对静态小尺度场景进行深度成像的限制，可以比较方便地获得较大尺度动态三维场景的深度。目前，主要有两类：基于散斑成像的深度相机，例如微软研发的用于自然交互的第一代Kinect；基于飞行时间(Time of flight,ToF)的深度相机，例如PMD公司研发的CamCube3.0，微软研发的第二代Kinect(简称Kinect2)；但是，这两类技术的深度成像质量还难以满足应用需求：TOF深度相机的深度分辨率较高，但是空间分辨率很低，与目前主流工业相机的空间分辨率还有很大的差距；Kinect深度相机的空间分辨率与普通工业相机相仿，但是在深度跳跃区域(例如物体的边缘与轮廓)产生很多空洞。这些深度成像的缺陷给实际应用带来了很大的障碍。受限于成像机理，这些深度成像方式短期内难以在成像分辨率和精度上获得进展，因此需要有效的后处理和重建技术来提高深度成像质量。

一种方法是基于全局优化的方法。Diebel等人提出了双层马尔科夫模型对深度信息和彩色信息之间的关系进行建模(J.Diebel and S.Thrun,“An application of Markovrandom fields torange sensing,”NIPS,vol.18,p.291,2005)。Ye等人利用自回归模型对含有多种混合降质模型的深度图进行建模，并采用最小二乘的方式进行求解(J.Yang,X.Ye,K.Li,C.Hou,and Y.Wang,“Color-guided depthrecovery from RGBD data usingan adaptive autoregressive model.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)。这类全局建模方法在保护图像中非局部的细小结构效果很好，但是解法通常采用图割(GraphCut)、置信传播和最小二乘等，运行速度非常慢。另一种方法是联合滤波；它利用高质量彩色图来辅助深度复原。Lu等人将滤波过程转化为局部多点回归问题，采用形状自适应的局部邻域，和多点估计的聚合等。此方法采用零阶和线性关系对低分辨率深度图像块和彩色块之间建模(J.Lu,K.Shi,D.Min,L.Lin,and M.N.Do,“Cross-based localmultipointfiltering,”in Proc.CVPR,2012,pp.430–437.)。这类方法在设计和实现上保持了精简性，而且在算法上具有低复杂度。但是，局部的判断并不能提供足够的信息来恢复全局结构，而且在丰富的彩色纹理区域也会产生恢复错误。

发明内容

本发明旨在克服现有技术的不足，提供了一种联合全局建模和非局部滤波的深度计算重建方法。该方法借助于高分辨率彩色图，对初始低质量深度图通过全局方式建立深度计算重建模型，并通过非局部的定点迭代滤波方法进行深度重建。

本发明的技术方案为，一种联合全局建模和非局部滤波的深度计算重建方法，所述方法包括下列步骤：

第一步，准备初始数据；

初始数据包括低分辨率深度图和同视角的高分辨率彩色图；低分辨率深度图经双三次插值得到初始低质量深度图。

将高分辨率彩色图C转换成无向连接图G：给定一个无向连接图G＝(V，E)，其中V为顶点，表示彩色图像上所有的像素；E为边，包含图像中每对像素间的关系。

基于无向连接图G，构建拉普拉斯矩阵

给定边权重矩阵K，其中K中的某一位置K(p，q)表示像素p和q的相似度概率ω_p，q。ω_p，q可以根据像素p和q的彩色相似度，利用非局部均值滤波核来确定，方程如下：

${\mathrm{\ω}}_{p,q}=\exp (-\frac{G_p|P\left(C_p\right)-P\left(C_q\right)|}{\mathrm{\σ}})$

其中，exp为指数函数，G_p为以像素p为中心的高斯核，核大小为ω×ω；C_p和C_q为像素p和q的彩色值，P(C_p)和P(C_q)为相应的彩色图像块；σ为控制指数函数变化的调控参数。

对于当前图G，其中的像素点p的度数定义为n_p，表示为所有连接到像素p的边的权重之和，具体形式如下：

$n_p=\underset{q}{\Σ}K(p,q)$

其中，q为所有连接到像素p的相邻像素，p的邻域大小为ω₁×ω₁。至此，无向图的拉普拉斯矩阵可以定义为：

其中，N为度数矩阵，仅在矩阵对角线上有值，即N(p，p)＝n_p，其他值均为零。I为单位矩阵，W为归一化后的边权重矩阵。

第二步，根据拉普拉斯矩阵建立先验约束；

2-1)根据数据的不依赖滤波特性(即当输入理想深度图时，经过设计的滤波器得到的结果与输入理想深度图相同，深度值不变)推导出先验约束：

d^*＝Wd^*

式中，d^*为输入理想深度图的向量表达形式；

应用边权重矩阵W建立不依赖数据的滤波器；

2-2)根据2-1)中的公式，得到滤波器与拉普拉斯矩阵间的关系：

式中，I为单位矩阵；

在数据的不依赖滤波特性约束下，理想深度图与拉普拉斯矩阵作用为零。

第三步，构建全局优化方程；

3-1)将第二步得到的约束结合到深度重建框架内，得到如下优化方程：

式中，min为求取能量方程的最小值；d为待求的高质量深度图的向量表达形式；为输入的初始低质量深度图的向量表达形式；P为观测矩阵，用于指示d中深度像素值的可靠性；λ为平衡前后两项的系数，取值为0.1；||·||₂为2范数。

3-2)将优化方程(3)转化为逐像素表示形式，方程如下：

$\underset{d}{min}\underset{p}{\Σ}{h}_p{(d_p-\widetilde{d_p})}^2+\mathrm{\λ}\underset{p}{\Σ}{(d_p-\underset{p}{\Σ}{\mathrm{\ω}}_{p,q}{d}_q)}^2$

其中，h_p为像素p在观测矩阵P内的对应位置的值，指示像素p是否有值；d_q和d_q分别为像素p和q的深度值，为像素p的初始深度值，ω_p，q为像素p和q的相似度权重。

第四步，应用非局部的定点迭代滤波算法，得到高质量深度图，包括以下步骤：

4-1)对3-2)中的公式中每一像素d_p求导并置零，得到如下方程：

$d_p=\frac{h_p\widetilde{d_p}+{\mathrm{\λ\Σ}}_q{\mathrm{\ω}}_{p,q}{d}_q+{\mathrm{\λ\Σ}}_r{\mathrm{\ω}}_{r,p}(d_r-{\mathrm{\Σ}}_q{\mathrm{\ω}}_{r,q}{d}_q)}{h_p+\mathrm{\λ}}$

其中，r为像素p邻域内的像素，ω_r，p为像素r和p的相似度权重，d_r为像素r的深度值。

4-2)利用4-1)中求导的结果构建定点迭代滤波算法对初始低质量深度图进行滤波，并得到最终的高质量深度图，算法流程如下：

$\left\{\begin{array}{c}{d}_p^{\left(0\right)}=\widetilde{d_p}\\ d_p^{(k+1)}=\frac{h_p\widetilde{d_p}+{\mathrm{\λ\Σ}}_q{\mathrm{\ω}}_{p,q}{d_q}^{\left(k\right)}+{\mathrm{\λ\Σ}}_r{\mathrm{\ω}}_{r,p}({d_r}^{\left(k\right)}-{\mathrm{\Σ}}_q{\mathrm{\ω}}_{r,q}{d_q}^{\left(k\right)})}{h_p+\mathrm{\λ}}\end{array}\right.$

式中，为迭代前的深度图初始化结果，为第k+1次迭代求得的结果，k+1为迭代的次数；算法在第k次的迭代结果的基础上滤波得到第k+1次结果。

本发明的有益效果是：

本发明借助于高分辨率彩色图，对初始低质量深度图通过全局方式建立深度计算重建模型，并通过非局部的定点迭代滤波方法进行深度重建，具有以下特点：

1、程序简单，易于实现，能够获得分辨率更高的深度图像；

2、全局建模方法利用了彩色图像全局的信息，恢复深度图像中深度边缘以及非局部的细小结构的效果好；

3、利用求导的方式推导出定点迭代滤波算法，避免了采用最小二乘求解大规模矩阵求逆的问题，在设计和实现上保持了精简性，而且在算法上具有低复杂度。

附图说明(附图中不能出现彩色，只能是灰度图)

图1是实际实施流程图。

图2是深度图像的修复结果对比。

图中：(a)不同的彩色帧(b)局部滤波结果(c)全局自回归结果(d)本发明方法的结果。

具体实施方式

下面结合实施例和附图对本发明的联合全局建模和非局部滤波的深度计算重建方法做出详细说明。

一种联合全局建模和非局部滤波的深度计算重建方法，如图1所示，所述方法包括下列步骤：

第一步，准备初始数据；

初始数据包括低分辨率深度图和高分辨率彩色图；低分辨率深度图经双三次插值得到初始低质量深度图；

将高分辨率彩色图C转换成无向连接图G：给定一个无向连接图G＝(V，E)，其中V为顶点，表示彩色图像上所有的像素；E为边，包含图像中每对像素间的关系。

基于无向连接图G，构建拉普拉斯矩阵

给定边权重矩阵K，其中K中的某一位置K(p，q)表示像素p和q的相似度概率ω_p，q。ω_p，q可以根据像素p和q的彩色相似度，利用非局部均值滤波核来确定，方程如下：

${\mathrm{\ω}}_{p,q}=\exp (-\frac{G_p|P\left(C_p\right)-P\left(C_q\right)|}{\mathrm{\σ}})$

其中，exp为指数函数，G_p为以像素p为中心的高斯核，核大小为5×5；C_p和C_q为像素p和q的彩色值，P(C_p)和P(C_q)为相应的彩色图像块；σ为控制指数函数变化的调控参数，取值为2.0。

对于当前图G，其中的像素点p的度数定义为n_p，表示为所有连接到像素p的边的权重之和，具体形式如下：

$n_p=\underset{q}{\Σ}K(p,q)$

其中，q为所有连接到像素p的相邻像素，p的邻域大小为7×7。至此，无向图的拉普拉斯矩阵可以定义为：

其中，N为度数矩阵，仅在矩阵对角线上有值，即N(p，p)＝n_p，其他值均为零。I为单位矩阵，W为归一化后的边权重矩阵。

第二步，根据拉普拉斯矩阵建立先验约束；

2-1)根据数据的不依赖滤波特性(即当输入理想深度图时，经过设计的滤波器得到的结果与输入理想深度图相同，深度值不变)推导出先验约束：

d^*＝Wd^*

式中，d^*为输入理想深度图的向量表达形式，W为归一化后的边权重矩阵；

应用边权重矩阵W建立不依赖数据的滤波器；

2-2)根据2-1)中的公式，得到滤波器与拉普拉斯矩阵间的关系：

式中，I为单位矩阵；

在数据的不依赖滤波特性约束下，理想深度图与拉普拉斯矩阵作用为零。

第三步，构建全局优化方程；

3-1)将第二步得到的约束结合到深度重建框架内，得到如下优化方程：

式中，min为求取能量方程的最小值；d为待求的高质量深度图的向量表达形式；为输入的初始低质量深度图的向量表达形式；P为观测矩阵，用于指示d中深度像素值的可靠性；λ为平衡前后两项的系数，取值为0.1；||·||₂为2范数。

3-2)将优化方程转化为逐像素表示形式，方程如下：

$\underset{d}{min}\underset{p}{\Σ}{h}_p{(d_p-\widetilde{d_p})}^2+\mathrm{\λ}\underset{p}{\Σ}{(d_p-\underset{p}{\Σ}{\mathrm{\ω}}_{p,q}{d}_q)}^2$

其中，h_p为像素p在观测矩阵P内的对应位置的值，指示像素p是否有值；d_p和d_q分别为像素p和q的深度值，为像素p的初始深度值，ω_p，q为像素p和q的相似度权重。

第四步，应用非局部的定点迭代滤波算法，得到高质量深度图，包括以下步骤：

4-1)对3-2)中的公式中每一像素d_p求导并置零得到如下方程：

$d_p=\frac{h_p\widetilde{d_p}+{\mathrm{\λ\Σ}}_q{\mathrm{\ω}}_{p,q}{d}_q+{\mathrm{\λ\Σ}}_r{\mathrm{\ω}}_{r,p}(d_r-{\mathrm{\Σ}}_q{\mathrm{\ω}}_{r,q}{d}_q)}{h_p+\mathrm{\λ}}$

其中，r为像素p邻域内的像素，邻域大小为7×7。

4-2)利用4-1)中求导的结果构建定点迭代滤波算法对低质量深度图进行滤波，并得到最终的高质量深度图。算法流程如下：

$\left\{\begin{array}{c}{d}_p^{\left(0\right)}=\widetilde{d_p}\\ d_p^{(k+1)}=\frac{h_p\widetilde{d_p}+{\mathrm{\λ\Σ}}_q{\mathrm{\ω}}_{p,q}{d_q}^{\left(k\right)}+{\mathrm{\λ\Σ}}_r{\mathrm{\ω}}_{r,p}({d_r}^{\left(k\right)}-{\mathrm{\Σ}}_q{\mathrm{\ω}}_{r,q}{d_q}^{\left(k\right)})}{h_p+\mathrm{\λ}}\end{array}\right.$

其中，为迭代前的深度图初始化结果，为第k+1次迭代求得的结果，k+1为迭代的次数。算法在第k次的迭代结果的基础上滤波得到第k+1次结果。经过6次迭代，得到最终恢复结果。

本实施例对两组数据的最终恢复结果及与其他方法的比较如图2所示，其中(a)图为两组彩色视频数据中挑选出来的帧图像，(b)图为采用局部滤波方法得到的结果(J.Lu,K.Shi,D.Min,L.Lin,and M.N.Do,“Cross-based localmultipoint filtering,”inProc.CVPR,2012,pp.430–437.)；(c)图为采用全局自回归建模方法得到的恢复帧结果(J.Yang,X.Ye,K.Li,C.Hou,and Y.Wang,“Color-guided depthrecovery from RGBD datausing an adaptive autoregressive model.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)；(d)本发明所述方法的结果。

Claims (2)

1.一种联合全局建模和非局部滤波的深度计算重建方法，其特征在于，所述方法包括下列步骤：

第一步，准备初始数据；

初始数据包括低分辨率深度图和高分辨率彩色图；低分辨率深度图经双三次插值得到初始低质量深度图；将高分辨率彩色图转换成无向连接图G；基于无向连接图G，构建拉普拉斯矩阵

第二步，根据拉普拉斯矩阵建立先验约束；

2-1)根据数据的不依赖滤波特性推导出先验约束：

d^*＝Wd^* (1)

式中，d^*为输入理想深度图的向量表达形式，W为归一化后的边权重矩阵；

应用边权重矩阵W建立不依赖数据的滤波器；

2-2)根据公式(1)，得到滤波器与拉普拉斯矩阵间的关系：

式中，I为单位矩阵；

第三步，构建全局优化方程；

3-1)将第二步得到的约束结合到深度重建框架内，得到如下优化方程：

式中，min为求取能量方程的最小值，d为待求的高质量深度图的向量表达形式，为输入的初始低质量深度图的向量表达形式，P为观测矩阵，λ为平衡前后两项的系数，λ取值为0.1，||·||₂为2范数；

3-2)将优化方程(3)转化为逐像素表示形式，方程如下：

$m_d{\mathrm{in\Σ}}_p{h}_p{(d_p-\widetilde{d_p})}^2+{\mathrm{\λ\Σ}}_p{(d_p-{\mathrm{\Σ}}_p{\mathrm{\ω}}_{p,q}{d}_q)}^2---\left(4\right)$

其中，h_p为像素p在观测矩阵P内的对应位置的值，d_p和d_q分别为像素p和q的深度值，为像素p的初始深度值，ω_p，q为像素p和q的相似度权重；

第四步，应用非局部的定点迭代滤波算法，得到高质量深度图。

2.根据权利要求1所述的一种联合全局建模和非局部滤波的深度计算重建方法，其特征在于，第四步应用非局部的定点迭代滤波算法，得到高质量的深度图，包括以下步骤：

4-1)对公式(4)中每一像素d_p求导并置零

得到如下方程：

$d_p=\frac{h_p\widetilde{d_p}+{\mathrm{\λ\Σ}}_q{\mathrm{\ω}}_{p,q}{d}_q+{\mathrm{\λ\Σ}}_r{\mathrm{\ω}}_{r,p}(d_r-{\mathrm{\Σ}}_q{\mathrm{\ω}}_{r,q}{d}_q)}{h_p+\mathrm{\λ}}---\left(5\right)$

其中，r为像素p邻域内的像素，ω_r，p为像素r和p的相似度权重，d_r为像素r的深度值；

4-2)利用4-1)中求导的结果构建定点迭代滤波算法对初始低质量深度图进行滤波，并得到最终的高质量深度图，算法流程如下：

$\left\{\begin{array}{c}{d}_p^{\left(0\right)}=\widetilde{d_p}\\ d_p^{(k+1)}=\frac{h_p\widetilde{d_p}+{\mathrm{\λ\Σ}}_q{\mathrm{\ω}}_{p,q}{d_q}^{\left(k\right)}+{\mathrm{\λ\Σ}}_r{\mathrm{\ω}}_{r,p}({d_r}^{\left(k\right)}-{\mathrm{\Σ}}_q{\mathrm{\ω}}_{r,q}{d_q}^{\left(k\right)})}{h_p+\mathrm{\λ}}\end{array}\right.$

式中，为迭代前的深度图初始化结果，为第k+1次迭代求得的结果，k+1为迭代的次数；算法在第k次的迭代结果的基础上滤波得到第k+1次结果。