CN106355552A - 一种基于虚拟视点绘制质量的深度图上采样方法 - Google Patents

Abstract

本发明涉及一种基于虚拟视点绘制质量的深度图上采样方法，包括：对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图；获取初始深度图的位置坐标信息和对应的颜色信息，再用相应的彩色值对虚拟视图中匹配像素点进行填充；检测出深度图的边缘区域；对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图；根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率；根据匹配比率和深度值的控制参数计算平滑因子，计算初始高分辨率深度图中每个像素点的权重；计算当前视点最终的深度值。本发明可以提高深度图超分辨率重建及绘制虚拟视图的质量。

Description

一种基于虚拟视点绘制质量的深度图上采样方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种基于虚拟视点绘制质量的深度图上采样方法。

背景技术

近年来，深度信息已经广泛地应用于3DTV、3D重建和姿态识别等多个领域。目前主流的深度获取方式可以分成以下三类：立体匹配法、激光扫描法和距离感知法。立体匹配法是一种被动获取深度信息的方式，该方法通过对应点匹配和三角网格变换计算两个或多个视点间的深度信息。激光扫描法通过对目标场景的片扫面方式来获取精确的深度线索。相比与上述两种方式，主动深度获取方式获得了研究人员更多的关注，已经成为主流的深度获取方法。但是该方法的缺点是获取深度图分辨率低。在基于深度图像的虚拟视点绘制技术(DIBR)中，要求深度图的分辨率与彩色纹理图像的分辨率匹配。因此，研究深度图超分辨率重建算法是十分必要的。

虚拟视点绘制技术是自由立体显示技术中的关键技术之一，在给定稀疏视点图像的基础上，可以生成多个虚拟视点的彩色图像，满足自由立体显示的需求。该技术可以分成两大类：基于模型的绘制(MBR)和基于图像的绘制(IBR)。MBR技术主要是利用计算机图形学技术，对真实的立体场景进行三维建模，再对模型进行绘制、着色和投影等处理，最终生成特定视点的图像。DIBR是IBR技术中关注度最高的方法，该方法将深度信息融入到IBR技术中，结合了图像及其对应的深度线索绘制生成其他视点的纹理图像，该方法的核心是3D图像变换思想。

深度图超分辨率重建是一种恢复低分辨率深度图细节、锐化边缘和增加空间分辨率的技术。深度图的重建也是一个病态的问题，算法需通过引入正则先验项将问题转换为常态问题。“Depth-Plus-Color”的超分辨率重建算法利用彩色图像信息引导深度图实现上采样。联合双边上采样算法，权重模式滤波和边缘引导滤波算法都是利用相关的彩色信息直接进行上采样滤波。深度加彩色这类算法中最典型的是基于单个深度图的超分辨率重建算法，该算法又可以分成两类：基于优化的方法和预滤波的方法。基于优化的超分辨率重建算法通常是将深度图上采样视为一个马尔科夫随机场(MRF)或是最小二乘法的问题。Diebel等人提出采用连续的MRF将高分辨率彩色图和低分辨率深度图结合来实现超分辨率重建。MRF算法中连续项用于惩罚相邻像素之间的差异，使得具有相似纹理的像素有相似的深度值。Zhu等人通过考虑时域连续性将传统的空间MRF算法拓展到动态的MRF算法，提高了动态场景的高分辨率深度图质量。基于滤波的算法通常根据相关纹理信息设计上采样滤波器。Kopf等人提出一种同时考虑深度平滑和彩色相似性的联合双边滤波算法。为了解决深度图存在的伪影现象问题，Kim等人在JBU算法的基础上提出了自适应联合双边滤波算法。该方法将一个控制参数和平滑参数引入到上采样过程中，进一步改善了超分辨率深度图的质量。然而上述这些方法都忽略了深度图在虚拟视点绘制技术中的重要作用。目前，在深度编码领域已经引入虚拟视点绘制质量作为编码深度图质量的评价指标。因此，在深度图超分辨率技术中考虑虚拟视点绘制质量是十分必要且有应用价值的。

发明内容

本发明的目的是提供一种提高深度图超分辨率重建的质量的基于虚拟视点绘制质量的深度图上采样方法。本发明的技术方案如下：

一种基于虚拟视点绘制质量的深度图上采样方法,步骤如下：

1)对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图

2)确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息(x_i，y_i)和对应的颜色信息I_i(x_i，y_i)，再用相应的彩色值对虚拟视图中匹配像素点(x_k，y_k)进行填充,所采取的插值公式为：

V_ik(x_k，y_k)＝V_ik(x_i-d^ik，y_i)＝I_i(x_i，y_i)

其中，V_ik(x_k，y_k)表示以当前视点i为基准向虚拟视点视图中坐标为(x_k，y_k)的对应像素点填充的彩色值，d^ik是当前视点深度图的深度值；

3)计算惩罚因子λ_c，其公式如下：

${\mathrm{\λ}}_c=\frac{V_{ik}\left(q\right)-{V_{ik}}^{\′}\left(q\right)}{{\mathrm{\σ}}_{\mathrm{\λ}}}$

其中，V_ik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，V_ik′(q)表示由邻域像素点q引起的空洞的填补值，σ_λ表示惩罚因子控制参数；

4)对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图，根据下面的公式将深度图和彩色纹理图分成两个区域：

$S_c=\left\{\begin{array}{cc}1& if{I}_q\≥{\mathrm{\μ}}_{c,p}\\ 0& otherwise\end{array}\right.$

$S_d=\left\{\begin{array}{cc}1& if{I}_q\≥{\mathrm{\μ}}_{d,p}\\ 0& otherwise\end{array}\right.$

其中，S_c和S_d分别表示彩色和深度边缘分割图，μ_c，p和μ_d，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，I_q表示当前像素点的邻域像素集合；

5)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：

${\mathrm{\Γ}}_p=\frac{SAD(S_c,S_d)}{N^2}$

SAD(S_c,S_d)＝|S_c-S_d|

其中，SAD表示S_c和S_d之间的绝对平均值，N表示窗口区域像素的个数；

6)根据匹配比率和深度值的控制参数计算平滑因子，其公式如下：

${\mathrm{\δ}}_{c,p}^2=0.6\·(1+{\mathrm{\Γ}}_p)\·{\mathrm{\δ}}_D^2$

7)计算初始高分辨率深度图中每个像素点的权重W_p，q，其公式如下所示：

$\begin{array}{c}{W}_{p,q}=\exp (-\frac{\left|\right|{\hat{D}}_i^{H_0}\left(p\right)-{\hat{D}}_i^{H_0}\left(q\right)|{|}^2}{{{\mathrm{\σ}}_D}^2})*\exp (-\frac{\left|\right|I_i\left(p\right)-I_i\left(q\right)-s_p|{|}^2}{{{\mathrm{\σ}}_{c,p}}^2})*\\ \exp (-\frac{\left|\right|V_{ik}\left(p\right)-V_{ik}\left(q\right)-{\mathrm{\λ}}_c|{|}^2}{{{\mathrm{\σ}}_s}^2})\end{array}$

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示初始高分辨率深度图在像素点p深度值，表示初始高分辨率深度图中像素点p的邻域像素q的深度值，σ_D表示深度相似性因子，σ_s是彩色相似性参数，I_i(p)表示当前视点i在像素点p的彩色像素值，I_i(q)表示当前视点i在像素点q的彩色像素值，V_ik(p)表示当前视点i的像素点p匹配到虚拟视图中匹配像素点的彩色值，V_ik(q)表示当前视i的像素点q匹配到虚拟视图中匹配像素点的彩色值；

8)根据上述权重计算出当前视点最终的深度值，其公式如下所示：

${\hat{D}}_i^H\left(p\right)=\frac{1}{k_s}\underset{q\∈\mathrm{\Ω}}{\Σ}{W}_{p,q}{\hat{D}}_i^{H_0}\left(q\right)$

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图在像素点p的深度值，k_s是归一化参数。

本发明考虑了虚拟视点绘制质量对于深度图上采样的影响，将虚拟视点绘制质量作为滤波权重的重要核，对初始高分辨率图像的深度值进行改善，同时针对虚拟视图中由前后景交替引起的空洞现象，在虚拟视点绘制质量核中引入惩罚因子，以降低此情况下邻域像素点对当前像素点的深度值的影响。本发明提高了深度图超分辨率重建及绘制虚拟视图的质量，对于降低深度图伪影有良好的效果。

附图说明

图1为用于测试的低分辨率深度图和对应的彩色纹理图。

图2为技术方案的流程图。

图3为本发明上采样得到的高分辨率深度图。

图4为本发明上采样得到的深度图与对应的彩色图绘制的虚拟视图。

具体实施方式

为了克服现有技术的不足，本发明考虑虚拟视点绘制质量对于深度图上采样的影响，提出一种基于虚拟视点绘制质量的深度图上采样方法，具体的技术方案分为下列步骤：

1.虚拟视点绘制

首先对低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图。然后利用初始高分辨率深度图与其同分辨率的彩色图像进行虚拟视点绘制，得到相邻视点的虚拟视图。该技术中核心的技术主要包括视图插值和噪声处理。

为了绘制以当前视点i为基准的视点k的虚拟视图V_ik，首先需要找到当前视图与虚拟视点视图间对应的像素匹配关系式。假设P₁(x_i，y_i)和P₂(x_k，y_k)分别是当前视点和虚拟视点像素点。那么焦距、视差值和像素点坐标三者之间的关系式如下所示：

$d_{ik}=x_i-x_k=\frac{Bf}{z},y_i=y_k$

其中，d_ik表示当前视点和虚拟视点间的视差值，参数B，f和Z分别表示两个相机中心点间的基线距离、拍摄相机的焦距和场景的实际深度值。

由上述关系式可以推导出两个视点间匹配像素点的坐标变换关系式如下所示：

x_k＝x_i-d_ik，y_i＝y_k

通过上述像素点间的匹配关系式，确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息和对应的颜色信息，再用相应的彩色值对虚拟视图中匹配像素点进行填充。该步骤中所采取的插值公式如下所示：

V_ik(x_k，y_k)＝V_ik(x_i-d^ik，y_i)＝I_i(x_i，y_i)

其中，I_i(x_i，y_i)表示当前视图在像素点坐标为(x_i，y_i)的彩色值，V_ik(x_k，y_k)表示以当前视点i为基准向虚拟视点视图中坐标为(x_k，y_k)的对应像素点填充的彩色值，d^ik是当前视点深度图的深度值。

2.惩罚因子计算

通过上述虚拟视点绘制获得虚拟视点的彩色图像，但是在这一过程中会出现空洞现象，该现象主要是由于前景和后景之间交替处会发生遮挡和被遮挡现象，从而导致绘制分散，出现空洞。针对上述这一问题，算法中引入惩罚因子λ_c，该惩罚因子通过计算像素点实际绘制的彩色项素值与空洞填充的像素值之间的差值得到。λ_c的计算公式如下：

${\mathrm{\λ}}_c=\frac{V_{ik}\left(q\right)-{V_{ik}}^{\′}\left(q\right)}{{\mathrm{\σ}}_{\mathrm{\λ}}}$

其中，V_ik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，V_ik′(q)表示由邻域像素点q引起的空洞的填补值，σ_λ表示惩罚因子控制参数。

3.三边滤波深度图上采样

对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用三边滤波深度图上采样方式处理。

三边滤波深度图上采样的权重由深度高斯核，彩色高斯核和虚拟视图质量核构成，具体的权重函数公式如下所示：

$\begin{array}{c}{W}_{p,q}=\exp (-\frac{\left|\right|{\hat{D}}_i^{H_0}\left(p\right)-{\hat{D}}_i^{H_0}\left(q\right)|{|}^2}{{{\mathrm{\σ}}_D}^2})\\ *\exp (-\frac{\left|\right|I_i\left(p\right)-I_i\left(q\right)-{\mathrm{\ϵ}}_p|{|}^2}{{{\mathrm{\σ}}_{c,p}}^2})*\exp (-\frac{\left|\right|V_{ik}\left(p\right)-V_{ik}\left(q\right)-{\mathrm{\λ}}_c|{|}^2}{{{\mathrm{\σ}}_s}^2})\end{array}$

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示初始高分辨率深度图在像素点p深度值，表示初始高分辨率深度图中像素点p的邻域像素q的深度值，σ_D表示深度相似性因子，I_i(p)表示当前视点i在像素点p的彩色像素值，I_i(q)表示当前视点i在像素点q的彩色像素值，ε_p是控制因子，σ_c，p表示彩色图像的平滑因子，V_ik(p)表示当前视点i的像素点p匹配到虚拟视图中匹配像素点的彩色值，V_ik(q)表示当前视i的像素点q匹配到虚拟视图中匹配像素点的彩色值，λ_c表示惩罚因子，σ_s是彩色相似性参数。计算平滑因子σ_c，p和控制因子ε_p的具体步骤如下：

1)根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图。首先计算深度边缘图和彩色边缘图的当前像素窗口内均值，再根据下面的公式将深度图和彩色纹理图分成两个区域：

$S_c=\left\{\begin{array}{cc}1& if{I}_q\≥{\mathrm{\μ}}_{c,p}\\ 0& otherwise\end{array}\right.$

$S_d=\left\{\begin{array}{cc}1& if{I}_q\≥{\mathrm{\μ}}_{d,p}\\ 0& otherwise\end{array}\right.$

其中，S_c和S_d分别表示彩色和深度边缘分割图，μ_c，p和μ_d，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，I_q表示当前像素点的邻域像素集合。

2)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：

${\mathrm{\Γ}}_p=\frac{SAD(S_c,S_d)}{N^2}$

SAD(S_c,S_d)＝|S_c-S_d|

其中，SAD表示S_c和S_d之间的绝对平均值，N表示窗口区域像素的个数。

3)根据匹配比率和深度值的控制参数计算平滑因子，其定义如下：

${\mathrm{\δ}}_{c,p}^2=0.6\·(1+{\mathrm{\Γ}}_p)\·{\mathrm{\δ}}_D^2$

当匹配比率很大时，表示深度图和彩色图像匹配度很低，彩色值高权重值越小。

4)计算深度图边缘像素点所在整个窗口内的平均值和当前像素点在窗口内所属的分割区域内的平均值，然后再根据匹配比率和两个平均值计算控制参数，其公式如下：

${\mathrm{\ϵ}}_p=\frac{({\mathrm{\μ}}_L-{\mathrm{\μ}}_w)*{\mathrm{\Γ}}_p}{4}$

其中，μ_L表示当前像素点在窗口内所属的分割区域内的平均值，μ_w表示深度图边缘像素点所在整个窗口内的平均值。

通过上述的虚拟视点绘制技术绘制出虚拟视图V_ik，由像素点间坐标匹配关系式确定当前深度值在虚拟视图中的坐标位置，然后计算虚拟视图中所匹配的当前视点与其邻域像素值的差，再加入惩罚因子，从而获得虚拟视点绘制质量权重项。最后结合深度图和彩色权重计算出当前视点最终的深度值，如下公式所示：

${\hat{D}}_i^H\left(p\right)=\frac{1}{k_s}\underset{q\∈\mathrm{\Ω}}{\Σ}{W}_{p,q}{\hat{D}}_i^{H_0}\left(q\right)$

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图在像素点p的深度值，表示初始高分辨率深度图在像素点p的邻域像素q的深度值，Ω表示当前像素点p的邻域集合，k_s是归一化参数。

Claims (1)

1.一种基于虚拟视点绘制质量的深度图上采样方法,步骤如下：

1)对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图

2)确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息(x_i，y_i)和对应的颜色信息I_i(x_i，y_i)，再用相应的彩色值对虚拟视图中匹配像素点(x_k，y_k)进行填充,所采取的插值公式为：

V_ik(x_k，y_k)＝V_ik(x_i-d^ik，y_i)＝I_i(x_i，y_i)

其中，V_ik(x_k，y_k)表示以当前视点i为基准向虚拟视点视图中坐标为(x_k，y_k)的对应像素点填充的彩色值，d^ik是当前视点深度图的深度值；

3)计算惩罚因子λ_c，其公式如下：

${\mathrm{\λ}}_c=\frac{V_{ik}\left(q\right)-{V_{ik}}^{\′}\left(q\right)}{{\mathrm{\σ}}_{\mathrm{\λ}}}$

其中，V_ik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，V_ik′(q)表示由邻域像素点q引起的空洞的填补值，σ_λ表示惩罚因子控制参数；

4)对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图，根据下面的公式将深度图和彩色纹理图分成两个区域：

$S_c=\left\{\begin{array}{cc}1& if{I}_q\≥{\mathrm{\μ}}_{c,p}\\ 0& otherwise\end{array}\right.$

$S_d=\left\{\begin{array}{cc}1& if{I}_q\≥{\mathrm{\μ}}_{d,p}\\ 0& otherwise\end{array}\right.$

其中，S_c和S_d分别表示彩色和深度边缘分割图，μ_c，p和μ_d，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，I_q表示当前像素点的邻域像素集合；

5)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：

${\mathrm{\Γ}}_p=\frac{SAD(S_c,S_d)}{N^2}$

SAD(S_c，S_d)＝|S_c-S_d|

其中，SAD表示S_c和S_d之间的绝对平均值，N表示窗口区域像素的个数；

6)根据匹配比率和深度值的控制参数计算平滑因子，其公式如下：

${\mathrm{\δ}}_{c,p}^2=0.6\·(1+{\mathrm{\Γ}}_p)\·{\mathrm{\δ}}_D^2$

7)计算初始高分辨率深度图中每个像素点的权重W_p，q，其公式如下所示：

$\begin{array}{c}{W}_{p,q}=\exp (-\frac{\left|\right|{\hat{D}}_i^{H_0}\left(p\right)-{\hat{D}}_i^{H_0}\left(q\right)|{|}^2}{{{\mathrm{\σ}}_D}^2})*\exp (-\frac{\left|\right|I_i\left(p\right)-I_i\left(q\right)-{\mathrm{\ϵ}}_p|{|}^2}{{{\mathrm{\σ}}_{c,p}}^2})*\\ \exp (-\frac{\left|\right|V_{ik}\left(p\right)-V_{ik}\left(q\right)-{\mathrm{\λ}}_c|{|}^2}{{{\mathrm{\σ}}_s}^2})\end{array}$

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示初始高分辨率深度图在像素点p深度值，表示初始高分辨率深度图中像素点p的邻域像素q的深度值，σ_D表示深度相似性因子，σ_s是彩色相似性参数，I_i(p)表示当前视点i在像素点p的彩色像素值，I_i(q)表示当前视点i在像素点q的彩色像素值，V_ik(p)表示当前视点i的像素点p匹配到虚拟视图中匹配像素点的彩色值，V_ik(q)表示当前视i的像素点q匹配到虚拟视图中匹配像素点的彩色值；

8)根据上述权重计算出当前视点最终的深度值，其公式如下所示：

${\hat{D}}_i^H\left(p\right)=\frac{1}{k_s}\underset{q\∈\mathrm{\Ω}}{\Σ}{W}_{p,q}{\hat{D}}_i^{H_0}\left(q\right)$

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图在像素点p的深度值，k_s是归一化参数。