CN106408513B - 深度图超分辨率重建方法 - Google Patents

Abstract

本发明属于计算机视觉领域，为提出融合多视点深度信息的超分辨率重建方法，为虚拟视点绘制等3D图像处理技术奠定基础。本发明采用的技术方案是，深度图超分辨率重建方法，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；2)确定可信权重表达式R_i，j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制；3)深度图重建。本发明主要应用于3D图像处理。

Description

深度图超分辨率重建方法

技术领域

本发明属于计算机视觉领域，涉及一种针对由深度感知相机获取的多视点低分辨率深度图进行基于可信度融合的深度图超分辨率重建方法。

背景技术

深度图的超分辨率重建是在不改变现有深度获取硬件系统的前提下，通过软件算法解决深度图空间分辨率低和高频细节信息丢失问题，重建出高分辨率深度图。深度图超分辨率重建技术的核心是恢复低分辨率深度图细节、锐化边缘和增加空间分辨率。

近年来，随着3D图像领域飞速迅猛的发展，3D内容也变得越来越普遍。在制造业、物体重建和3D媒体娱乐等领域，越来越多的要求精确的和高分辨率的场景深度信息。目前，主动深度距离感知传感器以其低消费、实时性和便捷性应用于深度图的获取。此类深度感知传感器主要采用结构光法，如Microsoft Kinect和Time-of-Flight camera(ToF)，具有高鲁棒性和应用场景广泛等优点。然而，该方法的一个重要缺点是受深度相机芯片大小和相机活跃光能量等硬件条件的限制，空间分辨率低，易受到噪声的影响。因此，尽管该方法在光学技术领域较活跃，但是其获取的深度图需要有效的深度图超分辨率重建技术，使得深度图的分辨率满足3D图像处理中同彩色图像分辨率一致的要求。

深度图超分辨率重建算法主要包括基于单个深度图的重建技术和基于多深度图的超分辨率技术。基于单个深度图的超分辨率重建技术主要考虑深度信息与同场景彩色纹理图像信息的结合，假设深度不连续区域与彩色图像边界高度一致，通过探索彩色信息来获取具有尖锐的物体边缘的超分辨率深度图。其核心思想是通过构建RGB与Depth系统，寻找同场景的高分辨率彩色纹理图与低分辨率深度图之间的约束关系，采用彩色纹理图像信息引导深度图上采样，重建出超分辨率深度图。基于多深度图超分辨率重建的方法的核心思想是通过融合多个低分辨率深度图，重建出高空间分辨率的深度图。Hahne和Alex提出利用深度图相机的不同曝光时间，设计能量函数来增强单个深度图的质量。Schuo等人将该方法发展到3D型形状模型，提出一种3D深度图上采样的算法，该种算法的主要思想是通过融合同一个静态场景的多个含噪深度图信息，优化当前视点深度像素值，重建出高质量的超分辨率深度图。但是，这些算法没有考虑多视点间的互补信息和深度像素值不精确等问题。

发明内容

为克服现有技术的不足，针对当前深度图超分辨率重建算法主要考虑单个深度图像信息，缺少对视点间的互补信息和深度像素值不精确等问题研究的现状，本发明旨在提出融合多视点深度信息的超分辨率重建方法，为虚拟视点绘制等3D图像处理技术奠定基础。本发明采用的技术方案是，深度图超分辨率重建方法，步骤如下：

1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；

满足上述两个深度值可信的限制条件的公式如下所示：

并且其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值，J表示满足两个限制条件的视点的集合，由此判断出用于下一步融合的视点深度值；

2)确定可信权重表达式R_i,j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：

其中，表示第j个视点像素点p处的初始深度值，可信权重表达式R_i,j(p)也即表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值；

根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图；

3)深度图重建

对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。

采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善，具体步骤是，首先，对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用联合自适应滤波方式处理；

联合自适应滤波的权重由深度高斯核和彩色高斯核构成，具体的权重函数公式如下所示：

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示当前视点的初始高分辨率深度值，ε_p是控制因子，I表示彩色纹理值，σ_c,p表示彩色图像的平滑因子；

根据上述的权重和当前邻域的深度值计算当前视点最终的深度值，如下公式所示：

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图，表示初始高分辨率深度图，Ω表示当前像素点的邻域，k_s是归一化参数。

本发明的特点及有益效果是：

本发明在低分辨率深度图上采样之前，先对多视点的匹配像素点进行深度值可信度判断，满足两个判断限制条件的像素点被用于下一步的深度优化。本发明还对优化后的低分辨率深度图采用联合自适应滤波算法进行深度图超分辨率重建，对于深度图边缘区域具有较好的效果。

附图说明：

图1为技术方案的流程图。

图2为用于测试的两视点低分辨率深度图和彩色图。

图3为不受噪声影响情况下，采用基于多视点深度图融合的超分辨率算法重建的高分辨率深度图。

图4为受高斯噪声影响的情况下，采用基于多视点深度图融合的超分辨率算法重建的高分辨率深度图。

具体实施方式

为克服现有技术的不足，本发明提供了一种深度图超分辨率重建方法，具体的技术方案分为下列步骤：

1.可信深度值判断

通过主流深度图相机拍摄的深度图常常会包含不精确的像素值。这种现象主要是由于光子散粒噪声和热噪声等内部因素以及场景高反射、弱光亮性等外部因素所产生。为了解决这一问题，考虑多个视点间的互补信息，改善当前视点不精确的深度值。这里考虑两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近。因此，设定一个阈值，当视点间视差值在这个阈值范围内，则可接受该视点深度值，将其用于多视点融合。假设P₁(x_l,y_l)和P₂(x_r,y_r)分别是对应同一3D点的两个视点的坐标，那么在判断视点深度值可信前，需要先计算视点间的坐标匹配关系式，然后根据下面的深度范围计算公式，判断视点间深度可信的像素点。

其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值。

第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近。同样设定一个虚拟视图质量可接受的误差阈值，那么满足条件的数学表达式如下所示：

其中，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值。

满足上述深度值可信的限制条件的公式如下所示：

其中，J表示满足两个限制条件的视点的集合。由上述限制条件，可以判断出可用于下一步融合的视点深度值。

2.多视点深度图融合

当两个视点间的距离越远，坐标匹配时越容易发生错误。因此，考虑基线距离，提出可信权重R_i,j(p)。确定可信权重表达式之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点。

结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：

其中，表示第j个视点像素点p处的初始深度值，R_i,j(p)表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值。

根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图。

3.深度图重建

对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。首先，对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用联合自适应滤波方式处理。

联合自适应滤波的权重由深度高斯核和彩色高斯核构成，具体的权重函数公式如下所示：

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示当前视点的初始高分辨率深度值，ε_p是控制因子，I表示彩色纹理值，σ_c,p表示彩色图像的平滑因子。

根据上述的权重和当前邻域的深度值计算当前视点最终的深度值，如下公式所示：

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图，表示初始高分辨率深度图，Ω表示当前像素点的邻域，k_s是归一化参数。

下面通过基于两个视点深度图融合的深度图超分辨率重建来说明本发明的最佳实施方式：1.可信深度值判断

通过主流深度图相机拍摄的深度图常常会包含不精确的像素值。这种现象主要是由于光子散粒噪声和热噪声等内部因素以及场景高反射、弱光亮性等外部因素所产生。为了解决这一问题，考虑多个视点间的互补信息，改善当前视点不精确的深度值。一方面，因为从不同视角拍摄同一3D场景，其深度值是相同或接近。因此，设定一个阈值，当视点间视差值在这个误差范围内，表示该视点深度值被接受，用于多视点融合。假设P₁(x_l,y_l)和P₂(x_r,y_r)分别是左视点和右视点的像素点。那么焦距、视差值和像素点坐标三者之间的关系式如下所示：

y_r＝y_l

其中，D_lr表示左右视点间的视差值，参数B,f和Z分别表示两个相机中心点间的基线距离、拍摄相机的焦距和场景的实际深度值。

那么在判断可信的视点深度值之前，需要先计算视点间的坐标匹配关系式，由上述关系式可以推导出两个视点间匹配像素点的坐标变换关系式如下所示：

x_r＝x_l-D_lr,y_r＝y_l

然后根据下面的深度范围计算公式，判断视点间深度可信的像素点。

其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值。

另一方面，由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该很相近。同样设定一个虚拟视图质量可接受的误差阈值，那么满足条件的数学表达式如下所示：

其中，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值。

满足上述深度值可信的限制条件的公式如下所示：

其中，J表示满足两个限制条件的视点的集合，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值。由上述限制条件，可以判断出用于下一步融合的视点深度值。

2.多视点深度图融合

当两个视点间的距离越远，坐标匹配越容易发生错误。因此，考虑基线距离，提出可信权重R_i,j(p)，其表达式定义如下：

其中，B_i,j表示分别表示当前i视点图像中心与第j个视点深度图中心间的基线距离，σ_b表示基线距离控制参数。

确定可信权重表达式之后，根据坐标匹配变换关系，找到当前视点的所有像素点的匹配点。

结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：

其中，表示第j个视点像素点p处的初始深度值，R_i,j(p)表示视点i和视点j之间的集合可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值。

当所有视点中至少存在一个视点的深度满足第一个判断条件时，先计算视点间可信权重与该视点的深度值的乘积。再将所有满足条件的视点像素值按和权结合，求得当前视点p像素点的优化值；如果没有一个视点满足判断条件，采用合成的虚拟合成视图质量最接近真值的深度值作为当前视点像素值。那么根据上述多视点融合判断机制过程，即可获得当前视点改善后的低分辨率深度图。

3.深度图重建

对上述的初始低分辨率深度图采用双线性插值算法进行上采样，得到初始的高分辨率深度图。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。首先，对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用联合自适应滤波方式处理。

联合自适应滤波的权重由深度高斯核和彩色高斯核构成，具体的权重函数公式如下所示：

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示当前视点的初始高分辨率深度值，σ_D表示深度值的控制因子，ε_p是控制因子,I表示彩色纹理像素值，σ_c,p表示彩色图像的平滑因子。计算平滑因子σ_c,p和控制因子ε_p的具体步骤如下：

1)根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图。为了生成两个分割图，首先计算深度边缘图和彩色边缘图的当前像素窗口内均值，然后用下面的公式将他们分成两个区域：

其中，S_c和S_d分别表示彩色和深度边缘分割图，I_q表示当前像素点的邻域像素彩色值，μ_c,p和μ_d,p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值。

2)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：

SAD(S_c,S_d)＝|S_c-S_d|

其中，SAD表示S_c和S_d之间的绝对平均值，N表示窗口区域像素的个数。

3)根据匹配比率和深度值的控制参数计算平滑因子，其定义如下：

当匹配比率很小时，表示深度图和彩色图像匹配度很高，那么给彩色值高权重值越大。

4)计算深度图边缘像素点所在整个窗口内的平均值和当前像素点在窗口内所属的分割区域内的平均值，然后根据匹配比率和两个平均值计算控制参数，其公式如下：

其中，μ_L表示当前像素点在窗口内所属的分割区域内的平均值，μ_w表示深度图边缘像素点所在整个窗口内的平均值。

根据上述的权重和当前邻域的深度值计算当前视点最终的深度值，如下公式所示：

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图，表示初始高分辨率深度图，Ω表示当前像素点的邻域，k_s是归一化参数。

Claims (2)

1.一种深度图超分辨率重建方法，其特征是，步骤如下：

1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；

满足上述两个深度值可信的限制条件的公式如下所示：

其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值，J表示满足两个限制条件的视点的集合，由此判断出用于下一步融合的视点深度值；

2)确定可信权重表达式R_i,j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：

其中，表示第j个视点像素点p处的初始深度值，可信权重表达式R_i,j(p)也即表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值；

根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图；

3)深度图重建

对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图，采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。

2.如权利要求1所述的深度图超分辨率重建方法，其特征是，采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善，具体步骤是，首先，对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用联合自适应滤波方式处理；

联合自适应滤波的权重由深度高斯核和彩色高斯核构成，具体的权重函数公式如下所示：

其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示当前视点的初始高分辨率深度值，ε_p是控制因子，I表示彩色纹理值，σ_c,p表示彩色图像的平滑因子，σ_D表示深度值的控制因子；

根据上述的权重和当前邻域的深度值计算当前视点最终的深度值，如下公式所示：

其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图，表示初始高分辨率深度图，Ω表示当前像素点的邻域，k_s是归一化参数。