CN102881018B - 一种图像深度图生成方法 - Google Patents

Abstract

本发明公开了一种图像深度图生成方法，包括1）对当前帧图像的当前块，在参考帧图像中相应的区域选取若干个参考块；2）计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差；彩色块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的彩色像素值差的绝对值之和；3）对当前块与某个参考块，将相应的深度块匹配误差与彩色块匹配误差进行加权，得到综合匹配误差；4）选取综合匹配误差最小时对应的某个参考块，将该参考块的深度图作为当前块的深度图。本发明的有益效果是：本发明提高了当前帧图像被插值得到的深度图的质量；并有效减小了单向深度插值传播造成的累计误差。

Description

一种图像深度图生成方法

【技术领域】

本发明涉及计算机视觉立体视频领域，具体涉及一种图像深度图生成方法。

【背景技术】

立体视频利用人的立体视觉机理，能给人提供如同身临其境般的三维立体观感，极大地丰富了人们的生活。近年来3D电影和3D电视飞速发展，技术水平不断提高，市场逐步扩大。平面转立体视频的研究具有巨大市场潜力，而且这项技术本身也将大力推动立体显示产业的发展。目前立体显示产业面临的最大问题就是片源、素材的问题。一方面片源、素材的数量比传统的平面媒体要少很多，立体视频面临的一个重大问题就是片源稀缺，而现有的平面视频片源又十分庞大可以充分利用，另一方面制作新的立体显示素材成本过于昂贵，直接由3D摄像机拍摄操作复杂且成本高居不下。因此将部分平面视频转换为立体视频是一种经济有效的途径。研究方便快速的方法使原有的大量平面片源素材转换成可以立体显示的素材，可以大大推动立体显示技术的普及。

对于基于深度图的平面视频转立体视频技术，获取视频所有帧的深度图是关键所在。一帧彩色图像的深度图可以由人工进行抠图并赋值得到，也可利用计算机根据一定的算法自动生成，前者生成的深度图质量较高但需要大量的时间和人力，而相对来说后者虽然更为快速但不能保证生成的深度图质量。

一种半自动的转换技术结合了上述两种方式的优点，深度图的获取包括了人工绘制和计算机自动生成两种方式。即先由人工绘制视频中少数关键帧的精细深度图，然后利用计算机根据深度传播算法生成其他帧的深度图。深度传播技术在保证较好的深度图质量的同时，大大减少了了人工逐帧绘制深度图的转换时间和经济成本。

深度传播实际上是一个深度插值的过程，即通过关键帧的精细深度信息去插值其余帧的深度图。深度传播算法需要保证生成的深度图有较好的质量，深度图序列要保持连续性，且误差要控制在一定范围内。由于深度信息是由关键帧向其余非关键帧传播，沿着传播方向误差的逐渐累积造成深度图质量下降是一个急需解决的问题。

【发明内容】

为了克服现有技术的不足，本发明提供了一种图像深度图生成方法，以提高待插值的当前帧图像的深度图的精度。

一种图像深度图生成方法，包括如下步骤：

1）对当前帧图像的当前块，在参考帧图像中相应的区域选取若干个参考块；

2）计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差，其中，深度块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的深度值差的绝对值之和；彩色块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的彩色像素值差的绝对值之和；

3）对当前块与某个参考块，将相应的深度块匹配误差与彩色块匹配误差进行加权，得到综合匹配误差；

4）选取综合匹配误差最小时对应的某个参考块，将该参考块的深度图作为当前块的深度图。

优选地，所述步骤3）中，深度块匹配误差的加权系数与彩色块匹配误差的加权系数之和为1。

优选地，深度块匹配误差的加权系数的取值为0.90至0.85，彩色块匹配误差的加权系数的取值为0.10至0.15。

优选地，在对视频图像帧进行处理过程中，还包括如下步骤：

5）在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤1）至步骤4），计算得到当前块的依据第一参考帧图像获得的第一深度图、以及依据第二参考帧图像获得的第二深度图；

6）将第一深度图与第二深度图进行加权的结果作为当前块的最终深度图。

优选地，通过如下步骤获取步骤2）中当前块的当前像素点的深度值：

7） $D_n\left(i\right)=\frac{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}f(i,j)w_{n,k}(i,j)D_k\left(j\right)}{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}f(i,j)w_{n,k}(i,j)}$ ；

其中，D_n(i)是作为当前帧图像的第n帧图像的当前块的当前像素点i处的深度值，N(i)是作为参考帧图像的第k帧图像内的与当前像素点i相对应的像素点的邻域，D_k(j)为邻域N(i)中的像素点j处的深度值；f(i,j)为像素点j与当前像素点i之间的空间距离的权值，像素点j距当前像素点i越远，权值f(i,j)越小；w_n,k(i,j)为像素点j和当前像素点i的彩色像素值差异的权值，像素点j和当前像素点i的彩色像素值差异越大，权值w_n,k(i,j)越小。

优选地，在对视频图像帧进行处理过程中，还包括如下步骤：

5）在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤7），计算得到当前像素点的依据第一参考帧图像获得的第一深度值、以及依据第二参考帧图像获得的第二深度值；

6）将第一深度值与第二深度值进行加权的结果作为当前像素点的深度值。

优选地，

$f(i,j)\≡2^{-\mathrm{\α}{\left|\right|i-j\left|\right|}^2}$ ；

$w_{n,k}(i,j)\≡2^{-\mathrm{\β}{|C_n\left(i\right)-C_k\left(j\right)|}^2}$ ；

其中，α和β均为大于0的系数，C_n(i)和C_k(j)分别是作为当前帧图像的第n帧图像的像素点i的彩色像素值和作为参考帧图像的第k帧图像的像素点j的彩色像素值。

优选地，

$f(i,j)\≡e^{-\frac{{\left|\right|i-j\left|\right|}^2}{2{\mathrm{\σ}}_f^2}}$ ；

$w_{n,k}(i,j)\≡e^{-\frac{{|C_n\left(i\right)-C_k\left(j\right)|}^2}{2{\mathrm{\σ}}_c^2}}$ ；

其中，σ_f和σ_c是不为零的系数，C_n(i)和C_k(j)分别是作为当前帧图像的第n帧图像的像素点i和作为参考帧图像的第k帧图像的像素点j的彩色图的彩色像素值。

本发明的有益效果是：在对当前帧图像的深度图进行运动估计时，同时考虑了同时刻当前帧图像和参考帧图像的彩色像素信息，作为两者之间深度块匹配的准则，提高了运动估计的精度，提高了当前帧图像被插值得到的深度图的质量；进一步的，通过采用在当前帧的前向和后向上的两个参考帧对当前帧的深度图进行插值传播，从而有效减小了单向深度插值传播造成的累计误差。

【附图说明】

图1是本发明一种实施例的图像深度图生成方法的流程示意图；

图2是本发明一种实施例的图像深度图生成方法的双向深度传播示意图。

【具体实施方式】

以下将结合附图，对本发明的具体实施例作进一步详细说明。

如图1所示，本发明的一种实施例的图像深度图生成方法，包括如下步骤：

一、使用双边滤波器插值生成当前帧的初始深度图11

在图像处理中双边滤波器被用作一种可以保边去噪的滤波器。在双边滤波中，图像每一个像素的亮度值被以其为中心的邻域内的像素亮度值的加权平均值所取代。与传统的高斯滤波器不同的是，双边滤波不仅包含空域滤波，同时还考虑了值域滤波。即双边滤波器加权平均的权重是两个因子的乘积，一个因子表征两个比较的像素点之间空间距离，两像素相距越远其值越小，这与高斯滤波器的原理是相同的；另一个因子则表征两个比较的像素点之间的亮度差异，亮度差越大其值越小。因此双边滤波器不仅能滤去噪点，而且对于图像中有亮度急剧变化的边缘处能够较好地保持。

在这里我们基于两帧图像像素间的颜色差异和空间距离，利用参考帧图像的精细深度图10，使用双边滤波器来插值出当前帧图像的初始深度图11。记第k帧图像为参考帧图像，对于作为当前帧的第n帧图像的每一个像素i，使用下式计算其深度估计值：

$D_n\left(i\right)=\frac{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}f(i,j)w_{n,k}(i,j)D_k\left(j\right)}{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}f(i,j)w_{n,k}(i,j)}$ ；

式中，D_n(i)为第n帧图像的像素点i处的深度值；N(i)为第k帧图像内的与像素点i相对应的像素点i＇的邻域，通常是以该像素点i＇为中心的邻域，典型地是一个矩形窗；D_k(j)为第k帧图像内i的邻域N(i)中的像素点j处的深度值；f(i,j)和w_n,k(i,j)是用于加权求和的权值，f(i,j)为表征为像素点j与当前像素点i之间的空间距离的权值，像素点j距像素点i越远，权值f(i,j)越小；w_n,k(i,j)为表征像素点j和当前像素点i的彩色像素值差异的权值，像素点j和像素点i的彩色像素值差异越大，权值w_n,k(i,j)越小。空间权值f(i,j)和彩色权值w_n,k(i,j)可以按照下式计算：

$f(i,j)\≡2^{-\mathrm{\α}{\left|\right|i-j\left|\right|}^2}$

$w_{n,k}(i,j)\≡2^{-\mathrm{\β}{|C_n\left(i\right)-C_k\left(j\right)|}^2}$ ；

式中系数α为控制空间权值f(i,j)随着像素点j与当前像素点i之间距离的增大而下降的速度的大于零的参数，系数β为控制彩色权值w_n,k(i,j)随着像素点j与当前像素点i之间的彩色像素值的增大而下降的速度的参数，C_n(i)和C_k(j)分别是第n帧图像和第k帧图像的彩色图的彩色像素值，。其中，当前像素点i和像素点j的坐标分别为(i_x,i_y)和(j_x,j_y)。

f(i,j)和w_n,k(i,j)也可以使用下面类似高斯滤波器的形式，其中σ_f和σ_c仍然为控制权值下降速度的参数：

$f(i,j)\≡e^{-\frac{{\left|\right|i-j\left|\right|}^2}{2{\mathrm{\σ}}_f^2}}$

$w_{n,k}(i,j)\≡e^{-\frac{{|C_n\left(i\right)-C_k\left(j\right)|}^2}{2{\mathrm{\σ}}_c^2}}$ ；

使用双边滤波器只能得到一个当前帧图像的初始的深度图，相较于真实的深度信息存在较大的误差，而且无法体现全部的图像细节。其中的一个原因是在这里我们假设在一定空间范围内两像素的色度（像素值）越相近，其具有相近深度值的可能性也越大，例如两像素同属于背景或同一前景物体。但在实际总这个假设却不一定成立，因此生成的当前帧图像的初始深度图中难免有很多误差。为了得到更为精细的当前帧图像的深度图，还需要在此基础上作进一步的修正。

二、使用“深度-彩色联合运动补偿”生成当前帧图像的精细深度图

运动补偿通过先前的局部图像预测、补偿当前的局部图像，在视频压缩或编解码器中被用来消除视频帧序列中的冗余信息。如图1所示，在这里为了得到当前帧图像的精细深度图14，我们通过与参考帧图像精细深度图10之间作基于块的运动补偿来修正上一步得到的当前帧图像的初始深度图11。理论上运动补偿只在两幅深度图之间进行即可，这时搜索运动矢量采用的匹配准则是来自两幅深度图的两个块的匹配误差。由于初始深度图本身存在一定的误差，这样运动估计的精度很难得到保证。另一方面参考帧图像和当前帧图像并没有参与运动补偿过程，因此我们可以考虑将这两幅彩色图的信息也包含进来。

为了进一步提高运动估计精度，我们在深度图之间作运动估计时考虑同时刻彩色图的信息，将深度图和彩色图的匹配误差加权和作为匹配准则，即在搜索最佳运动矢量的时候选取匹配误差加权和最小的候选运动矢量作为最终的运动矢量。参考帧图像仍然为第k帧图像，则在这种“深度-彩色视频联合运动估计”中，确定作为当前帧图像的第n帧图像中第i块像素块B⁽ⁱ⁾（当前块）的运动矢量的过程可以用下式表示：

$(v_x^{\left(i\right)},v_y^{\left(i\right)})=\underset{(\mathrm{dx},\mathrm{dy})}{\arg \min }\{w_D{\mathrm{SAD}}_D^{\left(i\right)}(\mathrm{dx},\mathrm{dy})+w_C{\mathrm{SAD}}_C^{\left(i\right)}(\mathrm{dx},\mathrm{dy})\}$ ；

式中，

${\mathrm{SAD}}_D^{\left(i\right)}(\mathrm{dx},\mathrm{dy})=\underset{(x,y)\∈B^{\left(i\right)}}{\mathrm{\Σ}}|D_{(x,y)}^{\left(n\right)}-D_{(x+\mathrm{dx},y+\mathrm{dy})}^{\left(k\right)}|$

${\mathrm{SAD}}_C^{\left(i\right)}(\mathrm{dx},\mathrm{dy})=\underset{(x,y)\∈B^{\left(i\right)}}{\mathrm{\Σ}}|C_{(x,y)}^{\left(n\right)}-C_{(x+\mathrm{dx},y+\mathrm{dy})}^{\left(k\right)}|$ ；

和分别是像素块B⁽ⁱ⁾与参考帧图像中某个参考块的深度图和彩色图中的块匹配误差，即深度块匹配误差和彩色块匹配误差；其中，(dx,dy)表示在第k帧图像的某个参考块与像素块B⁽ⁱ⁾之间的向量，表示像素块B⁽ⁱ⁾的某个像素点(x,y)的深度值，表示该参考块内的与像素点(x,y)对应的某个像素点(x+dx,y+dy)的深度值，表示像素块B⁽ⁱ⁾的某个像素点(x,y)的彩色像素值，表示该参考块内的与像素点(x,y)对应的某个像素点(x+dx,y+dy)的彩色像素值，w_D和w_C分别是深度图和彩色图的匹配误差在加权求和时所占的权重，且满足，w_C=1-w_D。这样，分别计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差，并分别将每一组的深度块匹配误差和彩色块匹配误差进行加权后得到综合匹配误差，将综合匹配误差最小时对应的某个参考块与当前块之间的向量作为当前块的运动矢量。

得到运动矢量后，用参考帧图像的该参考块对应的精细深度图10中的匹配块替换当前块。对当前帧图像的所有不重叠的像素块B⁽ⁱ⁾进行上述操作后，即可以获得当前帧图像的最终的深度图。

上述联合运动估计中一个重要的问题是权重系数w_D和w_C的选取。事实上彩色图匹配误差虽然需要被考虑，但其权重w_C也不能太大，其具体取值可以视待转换的视频序列而定。我们使用一些视频测试序列进行了实验，经验表明w_C的取值在0.10~0.15时，亦即w_D的取值在0.90~0.85时运动补偿生成深度图的质量最高。

至此，我们利用参考帧图像的彩色信息、精细深度信息以及当前帧图像的彩色信息，通过双边滤波和联合运动补偿两大步骤，最终得到了当前帧图像的一幅精细深度图14。

三、使用上述深度插值算法进行双向深度传播

在步骤（一）和步骤（二）中，我们描述了一种基于双边滤波和联合运动补偿的深度插值算法，下面将把此算法应用到视频帧序列中进行深度传播。在此之前视频序列中应该已经选取出一少部分帧作为关键帧，其精细深度图由人工绘制得到，图像质量较高，因此可以作为深度传播的初始信息。最初的参考帧集合只包含这些关键帧，这些参考帧的深度信息以向前和向后双向的方式向其余帧传播。插值出某一非关键帧的精细深度图需要经过如前所述的双边滤波和运动补偿两步，之后该帧也被加入参考帧的集合中，其深度信息被继续用来向其他帧传播。重复执行此深度传播算法，参考帧的集合将不仅包含最初选取的关键帧，越来越多的非关键帧也被作为参考帧。算法结束时参考帧集合应当包含视频序列中全部帧，其中所有非关键帧的精细深度图都已通过深度传播生成。

在单向的传播过程中，两关键帧之间所有非关键帧的深度信息都是由前向或后向上某一关键帧传播而来，因此误差会沿着传播方向逐步累积递增，在距离参考关键帧较远处，最终生成的深度图质量会有很大程度的下降。

为缓解单向传播过程中的误差累积问题，可以采用双向的传播方案。插值某一非关键帧时分别利用其前向和后向上最近的两帧关键帧作为参考帧，即分别通过步骤一的双边滤波得到该待插值的非关键帧的两个插值结果，融合之后作为该非关键帧的初始深度图，该初始深度图再分别与两个参考帧之间作如步骤二的“深度-彩色联合运动补偿”，两个结果融合后得到该待插值的非关键帧的最终的精细深度图。可以看出该非关键帧的深度图是由前后两帧参考帧的深度信息双向传播得到的，且该非关键帧将原来两关键帧之间的区间划分为两个小区间。因此生成精细深度图后该帧也将作为一帧参考帧，其深度信息在两个小区间上继续传播。重复此双向传播过程，区间被划分得越来越小，参考帧集合越来越大，最终所有非关键帧的精细深度图都被插值出来。

如图2所示，双向深度传播算法的插值顺序的一个实施例。

开始时选取第一参考帧图像1和第九参考帧图像9为关键帧图像，其精细深度图已知；

利用第一参考帧图像1的精细深度图，通过步骤一可以获得第五帧图像5的第一初始深度图，利用第九参考帧图像9，通过步骤一可以获得第五帧图像5的第二初始深度图，然后将第一初始深度图和第二初始深度图进行加权，融合得到第五帧图像5的初始深度图；

利用第一参考帧图像1及第五帧图像5的初始深度图，通过步骤二，获得第五帧图像5的第一精细深度图，再利用第九参考帧图像9及第五帧图像5的初始深度图，通过步骤二，获得第五帧图像5的第二精细深度图，将第一精细深度图和第二精细深度图进行加权，融合得到第五帧图像5的精细深度图；

类似地，在下一轮迭代中利用第一帧图像1和第五帧图像5插值出第三帧图像3，利用第五帧图像5和第九帧图像9插值出第七帧图像7，而在最后一轮迭代中分别得到第二帧图像2、第四帧图像4、第六帧图像6、第八帧图像8的精细深度图。至此，第一帧图像1至第九帧图像9之间所有帧的精细深度图都已生成。

根据我们的实验结果，由上述基于双边滤波和联合运动补偿的双向深度传播技术生成的深度图，其图像质量能达到较高的水平。利用联合运动估计，当彩色图块匹配误差的权值为w_C=0.15时，能使生成的深度图序列平均PSNR值提高了1dB以上；而在此基础上进一步使用我们提出的新的双向深度传播方式，相较于单向深度传播，其平均PSNR值又能有2~4 dB的提高。

Claims (8)

1.一种图像深度图生成方法，其特征是，包括如下步骤：

1)对当前帧图像的当前块，在参考帧图像中相应的区域选取若干个参考块；

2)计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差，其中，深度块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的深度值差的绝对值之和；彩色块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的彩色像素值差的绝对值之和；

3)对当前块与某个参考块，将相应的深度块匹配误差与彩色块匹配误差进行加权，得到综合匹配误差；

4)选取综合匹配误差最小时对应的某个参考块，将该参考块的深度图作为当前块的深度图。

2.如权利要求1所述的图像深度图生成方法，其特征是：所述步骤3)中，深度块匹配误差的加权系数与彩色块匹配误差的加权系数之和为1。

3.如权利要求2所述的图像深度图生成方法，其特征是：深度块匹配误差的加权系数的取值为0.90至0.85，彩色块匹配误差的加权系数的取值为0.10至0.15。

4.如权利要求1所述的图像深度图生成方法，其特征是，在对视频帧图像进行处理过程中，还包括如下步骤：

5)在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤1)至步骤4)，计算得到当前块的依据第一参考帧图像获得的第一深度图、以及依据第二参考帧图像获得的第二深度图；

6)将第一深度图与第二深度图进行加权的结果作为当前块的最终深度图。

5.如权利要求1所述的图像深度图生成方法，其特征是，通过如下步骤获取步骤2)中当前块的当前像素点的深度值：

7) $D_n\left(i\right)=\frac{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}f(i,j)w_{n,k}(i,j)D_k\left(j\right)}{\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}f(i,j)w_{n,k}(i,j)};$

D_n(i)是作为当前帧图像的第n帧图像的当前块的当前像素点i处的深度值，N(i)是作为参考帧图像的第k帧图像内的与当前像素点i相对应的像素点的邻域，D_k(j)为邻域N(i)中的像素点j处的深度值；f(i,j)为像素点j与当前像素点i之间的空间距离的权值，像素点j距当前像素点i越远，权值f(i,j)越小；w_n,k(i,j)为像素点j和当前像素点i的彩色像素值差异的权值，像素点j和当前像素点i的彩色像素值差异越大，权值w_n,k(i,j)越小。

6.如权利要求5所述的图像深度图生成方法，其特征是：在对视频帧图像进行处理过程中，还包括如下步骤：

5)在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤7)，计算得到当前像素点的依据第一参考帧图像获得的第一深度值、以及依据第二参考帧图像获得的第二深度值；

6)将第一深度值与第二深度值进行加权的结果作为当前像素点的深度值。

7.如权利要求5所述的图像深度图生成方法，其特征是：

$f(i,j)\≡2^{-\mathrm{\α}{\left|\right|i-j\left|\right|}^2};$

$w_{n,k}(i,j)\≡2^{{-\mathrm{\β}|C_n\left(i\right)-C_k\left(j\right)|}^2};$

其中，α和β均为大于0的系数，C_n(i)和C_k(j)分别是作为当前帧图像的第n帧图像的当前像素点i的彩色像素值和作为参考帧图像的第k帧图像的像素点j的彩色像素值；当前像素点i和像素点j的坐标分别为(i_x,i_y)和(j_x,j_y)；系数α为f(i,j)随着像素点j与当前像素点i之间距离的增大而下降的速度的大于零的参数，系数β为w_n,k(i,j)随着像素点j与当前像素点i之间的彩色像素值的增大而下降的速度的参数。

8.如权利要求5所述的图像深度图生成方法，其特征是：

$f(i,j)\≡e^{-\frac{{\left|\right|i-j\left|\right|}^2}{{2\mathrm{\σ}}_f^2}};$

$w_{n,k}(i,j)\≡e^{-\frac{{|C_n\left(i\right)-C_k\left(j\right)|}^2}{{2\mathrm{\σ}}_c^2}};$

其中，σ_f和σ_c是不为零的系数，σ_f为控制f(i,j)下降速度的参数，σ_c为控制w_n,k(i,j)下降速度的参数，C_n(i)和C_k(j)分别是作为当前帧图像的第n帧图像的像素点i和作为参考帧图像的第k帧图像的像素点j的彩色图的彩色像素值；当前像素点i和像素点j的坐标分别为(i_x,i_y)和(j_x,j_y)。