CN102695069A - 一种二维到三维视频转换中的深度传播方法 - Google Patents

Abstract

本发明提供应用于半自动二维转三维系统中的深度传播技术。该技术先通过图像匹配技术将一部分像素的深度从关键帧传播到非关键帧中，然后在非关键帧中，根据深度一致性原理，将问题建模成一个有约束的优化问题，采用最小二乘算法求得此优化问题的最优解。本发明提出的深度传播技术不需用户的任何参与就能得到高质量的深度图视频，从而能转换出高质量的三维视频，在三维内容生成领域有广泛的应用价值。

Description

一种二维到三维视频转换中的深度传播方法

技术领域

本发明涉及二维视频到三维视频半自动转换系统中的深度传播技术，属于视频、多媒体信号处理技术领域。

背景技术

由于三维视频内容的短缺，二维视频到三维视频的转换技术越来越成为研究热点。自动的转换技术虽然不用人工参与，但是得到的三维效果还不能满足人们的要求，与其相比，半自动的转换技术通过增加少量的人力，却能得到更为准确的深度图，因此，这种方法普遍被人接受。

在半自动的二维视频到三维视频转换系统中，一般的做法是：先是对整个视频提取关键帧，然后人工设定关键帧的深度，最后根据非关键帧与关键帧的相关性，通过深度传播算法得到非关键帧的深度。在这个过程中，深度传播算法至关重要。深度传播性能直接关系到最终深度图的质量。

在深度传播的研究中，假定已经选择了关键帧并且关键帧的深度已知，非关键帧的深度需要通过深度传播算法得到。一些研究者提出采用基于运动矢量进行深度搬移的算法，比如位移双边滤波(SBF)算法，该算法能比较好的解决视频中运动的情况，但是该算法采用像素级别的深度搬移，导致算法很耗时，而且也不能解决物体前后移动的带来的深度误差。也有一些研究者将机器学习算法应用到深度传播当中，采用先学习后预测的思路，但是该算法提出的特征矢量太简单，没能取得很好的性能，而且机器学习算法复杂度太高。还有研究者提出将深度传播问题建模成一个优化问题，此方法与本发明最为接近，能取得比较好的效果。但是整个镜头的所有帧都参与优化，需要优化的未知变量很多，这使得算法需要大量的存储空间，而且优化速度很慢。

本发明针对当前深度传播算法处理速度慢、复杂度高等缺点，提出一种基于优化方法的快速深度传播方法。本发明不仅能取得与SBF算法相似的性能，而且运行速度提高5倍。本发明提供的算法能广泛应用于3D内容生成、3DTV产业、3D广播等相关领域。

发明内容

根据深度一致性原理，本发明将半自动二维转三维系统中的深度传播分解为关键帧与非关键帧之间匹配像素的深度搬移和非匹配像素的深度计算两个部分，具体步骤为：

（1）匹配像素的深度搬移：将关键帧与非关键帧做图像匹配，对于高度匹配的像素，即匹配信度值大的像素，将关键帧中相应像素的深度值直接作为非关键帧中相应像素的深度值；

（2）非匹配像素的深度计算：对于剩余的不高度匹配的像素，通过求解有约束的优化问题得到非关键帧中相应像素的深度值，其中优化问题为最小化当前像素与邻域窗口像素的加权深度值，约束条件为在非关键帧中那些能与关键帧高度匹配上的点被赋值为其对应的深度值。

本发明无需人工参与，能自动的传播出关键帧之间的帧的深度图。得到的深度图质量高，通过基于深度的渲染技术（DIBR）能得到的三维视频完全符合虚拟视点领域对虚拟视频质量的要求。同时，本发明的算法比SBF算法的速度提高5倍，大大加速了二维转三维转换过程，从而节省了处理时间，节约了成本。

附图说明

图1是本发明的方法框图。

图2是本发明针对测试图片得到的深度图。其中（a）是关键帧的彩色图，（b）是非关键帧的彩色图，（c）是将高度匹配像素点搬移之后得到的非关键帧的深度图，（d）是本发明通过优化方法建模得到的最终的深度图。

具体实施方式

本发明将半自动二维转三维系统中的深度传播问题分解为关键帧与非关键帧之间匹配像素的深度搬移和非匹配像素的深度计算两个部分，将非匹配像素的深度计算建模成一个有约束的优化问题，采用最小二乘算法求得问题的最优解。整个过程无需人工参与，全自动化。

根据图1中的方法框图，本发明的深度传播技术包括以下具体步骤：

1.匹配像素的深度搬移，该步骤的实现流程如下：

（1）在非关键帧和关键帧之间做图像匹配，除了遮挡区域之外，非关键帧中的大部分像素点都能在关键帧中找到对应点；

（2）将非关键帧中与关键帧高度匹配上的像素点的深度赋值为关键帧中对应点的深度值，所谓的高度匹配是指匹配信度值大。得到的非关键帧的深度图如图2（c）。由于非关键帧与关键帧之间的高度相关性，非关键帧中的大部分像素点都已传播出深度值；

2.非匹配像素的深度计算，将问题建模成一个有约束的优化问题并求解，具体实现流程如下：

（1）优化问题建模：根据深度一致性原理，即如果相邻像素的颜色值或亮度值类似，那么他们的深度值也要保持一致，本发明将非关键帧剩余像素的深度传播问题建模成一个有约束的优化问题。优化函数通过最小化像素r的深度与其相邻像素的加权深度之间的差异，约束条件是在非关键帧中那些能与关键帧高度匹配上的点被赋值为其对应的深度值。该优化问题的完整的公式表达如下：

$\underset{D}{\min }J\left(D^{\mathrm{non}-\mathrm{key}}\right)=\underset{r}{\mathrm{\Σ}}{(D^{\mathrm{non}-\mathrm{key}}\left(r\right)-\underset{s\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{\mathrm{rs}}{D}^{\mathrm{non}-\mathrm{key}}\left(s\right))}^2$

约束条件为D^non-key(r_i)＝D^key(r_i′)  （1）

其中，像素r_i和r_i′是高度匹配像素

这里D^key为关键帧的深度，D^non-key是非关键帧的深度，D^non-key(r)为非关键帧中像素r的深度值，公式中的像素r_i与像素r_i′是高度匹配的。N(r)是像素r的邻域窗口，s是r邻域窗口中的像素，w_rs是一个归一化的加权函数，该函数有个特点：如果r和s的亮度值越相近那么加权值就越大，反之，加权值就越小。实验中我们采用的加权函数如下：

$w_{\mathrm{rs}}=e^{-(Y\left(r\right)-Y\left(s\right))/{2\mathrm{\σ}}_r^2}---\left(2\right)$

公式（2）中，Y(r)是指像素r的亮度值，σ_r是领域窗口的像素灰度值的方差。

（2）采用最小二乘算法求得优化问题（1）的最优解。图2（d）是本发明得到最终的非关键帧的深度图。可以看出算法能得到一个准确的深度图。对于完成时间，本发明平均处理一帧所用的时间是58秒，而位移双边滤波算法（SBF）平均一帧的处理时间是221秒，提高了将近5倍效率。

Claims (2)

1.一种二维到三维视频转换中的深度传播方法，其特征是：

根据深度一致性原理，将半自动二维转三维系统中的深度传播分解为关键帧与非关键帧之间匹配像素的深度搬移和非匹配像素的深度计算两个部分，具体步骤为：

（1）匹配像素的深度搬移：将关键帧与非关键帧做图像匹配，对于高度匹配的像素，即匹配信度值大的像素，将关键帧中相应像素的深度值直接作为非关键帧中相应像素的深度值；

（2）非匹配像素的深度计算：对于剩余的不高度匹配的像素，通过求解有约束的优化问题得到非关键帧中相应像素的深度值，其中优化问题为最小化当前像素与邻域窗口像素的加权深度值，约束条件为在非关键帧中那些能与关键帧高度匹配上的点被赋值为其对应的深度值。

2.根据权利要求1所述的二维到三维视频转换中的深度传播方法，其特征在于：所述步骤（2）的优化问题是采用最小二乘算法求解的。

Images