CN102447939A - 一种影视作品2d转3d的优化方法 - Google Patents

Abstract

一种影视作品2D转3D的优化方法，技术方案是先缩小原图像，用人工产生低解析度深度图，在低解析度的情况下产生深度图，可以大大减少工作量；然后将深度图放大到原有图像的大小，利用信号处理的办法产生高解析度的深度图：方法是首先利用双边滤波器对放大的深度图进行滤波处理；再对原有图像及放大处理过的深度图进行图像梯度计算，判断深度图与原图像是否存在重大区别；然后根据判断结果选择双边滤波器或三边滤波器对放大的深度图进行优化处理，产生高品质的深度图；最后利用基于深度的图像绘制算法产生高品质3D立体图像。这种方法可以在保证深度图品质的前提下加快了深度图产生的速度。本发明能高品质、高速率、低成本地制作3D影视作品。

Description

一种影视作品2D转3D的优化方法

技术领域

本发明涉及一种立体影视作品的制作方法，尤其涉及一种影视作品2D转3D的优化方法。

背景技术

随着《阿凡达》3D电影在全球票房获得的巨大成功，观众热切期望更多的立体电影和电视作品进入市场。播放立体影视将变成数字影院的一大收入来源，成为我国的一个重点发展方向，中国广电规划在十二五期间开通十个3D电视频道。我国3D影视的销售量也随着价格的下降而大幅度增长。然而随着3D影视硬件的不断提高和普及，3D影视的内容和数量却远远跟不上需求。其中最大的原因是立体影像制作的技术难度，包括双镜头同步对焦、拍摄速度大幅度减低，后期制作也非常困难。同时，由于3D摄像机体积庞大，无法装入现有拍摄装置，对于特技效果拍摄，如航拍、水下拍摄等都成为难以克服的制作障碍。3D影视的拍摄制作已经成为制约发展的主要瓶颈。为了突破瓶颈，现在比较流行的方法是利用原有的2D图像转换成3D资料。虽然目前基于电脑自动转换3D的技术不断被推出，包括我国专利申请号200310100460.3和200910182310.9等介绍的多种转换方法。但是由于现在电脑视觉(computer vision)算法的局限性，产生的效果远远无法达到3D影视的要求，因此目前影视的转换很多时候还是基于人工，主要步骤为：深度图产生→深度图完善→基于深度的图像算法产生3D图像。

人工转换的效果非常好，是目前立体电影2D转3D的主流技术，但价格昂贵，在人力成本最低的印度，图像处理的平均报价仍达每分钟10万美元，单纯靠压低人力工薪来减低总成本的空间相当有限。人工转换的昂贵原因主要是电影图像尺寸巨大，现在电影主要是采用4K或是8K格式，其中4K为4096x2664，而8K为8190x4320像素。如此高的像素量需要大量的人力来处理，使得制作成本居高不下。因此在保证质量的前提下减低深度图产生成本，就成为当今世界3D影视制作者的最大梦想和追求目标。

发明内容：

为了克服上述现有技术的缺陷，本发明提供一种影视作品2D转3D的优化方法，高品质、高速率、低成本地制作图像视觉深度图。

本发明的技术方案包括以下步骤：

1)按实际要求将原图像缩小，人为利用缩小后的低解析度图像产生低解析度深度图(Depth Map)；由于图像成十倍缩小，所以制作图像深度图的人工操作量也大幅度减少；

2)将低解析度深度图放大到原有图像的大小，利用双边滤波器(bilateral filter)对放大的深度图进行滤波，去除噪音；

3)对原有图像及放大处理过的深度图进行图像梯度计算(image gradient)，确定深度图与原图像是否存在重大区别；

4)根据计算结果，选择使用同时基于深度图及原图像的三边滤波器还是使用基于深度图

本身的双边滤波器来对深度图进行优化以产生最后的深度图。

根据所述的步骤2)对放大的深度图采用双边滤波器进行滤波，其滤波公式如下：

$\stackrel{\‾}{\mathrm{\φ}}\left(X\right)=\frac{1}{k\left(X\right)}\underset{M\∈F}{\mathrm{\Σ}}\mathrm{\φ}\left(M\right)\·s(\mathrm{\φ}\left(X\right),\mathrm{\φ}\left(M\right))\·c(X,M)$

其中，

是归一化因子(normalization factor)，

其中M＝(m，n)为滤波元素位置，X＝(x，y)为滤波核(filter kernel)中心位置，φ(X)为滤波后核中心像素值，φ(X)为滤波前核中心像素值，φ(M)为在滤波器滑动窗口

F(sliding window)区域内取样获得的滤波元素的像素值；

c(X，M)为空间域滤波，采用高斯滤波核心的时候，公式为：

σ_c为双边滤波方差参数；

s(φ(X)，φ(M))为像素值域滤波，采用高斯滤波核心的时候，公式为：

$s(\mathrm{\φ}\left(X\right),\mathrm{\φ}\left(M\right))=e^{--\frac{1}{2}{\left(\frac{\left|\right|\mathrm{\φ}\left(X\right)-\mathrm{\φ}\left(M\right)\left|\right|}{{\mathrm{\σ}}_s}\right)}^2},$ 其中σ_s为像素值域控制参数。

根据步骤3)利用梯度算法对放大处理过的深度图与原图像进行检测，判断深度图与原图像是否存在重大区别；其自动检测算法的公式如下：

$\mathrm{\&eta;}\left(X\right)=\min ({\mathrm{\&gamma;}}_1\left(X\right),{\mathrm{\&gamma;}}_2\left(X\right)),\left\{\begin{array}{cc}\&GreaterEqual;{\mathrm{\&theta;}}_t& \mathrm{texture}\\ <{\mathrm{\&theta;}}_t& \mathrm{smooth}\end{array}\right.$

其中 $r_1\left(X\right)=\max \left(X\right)-\stackrel{\&OverBar;}{X},$ $r_2\left(X\right)=\stackrel{\&OverBar;}{X}-\min \left(X\right);$ X为检测区域参数。

根据梯度算法的自动检测结果决定使用同时基于深度图及原图像的三边滤波器还是基于深度图本身的双边滤波器。

所述的步骤4)三边滤波器的公式如下：

$\stackrel{\&OverBar;}{\mathrm{\&phi;}}\left(X\right)=\frac{1}{k\left(X\right)}\underset{M\&Element;F}{\mathrm{\&Sigma;}}\mathrm{\&phi;}\left(M\right)\&CenterDot;s(\mathrm{\&phi;}\left(X\right),\mathrm{\&phi;}\left(M\right))\&CenterDot;c(X,M)\&CenterDot;f({\mathrm{\&phi;}}_i\left(X\right),{\mathrm{\&phi;}}_i\left(M\right))$

其中， $k\left(X\right)=\underset{M\&Element;F}{\mathrm{\&Sigma;}}s(\mathrm{\&phi;}\left(X\right),\mathrm{\&phi;}\left(M\right))\&CenterDot;c(X,M)\&CenterDot;f({\mathrm{\&phi;}}_i\left(X\right),{\mathrm{\&phi;}}_i\left(M\right))$ 是归一化因子，

其中M＝(m，n)为滤波元素位置，X＝(x，y)滤波核中心位置，

φ(X)为滤波后深度图的像素值，φ(X)为滤波前核中心深度图像素值，

φ(M)为在滤波器滑动窗口F(sliding window)区域内取样获得的滤波元素的深度图像素值，

φ_i(X)为在相应核中心位置在高解析度原图的图像素值，

φ_i(M)为在相应在滑动窗口F区域内滤波元素位置在高解析度原图的图像数值；

s(φ(X)，φ(M))为基于深度图的像素值域滤波，采用高斯滤波核心的时候，公式为

其中σ_s为基于深度图的像素值域控制参数；

f(φ_i(X)，φ_i(M))为基于高解析度原图的像素值域滤波，采用高斯滤波核心的时候，公式为：

σ_f为基于高解析度图像的像素值域控制参数，

c(X，M)为基于深度图的距离公式，

σ_c为基于深度图的双边滤波方差参数。

本发明先用人工产生低解析度深度图，在低解析度的情况下产生深度图，可以大大减少人工数量，同时也保证了深度图的品质；然后利用信号处理的办法产生高解析度的深度图，在保证深度图品质的前提下加快了深度图产生的速度。

本发明的有益效果是：高品质、高速率地制作图像视觉深度图，从而在保证影视质量的前提下，大幅度减少人工工作量，降低制作成本。

附图说明

图1是现有技术人工转换3D图像的工艺流程图；

图2是本发明提供的转换3D图像的工艺流程图；

图3为实施例1的原图像；

图4为实施例1中放大后的深度图；

图5为实施例1中放大深度图直接用三边滤波器处理后的深度图；

图6为实施例1中最后生成的深度图。

具体实施方式

现有技术转换3D图像的流程如图1所示，人工操作工作量很大。

实施例

本发明的操作步骤如图2所示。

1.对图像进行从彩色的RGB模式到YUV模式转换。由于本发明只对亮度有需求，因此仅做YUV中到Y的转换即可，无需U，V部分。

RGB转换Y的公式如下：

Y＝0.299R+0.587G+0.114B

其中Y代表转换为亮度图后的像素值，R、G、B为换算前每个像素的红、绿、蓝像素值。如图3所示，即是将图像从彩色的RGB模式到YUV模式转换。

2.对原图像进行缩小，一般对于4K解析度的电影图像，可以采用横竖方向各缩小8倍，即产生一张为原图像1/64大小的缩小图像。其中缩小方式可以采用现在比较流行的双线性滤波器(bilinear filter)或是双三次插值滤波器(bicubic filter)。

3.对已经缩小的亮度图，采取人工方法产生深度图。人工产生深度图有很多种方式，最简单就是使用ImageMagick或是Photoshop一类的图像处理软件调整图像，藉以获得深度图。

4.利用双线性插值或是双三次插值对人工产生的深度图进行放大，放大后的深度图在尺寸上与原图的大小相同。由于是低解析度放大的关系，图像的边缘会不清晰而且会产生类似噪音的表面误差，如图5所示。如果不进行处理的话会在3维上产生破裂、层次错误、边缘发毛等误差，无法达到电影所要求的效果。因此我们要使用双边滤波器对放大的深度图进行处理。

5.本发明选用的是现在广泛使用的双边滤波器。其公式如下：

$\stackrel{\&OverBar;}{\mathrm{\&phi;}}\left(X\right)=\frac{1}{k\left(X\right)}\underset{M\&Element;F}{\mathrm{\&Sigma;}}\mathrm{\&phi;}\left(M\right)\&CenterDot;s(\mathrm{\&phi;}\left(X\right),\mathrm{\&phi;}\left(M\right))\&CenterDot;c(X,M)$

其中，

是归一化因子(normalization factor)，

其中M＝(m，n)为滤波元素位置，X＝(x，y)为滤波核(filter kernel)中心位置；φ(X)为滤波后核中心像素值，φ(X)为滤波前核中心像素值；

φ(M)为在滤波器滑动窗口F(sliding window)区域内取样获得的滤波元素的像素值；c(X，M)为空间域滤波，采用高斯滤波核心的时候，公式为：

σ_c为双边滤波方差参数；

s(φ(X)，φ(M))为像素值域滤波，采用高斯滤波核心的时候，公式为：

$s(\mathrm{\&phi;}\left(X\right),\mathrm{\&phi;}\left(M\right))=e^{--\frac{1}{2}{\left(\frac{\left|\right|\mathrm{\&phi;}\left(X\right)-\mathrm{\&phi;}\left(M\right)\left|\right|}{{\mathrm{\&sigma;}}_s}\right)}^2},$ 其中σ_s为像素值域控制参数。

经过双边滤波器处理过的深度图虽然噪音大大降低，但是边缘细节等解析度还是无法达到原图像的水准。因此我们利用高解析度的原图像对放大的深度图进行信号增强。本发明采用的是三边滤波器，与传统的双边滤波器不同，这里的三边滤波器不但考虑了深度图本身的像素值域及空间值域，更利用了深度图与原高清图的非常大的相关性(Correlation)，添加了基于高解析度原图像的像素值域部分的滤波，因此使用原图像与深度图相结合的方式可以非常好的还原深度图的边缘细节。使用本发明的三边滤波器虽然对细节还原很好，尤其是还原边缘细节，但是当原高清图上有一些平面细节的话，使用本发明的三边滤波器会将这些平面细节错误的加到深度图上去。一个比较简单的例子就是图3中雕像下盒子包装带上印的文字图案和雕像右后方书本上的文字。盒子上印的文字图案与盒子本身在一个平面上的，书本上的文字与书本本身也是在同一个平面上的，因此在深度图里这些文字图案不应该出现，但如果我们直接使用三边滤波器的话，这些图案会错误的被加到深度图上，造成深度图的错误。如图5所示，处理后的深度图边缘变得比较清楚，但是放大后有原图像细节被错误的拷贝到深度图上。

为此，本发明又提出了一个基于图像梯度计算的自动选择算法。当自动检测算法检测到深度图与原图像有很多的细节上的区别时，则对检测像素不使用本发明提出的三边滤波器。自动检测算法的公式如下：

$\mathrm{\&eta;}\left(X\right)=\min ({\mathrm{\&gamma;}}_1\left(X\right),{\mathrm{\&gamma;}}_2\left(X\right)),\left\{\begin{array}{cc}\&GreaterEqual;{\mathrm{\&theta;}}_t& \mathrm{texture}\\ <{\mathrm{\&theta;}}_t& \mathrm{smooth}\end{array}\right.$

其中

$r_1\left(X\right)=\max \left(X\right)-\stackrel{\&OverBar;}{X},$ $r_2\left(X\right)=\stackrel{\&OverBar;}{X}-\min \left(X\right),$ X为检测区域参数。

通过基于梯度计算的自动选择算法后，根据计算结果判断，选择使用三边或双边滤波器。当结果要求使用三边滤波器时，首先我们要对高解析度原图像进行RGB到YUV的转换，跟前面的步骤一样，我们只保存Y部分亮度图。

RGB到YUV的转换公式如下：

Y＝0.299R+0.587G+0.114B

其中Y代表转换为亮度图后的像素值，R、G、B为换算前每个像素的红、绿、蓝像素值。

在转换以后，我们采用一种改进过的三边滤波器。这个新的三边滤波器的公式如下：

$\stackrel{\&OverBar;}{\mathrm{\&phi;}}\left(X\right)=\frac{1}{k\left(X\right)}\underset{M\&Element;F}{\mathrm{\&Sigma;}}\mathrm{\&phi;}\left(M\right)\&CenterDot;s(\mathrm{\&phi;}\left(X\right),\mathrm{\&phi;}\left(M\right))\&CenterDot;c(X,M)\&CenterDot;f({\mathrm{\&phi;}}_i\left(X\right),{\mathrm{\&phi;}}_i\left(M\right))$

其中，

$k\left(X\right)=\underset{M\&Element;F}{\mathrm{\&Sigma;}}s(\mathrm{\&phi;}\left(X\right),\mathrm{\&phi;}\left(M\right))\&CenterDot;c(X,M)\&CenterDot;f({\mathrm{\&phi;}}_i\left(X\right),{\mathrm{\&phi;}}_i\left(M\right)),$ 是归一化因子；

其中M＝(m，n)为滤波元素位置；X＝(x，y)滤波核中心位置；

φ(X)为滤波后深度图的像素值；φ(X)为滤波前核中心深度图像素值；

φ(M)为在滤波器滑动窗口F(sliding window)区域内取样获得的滤波元素的深度图像素值，

φ_i(X)为在相应核中心位置在高解析度原图的图像素值；

φ_i(M)为在相应在滑动窗口F区域内滤波元素位置在高解析度原图的图像数值；

s(φ(X)，φ(M))为基于深度图的像素值域滤波，

采用高斯滤波核心的时候，公式为：

σ_s为基于深度图的像素值域控制参数；

f(φ_i(X)，φ_i(M))为基于高解析度原图的像素值域滤波，采用高斯滤波核心的时候，公式为：

$f({\mathrm{\&phi;}}_i\left(X\right),{\mathrm{\&phi;}}_i\left(M\right))=e^{--\frac{1}{2}{\left(\frac{\left|\right|{\mathrm{\&phi;}}_i\left(X\right)-{\mathrm{\&phi;}}_i\left(M\right)\left|\right|}{{\mathrm{\&sigma;}}_f}\right)}^2},$

σ_f为基于高解析度图像的像素值域控制参数；

c(X，M)为基于深度图的距离公式，

$c(X,M)=e^{-\frac{1}{2}{\left(\frac{\left|\right|X-M\left|\right|}{{\mathrm{\&sigma;}}_c}\right)}^2},$

σ_c为基于深度图的双边滤波方差参数。

6.当原图像与深度图都被定义为相同类型的像素块后，则可以使用本发明提出的三边滤波器，如果原图像与深度图被定义成不同的像素块的话，则仅适用双边滤波器。优化结束后，则产生最后的深度图，如图6所示。

7.根据优化产生的深度图，配合原图像，利用基于深度的图像绘制算法(Depth basedimage rendering)产生高品质立体图像。本发明中采用了基于深度图的3D图像弯曲算法(3D image warping)。这种算法根据深度图，将从原2维图像上的像素转换到3维图像中的左边或是右边图像上。具体公式如下：

$x_l=x_c+(\frac{t_x}{2}\&CenterDot;\frac{f}{Z})$

$x_r=x_c-(\frac{t_x}{2}\&CenterDot;\frac{f}{Z})$

其中x_l是计算出来的左边图像水平方向的坐标，x_r是计算出来的右边图像水平方向的坐标，x_c是原图的水平坐标，Z是像素的深度值(也就是深度图上的像素值)，f是虚拟摄像机的的聚焦距离(focal length)，t_x为眼睛距离。

Claims (4)

1.一种影视作品2D转3D的优化方法，其特征在于，包括以下步骤：

1)按实际要求将原图像缩小，人为利用缩小后的低解析度图像产生低解析度深度图(Depth Map)；

2)将低解析度深度图放大到原有图像的大小，利用双边滤波器(bilateral filter)对放大的深度图进行滤波，去除噪音；

3)对原有图像及放大处理过的深度图进行图像梯度计算(image gradient)，确定深度图与原图像是否存在重大区别；

4)根据计算结果，选择使用同时基于深度图及原图像的三边滤波器还是使用基于深度图本身的双边滤波器来对深度图进行优化以产生最后的深度图。

2.根据权利要求1所述的一种影视作品2D转3D的优化方法，其特征在于：所述的步骤2)对放大的深度图采用双边滤波器进行滤波，其滤波公式如下：

其中，

是归一化因子(normalization factor)，

其中M＝(m，n)为滤波元素位置，X＝(x，y)为滤波核(filter kernel)中心位置， 

为滤波后核中心像素值，φ(X)为滤波前核中心像素值，φ(M)为在滤波器滑动窗口F(sliding window)区域内取样获得的滤波元素的像素值；

c(X，M)为空间域滤波，采用高斯滤波核心的时候，公式为：

σ_c为双边滤波方差参数；

s(φ(X)，φ(M))为像素值域滤波，采用高斯滤波核心的时候，公式为：

其中σ_s为像素值域控制参数。

3.根据权利要求1所述的一种影视作品2D转3D的优化方法，其特征在于：所述的步骤3)利用梯度算法对放大处理过的深度图与原图像进行检测，判断深度图与原图像是否存在重大区别；其自动检测算法的公式如下：

其中

X为检测区域参数； 

根据梯度算法的自动检测结果决定使用同时基于深度图及原图像的三边滤波器还是基于深度图本身的双边滤波器。

4.根据权利要求1所述的一种影视作品2D转3D的优化方法，其特征在于：所述的步骤4)三边滤波器的公式如下：

其中，

是归一化因子，

其中M＝(m，n)为滤波元素位置，X＝(x，y)滤波核中心位置，

为滤波后深度图的像素值，φ(X)为滤波前核中心深度图像素值，

φ(M)为在滤波器滑动窗口F(sliding window)区域内取样获得的滤波元素的深度图像素值，

φ_i(X)为在相应核中心位置在高解析度原图的图像素值，

φ_i(M)为在相应在滑动窗口F区域内滤波元素位置在高解析度原图的图像数值；

s(φ(X)，φ(M))为基于深度图的像素值域滤波，采用高斯滤波核心的时候，公式为

其中σ_s为基于深度图的像素值域控制参数；

f(φ_i(X)，φ_i(M))为基于高解析度原图的像素值域滤波，采用高斯滤波核心的时候，公式为：

σ_f为基于高解析度图像的像素值域控制参数，

c(X，M)为基于深度图的距离公式，

σ_c为基于深度图的双边滤波方差参数。 

Images