CN104243948B

CN104243948B - 2d图像转3d图像的深度调整方法及装置

Info

Publication number: CN104243948B
Application number: CN201310713733.5A
Authority: CN
Inventors: 孔德明; 陈小平; 汪大崴
Original assignee: SXMOBI TECHNOLOGY (SHENZHEN) Co Ltd
Current assignee: SXMOBI TECHNOLOGY (SHENZHEN) Co Ltd
Priority date: 2013-12-20
Filing date: 2013-12-20
Publication date: 2017-01-18
Anticipated expiration: 2033-12-20
Also published as: CN104243948A

Abstract

本发明提供了一种2D图像转3D图像的深度调整方法，包括：获取2D图像中的宏块，获取所述宏块的初始深度值，并从中找出最小初始深度值和最大初始深度值；根据所述宏块的初始深度值计算得到深度平均值；根据所述深度平均值、最小初始深度值和最大初始深度值将所述宏块的深度值非线性地归一化到0至255的灰度值之间；根据归一化后的深度值将所述2D图像转换成3D图像。此外，还提供了一种2D图像转3D图像的深度调整装置。上述2D图像转3D图像的深度调整方法和装置能够提高3D效果。

Description

2D图像转3D图像的深度调整方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种2D图像转3D图像的深度调整方法及装置。

背景技术

在传统技术中的2D图像转3D图像算法计算出的深度值在时域不够稳定，值域范围大，转换成的3D图像帧的深度值差异较大，使得转换后播放的3D视频给人的感觉晃动太剧烈，3D效果较差。

发明内容

基于此，有必要提供一种能提升3D效果的2D图像转3D图像的深度调整方法。

一种2D图像转3D图像的深度调整方法，包括：

获取2D图像中的宏块，获取所述宏块的初始深度值，并从中找出最小初始深度值和最大初始深度值；

根据所述宏块的初始深度值计算得到深度平均值；

根据所述深度平均值、最小初始深度值和最大初始深度值将所述宏块的深度值非线性地归一化到0至255的灰度值之间；

根据归一化后的深度值将所述2D图像转换成3D图像。

在其中一个实施例中，所述根据所述深度平均值、最小初始深度值和最大初始深度值将所述宏块的深度值非线性地归一化到0至255的灰度值之间的步骤为：

根据公式：

d_{norm} = \{\begin{matrix} \frac{255}{a 1 \times (\ln (a 2 - a 3 \times \frac{d_{in} - d_{avg}}{d_{\max} - d_{avg}}) + a 4)}, d_{avg} < d_{in} < \frac{d_{avg} + 0.5 \times (d_{\max} - d_{avg})}{0.6} \\ \frac{255}{a 1 \times (\ln (a 5 - a 3 \times \frac{d_{in} - d_{\min}}{d_{avg} - d_{\min}}) + a 4)}, d_{avg} - \frac{(d_{avg} - d_{\min})}{0.6} < d_{in} \leq d_{avg} \\ \frac{255}{a 1 \times (\ln (0.01) + a 4)}, otherwise \end{matrix}

对各个宏块进行深度值归一化；其中，d_in为宏块的初始深度值，d_avg为宏块的深度平均值，d_min为宏块中的最小初始深度值，d_max为宏块中的最大初始深度值，d_norm为宏块的归一化后的深度值，a1、a2、a3、a4和a5为预设的参数值。

在其中一个实施例中，所述公式中参数值a1取值0.88，参数值a2取值0.5，参数值a3取值0.6，参数值a4取值0.12，参数值a5取值-1。

在其中一个实施例中，所述根据归一化后的深度值将2D图像转换成3D图像的步骤为：

根据所述归一化后的深度值生成所述2D图像的深度图，并计算深度图平均值；

根据所述深度图平均值生成深度值视差，根据所述深度值视差将2D图像转换成3D图像。

此外，还有必要提供一种能提升3D效果的2D图像转3D图像的深度调整装置。

一种2D图像转3D图像的深度调整装置，包括：

宏块获取模块，用于获取2D图像中的宏块，获取所述宏块的初始深度值，并从中找出最小初始深度值和最大初始深度值；

平均值计算模块，用于根据所述宏块的初始深度值计算得到深度平均值；

深度归一化模块，用于根据所述深度平均值、最小初始深度值和最大初始深度值将所述宏块的深度值非线性地归一化到0至255的灰度值之间；

图像转换模块，用于根据归一化后的深度值将所述2D图像转换成3D图像。

在其中一个实施例中，所述深度归一化模块还用于根据公式：

d_{norm} = \{\begin{matrix} \frac{255}{a 1 \times (\ln (a 2 - a 3 \times \frac{d_{in} - d_{avg}}{d_{\max} - d_{avg}}) + a 4)}, d_{avg} < d_{in} < \frac{d_{avg} + 0.5 \times (d_{\max} - d_{avg})}{0.6} \\ \frac{255}{a 1 \times (\ln (a 5 - a 3 \times \frac{d_{in} - d_{\min}}{d_{avg} - d_{\min}}) + a 4)}, d_{avg} - \frac{(d_{avg} - d_{\min})}{0.6} < d_{in} \leq d_{avg} \\ \frac{255}{a 1 \times (\ln (0.01) + a 4)}, otherwise \end{matrix}

在其中一个实施例中，所述图像转换模块还用于根据所述归一化后的深度值生成所述2D图像的深度图，并计算深度图平均值；

上述2D图像转3D图像的深度调整方法及装置，与传统技术中对深度值进行归一化的方式相比，采用了非线性的归一化方式，并将归一化后的深度值限定在了0至255的灰度值之间，使得转换后的3D图像中各个宏块（即像素区域）的深度值差距不会太大，且对于噪声引起的与其他宏块之间的深度值差异较大的像素区域能够进行过滤，从而使得连续图像帧之间相同的像素区域之间的深度值不会有较大差异，减少了视觉上的晃动感，提升了3D效果。

附图说明

图1为一个实施例中2D图像转3D图像的深度调整方法的流程图；

图2为一个实施例中2D图像转3D图像的深度调整装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在一个实施例中，如图1所示，一种2D图像转3D图像的深度调整方法，该方法完全依赖于计算机程序，可运行于基于冯诺依曼体系的计算机系统上。

该方法包括：

步骤S102，获取图像中的宏块，获取宏块的初始深度值，并从中找出最小初始深度值和最大初始深度值。

图像中的宏块即为图像中的像素区域，例如，若宏块大小为8×8像素，则表示该宏块为图像中占据64个像素点的正方形区域。在传统技术中，将2D图像转换成3D图像时（例如将2D电影中的图像帧转换成3D电影中的图像帧时），需要将图像划分为多个宏块，可计算每个宏块的初始深度值，并在图像中的所有宏块中找出深度值最大的值作为最大初始深度值，找出深度最小的值作为最小初始深度值。

步骤S104，根据宏块的初始深度值计算得到深度平均值。

在本实施例中，可通过计算各个宏块的初始深度值之和与宏块个数的商得到深度平均值。在其他实施例中，也可通过加权平均的方法计算得到各个宏块的深度平均值。

步骤S106，根据深度平均值、最小初始深度值和最大初始深度值将宏块的深度值非线性地归一化到0至255的灰度值之间。

在本实施例中，可根据公式：

d_{norm} = \{\begin{matrix} \frac{255}{a 1 \times (\ln (a 2 - a 3 \times \frac{d_{in} - d_{avg}}{d_{\max} - d_{avg}}) + a 4)}, d_{avg} < d_{in} < \frac{d_{avg} + 0.5 \times (d_{\max} - d_{avg})}{0.6} \\ \frac{255}{a 1 \times (\ln (a 5 - a 3 \times \frac{d_{in} - d_{\min}}{d_{avg} - d_{\min}}) + a 4)}, d_{avg} - \frac{(d_{avg} - d_{\min})}{0.6} < d_{in} \leq d_{avg} \\ \frac{255}{a 1 \times (\ln (0.01) + a 4)}, otherwise \end{matrix}

也就是说，对于图像中任何一个宏块，若其初始深度值为d_in，且d_in为大于步骤S104计算得到的深度平均值的值，则根据前述第一个公式对d_in进行归一化得到d_norm；若d_in为小于步骤S104计算得到的深度平均值的值，则根据前述第二个公式对d_in进行归一化得到d_norm。

上述归一化的方式为非线性地归一化方式，对于d_in较大接近d_max或d_in较小接近d_min的宏块，通过对数函数ln运算后则大幅调整至灰度值0附近或灰度值255附近，而对于原本在d_avg附近的初始深度值d_in，通过对数函数ln运算后仅进行了小幅调整，仍处于灰度值0至255之间较平衡的位置。与传统技术中线性的归一化方式相比，可在噪声引起的最小初始深度值过小或最大初始深度值过大的情况下，去除该噪声的影响，使得图像中各宏块的深度值差异缩小，从而提升3D效果。

进一步的，上述公式中参数值a1取值0.88，参数值a2取值0.5，参数值a3取值0.6，参数值a4取值0.12，参数值a5取值-1。

也就是说可根据下述公式:

d_{norm} = \{\begin{matrix} \frac{255}{0.88 \times (\ln (0.5 - 0.6 \times \frac{d_{in} - d_{avg}}{d_{\max} - d_{avg}}) + 0.12)}, d_{avg} < d_{in} < \frac{d_{avg} + 0.5 \times (d_{\max} - d_{avg})}{0.6} \\ \frac{255}{0.88 \times (\ln (- 1 - 0.6 \times \frac{d_{in} - d_{\min}}{d_{avg} - d_{\min}}) + 0.12)}, d_{avg} - \frac{(d_{avg} - d_{\min})}{0.6} < d_{in} \leq d_{avg} \\ \frac{255}{0.88 \times (\ln (0.01) + 0.12)}, otherwise \end{matrix}

对各个宏块进行深度值归一化。

步骤S108，根据归一化后的深度值将2D图像转换成3D图像。

在本实施例中，根据归一化后的深度值将2D图像转换成3D图像的步骤为：

根据归一化后的深度值生成2D图像的深度图，并计算深度图平均值；根据深度图平均值生成深度值视差，根据深度值视差将2D图像转换成3D图像。深度图平均值越大，深度值视差越大；深度图平均值越小，深度值视差越小。由于人具有视觉经验和视觉记忆，这些因素构成了人眼的心理立体视觉。当人眼在观看一幅平面彩色立体图片的时候，可以根据图片上的内容判断其中物体、人物之间的距离关系,而这种判断通常十分准确，这说明平面图像中尽管不存在能用人的双眼视差异等生理立体视觉识别的深度信息，却存在着其它的深度暗示，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等，这些暗示信息是人类对自然景物长期观察而得到的一种立体视觉记忆和立体视觉经验，依靠这种视觉记忆和经验，观察者能够从2D图像中准确地提取出物体间的相对位置和相对深度，人眼的这种立体视觉被称为心理立体视觉。根据人眼的这种特性，可以将2D图像中的深度信息提取出来，再结合原始左视图合成出右视图，这样，合成出的右视图与原来的左视图存在视差，将两幅2D图像合成后通过3D显示设备即可得到具有3D效果的立体图。

如图2所示，一种2D图像转3D图像的深度调整装置，包括宏块获取模块102、平均值计算模块104、深度归一化模块106和图像转换模块108，其中：

宏块获取模块102，用于获取2D图像中的宏块，获取所述宏块的初始深度值，并从中找出最小初始深度值和最大初始深度值。

平均值计算模块104，用于根据所述宏块的初始深度值计算得到深度平均值。

深度归一化模块106，用于根据所述深度平均值、最小初始深度值和最大初始深度值将所述宏块的深度值非线性地归一化到0至255的灰度值之间。

图像转换模块108，用于根据归一化后的深度值将2D图像转换成3D图像。

在本实施例中，深度归一化模块106还用于根据公式：

d_{norm} = \{\begin{matrix} \frac{255}{a 1 \times (\ln (a 2 - a 3 \times \frac{d_{in} - d_{avg}}{d_{\max} - d_{avg}}) + a 4)}, d_{avg} < d_{in} < \frac{d_{avg} + 0.5 \times (d_{\max} - d_{avg})}{0.6} \\ \frac{255}{a 1 \times (\ln (a 5 - a 3 \times \frac{d_{in} - d_{\min}}{d_{avg} - d_{\min}}) + a 4)}, d_{avg} - \frac{(d_{avg} - d_{\min})}{0.6} < d_{in} \leq d_{avg} \\ \frac{255}{a 1 \times (\ln (0.01) + a 4)}, otherwise \end{matrix}

在一个实施例中，公式中参数值a1取值0.88，参数值a2取值0.5，参数值a3取值0.6，参数值a4取值0.12，参数值a5取值-1。

在本实施例中，图像转换模块108还用于根据归一化后的深度值生成2D图像的深度图，并计算深度图平均值；根据深度图平均值生成深度值视差，根据深度值视差将2D图像转换成3D图像。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种2D图像转3D图像的深度调整方法，包括：

根据所述宏块的初始深度值计算得到深度平均值，具体包括，通过计算所述宏块的初始深度值之和与所述宏块个数的商得到所述深度平均值或通过加权平均的方法计算得到所述宏块的所述深度平均值；

根据归一化后的深度值将所述2D图像转换成3D图像，包括：根据所述归一化后的深度值生成所述2D图像的深度图，并计算深度图平均值，根据所述深度图平均值生成深度值视差，根据所述深度值视差将2D图像转换成3D图像。

2.根据权利要求1所述的2D图像转3D图像的深度调整方法，其特征在于，所述根据所述深度平均值、最小初始深度值和最大初始深度值将所述宏块的深度值非线性地归一化到0至255的灰度值之间的步骤为：

根据公式：

d_{n o r m} = \{\begin{matrix} \frac{255}{a 1 \times (\ln (a 2 - a 3 \times \frac{d_{i n} - d_{a v g}}{d_{\max} - d_{a v g}}) + a 4)}, d_{a v g} < d_{i n} < \frac{d_{a v g} + 0.5 \times (d_{\max} - d_{a v g})}{0.6} \\ \frac{255}{a 1 \times (\ln (a 5 - a 3 \times \frac{d_{i n} - d_{\min}}{d_{a v g} - d_{\min}}) + a 4)}, d_{a v g} - \frac{(d_{a v g} - d_{\min})}{0.6} < d_{i n} \leq d_{a v g} \\ \frac{255}{a 1 \times (\ln (0.01) + a 4)}, o t h e r w i s e \end{matrix}

3.根据权利要求2所述的2D图像转3D图像的深度调整方法，其特征在于，所述公式中参数值a1取值0.88，参数值a2取值0.5，参数值a3取值0.6，参数值a4取值0.12，参数值a5取值-1。

4.一种2D图像转3D图像的深度调整装置，其特征在于，包括：

平均值计算模块，用于根据所述宏块的初始深度值计算得到深度平均值，具体包括，通过计算所述宏块的初始深度值之和与所述宏块个数的商得到所述深度平均值或通过加权平均的方法计算得到所述宏块的所述深度平均值；

图像转换模块，用于根据归一化后的深度值将所述2D图像转换成3D图像，包括：根据所述归一化后的深度值生成所述2D图像的深度图，并计算深度图平均值，根据所述深度图平均值生成深度值视差，根据所述深度值视差将2D图像转换成3D图像。

5.根据权利要求4所述的2D图像转3D图像的深度调整装置，其特征在于，所述深度归一化模块还用于根据公式：

d_{n o r m} = \{\begin{matrix} \frac{255}{a 1 \times (\ln (a 2 - a 3 \times \frac{d_{i n} - d_{a v g}}{d_{\max} - d_{a v g}}) + a 4)}, d_{a v g} < d_{i n} < \frac{d_{a v g} + 0.5 \times (d_{\max} - d_{a v g})}{0.6} \\ \frac{255}{a 1 \times (\ln (a 5 - a 3 \times \frac{d_{i n} - d_{\min}}{d_{a v g} - d_{\min}}) + a 4)}, d_{a v g} - \frac{(d_{a v g} - d_{\min})}{0.6} < d_{i n} \leq d_{a v g} \\ \frac{255}{a 1 \times (\ln (0.01) + a 4)}, o t h e r w i s e \end{matrix}

6.根据权利要求5所述的2D图像转3D图像的深度调整装置，其特征在于，所述公式中参数值a1取值0.88，参数值a2取值0.5，参数值a3取值0.6，参数值a4取值0.12，参数值a5取值-1。