CN108616745A - 2d自动转3d方法和系统 - Google Patents

Abstract

本发明公开了一种2D自动转3D方法和系统，方法包括：对总深度值进行评估，确定总深度值以及显示位置；按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面；为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图；经过迭代渲染，生成3D立体图像或视频；利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果；系统包括：与方法步骤对应的装置(A、B、C、D、E、F)以及调整装置；实施本发明：简化了深度等级和动态变化步骤，就可以获得较好的3D立体效果，实现了3D立体图像或视频的自动转换。

Description

2D自动转3D方法和系统

技术领域

本发明涉及3D图像转换技术领域，特别涉及一种利用深度图进行2D图像自动转换成3D图像的方法和系统。

背景技术

在3D计算机图形学中，深度图像指从观察视角看去，图像所包含信息与场景物体表面距离相关的一种图像或一种图像通道。假设图像深度值的变化方向也就是摄像机拍摄方向与所需要描述的三维场景的视场方向Z方向相同的话，那么就能很容易描述整个三维场景，因此深度图像也称之为距离图像。与彩色图像相比，深度图像能直接反映物体表面的三维特征，且不受光照、阴影和色度等因素的影响。在局部空间范围内和不需要颜色域信息时，深度图像可以代替双目成像。

深度图像具有两个明显的技术特征：1、颜色无关性：该性质表面深度图像与彩色图像不同，不会有光照、阴影以及环境变化的影响；2、灰度值变化方向与视场Z方向相同。该性质表明，利用深度图像可以在一定范围内重建3D控件区域，并且在一定程度上解决物体遮挡或同一物体各部分重叠的问题。利用该特性，即使两个物体有遮挡部分，物体前后关系在深度图中产生的距离差别，即灰度值的分层性，也可以用两个阈值来将遮挡物体或者同一物体的不同部分分割开来，这是可见光图像无法做到的。

图像深度是存储每个像素所用的位数，也用于亮度图像的色彩分辨率。图像深度确定色彩图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数，它决定了色图像中可出现的最多颜色数，或者灰度图像的最大灰度等级。

现有的3D转换技术在生成深度图时精度不高，漏掉了许多深度信息，导致在转换成3D图像时，立体效果不好，呈现出“平面图像”的问题；现有的转换技术在进行转换时需要的人工成本较高，自动化程度不高。

发明内容

针对现有的2D转3D技术存在深度图精度不高，许多的深度信息漏掉导致转换出来的3D图像出现“平面图像”以及在进行转换时、自动化程度不高、人力人本较高的问题，通过提取要转换的2D图像或视频的深度信息，按照灰度阈值分割法，按照一定的阈值和分割精度将要转换的图像自动分割成各个独立的图像分割面，并且为每一个离散的图像分割面自动创建一个深度图，自动跟踪视频中的图像帧并关联深度图，最后经过迭代渲染就得到立体图像或3D视频，在整个过程中，对原始2D图像进行高精度自动分割以及自动分配深度图，简化了深度等级和动态变化步骤，就可以获得较好的3D立体效果，实现了3D图像或视频的自动转换。

一方面，提出一种2D自动转3D方法，包括：

提取要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置；

按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面；

为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图；

根据原始2D图像或视频中的深度图和深度值，利用2D图像或视频中未包含的深度信息，经过迭代渲染，生成3D立体图像或视频；

利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果。

根据本发明所述一种2D自动转3D方法，所述提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置，包括：

确定双目与图像中的显示主体之间的位置关系；

利用8位二进制数标示图像的深度值。

根据本发明所述一种2D自动转3D方法，所述按照灰度阈值分割法对要转换的图像分割成特定数量的独立的表面，包括：

为要分割图像确定一个合理的灰度阈值；

按照所述灰度阈值对要分割的图像进行分割。

根据本发明一种2D自动转3D方法，在对视频进行转换的过程中，自动跟踪视频中的对象及其背景的图像帧，并使其与相应的深度图关联起来。

另一方面，提出一种2D自动转3D装置，包括：

用于提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置的装置；

用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置；

用于为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图的装置；

用于根据原始2D图像或视频中的深度图和深度值，利用2D图像或视频中未包含的深度信息，经过迭代渲染，生成3D立体图像或视频的装置；

用于利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果的装置。

根据本发明所述的一种2D自动转3D装置，所述用于提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置的装置包括用于确定双目与图像中的显示主体之间的位置关系的装置以及用于利用8位二进制数标示图像的深度值的装置。

根据本发明所述一种2D自动转3D装置，所述用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置包括用于为要分割图像确定一个合理的灰度阈值的装置以及用于按照所述灰度阈值对要分割的图像进行分割的装置。

根据本发明所述的一种2D自动转3D装置，所述2D自动转3D装置还包括用于在对视频进行转换的过程中、自动跟踪视频中的对象及其背景、并使对象及其背景的任一分割图像帧与相应的深度图关联起来的装置以及调整装置，所述调整装置包括用于调整立体图像中的前景对象物体伸出效果的视差调整装置，用于调整立体图像场景与显示屏幕之间位置效果关系的零度值调整装置，用于调整前景深度图膨胀效果以及前景对象物体扩展效果的前景调整装置以及用于纠正处理前景对象与高纹理背景之间边缘透明度的消光装置。

实施本发明提出的一种2D自动转3D立体图像方法和系统，获得了不需要复杂的深度等级和动态变化，就可以获得较好的立体效果，减少了在转换过程中的人力投入的技术效果；它通过提取要转换的2D图像或视频的深度信息，按照灰度阈值分割法，按照一定的阈值和分割精度将要转换的图像自动分割成各个独立的图像分割面，并且为每一个离散的图像分割面自动创建一个深度图，按照迭代算法，结合深度图和原始2D图像生成立体图像，最后重构2D图像的主体就得到立体图像或3D视频，在整个过程中，对原始2D图像进行高精度自动分割以及自动分配深度图。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中一种2D自动转3D方法实施例的流程示意图；

图2是本发明中一种2D自动转3D方法实施例中步骤S1的子步骤流程示意图；

图3是本发明中一种2D自动转3D方法实施例中步骤S2的子步骤流程示意图；

图4是本发明中一种2D自动转3D系统实施例组成包含关系示意图；

图5是本发明中一种2D自动转3D系统实施例中调整装置的组成包含关系示意图；

图6是本发明中一种2D自动转3D方法中的2D图像或视频转3D立体图像的流程框图；

图7是本发明中用8位二进制数标示灰度等级示意图；

图8是本发明中2D自动转3D的简化的渲染生成原理框图；

图9是本发明中一种2D自动转3D方法中背景重构原理框图。

具体实施方式

在3D计算机图形学中，深度图像指从观察视角看去，图像所包含信息与场景物体表面距离相关的一种图像或一种图像通道。假设图像深度值的变化方向也就是摄像机拍摄方向与所需要描述的三维场景的视场方向Z方向相同的话，那么就能很容易描述整个三维场景，因此深度图像也称之为距离图像。与彩色图像相比，深度图像能直接反映物体表面的三维特征，且不受光照、阴影和色度等因素的影响。在局部空间范围内和不需要颜色域信息时，深度图像可以代替双目成像。

图像深度是存储每个像素所用的位数，也用于亮度图像的色彩分辨率。图像深度确定色彩图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数，它决定了色图像中可出现的最多颜色数，或者灰度图像的最大灰度等级。

现有的3D转换技术在生成深度图时精度不高，漏掉了许多深度信息，导致在转换成3D图像时，立体效果不好，呈现出“平面图像”的问题；现有的转换技术在进行转换时需要的人力投入较高，自动化程度不高。

本发明要解决的问题是：现有的3D转换技术在生成深度图时精度不高，漏掉了许多深度信息，导致在转换成3D图像时，立体效果不好，呈现出“平面图像”的问题；现有的转换技术在进行转换时需要的人力投入较高，自动化程度不高。

本发明提出的技术方案是：提出一种2D自动转3D方法和系统，系统包括用于提取对要转换的2D图像或视频的深度信息、对总深度值进行评估、确定总深度值以及显示位置的装置A，用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置B，用于为每一个独立的图像分割面自动创建一个深度图、在对视频进行转换时、自动跟踪视频对象和背景的图像帧、关联深度图的装置C，用于根据原始2D图像或视频中的深度图和深度值、利用2D图像或视频中未包含的深度信息、经过迭代渲染、生成3D立体图像或视频的装置D以及用于利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果的装置E。装置A用于提取要转换的原2D图像或者视频中的深度信息，例如，存储每个像素的位数，也用于量度图像的色彩分辨率，确定图像或视频的深度值或灰度等级，例如每个像素的位数为8位，则最大灰度数目为2的8次方，也就是256。装置B的作用是在评估完图像或视频的深度值后，对图像进行分割，得到一定数目的彼此独立的图像分割面，为自动深度图做准备。装置C的作用是为每一图像分割面自动分配一个深度图，这样结合原图再经过合成后就可以得到具有立体效果的3D图像，在对视频进行转换时，对视频中显示图像主体以及背景的每一图像帧自动跟踪，并为图像帧分配深度图。装置D根据迭代算法，利用原2D图像或视频中每一图像帧的深度图以及深度值，对原2D图像或视频进行转换、合成，生成立体图像。在整个转换的过程中，对原始2D图像进行高精度自动分割以及自动分配深度图，自动为原2D图像中的场景创建深度图，为场景图像中的每一帧自动分配深度图，对视频中的显示主体以及背景的每一图像帧进行自动跟踪、分配深度图，简化了图像帧的深度等级划分和动态变化，获得了较好的立体效果，减少了在转换过程中的人力投入。下面将结合附图对本发明进行详细解释。

一、方法实施例

图1是本发明中一种2D自动转3D方法实施例的流程示意图，请参考图1，一种2D自动转3D方法，包括：

S1、提取要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置。

图2是本发明中一种2D自动转3D立体图像方法实施例中步骤S1的子步骤流程示意图，请参考图2，步骤S1包括子步骤S11、确定双目与图像中的显示主体之间的位置关系；S12、利用8位二进制数标示图像的深度值。

图7是本发明中用8位二进制数标示灰度等级示意图，请参考图7，在本发明中像素灰度值的亮度程度代表了原2D图中像素到观察者或相机的距离，也就是图像深度。这些具有图像深度的像素经过转换后就得到了立体效果的3D图像或视频的左视图或右视图，经过合成后就获得了立体图。转换前首先对要转换的图像或视频的深度进行评估，确定像素的位数，本发明中优选8位二进制数来标示图像的深度值或灰度等级，8位二进制数标示的深度值范围是0～255，深度值或灰度等级为0时，表示距离最远Xmax，深度值或灰度等级为255时，表示距离最近Xmin。

S2、按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面。

图3是本发明中一种2D自动转3D方法实施例中步骤S2的子步骤流程示意图，请参考图3，步骤S2包括子步骤S21、为要分割图像确定一个合理的灰度阈值；S22、按照灰度阈值对要分割的图像进行分割。

图像分割是图像处理中的关键问题，它把图像分成若干个按照一个或几个特征均匀分布的区域，得到的图像称为分割图像，表示的是区域信息。灰度阈值分割法，是一种最常用的并行区域技术，它是图像分割中应用数量最多的一类，阈值分割算法的关键是确定阈值，本发明首先评估原2D图像的深度值或灰度等级，根据估算出来的深度值或灰度等级，确定图像分割的灰度阈值，阈值确定后，将阈值与像素点的灰度值比较和像素分割可对各像素并行地进行，分割的结果直接给出图像区域。阈值分割的优点是计算简单、运算效率较高、速度快，在算法上容易实现，在重视运算效率的应用场合(如用于硬件实现)，它得到了广泛应用，对目标和背景对比度反差较大图像这种分割很有效。按照合理的灰度阈值对原2D图像进行分割，并进行深度图分配，有利于获得立体效果较好的3D图像。

S3、为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图。

在整个转换的过程中，对原始2D图像进行高精度自动分割以及自动分配深度图，自动为原2D图像中的场景创建深度图，为场景图像中的每一帧自动分配深度图，对视频中的显示主体以及背景的每一图像帧进行自动跟踪、分配深度图，简化了图像帧的深度等级划分和动态变化，获得了较好的立体效果，减少了在转换过程中的人力投入。

S4、根据原始2D图像或视频中的深度图和深度值，利用2D图像或视频中未包含的深度信息，经过迭代渲染，生成3D立体图像或视频。

图9是本发明中一种2D自动转3D方法中背景重构原理框图，请参考图9，对2D图像或视频进行图像分割后，获得深度值或灰度等级，为每一图像分割面图像帧分配深度图，在合成生成3D图像或视频时，需要利用深度图进行迭代渲染，生成左、右视图，经过合成后获得3D图像或视频。在进行转换时需要对过程转换图像的深度进行评估，以判断是否符合预期目标，一般从三个方面进行评估，1、图像中的动作的深度：真实的深度是从动作在前景和背景中的动作差异来体现的。2、深度效应：深度效果在立体图像中体现在其呈现出来的几何立体效果和人的大脑对图像立体效果存储的合理构建所呈现出来的一种立体效应，也就是深度效应。3、聚焦深度。在有的情况下，为了简化转换开销，只转换成左视图，右视图采用原始2D图像，在经过合成后也能获取3D立体图像或视频。在进行背景重构时，引入多层灰度深度遮盖技术，实现有限透明的3D立体图像成像，具有良好的立体成像效果。

图6是本发明中一种2D自动转3D方法中的2D图像或视频转3D立体图像的流程框图，请参考图6，图6中对原始2D图像进行分割或自动跟踪视频中的图像帧，利用深度图进行迭代转换，迭代转换的过程深度图如过程深度图1，过程深度图2，过程深度图3，...，过程深度图N，达到预期迭代效果后，则停止迭代转换，获得3D立体图像或视频。

图8是本发明中2D自动转3D的简化的渲染生成原理框图，请参考图8，图8中，对图像的深度进行评估后，只渲染左视图，右视图采用原图，两者再进行合成生成3D立体图像或视频。

S5、利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果。

本发明还提供了调整装置，转换完成后，还可以通过调整参数对立体效果进行调整，例如视差参数，通过调整视差参数来获取前景中的对象的“突出程度”；视图零度值，通过调整视图零度值使整个立体场景在立体效果上是“屏幕外部”还是“屏幕内部”；前景参数，通过调整前景参数使前景或前景中的对象在立体效果上的“膨胀”或“延展”。

根据本发明一种2D自动转3D方法，在对视频进行转换的过程中，自动跟踪视频中的对象及其背景的图像帧，并使其与相应的深度图关联起来。

图4是本发明中一种2D自动转3D系统实施例组成包含关系示意图，请参考图4，一种2D自动转3D装置，包括：

用于提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置的装置A；

用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置B；

用于为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图的装置C；

用于根据原始2D图像或视频中的深度图和深度值，利用2D图像或视频中未包含的深度信息，经过迭代渲染，生成3D立体图像或视频的装置D；

用于利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果的装置E。

根据本发明所述的一种2D自动转3D装置，所述用于提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置的装置A包括用于确定双目与图像中的显示主体之间的位置关系的装置A1以及用于利用8位二进制数标示图像的深度值的装置A2。

根据本发明所述一种2D自动转3D装置，所述用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置B包括用于为要分割图像确定一个合理的灰度阈值的装置B1以及用于按照所述灰度阈值对要分割的图像进行分割的装置B2。

图5是本发明中一种2D自动转3D系统实施例中调整装置的组成包含关系示意图，请参考图5，2D自动转3D装置还包括用于在对视频进行转换的过程中、自动跟踪视频中的对象及其背景、并使对象及其背景的任一分割图像帧与相应的深度图关联起来的装置F以及调整装置510，所述调整装置510包括用于调整立体图像中的前景对象物体伸出效果的视差调整装置511，用于调整立体图像场景与显示屏幕之间位置效果关系的零度值调整装置512，用于调整前景深度图膨胀效果以及前景对象物体扩展效果的前景调整装置513以及用于纠正处理前景对象与高纹理背景之间边缘透明度的消光装置514。

实施本发明提出的一种2D自动转3D方法和系统，获得了不需要复杂的深度等级和动态变化，就可以获得较好的立体效果，减少了在转换过程中的人力投入的技术效果；它通过提取要转换的2D图像或视频的深度信息，按照灰度阈值分割法，按照一定的阈值和分割精度将要转换的图像自动分割成各个独立的图像分割面，并且为每一个离散的图像分割面自动创建一个深度图，按照迭代算法，结合深度图和原始2D图像生成立体图像，最后重构2D图像的主体就得到立体图像或3D视频，在整个过程中，对原始2D图像进行高精度自动分割以及自动分配深度图。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种2D自动转3D方法，其特征在于，包括：

提取要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值；

按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面；

为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图；

根据原始2D图像或视频中的深度图和深度值，利用2D图像或视频中未包含的深度信息，经过迭代渲染，生成3D立体图像或视频；

利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果。

2.根据权利要求1所述一种2D自动转3D方法，其特征在于，所述提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置，包括：

确定双目与图像中的显示主体之间的位置关系；

利用8位二进制数标示图像的深度值。

3.根据权利要求1所述一种2D自动转3D方法，其特征在于，所述按照灰度阈值分割法对要转换的图像分割成特定数量的独立的表面，包括：

为要分割图像确定一个合理的灰度阈值；

按照所述灰度阈值对要分割的图像进行分割。

4.根据权利要求1所述一种2D自动转3D方法，其特征在于，在对视频进行转换的过程中，自动跟踪视频中的对象及其背景的图像帧，并使其与相应的深度图关联起来。

5.一种2D自动转3D装置，其特征在于，包括：

用于提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置的装置(A)；

用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置(B)；

用于为每一个独立的图像分割面自动创建一个深度图，在对视频进行转换时，自动跟踪视频对象和背景的图像帧，关联深度图的装置(C)；

用于根据原始2D图像或视频中的深度图和深度值，利用2D图像或视频中未包含的深度信息，经过迭代渲染，生成3D立体图像或视频的装置(D)；

用于利用调整装置，对已经生成的3D立体图像的参数进行调整，使其达到预期效果的装置(E)。

6.根据权利要求5所述一种2D自动转3D装置，其特征在于，所述用于提取对要转换的2D图像或视频的深度信息，对总深度值进行评估，确定总深度值以及显示位置的装置(A)包括用于确定双目与图像中的显示主体之间的位置关系的装置(A1)以及用于利用8位二进制数标示图像的深度值的装置(A2)。

7.根据权利要求5所述一种2D自动转3D装置，其特征在于，所述用于按照灰度阈值分割法对要转换的图像分割成特定数量的独立的图像分割面的装置(B)包括用于为要分割图像确定一个合理的灰度阈值的装置(B1)以及用于按照所述灰度阈值对要分割的图像进行分割的装置(B2)。

8.根据权利要求5所述一种2D自动转3D装置，其特征在于，所述2D自动转3D装置还包括用于在对视频进行转换的过程中、自动跟踪视频中的对象及其背景、并使对象及其背景的任一分割图像帧与相应的深度图关联起来的装置(F)以及调整装置(510)，所述调整装置包括用于调整立体图像中的前景对象物体伸出效果的视差调整装置(511)，用于调整立体图像场景与显示屏幕之间位置效果关系的零度值调整装置(512)，用于调整前景深度图膨胀效果以及前景对象物体扩展效果的前景调整装置(513)以及用于纠正处理前景对象与高纹理背景之间边缘透明度的消光装置(514)。