CN103118269A

CN103118269A - 一种基于图像扭曲技术的图像及视频2d 转3d 的方法

Info

Publication number: CN103118269A
Application number: CN2013100434538A
Authority: CN
Inventors: 郝胜利
Original assignee: HEBEI MAYA TELEVISION CO Ltd
Current assignee: HEBEI MAYA TELEVISION CO Ltd
Priority date: 2013-02-04
Filing date: 2013-02-04
Publication date: 2013-05-22
Anticipated expiration: 2033-02-04
Also published as: CN103118269B

Abstract

本发明涉及一种基于图像扭曲技术的图像及视频2D转3D的方法，是一种3D图像及3D视频的制作方法。所述方法通过追踪2D图像的摄像机原点首先绘制以摄像机为中心绘制等高线图，然后绘制灰度图，再以灰度图作为立体模型基础、作用于2D图像的法线贴图上，生成模型化扭曲图像，根据模型化扭曲图像对物体前后顺序是否正确进行核对，最终对2D图像进行像素格位移生成3D图像。将2D视频中每一帧图像利用上述方法转换为3D图像，便可生成3D视频。本发明不仅能使2D图像及2D视频产生逼真的3D立体效果，还有效降低3D图像及3D视频的制作成本，同时提高3D图像及3D视频的制作效率。

Description

一种基于图像扭曲技术的图像及视频2D 转3D 的方法

技术领域

本发明涉及一种图像及视频处理方法，尤其涉及一种2D图像及2D视频转换为3D图像及3D视频的方法。

背景技术

随着立体显示技术和机器视觉技术的快速发展，3D图像及3D视频凭借其较2D图像及2D视频更出众的真实感和立体感，使用户体验到了更加真切的身临其境的感觉，受到了用户的广泛欢迎。然而在立体显示技术和机器视觉技术飞速发展的同时，现阶段适合进行立体显示的3D图像及3D视频资源却难以满足用户的需求。

人类之所以能够看到立体的景物，是因为人类的双眼在观看时存在视差，即左眼所看到的影像与右眼所看到的影像存在差异，3D图像及3D视频的原理便是利用人工方式重现视差，让左右两眼分别看到不同的影像，藉以仿真出立体影像。3D图像及3D视频的制作方法主要有两种：一种是直接生成，另一种是由2D图像及2D视频转换而来。利用3D摄像机拍摄新的3D图像及3D视频是获取3D图像及3D视频的一种直接有效的方式，但这种方式不仅制作困难、制作周期长、费用高昂，而且无法有效利用已经存在的大量2D图像及2D视频资源。

图像及视频2D转3D技术是从2D图像及2D视频中生成与之对应的视差图像及视频，进而生成3D图像及3D视频的技术。2D图像及2D视频拥有丰富的资源，将2D图像及2D视频转为3D图像及3D视频能够弥补3D图像及3D视频资源短缺的不足。除此之外，有些经典珍贵的2D图像及2D视频无法再重新摄制，通过图像及视频2D转3D技术能够以3D的形式重温以前经典的2D图像及2D视频资源，因此，图像及视频2D转3D技术对3D图像及3D视频的发展具有重要意义。

目前的图像及视频2D转3D技术目前大都基于原始2D图像生成具有不同深度信息的左右眼图像，在提取2D图像中物体的深度信息时，仅将2D图像分为前景和背景两种场景区分物体的深度，即物体在与2D图像平面垂直的方向上的长度。同一场景中的物体深度均相同，从而导致产生的立体感较差。除此之外，对于3D图像及3D视频转换后的立体效果在转换过程中也难以进行检查，难以确定物体的前后顺序，制作效率较低。

发明内容

本发明需要解决的技术问题是提供一种易于实现、且制作成本较低的2D视频转换为3D视频的方法，用于将2D视频转换为3D视频。

为解决上述技术问题，本发明所采用的技术方案如下：

一种基于图像扭曲技术的图像及视频2D转3D的方法，所述方法在图像扭曲技术的基础上将2D图像及2D视频转换为相对应的3D图像及3D视频，具体实现方法包括以下步骤：

步骤1）追踪2D图像的摄像机原点：根据2D图像中各物体的坐标值追踪拍摄该2D图像的摄像机原点，从而确定2D图像中各物体与摄像机原点的空间位置关系和远近关系。

步骤2）绘制等高线图：以2D图像的摄像机原点为中心，参考2D图像中各物体与摄像机的空间位置关系和远近关系，按照2D图像中各物体距离摄像机的距离不同设定该物体以及该物体各个点的相应深度值，以相等深度值的物体或物体上的各点为对象绘制2D图像的等高线，从而将位于不同等高线上的物体进行区域划分并进行抠图。

步骤3）绘制灰度图：将步骤2）中得出的深度值转换为相应的灰度值，根据等高线图将2D图像中不同深度值的区域用不同灰度表示，从而生成灰度图。

步骤4）合成模型化扭曲图像：以灰度图作为立体模型基础，作用于2D图像的法线贴图上，将2D图像与灰度图进行叠加从而生成具有立体效果的模型化扭曲图像。

步骤5）核对物体的前后顺序：对模型化扭曲图像中各物体立体效果的前后顺序进行核对，如果各物体的前后顺序均正确则进行步骤6），否则返回步骤3），对2D图像中物体的灰度值进行细微调节，最终达到灰度图与物体立体效果的统一及匹配。

步骤6）确定左右摄像机的空间位置：根据2D图像中各个物体的成像规则确定摄像机像素格的位移量，进一步模拟出左右两部摄像机的空间位置。

步骤7）生成3D图像：根据步骤6）确定的左右两部摄像机的空间位置，参照灰度图对2D图像进行相应的像素格的移位与补洞，从而生成3D图像即左右眼图像。

步骤8）生成3D视频：根据视频中每一帧图像分别重复步骤1）至步骤7），生成每一帧2D图像对应的3D图像，从而生成3D视频的左右眼视频。

本发明的改进在于：所述步骤2）的2D图像中等高线围成的区域距离摄像机原点越远时，深度值越大；距离摄像机原点越近时，深度值越小。

本发明的进一步改进在于：所述步骤3）中灰度值自白色向黑色渐变，并根据深度值的数量确定灰度变化量，进而形成最小值为纯白、最大值为纯黑的灰度图。

本发明的进一步改进在于：所述灰度图自2D图像中的最低最近点逐步向最高最远点绘制。

由于采用了上述技术方案，本发明取得的技术进步是：

本发明提出的一种基于图像扭曲技术的图像及视频2D转3D的方法，可以对2D图像及2D视频实现具有高质量的3D图像及3D视频转换，不仅能有效降低3D图像及3D视频的投资成本，而且能降低3D图像及3D视频制作团队的需求，同时提高3D图像及3D视频的制作效率。

本发明在图像及视频2D转3D过程中，可利用模型化扭曲图像对物体的前后顺序进行核对，保证灰度图的正确性，从而提高3D图像及3D视频的转换效率。

本发明通过根据2D图像及2D视频中物体以及该物体各个点的相应深度值绘制等高线图，可对2D图像及2D视频中的各个物体根据用户需要进行不同的精确度的深度分配，深度分配准确，再根据等高线图绘制灰度图，从而保证3D图像及3D视频具有高度的立体逼真感。

本发明在绘制灰度图时从2D图像及2D视频中的最低最近点逐步向最高最远点绘制，可以有效利用2D图像及2D视频中物体的几何信息及渐变效果，提高灰度图的绘制效率。

附图说明

图1为本发明所述方法的流程图。

图2为根据本发明针对一个实施例得到的3D图像。其中a)是2D图像，b)是2D图像的等高线图，c)是根据等高线图及远近关系绘制的灰度图，d)是根据2D图像和灰度图得到的模型化扭曲图像，e)是最终生成的3D图像。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。

一种基于图像扭曲技术的图像及视频2D转3D的方法是在图像扭曲技术的基础上完成2D图像及2D视频向3D图像及3D视频的转换，其流程图如图1所示。

实施例1

在本实施例中，采用本发明所述方法将2D图像转换为3D图像，首先应用相关软件建立2D图像的坐标系，根据2D图像中各物体的坐标值追踪拍摄该2D图像的摄像机原点；然后以相等深度值的物体或物体上的各点为对象绘制2D图像的等高线，生成等高线图；再根据等高线图绘制相应的灰度图；再以灰度图为立体模型、2D图像为法线贴图进行叠加生成模型化扭曲图像；利用模型化扭曲图像对2D图像中各物体立体效果的前后顺序进行核对，经过微调2D图像中各物体的灰度值最终达到灰度图与物体立体效果的统一及匹配；进而确定左右摄像机的空间位置，最终生成3D图像，具体包括以下步骤：

步骤1）追踪2D图像的摄像机原点：将图2a)所示的2D图像在相关软件中建立坐标系，根据2D图像中各图像的坐标值追踪拍摄该2D图像的摄像机原点，从而确定2D图像中各物体与摄像机原点的空间位置关系和远近关系；

步骤2）绘制等高线图：以追踪到的2D图像的摄像机原点为中心，参考图2a)所示的2D图像中各物体与摄像机的空间位置关系和远近关系，以相等深度值的物体或物体上的各点为对象绘制2D图像的等高线，生成等高线图，其中深度值采用0到100之间的数值表示2D图像中等高线围成的区域的深度；根据当2D图像中等高线围成区域距离摄像机原点越远时，深度值越大；距离摄像机原点越近时，深度值越小的原则，确定0表示零距离、100表示无限远。最后将不同深度的物体进行区域划分，对相同深度的物体进行区域抠图，如图2b)所示。

步骤3）绘制灰度图：将步骤2）中得出的深度值转换为相应的灰度值，根据等高线图将2D图像中不同深度值的区域用不同灰度表示，其中0转换为纯白、100转换为纯黑，中间值由小到大按照由白色向黑色的趋势渐变。在绘制灰度图的过程中应首先从地面的灰度开始绘制，然后绘制接触地面的物体的灰度，从而可以有效利用物体的渐变关系绘制灰度图，提高灰度图的绘制效率，根据图2b)所示的等高线图绘制的灰度图如图2c)所示。

步骤4）合成模型化扭曲图像：灰度图中每个物体的灰度代表了2D原始图中对应物体的深度，从而该灰度图可看作是2D图像的立体模型。以灰度图作为为立体模型基础，作用于2D图像的法线贴图上，将2D图像与灰度图进行叠加生成具有立体效果的模型化扭曲图像，如图2d）所示。

步骤5）核对物体的前后顺序：利用模型化扭曲图像对2D图像中物体的立体效果的前后顺序是否正确进行核对，如果物体的前后顺序正确则进行步骤6），否则返回步骤3）。经过多次细微调节2D图像中各物体的灰度，最终达到灰度图与物体立体效果的统一及匹配。

步骤6）确定左右摄像机的空间位置：根据2D图像中各个物体的成像规则确定摄像机像素格的位移量，进一步模拟出左右两部摄像机。在本实施例中，以拍摄该2D图像的摄像机为左侧摄像机，右侧摄像机像素格的位移量向右0~15个像素，从而模拟出左右两部摄像机的空间位置。

步骤7）生成3D图像：根据模拟出的右侧摄像机，参照灰度图对2D图像进行相应的像素格的移位，并对移位产生的破洞进行补洞，从而生成具有不同深度信息的3D图像的右眼图像，以原始的2D图像为左眼图像，将左右眼图像合成形成3D图像，如图2e)所示。最后将生成的3D图像输入到相应的3D显示设备即可进行显示。

实施例2

一种基于图像扭曲技术的视频2D转3D的方法是根据视频是由连贯的一系列图像组成的原理，利用实施例1中的方法对视频中每一帧图像进行2D转3D，从而完成基于图像扭曲技术的视频2D转3D。在视频2D转3D过程中，绘制等高线图进行区域划分并抠图时，对视频中的各物体影像进行相应模块的跟踪，形成灰度图序列，从而生成2D视频中各物体的动态灰度图。最后将生成的3D视频输入到相应的3D显示设备即可进行显示。

Claims

1.一种基于图像扭曲技术的图像及视频2D转3D的方法，其特征在于：所述方法在图像扭曲技术的基础上将2D图像及2D视频转换为相对应的3D图像及3D视频，具体实现方法包括以下步骤：

步骤1）追踪2D图像的摄像机原点：根据2D图像中各物体的坐标值追踪拍摄该2D图像的摄像机原点，从而确定2D图像中各物体与摄像机原点的空间位置关系和远近关系；

步骤2）绘制等高线图：以2D图像的摄像机原点为中心，参考2D图像中各物体与摄像机的空间位置关系和远近关系，按照2D图像中各物体距离摄像机的远近不同设定该物体以及该物体各个点的相应深度值，以相等深度值的物体或物体上的各点为对象绘制2D图像的等高线，从而将位于不同等高线上的物体进行区域划分并进行抠图；

步骤3）绘制灰度图：将步骤2）中得出的深度值转换为相应的灰度值，根据等高线图将2D图像中不同深度值的区域用不同灰度表示，从而生成灰度图；

步骤4）合成模型化扭曲图像：以灰度图作为立体模型基础，作用于2D图像的法线贴图上，将2D图像与灰度图进行叠加从而生成具有立体效果的模型化扭曲图像；

步骤5）核对物体的前后顺序：对模型化扭曲图像中各物体的立体效果的前后顺序进行核对，如果各物体的前后顺序均正确则进行步骤6），否则返回步骤3），对2D图像中物体的灰度值进行细微调节，最终达到灰度图与物体的立体效果的统一及匹配；

步骤6）确定左右摄像机的空间位置：根据2D图像中各个物体的成像规则确定摄像机像素格的位移量，进一步模拟出左右两部摄像机的空间位置；

步骤7）生成3D图像：根据步骤6）确定的左右两部摄像机的空间位置，参照灰度图对2D图像进行相应的像素格的移位与补洞，从而生成3D图像即左右眼图像；

2.根据权利要求1所述的一种基于图像扭曲技术的图像及视频2D转3D的方法，其特征在于：所述步骤2）的2D图像中等高线围成的区域距离摄像机原点越远时，深度值越大；距离摄像机原点越近时，深度值越小。

3.根据权利要求2所述的一种基于图像扭曲技术的图像及视频2D转3D的方法，其特征在于：所述步骤3）中灰度值自白色向黑色渐变，并根据深度值的数量确定灰度变化量，进而形成最小值为纯白、最大值为纯黑的灰度图。

4.根据权利要求1至3任一项所述的一种基于图像扭曲技术实现图像及视频2D转3D的方法，其特征在于：所述灰度图自2D图像中的最低最近点逐步向最高最远点绘制。