CN101917636A - 复杂场景的二维视频转换为三维视频的方法及系统 - Google Patents

Abstract

本发明揭示了一种复杂场景的二维视频转换为三维视频的方法及系统，所述方法包括如下步骤：对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；判断前景目标的类型，并根据目标类型对前景进行三维重建；判断背景是否运动，如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；将前景部分得到的三维重建结果合成三维前景；将背景部分得到的三维重建结果合成三维背景；将合成的三维前景和合成的三维背景合成三维视频输出。本发明可以对复杂场景的2D视频实现高精度的3D转换，能处理不同类型的目标和不同类型的视频，产生出效果逼真的3D视频。

Description

复杂场景的二维视频转换为三维视频的方法及系统

技术领域

本发明属于视频转换技术领域，涉及一种视频转换方法，尤其涉及一种复杂场景的二维视频转换为三维视频的方法；同时，本发明还涉及上述方法对应的视频转换系统。

背景技术

在3D硬件显示设备日趋成熟的背景下，对3D视频数据的需求量迅猛增长。利用3D摄像机拍摄新的3D视频是一种提供数据的可行方式，但这种方式成本较高，并且无法利用已经存在的海量2D视频数据。因此将已有的2D视频转换为3D视频的技术有着巨大的市场需求。

二维数据转换成三维数据的方法和装置已经有一些公开文献。如：

中国台湾的广达电脑股份有限公司申请的专利“可自动将二维影像转换为三维影像的方法”(公开号CN101211463)利用在2D影像中圈选对象、设定基线、给予物件位移量等操作转换3D视频，该方案实际上需要人工干预，对复杂场景的视频效率较低。

上海交通大学申请的专利“二维图像序列三维重建方法”(公开号CN1588452)从二维图像序列中分割出感兴趣的对象并构造三维体数据，最终采用计算机绘制手段将三维物体绘制出来，但该方法的最终输出是图形数据，而不是3D视频。

福州华映视讯有限公司申请的专利“将二维影像转换为三维影像的方法”(公开号CN101593349)将二维影像转换为灰阶影像再提取深度值，利用的信息量小，适用范围比较有限。

美国奥拉西伊公司的专利“用于自动进行二维和三维转换的方法”(公开号CN1524249)提供了一种用于控制已知的光学原理来将单个主图像转换成多个图像的方法，该专利是针对图像的技术，没有利用视频的相关性信息。

日本三洋电机株式会社的专利“将二维图像转换成三维图像的方法”(公开号CN1126344)同样是关于图像的转换方法，没有利用视频信息。

韩国三星电子株式会社的专利“从二维图像产生三维图像的装置及其方法”(公开号CN1426024)，该方案根据图像的照明特征利用滤波器生成三维图像。

荷兰皇家飞利浦电子股份有限公司申请的专利“将二维视频转换为三维视频的方法和系统”(公开号CN101563935)，该方案根据对场景的音频信息的分析来制定该场景的视觉深度。

美国切克梅特国际公司的专利“用于从二维视频源中合成出三维视频的系统和方法”(公开号CN1244278)对来自二维视频源的帧进行数字化并将其分解为多个场，随后对这些场单独进行处理并对其进行变换以引入在与其它场组接在一起时可被观察者理解为三维图像的视觉线索。

由此可见，上述方案所公开的技术方案中，还没有将包含有复杂场景的二维视频(如内容丰富的平面电视和平面电影信号)转换为三维视频的方案。

发明内容

本发明所要解决的技术问题是：提供一种复杂场景的二维视频转换为三维视频的方法，可将复杂场景的二维视频转换成三维视频。

此外，本发明进一步提供上述方法对应的视频转换系统，可将复杂场景的二维视频转换成三维视频。

为解决上述技术问题，本发明采用如下技术方案：

一种复杂场景的二维视频转换为三维视频的方法，所述方法包括如下步骤：

步骤1、对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

步骤2、判断前景目标的类型，如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

步骤3、判断背景是否运动，如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

步骤4、将步骤2得到的三维重建结果合成三维前景；

步骤5、将步骤3得到的三维重建结果合成三维背景；

步骤6、将步骤4得到的三维前景和步骤5得到的三维背景合成三维视频输出。

作为本发明的一种优选方案，所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

作为本发明的一种优选方案，所述步骤1中的分割方法为：利用基于彩色信息或基于运动信息的分割方法。

作为本发明的一种优选方案，所述步骤6中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

作为本发明的一种优选方案，所述步骤6中，输出形式是在每一时刻新生成的两个帧作为该时刻3D视频帧的左右视图。

一种复杂场景的二维视频转换为三维视频的系统，所述系统包括：

场景分割单元，用以对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

前景类型判断单元，用以判断前景目标的类型；

前景重建单元，连接所述前景目标类型判断单元，用以对前景进行三维重建；如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

背景状况判断单元，用以判断背景是否运动；

背景重建单元，连接所述背景状况判断单元，用以对背景进行三维重建；如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

前景合成单元，用以将所述前景重建单元得到的三维重建结果合成三维前景；

背景合成单元，用以将所述背景重建单元得到的三维重建结果合成三维背景；

整体场景合成单元，用以将前景合成单元、背景合成单元合成的三维前景和三维背景合成三维视频输出。

作为本发明的一种优选方案，所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

作为本发明的一种优选方案，所述场景分割单元的分割方法为：利用基于彩色信息或基于运动信息的分割方法。

作为本发明的一种优选方案，所述整体场景合成单元中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

作为本发明的一种优选方案，所述整体场景合成单元中，输出形式是在每一时刻新生成的两个帧作为该时刻3D视频帧的左右视图。

本发明的有益效果在于：本发明提出的复杂场景的二维视频转换为三维视频的方法及系统，可以对复杂场景的2D视频实现高精度的3D转换，能处理不同类型的目标和不同类型的视频，产生出效果逼真的3D视频。

本发明在实施的过程中对输入的2D视频不需要人工干预即可输出3D视频；在视频自动转换的过程中不仅仅利用图像灰度信息，还利用视频帧间的光流等相关性信息、目标的先验模型、运动信息和影调信息等实现对2D视频的高精度转换，因此可以解决复杂场景的2D视频转3D视频的问题。

本发明根据3D显示设备的不同要求，3D视频可以有不同的输出形式。输出形式包括但不限于每一帧由左视图和右视图两部分组成；包括但不限于直接输出3D视频中目标的3D模型。

附图说明

图1为本发明二维视频转换为三维视频的方法的流程图。

图2为本发明二维视频转换为三维视频系统的组成示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图1，本发明揭示了一种复杂场景的二维视频转换为三维视频的方法，所述方法包括如下步骤：

【步骤1】对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分。

上述前景部分指视频中离摄像机较近并且是视频内容所要关心的主要目标，包括但不限于人、动物、交通工具等。背景部分指视频中离摄像机较远并且非视频内容所要关心的主要目标，包括但不限于建筑、山地、天空等。

本发明对分割方法没有具体限制，如，可以利用基于彩色信息或基于运动信息的分割方法。当然，还可以用其他分隔方法。

【步骤2】判断前景目标的类型，如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建。

【步骤3】判断背景是否运动，如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建。

【步骤4】将步骤2得到的三维重建结果合成三维前景；

【步骤5】将步骤3得到的三维重建结果合成三维背景。

【步骤6】将步骤4得到的三维前景和步骤5得到的三维背景合成三维视频输出。

为提高转换效率，输出形式可以是将输入的2D视频的每一帧作为3D视频帧的其中一个视图(例如左视图)，而新生成的帧作为3D视频帧的另一个视图(例如右视图)，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

当然，输出形式也可以是在每一时刻新生成两个帧作为该时刻3D视频帧的左右视图。

上述方法中，步骤2至步骤5的执行顺序可以不按照上述顺序，如先执行步骤3再执行步骤2，或者先执行步骤2、步骤4，再执行步骤3、步骤5，等等。

以上揭示了本发明的复杂场景的二维视频转换为三维视频的方法，本发明在揭示上述方法的同时，还揭示上述方法对应的复杂场景的二维视频转换为三维视频的系统。

请参阅图2，所述系统包括场景分割单元11、前景类型判断单元12、前景重建单元13、背景状况判断单元15、背景重建单元16、前景合成单元14、背景合成单元17、整体场景合成单元18。

场景分割单元11用以对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分。所述场景分割单元的分割方法可以为：利用基于彩色信息或基于运动信息的分割方法；当然，分割方法还可以为其他方法。

前景类型判断单元12用以判断前景目标的类型；将判断得到的类型反馈至前景重建单元。

前景重建单元13连接所述前景目标类型判断单元，用以对前景进行三维重建。如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

背景状况判断单元15用以判断背景是否运动；并将判断结果反馈至背景重建单元。

背景重建单元16连接所述背景状况判断单元，用以对背景进行三维重建；如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建。

前景合成单元14用以将所述前景重建单元得到的三维重建结果合成三维前景。

背景合成单元17用以将所述背景重建单元得到的三维重建结果合成三维背景。

整体场景合成单元18用以将前景合成单元、背景合成单元合成的三维前景和三维背景合成三维视频输出。所述整体场景合成单元中，输出形式可以是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。此外，所述整体场景合成单元的输出形式也可以是在每一时刻新生成两个帧作为该时刻3D视频帧的左右视图。

综上所述，本发明的有益效果在于：本发明提出的二维视频转换为三维视频的方法及系统，可以对复杂场景的2D视频实现高精度的3D转换，能处理不同类型的目标和不同类型的视频，产生出效果逼真的3D视频。

本发明在实施的过程中对输入的2D视频不需要人工干预即可输出3D视频；在视频自动转换的过程中不仅仅利用图像灰度信息，还利用视频帧间的光流等相关性信息、目标的先验模型、运动信息和影调信息等实现对2D视频的高精度转换，因此可以解决复杂场景的2D视频转3D视频的问题。

本发明根据3D显示设备的不同要求，3D视频可以有不同的输出形式。输出形式包括但不限于每一帧由左视图和右视图两部分组成；包括但不限于直接输出3D视频中目标的3D模型。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (8)

1.一种复杂场景的二维视频转换为三维视频的方法，其特征在于，所述方法包括如下步骤：

步骤1、对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

步骤2、判断前景目标的类型，如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

步骤3、判断背景是否运动，如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

步骤4、将步骤2得到的三维重建结果合成三维前景；

步骤5、将步骤3得到的三维重建结果合成三维背景；

步骤6、将步骤4得到的三维前景和步骤5得到的三维背景合成三维视频输出。

2.根据权利要求1所述的复杂场景的二维视频转换为三维视频的方法，其特征在于：

所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；

所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

3.根据权利要求1或2所述的复杂场景的二维视频转换为三维视频的方法，其特征在于：

所述步骤6中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

4.根据权利要求1或2所述的复杂场景的二维视频转换为三维视频的方法，其特征在于：

所述步骤6中，输出形式是在每一时刻新生成两个帧作为该时刻3D视频帧的左右视图。

5.一种复杂场景的二维视频转换为三维视频的系统，其特征在于，所述系统包括：

场景分割单元，用以对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

前景类型判断单元，用以判断前景目标的类型；

前景重建单元，连接所述前景目标类型判断单元，用以对前景进行三维重建；如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

背景状况判断单元，用以判断背景是否运动；

背景重建单元，连接所述背景状况判断单元，用以对背景进行三维重建；如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

前景合成单元，用以将所述前景重建单元得到的三维重建结果合成三维前景；

背景合成单元，用以将所述背景重建单元得到的三维重建结果合成三维背景；

整体场景合成单元，用以将前景合成单元、背景合成单元合成的三维前景和三维背景合成三维视频输出。

6.根据权利要求5所述的复杂场景的二维视频转换为三维视频的系统，其特征在于：

所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；

所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

7.根据权利要求5或6所述的复杂场景的二维视频转换为三维视频的系统，其特征在于：

所述整体场景合成单元中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

8.根据权利要求5或6所述的复杂场景的二维视频转换为三维视频的系统，其特征在于：

所述整体场景合成单元中，输出形式是在每一时刻新生成两个帧作为该时刻3D视频帧的左右视图。

Images