CN101563933A

CN101563933A - 复杂性自适应二维到三维视频序列转换

Info

Publication number: CN101563933A
Application number: CNA2007800469667A
Authority: CN
Inventors: 王浩洪; 李翔尊; 沙拉什·曼朱纳什
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-12-22
Filing date: 2007-12-22
Publication date: 2009-10-21
Anticipated expiration: 2027-12-22
Also published as: US20080150945A1; WO2008080156A1; CN101563933B; US8330801B2; JP2010515303A; TW200843479A; KR20090080556A; EP2119247A1; JP4938861B2; KR101096468B1

Abstract

本发明描述用于复杂性自适应和自动的二维(2D)到三维(3D)图像及视频转换的技术，其将2D输入的帧分类成平面图像类别及非平面图像类别中的一者。将所述平面图像类别帧直接转换成3D立体以供显示。基于复杂性进一步自动地且自适应地处理被分类为非平面图像类别的帧以产生深度图估计。此后，使用所述深度图估计或经调节的深度图将所述非平面图像类别帧转换成3D立体图像。基于所述复杂性处理所述经调节的深度图。

Description

复杂性自适应二维到三维视频序列转换

技术领域

本揭示内容大体来说涉及立体视频技术，且更具体地说涉及用于复杂性自适应2D到3D图像及视频转换的技术。

背景技术

立体视频技术的开发经由左视图与右视图之间的双目视差实现实际景物的三维(3D)感觉。此模防可获得我们的左眼及右眼所看到的两个单独视图的人类视觉系统。立体视频技术基于以下假设：人脑的重要部分仅专用于双目信息的处理。换句话说，这些立体系统利用我们的大脑测量视图的视差及度量景物中的对象距观察者的相对距离的能力。

当前，正在开发用于捕获、处理、压缩、发射及显示立体视频的方法方面做出极大的努力。在使这些技术标准化方面也做出某些其它努力。然而，所部署的当前多媒体装置中的大多数均在单视场基础结构内实施，且所形成并在市场中出售的视频中的大多数是二维(2D)电影。因此，期望所述2D到3D视频转换技术以拓展3D媒体消费者市场。

近来，已在将图像从2D转换到3D方面进行了某些尝试。在一个方法中，实时方法根据2D图像的若干分离区域的对比度、锐度及色度及根据运动信息计算其深度。此后，基于所获得的深度信息实施转换。在另一方法中，基于面部特征的参数深度图产生方案将2D头及肩图像转换为3D。类似地，在又一方法中，运动学及3D人类行走运动模型两者均用作用以估计单目图像序列的3D步态的现有知识源。

在将图像从2D转换到3D的另一尝试中，基于自动及手动技术的混合组来提取深度图，其中当自动数据相关性分析失效时调用手动处理。在又一尝试中，提出一种用于深度图产生的无人监视方法，然而，所述方法中的某些步骤(举例来说，预处理中的图像分类)不平凡且实施起来可能极为复杂。因此，实施方案将颇不实际。在又一尝试中，一种实时2D到3D图像转换算法使用运动检测及区域分割；然而，由于对象分割及对象深度估计的不精确性不可避免地出现假象。使用所分割的对象来避免对象分割假象。

在将图像从2D转换到3D的又一方法中，对VOP(视频对象平面)的运动向量数据实施相机运动分析且根据相机运动类型以不同方式水平移位所述对象。在又一方法中，典型SfM(从运动恢复结构)方法(举例来说，经扩展的卡尔曼过滤器(Kalmanfilter))被扩展到对象层级处理。在又一方法中，将新的在线ICA混合模型用于图像分割，且接着所述系统经受深度估计及像素移位算法以产生3D效果图像。

显而易见，用于2D到3D图像及/或视频转换的现有方法并不是复杂性自适应。此外，用于2D到3D图像及/或视频转换的已知方法并不通于实时及离线2D到3D视频转换两者或用于增强某些先前记录的2D电影的3D效果。

因此，此项技术中需要用于复杂性自适应2D到3D图像及视频转换的技术。

发明内容

本文描述用于复杂性自适应2D到3D图像及视频转换的技术。在实施例中，一种设备包含图像分类模块，所述模块可操作以将二维(2D)输入帧分类成第一图像类别或第二图像类别。所述设备还包含图像深度图估计模块，所述模块可操作以基于复杂性自动且自适应地处理那些被分类为所述第二图像类别的帧以产生深度图估计。提供3D图像对产生器模块，所述模块可操作以将那些被分类为所述第一图像类别的帧直接转换成3D立体图像，且使用所述深度图估计将那些被分类为所述第二图像类别的帧转换成3D立体图像。

在另一方面中，一种方法包括：分析2D输入；及将所述2D输入的帧分类成选自平面图像类别及非平面图像类别的类别。基于复杂性自动且自适应地处理被分类为所述非平面图像类别的帧以产生深度图估计。将被分类为所述平面图像类别的帧直接转换成3D立体图像。在所述处理步骤之后，将被分类为所述非平面图像类别的帧转换成3D立体图像。

下文进一步详细地描述本揭示内容的各个方面及实施例。

附图说明

根据下文结合图式所阐述的详细说明时，本揭示内容的方面及实施例将变得更加显而易见，在所有图式中相同的参考字符识别对应的元件。

图1图解说明3D立体成像设备的方块图。

图2图解说明图像深度估计模块的方块图。

图3图解说明立体图像对产生器模块的方块图。

图4图解说明复杂性自适应且自动的2D到3D图像及视频转换方法的流程图。

图5图解说明用于对帧进行分类(确定经变焦图像)的方法的流程图图示。

图6图解说明在评估下的选定分割区域。

图7图解说明用于对象分割的复杂性自适应过程的流程图。

图8图解说明复杂性自适应分割及图像深度图调节过程的方块图。

图9图解说明立体图像对产生过程的流程图。

图10A图解说明双目视觉的左及右视图。

图10B图解说明双目视觉的几何模型，其参数用于计算视差图。

图11A-11B图解说明基于Z缓冲器的3D内插过程的流程图。

具体实施方式

下文关于将二维(2D)视频序列图像转换成3D立体视频序列的具体应用描述所述3D立体成像设备的实施例。然而，所属领域的技术人员应了解，在所需的实时及离线3D转换两者中，本发明也极适于其它类型的2D图像。所述实施例也适于以YUV或红色、绿色、蓝色(RGB)格式处理的图像以及适于增强某些先前记录的2D电影的3D效果。所述2D图像可包含由单传感器相机传感器捕获的单视场图像。

现在参照图1，显示通常于10处表示的3D立体成像设备。一般来说，3D立体成像设备10包含：用以控制本文所述设备10的操作的处理器24、镜头12、二维(2D)图像捕获单元14及2D到3D视频序列转换器30。处理器24执行存储于存储器26中的程序指令或编程代码以实施本文所述的操作。2D图像捕获单元14包含相机传感器模块16、变焦模块18及自动聚焦模块20。相机、摄像放像机及其它视频成像装置(例如，具有视频能力的移动电话)的变焦功能及自动聚焦功能已经公认且无需对其进行进一步解释。设备10进一步包含通信单元25，所述单元用于与有线或无线通信网络或装置通信。因此，设备10适合于移动、蜂窝式、卫星、无线通信装置或具有视频能力的其它电话。设备10可包含具有视频能力的其它手持式或便携式装置，例如，膝上型计算机、平板PC、笔记型计算机等。

相机传感器模块16是单传感器相机传感器模块，其使用变焦模块18及/或自动聚焦模块20来捕获单视场图像或视频序列。出于说明性目的，由于仅捕获到一个图像，因此使用此图像来表示用于立体成像并显示于显示器22上的左(L)视图。立体图像对产生器模块50包含于2D到3D视频序列转换器30中以根据所述左视图(原始捕获的图像)及图像深度图在立体图像对产生器模块50中产生第二或遗漏的右(R)视图。如图3中的最佳所见，一般来说，立体图像对产生器模块50包括视差图子模块52、Z缓冲器3D表面恢复子模块54及立体视图产生器子模块56。

2D到3D视频序列转换器30进一步包含图像深度估计模块40及3D效果产生器模块60。立体图像对产生器模块50的输出输出由3D效果产生器模块60进一步处理的左及右视图。在实例性实施例中，3D效果产生器模块60是用以展示所得3D效果的廉价红色-蓝色立体照片。所产生的立体视图可由其它机构(例如，全息及立体装置)来显示。

现在参照图2，显示图像深度估计模块40的方块图。图像深度估计模块40包含图像分类子模块42及图像深度图估计子模块46。图像分类子模块42具有平面图像检测器44A，检测器44A用以将图像分类成平面或非平面类型以减少处理平面图像的计算复杂性，且有助于减少由图像深度图估计子模块46执行的图像深度图产生中的可能异常值。图像分类子模块42进一步包含复杂性评估器44B，评估器44B用以在适宜时自适应地调节估计精确性。复杂性在可简化转换过程以便以处理速度对换估计精确性的意义上是自适应的。

图像深度图估计子模块46包含对象分割器48A，分割器48A使用基于规则的方法来进行对象分割以帮助调节属于同一对象的像素深度。图像深度图估计子模块46还使用时间深度平滑来避免由深度图调节器48B的分割误差所引起的视觉不适。

现在参照图4，现在将描述2D到3D视频序列转换器30的操作。此操作称为复杂性自适应且自动的2D到3D图像及视频转换方法，其通常表示于100处。出于描述性目的，假设用于处理的图像具有YUV或RGB格式，且输出是左及右视图。

复杂性自适应且自动的2D到3D图像及视频转换方法100在步骤S102处分析输入图像，所述输入图像由2D图像捕获单元14捕获。或者，所述输入图像可来自陈旧或先前记录的2D电影。步骤S102之后是步骤S104，在步骤S104处进行图像分析以借助一组启发式逻辑将所述输入图像分类成平面或非平面帧(景物)。在方法100中，仅基于非平面帧(景物)的复杂性对其进行进一步分割及处理。因此，步骤S104之后是步骤S108，在步骤S108处由平面图像检测器44A做出所述输入图像是否为平面景物的确定。将参照图5详细地描述平面图像检测器44A的操作。如果在步骤S108处的确定为“是”(此意味着所述景物是平面景物)，则步骤S108之后步骤S118。对于平面图像来说，所得左视图及右视图将与原始图像相同。因此，无需进一步处理(例如，深度估计/分割)。通过默认方式，立体图像对产生步骤S118将来自步骤S108的原始图像用于左及右视图两者。

然而，如果步骤S108处的确定为“否”(此意味着所述景物是非平面景物)，则步骤S108之后步骤S110以便可接着发生进一步分割及处理。一般来说，通过对象分割来估计帧的深度信息且通过从观察结果提取的若干预界定规则来调节所述深度。为增强复杂性自适应性，可通过移除用于低复杂性应用程序的分割操作来简化用于产生相关联深度图的过程。借此，在步骤S110处进行像素深度估计。步骤S110之后是步骤S112，在步骤S112处确定或评估计算资源可用性及计算复杂性要求，以使得方法100及设备10可智能地选择适当的复杂性解决方案(例如，低复杂性解决方案、中等复杂性解决方案及高复杂性解决方案)。因此，基于此评估来做出是否需要低复杂性解决方案或是否实时地执行此处理的确定。如果步骤S112处的确定为“否”，则在步骤S114处发生关于分割操作(图8)的复杂性自适应性。否则，如果步骤S112处的确定为“是”，则绕过由对象分割器48A进行的对象分割且步骤S112之后是步骤S118。在步骤S118处，由立体图像对产生器模块50进行立体图像对产生。

现在返回到步骤S114，在步骤S104处的图像分析期间，在步骤S106处产生统计数据。对象分割器48A使用此统计数据来实施步骤S114的对象分割。步骤S114之后是步骤S116，在步骤S116处进行像素深度调节，如参照图8更详细描述。步骤S116之后也是步骤S118，在步骤S118处进行立体图像对产生，如参照图9更详细描述。步骤S118之后是步骤S120，在步骤S120处做出是否存在任何其它帧的确定。如果所述帧不是最后一个帧，则步骤S120返回到步骤S102。否则，当到达最后一个帧时方法100结束。

当在步骤S102处输入图像并在步骤S104处对其进行分析时，平面图像检测器44A使用基于色彩的图像分析来检测所述输入图像是否表示平面景物。如果所述输入图像是平面景物，则两个(左及右)视图将相同且因此在步骤S118处原始图像可用于(右)视图。

如果所述图像是非平面景物，则使用步骤S110处的基于规则的图像像素深度估计过程为所述输入图像中的每一像素指派近似深度。如果不存在如步骤S112处所确定的低复杂性限制或如果实时地执行所述应用程序，则通过使用步骤S114处的对象分割及步骤S116处的像素深度调节来调节深度以使得表示同一对象的像素可具有类似深度值。如果存在如复杂性评估器44B所确定的低复杂性限制，则跳过或部分地跳过步骤S114(对象分割)及步骤S116(像素深度调节)以便以速度对换精确性。术语“部分地跳过”意味着可跳过对象分割中的某些步骤(例如，运动估计)以满足低/中等复杂性要求。从图像深度图估计子模块46产生的深度图经处理以由立体图像对产生器模块50自动地产生表示左及右视图的立体图像对。

图像深度估计

在步骤S110处，图像深度估计模块40估计所述图像中每一像素的深度。从单视场图像及其相关联深度图产生立体视图。一般来说，所述图像深度估计过程是基于从观察结果获得的一组规则。作为实例，对于室外图像来说，上侧极可能表示天空而地面通常位于图像的底部处。此匹配以下观察结果：一般图像中存在图像的中心及底侧比上侧近的趋势。最重要的部分是找出对象之间的相对位置而非获得所述对象的确切深度。上述规则给出用于检测对象之间的相对位置的基本指导方针(举例来说，上侧将比中心及底侧远)。一旦估计了对象之间的关系(例如，哪个比哪个远)，则可通过在深度上使用线性内插或非线性内插来估计所述对象的深度。

图像分类

图像分类子模块42首先将图像分类成“平面图像”及“非平面图像”类别(步骤S108处)。所述平面图像类别几乎不含有深度信息且因此无需要深度估计。一般来说，存在作为潜在平面图像的两类图像。第一类型的平面景物图像是经变焦图像。在经变焦图像中，由于变焦模块18的变焦效果可在视觉上忽略图像中的像素深度差。第二类型的平面景物图像包含对应于具有90度的相机倾斜角度的从上面(或下面)的视图的图像。从上面的视图图像是使用者位于停止的飞机中或某一其它位置处的同时向下朝地球、地面等看时所捕获的图像。从下面的视图图像是使用者静止或处于某一其它位置处且向上看以捕获图像时所捕获的图像。

具有小于90度的倾斜角度的视图含有充足深度信息。此外，从这些视图提取深度信息比从具有零度(0°)倾斜角度的视图提取深度信息更容易，因为视角增加深度知觉。

出于描述性目的，假设使用者仔细地产生用于处理的视频且因此已将视觉不适限制到低可能性。因此，做出如下结论(假设)将有效：可忽略视频中颠倒图像的出现及具有90度的相机倾斜角度的从上面(或下面)的视图。因此，假设透镜12的定向以正常知觉正常对准(沿水平平面对准)。

当由2D图像捕获单元14捕获视频或图像时，在相机操作中通常使用变焦模块18所进行的拉近及拉远操作。因此，为检测平面图像，2D到3D视频序列转换器30需要能够自动地检测经变焦帧。对于拉近帧来说理想情况是，“爆裂”运动图案将出现在运动估计中。换句话说，宏块的运动向量将以与变焦操作中心的距离成比例的向量长度从所述变焦操作中心向外指。然而，所述帧中的噪声可能引起不精确的运动估计且因而引起假检测。此外，运动估计对于低复杂性应用程序来说相当地计算密集。

为自动地检测所述经变焦帧以对帧进行分类，采用基于色彩的经变焦图像检测算法。在大多数视频序列中，相机变焦操作遵循拉近-＞保持-＞拉远或拉近-＞保持-＞景物改变的顺序，以便可通过色彩柱状图改变来检测经变焦所捕获图像。

图5显示用于对帧进行分类的步骤S108的(确定经变焦图像)方法的流程图图示。对应于图5中所示逻辑的伪代码阐述如下：

如果T_n-1＝1则//经变焦图像

如果S(f_n-1，f_n)＝1，//景物改变

则T_n＝0；

否则//检查是否拉远

如果(V_n＞V_n-k＞V_n-2k & H_n(C_n-2k，0)＜H_n-k(C_n-2k，0)＜H_n-2k(C_n-2k，0)

则T_n＝0；

否则T_n＝1

否则//正常图像，设法找出第一个经变焦图像

如果(V_n＜V_n-k＜V_n-2k & H_n(C_n，0)＞H_n-k(C_n，0)＞H_n-2k(C_n，0)

则T_n＝1；

否则T_n＝0

首先，n表示当前帧f_n的索引，T_n表示当前图像的变焦类型(T_n＝1表示经变焦图像，否则T_n＝0)，V_n表示当前图像的方差，H_n(C_n，m)表示32箱色彩柱状图且C_n，m表示具有经分类柱状图的色彩(即，C_n，0表示具有最高柱状图的色彩)，且S(f_n-1，f_n)表示两个帧f_n-1与f_n之间的景物类似性(S(f_n-1，f_n)＝1意味着存在景物改变)。S(f_n-1，f_n)在方程式Eq.(1)及Eq.(2)中界定如下

S (f_{n - 1}, f_{n}) = \{\begin{matrix} 1 & ifSim [H_{n - 1} ({\overset{&RightArrow;}{C}}_{n - 1}), H_{n} ({\overset{&RightArrow;}{C}}_{n})] > Th \\ 0 \end{matrix},

方程式(1)

其中

Sim (\overset{&RightArrow;}{x}, \overset{&RightArrow;}{y}) = \frac{\overset{&RightArrow;}{x} * \overset{&RightArrow;}{y}}{| | \overset{&RightArrow;}{x} | | * | | \overset{&RightArrow;}{y} | |}

方程式(2)

且Th是检测图像类似性的阈值。

步骤S108的方法以步骤S152开始，在步骤S152处做出T_n-1是否等于1(意味着先前帧(n-1)是经变焦帧)的确定。如果步骤S152处的确定为“是”，则步骤S152之后是步骤S154，在步骤S154处基于以上方程式Eq.(1)及Eq.(2)做出S(f_n-1，f_n)是否等于1(意味着景物改变)的另一确定。如果步骤S154处是确定为“是”(意味着景物改变)，则步骤S154之后是步骤S162，在步骤S162处将T_n设定为等于0(意味着当前帧不是经变焦图像)。因此，当前帧是非平面图像。

如果在步骤S152处先前帧是经变焦图像(T_n-1＝1)且在步骤S154处当前帧不是景物改变(意味着S(f_n-1，f_n)≠1)，则步骤S108的方法在步骤S158确定2D图像捕获单元14的变焦模块18是否正在进行拉远。作为实例，可通过逐渐增加表示为V_n的图像变化及逐渐减少最近帧中的特定色彩(先前帧的基色成分)的百分数来确定拉远状态。类似地，如果先前帧f_n-1不是经变焦图像(意味着T_n-1＝0)，则步骤S108的方法还需要检测是否正在步骤S156处对相机进行拉近。因此，步骤S152之后是步骤S156。

应注意，值k是由帧速率及正常变焦速度确定的常数。对于每秒30帧的视频剪辑来说，k＝10可以是合理设定值。

再次返回到步骤S154，如果所述确定为“否”(意味着当前帧不是景物改变)，则步骤S154之后是步骤S158，在步骤S158处做出是否满足方程式Eq.(3)的确定

V_n＞V_n-k＞V_n-2k且H_n(C_n-2k，0)＜H_n-k(C_n-2k，0)＜H_n-2k(C_n-2k，0).方程式(3)

如果步骤S158处的确定为“否”，则步骤S158之后是步骤S160，在步骤S160处将T_n设定为等于1(意味着当前帧是经变焦图像)。然而，如果步骤S158处的确定为“是”，则步骤S158之后是步骤S162，在步骤S162处将T_n设定为等于0(意味着当前帧不是经变焦图像)。因此，当前帧是非平面图像。

如果步骤S152处的确定为“否”(意味着先前帧f_n-1不是经变焦图像)，则步骤S152之后是步骤S156。在步骤S156处，做出是否满足方程式Eq.(4)的确定

V_n＜V_n-k＜V_n-2k且H_n(C_n，0)＞H_n-k(C_n，0)＞H_n-2k(C_n，0)，方程式(4)

如果步骤S156处的确定为“是”，则步骤S156之后是步骤S160，在步骤S160处将T_n设定为等于1(意味着当前帧是经变焦图像)。然而，如果步骤S156处的确定为“否”，则步骤S156之后是步骤S162，在步骤S162处将T_n设定为等于0(意味着当前帧不是经变焦图像)。因此，当前帧是非平面图像。

图像深度图估计

那些被确定为平面图像(在步骤S108处)的图像不需要深度估计，因为平面图像类别几乎不含有深度信息。因此，以下描述涉及在步骤S110处针对非平面图像执行的图像深度图估计。所述实例性实施例不恢复图像像素的实际深度。而是，所述实例性实施例产生或估计图像深度图以增强原始图像的3D效果。步骤S110的图像深度图估计过程基于两个基本假设。第一个假设是，景物由若干对象组成且对应于同一对象的像素具有较接近的深度值，且可忽略其差。第二个假设是，对于大多数非平面图像来说，对象的深度从顶部到底部减少。存在所述假设的某些相反实例，举例来说，室内景物及当发生掩蔽时的情况。然而，对此类景物的检测极其困难且颇耗时，且不存在可用低复杂性解决方案。一般来说，以上阐述的两个假设对于大多数视频剪辑来说是有效的且所述相反实例对所产生的3D图像的视觉效果无显著影响。

仍参照图4，步骤S110的图像深度图估计过程最初给每一像素指派与其垂直坐标值成比例的深度值。此后，基于图7中所示的步骤S114处的对象分割的结果来调节所述深度图。具体参照图6及7，为降低计算复杂性，当需要时，仅选择所述图像的一部分进行分割。然而，如果在步骤S112处需要低复杂性解决方案，则可跳过对象分割及像素深度调节步骤S114及116。

由于中心及底部区域通常对应于在视觉上更敏感的较近对象，因此选择这些区域作为用于分割的区域，如图6中的最佳所见。选择所述分割区域作为原始图像的底部居中部分。在所述实例性实施例中，所述底部居中部分的顶部边缘在原始图像的顶部边缘下面的1/3处或是原始图像的垂直高度(y)的2/3。所述分割区域的底部边缘与原始图像的底部边缘对准。然而，所述分割区域的左及右边缘在距左边缘水平长度(x)的1/10且距右边缘水平长度(x)的1/10的距离处开始。在所述分割区域中，实施对象分割以将所述区域分成若干子区域(或对象)。然而，可以除垂直高度(y)的1/3及水平长度(x)的1/10外的其它比例替代来用于所述分割区域。

再次参照图7，当对象分割器48A需要时，复杂性自适应特征也使用较高复杂性解决方案。因此，步骤S114以步骤S163开始，在步骤S163处基于计算资源及计算复杂性要求做出是否需要高复杂性解决方案的确定。如果所述确定为“是”，则步骤S163之后是步骤S164，在步骤S164处(举例来说)当采用高复杂性解决方案时，获得来自运动估计的运动信息以及色彩信息。步骤S164之后是步骤S165，在步骤S165处使用(举例来说)色彩及运动信息来分割对象。

然而，如果步骤S163处的确定为“否”，则步骤S163之后是步骤S166，在步骤S166处做出是否需要中等复杂性解决方案的确定。如果步骤S166处的确定为“是”(意味着采用中等复杂性程序进行对象分割)，则步骤S166之后是步骤S167。在步骤S167，所述中等复杂性程序仅采用色彩信息。然而，也可以其它中等复杂性程序来替代。步骤S167之后是步骤S168，在步骤S168处使用所述中等复杂性程序借助所述色彩信息来分割对象。步骤S165及S168终止步骤S114的过程。此外，如果步骤S166处的确定为“否”，则也终止步骤S114的过程。

如可了解，可取决于所述中等复杂性解决方案是否具有较高优先级对确定步骤S163及S166的配置进行移位。一般来说，高复杂性解决方案将更精确。所述运动估计及色彩信息可以是对象分割步骤S114的一部分，或可以是由图像分析步骤S104在步骤S106处提供的统计数据的一部分。通常，所述运动估计过程相当耗时。因此，所述运动估计过程将不必须在步骤S104处执行，而应取决于复杂性要求在步骤S114中实施。然而，如果所述运动估计过程对于某些应用程序是可用的，则对象分割(步骤S114)可省力。

当需要中等复杂性解决方案时，仅色彩信息用于分割。对于实时应用程序或当需要低复杂性解决方案时，跳过分割操作以避免繁重的计算。还假设，存在来自处理器24的回馈信道以通知程序代码3D立体成像设备10的当前状态(例如，资源分配及CPU使用率)。处理器24可基于图像复杂性自适应地选择解决方案。复杂性要求由(举例来说)移动电话中的应用层级软件来基本调节。控制功率消耗的软件将动态地将计算功率分配给直接影响计算复杂性要求的每一运行任务。

在图8中，显示对象分割及深度图(像素深度)调节两者的复杂性自适应过程。所述过程一般用于步骤S114及S116两者且以步骤S172开始，在步骤S172处在所提取的图像中选择分割区域(图6)。步骤S172之后是步骤S174，在步骤S174处使用所连接组件标记方法将所述图像分成若干小的所连接区域，其中同一区域内的像素具有类似色彩强度。步骤S174之后是步骤S176，在步骤S176处如果任何相邻子区域具有接近的平均色彩强度，则使用基于色彩的区域合并算法将这些小区域合并成较大区域。步骤S176之后是步骤S178，在步骤S178处进一步使用运动信息(如果可用)以经由基于运动的区域合并算法将沿类似方向移动的区域合并成较大对象。

步骤S172、S174、S176及S178是分割步骤。可选择性地使用步骤S176及S178，且步骤S178仅用于高复杂性解决方案。在完成所述分割步骤之后，步骤S178之后是步骤S180，在步骤S180处针对每一对象调节像素深度且给对象内的每一像素深度指派所述对象中像素的最小深度。最后，步骤S180之后是步骤S182，在步骤S182处使用时间深度平滑过程来避免邻近帧之间的急剧深度改变。一般来说，所述时间深度平滑过程的动机是视频剪辑的帧速率足够高以致景物中的对象在深度上无法极为快速地移动，某些掩蔽情况除外。由dn-1(i，j)及dn(i，j)表示第(n-1)及第n个帧中的像素(i，j)的深度，且根据如下方程式Eq.(5)调节dn(i，j)，

方程式(5)

对应于原始图像的经估计深度图具有对应于较远对象的较亮区及对应于较近对象的较暗区。在所述实例性实施例中，具有图8中所示的调节的图像深度图估计过程能够将较远对象与较近对象分类，但由于缺乏用于更好分割的语义信息而存在一些经误分类的对象。

现在参照图1、3及9，设备10迄今已捕获图像或左视图并在图像深度图估计子模块46的输出处获得对应图像深度图。立体图像对产生模块50在步骤S118处使用图像对产生过程，现在将描述步骤S118。在步骤S206处获得所述左视图且在步骤S204处获得其对应图像深度图。

尽管步骤S118的图像对产生过程首先假设在3D立体成像设备10的步骤S206处所获得的或所捕获的图像是左视图，但替代地，可将所获得的或所捕获的图像视为右视图。接着，基于在步骤S204处获得的图像深度图(图像深度估计模块40的输出)，在步骤S202处在视差图子模块52中计算图像的视差图(两个视图中的图像点之间的像素距离)。下文将参照图11A及11B描述由视差图子模块52进行的视差图计算。还输入左视图及深度图两者以用于计算视差图，然而，对于3D视图产生，步骤S206的左视图及步骤S204的深度图直接用于基于Z缓冲器的表面恢复过程。步骤S202之后是步骤S208，在步骤S208处调用由Z缓冲器3D表面恢复子模块54进行的基于Z缓冲器的3D内插过程以针对来自右眼的景物构造3D可见表面。步骤S208之后是步骤S210，在步骤S210处通过将所述3D表面投影到投影平面上来获得右视图，如图10B中的最佳所见。

在图10A中，针对远的对象使用投影平面上的左(L)及右(R)视图来显示双目视觉的几何模型。在图10B中，F是焦距，L(x_L，y_L，0)是左眼，R(x_R，y_R，0)是右眼，T(x_T，y_T，z)是景物中的3D点，且P(x_P，y_P，F)及Q(x_Q，y_Q，F)是T到左及右投影平面上的投影点。显然，投影平面上P及Q的水平位置是(x_P-x_L)及(x_Q-x_R)，且因此视差是d＝[(x_Q-x_R)-(x_P-x_L)]。

如图10B中所示，F与z的比率在方程式Eq.(6)中界定为

\frac{F}{z} = \frac{x_{P} - x_{L}}{x_{T} - x_{L}} = \frac{x_{Q} - x_{R}}{x_{T} - x_{R}}

方程式(6)

其中z是深度，因此方程式Eq.(7)及Eq.(8)如下

x_{P} - x_{L} = \frac{F}{z} (x_{T} - x_{L}),

方程式(7)

x_{Q} - x_{R} = \frac{F}{z} (x_{T} - x_{R}),

方程式(8)

且因此可通过方程式Eq.(9)获得视差d

d = \frac{F}{z} (x_{L} - x_{R}) .

方程式(9)

因此，对于左视图中的每一像素来说，其在右视图中的对应物被移位到左侧或右侧在方程式(9)中所获得的视差值的距离。然而，由于可能的掩蔽，从左视图映射到右视图并不是1对1的映射，因此需要进一步处理以获得右视图图像。

因此，由Z缓冲器3D表面恢复子模块54执行步骤S210的基于Z缓冲器的3D内插过程以实现右视图的产生。两眼之间的距离与从眼到对象的距离(如图10A中所示)相比极小。因此，假设从对象到左眼的距离约等于从其本身到右眼的距离，此将在很大程度上简化计算。因此，针对右(R)视图维持深度图Z(x，y)(其中Z(x，y)实际上是图像深度图，但其是将被检测的未知图)，其中x、y是所述视图中的像素位置。

现在参照图11A及11B，现在将描述用以针对右视图重构3D可见表面的步骤S210的过程。在开始时(步骤S222)，将深度图初始化为无穷大。步骤S222之后是步骤S224，在步骤S224处获得左视图中的像素(x₀，y₀)。接着，对于左视图中具有深度z₀及视差值d₀的每一像素(x₀，y₀)来说，在步骤S226中通过界定如下的方程式Eq.(10)针对其在右视图中的对应像素更新深度图

Z(x₀+d₀，y₀)＝min[Z(x₀+d₀，y₀)，z₀].方程式(10)

步骤S226之后是步骤S228，步骤S228是用以确定是否存在任何更多像素的确定步骤。如果所述确定为“是”，则步骤S228返回到步骤S224以取得下一像素。然而，在处理完左视图中的所有像素之后(因此步骤S228处的确定为“否”)，则步骤S228之后是步骤S230，在步骤S230处检查经重构的深度图并针对其搜索具有等于无穷大的值的像素(在左视图上没有有效图的像素)。步骤S230之后是步骤S232，在步骤S232处做出像素值(PV)是否等于无穷大的确定。如果步骤S232处的确定为“否”，则像素值(PV)是有效的且可直接用作图10B的步骤S244处的强度值。

如果对于此类像素步骤S232处的确定为“是”，则步骤S234跟随，步骤S234首先基于其具有可用深度值的相邻像素通过2D内插计算对应像素的深度。步骤S234之后是步骤S236，在步骤S236处使用以上方程式(9)计算视差值。步骤S236之后是步骤S238，在步骤S238处所述过程逆向地找出左视图中的对应像素。步骤S238之后是步骤S240以确定是否找到像素。如果所述对应像素是可用的，则步骤S240之后是步骤S244，在步骤S244处可将对应强度值用于右视图像素上。否则，如果步骤S240处的确定为“否”，则步骤S240之后是步骤S242，步骤S242基于其在右视图中具有可用强度值的相邻像素使用内插来计算强度值。

使用所提出的算法优于直接强度内插方法的益处是其考虑对象形状的3D连续性，此产生更好的立体效果真实性。恢复左视图的不可见区域的问题是不适定问题。在一个已知的解决方案中，在假设景物中后面无其它可见表面的情况下，通过使用遗漏像素在水平方向上对应于其它表面的相邻像素来恢复所述遗漏像素的深度。对于某些情况来说，所述假设可能是无效的。为考虑更可能的情况，在所提出的解决方案中，所述表面恢复考虑沿所有方向的所有相邻像素的深度，此将减少无效假设的机会且将产生所恢复表面的更好的3D连续性。

实验结果

对若干视频剪辑测试方法100。使用廉价红色-蓝色立体照片来展示所得3D效果，但所产生的立体视图可由例如全息及立体装置的机构显示。一般来说，所述立体照片结果图解说明原始图像中对象的直接邻近所述原始图像中的所述对象的半透明阴影或重影。所述红色-蓝色立体照片以蓝色及/或红色色彩给所述半透明阴影或重影着色。借助一副红色-蓝色3D眼镜，可观察到显著增强的3D效果。所述实验结果已指示经转换视频的3D效果相当明显。

如可看到，设备10及方法100提供复杂性自适应且自动的2D到3D图像及/或视频转换。此外，设备10及方法100提供2D到3D图像及/或视频转换，所述转换通用于实时及离线2D到3D视频转换两者且可用于增强某些先前记录的2D电影的3D效果。

应注意，例如输入图像(即，经压缩或原始数据)的位串流格式及用于输出视频的显示方法的其它问题不在本文所描述的范围内。

提供上文对所揭示实施例的说明旨在使所属领域的技术人员均能够制作或使用本发明。所属领域的技术人员将易于明了对这些实施例的各种修改，且本文所界定的通用原理在不背离本发明的精神或范围的情况下可应用于其它实施例。因此，本发明并非打算局限于本文所示的实施例，而是将赋予其与本文所揭示的原理及新颖特征相一致的最宽广范围。

Claims

1、一种方法，其包括：

分析2D输入；

将所述2D输入的帧分类成选自平面图像类别及非平面图像类别的类别；

基于复杂性而自动地且自适应地处理那些被分类为所述非平面图像类别的帧以产生深度图估计；及

将那些被分类为所述平面图像类别的帧直接转换成3D立体图像，且在所述处理步骤之后，将那些被分类为所述非平面图像类别的帧转换成3D立体图像。

2、如权利要求1所述的方法，其中所述处理步骤包括：估计所述深度图估计；确定当前应用程序是否需要用于所述被分类为所述非平面图像类别的帧的低复杂性解决方案，且当需要所述低复杂性解决方案时，使用所述深度图估计直接转换那些被分类为所述非平面图像类别的帧。

3、如权利要求2所述的方法，其中所述处理步骤进一步包括将所述被分类为所述非平面图像类别的帧对象分割成若干经分割的区域及调节所述经分割的区域的像素深度。

4、如权利要求3所述的方法，其中所述处理步骤进一步包括确定可用计算资源及计算复杂性要求，及选择所述低复杂性解决方案、中等复杂性解决方案或高复杂性解决方案以满足所述计算复杂性要求；其中如果需要所述高复杂性解决方案或所述中等复杂性解决方案，则所述对象分割步骤使用色彩信息；且其中如果需要所述高复杂性解决方案，则将色彩信息及运动估计信息用于所述分割步骤。

5、如权利要求3所述的方法，其中所述处理步骤进一步包括：以所连接组件标记法处理所述分割区域以形成第一输出；以基于色彩的区域合并法处理所述第一输出以形成第二输出；以基于运动的区域合并法处理所述第二输出以形成第三输出；调节所述第三输出的像素深度以形成第四输出；及对所述第四输出进行时间深度平滑。

6、如权利要求1所述的方法，其中所述分类步骤包括确定所述帧是否用于经变焦景物；且其中如果所述帧是用于经变焦景物，则将所述帧分类为所述平面图像类别，且如果所述帧不是用于经变焦景物，则将所述帧分类为所述非平面图像类别。

7、如权利要求1所述的方法，其中所述2D输入包括离线2D图像、单视场图像及先前记录的2D电影中的一者。

8、如权利要求1所述的方法，其中所述转换步骤包括将所述被分类为所述平面图像类别的帧指派为左视图及右视图两者。

9、如权利要求1所述的方法，其中所述转换步骤包括：使用所述被分类为所述非平面图像类别的帧作为左视图；针对所述被分类为所述非平面图像类别的帧的所述左视图基于双目视觉几何体的左及右视图中的图像点之间的像素中的距离计算视差图；从遗漏右视点构造3D可见表面以形成经构造的3D表面；及通过将所述经构造的3D表面投影到投影平面上而产生立体视图。

10、一种设备，其包括：

分析装置，其用于分析二维(2D)输入；

分类装置，其用于将所述2D输入的帧分类成选自平面图像类别及非平面图像类别的类别；

处理装置，其用于基于复杂性而自动地且自适应地处理那些被分类为所述非平面图像类别的帧以产生深度图估计；及

转换装置，其用于将那些被分类为所述平面图像类别的帧直接转换成3D立体图像且使用所述深度图估计将那些被分类为所述非平面图像类别的帧转换成3D立体图像。

11、如权利要求10所述的设备，其中所述处理装置包括：估计装置，其用于估计所述深度图估计；及确定装置，其用于确定当前应用程序是否需要用于所述被分类为所述非平面图像类别的帧的低复杂性解决方案；其中当需要所述低复杂性解决方案时，所述转换装置使用所述深度图估计直接转换那些被分类为所述非平面图像类别的帧。

12、如权利要求11所述的设备，其中所述处理装置进一步包括：分割装置，其用于在不需要所述低复杂性解决方案时将所述被分类为所述非平面图像类别的帧对象分割成若干经分割的区域；及调节装置，其用于调节所述经分割的区域的像素深度。

13、如权利要求12所述的设备，其中所述处理装置进一步包括：确定装置，其用于确定所述当前应用程序是否需要高复杂性解决方案或中等复杂性解决方案以用于处理所述被分类为所述非平面图像类别的帧；其中当需要所述中等复杂性解决方案时，所述分割装置仅使用色彩信息；且其中当需要所述高复杂性解决方案时，所述分割装置使用运动估计信息及色彩信息。

14、如权利要求13所述的设备，其中所述处理装置进一步包括：所连接组件标记装置，其用于标记所述分割区域以形成第一输出；基于色彩的区域合并装置，其用于合并所述第一输出以形成第二输出；基于运动的区域合并装置，其用于合并所述第二输出以形成第三输出；像素深度调节装置，其用于调节所述第三输出的像素深度以形成第四输出；及时间深度平滑装置，其用于对所述第四输出进行时间深度平滑。

15、如权利要求10所述的设备，其中所述分类装置包括用于确定所述帧是否用于经变焦景物的确定装置，如果所述帧是用于经变焦景物，则将所述帧分类为所述平面图像类别，且如果所述帧不是用于经变焦景物，则将所述帧分类为所述非平面图像类别。

16、如权利要求10所述的设备，其中所述2D输入是包括离线2D图像、单视场图像及先前记录的2D电影中的一者的实时2D图像。

17、如权利要求10所述的设备，其中所述转换装置包括用于将所述被分类为所述平面图像类别的帧指派为左视图及右视图两者的指派装置。

18、如权利要求10所述的设备，其中所述转换装置包括：使用装置，其用于使用所述被分类为所述非平面图像类别的帧作为左视图；计算装置，其用于针对所述帧的所述左视图基于双目视觉几何体的左及右视图中的图像点之间的像素中的距离计算视差图；构造装置，其用于从遗漏右视点构造3D可见表面以形成经构造的3D表面；及产生装置，其用于通过将所述经构造的3D表面投影到投影平面上而产生立体视图。

19、一种计算机程序产品，其包含具有用于致使计算机执行以下操作的指令的计算机可读媒体：

分析二维(2D)输入；

20、一种设备，其包括：

图像分类模块，其可操作以将二维(2D)输入的帧分类成第一图像类别或第二图像类别；

图像深度图估计模块，其可操作以基于复杂性而自动地且自适应地处理那些被分类为所述第二图像类别的帧以产生深度图估计；及

3D图像对产生器模块，其可操作以将那些被分类为所述第一图像类别的帧直接转换成3D立体图像且使用所述深度图估计将那些被分类为所述第二图像类别的帧转换成3D立体图像。

21、如权利要求20所述的设备，其中所述第一图像类别包含平面图像且所述第二图像类别包含非平面图像类别。

22、如权利要求21所述的设备，其中所述图像深度图估计模块进一步可操作以：估计所述深度图估计；确定当前应用程序是否需要低复杂性解决方案；且如果需要所述低复杂性解决方案，则使用所述深度图估计直接转换那些被分类为所述第二图像类别的帧。

23、如权利要求22所述的设备，其中所述图像深度图估计模块进一步可操作以：当不需要低复杂性解决方案时，将所述被分类为所述第二图像类别的帧对象分割成若干经分割的区域；且调节所述经分割的区域的像素深度。

24、如权利要求23所述的设备，其中所述图像深度图估计模块进一步可操作以确定所述当前应用程序是否需要高复杂性解决方案或中等复杂性解决方案以处理所述被分类为所述第二图像类别的帧；其中当需要所述中等复杂性解决方案时，仅使用色彩信息分割所述第二图像类别；且其中当需要所述高复杂性解决方案时，使用运动估计信息及色彩信息。

25、如权利要求23所述的设备，其中所述图像深度图估计模块进一步可操作以：对所述分割区域进行所连接组件标记以形成第一输出；对所述第一输出进行基于色彩的区域合并以形成第二输出；对所述第二输出进行基于运动的区域合并以形成第三输出；调节所述第三输出的像素深度以形成第四输出；且对所述第四输出进行时间深度平滑。

26、如权利要求21所述的设备，其中所述图像分类模块进一步可操作以确定所述帧是否用于经变焦景物，如果所述帧是用于经变焦景物，则将所述帧分类为所述平面图像，且如果所述帧不是用于经变焦景物，则将所述帧分类为所述非平面图像。

27、如权利要求20所述的设备，其中所述2D输入是包括离线2D图像、单视场图像及先前记录的2D电影中的一者的实时2D图像。

28、如权利要求20所述的设备，其中所述3D图像对产生器模块进一步可操作以将所述被分类为所述第一图像类别的帧指派为左视图及右视图两者。

29、如权利要求20所述的设备，其中所述3D图像对产生器模块进一步可操作以：使用所述被分类为所述第二图像类别的帧作为左视图；针对所述帧的所述左视图基于双目视觉几何体的左及右视图中的图像点之间的像素中的距离计算视差图；从遗漏右视点构造3D可见表面以形成经构造的3D表面；且通过将所述经构造的3D表面投影到投影平面上而产生立体视图。

30、如权利要求20所述的设备，其中所述设备包含具有视频能力的移动、蜂窝式或卫星电话；单视场相机；视频装置；膝上型计算机；平板PC或具有视频能力的其它计算装置中的一者。