CN101933335B - 将二维图像数据转换为立体图像数据的方法和系统 - Google Patents

Abstract

提供了用于将二维图像序列转换为三维图像的方法和系统。在一个实施例中，一种用于将二维图像序列转换为三维图像的方法包括：确定(201)单视场参考2D图像序列中连续图像之间的照相机运动参数，其中连续图像包括当前参考图像和相邻图像；使用所述照相机运动参数确定(202)目标图像的水平视差图；确定(203，204)视差图的每个视差向量的视差概率值；以及使用所述视差概率值，确定(205)目标图像为当前参考图像中像素值的加权平均，使得目标图像和当前参考图像包括立体图像对。

Description

将二维图像数据转换为立体图像数据的方法和系统

技术领域

本发明涉及用于生成立体或三维图像的方法和系统，并且更具体地，涉及用于从具有普遍的照相机运动的单个二维(2D)单视场图像(monoscopicimage)序列(例如，2D视频图像序列)生成立体图像对的方法和系统。

背景技术

通常，立体图像转换是包括将二维(2D)图像或视频转换成三维(3D)立体图像或视频的处理。在一个传统处理中，可以通过将由位于不同地点的两个分离照相机捕获的两个单视场视图(左眼和右眼透视图)相组合来生成立体图像，其中，每个照相机捕获给定场景的2D透视图像(左眼和右眼视图)，并且由此将两个2D透视图像相组合以形成3D或立体图像。在其它传统处理中，从由单个摄像机捕获的原始2D单视场图像生成3D或立体图像，由此，使用从原始2D图像中提取的信息来估计对应的2D单视场图像对。利用这样的方法，可以将原始2D图像建立为提供立体图像对的第一视图的左透视图，而对应的右透视图像是用于生成提供所述立体图像对的第二视图的对应右透视图而从原始2D图像处理而得的图像。

在一个具体的传统方案中，2D到3D转换系统可以被配置为：使用在源图像数据中的顺序2D图像之间估计的照相机运动数据来从单个2D单视场图像序列(例如，2D视频图像序列)生成立体图像对。利用这样的技术，输入2D图像数据经常是在照相机运动的情况下捕获的视频片段。在分析了照相机运动之后，然后可以从输入视频中的2D图像和所推导的照相机运动导出右图像。2D到3D转换系统可以被用来将2D格式的图像和视频数据(电影、家庭录像、游戏等)转换为立体图像，以便使得能够进行2D格式的源图像数据的3D观看。当将第一图像序列和第二图像序列传送到左眼或右眼时，第二图像序列与第一图像序列一起使得能够三维地观看原始的二维图像。

利用照相机运动从2D图像序列中生成立体图像对的传统方式使用深度图(depth map)来产生/生成对应的立体图像对，所述深度图是从照相机的视频图像数据计算而得的。通常，这些技术包括：在单视场2D图像序列中的两个连续2D图像之间估计照相机运动，使得它们变为规范的立体对；然后，进行深度估计以便使用所估计的照相机运动来从两个或多个连续图像中提取深度图。然后，使用所估计的深度图来将左眼图像重新产生为右眼图像。更具体地，假设两个连续2D图像L_i，L_i+1，其中，认为输入的2D图像序列提供左眼透视图，可以通过使关于深度图D的成本函数F(D|L_i，L_i+1)最小化来从2D图像估计深度图。假设最优深度图是

则通过产生函数：

可以产生右图像。

理论上，如果可以精确地估计深度图，则该传统方式良好地工作。该方式的优点在于照相机运动可以是任意的。然而，在实践级别，深度估计处理是有问题的，并且在大多数情况下，深度图被噪声污染。结果，所估计的深度图将包含噪声分量：其中D_i是真实深度图，而

是误差分量。在产生右眼图像时，误差分量将被传播并且很有可能被产生函数放大，从而导致不期望的伪像。

基于照相机运动的其它传统方法使用平面转换(planar transform)技术以便避免深度图计算，但是当被应用于具有普遍的、任意的照相机运动的视频数据时这样的方式具有明显的限制。通常，平面转换技术包括：通过例如使用相邻帧计算基本矩阵来从输入视频序列估计照相机运动。然后，所估计的照相机运动参数被用来导出平面转换矩阵，其被用来将输入视频图像序列中的当前图像转换为假定右眼图像。然而，仅当照相机运动仅包含水平运动时，才能导出转换矩阵。如果照相机也沿垂直方向运动，将建立垂直视差(parallax)，并且垂直视差在任何平面转换下都不能被去除。大多数的深度感知(例如，即在观看场景时的3D或立体效果)是在大致水平的平面中获得的而不是在垂直平面中获得的，这是因为观看者的眼睛通常在大致水平的平面上间隔开，并且相应视图是根据观看者的双眼之间距离的立体迹线而看到的。这样，一对连续图像之间的垂直运动或视差可以被2D到3D转换系统不正确地解释为指示深度的运动。但是平面转换可以去除照相机旋转和缩放，因而建立规范的立体图像对(即，使左图像和右图像配准以具有相同的焦距和平行的焦平面)。在这些情况下，如果照相机运动被限制于水平平移，则输入的2D图像的视频流可以被当作具有小偏离的一系列立体图像对。

发明内容

这里描述的各个实施例包括用于从具有任意照相机运动的单眼2D图像序列中生成立体图像对的方法和系统，其中，使用照相机运动和考虑了视差图生成的误差的优化技术，直接估计目标图像上的视差图，使得生成目标图像的处理对视差图的估计噪声较不敏感。

在本发明的一个示例实施例中，2D到3D转换的方法包括：确定单视场2D图像序列中连续图像之间的照相机运动参数，其中连续图像包括当前参考图像和相邻图像；使用所述照相机运动参数确定目标图像的水平视差图；确定视差图的每个视差向量的视差概率值；以及使用所述视差概率值，确定目标图像为当前参考图像中像素值的加权平均，使得目标图像和当前参考图像包括立体图像对。

例如，在本发明的一个实施例中，通过构造成本函数来确定水平视差图，所述成本函数包括：像素匹配成本函数分量，其确定在水平视差图情况下将当前参考图像中的像素匹配到相邻图像中的像素的成本；以及平滑成本函数分量，其考虑水平视差图中相邻像素位置的视差值的相似性以便获得平滑的水平视差图。

另外，在本发明的一个示例实施例中，通过构造水平视差图的概率函数模型来确定视差图的视差向量的视差概率值，其中，将每个像素的视差向量的值考虑为可以是多个离散值之一的随机值。可以通过将成本函数的成本函数分量转换为与概率模型相关联的对应的能量函数来构造概率函数模型。

进一步，在一个示例实施例中，概率函数模型是马尔可夫随机场模型，其中，通过第一和第二能量函数来定义马尔可夫随机场，第一能量函数对应于匹配成本函数，而第二能量函数对应于平滑成本函数。可以使用诸如置信传播算法之类的概率推理算法来确定视差图的每个视差向量的视差概率值。

在本发明的一个示例实施例中，在估计视差图之前，可以使用照相机运动参数来确定当前参考图像和相邻图像之间的垂直照相机运动量，其中，如果垂直运动量低于预定阈值，则可以使用平面转换来从当前参考图像计算目标图像。

在本发明的替代实施例中，用于将二维图像序列转换为三维图像的系统包括：图像数据缓存器，其用于存储第一2D图像单视场序列中的连续图像，其中，所述连续图像包括当前参考图像和相邻图像；以及图像数据处理系统。在一个实施例中，图像数据处理系统包括：照相机运动估计模块，其用于确定存储在图像数据缓存器中的连续图像之间的照相机运动参数；视差图估计模块，其用于使用所述照相机运动参数来确定目标图像的水平视差图，并且确定视差图的每个视差向量的视差概率值；以及图像产生模块，其用于使用所述视差概率值确定目标图像为当前参考图像中像素值的加权平均，使得目标图像和当前参考图像包括立体图像对。

附图说明

通过结合附图考虑以下详细描述可以容易理解本原理的教导，在附图中：

图1示出了依据本发明实施例的将2D图像序列转换为3D立体图像的系统的高级框图；

图2示出了依据本发明实施例的将2D图像序列转换为3D立体图像的方法的流程图；以及

图3示出了依据本发明替代实施例的、用于将2D图像序列转换为3D立体图像的方法的流程图。

应理解，附图是用于例示本发明构思的目的，并且不必是例示本发明的唯一可能结构。为了便于理解，如果可能的话，已经使用相同参考标号来表示各图中共有的相同要素。

具体实施方式

本原理有利地提供一种从具有普遍的照相机运动的单个二维(2D)单视场图像序列(例如，2D视频图像序列)生成立体图像对的方法和系统。尽管将主要在用于将2D图像转换为3D立体图像(其中，左图像是参考图像，右图像是目标图像)的特定系统的背景下描述本原理，但是本发明的特定实施例不应被当作限制本发明的范围。例如，在本发明的替代实施例中，可以将任何第一图像用作参考图像(即，右图像或左图像)以便导出立体图像对。

依据本发明的各个实施例，设计2D到3D转换技术以便：使用依据输入流中的连续2D图像(即，参考图像)确定的照相机运动参数、以及考虑了视差图生成的误差的优化技术，来估计右眼图像(目标)上的视差图，从而使用所估计的视差图从原始2D(参考图像)生成右图像(目标)的处理对视差图的估计噪声较不敏感。

在一个实施例中，估计在右图像上定义的视差场(disparity field)。该视差场描述如何将L_i的像素传送给右图像R_i。例如，如果将视差场表示为D^r，则可以根据以下公式一(1)从左眼图像转换得到右眼图像：

R_i(x，y)＝L_i(x+D^r(x，y)，y)                        (1)

视差场D^r包括指定被应用于左眼图像L_i内的像素的偏移量的向量数据，所述偏移量被应用于左眼图像L_i内的像素以得到右眼图像中的对应像素。向量数据与两个立体图像之间的透视(perspective)改变、以及从照相机到要拍摄的场景的对象的距离有关。应注意，视差场仅具有水平分量，由此，视差场(或视差图)包含相应位移值d，对于左立体图像视图(参考)中的每个相应像素而言，当将位移值d应用于L_i中的相应像素的位置(x，y)时，给出了其在右立体图像视图R_i中的对应像素的位置(x+d，y)。在这点上，可以将视差图考虑为位移值的矩阵，其中，该矩阵是与每个立体图像中的像素数目相同的尺寸，使得矩阵包含立体图像之一中每个像素的单个一维位移值。

图1示出了依据本发明实施例的将2D图像序列转换为3D立体图像的系统100的高级框图。通常，系统100包括图像数据处理器110，其被配置为处理输入的第一2D数字图像(单视场)序列120并使用如下面将描述的各种图像处理和优化方法从该第一单眼2D图像序列120生成第二2D数字图像(单视场)序列130。在图1的示例实施例中，第一2D图像序列120包括2D参考图像L_i，L_i+1，L_i+2...的序列，为了例示的目的，认为该2D参考图像L_i，L_i+1，L_i+2...的序列是立体图像对的左眼透视图，第二2D数字图像序列130包括2D合成(目标)图像R_i，R_i+1，R_i+2...的序列，为了例示的目的，认为该2D参考图像R_i，R_i+1，R_i+2...的序列是立体图像对的对应右眼透视图。在一个实施例中，输入120可以是在照相机运动的情况下捕获的视频片段。

第一2D数字图像序列120和第二2D数字图像序列130经由图像组合器模块140组合在一起，以便生成立体图像序列150。立体图像序列150可以包括：分离的但同步的左图像流和右图像流，所述左图像流和右图像流提供立体图像对流；单个3D图像流，其中，将对应的立体对交织以形成3D图像。

在图1的实施例中，图像数据处理器110例示性地包括输入图像缓存器111、照相机运动估计模块112、成本函数和概率函数生成模块113、平面转换生成模块114、视差场估计模块115和图像生成器116。图像数据处理器110的组成系统部件/模块，通过测量二维图像序列120中的相邻连续图像之间的照相机运动向量、使用该运动向量和概率建模来估计并优化右眼图像上的水平视差图以使视差图估计误差最小化，来实现各种示例操作模式(如将参考图2和3的流程图所讨论的)，从而生成2D右眼图像序列130。

在图1的实施例中，图像缓存器111接收并存储输入的2D图像序列中的多个相邻图像帧。照相机运动估计模块112确定第一2D图像单视场序列120中的连续图像之间的照相机运动参数，例如当前参考图像L_i和相邻图像L_i+1之间的照相机运动参数。在本发明的各个实施例中，照相机运动估计模块112还操作为图像校正和校准模块，以便校正和校准当前参考图像L_i和相邻图像L_i+1，从而当前参考图像和相邻图像是规范的立体图像对。

函数生成模块113生成被用来计算优化的视差图的成本函数(例如，如下面所讨论的公式2或公式4)。如下面所解释的，成本函数被构造有：第一成本分量，其将像素匹配成本函数确定为被用来将水平视差图(即，目标图像的水平视差图)转换为相邻参考图像L_i和L_i+1之间的视差的水平运动转换函数和垂直运动转换函数的函数，该像素匹配成本函数在视差映射的情况下考虑匹配当前参考图像L_i和相邻图像L_i+1中的对应像素的成本；以及平滑分量，其考虑相邻像素视差的视差值的相似性。

函数模块113生成定义目标图像视差图的概率模型的概率函数，其中，像素的视差值是可以是表示像素的可能视差的n个离散状态之一的随机值。函数生成模块113通过将成本函数转换为概率函数可以生成概率函数。

视差场估计模块115使用函数生成模块113生成的成本函数、概率函数和参数来估计并优化目标图像的视差场(或视差图)。如下面所解释的，在一个示例实施例中，视差图估计模块115通过使成本函数或从成本函数导出的概率模型的能量函数最小化来确定视差图的视差值的概率、并使用视差的概率值作为权重值来将目标图像的像素值计算为参考图像中像素值的加权平均，从而确定初始视差图。图像产生模块116使用所估计的视差图来生成并输出第二2D图像(例如，目标图像)序列，其中，对应的目标图像130和参考图像120包括立体图像对。平面转换模块114可以被用来计算平面转换矩阵，该平面转换矩阵被用来在照相机运动没有或具有非常小的垂直照相机运动的情况下从参考图像计算目标图像。

图1中的系统可以以硬件、软件、固件、专用处理器、或它们的组合的各种形式来实现。这里描述的组成系统组件和处理步骤可以被以软件实现为应用程序，该应用程序包括确切体现在一个或多个程序存储设备(例如，磁软盘、RAM、CD ROM、ROM、闪存等)上并由包括适当结构的任何设备、机器或平台执行的程序指令。还应理解，由于这里示出的一些系统组件和方法步骤优选地以软件实现，因此，系统组件(或处理步骤)之间的实际连接可能取决于本原理的示例实施例被编排的方式而不同。

图2示出了依据本发明实施例的将2D图像序列转换为3D立体图像的方法的流程图。应理解，图2的方法仅表示图1的系统的一种示例操作模式。该方法在步骤200开始，在步骤200，临时缓存例如包括二维图像序列的当前帧L_i和前一帧L_i+1的多个相邻帧。然后，该方法进行到步骤201。

在步骤201，估计相邻帧之间的照相机运动的量和方向。如上面注意到的，在估计水平视差图的处理中使用照相机运动参数，所述水平视差图被应用于当前2D图像L_i以估计对应的右眼图像R_i，从而形成立体对。在该处理中，估计输入的单视场序列的两个连续2D源图像之间的照相机运动允许计算右图像R_i，其中图像R_i类似于与当前左图像L_i连续的图像，并且视差向量D类似于所估计的照相机运动向量。

例如，通过例如使用相邻帧计算基本矩阵，可以估计相邻图像L_i和L_i+1之间的照相机运动。如本领域已知的，基本矩阵将一个图像中的点与其它图像中的对应点相关，其中，通过利用基本矩阵建模这样的帧之间的照相机运动，可以确定两个连续的输入图像之间的视差映射。然后，该方法进行到步骤202。

在步骤202，构造成本函数，以基于照相机运动估计目标(例如，右)图像的优化后的视差图。通过根据以下的公式二(2)使成本函数最小化，可以生成水平视差图：

$C\left(D^r\right)=\underset{(x,y)}{\mathrm{\Σ}}d(L_i(x,y),L_{i+1}(x+H_x\left(D^r(x,y)\right),y+H_y\left(D^r\right)))+\underset{x,y}{\mathrm{\Σ}}S\left(D^r(x,y)\right)---\left(2\right)$

在公式(2)中，d(.，.)表示像素差，例如，欧几里得距离。H_x、H_y分别是表示沿水平(x)和垂直(y)方向中所确定的照相机运动的转换函数，其被用来将右眼水平视差图转换为L_i和L_i+1之间的视差，从而可以计算像素差。在公式(2)的成本函数公式中，使用运动转换函数来考虑图像校正和校准。此外，在公式(2)中，S(D^r(x，y))表示在视差场上所定义的平滑限制，其可以根据以下的公式三(3)被特征化：

S(D^r(x，y))＝||D^r(x，y)-D^r(x-1，y)||²+||D^r(x，y)-D^r(x，y-1)||²            (3)

取相对简单的示例，如果照相机运动是垂直平移，则仅存在L_i和L_i+1之间的垂直视差。如果校正了L_i和L_i+1，则通过

可以将D^r(x，y)中的视差转换为L_i上的视差场。公式(2)中的成本函数可以通过优化方式(例如，动态编程和置信传播)而最小化。

在替代实施例中，通过执行图像校正和校准可以将视差场估计执行作为照相机运动估计处理的一部分，并构造更简化的成本函数。即，假设作为照相机运动估计处理的一部分，将两个连续图像L_i-1和L_i转换为校正后的对L′_i-1和L′_i，通过根据以下公式四(4)使成本函数最小化，可以估计视差图D^r：

$C\left(D^r\right)=\underset{(x,y)}{\mathrm{\Σ}}d\left(L_i(x,y),L_{i+1}(x+D^r(x,y))\right)+\underset{x,y}{\mathrm{\Σ}}S\left(D^r(x,y)\right)---\left(4\right)$

其中，如公式(2)中所定义的，d(.，.)是像素差，S(D^r(x，y))是平滑限制。与公式(2)的成本函数相比，由于相邻参考图像的校正和校准在之前被作为照相机运动估计处理的一部分而执行，因此，公式(4)的成本函数不包括用于估计水平视差图的图像校正和校准分量。

通常，公式(2)和(4)的成本函数包括：像素匹配成本函数分量，其确定在水平视差图情况下将当前参考图像中的像素匹配到相邻图像中的像素的成本；以及平滑成本函数分量，其考虑水平视差图中相邻像素位置的视差值的相似性以便获得平滑的水平视差图。尽管通过使成本函数最小化，可以估计优化后的水平视差图，但是在存在视差估计误差时，单独使用公式(2)或(4)的水平视差图的估计可能导致传播到右眼图像的误差，从而导致潜在的伪像。

相应地，通过使用视差估计的概率(或可信度)来考虑视差估计的不确定性。假设视差值的概率为W(x，y，d)，右图像的像素值根据以下公式五(5)可以被设置为左眼图像中像素值的加权平均：

$R_i(x,y)=\underset{d}{\mathrm{\Σ}}{L}_i(x+d,y)W(x,y,d)---\left(5\right)$

图2的方法，然后进行到步骤203。

在步骤203，通过将公式(4)的成本函数公式转换为概率公式并且然后应用概率推理算法可以确定权重W(x，y，d)(即，视差向量的概率值)。在该框架下，每个像素的真实视差值是对于每个像素位置的随机变量。每个变量可以取n个离散状态之一，所述离散状态表示那个像素位置处的可能视差。对于每个可能的视差值，存在在那个视差值处与将像素匹配到对应的立体图像中的对应像素相关联的成本，其中，该成本优选地基于两个像素之间的亮度差。

再次参考图2，可以将公式(4)中的成本函数转换为等效的根据如下公式六(6)的概率公式：

$\log p\left(d(.)\right)=\underset{\left(i\right)}{\mathrm{\Σ}}\log {\mathrm{\φ}}_i\left(d_i\right)+\underset{\left(ij\right)}{\mathrm{\Σ}}{\log \mathrm{\ψ}}_{\mathrm{ij}}(d_i,d_j)-\log Z---\left(6\right)$

其中，d是视差值，i和j是标识图像中一点的唯一标记。例如，如果图像具有320×240大小，则i＝0表示在(0，0)处的像素，i＝321表示在(1，1)处的像素，依此类推。这样，d_i对应于公式(3)中的D^r(x，y)。比较公式(4)和(6)，结果是：

(i)总成本函数C＝log p(d(.))，

φ_i(d_i)＝exp((I(x，y)-I′(x-d(x，y)))²)

ψ_ij(d_i，d_j)＝exp([d(x，y)-d(x±1，y)]²+[d(x，y)-d(x，y±1)]²)

其中，使用±是因为符号取决于像素的相邻关系(neighborhood)。项log Z是关于视差图的常数，其不影响公式(6)和公式(4)的等效。通过该转换，最小化公式(4)的成本函数等效于最大化公式(6)中的概率函数，其中，公式(5)也已知为马尔可夫随机场，其中，φ_i和ψ_ij是马尔可夫随机场的势函数(potential function)。

返回参考图2，在步骤204，在将成本函数转换为概率模型(例如，马尔可夫随机场)之后，使用概率推理算法可以获得给定像素的视差b(d_i＝w)的概率值。例如，依据本发明可以被用来计算视差的一个推理算法是置信传播算法，其中b(d_i＝w)近似真实概率p(d_i＝w)，其是点i(具有坐标x，y)处的视差值的具有值w的概率，其中w是从1到M(M是最大视差值)的整数。该方法然后进行到步骤205。

在步骤205，当前源图像L_i的相关联的2D立体图像R_i可以被使用所估计的视差概率值而计算为当前图像L_i中像素的加权平均。具体地，参考公式(5)，可以将权重W(x，y，d)的值设置为等于给定像素的视差值的近似概率值b(d_i＝w)，其中，索引i对应于具有坐标(x，y)的像素。该方法然后可以退出。

图2的方法可应用于普遍的照相机运动(水平的和垂直的照相机运动)。由于构造并使用水平视差图来产生目标图像(例如，右眼视图)，因此尽管照相机运动可能具有垂直分量，但仍产生逼真的立体图像。然而，如果照相机运动具有水平分量以及很少或没有垂直分量，则可以使用平面的运动转换来计算右眼水平视差图并产生目标图像。

例如，图3示出了依据本发明替代实施例的、用于将2D图像序列转换为3D立体图像的方法的流程图。图3的方法表示能够由图1的系统执行的、用于将2D图像序列转换为3D立体图像的方法的替代实施例。在图3的方法中，初始步骤300和301类似于图2的步骤200和201。更具体地，在步骤300，临时缓存例如包括二维图像序列的当前帧L_i和前一帧L_i+1的多个相邻帧。然后，该方法进行到步骤301。

在步骤301，如上面参考图2的方法的步骤201所描述地，估计相邻帧之间的照相机运动的量和方向。然后，该方法进行到步骤302。

在步骤302，如果存在垂直视差的量的话，执行垂直视差检测处理以确定可能存在的垂直视差的量。在一个实施例中，通过尝试校正输入序列中两个图像(L_i和L_i+1)，可以实现垂直视图检测。在计算了校正转换之后，如果校正包括旋转L_i图像，则一定存在垂直视差。因此，这里可以将旋转角度用作用于标识垂直视差的度量。该方法然后进行到步骤303。

在步骤303，确定垂直视差的量是否小于预定义阈值。即，在本发明的一个实施例中，检测器输出指示所检测的垂直视差的量的值。如果垂直视差的量小于预定义阈值(步骤303中的肯定确定)，则该方法进行到步骤304。

在步骤304，执行平面转换处理以便估计目标图像R_i。具体地，例如，使用构造平面转换的已知方法，利用照相机运动参数来构造平面转换。该方法然后进行到步骤305。

在步骤305，对当前参考图像L_i应用平面转换，以计算相关联的目标图像R_i。该方法然后可以退出。

利用步骤304和305，可以使用照相机运动参数来导出可以被用来将参考图像L_i转换为目标图像R_i的平面转换矩阵。然而，仅当照相机运动只有水平运动时，才可以导出转换矩阵。如果照相机运动具有垂直分量，则将建立垂直视差，并且在任何平面转换下都不能去除垂直视差。然而，平面转换可以去除照相机旋转和缩放，因此建立了规范的立体对(即，将左图像和右图像配准以便具有相同的焦距和平行的焦平面)。

返回参考图3的步骤303，然而如果确定垂直视差不小于预定义阈值(步骤303中的否定确定)，则该方法跳到步骤306，其类似于如上所述的图2中的步骤202。

即，在步骤306，如上面参考图2的步骤202所述地，构造成本函数以基于照相机运动估计目标(例如，右)图像的优化后的视差图。在步骤306之后，图3的方法进行到步骤307。

在步骤307，如上面参考图2的步骤203所述地，将成本函数转换为概率模型。在步骤307之后，图3的方法进行到步骤308。

在步骤308，如上面参考图2的步骤204所述地，对概率模型应用概率推理算法以确定视差模型的概率。在步骤308之后，图3的方法进行到步骤309。

在步骤309，如上面参考图2的步骤205所述地，使用所估计的视差概率值，可以将当前源图像L_i的相关联的2D立体图像R_i计算为当前图像L_i中像素的加权平均。该方法然后可以退出。

已经描述了用于从具有普遍的照相机运动(其旨在例示而非限制)的单个二维(2D)单视场图像序列(例如，2D视频图像序列)生成立体图像对的方法和系统的优选实施例，注意本领域技术人员根据以上教导可以作出修改和变形。因此，应理解，可以在所公开的发明的具体实施例中作出在由所附权利要求所概括的本发明的范围和精神之内的改变。尽管以上内容针对本发明的各个实施例，但是在不偏离本发明基本范围的情况下可以设计本发明的其它和另外的实施例。

Claims (16)

1.一种将二维图像序列转换为三维图像的方法，包括：

确定(201)二维图像的单视场序列中连续图像之间的照相机运动参数，其中所述连续图像包括当前参考图像和相邻图像；

使用所述照相机运动参数确定(202)目标图像的水平视差图；

确定(203，204)水平视差图的每个视差向量的视差概率值；以及

使用所述视差概率值，确定(205)目标图像为当前参考图像中像素值的加权平均，使得目标图像和当前参考图像包括三维图像对；

其中，确定水平视差图包括构造(202)成本函数，所述成本函数包括：像素匹配成本函数分量，其确定在水平视差图情况下将当前参考图像中的像素匹配到相邻图像中的像素的成本；以及平滑成本函数分量，其考虑水平视差图中相邻像素位置的视差值的相似性以便获得平滑的水平视差图。

2.如权利要求1所述的方法，其中，确定视差图的视差向量的视差概率值包括：

确定其中每个像素的视差向量的值是可以是多个离散值之一的随机值的水平视差图的概率模型(203)；

使用概率推理算法，确定(204)视差图中每个视差向量的最可能的视差值；以及

应用与最可能视差值相关联的概率值作为给定像素的权重值。

3.如权利要求2所述的方法，其中，确定水平视差图的概率模型包括：

将成本函数转换(203)为对应的能量函数。

4.如权利要求2所述的方法，其中，概率模型是马尔可夫随机场模型。

5.如权利要求4所述的方法，其中，通过第一和第二能量函数来定义马尔可夫随机场，其中，第一能量函数对应于所述像素匹配成本函数分量，而第二能量函数对应于所述平滑成本函数分量。

6.如权利要求2所述的方法，其中，概率推理算法是置信传播算法。

7.如权利要求1所述的方法，还包括：

使用照相机运动参数来确定(301)当前参考图像和相邻图像之间的垂直照相机运动量；以及

如果垂直照相机运动量低于预定阈值，则执行(304)平面转换来从当前参考图像计算目标图像。

8.如权利要求1所述的方法，还包括：在使用所述照相机运动参数确定目标图像的水平视差图的步骤之前，校正当前参考图像和相邻图像。

9.一种用于将二维图像序列转换为三维图像的系统(100)，包括：

图像数据缓存器(111)，其用于存储二维图像的第一单视场序列中的连续图像，其中，所述连续图像包括当前参考图像和相邻图像；以及

图像数据处理系统(110)，其包括：

照相机运动估计模块(112)，其用于确定存储在图像数据缓存器中的连续图像之间的照相机运动参数；

视差图估计模块(115)，其用于使用所述照相机运动参数来确定目标图像的水平视差图，并且确定水平视差图的每个视差向量的视差概率值；

图像产生模块(116)，其用于使用所述视差概率值确定目标图像为当前参考图像中像素值的加权平均，使得目标图像和当前参考图像包括三维图像对；以及

成本函数生成模块(113)，其用于构造被视差图估计模块用来确定水平视差图的成本函数，其中，所述成本函数包括：像素匹配成本函数分量，其确定在水平视差图情况下将当前参考图像中的像素匹配到相邻图像中的像素的成本；以及平滑成本函数分量，其考虑水平视差图中相邻像素位置的视差值的相似性以便获得平滑的水平视差图。

10.如权利要求9所述的系统，其中，图像数据处理系统包括概率函数生成模块(113)，其用于：确定其中每个像素的视差向量的值是可以是多个离散值之一的随机值的水平视差图的概率模型，并且

其中，视差图估计模块(115)使用概率推理算法确定视差图中每个视差向量的最可能的视差值，并且应用与最可能视差值相关联的概率值作为给定像素的权重值。

11.如权利要求10所述的系统，其中，概率模型是马尔可夫随机场模型。

12.如权利要求11所述的系统，其中，通过第一和第二能量函数来定义马尔可夫随机场，其中，第一能量函数对应于所述像素匹配成本函数分量，而第二能量函数对应于所述平滑成本函数分量。

13.如权利要求11所述的系统，其中，概率推理算法是置信传播算法。

14.如权利要求9所述的系统，其中，图像数据处理系统包括：

概率函数生成模块(113)，其用于：构造其中将每个像素的视差向量的值考虑为可以是多个离散值之一的随机值的水平视差图的概率函数模型，其中，通过将成本函数的成本函数分量转换为与概率模型相关联的对应的能量函数来构造概率函数模型。

15.如权利要求9所述的系统，其中，照相机运动估计模块(112)使用照相机运动参数来确定当前参考图像和相邻图像之间的垂直照相机运动量；以及

其中，该系统还包括平面转换生成模块(114)，其用于：在照相机运动估计模块确定垂直照相机运动量低于预定阈值的情况下，计算平面转换函数，并且使用平面转换函数来从当前参考图像计算目标图像。

16.如权利要求9所述的系统，还包括：图像校正和校准模块(112)，其用于校正和校准当前参考图像和相邻图像，使得当前参考图像和相邻图像是规范的三维图像对。

Images