CN103426163B - 用于渲染受影响的像素的系统和方法 - Google Patents

Abstract

本公开涉及用于渲染受影响的像素的系统和方法。提供了用于使重投影伪像最小化的系统和方法。从重投影方法，畸变图确定像素的过量伸展或压缩的区域，这些区域然后被渲染。重投影和渲染被合成以创建新的立体图像。还提供了用于“深度布局”处理的系统和方法，由此创建2D板的新偏移视图，从而允许图像的立体对。近似于场景的定制几何图形被创建，并且使用2D动态遮罩从几何图形切出形状。深度图被创建，从该深度图可重投影偏移图像，从而得到立体对。还提供了用于快速重投影技术的系统和方法，该快速重投影技术从现有图像创建新颖的视图。该处理产生差异图并然后产生畸变图，该畸变图然后被用于创建新的视图。

Description

用于渲染受影响的像素的系统和方法

对相关申请的交叉引用

本申请要求在2012年5月24日提交、发明名称为“RENDERING AFFECTED PIXELS”、被本申请的受让人拥有的美国临时专利申请系列号61/651361的优先权的权益，通过引用将其全部内容合并于此。

背景技术

以3D呈现的电影正变得极其普遍。一种实现三维图像的方式是通过立体摄影术。在立体摄影术中，捕获两个图像并把它们呈现给用户，一个图像来自左面的照相机并用于观察者的左眼，一个图像来自右面的照相机并用于观察者的右眼。立体摄影术是最早的向观察者产生3D图像的方式之一。

然而，在创建两个图像而不仅仅是一个图像中，立体摄影术会导致处理功率和时间上的明显成本。事实上，通过当前技术并对于某些特别复杂的拍摄，渲染单个帧可能需要几百个小时，并且对于第二视点或照相机使该时间加倍是负担不起的。

因此，开发了重投影（re-projection）技术以通过如下方式将所渲染的眼睛的像素颜色值再次用于另一眼睛，从而创建3D图像，所述方式是将像素颜色值映射到由包含希望的眼内距离的场景几何图形（geometry）所确定的用于第二观察的适当点。在一种这样的技术中，从深度图（depth map）创建网格并在渲染包（package）中渲染该网格。从渲染深度图的照相机的视点使深度图多边形化，并且向网格分配UV坐标。然后将网格纹理化（textured），并随后对于立体图（stereographic）图像可接着从任何其它视点或观察角度（例如，从右眼）渲染网格。

然而，当前的这种重投影技术慢并且会导致不希望的结果。

另外，为了解决伪像，当前的重投影技术依赖于伸展或压缩像素（即，在伸展的区域中填充与邻居像素相同颜色的像素，或者在压缩的情况下去除像素），这可导致不希望的伪像或者甚至保持于重投影的图像上的孔。因此，需要对于这样的重投影的改进方法。

在相关方面中，对于原本没有利用立体视法的图像或电影希望维度化的情况，需要一种方便的方式来创建用于第二眼睛的相应图像，以得到用于3D观察的立体对。

发明内容

在一个方面中，本发明针对用于使用深度图和立体照相机对来迅速地从现有图像创建新颖视图的系统和方法。该系统和方法使用深度图和眼内间隔以产生差异图并然后产生畸变图，该畸变图被用于创建新的视图。不存在对于构建网格或其它几何图形或者利用渲染器的需要。

在又一方面中，本发明针对用于解决重投影图像中的伪像的系统和方法。在一种实现方式中，计算机系统渲染像素组的像素，该像素组被识别为在创建第二图像（例如，第一图像的立体图像）时不希望地受到重投影的影响，该第二图像与第一图像一起形成立体对。其它像素不被渲染而仅被重投影。换句话说，处理将重投影与渲染组合，以创建使重投影伪像最小化的新的视图。特别地，从重投影方法，使用畸变图来确定邻居像素的过量伸展或压缩的区域，这样的伸展被提供来避免孔的出现。这些区域被标记以被渲染。来自新视图的重投影和渲染被合成以创建新的图像。系统可通过仅渲染可得像素的裂片而不是图像的所有像素来节省处理时间和资源。

在另一方面中，本发明针对执行深度布局处理的系统和方法，其中，创建2D板的新的偏移视图，从而允许以前仅存在2D板的图像的立体对。通过使用匹配移动照相机，产生近似于场景的定制几何图形，并且将2D旋转（rotomation）或其它抠像技术应用来从该几何图形中切出形状，以匹配或适配来自2D板的图像。场景被近似，并且深度图被创建。从匹配移动照相机创建的立体照相机然后与深度图一起使用，以计算两个视图之间的差异图。差异图被处理以创建畸变图。然后将畸变图应用到原始图像以创建偏移图像。两个图像然后形成匹配的立体对。

在一个方面中，本发明针对一种用于基于第一图像创建希望的第二图像的方法，包括：从第一照相机角度接收第一图像，第一图像包含至少一个三维模型化对象，所述三维模型化对象到观察面的距离是已知的或者是能够确定的；从与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像；在第二图像中确定第二图像中表现不令人满意的至少一个像素组；渲染第二图像中表现不令人满意的像素组；以及用经渲染的像素替代第二图像中表现不令人满意的像素组以创建希望的第二图像。

本发明的实现方式可包括以下方面中的一个或更多个。创建第二图像可以是使用重投影技术执行的。第二图像可以是第一图像的立体图像。所述确定可以包括确定所述至少一个像素组是否形成孔、或者是否被伸展或者压缩大于预定量以补救（remedy）孔。所述渲染可以包含仅渲染表现不令人满意的该像素组。所述确定可以是自动执行的。所述确定可以包括利用畸变图产生模块确定在第二图像中像素被伸展或压缩了多少，并且还可以包括如果像素被伸展或压缩了大于相应的预定阈值，则将所述像素选择为处于所述组中。所述确定可以是通过用户输入执行的。所述方法还可以包括提供用于显示第二图像并且用于接受与哪些像素应该处于所述组中有关的用户输入的用户接口。所述用户接口可以包含畸变图，所述畸变图指示在第二图像中像素被伸展或压缩了多少。

在另一方面中，本发明针对一种非暂态计算机可读介质，该非暂态计算机可读介质包括用于使计算环境执行以上的方法的指令。

在另一方面中，本发明针对一种用于基于第一图像创建希望的第二图像的系统，所述系统包括：第二图像创建模块，所述第二图像创建模块用于从第一照相机角度接收第一图像，第一图像包含至少一个三维模型化对象，所述三维模型化对象到观察面的距离是已知的或者是能够确定的，并且，所述第二图像创建模块用于从与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像；像素确定模块，用于在第二图像中确定表现不令人满意的至少一个像素组；像素渲染模块，用于渲染表现不令人满意的像素组；像素替代模块，用于用经渲染的像素替代表现不令人满意的像素组以创建希望的第二图像；以及显示模块，用于显示希望的第二图像。

本发明的实现方式可包括以下方面中的一个或更多个。所述第二图像创建模块可以利用重投影模块从第一图像创建第二图像。所述像素确定模块可以包含用于显示第二图像并且用于接受与哪些像素应该处于所述组中有关的用户输入的用户接口。所述像素确定模块可以包含畸变图产生模块，所述畸变图产生模块用于确定在第二图像中像素被伸展或压缩了多少。所述像素替代模块可以基于像素是否被指示为被伸展或压缩大于相应的预定阈值来自动地替代像素。所述像素替代模块可以自动地替代像素。所述像素渲染模块可以形成利用分数图（fractional map）能力的渲染器模块的一部分，并且所述像素替代模块可以形成合成器模块的一部分。

在再一方面中，本发明针对一种用于改善第二图像的方法，第二图像是第一图像的重投影，所述方法包括：识别第二图像中的一个或更多个不连续区（discontinuity），其中每个不连续区与第二图像中的一个或更多个像素对应，没有不连续区的多个区域形成剩余部分；渲染所识别的不连续区的像素；以及将经渲染的像素与所述剩余部分合成。

本发明的实现方式可包括以下方面中的一个或更多个。第二图像可以是第一图像的立体图像。识别一个或更多个不连续区可以包含识别一个或更多个像素，所述一个或更多个像素从它们在第一图像中的位置相对于相邻像素偏离超过25%。

在再一方面中，本发明针对一种用于基于包含一个或更多个特征的板来创建一组立体图像的方法，其中所述板具有对应的第一照相机视图，所述方法包括：通过对于所述板中的一个或更多个对象创建几何图形来创建与第一照相机视图对应的第一图像；修改所述板中的所述一个或更多个对象以适配所述板中的一个或更多个特征，所述修改使用旋转曲线（roto curve）或遮片（matte）；使用经修改的对象来创建第一图像的深度图；创建第二图像，第一图像和第二图像形成立体图对，第二图像是使用深度图和重投影方法创建的，所述重投影方法包括：选择第二照相机视图的位置；创建指示第一照相机视图与第二照相机视图之间的差别的差异图；基于差异图创建指示像素变换的畸变图；以及通过将畸变图应用到第一图像的像素来创建第二图像。

在又一方面中，本发明针对一种用于创建第二图像的方法，第二图像基于第一图像，第一图像和第二图像形成立体图对，所述方法包括：接收与第一照相机视图对应的第一图像，第一图像包含像素组的深度图和颜色值；创建第二图像，第二图像是使用深度图和重投影方法创建的，所述重投影方法包括：选择第二照相机视图的位置；创建指示第一照相机视图与第二照相机视图之间的差别的差异图；基于差异图创建指示像素变换的畸变图；以及通过将畸变图应用到第一图像的像素来创建第二图像；以及执行以下步骤中的一个或两个：将定制自适应锐化过滤器应用到第二图像中的一个或更多个对象，所述定制自适应锐化过滤器被配置为增加高频分量的优势并降低低频分量的优势；以及对于第一图像中的一个或更多个对象（所述一个或更多个对象是被背景或剪切面包围的），暂时将对象的尺寸扩展1～10个像素，由此当重投影发生时，对象中的像素在重投影期间被适当地映射而不扩展回所述背景或剪切面。

本发明的某些实现方式的优点可包括以下方面中的一个或更多个。可以在不创建或渲染几何图形的情况下执行从现有图像创建新颖视图的某些系统和方法，因此，这些系统和方法比以前的技术快。可以使用重投影来更迅速地创建立体图系统的第二视图，并且可以解决由于重投影导致的不希望的伪像。可以在合成包中从多个角度提供静态几何图形的新的视图。可能希望在观察被应用到输入图像的结果的同时执行立体照相机的“拨动”（例如，诸如眼内距离之类的参数的改变），即，“基于图像的照相机拨动”。给定以下的包括附图和权利要求的描述，其它优点对于本领域技术人员来说将是清晰的。

附图说明

图1示出将对象成像的一组虚拟立体照相机以及来自每个相应照相机的视图。

图2是根据这里公开的原理的重投影的方法的流程图。

图3是将对象成像的一组虚拟立体照相机的示意图。

图4是将对象成像的单个照相机的示意图。

图5是利用重投影技术以确定来自第二照相机的视图以及可接着出现的某些伪像的情况的示意图。

图6是针对图5的伪像的解决方案的示意图。

图7是根据这里公开的原理的用于解决诸如图5中的伪像之类的伪像的方法的流程图。

图8是根据这里公开的原理的用于解决诸如图5中的伪像之类的伪像的另一方法的流程图。

图9是根据这里公开的原理的用于解决诸如图5中的伪像之类的伪像的系统的模块示图。

图10示出包括伪像和它的通过根据这里公开的原理的系统和方法的解决方案的示例性情况。

图11示出导致2D电影的情况，其中各帧代表没有伴随的深度信息的图像。

图12示出用于从二维图像创建三维图像的深度布局配置的示意图。

图13是用于执行根据这里公开的原理的深度布局方法的流程图。

图14是用于执行根据这里公开的原理的另一深度布局方法的流程图。

图15示出根据这里公开的原理的系统可处于的示例性计算环境，可使用该计算环境执行方法。

类似的附图标记始终表示类似的要素。

具体实施方式

图1示出用于快速重投影技术的示例性系统11的示意图。在图1中，第一立体照相机13将对象19成像，并且对象上的示例性点25被在点25与照相机13之间延伸的光线21照射。重投影的意图是，在不必执行长的渲染处理的情况下获得由第二立体照相机15观看的点25的像素颜色值。本质上，重投影对于右眼“重新使用”对于左眼计算的像素值。在图1的情景下，只要立体照相机之间的距离27是已知的，并且只要对象19到一个或两个照相机的观察面（也称为“照相机面”）的距离是已知的，就可计算点25对于第二照相机15的观察面的位置，特别是其像素颜色值。在第二照相机的观察面上指示点25的光线由光线23表示。

已知深度允许深度图的创建。深度图是每个像素（x,y）的深度值的图，深度是从照相机面到由像素成像的点（例如，人物、对象、剪切面或“无限远”（一般指示为任意高的深度数）等）的距离。深度图可以是与颜色图像同时计算的渲染图像，其中深度是任意的输出变量或AOV。可以以渲染场景处于的任何单位（例如，厘米）来指示深度。

返回参照图1，还示出了分别用于第一照相机和第二照相机的我们的视图或观察面29和31。这些示出了来自左眼的点25在被应用于右眼的情况下被空间变换的情况。在视图29和31中，位置（x,y）处的点25被变换以使得相同的点在第二照相机中出现在由点25′指示的（x+Δx,y+Δy）处。换句话说，系统对于像素计算了Δx和Δy。如果对于图像中的各像素进行这种计算，那么差异图被创建，它指示对于通常在X和Y方向上的平移需要多少像素，以从第一照相机中的点（即，第一观察面上的点）获得像素颜色值，从而获得应该在第二观察面中的哪里地方放置该颜色值。来自原始照相机视图的每个像素可被映射到新的照相机视图中的像素。例如，差异图可指示相对于第一照相机获得第二照相机的视图需要1.8个像素的水平平移。在其它例子中，一些像素可能完全移出画面，并由此不能通过第二照相机看到，特别是在对象非常接近第一照相机的情况下。

计算的差异图然后可被用于创建畸变图。畸变图指示与可在原始视图或第一视图中访问什么像素信息以获得新视图或第二视图中的点的颜色值有关的信息。畸变图然后用作应该访问第一视图中的什么像素以获得第二视图中的像素的颜色值的引导。因此，如果将像素颜色值平移100个像素并且原始的处于（0，0），那么新的将为（100，0）。因此，可通过将畸变图应用到第一图像的像素来创建第二图像。

本质上，重投影希望“重新使用”来自第一照相机视图的像素颜色值，从而不需要执行用于获得第二照相机视图的值的渲染步骤。这样的重新使用导致明显的计算节省。

重投影需要将被重投影的各像素的深度信息（以及（x,y）位置）。如果利用来自实况拍摄的图像，那么在许多情况下这样的深度信息将是缺少的。然而，存在可在一定程度上从成像的对象获得深度信息的照相机。并且，设想，并在这里公开的原理的范围内，利用甚至更加得到增强并且可例如通过使用范围成像来获得拍摄中的大部分但不是全部的对象的深度信息的实况照相机。可方便地在这里公开的某些方法中使用用于各像素的该深度信息，以创建立体摄影的第二图像。

图2是根据这些原理的方法的流程图39。在第一步骤中，接收第一图像，第一图像包含像素组，每个像素具有颜色数据、深度数据和观察面中的位置（步骤41）。下一步骤是创建指示第一照相机视图与第二照相机视图之间的像素差别的差异图（步骤43）。下一步骤是基于差异图创建指示像素变换的畸变图（步骤45）。本质上，畸变图提供用于从原始视图中的像素颜色值创建新视图或第二视图中的像素颜色值的诀窍（recipe）。最后，可通过将畸变图应用到第一图像的像素来创建第二图像（步骤48）。

也可以在重投影之前、期间或之后执行各种步骤。一个示例性步骤是应用定制自适应锐化过滤器（步骤53）。这种定制自适应锐化过滤器可导致强调高频分量并降低低频分量的优势。更详细地说，当执行重投影时（即，当从原始像素值查找新的像素值时），偶尔将必须在两个原始像素之间执行内插。如果系统被设计为简单地将颜色值平均，将出现结果的软化，并且它在一些情况下对于特定效果可能是不希望的。查找可被配置为使用尝试保留高频细节的内核。

换句话说，重投影导致映射，并且这样的映射固有地包含重采样。重采样通常导致一定水平的混叠效果，并且混叠效果通常在高频区域中是显著的。因此，包含负瓣的这样的过滤器将减少这样的混叠效果并导致更高质量的图像。

另一步骤可以是将重投影扩展到某些对象的边界周围的边缘（步骤55），例如，被背景包围的对象，其中背景是远离的（诸如处于“无限远”或剪切面处）。这种对象的重投影的有害的伪像在于，边缘像素可能偶尔伸展回背景。通过在所有方向上将对象扩展几个像素以超出其在计算中的先前边界，这样的伪像被减少因为在视图改变时在对象周围承载像素，从而允许边缘不被拉回剪切面。适当数量的像素可以是例如从对象的原始边缘离开的1～10像素。

在又一步骤中，对于重投影的给定帧，可对于给定帧之前的几个帧以及给定帧之后的几个帧的图像求取平均。以这种方式，可明显减少有时在重投影的图像中看到的噪声影响。

在一些情况下，由于像素的伸展或压缩，重投影可导致伪像，并且，系统和方法的一种实现方式减少或修复这样的伪像。从可如上所述的重投影方法或从不同的技术，系统和方法使用畸变图以确定邻居像素的过量的伸展或压缩的区域，包括存在孔的区域。例如，畸变图中的不连续区可指示出现了伸展和压缩的位置。这指示图像中的伪像的图。不是渲染整个图像以创建第二视图，系统只需要渲染这些识别的区域，从而留下剩余部分通过重投影获得。在一种实现方式中，系统也可渲染包围识别的伪像的附加像素。在任意的情况下，来自新视图的渲染和重投影被合成以创建新图像。

更详细地并参照图3的系统10，示出了标准立体图形技术，在该标准立体图形技术中第一立体照相机12和第二立体照相机12分别通过光线14和18将对象19成像。为了使用这样的虚拟照相机处理图像，需要两个不同的渲染，一个用于左眼并且一个用于右眼，这在许多情况下在复杂的场景中需要大量的处理时间。对于存在许多照明成分并且对于这些照明成分计算多次反射的场景可能尤其如此。

参照图4，系统10′可通过重新使用先前确定的像素值从来自单个照相机12′的对象的图像利用重投影，以减少这种计算的复杂性。在图4中，示出了通过示例性光线14′将对象19成像的单个照相机12′。示出了观察面20′，并且示出了图像34，其中通常在图像的左侧示出对象19。

在图5中，第一照相机12′被示为用第一观察角度22观察对象19。在重投影中，使用上述的技术来创建第二照相机24的视图。照相机24被示为用第二观察角度26将对象19可视化。图中还示出来自观察面20′的渲染图像34和使用上述技术从图像34（从深度图）计算的重投影图像36。

注意，对于一些重投影的第二图像，在第一图像中不可见的像素被暴露。并且，以前可见的某些像素不被看见。在一些特别极端的例子中，孔可能在重投影图像中十分明显。这样的情况通常是针对伪像的情形，并被称为像素的“伸展”组或“压缩”组。例如，在图像36中，对象19中的像素组28被压缩并由组28′示出。类似地，对象19中的像素组32被伸展并由组32′示出。为了说明的目的示出这些区域，但将理解的是，图像的其它部分可具有受影响的像素，例如，在内部，特别是表面具有明显曲率的区域的地方。

在在先的技术中，通过“伸展”像素来处理伪像，从而想要在伸展的区域中填充具有与邻居像素相同颜色的像素。也可在压缩情况下去除像素。在一些先进的处理技术中，压缩或伸展的量可线性改变而不是恒定的。然而，这样的技术通常仍导致可使观察者分散注意力的不完美图像。

对于这样的像素组（即，压缩或伸展大于预定阈值的像素组），一种解决方案是渲染压缩或伸展的像素组，而不是使用不希望的重投影结果（虽然重投影仍可被应用于剩余部分）。渲染的像素然后与重投影的剩余部分合成，以导致例如用于右照相机视图的完整且看起来令人满意的第二图像。

在一些情况下，发现这样的渲染对于原始图像中的约5～20%像素是所希望的，并由此可以实现计算时间的明显节省和希望的图像结果。

在图6的图像36′中示出示意的结果，其中被压缩的像素28′被渲染从而导致本质上未压缩的像素38，并且其中被伸展的像素32′被渲染从而导致本质上未伸展的像素42。

可自动地或者通过用户输入确定哪些像素组需要渲染。在自动确定中，可通过为黑色或者在其他情况下不包含某些像素颜色值的区域来确定孔。在利用伸展以避免孔的情况下，可通过如下来计算地确定明显压缩或伸展的区域：与相邻像素相比在重投影中移动多少像素、对象分析（例如，对象的曲率）、背景多接近、对象多接近照相机面等。例如，如果分开一个像素的两个相邻像素在不变得伸展或压缩的情况下被一起变换或映射到新的图像中，那么可以说它们具有一个像素的伸展值，意味着它们分开一个像素。如果它们具有高于例如1.25的伸展值，意味着它们分开1.25个像素，那么像素可被标记用于渲染。换句话说，它们在开始分开一个像素，现在它们被伸展。如果它们具有0.75的伸展值，意味着它们现在更加接近在一起并且被压缩，那么像素也可被标记用于渲染。本领域技术人员将理解的是，取决于计算能力和艺术希望，这些值可改变。

一般地，对象越接近观察面，将存在更多的孔，并且需要更多的伸展以解决它。系统可出于这些目的来分析畸变图，因为它对于每个像素将指示像素被移动多少。

在利用用户输入的确定中，用户可指示伪像或图像不表现为希望的其它区域。通常，在对象的边缘周围出现这样的区域。多个部分的混叠或粗糙度也可指示压缩或伸展的区域。

图7是指示根据这里公开的原理的示例性方法的流程图20。第一步骤包括从第一照相机角度接收第一图像，第一图像包含至少一个3D对象，该对象的距离是已知的。例如，已知距离的基准点可改变，但它一般与到第一照相机的观察面或照相机面的距离对应。将理解的是，已知的距离可源自其它已知的距离。第二步骤是从第二照相机角度创建对象的第二图像，第二照相机角度与第一照相机角度不同（步骤46）。虽然也可设想得到第二图像的其它方法，但是可使用以上公开的一种或多种重投影技术来执行该步骤（步骤48）。

第三步骤是确定第二图像中的表现得不令人满意的至少一个像素组（步骤52）。可自动地或者通过利用用户接口的用户输入来执行该确定。例如，可关于是否看到孔或者是否确定孔存在、补救的压缩或伸展是否大于预定的量等，来进行确定（步骤54）。作为自动确定的一部分或者为了允许用户分析畸变图以注明用于渲染的区域，也可利用畸变图（步骤56）。

一旦像素组被确定为需要渲染，那么可使用光线跟踪器或其它这样的渲染器进行渲染（步骤58）。例如，在合成器中，渲染的像素可替代不令人满意的像素以创建希望的第二图像（步骤62）。在一些情况下，也可渲染不希望的像素组的边界周围的某些像素。

图8是相关方法的流程图61。在流程图61中，第一步骤是识别第二图像中的一个或更多个不连续区，而没有不连续区的区域形成剩余部分（步骤57）。对于不连续区中的像素，例如通过使用具有分数图能力的渲染器进行渲染（步骤59）。对于不处于不连续区中（即，处于剩余部分中）的像素，利用重投影技术以实现第二视图（步骤67）。渲染的像素然后与重投影的剩余部分合成（步骤63）。

图9示出根据这里公开的原理的用于创建希望的第二图像的模块系统30。系统30包括第二图像创建模块64，该第二图像创建模块64可利用重投影或另一技术从原始图像或第一照相机图像获得第二照相机图像。可以利用各种其它的模块部件，并且它们中的一些可在可选的用户接口69内。像素确定模块72可被用于确定代表重投影图像中的伪像或不连续区的像素组，例如，明显压缩或伸展的区域（例如超出预定阈值量）。像素确定模块72可包含畸变图分析模块71，因为像素确定模块可利用畸变图来确定用于渲染的区域。像素渲染模块66可被用于渲染在模块72中确定的区域，其中像素渲染模块66一般形成更大的渲染系统的一部分。像素替代模块74可被设置来用渲染的像素替代不令人满意的像素，并且它可形成合成器的一部分。显示模块68可被设置来观察原始图像、观察重投影图像、识别由明显的像素伸展或压缩导致的不连续区或者其它情况下不令人满意的部分或伪像的区域、以及观察分数渲染图像和合成图像。

图10（A）－（E）示出以上的系统和方法的实现方式的例子。在图10（A）中，示出来自左眼视点的茶壶的渲染图像。在重投影该图像之后，在图10（B）中示出右眼视图。在茶壶的右侧示出明显的伸展区域，并且在茶壶的左侧也呈现出明显的压缩区域（尽管较不可见）。在图10（C）中示出右眼的“裂片（sliver）”图，称为“裂片”是由于这种分析常导致被确定为伸展或压缩的像素的“裂片”。裂片图在白色区域中指示这样的不连续区，并在黑色区域中指示像素被平移但仅被伸展较少量（例如低于预定阈值）的地方（例如，像素在从左眼映射到右眼时趋向于作为一组一起移动的区域）。图10（D）示出裂片中的像素的渲染，图10（E）示出图10（B）和图10（D）的合成，其中来自图10（D）的渲染像素替代来自图10（B）的伸展或压缩像素。图10（E）中的结果是通过比使用在先技术明显更少的计算努力而创建的希望且令人满意的图像。

在这里公开的原理的另一方面中，对于2D图像，可通过仿真获得深度信息，这样的信息可在之后被用于重投影等中，以针对原本仅是2D图像的图像获得第二照相机视图。以这种方式，可通过以前不存在这种深度的有立体感的图像来创建深度或维度化。

在该实现方式中，系统和方法可从仅通过一个照相机拍摄的场景开始，然后可创建2D板或图像的新的偏移视图，从而导致图像的立体对。参照图11，系统40包括单个照相机12′，该单个照相机12′通过至少部分视场22将场景成像。在图11中，场景包括房屋76和沿路径82移动的人物78。因为不以立体方式拍摄场景，所以不获得深度信息，虽然如上所述一些当前的2D照相机以及可能许多将来的照相机可在记录图像信息时同时记录深度信息。

在观察面或照相机面20′处记录图像50。将理解的是，图像50仅是当依次观察时的创建运动图片的许多图像中的一个。平坦图像或2D图像50包含多个特征，诸如静态的房屋76的描绘76′和人物78的描绘78′，该描绘如图中的点线的不断前进的人物位置所指示的那样移动。

注意，最初不以立体方式拍摄场景可能存在许多原因。例如，在一些情况下，在立体照相机出现之前拍摄了现有片段。立体照相机可能操作起来太昂贵或者对于一些场景来说太笨重。在一些情况下，导演的偏好可能是使用非立体照相机。可能存在许多这样的原因，而可能希望之后维度化或者创建这种图像的深度。

在接收2D图像之后，下一步骤可以是确定照相机所处的位置。出于这种原因，在图12中示出第一照相机88。这样的确定可通过匹配移动或其它技术的方式。下一步骤是创建场景几何图形，并且它可利用粗糙的三维模型或对象，可将来自原始场景的图像映射到所述三维模型或对象上。这些粗糙的三维模型或对象通常不通过照明效果等被渲染。它们通常仅被用于创建对于第二视图的未来创建的深度图。

下一步骤是创建场景的等价几何图形。在与原始图像50对应的3D模型图像50′中，在人物78之上覆盖了CG人物86，并且在房屋76顶上覆盖了房屋的CG结构84。在实际中，很难使CG对象与场景中的特征匹配，并且更难使CG人物与来自初始板（native plate）的轮廓匹配。特别地，如果匹配并不几乎完美，那么可能接着出现有害的结果。例如，如果CG模型对于人物来说太大，那么背景元素会被拉出背景并在较大的CG模型的一部分上成像，因为该较大的部分会被视为像素的有效深度。因此，可执行2D动态遮罩（rotoscoping）的步骤，该步骤以已知的方式允许CG人物的匹配移动。在该步骤中，不需要实际去除CG模型的部分来匹配初始板中的轮廓，而是，人物的像素的深度仅在旋转曲线或遮片中有效。在其他情况下，在旋转曲线外面，深度是其自身可包含对于树或旁观者等的旋转曲线的背景的深度。

随后，确定各像素的值和相应深度，并由此可创建深度图。一旦深度图被创建，就可利用重投影，例如，使用上述的差异图和畸变图来获得第二角度或视图，从而得到立体图3D图像。

一般地，立体图的第二眼睛相对于第一眼睛并不采取极端的角度，并且在大多数情况下重投影图像对于希望的维度将是足够的。然而，对于某些图像，可对于右眼修复重投影图像的方面（例如，出现大量的伸展的地方），并且这种修复可通过涂色或其它这样的补救措施。

在根据一种实现方式的方法中，系统和方法使用匹配移动照相机、近似场景的定制几何图形以及用于动画人物的3D旋转。系统构建或访问对于场景中的对象的几何图形。系统然后使用2D旋转曲线或遮片以隔离板中（即，在第一图像中）的对象，并且将这些区域应用到几何图形。系统接下来修剪几何图形以匹配被动态遮罩或不光滑的区域。系统从得到的几何图形构建深度图像或深度图。从匹配移动照相机创建的立体照相机然后与深度图一起使用，以计算两个视图之间的差异图。系统处理上述的差异图以创建畸变图，从而指示将被应用于各像素的变换。畸变图然后被应用到原始图像以创建偏移图像。这两个图像然后形成匹配的立体对。

可能出现许多优点。例如，系统可在不创建或渲染明显的新几何图形（即，超出用于获得深度图的粗糙几何图形（其不被纹理化、点亮、渲染等））的情况下创建第二图像，从而允许系统在合成包中从多个角度制作静态几何图形的新视图。系统也可被用于“拨动”或调整立体照相机同时观察被应用于输入图像的结果，即，“基于图像的照相机拨动”。

图13是与根据这里公开的示例性方法有关的流程图60。在第一步骤中，接收图像，图像一般是缺少深度信息的二维图像（步骤94）。可通过例如匹配移动来确定第一照相机的位置（步骤96）。然后可通过CG对象将接收图像中的元素模型化，其中通过第一步骤产生静态或非移动元素（步骤98）。这可包括结构、桌子、地板等。下一步骤是创建动态或移动元素（步骤102）。动态或移动元素可包含车辆、人物等。2D动态遮罩可被用于确保所创建的几何图形元素的边缘与原始图像中的轮廓的边缘匹配上（步骤104）。可通过简单地在边缘处切割模型并去除像素、或者在更先进的技术中向边缘推或拉建筑物结构（fabric）或皮肤以使得实现希望的艺术效果，来使得边缘对齐。

一般地，旋转曲线的点被调整以匹配原始场景中的图像，使得涉及头发或其它精细细节的场景需要更多的点。旋转曲线本质上限定黑或白的遮片。在旋转曲线内，白值表明有效像素是在人物上的像素。在旋转曲线外面，黑值表示有效像素是在人物后面的像素。然而将理解的是，也可利用其它方法，例如，拉动关键颜色等。

在旋转步骤之后，当深度值然后可对于各像素确定时，可接着确定深度图（步骤106）。可如在艺术上希望的那样拨动第二照相机（步骤108），通过重投影（步骤109）或其它技术获得用于第二照相机的图像。第二照相机的拨动可调整第二照相机沿眼内线到第一照相机的距离，使得场景在艺术上被控制。这对于高质量细节图像可能是特别重要的，以使注意到“内部深度”、或者对象之间的感知深度、以及对象到背景的距离。

注意，可使用以上结合图1和图2描述的快速重投影技术来执行重投影步骤109。并且，由于在合成阶段而不是在渲染阶段获得通过重投影获得的第二视图，因此可明显地节省时间。这样，处理的速度明显增加，并且艺术家可被给予对最终结果更多的控制，从而相对于在先技术提供了明显的优点。

以上处理的另一优点在于，与仅在渲染之后看到效果相反，可从例如为Autodesk的计算机图形建模软件程序内构建工具以从软件内将方法的效果可视化。

图14是深度布局方法的有关实现方式的流程图70。在第一步骤中，接收第一图像（步骤112）。然后对于第一图像中的一个或更多个对象创建几何图形（步骤114）。通常，将对于第一图像中的所有重要对象创建几何图形，虽然这将基于艺术设计而改变。然后可使用2D旋转曲线或遮片基于板中的图像来调整几何图形（步骤116）。换句话说，创建的几何图形对象或模型被修改以匹配或适合2D板中的图像。然后使用第一照相机视图基于经调整的图像和几何图形对于第一图像创建深度图（步骤118）。一旦深度图被创建，就可使用深度图（步骤122）和已知的眼内距离创建来自另一角度的第二照相机视图。如果需要或者希望的话，可以修改第二照相机视图（步骤124）。换句话说，如果在创建第二照相机视图的重投影中存在伪像，那么这些可在该步骤中被补救。

描述了用于减少来自重投影的伪像、执行更快的重投影以减少创建立体视图所需要的处理时间的系统和方法、以及基于2D图像创建立体视图的改进方法。

一种实现方式包括一个或更多个可编程处理器以及用于存储和执行计算机指令的相应计算机系统部件，例如以提供用于创建深度和畸变信息、创建图像和识别重投影的伪像的工具。以下描述一种这样的计算环境。

参照图15，示出用于动画工作站的示例性计算环境100的图示。

计算环境100包括控制器148、存储器152、存储156、介质设备162、用户接口168、输入/输出（I/O）接口172和网络接口174。这些部件通过共用的总线176被互连。作为替代方案，可以使用不同的连接配置，诸如控制器处于中心的星形图案。

控制器148包括可编程处理器并控制动画系统150的动作。控制器148从存储器152或嵌入式控制器存储器（未示出）加载指令，并执行这些指令以控制系统。

可包含非暂态计算机可读存储器154的存储器152存储暂时供系统的其它部件使用的数据。在一种实现方式中，存储器152被实现为DRAM。在其它实现方式中，存储器152还包括诸如闪存存储器和/或ROM之类的长期或永久存储器。

可包含非暂态计算机可读存储器158的存储156存储供系统的其它部件暂时或者长期使用的数据，诸如用于存储数据或指令。在一种实现方式中，存储156是硬盘驱动器或固态驱动器。

可包含非暂态计算机可读存储器164的介质设备162容纳可去除的介质，并且对于插入的介质读取和/或写入数据。在一种实现方式中，介质设备162是光盘驱动器或盘烧刻机，例如，可写的盘驱动器166。

用户接口168包括用于接受用户输入（例如，上述的伪像或其它方面的用户指示）并向用户呈现例如渲染图像或重投影图像的显示的部件。在一种实现方式中，用户接口168包括键盘、鼠标、音频扬声器和显示器。控制器148使用来自用户的输入以调整计算环境的操作。

I/O接口172包括用于连接到诸如外部存储或补充设备（例如打印机或PDA）之类的相应I/O设备的一个或更多个I/O端口。在一种实现方式中，I/O接口172的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一实现方式中，I/O接口172包含用于与外部设备无线通信的无线接口。这些I/O接口可被用于连接到一个或更多个内容回放设备。

网络接口174允许与局部网络的连接，并且包含有线和/或无线网络连接，诸如RJ-45或以太网连接或“Wi-Fi”接口（802.11）。许多其它类型的网络连接将被理解为是可能的，包括WiMax、3G或4G、802.15协议、802.16协议、卫星、等。

系统可包括对于这样的设备典型的额外硬件和软件（例如，电力和操作系统），虽然为了简化这些部件没有在图中被具体示出。在其它实现方式中，可使用设备的不同配置，例如，不同的总线或存储配置或者多处理器配置。

描述了本发明的各种说明性实现方式。然而，本领域技术人员将认识到，额外的实现方式也是可能的，并且处于本发明的范围内。例如，公开的系统和方法也可被应用到来自电影、电视、视频游戏等的图像。在另一例子中，可从第一图像创建第二图像或数字图像以制作替代性视图或预览（preview），而不仅仅用于立体图像。在一个这样的例子中，从第一图像创建一系列图像以形成预览序列。

因此，本发明不仅仅限于上面描述的那些实现方式。

Claims (18)

1.一种用于基于第一图像创建希望的第二图像的方法，包括：

a.从与第一照相机视图对应的第一照相机角度接收第一图像，第一图像包含至少一个三维模型化对象，所述三维模型化对象到观察面的距离是已知的或者是能够确定的；

b.从对应于第二照相机视图的与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像；

c.在第二图像中确定第二图像中表现不令人满意的至少一个像素组，确定所述至少一个像素组是否形成孔、或者是否被伸展或者压缩大于预定量以补救孔，并且利用畸变图产生模块确定在第二图像中像素被伸展或压缩了多少，并且如果像素被伸展或压缩了大于相应的预定阈值，则将所述像素选择为处于所述像素组中；

d.渲染第二图像中表现不令人满意的所述像素组；以及

e.用经渲染的像素替代第二图像中表现不令人满意的所述像素组以创建希望的第二图像，并且

其中，创建第二图像包括使用重投影，所述重投影包括：

i.选择第二照相机视图的位置；

ii.创建指示第一照相机视图与第二照相机视图之间的差别的差异图；

iii.基于差异图创建指示像素变换的畸变图；以及

iv.通过将畸变图应用到第一图像的像素来创建第二图像。

2.根据权利要求1的方法，其中，第二图像是第一图像的立体图像。

3.根据权利要求1的方法，其中，所述渲染包含仅渲染表现不令人满意的所述像素组。

4.根据权利要求1的方法，其中，所述在第二图像中确定第二图像中表现不令人满意的至少一个像素组是自动执行的。

5.根据权利要求1的方法，其中，所述在第二图像中确定第二图像中表现不令人满意的至少一个像素组是通过用户输入执行的。

6.根据权利要求5的方法，还包括提供用于显示第二图像并且用于接受与哪些像素应该处于所述像素组中有关的用户输入的用户接口。

7.根据权利要求6的方法，其中，所述用户接口包含畸变图，所述畸变图指示在第二图像中像素被伸展或压缩了多少。

8.一种用于基于第一图像创建希望的第二图像的设备，包括：

从与第一照相机视图对应的第一照相机角度接收第一图像的装置，第一图像包含至少一个三维模型化对象，所述三维模型化对象到观察面的距离是已知的或者是能够确定的；

从对应于第二照相机视图的与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像的装置；

在第二图像中确定第二图像中表现不令人满意的至少一个像素组，确定所述至少一个像素组是否形成孔、或者是否被伸展或者压缩大于预定量以补救孔，并且利用畸变图产生模块确定在第二图像中像素被伸展或压缩了多少，并且如果像素被伸展或压缩了大于相应的预定阈值，则将所述像素选择为处于所述像素组中的装置；

渲染第二图像中表现不令人满意的所述像素组的装置；以及

用经渲染的像素替代第二图像中表现不令人满意的所述像素组以创建希望的第二图像的装置，并且

其中，所述从对应于第二照相机视图的与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像的装置包括使用重投影的装置，所述重投影包括：

i.选择第二照相机视图的位置；

ii.创建指示第一照相机视图与第二照相机视图之间的差别的差异图；

iii.基于差异图创建指示像素变换的畸变图；以及

iv.通过将畸变图应用到第一图像的像素来创建第二图像。

9.一种用于基于第一图像创建希望的第二图像的系统，包括：

a.第二图像创建模块，所述第二图像创建模块用于从与第一照相机视图对应的第一照相机角度接收第一图像，第一图像包含至少一个三维模型化对象，所述三维模型化对象到观察面的距离是已知的或者是能够确定的，并且，所述第二图像创建模块用于从对应于第二照相机视图的与第一照相机角度不同的第二照相机角度创建所述三维模型化对象的第二图像；

b.像素确定模块，用于在第二图像中确定表现不令人满意的至少一个像素组；

c.像素渲染模块，用于渲染表现不令人满意的所述像素组；

d.像素替代模块，用于用经渲染的像素替代表现不令人满意的所述像素组以创建希望的第二图像；以及

e.显示模块，用于显示希望的第二图像，

其中，所述像素确定模块包含畸变图产生模块，所述畸变图产生模块用于确定在第二图像中像素被伸展或压缩了多少，并且

所述第二图像创建模块利用重投影模块从第一图像创建第二图像，所述重投影模块包括：

i.选择第二照相机视图的位置的模块；

ii.创建指示第一照相机视图与第二照相机视图之间的差别的差异图的模块；

iii.基于差异图创建指示像素变换的畸变图的模块；以及

iv.通过将畸变图应用到第一图像的像素来创建第二图像的模块。

10.根据权利要求9的系统，其中，所述像素确定模块包含用于显示第二图像并且用于接受与哪些像素应该处于所述像素组中有关的用户输入的用户接口。

11.根据权利要求9的系统，其中，所述像素替代模块基于像素是否被指示为被伸展或压缩大于相应的预定阈值来自动地替代像素。

12.根据权利要求9的系统，其中，所述像素替代模块自动地替代像素。

13.根据权利要求9的系统，其中，所述像素渲染模块形成利用分数图能力的渲染器模块的一部分，并且其中，所述像素替代模块形成合成器模块的一部分。

14.一种用于改善第二图像的方法，第二图像是第一图像的重投影，所述方法包括：

从与第一照相机视图对应的第一照相机角度接收第一图像；

从对应于第二照相机视图的与第一照相机角度不同的第二照相机角度创建第二图像；

识别第二图像中的一个或更多个不连续区，其中每个不连续区与第二图像中的一个或更多个像素对应，没有不连续区的多个区域形成剩余部分；

渲染所识别的不连续区的像素；以及

将经渲染的像素与所述剩余部分合成，并且

其中创建第二图像包括使用重投影，所述重投影包括：

i.选择第二照相机视图的位置；

ii.创建指示第一照相机视图与第二照相机视图之间的差别的差异图；

iii.基于差异图创建指示像素变换的畸变图；以及

iv.通过将畸变图应用到第一图像的像素来创建第二图像。

15.根据权利要求14的方法，其中，第二图像是第一图像的立体图像。

16.根据权利要求14的方法，其中，识别一个或更多个不连续区包含识别一个或更多个像素，所述一个或更多个像素从它们在第一图像中的位置相对于相邻像素偏离超过25％。

17.一种用于基于包含一个或更多个特征的板来创建一组立体图像的方法，其中所述板具有对应的第一照相机视图，所述方法包括：

a.通过对于所述板中的一个或更多个对象创建几何图形来创建与第一照相机视图对应的第一图像；

b.修改所述板中的所述一个或更多个对象以适配所述板中的一个或更多个特征，所述修改使用旋转曲线或遮片；

c.使用经修改的对象来创建第一图像的深度图；

d.创建第二图像，第一图像和第二图像形成立体图对，第二图像是使用所述深度图和重投影方法创建的，所述重投影方法包括：

i.选择第二照相机视图的位置；

ii.创建指示第一照相机视图与第二照相机视图之间的差别的差异图；

iii.基于差异图创建指示像素变换的畸变图；以及

iv.通过将畸变图应用到第一图像的像素来创建第二图像。

18.一种用于创建第二图像的方法，第二图像基于第一图像，第一图像和第二图像形成立体图对，所述方法包括：

a.接收与第一照相机视图对应的第一图像，第一图像包含像素组的深度图和颜色值；

b.创建第二图像，第二图像是使用所述深度图和重投影方法创建的，所述重投影方法包括：

i.选择第二照相机视图的位置；

ii.创建指示第一照相机视图与第二照相机视图之间的差别的差异图；

iii.基于差异图创建指示像素变换的畸变图；以及

iv.通过将畸变图应用到第一图像的像素来创建第二图像；以及

c.执行以下步骤中的一个或两个：

i.将定制自适应锐化过滤器应用到第二图像中的一个或更多个对象，所述定制自适应锐化过滤器被配置为增加高频分量的优势并降低低频分量的优势；以及

ii.对于第一图像中的一个或更多个对象，所述一个或更多个对象是被背景或剪切面包围的，暂时将对象的尺寸扩展1～10个像素，由此当重投影发生时，对象中的像素在重投影期间被适当地映射并且不扩展回所述背景或剪切面。