CN106664397A - 用于生成三维图像的方法和装置 - Google Patents

Abstract

一种自动立体3D显示器包括用于生成中间3D图像的第一单元（503）。中间3D图像包括多个区，并且第一单元（503）布置成生成用于所述区的对应于不同视图方向的像素值的第一数目的图像块。图像块的数目对于所述多个区中的一些区是不同的。第二单元（505）从中间3D图像生成包括数个视图图像的输出3D图像，其中每一个视图图像对应于视图方向。显示器还包括显示布置（301）和用于驱动显示布置（301）以显示输出3D图像的驱动器（507）。适配器（509）布置成响应于中间3D图像或第一图像生成单元（503）布置成从其生成中间图像的三维场景的表示的性质而针对第一区适配图像块的数目。

Description

用于生成三维图像的方法和装置

技术领域

本发明涉及三维图像的处理，并且特别地但不排他地，涉及生成用于在自动立体显示器上呈现的三维图像。

背景技术

三维（3D）显示器正在受到日益增加的关注，并且如何向观看者提供三维感知方面的显著研究正在着手进行中。3D显示器通过为观看者的两只眼睛提供被观赏的场景的不同视图来向观看体验添加第三维度。这可以通过使用户佩戴眼镜以分离所显示的两个视图来实现。然而，由于这对于用户而言相对不便，因此在许多情境中，合期望的是使用直接生成不同视图并且向用户的眼睛投影它们的自动立体显示器。实际上，一段时间以来，各种公司已经主动开发适合用于再现三维成像的自动立体显示器。自动立体设备可以在没有对于特殊帽子和/或眼镜的需要的情况下为观看者呈现3D印象。

自动立体显示器一般提供用于不同观看角度的不同视图。以此方式，可以生成用于观看者的左眼的第一图像和用于右眼的第二图像。通过显示适当的图像（即分别从左眼和右眼的视点来看是适当的），向观看者传达3D印象是可能的。

自动立体显示器往往是使用构件，诸如透镜镜头或视差光栅/光栅掩模，以分离视图和在不同方向上发送它们使得它们单独到达用户的眼睛。对于立体显示器，要求两个视图但是大多数自动立体显示器典型地利用更多视图（诸如例如九个视图）。

为了满足对于3D图像效果的期望，创建内容以包括描述所捕获到的场景的3D方面的数据。例如，对于计算机生成的图形，三维模型可以被开发和用于计算来自给定观看位置的图像。这样的方案例如频繁地用于提供3D效果的计算机游戏。

作为另一示例，视频内容，诸如影片或电视节目，被日益增加地生成以包括某种3D信息。这样的信息可以使用专用3D相机来捕获，或者可以例如由还能够捕获深度的相机来捕获，所述专用3D相机从略微偏移的相机位置捕获两个同时的图像从而直接生成立体图像。

典型地，自动立体显示器产生视图的“锥体”，其中每一个锥体包含对应于场景的不同观看角度的多个视图。相邻（或在一些情况下进一步移位的）视图之间的观看角度差异被生成以对应于用户的右眼和左眼之间的观看角度差异。相应地，其左眼和右眼看见两个适当视图的观看者将感知到3D效果。其中在观看锥体中生成九个不同视图的这样的系统的示例在图1中图示。

许多自动立体显示器能够产生大数目的视图。例如，产生九个视图的自动立体显示器并非不常见。这样的显示器例如适合用于多观看者情境，其中若干观看者可以同时观赏显示器并且全部体验3D效果。具有甚至更高数目的视图的显示器也已经被开发，包括例如可以提供例如28个不同视图的显示器。这样的显示器通常可以使用相对狭窄的视图锥体，从而造成观看者的眼睛同时从多个视图接收光。而且，左眼和右眼将典型地位于不相邻的视图中（如在图1的示例中那样）。

图2图示了来自多个子像素的3D像素（具有三个颜色通道）的形成的示例。在示例中，w是水平子像素间距，h是竖直子像素间距，N是每单个颜色拼块的子像素的平均数目。透镜镜头以s=tanθ倾斜，并且在水平方向上测量的间距以子像素间距为单位是p。在3D像素内，粗线指示不同颜色的拼块之间的分离，并且细线指示子像素之间的分离。另一有用的量是子像素横纵比：a=w/h。然后，N=a/s。对于RGB-条状图案上的常见倾斜1/6镜头，a=1/3并且s=1/6，因此N=2。

如对于常规2D显示器而言，图像质量在大多数应用中对于3D显示器是极重要的，并且尤其对于消费者市场非常重要，诸如例如对于3D电视或监视器。然而，不同视图的表示提供附加复杂化和潜在的图像降级。

具体地，为了将要分配和处理的数据的量保持到可管理的量，3D内容典型地以基于非常低数目的2D图像的格式提供。例如，3D图像数据可以通过与由指示针对每一个像素的深度的深度图支持的一个观看角度对应的单个2D图像来提供。另一常见表示提供两个2D图像，其中一个意在用于观看者的左眼并且另一个用于观看者的右眼。

因此，三维图像信息典型地以经压缩的格式提供，并且典型地通过相对低数目的不同视点图像来表示。为了提供用于自动立体显示器的每一个单独视图方向的视图图像，相应地必要的是向所接收到的数据应用大量处理。具体地，为了生成用于自动立体显示器的视图图像，典型地必要的是执行再现以及还有（3D）图像处理。例如，基于深度信息的视点漂移通常是必要的以生成附加视图。

作为另一示例，在一些应用中，3D图像数据直接通过评估3D模型被生成，诸如例如通过基于3D模型生成图像数据。模型可以例如遵从OpenGL图形标准并且可以与纹理组合地包含三角形和/或网格。因此，在一些应用中，可以通过评估三维场景的3D图形模型来生成用于特定观看角度的图像。

当使用自动立体显示器以用于3D呈现时，投影对应于不同观看角度的相对大数目的单独视图，诸如典型地9、15或29个视图。相应地，必须生成对应于不同观看角度的大数目的图像。这可以通过执行用于每一个视图的输入3D图像数据的3D处理来实现。例如，对于每一个视图，处理对应于默认观看角度的输入图像以生成用于期望的观看角度的对应视图。该3D处理特别地包括取决于其深度的像素的视差偏移、不遮挡区域中的填充等。

类似地，在基于评估3D模型的一些系统中，可以针对每一个视图评估模型以生成对应于该观看角度的图像。

因此，在一些系统中，执行3D处理以生成用于自动立体显示器的每一个视图的图像。然而，这样的方案的缺点在于，其在计算上需求非常高并且要求高计算资源。这可能对于作为例如要求实时处理的视频序列或游戏的部分的3D图像而言特别关键。

为了降低计算复杂度，已经提出仅再现为了自动立体显示所要求的图像的子集。例如，3D处理可以生成仅8个图像以用于15个视图图像。在这样的系统中，用于每一个视图的图像可以通过选择对应于到该视图的最接近的观看角度的所生成的图像而生成。在一些系统中，给定视图图像可以通过在例如围绕当前视图图像的两个经再现的图像（即对应于每一个方向上具有最接近的观看角度的图像）之间的简单线性内插来生成。

实际上，当前，当为了自动立体3D显示而再现内容时，典型的方案是再现对应于给定观看角度的固定数目的图像。随后，对于自动立体显示的每一个像素，确定所要求的输出观看角度，并且然后通过选择针对最靠近的观看角度的经再现的图像中的对应像素或者通过图像的像素与最靠近的观看角度的加权求和来生成像素。

然而，尽管这样的方案可能减少总体计算资源使用，但是其还往往引入数个缺点。特别地，该方案往往降低所感知到的图像质量并且引入数个伪像。

例如，如果相对低数目的图像通过3D处理被再现，则所感知到的3D图像中的边缘将往往展现出重影效果（例如通常经体验到对象边缘的多个略微移位的副本）。而且，如果用户相对于显示器移动使得观看者的眼睛移动通过视图锥体的多个视图，则结果得到相对不均匀的体验，其中当观看者的眼睛在视图之间移动时，图像对象可能看起来在位置方面跳动或抖动。

因此，为了产生高图像质量，合期望的是再现大数目的图像。然而，这增加复杂度和资源使用，并且因而存在质量与复杂度之间的固有折衷，这往往在现有技术系统中是次优的。

因而，用于生成视图图像的改进的方案将是有利的，并且特别地，允许增加的灵活性、改进的图像质量、降低的复杂度、降低的资源需求、复杂度与所感知到的图像质量之间的改进的折衷和/或改进的性能的方案将是有利的。

发明内容

相应地，本发明力图优选地单个地或以任何组合地缓解、减轻或消除以上提到的缺点中的一个或多个。

根据本发明的一方面，提供了一种用于生成输出三维图像的装置，所述装置包括：用于生成中间三维图像的第一图像生成单元，中间三维图像包括作为中间三维图像的空间细分的多个区，并且第一图像生成单元布置成生成用于所述多个区的像素值的数个图像块，图像块的数目对于所述多个区中的至少两个区是不同的，并且每一个图像块包括用于对应于视图方向的像素分组的像素值；用于从中间三维图像生成包括数个视图图像的输出三维图像的第二图像生成单元，所述数个视图图像中的每一个对应于视图方向；适配器，用于响应于中间三维图像和第一图像生成单元布置成从其生成中间三维图像的三维场景的表示中的至少一个的性质而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块。

本发明可以在许多实施例中提供改进的三维图像，其当显示在三维显示器（诸如自动立体显示器）上时，可以提供改进的所感知到的图像质量。在许多实施例中，例如当第二三维图像呈现在自动立体显示器上时，该方案可以造成例如所感知到的降低的串扰影响。该方案可以在许多实施例中生成三维图像，其中图像降级和伪像的感知影响被降低。当被显示时，观看者可以感知到更加自然外观的三维场景。当用户移动通过自动立体显示器的视图锥体时，该方案可以特别地在许多实施例中提供更平滑的体验。

本发明可以在许多实施例中降低复杂度。该方案可以在许多情境中大幅降低所要求的图像数据的三维处理的量。该方案可以在许多实施例中提供可用计算资源的更加高效的使用，或者可以例如减少所要求的计算资源。降低的复杂度处理可以针对输出三维图像的大区域被实现。计算资源使用可以被大幅减少。该方案可以例如使得甚至在具有相对低的计算能力的设备中能够生成相对高数目的视图图像。

本发明可以在许多实施例和情境中提供改进的计算资源与图像质量的折衷。特别地，该方案可以允许可用计算资源瞄准在三维图像的最关键的部分。因此，通过由第一图像生成单元基于三维图像的性质而生成的图像块表示的视图的数目的适配可以适配可用处理能力以改进其中最可能可由用户注意到的图像质量。具体地，其可以允许伪像减少和缓解聚焦在其中这样的伪像最可能发生或是最可被注意到的区域上。

特别地，适配器可以执行由第一图像生成单元再现的视图数目的局部适配，并且该适配可以基于局部图像特性。因此，在系统中，中间图像的不同区可以通过不同数目的图像块表示，每一个图像块对应于不同的观看角度。每一个区中的图像块/观看角度的数目因而取决于局部图像性质。

三维图像可以是三维场景的任何表示，并且具体地可以是提供视觉信息和（相关联的）深度信息的任何数据。三维图像可以例如是对应于场景的不同视点的两个或更多个（潜在地，部分的）图像。三维图像可以例如是对应于左眼视图和右眼视图的两个2D图像。在一些情境中，三维图像可以通过多于两个视图来表示，诸如例如通过用于自动立体显示器的9或28个视图的2D图像。在一些情境中，深度信息（例如作为视差或移位数据被提供）可以被提供为三维图像的部分。在一些实施例中，三维图像可以例如被提供为单个图像连同相关联的深度信息。在一些情境中，三维图像可以被提供为来自给定视图方向的2D图像连同遮挡数据和深度数据。例如，三维图像可以被提供为Z堆叠表示和可能地相关联的深度图。例如，Z堆叠可以包括对应于针对给定视点的完全图像的顶层。因此，二维显示器可以直接再现该图像。当图像包括不同深度处的像素（例如一些是背景像素并且其它像素对应于不同深度处的不同前景对象）时，顶层图像可以具有相关联的深度图。Z堆叠的第二层然后可以包括针对顶层的遮挡信息。具体地，对于顶层的每一个像素，第二层可以包括表示如果由顶层中的对应像素表示的图像对象不存在则将看到什么的像素。假如，对应像素已经是背景像素（并且因而不存在遮挡），则第二层可以不包括用于该像素的任何像素值。该方案可以针对Z堆叠的任何附加层被重复。在一些实施例中，深度图可以针对Z堆叠的每一个层被提供。

第一图像生成单元可以在一些实施例中通过处理输入三维图像来生成中间三维图像。在这样的实施例中，第一图像生成单元可以生成中间三维图像以包括用于比针对至少一些区的输入图像更多的视图的图像数据。在一些实施例中，第一图像生成单元可以通过评估针对特定观看方向的场景的三维图形模型来生成用于中间三维图像的图像数据。

第一图像生成单元可以在一些实施例中通过评估三维模型来生成中间三维图像。

第一图像生成单元可以布置成使用三维图像处理来生成中间三维图像，三维图像处理包括取决于被处理的至少一个图像像素的深度的过程。第一图像生成单元可以布置成使用基于过程深度/过程深度相关图像处理来生成中间三维图像。第二图像生成单元可以布置成使用不取决于被处理的任何图像像素的深度的过程来生成输出三维图像。第二图像生成单元可以布置成使用非基于深度/非深度相关图像处理来从中间三维图像生成输出三维图像。因此，第一图像生成单元可以在生成中间三维图像时考虑深度/视差信息，而第二图像生成单元在生成输出三维图像时不考虑深度/视差信息。

具体地，第二图像生成单元可以布置成响应于中间三维图像的图像块的加权线性组合而生成输出三维图像。例如，对于输出三维图像的每一个视图图像的每一个像素，（多个）像素值可以被确定为中间三维图像的图像块中的对应像素的加权线性组合，权重取决于相对于图像块的观看角度的视图的观看角度。

第一图像生成单元可以通过输出三维图像的基于深度的处理来生成中间三维图像。这样的处理可以对于至少一些区包括生成对应于没有针对其的图像数据提供在输入三维图像中的观看角度的图像块。输入三维图像的处理可以相应地包括图像观看角度偏移。这可以包括像素移位、不受遮挡的区域中的填充等。

区可以对应于中间三维图像的任何空间细分。

中间三维图像可以通过用于中间三维图像的每一个区的图像块的集合来形成，其中图像块的每一个集合包括一个或多个图像块，图像块的一个集合的每一个图像块对应于不同的观看角度。在许多实施例中，图像块的每一个集合包括针对不同观看角度的例如2、3或5个图像块的最小值。在许多实施例中，用于一个或多个观看方向的图像块包括在图像块的所有集合中。因此，中间三维图像可以包括数个完整图像（每一个与观看角度相关联）。例如，中间三维图像可以通过N个完整视图图像来表示，每一个对应于不同的观看角度，并且此外图像块的集合的子集可以包括针对附加观看角度的一个或多个图像块。用于给定集合/区的附加图像块/附加视图角度的数目由适配器基于集合的区的邻域中的图像性质被确定。附加图像块/附加视图角度的数目可以在不同区之间变化。

输出三维图像可以包括预确定数目的视图图像。每一个视图图像可以是完整图像，并且因而可以包含用于图像的所有区的图像数据。输出三维图像可以作为M个图像的集合被生成，其中M个图像中的每一个直接作为用于自动立体显示器的一个视图的图像被生成。输出三维图像可以仅由M个视图图像来表示，并且例如可以不包括任何深度或视差图。输出三维图像可以表示为分离的视图图像的集合，或者可以例如由包括交错的视图图像的交织图像来表示。在一些实施例或情境中，视图图像中的一个或多个可以是部分图像。

图像块可以对应于视觉像素值针对其被提供的图像区域或像素分组。因此，图像块可以由用于像素分组的像素值形成。像素值可以是视觉像素值，诸如例如亮度、色度和/或彩度值。第一图像生成单元可以通过生成用于像素分组的像素值来生成图像块。对于给定观看方向，中间三维图像可以包括没有针对其确定像素值的区域（图像中的空区域或孔）和由第一图像生成单元生成针对其的像素值的图像块。图像块可以是用于像素分组的像素值的集合。

视图图像可以是针对给定观看方向的图像。其可以是没有空区域的完整图像。

性质可以是针对第一区/第一区的邻域中的图像性质。邻域可以是中间三维图像中或输入三维图像中的邻域。

在一些实施例中，可以响应于中间三维图像的性质而适配用于所述多个区中的第一区的图像块的数目，所述性质诸如例如针对中间三维图像中的第一区的深度和/或对比度。

在一些实施例中，中间三维信号从三维场景的表示被生成。

三维场景可以例如在一些实施例中由输入三维图像表示并且中间三维图像可以从输入三维图像生成。在一些实施例中，用于所述多个区中的第一区的图像块的数目可以响应于输入三维图像的性质被适配，所述性质诸如例如针对输入三维图像中的第一区的深度和/或对比度。

三维场景可以例如在一些实施例中由三维模型（包括例如纹理和光源的建模）表示。中间三维图像可以在这样的实施例中从三维模型被生成。在一些实施例中，用于所述多个区中的第一区的图像块的数目可以响应于三维模型的性质被适配，所述性质诸如例如针对对应于输入/中间三维图像中的第一区的模型对象的深度和/或对比度度量。

因此，在许多实施例中，适配器可以布置成响应于中间三维图像中的至少一个的性质、第一图像生成单元布置成响应于其而生成中间图像的输入三维图像的性质和第一图像生成单元布置成响应于其而生成中间图像的三维模型而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块。

依照本发明的可选特征，性质是深度度量。

性质可以具体地是邻域深度度量。适配器可以布置成响应于针对第一区的邻域的深度度量而确定用于第一区的图像块的数目。邻域可以是包括属于第一区的至少一个像素的区域。适配器可以布置成响应于针对包括第一区的至少一个像素的区域的深度度量而确定用于第一区的图像块的数目。

适配器可以布置成针对所述多个区的所有区执行该操作。图像块的数目的确定可以针对每一个区被独立地执行。

该方案可以在许多实施例和情境中提供改进的图像质量与计算资源使用。图像生成装置的计算资源可以具体地取决于深度度量而跨图像不均匀地分布，并且具体地再现资源可以聚焦在具有与参考平面的大幅深度偏离的区上。

深度度量可以指示深度水平，诸如例如反映用于区的邻域中的像素的深度值的平均或加权深度值。在一些实施例中，深度度量可以指示区中的深度与参考深度的偏离，参考深度具体地可以是屏幕水平深度（对应于不同视图的图像之间的零视差）。

依照本发明的可选特征，图像性质是邻域对比度度量。

性质可以具体地是邻域对比度度量。适配器可以布置成响应于针对第一区的邻域的对比度度量而确定用于第一区的图像块的数目。邻域可以是包括属于第一区的至少一个像素的区域。适配器可以布置成响应于针对包括第一区的至少一个像素的区域的对比度度量而确定用于第一区的图像块的数目。

适配器可以布置成针对所述多个区的所有区执行该操作。图像块的数目的确定可以针对每一个区被独立执行。

该方案可以在许多实施例和情境中提供改进的图像质量与计算资源使用。图像生成装置的计算资源可以具体地取决于对比度度量而跨图像非均匀地分布，并且具体地再现资源可以聚焦在展现出大量局部对比度的区上。

对比度度量可以指示区的邻域中的对比度的程度，并且可以例如指示邻域中的亮度/明亮度/强度变化的程度。在一些实施例中，对比度度量可以指示邻域中的图像对象边缘转变。

在一些实施例中，对比度度量是水平对比度度量。

在许多实施例中，图像性质是（邻域）深度度量和（邻域）对比度度量中的至少一个。适配器可以布置成响应于针对第一区的邻域的对比度度量和深度度量中的至少一个而确定用于第一区的图像块的数目。适配器可以布置成针对所述多个区的所有区执行该操作。图像块的数目的确定可以针对每一个区被独立执行。

依照本发明的可选特征，适配器还布置成响应于针对第一图像生成单元的计算资源可用性而确定用于第一区的图像块的数目。

本发明可以例如提供针对可用计算资源的图像质量的改进的适配和通常优化。具体地，该方案可以允许图像再现的适配，使得有限的可用资源可以例如指向其中对结果得到的图像质量的影响被优化的区域。

依照本发明的可选特征，所述多个区包括由至少一个像素行形成的区。

这可以在许多实施例中提供降低的复杂度和简化的操作，同时仍旧允许资源处的高度灵活的瞄准。另外，该方案可以在许多情境中减少用于将图像划分成区的计算资源，而这不导致图像降级和/或为了处理每一个区所要求的处理的不可接受的增加。

在许多情境中，所述多个区的所有区由一个或多个像素行形成。

依照本发明的可选特征，所述多个区中的至少一个区仅包括像素行的像素的子集。

这可以在许多实施例中提供资源的改进的瞄准，并且可以特别地提供第一图像生成单元的计算资源的更加精确的分配。

依照本发明的可选特征，第一图像生成单元布置成生成针对第一数目的观看方向的用于所述多个区的所有区的图像块，并且适配器布置成随后响应于针对第一数目的观看角度的每一个区的图像块之间的视差而选择要针对其生成用于至少一个附加视图方向的图像块的所述多个区中的区的子集。

本发明可以在许多实施例和情境中提供改进的计算资源与图像质量折衷。该方案可以提供高效的操作，其允许资源的精确分配而同时允许使用低复杂度和低资源需求控制和分配方案。该方案可以提供经便利的和/或约简的实现和/或操作。

依照本发明的可选特征，适配器布置成响应于视差度量超过阈值而选择要针对其生成用于至少一个附加观看角度的图像块的区，视差度量是针对用于与附加观看角度相邻的两个观看角度的两个图像块的视差的度量。

本发明可以在许多实施例和情境中提供改进的计算资源与图像质量折衷。该方案可以提供高效的操作，其允许资源的精确分配而同时允许使用低复杂度和低资源需求控制和分配方案。该方案可以提供经便利的和/或约简的实现和/或操作。

依照本发明的可选特征，适配器布置成确定针对其的深度度量在阈值以下的区的子集，并且将该子集的每一个区中的图像块的数目设置成一。

对于区的子集中的每一个区，第一图像生成单元可以仅生成2D图像信息。

这可以减少用于区的子集的计算资源，从而释放资源分配以用于其它区。在一些实施例中，其可以导致改进的图像质量。

在一些实施例中，第一图像生成单元布置成从输入三维图像生成中间三维图像，输入三维图像由对应于不同观看角度的多个二维图像的集合以及具有相关联的深度图的二维图像中的至少一个表示。

在一些实施例中，第一图像生成单元布置成通过评估图形三维模型而生成中间三维图像。

在一些实施例中，性质可以是非空间性质，并且具体地可以是非深度性质。

依照本发明的可选特征，性质是视觉性质。

这可以在许多实施例中提供改进的性能。性质可以具体地是针对第一区的至少一个像素的邻域的视觉性质。适配器可以布置成响应于针对第一区的邻域的视觉性质而确定用于第一区的图像块的数目。（第一区的）邻域可以是包括属于第一区的至少一个像素的区域。适配器可以布置成响应于针对包括第一区的至少一个像素的区域的视觉性质而确定用于第一区的图像块的数目。

适配器可以布置成针对所述多个区的所有区执行该操作。图像块的数目的确定可以独立地针对每一个区被执行。

视觉性质可以指示区的邻域中的视觉性质，并且可以例如指示邻域中的亮度/明亮度/强度变化的程度。

依照本发明的可选特征，性质指示明亮度性质和颜色性质中的至少一个。

这可以在许多实施例中提供改进的性能。性质可以具体地指示针对第一区的至少一个像素的邻域的明亮度性质和颜色性质中的至少一个。适配器可以布置成响应于第一区的邻域的明亮度性质和颜色性质中的至少一个而确定用于第一区的图像块的数目。（第一区的）邻域可以是包括属于第一区的至少一个像素的区域。适配器可以布置成响应于针对包括第一区的至少一个像素的区域的视觉性质而确定用于第一区的图像块的数目。

适配器可以布置成针对所述多个区的所有区执行该操作。图像块的数目的确定可以独立地针对每一个区被执行。

性质可以通过具有取决于明亮度值和颜色值中的至少一个或至少部分地可从其导出的值来指示明亮度性质和颜色性质中的至少一个，其包括例如取决于明亮度和/或颜色变化。

依照本发明的可选特征，第一图像生成单元布置成基于三维情境的三维模型生成中间三维图像；并且适配器布置成响应于三维模型的性质而适配图像块的数目。

依照本发明的一方面，提供了一种自动立体三维显示器，包括：用于生成中间三维图像的第一图像生成单元，中间三维图像包括多个区并且第一图像生成单元布置成生成对应于针对多个区的视图方向的像素值的数个图像块，图像块的数目对于所述多个区中的至少两个区是不同的；用于从中间三维图像生成包括第二数目的视图图像的输出三维图像的第二图像生成单元，所述数个视图图像中的每一个对应于视图方向；用于显示三维图像的显示布置；用于驱动显示布置以显示输出三维图像的显示驱动器；以及用于响应于中间三维图像和到第一图像生成单元的三维输入图像中的至少一个的性质而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块的适配器。

依照本发明的一方面，提供了一种生成输出三维图像的方法，所述方法包括：通过生成对应于针对多个区的视图方向的像素值的数个图像块来生成包括所述多个区的中间三维图像，图像块的数目针对所述多个区中的至少两个区是不同的；从中间三维图像生成包括第二数目的视图图像的输出三维图像，所述数个视图图像中的每一个对应于视图方向；响应于中间三维图像和用于生成中间三维图像的三维输入图像中的至少一个的性质而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块。

本发明的这些和其它方面、特征和优点将从以下描述的（多个）实施例是明显的，并且参照所述实施例被阐述。

附图说明

将仅通过示例的方式参照附图来描述本发明的实施例，其中

图1图示了从自动立体显示器生成的视图的示例；

图2图示了叠覆自动立体显示器的显示面板的透镜屏幕的示例；

图3图示了自动立体显示设备的元件的示意性透视图；

图4图示了自动立体显示设备的元件的截面视图；

图5图示了依照本发明的一些实施例的显示系统的示例；

图6图示了来自自动立体显示器的所投影的视图图像的示例；

图7图示了具有两个对象的三维场景的示例；

图8图示了依照本发明的一些实施例的用于生成输出三维图像的示例性方案的方面；

图9图示了具有两个对象的三维场景的示例；

图10图示了依照本发明的一些实施例的用于生成输出三维图像的示例性方案的方面；以及

图11图示了依照本发明的一些实施例的用于生成输出三维图像的示例性方案的方面。

具体实施方式

以下描述聚焦在适用于用来显示三维图像的自动立体显示器的本发明的实施例上。然而，将领会到，本发明不限于该应用，而是可以应用于许多其它应用，包括例如基于视图分离眼镜的立体显示器。

自动立体显示布置301包括显示面板303。显示布置301可以包含光源307（例如当显示器是LCD类型显示器时），但是这不是必要的，例如对于OLED类型显示器而言。

显示布置301还包括透镜板的形式的视图形成光学元件309，其布置在显示面板303的显示侧之上，其执行视图形成功能。视图形成光学元件309包括平行于彼此地延伸的透镜镜头311的行，为了清楚起见而以夸大的尺寸示出其中的仅一个。透镜镜头311充当视图形成元件以执行视图形成功能。图3的透镜镜头具有背离显示面板的凸面。还可能的是形成透镜镜头，使其凸面侧向显示面板。

透镜镜头311可以是凸柱面元件的形式，并且它们充当光输出定向构件以从显示面板303向位于显示布置301前方的用户的眼睛提供不同的图像或视图。

图3中所示的自动立体显示布置301能够在不同方向上提供若干不同的透视图。特别地，每一个透镜镜头311叠覆每一行中的显示子像素305的小分组。透镜元件311在不同方向上投影分组的每一个显示子像素305，以便形成若干不同视图。当用户的头部从左向右移动时，他/她的眼睛将依次接收到若干视图中的不同个体。

图5图示了依照本发明的一些实施例的自动立体显示器。自动立体显示器包括自动立体显示布置301，诸如参照图3和4所描述的。此外，自动立体显示器包括显示驱动器501，其布置成生成用于驱动自动立体显示布置301的驱动信号使得这可以呈现三维图像。

三维图像可以典型地是提供针对由三维图像表示的场景的（同时的）视觉和深度信息的任何数据。典型地，三维图像的至少一些像素将通过深度指示和光输出指示二者来表示。深度指示可以例如直接是深度值或视差值。光输出指示可以典型地为包括至少一个亮度和/或色度值的值的集合。

三维图像可以例如是对应于不同视图/观看角度的N个图像的集合。作为另一示例，三维图像可以是具有用于右眼的一个二维图像以及用于左眼的一个二维图像的立体图像。作为另一示例，三维图像可以是具有相关联的深度图（例如提供用于单个图像的每一个像素的视差或深度值）的单个二维图像。作为又一示例，三维图像可以是具有相关联的深度图的Z堆叠。三维图像的一个或多个（可能地，所有）二维图像可以是部分图像。因此，三维图像的不同二维图像可以包括用于不同区/区域的图像数据。

显示驱动器501包括第一图像生成单元503，其布置成生成中间三维图像。第一图像生成单元503耦合到第二图像生成单元505，其布置成从接收自第一图像生成单元503的三维图像数据集合生成输出三维图像。

第二图像生成单元505耦合到驱动器507，其布置成生成用于自动立体显示布置301的合适驱动信号。具体地，驱动器507从第二图像生成单元505接收输出三维图像并且继续生成驱动信号，其使得输出三维图像在驱动信号被馈送到自动立体显示布置301时被再现。

输出三维图像包括数个视图图像，其中每一个视图图像对应于（不同的）视图方向。每一个视图图像可以从给定视图方向提供场景的完整图像。具体地，输出三维图像可以包括来自不同观看方向的并且具体地来自不同的观看角度的场景的多个图像。在许多实施例中，输出三维图像可以针对自动立体显示器的每一个视图包括一个视图图像。例如，自动立体显示器可以是九视图显示器，并且第二图像生成单元505可以生成作为九个图像的输出三维图像，其中每一个图像对应于针对自动立体显示器的视图之一的观看角度。

第一图像生成单元503可以生成中间三维图像以包括多个二维图像块，其中每一个图像块针对给定观看方向被生成。图像块可以是部分图像，即每一个图像块可以是图像部分/片段。图像块可以是针对其的视觉值被提供的像素的分组，并且具体地，针对其的光输出指示（诸如色度和/或亮度值）被提供的像素的分组。图像数据可以具体地为像素值。

每一个图像块可以对应于观看角度，并且表示对应于该观看角度的完整二维图像的部分。中间三维图像可以包括针对给定观看方向的多个图像块。对于一些观看角度，图像块可能足以形成完整图像。因此，可以生成中间三维图像以包括多个二维图像，其中每一个图像对应于给定观看方向并且每一个图像潜在地为部分图像。在许多实施例中，二维图像的子集是完全图像，而其它仅为部分图像（其中所提供的图像数据的量典型地是不同的）。

典型地，二维图像对应于给定像素区域区域/分辨率，诸如例如1920x1080像素。对于三维图像，对应于给定视图方向的每一个二维图像通过给定像素区域/分辨率来表示，并且典型地这对于三维图像中的所有图像是相同的。在图5的示例中，第一图像生成单元503可以生成中间三维图像以包括用于多个观看角度的图像数据。对于每一个观看角度，指派相同的像素区域/分辨率。然而，第一图像生成单元503可以不将所有图像生成为完整图像，即图像数据可以仅被提供用于图像的部分。因此，对于给定观看方向，中间三维图像可以包括包含图像信息的一个或多个图像块，并且还可以包含不提供针对其的图像信息的空区域。每一个图像块因而可以是视图图像的部分。例如，像素区域可以划分成多个区，但是图像数据可以仅针对这些区的子集被提供。

在许多实施例中，第一图像生成单元503可以生成中间三维图像以包括针对一个或多个观看角度的图像块的完整集合。因此，针对这些观看角度提供完整视图图像。然而，对于其它观看角度，图像数据可以仅针对区的子集而生成。

图像块的数目、位置、范围、形状、大小等可以针对不同观看角度而不同。因此，针对其在中间三维图像中提供图像数据的观看角度可以针对图像的不同区/区域而不同。

实际上，第一图像生成单元503可以基于给定大小的图像画布而生成中间三维图像（例如，其对应于针对自动立体显示器的每一个视图图像的图像分辨率）。对于给定区（区可以例如是单个像素或像素的分组），中间三维图像可以包括针对数个不同观看角度的图像数据。该图像数据提供在图像块中。针对其提供图像数据（即针对其生成图像块）的观看角度的数目可以针对不同区（例如针对不同像素或像素分组）而不同。

等同地，中间三维图像可以被视为由数个二维观看方向图像形成，其中每一个观看方向图像对应于观看方向。二维观看方向图像可以是部分的。因此，图像数据可以提供在图像块中，其形成图像的部分。二维观看方向图像的其它部分可以是空的。图像块的性质可以针对不同观看方向图像而不同，具体地，包括在给定观看方向图像中的图像块的大小和/或位置可以在观看方向图像之间是不同的。例如，对于一些观看方向图像，所包括的图像块可以提供完整图像，即可以不存在针对一些观看方向的孔/空区域。对于其它观看方向，观看方向图像可以仅包含一个或小数目的小图像块。因此，一些观看方向图像可以几乎完全是空的。

在许多实施例和情境中，至少一些图像块可以具有超过10,100,1000或1000个像素的大小，即一些图像块可以由至少10,100,1000或1000个像素的分组形成。

第二图像生成单元505布置成处理中间三维图像以生成输出三维图像。该处理典型地包括生成视图图像的完整集合使得为自动立体显示布置301的视图中的每一个提供一个完全/完整视图图像。

第一图像生成单元503布置成基于三维处理而生成中间三维图像。第一图像生成单元503应用算法以生成针对给定观看方向的图像块，其中算法包括场景/图像中的不同对象的深度的考虑。具体地，第一图像生成单元503布置成取决于对象的深度而生成表示不同对象的像素的位置。

在一些实施例中，第一图像生成单元503可以布置成从输入三维图像生成中间三维图像。输入三维图像可以例如是相对低数据速率表示，诸如例如可以对应于两个三维图像，其对应于左眼视图和右眼视图；或者例如单个图像或具有相关联的深度图的z堆叠。

输入三维图像可以从任何合适的内部或外部源被接收，诸如从本地存储器、从存储介质、从远程网络服务器、从无线电广播等被接收。在一些实施例中，输入三维图像（如实际上中间三维图像和输出三维图像）可以是单个静止图像。在其它实施例中，输入三维图像（如实际上中间三维图像和输出三维图像）可以是三维视频序列的单个图像（单个帧）。

在这样的实施例中，第一图像生成单元503可以布置成通过执行三维过程而从输入三维图像生成图像块，所述三维过程包括视图偏移、去遮挡、像素偏移等，如对本领域技术人员将已知的。

例如，为了基于由单个二维图像和深度图形成的输入三维图像生成针对给定观看角度的图像块，第一图像生成单元503可以选择对应于特定区的二维图像的像素。然后针对每一个像素从观看角度和如在深度图中指示的像素的深度计算水平像素偏移。像素然后以所计算的量偏移并且由偏移导致的任何孔使用合适的去遮挡方案（诸如内插或外插技术）来填充。结果得到的所确定的像素值然后对应于针对该观看角度的图像块。

在一些实施例中，中间三维图像可以通过第一图像生成单元503评估场景的三维模型（几何形状）以及相关联的纹理和光源等被生成。例如，对于游戏应用，第一图像生成单元503可以评估三维元素并且计算针对不同观看角度的图像数据。在这样的示例中，中间三维图像可以相应地由第一图像生成单元503合成并且不基于输入图像。

针对其生成用于特定区的图像块的观看角度的量可以针对不同区而不同。例如，对于针对自动立体显示布置301的视图的观看角度的子集，完整图像可以从输入图像通过使用适当的基于深度的技术被计算。例如，对于九视图自动立体显示器，第一图像生成单元503可以针对比方说观看角度中的五个而生成对应于完整图像的图像块。

基于深度的处理典型地在计算上非常密集并且要求大量计算能力。相应地，仅计算所要求的视图图像的子集是有利的。

附加于完全图像，第一图像生成单元503还可以计算针对一些附加观看角度的图像块，并且具体地可以计算针对对应于自动立体显示的其它四个视图的观看角度的一个或多个图像块。这些图像块可以因而提供针对附加视图图像中的一个或多个的部分图像。

第二图像生成单元505布置成生成包括视图图像的输出三维图像，并且具体地可以生成自动立体显示的所有视图图像。在具体示例中，第二图像生成单元505可以继续基于中间三维图像生成所有九个视图图像。

图5的第二图像生成单元505的处理不考虑针对中间三维图像的任何深度信息。相反，其可以执行处理以生成不取决于中间三维图像中的任何对象或像素的深度的输出三维图像。处理可以是图像的二维处理，其导致低复杂度。

具体地，第二图像生成单元505可以响应于针对不同观看角度的中间三维图像的图像块的组合而生成输出三维图像中的至少一些。组合可以具体地是用于区的图像块的图像数据之间的内插。内插可以典型地在与针对其计算数据的视图方向周围的两个最靠近的视图方向对应的两个图像块之间。内插可以是线性内插并且组合因而可以是直接线性加权求和。

作为具体示例，第一图像生成单元503可以生成对应于比方说视图-3,0和3的图像方向的完全图像（参照图1）。第二图像生成单元505现在可以继续生成用于视图2的图像数据。如果不存在针对给定区而提供的其它图像块，用于该区的图像数据可以通过在用于视图0和3的视图图像的图像数据之间的内插被生成。然而，对于另一区，中间三维图像还可以包括用于视图1的图像块。在该情况下，第一图像生成单元503可以继续通过视图1和3之间的内插来生成用于视图2的图像数据。

第二图像生成单元505可以因而使用相对低复杂度和低计算需求过程。特别地，计算需求典型地大幅低于第一图像生成单元503。然而，由于非基于深度的处理，过程将典型地仅提供对针对视图的正确图像的近似，并且具体地将往往引入由于深度考虑的缺乏所致的三维伪像。

相应地，从图像质量的角度来看，合期望的是使用第一图像生成单元503的基于深度的处理来生成图像数据，但是从计算资源的角度来看，合期望的是使用第二图像生成单元505的非深度处理来生成图像数据。

图5的自动立体显示器还包括适配器509，其布置成响应于中间三维图像和第一图像生成单元503布置成从其生成中间图像的三维场景的表示中的至少一个的性质而适配由第一图像生成单元503在第一区中生成的图像块的数目。表示可以具体地是中间三维图像从其被生成的输入图像或三维模型。在一些实施例中，适配器509可以布置成响应于第一图像生成单元的输入图像并且具体地响应于针对第一区的邻域的图像性质而适配图像块的数目。

以下描述将首先聚焦在其中响应于中间三维图像或输入三维图像中的至少一个中的性质（并且具体地响应于诸如对比度或深度之类的图像性质）而适配图像块的数目的实施例上。

第一区可以是空间区，其例如限定为中间三维图像的二维（参考）图像中的空间区，或者等同地为中间三维图像的二维（参考）图像中的像素（或子像素）的分组。

第一图像区可以是参考图像的部分，并且可以典型地小于总体图像区域的例如50%、25%或10%。第一图像区可以是参考图像的部分，并且可以典型地大于总体图像区域的例如0.1%、0.5%、1%、5%或10%。在许多实施例中，（多个）图像可以划分成多个图像区（通常至少5或10个图像区和/或通常不多于50、100或500个区）。

在许多实施例中，第一区可以具有超过参考图像的10、100、1000或甚至1000个像素的大小。

为了清楚和简要，以下描述将聚焦在其中针对多个区执行适配的方案上。将领会到，第一区可以是这些区中的任何一个。

因此，在图5的系统中，在中间三维图像中表示的观看角度的数目可以被动态和局部地被适配。其对于不同区可以是不同的。具体地，对于给定区，中间三维图像可以包括对应于不同观看方向/角度的数个图像块。用于给定区的图像块的数目可以由适配器509基于图像性质被适配，并且具体地基于针对该区的邻域的图像性质被适配。因此，由第一图像生成单元503生成针对其的图像信息的观看角度的数目基于局部图像性质被适配。

适配由第一图像生成单元503基于局部图像性质生成的图像块的数目允许适配器509典型地执行计算资源使用和图像质量之间的折衷的动态和局部化适配。由第一图像生成单元503再现的图像块越多，由第二图像生成单元生成的结果得到的视图图像的质量越高，因为更多根据基于完全深度的计算的图像信息是可用的。然而，为了区而再现的图像块越少，计算资源越低，因为通过第二图像生成单元505生成遗失信息的处理典型地比用于基于完全深度的处理要求低得多的计算资源。在下文中，通过第一图像生成单元503的基于深度的再现还将被称为再现。

因此，适配器509可以基于第一图像生成单元503的基于深度的再现和第二图像生成单元505的非基于深度的处理来执行计算用于给定视图图像的图像数据之间的折衷的局部化适配。

例如，可以针对中间三维图像，并且等同地针对输入三维图像，确定数个区。

适配器509可以例如将中间三维图像划分成数个区并且可以针对每一个区确定针对该区的邻域中的中间三维图像的局部图像性质。区的大小和/或形状在不同实施例中可以是不同的，并且可以例如响应于图像特性而例如动态地改变。

例如，在一些实施例中，适配器509可以将中间三维图像分段成各种图像段（例如基于颜色和/或亮度，如对技术人员将已知的）。分段可以直接提供各种图像对象的标识，或者在一些实施例中，所确定的段可以例如组合成图像对象。

作为另一示例，第一三维图像可以被划分成预确定大小和位置的区。例如，图像可以被划分成预确定大小的矩形图像区的网格。实际上，在许多实施例中，每一个区可以对应于单个像素。

区可以例如关于中间三维图像的一个二维图像被限定。例如，区可以关于用于中间三维图像的中心视图图像被限定。在该图像（或图像画布）中，区可以被限定为像素的分组。实际上，每一个像素可以被视为区。在一些实施例中，这样的参考图像可以被划分成像素区，例如通过到矩形像素分组的网格的预确定的固定划分被划分。

适配器然后可以继续确定针对每一个区的合适图像性质，其中图像性质在该区的邻域中被确定。图像性质可以通过分析参考图像被确定，或者可以例如通过分析中间三维图像的其它图像的对应部分被生成。

例如，在一些实施例中，适配器509可以将中间三维图像的参考图像划分成矩形像素分组的网格。例如，1920x1080像素可以被划分成64个区，每一个由240x135像素形成。对于这些区中的每一个，适配器509可以确定针对该区的邻域中的像素的主色范围。邻域可以具体地直接对应于该区，并且因而针对每一个区确定的图像性质可以例如是该区中的参考图像的像素的中值或平均色度值（例如YUV颜色表示的平均UV值）。在一些情境中，还可以确定色度方差。

基于该平均色度（和可选地，方差），适配器509可以确定用于该区的图像块的数目，即由第一图像生成单元503针对其生成用于该区的图像数据的不同视图角度的数目。例如，适配器509可以评估平均色度是否在被视为对应于人类皮肤色调的范围内。如果是这样，并且例如如果色度方差足够低，适配器509将该区指定为潜在人类皮肤区。

适配器509然后可以取决于这是否被指定为潜在人类皮肤区而选择要针对区生成的图像块的数目。例如，对于潜在人类皮肤区，可以针对自动立体显示布置301的所有观看角度生成图像块。然而，对于所有其它区，仅针对观看角度的子集生成图像块。例如，可以针对潜在人类皮肤区生成对应于九视图自动立体显示器的每一个观看角度的九个图像块，而针对其它区仅生成对应于例如视图-3、0和+3的三个图像块。

以此方式，针对可能对应于人类皮肤的区域实现以计算资源为代价的改进的质量。这可以例如改进例如人类面部的图像质量和三维感知，而同时仍旧保持总体计算资源使用为低。

将领会到，其中确定图像性质的邻域的大小和/或形状可以在不同实施例和情境中是不同的并且将取决于单独实施例的具体要求和偏好。

例如，图像性质通常可以被确定为例如大于并且可能地大幅大于该区的邻域中的对比度度量或深度度量。例如，如果每一个像素对应于区，对比度度量可以通过考虑像素周围的区域中的像素被确定。区域可以例如通过加权空间滤波器被确定，其导致软转变。

在许多实施例中，针对区的邻域可以是具有不大于例如50、100、250或500个像素的到区的像素的距离的像素分组。在许多实施例中，针对区的邻域可以是具有不大于中间三维图像的竖直尺寸的5%、10%或例如20%的到区的像素的竖直距离并且具有不大于中间三维图像的水平尺寸的5%、10%或例如20%的到区的像素的水平距离的像素分组。竖直和水平尺寸可以例如被测量为竖直或水平像素分辨率，即作为用于图像的像素行或列的总体数目。

第一区的邻域可以是包括属于第一像素的至少一个像素的区域。

将领会到，图像性质的确定可以基于中间三维图像并且图像性质然后可以用于适配针对中间三维图像生成哪些图像块。因此，可以使用迭代方案，其中例如首先生成中间三维图像的部分（诸如中心图像或另一参考图像）。基于该图像，可以针对一个或多个区生成图像性质。基于结果得到的图像性质，适配器509然后可以确定要生成哪些附加图像块。

在以上描述中，基于中间三维图像确定图像性质。然而，将领会到，针对区的图像性质不需要直接通过评估或分析中间三维图像来确定，而是可以例如通过分析可以提供针对中间三维图像的图像性质的指示的性质来确定。

具体地，在其中中间三维图像从输入三维图像被生成的示例中，将存在输入三维图像与中间三维图像之间的紧密对应性。实际上，在许多实施例中，图像性质可以通过分析输入三维图像被生成。

实际上，将领会到，存在中间三维图像和输入三维图像中的区之间的对应性。例如，对于关于中间三维图像的中心视图图像限定的区，对应区可以被视为存在于输入三维图像的（多个）图像中。例如，如果图像被给定为具有相关联的深度图的单个中心二维图像，输入三维图像的中心图像中的像素分组可以直接对应于输入三维图像的二维图像中的相同像素分组。

在其中存在关于其限定区的参考图像与基于其确定图像性质的输入三维图像或中间三维图像的图像之间的角度差异的情境中，可以将对应视差考虑在内。例如，针对中间三维图像的中心图像的区的图像性质可以通过评估被偏移以反映图像之间的观看角度中的差异的区中的另一图像的图像特性来确定。然而，在一些情境中，这样的偏移可以不被补偿并且简单地考虑相同的区域（例如，相比于图像性质在其中被确定的邻域，如果偏移被视为足够小的话，或者如果区段包括完整像素行的话）。

还将领会到，针对例如关于一个观看方向限定的图像（例如中心或参考图像）的区的图像性质的指示可以通过考虑用于其它观看方向的数据被确定。例如，可以通过测量用于参考中心图像的每一侧上的观看角度的两个图像（并且实际上这两个图像可以是中间三维图像或输入三维图像的二维图像，例如它们可以是输入左眼和右眼图像）的像素之间的视差来确定针对中心图像中的像素的深度指示。

在一些实施例中，图像性质可以具体地为邻域深度度量。适配器509可以布置成响应于针对第一区的邻域的深度度量而确定用于第一区的图像块的数目。针对区的深度度量指示该区的邻域中的深度特性。

在一些实施例中，图像性质可以具体地是邻域对比度度量。适配器509可以布置成响应于针对第一区的邻域的对比度度量而确定用于第一区的图像块的数目。针对区的深度度量指示该区的邻域中的对比度特性。

在许多实施例中，适配器509可以有利地布置成响应于针对第一区的邻域的对比度度量和深度度量二者而确定用于第一区的图像块的数目。

将领会到，其中确定度量的邻域的大小不需要与区的大小相同，而是可以大于和小于此。用于确定深度度量和对比度度量的邻域可以是相同的或者可以是不同的。

例如，对比度度量通常可以被确定成反映大于并且可能地大幅大于该区的邻域中的亮度或颜色通道强度值变化。例如，如果每一个像素对应于区，对比度度量可以通过考虑像素周围的区域中的像素被确定。区域可以例如通过加权空间滤波器被确定，这导致软转变。

作为另一示例，深度度量可以在许多实施例中被确定为例如用于区的邻域中的像素的平均或加权深度值。例如，对于对应于一个像素的区，深度度量可以是用于像素周围的区域的平均深度值。典型地，深度度量被计算成包括某种空间滤波或平均化。例如，如果区对应于图像段或对象，深度度量可以被计算为该区内的所有深度水平的平均值、最小值、最大值或中值。在一些实施例中，邻域小于区。例如，如果标识到大图像段，深度度量可以被生成为针对图像段的中心周围的像素的平均深度水平。

深度通常可以通过视差值被表示，并且照此，值可以反映到参考屏幕水平平面的距离。这在许多情境中可以是有吸引力的，因为由于使用非基于深度的处理的可感知伪像的量和降级量典型地相比于连续z值深度更好地涉及视差值。例如，无限深度可以对应于比方说65mm的像素视差。针对这样的深度范围所引起的伪像/模糊的量相比于通过[0;∞]往往更好地通过[0;65mm]的深度尺度被表示。可能的深度度量的示例包括例如视差值的平均值、中值、最大值或均方根（RMS）。

将领会到，深度度量不需要被确定或计算为单个深度值。例如，区之间的视差直接取决于区的深度，并且由于视差可以通过对应图像区域多么类似（或不类似）来反映，因此这可以提供合适的深度指示/度量。因此，单独深度值的明确计算/估计不是必要的。相反，替代性地，系统可以接收包括多个视图的三维图像而不是明确的深度值（例如可以不接收深度图）。在这样的情况下，视图之间的差异指示深度并且可以被使用。例如，系统可以布置成评估所接收到的视图并且基于（区的邻域中的）该视图的图像内容与（典型地）邻居视图的对应图像内容之间的差异而适配图像块的数目。

在一些实施例中，深度值可以直接可用于适配器509（例如通过将第一三维图像提供为具有深度或视差图的图像）。在其它实施例中，诸如当输入三维图像由对应于不同观看角度的多个图像形成时，深度值可以首先从所接收到的图像被计算。例如，视差图可以从两个图像的比较被生成。局部深度度量然后可以从所生成的视差图被计算，例如通过应用提供平均效果的空间滤波被计算。

在许多实施例中，深度度量可以指示与对应于显示屏幕水平（即对应于针对不同视图在经投影图像中不存在针对其的视差的深度）的参考深度的深度偏离。因此，深度度量可以是区的邻域中的深度与参考屏幕水平深度的偏离的指示。在一些实施例中，深度可以直接由视差值表示，并且因而深度直接相对于对应于零视差的深度被提供。

适配器509可以例如生成针对区的局部对比度度量，其中局部对比度度量指示像素邻域中的明亮度/强度变化（例如，针对像素的亮度变化或单个颜色通道内的强度）。

因此，对比度度量可以例如针对像素/段周围的邻域被生成。邻域可以例如被视为每一个像素周围的预确定区域，或者可以例如被动态地确定。例如，邻域的大小可以基于例如像素的深度值、平均明亮度水平等被动态地改变。将领会到，邻域可以具有锐利边界或者可以具有逐渐转变。还将领会到，适配器509不需要明确地确定区，而是这可以典型地在用于确定对比度度量的算法中是固有的。

适配器509可以使用用于确定对比度度量的任何合适的算法。例如，在一些实施例中，可以执行空间高通滤波，随后是空间平均以生成局部亮度变化的指示。作为另一示例，图像转变（亮度和/或色度）可以被标识并且对比度度量可以被确定为转变的梯度。局部对比度的度量在一些实施例中可以如当前像素与像素邻域之间的（例如感知上加权的）明亮度差异那样简单。

作为另一示例，基于相邻视图之间的亮度和/或颜色距离度量，对比度度量可以例如被生成为对比度估计。合适的颜色距离度量包括绝对差之和（SAD）、平方差之和（SSD）和诸如L*a*b*ΔE之类的感知距离（优选地，经带通滤波的信号（S-CIELAB））的近似。

在许多实施例中，适配器509可以布置成生成作为水平对比度度量的对比度度量。因此，可以考虑水平方向上的亮度或强度变化，而可以基本上忽略竖直方向上的亮度或强度变化。

这可以在许多实施例中提供改进的性能并且可以特别地允许图像块适配更加紧密地适配于如所感知到的图像。特别地，由于引入水平而非竖直移位和视差的三维效果，如果转变发生在水平方向上而不是如果其发生在竖直方向上的话，高对比度区域的影响可能引入显著的视觉伪像。发明人已认识到，通过具体地考虑水平对比度，通过局部适配深度和/或色调映射而可能的质量改进可以被显著增加。

图像变换器505相应地布置成局部地适配由第一图像生成单元503响应于局部对比度和/或深度度量通过基于完全深度的处理而针对其生成图像数据的观看角度的数目。具体地，适配器509可以布置成增加对应于不同观看方向的图像块的数目以得到增加的对比度度量和/或深度度量（即以得到指示增加的对比度或深度的度量）。图像块的数目可以是对比度度量的单调增加函数和/或深度度量的单调增加函数。

图5的系统可以提供图像质量（包括改进的三维体验和感知）与计算资源使用之间的改进的折衷。具体地，在许多情境中，针对给定计算资源使用而实现改进的图像质量，和/或针对给定图像质量实现降低的计算资源使用。这可以具体地通过局部适配依赖于局部对比度和/或深度通过基于深度的处理而针对其生成具体图像数据的观看角度的量被实现。

特别地，发明人已认识到，通过动态适配用于给定区的图像块的数目，通过从简单的内插或类似的非基于深度的方案确定用于不同视图的图像数据而引入的降级影响可以被最小化。使适配基于局部深度和/或对比度特别地允许计算资源聚焦在最可能对简化的处理敏感的区域上。

这可以通过考虑图6的示例图像被图示。该示例图示了针对图像的串扰伪像，并且具体地重影。在该图像中，可以看到第一区域601，其中对比度和深度偏离相当高。在该区域中，可以看到高程度的重影，其大幅降低所感知到的图像质量。相比之下，另一图像区域603基本上在参考深度水平处，即基本上不存在深度偏离。在该区域中，实际上不存在重影而不管相对高程度的对比度，并且因而实际上没有串扰伪像。在又一图像区域605中，深度偏离相当高但是对比度水平非常低。在该区域中，重影效果可能存在但是不生成非常可见的伪像。因此，如可以看到的，当深度偏离和对比度为高时发生高降级，而当深度偏离和对比度为低时发生低降级。

发明人已认识到，由简化处理导致的降级的存在性和感知显著性可以通过基于局部对比度和深度度量局部适配复杂的基于深度的处理与简化的非基于深度的处理之间的平衡被控制。实际上，该方案可以允许标识在感知上特别敏感的区段，使得可用计算能力可以聚焦在其上。

可以考虑到的是，深度指示在不同视图的图像之间存在多少视差和漂移，即其可以被视为不同视图的图像有多类似或不同的指示。照此，深度可以被感知为基于完全深度的处理的感知显著性的指示。

类似地，局部对比度可以被视为视觉（亮度/色度）域中图像有多不同的指示，并且因而可以被视为可以例如由简单内插引入多大误差的指示。

相应地，通过联合地考虑局部深度和对比度，可以获得降级在特定区域中可以多显著 的特别良好的指示。两个度量因而协同地提供感知影响的良好指示，并且可以提供比当仅考虑一个参数时更加精确地表示感知影响的信息。具体地，其可以允许更精确地标识关键区域。

相应地，在一些实施例中，适配器509布置成取决于局部深度和对比度而局部地调节由第一图像生成单元503用于生成图像块的再现管道的数目。当与显示参考平面（对应于没有视图之间的视差）的深度偏离增加（在屏幕后方或前方），相邻视图变得越来越分离，即像素视差增加。通过生成用于增加视差的更多图像块，可以实现的是两个相邻图像之间的视差保持为低，从而允许通过第二图像生成单元505的改进的内插。在所描述的方案中，如果用于该区的当前图像块之间的视差过高的话，通过创建附加图像块，相邻视图之间的像素的偏移可以例如被维持低于给定阈值。取代于增加用于完整图像/序列的经再现的视图的数目，方案可以仅在具有大深度的区域中增加它，从而减少计算资源使用。

相邻视图之间的该偏移在具有高对比度的区域中比在具有低对比度的区域中更加可见。实际上，如果对比度是低的，结果得到的内插值很可能不与通过完全三维处理生成的一个不同得太多。相应地，可能不必要生成额外的图像块，即便视差相对高。

在一些实施例中，适配器509可以布置成响应于针对第一图像生成装置的计算资源可用性而确定由第一图像生成单元503生成的用于所述多个区中的至少一个区的图像块的数目。

实际上，在许多情境中，适配器509可以选择用于中间三维图像的图像块的数目使得总体计算资源需求逼近但不超过给定计算资源可用性。

作为示例，显示驱动器501可以实时处理作为视频序列的部分的输入三维图像。因此，对于每一帧，输入三维图像被接收并且生成输出三维图像。第一图像生成单元503可以布置成生成预确定数目的N视图图像，其中每一个视图图像针对自动立体显示布置301的观看角度被生成，其中N小于自动立体显示布置301的视图的总数目M。

例如，对于M=15视图自动立体显示布置301，第一图像生成单元503可以布置成总是从帧的输入三维图像（其例如可以提供为具有相关联的深度图的二维图像）生成比方说N=3个完全视图图像。

该处理所要求的计算资源可以相对精确地被估计（或至少可以估计最大计算资源）。此外，第一图像生成单元503可以具有附加的空闲可用资源，并且空闲资源的量可以由适配器509得知、估计或假定。例如，第一图像生成单元503的处理可以假定空闲资源足以生成用于每一帧的比方说K=100个额外的图像块。（K可以例如由适配器509动态地适配）。

适配器509可以相应地针对每一个区确定深度和对比度度量，并且可以生成针对该区的组合显著性度量，其中显著性度量反映局部对比度和深度二者。适配器509然后可以继续优先化区并且基于针对区的显著性度量而确定要针对每一个区生成的图像块的数目。例如，如果显著性度量足够高，可以确定第一图像生成单元503应当生成针对自动立体显示布置301的每一个观看角度的图像块。对于显著性度量的较低值，可以例如确定针对每隔一个视图方向生成图像块，这导致针对该区生成五个额外的图像块。

适配器509可以以此方式继续向区分配图像块直到已经使用资源池，即在具体示例中，直到已经分配了100个图像块。以此方式，适配器509可以将可用资源聚焦在其中基于深度的处理具有最显著的效果的图像的特定部分上。

因此，在一些实施例中，适配器509可以实现优先化机制，其取决于局部深度和对比度度量而分配用于K个图像块的资源，其中K是已知的或预计可由可用硬件资源计算的图像块的数目。数目K可以是固定的或者例如在定时反馈回路中在运行时被估计。在一些实施例中，阈值λ可以被估计使得大约（或至多）K个显著性（或深度或对比度）度量大于λ。第一图像生成单元503然后可以处理输入三维图像并且生成用于其中显著性（或深度或对比度）度量超过阈值λ的那些区的附加图像块。

在许多实施例中，区中的至少一个并且典型地全部可以由一个或多个像素行形成。因此，在这样的实施例中，区将不包括像素行的仅一部分，而是整个像素行将被包括或者将不包括来自像素行的像素。作为具体示例，区可以通过将中间三维图像的中心二维图像划分成像素行被生成，即像素的每一行可以形成一个区并且等同地每一个区由一个像素行形成。在其它实施例中，可以生成较低数目的区，其中区中的一个或多个包括多个相邻的像素行。

将领会到，在其它实施例中，区可以不需要由整个像素行形成，而是可以实际上包括针对其仅包括像素行的像素的子集的一个或多个区。这可以提供附加灵活性并且允许针对其生成附加图像块的区域选择中的更精细的粒度。在一些实施例中这可以减少计算资源。

然而，基于整个像素行的区的使用在许多实施例中可以特别有利。具体地，三维处理（诸如视图偏移、去遮挡等）基于水平视差，并且相应地基于基于像素行的处理。在许多实施例中，处理整个像素行和处理像素行的仅一部分之间的计算资源使用中的差异可能相当小。实际上，在许多情境中，将像素行划分成较小区段、确定针对每一个区段的度量、评估每一个区段等所要求的附加资源可能大幅高于为了处理整个像素行所要求的额外资源。相应地，使区基于整个像素行通常不仅可以降低复杂度而且还可以减少总体资源使用。

另外，不仅基于深度的处理典型地行式操作从而降低复杂度和资源使用，而且该方案还可以典型地导致改进的图像质量。例如，当像素行的一些像素是视差偏移的而同时相邻像素则不然时可以生成边缘状伪像。

如之前所提到的，可以在一些实施例中使用迭代方案。

作为示例，第一图像生成单元503可以首先继续生成针对第一数目的视图方向的用于所有区的图像块。通过生成针对一个视图方向的用于所有区的图像块，生成针对该视图方向的完整图像。第一图像生成单元503可以继续最初生成数个这样的完整视图图像。例如，如在之前提到的示例中那样，第一图像生成单元503可以生成用于M=15视图自动立体显示布置301的N=3个完整视图图像。

随后，自动立体显示布置301可以继续生成针对区中的每一个（诸如例如针对每一个像素行）的深度度量，。深度度量可以基于已经生成的视图图像被生成。具体地，可以确定针对单独区生成的视图图像之间的视差。例如对于基于行的方案，最大或平均（或例如RMS）视差可以针对每一行基于已经生成的图像块（即基于所生成的视图图像的像素行）被确定。

适配器509然后可以继续基于这些视差而选择应当针对其生成对应于新视图的另外的图像块。例如，第一图像生成单元503可以具有空闲容量以处理用于中间三维图像的附加的200个像素行，针对中间三维图像的每一个视图图像具有比方说1080个像素行的竖直分辨率。其然后可以继续选择具有最高视差度量的200个像素行。对于这些像素行，可以生成对应于自动立体显示布置301的其余视图方向的附加图像块。

将领会到，适配器509可以不生成用于所选区的所有视图的图像块。例如，在一些实施例中，适配器509可以布置成使图像块针对用于针对其的深度度量或对比度度量在第一阈值以上的区的自动立体显示布置301的所有视图、针对用于针对其的深度度量或对比度度量在第一阈值以下但是第二阈值以上的区的每隔一个视图、针对用于针对其的深度度量或对比度度量在第二阈值以下但在第三阈值以上的区的每三个视图等被生成。

在一些实施例中，适配器509可以布置成响应于针对该区的视差度量超过阈值而选择要针对其生成针对附加观看角度的图像块的区。视差度量可以是针对已经针对两个相邻观看角度而生成的两个图像块的视差的度量。如果视差度量超过阈值，适配器509继续控制第一图像生成单元503以生成针对度量针对其被生成的两个相邻视图方向之间的视图方向的额外图像块。典型地，可以生成针对中途观看角度的图像块。

例如，对于给定像素行，适配器509可以分析已经生成的图像块的所有对。如果任何这样的对导致超过给定阈值的视差值（例如平均、最大或RMS视差），适配器509可以控制第一图像生成单元503以生成针对这样的视图角度的用于像素行的图像数据，所述视图角度在针对该对图像块的视图角度之间的中途。以此方式，无论何时两个相邻图像块之间的视差过高，生成新像素行图像块。过程可以例如针对每一个像素行迭代直到相邻图像块之间的所有视差在阈值以下。该方案还可以针对所有像素行被执行，从而确保第一图像生成单元503的基于深度的处理提供针对其的最大视差在阈值以下的图像数据。

因此，将领会到，针对区生成的图像块的数目不需要由适配器509明确地确定，然后生成该数目的图像块，而是例如取决于例如现有图像块的视差差异而连续生成附加图像块的迭代过程将导致作为局部图像性质的函数的针对区生成的图像块的不同数目。

作为另一示例，适配器509可以首先确定关于相邻/邻近观看角度/方向的针对每一对图像块的每一个像素行的视差度量。其可以在作为视差度量大小的函数排序的表格中存储所有所生成的视差度量。其然后可以选择最大的所计算的视差度量并且继续控制第一图像生成单元503以生成针对两个图像块的观看角度之间的观看角度的附加图像块。最大视差度量然后可以被删除，并且替代性地可以针对两个新的相邻图像块对中的每一个计算视差度量。可以将这两个新的视差度量添加到视差度量的表格。适配器509然后可以重复选择具有最大视差度量的图像块的对、生成该对之间的新图像块、删除之前的视差度量并且添加两个新个体的过程。该过程可以重复直到没有更多的处理时间可用。因此，在这样的方案中，适配器509可以继续总是向其中视差最高的特定区分配资源。作为结果，计算资源被聚焦在很可能最关键的区段上。

在一些实施例中，适配器509可以布置成确定针对其的深度度量在阈值以下的区的子集。例如，对于包括单个二维图像和相关联的深度图的输入图像，适配器509可以通过扫描深度图来确定针对每一个像素的最大深度。最大深度可以与阈值比较，并且可以标识针对其的最大深度在阈值以下的所有像素行。

适配器509然后可以继续控制第一图像生成单元503以生成用于所标识的区的仅一个图像块。因此，对于所标识的像素行，生成中间三维图像以仅包括一个图像对象，即针对仅一个视图方向提供像素值。视图方向可以具体地对应于自动立体显示布置301的中心视图，并且可以例如简单地通过从输入三维图像的二维图像的对应行复制对应的像素值被生成。

因此，在该方案中，标识针对其的深度足够低的数个区，并且对于这些区，仅针对中间三维图像生成二维输出。相应地，对于这些区，第二图像生成单元505将继续生成用于自动立体显示布置301的所有视图的相同图像数据，并且具体地，其可以简单地从中间三维图像复制图像数据。因此，在示例中，针对其存在非常低的深度的像素行由自动立体显示布置301呈现为平坦二维区。

该方案不仅可以大幅减少计算资源使用，而且还可以在许多情境中提供改进的图像质量，因为例如串扰可以减少。该改进可以由于降低的三维效果被实现，但是因为其针对被视为足够平坦的图像区被具体执行，这可以是可接受的并且实际上在许多实施例和应用中是优选的。

之前的描述聚焦在其中从输入三维图像生成中间三维图像的实施例上。然而，如所提到的，在一些实施例中，第一图像生成单元503可以替代性地（或可能附加地）布置成通过评估图形三维模型来生成中间三维图像。因此，在一些实施例中，第一图像生成单元503可以布置成基于三维场景的三维模型而生成中间三维图像。

例如，图形三维模型可以典型地用于例如游戏应用，并且实际上许多游戏当前基于三维场景几何形状、纹理和光源的使用。在这样的情境中，与三维模型一起使用虚拟透视相机以在游戏期间取决于用户的输入而合成场景的视图。

在下文中，将描述一些实施例，其具体地涉及（但不限于）用于三维图形的OpenGL标准的使用。具体地，图形卡可以经由OpenGL应用接口被控制。OpenGL着色语言添加将图形卡用于经由OpenGL的再现方面的灵活性。在下文中，描述一种方案，其可以使用现有OpenGL机制来选择性地将场景的仅一部分提取到存储器缓冲器，从而保存计算。具体地，OpenGL机制用于生成具有用于不同区的不同图像块的中间三维图像，并且其中然后从中间图像生成随后的输出三维图像。

在以下示例中，针对中间三维图像的观看角度和针对输出三维图像的观看角度相同，并且具体地，观看角度对应于针对自动立体显示布置301的观看角度。因此，针对自动立体显示布置301的观看角度生成中间三维图像的图像块。然而，在示例中，生成输出三维图像以包括针对自动立体显示布置301的每一个观看角度（即针对每一个视图）的完全二维图像，而生成中间三维图像以仅包括针对观看角度中的至少一些的部分图像。换言之，在一些区中，用于中间三维图像的图像块可以仅由第一图像生成单元503针对一些观看角度被生成。

在示例中，第一图像生成单元503和第二图像生成单元505使用相同的图像缓冲器。具体地，装置可以包括用于自动立体显示布置301的每一个观看角度的图像缓冲器。第一图像生成单元503然后可以首先生成图像块并且将这些存储在适当的缓冲器中。对于给定区，图像块可以相应地针对自动立体显示布置301的一个或多个观看角度被生成并且存储在（多个）对应的缓冲器中。第一图像生成单元503针对其生成图像块的观看角度和因而缓冲器的数目将针对不同区而不同（例如典型地取决于区中的深度和/或对比度）。

图7图示了具有两个对象的三维场景的示例。

第一对象701的几何形状接近于参考深度，即接近于显示深度，并且因而仅具有小位差/视差。对于该几何形状，第一图像生成单元503可以仅生成针对典型地对应于中心视图的仅单个观看角度的图像块，并且然后将此用于输出三维图像的所有视图。实际上，由于视差非常低，因此将相同的视角用于所有视图是可接受的，从而当在（自动）立体显示器上观看时有效地将对象几何形状约简成平面。

第一图像生成单元503可以执行以下操作：

1. 设置近和远剪裁平面以包括仅第一对象701；

2. 设置OpenGL中的视口以对应于中心视图数目；

3. 再现场景。

4. 将用于第一对象的结果得到的数据存储在中心视图图像缓冲器中。

以此方式，第一图像生成单元503因而生成用于区的单个图像块，其中第一对象701。

第二图像生成单元505然后可以通过简单地从中心视图图像缓冲器向来自所有其它视图的图像视图缓冲器复制图像数据来生成输出三维图像的对应像素。

然而，场景还可以包含第二对象703，其远离参考深度，并且其因而具有高程度的位差/视差。对于该对象，使用不同的方案。具体地，第一图像生成单元503可以执行以下步骤：

1. 设置近和远剪裁平面以包括仅第二对象703；

2. 在自动立体显示布置301的所有视图之上循环，并且对于每一个循环：

a. 设置OpenGL中的视口（viewport）以对应于当前视图；

b. 使用正确的视角再现针对该视图的场景；

c. 在针对当前视图的图像缓冲器中存储针对第二对象703的结果得到的图像数据。

以此方式，第一图像生成单元503可以生成针对所有可能的观看角度的图像块。因此，对于这些图像块，第二图像生成单元505可以通过直接使用已经由第一图像生成单元503生成并且存储在正确的缓冲器中的图像块来生成输出三维图像。

图8图示了不同的示例性方案。

在一些实施例中，第二图像生成单元505可以布置成在第一示例中（针对第一对象701）当从中心视图向其它视图复制图像块时添加固定位差。这可以允许第二图像生成单元505将第一对象701例如定位在屏幕后方的平面上而不是在屏幕深度处。该情形图示在图9中。为了引入该位差和深度偏移，由第二图像生成单元505执行的复制操作可以取决于针对第一对象701的所意图的深度而引入给定的水平偏移。

在示例中，第一对象701仅由用于中心视图的（多个）图像块表示。在其它示例中，第一对象701可以由针对自动立体显示布置301的多个观看角度（诸如例如针对每隔一个观看角度）的图像块表示。这样的示例在图10中被图示。在该示例中，第二图像生成单元505可以通过内插生成针对其余观看角度的图像数据。

在所再现的场景的顶部上显示的文本或图形叠覆往往由于屏幕外模糊而通常导致伪像。类似于以上描述的方案，文本或图形叠覆对象可以通过向自动立体显示布置301的所有视图复制相同的信息或例如具有相邻视图之间的固定位差/视差而被高效地再现。

这可以例如通过第一图像生成单元503生成叠覆对象并且将其存储在中心视图缓冲器中被完成。第二图像生成单元505然后可以将此复制到所有其它视图。图11图示了这样的方案。

在一些实施例中，适配器（509）因而可以布置成响应于三维模型的性质而适配图像块的数目。性质可以例如是通过评估模型或使用在模型的处理中的参数的性质而确定的性质。例如，性质可以是对于针对其生成图像对象的对象的深度，诸如例如通过近和远剪裁平面（其典型地基于模型几何形状被生成）表示。作为另一示例，图像块的数目可以基于三维模型的对象的性质（诸如例如用于对象的纹理的性质）被适配。如果纹理是高对比度纹理，可以比如果纹理是低对比度纹理的情况生成更多的图像块。

将领会到，将数据复制到其它图像缓冲器的示例只是示例并且许多其它方案是可能的。例如，取代于数据到所有视图缓冲器的显式复制，第二图像生成单元505可以生成交织图像，并且作为该过程的部分，可以直接从例如其中针对特定位置存储图像数据的最靠近的视图缓冲器获取数据。类似地，所描述的复制或内插可以被其它功能取代或增强，诸如直接从多个经不同再现的部分交织或者具有对这样的缓冲器的查找表，其潜在地使用深度缓冲器作为选择掩模。

之前的描述描述了说明利用来自中间图像的数个视图图像生成输出图像的方案，在中间图像中，不同空间区（空间细分）具有由像素值的块（每一个块对应于视图方向）表示的不同数目的视图方向。因此，已经关于输出图像的两阶段生成描述了过程。首先，生成包括对应于不同视图方向的像素值的块的中间图像。另外，块的数目在至少一些区中是不同的，即块/所表示的视图方向的数目在不同空间细分之间不同。第二，然后从中间图像的像素值块（图像块）生成输出图像。

在所描述的示例中，对应于不同视图方向的块的数目不是静态的/固定的/预确定的。相反，适配器基于中间图像或底层场景的表示的性质而适配不同视图方向的数目。因此，示例描述基于图像的性质适配针对单独区所提供的视图方向的数目的方案。

作为另外的具体示例，图像可以被想象，其包括人类面部和蓝天前方的红色球。对于这样的图像，系统可以限定两个区，一个对应于面部并且一个对应于红色球。适配器然后可以继续例如评估区中的颜色并且确定对应于面部的区可能主要是皮肤颜色，而对应于红色球的区基本上是红色。适配器然后可以选择，对于面部区，针对合适范围内的每五度生成图像块（即其可以实现要求针对主要是皮肤颜色的区的五度差异的算法）。然而，对于球区，适配器可以选择仅针对每二十度而生成的图像块（即其可以实现要求针对主要是红色（或可能地，一般而言，原色）颜色的区的五度差异的算法）。

因此，假定要覆盖比方说-20°到+20°的范围，可以生成中间图像以具有针对-20°,-15°, -10°, -5°, 0°, 5°, 10°, 15°和20°的面部区和针对-20°, 0°和20°的球区的像素值块。因此，由于图像的具体性质，一个区由具有紧密视点角度的九个图像块表示，而另一区由具有大观看角度差异的仅三个图像块表示。

系统然后可以继续从该中间图像生成输出图像。然而，处理是基于不同区中的不同数目的块的。例如，系统可以生成针对-10°的视图方向的输出视图图像。在该图像中，第二图像生成单元可以直接通过选择面部区的-10°块的像素值来生成对应于面部的区域。然而，对于球区域，第二图像生成单元必须从对应于其它观看方向的块生成像素值。例如，其可以在对应于-20°和0°的块之间进行内插。

尽管是相当简单的示例，但是这论证了所描述了原理如何可以允许系统执行基于（局部）图像性质的适配和第一与第二阶段过程的具体特性之间的折衷。

将领会到，之前描述的方案的原理不依赖于或限于生成中间图像或从中间图像生成输出图像的任何具体方式。

例如，如之前所描述的，一个选项是通过基于输入三维图像执行视图偏移来生成中间图像。实际上，如所描述的，系统可以执行视图偏移、去遮挡、像素偏移等。然而，这只是一些实施例的示例，并且方案绝不限于或取决于这样的具体过程。实际上，另一示例是从包括例如纹理和光源信息的场景的三维模型生成中间图像。

之前的示例聚焦在使用内插和具体的使用加权求和来生成输出图像上。更一般地，第二图像生成器可以例如通过图像块的组合来生成输出图像。然而，许多其它可能的组合是可能的并且实际上不必然执行组合。例如，第二图像生成器可以通过简单地针对每一个像素而选择针对最靠近的视图方向被生成的图像块中的该位置处的像素的像素值来生成针对给定观看方向的图像。例如，在以上示例中，针对面部区的像素可以被选择为用于针对-10°的角度的图像块的像素值，并且针对球区的像素可以被选择为用于针对-20°（或0°）的角度的图像块的像素值。

而且，与之前的示例一致，通过第一图像生成单元生成中间图像可以实际上基于深度信息。然而，在其它实施例中，通过第一图像生成单元生成中间图像可以不基于深度信息。例如，基于外插和内插的再现的使用是用于生成中间图像的图像块的可能方案。

之前的示例聚焦在采用基于深度的再现/算法的第一图像生成单元上，而第二图像生成单元采用非基于深度的再现。这在许多情境中提供特别有利的方案。具体地，在许多应用中，第一图像生成单元可以采用相对复杂且资源需求高的基于深度的算法以生成具有相对高质量的图像块，而第二图像生成单元可以采用相对低复杂度和低资源需求但是较不精确的非基于深度的算法以从图像块生成视图图像。例如，第一图像生成单元可以使用基于深度的视图合成算法以生成中间图像的图像块，并且第二图像生成单元可以简单地内插（或甚至只是从这些选择）。在这样的情况下，方案可以允许空间上不同的适配以及第一阶段与第二阶段之间的折衷。

然而，在其它示例中，第一图像生成单元可以布置成使用非基于深度的算法来生成高质量图像块。例如，第一图像生成单元可以布置成接收以对应于不同视图方向的大数目的高质量捕获图像的形式的输入。其可以继续通过基于应用复杂空间滤波器和基于所接收到的图像中的若干个应用复杂内插来生成针对区的所要求的图像块。第二图像生成单元然后可以例如通过简单的内插或通过选择具有最靠近的视图方向的图像块来生成输出图像。在这样的实施例中，适配器仍旧可以通过适配表示在不同区中的图像视点的数目来提供不同阶段的特性之间的折衷。例如，其可以允许适配，其中更多资源被分配到被视为更重要的区（例如相比于针对红色球区，更多的资源将用于生成针对面部区的更多图像块）。

还要指出的是，对于第二图像生成单元而言，使用基于深度的处理也是可行的。例如，在以上示例中，中间图像可以以高图像质量（例如高分辨率、高颜色深度、高动态范围）被生成。第二图像生成单元可以在生成视图图像时考虑深度信息。例如，其可以通过以最靠近的观看方向从对应图像块视图偏移来生成用于视图图像的像素。该视图偏移可以基于例如与输入图像一起提供但是未被第一图像生成单元考虑的低分辨率深度图。因此，在这样的实施例中，中间图像的生成可以是非基于深度的，而从中间图像生成输出图像可以是基于深度的。这样的方案可以例如还允许适配使得在适当的区（例如面部区）花费增加的资源。

还要指出的是，不一定由第一图像生成单元使用的算法比由第二图像生成单元使用的算法更加复杂、更高质量或资源需求更多。尽管，这样的实施例可以在许多情境中提供特别有利的实现，但是该方案也可以应用在其中情况不是这样的实施例中。例如，该方案可以仍旧允许适配，其中总体感知到的图像质量通过将资源聚焦在被视为特别重要的区域上被改进。

将领会到，为了清楚起见，以上描述参照不同的功能电路、单元和处理器描述了本发明的实施例。然而，将明显的是，可以在不脱离本发明的情况下使用功能性在不同功能电路、单元或处理器之间的任何合适分布。例如，被说明成由分离的处理器或控制器执行的功能性可以由相同的处理器或控制器执行。因而，对具体功能单元或电路的引用仅被视为对用于提供所描述的功能性的合适构件的引用而不指示严格的逻辑或物理结构或组织。

本发明可以以任何合适的形式被实现，包括硬件、软件、固件或这些的任何组合。本发明可以可选地至少部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和组件可以在物理上、功能能和逻辑上以任何合适的方式实现。实际上，功能性可以在单个单元中、多个单元中或作为其它功能单元的部分被实现。照此，本发明可以实现在单个单元中或者可以在物理上和功能上分布在不同单元、电路和处理器之间。

尽管已经结合一些实施例描述了本发明，但是其不意在限于本文所阐述的具体形式。相反，本发明的范围仅由随附权利要求限制。此外，尽管特征可能看起来结合特定实施例被描述，但是本领域技术人员将认识到，所描述的实施例的各种特征可以依照本发明进行组合。在权利要求中，术语包括不排除其它元件或步骤的存在。

另外，尽管单独列出，但是多个构件、元件、电路和方法步骤可以由例如单个电路、单元或处理器实现。此外，尽管单独特征可以包括在不同的权利要求中，但是这些可以可能地进行有利组合，并且在不同权利要求中的包括不暗示特征的组合不是可行和/或有利的。而且，特征在一种类别的权利要求中的包括不暗示对该种类别的限制，而是指示特征酌情等同地适用于其它权利要求类别。另外，权利要求中的特征的次序不暗示特征必须以其工作的任何具体次序，并且特别地，方法权利要求中的单独步骤的次序不暗示步骤必须以该次序执行。相反，步骤可以以任何合适的次序执行。此外，单数引用不排除多个。因此对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的参考标记只是被提供为澄清示例，不应当被解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种用于生成输出三维图像的装置，所述装置包括：

第一图像生成单元（503），其用于生成中间三维图像，中间三维图像（503）包括作为中间三维图像（503）的空间细分的多个区，并且第一图像生成单元（503）布置成生成用于所述多个区的像素值的数个图像块，图像块的数目对于所述多个区中的至少两个区是不同的，并且每一个图像块包括用于对应于视图方向的像素分组的像素值；

第二图像生成单元（505），其用于从中间三维图像生成包括数个视图图像的输出三维图像，所述数个视图图像中的每一个对应于视图方向；

适配器（509），其用于响应于中间三维图像和第一图像生成单元（503）布置成从其生成中间三维图像的三维场景的表示中的至少一个的性质而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块。

2.权利要求1的装置，其中性质是深度度量。

3.权利要求1的装置，其中性质是对比度度量。

4.权利要求1的装置，其中适配器（509）还布置成响应于针对第一图像生成单元（501）的计算资源可用性而确定用于第一区的图像块的数目。

5.权利要求1的装置，其中所述多个区包括由至少一个像素行形成的区。

6.权利要求1的装置，其中所述多个区中的至少一个区仅包括像素行的像素的子集。

7.权利要求1的装置，其中第一图像生成单元（503）布置成生成针对第一数目的观看方向的用于所述多个区中的所有区的图像块，并且适配器（509）布置成随后响应于针对第一数目的观看角度的每一个区的图像块之间的视差而选择针对其生成针对至少一个附加视图方向的图像块的所述多个区中的区的子集。

8.权利要求1的装置，其中适配器（509）布置成响应于视差度量超过阈值而选择针对其生成针对至少一个附加观看角度的图像块的区，视差度量是对于针对与附加观看角度相邻的两个观看角度的两个图像块的视差的度量。

9.权利要求1的装置，其中适配器（509）布置成确定针对其的深度度量在阈值以下的区的子集，并且将所述子集的每一个区中的图像块的数目设置成一。

10.权利要求1的装置，其中性质是视觉性质。

11. 权利要求1的装置，其中性质指示明亮度性质和颜色性质中的至少一个。

12.权利要求1的装置，其中第一图像生成单元（503）布置成基于三维场景的三维模型生成中间三维图像；并且

适配器（509）布置成响应于三维模型的性质而适配图像块的数目。

13.一种自动立体三维显示器，包括：

第一图像生成单元（503），其用于生成中间三维图像，中间三维图像（503）包括多个区，所述多个区是中间三维图像（503）的空间细分，并且第一图像生成单元（503）布置成生成针对所述多个区的像素值的数个图像块，图像块的数目对于所述多个区中的至少两个区是不同的，并且每一个图像块包括用于对应于视图方向的像素分组的像素值；

第二图像生成单元（505），其用于从中间三维图像生成包括数个视图图像的输出三维图像，所述数个视图图像中的每一个对应于视图方向；

显示布置（301），其用于显示三维图像；

显示驱动器（507），其用于驱动显示布置（301）以显示输出三维图像；以及

适配器（509），其用于响应于中间三维图像和到第一图像生成单元（503）的三维输入图像中的至少一个的性质而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块。

14.一种生成输出三维图像的方法，所述方法包括：

通过生成针对多个区的像素值的数个图像块来生成包括所述多个区的中间三维图像，所述多个区是中间三维图像（503）的空间细分，图像块的数目对于所述多个区中的至少两个区是不同的并且每一个图像块包括用于对应于视图方向的像素分组的像素值；

从中间三维图像生成包括数个视图图像的输出三维图像，所述数个视图图像中的每一个对应于视图方向；

响应于中间三维图像和用于生成中间三维图像的三维输入图像中的至少一个的性质而关于不同观看方向适配用于所述多个区中的至少第一区的数个图像块。

15.一种计算机程序产品，包括计算机程序代码构件，其被适配成当所述程序在计算机上运行时执行权利要求14的所有步骤。