CN102165495B - 三维图像数据处理 - Google Patents

Abstract

一种设备产生三维图像数据。具体地，将用于第一图像层的图像数据和用于第二图像层的图像数据与用于第一图像层和第二图像层中的至少一个的深度指示数据一起产生。两个图像层可以被用于例如相关的图像，诸如前景图像和背景图像，或者用于独立的图像，诸如用于淡入淡出的起始图像和最终图像。产生指示各图像层之间的相关性的相关性指示符，并将其包括在三维数据中。一种呈现设备可以接收该三维数据并且基于该数据产生用于三维表示的各图像。依赖于该相关性指示符来适配三维处理。例如，可以仅在该相关性指示符指示相关的图像层时，执行层间去遮挡处理。

Description

三维图像数据处理

技术领域

本发明涉及包括三维视频图像数据的三维图像数据。

背景技术

三维显示通过向观看者的眼睛提供正被观看的场景的不同视图来将第三维添加到观看体验。用于表示三维（3D）图像的流行方式是使用一个或多个二维（2D）图像加提供该第三维的信息的深度表示。这样的方式提供了许多优点，包括：允许利用相对低复杂度来产生3D视图并且提供有效的数据表示，由此降低例如对于3D图像（和视频）信号的存储和通信资源需求。该方式还允许产生具有与在3D图像数据中包括的2D图像不同的视点和视角的2D图像。这可以特别地用于生成附加的图像，从而提供对应于观看者双眼视角的两个图像。这可以用于提供3D感受，即提供3D图像。

通过单个2D图像和相关联的深度信息来表示3D图像的缺点是：其不包括关于被前景对象遮挡的背景图像区域的信息。相应地，如果场景是针对不同视点呈现（render）的，则不能透露在前景对象后面的信息。相应地，已经建议使用多层图像和深度表示，其包括多个二维图像（例如，前景图像和背景图像）以及相关联的深度信息。可以在http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=20得到的Steven J. Gortler与Li-wei He的Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09，a.o.和例如美国专利申请US20070057944中找到如何根据这样的信息呈现新视图的描述。

在使用多于一层的方式中，已经提出允许层是半透明的。在计算机图形领域中，在例如Norman P. Jouppi与Chun-Fa Chang, "An Economical Hardware Technique for High-Quality Antialiasing and Transparency", Proceedings of Eurographics/Siggraph workshop on graphics hardware 1999中描述了这样的方式。这样的方式允许使半透明材料（例如，水、烟雾、火焰）可视化并且还允许处于不同深度的对象的边缘的改进的抗混叠（anti-aliasing）。具体地，其允许边缘的更渐进的转变（more gradual transition of edges）。因此，透明度可以不仅仅被用于表示半透明对象，而也可以通过使边缘半透明允许前景对象边缘的抗混叠，从而透明度值表示像素有多少应当是前景以及有多少背景应当可见。这样的方式的实例可以在C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski, "High-quality video view interpolation using a layered representation", Proceedings of Siggraph 2004中找到。

然而，尽管这样的方式在许多情形下可以提供改进的3D图像感受和图像，但是它们趋于具有一些缺点。具体地，在一些情形下，图像质量和3D感受可能不是最优的，并且3D处理可能引入失真和图像劣化（诸如，可视伪像）。

因此，3D图像数据处理的改进方式将是有利的，并且具体地允许增加的灵活性、提高的图像质量、便利的实现方式和/或提高的性能的方式将是有利的。

发明内容

相应地，本发明寻求单个地或以任何组合地优选地减轻、缓解或消除一个或多个上述缺点。 

根据本发明一方面，提供了一种产生三维图像数据的方法，所述三维图像数据包括用于呈现三维图像的各视图的画面元素的多个图像层，该方法包括：提供（301）用于第一图像层的第一图像数据；提供（303）用于第二图像层的第二图像数据；提供（305）用于第一图像层和第二图像层中的至少一个的深度指示数据；生成（307）相关性指示符（indicator），该相关性指示符指示第一图像层的第一图像是否包含用于第二图像层的第二同步图像的补充性三维分层图像数据；以及生成（309）包括第一图像数据、第二图像数据、深度指示数据和相关性指示符的三维图像数据。

本发明在许多情形下可以提供改进的性能。具体地，可以实现改进的3D感受和/或图像质量。具体地，可以降低或消除与一些条件下的3D图像处理相关联的许多图像伪像和劣化。呈现图像元素可以指代呈现图像的（子）像素；该图像例如是三维场景的全视图。

相关性指示符可以指示第一图像层和第二图像层的同步图像是否包括用于彼此的补充性三维分层的图像数据。这里期望的同步图像意图指代被期望用于呈现一个时刻的图像元素的数据。

例如，补充性图像数据可以是用于表示不同深度的一个或多个附加图像平面的数据。例如，前景图像可以提供用于背景图像的补充性3D图像数据，反之亦然。

具体地，发明人已经认识到：可以将分层的3D图像格式用于各图像层中不同类别的图像，并且在这些分层的3D图像格式的3D处理中可能出现劣化。发明人已经进一步认识到：通过依赖于在各图像层中提供的图像数据的性质（nature）来适配3D处理，并且特别地通过响应于各图像层之间的关系来适配3D处理，可以实现提高的性能。具体地，发明人已经认识到：当各图像层被视为独立但实际上相关时，可能出现图像劣化，或反之亦然。发明人已经进一步认识到：可以通过在三维数据中包括相关性指示符来由始发器/编码器/发送器控制例如3D图像的呈现。

例如，对于图像序列，诸如对于视频序列，第一和第二图像层可以包括用于同一场景的前景和背景。因此，可以组合各层的图像数据以产生立体图像（例如，对于前景图像对象的去遮挡（de-occlusion）可以使用来自背景图像的图像信息）。相应地，各图像层是相关的和彼此有关的，并且呈现单元在产生3D图像视图时可以一起考虑两个图像。然而，在从一个场景到另一场景的淡入淡出（cross fade）期间，第一图像层可以包括原始场景的混合的前景和背景图像，而第二图像层可以包括随后场景的混合的前景和背景图像。然后，可以使用逐渐改变的透明度值来执行从第一图像层到第二图像层的淡入淡出。在淡入淡出之后，然后，各图像层可以回复至包括分离的前景和背景图像。然而，如发明人认识到的，因为3D处理将试图基于不是彼此的前景图像和背景图像的图像来执行去遮挡（de-occlusion），所以这样的序列可能在淡入淡出期间大量导致图像劣化和伪像。如发明人还认识到的，这可以通过在淡入淡出之前和之后而不是在淡入淡出期间可以反映各图像层是相关的相关性指示符来缓和。相应地，3D处理可以被动态地适配为在相关性指示符指示各图像层不是相关的时不执行层间（interlayer）3D处理。

相关性指示符可以指示第一图像层和第二图像层的同步图像的三维层间处理是否是可行的。相关性指示可以指示第一图像和第二图像的同步图像是否提供用于要呈现的图像的不同深度级处的补充性表示。相关性指示符具体地可以是组合指示符，其指示第一图像层和第二图像层的同步图像是否可以通过使用来自各层的彼此有关的三维信息的三维处理来组合。

每个图像层可以包括一个或多个图像。例如，每个图像层可以包括图像序列。第一和第二图像层可以包括彼此重叠的图像。

依据本发明的可选特征，在第一图像层是对于第二图像的遮挡层时，相关性指示符指示第一图像层和第二图像层是相关的。

这可以允许改进的3D图像处理，并且可以具体地降低由去遮挡处理引入的图像伪像和图像质量劣化。3D呈现单元可以取决于该相关性指示符来具体地适配3D去遮挡处理，并且如果该相关性指示符指示第一和第二图像层是相关的，3D呈现单元可以具体地将第一和第二图像层这两者用于去遮挡处理，否则，3D呈现单元仅使用这些层的其中之一。

依据本发明的可选特征，在第一图像层不是对于第二图像的遮挡层时，相关性指示符指示第一图像层和第二图像是独立的。

这可以允许简化的且/或改进的相关性指示，并且可以具体地在许多实施例中允许简化的操作。该相关性指示符可以是反映第一图像层是否是对于第二图像层的遮挡层的二进制值。

依据本发明的可选特征，深度指示数据包括用于第一图像层的第一深度指示图和用于第二图像层的第二深度指示图；并且其中，在第一深度指示图的深度指示值与第二深度指示图的深度指示值不一致时，该相关性指示符指示第一图像层和第二图像层是独立的。

这可以允许改进的3D图像处理，并且具体地可以降低由3D处理引入的图像伪像和图像质量劣化。具体地，相关性指示符可以在3D图像处理系统中提供改进的对于深度信息的控制，并且可以降低或减轻处理不一致的深度数据的影响。

依据本发明的可选特征，如果在至少一个图像区域中第一深度指示图的深度指示值可以表示比第二深度指示图的深度指示值更深的深度级、以及在至少一个其它图像区域中第二深度指示图的深度指示值可以表示比第一深度指示图的深度指示值更深的深度级，则第一深度指示图的深度指示值与第二深度指示图的深度指示值不一致。

这可以允许改进的3D图像处理，并且具体地可以降低由3D处理引入的图像伪像和图像质量劣化。用于图像元素或像素的更深的深度级具体地可以是表示相对于与三维图像的该视图对应的视点更远的图像元素的深度指示值。

依据本发明的可选特征，当第一图像层和第二图像层包括淡入淡出的图像时，相关性指示符指示第一图像层和第二图像层是独立的，而当第一图像层和第二图像层不包括淡入淡出的图像时，相关性指示符指示第一图像层和第二图像层是相关的。

本发明可以允许具体的改进的淡入淡出操作。具体地，本发明可以降低在执行淡入淡出时的图像劣化和伪像，同时仍允许在不执行淡入淡出时的高质量3D处理。

淡入淡出可以包括从一个图像或图像序列到另一图像或图像序列的任何转变。例如，可以使用两个图像（或图像序列）之间的逐渐的透明度转变。作为另一实例，淡入淡出可以是划入划出（wipe）或其它转变样式。

依据本发明的可选特征，相关性指示符是二进制数据值，其具有指示第一图像层和第二图像层是相关的第一值以及指示第一图像层和第二图像层是独立的第二值。

这可以允许有效的表示和数据开销的降低，同时允许有效的3D处理控制以便降低由3D处理引起的图像劣化或伪像。

依据本发明的可选特征，如果第一图像层包括用于第二图像层的图像的前景图像，则相关性指示符被设置为第一值，并且如果第一图像层不包括用于第二图像层的图像的前景图像，则相关性指示符被设置为第二值。

这可以允许改进的3D图像处理，并且可以具体地允许基于前景和背景图像的高质量的3D处理，同时在前景和背景图像不可用时降低图像伪像和图像质量劣化。第二图像层的前景图像可以具体地是包括用于第二图像层的图像的前景图像对象以及第二图像层的图像的一个或多个图像区域这两者的混合图像。

依据本发明的可选特征，第一图像层属于第一图像层组，第二图像层属于第二图像层组，第一图像层组和第二图像层组中的至少一个包括多个图像层；相关性指示符指示第一图像层组的图像层和第二图像层组的图像层之间的相关性。

这可以允许有效的操作、提高的图像质量和/或提高的灵活性。在许多实施例中，该方式可以允许对3D处理的有效控制，同时保持低的信令开销。

依据本发明的可选特征，图像层组的图像层是相关的图像层。

这可以允许有效的操作、提高的图像质量和/或提高的灵活性。具体地，将图像层划分为各组相关的图像层，其中各组之间的相关性是变量并且由相关性指示符指示，这可以允许3D图像数据的有效表示并且可以降低例如数据率。

依据本发明的可选特征，用于图像层组中的各图像层的图像数据是相邻的，并且相关性指示符指示三维图像数据中下一独立的图像层组的位置。

这可以允许相关性信息的特别有效的表示，并且可以降低相关性指示符所需的开销量。

依据本发明的可选特征，该方法还包括：提供用于第一图像层和第二图像层中的至少一个的透明度数据，并且在三维图像数据中包括该透明度数据。

透明度信息和相关性信息的组合可以允许具体的有效的3D处理方式。具体地，该组合可以允许以提高的性能和/或图像质量执行许多有效的处理算法。例如，可以实现改进的淡入淡出操作，同时保持便利的控制和低的资源使用。

依据本发明的另一方面，提供了一种呈现图像元素的方法，包括：接收（501）三维图像数据，该三维图像数据包括用于第一图像层的第一图像数据、用于第二图像层的第二图像数据、用于第一图像层和第二图像层中的至少一个的深度指示数据、以及指示第一图像层和第二图像层之间的相关性的相关性指示符；以及通过响应于该相关性指示符处理第一图像数据、第二图像数据和深度指示数据，呈现（503）用于使三维图像可视化的、三维图像数据的多个视图的图像元素。

该方法可以允许改进的用于3D表示的图像元素的呈现。具体地，可以实现由3D处理导致的减少的图像劣化或伪像。具体地，可以防止图像处理被自动适配为3D图像数据的特定特征。将理解，先前参考产生3D图像数据的方法描述的特征、评论和优点在合适时将同样地适用于该呈现方法。

依据本发明的可选特征，该呈现（503）包括：仅当相关性指示符指示第一图像层和第二图像层是相关的时，执行第一图像层和第二图像层的同步图像的层间三维图像处理。

这在许多应用中可以允许提高的图像质量，并且具体地可以提供有效的和高性能的将层间处理的应用限制到其中层间处理很可能是有利的场合的手段。

依据本发明的可选特征，该呈现（503）包括：只有在相关性指示符指示第一图像层和第二图像层是相关的时，使用来自第二图像层的第二图像的信息执行对于第一图像层的第一图像的去遮挡。

这在许多应用中可以允许提高的图像质量，并且具体地可以提供有效的和高性能的将去遮挡和3D呈现算法适配到图像层的特定（当前）特征和使用的手段。

依据本发明的可选特征，该呈现（503）包括：组合第一图像层的第一图像和第二图像层的第二图像，在相关性指示符指示第一图像层和第二图像层是相关的时，该组合响应于三维图像信息，在相关性指示符指示第一图像层和第二图像层是独立的时，该组合不响应于三维图像信息。

在图像层是独立的时，该组合可以特别地仅响应于透明度信息。可以考虑3D信息来产生单独的第一图像和第二图像这两者，但是这些的组合将依据可选特征在组合作为结果的图像时不考虑3D信息。在图像层是独立的时，该组合可以具体地通过像素值的线性组合来进行。在此情况下，第一图像和第二图像的加权可以取决于像素的透明度值。

依据本发明的另一方面，提供了一种产生三维图像数据的设备，所述三维图像数据包括用于呈现三维图像的各视图的画面元素的多个图像层，该设备包括：用于提供用于第一图像层的第一图像数据的装置（203）；用于提供用于第二图像层的第二图像数据的装置（205）；用于提供用于第一图像层和第二图像层中的至少一个的深度指示数据的装置（209，211）；用于产生指示第一图像层和第二图像层之间的相关性的相关性指示符的装置（213）；以及用于产生包括第一图像数据、第二图像数据、深度指示数据和相关性指示符的三维图像数据的装置（215）。

依据本发明的另一方面，提供了一种呈现图像元素的设备，该设备包括：用于接收三维图像数据的装置（401），该三维图像数据包括用于第一图像层的第一图像数据、用于第二图像层的第二图像数据、用于第一图像层和第二图像层中的至少一个的深度指示数据、以及指示第一图像层和第二图像层之间的相关性的相关性指示符；以及用于通过响应于该相关性指示符处理第一图像数据、第二图像数据和深度指示数据而呈现用于使三维图像可视化的、三维图像数据的多个视图的图像元素的装置（403）。

依据本发明的另一方面，提供了一种图像信号，包括：用于第一图像层的第一图像数据；用于第二图像层的第二图像数据；用于第一图像层和第二图像层中的至少一个的深度指示数据；以及指示第一图像层和第二图像层之间的相关性的相关性指示符。

根据本发明的另一方面，提供了一种产生三维图像数据的方法，所述三维图像数据包括用于呈现三维图像数据的各视图的画面元素的多个图像层，该方法包括：提供第一图像层，该第一图像层包括至少对于一些图像表示包括来自多个图像的贡献的合成图像的图像数据；提供第一深度层，该第一深度层包括用于该合成图像的合成深度图；提供第二图像层，该第二图像层包括用于对该合成图像有贡献的另一图像的图像数据；提供第二深度层，该第二深度层包括用于该另一图像的另一深度图；提供透明度图，该透明度图表示该另一图像对该合成图像的贡献；产生相关性指示符，该相关性指示符反映第二图像层的图像是否包括对第一图像层的合成图像有贡献的至少一个图像的前景图像和背景图像中的至少一个、或者反映第二图像层的图像是否不是对该合成图像有贡献的任何图像的前景图像和背景图像之一；并且产生包括第一图像层、第一深度层、第二图像层、第二深度层、透明度图和相关性指示符的三维图像数据。

根据本发明的另一方面，提供了一种呈现图像元素的方法，包括：接收包括第一图像层、第一深度层、第二图像层、第二深度层、透明度图和相关性指示符的三维图像数据，所述第一图像层包括至少对于一些图像表示包括来自多个图像的贡献的合成图像的图像数据，所述第一深度层包括用于所述合成图像的合成深度图，所述第二图像层包括用于对所述合成图像有贡献的另一图像的图像数据，所述第二深度层包括用于所述另一图像的另一深度图，所述透明度图表示所述另一图像对该合成图像的贡献，所述相关性指示符反映第二图像层的图像是否包括对第一图像层的合成图像有贡献的至少一个图像的前景图像和背景图像中的至少一个、或者第二图像层的图像是否不是对该合成图像有贡献的任何图像的前景图像和背景图像之一；以及通过对三维图像数据的三维处理来呈现用于使三维图像可视化的、三维图像数据的多个视图的图像元素，其中，仅当相关性指示符指示第二图像层的图像是对第一图像层的图像有贡献的图像的背景图像和前景图像中的至少一个时，对于第一图像层的图像的去遮挡响应于第二图像层的同步图像而进行。

本发明的这些和其它方面、特征和优点将从下文中描述的实施例中变得明显，并且将参考下文中描述的实施例来说明本发明的这些和其它方面、特征和优点。

附图说明

将参考附图仅作为实例来描述本发明的实施例，在附图中：

图1是用于产生供三维观看的图像的数据的实例的图示；

图2图示了根据本发明一些实施例的用于产生三维图像数据的设备的实例；

图3图示了根据本发明一些实施例的产生三维图像数据的方法的实例；

图4图示了根据本发明一些实施例的用于呈现图像元素的设备的实例；

图5图示了根据本发明一些实施例的呈现图像元素的方法的实例；

图6图示了根据本发明一些实施例的淡入淡出的实例；以及

图7图示了根据本发明的一些实施例的淡入淡出的实例；

图8图示了呈现用于不同视角的图像的实例；以及

图9图示了根据本发明一些实施例的淡入淡出的实例。

具体实施方式

以下描述集中在本发明的实施例上，这些实施例可应用于可以被应用到视频信号的一个或多个帧的3D图像信息表示。然而，应理解本发明不限于此应用，而是可以应用到包括例如静止图像、动画等的许多其它图像类型。

用于表示3D图像数据的流行格式是使用用于前景图像的图像数据的第一图像层以及用于背景图像的图像数据的第二图像层。在一些情形下，可以使用多于两层，例如可以将第三层用于处于背景图像和前景图像之间的图像。此外，经常以用于背景图像、前景图像、或典型地用于前景图像和背景图像这两者的深度指示图的形式来包括深度指示数据。另外，已经提出了包括表示用于图像的图像对象的透明度程度的透明度数据。典型地，包括前景透明度层，其包含描述前景应当多么透明（即，背景应当透过前景可见的程度）的透明度信息。

图1图示了根据这样的格式的3D图像数据的实例。图1具体地图示了背景图像101，其具有相关联的深度指示图103，对于每个像素，该深度指示图103具有指示背景图像像素的深度的值。在该实例中，3D图像数据还包括前景图像105和相关联的深度指示图107。在特定实例中，前景图像105实际上是包括前景图像对象的混合图像。然而，对于其中没有前景图像对象的图像区域，已经将背景像素值拷贝到前景图像。类似地，对于这些像素，背景深度指示值已经被拷贝到前景深度指示图109。混合图像的使用可以提供改进的后向兼容性，这是由于其允许直接将该混合图像表现为传统的2D图像。然而，将理解，以下方式可以等同地应用于仅包含前景图像对象的前景图像，即，传统的前景图像。

3D图像数据还包括透明度图109，对于每个像素，透明度图109指示前景的透明度。具体地，对于作为实心前景图像对象的部分的像素值，透明度值可以指示全不透明度（即，仅前景是可见的）。对于完全在任何前景图像对象外部的像素值，透明度值可以指示全透明度（即，在此位置处背景是清晰的并且是完全可见的）。此外，对于半透明的前景图像对象，诸如实例的重影（ghost）图像对象，透明度值可以具有指示前景和背景这两者都是部分可见的中间值。此外，在前景图像对象的边缘周围可以应用中间透明度值，以便在前景和背景之间提供平滑的转变。这可以提高抗混叠的性能。

3D图像数据可以被用来执行三维图像处理。具体地，图像数据可以被用来产生与不同视角对应的两个视图。然后可以将这两个视图提供给用户的两只眼睛，导致3D感受观看体验。

例如，通过使用透明度值将背景图像和前景图像组合（或者，在本情况下，可以直接使用混合图像），可以直接产生针对左眼的图像。然后，基于在深度图和透明度图中包含的三维信息，可以产生针对右眼的第二图像。例如在Steven J. Gortler和Li-wei He的Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR- 97-09中、以及例如美国专利申请US20070057944中提供了这样的处理的实例。

产生第二图像的处理可以包括与所确定的视差对应地偏移图像对象。此外，该处理可以包括执行对于一些前景图像对象的去遮挡。具体地，在原始视图中由于被前景图像对象重叠而看不到的一些背景像素，在不同的视角可能变得可见。在这样的情况下，可以将用于右眼图像的像素值设置为对应于用于适当背景图像像素（先前被遮挡的）的像素值。该方式可能导致对于新产生的图像的高图像质量。

然而，在一些情形下，可用的图像层还可以被用来提供其它视觉效果。具体地，可以通过将原始图像置入第一图像层并将新图像置入第二图像层来实现从一个图像到另一图像（或者，对于视频序列而言，从一个图像序列到另一图像序列）的淡入淡出。然后，透明度数据可以被用于从第一图像层到第二图像层的转变。这可能提供可以以低复杂度实现的高效的淡入淡出。

发明人已经认识到：对于3D图像数据和透明度值，存在不同的使用场合。例如，透明度值可以被用来建立场景中的半透明对象/边缘，或者它们可以被用来建立完全独立的图像之间的重叠效果（诸如例如当在两个3D图像之间执行淡入淡出时）。

发明人已经进一步认识到：对于图像的呈现而言，这可能具有显著重要性。具体地，当各层是有关的/相关的并且包括具有相关（linked）的3D（诸如在前景/背景实例中）意义的图像时，可以应用层间3D处理来提高所呈现的图像质量。这样的层间处理的实例包括用来自第二层的信息填充第一层中的去遮挡区域；将背景层像素拷贝到紧接在去遮挡之前的前景等等。然而，发明人已经认识到：当两个层没有3D关系时，这样的层间处理将典型地是不利的。

发明人已经进一步认识到：可以在3D图像数据中包括附加信息以便允许始发/发送端控制由呈现单元执行的该呈现处理。具体地，发明人已经认识到：通过包括反映各图像层之间的（当前）相关性的相关性指示符，可以实现改进的操作和性能。该相关性指示符指示一个图像层的图像是否包含用于另一图像层的同步图像的补充性3D分层的图像数据。用于两个图像的补充性3D数据可以具体地对应于反映用于在该图像平面可见的图像对象的数据的数据。

该相关性指示符可以例如指示在呈现3D图像数据时可以应用还是不应应用层间3D处理。因此，具体地，该相关性指示符可以被用来发信号通知（signal）多层表示的各层是否是相互有关的，使得可以开启或关闭适当处理。作为用于两层表示的特定实例，该相关性指示符可以是单个比特，其发信号通知这两层是独立的还是有关的。

该相关性指示符可以例如由内容创建工具来产生，并且可以例如以适当的文件格式被编码为元数据。例如，其可以作为附加标志被插入在用于包含3D图像数据的数据分组的消息报头中。

图2图示了用于产生包括多个图像层的三维图像数据的设备的实例。该设备具体地为信号编码器，其对包括与图2的实例对应的数据的三维图像信号进行编码。

该信号编码器包括内容处理器201，其接收与立体量测（stereo-metric）视图（例如源自两个分离的摄像机）对应的视频信号。作为响应，内容处理器201产生前景图像序列和背景图像序列。

前景图像被馈送到第一图像层处理器203，第一图像层处理器203进而产生用于第一图像层的第一图像数据。在该实例中，第一图像层处理器203通常产生用于第一图像层的前景图像数据，使得第一图像层包括前景图像序列。然而，在一些转变时间间隔期间，第一图像层可以用于其它类型的图像。具体地，在从一个图像序列到另一图像序列的淡入淡出期间，为第一图像层产生的图像数据可以是组合的前景和背景图像的图像数据。因此，第一图像层有时可以包括前景图像，并且有时可以包括组合的前景和背景图像，即单层图像表示。将理解，在将混合图像用于前景（如图1的实例中）的实施例中，第一图像层可以总是包括混合图像。然而，在其它实施例中，第一图像层处理器203可以被布置来（仅）在淡入淡出转变期间组合所接收的前景和背景图像。

背景图像被馈送到第二图像层处理器205，第二图像层处理器205进而产生用于第二图像层的第二图像数据。在该实例中，第二图像层处理器205主要产生用于第二图像层的背景图像数据。然而，在一些转变时间间隔期间，第二图像层可以用于其它类型的图像。具体地，在从一个图像序列到另一图像序列的淡入淡出期间，为第二图像层产生的图像数据可以是用于淡入淡出正在淡入/淡出为的图像序列的图像。因此，第二图像层有时可以包括用于第一图像层的前景图像的背景图像，并且有时可以包括与第一图像层的图像独立的图像。

相应地，在该实例中，第一图像层包括前景图像，而第二图像层大多数时间包括对应的背景图像。然而，在淡入淡出期间，第一图像层将包含用于作为用于淡入淡出之前的图像序列的组合的前景图像和背景图像的混合图像的数据。类似地，第二图像层将包含用于作为用于淡入淡出之后的图像序列的组合的前景图像和背景图像的混合图像的数据。

该信号编码器还包括透明度处理器207，透明度处理器207被耦接到内容处理器201并且被布置来产生用于第一图像层和第二图像层中的至少一个的透明度数据。具体地，在该实例中，透明度处理器207产生用于第一图像层中的图像的透明度图。因此，在淡入淡出外部，透明度图指示在第一图像层的前景图像中包括的前景对象的透明度的级别。然而，在简单的淡入淡出期间，透明度图可以包括用于整个图像的统一透明度值。此外，可以通过将用于图像的透明度值从与用于第一图像层的全不透明度对应的值逐渐改变到与全透明度对应的值，来实现淡入淡出。因此，实现了从初始图像序列到随后的图像序列的平滑转变和淡入淡出。

相应地，在淡入淡出外部，透明度数据可以被用来产生精确的3D成像，诸如例如根据不同的视角产生图像。然而，在淡入淡出期间，透明度图不适用于往往被用来有效地且容易地实现期望的淡入淡出的3D处理。因此，对于不同的相关性情形，透明度图可以被不同地使用。

该信号编码器还包括第一深度图处理器209，其耦接到内容处理器201并且被布置来产生用于第一图像层的图像的深度指示图。

该深度指示图包括用于混合图像的像素的深度指示值。该深度指示值可以例如对应于直接反映用于该像素所属于的图像对象的图像深度的数值。然而， 将理解，在其它实施例中，可以使用其它的深度指示值。例如，该深度指示值可以对应于用于该像素的视差或视差量值。

因此，在该实例中，深度指示图包括用于第一图像层的对应图像的每个像素的深度指示值。因此，在淡入淡出外部，深度指示可以是用于前景图像的深度指示。在淡入淡出期间，当前景图像和背景图像被组合为混合图像时，深度指示值可以对应于用于前景和背景图像的深度指示值的混合。例如，对于混合图像，除了与全透明度对应的像素之外，深度指示值可以被取为前景图像的深度指示值。对于这些像素，深度指示值可以取自背景图像。在其中使用混合图像而不是使用纯前景图像的实施例中，深度指示图还可以表示在淡入淡出间隔外部的混合深度信息。

具体地，深度指示图可以例如被产生作为包括用于背景图像每个像素的深度级、深度值、视差量值或视差值的图。将理解，用于产生用于图像的深度指示图的各种方式对于本领域技术人员将是已知的。例如，可以使用半自动的2D到3D转换来从立体图像产生深度指示图，或者从计算机图形产生深度指示图。全自动地从2D视频产生深度也是可能的。

信号编码器还包括第二深度图处理器211，其耦接到内容处理器201并且被布置来产生用于第二图像层的图像的深度指示图。因此，在淡入淡出外部，第二深度图处理器211产生用于背景图像的深度信息，并且在淡入淡出期间，第二深度图处理器211产生用于在淡入淡出之后的图像序列的前景图像和背景图像的混合图像的深度图。

信号编码器还包括相关性处理器213，其耦接到内容处理器201并且被布置来提供第一图像层和第二图像层的图像之间的相关性的指示。例如，可以产生简单的反映两个图像层的图像是否是淡入淡出转变的部分的二进制值。因此，在第一图像层的图像是用于第二层的图像的前景图像时，可以将相关性指示符设置为第一值，并且在第一图像层的图像是淡入淡出之前的图像序列的混合图像、以及在第二图像层的图像是淡入淡出之后的图像序列的混合图像时，可以将相关性指示符设置为第二值。因此，相关性指示符可以是指示第一图像层和第二图像层的图像是否是相关的和相互有关的简单二进制标记。

第一图像层处理器203、第二图像层处理器205、透明度处理器207、第一深度图处理器209、第二深度图处理器211、以及相关性处理器213耦接到数据组合器215，数据组合器215将用于第一图像层的图像数据、用于第二图像层的图像数据、透明度数据、用于第一图像层的深度指示图数据、用于第二图像层的深度指示图数据、以及相关性指示符组合到单个3D图像数据流中。

图3图示了可以由图2的信号编码器执行的产生3D图像数据的方法的实例。

该方法在步骤301开始，其中，如先前所述，第一图像层处理器203产生用于第一图像层的图像数据。

步骤301之后接着步骤303，其中，如先前所述，第二图像层处理器205产生用于第二图像层的图像数据。

步骤303之后接着步骤305，其中，由第一和/或第二深度处理器209、211产生用于第一图像层和第二图像层中的至少一个的深度指示数据。在该实例中，对于第一图像层和第二图像层这两者产生深度指示图。

步骤305之后接着步骤307，其中，由相关性处理器213产生指示第一图像层和第二图像层之间的相关性的相关性指示符。

步骤307之后接着步骤309，其中，图像层数据、深度指示数据以及相关性指示符被组合到3D数据中。

图4图示了用于呈现图像元素的设备的实例。该设备具体地是呈现设备，其可以接收由图2的信号编码器产生的3D图像数据并且产生两个图像以便在分别通过观看者的双眼观看时获得3D感受。

该设备包括接收器401，其接收数据并将其分离为不同的数据类别。因此，接收器401提供用于第一图像层的图像数据、用于第二图像层的图像数据、用于第一图像层的深度指示数据、用于第二图像层的深度指示数据、透明度图和相关性指示符。

该数据被馈送到呈现单元403，其接收该数据并且作为响应呈现用于使三维图像可视化的、与三维图像数据的多个视图的图像元素对应的图像元素。该呈现单元403具体地产生分别与观看者的左眼和右眼对应的两个图像。通过处理至少第一图像层的图像数据、第二图像层的图像数据和深度指示数据，来产生所述图像。在其中透明度数据也被包括在3D数据中的实例中，还响应于该透明度数据产生至少一个（对应于与第一图像层和第二图像层的图像的视角不同的视角的）图像。

此外，该处理被适配为反映各图像层是否是相关。因此，呈现单元403被布置为依赖于相关性指示符来适配该3D处理。在该实例中，取决于该相关性指示符指示各图像层是相关的还是不相关的，呈现单元403可以开启层间处理或关闭层间处理。

在该实例中，呈现单元产生偏移视角图像（即，对应于与第一图像层和第二图像层的图像的视角不同的视角的图像），以便向用户提供立体量测的3D图像感受。

在包括淡入淡出的信号的特定实例中，当没有执行淡入淡出时，可以使用深度指示图以及前景图像和背景图像来产生该图像。因此，当相关性指示符指示第一图像层和第二图像层是相关的并且由此第一图像层包括用于第二图像层的图像的前景图像时，不仅使用深度指示图来执行偏移视角图像的产生，还通过使用前景图像和背景图像执行层间处理来执行偏移视角图像的产生。

具体地，偏移视角图像的产生包括去遮挡处理。因此，偏移视角可以移动一些前景对象使得先前被前景图像对象遮挡的像素将不再被遮挡。该呈现单元401然后可以使用背景图像的适当值填充去遮挡的区域。因此，层间去遮挡处理被用来产生3D图像。

然而， 在淡入淡出期间，第二图像层的图像不是用于第一图像层的图像的背景图像。相应地，层间的去遮挡将会导致完全不相关的像素值被用来填充去遮挡的图像区域。这可能导致明显的图像劣化和可视伪像的引入。

然而，在图4的呈现设备中，去遮挡处理依赖于相关性指示符。具体地，该呈现单元403被布置来仅在相关性指示符指示各图像层相关时执行用于两层的对应（同步）图像的层间去遮挡。然而，如果相关性指示符指示各图像层独立时，即在特定实例中，指示正在执行淡入淡出时，该呈现单元403进而执行用于两个图像层的并存图像的单层去遮挡。 

例如，去遮挡的像素区域可以使用所存储的用于对应像素的背景数据来填充。具体地，可以使用来自最近存储的背景图像（即，紧接在相关性指示符从相关性的指示切换到独立的指示之前的背景图像）的背景像素值来填充去遮挡的图像区域。这将提供提高的感受的图像质量并且具体地将降低所感受的由去遮挡处理引入的伪像的显著性。

因此，在该实例中，当相关性指示符指示第一和第二图像层是相关的时，由该呈现单元403执行的呈现组合第一图像层和第二图像层的图像。该组合可以具体地包括基于用于第一图像层和第二图像层这两者（即， 用于前景图像和背景图像这两者）的深度指示图产生用于不同视角图像的位移信息。该组合进一步包括基于来自第二图像层的背景图像的像素值执行用于第一图像层的前景图像的去遮挡。因此，基于在所接收的3D数据流中包含的3D数据来组合图像。

然而，在相关性指示符指示各图像层是独立的时，仍可以组合第一图像层和第二图像层的图像。例如，在淡入淡出期间，所呈现的图像可以包括来自第一图像层的图像和第二图像层的图像这两者的贡献。然而，在此情况下，该组合仅基于用于第一层的图像的透明度值。因此，尽管考虑例如深度图并使用单层去遮挡可以呈现第一和第二图像层的单独图像，但是两个图像的组合不考虑任何3D信息。

图5图示了可以由图4的呈现设备执行的呈现图像元素的方法的实例。

该方法在步骤501开始，其中，接收器401接收包括用于第一图像层的图像数据、用于第二图像层的图像数据、用于第一图像层的深度指示数据、用于第二图像层的深度指示数据、透明度图和相关性指示符的3D图像数据。

然后该数据被馈送到呈现单元403，其在步骤503中通过处理从接收器401接收的数据进而呈现用于使三维图像可视化的、与3D图像数据的多个视图的图像元素对应的图像元素。

图6图示了在淡入淡出期间由包括图2的编码器和图4的呈现设备的系统执行的处理的特定实例。图4具体地图示了相关性指示符（Ind）的值，其被设置为0以反映第一图像层和第二图像层之间的相关性，并且被设置为1以反映第一图像层和第二图像层的独立性。其进一步图示了第一图像层L1的内容、用于第一图像层的深度指示图D-L1、第二图像层L2、用于第二图像层的深度指示图D-L2、透明度图TRP以及所呈现的不同时刻的图像（IMG）。将理解，在其它实施例中，行（IMG）可以对应于在编码器处产生的并被传送到适当呈现单元的混合图像。

因此，在该实例中，可以传送单个流，其包括各第一层，即：第一和第二图像层（L1、L2）、第一和第二深度层（D-L1、D-L2）以及第一透明度层（TRP）。在一些情形下，第一和第二图像层（L1、L2）包含相关的和补充性的3D图像数据，使得两个图像层（L1、L2）的同步图像可以被组合。在其它时候，两个图像层（L1、L2）不包含用于彼此的相关的补充性3D图像数据，因此在例如执行去遮挡时不能被组合。这由相关性指示符来指示，该相关性指示符也被包括在比特流中，并且指示两个图像层中的信息是否对应于表示补充性的彼此相关的三维信息的图像、或者指示两个图像层中的信息是否没有任何有关的三维信息。将理解，相关性指示符将典型地等同地应用于深度层（D-L1、D-L2），其在两个图像层（L1、L2）是相关的时也将趋于是相关的，并且否则趋于是独立的。

在淡入淡出之前（t<t1）（未示出），第一图像层包括前景图像并且第二图像层包括背景图像。类似地，深度指示图反映前景图像和背景图像，而透明度图对应于前景。相关性指示符被设置为0以反映各层是相关的并且使用层间3D处理。因此，传统的层间3D处理可以被用来产生与不同视图对应的图像。例如，可以执行层间去遮挡。

在时刻t1，组合两个图像层以产生在第一图像层L1中包括的单个组合的、混合的前景和背景图像。深度指示图反映混合图像的深度，并且因此是前景和背景深度指示图的组合。因此，在时刻t1，3D数据仅包含单层图像和深度，并且相应地相关性指示符是不相关的（其因此保持在值0）。

在时刻t2，用于淡入淡出之后的图像序列的图像被插入在第二图像层L2中，其中也包括对应的深度图（D-L2）。该图像也是组合的前景和背景图像，并且该深度指示图是组合的前景和背景深度指示图。

此外，相关性指示符被设置为1以反映第一和第二图像层的两个图像是独立的。因此，去遮挡以及用于与第一图像层对应的替代视角图像的其它3D处理仅基于第一图像层和用于该第一图像层的深度指示图。此外，将用于整个图像的统一的透明度值设置为全不透明度，导致与第一图像层的原始图像对应的所呈现的图像。

透明度值然后逐渐从全不透明度改变到全透明度，导致所呈现的图像从原始图像序列逐渐淡入/淡出到随后的图像序列。

具体地，在时刻t3，透明度值介于全不透明度和全透明度的中间，并且所呈现的图像是第一和第二图像层的图像之间的相等混合。

在时刻t4，透明度值指示全透明度，导致第一图像层不再可见并且所呈现的图像完全对应于淡入淡出之后的图像序列。

在时刻t5，随后的图像序列及相关联的深度指示图移动到第一图像层（对应于前景图像层），并且透明度值被设置为全不透明度。此外，在此阶段，仅存在单个图像层并且相应地深度指示被设置为0。

该系统然后可以进而切换到两层表示，其中图像序列由两个图像层及相关联的深度指示图表示。

将理解，图像层的图像可以例如是静止图像（例如，图6中图示的图像对于所有时刻可以总是相同的）。然而，在其它实例中，图像可以表示连续图像，诸如例如视频信号的视频帧。

还将理解，图6的实例图示了非常基本的淡入淡出，并且可以容易地实现包括各种划入划出或其他转变效果的更复杂的淡入淡出。例如，可以通过使用非统一的透明度图来容易地实现以下转变效果：其中，一些图像区域示出一个图像的一些部分，另一些图像区域示出另一图像的一些部分，而再一些图像区域示出混合图像。例如，替代使用简单地从全不透明度转变到全透明度的透明度图，可以使用复杂的且动态改变的样式。图7中图示了使用划入划出转变的淡入淡出的实例。

图8图示了呈现单元403可以如何取决于相关性指示符的值而处理图像的实例。在该实例中，第一层L1的图像内容由虚线表示，第二层的图像内容由实线表示。在该实例中，第一层的图像是包含来自前景图像对象F的元素以及背景两者的混合图像。在L2的图像是用于L1的图像的背景图像的情形下，L2的图像提供全背景图像。在此情况下，相关性指示符指示L1和L2是相关的，并且相应地L2的图像可以被用于例如去遮挡处理。

相应地，呈现单元403可以产生与视角V对应的第一图像。在此情况下，该视角对应于各层的图像的视角，并且当L1的图像是混合图像时，可以直接使用该视角。此外，可以对应于不同的视角A来呈现第二图像。在此情况下， 前景图像F将在图像中移位并且将覆盖背景的不同部分。结果，现在可以看到先前被前景对象F遮挡的背景C的部分。因为两个层是相关的，所以呈现单元403进而使用用于在L2中提供的背景图像的图像区域C的像素值来确定用于视角A的所呈现的图像的像素值。因此，提供了改进的用于视角A的图像。

然而，如果L2的图像不是用于L1的图像的背景层，则该方式将导致利用与前景或背景图像无关的像素值填充该图像区域。相应地，将引入可视伪像，并且该可视伪像将导致降低的图像质量。

然而，根据当前方式，相关性指示符将在此情况下指示两个层是独立的。这将通知呈现单元403：其可以不使用L2的同步图像数据来执行对于L1的图像的去遮挡。因此，代之，呈现单元403进而基于例如L1的图像（例如拷贝来自L1的背景B的图像区域的相邻像素值或纹理）或者使用所存储的图像（例如，先前的背景层）来执行对于L1图像的去遮挡。因此，去遮挡处理可以被自动地适配为反映去遮挡的图像区域的最佳获得（optimal derivation），由此导致提高的图像质量。

将理解，在一些实施例中，所传送的图像层中的至少一个可以包括本身是独立图像的组合的图像。例如，图9图示了直接对应于图6的实例的实例。然而，在该实例中，在所产生的被分发到呈现设备的3D数据中包括不同的层。在该实例中，第一图像层L1对应于包括来自淡入淡出之前的图像以及淡入淡出之后的图像这两者的贡献的组合/合成图像（以及对应于淡入淡出外部的前景和背景的混合图像）。在此情况下，第一图像层，例如在t3，本身包含包括来自彼此独立的图像（即来自淡入淡出之前和之后的图像）的贡献的合成图像。此外，在该实例中，第二图像层L2包含与在合成图像中包括的图像相同的图像。然而，尽管这可以使得第一和第二图像层的同步图像相关，但是在淡入淡出期间这两个层不包含彼此互补和补充的三维图像数据（相反，L2的图像与在L1的合成图像中包括的淡入/淡出图像相同）。具体地，一个图像层中的图像不包括用于由另一图像层的图像数据表示的图像平面的互补图像平面的任何图像数据。

在该实例中，第一深度层D-L1进一步包括提供用于L1的合成图像的深度信息的合成深度层。此外，在该实例中，前景图像和相关联的深度图（图9的上面两行）本身没有包括在3D数据中，而是仅用来产生用于合成层L1和D-L1的数据。

另外，产生透明度层，其反映前景图像相对于L2的图像的透明度。因此，该透明度图提供淡入淡出前的图像以及淡入淡出后的图像对L1的合成图像的相对贡献的指示。

以与之前相同的方式来产生相关性指示符，即，指示各图像层是否包含补充性的3D数据，该补充性的3D数据对应于不同的图像平面并且因此可以被用来执行例如去遮挡。

因此，在图9的特定实例中，可以产生包括以下的3D信令数据：

第一图像层，包括至少对于一些图像表示包括来自多个图像的贡献的合成图像的图像数据；

第一深度层，包括用于该合成图像的合成深度图；

第二图像层，包括用于对该合成图像有贡献的另一图像的图像数据；

第二深度层，包括用于该另一图像的另一深度图；以及

透明度图，表示该另一图像对该合成图像的贡献。

另外，包括相关性指示符，其反映第二图像层的图像是否包括用于对第一图像层的合成图像有贡献的至少一个图像的前景图像和背景图像的至少一个、或者第二图像层的图像是否不是对该合成图像有贡献的任何图像的前景图像和背景图像其中之一。

所描述的方式可以提供如下优点：在传统的呈现单元中可以直接使用第一图像层L1的图像。因此，通过简单地使用L1的图像，提供包括不同图像的淡入淡出和组合的图像。然而，同时，可以改进能够利用所有所提供的数据的呈现单元的操作。因此，呈现单元403可以例如基于合成图像和透明度信息来重新建立（图9的第一行的）原始混合图像。其然后可以进而取决于相关性指示符的值来执行该图像的去遮挡。因此，如果相关性指示符反映L2提供用于所获得的图像的背景数据，则将该信息用于去遮挡，否则出于此目的忽略L2的当前图像。

在所描述的实例中，仅当相关性指示符指示各层是相关的时，相应地应用层间处理，然而当相关性指示符指示各层是独立的时，不应用层间处理。将理解，在其它实施例中，相关性指示符不需是二进制值。例如，其可以是可以取多个离散值的参数，其中每个值对应于对于该相关性可以应用的一组处理算法。

在该特定实例中，取决于相关性指示符的值，开启和关闭层间3D图像处理，具体地，开启和关闭层间去遮挡处理（对应于去遮挡处理被适配为单层处理或层间处理）。然而，在其它实施例中，可以响应于相关性指示符来适配层间3D处理。例如，在一些实施例中，取决于相关性指示符，可以在层间处理和单层处理之间切换不同图像视图中位移的确定。

在一些实施例中，相关性指示符可以指示第一和第二图像层中的图像的深度指示图是一致的还是不一致的。具体地，当第一和第二图像层分别包括前景（或混合）图像和背景图像时，用于背景图像（即，用于第二图像层）的深度指示图将总是表示比用于前景图像的深度指示图的对应像素更深（或与之相同）的位置。然而，在两个图像层不包括对应的前景和背景图像而是包括独立的图像的情形下，诸如在淡入淡出期间，深度指示图之间的这种关系可能被打破。在此情况下，在一些图像区域中，用于第一图像层的深度指示值可能比用于第二图像层的对应深度指示值更低，而在另一些区域中，可能比用于第二图像层的对应深度指示值更高。

相应地，相关性指示符可以被设置为反映各深度指示图是彼此一致的还是不一致的。实际上，在一些实施例中，该准则可以被用来确定相关性指示符的值。

先前描述已经关注于其中3D数据包括两个图像层的实例。然而，在其它实施例中，可以使用多于两个图像层。在这样的实施例中，相关性指示符可以例如提供所有可能的图像层对之间的相关性的指示。

在一些实施例中，各图像层可以被动态地或静态地划分为各图像层组，其中每个图像层组包括一个或多个相关的图像层。例如，一个图像层组可以包含包含相关的图像层的两个图像层。另一图像层组也可以包含相关的两个图像层。然而，各图像层组之间的相关性可以变化，并且各图像层组之间的当前相关性可以由相关性指示符来指示。例如，3D图像表示可以包括可以被组合以提供用于3D感受的图像的四个不同的图像层。然而，在淡入淡出期间，可以将该表示降低到用于在淡入淡出之前的图像和在淡入淡出之后的图像这两者的两层表示。在淡入淡出之后，该表示再次增加到四层表示。因此，在淡入淡出之前和之后，3D处理可以使用全部四层。然而，在淡入淡出期间，每两个图像层的两个图像层组包括独立的图像。相应地，在淡入淡出期间，每个图像的3D处理被降低到两层处理。在这样的实例中，相关性指示符可以指示各图像组是否是相关的，并且可以响应于此来适配3D处理。作为另一实例，可以在淡入淡出之前和之后使用两层视频表示，其中在淡入淡出期间使用包括两个两层视频表示的四层信号。相关性指示符然后可以指示每个2层视频之内的相关性，而不指示淡入淡出期间两个视频之间的独立性。

因此，对于更多层，相关性指示符可以是基于组的指示符。此外，在一些实施例中，可以根据各图像层组来构造3D数据。例如，每组内的各图像层可以被布置为使得它们相邻。例如，数据组合器25可以被布置来将用于各图像层的数据排序，使得属于同一图像层组的各图像层相邻。在这样的实施例中，相关性指示符可以简单地指示3D数据中下一独立图像层组的位置。

例如，3D数据流可以包括被编号为图像层1-6的六个图像层。在一些情形下，所有层可以是相关的，并且这可以通过将相关性指示符设置为零来反映。在其它情形下，可以将各图像层划分为两个独立图像层组，每个图像层组包含三个图像层。第一图像层组将使用层1-3，而第二图像层组将使用层4-6。这可以通过简单地将相关性指示符设置为值4来指示。在其它情形下，可以将各图像层划分为三个独立图像层组（分别包括图像层1-2、3-4和5-6）。这可以通过将相关性指示符设置为值（3,5）来传达。

因此，可以实现相关性信息的高效的表示，导致低的信令开销。

将理解，已经参考不同的功能单元和处理器描述了本发明的实施例的上面说明以用于澄清。然而，将明显的是，可以使用在不同的功能单元或处理器之间的任何适当的功能分配而不偏离本发明。例如，被图示为由分离的处理器或控制器执行的功能可以由相同处理器或控制器执行。因此，对于具体功能单元的参考仅仅应被看作是对用于提供所描述的功能的适当装置的参考，而不是指示严格的逻辑或物理结构或组织。

本发明可以以任何适当的形式来实现，所述适当的形式包括硬件、软件、固件或它们的任何组合。本发明可以可选地至少部分地作为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件来实现。本发明实施例的元件和组成部分可以以任何适当方式物理地、在功能上以及在逻辑上实现。实际上，功能可以在单个单元中、在多个单元中或者作为其它功能单元的一部分来实现。这样，本发明可以在单个单元中实现，或者可以在不同单元和处理器之间物理地和在功能上进行分配。

尽管已经结合一些实施例描述了本发明，但是本发明不意在限于这里提出的具体形式。相反，本发明的范围仅由所附权利要求来限定。另外，尽管特征可能看上去是结合具体实施例描述的，但是本领域技术人员将认识到：依据本发明，可以组合所描述的实施例的各种特征。在权利要求书中，术语“包括”、“包含”不排除其它元件或步骤的出现。

此外，尽管被独立地列出，但是可以例如通过单个单元或处理器来实现多个装置、元件或方法步骤。另外，尽管可以在不同权利要求中包括各个特征，但是这些特征可以被有利地组合，并且包括在不同的权利要求中不暗示特征的组合是不可行的和/或不利的。而且，特征包括在一个类别的权利要求中不暗示限于该类别，而是表示该特征等同地可适当地应用于其它权利要求类别。此外，权利要求书中特征的顺序不暗示所述特征必须按其起作用的任何特定顺序、或者具体地方法权利要求中各个步骤的顺序不暗示各步骤必须按此顺序执行。相反，可以以任何适当的顺序执行步骤。另外，单数的引述不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引述不排除多个。权利要求中的附图标记仅仅被提供来作为澄清的实例，而不应被解释为以任何方式限制权利要求的范围。

Claims (19)

1.一种产生三维图像数据的方法，所述三维图像数据包括用于呈现三维图像的各视图的画面元素的多个图像层，该方法包括：

提供（301）用于第一图像层的第一图像数据；

提供（303）用于第二图像层的第二图像数据；

提供（305）用于第一图像层和第二图像层中的至少一个的深度指示数据；

产生（307）相关性指示符，该相关性指示符指示第一图像层的第一图像是否包含用于第二图像层的第二同步图像的补充性三维分层的图像数据；以及

产生（309）包括第一图像数据、第二图像数据、深度指示数据和相关性指示符的三维图像数据。

2.如权利要求1所述的方法，其中，在第一图像层是对于第二图像的遮挡层时，相关性指示符指示第一图像层和第二图像层是相关的。

3.如权利要求2所述的方法，其中，在第一图像层不是对于第二图像的遮挡层时，相关性指示符指示第一图像层和第二图像是独立的。

4.如权利要求1所述的方法，其中，深度指示数据包括用于第一图像层的第一深度指示图和用于第二图像层的第二深度指示图；并且其中，在第一深度指示图的深度指示值与第二深度指示图的深度指示值不一致时，该相关性指示符指示第一图像层和第二图像层是独立的。

5.如权利要求4所述的方法，其中，如果在至少一个图像区域中第一深度指示图的深度指示值表示比第二指示图的深度指示值更深的深度级、并且在至少一个其它图像区域中第二深度指示图的深度指示值表示比第一指示图的深度指示值更深的深度级，则第一深度指示图的深度指示值与第二深度指示图的深度指示值不一致。

6.如权利要求1所述的方法，其中，当第一图像层和第二图像层包括淡入淡出的图像时，相关性指示符指示第一图像层和第二图像层是独立的，而当第一图像层和第二图像层不包括淡入淡出的图像时，相关性指示符指示第一图像层和第二图像层是相关的。

7.如权利要求1所述的方法，其中，相关性指示符是二进制数据值，其具有指示第一图像层和第二图像层是相关的的第一值以及指示第一图像层和第二图像层是独立的的第二值。

8.如权利要求7所述的方法，其中，如果第一图像层包括用于第二图像层的图像的前景图像，则相关性指示符被设置为第一值，并且如果第一图像层不包括用于第二图像层的图像的前景图像，则相关性指示符被设置为第二值。

9.如权利要求1所述的方法，其中，第一图像层属于第一图像层组，第二图像层属于第二图像层组，第一图像层组和第二图像层组中的至少一个包括多个图像层；相关性指示符指示第一图像层组的图像层和第二图像层组的图像层之间的相关性。

10.如权利要求9所述的方法，其中，图像层组的图像层是相关的图像层。

11.如权利要求1所述的方法，其中，还包括：提供用于第一图像层和第二图像层中的至少一个的透明度数据，并且在三维图像数据中包括该透明度数据。

12.一种呈现图像元素的方法，包括：

接收（501）三维图像数据，该三维图像数据包括用于第一图像层的第一图像数据、用于第二图像层的第二图像数据、用于第一图像层和第二图像层中的至少一个的深度指示数据、以及指示第一图像层和第二图像层之间的相关性的相关性指示符；以及

通过响应于该相关性指示符处理第一图像数据、第二图像数据和深度指示数据，呈现（503）用于使三维图像可视化的、三维图像数据的多个视图的图像元素。

13.如权利要求12所述的方法，其中，该呈现（503）包括：仅当相关性指示符指示第一图像层和第二图像层是相关的时，执行第一图像层和第二图像层的同步图像的层间三维图像处理。

14.如权利要求12所述的方法，其中，该呈现（503）包括：只有在相关性指示符指示第一图像层和第二图像层是相关的时，使用来自第二图像层的第二图像的信息执行对第一图像层的第一图像的去遮挡。

15.如权利要求12所述的方法，其中，该呈现（503）包括：组合第一图像层的第一图像和第二图像层的第二图像，该组合在相关性指示符指示第一图像层和第二图像层是相关的时响应于三维图像信息，而在相关性指示符指示第一图像层和第二图像层是独立的时不响应于三维图像信息。

16.一种用于产生三维图像数据的设备，所述三维图像数据包括用于呈现三维图像的各视图的画面元素的多个图像层，该设备包括：

用于提供用于第一图像层的第一图像数据的装置（203）；

用于提供用于第二图像层的第二图像数据的装置（205）；

用于提供用于第一图像层和第二图像层中的至少一个的深度指示数据的装置（209，211）；

用于产生相关性指示符的装置（213），该相关性指示符指示第一图像层的第一图像是否包含用于第二图像层的第二同步图像的补充性三维分层的图像数据；以及

用于产生包括第一图像数据、第二图像数据、深度指示数据和相关性指示符的三维图像数据的装置（215）。

17.一种用于呈现图像元素的设备，该设备包括：

用于接收三维图像数据的装置（401），该三维图像数据包括用于第一图像层的第一图像数据、用于第二图像层的第二图像数据、用于第一图像层和第二图像层中的至少一个的深度指示数据、以及指示第一图像层和第二图像层之间的相关性的相关性指示符；以及

用于通过响应于该相关性指示符处理第一图像数据、第二图像数据和深度指示数据而呈现用于使三维图像可视化的、三维图像数据的多个视图的图像元素的装置（403）。

18.一种产生三维图像数据的方法，所述三维图像数据包括用于呈现三维图像的各视图的画面元素的多个图像层，该方法包括：

提供第一图像层，该第一图像层包括至少对于一些图像表示包括来自多个图像的贡献的合成图像的图像数据；

提供第一深度层，该第一深度层包括用于该合成图像的合成深度图；

提供第二图像层，该第二图像层包括用于对该合成图像有贡献的另一图像的图像数据；

提供第二深度层，该第二深度层包括用于该另一图像的另一深度图；

提供透明度图，该透明度图表示该另一图像对该合成图像的贡献；

产生相关性指示符，该相关性指示符反映第二图像层的图像是否包括对第一图像层的合成图像有贡献的至少一个图像的前景图像和背景图像中的至少一个、或者第二图像层的图像是否不是对该合成图像有贡献的任何图像的前景图像和背景图像之一；以及

产生包括第一图像层、第一深度层、第二图像层、第二深度层、透明度图和相关性指示符的三维图像数据。

19.一种呈现图像元素的方法，包括：

接收三维图像数据，该三维图像数据包括：

第一图像层，包括至少对于一些图像表示包括来自多个图像的贡献的合成图像的图像数据；

第一深度层，包括用于该合成图像的合成深度图；

第二图像层，包括用于对该合成图像有贡献的另一图像的图像数据；

第二深度层，包括用于该另一图像的另一深度图；

透明度图，表示该另一图像对该合成图像的贡献；

相关性指示符，其反映第二图像层的图像是否包括对第一图像层的合成图像有贡献的至少一个图像的前景图像和背景图像中的至少一个、或者第二图像层的图像是否不是对该合成图像有贡献的任何图像的前景图像和背景图像之一；以及

通过对三维图像数据的三维处理来呈现用于使三维图像可视化的、三维图像数据的多个视图的图像元素，其中，只有在相关性指示符指示第二图像层的图像是对第一图像层的图像有贡献的图像的背景图像和前景图像中的至少一个时，对于第一图像层的图像的去遮挡响应于第二图像层的同步图像而进行。