CN102165496A - 三维图像数据处理 - Google Patents

Abstract

提供了包括表示具体地可以是背景图像的第一图像的数据的三维图像数据。作为第一图像和具体地可以是前景图像的第二图像的组合的混合图像，与该混合图像有关的包括用于该混合图像的像素的透明度值的透明度图，以及用于该混合图像的包括用于该混合图像的像素的深度指示值的深度指示图。混合图像的使用可以允许三维处理，且同时允许2D后向兼容性。可以通过响应于深度指示值来修改透明度值和/或响应于透明度值来修改深度指示值，提高图像对象周围的图像质量。具体地，改进的深度指示值和透明度值的转变的对准可以提供改进的三维前景图像对象边缘数据。

Description

三维图像数据处理

技术领域

本发明涉及一种包括三维视频图像数据的三维图像数据。

背景技术

三维显示通过向观看者的眼睛提供正被观看的场景的不同视图来将第三维添加到观看体验。用于表示三维图像的流行方式是使用一个或多个二维（2D）图像加提供第三维的信息的深度表示。这样的方式提供了许多优点，包括：允许利用相对低的复杂度来产生三维视图并且提供有效的数据表示，由此降低例如对于三维（3D）图像（和视频）信号的存储和通信资源需求。该方式还允许产生与在3D图像数据中包括的2D图像相比具有不同视点和视角的2D图像。

通过单个2D图像和相关联的深度信息来表示3D图像的缺点是：其不包括关于被前景对象遮挡的背景图像区域的信息。相应地，如果场景是为不同视点呈现的，则不能在前景对象后面显露信息。相应地，已经提出了使用多层图像和深度表示，包括多个具有相关联的深度信息的二维图像（例如，前景图像和背景图像）。可以在Steven J. Gortler与Li-wei He的可在 http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=20得到的Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09，a.o.和例如美国专利申请US20070057944中找到如何从这样的信息呈现新视图的描述。

在使用多于一层（即，多个重叠的2D图像）的方式中，已经提出允许层是半透明的。在计算机图形领域中，在例如Norman P. Jouppi与Chun-Fa Chang, "An Economical Hardware Technique for High-Quality Antialiasing and Transparency", Proceedings of Eurographics/Siggraph workshop on graphics hardware 1999中描述了这样的方式。这样的方式允许使半透明材料（例如，水、烟雾、火焰）可视化并且还允许处于不同深度的对象的边缘的改进的抗混叠（anti-aliasing）。具体地，其允许边缘的更渐进的转变（more gradual transition）。因此，透明度可以不仅仅被用于表示半透明对象，而且还可以通过使边缘半透明允许前景对象的边缘的抗混叠，使得透明度值表示像素有多少应当是前景以及有多少背景应当可见。这样的方式的示例可以在C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski, "High-quality video view interpolation using a layered representation", Proceedings of Siggraph 2004中找到。

然而，这样的方式的问题是：后向兼容性是次最优的。具体地，为了产生2D图像，必须通过能够理解三维格式的算法来处理3D图像数据。相应地，不能在不具有这样的功能性的传统系统中使用该信号。

而且，该方式的另一缺点是：在一些情形下，其不能提供最优的图像质量。具体地，在一些实施例中，图像与相关联的深度和透明度信息的处理将导致所呈现的前景图像对象的边缘失真。

因此，3D图像数据处理的改进方式将是有利的，并且具体地允许增加的灵活性、改进的后向兼容性、提高的图像质量、便利的实现方式和/或提高的性能的方式将是有利的。

发明内容

相应地，本发明寻求单个地或以任何组合地优选地减轻、缓解或消除一个或多个上述缺点。

根据本发明一方面，提供了提供三维图像数据的方法，该方法包括：提供第一图像；提供作为该第一图像和第二图像的组合的混合图像，该第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度数据而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及提供包括第一图像、混合图像、透明度图和第一深度指示图的三维图像数据。

依据本发明提供的图像数据可以被用来呈现表示三维图像数据的视图的诸如视图的像素之类的图像元素和/或整个图像。本发明还可允许改进的3D图像处理和/或性能。具体地，在许多实施例中，3D图像数据可以提供改进的后向兼容性。具体地，一起提供包括允许进行3D处理的深度和透明度信息的3D图像数据的优点、与可以被作为常规2D图像处理以提供该图像的适当2D表示的信息。具体地，混合图像可以例如被2D表现设备直接表现为2D图像。

具体地，在一些实施例中，图像的前景和背景不被分离地存储为不同的图像，而是背景、与前景和背景的混合版本（根据透明度混合）可以一起存储。该2D图像然后可以直接被2D表现设备使用，这是由于其对应于包括背景和前景这两者的常规2D图像。然而，同时，2D图像可以被3D表现设备用来产生表示其它视角的3D图像或2D图像。

第一深度指示图提供用于该混合图像的与深度有关的信息。因此，该第一深度指示图可以是包括用于第一和第二图像两者的像素的深度指示值的混合深度指示图。

3D图像数据可以用于图像序列中的图像。具体地，3D图像数据可以用于包括多个3D图像的视频序列中的图像。

第一图像可以具体地是背景图像，而第二图像可以具体地是前景图像。

与混合图像有关的透明度图可以具体地对应于用于第二图像的透明度图，并且因此透明度图可以是用于第二图像的透明度图。具体地，透明度图可以典型地是前景透明度图。

根据本发明的可选特征，该方法还包括产生包括三维图像数据的图像信号。

该图像信号可以具体地是包括一个或多个图像的经编码的图像信号。例如，该图像信号可以是包括视频帧形式的多个图像的视频信号。该方式还允许产生、存储和分发图像信号，其允许有效的3D处理以及对常规2D设备的后向兼容性这两者。

根据本发明的可选特征，该方法还包括响应于三维图像数据为与第一和第二图像的视角不同的视角呈现视图。

该方式可允许通过适当装备的装置呈现不同视角，同时还提供后向兼容性。

根据本发明的可选特征，本方法还包括响应于三维图像数据呈现三维图像。

该方式可以允许通过适当装备的装置呈现3D图像，同时还提供后向兼容性。

根据本发明的可选特征，该方法还包括响应于来自一组值集合的第二值集合的值来修改来自该组值集合的第一值集合的值，该组值集合包括与透明度图的透明度值相对应的值集合和与第一深度指示图的深度指示值相对应的值集合。

在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到：通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的（相对）前景图像对象的呈现。

根据本发明的可选特征，该方法还包括检测与图像对象边缘相对应的图像区域，并且其中修改值包括修改用于该图像区域的值。

发明人已经认识到：如果具体地处理图像对象边缘，则对于基于用于混合图像/前景图像的深度指示值和透明度值呈现的图像，可以实现提高的图像质量。对象边缘可以对应于用于混合图像的透明度值和/或深度指示值的转变（transition）。

根据本发明的可选特征，该方法还包括修改一个图像区域中的透明度图的透明度值与第一深度指示图的深度指示值之间的关系。

在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到：通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的（相对）前景图像对象的呈现。

根据本发明的可选特征，修改所述关系包括沿着图像方向对准透明度图的透明度转变和沿着图像方向对准第一深度指示图的深度转变。

在许多实施例中，这可以促进实现和/或提高性能。具体地，通过对准透明度和深度转变，可以获得由（相对）前景图像对象边缘的3D处理引入的图像伪像的减少。

根据本发明的可选特征，该方法还包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。

在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到：通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的（相对）前景图像对象的呈现。

根据本发明的可选特征，修改透明度值包括：作为透明度图中透明度转变的部分而非第一深度转变图中深度转变的部分，在图像区域中将透明度图的透明度值朝向更高透明度偏置。

这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使由3D处理对图像对象边缘引入的图像伪像不那么明显。

根据本发明的可选特征，修改透明度值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的透明度值：响应于沿着图像方向的第一深度指示图的深度指示值来确定第一深度转变点；对于沿着图像方向的如下间隔（interval）的像素，将沿着图像方向的透明度图的透明度值朝向更高的透明度偏置，所述间隔是沿着更高透明度和更低深度中的至少一个的方向从第一深度转变点延伸。

这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使得由3D处理对图像对象边缘引入的图像伪像不那么明显。

根据本发明的可选特征，该方法还包括响应于沿着图像方向的第一透明度图的透明度值来确定第一透明度转变点，并且其中所述间隔从第一透明度点延伸到第一深度转变点。

这可以允许便利的实现，同时提供高效的性能和高的图像质量。具体地，其可以允许用于在图像对象边缘周围适配3D性能的实际且高效的方式。

根据本发明的可选特征，该方法还包括：将第一透明度转变点确定为在沿着更高透明度和更低深度中的至少一个的方向从深度转变点延伸的评估间隔（evaluation interval）中沿着图像方向具有最高透明度值的点。

这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使得由3D处理对图像对象边缘引入的图像伪像不那么明显。

根据本发明的可选特征，偏置包括将该间隔的所有透明度值中的透明度值设置为偏置之前的该间隔的最高透明度值。

这可以允许降低的复杂度的实现和/或可以进一步降低或最小化由3D处理对图像对象边缘引入的图像伪像的可察觉性。

根据本发明的可选特征，该方法还包括提供用于第一图像的第二深度指示图，该第二深度指示图包括用于第一图像的像素的深度指示值；并且其中确定第一深度转变点进一步包括：响应于第二深度指示图的深度指示值来确定第一深度转变点。

这可以允许确定深度转变点的特别合适的方式，并且可以实际上被用来确定深度指示值的转变的存在性。因此，该方式可以允许图像对象边缘的可靠检测。该方式特别适合于使用混合图像的方式，因为第一图像和混合图像之间的相对深度信息提供指示第一图像和第二图像分别何时在混合图像中占优势的直接信息。

根据本发明的可选特征，确定深度转变点包括：响应于第一深度指示图的深度指示值和第二深度指示图的深度指示值的比较，确定深度转变点。

这可以允许深度转变点的高效和/或准确的确定。

根据本发明的可选特征，确定深度转变点包括将深度转变点确定为沿着图像方向在第二深度指示图的深度指示值和第一深度指示图的深度指示值之差跨越阈值的点。

这可以允许深度转变点的高效和/或准确的确定。

根据本发明的可选特征，图像方向对应于扫描线方向。

这可以允许特别适当的实现，并且可以特别地允许低复杂度的处理以便导致透明度值和深度值的转变的准确检测、以及低复杂度而相当高效的透明度值和/或深度指示值的适配。

根据本发明的可选特征，该方法还包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。

在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到：通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的（相对）前景图像对象的呈现。

根据本发明的可选特征，修改深度指示值包括：在与透明度图中的透明度转变相对应的图像区域中，将第一深度指示图的深度指示值朝向前景深度指示值进行偏置。

这可以允许有利的实现和/或可以允许对于3D处理的提高的图像质量。该特征可以特别提供增加的如下概率：包括来自第二图像的图像对象的贡献的像素被假设为具有与该对象相对应的深度。作为具体示例，其可以允许具有来自前景图像的部分贡献的像素被3D处理当作前景的一部分，由此降低误差并减少伪像。

根据本发明的可选特征，修改深度指示值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的深度指示值：响应于沿着图像方向的透明度图的透明度值和第一深度指示图的深度指示值中的至少一个，确定第一转变点；对于沿着图像方向的如下间隔的像素，将沿着图像方向的第一深度指示图的深度指示值朝向前景深度指示值进行偏置，所述间隔在第一透明度转变点处结束且从第一透明度点沿着更低透明度方向延伸。

这可以允许有利的实现和/或可以允许对于3D处理的提高的图像质量。该特征可以特别提供增加的如下概率：包括来自第二图像的图像对象的贡献的像素被假设为具有与该对象相对应的深度。作为具体示例，其可以允许具有来自前景图像的部分贡献的像素被3D处理当作前景的一部分，由此降低误差并减少伪像。

根据本发明的可选特征，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括：响应于沿着图像方向的透明度图的透明度指示值，确定第二透明度转变点，该第二透明度转变点对应于比第一透明度点低的透明度；并且其中该间隔从第一深度转变点延伸到第二深度转变点。

这可以允许改进的对于在其中执行偏置的间隔的确定。

根据本发明的可选特征，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括：响应于沿着图像方向的第一深度指示图的深度指示值，确定第一深度转变点；响应于该第一深度转变点，确定透明度搜索间隔；并且其中确定第一透明度点包括响应于透明度搜索间隔中的透明度值来确定第一透明度点。

这可以允许用于确定在其中执行偏置的间隔的特别的有利方式。

根据本发明的可选特征，将深度指示值进行偏置包括将该间隔的所有深度指示值设置为与偏置之前的该间隔的最远的前景深度指示值相对应的深度指示值。

这可以允许降低复杂度的实现和/或可以提供提高的图像质量。

根据本发明的可选特征，图像方向对应于扫描线方向。

这可以允许特别适当的实现，并且可以特别地允许低复杂度的处理以便导致透明度值和深度值中的转变的准确检测、以及低复杂度而相当高效的透明度值和/或深度指示值的适配。

根据本发明的另一方面，提供了一种编码图像信号的方法，该方法包括：提供第一图像；提供作为该第一图像和第二图像的组合的混合图像，第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号。

根据本发明的可选特征，该方法进一步包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。

根据本发明的可选特征，该方法进一步包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。

根据本发明的一个方面，提供了一种呈现图像的方法，该方法包括：提供第一图像；提供作为第一图像和第二图像的组合的混合图像，第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及响应于第一图像、混合图像、透明度图和第一深度指示图来呈现图像。

根据本发明的可选特征，呈现包括呈现作为与不同于第一图像和第二图像的视角的视角相对应的图像的图像。

根据本发明的可选特征，该方法进一步包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。

根据本发明的可选特征，该方法进一步包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。

根据本发明的另一方面，提供了一种图像信号编码器，包括：用于提供第一图像的装置；用于提供作为第一图像和第二图像的组合的混合图像的装置，第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度值而进行的；用于提供与混合图像有关的透明度图的装置，该透明度图包括用于混合图像的像素的透明度值；用于提供用于混合图像的第一深度指示图的装置，该第一深度指示图包括用于混合图像的像素的深度指示值；以及用于产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号的装置。

根据本发明的可选特征，该图像信号编码器进一步包括用于响应于第一深度指示图的深度指示值来修改透明度图的透明度值的装置。

根据本发明的可选特征，该图像信号编码器进一步包括用于响应于透明度图的透明度值来修改第一深度指示图的深度指示值的装置。

根据本发明的另一方面，提供了一种图像呈现单元，包括：用于提供第一图像的装置；用于提供作为第一图像和第二图像的组合的混合图像的装置，该第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度值而进行的；用于提供与混合图像有关的透明度图的装置，该透明度图包括用于混合图像的像素的透明度值；用于提供用于混合图像的第一深度指示图的装置，第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于响应于第一图像、混合图像、透明度图和第一深度指示图而呈现图像的装置。

根据本发明的可选特征，该图像呈现单元进一步包括用于响应于第一深度指示图的深度指示值来修改透明度图的透明度值的装置。

根据本发明的可选特征，该图像呈现单元进一步包括用于响应于透明度图的透明度值来修改第一深度指示图的深度指示值的装置。

根据本发明的另一方面，提供了一种图像信号，该图像信号包括：表示第一图像的数据；表示作为第一图像和第二图像的组合的混合图像的数据，第二图像是相对于第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；表示与该混合图像有关的透明度图的数据，该透明度图包括用于该混合图像的像素的透明度值；表示用于该混合图像的第一深度指示图的数据，第一深度指示图包括用于混合图像的像素的深度指示值。

本发明的这些和其他方面、特征和优点将根据下文描述的实施例变得清楚明白，并且将参考下文描述的实施例来说明本发明的这些和其它方面、特征和优点。

附图说明

将参考附图仅作为示例来描述本发明的实施例，在附图中：

图1图示了根据本发明的一些实施例的用于提供3D图像数据的方法的示例；

图2图示了根据本发明的一些实施例的3D图像数据的元素的示例；

图3图示了根据本发明的一些实施例的图像信号编码器的示例；

图4图示了根据本发明的一些实施例的图像信号编码器的示例；

图5图示了根据本发明的一些实施例的呈现单元的示例；

图6图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例；

图7图示了根据本发明的一些实施例的用于提供3D图像数据的方法的示例；

图8图示了根据本发明的一些实施例的呈现单元的示例；

图9图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例；以及

图10图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例。

具体实施方式

以下描述集中在本发明的实施例上，该实施例可应用于可以被应用到视频信号的单个帧的3D图像信息表示。然而，应理解本发明不限于此应用，而是可以应用到包括例如静止图像、动画等的许多其它图像类型。

图1图示了用于提供三维（3D）图像数据的方法。3D图像数据可以例如被用来产生3D图像或者产生用于场景的不同的二维（2D）图像的不同视点。在示例中，产生并入了两个图像、深度信息和透明度信息的3D图像数据。将理解在其它实施例中，3D数据可以包括与多层相对应的更多2D图像。

具体地，3D图像数据包括背景图像、包含来自该背景图像和前景图像的贡献的混合图像、以及与该混合图像有关的深度和透明度信息。另外，3D图像数据可以包括用于背景图像数据的深度信息。

该方法在步骤101开始，其中提供第一图像。在该示例中，该第一图像是背景图像。步骤101之后接着步骤103，其中提供作为该第一图像和第二图像的组合的混合图像，该第二图像是前景图像。因此，背景图像和前景图像是同一场景的重叠图像。前景图像可以包括或包含例如处于背景图像的前景中的图像对象、添加的文本、字幕、屏上显示信息等。

混合图像因此表示可能出现在背景中的图像对象以及可能出现在前景中的图像对象这两者。前景图像分量和背景图像分量的组合考虑了前景图像对象的透明度。因此，对于透明度值对应于无透明度（完全不透明）的像素，选择像素值作为前景图像的像素值。相反，对于透明度值对应于全透明度（无不透明度）的像素，选择像素值作为背景图像的像素值。对于像素值为半透明，可以通过将前景的像素值和背景的像素值组合来计算混合图像。例如，用于像素n的混合图像像素值y可以被简单地计算为：

其中f是前景图像像素值，b是背景图像像素值，t是用于像素n的透明度值并且是在零和一之间的值（其中，零表示全（total）透明度，而一表示全不透明度）。

应理解，在其它实施例中，可以使用其它的组合图像的手段。还将理解，在其它实施例中，可以使用多于两层的图像，并且在此情况下第一和第二图像不必是背景和前景图像，而是所述图像之一或两者可以是中间图像/层。然而，第二图像将在前景中比第一图像更远。

步骤103之后接着步骤105，其中表现与该混合图像有关的透明度图。该透明度图包括用于混合图像的/与混合图像有关的像素的透明度值。具体地，透明度图可以具有用于混合图像的每个像素的透明度值。透明度图可以对应于用于前景图像的透明度图，并且可以具体地对于前景图像对混合图像没有贡献的图像像素而言具有与全透明度相对应的值、并且对于背景图像对混合图像没有贡献的图像像素而言具有与全不透明度相对应的值。此外，其可以对于前景图像的半透明图像对象、以及与前景图像的图像对象周围的边缘相对应的图像区域而言具有中间透明度值。透明度图可以具体地与被用来产生混合图像的前景透明度图相同。

将理解，可以使用不同的方式来产生透明度图。例如，对于计算机产生的图像而言，可以由计算机图形呈现处理例如经由超采样或使用纹理（所述纹理具有与其相关联的透明度）来产生透明度值。获得透明度的另一种手段是使用在本领域中被已知为阿尔法抠图（alpha matting）的技术来获得（用于蓝色或绿色屏幕记录的）边缘附近的透明度、或者来自合成图像的透明度。又一方式是重叠半透明的对象（诸如菜单重叠），并且利用透明度信息产生重叠。

步骤105之后接着步骤107，其中为混合图像提供深度指示图。该深度指示图包括用于混合图像的像素的深度指示值。深度指示值可以例如对应于直接反映像素所属于的图像对象的图像深度的数值。然而，将理解，在其它实施例中，可以使用其它的深度指示值。例如，深度指示值可以对应于用于像素的视差或视差量值。

在该示例中，深度指示图包括用于混合图像的每个像素的深度指示值。深度指示值可以对应于用于前景和背景图像的深度指示值的混合。例如，对于混合图像，可以将深度指示值取作前景图像的深度指示值，而对应于全透明度的像素除外。对于这些像素，可以从背景图像取得深度指示值。

将理解，可以使用不同方式来产生深度指示图。例如，对于多照相机（诸如立体视频）源，可以通过本领域中被已知为视差估计的处理来产生深度图。深度图还可以以手动、半自动或自动的方式被添加到现有的2D视频片段（footage）。这些方法中的许多方法都是将前景和背景对称地处理，将深度转变放置在相对应的颜色转变的中间。还可以由计算机图形呈现处理来产生深度图，例如以z缓冲区（z-buffer）的形式。可以针对前景层和背景层这两者产生深度图，并且然后使用适当规则将其混合到混合深度图中。

步骤107之后接着步骤109，其中提供了背景深度图像。将理解，在一些实施例中，3D图像处理可以仅仅基于用于混合图像的深度信息，并且步骤109是可选的步骤。

步骤109之后接着步骤111，其中提供包括背景图像、混合图像以及用于混合图像的透明度和深度指示图的3D图像数据。可选地，还可以包括背景深度图像。

图2图示了3D图像数据的元素的示例。图2具体图示了背景图像201，其具有相关联的深度指示图203，对于每个像素而言，深度指示图203具有指示背景图像像素的深度的值。在示例中，3D图像数据还包括混合图像205和相关联的深度指示图207。在具体示例中，混合图像205是包括前景图像对象（在该具体示例中，仅有一个前景图像对象）的混合图像。然而，对于其中没有前景图像对象的图像区域而言，背景像素值已经被拷贝到前景图像。类似地，对于这些像素，背景深度指示值已经被拷贝到前景深度指示图207。

3D图像数据还包括透明度图209，对于每个像素而言，该透明度图209指示前景的透明度。具体地，对于作为实心前景图像对象的部分的像素值，透明度值可以指示全不透明度（即，仅前景是可见的）。对于完全在任何前景图像对象外部的像素值，透明度值可以指示全透明度（即，在此位置处背景是清晰可见并且是完全可见的）。此外，对于半透明的前景图像对象，诸如示例的重影（ghost）图像对象，透明度值可以具有指示前景和背景这两者都是部分可见的中间值。此外，在前景图像对象的边缘周围可以应用中间透明度值，以便在前景和背景之间提供平滑的转变。这可以提高抗混叠的性能。

在一些实施例中，3D图像数据可以例如作为单独的数据或作为分别提供背景图像、混合图像以及透明度和深度信息的信号而被提供到另一处理单元或算法。而且，在一些实施例中，可以编码3D图像数据以产生可以被有效地传送或存储的3D图像信号。

图3图示了被布置来基于图1的方法产生图像信号的图像信号编码器的示例。图像信号编码器可以例如通过被布置来执行图1的方法的处理元件来实现。具体地，图像信号编码器可以被实现为混合的软件和硬件计算平台。然而，将理解，其它实现方式也是可能的，并且图像信号编码器可以例如被实现为仅硬件的平台。例如，图像信号编码器可以由专用集成电路来实现，所述专用集成电路被硬件编码（hardware coded）以执行上述操作。

图像信号编码器包括图像信号产生器301，其耦接到前景图像源303和背景图像源305。图像信号产生器301从前景图像源303接收前景图像，并且从背景图像源305接收背景图像。其然后进而将用于前景图像和背景图像的混合图像与深度指示图和透明度图一起产生。然后，包括这些分量的3D图像数据被馈给到图像编码器单元307，其进而将该数据编码为图像信号。该处理可以具体地对于视频信号的多个帧而重复，以产生视频图像信号。

图4更详细图示了图3的图像信号编码器。

在该示例中，图像信号产生器301包括背景深度处理器401，其进而产生用于从背景图像源305接收的背景图像的深度指示图。该背景深度指示图可以例如被产生为包括用于背景图像的每个像素的深度级、深度值、视差量值或视差值的图。将理解，用于产生用于图像的深度指示图的各种方式对于本领域技术人员将是已知的。例如，可以使用半自动的2D到3D转换来从立体图像产生深度指示图，或者从计算机图形产生深度指示图。全自动地从2D视频产生深度也是可能的。在一些示例中，背景图像源305还可以提供与3D相关的信息（诸如用于各种图像对象或区域的深度指示），并且背景深度处理器401可以进而基于这个3D数据确定背景深度指示图。

图像信号产生器301还包括前景深度处理器403，其进而产生用于从前景图像源303接收的前景图像的深度指示图。该前景深度指示图可以例如被产生为包括用于背景图像的每个像素的深度级、深度值、视差量值或视差值的图。可以使用与用于背景深度图像相同的方式和算法来产生用于前景图像的深度指示图。在一些示例中，前景图像源303还可以提供与3D相关的信息，并且背景深度处理器401可以进而基于该3D数据确定背景深度指示图。例如，前景图像源303可以一起提供所有前景图像对象的列表和用于每个前景图像对象的深度指示。

图像信号产生器301还包括混合图像产生器405，其被布置来产生包括来自前景图像和背景图像两者的贡献的混合图像。混合图像产生器405组合前景图像和背景图像，使得它们反映期望的前景透明度特性。例如，前景图像将典型地包括完全不透明的前景图像对象。对于属于这些图像对象的像素而言，将混合图像的像素值设置为前景图像的像素值。而且，前景图像将典型地包括其中没有前景图像对象的图像区域。对于属于这些图像区域的像素，将混合图像的像素值设置为背景图像的像素值。另外，前景图像将典型地具有一些半透明的区域。这例如可能在前景图像对象的边缘处出现，并且这可能对于其本身是半透明的前景图像对象而出现。对于属于这些区域的像素，混合图像的像素值被产生为前景图像和背景图像的像素值的线性组合。例如，如前所述，像素值可以被产生为：

其中y是混合图像像素值，f是前景图像像素值，b是背景图像像素值，t是用于像素n的透明度值并且是在零和一之间的值（其中，零表示全透明度，而一表示全不透明度）。可以响应于从前景图像源303接收的3D数据来执行图像的混合。例如，可以使用前景图像对象的列表来选择从前景图像取得哪些图像区域以及从背景图像取得哪些图像区域。

在该示例中，从前景图像源303接收的前景图像伴随有用于该前景图像的明确的或暗示的透明度信息。在一些实施例中，可以通过多个前景图像对象来简单地定义前景图像，并且混合图像产生器405本身可以被布置来产生透明度信息，例如，通过（例如，基于颜色键控（蓝色/绿色）屏幕方式（color keying (green/blue) screen approach））设置透明度值以对于前景图像对象表示全不透明度而在其它区域中表示全透明度。另外，混合图像产生器405本身可以产生半透明的区域，例如通过在前景图像对象的边缘周围引入渐进（gradual）的透明度转变。这可以例如使用作为阿尔法抠图的处理来实现。

混合图像产生器405耦接到混合深度处理器407，其也耦接到背景深度处理器401和前景深度处理器403。混合深度处理器407接收背景和前景深度指示图并且将它们组合到用于混合图像的深度指示图。该组合可以具体地使用一组固定的规则来执行，诸如以下规则：包括来自前景层的贡献的任何像素的深度应当被赋予前景的深度。

图像信号产生器301还包括透明度处理器409，其产生与混合图像有关的透明度图。典型地，该透明度图将与用于前景图像的透明度图相同，或者可以例如通过将半透明边缘引入前景图像对象来修改。

在该示例中，（经由混合图像产生器405）从前景图像源303接收的前景图像伴随有用于该前景图像的明确的或暗示的透明度信息。在一些实施例中，可以简单地通过多个前景图像对象来简单地定义前景图像，并且透明度处理器409本身可以被布置来产生透明度信息，例如，通过设置透明度值以对于前景图像对象表示全不透明度而在其它区域中表示全透明度。另外，透明度处理器409本身可以产生半透明的区域，例如通过在前景图像对象的边缘周围引入渐进的透明度转变。这可以例如使用作为阿尔法抠图的处理来实现。在一些示例中，由混合图像产生器产生的透明度信息可以被转发到透明度处理器409，并且被用来产生透明度图。

在该示例中，通过图像编码器单元307分开编码不同类型的3D图像数据。在该示例中，图像编码器单元307包括背景图像编码器411，其接收背景图像并使用适当的编码算法将其编码。

图像编码器单元307还包括第一深度图编码器413，该第一深度图编码器413被耦接到背景深度处理器401，并且从中接收背景深度指示图并使用适当的编码算法将其编码。

图像编码器单元307还包括第二深度图编码器415，该第二深度图编码器415被耦接到混合深度处理器407，并且从中接收混合深度指示图并使用适当的编码算法（其具体地可以与第一深度图编码器413使用的编码算法相同）将其编码。

图像编码器单元307另外包括混合图像编码器417，该混合图像编码器417耦接到混合图像产生器405，并且从中接收混合图像并使用适当的编码算法（其具体地可以与背景图像编码器411使用的编码算法相同）将其编码。

此外，图像编码器单元307包括透明度图编码器419，该透明度图编码器419耦接到透明度处理器409，并且从中接收混合图像透明度图并使用适当的编码算法将其编码。

所有编码器411-419都耦接到组合器421，该组合器421从编码器411-419中的每个接收经编码的输出数据并将其组合到单个输出数据文件或流。将理解，在其它实施例中，数据可以例如在编码之前被组合，并且可以编码经组合的流。例如，图2的图像数据可以被彼此相接地布置，并且可以编码结果。因此，产生了包括经编码的背景图像、经编码的混合前景和背景图像、用于背景图像的深度指示图、用于混合图像的深度指示图以及与混合图像有关的透明度图的3D图像数据。然后，该3D数据可以被有效地存储、分发和处理。

此外，3D数据可以允许适当的处理设备例如从与由前景和背景图像表示的视角不同的视角呈现3D图像或2D图像。同时，不具有处理3D信息的能力的常规设备可以简单地提取并表现混合图像。因此，混合图像可以被处理为任何其他2D图像，并且因为其包含前景和背景图像信息这两者，所以其本身提供了有用的图像。此外，该方式还可以提供对于3D处理的后向兼容性。具体地，混合图像和相关联的混合深度指示图本身可以被用来提供3D图像。因此，可以基于3D数据执行单层3D处理。另外，可以基于两个图像层和相关联的深度指示图来执行3D处理，而无需使用（或实际上能够使用）透明度信息来进行3D处理。

将理解，图1的方法还可以被用在除了用于3D维度数据的编码的设备之外的设备中。 例如，可以在能够从不同视角产生3D画面或2D画面的呈现单元中使用该方式。

这样的呈现单元的示例在图5中图示。该呈现单元可以例如通过被布置来执行图1的方法的处理元件来实现。具体地，该呈现单元可以被实现为混合的软件和硬件计算平台。然而，将理解，其它实现方式也是可能的，并且该呈现单元可以例如被实现为仅硬件的平台。例如，该呈现单元可以由专用集成电路来实现，所述专用集成电路被硬件编码来执行所述操作。

呈现单元包括接收器501，其接收包括表示背景图像、混合图像、与该混合图像有关的透明度图、用于该混合图像的深度指示图、以及用于该背景图像的深度指示图的经编码数据的信号。接收器501可以具体地接收由图2的编码器产生的数据流。接收器501被布置来接收该信号并提取各种类型的数据。

接收器501耦接到解码器503，其被馈给有不同类型的数据。解码器503包括背景图像解码器505，其解码背景图像数据以产生背景图像。解码器503还包括混合图像解码器507，其解码混合的前景和背景图像数据以产生混合图像。解码器503还包括背景深度图解码器509，其解码背景深度图数据以产生背景深度指示图。另外，解码器503包括混合图像深度图解码器511，其解码混合图像深度图数据以产生混合图像深度指示图。最后，解码器503包括透明度解码器513，其解码透明度深度图数据以产生透明度图。

解码器503还耦接到3D呈现单元515，其接收经解码的数据。因此，解码器将3D图像数据提供给3D呈现单元515。具体地，背景图像解码器505将背景图像提供给3D呈现单元515，混合图像解码器507将混合图像提供给3D呈现单元515，背景深度图解码器509将背景深度指示图提供给3D呈现单元515，混合图像深度图解码器511将混合图像深度指示图提供给3D呈现单元515，以及透明度解码器513将透明度图提供给3D呈现单元515。

3D呈现单元515然后可以处理所提供的3D数据以产生3D图像。替换地或附加地，3D呈现单元515可以能够基于3D信息从不同的方向呈现2D视图。3D视图或不同视角2D视图的产生可以基于混合图像的深度图以及背景图像的深度图这两者。例如，针对对于由背景图像和混合图像表示的视角被前景图像对象遮挡、而对于正被呈现的视角不被前景图像对象遮挡的背景区域，所呈现的像素值可以考虑背景深度指示图的深度值。

在呈现多视图时，通常对于高的图像质量的要求是：如果存在来自前景的任何贡献，就将前景层的任何组成部分（component）保持在前景级。因此，除非前景是完全透明的，否则用于混合图像的深度指示应当处于前景层。

然而，发明人已经认识到：典型地，深度指示图的深度转变不趋于与不是完全透明的第一像素重合，而是趋于与从完全透明到完全不透明的转变的中心重合（或者反之亦然）。

因为呈现往往包括在编码中执行的混合的逆操作，所以这趋于是明显的。这允许在前景和背景自身的深度处呈现前景和背景这两者中的每一个。为此，可以使用所谓的预乘（pre-multiplied）深度：

然后，可以使用混合深度数据（其具体地指示不是完全透明的所有像素的前景深度）来呈现该前景，可以使用背景深度来呈现背景。可以使用所呈现的前景透明度的版本来组合作为结果的所呈现的画面，以便获得最终结果。以此方式，在视点改变时，前景（例如，图2中的重影）和背景（例如图2中的教堂）在它们自己的深度处独立地移动。

图6图示了沿着给定图像方向用于混合图像的深度和透明度转变，在具体示例中，所述给定图像方向对应于扫描线（即，对应于水平方向）。在该示例中，由水平轴X表示沿着扫描线的像素位置，而由垂直轴表示深度d和透明度α。在该示例中，增加垂直轴的值对应于前景，而降低值对应于背景。因此，d的更低值对应于进一步朝向背部的深度位置，而d的更高值对应于进一步朝向图像的前部的深度位置。同样，α的更低值对应于与增加的背景表示相对应的更高的透明度值（更低的不透明度），而α的更高值对应于与增加的前景表示相对应的更低的透明度值（更高的不透明度）。该示例图示了以下情形：其中，沿着扫描线遇到前景对象，因此混合图像从全透明度（α=0）向全不透明度（α=1）转变。

如从示例中可以看出的，前景开始变得可见的第一点（A）不与深度转变的任何点（B）重合。发明人已经认识到：例如由于深度以比图像或透明度信息更低的分辨率被编码和传送，这可能频繁出现。在这样的情形下，深度值被例如使用双边滤波器（bilateral filter）上变换（upscaled）。然而，这趋于导致深度转变与前景图像对象边缘的中心的对准，而不是与深度转变开始变得可见的点对准。另外，各个深度指示图、图像和透明度图典型地被独立地编码，并且这可能导致它们之间的未对准。将理解，未对准可能由于各种其它问题而出现。前景对象边缘和深度转变之间的未对准可以导致明显的图像质量劣化。例如，当执行多视图呈现时，因为用于填充暴露（de-occlusion）区域的背景延伸将重复仍具有某种前景贡献的像素，所以条形伪像可能经常出现。因此，前景延伸到背景暴露区域中。

发明人已经认识到：对于其中透明度图和深度指示图这两者都出现的系统，可以实现提高的性能。具体地，发明人已经认识到：通过修改值使得实现改进的深度指示值和透明度值的对准，可以实现提高的图像质量。具体地，可以修改沿着与前景图像对象的边缘相对应的转变的透明度值和深度指示值之间的关系，以便提高图像质量。

因此，在一些实施例中，图1的方法还可以包括：响应于来自一组值集合中的第二值集合的值来修改来自该组值集合的第一值集合的值，其中该组值集合包括与透明度图的透明度值相对应的值集合以及与第一深度指示图的深度指示值相对应的值集合。具体地，如图7所示，可以修改图1的方法以包括另外的步骤701，其中，在图像区域中修改透明度图的透明度值与第一深度指示图的深度指示值之间的关系。

该图像区域可以具体地为与前景的图像对象边缘相对应的图像区域。例如，可以沿着扫描线方向扫描混合图像透明度图，并且无论何时透明度转变出现（例如，从完全透明到完全不透明、或者从完全不透明到完全透明），都执行该转变与沿着用于该混合图像深度指示图的扫描线的相对应转变的对准。因此，通过检测透明度值的转变，可以检测到其中执行了对准的图像区域。将理解，可以使用其它检测适当图像区域以进行修改的方式，诸如例如通过检测深度指示值的转变。

下面，将描述如何修改用于图像区域中混合图像的透明度值和深度指示值之间的关系的具体示例（包括如何确定该图像区域的示例、以及如何修改深度指示值和透明度值之间的关系的示例）。将参考图8的呈现单元来描述所述示例。

除了图8的呈现单元还包括对准处理器801之外，图8的呈现单元与图5的呈现单元相同，该对准处理器801耦接到混合图像深度图解码器511和透明度解码器513。该对准处理器801接收用于混合图像的透明度图和深度指示图，并且进而对准用于与前景图像对象边缘相对应的转变的透明度值和深度指示值。该对准处理器801此外还耦接到3D呈现单元515，该3D呈现单元515被馈给有修改后的深度指示图和透明度图。

在一些实施例中，对准处理器801可以取决于深度指示值来调整透明度值。在其他实施例中，修改处理器801可以替换地或另外取决于透明度值来调整深度指示值。因此，根据包括用于混合图像的透明度值集合和深度指示值集合的组，可以响应于该组中的一个集合的值来修改该组中的另一个集合的值。将理解，在一些实施例中，修改透明度值和深度指示值这两者来提供期望的对准。

在一些实施例中，对准处理器801被布置来响应于混合图像深度指示图的深度指示值来修改混合图像/前景透明度图的透明度值。

具体地，对准处理器801可以修改图像区域中的透明度值，在该图像区域中，深度转变和透明度转变沿着具体地可以是水平方向的图像方向出现。

对准处理器801可以一次一条扫描线地处理图像。可以监视沿着该扫描线的深度指示值和/或透明度值，并且如果检测到转变，则处理该转变周围的区域以便提供改进的转变的对准。在具体示例中，沿着扫描线扫描透明度图，并且无论何时检测到从基本上透明到基本上不透明（或者反之亦然）的透明度转变，该对准处理器801都进而修改该扫描线的相关联间隔的透明度值。

在图9中示出了用于扫描线的深度和透明度转变的示例（对应于图6的示例）。当处理该扫描线时，该对准处理器801因此初始地检测到透明度转变出现。其然后进而确定深度转变点B，该深度转变点B是深度指示图中用于该扫描线的深度指示值的相对应转变的部分。

作为具体示例，图9图示了沿着给定图像方向的用于混合图像的深度和透明度转变，在该具体示例中，所述给定图像方向对应于扫描线（即，对应于水平方向）。对准处理器801首先检测与前景图像对象相对应的任何转变。如上所述，该检测可以基于透明度值，但是可以替换地或另外基于例如深度指示值。

对准处理器801进而确定用于深度转变的深度转变点B。该深度转变点B对应于作为从前景图像对象外部的深度到与该前景图像对象相对应的深度的转变的部分的点。将理解，可以使用许多不同方式来找到深度转变点B，并且在不同实施例和情形下，该深度转变点可以对应于深度转变的不同位置（例如，在转变的开始、中间或结束处）。可以例如根据混合图像深度指示图的深度指示值简单地确定该深度转变点B。例如，如果在给定数目的像素内有多于给定量的深度转变出现，则可以评估深度指示值以找到近似地处于转变的开始和结束中间的像素。

在具体示例中，深度转变点B的确定不仅仅基于混合图像深度指示图的深度指示值，而且还基于背景深度指示图的深度指示值。具体地，对于源自背景图像的像素，这些值将是相等的；而对于源自前景图像的像素（对于前景图像对象的像素），这些值将基本上是不同的。因此，在图9的具体示例中，用于同一像素的深度指示值之间的差在转变之前（沿着扫描线方向）将非常低，而在转变之后将非常高。因此，可以将深度转变点B确定为这样的像素位置，即：对于该像素位置，背景深度指示图和混合图像深度指示图的深度指示值之差增加到超过给定阈值。将理解，对于从前景图像到背景区域的转变，可以将深度转变点确定为该差降低到低于给定阈值的像素位置。

还将理解，所描述的将背景和混合图像深度指示值比较的方式不仅可以被用于确定深度转变点B，而且还可以用于检测与前景图像对象边缘相对应的转变。

对准处理器801然后进而将混合图像透明度值的透明度值朝向更高透明度（对应于图9中α的更低值）偏置。在从该深度转变点沿着朝向更高透明度的方向延伸的间隔中，执行该偏置。因此，将相对更高的透明度引入到至少一些作为前景图像对象的边缘转变的部分的像素位置。

将理解，在一些情形和实施例中，另外可以在比在深度转变点B处结束的间隔更大的间隔中执行偏置。例如，在一些情形下，还可以在从深度转变点B沿着更低透明度的方向延伸的间隔中，提供某种透明度偏置。例如，可以为整个深度转变提供高透明度（低α）值。

将理解，从深度转变点B沿着增加的透明度的方向延伸的间隔的大小可以在不同的实施例和情形下有所不同，并且在不同的实施例和情形下可以不同地确定。例如，该间隔可以简单地具有固定大小，并且因此可以总是在固定间隔大小中执行偏置。例如，如果已知前景图像对象典型地具有比方说5-10个像素的半透明边缘，则可以使用例如15个像素的固定间隔大小。

偏置使得该间隔的至少一个透明度值被调整到对应于比偏置之前更高的透明度。作为具体示例，用于该间隔的所有像素位置的透明度值可以设置为在偏置之前该间隔的最高透明度值。因此，对准处理器801可以找到该间隔的最小α值，并且将所有透明度值都设置为这个α值。图9图示了这样的示例，其中所有α值都被设置为相同的值，该相同的值具体地对应于最高透明度。在其他实施例中，偏置可以简单地在于对准处理器801将该间隔中的所有透明度值都设置为最高可能的透明度值（即，α=0）。

因此，该具体的描述的方式导致透明度值朝向图像区域中较高透明度偏置，在该图像区域中，透明度边缘转变已经开始但是其中深度转变尚未开始。因此，在修改之前，该区域可能由于深度信息而被作为背景的部分而呈现，但仍将包括一些前景图像对象（例如，其颜色）。这将导致图像劣化。然而，通过增加透明度值，降低了该图像劣化，并且实际上当将透明度值设置为完全透明时，该间隔中的图像劣化可能基本上被降低或者甚至完全消除。

在一些实施例中，可以通过响应于透明度图的透明度值来确定透明度转变点A，从而确定偏置间隔的开始（以及因此确定间隔大小）。具体地，在已经找到深度转变点之后，对准处理器801可以进而搜索从深度转变点B沿着更高透明度值的方向延伸的评估间隔中的最高透明度值。例如，可以检测从深度转变点B开始的30个像素的间隔中的最高透明度值的位置，并且可以将其用作偏置间隔的开始点A。

因此，作为具体示例并且参考图9，可以如上所述地找到深度转变点B。确定离开深度转变点B（向图9中的左边）的固定窗口中的最小α值，此后，利用该最小α值来替换该窗口中的α值。尽管在其中透明度值在转变之后不稳定的情形下以此方式确定偏置间隔的开始可能是不精确的，但是对于实际应用而言该方式仍是高效的。

在一些实施例中，对准处理器801被布置为响应于混合图像/前景透明度图的透明度值来修改混合图像深度指示图的深度指示值。

具体地，对准处理器801可以修改图像区域中的深度指示值，在该图像区域中，深度转变和透明度转变沿着具体地可以是水平方向的图像方向出现。

因此，对准处理器801可以一次一条扫描线地处理图像。可以监视沿着该扫描线的深度指示值和/或透明度值，并且如果检测到转变，则处理该转变周围的区域，如下面将描述的。在具体示例中，沿着扫描线扫描透明度图，并且无论何时检测到从基本上透明到基本上不透明（或者反之亦然）的透明度转变，该对准处理器801都进而修改该扫描线的相关联间隔的深度值。

在图10中示出了用于扫描线的深度和透明度转变的示例（对应于图6和9的示例）。当处理该扫描线时，该对准处理器801因此初始地检测到透明度转变出现。其然后进而确定深度转变点B，该深度转变点B是深度指示图中用于该扫描线的深度指示值的转变的部分。

对准处理器801然后可以进而对于至少一些作为透明度转变的部分的像素位置朝向更低的深度值（对应于更加朝向图像的前部的指示，即，对应于图10中d的增加的值）偏置用于混合图像的深度指示值。

具体地，对准处理器801可以确定作为转变的部分的第一透明度转变点A。其然后可以偏置间隔的深度指示值，该间隔沿着扫描线在第一透明度转变点A处结束并且沿着更低透明度方向（即，朝向前景图像对象）延伸。

将理解，在不同实现方式中可以使用不同的用于确定第一透明度转变点A的方式和准则。在许多情形下，有利的是，第一透明度转变点A对应于处于转变的高透明度部分上的点（即，其接近图像对象开始变得可见的点）。作为简单的示例，因此可以将第一透明度转变点A确定为如下位置，在该位置处，α值跨越与几乎全透明度相对应的预定阈值（阈值跨越的方向将取决于该转变是向着前景图像对象还是离开前景图像对象）。

在间隔中执行深度指示值朝向更低深度值（更加前景）的偏置，该间隔在第一透明度转变点处开始并且沿着朝向更低透明度的方向延伸。因此，将相对更低的深度引入到至少一些作为前景图像对象的边缘转变的部分的像素位置。

将理解，从第一透明度转变点A沿着降低的透明度的方向延伸的间隔的大小可以在不同的实施例和情形下有所不同，并且在不同的实施例和情形下可以不同地确定。例如，在简单示例中，该间隔可以具有在其中总是执行偏置的固定大小。例如，如果已知前景图像对象典型地具有比方说5-10个像素的半透明边缘，则可以使用例如15个像素的固定间隔大小。

偏置使得该间隔的至少一个深度指示值被调整到对应于比偏置之前更低的深度级（更加朝向前景）。作为具体示例，用于该间隔的所有像素位置的深度指示值可以被设置为在偏置之前该间隔中的最低深度值。因此，对准处理器801可以找到该间隔的最大d值，并且将所有深度指示值都设置为该d值。图10图示了这样的示例，其中所有d值都被设置为与转变之后的深度指示值相对应的值。在其他实施例中，偏置可以简单地在于对准处理器801将该间隔中的所有深度指示值都设置为与前景相对应的值。

因此，该具体的描述的方式导致在与透明度边缘转变相对应的图像区域中深度指示值朝向前景的偏置，该图像区域包括其中透明度转变已经开始而其中深度转变尚未开始的区域。因此，在修改之前，该区域可能由于深度信息而被呈现为背景的部分，但仍将包括一些前景图像对象（例如，其颜色）。这将导致图像质量劣化。然而，通过降低深度指示值，降低了该图像质量劣化。具体地，该方式可以允许包括来自前景的贡献的图像像素值将被当作前景图像像素对待。

在一些实施例中，可以通过响应于沿着扫描线的透明度指示值来确定第二透明度转变点C，从而确定偏置间隔的开始（以及因此确定间隔大小）。该第二透明度转变点C对应于比第一透明度转变点A更低的透明度值，即，其对应于更接近于前景图形对象或前景图像对象本身的部分的位置。作为简单示例，可以将第二透明度转变点C确定为这样的点，在该点处，α值跨越接近全不透明度的预定阈值。

在具体示例中，通过在深度转变点B周围的间隔中搜索，来找到第一透明度转变点A和第二透明度转变点C。具体地，可以使用用于其中响应于深度指示值修改透明度值的情形的、如参考图9描述的相同方式，来找到深度转变点B（以及实际上转变的存在）。

然后，评估深度转变点B周围的透明度搜索间隔中的透明度值，并且可以具体地将第一透明度转变点A和第二透明度转变点C确定为具有最高、最低透明度值的点。然后，可以将从第一透明度转变点A到第二透明度转变点C的间隔中的深度指示值朝向更低的深度级偏置，具体地，可以将该间隔中的深度指示值设置为该间隔中的最高深度指示值，即，设置为第二透明度转变点C的深度指示值。

该方式趋于对于找到点B的精度相当不敏感，但在一些其中透明度值不稳定的情形下可以导致降级的性能。然而，该方式趋于高效地用于实际应用。

将理解，尽管图6、9和10的示例的描述关注于其中沿着与扫描线方向（具体地，水平扫描线方向）相对应的方向评估转变的情形，但是该方式不限于这样的情形。实际上，将理解，在其它情形下，可以替换地或另外沿着其它图像方向来评估转变。例如，可以替换地或另外评估基本上垂直于扫描线方向的图像方向。因此，图6、9和10的示例等同地应用于其它图像方向，诸如具体地是垂直图像方向。在许多情形下，这可以提高图像质量，并且可以具体地提高察觉到的基本上水平的图像边缘的质量。作为另一示例，可以沿着基本上垂直于对象边缘的方向应用处理。因此，在一些示例中，可以检测图像对象的边缘，并且可以识别具体边缘的主导方向。然后可以确定基本上垂直的方向，并且可以将所描述的方式应用到该方向。

将理解，出于清楚目的的上面的描述已经参考不同的功能单元和处理器描述了本发明的实施例。然而，将清楚的是，可以使用在不同的功能单元或处理器之间的任何适当的功能分配而不偏离本发明。例如，被图示为由分离的处理器或控制器执行的功能可以由相同处理器或处理器执行。因此，对于具体功能单元的参考仅仅应被看作是对用于提供所描述的功能的适当装置的参考，而不是指示严格的逻辑或物理结构或组织。

本发明可以以任何适当的形式来实现，所述适当的形式包括硬件、软件、固件或这些的任何组合。本发明可以可选地至少部分地作为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件来实现。本发明实施例的元件和组成部分可以以任何适当方式物理地、在功能上以及在逻辑上实现。实际上，功能可以在单个单元中、在多个单元中或者作为其它功能单元的一部分来实现。这样，本发明可以在单个单元中实现，或者可以在不同单元和处理器之间物理地或在功能上进行分配。

尽管已经结合一些实施例描述了本发明，但是本发明不意在限于这里提出的具体形式。相反，本发明的范围仅由所附权利要求来限定。另外，尽管特征可能看上去是结合具体实施例描述的，但是本领域技术人员将认识到：依据本发明，可以组合所描述的实施例的各种特征。在权利要求书中，术语“包括”不排除其它元件或步骤的存在。

此外，尽管被独立地列出，但是可以通过例如单个单元或处理器来实现多个装置、元件或方法步骤。另外，尽管可以在不同权利要求中包括各个特征，但是这些特征可以被有利地组合，并且包括在不同权利要求中不暗示特征组合是不可行的和/或不利的。而且，特征包括在一种类别的权利要求中不暗示限于该类别，而是表示该特征等同地可适当地应用于其它权利要求类别。此外，权利要求书中特征的顺序不暗示所述特征必须按其起作用的任何具体顺序、或者具体地方法权利要求中各个步骤的顺序不暗示各步骤必须按此顺序执行。相反，可以以任何适当的顺序执行步骤。另外，单数的引述不排除多个。因此，对“一”、“一个”、“第一”、“第二”等引述不排除多个。权利要求中的附图标记仅仅被提供来作为澄清的实例，而不应被解释为以任何方式限制权利要求的范围。

Claims (31)

1.一种提供三维图像数据的方法，该三维图像数据用于呈现该三维图像数据的至少一个视图的图像元素，该方法包括：

提供（101）第一图像；

提供（103）作为第一图像和第二图像的组合的混合图像，第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度数据而进行的；

提供（105）与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；

提供（107）用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及

提供（111）包括第一图像、混合图像、透明度图和第一深度指示图的三维图像数据。

2.如权利要求1所述的方法，还包括：产生包括三维图像数据的图像信号。

3.如权利要求1所述的方法，还包括：响应于该三维图像数据针对与第一和第二图像的视角不同的视角呈现视图。

4.如权利要求3所述的方法，还包括：响应于该三维图像数据呈现与用于使三维图像可视化的、三维图像数据的多个视图的图像元素相对应的图像元素。

5.如权利要求1所述的方法，还包括：响应于来自一组值集合的第二值集合的值来修改（701）来自该组值集合的第一值集合的值，该组值集合包括与透明度图的透明度值相对应的值集合、以及与第一深度指示图的深度指示值相对应的值集合。

6.如权利要求5所述的方法，还包括：检测与图像对象边缘相对应的图像区域，并且其中修改值包括修改用于该图像区域的值。

7.如权利要求1所述的方法，还包括修改（701）图像区域中的透明度图的透明度值与第一深度指示图的深度指示值之间的关系。

8.如权利要求7所述的方法，其中修改（701）所述关系包括对准沿着图像方向的透明度图的透明度转变和沿着图像方向的第一深度指示图的深度转变。

9.如权利要求1所述的方法，还包括：响应于第一深度指示图的深度指示值来修改（701）透明度图的透明度值。

10.如权利要求9所述的方法，其中，修改（701）透明度值包括：作为透明度图中透明度转变的部分而非第一深度转变图中深度转变的部分，在图像区域中将透明度图的透明度值朝向更高透明度偏置。

11.如权利要求9所述的方法，其中，修改（701）透明度值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的透明度值：

响应于沿着图像方向的第一深度转变图的深度指示值来确定第一深度转变点；

对于沿着图像方向的如下间隔中的像素，将沿着图像方向的透明度图的透明度值朝向更高的透明度偏置，所述间隔沿着更高透明度和更低深度中的至少一个的方向从第一深度转变点延伸。

12.如权利要求11所述的方法，还包括：响应于沿着图像方向的第一透明度图的透明度值来确定第一透明度转变点，并且其中所述间隔从第一透明度点延伸到第一深度转变点。

13.如权利要求12所述的方法，还包括：将第一透明度转变点确定为在从深度转变点沿着更高透明度和更低深度中的至少一个的方向延伸的评估间隔中沿着图像方向具有最高透明度值的点。

14.如权利要求11所述的方法，其中，偏置包括将该间隔的所有透明度值中的透明度值设置为偏置之前的该间隔的最高透明度值。

15.如权利要求11所述的方法，还包括：提供用于第一图像的第二深度指示图，该第二深度指示图包括用于第一图像中的像素的深度指示值；并且其中确定第一深度转变点进一步包括：响应于第二深度指示图的深度指示值来确定第一深度转变点。

16.如权利要求15所述的方法，其中，确定深度转变点包括：响应于第一深度指示图的深度指示值和第二深度指示图的深度指示值的比较，确定深度转变点。

17.如权利要求15所述的方法，其中：确定深度转变点包括：将深度转变点确定为沿着图像方向在第二深度指示图的深度指示值和第一深度指示图的深度指示值之间的差跨越阈值的点。

18.如权利要求1所述的方法，还包括：响应于透明度图的透明度值来修改（701）第一深度指示图的深度指示值。

19.如权利要求18所述的方法，其中，修改（701）深度指示值包括：在与透明度图中的透明度转变相对应的图像区域中，将第一深度指示图的深度指示值朝向前景深度指示值进行偏置。

20.如权利要求18所述的方法，其中，修改（701）深度指示值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的深度指示值：

响应于沿着图像方向的透明度图的透明度值和第一深度指示图的深度指示值中的至少一个，确定第一转变点；

对于沿着图像方向的如下间隔中的像素，将沿着图像方向的第一深度指示图中的深度指示值朝向前景深度指示值进行偏置，所述间隔在第一透明度转变点处结束且从第一透明度点沿着更低透明度方向延伸。

21.如权利要求20所述的方法，其中，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括：

响应于沿着图像方向的透明度图的透明度指示值，确定第二透明度转变点，该第二透明度转变点对应于比第一透明度点更低的透明度；并且

其中该间隔从第一深度转变点延伸到第二深度转变点。

22.如权利要求20所述的方法，其中，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括：

响应于沿着图像方向的第一深度指示图的深度指示值，确定第一深度转变点；

响应于该第一深度转变点，确定透明度搜索间隔；并且其中

确定第一透明度点包括响应于透明度搜索间隔中的透明度值来确定第一透明度点。

23.如权利要求20所述的方法，其中，将深度指示值进行偏置包括将该间隔的所有深度指示值设置为与偏置之前的该间隔的最远的前景深度指示值相对应的深度指示值。

24.一种编码图像信号的方法，该方法包括：

提供（101）第一图像；

提供（103）作为该第一图像和第二图像的组合的混合图像，该第二图像是相对于该第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；

提供（105）与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；

提供（107）用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及

产生（111）包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号。

25.如权利要求24所述的方法，进一步包括：响应于第一深度指示图的深度指示值来修改（701）透明度图的透明度值。

26.如权利要求24所述的方法，进一步包括：响应于透明度图的透明度值来修改（701）第一深度指示图的深度指示值。

27.一种呈现图像的方法，该方法包括：

提供（101）第一图像；

提供（103）作为第一图像和第二图像的组合的混合图像，第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；

提供（105）与混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；

提供（107）用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及

响应于第一图像、混合图像、透明度图和第一深度指示图来呈现（111）图像。

28.一种图像信号编码器，包括：

用于提供第一图像的装置（303）；

用于提供作为第一图像和第二图像的组合的混合图像的装置（405），该第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；

用于提供与该混合图像有关的透明度图的装置（409），该透明度图包括用于该混合图像的像素的透明度值；

用于提供用于该混合图像的第一深度指示图的装置（407），该第一深度指示图包括用于该混合图像的像素的深度指示值；以及

用于产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号的装置（307）。

29.一种图像呈现单元，包括：

用于提供第一图像的装置（505）；

用于提供作为第一图像和第二图像的组合的混合图像的装置（507），该第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；

用于提供与该混合图像有关的透明度图的装置（513），该透明度图包括用于该混合图像的像素的透明度值；

用于提供用于该混合图像的第一深度指示图的装置（511），该第一深度指示图包括用于该混合图像的像素的深度指示值；以及

用于响应于第一图像、混合图像、透明度图和第一深度指示图而呈现图像的装置（515）。

30.一种图像信号，包括：

表示第一图像的数据；

表示作为第一图像和第二图像的组合的混合图像的数据，第二图像是相对于第一图像的前景图像，该组合是响应于用于第二图像的透明度值而进行的；

表示与该混合图像有关的透明度图的数据，该透明度图包括用于该混合图像的像素的透明度值；

表示用于该混合图像的第一深度指示图的数据，该第一深度指示图包括用于该混合图像的像素的深度指示值。

31.一种计算机程序，其使得处理器能够执行如权利要求1、27和30中任一项所述的方法。

Images