CN1810039B

CN1810039B - 用于组合情景的方法和译码器

Info

Publication number: CN1810039B
Application number: CN2004800175195A
Authority: CN
Inventors: J·戈伯特; L·恩古延-普胡
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 2003-06-23
Filing date: 2004-06-08
Publication date: 2010-06-16
Anticipated expiration: 2024-06-08
Also published as: JP2007516630A; CN1810039A; WO2004114670A3; KR20060015759A; US7561208B2; US20070052859A1; EP1639825A2; WO2004114670A2

Abstract

本发明涉及用于组合包含多个对象的情景的方法，对象包括色度和亮度分量，色度值与至少两个亮度值的组有关联，其中所述方法包括用第二对象与第一对象混合而导致产生一个混合的对象的步骤，所述步骤包括以下子步骤：根据第一和第二对象的相应的色度分量和根据第一组合函数生成混合的对象的亮度分量，以及根据第一和第二对象的相应的色度分量和根据第二组合函数生成混合的对象的色度分量，该第二组合函数取决于第一组合函数的一组相关联的值。

Description

用于组合情景的方法和译码器

技术领域

本发明涉及用于组合包含多个对象的情景的方法，对象包括色度和亮度分量，色度值与至少两个亮度值的一个组相关联，所述方法包括使第二对象与第一对象混合从而产生一个混合的对象的步骤。

本发明还涉及译码器，所述译码器实施所述方法。这样的方法例如可用于MPEG-4视频通信系统。

背景技术

可见的情景可以由诸如自然视频、二维、三维合成图像、图形或文本的不同类型的对象组成。

视频通信系统(例如移动电信系统)典型地包括第一移动电话和第二移动电话，分别包括编码器和译码器。为了从第一移动电话传送可看见的情景到第二移动电话，不同的对象被第一移动电话编码，并被独立地传送到第二移动电话。在译码器一侧，通过对不同的对象进行译码和然后呈现经译码的对象从而把情景重新组合。所述呈现通常包括：几何变换步骤，它能够映射情景上的对象；以及包括把映射的对象混合在一起从而形成最后的情景的步骤。

对象典型地包括色度U和V，以及亮度Y分量，从而形成对象的彩色。在使对象M与当前的对象N混合的步骤期间，透明度数值Nalpha可以与对象N相关联，所述透明度数值影响混合的对象P的色度和亮度值Pyuv，以使得：

Pyuv＝[(255-Nalpha)*Myuv+Nalpha_y*Nyuv]/255

混合后对象的象素的透明度按照所述象素的形状而得到。透明度允许确定在情景中哪个对象是在另一个对象的前面还是后面。形状与情景的帧的象素相关联。它允许知道象素是在对象的里面还是在对象的外面。如果它是在外面，则形状具有零值，否则它具有等于1的数值。

对于具有坐标(x，y)的象素，相应于这些坐标的形状值被取值为0或1，并把它归因于这个象素的亮度。在其中亮度值是十字叉(crosses)的情形下，对于色度值U或V(x，y)所使用的形状是坐标(2x-1，2y-1)的象素的形状，即，与色度值相关联的2×2象素的方形的右上角象素。

这个解决方案的一个不方便处是，混合后的对象的色度是错误的。这导致对于具有任意形状的对象的视觉质量变坏。在由图2a到2c的字母“e”构成的和由带条所表示的对象的例子中可看到这个观察结果。图2a是原先的对象，图2c是组合的结果而图2b说明如何得到这个结果。每个方形代表一个象素。如果取其坐标为(4，2)的象素，则一个其形状将被使用于色度分量的象素是象素(3，1)，如图2b所示。这个形状的数值是0，也就是说，它在符号“e”的外面并将不考虑其色度值，如图2c所示，其中象素值由各点代表。该结果是错误的，因为色度值应当被考虑而且结果应当是与图2a相同的。

发明内容

因此，本发明的目的是提供用于组合包含多个对象的情景的方法和译码器，对象包括色度和亮度分量，色度值与至少两个亮度值的一个组有关，所述方法包括使第二对象与第一对象混合从而导致产生一个混合的对象的步骤，这给出所述混合的对象更好的视觉质量。

为此，提供一种方法，其中混合步骤包括以下子步骤：

-根据第一和第二对象的相应的亮度分量和根据第一组合函数来生成混合的对象的亮度分量，以及

-根据第一和第二对象的相应的色度分量和根据第二组合函数来生成混合的对象的色度分量，该第二组合函数取决于第一组合函数的一组相关联的值。

此外，提供一个包括混合装置的译码器，所述混合装置包括：

-亮度生成装置，用于根据第一和第二对象的相应的亮度分量和根据第一组合函数来生成混合的对象的亮度分量，以及

-色度生成装置，用于根据第一和第二对象的相应的色度分量和根据第二组合函数来生成混合的对象的色度分量，该第二组合函数取决于第一组合函数的一组相关联的值。

正如我们将进一步详细地看到的，使用对于第二组合函数的第一组合函数的一组相关联的值会给对象的色度分量提供更好的精度。

按照第一个非限制的实施例，第一组合函数取决于形状分量。

在这个第一非限制实施例的非限制变例中，色度值与4个亮度值和4个形状值有关，第二组合函数是在4个相关联的形状值之间的‘或’函数。

按照第二个非限制的实施例，第一组合函数是基于透明度分量。

在这个第二非限制实施例的非限制变例中，色度值与4个亮度值和4个透明度值有关，该第二组合函数是4个透明度值的平均。

附图说明

通过参考附图和阅读以下详细说明，将明白本发明的另外的目的、特性和优点，其中：

图1显示在4:2:0格式情形下色度和亮度分量的分布，

图2a，2b，2c显示按照现有技术的情景时混合的对象的色度计算的结果，以及

图3是译码器的框图。

具体实施方式

本发明涉及用于组合情景的方法，所述情景包括多个对象，对象包括色度和亮度分量，一个色度值与至少两个亮度值的一个组相关联。

在以下的说明中，本发明是在视频格式4:2:0的情形下描绘的，即，一个色度U或V相应于四个亮度Y值，色度在水平和垂直方向上被次采样，但本领域技术人员将会看到，本发明可应用于任何视频格式，在其中色度分量与亮度分量相比是次采样的。

在以下的说明中，本领域技术人员熟知的功能和结构不作详细描述，因为这会以不必要的细节掩盖本发明。

图3表示译码器结构的总体概观。当对给定的进程的所有对象译码时，应用相同的译码方案。

译码器包括多路分解器DEMUX(31)、形状译码器SHDEC(32)、运动译码器MDEC(33)和纹理译码器YUVDEX(34)，用于对亮度和色度分量进行译码。重建的对象是借助运动补偿电路MC(35)，重建电路(36)和图像存储器MEM(37)按照本领域技术人员已知的原理把形状、纹理结构和运动信息正确地组合而得到的。

在对给定的进程中不同的对象译码后，对于情景的每个对象施加逆仿射变换，诸如旋转、变焦(zoom)、或减缩。为此，要使用被称为《后向映射》的公知的技术。对于所述图像的每个象素的坐标(x，y)施加仿射变换。当前的对象的象素的亮度、色度和透明度分量然后通过例如在围绕具有坐标(X，Y)的逆变换的象素的四个象素之间进行的内插，双线性内插而得到。

在逆仿射变换后，执行混合步骤，也称为组合。对象可以以预定的次序递归地被混合。

在这个步骤中，透明度数值与情景的每个对象相联系。实际上，它允许看见哪个对象在另一个对象的后面或前面。每个对象具有它本身的亮度Y、色度U和V、以及透明度α数值。混合被顺序地完成。通常，对象的组合由情景后面的对象开始而两个两个地进行。例如，如果第一对象N是在第二对象M上进行的上层，生成混合的对象P。混合后的对象P的YUV象素值取决于对象M和N的象素值，以及取决于当前的对象N的透明度数值。因此：

Py＝[(255-Nalpha_y)*My+Nalpha_y*Ny]/255

Puv＝[(255-Nalpha_uv)*Muv+Nalpha_uv*Nuv]/255

其中：

-Py和Puv分别是混合的对象P的亮度Y和色度UV分量，

-My和Muv分别是第二对象M的亮度Y和色度UV分量，它例如是情景的背景，而且它在以前的混合步骤中已被计算和被存储，

-Ny和Nuv分别是正在被处理的第一对象N的亮度Y和色度UV分量，

-Nalpha_y和Nalpha_uv分别是为得到Py和Puv分量而施加到对象N的象素的透明度分量，

-亮度值被包括在0于255之间。

透明度分量Nalpha是三项的乘积：

-全局的α值，它施加到对象的所有的象素，

-一些灰度α值，一个数值与一个象素相关联，

-一些二进制形状值，一个数值与一个象素相关联。

应当指出，透明度和形状分量具有与亮度相同的分辨率。

更具体地，混合的对象P的亮度分量是根据第一和第二对象N和M的相应的亮度分量和根据第一组合函数而生成的。混合的对象P的色度分量是根据第一和第二对象N和M的相应的色度分量和根据第二组合函数而生成的。

因此，亮度分量的透明度Nalpha_y是第一组合函数的函数，以及色度分量的透明度Nalpha_uv是第二组合函数的函数。有利地，第二组合函数取决于第一组合函数的相关联的数值的一个组。它允许在计算色度分量Puv时更精确。

按照本发明的第一非限制的实施例，第一组合函数是基于二进制形状分量，以及透明度分量Nalpha_uv是全局α值，灰度α值，和形状值Shape_uv(x，y)的乘积。

在这种情形下，第二组合函数是相应的四个象素的形状的0R(或值)，以使得：

Shape_uv(x，y)＝Shape_y(2x-1，2y-1)OR Shape_y(2x，2y-1)OR Shape_y(2x-1，2y)OR

Shape_y(2x，2y)，如果象素编号从1开始的话。

例如，对于其坐标是(x，y)＝(2，1)的当前的象素，第二组合函数是：

Shape_uv(2，1)＝shape_y(3，1)0R shape_y(4，1)OR shape_y(3，2)OR shape_y(4，2)，

不同的形状数值Shape_y()取数值0或1。因此，如果至少一个亮度值被考虑，即，属于对象N，则该色度值被考虑。

对于这个第二组合函数，图2c的最终得到的混合的对象“e”具有好得多的质量，好像它是原先的“e”一样。

至于透明度Nalpha_uv的灰度α值，可以或者取当前的象素灰度α值：

gray_alpha_uv(x，y)＝gray_alpha_y(2x-1、2y-1)、

或者取四个相关的象素的灰度α值，以使得：

gray-alpha_uv(x，y)＝[gray-alpha_y(2x-1，2y-1)+gray-alpha_y(2x，2y-1)+gray-alpha_y(2x-1，2y)+gray-alpha_y(2x，2y)]/4.

按照本发明的第二非限制的实施例，第一组合函数是基于透明度分量的。

在这种情形下，第二组合函数是四个相关联的象素的透明度的平均值，这样：

Nalpha_uv(x，y)＝[Nalpha_y(2x-1，2y-1)+Nalpha_y(2x，2y-1)+Nalpha_y(2x-1，2y)+Nalpha_y(2x，2y)]/4

应当指出，平均值可以以不同的方式计算，例如通过使用加权系数计算。

由于透明度数值被包括在0与255之间，其结果比起在第一实施例中只使用形状来说会给出更好的精确度。

将会看到，本发明不限于前述的实施例，以及可以在不背离如所附权利要求规定的本发明的精神和范围的条件下作出变化和修改。在这方面，作出以下的结束性说明。

将会看到，本发明不限于前述的、在移动电话上的视频应用。例如，本发明可应用于电视，只要其上有某些文本消息和视频时。

将会看到，按照本发明的方法不限于前述的实施方案。

藉助于硬件项或软件项或二者，可以有许多实施按照本发明的方法的功能的方式，如果单一的硬件项或软件项可以实现几个功能的话。不排除硬件项或软件项或二者的集合实现一个功能，因此形成单个功能，而不用修改按照本发明的用于组合情景的方法。

所述硬件项或软件项可以以几种不同的方式被实施，诸如分别藉助于连线的电子电路或藉助于适当编程的集成电路。集成电路可被包含在计算机或编码器中。在第二种情形下，译码器包括一个亮度生成装置，用于根据第一和第二对象的相应的亮度分量和根据第一组合函数生成混合的对象P的亮度分量；和一个色度生成装置，用于根据第一和第二对象的相应的色度分量和根据第二组合函数生成混合的对象P的色度分量，第二组合函数取决于第一组合函数的一组数值，正如以前描述的，所述装置是如上所述的硬件项或软件项。

集成电路包括一组指令。因此，被包含在例如计算机编程的存储器或译码器存储器中的所述指令组可以使得计算机或译码器执行本组合方法的不同的步骤。

指令组可以通过读诸如像盘那样的数据载体而被装载到编程的存储器中。服务供应商也可以使得指令组成为经由诸如例如因特网那样的通信网而可得到。

在以下的权利要求中的任何标号不应当看作为限制权利要求。显然，动词“包括”及其派生词的使用不排除存在除了在任何权利要求中规定的那些以外的任何其它步骤或单元的存在。在元件或步骤前面的冠词“一个”不排除多个这样的元件或步骤的存在。

Claims

1.一种用于组合包含多个对象的情景的方法，对象包括色度和亮度分量，色度值与至少两个亮度值的一个组相关联，其中所述方法包括使第二对象与第一对象混合从而导致产生一个混合的对象的步骤，所述步骤包括以下子步骤：

-根据第一和第二对象的相应的亮度分量和根据第一组合函数来生成该混合的对象的亮度分量，第一组合函数基于第一对象的亮度分量的透明度分量Nalpha_y，以及

-根据第一和第二对象的相应的色度分量和根据第二组合函数来生成该混合的对象的色度分量，该第二组合函数取决于第一组合函数的一组相关联的值并且基于第一对象的色度分量的透明度分量Nalpha_uv。

2.如权利要求1中要求的用于组合情景的方法，其中第一对象的色度分量的透明度分量Nalpha_uv是四个相应像素的亮度分量的透明度分量Nalpha_y的平均值，即，Nalpha_uv(x，y)＝[Nalpha_y(2x-1，2y-1)+Nalpha_y(2x，2y-1)+Nalpha_y(2x-1，2y)+Nalpha_y(2x，2y)]/4。

3.如权利要求1中要求的用于组合情景的方法，其中第一组合函数取决于形状分量。

4.如权利要求3中要求的用于组合情景的方法，其中第一对象的色度分量的透明度分量Nalpha_uv是全局α值、灰度α值和形状值Shape_uv的乘积，其中Shape_uv是相应四个像素的形状值的或值，即Shape_uv(x，y)＝Shape_y(2x-1，2y-1)OR Shape_y(2x，2y-1)ORShape_y(2x-1，2y)OR Shape_y(2x，2y)。

5.一种用于组合包含多个对象的情景的译码器，对象包括色度和亮度分量，色度值与至少两个亮度值的一个组相关联，所述译码器包括用于使第二对象与第一对象混合从而导致产生一个混合的对象的装置，所述混合装置包括：

-亮度生成装置，用于根据第一和第二对象的相应的亮度分量和根据第一组合函数来生成该混合的对象的亮度分量，第一组合函数基于第一对象的亮度分量的透明度分量Nalpha_y，以及

-色度生成装置，用于根据第一和第二对象的相应的色度分量和根据第二组合函数来生成该混合的对象的色度分量，所述第二组合函数取决于第一组合函数的一组相关联的值并且基于第一对象的色度分量的透明度分量Nalpha_uv。

6.如权利要求5中要求的译码器，其中第一对象的色度分量的透明度分量Nalpha_uv是四个相应像素的亮度分量的透明度分量Nalpha_y的平均值，即，Nalpha_uv(x，y)＝[Nalpha_y(2x-1，2y-1)+Nalpha_y(2x，2y-1)+Nalpha_y(2x-1，2y)+Nalpha_y(2x，2y)]/4。

7.如权利要求5中要求的译码器，其中第一组合函数取决于形状分量。

8.如权利要求7中要求的译码器，其中第一对象的色度分量的透明度分量Nalpha_uv是全局α值、灰度α值和形状值Shape_uv的乘积，其中Shape_uv是相应四个像素的形状值的或值，即Shape_uv(x，y)＝Shape_y(2x-1，2y-1)OR Shape_y(2x，2y-1)ORShape_y(2x-1，2y)OR Shape_y(2x，2y)。