CN1675934A

CN1675934A - 用于编码数字视频信号的方法和编码器

Info

Publication number: CN1675934A
Application number: CNA038198428A
Authority: CN
Inventors: S·奥伯格; Y·皮卡德
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-08-21
Filing date: 2003-08-07
Publication date: 2005-09-28
Also published as: WO2004019618A1; ATE343901T1; JP2005536940A; ES2276151T3; US20050265441A1; AU2003255886A1; DE60309341T2; KR20050052476A; DE60309341D1; EP1550314A1; EP1550314B1

Abstract

本发明涉及一种用于编码数字视频信号的方法和编码器，所述数字视频信号包括具有相关形状的一些目标(OBJ)组。本发明的特征在于它包括以下步骤：1.定义用于判断目标(OBJ)的形状是否将被编码或它的补充的一个是否被编码的信息(FLAG)；2.按照该信息(FLAG)的函数，编码所述形状或它的补充。用途：视频通信系统中的编码器。

Description

用于编码数字视频信号的方法和编码器

技术领域

本发明涉及一种用于编码数字视频信号的方法，所述数字视频信号包括一些具有相关形状的目标组。本发明还涉及一种编码器，所述编码器执行所述方法。

这种方法可以用于，例如MPEG标准中的用于3D视频应用的视频通信系统。

发明背景

视频通信系统通常包括具有编码器的发射器和具有解码器的接收器。这种系统接收输入数字视频信号，通过编码器编码所述信号，并将该编码后的信号发射给接收器，然后解码器对所发射的信号解码并随后产生输出数字视频信号，该输出数字视频信号为输入数字视频信号的重建信号。然后，接收器显示所述输出数字视频信号。3D数字视频信号包括多个具有一些目标组的图像，其特征在于这些目标组与形状和纹理相关。

目前的目标编码系统方案基于对特定形状的描述。为了使目标具有多个相连接的部件和复杂的形状(交叉、多边)，MPEG-4标准选择了基于块的模式，(可参照ISO位于MPEG-4文件编号w3056下、名称为“信息技术-音频-视觉目标编码-部分2：视觉，ISO/IEC JTC1/SC29/WG11，Maui，1999年12月”的文件)。将目标分为多个块。为了更容易识别这些块，可以使用矩形边界框的系统，并计算最小的矩形边界框。可以将位于该边界框内的各块定义为“在轮廓内”、“在轮廓外”或“边界块”。对于后者，按照像素级对“内”和“外”进行区分。这些编码技术的不便在于如果在目标严格位于图像框内，即目标不与图像框接触时，使用该边界框效果很好；但是一旦目标与图像框定位重叠或者目标形状的垂直或水平线位于图像框的边界上，则某些情况下编码的比特成本会显著降低。

发明内容

因此，本发明的一个目的是提供一种用于编码数字视频信号的方法和编码器，所述数字视频信号包括一些具有相关形状的目标组，它可以用来降低编码与图像框位置重叠的目标和其形状包括位于图像框边界上的垂直或水平线的目标所需的比特数目。

为了这一目的，提供了一种包括如下步骤的方法：

-定义用于判断目标的形状是否将被编码或它的补充(complement)的一个是否将被编码的信息；

-按照该信息的函数，编码所述形状或它的补充。

另外，提供了一种编码器，该编码器包括用于判断目标的形状是否将被编码或它的补充是否为一的信息，和用于按照所述信息的函数编码所述形状或它的补充的编码装置。

下面我们将会看到，通过在某些情况下不对原始形状而对该形状的补充进行编码，可以提高压缩效率，因为仅需要更少的比特来编码该形状。

附图说明

通过阅读下面的详细说明并参照附图可以更明白的理解本发明的其他目的、特征和优点，这些附图中：

图1示出根据本发明包括编码器和解码器的视频通信系统；

图2示出根据本发明的编码方法的示意图；

图3示出利用图2的编码方法进行编码的目标和它的相关形状；

图4示出图3的目标，其中已经根据传统编码方法将该目标编码；

图5示出图3的目标，其中已经根据图2的编码方法的第一实施例对该目标进行了编码；

图6示出图3的目标，其中已经根据图2的编码方法的第二实施例对该目标进行了编码。

详细实施例的描述

在下面的说明中，由于对本领域技术人员公知的功能或结构进行不必要的详细说明会模糊本发明的主题，因此将不对它们进行详细说明。

本发明涉及一种用于编码数字视频信号的方法。

这种方法可用于视频通信系统SYS中，该视频通信系统SYS可用于MPEG2或MPEG4的视频应用，其中所述视频通信系统包括发射器TRANS、传输介质CH和接收器RECEIV。所述发射器TRANS和所述接收器RECEIV分别包括编码器ENC和解码器DEC。

为了通过传输介质CH有效发射视频信号，所述编码器ENC可以对视频信号进行编码，然后将编码后的视频信号发送到解码器DEC，该解码器DEC将该信号解码。最后接收器RECEIV显示所述视频信号。

视频信号包括一些通常存在于某些图像I内的目标组，其中图像I由多个像素表示，且所述目标具有相关形状。

编码器ENC包括用于判断目标的形状是否将被编码或它的补充的一个是否将被编码的信息FLAG，以及用于按照所述信息FLAG的函数对所述形状或它的补充进行编码的编码装置。

该解码器DEC包括解码装置，该解码装置用于提取所述信息FLAG，按照信息FLAG的函数解码所述形状或它的补充，并当该补充已经被解码的时候按照该补充的函数获得形状。

该视频信号的编码是基于块原则进行的。对框着目标OBJ的最小矩形进行计算。该矩形被称为边界框BOUND_BOX。将所述边界框BOUND_BOX分为多个被编码的块B。每个块都有类型，其中这些类型可以为“形状内”、“形状外”和“边界块”。该目标OBJ的边界框BOUND_BOX还被称为原始边界框。

数字视频信号的编码如下图2和3所示。

在第一步骤1)，编码器ENC执行第一处理以选择它将要对目标OBJ的哪个形状进行编码，是原始形状还是它的补充(步骤1a)。在选择编码该补充的情况下，在第一实施例中，可以选择使用图像框内目标OBJ的补充NOT_OBJ，而在第二实施例中，可以选择处于目标边界框BOUND_BOX内的目标OBJ的补充NOT_OBJ_BB(步骤1b)。

在非限制性实施例中，所述第一处理可以这样实现：

-计算三个边界框BOUND_BOX，其中分别如图4、5和6所示，一个边界框对应原始目标OBJ，一个边界框对应它的补充NOT_OBJ，另一个边界框对应位于目标OBJ的边界框内的该目标OBJ的补充NOT_OBJ_BB，

-选择对应目标OBJ、该目标OBJ的补充NOT_BOJ或位于原始边界内的该目标OBJ的补充NOT_OBJ_BB的形状以便编码，该形状具有最小边界框BOUND_BOX。注意，仅当NOT_OBJ_BB的边界框BOUND_BOX足够小于目标OBJ的边界框BOUND_BOX和目标OBJ的补充NOT_BOJ的边界框BOUND_BOX时，才会选择NOT_OBJ_BB。

注意边界框BOUND_BOX具有四个坐标，该边界框BOUND_BOX对应根据图像框I内的相关目标OBJ所获得的以像素为单位的最小坐标Xmin、Ymin和最大坐标Xmax、Ymax。注意这些坐标还可以由例如位置(X，Y)、长度和宽度来表示。

在图3的例子中，图像I内表现出目标OBJ。该目标OBJ的形状为灰色区域。

所述目标NOT_OBJ的补充为白色区域。

图4中表示出目标OBJ的边界框BOUND_BOX，而图5中示出了该目标OBJ的补充NOT_OBJ的边界框BOUND_BOX。位于所述目标OBJ的边界框内的所述目标OBJ的补充NOT_OBJ_BB在图4中为白色区域。图6中表示出了它的边界框BOUND_BOX。可以注意到边界框BOUND_BOX分别为框着目标OBJ、补充NOT_OBJ和位于原始边界框BOUND_BOX内的目标OBJ的补充NOT_OBJ_BB的虚线矩形。

在第一非限制性实施例中，当目标OBJ的边界框BOUND_BOX大于它的补充NOT_OBJ的边界框BOUND_BOX时，对它的补充的形状进行编码。在第二非限制性实施例中，如果位于目标OBJ的边界框BOUND_BOX内的目标OBJ的补充NOT_OBJ_BB的边界框BOUND_BOX更小，并且如果(位于原始边界框内的补充NOT_OBJ_BB、目标OBJ或补充NOT_OBJ的)这些边界框的尺寸差别足够大(例如使得对原始边界框的坐标的编码所用的比特少于使用目标OBJ或它的补充NOT_OBJ对较大边界框BOUND_BOX内的更多块进行的编码)时，对位于原始边界框BOUND_BOX内的它的补充NOT_OBJ_BB的形状进行编码。

如图6、5和4中所示，位于原始边界框内的补充目标NOT_OBJ_BB的边界框BOUND_BOX为最小的一个，其次分别为补充目标NOT_OBJ的边界框BOUND_BOX和目标OBJ的原始边界框。

实际上，可以看出在原始目标OBJ的边界框BOUND_BOX中，存在5个称为边界块B_BND的块和61个平面块，其中16个平面块位于形状B_OUT外，45个平面块位于形状B_IN内。

对于补充目标NOT_OBJ的边界框BOUND_BOX，存在与原始目标OBJ情况下相同数目的边界块B_BND，但是平面块只有28个，其中仅有1个形状外块B_OUT，另有27个为形状内块B_IN。

对于原始边界块内的补充目标NOT_OBJ_BB的边界框BOUND_BOX，存在与原始目标OBJ和补充目标NOT_OBJ相同数目的边界块B_BND，但是其平面块的数目比在补充目标NOT_OBJ的边界框BOUND_BOX的情况下更少，仅有17个，其中1个在形状外，另有16个在形状内。

另外，原始边界框内的补充目标NOT_OBJ_BB的边界框BOUND_BOX仅有11个，少于补充目标NOT_OBJ的边界框BOUND_BOX。

如果希望使用原始边界框内的目标OBJ的补充NOT_OBJ_BB，则这11个块的编码将比对原始边界框BOUND_BOX的坐标编码使用更少的比特。

因此，在该例子中，从比特成本的角度来说，对补充目标NOT_OBJ的形状编码将比对原始目标的形状OBJ或在原始目标的边界框内的它的补充NOT_OBJ_BB编码更加有效并且更便宜，这是因为如果人们使用原始边界框内的补充目标NOT_OBJ_BB，则对所述补充目标NOT_OBJ编码将比对处于原始边界框内的所述补充目标NOT_OBJ_BB形状加上原始边界框的坐标进行编码使用更少的比特。

在第二步骤2)，编码处理开始。编码器ENC对目标(不论选择了原始目标或补充目标)的所有特征进行编码，特别是它的相关纹理、运动向量、形状，这些都为本领域技术人员公知。

在编码处理过程中，当进行形状编码时，将信息FLAG定义为视频目标水平(MPEG-4中的VO)，该信息FLAG用于判断目标的形状是否已经被编码或者它的补充之一的形状是否已经被编码。该信息为例如长度可变(一个和两个比特字)标识FLAG。如果所述标识等于0，则使用标准编码，即对原始目标OBJ的形状进行编码(图2中的步骤2c)，而如果标识等于10，则对补充NOT_OBJ的形状编码(步骤2b)，如果所述标识等于11，则对位于目标OBJ的边界框BOUND_BOX内的所述目标OBJ的补充NOT_OBJ_BB的形状以及所述目标OBJ的边界框的坐标进行编码(步骤2a)。

在我们的例子中，如图2中的步骤2a)所示，将信息FLAG设定为10。

在第三步骤3)中，编码器ENC对所选择的目标的形状编码，该所选择的目标可以为原始的一个OBJ(步骤3c)，它的补充NOT_OBJ(步骤3b)或者位于该原始边界框NOUND_BOX内的它的补充NOT_OBJ_BB的形状以及该目标OBJ的边界框BOUND_BOX的坐标(步骤3a)。

在我们的例子中，如图2的步骤3b)所示，它对补充目标NOT_OBJ的形状进行编码。

最后，发射器TRANS具体地将编码后的形状发射给接收器RECEIV，从而最终发射给解码器DEC。

在解码处理期间，在解码器DEC侧，信息FLAG的值将通知所述解码其DEC怎么做。

如果该标识FLAG的值被设定为零，则它表示原始形状被编码，其结果是解码后的形状为标准一。如果该标识FLAG的值被设定为10，则它表示对图像框内的原始形状的补充进行编码，并且为了得到原始形状应当计算解码后的形状的补充。如果该标识FLAG被设定为11，则它表示位于原始目标边界框内的原始形状的补充NOT_OBJ_BB与所述原始边界框的坐标一起被编码，应当计算位于由解码后的坐标所定义的边界框内的解码后形状的补充。

注意用于根据本发明编码的方法最好用于位置与图像框重叠的原始目标OBJ或包括位于边界上的水平或垂直线的目标的形状，即当所述线的全部或部分与边界线重合时的目标的形状。因此，在处理大型目标时尤其是这样的情况。在不具有特定边界的原始目标OBJ完全处于图像框内侧的情况下，即它不接触框的边缘的情况下，如MPEG-4标准所述的传统编码已经足够。

因此，当目标OBJ的边界框BOUND_BOX具有与图像I一样的边界且图像I包括所述目标OBJ，或目标OBJ的形状包括位于该边界上的水平或垂直线时，激活信息FLAG，即使用该信息FLAG。

因此，本发明的一个优点在于可以告诉解码器以及接收器怎样解码目标的形状。

进而，使用标识可以简单定义原始目标或补充目标的形状类型，从而按照改进的有效方式对图像内的目标形状编码。

应当理解本发明并不局限于前述实施例，在不脱离权利要求所定义的本发明精神和范围的情况下，还可以实现多种变化和修改。从这方面来说，需要作出如下说明。

应当理解本发明并不局限于前述视频应用。它可以在使用用于处理将目标形状考虑进来的信号的系统的任何应用中使用。特别是，本发明可用于其他MPEG标准系列(MPEG-1，MPEG-2)和ITU H26X系列(H261，H263和扩展，H261为现在最新的，参考编号Q15-K-59)的视频压缩算法。

应当理解本发明的方法并不局限于前述实施方式。

假设硬件或软件单独可以执行某些功能，则通过硬件或软件或它们结合可以按照多种方法来实现本发明方法的功能。这并不排除硬件或软件或它们的结合的项目集合执行一个功能的情况，从而在不修改本发明用于处理视频信号的方法的情况下，可以形成单个功能。

所述硬件或软件项目可以以多种方式实现，例如分别通过有线电路或通过适当编程的集成电路。该集成电路可以被包含在计算机或编码器中。在第二种情况下，编码器包括用于判断目标的形状是否将被编码或者它的补充的一个是否将被编码的信息项目，以及用于按照前述信息的函数对所述形状或它的补充进行编码的编码装置，所述信息或装置为上述的硬件或软件项目。

该集成电路包括一组指令。因此在计算机编程存储器或在编码存储器中包含的指令组可以使计算机或编码器执行编码方法的不同步骤。

通过读取数据载体例如磁盘，可以将指令组装载到编程存储器中。服务提供者还可以通过例如互联网等通信网络来提供指令组。

权利要求中的任何标记都不用于限制权利要求。很明显词汇“包括”并不排除除了权利要求中定义的那些步骤和元件之外出现其它步骤和元件的情况。元件或步骤前出现的词汇“一个”并不排除出现多个这种元件或步骤的可能。

Claims

1.一种用于编码数字视频信号的方法，所述数字视频信号包括一些具有相关形状的目标(OBJ)组，其特征在于该方法包括以下步骤：

-定义用于判断目标(OBJ)的形状是否将被编码或它的补充的一个是否被编码信息(FLAG)；和

-按照该信息(FLAG)的函数，编码所述形状或它的补充。

2.如权利要求1所述用于处理数字视频信号的方法，其特征在于该补充为图像框内的目标(OBJ)的补充(NOT_OBJ)。

3.如权利要求1所述用于处理数字视频信号的方法，其特征在于边界框(BOUND_BOX)与目标(OBJ)相联系，该补充为目标(OBJ)在它的边界框(BOUND_BOX)内的补充(NOT_OBJ_BB)。

4.如权利要求3所述用于处理数字视频信号的方法，其特征在于它还包括用于对所述目标(OBJ)的边界框坐标进行编码的步骤。

5.如权利要求1-4中任何一个所述用于处理数字视频信号的方法，其特征在于当目标(OBJ)的边界框(BOUND_BOX)具有与包括所述目标(OBJ)的图像一样的边界时，激活该信息。

6.如权利要求1-5中任何一个所述用于处理数字视频信号的方法，其特征在于当目标(OBJ)的边界框(BOUND_BOX)大于它的补充(NOT_OBJ、NOT_OBJ_BB)的边界框(BOUND_BOX)时，编码它的补充的形状。

7.一种用于编码器(ENC)的计算机程序产品，包括一组指令，当将该一组指令载入所述编码器(ENC)中时，将使得编码器(ENC)执行权利要求1到6所述的方法。

8.一种用于计算机的计算机程序产品，包括一组指令，当将该一组指令载入所述计算机中时，将使得计算机执行权利要求1到6所述的方法。

9.一种用于解码数字视频信号的方法，所述数字视频信号包括一些具有相关形状的目标(OBJ)组，其特征在于它包括以下步骤：

-获得信息(FLAG)，该信息判断目标(OBJ)的形状是否已经被编码或它的补充的一个是否已经被编码；

-按照所述信息(FLAG)的函数，解码所述形状或它的补充(NOT_OBJ，NOT_OBJ_BB)，和-如果补充已经被解码，则获得作为该补充(NOT_OBJ，NOT_OBJ_BB)的函数的形状。

10.一种用于编码数字视频信号的编码器(ENC)，所述数字视频信号包括一些具有相关形状的目标(OBJ)组，其特征在于该编码器包括用于判断目标(OBJ)的形状是否将被编码或它的补充的一个是否将被编码的信息(FLAG)，和用于按照所述信息(FLAG)的函数编码所述形状或它的补充的编码装置。

11.一种用于解码数字视频信号的解码器(DEC)，所述数字视频信号包括一些具有相关形状的目标(OBJ)组，其特征在于它包括用于获得信息(FLAG)的解码装置，该信息用于判断目标(OBJ)的形状是否已经被编码或它的补充是否已经被编码，用于按照所述信息(FLAG)的函数解码所述形状或它的补充，以及如果该补充(NOT_OBJ，NOT_OBJ_BB)已经被解码时用于按照所述补充的函数获得该形状。

12.一种视频通信系统(SYS)，它可以接收数字视频信号，包括具有如权利要求10所述的用于编码所述视频信号的编码器(ENC)的发射器(REC)，用于发射编码后的视频信号的传输信道(CH)，和具有如权利要求11所述用于解码所述编码后视频信号的解码器(DEC)的接收器(RECEIV)。