CN101171845A - 对使用层间预测编码的视频信号进行解码的方法 - Google Patents

Abstract

提供一种接收第一层的编码位流和第二层的编码位流并将其解码为视频信号的方法。判断在第二层的位流中是否存在与第一层的一图像中的目标块在时间上重合的块。如果在第二层的位流中不存在与目标块在时间上重合的块，则跳过检查指示是否已基于与目标块对应的不同层中的块的数据预测目标块的信息(intra_base_flag和residual_prediction_flag)的操作。该方法消除了当用时间上相邻帧进行层间预测时编码器发送不必要信息(intra_base_flag和residual_prediction_flag)的需要。

Description

对使用层间预测编码的视频信号进行解码的方法

技术领域

本发明涉及一种对使用层间预测编码的视频信号进行解码的方法。

背景技术

可调整视频编解码(SVC)将视频编码成具有最高图像质量的图像序列，同时确保能对所编码的图像序列的一部分(尤其是从整个帧序列中间断地选择的帧序列的一部分)进行解码并以低图像质量呈现视频。运动补偿时间滤波(MCTF)是建议在可调整视频编解码中使用的一种编码方案。

尽管可通过接收和处理根据可调整MCTF方案编码的图像序列的一部分而呈现低图像质量视频，然而仍然存在的问题在于如果位速率降低则图像质量明显降低。该问题的一个解决方案是提供一种低的位速率的辅助图像序列，例如具有小的屏幕尺寸和/或低的帧速率的图像序列。

辅助图像序列被称为基层，而主帧序列被称为增强层或强化层。由于使同一视频信号源编码为两层，因此基层和增强层的视频信号具有冗余。如图1A所示，为了增加增强层的编码效率，一种方法使用基层图像中时间上与增强层图像重合的相应块的运动矢量的信息来对关于增强层图像中的宏块的运动矢量的信息进行编码(S10和S12)。另一种方法基于基层中时间上重合的视频帧对增强层的视频帧中的宏块进行编码并发送关于编码类型的信息(S15和S18)。具体地说，当增强层中的当前块是内部模式块时，则发送标志“intra_base_flag”(S15)，它表示是否已使当前宏块编码为对应于当前宏块的基层中的内部模式块的图像数据的差数据。当增强层中的当前块为模式间块时，则发送标志“residual_prediction_flag”(S18)，它表示是否已使当前块的残余数据编码为基层中相应块的残余数据的残差数据。

编码器根据图1A所示的程序对视频信号的每个宏块进行编码，并设置和发送片标头中的标志“base_id_plus1”，由此允许解码器根据图1A的程序使用基层的预测信息对帧的每个宏块进行解码。

另一方面，当基层中不存在时间上与当前帧重合的编码用帧时，编码器根据图1B所示的程序对当前帧中的每个宏块进行编码，其中编码器为当前帧的每个宏块确定适宜的块模式(S21)，根据确定的块模式形成宏块的预测信息(S22)，并将宏块数据编码为冗余数据(S23)。当执行图1B的程序时，重置标志“base_id_plus1”并写入到片标头中。这通知解码器尚未执行层间预估，由此允许解码器根据图1B的解码程序而不是图1A的解码程序对相应片段的每个宏块进行解码。

如上所述，当基层中不存在与增强层的当前帧时间上重合的帧时，则不进行层间预估并且不发送任何关于层间预测的信息，例如标志BLflag、QreFlag以及intra_base_flag。在这种情形下，重置和发送标志“base_id_plus1”，因此解码器不参照关于层间预测的信息并同样不执行逆层间预测。

然而，尽管在时间上不重合但彼此之间的时间间隔短的增强层帧和基层帧由于在时间上彼此相邻，它们可在宏块运动估算中彼此关联。这表示即使对于时间上不重合于基层帧的增强层帧，由于时间上相邻的增强层帧和基层帧可能具有相同的运动矢量，也可用时间上相邻于增强层帧的基层帧的运动矢量来增加编码效率。

鉴于这些情形，已提出即使对于时间上不重合于基层帧的增强层帧也能进行层间预测的方法。一个例子是一种层间预测方法，在该方法中，在时间上相邻的基层帧中(该基层帧的时间不重合于增强层帧但时间上与之相邻)，通过与当前宏块对应的、位于同一位置的块的运动矢量来预测增强层帧中的当前宏块的运动矢量。具体地说，以增强层中图像的分辨率对基层中图像的分辨率的比值来缩放基层帧中的同一位置的块的运动矢量，并通过将缩放的矢量乘以一适宜的比值(例如增强层中诸帧之间的时间间隔对基层中诸帧之间的时间间隔的比值)而推导出当前宏块的运动矢量。

如图1A和1B所示，必须设置和发送标志“base_id_plus1”以使解码器通过逆层间预测重构具有一些块的一增强层帧，已经通过基于不与增强层帧时间上重合并且与之时间上相邻的基层帧的预测对这些块进行编码。当设置并发送标志“base_id_plus1”时，解码器根据图1A的程序对所接收的帧进行解码。因此，当设置并发送标志“base_id_plus1”时，必须对内部模式块发送标志“intra_base_flag”并对模式间块发送标志“residual_prediction_flag ”。

然而，两个标志“intra_base_flag”“ 和residual_prediction_flag”(作为基于时间上与当前帧重合的帧的预测用的标志)不用于基于与当前帧在时间上相邻的帧的预测。因此，对于通过基于时间上相邻的帧的预测而编码的块发送这两个标志会不必要地增加所发送的信息量。因此，理想的是编码器不发送这两个标志。

然而，当编码器不对通过基于时间上相邻的帧预测而编码的块发送两个标志“intra_base_flag”和“residual_prediction_flag”时，当前的解码方法无法对块进行解码。如果采用其中不发送两标志“intra_base_flag”和“residual_prediction_flag”的编码方法，则对于通过时间上重合的帧的预测而编码的块发送两标志中的一个，而对于通过时间上相邻的帧的预测而编码的块不发送这两个标志中的任何一个。然而，当前解码方法无法区别通过时间上重合的帧的预测而编码的块和通过时间上相邻的帧的预测而编码的块，由此造成解码错误。业内人士可构想出一种编码器，它在片标头中插入一新的标志，该标志使解码器能够判断是否已对片段中的数据块发送两个标志之一。然而，这需要编码器发送关于新标志的附加信息。

发明内容

因此，鉴于上述问题而构成了本发明，而本发明的一个目的是提供一种用来对视频信号进行解码的方法，该方法能区别基于时间上重合的帧的层间预测和基于时间上相邻的帧的层间预测，由此消除编码器对基于时间上相邻帧的层间预测发送不必要信息的需要。

根据本发明，可通过提供一种方法来实现上述和其它的目的，该方法用于接收第一层的编码位流和第二层的编码位流并将它们解码为视频信号，该方法包括下列步骤：a)判断是执行还是跳过用于检查指示已从与第一层图像中的目标块在时间上不重合的第二层图像中的块的运动信息中预测出该目标块的信息的操作，并根据判断结果执行用于检查指示已从运动信息预测出目标块的信息的操作，以及b)确定第二层位流中是否存在与目标块在时间上重合的块，并跳过用于检查与该目标块有关的信息的操作，如果在第二层的位流中不存在与目标块在时间上重合的块，则指示是否已基于与目标块对应的不同层中的块数据而预测该目标块。

在本发明的一个实施例中，如果在第二层中不存在时间上与目标块重合的相应块并且在时间上相邻于目标块的第二层的图像中对应于目标块的同一位置的块尚未以内部模式编码，则确定执行用于检查指示已从运动信息预测出目标块的信息的操作。

附图说明

通过下面结合附图的详细说明，将更易理解本发明的上述和其它的目的、特征和其它优点，其中：

图1A是示出当采用层间预测时如何对宏块进行解码的流程图；

图1B是示出当不采用层间预测时如何对宏块进行解码的流程图；

图2是执行根据本发明的解码方法的解码装置的方框图；

图3示出图2所示的执行根据本发明的解码方法的MCTF解码器的主要部件；

图4是示出根据本发明的如何对宏块进行解码的流程图；

图5示出根据本发明如何计算用于确定是否检查标志的位置差“DiffPoC”。

具体实施方式

下面将参照附图对本发明诸较佳实施例进行详细说明。

图2是用来对所编码的数据流进行解码的装置的方框图。图2的解码装置包括多路分解器(或去多路复用器)200、纹理解码单元210、运动解码单元220、MCTF解码器230以及基层(BL)解码器240。多路分解器200将接收到的数据流分成压缩的运动矢量流、压缩的宏块信息流和基层流。纹理解码单元210将压缩的宏块信息流重构至其初始的未压缩状态。运动解码单元220将压缩的运动矢量流重构至其原始的未压缩状态。MTCF解码器230是根据MCTF方案将未压缩的宏块信息流和未压缩的运动矢量流转回到原始视频信号的增强层(EL)解码器。BL解码器240根据规定方案，例如根据MPEG-4或H.264标准，对基层流进行解码。BL解码器240不仅对输入基层流进行解码还向送往EL解码器230的数据流提供标头，以使EL解码器230使用标头中所含的基层的必要编码信息，例如运动矢量关联信息。BL解码器240还向MCTF解码器230提供每个编码的基层图像的残余纹理数据。

MCTF解码器230是在接收多个层的流时使用的EL解码器的简单例子。MCTF解码器230包括图3的部件，这些部件执行时间分解程序，以从输入流重建原始视频幀序列。将在下面描述的、根据本发明的解码方法不仅可应用于MCTF方案，而且也可应用于使用层间预测的任何其它编码/解码方案。

图3的部件包括逆更新器231、逆预测器232、以及运动矢量解码器235。逆更新器231有选择地从之前接收和存储在存储器239中的L个图像减去接收和存储在存储器239中的H个图像的像素的差值(残数)。逆预测器232基于已从中减去H个图像的图像差的上述L个图像将接收和存储在存储器239中的H个图像重构为具有原始图像的L个图像。运动矢量解码器235将输入运动矢量流解码为H个图像中的块的运动矢量信息并将运动矢量信息提供给逆预测器232。逆更新器231和逆预测器232可在通过同时和并行分割单个帧而获得的多个片段上进行工作，而不是在视频帧上进行工作。在本发明的说明中，术语“图像”广义地包括帧或片段，假若用术语“帧”或“片段”替换术语“图像”在技术上是等同的。

逆预测器232执行根据本发明的图4所示程序，这段程序是将接收和存储的H个图像重构为具有原始图像的图像的解码程序的一部分。下面是图4程序的详细说明。

当图像(或片段)的标头中的base_id_plus1标志为非零时，逆预测器232在每个接收和存储的图像(或片段)上执行图4的程序。在检查关于当前H图像中每个宏块的运动矢量的信息前，逆预测器232确定当前H图像和基层中在时间上最靠近当前H图像的图像之间的位置差“DiffPoC”(S40)。位置差“DiffPoc”是当前H图像和基层图像之间的时间差并如图5所示那样以正值或负值表示，并且可从提供自BL解码器240的标头信息确定基层中每个图像的时间信息。

当位置差“DiffPoc”为零时，即如果存在时间上与当前H图像重合的基层图像，则逆预测器232如传统方法那样检查标志“BLFlag”(S41)。如果标志“BLFlag”为1，则逆预测器232通过以增强层中的图像分辨率对基层中图像的分辨率的比值来缩放基层中与当前H图像在时间上重合的H图像中的相应块的运动矢量mvBL而获得缩放的运动矢量E_mvBL，即，通过将运动矢量mvBL的x和y分量放大到200％。随后，逆预测器232将缩放后的运动矢量E_mvBL(或者乘以层间帧间隔比之后的缩放运动矢量E_mvBL)认为是当前宏块的运动矢量并用缩放后的运动矢量E_mvBL规定当前宏块的基准块。这里，术语“层间帧间隔比”指增强层中诸帧之间的时间间隔与基层中诸帧之间的时间间隔的比。如果标志“BLFlag”为零，则逆预测器232判断基层的分辨率是否不同于增强层的分辨率并且相应块是否为非内部模式块(S42)。如果在步骤S42的判断为是(即基层的分辨率不同于增强层的分辨率并且相应块为非内部模式块)，则逆预测器232检查标志“QrefFlag”(S43)，否则它根据已知方法确定当前宏块的运动矢量并基于所确定的运动矢量规定当前宏块的基准块(S44)。

如果检查的标志“QrefFlag”为1，则逆预测器232检查从运动矢量解码器235提供的当前宏块的矢量微调信息，并根据包含在检查的矢量微调信息中的x和y微调值确定补偿(或微调)矢量。逆预测器232通过将确定的补偿矢量加上缩放后的运动矢量E_mvBL(或加上乘以层间帧间隔比后的缩放后的运动矢量E_mvBL)而获得当前宏块的实际运动矢量，并用所获得的实际运动矢量规定当前宏块的基准块。如果标志“QrefFlag”为零，则逆预测器232根据已知方法确定当前宏块的运动矢量，并用所确定的运动矢量规定当前宏块的基准块(S44)。

即使在步骤S40确定的位置差“DiffPoC”为非零，如果基层中与当前宏块对应的块是非内部模式块，则逆预测器232执行使用基层的运动矢量信息的步骤S41、S42和S43。当基层中不存在时间上重合的图像时，相应块为基层中时间上最接近的图像中与当前宏块处于同一位置的块。在本发明下面的说明中，术语“相应块”不仅包括与当前图像在时间上重合的基层图像中的相应块，还包括与之在时间上最接近的基层图像中的同一位置的块。在该程序中，以如上所述相同方式使用时间上最靠近基层图像的，而不是时间上与基层图像重合的，处于同一位置的块的运动矢量信息。这允许编码器用基层运动矢量对预测信息进行编码，而不管基层中是否存在与当前图像在时间上重合的图像，并随后将编码的预测信息发送至解码器。

另一方面，如果在步骤S40确定的位置差“DiffPoC”为非零，并且基层中与当前宏块对应的块为内部模式块，则无法使用基层中相应块的运动矢量信息，并因此逆预测器232前进至下一步骤系列以确定是否参照纹理数据的预测数据。

逆预测器232检查在步骤S40已确定的位置差“DiffPoC”(S45)。如果位置差“DiffPoC”为零，即如果基层中存在时间上重合的图像，则逆预测器232如传统方法那样确定当前宏块是否为内部模式块(S46)。如果当前宏块为内部模式块，则逆预测器232检查标志“intra_base_flag”，该标志指示是否已基于与当前宏块时间上重合的相应块的图像对当前宏块进行了编码(S47)。根据标志“intra_base_flag”的检查值，逆预测器232基于相应块的重构图像或基于靠近当前宏块的像素值重构当前宏块的预编码数据。如果在步骤S46处判定当前宏块不是内部模式块，则逆预测器232跳过步骤S47，这是因为当已对相应块进行过内部编码时执行检查使增强层中的当前宏块使用基层中相应块的标志“intra_base_flag”的步骤S47是没有意义的。

如果在步骤S45判定位置差“DiffPoC”为非零，则逆预测器232也跳过步骤S47，不管是否已对当前宏块进行过内部编码，这是因为已对当相应块进行过内部编码时执行检查使增强层中的当前宏块使用基层中与当前宏块时间上重合的相应块的标志“intra_base_flag”的步骤S47是没有意义的。即，如果由于编码器在不采用运动估计的宏块上进行内部模式编码而位置差“DiffPoC”为非零，则预测器232跳过步骤232，并且如果基层中不存在时间上重合的图像，则不执行基于基层图像的宏块上的预测编码。在这种情形下，由于逆预测器232跳过基于位置差“DiffPoC”检查标志“intra_base_flag”的步骤，即使在设置和发送标志“base_id_plus”时编码器也无需发送标志“intra_base_flag”。

接着，逆预测器232再次检查已在步骤S40确定的位置差“DiffPoC”(S49)。如果位置差“DiffPoC”为零，即如果基层中存在时间上重合的图像，则逆预测器232如传统方法那样确定当前宏块是否为内部模式块(S50)。如果当前宏块不是内部模式块，则逆预测器232检查标志“residual_prediction_flag”，该标志指示是否已基于与当前宏块时间上重合的相应块的残余数据将当前宏块的残余数据编码成残差数据(S51)。根据标志“residual_prediction_flag”的检查值，逆预测器232通过将相应块的残余数据加上当前宏块的数据重构当前宏块的原始残余数据或基于用之前确定的运动矢量规定的基准块将接收的当前宏块的残余数据解码为预编码图像数据。

如果在步骤S50判定当前宏块是内部模式块，则逆预测器232跳过步骤S51，这是因为执行检查指示在增强层中以层间模式编码的当前模块的残余数据是否已基于基层中相应块的残余数据被编码成残差数据的标志“residual_prediction_flag”的步骤S51是无意义的。

当在步骤S49判定位置差“DiffPoC”为非零时，即如果基层中不存在时间上重合的图像，由于执行检查指示在增强层中以层间模式编码的当前宏块的残余数据是否已基于与当前宏块时间上重合的基层中相应块的残余数据被编码成残差数据的标志“residual_prediction_flag”的步骤S51是无意义的，逆预测器232也跳过步骤51，不管是否已对当前宏块进行过内部编码。即，如果位置差“DiffPoC”为非零，由于如果基层中不存在时间上重合的图像，编码器在运动估计的宏块上执行层间模式编码而不基于基层中相应块的残余数据对编码的宏块的残余数据执行残差编码，逆预测器232跳过检查标志“residual_prediction_flag”的步骤S51。在这种情形下，由于逆预测器232跳过基于位置差“DiffPoC”检查标志“residual_prediction_flag”的步骤，因此即使当设置和发送标志“base_id_plus1”时编码器也不需要发送标志“residual_prediction_flag”。

逆预测器232对当前H图像的所有宏块执行图4的程序以将当前的H图像重构为L帧(或最终视频帧)。

上述的解码装置可包含在移动通信终端、媒体播放器等设备中。

如从上面的说明清楚看见的那样，本发明提供一种对视频信号进行解码的方法，在该方法中，可基于时间上相邻的帧的层间预测而不降低编码效率。因此，根据本发明的方法使基于时间上相邻的帧的层间预估的作用最大化，从而提高编码效率。

尽管已示例性地公开了本发明的若干较佳实施例，然而本领域内技术人员应当理解可不脱离所附权利要求书中公开的本发明的范围和精神而作出各种可行的修改、添加和替换。

Claims (11)

1.一种接收第一层的编码位流和第二层的编码位流并将其解码为视频信号的方法，所述方法包括以下步骤：

a)确定在所述第二层的位流中是否存在与所述第一层的一图像中的目标块在时间上重合的块，如果不存在，则跳过检查与目标块有关的特定信息的操作。

2.如权利要求1所述的方法，其特征在于，所述特定信息是指示是否已基于不同层中与所述目标块对应的块的数据预测了所述目标块的信息。

3.如权利要求1所述的方法，其特征在于，还包括以下步骤：

在所述步骤a)之前，决定是执行还是跳过检查指示已从所述第二层的一图像中与所述目标块在时间上不重合的块的运动信息预测出所述目标块的信息的操作，并根据判定结果执行检查指示已从所述运动信息预测出所述目标块的信息的操作。

4.如权利要求3所述的方法，其特征在于，所述决定是执行还是跳过检查指示已从运动信息预测出目标块的信息的操作的步骤包括，如果在所述第二层中不存在与所述目标块在时间上重合的块并且在时间上相邻于所述目标块的所述第二层的一图像中的与所述目标块对应的同一位置上的块并未以内部模式编码，则决定执行所述检查指示已从运动信息预测出目标块的信息的操作。

5.如权利要求1所述的方法，其特征在于，还包括以下步骤：

在所述步骤a)之前，决定是执行还是跳过检查指示已从所述第二层的一图像中与所述目标块在时间上不重合的块的运动信息中预测出所述目标块，并根据所述决定跳过所述检查指示已从运动信息预测出目标块的信息的操作。

6.如权利要求3或5所述的方法，其特征在于，所述指示已从运动信息预测出目标块的信息包括：指示所述目标块的运动矢量是否与从所述第二层的一图像的块的运动矢量估算得到的矢量相同的第一信息、或是指示是否需要微调所述估算得到的矢量以获得所述目标块的运动矢量的第二信息。

7.如权利要求1所述的方法，其特征在于，所述特定信息包括指示是否已基于不同层中相应块的内部编码的残余数据中的预编码数据将所述目标块的图像数据编码为差数据的第一信息。

8.如权利要求7所述的方法，其特征在于，所述步骤a)包括即使在所述第二层的位流中存在与所述目标块在时间上重合的块，但是如果所述目标块不是以内部模式编码的，则也跳过检查所述第一信息的操作。

9.如权利要求1所述的方法，其特征在于，所述特定信息包括指示所述目标块的编码的残余数据是否已基于不同层中相应块的内部编码的残余数据被记录在差数据中的第二信息。

10.如权利要求9所述的方法，其特征在于，所述步骤a)包括即使当所述第二层的位流中存在时间上与所述目标块重合的块，但是如果所述目标块是以内部模式编码的，则也跳过检查所述第二信息的操作。

11.如权利要求1所述的方法，其特征在于，所述步骤a)包括基于所述第一层的图像和所述第二层相应图像之间的时间差来确定在所述第二层的位流中是否存在与所述第一层的图像中的所述目标块在时间上重合的块。

Images