CN101356824A - 用于编码隔行视频数据的方法和设备 - Google Patents

Abstract

通常，分层级双向预测(B)帧结构被用于编码视频画面序列。帧可以由隔行场组成。一种用于编码隔行视频的方法，其中使用了场间预测，为场分配参考列表以指示参考帧或场，所述方法包括，若所述参考列表内包括对另一个帧的参考，则分别按直接顺序包括对所述另一个帧的两个场(4、4’)的参考(fwd₆0，fwd₆1)。进一步，根据帧的显示次序为每个帧分配时间等级，对除了一个时间等级之外的所有时间等级的帧，一种类型(顶)的场的量化参数高于另一种类型(底)的场的量化参数。

Description

用于编码隔行视频数据的方法和设备

技术领域

本发明涉及隔行视频数据的编码和解码。具体地，本发明涉及隔行视频数据中双向预测帧的编码和解码。

背景技术

在MEPG&ITU的联合视频组(Joint Video Team，JVT)当前定义的SVC标准中，给出了用于逐行视频素材的编码方案。只考虑了逐行素材的空间可缩放性。

在编码期间，SVC采用了分层级B(双向预测)帧结构作为缺省值，其中根据帧的显示次序，为帧分配了预定的时间模式，这总是可以达到解码器的某些缺省性能。

现在，JSVM编码器支持开环编码和闭环编码。

对于开环编码，通过使用模式和运动信息来编码B画面，所述模式和运动信息通过基于原始参考的运动估计和模式判决来产生。这就是说，编码器中用于预测的参考帧是先前被编码过的帧。

闭环编码使用包含量化误差的重构帧作为参考帧。

正常情况下，闭环编码更有利于限制误差以及减少由量化和不精确的运动估计引起的可能的传播效应。开环编码在处理FGS(细粒度可缩放性)层方面更加灵活，能够更容易地支持MCTF(运动补偿时间滤波)。

用于预测在编码器构造的P和B画面的参考帧列表总是具有相同的结构，该结构取决于GOP大小。P和B画面使用一个列表(list_0)用于前向预测，即从具有较低的POC(画面次序计数，picture_order_count)数的帧开始进行预测。B画面还使用第二列表(list_1)用于反向预测，即从具有较高POC数的帧开始进行预测。在特定数量的参考帧之后，参考列表被截断。最低时间等级或低通等级包含Key(关键)画面。对于不同的空间层，如基础层(BL)和增强层(EL)，构造参考列表的方法是相同的。

已知的编码器遵守以下基本规则：从前一GOP(画面组)中，下一个GOP的编码处理只使用Key画面，而前一GOP的其他画面将不被使用并通过MMCO(Memory Management Control Operation，存储器管理控制操作)命令从短期参考列表中移除。

除了Key帧外，在相同时间等级的帧不彼此参考。

对于闭环编码中的运动估计(ME)，帧只参考更高时间等级的帧，这是因为编码器首先对更高时间等级的帧进行运动估计。然而，对于开环编码中的ME，首先对较低的时间等级进行ME。

参考列表由RPLR(Reference Picture List Reordering，参考画面列表记录)命令产生。MMCO命令用于从短期列表中移除前一GOP中的B帧(或者说非关键画面)以及不使用的Key帧。在Key画面的片(slice)首部调用这些命令。

为了提高编码效率，可以通过缩放因子(SF)调整量化参数(QP)。在编码器中，根据下列方程的两个值，给予帧不同的QP。

qp_i＝qP_i-1-6·log₂(SF)

这意味着，每个时间等级i的QP由缩放因子SF调整，缩放因子用于平衡不同时间等级的帧的残留能量。

对于开环编码，缩放因子被计算为块的能量比例之和。每个块的能量比例根据其如何由其他块预测来计算。若它是双向预测的，能量比例实际上使用滤波器[-1/2，1，-1/2]来计算。为了归一化该块的能量提高，引入因子

若块是单向预测的，运动补偿(MC)使用滤波器[1，-1]。为了归一化该块的能量提高，引入因子

在时间等级i，所有的块都具有这些因子，其和用于计算等级i-1的缩放因子。

$\mathrm{ScalingFacto}{r}_i=\mathrm{ScalingFacto}{r}_{i-1}\·\sqrt{\underset{\mathrm{blocks\; in\; temporl\; level\; i}-1}{\mathrm{\Σ}}\mathrm{factor}+1}$

对于闭环编码，思想是相同的，但是，当编码了时间等级i，并不知道时间等级i-1中的多少块使用了双向预测。因此，估计双向预测和单向预测的比例，例如60/40。

然而，为了支持隔行编码，所述隔行编码意味着所有或一些帧被编码为两个隔行场的对(即顶场和底场)，需要一种不同的解决方案。

发明内容

本发明提供了一种构造用于隔行视频编码的参考列表的方法。这样的参考列表可以被用作缺省参考列表。

根据本发明的一个方法，提供一种用于编码隔行视频的方法，其中视频包含具有至少两种类型(顶或底)的隔行场的帧，其中使用了场间预测，为场分配参考列表以指示参考帧或场，该方法的特征在于：若所述参考列表内包括对另一个帧的参考，则分别按直接顺序包括对所述另一个帧的两个场的参考。

在一个实施例中，用于编码隔行视频的方法还可进一步限定于，帧的两个场的第一场具有对相同帧的另一个场的参考，而所述另一个场不具有对所述第一场的参考。

在一个实施例中，用于编码隔行视频的方法还可进一步限定于，对于第一类型的场(例如底场)，对另一个帧的场的第一参考指向具有相同场类型的场(例如底场)，对所述另一个帧的第二参考指向具有相反场类型的场，在本示例中为顶场。

在一个实施例中，用于编码隔行视频的方法还可进一步限定于，帧被分组在GOP中，其中只能够参考在当前组之外的一帧，这一帧被分配了前一组的最低时间等级。

在一个实施例中，用于编码隔行视频的方法还可进一步限定于，使用量化参数(QP)量化视频数据，其中对帧的场，使用不同的量化参数。

在一个实施例中，用于编码隔行视频的方法还可进一步限定于，根据帧的显示次序为每个帧分配时间等级，其中，对除了一个时间等级之外的所有时间等级的帧，一种类型的场的量化参数高于另一种类型的场的量化参数。

根据本发明的另一个方面，提供用于解码隔行视频的方法，其中视频包含具有至少两种类型(例如顶和底)的隔行场的帧，其中使用了场的预测，所述解码方法的特征在于，若另一个隔行帧被用作预测的参考，则按直接顺序使用所述另一个帧的两个场作为分别的参考。

在一个实施例中，用于解码隔行视频的方法还可进一步限定于，帧的两个场的第一场具有对相同帧的另一个场的参考，而所述另一个场不具有对所述第一场的参考。

在一个实施例中，用于解码隔行视频的方法还可进一步限定于，对于第一类型的场，对另一个帧的场的第一参考指向具有相同场类型的场，对所述另一个帧的第二参考指向具有相反场类型的场。

根据本发明的另一个方面，提供包含隔行视频数据的信号，其中视频数据包含具有至少两种类型的隔行场的帧，其中对于根据其他帧或场的场间预测，包含了参考列表以指示参考帧或场，其中，若所述参考列表内包括对另一个帧的参考，则分别按直接顺序包括对所述另一个帧的两个场的参考。

在本发明的一个实施例中，为帧和/或场分配了时间等级，给定的帧或场的参考帧或场的列表包括具有比给定的帧或场的时间等级(即先前解码的)低的时间等级的当前GOP的所有帧或场。

根据本发明的一个方面，隔行视频的相同时间等级的帧的顶场和底场按类似于不同时间等级的原理来处理

本发明的优选实施例在从属权利要求、以下描述和附图中公开。

附图说明

参照附图，描述本发明的示例性实施例，其中，

图1是用于分层级B帧GOP结构的传统参考列表的构造；

图2是隔行编码的分层级B的GOP结构的时间等级；

图3是用于隔行编码的分层级B画面的针对顶和底Key场的缺省参考列表；

图4是用于顶B场的参考列表的构造；以及

图5是用于底B场的参考列表的构造。

具体实施方式

图1示出了用于分层级B画面的GOP结构(例如用于JSVM编码器)的传统参考列表的构造。使用帧的POC数来表示帧。示例性地，示出了GOP大小等于8的分层级B结构，因此有四个时间等级。时间等级0具有帧0和8。实际上描述了序列的第一GOP，但是，由于下一GOP的编码处理只使用前一GOP的Key画面，因此任何GOP都以相同的方式编码。前一GOP的其他画面将不被参考并通过MMCO命令从短期参考列表中移除。

编码器将遵守一些基本规则。首先，除了Key帧外，在相同时间等级的帧不彼此参考。如图1所示，不论是基础层GOP还是增强层GOP，参考列表的构造方法是相同的。例如，帧6不参考帧2。第二，一个帧只参考具有更高时间等级的帧。一个原因是编码器首先编码较高时间等级的帧。第三，对每个B画面，list_0和list_1也有一些限制。List_0(在图1中表示为fwd)永远不会使用具有大于当前B画面的POC数的帧。List_1(在图1中表示为bwd)永远不会使用具有小于当前B画面的POC数的帧。例如，对于帧5，list_0是{4，2，0}，与fwd₅0、fwd₅1、fwd₅2相对应，list_1是{6，8}，与bwd₅0、bwd₅1相对应。

在上述规则之后，由在编码配置中规定的参考的数量以及也可能在编码器配置中规定的低延迟限制来截断列表。

本发明提供了用于构造和使用隔行视频的缺省参考列表的方法。为了方便，引入Pic_Type来表示当前的帧或场是如何编码的。若是帧编码的(逐行)，其Pic_Type为FRAME。若是场编码的(隔行)且是顶场，则Pic_Type为TOP_FIELD，若是场编码的且是底场，则Pic_Type为BOTTOM_FIELD。

图2示出了仅隔行编码的分层级B的GOP结构的时间等级。实线表示顶场0，...，8虚线表示底场0’，...，8’。每个场对属于相同的帧，使用相同的POC数。例如，时间等级1包含具有POC＝4的帧，该帧由顶场4和底场4’组成。

以下描述用于隔行分层级B画面的示例性编码规则。

首先，应连续参考一对具有相同frame_num并属于相同帧的场，即按直接次序。具有与当前场相同Pic_Type的场首先被放入参考列表，跟着是属于相同场对但具有不同Pic_Type的另一场。

第二，若一个场在参考列表中，则其对应的对应当也在参考列表中(除了当前编码的底场的对应顶场，以及除非参考列表的大小大于指定的大小)。

第三，如当前的JSVM编码器对帧所做的一样，具有更大POC的场不被用作list_0中的参考场，具有更小POC的场不被用作list_1中的参考场。

第四，不论针对顶场或是底场，参考列表_1都不使用具有与当前场相同的frame_num的参考场。

图3-5示出了用于GopSize＝8的隔行编码分层级B画面的示例性缺省参考列表。图3示出了用于Key场的参考列表构造的示例。顶场8将前一Key画面的顶场0作为第一参考fwd₈0(Ref_Idx＝0)，将前一Key画面的底场0’作为第二参考fwd₈1。Key画面的底场8’将相同画面的顶场8正好作为第一参考(Ref_Idx＝＝0)fwd_8’0，将前一Key画面的底场0’作为第二参考fwd_8’1，将前一Key画面的顶场0作为第三参考fwd_8’2。

一般地，对于B画面，如上所述，像构建逐行编码的参考列表那样构建顶场的参考列表。其区别在于，现在每个帧被转换为一个场对，即首先是顶场接着是底场。如图4所示，POC＝6的画面的顶场6具有以下次序的参考列表_0(fwd₆0、fwd₆1、fwd₆2、fwd₆3)：4顶、4底、0顶、0底。其参考列表_1(bwd₆0、bwd₆1)为：8顶、8底。

若B场是底场，当(且仅当)其nal_ref_idc不是0时，其参考列表0首先得到其对应的顶场。帧/场的nal_ref_idc意味着该帧/场不能用作参考。在编码器，具有最高时间等级的场/帧的nal_ref_idc值被设置为零。图5示出了例如对于画面6的底场，由于与解码器的短期列表中的其他可用场相比，该帧通常具有最近的时间距离(在显示时间方面)，因此画面6的顶场将被正好用作第一参考0(fwd_6’0)。接着，使用场对构造其他场。用于画面6底场的最终次序的参考列表_0是(fwd_6’0、fwd_6’1、fwd_6’2、fwd_6’3、fwd_6’4)：6顶、4底、4顶、0底、0顶。对于list_1，只具有场对(bwd_6’0、bwd_6’1)：8底、8顶。

在一个实施例中，如在逐行编码中所知的那样，可以通过编码配置中指定的参考数量以及也可能在编码器配置中指定的低延迟限制来截断参考列表。

在一个实施例中，在运动估计(ME)处理期间，开环和闭环编码使用不同的参考。对于开环编码，在ME期间使用原始场，而对于闭环编码，在ME期间使用重构的场。即使当一个底场参考其对应的顶场时，参考也应当是重构的顶场。

即使对于画面自适应帧场编码(Picture Adaptive Frame FieldCoding，PAFF)的情况，也可以使用所提出的用于场编码画面和用于帧编码画面的参考列表构造方法。

场的RPLR和MMCO命令

在一个实施例中，也实现了RPLR命令，以便指定上述参考列表的构造。

若Key画面是帧编码的，则使用MMCO场(如在原始的JSVM方案中那样)。若Key画面是场编码的，在Key画面的顶场将产生MMCO命令，以删除前一GOP的所有非Key画面的所有场对以及前一GOP的Key画面之前的Key画面(如果存在这样的Key画面)。

用于隔行编码的缩放因子

在本发明的一个实施例中，也使用QP自适应以用于场编码。在这种情况下，顶场和底场得到不同的缩放因子，由于其不同的残留能量，这样做是有利的。若这些场对不属于最高时间等级，顶场总是具有高于其对应底场的QP。因此，在本实施例中，隔行画面的顶场和底场以类似不同时间等级的原理进行处理，具有各自不同的缩放因子。

因此，若当前的时间等级不是最高的，即使顶和底场在相同的时间等级，也可以对顶和底场引入不同的缩放因子。

本发明的一个实施例是针对用于SVC分层级B帧结构的隔行编码的总体解决方案。

本发明的一个实施例是一种可以用于编码器的缺省参考列表构造方法，以及是一种用于隔行或PAFF编码的增强层解码器的缺省解决方案。

在一个实施例中，使用对应的RPLR和MMCO命令来支持分层级B画面PAFF编码。

在一个实施例中，针对相同时间等级的顶和底场引入不同的缩放因子，以提高编码效率。

如之前所提及的，在限定的最大长度之后可以截断参考列表。作为上面定义的规则的一个例外，这可能导致列表中只包括帧的一个场，而另一个场必须被排除，因为否则该列表将过长。

对于根据本发明的用于隔行视频的编码器，其中视频包含具有至少两种类型的隔行场的帧，所述编码器具有用于从其他场或帧对场进行场间预测的装置、用于产生参考列表的装置、用于将参考列表分配给场以指示参考帧或场的装置，其中若在这样的参考列表内包括对另一个帧的参考，则每个列表中包括针对所述另一个帧的两个场的参考，其中分别按直接顺序包括了对特定帧的两个场的参考。

在一个实施例中，用于产生参考列表的装置为帧的两个场的第一场产生对相同帧的另一个场的参考，而不为所述另一个场产生对所述第一场的参考。

在一个实施例中，在参考另一帧的情况下，用于产生参考列表的装置总是首先为第一类型的场(例如顶场)产生对具有相同场类型的场(即顶场)的参考，接着产生对具有相反场类型的场(即底场)的参考。

在一个实施例中，编码器包括用于通过量化参数来量化视频数据的装置，其中对帧的场使用不同的量化的参数。

在一个实施例中，编码器包括根据帧的显示次序为每个帧分配时间等级的装置，其中，对于除了一个时间等级外的所有时间等级的帧，一种类型的场的量化参数高于另一种类型的场的量化参数。

对于根据本发明的用于隔行视频的解码器，其中视频包含具有至少两种类型的隔行场的帧，所述解码器包括用于根据其他场或帧来预测场的装置，其中，若另一个隔行帧被用作预测的参考，则该装置按直接顺序使用另一个帧的两个场作为分别的参考。

本发明可以用于编码/解码隔行视频数据，尤其是空间和/或时间可缩放的隔行视频数据。原则上，本发明也可以用于具有多个时间等级的单个空间层视频。

Claims (10)

1.一种编码隔行视频数据的方法，所述隔行视频数据是使用量化参数(QP)量化的，其中视频数据包含具有至少两种类型(顶、底)的隔行场的帧，使用场(6、6’)间预测，为场分配参考列表以指示参考帧或场，其中，若所述参考列表内包括对另一个帧的参考，则分别按直接顺序包括对所述另一个帧的两个场(4、4’)的参考(fwd₆0，fwd₆1)，其中，对帧的场使用不同的量化参数(QP)，其中，根据帧的显示次序为每个帧分配时间等级，对于除了一个时间等级外的所有时间等级的帧，一种类型(顶)的场的量化参数(QP)高于另一种类型(底)的场的量化参数(QP)。

2.如权利要求1所述的方法，其中，帧的两个场的第一场(6’)具有对相同帧的另一个场(6)的参考(fwd₆0)，而所述另一个场(6)不具有对所述第一场(6’)的参考。

3.如权利要求1或2所述的方法，其中，对于第一类型(底)的场，对另一个帧的场的第一参考指向具有相同场类型(底)的场，对所述另一个帧的第二参考指向具有相反场类型(顶)的场。

4.如权利要求1至3中任一项所述的方法，其中，帧被分组(GOP)，其中只能够参考在当前组之外的一个帧，这一个帧被分配有前一组的最低时间等级。

5.一种解码隔行视频数据的方法，所述隔行视频数据是使用量化参数(QP)量化的，其中视频数据包含具有至少两种类型(顶、底)的隔行场的帧，使用场(6、6’)的预测，其中，若另一个隔行帧被用作预测的参考，则按直接顺序使用所述另一个帧的两个场(4、4’)作为分别的参考(fwd₆0，fwd₆1)，其中，根据帧的显示次序为每个帧分配时间等级，对除了一个时间等级之外的所有时间等级的帧，一种类型(顶)的场的量化参数(QP)高于另一种类型(底)的场的量化参数(QP)。

6.如权利要求5所述的方法，其中，帧的两个场的第一场(6’)具有对相同帧的另一个场(6)的参考(fwd₆0)，而所述另一个场(6)不具有对所述第一场(6’)的参考。

7.如权利要求5或6所述的方法，其中，对于第一类型(顶、底)的场，对另一个帧的场的第一参考指向具有相同场类型的场，对所述另一个帧的第二参考指向具有相反场类型的场。

8.一种包含隔行视频数据的信号，所述视频数据是使用量化参数(QP)量化的，并包含具有至少两种类型(顶、底)的隔行场的帧，其中对于根据其他帧或场的场(6、6’)间预测，包含了参考列表以指示参考帧或场，其中，若所述参考列表内包括对另一个帧的参考，则按直接顺序包括对所述另一个帧的两个场(4、4’)的参考(fwd₆0，fwd₆1)，其中，根据帧的显示次序为每个帧分配时间等级，对除了一个时间等级之外的所有时间等级的帧，一种类型(顶)的场的量化参数(QP)高于另一种类型(底)的场的量化参数(QP)。

9.如权利要求8所述的信号，其中，为帧和/或场分配了时间等级，给定的帧或场的参考帧或场的列表包括具有比给定的帧或场的时间等级低的时间等级的当前GOP的所有帧或场。

10.如权利要求8或9所述的信号，其中，对于第一类型(底)的场，对另一个帧的场的第一参考指向具有相同场类型(底)的场，对所述另一个帧的第二参考指向具有相反场类型(顶)的场。

Images