CN101208957B

CN101208957B - 视频编码器和编码方法

Info

Publication number: CN101208957B
Application number: CN2006800227767A
Authority: CN
Inventors: 弗兰克·贾·博森; 亚历山德罗斯·图拉皮斯
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2005-06-24
Filing date: 2006-06-23
Publication date: 2012-10-10
Anticipated expiration: 2026-06-23
Also published as: WO2007002437A3; US20060294171A1; CN101208957A; WO2007002437A2; JP2008544708A; EP1894418A2; JP5378791B2; US8208564B2

Abstract

公开了使用自适应插值进行视频编码和/或解码的方法和设备。在一个实施例中，解码方法包括：对参考索引进行解码；对运动矢量进行解码；根据参考索引选择参考帧；根据参考索引选择滤波器；以及使用所述滤波器对参考帧的采样集合进行滤波，以获得预测块，其中所述参考帧的采样集合是由所述运动矢量确定的。

Description

视频编码器和编码方法

本专利申请要求在2005年6月24日提交的名为“Method andApparatus For Video Encoding and Decoding Using AdaptiveInterpolation”的相应临时专利申请序列号60/693,575的优先权，并将其一并引入作为参考。

技术领域

本发明涉及视频编码和解码领域，更具体地，本发明涉及运动补偿中自适应插值的使用。

背景技术

在大多数现有视频压缩系统和标准(如MPEG-2和JVT/H.264/MPEG AVC)中，编码器和解码器主要依靠于帧内编码和帧间编码来实现压缩。在帧内编码中，使用空间预测方法，而对于帧间编码，通过利用画面之间可能存在的时间相关来实现压缩。

具体而言，将先前编码/解码的画面用作在后画面的参考，同时采用运动估计和补偿对这些画面之间的任何运动行为进行补偿。图1A示出了P画面(帧)中的运动补偿，而图1B示出了B画面(帧)中的运动补偿。诸如H.264之类的更加高级的编解码器也考虑了光照变化(例如，淡入/淡出期间)，以便在需要时产生更加精确的预测。最后，也可以使用解块(deblock)方法，以减少通过预测和量化过程产生的分块伪像。

分数采样插值(fractional sample interpolation)是用于进一步增强运动补偿预测质量的技术之一，这是因为该技术允许对运动进行更加精确的表示。不是使用参考的实际采样，而是采用滤波机制，其中首先使用先前定义的滤波器对参考内的采样进行滤波(插值)。图2示出了针对四分之一采样luma插值的整数采样(具有大写字母的阴影块)和分数采样位置(具有小写字母的非阴影块)。由于在图像获取过程中使用的低通滤波器的非理想特性，可能产生混叠，从而使插值和运动补偿预测劣化。

诸如MPEG-1/2，H.263和H.264(或JVT或MPEG-4AVC)之类的大多数视频编码结构和编码标准采用分数采样运动补偿，以进一步提高运动补偿预测的效率。旧的标准主要基于用于生成分数采样位置的双线性插值策略。为了减少混叠，H.264(或JVT或MPEG-4AVC)在降至1/4分数采样位置的插值过程中使用6抽头维纳(Wiener)插值滤波器，其滤波器系数是(1，-5，20，20 -5，1)/32。图3示出了H.264中的插值过程。参照图3，使用非自适应6抽头滤波器来产生1/2分数采样位置上的采样值。然后，非自适应双线性滤波器对1/2分数位置上的采样进行滤波，以产生1/4分数采样位置上的采样值。具体而言，对于luma，如果给定全采样位置(xAL，yAL)至(xUL，yUL)上的采样‘A’至‘U’，则需要推导出分数采样位置上的采样‘a’至‘s’。这是通过应用上述的滤波器来首先计算半采样位置(aa-hh和b，h，j，m和s)上的预测值而实现的，然后通过对全和半采样位置上的采样进行平均，推导出四分之一采样位置上的预测值。另一方面，针对色度，使用降至1/8采样位置的双线性插值。然而，不同的视频信号可能具有不同的非平稳统计特性(例如，混叠、纹理和运动)，因而使用固定的滤波器仍是不够的。

已经论述了自适应分数采样插值方案，该方案允许在插值过程中更好地考虑到混叠。不使用H.264所用的固定6抽头滤波器，而是针对每一帧来传输附加辅助信息，该辅助信息表示要在插值中使用的滤波器的滤波器系数。具体而言，可以将形式为{a₁，a₂，a₃，a₃，a₂，a₁}的自适应滤波器用于产生所有1/2采样位置，然后通过双线性插值产生1/4采样。考虑到上述滤波器的对称特性，只须对3个系数(a₁，a₂和a₃)进行编码。该方法易于扩展，以允许更长或更短的抽头滤波器。

在另一种现有技术中，不是对滤波器系数进行显式编码，而是基于滤波器系数的典型分布来产生滤波器的码本。这可以降低编码器的复杂度(只需要测试给定的系数集合，尽管有人可能争论也可以将先验决策用于确定适当范围的滤波系数)，最重要的可以稍微改进/缩减对滤波系数的表示(即不需要3*12比特来表示滤波系数)，假设所有滤波器具有相同的概率，则现在仅需要N个比特来表示多达2^N个不同的滤波器。可以通过考虑不同1/2或1/4采样位置上的不同滤波器，做出附加的考虑，这实质上可以视为通过使用采样位置作为指示符来对插值滤波器进行调整。

除了基于帧/全局(global)的滤波器调整之外，还论述了对块级上滤波参数的调整的可能性。在一种现有技术中，对于每个块，在编码期间使用并传输4抽头滤波器。尽管该方法可以改进运动补偿预测信号，但是由于附加地传输滤波器，该方法在比特开销方面会有限制增加。此外，提出的是相邻块的插值滤波器之间的相关性极小。因此，该方法看起来不切实际并且效率较低。然而，可以使用基于宏块(MB)的插值方法，该方法用信号通知并只考虑插值滤波器的预定集合。是否传输并使用这些插值滤波器的判决是在画面级上进行的。

一些基于全局的插值方法未考虑信号的局部特性，因而可能限制了这些方法的性能。此外，未适当考虑在诸如双预测中存在多个参考的情况。在一种现有技术中，针对每个参考的插值滤波器实质上对每个参考仅用信号通知一次，并对参考该画面的后续画面使用相同的插值。然而，因为运动、纹理等特性以及参考之间的关系可能随时间改变，所以对于每个编码帧，它的所有参考可以需要不同的插值滤波器。例如，假设需要变换P_n＝f_n，k(P_k)来根据其参考P_k产生画面P_n。另一方面，P_k与参考P_j可以具有关系P_k＝f_k，j(P_j)，其暗示在参考P_j可能不适合时使用f_k，j0。此外，未考虑到双预测部分，对于双预测部分，单预测插值滤波器可能不适合。

另一方面，基于块的方法可能受到插值滤波器编码的开销显著增加、或者所用滤波器的灵活性缺乏的影响。同样，没有考虑到双预测。

因此，最近提出了自适应插值方案，该方案尝试考虑这些特性，并针对每帧调整此类插值滤波器。这种方案实质上需要传输用于每个帧的滤波参数，此外对这种参数的估计过程也是必需的。但是，所提出的方法并没有提供针对这种技术的最佳操作模式，导致了开销增加，从而性能降低。此外，调整实质上是在帧(全局)级上执行的，并且没有考虑到局部特性。

发明内容

公开了使用自适应插值对视频编码和/或解码的方法和设备。在一个实施例中，解码方法包括对参考索引进行解码；对运动矢量进行解码；根据参考索引选择参考帧；根据参考索引选择滤波器；以及使用滤波器对参考帧的采样集合进行滤波，以获得预测块，其中所述参考帧的采样集合由所述运动矢量来确定。

附图说明

根据以下给出的详细描述和本发明的不同实施例的附图，将更加全面的理解本发明，然而，不应将其认为是使本发明限于特定实施例，而是仅用于解释和理解。

图1A和1B分别示出了在(a)P和(b)B画面中的运动补偿。

图2示出了针对四分之一采样luma插值的整数采样和分数采样位置。

图3示出了H.264中使用的插值过程。

图4是编码过程的一个实施例的流程图。

图5是解码过程的一个实施例的流程图。

图6示出了插值过程的一个实施例。

图7是编码器的另一实施例。

图8是解码器的另一实施例。

图9示出了使用插值过程对参考列表产生的影响。

图10A和10B是用于确定插值参数的过程的可选实施例的流程图。

图11是包括插值选择的解码过程的一个实施例的流程图。

图12示出了对空间可缩放性的自适应插值的考虑。

图13是计算机系统的一个实施例的框图。

具体实施方式

公开了包括自适应插值滤波的视频编码和解码结构。不同于使用单个滤波机制来执行分数采样插值的现有技术，这里所描述的编码方案使用自适应信号通知机制，其中将每个部分分配给不同的分数采样插值滤波器。这可以允许对运动补偿预测性能方面的进一步改进，从而带来比现有方法或标准高的编码效率。在一个实施例中，这通过不是仅将单个参考索引而是将多个索引与参考画面相关联来实现。然后，将这些参考索引中每一个与不同的插值滤波机制相关联，这些插值滤波机制可以是对于解码器已知的或者显式地传输至解码器。然后，基于与每个块相关联的参考指示符，选择插值滤波器，而不需要附加的信号通知。这里所讨论的编码方案也允许以特定程度对所用滤波方法进行局部调整，从而可以提高编码效率。

在另一实施例中，将这里所提出的技术应用于空间可缩放视频编码，其中典型地，在这种应用中，在下采样期间引入的相移对下采样和上采样过程产生显著影响。

此外，这里所述的技术可以模仿加权预测的行为，甚至与现有的加权预测方法组合，从而为预测目的而进一步提高灵活性。

在以下描述中，描述了多种细节以对本发明提供更加详尽的解释。然而，对于本领域技术人员来说，显而易见的是在没有这些特定细节的情况下也可以实践本发明。在其它实例中，以框图形式而不是具体描述来示出了已知的结构和设备，以避免使本发明不清楚。

以下详细描述的一些部分是在对计算机存储器内的数据比特进行操作的算法和符号表示方面提供的。这些算法描述和表示是数据处理技术领域的技术人员所使用的手段，以最有效地将他们的工作实质传达给本领域其它技术人员。这里，算法通常被认为是达到期望结果的自身一致的步骤序列。这些步骤需要对物理量的物理操作。通常但非必要地，这些量采用能够被存储、传送、组合、比较或处理的电或磁信号的形式。通常，主要由于惯用原因，将这些信号表示为比特、值、元素、符号、字符、术语、数字或其它是方便的。

然而，应该注意，所有这些和类似术语要与适合的物理量相关联，并且只是应用于这些量的方便的标记。除非具体说明，否则如从以下讨论中显而易见的，可以理解，在整个说明书中使用了如“处理”或“计算”或“运算”或“确定”或“显示”等术语的讨论指的是计算机系统或者类似的电子计算设备的动作和处理过程，这些系统或设备将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据处理和转换为类似地表示为计算机系统存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的其他数据。

本发明还涉及用于执行这里所述操作的设备。该设备是专门构造以用于所需目的的，或者该设备可以包括通用计算机，该通用计算机由存储在该计算机中的计算机程序选择性地激活或重新配置。这种计算机程序可以存储在计算机可读存储介质中，例如但不限于，任何类型的盘(包括软盘、光盘、CD-ROM和磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或适于存储电子指令的任何类型的介质，并且每个存储介质均与计算机系统总线连接。

这里提供的算法和显示不是与任何特定的计算机或其它设备固有相关的。多种通用系统可以与根据这里的示教的程序一起使用，或者可以方便地构造更专用的设备来执行所需要的方法步骤。用于这些系统的所需结构将在下面的描述中显而易见。此外，本发明不是参照任何特定的编程语言而描述的。可以理解，可以使用多种编程语言来实现这里所描述的发明。

机器可读介质包括用于以机器(例如计算机)可读形式存储或传输信息的任何机构。例如机器可读介质包括只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备、电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)等。

概述

对自适应分数采样插值的考虑为运动补偿视频编码提供了显著的益处。这是由于其可以提高预测信号的质量。以下给出了包括这里所描述的自适应技术的编码和解码过程的示例。

图4是编码过程的一个实施例的流程图。通过处理逻辑执行该过程，该处理逻辑可以包括硬件(例如电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)、或两者的组合。

参照图4，该过程开始于由处理逻辑使用多个参考来产生运动补偿预测，其中，每个参考与一个或更多个参考索引相关联，每个参考索引与滤波器参数集合相关联，通过该滤波器参数集合对与特定参考索引相关联的块进行滤波，以产生预测块(处理块401)。在一个实施例中，由运动补偿模块来执行运动补偿预测的产生。

在一个实施例中，向参考中的每个部分或块分配与不同的分数采样插值滤波器相对应的参考索引。在一个实施例中，每个滤波器参数集合与插值滤波器相对应。在这种情况下，多个参考与多个滤波器参数集合相关联，所述多个滤波器参数集合与多个滤波器相对应。在一个实施例中，插值滤波器对于对包含编码视频数据和编码参考索引的比特流进行解码的解码器来说是已知的。在另一实施例中，将插值滤波器显式地传输至对包含编码视频数据和编码参考索引的比特流进行解码的解码器。

在一个实施例中，滤波器包括与形式为{1，-5，20，20，-5，1}/32的参数相关联的6抽头滤波器、双线性插值滤波器和双三次插值滤波器中的一个或多个。在另一实施例中，滤波器包括一个或更多个2D滤波器。

在一个实施例中，插值滤波器对于编码器和对包含编码视频数据和编码参考索引的比特流进行解码的解码器来说都是已知的。

在一个实施例中，滤波参数也是针对色度分量集合而定义的。针对一个色度分量的滤波参数可以是基于另一色度分量而确定的。

处理逻辑使用运动补偿预测，对包括有与输入视频数据和补偿预测之间的残差相对应的数据的视频数据进行编码(处理块402)，并对参考索引进行编码，以产生作为具有编码视频数据的比特流的一部分的编码参考索引(处理块403)。由于每个索引与滤波参数相关联，所以编码数据对至解码器的滤波参数进行标识。可以通过可变长度编码器来执行该编码操作。

解码操作是编码操作的逆过程。图5是解码过程的一个实施例的流程图。由处理逻辑执行该过程，该处理逻辑可以包括硬件(例如电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)、或两者的组合。

参照图5，该过程开始于由处理逻辑对具有编码视频数据的比特流进行解码，其中编码视频数据包括与从输入视频数据和运动补偿预测之差得到的残差数据相对应的编码数据(处理逻辑501)。在一个实施例中，处理逻辑也对运动矢量和参考索引进行解码。可以通过可变长度解码器来执行该解码操作。

接下来，处理逻辑使用多个参考来产生运动补偿预测，其中，每个参考与多个参考索引相关联，每个参考索引与滤波器参数集合相关联，通过该滤波器参数集合对与特定参考相关联的块进行滤波以产生分数采样位置(处理块502)。在一个实施例中，由编码器中的运动补偿模块或单元来产生运动补偿预测。

之后，处理逻辑将预测与残差数据组合以产生视频数据(处理块503)。该组合操作可以由解码器中的加法器执行。

图6示出了插值过程的一个实施例。参照图6，使用自适应滤波器来产生1/2分数采样位置上的采样值。然后，另一自适应双线性滤波器对1/2分数位置上的采样进行滤波，以产生1/4分数采样位置上的采样值。插值滤波器2可以与滤波器1相同或可以是双线性的。然而，滤波器2也可以与滤波器1完全不同。如果是这种情况，则需要附加的信号通知。

这里对如何信号通知和采用这种插值方法的有效策略进行描述。

句法示例

H.264视频编码标准提供了将参考存储器中给出的参考与多个参考索引相关联的灵活性。下表1中示出了用于参考画面列表重新排序的关联句法。

表1 H.264中的参考画面列表重新排序句法

ref_pic_list_reordering(){	C	描述符
			if(slice_type ！＝I && slice_type ！＝SI){
Ref_pic_list_reordering_flag_l0	2	u(1)
			if(ref_pic_list_reordering_flag_l0)
do{
			reordering_of_pic_nums_idc	2	ue(v)
if(reordering_of_pic_nums_idc ＝＝0 \|\| reordering_of_pic_nums_idc ＝＝ 1)
			abs_diff_pic_num_minus1	2	ue(v)
else_if(reordering_of_pic_nums_idc ＝＝2)
			long_term_pic_num	2	ue(v)
}while(reordering_of_pic_nums_idc ！＝3)
			}
if(slice_type ＝＝ B){
			ref_pic_list_reordering_flag_l1	2	u(1)
if(ref_pic_list_reordering_flag_l1)
			do{
reordering_of_pic_nums_idc	2	ue(v)
			if(reordering_of_ic_nums_idc ＝＝0 \|\| reordering_of_pic_nums_idc ＝＝ 1)
abs_diff_pic_num_minus1	2	ue(v)
			else_if(reordering_of_pic_nums_idc＝＝2)
long_term_pic_num	2	ue(v)
			}while(reordering_of_pic_nums_idc ！＝3)
}
			}

在自适应分数采样插值的框架内利用了该特性。在一个实施例中，由于这种插值可能并非总是有用的，所以可以在较高级上(例如，编解码器的画面或序列参数集合)用信号通知单个参数，该参数指示是否使用插值。例如，可以通过引入名为interpolated_pred_flag的附加元素，如表2所示地对H.264画面参数集合RBSP句法进行修改。如果该元素存在，则也可以在较低句法层传输附加的插值参数。

表2 提议修改后的H.264中的画面参数集合RBSP句法

pic_parameter_set_rbsp(){	C	描述符
			pic_parameter_set_id	1	ue(v)
seq_parameter_set_id	1	ue(v)
			entropy_coding_mode_flag	1	u(1)
.
			.
.
			num_ref_idx_l0_active_minus1	1	ue(v)
num_ref_idx_l1_active_minus1	1	ue(v)
			interpolated_pred_flag	1	u(1)
weighted_pred_flag	1	u(1)
			weighted_bipred_idc	1	u(2)
.
			.
.
			rbsp_trailing_bits()	1
}

在一个实施例中，如果启用了插值预测标记，则用信号通知插值预测表(pred_interpolation_table)。表3包含将用于给定参考的所有插值滤波器信息。

表3 提议修改后的H.264中的片首部句法

Slice_header(){	C	描述符
			first_mb_in_slice	2	ue(v)
slice_type	2	ue(v)
			pic_parameter_set_id	2	ue(v)
frame_num	2	U(v)
			if(！frame_mbs_only_flag){

field_pic_flag	2	u(1)
			if(field_pic_flag)
bottom_field_flag	2	u(1)
			}
if(nal_unit_type ＝＝ 5)
			Idr_pic_id	2	ue(v)
if(pic_order_cnt_type ＝＝ 0){
			pic_order_cnt_lsb	2	u(v)
if(pic_order_present_flag && ！field_pic_flag)
			delta_pic_order_cnt_bottom	2	se(v)
}
			if(pic_order_cnt_type＝＝1 &&！delta_pic_order_always_zero_flag){
delta_pic_order_cnt[0]	2	se(v)
			if(pic_order_present_flag && ！field_pic_flag)
delta_pic_order_cnt[1]	2	se(v)
			}
if(redundant_pic_cnt_present_flag)
			redundant_pic_cnt	2	ue(v)
if(slice_type ＝＝ B)
			direct_spatial_mv_pred_flag	2	u(1)
if(slice_type＝＝P\|\|slice_type＝＝SP\|\|slice_type＝＝B){
			num_ref_idx_active_override_flag	2	u(1)
if(num_ref_idx_active_override_flag){
			num_ref_idx_l0_active_minus1	2	ue(v)
if(slice_type ＝＝ B)
			num_ref_idx_l1_active_minus1	2	ue(v)
}
			}
ref_pic_list_reordering()	2
			if((weighted_pred_flag && (slice_type＝＝P \|\| slice_type＝＝SP)) \|\| (weighted_bipred_idc ＝＝ 1 && slice_type＝＝ B))
pred_weight_table()	2

if((interpolated_pred_flag && (slice_type＝＝P \|\| slice_type＝＝SP \|\|slice_type＝＝ B))
			pred_interpolation_table()	2
if(nal_ref_idc ！＝0)
			dec_ref_pic_marking()	2
if(entropy_coding_mode_flag && slice_type ！＝ I && slice_type ！＝SI)
			cabac_init_idc	2	ue(v)
slice_qp_delta	2	se(v)
			if(slice_type＝＝SP \|\| slice_type ＝＝ SI){
if(slice_type ＝＝ SP)
			sp_for_switch_flag	2	u(1)
slice_qs_delta	2	se(v)
			}
if(deblocking_filter_control_present_flag){
			disable_deblocking_filter_idc	2	ue(v)
if(disable_deblocking_filter_idc ！＝ 1){
			slice_alpha_c0_offset_div2	2	se(v)
slice_beta_offset_div2	2	se(v)
			}
}
			if(num_slice_groups_minus1＞0 && slice_group_map_type＞＝3 &&slice_group_map_type＜＝5)
slice_group_change_cycle	2	u(v)
			}

表4中的预测插值表句法包含针对每个参考列表(列表0和列表1)内的每个参考的所有插值信息。具体而言，这可以包括插值滤波器的类型(luma_interpolation)_lX_type)，该滤波器是仅用于1/2-pel位置而双线性滤波器用于1/4-pel位置(如图6所示)、还该滤波器是用于所有采样(luma_interpolation_lX_qpel)，滤波器抽头的个数(luma_filter_length_lX或luma_2Dfilter_length_lX)，滤波器精度(luma_filter_denom_lX和luma_filter_2Ddenom_lX)，以及实际滤波器系数(luma_filter_tap_lX和luma_2Dfilter_coeffs_lX)。在一个实施例中，滤波器系数是可变长度编码的(即ue(v))。在另一实施例中，滤波器系数是固定长度编码的(u(N)，N＝8)。此外，在另一实施例中，例如相对于H.264默认插值滤波器，选择对滤波器系数的值的预测，因此如果使用差分编码，则可以更加有效地编码滤波器系数。

类似的句法可以针对两个列表、还可以针对色度分量(如果可用)(例如，如果chroma_format_idc不是0，0指示单色序列)而存在。也可以存在附加元素，该附加元素将双预测与单预测插值滤波器分离，尽管也可以通过重新排序句法再次模仿该行为(即相同的参考可以与2个不同的参考索引相关联)，对此，一个参考索引将与单预测插值滤波器相关联，而双预测权重将会与另一个参考索引相关联。

表4 提议的预测插值表句法

pred_interpolation_table(){	C	描述符
			//！列表0的插值语义
for(i＝0；i＜＝num_ref_idx_l0_active_minus1；i++){
			luma_interpolation_l0_type[i]	2	ue(v)
//！如果不是双三次，则选择是否也将滤波器应用于 pel
			if(luma_interpolation_l0_type ！＝1 &&luma_interpolation_l0_type ！＝2)
luma_interpolation_l0_qpel[i]	2	u(1)
			//！如果是类型3，则显式地发送可分滤波器系数
if(luma_interpolation_l0_type＝＝3){
			luma_filter_length_l0[i]	2	ue(v)
luma_filter_denom_l0[i]	2	ue(v)
			for(j＝0；j＜＝luma_filter_length_l0[i]；j++)
luma_filter_tap_l0[i][j]	2	se(v)
			}else if(luma_interpolation_l0_type＝＝4){
//！如果是类型4，则使用需要54个系数的2D 6抽头滤波器
			luma_2Dfilter_length_l0[i]	2	ue(v)
luma_2Dfilter_denom_l0[i]	2	ue(v)
			for(j＝0；j＜＝54；j++)
luma_2Dfilter_coeffs_l0[i][j]	2	se(v)

}
			}
for(k＝0；k＜chroma_format_idc？2：0；k++){
			chroma_interpolation_l0_type[i][k]	2	ue(v)
//！如果不是双三次，则选择是否也将滤波器应用于 pel
			if(chroma_interpolation_l0_type＞2)
chroma_interpolation_l0_qpel[I][k]	2	u(1)
			//！如果是类型3，则显式地发送可分滤波器系数
if(chroma_interpolation_l0_type＝＝3){
			chroma_filter_length_l0[i][k]	2	ue(v)
chroma_filter_denom_l0[i][k]	2	ue(v)
			for(j ＝ 0； j ＜＝ chroma_filter_length_l0[i][k]；j++)
chroma_filter_tap_l0[i][k][j]	2	se(v)
			}else if(chroma_interpolation_l0_type＝＝4){
//！如果是类型4，则使用需要54个系数的2D 6抽头滤波器
			chroma_2Dfilter_length_l0[i]	2	ue(v)
chroma_2Dfilter_denom_l0[i][k]	2	ue(v)
			for(j＝0；j＜＝54；j++)
chroma_2Dfilter_coeffs_l0[i][j]	2	se(v)
			}
}
			If(slice_type ＝＝ B){
for(i＝0；i＜＝num_ref_idx_l1_active_minus1；i++){
			luma_interpolation_l1_type[i]	2	ue(v)
//！如果不是双三次，则选择是否也将滤波器应用于 pel
			if(luma_interpolation_l1_type ！＝1 &&luma_interpolation_l1_type！＝2)
luma_interpolation_l1_qpel[i]	2	u(1)
			//！如果是类型3，则显式地发送可分滤波器系数
if(luma_interpolation_l1_type＝＝3){
			luma_filter_length_l1[i]	2	ue(v)
luma_filter_denom_l1[i]	2	ue(v)
			for(j＝0；j＜＝luma_filter_length_l1[i]；j++)
luma_filter_tap_l1[i][j]	2	se(v)
			}else if(luma_interpolation_l1_type＝＝4){

//！如果是类型4，则使用需要54个系数的2D 6抽头滤波器
			luma_2Dfilter_length_l1[i]	2	ue(v)
luma_2Dfilter_denom_l1[i]	2	ue(v)
			for(j＝0；j＜＝54；j++)
luma_2Dfilter_coeffs_l1[i][j]	2	se(v)
			}
}
			for(k＝0；k＜chroma_format_idc？2：0；k++){
chroma_interpolation_l1_type[i][k]	2	ue(v)
			//！如果不是双三次，则选择是否也将滤波器应用于 pel
if(chroma_interpolation_l1_type＞2)
			chroma_interpolation_l1_qpel[i][k]	2	u(1)
//！如果是类型3，则显式地发送可分滤波器系数
			if(chroma_interpolation_l1_type＝＝3){
chroma_filter_length_l1[i][k]	2	ue(v)
			chroma_filter_denom_l1[i][k]	2	ue(v)
for( j ＝0； j ＜＝chroma_filter_length_l1[i][k]；j++)
			chroma_filter_tap_l1[i][k][j]	2	se(v)
}else if(chroma_interpolation_l1_type＝＝4){
			//！如果是类型4，则使用需要54个系数的2D 6抽头滤波器
chroma_2Dfilter_length_l1[i]	2	ue(v)
			chroma_2Dfilter_denom_l1[i][k]	2	ue(v)
for(j＝0；j＜＝54；j++)
			chroma_2Dfilter_coeffs_l1[i][j]	2	se(v)
}
			}
}
			}

上表中的一个元素是滤波器类型(即luma_interpolation_lX_type)。该元素指示较宽范围的可能的插值滤波器之一。能够指定较宽范围的插值滤波器，这在所执行的插值方面提供了附加灵活性。在一个实施例中，对于luma，在下表5中示出了所使用的插值方案。

表5 luma_interpolation_lX_type的语义

luma_interpolation_lX_type	滤波器方法
		0	H.264 6抽头滤波器(即{1 -5 20 20 -5 1}/32)
1	双三次(即，如由WM9/VC1使用的)
		2	双线性
3	N抽头可分滤波器(不需要是对称滤波器)
		4	2D滤波器

可以针对色度做出类似的考虑，尽管在一个实施例中指定了两个分量可以使用不同或相同的插值机制(即，可以使用luma_interpolation_lX_type向第二分量用信号通知这一点)。在另一实施例中，可以使用更加适合色度的其它滤波器，尤其重要的是可以将插值降至1/8pel等级。例如，在一个实施例中，在表6中给出了第一色度分量的chroma_interpolation_lX_type的语义。

表6 chroma_interpolation_lX_type[i][0]的语义

chroma_interpolation_lX_type[i][0]	滤波器方法
		0	双线性(H.264默认)
1	H.264 luma 6抽头滤波器(即{1 -5 20 20 -5 1}/32)
		2	双三次(即，如由WM9/VC1使用的)
4	N抽头可分滤波器(不需要是对称滤波器)
		5	2D滤波器

而对于第二分量，chroma_interpolation_lX_type[i][1]＝0指示再使用第一分量的滤波器。在一个实施例中，表1中给出了该分配，或者可能基于第一条目来调整该表。

表1 chroma_interpolation_lX_type[i][0]的语文

Chroma_interpolation_lX_type[i][1]	滤波器方法
		0	＝chroma_interpolation_lX_type[i][0]
1	双线性
		2	H.264 luma6抽头滤波器(即{1 -5 20 20 -5 1}/32)
4	双三次(即，如由WM9/VC1使用的)
		5	N抽头可分滤波器(不需要是对称滤波器)
6	2D滤波器

备选实施例

在一个实施例中，这里所描述的技术提供了用信号通知加权预测参数的备选方法。这甚至能够进一步与由诸如H.264之类的编解码器所支持的现有加权参数进行组合(即，使用隐式加权以及自适应插值滤波器)，并进一步提高运动补偿预测方面的灵活性并提高效率。编码器和解码器的基本结构保持与传统编码器和解码器类似(图7和8)。

图7是编码器的一个实施例的框图。在一个实施例中，编码器首先将输入的比特流分为矩形阵列，称为宏块。对于每个宏块，编码器选择是使用帧内编码还是帧间编码。帧内编码仅使用包含在当前视频帧中的信息，并产生称为I帧的压缩结果。帧间编码可以使用在当前帧之前或之后出现的一个或更多个其它帧的信息。将仅使用来自先前帧的数据的压缩结果称为P帧，而将使用来自当前帧之前和之后的数据的压缩结果称为B帧。

参照图7，将视频701输入编码器。在对帧进行编码而不进行运动补偿的情况下，将视频帧输入DCT 703。DCT 703执行2D离散余弦变换(DCT)来产生DCT系数。通过量化器704对系数进行量化。在一个实施例中，通过缩放器对量化器704所执行的量化进行加权，QP。在一个实施例中，量化器缩放器参数QP采用从1至31的值。可以在画面和宏块级上修改QP值。

之后，在VLC 705处对量化系数进行可变长度编码，产生比特流720。在一个实施例中，VLC 705通过使用一个符号来表示在诸如哈夫曼编码之类的熵编码阶段中的三元组(最末，行程，等级)，执行熵编码。

应注意，在一个实施例中，可以在VLC 705之前执行重新排序，其中对量化后的DCT系数进行之字形扫描，从而以本领域公知的方式将2D系数阵列转换为1D系数阵列。在这之后，可以进行行程编码，其中对与每个块相对应的重新排序后的量化系数的阵列进行编码，以更好地表示零系数。在这种情况下，每个非零系数被编码为三元组(最末，行程，等级)，其中“最末”指示这是否是块中最后的非零系数，“行程”指示在前的0系数，“等级”指示系数符号和大小。

可以保存帧的复制帧以用作参考帧，对于I或P帧尤其如此。为此，由逆量化器706对从量化器704输出的量化系数进行逆量化。使用IDCT707向逆量化系数应用DCT逆变换。在P帧的情况下，将所产生的帧数据与来自运动补偿(MC)单元709的运动补偿预测相加，然后使用环形滤波器712对所产生的帧进行滤波，并将其存储在帧缓冲器711中以用作参考帧。在I帧的情况下，从IDCT 707输出的数据不与来自MC单元709的运动补偿预测相加，而使用环形滤波器712对该数据进行滤波，并存储在帧缓冲器711中。

在P帧的情况下，使用来自在前I或P帧(这在本领域中统称为参考帧)的帧间预测，对P帧进行编码。在这种情况下，由运动估计(ME)块710和运动补偿单元709执行帧间预测。在这种情况下，运动估计单元710使用来自帧存储器711的参考帧和和输入视频701，搜索参考帧中与当前帧中的当前宏块匹配最佳的区域的位置。将运动估计单元710的运动矢量发送至运动补偿单元709。在运动补偿单元709处，使用减法器702从当前宏块中减去预测，以产生残差宏块。然后，如上所述，使用DCT 703、量化器704和VLC 705对该残差进行编码。

运动估计单元710向用于可变长度编码705的VLC 705输出加权参数。VLC 705的输出是比特流720。

图8是解码器的一个实施例的框图。参照图8，可变长度解码器802接收到比特流801，并执行可变长度解码。可变长度解码的输出被发送至逆量化器803，该逆量化器803执行与量化器704所执行的量化相反的逆量化操作。逆量化器803的输出包括经过IDCT 804的DCT逆变换的系数，以产生图像数据。在I帧的情况下，由环形滤波器821对IDCT 804的输出进行滤波，将其存储在帧缓冲器822中，并最终作为输出860而输出。在P帧的情况下，使用加法器805，将从IDCT 804输出的图像数据与来自运动补偿单元810的预测相加。运动补偿单元810使用来自可变长度解码器822的输出(该输出包括上述加权参数)以及来自帧缓冲器822的参考帧。使用环形滤波器821对从加法器805输出的所得到的图像数据进行滤波，并将其存储在帧缓冲器822中，以作为输出860的一部分而最终输出。

然而，关键差别在于如何处理参考列表以及如何执行运动估计和补偿，这是由于此时可以考虑不同/多种插值机制，并不仅仅是单个插值机制。图9示出了对作为编码器和/或解码器一部分的参考列表使用的影响。在考虑运动估计和运动补偿之前，首先对参考进行组织并处理。

参照图9，将参考画面存储在存储器901中。参考画面是从编码器或解码器接收的。使用存储在存储器901中的参考画面对列表0和列表1进行初始化。在一个实施例中，所执行的初始化是H.264标准的初始化，这是本领域公知的。应注意，当在运动估计和补偿中使用B片时对列表1进行初始化。在初始化之后，使用重新排序模块904和905，分别对列表0和列表1中的参考进行重新排序。在一个实施例中，执行重新排序，以使最常使用的参考索引位于列表的开始。同样，该重新排序是根据H.264标准执行的，这是本领域公知的。在重新排序之后，对重新排序列表0中的每个参考执行一系列函数906。类似地，对列表1中的参考执行一系列函数907。将从函数906和907中得到的输出发送至运动估计模块908和运动补偿模块909(应注意，模块可以是硬件、软件、固件或其组合)。运动补偿模块909使用这些函数906和907的输出以及运动估计模块908的输出，针对编码器和解码器来执行所产生的运动补偿预测。应注意，对于解码器，由于运动信息是直接从比特流中可用的，所以解码器不包括运动估计元件。

在一个实施例中，将这里所描述的技术应用于空间可缩放视频编码。在这种情况下，对于对基(低分辨率)层(用于预测当前(高分辨率)层)的插值不是仅仅指定单个机制，而是可以使用重新排序命令向给定的低分辨率参考分配插值方法的完整集合。这产生了新的参考画面集合，每个参考画面与不同的参考索引和插值滤波器相关联。在块级上，参考索引同样可以指示用于上采样的插值方法，而无需任何额外开销。

图12示出了针对空间可缩放性的自适应插值。参照图12，低分辨率缓冲器1201从低分辨率解码器(未示出)接收层。高分辨率缓冲器从高分辨率解码器(未示出)接收高分辨率层。参考初始化模块1203使用来自低分辨率缓冲器1201的低分辨率层对参考进行初始化。重新排序模块1204使用重新排序命令将插值方法的集合分配给参考。在一个实施例中，这是采用H.264标准中所提出的方法进行的。之后，使用上采样器1205对从重新排序模块1204输出的层进行上采样。上采样器1205应用函数集合g_0，0(x，y)-g_0，n(x，y)。运动补偿模块1207结合运动估计模块1206对低分辨率的基层进行插值和使用，以预测高分辨率的当前层。该运动补偿预测发送至高分辨率解码器(或编码器)。

可以通过执行多通路策略或通过考虑要编码的内容的特定特性，来选择插值滤波器。在一个实施例中，使用初始滤波器对位移矢量的初始集合进行估计。然后，通过在使用这些位移矢量执行运动补偿预测时最小化(或减小)预测误差的能量，来估计每个块的滤波器系数。然后，基于直方图方法对滤波器进行整理，并在必要时进行改进，然后选择最好的N个滤波器用于信号通知和最终编码。图10A是用于确定插值参数的过程的一个实施例的流程图。该过程由处理逻辑执行，该处理逻辑可以包括硬件(例如电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)、或两者的组合。

参照图10A，该过程开始于由处理逻辑对滤波器统计量进行初始化(处理块1001)。在一个实施例中，初始化滤波器统计量包括将直方图初始化(HIST_INT)。在一个实施例中，统计量负责的是每个滤波器被选择了多少次。接下来，处理逻辑进入循环(处理块1002)。在该循环中，处理逻辑为缓冲器中的每个参考设置默认插值滤波器(处理块1003)，并进入另一循环，在此循环中，对于每个块，处理逻辑执行运动估计(处理块1005)、使用最佳运动矢量改进插值滤波器(处理块1006)、并更新直方图HIST_INT中的插值统计量(处理块1007)。至运动估计的结果是确定了最佳运动矢量(MV_best)的位置。

在处理了缓冲器中的每个参考的每个块之后，处理逻辑转移至处理块1010，在此处理逻辑分析统计量以确定针对所有参考的最佳滤波器。在一个实施例中，处理逻辑查看HIST_INT，以确定针对所有参考的最佳滤波器。然后，处理逻辑保持插值滤波器不变，对帧进行重新编码(处理块1011)。在一个实施例中，作为对帧重新编码的过程的一部分，处理逻辑改进了运动估计和参考。之后该过程结束。

在也可以具有较低复杂度成本的备选实施例中，考虑到每个参考，对每个块执行运动估计。使用来自每个参考的最佳运动矢量，也可以找到针对该参考的最佳插值滤波器。然而，可以仅考虑来自最佳参考的参数，而丢弃所有其它参数，以避免可能需要的任何额外处理。图10B是用于确定插值参数的备选实施例的流程图。该过程由处理逻辑执行，该处理逻辑可以包括硬件(例如电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)、或两者的组合。

参照图10B，该过程开始于对每个块进行处理的循环(处理块1020)。在该循环中，处理逻辑开始处理另一内部循环(处理块1021)，在该内部循环中，对于缓冲器中的每个参考，处理逻辑设置默认插值滤波器(处理块1022)，执行运动估计以找到最佳运动矢量(MV_best)(处理块1024)，并使用最佳运动矢量(MV_best)改进插值滤波器(处理块1024)。一旦处理了缓冲器中的所有参考，则内部环路结束。

之后，在外部循环中继续进行处理，其中处理逻辑选择最佳参考(处理块1027)并基于来自最佳参考的统计量来更新HIST_INT中的插值统计量(处理块1026)。外部循环继续进行，直至对每个块进行了处理，之后，外部循环结束(处理块1028)。一旦已处理了每个块，处理逻辑便更新首部信息，并对比特流进行编码和/或写入(处理块1029)。

也可以对插值滤波器施加其它限制(即，对于每个参考所允许的滤波器的最大数目，对于引入每个新滤波器时的损失(penalty)的考虑等)，这也有助于确定最佳滤波器。在解码器端，可以基于参考索引立即确定插值滤波器，并由此执行插值，而不会对任何其它解码过程产生影响。

图11是由解码器执行的插值选择性过程的一个实施例的流程图。该过程由处理逻辑执行，该处理逻辑可以包括硬件(例如电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)、或两者的组合。

参照图11，该过程开始于对包括重新排序信息、加权参数信息和插值信息的片信息进行解码(处理块1101)。在一个实施例中，重新排序信息包括重新排序命令。在对片信息进行解码之后，处理逻辑产生参考列表(处理块1102)。然后处理逻辑针对每个块进行循环(处理块1103)，在该循环中处理逻辑对每个列表i的参考索引r_i进行解码(处理块1104)，对包括运动矢量和加权参数的运动信息进行解码(处理块1105)，基于选择r₀和r₁选择插值滤波器(处理块1106)，并使用所选滤波器和运动矢量参数来执行运动补偿(处理块1107)。之后，循环结束(处理块1108)。在循环结束之后，该过程结束。

已经示出了自适应分数采样插值，以对运动补偿视频编码提供附加益处。可以通过利用在特定视频编码标准(如H.264)中提供的重新排序机制，使用这里所描述的技术来有效地考虑和表示这种自适应分数采样插值机制；当序列的局部特性在混叠方面发生改变时，提高编码效率(即，针对给定比特率，增大PSNR)；以及提高空间可缩放视频编码结构的编码效率。

示例性计算机系统

图13是可以执行这里所描述的操作中的一个或更多个的示例性计算机系统的框图。参照图13，计算机系统1300可以包括示例性客户端或服务器计算机系统。计算机系统1300包括用于进行信息通信的通信机制或总线1311、以及与总线1311连接以处理信息的处理器1312。处理器1312包括微处理器，但是并不限于例如Pentium^TM，PowerPC^TM，Alpha^TM之类的微处理器。

系统1300还包括随机存取存储器(RAM)、或与总线1311连接并用于存储要由处理器1312执行的信息和指令的其它动态存储设备1304(称为主存储器)。主存储器1304也可以用于在处理器1312执行指令期间存储临时变量或其它中间信息。

计算机系统1300也包括只读存储器(ROM)和/或与总线1311连接以存储处理器1312使用的存储静态信息和指令的其它静态存储设备1306、以及诸如磁盘或光盘以及相应盘驱动之类的数据存储设备1307。数据存储设备1307与总线1311连接并用于存储信息和指令。

计算机系统1300还可以与诸如阴极射线管(CRT)或液晶显示器(LCD)之类的显示设备1321连接，该显示设备1321与总线1311连接以向计算机用户显示信息。字母数字输入设备1322(包括字母数字和其它按键)也可以与总线1311连接以向处理器1312通信信息和命令选择。附加的用户输入设备是与总线1311连接的光标控制设备1323(如鼠标、跟踪球、触摸板、手写笔或光标方向按键)，用于向处理器1312通信方向信息和命令选择，并用于控制显示器1321上的光标移动。

可以与总线1311连接的另一设备可以是硬拷贝设备1324，其可以用于在诸如纸张、胶片或类似类型的介质上标注信息。可以与总线1311连接的另一设备是能够与电话或手持掌上设备进行通信的有线/无线通信功能1325。

注意，系统1300的组件中的任何一个或全部及相关硬件均可以用于本发明。然而，可以理解，计算机系统的其它配置可以包括这些设备中的一些或全部。

无庸置疑，在阅读了上述说明书之后，本发明的许多替换和修改对于本领域普通技术人员来说是显而易见的，要理解，通过示例示出并描述的任何特定实施例并不意在限定本发明。因此，对于各种实施例的细节的参考并不意在限制权利要求的范围，权利要求本身记载了作为本发明必要内容的特征。

Claims

1.一种视频编码器，包括：

运动补偿模块，用于使用多个参考来产生运动补偿预测的预测部分，其中多个参考中每一个均与多个参考索引相关联，多个参考索引中的每一个参考索引与不同的滤波器参数集合相关联，通过所述滤波器参数集合对参考中与所述每一个参考索引相关联的部分进行滤波，以产生所述预测部分；以及

编码器，用于对视频数据进行编码，以产生编码视频数据，其中所述视频数据包括与输入视频数据和来自所述运动补偿模块的运动补偿预测之间的残差相对应的数据。

2.如权利要求1所述的编码器，其中所述编码器对参考索引进行编码，以产生编码参考索引，所述编码参考索引是具有编码视频数据的比特流的一部分。

3.如权利要求1所述的编码器，其中，每个滤波器参数集合与插值滤波器相对应，以使所述多个参考索引与同多个滤波器相对应的多个滤波器参数集合相关联。

4.如权利要求3所述的编码器，其中所述插值滤波器是显式传输至解码器的，所述解码器用于对包含所述编码视频数据和编码参考索引的比特流进行解码。

5.如权利要求3所述的编码器，其中所述插值滤波器对于所述编码器和对包含所述编码视频数据和编码参考索引的比特流进行解码的解码器都是已知的。

6.如权利要求5所述的编码器，其中所述多个滤波器中至少一个选自包括如下滤波器的组：与形式为{1，-5，20，20，-5，1}/32的参数相关联的6抽头滤波器；双线性插值滤波器；以及双三次插值滤波器。

7.如权利要求3所述的编码器，其中所述多个滤波器中至少一个和所述至少一个滤波器的滤波器参数是显式提供至解码器的。

8.如权利要求7所述的编码器，其中滤波参数是相对于预定义的滤波器而差分编码的。

9.如权利要求1所述的编码器，其中滤波参数也是针对色度分量集合而定义的。

10.一种编码方法，包括：

使用多个参考来产生运动补偿预测，其中多个参考中的每一个均与多个参考索引相关联，其中所述多个参考索引中的每一个参考索引与不同的滤波器参数集合相关联，通过所述滤波器参数集合对参考中与所述每一个参考索引相关联的块进行滤波，以产生分数采样位置；以及

对视频数据进行编码，以产生编码视频数据，其中所述视频数据包括与输入视频数据和运动补偿预测之间的残差相对应的数据。

11.如权利要求10所述的方法，还包括：对参考索引进行编码以产生编码参考索引，所述编码参考索引是具有编码视频数据的比特流的一部分。

12.如权利要求10所述的方法，其中每个滤波器参数集合与插值滤波器相对应，以使所述多个参考与同多个滤波器相对应的多个滤波器参数集合相关联。

13.如权利要求12所述的方法，其中将所述插值滤波器显式地传输至解码器，所述解码器用于对包含所述编码视频数据和编码参考索引的比特流进行解码。

14.如权利要求12所述的方法，其中所述插值滤波器对于编码器和对包含所述编码视频数据和编码参考索引的比特流进行解码的解码器都是已知的。

15.如权利要求12所述的方法，其中从包括如下滤波器的组中选择所述多个滤波器中至少一个：与形式为{1，-5，20，20，-5，1}/32的参数相关联的6抽头滤波器；双线性插值滤波器；以及双三次插值滤波器。

16.如权利要求13所述的方法，还包括：相对于预定义的滤波器，对滤波参数进行差分编码。

17.如权利要求10所述的方法，其中也针对色度分量集合而定义滤波参数。