CN101176350B

CN101176350B - 对运动和预测加权参数进行编码的方法和装置

Info

Publication number: CN101176350B
Application number: CN200680016666XA
Authority: CN
Inventors: 弗兰克·博森; 亚历山德罗斯·图拉皮斯
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2005-05-26
Filing date: 2006-05-25
Publication date: 2011-02-23
Anticipated expiration: 2026-05-25
Also published as: US8457203B2; EP1891810B1; JP2011091840A; US20060268166A1; EP1891810A2; WO2006128072A2; JP5086422B2; JP2008541502A; WO2006128072A3; CN101176350A

Abstract

公开了一种编码和/或解码方法和装置。在一个实施例中，该编码方法包括产生针对多假设分区的加权参数，变换所述加权参数，并对变换的加权参数进行编码。

Description

对运动和预测加权参数进行编码的方法和装置

本专利申请要求2005年5月26日提交的题为“Method AndApparatus For Coding Motion and Prediction Weighting Parameters”的相应临时专利申请No.60/685,261的优先权，并将其内容合并在此以作参考。

技术领域

本发明涉及视频编解码领域，具体涉及对运动和预测加权参数的编码。

背景技术

由于运动补偿(帧间)预测在编码效率方面的显著优点，运动补偿预测成为了MPEG-1/2和H.264(或JVT，MPEG AVC)等视频编码方案和标准的重要组成部分。但是，直到最近，在大多数标准中，还是主要(如果不是仅考虑到)考虑到时间上的位移而执行运动补偿的。具体而言，MPEG-1，2和MPEG-4等标准考虑到针对帧间预测的两种不同类型的画面，预测(P)和双向预测(B)画面。将这些画面划分成一组互不交叠的块，每个块与一组运动参数相关联。对于P画面，运动参数仅限于当前块I(x，y)相对于参考画面的水平和垂直位移，参考画面指示了可以用于预测I(x，y)的第二块I(x’，y’)的位置。图1A示出了P画面中运动补偿的示例。然而，对于B画面，这可能择一地或附加地涉及到对相对于第二参考画面的水平和垂直位移的考虑。图1B示出了B画面中运动补偿的示例。在后一种情况下，实质上通过使用均衡加权因子(1/2，1/2)来将根据这两幅参考画面的预测平均，完成了预测。

但是，对于包含时间上的亮度变化(诸如淡入淡出、匀滑转换(crossfade)、闪烁、摄像机光圈调整)的视频场景，上述模型是不够的。因此，当涉及时间上的亮度变化时，仅具有简单平移的帧间技术不足以提高编码效率。为此，先前提出了多种方法，也考虑到运动补偿过程中的亮度变化。参见Kamikura，et al.，“GlobalBrightness-Variation Compensation for Video Coding，”IEEE Trans onCSVT，vol.8，pp.988-1000，Dec.1998；Rodrigues，et al.，“HierarchicalMotion Compensation with Spatial and Luminance Transformations”，ICIP，pp.518-521，Oct.2001；Rodrigues，et al.，“Low-Bit Rate VideoCoding with Spatial and Luminance Transformations”，ConfTele2001，Figueira da Foz，22-24 April，2001；以及J.Boyce，“Weighted Predictionin the H.264/MPEG4 AVC Video Coding Standard”，ISCAS，pp.789-792，May 2004。

具体而言，不仅考虑到运动补偿过程中的几何变换，还使用两个新的参数w和o对预测的信号进行缩放和/或调整。在时间t位置(x，y)处对亮度值I(x，y，t)的采样实际上构造为w*I(x+dx，y+dy，t’)+o，其中dx和dy是空间位移参数(运动矢量)。但是，这些新的加权参数也可能显著增加表示运动信息所需的开销比特，从而可能减少这种策略的有利之处。为此，在假设大多数亮度变换是在全局上发生的情况下，Kamikura，et al.，“Global Brightness-Variation Compensation forVideo Coding，”IEEE Trans on CSVT，vol.8，pp.988-1000，Dec.1998提出了对于每一帧只使用单个全局参数(w，o)集。此外还在块级别上指示了是否使用这些参数，从而在局部亮度变化存在的情况下提供了一些附加的优势。

H.264中采用有些类似的策略。但是，该标准也支持可以进一步利用亮度变化的多个其他特征。具体地，编解码器允许不仅考虑多个参考画面，还进行重新排序，这使多个权重能够与每个参考画面相关联，以更好地处理局部亮度变化。可选地，可以通过考虑时间上或，更精确地，与每幅画面相关联的画面顺序计数距离，来隐含地导出双向预测分区(partition)的权重。另一方面，在Rodrigues，et al.，“Hierarchical Motion Compensation with Spatial and LuminanceTransformations”，ICIP，pp.518-521，Oct.2001和Rodrigues，et al.，“Low-Bit Rate Video Coding with Spatial and LuminanceTransformations”，ConfTele2001，Figueira da Foz，22-24 April，2001中，在量化之后，使用分级结构来稍微限制比特开销，以可选地传输权重。但是，该方法看来仅考虑到P帧内的加权预测，而未论述对双向预测的考虑。

关于这些技术，虽然在块级别考虑了加权参数，从而更好地处理局部亮度变化，但是这种方法没有特别考虑到双向预测运动补偿、以及如何对这些参数进行有效编码。这些文章主要关注在附加地使用亮度变换而不仅仅是平移预测时，对于改善预测的均方误差方面的潜在优势，而较少关注对这些参数的编码。

ITU-H.264(或JVT，ISO MPEG4 AVC)视频压缩标准采用了特定的加权预测工具，这些工具可以利用时间上的亮度变换，并提高性能。H.264视频编码标准是将加权预测(WP)应用于运动补偿预测的第一个视频压缩标准。

运动补偿预测可以考虑多幅参考画面，其中参考画面索引编码为指示多幅参考画面中的哪一幅在被使用。在P画面(或P片(slice))中，只使用单向预测，并且在列表0中管理允许的参考画面。在B画面(或B片)中，管理两个分离的参考画面列表，列表0和列表1。在B画面(或B片)中，允许使用列表0或列表1的单向预测、或者使用列表0和列表1的双向预测。当使用双向预测时，将列表0和列表1预测符(predictor)平均在一起，以形成最终预测器。H.264加权预测工具允许在P和B画面中将任意乘法加权因子和加性偏移应用于参考画面预测。在P和SP片的序列参数集中指示对加权预测的使用。有两种加权预测模式：在P、SP和B片中支持的显示模式；以及只在B片中支持的隐式模式。

在显示模式中，将加权预测参数编码在片首部。可以针对P片列表0以及B片列表0和列表1中的每一幅允许的参考画面，对关于每个颜色分量的乘法加权因子和加性偏移进行编码。但是，这种语法也允许相同画面中的不同块利用不同的加权因子，即使它们是根据同一参考画面存储而预测的。通过使用重排序命令，将多于一个的参考画面索引与特定参考画面存储相关联，可以实现上述方法。

与双向预测相组合地使用用于单向预测的相同加权参数。根据使用的预测类型，针对每个宏块或宏块分区的采样，形成最终的帧间预测。对于根据列表0的单向预测，

SampleP＝Clip1(((SampleP₀·W₀+2^LWD-1)＞＞LWD)+O₀) (1)

对于根据列表1的单向预测，

SampleP＝Clip1(((SampleP₁·W₁+2^LWD-1)＞＞LWD)+O₁) (2)

对于双向预测，

SampleP＝Clip1(((SampleP₀·W₀+SampleP₁·W₁+2^LWD) (3)

＞＞(LWD+1))+(O₀+O₁+1)＞＞1)

其中Clip1( )是在范围[0，1＜＜SampleBitDepth-1]内剪切采样值的运算符，SampleBitDepth是与当前采样低功率的比特数目，W₀和O₀是与列表0中的当前参考画面相关联的加权因子和偏移，W₁和O₁是与列表1中的当前参考画面相关联的加权因子和偏移，LWD是对数权重分母取整因子，其实质上起到加权因子量化器的作用。SampleP₀和SampleP₁是列表0和列表1初始预测器采样，而SampleP是最终的加权预测采样。

在隐式加权预测模式中，加权因子并不显式地在片首部中传输，而是根据当前画面与其参考画面之间的相对距离而导出的。该模式仅用于B片中经过双向预测编码的宏块和宏块分区，包括那些使用直接模式的。使用在上述显示模式部分中给出的针对双向预测的相同公式，不同之处在于偏移值O₀和O₁等于0，并且使用如下公式导出加权因子W₀和W₁：

X＝(16384+(TD_D＞＞1))/TD_D

Z＝clip3(-1024，1023，(TD_B·X+32)＞＞6)

W₁＝Z＞＞2，W₀＝64-W₁ (4)

这是W₁＝(64*TD_D)/TD_B的无除法的16比特安全运算实现方式，其中TD_D和TD_B分别是在范围[-128，127]内剪切的、相对于列表0参考画面的、列表1参考画面与当前画面之间的时间距离。

虽然H.264视频编码标准能够将多个权重用于运动补偿，但是这种使用在很大程度上受到如下事实的限制：对于每个列表，该标准只允许在片级别上指示16个可能的参考画面。即使这种限制不起作用，如果难以指示画面编码必需的所有可能加权参数，这也可能效率很低。注意，在H.264中，对每幅参考画面的加权参数独立编码，无需考虑预测机制，但是用于指示参考画面索引的附加开销也可能很大。因此，对于全局而非局部亮度变化，H.264和Kamikura，et al.，“GlobalBrightness-Variation Compensation for Video Coding，”IEEE Trans onCSVT，vol.8，pp.988-1000，Dec.1998中公开的方法更加适合。换言之，这些工具倾向于相对全局亮度变化而工作良好，但是由于某些限制，在存在较多局部亮度变化的情况下只能取得很少的优势。

发明内容

描述了一种编码和/或解码方法和装置。在一个实施例中，该编码方法包括产生针对多假设分区的加权参数，变换所述加权参数，并对变换的加权参数进行编码。

附图说明

根据如下对本发明多个实施例的详细描述和附图，本发明将得到更好的理解，但是，这并不是要将本发明局限在特定实施例，而只是为了说明和理解之用。

图1A示出了P画面中运动补偿的示例。

图1B示出了B画面中运动补偿的示例。

图2是编码过程的一个实施例的流程图。

图3是解码过程的一个实施例的流程图。

图4示出了针对双向预测运动信息的具有父子关系的树。

图5示出了具有可编码的节点信息的另一种树。

图6是编码器的一个实施例的框图。

图7是解码器的一个实施例的框图。

图8是加权参数的表征与真实值之间的关系示例。

图9示出了联合使用全局和局部加权的过程的一个流程图实施例。

图10示出了针对使用双向预测对帧进行编码的加权参数的变换过程。

图11示出了在多假设情况下针对加权参数的过程。

图12示出了针对保真度可控的双向预测的加权参数的变换过程。

图13是可以执行在此所述的一种或多种操作的示例计算机系统的框图。

具体实施方式

公开了一种对视频编码构架的双向预测(或多重预测)分区内的加权参数进行编码的有效编码方案。该方案提高了视频编码系统的性能，可以用于处理局部亮度变化。该编码方案包括对于经运动补偿预测的每个块的、与每幅参考画面相关联的加权参数对之间的变换过程。该变换过程向加权参数应用变换。在一个实施例中，使用预测方法向每个块指示变换的加权参数，并使用零树编码结构对变换的加权参数进行编码。这降低了对这些参数进行编码所需的开销。虽然这里所述的方法主要针对双向预测分区，但是一些构思同样可以适用于单向预测分区。

在一个实施例中，使用单向预测和双向预测分区之间的交互，以进一步提高效率。特别考虑到双向预测画面或片，其中根据不同列表或两个列表来预测块。

在一个实施例中，通过组合和考虑全局和局部加权参数，进一步扩展了该编码方案。也可选地考虑到了在序列、画面或片级别上传输的附加的加权参数。

在另一实施例中，也考虑到这种参数的可变粒度动态范围。这些加权参数是可细微调整的，这在编码效率方面提供了额外的益处。

在以下描述中，给出了多种细节，以更加全面透彻地说明本发明。但是，对于本领域技术人员来说，显而易见的是在没有这些特定细节的情况下也可以实施本发明。在其他示例中，以框图形式而不是具体地示出了公知结构和设备，以避免使本发明不清楚。

如下一部分详细描述的呈现形式是算法和对计算机存储器内的数据比特的操作的符号表征。这些算法描述和表征是数据处理领域的技术人员使用的手段，以向本领域其他技术人员最有效地传达他们工作的实质。这里所用的算法一般的概念是用于获得期望结果的自相容的步骤序列。这些步骤要求对物理量进行物理操作。通常，虽然不是必要的，但是这些量采用电或磁信号的形式，这些信号是可以存储、传送、组合、比较和处理的。已证实了有时主要由于共同使用的原因，将这些信号称作比特、值、元素、符号、字符、术语、数字等是很方便的。

然而，应该注意，所有这些和类似的术语是与适当的物理量相关联的，并且仅仅是应用于这些量的方便标签。除非特别指出或从如下论述中明显可见，否则在整个描述中，使用“处理”、“计算”、“计算”、“确定”或“显示”等术语的论述指的是计算机或类似电子计算设备的动作和过程，该计算机或类似电子计算设备将计算机系统寄存器和存储器内表示为物理(电子)量的数据处理和变换为计算机系统存储器或寄存器、其他此类信息存储、传输或显示设备内类似表示的物理量。

本发明还涉及用于执行这里所述操作的装置。该装置可以是为了所需目的而特别构造的，也可以包括通用计算机，该通用计算机由其中存储的计算机程序选择性地激活或重新配置。这种计算机程序可以存储在计算机可读存储介质中，例如但不限于包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或适于存储电子指令并各自与计算机系统总线连接的任何类型的介质。

这里所示的算法和显示内容不是与任何特定计算机或其他装置固有相关的。根据本发明教义，多种通用系统可以与程序联合使用，或者更方便的是构造更加专用的装置来执行所需的方法步骤。多种系统的所需结构将从如下描述中显而易见。此外，本发明并不是参照任何特定编程语言来描述的。将理解，可以使用多种编程语言来实现这里所述的本发明教义。

机器可读介质包括以机器(例如，计算机)可读形式存储或传输信息的任何机构。例如，机器可读介质包括只读存储(“ROM”)；随机存取存储器(“RAM”)；磁盘存储介质；光存储介质；闪存器件；电、光、声或其他形似传输的信号(例如，载波、红外信号、数字信号等)；等等。

总论

本发明实施例包括使用运动补偿的编码方案，其中运动补偿包括加权预测。与关联与预测的偏移一起，将与该预测相关联的加权参数变换并编码。解码过程是编码过程的逆过程。

图2是编码过程的一个实施例的流程图。该过程是由处理逻辑来执行的，所述处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)或两者的组合。

参照图2，该过程开始于由处理逻辑产生针对多假设分区(例如，双向预测分区)的加权参数，作为执行运动估计的一部分(处理块201)。在一个实施例中，加权参数包括针对帧的每个分区(块)的、至少一对要编码的加权参数集。在一个实施例中，多对变换加权参数的权重加起来等于常数。在一个实施例中，针对帧的至少两个分区使用不同的加权因子。在一个实施例中，加权参数对局部亮度变化进行补偿。

在一个实施例中，加权后的预测参数具有可变的保真度级别。该可变保真度级别预先定义或指示为比特流的一部分，该比特流包括变换加权参数的编码表征。在一个实施例中，一组加权参数具有比其他组的加权参数高的保真度。

接下来，处理逻辑向加权参数应用变换，以产生变换加权参数(处理块202)。在一个实施例中，对加权参数进行变换包括向与每幅参考画面相关联的至少两个加权参数应用变换。在一个实施例中，对加权参数进行变换包括满足如下公式的变换：

B_wQ₀＝wQ₀+wQ₁

B_wQ₁＝wQ₀-((wQ₀+wQ₁)＞＞1)

其中wQ₀和wQ₁是量化后的加权参数，B_wQ₀和B_wQ₁是wQ₀和wQ₁的变换版本。

在向加权参数应用变换之后，处理逻辑对变换加权参数和偏移进行编码(处理块203)。在一个实施例中，使用变长编码，将变换加权参数和至少一个偏移编码。该变长编码可以使用零树编码结构。变长编码可以包括哈夫曼编码或算术编码。

在一个实施例中，对变换加权参数进行编码包括，使用基于包含相邻分区的变换系数或预定加权参数的组中的一个的预测，来进行差分编码。当对于预测而言没有相邻分区存在时，使用预定加权参数。预测加权参数可以是缺省加权参数或全局传输(global tranmitted)的加权参数。

图3是解码过程的一个实施例的流程图。在一个实施例中，该解码过程用于对作为图2编码过程的一部分而编码的信息进行解码。该过程由处理逻辑执行，所述处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)或两者的组合。

参照图3，该过程开始于由处理逻辑使用变长解码对比特流进行解码，以得到包括有针对多假设分区(例如，双向预测分区)的变换加权参数的解码数据(处理块301)。变长解码可以包括哈夫曼编码或算术编码。

在变长解码之后，处理逻辑向变换加权参数应用逆变换(处理块302)。在一个实施例中，逆变换加权参数包括与参考画面相关联的至少两个加权参数。

然后，处理逻辑使用运动补偿并结合逆变换加权参数，重建帧数据(处理块303)。

加权预测具体过程

在对包括淡入淡出、匀滑转换/渐隐和闪烁、阴影改变等简单亮度变化等的视频数据进行编码时，加权预测十分有用。另一方面，双向预测(以及一般而言的多假设(multi-hypothesis)预测)进行如下假设：对于给定信号，通过使用简单的加权机制来组合多个预测，可以产生更佳的预测。常规的双向预测倾向于对所有预测使用相等的权重(即，1/2)。在一个实施例中，例如，由于时间距离、量化或每个信号内引入/存在的其他噪声，一个信号比另一个更加相关。为了对时间t在位置(x，y)处的采样I(x，y，t)执行加权的双向预测，使用如下公式：I(x，y，t)＝weight₀·I(x+dx₀，y+dy₀，t₀)+weight₁·I(x+dx₁，y+dy₁，t₁)+offset (5)

其中weight_k，dx_k，dy_k和t_k是与来自列表k的预测相对应的权重、水平和垂直位移、以及时间，offset是偏移参数。在一个实施例中，对于隐式加权预测，选择权重，以使

weight₀+weight₁＝c (6)

其中c是常数。在一个实施例中，常数c等于1。这基本上也可以看作是计算所有预测采样之间的加权平均。

上述两个双向预测权重之间的关系在大多数情况下是成立的，即，对于不存在亮度变化或匀滑转换的常规内容是成立的。

在一个实施例中，使用N比特量化的参数wQ₀和wQ₁，而不是参数weight₀和weight₁。在一个实施例中，N是6比特。使用这种替换，上述公式5相当于：

I(x，y，t)＝((wQ₀·I(x+dx₀，y+dy₀，t₀)+wQ₁·I(x+dx₁，y+dy₁，t₁)+(1＜＜(N-1)))＞＞N)(7)

其中＜＜表示左位移运算符，＞＞表示右位移运算符。

然后，两个新参数，即变换量化参数B_wQ₀和B_wQ₁以及它们与量化参数的关系如下：

wQ₀＝(B_wQ₀＞＞1)+B_wQ₁

wQ₁＝((B_wQ₀+1)＞＞1)-B_wQ₁＝B_wQ₀-wQ₀ (8)

B_wQ₀＝wQ₀+wQ₁

B_wQ₁＝B_wQ₀-((wQ₀+wQ₁)＞＞1) (9)

考虑公式6中的关系对于大多数块/分区是成立的，在一个实施例中，可以将B_wQ₀进一步修改为

B_wQ₀＝wQ₀+wQ₁-(1＜＜N)

最终得到公式：

wQ₀＝((B_wQ₀+(1＜＜N)＞＞1)+B_wQ₁ (10)

wQ₁＝B_wQ₀+(1＜＜N)-wQ₀

在备选实施例中，使用差分编码，1＜＜N用作B_wQ₀的缺省预测符。

在一个实施例中，对参数B_wQ₀和B_wQ₁本身进行编码。在另一实施例中，考虑到B_wQ₀和B_wQ₁相对于相邻双向预测分区的值，对参数B_wQ₀和B_wQ₁进行差分编码。如果这种分区不存在，则使用缺省值dB_wQ₀和dB_wQ₁(例如，两个值均设为0)来预测参数。

图10示出了使用双向预测对帧进行编码的加权参数的变换过程。参照图10，变换1001接收量化加权参数wQ₀和wQ₁，并分别产生变换加权参数B_wQ₀和B_wQ₁。使用变长编码器1002对这些变换加权参数连同偏移一起进行变长编码。之后，将编码加权参数作为比特流的一部分发送至解码器。变长解码器1103对比特流连同偏移一起进行解码，产生变换加权参数B_wQ₀和B_wQ₁。逆变换1004对变换加权参数进行逆变换，以产生加权参数的量化版本wQ₀和wQ₁。乘法器1006将加权参数wQ₀与运动补偿采样x₀相乘，产生输入至加法器1007的输出。乘法器1005将加权参数wQ₁与运动补偿采样x₁相乘。使用加法器1007将来自乘法器1005的结果与乘法器1006的输出和2^N-1相加。除法器1008将加法器1007的输出除以2^N。使用加法器1009将除法结果与偏移相加，产生预测采样x’。

注意，本发明不限于双向预测情况，而同样适用于其中采用了M个不同假设的多假设情况。同样，假定M个假设权重之间的最可能关系具有

Σ_{i = 0}^{M - 1} {weight}_{i} = c

的形式，在一个实施例中，将原始加权参数变换为如下格式：

B_w Q_{0} = Σ_{i = 0}^{M - 1} w Q_{i}

B_w Q_{k} = w Q_{k - 1} - (\frac{B_w Q_{0}}{M})

for k＝1，...M-1 (11)

同时最终加权参数产生为：

w Q_{k} = \frac{B_w Q_{0}}{M} + B_w Q_{k + 1}

for k＝0，...M-2 (12)

w Q_{M - 1} = B_w Q_{0} - Σ_{i = 0}^{i = M - 2} w Q_{1}

图11示出了对多假设情况下的参数进行加权的过程。参照图11，图11示出了与图10所示相同的设置，不同之处在于变换1101对两个或更多加权参数的集合进行变换，变长编码器1102对量化加权参数集合连同对于每个集合的一个偏移进行编码。对于解码，变长解码器1103对比特流进行解码，产生变换加权参数集合。由逆变换1104对每个变换加权参数集合进行逆变换，并以图10中的相同方式将其输出组合，产生预测采样x’。加法器1107将所有量化加权参数的所有乘法结果相加。

一般而言，同一画面或片可以具有双向预测和单向预测分区的组合。具体而言，双向预测分区可以具有使用列表0或列表1预测的单向预测相邻分区，或者甚至是使用列表X(其中X可以是0或1)的单向预测分区，该单向预测分区具有使用不同列表的相邻分区。虽然双向预测分区内的运动矢量可能仍然与单向预测分区的运动矢量相关，但是对于不同列表的运动矢量以及使用不同假设数目的权重参数来说，这种情况发生的可能性很小(即，来自双向预测分区的权重与来自单向预测分区的权重之间几乎没有关系，来自使用列表0的单向预测分区的权重和运动矢量与来自使用列表1的另一分区的这些参数之间几乎没有关系)。在一个实施例中，来自给定预测模式(列表0、列表1和双向预测)的所有权重仅限于在相同模式下从相邻分区中预测。在一个实施例中，如果当前分区是双向预测分区，则所有R个相邻分区(Neigh₀，Neigh₁，...Neig_hR)也是双向预测的，加权参数B_wQ_k预测如下：

B_wQ_k＝f(Neigh₀，...，Neigh_R，k)+dB_wQ_k (13)

其中f( )与用于确定第k个加权参数的预测的关系相对应。在一个实施例中，例如，用于f的函数是所有预测符的中值。

在备选实施例中，诸如均值等函数只考虑到基于所使用的参考帧的上或左相邻分区，或者/以及预定成本等。但是，如果Neigh_J采用不同的预测类型，则可以从该预测过程中将其排除。在一个实施例中，如果没有预测可用，则如上所述，可以使用缺省值作为预测符。

在一个实施例中，在预测之后，采用零树编码对加权参数(广义上讲，对块的运动参数)进行更加有效的编码，图4和5表示带有可编码的节点信息的两个可能树。参照图4，示出了用于双向预测运动信息编码的父子关系示例。在该示例中，根据列表分割节点，列表0的水平和垂直运动矢量位移差具有共同的父节点，列表1的水平和垂直运动矢量位移差具有共同的父节点。在图5中，根据运动矢量分量分割运动。在这种情况下，列表0和列表1的水平运动矢量位移差具有共同的父节点，而列表0和列表1的垂直运动矢量位移差具有共同的父节点。

可以使用2005年6月29日提交的美国专利申请No.11/172,052“Method and Apparatus for Coding Positions of Coefficients”中描述的树编码(例如，零树编码)，对图4和5所示的包含节点类型数据和叶子索引数据的树进行编码。

但是，对于给定预测类型的缺省值不必是固定的。在一个实施例中，使用全局/缺省参数集合，并对其编码，例如H.264显式模式中使用的那些，或者使用与H.264隐式模式类似的机制来导出这些参数。可以在画面或片级别上信号通知该方法或参数。

图9是联合使用全局和局部加权的过程的一个实施例流程图。该过程由处理逻辑执行，所述处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如在通用计算机系统或专用机器上运行的)或两者的组合。

参照图9，该过程开始于设定缺省加权参数(过程块901)。在这种情况下，存在针对列表0、列表1和双向预测的缺省缩放和偏移参数。对于列表0，缺省加权参数是{DScale_L0，DOffset_L0}。对于列表1，缺省加权参数是{DScale_L1，DOffset_L1}。对于双向预测，缺省加权参数是{DScale_{Bi_L0}，DScale_{Bi_L1}，DOffset}。

然后，对于帧内的每个块，继续该过程，其中处理逻辑测试该块是否是双向预测块(处理块903)。如果是，则处理逻辑转换到处理块904，在此处理逻辑测试是否存在可用的双向预测预测符。如果存在，则处理逻辑使用函数f_bipred(Neigh₀....Neigh₁)和相邻分区，计算加权参数预测符(处理块905)，处理前进到处理块914。如果没有可用的双向预测预测符，则处理逻辑设定加权参数为缺省的{DScale_{Bi_L0}，DScale_{Bi_L1}，DOffset}(处理块906)，处理过渡到处理块914。

如果帧内的块未经过双向预测，则处理过渡到处理块907，在此处理逻辑测试该块列表是否是列表0。如果是，则处理逻辑转换到处理块908，在此处理逻辑测试是否存在可用的列表0预测预测符。如果存在，则处理逻辑使用相邻分区f_L0(Neigh₀....Neigh₁)计算加权参数预测符(处理块909)，处理前进到处理块914。如果没有可用的列表0预测符，则处理逻辑设定加权参数为缺省的{DScale_L0，DOffset_L0}(处理块910)，处理过渡到处理块914。

如果该块未经过使用列表0的预测，则处理过渡到处理块911，在此处理逻辑测试是否存在可用的列表1预测预测符。如果存在，则处理逻辑使用相邻分区f_L0(Neigh₀....Neigh₁)计算加权参数预测符(处理块912)，处理前进到处理块914。如果没有可用的列表1预测符，则处理逻辑设定加权参数为缺省的{DScale_L1，DOffset_L1}(处理块913)，处理过渡到处理块914。

在处理块914中，处理逻辑对加权参数进行解码。然后，将加权参数预测符与加权参数相加(处理块915)。对帧内的每个块重复该过程，当已处理了帧内的每个块时，该过程结束。

基于上述讨论，可以对双向预测和单向预测分区使用分离的缺省权重，同时可用使用Kamikura，et al.，“Global Brightness-VariationCompensation for Video Coding，”IEEE Trans on CSVT，vol.8，pp.988-1000，Dec.1998 and J.Boyce，“Weighted prediction in theH.264/MPEG4 AVC video coding standard”，ISCAS，pp.789-792，May2004中公开的类似方法来估计这些参数。表1示出了可用于此目的的预测权重表语法的矢量。在该表中可见，对于单向预测和双向预测区域，可以分离地指示全局权重。

表1提议的预测权重表语法

pred_weight_table( ){	C	描述符
			//！单向预测加权参数的动态范围
luma_log2_weight_denom	2	ue(v)
			chroma_log2_weight_denom	2	ue(v)
//！指示列表0的单向预测权重
			for(i＝0；i＜＝num_ref_idx_10_active_minus1；i++){
luma_weight_10_flag	2	u(l)
			if(luma_weight_10_flag){

luma_weight_10[i]	2	se(v)
			luma_offset_10[ i]	2	se(v)
}
			chroma_weight_10_flag	2	u(l)
if(chroma_weight_10_flag)
			for(j＝0；j＜2；j++){
chroma_weight_10[i][j]	2	se(v)
			chroma_offset_10[i][j]	2	se(v)
}
			}
if(slice_type＝＝B){
			use_separate_bipred_weights	2	u(l)
//！指示列表1的单向预测权重
			for(I＝0；i＜＝num_ref_idx_l1_active_minus1；i++){
luma_weight_l1_flag	2	u(l)
			if(luma_weight_l1_flag){
luma_weight_l1[ i]	2	se(v)
			luma_offset_l1[i]	2	se(v)
}
			chroma_weight_l1_flag	2	u(l)

if(chroma_weight_l1_flag)
			for(j＝0；j＜2；j++){
chroma_weight_l1[i][j]	2	se(v)
			chroma_offset_l1[i][j]	2	se(v)
}
			}
//！在需要时指示双向预测权重
			if(use_separate_bipred_weights){
//！双向预测加权参数的动态范围
			luma_bipred_log2_weight_denom	2	ue(v)
chroma_bipred_log2_weight_denom	2	ue(v)
			for(j＝0；j＜＝num_ref_idx_l0_active_minus1；j++){
luma_bipred_weight_type	2	ue(v)
			chroma_bipred_weight_type	2	ue(v)
for(i＝0；i＜＝

num_ref_idx_l1_active_minus1；i++){
			if(luma_bipred_weight_type＝＝3){
luma_bipred_weight_10[j][I]	2	se(v)
			luma_bipred_weight_l1[j][I]	2	se(v)
luma_bipred_offset[j][i]	2	se(v)

}
			if(chroma_bipred_weight_type＝＝3)
for(k＝0；k＜2；k++){
			chroma_bipred_weight_10[j][i][k]	2	se(v)
chroma_bipred_weight_l1[i][k]	2	se(v)
			chroma_bipred_offset[j][i][k]	2	se(v)
}
			}
}
			}
}
			}

此外，双向预测权重可以具有不同动态范围，参数luma_bipred_weight_type和chroma_bipred_weight_type用于控制导出权重所要使用的方法。具体而言，对于luma，如果luma_bipred_weight_type设为0，则使用缺省权重1/2。如果是1，则使用隐式模式，如果是2，则使用单向预测权重，而不是当前H.264显式模式中所进行的。最后，如果是3，则在首部内显式地传输加权参数。

虽然加权和偏移参数的保真度可以是固定的，即，将加权参数均匀地量化到N比特，但是非均匀量化可能更加有效并适合更好地处理帧内的不同变化。在一个实施例中，对较小的加权或偏移参数使用更精细的保真度，而对于较大参数，增大该保真度。

一般而言，考虑使用如下等式，对参数qw_k进行编码，参数qw_k提供了至加权参数B_wQ_k，wQ_k，甚至是差分值dB_wQ_k的映射：

B_wQ_k＝g(qw_k) with qw_k＝-(1＜＜(N-1))，...，(1＜＜(N-1))-1 (14)

可以使用的一些可能的函数如下：

g(x)＝x²， (15)

g(x)＝(a·x)²+b·x+c，其中a，b，c是常数

(17)

g (x) = Σ_{i = 0}^{M} {(c_{n} \cdot x)}^{n},

M和c_n是常数 (18)

g(x)＝x+(x＞＞2)²， (19)

g(x)＝a^(x+b)+c，其中a，b，c是常数 (20)

等式17(或更通用的等式18)表示的函数允许在表示加权参数的保真度方面提高灵活性。也要注意，运算a·x不仅可以指示乘法，也可以指示整数或浮点除法(即，假设a小于1)。图8是加权参数的表征与真实值之间的关系的示例。

在一个实施例中，通过执行帧或序列的预分析、产生加权产生的分布、以及用g(x)对该分布进行近似(即，使用多项式近似)，来确定参数。

图12示出了保真度受控的用于双向预测的加权参数的变换过程。参照图12，该过程与图10中的相同，不同的是从变换1001中输出的每个变换加权参数连同偏移一起并不是直接输入至变长编码器1002，而是将它们输入函数，并将函数的输出输入至变长编码器1002。更具体地，将变换加权参数B_wQ₀输入到函数g₀(x)中，以产生x₀。更具体地，将变换加权参数B_wQ₁输入到函数g₁(x)中，以产生x₁(1202)。也将偏移输入至函数g₀(x)，以产生x₂(1203)。

类似地，解码器1003的输出x₀、x₁和x₂输入函数g₀ ^-1(x)(1204)，g₁ ^-1(x)(1205)和g₀ ^-1(x)(1206)，这产生偏移的变换加权参数，之后，采用与图10所示的方式相同的方式对这些参数进行处理。

编码器和解码器的示例

图6是编码器的一个实施例的框图。在一个实施例中，编码器首先将进入的比特流划分为矩形阵列，这称作宏块。对于每个宏块，编码器选择是使用帧内还是帧间编码。帧内编码只使用当前视频帧中包含的信息，并产生称作I帧的压缩结果。帧间编码可以使用当前帧之前或之后出现的一个或多个其他帧的信息。仅使用来自在前帧的数据的压缩结果称作P帧，而使用来自当前帧之前和之后帧的数据的压缩结果称作B帧。

参照图6，视频601输入编码器。在对帧编码而无运动补偿的情况下，将视频帧输入到DCT 603中。DCT 603执行2D离散余弦变换(DCT)，产生DCT系数。量化器604对这些系数进行量化。在一个实施例中，用缩放器对量化器604执行的量化进行加权。在一个实施例中，量化器缩放器参数QP采用从1到31的值。可以在画面和宏块级别上修改QP值。

之后，量化的系数在VLC 605处受到变长编码，产生比特流620。在一个实施例中，VLC 605使用哈夫曼编码或算术编码，执行熵编码。

注意，在一个实施例中，在VLC 605之前，可以执行重排序，其中对量化的DCT系数进行之字形(zigzag)扫描，从而以本领域公知的方式将2D系数阵列转换为1D系数阵列。之后，可以进行行程(runlength)编码，在行程编码中，将对应于每个块的重排序量化系数阵列编码，以更好地表示零系数。在这种情况下，将每个非零系数编码为三元组(last，run，level)，其中“last”指示是否是块中的最末非零系数，“run”指示连续的0系数，“level”指示系数符号和大小。

可以保存帧的拷贝，以用作参考帧。对于I或P帧尤其如此。为此，逆量化器606对从量化器604中输出的量化系数进行逆量化。使用IDCT 607向逆量化系数应用DCT逆变换。对于P帧，将产生的帧数据与来自运动补偿(MC)单元609的运动补偿预测相加，然后使用环形滤波器612对产生的帧进行滤波，并将其存储在帧缓冲器611中，以用作参考帧。在I帧的情况下，从IDCT 607输出的数据不与来自MC单元609的运动补偿预测相加，而使用环形滤波器612对其进行滤波，并存储在帧缓冲器611中。

在P帧情况下，用根据前一I或P帧的帧间预测对P帧进行编码，这里的前一I或P帧在本领域中通常称作参考帧。在这种情况下，由运动估计(ME)块610和运动补偿单元609执行帧间预测。在这种情况下，使用来自帧存储器611的参考帧和输入视频601，运动估计单元610在参考帧中搜索与当前帧中的当前宏块匹配最好的区域的位置。如上所述，这不仅包括确定位移，还包括确定加权参数(WP)和偏移。当前宏块与参考帧中的补偿区域之间的位移连同加权参数和偏移一起称作运动矢量。将运动估计单元610的运动矢量发送至运动补偿单元609。在运动补偿单元609中，使用减法器602从当前宏块中减去预测，以产生残差宏块。然后如上所述，使用DCT603、量化器604和VLC 605对残差进行编码。

运动估计单元610向进行变长编码的VLC 605输出加权参数。VLC 605的输出是比特流620。

图7是解码器的一个实施例的框图。参照图7，比特流701由执行变长解码的变长解码器702接收。变长解码的输出发送至逆量化器703，逆量化器703执行与量化器604执行的量化相反的逆量化操作。逆量化器703的输出包括由IDCT 704进行逆变换的系数，以产生图像数据。在I帧情况下，IDCT 704的输出经过环形滤波器721简单滤波，存储在帧缓冲器722中，并最终作为输出760输出。在P帧情况下，使用加法器705将来自IDCT 704的图像数据与来自运动补偿单元710的预测相加。运动补偿单元710使用来自变长解码器722的输出(包括上述加权参数)和来自帧缓冲器722的参考帧。使用环形滤波器721对从加法器705输出的所得图像数据进行滤波，并将其存储在帧缓冲器722中，以最终作为输出760的一部分而输出。

因此，如上所述，本发明实施例允许改进双向预测分区的加权参数的表征，并在存在亮度变换或/和匀滑转换时提高编码效率(即，对于给定比特率，提高PSNR)。

计算机系统示例

图13是可以执行在此所述的操作之一或多个操作的范例计算机系统的框图。参照图13，计算机系统1300可以包括范例客户或服务器计算机系统。计算机系统1300包括用于通信信息的通信机构或总线1311、以及与总线1311相连并用于处理信息的处理器1312。处理器1312包括微处理器，但是不限于微处理器，例如Pentium^TM，PowerPC^TM，Alpha^TM等。

系统1300还包括随机存取存储器(RAM)或其他动态存储器件1304(称作主存储器)，它们与总线1311连接，用于存储信息和由处理器1312执行的指令。主存储器1304也可以用于存储处理器1312执行指令过程中的临时变量或其他中间信息。

计算机系统1300也包括只读存储器(ROM)和/或其他静态存储器件1306，它们与总线1311连接，用于存储静态信息和处理器1312的指令。计算机系统1300还包括磁盘或光盘等数据存储器件1307及其相应盘驱动。数据存储器件1307与总线1311连接，用于存储信息和指令。

计算机系统1300还可以与阴极射线管(CRT)或液晶显示器(LCD)等显示设备1321连接，该显示设备1321与总线1311连接，用于向计算机用户显示信息。包括字母数字和其他按键的字母数字输入设备1322也可以与总线1311连接，以向处理器1312通信信息和命令选择。其他用户输入设备是鼠标、跟踪球、轨迹垫、铁笔或光标方向按键等光标控制器1323，与总线1311连接，以向处理器1312通信方向信息和命令选择，以及控制显示器1321上的光标移动。

可以与总线1311连接的另一设备是硬拷贝设备1324，可以用于在纸张、底片或相似类型的介质上标记信息。可以与总线1311连接的另一设备是有线/无线通信功能设备1325，用于与电话或手持掌上设备进行通信。

注意，在本发明中可以使用系统1300的组件及相关硬件中的任何或全部。但是，可以理解，其他计算机系统配置可以包括这些设备中的一些或全部。

在阅读以上描述之后，本发明的多种备选和修改对于本领域普通技术人员来讲无疑是显而易见的。要理解，所示和所述的任何特定实施例并不是限制性的。因此，对多个实施例的具体细节的参照不是要限制权利要求的范围，这些权利要求本身仅引述了本发明的必要技术特征。

Claims

1.一种编码方法，包括：

产生针对多假设分区的加权参数，其中每个多假设分区通过由M个加权参数加权的M个参考分区来预测，M至少为2；

将所述M个加权参数变换为M个变换后加权参数的序列，其中该序列中第一个变换后加权参数等于所述M个加权参数之和，且该序列中每一随后的变换后加权参数通过从所述M个加权参数之一中减去所述第一个变换后加权参数除以M得到的缩放版本来计算；以及

对该序列所述M个变换后加权参数进行编码。

2.如权利要求1所述的方法，还包括：将偏移和所述变换后加权参数一起编码。

3.如权利要求1所述的方法，其中所述加权参数包括针对正在被编码的帧的每个分区的加权参数集。

4.如权利要求1所述的方法，其中运动补偿预测对正在被编码的帧的至少两个分区使用不同的加权参数。

5.如权利要求1所述的方法，其中所述多假设分区包括双向预测分区。

6.如权利要求1所述的方法，其中对所述加权参数进行变换包括：应用满足如下等式的变换：

B_wQ₀＝wQ₀+wQ₁

B_wQ₁＝wQ₀-((wQ₀+wQ₁)＞＞1)

其中wQ₀和wQ₁是量化的加权参数，B_wQ₀和B_wQ₁是wQ₀和wQ₁的变换版本。

7.如权利要求2所述的方法，其中使用变长编码对变换后加权参数和偏移进行编码。

8.如权利要求7所述的方法，其中所述变长编码使用零树编码结构。

9.如权利要求1所述的方法，其中对变换后加权参数进行编码包括：使用基于包括相邻分区的变换系数或预定加权参数的组中的一种的预测，进行差分编码。

10.如权利要求9所述的方法，其中当不存在相邻分区时使用预定加权参数。

11.如权利要求9所述的方法，其中预定加权参数是全局传输的加权参数。

12.如权利要求9所述的方法，其中加权参数具有可变保真度。

13.一种编码器，包括：

运动估计单元，用于产生针对多假设分区的加权参数，作为执行运动补偿预测的一部分，其中每个多假设分区通过由M个加权参数加权的M个参考分区来预测，M至少为2；

变换单元，用于将所述M个加权参数变换为M个变换后加权参数的序列，其中该序列中第一个变换后加权参数等于所述M个加权参数之和，且该序列中每一随后的变换后加权参数通过从所述M个加权参数之一中减去所述第一个变换后加权参数除以M得到的缩放版本来计算；以及

编码单元，用于对该序列所述M个变换后加权参数进行编码。

14.如权利要求13所述的编码器，其中所述编码单元将偏移和所述变换后加权参数一起编码。

15.如权利要求13所述的编码器，其中所述加权参数包括针对正在被编码的帧的每个分区的加权参数集的至少一对。

16.如权利要求13所述的编码器，其中所述多假设分区包括双向预测分区。

17.如权利要求13所述的编码器，其中对所述加权参数进行变换包括：应用满足如下等式的变换：

B_wQ₀＝wQ₀+wQ₁

B_wQ₁＝wQ₀-((wQ₀+wQ₁)＞＞1)

18.如权利要求13所述的编码器，其中使用变长编码对变换后加权参数和偏移进行编码。

19.如权利要求18所述的编码器，其中所述变长编码使用零树编码结构。

20.如权利要求13所述的编码器，其中对变换后加权参数进行编码包括：使用基于相邻分区的变换系数的预测，进行差分编码。

21.如权利要求13所述的编码器，其中对变换后加权参数进行编码包括：使用基于相邻分区的变换系数或加权参数的预测，进行差分编码。

22.如权利要求21所述的编码器，其中当不存在用于预测的相邻分区时，使用预定加权参数。

23.如权利要求21所述的编码器，其中所述预定加权参数是包括缺省加权参数和全局传输的加权参数的组中的一种。

24.如权利要求21所述的编码器，其中加权预测参数具有可变保真度级别。

25.如权利要求24所述的编码器，其中所述可变保真度级别是预先定义的或作为比特流的一部分而指示的，所述比特流包括所述变换后加权参数的编码表征。

26.一种解码方法，包括：

使用变长解码，对比特流进行解码，以得到解码数据，所述解码数据包括针对多假设分区的M个变换后加权参数的序列，其中每个多假设分区通过由M个加权参数加权的M个参考分区来预测，M至少为2；

向该序列中所述M个变换后加权参数应用逆变换，以获得M个加权参数，其中该序列中第一个变换后加权参数等于所述M个加权参数之和，且该序列中每一随后的变换后加权参数通过从所述M个加权参数之一中减去所述第一个变换后加权参数除以M得到的缩放版本来计算；以及

结合所述M个加权参数，使用运动补偿，重建帧数据。

27.如权利要求26所述的方法，还包括将偏移和所述变换后加权参数对一起解码。

28.如权利要求26所述的方法，其中所述加权参数包括针对正在被解码的帧的每个分区的加权参数集的至少一对。

29.如权利要求26所述的方法，其中所述多假设分区包括双向预测分区。

30.如权利要求26所述的方法，其中通过应用满足如下等式的变换，产生所述变换后加权参数：

B_wQ₀＝wQ₀+wQ₁

B_wQ₁＝wQ₀-((wQ₀+wQ₁)＞＞1)

31.如权利要求26所述的方法，其中所述变长解码使用零树编码结构。

32.如权利要求26所述的方法，其中对变换后加权参数进行解码包括：使用基于包括相邻分区的逆变换系数或预定加权参数的组中的一种的预测，进行差分解码。

33.如权利要求32所述的方法，其中当不存在用于预测的相邻分区时，使用预定加权参数。

34.如权利要求32所述的方法，其中所述预定加权参数是包括缺省加权参数和全局传输的加权参数的组中的一种。

35.如权利要求32所述的方法，其中加权参数具有可变保真度级别。

36.一种解码器，包括：

变长解码器，用于使用变长解码，对比特流进行解码，以得到解码数据，所述解码数据包括针对多假设分区的M个变换后加权参数的序列，其中每个多假设分区通过由M个加权参数加权的M个参考分区来预测，M至少为2；

逆量化器，用于对所述解码数据的一部分执行逆量化运算，以产生系数；

第一逆变换单元，用于向所述系数应用第一逆变换，以产生图像数据；

第二逆变换单元，用于向该序列中所述M个变换后加权参数应用第二逆变换，以产生M个加权参数，其中该序列中第一个变换后加权参数等于所述M个加权参数之和，且该序列中每一随后的变换后加权参数通过从所述M个加权参数之一中减去所述第一个变换后加权参数除以M得到的缩放版本来计算；

运动补偿单元，用于使用至少一个运动矢量和所述M个加权参数，产生预测；以及

加法器，用于将所述预测与所述图像数据相加，以重建帧数据。

37.如权利要求36所述的解码器，其中所述加权参数包括针对正在被解码的帧的每个分区的加权参数集的至少一对。

38.如权利要求36所述的解码器，其中所述多假设分区包括双向预测分区。

39.如权利要求36所述的解码器，其中通过应用满足如下等式的变换，产生所述变换后加权参数：

B_wQ₀＝wQ₀+wQ₁

B_wQ₁＝wQ₀-((wQ₀+wQ₁)＞＞1)

40.如权利要求36所述的解码器，其中当不存在用于预测的相邻分区时，使用一个或更多个预定加权参数。

41.如权利要求36所述的解码器，其中加权参数具有可变保真度级别。