CN101491107A - 视频数据管理 - Google Patents

Abstract

本发明涉及通过混合模式对视频帧(10)的像素块(20)进行编码和解码，该混合模式牵涉到使用像素块(20)的第一预测和该像素块(20)的至少第二预测。使用系数修改量修改初始第一加权系数，以生成包括多个不同系数值的第一加权系数，这些系数值能够分配给第一预测的不同的基于像素的第一预测值。将第一加权系数应用于第一预测，并且将第二加权系数应用于第二块预测。然后将这至少两个加权预测组合起来，形成当前像素块(20)的混合预测。

Description

视频数据管理

技术领域

本发明总体上涉及视频数据管理，并且更加具体地涉及视频序列的编码和解码。

背景技术

像素或图像元素预测是诸如H.261、H.263、MPEG-4和H.264[1]之类的视频编码标准的重要部分。在H.264中，采用了三种像素预测方法，即帧内、帧间和双向预测。帧内预测根据当前帧的先前解码像素提供当前块的空间预测。帧间预测使用先前解码帧中相应但发生过位移的块给出当前块的时间预测。

可以为帧间预测使用多个参考画面，利用参考画面索引来表明使用的是多个参考画面中的哪一个。在P型帧间编码中，仅使用单向预测，并且在列表0中管理允许的参考画面。不过，在B型帧间编码中，管理两个参考画面列表，列表0和列表1。在这样的B型画面中，允许使用列表0或列表1进行单向预测，或者使用来自列表0的参考画面和来自列表1的另一个参考画面的平均值进行双向预测。

H.264中的加权预测在切片头部中提供针对各个双向预测的加权以及用于加权组合的DC偏移量。在帧间预测中使用加权系数的通式为：

P＝((w₀*P₀+w₁*P₁)>>Shift)+DC               (1)

其中P₀和w₀是列表0的初始预测符和加权系数，P₁和w₁是列表1的初始预测符和加权系数。DC代表每一帧基础上定义的偏移量，而Shift是移位系数。在双向预测的情况下，w₀＝w₁＝0.5。

文献[2]建议了混合帧内、帧间、双向编码模式，这种模式允许帧内和帧间预测组合在一起，来对宏块进行混合编码。在这种混合编码中，使用选定帧内和帧间预测的平均值或者帧内和帧间预测的不同加权组合。

发明内容

[2]中建议的混合编码本质上使用两个输入帧内和帧间预测的和或者使用切片专用的加权。这样，对用作帧间和/或帧内预测的切片的所有宏块中的所有像素应用相同的加权。这从图像质量的角度而言远不是最佳的。

本发明克服了现有技术方案的这些和其它缺点。

本发明的总体目的是提供一种高效的视频帧编码和解码。

本发明的另一个目的是提供一种牵涉到空间和/或时间预测的混合编码和解码。

由所附权利要求限定的本发明满足了这些和其它目的。

简要地讲，本发明涉及一种对视频序列中的图像元素组进行编码和解码的混合模式。该混合模式涉及使用图像元素组的至少两个预测和使用图像元素专用加权系数值，其中加权系数值代表预测值的相对不确定性。

为当前组提供初始第一加权系数。由系数修改量(factormodifier)修改这个初始第一加权系数，以生成包括多个不同系数值的第一加权系数，其将用于修改第一预测的图像元素值。该加权系数修改生成可以反映第一预测的图像元素值中的相对不确定性的加权系数。在优选实施方式中，这个第一预测是帧内预测。在这种情况下，因此可以为当前图像元素组中在空间上较为接近视频帧中的帧内预测的图像元素部分分配与当前组中空间上较远的图像元素相比较高的加权系数。经过修改的加权系数还可以具有为代表图像元素组中的高对比度对象(比如线和边缘)的图像元素位置给予较高加权的加权系数值。

还为混合模式下的第二组预测提供相应的第二加权系数。在解码中，将所生成的第一加权系数应用于第一预测并且将第二加权系数应用于第二组预测。然后根据这两个加权预测计算出图像元素组的解码版本。

第二预测可以是帧内预测、帧间预测或甚至构成多个不同的帧内和/或帧间预测。

本混合处理因此提供了一种组合了不同预测路径(比如空间和时间路径或多个不同的空间路径)的预测机制，以提高视频编码效率。该混合模式还能够实现为帧内预测刷新提供帧间预测，以提高误差复原(error resilience)。与现有的解决方案相比，帧内加权系数的图像元素或像素专用加权值从根本上提高了本发明的编码/解码质量。

附图说明

本发明连同它的其它目的和优点可以通过连同附图一起参考下面的描述得到最好的理解，其中：

图1是图解说明按照本发明的对视频序列帧的图像元素组进行解码的方法的流程图；

图2是更加详细地图解说明按照本发明的实施方式的图1中解码方法的第一预测提供步骤的流程图；

图3是更加详细地图解说明按照本发明的实施方式的图1中解码方法的第二预测提供步骤的流程图；

图4是图解说明按照本发明的对视频序列帧的图像元素组进行编码的方法的流程图；

图5是更加详细地图解说明按照本发明的实施方式的图4中编码方法的第一和第二预测估计步骤的流程图；

图6是图解说明按照现有技术(＂*＂)的和按照本发明(＂x＂)的没有强制帧内预测的QCIF 15Hz上的足球的RD曲线的图；

图7是图解说明按照现有技术(＂*＂)的和按照本发明(＂x＂)的没有强制帧内预测的CIF 30Hz上的足球的RD曲线的图；

图8是配备有按照本发明的媒体解码器的用户终端的示意性框图；

图9是按照本发明的解码器的示意性框图；

图10是按照本发明的另一种解码器的示意性框图；

图11是按照本发明的编码器的示意性框图；

图12是按照本发明的另一种编码器的示意性框图；

图13是图像帧的视频序列的示意性表示；和

图14是图像帧的示意性表示。

具体实施方式

在全部附图中，将为相应或相似的要素使用相同的附图标记。

本发明总体上涉及对视频序列中帧的图像元素组进行编码和解码。

在本发明中，视频序列包括一个或多个(即至少两个)帧或画面。继而又可以将这样的帧看作是由一系列一个或多个切片构成的，其中这样的切片由图像元素或像素的一个或多个宏块组成。在本发明中，术语＂图像元素＂用于表述视频序列中帧或画面的最小元素。这样的图像元素具有相关的图像元素属性，比如颜色(在红、绿、蓝RGB空间中)或亮度(Y)和色度(Cr、Cb或者有时表示为U、V)。图像元素的典型实例是帧或画面的像素。

图像元素被编组为图像元素组。术语＂图像元素组＂表示任何现有技术中已知的将帧和切片划分为在解码和编码期间一起处置的图像元素集合的划分。一般来说，这样组是矩形(M×N)或正方形(M×M)的图像元素组。在本领域中，这样的分组在视频压缩标准中通常称为宏块。这样的宏块通常具有16×16图像元素的大小。宏块可以由多个所谓的子宏块划分组成，比如16×8，8×16，8×8，8×4，4×8和4×4图像元素。8×8子宏块划分通常称为子宏块或子块。在本发明中，术语＂图像元素组＂用于表述任何这样的宏块、子宏块或划分大小，或者视频压缩中使用的任何其它图像元素分组，除非另有明确声明。典型实例可以是，宏块的亮度分量包括16×16个像素，这些像素排列为四个8×8块的阵列，并且在水平和垂直方向上以二为系数对相关色度分量进行空间子采样，以形成8×8块。

图1是图解说明对编码的视频序列的帧中一组图像元素进行解码的方法的流程图。这个图像元素组之前是使用混合编码方法编码的，混合编码方法涉及使用第一预测和至少一个其它预测的组合。在本发明的优选实施方式中，第一预测是帧内预测，而第二预测是帧间预测，比如P(预测)型或B(双向预测)型帧间预测。第二预测也可以是第二帧内预测。在下文中，主要结合混合编码/解码中使用两个预测来进一步介绍本发明。不过，本发明并不局限于此，而是可以采用图像元素组的三个或更多个预测。例如，混合模式可以使用1个帧内和1个帧间预测、N个帧内预测、M个帧间预测、N个帧内和1帧间预测、1个帧内和M个帧间预测或者M个帧内和N个帧间预测，其中M、N是大于一的正整数。

该方法开始于步骤S1，其中为要解码的一组图像元素提供第一(帧内或帧间，优选地是帧内)预测。这个第一预测优选地是根据与图像元素组相关的预测标识符或者模式标识符来提供的。如本领域中公知的，通常有多种帧内模式，其能够用于图像元素组。例如，4×4块可以使用九种帧内预测模式之一，其中这些模式之一是DC预测并且其它八种模式定义了不同的空间预测来使用。相应地，16×16块典型地具有四种帧内预测模式，一种DC模式，三种模式定义了不同的预测方向。

因此，步骤S1优选地使用这样的模式或类型标识符来提供第一(帧内)预测。如果模式标识符用信号通知使用一种预测方向的帧内模式，则步骤S1涉及根据与当前图像元素组相同帧的至少一个编码图像元素组的解码版本提供帧内预测。这个至少一个组优选地是该帧中之前解码的相邻组。图14示意性地图解说明了这种情形。该附图图解说明了包含要解码的图像元素30的组20的帧10。该附图还图示出了四个已经解码的相邻图像元素组22、24、26、28。步骤S1的所述提供然后可以采用先前为这些相邻组22、24、26、28中的一个或多个计算出来的颜色或色度/亮度值来提供当前组20的帧内预测。第一种这样的模式可以仅仅使用单独一个相邻组的图像元素值，比如当前组20上方的组26或左侧的组22。而其它模式使用来自几个不同相邻组22、24、26、28的图像元素值。

如果代之要在步骤S1中提供帧间预测，那么该预测优选地是基于另一个帧(P型)或多个其它帧(B型)的组的图像元素值产生的。在这种情况下，图像元素组与帧索引和运动向量相关联，帧索引能够实现在视频序列中识别这一其它帧，运动向量是位移向量，能够实现在其它帧中识别用于帧间预测的组。图13图解说明了这种情形。当前帧10包括按照本发明来解码的图像元素组。另一个帧是比如在流1中的前帧12或后帧14。箭头40代表运动向量，该运动向量能够实现在另一帧12中识别作为图1的步骤S1中的帧间预测使用的图像元素组25。

下一个步骤S2为当前的图像元素组提供第二预测。如前文所提到的，这个预测可以是帧内预测或帧间预测。步骤S2还可以涉及为图像元素组提供多个其它预测。这个步骤S2一般来说是以与上述类似的方式执行的，取决于第二预测是帧内还是帧间预测。

下一个步骤S3提供用于修改步骤S1中提供的第一预测和步骤S2中提供的第二预测的初始加权系数。可以在不同的细节程度来修改和传送这些加权系数，例如每视频序列、每帧、每切片、每宏块或每子宏块(划分)使用一个加权系数对或集(在混合解码中使用多于两个预测的情况下)。一般来说，细节程度越精细，所得到的质量越高。不过，这一较高的细节程度还意味着，以位数表示的帧的总大小将会增大。本发明优选地使用组专用的加权对或加权集，即帧中的每个宏块或子宏块有一个这样的对或集。不过，对于一般的视频序列，并不是所有帧中的所有图像元素组都必须按照本发明来编码和解码。而是，在典型情况下期望按照现有技术中的帧内块、帧间块那样来处理一些图像元素组，包括帧间P块和帧间B块。因此，组专用加权的使用将不会造成帧大小的急剧增加。这样，本发明的视频序列包括至少一个具有按照本发明解码和编码的至少一个图像元素组的帧。

步骤S3中初始加权系数的提供包括提供初始第一加权系数和至少另一个加权系数。这两个系数可以具有相同的系数值或者不同的系数值。优选地至少一个并且更加优选地两个加权系数都是非零值。一般来说，加权系数各自包括一个系数值，但是按照另外一种可选方案也可以包括多个系数值，例如，在向量或矩阵中组织所述多个系数值。在后一种情况下，当前组的每个图像元素可以具有加权系数的相关系数值。

下一个步骤S4对步骤S3中提供的至少初始第一加权系数进行修改。这一修改是使用系数修改量来进行的，将该系数修改量施加(比如乘或加)到初始第一加权系数上。这样会导致产生包括多个系数值的第一加权系数。第一加权系数优选地对于组中的每个图像元素包括一个系数值。这些系数值中的一个或多个可以是相同的，不过不是所有的值都一样。这意味着，每个系数值与图像元素组中图像元素的位置相关。结果，将各个系数值施加给来自于步骤S1中提供的第一预测的不同图像元素预测，下面将对此进行进一步介绍。

在优选实施方式中，所生成的系数值取决于图像元素组中它们的相关相对图像元素位置。这能够实现取决于在不同图像元素位置中和/或组中特定局部结构中第一预测的可靠程度对不同加权系数进行不同加权。这意味着，可以按照图像元素组内的位置来修改加权系数值，以考虑第一预测的不确定性和/或预测中的局部结构或反差。

如前文所介绍的那样，帧内预测优选地为当前组中的图像元素赋予图像元素值，其中这些值来自于帧中一个或多个相邻组中的图像元素。一般来说，给定图像元素在当前组中离(多个)相邻组中用作该给定图像元素的帧内预测的(多个)图像元素越远(在中间图像元素的数目方面)，所赋予的图像元素值的精确度越低。

本发明的系数修改量的使用克服了现有技术中象文献[2]中那样由于对图像元素组中的所有帧内预测值使用相同的加权系数值而产生的问题。本发明通过对接近于帧内预测来源地的图像元素施加相对较高的帧内加权系数并且对离帧内预测来源地较远的图像元素施加相对较低的帧内加权系数值解决了这一问题。

参照图14，作为系数修改量的典型实例，如果帧内预测从帧10中直接位于当前组20上方的相邻图像元素组26中最下面的图像元素行中沿着列方向赋予图像元素值(帧内模式0或垂直模式)，则可以使用下列修改量：

$\left[\begin{array}{cccc}{k}_1& k_1& k_1& k_1\\ k_2& k_2& k_2& k_2\\ k_3& k_3& k_3& k_3\\ k_4& k_4& k_4& k_4\end{array}\right]$

在这种情况下，k1到k4是不同的修改量值且k1>k2>k3>k4。这样，与较下面的行中的图像元素相比，为第一行中的图像元素30赋予了相对较高的修改量值，因为这些较下面的行距离用作帧内预测的图像元素组26更远。

相应地，如果使用的是水平模式或模式1来进行帧内预测，则使用位于当前图像元素组20左侧的组22的最后一列中的图像元素作为帧内预测。在这种情况下，可以使用下面的系数修改量：

$\left[\begin{array}{cccc}{k}_1& k_2& k_3& k_4\\ k_1& k_2& k_3& k_4\\ k_1& k_2& k_3& k_4\\ k_1& k_2& k_3& k_4\end{array}\right]$

这个系数修改量赋予了修改量值k1到k4，与相对于相邻图像元素组22而言离得较远的列中的图像元素31相比，该系数修改量为组20的第一列中的图像元素32给予了相对较高的加权。

系数修改量的另一个例子是：

$\left[\begin{array}{cccc}{k}_1& k_1& k_1& k_1\\ k_1& k_2& k_2& k_2\\ k_1& k_2& k_3& k_3\\ k_1& k_2& k_3& k_4\end{array}\right]$

这个系数修改量可以用于使用来自于图14中用附图标记22、24和26标注的相邻组的图像元素值的对角型帧内预测。这种模式在本领域中通常称为模式4或右下对角型。

在所提供的例子中假设4×4像素的图像元素组。不过，可以很容易地将这些教导扩展为也针对其它的组大小。

这些系数修改量实例的共有特征是，从较高修改量值向较低值，不同的修改量值沿着垂直、水平或对角线倾斜。

用于当前图像元素块的系数修改量可以是预先定义的。例如，同一系数修改量可以用于视频序列、帧或切片的所有混合编码的组。按照另外一种可选方案，所使用的系数修改量可以是根据当前图像元素组的具体帧内预测类型或模式定义的。在这种情况下，每个这样的预测类型具有将会在图1中步骤S4的加权系数修改中使用的相关系数修改量。

在这些实施方式中，基于预测类型和/或帧或切片数目使用系数修改量的隐性选择。不过按照另外一种可选方案也可以使用显性信令。优选的例子使用几个不同的预先定义的系数修改量，其中每个这样的系数修改量具有赋予的修改量标识符。然后在解码期间，为当前图像元素组赋予这样的修改量标识符。一般仅需要几位，比如一到三位，就能够实现二到八个不同系数修改量之间的选择，这些系数修改量可以构成适当的选择集。然后在步骤S4中采用修改量标识符来提供正确的系数修改量。虽然不是优选地，但是实际上可以与图像元素组一起传送修改量值。

修改量值也可以或者可以此外从第一预测的不同处理中选择。例如，可以对第一预测进行滤波，例如使用空间差滤波器进行滤波，以发现预测中的任何局部结构，比如线和边缘。在这种情况下，可以对与这些局部结构(粗壮的边缘/线)重合的图像元素位置优选地给予比与较弱结构重合的其它图像元素位置大的修改量值(并且因此较大加权系数值)。

在任何一种情况下，将所选择的系数修改量施加到初始第一加权系数上，以获得经修改的包括多个系数值的第一加权系数。这一修改在典型情况下是通过初始系数w₁与系数修改量之间相乘来实现的，不过其它程序(相加或异或(X0R))也是可以的。于是这样产生的第一加权系数的例子可以是：

$\left[\begin{array}{cccc}{w}_1{k}_1& w_1{k}_1& w_1{k}_1& w_1{k}_1\\ w_1{k}_2& w_1{k}_2& w_1{k}_2& w_1{k}_2\\ w_1{k}_3& w_1{k}_3& w_1{k}_3& {w_{1}k}_3\\ w_1{k}_4& w_1{k}_4& w_1{k}_4& w_1{k}_4\end{array}\right]$

这样，即使为图像元素组赋予了单独初始第一加权值w₁，系数修改量也将会产生一组不同的系数修改量w₁k_i，其中在这个例子中i＝1-4，其反映所使用的第一图像元素预测的相对不确定性或预期误差。下面是在例如一条线穿过图像组的情况下第一加权系数的另一个例子。在这种情况下，与其它图像元素位置相比，该线的图像元素位置[(1，4)；(2，3)；(2，4)；(3，2)；(3，3)；(4，1)和(4，2)]具有相对较高的系数修改量：

$\left[\begin{array}{cccc}{w}_1{k}_4& w_1{k}_4& w_1{k}_2& w_1{k}_1\\ w_1{k}_4& w_1{k}_2& w_1{k}_1& w_1{k}_1\\ w_1{k}_2& w_1{k}_1& w_1{k}_1& w_1{k}_2\\ w_1{k}_1& w_1{k}_1& w_1{k}_2& w_1{k}_3\end{array}\right]$

上面有关步骤S4的提供和使用第一加权系数的讨论内容也可以应用于步骤S3中提供的另一个加权系数。如果这个另一个系数是帧内加权系数，则所使用的系数值优选地是根据用于步骤S2中提供的第二帧内预测的具体帧内加权模式来选择的。这样，系数修改量于是应当具有将较大的加权放到使用帧内预测时希望更加精确的图像元素位置(即靠近用作当前组的第二帧内预测的相邻图像元素组的图像元素位置)上的各个修改量值。较远的图像元素位置具有相对较低的相关修改量值。

如果步骤S2中提供的预测是帧间预测并且步骤S1提供的预测是帧内预测，则帧间系数修改量优选地具有与帧内系数修改量相比基本上相反的修改量值分配。这样，与用作帧内预测的相邻组靠近的图像元素位置具有低帧间修改量值，而较远的图像元素位置具有相对较大的帧间修改量值。典型的实例可以是使用帧间修改量值1_ij＝1-k_ij。具有高不确定性的帧内预测的图像元素因此具有低帧内修改量值，但是具有高帧间预测值，而对于具有高确定性的帧内预测的图像元素而言，情况正好相反。在本文中，在最大值为1的情况下，高值指的是介于0.5和1之间的值，而低值指的是处于0到0.5区间内的值。

下一个步骤S5通过将步骤S4中产生的第一加权系数施加到步骤S1中提供的第一预测上来为图像块确定经加权的第一预测。这一确定优选地涉及将用于图像元素p_ij的各个第一预测值与其相关第一加权系数w₁k_ij相乘，其中i，j代表在图像元素组中的图像元素位置。最终的加权第一预测于是应为：

$W_1{P}_1=\left[\begin{array}{cccc}{w}_1{k}_{11}{p}_{11}& w_1{k}_{12}{p}_{12}& w_1{k}_{13}{p}_{13}& w_1{k}_{14}{p}_{14}\\ w_1{k}_{21}{p}_{21}& w_1{k}_{22}{p}_{22}& w_1{k}_{23}{p}_{23}& w_1{k}_{24}{p}_{24}\\ w_1{k}_{31}{p}_{31}& w_1{k}_{32}{p}_{32}& w_1{k}_{33}{p}_{33}& w_1{k}_{34}{p}_{34}\\ w_1{k}_{41}{p}_{41}& w_1{k}_{42}{p}_{42}& w_1{k}_{43}{p}_{43}& w_1{k}_{44}{p}_{44}\end{array}\right]$

下一个步骤S6为图像元素确定第二预测的加权预测。这一确定是按照与步骤S5类似的方式执行的，只不过使用不同的输入预测和另一个加权系数。结果可以具有下列形式：

$W_2{P}_2=\left[\begin{array}{cccc}{w}_2{q}_{11}& w_2{q}_{12}& w_2{q}_{13}& w_2{q}_{14}\\ w_2{q}_{21}& w_2{q}_{22}& w_2{q}_{23}& w_2{q}_{24}\\ w_2{q}_{31}& w_2{q}_{32}& w_2{q}_{33}& w_2{q}_{34}\\ w_2{q}_{41}& w_2{q}_{42}& w_2{q}_{43}& w_2{q}_{44}\end{array}\right]$

或者

$W_2{P}_2=\left[\begin{array}{cccc}{w}_2{l}_{11}{q}_{11}& w_2{l}_{12}{q}_{12}& w_2{l}_{13}{q}_{13}& w_2{l}_{14}{q}_{14}\\ w_2{l}_{21}{q}_{21}& w_2{l}_{22}{q}_{22}& w_2{l_{23}q}_{23}& w_2{l}_{24}{q}_{24}\\ w_2{l}_{31}{q}_{31}& w_2{l}_{32}{q}_{32}& w_2{l}_{33}{q}_{33}& w_2{l}_{34}{q}_{34}\\ w_2{l}_{41}{q}_{41}& w_2{l}_{42}{q}_{42}& w_2{l}_{43}{q}_{43}& w_2{l}_{44}{q}_{44}\end{array}\right]$

取决于是否也对第二预测P₂使用了系数修改量，其中q_ij是第二预测的图像元素位置i，j处的图像元素值。

可以在施加加权之前可选地对第一和第二预测进行滤波。例如，可以在施加各个第一和第二加权系数之前，对第一预测进行低通滤波，而对第二预测进行高通滤波。而且还可以按照本发明使用本领域公知的其它形式的预测预处理。

下一个步骤S7基于步骤S5中确定的加权第一预测和步骤S6中确定的加权第二预测生成图像元素组的解码版本。这一计算优选地是通过按位置加上各个加权图像元素值以获得不同的图像元素的w₁k_ijp_ij+w₂q_ij或w₁k_ijp_ij+w₂l_ijq_ij来执行的。本发明预见到，图像元素的进一步处理一般是以加上残差和/或对最终结果进行滤波的形式来进行的。例如，可以在施加加权之后为预测加上残差(w₁k_ijp_ij+w₂q_ij+R_ij)。按照另外一种可选方案，可以在施加加权之前为各个预测加上残差(w₁k_ij×(p_ij+R1_ij)+w₂×(q_ij+R2_ij))。然后该方法结束。

在另一种可供选用的办法中，采用查表法来生成解码图像组。在这种情况下，使用预测之一作为要加上查表值或加权查表值的基本预测。然后基于第一和第二预测生成这个查表值，优选地基于这两个预测之间的(图像元素层面(wise)的)差值来生成这个查表值。典型的实例可以是：

w₂q_ij+w₁k_ij×f(p_ij-q_ij)

其中f(x)代表使用x作为输入查表所得的结果。在这个和上面提供的讨论中，加权w₁和w₂中的至少一个可以等于一，比如w₂＝1。另一种可能是将加权完全包含为查表过程的一部分，比如：

q_ij+f_w1w2(p_ij-q_ij)

其中f_w1w2表示依照加权w₁和w₂的表格，其给出了与w₁k_ijp_ij+w₂l_ijq_ij或w₁k_ijp_ij+w₂q_ij相同的预测。实际上，利用这种查表的方法，可以针对每个图像元素进行预测的任意加权组合，比如：

q_ij+f_ijk(p_ij-q_ij)

其中在k个表格中定义了不同的可能非线性加权组合，其中甚至每个图像元素位置ij也可以具有专用表格。

本发明预见到，基本预测并非必须如前面所提供的那样是第二预测。

这样，本发明的这一方面使用从第一和第二预测中选择的基本预测，并且然后修整基本预测，以通过使用能够从由第一和第二预测计算出来的量获得的加权预测来更加正确地代表原始图像元素组。优选的这种量是两个预测之间的差值，比如图像元素层面的差值。加权预测优选地是通过查表过程获得的。不过，本发明的这个方面并不局限于此，其它的可能也是可以的并且是处于本方面的范围之内的。例如，预定义的函数可以使用这个量作为输入并且输出要加到基本预测上的修整值。

这样，这个方面涉及一种对编码视频序列的帧中的图像元素组进行解码的方法。该方法涉及提供图像元素组的第一预测和提供该图像元素组的第二预测。这些预测之一优选地是帧内预测，而另一个预测优选地是帧间预测。然后从第一和第二预测中选择基本预测，典型地是根据与编码组相关联的标志选择的。按照另外一种可选方案，可以在组的编码信号中将第一(或第二)预测预先定义为基本预测。然后根据由第一和第二预测计算出来的量(优选地是第一和第二预测之间的差值)提供加权预测来修整基本预测。基于加权预测和基本预测生成图像元素组的解码版本。

该解码版本优选地是基于加权预测和基本预测的相加来生成的。可通过加权预测获得的修整能够实现对组中的图像元素使用不同的修整预测值，其中不同的预测值反映第一预测和第二预测中的至少一个中的预测值的相对不确定性，优选地是选作基本预测的预测中的预测值的相对不确定性。可替换地或者此外，不同的预测值反映第一预测和第二预测中的至少一个(优选地是选作基本预测的预测)中的局部反差变化。

本发明的这个方面还涉及一种具有用于实施上面介绍的解码方法的操作的解码器元件的解码器。

本发明的编码方法优选地涉及如前所述那样估计图像元素组的第一预测(帧内预测)和如前所述那样估计图像元素组的第二预测(帧间预测)。基本预测的选择优选地是基于代表用第一或第二预测表示图像元素组的各个误差表达来进行的。一般来说，典型地将第一和第二预测中从质量的角度来讲最佳表达图像元素组(即，具有最低的相关误差表达)的预测选择为基本表达。

修整预测是从查询表中或由使用第一和第二预测的函数获得的。注意，如果基本预测例如是帧间预测，则第二(帧内)预测不必是最佳表达图像元素组的帧内预测。明显相反地，优选地选择帧内预测，以便基于帧间和帧内预测之间的差值来获得最适当的修整预测。

该方面还涉及一种具有用于实施上面介绍的编码方法的操作的编码器元件的编码器。

图2是图解说明按照本发明的特定实施方式的提供初始加权系数的步骤S3的流程图。该方法从图1的步骤S2继续进行。下一个步骤S10为图像元素组识别一个初始加权系数。这一识别可以是通过提供赋予当前组、切片或该组所属于的帧的加权系数来进行的。该加权系数可以与图像元素组的编码表达一起被信号通知或者将加权标识符包含在这一编码表达中。在后一种情况下，将该标识符用于查表过程来识别初始加权系数。

也可以使用隐含过程。在这种情况下，可以使用序列、帧或切片专用的加权作为起始点，并且基于其它的输入材料对这个加权进行进一步处理。该处理可以例如利用用于之前解码的相邻图像元素组的初始加权系数值的信息。例如，可以为相邻的加权系数加上德尔塔加权值，以得到初始加权系数。另一个例子是多个相邻元素组的加权系数的中值或平均值。相邻组的数量和哪些具体的相邻组可以基于所使用的具体帧内预测模式预先确定。这一处理可以例如使用相邻块的残差信息来调节切片/帧/序列专用的起始加权。在另一种可供选用的办法中，可以使用从一个或多个之前解码的图像元素组中获得的信息作为加权起始点。例如，相邻组的残差信息可以构成适当的起始点。对残差值进行进一步处理来得到初始加权系数。例如，可以将初始加权系数定义为残差的倒数或者至少与残差的倒数成正比。这可以通过确定相邻组(优选地是采用为参考帧内预测的相邻组)与当前组之间残差值的差值来进行。然后可以在查表过程中使用该差值。按照另外一种可选方案，以图像元素为基准，将初始加权系数隐含地定义为相邻图像元素组中相应图像元素位置的残差的倒数，或者多个相邻图像元素组中的多个相应图像元素位置的平均残差的倒数。

下一个步骤S11由步骤S10中识别的第一加权计算另一个初始加权系数。这一计算优选地涉及从预定的数字减去第一初始加权w₁，比如w₂＝(1<<Shift)-w₁，其中运算<<涉及当x<<y时将x左移y，并且Shift是平移系数。在这种情况下，第一初始加权w₁与加权索引相关，该加权索引定义为：Index＝(MaxVal-w₁)>>Step，其中运算>>涉及当x>>y时将x右移y，MaxVal是w₁的最大系数值，Step是用于定义w₁逐步从MinVal(w₁的最小系数值)到MaxVal中的不同可能加权值的步长系数。典型但是非局限性地，这些参数的例子包括Shift＝6、MaxVal＝63、MinVal＝33和Step＝2。然后该方法继续进行到图1的步骤S4。

在另外一种可供选用的实施方式中，省略了步骤S11。因此，在步骤S10中识别第一和第二初始加权系数二者。

图3是图解说明图1的解码方法的额外步骤的流程图。该方法从图1的步骤S2继续进行。下一个步骤S20计算混合解码中使用的所提供的第一和第二预测之间的差值，比如图像元素层面的差值。该差值也可以通过在每个预测中应用空间差值滤波器来获得。每个差值用作包含多个不同加权值或加权值对的查询表中的输入。在这种情况下，每个这样的加权或加权对与预先定义的差值或差值区间相关联。于是所要使用的正确初始加权就是具有最接近于该差值的相关值或者具有包含该差值的相关区间的加权系数或对。

如果查询表中每个表格项目仅仅包括一个加权，则另一个加权可以如前面结合图2的步骤S11介绍的那样由此计算出来。然后该方法接着继续进行图1的步骤S3。

代替通过查表来得到初始加权，可以将实际的加权组合定义为预测之一与所提供的第一和第二预测之间的差值的查表的总和。

图4是对视频序列的帧中图像元素组进行编码的方法的流程图。该方法开始于步骤S30，其中为要编码的图像元素组估计第一(优选地是帧间)预测。在帧内预测的情况下，这个步骤S30基本上涉及查找不同的可用帧内编码模式，并且针对各个这样的模式，计算代表用具体帧内预测模式表达该图像元素组的误差值。这是按照本领域公知的技术来实现的。例如，可以使用标准率失真(RD)值来作为适当的误差表达。这个RD值被定义为：

RD＝SAD+λ×B，

其中SAD是预测误差，通常是绝对差的和，B是对残差进行编码和对预测模式进行编码的编码成本(以位为单位)，并且λ是提升SAD或B之一的缩放系数。

典型地选择造成最低误差值的帧内编码模式，并且将会使用用作组表达的(多个)(相邻)图像元素组作为当前图像元素组的帧内预测。步骤S30还涉及生成所选择帧内预测的标识符。这个标识符典型地是所选择帧内预测模式的标识符，这样一来，标识符就能够实现相关帧内预测的识别。

在这种情况下，第一预测是图像元素组的帧间预测，从依照公知误差标准的预定搜索窗口中的参考帧内搜索最佳匹配的图像元素组。然后选择预定搜索窗口内造成最小误差值的图像元素组作为步骤S30中的帧间预测。步骤S30还涉及提供所选择的帧间预测的标识符。该标识符典型地包括参考帧标识符，该参考帧标识符识别从其中可以找到用作当前组的帧间预测的匹配图像元素组的参考帧。该标识符还包括定义参考组在两个帧中相对于当前块沿着水平和垂直方向的相对位移的运动向量。

下一个步骤S31为该组估计第二预测。在第一实施方式中，这一另一个预测是帧内预测，并且在第二实施方式中，它是帧间预测。前面概述的用于估计帧内和帧间预测的原理也适用于这个步骤S31。对步骤S30而言，步骤S31优选地还涉及提供第二预测的标识符，比如帧间模式标识符或帧标识符加上运动向量。

在可用的多种实施方式中，进行这两个预测估计步骤S30和S31的实际顺序可以是不同的，具体取决于在具体步骤S30和S31中估计的是何种类型的预测。第一实施方式按照图4中所示的顺序依次执行这两个步骤，首先估计帧内预测，然后估计帧间预测或第二帧内预测。第二种按顺序的实施方式在步骤S31涉及估计帧间预测的情况下可以使用相反的执行顺序。这样，在这种情况下，首先估计帧间预测，随后才是帧内或帧间预测的估计。在第三种实施方式中，这两个估计步骤S30和S31是并行地执行的，可能在组合预测过程中。

本发明预见到，如果本发明的混合编码涉及不止两个组的预测，将会进行额外的(帧内或帧间)预测估计。在这种情况下，所选择的帧内预测优选地与不同的帧内预测模式相关，即，它们是不同的帧内预测。相应地，不同的帧间预测优选地是搜索窗口内同一或不同参考帧中的不同参考组。

可选地对这两个预测进行处理，比如在如前所述那样确定任何加权系数之前进行滤波。

下一个步骤S32选择初始第一加权来用于步骤S30中估计的第一预测。如果可以使用一组有限的预定系数，则这个步骤S32可以是通过查找可用的加权系数来执行的。另一个办法可以是使用赋予之前编码的相邻组的初始第一加权系数作为起始点并且然后从该起始点开始在所定义的搜索窗口内进行搜索来得到良好的加权候选。该起始点并非必须是相邻组的初始第一加权系数，而是可以取而代之是赋予当前视频序列、帧或切片的预定起始加权，或者基于相邻组的残差数据的起始点。

下一个步骤S33定义要施加给所定义的第一加权系数的系数修改量，来生成包括多个系数值的第一加权系数。如前所述，这些不同的系数值与图像元素组中不同的图像元素位置相关联。还要对该系数修改量加以选择，以得到反映所估计的预测中的相对不确定性的系数值，尤其是反映帧内预测的相对不确定性。如果第一预测是帧内预测，则所使用的系数修改量优选地是至少部分地根据用于步骤S30的所选帧内预测的具体帧内预测模式来选择的。

可替换地或者此外，系数修改量至少部分地是通过处理第一预测以反映预测中的不同结构特征和对象来确定的。在这种情况下，相对于较为模糊的背景具有清晰反差的醒目对象应当得到较高的加权。与这些醒目对象对应的系数修改量的图像元素位置于是与该组中其它图像元素位置相比，具有得出较大加权系数的系数修改量值。

步骤S34然后定义要在解码期间施加给步骤S31中估计的预测的第二加权系数。这样，这个加权系数是帧内加权系数或帧间加权系数。在选择步骤S34的第二加权系数时，也可以使用前面结合步骤S32介绍的过程。按照另外一种可选方案，步骤S32和S34中定义的加权系数具有预定的相互关系，例如它们的和等于常数或者它们的商等于常数。在这种情况下，定义步骤S34仅仅涉及根据初始第一加权系数和该常数计算第二加权系数。在混合编码中每个组有不止两个预测的情况下，此外还要对每个额外的预测重复进行这个步骤S34。

如前文所介绍的那样，也可以对步骤S34中定义的第二加权系数应用系数修改量，尤其是在该第二加权系数是第二帧内加权系数的情况下。在这种情况下，优选地结合步骤S34进行额外的系数修改量定义步骤。

然后图像元素块CIIP可以按照本领域公知的技术由这些加权系数、系数修改量和预测加上残差R(将其计算为加权预测与当前图像块之间的差)来表达并且将图像元素块CIIP表示为：

CIIP_ij＝p_ijw₁k_ij+q_ijw₂+R_ij

或

CIIP_ij＝p_ijw₁k_ij+q_ijw₂l_ij+R_ij

残差也可以代之以在加权之前加入，以得到下列情况之一：

${\mathrm{CIIP}}_{\mathrm{ij}}=(p_{\mathrm{ij}}+R_{\mathrm{ij}}^1)w_1{k}_{\mathrm{ij}}+(q_{\mathrm{ij}}+R_{\mathrm{ij}}^2)w_2$

或

${\mathrm{CIIP}}_{\mathrm{ij}}=(p_{\mathrm{ij}}+R_{\mathrm{ij}}^1)w_1{k}_{\mathrm{ij}}+q_{\mathrm{ij}}{w}_2+R_{\mathrm{ij}}^2$

或

${\mathrm{CIIP}}_{\mathrm{ij}}=p_{\mathrm{ij}}{w}_1{k}_{\mathrm{ij}}+(q_{\mathrm{ij}}+R_{\mathrm{ij}}^2)w_2+R_{\mathrm{ij}}^1$

在加权之前加入残差还是在加权之后加入残差两者之间的实际选择优选地基于哪种特定选择会提供最佳质量。

最终编码的组估计包括第一预测的标识符、第二预测的标识符、残差和初始第一加权系数和第二加权系数中至少一个的标识符。本发明预见到，加权系数标识符并非必须是明确的标识符。在隐含的办法中，估计的预测之间的差或商，或者各个预测的空间差值都可以用作加权系数标识符。按照另外一种可选方案，当前块和相邻块的残差值也可以用作加权系数标识符。然后加权标识符可以指向包括多个所定义的加权系数的表格。

然后该方法结束。

本发明预见到，不是视频序列的所有图像元素组都必须由本发明的混合编码来编码。明显相反地，同一或不同帧中的其它组可以按照现有的帧间(P或B型)编码或帧内编码来编码。

图5图解说明的是执行图4的预测估计步骤S30和S31的实施方式。该方法开始于步骤S40，其中为要编码的宏块(16×16像素)选择适当的块划分。可以使用任何现有技术的可用块大小，包括16×16，16×8，8×16，8×8，8×4，4×8和4×4像素。在步骤S41中为不同的各个可用组大小识别最佳帧间预测。在实践中，这两个步骤S40和S41典型地是并行进行的。这些步骤优选地在允许的搜索窗口内的帧中查找所有可用的块划分和可用的参考块。典型地选择造成最小误差值的划分和参考块。还可以使用其它用于找出帧间块预测的本领域公知的过程。

一旦选择了最佳的帧间预测和划分，就在步骤S42中识别适当的帧内预测。这也可以通过在可用的帧内预测模式间进行穷尽搜索来进行。在优选的实现方式中，这一搜索是至少部分地基于所选择的帧间块预测并且尤其是该预测的块划分来进行的。这样做的原因在于，不同的块划分可以有不同的帧内模式。例如，传统上，对于4×4的块大小，可以有九种不同的帧内模式，而对于16×16的大小，可以有四种相应的模式。这样做的另一个原因在于，帧间预测的运动向量应当尽力遵循真实的运动场。如果首先进行帧内预测并且根据帧内预测完成帧间预测搜索，这可能不能实现。

步骤S42的搜索也可以至少部分地基于与用所确定的帧间预测表达当前块相关联的误差值来进行。这样，可以使用这个误差的值来选择也用于该块的适当帧内预测/模式。

在任何一种情况下，一旦达到最佳(从用预测表达块的误差最小的角度而言)，就在步骤S43中提供前面介绍的预测标识符。然后该方法接着继续进行图6的步骤S32。

这样，本发明的第一实施方式首先选择块预测，典型地从帧间预测开始。随后选择适当的加权系数和系数修改量。另一种办法利用组合编码，其中一起选择两种预测和加权。例如，首先确定＂最佳＂帧间预测。随后，对于各个可用的帧内模式(基于所确定的帧间预测确定的)，测试不同的可用加权系数和系数修改量。连同与用预测和系数的这种组合表达该块相关联的误差一起，通知每种可用帧内模式的最佳加权系数和系数修改量的集合。随后选择具有最低相关联误差的帧内预测+加权值组合。按照另外一种可选方案，首先进行传统的块的帧间编码，包括计算帧间残差值。随后，计算帧内预测和加权系数，之后为该块计算＂全局＂残差。

在视频编码中，通常有数种与宏块的不同划分对应的帧间宏块类型。还可以有数种与对于宏块的不同划分专用的帧内定向预测相对应的帧内宏块类型。本发明提出新的宏块类型，这些新的宏块类型描述哪种帧间预测类型和哪种帧内预测类型用于加权组合。

举例来说，可以引入新的办法作为除了仅仅帧间和仅仅帧内宏块类型之外的新的宏块类型。按照本发明的一种实施方式，新宏块类型的可变长编码方法是为它们赋予比用于仅仅帧内和仅仅帧间宏块类型的代码更大的编码索引。以这种方式，该方法在理论上不会降低使用速率失真最优化的采用仅仅帧内和仅仅帧间宏块类型的视频编码器的性能，因为如果它比当前的宏块类型效率更高，它仅仅被选择。

下面给出了作为H.264的扩展的使用组合的帧内和帧间预测的宏块类型分配的例子。为帧间预测16×16和帧内预测4×4给出最低编码索引。随后，帧间预测16×16和帧内预测16×16到来。帧内16×16模式也是宏块类型的一部分。然后，帧间16×8和帧内类型到来，如此继续直到8×8ref和帧内类型。典型地有31种旧的宏块类型。应当注意，在帧内16×16预测部分的编码中没有包括CBP(编码块样式)值。

新宏块类型的编码索引分配的例子可以由下式描述：

标号＝31+5×MbTypeInter+MbTypeIntra+帧内16×16模式

其中MbTypeInter的取值范围是0到4，包括帧间16×16、16×8、8×16、8×8ref0和8×8，MbTypeIntra的取值范围是0到1，分别包括帧内4×4和16×16，并且如果MbTypeIntra等于1，则帧内16x16模式的取值范围优选地是从0到3，否则优选地是0。

按照本发明的实施方式，使用加权组合的宏块类型是采用比其它宏块类型高的编码索引来编码的。

下面给出作为对H.264的扩展的编码宏块参数的例子。如上所述那样对宏块类型和宏块加权进行编码。按照H.264中那样对运动向量、参考帧、子宏块类型、帧内4×4预测模式和帧内色度预测模式进行编码。应当注意，在帧内4×4模式的预测中，优选地检验相邻宏块的MbTypeIntra，而不是MbType，以便也能够为新的方法实现帧内4×4模式的正确预测。对于仅仅帧内4×4宏块类型也做出这种修改。编码块样式CBP是使用仅仅帧内CBP表格来编码的。最终按照H.264中那样对DQuant和残差系数码进行编码。

这样，可以在本发明公开的扩展部分中使用联合视频组(JVT)标准的工具。

速率失真优化是当前视频编码标准中实现良好压缩效率的重要工具。

下面给出使用新的方法的优化实例。首先，如上所述那样进行最佳帧间编码和最佳帧内编码宏块的速率失真搜索。然后使用最佳帧内预测模式作为精细搜索最佳帧内预测和最佳加权的起始点。为了使帧间预测与帧内预测匹配得更好，可以对组合预测进行低通滤波或者在组合之前对帧间预测进行低通滤波。后者可以通过同时进行帧内精细搜索或在帧内精细搜索之后来实现。精细帧间搜索可以例如包括每次搜索进行一半或四分之一。

为了降低编码器复杂度，可以使用例如最佳仅仅帧内预测和最佳仅仅帧间预测利用线性回归来确定加权。可以使用精细加权搜索来提高速率失真性能。

本发明提供了比最新的视频编码标准H.264更好的编码效率。本发明在很难找出良好的帧间预测时(比如在体育视频序列中)尤其优秀。不过，本发明对其它序列也同样有效。

此外，本发明可能能够用于提供信噪比可扩缩性。基本层可以按照H.264使用帧内和帧间预测编码，以提供基本编码率。然后增强层可以增加帧内编码模式和加权来做出加权帧内和帧间预测，以提供增强编码率。

本发明还有可能用于进行帧间预测的预解块滤波，这改善变换编码。这与对重构图像进行的传统解块滤波截然不同。

本发明还有可能用于与误差复原相结合实现更好的编码效率。这可以通过将标准帧内刷新与加权的之前解码帧部分相组合来实现。

在下文中，将会把在H.264之上使用本发明的例子与H.264(类似于使用单层编码的JSVM_5_11)相比较并且针对的是使用一个参考帧的低迟延配置IPPP。结果是针对固定量化参数和使用VLC产生的。位速率和序列依照的是JVT-Q205[3]中的SNR可扩缩性测试配置。

表1

表1图解说明的是关闭约束的帧内预测的情况下QCIF(四分之一通用中间格式)15Hz的Bjontegaard位速率节省。

表2

表2列出的是关闭约束的帧内预测的情况下CIF 30Hz的Bjontegaard位速率节省。

图6图解说明了在没有约束的帧内预测的情况下足球在QCIF 15Hz上的RD曲线，图7图解说明了在没有约束的帧内预测的情况下足球在CIF 30Hz上的RD曲线。在这些曲线图中，用X标出了按照本发明实现的结果，而现有技术的结果是用′*′标出的。

与H.264标准解码相比，对在H.264之上使用新方法的解码器的复杂度也进行了评价，见下面的表3。结果实现为每序列平均超过100个行程以及Intel Pentium Mobile 2.00GHz上的量化参数。为了减小硬盘性能的影响，没有将解码结果写到文件中并且没有使用屏幕印刷(screen print)。此外在测试期间没有运行其它程序。

表3

表3图解说明的是在关闭约束的帧内预测的情况下对于QCIF 15HZCIIP解码器的复杂度增加。

如果允许8×8帧内预测，如在例如使用逼真度范围扩展(FRExt，对AVC/H.264的修正)并且将转换尺寸8×8标志设置为1时，那么MbTypeIntra＝0(见上文)相当于帧内8×8预测。在这种情况下，帧内8×8预测与本发明的混合编码结合使用并且残差可以按照8×8转换来编码。

相应地，如果允许8×8转换，如在例如使用逼真度范围扩展(FRExt，对AVC/H.264的修正)并且将转换尺寸8×8标志设置为1时，那么MbTypeIntra>0(见上文)可以相当于帧内16×16预测。在这种情况下，帧内16×16预测与本发明的混合编码结合使用并且残差可以按照8×8转换来编码。

本发明可以应用于可扩缩视频编码，例如JSVM[4]中的可扩缩视频编码，文献4的教导在此引入以供参考。在可扩缩视频编码中，编码参数的帧间层预测对于高编码效率来说是很重要的。对于混合宏块，这些参数可以包括运动参数、帧内预测模式、加权和残差。如果宏块具有混合宏块类型，则可以如前文所述那样确定相应帧内和帧间预测模式和相应加权预测。如果使用FRExt，则可以应用前面有关8×8帧内预测和8×8转换的部分。

图8是实现本发明的教导的用户终端100的例子的示意性图解说明。这个用户终端100具有移动终端或电话100的形式，适合于进行无线通信。不过，本发明并不局限于这样的手持媒体处理终端，但是实际上可以应用于任何媒体处理和呈现终端。

这个用户终端100包括发射器和接收器或者收发器110，在图中将其示意性地描绘成单独一个单元。单元110包括传统的发射器/接收器功能，比如调制器/解调器，等等。该单元110的接收器部分尤其适合于接收按照本发明的视频序列。

终端100还包括用于暂时存储接收器110接收到的序列的视频数据的媒体缓冲器140。采用这个缓冲器140主要是为了防止在通过网络发送媒体时出现抖动。

媒体播放器130被安排用来解码和呈现从媒体缓冲器140中取得的视频数据。在所连接的显示屏幕120上显示所呈现的媒体并且可能相关的音频数据在扬声器150上播放。

媒体播放器130具体包括媒体解码器200或按照本发明连接到媒体解码器200。

虽然图中没有示出，但是用户终端100除了解码器200之外，还可以包括按照本发明的编码器。按照另外一种可选方案，终端100不包含解码器200，而仅仅包含本发明的编码器。

用户终端100的单元110、130和200可以是以软件、硬件或它们的组合的形式提供的。

图9是图解说明在图8的用户终端中实现的按照本发明的解码器实施方式200的示意性框图。解码器200接收编码的图像元素数据，其中每个图像元素组由编码组表达来代表。编码的视频序列因此其中包括由解码器200解码的多个这样的编码组表达。

解码器200包括第一预测提供器210，该第一预测提供器被安排用来提供编码视频序列中帧内的图像元素组的第一预测。预测提供器210在识别和提供第一预测时优选地使用第一预测标识符，如帧内模式标识符或帧标识符加上运动向量。所提供的预测优选地基于与当前组处于同一帧内的或者编码视频序列的另一个帧内的编码图像元素组的至少一个在前解码版本。在前一种情况下，所述至少一个编码图像元素组此外还优选地是该帧内的一个或多个相邻组。

在解码器200中安排有第二预测提供器220，用于为图像元素组提供至少一个第二图像组预测。提供器220在识别和提供正确的第二预测时优选地使用预测标识符，优选地是帧内模式标识符或参考帧标识符加上运动向量。

解码器200还包括加权提供器230，其被安排用来提供初始第一加权系数和至少一个第二加权系数。在经过修改之后，初始加权系数要由第一预测修改器250施加到由第一预测提供器210提供的第一预测上。相应地，至少一个额外的第二系数可能也在经过额外的修改之后由第二预测修改器260施加到由第二预测提供器220提供的至少一个第二预测上。

加权提供器230在提供加权系数时可以按照本发明的不同实施方式进行操作。在第一个实施方式中，编码组表达包括加权系数。在这种情况下，加权提供器230简单地从编码组表达中检索加权系数数据。按照另外一种可选方案，编码组表达包括到加权系数数据库或表格(未示出)的明确标识符，使得加权提供器230能够从所连接的表格中检索正确的加权。也可以使用隐含的标识符，比如如果加权提供器230计算来自第一210和第二220预测提供器之间的差或商或者基于来自于编码组表达的残差数据并且优选地还来自于之前解码的组表达的这一残差数据就能够获得的标识符。

加权提供器230还可以基于另一个系数计算这些加权系数之一。在这种情况下，查表过程或从编码组中的检索仅仅提供所需加权系数的子集。加权提供器230然后可以使用任何前面介绍的计算操作来获得剩余的(多个)加权系数。

加权修改器240被安排以与加权提供器230连接，并且该加权修改器240进行操作用于利用由加权修改器240检索或计算出来的系数修改量对来自于提供器的至少初始第一加权系数进行修改。该修改(比如相乘、相加、异或(XOR)或某种其它操作)生成包括多个系数值的第一加权系数，其中每个这样系数值与图像元素组中的至少一个图像元素位置相关联。还要对系数修改量加以选择，使得不同的系数值反映组中不同图像元素位置上第一预测的相对不确定性和/或不同图像元素位置上的结构特点或特征。

系数修改量的提供可以由加权修改器240通过从编码表达中检索修改量、使用编码表达的明确修改量标识符从相连接的查询表(图中未示出)中取出修改量或者使用隐含标识符提供修改量来执行。后者的典型实例是使用具有修改量值和取决于由预测提供器210产生的帧内预测所使用的实际帧内模式的分布的帧内模式专用系数修改量。

加权修改器240还可以以类似的方式提供系数修改量和修改由加权提供器230提供的其它的一个或(多个)加权系数。

第一预测修改器250使用由加权修改器240产生的第一加权系数来如前所述那样对由第一预测提供器210提供的第一预测进行加权。相应地，第二预测修改器260使用来自于加权提供器230的第二加权系数(或来自于修改器240的经过修改的第二加权系数)来生成图像元素组的经过修改的第二预测。

将来自这些单元250、260的两个经过修改的预测转送到图像元素发生器270，该图像元素发生器270设置在解码器200中，用来基于经过修改的预测为组中的图像元素产生图像元素值，比如颜色值或亮度和色度值。发生器270典型地将两个经过修改的预测进行相加，并且优选地还加上任何残差或化整数据，以获得不同的值。残差可以是如前所述那样在施加加权系数之前加上的。

解码器200的单元210到270可以是以软件、硬件或它们的组合的形式提供的。分布式的实现方式也是可以的，其中单元210到270中的至少一个可以是在其中实现解码器的用户终端中的其它地方提供的。

图10图解说明的是按照本发明的解码器200的另一种实施方式。解码器200包括用于接收输入位流(编码组表达)的熵解码器280。将熵解码器280耦合成用来向反量化器282提供解码输出并且随后将提供给反变换器284。反变换器284的输出与加法器270(相当于图9的图像元素发生器)连接，继而加法器270与帧内预测器210相耦合。帧内预测器与附图中由乘法器示意性代表的第一预测修改器250相耦合。加法器270的输出还可能经由用于提供输出图像的解块滤波器(未示出))耦合到参考帧存储器286。帧存储器286与作为帧间预测器进行操作的运动补偿器220耦合。运动补偿器220还与第二预测修改器260相连接。熵解码器280被连接用来向运动补偿器220的第二输入端提供运动向量。解码器280还向加权提供器和修改器230、240提供输入数据，加权提供器和修改器230、240使用该输入数据(加权标识符或代表加权的其它数据)来提供初始帧内加权系数、系统修改器和帧间加权系数。单元230、240还向预测修改器250、260输出正确的帧内和帧间加权系数。这些预测修改器250、260的输出端与加法器272相连接，加法器272的输出端与加法器270连接。这种解码器实施方式200的操作类似于前面介绍和图9中公开的实施方式。

图11是按照本发明的视频序列编码器300的示意性框图。编码器300接收包括具有多个图像元素组的帧的输入视频序列。

输入数据由第一预测估计器310加以处理，第一预测估计器被安排用来估计要编码的图像元素组的第一预测。估计器310的操作如前所述并且涉及提供第一预测标识符。在编码器300中还安排第二预测估计器320，用于如前所述那样生成图像元素组的第二预测。估计器320还提供第二预测标识符。估计器310、320不仅选择相关参考图像元素组来用作预测，而且优选地还为当前图像元素组确定最佳组大小，即，该组是否应该被处理为宏块或子块或划分。按照另外一种可选方案，这一大小选择是由编码器300的专用划分选择器360来进行的。

第一系数定义器330被安排用来为图像元素组定义初始第一加权系数。相应地，第二系数定义器340被实现为用来定义要施加给第二组预测的第二加权系数。这些确定是如前所述那样进行的。修改量定义器350被安排用来定义要施加给来自于第一定义器330的初始第一加权系数的系数修改量，以生成包括与组中不同图像元素位置相关联的多个系数值的第一加权系数。除非使用隐含的加权系数和修改量标识符，否而不同的定义器330、340、350还提供使得解码器能够提供正确加权系数和系数修改量的各个标识符。

编码器300优选地还包括残差编码器，该残差编码器用于生成代表原始图像元素组与由按照第一加权系数修改的第一预测和按照另一个加权系数修改的另一个预测表达的组之间的差的残余误差。编码组表达于是优选地包括第一预测标识符、第二预测标识符以及至少一个初始第一加权系数标识符和第二加权系数标识符。这个至少一个系数标识符可以具有明确(编码表达中的专用位序列)或隐含(能够根据编码表达中的其它序列计算出来)的形式。该编码表达还可以包括残差数据以及其它加权系数和/或修改量标识符。

编码器300的单元310到360可以是以软件、硬件或它们的组合的形式提供的。

图12描绘的是按照本发明的另一个实施方式的示范性编码器300。该编码器包括以信号通信的方式与加法器391的正输入端相耦合的视频输入端。加法器391与变换器392耦合，变换器392之后是量化器393。

量化器的输出端与用来提供输出位流的熵编码器394的输入端连接。量化器393的输出端还与包括后面跟着反变换器396的反量化器395的内循环部分连接。反变换器397的输出端与加法器397耦合，该加法器397继而又与帧内预测器310耦合。帧内预测器310的输出端与图中由乘法器举例示出的预测修改器354耦合。修改器354的输出端与加法器356的第一输入端耦合。

加法器397的输出端可能通过解块滤波器(未示出)与参考帧存储器316耦合。帧存储器316与运动补偿器314耦合，该运动补偿器314与预测修改器352的输入端耦合。两个预测修改器352、354的输出端与加法器356耦合，加法器356的输出端与加法器391的负输入端和加法器397的输入端连接。

视频输入端还与运动估计器312的第一输入端连接，以提供运动向量。加法器397的输出端也与运动估计器312连接。运动估计器314和补偿器314共同构成了图11的第二预测估计器320和划分选择器360。运动估计器312的输出端与运动补偿器314和熵编码器394的第二输入端连接。

帧内预测器310和运动补偿器314的输出端与加权系数分配器330、340、350的输入端连接。这个分配器使用帧间和帧内预测来选择初始帧内加权系数、系数修改量和帧间加权系数。将这些输出转送到预测修改器352、354，预测修改器352、354对帧内和帧间预测进行修改。

本领域技术人员将会理解，可以对本发明进行各种不同的修改和改变，而不会背离由所附权利要求限定的本发明的范围。

参考文献

[1]ITU-T Rec.H.264 and ISO/IEC 14496-10，“Advanced Video Coding”，2003

[2]WO 2004/064255

[3]JVT-Q205“Testing Conditions for SVC Coding Efficiency and JSVMPerformance Evaluation”，Poznan，23-29 July，2005

[4]Joint Draft 7 of SVC Amendment，Joint Video Team(JVT)of ISO/IECMPEG & ITU-T VCEG，2006

Claims (43)

1.一种对编码视频序列的帧中图像元素组进行解码的方法，所述方法包括步骤：

a)提供所述图像元素组的第一预测；

b)提供所述图像元素组的第二预测；

c)提供初始第一加权系数；

d)通过用系数修改量修改所述初始第一加权系数来生成包括多个系数值的第一加权系数，每个系数值与所述图像元素组中的图像元素位置相关联；

e)提供第二加权系数；

f)根据所述第一预测和所述第一加权系数来确定加权的第一预测；

g)根据所述第二预测和所述第二加权系数来确定第二加权的预测；

h)基于所述加权的第一预测和所述第二加权的预测生成所述图像元素组的解码版本。

2.按照权利要求1所述的方法，其中所述系数值取决于它们在所述图像元素组中的相关相对图像元素位置。

3.按照权利要求1或2所述的方法，其中所述提供步骤a)包括基于所述帧中的编码图像元素组的解码版本提供所述图像元素组的帧内预测。

4.按照权利要求3所述的方法，此外还包括将所述系数修改量选择成具有取决于所述图像元素组中的相对图像元素位置的多个系数值，其中与所述图像元素组中的第一图像元素位置相关联的第一系数值大于与所述图像元素组中的第二图像元素位置相关联的第二系数值，所述第二图像元素位置比所述第一图像元素位置离所述帧中的所述编码图像元素组更远。

5.按照权利要求1到4中任何一项所述的方法，其中所述提供步骤b)包括基于所述编码视频序列的另一帧中的编码图像元素组的解码版本提供所述图像元素组的帧间预测。

6.按照权利要求1到5中任何一项所述的方法，其中所述提供步骤c)和所述提供步骤e)共同地包括步骤：

-提供所述初始第一加权系数和所述第二加权系数之一；和

-基于所述所提供的所述初始第一加权系数和所述第二加权系数之一计算所述初始第一加权系数和所述第二加权系数中的另一个。

7.按照权利要求6所述的方法，其中所述提供步骤包括基于与所述图像元素组相关联的加权标识符提供所述初始第一加权系数和所述第二加权系数中的所述之一。

8.按照权利要求1到7中任何一项所述的方法，此外还包括：

-对所述第一预测和所述第二预测的至少一个进行滤波，以获得所述第一预测和所述第二预测中的所述至少一个的局部对比度信息；和

-基于所述局部对比度信息提供所述系数修改量。

9.按照权利要求1到8中任何一项所述的方法，此外还包括基于所述第一预测和所述第二预测中的至少一个执行所述提供步骤c)和所述提供步骤e)中的至少一个。

10.按照权利要求9所述的方法，此外还包括计算所述第一预测和所述第二预测之间的差，所述执行步骤包括基于所述差执行所述提供步骤c)和所述提供步骤e)中的至少一个。

11.按照权利要求10所述的方法，其中所述执行步骤包括基于所述差从定义多个不同加权系数的查询表中提供所述初始第一加权系数和所述第二加权系数中的至少一个。

12.按照权利要求1到11中任何一项所述的方法，此外还包括从一组多个系数修改量中选择所述系数修改量。

13.按照权利要求12所述的方法，其中所述选择步骤包括基于所述第一预测从一组多个系数修改量中选择所述系数修改量。

14.一种对视频序列的帧中图像元素组进行编码的方法，所述方法包括步骤：

a)估计所述图像元素组的第一预测；

b)估计所述图像元素组的第二预测；

c)定义初始第一加权系数；

d)定义要施加到所述初始第一加权系数上的系数修改量以生成包括多个系数值的第一加权系数，每个系数值与所述图像元素组中的图像元素位置相关联，所述第一加权系数要施加到所述第一预测上；和

e)定义要施加到所述第二预测上的第二加权系数，其中将所述图像元素组编码为所述第一预测的标识符、所述第二预测的标识符以及所述初始第一加权系数和所述第二加权系数中的至少一个的标识符。

15.按照权利要求14所述的方法，其中所述多个系数值取决于它们在所述图像元素组中的相关相对图像元素位置。

16.按照权利要求14或15所述的方法，其中所述估计步骤a)包括基于所述帧中的另一个图像元素组估计所述图像元素组的帧内预测。

17.按照权利要求16所述的方法，其中所述定义步骤d)包括定义具有取决于所述图像元素组中的相对图像元素位置的多个系数值的系数修改量，其中与所述图像元素组中的第一图像元素位置相关联的第一系数值大于与所述图像元素组中的第二图像元素位置相关联的第二系数值，所述第二图像元素位置比所述第一图像元素位置离所述帧中的所述另一个图像元素组更远。

18.按照权利要求14到17中任何一项所述的方法，其中所述估计步骤b)包括基于所述视频序列的另一个帧中的图像元素组估计所述图像元素组的帧间预测。

19.按照权利要求14到18中任何一项所述的方法，其中所述帧包括图像元素的多个宏块并且所述估计步骤b)包括步骤：

-找出构成所述图像元素组的适当宏块划分；和

-确定所述宏块划分的帧间预测，并且所述估计步骤a)包括基于所述帧间预测确定所述宏块划分的帧内预测。

20.按照权利要求14到19中任何一项所述的方法，其中将所述图像元素组编码为所述第一预测的所述标识符、所述第二预测的所述标识符、所述述初始第一加权系数的所述标识符和所述第二加权系数中的所述标识符。

21.按照权利要求14到20中任何一项所述的方法，此外还包括基于所述第一预测和所述第二预测执行所述定义步骤c)和所述定义步骤e)中的至少一个。

22.按照权利要求21所述的方法，此外还包括计算所述第一预测和所述第二预测之间的差，所述执行步骤包括基于所述差执行所述定义步骤c)和所述定义步骤e)中的至少一个。

23.按照权利要求21所述的方法，此外还包括计算所述第一预测和所述第二预测中的局部空间差，所述执行步骤包括基于所述差执行所述定义步骤c)和所述定义步骤e)中的至少一个。

24.按照权利要求14到23中任何一项所述的方法，其中所述定义步骤d)包括基于所述第一预测定义所述系数修改量。

25.按照权利要求14或24中任何一项所述的方法，基于所述帧中的相邻图像元素组的残差数据执行所述定义步骤c)和定义步骤e)中的至少一个。

26.一种解码器，包括：

-第一预测提供器，该第一预测提供器被安排用来提供编码视频序列中帧内的图像元素组的第一预测；

-第二预测提供器，该第二预测提供器被安排用来提供所述图像元素组的第二预测；

-加权提供器，该加权提供器被安排用于提供初始第一加权系数和第二加权系数，

-加权修改器，该加权修改器被安排用于通过用系数修改量修改所述初始第一加权系数来生成包括多个系数值的第一加权系数，每个系数值与所述图像元素组中的图像元素位置相关联；

-第一预测修改器，该第一预测修改器被安排用于基于由所述第一预测提供器提供的所述第一预测和由所述加权修改器产生的所述第一加权系数确定加权的第一预测；

-第二预测修改器，该第二预测修改器被安排用于基于由所述第二预测提供器提供的所述第二预测和由所述加权提供器提供的所述第二加权系数确定第二加权的预测；和

-图像元素发生器，该图像元素发生器被安排用于基于所述加权的第一预测和所述第二加权预测生成所述图像元素组的解码版本。

27.按照权利要求26所述的解码器，其中所述第一预测提供器被安排用于基于所述帧中的编码图像元素组的解码版本提供所述图像元素组的帧内预测。

28.按照权利要求26或27所述的解码器，其中所述第二预测提供器被安排用于基于所述编码视频序列的另一帧中的编码图像元素组的解码版本提供所述图像元素组的帧间预测。

29.按照权利要求26到28所述的解码器，其中所述加权提供器被安排用于提供所述第一帧内加权系数和所述第二加权系数之一并且基于所述初始第一加权系数和所述第二加权系数中的所述一个计算所述初始第一加权系数和所述第二加权系数中的另一个。

30.按照权利要求29所述的解码器，其中所述加权提供器被安排用于基于与所述图像元素组相关联的加权标识符提供所述初始第一加权系数和所述第二加权系数中的所述之一。

31.按照权利要求26到30中任何一项所述的解码器，其中所述加权修改器被安排用于i)滤波所述第一预测和所述第二预测中的至少一个，以获得所述第一预测和所述第二预测中的所述至少一个的局部对比度信息，和ii)基于所述局部对比度信息提供所述系数修改量。

32.按照权利要求26到31中任何一项所述的解码器，其中所述加权提供器被安排用于基于由所述第一预测提供器提供的所述第一预测和由所述第二预测提供器提供的所述第二预测中的至少一个提供所述初始第一加权系数和所述第二加权系数中的至少一个。

33.按照权利要求32所述的解码器，其中所述加权提供器被安排用于计算由所述第一预测提供器提供的所述第一预测和由所述第二预测提供器提供的所述第二预测之间的差并且用于基于所述差提供所述初始第一加权系数和所述第二加权系数中的至少一个。

34.按照权利要求33所述的解码器，其中所述加权提供器被安排用于基于所述差从定义多个不同加权系数的查询表中提供所述初始第一加权系数和所述第二加权系数中的至少一个。

35.一种编码器，包括：

-第一预测估计器，该第一预测估计器被安排用来估计视频序列的帧内的图像元素组的第一预测；

-第二预测估计器，该第二预测估计器被安排用来估计所述图像元素组的第二预测；

-第一系数定义器，该第一系数定义器被安排用于定义初始第一加权系数；

-修改量定义器，该修改量定义器被安排用于定义要施加到所述初始第一加权系数上的系数修改量以生成包括多个系数值的第一加权系数，每个系数值与所述图像元素组中的图像元素位置相关联，所述第一加权系数要施加到所述第一预测上；和

-第二系数定义器，该第二系数定义器被安排用于定义要施加到所述第二预测上的第二加权系数，其中将所述图像元素组编码为所述第一预测的标识符、所述第二预测的标识符以及所述初始第一加权系数和所述第二加权系数中的至少一个的标识符。

36.按照权利要求35所述的编码器，其中所述帧包括图像元素的多个宏块，并且所述编码器此外还包括划分选择器，该划分选择器被安排用于选择构成所述图像元素组的适当宏块划分，所述第二预测估计器被安排用于确定所述宏块划分的帧间预测，并且所述第一预测估计器被安排用于基于所述帧间预测确定所述宏块划分的帧内预测。

37.按照权利要求35或36所述的编码器，其中所述第一系数定义器被安排用于基于所述估计的第一预测和所述第二预测确定所述初始第一加权系数。

38.按照权利要求35到37中任何一项所述的编码器，其中所述第二系数定义器被安排用于基于所述估计的第一预测和所述第二预测确定所述第二加权系数。

39.一种对编码视频序列的帧中的图像元素组进行解码的方法，所述方法包括步骤：

a)提供所述图像元素组的第一预测；

b)提供所述图像元素组的第二预测；

c)根据由所述第一预测和所述第二预测计算出来的量提供加权预测；和

d)基于所述加权预测和从所述第一预测及所述第二预测中选择的预测生成所述图像元素组的解码版本。

40.按照权利要求39所述的方法，其中所述提供步骤c)包括：

-计算所述第一预测和所述第二预测之间的差；和

-基于所述计算的差从查询表中提供所述加权预测。

41.按照权利要求39或40所述的方法，其中所述生成步骤包括基于所述加权预测与从所述第一预测及所述第二预测中选择的所述预测的相加生成所述解码版本。

42.按照权利要求39到41中任何一项所述的方法，其中所述加权预测包括用于所述组中的所述图像元素的不同预测值，其中所述不同预测值反映所述第一预测和所述第二预测的至少一个中的预测值的相对不确定性。

43.按照权利要求39到41中任何一项所述的方法，其中所述加权预测包括用于所述组中的所述图像元素的不同预测值，其中所述不同预测值反映所述第一预测和所述第二预测的至少一个中的局部对比度变化。

Images