CN101185334B - 利用加权预测编码/解码多层视频的方法和装置 - Google Patents

Abstract

一种在多层视频编解码器中利用层间信息有效地编码多个层的方法和装置。该方法包括：读取关于下层画面的信息；利用所述关于下层画面的信息来计算权重因子；利用所述权重因子来计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及对当前画面与所述预测画面之间的差进行编码。

Description

利用加权预测编码/解码多层视频的方法和装置

技术领域

符合本发明的装置和方法涉及视频编码，而且更具体地，涉及在多层视频编解码器中利用层间信息有效地编码多个层。

背景技术

随着信息通信技术的发展，包括因特网在内，包含诸如文本、视频、音频等等各种信息的多媒体服务日益增多。多媒体数据需要存储媒体的较大的容量以及用于传送的较宽的带宽，因为多媒体数据的量通常很大。例如，具有640*480分辨率的24位真彩图像每帧需要640*480*24位的容量，即，大约7.37兆位的数据。当以每秒30帧的速度传送该图像时，需要221兆位/秒的带宽。当存储基于这样的图像的90分钟电影时，需要大约1200千兆位的存储空间。因而，压缩编码方法是用于传送包含文本、视频、和音频的多媒体数据所必须的。

数据压缩的基本原理是去除数据冗余度。可以通过去除其中在图像中重复相同的颜色或物体的空间冗余度、其中在运动图像中相邻帧之间改变甚微或在音频中重复相同的声音的时间冗余度、或者考虑人眼视力和对高频的有限感知的心理视觉冗余度来压缩数据。可以将数据压缩根据是否损失源数据而划分为有损/无损压缩，根据是否独立地压缩单独的帧而划分为帧内/帧间压缩，以及根据压缩所需的时间是否与复原所需的时间相同而划分为对称/不对称压缩。数据压缩如果压缩/复原时间延迟不超过50毫秒则定义为实时压缩，而当帧具有不同的分辨率时就定义为可缩放压缩。对于文本或医学(medical)数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。进一步，帧内压缩通常用于去除空间冗余度，而帧间压缩通常用于去除时间冗余度。

用于传送多媒体信息的传输介质根据传送的媒体类型而在性能上有差异。当前使用的传输介质具有各种传输率，范围例如从能够以每秒数十兆位的传输率传送数据的很高速度的通信网络到具有384 Kbps的传输率的移动通信网络。诸如MPEG-1、MPEG-2、H.263或H.264的之前的视频编码技术基于经运动补偿的预测编码技术去除冗余度。具体地，通过运动补偿来去除时间冗余度，而通过变换编码来去除空间冗余度。这些技术具有良好的压缩率，但是由于在主算法中使用了递归方法而不能提供真实可缩放位流的灵活性。因而，近来已经对基于小波的可缩放视频编码进行了积极的研究。可缩放性表示部分地解码单个压缩位流的能力，即，执行多种类型的视频再现的能力。可缩放性包括表示视频分辨率的空间可缩放性、表示视频质量等级的信噪比(SNR)可缩放性、表示帧频的时间可缩放性、以及其组合。

H.264可缩放扩展(以下称为‘H.264 SE’)的标准化目前由MPEG(运动画面专家组)和ITU(国际电信联盟)的联合视频组(JVT)执行。H.264SE的一个有利特征在于，其利用了层之间的关联以在采用H.264编码技术时编码多个层。虽然所述多个层从分辨率、帧频、SNR等等方面考虑彼此不同，但是它们由于从相同的视频源产生而基本上具有实质的类似性。考虑到这一点，提出了多种在编码上层数据时利用关于下层的信息的有效技术。

图1是用于说明传统H.264中提出的加权预测的图。所述加权预测允许将经运动补偿的参考画面适当地缩放而不是平均地缩放，以便改善预测效率。

当前画面10中的运动块11(‘宏块’或‘子块’作为用于计算运动向量的基本单位)与由前向运动向量22指向的左参考画面20中的预定图像21对应，同时与由后向运动向量32指向的右参考画面30中的预定图像31对应。

编码器通过从运动块11中减去从图像21和31获得的预测图像来减少用于表示运动块11所需的位数。不使用加权预测的传统编码器通过简单地将图像21和31平均来计算预测图像。然而，由于运动块11通常与左和右图像21和31的平均不相同，因而难以获得准确的预测图像。

为了克服该不足，H.264中提出了一种利用加权总和确定预测图像的方法。根据该方法，为每个片段(slice)确定权重因子α和β，并使用权重因子α和β与图像21和31的乘积的总和作为预测图像。所述片段可以由多个宏块组成而且与画面相同。多个片段可以构成画面。所述提出的方法可以通过调整权重因子而获得与运动块11差别甚小的预测图像。该方法还可以通过从运动块11中减去预测图像而改善编码效率。

发明内容

技术问题

虽然H.264中定义的加权预测很有效，但是该技术迄今仅被用于单层视频编码。尚未有研究关注于将该技术应用于多层可缩放视频编码。从而，需要将加权预测应用于多层可缩放视频编码。

技术方案

本发明的说明性的、非限制性的实施例克服上面的缺点以及上面未描述的其它不足。符合本发明的装置和方法利用来自下层中的画面的信息来估计将被应用于上层中的画面的权重因子，并利用所估计的权重因子对所述上层中的画面执行加权预测。

这些装置和方法还提供用于执行所述加权预测的算法。

通过下面对优选实施例的描述，本发明的这些和其它方面将得到说明或显而易见。

根据本发明的一个方面，提供一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来编码视频的方法，该方法包括：读取关于下层画面的信息；利用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及对当前画面与所述预测画面之间的差进行编码。

根据本发明的另一个方面，提供一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来解码视频的方法，该方法包括：从输入位流中提取纹理数据和运动数据；从纹理数据重建关于下层画面的信息；利用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及从纹理数据重建当前画面的余量信号并将重建的余量信号添加到预测画面。

根据本发明的另一个方面，提供一种利用关于下层中的画面的信息对上层中的当前画面执行加权预测的视频编码器，该视频编码器包括：用于读取关于下层画面的信息的部件；用于利用所述关于下层画面的信息计算权重因子的部件；用于利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面的部件；以及用于对当前画面与所述预测画面之间的差进行编码的部件。

根据本发明的另一个方面，提供一种利用关于下层中的画面的信息对上层中的当前画面执行加权预测的视频解码器，该视频解码器包括：用于从输入位流中提取纹理数据和运动数据的部件；用于从纹理数据重建关于下层画面的信息的部件；用于利用所述关于下层画面的信息计算权重因子的部件；用于通过利用所述权重因子计算当前画面的参考画面的加权总和来产生当前画面的预测画面的部件；以及用于将纹理数据当中当前画面的纹理数据添加到预测画面的部件。

附图说明

通过结合附图详细描述其优选实施例，本发明的以上和其它特征以及优点将变得更加显而易见，其中：

图1是用于说明H.264中提出的传统加权预测的图；

图2是示出根据本发明的实施例的多层加权预测方法的流程图；

图3是示出图2中所示的步骤S50的子步骤的流程图；

图4示出其中上层分辨率为下层两倍但帧频与下层相同的多层视频结构；

图5示出其中上层和下层具有经运动补偿的时间滤波(MCTF)结构的多层视频结构；

图6示出其中上层和下层具有分层B结构的多层视频结构；

图7示出其中上层具有MCTF结构而且下层具有分层B结构的多层视频结构；

图8示出其中上层和下层具有相同帧频而且画面具有多个参考方案的多层视频结构；

图9示出其中在当前画面是异步画面时应用本发明的实施例的示例；

图10是用于说明将从下层计算得到的权重因子用于上层的方法的示意图；

图11是根据本发明的实施例的视频编码器的框图；

图12是根据本发明的实施例的视频解码器的框图；

图13是其中根据本发明的示范性实施例的视频编码器和/或视频解码器工作的系统的示意性框图。

具体实施方式

通过参照下面对优选实施例的详细描述以及附图，将更容易理解本发明的优点和特征以及其实现方法。然而，本发明可以以许多不同形式具体化，而且不应当被解读为限于这里阐述的实施例。更确切地，提供这些实施例是为了使本公开彻底和完整并向本领域技术人员全面传达本发明的概念，而且本发明将仅由所附权利要求书限定。说明书全文中类似的引用数字指代类似的元素。

现在将参照其中示出本发明的实施例的附图更全面地描述本发明。

加权预测可以对由画面亮度的逐渐增加或减少造成的淡入或淡出序列很有效。当使用多层可缩放视频编解码器编码淡入或淡出序列时，将被应用于上层的权重因子被预期为与下层的权重因子类似。也即，来自下层中的画面的信息可以用于对上层中的画面执行加权预测。该情况下，编码器不需要向解码器发送用于加权预测所需的权重因子α和β，因为来自下层中的画面的信息在编码器和解码器处均可得到。于是，解码器可以根据与编码器中使用的相同的算法来执行加权预测。

图2是示出根据本发明的实施例的多层加权预测方法的流程图。

参照图2，如果在步骤S10中输入上层中的当前画面，则在步骤S20中确定当前画面是否是同步画面。本发明中，同步画面意味着在下层(‘基础画面’)的相同位置具有相应的画面的画面。异步画面意味着在下层的相同时间位置不具有相应的画面的画面。时间上相同的位置可以被确定为如联合可缩放视频模型(JSVM)所定义的计数画面(Picture of Count POC)。

如果当前画面是同步画面(步骤S20中的“是”)，则在步骤S30中编码器确定当前画面具有与基础画面相同的参考方案和参考距离。所述参考方案可以是前向参考、后向参考、双向参考、或其它多重参考方案。所述参考距离指被预测的画面与参考画面之间的时间距离。JSVM中，可以将所述时间距离表示为被预测的画面的POC与参考画面的POC之间的差。

如果当前画面具有与基础画面相同的参考方案和参考距离(步骤S30中的“是”)，则在步骤S50中编码器对当前画面应用加权预测。相反地，如果当前画面不具有与基础画面相同的参考方案和参考距离(步骤S30中的“否”)，则在步骤S60中编码器不对当前画面应用加权预测。

图3是示出图2中所示的步骤S50的子步骤的流程图。参照图3，在步骤S51中，编码器读取关于下层中的画面的信息。关于下层画面的信息包括基础画面以及相对于基础画面经运动补偿的参考画面。步骤S52中，利用关于下层画面的信息计算权重因子α和β。稍后将更详细地描述步骤S52中从给定画面计算权重因子α和β的方法(‘权重因子计算算法’)。

步骤S53中，编码器利用运动向量对参考画面执行运动补偿以获得当前画面。在运动补偿期间，使用通过运动估计从上层估计得到的运动向量。如果使用多个参考画面，则应当使用适当的运动向量对多个参考画面中的每一个执行运动补偿。

步骤S54中，编码器将权重因子α和β乘以经运动补偿的参考画面并将乘积相加以获得预测画面(或预测片段)。编码器在步骤S55中计算当前画面(或片段)与预测画面(或片段)之间的差并在步骤S56中对差进行编码。

如参照图3所述，不必向解码器发送用于对上层执行加权预测所需的额外标志或权重因子。解码器可以通过以与编码器相同的方式执行加权预测来计算编码器中使用的权重因子。

图4至8示出可以应用本发明的多种多层视频结构。图4示出一种结构，其中上层(层2)中的画面分辨率为下层(层1)中的画面的两倍但帧频与下层相同，而且两个层均具有单个时间等级。引用符号I、P、和B分别表示I画面(或片段)、P画面(或片段)或B画面(或片段)。

从图4不难看出，由于两个层具有不同的分辨率但是两个层中的相应的画面具有相同的参考方案和参考距离，所以层1中的参考画面具有与层2中相应画面相同的位置。可以使用应用于基础画面的权重因子来对其基础画面具有相同的参考方案和参考距离的上层中的当前画面进行编码或解码。当然，在两个层使用相同的参考方案时，可以使用非相邻画面作为参考画面。

图5示出一种多层视频结构，其中上层(层2)的帧频为下层(层1)的两倍。参照图5，上层比下层多一个时间等级。这里描述的技术可以应用于其中将上和下层分解为分层时间等级的结构。也即，可以使用应用于它们相应的基础画面57至59的权重因子来有效地对上层中的高通画面当中满足参照图2所述的条件的画面54至56进行编码和解码。另一方面，不对上层中处于最高等级(等级2)的没有相应的基础画面的高通画面50至53应用加权预测。

图6示出一种多层视频结构，其中上层(层2)和下层(层1)具有H.264中定义的分层B结构。与图5中一样，上层的帧频为下层的两倍。所述分层B结构中，以与MCTF结构不同的方式将每个层分解为时间等级。也即，帧频以从高到低等级的次序增加。假定上层的帧频是A，当解码器期望以帧频A/4解码视频时，编码器仅发送处于等级2的画面。当解码器期望以帧频A/2解码视频时，编码器可以仅发送处于等级2和1的画面。当解码器期望以帧频A解码视频时，编码器可以发送处于全部等级的画面。

参照图6，高通画面61具有与基础画面64相同的参考方案和参考距离，而高通画面62具有与基础画面65相同的参考方案和参考距离。因而，可以使用应用于基础画面64和65的权重因子对高通画面61和62进行加权参考。另一方面，不对高通画面63应用加权参考，因为它不具有相应的基础画面。

图7示出一种多层视频结构，其中上层(层2)具有MCTF结构而且下层(层1)具有分层B结构。参照图7，不对上层中的处于等级2的高通画面应用加权预测，因为处于等级2的高通画面不具有任何相应的基础画面。另一方面，处于等级1或0的高通画面具有相应的基础画面。例如，高通画面72具有基础画面75。虽然高通画面72具有MCTF结构而且基础画面75具有分层B结构，但是如果两个画面72和75具有相同的参考方案和参考距离则可以毫无问题地应用加权预测。因为两个画面72和75实际上具有相同的参考方案和参考距离，所以可以应用加权预测。类似地，可以使用分配给画面74的权重因子对画面73执行加权预测。

图8示出一种多层视频结构，其中上层(层2)和下层(层1)具有单个时间等级，而且上层中的全部高通画面具有相应的基础画面。然而，上层中的高通画面不全具有与它们相应的基础画面相同的参考方案和参考距离。

例如，高通画面81具有与其相应的基础画面85相同的参考方案(双向参考方案)和相同的参考距离(1)。高通画面82具有与其相应的基础画面86相同的参考方案(后向参考方案)和相同的参考距离(1)。相反地，高通画面83和84不采用与它们相应的基础画面87和88相同的参考方案。因而，不对高通画面83和84应用加权预测。

虽然在上面描述中，在当前画面是同步画面而且当前画面具有与基础画面相同的参考方案和参考距离时应用加权预测，但是本发明不限于图2至8中所示的具体实施例。

在当前画面是异步画面时，可以使用当前画面的最接近时间位置处的下层画面及其参考画面来计算权重因子。当如图9中所示上层(层2)的帧频为下层(层1)的两倍时，上层中的画面91和93具有相应的基础画面，而且上层和下层中的画面具有不同的参考距离。然而，可以使用画面91和93的最接近时间位置处的下层中的画面92及其参考画面94和96来计算画面91和93的权重因子α和β。

例如，对下层画面92以及参考画面94和96应用‘权重因子计算算法’以计算权重因子α和β，其可以用作为画面91和93的权重因子。结果，在像淡入或淡出序列中亮度逐渐增加或减少时可能发生微小的误差但并不显著地影响编码性能。对其它序列，该方法与其中应用一半权重因子α和β的情况相比显示出较高的编码性能。以下，将处于上层画面的相同时间位置的或最接近时间位置的下层画面统一称为‘基础画面’。

现在将描述所述‘权重因子计算算法’。图10是用于说明将从下层计算得到的权重因子用于上层的方法的示意图。

首先将参照图10描述下层中发生的操作。即，单元块41意味着尺寸范围从块尺寸到画面尺寸的区域。因而，单元块41可以是运动块、宏块、片段、或画面。当然，与单元块41对应的参考画面中的图像42和43具有与单元块41相同的尺寸。当单元块41是运动块时来自单元块41的运动向量44和45意味着运动向量。当单元块41是宏块、片段、或画面时，运动向量44和45意味着多个运动向量的图形表示。

权重因子计算算法由以下步骤组成：(a)使用预定系数α_k和β_k计算基础画面的参考画面的加权总和；以及(b)确定使基础画面与加权总和之间的差的平方最小化的系数α_k和β_k的值。其中，α_k和β_k分别表示前向和后向系数。

当利用加权预测(即，步骤(a)中参考图像42和43的加权总和)获得当前单元块41的预测块时，单元块41中像素S_k的加权预测值P(S_k)可以由等式(1)定义。

P(S_k)＝α_k*S_k-1+β_k*S_k+1    …(1)

其中S_k-1的S_k+1分别表示图像42和43中与像素S_k对应的像素。

作为实际像素S_k与预测值P(S_k)之间的差的误差E_k可以由等式(2)定义：

E_k＝S_k-P(S_k)＝S_k-α_k*S_k-1-β_k*S_k+1    …(2)

因为E_k是单个像素的误差，所以单元块41中的误差的平方的总和(∑E_k ²)由等式(3)定义：

∑E_k ²＝∑(S_k-α_k*S_k-1-β_k*S_k+1)²      ...(3)

当对∑E_k ²关于α_k求偏微分并将微商设为零以获得使∑E_k ²最小化的α_k时，得到等式(4)。该情况下，将β_k设为0以便不考虑β_k的影响。

$\frac{\∂\mathrm{\Σ}{E_k}^2}{\∂{\mathrm{\α}}_k}=-2*\mathrm{\Σ}(S_k*S_{k-1})+2{\mathrm{\α}}_k\mathrm{\Σ}{S_{k-1}}^2=0...\left(4\right)$

使∑E_k ²最小化的第一权重因子α_k可以由等式(5)给出：

${\mathrm{\α}}_k=\frac{\mathrm{\Σ}{S}_k*S_{k-1}}{\mathrm{\Σ}{S_{k-1}}^2}...\left(5\right)$

当以与α_k相同的方式计算时，使∑E_k ²最小化的第二权重因子β_k可以由等式(6)给出：

${\mathrm{\β}}_k=\frac{\mathrm{\Σ}{S}_k*S_{k+1}}{\mathrm{\Σ}{S_{k+1}}^2}...\left(6\right)$

可以使用前述算法确定图10中所述的下层中的单元块41的权重因子α_k和β_k。可以使用权重因子α_k和β_k作为上层中与单元块41对应的块46的权重因子。当上层具有与下层相同的分辨率时，块46和41具有相同的尺寸。当上层具有比下层更高的分辨率时，块46可以具有比块41更大的尺寸。

上层使用分配给下层的权重因子α_k和β_k计算参考图像47和48的加权总和而不是计算新的权重因子，从而减少开销。在编码器和解码器中均可以以相同的方式执行使用分配给下层的权重因子作为上层的权重因子的过程。

虽然利用上述过程独立地计算权重因子α_k和β_k，但是可以基于α_k+β_k＝1的假定将这些因子归一化。换句话说，通过使用1-α_k代替β_k而仅将一个权重因子α_k用于双向参考方案。在等式(3)中用1-α_k代替β_k给出等式(7)：

∑E_k ²＝∑[(S_k+S_k+1)-(S_k+1-S_k-1*α_k]²        ...(7)

等式(7)中使∑E_k ²最小化的权重因子α_k可以由等式(8)定义：

${\mathrm{\α}}_k=\frac{\mathrm{\Σ}(S_{k+1}-S_{k-1})(S_{k+1}-S_k)}{\mathrm{\Σ}{(S_{k+1}-S_{k-1})}^2}...\left(8\right)$

与使用权重因子α_k和β_k二者相比，仅使用一个归一化的权重因子α_k减少了计算量。通过使用α_k和1-α_k分别作为参考图像47和48的权重因子而获得加权总和。

图11是根据本发明的实施例的视频编码器100的框图。参照图11，将输入当前画面F供给到运动估计器105、减法器115、以及下采样器170。

在基础层中，视频编码器100以下面方式工作。

下采样器170在时间上和空间下采样当前画面F。

运动估计器205使用相邻参考画面对经下采样的画面F₀执行运动估计以得到运动向量MV₀。可以使用原始图像F_0r作为参考画面(开环编码)，或者可以使用解码图像F_0r′作为参考画面(闭环编码)。以下假定视频编码器100中的上层和下层均支持闭环编码。对于运动估计，广泛使用块匹配算法。换句话说，将当前帧中预定尺寸的块与相应的块进行比较，其中每一个在预定范围的搜索块中被移动一个像素或部分像素(1/2像素、1/4像素等等)，并检测具有最小误差的最佳匹配块。对于运动估计，可以使用简单的固定块尺寸运动估计以及分层可变尺寸块匹配(HVSBM)。

运动补偿器210使用运动向量MV₀为参考画面F_0r′进行运动补偿以得到经运动补偿的画面mc(F_0r′)。当使用多个参考画面F_0r′时，可以对多个参考画面F_0r′中的每一个执行运动补偿。将经运动补偿的画面mc(F_0r′)或利用经运动补偿的画面mc(F_0r′)计算得到的预测图像供给到减法器215。当使用单向参考时，输入经运动补偿的画面mc(F_0r′)。当使用双向参考时，可以在将其输入到减法器215之前通过将多个经运动补偿的画面mc(F_0r′)平均来计算预测画面。因为本发明的当前实施例不受是否对下层应用加权预测的影响，所以图11示出未对下层应用加权预测，当然，也可以对下层应用加权预测。

减法器215从经下采样的画面F₀中减去估计的画面(或每个经运动补偿的块)并产生差信号R₀，接着将其提供到变换器220。

变换器220对差信号R₀执行空间变换并产生变换系数R₀ ^T。所述空间变换方法可以包括离散余弦变换(DCT)、或小波变换。具体地，在采用DCT的情况下可以创建DCT系数，而在采用小波变换的情况下可以创建小波系数。

量化器225将变换系数量化。量化是指利用离散数值来表示以任意实数值形成的变换系数的过程。例如，执行量化以使得用预定的量化步长来除变换系数，并接着使用整数将结果取整。

将从量化器225提供的量化结果(即，量化系数R₀ ^Q)提供到熵编码单元150和逆量化器230。

逆量化器230将量化系数R₀ ^Q逆量化。根据量化中使用的预定量化步骤，以与由量化器225执行的量化相反的次序执行逆量化，以还原与量化期间产生的指标匹配的数值。

逆变换器235接收逆量化结果并执行逆变换。以与由变换器220执行的变换相反的次序执行逆变换。具体地，可以使用逆DCT变换、或逆小波变换。加法器240将逆变换结果和由运动补偿器210执行的运动补偿步骤中使用的预测画面(或经运动补偿的画面)相加，并产生还原画面F₀′。

缓冲器245存储从加法器240提供的加法结果。因而，在缓冲器245中不仅存储当前的还原画面F₀′而且存储之前存储的还原画面F_0r′。

在上层中，视频编码器100以下面方式工作。

与在下层中一样，在上层中视频编码器100包括：运动估计器105，计算运动向量MV；运动补偿器110，使用运动向量MV为参考画面F_r′进行运动补偿；减法器115，计算当前画面F与预测画面P之间的余量信号R；变换器120，对余量信号R施加变换以产生变换系数R^T；量化器125，将变换系数R^T量化以输出量化系数R^Q。上层的视频编码器还包括逆量化器130、逆变换器135、加法器140、以及缓冲器145。由于这些组件的功能和操作与下层中的相同，将略去对它们的重复说明。下面描述将着重于所述组件的区别特征。

权重因子计算器180使用下层中与上层中的当前画面对应的基础画面F₀和经运动补偿的参考画面mc(F_0r′)来计算权重因子α和β。可以通过上面等式(5)和(6)计算权重因子α和β。可以通过等式(8)计算归一化的权重因子。当然，在使用单向参考方案时，将可以仅使用一个权重因子。

加权总和计算器160使用计算得到的权重因子α和β(或归一化的权重因子)来计算由运动补偿器110提供的经运动补偿的画面mc(F_r′)的加权总和。例如，当F_a和F_b是经运动补偿的画面而且F_a和F_b的权重因子是α和β时，加权总和可以表示为α*F_a+β*F_b。当仅使用一个经运动补偿的画面F_a以及经运动补偿的画面F_a的权重因子α时，加权总和表示为α*F_a。

同时，如上所述，对每个运动块、宏块、片段、或画面执行加权预测。如果以比画面更小的单元执行加权预测，则应当计算与画面中单元的数量对应的多对权重因子α和β，并对每个单元应用不同的权重因子以计算加权总和。将由加权总和计算器160获得的加权总和(即，预测画面P)供给到减法器115。

减法器115通过从当前画面F中减去预测画面P而产生余量信号R，并将其提供到变换器120。变换器120对余量信号R施加空间变换以创建变换系数R^T。量化器125将变换系数R^T量化。

熵编码单元150分别对从运动估计器105和205提供的经运动估计得到的运动向量MV和MV₀以及从量化器125和225提供的量化系数R^Q和R₀ ^Q执行无损编码。所述无损编码方法可以包括例如霍夫曼编码、算术编码、以及本领域普通技术人员所知的任何其它合适的无损编码方法。

图12是根据本发明的实施例的视频解码器300的框图。

熵解码单元310对输入位流执行无损解码，并提取各个层的运动向量MV和MV₀以及纹理数据R^Q和R₀ ^Q。在每个层中以与由熵编码部件执行的无损编码相反的次序执行无损解码。

将提取的下层的纹理数据R₀ ^Q提供到逆量化器420，并将提取的下层的运动向量MV₀提供到运动补偿器460。将提取的上层的纹理数据R^Q提供到逆量化器320，并将提取的上层的运动向量MV提供到运动补偿器360。

首先将描述在下层中执行的解码过程。

逆量化器420对纹理数据R₀ ^Q执行逆量化。逆量化是使用与量化过程中相同的量化表来还原与量化过程期间产生的指标匹配的数值的过程。

逆变换器430接收逆量化结果R₀ ^T，并执行逆变换。以与由变换器执行的变换过程相反的次序执行逆变换。具体地，可以使用逆DCT变换、或逆小波变换。作为逆变换的结果，还原的余量信号R₀′被提供到加法器440。

运动补偿器460使用提取的运动向量MV₀对之前还原并存储在缓冲器450中的下层的参考画面F_0r′进行运动补偿，并产生经运动补偿的画面mc(F_0r′)。

在上层中，视频解码器300以下面方式工作。

与在下层中一样，在上层中视频解码器300包括逆量化器320、逆变换器330、缓冲器350、以及运动补偿器360。由于这些组件的功能和操作与下层中的相同，将略去对它们的重复说明。下面描述将着重于所述组件的区别特征。

权重因子计算器380使用基础画面F₀和经运动补偿的画面mc(F_0r′)来计算权重因子α和β。可以通过等式(5)和(6)计算权重因子α和β。可以通过等式(8)计算归一化的权重因子。当然，在使用单向参考方案时，将可以仅使用一个权重因子。

加权总和计算器370使用计算得到的权重因子α和β(或归一化的权重因子)来计算由运动补偿器360提供的经运动补偿的参考画面mc(F_r′)的加权总和。将由加权总和计算器370获得的加权总和(即，预测画面P)供给到加法器340。

与视频编码器100中一样，对每个运动块、宏块、片段、或画面执行加权预测。如果以比画面更小的单元执行加权预测，则应当计算与画面中单元的数量对应的多对权重因子α和β，并对每个单元应用不同的权重因子以计算加权总和。

加法器340将从逆变换器330提供的逆变换结果R′与预测画面相加并还原当前画面F′。缓冲器350存储还原的当前画面F′。

图13是其中根据本发明的示范性实施例的视频编码器100和视频解码器300工作的系统的示意性框图。所述系统可以是电视机(TV)、机顶盒、台式、膝上、或掌上计算机、个人数字助理(PDA)、或者视频或图像存储装置(例如，磁带录像机(VCR)或数字录像机(DVR))。此外，所述系统可以是上述装置的组合、或者是其中包括它们当中的另外的装置的部分的一个装置。所述系统包括至少一个视频/图像源910、至少一个输入/输出单元920、处理器940、存储器950、以及显示单元930。

视频/图像源910可以是TV接收机、VCR、或其它视频/图像存储装置。视频/图像源910可以表示利用因特网、广域网(WAN)、局域网(LAN)、地面广播系统、有线网、卫星通信网、无线网、电话网等等从服务器接收视频或图像的至少一个网络连接。此外，视频/图像源910可以是所述网络的组合、或者是其中包括所述网络当中的另外的网络的部分的一个网络。

输入/输出单元920、处理器940、以及存储器950通过通信介质960彼此通信。通信介质960可以是通信总线、通信网络、或至少一个内部连接电路。从视频/图像源910接收的输入视频/图像数据可以由处理器940使用存储在存储器950中的至少一个软件程序来处理，并可以由处理器940执行，以产生提供到显示单元930的输出视频/图像。

具体地，存储在存储器950中的软件程序包括执行根据本发明的实施例的方法的可缩放基于小波的编解码器。所述编解码器可以存储在存储器950中，可以从诸如致密盘形只读存储器(CD-ROM)或软盘的存储介质读取，或者可以通过各种网络从预定服务器下载。

工业实用性

如上所述，根据本发明的实施例的视频编码器和视频解码器通过从基础画面计算权重因子而不需向解码器发送额外信息使得能够有效地进行上层画面的加权预测，从而改善视频数据的压缩效率。

虽然已经参照其示范性实施例具体地展示和描述了本发明，但是本领域技术人员应当理解，可以在其中从形式和细节上做出各种改变而不背离由所附权利要求书限定的本发明的精神和范围。

Claims (14)

1.一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来编码视频的方法，该方法包括：

读取关于下层画面的信息；

利用所述关于下层画面的信息计算权重因子；

利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及

对当前画面与预测画面之间的差进行编码，

其中所述关于下层画面的信息包含与当前画面对应的基础画面以及所述基础画面的参考画面，

其中所述基础画面是具有与当前画面最接近的时间位置的下层帧或具有与当前画面相同的时间位置的下层帧，

其中所述基础画面的参考画面是在下层中与所述基础画面相邻的画面。

2.如权利要求1所述的方法，其中如果当前画面具有与所述基础画面相同的预测模式和参考距离则执行所述信息的读取、所述权重因子的计算、当前画面的参考画面的所述加权总和的计算以及对所述差的编码，

其中该参考距离表示在预测画面和参考画面之间的时间距离。

3.如权利要求1所述的方法，其中以画面、片段、宏块和运动块其中之一为单位执行所述权重因子的计算以及参考画面的所述加权总和的计算。

4.如权利要求1所述的方法，其中所述权重因子的计算包括：

利用预定系数计算所述基础画面的参考画面的加权总和；以及

计算使所述基础画面与所述基础画面的参考画面的加权总和之间的差的平方最小化的系数的值，

其中所述系数包括前向系数和后向系数。

5.如权利要求4所述的方法，其中所述前向系数和后向系数之和为1。

6.如权利要求1所述的方法，其中参考画面的所述加权总和的计算包括：

当仅使用当前画面的一个参考画面时，计算所述权重因子与当前画面的参考画面的乘积；以及

当使用当前画面的多个参考画面时，将权重因子分别乘以所述多个参考画面，并将乘积加到一起。

7.一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来解码包含在输入位流中的视频的方法，该方法包括：

从所述输入位流中提取纹理数据和运动数据；

从所述纹理数据重建关于下层画面的信息；

利用所述关于下层画面的信息计算权重因子；

利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及

从所述纹理数据重建当前画面的余量信号并将重建的余量信号添加到预测画面，

其中所述关于下层画面的信息包含与当前画面对应的基础画面和所述基础画面的参考画面，

其中所述基础画面是具有与当前画面最接近的时间位置的下层帧或具有与当前画面相同的时间位置的下层帧，

其中所述基础画面的参考画面是在下层中与所述基础画面相邻的画面。

8.如权利要求7所述的方法，其中如果当前画面具有与所述基础画面相同的预测模式和参考距离则执行所述纹理数据和运动数据的提取、所述关于下层画面的信息的重建、所述权重因子的计算、当前画面的参考画面的所述加权总和的计算以及所述余量信号的重建，

其中该参考距离表示在预测画面和参考画面之间的时间距离。

9.如权利要求7所述的方法，其中以画面、片段、宏块和运动块其中之一为单位执行所述权重因子的计算以及参考画面的所述加权总和的计算。

10.如权利要求7所述的方法，其中所述权重因子的计算包括：

利用预定系数计算所述基础画面的参考画面的加权总和；以及

计算使所述基础画面与所述基础画面的参考画面的加权总和之间的差的平方最小化的系数的值，

其中所述系数包括前向系数和后向系数。

11.如权利要求10所述的方法，其中所述前向系数和后向系数之和为1。

12.如权利要求7所述的方法，其中参考画面的所述加权总和的计算包括：

当仅使用当前画面的一个参考画面时，计算所述权重因子与当前画面的参考画面的乘积；以及

当使用当前画面的多个参考画面时，将权重因子分别乘以所述多个参考画面，并将乘积加到一起。

13.一种利用关于下层中的画面的信息对上层中的当前画面执行加权预测的视频编码器，该视频编码器包括：

用于读取关于下层画面的信息的部件；

用于利用所述关于下层画面的信息计算权重因子的部件；

用于利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面的部件；以及

用于对当前画面与预测画面之间的差进行编码的部件，

其中所述关于下层画面的信息包含与当前画面对应的基础画面和所述基础画面的参考画面，

其中所述基础画面是具有与当前画面最接近的时间位置的下层帧或具有与当前画面相同的时间位置的下层帧，

其中所述基础画面的参考画面是在下层中与所述基础画面相邻的画面。

14.一种利用关于下层中的画面的信息对上层中的当前画面执行加权预测的视频解码器，该视频解码器包括：

用于从输入位流中提取纹理数据和运动数据的部件；

用于从所述纹理数据重建关于下层画面的信息的部件；

用于利用所述关于下层画面的信息计算权重因子的部件；

用于通过利用所述权重因子计算当前画面的参考画面的加权总和来产生当前画面的预测画面的部件；以及

用于将所述纹理数据当中当前画面的纹理数据添加到预测画面的部件，

其中所述关于下层画面的信息包含与当前画面对应的基础画面和所述基础画面的参考画面，

其中所述基础画面是具有与当前画面最接近的时间位置的下层帧或具有与当前画面相同的时间位置的下层帧，

其中所述基础画面的参考画面是在下层中与所述基础画面相邻的画面。

Images