CN101069433A

CN101069433A - 使用离散余弦变换上采样编码/解码多层视频的方法和装置

Info

Publication number: CN101069433A
Application number: CNA2005800412890A
Authority: CN
Inventors: 韩宇镇; 车尚昌; 河昊振
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-12-03
Filing date: 2005-11-18
Publication date: 2007-11-07
Also published as: US20060120448A1; JP2008522536A; KR20060063533A; KR100703734B1

Abstract

提供了一种在多层视频编码期间更有效地对基层进行上采样以执行层间预测的方法和装置。该方法包括：编码和重构基层帧；对与增强层帧中的第一块对应的重构帧中的预定尺寸的第二块执行离散余弦变换(DCT)上采样；计算所述第一块和由DCT上采样生成的第三块之间的差异；以及对该差异进行编码。

Description

使用离散余弦变换上采样编码/解码多层视频的方法和装置

技术领域

与本发明一致的装置和方法涉及视频压缩，并且更具体地，涉及在多层视频编码(multi-layer video coding)期间更有效地对基层(base layer)进行上采样以执行层间(interlayer)预测。

背景技术

随着包括互联网的信息通信技术的发展，视频通信以及文本和语音通信已显著增长。传统的文本通信不能满足各种用户需要，因而，可以提供诸如文本、图像和音乐的各种类型的信息的多媒体服务已得到增长。然而，由于多媒体数据量通常很大，所以多媒体数据需要具有较大容量的存储媒体以及较宽的传输带宽。因此，需要压缩编码方法来发送包括文本、视频和音频的多媒体数据。

数据压缩的基本原理是消除数据冗余。可以通过消除空间冗余、时间冗余或心理视觉冗余(mental visual redundancy)来压缩数据，在所述空间冗余中，在图像中重复的相同的色彩或对象；在所述时间冗余中，在运动图像的相邻帧之间存在很小的变化或者在音频中重复的相同的声音；而在所述心理视觉冗余中，考虑了人的视觉和其对高频的有限感知能力。在一般的视频编码中，通过基于运动补偿的时间滤波来消除时间冗余，通过空间变换来消除空间冗余。

为了发送消除了数据冗余后生成的多媒体，需要传输媒体。用于多媒体的各种类型的传输媒体具有不同的性能。当前使用的传输媒体具有各种传输速率。例如，超高速率通信网络每秒钟可以发送几十兆比特的数据，而移动通信网络具有每秒384千比特(K)的传输速率。为了支持具有各种速率的传输媒介或为了发送多媒体，具有可伸缩性(scalability)的数据编码方法可以适用于多媒体环境。

可伸缩性表示部分解码单个压缩位流的能力。可伸缩性包括表示视频分辨率的空间可伸缩性、表示视频质量级别的信噪比(SNR)可伸缩性以及表示帧速率的时间可伸缩性。

用于可分级的视频编码的运动图像专家组(MPEG)-21PART-13正在进行中。具体地，广泛认为多层视频编码方法是有前途的技术。例如，位流可以包括多层，即，具有不同分辨率(QCIF、CIF和2CIF)或帧速率的基层、增强层1和增强层2。

图1示出了使用多层结构的可分级视频编解码器的示例。参考图1，基层具有四分之一通用中间格式(QCIF)分辨率和15Hz的帧速率，第一增强层具有通用中间格式(CIF)分辨率和30Hz的帧速率，而第二增强层具有标准清晰度(SD)分辨率和60Hz的帧速率。

可以在编码多层视频帧中使用层间相关性。例如，可以使用根据基层视频帧中的相应区域13的预测来有效地编码第一增强层视频帧中的区域12。类似地，可以使用根据第一增强层中的区域12的预测来有效地编码第二增强层视频帧中的区域11。

当多层视频的每一层具有不同的分辨率时，在执行预测之前需要对基层的区域13的图像进行上采样。

图2示出了根据基层来预测增强层的传统上采样处理。参考图2，增强层帧20中的当前块40对应于基层帧10中的预定块30。在这种情况下，因为增强层的分辨率CIF是基层的分辨率QCIF的两倍，所以基层帧10中的块30被上采样为其分辨率的两倍。传统上，使用H.264提供的半像素插值法或双线性插值法来进行上采样。当为了仔细观察而使用传统的上采样技术来放大图像时，其可以提供良好的视觉质量，因为其平滑了图像的质量。

发明内容

技术问题

然而，当用于预测增强层时，这种技术可能导致在离散余弦变换(DCT)块37和DCT块45之间的不匹配，其中DCT块37是通过对经上采样的块35执行DCT而生成的，而DCT块45是通过对当前块40执行DCT生成的。也就是说，因为在上采样后紧接着进行DCT会因为不能重构原始块30的低通分量而导致丢失DCT块37中的部分信息，所以传统的上采样技术对于空间变换中利用DCT的H.264或MPEG-4编解码器中可能是无效的。

技术方案

本发明提供了一种用于当对基层区域进行上采样以预测增强层时尽可能多地保留基层区域的低通分量的方法。

本发明也提供了一种用于当使用DCT来对增强层执行空间变换时降低执行DCT的结果和对基层进行上采样的结果之间的不匹配的方法。

根据本发明的一个方面，提供了一种用于编码多层视频的方法，包括操作：编码和重构基层帧；对与增强层帧中的第一块对应的重构帧中的预定尺寸的第二块执行DCT上采样；计算所述第一块和由DCT上采样生成的第三块之间的差异；以及对该差异进行编码。

根据本发明的另一方面，提供了一种用于编码多层视频的方法，包括：根据所编码的基层帧重构基层残留(residual)帧；对与增强层残留帧中的第一残留块对应的重构基层残留帧中的预定尺寸的第二块执行DCT上采样；计算所述第一残留块和由DCT上采样生成的第三块之间的差异；以及对该差异进行编码。

根据本发明的另一方面，提供了一种用于编码多层视频的方法，包括：编码和反向量化基层帧；对与增强层帧中的第一块对应的反向量化帧中的预定尺寸的第二块执行DCT上采样；计算所述第一块和由DCT上采样生成的第三块之间的差异；以及对该差异进行编码。

根据本发明的另一方面，提供了一种用于解码多层视频的方法，包括：根据基层位流重构基层帧；根据增强层位流重构差异帧；对与所述差异帧中的第一块对应的所述重构基层帧中的预定尺寸的第二块执行DCT上采样；以及将由所述DCT上采样生成的第三块增加到所述第一块上。

根据本发明的另一方面，提供了一种用于解码多层视频的方法，包括：根据基层位流重构基层帧；根据增强层位流重构差异帧；对与所述差异帧中的第一块对应的所述重构基层帧中的预定尺寸的第二块执行DCT上采样；将由DCT上采样生成的第三块增加到所述第一块上；以及将由所述第三块增加到所述第一块上生成的第四块加到与第四块对应的运动补偿帧中的块上。

根据本发明的另一方面，提供了一种用于解码多层视频的方法，包括：从基层位流中提取纹理数据并反向量化所提取的纹理数据；根据增强层位流重构差异帧；对与差异帧中的第一块对应的所述反向量化结果中的预定尺寸的第二块执行离散余弦变换(DCT)上采样；以及将由所述DCT上采样生成的第三块增加到所述第一块上。

根据本发明的另一方面，提供了一种多层视频编码器，包括：用于编码和重构基层帧的装置；用于对与增强层帧中的第一块对应的所述重构帧中的预定尺寸的第二块执行离散余弦变换(DCT)上采样的装置；用于计算所述第一块和由所述DCT上采样生成的第三块之间的差异的装置；以及用于对该差异进行编码的装置。

根据本发明的另一方面，提供了一种多层视频解码器，包括：用于根据基层位流重构基层帧的装置；用于根据增强层位流重构差异帧的装置；用于对与所述差异帧中的第一块对应的所述重构基层帧中的预定尺寸的第二块执行离散余弦变换(DCT)上采样的装置；以及用于将由所述DCT上采样生成的第三块增加到所述第一块上的装置。

附图说明

通过参考附图详细描述本发明的示范性实施例，本发明的上述和其它方面将变得更加明显，其中：

图1示出了使用多层结构的典型可分级视频编解码器的示例；

图2示出了用于根据基层来预测增强层的传统上采样处理；

图3示范性示出了本发明中所使用的离散余弦变换(DCT)上采样处理；

图4示出了零填充处理的示例；

图5示出了为每个层次的可变尺寸的运动块执行层间预测的示例；

图6是根据本发明的第一示范性实施例的视频编码器的框图；

图7是根据本发明的示范性实施例的DCT上采样器的框图；

图8是根据本发明的第二示范性实施例的视频编码器的框图；

图9是根据本发明的第三示范性实施例的视频编码器的框图；

图10是与图6的视频编码器对应的视频解码器的框图；

图11是与图8的视频编码器对应的视频解码器的框图；以及

图12是与图9的视频编码器对应的视频解码器的框图。

具体实施方式

现在将参考附图更充分地描述本发明，在附图中示出了本发明的示范性实施例。

现在将参考附图更充分地描述本发明，在附图中示出了本发明的示范性实施例。通过参考下面对示范性实施例和附图的详细描述，可以更容易地理解本发明的优点和特征以及实现其的方法。然而，本发明可以被具体化为许多不同的形式，不应将其理解为限于这里所阐述的示范性实施例。而且，提供这些示范性实施例是为了本公开是全面而完备的，并且更充分地向本领域内技术人员传达本发明的概念，将只由所附权利要求书来限定本发明。在说明书的全文中，相似的附图标记指代相似的元素。

图3示范性地示出了本发明所使用的DCT上采样处理。参考图3，在操作S1中，对基层帧10中的块30执行离散余弦变换(DCT)，以生成DCT块31。在操作S2中，向DCT块31增加零填充，以生成被放大到增强层帧20中的当前块40的尺寸的块50。如图4所示，零填充是如下处理：用块30的DCT系数y₀₀至y₃₃填充块50的左上角，同时用零填充剩余区域95，其中利用增强层的分辨率与基层的分辨率的比率来放大所述块50的尺寸。

然后，在操作S3中，根据预定的变换尺寸对放大的块50执行逆DCT(IDCT)，以生成预测块60，并且在操作S4中使用预测块60来预测当前块40(此后，称为“层间预测”)。在操作S1中执行的DCT具有与在操作S3中执行的IDCT不同的变换尺寸。也就是说，当基层块30具有4×4像素的尺寸时，DCT是4×4DCT。当在操作S2中生成的块50的尺寸是基层块30的尺寸的两倍时，IDCT具有8×8的变换尺寸。

本发明包括如图3所示的对基层中的每个DCT块执行层间预测的示例，以及如图5所示的对H.264的运动估计中所使用的每个层次的可变尺寸的运动块执行层间预测的示例。当然，也可以对每个固定尺寸的运动块执行层间预测。此后，将用于执行计算运动矢量的运动估计的块称为“运动块”，不管该块是可变的还是固定尺寸。

在H.264中，将宏块90分割成最佳运动块模式，并且对每个运动块执行运动估计和运动补偿。根据本发明，依次对不同尺寸的每个运动块执行DCT变换(操作S11)，零填充(操作S12)，以及IDCT变换(操作S13)，以生成预测块，并使用该预测块来预测当前块。

参考图5，当运动块是8×4块70时，在操作S11中，对块70执行8×4DCT，以生成DCT块71。在操作S12中，向DCT块71增加零填充，以生成其尺寸被放大为16×8的尺寸的块80。在操作S13中，对块80执行16×8IDCT，以生成预测块90。然后，使用该预测块90来预测当前块。

本发明提出了用于执行上采样来预测当前块的三种示范性方法。在第一示范性实施例中，对重构基层视频帧中的预定块进行上采样，并且使用该被上采样的块来预测增强层中的当前块。在第二示范性实施例中，对重构的时间基层残留帧(“残留帧”)中的预定块进行上采样，并且使用该被上采样的块来预测时间当前增强层块(“残留块”)。在第三示范性实施例中，对基层帧中执行了DCT的块的结果执行上采样。

为了阐明这里所使用的术语，当使用层间预测时，将残留帧定义为同一层中的不同位置的帧之间的差异，而将差异帧定义为在同一时间位置上的当前层帧和较低(lower)层帧之间的差异。给出了这些定义，可以将残留帧中的块称为残留块，而将差异帧中的块称为差异块。

图6是根据本发明的第一示范性实施例的视频编码器1000的框图。参考图6，视频编码器1000包括DCT上采样器900、增强层编码器200和基层编码器100。

图7示出了根据本发明的示范性实施例的DCT上采样器900的结构。参考图7，DCT上采样器900包括DCT单元910、零填充单元920和IDCT单元930。尽管图7示出了第一和第二输入In₁和In₂，但是在第一示范性实施例中仅使用了第一输入In₁。

DCT单元910接收由基层编码器100重构的视频帧中的预定尺寸的块的图像，并且执行预定尺寸(例如，4×4)的DCT。预定块尺寸可以等于DCT单元120的变换尺寸。虑及与运动块的匹配，该预定块尺寸可以等于运动块的尺寸。例如，在H.264中，运动块可以具有16×16、16×8、8×16、8×8、8×4、4×8或4×4的块尺寸。

零填充单元920用DCT生成的DCT系数填充以增强层的分辨率与基层的分辨率的比率(例如两倍)放大的块的左上角，而将该放大块的剩余区域填充上零。

最后，IDCT单元930根据等于块的尺寸(例如，8×8)的变换尺寸而对通过零填充所生成的块执行IDCT。然后，向增强层编码器200提供逆DCT变换结果。现在将描述增强层编码器200的结构。

选择器280在从DCT上采样器900中接收的信号和从运动补偿器260中接收的信号中选择一个，并且输出所选择的信号。通过选择层间预测和时间预测中更有效的一个来执行该选择。

运动估计器250使用参考帧来对输入视频帧中的当前帧执行运动估计，以获得运动矢量。在用于运动估计的几种算法中，块匹配算法(block matchingalgorithm，BMA)是最经常使用的一种。也就是说，BMA是一种当在参考帧的指定搜索区域内以像素为单位在给定块上运动时，将误差被最小化的位移(displacement)估计为运动矢量的方法。不仅可以使用固定的运动块尺寸来执行运动估计，而且可以使用基于分层搜索块匹配算法(hierarchical searchblock matching algorithm，HSBMA)的可变的运动块尺寸来执行运动估计。运动估计器250向熵编码单元240提供运动数据，包括由运动估计而获得的运动矢量以及运动块模式、参考帧编号等。

运动补偿器260使用由运动估计器250计算的运动矢量对参考帧执行运动补偿，并且为当前帧生成时间预测帧。

为了去除当前输入帧内的时间冗余，减法器215从当前输入帧信号中减去选择器280所选择的信号。

DCT单元220对已被减法器215去除时间冗余的帧执行预定尺寸的DCT，并且创建由等式(1)定义的DCT系数：

Y_{xy} = C_{x} C_{y} Σ_{i = 0}^{M - 1} Σ_{j = 0}^{N - 1} X_{ij} \cos \frac{(2 j + 1) yπ}{2 N} \cos \frac{(2 i + 1) xπ}{2 M}

C_{x} = \sqrt{\frac{1}{M}} (k = 0), \sqrt{\frac{2}{M}} (k > 0)

C_{y} = \sqrt{\frac{1}{N}} (k = 0), \sqrt{\frac{2}{N}} (k > 0)

其中，Y_xy是DCT生成的系数(“DCT系数”)，X_ij是输入到DCT单元120的块的像素值，M和N表示水平和垂直DCT变换尺寸(M×N)。对于8×8DCT来说，M＝8且N＝8。

DCT单元220的变换尺寸可以等于或不同于DCT上采样器900执行的IDCT的变换尺寸。

量化器230对DCT系数执行量化，以生成量化系数。这里，量化是将以任意实数表示的变换系数表示为有限位数的方法。已知的量化技术包括标量量化、矢量量化等。然而，将通过示例的方式参考标量量化来描述本发明。

在标量量化中，通过等式(2)定义由量化生成的系数Q_xy(“量化系数”)：

Q_{xy} = round (\frac{Y_{xy}}{S_{xy}}) . . . (2)

其中，round(.)和S_xy分别表示用于舍入到最接近的整数的函数和运算尺寸。通过JPEG、MPEG或其它标准定义的M×N量化表来确定运算尺寸。

这里，x＝0，…，至M-1；y＝0，…，至N-1。

熵编码单元240将量化器230生成的量化系数和运动估计器250提供的运动数据无损编码成输出位流。无损编码的示例包括算术编码、可变长度编码等。

为了支持闭环编码以降低由于编码器和解码器之间的不匹配而导致的漂移误差，视频编码器1000还包括反向量化器271和IDCT单元272。

反向量化器271对量化器232量化的系数执行反向量化。反向量化是量化的倒转。IDCT单元272对反向量化结果执行IDCT，并将结果发送给加法器225。

加法器225将IDCT单元172提供的逆DCT变换结果加到由运动补偿器260提供并存储在帧缓冲器(未示出)的前一帧上，以重构视频帧，并向运动估计器发送所重构的视频帧作为参考帧。

同时，基层编码器100包括DCT单元120、量化器130、熵编码单元140、运动估计器150、运动补偿器160、反向量化器171、IDCT单元172和下采样器105。

下采样器105将原始输入帧下采样为基层的分辨率。尽管可以使用各种技术来进行下采样，但是下采样器105可以是与DCT上采样器900匹配的DCT下采样器。该DCT下采样器对输入图像块执行DCT，紧接着对该块左上角的DCT系数执行IDCT，从而将该图像块的大小降到一半。

因为基层编码器100中除了下采样器105以外的元件执行与增强层编码器200的对应部分相同的功能，所以没有给出对它们的详细解释。

同时，根据本发明的用于层间预测的上采样可以应用到整个图像以及残留图像。也就是说，可以在使用时间预测生成的增强层残留图像和相应基层残留图像之间执行层间预测。在这种情况下，在使用基层中的预定块来预测增强层中的当前块之前需要对该基层中的预定块执行上采样。

图8是根据本发明的第二示范性实施例的视频编码器2000的框图。在第二示范性实施例中，DCT上采样器900接收重构基层残留帧而不是重构基层视频帧作为输入。因而，将在经过基层编码器100的加法器125之前获得的信号(重构残留帧信号)送入到DCT上采样器900中。与第一示范性实施例类似，在第二示范性实施例中使用图7中所示的第一输入IN₁。

DCT上采样器900接收由基层编码器100重构的残留帧中预定尺寸的块的图像，以如图7所示执行DCT、零填充和IDCT。将DCT上采样器900上采样的信号送入到增强层编码器300的第二减法器235中。

现在将描述增强层编码器300的结构，重点放在与图6的增强层编码器200的差别上。将运动补偿器260提供的预测帧送入到第一减法器215中，然后第一减法器215从当前输入帧信号中减去该预测帧信号，以生成残留帧。

第二减法器235从残留帧中的相应块中减去从DCT上采样器900输出的上采样块，并且将该结果发送给DCT单元220。

因为增强层编码器300中的其它元件执行与图6的增强层编码器200中的相应部分相同的操作，所以没有给出对它们的详细解释。除了将在经过基层编码器100的加法器125之前(即在经过IDCT单元172之后)获得的信号送入到DCT上采样器900外，基层编码器100中的元件也执行与基层编码器100中的相应部分相同的操作。

同时，当DCT上采样器900使用基层编码器100获得的DCT变换结果来执行根据本发明的第三示范性实施例的上采样时，可以跳过DCT处理。在这种情况下，经基层编码器100反向量化的信号经历IDCT来重构视频帧，而不经历时间预测。

图9是根据本发明的第三示范性实施例的视频编码器3000的框图。参考图9，将对于还没经过时间预测的帧的、反向量化器171的输出送入到DCT上采样器900中。

开关135断开或接通从运动补偿器160传递到减法器115的信号。尽管当将时间预测应用于当前帧时开关135阻止信号从运动补偿器160传递到减法器115，但是当时间预测不应用于当前帧时，其允许信号从运动补偿器160传递到减法器115。

当开关135阻止基层中的信号时，本发明的第三示范性实施例被应用于没有经历时间预测而编码的帧。在这种情况下，在被送入到DCT上采样器900之前，输入帧分别经历下采样器105、DCT单元120、量化器130和反向量化器171中的下采样、DCT、量化和反向量化。

DCT上采样器900接收经历了反向量化的帧中的预定块的系数作为输入In₂(参见图7)。零填充单元920用预定块的系数来填充以增强层的分辨率与基层分辨率的比率放大尺寸的块的左上角，同时用零填充该被放大的块的剩余区域。

IDCT单元930根据等于放大块的尺寸的变换尺寸对使用零填充而生成的放大块执行IDCT。然后，将逆DCT变换结果提供给增强层编码器200的选择器280。对于随后的操作，增强层编码器200执行与图6的相应部分相同的处理，因此省略了对其的详细解释。

因为使用了基层编码器100获得的DCT变换结果，所以本发明的第三示范性实施例的上采样处理是有效的。

图10是与图6的视频编码器1000对应的视频解码器1500的框图。参考图10，视频解码器1500主要包括DCT上采样器900、增强层解码器500和基层解码器400。

DCT上采样器900具有与图7所示相同的结构，并且接收基层解码器400所重构的基层帧作为输入In₁。DCT单元910接收基层帧中的预定尺寸的块的图像，并且执行预定尺寸的DCT。预定块尺寸可以等于视频编码器1000的DCT上采样器900中的DCT单元120的变换尺寸。这样，视频解码器1500执行的解码处理与视频编码器1000执行的编码处理相匹配，从而降低了由于编码器和解码器之间的不匹配而可能发生的漂移误差。考虑到与运动块的匹配，预定块尺寸可以等于运动块的尺寸。

零填充单元920用DCT生成的DCT系数填充以增强层的分辨率与基层的分辨率的比率放大的块的左上角，同时用零填充该被放大的块的剩余区域。IDCT单元930根据等于该块尺寸的变换尺寸对使用零填充而生成的块执行IDCT。然后，将逆DCT变换结果(即DCT上采样结果)提供给选择器560。

然后，增强层解码器500包括熵解码单元510、反向量化器520、IDCT单元530、运动补偿器550和选择器560。熵解码单元510执行作为熵编码的倒转的无损解码，以提取后面要分别送入反向量化器520和运动补偿器550的纹理数据和运动数据。

反向量化器520使用与在视频编码器1000中所使用的相同的量化表来对从熵解码单元510接收的纹理数据执行反向量化。

使用下面的等式(3)来计算由反向量化生成的系数。这里，因为等式(1)中使用了采用round(.)函数的有损编码，所以系数Y_xy’与使用等式(1)计算的Y_xy不同。

Y_xy′＝Q_xy×S_xy ...(3)

然后，IDCT单元530对反向量化得到的系数Y_xy’执行IDCT。使用等式(4)来计算逆DCT变换结果X_ij’。

X_{ij}^{'} = Σ_{x = 0}^{M - 1} Σ_{y = 0}^{N - 1} C_{x} C_{y} Y_{xy}^{'} \cos \frac{(2 j + 1) yπ}{2 N} \cos \frac{(2 i + 1) xπ}{2 M} . . . (4)

在IDCT之后，重构差异帧或残留帧。

运动补偿器550使用从熵解码单元510中接收的运动数据对先前重构的视频帧执行运动补偿，生成运动补偿帧，并且将所生成的帧信号发送给选择器560。

选择器560在从DCT上采样器900接收的信号和从运动补偿器550接收的信号中选择一个，并且向加法器515输出所选择的信号。当逆DCT变换结果是差异帧时，输出从DCT上采样器900中接收的信号。另一方面，当逆DCT变换结果是残留帧时，输出从运动补偿器550中接收的信号。

加法器515将选择器560所选择的信号加到从IDCT单元530中输出的信号上，从而重构增强层视频层帧。

因为除了基层解码器400不包括选择器560外，该基层解码器400中的元件执行与增强层解码器500中的相应部分相同的操作，所以没有给出对其的详细解释。

图11是与图8的视频编码器2000对应的视频解码器2500的框图。参考图11，视频解码器2500主要包括DCT上采样器900、增强层解码器600和基层解码器400。

与图10的视频解码器1500类似，DCT上采样器900接收基层解码器400重构的基层帧作为输入In₁，以执行上采样，并将上采样结果发送给第一加法器525。

第一加法器525将IDCT单元530输出的残留帧信号加到DCT上采样器900所提供的信号上，以重构后面要送入到第二加法器515中的残留帧信号。第二加法器515将重构残留帧信号加到从运动补偿器550中接收的信号上，从而重构增强帧。

由于视频解码器2500中的其它元件执行与图10视频解码器1500的相应部分相同的操作，所以省略了对其的详细描述。

图12是与图9的视频编码器3000对应的视频解码器3500的框图。参考图12，视频解码器3500主要包括DCT上采样器900、增强层解码器500和基层解码器400。

与图10的视频解码器1500不同，DCT上采样器900接收反向量化器420输出的信号来执行DCT上采样。在这种情况下，DCT上采样器900跳过DCT处理，接收输入In₂(参见图7)作为信号来执行零填充。

零填充单元920用从反向量化器420中接收的预定块的系数来填充以增强层的分辨率与基层的分辨率的比率放大的块的左上角，同时用零来填充该被放大的块的剩余区域。IDCT单元930根据等于该被放大的块的尺寸的变换尺寸而对使用零填充所生成的放大块执行IDCT。然后，将逆DCT变换结果提供给增强层解码器500的选择器560。对于随后的操作，增强层解码器500执行与图10所示的相应部分相同的处理，因此省略了对其的详细解释。

在图12所示的示范性实施例中，因为重构的基层帧先前没有经历时间预测，所以运动补偿器450执行的运动补偿处理对于重构是不需要的，因而开关425是打开的。

在图6至图12中，各种功能组件意指但不限于诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)等执行某些任务的软件或硬件组件。这些组件可以有利地被构造为位于可寻址存储媒体上，并被构造为在一个或多个处理器上执行。所述组件和模块所具有的功能可以被组合到更少的几个组件和模块中，或者被进一步划分成其它组件和模块。

工业实用性

当为预测增强层而对基层区域执行上采样时，本发明可以尽可能多地保留基层区域的低通分量。

当使用DCT对增强层执行空间变换时，本发明可以降低执行DCT的结果和对基层执行上采样的结果之间的不匹配。

在总结该详细描述时，本领域技术人员应当明白，在基本不背离本发明的原理的情况下，可以对示范性实施例做出各种变型和修改。因此，本发明的公开示范性实施例只用于一般和说明的意义，而不是出于限制性的目的。

Claims

1.一种编码多层视频的方法，包括：

编码和重构基层帧；

对与增强层帧中的第一块对应的重构帧中的预定尺寸的第二块执行离散余弦变换DCT上采样；

计算所述第一块和由执行DCT上采样生成的第三块之间的差异；以及

对该差异进行编码。

2.根据权利要求1所述的方法，其中，所述预定尺寸等于基层帧中的DCT的变换尺寸。

3.根据权利要求1所述的方法，其中，所述尺寸等于在基层帧中的运动估计中使用的运动块的尺寸。

4.根据权利要求1所述的方法，其中，所述执行DCT上采样包括：

根据等于第二块的尺寸的变换尺寸而对第二块执行DCT；

向包括作为DCT结果而创建的DCT系数的第四块添加零填充，并且生成具有以增强层的分辨率与基层的分辨率的比率而放大的尺寸的第三块；以及

根据等于所述第三块的尺寸的变换尺寸而对该第三块执行逆DCT。

5.根据权利要求1所述的方法，其中，在所述对基层帧进行编码之前使用DCT下采样器来执行下采样。

6.根据权利要求1所述的方法，其中，编码所述差异包括：

对所述差异执行预定变换尺寸的DCT，以创建DCT系数；

量化该DCT系数来产生量化系数；以及

对量化系数执行无损编码。

7.一种用于编码多层视频的方法，包括：

根据所编码的基层帧重构基层残留帧；

对与增强层残留帧中的第一残留块对应的重构基层残留帧中的预定尺寸的第二块执行离散余弦变换DCT上采样；

计算所述第一残留块和由DCT上采样生成的第三块之间的差异；以及

对该差异进行编码。

8.根据权利要求7所述的方法，其中，所述预定尺寸等于基层帧中的DCT的变换尺寸。

9.根据权利要求7所述的方法，其中，所述执行DCT上采样包括：

根据等于所述第二块尺寸的变换尺寸而对该第二块执行DCT；

根据等于所述第三块尺寸的变换尺寸而对该第三块执行逆DCT。

10.根据权利要求7所述的方法，其中，编码所述差异包括：

对所述差异执行预定变换尺寸的DCT，以创建DCT系数；

量化DCT系数来产生量化系数；以及

对该量化系数执行无损编码。

11.一种用于编码多层视频的方法，包括：

编码和反向量化基层帧；

对与增强层帧中的第一块对应的反向量化帧中的第二块执行离散余弦变换DCT上采样；

计算所述第一块和由DCT上采样生成的第三块之间的差异；以及

对该差异进行编码。

12.根据权利要求11所述的方法，其中，所述执行DCT上采样包括：

根据等于所述第二块尺寸的变换尺寸而对该第二块执行DCT；

13.根据权利要求11所述的方法，其中，编码所述差异包括：

对所述差异执行预定变换尺寸的DCT，以创建DCT系数；

量化该DCT系数来产生量化系数；以及

对所述量化系数执行无损编码。

14.一种用于解码多层视频的方法，包括：

根据基层位流重构基层帧；

根据增强层位流重构差异帧；

对与所述差异帧中的第一块对应的所述重构基层帧中的预定尺寸的第二块执行离散余弦变换DCT上采样；以及

将由所述DCT上采样生成的第三块增加到所述第一块上。

15.一种用于解码多层视频的方法，包括：

根据基层位流重构基层帧；

根据增强层位流重构差异帧；

对与所述差异帧中的第一块对应的所述重构基层帧中的预定尺寸的第二块执行离散余弦变换DCT上采样；

将由DCT上采样生成的第三块增加到所述第一块上；以及

将由所述第三块增加到所述第一块上生成的第四块加到与第四块对应的运动补偿帧中的块上。

16.一种用于解码多层视频的方法，包括：

从基层位流中提取纹理数据并反向量化所提取的纹理数据；

根据增强层位流重构差异帧；

对与差异帧中的第一块对应的所述反向量化结果中的预定尺寸的第二块执行离散余弦变换DCT上采样；以及

将由所述DCT上采样生成的第三块增加到所述第一块上。

17.一种多层视频编码器，包括：

用于编码和重构基层帧的装置；

用于对与增强层帧中的第一块对应的所述重构帧中的预定尺寸的第二块执行离散余弦变换DCT上采样的装置；

用于计算所述第一块和由所述DCT上采样生成的第三块之间的差异的装置；以及

用于对该差异进行编码的装置。

18.一种多层视频解码器，包括：

用于根据基层位流重构基层帧的装置；

用于根据增强层位流重构差异帧的装置；

用于对与所述差异帧中的第一块对应的所述重构基层帧中的预定尺寸的第二块执行离散余弦变换DCT上采样的装置；以及

用于将由所述DCT上采样生成的第三块增加到所述第一块上的装置。