CN103414893B - 一种用于可分级视频编码的编码装置和解码装置 - Google Patents

Abstract

本发明公开了一种用于可分级视频编码的编码装置和解码装置，从而不可分级视频解码器可用于解码包括基本层位流和增强层位流的可分级视频位流。在一种实施方式中，源视频帧被缩减以产生缩减的视频帧，该缩减的视频帧随后被编码到基本层位流中。源视频帧和从基本层位流中的缩减的视频帧中重组的放大的视频帧之间的差产生残留帧。残留帧被分成多个残留子帧，每个残留子帧的分辨率为缩减的视频帧的分辨率。残留子帧被编码到增强层位流中。因此，不可分级的编码器可用于编码缩减的视频帧和残留子帧，从而允许能够仅使用一种不可分级的解码器解码这两个位流。

Description

一种用于可分级视频编码的编码装置和解码装置

技术领域

本发明大体上涉及视频编码，具体地，涉及空间可分级视频编码。

背景技术

在空间可分级视频编码中，源视频信号的源视频帧序列被编码成基本层位流和增强层位流。基本层位流可能被单独解码以恢复源视频帧序列。可选地，基本层位流和增强层位流可一起用于恢复源视频帧序列，其分辨率大于单独使用基本层位流时所恢复的源视频帧序列。举例来说，这种特征在互联网的视频广播中是有益的。

在可分级视频传输系统的实施中，十分期望可分级视频编码方法使得可以在系统中使用(或再利用)不可分级编码器和/或解码器。一个好处是使得不可分级视频传输系统可以轻松升级至可分级的系统。在这种情况中，可分级视频传输系统的实施可以对原不可分级系统中使用的现有硬件进行低程度的改进。

在US20120002726中，公开了能够使用不可分级编码器的空间可分级视频编码方法。期望可以使用不可分级视频解码器。具体地，如果可以再次利用符合公布的视频标准的“旧(legacy)”不可分级解码器，则是有益的。在本领域内存在对允许使用不可分级视频解码器的可分级视频编码方法的需求。

发明内容

本发明提供了一种将源视频帧的序列编码成可分级视频位流的装置，该可分级视频位流包括基本层位流和增强层位流。该装置包括预处理器和编码单元。对于源视频帧序列中的独立视频帧，预处理器配置用于利用预定比例因子m缩减所述独立视频帧，m是至少为2的整数，从而生成缩减的视频帧，当与所述独立视频帧的分辨率相比较时，该缩减的视频帧在x和y方向上的分辨率均降低了m倍。编码单元配置用于：执行预定的视频编码算法以编码缩减的视频帧，从而将缩减的视频帧的图像信息合并到基本层位流中；并且执行解码算法以解码已经合并了缩减的视频帧的图像信息的基本层位流以及从基本层位流重组缩减的视频帧，由此产生解码的基本视频帧。预处理器还被配置用于：利用比例因子m放大解码的基本视频帧以产生分辨率为所述独立视频帧的分辨率的放大的解码的基本视频帧；从所述独立视频帧中减去放大的解码的基本视频帧以产生残留帧；并且将残留帧分割成N个大小相等、非重叠的残留子帧，N＝m²，其中，N个残留子帧中的每一个的分辨率均为缩减视频帧的分辨率。此外，编码单元还配置用于执行预定的视频编码算法以编码N个残留子帧中的每一个，从而所述N个残留子帧中的每一个中的图像信息被合并到增强层位流中。

本发明还提供了一种相应的装置，其配置用于解码可分级视频位流以生成较低分辨率的视频帧和较高分辨率的视频帧，其中，较高分辨率的视频帧的分辨率在x和y方向上均是较低分辨率的视频帧的分辨率的m倍，m是至少为2的整数。可分级视频位流包括基本层位流和增强层位流。利用较低分辨率的视频帧的图像信息编码基本层位流。利用N个残留子帧的图像信息编码增强层位流，N＝m²。N个残留子帧中的每一个的分辨率为较低分辨率的视频帧的分辨率。可以基于较低分辨率的视频帧和N个残留子帧生成较高分辨率的视频帧。该装置包括解码单元和后处理器。解码单元配置用于执行预定的视频解码算法以解码基本层位流，从而重组较低分辨率视频帧。后处理器被配置用于利用比例因子m放大较低分辨率的视频帧，从而产生分辨率为较高分辨率的视频帧的分辨率的放大的视频帧。解码单元还配置用于执行预定的视频解码算法N次以解码增强层位流，从而重组N个残留子帧，由此产生N个重组的残留子帧。后处理器还配置用于：非重叠地、空间地组合m个重组的残留子帧，以形成分辨率为较高分辨率的视频帧的分辨率的重组的残留帧；并且将重组的残留帧和放大的视频帧添加到一起以产生较高分辨率的视频帧。

如下文中实施方式中所示的那样还公开了本发明的其他方面。

附图说明

图1示出了根据本发明示例性实施方式的可分级视频编码器。

图2示出了为可分级视频编码器将残留帧分割成残留子帧的实例。

图3示出了根据本发明示例性实施方式并且对应于图1的编码器的可分级视频解码器。

图4示出了为可分级视频解码器将重组的残留子帧组合以形成重组的残留帧的实例。

具体实施方式

本发明的第一方面是提供一种将源视频帧的序列编码成可分级视频位流的装置，从而不可分级视频解码器可用于解码可分级视频位流。可分级视频位流包括基本层位流和增强层位流。公开的编码装置配置用于实施根据本发明第一方面公开的方法。

图1示出了可分级视频编码器，其是公开的编码装置的示例性实施方式。可分级视频编码器100包括预处理器120和编码单元130。预处理器120接收源视频帧序列110并且与编码单元130交互，从而编码单元130产生基本层位流116和增强层位流117。这两个位流都形成最终的可分级视频位流115。

对于源视频帧序列110中的独立视频帧F，预处理器120配置用于利用预定比例因子m缩减(downscale)所述独立视频帧F，m是至少为2的整数，从而生成缩减的视频帧F_B，当与所述独立视频帧F的分辨率相比较时，该缩减的视频帧在每个x和y方向上的分辨率降低了m倍。如本文所使用的那样，视频帧的分辨率由X×Y表示，其中，X和Y分别是视频帧在x方向和y方向上的像素数量。如本文所使用的那样，利用比例因子n(n是正整数)“缩减”分辨率为X×Y的视频帧表示利用因子n在x和y方向上成比例地减少视频帧的尺寸，从而产生分辨率为(X/n)×(Y/n)的最终视频帧，假设X和Y可由n除尽。如果所述独立视频帧F的分辨率为W×H，则缩减的视频帧F_B的分辨率为W′×H′，其中，W′＝W/m且H′＝H/m。一般而言，m被选择为2的幂，但本发明不限于这种特定的选择。例如，m可以被选择为2或4。

编码单元130配置用于执行预定的视频编码算法以编码缩减的视频帧F_B，从而将缩减的视频帧F_B的图像信息纳入到基本层位流116中。在编码单元130的具体实施中，使用的预定的视频编码算法可以是符合公布的视频标准(例如，H.264/AVC标准)的算法。通过为预定的视频编码算法采取H.264/AVC标准，最终的编码单元130是不可分级的编码单元。

此外，编码单元130配置用于执行对应于预定的视频编码算法的解码算法，以解码已经合并了缩减的视频帧F_B的图像信息的基本层位流116，以及从基本层位流116重组缩减的视频帧F_B。因此，其产生解码的基本视频帧F″_B，其是重组后的缩减的视频帧F_B。解码的基本视频帧F″_B的分辨率为W′×H′。

预处理器120还被配置为利用比例因子m放大解码的基本视频帧F″_B，从而产生放大的分辨率为所述独立视频帧F的分辨率的放大的解码的基本视频帧F″_upscale,B。类似于缩减，利用比例因子n(n是正整数)“放大”分辨率为X×Y的视频帧在本文中被定义为下述操作：利用因子n成比例地增大视频帧在x和y方向上的尺寸，从而产生分辨率为nX×nY的最终视频帧。因而，放大的解码的基本视频帧F″_upscale,B的分辨率为W×H。

此外，预处理器120还被配置用于将所述独立视频帧F减去放大的解码的基本视频帧F″_upscale,B。减法是从像素到像素进行的。其产生残留帧ΔF，其中，减法是逐像素进行的。也就是说，ΔF由ΔF＝F-F″_upscale,B表示，并且执行F和F″_upscale,B之间的像素到像素的减法以获得ΔF。注意，ΔF是F和F″_upscale,B之间的差值，并且F″_upscale,B可以从解码的基本视频帧F″_B中轻易地获得。如果ΔF被编码并且还从视频源发送至用户，所述独立视频帧F(其分辨率高于解码的基本视频帧F″_B)可以通过恢复ΔF并且通过从基本层位流116获得F″_B而在用户侧重组。

此外，预处理器120还被配置为将残留帧ΔF分割成N个大小相同、非重叠的残留子帧ΔF₁,…,ΔF_N，其中，N＝m²。具体地，N个残留子帧ΔF₁,…,ΔF_N中的每一个的分辨率均是缩减的视频帧F_B的分辨率。因此，ΔF₁,…,ΔF_N中的每一个的分辨率都是W′×H′。通过下述方法将ΔF分成ΔF₁,…,ΔF_N：在x方向上通过将ΔF的一个边缘分割成第一组的m个等长段，在y方向上将ΔF的另一边缘分割成第二组的m个等长段。通过根据第一组和第二组的m等长段分区ΔF而形成N个残留子帧ΔF₁,…,ΔF_N。图2示出了将ΔF分割成ΔF₁,…,ΔF_N的实例。残留帧ΔF被分区为残留子帧的m×m阵列。以逐行的方式顺序地布置N个残留子帧。在这种方式中，阵列的第一行具有残留子帧ΔF₁,ΔF₂,…,ΔF_m，而阵列的最后一行(即，第m行)分配有ΔF_N-m+1,ΔF_N-m+2,…,ΔF_N

编码单元130还配置用于执行预定的视频编码算法以编码N个残留子帧ΔF₁,…,ΔF_N中的每一个，从而所述N个残留子帧ΔF₁,…,ΔF_N中的每一个中的图像信息被合并到增强层位流117中。因此，编码单元130再次使用预定的视频编码算法来编码N个残留子帧ΔF₁,…,ΔF_N，如在编码缩减的视频帧F_B中所使用的一样。因此，仅利用一种不可分级的编码算法就可以生成基本层位流116和增强层位流117，从而使得可以仅使用一个不可分级的解码算法就可以解码这些位流116、117。

发明人已经注意到，在将F减去F″_upscale,B以获得残留帧ΔF时，ΔF的一些像素值可能变为负值。负像素值的出现可能导致编码错误。因此，增强层位流未被正确地编码，从而N个残留子帧ΔF₁,…,ΔF_N不能够被正确地解码。为了能够正确地编码ΔF₁,…,ΔF_N，优选地，预处理器120被配置为在编码单元130执行预定的视频编码算法以编码N个残留子帧ΔF₁,…,ΔF_N中的每一个之前将预定的偏移量添加到残留帧ΔF中的每个像素值中。预定的偏移量的选择使得残留帧ΔF的所有像素值都不是负值。预定的偏移量优选选择为128。

本发明的第二方面是提供一种装置，其配置用于解码可分级的视频位流以生成较低分辨率的视频帧和较高分辨率的视频帧，从而该装置仅使用一种不可分级的解码算法来生成较低分辨率的视频帧和较高分辨率的视频帧。较高分辨率的视频帧的分辨率在x和y方向上是较低分辨率的视频帧的分辨率的m倍，其中，m是至少为2的整数。可分级视频位流包括基本层位流和增强层位流。利用较低分辨率的视频帧的图像信息编码基本层位流。利用N个残留子帧的图像信息编码增强层位流，其中，N＝m2。根据较低分辨率的视频帧和N个残留子帧可以生成较高分辨率的视频帧。N个残留子帧中的每一个的分辨率均是较低分辨率的视频帧的分辨率。公开的解码装置配置用于解码根据本发明的第一方面公开的编码装置生成的可分级视频位流。

解码装置的示例性实施方式是图3中所示的可分级视频解码器。可分级视频解码器300接收包括基本层位流316和增强层位流317的可分级视频位流315，并且生成较低分辨率的视频帧371(F′_B)以及较高分辨率的视频帧372(F′)。F′的分辨率为W×H，F′_B的分辨率为W′×H′，其中，W′＝W/m且H′＝H/m，并且m(至少为2的整数)是预定的比例因子。可分级视频解码器300包括解码单元330和后处理器320。

解码单元330配置用于执行预定的视频解码算法以解码基本层位流316，从而重组较低分辨率视频帧371(F′_B)。采用的预定的视频解码算法取决于哪个编码算法被用于获得基本层位流316和增强层位流317。例如，如果在生成这两个位流316、317时采用了H.264/AVC标准，则解码算法符合H.264/AVC标准，

后处理器320被配置用于利用比例因子m放大较低分辨率的视频帧371(F′_B)，从而产生分辨率为较高分辨率的视频帧372的分辨率的放大的视频帧F′_upscale,B。

解码单元330配置用于执行预定的视频解码算法N次以解码增强层位流317，从而重组N个残留子帧，由此产生N个重组的残留子帧ΔF′₁,…,ΔF′_N。

后处理器320被配置为非重叠地、空间地组合N个重组的残留子帧ΔF′₁,…,ΔF′_N，以形成重组的残留帧ΔF′。重组的残留帧ΔF′的分辨率是较高分辨率的视频帧372的分辨率。来自ΔF′₁,…,ΔF′_N的ΔF′重组可通过下述方法实现：将N个重组的残留子帧以预定的空间顺序布置为重组的残留子帧的m×m阵列，随后将布置在m×m阵列中的N个重组的残留子帧结合在一起。图4示出了空间地组合ΔF′₁,…,ΔF′_N以形成ΔF′的实例。首先，以逐行的方式顺序地布置N个重组的残留子帧。即，重组的残留子帧一行接一行地填充到m×m阵列中。因此，用ΔF′₁,ΔF′₂,…,ΔF′_m填充阵列的第一行，并且最后一行(即，第m行)由ΔF′_N-m+1,ΔF′_N-m+2,…,ΔF′_N占据。然后，m×m阵列中的所有的N个重组的残留子帧非重叠地结合到一起以形成重组的残留帧ΔF′。

后处理器320配置用于将重组的残留帧ΔF′和放大的视频帧F′_upscale,B添加到一起以产生较高分辨率的视频帧372(F′)。因此，F′＝ΔF′+F′_upscale,B。这种添加是逐像素进行的。

通过如上所述地配置可分级视频解码器300，产生了如下优势：解码单元330再次利用了预定的视频解码算法来生成N个重组的残留子帧ΔF′₁,…,ΔF′_N，其中在生成较低分辨率的视频帧371时也使用了该解码算法。因此，可分级视频解码器300能够仅仅使用一种不可分级的解码算法来生成较低分辨率的视频帧371(F′_B)和较高分辨率的视频帧372(F′)。

在用于生成基本层位流316和增强层位流317的编码过程期间，预定的偏移量可能被故意地添加到N个残留子帧的每个子帧的每个像素值中，从而避免由负像素值导致的编码错误。为了补偿在获得增强层位流317的编码过程中的这种预定偏移量的添加，后处理器320配置用于将ΔF′和F′_upscale,B添加在一起之前从重组的残留帧ΔF′每个像素值中减去预定的偏移量。

可分级视频解码器300还可包括位流分离器370，其配置用于在可分级视频位流315中将基本层位流316从增强层位流317中分离，从而解码单元330可以分离地接收基本层位流316和增强层位流317。

本发明可以以其他具体形式实施，而不脱离其精神或本质特点。因此，本实施方式应该在所有方面被视为是示例性的，而非限制性的。本发明的范围由随附权利要求限定，而不是由前述说明书限定，并且因此落入权利要求的等价物的意义和范围内的所有变化应该包含在本发明的范围内。

Claims (9)

1.一种用于将源视频帧序列编码成可分级视频位流的装置，其中，可分级视频位流包括基本层位流和增强层位流，该装置包括预处理器和编码单元，其中：

对于源视频帧序列中的独立视频帧，预处理器配置用于利用预定的比例因子m缩减所述独立视频帧，m是至少为2的整数，从而生成缩减的视频帧，当与所述独立视频帧的分辨率相比较时，该缩减的视频帧在x和y方向上的分辨率均降低为m分之一；

编码单元配置用于执行预定的视频编码算法以编码缩减的视频帧，从而将缩减的视频帧的图像信息合并到基本层位流中；

编码单元配置用于执行对应于预定的视频编码算法的解码算法，以解码已经合并了缩减的视频帧的图像信息的基本层位流以及从基本层位流重组缩减的视频帧，由此产生解码的基本视频帧，其是重组后的缩减的视频帧；

预处理器被配置为利用比例因子m放大解码的基本视频帧，从而产生分辨率为所述独立视频帧的分辨率的放大的解码的基本视频帧；

预处理器被配置用于从所述独立视频帧中减去放大的解码的基本视频帧，从而产生残留帧；

预处理器配置用于将残留帧分割成N个大小相等、非重叠的残留子帧，N＝m²，其中，N个残留子帧中的每一个的分辨率是缩减的视频帧的分辨率；及

编码单元配置用于执行预定的视频编码算法以编码N个残留子帧中的每一个，从而所述N个残留子帧中的每一个中的图像信息被合并到增强层位流中；

由此，编码单元如在编码缩减的视频帧中使用的那样再次利用预定的视频编码算法来编码N个残留子帧，从而可以仅利用一个不可分级的编码算法来生成基本层位流和增强层位流，进而允许仅使用一种不可分级的解码算法来解码这些位流。

2.如权利要求1的装置，其中，在编码单元执行预定的视频编码算法以编码N个残留子帧中的每一个之前，预处理器被配置用于为残留帧的每个像素值添加预定的偏移量，预定的偏移量的选择使得残留帧的所有像素值都不是负的。

3.如权利要求2的装置，其中，预定的偏移量为128。

4.如权利要求1的装置，其中，预定的视频编码算法符合H.264/AVC标准。

5.一种配置用于解码可分级视频位流以生成较低分辨率的视频帧和较高分辨率的视频帧的装置，其中，较高分辨率的视频帧的分辨率在x和y方向上均是较低分辨率的视频帧的分辨率的m倍，m是至少为2的整数，可分级视频位流包括基本层位流和增强层位流，利用较低分辨率的视频帧的图像信息编码基本层位流，利用N个残留子帧的图像信息编码增强层位流，N＝m²，N个残留子帧中的每一个的分辨率为较低分辨率的视频帧的分辨率，基于较低分辨率的视频帧和N个残留子帧能够生成较高分辨率的视频帧，该装置包括解码单元和后处理器，其中：

解码单元配置用于执行预定的视频解码算法以解码基本层位流，从而重组较低分辨率的视频帧；

后处理器被配置用于利用比例因子m放大较低分辨率的视频帧，从而产生分辨率为较高分辨率的视频帧的分辨率的放大的视频帧；

解码单元配置用于执行预定的视频解码算法N次以解码增强层位流，从而重组N个残留子帧，由此产生N个重组的残留子帧；

后处理器配置用于非重叠地、空间地组合N个重组的残留子帧，以形成分辨率为较高分辨率的视频帧的分辨率的重组的残留帧；

后处理器配置用于将重组的残留帧和放大的视频帧添加到一起以产生较高分辨率的视频帧；

由此解码单元如在生成较低分辨率的视频帧中使用的那样再次利用预定的视频解码算法来生成N个重组的残留子帧，从而使得该装置能够仅使用一种不可分级的解码算法来生成较低分辨率的视频帧和较高分辨率的视频帧。

6.如权利要求5的装置，其中，在将重组的残留帧和放大的视频帧添加到一起之前，后处理器配置用于从重组的残留帧的每个像素值中减去预定的偏移量，从而补偿在获得增强层位流的编码过程中的该预定的偏移量的添加。

7.如权利要求6的装置，其中，预定的偏移量为128。

8.如权利要求5的装置，其中，预定的视频解码算法符合H.264/AVC标准。

9.如权利要求5的装置，还包括位流分离器，其配置用于在由装置接收的可分级视频位流中将基本层位流从增强层位流中分离，从而允许解码单元分离地接收基本层位流和增强层位流。