CN104104965A - 层次化图像和视频编解码器 - Google Patents

Abstract

对图像数据或者包括图像的序列的视频数据进行编码和压缩的层次化系统和方法。在一个实施例中，使用行缓冲器来保存图像的行，并且随着从输入数据流中读取图像的第二行，例如通过哈达玛变换来对图像的2×2块进行变换。每个变换产生一低频分量和三个高频分量。高频分量被例如利用熵编码来进行编码并送出到输出比特流。低频分量被推送到行缓冲器。继续这个过程，直到形成了足够的低频分量来完成低频分量的2×2块为止，该2×2块随后被变换。对于多个层层次化地重复该过程。

Description

层次化图像和视频编解码器

相关申请的交叉引用

本申请要求2013年4月2日递交的标题为“HIERARCHICAL IMAGEAND VIDEO CODEC(层次化图像和视频编解码器)”的61/807,671号临时申请的优先权和权益，这里通过引用并入该申请的全部内容。

技术领域

以下描述涉及用于对数字图像数据编码的系统和方法，更具体而言涉及视频数据的编码的层次化方案。

背景技术

视频数据流由图像的序列构成并且包含高数据量。这种数据流可被编码，例如压缩，以降低信道容量要求。可伸缩的视频编码通常被用于产生多层格式的压缩视频，该多层格式的压缩视频可用于需要支持各种分辨率的设备的应用。这种格式中的每个图像层是与产生作为相对于先前较低分辨率的增强的特定分辨率所需的数据相对应的独立比特流。在采用这种格式的系统中，每个设备只需要解码到其需要的分辨率。

在相关技术的实现方式中，图像被分割成与最低分辨率中的单个像素相对应的像素区域。例如，对于H.265（HEVC），这些区域可以是图像内的32×32块。结果，直到至少有31行对编码器可用，例如被从输入视频流读取到缓冲器——其可被称为行缓冲器（line buffer）——中为止，编码器才能开始编码。这导致了对用于对视频流编码的硬件的繁重要求，以及成本的增加。从而，需要对于缓冲器空间的要求降低的用于对视频编码的系统和方法。

此背景技术部分中公开的上述信息只是用于增强对本发明的背景的理解，因此其可包含不形成在本国已经为本领域普通技术人员所知的现有技术的信息。

发明内容

本发明的示范性实施例的一方面包括对图像数据或者包括图像的序列的视频数据进行编码和压缩的层次化系统和方法。在一个实施例中，使用行缓冲器来保存图像的行，并且随着从输入数据流中读取图像的第二行，例如通过哈达玛（Hadamard）变换来对图像的2×2块进行变换。每个变换产生一低频分量和三个高频分量。高频分量被例如利用熵编码来进行编码并送出到输出比特流。低频分量被推送到行缓冲器。继续这个过程，直到形成了足够的低频分量来完成低频分量的2×2块为止，该2×2块随后被变换。对于多个层层次化地重复该过程。

根据本发明的实施例，提供了一种用于对图像编码的方法，该方法包括：利用变换一次一个N乘N块地处理多行第一种图像元素，N是大于1的整数，其中，该变换被配置为形成多个第一高频分量和一个第一低频分量；对于每个N乘N块，对第一高频分量编码并存储第一低频分量；利用该变换一次一个M乘M块地处理第一低频分量，M是大于1的整数，其中，该变换被配置为形成多个第二高频分量和一个第二低频分量；以及对于每个M乘M块，对第二高频分量编码并存储第二低频分量。

在一个实施例中，每个第一种图像元素是像素值。

在一个实施例中，每个第一种图像元素是通过将变换施加到像素值的阵列而获得的低频分量。

在一个实施例中，该变换是哈达玛变换。

在一个实施例中，该变换是离散余弦变换。

在一个实施例中，该变换是小波变换。

在一个实施例中，M等于2。

在一个实施例中，N等于2并且M等于2。

在一个实施例中，对第一高频分量编码包括利用熵编码来对第一高频分量编码。

在一个实施例中，对第二高频分量编码包括利用熵编码来对第二高频分量编码。

在一个实施例中，N等于2，并且每个N乘N块具有四个图像元素，包括：第一图像元素；第二图像元素；第三图像元素；以及第四图像元素。

在一个实施例中，低频分量是一常数乘以四个图像元素的和。

在一个实施例中，该常数是二分之一。

在一个实施例中，高频分量是一常数乘以如下两项之间的差：第一图像元素与第二图像元素的和；以及第三图像元素与第四图像元素的和。

在一个实施例中，该常数是二分之一。

在一个实施例中，高频分量是一常数乘以如下两项之间的差：第一图像元素与第三图像元素的和；以及第二图像元素与第四图像元素的和。

在一个实施例中，该常数是二分之一。

在一个实施例中，高频分量是一常数乘以如下两项之间的差：第一图像元素与第四图像元素的和；以及第二图像元素与第三图像元素的和。

在一个实施例中，该常数是二分之一。

根据本发明的一个实施例，提供了一种用于对图像编码的系统，该系统包括处理单元，该处理单元被配置为：利用变换一次一个N乘N块地处理多行第一种图像元素，N是大于1的整数，其中，该变换被配置为形成多个第一高频分量和一个第一低频分量；对于每个N乘N块，对第一高频分量编码并存储第一低频分量；利用该变换一次一个M乘M块地处理第一低频分量，M是大于1的整数，其中，该变换被配置为形成多个第二高频分量和一个第二低频分量；以及对于每个M乘M块，对第二高频分量编码并存储第二低频分量。

附图说明

参考说明书、权利要求和附图，将领会并理解本发明的这些和其它特征和优点，附图中：

图1是示出根据本发明的实施例的用于对图像编码的系统的元素的框图；

图2是图示出根据本发明的实施例的对图像编码的方法的各方面的流程图；

图3是图示出根据本发明的实施例的对图像编码的方法的各方面的流程图；并且

图4是示出根据本发明的实施例的采用编解码器的系统的框图。

具体实施方式

下面联系附图记载的详细描述打算作为对依据本发明提供的层次化图像和视频编解码器的示范性实施例的描述，而并不打算代表可构造或利用本发明的唯一形式。这些描述联系图示的实施例记载了本发明的特征。然而，要理解，不同的实施例可以实现相同或等同的功能和结构，而这些不同实施例也打算被包含在本发明的精神和范围内。如本文别处所标注的，同样的元素编号打算指示同样的元素或特征。诸如“…中的至少一个”之类的表述当在元素的列表之前时，修饰整个元素列表，而不修饰该列表的个体元素。另外，在描述本发明的实施例时对“可”的使用指的是“本发明的一个或多个实施例”。

图1示出了将图像数据压缩成5层的编解码器（压缩/解压缩）系统的框图，这5层被称为增强层5、增强层5、增强层3、增强层2和增强层1，或者简称为层5、层4、层3、层2和层1。在此示例中，层5包含最高分辨率信息；2×2的像素块被编码以形成层5。层4、3、2和1包含分辨率逐渐降低的数据。压缩数据的每一层是由相应的编码器生成的；这些编码器一起形成一条链，该链中的每个编码器向输出比特流提供数据并且还向链中的下一编码器提供数据。

参考图1，在一个实施例中，图像行被一次一行地推送到行缓冲器105中。在图像的第一行及之后的图像的第二行的前两个像素被推送到缓冲器中之后，2×2（即2乘2）像素块存在于缓冲器中。这个2×2像素块包括图像的第一行的前两个像素110、115和图像的第二行的前两个像素120、125。通过生成一个低频分量130和三个高频分量135的变换来对这个块进行变换。例如，可使用哈达玛变换，使得如果该2×2块中的四个像素110、115、120、125的像素值分别是a、b、c和d，则低频分量由下式给出：

$\frac{a+b+c+d}{2},$

并且高频分量由以下这些式子给出：

$\frac{a+b-c-d}{2},$

$\frac{a-b+c-d}{2},$ 以及

$\frac{a-b-c+d}{2}.$

高频分量135可例如利用熵编码来加以压缩，从而形成层5数据，并被放入输出比特流138中。低频分量130可被推送回行缓冲器中。

随后的2×2图像块被编码，直到图像的前两行都已被处理为止。第三图像行随后可被读取到行缓冲器中，并且只要第四行的前2个像素已被读取到行缓冲器中，额外的2×2块的处理就可开始。通过变换这些2×2块生成的低频分量可被直接发送到层4编码器。一旦第3和第4图像行内的前两个2×2块已被编码，行缓冲器就包含来自前两行的前两个2×2块的低频分量140、145，并且层4编码器存储来自第3和第4行的前两个2×2块的低频分量150、155。来自前两行的前两个2×2块的低频分量140、145可被读取到层4编码器中，使得其包含来自2×2块的这个2×2集合的低频分量，其中该2×2块的2×2集合与4×4像素区域相对应。

层4编码器随后对低频分量的这个2×2集合编码，例如，层4编码器利用变换来处理它们，以获得低频分量160和3个高频分量165。高频分量165可被压缩并放入输出比特流138中，从而形成层4数据，并且低频分量160可被推送到行缓冲器。在层5编码器中变换2×2块的过程随后可再继续，直到生成了低频分量的另一2×2集合为止，该2×2集合随后在层4编码器中被变换。层3、层2和层1编码器的操作是类似的，其中每个编码器使用由前一编码器产生的低频分量作为输入，前一编码器或者可以将这些低频分量存储在行缓冲器中，或者可以将它们直接递送给链中的下一编码器。

在这些示例中，变换可被施加到图像块——例如2×2块之一——中的像素，或者被施加到由先前施加的变换产生的低频分量的阵列，比如由于将变换施加到2×2块的2×2集合的每一个而产生的四个低频分量。在任一情况下，对变换的输入在本文中被称为图像元素的集合或阵列。从而，就本文使用的而言，图像元素可以是像素，或者其可以是通过将变换施加到像素或图像元素而获得的低频分量。

在一个实施例中，如下处理图像中的额外行。对于偶数行，当前两个像素和来自行缓冲器的它们上方的两个像素的2×2块被变换成一个低频值和三个高频值。然后这三个高频值被压缩成增强层5，并且该低频值或者被推送到行缓冲器，或者如果该行是4的整数倍，则被发送到层4编码器。类似地，层4编码器在每4行上运行，并且层3、2和1编码器分别在每8行、每16行和每32行上运行。由于每个级别需要的行缓冲器不超过前一级别的一半，所以能够存储2行像素的总缓冲存储器是足够的。

在其它实施例中，N×N像素块（即，N乘N像素块）被第一编码器变换，其中N可以大于2。在此情况下，在进行第一编码步骤之前，N-1个行和第N行的N个像素被读取到缓冲器中。在每种情况下，初始编码步骤对图像的N×N块编码。对N×N图像块的编码产生一个低频分量和N2-1个高频分量。这些高频分量被例如利用熵编码来加以压缩，并且低频分量最初被推送到行缓冲器。链中随后的编码器可以以相同的（N×N）块大小来工作，或者以不同大小的块，例如M×M来工作。

使用的变换不是必须要是哈达玛变换；其可以是离散余弦变换（discretecosine transform，DCT），或者小波变换。在2×2块的情况下，这三个变换，即哈达玛变换、DCT和小波变换，可以仅相差一个比例因子。在更大的块的情况下，比如16×16块，形成例如哈达玛变换的高频分量之一的像素值的线性组合可包含没有在例如DCT的任何线性组合中按比例表示的像素值。从而，对于更大的块，对变换的选择可影响编码的结果。

根据本发明的实施例的实现方式与例如在对第一32×32块的编码开始之前要求31整行和32个额外像素被读取到行缓冲器中的相关技术方案相比使用的行缓冲存储器要少得多。另外，此相关技术方案必须应对每个级别的不同块大小；本发明的实施例对于每个级别使用相同的变换和编码引擎，并且它们可被共享。本发明的一个实施例在每个级别或层使用2×2变换；此变换可尤其简单。

图2示出了描述根据本发明的实施例的对图像数据编码的方法的流程图。在动作205中，一图像行被读取到行缓冲器中，并且在动作210中，额外的图像行的一部分被读取到行缓冲器中。如果要变换2×2块，则这个部分例如可由该额外图像行的两个像素组成。在动作215中，形成图像块的变换，从而生成一个低频分量和几个高频分量，其中所生成的高频分量的数目对于N×N块是N²-1。在动作220中，例如利用熵编码对高频分量编码，并将其放入输出比特流中，并且在动作225中，将低频分量存储在例如行缓冲器中，或者链中的下一编码器中，以便例如由链中的下一编码器进行后续处理。

图3示出了编码器链中的两个连续编码器执行的动作。在动作305中，编码器可利用变换来处理N*M（即N乘M）行的第一种图像元素，以形成M行的第二种图像元素，并且在动作310中，编码器可利用该变换来处理M行的第二种图像元素，其中动作310可以部分地与动作305同时执行，即在时间上可以与动作305重叠。例如，如果N和M都是2，则在动作305中，可利用变换来一次一个2×2块地处理4行的第一种图像元素，以形成2行的第二种图像元素。第二种图像元素可以是2×2块的低频分量。如果编码器是链中的第一编码器，则第一种图像元素可以是像素，即像素值；否则它们可以是由在链中的前面的编码器中施加变换而产生的低频分量。在动作310中，M行的第二种图像元素也可被一次一个2×2块地变换。

图4示出了根据本发明的实施例的编解码器420的框图，该编解码器420被配置为对来自显示数据的源410的视频数据进行编码以便发送到显示器425。编解码器接收到的数据可被临时存储在行缓冲器105中或者被直接发送到编码器链430。编码器链430对来自源410和来自行缓冲器105的数据的处理可涉及在行缓冲器105中临时存储中间结果。经编码的数据被编码器链430送出到显示器425。

本发明的实施例的元素可利用一个或多个处理单元来实现。术语“处理单元”在本文中用来包括被采用来处理数据或数字信号的硬件、固件和软件的任何组合。处理单元硬件可包括例如专用集成电路（application specificintegrated circuit，ASIC）、通用或专用中央处理单元（central processing unit，CPU）、数字信号处理器（digital signal processor，DSP）、图形处理单元（graphicsprocessing unit，GPU）和诸如现场可编程门阵列（field programmable gatearray，FPGA）之类的可编程逻辑器件。

虽然本文已具体描述和图示了层次化图像和视频编解码器的示范性实施例，但本领域技术人员将清楚看出许多修改和变化。例如，虽然本文描述的示例是关于涉及视频数据的实施例的，但本发明的相关实施例也可利用个体图像来实现。因此，要理解，根据本发明的原理构造的层次化图像和视频编解码器可按不同于本文具体描述的方式具体实现。本发明也在权利要求及其等同物中限定。

Claims (20)

1.一种用于对图像编码的方法，该方法包括：

利用变换一次一个N乘N块地处理多行第一种图像元素，N是大于1的整数，其中，所述变换被配置为形成多个第一高频分量和一个第一低频分量；

对于每个N乘N块，对所述第一高频分量编码并存储所述第一低频分量；

利用所述变换一次一个M乘M块地处理所述第一低频分量，M是大于1的整数，其中，所述变换被配置为形成多个第二高频分量和一个第二低频分量；以及

对于每个M乘M块，对所述第二高频分量编码并存储所述第二低频分量。

2.如权利要求1所述的方法，其中，每个所述第一种图像元素是像素值。

3.如权利要求1所述的方法，其中，每个所述第一种图像元素是通过将变换施加到像素值的阵列而获得的低频分量。

4.如权利要求1所述的方法，其中，所述变换是哈达玛变换。

5.如权利要求1所述的方法，其中，所述变换是离散余弦变换。

6.如权利要求1所述的方法，其中，所述变换是小波变换。

7.如权利要求1所述的方法，其中，M等于2。

8.如权利要求1所述的方法，其中，N等于2并且M等于2。

9.如权利要求1所述的方法，其中，对所述第一高频分量编码包括利用熵编码来对所述第一高频分量编码。

10.如权利要求1所述的方法，其中，对所述第二高频分量编码包括利用熵编码来对所述第二高频分量编码。

11.如权利要求1所述的方法，其中，N等于2，并且其中每个N乘N块包括四个图像元素，这四个图像元素包括：

第一图像元素；

第二图像元素；

第三图像元素；以及

第四图像元素。

12.如权利要求11所述的方法，其中，所述低频分量是一常数乘以所述四个图像元素的和。

13.如权利要求12所述的方法，其中，所述常数是二分之一。

14.如权利要求11所述的方法，其中，高频分量是一常数乘以如下两项之间的差：

所述第一图像元素与所述第二图像元素的和；以及

所述第三图像元素与所述第四图像元素的和。

15.如权利要求14所述的方法，其中，所述常数是二分之一。

16.如权利要求11所述的方法，其中，高频分量是一常数乘以如下两项之间的差：

所述第一图像元素与所述第三图像元素的和；以及

所述第二图像元素与所述第四图像元素的和。

17.如权利要求16所述的方法，其中，所述常数是二分之一。

18.如权利要求11所述的方法，其中，高频分量是一常数乘以如下两项之间的差：

所述第一图像元素与所述第四图像元素的和；以及

所述第二图像元素与所述第三图像元素的和。

19.如权利要求18所述的方法，其中，所述常数是二分之一。

20.一种用于对图像编码的系统，该系统包括处理单元，该处理单元被配置为：

利用变换一次一个N乘N块地处理多行第一种图像元素，N是大于1的整数，其中，所述变换被配置为形成多个第一高频分量和一个第一低频分量；

对于每个N乘N块，对所述第一高频分量编码并存储所述第一低频分量；

利用所述变换一次一个M乘M块地处理所述第一低频分量，M是大于1的整数，其中，所述变换被配置为形成多个第二高频分量和一个第二低频分量；以及

对于每个M乘M块，对所述第二高频分量编码并存储所述第二低频分量。