CN101911699A - 用于高度可分级的帧内视频编码的方法和设备 - Google Patents

Abstract

提供一种用于高度可分级帧内视频编码的设备和方法。为了可分级压缩效率的改善，传统的宏块DCT工具与子带滤波器组整合。增强层在子带域内表示，并且通过层间帧纹理编码器使用层间预测信号编码，层间预测信号由解码的在前层形成。每个质量增强层在分辨率上还可分级。

Description

用于高度可分级的帧内视频编码的方法和设备

技术领域

本发明总体上涉及视频信号压缩，更具体地，涉及用于高清晰度视频信号的视频信号压缩

背景技术

帧内视频编码有益于需要快速随机访问单独视频帧的应用。应用的示例领域包括运动画面产生、医疗和卫星成像和数字影院。近来，ITU-T视频编码专家组(VCEG)和ISO/IEC活动画面专家组(MPEG)的联合视频组(JVT)发布了对于H.264/AVC标准的可分级的视频编码(SVC)扩展，用于满足对于在异质环境上的视频服务的更灵活视频表示的越来越多的需要。SVC提供了专用于帧内视频编码的新规格(profile)，被称为可分级的高内规格(Scalable High Intra profile)，主要以专业应用为目标。

例如MPEG-1、2、4和H.26x家族的先前的国际视频编码标准基于混合编码框架，即差分脉冲编码调制(DPCM)和离散余弦变换(DCT)编码的混合。这个DPCM框架通过下述方式被自然地扩展用于可分级的视频编码：通过在增强层进一步整合用于DPCM编码的层间预测信号，如在以前的可分级的视频编码MPEG-2、MPEG-4、H.263+标准和近来的SVC标准中可找到。这种方法将每个增强层增加到累加的先前比特流层，以进一步增强编码的视频。可以进行改进以改善分别与质量/SNR、空间和时间可分级对应的视频质量、空间分辨率或视频帧速率。结果产生的可分级视频编码系统具有与传统的DPCM编码系统相关联的一些典型问题，例如误码扩散和“漂移”，这是由在编码器和解码器使用的是预测信号的不同版本而引起的。这也经常引发对于提供可分级视频压缩的显著的效率和复杂度损失(penalty)。

对于帧内空间可分级编码，具体上说，那些先前的标准已经采用了用于提供多分辨率的信号表示的金字塔型编码手段。这种方法利用来自恢复的基础层视频的内插帧来预测在增强层的相关的高分辨率帧，并且结果产生的剩余信号被增强层比特流编码。这图示在图2中，图2是使用编码帧内层的表示来图示根据现有技术的实践的、对于已经使用三个分辨率级来可分级地编码的视频帧而言的编码帧内层的关系的图。但是，结果产生的源像素采样的数量因此被提高33.3％，以在结果产生的编码系统中构建完整的图像金字塔型表示，这可以固有地进一步降低压缩效率。来自JVT核心实验的仿真结果也显示，当前的H.264/AVC联合可分级视频模型(JSVM)对于内双空间可分级编码遭受很大效率损耗，特别是向高比特率的范围。

近些年来，在文献中，子带/小波编码已经被证明是用于图像编码的最有效的方法之一。子带/小波编码也已经用于在行业中的用于图像和视频(以运动JPEG 2000的格式)编码应用的国际标准JPEG 2000中。由于子带/小波变换的高能量压缩，这些最新的编码器能够实现良好的压缩性能，而没有与块变换相关联的传统的块状效应。更重要的是，它们可以容易地提供期望的空间可分级编码功能，并且在压缩效率上几乎没有损失，因为子带/小波分解在本质上是分辨率可分级的。图1是使用编码子带的表示来图示根据现有技术实践的、对于已经使用三个分辨率级n＝0、n＝1和n＝2来子带编码的图像而言的编码子带的关系的图。就最低等级的“子带”是提供图像的低分辨率版本的基础层的理解，从在较高等级的三个子带(一般地指定为HL、LH、HH)外加来自所有次低等级的子带来合成例如n＝2的较高分辨率的等级。但是，因为子带/小波分析低通滤波器不是良好的半带滤波器，因此在结果产生的低分辨率的视频中引发混叠效应，这对于视频编码应用对于人的视觉系统产生干扰的闪烁。

在此提供了基于子带/小波编码手段的新的帧内可分级编码框架。在所提出的框架中，与在图1中的传统小波编码系统相反，所使用的用于在基础层产生低分辨率的视频的下采样滤波器不特别依赖于用于信号表示的特定子带/小波滤波器选择。另外，研究努力已经针对于在传统的基于宏块和DCT的视频编码系统中有效地使用子带/小波技术，以改善帧内可分级编码的效率。不像先前的MPEG-4视觉纹理编码(VTC)，其实质上被建立在用于编码小波系数的基于单独的零树的系统，所提出的子带编码框架特别适用于与H.264/AVC JSVM参考软件整合，并且对于当前标准进行了最小的修改。因此，被修改的H.264/AVC编码系统能够以实施复杂度上最小的增加而利用小波编码的益处。

如在此的仿真结果演示，与单层编码相比较，基于传统的分层DPCM手段的、当前SVC的帧内质量可分级编码也遭受到很大性能损失。这样的损失的特性类似于传统的视频之间SNR可分级编码方法，在传统的视频之间SNR可分级编码方法中，因为粗略编码的基础层信号用于信号预测，所以编码效率降低，并且导致具有高能的剩余信号。在此详细说明的、所提出的子带编码系统可以基于变换编码手段被进一步扩展到用于具有改善的编码性能的质量可分级的编码应用。在所提出的系统中的每个质量增强层另外在分辨率上可分级，因此在大量的质量和分辨率限制下的，提供了用于可分级的解码的很灵活的比特流。因此，如JPEG 2000演示的，有效和高度可分级的小波图像/视频压缩能够以低的额外实施成本由被略微修改的标准编码系统附带提供。可以通过整合的编码系统来提供传统上由单独的编码器供应的图像和视频编码应用。

附图说明

在单独的视图中，相同的附图标记表示相同或在功能上类似的元件，附图与下面的详细描述一起被并入说明书中并形成说明书的一部分，并且用于进一步说明包括所要求保护的本发明的实施例的构思，并解释那些实施例的各种原理和优点。

图1图示出根据现有技术实践的、使用具有三个分辨率级的子带/小波编码手段的编码图像或视频帧的信号表示。

图2图示出根据现有技术实践的、使用具有三个分辨率级的金字塔型编码手段的编码图像或视频帧的信号表示。

图3示出具有三个分辨率可分级层的一般空间可分级编码系统的高层框图。

图4示出具有两个分辨率可分级层的一般空间可分级解码系统的高层框图。

图5示出根据特定实施例的、用于具有两个分辨率层的特定实施例的所提出的空间可分级编码系统的框图。

图6示出用于具有两个分辨率层的特定实施例的、所提出的空间可分级解码系统的框图。

图7示出根据特定的2-D可分离的双实施例的2-D下采样操作的框图。

图8是图示根据特定的2-D可分离双实施例的特定子带分析滤波器组的框图。

图9图示根据特定实施例的、用于在两级双子带分解后的分解帧的子带划分。

图10是示出根据特定实施例的用于压缩源视频帧的空间可分级视频编码方法的一些步骤的流程图。

图11是示出根据特定实施例的用于解压编码视频帧的空间可分级视频解码方法的一些步骤的流程图。

图12是根据特定实施例的层内帧纹理编码器的框图。

图13是根据特定实施例的层内帧纹理解码器的框图。

图14是根据特定实施例的层间帧纹理编码器的框图。

图15是根据特定实施例的层间帧纹理解码器的框图。

图16是根据特定实施例的另一个层间帧纹理编码器的框图。

图17是根据特定实施例的另一个层间帧纹理解码器的框图。

图18图示根据特定实施例的、使用具有三个分辨率级的所提出的新子带/小波编码手段的编码图像或视频帧的信号表示。

图19-21是将特定实施例的性能与现有技术系统的性能相比较的仿真的图。

图22图示根据特定实施例的、在三个质量层和两个子带分解等级中使用所提出的质量可分级子带/小波编码方法的编码图像或视频帧的信号表示。

图23示出根据特定实施例的、用于具有三个质量可分级层和三个分辨率等级的特定实施例的、所提出的质量可分级编码系统的框图。

图24是示出根据特定实施例的、用于压缩源视频帧的质量可分级视频编码方法的一些步骤的流程图。

图25是示出根据特定实施例的、用于解压编码视频帧的质量可分级视频解码方法的一些步骤的流程图。

图26和27是将特定实施例的性能与现有技术系统的性能相比较的仿真的图。

技术人员可以明白，为了简单和清楚而图示了在附图中的元素，在附图中的元素不必按照比例绘制。例如，在附图中的一些元素的尺寸可能相对于其他元素被夸大，以帮助改善本发明的实施例的理解。

具体实施方式

在详细描述下面的实施例之前，应当观察到，所述实施例主要在于与帧内空间和可分级视频编码相关的方法步骤和设备部件的组合。因此，设备部件和方法步骤在适当时被表示为在附图中的传统符号，附图仅示出了与理解本发明的实施例相关的那些具体细节，以便不以对于受益于在此的描述的、本领域普通技术人员显而易见的细节混淆本公开。

在本文中，诸如第一和第二与上和下等的关系术语仅仅用于将一个实体或者行为与另一个实体或者行为相区分，而不必要求或者暗示在这样的实体或者行为之间的任何实际的这样的关系或者顺序。术语“包括”、“包含”或者其任何其他变化形式意欲涵盖非排他的包含，由此包括一系列元素的过程、方法、项目或者设备不仅包含那些元素，而且包含未明确地列出或者这样的过程、方法、项目或者设备固有的其他元素。前有“包括…一个”的元素在没有更多限制的情况下，不排除在包括所述元素的过程、方法、项目或者设备中存在另外的相同的元素。

A.空间可分级编码

参见图3，呈现了高层框图，其示出用于传统系统和用于具有三个分辨率层的特定实施例的空间可分级编码系统400，其用于提供对于一般的空间可分级编码系统架构的介绍。用于视频帧的最高分辨率版本的视频帧信号401耦合到二维(2-D)下采样器404和增强层编码器450。2-D下采样器产生视频帧的下采样版本402，视频帧的下采样版本402耦合到二维下采样器405和增强层编码器430。可与二维下采样器404不同的二维下采样器405产生耦合到基础层编码器410的视频帧的最低分辨率版本。基础层编码器410产生作为耦合到复用器420的输出的基础层比特流415。增强层编码器430使用来自基础层的恢复信息435来去除层间冗余，并且产生作为用于表示编码输入视频帧402的输出的增强层比特流438。增强层比特流438也耦合到复用器420。增强层编码器450使用来自次低层的恢复信息445来去除层间冗余，并且产生作为用于表示编码的输入视频帧401的输出的增强层比特流455。增强层比特流455也耦合到复用器420。复用器420复用基础层比特流和两个增强层比特流438、455，以产生可分级比特流440，可分级比特流440传送恢复视频帧的低分辨率版本、视频帧的较高分辨率版本或比特流的最高分辨率版本所需要的编码信息。

参见图4，呈现了高层框图，其示出用于传统系统和用于具有两个分辨率层的特定实施例的空间可分级解码系统500，其用于提供对于一般的空间可分级解码系统架构的介绍。可以理解，这个高层框图近乎镜像了编码器400的高层框图。解复用器510将可分级比特流440的所接收的版本505解复用为所接收的基础层比特流515和所接收的增强层比特流520。基础层解码器525解码所接收的基础层比特流515，并且产生原始视频帧的恢复的低分辨率版本530。增强层解码器540解码所接收的增强层比特流520，并且还使用来自基础层的恢复的信息535来产生编码视频帧的恢复的高分辨率版本545。如何构建用于具有三个分辨率层的实施例的高层框图，对于本领域普通技术人员应当是显然的。

参见图5，框图示出了用于具有两个分辨率层的特定的所提出的实施例的空间可分级编码系统600。用于视频帧的最高分辨率版本的视频帧信号601耦合到二维(2-D)下采样器605和增强层编码器630的子带分析滤波器组631。2-D下采样器605产生源视频帧的最低分辨率版本603。最低分辨率版本603耦合到基础层编码器，基础层编码器包括层内帧纹理编码器610。层内帧纹理编码器610产生作为耦合到复用器620的输出的基础层比特流615。子带分析滤波器组631产生视频帧的最高分辨率版本601的子带(小波)系数——这些通常是在本领域中称为LL、LH、HL和HH子带的子带。层间帧纹理编码器633使用来自基础层的信息635以去除层间冗余，并且产生作为用于表示编码的输入子带表示632的输出的增强层比特流638。增强层比特流638也耦合到复用器620。复用器620复用基础层比特流615和增强层比特流638，以产生可分级比特流640，该可分级比特流640传送恢复视频帧的低分辨率版本或比特流的最高分辨率版本所需要的编码信息。可以理解，在具有更多增强层的实施例中，每个增强层编码器的子带分析滤波器组被应用来产生源视频帧的特定分辨率版本的子带表示，并且结果产生的表示的子带系数被每个增强层的层间纹理帧编码器编码。

参见图6，框图示出了用于具有两个分辨率层的特定实施例的空间可分级解码系统700。可以理解，这个框图近乎镜像了编码器600的框图。解复用器710将可分级比特流440的所接收的版本705解复用为所接收的基础层比特流715和所接收的增强层比特流720。包括层内帧纹理解码器725的基础层解码器解码所接收的基础层比特流715，并且产生编码视频帧的恢复的低分辨率版本730。层间帧纹理解码器743解码所接收的增强层比特流720，并且还使用来自基础层的恢复的信息735来产生增强层的恢复的子带表示745。子带合成滤波器组747然后处理恢复的子带表示745，并且产生编码视频帧的合成的高分辨率版本750。编码视频帧的合成的高分辨率版本750最后耦合到限定器755，限定器755根据像素值范围来对于合成的帧执行剪裁操作。如何构建用于具有三个或更多分辨率层的实施例的高层框图，对于本领域普通技术人员应当是显然的。

参见图7，框图图示了根据特定的2-D可分离双实施例的、由2-D下采样器404、405和605执行的下采样操作的框图。视频帧信息810(也更简单地称为视频帧)被第一一维(1-D)滤波器810接受为输入，第一一维(1-D)滤波器810对于输入视频帧的各列执行垂直滤波，并且被滤波的帧然后通过因子2被进一步垂直地下采样。这个结果825接下来被第二1-D滤波器830处理，第二1-D滤波器830对于输入信号825的各行执行水平滤波，并且被滤波的信号然后通过因子2被进一步水平地下采样，产生输入帧845的低分辨率版本，其具有在每个空间维度上缩小为1/2的尺寸。通常，滤波器810和830使用同一1-D低通滤波器。在特定实施例中，刚刚所描述的下采样操作用于通过下述方式来产生除了具有最高分辨率的源视频帧的版本之外的源视频帧的版本：以源视频帧的最高分辨率版本开始，并且通过执行级联的二维(2-D)可分离滤波和下采样操作而从当前版本递归地产生每个次低分辨率的源视频帧，级联的二维(2-D)可分离滤波和下采样操作使用与每个版本相关联的一维的低通滤波器。在特定实施例中，如在2006年10月20日或之前的命名文件的版本中所述，每个低通滤波器可以是下述之一：用于2-D可分离滤波的MPEG-2抽取滤波器，其具有滤波器系数(-29，0，88，138，88，0，-29)/256；以及，MPEG-4抽取滤波器，其具有滤波器系数(2，0，-4，-3，5，19，26，19，5，-3，-4，0，2)/64。在特定的替代实施例中，每个低通滤波器是具有被比例因子进一步缩放滤波器系数的值的子带分析滤波器组的低通滤波器。在这些实施例中，用于产生视频帧的最低分辨率版本的低通滤波器在各层之间可以不同，并且可以从视频帧的最高分辨率版本直接地进行。这种独特的特征为下采样器设计提供了灵活性以建立视频帧的最佳低分辨率版本。

参见图8，框图图示了根据特定的2-D可分离双实施例的子带分析滤波器组631(图5)。输入视频帧首先分别被低通滤波器和高通滤波器处理，随后沿着垂直方向进行下采样操作，产生中间信号910。中间信号910然后分别被低通滤波器和高通滤波器处理，随后沿着水平方向进行下采样操作，产生用于在特定分辨率的视频帧的版本的四个子带(LL 921，HL 922，LH 923和HH 924)。这个处理通常被称为小波/子带分解。子带合成滤波器组是对应的子带分析滤波器组的镜像版本。在子带分析/合成滤波器组中使用的滤波器可以属于小波滤波器的家族或QMF滤波器的家族。对于具有多个分辨率级的系统，用于表示当前的分辨率级的每组子带能够被合成以形成下一高分辨率级的LL子带。图9图示了这个方面，其中，以后缀-1指示最高分辨率层的子带，并且其中，基础或最低层是LL-2。H和W部分表示全分辨率视频帧的高度和宽度。

参见图10，流程图1100示出了至少部分地基于上面参考图3-9的描述的、根据特定实施例的用于压缩源视频帧的空间可分级视频编码方法的一些步骤。方法1100归纳用于使用任何数量的视频帧版本的视频帧，其中，每个版本具有唯一的分辨率。在步骤1105，接收源视频帧的版本，其中，每个版本具有唯一的分辨率。在步骤1110，通过使用基础层编码器编码具有最低分辨率的源视频帧的版本来产生基础层比特流。在步骤1115产生一组增强层比特流，其中，组中的每个增强层比特流通过编码源视频帧的版本的对应的一个来产生。在组中，可能仅有一个增强层比特流。对于源视频帧的每个版本，编码包括：1)通过子带分析滤波器组将源视频帧的版本的对应的一个分解为源视频帧的版本的对应的一个的子带表示；2)形成层间预测信号，其是在次低分辨率的恢复源视频帧的表示；以及，3)通过使用层间帧纹理编码器来编码子带表示而产生增强层比特流，层间帧纹理编码器使用层间预测信号。在步骤1120，使用比特流复用器以基础层比特流和一组增强层比特流组成可分级比特流。

参见图11，流程图1200示出了至少部分地基于上面参考图3-9的描述的、根据特定实施例的用于将编码视频帧解压为解码的视频帧的空间可分级视频解码方法的一些步骤。在步骤1205，使用比特流解复用器来提取基础层比特流和一组增强层比特流。在步骤1210，使用基础层解码器从基础层比特流恢复解码的视频帧的最低分辨率版本。在步骤1215，恢复一组解码的子带表示。组中的每个解码的子带表示通过解码一组增强层比特流的对应的一个而恢复。对于每个增强层比特流，解码包括：1)形成层间预测信号，其是在次低分辨率的恢复的解码的视频帧的表示；以及，2)通过使用层间预测信号的层间帧纹理解码器解码增强层来恢复子带表示。使用子带合成滤波器组以解码的视频帧的最低分辨率版本和一组解码的子带表示合成解码的视频帧。在步骤1225，可以根据对于像素表示采用的像素值范围对解码帧执行剪裁操作。

可以理解，虽然按照编码和解码视频帧描述了方法1100和1200，但是相同的方法适用于编码和解码不是视频序列一部分的图像。

在所提出的空间可分级编码系统600中的基础层视频603可以被传统的单层帧内视频编码器编码，其中，每个视频帧被传统的层内帧纹理编码器编码。参见图12，示出根据特定实施例的层内帧纹理编码器1300的框图。层内帧纹理编码器1300是可以用作空间可分级编码系统600(图5)中的层内帧纹理编码器610(图5)的示例。层内帧纹理编码器1300包括传统功能块，它们以传统的方式被相互耦合，并且层内帧纹理编码器1300特别地使用传统块转换编码器1310来执行输入信号1305的宏块编码，以产生输出信号1315和层间预测信号1320。当输入信号是源视频帧的最低分辨率版本时，就像在图5的实施例中那样，输出信号是编码的基础层比特流。

参见图13，示出根据特定实施例的层内帧纹理解码器1400的框图。层内帧纹理解码器1400是可以用作空间可分级解码系统700(图6)中的层内帧纹理解码器725(图6)的示例。层内帧纹理解码器1400包括传统功能块，它们以传统的方式被相互耦合，并且层内帧纹理解码器1400特别地使用传统块转换解码器1410来执行输入信号1405的宏块解码，以产生输出信号1415。

来自可分级编码系统的基础层比特流与来自传统单层编码系统的非可分级比特流兼容是期望的特征。在特定实施例中，层内帧纹理解码器1400是标准的版本MPEG-1、MPEG-2、MPEG-4、H.261、H.263、MPEG-4AVC/H.264和JPEG(如在2006年10月20日或之前公布的)中描述的帧内解码器。

已经在文献中呈现了用于压缩被转换图像的子带/小波系数的各种方法。例如，基于零树的算法被MPEG-4小波视觉纹理编码(VTC)工具(如在2006年10月20日或之前公布)使用。JPEG2000采用EBCOT算法(在2006年10月20日或之前公布的版本)，其是用于编码单独的小波系数位平面的多通内容适应编码方案。我们的特定实施例的一个独特和有益方面是有效地使用传统视频工具来用于所提出的子带/小波可分级编码系统的有效实现。特别是，在这些实施例中，被设计用于编码当前的视频编码标准中的像素采样的DCT宏块编码工具用于编码子带/小波系数。以这种方式，可以通过现有视频工具的最大重新使用来以低成本实现所提出的可分级编码技术。

参见图14，示出了根据特定实施例的的层间帧纹理编码器1500的框图。层间帧纹理编码器1500是可以用于在传统的可分级视频编码系统中编码增强层帧的示例。其被用作在所提出的空间可分级编码系统600(图5)的、用于编码增强层子带分解的帧的层间帧纹理编码器633(图5)。层间帧纹理编码器1500包括传统功能块-特别是传统块转换编码器1510——用于执行输入信号1505的宏块编码，以产生输出信号1515。输入信号1505通常是具有除了最低分辨率之外的分辨率的源帧的版本的子带表示，例如在空间可分级编码系统600中的全分辨率信号601的子带表示632。子带表示被依序划分为用于非重叠块的多个块子带表示，还包括通过层间帧纹理编码器来编码每个非重叠块的块子带表示。块可以是通常被称为宏块的那些块。输出信号1515是增强层比特流，其包括子带表示632和1505的块编码的预测误差。可以通过下述方式来形成块编码的预测误差：块编码在层间帧纹理编码器1500的输入1505的子带表示和以逐个块为基础从层间预测器1525和空间预测器1530之一选择的预测信号1520的差，使用帧缓冲器1535存储以块为基础的编码处理期间重建的帧。通过在比特流1515的语法元素中的模式标识符1540来指示为每个块选择的预测信号的类型。在这些实施例的特定实施例中，对于最高频率子带，层间预测信号1526被设置为零。

参见图15，示出了根据特定实施例的层间帧纹理解码器1600的框图。层间帧纹理解码器1600是可以用作空间可分级解码系统700(图6)中的层间帧纹理解码器743(图6)的示例。层间帧纹理解码器1600包括传统的功能块-特别是传统的块转换解码器1610-用于执行输入信号1605的宏块解码，以产生输出信号1615。输入信号1605通常是如上参考图14所述的增强层比特流1515。比特流被应用到块转换解码器1610，块转换解码器1610产生子带表示的块解码的预测误差。块可以是通常被称为宏块的那些块。使用从比特流的语法元素获得的模式指示1640，层间帧纹理解码器1600通过层间预测器1625和空间预测器1630之一来以逐个块为基础自适应地产生子带表示的预测信号1620。预测信号以块为基础被加到子带预测误差上，以产生具有除了最低分辨率之外的分辨率的源帧的版本的解码的子带表示。在这些实施例的特定实施例中，对于最高频率子带，层间预测信号被设置为零。

在这些实施例的特定实施例中，层间帧纹理解码器1600包括在MPEG-2、MPEG-4、H.263的版本2和MPEG-4第10部分AVC/H.264的修改3(可分级的视频扩展)标准之一中描述的增强层帧内解码器，但是没有在帧内编码器中对于解码信号执行的剪裁操作。在这些实施例的特定实施例中，一组增强层比特流与MPEG-4第10部分AVC/H.264标准的修改3(可分级的视频扩展)兼容。

参见图16，框图示出了根据特定实施例的的另一个层间帧纹理编码器1700的框图。与层间帧纹理编码器1500相比较，更广泛地可用于传统视频编码应用的层内帧纹理编码器1300(图12)用于建立层间帧纹理编码器。在这些实施例中，层内帧纹理编码器1300编码作为在子带表示1705和层间预测信号1720之间的差的剩余(预测误差)信号1725，以产生输出比特流1715。

参见图17，框图示出了根据特定实施例的层间帧纹理解码器1800。层间帧纹理解码器1800具有镜像了层间帧纹理编码器1700的架构。层间帧纹理解码器1800包括层内纹理解码器1400(图13)，其从增强层1805产生剩余信号1825(预测误差)，并且子带表示1815通过将层间预测信号1820增加到剩余信号1825来产生。

在特定实施例中，增强层比特流包含语法元素，语法元素用于指示用于表示增强层视频帧的子带分解等级的数量。以这种方式，可以对于每个增强层单独地优化子带等级的数量，以获得最佳的编码性能。

参见图18，该图使用编码层的表示来图示根据所提出的实施例的特定实施例的、对于已经使用三个空间可分级层n＝0、n＝1和n＝2编码的视频帧的示例而言的视频帧的关系。当将规范化的子带低通分析滤波器用作用于基础层的图像下采样以及用作分析滤波器组900中的分析滤波器的低通滤波器800(图7)时，输出信号的缩放版本(图8的921和图7的846)基本上相同，并且低通剩余信号1506(图14)被缩小为量化误差。然后，如果来自接下来的更低层(在图18的示例中的两低层)的平均缩放失真接近或小于用于在当前的增强层的所分配比特率或量化参数的最佳失真水平，则我们可以简单地略去在图18中的低通子带区域LL 310、315上的剩余信号的纹理编码。因此，保留子带/小波编码的临界采样特征以实现最佳的压缩效率和降低的复杂度开销。尽管如此，不像传统的子带/小波图像编码系统那样，所提出的帧内可分级编码实施例，类似于金字塔型编码，仍然具有用于在编码器设计最佳下采样滤波器以产生用于目标应用的、降低了分辨率的期望源视频的自由。在原始低通子带信号846(图8)和缩放的基础层帧921(图8)之间结果产生的差1506(图14)可以被编码的低通子带剩余信号310、315(图18)补偿。

可以将图18与图1和2相比较，以观察分别由金字塔型编码、子带/小波编码和所提出的可分级编码手段使用的编码信号之间的差异。图18图示了可以通过编码的低通子带剩余信号来补偿在原始低通子带信号和缩放的基础层帧之间的差。在所提出的实施例中，如在所述图中的虚线区域所示，低通子带的剩余编码仅是可选用的。低通子带的剩余编码可以用于进一步减少从较低层反馈的量化误差。低通子带的剩余编码可以用于补偿在原始低通子带信号846(图8)和缩放的基础层帧921(图8)之间的差，这个差是由在产生源帧的较低分辨率版本的下采样滤波器和产生当前增强层的子带表示的低通分析滤波器之间的差异引起的。

在一些实施例中，通过下述方式来产生除了具有最高分辨率的源视频帧的版本之外的源视频帧的版本：以源视频帧的最高分辨率版本开始，并且通过执行级联的二维(2-D)可分离滤波和下采样操作而从当前版本递归地产生每个次低分辨率的源视频帧，其中，一维的低通滤波器与每个版本相关联，并且至少一个下采样滤波器与子带分析滤波器组的低通滤波器不同，子带分析滤波器组的低通滤波器产生比最低分辨率高的下一个分辨率的源帧的分辨率版本的子带表示。在这些实施例中，如上所述，可以使用低通子带的剩余编码，以补偿在原始低通子带信号846(图7)和缩放的基础层帧921(图8)之间的差。

已经使用JVT JSVM参考软件版本JSVM 6_8_1来充分地实现如上参考图3-18所描述的方法的特定方法。由用于空间可分级性的层间纹理预测的JVT核心实验(CE)限定的内编码测试条件被用于评估所提出的算法。在多个基础和增强层QP(量化参数)组合上编码四个测试序列公共汽车(BUS)、美式足球(FOOTBALL)、工头(FOREMAN)和移动物(MOBILE)。CE协调器使用参考软件JSVM 6_3来提供CE基准结果。

对于图19中的由JVT-Uxxx所示的测试结果，Daub.9/7滤波器用于较高层帧的小波分析/合成(由JPEG 2000采用的相同的浮点小波滤波器)。编码器使用同一低通滤波器来用于双下采样输入的内帧。略去整个低通子带的编码。每个曲线分段显示了由同一基础QP和四个不同的增强QP值编码的结果。在给定的基础层QP的速率失真的含义上，在每个分段中的第二测试点碰巧对应于最佳基础和增强QP组合。可以看出，当增强编码率与最佳的操作点不远时，所提出的算法大大地胜过相关的JSVM结果。

为了产生在图20中的测试结果，与在前述实验中使用相同的滤波器组设置，但是，低通子带被编码以进一步地精化并且校正低通信号。可以看出，所提出的方法提供了平滑速率失真曲线，并且一贯地胜过相关的JSVM结果。最重要的是，结果产生的增强编码性能随基础QP值改变不大，这与对应的JSVM结果形成鲜明对比。

对于在图21中的测试结果，AVC低通滤波器用于产生低分辨率视频，并且不略去低通带图像区域的编码。可以看出，结果几乎与相关的JSVM结果一样好。因为AVC下采样滤波器和低通子带滤波器具有非常不同的频率响应特性，相对于图5中的相关结果的性能变差被认为是合理的。

B.质量可分级编码和组合可分级编码

前面详细说明的、所提出的子带/小波帧内视频编码框架可以被进一步扩展用于质量/比特率可分级视频编码应用。由一基础层比特流和一个或多个增强层比特流组成的质量可分级比特流特别有益于以不同的编码比特率在异质联网环境上提供视频服务。压缩视频信号的编码比特率可以通过丢弃质量增强层的比特率单元或分组而灵活地适应于传输带宽的限制。

在一个实施例中，在所提出的质量可分级编码系统中的基础质量层还包括多个分辨率可分级层，其表示根据在A部分中描述的、所提出的空间可分级编码方法的子带/小波转换的输入视频帧。以这种方式，在降低的分辨率保持基础层与传统的非可分级编码的兼容的同时，可以在子带表示中编码基础质量层。单独的质量增强层也可以被子带/小波系数表示，并且能够被如上所述的传统层间帧纹理编码器编码。其中，从次低质量层的粗略编码的子带表示形成层间预测信号。

在图22中进一步图示了根据特定实施例的、用于在三个质量层和子带分解的两个等级中的可分级编码的这种方法。如所示，基础质量层包含三个分辨率可分级层，每个用于表示来自在粗略的质量等级的同一分辨率尺度的子带系数。每个质量增强还使用更细的量化步长来编码来自前一个层的编码误差，使得粗略编码的子带的增量精化。以这种方式，根据在最后接收的比特流中最后包括的增强层的数量，可以从单个可分级比特流以三个不同的质量等级恢复编码的视频。

参见图23，框图示出了根据在图22中所示的分层可分级编码结构的、质量可分级编码系统2300的示例性实施例。通常，整个系统由一基础质量层和两个质量增强层组成，以建立用于在三个不同视频质量等级的解码的质量可分级比特流。基础质量层还包括三个分辨率可分级层，并且通过空间可分级编码方法被编码，如前面图5中所示在两层中。输入视频帧首先被2-D下采样器2305处理，以在每个空间维度上以降低的分辨率产生输入视频帧的版本，并且输出的低分辨率帧进一步被2-D下采样，以产生输入视频帧的最低分辨率版本2303。最低分辨率版本2303被包括层内帧纹理编码器2310的基础层编码器处理。层内帧纹理编码器2310产生作为耦合到复用器2320的输出的基础层比特流2315。在每个增强层2330(由虚线块所示)，子带分析滤波器组2331获得输入视频帧的相关版本，并且产生子带(小波)系数。层间帧纹理编码器2333使用来自在前层的信息2335来去除层间冗余，并且产生作为输出的增强层比特流2338，用于表示编码的输入子带表示2332。增强层比特流2338也耦合到复用器2320。复用器2320复用基础层比特流2315和增强层比特流2338，以产生可分级比特流2340，可分级比特流2340传送用于在不同的分辨率和质量等级恢复编码的视频所需要的编码信息。可以明白，在具有更多增强层的实施例中，可以应用同样的增强层编码方法。即，每个增强层编码器的子带分析滤波器组用于产生源视频帧的特定分辨率版本的子带表示，并且由层间纹理帧编码器在每个增强层使用由在前层提供的信息来编码结果产生的表示的子带系数。在图23中所示的实施例使用与在图5中所示的部件类似的部件，但是其特别适于质量可分级编码和组合可分级编码的应用。在A部分中描述了这些系统部件的操作。

参见图24，流程图2400示出了至少部分地基于参考图22和23的上述描述的、根据特定实施例的用于压缩源视频帧的质量可分级视频编码方法的一些步骤。在步骤2405，通过编码源视频帧来产生指定的最低质量等级或编码比特率的基础质量层比特流。在步骤2410，通过编码源视频帧来产生一组渐增的质量等级或编码比特率的一组增强层比特流。在组中可能仅有一个增强层比特流。对于每个增强，编码包括：1)通过子带分析滤波器组将源视频帧分解为源视频帧的子带表示；2)形成层间预测信号，其是次低质量层的恢复视频帧的表示；以及，3)通过由层间帧纹理编码器编码子带表示而产生增强层比特流，该层间帧纹理编码器还使用层间预测信号来去除层间冗余。在步骤2415，使用比特流复用器以基础层比特流和一组增强层比特流组成可分级比特流。

参见图25，流程图2500示出了至少部分地基于参考图22和23的上述描述的、根据特定实施例的用于解压编码视频帧的质量可分级视频解码方法的一些步骤。在步骤2505，使用比特流分析器从可分级比特流提取包含与所要求的分辨率和/或质量等级相关的编码系数的分组。在步骤2510，从所提取的基础质量层比特流的分组恢复解码的视频帧的基础质量版本。在步骤2515，恢复渐增的质量等级的一组解码的子带表示，其中，通过解码所提取的一组增强层比特流的对应的一个的分组来恢复该组中的每个解码子带表示。对于每个增强层比特流，解码包括：1)形成层间预测信号，其是次低质量层的恢复视频帧的表示；以及，2)通过由层间帧纹理解码器解码所提取的对应增强层的分组来恢复子带表示，该层间帧纹理解码器还使用层间预测信号来去除层间冗余。在步骤2520，使用子带合成滤波器组从在最后的增强层的解码的子带表示合成解码的视频帧。在步骤2525，可以根据像素表示所采用的像素值范围来对于解码的帧执行剪裁操作。

因为由在图22中图示的子带表示的质量增强层是固有地分辨率可分级的，所以前述方法还可以被应用到组合可分级编码。在这种情况下，子带/小波系数还可以根据子带划分或分辨率尺度分组，然后被编码为单独的比特流分组。例如，在基于H.264/AVC编码工具建立的优选实施例中，子带宏块可以通过片组映射(slice group map)划分，其符合子带分解结构，并且被单独的NAL单元表示。以这种方式，可以容易地从相关的NAL单元提取有助于所关心的指定分辨率级的编码子带，并且结果产生的质量可分级比特流还是分辨率可分级的。我们可以几乎没有性能损失地提供另外的空间可分级性，因此能够通过单个可分级比特流来有效地在多个不同的比特流和分辨率选择实现可分级解码，这与传统的基于分层的DPCM的内帧视频编码系统形成鲜明对比，传统的基于分层的DPCM的内帧视频编码系统通常仅能够提供小数量的不同可分级解码比特率/分辨率选择。

更详细而言，在基于MPEG-4AVC/H.264编码工具建立的实施例中，所提出的子带/小波编码系统可以在典型的小波临界采样设置上操作。结果产生的系统因此具有与源采样的数量相同的用于处理/编码的采样的总数，并且就像传统的单层编码器那样执行，而没有任何压缩和复杂度开销。值得提及的还有，当为在子带区域中的每个宏块唯一地选择层间预测模式I_BL时，实际上通过转换编码来编码在这样的系统中的子带。这是因为I_BL宏块编码仅执行编码的采样的精化，而不涉及从相邻的编码采样进行空间预测。因此可以选择通过转换编码手段编码除了在MPEG-4AVC/AVC兼容基础层的最低频率子带之外的所有子带。以这种方式，通过重新使用现有的MPEG-4AVC/H.264编码工具来与增加的子带滤波器组一起工作，可以向MPEG-4AVC/H.264标准提供新的帧内编码方法，该方法主要基于替代的转换编码范例，具有另外的空间可分级性和其他期望的益处，并且有益于可分级和传统的单层帧内编码应用。另外，这种新的内编码方法未招致传统空间可分级编码的成本，并且没有与当前的MPEG-4AVC/H.264帧内混合编码相关联的漂移、误码扩散和复杂模式选择处理。

在图23中具体化的质量可分级编码系统2300中，在其最简单的形式中，其可以包括：基础质量层编码器，用于通过编码源视频帧来产生指定的最低质量等级或编码比特率的基础质量层比特流；增强层编码器，用于产生一组渐增的质量等级或编码比特率的一组增强层比特流，增强层编码器包括子带分析滤波器组和层间帧纹理编码器，子带分析滤波器组用于由子带分析滤波器组将源视频帧分解为源视频帧的子带表示，层间帧纹理编码器用于通过使用层间预测信号来编码子带表示而产生增强层比特流，层间帧纹理编码器还包括层间预测器，用于形成层间预测信号，层间预测信号是次低质量层的恢复视频帧的表示；以及，比特流复用器，用于以基础质量层比特流和增强层比特流组成可分级比特流。系统2300特别适合于有效地提供质量可分级性和组合可分级性。

所述方法可以用于压缩图像和视频帧等。

在一种布置中，在子带分析滤波器组中的滤波器属于小波滤波器家族和正交镜像滤波器(QMF)家族之一。这提供了用于图像视频压缩应用的有效滤波器组。

在另一个实施例中，层间帧纹理编码器包括块转换编码器。例如，在一个实施例内，可以依序将子带表示划分为用于非重叠块的多个块子带表示，还包括由层间帧纹理编码器编码每个非重叠的块的块子带表示，并且编码块子带表示还包括：从恢复的相邻子带系数形成空间预测信号；对于每个块自适应地在层间预测信号和空间预测信号之间选择预测信号；并且，由转换块编码器编码预测误差信号，预测误差信号是对于每个块而言的块子带表示和所选择的预测信号之间的差。在这种布置中，这可以允许例如在质量可分级编码应用中使用传统的视频块编码工具来用于压缩子带系数。

在一个实施例中，层间帧纹理编码器包括在对于MPEG-4第10部分AVC/H.264标准的可分级视频扩展中定义的增强层帧内编码器，并且对于所有宏块，将宏块模式选择为I_BL。有益的是，这个实施例与MPEG-4第10部分AVC/H.264兼容。在特定的替代实施例中，所述方法还可以被应用到基于传统的分层DPCM DCT框架的其他较早的可分级视频编码标准，例如MPEG-2、4和H.263的版本2。应当理解的是，所述方法也可以具有在这个特定标准之外的应用。因此，在一个实施例中，需要最少的修改或不需要修改来与标准兼容。

在一种布置中，层间帧纹理编码器包括层内帧纹理编码器，层内帧纹理编码器编码剩余信号，剩余信号是子带表示和层间预测信号之间的差。在这种布置中，如通常商用的，这个实施例可以单层编码方案实现。

在一个实施例中，增强层比特流包含语法元素，语法元素指示每个增强层的分解等级的数量，因此，可以对于每个增强层帧单独地优化子带等级的数量，以获得最佳的编码性能。

在一个实施例中，每个质量比特流层还包括一个或多个分辨率可分级层。有益的是，这可以提供替代的比特流布置，以用于编码在特定应用中有益的质量可分级层。更详细而言，质量比特流可以对应于基础质量层的低分辨率层，并且可以与MPEG-1、MPEG-2、MPEG-4和H.264/AVC标准之一大体兼容。

也在一个实施例中，根据在H.264/AVC中定义的片组映射来进一步分组子带系数的块，片组映射还符合子带表示的子带划分或分辨率尺度，并且不同组的系数被编码至不同的比特流分组。这个实施例可以有益于在各种标准中的应用。

如图25中所示，一种质量可分级视频解码方法，用于将编码视频帧解压缩为解码的视频帧，所述方法包括：使用比特流分析器从可分级比特流提取与所要求的分辨率和/或质量等级相关的分组；从所提取的基础质量层比特流的分组恢复解码的视频帧的基础质量版本；恢复渐增的质量等级的一组解码的子带表示，其中，通过解码所提取的该组的增强层比特流的对应的一个的分组来恢复该组中的每个解码的子带表示，恢复渐增的质量等级的一组解码的子带表示包括对于每个增强层比特流，形成作为次低质量层的恢复的视频帧的表示的层间预测信号，并且通过层间帧纹理解码器解码增强层而恢复子带表示，其中，层间帧纹理解码器使用层间预测信号来去除层间冗余；使用子带合成滤波器组从在最后的增强层从解码的子带表示合成解码的视频帧；并且，根据像素值范围对合成的视频帧执行剪裁操作。这种方法在相关的标准中有使用价值。

在一个实施例中，所述方法可以还包括比特流分析器，其接受作为输入的可分级比特流，并且通过去除与解码视频所要求的分辨率无关的高频子带的分组来产生输出比特流，其中，输入可分级比特流包括分组，分组用于表示根据在H.264/AVC中定义的分片组映射(slicedgroup map)编组的编码子带系数，其还符合子带表示的子带划分或分辨率尺度。这种方法具有在相关标准中的应用，并且具有非标准的应用。

根据特定实施例的比特流分析器接受作为输入的可分级比特流，并且通过去除与解码视频所要求的分辨率无关的高频子带的分组来产生输出比特流，其中，输入可分级比特流包括分组，分组用于表示根据在H.264/AVC中定义的分片组映射编组的编码子带系数，其还符合子带表示的子带划分或分辨率尺度。

现在转向在图26和27中所示的仿真结果，已经基于SVC参考软件JSVM版本9(CVS标签JSVM_8_9)而充分地实现了参考图22-25上述的特定方法。CDF(Daubechies)9/7合成滤波器组已经被所提出的解码器采用来合成编码的子带表示。使用I_BL宏块模式来唯一地编码在增强层的所有子带。通过大量的编码实验来相对于原始JSVM软件评估基于所提出的算法的修改的JSVM软件。4CIF分辨率的源测试序列城市(CITY)、人群(CREW)、港口(HARBOR)和英式足球(SOCCER)被采用来用于仿真。每个测试序列包含150个帧，并且以每秒15个帧(fps)被内编码。配置文件和编码器选项的相同设置用于产生原始JSVM和修改的JSVM的结果。另外，我们也使用同一JSVM软件来提供单层编码的相关结果，其中编码器选项“FRExt”被使能(8x8内预测器集和8x8DCT转换被使能)，对应于不使用比例变换矩阵的高规格的H.264/AVC内帧编码。

图26将所提出的JSVM-SBC与参考JSVM的对于四个层中的SNR可分级编码4CIF序列的PSNR结果相比较。使用CABAC熵编码模式来产生JSVM-SBC和JSVM的结果，其中，对于所有层使能编码器选项“FRExt”。通过固定的QP在每个CGS层量化转换系数，并且从层0到3，QP值被设置为分别等于42、36、30和24。为了进一步与传统的非可分级编码相比较，我们也提供了JSVM单层编码的相关结果，在附图中用“JSVM单层”指示。如图26中所示，对于所有的测试结果而言，基于转换编码手段的所提出的算法胜过原始JSVM，并且改善程度随着层数量提高。对于编码序列港口和英式足球，所提出的JSVM-SBC的PSNR结果实际上很接近对应的单层结果。

图27还使用CABAC将所提出的算法与参考JSVM的对于四个层中的CGS编码的编码速度性能相比较，其中，在具有2.0GHz的IntelPentium M处理器和1.0GB的RAM的Windows移动工作站上测量编码时间。如所示，涉及内预测模式判决的复杂处理的JSVM编码器比所提出的子带编码器慢得多。应当注意，这个实验仅意欲说明所提出的算法的速度优点。未对用于两种方法的实现的同一JSVM软件基础优化速度性能。

可以明白，在此所述的本发明的实施例可以由一个或多个传统处理器和单独存储的程序指令组成，单独存储的程序指令控制一个或多个处理器，以与特定的非处理器电路相结合地实现在此所述的本发明的实施例的一些、大多数或全部功能。因此，这些功能可以被解释为用于执行视频压缩和解压缩的方法的步骤。可替代地，可以通过状态机或在一个或多个专用集成电路(ASIC)中实现一些或全部功能，其中状态机没有存储的程序指令，在一个或多个ASIC中，每个功能或特定的功能的一些组合被实现为定制逻辑。当然，可以使用这些手段的组合。因此，已经在此描述了这些功能的方法和部件。在可以使用处理器和所存储的程序指令来实现本发明的实施例的功能的那些情况下，可以明白，用于实现这样的功能的一种手段是存储所存储的程序指令的介质，该介质是磁存储器或传送文件的信号。而且，期望普通技术人员，虽然可能进行了例如由可用时间、当前技术和经济考虑驱动的显著努力和许多设计选择，但当由在此公开的思想或者原理引导时，能够以最少的实验来容易地产生这样的软件指令和程序以及IC。

在前述说明书中，已经描述了特定实施例。但是，本领域普通技术人员明白，在不偏离在下面的权利要求中提出的本发明的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应被看作是说明性而不是限定性的含义，并且所有这样的修改意欲被包括在本发明的范围中。益处、优点或者对于问题的解决方案或者可以使得任何益处、优点或者对于问题的解决方案发生或者变得更突出的任何(多个)元素不应当被理解为任何或者全部权利要求的关键的、所需要的或者必要的特征或者元素。本发明被所附权利要求唯一地限定，所附权利要求包括在本申请的待审期间进行的任何修改和所发出的那些权利要求的所有等同物。

提供本公开的摘要以允许读者迅速地确定本技术公开的特性。可以明白，其不用于解释或者限制权利要求的范围或者含义。另外，在前述详细说明中，可以看出，在各个实施例中，将各个特征分组在一起，以使得本公开流畅。这种公开方法不被解释为反映下述意图：所要求保护的实施例需要比在每个权利要求中明确地列举的特征更多的特征。而是，如所附的权利要求所反映的那样，本发明的主题在于少于单个所公开的实施例的全部特征。因此，所附的权利要求在此被并入详细说明中，每个权利要求本身作为独立地要求保护的主题。

Claims (20)

1.一种用于压缩源视频帧的质量可分级视频编码方法，所述方法包括：

通过编码所述源视频帧来产生指定的最低质量等级或编码比特率的基础质量层比特流；

通过编码所述源视频帧来产生一组渐增的质量等级或编码比特率的一组增强层比特流，所述编码包括：

通过子带分析滤波器组将所述源视频帧分解为所述源视频帧的子带表示；

形成层间预测信号，所述层间预测信号是次低质量层的恢复视频帧的表示；以及

通过由层间帧纹理编码器编码所述子带表示来产生所述增强层比特流，所述层间帧纹理编码器还使用所述层间预测信号来去除层间冗余；以及

使用比特流复用器以所述基础质量层比特流和所述一组增强层比特流组成可分级比特流。

2.根据权利要求1所述的方法，其中，所述层间帧纹理编码器包括块转换编码器。

3.根据权利要求2所述的方法，其中，所述子带表示被依序划分为非重叠的块的多个块子带表示，所述方法进一步包括：由所述层间帧纹理编码器编码每个非重叠的块的所述块子带表示，并且编码所述块子带表示进一步包括：

从恢复的相邻子带系数形成空间预测信号；

为每个块自适应地在所述层间预测信号和所述空间预测信号之间选择预测信号；以及

通过所述转换块编码器来编码预测误差信号，所述预测误差信号是对于每个块的所述块子带表示和所选择的预测信号之间的差。

4.根据权利要求3所述的方法，其中，所述层间帧纹理编码器包括增强层帧内编码器，所述增强层帧内编码器符合对于MPEG-4第10部分AVC/H.264标准的可分级视频编码扩展，但是不具有对解码信号执行的剪裁操作。

5.根据权利要求1所述的方法，其中，所述层间帧纹理编码器包括层内帧纹理编码器，所述层内帧纹理编码器编码剩余信号，所述剩余信号是在所述子带表示和所述层间预测信号之间的差。

6.根据权利要求1所述的方法，其中，所述增强层比特流包含语法元素，所述语法元素指示每个增强层的分解等级的数量。

7.根据权利要求1所述的方法，其中，所述基础质量层进一步包括一个或多个可分级层，用于以降低或相同的分辨率表示所述源视频帧。

8.根据权利要求7所述的方法，其中，所述基础质量层的第一可分级层与MPEG-1、MPEG-2、MPEG-4和H.264/AVC标准之一兼容。

9.根据权利要求3所述的方法，其中，所述子带系数的块根据在H.264/AVC中定义的片组映射来进一步编组，所述片组映射还符合所述子带表示的子带划分或分辨率尺度，并且不同组的系数块被编码至不同的比特流分组。

10.一种用于将编码视频帧解压缩为解码的视频帧的质量可分级视频解码方法，所述方法包括：

使用比特流分析器从可分级比特流提取包含与所要求的分辨率和/或质量等级相关的编码的系数的分组；

从所提取的基础质量层比特流的分组恢复所述解码的视频帧的基础质量版本；

恢复渐增的质量等级的一组解码的子带表示，其中，通过解码所提取的一组增强层比特流中的对应的一个的分组来恢复在所述组中的每个解码的子带表示，所述恢复渐增的质量等级的一组解码的子带表示包括对于每个增强层比特流：

形成层间预测信号，所述层间预测信号是次低质量层的恢复视频帧的表示，以及

通过由层间帧纹理解码器解码被提取的对应增强层的分组而恢复所述子带表示，所述层间帧纹理解码器还使用所述层间预测信号来去除层间冗余；

使用子带合成滤波器组从在最后的增强层的所述解码的子带表示合成所述解码的视频帧；以及，

根据像素值范围对合成的视频帧执行剪裁操作。

11.根据权利要求10所述的方法，其中，所述层间帧纹理解码器包括块转换解码器。

12.根据权利要求11所述的方法，其中，所述解码的子带表示被依序划分为非重叠的块的多个解码的块子带，所述方法进一步包括：由所述层间帧纹理解码器产生每个非重叠的块的解码的块子带表示，并且产生所述解码的块子带表示进一步包括：

从恢复的相邻子带系数形成空间预测信号；

为每个块自适应地在所述层间预测信号和所述空间预测信号之间选择预测信号；以及

由所述转换块解码器解码预测误差信号，所述预测误差信号是对于每个块的所述解码的块子带表示和被选择的预测信号之间的差。

13.根据权利要求12所述的方法，其中，所述一组增强层比特流与对于MPEG-4第10部分AVC/H.264标准的可分级视频编码扩展兼容。

14.根据权利要求12所述的方法，其中，所述层间帧纹理解码器包括在MPEG-4第10部分AVC/H.264、MPEG-2、MPEG-4和H.263的版本.2标准之一中描述的增强层帧内解码器，但是在所述帧内解码器中不具有对解码信号执行的剪裁操作。

15.根据权利要求12所述的方法，其中，所述方法还包括比特流分析器，所述比特流分析器通过从输入的可分级比特流去除与所要求的解码视频的分辨率无关的高频子带的分组来产生输出比特流，所述输入的可分级比特流包括分组，所述分组用于表示根据在H.264/AVC中定义的分片组映射来编组的编码子带系数，所述分片组映射还符合所述子带表示的子带划分或分辨率尺度。

16.一种比特流分析器，其接受作为输入的可分级比特流，并且通过去除与所要求的解码视频的分辨率无关的高频子带的分组来产生输出比特流，其中，所述输入可分级比特流包括分组，所述分组用于表示根据在H.264/AVC中定义的分片组映射来编组的编码子带系数，所述分片组映射还符合子带表示的子带划分或分辨率尺度。

17.一种用于压缩源视频帧的质量可分级编码系统，所述系统包括：

基础质量层编码器，用于通过编码所述源视频帧来产生指定的最低质量等级或编码比特率的基础质量层比特流；

增强层编码器，用于产生一组渐增的质量等级或编码比特率的一组增强层比特流，所述增强层编码器包括：

子带分析滤波器组，用于由子带分析滤波器组将所述源视频帧分解为所述源视频帧的子带表示，以及

层间帧纹理编码器，用于通过使用层间预测信号编码所述子带表示来产生所述增强层比特流，所述层间帧纹理编码器进一步包括层间预测器，用于形成所述层间预测信号，所述层间预测信号是次低质量层的恢复视频帧的表示；以及

比特流复用器，用于以所述基础质量层比特流和增强层比特流组成可分级比特流。

18.根据权利要求17所述的系统，其中，所述层间帧纹理编码器包括块转换编码器。

19.一种用于从可分级比特流解压缩编码视频帧的质量可分级解码系统，包括：

比特流分析器，用于使用比特流分析器从可分级比特流提取与所要求的分辨率和/质量等级相关的分组；

基础层解码器，用于解码所提取的所述基础质量层比特流的分组的基础质量版本；

增强层解码器，用于恢复渐增的质量等级的一组解码的子带表示，其中，通过解码所提取的一组增强层比特流中的对应的一个的分组来恢复在所述组中的每个解码的子带表示，所述增强层解码器包括层间帧纹理解码器，用于使用层间预测信号来解码子带表示，所述层间帧纹理解码器还包括层间预测器，用于形成层间预测信号，所述层间预测信号是次低质量层的恢复视频帧的表示；

合成滤波器组，用于从在最后的增强层的所述解码的子带表示合成解码的帧；以及

限定器，根据像素值范围对合成的视频帧执行剪裁操作。

20.根据权利要求19所述的系统，其中，所述层间帧纹理解码器包括块转换解码器。

Images