CN108293120B - 使用小波和可变尺寸变换编码的高效帧内视频/图像编码 - Google Patents

Abstract

讨论了与使用小波和可变尺寸变换编码的帧内视频帧或图像编码有关的技术。这样的技术可以包括对帧或图像的小波分解以生成子带以及基于可变尺寸变换对帧或图像或子带的分割进行编码。

Description

使用小波和可变尺寸变换编码的高效帧内视频/图像编码

优先权声明

本申请要求对提交于2015年11月30日且题为“EFFICIENT INTRA VIDEO/IMAGECODING USING WAVELETS AND VARIABLE SIZE TRANSFORM CODING（使用小波和可变尺寸变换编码的高效帧内视频/图像编码）”的美国专利申请序列号14/954,710的优先权。

相关申请的交叉引用

本申请包含与提交于2015年11月30日的题为“EFFICIENT AND SCALABLE INTRAVIDEO/IMAGE CODING USING WAVELETS AND AVC, MODIFIED AVC, VPx, MODIFIED VPx,OR MODIFIED HEVC CODING（使用小波和AVC、修改的AVC、VPx、修改的VPx或修改的HEVC编码的高效且可扩缩的帧内视频/图像编码）”的美国专利申请号14/954,715以及提交于2015年11月30日的题为“EFFICIENT, COMPATIBLE, AND SCALABLE INTRA VIDEO/IMAGE CODINGUSING WAVELETS AND HEVC CODING（使用小波和HEVC编码的高效、可兼容且可扩缩的帧内视频/图像编码）”的美国专利申请号14/954,837有关的主题。

背景技术

图像或视频译码器（encoder）压缩图像或视频信息，以使得可以在给定带宽上发送更多信息。然后可以将经压缩的信号传输到具有解码器的接收器，所述解码器在显示前解码或解压所述信号。

在图像/视频处理的进步的上下文中开发的本公开解决了与执行对视频帧内帧（intra frames of video）和图像的改进编码相关联的问题。这种改进的编码可以包括高效编码和支持基本可扩缩性的编码的组合。例如，术语高效编码指的是提供更高压缩效率的译码，其允许将更多的具有某一质量的视频帧内帧或图像存储在计算机磁盘/设备上或者通过指定网络进行传输，或者允许存储或传输相同数量但具有更高质量的（例如，视频帧内帧或图像）。此外，术语可扩缩编码这里指的是对视频帧内帧或图像进行译码，以使得然后可以从其单个译码的比特流子集中进行解码，从而产生具有不同分辨率的帧内帧或图像。例如，当应用于本公开时，术语“基本可扩缩性”指的是除了从相同比特流中解码全分辨率版本的能力之外，对该比特流的子集进行解码以产生较低分辨率层图像或帧内帧的能力。

随着以增加的可扩缩性的灵活性对具有更高质量的更多的图像和视频的捕获、存储和传输的需求不断增加，为图像和视频帧内帧提供改进的压缩技术可以是有利的。正是出于这些考虑和其它考虑，需要进行本改进。

附图说明

在附图中通过示例的方式而非通过限制的方式例示本文描述的材料。为了例示的简单和清楚，图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其它元件被夸大。此外，在认为适当的情况下，在附图当中重复参考标号以指示对应或类似的元件。在附图中：

图1A例示了分析滤波器的示例应用；

图1B例示了合成滤波器的示例应用；

图1C例示了2D信号的示例分析滤波；

图1D例示了示例合成滤波；

图2A例示了将小波滤波应用于图像或视频帧的示例结果；

图2B例示了图像或视频帧的示例二级分解；

图3A是基于小波的译码器/解码器系统的框图；

图3B例示了到10个子带中的小波三级倍频程分解；

图3C例示了空间方向树；

图3D例示了示例SPECK译码过程；

图3E例示了图像或帧内帧的示例划分；

图4是示例JPEG2000译码器的框图；

图5A例示了在本文被称为自适应可变尺寸变换（AVST）帧内译码器的下一代帧内编码器的框图；

图5B例示了对应于图5A的AVST帧内译码器的独立式AVST帧内解码器的框图；

图6A例示了不具有空间方向性预测的示例编码器的框图；

图6B例示了不具有空间预测的示例解码器的框图；

图7A例示了与小波LL子带的译码有关的AVST译码器的示例特征；

图7B例示了与HL、LH和HH子带的译码有关的AVST*译码器的示例特征；

图7C例示了与小波LL子带的解码有关的AVST解码器的示例特征；

图7D例示了与小波HL、LH和HH子带的解码有关的AVST*解码器的示例特征；

图8A例示了示例组合式小波AVST（WAVST）编码器的框图；

图8B例示了另一示例组合式小波AVST（WAVST）编码器的框图；

图8C例示了另一示例组合式小波AVST（WAVST）编码器的框图；

图9A例示了使用小波分析滤波器的、“Foreman”视频序列中的帧到LL、HL、LH和HH子带中的示例一级分解；

图9B例示了针对四个频带中的每一个的示例AVST/AVST*块变换分割；

图10A例示了WAVST帧内译码的示例过程的流程图；

图10B例示了WAVST帧内解码的示例过程的流程图；

图11A例示了示例WAVST帧内译码器的功能框图；

图11B例示了示例功能性独立式WAVST帧内解码器的功能框图；

图12例示了示例系统1201，其包括以下细节：图11A的WAVST译码器中的“小波分析滤波器”和图11B的WAVST解码器中的“小波合成滤波器”；

图13A例示了示例系统，其包括以下细节：“本地（local）缓冲器和预测分析器和生成器”以及到图11A的WAVST帧内译码器的其余部分的接口；

图13B例示了示例系统，其包括以下细节：“本地缓冲器和预测生成器”以及到图11B的WAVST帧内解码器的其余部分的接口；

图14例示了示例系统，其包括以下细节：图11A的“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块和图11B的“自适应方形/矩形尺寸逆变换：DCT、PHT、DST”模块；

图15A例示了针对LL频带的被变换为4x4变换系数块的4x4样本块的Z形扫描；

图15B例示了针对HL频带的被变换为4x4变换系数块的4x4样本块的Z形扫描；

图15C例示了针对LH频带的被变换为4x4变换系数块的4x4样本块的Z形扫描；

图15D例示了针对HH频带的被变换为4x4变换系数块的4x4样本块的Z形扫描；

图16例示了示例组合式自适应小波AVST（AWAVST）编码器的框图；

图17A例示了AWAVST帧内译码的示例过程的流程图；

图17B例示了AWAVST帧内解码的示例过程的流程图；

图18A例示了示例AWAVST帧内译码器的功能框图；

图18B例示了示例功能性独立式AWAVST帧内解码器的功能框图；

图19例示了示例系统，其包括以下细节：图18A的AWAVST译码器中的“自适应小波分析滤波器”和图18B的AWAVST解码器中的“小波合成滤波器”；

图20A例示了示例系统，其包括以下细节：“本地缓冲器和预测分析器和生成器”以及到图18A的AWAVST帧内译码器的其余部分的接口；

图20B例示了示例系统，其包括以下细节：“本地缓冲器和预测生成器”以及到图18B的WAVST帧内解码器的其余部分的接口；

图21例示了示例系统，其包括以下细节：图18A的AWAVST帧内译码器的“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块和图18B的AWAVST解码器的“自适应方形/矩形尺寸逆变换：DCT、PHT、DST”模块；

图22A例示了被称为自适应变换小波自适应变换（ATWAT）编码器的示例变换和小波变换组合式编码器的框图；

图22B例示了被称为自适应变换自适应小波自适应变换（ATAWAT）编码器的示例变换和小波变换组合式编码器的框图；

图23A例示了用于使用自适应变换小波自适应变换（ATWAT）编码器或自适应变换自适应小波自适应变换（ATAWAT）编码器的ATWAT/ATAWAT帧内译码的示例过程的流程图；

图23B例示了用于将通过ATWAT/ATAWAT帧内译码执行的过程进行反转的ATWAT/ATAWAT帧内解码的示例过程2302的流程图；

图24是用于译码和/或解码的示例系统的例示图；

图25是示例系统的例示图；以及

图26例示了全部根据本公开的至少一些实现方式进行布置的示例小形状因素设备。

具体实施方式

现在参照附图描述一个或多个实施例或实现方式。虽然讨论了具体的配置和布置，但应当理解，这仅仅是为了例示的目的而完成的。相关领域的技术人员将认识到，可以采用其它配置和布置而不脱离本描述的精神和范围。对于相关领域的技术人员来说将显而易见的是，本文描述的技术和/或布置也可以用在除了本文描述的系统和应用之外的各种其它系统和应用中。

虽然以下描述阐述了可以在诸如例如片上系统（SoC）架构之类的架构中体现的各种实现方式，但是本文描述的技术和/或布置的实现方式不限于特定的架构和/或计算系统并且可以通过用于类似目的的任何架构和/或计算系统来实现。例如，采用例如多个集成电路（IC）芯片和/或封装的各种架构和/或诸如多功能设备、平板、智能电话等的各种计算设备和/或消费者电子（CE）设备都可以实现本文描述的技术和/或布置。此外，虽然以下描述可能阐述了诸如逻辑实现、系统组件的类型和相互关系、逻辑划分/集成选择等的众多具体细节，但是可以在没有这些具体细节的情况下实践所要求保护的主题。在其它情况下，可以不详细地示出诸如例如控制结构和完整软件指令序列之类的一些材料，以便不模糊本文公开的材料。

本文公开的材料可以用硬件、固件、软件或其任何组合来实现。本文公开的材料也可以实现为存储在机器可读介质上的指令，其可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器（例如，计算设备）可读的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光存储介质；闪存设备；电学的、光学的、声学的或其它形式的传播信号（例如，载波、红外信号、数字信号等）以及其它。

在说明书中对“一个实现方式”、“实现方式”、“示例实现方式”（或“实施例”、“示例”等）等的引用指示所描述的实现方式可以包括特定的特征、结构或特性，但是并非每个实施例都一定会包括所述特定特征、结构或特性。另外，这样的短语不一定指的是同一实现方式。此外，当结合一实施例描述特定的特征、结构或特性时，主张不论是否在本文中明确描述，结合其它实现方式来实施这样的特征、结构或特性都在本领域技术人员的知识范围内。

本文描述了涉及使用小波和可变尺寸变换编码的高效帧内视频/图像编码的方法、设备、装置、计算平台和物品。

在讨论各种实施例的细节之前，本公开提供了对基于小波的图像编码的讨论。例如，数字信号的小波滤波的过程可以被认为包括两个互补过程，一个是将信号分解成低通和高通子集信号，而相反过程是将低通和高通子集信号组合（重组）回成原始的（或接近原始的）信号。用于分解的滤波器可以称为分析滤波器，可以首先应用分析滤波器，并且用于重组的滤波器可以称为合成滤波器并可以应用于已分解的信号（可以在分析滤波器和合成滤波器之间插入其它操作）。在一些示例中，分析滤波器和合成滤波器可以是互补对，并且可能需要满足某些数学属性以使得信号的最终重构与原始信号类似并具有良好质量。作为滤波器的不同类别/类型以及它们拥有的属性的示例，提供了正交滤波器和双正交滤波器类别的属性以及落入前述类别中的具体滤波器或滤波器类型的示例。

在一些示例中，可以使用正交滤波器。例如，正交滤波器可以包括合成滤波器（合成滤波器是其相关联的分析滤波器的时间反转版本）、可以从低通滤波器推导出的高通滤波器、以及满足正交约束的分析滤波器。在其它示例中，可以使用双正交滤波器。例如，双正交滤波器可以包括有限脉冲响应（FIR）、线性相位和完美重构。然而，双正交滤波器可能不是正交的。

示例的双正交类别的小波滤波器包括Haar小波滤波器，但同一类别的更高质量的滤波器包括Cohen-Daubechies-Feauveau CDF 5/3、LeGall 5/3滤波器和CDF 9/7滤波器。例如，CDF 5/3或CDF 9/7滤波器可以是双正交的（例如，提供FIR、线性相位和完美重构，但不是正交的）、对称的，并且可以具有奇数长度。

正交小波滤波器的示例包括各种尺寸的正交镜像滤波器（QMF）。例如，QMF滤波器可以提供FIR、线性相位、无混叠但不完美的重构，并且可以是正交的。

在下面的讨论中，分别在例示示例滤波器的表1A至表3中以及本文其它地方的缩写或术语lpaf、hpaf、lpsf和hpsf分别表示低通分析滤波器、高通分析滤波器、低通合成滤波器和高通合成滤波器。

表1A提供了使得滤波器围绕中心系数0.75对称的5抽头低通分析滤波器的示例系数，以及使得滤波器围绕中心系数1.0对称的3抽头高通分析滤波器的系数。

表1A 示例CDF或LeGall 5/3分析滤波器。

表1B提供了使得滤波器围绕中心系数1.0对称的3抽头低通合成滤波器的示例系数，以及使得滤波器围绕中心系数0.75对称的5抽头高通合成滤波器的系数。

表1B 示例CDF或LeGall 5/3合成滤波器。

表1A和表1B的示例滤波器集合可以称为Daubechies 5/3、CDF 5/3或LeGall 5/3滤波器。

图1A例示了根据本公开的至少一些实现方式布置的分析滤波器的示例应用101。如图1A所示，原始1D信号可以经历低通分析滤波（lpaf）以产生被输入信号的2子带下采样的低通1D信号（例如，近似系数）。并行地，例如，原始1D信号也可以经历高通分析滤波（hpaf）以产生被输入信号的2子带下采样的高通1D信号（例如，细节系数）。在一些示例中，图1A中应用的分析滤波器可以是表1A的分析滤波器。

图1B例示了根据本公开的至少一些实现方式布置的合成滤波器的示例应用102。如图1B所示，可以应用与图1A中应用的分析滤波器互补的合成滤波器。例如，来自分析滤波的两个下采样信号（低通和高通子带；例如，近似系数和细节系数）可以被称为低通合成滤波器和高通合成滤波器的一对合成滤波器滤波。两个输出可以被组合，以产生与输入处的1D原始信号相同（或几乎完全相同）的重构信号（例如，原始/接近信号）。在一些示例中，图1B中应用的合成滤波器可以是表1B的合成滤波器。在应用表1A和表1B的5/3滤波器的示例中，输出可以精确地完全相同，因为系数是2的幂次方。然而，在应用其它示例滤波器时，由于轻微的舍入差异，输出如果不完全相同的话也可能非常接近。在一些示例中，在分析滤波之后，所得到的低通和高通子带像素（也称为滤波系数）可以在译码期间通过量化被选择性地降低精度并然后进行熵译码以导致压缩。解码器然后可以通过执行跟随合成滤波的熵解码和逆量化来反转译码过程。

所讨论的分析/合成滤波过程不限于使用诸如表1A和表1B的滤波器之类的5/3滤波。例如，所讨论的分析/合成滤波过程可以可适用于诸如本文讨论的那些滤波器之类的任何分析和合成滤波器。例如，表2A和表2B提供了示例CDF 9/7滤波器。CDF 9/7滤波器的低通分析滤波器可以是围绕中心系数0.602949对称的9抽头滤波器，并且高通分析滤波器可以是围绕中心系数1.115087对称的7抽头滤波器。在表2B中提供了示例的互补的低通合成滤波器和高通合成滤波器，其中低通合成滤波器的长度为7抽头并且高通合成滤波器的长度为9抽头。

表2A 示例CDF 9/7分析滤波器

表2B 示例CDF 9/7合成滤波器。

先前讨论的滤波器集合（例如，CDF（或LeGall）5/3滤波器和CDF 9/7滤波器）是双正交滤波器的示例。然而，本文讨论的技术也适用于诸如QMF滤波器之类的正交滤波器。例如，表3提供了13抽头QMF低通和高通分析滤波器的示例系数。互补的合成滤波器可以被生成为分析滤波器的时间反转版本。

表3 示例QMF 13分析滤波器（合成滤波器是分析滤波器的时间反转版本）。

所描述的技术可以提供信号的1D滤波。现在讨论转向2D滤波，因为图像是2D信号，并且视频可以被认为是由2D帧加上时间维度组成的。例如，到目前为止讨论的1D滤波技术可以被扩展以推导出2D滤波技术，如本文进一步讨论的。

例如，小波滤波可以通过包括均匀带分解、倍频程带分解和小波包分解的不同分解技术将诸如图像（或视频帧）之类的2D信号分解成子带。例如，倍频程带分解可以提供非均匀拆分技术，其将低频频带分解成更窄的频带，使得高频频带被留下不被进一步分解。

图1C例示了根据本公开的至少一些实现方式布置的2D信号的示例分析滤波103。如图1C所示，2D信号的分析滤波可以包括两个阶段，第一阶段要执行一个维度（例如，竖直）中的滤波，并且第二阶段要对第一阶段的输出执行第二维度（例如，水平）中的滤波。例如，分析滤波103可以提供2D信号（例如，图像或帧内帧）的分析滤波。在第一阶段中使用的分析滤波器（例如，低通分析滤波器和高通分析滤波器）和在第二阶段中使用的分析滤波器可以是相同的。例如，可以在第一阶段中将它们应用于行，而可以在第二阶段中将它们应用于列。图1C中所示的针对2D信号的完整2阶段分解/分析滤波过程可以通过2次操作来提供滤波和子采样，并且可以产生被称为低-低（LL）、低-高（LH）、高-低（HL）和高-高（HH）的四个子带。例如，图1C例示了将2D信号x(m,n)分解成具有由y _LL (p,q)、y _LH (p, q)、y _HL (p,q)和y _HH (p, q)表示的样本的4个子带。在图1C的示例分解中，每个子带包括原始信号x(m,n)的样本（系数）的数量的四分之一。

图1D例示了根据本公开的至少一些实现方式布置的示例合成滤波104。如图1D所示，合成滤波104可以包括对表示四个子带中的每一个的样本（例如，系数）y' _LL (p,q)、y' _LH (p, q)、y' _HL (p,q)和y' _HH (p,q)所应用的内插以2和滤波的操作，以提供原始信号的重组版本（例如，x'(m,n)）。在没有量化子带系数的完美滤波器的示例中，最终（例如，重组）信号（例如，x'(m,n)）可以与被提供给分析滤波103的输入信号（例如，x(m,n)；请参考图1C）完全相同。

图2A例示了根据本公开的至少一些实现方式布置的对图像或视频帧201应用小波滤波的示例结果202、203。如图2A所示，可以将小波滤波应用于图像或视频帧201的行，结果是将图像或视频帧201分解成结果202，结果202可以包括2个子带：低频子带L和高频子带H，其可以各自相对于图像或视频帧201在水平方向上具有一半尺寸但在竖直方向上具有全部尺寸。可以将小波滤波应用于结果202（例如，应用于两个子带L和H中的每一个）的列以将每个子带进一步分解成各两个子带，总共有4个子带（例如，LL、HL、LH和HH子带），如关于结果203所示。关于图2A例示的过程可以称为图像或视频帧201的一级分解。例如，图2A可以提供一级离散小波变换（DWT）分解。

图2B例示了根据本公开的至少一些实现方式布置的图像或视频帧的示例二级分解204。如图2B所示，一级分解的过程可以扩展到两个级别（例如，可以称为二级分解）。提供二级分解204的过程可以包括执行关于图2A讨论的产生4个子带的一级分解，并且其在图2B中被称为LL₁（由于后续分解而在图2B中未示出）、HL₁、LH₁和HH₁子带。此外，在一些实施例中，可以通过用于一级分解的相同过程来进一步分解低-低（LL₁）子带。在其它实施例中，第一分解和第二分解可以包括不同的分解（例如，滤波器类型等）。这样的处理可以提供将LL₁子带进一步分解成被称为LL₂、HL₂、LH₂和HH₂的4个子带，其中LL₂现在是低-低子带。

在一些示例中，这样的分解处理可以进一步继续，其中每次迭代执行来自先前迭代的低-低频带的四拆分，这可以提供更高级别的分解。

讨论现在转向用于编码视频帧内帧或图像的基于小波的编码器。图3A是根据本公开的至少一些实现方式布置的基于小波的译码器/解码器系统301的框图。如图3A所示，要由系统301的小波译码器译码的图像可以被输入到色彩空间转换器，该色彩空间转换器可以例如将RGB图像/帧转换为YUV图像/帧，该YUV图像/帧可以被输入到小波分析变换模块，小波分析变换模块可以将YUV图像/帧分解成小波（例如，子带）系数，小波系数可以由量化器量化，量化器可以跟随有由重要性映射和系数熵译码器对量化系数自身和重要的量化系数的位置映射进行熵编码以产生用于存储或在信道上传输的编码比特流。

来自存储或传输的编码比特流可以在系统301的小波解码器处经历重要性映射和系数熵解码器处的对重要性映射以及系数自身的熵解码，随后在逆量化器处对量化系数进行逆量化，其可以被输入到小波合成变换模块，小波合成变换模块可以从小波（例如，子带）系数中重组YUV图像/帧，YUV图像/帧可以被色彩空间逆变器转换为期望的（例如，通常是RGB）格式来生成解码图像。

在不失一般性的情况下，可以说如果要编码的图像已经处于译码器使用的色彩格式中，则色彩空间转换不是必需的。此外，如果解码图像可以以所解码的格式进行消费，则可以不需要色彩空间逆变。关于系统301讨论的译码/解码过程可以应用于图像或视频的（一个或多个）帧（其在本文被称为（一个或多个）帧内帧）。

小波编码器可以提供不同的质量/复杂度权衡功能/灵活性。例如，其中只有LL频带被拆分成四元组的小波分解使得较低/较粗糙的频带中的每个系数具有对应于其在下一较高频带中的空间位置的4个系数。因此，一个频带的系数与先前频带的系数中的那个之间存在唯一的空间关系。此外，小波编码器可以利用小波系数的独特结构来提供诸如图像解码可扩缩性或对比特流的随机访问之类的附加功能。

示例小波编码器包括嵌入式零树小波（EZW）编码器、分层树中的集合分割（SPIHT）编码器、集合分割嵌入式块（SPECK）编码器和具有优化截断的嵌入式块编码（EBCOT）编码器。表3提供了由这样的小波图像编码器采用的重要性映射编码和熵编码技术的示例。

小波图像编码器	重要性映射编码	系数结构以及熵编码
			EZW、SPIHT	零树	系数的跨尺度树和算术编码
SPECK	集合分割	将集合拆分成子集和算术编码
			EBCOT、JPEG2000	条件编码	小系数块的多上下文算术编码。算术编码。最优块截断

表3 基于小波的图像编码器和它们的系数译码策略。

例如，EZW可以是基于小波系数的嵌入式零树编码的原理。小波变换的有益属性之一是它将输入信号的能量压缩成较小数量的小波系数，诸如对于自然图像来说，大部分能量集中在LL_k频带中（其中k是分解级别），并且高频频带（HL_i、LH_i、HH_i）中的其余能量也收缩在较小数量的系数中。例如，在小波变换之后，可能存在稀少的少量更高幅值的系数，但大多数系数是相对较小的（并且携带相对较小量的能量），并且因此这样的系数在量化之后量化为零。此外，跨不同频带的共位系数是相关的。EZW通过使用两个主要概念来利用这些属性，即使用零树的重要性映射的编码和逐次逼近量化。例如，EZW可以利用小波分解的多分辨率性质。

图3B例示了根据本公开的至少一些实现方式布置的到10个子带中的小波3级倍频程分解302。例如，小波3级倍频程分解302比先前讨论的分解多一级的分解。如图3B所示，可以在每个子带级别中提供系数之间的空间结构关系。例如，HL₃、LH₃和HH₃频带中的方形所示的每个子带系数可以对应于HL₂、LH₂和HH₂频带中的2x2系数的共位方形和/或HL₁、LH₁和HH₁频带中的4x4子带系数的共位方形。从这种结构中受益的一种方式例如是：如果较粗糙尺度（例如，级别3）中的小波子带系数相对于阈值而言不重要或为零，则在较精细尺度（例如，级别2和1）中相同方向的小波系数也有可能相对于相同的阈值而言不重要或为零。这允许形成可以被非常高效地表示的零树（例如，由指示跨越子带尺度的零系数的块结束（end-of-block）表示的零符号的树）。这种关系在图3B中显示为实线箭头之间的父子相关性。图3B也示出（通过粗虚线箭头）跨越不同尺度的子带系数的Z形扫描的示例顺序。例如，零树结构可允许跨越更精细分辨率子带（更小的级号）的许多小系数被丢弃，这可随着树以4的幂次方增长而提供有效的节省。此外，EZW编码可译码所获得的树结构，按其重要性顺序产生比特，导致嵌入式编码，其中译码器可以在任何点处终止译码以满足译码目标比特率，或者解码器可以在任何点处停止解码以产生以低于全比特率的比特率的可行但较低质量的解码图像。

此外，SPIHT可以是基于分层树中的集合分割原理。例如，SPIHT可以利用编码原理，诸如利用集合分割排序算法按照幅值的部分排序、有序比特平面传输、以及跨越不同图像尺度的自相似性的利用。在一些实现方式中，SPIHT编码可能比EZW编码更高效。在SPIHT编码中，可以通过小波变换对图像进行分解，产生可以被分组成诸如空间方向树之类的集合的小波变换系数。每个空间方向树中的系数可以从具有最高幅值的系数开始，从最高有效比特平面渐进地编码到最低有效比特平面。和EZW一样，SPIHT可涉及两次工序：一遍排序和一遍细化。在形成一遍扫描的一遍排序和一遍细化之后，阈值可以减半，并且重复该过程直到达到期望的比特率。

由于子带之间的空间相似性，当在金字塔中向下移动时更好地对系数进行幅值排序。例如，低细节区域可能有可能在金字塔的最高级别处是可标识的，并且在较低级别中可以复制在相同的空间位置处。图3C例示了根据本公开的至少一些实现方式布置的空间方向树303。例如，空间方向树303可以是在分层树上定义空间关系的树结构。在一些示例中，可以在用递归四频带拆分创建的金字塔中定义空间方向树，使得树的每个节点定义像素，并且其后代对应于金字塔的下一更精细级别中的相同空间方向的像素。例如，可以以每个节点没有子代或有形成一组2x2个相邻像素的四个子代的方式定义树。

另外，SPECK编码可以是基于以跨越小波子带的块的形式编码像素集合的原理。例如，SPECK可与替代地使用树的EZW或SPIHT不同。SPECK可以对输入图像或帧内帧进行小波变换，并且以2个阶段进行编码，包括可以迭代地重复的一遍排序和一遍细化。除了这2个阶段之外，SPECK还可执行初始化阶段。在一些示例中，SPECK可以维护两个链接表：不重要集合列表（LIS）和重要像素列表（LISP）。

图3D例示了根据本公开的至少一些实现方式布置的示例SPECK译码过程304。如图3D所示，在初始化阶段中，输入图像（例如，F）可以被分割成两个集合，集合S和集合I。集合S可以表示根并且可以被添加到LIS。集合I可以表示其余部分（例如，F-S）。在一遍排序阶段，可以针对当前阈值执行重要性测试以对LIS中的每个S类型的块进行排序。如果S块是重要的，则通过四叉树分割将其划分成四个子集，并且每个子集被视为类型S的集合，并且递归处理直到达到像素级。不重要集合被移动到LIS以用于进一步处理。一旦集合S的处理完成，就使用相同的阈值针对I块执行重要性测试。如果一I块是重要的，则它被分成四个集合，一个集合具有相同类型I，而其它集合具有类型S。对LSP像素执行一遍细化，使得输出除了在最后一遍排序期间添加的像素之外的第n个最高有效比特。此外，阈值可以减半，并且编码过程可以重复，直到达到期望的比特率。

此外，EBCOT可以包括小波子带的嵌入式块编码，其可以从单个译码的比特流中支持诸如空间可扩缩性（例如，解码各种空间分辨率的图片的能力）和SNR可扩缩性（例如，解码各种质量的图片的能力）之类的特征。虽然对SNR可扩缩性的要求也可以通过进行逐次逼近或比特平面译码的EZW和SPIHT译码来解决，但是如果需要提供空间可扩缩性则EZW和SPIHT都不得不修改译码/比特流，但是所得到的比特流将由于子带之间的互相关性降低而不是SNR可扩缩的。在一些示例中，EBCOT通过独立编码每个频带来解决这些缺陷。此外，通过将子带样本分割成被称为码块的小块而使编码更灵活，其中码块的尺寸确定可实现的编码效率。例如，码块的独立处理可以提供本地化，并且可以对于硬件实现来说是有用的。

图3E例示了根据本公开的至少一些实现方式布置的图像或帧内帧的示例划分305。如图3E所示，要被编码的图像或帧内帧可被划分成贴片（tile），其中每个贴片小波被变换并被分割成被称为界区（precinct）的包分割位置，使得每个界区包含三个空间一致的矩形，每个矩形来自每个分辨率级别处的每个子带。每个界区可以被进一步划分成码块，码块形成到熵编码器的输入。在条带（例如，条带可以是码块比特平面中的4行连续的像素比特）内，可以逐列扫描样本。图3E也示出了对于宽16、高n的码块的示例码块扫描过程。从左上角开始，可以扫描第一列的前四个比特，直到码块的宽度被覆盖。然后，可以扫描下一条带的第一列的次四个比特，以此类推。

图4是根据本公开的至少一些实现方式布置的示例JPEG2000译码器401的框图。在一些示例中，JPEG2000译码器401可以是基于本文讨论的EBCOT技术。如图4所示，要译码的图像或帧内帧（image）可以经历“色彩矩阵、水平移位器（level shifter）、贴片转换器”模块中的预处理，该模块可以将像素值移位128，执行色彩格式转换并将图像分割成固定尺寸的贴片。此外，“小波（分析）变换”模块可以执行到频带中的2D小波分解，并且每个子带的系数可以由“量化器”量化并且使用2层译码器进行熵译码和分层。例如，“1层译码器”可以包括“上下文建模器”（例如，包括“系数比特平面编码器”和“上下文信息”模块），随后是“算术译码器”（例如，包括“MQ编码器”和“状态变量”模块），并且“2层译码器”可以包括“分层（RDO截断码块）比特流格式化器/打包器”，其可以生成然后被打包的嵌入式/可扩缩的比特流。

示例JPEG2000解码器（未示出）可以反转译码器的操作顺序，始于将要解码的比特流输入到包括“拆包器和比特流无格式化器”的“2层解码器”，随后在“1层（算术）解码器”中进行熵解码，其输出可以提供给“逆量化器”，并且然后提供给“小波（合成）变换”模块，并且然后提供给可以输出解码图像的“贴片无格式化器、水平去移位器和色彩逆矩阵”后处理器。

JPEG2000于2000年由ISO/WG1委员会完成。原始的JPEG图像编码标准于1992年由同一个ISO委员会开发为ITU-T Rec. T.81并且后来于1994年采用。虽然JPEG2000标准比原始JPEG标准提供了有效的改进，但它可以包括诸如复杂性、有限的压缩性能、硬件实现困难以及以压缩效率为代价的可扩缩性之类的缺点。此外，使用固定块尺寸变换编码的原始JPEG标准仍然是至今使用中的流行图像编码标准。然而，原始JPEG标准具有诸如有限的压缩性能之类的缺点。

本文讨论的技术可以提供对视频帧内帧或图像的高度高效的编码。所述技术中的一些还提供（图像/视频帧内帧的）到四分之一的分辨率的基本可扩缩性，而不会施加任何附加的压缩惩罚。在一些示例中，高度自适应/空间预测变换编码可以直接应用于视频帧内帧或图像。在一些示例中，高度自适应/空间预测变换编码可以应用于图像或视频帧内帧的固定或自适应小波分解。

图5A例示了根据本公开的至少一些实现方式布置的在本文中被称为自适应可变尺寸变换（AVST）帧内译码器的下一代帧内编码器501的框图。例如，图5A的译码器可以是可用于像素块的变换译码或小波LL频带数据块的变换译码的AVST帧内译码器（例如，排除RDO和速率控制）。如图5A所示，原始YUV帧或YUV图像（frame，例如RGB格式的图像被转换为YUV格式）可以被输入到“到方形/矩形块的自适应分割器”，“到方形/矩形块的自适应分割器”可以将图像或帧分割为固定的大尺寸块（例如，32x32或64x64），这些块在本文可被称作贴片并然后基于诸如诸如速率失真优化（RDO）之类的高效编码标准（未在图5A中示出）或者内容分析或者二者来优化地将每个贴片自适应地分割成可变尺寸的更小的矩形或方形块。虽然一般而言，由子分割产生的块可以具有任何尺寸，但出于实现复杂性的实际原因，在一些实施例中，这些块的水平尺寸和竖直尺寸通常可以是2的幂次方（例如，64x64、64x32、32x64、32x32、32x16、16x32、32x8、8x32、16x16、16x8、8x16、16x4、4x16、8x8、8x4、4x8、4x4等）。在一些实施例中，这样的块甚至可以限于方块（例如，32x32、16x16、8x8、4x4等）。针对每次分割所选取的分割尺寸可由partn信号指示，并可以被包括在比特流中。由于在4:2:0的YUV图像或帧色度示例中分辨率是亮度分辨率的四分之一，所以色度块尺寸可以在每个维度上是亮度块尺寸的一半（如同所讨论的那样）。在任何情况下，经分割的块可以被输入到差值器（differencer），该差值器的另一输入可以是由使用先前的相邻解码块的像素而生成的对相同块的空间预测。

用于生成空间预测的过程可以包括估计是否可以使用方向性预测（例如，具有至少5个方向的选择）、dc预测或平面预测来对块进行预测，并且可以被指示为最佳选取的模式（mode）以用于使用由“帧内DC/平面/5+预测方向估计器”和“帧内DC/平面/5+预测方向预测器”确定的相邻解码块进行预测。差值器511的输出处的（一个或多个）预测差值块可通过基于相同或更小尺寸的正交块变换的“自适应方形/矩形小到大块尺寸DCT、小块尺寸PHT或DST”模块而转换为（一个或多个）变换系数块。正交变换的示例包括实际的DCT、DCT的整数近似、类DCT整数变换、参数Haar变换（PHT）或DST变换。在一些实施例中，这样的变换可以以2D可分离的方式来应用（例如，水平变换，之后是竖直变换（或反之亦然））。此分割（例如，当前分割）的所选变换可以由比特流中的xm信号来指示。例如，变换可以是自适应参数变换或自适应混合参数变换，使得自适应参数变换或自适应混合参数变换包括从与变换分割相邻的解码像素中推导出的基础矩阵。

接下来，变换系数可以由“量化器”（例如，量化器模块）量化，由可以提供Z形扫描或自适应扫描的“自适应扫描、自适应熵译码器和比特流格式化器”以及诸如CABAC译码器之类的算术译码器来扫描以及熵译码以生成比特流。所选取的量化器的值可以由qp参数指示，该qp参数可以基于整个帧、基于贴片（切片）的一个或多个行、基于贴片或基于分割来改变，并且可以被包括在比特流中。译码器处的量化系数也可以经历本地反馈环路中的解码以便生成预测。例如，可以通过“逆量化器”来解码量化系数，然后通过“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”模块进行逆变换，该模块可以提供执行正变换的逆变换的操作，以产生解码像素差的块，然后经由加法器512将解码像素差的块与预测信号相加以产生块的重构版本。可将同一行的块的重构块以及前一行的块的重构块保存在本地缓冲器中（例如，在“本地（块行）缓冲器”处），使得它们可用于当前行的任何块的空间预测。虽然在译码器处不一定生成完整重构的图像或帧内帧，但是如果需要的话，可以通过在“方形/矩形块的自适应组装器”模块处组装重构块并通过可选地经由“去块滤波（DeBlockFiltering）”模块应用去块滤波和/或经由“去振铃滤波”模块应用去振铃来生成这样的帧。

例如，编码器501可以接收用于帧内编码的原始图像、帧或帧的块（frame）。原始图像、帧或块可以被“到方形/矩形块的自适应分割器”分割成多个分割（至少包括方形分割和矩形分割）以供预测。此外，用于预测的分割可以由“到方形/矩形块的自适应分割器”分割成多个变换分割（至少包括方形分割和矩形分割）。用于预测的分割可以由差值器511进行与来自“帧内DC/平面/5+预测方向预测器”的对应预测分割进行求差以生成对应的预测差值分割。例如，该上下文中的变换分割可以包括预测差值分割的分割。此外，变换分割相对于它们对应的预测差值分割可以具有相等或更小的尺寸。

可对多个变换分割的至少第一变换分割执行自适应参数变换或自适应混合参数变换并且对多个变换分割的至少第二变换分割执行离散余弦变换，以产生对应的第一变换系数分割和第二变换系数分割，以使得自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。在实施例中，第一变换分割具有在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在可用分割尺寸内的分割尺寸。在实施例中，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。在实施例中，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

第一变换系数分割和第二变换系数分割可以由“量化器”量化以产生经量化的第一变换系数分割和第二变换系数分割，并且经量化的第一变换系数和第二变换系数可以由“自适应扫描、自适应熵译码器和比特流格式化器”进行扫描和熵译码成比特流（bitstr）。

图5B例示了根据本公开的至少一些实现方式布置的对应于图5A的AVST帧内译码器的独立式AVST帧内解码器502的框图。例如，图5B的解码器可以解码经AVST帧内译码的比特流。例如，如同所述，图5A的译码器包括类似的本地解码环路。如图所示，经AVST译码的比特流（bitstr）可以经历“比特流无格式化器、自适应熵解码器和自适应逆扫描”模块中对量化系数的比特流无格式化、熵（例如，CABAC）解码以及逆扫描，可以经由“逆量化器”对该模块的输出处的量化变换系数进行逆量化（例如，基于量化器qp），并且将其发送用于“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”模块处的逆变换，这可生成解码的差值像素块。对于解码的差值像素块，可以通过“帧内DC/平面/5+预测方向预测器”确定对应的空间方向或DC或平面预测（例如，基于解码的模式信息）并且经由加法器521应用以产生重构块，其可以被存储在“本地（块行）缓冲器”中并由“方形/矩形块的自适应组装器”模块组装以形成完整图像或帧内帧，该完整图像或帧内帧可以经由“去块滤波”模块对块结构进行滤波和/或经由“去振铃滤波”模块滤波以减少振铃并被发送以显示为解码图像或帧（dec.frame）。

例如，虽然在图像或帧内编码中使用空间方向性预测可以允许增加编码效率，但是存在可能不足以进行空间预测的一些情况，诸如当期望更低的复杂度时，或者当不可对原始像素而是对某一形式的差值信号应用译码时。

例如，解码器502可以接收多个变换系数分割，使得变换系数分割在“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”处包括方形分割和矩形分割，该“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”可对多个变换分割中的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换，以及对多个变换分割中的至少第二变换系数分割执行逆离散余弦变换，以产生对应的第一变换分割和第二变换分割。在实施例中，逆自适应参数变换或逆自适应混合参数变换可以包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。例如，在此上下文中，变换分割可以是预测差值分割。变换分割（例如，预测差值分割）可经由加法器521与来自“帧内DC/平面/5+预测方向预测器”的对应的预测分割相加以生成重构分割。可以至少部分地基于第一变换分割和第二变换分割及其对应的重构分割来生成解码图像、帧或块。例如，可以通过“方形/矩形块的自适应组装器”来组装重构分割，并且可以应用可选的去块和/或去振铃来生成解码或重构的图像、帧或块（dec.frame）。在实施例中，第一变换分割包括在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在可用分割尺寸内的分割尺寸。在实施例中，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。在实施例中，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

图6A例示了根据本公开的至少一些实现方式布置的没有空间方向性预测的示例编码器601的框图。例如，编码器601可以不执行空间方向性预测，但是编码器601可以包括与“到方形/矩形块的自适应分割器”模块、“自适应方形/矩形小到大块尺寸DCT、小块尺寸PHT或DST”模块、“量化器”和“自适应扫描、自适应熵译码器和比特流格式化器”模块相关联的功能。已经参考图5A讨论了这些模块的操作，并且为了简洁起见将不再重复。图6A的译码器在本文被称为AVST*译码器。例如，图6A的译码器可以是AVST帧内译码器，其中去除了帧内预测，但包括变换类型、方向性变换尺寸以及扫描开始角和方向的自动选择。AVST*译码可以被定制为小波频带的编码，诸如用于HL频带的AVST^HL、用于LH频带的AVST^LH和用于HH频带的AVST^HH（例如，* = HL、LH或HH）。例如，图6A的译码器和图6B的解码器在本文可以被称为AVST*帧内译码器和AVST*帧内解码器。

例如，编码器601可以接收用于帧内编码的原始图像、帧或帧的块（frame）。原始图像、帧或块可以由“到方形/矩形块的自适应分割器”分割成多个变换分割（至少包括方形分割和矩形分割）。例如，此上下文中的变换分割可以包括原始图像、帧或块的分割。

可对多个变换分割的至少第一变换分割执行自适应参数变换或自适应混合参数变换，以及对多个变换分割的至少第二变换分割执行离散余弦变换，以产生对应的第一变换系数分割和第二变换系数分割，从而使得自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。在实施例中，第一变换分割具有在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在可用分割尺寸内的分割尺寸。在实施例中，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。在实施例中，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

第一变换系数分割和第二变换系数分割可以由“量化器”量化以产生经量化的第一变换系数分割和第二变换系数分割，并且经量化的第一变换系数和第二变换系数可以由“自适应扫描、自适应熵译码器和比特流格式化器”扫描并熵译码成比特流（bitstr）。

图6B例示了根据本公开的至少一些实现方式布置的没有空间预测的示例解码器602的框图。例如，图6B的解码器可以正确地解码由图6A的译码器产生的比特流。例如，图6B的解码器可以不包括空间预测，但可以提供与图5B的解码器的所有其它组件（诸如“比特流无格式化器、自适应解码器和自适应逆扫描”模块，“逆量化器”，“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”模块，“方形/矩形块的自适应组装器”，“去块滤波”模块和“去振铃滤波”模块）相关联的功能。已经参考图5B讨论了这些模块的操作，并且为了简洁起见将不再重复。

例如，解码器602可以接收多个变换系数分割，使得变换系数分割在“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”处包括方形分割和矩形分割，该“自适应方形/矩形小到大块尺寸逆DCT、小块尺寸逆PHT或逆DST”可对多个变换分割的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换，以及对多个变换分割的至少第二变换系数分割执行逆离散余弦变换，以产生对应的第一变换分割和第二变换分割。在实施例中，逆自适应参数变换或逆自适应混合参数变换可以包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。例如，在此上下文中，变换分割可以是重构分割。可以至少部分地基于重构分割来生成解码图像、帧或块。例如，重构分割可以由“方形/矩形块的自适应组装器”进行组装，并且可以应用可选的去块和/或去振铃以生成解码或重构的图像、帧或块（dec.frame）。在实施例中，第一变换分割包括在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在可用分割尺寸内的分割尺寸。在实施例中，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。在实施例中，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

（例如，关于图5A和5B）所讨论的AVST编码器/解码器可以用于对图像或视频帧进行译码或者用于对经历了到各种频带中的小波子带分解的图像或视频帧进行解码。如同所述，图像/视频帧的一级小波分解产生各自具有四分之一尺寸的四个子带（例如，LL、HL、LH和HH子带），使得LL子带是原始帧的低通版本，HL、LH和HH子带是竖直定向的、水平定向的和对角定向的差值信号。

图7A例示了根据本公开的至少一些实现方式布置的与小波LL子带的译码有关的AVST译码器的示例特征701。例如，高效的LL频带译码可能需要处置9比特输入（例如，非8比特输入）的能力、具有dc/平面/方向性帧内预测以减少冗余的能力（例如，因为LL频带可类似于原始信号）、变换类型和变换尺寸的良好选择、以及对所得变换系数的高效扫描。例如，可以使得能够在LL频带的AVST译码中实现所有这些特征。

图7B例示了根据本公开的至少一些实现方式布置的与HL、LH和HH子带的译码有关的AVST*译码器的示例特征702。例如，高效的HL、LH和HH频带编码可能需要处置9比特输入（例如，非8比特输入）的能力、禁用帧内预测的能力、选择变换类型和尺寸的能力、以及对基于频带的变换系数扫描样式（例如，由于HL、LH和HH频带中的每一个中的结构的方向性性质）的支持。

图7C例示了根据本公开的至少一些实现方式布置的与小波LL子带的解码有关的AVST解码器的示例特征703。例如，AVST解码器可以包括与图7A的互补译码器中存在的那些特征相同或相似的特征。例如，AVST解码器可以能够解码由AVST译码器生成的比特流。

图7D例示了根据本公开的至少一些实现方式布置的与小波HL、LH和HH子带的解码有关的AVST*解码器的示例特征704。例如，AVST*解码器可以包括与图7C的互补译码器中存在的那些特征相同或相似的特征。例如，AVST*解码器可以能够解码由AVST*译码器生成的比特流。

如同所述，可以将AVST帧内编解码器和/或AVST*帧内编解码器应用于编码小波子带。现在讨论转向组合式小波子带AVST编解码器。

图8A例示了根据本公开的至少一些实现方式布置的示例组合式小波AVST（WAVST）编码器801的框图。例如，图8A的编码器可以将小波分析/合成滤波与可以对YUV帧或图像进行编码并生成YUV帧或图像的解码版本的高效且灵活的变换（AVST/AVST*，其中* = HL、LH或HH）编解码器进行组合。如图所示，在译码侧，输入视频（或转换为YUV的图像）帧（例如，frame）可以经历“小波分析滤波”模块中的小波分解，产生到LL、HL、LH和HH子带中的其一级分解，每个子带的尺寸可以是四分之一尺寸，并且可以具有9比特的比特深度（假设8比特输入视频或图像）。然后可以由具有诸如图7A所描述的特征的AVST译码器（“AVST帧内译码器”）来对LL子带进行译码，并且可以用具有图7B所描述的特征的单独定制AVST*译码器（“AVST*帧内译码器”）来对HL、LH和HH子带进行译码。译码过程的结果包括四个单独的比特流，诸如LL比特流、HL比特流、LH比特流和HH比特流，它们可以由“到分层比特流的复用器”复用到单个可扩缩比特流中以用于存储或在信道上传输。图8A的信道或本文讨论的任何信道可以是任何合适的通信信道或存储设备等。

例如，在译码器侧，可以接收的原始图像或帧（frame）以用于帧内编码，可以由“小波分析滤波”对原始图像或帧内帧执行小波分解以生成原始图像或帧内帧的多个子带，可以将多个子带的第一子带分割成多个分割以用于预测（如关于编码器501讨论的那样），可以讲用于预测的分割中的每一个与对应的预测分割进行求差以生成对应的预测差值分割（如关于编码器501讨论的那样），可以将预测差值分割分割成多个第一变换分割以用于变换编码（如关于编码器501讨论的那样），使得第一变换分割相对于它们的对应预测差值分割具有相等或更小的尺寸，并且多个子带的第二子带可以被分割成用于变换编码的多个第二变换分割（如关于编码器501讨论的那样）。在实施例中，小波分解包括小波分析滤波。在实施例中，用于预测的多个分割至少包括方形分割和矩形分割。在实施例中，变换分割可以至少包括方形分割和矩形分割。例如，第一子带可以是LL子带，并且第二子带可以是如本文所讨论的HL、LH或HH子带中的至少一个。在实施例中，可以对多个第一变换分割的至少第一变换分割执行自适应参数或自适应混合参数变换，以及对多个第一变换分割的至少第二变换分割执行离散余弦变换，使得第一变换分割小于第二变换分割，并且自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。在实施例中，当原始图像或帧具有8比特的比特深度时，第一子带和第二子带具有9比特的比特深度。

这种处理可以在例如图8A、8B、8C、16、22A或22B的译码器侧执行。在图8A、8B、8C和22A的上下文中，小波分解滤波可以是固定小波分析滤波。在图16和图22B的上下文中，小波分解可以是基于原始图像或帧的内容特性、目标分辨率或诸如目标比特率之类的应用参数中的至少一个的自适应小波分析滤波。在这样的实施例中，自适应小波分析滤波可以包括从多个可用小波滤波器集合中选择一所选小波滤波器集合。在这样的实施例中，自适应小波分析滤波还可以包括将与用于原始图像或正进行帧内编码的帧的所选小波滤波器集合相关联的所选小波滤波器集合指示符插入到比特流中。

在任何情况下，这样的技术还可以包括变换第二分割的第一变换分割和扫描经变换的第一变换分割的系数，以使得：当第二子带包括HL子带时，扫描系数包括以Z形样式从经变换的第一变换分割的左下角到右上角对系数进行扫描，当第二子带包括LH子带时，扫描系数包括以Z形样式从经变换的第一变换分割的右上角到左下角对系数进行扫描，并且当第二子带包括HH子带时，扫描系数包括以Z形样式从经变换的第一变换分割的右下角到左上角对系数进行扫描，如本文关于图15A-15D进一步讨论的那样。

还如图8A所示，在解码侧，可以由“到比特流层的解复用器”将复用的比特流解复用到单独的LL、HL、LH和HH比特流中，然后可以将它们发送到对应的AVST或单独定制的AVST*解码器。例如，可以将LL子带发送到“AVST帧内解码器”，并且可以将HL、LH和HH比特流发送到对应的“AVST*帧内解码器”。所得到的四个四分之一尺寸的解码子带可以由“小波合成滤波”模块进行组合以提供全分辨率/尺寸的最终重构视频（或图像）帧（dec.frame）用于显示。尽管比特流是可扩缩的，但是关于图8A描述的用例可以提供用于仅显示单个全尺寸视频（或图像）帧的重构。

例如，在解码器侧，可以由“到比特流层的解复用器”来解复用可扩缩的比特流，以生成各自与多个小波子带中的子带相关联的多个比特流，可以针对多个小波子带的第一子带生成至少包括方形分割和矩形分割的多个变换系数分割（如关于解码器502讨论的那样），可以对多个变换分割的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换并且可对多个变换分割的至少第二变换系数分割执行逆离散余弦变换，以产生对应的第一变换分割和第二变换分割（如关于解码器502讨论的那样），并且可以至少部分地基于第一变换分割和第二变换分割来生成解码的图像、帧或块。

可以基于（由“AVST帧内解码器”）至少部分地基于第一变换分割和第二变换分割对第一子带进行解码、（由“AVST*帧内解码器”）对多个小波子带的其余子带进行解码，以生成解码的图像、帧或块，并且（由“小波合成滤波”模块）对第一子带和其余子带执行小波合成滤波以生成重构的图像或帧。这种处理可以如关于图8A和8B（当输出选择为全分辨率时）、图8C（当输出选择为全分辨率时）或图16（当输出选择为全分辨率时）所讨论的那样执行。

在其它上下文中，可以进行低分辨率输出选择，并且生成解码的图像、帧或块可以包括仅关于图8B所述的那样解码第一子带和/或利用如关于图8C和图16所述的可选上采样。

此外，这样的小波合成滤波可以是固定的（如关于图8A-8C所述）或自适应的（如关于图16所述）。在自适应小波合成滤波的上下文中，所选小波滤波器集合指示符可以从可扩缩比特流中确定并与来自多个可用小波滤波器集合中的所选小波滤波器集合相关联，以使得所选小波滤波器集合用于小波合成滤波。

如本文所讨论的，在实施例中，第一子带可以是LL子带，并且其余子带可以是HL、LH或HH子带中的至少一个。在实施例中，自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

图8B例示了根据本公开的至少一些实现方式布置的另一示例组合式小波AVST（WAVST）编码器802的框图。例如，图8B的编码器可将小波分析/合成滤波与可以对YUV帧或图像进行编码、可以生成YUV帧的两个解码版本：（1）1/4尺寸/分辨率的YUV解码的LL频带和（2）通过合成所有4个解码频带获得的全尺寸/全质量YUV帧或图像的高效且灵活的变换（AVST/AVST*，其中* = HL、LH或HH）编解码器进行组合。如图所示，图8B的译码侧与图8A的译码侧相同，并且为简洁起见，将不再进一步讨论。在解码侧，可以由“到比特流层的解复用器”将复用的比特流（bitstr）解复用到单独的LL、HL、LH和HH比特流中，然后可以将它们发送到对应的AVST或单独定制的AVST*解码器。例如，可以将LL子带发送到“AVST帧内解码器”，并且可以将HL、LH和HH比特流发送到对应的“AVST*帧内解码器”，产生四个四分之一尺寸的解码子带。如果由开关821选择的四分之一尺寸的视频（或图像）帧是足够的，则代替全尺寸视频（或图像）帧，可仅仅将AVST帧内解码器的LL解码输出（例如，在比特深度限制为8比特之后——未示出）发送以供显示。如果由开关821选择需要全尺寸视频（或图像）帧，则四个四分之一尺寸的解码子带可由“小波合成滤波”模块组合，以产生全分辨率/尺寸的重构视频（或图像）帧。可以使用任何合适的一个或多个技术来进行用于生成图像或帧（dec.frame）的低尺寸/分辨率或全尺寸/分辨率之间的选择。在实施例中，可以将要显示哪个视频（或图像）帧的用户需求转译为控制信号，该控制信号控制如图所示可以路由适当的视频（或图像）帧以供显示的开关的操作。

图8B的结构例示了允许从单个译码的比特流中提取、解码和显示较小图片而不必解码全尺寸帧的可扩缩性的使用。这种结构或技术在解码资源受限等的情况下可以是重要的。

图8C例示了根据本公开的至少一些实现方式布置的另一示例组合式小波AVST（WAVST）编码器803的框图。例如，图8C的编码器可将小波分析/合成滤波与可以对YUV帧或图像进行编码、可以生成YUV帧的两个解码版本：（1）从1/4分辨率YUV解码的LL频带的上采样中获得的全尺寸但较低质量的YUV帧和（2）通过合成所有4个解码频带获得的全尺寸/全质量YUV帧或图像的高效且灵活的变换（AVST/AVST*，其中* = HL、LH或HH）编解码器进行组合。如图所示，图8C的译码侧与图8A和8B的译码侧相同，并且为简洁起见，将不再进一步讨论。此外，解码侧的大部分与图8B的解码侧相同（并且将不关于图8C进行讨论），除了开关831控制用于显示的三个选项，其中两个选项基本上相同（例如，1/4尺寸的解码LL和全分辨率/尺寸解码的）帧，而第三选择现在包括能够显示作为用于显示的四分之一分辨率/全尺寸的LL重构帧的每个方向进行2:1上采样的版本。例如，可以从AVST帧内解码器的输出中选择要经由“1:2上采样器”将1/4尺寸的解码LL子带上采样为全尺寸。

例如，图8C可以例示与图8B的编码器侧相似的可扩缩性的能力以及扩缩以生成全尺寸视频（或图像）帧的解码器侧的可扩缩性的能力。对于本文讨论的一级分解的情况，这种技术可以是有效的，因为与空间下采样图像相比，来自一级分解的LL频带可以包含相当多的聚合频率信息。

尽管关于单级分解进行了讨论，但是本文描述的组合式小波子带AVST编码架构可扩展到二级分解。如本文所讨论的，由于来自第一级分解的LL子带可以经历到四个子带中的另一级分解，所以二级分解可产生7个子带。本文讨论的过程和结构也可扩展到更高级的分解。

图9A例示了根据本公开的至少一些实现方式布置的使用小波分析滤波器的、“Foreman”视频序列的帧到LL、HL、LH和HH子带中的示例一级分解901。如图所示，LL子带可以看起来像原始视频帧（左边），而HL、LH和HH信号可以表示差值并且可以是小得多的幅值（例如，在图9A中几乎不可见）。

图9B例示了根据本公开的至少一些实现方式布置的针对四个频带中的每一个的示例AVST/AVST*块变换分割902。例如，图9B的块变换分割可以提供使用多个块尺寸以及矩形和方形块的编码。如图所示，HL频带的分割可以是与竖直边缘对应的水平较短但竖直较长的块，而对于LH频带，可以提供水平长而竖直短的块。此外，LL频带和HH频带二者可以主要使用方形块。没有被重叠块覆盖的区域可以是非常可预测的，并且可以例如从邻居中预测到。

图10A例示了根据本公开的至少一些实现方式布置的WAVST帧内译码的示例过程1001的流程图。如图所示，输入视频（或图像）帧（标记为“帧”）可以经历一级小波分析滤波（在标记为“执行固定小波分析以生成4个子带”的操作处）以生成4个子带，其中每个子带是输入帧的尺寸的1/4并且包括当输入帧的像素具有8比特精度时可以为9比特精度的子带系数（也称为子带像素或样本）。然后可以将每个生成的子带存储在相应的四分之一尺寸子帧存储中（在标记为“1/4尺寸9b LL/HL/LH/HH子带子帧存储”的操作处）。子带然后可以被分割成贴片和块，这些贴片和块可以被输入到可以对子带贴片和块进行译码的对应AVST帧内（LL）译码器或AVST*帧内（HL、LH或HH）译码器（在标记为“AVST帧内译码LL频带贴片/块”和“AVST*帧内译码HL/LH/HH频带贴片/块”的操作处）。然后，可以将来自这些AVST/AVST*译码器的单独生成的比特流与头部组合并复用以生成单个WAVST编码比特流（在标记为“译码头部并复用子带比特流以生成WAVST帧内比特流”以生成“WAVST帧内比特流”的操作处）以供存储或传输。编码方法可以生成其中可以独立地解码LL子带比特流或者可以一起解码全部四个子带的可扩缩比特流。

图10B例示了根据本公开的至少一些实现方式布置的用于WAVST帧内解码的示例过程1002的流程图。如图所示，过程1002可以反转由WAVST帧内译码执行的过程。例如，可以解码WAVST帧内比特流（标记为“WAVST帧内比特流”）的头部，并且可以将其余的比特流解复用到单独的LL、HL、LH和HH比特流中的每一个中（在标记为“解码头部和解复用子带比特流”的操作处）。如图所示，如果用户（或者系统等）请求低分辨率输出（在标记为“小波编码的全分辨率输出”的判定操作处），则解码的LL子带信号可以是比特深度受限的（未示出）并且可以被可选地上采样（在标记为“在每个维度上2倍上采样滤波”的操作处）以生成低分辨率上采样的视频/图像帧并发送到输出以进行显示（标记为“否，小波低分辨率”）。如果用户（或系统等）请求全分辨率输出，则可由适当的解码器对四个子带中的每一个进行解码（在标记为“AVST帧内解码LL频带贴片/块”和“AVST*帧内解码HL/LH/HH频带贴片/块”的操作处）。例如，LL子带可以由AVST解码器解码，并且HL、LH和HH子带可以由相应的AVST*解码器解码。经解码的子带可以存储在子帧存储中（在标记为“1/4尺寸9b LL/HL/LH/HH子带子帧存储”的操作处）。来自子帧存储的经解码的LL、HL、LH和HH子带可经历帧合成滤波（例如，在标记为“执行固定小波合成以生成重构帧”的操作处经由小波合成滤波器）以组合经解码的子带，来产生可被输出以供显示的完整重构的视频/图像帧（标记为“是，小波全分辨率”）。如同所述，取决于用户请求或其它信令（诸如由于解码资源限制等）从同一比特流中解码低分辨率输出还是全分辨率输出的这种条件解码可以被称为可扩缩解码，并且可以由于可由于小波编码而能够被更高效地执行的可扩缩（也称为嵌入式）译码而变得可能。所例示的可扩缩性类型可以提供2层：四分之一分辨率层和全分辨率层。在其它示例中，小波编码可以提供很多层可扩展性，但是在压缩效率上有一些损失。例如，两层可扩缩性（可称为基本可扩缩性）不会引发压缩效率成本。

图11A例示了根据本公开的至少一些实现方式布置的示例WAVST帧内译码器1101的功能框图。如图所示，输入图像或帧（image）可以经由“色彩空间转换器”从RGB色彩转换为YUV帧（如果输入是YUV视频帧而不是RGB图像，那么可以不需要转换）以生成经色彩转换的图像或帧（frame）。此外，在不失一般性的情况下，假设YUV帧是4:2:0格式（例如，U和V分辨率在水平和竖直方向上是Y分辨率的一半）。基于由“应用、内容、速率和复杂度分析器”对应用参数（例如，图像/帧分辨率、比特率）和内容（例如，复杂度）的评估，可以设置质量和速率目标，可以调节频带的分割，并且可以执行比特率控制。这些过程在本文中进一步描述。

如图所示，YUV帧可以经历由“小波分析滤波”模块执行的、到LL、HL、LH和HH子带中的一级分解，然后可以在“速率失真优化和比特率控制器”模块（可以提供对分割尺寸、预测模式和变换类型的最佳选择）的控制下由“到方形/矩形块的小波频带自适应分割器”将每个频带的每个贴片的内容分割为可变尺寸块，所述可变尺寸块可以是仅仅方形的或者是方形形状和矩形形状的组合。这种处理的结果是每个贴片的许多候选分割（partn）。

此外，对于每个LL频带贴片分割，可以由“本地缓冲器和DC/平面/方向性预测分析器和生成器”使用解码的相邻块来生成若干候选帧内（DC、平面和方向性）预测模式（mode）。例如，对于其它（HL、LH、HH）频带贴片分割，不执行帧内预测。

如图11A所示，LL频带贴片分割样本可以通过差值器1111与（来自“去块和去振铃滤波”模块的）候选预测分割样本进行求差以确定候选差值分割，候选差值分割可以由“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块变换以产生候选变换系数块。对于其它频带，不需要预测，因此预测分割/块样本被直接变换以产生变换系数块。所有的变换系数块可以由“量化器”进行量化并进行熵译码。可由“小波频带的自适应扫描变换系数块、自适应熵译码器和比特流格式化器”模块来确定诸如变换系数熵编码比特成本、分割比特成本、预测模式比特成本和变换选择比特成本之类的所有比特成本。因此，对于组合（分割尺寸、预测模式、变换选择、变换系数块），不仅可以确定成本，而且还可以确定重构分割并因此确定失真。这些成本和失真按如下方式用于速率失真优化中。

给定每个贴片的候选分割（partn）、候选帧内预测模式（mode）、候选变换（xm）和潜在量化器值（Q）的集合，“速率失真优化和比特率控制器”可以使用比特率（来自由熵译码器提供的比特成本）和使用失真测量（来自原始子带部分和重构子带部分的差异）通过确定将允许在可用比特率的约束下实现最佳（例如，RD权衡的）质量结果的最佳分割（partnb）、每个分割的最佳帧内预测模式（modeb）、用于每个分割的编码的最佳变换（xmb）以及量化器（qp）来做出关于最佳译码策略的判定。这些partnb、modeb、xmb和qp的选择可以经由比特流发送到解码器。

根据邻居形成预测的过程需要重构相邻块并需要译码器处的解码环路。此外，注意到可以生成“重构分割”以供RDO使用。例如，译码器1101处的每个频带的量化系数块可以经历“逆量化器”处的去量化，随后是“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块中利用适当变换进行的逆变换以产生HL、LH和HH频带的重构样本块以及LL频带的重构样本的临时块。对于LL频带，可以使用预测模式来获取要加到LL频带临时重构块的预测块以生成最终重构块。重构的LL频带块也可以保存在本地缓冲器中并由“本地缓冲器和DC/平面/方向性预测分析器和生成器”用于当前块预测，其中预测块形成到加法器1112的一个输入，加法器1112的另一输入是正在编码的当前分割/块。而且，由于计算失真的目的可能需要对所有频带进行完全重构，所以重构的LL频带和其它（HL、LH、HH）频带块可以由“到方形/矩形块的小波频带自适应组装器”模块组装以形成贴片，并然后可经历由“去块和去振铃滤波”模块进行的可选的去块和去振铃，以使得可输入到RDO以用于计算失真的重构的LL、HL、LH和HH频带中的伪影减少。

图11B例示了根据本公开的至少一些实现方式布置的示例功能性独立式WAVST帧内解码器1102的功能框图。例如，图11A中与WAVST帧内译码器中的解码环路相关联的讨论中的许多可适用于解码器1102的讨论（除了“小波合成滤波”模块和“色彩空间逆变器”之外，解码器1102的许多功能已经被讨论过）。如图所示，译码的WAVST比特流（bitstr）可以由“比特流无格式化器、自适应熵解码器和自适应逆扫描小波频带的变换系数块”模块解码，以产生所选的分割信息（partnb）、所选的帧内预测模式信息（modeb）和所选的变换信息（xmb）、所选的量化器（qp）以及经量化的变换系数块。可以由“逆量化器”使用量化器qp对变换系数块进行去量化，并且由“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块使用由xmb指示的变换进行逆变换，从而产生HL、LH和HH频带的重构样本块，以及LL频带的临时样本块。如同所述，通过经由加法器1121将（由“本地缓冲器和DC/平面/方向性预测生成器”使用预测modeb信息生成的）预测块加到经解码的临时块，可以生成LL频带的最终块。每个小波频带的所有分割/块由“到方形/矩形块的小波频带自适应组装器”组装成贴片并且因此被组装成全频带，并且可以经历由“去块和去振铃滤波器”模块进行的可选的去块和去振铃以减少编码伪影并且可以被输入到“小波合成滤波”模块，该模块可以使用与小波分析滤波器互补的滤波器来执行合成滤波，该合成滤波组合所有4个频带以生成经解码的YUV帧。取决于应用，此帧本身（dec.frame）可能是足够的，或者可能需要通过“色彩空间逆变器”的可选处理将它转换为RGB格式图像（dec.image）。

图12例示了根据本公开的至少一些实现方式布置的示例系统1201，其包括以下细节：图11A的WAVST译码器中的“小波分析滤波器”和图11B的WAVST解码器中的“小波合成滤波器”。此外，图12例示了到译码器和解码器的其余部分的接口。例如，图12示出了一些实际块或模块（“色彩空间转换器”、“应用、内容、速率和复杂度分析器”、“速率失真优化（RDO）和比特率控制器”和“色彩空间逆变器”）以及一些捆绑块（“分析滤波之后的其它译码和解码步骤”和“合成滤波之前的其它解码步骤”），它们与“小波分析滤波器”模块或“小波合成滤波器”模块对接。如图所示，在实施例中，“小波分析滤波器”模块可以由两个模块（例如，“小波分析滤波器系数集合”和“小波分析滤波”单元）组成。例如，“小波分析滤波器系数集合”可以是滤波器集合的查找表（LUT），以使得集合中的第一滤波器可以用于低通分析滤波（lpaf），并且集合中的第二滤波器可以用于高通分析滤波（hpaf），如本文所述。“小波分析滤波”模块可以使用前述滤波器集合来在译码器处执行子带分解。此外，图12示出了包括“小波合成滤波”单元和“小波合成滤波器系数集合”的“小波合成滤波器”。“小波合成滤波器系数集合”可以是具有如本文所述的用于低通合成滤波（lpsf）的集合中的第一滤波器和用于高通合成滤波（hpsf）的集合中的第二滤波器的滤波器集合的查找表（LUT）。例如，lpsf和hpsf可以是lpaf和hpaf滤波器的对应匹配滤波器。例如，“小波合成滤波”模块可使用前述滤波器集合来在解码器处执行子带重组。

图13A例示了根据本公开的至少一些实现方式布置的示例系统1301，其包括以下细节：“本地缓冲器和预测分析器和生成器”以及到图11A的WAVST帧内译码器的其余部分的接口。为了其它块或模块方面的清楚性，图13A例示了作为三个模块的组合的捆绑块（“应用、内容、速率和复杂度分析器，色彩空间转换器和小波分析滤波”），被示出为拆分成3个模块的非捆绑块“速率失真分析器（RDO）和比特率控制器”，以及如图11A中的其它模块（“到方形/矩形块的小波频带自适应分割器”、“差值器”、“自适应方形/矩形可变尺寸变换”、“量化器”、“自适应扫描小波频带的变换系数块、自适应熵译码器和比特流格式化器”、“逆量化器”、“自适应方形/矩形可变尺寸逆变换”、“加法器”、“方形/矩形块的小波频带自适应组装器”、和“去块和去振铃滤波器”）以及到“本地缓冲器和预测分析器和生成器”的接口。此外，“本地缓冲器和预测分析器和生成器”模块被示出为划分成两个单元：“解码小波LL频带邻域缓冲器”以及“DC/平面/方向性预测分析器和生成器”。例如，用于形成帧内预测的解码的先前块可以被存储在“解码小波LL频带邻域缓冲器”中。可以通过使用DC预测、平面预测和基于许多角度的方向性预测生成许多候选预测（modes）来使用相邻块区域在分割/块的基础上形成帧内预测，这许多候选预测由RDO进行分析以确定最佳预测模式（modeb）。

图13B例示了根据本公开的至少一些实现方式布置的示例系统1302，其包括以下细节：“本地缓冲器和预测生成器”和到图11B的WAVST帧内解码器的其余部分的接口。除了“本地缓冲和预测生成器”模块内的块之外，所有其它块（“比特流无格式化器、自适应熵解码器和自适应逆扫描小波频带的变换系数块”、“逆量化器”、“自适应方形/矩形可变尺寸逆变换”、“加法器”、“方形/矩形块的小波频带自适应组装器”、“去块和去振铃滤波器”、“小波合成滤波”以及“色彩空间逆变器”）在这里被示出为来自图11B并且用于示出到此块或模块的接口。此外，“本地缓冲器和预测生成器”被划分成两个单元：“解码小波LL频带邻域缓冲器”和“DC/平面/方向性预测生成器”。“解码小波LL频带邻域缓冲器”用于保存由“DC/平面/方向性预测生成器”进行预测所需的相邻块，“DC/平面/方向性预测生成器”可以使用modeb来确定最佳预测模式并仅为该模式创建预测。

图14例示了根据本公开的至少一些实现方式布置的示例系统1401，其包括以下细节：图11A的“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块和图11B的“自适应方形/矩形尺寸逆变换：DCT、PHT、DST”模块。在所示的示例中，在译码侧，图14示出了与“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块对接的一些捆绑块（“正变换之前的其它译码步骤”和“正变换之后的其它译码和解码步骤”），“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块自身包括两个组件“2D可分离正变换：仅方形（4x4、8x8、16x16、...），或者方形和矩形（4x8、8x4、16x8、8x16、...）DCT、以及小尺寸（4x4、8x4、4x8、8x8）PHT，或者小尺寸（4x4、...）DST”模块以及“变换基础矩阵LUT/码本”模块。例如，针对正变换所支持的选择，针对方形块尺寸可以是4x4、8x8、16x16、32x32和64x64整数DCT近似，针对方形和矩形块（包括刚刚列出的方形块尺寸和矩形块）可以是4x8、8x4、16x8、8x16、32x8、8x32、32x16、16x32、16x64、64x16、64x32、32x64、...整数DCT近似，针对较小的块尺寸（例如，4x4、4x8、8x4和8x8）整数PHT，以及针对非常小的块尺寸（例如，4x4）整数DST近似。例如，变换可以包括自适应参数变换或自适应混合，以使得自适应参数变换或自适应混合参数变换包括从与变换分割相邻的解码像素中推导出的基础矩阵，如本文所讨论的。

此外，译码器可以经由其生成的比特流（例如，bitstr）发送多个控制信号。比特流格式化过程没有被明确示出，而是被包含在捆绑块“正变换之后的其它译码和解码步骤”中。此类控制信号携带诸如用于贴片的最佳分割（partnb）、每分割的最佳模式判定（modeb）以及每分割的最佳变换（xmb）之类的信息。此类控制信号可以在解码器处由捆绑块“逆变换之前的其它解码步骤”来解码，该捆绑块可以执行比特流无格式化以及其它操作，并且此类控制信号可以控制解码器处的解码过程。

此外，在解码侧，图14示出了与“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块对接的若干捆绑块（“逆变换之前的其它解码步骤”和“逆变换之后的其它解码步骤”），“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块本身包括两个组件：“2D可分离逆变换：仅方形（4x4、8x8、16x16、...），或者方形和矩形（4x8、8x4、16x8、8x16、...）DCT、以及小尺寸（4x4、8x4、4x8、8x8）PHT，或者小尺寸（4x4、...）DST”模块以及“变换基础矩阵LUT/码本”模块（例如，如在译码器侧一样）。例如，所支持的用于逆变换的选择可以与关于正变换所讨论的相同。

接着，图15A、图15B、图15C和图15D对应地通过示例示出了使用4x4变换块（尽管原理对于所有块尺寸以及形状（无论是方形还是矩形）都是有效的）的、针对LL、HL、LH、HH频带中的变换块系数的改进扫描。

图15A例示了根据本公开的至少一些实现方式布置的、针对LL频带的被变换为4x4变换系数块的4x4样本块的Z形扫描1501。例如，图15A例示了WAVST/AWAVST帧内编码中的LL频带4x4块变换系数的扫描。如图所示，由于LL频带样本表现得像原始信号，因此LL频带的Z形扫描可与针对像素块的Z形扫描样式相同，其中，扫描从左上角的DC系数开始，并移动到水平方向上的下一更高频率，然后对角地向下移动至竖直方向上的相同频率，然后向下移动至竖直方向上的下一更高频率，在向上对角地移动至水平方向上的相同频率之前扫描中间系数，依此类推，直到扫描到达块的右下角处的最高频率系数。

图15B例示了根据本公开的至少一些实现方式布置的、针对HL频带的被变换为4x4变换系数块的4x4样本块的Z形扫描1502。例如，图15B例示了WAVST/AWAVST帧内编码中的HL频带4x4块变换系数的扫描。如图所示，对于HL频带，被变换为4x4变换系数块的4x4样本块可以从左下角（例如，而不是左上角）开始Z形扫描并以Z形方式前进到HL频带的最高频率所在的右上角。例如，当子带包括HL子带时，扫描系数可以包括从经变换的变换分割的左下角到右上角以Z形样式扫描系数。

图15C例示了根据本公开的至少一些实现方式布置的、针对LH频带的被变换为4x4变换系数块的4x4样本块的Z形扫描1503。例如，图15C例示了WAVST/AWAVST帧内编码中LH频带4x4块变换系数的修改扫描。如图所示，对于LH频带，被变换为4x4变换系数块的4x4样本块可以从右上角（例如，而不是左上角）开始Z形扫描，并以Z形方式前进到LH频带的最高频率所在的左下角。例如，当子带包括LH子带时，扫描系数可以包括从经变换的变换分割的右上角到左下角以Z形样式扫描系数。

图15D例示了根据本公开的至少一些实现方式布置的、针对HH频带的被变换为4x4变换系数块的4x4样本块的Z形扫描1504。例如，图15D例示了WAVST/AWAVST帧内编码中HH频带4x4块变换系数的修改扫描。如图所示，对于HH频带，被变换为4x4变换系数块的4x4样本块可以从右下角（例如，而不是左上角）开始Z形扫描并以Z形方式前进到HH频带的最高频率所在的左上角。例如，当子带包括HH子带时，扫描系数可以包括从经变换的变换分割的右下角到左上角以Z形样式扫描系数。

图16例示了根据本公开的至少一些实现方式布置的示例组合式自适应小波AVST（AWAVST）编码器1601的框图。例如，图16的编码器可以将自适应小波分析/合成滤波与可以对YUV帧或图像进行编码以生成YUV帧或图像的两个解码版本：（1）从对四分之一分辨率YUV解码的LL频带进行上采样中获得的全尺寸但较低质量的YUV帧或图像以及（2）通过合成所有4个解码频带获得的全尺寸/全质量YUV帧的高效且灵活的变换（AVST/AVST*，其中* =HL、LH或HH）编解码器进行组合。如图所示，在译码侧，输入视频（或图像）YUV帧（frame）可以经历由“自适应小波分析滤波”模块使用基于应用（例如，分辨率、内容和/或比特率）选择滤波器而从滤波器集合的码本中选择的滤波器集合进行的自适应小波分解。使用所选的滤波器集合，可以执行用于一级分解的分析滤波过程，该一级分解可以将该帧转换成LL、HL、LH和HH子带，每个子带的尺寸是四分之一并且比特深度是9比特（假设8比特输入视频或图像）。LL子带可以由“AVST帧内译码器”译码，并且可以用单独定制的“AVST*帧内译码器”译码HL、LH和HH子带。译码过程的结果包括四个单独比特流（诸如LL比特流、HL比特流、LH比特流和HH比特流），它们可以被复用（通过“到分层比特流的复用器”）到与包括携带所选分析滤波器集合索引的头部一起的单个可扩缩比特流（bitstr）中。

同样在图16中示出，在解码侧，可以对包括携带所选滤波器集合的索引（例如，与所选小波滤波器集合相关联的所选小波滤波器集合指示符）的头部的多个头部进行解码，并且可以由“到比特流层的解复用器”将复用的比特流（bitstr）解复用到单独的LL、HL、LH和HH比特流中。解码的LL比特流可以被发送到“AVST帧内解码器”，并且取决于由开关1611实现的用户输入或系统指示符等，其低分辨率解码的视频帧或图像（在由“1:2上采样器”进行可选的每个维度上的2倍上采样之后）可足以用于显示（dec.frame）。然而，如果用户或系统等希望由开关1611实现的全分辨率视频帧或（一个或多个）图像，则其余的3个（例如，HL、LH和HH）频带可以被发送到对应的定制“AVST*帧内解码器”。然后可以使用与（例如，由从比特流中解码的索引来指示的）分析滤波器集合互补的滤波器集合来组合四个四分之一尺寸的解码子带。可以表征为合成滤波的频带的组合过程可以由“自适应小波合成滤波”模块来执行并且产生全分辨率/尺寸最终重构的（一个或多个）视频帧或图像（dec.frame）以供显示。

图17A例示了根据本公开的至少一些实现方式布置的AWAVST帧内译码的示例过程1701的流程图。如图所示，输入视频（或图像）帧（标记为“帧”）可以经历一级自适应小波分析滤波，其可以允许（例如，通过从多个滤波器集合中选择滤波器集合）来选择取决于应用（例如，分辨率、内容和/或比特率）的最佳适配的滤波器集合。（在标记为“执行自适应小波分析以生成4个子带”的操作处执行的）分析滤波过程可以产生四个子带，其中每个子带是输入帧的尺寸的四分之一并且包括当输入帧的像素具有8比特精度时可以为9比特精度的子带系数（也称为子带像素或样本）。然后可以将每个生成的子带存储在相应的四分之一尺寸子帧存储中（在标记为“1/4尺寸9b LL/HL/LH/HH子带子帧存储”的操作处），并将其分割为贴片或块，这些贴片或块被输入到对应的AVST帧内译码器（例如，针对LL子带）或AVST*帧内译码器（例如，针对HL、LH或HH子带），这些译码器可以执行译码（在标记为“AVST帧内译码LL频带贴片/块”和“AVST*帧内译码HL/LH/HH频带贴片/块”的操作处）以生成对应比特流。然后，可以将来自这些AVST/AVST*译码器的单独生成的比特流与头部（包括信令用于分析的小波滤波器集合的指示符或头部）组合并复用（在标记为“译码头部、译码小波系数集合指示符、并复用以生成AWAVST帧内比特流”的操作处）以生成单个AWAVST编码比特流（标记为“WAVST帧内比特流”）以供存储或传输。图17A的译码过程可以生成其中可以独立地解码LL子带比特流或者可以一起解码全部四个子带的可扩缩比特流。

图17B例示了根据本公开的至少一些实现方式布置的用于AWAVST帧内解码的示例过程1702的流程图。例如，用于AWAVST帧内解码的过程1702可以反转由图17A的AWAVST帧内译码过程执行的过程。如图所示，AWAVST帧内比特流（标记为“AWAVST帧内比特流”）的头部可被解码，该头部包括关于在译码器处用于分析的小波滤波器集合的解码信息。然后可以将其余的比特流解复用（在标记为“解码头部、解码小波系数集合指示符、并解复用子带比特流”的操作处）为每个单独的LL、HL、LH和HH比特流。如果用户（或者系统等）请求仅低分辨率输出（在标记为“小波编码的全分辨率输出”的判定操作处提供），则（在标记为“AVST帧内解码LL频带贴片/块”的操作处解码的）解码LL子带信号可以是比特深度受限的并且可选地被上采样（在标记为“在每个维度上2倍上采样滤波”的操作处）以生成可被发送以进行输出的低分辨率上采样的视频/图像帧（标记为“否，小波低分辨率”）。如果用户或系统请求全分辨率输出，则四个子带中的每一个可由适当的解码器解码（在标记为“AVST帧内解码LL频带贴片/块”和“AVST*帧内解码HL/LH/HH频带贴片/块”的操作处），例如，LL子带可以由AVST解码器解码，并且HL、LH和HH子带可以由AVST*解码器解码，并且全部四个子带被存储在子帧存储中（在标记为”1/4尺寸9b LL/HL/LH/HH子带子帧存储”的操作处）。基于所讨论的所解码出的关于在译码器处使用的小波分析滤波器的头部，可以确定用于合成滤波的匹配的滤波器集合。来自子帧存储的解码LL、HL、LH和HH子带可以经历使用所确定的滤波器的帧合成以组合解码的子带（在标记为“执行固定/自适应小波合成以生成重构帧”的操作处），来产生可被输出以供显示的完整重构的视频/图像帧（标记为“是，小波全分辨率”）。如同所述，取决于用户请求（诸如由于解码资源限制等）从同一比特流中解码低分辨率输出还是全分辨率输出的这种类型的条件解码可以被称为可扩缩解码，并且可以由于可由于小波编码而能够被更高效地执行的可扩缩（也称为嵌入式）译码而变得可能。例如，所例示的可扩缩性的类型可以提供2层：四分之一分辨率层和全分辨率层。

图18A例示了根据本公开的至少一些实现方式布置的示例AWAVST帧内译码器1801的功能框图。如图所示，输入图像或帧（image）可以首先从RGB图像或帧色彩转换为YUV图像或帧（frame）（如果输入是YUV视频帧而不是RGB图像，那么可以不需要此步骤）。此外，在不失一般性的情况下，假设YUV帧是4:2:0格式（例如，U和V分辨率在水平和竖直两个方向上是Y分辨率的一半）。基于由“应用、内容、速率和复杂度分析器”对应用参数（例如，图像/帧分辨率、比特率）和内容（例如，复杂度）的评估，可以确定对用于分析的小波滤波器集合（wfi）的选取，可以设置质量和速率目标，可以调节频带的分割，并且可以执行比特率控制。这些过程的示例在本文中描述。

如图所示，YUV帧可以经历由“自适应小波分析滤波”模块进行的、到LL、HL、LH和HH子带中的一级分解，然后可以在“速率失真优化和比特率控制器”模块的控制下由“到方形/矩形块的小波频带自适应分割器”将每个频带的每个贴片的内容分割成可变尺寸块，可变尺寸块可以是仅仅方形的或者是方形形状和矩形形状的组合。例如，“速率失真优化和比特率控制器”可以确定对分割尺寸、预测模式和变换类型的最佳选择。这种处理的结果是每个贴片的许多候选分割（partn）。与固定的小波滤波器集合的WAVST的情况不同，在图18A的实施例中，可以采用集合中的第一滤波器用于低通分析滤波以及集合中的第二滤波器用于高通分析滤波，而不管分辨率、比特率或内容特性如何，小波滤波器集合（或多个滤波器集合）的码本可用于从中进行选择以进行分析，并且关于所选滤波器集合（wfi）的信息被包括在比特流（bitstr）中。

此外，对于每个LL频带贴片分割，由“本地缓冲器和DC/平面/方向性预测分析器和生成器”使用解码的相邻块来生成若干候选帧内（例如，DC、平面和方向性）预测模式（mode）。如图所示，对于其它（HL、LH、HH）频带贴片分割，不执行帧内预测。

同样如图所示，LL频带贴片分割样本可以通过差值器1811与候选预测分割样本进行求差以计算候选差值分割，候选差值分割然后由“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块变换以产生候选变换系数块。对于其它频带，不需要预测，并且预测分割/块样本被直接变换以产生变换系数块。所有的变换系数块可以由“量化器”进行量化并进行熵译码。可由“小波频带的自适应扫描变换系数块、自适应熵译码器和比特流格式化器”模块来确定诸如变换系数熵编码比特成本、分割比特成本、预测模式比特成本和变换选择比特成本之类的所有比特成本。因此，对于组合（例如，分割尺寸、预测模式、变换选择、变换系数块），不仅可以确定成本，而且还可以确定重构分割并因此计算失真。这些成本和失真按如下方式用于速率失真优化中。

给定每个贴片的候选分割（partn）、候选帧内预测模式（mode）、候选变换（xm）和潜在量化器值（q）的集合，“速率失真优化和比特率控制器”模块可以使用比特率（来自由熵译码器提供的比特成本）和使用失真测量（来自原始子带部分和重构子带部分的差异）通过确定将允许在可用比特率的约束下实现最佳（RD权衡的）质量结果的最佳分割（partnb）、每个分割的最佳帧内预测模式（modeb）、用于每个分割的编码的最佳变换（xmb）以及量化器（qp）来做出关于最佳译码策略的判定。这些partnb、modeb、xmb和qp的选择经由比特流（bitstr）与所选wfi一同发送到解码器。

根据邻居形成预测的过程需要重构相邻块，这需要译码器处的解码环路。此外，如所讨论的，可以生成“重构分割”以供RDO使用，其在本文中被描述并且可能需要译码器1801处的解码。例如，如图所示，译码器1801处的每个频带的量化系数块可以经历“逆量化器”处的去量化，随后是“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块处利用适当变换进行的逆变换以产生HL、LH和HH频带的重构样本块以及LL频带的重构样本的临时块。对于LL频带，可以使用预测模式来获取要在加法器1812处加到LL频带临时重构块的对应的预测块以生成最终重构块。重构的LL频带块也被保存在本地缓冲器中并由“本地缓冲器和DC/平面/方向性预测分析器和生成器”用于当前块预测，其中预测块形成到差值器的一个输入，差值器的另一输入是正在编码的当前分割/块。此外，由于计算失真的目的需要对所有频带进行完全重构，所以重构的LL频带和其它（例如，HL、LH和HH）频带块被组装以形成贴片，并然后经历“去块和去振铃滤波器”模块处的可选的去块和去振铃，以使得被输入到RDO以用于计算失真的重构的LL、HL、LH和HH频带中的伪影减少。

图18B例示了根据本公开的至少一些实现方式布置的示例功能性独立式AWAVST帧内解码器1802的功能框图。例如，图18A中与WAVST帧内译码器中的解码环路相关联的讨论中的许多可适用于解码器1802的讨论（除了“自适应小波合成滤波”和“色彩空间逆变器”之外）。如图所示，译码的AWAVST比特流（bitstr）可以由“比特流无格式化器、自适应熵解码器和自适应逆扫描小波频带的变换系数块”模块解码，以产生所选的分割信息（partnb）、所选的帧内预测模式信息（modeb）、最佳变换信息（xmb）、所选的量化器（qp）、所选的小波滤波器集合索引（wfi）以及经量化的变换系数块。可以由“逆量化器”使用量化器（qp）对变换系数块进行去量化，并且由“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块使用由xmb指示的变换进行逆变换，从而产生HL、LH和HH频带的重构样本块，以及LL频带的临时样本块。如同所述，通过经由加法器1121将（由“本地缓冲器和DC/平面/方向性预测生成器”使用预测modeb信息生成的）预测块加到经解码的临时块，可以生成LL频带的最终块。每个小波频带的所有分割/块可以由“到方形/矩形块的小波频带自适应组装器”组装成贴片并且因此被组装成全频带。组装后的贴片可以在“去块和去振铃滤波器”模块中经历可选的去块和去振铃以减少编码伪影并且然后可以被输入到“自适应小波合成滤波”，“自适应小波合成滤波”使用经解码的滤波器集合索引（wfi）来从码本中获得所需的滤波器用于合成滤波，以组合所有4个频带以生成经解码的YUV帧（dec.frame）。取决于应用，此帧本身可能是足够的，或者可能需要通过“色彩空间逆变器”的可选处理将它转换为RGB格式图像（dec.image）。

图19例示了根据本公开的至少一些实现方式布置的示例系统1901，其包括以下细节：图18A的AWAVST译码器中的“自适应小波分析滤波器”和图18B的AWAVST解码器中的“小波合成滤波器”。此外，图19例示了到译码器和解码器的其余部分的接口。例如，该图示出了一些实际块（“色彩空间转换器”、“应用、内容、速率和复杂度分析器”、“速率失真优化（RDO）和比特率控制器”和“色彩空间逆变器”）以及一些捆绑块（“分析滤波之后的其它译码和解码步骤”和“合成滤波之前的其它解码步骤”），它们与“自适应小波分析滤波器”或“自适应小波合成滤波器”对接。“自适应小波分析滤波器”被示出为包括两个块或模块（例如，“自适应小波分析滤波器系数集合”（包括集合1（CDF 5/3）、集合2（CDF 9/7）、集合3（QMF13）和集合4（QMF15或QMF31））模块以及“小波分析滤波”模块。“自适应小波分析滤波器系数集合”可以是多个滤波器集合的码本，以使得集合中的第一滤波器用于低通分析滤波（lpaf），并且集合中的第二滤波器用于高通分析滤波（hpaf），如本文所述。基于应用（例如，高质量/快速处理）、分辨率（例如，1080p或更低）和内容（例如，高对比度/模糊度），可以经由比特流中的小波滤波器集合索引（wfi）来选取和信令滤波器集合。“小波分析滤波”模块可以使用来自码本的所选滤波器集合（由wfi指示）来在译码器处执行子带分解。

此外，图19例示了包括“小波合成滤波”模块和“自适应小波合成滤波器系数集合”（包括集合1（CDF 5/3）、集合2（CDF 9/7）、集合3（QMF13）和集合4（QMF15或QMF31））模块的“自适应小波合成滤波器”。“自适应小波合成滤波器系数集合”可以是多个滤波器集合的码本，其中集合中的第一滤波器用于低通合成滤波（lpsf），并且集合中的第二滤波器用于高通合成滤波（hpsf），如本文所述。lpsf和hpsf是lpaf和hpaf滤波器的对应匹配滤波器。“小波合成滤波”可使用码本中的经解码的小波滤波器集合索引来确定要用于在解码器处执行子带重组的滤波器集合。

图20A例示了根据本公开的至少一些实现方式布置的示例系统2001，其包括以下细节：“本地缓冲器和预测分析器和生成器”以及到图18A的AWAVST帧内译码器的其余部分的接口。为了呈现的清楚性，图20A示出了作为三个块的组合的捆绑块（“应用、内容、速率和复杂度分析器，色彩空间转换器和小波分析滤波”模块），包括3个块或模块的非捆绑块“速率失真分析器（RDO）和比特率控制器”模块，以及实际上的其它模块（“到方形/矩形块的小波频带自适应分割器”、“差值器”、“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块、“量化器”、“自适应扫描小波频带的变换系数块、自适应熵译码器和比特流格式化器”模块、“逆量化器”、“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”模块、“加法器”、“方形/矩形块的小波频带自适应组装器”、和“去块和去振铃滤波器”模块），并且示出了到“本地缓冲器和预测分析器和生成器”的接口。此外，“本地缓冲器和预测分析器和生成器”模块被例示为划分成两个单元：“解码小波LL频带邻域缓冲器”以及“DC/平面/方向性预测分析器和生成器”模块。用于形成帧内预测的解码的先前块可以被存储在“解码小波LL频带邻域缓冲器”中。可以通过使用DC预测、平面预测和基于许多角度的方向性预测生成许多候选预测（modes）来使用相邻块区域在分割/块的基础上执行帧内预测，这许多候选预测由RDO进行分析以确定最佳预测模式（modeb）。除了modeb信号之外，由“自适应扫描小波频带的变换系数块、自适应熵译码器和比特流格式化器”生成的译码比特流携带包括小波滤波器集合选择索引wfi的其它信号。

图20B例示了根据本公开的至少一些实现方式布置的示例系统2002，其包括以下细节：“本地缓冲器和预测生成器”和到图18B的WAVST帧内解码器的其余部分的接口。除了“本地缓冲和预测生成器”组件内的块之外，所有其它块或模块（“比特流无格式化器、自适应熵解码器和自适应逆扫描小波频带的变换系数块”模块、“逆量化器”、“自适应方形/矩形可变尺寸逆变换”模块、“加法器”、“方形/矩形块的小波频带自适应组装器”模块、“去块和去振铃滤波器”模块、“小波合成滤波”模块以及“色彩空间逆变器”）在这里被示出为来自图18B并且用于示出到此块或模块的接口。此外，“本地缓冲器和预测生成器”被划分成两个单元（例如，“解码小波LL频带邻域缓冲器”和“DC/平面/方向性预测生成器”。“解码小波LL频带邻域缓冲器”用于保存由“DC/平面/方向性预测生成器”进行预测所需的相邻块，“DC/平面/方向性预测生成器”使用modeb来确定最佳预测模式并仅为该模式创建预测。可以由“自适应小波合成滤波”模块使用解码小波滤波器集合索引（wfi）来选择用于合成的匹配滤波器集合。

图21例示了根据本公开的至少一些实现方式布置的示例系统2101，其包括以下细节：图18A的AWAVST帧内译码器的“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块和图18B的AWAVST解码器的“自适应方形/矩形尺寸逆变换：DCT、PHT、DST”模块。在所示的示例中，在译码侧，图21示出了与“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块对接的一些捆绑块（“正变换之前的其它译码步骤”和“正变换之后的其它译码和解码步骤”），“自适应方形/矩形可变尺寸变换：DCT、PHT、DST”模块自身包括两个组件或模块：“2D可分离正变换：仅方形（4x4、8x8、16x16、...），或者方形和矩形（4x8、8x4、16x8、8x16、...）DCT、以及小尺寸（4x4、8x4、4x8、8x8）PHT，或者小尺寸（4x4、...）DST”模块以及“变换基础矩阵LUT/码本”模块。针对正变换所支持的选择，针对方形的情况块尺寸是4x4、8x8、16x16、32x32和64x64整数DCT近似，针对方形和矩形块，刚刚列出了方形尺寸并且矩形块是4x8、8x4、16x8、8x16、32x8、8x32、32x16、16x32、16x64、64x16、64x32、32x64、...整数DCT近似，针对较小的块尺寸（诸如4x4、4x8、8x4和8x8）整数PHT，以及针对非常小的块尺寸（例如，4x4）整数DST近似。例如，变换可以包括自适应参数变换或自适应混合，以使得自适应参数变换或自适应混合参数变换包括从与变换分割相邻的解码像素中推导出的基础矩阵，如本文所讨论的。

此外，译码器可以经由其生成的比特流（例如，bitstr）发送多个控制信号。比特流格式化过程没有被明确示出，而是被包含在捆绑块“正变换之后的其它译码和解码步骤”中。此类控制信号可以携带诸如用于贴片的最佳分割（partnb）、每分割的最佳模式判定（modeb）、每分割的最佳变换（xmb）以及所选小波滤波器集合的索引（wfi）之类的信息。此类控制信号可以在解码器处由捆绑块“逆变换之前的其它解码步骤”来解码，该捆绑块可以执行比特流无格式化以及其它操作，并且此类控制信号可以控制解码器处的解码过程。

此外，在解码侧，图21例示了与“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”组件对接的捆绑块（“逆变换之前的其它解码步骤”和“逆变换之后的其它解码步骤”），“自适应方形/矩形可变尺寸逆变换：DCT、PHT、DST”组件本身包括两个组件：“2D可分离逆变换：仅方形（4x4、8x8、16x16、...），或者方形和矩形（4x8、8x4、16x8、8x16、...）DCT、以及小尺寸（4x4、8x4、4x8、8x8）PHT，或者小尺寸（4x4、...）DST”模块以及“变换基础矩阵LUT/码本”模块（例如，如在译码器侧一样）。例如，所支持的用于逆变换的选择可以与关于正变换所讨论的相同。

现在讨论转向混合技术，混合技术可源自本文讨论的两种帧内视频/图像编码技术（AVST和WAVST/AWAVST）的组合。例如，可以有混合技术的两个实施例：第一实施例如关于图22A例示的将AVST和WAVST组合起来，第二实施例将AVST和AWAVST组合并关于图22B进行例示。

例如，在采用帧间块运动补偿变换编码的视频译码系统中，系统可能需要自然地支持高效的（并且可能可扩缩2层的）帧内编码图片。在一些示例中，帧内编码可以在帧或图片级别上执行。在一些示例中，附加地或替代地，即使在运动补偿变换编码中，帧内编码也可以是基于块的可用模式，使得可以处理包括运动补偿不能很好地工作的未覆盖背景的问题。然而，有时需要将整个图片编码为帧内图片，并且在这种情况下的译码算法可能不需要与用于帧间的帧内块的译码技术相同（例如，预测（P）图片或双向预测（B）图片）。在视频中引入完整的帧内图片（与帧间帧内的一些帧内块相比）可能会破坏帧间编码相关性，该帧间编码相关性对于能够在压缩存储的比特流中进行随机访问是必要的，诸如用于数字视频盘（DVD）或蓝光盘（BD）或用于广播视频的频道浏览。

图22A例示了根据本公开的至少一些实现方式布置的、被称为自适应变换小波自适应变换（ATWAT）编码器的示例变换和小波变换组合编码器2201的框图。例如，图21A的编码器可以将自适应可变尺寸变换（AVST）帧内编码与小波自适应可变尺寸变换（WAVST）帧内编码组合。如图所示，在译码侧，假定视频帧的一个或多个帧内贴片或块要被编码为帧内，则开关2211可以被放置在允许贴片或贴片的块被帧内编码的位置中（例如，在图21A中略微向下的位置中）。例如，可将贴片或块（例如，frame的一部分）输入到可执行视频帧的一些部分的帧内译码的“AVST帧内译码器”（例如，在译码器侧的底部），视频帧的其余部分可以被帧间编码（未在图21A中示出）。经译码的帧内贴片或块的比特流可在“到单层/分层比特流的复用器”模块处与其它比特流部分（例如，与帧间编码块有关）一起被复用以供存储或在信道上传输等。

另一方面，如果全帧要被编码为帧内，则开关2211被放置于允许输入视频帧或图像经历“小波分析滤波”模块处的小波分解的位置中（例如，在图21A中略微向上的位置中，如虚线所示），以导致其到LL、HL、LH和HH子带中的一级分解，每个子带的尺寸为四分之一并具有9比特的比特深度（假设8比特输入视频或图像）。如图所示，LL子带可以由具有诸如关于图7A所讨论的特征的“AVST帧内译码器”进行译码。此外，HL、LH和HH子带可以由具有诸如关于图7B讨论的那些特征的“AVST*帧内译码器”进行译码。译码过程的结果可以包括四个单独的比特流，诸如LL比特流、HL比特流、LH比特流和HH比特流，然后可以由“到单层/分层比特流的复用器”将这些比特流复用到单个比特流（bitstr）中以供存储或在信道上传输。

还在图22A中示出，在解码侧，可以由“到比特流层的解复用器”将经复用的比特流（bitstr）解复用成单层比特流，该单层比特流可以被进一步分离成帧内部分或帧间部分，其中帧内部分被发送到“AVST帧内解码器”（例如，如图22A中的解码侧的底部所示）用于解码这样的贴片或块，这样的贴片或块与其它帧间解码的贴片或块（未示出）组合以复合可发送以供显示的全帧（如下所述）。替换地，在图22A的解码侧，经复用的比特流可产生可发送到“AVST帧内解码器”（例如，针对LL比特流）或“AVST*帧内解码器”（例如，针对HL、LH和HH比特流）的单独的LL、HL、LH和HH比特流，其中所产生的四个四分之一尺寸的解码子带由“小波合成滤波”模块复合，以得到全分辨率/尺寸的最终重构视频帧或图像（dec.frame），该最终重构视频帧或图像然后可以被发送以供显示（如下所述）。

例如，根据用户或系统要求（诸如解码器处理可用或其它特性），由开关2212实现的三个输出中的一个可以显示在显示器处，诸如低分辨率帧内视频帧（从由LL频带“AVST帧内解码器”提供并由“1:2上采样器”模块上采样的经上采样的解码LL频带形成），全分辨率解码帧内视频帧（从所讨论的所有四个解码子带的合成中形成），或其中一些贴片或块通过AVST帧内编码进行帧内编码而其它贴片或块通过其它方式进行帧间编码的全分辨率帧内/帧间解码视频帧（部分地由图22A的解码侧底部的AVST帧内解码器形成）。

在所讨论的图22A的系统的另一变型中，作为通过AVST帧内译码将仅一些贴片或块编码为帧内并且通过其它方式将视频帧的其余部分编码为帧间的替代，视频帧的其余部分可通过基于小波的WAVST译码来进行编码。例如，示例用例可涉及将视频帧分成前景/背景，其中背景可由WAVST编码，并且前景可用AVST译码进行编码，反之亦然。在图22A的系统的另一变型中，可以通过AVST译码来编码一些完整的帧内帧，而可以通过WAVST编码来编码其它帧内帧。复用比特流中的头部可携带关于所使用的译码变型的信息，并且头部信息可在解码侧被解码，并且可控制用于译码比特流的正确解码的进一步复用和解码操作。

例如，可以接收多个帧，使得多个帧中的一帧的至少一部分要被帧内编码。可以做出确定：多个帧中的第一帧要使用基于小波的编码进行帧内编码，第二帧要使用基于空间域的编码进行帧内编码，并且第三帧要基于基于小波分析滤波器的编码（例如，至少一块或贴片等要在小波域中进行帧内编码）以及基于空间域的编码（例如，至少一块或贴片等要在空间域中进行帧内或帧间编码）的混合来进行编码。第二帧可以是使用诸如关于图5A所述的译码器之类的AVST帧内译码器的帧内编码。例如，第二帧可以被分割成用于预测的多个分割，用于预测的分割可以与对应的预测分割进行求差以生成预测差值分割，并且预测差值分割可以被分割成多个变换分割。可以对第一帧执行小波分解以生成第一帧的多个子带，多个子带中的第一（例如，LL）子带可以被分割成用于预测的多个第二分割，用于预测的第二分割可以与对应的第二预测分割进行求差以生成第二预测差值分割，并且第二预测差值分割可被分割成多个第二变换分割。此外，多个子带的第二子带（例如，HL、LH或HH子带）可以被分割成多个第三变换分割。在实施例中，用于预测的分割可以包括方形分割和矩形分割。另外，可以对多个变换分割的至少第一变换分割执行自适应参数变换或自适应混合参数变换，并且可以对多个变换分割的至少第二变换分割执行离散余弦变换，从而使得自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。例如，第一变换分割可以小于第二变换分割。在实施例中，多个变换分割可以至少包括方形分割和矩形分割。

对于第三帧，第三帧的第一贴片或第一块可以被分割成用于预测的多个第三分割，用于预测的第三分割可以与相关联的第三预测分割进行求差以生成第三预测差值分割，并且第三预测差值分割可被分割成多个第三变换分割。此外，可以对第三帧的第二贴片或块执行小波分解以生成第二多个子带，第二多个子带中的第一子带可以被分割成用于预测的多个第三分割，用于预测的第三分割可以与相关联的第三预测分割进行求差以生成第三预测差值分割，并且第三预测差值分割可以被分割成多个第三变换分割。此外，第二多个子带中的第二子带可以被分割成多个第四变换分割。例如，可以使用混合编码对第三帧进行编码。在实施例中，诸如图22A的上下文中，所讨论的小波分解可以是固定小波分解。在其它实施例中，诸如在关于图22B所述的上下文中，小波分解可以是自适应小波分解。这样的自适应小波分解可以在帧级别或贴片级别等处执行。例如，对第三帧的第一贴片或块的小波分解可以是自适应小波分析滤波。在实施例中，小波分解可以包括基于第一帧的内容特性、目标比特率或包括目标比特率的应用参数中的至少一个的自适应小波分析滤波。例如，自适应小波分析滤波可以包括从多个可用小波滤波器集合中选择所选小波滤波器集合。

图22B例示了根据本公开的至少一些实现方式布置的、被称为自适应变换自适应小波自适应变换（ATAWAT）编码器的示例变换和小波变换组合编码器2202的框图。例如，除了在译码侧替代固定小波分析滤波使用如由“自适应小波分析滤波”模块实现的自适应分析滤波并且对应地在解码侧替代固定小波合成滤波使用如由“自适应小波合成滤波”模块实现的自适应合成滤波之外，图22B的系统可以相对于图22A的系统类似地操作（以及支持相同的变型）（并且为了简洁起见，将不再重复这样的操作）。例如，可以针对用于解码器侧的分析分解的滤波器集合的最佳选择以及用于解码器侧的合成重组的匹配滤波器集合来检查每个视频序列（例如，帧、贴片、块等）的内容。例如，wfi信号携带关于用于分析的所选小波滤波器集合的信息，并被译码且由复用比特流（bitstr）中的头部携带。然后从头部中解码出小波滤波器集合选择信息（wfi）并由“自适应小波合成滤波”模块用来确定用于解码的匹配滤波器集合。

图23A例示了根据本公开的至少一些实现方式布置的、用于使用自适应变换小波自适应变换（ATWAT）编码器或自适应变换自适应小波自适应变换（ATAWAT）编码器的ATWAT/ATAWAT帧内译码的示例过程2301的流程图。例如，过程2301可以提供用于图22A的系统或图22B的系统的译码流程图。如图所示，对于正被输入的视频帧（“帧”），可以做出（在标记为“小波可扩缩编码”的判定操作处）关于帧或图像（或其一些贴片或块）是否应当用诸如WAVST或AWAVST之类的基于小波的编码进行编码或者它是否应当用诸如AVST之类的基于变换的编码进行编码的判定。如果要通过变换编码对帧、图像或块进行编码，则可以前进到用于贴片/块的AVST帧内译码的处理操作（标记为“贴片/块的AVST帧内译码”），并且所得到的比特流可与头部一起被复用以产生非可扩缩比特流以供存储或传输（在标记为“译码头部、译码单层/可扩缩信息、译码小波滤波器集合指示符、复用以生成WAVST/AWAVST帧内比特流”的操作处）。如果要通过小波编码处理帧或图像，则可以前进到小波分析处理操作（标记为“执行固定/自适应小波分析以生成4个子带”，其在图22A的系统的示例中使用固定小波分析并在图22B的系统的示例中执行自适应小波分析），并且所得到的四个四分之一尺寸的子带（LL、HL、LH和HH）可以各自存储在对应的子帧存储中（在标记为“1/4尺寸9b LL/HL/LH/HH子带子帧存储”的操作处）。LL频带可以由AVST译码器进行译码（在标记为“AVST帧内译码LL频带贴片/块”的操作处），而HL、LH和HH子带可以由AVST*译码器进行译码（在标记为“AVST*帧内译码HL/LH/HH频带贴片/块”的操作处）。所得到的比特流与头部一起被复用（在标记为“译码头部、译码单层/可扩缩信息、译码小波滤波器集合指示符、复用以生成WAVST/AWAVST帧内比特流”的操作处，在图22B的系统的情况下，头部还携带小波滤波器集合选择信息）并且最终的可扩缩比特流（“ATWAT/ATAWAT帧内比特流”）准备好用于存储或传输。

图23B例示了根据本公开的至少一些实现方式布置的用于将由ATWAT/ATAWAT帧内译码执行的过程反转的ATWAT/ATAWAT帧内解码的示例过程2302的流程图。如图所示，可以接收比特流（“WAVST/AWAVST帧内比特流”）并且可以对头部进行解码以确定比特流是单层AVST比特流还是小波编码（WAVST或AWAVST）比特流（在标记为“解码头部、解码单层/可扩缩信息、解码小波滤波器集合指示符、解复用”的操作处）。如果它被确定为AVST比特流，则比特流可以被发送用于在解码比特流的AVST帧内解码器处进行解码（在标记为“熵解码帧内单层比特流”和“贴片/块的AVST帧内解码”的操作处），并根据用户输入或系统参数生成作为用于显示的候选的重构的帧内帧（在标记为“组装重构帧内帧”的操作处）。

如果根据头部确定了解码比特流是小波类型的，则可以从其中确定四个嵌入比特流（在标记为“熵解码帧内单层比特流”和“熵解码帧内可扩缩小波比特流”的操作处），并且LL频带比特流被输入到LL频带AVST解码器（在标记为“熵解码帧内单层比特流”的操作处），LL频带AVST解码器的重构的四分之一分辨率输出被存储在LL频带子帧存储中（在标记为“1/4尺寸9b LL子带子帧存储”的操作处）并且可以可选地被上采样（在标记为“在每个维度上2倍上采样滤波”的操作处）并且根据用户输入或系统参数等形成用于显示的第二候选。假设根据用户输入或系统参数等需要显示全分辨率小波解码帧内视频帧，则将其它三个（例如，HL、LH和HH）频带比特流输入到诸如HL频带AVST*解码器、LH频带AVST*解码器和HH频带AVST*解码器之类的对应的解码器（在标记为“AVST帧内解码HL/LH/HH频带贴片/块”的操作处），并且相应的经解码的子帧可以被分别输出到HL子带子帧存储、LH子带子帧存储和HH子带子帧存储（在标记为“1/4尺寸9b HL/LH/HH子带子帧存储”的操作处）。来自四个子帧的经解码的LL、HL、LH和HH子带可以经历使用固定合成滤波器或自适应合成滤波的帧合成（在标记为“执行固定/自适应小波合成以生成重构帧”的操作处）以反转在译码器处执行的固定分析或自适应分析滤波，其经由比特流进行信令，因为其与经解码的子带组合以产生可作为用于显示的第三候选而被输出的完全重构的视频/图像帧。

如图所示，三个候选重构帧或图像中的一个可以被提供用于显示。可以做出关于要提供哪个候选的确定（在标记为“小波编码的全分辨率输出”的判定操作处），并且可以提供对应的帧用于显示（“否，像素域全分辨率”、“否，小波低分辨率”或“是，小波全分辨率”）。图23B的解码流程图可以假设整个帧由AVST原样编码而没有小波编码或者由AVST小波编码进行编码，并且因此可以解码两种类型的译码比特流中的任一种。

如本文所讨论的，AVST帧内编码可以使用方形和矩形分割二者以及可能使用大量块尺寸的方形和矩形变换二者。此外，AVST可以使用诸如多块尺寸（诸如4x4、8x4、4x8、8x8等）的PHT变换之类的参数变换。此外，AVST帧内编码可以使用空间预测（其使用DC、平面和多方向性预测），并且提供可以在没有预测的情况下使用的变型。AVST的该变型被称为AVST*帧内编码。小波分析的使用可以通过小波分解生成4个或更多个子带，接着依据要编码的子带（例如，它是LL子带，还是HL子带，还是LH子带，还是HH子带）使用具有更高比特深度的（9比特替代8比特）基于块的AVST和AVST*编码的基于块的编码。AVST编码（通过使用AVST*而不是AVST）被适配成特定子带的需要的一种方式与变换的形状有关，它被适配的另一方式是变换块的扫描方向。AVST编码被适配成HL、LH和HH频带的另一方式是通过使用针对非LL频带关闭空间预测的AVST*编码器。小波分析滤波可以是固定的或自适应的。在一些示例中，可以使用内容特性、比特率和应用参数（帧分辨率以及其它）来从可用的小波滤波器集合中进行选择。当小波分析滤波是自适应的时，比特流可以携带关于所使用的小波滤波器集合的信息，使得匹配的互补滤波器可以在解码器处用于小波合成（通过解码比特流并确定哪个滤波器用于分析）。因此小波合成滤波也是响应于所选小波分析滤波器而自适应的。还讨论了将根据AVST的变换编码和基于小波的AVST编码（WAVST/AWAVST）组合以生成ATWAT/ATAWAT编码的混合方案。提供了包括应用于帧的AVST帧内或WAVST/AWAVST帧内二者、基于局部（贴片或块）应用的AVST帧内以及应用于其余贴片和块的AVST帧间（这里未讨论）、以及应用于其它帧内帧的WAVST/WAVST帧内的若干变型。例如，可以基于局部（贴片或块）应用AVST帧内，而WAVST/AWAVST应用于其余的贴片。

图24是根据本公开的至少一些实现方式布置的用于译码和/或解码的示例系统2400的例示图。如图24中所示，系统2400可以包括中央处理器2401、图形处理器2402、存储器2403、相机2404、显示器2405和发射器/接收器2406。在一些实施例中，系统2400可以不包括相机2404、显示器2405和/或发射器/接收器2406。如所示，中央处理器2401和/或图形处理器2402可以实现译码器2411和/或解码器2412。译码器2411和解码器2412可以包括本文讨论的任何译码器或解码器或其组合。在一些实施例中，系统2400可以不实现译码器2411或解码器2412。在系统2400的示例中，存储器2403可以存储帧数据、图像数据或比特流数据或任何相关数据，例如本文讨论的任何其它数据。

如所示，在一些实施例中，译码器和/或解码器2412可以经由中央处理器2401来实现。在又其它实施例中，译码器和/或解码器2412的一个或多个或部分可以经由图形处理器2402来实现。在其它实施例中，译码器和/或解码器2412可以由图像处理单元、图像处理流水线、视频处理流水线等来实现。在一些实施例中，译码器和/或解码器2412可以以硬件而被实现为片上系统（SoC）。

图形处理器2402可以包括可以提供如本文所讨论的操作的任何数量和类型的图形处理单元。这些操作可以经由软件或硬件或其组合来实现。例如，图形处理器2402可以包括专用于操纵和/或分析从存储器2403获得的图像或帧的电路。中央处理器2401可以包括任何数量和类型的处理单元或模块，其可以为系统2400提供控制和其它高级功能和/或提供如本文所讨论的任何操作。存储器2403可以是诸如易失性存储器（例如静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）等）或非易失性存储器（例如闪存等）等等的任何类型的存储器。在非限制性示例中，存储器2403可以由高速缓存存储器来实现。在一个实施例中，译码器和/或解码器2412的一个或多个或部分可以经由图形处理器2402的执行单元（EU）或另一处理器来实现。例如，EU可以包括诸如一个或多个逻辑核之类的可编程逻辑或电路，其可以提供各种各样的可编程逻辑功能。在一个实施例中，译码器和/或解码器2412的一个或多个或部分可以经由诸如固定功能电路等的专用硬件来实现。固定功能电路可以包括专用逻辑或电路，并且可以提供一组固定功能入口点，其可以映射到用于固定目的或功能的专用逻辑。相机2404可以是可以获得图像或帧数据以供处理（诸如本文所讨论的译码处理）的任何合适的相机或设备。显示器2405可以是可以呈现图像或帧数据（诸如本文所讨论的解码图像或帧）的任何显示器或设备。发射器/接收器2406可以包括可以传送或接收如本文所讨论的比特流数据的任何合适的发射器和/或接收器。

系统2400可以实现如本文所讨论的任何设备、系统、译码器、解码器、模块、单元等。此外，系统2400可以实现如本文所讨论的任何过程、操作等。

本文描述的系统的各种组件可以用软件、固件和/或硬件和/或其任何组合来实现。例如，可以至少部分地通过诸如可以在诸如例如智能电话的计算系统中找到的计算片上系统（SoC）的硬件来提供本文讨论的设备或系统的各种组件。本领域的技术人员可以认识到，本文描述的系统可以包括未在对应的附图中描绘的附加组件。例如，本文讨论的系统可以包括为了清楚起见而未被描绘的附加组件。

虽然本文讨论的示例过程的实现可以包括承担以所图示的顺序示出的所有操作，但是本公开在这方面不受限制，并且在各种示例中，本文的示例过程的实现可以仅包括所示操作的子集、以不同于所图示的顺序执行的操作或附加操作。

另外，可以响应于由一个或多个计算机程序产品提供的指令来承担本文所讨论的任何一个或多个操作。这样的程序产品可以包括提供指令的信号承载介质，所述指令在由例如处理器执行时可以提供本文描述的功能性。计算机程序产品可以以一种或多种机器可读介质的任何形式来提供。因此，例如，包括一个或多个图形处理单元或（一个或多个）处理器核的处理器可以响应于通过一个或多个机器可读介质而传达给处理器的程序代码和/或指令或指令集来承担本文的示例过程的一个或多个框。通常，机器可读介质可以以程序代码和/或指令或指令集的形式传达软件，所述程序代码和/或指令或指令集可以使得本文所描述的任何设备和/或系统实现设备或系统的至少一些部分或者如本文讨论的其它模块或组件。

如本文所描述的任何实现中所使用的，术语“模块”是指软件逻辑、固件逻辑、硬件逻辑和/或电路结构的任何组合，以提供本文描述的功能性。软件可以被体现为软件包、代码和/或指令集或指令，并且本文所描述的任何实现中所使用的“硬件”可以包括——例如单独地或以任何组合的形式——硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路所执行的指令的固件。这些模块可以共同或单独地被体现为形成较大系统的一部分的电路，例如集成电路（IC）、片上系统（SoC）等等。

图25是根据本公开的至少一些实现方式布置的示例系统2500的图示图表。在各种实现中，系统2500可以是移动设备系统，尽管系统2500不限于此上下文中。例如，系统2500可以结合到个人计算机（PC）、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备（例如智能电话、智能平板或者智能电视机）、移动互联网设备（MID）、消息传递设备、数据通信设备、相机（例如，傻瓜相机、超级变焦相机、数字单反（DSLR）相机）等等。

在各种实现中，系统2500包括耦合到显示器2520的平台2502。平台2502可以从诸如（一个或多个）内容服务设备2530或（一个或多个）内容递送设备2540之类的内容设备或诸如图像传感器2519之类的其它内容源接收内容。例如，平台2502可以从图像传感器2519或任何其它内容源接收如本文所讨论的图像数据。包括一个或多个导航特征的导航控制器2550可以被用来与例如平台2502和/或显示器2520进行交互。下面更详细地描述这些组件中的每一个。

在各种实现中，平台2502可以包括芯片组2505、处理器2510、存储器2511、天线2513、储存器2514、图形子系统2515、应用2516、图像信号处理器2517和/或无线电2518的任何组合。芯片组2505可以提供在处理器2510、存储器2511、储存器2514、图形子系统2515、应用2516、图像信号处理器2517和/或无线电2518之间的相互通信。例如芯片组2505可以包括能够提供与储存器2514的相互通信的储存适配器（未描绘）。

处理器2510可以被实现为复杂指令集计算机（CISC）或者精简指令集计算机（RISC）处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元（CPU）。在各种实现中，处理器2510可以是（一个或多个）双核处理器、（一个或多个）双核移动处理器等等。

存储器2511可以被实现为易失性存储器设备，诸如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。

储存器2514可以被实现为非易失性储存设备，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、帧内储存设备、附接的储存设备、闪存、电池备份的SDRAM（同步DRAM）和/或网络可访问储存设备。在各种实现中，例如，当包括多个硬盘驱动器时，储存器2514可以包括用于增加对有价值的数字媒体的储存性能增强保护的技术。

图像信号处理器2517可以被实现为用于图像处理的专用数字信号处理器等。在一些示例中，可以基于单指令多数据或多指令多数据架构等来实现图像信号处理器2517。在一些示例中，图像信号处理器2517可以被表征为媒体处理器。如本文所讨论的，可以基于片上系统架构和/或基于多核架构来实现图像信号处理器2517。

图形子系统2515可以执行诸如静止或视频之类的图像的处理以用于显示。图形子系统2515例如可以是图形处理单元（GPU）或可视处理单元（VPU）。模拟或数字接口可以用来可通信地耦合图形子系统2515和显示器2520。例如，接口可以是高清多媒体接口、显示端口（DisplayPort）、无线HDMI和/或无线HD相符技术中的任何一种。可以将图形子系统2515集成到处理器2510或芯片组2505中。在一些实现中，图形子系统2515可以是可通信地耦合到芯片组2505的独立设备。

可以在各种硬件架构中实现本文描述的图像和/或视频处理技术。例如，可以将图像和/或视频功能性集成在芯片组内。可替代地，可以使用分离的图形和/或视频处理器。作为又另一实现，图像和/或视频功能可以由包括多核处理器在内的通用处理器来提供。在进一步的实施例中，功能可以在消费电子设备中实现。

无线电2518可以包括能够使用各种合适的无线通信技术来传送和接收信号的一个或多个无线电。这种技术可涉及跨越一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝网络和卫星网络。在跨越这样的网络进行通信时，无线电2518可以根据任何版本中的一个或多个适用标准进行操作。

在各种实现中，显示器2520可以包括任何电视类型的监视器或显示器。显示器2520可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类似电视的设备和/或电视机。显示器2520可以是数字和/或模拟的。在各种实现中，显示器2520可以是全息显示器。而且，显示器2520可以是可以接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像和/或对象。例如，这样的投影可以是针对移动增强现实（MAR）应用的视觉覆盖。在一个或多个软件应用2516的控制下，平台2502可以在显示器2520上显示用户界面2522。

在各种实现中，（一个或多个）内容服务设备2530可以由任何国家、国际和/或独立的服务进行托管，并且因此例如经由互联网可访问平台2502。（一个或多个）内容服务设备2530可以耦合到平台2502和/或显示器2520。平台2502和/或（一个或多个）内容服务设备2530可以耦合到网络2560以将媒体信息传递（例如，传送和/或接收）往返于网络2560。（一个或多个）内容递送设备2540也可以耦合到平台2502和/或显示器2520。

图像传感器2519可以包括可以基于场景提供图像数据的任何合适的图像传感器。例如，图像传感器2519可以包括基于半导体电荷耦合器件（CCD）的传感器、基于互补金属氧化物半导体（CMOS）的传感器、基于N型金属氧化物半导体（NMOS）的传感器等等。例如，图像传感器2519可以包括可以检测场景的信息以生成图像数据的任何设备。

在各种实现中，（一个或多个）内容服务设备2530可以包括有线电视盒、个人计算机、网络、电话、启用互联网的设备或能够递送数字信息和/或内容的器具以及能够经由网络2560或者直接地在内容提供商与平台2502和/显示器2520之间单向地或双向地传递内容的任何其它类似设备。将意识到，内容可以经由网络2560被单向地和/或双向地传递往返于系统2500中的任何一个组件以及内容提供商。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等等。

（一个或多个）内容服务设备2530可以接收内容，诸如包括媒体信息、数字信息和/或其它内容的有线电视节目。内容提供商的示例可以包括任何有线或卫星电视或无线电或者互联网内容提供商。所提供的示例并不意味着以任何方式来限制按照本公开的实现。

在各种实现中，平台2502可以从具有一个或多个导航特征的导航控制器2550接收控制信号。例如，导航控制器2550的导航特征可以被用来与用户界面2522交互。在各种实施例中，导航控制器2550可以是定点设备，其可以是允许用户将空间（例如，连续和多维）数据输入到计算机中的计算机硬件组件（具体来说是人机界面设备）。许多系统（例如图形用户界面（GUI）、电视机和监视器）允许用户使用物理姿态来控制并且将数据提供给计算机或电视机。

通过显示器上显示的指针、光标、聚焦环或者其它视觉指示符的移动，可在显示器（例如显示器2520）上复制导航控制器2550的导航特征的移动。例如，在软件应用2516的控制下，位于导航控制器2550上的导航特征可映射到例如用户界面2522上显示的虚拟导航特征。在各个实施例中，控制器2550可以不是单独组件，而是可集成到平台2502和/或显示器2520中。但是，本公开并不局限于本文所示或所述的元件或上下文。

在各个实现中，驱动器（未示出）可包括使用户能够例如通过在初始引导之后触摸按钮（在被启用时）来立即接通和关断平台2502例如电视机的技术。程序逻辑可允许平台2502甚至在平台“关断”时也将内容流式传输到媒体适配器或者（一个或多个）其它内容服务设备2530或者（一个或多个）内容递送设备2540。另外，芯片组2505可包括例如对5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可包括用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可包括外设组件互连（PCI）Express图形卡。

在各个实现中，可以集成系统2500中所示的组件的任一个或多个。例如，可以集成平台2502和（一个或多个）内容服务设备2530，或者可以集成平台2502和（一个或多个）内容递送设备2540，或者例如可以集成平台2502、（一个或多个）内容服务设备2530和（一个或多个）内容递送设备2540。在各个实施例中，平台2502和显示器2520可以是集成单元。例如，可以集成显示器2520和（一个或多个）内容服务设备2530，或者可以集成显示器2520和（一个或多个）内容递送设备2540。这些示例并不意味着限制本公开。

在各个实施例中，系统2500可以实现为无线系统、有线系统或者两者的组合。当被实现为无线系统时，系统2500可以包括适合于通过无线共享媒体进行通信的组件和接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享媒体的示例可以包括无线谱的部分，诸如RF谱等。当被实现为有线系统时，系统2500可以包括适合于通过有线通信媒体进行通信的组件和接口，例如输入/输出（I/O）适配器、将I/O适配器与对应有线通信介质连接的物理连接器、网络接口卡（NIC）、磁盘控制器、视频控制器、音频控制器等。有线通信媒体的示例可以包括电线、电缆、金属引线、印刷电路板（PCB）、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。

平台2502可以建立一个或多个逻辑或物理信道以传递信息。信息可以包括媒体信息和控制信息。媒体信息可以是指表示预计送往用户的内容的任何数据。内容的示例可以包括例如来自语音转换的数据、电视会议、流式传输视频、电子邮件（“email”）消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音转换的数据可以是例如话音信息、静寂周期、背景噪声、舒适噪声、音调等。控制信息可以是指表示预计用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用来通过系统路由媒体信息，或者指示节点以预定方式处理媒体信息。但是，实施例并不局限于图25所示或所述的元件或上下文。

如上所述，可以将系统2500体现为变化的物理风格或形状因素。图26图示出了根据本公开的至少一些实现方式布置的示例小型形状因素设备2600。在一些示例中，系统2500可以经由设备2600来实现。在各种实施例中，例如，设备2600可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指任何具有处理系统和诸如一个或多个电池的移动电源或供应的设备。

移动计算设备的示例可包括个人计算机（PC）、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、智能设备（例如智能电话、智能平板或者智能移动电视机）、移动互联网装置（MID）、消息传递设备、数据通信设备、相机等。

移动计算设备的示例还可包括被布置成供人佩戴的计算机，诸如手腕计算机、手指计算机、指环计算机、眼镜计算机、皮带夹计算机、臂章计算机、靴式计算机、服饰计算机和其它可佩戴计算机。在各个实施例中，例如，移动计算设备可实现为智能电话，其能够运行计算机应用以及进行语音通信和/或数据通信。虽然通过示例可采用实现为智能电话的移动计算设备来描述一些实施例，但是可以意识到，其它实施例也可使用其它无线移动计算设备来实现。实施例并不局限于这个上下文。

如图26中所示，设备2600可以包括具有前部2601和后部2602的外壳。设备2600包括显示器2604、输入/输出（I/O）设备2606和集成天线2608。设备2600还可以包括导航特征2611。I/O设备2606可以包括用于将信息输入到移动计算设备中的任何合适的I/O设备。I/O设备2606的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等等。信息也可以通过麦克风（未示出）被输入到设备2600中，或者可以由语音识别设备数字化。如所示，设备2600可以包括被集成到设备2600的后部2602（或其它地方）中的闪光灯2610以及相机2605（例如，包括镜头、光圈和成像传感器）。在其它示例中，可以将相机2605和/或闪光灯2610集成到设备2600的前部2601和/或可以提供附加相机（例如，使得设备2600具有前部相机和背部相机）。

各个实施例可使用硬件元件、软件元件或者两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件（例如晶体管、电阻器、电容器、电感器等）、集成电路、专用集成电路（ASIC）、可编程逻辑器件（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可包括软件组分、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、规程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或者它们的任何组合。确定实施例是否使用硬件元件和/或软件元件来实现可按照任何数量的因素而改变，例如预期计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计和性能限制。

至少一个实施例的一个或多个方面可通过机器可读介质上存储的、表示处理器内的各种逻辑的代表指令来实现，其在由机器读取时使机器制作执行本文所述技术的逻辑。称作“IP核”的这类表示可存储在有形机器可读介质上，并且供应给各种客户或制造设施，以加载到实际制作逻辑或处理器的制造机器中。

虽然参照各个实现描述了本文所提出的某些特征，但是本描述不意图理解为限制性意义的。因此，对本公开属于的领域的技术人员显而易见的是，本文所述实现的各种修改以及其它实现被认为落入本公开的精神和范围之内。

以下示例涉及其它实施例。

在一个或多个第一实施例中，一种用于图像或视频编码的计算机实现的方法包括：接收用于帧内编码的原始图像、帧或帧的块；将所述原始图像、帧或块分割成至少包括方形分割和矩形分割的多个变换分割；以及对所述多个变换分割的至少第一变换分割执行自适应参数变换或自适应混合参数变换并对所述多个变换分割的至少第二变换分割执行离散余弦变换，以产生对应的第一变换系数分割和第二变换系数分割，其中，所述自适应参数变换或所述自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第一实施例，第一变换分割包括在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在所述可用分割尺寸内的分割尺寸。

进一步关于第一实施例，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。

进一步关于第一实施例，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

进一步关于第一实施例，所述方法还包括：量化第一变换系数分割和第二变换系数分割以产生经量化的第一变换系数分割和第二变换系数分割；以及扫描所述经量化的第一变换系数分割和第二变换系数分割并将所述经量化的第一变换系数分割和第二变换系数分割熵译码成比特流。

进一步关于第一实施例，所述方法还包括将所述原始图像、帧或块分割成至少包括方形分割和矩形分割的用于预测的多个分割。

进一步关于第一实施例，所述方法还包括将所述用于预测的分割中的每一个与对应的预测分割进行求差以生成对应的预测差值分割，其中，所述变换分割包括所述预测差值分割的分割，并且其中，所述变换分割相对于它们的对应预测差值分割具有相等或更小的尺寸。

进一步关于第一实施例，所述变换分割包括所述原始图像、帧或块的分割。

在一个或多个第二实施例中，一种用于图像或视频编码的系统包括：存储器，所述存储器要存储用于帧内编码的原始图像、帧或帧的块；以及耦合到所述存储器的处理器，所述处理器要将所述原始图像、帧或块分割成至少包括方形分割和矩形分割的多个变换分割并且要对所述多个变换分割的至少第一变换分割执行自适应参数变换或自适应混合参数变换并对所述多个变换分割的至少第二变换分割执行离散余弦变换，以产生对应的第一变换系数分割和第二变换系数分割，其中，所述自适应参数变换或所述自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第二实施例，第一变换分割包括在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在所述可用分割尺寸内的分割尺寸。

进一步关于第二实施例，所述处理器还要将所述原始图像、帧或块分割成至少包括方形分割和矩形分割的用于预测的多个分割。

进一步关于第二实施例，所述处理器还要将所述用于预测的分割中的每一个与对应的预测分割进行求差以生成对应的预测差值分割，其中，所述变换分割包括所述预测差值分割的分割，并且其中，所述变换分割相对于它们的对应预测差值分割具有相等或更小的尺寸。

在一个或多个第三实施例中，一种用于图像或视频解码的计算机实现的方法包括：接收至少包括方形分割和矩形分割的多个变换系数分割；对所述多个变换分割的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换并对所述多个变换分割的至少第二变换系数分割执行逆离散余弦变换，以产生对应的第一变换分割和第二变换分割，其中，所述逆自适应参数变换或所述逆自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵；以及至少部分地基于第一变换分割和第二变换分割来生成解码图像、帧或块。

进一步关于第三实施例，第一变换分割包括在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在所述可用分割尺寸内的分割尺寸。

进一步关于第三实施例，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。

进一步关于第三实施例，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

进一步关于第三实施例，多个变换分割包括第一变换分割和第二变换分割，所述方法还包括：将所述变换分割中的每一个与对应的预测分割相加以生成重构分割；组装所述重构分割；以及对所述重构分割执行去块滤波或去振铃以生成重构帧。

在一个或多个第四实施例中，一种用于图像或视频解码的系统包括：存储器，所述存储器要存储至少包括方形分割和矩形分割的多个变换系数分割；以及耦合到所述存储器的处理器，所述处理器要对所述多个变换分割的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换并对所述多个变换分割的至少第二变换系数分割执行逆离散余弦变换，以产生对应的第一变换分割和第二变换分割，其中，所述逆自适应参数变换或所述逆自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵，并且要至少部分地基于第一变换分割和第二变换分割来生成解码图像、帧或块。

进一步关于第四实施例，第一变换分割包括在可用分割尺寸的小分割尺寸子集内的分割尺寸，并且第二变换分割具有在所述可用分割尺寸内的分割尺寸。

进一步关于第四实施例，第一变换分割具有4x4像素、8x4像素、4x8像素或8x8像素的尺寸。

进一步关于第四实施例，第一变换分割具有不大于8x8像素的尺寸，并且第二变换分割具有不小于8x8像素的尺寸。

进一步关于第四实施例，多个变换分割包括第一变换分割和第二变换分割，并且其中，所述处理器还要将所述变换分割中的每一个与对应的预测分割相加以生成重构分割，组装所述重构分割，并对所述重构分割执行去块滤波或去振铃以生成重构帧。

在一个或多个第五实施例中，一种用于图像或视频编码的计算机实现的方法包括：接收用于帧内编码的原始图像或帧，对所述原始图像或帧执行小波分解以生成所述原始图像或帧的多个子带，将所述多个子带中的第一子带分割成用于预测的多个分割，将所述用于预测的分割中的每一个与对应的预测分割进行求差以生成对应的预测差值分割，将所述预测差值分割分割成用于变换编码的多个第一变换分割，其中第一变换分割相对于它们的对应预测差值分割具有相等或更小的尺寸，以及将所述多个子带中的至少第二子带分割成用于变换编码的多个第二变换分割。

进一步关于第五实施例，所述小波分解包括小波分析滤波。

进一步关于第五实施例，所述用于预测的多个分割至少包括方形分割和矩形分割。

进一步关于第五实施例，所述多个第一变换分割至少包括方形分割和矩形分割。

进一步关于第五实施例，第一子带包括LL子带，并且第二子带包括HL、LH或HH子带中的至少一个。

进一步关于第五实施例，所述方法还包括：对所述第二变换分割中的第一变换分割进行变换并扫描经变换的第一变换分割的系数，其中当第二子带包括HL子带时，扫描系数包括以Z形样式从经变换的第一变换分割的左下角到右上角扫描系数，当第二子带包括LH子带时，扫描系数包括以Z形样式从经变换的第一变换分割的右上角到左下角扫描系数，并且当第二子带包括HH子带时，扫描系数包括以Z形样式从经变换的第一变换分割的右下角到左上角扫描系数。

进一步关于第五实施例，当所述原始图像或帧具有8比特的比特深度时，第一子带和第二子带具有9比特的比特深度。

进一步关于第五实施例，小波分解滤波包括固定小波分析滤波。

进一步关于第五实施例，所述小波分解包括基于所述原始图像或帧的内容特性、目标分辨率或包括目标比特率的应用参数中的至少一个的自适应小波分析滤波。

进一步关于第五实施例，所述小波分解包括基于所述原始图像或帧的内容特性、目标分辨率或包括目标比特率的应用参数中的至少一个的自适应小波分析滤波，并且所述自适应小波分析滤波包括从多个可用小波滤波器集合中选择所选小波滤波器集合。

进一步关于第五实施例，所述小波分解包括基于所述原始图像或帧的内容特性、目标分辨率或包括目标比特率的应用参数中的至少一个的自适应小波分析滤波，并且所述自适应小波分析滤波包括从多个可用小波滤波器集合中选择所选小波滤波器集合，并且所述方法还包括将与用于正进行帧内编码的所述原始图像或帧的所选小波滤波器集合相关联的所选小波滤波器集合指示符插入到比特流中。

在一个或多个第六实施例中，一种用于图像或视频编码的系统包括：存储器，所述存储器要存储用于帧内编码的原始图像或帧；以及耦合到所述存储器的处理器，所述处理器要接收用于帧内编码的原始图像或帧，要对所述原始图像或帧执行小波分解以生成所述原始图像或帧的多个子带，要将所述多个子带中的第一子带分割成用于预测的多个分割，要将所述用于预测的分割中的每一个与对应的预测分割进行求差以生成对应的预测差值分割，要将所述预测差值分割分割成用于变换编码的多个第一变换分割，其中第一变换分割相对于它们的对应预测差值分割具有相等或更小的尺寸，以及要将所述多个子带中的至少第二子带分割成用于变换编码的多个第二变换分割。

进一步关于第六实施例，所述用于预测的多个分割至少包括方形分割和矩形分割。

进一步关于第六实施例，所述多个第一变换分割至少包括方形分割和矩形分割。

进一步关于第六实施例，所述处理器还要对所述多个第一变换分割中的至少第一变换分割执行自适应参数或自适应混合参数变换并对所述多个第一变换分割中的至少第二变换分割执行离散余弦变换，其中第一变换分割小于第二变换分割，并且其中，所述自适应参数变换或所述自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第六实施例，所述处理器还要对所述第二变换分割中的第一变换分割进行变换并要扫描经变换的第一变换分割的系数，其中当第二子带包括HL子带时，要扫描系数包括要以Z形样式从经变换的第一变换分割的左下角到右上角扫描系数，当第二子带包括LH子带时，要扫描系数包括要以Z形样式从经变换的第一变换分割的右上角到左下角扫描系数，并且当第二子带包括HH子带时，要扫描系数包括要以Z形样式从经变换的第一变换分割的右下角到左上角扫描系数。

进一步关于第六实施例，自适应小波分析滤波包括从多个可用小波滤波器集合中选择所选小波滤波器集合。

在一个或多个第七实施例中，一种用于图像或视频解码的计算机实现的方法包括：解复用可扩缩比特流以生成各自与多个小波子带中的一子带相关联的多个比特流，生成用于所述多个小波子带中的第一子带的、至少包括方形分割和矩形分割的多个变换系数分割，对所述多个变换分割的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换并对所述多个变换分割的至少第二变换系数分割执行逆离散余弦变换以产生对应的第一变换分割和第二变换分割，以及至少部分地基于第一变换分割和第二变换分割来生成解码图像、帧或块。

进一步关于第七实施例，所述方法还包括至少部分地基于第一变换分割和第二变换分割对第一子带进行解码，对所述多个小波子带中的其余子带进行解码，以及对第一子带和所述其余子带执行小波合成滤波以生成重构图像或帧。

进一步关于第七实施例，所述方法还包括至少部分地基于第一变换分割和第二变换分割对第一子带进行解码，对所述多个小波子带中的其余子带进行解码，以及对第一子带和所述其余子带执行小波合成滤波以生成重构图像或帧，并且第一子带包括LL子带，并且所述其余子带包括HL、LH或HH子带中的至少一个。

进一步关于第七实施例，自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第七实施例，小波合成滤波包括固定小波合成滤波。

进一步关于第七实施例，小波合成滤波包括基于在所述可扩缩比特流中并且与来自多个可用小波滤波器集合的所选小波滤波器集合相关联的所选小波滤波器集合指示符的自适应小波合成滤波。

进一步关于第七实施例，所述方法还包括确定与所述解码图像、帧或块相关联的输出选择，所述输出选择包括低分辨率或全分辨率中的至少一个，并且生成解码图像、帧或块是对所述输出选择的响应。

进一步关于第七实施例，所述方法还包括确定与所述解码图像、帧或块相关联的输出选择，所述输出选择包括低分辨率或全分辨率中的至少一个，并且生成解码图像、帧或块是对所述输出选择的响应，并且所述输出选择包括全分辨率，并且生成所述解码图像、帧或块包括解码第一子带和所述其余子带并对第一子带和所述其余子带执行小波合成滤波以生成重构图像或帧。

进一步关于第七实施例，所述方法还包括确定与所述解码图像、帧或块相关联的输出选择，所述输出选择包括低分辨率或全分辨率中的至少一个，并且生成解码图像、帧或块是对所述输出选择的响应，所述输出选择包括低分辨率，并且生成所述解码图像、帧或块在于解码第一子带。

在一个或多个第八实施例中，一种用于图像或视频解码的系统包括：存储器，所述存储器要存储可扩缩比特流；以及耦合到所述存储器的处理器，所述处理器要解复用所述可扩缩比特流以生成各自与多个小波子带中的一子带相关联的多个比特流，要生成用于所述多个小波子带中的第一子带的、至少包括方形分割和矩形分割的多个变换系数分割，要对所述多个变换分割的至少第一变换系数分割执行逆自适应参数变换或逆自适应混合参数变换并对所述多个变换分割的至少第二变换系数分割执行逆离散余弦变换以产生对应的第一变换分割和第二变换分割，以及要至少部分地基于第一变换分割和第二变换分割来生成解码图像、帧或块。

进一步关于第八实施例，所述处理器还要至少部分地基于第一变换分割和第二变换分割对第一子带进行解码，要对所述多个小波子带中的其余子带进行解码，以及要对第一子带和所述其余子带执行小波合成滤波以生成重构图像或帧。

进一步关于第八实施例，自适应参数变换或自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第八实施例，小波合成滤波包括基于在所述可扩缩比特流中并且与来自多个可用小波滤波器集合的所选小波滤波器集合相关联的所选小波滤波器集合指示符的自适应小波合成滤波。

进一步关于第八实施例，所述处理器还要确定与所述解码图像、帧或块相关联的输出选择，其中所述输出选择包括低分辨率或全分辨率中的至少一个，并且其中生成解码图像、帧或块是对所述输出选择的响应。

进一步关于第八实施例，所述处理器还要确定与所述解码图像、帧或块相关联的输出选择，其中所述输出选择包括低分辨率或全分辨率中的至少一个，并且其中生成解码图像、帧或块是对所述输出选择的响应，其中所述输出选择包括全分辨率，并且所述处理器要生成所述解码图像、帧或块包括所述处理器要解码第一子带和所述其余子带并要对第一子带和所述其余子带执行小波合成滤波以生成重构图像或帧。

进一步关于第八实施例，所述处理器还要确定与所述解码图像、帧或块相关联的输出选择，其中所述输出选择包括低分辨率或全分辨率中的至少一个，并且其中生成解码图像、帧或块是对所述输出选择的响应，其中所述输出选择包括低分辨率，并且所述处理器要生成所述解码图像、帧或块在于所述处理器要解码第一子带。

在一个或多个第九实施例中，一种用于视频编码的计算机实现的方法包括：接收多个帧，其中所述多个帧中的一帧的至少一部分要被帧内编码，针对所述多个帧中的第一帧确定要针对第一帧执行基于小波分解的编码，并且针对所述多个帧中的第二帧确定要针对第二帧执行基于空间域的编码，将第二帧分割成用于预测的多个分割，将所述用于预测的分割与对应的预测分割进行求差以生成预测差值分割，以及将所述预测差值分割分割成多个变换分割，并且对第一帧执行小波分解以生成第一帧的多个子带，将所述多个子带中的第一子带分割成用于预测的多个第二分割，将所述用于预测的第二分割与对应的第二预测分割进行求差以生成第二预测差值分割，并将第二预测差值分割分割成多个第二变换分割，以及将所述多个子带中的至少第二子带分割成多个第三变换分割。

进一步关于第九实施例，用于预测的所述多个分割至少包括方形分割和矩形分割。

进一步关于第九实施例，所述方法还包括对所述多个变换分割中的至少第一变换分割执行自适应参数变换或自适应混合参数变换并对所述多个变换分割中的至少第二变换分割执行离散余弦变换，其中所述自适应参数变换或所述自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第九实施例，所述方法还包括对所述多个变换分割中的至少第一变换分割执行自适应参数变换或自适应混合参数变换并对所述多个变换分割中的至少第二变换分割执行离散余弦变换，其中所述自适应参数变换或所述自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵，其中第一变换分割小于第二变换分割。

进一步关于第九实施例，所述多个变换分割至少包括方形分割和矩形分割。

进一步关于第九实施例，所述方法还包括针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码。

进一步关于第九实施例，所述方法还包括：针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码，并将第三帧的第一贴片或块分割成用于预测的多个第三分割，将所述用于预测的第三分割与相关联的第三预测分割进行求差以生成第三预测差值分割，以及将第三预测差值分割分割成多个第三变换分割。

进一步关于第九实施例，所述方法还包括：针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码，并对第三帧的第一贴片或块执行小波分解以生成第二多个子带，将第二多个子带中的第一子带分割成用于预测的多个第三分割，将所述用于预测的第三分割与相关联的第三预测分割进行求差以生成第三预测差值分割，以及将第三预测差值分割分割成多个第三变换分割，以及将第二多个子带中的至少第二子带分割成多个第四变换分割。

进一步关于第九实施例，所述方法还包括：针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码，并对第三帧的第一贴片或块执行小波分解以生成第二多个子带，将第二多个子带中的第一子带分割成用于预测的多个第三分割，将所述用于预测的第三分割与相关联的第三预测分割进行求差以生成第三预测差值分割，以及将第三预测差值分割分割成多个第三变换分割，以及将第二多个子带中的至少第二子带分割成多个第四变换分割，其中对第一贴片或块的小波分解包括自适应小波分析滤波。

进一步关于第九实施例，小波分解包括基于第一帧的内容特性、目标比特率或包括目标比特率的应用参数中的至少一个的自适应小波分析滤波。

进一步关于第九实施例，小波分解包括基于第一帧的内容特性、目标比特率或包括目标比特率的应用参数中的至少一个的自适应小波分析滤波，并且所述自适应小波分析滤波包括从多个可用小波滤波器集合中选择所选小波滤波器集合。

在一个或多个第十实施例中，一种用于视频编码的系统包括：存储器，所述存储器要存储多个帧，其中所述多个帧中的一帧的至少一部分要被帧内编码；以及耦合到所述存储器的处理器，所述处理器要针对所述多个帧中的第一帧确定要执行基于小波分解的编码并且要针对所述多个帧中的第二帧执行基于空间域的编码，要将第二帧分割成用于预测的多个分割，要将所述用于预测的分割与对应的预测分割进行求差以生成预测差值分割，以及要将所述预测差值分割分割成多个变换分割，并且要对第一帧执行小波分解以生成第一帧的多个子带，要将所述多个子带中的第一子带分割成用于预测的多个第二分割，要将所述用于预测的第二分割与对应的第二预测分割进行求差以生成第二预测差值分割，并要将第二预测差值分割分割成多个第二变换分割，以及要将所述多个子带中的至少第二子带分割成多个第三变换分割。

进一步关于第十实施例，所述处理器还要对所述多个变换分割中的至少第一变换分割执行自适应参数变换或自适应混合参数变换并对所述多个变换分割中的至少第二变换分割执行离散余弦变换，其中所述自适应参数变换或所述自适应混合参数变换包括从与第一变换分割相邻的解码像素中推导出的基础矩阵。

进一步关于第十实施例，所述处理器还要针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码。

进一步关于第十实施例，所述处理器还要针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码，并要将第三帧的第一贴片或块分割成用于预测的多个第三分割，要将所述用于预测的第三分割与相关联的第三预测分割进行求差以生成第三预测差值分割，以及要将第三预测差值分割分割成多个第三变换分割。

进一步关于第十实施例，所述处理器还要针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码，并要对第三帧的第一贴片或块执行小波分解以生成第二多个子带，要将第二多个子带中的第一子带分割成用于预测的多个第三分割，要将所述用于预测的第三分割与相关联的第三预测分割进行求差以生成第三预测差值分割，以及要将第三预测差值分割分割成多个第三变换分割，以及要将第二多个子带中的至少第二子带分割成多个第四变换分割。

进一步关于第十实施例，所述处理器还要针对多个帧内帧中的第三帧确定要针对第三帧执行混合小波分析滤波和基于空间域的编码，并要对第三帧的第一贴片或块执行小波分解以生成第二多个子带，要将第二多个子带中的第一子带分割成用于预测的多个第三分割，要将所述用于预测的第三分割与相关联的第三预测分割进行求差以生成第三预测差值分割，以及要将第三预测差值分割分割成多个第三变换分割，以及要将第二多个子带中的至少第二子带分割成多个第四变换分割，其中对第一贴片或块的小波分解包括自适应小波分析滤波。

在一个或多个第十一实施例中，一种用于视频解码的计算机实现的方法包括：将比特流解复用成包括对应于第一帧的多个第一比特流以及对应于第二帧的第二比特流的多个比特流，其中第一比特流中的每一个与多个小波子带中的一子带相关联，其中第二比特流是基于空间域的编码比特流，对所述多个第一比特流进行解码以生成多个小波子带，对所述多个小波子带执行小波合成滤波以重构第一帧，以及使用基于空间域的解码来重构第二帧。

进一步关于第十一实施例，用于预测的多个分割至少包括方形分割和矩形分割。

进一步关于第十一实施例，所述方法还包括基于用于第三帧的混合小波合成滤波和基于空间域的编码来重构第三帧。

进一步关于第十一实施例，所述方法还包括基于用于第三帧的混合小波合成滤波和基于空间域的编码来重构第三帧，并且为第三帧的第一贴片或块生成第二多个子带并且对第二多个子带执行小波合成滤波以生成第三帧的至少一部分。

进一步关于第十一实施例，所述方法还包括基于用于第三帧的混合小波合成滤波和基于空间域的编码来重构第三帧，并且为第三帧的第一贴片或块生成第二多个子带并且对第二多个子带执行小波合成滤波以生成第三帧的至少一部分，其中第一贴片或块的小波合成滤波包括自适应小波分析滤波。

在一个或多个第十二实施例中，一种用于图像或视频解码的系统包括：存储器，所述存储器要存储比特流；以及耦合到所述存储器的处理器，所述处理器要将比特流解复用成包括对应于第一帧的多个第一比特流以及对应于第二帧的第二比特流的多个比特流，其中第一比特流中的每一个与多个小波子带中的一子带相关联，其中第二比特流是基于空间域的编码比特流，要对所述多个第一比特流进行解码以生成多个小波子带，要对所述多个小波子带执行小波合成滤波以重构第一帧，以及要使用基于空间域的解码来重构第二帧。

进一步关于第十二实施例，所述处理器还要基于用于第三帧的混合小波合成滤波和基于空间域的编码来重构第三帧。

进一步关于第十二实施例，所述处理器还要基于用于第三帧的混合小波合成滤波和基于空间域的编码来重构第三帧，并且要为第三帧的第一贴片或块生成第二多个子带并且要对第二多个子带执行小波合成滤波以生成第三帧的至少一部分。

进一步关于第十二实施例，所述处理器还要基于用于第三帧的混合小波合成滤波和基于空间域的编码来重构第三帧，并且要为第三帧的第一贴片或块生成第二多个子带并且要对第二多个子带执行小波合成滤波以生成第三帧的至少一部分，其中第一贴片或块的小波合成滤波包括自适应小波分析滤波。

在一个或多个第十三实施例中，至少一种机器可读介质可以包括多个指令，这多个指令响应于在计算设备上执行而使计算设备实行根据上述实施例中的任一个的方法。

在一个或多个第十四实施例中，一种装置或系统可以包括用于执行根据上述实施例中的任一个的方法或任何功能的部件。

将认识到的是，实施例不限于如此描述的实施例，而是可以在有修改和变更的情况下进行实践而不脱离所附权利要求的范围。例如，以上实施例可能包括特征的特定组合。然而，上述实施例在这方面不受限制，并且在各种实现方式中，上述实施例可以包括仅承继此类特征的子集、承继不同顺序的此类特征、承继此类特征的不同组合和/或承继除了明确列出的特征之外的附加特征。因此，实施例的范围应当参考所附权利要求以及这些权利要求所享有的等同物的全部范围来确定。

Claims (17)

1.一种用于图像或视频编码的计算机实现的方法，包括：

接收用于帧内编码的原始图像、帧或帧的块；

将原始图像、帧或块分割成包括方形和矩形分割的多个变换分割，其中所述变换分割至少包括尺寸为4x 4的第一变换分割、第一维度为8且第二维度为4或8的第二变换分割以及第一维度不小于16的第三变换分割；

通过以下步骤确定每个变换分割的变换类型：

响应于尺寸为4x 4的第一变换分割，针对第一变换分割在所有离散余弦变换、自适应参数变换或自适应混合参数变换、以及离散正弦变换中进行选择；

响应于第一维度为8且第二维度为4或8的第二变换分割，针对第二变换分割仅在离散余弦变换和自适应参数变换或自适应混合参数变换中进行选择；以及

响应于第一维度不小于16的第三变换分割，针对第三变换分割选择离散余弦变换；以及

对每个变换分割执行所选择的变换类型，以产生对应的多个变换系数分割，其中自适应参数变换或自适应混合参数变换包括从与对应的变换分割相邻的解码像素推导出的基础矩阵。

2.根据权利要求1所述的方法，其中，所述帧内编码包括DC预测模式、平面预测模式和不少于五个方向性预测模式。

3.根据权利要求1所述的方法，其中，所述帧内编码包括不具有空间预测的帧内编码。

4.根据权利要求1所述的方法，还包括：

量化所述多个变换系数分割以产生量化的变换系数分割；以及

将量化的变换系数分割扫描和熵编码成比特流。

5.根据权利要求1所述的方法，还包括：

将原始图像、帧或块分割成用于预测的多个分割，其中该分割限于仅分割成用于预测的方形分割。

6.根据权利要求5所述的方法，还包括：

将用于预测的每个分割与对应的预测分割进行求差，以生成对应的预测差值分割，其中变换分割包括预测差值分割的分割，并且其中变换分割相对于其对应的预测差值分割具有相等或更小的尺寸。

7.根据权利要求1所述的方法，其中，变换分割包括原始图像、帧或块的分割。

8.一种用于图像或视频解码的计算机实现的方法，包括：

接收用于帧内解码的包括方形和矩形分割的多个变换系数分割，其中所述变换系数分割至少包括尺寸为4x 4的第一变换系数分割、第一维度为8且第二维度为4或8的第二系数变换分割以及第一维度不小于16的第三变换系数分割；

通过以下步骤确定每个变换系数分割的逆变换类型：

响应于尺寸为4x 4的第一变换系数分割，针对第一变换系数分割在所有逆离散余弦变换、逆自适应参数变换或逆自适应混合参数变换、以及逆离散正弦变换中进行选择；

响应于第一维度为8且第二维度为4或8的第二变换系数分割，针对第二变换系数分割仅在逆离散余弦变换和逆自适应参数变换或逆自适应混合参数变换中进行选择；以及

响应于第一维度不小于16的第三变换系数分割，针对第三变换系数分割选择逆离散余弦变换；

对每个变换系数分割执行所选择的逆变换类型，以产生对应的多个变换分割，其中逆自适应参数变换或逆自适应混合参数变换包括从与对应的变换系数分割相邻的解码像素推导出的基础矩阵；以及

至少部分地基于变换分割来生成解码图像、帧或块。

9.根据权利要求8所述的方法，其中，所述帧内解码包括DC预测模式、平面预测模式和不少于五个方向性预测模式。

10.根据权利要求8所述的方法，其中，所述帧内解码包括不具有空间预测的帧内解码。

11.根据权利要求8所述的方法，其中，多个变换分割包括第一和第二变换分割，所述方法还包括：

将每个变换分割与对应的预测分割相加，以生成重构分割；

组装重构分割；以及

对重构分割执行去块滤波或去振铃，以生成重构的帧。

12.一种用于图像或视频解码的系统，包括：

存储器，其要存储用于帧内解码的包括方形和矩形分割的多个变换系数分割，其中所述变换系数分割至少包括尺寸为4x 4的第一变换系数分割、第一维度为8且第二维度为4或8的第二系数变换分割以及第一维度不小于16的第三变换系数分割；以及

耦合到存储器的处理器，所述处理器要：

通过如下配置处理器来确定每个变换系数分割的逆变换类型：

响应于尺寸为4x 4的第一变换系数分割，针对第一变换系数分割在所有逆离散余弦变换、逆自适应参数变换或逆自适应混合参数变换、以及逆离散正弦变换中进行选择；

响应于第一维度为8且第二维度为4或8的第二变换系数分割，针对第二变换系数分割仅在逆离散余弦变换和逆自适应参数变换或逆自适应混合参数变换中进行选择；以及

响应于第一维度不小于16的第三变换系数分割，针对第三变换系数分割选择逆离散余弦变换；

对每个变换系数分割执行所选择的逆变换类型，以产生对应的多个第一和第二变换分割，其中逆自适应参数变换或逆自适应混合参数变换包括从与对应的变换分割相邻的解码像素推导出的基础矩阵；以及

至少部分地基于变换分割来生成解码图像、帧或块。

13.根据权利要求12所述的系统，其中，所述帧内解码包括DC预测模式、平面预测模式和不少于五个方向性预测模式。

14.根据权利要求12所述的系统，其中，所述帧内解码包括不具有空间预测的帧内解码。

15.根据权利要求12所述的系统，其中，处理器还要：

将每个变换分割与对应的预测分割相加，以生成重构分割；

组装重构分割；以及

对重构分割执行去块滤波或去振铃，以生成重构的帧。

16.至少一个机器可读介质，其上存储有多个指令，响应于在计算装置上执行所述多个指令而使得计算装置实行根据权利要求1至11中的任一项所述的方法。

17.一种用于图像或视频编码的设备，包括：

用于执行根据权利要求1至11中的任一项所述的方法的部件。