CN117716689A - 用于abt的vvc规范性和编码器侧适配 - Google Patents

Abstract

一些ABT分割系列被规范地禁止，以便以改进经允许的分割系列的量与压缩效率之间的权衡的方式来限制经允许的分割系列的数目。具体地，在用于最佳块分区的速率失真搜索中，在经允许的分割系列方面减少的组合会导致编码器侧复杂性降低。规范性分割限制规定，当相继地使用水平或竖直非对称分割和竖直或水平非对称分割时，所考虑的连续两个分割会导致隔离输入块的子区域，该子区域在宽度和高度上是父块的大小的四分之三。附加实施方案关于变换大小、块大小和切片的时间层和切片类型来调节所允许的分割。

Description

用于ABT的VVC规范性和编码器侧适配

技术领域

本实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码、压缩或解压缩的方法或装置。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

发明内容

本实施方案中的至少一个实施方案整体涉及一种用于视频编码或解码的方法或装置，并且更具体地涉及一种将非对称二进制树与基于子块的编码工具一起使用的方法或装置，如在VVC(通用视频编码或H.266)标准中。

根据第一方面，提供了一种方法。该方法包括以下步骤：确定用于对父编码单元进行编码的分割模式；确定该父编码单元的子块的索引；基于包括用于父编码单元的分割模式和父编码单元的子块的索引在内的因素来确定是否允许分割模式；以及使用所允许的分割模式对父编码单元进行编码。

根据第二方面，提供了一种方法。该方法包括以下步骤：确定用于对父编码单元进行解码的分割模式；确定该父编码单元的子块的索引；基于包括用于父编码单元的分割模式和父编码单元的子块的索引在内的因素来确定是否允许分割模式；使用所允许的分割模式对父编码单元进行解码。

根据另一方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一种来对视频块进行编码或对比特流进行解码。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；和(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所描述的解码实施方案或变体中的任一者。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

图1示出了用于表示压缩HEVC图片的编码树单元和编码树概念。

图2示出了编码树单元分成编码单元、预测单元和变换单元的示例性划分。

图3示出了将编码单元分区成预测单元。

图4示出了四叉树加二进制树(QTBT)CTU表示的示例。

图5示出了水平(左)和竖直(右)三叉树编码单元分割模式。

图6示出了在描述中考虑的视频编码方案中支持的所有编码单元分割模式的集合。

图7示出了由ABT(非对称二进制树)编码工具引入的附加CU二进制非对称分割模式。

图8示出了一组扩展的可能CU分割模式，包括水平和竖直三叉树分割模式。

图9示出了经选择以对示例性图片进行编码的编码结构的示例，其包括CTU的四叉树分解和嵌入到四叉树中的二进制树分解。

图10示出了标准的通用视频压缩方案。

图11示出了标准的通用视频解压缩方案。

图12示出了避免非对称二进制树和对称二进制树之间的冗余的限制。

图13示出了如JVET-J0022中所述的经允许的和未经允许的分割系列。

图14示出了根据本实施方案的经允许的和未经允许的非对称分割系列。

图15示出了根据本实施方案的经允许的和未经允许的分割模式的推导。

图16示出了用于基于所考虑的切片/图片中的经允许的和未经允许的变换大小来不允许一些ABT分割的所提出的过程。

图17示出了根据本实施方案的基于maxAbtSize的未经允许的分割模式的推导。

图18示出了根据VVC规范的经允许的分割(左)和未经允许的分割(右)，以遵守VPDU约束。

图19示出了在以双树模式编码的帧内切片的情况下，在VVC中用于LMCS色度缩放因子计算的亮度分量模板。

图20示出了在所提出的实施方案中的修改模板，该修改模板用于在以双树模式编码的帧内切片的情况下计算LMCS色度缩放因子。

图21示出了用于在双树模式的情况下确定用于计算LMCS色度缩放参数的亮度模板的大小的所提出的过程。

图22示出了VVC参考软件中存在的用于使专用于TT分割的速率失真搜索加速的编码器侧加速。

图23示出了用于ABT速率失真搜索的所提出的编码器侧加速。

图24示出了按照一般描述方面的方法的一个实施方案。

图25示出了按照一般描述方面的方法的另一个实施方案。

图26示出了按照所描述的方面的示例性装置。

图27示出了按照一般描述方面的用于编码/解码的基于处理器的系统。

图28示出了可重叠2个不同的变换单元的4-亮度样本竖直或水平边缘。

图29示出了以2个样本长的竖直和水平边缘为基础的去块滤波过程。

具体实施方式

本文描述的实施方案在视频压缩领域中，并且一般涉及视频压缩以及视频编码和解码，更具体地涉及旨在与现有标准视频压缩系统相比提高压缩效率的实施方案。

为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

在HEVC(高效视频编码，ISO/IEC 23008-2，ITU-T H.265)视频压缩标准中，图片被划分为所谓的编码树单元(CTU)，其具有64×64、128×128或256×256的典型大小。

每个编码树单元(CTU)由压缩域中的编码树表示。如图1所示，这是CTU的四叉树划分，其中每个叶称为编码单元(CU)。

然后，每个CU被给出一些帧内或帧间预测参数(预测信息)。为此，在空间上将其分区为一个或多个预测单元(PU)，每个PU被分配一些预测信息。运动向量与每个预测单元(PU)相关联。如图2所示，在CU级别上分配帧内或帧间编码模式。

编码单元到预测单元的分区是根据在比特流中发信号通知的分区类型来完成的。对于帧内编码单元，仅使用图3所示的分区类型2N×2N和N×N。这意味着在帧内编码单元中仅使用正方形预测单元。

相反，帧间编码单元可以使用图3所示的所有分区类型。

根据HEVC标准，编码单元还遵循“变换树”以递归方式划分为所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶子。变换单元封装对应于所考虑的正方形空间区域的每个图片分量的正方形变换块。变换块是单个分量中的样本的正方形块，其中应用相同的变换。

VVC的新兴视频压缩工具包括压缩域中的编码树单元表示，以便在压缩域中以更灵活的方式表示图片数据。编码树的这种灵活表示的优点在于，与HEVC标准的CU/PU/TU布置相比，其提供增加的压缩效率。

四叉树加二进制树(QTBT)编码工具提供此增加的灵活性。其包含在编码树中，其中编码单元可以四叉树和二进制树方式分割。图4中示出了编码树单元的此类编码树表示。

决定通过速率失真优化程序在编码器侧上分割编码单元，该速率失真优化程序在于以最小速率失真成本确定CTU的QTBT表示。

在QTBT技术中，CU具有正方形或矩形形状。编码单元的大小始终为2的幂，并且通常从4到128。

除了该编码单元的各种矩形形状，该新的CTU表示与HEVC相比具有以下不同特性。

·CTU的QTBT分解由两个阶段组成：首先，以四叉树方式分割CTU，然后，可以以二进制方式进一步划分每个四叉树叶。这在图4的右侧示出，其中实线表示四叉树分解阶段，并且虚线表示在空间上嵌入四叉树叶中的二进制分解。

·在切片内，亮度和色度块分区结构被分离并被独立地决定。

·不再采用分区成预测单元或变换单元的CU。换句话说，每个编码单元系统地由单个预测单元(先前的2N×2N预测单元分区类型)和单个变换单元(不划分成变换树)构成。

·对于VVC草案6中的大多数编码单元，对于大多数CU编码模式，不再采用分区成预测单元或变换单元的CU。换句话说，每个编码单元系统地由单个预测单元(2N×2N预测单元分区类型)和单个变换单元(不划分成变换树)构成。这对于所有VVC编码单元均成立，除了在VVC草案6的4个特定编码模式中，其中应用以下PU或TU分区。

ο在宽度或高度大于64的CU的情况下，执行将CU平铺为大小等于所支持的最大变换大小的TU。典型地，最大变换大小可以等于64。

ο在以ISP(帧内子分区)模式编码的帧内CU的情况下，根据所使用的ISP模式的类型和CU的形状，将CU分割成2个或4个变换单元。

ο在以SBT(子块变换)模式编码的帧间CU的情况下，将CU分割成2个变换单元，所得TU中的一个TU必然具有等于零的残差数据。

ο在以三角形预测合并(TPM)模式编码的帧间CU的情况下，CU由2个三角形预测单元组成，每个PU被分配有其自身的运动数据。

·VVC(通用视频编码)视频压缩标准中采用的附加CU分割模式(被称为水平三叉树分割模式或竖直三叉树分割模式)包括将编码单元(CU)划分成3个子编码单元(子CU)，其中，在所考虑的空间划分方向上，相应的大小等于父CU大小的1/4、1/2和1/4。这在图5中示出。

图6中示出了此类编解码器中存在的CU分割模式的完整集合。

在另一公开中，提出引入具有新矩形形状的编码单元，这是由被称为非对称分割模式的新二进制分割模式产生的。

这意味着添加了新的矩形CU形状。这些新形状在宽度和/或高度上的大小等于3·2ⁿ。此外，具有在宽度或高度上为3的倍数的大小的CU可进一步以二进制方式水平地或竖直地分割。

因此，具有大小(w,h)(宽度和高度)的正方形编码单元将通过所提出的非对称二进制分割模式中的一个非对称二进制分割模式(例如，HOR_UP(水平向上))被分割，这将引起具有相应矩形大小和/>的2个子编码单元。

当使用来自VVC的所有分割模式和所有ABT(非对称二进制树)分割模式时，在图8中给出了在设想的编码方案中支持的可能分区的集合。三叉树在于在所考虑的取向上将CU分割成相对于父CU具有大小(1/4、1/2、1/4)的树子CU。

图9示出了由编码器选择的编码单元。可以看出，在该示例性图片中经常使用三叉树和非对称二进制树分割模式。还注意到，这些附加编码单元拓扑有助于具有与包含在原始信号中的结构和不连续在空间上匹配的编码结构。

当在VVC草案10压缩系统之上引入非对称二进制树(ABT)分割模式时，所描述的实施方案提出了一些VVC编码工具的一些适配。

这些适配包括ABT与VTM中包含的编码工具的协同作用，这些编码工具不包含在JEM3、JVET-J0022中包含的编码方案中。

由所描述的实施方案解决的一个问题是调整一些VVC规范性和非规范性方面，以便当在编码的VVC之上引入ABT时优化复杂性/压缩效率权衡。

本说明书提出了与ABT分区的管理相关的几个方面，包括规范性方面和非规范性方面。所提出的适配的列表包括：

-对一些连续的ABT分割的规范性或非规范性限制。

-与ABT分区有关联的受支持的变换大小的规范性或非规范性配置。

-增加的语法，以支持允许ABT分割的最大块大小和相关联的语义的规范。

-用于LMCS色度缩放参数推导的经调整规范性规则。

-与相比于VVC增加的最大变换大小有关联的经调整规范性规则。

-编码器侧用于绕过一些ABT分割评估的新速率失真搜索方法，以优化编码器侧复杂性与压缩效率之间的权衡。

图10和图11的受影响模式包括，受影响编码器模块是图10的编码模块102、125、130、160、170。受影响的解码器模块是图11的解码模块230、235、240、250、260和275。

对ABT使用的规范性限制/配置

本节描绘了一个实施方案，以在使用ABT分割时进一步改进复杂性和编码效率之间的权衡。

首先，如JVET-J0022贡献中所描绘的，BT(二进制树)分割、TT(三叉树)分割和ABT(非对称二进制树)分割之间的一些连续分割模式被规范地禁止，因为它们导致与在所考虑的图片区域中的一些经允许的连续分割严格相同的块划分。在图12和图13中描述了如JVET-J0022中所述的禁止和允许的连续分割。

在本实施方案中，一些附加ABT分割系列被规范地禁止。原理是以改进经允许的分割系列的量与压缩效率之间的权衡的方式来限制经允许的分割系列的数目。具体地，在用于最佳块分区的速率失真搜索中，在经允许的分割系列方面减少的组合会导致编码器侧复杂性降低。当前规范性分割限制的原理是，当相继地使用水平(或者是竖直)非对称分割和竖直(或者是水平)非对称分割时，所考虑的连续2个分割会导致隔离输入块的子区域，该子区域在宽度和高度上是父块的大小的3/4。这在图14中示出。可以看出，两种隔离方式是可能的，即，首先水平地分割父块，或者首先竖直地分割父块。所提出的实施方案在于规范地禁止这两种方式中的一种，假设它们在给定块中的子区域隔离方面起类似作用。

根据本实施方案的示例性禁止的分割系列在图14中被划掉。

图15示出了根据本实施方案的用于不允许一些ABT分割模式的推导过程。该过程的输入是当前CU和通向该CU的相关联编码树。前两个步骤在于，在父CU的分割中获得当前CU的父CU的分割模式和当前CU的索引。通常，该索引currSubIdx在当前CU是父CU的按扫描顺序的第一子CU的情况下等于0，并且在当前CU是父CU的按扫描顺序的第二子CU的情况下等于1。下一步骤测试表示为parentSplitMode的父分割模式是否等于HOR_DOWN以及currSubIdx是否等于0，然后分割模式VER_LEFT被规范地禁止用于当前CU。这对应于图14左侧的第一未经允许的分割模式。

类似地，下一步骤测试parentSplitMode是否等于VER_LEFT以及currSubIdx是否等于1。如果是，则分割模式HOR_UP被规范地禁止用于当前CU，对应于图14中的第二未经允许的分割。

类似地，下一步骤测试parentSplitMode是否等于HOR_UP以及currSubIdx是否等于1。如果是，则分割模式VER_RIGHT被规范地禁止用于当前CU，对应于图14中的第三未经允许的分割。

类似地，下一步骤测试parentSplitMode是否等于VER_RIGHT以及currSubIdx是否等于0。如果是，则分割模式HOR_DOWN被规范地禁止用于当前CU，对应于图14中的第三未经允许的分割。

变体：仅编码器侧非规范性过程

在如前所述的本实施方案中，所描述的不允许一些ABT分割模式的规则是规范性的，即在编码器和解码器上以完全相同的方式被遵守。

在变体中，用于禁用一些ABT分割系列的上述规则可仅应用于编码器侧，以限制在速率失真优化过程期间所考虑的分割系列的量。该变体的优点在于降低了编码器侧的复杂性，并且在解码器侧不需要支持附加逻辑。缺点是与第一变体相比编码效率较低，这是因为在比特流中发信号通知了一些冗余分割信息。

对变换大小使用的规范性限制/配置

在VVC的QTBT+TT分区构架中，ABT分区的使用会诱导多个附加变换大小的使用。通常，所添加的变换大小具有以下形式：3×2ⁿ,n＝1,…,5。如果支持所有这些变换大小，则意味着允许变换大小6、12、24、48、96。在CTU大小扩展到256(这对于超越VVC的下一代视频压缩标准是现实的)的情况下，还可支持变换大小192。

在编解码器中引入所有这些变换大小的缺点是，除了增加存储器消耗之外，还增加了对于CTU的最佳分区的编码器速率失真搜索的组合。因此，在编码器侧复杂性方面，增加的压缩可能带来显著的代价。

因此，本实施方案的目的是改进由ABT带来的压缩效率增加与编码器侧复杂性之间的权衡。

为此，根据第一变体，不支持变换大小96。这意味着对于在竖直或水平方向上大小为128的矩形块，在该方向上不允许ABT分割。相反，如果在另一方向上块大小低于128，则可在该另一方向上允许ABT分割。

根据又一变体，变换大小(因此CU大小48)被规范地禁止。这意味着对于在竖直或水平方向上大小为64的矩形块，在该方向上不允许ABT分割。相反，如果块大小在另一方向上不同于64，则可在该另一方向上允许ABT分割。

根据又一变体，变换大小(因此CU大小24)被规范地禁止。这意味着对于在竖直或水平方向上大小为32的矩形块，在该方向上不允许ABT分割。相反，如果块大小在另一方向上不同于32，则可在该另一方向上允许ABT分割。

根据又一变体，变换大小(因此CU大小12)被规范地禁止。这意味着对于竖直或水平方向上大小为16的矩形块，在该方向上不允许ABT分割。相反，如果块大小在另一方向上不同于16，则可在该另一方向上允许ABT分割。

图16描绘了根据该实施方案的不允许分割模式的过程。

根据又一实施方案，一些ABT变换块大小的激活/去激活可在一些高级语法元素中被规范地配置。

例如，可在SPS(序列参数集)中发信号通知块大小12、24、48、96的激活/去激活。这通常可采取与每个块大小12、24、48和96相关联的标志的形式。

根据又一变体，ABT块大小的激活/去激活可被规范地配置用于已编码比特流中包含的每个时间层。这可采取指示对于每个时间层使用每个变换大小的一系列标志的形式。然后，在切片或图片的编码或解码期间，编码器或解码器基于切片或图片所属的时间层而知道在所考虑的切片或图片中允许哪些变换大小。

根据又一变体，ABT块大小的激活/去激活可被规范地配置用于已编码比特流中包含的每个切片类型(帧内切片、B切片)。这可采取指示对于每个切片类型使用每个变换大小的一系列标志的形式。

变体：仅编码器侧非规范性过程

在如前所述的本实施方案中，根据所支持的变换大小(任选地基于正被编码/解码的切片的时间层或基于切片类型)不允许一些ABT分割模式的所描述的规则是规范性的，即在编码器和解码器上以完全相同的方式被遵守。

在变体中，用于配置所支持的变换大小以及相关联地根据当前块宽度或高度、时间层或切片类型禁用一些ABT分割模式的上述规则可仅应用于编码器侧，以限制在速率失真优化过程期间所考虑的分割系列的量。该变体的优点在于降低了编码器侧的复杂性，并且在解码器侧不需要支持附加逻辑。缺点是与第一变体相比编码效率较低，这是因为在比特流中发信号通知了一些冗余分割信息。

又一实施方案：最大ABT大小编码参数

根据又一实施方案，当在所考虑的比特流中使用双树时，引入专用于ABT分区的语法元素(类似于VVC语法元素sps_log2_diff_max_bt_min_qt_intra_slice_luma和sps_log2_diff_max_tt_min_qt_intra_slice_luma)，以规范地配置分区在帧内切片的亮度分量中的ABT的使用。这采取语法元素sps_log2_diff_max_abt_min_qt_intra_slice_luma的形式，其在语法元素sps_log2_diff_max_tt_min_qt_intra_slice_luma之后发信号通知。

其中MinQtLog2SizeY是可从四叉树分割获得的最小CU大小的log2。类似地，语法元素sps_log2_diff_max_abt_min_qt_intra_slice_chroma和sps_log2_diff_max_abt_min_qt_inter_slice。

表1示出了经修改的SPS语法结构。

表1：根据本实施方案的经修改的序列参数集

另外，类似于在VVC中指定的图片标头中的最大二进制树(BT)大小和最大三叉树(TT)大小信令，可将以下语法元素添加到图片标头语法。

-ph_log2_diff_max_tt_min_qt_intra_slice_luma

-ph_log2_diff_max_abt_min_qt_intra_slice_chroma

-ph_log2_diff_max_tt_min_qt_inter_slice

以与BT和TT最大大小相关的语法元素相同的方式，如果在比特流中不存在，则推断这3个语法元素等于它们各自的SPS级对应物。

表2中描绘了如此修改的图片标头语法结构。

表2：根据本实施方案的经修改的图片标头语法结构

因此，在用双树编码的帧内图片的亮度分量中的最大ABT大小、在用双树编码的帧内图片的色度分量中的最大ABT大小为

MaxAbtSizeY＝1<<(MinQtLog2SizeY+ph_log2_diff_max_abt_min_qt_intra_slice_luma)

MaxAbtSizeC＝1<<(MinQtLog2SizeC+ph_log2_diff_max_abt_min_qt_intra_slice_chroma)

在帧间图片中，如下导出最大ABT大小。

MaxAbtSizeY＝1<<(MinQtLog2SizeY+ph_log2_diff_max_abt_min_qt_inter_slice)

MaxAbtSizeC＝1<<(MinQtLog2SizeC+ph_log2_diff_max_abt_min_qt_inter_slice)

在语义方面，类似于BT或TT的情况，最大Abt大小被定义为允许ABT分割的最大CU大小(在宽度或高度上)。这意味着如果CU宽度或CU高度高于最大ABT大小，则在CU中不允许ABT分割。

又一实施方案：经修改的最大ABT大小规范

根据又一变体，如下定义最大ABT大小参数的语义。

如果当前CU属于在双树中编码的切片的色度分量，则将MaxAbtSize定义为MaxAbtSizeC，否则等于MaxAbtSizeY。

如果当前CU的宽度高于MaxAbtSize，则不允许任何竖直ABT分割。如果当前CU的高度高于MaxAbtSize，则不允许任何水平ABT分割。

图17中描绘了这样提出的过程，该过程用于根据maxAbtSize参数规范地不允许竖直或水平ABT分割。

LMCS参数推导的规范性规则

VVC视频编码标准被设计成使得图片的解码能够以64×64亮度样本块为基础来进行，也就是说，包含在64×64亮度区域中的所有样本和包含在对应的32×32色度区域中的样本可在开始对图片中的下一个64×64/32×32亮度/色度区域进行解码之前被完全重建。此类64×64/32×32亮度/色度区域被称为虚拟流水线解码单元(VPDU)。因此，设计VVC架构时所考虑的规则是以下两个规则：

-如果CU包含至少一个VPDU，则其必须包含一个或几个完整的VPDU

-如果VPDU包含至少一个CU，则其必须包含一个或几个完整的CU。

换句话说，CU被完全包含在VPDU中或包含完整的VPDU。以相同方式，VPDU被完全包含在CU中或包含一个或多个完整的CU。

这些规则导致对经允许的和未经允许的分割模式的一些约束，如图18所示。基本上，BT分割在大小为128×64和64×128的块中被规范地禁止。此外，TT分割在大小为128×128、128×64和64×128的块中被规范地禁止。

在本公开的实施方案中，出于压缩效率的原因，maxABTSize参数被设置为大于64×64的值。类似地，maxBTSize和maxTTSize参数被设置为大于64×64的值，这打破了VVC的64×64/32×32VPDU概念。

实际上，在VVC中，一些编码工具(比如LMCS(具有色度缩放的亮度映射))以VPDU为基础(即，以64×64亮度区域为基础)进行。LMCS在于对块的亮度样本进行重新整形，即，其通过所谓的亮度查找表对亮度样本中的每个亮度样本应用单调增长函数。其还通过从当前CU周围的模板区域中的重建亮度样本导出的乘法因子来重新缩放色度分量样本。在VVC中，在利用分离的亮度编码树和色度编码树(称为双树模式)编码的切片的情况下，该模板被设置为当前CU所属的VPDU(即，64×64亮度区域)周围的顶部和左侧重建亮度样本的集合。

然而，由于最大BT大小、最大TT大小以及可能的最大ABT大小可被设置为大于64的值，所以用于计算色度缩放因子的该基于VPDU的亮度模板可能不再有效。

因此，需要LMCS色度缩放因子推导的适配。为此，在其上计算平均重建亮度的模板区域可存在于当前CU所属的128×128亮度区域周围的顶部和左侧样本中。

然而，如果最大变换大小低于128(通常是64)并且最大TT和ABT大小为至多64，则在其上计算色度缩放因子的亮度块面积可保持等于64×64。

此外，为了实现压缩效率与复杂性之间的良好权衡，使用小于或等于64的最大BT、TT和ABT大小可能是令人感兴趣的，尤其是对于低分辨率视频内容。在该情况下，计算LMCS色度缩放参数时所考虑的区域大小可被设置为64×64而不是128×128。

因此，在该实施方案中提出的过程在于根据最大变换块大小参数、最大ABT大小参数和最大TT大小参数来动态地更改在LMCS中考虑的VPDU大小。

与扩展到128的最大变换大小有关的规范性规则

在本节中，提出了用于优化编码效率与编码器侧复杂性之间的权衡的一些规范性实施方案。

本节中提出的实施方案的原理是，对于高分辨率序列，允许比64更大的变换块大小是有帮助的，64是VVC标准所支持的最大变换大小。然而，对于低分辨率内容，对较大块大小的支持可能导致无用的附加编码器复杂性。对于低分辨率序列，已经观察到，可通过保持有限的最大块大小来获得编码效率与编码器侧复杂性之间的更好权衡。

具体地，在VVC中，由于之前已经呈现的VPDU概念，在使用分离的亮度/色度编码树的帧内切片中，在VVC中，如果分割128×128CTU，则在亮度分量和色度分量两者中系统地应用四叉树分割。这意味着亮度和色度编码树仅与对应于四叉树节点的编码树节点分离，该四叉树节点具有对应于64×64/32×32亮度/色度块区域的四叉树深度级别。已经观察到，移除该规范性规则会在CTU的分割中为编码器提供更大的自由度，但该增加的自由度会导致编码器复杂性更高，对于低分辨率视频内容，编码效率的增加非常有限。

因此，在实施方案中提出了例如通过四叉树节点大小参数以可配置的四叉树节点大小从联合亮度/色度编码树切换到双编码树。

在特定实施方案中，使用最大变换块大小来确定编码树从联合亮度/色度树切换到分离的亮度/色度编码树时的四叉树节点大小。因此，该实施方案涉及与VVC标准规范相比经修改的dual_tree_implicit_qt_split语法结构，如表3所描绘的。

表3：根据本实施方案的经修改的dual_tree_implicit_qt_split

此外，引入大于64的最大变换大小也可导致VVC规范中的进一步规范性修改，这在下面列出

-关于SBT(子块变换)编码工具，其在于将经帧间编码的CU分割成两个TU，允许SBT的最大CU大小在宽度和高度上被固定为最大变换大小。在该实施方案中，提出将最大SBTCU大小固定为min(64,maxTbSize)，即无论最大变换大小值如何，其都应为至多64。其优点在于，通过允许要在CU中使用的SBT工具在宽度或高度上严格大于64，可预期压缩效率的提高较低。表4中以阴影示出了根据本实施方案对编码单元语法结构所做的修改。

表4：如在本实施方案中提出的对VVCcoding_unit语法结构的修改

根据对VVC规范的进一步规范性修改，SPS级别标志指示在已编码比特流中使用的最大变换大小。在VVC规范中，SPS标志指示最大变换大小是否为64或32。在此，提出将该标志改变为指示最大变换大小是否等于128或64的标志。表5中示出了对SPS语法表所做的修改。

表5：本实施方案中提出的最大变换大小信令

/>

最后，关于允许或禁用帧内编码单元的基于矩阵的帧内预测(MIP)，对VVC规范进行最后修改。

在VVC中，无论最大变换大小如何，都允许MIP高达64×64块大小。在该实施方案中，提出允许MIP高达最大变换大小。这意味着可允许MIP高达块大小128×128。

与以SBT模式编码的非二元CU有关的规范性过程

根据一个实施方案，可利用上面介绍的SBT(子块变换)模式对从大小可能等于12的非对称分割发出的编码单元进行编码。

在该情况下，由CU的SBT分区产生的TU可具有在宽度或高度上等于6个亮度样本的大小，或在宽度或高度上等于3个亮度样本的大小。

为了适当地支持此类TU大小，调整VVC的去块滤波过程。实际上，在VVC中，去块滤波过程以4×4块为基础进行。对于4个亮度样本长的每一竖直和水平潜在块边界，确定在所考虑的竖直或水平潜在块边缘处是否应用去块滤波过程。

为此，测试所考虑的边缘是否在两个已编码块(CU或TU)之间的边界处，并且如果是，则根据各种编码参数来确定去块滤波器的强度。这些编码参数可以是两个块中的每个块的相应QP(量化参数)、两个相邻块的编码模式(帧内、帧间)以及可能两个相邻块的运动向量。

关于亮度分量中的大小为6的变换单元，以4-亮度样本边缘为基础实现的VVC去块过程不再适用，因为4-亮度样本竖直或水平边缘可重叠2个不同的TU。这在图28中示出。

为了解决在大小为6的TU的情况下的这种不当去块滤波问题，提出以2个样本长的竖直和水平边缘为基础来实现去块滤波过程。该经修改的去块滤波过程在图29中示出。因此，由于新提出的去块过程在图片中的每一2个样本长的竖直和水平边缘上实现循环，所以大小不同于4的倍数(例如6)的TU的边缘由去块滤波级适当地处理。

此外，在变体中，可规范地允许将大小为12的CU进行SBT分割成具有分割比率(1/4,3/4)的TU。在这些情况下，这可产生大小为3的已编码TU。在这些情况下，去块滤波过程可应用于1个样本长的竖直和水平边缘而非2个样本长的边缘。

用于ABT的编码器侧快速速率失真搜索方法

提出的第一编码器侧加速

本节描述了又一实施方案，旨在快速决定ABT分区的速率失真。

首先，根据一个实施方案，根据在要编码的原始块中测量的一些空间活动，可绕过竖直ABT候选分割模式或水平ABT候选分割模式的速率失真评估。

为此，在原始块中如下计算以下水平、竖直、向下和向上的活动：

-

-

-

-

其中block(j,k)表示所考虑的编码单元中的空间位置(j,k)处的原始样本值，并且th在帧内周期不同于1的情况下为等于1的恒定值，否则为1.2。

在VVC参考软件中，如果以下条件为真，则在编码器侧速率失真搜索中绕过水平BT和TT分割模式：

horAct>th×verAct并且horAct.√2>th×downAct并且horAct.√2>th×upAct

根据本实施方案，如果上述条件为真，则在编码器侧速率失真搜索中也绕过两个水平ABT分割模式(HOR_UP和HOR_DOWN)。

此外，在VVC参考软件中，如果以下条件为真，则在编码器侧速率失真搜索中绕过水平BT和TT分割模式：

verAct>th×horAct并且verAct.√2>th×downAct并且verAct.√2>th×upAct

根据本实施方案，如果上述条件为真，则在编码器侧速率失真搜索中也绕过两个竖直ABT分割模式(VER_UP和VER_DOWN)。

提出的第二编码器侧加速

在VVC参考软件中，使用编码器加速方法来绕过水平TT分割和竖直TT分割的速率失真评估，其进行如下。

对于大小为(宽度,高度)的正在处理的当前CU，以下内容适用。

如果刚刚评估了水平BT分割并且速率失真搜索导致当前CU的划分，其中第一子CU或最后一个子CU具有低于高度/2的高度，并且如果当前CU的当前多类型树深度等于(maxMtDepth-1)，则速率失真搜索不评估水平TT分割。在此，maxMtDepth是当前编码树的最大经允许的多类型树深度。

类似地，如果刚刚评估了竖直CU分割并且速率失真搜索导致当前CU的块划分，其中第一子CU或最后一个子CU具有低于宽度/2的宽度，并且如果当前CU的当前多类型树深度等于(maxMtDepth-1)，则速率失真搜索不评估竖直TT分割。

在本实施方案中，上述方法适用于如下的ABT分割。其原理如图23所示。

如果刚刚评估了水平BT或TT分割并且速率失真搜索导致当前CU的划分，其中第一子CU具有低于高度/2的高度，并且如果当前CU的当前多类型树深度等于(maxMtDepth-1)，则对于当前CU，速率失真搜索不评估ABT分割模式HOR_DOWN分割。参见图23的第一示例。

如果刚刚评估了水平BT或TT分割并且速率失真搜索导致当前CU的划分，其中最后一个子CU具有低于高度/2的高度，并且如果当前CU的当前多类型树深度等于(maxMtDepth-1)，则对于当前CU，速率失真搜索不评估ABT分割模式HOR_UP分割。参见图23的第二示例。

如果刚刚评估了竖直BT或TT分割并且速率失真搜索导致当前CU的划分，其中第一子CU具有低于宽度/2的宽度，并且如果当前CU的当前多类型树深度等于(maxMtDepth-1)，则对于当前CU，速率失真搜索不评估ABT分割模式VER_RIGHT分割。参见图23中的第三示例。

如果刚刚评估了竖直BT或TT分割并且速率失真搜索导致当前CU的划分，其中最后一个子CU具有低于宽度/2的宽度，并且如果当前CU的当前多类型树深度等于(maxMtDepth-1)，则对于当前CU，速率失真搜索不评估ABT分割模式VER_LEFT分割。参见图23中的第四示例。

图24中示出了按照本文所述的一般方面的方法2400的一个实施方案。该方法起始于开始框2401，并且控制前进到框2410，以确定用于对父编码单元进行编码的分割模式。从框2410控制前进到框2420，以确定父编码单元的子块的索引。从框2420控制前进到框2430，以基于包括用于父编码单元的分割模式和父编码单元的子块的索引在内的因素来确定是否允许分割模式。从框2430控制前进到框2440，以使用所允许的分割模式对父编码单元进行编码。

图25中示出了按照本文所述的一般方面的方法2500的第二实施方案。该方法起始于开始框2501，并且控制前进到框2510，以确定用于对父编码单元进行解码的分割模式。从框2510控制前进到框2520，以确定父编码单元的子块的索引。从框2520控制前进到框2530，以基于包括用于父编码单元的分割模式和父编码单元的子块的索引在内的因素来确定是否允许分割模式。从框2530控制前进到框2540，以使用所允许的分割模式对父编码单元进行解码。

图26示出了用于使用基于相邻样本依赖参数模型的编码模式的简化来对视频数据进行编码、解码、压缩或解压缩的装置2600的一个实施方案。该装置包括处理器2610并且可通过至少一个端口互连到存储器2620。处理器2610和存储器2620两者还可具有与外部连接的一个或多个附加的互连。

处理器2610还被配置为在比特流中插入或接收信息，并且使用所述方面中的任一方面来进行压缩、编码或解码。

本文所述的实施方案包括各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出各个特性，通常以可能听起来具有限制性的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本申请中描述和设想的方面可以许多不同的形式实现。图10、图11和图27提供了一些实施方案，但是设想了其他实施方案，并且图10、图11和图27的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

本专利申请中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160、360、145、330))，如图10和图11所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

图10示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。

在经过编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。

在编码器100中，如下所述，图片由编码器元件进行编码。在例如CU的单元中对待编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标志来指示帧内/帧间决策。例如，通过从初始图像块减去(110)预测块来计算预测残差。

然后，对预测残差进行变换(125)和量化(130)。对经量化变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)经解码的预测残差和预测块，重建图像块。将环内滤波器(165)应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器(180)处。

图11示出了视频解码器200的框图。在解码器200中，由解码器元件对比特流进行解码，如下所述。视频解码器200通常执行与如图10所述的编码道次互逆的解码道次。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先，对比特流进行熵解码(230)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重建图像块。可从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测块。将环内滤波器(265)应用于重建的图像。将经滤波的图像存储在参考图片缓冲器(280)处。

经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从YcbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码过程(101)中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

图27示出了在其中实现各个方面和实施方案的系统的示例的框图。系统1000可具体体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统1000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中描述的方面中的一个或多个方面。

系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口以及如在本领域中是已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。附加地，编码器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域的技术人员已知的硬件和软件的组合。

待加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，处理设备(例如，处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可通过如块1130中所指示的各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图27中未示出的其他示例包括复合视频。

在各种实施方案中，块1130的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外地，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1000连接到其他电子设备的相应的接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以根据需要在单独的接口IC内或在处理器1010内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统1000的各种元件可设置在集成外壳内，在该集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。

系统1000包括通信接口1050，该通信接口允许经由通信信道1060与其他设备的通信。通信接口1050可包括但不限于收发器，该收发器被配置为通过通信信道1060传输和接收数据。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。

在各种实施方案中，使用诸如Wi-Fi网络(例如IEEE 802.11(IEEE是指电气和电子工程师协会))之类的无线网络来将数据流式发射或以其他方式提供给系统1000。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以允许流式传输应用和其他顶级通信。其他实施方案使用机顶盒向系统1000提供流式传输的数据，该机顶盒通过输入块1130的HDMI连接来递送数据。还有其他实施方案使用输入块1130的RF连接向系统1000提供流式传输的数据。如上所述，各种实施方案以非流式的方式提供数据。另外地，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器1100可用于电视机、平板电脑、笔记本电脑、蜂窝电话(移动电话)或另外的设备。显示器1100还可与其他部件集成(例如，如在智能电话中)，或可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备1120包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备1120，该一个或多个外围设备基于系统1000的输出来提供功能。例如，碟片播放器执行播放系统1000的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议，在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送控制信号。可通过相应的接口1070、1080和1090经由专用连接将输出设备通信地耦接到系统1000。另选地，可经由通信接口1050使用通信信道1060将输出设备连接到系统1000。在电子设备(诸如例如电视机)中，显示器1100和扬声器1110可与系统1000的其他部件集成在单个单元中。在各种实施方案中，显示器接口1070包括显示驱动器，诸如例如定时控制器(T Con)芯片。

例如，如果输入1130的RF部分是独立机顶盒的一部分，则显示器1100和扬声器1110可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器1100和扬声器1110为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

该实施方案可通过由处理器1010实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器1010可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。

各种具体实施参与解码。如本申请中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的解码器执行的过程。

作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的编码器执行的过程。

作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案可以指参数模型或速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。可以通过速率失真优化(RDO)度量或通过最小均方(LMS)、绝对误差平均值(MAE)或其他此类测量值来测量。速率失真优化通常表述为使速率失真函数最小化，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及有利于最终用户之间信息的通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器向多个变换、编码模式或标志中的特定一者发信号通知。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的变换、参数或模式。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

我们描述了多个实施方案，跨各种权利要求类别和类型。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

·基于包括用于父编码单元的分割模式和父编码单元的子块的索引在内的因素来禁止一些非对称二进制树分割。

·上述实施方案，其中分割模式包括水平向上、水平向下、竖直向左和竖直向右。

·基于包括变换大小、块大小、切片的时间层和切片类型在内的因素来调节所允许的分割。

·基于比特流中的语法来调节所允许的分割。

·上述实施方案中的任一实施方案，其中能够允许的分割仅在编码器侧实现。

·上述实施方案中的任一实施方案，其中最大ABT大小被定义为允许ABT分割的最大编码单元大小(在宽度或高度上)。

·上述实施方案中的任一实施方案，其中最大ABT大小参数被设置为大于64×64的值。

·上述实施方案中的任一实施方案，其中执行了亮度映射色度缩放，其中在其上计算平均重建亮度的模板区域可存在于包括当前亮度的128×128亮度区域周围的顶部和左侧样本中。

·上述实施方案中的任一实施方案，其中最大子块变换大小被固定为最小64或最大变换块大小。

·在信令中插入语法元素，该语法元素使得解码器能够以与编码器所使用的方式相对应的方式确定解码信息。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所描述的实施方案中的任一实施方案执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所描述的实施方案中的任一实施方案执行变换方法确定并显示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所描述的实施方案中的任一实施方案选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号并执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过空中接收(例如，使用天线)包括编码图像的信号并且执行变换方法的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (15)

1.一种方法，所述方法包括：

确定用于对父编码单元进行编码的分割模式；

确定所述父编码单元的子块的索引；

基于包括用于所述父编码单元的所述分割模式和所述父编码单元的所述子块的所述索引在内的因素来确定是否允许分割模式；以及，

使用所允许的分割模式对所述父编码单元进行编码。

2.一种装置，所述装置包括：

处理器，所述处理器被配置为执行：

确定用于对父编码单元进行编码的分割模式；

确定所述父编码单元的子块的索引；

基于包括用于所述父编码单元的所述分割模式和所述父编码单元的所述子块的所述索引在内的因素来确定是否允许分割模式；以及，

使用所允许的分割模式对所述父编码单元进行编码。

3.一种方法，所述方法包括：

确定用于对父编码单元进行解码的分割模式；

确定所述父编码单元的子块的索引；

基于包括用于所述父编码单元的所述分割模式和所述父编码单元的所述子块的所述索引在内的因素来确定是否允许分割模式；以及，

使用所允许的分割模式对所述父编码单元进行解码。

4.一种装置，所述装置包括：

处理器，所述处理器被配置为执行：

确定用于对父编码单元进行解码的分割模式；

确定所述父编码单元的子块的索引；

基于包括用于所述父编码单元的所述分割模式和所述父编码单元的所述子块的所述索引在内的因素来确定是否允许分割模式；以及，

使用所允许的分割模式对所述父编码单元进行解码。

5.根据权利要求1和3中任一项所述的方法，或者根据权利要求2和4中任一项所述的装置，其中所述因数还包括变换大小。

6.根据权利要求1、3和5中任一项所述的方法，或者根据权利要求2、4和5中任一项所述的装置，其中所述因数还包括在语法中发信号通知的块大小。

7.根据权利要求1、3、5和6中任一项所述的方法，或者根据权利要求2、4至6中任一项所述的装置，其中所述因素还包括切片的时间层和切片类型。

8.根据权利要求1、3、5至7中任一项所述的方法，或者根据权利要求2、4至7中任一项所述的装置，其中当使用双树时，语法被用于配置分区在帧内切片的亮度分量中的使用。

9.根据权利要求1、3、5至8中任一项所述的方法，或者根据权利要求2、4至8中任一项所述的装置，其中基于最大变换块大小、最大非对称二进制树大小和最大三叉树大小来动态地更改虚拟流水线解码单元大小。

10.根据权利要求1、3、5至9中任一项所述的方法，或者根据权利要求2、4至9中任一项所述的装置，其中对于能够配置的四叉树节点大小，联合亮度/色度编码树被双编码树取代。

11.根据权利要求1、3、5至10中任一项所述的方法，或者根据权利要求2、4至10中任一项所述的装置，其中标志指示最大变换大小是否是两个值中的一个值。

12.一种设备，所述设备包括：

根据权利要求4所述的装置；以及

以下项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括所述编码单元；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括所述编码单元的频带；和(iii)显示器，所述显示器被配置为显示表示编码单元的输出。

13.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含用于使用处理器播放的数据内容，所述数据内容根据权利要求1和5至11中任一项所述的方法生成或者由根据权利要求2和5至11中任一项所述的装置生成。

14.一种信号，所述信号包括用于使用处理器播放的视频数据，所述视频数据根据权利要求1和5至11中任一项所述的方法生成或者由根据权利要求2和5至11中任一项所述的装置生成。

15.一种计算机程序产品，所述计算机程序产品包括指令，当由计算机执行所述程序时，所述指令使所述计算机执行根据权利要求1、3和5至11中任一项所述的方法。