CN116195254A

CN116195254A - 用于通用视频编码的模板匹配预测

Info

Publication number: CN116195254A
Application number: CN202180065493.5A
Authority: CN
Inventors: F·莱莱昂内克; K·纳赛尔; T·波里尔; F·加尔平
Original assignee: Interactive Digital Vc Holdings France Ltd
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2020-09-28
Filing date: 2021-09-20
Publication date: 2023-05-30
Also published as: JP2023543985A; MX2023003383A; EP4218240A1; WO2022063729A1; US20230396805A1

Abstract

模板匹配预测与附加的编码工具相组合，以通过有利地使用语法元素来提供一组稳健的编码/解码工具。这些附加的编码工具中的一些编码工具包括矩阵帧内预测、帧内子分区、低频不可分变换、多变换选择。

Description

用于通用视频编码的模板匹配预测

技术领域

本实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码、压缩或解压缩的方法或装置。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

发明内容

本发明实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码的方法或装置，并且更具体地，涉及如在VVC(通用视频编码或H.266)标准中结合其他编码工具使用模板匹配预测的方法或装置。

根据第一方面，提供了一种方法。该方法包括用于发信号通知在视频块上使用至少第一编码工具和第二编码工具的步骤；以及使用所述第一编码工具和所述第二编码工具来对视频块进行编码。

根据第二方面，提供了另一种方法。该方法包括用于解析视频比特流以确定用于视频块的至少第一解码工具和第二解码工具的步骤；以及使用将在视频块上使用的至少第一编码工具和第二编码工具来对视频块进行解码。

根据另一方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一种来对视频块进行编码或对比特流进行解码。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；和(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一实施方案或变体生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当程序由计算机执行时该指令使得计算机执行所描述的解码实施方案或变型中的任一者。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

图1示出了通用视频编码(VVC)中的帧内预测模式。

图2示出了模板匹配预测(TMP)的示例。

图3示出了标准的通用视频压缩方案。

图4示出了标准的通用视频解压缩方案。

图5示出了在一般描述方面情况下的方法的一个实施方案。

图6示出了在一般描述方面情况下的方法的另一个实施方案。

图7示出了在所描述方面情况下的示例性装置。

图8示出了在一般描述方面情况下的用于编码/解码的基于处理器的系统。

图9示出了与单个模板匹配的模板的示例。

图10示出了具有较小搜索范围的模板匹配预测的示例。

图11示出了IBC和TMP的互斥搜索范围的示例。

图12示出了在当前CTU内允许的搜索范围。

图13示出了SIMD优化，其中R1和R2的线宽是4的倍数。

图14示出了SIMD优化，其中模板左上部分被移除以具有与当前块相同的尺寸。

具体实施方式

在此描述的实施方案在视频压缩领域中，并且整体涉及视频压缩以及视频编码和解码，并且更具体地旨在通过采用模板匹配预测改进视频压缩的帧内预测部分。该模式从图像的重建部分内具有类似的模板的块生成预测信号。

画面内预测是图像和视频压缩的基本部分。传统上，预测信号从L形重建像素(参考样本)(假设它们沿不同的角度)中生成。该机制被称为角度预测。VVC使用65个帧内预测模式，其中定义了63个角度以及DC和平面预测(参见图1)。

用多种工具来增强VVC中的传统帧内预测：

-交叉分量线性模型(CCLM)：通过亮度重建样本的线性模型来生成色度预测块。

-多参考线预测(MRL)：使用更多的参考样本来生成预测块。

-帧内子分区(ISP)：预测块被分成共享相同的预测模式的4个子块。

-矩阵加权帧内预测(MIP)：通过将参考样本与一些离线优化预测矩阵相乘来生成预测块。

-块内复制(IBC)：通过从已经重建的图像部分复制另一个块来生成预测块，其中在比特流中发信号通知位移矢量。

用核心变换DCT-II或DST-VII与DCT-VIII的组合的另一模式(称为多变换选择(MTS))来变换残余块。经变换块可进一步用二次不可分变换来变换以进一步压缩残余块。该过程称为低频不可分离变换(LFNST)。

模板匹配预测(TMP)是不包括在VVC中的又一强大的帧内预测模式。TMP是通过搜索类似的L形邻域(称为补丁)来查找目标块来执行的。这在以下图中示出。如果使用TMP，则当前模板由重建的L形相邻部分组成。发现类似的模板与当前模板差异很小。属于这些模板的块(目标块)用于通过对其求平均或者仅考虑具有最小模板差的一个块来生成预测信号。

将TMP集成到VVC中需要与现有帧内工具的适当的互操作性。即：

-与ISP、MIP和MRL的交互

-与变换工具(MTS和LFNST、隐式MTS)的交互

-与组合的帧间和帧内预测(CIIP)的交互

本文所述的一般方面涉及这些交互，并且提出实现用于VVC的这种模式的实施方案。

模版匹配预测是联合视频探测团队(JVET)的联合探测测试模式(JEM)中的可选帧内预测模式。它伴随有使用Karhunen Loueve变换(KLT)、使用与TMP的模板相同的模板来导出变换矩阵的在线过程。通过对多达8个候选块求平均来生成预测块。

在VVC开发的背景下，在现有工作中提出了基于区域的模板匹配预测。与JEM版本相比，这些现有工作定义了较小的搜索区域，其中发信号通知索引以引导解码器将搜索限制到给定区域。这样减少了解码器侧的等待时间。

本文所述的一般方面集中于在VVC的上下文中实现TMP，其中提出了与其他工具以及信号的交互。

本文所述的一般方面的基本思想是将TMP集成到VVC中，其中与这些的交互被定义为：

-与ISP、MIP和MRL的交互

-与变换工具(MTS和LFNST、隐式MTS)的交互

-与组合的帧间和帧内预测(CIIP)的交互

受影响的编码器模块是图3的变换模块(125)和帧内预测模块(160)。

受影响的解码器模块是图4的逆变换模块(250)和帧内预测模块(260)。

TMP标志的信令

发信号通知CU标志以指示TMP的使用。该标志可以在编解码器设计中的不同级处发信号通知。然而，CU级信令与其他帧内工具一致。VTM中的当前信令如下：

-最先发信号通知MIP标志(intra_mip_flag)以指示MIP的使用

-如果不使用MIP，则发信号通知MRL标志(intra_mip_flag)以指示MRL的使用

-如果不使用MRL，则发信号通知ISP标志(intra_subpartitions_mode_flag)以指示ISP的使用

-如果不使用MRL(可以使用MIP或ISP)，则进一步发信号通知预测模式。

对应的语法如下所示：

对于TMP，采用以下考虑：

-由于MIP无法与TMP一起使用，所以不应当发信号通知MIP

-由于MRL无法与TMP一起使用，所以不应当发信号通知MRL

-由于TMP没有待发信号通知的模式，所以不应当发信号通知帧内预测模式。

-ISP可以与TMP一起使用，其中每个子分区使用不同的匹配模板。

因此，可以在MIP标志之前发信号通知TMP标志，使得如果使用所有其他标志，则不发信号通知它被推断为0。对应的变化如下(添加的部分用阴影表示)：

其中sps_TMP_enabled_flag是用于激活TMP的SPS级标志，并且intra_TMP_flag是用于发信号通知TMP的使用的CU级标志。MaxTMPSize是TMP的最大允许尺寸。在SPS级固定或发信号通知。

在该方法中，ISP和TMP无法一起使用。这种情况可以被改变以允许组合。这是通过在ISP标志之后或之前发信号通知TMP标志来完成的。应当仅在不使用MRL和MIP时发信号通知。进行以下修改：

应当注意，对于这两种方法，在基于区域的模板匹配预测的情况下，可以发信号通知附加的语法。在信号intra_TMP_flag之后立即发信号通知附加的语法。

除SPS标志之外，可以为TMP定义通用约束标志。这类似于VVC的大多数编码工具，它们具有更高级的标志以指示它们是否已被去激活。可以将以下标志添加到规范中：

其中gci_no_tmp_constraint_flag，当等于1时，指示sps_TMP_enabled_flag等于0。

与变换工具的交互：

可以允许TMP与MTS和/或LFNST一起使用。然而，LFNST取决于用于选择变换核的帧内预测模式。可以使用相同的MIP方法。即，对于变换矩阵选择，MIP被认为是平面帧内预测。因此，TMP也可以被这样认为。即，当使用对应于平面模式的LFNST变换核时，使用TMP。

另外，由于LFNST用于色度分量，所以需要预测模式来选择变换矩阵。具体地，对于CCLM，如果MIP用于亮度分量，则预测模式被认为是平面模式。如果TMP用于亮度分量，则在此进行相同的操作。

对于MTS，存在被称为隐式MTS的特殊模式，其中不发信号通知MTS标志，而是从块尺寸推导变换选择。然而，用于MIP模式或LFNST的变换选择是DCT-II。对于TMP也使用同样的变换选择。

工作草案的对应变化如下：

/>

为了减少编码器运行时间，可以不允许MTS具有TMP。即，当TMP被用作预测模式时，编码器不尝试所有可能的MTS模式(DCT-II、DST-VII和DCT-VIII)并且不向解码器发信号通知任何信息。相反，可以采用固定变换选择。第一选择是对竖直和水平方向使用DCT-II。另一种选择是采用用于ISP模式的隐式变换选择。即，如下选择竖直和水平变换：

TrHor＝宽度<＝16？DST7:DCT2

TrVer＝高度<＝16？DST7:DCT2

与MPM的交互

最可能的模式(MPM)是发信号通知帧内预测模式的有效方式。MPM列表生成需要知悉当前的预测模式。如果使用TMP，则它可以被认为是用于MPM列表生成的平面模式。

亮度分量和色度分量的TMP

一般来讲，TMP仅用于亮度分量。然而，它可以被扩展为使用亮度分量和色度分量。为了允许这一点，使用以下选项：

-单个标志用于发信号通知亮度分量和色度分量两者的TMP的使用

-仅对亮度分量执行模板匹配，并且将匹配块的相同位置用于色度分量(具有根据色度形成的适当缩放，例如，4:2:0)。这是为了通过避免对所有分量的搜索重复来降低复杂度。

与CIIP的交互

CIIP是组合帧内预测和帧间预测的预测模式。帧内部分是平面模式，并且帧间部分是规则的合并模式。TMP可用于替换帧内预测部分(平面模式)。

还可以修改两个预测信号的加权。当前，根据相邻编码单元，权重被如下定义：

相反，可以使用帧间和帧内部分的相等加权来代替：

与IBC的交互

在许多情况下，同时使用TMP和IBC两者是没有用的，因为这两者都通过在图像的重建部分内搜索来执行帧内预测。因此，提出IBC和TMP两者不应当被一起激活。这可以通过彼此调节它们的SPS标志来完成。即，如果IBC的SPS标志是1，则TMP的SPS标志应当被推断为0。另一种方式也是可能的：如果TMP的SPS标志为1，则IBC的SPS标志将被推断为0。

这样的方法的示例在下面的语法表中给出(在IBC上调节TMP)：

另一个示例(在TMP上调节IBC)：

/>

图5中示出了在本文所述的一般方面下的方法500的一个实施方案。方法开始于开始框501，并且控制进行到框510以发信号通知在视频块上使用至少第一编码工具和第二编码工具。控制从框510进行到框520，以用于使用所述第一编码工具和所述第二编码工具来对视频块进行编码。

图6中示出了在本文所述的一般方面下的方法600的一个实施方案。该方法开始于开始框601，并且控制进行到框610以用于解析视频比特流以确定用于视频块的至少第一解码工具和第二解码工具。控制从框610进行到框620，用于使用将在所述视频块上使用的至少第一编码工具和第二编码工具来解码视频块。

图7示出了用于使用基于相邻样本依赖参数模型的编码模式的简化来对视频数据进行编码、解码、压缩或解压缩的装置700的一个实施方案。该装置包括处理器710并且可以通过至少一个端口互连到存储器720。处理器710和存储器720两者还可以具有与外部连接的一个或多个附加的互连。

处理器710还被配置为在比特流中插入或接收信息，并且使用所述方面中的任一方面来进行压缩、编码或解码。

单个模板预测

观察到单个匹配块提供最佳的压缩效率。即，代替搜索N个类似的模板，找到一个类似的模板并且将其用作预测信号。过程在图9中示出。

可变搜索范围

用于找到最佳匹配模板(多个模板)的搜索范围可以被设置为可变的或固定的。与最大复杂度相关联的最大编码增益在使用全范围时出现。即，在当前帧的整个重建部分内找到模板。然而，为了降低复杂度，可以使用较小的搜索范围。图10中示出了示例。

发现在搜索范围等于1024的情况下可以实现最大编码增益。然而，对于具有小分辨率的视频序列，可以使用较小的搜索范围。还发现，64的搜索范围在复杂度和增益之间具有合理的折衷。因此，在该实施方案中，将搜索范围定义为：64、128、256、1024或全部。可以使用高级语法元素来发信号通知搜索范围的值。

CTU内的搜索范围

可以在当前CTU内允许搜索范围。即，在当前块(PU/CU)在较大CTU的内部时，可以在CTU内部以及在CTU外部搜索预测候选者。然而，并非CTU内的所有部分都被解码，并且因此无法被用作预测候选者。

为了允许在当前CTU内进行搜索，仅使用位于当前块左上方的候选者。这在图12中示出。较暗的搜索范围在当前CTU内，其中所有像素被解码和重建。还使用CTU外部的搜索范围，并且具有最小模板差的最佳候选者被用作预测块。

模板匹配CABAC上下文导出

为了发信号通知模板匹配的标志，必须使用用于CABAC的适当的上下文导出。在该实施方案中，遵循与MIP的方式相同的方式。这与VVC的设计是一致的。使用四个上下文：

1-用0初始化上下文

2-如果左侧CU使用模板匹配预测，则加一

3-如果上方CU使用模板匹配预测，则加一

4-如果宽度大于高度的2倍，或者高度大于宽度的2倍，则将上下文设置为3

即，四个类别是：

1-相邻CU不使用TMP

2-一个相邻CU正在使用TMP

3-两个相邻CU正在使用TMP

4-CU形状在一个维度上是细长的。

在不使用第4上下文的情况下可以使用类似的方法。

可变最大尺寸

使用TMP的最大CU尺寸可以是可变的。发现多达16×16CU提供最大编码增益，同时降低了复杂度。最大尺寸的值可以用高级语法元素来发信号通知，或者可以保持为16。

移除的冗余信令

TMP标志的信令可以是冗余的，因为在一些情况下，已知无法使用TMP。这种情况的一个示例是当CU尺寸大于TMP的最大允许尺寸时，当考虑先前的实施方案(可变最大尺寸)时，或者当没有足够的重建部分来搜索类似的模板时。例如，对于尺寸为64×64的CU，并且经重建部分小于64×64加上模板的尺寸，TMP无法使用并且因此其标志不应发信号通知而是推断为0。

当前CTU之外的搜索范围

搜索范围可以被简化为不包括当前CTU。观察到，通过在搜索范围中包括当前CTU，不存在改进的编码增益。因此，作为简化步骤，提出从搜索范围中移除该区域。

SIMD优化

通过采用SIMD来计算模板差异，可以减少运行时间。即，两个模板的像素之间的差异可以经由SIMD优化来并行地进行。

对于SIMD操作，要求每条比较线是4的倍数。在图13中，假设块尺寸(b_width和b_height)总是4的倍数，因为在VVC中，块尺寸是4的倍数。因此，为了具有4的倍数的比较，R1和R2的线宽(图13)必须是4的倍数：

1-R1:b_width+t_width必须是4的倍数。因此，t_width必须是4的倍数。

2-R2:T_width必须是4的倍数。因此，T_width必须是4的倍数。否则，模板左上部分被移除以具有与当前块相同的尺寸。这在图14中示出。

通过这样做，R1宽度等于b_width(总是4的倍数)，并且R2在计算该差之前被转置，并且最终将具有b_height(总是4的倍数)的宽度。该方法提供SIMD优化而不管模板尺寸如何。

IBC和TMP的相互排除的搜索范围

在该实施方案中，IBC和TMP使用不同的参考区域。通常，IBC使用一个CTU区域作为参考。因此，TMP应当使用已经重建的画面的剩余部分作为参考。

在尺寸为32×32或64×64的CTU的情况下，IBC可以使用一个以上的CTU区域作为参考，但始终在与当前编码单元相同的CTU线上，并且在这种情况下，TMP应当使用除当前CTU线之外的所有经重建图片作为参考。

图11中示出了IBC和TMP的互斥搜索范围的示例。

本文所述的实施方案包括各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出各个特性，通常以可能听起来具有限制性的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本专利申请中描述和设想的方面可以许多不同的形式实现。图3、图4和图8提供了一些实施方案，但是设想了其他实施方案，并且图3、图4和图8的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重建”在编码端使用，而“解码”在解码端使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

本专利申请中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160、360、145、330))，如图10和图11所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

图3示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。

在进行编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。

如下所述，在编码器100中，图片由编码器元件进行编码。在例如CU的单元中对待编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者来对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决策。例如，通过从初始图像块减去(110)预测块来计算预测残差。

然后，对预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对经量化的变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)经解码的预测残差和预测块，重建图像块。将环路滤波器(165)应用于重建图片以执行例如去区块/样本自适应偏移(SAO)滤波，从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器中(180)。

图4示出了视频解码器200的框图。在解码器200中，比特流由解码器元件进行解码，如下所述。视频解码器200通常执行与如图3所述的编码阶段相反的解码阶段。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器100生成。最先对比特流进行熵解码(230)以获得变换系数、运动向量和其他编码信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(235)图片。对变换系数进行去量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重建图像块。可以通过帧内预测(260)或运动补偿预测(即，帧间预测)(275)来获得(270)预测块。将环路滤波器(265)应用于重建图像。将经滤波的图像存储在参考图片缓冲器中(280)。

经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从YcbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码过程(101)中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

图8示出了在其中实现各种方面和实施方案的系统的示例的框图。系统1000可以体现为包括下文所述的各种部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立部件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中所述的一个或多个方面。

系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载到其中的指令以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可以包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块1030可以实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上，以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令以及提供用于在编码或解码期间所需的处理的工作存储器。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可以通过如框1130中所示的各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图8中未示出的其他示例包括复合视频。

在各种实施方案中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可以包括用于跨USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如Reed-Solomon纠错)可根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以根据需要在单独的接口IC内或在处理器1010内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。

系统1000的各种元件可设置在集成外壳内，在该集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。

系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可以包括但不限于被配置为通过通信信道1060传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统1000。这些实施方案中的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050进行接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统1000提供流传输数据，该机顶盒通过输入框1130的HDMI连接来递送数据。其他实施方案使用输入框1130的RF连接向系统1000提供流传输数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板电脑、笔记本电脑、蜂窝电话(移动电话)或另外的设备。显示器1100还可以与其他部件集成(例如，如在智能电话中)，或与单独的部件集成(例如，膝上型计算机的外部监视器)。在实施方案的各种示例中，其他外围设备1120包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如，碟片播放器执行播放系统1000的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送控制信号。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可以与电子设备(诸如电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示器接口1070包括显示驱动器，诸如例如定时控制器(TCon)芯片。

如果输入1130的RF部分是独立机顶盒的一部分，则显示器1100和扬声器1110可以另选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，可以经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

这些实施方案可由处理器1010实现的计算机软件，或由硬件，或由硬件和软件的组合来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适用于技术环境的任何类型，并且作为非限制性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核心架构的处理器中的一者或多者。

各种具体实施参与解码。如本申请中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的解码器执行的过程。

作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的编码器执行的过程。

作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案可以指参数模型或速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。可以通过速率失真优化(RDO)度量或通过最小均方(LMS)、绝对误差平均值(MAE)或其他此类测量值来测量。速率失真优化通常表述为使速率失真函数最小化，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及有利于最终用户之间信息的通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器向多个变换、编码模式或标志中的特定一者发信号通知。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的变换、参数或模式。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。

前面部分描述了多个实施方案，跨各种权利要求类别和类型。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：

●发信号通知可以在视频块上使用至少第一编码工具和第二编码工

具；以及使用所述第一编码工具和所述第二编码工具来对视频块进行编码。

●解析视频比特流以确定用于视频块的至少第一解码工具和第二解码工具；以及使用将在视频块上使用的至少第一编码工具和第二编码工具来对视频块进行解码。

●具有包括模版匹配预测的第一编码/解码工具和包括矩阵帧内预

测、帧内子分区、低频不可分变换、多变换选择和帧内子分区中的一者的第二编码/解码工具的上述实施方案中的任一者。

●使用单个匹配块用作预测信号的上述实施方案中的任一个实施方案。

●使用可变的或固定搜索范围的上述实施方案中的任一个实施方案。

●上述实施方案中的任一个实施方案都具有发信号通知模板匹配的标志的用于CABAC的上下文导出。

●具有使用TMP的尺寸的编码单元的上述实施方案中的任一个实施

方案可以是可变的。

●移除冗余信令的上述实施方案中的任一个实施方案。

●搜索范围在当前编码树单元之外的任何上述实施方案。

●具有使用不同参考区域的IBC和TMP的上述实施方案中的任一个

实施方案。

●使用TMP的通用约束标志来指示去激活。

●其中在使用对应于平面模式的LFNST变换核的情况下，使用TMP。

●不允许利用模版匹配预测进行多变换选择。

●对于亮度分量和色度分量使用TMP，其中语法用于发信号通知对

于亮度分量和色度分量两者TMP的使用。

●对亮度分量使用模板匹配，其中匹配块的位置与用于色度分量的

匹配块的位置相同。

●允许在编码树单元内部和外部的预测候选者。

●使用SIMD来计算模版差异。

●包括所描述的语法元素中的一个或多个语法元素或其变型的比特

流或信号。

●包括传递根据所述实施方案中任一项生成的信息的语法的比特流

或信号。

●根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。

●根据所述实施方案中任一项所述的方法、过程、装置、存储指令

的介质、存储数据的介质或信号。

●在信令中插入语法元素，该语法元素使得解码器能够以与编码器

所使用的方式相对应的方式确定解码信息。

●对包括所描述的语法元素中的一个或多个语法元素或其变型的比

特流或信号进行创建和/或发送和/或接收和/或解码。

●根据所描述的实施方案中的任一实施方案执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

●根据所描述的实施方案中的任一实施方案执行变换方法确定并显

示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

●根据所描述的实施方案中的任一实施方案选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号并执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

●通过空中接收(例如，使用天线)包括编码图像的信号并且执行

变换方法的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims

1.一种方法，所述方法包括：

发信号通知在视频块上使用至少第一编码工具和第二编码工具；以及

使用所述第一编码工具和所述第二编码工具来对所述视频块进行编码。

2.一种装置，所述装置包括：

处理器，所述处理器被配置为：

3.一种方法，所述方法包括：

解析视频比特流以确定用于视频块的至少第一解码工具和第二解码工具；以及

使用将在所述视频块上使用的所述至少第一编码工具和第二编码工具来对所述视频块进行解码。

4.一种装置，所述装置包括：

处理器，所述处理器被配置为：

5.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中通用约束标志用于TMP以指示去激活。

6.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中在使用对应于平面模式的LFNST变换核的情况下使用TMP。

7.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，不允许利用模板匹配预测进行多变换选择。

8.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中将TMP用于亮度分量和色度分量，并且将语法用于发信号通知将TMP用于亮度分量和色度分量两者。

9.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中对亮度分量使用模板匹配，其中对色度分量使用匹配块的相同位置。

10.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中允许来自编码树单元内部和外部的预测候选者。

11.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中将SIMD用于模板差异的计算。