CN114223202A - 低频不可分离变换（lfnst）信令 - Google Patents

Abstract

一种对视频数据进行解码的方法包括：接收用于当前块的经编码的数据；以及根据经编码的数据来对用于低频不可分离变换(LFNST)索引的N个仓进行解码。N个仓包括第一仓和第二仓。对N个仓进行解码包括对N个仓中的每个仓进行上下文解码。方法还包括：使用N个仓来确定LFNST索引；以及对经编码的数据进行解码以生成变换系数。方法还包括：使用LFNST索引来将逆LFNST应用于变换系数，以产生用于当前块的残差块；以及使用用于当前块的残差块和预测块来重构视频数据的当前块。

Description

低频不可分离变换(LFNST)信令

本申请要求享受于2020年8月14日提交的美国申请16/993,785的优先权，其要求于2019年8月20日提交的美国临时申请第62/889,402号以及于2019年9月20日提交的美国临时申请第62/903,522号的权益，据此将每个申请的全部内容通过引用的方式并入。

技术领域

本公开内容涉及视频编码和视频解码。

背景技术

数字视频能力可以被合并到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电话会议设备、视频流设备等。数字视频设备实现视频编码技术，诸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分，高级视频编码(AVC))、ITU-T H.265/高效率视频编码(HEVC)、以及此类标准的扩展所定义的标准中描述的那些技术。通过实现这样的视频编码技术，视频设备可以更加高效地发送、接收、编码、解码和/或存储数字视频信息。

视频编码技术包括空间(帧内图片)预测和/或时间(帧间图片)预测以减少或去除在视频序列中固有的冗余。对于基于块的视频编码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，视频块也可以被称为编码树单元(CTU)、编码单元(CU)和/或编码节点。图片的经帧内编码(I)的切片中的视频块是使用相对于在同一图片中的相邻块中的参考样本的空间预测来编码的。图片的经帧间编码(P或B)的切片中的视频块可以使用相对于在同一图片中的相邻块中的参考样本的空间预测或者相对于其它参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

发明内容

概括而言，本公开内容描述了针对用于减少与变换相关的信息的信令的变换信令的技术。不是对用于低频不可分离变换(LFNST)索引的第一仓(bin)进行上下文编码，并且对用于LFNST索引的第二仓进行旁路编码，本文描述的技术可以对第一仓和第二仓进行上下文编码。通过对用于LFNST索引的额外仓进行上下文编码，视频编码装置(coder)(例如，视频编码器(encoder)或视频解码器(decoder))可以以较少的信令开销来确定用于视频数据的图片的块的LFNST索引，从而潜在地减少了所发送的视频数据量，在预测准确度和/或复杂度方面具有很少损失或者没有损失。

在一个示例中，一种对视频数据进行解码的方法包括：接收用于当前块的经编码的数据；以及根据所述经编码的数据来对用于LFNST索引的N个仓进行解码。所述N个仓包括第一仓和第二仓，并且对所述N个仓进行解码包括对所述N个仓中的每个仓进行上下文解码。所述方法还包括：使用所述N个仓来确定所述LFNST索引；对所述经编码的数据进行解码以生成变换系数；以及使用所述LFNST索引来将逆LFNST应用于所述变换系数，以产生用于所述当前块的残差块。所述方法还包括：使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块。

在另一示例中，一种对视频数据进行编码的方法包括：基于用于当前块的预测块来生成用于所述当前块的残差块；将可分离变换应用于所述残差块以产生可分离变换系数；以及确定LFNST索引。所述方法还包括：使用所述LFNST索引来将LFNST应用于所述可分离变换系数以产生变换系数；以及对所述变换系数和用于所述LFNST索引的N个仓进行编码以产生经编码的视频数据。所述N个仓包括第一仓和第二仓，并且对所述N个仓进行编码包括对所述N个仓中的每个仓进行上下文编码。所述方法还包括：输出所述经编码的视频数据。

在一个示例中，一种用于对视频数据进行解码的设备包括在电路中实现并且被配置为进行以下操作的一个或多个处理器：接收用于当前块的经编码的数据；以及根据所述经编码的数据来对用于LFNST索引的N个仓进行解码。所述N个仓包括第一仓和第二仓，并且为了对所述N个仓进行解码，所述一个或多个处理器被配置为对所述N个仓中的每个仓进行上下文解码。所述一个或多个处理器还被配置为：使用所述N个仓来确定所述LFNST索引；以及对所述经编码的数据进行解码以生成变换系数。所述一个或多个处理器还被配置为：使用所述LFNST索引来将逆LFNST应用于所述变换系数，以产生用于所述当前块的残差块；以及使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块。

在另一示例中，一种用于对视频数据进行编码的设备包括在电路中实现并且被配置为进行以下操作的一个或多个处理器：基于用于当前块的预测块来生成用于所述当前块的残差块；将可分离变换应用于所述残差块以产生可分离变换系数；以及确定LFNST索引。所述一个或多个处理器还被配置为：使用所述LFNST索引来将LFNST应用于所述可分离变换系数以产生变换系数；以及对所述变换系数和用于所述LFNST索引的N个仓进行编码以产生经编码的视频数据。所述N个仓包括第一仓和第二仓，并且对所述N个仓进行编码包括对所述N个仓中的每个仓进行上下文编码。所述一个或多个处理器还被配置为：输出所述经编码的视频数据。

在一个示例中，一种用于对视频数据进行解码的装置包括：用于接收用于当前块的经编码的数据的单元；以及用于根据所述经编码的数据来对用于LFNST索引的N个仓进行解码的单元。所述N个仓包括第一仓和第二仓，并且所述用于对所述N个仓进行解码的单元包括用于对所述N个仓中的每个仓进行上下文解码的单元。所述装置还包括：用于使用所述N个仓来确定所述LFNST索引的单元；以及用于对所述经编码的数据进行解码以生成变换系数的单元。所述装置还包括：用于使用所述LFNST索引来将逆LFNST应用于所述变换系数，以产生用于所述当前块的残差块的单元；以及用于使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块的单元。

在另一示例中，一种用于对视频数据进行编码的装置包括：用于基于用于当前块的预测块来生成用于所述当前块的残差块的单元；以及用于将可分离变换应用于所述残差块以产生可分离变换系数的单元。所述装置还包括：用于确定LFNST索引的单元；以及用于使用所述LFNST索引来将LFNST应用于所述可分离变换系数以产生变换系数的单元。所述装置还包括：用于对所述变换系数和用于所述LFNST索引的N个仓进行编码以产生经编码的视频数据的单元。所述N个仓包括第一仓和第二仓，并且所述用于对所述N个仓进行编码的单元包括用于对所述N个仓中的每个仓进行上下文编码的单元。所述装置还包括用于输出所述经编码的视频数据的单元。

在一个示例中，一种计算机可读存储介质具有存储在其上的指令，所述指令在被执行时使得一个或多个处理器进行以下操作：接收用于当前块的经编码的数据；以及根据所述经编码的数据来对用于LFNST索引的N个仓进行解码。所述N个仓包括第一仓和第二仓，并且其中，为了对所述N个仓进行解码，所述指令还使得所述一个或多个处理器进行以下操作：对所述N个仓中的每个仓进行上下文解码。所述指令还使得所述一个或多个处理器进行以下操作：使用所述N个仓来确定所述LFNST索引；以及对所述经编码的数据进行解码以生成变换系数。所述指令还使得所述一个或多个处理器进行以下操作：使用所述LFNST索引来将逆LFNST应用于所述变换系数，以产生用于所述当前块的残差块；以及使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块。

在另一示例中，一种计算机可读存储介质具有存储在其上的指令，所述指令在被执行时使得一个或多个处理器进行以下操作：基于用于当前块的预测块来生成用于所述当前块的残差块；以及将可分离变换应用于所述残差块以产生可分离变换系数。所述指令还使得所述一个或多个处理器进行以下操作：确定LFNST索引；以及使用所述LFNST索引来将LFNST应用于所述可分离变换系数以产生变换系数。所述指令还使得所述一个或多个处理器进行以下操作：对所述变换系数和用于所述LFNST索引的N个仓进行编码以产生经编码的视频数据。所述N个仓包括第一仓和第二仓，并且为了对所述N个仓进行编码，所述指令还使得所述一个或多个处理器进行以下操作：对所述N个仓中的每个仓进行上下文编码。所述指令还使得所述一个或多个处理器进行以下操作：输出所述经编码的视频数据。

在附图和以下描述中阐述了一个或多个示例的细节。根据描述、附图以及权利要求，其它特征、目的和优点将是显而易见的。

附图说明

图1是示出可以执行本公开内容的技术的示例视频编码和解码系统的框图。

图2A和图2B是示出示例四叉树二叉树(QTBT)结构以及对应的编码树单元(CTU)的概念图。

图3是示出可以执行本公开内容的技术的示例视频编码器的框图。

图4是示出可以执行本公开内容的技术的示例视频解码器的框图。

图5是示出在编码器和解码器侧的低频不可分离变换(LFNST)变换的概念图，其中，LFNST是在可分离变换与量化之间的阶段。

图6是示出通过应用LFNST并且将LFNST区域中的Z个最高频率系数和在LFNST区域外部的多重变换选择(MTS)系数两者归零而获得的LFNST系数的概念图。

图7是示出通过应用LFNST并且仅将在LFNST区域外部的MTS系数归零的LFNST系数的概念图。

图8是示出65种角度帧内模式的概念图。

图9是示出除了65种模式之外具有广角的角度模式的概念图。

图10是示出用于对当前块进行编码的示例方法的流程图。

图11是示出用于对视频数据的当前块进行解码的示例方法的流程图。

图12是示出用于使用针对LFNST索引的N个仓来对当前块进行编码的示例方法的流程图。

图13是示出用于使用针对LFNST索引的N个仓来对视频数据的当前块进行解码的示例方法的流程图。

具体实施方式

概括而言，本公开内容描述了与低频不可分离变换(LFNST)有关的技术。视频编码器可以以适于从视频编码器用信号通知并且由视频解码器进行接收的形式来表示用于视频数据的残差块。期望的是，减少用于表示残差块的数据量，使得减少从视频编码器发送并且由视频解码器接收的数据量。在视频编码中，可分离变换已经优先于不可分离变换而应用，因为与不可分离变换相比，可分离变换可以使用较少的运算(例如，加法、乘法)。可分离变换是可以被写为两个或更多个滤波器的乘积的滤波器。相反，不可分离滤波器无法被写为两个或更多个滤波器的乘积。

视频编码器还可以应用LFNST来增加变换系数块的能量压缩，而不是仅依赖于将在像素域中的残差块转换为在频域中的系数块的可分离变换。例如，LFNST可以将变换系数块的非零系数集中更接近于变换系数块的DC系数。结果，在系数块的DC系数与变换系数块的最后有效(即，非零)变换系数之间可以存在较少的变换系数，从而导致用于表示残差块的数据量减少。类似地，视频解码器可以应用逆可分离变换以将变换系数块变换为残差块。以这种方式，可以减少用于表示残差块的数据，从而减少针对视频数据的带宽和/或存储要求，并且潜在地减少视频解码器和视频编码器的能量使用。

视频编码器可以生成用于LFNST的LFNST索引。例如，视频编码器可以进行以下操作：当LFNST被禁用时，将LFNST索引设置为“0”；当LFNST被启用(即，未被禁用)并且第一LFNST类型将被应用时，将其设置为“1”；以及当LFNST被启用(即，未被禁用)并且第二LFNST类型将被应用时，将其设置为“2”。在该示例中，视频编码器可以使用第一仓(例如，“0”或“1”)和第二仓来表示LFNST索引。在一些编码系统中，视频编码器可以对第一仓进行上下文编码，并且对第二仓进行旁路编码。例如，视频解码器可以对第一仓进行上下文解码以确定针对当前块是启用还是禁用LFNST。在该示例中，视频解码器可以对第二仓进行旁路解码，以确定LFNST是否被配置用于第一LFNST。上下文编码可以指代其中先前解码的值(例如，针对仓，但是其它先前解码的值可以是可能的)可以用于确定该仓的当前值的情况。上下文编码的示例可以包括例如基于CABAC的算术编码引擎。例如，视频编码器可以基于上下文模型来对用于LFNST索引的第一仓进行编码，所述上下文模型是基于针对用于LFNST索引的第一仓的先前上下文解码的值来更新的。相反，旁路编码可以指代其中用于仓的先前解码的值不用于确定该仓的当前值的情况。例如，在基于CABAC的算术编码中，仓的值为0或1的概率不是50％，并且上下文可以将该概率偏置为大于或小于50％。然而，对于旁路编码，仓的值为0或1的概率为50％，并且没有上下文用于偏置该概率。

根据本公开内容的技术，视频编码器可以对用于LFNST索引的N个仓进行上下文编码。N个仓可以包括至少第一仓和第二仓，它们各自被上下文编码(例如，使用基于CABAC的算术编码引擎)。例如，视频编码器可以对用于LFNST的第一仓和第二仓进行上下文编码。类似地，视频解码器可以对用于LFNST索引的N个仓进行上下文解码，其中，N个仓至少包括各自被上下文编码的第一仓和第二仓。对用于LFNST索引的N个仓中的每个仓进行上下文编码可以允许视频解码器以较少的信令开销来确定用于视频数据的图片的块的LFNST索引，从而潜在地减少了发送的视频数据量，在预测准确度方面和/或复杂度方面具有很小损失或者没有损失。

图1是示出可以执行本公开内容的技术的示例视频编码和解码系统100的框图。概括而言，本公开内容的技术涉及对视频数据进行编码(coding)(编码(encoding)和/或解码(decoding))。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经编码的视频、经编码的视频、经解码(例如，经重构)的视频、以及视频元数据(诸如信令数据)。

如图1所示，在该示例中，系统100包括源设备102，源设备102提供要被目的地设备116解码和显示的、经编码的视频数据。具体地，源设备102经由计算机可读介质110来将视频数据提供给目的地设备116。源设备102和目的地设备116可以包括各种各样的设备中的任何一种，包括台式计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、电话手机(诸如智能电话)、电视机、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，并且因此可以被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200以及输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120以及显示设备118。根据本公开内容，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于LFNST信令(诸如在一些示例中，基于帧内模式)的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其它示例中，源设备和目的地设备可以包括其它组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备对接，而不是包括集成显示设备。

在图1中所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备可以执行用于LFNST信令的技术。源设备102和目的地设备116仅是这样的编码设备的示例，其中，源设备102生成经编码的视频数据以用于传输给目的地设备116。本公开内容将“编码”设备指代为执行对数据的编码(例如，编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示编码设备(具体地，视频编码器和视频解码器)的示例。在一些示例中，设备102、116可以以基本上对称的方式进行操作，使得设备102、116中的每一者都包括视频编码和解码组件。因此，系统100可以支持在视频设备102、116之间的单向或双向视频传输，例如，以用于视频流式传输、视频回放、视频广播或视频电话。

通常，视频源104表示视频数据(即原始的未经编码的视频数据)的源，并且将视频数据的连续的一系列图片(也被称为“帧”)提供给视频编码器200，视频编码器200对用于图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频存档单元、和/或用于从视频内容提供者接收视频的视频馈送接口。作为另外的替代方式，视频源104可以生成基于计算机图形的数据作为源视频，或者生成实时视频、被存档的视频和计算机生成的视频的组合。在每种情况下，视频编码器200可以对被捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图像从所接收的次序(有时被称为“显示次序”)重新排列为用于编码的编码次序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出到计算机可读介质110上，以便由例如目的地设备116的输入接口122接收和/或取回。

源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。另外或可替代地，存储器106、120可以存储可由例如视频编码器200和视频解码器300分别执行的软件指令。尽管在该示例中将存储器106和存储器120与视频编码器200和视频解码器300分开示出，但是应当理解的是，视频编码器200和视频解码器300也可以包括用于在功能上类似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并且输入到视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、经解码和/或经编码的视频数据。

计算机可读介质110可以表示能够将经编码的视频数据从源设备102移动到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，其使得源设备102能够例如经由射频网络或基于计算机的网络，来实时地向目的地设备116直接发送经编码的视频数据。输出接口108可以根据诸如无线通信协议之类的通信标准，来对包括经编码的视频数据的传输信号进行调制，并且输入接口122可以根据诸如无线通信协议之类的通信标准，来对所接收的传输信息进行解调。通信介质可以包括任何无线或有线通信介质，诸如射频(RF)频谱或一条或多条物理传输线路。通信介质可以形成诸如以下各项的基于分组的网络的一部分：局域网、广域网、或诸如互联网之类的全球网络。通信介质可以包括路由器、交换机、基站、或对于促进从源设备102到目的地设备116的通信而言可以有用的任何其它设备。

在一些示例中，计算机可读介质110可以包括存储设备112。源设备102可以将经编码的数据从输出接口108输出到存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112存取经编码的数据。存储设备112可以包括各种分布式或本地存取的数据存储介质中的任何一种，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或用于存储经编码的视频数据的任何其它适当的数字存储介质。

在一些示例中，计算机可读介质110可以包括文件服务器114或者可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。源设备102可以将经编码的视频数据输出到文件服务器114或者可以存储由源设备102生成的经编码的视频的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114存取被存储的视频数据。文件服务器114可以是能够存储经编码的视频数据并且将该经编码的视频数据发送给目的地设备116的任何类型的服务器设备。文件服务器114可以表示网页服务器(例如，用于网站)、文件传输协议(FTP)服务器、内容传送网络(CDN)设备、或网络附加存储(NAS)设备。目的地设备116可以通过任何标准数据连接(包括互联网连接)来从文件服务器114存取经编码的视频数据。这可以包括适于存取被存储在文件服务器114上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线路(DSL)、电缆调制解调器等)、或这两者的组合。文件服务器114和输入接口122可以被配置为根据流式传输协议、下载传输协议或其组合进行操作。

输出接口108和输入接口122可以表示无线发射机/接收机、调制解调器、有线联网组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何标准进行操作的无线通信组件、或其它物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4G、4G-LTE(长期演进)、改进的LTE、5G等)来传输数据(诸如经编码的视频数据)。在其中输出接口108包括无线发射机的一些示例中，输出接口108和输入接口122可以被配置为根据其它无线标准(诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigBee^TM)、Bluetooth^TM标准等)来传输数据(诸如经编码的视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括用于执行被赋予视频编码器200和/或输出接口108的功能的SoC设备，并且目的地设备116可以包括用于执行被赋予视频解码器300和/或输入接口122的功能的SoC设备。

本公开内容的技术可以应用于视频编码，以支持各种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、互联网流式视频传输(诸如基于HTTP的动态自适应流式传输(DASH))、被编码到数据存储介质上的数字视频、对被存储在数据存储介质上的数字视频的解码、或其它应用。

目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的信令信息(其也被视频解码器300使用)，诸如具有描述视频块或其它编码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118将经解码的视频数据的经解码的图片显示给用户。显示设备118可以表示各种显示设备中的任何一种，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或另一种类型的显示设备。

尽管在图1中未示出，但是在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元或其它硬件和/或软件，以处理包括在公共数据流中的音频和视频两者的经复用的流。如果适用，MUX-DEMUX单元可以遵循ITU H.223复用器协议或其它协议(诸如用户数据报协议(UDP))。

视频编码器200和视频解码器300各自可以被实现为各种适当的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件、或其任何组合。当所述技术部分地用软件实现时，设备可以将用于软件的指令存储在适当的非暂时性计算机可读介质中，并且使用一个或多个处理器来执行在硬件中的指令以执行本公开内容的技术。视频编码器200和视频解码器300中的每一者可以被包括在一个或多个编码器或解码器中，编码器或解码器中的任一者可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器、和/或无线通信设备(诸如蜂窝电话)。

视频编码器200和视频解码器300可以根据视频编码标准(诸如ITU-T H.265(也被称为高效率视频编码(HEVC)标准)或对其的扩展(诸如多视图或可伸缩视频编码扩展))进行操作。替代地，视频编码器200和视频解码器300可以根据其它专有或行业标准(诸如ITU-T H.266标准，也被称为多功能视频编码(VVC))进行操作。VVC标准的草案是在以下各项中描述的：Bross等人，“Versatile Video Coding(Draft 6)”，ITU-T SG 16WP 3和ISO/IECJTC 1/SC 29/WG 11的联合视频专家组(JVET)，第15次会议，瑞典哥德堡，2019年7月3-12日，JVET-O2001-vB(下文中称为“VVC草案6”)；以及Bross等人，“Versatile Video Coding(Draft 9)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)，通过电话的第18次会议，2020年4月15-24日，JVET-R2001-v8(下文中称为“VVC草案9”)。然而，本公开内容的技术不限于任何特定的编码标准。

通常，视频编码器200和视频解码器300可以执行对图片的基于块的编码。术语“块”通常指代包括要被处理的(例如，被编码、被解码或在编码和/或解码过程中要以其它方式使用的)数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行编码。也就是说，并不是对用于图片的样本的红色、绿色和蓝色(RGB)数据进行编码，视频编码器200和视频解码器300可以对亮度和色度分量进行编码，其中，色度分量可以包括红色和蓝色色相色度分量两者。在一些示例中，视频编码器200在进行编码之前将所接收的经RGB格式化的数据转换为YUV表示，并且视频解码器300将YUV表示转换为RGB格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。

概括而言，本公开内容可以涉及对图片的编码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开内容可以涉及对图片的块的编码以包括对用于块的数据进行编码或解码(例如，预测和/或残差编码)的过程。经编码的视频比特流通常包括用于表示编码决策(例如，编码模式)以及将图片分割为块的语法元素的一系列值。因此，关于对图片或块的编码的引用通常应当被理解为用于形成图片或块的语法元素的编码值。

HEVC定义了各种块，包括编码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编码装置(诸如视频编码器200)根据四叉树结构来将编码树单元(CTU)分割为CU。也就是说，视频编码装置将CTU和CU分割为四个相等的、不重叠的正方形，并且四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或多个PU和/或一个或多个TU。视频编码装置可以进一步分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示对TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。经帧内预测的CU包括帧内预测信息，诸如帧内模式指示。

作为另一示例，视频编码器200和视频解码器300可以被配置为根据VVC进行操作。根据VVC，视频编码装置(诸如视频编码器200)将图片分割为多个编码树单元(CTU)。视频编码器200可以根据树结构(诸如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构)分割CTU。QTBT结构去除了多种分割类型的概念，诸如在HEVC的CU、PU和TU之间的分隔。QTBT结构包括两个级别：根据四叉树分割而被分割的第一级、以及根据二叉树分割而被分割的第二级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编码单元(CU)。

在MTT分割结构中，可以使用四叉树(QT)分割、二叉树(BT)分割以及一种或多种类型的三叉树(TT)分割(也被称为三元树(TT))来对块进行分割。三叉树或三元树分割是其中块被分为三个子块的分割。在一些示例中，三叉树或三元树分割将块划分为三个子块，而不通过中心划分原始块。MTT中的分割类型(例如，QT、BT和TT)可以是对称的或不对称的。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度和色度分量中的每一者，而在其它示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如用于亮度分量的一个QTBT/MTT结构和以及用于两个色度分量的另一个QTBT/MTT结构(或者用于相应色度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可以被配置为使用每HEVC的四叉树分割、QTBT分割、MTT分割、或其它分割结构。为了解释的目的，关于QTBT分割给出了本公开内容的技术的描述。然而，应当理解的是，本公开内容的技术还可以应用于被配置为使用四叉树分割或者也其它类型的分割的视频编码装置。

可以以各种方式在图片中对块(例如，CTU或CU)进行分组。作为一个示例，砖块(brick)可以指代在图片中的特定瓦片(tile)内的CTU行的矩形区域。瓦片可以是在图片中的特定瓦片列和特定瓦片行内的CTU的矩形区域。瓦片列指代CTU的矩形区域，其具有等于图片高度的高度以及由语法元素(例如，诸如在图片参数集中)指定的宽度。瓦片行指代CTU的矩形区域，其具有由语法元素(例如，诸如在图片参数集中)指定的高度以及等于图片宽度的宽度。

在一些示例中，可以将瓦片分割为多个砖块，每个砖块可以包括瓦片内的一个或多个CTU行。没有被分割为多个砖块的瓦片也可以被称为砖块。然而，作为瓦片的真实子集的砖块可以不被称为瓦片。

图片中的砖块也可以以切片被排列。切片可以是图片的整数个砖块，其可以唯一地被包含在单个网络抽象层(NAL)单元中。在一些示例中，切片包括多个完整的瓦片或者仅包括一个瓦片的完整砖块的连续序列。

本公开内容可以互换地使用“NxN”和“N乘N”来指代块(诸如CU或其它视频块)在垂直和水平维度方面的样本维度，例如，16x16个样本或16乘16个样本。通常，16x16 CU在垂直方向上将具有16个样本(y＝16)，并且在水平方向上将具有16个样本(x＝16)。同样地，NxNCU通常在垂直方向上具有N个样本，并且在水平方向上具有N个样本，其中N表示非负整数值。CU中的样本可以按行和列来排列。此外，CU不一定需要在水平方向上具有与在垂直方向上相同的数量的样本。例如，CU可以包括NxM个样本，其中M不一定等于N。

视频编码器200对用于CU的表示预测和/或残差信息以及其它信息的视频数据进行编码。预测信息指示将如何预测CU以便形成用于CU的预测块。残差信息通常表示在编码之前的CU的样本与预测块之间的逐样本差。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成用于CU的预测块。帧间预测通常指代根据先前编码的图片的数据来预测CU，而帧内预测通常指代根据同一图片的先前编码的数据来预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索，以识别例如在CU与参考块之间的差异方面与CU紧密匹配的参考块。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)、或其它这种差计算来计算差度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。

VVC还可以提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则的运动类型)的两个或更多个运动矢量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。VVC可以提供六十七种帧内预测模式，包括各种方向性模式、以及平面模式和DC模式。通常，视频编码器200选择帧内预测模式，帧内预测模式描述要根据其来预测当前块(例如，CU的块)的样本的、当前块的相邻样本。假定视频编码器200以光栅扫描次序(从左到右、从上到下)对CTU和CU进行编码，则这样的样本通常可以是在与当前块相同的图片中在当前块的上方、左上方或左侧的。

视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动矢量预测(AMVP)或合并模式来对运动矢量进行编码。视频编码器200可以使用类似的模式来对用于仿射运动补偿模式的运动矢量进行编码。

在诸如对块的帧内预测或帧间预测之类的预测之后，视频编码器200可以计算用于该块的残差数据。残差数据(诸如残差块)表示在块与用于该块的预测块之间的逐样本差，该预测块是使用对应的预测模式来形成的。视频编码器200可以将一个或多个变换应用于残差块，以在变换域中而非在样本域中产生经变换的数据。例如，视频编码器200可以将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可以在第一变换之后应用二次变换，诸如依赖于模式相关的不可分离二次变换(MDNSST)、信号相关变换、Karhunen-Loeve变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。

如上所述，在任何变换以产生变换系数之后，视频编码器200可以执行对变换系数的量化。量化通常指代如下的过程：在该过程中，对变换系数进行量化以可能减少用于表示变换系数的数据量，从而提供进一步的压缩。通过执行量化过程，视频编码器200可以减小与一些或所有变换系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特的值向下舍入为m比特的值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对要被量化的值的按位右移。

在量化之后，视频编码器200可以扫描变换系数，从包括经量化的变换系数的二维矩阵产生一维矢量。可以将扫描设计为将较高能量(并且因此较低频率)变换系数放在矢量的前面，并且将较低能量(并且因此较高频率)变换系数放在矢量的后面。在一些示例中，视频编码器200可以利用预定义的扫描次序来扫描经量化的变换系数以产生经串行化的矢量，并且然后对矢量的经量化的变换系数进行熵编码。在其它示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术编码(CABAC)来对以一维矢量表示变换系数的语法元素进行熵编码。视频编码器200还可以对用于描述与经编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码时使用。

为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给要被发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以是基于被分配给符号的上下文的。

视频编码器200还可以例如在图片报头、块报头、切片报头中为视频解码器300生成语法数据(诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据)、或其它语法数据(诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))。同样地，视频解码器300可以对这样的语法数据进行解码以确定如何解码对应的视频数据。

以这种方式，视频编码器200可以生成比特流，其包括经编码的视频数据，例如，描述将图片分割为块(例如，CU)以及用于该块的预测和/或残差信息的语法元素。最终，视频解码器300可以接收比特流并且对经编码的视频数据进行解码。

通常，视频解码器300执行与由视频编码器200执行的过程相反的过程，以对比特流的经编码的视频数据进行解码。例如，视频解码器300可以使用CABAC，以与视频编码器200的CABAC编码过程基本上类似的、但是相反的方式来对用于比特流的语法元素的值进行解码。语法元素可以定义用于将图片分割为CTU的分割信息、以及根据对应的分割结构(诸如QTBT结构)对每个CTU的分割，以定义CTU的CU。语法元素还可以定义用于视频数据的块(例如，CU)的预测和残差信息。

残差信息可以由例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以重现用于该块的残差块。视频解码器300使用经信号通知的预测模式(帧内预测或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成用于该块的预测块。视频解码器300然后可以对预测块和残差块(在逐个样本的基础上)进行组合以重现原始块。视频解码器300可以执行额外处理，诸如执行去块化处理以减少沿着块的边界的视觉伪影。

为了减少用于表示残差块的数据量，视频编码装置(例如，视频编码器200或视频解码器300)可以使用LFNST索引来应用LFNST。LFNST索引可以由至少包括第一仓和第二仓的N个仓来表示。例如，视频解码器可以对用于LFNST索引的第一仓进行上下文解码以确定针对当前块是启用还是禁用LFNST，并且对用于LFNST索引的第二仓进行旁路解码以确定要被应用的LFNST的类型。以此方式，视频编码装置可以潜在地减少用于发送视频数据的数据量，而在视频数据的预测准确度方面具有很小损失或者没有损失。

根据本公开内容的技术，视频编码器200可以被配置为基于用于当前块的预测块来生成用于当前块的残差块，并且确定LFNST索引。视频编码器200可以被配置为将可分离变换应用于残差块以产生可分离变换系数，并且使用LFNST索引来将LFNST应用于可分离变换系数以产生变换系数。视频编码器200可以被配置为对变换系数和用于LFNST索引的N个仓进行编码以产生经编码的视频数据。N个仓可以包括第一仓和第二仓。为了对N个仓进行编码，视频编码器200可以被配置为对N个仓中的每个仓进行上下文编码。视频编码器200可以被配置为输出经编码的数据。

视频解码器300可以被配置为接收用于当前块的经编码的数据，并且根据经编码的数据来解码用于LFNST索引的N个仓。N个仓可以包括第一仓和第二仓。为了解码N个仓，视频解码器300可以被配置为对N个仓中的每个仓进行上下文解码。视频解码器300可以被配置为确定使用N个仓来确定LFNST索引，并且对经编码的数据进行解码以生成变换系数。视频解码器300可以被配置为使用LFNST索引来将逆LFNST应用于变换系数以产生用于当前块的残差块，并且使用用于当前块的残差块和预测块来重构视频数据的当前块。

本公开内容通常可能涉及“用信号通知”某些信息(诸如语法元素)。术语“用信号通知”通常可以指代对用于语法元素的值和/或用于对经编码的视频数据进行解码的其它数据的传送。也就是说，视频编码器200可以在比特流中用信号通知用于语法元素的值。通常，用信号通知指代在比特流中生成值。如上所述，源设备102可以基本上实时地或不是实时地(诸如可能在将语法元素存储到存储设备112以供目的地设备116稍后取回时发生)将比特流传输到目的地设备116。

图2A和图2B是示出示例四叉树二叉树(QTBT)结构130以及对应的编码树单元(CTU)132的概念图。实线表示四叉树拆分，而虚线表示二叉树拆分。在二叉树的每个拆分(即非叶)节点中，用信号通知一个标记以指示使用哪种拆分类型(即，水平或垂直)，在该示例中，0指示水平拆分，而1指示垂直拆分。对于四叉树拆分，由于四叉树节点将块水平地并且垂直地拆分为具有相等大小的4个子块，因此无需指示拆分类型。因此，视频编码器200可以对以下各项进行编码，以及视频解码器300可以对以下各项进行解码：用于QTBT结构290的区域树级别(即第一级别)(即实线)的语法元素(诸如拆分信息)、以及用于QTBT结构290的预测树级别(即第二级别)(即虚线)的语法元素(诸如拆分信息)。视频编码器200可以对用于由QTBT结构290的终端叶节点表示的CU的视频数据(诸如预测和变换数据)进行编码，以及视频解码器300可以对上述视频数据进行解码。

通常，图2B的CTU 132可以与定义与QTBT结构130的处于第一和第二级别的节点相对应的块的大小的参数相关联。这些参数可以包括CTU大小(以样本表示CTU 132的大小)、最小四叉树大小(MinQTSize，其表示最小允许四叉树叶节点大小)、最大二叉树大小(MaxBTSize，其表示最大允许二叉树根节点大小)、最大二叉树深度(MaxBTDepth，其表示最大允许二叉树深度)、以及最小二叉树大小(MinBTSize，其表示最小允许二叉树叶节点大小)。

QTBT结构的与CTU相对应的根节点可以在QTBT结构的第一级别处具有四个子节点，每个子节点可以是根据四叉树分割来分割的。也就是说，第一级别的节点是叶节点(没有子节点)或者具有四个子节点。QTBT结构130的示例将这样的节点表示为包括具有实线分支的父节点和子节点。如果第一级别的节点不大于最大允许二叉树根节点大小(MaxBTSize)，则可以通过相应的二叉树对这些节点进行进一步分割。可以对一个节点的二叉树拆分进行迭代，直到从拆分产生的节点达到最小允许二叉树叶节点大小(MinBTSize)或最大允许二叉树深度(MaxBTDepth)。QTBT结构130的示例将这样的节点表示为具有虚线分支。二叉树叶节点被称为编码单元(CU)，其用于预测(例如，图片内或图片间预测)和变换，而不进行任何进一步分割。如上所讨论的，CU也可以被称为“视频块”或“块”。

在QTBT分割结构的一个示例中，CTU大小被设置为128x128(亮度样本和两个对应的64x64色度样本)，MinQTSize被设置为16x16，MaxBTSize被设置为64x64，MinBTSize(对于宽度和高度两者)被设置为4，并且MaxBTDepth被设置为4。首先对CTU应用四叉树分割以生成四叉树叶节点。四叉树叶节点可以具有从16x16(即MinQTSize)到128x128(即CTU大小)的大小。如果四叉树叶节点为128x128，则由于该大小超过MaxBTSize(即，在该示例中为64x64)，因此其将不通过二叉树进一步拆分。否则，四叉树叶节点将通过二叉树进一步分割。因此，四叉树叶节点也是用于二叉树的根节点，并且具有为0的二叉树深度。当二叉树深度达到MaxBTDepth(在该示例中为4)时，不允许进一步拆分。当二叉树节点具有等于MinBTSize(在该示例中为4)的宽度时，其意味着不允许进一步的垂直拆分。类似地，具有等于MinBTSize的高度的二叉树节点意味着针对该二叉树节点不允许进一步的水平拆分。如上所述，二叉树的叶节点被称为CU，并且根据预测和变换而被进一步处理，而无需进一步分割。

图3是示出可以执行本公开内容的技术的示例视频编码器200的框图。图3是出于解释的目的而提供的，并且不应当被认为对在本公开内容中泛泛地举例说明和描述的技术进行限制。出于解释的目的，本公开内容在诸如HEVC视频编码标准和开发中的H.266视频编码标准之类的视频编码标准的背景下描述了视频编码器200。然而，本公开内容的技术不限于这些视频编码标准，并且通常适用于视频编码和解码。

在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。此外，视频编码器200可以包括额外或替代的处理器或处理电路以执行这些和其它功能。

视频数据存储器230可以存储要由视频编码器200的组件来编码的视频数据。视频编码器200可以从例如视频源104(图1)接收被存储在视频数据存储器230中的视频数据。DPB 218可以充当参考图片存储器，其存储参考视频数据以在由视频编码器200对后续视频数据进行预测时使用。视频数据存储器230和DPB 218可以由各种存储器设备中的任何一种形成，诸如动态随机存取存储器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻性RAM(RRAM)、或其它类型的存储器设备。视频数据存储器230和DPB 218可以由相同的存储器设备或单独的存储器设备来提供。在各个示例中，视频数据存储器230可以与视频编码器200的其它组件在芯片上(如图所示)，或者相对于那些组件在芯片外。

在本公开内容中，对视频数据存储器230的引用不应当被解释为限于在视频编码器200内部的存储器(除非如此具体地描述)，或者不限于在视频编码器200外部的存储器(除非如此具体地描述)。确切而言，对视频数据存储器230的引用应当被理解为存储视频编码器200接收以用于编码的视频数据(例如，用于要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供对来自视频编码器200的各个单元的输出的临时存储。

示出了图3的各个单元以帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路、或其组合。固定功能电路指代提供特定功能并且预先设置在可以执行的操作上的电路。可编程电路指代可以被编程以执行各种任务并且在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，这些单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。

视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程内核。在其中使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并且执行的软件的目标代码，或者在视频编码器200内的另一存储器(未示出)可以存储这样的指令。

视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230取回视频数据的图片，并且将视频数据提供给残差生成单元204和模式选择单元202。在视频数据存储器230中的视频数据可以是要被编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括额外功能单元，其根据其它预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)，仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码通路(pass)，以测试编码参数的组合以及针对这样的组合所得到的率失真值。编码参数可以包括将CTU分割为CU、用于CU的预测模式、用于CU的残差数据的变换类型、用于CU的残差数据的量化参数等。模式选择单元202可以最终选择编码参数的具有比其它测试的组合更佳的率失真值的组合。

模式选择单元202可以被配置为确定LFNST索引。例如，模式选择单元202可以基于视频数据的块的压缩率来确定针对该块是启用LFNST还是禁用LFNST。模式选择单元202可以确定要应用于块的LFNST类型。例如，当第一LFNST类型具有比第二LFNST类型大的压缩率时，模式选择单元202可以确定应用第一LFNST类型。在一些示例中，当第一LFNST类型不具有比第二LFNST类型大的压缩率时，模式选择单元202可以确定应用第二LFNST类型。

模式选择单元202可以被配置为基于是否针对块启用LFNST和/或基于针对该块已经选择了第一LFNST类型还是第二LFNST类型，来确定用于该块的LFNST索引。例如，模式选择单元202可以进行以下操作：当LFNST被禁用时，将LFNST索引设置为“0”；当LFNST被启用(即，未被禁用)并且第一LFNST类型将被应用时，将LFNST索引设置为“1”；以及当LFNST被启用(即，未被禁用)并且第二LFNST类型将被应用时，将LFNST索引设置为“2”。

熵编码单元220可以使用N个仓来表示LFNST索引。在一些示例中，N个仓可以包括第一仓(例如，“0”或“1”)和第二仓。熵编码单元220可以对N个仓中的每个仓进行上下文编码。也就是说，熵编码单元220可以对用于LFNST索引的第一仓和第二仓进行上下文编码。上下文编码的示例可以包括例如基于CABAC的算术编码引擎。例如，熵编码单元220可以基于上下文模型来对用于LFNST索引的第一仓进行上下文编码，所述上下文模型是基于针对用于LFNST索引的第一仓的先前上下文编码的值来更新的。相反，旁路编码可以指代其中用于仓的先前编码的值不用于确定该仓的当前值的情况。类似地，熵编码单元220可以基于上下文模型来对用于LFNST索引的第二仓进行上下文编码，所述上下文模型是基于针对用于LFNST索引的第二仓的先前上下文编码的值来更新的。例如，熵编码单元220可以进行以下操作：当LFNST索引为“0”时，将第一仓上下文编码为指示“0”；以及当LFNST索引为“1”或“2”时，将第一仓上下文编码为指示“1”。熵编码单元220可以进行以下操作：当LFNST索引为“1”时，将第二仓上下文编码为指示“0”；以及当LFNST索引为“2”时，将第二仓上下文编码为指示“1”。

视频编码器200可以将从视频数据存储器230取回的图片分割为一系列CTU，并且将一个或多个CTU封装在切片内。模式选择单元202可以根据树结构(诸如，上述HEVC的QTBT结构或四叉树结构)来分割图片的CTU。如上所述，视频编码器200可以通过根据树结构来分割CTU，从而形成一个或多个CU。这样的CU通常也可以被称为“视频块”或“块”。

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成用于当前块(例如，当前CU，或者在HEVC中为PU和TU的重叠部分)的预测块。为了对当前块进行帧间预测，运动估计单元222可以执行运动搜索以识别在一个或多个参考图片(例如，被存储在DPB 218中的一个或多个先前编码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)等，来计算表示潜在参考块将与当前块的多么类似的值。运动估计单元222通常可以使用在当前块与所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以从这些计算中识别具有最低值的参考块，其指示与当前块最紧密匹配的参考块。

运动估计单元222可以形成一个或多个运动矢量(MV)，所述运动矢量限定相对于在当前图片中的当前块的位置而言参考块在参考图片中的位置。然后，运动估计单元222可以将运动矢量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来取回参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器来对用于预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以例如通过逐样本平均或加权平均来取回用于由相应的运动矢量标识的两个参考块的数据，并且将所取回的数据进行组合。

作为另一示例，对于帧内预测或帧内预测编码，帧内预测单元226可以根据与当前块相邻的样本来生成预测块。例如，对于方向性模式，帧内预测单元226通常可以在数学上将相邻样本的值进行组合，并且跨越当前块沿着所定义的方向来填充这些计算出的值以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样本的平均值，并且生成预测块以包括针对预测块的每个样本的该得到的平均值。

模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未经编码的版本，并且从模式选择单元202接收预测块。残差生成单元204计算在当前块与预测块之间的逐样本差。所得到的逐样本差定义了用于当前块的残差块。在一些示例中，残差生成单元204还可以确定在残差块中的样本值之间的差，以使用残余差分脉冲编码调制(RDPCM)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。

在其中模式选择单元202将CU分割为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上所指出的，CU的大小可以指代CU的亮度编码块的大小，以及PU的大小可以指代PU的亮度预测单元的大小。假定特定CU的大小为2Nx2N，则视频编码器200可以支持用于帧内预测的2Nx2N或NxN的PU大小、以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称的PU大小。视频编码器200和视频解码器300还可以支持针对用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非对称分割。

在其中模式选择单元不将CU进一步分割为PU的示例中，每个CU可以与亮度编码块和对应的色度编码块相关联。如上所述，CU的大小可以指代CU的亮度编码块的大小。视频编码器200和视频解码器300可以支持2N×2N、2N×N或N×2N的CU大小。

对于其它视频编码技术(诸如块内复制模式编码、仿射模式编码和线性模型(LM)模式编码)，作为少数示例，模式选择单元202经由与编码技术相关联的相应单元来生成用于正被编码的当前块的预测块。在一些示例中(诸如调色板模式编码)，模式选择单元202可以不生成预测块，并且替代生成指示基于所选择的调色板来重构块的方式的语法元素。在这样的模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。

如上所述，残差生成单元204接收用于当前块和对应的预测块的视频数据。然后，残差生成单元204生成针对当前块的残差块。为了生成残差块，残差生成单元204计算在预测块与当前块之间的逐样本差。

变换处理单元206将一种或多种变换应用于残差块，以生成变换系数的块(本文中被称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块，以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(DCT)、方向变换、Karhunen-Loeve变换(KLT)、或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多种变换，例如，初级变换和二次变换(诸如旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。

变换处理单元206可以将可分离变换应用于由残差生成单元204输出的残差块。在该示例中，变换处理单元206可以使用LFNST索引来将LFNST应用于变换系数，以产生用于当前块的变换系数。例如，变换处理单元206可以响应于确定LFNST被启用并且LFNST被配置用于第一LFNST类型(例如，当LFNST索引为“1”时)，来应用被配置用于第一LFNST类型的LFNST，并且响应于确定LFNST被启用并且LFNST被配置用于第二LFNST类型(例如，当LFNST索引为“2”时)，来应用被配置用于第二LFNST类型的LFNST。在一些示例中，第一LFNST类型可以将在LFNST区域中的Z个最高频率系数和在LFNST区域外部的多重变换选择系数两者归零(参见图6)，以及第二LFNST类型可以仅将在LFNST区域外部的多重变换选择系数归零(参见图7)。

量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整被应用于与当前块相关联的变换系数块的量化程度。量化可能导致信息丢失，并且因此，经量化的变换系数可以具有与变换处理单元206所生成的原始变换系数相比较低的精度。

逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于经量化的变换系数块，以从变换系数块来重构残差块。重构单元214可以基于经重构的残差块和模式选择单元202所生成的预测块来产生与当前块相对应的重构块(尽管潜在地具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样本与来自模式选择单元202所生成的预测块的对应样本相加，以产生经重构的块。

滤波器单元216可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去块化操作以减少沿着CU的边缘的块状伪影。在一些示例中，可以跳过滤波器单元216的操作。

视频编码器200将经重构的块存储在DPB 218中。例如，在其中不需要滤波器单元216的操作的示例中，重构单元214可以将经重构的块存储到DPB 218中。在其中需要滤波器单元216的操作的示例中，滤波器单元216可以将经滤波的重构块存储到DPB 218中。运动估计单元222和运动补偿单元224可以从DPB 218取回由经重构的(并且潜在地经滤波的)块形成的参考图片，以对后续编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用在DPB 218中的当前图片的经重构的块来对当前图片中的其它块进行帧内预测。

通常，熵编码单元220可以对从视频编码器200的其它功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以执行上下文自适应变长编码(CAVLC)操作、CABAC操作、可变-可变(V2V)长度编码操作、基于语法的上下文自适应二进制算术编码(SBAC)操作、概率区间分割熵(PIPE)编码操作、指数哥伦布编码操作、或对数据的另一种熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下操作。

视频编码器200可以输出比特流，其包括用于切片或图片的重构块所需要的经熵编码的语法元素。具体地，熵编码单元220可以输出比特流。

关于块描述了上述操作。这样的描述应当被理解为用于亮度编码块和/或色度编码块的操作。如上所述，在一些示例中，亮度编码块和色度编码块是CU的亮度分量和色度分量。在一些示例中，亮度编码块和色度编码块是PU的亮度分量和色度分量。

在一些示例中，不需要针对色度编码块重复关于亮度编码块执行的操作。作为一个示例，不需要重复用于识别用于亮度编码块的运动矢量(MV)和参考图片的操作来用于识别用于色度块的MV和参考图片。确切而言，可以对用于亮度编码块的MV进行缩放以确定用于色度块的MV，并且参考图片可以是相同的。作为另一示例，对于亮度编码块和色度编码块，帧内预测过程可以是相同的。

视频编码器200可以表示如下的设备的示例：所述设备被配置为使用用于当前块的视频数据基于用于当前块的预测块来生成残差块，并且确定LFNST索引。视频编码器200可以被配置为将可分离变换应用于残差块以产生可分离变换系数，并且使用LFNST索引来将LFNST应用于可分离变换系数以产生变换系数。视频编码器200可以被配置为对变换系数和用于LFNST索引的N个仓进行编码以产生经编码的视频数据。N个仓可以包括第一仓和第二仓。为了对N个仓进行编码，视频编码器200可以被配置为对N个仓中的每个仓进行上下文编码。视频编码器200可以被配置为输出经编码的数据。

图4是示出可以执行本公开内容的技术的示例视频解码器300的框图。图4是出于解释的目的而提供的，并且不对在本公开内容中泛泛地举例说明和描述的技术进行限制。出于解释的目的，本公开内容根据VVC和HEVC的技术描述了视频解码器300。然而，本公开内容的技术可以由被配置用于其它视频编码标准的视频编码设备来执行。

在图4的示例中，视频解码器300包括编码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 134中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。此外，视频解码器300可以包括额外或替代的处理器或处理电路以执行这些和其它功能。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括根据其它预测模式来执行预测的额外单元。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。例如，可以从计算机可读介质110(图1)获得被存储在CPB存储器320中的视频数据。CPB存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以存储除了经编码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储经解码的图片，视频解码器300可以输出经解码的图片，和/或在解码经编码的视频比特流的后续数据或图片时使用经解码的图片作为参考视频数据。CPB存储器320和DPB 314可以由各种存储器设备中的任何一种形成，诸如DRAM(包括SDRAM)、MRAM、RRAM、或其它类型的存储器设备。CPB存储器320和DPB 314可以由相同的存储器设备或单独的存储器设备来提供。在各个示例中，CPB存储器320可以与视频解码器300的其它组件在芯片上，或者相对于那些组件在芯片外。

另外或替代地，在一些示例中，视频解码器300可以从存储器120(图1)取回经编码的视频数据。也就是说，存储器120可以如上文所讨论地利用CPB存储器320来存储数据。同样，当视频解码器300的一些或全部功能是用要被视频解码器300的处理电路执行的软件来实现时，存储器120可以存储要被视频解码器300执行的指令。

示出了图4中示出的各个单元以帮助理解由视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路、或其组合。类似于图3，固定功能电路指代提供特定功能并且预先设置在可以执行的操作上的电路。可编程电路指代可以被编程以执行各种任务并且在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，这些单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。

视频解码器300可以包括由可编程电路形成的ALU、EFU、数字电路、模拟电路和/或可编程内核。在其中由在可编程电路上执行的软件执行视频解码器300的操作的示例中，片上或片外存储器可以存储视频解码器300接收并且执行的软件的指令(例如，目标代码)。

熵解码单元302可以从CPB接收经编码的视频数据，并且对视频数据进行熵解码以重现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成经解码的视频数据。

通常，视频解码器300在逐块的基础上重构图片。视频解码器300可以单独地对每个块执行重构操作(其中，当前正在被重构(即，被解码)的块可以被称为“当前块”)。

熵解码单元302可以对定义经量化的变换系数块的经量化的变换系数的语法元素以及诸如量化参数(QP)和/或变换模式指示之类的变换信息进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的QP来确定量化程度，并且同样地，确定逆量化单元306应用的逆量化程度。逆量化单元306可以例如执行按位左移操作以对经量化的变换系数进行逆量化。逆量化单元306从而可以形成包括变换系数的变换系数块。

熵解码单元302可以对用于LFNST索引的N个仓进行解码。在一些示例中，N个仓可以包括第一仓和第二仓。熵解码单元302可以对N个仓中的每个仓进行上下文解码。也就是说，熵解码单元302可以对用于LFNST索引的第一仓和第二仓进行上下文解码。例如，熵解码单元302可以基于上下文模型来对用于LFNST索引的第一仓进行上下文解码，所述上下文模型是基于针对用于LFNST索引的第一仓的先前上下文解码的值来更新的。类似地，熵解码单元302可以基于上下文模型来对用于LFNST索引的第二仓进行上下文解码，所述上下文模型是基于针对用于LFNST索引的第二仓的先前上下文解码的值来更新的。

预测处理单元304可以被配置为使用N个仓来确定LFNST索引。例如，预测处理单元304可以进行以下操作：当第一仓为“0”时，确定LFNST索引为“0”；当第一仓为“1”并且第二仓为“0”时，确定LFNST索引为“1”；以及当第一仓为“1”并且第二仓为“1”时，确定LFNST索引为“2”。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一种或多种逆变换应用于变换系数块，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一逆变换应用于变换系数块。

逆变换处理单元308可以使用LFNST索引来将逆LFNST应用于变换系数以产生用于当前块的残差块。例如，逆变换处理单元308可以进行以下操作：当LFNST索引为“1”时，应用被配置用于第一LFNST类型的逆LFNST；以及当LFNST索引为“2”时，应用被配置用于第二LFNST类型的逆LFNST。在一些示例中，逆变换处理单元308可以在应用LFNST之后将逆可分离变换应用于变换系数以产生残差块。

此外，预测处理单元304根据由熵解码单元302进行熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是经帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示在DPB 314中的要从其取回参考块的参考图片、以及标识相对于在当前图片中的当前块的位置而言在参考图片中的参考块的位置的运动矢量。运动补偿单元316通常可以以与关于运动补偿单元224(图3)所描述的方式基本类似的方式来执行帧间预测过程。

作为另一示例，如果预测信息语法元素指示当前块是经帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图3)所描述的方式基本上类似的方式来执行帧内预测过程。帧内预测单元318可以从DPB 314取回当前块的相邻样本的数据。

重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本与预测块的对应样本相加来重构当前块。

滤波器单元312可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元312可以执行去块化操作以减少沿着经重构的块的边缘的块状伪影。不一定在所有示例中都执行滤波器单元312的操作。

视频解码器300可以将经重构的块存储在DPB 314中。例如，在其中不执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块存储到DPB 314中。在其中执行滤波器单元312的操作的示例中，滤波器单元312可以将经滤波的重构块存储到DPB 314中。如上所讨论的，DPB 314可以将参考信息(诸如用于帧内预测的当前图片以及用于后续运动补偿的先前解码的图片的样本)提供给预测处理单元304。此外，视频解码器300可以从DPB输出经解码的图片，以用于在诸如图1的显示设备118之类的显示设备上的后续呈现。

以这种方式，视频解码器300表示视频解码设备的示例，所述视频解码设备包括被配置为存储视频数据的存储器、以及一个或多个处理单元，所述一个或多个处理单元是在电路中实现的并且被配置为接收用于当前块的经编码的数据并且根据经编码的数据来对用于LFNST索引的N个仓进行解码。N个仓包括第一仓和第二仓。为了解码N个仓，视频解码器300可以被配置为对N个仓中的每个仓进行上下文解码。视频解码器300可以被配置为确定使用N个仓来确定LFNST索引，并且对经编码的数据进行解码以产生变换系数。视频解码器300可以被配置为使用LFNST索引来将逆LFNST应用于变换系数以产生用于当前块的残差块，并且使用用于当前块的残差块和预测块来重构视频数据的当前块。

本公开内容与变换编码相关，变换编码是大多数现代视频压缩标准的一部分，诸如但不限于M.Wien，High Effciency Video Coding:Coding Tools and Specification，Springer出版社，柏林，2015。本公开内容描述了可以在视频编码装置中用于指定在多个变换候选中选择的用于编码/解码的变换的各种变换信令过程。视频编码装置(例如，视频编码器200和视频解码器300)可以被配置为基于诸如帧内模式类型的可用辅助信息来应用本文描述的技术，以减少信令开销，并且因此可以提高编码效率和/或可以使用在高级视频编解码器(包括HEVC的扩展和诸如VVC之类的下一代视频编码标准)中使用。

在HEVC之前的视频编码标准中，在垂直地和水平地两者情况下使用DCT-2的情况下，仅使用固定的可分离变换。在HEVC中，除了DCT-2之外，还针对4x4块采用DST-7作为固定的可分离变换。

通过引用方式各自并入本文的美国专利第10,306,229号、美国专利申请公开第2018/0020218号以及美国专利申请第16/426,749号描述了多重变换选择(MTS)方法。MTS先前被称为自适应多重变换(AMT)，这仅是名称改变，而其技术可以是相同的。

在美国专利申请第16/426,749号中描述的MTS的示例已经在ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)的联合实验模型(JEM-7.0)(JEM软件(https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0))中采用，并且后来MTS的简化版本在VVC中被采用(以下被称为“JEM-7.0”)。

在JEM-7.0中使用了在图5中所示的低频不可分离变换(LFNST)以进一步提高MTS的编码效率，其中，LFNST的实现是基于在美国专利申请公开第US 2017/0238013号中描述的示例，所述美国专利申请通过引用的方式并入本文(也参见美国专利申请公开第US2017/0094313号、美国专利申请公开第US 2017/0094314号、美国专利第10,349,085号和专利申请第16/364,007号，每个申请通过引用的方式并入本文，以用于替代或另外的设计和其它示例)。最近，LFNST已经在JVET-N0193，Reduced Secondary Transform(RST)(CE6-3.1)(在线可得到：http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0193-v5.zip)中采用。LFNST先前被称为不可分离二次变换(NSST)或二次变换，其中，LFNST、NSST和二次变换可以是相同的。

图5是示出在编码器和解码器侧的低频不可分离变换(LFNST)变换的概念图，其中，LFNST变换是在可分离变换与量化之间的阶段。在图5的示例中，视频编码器200(例如，视频编码器200的变换处理单元206)可以将可分离变换440应用于残差块的系数以生成可分离变换系数，并且然后可以将LFNST 442应用于可分离变换系数以生成变换系数。视频编码器200(例如，视频编码器200的量化单元208)可以将量化444应用于变换系数以生成经量化的变换系数。

在图5的示例中，视频解码器300(或者更具体地，视频解码器300的逆量化单元306)可以将逆量化450应用于经量化的变换系数以生成变换系数。在该示例中，视频解码器300(或者更具体地，视频解码器300的逆变换处理单元308)可以将逆LFNST 452应用于变换系数以生成可分离变换系数，并且可以将逆可分离变换454应用于可分离变换系数以生成残差块。可分离变换440可以将残差块的残差样本从像素域转换为在频域中的可分离变换系数。逆可分离变换454可以将频域中的可分离变换系数转换为在像素域中的残差块的残差样本。LFNST 442可以用于对变换系数的更好的能量压缩。

图6是示出通过应用LFNST并且将在LFNST区域460中的Z个最高频率系数和在LFNST区域460外部的MTS系数两者归零而获得的LFNST系数的概念图。图7是示出通过应用LFNST并且仅将在LFNST区域462外部的MTS系数归零的LFNST系数的概念图。

在VVC草案6中的当前LFNST设计中，视频编码器(例如，视频编码器200)可以执行归零操作，所述操作保留通过尺寸为N(例如，对于8x8，N＝64)的LFNST而变换的K个最低频率系数，并且视频解码器(例如，视频解码器300)通过仅使用那K个系数来重构可分离系数(例如，MTS系数)。在VVC草案6中，这样的归零过程是规范地仅针对尺寸4x4和8x8的LFNST来进行的，其中，视频解码器300隐式地推断(例如，在没有信令的情况下确定)其余N-K个较高频率系数被设置为零，并且K个LFNST系数用于重构。图6和图7示出了在应用LFNST之后获得的变换系数，其中，在可分离变换系数的子集的顶部(例如，在被标记为“LFNST区域”的子块内的MTS系数)进行归零，而其余系数(例如，在被标记为“LFNST区域”的子块之外的MTS系数)规范地被设置为零。如在美国专利申请公开第US 2017/0094313号、美国专利申请公开第US 2017/0094314号以及专利申请第62/849,689号(每个申请通过引用的方式并入本文)中讨论的，视频编码器200或视频解码器300可以通过首先经由预定义的扫描/排序将二维块(例如，图6的LFNST区域460或者图7的LFNST区域462)转换为系数的一维列表(或矢量)，并且然后对系数子集应用变换，来执行LFNST。

在VVC草案6中，LFNST索引可以为0、1或2，使得LFNST索引是使用2个仓来二进制化的。也就是说，视频编码器200可以对用于LFNST索引的N个仓进行编码以产生经编码的数据，其中，N个仓包括第一仓和第二仓(即，两个仓)。类似地，视频解码器300可以对用于LFNST索引的N个仓进行解码以产生经解码的数据，其中，N个仓包括第一仓和第二仓(即，两个仓)。第一仓是上下文编码的，以及第二仓是旁路编码的。本公开内容描述了用于减少LFNST索引/标志的信令开销的各种过程。在一些示例中，各种过程可以是取决于帧内模式的(例如，取决于被应用于对当前块进行编码或解码的帧内模式的类型)。尽管在本公开内容中公开的信令过程被定制用于LFNST，但是该信令过程不限于LFNST，并且可以被应用于减少与变换相关的语法的信令。

本公开内容描述了可以单独地使用或以任何组合使用的以下变换信令方法。

视频编码器200和视频解码器300可以被配置为使用N个仓来对LFNST标志/索引进行编码。例如，视频编码器200和视频解码器300可以被配置为(例如，使用基于CABAC的算术编码引擎)对每个仓进行上下文编码(例如，编码或解码)。作为一个示例，视频编码器200和视频解码器300可以被配置为对用于LFNST标志/索引的每个仓进行上下文编码。也就是说，视频编码器200可以被配置为对用于LFNST索引的N个仓进行编码，其中，N个仓包括第一仓和第二仓，并且其中，为了对N个仓进行编码，视频编码器200被配置为对N个仓中的每个仓进行上下文编码。类似地，视频解码器300可以被配置为对用于LFNST索引的N个仓进行解码，其中，N个仓包括第一仓和第二仓，并且其中，为了对N个仓进行解码，视频解码器300被配置为对N个仓中的每个仓进行上下文解码。

视频编码器200和视频解码器300可以被配置为对仓的子集进行上下文编码，而这些仓中的其余仓可以被旁路编码。例如，视频编码器200和视频解码器300可以被配置为对用于LFNST标志/索引的仓的子集中的每个仓进行上下文编码，其中，所述子集少于用于LFNST标志/索引的所有仓。在一些示例中，视频编码器200和视频解码器300可以被配置为对每个仓进行旁路编码。

下文描述了用于对任何仓进行基于上下文的编码的一些示例技术。在一些示例中，视频编码器200和视频解码器300可以被配置为使用与亮度和色度通道相关联的单独的上下文。例如，视频编码器200可以响应于确定N个仓中的第一仓被分配给亮度通道，来利用第一上下文对N个仓中的第一仓进行编码。类似地，视频编码器200可以响应于确定N个仓中的第二仓被分配给亮度通道，来利用第一上下文对N个仓中的第二仓进行编码。在一些示例中，视频编码器200可以响应于确定N个仓中的第一仓被分配给色度通道，来利用与第一上下文不同的第二上下文对N个仓中的第一仓进行编码。类似地，视频编码器200可以响应于确定N个仓中的第二仓被分配给色度通道，来利用与第一上下文不同的第二上下文对N个仓中的第二仓进行编码。

视频解码器300可以响应于确定N个仓中的第一仓被分配给亮度通道，来利用第一上下文对N个仓中的第一仓进行解码。类似地，视频解码器300可以响应于确定N个仓中的第二仓被分配给亮度通道，来利用第一上下文对N个仓中的第二仓进行编码。在一些示例中，视频解码器300可以响应于确定N个仓中的第一仓被分配给色度通道，来利用与第一上下文不同的第二上下文对N个仓中的第一仓进行编码。类似地，视频解码器300可以响应于确定N个仓中的第二仓被分配给色度通道，来利用与第一上下文不同的第二上下文来对N个仓中的第二仓进行编码。

视频编码器200和视频解码器300可以被配置为针对不同类型的块分割模式(例如，双树、单树或其它TU/CU级别分割)来使用单独的上下文。

视频编码器200和视频解码器300可以被配置为针对不同的帧内模式来使用单独的上下文(例如，参见图8和图9)。图8是示出65种角度帧内模式470的概念图。图9是示出除了65种模式之外的具有广角472(-1至-10以及67至76)的角度模式的概念图。

在一些示例中，视频编码器200和视频解码器300可以被配置为针对平面模式使用一个上下文，并且针对这些模式中的其余模式使用另一上下文。在一些示例中，视频编码器200和视频解码器300可以被配置为针对平面模式和DC模式共享单个上下文。例如，视频编码器200和视频解码器300可以被配置为针对平面模式和DC模式两者使用特定的上下文。

视频编码器200和视频解码器300可以被配置为使用共享单个上下文的角度模式子集。具有类似朝向的角度模式可以共享单个上下文，其中，相似度可以是对在角度模式之间的接近度的度量。作为一示例，门限值T可以指定被分组为共享单个上下文的相邻模式的数量。例如，T＝3可以指示与水平模式最接近的4种模式(即，图9中的模式18)可以共享上下文(即，从15至21的模式可以共享相同的上下文)。

视频编码器200和视频解码器300可以被配置为将交替的模式索引分组为共享相同的上下文。例如，视频编码器200和视频解码器300可以被配置为使得偶数模式(…-4,-2,0,2,4,…)可以共享一个上下文，并且奇数模式(…-3,-1,1,3,…)可以使用另一上下文。视频编码器200和视频解码器300可以被配置为使用查找表来确定共享相同上下文的模式的组，其中，每个索引对应于一种模式。例如，表＝[0,0,1,2,1,2,1,2,…,1,2]显示出具有索引0的上下文用于平面和DC。上下文1和2分别用于偶数和奇数角度模式。

为了对仓进行编码，视频编码器200和视频解码器300可以被配置为针对所有帧内模式使用单个上下文，但是仓值可以根据模式信息来预测或修改。也就是说，视频编码器200可以被配置为使用针对所有帧内模式相同的上下文，并且使用该上下文，基于针对N个仓中的相应仓的帧内模式信息来对仓值进行编码。视频解码器300可以被配置为使用针对所有帧内模式相同的上下文，并且基于针对N个仓中的相应仓的帧内模式信息来预测仓值。

视频编码器200和视频解码器300可以被配置为翻转针对某些模式的仓值0或1(例如，可以将0翻转为值1)。例如，视频编码器200和视频解码器300可以被配置为针对奇数帧内模式来将仓的值0(相对于1)翻转为1(相对于0)，而针对偶数模式，视频编码器200和视频解码器300可以对值进行编码(例如，解码或编码)，而无需任何翻转。

例如，视频编码器200可以被配置为确定针对用于对当前块进行编码的帧内模式的值，以及确定用于N个仓中的最后一个仓(例如，第二仓)的值。在该示例中，视频编码器200可以被配置为基于针对帧内模式的值来对N个仓中的最后一个仓的值进行上下文编码。

视频解码器300可以被配置为确定针对用于对当前块进行解码的帧内模式的值，并且对用于N个仓中的最后一个仓的值进行上下文解码以生成解码值。在该示例中，视频解码器300可以被配置为基于解码值和针对帧内模式的值来确定最后一个仓的值。

例如，视频编码器200可以被配置为确定针对帧内模式的值是否为奇数。响应于确定针对帧内模式的值不为奇数，视频编码器200可以对最后一个仓的值进行上下文编码。例如，视频编码器200可以响应于确定针对帧内模式的值不是奇数来进行以下操作：当最后一个仓的值是“0”时，将编码值上下文编码为“0”；以及当最后一个仓的值为“1”时，将编码值上下文编码为“1”。然而，响应于确定针对帧内模式的值为奇数，视频编码器200可以对与最后一个仓的值相反的值进行上下文编码。例如，视频编码器200可以响应于确定针对帧内模式的值是奇数来进行以下操作：当最后一个仓的值是“0”时，将编码值上下文编码为“1”；以及当最后一个仓的值为“1”时，将编码值上下文编码为“0”。

视频解码器300可以被配置为确定针对帧内模式的值是否为奇数。响应于确定针对帧内模式的值不为奇数，视频解码器300可以将最后一个仓的值预测为解码值。例如，视频解码器300可以响应于确定针对帧内模式的值不为奇数来进行以下操作：当针对最后一个仓的解码值为“0”时，将最后一个仓的值预测为“0”；以及当针对最后一个仓的解码值为“1”时，将最后一个仓的值预测为“1”。然而，响应于确定针对帧内模式的值为奇数，视频解码器300可以将最后一个仓的值预测为与解码值相反的值。例如，视频解码器300可以响应于确定针对帧内模式的值为奇数来进行以下操作：当针对最后一个仓的解码值为“0”时，将最后一个仓的值预测为“1”；以及当针对最后一个仓的解码值为“1”时，将最后一个仓的值预测为“0”。

视频编码器200可以被配置为确定针对帧内模式的值是否为偶数。响应于确定针对帧内模式的值不为偶数，视频编码器200可以将编码值上下文编码为最后一个仓的值。例如，视频编码器200可以响应于确定针对帧内模式的值不为偶数来进行以下操作：当最后一个仓的值为“0”时，将编码值上下文编码为“0”；以及当最后一个仓的值为“1”时，将编码值上下文编码为“1”。然而，响应于确定针对帧内模式的值为偶数，视频编码器200可以将编码值上下文编码为与最后一个仓的值相反的值。例如，视频编码器200可以响应于确定针对帧内模式的值为偶数来进行以下操作：当最后一个仓的值是“0”时，将编码值上下文编码为“1”；以及当最后一个仓的值为“1”时，将编码值上下文编码为“0”。

视频解码器300可以被配置为确定针对帧内模式的值是否为偶数。响应于确定针对帧内模式的值不为偶数，视频解码器300可以将最后一个仓的值预测为解码值。例如，视频解码器300可以响应于确定针对帧内模式的值不为偶数来进行以下操作：当针对最后一个仓的解码值为“0”时，将最后一个仓的值预测为“0”；以及当针对最后一个仓的解码值为“1”时，将最后一个仓的值预测为“1”。然而，响应于确定针对帧内模式的值为偶数，视频解码器300可以将最后一个仓的值预测为与解码值相反的值。例如，视频解码器300可以响应于确定针对帧内模式的值为偶数来进行以下操作：当针对最后一个仓的解码值为“0”时，将最后一个仓的值预测为“1”；以及当针对最后一个仓的解码值为“1”时，将最后一个仓的值预测为“0”。

在一些示例中，视频编码器200和视频解码器300可以被配置为基于帧内模式信息来引入LFNST索引预测器。例如，视频编码器200和视频解码器300可以被配置为创建查找表以将帧内预测模式映射到用作预测器的最可能的LFNST索引或LFNST内核。为了指示LFNST内核，代替直接用信号通知LFNST索引，视频编码器200和视频解码器300可以被配置为用信号通知指示索引是否等于预测器的其它信息。在二元选择的情况下(例如仅LFNST的两种选择是可能的)，视频编码器200和视频解码器300可以被配置为根据指示索引是否等于预测器的其它信息来推导实际LFNST内核。如果索引等于预测器，则视频编码器200和视频解码器300可以被配置为确定内核等于来自查找表的内核。否则，视频编码器200和视频解码器300可以确定内核等于另一(不是预测器)内核。该示例可以扩展到2个以上的选择(例如，LFNST的两个以上的选择)。在这样的示例中，如果LFNST索引或内核不等于预测器，则视频编码器200可以被配置为用信号通知用于指示来自其中预测器选择被去除的选择集合的LFNST选择的信息。

在VVC中，可以将以上技术(单独地或以任何组合)应用于对LFNST索引的第二(最后一个)仓进行编码(当前在VVC草案6中被旁路编码)。

作为针对VVC草案6的具体示例(例如，在美国专利申请公开第US 2017/0238013中描述的示例，所述申请通过引用的方式并入本文)，一种用信号通知的方法可以如下：

视频编码器200和/或视频解码器300可以被配置为对LFNST索引的最后一个仓(last_lfnst_bin)进行上下文编码。

视频编码器200和/或视频解码器300可以被配置为如下根据帧内模式(例如，predModeIntra)来预测最后一个仓的值：

if(predModeIntra％2＝＝0)

predicted_last_lfnst_bin＝last_lfnst_bin

else

predicted_last_lfnst_bin＝！(last_lfnst_bin)

其中“！”表示翻转/求反运算，使得在predModeIntra为奇数的情况下，其将用信号通知的last_lfnst_bin值翻转/求反，以获得所预测的最后一个仓predicted_last_lfnst_bin。否则，如果predModeIntra为偶数，用信号通知的最后一个仓则按原样使用。

在另一示例中，视频编码器200和/或视频解码器300可以被配置为基于以下内容来预测和/或翻转仓：

if(predModeIntra％2＝＝1)

predicted_last_lfnst_bin＝last_lfnst_bin

else

predicted_last_lfnst_bin＝！(last_lfnst_bin)

其中，如果predModeIntra为偶数，则仓值(例如，last_1fnst_bin)可以被翻转，这与先前的示例不同，在先前的示例中，如果predModeIntra为奇数，则仓值被翻转。

图10是示出用于对当前块进行编码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频编码器200(图1和图3)进行了描述，但是应当理解的是，其它设备可以被配置为执行与图10的方法类似的方法。

在该示例中，视频编码器200的模式选择单元202可以预测当前块(502)。例如，模式选择单元202可以形成用于当前块的预测块。视频编码器200的残差生成单元204可以计算用于当前块的残差块(504)。为了计算残差块，视频编码器200可以计算在原始的未经编码的块与用于当前块的预测块之间的差。视频编码器200的变换处理单元206和量化单元208可以对残差块的系数进行变换和量化(506)。例如，变换处理单元206可以使用用于LFNST索引的N个仓来应用LFNST，其中，N个仓中的每个仓是经上下文编码的。视频编码器200的熵编码单元220可以扫描残差块的经量化的变换系数(508)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(510)。例如，熵编码单元220可以使用CAVLC或CABAC来对变换系数进行编码。在一些示例中，熵编码单元220可以对用于LFNST索引的N个仓中的每个仓进行上下文编码。然后，熵编码单元220可以输出块的经熵编码的数据(512)。

图11是示出用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频解码器300(图1和图4)进行了描述，但是应当理解的是，其它设备可以被配置为执行与图11的方法类似的方法。

视频解码器300的熵解码单元302可以接收用于当前块的经熵编码的数据(诸如用于与当前块相对应的残差块的系数的经熵编码的预测信息和经熵编码的数据)(522)。熵解码单元302可以对经熵编码的数据进行熵解码以确定用于当前块的预测信息并且重现残差块的系数(524)。例如，熵解码单元302可以对用于LFNST索引的N个仓中的每个仓进行上下文解码。

视频解码器300的预测处理单元304可以例如使用如由用于当前块的预测信息所指示的帧内或帧间预测模式来预测当前块(526)，以计算用于当前块的预测块。然后，熵解码单元302可以对所重现的系数进行逆扫描(528)，以创建经量化的变换系数的块。逆量化单元306和逆变换处理单元308可以对变换系数进行逆量化和逆变换以产生残差块(530)。例如，逆变换处理单元308可以使用用于LFNST索引的N个仓来应用逆LFNST，其中，N个仓中的每个仓是经上下文解码的。视频解码器300的重构单元310可以通过将预测块和残差块组合来对当前块进行解码(532)。

图12是示出用于使用用于LFNST索引的N个仓来对当前块进行编码的示例方法的流程图。尽管关于视频编码器200(图1和图3)进行了描述，但是其它设备可以被配置为执行与图12的方法类似的方法。

视频编码器(例如，视频编码器200，或者更具体地，例如视频编码器200的残差生成单元204)可以基于用于当前块的预测块来生成用于当前块的残差块(550)。视频编码器(例如，视频编码器200，或者更具体地，例如视频编码器200的变换处理单元206)可以将可分离变换应用于残差块以产生可分离变换系数(552)。视频编码器可以确定LFNST索引(554)。例如，模式选择单元202可以进行以下操作：当LFNST被禁用时，确定LFNST索引为“0”；当LFNST被启用(即，未被禁用)并且第一LFNST类型将被应用时，确定LFNST索引为“1”；以及当LFNST被启用(即，未被禁用)并且第二LFNST类型将被应用时，确定LFNST索引为“2”。

视频编码器可以使用LFNST索引来将LFNST应用于可分离变换系数以产生变换系数(556)。例如，变换处理单元206可以进行以下操作：当LFNST索引为“1”时，将被配置用于第一LFNST类型的LFNST应用于可分离变换系数；以及当LFNST索引为“2”时，将被配置用于第二LFNST类型的LFNST应用于可分离变换系数。

视频编码器可以对变换系数和用于LFNST索引的N个仓进行编码，以产生经编码的视频数据(558)。N个仓可以包括第一仓和第二仓。为了对N个仓进行编码，视频编码器可以对N个仓中的每个仓进行上下文编码。例如，熵编码单元220可以进行以下操作：当LFNST索引为“0”时，对指示“0”的第一仓进行上下文编码；以及当在LFNST索引为“1”或“2”时，对指示“1”的第一仓进行上下文编码。熵编码单元220可以进行以下操作：当LFNST索引为“1”时，对指示“0”的第二仓进行上下文编码；以及当LFNST索引为“2”时，对指示“1”的第二仓进行上下文编码。视频编码器可以输出经编码的视频数据(560)。

在一些示例中，视频编码器可以基于亮度通道来分配用于对第一仓进行上下文编码的上下文模型。例如，响应于确定N个仓中的第一仓被分配给亮度通道，视频编码器可以利用第一上下文来对N个仓中的第一仓进行编码。响应于确定N个仓中的第二仓被分配给色度通道，视频编码器可以利用与第一上下文不同的第二上下文来对N个仓中的第二仓进行编码。

图13是示出用于使用用于LFNST索引的N个仓来对视频数据的当前块进行解码的示例方法的流程图。尽管关于视频解码器300(图1和图4)进行了描述，但是其它设备可以被配置为执行与图13的方法类似的方法。

视频解码器(例如，视频解码器300，或者更具体地，例如视频编码器200的熵解码单元302)可以接收用于当前块的经编码的数据(570)。视频解码器(例如，视频解码器300，或者更具体地，例如视频编码器200的熵解码单元302)可以根据经编码的数据来对用于LFNST索引的N个仓进行解码(572)。N个仓可以包括第一仓和第二仓。为了对N个仓进行解码，视频解码器可以对N个仓中的每个仓进行上下文解码。

视频解码器(例如，视频解码器300，或者更具体地，例如视频编码器200的预测处理单元304)可以使用N个仓来确定LFNST索引(574)。例如，当熵解码单元302将第一仓上下文解码为“0”时，预测处理单元304可以确定LFNST索引为“0”；当熵解码单元302将第一仓上下文解码为“1”并且将第二仓上下文解码为“0”时，预测处理单元304可以确定LFNST索引为“1”；以及当熵解码单元302将第一仓上下文解码为“1”并且将第二仓上下文解码为“1”时，预测处理单元304可以确定LFNST索引为“2”。

视频解码器(例如，视频解码器300，或者更具体地，例如视频编码器200的熵解码单元302)可以对经编码的数据进行解码以生成变换系数(576)。例如，熵解码单元302可以基于所接收的经编码的数据来生成经量化的变换系数，逆量化单元306可以基于经量化的变换系数来生成变换系数。

视频解码器(例如，视频解码器300，或者更具体地，例如视频编码器200的逆变换处理单元308)可以使用LFNST索引来将逆LFNST应用于变换系数，以产生用于当前块的残差块(578)。例如，逆变换处理单元308可以进行以下操作：当LFNST索引为“1”时，将被配置用于第一LFNST类型的逆LFNST应用于变换系数；以及当LFNST索引为“2”时，将被配置用于第二LFNST类型的逆LFNST应用于变换系数。逆变换处理单元308可以将逆可分离变换应用于由逆LFNST输出的可分离变换系数，以产生用于当前块的残差块。视频解码器(例如，视频解码器300，或者更具体地，例如视频编码器200的重构单元310)可以使用用于当前块的残差块和预测块来重构视频数据的当前块(580)。

在一些示例中，视频解码器可以基于当前块是针对亮度通道还是色度通道来确定用于对第一仓进行上下文编码的上下文模型。例如，响应于确定N个仓中的第一仓被分配给亮度通道，视频解码器可以利用第一上下文来对N个仓中的第一仓进行解码。响应于确定N个仓中的第二仓被分配给色度通道，视频解码器可以利用与第一上下文不同的第二上下文来对N个仓中的第二仓进行解码。

下文提供了本公开内容的技术的示例的非限制性的说明性列表。

示例1。一种对视频数据进行解码的方法，所述方法包括：接收用于当前块的经熵编码的数据；根据所述经熵编码的数据来对用于低频不可分离变换(LFNST)标志/索引的N个仓进行熵解码，其中，N是大于0的整数值；使用所述N个仓来确定所述LFNST标志/索引；对所述经熵编码的数据进行熵解码以生成系数；使用所述LFNST标志/索引来将LFNST应用于所述系数，以产生残差块；以及使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块。

示例2。一种用于对视频数据进行编码的方法，所述方法包括：使用针对当前块和用于所述当前块的预测块的视频数据来生成残差块；确定低频不可分离变换(LFNST)标志/索引；使用所述LFNST标志/索引来将LFNST应用于所述残差块以产生系数；对所述系数和用于所述LFNST标志/索引的N个仓进行熵编码以产生经熵编码的视频数据，其中，N是大于0的整数值；以及输出所述经熵编码的视频数据。

示例3。根据示例1或2所述的方法，其中，对N个仓进行熵编码或解码包括：对所述N个仓中的每个仓进行上下文编码或解码。

示例4。根据示例1或2所述的方法，其中，对N个仓进行熵编码或解码包括：从所述N个仓确定所述N个仓的子集，所述N个仓的所述子集包括少于所述N个仓的仓；基于所述N个仓的所述子集，从所述N个仓确定仓的剩余部分，其中，所述N个仓的所述子集和所述仓的所述剩余部分形成所述N个仓；对所述N个仓的所述子集进行上下文编码或解码；以及对来自所述N个仓的所述仓的剩余部分进行上下文编码或解码。

示例5。根据示例1或2所述的方法，其中，对N个仓进行熵编码或解码包括：对所述N个仓中的每个仓进行旁路编码或解码。

示例6。根据示例1-4中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：响应于确定所述N个仓中的第一仓被分配给亮度通道，利用第一上下文来对所述N个仓中的所述第一仓进行上下文编码或解码；以及响应于确定所述N个仓中的第二仓被分配给色度通道，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行上下文编码或解码。

示例7。根据示例1-4和6中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：响应于确定所述N个仓中的第一仓被分配给第一块分割模式，利用第一上下文来对所述N个仓中的所述第一仓进行上下文编码或解码；以及响应于确定所述N个仓中的第二仓被分配给第二块分割模式，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行上下文编码或解码。

示例8。根据示例1-4、6和7中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：响应于确定所述N个仓中的第一仓被分配给第一帧内模式，利用第一上下文来对所述N个仓中的所述第一仓进行上下文编码或解码；以及响应于确定所述N个仓中的第二仓被分配给第二帧内模式，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行上下文编码或解码。

示例9。根据示例1-4和6-8中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：响应于确定所述N个仓中的第一仓被分配给平面模式，利用第一上下文来对所述N个仓中的所述第一仓进行上下文编码或解码；以及响应于确定所述N个仓中的第二仓被分配给所述平面模式，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行上下文编码或解码。

示例10。根据示例1-4和6-9中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：响应于确定所述N个仓中的第一仓被分配给平面模式，利用第一上下文来对所述N个仓中的所述第一仓进行上下文编码或解码；以及响应于确定所述N个仓中的第二仓被分配给DC模式，利用所述第一上下文来对所述N个仓中的所述第二仓进行上下文编码或解码。

示例11。根据示例1-4和6-10中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：响应于确定所述N个仓中的第一仓被分配给第一角度模式子集内的第一角度模式，利用被分配给所述第一角度模式子集的第一上下文来对所述N个仓中的所述第一仓进行上下文编码或解码；响应于确定所述N个仓中的第二仓被分配给所述第一角度模式子集内的第二角度模式，利用所述第一上下文来对所述N个仓中的所述第二仓进行上下文编码或解码；以及响应于确定所述N个仓中的第三仓被分配给与所述第一角度模式子集不同的第二角度模式子集内的第三角度模式，利用与所述第一上下文不同的被分配给所述第二角度模式子集的第二上下文来对所述N个仓中的所述第三仓进行上下文编码或解码。

示例12。根据示例1-4和6-11中任一项所述的方法，其中，对N个仓进行熵编码或解码包括：使用针对所有帧内模式的单个上下文；以及基于针对所述N个仓中的相应仓的模式信息来预测或修改仓值。

示例13。根据示例1-4或6-12中任一项所述的方法，其中，确定所述LFNST标志/索引包括：确定用于对所述当前块进行解码的针对帧内模式的值；对所述N个仓中的最后一个仓的值进行上下文解码以生成解码值；以及基于所述解码值和针对所述帧内模式的所述值来预测所述最后一个仓的所述值。

示例14。根据示例13所述的方法，其中，预测所述最后一个仓的所述值包括：确定针对所述帧内模式的所述值是否为奇数；响应于确定针对所述帧内模式的所述值不为奇数，将所述最后一个仓的所述值预测为所述解码值；以及响应于确定针对所述帧内模式的所述值为奇数，将所述最后一个仓的所述值预测为与所述解码值相反的值。

示例15。根据示例13所述的方法，其中，预测所述最后一个仓的所述值包括：确定针对所述帧内模式的所述值是否为偶数；响应于确定针对所述帧内模式的所述值不为偶数，将所述最后一个仓的所述值预测为所述解码值；以及响应于确定针对所述帧内模式的所述值为偶数，将所述最后一个仓的所述值预测为与所述解码值相反的值。

示例16。一种用于对视频数据进行编码或解码的设备，所述设备包括：用于执行根据示例1-15中任一项所述的方法的一个或多个单元。

示例17。根据示例16所述的设备，其中，所述一个或多个单元包括在电路中实现的一个或多个处理器。

示例18。根据示例16和17中任一项所述的设备，还包括：用于存储所述视频数据的存储器。

示例19。根据示例16-18中任一项所述的设备，还包括：被配置为显示经解码的视频数据的显示器。

示例20。根据示例16-19中任一项所述的设备，其中，所述设备包括以下各项中的一项或多项：相机、计算机、移动设备、广播接收器设备、或机顶盒。

示例21。根据示例16-20中任一项所述的设备，其中，所述设备包括视频解码器。

示例22。根据示例16-21中任一项所述的设备，其中，所述设备包括视频编码器。

示例23。一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器执行根据示例1-15中任一项所述的方法。

要认识到的是，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件是对于实施所述技术都是必要的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。

在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果用软件来实现，则所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行传输并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质或者通信介质，所述通信介质包括例如根据通信协议来促进计算机程序从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质、或者(2)诸如信号或载波之类的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器访问以取得用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。计算机程序产品可以包括计算机可读介质。

通过举例而非限制性的方式，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、闪存、或者能够用于以指令或数据结构形式存储期望的程序代码以及能够由计算机访问的任何其它介质。此外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输指令，则同轴电缆、光纤光缆、双绞线、DSL或者无线技术(例如，红外线、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它临时性介质，而是替代地针对非临时性的有形存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。

指令可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其它等效的集成或分立逻辑电路。因此，如本文所使用的术语“处理器”和“处理电路”可以指代前述结构中的任何一者或者适于实现本文描述的技术的任何其它结构。另外，在一些方面中，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者被并入经组合的编解码器中。此外，所述技术可以完全在一个或多个电路或逻辑元件中实现。

本公开内容的技术可以在多种多样的设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开内容中描述了各种组件、模块或单元以强调被配置以执行所公开的技术的设备的功能性方面，但是不一定需要通过不同的硬件单元来实现。确切而言，如上所述，各种单元可以被组合在编解码器硬件单元中，或者由可互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合适当的软件和/或固件来提供。

已经描述了各个示例。这些和其它示例在所附的权利要求的范围内。

Claims (26)

1.一种对视频数据进行解码的方法，所述方法包括：

接收用于当前块的经编码的数据；

根据所述经编码的数据来对用于低频不可分离变换(LFNST)索引的N个仓进行解码，其中，所述N个仓包括第一仓和第二仓，并且其中，对所述N个仓进行解码包括对所述N个仓中的每个仓进行上下文解码；

使用所述N个仓来确定所述LFNST索引；

对所述经编码的数据进行解码以生成变换系数；

使用所述LFNST索引来将逆LFNST应用于所述变换系数，以产生用于所述当前块的残差块；以及

使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块。

2.根据权利要求1所述的方法，其中，对所述N个仓进行解码包括：

响应于确定所述N个仓中的所述第一仓被分配给亮度通道，利用第一上下文来对所述N个仓中的所述第一仓进行解码；以及

响应于确定所述N个仓中的所述第二仓被分配给色度通道，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行解码。

3.根据权利要求1所述的方法，其中，对所述N个仓进行解码包括：

使用对于所有帧内模式都相同的上下文；以及

使用所述上下文，基于针对所述N个仓中的相应仓的帧内模式信息来预测仓值。

4.根据权利要求1所述的方法，其中，确定所述LFNST索引包括：

确定用于对所述当前块进行解码的针对帧内模式的值；

对所述N个仓中的最后一个仓的值进行上下文解码以生成解码值；以及

基于所述解码值和针对所述帧内模式的所述值来确定所述最后一个仓的所述值。

5.根据权利要求4所述的方法，其中，确定所述最后一个仓的所述值包括：

确定针对所述帧内模式的所述值是否为奇数；

响应于确定针对所述帧内模式的所述值不为奇数，将所述最后一个仓的所述值预测为所述解码值；以及

响应于确定针对所述帧内模式的所述值为奇数，将所述最后一个仓的所述值预测为与所述解码值相反的值。

6.根据权利要求4所述的方法，其中，确定所述最后一个仓的所述值包括：

确定针对所述帧内模式的所述值是否为偶数；

响应于确定针对所述帧内模式的所述值不为偶数，将所述最后一个仓的所述值预测为所述解码值；以及

响应于确定针对所述帧内模式的所述值为偶数，将所述最后一个仓的所述值预测为与所述解码值相反的值。

7.一种对视频数据进行编码的方法，所述方法包括：

基于用于当前块的预测块来生成用于所述当前块的残差块；

将可分离变换应用于所述残差块以产生可分离变换系数；

确定低频不可分离变换(LFNST)索引；

使用所述LFNST索引来将LFNST应用于所述可分离变换系数以产生变换系数；

对所述变换系数和用于所述LFNST索引的N个仓进行编码以产生经编码的视频数据，其中，所述N个仓包括第一仓和第二仓，并且其中，对所述N个仓进行编码包括对所述N个仓中的每个仓进行上下文编码；以及

输出所述经编码的视频数据。

8.根据权利要求7所述的方法，其中，对所述N个仓进行编码包括：

响应于确定所述N个仓中的所述第一仓被分配给亮度通道，利用第一上下文来对所述N个仓中的所述第一仓进行编码；以及

响应于确定所述N个仓中的所述第二仓被分配给色度通道，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行编码。

9.根据权利要求7所述的方法，其中，对所述N个仓进行编码包括：

使用对于所有帧内模式都相同的上下文；以及

使用所述上下文，基于针对所述N个仓中的相应仓的帧内模式信息来对仓值进行编码。

10.根据权利要求7所述的方法，其中，确定所述LFNST索引包括：

确定用于对所述当前块进行编码的针对帧内模式的值；以及

基于针对所述帧内模式的所述值来对所述N个仓中的最后一个仓的值进行上下文编码。

11.根据权利要求10所述的方法，其中，对所述最后一个仓的所述值进行上下文编码包括：

确定针对所述帧内模式的所述值是否为奇数；

响应于确定针对所述帧内模式的所述值不为奇数，对所述最后一个仓的所述值进行上下文编码；以及

响应于确定针对所述帧内模式的所述值为奇数，对与所述最后一个仓的所述值相反的值进行上下文编码。

12.根据权利要求10所述的方法，其中，对所述最后一个仓的所述值进行上下文编码包括：

确定针对所述帧内模式的所述值是否为偶数；

响应于确定针对所述帧内模式的所述值不为偶数，对所述最后一个仓的所述值进行上下文编码；以及

响应于确定针对所述帧内模式的所述值为偶数，对与所述最后一个仓的所述值相反的值进行上下文编码。

13.一种用于对视频数据进行解码的设备，所述设备包括在电路中实现并且被配置为进行以下操作的一个或多个处理器：

接收用于当前块的经编码的数据；

根据所述经编码的数据来对用于低频不可分离变换(LFNST)索引的N个仓进行解码，其中，所述N个仓包括第一仓和第二仓，并且其中，为了对所述N个仓进行解码，所述一个或多个处理器被配置为对所述N个仓中的每个仓进行上下文解码；

使用所述N个仓来确定所述LFNST索引；

对所述经编码的数据进行解码以生成变换系数；

使用所述LFNST索引来将逆LFNST应用于所述变换系数，以产生用于所述当前块的残差块；以及

使用用于所述当前块的所述残差块和预测块来重构所述视频数据的所述当前块。

14.根据权利要求13所述的设备，其中，为了对所述N个仓进行解码，所述一个或多个处理器被配置为：

响应于确定所述N个仓中的所述第一仓被分配给亮度通道，利用第一上下文来对所述N个仓中的所述第一仓进行解码；以及

响应于确定所述N个仓中的所述第二仓被分配给色度通道，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行解码。

15.根据权利要求13所述的设备，其中，为了对所述N个仓进行解码，所述一个或多个处理器被配置为：

使用对于所有帧内模式都相同的上下文；以及

使用所述上下文，基于针对所述N个仓中的相应仓的帧内模式信息来预测仓值。

16.根据权利要求13所述的设备，其中，为了确定所述LFNST索引，所述一个或多个处理器被配置为：

确定用于对所述当前块进行解码的针对帧内模式的值；

对所述N个仓中的最后一个仓的值进行上下文解码以生成解码值；以及

基于所述解码值和针对所述帧内模式的所述值来确定所述最后一个仓的所述值。

17.根据权利要求16所述的设备，其中，为了确定所述最后一个仓的所述值，所述一个或多个处理器被配置为：

确定针对所述帧内模式的所述值是否为奇数；

响应于确定针对所述帧内模式的所述值不为奇数，将所述最后一个仓的所述值预测为所述解码值；以及

响应于确定针对所述帧内模式的所述值为奇数，将所述最后一个仓的所述值预测为与所述解码值相反的值。

18.根据权利要求16所述的设备，其中，为了确定所述最后一个仓的所述值，所述一个或多个处理器被配置为：

确定针对所述帧内模式的所述值是否为偶数；

响应于确定针对所述帧内模式的所述值不为偶数，将所述最后一个仓的所述值预测为所述解码值；以及

响应于确定针对所述帧内模式的所述值为偶数，将所述最后一个仓的所述值预测为与所述解码值相反的值。

19.根据权利要求13所述的设备，还包括：被配置为显示所述图片的显示器。

20.根据权利要求13所述的设备，其中，所述设备包括以下各项中的一项或多项：相机、计算机、移动设备、广播接收器设备、或机顶盒。

21.一种用于对视频数据进行编码的设备，所述设备包括在电路中实现并且被配置为进行以下操作的一个或多个处理器：

基于用于当前块的预测块来生成用于所述当前块的残差块；

将可分离变换应用于所述残差块以产生可分离变换系数；

确定低频不可分离变换(LFNST)索引；

使用所述LFNST索引来将LFNST应用于所述可分离变换系数以产生变换系数；

对所述变换系数和用于所述LFNST索引的N个仓进行编码以产生经编码的视频数据，其中，所述N个仓包括第一仓和第二仓，并且其中，对所述N个仓进行编码包括对所述N个仓中的每个仓进行上下文编码；以及

输出所述经编码的视频数据。

22.根据权利要求21所述的设备，其中，为了对所述N个仓进行编码，所述一个或多个处理器被配置为：

响应于确定所述N个仓中的所述第一仓被分配给亮度通道，利用第一上下文来对所述N个仓中的所述第一仓进行编码；以及

响应于确定所述N个仓中的所述第二仓被分配给色度通道，利用与所述第一上下文不同的第二上下文来对所述N个仓中的所述第二仓进行编码。

23.根据权利要求21所述的设备，其中，为了对所述N个仓进行编码，所述一个或多个处理器被配置为：

使用对于所有帧内模式都相同的上下文；以及

使用所述上下文，基于针对所述N个仓中的相应仓的帧内模式信息来对仓值进行编码。

24.根据权利要求21所述的设备，其中，为了确定所述LFNST索引，所述一个或多个处理器被配置为：

确定针对用于对所述当前块进行编码的帧内模式的值；以及

基于针对所述帧内模式的所述值来对所述N个仓中的最后一个仓的值进行上下文编码。

25.根据权利要求24所述的设备，其中，为了对所述最后一个仓的所述值进行上下文编码，所述一个或多个处理器被配置为：

确定针对所述帧内模式的所述值是否为奇数；

响应于确定针对所述帧内模式的所述值不为奇数，对所述最后一个仓的所述值进行上下文编码；以及

响应于确定针对所述帧内模式的所述值为奇数，对与所述最后一个仓的所述值相反的值进行上下文编码。

26.根据权利要求24所述的设备，其中，为了对所述最后一个仓的所述值进行上下文编码，所述一个或多个处理器被配置为：

确定针对所述帧内模式的所述值是否为偶数；

响应于确定针对所述帧内模式的所述值不为偶数，对所述最后一个仓的所述值进行上下文编码；以及

响应于确定针对所述帧内模式的所述值为偶数，对与所述最后一个仓的所述值相反的值进行上下文编码。

Images