CN113940076A

CN113940076A - 应用隐式变换选择

Info

Publication number: CN113940076A
Application number: CN202080041875.XA
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-06-06
Filing date: 2020-06-08
Publication date: 2022-01-14
Also published as: WO2020244663A1; US20220094929A1

Abstract

描述了用于数字视频编解码的设备、系统和方法，包括使用多重变换。在一个代表性方面，一种用于视频处理的方法包括：对于视频的当前块，基于在视频的比特流表示中在编解码单元(CU)级、编解码块(CB)级或变换单元(TU)级的指示，做出关于对当前块应用变换的决策；以及基于该决策，执行当前块和比特流表示之间的转换。

Description

应用隐式变换选择

相关申请的交叉引用

根据关于《巴黎公约》的适用的专利法和/或实施细则，本申请及时要求2019年6月6日提交的国际专利申请号为PCT/CN2019/090261、2019年6月15日提交的国际专利申请号为PCT/CN2019/091435的优先权和利益而提出。出于法律规定的所有目的，上述申请的全部公开内容作为本申请公开内容的一部分通过引用合并于此。

技术领域

本专利文档涉及视频编解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但数字视频仍然是互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与数字视频编解码相关的设备、系统和方法，并且特别是用于视频编解码的多重变换方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC))和未来的视频编解码标准(例如，通用视频编解码(VVC))或编解码器。

在又一个代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于系数集做出关于对视频的当前块应用变换的决策，以及基于该决策执行当前块和视频的比特流表示之间的转换。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于与视频的当前块相关联的编解码信息做出关于对当前块应用变换的决策，并且基于该决策执行当前块和视频的比特流表示之间的转换。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：对于视频的当前块，基于在视频的比特流表示中在编解码单元(CU)级、编解码块(CB)级或变换单元(TU)级的指示，做出关于对当前块应用变换的决策；以及基于该决策，执行当前块和比特流表示之间的转换。

在又一代表性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。

在又一代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程为实现该方法的处理器。

在又一代表性方面，视频解码器装置可以实现本文描述的方法。

在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面和特征。

附图说明

图1示出了编解码器框图的示例。

图2示出了67种帧内预测模式的示例。

图3A和3B示出了非正方形块的广角帧内预测模式的参考样点的示例。

图4示出了当使用广角帧内预测时的不连续性的示例。

图5A-5D示出了由位置相关帧内预测组合(PDPC)方法使用的样点的示例。

图6示出了4×8和8×4块的划分的示例。

图7示出了除4×8、8×4和4×4之外的所有块的划分的示例。

图8示出了将4×8样点的块分成两个独立可解码区域的示例。

图9示出了利用垂直预测值最大化4xN块的吞吐量的像素行的处理顺序的示例。

图10示出了JEM的二次变换的示例。

图11示出了所提出的简化二次变换(RST)的示例。

图12示出了正向和反向简化变换的示例。

图13示出了具有16×48矩阵的正向RST 8×8处理的示例。

图14示出了针对非零元素在8×8块中扫描位置17到64的示例。

图15示出了子块变换模式SBT-V和SBT-H的示例

图16A-16C示出了视频处理的示例方法的流程图。

图17是用于实现本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。

图18是其中可以实现所公开的技术的示例视频处理系统的框图。

具体实施方式

1引言

由于对更高分辨率视频的需求日益增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断被改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决策)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的便利性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(HEVC)标准(也称为H.265或MPEG-HPart 2)、待最终确定的通用视频编解码(VVC)标准或其他当前和/或未来的视频编解码标准。

所公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以提高运行时性能。在本文档中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实现)仅限制于相应的章节。

2多重变换方法的实施例和示例

2.1色彩空间和色度二次采样

颜色空间，也称为颜色模型(或颜色系统)，是一种抽象的数学模型，它简单地将颜色的范围描述为数字的元组，通常是3或4个值或颜色分量(例如RGB)。从根本上讲，色彩空间是坐标系和子空间的细化。

对于视频压缩，最常用的颜色空间是YCbCr和RGB。

YCbCr，Y’CbCr，或Y Pb/Cb Pr/Cr，也称为YCBCR或Y’CbCr，是一个色彩空间家族，在视频和数字摄影系统中用作彩色图像流水线的一部分。y’是亮度分量，CB和CR是蓝色差和红色差色度分量。Y’(带基色)与Y(亮度)不同，这意味着光强是基于伽马校正的RGB基色进行非线性编解码的。

色度二次采样是通过对色度信息实施比亮度信息更低的分辨率来编码图像的实践，利用了人类可视系统对色差的敏感度低于亮度的优势。

4：4：4格式。三个Y'CbCr分量中的每一个都具有相同的采样率，因此没有色度二次采样。这种方案有时用于高端电影扫描仪和电影后期制作。

4：2：2格式。两个色度分量以亮度采样率的一半进行采样：水平色度分辨率减半。这将未压缩视频信号的带宽减少了三分之一，几乎没有可视差异

4：2：0格式。在4：2：0中，水平采样比4：1：1加倍，但由于在该方案中Cb和Cr通道仅在每条交替线上采样，垂直分辨率减半。因此数据速率是相同的。Cb和Cr在水平和垂直方向均以2的系数进行二次采样。4：2：0方案有三种变型，具有不同的水平和垂直位置。

ο在MPEG-2中，Cb和Cr在水平方向上位于同一位置。Cb和Cr位于垂直方向上的像素之间(位于空隙中)。

ο在JPEG/jif、H.261和MPEG-1中，Cb和Cr位于空隙中，在交替亮度样点的中间。

ο在4：2：0DV中，Cb和Cr在水平方向上位于同一位置。在垂直方向上，它们位于交替的线上。

2.2典型视频编解码器的编解码流程

图1示出了VVC编解码器框图的示例，其包含三个环内滤波块：去方块滤波器(DF)、样点自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点，分别通过添加偏移和通过应用有限脉冲响应(FIR)滤波器来减少原始样点和重构样点之间的均方误差，其中编解码的边信息信令通知偏移和滤波器系数。ALF位于每张图片的最后一个处理阶段，可以被视为试图捕捉和修复前几个阶段创建的伪影的工具。

2.3具有67种帧内预测模式的帧内模式编解码

为了捕捉自然视频中呈现的任意边缘方向，方向帧内模式的数量从HEVC使用的33个扩展到65个。额外的方向模式在图2中被描绘为红点箭头，并且平面模式和DC模式保持相同。这些密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

如图1所示，传统的角度帧内预测方向被定义为在顺时针方向上的从45度到-135度。在VTM2中，对于非正方形块，几个传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。被替换的模式使用原始方法被信令通知，并在解析后重新映射到广角模式的索引。帧内预测模式的总数不变(例如，67)，并且帧内模式编解码不变。

在HEVC，每个帧内编解码块都有一个正方形，其每边的长度都是2的幂。因此，使用DC模式生成帧内预测值不需要除法运算。在VTV2中，块可以具有矩形形状，在一般情况下，每个块必须使用除法运算。为了避免DC预测的除法运算，仅使用较长的边来计算非正方形块的平均值。

2.4非正方形块的广角帧内预测

在一些实施例中，传统的角度帧内预测方向被定义为在顺时针方向上从45度到-135度。在VTM2中，对于非正方形块，几种传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。被替换的模式使用原始方法被信令通知，并在解析后重新映射到广角模式的索引。某个块的帧内预测模式的总数不变(例如，67)，并且帧内模式编解码不变。

为了支持这些预测方向，长度为2W+1的顶部参考和长度为2H+1的左侧参考被定义为如图3A和3B中的示例所示。

在一些实施例中，广角方向模式中被替换模式的模式数量取决于块的纵横比。表1示出了被替换的帧内预测模式。

表1：被广角模式替换的帧内预测模式

如图4所示，在广角帧内预测的情况下，两个垂直相邻的预测样点可以使用两个不相邻的参考样点。因此，低通参考样点滤波和侧平滑被应用于广角预测，以减少增加的间隙Δp_α的负面影响。

2.5位置相关帧内预测组合(PDPC)的示例

在VTM2中，通过位置相关的帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测的结果。PDPC是一种帧内预测方法，其调用未滤波边界参考样点和具有滤波边界参考样点的HEVC类型帧内预测的组合。PDPC适用于以下无需信令的帧内模式：平面、DC、水平、垂直、左下角模式及其八个相邻角模式，以及右上角模式及其八个相邻角模式。

预测样点pred(x,y)是使用帧内预测模式(DC、平面、角度)和参考样点的线性组合根据如下等式来预测的：

pred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+wTL)×pred(x,y)+32)>>shift

本文，R_x,-1，R_-1,y分别表示位于当前样点(x,y)顶部和左侧的参考样点，R_-1,-1表示位于当前块左上角的参考样点。

在一些实施例中，并且如果PDPC被应用于DC、平面、水平和垂直帧内模式，则不需要如在HEVC DC模式边界滤波器或水平/垂直模式边缘滤波器的情况下所需要的额外的边界滤波器。

图5A-5D示出了应用于各种预测模式的PDPC的参考样点(R_x,-1,R_-1,y和R_-1,-1)的定义。预测样点pred(x’,y’)位于预测块内的(x’,y’)处。参考样点R_x,-1的坐标x由下式给出：x＝x'+y'+1，参考样点R_-1,y的坐标y类似地由下式给出：y＝x'+y'+1。

在一些实施例中，PDPC权重取决于预测模式，并且在表2中示出，其中S＝shift。

表2：根据预测模式的PDPC权重的示例

预测模式	wT	wL	wTL
				右上角对角线	16>>((y'<<1)>>S)	16>>((x'<<1)>>S)	0
左下角对角线	16>>((y'<<1)>>S)	16>>((x'<<1)>>S)	0
				右上角相邻对角线	32>>((y'<<1)>>S)	0	0
左下角相邻对角线	0	32>>((x'<<1)>>S)	0

2.6子块帧内分割

在JVET-M0102中，提出了ISP，它根据块的尺寸大小，将亮度帧内预测块垂直或水平划分为2或4个子分区，如表3所示。图6和图7示出了两种可能性的示例。所有子分区都满足至少有16个样点的条件。

表3：取决于块尺寸的子分区数量

块尺寸	子分区的数量
		4×4	没有划分
4×8和8×4	2
		所有其他情况	4

对于这些子分区中的每一个，通过对编码器发送的系数进行熵解码，然后对其进行反量化和反变换，来生成残差信号。然后，子分区被帧内预测，并且最终通过将残差信号添加到预测信号来获得对应的重构样点。因此，每个子分区的重构值将可用于生成下一个子分区的预测，下一个子分区将重复该过程等等。所有子分区共享相同的帧内模式。

基于所使用的帧内模式和划分，使用两种不同类别的处理顺序(称为正常和反向顺序)。按照正常顺序，要处理的第一个子分区是包含CU左上角样点的分区，并且然后继续向下(水平划分)或向右(垂直划分)。结果，用于生成子分区预测信号的参考样点仅位于线的左侧和上方。另一方面，反向处理顺序或者从包含CU的左下角样点的子分区开始并继续向上，或者从包含CU的右上角样点的子分区开始并继续向左。

2.7块差分脉冲编解码调制编解码(BDPC)

JVET-M0057中提出了BDPCM。由于水平(或者，垂直)预测值的形状(使用左(A)(或者，上方(B))像素用于当前像素的预测)，处理块的最有吞吐量效率的方式是处理一列(或者，一行)的所有像素，并顺序地处理这些列(或行)。为了增加吞吐量，我们引入以下处理：当在该块上选择的预测值是垂直的时，宽度为4的块被划分成具有水平边界的两半，并且当在该块上选择的预测值是水平的时，高度为4的块被划分成具有垂直边界的两半。

当划分一个块时，不允许来自一个区域的样点使用来自另一个区域的像素来计算预测：如果出现这种情况，预测像素将被预测方向上的参考像素替换。这在图8中示出，针对垂直预测的、4×8块中的当前像素X的不同位置。

由于这个特性，现在可以在2个周期内处理4×4块，以及在4个周期内处理4×8或8×4块，以此类推，如图9所示。

表4总结了处理数据块所需的周期数，这取决于数据块尺寸。示出两个维度都大于或等于8的任何块可以以每周期8个像素或更多像素处理是常见的。

表4：尺寸为4xN、Nx4的块的吞吐量

2.8量化残差域BDPCM

在JVET-N0413中，提出了量化残差域BDPCM(在下文中称为RBDPCM)。类似于帧内预测，通过在预测方向(水平或垂直预测)上的样点复制，对整个块进行帧内预测。残差被量化，并且量化残差与其预测值(水平或垂直)量化值之间的偏差被编解码。

对于尺寸为M(行)×N(列)的块，让r_i,j,0≤i≤M-1,0≤j≤N-1是在使用来自上方或左侧块边界样点的未滤波样点水平地(跨预测块逐行复制左侧临近像素值)或垂直地(将顶部相临近复制到预测块中的每一行)执行帧内预测之后的预测残差。让Q(r_i,j),0≤i≤M-1,0≤j≤N-1表示残差r_i,j的量化版本，其中残差是原始块和预测块值之间的差异。然后，块DPCM被应用到量化残差样点，得到修改的具有元素

的M×N阵列

当垂直BDPCM被信令通知：

对于水平预测，应用类似的规则，并且通过以下方式获得残差量化样点

残差量化样点

被发送到解码器。

在解码器侧，上述计算被反向以产生Q(r_i,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况，

对于水平情况，

反量化残差Q^-1(Q(r_i,j))被添加到帧内块预测值，以产生重构样点值。

这种方案的好处之一是，在简单地在解析系数时添加预测值的系数解析过程期间可以动态地进行DPCM反运算，或者在解析后执行DPCM反运算。

变换跳过总是用在量化残差域BDPCM中。

2.9 VVC中的多重变换集(MTS)

在VTM4中，支持最大64×64的大的块尺寸转换，这主要适用于更高分辨率的视频，例如1080p和4K序列。对于尺寸(宽度或高度，或宽度和高度两者)等于64的变换块，高频变换系数被归零，从而仅保留低频系数。例如，对于M×N变换块，以M为块宽，N为块高，当M等于64时，只保留左侧32列变换系数。类似地，当N等于64时，仅保留上方32行变换系数。当对一个大的块使用变换跳过模式时，将使用整个块而不归零任何值。

除了已经在HEVC使用的DCT-II之外，多重变换选择(MTS)方案被用于帧间和帧内编解码块的残差编解码。它使用来自DCT8/DST7的多重所选择的变换。新引入的变换矩阵是DST-VII和DCT-VIII。下表4示出了所选DST/DCT的基函数。

表4：VVC中使用的变换矩阵的基函数

为了保持变换矩阵的正交性，变换矩阵比HEVC中的变换矩阵更精确地量化。为了将变换系数的中间值保持在16位范围内，在水平和垂直变换之后，所有系数都要有10位。

为了控制MTS方案，在SPS级分别为帧内和帧间指定了单独的启用标志。当在SPS启用MTS时，将信令通知CU级标志，以指示是否应用了MTS。这里，MTS仅适用于亮度。当满足以下条件时，信令通知MTS CU级标志。

ο宽度和高度两者都小于或等于32

οCBF标志等于一

如果MTS CU标志等于零，则双向应用DCT2。然而，如果MTS CU标志等于1，则另外信令通知两个其它标志，以分别指示水平和垂直方向的变换类型。变换和信令映射表如表5所示。谈到变换矩阵精度，使用8位主变换核心。因此，HEVC使用的所有变换核心保持不变，包括4点DCT-2和DST-7、8点、16点和32点DCT-2。此外，包括64点DCT-2、4点DCT-8、8点、16点、32点DST-7和DCT-8在内的其他变换核心使用8位主变换核心。

为了降低大尺寸DST-7和DCT-8的复杂度，对于尺寸(宽度或高度，或宽度和高度两者)等于32的DST-7和DCT-8块，高频变换系数被归零。仅保留16×16低频区域内的系数。

如在HEVC中一样，可以用变换跳过模式对块的残差进行编解码。为了避免语法编解码的冗余，当CU级的MTS_CU_flag不等于0时，不信令通知变换跳过标志。变换跳过的块尺寸限制与JEM4中的MTS相同，这指示当块宽度和高度都等于或小于32时，变换跳过适用于CU。

隐式MTS是VVC最近的一种工具。变量implicitMtsEnabled的推导如下：

–如果sps_mts_enabled_flag等于1，并且下列条件之一为真，则implicitMtsEnabled设置为1：

–IntraSubPartitionsSplitType不等于ISP_NO_SPLIT

–cu_sbt_flag等于1并且Max(nTbW，nTbH)小于或等于32

–sps_explicit_mts_intra_enabled_flag等于0，CuPredMode[0][xTbY][yTbY]等于MODE_INTRA，lfnst_idx[x0][y0]等于0，并且intra_mip_flag[x0][y0]等于0

–否则，implicitMtsEnabled设置为0。

在VVC草稿v6中，如果当前编解码块是亮度分量，并且implicitMtsEnabled等于1，则隐式MTS变换选择由以下公式决策：

trTypeHor＝(nTbW>＝4&&nTbW<＝16)？DST7：DCT2(8-965)

trTypeVer＝(nTbH>＝4&&nTbH<＝16)？DST7：DCT2(8-966)

其中trTypeHor和trTypeVer指定水平和垂直变换核，nTbW和nTbH指定变换块的宽度和高度。这两个公式指示隐式MTS转换是从以下对中选择的：{DST7，DST7}、{DST7，DCT2}、{DCT2，DST7}、{DCT2，DCT2}

2.10 JVET-N 0193中提出的简化二次变换(RST)

2.10.1JEM的不可分二次变换(NSST)

在JEM，在正向主变换和量化之间(在编码器侧)以及在反量化和反向主变换之间(在解码器侧)应用二次变换。如图10所示，根据块尺寸执行4×4(或8×8)二次变换。例如，对于每个8×8块，4×4二次变换被应用于小块(即，min(宽度，高度)<8)，并且8×8二次变换被应用于较大块(即，min(宽度，高度)>4)。

下面以输入为例描述不可分变换的应用。为了应用不可分变换，4x4输入块X

首先表示为矢量

不可分变换被计算为

其中

指示变换系数矢量，并且T是16×16变换矩阵。16×1系数矢量

随后使用该块的扫描顺序(水平、垂直或对角线)被重新组织为4×4块。具有较小索引的系数将与较小扫描索引一起放置在4x4系数块中。总共有35个变换集，并且每个变换集使用3个不可分变换矩阵(核)。从帧内预测模式到变换集的映射是预先定义的。对于每个变换集，所选择的不可分二次变换(NSST)候选进一步由显式信令通知的二次变换索引来指定。在变换系数之后，在比特流中每帧内CU信令通知一次该索引。

2.10.2 JVET-N0193中简化二次变换(RST)

在JVET-K0099中引入了RST变换(也称为低频不可分变换(LFNST))，在JVET-L0133中引入了4个变换集(而不是35个变换集)映射。在这个JVET-N0193中，采用了16×64(进一步简化到16×48)和16×16矩阵。为了便于标注，16×64(简化到16×48)变换表示为RST8×8，并且16×16变换表示为RST4×4。图11示出了RST的示例。

RST计算

简化变换(RT)的主要思想是将N维矢量映射到不同空间中的R维矢量，其中R/N(R<N)是简化因子。

RT矩阵是一个R×N矩阵，如下所示：

其中变换的R行是N维空间的R个基。RT的反变换矩阵是其正向变换的转置。正向和反向RT如图12所示。

在此提案中，应用了简化因子为4(1/4尺寸)的RST8×8。因此，使用16×64直接矩阵代替64×64，64×64是传统的8×8不可分变换矩阵尺寸。换句话说，在解码器侧使用64×16反RST矩阵来生成8×8左上角区域中的核心(主)变换系数。正向RST8×8使用16×64(或8×8块的8×64)矩阵，因此它只在给定8×8区域内的左上角4×4区域产生非零系数。换句话说，如果应用RST，那么除了左上4×4区域之外的8×8区域将只有零系数。对于RST4×4，应用16×16(或用于4×4块的8×16)直接矩阵乘法。

当满足以下两个条件时，有条件地应用反RST：

ο块尺寸大于或等于给定阈值(W>＝4&&H>＝4)

ο变换跳过模式标志等于零

如果变换系数块的宽度(W)和高度(H)两者都大于4，则RST8×8被应用于变换系数块的左上角8×8区域。否则，将RST4×4应用于变换系数块的左上角min(8，W)×min(8，H)区域。

如果RST索引等于0，则不应用RST。否则，应用RST，其内核与RST索引一起选择。RST索引的RST选择方法和编解码将在后面解释。

此外，RST被应用于帧内和帧间条带中的帧内CU，以及应用于亮度和色度两者。如果启用了双树，则亮度和色度的RST索引会单独地信令通知。对于帧间条带(双树被禁用)，单个RST索引被信令通知并用于亮度和色度两者。

在第13次JVET会议上，采用了帧内子分区(ISP)作为一种新的帧内预测模式。当选择ISP模式时，将禁用RST，并且不会信令通知RST索引，因为即使将RST应用于每个可行的分区块，性能提升也是微乎其微的。此外，对ISP预测的残差禁用RST可以降低编码复杂度。

RST选择

从四个变换集中选择RST矩阵，每个变换集由两个变换组成。应用哪个变换集根据帧内预测模式如下确定：

(1)如果指示了三种CCLM模式之一，则选择变换集0。

(2)否则，根据下表进行变换集选择：

变换集选择表

帧内模式	变换集索引
		帧内模式<0	1
0<＝帧内模式<＝1	0
		2<＝帧内模式<＝12	1
13<＝帧内模式<＝23	2
		24<＝帧内模式<＝44	3
45<＝帧内模式<＝55	2
		56<＝帧内模式	1

访问上表的索引(表示为帧内模式(IntraPredMode))的范围为[-14，83]，这是用于广角帧内预测的变换模式索引。

降维RST矩阵

作为进一步的简化，应用16×48矩阵代替具有相同变换集配置的16×64矩阵，每个16×48矩阵从左上角8×8块中的三个4×4块(不包括右下角4×4块)中获取48个输入数据(如图13所示)。

RST信令

R＝16的正向RST8×8使用16×64矩阵，因此它仅在给定8×8区域内的左上角4×4区域产生非零系数。换句话说，如果应用RST，那么除了左上角4×4区域之外的8×8区域仅生成零系数。结果，当在除了左上角4×4之外的8×8块区域内检测到任何非零元素时，RST索引不被编解码(其在图14中示出)，因为这意味着没有应用RST。在这种情况下，RST索引被推断为零。

归零范围

通常，在对4×4子块应用反RST之前，4×4子块中的任何系数都可以是非零的。然而，在某些情况下，限制4×4子块中的某些系数必须为零，才能对子块应用反RST。

让nonZeroSize为变量。要求在反RST之前在重新排列成一维数组时具有不小于nonZeroSize的索引的系数必须为零。

当nonZeroSize等于16时，左上角4×4子块中的系数没有归零约束。

在JVET-N0193中，当当前块尺寸为4×4或8×8时，nonZeroSize设置为等于8(即具有在[8，15]范围内的扫描索引的系数(如图14所示)应为0)。对于其他块大小，nonZeroSize设置为等于16。

工作草案中对RST的描述

序列参数集RBSP语法

残差编解码语法

编解码单元语法

序列参数集RBSP语义

……

sps_st_enabled_flag等于1指定st_idx可以存在于帧内编解码单元的残差编解码语法中。sps_st_enabled_flag等于0指定st_idx不存在于帧内编解码单元的残差编解码语法中。

……

编解码单元语义

……

st_idx[x0][y0]指定在所选变换集中的两个候选核之间应用哪个二次变换核。st_idx[x0][y0]等于0指定不应用二次变换。数组索引x0，y0指定所考虑的变换块的左上角样点相对于图片的左上角样点的位置(x0，y0)。

当st_idx[x0][y0]不存在时，st_idx[x0][y0]被推断为等于0。

缩放的变换系数的变换处理

概述

该处理的输入包括：

–指定当前亮度变换块的左上角样点相对于当前图像的左上角亮度样点的亮度位置(xTbY，yTbY)，

–指定当前变换块宽度的变量nTbW，

–指定当前变换块高度的变量nTbH，

–指定当前块的颜色分量的变量cIdx，

–具有缩放的变换系数的(nTbW)x(nTbH)数组d[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。

该处理的输出是残差样点的(nTbW)x(nTbH)数组r[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。

如果st_idx[xTbY][yTbY]不等于0，则适用以下：

1.变量nStSize、log2StSize、numStX、numStY和nonZeroSize推导如下：

–如果nTbW和nTbH两者都大于或等于8，则log2StSize设置为3，并且nStOutSize设置为48。

–否则，log2StSize设置为2，并且nStOutSize设置为16。

–nStSize设置为(1<<log2StSize)。

–如果nTbH等于4，并且nTbW大于8，则numStX设置为2。

–否则，numStX设置为1。

–如果nTbW等于4，并且nTbH大于8，则numStY设置为2。

–否则，numStY设置为等于1。

–如果nTbW和nTbH两者都等于4，或者nTbW和nTbH两者都等于8，则nonZeroSize设置为等于8。

–否则，nonZeroSize设置为16。

2.对于xSbIdx＝0..numStX–1并且ySbIdx＝0..numStY–1，适用以下：

–变量数组u[x](x＝0..nonZeroSize–1)的推导如下：

xC＝(xSbIdx<<log2StSize)+DiagScanOrder[log2StSize][log2StSize][x][0]

yC＝(ySbIdx<<log2StSize)+DiagScanOrder[log2StSize][log2StSize][x][1]u[x]＝d[xC][yC]

–通过调用8.7.4.4条款中指定的一维变换处理，u[x](x＝0..nonZeroSize–1)被转换为变量数组v[x](x＝0..nStOutSize–1)，在该一维变换处理中，缩放的变换系数的变换输入长度nonZeroSize，变换输出长度nStOutSize，列表u[x](x＝0..nonZeroSize–1)，变换集选择的索引stPredModeIntra和变换集中的变换选择的索引st_idx[xTbY][yTbY]作为输入，输出是列表v[x](x＝0..nStOutSize–1)。变量stPredModeIntra被设置为第8.4.4.2.1条款中指定的predModeIntra。

–数组d[(xSbIdx<<log2tsize)+x][(ySbIdx<<log2tsize)+y](x＝0..nStSize–1，y＝0..nStSize–1)推导如下：

–如果stPredModeIntra小于或等于34，或等于INTRA_LT_CCLM、INTRA_T_CCLM或INTRA_L_CCLM，则适用以下：

d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y]

＝

(y<4)？v[x+(y<<log2StSize)]：((x<4)？v[32+x+((y–4)<<2)]：

d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y])

–否则，以下内容适用：

d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y]

＝

(y<4)？v[y+(x<<log2StSize)]：((x<4)？v[32+(y–4)+(x<<2)]：

d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y])

二次变换处理

该处理的输入是：

–指定变换输出长度的变量nTrS，

–指定转换输入长度的变量nonZeroSize，

–变换输入的列表x[j](j＝0..nonZeroSize-1)，

–指定变换集选择的索引的变量stPredModeIntra，

–指定集合中变换选择的索引的变量stIdx，。

该处理的输出是变换样点的列表y[i](i＝0..nTrS-1)。

条款8.7.4.5中指定的变换矩阵推导处理涉及变换输出长度nTrS、变换集选择的索引stPredModeIntra和变换集中的变换选择索引stIdx作为输入，变换矩阵secTransMatrix作为输出。

变换样点列表y[i](i＝0..nTrS-1)的推导如下：

CoeffMin＝-(1<<15)and CoeffMax＝(1<<15)-1；

二次变换矩阵推导处理

该处理的输入包括：

–指定变换输出长度的变量nTrS，

–指定变换集选择的索引的变量stPredModeIntra，

–指定指定变换集中变换选择的索引的变量stIdx。

这个处理的输出是变换矩阵secTransMatrix。

变量stTrSetIdx的推导如下：

变换矩阵secTransMatrix基于nTrS、stTrSetIdx和stIdx导出，如下所示：

–如果nTrS等于16，stTrSetIdx等于0，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于0，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于1，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于1，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于2，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于2，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于3，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于3，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于0，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于0，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于1，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于1，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于2，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于2，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于3，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于3，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

2.11 HEVC中反量化限幅

在HEVC中，缩放的变换系数d’计算如下

d'＝Clip3(coeffMin,coeffMax,d)，

其中d是限幅前的缩放的变换系数。

对于亮度分量，

coeffMin＝CoeffMinY，coeffMax＝CoeffMaxY

对于色度分量，

coeffMin＝CoeffMinC，coeffMax＝CoeffMaxC。

在本文，

CoeffMinY＝-(1<<(extended_precision_processing_flag？Max(15,BitDepthY+6)：15))

CoeffMinC＝-(1<<(extended_precision_processing_flag？Max(15,BitDepthC+6)：15))

CoeffMaxY＝(1<<(extended_precision_processing_flag？Max(15，BitDepthY+6)：15)-1

CoeffMaxC＝(1<<(extended_precision_processing_flag？Max(15，BitDepthC+6)：15))–1

extended_precision_processing_flag是在SPS中信令通知的语法元素。

2.12仿射线性加权帧内预测(ALWIP，或基于矩阵的帧内预测)

JVET-N0217中提出了仿射线性加权帧内预测(ALWIP，或基于矩阵的帧内预测(MIP))。

在JVET-N0217中，进行了两项测试。在测试1中，ALWIP被设计为存储器限制为8K字节，并且每个样点最多进行4次乘法。测试2类似于测试1，但在存储器要求和模型架构方面进一步简化了设计。

ο所有块形状的矩阵和偏移矢量的单一集合。

ο将用于所有块形状的模式数量减少到19。

ο将存储器要求减少到5760个10位值，即7.20千字节。

ο预测样点的线性插值在每个方向上在单个步骤中进行，代替第一测试中的迭代插值。

2.13子块变换

对于cu_cbf等于1的帧间预测CU，可以信令通知cu_sbt_flag来指示是解码整个残差块还是残差块的子部分。在前一种情况下，进一步解析MTS信息以确定CU的变换类型。在后一种情况下，残差块的一部分用推断的自适应变换编解码，并且残差块的另一部分归零。SBT不适用于组合帧间帧内模式。

在子块变换中，位置相关变换被应用于SBT-V和SBT-H(总是使用DCT-2的色度TB)中的亮度变换块。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，图15中指定了每个SBT位置的水平和垂直变换。例如，SBT-V位置0的水平和垂直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，相应的变换被设置为DCT-2。因此，子块变换联合指定残差块的水平和垂直变换、TU平铺、以及cbf，这可以被认为是块的主要残差在块的一侧的情况下的语法快捷方式。

3现有实现方式中的缺陷的示例

MTS目前的设计存在以下问题：

信令通知的索引可能会导致开销位。

在MTS和SBT，某些变换组合可能效率不高。

4多重变换的示例性方法

当前公开的技术的实施例克服了现有实现方式的缺点，从而提供了具有更高编解码效率但更低计算复杂度的视频编解码。如本文档中所描述的，用于多重变换的方法可以增强现有的和未来的视频编解码标准，在以下针对各种实现方式描述的示例中进行了阐述。下面提供的公开技术的示例解释了一般概念，并且不意味着解释为限制。在示例中，除非明确指出相反的情况，否则这些示例中描述的各种特征可以被组合。

在以下示例中，假设：

οMax(x，y)返回x和y中较大的一个，以及

οMin(x，y)返回x和y中较小的一个。

隐式MTS

建议在不接收变换索引的情况下，根据解码的系数来决定应用于一个块的变换(水平和/或垂直变换)。

1.解码的系数可以与同当前块相同颜色分量或不同颜色分量的一个或

多个代表性块相关联。

a.在一个示例中，对第一块的变换的确定可以取决于第一块的解码的系数。

b.在一个示例中，对第一块的变换的确定可以取决于可以不同于第一块的第二块的解码的系数。

i.在一个示例中，第二块可以与第一块的颜色分量具有相同的颜色分量，诸如亮度分量。

1)在一个示例中，第二块可以与第一块临近。

2)在一个示例中，第二块可以具有与第一块相同的帧内预测模式。

3)在一个示例中，第二块可以具有与第一块相同的块大小。

4)在一个示例中，第二块可以是在解码顺序中在第一块之前的、满足特定条件(诸如相同的帧内预测模式或相同的大小)的最后一个解码块。

ii.在一个示例中，第二块可以具有与第一块不同的颜色分量。

1)在一个示例中，第一块可以是亮度分量，并且第二块可以是色度分量(例如，Cb/Cr、B/R分量)。

a)在一个示例中，三个块在同一编解码单元中。

b)此外，可替代地，隐式MTS仅应用于亮度块，而不应用于色度块。

2)在一个示例中，在第一颜色分量中的第一块和在第二颜色分量中的第二块可以彼此位于图片的对应位置。

c.在一个示例中，对第一块的变换的确定可以取决于包括与第一块不相同的至少一个块的多个块的解码的系数。

i.在一个示例中，多个块可以包括第一块。

ii.在一个示例中，多个块可以包括与第一块临近的一个块或多个块。

iii.在一个示例中，多个块可以包括具有与第一块相同的块大小的一个块或多个块。

iv.在一个示例中，多个块可以包括在解码顺序中在第一块之前的、满足特定条件(诸如相同的帧内预测模式或相同的大小)的最后N个解码块。N是大于1的整数。

v.在一个示例中，多个块可以包括与第一块不在同一颜色分量中的一个块或多个块。

1)在一个示例中，第一块可以在亮度分量中。多个块可以包括色度分量中的块(例如，Cb/B分量中的第二块，以及Cr/R分量中的第三块)。

a)在一个示例中，三个块在同一编解码单元中。

2)在一个示例中，在第一颜色分量中的第一块和包括在该多个块中的、不在第一分量颜色分量中的数个块可以位于具有第一块的图片的对应位置。

2.用于变换确定的解码的系数是那些不等于零的系数(表示为有效系数(significant coefficient))。用于变换确定的那些系数被称为代表性系数。

a.在一个示例中，代表性系数是代表性块中的所有有效系数。

b.可替代地，代表性系数是代表性块中有效系数的一部分。

i.在一个示例中，代表性系数是那些大于或不小于阈值的解码的有效系数

ii.在一个示例中，代表性系数是那些小于或不大于阈值的解码的有效系数

iii.在一个示例中，代表性系数是解码顺序中的前K(K>＝1)个解码的有效系数。

iv.在一个示例中，代表性系数是解码顺序中最后的K(K>＝1)个解码的有效系数。

v.在一个示例中，代表性系数可以是块中预定位置的那些系数。

1)在一个示例中，代表性系数可以仅包括相对于代表性块位于(xPos，yPos)坐标的一个系数。例如xPos＝yPos＝0。

2)例如，位置可以取决于块的大小。

vi.在一个示例中，代表性系数可以是在系数扫描顺序中的预定位置的那些系数。

c.可替代地，代表性系数也可以包括那些零系数。

d.可替代地，代表性系数可以是从解码的系数中导出的那些系数，诸如通过限幅到一个范围，通过量化。

3.变换确定可以取决于代表性系数的函数，诸如使用代表性系数作为输入的具有值V作为输出的函数。

a.在一个示例中，V被导出为代表性系数的数量。

i.可替代地，V被导出为代表性系数的和。

1)可替代地，此外，该和可以被限幅以导出V。

ii.可替代地，V被导出为代表性系数的绝对值的和。

1)可替代地，此外，该和可以被限幅以导出V。

b.在一个示例中，可以取决于V的奇偶校验在解码器处隐式地确定选择

i.例如，如果V为偶数，则选择第一种变换作为水平变换，并且选择第二种变换作为垂直变换；如果V是奇数，则选择第三种变换作为水平变换，并且选择第四种变换作为垂直变换。

1)在一个示例中，第一种变换与第二种变换相同。

a)可替代地，第一种变换不同于第二种变换。

2)在一个示例中，第三种变换与第四种变换相同。

a)可替代地，第三种变换不同于第四种变换。

3)第一/第二/第三/第四种变换是特定的变换，诸如DCT-X或DST-Y。X可以是整数，诸如2或8。Y可以是整数，诸如7或8。

4)可替代地，此外，第三和第四种变换中的至少一种不同于第一和第二种变换。

a)在一个示例中，当V是偶数时，第一和第二种变换是DCT-2，并且当V是奇数时，第三和第四种变换是DST-7。

b)可替代地，当V是奇数时，第一和第二种变换是DCT-2，并且当V是偶数时，第三和第四种变换是DST-7。

c.在一个示例中，如果V小于阈值T1，则选择第五种变换作为水平变换，并且选择第六种变换作为垂直变换。例如T1＝1或2。

i.可替代地，如果V大于阈值T2，则选择第五种变换作为水平变换，并且选择第六种变换作为垂直变换。

ii.例如，阈值可以取决于块的大小。

iii.例如，阈值可能取决于QP。

iv.在一个示例中，第五种变换与第六种变换相同。

1)可替代地，第五种变换不同于第六种变换。

v.在一个示例中，第五/第六种变换是特定的变换，诸如DCT-X或DST-Y。X可以是整数，诸如2或8。Y可以是整数，诸如7或8。

4.变换确定还可以取决于当前块的编解码信息。

a.在一个示例中，如果当前帧内编解码块在I条带/图片中，当V是偶数时，可以将DST-7应用于当前块，并且当V是奇数时，可以将DCT-2应用于当前块。

b.在一个示例中，如果当前帧内编解码块在P/B条带/图片中，并且V是偶数，则可以将DCT-2应用于当前块，并且当V是奇数时，可以将DST-7应用于当前块。

c.在一个示例中，该确定可以进一步取决于模式信息(例如，帧内或帧间模式信息)。

5.隐式MTS可以从其中选择变换的变换集可以是预定义的。

a.在一个示例中，水平和垂直变换集可以不相同。

i.可替代地，水平和垂直变换集可以相同。

b.在一个示例中，变换集可以包括DCT-2和DST-7。

c.在一个示例中，变换集可以包括DCT-2、DST-7和恒等变换(identitytransform)。

d.在一个示例中，变换集可以取决于编解码信息、颜色分量、分割结构(例如，双树/单树；四叉树/二叉树/三叉树/扩展四叉树)、条带/图片类型等。

i.在一个示例中，变换集可以取决于块大小。

ii.在一个示例中，对于帧内编解码的块，可以包括DCT-2和DST-7。

iii.在一个示例中，对于用同一图片中的参考样点编解码的块(例如，帧内块复制)，可以包括DST-7和恒等变换(即，不应用变换)。

6.在一个示例中，第1-5点中公开的一种或多种方法只能应用于特定的块。

a.例如，第1-5点中公开的一种或多种方法只能应用于帧内编解码块。

简化的MTS/SBT

7.在一个示例中，MTS中的垂直变换和水平变换必须相同。

a.在一个示例中，块只能选择以下两种变换之一：

i.水平变换中的DCT-2和垂直变换中的DCT-2；

ii.水平变换中的DST-7和垂直变换中的DST-7；

b.在一个示例中，用于MTS的信令可以包括块的至多一个标志。

i.在一个示例中，如果标志等于0，则选择水平变换中的DCT-2和垂直变换中的DCT-2；如果标志等于1，则选择水平变换中的DST-7和垂直变换中的DST-7。

ii.在一个示例中，如果标志等于1，则选择水平变换中的DCT-2和垂直变换中的DCT-2；如果标志等于0，则选择水平变换中的DST-7和垂直变换中的DST-7。

8.假设块的宽度和高度分别为W和H。只有在下列情况下，才可以应用第7点：

a.W>＝T1，且H>＝T2，例如T1＝T2＝8；

b.W<＝T1，且H<＝T2，例如T1＝T2＝16；

c.Min(W，H)>＝T1，例如T1＝8；

d.Max(W，H)<＝T1，例如T1＝32

e.W*H>＝T1，例如T1＝64

f.W*H<＝T1，例如T1＝256。

9.在一个示例中，不包括DST-8的变换可以应用于用SBT编解码的块。

a.在一个示例中，只有DCT-2和DST-7可以应用在用SBT编解码的块。

b.在一个示例中，在如图15所示的SBT(SBT-V，位置0)的情况下，水平地应用DCT-2，并且垂直地应用DST-7。

c.在一个示例中，在如图15所示的SBT(SBT-H，位置0)的情况下，水平地应用DST-7，并且垂直地应用DCT-2。

10.假设变换块的宽度和高度分别为W和H。在一个示例中，对用SBT编解码的块的变换的选择可以取决于变换块大小，其中当应用SBT时，变换块可以小于编解码块。

a.在一个示例中，在如图15所示的SBT(SBT-V，位置0)的情况下，如果W>＝T1，则水平地应用DCT-2，并且垂直地应用DST-7；否则，水平地应用DCT-8，并且垂直地应用DST-7。例如，T1＝8。

b.在一个示例中，在如图15所示的SBT(SBT-H，位置0)的情况下，如果H>＝T1，则水平地应用DST-7，并且垂直地应用DCT-2；否则，水平地应用DST-7，并且垂直地应用DCT-8。例如，T1＝8。

一般声称

11.变换矩阵的决策可以在CU/CB级或TU级进行。

a.在一个示例中，在CU级做出决策，其中所有TU共享相同的变换矩阵。

i.可替代地，此外，当一个CU被划分成多个TU时，一个TU(例如，第一个或最后一个TU)或部分或全部TU中的系数可以被用来确定变换矩阵。

b.是使用CU级解决方案还是TU级解决方案可以取决于块尺寸和

/或VPDU尺寸和/或最大CTU尺寸和/或一个块的编解码信息。

i.在一个示例中，当块尺寸大于VPDU尺寸时，可以应用CU级确定方法。

12.在本文档中公开的方法中，系数或代表性系数可以被量化或反量化。

13.变换跳过也可以由系数或代表性系数用本文档中公开的任何方法隐式地确定。

14.在本文档中公开的方法中，系数或代表性系数可以在用于导出变换之前被修改。

a.例如，系数或代表性系数可以在被用于导出变换之前被限幅。

b.例如，系数或代表性系数可以在被用于导出变换之前被缩放。

c.例如，系数或代表性系数可以在被用于导出变换之前被添加偏移。

d.例如，系数或代表性系数可以在被用于导出变换之前被滤波。

e.例如，系数或代表性系数可以在被用于导出变换之前被映射到其他值(例如，通过查找表)。

15.本文档中公开的方法也可用于通过系数或代表性系数隐式地导出其他编解码模式/信息。

a.在一个示例中，所公开的方法可以用于导出可以应用于块的子区域的二次变换。

b.可替代地，此外，代表性系数来自对应于子区域而不是整个块的那些系数。

16.在一个示例中，是否和/或如何应用上述公开的方法可以在序列级/图片级/条带级/片组级，诸如在序列头/图片头/SPS/VPS/DPS/PPS/APS/条带头/片组头中信令通知。

17.在一个示例中，是否和/或如何应用上述公开的方法可以取决于编解码信息，编解码信息可以包括：

a.块大小。

i.在一个示例中，对于宽度和高度两者都不大于阈值(例如，32)的块，可以应用上述隐式MTS方法。

b.QP

c.图片或条带类型(如I帧或P/B帧、I条带或P/B条带)

i.在一个示例中，所提出的方法可以在I帧上启用，但是在P/B帧上禁用。

d.结构分割方法(单树或双树)

i.在一个示例中，对于单树划分应用的条带/图片/图块/片，可以应用上述隐式MTS方法。

e.编解码模式(诸如帧间模式/帧内模式/IBC模式等)

i.在一个示例中，对于帧内编解码块，可以应用上述隐式MTS方法。

f.编解码方法(诸如子块内分割、派生树(DT)法等)

i.在一个示例中，对于应用了DT的帧内编解码块，可以禁用上述隐式MTS方法。

ii.在一个示例中，对于应用了ISP的帧内编解码块，可以禁用上述隐式MTS方法。

g.颜色分量

i.在一个示例中，对于亮度块，可以应用上述隐式MTS方法，而对于色度块，则不应用。

h.帧内预测模式(诸如DC、垂直、水平等。)

i.运动信息(诸如MV和参考索引)。

j.标准档次(Profile)/级别(Level)/层(Tier)

上面描述的示例可以结合在下面描述的方法的上下文中，例如方法1675、1680和1685，其可以在视频编码器和/或解码器处实现。

图16A示出了用于视频处理的示例性方法的流程图。方法1675包括，在步骤1676，基于系数集，做出关于对视频的当前块应用变换的决策。

方法1675包括，在步骤1677，基于该决策，执行当前块和视频的比特流表示之间的转换。

图16B示出了用于视频处理的示例性方法的流程图。方法1680包括，在步骤1681，基于与视频的当前块相关联的编解码信息，做出关于对当前块应用变换的决策。

方法1680包括，在步骤1682，基于该决策，执行当前块和比特流表示之间的转换。

图16C示出了用于视频处理的示例性方法的流程图。方法1685包括，在步骤1686，针对视频的当前块，基于在视频的比特流表示中在编解码单元(CU)级、编解码块(CB)级或变换单元(TU)级的指示，做出关于对当前块应用变换的决策。

方法1685包括，在步骤1687，基于该决策，执行当前块和比特流表示之间的转换。

5所公开技术的示例实现方式

在以下实施例中，添加使用粗体双括号来指示，例如，{{a}}指示“a”已被添加，而删除使用粗体双括号来指示，例如，[[a]]指示“a”已被删除。

5.1实施例#1

JVET-N1001-v7中规定的工作草案可以修改如下。

8.7.4缩放的变换系数的变换处理

8.7.4.1概述

…

表8-17–取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的规范

cu_sbt_horizontal_flag	cu_sbt_pos_flag	trTypeHor	trTypeVer
				0	0	{{nTbW>＝8？0：}}2	1
0	1	1	1
				1	0	1	{{nTbH>＝8？0：}}2
1	1	1	1

…

在一些实施例中，可以实现以下技术方案：

C1.一种用于视频处理的方法，包括：基于系数集做出关于对视频的当前块应用变换的决策；以及基于该决策，执行当前块和视频的比特流表示之间的转换。

C2.解决方案C1的方法，其中，所述系数集对应于比特流表示中的量化系数集。

C3.解决方案C1的方法，其中，所述系数集对应于比特流表示中的量化系数集的去量化版本。

C4.解决方案C1到C3中的任一项的方法，其中，对当前块的变换跳过的应用基于所述系数集。

C5.解决方案C1到C3中的任一项的方法，还包括修改所述系数集；以及在做出决策之前，基于修改后的系数集导出变换。

C6.解决方案C5的方法，其中，修改所述系数集包括限幅所述系数集中的至少一个系数。

C7.解决方案C5的方法，其中，修改所述系数集包括缩放所述系数集中的至少一个系数。

C8.解决方案C5的方法，其中，修改所述系数集包括向所述系数集中的至少一个系数添加偏移。

C9.解决方案C5的方法，其中，修改所述系数集包括滤波所述系数集中的至少一个系数。

C10.解决方案C5的方法，其中，修改所述系数集包括基于至少一个查找表(LUT)将所述系数集映射到修改的系数集。

C11.解决方案C1到C3中的任一项的方法，其中，导出与当前块相关联的编解码模式和/或信息隐式地基于所述系数集。

C12.解决方案C1到C3中的任一项的方法，其中，导出适用于当前块的子区域的二次变换基于所述系数集。

C13.解决方案C12的方法，其中，所述系数集对应于所述子区域。

C14.解决方案C1到C3中的任一项的方法，其中，做出决策还基于在比特流表示中在序列级、图片级、条带级、片组级信令通知的指示。

C15.解决方案C1到C3中的任一项的方法，其中，在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码器参数集(DPS)、图片参数集(PPS)、自适应参数集(APS)、条带头或片组头中信令通知所述指示。

C16.解决方案C1至C15中的任一项的方法，其中，所述系数集包括代表性系数集。

C17.一种用于视频处理的方法，包括：基于与视频的当前块相关联的编解码信息，做出关于对当前块应用变换的决策；以及基于所述决策，执行当前块和视频的比特流表示之间的转换。

C18.解决方案C17的方法，其中，所述变换与变换的隐式选择(IST)模式相关联，并且其中所述IST模式包括选择性地应用不同于类型II的离散余弦变换(DCT-II)的变换类型。

C19.解决方案C17的方法，其中，所述编解码信息包括当前块的大小。

C20.解决方案C19的方法，其中，当当前块的高度和宽度不大于阈值(T)时应用所述变换，并且其中T是正整数。

C21.解决方案C20的方法，其中T＝32。

C22.解决方案C17的方法，其中，所述编解码信息包括量化参数(QP)。

C23.解决方案C17的方法，其中，所述编解码信息包括包含当前块的当前图片的图片类型。

C24.解决方案C23的方法，其中，图片类型是I帧或P/B帧。

C25.解决方案C24的方法，其中，当图片类型是I帧时应用所述变换，并且其中当图片类型是P/B帧时不应用所述变换。

C26.解决方案C17的方法，其中，所述编解码信息包括包含当前块的当前条带的条带类型。

C27.解决方案C26的方法，其中，条带类型是I条带或P/B条带。

C28.解决方案C17的方法，其中，所述编解码信息包括当前块的分割方法。

C29.解决方案C28的方法，其中，所述分割方法是单树或双树。

C30.解决方案C17的方法，其中，所述编解码信息包括当前块的编解码模式。

C31.解决方案C30的方法，其中，所述编解码模式包括帧间模式、帧内模式或帧内块复制(IBC)模式中的至少一种。

C32.解决方案C30或C31的方法，其中，当当前块是帧内编解码块时应用所述变换。

C33.解决方案C17的方法，其中，所述编解码信息包括应用于当前块的编解码方法。

C34.解决方案C33的方法，其中，编解码方法是子块内分割(ISP)方法和/或导出树(DT)方法。

C35.解决方案C33的方法，其中，当当前块是帧内编解码块，其中导出树(DT)方法应用于当前块时，不应用所述变换。

C36.解决方案C33的方法，其中，当当前块是帧内编解码块，其中子块内分割(ISP)方法应用于当前块时，不应用所述变换。

C37.解决方案C17的方法，其中，所述编解码信息包括视频的颜色分量。

C38.解决方案C37的方法，其中，当所述颜色分量是视频的亮度分量时，应用所述变换。

C39.解决方案C37的方法，其中，当所述颜色分量是视频的色度分量时，不应用所述变换。

C40.解决方案C17的方法，其中，所述编解码信息包括当前块的帧内预测模式。

C41.解决方案C17的方法，其中，编解码信息包括与当前块相关联的运动信息。

C42.解决方案C41的方法，其中，所述运动信息包括一个或多个运动矢量和/或参考索引。

C43.解决方案C17的方法，其中，所述编解码信息包括当前块的标准简档、级别或层级。

C44.一种用于视频处理的方法，包括：对于视频的当前块，基于在视频的比特流表示中在编解码单元(CU)级、编解码块(CB)级或变换单元(TU)级的指示，做出关于对当前块应用变换的决策；以及基于所述决策，执行当前块和比特流表示之间的转换。

C45.解决方案C44的方法，其中，做出所述决策基于在CU级的指示，并且其中所有的TU共享相同的变换矩阵。

C46.解决方案C44的方法，其中，一个CU被分成多个TU，并且其中基于所述多个TU中的一个或多个TU中的系数来确定对应于所述变换的变换矩阵。

C47.解决方案C46的方法，其中，所述一个或多个TU包括所述多个TU中的第一个TU。

C48.解决方案C46的方法，其中，所述一个或多个TU包括所述多个TU中的最后一个TU。

C49.解决方案C46的方法，其中，所述一个或多个TU不包括所述多个TU中的至少一个TU。

C50.解决方案C46的方法，其中，所述一个或多个TU包括所述多个TU中的每一个。

C51.解决方案C44的方法，是基于在CU级的指示还是基于在TU级的指示做出决策是基于当前块的尺寸、虚拟流水线数据单元(VPDU)的尺寸、编解码树单元(CTU)的最大尺寸和/或当前块的编解码信息中的至少一个。

C52.解决方案C51的方法，其中，当当前块的尺寸大于VPDU的尺寸时，所述决策基于在CU级的指示。

C53.解决方案C1至C52中任一个的方法，其中，所述转换从比特流表示生成当前块。

C54.解决方案C1至C52中任一个的方法，其中，所述转换从当前块生成比特流表示。

C55.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器实现在解决方案C1至C54中的任何一个中的方法。

C56.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行在解决方案C1至C54中的任何一个中的方法的程序代码。

图17是视频处理装置1700的框图。装置1700可用于实施本文所述的一种或多种方法。装置1700可以体现在智能手机、平板电脑、计算机、物联网接收器等中。装置1700可以包括一个或多个处理器1702、一个或多个存储器1704和视频处理硬件1706。(多个)处理器1702可以被配置成实现本文档中描述的一种或多种方法(包括但不限于方法1675、1680和1685)。存储器(多个存储器)1704可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1706可以用于在硬件电路中实现本文档中描述的一些技术。

在一些实施例中，视频编解码方法可以使用在硬件平台上实现的装置来实现，如参考图17所述。

所公开的技术的一些实施例包括做出启用视频处理工具或模式的决策或确定。在示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实现该工具或模式，但是不一定基于工具或模式的使用来修改得到的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一示例中，当启用视频处理工具或模式时，解码器将利用已经基于视频处理工具或模式修改比特流的认知来处理比特流。也就是说，从视频的比特流表示到视频块的转换将使用基于决策或确定而启用的视频处理工具或模式来执行。

所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决策或决策。在一个示例中，当视频处理工具或模式被禁用时，编码器将不会在视频块到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将利用没有使用基于决策或确定被启用的视频处理工具或模式修改比特流的认知来处理比特流。

图18是示出示例视频处理系统1800的框图，其中可以实现这里公开的各种技术。各种实现方式可以包括系统1800的一些或所有组件。系统1800可以包括用于接收视频内容的输入1802。视频内容可以以原始或未压缩格式接收，例如8或10位多分量像素值，或者可以是压缩或编码格式。输入1802可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络等)和无线接口(诸如无线网络或蜂窝接口)。

系统1800可以包括编解码组件1804，其可以实现本文档中描述的各种编解码或编码方法。编解码组件1804可以降低从编解码组件1804的输入1802到输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频代码转换技术。编解码组件1804的输出可以被存储，或者通过连接的通信(如组件1806所表示的)来传输。组件1808可以使用在输入端1802接收的视频的存储或传达的比特流(或编解码)表示来生成发送到显示接口1810的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且对编解码结果进行反向的相应解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

从以上所述，将会理解，为了说明的目的，这里已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，当前公开的技术除了由所附权利要求限定之外不受限制。

本专利文档中描述的主题和功能操作的实现可以在各种系统、数字电子电路中实现，或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中实现，或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实现可以被实现为一个或多个计算机程序产品，即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储设备、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协同文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一台计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程也可以由专用逻辑电路来执行，并且设备也可以被实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从其接收数据或向其传输数据，或两者兼有。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或结合在其中。

尽管本专利文档包含许多细节，但这些细节不应被解释为对任何发明或所要求保护的范围的限制，而是对可能特定于特定发明的特定实施例的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者在任何合适的子组合中实现。此外，尽管特征可以在上面被描述为在某些组合中起作用，并且甚至最初被这样要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。此外，本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了几个实现方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实现、增强和变化。

Claims

1.一种用于视频处理的方法，包括：

基于系数集做出关于对视频的当前块应用变换的决策；以及

基于所述决策，执行所述当前块和视频的比特流表示之间的转换。

2.根据权利要求1所述的方法，其中，所述系数集对应于所述比特流表示中的量化系数集。

3.根据权利要求1所述的方法，其中，所述系数集对应于所述比特流表示中的量化系数集的去量化版本。

4.根据权利要求1至3中任一项所述的方法，其中，对所述当前块的变换跳过的应用基于所述系数集。

5.根据权利要求1至3中任一项所述的方法，还包括：

修改所述系数集；以及

在做出所述决策之前，基于修改的系数集导出所述变换。

6.根据权利要求5所述的方法，其中，修改所述系数集包括限幅所述系数集中的至少一个系数。

7.根据权利要求5所述的方法，其中，修改所述系数集包括缩放所述系数集中的至少一个系数。

8.根据权利要求5所述的方法，其中，修改所述系数集包括向所述系数集合中的至少一个系数添加偏移。

9.根据权利要求5所述的方法，其中，修改所述系数集包括滤波所述系数集中的至少一个系数。

10.根据权利要求5所述的方法，其中，修改所述系数集包括基于至少一个查找表(LUT)将所述系数集合映射到修改的系数集。

11.根据权利要求1至3中任一项所述的方法，其中，导出与所述当前块相关联的编解码模式和/或信息隐式地基于所述系数集。

12.根据权利要求1至3中任一项所述的方法，其中，导出适用于所述当前块的子区域的二次变换基于所述系数集。

13.根据权利要求12所述的方法，其中，所述系数集对应于所述子区域。

14.根据权利要求1至3中任一项所述的方法，其中，做出所述决策还基于在比特流表示中在序列级、图片级、条带级、片组级信令通知的指示。

15.根据权利要求1至3中任一项所述的方法，其中，在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码器参数集(DPS)、图片参数集(PPS)、自适应参数集(APS)、条带头或片组头中信令通知所述指示。

16.根据权利要求1至15中任一项所述的方法，其中，所述系数集包括代表性系数集。

17.一种用于视频处理的方法，包括：

基于与视频的当前块相关联的编解码信息，做出关于对所述当前块应用变换的决策；以及

18.根据权利要求17所述的方法，其中，所述变换与变换的隐式选择(IST)模式相关联，并且其中IST模式包括选择性地应用不同于类型II的离散余弦变换(DCT-II)的变换类型。

19.根据权利要求17所述的方法，其中，所述编解码信息包括所述当前块的大小。

20.根据权利要求19所述的方法，其中，当所述当前块的高度和宽度不大于阈值(T)时，应用所述变换，其中T是正整数。

21.根据权利要求20所述的方法，其中T＝32。

22.根据权利要求17所述的方法，其中，所述编解码信息包括量化参数(QP)。

23.根据权利要求17所述的方法，其中，所述编解码信息包括包含所述当前块的当前图片的图片类型。

24.根据权利要求23所述的方法，其中，所述图片类型是I帧或P/B帧。

25.根据权利要求24所述的方法，其中，当所述图片类型是I帧时应用所述变换，并且其中当所述图片类型是P/B帧时不应用所述变换。

26.根据权利要求17所述的方法，其中，所述编解码信息包括包含所述当前块的当前条带的条带类型。

27.根据权利要求26所述的方法，其中，所述条带类型是I条带或P/B条带。

28.根据权利要求17所述的方法，其中，所述编解码信息包括所述当前块的分割方法。

29.根据权利要求28所述的方法，其中，所述分割方法是单树或双树。

30.根据权利要求17所述的方法，其中，所述编解码信息包括所述当前块的编解码模式。

31.根据权利要求30所述的方法，其中，所述编解码模式包括帧间模式、帧内模式或帧内块复制(IBC)模式中的至少一种。

32.根据权利要求30或31所述的方法，其中，当所述当前块是帧内编解码块时，应用所述变换。

33.根据权利要求17所述的方法，其中，所述编解码信息包括应用于所述当前块的编解码方法。

34.根据权利要求33所述的方法，其中，所述编解码方法是子块内分割(ISP)方法和/或导出树(DT)方法。

35.根据权利要求33所述的方法，其中，当所述当前块是帧内编解码块，其中导出树(DT)方法应用于所述当前块时，不应用所述变换。

36.根据权利要求33所述的方法，其中，当所述当前块是帧内编解码块，其中子块内分割(ISP)方法应用于所述当前块时，不应用所述变换。

37.根据权利要求17所述的方法，其中，所述编解码信息包括视频的颜色分量。

38.根据权利要求37所述的方法，其中，当所述颜色分量是所述视频的亮度分量时，应用所述变换。

39.根据权利要求37所述的方法，其中，当所述颜色分量是所述视频的色度分量时，不应用所述变换。

40.根据权利要求17所述的方法，其中，所述编解码信息包括所述当前块的帧内预测模式。

41.根据权利要求17所述的方法，其中，所述编解码信息包括与所述当前块相关联的运动信息。

42.根据权利要求41所述的方法，其中，所述运动信息包括一个或多个运动矢量和/或参考索引。

43.根据权利要求17所述的方法，其中，所述编解码信息包括所述当前块的标准档次、级别或层。

44.一种用于视频处理的方法，包括：

对于视频的当前块，基于在视频的比特流表示中在编解码单元(CU)级、编解码块(CB)级或变换单元(TU)级的指示，做出关于对所述当前块应用变换的决策；以及

基于所述决策，执行所述当前块和所述比特流表示之间的转换。

45.根据权利要求44所述的方法，其中，做出所述决策基于在CU级的指示，并且其中所有的TU共享相同的变换矩阵。

46.根据权利要求44所述的方法，其中，一个CU被分成多个TU，并且其中基于所述多个TU中的一个或多个TU中的系数来确定对应于所述变换的变换矩阵。

47.根据权利要求46所述的方法，其中，所述一个或多个TU包括所述多个TU中的第一个TU。

48.根据权利要求46所述的方法，其中，所述一个或多个TU包括所述多个TU中的最后一个TU。

49.根据权利要求46所述的方法，其中，所述一个或多个TU不包括所述多个TU中的至少一个TU。

50.根据权利要求46所述的方法，其中，所述一个或多个TU包括所述多个TU中的每一个。

51.根据权利要求44所述的方法，是基于在CU级的指示还是基于在TU级的指示做出决策是基于所述当前块的尺寸、虚拟流水线数据单元(VPDU)的尺寸、编解码树单元(CTU)的最大尺寸和/或所述当前块的编解码信息中的至少一个。

52.根据权利要求51所述的方法，其中，当所述当前块的尺寸大于VPDU的尺寸时，所述决策基于在所述CU级的指示。

53.根据权利要求1至52中任一项所述的方法，其中，所述转换从所述比特流表示生成所述当前块。

54.根据权利要求1至52中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。

55.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时，使得所述处理器实现权利要求1至44中的一项或多项所述的方法。

56.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行权利要求1至54中的一项或多项所述的方法的程序代码。