CN117560489A

CN117560489A - 用于残差编解码的上下文建模

Info

Publication number: CN117560489A
Application number: CN202311511035.7A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-05-14
Filing date: 2020-05-14
Publication date: 2024-02-13
Also published as: WO2020228762A1; US20220377337A1; US20220070459A1; US11425380B2; CN113853785A; CN113853785B

Abstract

描述了用于残差编解码的上下文建模。提供了一种处理视频数据的方法、装置和介质，该方法包括：在视频的当前变换块和视频的比特流之间的转换期间，基于在第一残差编解码模式下使用的当前变换块的上下文编解码二进制位的数量，确定是否从第一残差编解码模式切换到第二残差编解码模式，其中当前变换块使用变换跳过模式进行编解码，在变换跳过模式下，针对预测残差跳过变换过程，并且其中当前变换块的系数使用第一残差编解码模式或第二残差编解码模式在多个遍次中在比特流中被编解码；以及基于该确定来执行转换。

Description

用于残差编解码的上下文建模

相关申请的交叉引用

本申请是申请日为2020年5月14日、申请号为202080035935.7、发明名称为“用于残差编解码的上下文建模”的发明专利申请的分案申请，其要求2019年5月14日提交的国际专利申请No.PCT/CN2019/086814的优先权和利益。前述申请的全部公开通过引用并入本文作为本申请的公开的一部分。

技术领域

本专利文档涉及视频编解码技术、设备和系统。

背景技术

目前，正在努力提高当前视频编解码器技术的性能，以提供更好的压缩比或提供允许较低复杂性或并行实施方式的视频编码和解码方案。行业专家最近提出了几种新的视频编解码工具，并且目前正在进行测试以确定其有效性。

发明内容

描述了与数字视频编解码有关，并且具体地，与运动矢量管理有关的设备、系统和方法。所描述的方法可以被应用于现有的视频编解码标准(例如，高效视频编解码(HEVC)或多功能视频编解码)和未来的视频编解码标准或视频编解码器。

在一个代表性方面，所公开的技术可以用于提供一种处理视频数据的方法，包括：在视频的当前变换块和所述视频的比特流之间的转换期间，基于在第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；以及基于所述确定来执行所述转换。

在一个代表性方面，所公开的技术可以用于提供一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：在视频的当前变换块和所述视频的比特流之间的转换期间，基于在第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；以及基于所述确定来执行所述转换。

在一个代表性方面，所公开的技术可以用于提供一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：在视频的当前变换块和所述视频的比特流之间的转换期间，基于在第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；以及基于所述确定来执行所述转换。

在一个代表性方面，所公开的技术可以用于提供一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：基于在第一残差编解码模式下使用的所述视频的当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；以及基于所述确定来生成所述比特流。

在一个代表性方面，所公开的技术可以用于提供一种用于存储视频的比特流的方法，包括：基于在第一残差编解码模式下使用的所述视频的当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；基于所述确定来生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括在包括一个或多个单元的视频的块和视频的比特流表示之间的转换期间，基于在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量，确定是否从第一残差编解码技术切换到第二残差编解码技术。该单元的系数使用第一残差编解码技术或第二残差编解码技术在多个遍次中在比特流表示中被编解码。该方法还包括基于该确定来执行转换。

在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的块和视频的比特流表示之间的转换。该块包括一个或多个编解码组，并且当前块基于对每个编解码组的上下文编解码二进制位的最大数量的约束在比特流表示中被编解码。

在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的当前块和视频的比特流表示之间的转换。当前块基于对与当前块相关联的每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量的约束在比特流表示中被编解码。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括基于应用对与当前视频单元相关联的每个编解码组(CG)的上下文编解码二进制位的最大数量的约束来对当前视频单元进行上下文建模，其中上下文建模的信息被包括在当前视频单元的比特流表示中。

在另一个代表性方面，所公开的技术可以用于提供另一种视频处理方法。该方法包括执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括基于应用对与当前视频单元相关联的每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量的约束来对当前视频单元进行上下文建模，其中上下文建模的信息被包括在当前视频单元的比特流表示中。

在另一个代表性方面，所公开的技术可以用于提供另一种视频处理方法。该方法包括执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括一个或多个残差编解码步骤，使得每个残差编解码步骤与每个编解码单元的上下文编解码二进制位的数量相关联；以及在转换期间，至少部分地基于第一步骤中每个编解码单元的上下文编解码二进制位的第一数量和第二步骤中每个编解码单元的上下文编解码二进制位的第二数量，从第一残差编解码步骤切换到第二残差编解码步骤。

此外，在代表性方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器。该指令在由处理器执行时使得处理器实施所公开的方法中的任何一种或多种。

此外，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行所公开的方法中的任何一种或多种的程序代码。

在附图、说明书和权利要求书中更详细地描述了所公开的技术的以上以及其他方面和特征。

附图说明

图1示出了编码器框图的示例。

图2示出了帧内方向模式的示例。

图3示出了4×4块的仿射线性加权帧内预测(ALWIP)的示例。

图4示出了8×8块的仿射线性加权帧内预测(ALWIP)的示例。

图5示出了8×4块的仿射线性加权帧内预测(ALWIP)的示例。

图6示出了16×16块的仿射线性加权帧内预测(ALWIP)的示例。

图7示出了邻近预测块的参考线的示例。

图8示出了块的划分的示例。

图9示出了具有例外的块的划分的示例。

图10示出了二次变换的示例。

图11示出了简化二次变换(RST)的示例。

图12示出了正简化变换和逆简化变换的示例。

图13示出了正RST的示例。

图14示出了RST扫描的示例。

图15示出了子块变换模式的示例。

图16示出了扫描顺序的示例。

图17示出了扫描顺序的另一示例。

图18示出了用于选择概率模型的示例模板。

图19示出了标量量化器的示例。

图20示出了与标量量化器相关联的状态转移机的示例。

图21是用于实施本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。

图22示出了用于视频编解码的示例方法的流程图。

图23是所公开的技术可以被实施的示例视频处理系统的框图。

图24示出了根据本技术的用于视频处理的示例方法的流程图。

图25示出了根据本技术的用于视频处理的另一示例方法的流程图。

图26示出了根据本技术的用于视频处理的又一示例方法的流程图。

具体实施方式

1.HEVC/H.265中的视频编解码

视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视化，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team，JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立，以致力于VVC(Versatile Video Coding，多功能视频编解码)标准，目标是与HEVC相比比特率降低50％。

2.1.典型视频编解码器的编解码流程

图1示出了VVC的编码器框图的示例，其包含三个环内滤波块：去方块滤波器(DF)、样点自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点，用信令通知偏移和滤波器系数的编解码边信息，分别通过添加偏移并且通过应用有限脉冲响应(FIR)滤波器来减少原始样点和重构样点之间的均方误差。ALF位于每个图片的最后一个处理阶段，并且可以被视为试图捕捉和修复先前阶段创建的伪像(artifact)的工具。

2.2.VVC中的帧内编解码

2.2.1.具有67种帧内预测模式的帧内模式编解码

为了捕获自然视频中呈现的任意边缘方向，方向帧内模式的数量从HEVC中使用的33个扩展到65个。附加的方向模式如图2中的红色虚线箭头描绘，并且平面模式和DC模式保持不变。这些密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

传统的角度帧内预测方向被定义为在顺时针方向上从45度到-135度，如图2所示。在VTM2中，对于非正方形块，几个传统的角度帧内预测模式被自适应地替换为宽角度帧内预测模式。替换的模式使用原始方法来信令通知，并在解析之后重新映射到宽角度模式的索引。帧内预测模式的总数不变，例如67，并且帧内模式编解码不变。

在HEVC中，每个帧内编解码块具有正方形形状，其每边的长度为2的幂。因此，不需要除法运算来使用DC模式生成帧内预测值。在VVV2中，块可以具有矩形形状，这在一般情况下需要对每个块使用除法运算。为了避免DC预测的除法运算，仅使用较长的边来计算非正方形块的平均值。

除了67种帧内预测模式之外，还对特定块启用非方形块的宽角度帧内预测(WAIP)和位置依赖帧内预测组合(PDPC)方法。PDPC在没有信令通知的情况下被应用于以下帧内模式：平面、DC、水平、垂直、左底部角度模式及其八个相邻角度模式、以及右顶部角度模式及其八个相邻角度模式。

2.2.2.仿射线性加权帧内预测(ALWIP，又名基于矩阵的帧内预测)

2.2.2.1.通过矩阵矢量乘法生成简化的预测信号

邻近参考样点首先经由平均进行下采样，以生成简化的参考信号bdry_red。然后，简化的预测信号pred_red通过计算矩阵矢量积并添加偏移来计算：

pred_red＝A·bdry_red+b

这里，A是矩阵，如果W＝H＝4，则具有W_red·H_red行和4列，并且在所有其他情况下，具有8列。b是尺寸为W_red·H_red的矢量。

2.2.2.2.整个ALWIP过程的说明

在图3-图6中针对不同形状示出了平均、矩阵矢量乘法和线性插值的整个过程。请注意，剩余形状被视为所描述的情况之一。

1.给出4×4块，如图3所示，ALWIP沿着边界的每个轴取两个平均值。得到的四个输入样点进入矩阵矢量乘法。矩阵取自集合S₀。在添加偏移之后，这产生16个最终预测样点。线性插值对于生成预测信号不是必需的。因此，执行每个样点总共(4·16)/(4·4)＝4次乘法。

2.给出8×8块，如图4所示，ALWIP沿着边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S₁。这在预测块的奇数位置产生16个样点。因此，执行每个样点总共(8·16)/(8·8)＝2次乘法。在添加偏移之后，通过使用简化的顶部边界对这些样点进行垂直插值。使用原始的左边界进行水平插值。

3.给出8×4块，如图5所示，ALWIP沿着边界的水平轴取四个平均值，并且在左边界上取四个原始边界值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S₁。这在预测块的奇数水平和每个垂直位置上产生16个样点。因此，执行每个样点总共(8·16)/(8·4)＝4次乘法。在添加偏移之后，通过使用原始左边界对这些样点进行水平插值。转置后的情况被相应地对待。

4.给出16×16块，如图6所示，ALWIP沿着边界的每个轴取四个平均值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S₂。这在预测块的奇数位置产生64个样点。因此，执行每个样点总共(8·64)/(16·16)＝2次乘法。在添加偏移之后，通过使用顶部边界的八个平均值对这些样点进行垂直插值。使用原始的左边界进行水平插值。在这种情况下，插值过程不添加任何乘法。因此，每个样点两次乘法与计算ALWIP预测相关联。

对于较大的形状，过程基本相同，并且容易检查每个样点的乘法次数少于四次。

对于W×8块(其中W>8)，只需要水平插值，因为样点是在奇数水平和每个垂直位置给出的。

最终，对于W×4块(其中W>8)，设A_kbe是这样出现的矩阵，即沿着下采样块的水平轴省去对应于奇数条目的每一行。因此，输出尺寸为32，并且再次，仅水平插值保持执行。

转置后的情况被相应地对待。

2.2.2.3.语法和语义

以下粗体和下划线部分指示对标准的所提出的修改。

7.3.6.5编解码单元语法

2.2.3.多参考线(MRL)

多参考线(MRL)帧内预测使用更多参考线进行帧内预测。在图7中，描绘了4个参考线的示例，其中段A和F的样点不是从重构的邻近样点中提取的，而是分别用来自段B和E的最接近的样点填充的。HEVC帧内图片预测使用最近的参考线(例如，参考线0)。在MRL中，使用2个附加线(参考线1和参考线3)。

所选择的参考线的索引(mrl_idx)被信令通知并用于生成帧内预测值。对于大于0的参考线索引，仅在MPM列表中包括附加参考线模式，并且仅信令通知MPM索引，而没有剩余模式。参考线索引在帧内预测模式之前被信令通知，并且在非零参考线索引被信令通知的情况下，平面模式和DC模式从帧内预测模式排除。

对CTU内的第一线的块禁用MRL，以防止使用当前CTU线之外的扩展参考样点。此外，当使用附加线时，PDPC被禁用。

2.2.4.帧内子块分割(ISP)

在一些实施例中，ISP用于根据块尺寸大小，将亮度帧内预测块垂直或水平划分为2个或4个子分割，如表1所示。图8和图9示出了两种可能性的示例。所有子分割都满足至少具有16个样点的条件。对于块尺寸，4xN或Nx4(其中N>8)，如果允许，可以存在1xN或Nx1子分割。

表1：根据块尺寸的子分割的数量(通过maxTBSize的表示的最大变换尺寸)

对于这些子分割中的每一个，通过对由编码器传送的系数进行熵解码，然后对其进行逆量化和逆变换，来生成残差信号。然后，子分割被帧内预测，并且最终通过将残差信号添加到预测信号来获得对应的重构样点。因此，每个子分割的重构值将可用于生成下一个的预测，这将重复该过程等等。所有子分割共享相同的帧内模式。

表2：根据predModeIntra的trTypeHor和trTypeVer的规范

2.2.4.1.语法和语义

以下粗体和下划线部分指示对标准的所提出的修改。

7.3.7.5编解码单元语法

等于1的[x0][y0]指定将当前帧内编解码单元分割为NumIntraSubPartitions[x0][y0]个矩形变换块子分割。等于0的intra_subpartitions_mode_flag[x0][y0]指定当前帧内编解码单元没有被分割为矩形变换块子分割。

当intra_subpartitions_mode_flag[x0][y0]不存在时，其被推断为等于0。

[x0][y0]指定帧内子分割划分类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，其被推断如下：

-如果cbHeight大于MaxTbSizeY，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。

-否则(cbWidth大于MaxTbSizeY)，intra_subpartitions_split_flag[x0][y0]被推断为等于1。

变量IntraSubPartitionsSplitType指定用于当前亮度编解码块的划分的类型，如表3所示。IntraSubPartitionsSplitType被推导如下：

-如果intra_subpartitions_mode_flag[x0][y0]等于0，则IntraSubPartitionsSplitType被设置为等于0。

-否则，IntraSubPartitionsSplitType被设置为等于1+intra_subpartitions_split_flag[x0][y0]。

表3-IntraSubPartitionsSplitType的名称关联

IntraSubPartitionsSplitType	IntraSubPartitionsSplitType的名称
		0	ISP_NO_SPLIT
1	ISP_HOR_SPLIT
		2	ISP_VER_SPLIT

变量NumIntraSubPartitions指定帧内亮度编解码块被划分为的变换块子分割的数量。NumIntraSubPartitions被推导如下：

-如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，则NumIntraSubPartitions被设置为等于1。

-否则，如果以下条件之一为真，则NumIntraSubPartitions被设置为等于2：

-cbWidth等于4，并且cbHeight等于8，

-cbWidth等于8，并且cbHeight等于4。

-否则，NumIntraSubPartitions被设置为等于4。

2.3.VVC中的变换编解码

2.3.1.VVC中的多变换集(MTS)

2.3.1.1.显式多变换集(MTS)

在一些实施例中，其中尺寸最大64×64的大块尺寸变换，这主要用于更高分辨率视频，例如1080p和4K序列。对于尺寸(宽度或高度，或宽度和高度两者)等于64的变换块，高频变换系数被归零，以便仅保留低频系数。例如，对于M×N变换块，以M为块宽度，并且N为块高度，当M等于64时，仅保留变换系数的左边32列。类似地，当N等于64时，仅保留变换系数的顶部32行。当变换跳过模式用于大块时，将使用整个块而不归零任何值。

除了已经在HEVC中采用的DCT-II之外，多变换选择(MTS)方案用于对帧间和帧内编解码块进行残差编解码。它使用来自DCT8/DST7的多个所选择的变换。新引入的变换矩阵是DST-VII和DCT-VIII。下表4示出了所选择的DST/DCT的基函数。

表4：VVC中使用的变换矩阵的基函数

为了保持变换矩阵的正交性，变换矩阵比HEVC中的变换矩阵更精确地量化。为了将变换系数的中间值保持在16比特范围内，在水平和垂直变换之后，所有系数都要有10比特。

为了控制MTS方案，在SPS级别分别为帧内和帧间指定单独启用标志。当在SPS启用MTS时，信令通知CU级别标志，以指示是否应用MTS。这里，MTS仅适用于亮度。当满足以下条件时，MTS CU级别标志被信令通知：

-宽度和高度都小于或等于32

-CBF标志等于1

如果MTS CU标志等于零，则在两个方向上应用DCT2。然而，如果MTS CU标志等于1，则附加信令通知两个其它标志，以分别指示水平和垂直方向的变换类型。变换和信令映射表如表5所示。当涉及变换矩阵精度时，使用8比特一次变换核心。因此，在HEVC中使用的所有变换核心保持相同，包括4点DCT-2和DST-7、8点、16点和32点DCT-2。此外，包括64点DCT-2、4点DCT-8、8点、16点、32点DST-7和DCT-8的其他变换核心使用8比特一次变换核心。

表5：tu_mts_idx的解码值与水平和垂直方向的对应变换矩阵的映射

为了降低大尺寸DST-7和DCT-8的复杂性，对于尺寸(宽度或高度，或宽度和高度两者)等于32的DST-7和DCT-8块，高频变换系数被归零。仅保留16x16低频区域内的系数。

除了应用不同变换的情况之外，VVC还支持称为变换跳过(TS)的模式，类似于HEVC中的TS的概念。TS被视为MTS的特例。

2.3.2.简化二次变换(RST)

2.3.2.1.不可分二次变换(NSST)

在一些实施例中，在正一次变换和量化之间(在编码器处)以及在解量化和逆一次变换之间(在解码器侧)应用二次变换。如图10所示，根据块尺寸执行4x4(或8x8)二次变换。例如，对于每个8x8块，4x4二次变换被应用于小块(例如，min(width,height)<8)，并且8x8二次变换被应用于较大块(例如，min(width,height)>4)。

下面使用输入作为示例描述不可分变换的应用。为了应用不可分变换，4x4输入块X

被首先表示为矢量

不可分变换被计算为其中/>指示变换系数矢量，并且T是16x16变换矩阵。随后使用该块的扫描顺序(水平、垂直或对角线)将16x1系数矢量/>重新组织为4x4块。具有较小索引的系数将与较小扫描索引一起放置在4x4系数块中。总共有35个变换集，并且每个变换集使用3个不可分变换矩阵(核)。从帧内预测模式到变换集的映射是预定义的。对于每个变换集，所选择的不可分二次变换(NSST)候选进一步由显式信令通知的二次变换索引来指定。在变换系数之后，该索引在比特流中每帧内CU一次进行信令通知。

2.3.2.2.示例简化二次变换(RST)

RST(又名低频不可分变换(LFNST))使用4个变换集(而不是35个变换集)映射。在一些实施例中，利用16x64(进一步简化为16x48)和16x16矩阵。为了便于标注，16x64(简化为16x48)转换被表示为RST 8x8，并且16x16转换被表示为RST 4x4。图11示出了RST的示例。

2.3.2.2.1.RST计算

简化变换(RT)的主要思想是将N维矢量映射到不同空间中的R维矢量，其中R/N(R<N)是简化因子。

RT矩阵是R×N矩阵，如下：

其中变换的R行是N维空间的R个基。RT的逆变换矩阵是其正变换的转置。正RT和逆RT如图12所描绘。

可以应用简化因子为4(1/4尺寸)的RST 8x8。因此，代替64x64，使用16x64直接矩阵，其是传统的8x8不可分变换矩阵尺寸。换句话说，在解码器侧使用64×16逆RST矩阵来生成8×8左顶部区域中的核心(一次)变换系数。正RST 8x8使用16×64(或8x64，对于8x8块)矩阵，使得它仅在给定8×8区域内的左顶部4×4区域中产生非零系数。换句话说，如果应用RST，则除了左顶部4×4区域之外的8×8区域将仅具有零系数。对于RST 4x4，应用16x16(或8x16，对于4x4块)直接矩阵乘法。

当满足以下两个条件时，有条件地应用逆RST：

-块尺寸大于或等于给定阈值(W>＝4&&H>＝4)

-变换跳过模式标志等于零

如果变换系数块的宽度(W)和高度(H)都大于4，则RST 8x8被应用于变换系数块的左顶部8×8区域。否则，将RST 4x4应用于变换系数块的左顶部min(8,W)×min(8,H)区域。

如果RST索引等于0，则不应用RST。否则，应用RST，其核与RST索引一起选择。RST选择方法和RST索引的编解码将在后面解释。

此外，RST被应用于帧内和帧间条带中的帧内CU，以及亮度和色度。如果启用了双树，亮度和色度的RST索引被单独信令通知。对于帧间条带(双树被禁用)，单个RST索引被信令通知并用于亮度和色度。

2.3.2.2.2.RST的限制

当选择ISP模式时，禁用RST，并且不信令通知RST索引，因为即使将RST应用于每个可行的分割块，性能改进也是微乎其微的。此外，对ISP预测残差禁用RST可以降低编码复杂性。

2.3.2.2.3.RST选择

从四个变换集中选择RST矩阵，每个变换集由两个变换组成。应用哪个变换集从帧内预测模式确定，如下：

(1)如果指示三种CCLM模式之一，则选择变换集0。

(2)否则，根据下表执行变换集选择：

变换集选择表

IntraPredMode	变换集索引
		IntraPredMode<0	1
0<＝IntraPredMode<＝1	0
		2<＝IntraPredMode<＝12	1
13<＝IntraPredMode<＝23	2
		24<＝IntraPredMode<＝44	3
45<＝IntraPredMode<＝55	2
		56<＝IntraPredMode	1

访问表的索引，表示为IntraPredMode，范围为[-14,83]，这是用于宽角度帧内预测的变换模式索引。

2.3.2.2.4.简化大小的RST矩阵

作为进一步简略化，应用16x48矩阵代替具有相同变换集配置的16x64，每个矩阵从左顶部8x8块中排除右底部4x4块的三个4x4块中获取48个输入数据，诸如图13所示。

2.3.2.2.5.RST信令通知

正RST 8x8(其中R＝16)使用16×64矩阵，使得它只在给定的8×8区域的左顶部4×4区域中产生非零系数。换句话说，如果应用RST，则除了左顶部4×4区域的8×8区域仅生成零系数。结果，当在除了左顶部4×4的8x8块区域(其在图14中描绘)内检测到任何非零元素时，RST索引不被编解码，因为这暗示没有应用RST。在这种情况下，RST索引被推断为零。

2.3.2.2.6.归零范围

通常，在对4×4子块应用逆RST之前，4×4子块中的任何系数都可以为非零。然而，在一些情况下受到约束，在将逆RST应用于子块之前，4×4子块中的一些系数为零。

设nonZeroSize为变量。当在逆RST之前将具有不小于nonZeroSize的索引的任何系数重新排列到1-D阵列中时，该任何系数可以为零。

当nonZeroSize等于16时，左顶部4×4子块中的系数没有归零约束。

在一些实施例中，当当前块尺寸为4×4或8×8时，nonZeroSize被设置为等于8。对于其他块大小，nonZeroSize被设置为等于16。

2.3.2.2.7.RST的描述

以下粗体和下划线部分指示对标准的所提出的修改。

7.3.2.3序列参数集RBSP语法

7.3.7.11残差编解码语法

7.3.7.5编解码单元语法

/>

等于1的指定st_idx可以存在于帧内编解码单元的残差编解码语法中。等于0的sps_st_enabled_flag指定st_idx不存在于帧内编解码单元的残差编解码语法中。

[x0][y0]指定在所选择的变换集中的两个候选核之间应用哪个二次变换核。等于0的st_idx[x0][y0]指定不应用二次变换。阵列索引x0、y0指定所考虑的变换块相对于图片的左顶部样点的左顶部样点的位置(x0,y0)。

当st_idx[x0][y0]不存在时，st_idx[x0][y0]被推断为等于0。

st_idx的二进制位是上下文编解码的。更具体地，以下适用：

表5-语法元素和相关联的二值化

表6-将ctxInc分配给具有上下文编解码二进制位的语法元素

9.5.4.2.8语法元素st_idx的ctxInc的推导过程

该过程的输入是色彩分量索引cIdx、根据cIdx指定当前亮度或色度编解码块相对于当前图片的左顶部样点的左顶部样点的亮度或色度位置(x0,y0)、树类型treeType、第8.4.2条中指定的亮度帧内预测模式IntraPredModeY[x0][y0]、第7.4.7.5条中指定的指定色度样点的帧内预测模式的语法元素intra_chroma_pred_mode[x0][y0]、以及多变换选择索引tu_mts_idx[x0][y0]。

该过程的输出是变量ctxInc。

变量intraModeCtx被推导如下：

如果cIdx等于0，则intraModeCtx被推导如下：

intraModeCtx＝(IntraPredModeY[x0][y0]<＝1)？1:0

否则(cIdx大于0)，intraModeCtx被推导如下：

intraModeCtx＝(intra_chroma_pred_mode[x0][y0]>＝4)？1:0

变量mtsCtx被推导如下：

mtsCtx＝(tu_mts_idx[x0][y0]＝＝0&&treeType！＝SINGLE_TREE)？1:0

变量ctxInc被推导如下：

ctxInc＝(binIdx<<1)+intraModeCtx+(mtsCtx<<2)

2.3.2.2.8.RST使用的概述

以下粗体和下划线部分指示对标准的所提出的修改。

只有当时，才能启用RST。此外，当启用RST时，可以应用对RST应用的编解码组(CG)的非零系数的位置的以下限制。

表7：RST的使用

2.3.3.子块变换

对于具有等于1的cu_cbf的帧间预测CU，可以信令通知cu_sbt_flag以指示解码整个残差块还是残差块的子部分。在前一种情况下，进一步解析帧间MTS信息以确定CU的变换类型。在后一种情况下(例如，启用SBT)，残差块的一部分用推断的自适应变换进行编解码，并且残差块的另一部分归零。SBT不应用于组合帧间-帧内模式和三角形预测模式。

在子块变换中，位置依赖变换被应用于SBT-V和SBT-H中的亮度变换块(色度TB总是使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，每个SBT位置的水平和垂直变换在图15中指定。例如，SBT-V位置0的水平和垂直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，对应的变换被设置为DCT-2。因此，子块变换联合指定TU平铺(tiling)、cbf以及残差块的水平和垂直变换，这可以被认为是块的主要残差在块的一侧的情况的语法快捷方式。

2.3.3.1.语法元素

以下粗体和下划线部分指示对标准的所提出的修改。

7.3.7.5编解码单元语法

/>

等于1的指定对于当前编解码单元，使用子块变换。等于0的cu_sbt_flag指示对于当前编解码单元，不使用子块变换。

当cu_sbt_flag不存在时，其值被推断为等于0。

注意-:当使用子块变换时，编解码单元被划分为两个变换单元；一个变换单元具有残差数据，另一个不具有残差数据。

等于1的指定对于当前编解码单元，子块变换包括当前编解码单元的1/4尺寸的变换单元。等于0的cu_sbt_quad_flag指定对于当前编解码单元，子块变换包括当前编解码单元的1/2尺寸的变换单元。

当cu_sbt_quad_flag不存在时，其值被推断为等于0。

等于1的指定当前编解码单元被水平划分为2个变换单元。等于0的cu_sbt_horizontal_flag[x0][y0]指定当前编解码单元被垂直划分为2个变换单元。

当cu_sbt_horizontal_flag不存在时，其值被推导如下：

-如果cu_sbt_quad_flag等于1，则cu_sbt_horizontal_flag被设置为等于allowSbtHorQ。

-否则(cu_sbt_quad_flag等于0)，cu_sbt_horizontal_flag被设置为等于allowSbtHorH。

等于1的指定当前编解码单元中的第一变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr不存在于比特流中。等于0的cu_sbt_pos_flag指定当前编解码单元中的第二变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr不存在于比特流中。

变量SbtNumFourthsTb0被推导如下：

sbtMinNumFourths＝cu_sbt_quad_flag？1:2 (7-117)

SbtNumFourthsTb0＝cu_sbt_pos_flag？(4-sbtMinNumFourths):sbtMinNumFourths (7-118)

等于0的指定允许子块变换的最大CU宽度和高度为32个亮度样点。等于1的sps_sbt_max_size_64_flag指定允许子块变换的最大CU宽度和高度为64个亮度样点。

MaxSbtSize＝sps_sbt_max_size_64_flag？64:32 (7-33)

2.3.4.4量化残差域块差分脉码调制编解码(QR-BDPCM)

在一些实施例中，提出了量化残差域BDPCM(下文表示为QR-BDPCM)。不同于BDPCM，通过在类似于帧内预测的预测方向(水平或垂直预测)上的样点复制，对整个块进行帧内预测。残差被量化，并且量化残差与其预测值(水平或垂直)量化值之间的增量被编解码。

对于尺寸为M(行)×N(列)的块，设r_i,j,0≤i≤M-1,0≤j≤N-1，是在使用来自上方或左边块边界样点的未滤波样点水平地(跨预测块逐行复制左边邻居像素值)或垂直地(在预测块中将顶部邻居线复制到每个线)执行帧内预测之后的预测残差。设Q(r_i,j),0≤i≤M-1,0≤j≤N-1表示残差r_i,j的量化版本，其中残差是原始块和预测块值之间的差。然后将块DPCM应用于量化残差样点，得到具有元素的修改的M×N阵列/>当信令通知垂直BDPCM时：

对于水平预测，类似的规则适用，通过以下获得残差量化样点

残差量化样点被传送到解码器。

在解码器侧，以上计算相反，以产生Q(r_i,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况，

/>

对于水平情况，

逆量化残差Q^-1(Q(r_i,j))被添加到帧内块预测值，以产生重构的样点值。

总是在QR-BDPCM中使用变换跳过。

2.4.系数的熵编解码

2.4.1.变换应用块的系数编解码

在HEVC中，使用非重叠的系数组(CG，或子块)对编解码块的变换系数进行编解码，并且每个CG包含编解码块的4x4块的系数。编解码块内的CG和CG内的变换系数根据预定义的扫描顺序进行编解码。

编解码块内的CG和CG内的变换系数根据预定义的扫描顺序进行编解码。CG和CG内的系数都遵循对角线右上扫描顺序。4x4块和8x8扫描顺序的示例分别在图16和图17中描绘。

注意，编解码顺序是相反的扫描顺序(例如，在图17中从CG3到CG0的解码)，当解码一个块时，首先解码最后一个非零系数的坐标。

具有至少一个非零变换系数的CG的变换系数级别的编解码可以分开为多个扫描遍次(pass)。在VVC3中，对于每个CG，常规编解码二进制位和旁路(bypass)编解码二进制位按照编解码顺序分开；首先，发送子块的所有常规编解码二进制位，此后，发送旁路编解码二进制位。子块的变换系数级别在扫描位置上在五个遍次中进行编解码，如下：

-遍次1：按照编解码顺序处理重要性(sig_flag)、大于1标志(gt1_flag)、奇偶性(par_level_flag)和大于2标志(gt2_flag)的编解码。如果sig_flag等于1，首先对gt1_flag进行编解码(指定绝对级别是否大于1)。如果gt1_flag等于1，对par_flag进行附加编解码(它指定绝对级别减2的奇偶性)。

-遍次2：对具有等于1的gt2_flag或等于1的gt1_flag的所有扫描位置处理剩余绝对级别(余数)的编解码。用Golomb-Rice码对非二进制语法元素进行二值化，并在算术编解码引擎的旁路模式下对产生的二进制位进行编解码。

-遍次3：在第一遍次中没有sig_flag被编解码的系数的绝对级别(absLevel)(由于达到了常规编解码二进制位的限制)在算术编解码引擎的旁路模式下使用Golomb-Rice码进行完全编解码。

-遍次4：具有等于1的sig_coeff_flag的所有扫描位置的符号(sign_flag)的编解码。对于4x4子块，保证不超过32个常规编解码二进制位(sig_flag、par_flag、gt1_flag和gt2_flag)被编码或解码。对于2x2色度子块，常规编解码二进制位的数量被限制为8。

用于非二进制语法元素余数(在遍次3中)进行编解码的Rice参数(ricePar)类似于HEVC来推导。在每个子块的开始，ricePar被设置为等于0。在对语法元素余数进行编解码之后，Rice参数根据预定义的等式进行修改。对于对非二进制语法元素absLevel进行编解码(在遍次4中)，确定局部模板中的绝对值之和sumAbs。变量ricePar和posZero是通过查表基于依赖量化和sumAbs确定的。中间变量codeValue被推导如下：

-如果absLevel[k]等于0，则codeValue被设置为等于posZero；

-否则，如果absLevel[k]小于或等于posZero，则codeValue被设置为等于absLevel[k]-1；

-否则(absLevel[k]大于posZero)，codeValue被设置为等于absLevel[k]。

codeValue的值是使用具有Rice参数ricePar的Golomb-Rice码进行编解码的。

2.4.1.1.用于系数编解码的上下文建模

与变换系数级别的绝对值相关的语法元素的概率模型的选择取决于局部邻域中的绝对级别或部分重构的绝对级别的值。使用的模板如图18所示。

所选择的概率模型取决于局部邻域中的绝对级别(或部分重构的绝对级别)之和以及局部邻域中大于0的绝对级别的数量(由等于1的sig_coeff_flags的数量给出)。上下文建模和二值化取决于局部邻域的以下测量：

numSig：局部邻域中的非零级别的数量，

sumAbs1：局部邻域中的第一遍次之后的部分重构的绝对级别(absLevel1)之和，

sumab：局部邻域中的重构的绝对级别之和，和

对角线位置(d)：变换块内的当前扫描位置的水平和垂直坐标之和。

基于numSig、sumAbs1和d的值，选择用于对sig_flag、par_flag、gt1_flag和gt2_flag进行编解码的概率模型。用于对abs_remainder进行二值化的Rice参数是基于sumAbs和numSig的值来选择的。

2.4.1.2.依赖量化(DQ)

此外，相同的HEVC标量量化与新的概念一起使用，称为依赖标量量化。依赖标量量化是指这样的方法，其中变换系数的容许重构值集合取决于按照重构顺序在当前变换系数级别之前的变换系数级别的值。这种方法的主要效果是，与在HEVC中使用的传统独立标量量化相比，容许重构矢量在N维矢量空间中被更密集地封装(N表示变换块中的变换系数的数量)。这意味着，对于每N维单位体积的给定平均数量的容许重构矢量，输入矢量和最接近的重构矢量之间的平均失真减小。依赖标量量化的方法通过以下实现：(a)定义具有不同重构级别的两个标量量化器，以及(b)定义两个标量量化器之间的切换过程。

使用的两个标量量化器，由Q0和Q1表示，如图19所示。可用重构级别的位置由量化步长Δ唯一指定。使用的标量量化器(Q0或Q1)不在比特流中显式信令通知。相反，用于当前变换系数的量化器由按照编解码/重构顺序在当前变换系数之前的变换系数级别的奇偶性确定。

如图20所示，两个标量量化器(Q0和Q1)之间的切换经由具有四种状态的状态机来实现。状态可以取四个不同的值：0、1、2、3。它由按照编解码/重构顺序在当前变换系数之前的变换系数级别的奇偶性唯一确定。在变换块的逆量化的开始，状态被设置为等于0。变换系数按照扫描顺序重构(例如，按照与它们被熵解码相同的顺序)。在当前变换系数被重构之后，状态被更新，如图20所示，其中k表示变换系数级别的值。

2.4.1.3.语法和语义

以下部分呈现残差(变换系数)编解码的语法设计。

7.3.7.11残差编解码语法

/>

2.4.2.TS编解码块和QR-BDPCM编解码块的系数编解码

2.4.2.1.编解码遍次

TS残差的修改的变换系数级别编解码。如果每个CG包含非零系数，则应用多个遍次来对每个CG进行编解码：

如果需要，对大于0标志/>符号标志/>大于1标志/>和奇偶性标志/>进行编解码；

对于第j遍次，对大于(2*j)标志/>进行编解码；

对系数的幅度的剩余部分/>进行编解码/>

2.4.2.2.与非TS残差编解码相比的改变概述

相对于常规残差编解码情况，TS的残差编解码包括以下改变：

(1)没有最后x/y位置的信令通知；

(2)当所有先前标志等于0时，为除了最后一个子块之外的每个子块编解码的coded_sub_block_flag；

(3)用简化模板的sig_coeff_flag上下文建模；

(4)abs_level_gtX_flag[0]和par_level_flag的单个上下文模型；

(5)符号标志的上下文建模，附加大于5、7、9的标志；

(6)余数二值化的修改的Rice参数推导；

(7)对每个样点的上下文编解码二进制位的数量的限制，一个块内每个样点2个二进制位。

2.4.2.3.语法和语义

以下粗体和下划线部分指示对标准的所提出的修改。

7.3.6.10变换单元语法

/>

对于每个CG，上下文编解码二进制位的数量被限制为不大于每个样点2个二进制位。

表8-将ctxInc分配给具有上下文编解码二进制位的语法元素

2.4.2.4.上下文建模

上下文建模定义如下：

coded_sub_block_flag：两个邻近CG，上方和左边(而不是右边和下方)

3.现有实施方式的缺点

当前设计存在以下问题：

1.为了满足与上下文自适应二进制算术编解码(CABAC)相关联的吞吐量，设置每个块/每个样点的上下文编解码二进制位的最大数量，并且使用计数器来记录一个块内包括多少上下文编解码二进制位。因此，前几个CG(从左顶部到右底部)可以用上下文有效地编解码，而通常具有较高能量(较大预测误差)的最后几个CG可以以旁路模式编解码。因此，性能可能是次优的。

2.对于一些CG中的系数，可以应用旁路编解码模式。然而，它仍然需要发送几个语法元素，这可能效率较低。

4.示例技术和实施例

下面描述的详细实施例应该被认为是解释一般概念的示例。这些实施例不应该被狭义地解释。此外，这些实施例可以以任何方式组合。

1.代替添加每个编解码块或变换块的上下文编解码二进制位的最大数量的约束，提出添加每个编解码组(CG)的编解码二进制位的最大数量的约束。

a.在一个示例中，计数器用于记录每个CG的上下文编解码二进制位的数量。

i.此外，可替代地，当编码/解码新的CG时，计数器被重置为0。

ii.在一个示例中，如果计数器等于或大于最大数量，则CG中尚未编解码/解析的所有二进制位将利用旁路编解码/解析进行编解码/解析。

b.在一个示例中，不同CG的编解码二进制位的最大数量上下文可以不同。

c.在一个示例中，每个CG的上下文编解码二进制位的最大数量可以取决于CG相对于整个块的位置。

2.上下文编解码二进制位的最大数量(表示为maxCbinB)可以以两步进行控制。首先，可以信令通知哪些CG包含非零系数(例如，)。第二，信令通知非零CG，并且可以针对每个非零CG约束上下文编解码二进制位的最大数量(表示为maxCbinCG)。

a.在一个示例中，假设N个上下文编解码二进制位用于编解码需要信令通知的/> 并且存在K个非零CG，则maxCbinCG可以被设置为等于floor(maxCbinB-N)/K。

i.这里的除法可以通过查找表实施。

b.在一个示例中，maxCbinCG对于不同的CG可以不同。

例如，maxCbinCG可以随着CG数量增加而增加。

3.代替添加每个编解码块或变换块的上下文编解码二进制位的最大数量的约束，提出添加对每个语法元素或每个编解码遍次的编解码二进制位的最大数量的约束。

a.在一个示例中，可以分配多个变量。

i.在一个示例中，一个变量可以对应于用于记录特定语法元素/编解码遍次的上下文编解码二进制位的数量的计数器。

ii.此外，可替代地，当编码/解码块时，计数器可以被重置为0。

iii.在一个示例中，如果计数器等于或大于最大数量，则语法元素或编解码通过中尚未编解码/解析的所有二进制位将利用旁路编解码/解析进行编解码/解析。

b.在一个示例中，不同语法元素/编解码遍次的最大值可以不同。

c.在一个示例中，每个语法元素的上下文编解码二进制位的最大数量可以取决于语法元素。

d.在一个示例中，每个编解码遍次的编解码二进制位的最大数量上下文可以取决于编解码遍次。

4.多个残差编解码方法集合(例如，不同的语法元素、不同的二值化方法、编解码遍次的数量)可以用于编解码一个块，并且不同方法之间的切换可以取决于上下文编解码二进制位的数量。通过MaxCcBins表示每个单元(例如，编解码单元/变换单元/编解码组)的最大上下文编解码二进制位。

a.在一个示例中，当在对第一语法元素(例如，诸如的符号标志)进行编解码之后，每个单元的上下文编解码二进制位的数量不大于(MaxCcBins-TH1)时，可以利用当前设计。否则，可以应用不同的编解码方法来对以下语法元素或下一CG或下一子区域进行编解码。TH1是整数，例如1、2、3、4。

b.在一个示例中，当在对第m遍次进行编解码之后，每个单元的上下文编解码二进制位的数量不大于(MaxCcBins-TH1)时，可以利用当前设计。否则，可以应用不同的编解码方法来对第(m+n)遍次或下一CG或下一子区域进行编解码，其中n是整数变量。TH1是整数，例如1、2、3、4。

i.在一个示例中，m被设置为1、2、3、4、5。

c.在一个示例中，当在对CG进行编解码之后，每个单元的上下文编解码二进制位的数量不大于(MaxCcBins-TH1)时，可以使用当前设计。否则，可以应用不同的编解码方法来对下一CG或下一子区域进行编解码。TH1是整数，例如1、2、3、4。

d.在一个示例中，可以应用具有L个(L！＝6)遍次的编解码方法。

i.在一个示例中，L被设置为1、2、3、4、5。

ii.在一个示例中，可以跳过第2-5遍次。

iii.在一个示例中，可以跳过第1-5遍次。

iv.在一个示例中，在每个遍次中，如果需要，扫描和/或编解码CG或块中的所有系数。

e.在一个示例中，可以应用具有不同语法元素的编解码方法。

i.在一个示例中，在第K遍次中不对奇偶性标志进行编解码。例如，K＝1。

ii.在一个示例中，在第K遍次中不对符号标志进行编解码。例如，K＝1。

iii.在一个示例中，系数可以被直接二值化和编解码。

1)将一个系数的值表示为x，并且(x>0？2x:2x+1)或(x>＝0？2x:2x+1)的值可以被二值化和编解码。

iv.在一个示例中，一个系数的幅度可以被直接二值化，并且其符号值可以被进一步编解码。

v.在一个示例中，可以应用游程级别编解码，其中“游程”指示按照给定扫描顺序有多少连续的零系数，“级别”

指示非零系数的幅度。

f.在一个示例中，可以应用具有不同二值化方法的编解码方法。

i.在一个示例中，莱斯参数和/或EG码和/或Golomb-

Rice可以被不同地推导以用于编解码剩余幅度。

g.在一个示例中，项4a、4b和4c中的TH1可以是预定义的整数值。

i.在一个示例中，TH1可以是零或正值，例如0、1、2、3、4。

ii.在一个示例中，TH1可以是零或负值，例如0、-1、-2、-3、-4。

iii.在一个示例中，TH1可以取决于量化参数/编解码块模式/块大小/条带类型/图片类型等。

5.以上方法可以被应用于TS编解码块。

a.此外，可替代地，它们可以被应用于QR-BDPCM编解码块。

b.此外，可替代地，它们可以被应用于在没有应用变换的情况下编解码的其他块。

c.此外，可替代地，它们可以被应用于在应用变换的情况下编解码的其他块。

d.可替代地，以上方法可以被应用于具有无损编解码模式的块，例如，变换和量化过程不应用于块。

6.启用还是禁用以上方法可以在DPS/SPS/PPS/APS/VPS/序列头/图片头/条带头/片组头/片/CTU组等中被信令通知。

a.可替代地，使用哪种方法可以在DPS/SPS/PPS/APS/VPS/序列头/图片头/条带头/片组头/片/CTU组等中被信令通知。

b.可替代地，启用还是禁用以上方法和/或应用哪种方法可以取决于块大小、虚拟流水线数据单元(VPDU)、图片类型、低延迟检查标志。

c.可替代地，启用还是禁用以上方法和/或应用哪种方法可以取决于色彩分量、色彩格式等。

d.可替代地，启用还是禁用以上方法和/或应用哪种方法可以取决于应用QR-BDPCM还是TS。

7.在一个示例中，每个块或每个CG或每个编解码或每个语法元素的上下文编解码二进制位的最大数量可以取决于色彩分量。

8.在一个示例中，每个块或每个CG或每个编解码或每个语法元素的上下文编解码二进制位的最大数量可以取决于条带/片/片组/图片类型。

9.在一个示例中，每个块或每个CG或每个编解码或每个语法元素的上下文编解码二进制位的最大数量对于标准中的不同简表

(profile)/级别/层级(tier)可以不同。

10.在一个示例中，每个块或每个CG或每个编解码或每个语法元素的上下文编解码二进制位的最大数量可以在视频单元中(诸如在DPS/SPS/PPS/APS/VPS/序列头/图片头/条带头/片组头/片/CTU组等中)被信令通知。

11.在一个示例中，每个块(诸如每个CTU或CU或TU或CG)的上下文编解码二进制位的最大数量可以取决于块的大小(诸如CTU或CU或TU或CG的宽度和/或高度)。

a.此外，可替代地，每个块(诸如每个CTU或CU或TU或CG)的上下文编解码二进制位的最大数量可以取决于图片的分辨率，诸如图片的宽度和/或高度。

5.所公开的技术的示例实施方式

图21是视频处理装置2100的框图。装置2100可以用于实施本文描述的一个或多个方法。装置2100可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置2100可以包括一个或多个处理器2102、一个或多个存储器2104和视频处理硬件2106。(多个)处理器2102可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)2104可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2106可以用于在硬件电路系统中实施本文档中描述的一些技术，并且可以部分地或完全是处理器2102的一部分(例如，图形处理器核心GPU或其他信号处理电路)。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间被应用，反之亦然。当前视频块的比特流表示可以例如对应于比特流内并置的或分散在不同地方的比特，如通过语法定义的。例如，视频块可以根据变换和编解码误差残差值并且也使用比特流中的头和其它字段中的比特进行编码。这里，视频块可以是对应于被执行的处理操作的逻辑单元，例如编解码单元、变换单元、预测单元等。

应当理解，通过允许使用本文档中公开的技术，所公开的方法和技术将有益于并入诸如智能电话、膝上型电脑、台式电脑和类似设备的视频处理设备内的视频编码器和/或解码器实施例。

图22是可视媒体处理的示例方法2200的流程图。方法2200包括，在2210，执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括基于应用对与当前视频单元相关联的每个编解码组(CG)的上下文编解码二进制位的最大数量的约束来对当前视频单元进行上下文建模，其中上下文建模的信息被包括在当前视频单元的比特流表示中。

可以使用以下基于条款的格式来描述一些实施例。

1.一种可视媒体处理的方法，包括：

执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括基于应用对与当前视频单元相关联的每个编解码组(CG)的上下文编解码二进制位的最大数量的约束来对当前视频单元进行上下文建模，其中上下文建模的信息被包括在当前视频单元的比特流表示中。

2.根据条款1所述的方法，其中，计数器用于记录每个CG的上下文编解码二进制位的数量。

3.根据条款2所述的方法，其中，当对新的CG进行编码或解码时，计数器被重置为零。

4.根据条款2所述的方法，还包括：

在确定计数器的值大于每个CG的上下文编解码二进制位的最大数量时，对一个或多个未编解码的上下文编解码二进制位应用旁路编解码步骤。

5.根据条款1所述的方法，其中，每个CG的上下文编解码二进制位的最大数量对于不同的编解码组(CG)是不同的。

6.根据条款1所述的方法，其中，每个CG的上下文编解码二进制位的最大数量至少部分地基于CG相对于当前视频单元的位置。

7.根据条款1所述的方法，还包括：

识别具有非零系数的一个或多个CG，其中对每个编解码组(CG)的上下文编解码二进制位的最大数量的约束被应用于具有非零系数的一个或多个CG；以及

在比特流表示中信令通知具有非零系数的一个或多个CG。

8.一种可视媒体处理的方法，包括：

执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括基于应用对与当前视频单元相关联的每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量的约束来对当前视频单元进行上下文建模，其中上下文建模的信息被包括在当前视频单元的比特流表示中。

9.根据条款8所述的方法，其中，计数器用于记录每个语法元素或每个编解码遍次的上下文编解码二进制位的数量。

10.根据条款9所述的方法，其中，当对新的语法元素或编解码遍次进行编码或解码时，计数器被重置为零。

11.根据条款8所述的方法，其中，每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量对于不同的语法元素或编解码遍次是不同的。

12.根据条款8所述的方法，其中，每个CG的上下文编解码二进制位的最大数量至少部分地基于与当前视频单元相关联的语法元素或编解码遍次。

13.一种可视媒体处理的方法，包括：

执行当前视频单元和当前视频单元的比特流表示之间的转换，其中该转换包括一个或多个残差编解码步骤，使得每个残差编解码步骤与每个编解码单元的上下文编解码二进制位的数量相关联；以及

在转换期间，至少部分地基于第一步骤中每个编解码单元的上下文编解码二进制位的第一数量和第二步骤中每个编解码单元的上下文编解码二进制位的第二数量，从第一残差编解码步骤切换到第二残差编解码步骤。

14.根据条款13所述的方法，其中，在每个残差编解码步骤中，每个编解码单元的上下文编解码二进制位的最大数量被约束为比特流表示中指示的上限。

15.根据条款14所述的方法，还包括：

当在对当前视频单元的语法元素进行编解码之后确定第一数量小于或等于每个编解码单元的上下文编解码二进制位的最大数量时，对当前视频单元应用第一残差编解码步骤；以及

在确定第一数量超过每个编解码单元的上下文编解码二进制位的最大数量时，对于其他视频单元，从第一残差编解码步骤切换到第二残差编解码步骤。

16.根据条款14所述的方法，还包括：

当在对当前视频单元的多个遍次进行编解码之后确定第一数量小于或等于每个编解码单元的上下文编解码二进制位的最大数量时，对当前视频单元应用第一残差编解码步骤；以及

17.根据条款14所述的方法，其中，每个残差编解码步骤与语法元素相关联。

18.根据条款14所述的方法，其中，一个或多个残差编解码步骤的语法元素彼此不同。

19.根据条款18所述的方法，其中，语法元素包括奇偶性标志、符号标志或编解码系数。

20.根据条款19所述的方法，其中，编解码系数的幅度和/或符号以二值化形式表达。

21.根据条款20所述的方法，其中，一个或多个残差编解码步骤包括游程级别编解码，使得游程指示按照扫描顺序的连续零系数的数量，并且级别指示非零系数的幅度。

22.根据条款19所述的方法，其中，一个或多个残差编解码步骤包括二值化过程。

23.根据条款19所述的方法，其中，一个或多个残差编解码步骤包括用于对非二进制语法元素进行编解码的莱斯参数。

24.根据条款1-23中任一项或多项所述的方法，其中，当前视频单元是以下中的任何一个：TS编解码块、QR-BDPCM编解码块、缺少变换步骤的块、与变换步骤相关联的块、或与无损编解码过程相关联的块。

25.根据条款24所述的方法，其中，无损编解码过程包括缺少变换步骤和/或缺少量化步骤。

26.根据条款1-25中任一项或多项所述的方法，其中，上下文建模和/或一个或多个残差编解码步骤被选择性地启用或禁用。

27.根据条款26所述的方法，其中，与选择性地启用或禁用上下文建模和/或一个或多个残差编解码步骤有关的信息被包括在比特流表示中。

28.根据条款26所述的方法，其中，选择性地启用或禁用上下文建模和/或一个或多个残差编解码步骤至少部分地基于条件。

29.根据条款28所述的方法，其中，条件与以下中的任何一个或多个相关联：当前视频单元的大小、当前视频单元的图片类型、当前视频单元的虚拟流水线数据单元(VPDU)、或者当前视频单元的低延迟检查标志、当前视频单元的色彩分量或色彩格式、或者与当前视频单元相关联的编解码步骤。

30.根据条款29所述的方法，其中，与当前视频单元相关联的编解码步骤是QR-BDPCM或TS。

31.根据条款1-30中任一项或多项所述的方法，其中，每个CG的上下文编解码二进制位的最大数量取决于当前视频单元的色彩分量。

32.根据条款1-30中任一项或多项所述的方法，其中，每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量取决于当前视频单元的色彩分量。

33.根据条款1-30中任一项或多项所述的方法，其中，每个编解码单元的上下文编解码二进制位的最大数量取决于当前视频单元的色彩分量。

34.根据条款1-30中任一项或多项所述的方法，其中，每个CG的上下文编解码二进制位的最大数量取决于与当前视频单元相关联的条带/片/片组/图片类型。

35.根据条款1-30中任一项或多项所述的方法，其中，每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量取决于与当前视频单元相关联的条带/片/片组/图片类型。

36.根据条款1-30中任一项或多项所述的方法，其中，每个编解码单元的上下文编解码二进制位的最大数量取决于与当前视频单元相关联的条带/片/片组/图片类型。

37.根据条款1-30中任一项或多项所述的方法，其中，每个CG的上下文编解码二进制位的最大数量取决于当前视频单元的大小或当前视频单元的分辨率。

38.根据条款1-30中任一项或多项所述的方法，其中，每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量取决于当前视频单元的大小或当前视频单元的分辨率。

39.根据条款1-30中任一项或多项所述的方法，其中，每个编解码单元的上下文编解码二进制位的最大数量取决于当前视频单元的大小或当前视频单元的分辨率。

40.根据条款1-30中任一项或多项所述的方法，其中，每个CG的上下文编解码二进制位的最大数量取决于当前视频单元的简表/级别/层级。

41.根据条款1-30中任一项或多项所述的方法，其中，每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量取决于当前视频单元的简表/级别/层级。

42.根据条款1-30中任一项或多项所述的方法，其中，每个编解码单元的上下文编解码二进制位的最大数量取决于当前视频单元的简表/级别/层级。

43.根据条款1-30中任一项或多项所述的方法，其中，比特流表示与DPS/SPS/PPS/APS/VPS/序列头/图片头/条带头/片组头/片/编解码树单元(CTU)组相关联。

44.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施条款1至42中的任一项中的方法。

45.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行条款1至42中的任一项中的方法的程序代码。

图23是示出可以在其中实施本文公开的各种技术的示例视频处理系统2300的框图。各种实施方式可以包括系统2300的一些或所有组件。系统2300可以包括用于接收视频内容的输入2302。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入2302可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统2300可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件2304。编解码组件2304可以将来自输入2302的视频的平均比特率减小到编解码组件2304的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件2304的输出可以被存储，或者经由如由组件2306表示的通信连接而发送。在输入2302处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件2308用于生成像素值或传送到显示接口2310的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然特定视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)、或高清晰度多媒体接口(HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。

图24示出了根据本技术的视频处理的示例方法2400的流程图。方法2400包括，在操作2410，在包括一个或多个单元的视频的块和视频的比特流表示之间的转换期间，基于在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量，确定是否从第一残差编解码技术切换到第二残差编解码技术。该单元的系数使用第一残差编解码技术或第二残差编解码技术在多个遍次中在比特流表示中被编解码。方法2400还包括，在操作2420，基于该确定来执行转换。

在一些实施例中，单元包括块、块内的变换块、块的编解码组、块的语法元素。在一些实施例中，第一残差编解码技术用于第m遍次，m是正整数。在一些实施例中，m为1、2、3、4或5。在一些实施例中，在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量等于或小于阈值的情况下，不从第一残差编解码技术切换到第二残差编解码技术。在一些实施例中，在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量大于阈值的情况下，在第(m+n)遍次、后续编解码组或后续子区域中发生到第二残差编解码技术的切换，n是正整数。

在一些实施例中，第一残差编解码技术用于以上下文编解码模式解码的二进制位，并且第二残差编解码技术用于以旁路编解码模式解码的二进制位。在一些实施例中，在上下文编解码模式下，二进制位基于至少一个上下文来处理，并且在旁路编解码模式下，二进制位在不使用任何上下文的情况下进行处理。

在一些实施例中，转换包括处理块的多个语法元素，多个语法元素包括至少一个符号标志。在一些实施例中，在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量等于或小于阈值的情况下，不从第一残差编解码技术切换到第二残差编解码技术。在一些实施例中，在每个编解码单元的上下文编解码二进制位的数量大于阈值的情况下，第二残差编解码技术用于多个语法元素中的一个或多个语法元素、后续编解码组或后续子区域。在一些实施例中，在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量等于或小于阈值的情况下，第一残差编解码技术用于处理至少符号标志，并且在第一残差编解码技术中使用的每个单元的上下文编解码二进制位的数量大于阈值的情况下，第二残差编解码技术用于处理至少符号标志。

在一些实施例中，阈值对应于约束为比特流表示中指示的上限的每个单元的最大上下文编解码二进制位。在一些实施例中，每个单元的最大上下文编解码二进制位被表示为MaxCcBins，并且阈值为(MaxCcBins-TH1)，TH1是整数。在一些实施例中，TH1是零或正整数。在一些实施例中，TH1是零或负整数。在一些实施例中，TH1基于与块相关联的编解码特性。在一些实施例中，编解码特性至少包括量化参数、编解码块模式、块大小、条带类型或图片类型。

在一些实施例中，第一残差编解码技术或第二残差编解码技术包括L个遍次，L是不等于6的正整数。在一些实施例中，L为1、2、3、4或5。在一些实施例中，第一残差编解码技术或第二残差编解码技术的第2至第5遍次被跳过，以用于对单元的系数进行编解码。在一些实施例中，第一残差编解码技术或第二残差编解码技术的第1至第5遍次被跳过，以用于对单元的系数进行编解码。在一些实施例中，单元中的所有系数被扫描。

在一些实施例中，第一残差编解码技术或第二残差编解码技术包括处理块的多个语法元素，该多个语法元素包括奇偶性标志、符号标志、指示编解码系数是否为零的显著标志、指示系数的绝对值是否大于阈值的绝对级别标志或者编解码系数的一个或多个二进制位中的至少一个。在一些实施例中，奇偶性标志在第k遍次中不被编解码。在一些实施例中，符号标志在第k遍次中不被编解码。在一些实施例中，k＝1。

在一些实施例中，单元的系数在比特流表示中被二值化。在一些实施例中，系数的值被表示为x，并且系数在比特流表示中被二值化为(x>0？2x:2x+1)或(x>＝0？2x:2x+1)。在一些实施例中，单元的系数的绝对值在比特流表示中被二值化，并且系数的有符号值在比特流表示中被分开编解码。在一些实施例中，比特流表示包括指示按照扫描顺序的连续零系数的数量的第一指示符和指示非零系数的绝对值的第二指示符。在一些实施例中，第一残差编解码技术或第二残差编解码技术使用不同的二值化技术用于对单元的系数进行编解码。在一些实施例中，用于对单元的系数进行编解码的参数针对不同的二值化技术被不同地推导。在一些实施例中，参数包括莱斯参数或Golomb-Rice码。

图25示出了根据本技术的视频处理的示例方法2500的流程图。方法2500包括，在操作2510，执行视频的块和视频的比特流表示之间的转换。该块包括一个或多个编解码组，并且当前块基于对每个编解码组的上下文编解码二进制位的最大数量的约束在比特流表示中被编解码。

在一些实施例中，该方法包括使用计数器为编解码组记录上下文编解码二进制位的数量。在一些实施例中，该方法包括在处理后续编解码组之前重置计数器。在一些实施例中，该方法包括在计数器等于或大于编解码组的上下文编解码二进制位的最大数量的情况下，对编解码组中的一个或多个未编解码的上下文编解码二进制位应用旁路步骤。

在一些实施例中，每个编解码组的上下文编解码二进制位的最大数量对于不同的编解码组是不同的。在一些实施例中，编解码组与编解码组索引相关联，并且每个编解码组的上下文编解码二进制位的最大数量随着对应编解码组索引的值增加而增加。

在一些实施例中，每个编解码组的上下文编解码二进制位的最大数量基于对应编解码组相对于当前块的位置。在一些实施例中，比特流表示包括指示各自具有至少一个非零系数的编解码组的数量的语法标志。比特流表示还包括各自具有至少一个非零系数的编解码组的信息。每个编解码组的上下文编解码二进制位的最大数量针对各自具有至少一个非零系数的编解码组被约束。在一些实施例中，N个上下文编解码二进制位用于对语法标志进行编解码。语法标志指示各自具有至少一个非零系数的K个编解码组，并且每个编解码组的上下文编解码二进制位的最大数量基于(maxCbinB-N)/K进行约束，maxCbinB是当前块的上下文编解码二进制位的最大数量。在一些实施例中，每个编解码组的上下文编解码二进制位的最大数量使用查找表来确定。

图26示出了根据本技术的视频处理的示例方法2600的流程图。方法2600包括，在操作2610，执行视频的当前块和视频的比特流表示之间的转换。当前块基于对与当前块相关联的每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量的约束在比特流表示中被编解码。

在一些实施例中，该方法包括记录各自对应于用于语法元素或编解码遍次的上下文编解码二进制位的数量的多个计数器。在一些实施例中，该方法包括在对视频的后续块执行转换之前重置多个计数器。在一些实施例中，该方法包括，在对应于语法元素或编解码遍次的计数器等于或大于每个语法元素或每个编解码遍次的上下文编解码二进制位的最大数量的情况下，对与语法元素或编解码遍次相关联的一个或多个未编解码的上下文编解码二进制位应用旁路步骤。

在一些实施例中，上下文编解码二进制位的最大数量对于不同的语法元素或编解码遍次是不同的。在一些实施例中，每个语法元素的上下文编解码二进制位的最大数量基于语法元素的特性。在一些实施例中，每个编解码遍次的上下文编解码二进制位的最大数量基于编解码遍次的特性。

在一些实施例中，块使用变换跳过残差编解码技术进行编解码。在一些实施例中，块使用量化残差域块差分脉码调制编解码技术进行编解码。在一些实施例中，块在没有对该块应用任何变换的情况下被编解码。在一些实施例中，块在没有对该块应用至少一个变换的情况下被编解码。在一些实施例中，块使用不应用变换或量化过程的无损编解码技术进行编解码。

在一些实施例中，比特流表示包括指示应用第一残差编解码技术或第二残差编解码技术的方式的指示符。在一些实施例中，比特流表示包括指示应用第一残差编解码技术或第二残差编解码技术中的哪一个的指示符。在一些实施例中，指示符被包括在依赖参数集、序列参数集、图片参数集、自适应参数集、视频参数集、序列头、图片头、条带头、片组头、片或编解码树单元组中。

在一些实施例中，应用第一残差编解码技术或第二残差编解码技术中的哪一个或者应用残差编解码技术的方式基于块的特性来确定。在一些实施例中，特性包括块的大小、虚拟流水线数据单元、图片类型、或块的低延迟检查标志。在一些实施例中，特性包括块的色彩分量或色彩格式。在一些实施例中，特性包括块使用变换跳过残差编解码技术还是量化残差域块差分脉码调制编解码技术进行编解码。

在一些实施例中，每个单元的上下文编解码二进制位的最大数量基于块的色彩分量。在一些实施例中，每个单元的上下文编解码二进制位的最大数量基于块的条带、片、片组或图片类型。在一些实施例中，每个单元的上下文编解码二进制位的最大数量对于与视频相关联的不同简表、级别、层级是不同的。在一些实施例中，每个单元的上下文编解码二进制位的最大数量在依赖参数集、序列参数集、图片参数集、自适应参数集、视频参数集、序列头、图片头、条带头、片组头、片或编解码树单元组中在比特流表示中被信令通知。在一些实施例中，块是编解码树单元、编解码单元、变换单元或编解码组，并且每个块的上下文编解码二进制位的最大数量基于块的大小。在一些实施例中，块是编解码树单元、编解码单元、变换单元或编解码组，并且每个块的上下文编解码二进制位的最大数量基于块所在的图片的分辨率。

在一些实施例中，执行转换包括基于视频的块来生成比特流表示。在一些实施例中，执行转换包括从比特流表示生成视频的块。

所公开的技术的一些实施例包括做出启用视频处理工具或模式的决定或确定。在示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实施该工具或模式，但是不一定基于工具或模式的使用来修改产生的比特流。也就是说，当基于决定或确定启用视频处理工具或模式时，从视频的块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知道比特流已经基于视频处理工具或模式而修改的情况下处理比特流。也就是说，将使用基于该决定或该确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频的块的转换。

所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决定或确定。在示例中，当视频处理工具或模式被禁用时，编码器将不在视频的块到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知道比特流还没有使用基于该决定或该确定而启用的视频处理工具或模式而修改的情况下处理比特流。

本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，例如在计算机可读介质上编码的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号，例如机器生成的电信号、光学信号或电磁信号。

计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。

本文档书中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可换式磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的特定特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以特定组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。

仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims

1.一种处理视频数据的方法，包括：

在视频的当前变换块和所述视频的比特流之间的转换期间，基于在第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；以及

基于所述确定来执行所述转换。

2.根据权利要求1所述的方法，其中，所述第一残差编解码模式用于前m个遍次，m等于5。

3.根据权利要求2所述的方法，其中，在所述第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量大于阈值的情况下，在第(m+n)遍次中发生到所述第二残差编解码模式的切换，n是正整数。

4.根据权利要求3所述的方法，其中，所述阈值取决于所述当前变换块的宽度和高度。

5.根据权利要求1所述的方法，其中，在所述第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量等于或小于阈值的情况下，不从所述第一残差编解码模式切换到所述第二残差编解码模式。

6.根据权利要求1所述的方法，其中，所述第一残差编解码模式用于以二进制位基于至少一个上下文来处理的上下文编解码模式解码的二进制位，并且所述第二残差编解码模式用于以二进制位在没有使用任何上下文的情况下进行处理的旁路编解码模式解码的二进制位。

7.根据权利要求1所述的方法，其中，所述转换包括处理所述当前变换块的多个语法元素，所述多个语法元素包括指示扫描位置的变换系数级别的符号的至少一个符号标志。

8.根据权利要求7所述的方法，其中，在所述第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量等于或小于阈值的情况下，所述第一残差编解码模式用于处理所述至少一个符号标志的一部分；并且

其中，在所述第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量大于所述阈值的情况下，所述第二残差编解码模式用于处理所述至少一个符号标志的另一部分。

9.根据权利要求1所述的方法，其中，所述第一残差编解码模式或所述第二残差编解码模式包括处理所述当前变换块的多个语法元素，所述多个语法元素包括指示扫描位置的变换系数级别的奇偶性的奇偶性标志、指示扫描位置的变换系数级别的符号的符号标志、指示扫描位置的变换系数是否为零的显著标志、或指示扫描位置的变换系数的绝对值是否大于阈值的绝对级别标志中的至少一个。

10.根据权利要求9所述的方法，其中，所述多个语法元素包括用Golomb-Rice码进行编解码的至少一个语法元素。

11.根据权利要求1所述的方法，其中，包括所述当前变换块的编解码单元使用差分编解码模式进行编解码，在所述差分编解码模式下，以所述编解码单元的帧内预测模式推导的量化残差和所述量化残差的预测之间的差被包括在所述比特流中。

12.根据权利要求1所述的方法，其中，所述转换包括将所述当前变换块编码为所述比特流。

13.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述当前变换块。

14.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：

基于所述确定来执行所述转换。

15.根据权利要求14所述的装置，其中，所述第一残差编解码模式用于前m个遍次，m等于5，

其中，在所述第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量大于阈值的情况下，在第(m+n)遍次中发生到所述第二残差编解码模式的切换，n是正整数，并且

其中，所述阈值取决于所述当前变换块的宽度和高度。

16.根据权利要求14所述的装置，其中，所述第一残差编解码模式用于以二进制位基于至少一个上下文来处理的上下文编解码模式解码的二进制位，并且所述第二残差编解码模式用于以二进制位在没有使用任何上下文的情况下进行处理的旁路编解码模式解码的二进制位。

17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

基于所述确定来执行所述转换。

18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，所述第一残差编解码模式用于前m个遍次，m等于5，

其中，在所述第一残差编解码模式下使用的所述当前变换块的上下文编解码二进制位的数量大于阈值的情况下，在第(m+n)遍次中发生到所述第二残差编解码模式的切换，n是正整数，

其中，所述阈值取决于所述当前变换块的宽度和高度，并且

其中，所述第一残差编解码模式用于以二进制位基于至少一个上下文来处理的上下文编解码模式解码的二进制位，并且所述第二残差编解码模式用于以二进制位在没有使用任何上下文的情况下进行处理的旁路编解码模式解码的二进制位。

19.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：

基于在第一残差编解码模式下使用的所述视频的当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；以及

基于所述确定来生成所述比特流。

20.根据权利要求19所述的非暂时性计算机可读记录介质，其中，所述第一残差编解码模式用于前m个遍次，m等于5，

其中，所述阈值取决于所述当前变换块的宽度和高度，并且

21.一种用于存储视频的比特流的方法，包括：

基于在第一残差编解码模式下使用的所述视频的当前变换块的上下文编解码二进制位的数量，确定是否从所述第一残差编解码模式切换到第二残差编解码模式，其中所述当前变换块使用变换跳过模式进行编解码，在所述变换跳过模式下，针对预测残差跳过变换过程，并且其中所述当前变换块的系数使用所述第一残差编解码模式或所述第二残差编解码模式在多个遍次中在所述比特流中被编解码；

基于所述确定来生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中。