CN113826383B - 变换跳过模式的块维度设置 - Google Patents

Abstract

描述了用于视觉媒体编解码的无损编解码的设备、系统和方法。视频处理的示例性方法包括：基于视频的当前视频块满足维度约束，确定启用两个或多个编解码模式以在比特流表示中表示当前视频块，其中，维度约束规定：对于两个或多个编解码模式，禁用当前视频块的同一组允许维度，并且其中，对于编码操作，在不对当前视频块使用变换操作的情况下，两个或多个编解码模式在比特流表示中表示当前视频块，或者其中，对于解码操作，在不使用逆变换操作的情况下，使用两个或多个编解码模式从比特流表示中获取当前视频块；以及基于两个或多个编解码模式中的一个，执行当前视频块和视频的比特流表示之间的转换。

Description

变换跳过模式的块维度设置

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年5月13日提交的国际专利申请号No.PCT/CN2019/086656、以及于2019年9月21日提交的国际专利申请号No.PCT/CN2019/107144的优先权和利益。根据法律规定的目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但在互联网和其他数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了涉及数字视频编解码的设备、系统和方法，特别是涉及视觉媒体编解码的无损编解码的设备、系统和方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(HEVC))和未来视频编解码标准(例如，多功能视频编解码(VVC))或编解码器。

在一个代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行包含所述多个颜色分量的视频和所述视频的比特流表示之间的转换，其中，所述视频的比特流表示符合规则，所述规则指定将一个或多个语法元素包括在用于两个颜色分量的所述比特流表示中，以指示变换量化旁路模式是否适用于在所述比特流表示中表示所述两个颜色分量的视频块，并且其中，当所述变换量化旁路模式适用于视频块时，在不使用变换和量化处理的情况下在所述比特流表示中表示所述视频块，或者在不使用逆变换和逆量化处理的情况下从所述比特流表示中获得所述视频块。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：基于视频的当前视频块的特性，确定变换量化旁路模式是否适用于所述当前视频块，其中，当所述变换量化旁路模式适用于所述当前视频块时，在不使用变换和量化处理的情况下在比特流表示中表示所述当前视频块、或者在不使用逆变换和逆量化处理的情况下从所述比特流表示中获得所述当前视频块；以及基于所述确定，执行所述当前视频块和所述视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：基于视频的当前视频块满足维度约束，确定启用两个或多个编解码模式以在比特流表示中表示所述当前视频块，其中，所述维度约束规定：对于所述两个或多个编解码模式，禁用所述当前视频块的同一组允许维度，并且其中，对于编码操作，在不对所述当前视频块使用变换操作的情况下，所述两个或多个编解码模式在所述比特流表示中表示所述当前视频块，或者其中，对于解码操作，在不使用逆变换操作的情况下，使用所述两个或多个编解码模式从所述比特流表示中获取所述当前视频块；以及基于所述两个或多个编解码模式中的一个，执行所述当前视频块和所述视频的所述比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：基于视频的当前视频块满足维度约束，确定启用两个编解码模式以在比特流表示中表示所述当前视频块，其中，所述维度约束规定：将同一组允许维度用于启用所述两个编解码模式，并且其中，对于编码操作，在不对所述当前视频块使用变换操作的情况下，所述两个编解码模式在所述比特流表示中表示所述当前视频块，或者其中，对于解码操作，在不使用逆变换操作的情况下，使用所述两个编解码模式从所述比特流表示中获取所述当前视频块；以及基于所述两个编解码模式中的一个，执行所述当前视频块和所述视频的所述比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：基于视频的当前视频块满足维度约束，确定启用编解码模式以在比特流表示中表示所述当前视频块，其中，在编码操作期间，在不对所述当前视频块使用变换操作的情况下，所述编解码模式在所述比特流表示中表示所述当前视频块，或者其中，在解码操作期间，在不使用逆变换操作的情况下，从所述比特流表示中获取所述当前视频块，并且其中，所述维度约束规定：使用未应用所述变换操作或所述逆变换操作的所述编解码模式的所述当前视频块的第一最大变换块尺寸不同于使用应用所述变换操作或所述逆变换操作的另一编解码工具的所述当前视频块的第二最大变换块尺寸；以及基于所述编解码模式，执行所述当前视频块和所述视频的所述比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行视频的当前视频块和所述视频的比特流表示之间的转换，其中，使用量化残差块差分脉冲编解码调制(QR-BDPCM)模式在所述比特流表示中编解码所述当前视频块，在所述QR-BDPCM中，在所述比特流表示中表示所述当前视频块的帧内预测的量化残差和所述量化残差的预测之间的差，其中，所述比特流表示符合格式规则，所述格式规则指定所述比特流表示中是否包括QR-BDPCM模式的边信息和/或指示变换跳过(TS)模式对所述当前视频块的适用性的语法元素，并且其中，所述边信息包括所述QR-BDPCM模式的使用指示或所述QR-BDPCM模式的预测方向中的至少一个。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：确定使用不将变换和量化处理应用于当前视频块的变换量化旁路模式对视频的所述当前视频块进行编解码；以及基于所述确定，通过禁用亮度映射和色度缩放(LMCS)处理，执行所述当前视频块和所述视频的比特流表示之间的转换，其中，所述禁用所述LMCS处理在所述当前视频块来自所述亮度分量的情况下，禁用所述当前视频块的样本点在整形域和原始域之间的切换的性能，或者其中，所述禁用所述LMCS处理在所述当前视频块来自色度分量的情况下，禁用所述当前视频块的色度残差的缩放。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行第一确定，即是否使用第一编解码模式对视频的所述当前视频块进行编解码，在所述第一编解码模式中不对所述当前视频块应用变换操作；执行第二确定，即是否使用第二编解码模式对所述视频的一个或多个视频块进行编解码，其中，所述一个或多个视频块包括用于所述当前视频块的参考样本点；基于所述第一确定和所述第二确定执行第三确定，即与帧内预测处理相关的第三编解码模式是否适用于所述当前视频块；以及基于所述第三确定，执行所述当前视频块和所述视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行视频的当前视频块和所述视频的比特流表示之间的转换，其中，所述比特流表示符合格式规则，所述格式规则指定所述比特流表示中是否包括指示所述当前视频块是否使用变换量化旁路模式编解码的语法元素，并且其中，当所述变换量化旁路模式适用于所述当前视频块时，在不使用变换和量化处理的情况下在所述比特流表示中表示所述当前视频块。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：确定变换量化旁路模式适用于视频的当前视频块，其中，在所述变换量化旁路模式中，不在所述当前视频块上使用变换和量化处理；基于所述确定，禁用所述当前视频块的样本点的滤波方法；以及基于所述确定和所述禁用，执行所述当前视频块和所述视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行第一确定，即变换量化旁路模式适用于视频的当前视频块，其中，在所述变换量化旁路模式中，不对所述当前视频块使用变换和量化处理；响应于所述第一确定执行第二确定，即隐式多重变换集(MTS)处理中的变换选择模式不适用于所述当前视频块；以及基于所述第一确定和所述第二确定，执行所述当前视频块和所述视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行第一确定，即变换量化旁路模式适用于视频的当前视频块，其中，在所述变换量化旁路模式中，不对所述当前视频块使用变换和量化处理，其中所述当前视频块与色度分量相关联；响应于所述第一确定执行第二确定，即在亮度映射和色度缩放(LMCS)处理中不缩放所述色度分量的样本点；以及基于所述第一确定和所述第二确定，执行所述当前视频块和所述视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：确定变换量化旁路模式适用于视频的当前视频块，其中，在所述变换量化旁路模式中，不对所述当前视频块使用变换和量化处理；基于所述确定，对所述当前视频块的编解码单元(CU)、编解码树单元(CTU)、条带、片、片组、图片或序列禁用亮度映射和色度缩放(LMCS)处理；以及基于所述确定，通过对所述当前视频块的编解码单元(CU)、编解码树单元(CTU)、条带、片、片组、图片或序列禁用亮度映射和色度缩放(LMCS)处理，执行所述当前视频块和所述视频的比特流表示之间的转换，其中，所述禁用所述LMCS处理在所述当前视频块来自亮度分量的情况下，禁用所述当前视频块的样本点在整形域和原始域之间的切换的性能，或者其中，所述禁用所述LMCS处理在所述当前视频块来自色度分量的情况下，禁用所述当前视频块的色度残差的缩放。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行第一确定，即视频的当前视频块是否使用将身份变换或不将变换应用于所述当前视频块的模式进行编解码；基于所述第一确定执行第二确定，即是否对所述当前视频块应用编解码工具；以及基于所述第一确定和所述第二确定，执行所述当前视频块和所述视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行视频的当前视频块和所述视频的比特流表示之间的转换，其中，所述比特流表示包括指示变换量化旁路模式是否适用于表示所述当前视频块的语法元素，其中，当所述变换量化旁路模式适用于所述当前视频块时，在不使用变换和量化处理的情况下在所述比特流表示中表示所述当前视频块，其中，所述变换量化旁路模式适用于所述当前视频块的第一视频单元级，并且其中，所述比特流表示不包括第二视频单元级的所述变换量化旁路模式的信令，所述当前视频块在所述第二视频单元级中的视频块小于在所述第一视频单元级的视频块。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：执行视频的当前视频块和所述视频的比特流表示之间的转换，其中，所述比特流表示包括指示变换量化旁路模式是否适用于表示所述当前视频块的语法元素，其中，当所述变换量化旁路模式适用于所述当前视频块时，在不使用变换和量化处理的情况下在所述比特流表示中表示所述当前视频块，其中，所述变换量化旁路模式适用于所述当前视频块的所述第一视频单元级，并且其中，所述比特流表示包括所述变换量化旁路模式在所述当前视频块的第二视频单元级使用的边信息。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：为视频的当前视频块确定其中应用了无损编解码技术的模式是否适用于所述当前视频块；以及基于所述确定，执行所述当前视频块和所述视频的比特流表示之间的转换，其中，所述比特流表示包括指示编解码工具是否适用于所述当前视频块的视频单元级的语法元素，其中，所述视频单元级大于编解码单元(CU)，并且其中，不将所述编解码工具应用于所述视频单元级内的样本点。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：为视频的当前视频块确定是否在所述当前视频块的比特流表示中包括指示帧内子块分割(ISP)模式或子块变换(SBT)模式是否允许非离散余弦变换II(DCT2)变换的一个或多个所述语法元素；以及基于所述确定，执行所述当前视频块和所述视频的所述比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：为包含多个颜色分量的当前视频块配置当前视频块的比特流表示，其中，在比特流表示中为多个颜色分量中的至少两个颜色分量单独信令通知跳过变换和量化处理的指示；以及基于所述配置，执行当前视频块和当前视频块的比特流表示之间的变换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：基于当前视频块的特性，做出关于在当前视频块上启用跳过变换和量化处理的应用的模式的决定；以及基于所述决定，执行当前视频块和当前视频块的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：基于当前视频块的至少一个维度，做出关于在当前视频块上启用跳过变换和量化处理的应用的第一模式、以及为当前块启用不应用变换的第二模式的决定；以及基于所述决定，执行当前视频块和当前视频块的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：确定当前视频块使用在当前视频块上跳过变换和量化处理的应用的第一模式和第二模式进行编解码；以及基于所述确定，执行当前视频块和当前视频块的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：为当前视频块配置当前视频块的比特流表示，其中，在信令通知与一个或多个与多个变换相关的编解码工具相关的语法元素之前，在比特流表示中信令通知跳过变换和量化处理的指示；以及基于所述配置，执行当前视频块和当前视频块的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：确定当前视频块使用在当前视频块上跳过变换和量化处理的应用的模式进行编解码；以及基于所述确定并且作为执行当前视频块和当前视频块的比特流表示之间的转换的一部分，禁用滤波方法。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：确定当前视频块使用在当前视频块上跳过变换和量化处理的应用的模式进行编解码；以及基于所述确定并作为执行当前视频块和当前视频块的比特流表示之间的转换的一部分，对(i)包含当前视频块的当前图片或(ii)当前图片的部分禁用环内整形(ILR)处理。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：为当前视频块配置当前视频块的比特流表示，其中，在信令通知量化参数的一个或多个指示之后，在比特流表示中选择性地信令通知跳过变换和量化处理的指示；以及基于所述配置执行当前视频块和当前视频块的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理方法。该方法包括：为当前视频块配置当前视频块的比特流表示，其中，在大于编解码单元(CU)的视频单元的级别上，在比特流表示中信令通知将编解码工具应用于当前视频块的指示；以及基于所述配置，执行当前视频块和当前视频块的比特流表示之间的转换，其中，执行所述变换包括：尽管在比特流表示中指示应用编解码工具，对所述当前视频块的至少一些样本点限制应用所述编解码工具。

在又一代表性方面，上述方法以处理器可执行代码的形式实施，并且存储在计算机可读的程序介质中。

在又一代表性方面，公开了一种设备，其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。

在又一代表性方面，一种视频解码器装置，其可以实现如本文所述的方法。

在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。

附图说明

图1示出了示例编码器的框图。

图2示出67种帧内预测模式的示例。

图3A-3D示出了应用于对角和临近角度帧内模式的位置相关帧内预测组合(PDPC)方法使用的样本点的示例。

图4示出了与预测块临近的四个参考行的示例。

图5示出了4×8和8×4块的划分的示例。

图6示出除4×8、8×4和4×4之外的所有块的划分的示例。

图7示出了4×4块的ALWIP的示例。

图8示出了8×8块的ALWIP的示例。

图9示出了8×4块的ALWIP的示例。

图10示出了16×16块的ALWIP的示例。

图11示出了JEM中的次级变换的示例。

图12示出了提出的简化的次级变换(RST)的示例。

图13示出了子块变换模式SBT-V和SBT-H的示例。

图14示出了使用整形的解码流程的流程图。

图15A-15G示出了视频处理的示例方法的流程图。

图16是用于实现本文中描述的视觉媒体解码或视觉媒体编解码技术的硬件平台的示例的框图。

图17是示出可利用本公开的技术的示例性视频编解码系统的框图。

图18是示出视频编码器的示例的框图。

图19是示出视频解码器的示例的框图。

图20是示出其中可以实现本文公开的各种技术的示例视频处理系统的框图。

图21-38示出了视频处理的示例方法的流程图。

具体实施方式

所公开技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以提高压缩性能。为了提高描述的可读性，在本文中使用了章节标题，并且不以任何方式将讨论或实施例(和/或实现)仅限于各个章节。

2.视频编解码介绍

由于对高分辨率视频的需求持续增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定的多功能视频编解码(VVC)标准，或其他当前和/或未来的视频编解码标准。

视频编解码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的多功能视频编解码(VVC)标准。

2.1典型视频编解码器的编码流程

图1示出了VVC的编码器框图的示例，其包含三个环内滤波块：去方块滤波器(DF)、采样自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF通过分别添加偏移量和应用有限脉冲响应(FIR)滤波器，利用编码边信息来信令通知偏移量和滤波器系数，利用当前图片的原始样本点来减少原始样本点和重构样本点之间的均方差。ALF位于每个图片的最后处理阶段，并且可以看作是试图捕获和修复由先前阶段创建的成果的工具。

2.2采用67种帧内预测模式的帧内模式编解码

为了捕获自然视频中呈现的任意边缘方向，将方向帧内模式的数量从HEVC中使用的33个扩展到65个。在图2中，附加的方向模式被描绘为红色虚线箭头，并且平面(Planar)模式和DC模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

如图2所示，传统的角度帧内预测方向被定义为在顺时针方向上从45度到-135度。在VTM2中，对于非正方形块，自适应地用广角度帧内预测模式替代传统的角度帧内预测模式。使用原始方法信令通知替代的模式，并且在解析之后将其重新重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码不变。

在HEVC中，每个帧内编解码块都是正方形的，并且其每个边的长度是2的幂。因此，使用DC模式生成帧内预测器不需要划分操作。在VVV2中，块可以是矩形，在一般情况下需要对每个块使用划分操作。为了避免DC预测的划分操作，只使用较长的边来计算非正方形块的平均值。

2.2.1位置相关的帧内预测组合(PDPC)

在VTM2中，利用位置相关的帧内预测组合(PDPC)方法进一步修正了平面(Planar)模式的帧内预测结果。PDPC是一种帧内预测方法，它调用未滤波的边界参考样本点和使用滤波的边界参考样本点的HEVC风格的帧内预测的组合。在不信令通知的情况下将PDPC应用于以下帧内模式：平面、DC、水平、垂直、左下角模式及其八个临近角度模式、以及右上角模式及其八个临近角度模式。

根据以下等式，使用帧内预测模式(DC、平面、角度)和参考样本点的线性组合来预测预测样本点pred(x,y)：

pred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+wTL)×pred(x,y)+32)>>6

这里，R_x,-1,R_-1,y分别表示位于当前样本点(x，y)的顶部和左侧的参考样本点，并且R_-1,-1表示位于当前块的左上角的参考样本点。

如果将PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波器，例如，在HEVC的情况下需要DC模式边界滤波器或者水平/垂直模式边界滤波器。

图3A-3D示出了适用于各种预测模式的PDPC的参考样本点(R_x,-1,R_-1,y和R_-1,-1)的定义。预测样本点pred(x’,y’)位于预测块内的(x'，y')处。参考样本点R_x,-1的坐标x由x＝x’+y’+1给出，并且参考样本点R_-1,y的坐标y类似地由y＝x’+y’+1给出。PDPC权重取决于预测模式，并且如表1所示。

表1：根据预测模式的PDPC权重的示例

预测模式	wT	wL	wTL
				右上对角	16>>((y’<<1)>>shift)	16>>((x’<<1)>>shift)	0
左下对角	16>>((y’<<1)>>shift)	16>>((x’<<1)>>shift)	0
				右上相邻对角	32>>((y’<<1)>>shift)	0	0
左下相邻对角	0	32>>((x’<<1)>>shift)	0

2.3多参考行(MRL)

多参考行(MRL)帧内预测使用更多参考行进行帧内预测。在图4中，描绘了4个参考行的示例，其中段A和F的样本点不是从重构的临近样本点中取得的，而是分别用段B和段E的最近样本点填充的。HEVC帧内预测使用最近的参考行(即，参考行0)。在MRL中，使用了附加的两个行(参考行1和参考行3)。

所选参考行的索引(mrl_idx)被信令通知并用于生成帧内预测器。对于大于0的参考行索引，在MPM列表中只包括附加的参考行模式，并且只信令通知没有其余模式的MPM索引。在帧内预测模式之前通知参考行索引，并且在信令通知非零参考行索引的情况下，从帧内预测模式中排除平面和DC模式。

为CTU内部的第一行块禁用MRL，以防止使用当前CTU行之外的扩展的参考样本点。另外，当使用附加行时，禁用PDPC。

2.4帧内子块分割(ISP)

在JVET-M0102中提出了ISP，其取决于块尺寸维度将亮度帧内预测块垂直或水平划分为2个或4个子分割，如表2所示。图5和图6示出了这两种可能性的示例。所有子分割满足具有至少16个样本点的条件。对于块尺寸4xN或Nx4(N>8)，如果允许，可以存在1xN或Nx1的子分割。

表2：取决于块尺寸的子分割的数目(用maxTBSize表示最大变换尺寸)

对于这些子分割中的每一个子分割，通过对编码器发送的系数进行熵解码，然后对其进行逆量化和逆变换，来生成残差信号。然后，对子分割进行帧内预测，并且最后通过将残差信号添加到预测信号中来得到相应的重构样本点。因此，每个子分割的重构值将可用于生成下一个子分割的预测，将重复该处理等。所有子分割共享相同的帧内模式。

表3取决于predModeIntra的trTypeHor和trTypeVer的规范

2.5仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)

在JVET-N0217中提出了仿射线性加权帧内预测(ALWIP，又称为基于矩阵的帧内预测(MIP))。

2.5.1使用矩阵矢量乘法生成简化的预测信号

首先通过平均对临近参考样本点进行下采样，以生成简化的参考信号bdry_red。然后，通过计算矩阵矢量乘积并添加偏移量来计算简化的预测信号pred_red：

pred_red＝A·bdry_red+b

这里，如果W＝H＝4，则A是具有W_red·H_red行和4列的矩阵，否则在所有其他情况下，A是具有W_red·H_red行和8列的矩阵。b是尺寸为W_red·H_red的矢量。

2.5.2整个ALWIP处理的说明

图7至10中示出了不同形状的平均、矩阵矢量乘法和线性插值的整个处理。注意，其余的形状被视为所描述的情况中的一个。

1.给定4×4的块，ALWIP沿边界的每个轴取两个平均值。得到的四个输入样本点进入矩阵矢量乘法。模型取自集合S₀。在加上偏移量之后，生成16个最终预测样本点。生成预测信号不需要线性插值。因此，对每个样本点总共执行(4·16)/(4·4)＝4次乘法。

2.给定8×8的块，ALWIP沿着边界的每个轴取四个平均值。得到的八个输入样本点进入矩阵矢量乘法。模型取自集合S₁。这在预测块的奇数位置产生16个样本点。因此，每个样本点总共执行(8·16)/(8·8)＝2次乘法。添加偏移量后，通过使用缩减的顶部边界对这些样本点进行垂直插值。接着通过使用原始左侧边界进行水平插值。

3.给定8×4的块，ALWIP沿边界的水平轴取四个平均值、并在左边界上取四个原始边界值。得到的八个输入样本点进入矩阵矢量乘法。模型取自集合S₁。这在预测块的奇数水平位置和每个垂直位置产生16个样本点。因此，每个样本点总共执行(8·16)/(8·4)＝4次乘法。添加偏移量后，通过使用原始左边界对这些样本点进行水平插值。

4.给定16×16的块，ALWIP沿着边界的每个轴取四个平均值。得到的八个输入样本点进入矩阵矢量乘法。模型取自集合S₂。这在预测块的奇数位置产生64个样本点。因此，每个样本点总共执行(8.64)/(16.16)＝2次乘法。添加偏移量后，通过使用顶部边界的八个平均值垂直插值这些样本点。接着通过使用原始左边界进行水平插值。在这种情况下，插值处理不增加任何乘法。因此，每个样本点总共需要两次乘法来计算ALWIP预测。

对于更大的形状，流程基本相同，并且很容易检查每个样本点的乘法数小于4。

对于W>8的W×8块，由于在奇数水平和每个垂直位置处给出了样本点，因此只需要水平插值。

最后，对于W>8的W×4块，设A_k为通过沿下采样块的水平轴去掉对应于奇数项的每一行而产生的模型。因此，输出尺寸是32并且再次，只剩下水平插值需要执行。

对转置的情况进行对应的处理。

2.6VVC中的多重变换集(MTS)

2.6.1显式多重变换集(MTS)

在VTM4中，启用了高达64×64的大块尺寸变换，这主要用于角高分辨率的视频，例如1080p和4K序列。对于尺寸(宽度或高度，或宽度和高度)等于64的变换块，将高频变换系数归零，以便仅保留低频系数。例如，对于M×N变换块(M为块宽，N为块高)，当M等于64时，只保留变换系数的左侧32列。类似地，当N等于64时，只保留变换系数的顶部32行。当对大块使用变换跳过模式时，使用整个块而不将任何值归零。

除了在HEVC中使用的DCT-II外，还使用多重变换选择(MTS)方案来对帧间和帧内编解码块进行残差编解码。它使用来自DCT8/DST7的多个选定变换。新引入的变换矩阵有DST-VII和DCT-VIII。下表4示出了所选DST/DCT的基础函数。

表4：VVC中使用的变换矩阵的基础函数

为了保持变换矩阵的正交性，与HEVC中的变换矩阵相比，对变换矩阵进行更精确的量化。为了使变换后系数的中间值保持在16比特范围内，在水平变换和垂直变换之后，所有系数都将具有10比特。

为了控制MTS方案，在SPS级别分别为帧内和帧间指定了独立的启用标志。当在SPS处启用MTS时，会信令通知CU级标志，以指示是否应用MTS。这里，MTS只适用于亮度。当满足以下条件时，信令通知MTS CU级标志。

-宽度和高度均小于或等于32

-CBF标志等于1

如果MTS CU标志等于零，则在两个方向应用DCT2。然而，如果MTS CU标志等于一，则额外信令通知两个其它标志以分别指示水平方向和垂直方向的变换类型。变换和信令映射表如表5所示。在变换矩阵精度方面，采用8比特初级变换核。因此，HEVC中使用的所有变换核都保持不变，包括4点DCT-2和DST-7、8点、16点和32点DCT-2。另外，其他变换核包括64点DCT-2、4点DCT-8、8点、16点、32点DST-7和DCT-8，采用8位初级变换核。

表5：tu_mts_idx的解码值与水平和垂直方向的对应变换矩阵的映射。

为了降低大尺寸DST-7和DCT-8的复杂度，对尺寸(宽度或高度，或宽度和高度)等于32的DST-7和DCT-8块，将高频变换系数归零。仅保留16x16低频区域内的系数。

除了应用不同变换的情况外，VVC还支持称为变换跳过(TS)的模式，其类似于HEVC中TS的概念。TS被视为MTS的特例。

2.6.1.1语法和语义

可以在比特流中信令通知MTS索引，并且这种设计称为显式MTS。此外，还支持根据变换块尺寸直接导出矩阵的另一种方法，即隐式MTS。

对于显式MTS，它支持所有编解码模式。而对于隐式MTS，只支持帧内模式。

7.3.2.4图片参数集RBSP语法

7.3.7.10变换单元语法

transform_skip_flag[x0][y0]指定是否将变换应用于亮度变换块。数组索引x0，y0指定所考虑的变换块的左上亮度样本点相对于图片的左上亮度样本点的位置(x0，y0)。transform_skip_flag[x0][y0]等于1指定不对亮度变换块应用变换。transform_skip_flag[x0][y0]等于0指定是否将变换应用于亮度变换块的决定取决于其他语法元素。如果transform_skip_flag[x0][y0]不存在，则推断它等于0。

tu_mts_idx[x0][y0]指定将哪种变换内核应用于沿相关亮度变换块的水平和垂直方向的残差样本点。数组索引x0，y0指定所考虑的变换块的左上亮度样本点相对于图片的左上亮度样本点的位置(x0，y0)。

当tu_mts_idx[x0][y0]不存在时，推断它等于0。

在CABAC解码处理中，使用一个上下文对transform_skip_flag进行解码，使用截断的一元对tu_mts_idx进行二值化。tu_mts_idx的每个二进制数都是上下文编解码的，并且对于第一个二进制数，使用四叉树深度(即cqtDepth)来选择一个上下文；并且对于其余的二进制数，使用一个上下文。

表9-15ctxInc到具有上下文编解码的二进制数的语法元素的分配

2.6.2隐式多重变换集(MTS)

需要注意的是，将启用ISP、SBT和MTS但具有隐式信令的情况都视为隐式MTS。在规范中，使用implicitMtsEnabled来定义是否启用隐式MTS。

8.7.4缩放变换系数的变换处理

8.7.4.1概述

变量implicitMtsEnabled导出如下：

–如果sps_mts_enabled_flag等于1并且以下条件中的一个为真，则将implicitMtsEnabled设置为等于1：

–IntraSubPartitionsSplitType不等于ISP_NO_SPLIT；

–cu_sbt_flag等于1且Max(nTbW,nTbH)小于或等于32；

–sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag都等于0且CuPredMode[xTbY][yTbY]等于MODE_INTRA。

–否则，将implicitMtsEnabled设置为等于0。

指定水平变换内核的变量trTypeHor和指定垂直变换内核的变量trTypeVer导出如下：

–如果cIdx大于0，则将trTypeHor和trTypeVer设置为等于0。

–否则，如果implicitMtsEnabled等于1，则以下适用：

–如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，则在表8-15中取决于intraPredMode指定trTypeHor和trTypeVer。

–否则，如果cu_sbt_flag等于1，则在表8-14中取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag指定trTypeHor和trTypeVer。

–否则(sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag等于0)，如下导出trTypeHor和trTypeVer：

trTypeHor＝(nTbW>＝4&&nTbW<＝16&&nTbW<＝nTbH)？1:0 (8-1030)

trTypeVer＝(nTbH>＝4&&nTbH<＝16&&nTbH<＝nTbW)？1:0 (8-1031)

–否则，在表8-13中取决于tu_mts_idx[xTbY][yTbY]指定trTypeHor和trTypeVer。

表8-13取决于tu_mts_idx[x][y]的trTypeHor和trTypeVer的规范

tu_mts_idx[x0][y0]	0	1	2	3	4
						trTypeHor	0	1	2	1	2
trTypeVer	0	1	1	2	2

表8-14取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的规范

cu_sbt_horizontal_flag	cu_sbt_pos_flag	trTypeHor	trTypeVer
				0	0	2	1
0	1	1	1
				1	0	1	2
1	1	1	1

2.7JVET-N0193中提出的简化的次级变换(RST)

2.7.1JEM中的不可分离次级变换(NSST)

在JEM中，在正向初级变换和量化(在编码器处)之间以及在去量化和逆向初级变换(在解码器侧)之间应用次级变换。如图11所示，取决于块尺寸执行4x4(或8x8)次级变换。例如，对于小块(即min(宽度，高度)＜8)，应用4x4次级变换；对于较大块(即min(宽度，高度)＞4)，每8x8块应用8x8次级变换。

下面以输入为例说明不可分离变换的应用。要应用不可分离变换，将4x4输入块X

首先表示为矢量

将不可分离变换计算为

其中

指示变换系数矢量，并且T是16x16变换矩阵。随后使用该块的扫描顺序(水平、垂直或对角线)将16x1的系数矢量

重新组织为4x4的块。索引较小的系数将以较小的扫描索引放在4x4系数块中。总共有35个变换集，并且每个变换集使用3个不可分离变换矩阵(内核)。从帧内预测模式到变换集的映射是预定义的。对于每个变换集，由显式地信令通知的次级变换索引进一步指定所选的不可分离次级变换(NSST)候选。在变换系数之后，在比特流中为每个帧内CU信令通知一次索引。

2.7.2 JVET-N0193中的简化的次级变换(RST)

在JVET-K0099中引入了RST(又称为低频不可分离变换(LFNST))，并且在JVET-L0133中引入了4变换集(而不是35变换集))映射。在该JVET-N0193中，使用16x64(进一步简化为16x48)和16x16矩阵。为了方便表示，将16x64(简化为16x48)变换表示为RST8x8，并且将16x16变换表示为RST4x4。图12示出了RST的示例。

2.8子块变换

对于cu_cbf等于1的帧间预测CU，可以信令通知cu_sbt_flag，以指示是否解码整个残差块或残差块的子部分。在前一种情况下，进一步解析帧间MTS信息以确定CU的变换类型。在后一种情况下，用推断出的自适应变换对残差块的部分进行编解码，并将残差块的其它部分归零。不将SBT应用于组合帧间帧内模式。

在子块变换中，将位置相关变换应用于SBT-V和SBT-H中的亮度变换块(色度TB始终使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，图13指定了每个SBT位置的水平和垂直变换。例如，SBT-V位置0的水平和垂直变换分别为DCT-8和DST-7。当残差TU的一侧大于32时，将相应的变换设置为DCT-2。因此，子块变换共同指定残差块的TU片、cbf以及水平和垂直变换，对于块的主要残差在块的一侧的情况，这可以被视为语法快捷方式。

2.8.1语法元素和语义

7.3.7.5编解码单元语法

7.3.7.11残差编解码语法

sps_sbt_max_size_64flag等于0指定允许子块变换的最大CU宽度和高度是32亮度样本点。sps_sbt_max_size_64_flag等于1指定允许子块变换的最大CU宽度和高度是64亮度样本点。

MaxSbtSize＝sps_sbt_max_size_64_flag？64：32 (7-33)

2.9量化残差域块差分脉冲编解码调制编解码(QR-BDPCM)

在JVET-N0413中提出了量化残差域BDPCM(以下表示为RBDPCM)。通过在与帧内预测类似的预测方向(水平或垂直预测)上进行样本点复制而在整个块上完成帧内预测。对残差进行量化，并对量化残差与其预测器(水平或垂直)量化值之间的差值进行编解码。

对于尺寸为M(行)×N(列)的块，设r_i，j，0≤i≤M-1，0≤j≤N-1为使用来自上方或左侧块边界样本点的未滤波样本点执行水平(逐行复制预测块中的左侧临近像素值)或垂直(将顶部临近行复制到预测块中的每一行)帧内预测之后的预测残差。设Q(r_i，j)，0≤i≤M-1，0≤j≤N-1表示残差r_i，j的量化版本，其中残差是原始块和预测块值之间的差。然后对量化后的残差样本点应用块DPCM，得到具有元素

的修正的M×N阵列

当信令通知垂直BDPCM信号时：

对于水平预测，应用类似的规则，并且通过以下获得残差量化样本点：

将残差量化样本点

发送到解码器。

在解码器侧，将上述计算倒推以产生Q(r_i，j)，0≤i≤M-1，0≤j≤N-1，对于垂直预测情况，

对于水平情况，

将倒置的量化残差Q^-1(Q(r_i，j))添加到帧内块预测值中以生成重构样本点值。

在QR-BDPCM中始终使用变换跳过。

2.9.1TS编解码块和QR-BDPCM编解码块的系数编解码

QR-BDPCM遵循TS编解码块的上下文建模方法。

TS残差的修改的变换系数级编解码。相对于常规残差编解码情况，TS的残差编解码包括以下改动：

(1)不信令通知最后的x/y位置，

(2)当所有先前标志都等于0时，为每个子块(除了最后的子块)编解码coded_sub_block_flag，

(3)sig_coeff_flag上下文建模使用简化模板，

(4)abs_level_gtl_flag和par_level_flag的单个上下文模型，

(5)符号标志(此外大于5、7、9的标志)的上下文建模，

(6)余数二进制化的修改的Rice参数推导，

(7)每个样本点上下文编解码二进制数的数目的限制，一个块内每个样本点2个二进制数。

2.9.2语法和语义

7.3.6.5编解码单元语法

bdpcm_flag[x0][y0]等于1指定bdpcm_dir_flag存在于包括亮度编解码块的编解码单元的位置(x0,y0)处。

bdpcm_dir_flag[x0][y0]等于0指定将在bdpcm块中使用的预测方向是水平，否则是垂直。

7.3.6.10变换单元语法

将上下文编解码的二进数的数目限制为每个CG的的每个样本点不大于2个二进制数。

表9-15ctxInc到具有上下文编解码的二进制数的语法元素的分配

2.10 JVET-M0427中的环内整形(ILR)

环内整形器(ILR)的基本思想是将原始(在第一域)信号(预测/重构信号)转换到第二域(整形域)。

环内亮度整形器被实现为一对查找表(LUT)，但是两个LUT中只有一个需要被信令通知，因为另一个LUT可以从信令通知的LUT中计算出来。每个LUT是一维的、10比特的、1024个条目的映射表(1D-LUT)。一个LUT是正向LUT FwdLUT，它将输入的亮度代码值Y_i映射到更改的值Y_r：Y_r＝FwdLUT[Y_i]。另一个LUT是反向LUT InvLUT，它将更改的代码值Y_r映射到

(

表示Y_i的重构值)。

ILR在VVC中又称为亮度映射和色度缩放(LMCS)。

2.10.1 PWL模型

从概念上讲，分段线性(PWL)的实现方式如下：

设x1，x2为两个输入轴点，并且y1，y2为一段的对应输出轴点。在x1和x2之间的任何输入值x的输出值y可以通过以下等式进行插值：

y＝((y2-y1)/(x2-x1))*(x-x1)+y1

在定点实现中，该等式可以重写为：

y＝((m*x+2^FP_PREC-1)>>FP_PREC)+c

其中m是标量，c是偏移，并且FP_PREC是用于指定精度的常量值。

注意，在CE-12软件中，PWL模型用于预计算1024个条目的FwdLUT和InvLUT映射表；但是PWL模型还允许实现在不预先计算LUT的情况下动态计算等同的映射值。

2.10.2亮度整形

环内亮度整形(即，提议中的CE12-2)的测试2提供了一种较低复杂度的管道，该管道还消除了条带间重构中分块帧内预测的解码延迟。对于帧间和帧内条带，帧内预测都在整形域中执行。

不管条带类型如何，帧内预测总是在整形域中执行。通过这样的布置，帧内预测可以在先前的TU重构完成后立即开始。这种布置还可以为帧内模式提供统一的而不是取决于条带的处理。图14示出了基于模式的CE12-2解码处理的框图。

CE12-2也测试亮度和色度残差缩放的16段分段线性(PWL)模型，而不是CE12-1的32段分段PWL模型。

用CE12-2中的环内亮度整形器进行条带间重构(浅色阴影块指示整形域中的信号：亮度残差；帧内亮度预测的；以及帧内亮度重构的)。

2.10.3亮度相关色度残差缩放

亮度相关色度残差缩放是用定点整数运算实现的乘法处理。色度残差缩放补偿了亮度信号与色度信号的相互作用。色度残差缩放在TU级应用。更具体地，使用对应亮度预测块的平均值。

平均值被用于识别PWL模型中的索引。该索引标识缩放因子cScaleInv。色度残差乘以该数字。

应当注意的是，色度缩放因子是从正向映射的预测亮度值而不是重构亮度值计算出的。

2.10.4 ILR的使用

在编码器侧，首先将每个图片(或片组)都转换到整形域。并且在整形域中执行所有编解码处理。对于帧内预测，临近块位于整形域中；对于帧间预测，首先将参考块(从解码图片缓冲器的原始域生成的)转换到整形域。然后生成残差并将其编码到比特流。

在整个图片(或片组)完成编码/解码后，将整形域中的样本点转换到原始域，然后应用去方块滤波器和其他滤波器。

在以下情况下，对预测信号的正向整形被禁用。

当前块是帧内编解码的；

当前块被编解码为CPR(当前图片参考，也称为帧内块复制，IBC)；

当前块被编解码为组合帧间帧内模式(CIIP)，并且为帧内预测块禁用正向整形。

3.现有实现的缺陷

当前设计存在以下问题：

(1)LMCS仍然适用于使用变换和量化旁路模式(即，cu_transquant_bypass_flag等于1)编解码的块。然而，从原始域到整形域的映射、或者从整形域到重构域的映射是有损的。同时启用LMCS和cu_transquant_bypass_flag是不可取的。

(2)还没有研究如何信令通知几种新的与变换相关的编解码工具(诸如MTS索引或RST索引或SBT)、无变换的编解码工具(诸如QR-DPCM)和cu_transquant_bypass_flag。

(3)在HEVC，cu_transquant_bypass_flag被信令通知一次并应用于所有三种颜色分量。需要研究如何处理双树。

(4)当应用无损编解码时，某些编解码工具(诸如PDPC)会带来编解码损失。

(5)应禁用一些编解码工具，以确保一个块是无损编解码的。然而，这还没有被考虑进去。

(6)在最新的VVC草案中，SBT和ISP被视为隐式MTS。即，对于SBT和ISP编解码块，应用隐式变换选择。此外，如果sps_mts_enbaled_flag为假，则仍然可以对块启用SBT和ISP，然而相反地，只允许DCT2。在这种设计中，当sps_mts_enbaled_flag为假时，SBT/ISP的编解码增益变小。

在VVC D6中，是否启用隐式MTS如下示出：

-如果sps_mts_enabled_flag等于1，并且下列条件中的一个为真，则将implicitMtsEnabled设置为等于1：

-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT；

-cu_sbt_flag等于1并且Max(nTbW,nTbH)≤32；

-sps_explicit_mts_intra_enabled_flag等于0并且CuPredMode[0][xTbY][yTbY]等于MODE_INTRA并且lfnst_idx[x0][y0]等于0并且intra_mip_flag[x0][y0]等于0。

–否则，将implicitMtsEnabled设置为等于0。

4.用于视觉媒体编解码的无损编解码的示例方法

本公开技术的实施例克服了现有实现的缺陷，从而提供具有更高编解码效率的视频编解码。在以下针对各种实现描述的示例中说明了基于所公开的技术的可以增强现有和未来的视频编解码标准的用于视觉媒体编解码的无损编解码的方法。下面提供的公开技术的示例解释了一般概念，并不意味着被解释为限制性的。在示例中，除非明确表示相反，否则可以组合这些示例中描述的各种特征。

用W*H表示一个块尺寸，其中W是块宽度，并且H是块高度。用MaxTbW*MaxTbH表示最大变换块尺寸，其中MaxTbW和MaxTbH分别是最大变换块的宽度和高度。用MinTbW*MinTbH表示最小变换块尺寸，其中MinTbW和MinTbH分别是最小变换块的宽度和高度。

将TransQuantBypass模式定义为跳过变换和量化处理，诸如将cu_transquant_bypass_flag设置为1。

对多个颜色分量使用TransQuantBypass模式

1.对于不同的颜色分量，可以分别信令通知TransQuantBypass模式的指示(例如，cu_transquant_bypass_flag)。

a.在一个示例中，当启用双树时，可以分别对亮度和色度分量或每个颜色分量的cu_transquant_bypass_flag进行编解码。

b.在一个示例中，该模式的使用可以是上下文编解码的。

i.在一个示例中，上下文的选择可取决于颜色分量。

c.在一个示例中，可以应用该标志的预测编解码。

d.在一个示例中，为所有颜色分量信令通知多个指示还是仅一个指示可取决于编解码结构(例如，单树或双树)。

e.在一个示例中，为所有颜色分量信令通知多个指示还是仅一个指示可取决于颜色格式和/或颜色分量编解码方法(例如，是否启用单独的平面编解码)和/或编解码模式。

i.在一个示例中，当对色度块启用联合色度残差编解码时，两个色度块可以共享TransQuantBypass的相同启用标志。

f.在一个示例中，是否可以在第一颜色分量的块中应用TransQuantBypass模式可取决于是否将TransQuantBypass模式应用于位于第二颜色分量的对应区域中的样本点。

i.与第一颜色分量的块相对应的对应区域的尺寸和第二颜色分量的和左上样本点的坐标可以取决于颜色格式。例如，如果第一颜色分量的左上样本点坐标为(x0，y0)，并且第一颜色分量的块尺寸为W×H，则对于4:2:0颜色格式，对应区域的尺寸可以为2W*2H，并且第二颜色分量的左上样本点坐标为(2*x0，2*y0)。

ii.在一个示例中，第一颜色分量是色度分量(例如，Cb或Cr)。

iii.在一个示例中，第二颜色分量是亮度分量。

iv.在一个示例中，如果与第一颜色分量的块相对应的第二颜色分量的区域中的所有样本点都是TransQuantBypass编解码的，则只能在第一颜色分量的块中使用TransQuantBypass模式。

v.在一个示例中，如果与第一颜色分量的块相对应的第二颜色分量的区域中的至少一个样本点是TransQuantBypass编解码的，则只能在第一颜色分量的块中使用TransQuantBypass模式。

vi.在以上示例中，如果不能使用TransQuantBypass，则可不信令通知TransQuantBypass并将其推断为0。

vii.在一个示例中，是否信令通知第一颜色分量的TransQuantBypass的边信息取决于在第二颜色分量的对应区域中的一个或多个块中TransQuantBypass的使用。

1)如果将TransQuantBypass应用于对应区域中的所有块，则可以启用TransQuantBypass，并且可以信令通知第一颜色分量的TransQuantBypass的边信息。否则，跳过信令并推断为禁用。

2)如果将TransQuantBypass应用于对应区域中的一个或多个块(例如，覆盖对应区域的中心位置的块)，则可以启用TransQuantBypass，并且可以信令通知第一颜色分量的TransQuantBypass的边信息。否则，跳过信令并推断为禁用。

viii.可选地，此外，当启用双树编解码结构时，可以启用上述方法。

2.可从对应的亮度区域导出色度块的TransQuantBypass模式的指示(例如，cu_transquant_bypass_flag)。

a.在一个示例中，如果色度块对应于覆盖诸如编解码单元(CU)或预测单元(PU)或变换单元(TU)等一个或多个块的亮度区域，并且至少一个亮度块使用TransQuantBypass模式编解码，则色度块应使用TransQuantBypass模式编解码。

i.可选地，如果色度块对应于覆盖一个或多个块的亮度区域，并且所有这些亮度块都使用TransQuantBypass模式编解码，则色度块应使用TransQuantBypass模式编解码。

ii.可选地，可以将色度块划分为子块。如果子块对应于覆盖一个或多个块的亮度区域，并且所有这些亮度块都使用TransQuantBypass模式编解码，则色度子块应使用TransQuantBypass模式编解码。

3.对于大于VPDU的块，可以启用TransQuantBypass模式。

a.如果块的宽度或高度大于VPDU的宽度或高度，则块被定义为大于VPDU。

i.可选地，如果块的宽度和高度都分别大于VPDU的宽度和高度，则块被定义为大于VPDU。

b.在一个示例中，对于大于VPDU的块，可以信令通知TransQuantBypass模式的指示(例如，cu_transquant_bypass_flag)cu_transquant_bypass_flag。

c.在一个示例中，对于大于VPDU的CTU，可以通过四叉树将其进行划分直到达到多个VPDU，或者不划分。当不划分时，可以推断cu_transquant_bypass_flag为1，而无需信令通知。

i.可选地，对于那些大的块可以允许帧内预测模式。

d.可选地，可以为大于最大允许变换块尺寸(例如，MaxTbSizeY*MaxTbSizeY)的块、或者宽度/高度的任一个大于最大允许变换块尺寸(例如，MaxTbSizeY)的块启用transQuantBypass模式。

i.可选地，可以通过用MaxTbSizeY替换VPDU来应用子项目a-c。

4.对于大于VPDU的块，可以启用未应用变换的变换跳过模式和/或其他编解码方法。

a.如果块的宽度或高度大于VPDU的宽度或高度，则块被定义为大于VPDU。

i.可选地，如果块的宽度和高度分别大于VPDU的宽度和高度，则块被定义为大于VPDU。

b.在一个示例中，对于大于VPDU的块，可以信令通知变换跳过模式的指示。

c.在一个示例中，对于大于VPDU的CTU，可以通过四叉树将其进行划分直到达到多个VPDU，或者不划分。当不划分时，可以推断变换跳过标志为1，而无需信令通知。

i.可选地，对于那些大的块可以允许帧内预测模式。

d.可选地，可以为大于最大允许变换块尺寸(例如，MaxTbSizeY*MaxTbSizeY)的块、或者宽度/高度的任一个大于最大允许变换块尺寸(例如，MaxTbSizeY)的块启用变换跳过模式和/或未应用变换的其他编解码方法。

i.可选地，可以通过用MaxTbSizeY替换VPDU来应用子项目a-c。

e.其他不应用变换的编解码方法可以包括变换跳过模式、DPCM、QR-DPCM等。

TransQuantBypass模式的块维度设置

5.TransQuantBypass模式的允许的块维度可以与启用TS的块维度相同。

a.TransQuantBypass模式可适用于启用QR-BDPCM的相同块维度。

b.TransQuantBypass模式可适用于启用TS的相同块维度。

c.TS模式可适用于启用QR-BDPCM的不同块维度。

i.可选地，即使TS模式被禁用/禁用，也可以为视频单元(例如，序列)启用QR-BDPCM。

d.是否启用QR-BDPCM可取决于是否启用TS或TransQuantBypass模式。

i.在一个示例中，视频单元(例如，序列/TU/PU/CU/图片/条带)中QR-BDPCM的开/关控制标志的信令可以受是否允许TS或TransQuantBypass的条件检查。

ii.在一个示例中，如果允许TransQuantBypass，则即使不允许TS，QR-BDPCM仍然可以被启用。

e.可以在序列/视图/图片/条带/片组/片/CTU/视频单元级信令通知使用TransQuantBypass模式的块的最大和/或最小块维度。

i.在一个示例中，可以在SPS/VPS/PPS/条带标头/片组标头/片等中信令通知具有cu_transquant_bypass_flag的块的最大和/或最小块维度的指示。

6.提出对禁用变换的所有种类编解码模式(诸如TS、TransQuantBypass模式、QR-BDPCM、BDPCM等)对齐允许的块维度。

a.可选地，可以信令通知这些情况下允许的最大和/或最小尺寸的单个指示，以控制所有这些模式的使用。

b.在一个示例中，当启用不依赖于非身份变换的编解码工具中的一个时，可以信令通知这些情况下允许的最大和/或最小尺寸的指示。

i.在一个示例中，当TS或QR-BDPCM的任一个被启用时，可信令通知log2_transform_skip_max_size_minus2。

ii.在一个示例中，当TS或TransQuantBypass的任一个被启用时，可信令通知log2_transform_skip_max_size_minus2。

7.跳过变换(诸如TS、TransQuantBypass模式、QR-BDPCM、BDPCM等)的块的最大变换块尺寸的设置可与应用变换的非TS情况下使用的设置不同。

TransQuantBypass模式与其他编解码工具之间的相互作用

8.对于TransQuantBypass编解码块，可以禁用亮度整形和/或色度缩放。

a.当将TransQuantBypass应用于块时，不管LMCS的启用/禁用标志是什么，都在原始域而不是整形域中编解码残差。例如，可以在条带/序列级中信令通知LMCS的启用/禁用标志。

b.在一个示例中，对于帧内和TransQuantBypass编解码块，可首先将用于帧内预测的预测信号/参考样本点从整形域映射到原始域。

c.在一个示例中，对于IBC和TransQuantBypass编解码块，可以首先将用于IBC预测的预测信号/参考样本点从整形域映射到原始域。

d.在一个示例中，对于CIIP和TransQuantBypass编解码块，以下适用：

i.可以首先将用于帧内预测的帧内预测信号/参考样本点从整形域映射到原始域。

ii.跳过帧内预测的预测信号从原始域到整形域的映射。

e.在一个示例中，对于调色板模式，调色板表可以在原始域中生成，而不是在整形域中生成。

f.可选地，可以分配两个缓冲器，其中一个缓冲器用于存储预测信号和残差信号(也就是重构信号)的总和；并且另一个缓冲器用于存储整形总和，即，需要首先将预测信号和残差信号的总和从原始域映射到整形域，并且可以进一步用于对后续块进行编解码。

i.可选地，仅存储原始域中的重构信号。当后续块需要时，可以从原始域中的重构信号转换出整形域中的重构信号。

g.上述方法可适用于依赖于当前片/条带/片组/图片中的参考样本点的其它编解码方法。

i.在一个示例中，可以对从当前片/条带/片组/图片中的参考样本点生成的预测信号应用逆整形处理(即，从整形域到原始域的转换)。

ii.可选地，不允许将正向整形处理(即，从原始域到整形域的转换)应用于从不同图片(例如，参考图片中)中的参考样本点生成的预测信号。

h.是否启用上述方法可依赖于TransQuantBypass/TS/QR-BDPCM/BDPCM/PCM/其他工具的启用/禁用状态，这些工具不对包含要使用的所需参考样本点的那些块应用变换。

i.在一个示例中，是否和/或如何应用帧内预测(诸如普通帧内预测、帧内块复制或帧间帧内预测(诸如VVC中的CIIP))可取决于当前块是否是TransQuantBypass编解码的和/或提供帧内预测(或参考样本点)的一个或多个临近块是否是TransQuantBypass编解码的。

ii.在一个示例中，如果当前块是TransQuantBypass编解码的，并且对于那些位于TransQuantBypass编解码块中的参考样本点，不转换参考样本点(即，不需要应用正向或逆向整形处理)，并且可以直接用于导出预测信号。

iii.在一个示例中，如果当前块是TransQuantBypass编解码的，并且对于那些不位于TransQuantBypass编解码块中的参考样本点，首先可能需要将参考样本点转换到原始域(例如，通过应用逆整形处理)，然后用于导出预测信号。

iv.在一个示例中，如果当前块不是TransQuantBypass编解码的，并且对于那些不位于TransQuantBypass编解码块中的参考样本点，不转换参考样本点(即，不需要应用正向或逆向整形处理)，并且可以直接用于导出预测信号。

v.在一个示例中，如果当前块不是TransQuantBypass编解码的，并且对于那些位于TransQuantBypass编解码块中的参考样本点，首先可能需要将参考样本点转换到整形域(例如，通过应用逆整形处理)，然后用于导出预测信号。

vi.在一个示例中，当这些参考样本点来自相同的片/砖/条带/图片中的块时，诸如当当前块用帧内/IBC/CIIP等编解码时，可以应用上述方法。

vii.在一个示例中，上述方法可应用于特定颜色分量，诸如Y分量或G分量，但不应用于其他颜色分量。

i.在一个示例中，对于使用不应用变换的方法(例如，TS模式)编解码的块，可以禁用亮度整形和/或色度缩放。

i.可选地，此外，可以通过用不同的编解码模式(例如，TS)替换TransQuantBypass模式来应用上述权利要求(例如，7a-h项)。

9.在信令通知一个或多个与变换矩阵相关的编解码工具之前，可以信令通知TransQuantBypass模式的指示。

a.在一个示例中，与变换矩阵相关的编解码工具可以是以下工具中的一个或多个(相关的语法元素包括在括号中)：

i.变换跳过模式(例如，transform_skip_flag)

ii.显式MTS(例如，tu_mts_idx)

iii.RST(例如，st_idx)

iv.SBT(例如，cu_sbt_flag,cu_sbt_quad_flag,cu_sbt_pos_flag)

v.QR-BDPCM(例如，bdpcm_flag,bdpcm_dir_flag)

b.如何对残差进行编解码可取决于TransQuantBypass模式的使用。

i.在一个示例中，是否对residual_coding或residual_coding_ts进行编解码可取决于TransQuantBypass模式的使用。

ii.在一个示例中，当TransQuantBypass被禁用并且transform_skip_flag被禁用时，可将为应用了变换的块设计的残差编解码方法(例如，residual_coding)用于残差编解码。

iii.在一个示例中，当TransQuantBypass被启用或transform_skip_flag被启用时，可将为未应用变换的块设计的残差编解码方法(例如，residual_coding_ts)用于残差编解码。

iv.可将TransQuantBypass模式视为特殊的TS模式。

1)可选地，此外，当为块启用TransQuantBypass模式时，可以不信令通知transform_skip_flag，和/或将其推断为1。

a.可选地，此外，还可以使用residual_coding_ts。

c.可选地，在使用TransQuantBypass模式的情况下，可以信令通知与其它类型的变换矩阵相关的编解码工具的边信息。

i.当应用TransQuantBypass模式时，可以进一步信令通知变换跳过模式、QR-BDPCM、BDPCM的使用的边信息。

ii.当应用TransQuantBypass模式时，可以不信令通知SBT、RST、MTS的使用的边信息。

10.可以在信令通知一个或多个与变换矩阵相关的编解码工具之后，信令通知TransQuantBypass模式的指示。

a.可选地，当应用某些编解码工具(诸如变换跳过模式、QR-BDPCM、BDPCM)时，可以对TransQuantBypass模式的指示进行编解码。

b.可选地，当应用某些编解码工具(诸如SBT、RST、MTS)时，可以不对TransQuantBypass模式的指示进行编解码。

11.在信令通知量化参数的指示之后，可以有条件地信令通知TransQuantBypass模式的指示。

a.可选地，可以在信令通知TransQuantBypass模式的指示之后，有条件地信令通知量化参数的指示。

b.在一个示例中，当将TransQuantBypass应用于一个块时，可以跳过量化参数和/或量化参数的变化(例如，cu_qp_delta_abs,cu_qp_delta_sign_flag)的信令。

i.例如，可以推断cu_qp_delta_abs为0。

c.可选地，当量化参数(例如，cu_qp_delta_abs,cu_qp_delta_sign_flag)的变化不等于0时，可以跳过TransQuantBypass模式的信令，并且推断为禁用TransQuantBypass。

i.在一个示例中，TransQuantBypass的信令可仅取决于特定颜色分量(诸如亮度分量)的量化参数的指示。

12.当对一个块启用TransQuantBypass模式时，对该块中的样本点禁用ALF或非线性ALF。

13.当对一个块启用TransQuantBypass模式时，可以对该块中的样本点禁用双边滤波器或/和扩散滤波器和/或可以修改重构块的其他类型的重构后滤波器。

14.当为一个块启用TransQuantBypass模式时，可禁用PDPC。

15.如果块使用TransQuantBypass模式编解码，则隐式MTS中的变换选择方法不适用。

16.如果块使用TransQuantBypass模式编解码，则LMCS中的色度样本点的缩放方法不适用。

17.对于允许TransQuantBypass的CU/CTU/条带/片/片组/图片/序列，可以禁用LMCS。

a.在一个示例中，当SPS/VPS/PPS/条带级标志指示可将变换和量化旁路模式应用于序列/视图/图片/条带内的一个块时，LMCS可被禁用。

b.可选地，可以跳过LMCS相关语法元素的信令。

c.在序列/图片/条带/片组/片/砖级别，当启用LMCS时可以禁用TransQuantBypass模式。

i.例如，启用/禁用TransQuantBypass的信令可取决于LMCS的使用。

1)在一个示例中，如果应用LMCS，则不信令通知TransQuantBypass的指示。例如，推断不使用TransQuantBypass。

2)可选地，LMCS的使用的信令可以取决于TransQuantBypass的启用/禁用。

d.在一个示例中，一致性比特流应满足：不应为相同的条带/片/砖/片组/图片启用TransQuantBypass和LMCS。

18.在TS模式的信令(例如，transform_skip_flag)之后，可以信令通知QR-BDPCM的边信息。

a.在一个示例中，将QR-BDPCM视为TS模式的特例。

i.可选地，当允许QR-BCPCM用于一个块时，也应启用TS模式，即，信令通知的/导出的transform_skip_flag应等于1。

ii.可选地，当信令通知的/导出的transform_skip_flag等于1时，可进一步信令通知QR-BDPCM的边信息。

iii.可选地，当信令通知的/导出的transform_skip_flag等于0时，可不信令通知QR-BDPCM的边信息。

b.在一个示例中，将QR-BDPCM视为与TS模式不同的模式。

i.可选地，当信令通知的/导出的transform_skip_flag等于0时，可进一步信令通知QR-BDPCM的边信息。

ii.可选地，当信令通知的/导出的transform_skip_flag等于1时，可不进一步信令通知QR-BDPCM的边信息。

19.可以在子块级别而不是整个块中(例如，CU/PU)启用TransQuantBypass模式和/或TS模式和/或不应用变换的其他编解码方法(例如，调色板模式)。

a.在一个示例中，对于双树情况，可将色度块划分成多个子块，每个块可以根据对应亮度块的编解码信息确定TransQuantBypass模式和/或TS模式和/或不应用变换的其他编解码方法的使用。

20.是否在环路滤波处理之前将逆整形处理(即，从整形域到原始域的转换)应用于重构块可以从块到块改变。

a.在一个示例中，可不将逆整形处理应用于用TransQuantBypass模式编解码的块，但是应用于用非TransQuantBypass模式编解码的其他块。

21.是否和/或如何应用解码器侧运动推导、或解码器侧帧内模式判定、或CIIP、或TPM的编解码工具可取决于是否将身份变换和/或不将任何变换应用于块。

a.在一个示例中，当对一个块启用TransQuantBypass/TS/QR-BDPCM/DPCM/PCM/应用了身份变换和/或未应用变换的其它编解码工具时，可以禁用解码器侧运动推导、或解码器侧帧内模式判定、或CIIP、或TPM的编解码工具。

b.在一个示例中，对于那些应用了身份变换或未应用任何变换的块，可以禁用使用光流的预测细化(PROF)、或CIIP、或TPM。

c.在一个示例中，对于那些应用了身份变换的块，可以禁用双向光流(BDOF)、或CIIP、或TPM。

d.在一个示例中，对于那些应用了身份变换的块，可以禁用解码侧运动矢量细化(DMVR)、或CIIP、或TPM。

22.可以在视频单元(例如，图片/条带/片/砖)级启用TransQuantBypass。也就是说，相同视频单元中的所有块将共享相同的TransQuantBypass的开/关控制。跳过较小视频块(例如，CU/TU/PU)中的TransQuantBypass的信令。

a.可选地，此外，可以在另一工具X使用的情况下，信令通知TransQuantBypass的视频单元级使用指示。

b.可选地，此外，可以在TransQuantBypass的视频单元级使用的情况下，信令通知另一工具X的使用指示。

c.可选地，此外，一致性比特流应满足：当启用TransQuantBypass时，应禁用另一工具X。

d.可选地，此外，一致性比特流应满足：当启用另一工具X时，应禁用TransQuantBypass。

e.对于上述示例，“另一个工具X”可以是：

i.LMCS

ii.解码器侧运动推导(例如，DMVR、BDOF、PROF)

iii.解码器侧帧内模式判定

iv.CIIP

v.TPM

23.可以在TU级信令通知TransQuantBypass的边信息，然而，可以在更高的级别(例如，PU/CU)上控制TransQuantBypass的使用。

a.在一个示例中，当一个CU/PU包括多个TU时，可以信令通知一次TransQuantBypass的边信息(例如，与CU中的第一个TU相关联)，并且CU内的其它TU共享相同的边信息。

24.可以在大于CU的视频单元级别中信令通知编解码工具的指示，然而，即使指示告知应用该工具，它也可能不应用于视频单元内的某些样本点。

a.在一个示例中，对于无损编解码块内的样本点(例如，使用TransQuantBypass模式)，即使指示告知工具已启用，也可以不应用编解码工具。

b.在一个示例中，视频单元可以是序列/图片/视图/条带/片/砖/子图片/CTB/CTU。

c.在一个示例中，编解码工具可以是滤波方法(例如，非线性ALF/SAO/双边滤波器/Hadamard变换域滤波器中的ALF/剪切处理)/缩放方法/解码器侧推导方法等。

d.可选地，一致性比特流应遵循以下规则：如果全部或部分样本点在视频单元内无损编解码，则编解码工具的指示应告知禁用该工具。

25.上述方法可适用于无损编解码块(例如，旁路了变换和量化的TransQuantBypass模式)或近无损编解码块。

a.在一个示例中，如果一个块用在特定范围内(例如，[4，4])QP编解码，则该块被视为近无损编解码块。

26.可信令通知控制ISP/SBT是否允许非DCT2变换的一个或多个单独的标志(不同于sps_mts_enabled_flag)。

a.可选地，此外，当ISP或SBT任一个被启用时，可信令通知单独的标志。

i.可选地，此外，当ISP和SBT都被启用时，可信令通知单独的标志。

ii.可选地，此外，当标志等于真时，ISP/SBT允许非DCT2变换。

b.可选地，此外，当ISP被启用时，可以信令通知指示ISP编解码块是否允许非DCT2(例如，DST7/DCT8)的一个标志(例如，sps_ISP_implicit_transform)。

c.此外，可选地，当SBT被启用时，可以信令通知指示SBT编解码块是否允许非DCT2(例如，DST7/DCT8)的一个标志(例如，sps_SBT_implicit_transform)。

d.可选地，此外，sps_explicit_mts_intra_enabled_flag可以控制显式MTS(例如，比特流中可以存在tu_mts_idx)的使用、或帧内块维度(例如，应用于非ISP编解码的帧内块的隐式MTS)上变换的选择。

e.在一个示例中，当sps_explicit_mts_intra_enabled_flag被禁用时，仍可以应用具有非DCT2变换的ISP。

f.在一个示例中，当sps_explicit_mts_inter_enabled_flag被禁用时，仍可以应用具有非DCT2变换的SBT。

可将上述示例并入下面描述的方法的上下文中，例如方法和1500、1510、1520、1530、1540、1550、1560、以及2100-3800，其可以在视频解码器或视频编码器处实现。

图15A示出了用于视频处理的示例性方法的流程图。方法1500包括：在步骤1502处，为包含多个颜色分量的当前视频块配置当前视频块的比特流表示，其中，在比特流表示中为多个颜色分量中的至少两个颜色分量单独信令通知跳过变换和量化处理的指示。

方法1500包括：在步骤1504处，基于所述配置，执行当前视频块和当前视频块的比特流表示之间的变换。在一些实施例中，当前视频块包括亮度分量和多个色度分量，并且其中，多个色度分量中的至少一个的指示基于亮度分量的指示。

在一些实施例中，将跳过变换和量化处理的指示表示为cu_transquant_bypass_flag。在一个示例中，为当前视频块启用双树分割处理，并且其中，针对当前视频块的亮度分量和至少一个色度分量分别编解码cu_transquant_bypass_flag。在另一示例中，基于上下文对表示为cu_transquant_bypass_flag的跳过变换和量化处理的使用进行编解码。在又一示例中，基于多个颜色分量中的至少一个来选择上下文。

在一些实施例中，分别针对至少两个颜色分量的指示的信令基于当前视频块的颜色格式、颜色分量编解码方法或编解码模式中的至少一个。

在一些实施例中，至少两个分量中的第一个分量是色度分量，并且其中，至少两个分量中的第二个分量是亮度分量。例如，色度分量是Cb或Cr。

在一些实施例中，至少两个颜色分量中的第一个的块中跳过变换和量化处理的使用基于与至少两个颜色分量中的第一个相对应的至少两个颜色分量中的第二个的区域中所有样本点上跳过变换和量化处理的使用。

在一些实施例中，至少两个颜色分量中的第一个的块中跳过变换和量化处理的使用基于与至少两个颜色分量中的第一个相对应的至少两个颜色分量中的第二个的区域中至少一个样本点上跳过变换和量化处理的使用。

图15B示出了用于视频处理的另一示例性方法的流程图。方法1510包括：在步骤1512处，基于当前视频块的特性，做出关于在当前视频块上启用跳过变换和量化处理的应用的模式的决定。

方法1510包括：在步骤1514处，基于所述决定，执行当前视频块和当前视频块的比特流表示之间的转换。

在一些实施例中，所述特性是当前视频块的尺寸，其中所述模式被启用，并且其中，当前视频块的尺寸大于虚拟管道数据单元(VPDU)的尺寸。在一个示例中，当前视频块的高度或宽度分别大于VPDU的高度或宽度。

在一些实施例中，对当前视频块启用不应用变换的编解码模式。在一个示例中，编解码模式是变换跳过模式、差分脉冲编解码调制(DPCM)模式或量化残差DPCM模式。

图15C示出了用于视频处理的示例性方法的流程图。方法1520包括：在步骤1522处，基于当前视频块的至少一个维度，做出关于在当前视频块上启用跳过变换和量化处理的应用的第一模式、以及为当前块启用不应用变换的第二模式的决定。

方法1520包括：在步骤1524处，基于所述决定，执行当前视频块和当前视频块的比特流表示之间的转换。在一些实施例中，第二模式是变换跳过(TS)模式。在其他实施例中，第二模式是量化残差块差分脉冲编解码调制(QR-BDPCM)模式。

在一些实施例中，在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带标头、片组标头、或片标头中信令通知当前视频块的至少一个维度的最大值或最小值。

在一些实施例中，对于第一模式和第二模式，至少一维的允许值是相同的。在一个示例中，第二模式是变换跳过模式、块差分脉冲编解码调制(BDPCM)模式、或量化残差BDPCM模式中的一个。

图15D示出了用于视频处理的示例性方法的流程图。方法1530包括：在步骤1532处，确定当前视频块使用在当前视频块上跳过变换和量化处理的应用的第一模式和第二模式进行编解码。

方法1530包括：在步骤1534处，基于所述确定，执行当前视频块和当前视频块的比特流表示之间的转换。在一些实施例中，当前视频块包括亮度分量和色度分量，并且其中，亮度分量的整形或色度分量的缩放中的至少一个被禁用。

在一些实施例中，第一模式是帧内预测模式。在其他实施例中，第一模式是帧内块复制(IBC)模式。在另一实施例中，第一模式是组合帧间帧内预测(CIIP)模式。在一个示例中，将第一种模式中使用的参考样本点从整形域映射到原始域。

在一些实施例中，当前视频块包括亮度分量和色度分量，其中第一模式不对当前视频块应用变换，并且其中，对当前视频块禁用亮度映射和色度缩放(LMCS)处理的应用。

图15E示出了用于视频处理的示例性方法的流程图。方法1540包括：在步骤1542处，为当前视频块配置当前视频块的比特流表示，其中，在信令通知与一个或多个与多个变换相关的编解码工具相关的语法元素之前，在比特流表示中信令通知跳过变换和量化处理的指示。

方法1540包括：在步骤1544处，基于所述配置，执行当前视频块和当前视频块的比特流表示之间的转换。在一些实施例中，一个或多个与多个变换相关的编解码工具包括变换跳过模式、显式多重变换集(MTS)方案、简化的次级变换(RST)模式、子块变换(SBT)模式、或量化残差块差分脉冲编解码调制(QR-BDPCM)模式中的至少一个。

图15F示出了用于视频处理的示例性方法的流程图。方法1550包括：在步骤1552处，确定当前视频块使用在当前视频块上跳过变换和量化处理的应用的模式进行编解码。

方法1550包括：在步骤1554处，基于所述确定并且作为执行当前视频块和当前视频块的比特流表示之间的转换的一部分，禁用滤波方法。

在一些实施例中，滤波方法包括自适应环路滤波(ALF)方法或非线性ALF方法。

在一些实施例中，滤波方法使用双边滤波器、扩散滤波器或修改当前视频块的重构版本的重构后滤波器中的至少一个。

在一些实施例中，滤波方法包括位置相关帧内预测组合(PDPC)方法。

在一些实施例中，滤波方法包括环路滤波方法，并且方法1550还包括在应用滤波方法之前做出关于对当前视频块的重构版本选择性应用逆整形处理的决定的步骤。

图15G示出了用于视频处理的示例性方法的流程图。方法1560包括：在步骤1562处，确定当前视频块使用在当前视频块上跳过变换和量化处理的应用的模式进行编解码。

方法1560包括：在步骤1564处，基于所述确定并作为执行当前视频块和当前视频块的比特流表示之间的转换的一部分，对(i)包含当前视频块的当前图片或(ii)当前图片的部分禁用环内整形(ILR)处理。

在一些实施例中，当前图片的部分是编解码单元(CU)、编解码树单元(CTU)、条带、片或片组。

在一些实施例中，在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)或条带标头中信令通知禁用的指示。

在一些实施例中，当前视频块的比特流表示不包括与ILR处理相关的语法元素的信令。

另一种用于视频处理的方法包括：为当前视频块配置当前视频块的比特流表示，其中，在信令通知量化参数的一个或多个指示之后，在比特流表示中选择性地信令通知跳过变换和量化处理的指示；以及基于所述配置执行当前视频块和当前视频块的比特流表示之间的转换。

在一些实施例中，当量化参数的变动不等于零时，从比特流表示中排除跳过变换和量化处理的指示。

在一些实施例中，选择性地信令通知跳过变换和量化处理的指示基于当前视频块的亮度分量的量化参数。

另一种用于视频处理的方法包括：为当前视频块配置当前视频块的比特流表示，其中，在大于编解码单元(CU)的视频单元的级别上，在比特流表示中信令通知将编解码工具应用于当前视频块的指示；以及基于所述配置，执行当前视频块和当前视频块的比特流表示之间的转换，其中，执行所述变换包括：尽管在比特流表示中指示应用编解码工具，对所述当前视频块的至少一些样本点限制应用所述编解码工具。

在一些实施例中，至少一些样本点在无损编解码块内。

在一些实施例中，视频单元包括序列、图片、视图、条带、片、砖、子图片、编解码树块(CTB)或编解码树单元(CTU)。

在一些实施例中，编解码工具包括滤波方法、缩放方法或解码器侧推导方法中的一个或多个。

在一些实施例中，滤波方法包括自适应环路滤波器(ALF)、双边滤波器、采样自适应偏移滤波器或Hadamard变换域滤波器中的至少一个。

5.公开技术的示例实现

图16是视频处理装置1600的框图。装置1600可用于实现本文所述的一种或多种方法。装置1600可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1600可以包括一个或多个处理器1602、一个或多个存储器1604和视频处理硬件1606。处理器1602可以被配置成实现本文中描述的一个或多个方法(包括但不限于方法1500、1510、1520、1530、1540、1550、1560和2100-3800)。存储器(多个存储器)1604可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件1606可用于在硬件电路中实现本文中描述的一些技术。

在一些实施例中，可以使用如关于图16所述的在硬件平台上实现的装置来实现视频编解码方法。

所公开技术的一些实施例包括：做出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编解码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的变换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的变换。

所公开技术的一些实施例包括：做出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编解码器将不在将视频块变换到视频的比特流表示的变换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下来处理比特流。

图17是示出可利用本发明的技术的示例性视频编解码系统100的框图。如图17所示，视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成可称为视频编码设备的编码视频数据。目的地设备120可以对源设备110生成的编码视频数据进行解码，源设备110可以被称为视频解码设备。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统等源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射机。编码后的视频数据可以通过网络130a经由I/O接口116直接信令通知到目的地设备120。编码后的视频数据还可以存储到存储介质/服务器130b上以供目的地设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可对经编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成，或者可以是被配置成在与外部显示设备接口的目的地设备120的外部。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前和/或进一步的标准。

图18是示出视频编码器200的示例的框图，视频编码器200可以是图17所示的系统100中的视频编码器114。

视频编码器200可以被配置成执行本公开的任何或所有技术。在图18的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、可包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，一些组件(诸如运动估计单元204和运动补偿单元205)可以高度集成，但是为了解释的目的，在图18的示例中是分开表示的。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于错误结果选择编解码模式(帧内或帧间)中的一个，并将得到的帧内或帧间编解码块提供给残差生成单元207，以生成残差块数据，并且提供给重构单元212以重构编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择其中预测基于帧间预测信号和帧内预测信号的组合帧内帧间(CIIP)模式。在帧间预测的情况下，模式选择单元203还可以为块的运动矢量(例如，子像素或整数像素精度)选择分辨率。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将缓冲器213中的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的图片(不同于与当前视频块相关联的图片)的运动信息和解码样本点点来确定当前视频块的预测视频块。

例如，取决于当前视频块是在I条带、P条带还是B条带中，运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后，运动估计单元204可以生成指示包含参考视频块和指示当前视频块和参考视频块之间的空间位移的运动矢量的列表0或列表1中的参考图片的参考索引。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块，并且也可以在列表1的参考图片中搜索当前视频的另一参考视频块。然后，运动估计单元204可以生成指示包含参考视频块和指示参考视频块和当前视频块之间的空间位移的运动矢量的列表0或列表1中的参考图片的参考索引。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出用于解码器的解码处理的全套运动信息。

在一些示例中，运动估计单元204可以不输出当前视频的全套运动信息。相反，运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与临近视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块与另一视频块具有相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测地信令通知运动矢量。可由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。

帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时，帧内预测单元206可以基于相同图片中的其他视频块的解码样本点点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测的视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由减号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样本点点的不同样本点点分量的残差视频块。

在其他示例中，例如在跳过模式下，当前视频块的当前视频块可以没有残差数据，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来为当前视频块生成一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到由预测单元202生成的一个或多个预测视频块的对应样本点点中，以产生与当前块相关联的重构视频块以存储在缓冲器213中。

在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。

熵编码单元214可以从视频编码器200的其它功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。

图19是示出可以是图17所示的系统100中的视频解码器114的视频解码器300的示例的框图。

视频解码器300可以被配置成执行本公开的任何或所有技术。在图19的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图19的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200描述的编码处理(图18)相反的解码处理。

熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编码视的频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编码的视频数据，并且运动补偿单元302可以从熵解码的视频数据中确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如，运动补偿单元302可以通过执行AMVP和Merge模式来确定这些信息。

运动补偿单元302可以通过基于插值滤波器进行插值来产生运动补偿块。语法元素中可以包括以子像素精度使用的插值滤波器的标识符。

运动补偿单元302可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据接收到的语法信息来确定视频编码器200使用的插值滤波器，并且使用插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于对编解码的视频序列的帧和/或条带进行编解码的块的尺寸、描述如何对编解码的视频序列的图片的每个宏块进行分割的分割信息、指示如何对每个分割进行编解码的模式、每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及用于解码编码的视频序列的其他信息。

帧内预测单元303可以使用例如在比特流中接收到的帧内预测模式来从空域临近块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化(即去量化)。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加以形成解码块。如果需要，还可以应用去方块滤波器来滤波解码块以去除块性伪影。解码的视频块随后被存储在缓冲器307中，其提供用于后续运动补偿/帧内预测的参考块，并且还产生解码的视频以在显示设备上呈现。

图20是示出其中可以实现本文公开的各种技术的示例视频处理系统2000的框图。各种实现可以包括系统2000的部分或全部组件。系统2000可以包括用于接收视频内容的输入2002。视频内容可以原始或未压缩格式(例如，8或10位多分量像素值)接收，或者可以压缩或编解码格式接收。输入2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统2000可以包括编解码组件2004，其可以实现本文中描述的各种编码或编码方法。编解码组件2004可以降低从输入2002到编解码组件2004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件2004的输出可以存储，或者通过由组件2006表示的所连接的通信来信令通知。组件2008可以使用在输入2002处接收的视频的存储或通信比特流(或编解码的)表示来生成信令通知到显示接口2010的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由解码器执行对应的解码工具或反转编码结果的操作。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。

图21示出了用于视频处理的示例性方法的流程图。方法2100包括：执行2102包含多个颜色分量的视频和视频的比特流表示之间的转换，其中，比特流表示符合规则，所述规则指定将一个或多个语法元素包括在用于两个颜色分量的比特流表示中，以指示变换量化旁路模式是否适用于在比特流表示中表示两个颜色分量的视频块，并且其中，当变换量化旁路模式适用于视频块时，在不使用变换和量化处理的情况下在比特流表示中表示视频块，或者在不使用逆变换和逆量化处理的情况下从比特流表示中获得视频块。

在方法2100的一些实施例中，指示变换量化旁路模式是否适用的一个或多个语法元素由一个或多个cu_transquant_bypass_flag表示。在方法2100的一些实施例中，响应于为两个视频块启用双树分割处理，将亮度分量的第一视频块的第一cu_transquant_bypass_flag与用于至少一个色度分量的第二视频块的第二cu_transquant_bypass_flag分别编解码，并且视频块包括第一视频块和第二视频块。在方法2100的一些实施例中，基于上下文对一个或多个cu_transquant_bypass_flag的使用进行编解码。在方法2100的一些实施例中，基于多个颜色分量中的至少一个来选择上下文。在方法2100的一些实施例中，使用来自一个或多个cu_transquant_bypass_flag的另一个cu_transquant_bypass_flag来预测地编解码来自一个或多个cu_transquant_bypass_flag的一个cu_transquant_bypass_flag。在方法2100的一些实施例中，两个视频块的编解码结构确定是否为多个颜色分量在比特流表示中指示一个cu_transquant_bypass_flag，或者是否为多个颜色分量在比特流表示中指示多个cu_transquant_bypass_flag。

在方法2100的一些实施例中，编解码结构包括单树编解码结构或双树编解码结构。在方法2100的一些实施例中，基于是否不对位于第二颜色分量的第二视频块的对应区域中的样本点使用变换和量化处理或者逆变换和逆量化处理，来确定变换量化旁路模式是否适用于第一颜色分量的第一视频块，其中，第二视频块的对应区域对应于第一视频块的区域，并且其中，视频块包括第一视频块和第二视频块。在方法2100的一些实施例中，第二视频块的对应区域的尺寸和第二颜色分量的第二视频块的左上样本点的坐标取决于颜色格式。在方法2100的一些实施例中，响应于第一视频块具有另一尺寸W*H和位于(x0，y0)处的另一左上样本点，并且响应于颜色格式是4:2:0，用2W*2H来表示第二视频块的对应区域的尺寸，并且左上样本点的坐标是(2*x0，2*y0)，其中W表示与第一颜色分量相关联的块的宽度，并且其中，H表示与第一颜色分量相关联的块的高度。

在方法2100的一些实施例中，第一颜色分量是色度分量。在方法2100的一些实施例中，色度分量是蓝色差分分量或红色差分分量。在方法2100的一些实施例中，第二颜色分量是亮度分量。在方法2100的一些实施例中，响应于位于第二视频块的对应区域中的所有样本点是在不使用变换和量化处理的情况下编解码的、或者是在不使用逆变换和逆量化处理的情况下导出的，不将变换和量化处理或逆变换和逆量化处理用于第一视频块。在方法2100的一些实施例中，响应于位于第二颜色分量的第二视频块的对应区域中的至少一个样本点是在不使用变换和量化处理的情况下编解码的、或者是在不使用逆变换和逆量化处理的情况下导出的，不将变换和量化处理或逆变换和逆量化处理用于第一颜色分量的第一视频块。

在方法2100的一些实施例中，响应于不将变换和量化处理或逆变换和逆量化处理用于第一视频块或第二视频块，比特流表示不包括用于第一视频块或第二视频块的cu_transquant_bypass_flag。在方法2100的一些实施例中，是否在第一颜色分量的第一视频块的比特流表示中指示变换和量化处理或逆变换和逆量化处理的使用的边信息是基于是否不将变换和量化处理或逆变换和量化处理用于第二颜色分量的对应区域中的一个或多个视频块确定的。在方法2100的一些实施例中，响应于不将变换和量化处理或逆变换和量化处理用于第二颜色分量的对应区域中的一个或多个视频块中的全部，在第一颜色分量的第一视频块的比特流表示中指示变换和量化处理或逆变换和逆量化处理的边信息。

在方法2100的一些实施例中，响应于不将变换和量化处理或逆变换和量化处理用于第二颜色分量的对应区域中的一个或多个视频块中的仅仅一些，从第一颜色分量的第一视频块的比特流表示中排除变换和量化处理或逆变换和逆量化处理的边信息。在方法2100的一些实施例中，响应于不将变换和量化处理或逆变换和量化处理用于第二颜色分量的对应区域中的一个或多个视频块，在第一颜色分量的第一视频块的比特流表示中指示变换和量化处理或逆变换和逆量化处理的边信息。在方法2100的一些实施例中，一个或多个视频块包括覆盖第二颜色分量的对应区域的中心位置的视频块。

在方法2100的一些实施例中，响应于不将变换和量化处理或逆变换和量化处理用于第二颜色分量的对应区域中的一个或多个视频块，从第一颜色分量的第一视频块的比特流表示中排除变换和量化处理或逆变换和逆量化处理的边信息。在方法2100的一些实施例中，为第一视频块和第二视频块启用双树编解码结构。在方法2100的一些实施例中，多个颜色分量包括亮度分量和多个色度分量，其中用于多个色度分量中至少一个色度分量的第一语法元素基于亮度分量的第二语法，并且其中，指示变换量化旁路模式是否适用的一个或多个语法元素包括第一语法元素和第二语法元素。在方法2100的一些实施例中，响应于不将变换和量化处理或逆变换和逆量化处理用于与亮度分量相关联的一个或多个视频块，不将变换和量化处理或逆变换和逆量化处理用于至少一个色度分量的视频块，并且其中，与亮度分量相关联的至少一个视频块对应于与至少一个色度分量相关联的视频块。

在方法2100的一些实施例中，亮度分量的一个或多个视频块包括编解码单元(CU)、预测单元(PU)或变换单元(TU)。在方法2100的一些实施例中，不将变换和量化处理或逆变换和逆量化处理用于亮度分量的一个或多个视频块的全部。在方法2100的一些实施例中，将至少一个色度分量的视频块划分为子块，其中，响应于不将变换和量化处理或逆变换和逆量化处理用于亮度分量的一个或多个视频块的全部，不将变换和量化处理或逆变换和逆量化处理用于来自子块的子块，并且其中，与亮度分量相关联的一个或多个视频块对应于与至少一个色度分量相关联的子块。

图22示出用于视频处理的示例性方法的流程图。方法2200包括：基于视频的当前视频块的特性，确定2202变换量化旁路模式是否适用于当前视频块，其中，当变换量化旁路模式适用于当前视频块时，在不使用变换和量化处理的情况下在比特流表示中表示当前视频块、或者在不使用逆变换和逆量化处理的情况下从比特流表示中获得当前块；以及基于所述确定，执行2204当前视频块和视频的比特流表示之间的转换。

在方法2200的一些实施例中，所述特性是当前视频块的第一尺寸，其中，响应于当前视频块的第一尺寸大于虚拟管道数据单元(VPDU)的第二尺寸，变换量化旁路模式适用于当前视频块。在方法2200的一些实施例中，当前视频块的高度或宽度分别大于VPDU的高度或宽度。在方法2200的一些实施例中，当前视频块的高度和宽度分别大于VPDU的高度和宽度。在方法2200的一些实施例中，在比特流表示中包括指示不将变换和量化处理或逆变换和逆量化处理用于当前视频块的语法元素。在方法2200的一些实施例中，所述方法还包括：响应于当前视频块的编解码树单元(CTU)的尺寸大于VPDU的第二尺寸，将当前视频块划分成多个VPDU。在方法2200的一些实施例中，其中当前视频块的编解码树单元(CTU)的尺寸大于VPDU的第二尺寸，其中不将当前视频块划分成多个VPDU，其中，不对当前视频块使用变换和量化处理或逆变换和逆量化处理的变换量化旁路模式适用于当前视频块，并且其中，指示不使用变换和量化处理或逆变换和逆量化处理的语法元素不包括在比特流表示中。

在方法2200的一些实施例中，对当前视频块的CTU允许帧内预测模式。在方法2200的一些实施例中，所述特性是当前视频块的第一尺寸，其中，响应于当前视频块的第一尺寸大于最大允许变换块的第二尺寸，变换量化旁路模式适用于当前视频块。在方法2200的一些实施例中，当前视频块的高度或宽度大于最大允许变换块的维度。在方法2200的一些实施例中，当前视频块的高度和宽度大于最大允许变换块的维度。在方法2200的一些实施例中，在比特流表示中包括指示不将变换和量化处理或逆变换和逆量化处理用于当前视频块的语法元素。在方法2200的一些实施例中，所述方法还包括：响应于当前视频块的编解码树单元(CTU)的尺寸大于最大允许变换块的第二尺寸，将当前视频块划分为多个最大允许变换块。

在方法2200的一些实施例中，其中当前视频块的编解码树单元(CTU)的尺寸大于最大允许变换块的第二尺寸，其中不将当前视频块划分成多个最大允许变换块，其中，不将变换和量化处理或逆变换和逆量化处理用于当前视频块，并且其中，指示不使用变换和量化处理或逆变换和逆量化处理的语法元素不包括在比特流表示中。在方法2200的一些实施例中，对当前视频块的CTU允许帧内预测模式。在方法2200的一些实施例中，响应于当前视频块的第一尺寸大于虚拟管道数据单元(VPDU)的第二尺寸，启用不对当前视频块应用变换的编解码模式。

在方法2200的一些实施例中，当前视频块的高度或宽度分别大于VPDU的高度或宽度。在方法2200的一些实施例中，当前视频块的高度和宽度分别大于VPDU的高度和宽度。在方法2200的一些实施例中，在比特流表示中包括指示编解码模式不对当前视频块应用变换的语法元素。在方法2200的一些实施例中，所述方法还包括：响应于当前视频块的编解码树单元(CTU)的尺寸大于VPDU的第二尺寸，将当前视频块划分成多个VPDU。在用于方法2200的一些实施例中，其中当前视频块的编解码树单元(CTU)的尺寸大于VPDU的第二尺寸，并且其中，不将当前视频块划分为多个VPDU，其中不将变换应用于当前视频块，并且其中，指示编解码模式不对当前视频块应用变换的语法元素不包括在比特流表示中。

在方法2200的一些实施例中，为当前视频块的CTU允许帧内预测模式。在方法2200的一些实施例中，响应于当前视频块的第一尺寸大于最大允许变换块的第二尺寸，启用不对当前视频块应用变换的编解码模式。在方法2200的一些实施例中，当前视频块的高度或宽度大于最大允许变换块的尺寸。在方法2200的一些实施例中，当前视频块的高度和宽度大于最大允许变换块的尺寸。在方法2200的一些实施例中，在比特流表示中包括指示编解码模式不对当前视频块应用变换的语法元素。在方法2200的一些实施例中，所述方法还包括：响应于当前视频块的编解码树单元(CTU)的尺寸大于最大允许变换块的第二尺寸，将当前视频块划分成多个最大允许变换块。

在方法2200的一些实施例中，其中当前视频块的编解码树单元(CTU)的尺寸大于最大允许变换块的第二尺寸，其中不将当前视频块划分成多个最大允许变换块，其中，不将变换和量化处理或逆变换和逆量化处理用于当前视频块，并且其中，指示编解码模式不对当前视频块应用变换的语法元素不包括在比特流表示中。在方法2200的一些实施例中，为当前视频块的CTU允许帧内预测模式。在方法2200的一些实施例中，编解码模式是变换跳过模式、差分脉冲编解码调制(DPCM)模式、或量化残差DPCM(QR-DPCM)模式，并且其中，在QR-DPCM模式中，使用差分脉冲编解码调制(DPCM)表示将当前视频块的帧内预测的量化残差和量化残差的预测之间的差异表示在当前视频块的比特流表示中。

图23示出了用于视频处理的示例性方法的流程图。方法2300包括：基于视频的当前视频块满足维度约束，确定2302启用两个或多个编解码模式以在比特流表示中表示当前视频块，其中，所述维度约束规定：对于两个或多个编解码模式，禁用当前视频块的同一组允许维度，并且其中，对于编解码操作，在不对当前视频块使用变换操作的情况下，两个或多个编解码模式在比特流表示中表示当前视频块，或者其中，对于解码操作，在不使用逆变换操作的情况下，使用两个或多个编解码模式从比特流表示中获取当前视频块；以及基于两个或多个编解码模式中的一个，执行2304当前视频块和视频的比特流表示之间的转换。

在方法2300的一些实施例中，其中，两个或多个编解码模式包括变换跳过(TS)模式、变换量化旁路模式、块差分脉冲编解码调制(BDPCM)模式和量化残差BDPCM(QR-BDPCM)模式中的任意两个或多个，其中，在变换量化旁路模式中，在编码操作期间，不将变换和量化处理应用于当前视频块，其中，在变换量化旁路模式下，在解码操作期间，不将逆变换和逆量化处理应用于获得当前视频块，并且其中，在QR-BDPCM模式下，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差。在方法2300的一些实施例中，在比特流表示中信令通知指示两个或多个编解码模式的维度的允许最大值和/或允许最小尺寸值的单个语法元素。在方法2300的一些实施例中，响应于两个或多个编解码模式中的一个被启用，在比特流表示中信令通知指示两个或多个编解码模式的维度的允许最大值和/或允许最小尺寸值的语法元素，并且其中，所述一个编解码模式不依赖于非身份变换。

在方法2300的一些实施例中，所述语法元素是log2_transform_skip_max_size_minus2值。在方法2300的一些实施例中，所述一个编解码模式是变换跳过(TS)模式、变换量化旁路模式或QR-BDPCM模式。在方法2300的一些实施例中，在不是编解码单元级的级别上启用所述一个编解码模式。在方法2300的一些实施例中，所述一个编解码模式包括变换跳过(TS)模式或量化残差块差分脉冲编解码调制(QR-BDPCM)模式，并且其中，响应于启用TS模式或QR-BDPCM模式，将语法元素包括在log2_transform_skip_max_size_minus2值中。

在方法2300的一些实施例中，所述一个编解码模式包括变换跳过(TS)模式或变换量旁路模式，并且其中，响应于启用TS模式或变换量旁路模式，将语法元素包括在log2_transform_skip_max_size_minus2值中。在方法2300的一些实施例中，启用的编解码模式来自两个或多个编解码模式，并且其中，在比特流表示中包括编解码模式的使用指示。在方法2300的一些实施例中，该方法还包括：基于视频的当前视频块不满足维度约束，确定不为当前视频块启用两个或多个编解码模式。在方法2300的一些实施例中，响应于不为当前视频块启用编解码模式，不将来自两个或多个编解码模式的编解码模式的使用指示包括在比特流表示中。

图24示出了用于视频处理的示例性方法的流程图。方法2400包括：基于视频的当前视频块满足维度约束，确定2402启用两个编解码模式以在比特流表示中表示当前视频块，其中，所述维度约束规定：将同一组允许维度用于启用两个编解码模式，并且其中，对于编码操作，在不对当前视频块使用变换操作的情况下，两个编解码模式在比特流表示中表示当前视频块，或者其中，对于解码操作，在不使用逆变换操作的情况下，使用两个编解码模式从比特流表示中获取当前视频块；以及基于两个编解码模式中的一个，执行2404当前视频块和视频的比特流表示之间的转换。

在方法2400的一些实施例中，其中，两个编解码模式包括变换量化旁路模式和变换跳过(TS)模式，其中，在变换量化旁路模式中，在编码操作期间，不将变换和量化处理应用于当前视频块，并且其中，在变换量化旁路模式中，在解码操作期间，不应用逆变换和逆量化处理来获得当前视频块。在方法2400的一些实施例中，其中，两个编解码模式包括变换量化旁路模式和量化残差块差分脉冲编解码调制(QR-BDPCM)模式，其中，在变换量化旁路模式中，在编码操作期间，不将变换和量化处理应用于当前视频块，其中，在变换量化旁路模式中，在解码操作期间，不应用逆变换和逆量化处理来获得当前视频块，并且其中，在QR-BDPCM模式中，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差。在方法2400的一些实施例中，用于启用TS模式的一组维度不同于与QR-BDPCM模式相关联的维度。在方法2400的一些实施例中，当对视频单元不允许或禁用TS模式时，对视频单元启用QR-BDPCM模式。

在方法2400的一些实施例中，两个编解码模式包括量化残差块差分脉冲编解码调制(QR-BDPCM)模式和变换跳过(TS)模式。在方法2400的一些实施例中，是否启用不将变换应用于当前视频块的QR-BDPCM模式基于是否为当前视频块启用变换跳过(TS)模式，或者取决于是否为当前视频块启用不使用变换和量化处理或逆变换和逆量化处理的变换量化旁路模式。在方法2400的一些实施例中，所述方法还包括：执行确定，即比特流表示是否包括指示是否为视频的当前视频单元启用QR-BDPCM模式的语法元素，其中，执行所述确定基于是否为当前视频块启用TS模式或是否启用变换量化旁路模式。

在方法2400的一些实施例中，当前视频单元包括当前视频块的序列、变换单元(TU)、预测单元(PU)、编解码单元(CU)、图片或条带。在方法2400的一些实施例中，响应于为当前视频块启用变换量化旁路模式和响应于为当前视频块禁用TS模式，启用不将变换应用于当前视频块的QR-BDPCM模式。在方法2400的一些实施例中，在比特流表示中，在序列、视图、图片、条带、片组、片、编解码树单元(CTU)或视频单元级信令通知两个编解码模式的维度的允许最大值或允许最小值。在方法2400的一些实施例中，在比特流表示中，在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带标头、片组标头或片标头中信令通知两个编解码模式的维度的允许最大值或允许最小值。在方法2400的一些实施例中，对于为当前视频块启用的两个编解码模式，在比特流表示中表示两个编解码方法的使用指示。

在方法2400的一些实施例中，所述方法还包括：基于视频的当前视频块不满足维度约束，确定不对当前视频块启用两个编解码模式。在方法2400的一些实施例中，响应于不为当前视频块启用两个编解码模式，不在比特流表示中包括两个编解码模式的使用指示。

图25示出了用于视频处理的示例性方法的流程图。方法2500包括：基于视频的当前视频块满足维度约束，确定2502启用编解码模式以在比特流表示中表示当前视频块，其中，在编码操作期间，在不对当前视频块使用变换操作的情况下，编解码模式在比特流表示中表示当前视频块，或者其中，在解码操作期间，在不使用逆变换操作的情况下，从比特流表示中获取当前视频块，并且其中，所述维度约束规定：使用未应用变换操作或逆变换操作的所述编解码模式的当前视频块的第一最大变换块尺寸不同于使用应用变换操作或逆变换操作的另一编解码工具的当前视频块的第二最大变换块尺寸；以及基于编解码模式，执行2504当前视频块和视频的比特流表示之间的转换。

在方法2500的一些实施例中，其中，编解码模式包括变换跳过(TS)模式、变换量化旁路模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式或块差分脉冲编解码调制(BDPCM)模式，其中，在变换量化旁路模式中，在编码操作期间，不将变换和量化处理应用于当前视频块，其中，在变换量化旁路模式中，在解码操作期间，不将逆变换和逆量化处理应用于获得当前视频块，并且其中，在QR-BDPCM模式下，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差。

图26示出了用于视频处理的示例性方法的流程图。方法2600包括：执行2602视频的当前视频块和视频的比特流表示之间的转换，其中，使用量化残差块差分脉冲编解码调制(QR-BDPCM)模式在比特流表示中编解码当前视频块，在QR-BDPCM中，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差，其中，比特流表示符合格式规则，所述格式规则指定比特流表示中是否包括QR-BDPCM模式的边信息和/或指示变换跳过(TS)模式对当前视频块的适用性的语法元素，并且其中，边信息包括QR-BDPCM模式的使用指示或QR-BDPCM模式的预测方向中的至少一个。

在方法2600的一些实施例中，响应于将QR-BDPCM模式用于当前视频块，将TS模式应用于当前视频块。在方法2600的一些实施例中，语法元素不存在于比特流中，并且导出为将TS模式应用于当前视频块。在方法2600的一些实施例中，格式规则指定在语法元素之后在比特流表示中包括边信息。在方法2600的一些实施例中，语法元素指示将TS模式应用于当前视频块。在方法2600的一些实施例中，格式规则指定响应于将TS模式应用于当前视频块，将QR-BDPCM模式的边信息包括在比特流表示中。在方法2600的一些实施例中，格式规则指定响应于不将TS模式应用于当前视频块，不将QR-BDPCM模式的边信息包括在比特流表示中。

在方法2600的一些实施例中，格式规则指定响应于不将TS模式应用于当前视频块，将QR-BDPCM模式的边信息包括在比特流表示中。在方法2600的一些实施例中，格式规则指定响应于将TS模式应用于当前视频块，不将QR-BDPCM模式的边信息包括在比特流表示中。

图27示出了用于视频处理的示例性方法的流程图。方法2700包括：确定2702使用不将变换和量化处理应用于当前视频块的变换量化旁路模式对视频的当前视频块进行编解码；以及基于所述确定，通过禁用亮度映射和色度缩放(LMCS)处理，执行2704当前视频块和视频的比特流表示之间的转换，其中，禁用LMCS处理在当前视频块来自亮度分量的情况下，禁用当前视频块的样本点在整形域和原始域之间的切换的性能，或者其中，禁用LMCS处理在当前视频块来自色度分量的情况下，禁用当前视频块的色度残差的缩放。

在方法2700的一些实施例中，其中，将帧内预测模式应用于当前视频块，并且其中，将用于当前视频块的帧内预测模式的预测信号或参考样本点从整形域映射到原始域。在方法2700的一些实施例中，其中，将帧内块复制(IBC)模式应用于当前视频块，并且其中，将用于当前视频块的IBC模式中的预测信号或参考样本点从整形域映射到原始域。在方法2700的一些实施例中，其中，将组合帧间帧内预测(CIIP)模式应用于当前视频块，并且其中，将用于当前视频块的CIIP模式中的预测信号或参考样本点从整形域映射到原始域。在方法2700的一些实施例中，其中，将组合帧间帧内预测(CIIP)模式应用于当前视频块，并且其中，不执行在当前视频块的CIIP模式中使用的预测信号从原始域到整形域的映射。

在方法2700的一些实施例中，所述方法还包括：在调色板模式和原始域中，为当前视频块生成调色板表。在方法2700的一些实施例中，所述方法还包括：将第一缓冲器和第二缓冲器分配给当前视频块，其中第一缓冲器被配置成存储预测信号和残差信号的总和，并且其中，第二缓冲器被配置成存储通过将预测信号和残差信号的总和从原始域映射到整形域而获得的整形总和。

在方法2700的一些实施例中，所述方法还包括：向当前视频块分配缓冲器，所述缓冲器被配置为存储原始域中的预测信号和残差信号的总和，其中，通过将预测信号和残差信号的总和从原始域映射到整形域来导出整形总和。在方法2700的一些实施例中，所述方法还包括：对当前视频块应用使用当前视频块的当前片、条带、片组、或图片内的参考样本点的编解码模式。

图28示出了用于视频处理的示例性方法的流程图。方法2800包括：执行2802第一确定，即是否使用第一编解码模式对视频的当前视频块进行编解码，在第一编解码模式中不对当前视频块应用变换操作；执行2804第二确定，即是否使用第二编解码模式对视频的一个或多个视频块进行编解码，其中，一个或多个视频块包括用于当前视频块的参考样本点；基于第一确定和第二确定执行2806第三确定，即与帧内预测处理相关的第三编解码模式是否适用于当前视频块；以及基于第三确定，执行2808当前视频块和视频的比特流表示之间的转换。

在方法2800的一些实施例中，其中，第二编解码模式包括变换量化旁路模式、变换跳过(TS)模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式、块差分脉冲编解码调制(BDPCM)模式或脉冲编解码调制(PCM)模式，其中，在变换量化旁路模式中，不将变换和量化处理应用于当前视频块，并且其中，在QR-BDPCM模式中，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差。在方法2800的一些实施例中，其中第一编解码模式和第二编解码模式是不将变换和量化处理应用于视频的视频块的变换量化旁路模式，其中，基于当前视频块是否使用变换量化旁路模式编解码，并且基于是否使用变换量化旁路模式对提供参考样本点的当前视频块的一个或多个临近视频块进行编解码，执行第三编解码模式是否适用于当前视频块的第三确定。在方法2800的一些实施例中，第三编解码模式包括帧内预测模式、帧内块复制(IBC)模式或组合帧间帧内预测(CIIP)模式。

在方法2800的一些实施例中，其中，第一编解码模式是不将变换和量化处理应用于视频的视频块的变换量化旁路模式，其中，响应于当前视频块使用变换量化旁路模式编解码、并且响应于参考样本点位于当前视频块中，使用未在正向整形处理或逆向整形处理中转换的参考样本点导出预测信号。在方法2800的一些实施例中，其中，第一编解码模式是不将变换和量化处理应用于视频的视频块的变换量化旁路模式，其中响应于当前视频块使用变换量化旁路模式编解码、并且响应于参考样本点位于当前视频块之外，使用通过将参考样本点变换到原始域的逆整形处理获得的转换后的参考样本点导出预测信号。在方法2800的一些实施例中，其中，第一编解码模式是不将变换和量化处理应用于视频的视频块的变换量化旁路模式，其中，响应于当前视频块未使用变换量化旁路模式编解码、并且响应于参考样本点位于当前视频块之外，使用未在正向整形处理或逆向整形处理中转换的参考样本点导出预测信号。

在方法2800的一些实施例中，其中，第一编解码模式是不将变换和量化处理应用于视频的视频块的变换量化旁路模式，其中，响应于当前视频块未使用变换量化旁路模式编解码、并且响应于参考样本点位于当前视频块中，使用通过将参考样本点变换到整形域的逆整形处理获得的变换后的参考样本点导出预测信号。在方法2800的一些实施例中，其中，使用第三编解码模式对当前视频块进行编解码，其中参考样本点来自与当前视频块位于相同的片、砖、条带或图片中的一个或多个视频块，并且其中，通过使用第三编解码模式对当前视频块执行帧内预测处理。在方法2800的一些实施例中，当前视频块与亮度分量或绿色颜色分量相关联。

图29示出了用于视频处理的示例性方法的流程图。方法2900包括：执行2902视频的当前视频块和视频的比特流表示之间的转换，其中，比特流表示符合格式规则，所述格式规则指定比特流表示中是否包括指示当前视频块是否使用变换量化旁路模式编解码的语法元素，并且其中，当变换量化旁路模式适用于当前视频块时，在不使用变换和量化处理的情况下在比特流表示中表示当前视频块。

在方法2900的一些实施例中，其中，所述格式规则指定将语法元素包括在比特流表示中，并且其中，所述格式规则指定在信令通知当前视频块对一个或多个与变换矩阵相关的编解码工具的使用之前，将语法元素包括在比特流表示中。在方法2900的一些实施例中，其中，一个或多个与变换矩阵相关的编解码工具包括变换跳过(TS)模式、显式多重变换集(MTS)方案、简化的次级变换(RST)模式、子块变换(SBT)模式或量化残差块差分脉冲编解码调制(QR-BDPCM)模式，其中，在QR-BDPCM模式中，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差。在方法2900的一些实施例中，其中，基于当前视频块是否使用变换量化旁路模式编解码，在比特流表示中包括用于残差编解码技术的第二语法元素。在方法2900的一些实施例中，其中，残差编解码技术将变换应用于当前视频块或不将变换应用于当前视频块。

在方法2900的一些实施例中，其中，响应于变换量化旁路模式不适用于当前视频块、并且响应于将变换跳过(TS)模式不应用于当前视频块，第二语法元素在比特流表示中指示将变换应用于当前视频块的残差编解码技术。在方法2900的一些实施例中，其中，响应于变换量化旁路模式适用于当前视频块、并且响应于将变换跳过(TS)模式应用于当前视频块，第二语法元素在比特流表示中指示不将变换应用于当前视频块的残差编解码技术。在方法2900的一些实施例中，其中，响应于变换量化旁路模式适用于当前视频块，比特流表示不包括用于当前视频块的变换跳过(TS)模式的信令。

在方法2900的一些实施例中，其中，将不应用变换的残差编解码技术应用于当前视频块。在方法2900的一些实施例中，其中，基于变换量化旁路模式是否适用于当前视频块，比特流表示包括与变换矩阵相关的编解码工具相关联的边信息。在方法2900的一些实施例中，其中，响应于变换量化旁路模式适用于当前视频块，比特流表示包括指示变换跳过(TS)模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式、或块差分脉冲编解码调制(BDPCM)模式的使用的边信息。在方法2900的一些实施例中，其中，响应于变换量化旁路模式适用于当前视频块，比特流表示不包括指示子块变换(SBT)模式、简化的次级变换(RST)模式或显式多重变换集(MTS)方案的使用的边信息。

在方法2900的一些实施例中，其中，格式规则指定将语法元素包括在比特流表示中，并且其中，格式规则指定在信令通知一个或多个与变换矩阵相关的编解码工具之后，将语法元素包括在比特流表示中。在方法2900的一些实施例中，其中，当将来自一个或多个与变换矩阵相关的编解码工具的与变换矩阵相关的编解码工具应用于当前视频块时，将语法元素编解码在比特流表示中。在方法2900的一些实施例中，其中，一个或多个与变换矩阵相关的编解码工具包括变换跳过(TS)模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式或块差分脉冲编解码调制(BDPCM)模式。在方法2900的一些实施例中，其中，格式规则指定响应于将子块变换(SBT)模式、简化的次级变换(RST)模式或显式多重变换集(MTS)方案应用于当前视频块，不将语法元素包括在比特流表示中。

图30示出了用于视频处理的示例性方法的流程图。方法3000包括：确定3002变换量化旁路模式适用于视频的当前视频块，其中，在变换量化旁路模式中，不在当前视频块上使用变换和量化处理；基于确定，禁用3004当前视频块的样本点的滤波方法；以及基于确定和禁用，执行3006当前视频块和视频的比特流表示之间的转换。

在方法3000的一些实施例中，其中，滤波方法包括自适应环路滤波(ALF)方法或非线性ALF方法。在方法3000的一些实施例中，其中，滤波方法包括双边滤波器、扩散滤波器或修改当前视频块的重构样本点的重构后滤波器。在方法3000的一些实施例中，其中，滤波方法包括位置相关帧内预测组合(PDPC)方法。

图31示出了用于视频处理的示例性方法的流程图。方法3100包括：执行3102第一确定，即变换量化旁路模式适用于视频的当前视频块，其中，在变换量化旁路模式中，不在当前视频块上使用变换和量化处理；响应于第一确定执行3104第二确定，即隐式多重变换集(MTS)处理中的变换选择模式不适用于当前视频块；以及基于第一确定和第二确定，执行3106当前视频块和视频的比特流表示之间的转换。

图32示出了用于视频处理的示例性方法的流程图。方法3200包括：执行3202第一确定，即变换量化旁路模式适用于视频的当前视频块，其中，在变换量化旁路模式中，不对当前视频块使用变换和量化处理，其中当前视频块与色度分量相关联；响应于第一确定执行3204第二确定，即在亮度映射和色度缩放(LMCS)处理中不缩放色度分量的样本点；以及基于第一确定和第二确定，执行3206当前视频块和视频的比特流表示之间的转换。

图33示出了用于视频处理的示例性方法的流程图。方法3300包括：确定3302变换量化旁路模式适用于视频的当前视频块，其中，在变换量化旁路模式中，不在当前视频块上使用变换和量化处理；基于确定，对当前视频块的编解码单元(CU)、编解码树单元(CTU)、条带、片、片组、图片或序列禁用亮度映射和色度缩放(LMCS)处理；以及基于确定，通过对当前视频块的编解码单元(CU)、编解码树单元(CTU)、条带、片、片组、图片或序列禁用亮度映射和色度缩放(LMCS)处理，执行3306当前视频块和视频的比特流表示之间的转换，其中禁用LMCS处理在当前视频块来自亮度分量的情况下，禁用当前视频块的样本点在整形域和原始域之间的切换的性能，或者其中，禁用LMCS处理在当前视频块来自色度分量的情况下，禁用当前视频块的色度残差的缩放。

在方法3300的一些实施例中，其中，序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)或条带标头指示不将当前视频块上的变换和量化处理用于当前视频块。在方法3300的一些实施例中，其中，视频的比特流表示不包括与LMCS处理相关的语法元素的信令。

图34示出了用于视频处理的示例性方法的流程图。方法3400包括：执行3402第一确定，即视频的当前视频块是否使用将身份变换或不将变换应用于当前视频块的模式进行编解码；基于第一确定执行3404第二确定，即是否对当前视频块应用编解码工具；以及基于第一确定和第二确定，执行3406当前视频块和视频的比特流表示之间的转换。

在方法3400的一些实施例中，其中，第二确定包括：基于对当前视频块应用身份变换或不应用变换的第一确定，来确定不将编解码工具应用于当前视频块。在方法3400的一些实施例中，其中，所述模式包括变换量化旁路模式、变换跳过(TS)模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式、差分脉冲编解码调制(DPCM)模式或脉冲编解码调制(PCM)模式，其中，编解码工具包括解码器侧运动推导工具、解码器侧帧内模式判定工具、组合帧间帧内预测(CIIP)模式、三角分割模式(TPM)，其中，在变换量化旁路模式中，不将变换和量化处理应用于当前视频块，并且其中，在QR-BDPCM模式中，在比特流表示中表示当前视频块的帧内预测的量化残差和量化残差的预测之间的差。在方法3400的一些实施例中，其中，第二确定包括：基于对当前视频块应用身份变换或不应用变换的第一确定，来确定不将编解码工具应用于当前视频块，其中，编解码工具包括使用光流(PROF)的预测细化工具、组合帧间帧内预测(CIIP)模式或三角分割模式(TPM)。

在方法3400的一些实施例中，其中，第二确定包括：基于对当前视频块应用身份变换的第一确定，来确定不将编解码工具应用于当前视频块，并且其中，编解码工具包括双向光流(BDOF)工具、组合帧间帧内预测(CIIP)模式、或三角分割模式(TPM)。在方法3400的一些实施例中，其中，第二确定包括：基于对当前视频块应用身份变换的第一确定，来确定不将编解码工具应用于当前视频块，并且其中，编解码工具包括解码侧运动矢量细化(DMVR)工具、组合帧间帧内预测(CIIP)模式、或三角分割模式(TPM)。

图35示出了用于视频处理的示例性方法的流程图。方法3500包括：执行3502视频的当前视频块和视频的比特流表示之间的转换，其中，比特流表示包括指示变换量化旁路模式是否适用于表示当前视频块的语法元素，其中，当变换量化旁路模式适用于当前视频块时，在不使用变换和量化处理的情况下在比特流表示中表示当前视频块，其中，变换量化旁路模式适用于当前视频块的第一视频单元级，并且其中，比特流表示不包括第二视频单元级的变换量化旁路模式的信令，当前视频块在第二视频单元级中的视频块小于在第一视频单元级的视频块。

在方法3500的一些实施例中，其中，第一视频单元级包括当前视频块的图片级、条带级、片级或砖级，并且其中，第二视频单元级包括编解码单元(CU)、变换单元(TU)或预测单元(PU)。在方法3500的一些实施例中，其中，基于是否将编解码工具应用于当前视频块，比特流表示包括变换量化旁路模式在第一视频单元级是否适用的信令。在方法3500的一些实施例中，其中，基于变换量化旁路模式是否适用于第一视频单元级，比特流表示包括是否将编解码工具应用于当前视频块的信令。在方法3500的一些实施例中，其中，响应于比特流表示包括变换量化旁路模式适用于第一视频单元级的信令，不将编解码工具应用于当前视频块。在方法3500的一些实施例中，其中，响应于比特流表示指示将编解码工具应用于当前视频块，变换量化旁路模式不适用于第一视频单元级。在方法3500的一些实施例中，其中，编解码工具包括亮度映射和色度缩放(LMCS)处理、解码器侧运动推导、解码器侧帧内模式判定、组合帧间帧内预测(CIIP)模式或三角分割模式(TPM)。在方法3500的一些实施例中，其中，解码器侧运动推导处理包括解码侧运动矢量细化(DMVR)工具、双向光流(BDOF)工具或使用光流(PROF)的预测细化工具。

图36示出了用于视频处理的示例性方法的流程图。方法3600包括：执行3602视频的当前视频块和视频的比特流表示之间的转换，其中比特流表示包括指示变换量化旁路模式是否适用于表示当前视频块的语法元素，其中，当变换量化旁路模式适用于当前视频块时，在不使用变换和量化处理的情况下在比特流表示中表示当前视频块，其中，变换量化旁路模式适用于当前视频块的第一视频单元级，并且其中，比特流表示包括变换量化旁路模式在当前视频块的第二视频单元级使用的边信息。

在方法3600的一些实施例中，其中，第一视频单元级包括当前视频块的预测单元(PU)或编解码单元(CU)，并且其中，第二视频单元级包括当前视频块的变换单元(TU)。在方法3600的一些实施例中，其中，响应于PU或CU包括多个TU，在当前视频块的比特流表示中包含一次边信息。在方法3600的一些实施例中，其中，边信息与CU中的第一TU相关联，并且其中，其余一个或多个TU共享边信息。

图37示出了用于视频处理的示例性方法的流程图。方法3700包括：为视频的当前视频块确定3702其中应用了无损编解码技术的模式是否适用于当前视频块；以及基于确定，执行3704当前视频块和视频的比特流表示之间的转换，其中，比特流表示包括指示编解码工具是否适用于当前视频块的视频单元级的语法元素，其中视频单元级大于编解码单元(CU)，并且其中，不将编解码工具应用于视频单元级内的样本点。

在方法3700的一些实施例中，其中，当编解码工具的语法元素指示编解码工具适用于应用于视频单元级时，不将编解码工具应用于视频单元级内的样本点。在方法3700的一些实施例中，其中，视频单元级包括当前视频块的序列、图片、视图、条带、片、砖、子图片、编解码树块(CTB)或编解码树单元(CTU)。在方法3700的一些实施例中，其中，编解码工具包括滤波处理，所述滤波处理包括非线性ALF、采样自适应偏移(SAO)、双边滤波器、Hamdard变换域滤波器中的自适应环路滤波(ALF)方法和剪切处理，缩放方法，解码器侧推导技术。在方法3700的一些实施例中，其中，响应于使用适用的模式对视频单元级的部分或全部样本点进行编解码，编解码工具的语法元素指示编解码工具不适用于视频单元级。在方法3700的一些实施例中，其中，无损编解码技术包括不将变换和量化处理应用于当前视频块的TransQuantBypass模式，或者其中，无损编解码技术包括接近无损编解码技术。在方法3700的一些实施例中，其中，近无损编解码技术包括当前视频块的量化参数在特定范围内。在方法3700的一些实施例中，其中，特定范围为[4，4]。

图38示出了用于视频处理的示例性方法的流程图。方法3800包括：为视频的当前视频块确定3802是否在当前视频块的比特流表示中包括指示帧内子块分割(ISP)模式或子块变换(SBT)模式是否允许非离散余弦变换II(DCT2)变换的一个或多个语法元素；以及基于确定，执行3804当前视频块和视频的比特流表示之间的转换。

在方法3800的一些实施例中，其中，响应于将ISP模式或SBT模式任一个应用于当前视频块，在比特流表示中信令通知一个或多个语法元素。在方法3800的一些实施例中，其中，响应于将ISP模式和SBT模式二者都应用于当前视频块，在比特流表示中信令通知一个或多个语法元素。在方法3800的一些实施例中，其中，响应于一个或多个语法元素指示条件“真”，允许非DCT2变换。在方法3800的一些实施例中，其中，响应于将ISP模式应用于当前视频块，在比特流表示中信令通知一个语法元素。在方法3800的一些实施例中，其中，响应于将SBT模式应用于当前视频块，在比特流表示中信令通知一个语法元素。在方法3800的一些实施例中，其中，比特流表示包括指示当前视频块的显式多重变换集(MTS)处理的使用或当前视频块的帧内块维度上变换的选择的另一语法元素。在方法3800的一些实施例中，其中，帧内块维度包括应用于当前视频块的非ISP编解码的帧内块的隐式MTS。在方法3800的一些实施例中，其中，响应于另一语法元素指示未将显式MTS处理应用于当前视频块，将使用非DCT2变换的ISP模式应用于当前视频块。在方法3800的一些实施例中，其中，响应于另一语法元素指示未将显式MTS处理应用于当前视频块，将使用非DCT2变换的SBT模式应用于当前视频块。

综上所述，应当理解的是，为了说明的目的，本文描述了本公开技术的具体实施例，但是可以在不偏离本公开的范围的情况下进行各种修改。因此，除了受所附权利要求限制外，本公开的技术不受限制。

本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编解码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

本说明书和附图仅被视为示例性的，其中示例性是指示例。如本文所用，“或”的使用意欲包括“和/或”，除非上下文另有明确指示。

虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (16)

1.一种处理视频数据的方法，包括：

对于视频的视频区域和所述视频的比特流之间的转换，基于维度约束，确定是否启用与所述视频区域的第一块相关联的第一编解码模式和与所述视频区域的第二块相关联的第二编解码模式；

其中，所述维度约束规定所述第一块使用所述第一编解码模式和所述第二块使用所述第二编解码模式的相同的允许最大维度，

其中，对于编码处理，所述第一编解码模式和所述第二编解码模式不应用变换操作，或者对于解码处理，所述第一编解码模式和所述第二编解码模式不应用逆变换操作，并且

其中，所述第一编解码模式包括变换跳过模式，并且所述第二编解码模式包括差分编解码模式，并且其中，在所述差分编解码模式中，用块的帧内预测模式导出的量化残差和所述量化残差的预测包括在所述比特流中；以及

基于所述确定执行所述转换，

其中，在是否允许所述第一编解码模式的有条件的检查下，指示对于所述第二编解码模式的开/关控制的第二语法元素包括在所述比特流中的序列参数集（SPS）级别，并且

其中，在对于所述第二块允许所述第二编解码模式的情况下，所述第一编解码模式应用于所述第二块的一个或多个残差块。

2.根据权利要求1所述的方法，其中，指示所述允许最大维度的单个第一语法元素包括在所述比特流中，以控制所述第一编解码模式和所述第二编解码模式的使用。

3.根据权利要求2所述的方法，其中，在启用所述第一编解码模式的情况下，所述第一语法元素包括在所述比特流中。

4.根据权利要求3所述的方法，其中，在不是编解码单元级别的级别启用所述第一编解码模式。

5.根据权利要求2所述的方法，其中，是否启用所述第二编解码模式取决于是否启用所述第一编解码模式。

6.根据权利要求1所述的方法，其中，在所述第一编解码模式中，在所述编码处理中，也跳过量化操作，并且在所述解码处理中，也跳过逆量化操作。

7.根据权利要求1所述的方法，其中，所述允许最大维度还用于与所述视频区域的第三块相关联的第三编解码模式，并且其中，所述第三编解码模式允许在所述第三块的变换域的系数值与所述第三块的残差块的值相同。

8.根据权利要求1所述的方法，其中，使用基于差分脉冲编解码调制表示的块表示所述差分。

9.根据权利要求1所述的方法，其中，所述第一块和所述第二块是相同块。

10.根据权利要求1所述的方法，其中，所述转换包括将所述视频区域编码为所述比特流。

11.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频区域。

12.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中在由所述处理器执行所述指令时，使得所述处理器：

对于视频的视频区域和所述视频的比特流之间的转换，基于维度约束，确定是否启用与所述视频区域的第一块相关联的第一编解码模式和与所述视频区域的第二块相关联的第二编解码模式；

其中，所述维度约束规定所述第一块使用所述第一编解码模式和所述第二块使用所述第二编解码模式的相同的允许最大维度，

其中，对于编码处理，所述第一编解码模式和所述第二编解码模式不应用变换操作，或者对于解码处理，所述第一编解码模式和所述第二编解码模式不应用逆变换操作，并且

其中，所述第一编解码模式包括变换跳过模式，并且所述第二编解码模式包括差分编解码模式，并且其中，在所述差分编解码模式中，用块的帧内预测模式导出的量化残差和所述量化残差的预测包括在所述比特流中；以及

基于所述确定执行所述转换，

其中，在是否允许所述第一编解码模式的有条件的检查下，指示对于所述第二编解码模式的开/关控制的第二语法元素包括在所述比特流中的序列参数集（SPS）级别，并且

其中，在对于所述第二块允许所述第二编解码模式的情况下，所述第一编解码模式应用于所述第二块的一个或多个残差块。

13.根据权利要求12所述的装置，其中，指示所述允许最大维度的单个第一语法元素包括在所述比特流中，以控制所述第一编解码模式和所述第二编解码模式的使用，并且在启用所述第一编解码模式的情况下，所述第一语法元素包括在所述比特流中，并且

其中，在不是编解码单元级别的级别启用所述第一编解码模式。

14.一种用于存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

对于视频的视频区域和所述视频的比特流之间的转换，基于维度约束，确定是否启用与所述视频区域的第一块相关联的第一编解码模式和与所述视频区域的第二块相关联的第二编解码模式；

其中，所述维度约束规定所述第一块使用所述第一编解码模式和所述第二块使用所述第二编解码模式的相同的允许最大维度，

其中，对于编码处理，所述第一编解码模式和所述第二编解码模式不应用变换操作，或者对于解码处理，所述第一编解码模式和所述第二编解码模式不应用逆变换操作，并且

其中，所述第一编解码模式包括变换跳过模式，并且所述第二编解码模式包括差分编解码模式，并且其中，在所述差分编解码模式中，用块的帧内预测模式导出的量化残差和所述量化残差的预测包括在所述比特流中；以及

基于所述确定执行所述转换，

其中，在是否允许所述第一编解码模式的有条件的检查下，指示对于所述第二编解码模式的开/关控制的第二语法元素包括在所述比特流中的序列参数集（SPS）级别，并且

其中，在对于所述第二块允许所述第二编解码模式的情况下，所述第一编解码模式应用于所述第二块的一个或多个残差块。

15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，指示所述允许最大维度的单个第一语法元素包括在所述比特流中，以控制所述第一编解码模式和所述第二编解码模式的使用，并且在启用所述第一编解码模式的情况下，所述第一语法元素包括在所述比特流中，并且

其中，在不是编解码单元级别的级别启用所述第一编解码模式。

16.一种用于存储视频的比特流的方法，包括：

基于维度约束，确定是否启用与所述视频的视频区域的第一块相关联的第一编解码模式和与所述视频区域的第二块相关联的第二编解码模式；

其中，所述维度约束规定所述第一块使用所述第一编解码模式和所述第二块使用所述第二编解码模式的相同的允许最大维度，

其中，对于编码处理，所述第一编解码模式和所述第二编解码模式不应用变换操作，或者对于解码处理，所述第一编解码模式和所述第二编解码模式不应用逆变换操作，并且

其中，所述第一编解码模式包括变换跳过模式，并且所述第二编解码模式包括差分编解码模式，并且其中，在所述差分编解码模式中，用块的帧内预测模式导出的量化残差和所述量化残差的预测包括在所述比特流中；

基于所述确定生成所述比特流；

将所述比特流存储在非暂时性计算机可读存储介质中，

其中，在是否允许所述第一编解码模式的有条件的检查下，指示对于所述第二编解码模式的开/关控制的第二语法元素包括在所述比特流中的序列参数集（SPS）级别，并且

其中，在对于所述第二块允许所述第二编解码模式的情况下，所述第一编解码模式应用于所述第二块的一个或多个残差块。

Images