CN114586355A - 用于视频编解码中的无损编解码模式的方法和设备 - Google Patents

用于视频编解码中的无损编解码模式的方法和设备 Download PDF

Info

Publication number
CN114586355A
CN114586355A CN202080073317.1A CN202080073317A CN114586355A CN 114586355 A CN114586355 A CN 114586355A CN 202080073317 A CN202080073317 A CN 202080073317A CN 114586355 A CN114586355 A CN 114586355A
Authority
CN
China
Prior art keywords
residual
decoder
lossless
block
cus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080073317.1A
Other languages
English (en)
Inventor
马宗全
王祥林
修晓宇
陈漪纹
朱弘正
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN114586355A publication Critical patent/CN114586355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于解码视频信号的方法、装置和非暂时性计算机可读存储介质。解码器将视频图片分割成多个编码单元（CU），该多个CU包括无损CU。解码器可以进一步接收高级别语法。高级别语法可以包括例如第一标记，该第一标记指示残差编解码方案是否是可切换的。

Description

用于视频编解码中的无损编解码模式的方法和设备
相关申请的交叉引用
本申请基于2019年10月23日提交的临时申请第62/925216号和2019年12月10日提交的临时申请第62/946414号并要求其优先权，这两个申请的全部内容通过引用其整体的方式被并入本文以用于所有目的。
技术领域
本公开涉及视频编解码和压缩。更具体地，本公开涉及用于视频编解码中的无损编解码的方法和装置。
背景技术
可以使用各种视频编解码技术来压缩视频数据。根据一种或多种视频编解码标准来执行视频编解码。例如，视频编解码标准包括通用视频编解码（VVC）、联合探索测试模型（JEM）、高效视频编解码（H.265/HEVC）、高级视频编解码（H.264/AVC）、运动图片专家组（MPEG）编解码等。视频编解码一般使用预测方法（例如，帧间预测、帧内预测等），预测方法利用了视频图像或序列中存在的冗余。视频编解码技术的一个重要目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的下降。
发明内容
本公开的示例提供了用于视频编解码中的无损编解码的方法和装置。
根据本公开的第一方面，提供了一种用于解码视频信号的无损编解码模式的方法。该方法可以包括：解码器将视频图片分割成多个编码单元（CU），该多个CU包括无损CU。解码器也可以接收高级别语法。高级别语法可以包括第一标记，第一标记指示残差编解码方案是否是可切换的。
根据本公开的第二方面，提供了一种用于视频解码的无损编解码模式的方法。该方法可以包括：解码器将视频图片分割成多个CU，该多个CU包括无损CU。解码器还可以在CU级基于第一预定义量化参数（QP）阈值来控制解码器侧运动矢量细化（DMVR）。
根据本公开的第三方面，提供了一种用于解码视频信号的无损编解码模式的方法。该方法可以包括：解码器将视频图片分割成多个CU。解码器还可以获取残差块。在BDPCM模式被应用于多个CU之后，解码器可以进一步将残差旋转应用于残差块。
根据本公开的第四方面，提供了一种计算设备。计算设备可以包括一个或多个处理器、非暂时性计算机可读存储器，非暂时性计算机可读存储器存储由一个或多个处理器可执行的指令。一个或多个处理器可以被配置为将视频图片分割成多个CU，该多个CU包括无损CU。一个或多个处理器还可以被配置为接收高级别语法。高级别语法可以包括第一标记，第一标记指示残差编解码方案是否是可切换的。
根据本公开的第五方面，提供了一种计算设备。计算设备可以包括一个或多个处理器、非暂时性计算机可读存储器，非暂时性计算机可读存储器存储由一个或多个处理器可执行的指令。一个或多个处理器可以被配置为将视频图片分割成多个CU，该多个CU包括无损CU。一个或多个处理器可以进一步被配置为在CU级基于第一预定义QP阈值来控制DMVR。
根据本公开的第六方面，提供了一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质具有存储在其中的指令。当指令由装置的一个或多个处理器执行时，指令可以使装置获得多个CU。指令还可以使装置将视频图片分割成多个CU。指令可以进一步使装置获取残差块。指令还可以使装置在BDPCM模式被应用于多个CU之后将残差旋转应用于残差块。
将理解，以上概括描述和以下详细描述仅仅是示例性和解释性的，并且不旨在限制本公开。
附图说明
并入本说明书并构成本说明书的一部分的附图图示了与本公开一致的示例，并且与描述一起用于解释本公开的原理。
图1是根据本公开的示例的编码器的框图。
图2是根据本公开的示例的解码器的框图。
图3A是图示根据本公开的示例的多类型树结构中的块分割的示图。
图3B是图示根据本公开的示例的多类型树结构中的块分割的示图。
图3C是图示根据本公开的示例的多类型树结构中的块分割的示图。
图3D是图示根据本公开的示例的多类型树结构中的块分割的示图。
图3E是图示根据本公开的示例的多类型树结构中的块分割的示图。
图4是根据本公开的示例的具有18乘12个亮度CTU的图片的示图图示。
图5是根据本公开的示例的具有18乘12个亮度CTU的图片的图示。
图6A是根据本公开的示例的VTM中的不允许的三叉树（TT）和二叉树（BT）分割的示例的图示。
图6B是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图6C是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图6D是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图6E是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图6F是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图6G是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图6H是根据本公开的示例的VTM中的不允许的TT和BT分割的示例的图示。
图7是根据本公开的示例的用于变换块的残差编解码结构的图示。
图8是根据本公开的示例的用于变换跳过块的残差编解码结构的图示。
图9是根据本公开的示例的两个标量量化器的图示。
图10A是根据本公开的示例的状态转换的图示。
图10B是根据本公开的示例的量化器选择的图示。
图11是根据本公开的用于选择概率模型的模板的图示。
图12是根据本公开的解码侧运动矢量细化的图示。
图13是根据本公开的示例的用于解码视频信号的无损编解码模式的方法。
图14是根据本公开的示例的用于视频解码的无损编解码模式的方法。
图15是根据本公开的示例的用于解码视频信号的无损编解码模式的方法。
图16是图示根据本公开的示例的与用户接口耦合的计算环境的示图。
具体实施方式
现在将详细参考示例实施例，其示例在附图中被图示。以下描述参考附图，其中不同附图中的相同数字表示相同或类似的元素，除非另有表示。在示例实施例的以下描述中阐述的实施方案并不表示与本公开一致的所有实施方案。相反，它们仅仅是与所附权利要求中记载的本公开相关的各方面一致的装置和方法的示例。
本公开中使用的术语仅出于描述特定实施例的目的，并且不旨在限制本公开。如在本公开和所附权利要求中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另有指示。还应当理解，本文所使用的术语“和/或”旨在表明和包括相关联的列出项目中的一个或多个项目的任何或所有可能的组合。
应当理解，尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种信息，但是这些信息不应当被这些术语限制。这些术语仅用于区分一类信息和另一类信息。例如，在不脱离本公开的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，取决于上下文，术语“如果”可以被理解为意味着“当……时”或“一经……”或“响应于判断”。
HEVC标准的第一版于2013年10月最终确定，与上一代视频编解码标准H.264/MPEGAVC相比，它提供了大约50%的比特率节省或同等的感知质量。尽管HEVC标准比其前身提供了显著的编解码改进，但有证据表明，可以用附加的编解码工具来实现优于HEVC的编解码效率。基于此，VCEG和MPEG都开始了针对未来视频编解码标准化的新编解码技术的探索工作。2015年10月，ITU-T VECG和ISO/IEC MPEG成立了一个联合视频探索小组（JVET），开始对能够实现编解码效率的大幅提升的先进技术的重要研究。通过在HEVC测试模型（HM）之上集成若干附加的编解码工具，JVET维护了一个被称为联合探索模型（JEM）的参考软件。
2017年10月，ITU-T和ISO/IEC发布了关于具有超越HEVC的能力的视频压缩的联合提案征集（CfP）。2018年4月，在第10届JVET会议上，接收并评估了23份CfP响应，其展现出比HEVC高约40%的压缩效率增益。基于这样的评估结果，JVET启动了新的项目来开发新一代视频编解码标准，该标准被命名为通用视频编解码（VVC）。同月，建立了一个称为VVC测试模型（VTM）的参考软件代码库，用于演示VVC标准的参考实施方案。
类似于HEVC，VVC建立在基于块的混合视频编解码框架之上。
图1示出了用于VVC的基于块的视频编码器的一般示图。具体地，图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、逆量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编解码138以及比特流144。
在编码器100中，视频帧被分割成多个视频块以供处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。
表示当前视频块（视频输入110的一部分）与其预测值（块预测值140的一部分）之间的差异的预测残差从加法器128被发送到变换130。变换系数然后从变换130被发送到量化132，以用于熵减少。量化的系数然后被馈送到熵编解码138，以生成压缩视频比特流。如图1所示，来自帧内/帧间模式决策116的预测相关信息142（诸如视频块分割信息、运动矢量（MV）、参考图片索引以及帧内预测模式）也通过熵编解码138被馈送并保存到压缩比特流144中。压缩比特流144包括视频比特流。
在编码器100中，还需要解码器相关的电路系统，以便出于预测的目的而重建像素。首先，通过逆量化134和逆变换136来重建预测残差。该重建的预测残差被与块预测值140相组合，以生成针对当前视频块的未滤波的重建像素。
空间预测（或“帧内预测”）使用来自与当前视频块相同的视频帧中的已经编解码的相邻块的样本（其被称为参考样本）的像素，来预测当前视频块。
时间预测（也称为“帧间预测”）使用来自已经编解码的视频图片的重建像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。通常通过一个或多个MV来用信号发送用于给定的编码单元（CU）或编码块（CB）的时间预测信号，该一个或多个MV指示当前CU与其时间参考之间的运动量和运动方向。另外，如果支持多个参考图片，则附加地发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储装置中的哪个参考图片。CU例如可以包括一个或多个CB。
运动估计114摄取视频输入110和来自图片缓冲器120的信号，并且将运动估计信号输出到运动补偿112。运动补偿112摄取视频输入110、来自图片缓冲器120的信号以及来自运动估计114的运动估计信号，并且将运动补偿信号输出到帧内/帧间模式决策116。
在空间和/或时间预测被执行之后，编码器100中的帧内/帧间模式决策116选择最佳预测模式，例如基于率失真优化方法。块预测值140然后从当前视频块中被减去，并且使用变换130和量化132将得到的预测残差去相关。得到的量化残差系数由逆量化134逆量化并且由逆变换136逆变换，以形成重建的残差，该重建的残差然后被加回到预测块，以形成CU的重建信号。在重建的CU被放入图片缓冲器120的参考图片存储装置并且用于编解码未来的视频块之前，可以对重建的CU应用进一步的环路滤波122，诸如去块滤波器、样本自适应偏移（SAO）、和/或自适应环路滤波器（ALF）。为了形成输出视频比特流144，编解码模式（帧间或帧内）、预测模式信息、运动信息以及量化残差系数都被发送到熵编解码单元138，以被进一步压缩和打包以形成比特流。
图1给出了一般性的基于块的混合视频编码系统的框图。输入视频信号被逐块（称为编码单元（CU））处理。在VTM-1.0中，CU可以高达128×128像素。然而，与分割块仅基于四叉树的HEVC不同，在VVC中，一个编解码树单元（CTU）基于四叉树/二叉树/三叉树被拆分成CU，以适配变化的局部特性。根据定义，编解码树块（CTB）是针对某个N值的N×N样本块，使得将分量划分为CTB是分割。CTU包括具有三个样本阵列的图片的亮度样本的CTB、色度样本的两个对应CTB，或者单色图片的样本的CTB或使用三个单独色彩平面和用于编解码样本的语法结构而被编解码的图片的样本的CTB。此外，HEVC中的多种分割单元类型的概念被去除，即CU、预测单元（PU）和变换单元（TU）的分离在VVC中不再存在；相反，每个CU总是被用作用于预测和变换两者的基本单元，而没有进一步的分割。在多类型树结构中，一个CTU首先通过四叉树结构被分割。然后，每个四叉树叶节点可以通过二叉树结构和三叉树结构被进一步分割。
如图3A、图3B、图3C、图3D和图3E所示，存在五种拆分类型：四元分割、水平二元分割、垂直二元分割、水平三元分割以及垂直三元分割。
图3A示出了图示根据本公开的多类型树结构中的块四元分割的示图。
图3B示出了图示根据本公开的多类型树结构中的块垂直二元分割的示图。
图3C示出了图示根据本公开的多类型树结构中的块水平二元分割的示图。
图3D示出了图示根据本公开的多类型树结构中的块垂直三元分割的示图。
图3E示出了图示根据本公开的多类型树结构中的块水平三元分割的示图。
在图1中，可以执行空间预测和/或时间预测。空间预测（或“帧内预测”）使用来自相同视频图片/条带中的已经编解码的相邻块的样本（其被称为参考样本）的像素，来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测（也称为“帧间预测”或“运动补偿预测”）使用来自已经编解码的视频图片的重建像素，来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。通常通过一个或多个运动矢量（MV）来用信号发送用于给定CU的时间预测信号，该一个或多个运动矢量指示当前CU与其时间参考之间的运动量和运动方向。另外，如果支持多个参考图片，则附加地发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储装置中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块选择最佳的预测模式，例如基于率失真优化方法。预测块然后从当前视频块中被减去；并且预测残差使用变换被去相关且被量化。量化残差系数被逆量化并且被逆变换，以形成重建的残差，该重建的残差然后被加回到预测块，以形成CU的重建信号。在重建的CU被放入参考图片存储库并且用于编解码未来的视频块之前，可以对重建的CU应用进一步的环内滤波，诸如去块滤波器、样本自适应偏移（SAO）以及自适应环路滤波器（ALF）。为了形成输出视频比特流，编解码模式（帧间或帧内）、预测模式信息、运动信息以及量化残差系数都被发送到熵编解码单元，以被进一步压缩和打包以形成比特流。
图2示出了用于VVC的视频解码器的一般框图。具体地，图2示出了典型的解码器200框图。解码器200具有比特流210、熵解码212、逆量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234以及视频输出232。
解码器200类似于图1的编码器100中存在的重建相关部分。在解码器200中，传入的视频比特流210首先通过熵解码212被解码，以导出量化的系数级别和预测相关信息。量化的系数级别然后通过逆量化214和逆变换216被处理，以获得重建的预测残差。在帧内/帧间模式选择器220中实施的块预测值机制被配置为基于已解码的预测信息，执行帧内预测222或运动补偿224。通过使用加法器218，将来自逆变换216的重建的预测残差和由块预测值机制生成的预测输出相加，来获得一组未滤波的重建像素。
重建的块在其被存储在充当参考图片存储库的图片缓冲器226中之前，可以进一步经过环路滤波器228。图片缓冲器226中的重建视频可以被发送以驱动显示设备，以及用于预测未来的视频块。在环路滤波器228开启的情况下，对这些重建像素执行滤波操作，以导出最终重建的视频输出232。
图2给出了基于块的视频解码器的一般框图。视频比特流首先在熵解码单元处被熵解码。编解码模式和预测信息被发送到空间预测单元（如果被帧内编解码）或时间预测单元（如果被帧间编解码），以形成预测块。残差变换系数被发送到逆量化单元和逆变换单元，以重建残差块。预测块和残差块然后被相加在一起。重建的块在其被存储在参考图片存储库之前，可以进一步经过环路滤波。参考图片存储库中的重建视频然后被发送出去以驱动显示设备，以及用于预测未来的视频块。
通常，除了若干模块被进一步扩展和/或改进之外，VVC中应用的基本帧内预测方案与HEVC的基本帧内预测方案保持相同，例如帧内子分割（ISP）编解码模式、具有广角帧内方向的扩展帧内预测、依赖位置的帧内预测组合（PDPC）和4抽头帧内插值。
VVC中的图片、瓦片组、瓦片以及CTU的分割
在VVC中，瓦片被定义为图片中的特定瓦片列和特定瓦片行内的CTU的矩形区域。瓦片组是图片的排他地包含在单个NAL单元中的整数数量个瓦片的组。基本上，瓦片组的概念与HEVC中定义的条带相同。例如，图片被划分为瓦片组和瓦片。瓦片是覆盖图片的矩形区域的CTU序列。瓦片组包含图片的多个瓦片。瓦片组的两种模式被支持，即光栅扫描瓦片组模式和矩形瓦片组模式。在光栅扫描瓦片组模式下，瓦片组包含图片的按瓦片光栅扫描的瓦片序列。在矩形瓦片组模式下，瓦片组包含图片的多个瓦片，该多个瓦片共同形成图片的矩形区域。矩形瓦片组内的瓦片按照瓦片组的瓦片光栅扫描的顺序。
图4示出了图片的光栅扫描瓦片组分割的示例，其中图片被划分为12个瓦片和3个光栅扫描瓦片组。图4包括瓦片410、412、414、416以及418。每个瓦片具有18个CTU。更具体地，图4示出了具有18乘12个亮度CTU的图片，该图片被分割成12个瓦片和3个瓦片组（信息性）。三个瓦片组如下：（1）第一瓦片组包括瓦片410和412，（2）第二瓦片组包括瓦片414、416、418、420以及422，并且（3）第三瓦片组包括瓦片424、426、428、430以及432。
图5示出了图片的矩形瓦片组分割的示例，其中图片被划分为24个瓦片（6个瓦片列和4个瓦片行）以及9个矩形瓦片组。图5包括瓦片510、512、514、516、518、520、522、524、526、528、530、532、534、536、538、540、542、544、546、548、550、552、554以及556。更具体地，图5示出了具有18乘12个亮度CTU的图片，该图片被分割成24个瓦片和9个瓦片组（信息性）。瓦片组包含瓦片并且瓦片包含CTU。9个矩形瓦片组包括：（1）两个瓦片510和512，（2）两个瓦片514和516，（3）两个瓦片518和520，（4）四个瓦片522、524、534以及536，（5）四个瓦片组526、528、538以及540，（6）四个瓦片530、532、542以及544，（7）两个瓦片546和548，（8）两个瓦片550和552，以及（9）两个瓦片554和556。
VVC中的利用高频归零的大尺寸块变换
在VTM4中，尺寸高达64×64的大尺寸块变换被启用，其主要用于较高分辨率视频，例如1080p和4K序列。对于尺寸（宽度或高度、或宽度和高度两者）等于64的变换块，高频变换系数被归零，使得仅保留低频系数。例如，对于M×N变换块，M为块宽度并且N为块高度，当M等于64时，仅保留变换系数的左侧32个列。类似地，当N等于64时，仅保留变换系数的顶部32个行。当变换跳过模式被用于大块时，整个块被使用而不将任何值归零。
VVC中的虚拟流水线数据单元（VPDU）
虚拟流水线数据单元（VPDU）被定义为图片中的非重叠单元。在硬件解码器中，连续的VPDU同时被多个流水线站处理。VPDU尺寸与大多数流水线站中的缓冲器尺寸大致成比例，因此保持VPDU尺寸较小是重要的。在大多数硬件解码器中，VPDU尺寸可以被设置为最大变换块（TB）尺寸。然而，在VVC中，三叉树（TT）和二叉树（BT）分割可能导致VPDU尺寸的增加。
为了将VPDU尺寸保持为64×64亮度样本，在VTM5中应用以下标准分割限制（利用语法信令修改），如图6A、图6B、图6C、图6D、图6E、图6F、图6G以及图6H所示（如下所述）：
针对宽度或高度等于128或者宽度和高度都等于128的CU，不允许TT拆分。
针对N≤64的128×N CU（即，宽度等于128并且高度小于128），不允许水平BT。
针对N≤64的N×128 CU（即，高度等于128并且宽度小于128），不允许垂直BT。
图6A、图6B、图6C、图6D、图6E、图6F、图6G以及图6H示出了VTM中的不允许的TT和BT分割的示例。
VVC中的变换系数编解码
VVC中的变换系数编解码在以下方面类似于HEVC，即它们两者都使用非重叠系数组（也称为CG或子块）。然而，它们之间也存在一些差异。在HEVC中，系数的每个CG具有4×4的固定尺寸。在VVC草案6中，CG尺寸变得取决于TB尺寸。因此，在VVC中，各种CG尺寸（1×16、2×8、8×2、2×4、4×2以及16×1）是可用的。根据预定义的扫描顺序对编码块内的CG和CG内的变换系数进行编解码。
为了限制每像素的上下文编解码二进制位的最大数量，TB的面积和视频分量的类型（例如亮度分量与色度分量）被用于导出针对TB的上下文编解码二进制位（CCB）的最大数量。上下文编解码二进制位的最大数量等于TB_zosize*1.75。这里，TB_zosize指示在系数归零之后TB内的样本数量。注意，作为指示CG是否包含非零系数的标记的coded_sub_block_flag不被考虑用于CCB计数。
系数归零是对变换块执行以强制位于变换块的特定区域中的系数为0的操作。例如，在当前的VVC中，64×64变换具有相关联的归零操作。作为结果，位于64×64变换块内部的在左上方32×32区域外部的变换系数全部被强制为0。实际上，在当前VVC中，针对沿特定维度的尺寸超过32的任何变换块，沿该维度执行系数归零操作，以强制位于左上方32×32区域之外的系数为0。
在VVC中的变换系数编解码中，首先将变量remBinsPass1设置为所允许的上下文编解码二进制位的最大数量（MCCB）。在编解码过程中，每当一上下文编解码二进制位被用信号发送时，该变量减少一。当remBinsPass1大于或等于4时，首先通过语法sig_coeff_flag、abs_level_gt1_flag、par_level_flag以及abs_level_gt3_flag来用信号发送系数，所有这些语法在第一通道中使用上下文编解码二进制位。在第二通道中使用哥伦布莱斯编解码和旁路编解码二进制位来利用语法元素abs_remainder对系数的级别信息的其余部分进行编解码。当在编解码第一通道期间remBinsPass1变得小于4时，当前系数在第一通道中不被编解码，而是直接在第二通道中使用哥伦布莱斯编解码和旁路编解码二进制位利用语法元素dec_abs_level被编解码。在所有上述级别编解码之后，针对sig_coeff_flag等于1的所有扫描位置的符号（sign_flag）最终被编解码为旁路二进制位。在图7中描绘了这样的过程（如下所述）。针对每个TB重置remBinsPass1。从针对sig_coeff_flag、abs_level_gt1_flag、par_level_flag以及abs_level_gt3_flag使用上下文编解码二进制位到针对其余系数使用旁路编解码二进制位的转换，每TB仅发生至多一次。对于系数子块，如果在对其第一个系数进行编解码之前remBinsPass1小于4，则使用旁路编解码二进制位对整个系数子块进行编解码。
图7示出了用于变换块的残差编解码结构的图示。
统一（相同）的莱斯参数（ricePar）导出被用于用信号发送语法abs_remainder和dec_abs_level。唯一的区别在于，baseLevel被设置为4和0以分别对abs_remainder和dec_abs_level进行编解码。莱斯参数不仅基于局部模板中的相邻五个变换系数的绝对级别的总和、还基于对应的基础级别被确定，如下：
RicePara＝RiceParTable[ max(min( 31, sumAbs – 5*baseLevel), 0) ]。
VVC中的变换跳过模式的残差编解码
与HEVC（其中单个残差编解码方案被设计用于对变换系数和变换跳过系数两者进行编解码）不同，在VVC中，两个单独的残差编解码方案被采用来分别用于变换系数和变换跳过系数（即，残差）。
在变换跳过模式下，残差信号的统计特性不同于变换系数的统计特性，并且没有观察到低频分量周围的能量压缩。残差编解码被修改以考虑（空间）变换跳过残差的不同信号特性，其包括：
不用信号发送最后x/y位置；
当所有先前标记等于0时，针对除DC子块之外的每个子块编解码coded_sub_block_flag；
利用两个相邻系数的sig_coeff_flag上下文建模；
par_level_flag仅使用一个上下文模型；
附加的大于5、7、9个标记；
用于余数二值化的修改的莱斯参数导出；
基于左侧和上方相邻系数值确定针对符号标记的上下文建模，并且在sig_coeff_flag之后解析符号标记以将所有上下文编解码二进制位保持在一起；
如图8所示（如下所述），语法元素sig_coeff_flag、coeff_sign_flag、abs_level_gt1_flag、par_level_flag在第一通道中以交错方式逐个残差样本地被编解码，之后是第二通道中的abs_level_gtX_flag位平面，以及第三通道中的abs_remainder编解码。
通道1：sig_coeff_flag、coeff_sign_flag、abs_level_gt1_flag、par_level_flag。
通道2：abs_level_gt3_flag、abs_level_gt5_flag、abs_level_gt7_flag、abs_level_gt9_flag。
通道3：abs_remainder。
图8示出了用于变换跳过块的残差编解码结构的图示。
量化
在当前VVC中，最大QP值从51扩展到63，并且初始QP的信令相应地被改变。当对slice_qp_delta的非零值进行编解码时，可以在条带片段层修改SliceQpY的初始值。针对变换跳过块，最小允许的量化参数（QP）被定义为4，这是因为当QP等于4时，量化步长变为1。
另外，相同HEVC标量量化与被称为依赖标量量化的新概念一起使用。依赖标量量化是指一种方法，其中针对变换系数的可容许重建值的集合取决于变换系数级别的值，在重建顺序中，变化系数级别在当前变换系数级别之前。该方法的主要效果在于，与HEVC中使用的常规独立标量量化相比，可容许重建矢量在N维矢量空间中被更密集地打包（N表示变换块中的变换系数的数量）。这意味着，针对每N维单位体积的可容许重建矢量的给定平均数量，输入矢量与最接近的重建矢量之间的平均失真被减小。依赖标量量化的方法通过以下来实现：（a）定义具有不同重建级别的两个标量量化器，以及（b）定义用于在两个标量量化器之间切换的过程。
所使用的两个标量量化器（由Q0和Q1表示）在图9中被图示（如下所述）。可用重建级别的位置由量化步长Δ唯一地指定。所使用的标量量化器（Q0或Q1）不在比特流中被显式地用信号发送。相反，用于当前变换系数的量化器由变换系数级别的奇偶性确定，在编解码/重建顺序中，变换系数级别在当前变换系数之前。
图9示出了在所提出的依赖量化的方法中使用的两个标量量化器的图示。
如图10A和图10B中所图示（如下所述），两个标量量化器（Q0和Q1）之间的切换经由具有四个量化器状态（QState）的状态机来实现。QState可以采用四个不同的值：0、1、2、3。它由变换系数级别的奇偶性唯一地确定，在编解码/重建顺序中，变换系数级别在当前变换系数之前。在针对变换块的逆量化开始时，状态被设置为等于0。变换系数按扫描顺序（即，按它们被熵解码的相同顺序）被重建。在当前变换系数被重建之后，如图10所示地更新状态，其中k表示变换系数级别的值。
图10A示出了图示用于所提出的依赖量化的状态转换的转换示图。
图10B示出了图示用于所提出的依赖量化的量化器选择的表。
还支持用信号发送默认和用户定义的缩放矩阵。默认（DEFAULT）模式的缩放矩阵都是平的，其中针对所有TB尺寸，元素都等于16。IBC和帧内编解码模式当前共享相同的缩放矩阵。因此，针对用户定义的（USER_DEFINED）矩阵的情况，MatrixType和MatrixType_DC的数量更新如下：
MatrixType：30＝2（2用于帧内和IBC/帧间）×3（Y/Cb/Cr分量）×5（正方形TB尺寸：针对亮度从4×4到64×64，针对色度从2×2到32×32）。
MatrixType_DC：14＝2（2用于帧内和IBC/帧间×1用于Y分量）×3（TB尺寸：16×16、32×32、64×64）+4（2用于帧内和IBC/帧间×2用于Cb/Cr分量）×2（TB尺寸：16×16、32×32）。
DC值分别针对以下缩放矩阵被编解码：16×16、32×32以及64×64。针对尺寸小于8×8的TB，一个缩放矩阵中的所有元素被用信号发送。如果TB的尺寸大于或等于8×8，则一个8×8缩放矩阵中的仅64个元素作为基础缩放矩阵被用信号发送。为了获得尺寸大于8×8的正方形矩阵，将8×8基础缩放矩阵上采样（通过元素的复制）到对应的正方形尺寸（即，16×16、32×32、64×64）。当用于64点变换的高频系数的归零被应用时，缩放矩阵的对应高频也被归零。也就是说，如果TB的宽度或高度大于或等于32，则仅保持系数的左半部或上半部，并且其余系数被分配为零。此外，针对64×64缩放矩阵用信号发送的元素的数量也从8×8减少到三个4×4子矩阵，这是因为右下4×4元素从未被使用。
用于变换系数编解码的上下文建模
针对与变换系数级别的绝对值相关的语法元素的概率模型的选择取决于局部邻域中的绝对级别或部分重建的绝对级别的值。所使用的模板在图11中被图示。
图11示出了用于选择概率模型的模板的图示。黑色正方形指定当前扫描位置，并且具有“x”的正方形表示所使用的局部邻域。
所选择的概率模型取决于局部邻域中的绝对级别（或部分重建的绝对级别）的总和以及局部邻域中大于0的绝对级别的数量（由等于1的sig_coeff_flag的数量给出）。上下文建模和二值化取决于针对局部邻域的以下度量：
numSig：局部邻域中的非零级别的数量；
sumAbs1：局部邻域中的在第一通道之后部分重建的绝对级别（absLevel1）的总和；
sumAbs：局部邻域中的重建的绝对级别的总和；
对角线位置（d）：变换块内的当前扫描位置的水平坐标和垂直坐标的总和。
基于numSig、sumAbs1以及d的值，选择用于编解码sig_coeff_flag、abs_level_gt1_flag、par_level_flag以及abs_level_gt3_flag的概率模型。基于sumAbs和numSig的值来选择用于二值化abs_remainder和dec_abs_level的莱斯参数。
在当前VVC中，减少的32点MTS（也称为RMTS32）基于跳过高频系数并且被用于降低32点DST-7/DCT-8的计算复杂度。并且，它伴随着包括所有类型的归零（即，RMTS32和DCT2中的高频分量的现有归零）的系数编解码变化。具体地，最后非零系数位置编解码的二值化是基于减小的TU尺寸被编解码的，并且用于最后非零系数位置编解码的上下文模型选择是由原始TU尺寸确定的。另外，60个上下文模型被用来编解码变换系数的sig_coeff_flag。上下文模型索引的选择基于被称为locSumAbsPass1的最多五个先前部分重建的绝对级别的总和以及依赖量化的状态QState，如下：
如果cIdx等于0，则如下导出ctxInc：
　　ctxInc＝12*Max( 0, QState – 1 ) +
　　　　Min( ( locSumAbsPass1 + 1 )>>1, 3 ) +
　　　　( d<2
Figure 615417DEST_PATH_IMAGE001
8 : ( d<5
Figure 71806DEST_PATH_IMAGE001
4 : 0 ) )
否则（cIdx大于0），如下导出ctxInc：
　　ctxInc＝36 + 8*Max( 0, QState – 1 ) +
　　　　Min( ( locSumAbsPass1 + 1 )>>1,3 ) + ( d<2
Figure 296114DEST_PATH_IMAGE002
4 : 0 )。
VVC中的解码器侧运动矢量细化（DMVR）
解码器侧运动矢量细化（DMVR）是针对在双向预测合并模式下被编码的块并且被SPS级标记sps_dmvr_enabled_flag控制的技术。在该模式下，块的两个运动矢量（MV）可以使用双边匹配（BM）预测被进一步细化。如图12中所示（如下所述），双边匹配方法被用于细化当前CU的运动信息，这通过在当前CU的两个相关联的参考图片中沿着当前CU的运动轨迹搜索当前CU的两个参考块之间的最接近匹配来完成。在该图12中，图案化黑色矩形块（1222和1264）指示基于来自合并模式的初始运动信息的当前CU及其两个参考块。图案化矩形块（1224和1262）指示基于在运动细化研究过程中使用的MV候选的一对参考块。MV候选与初始MV（也称为原始MV）之间的MV差分别为MVdiff和-MVdiff，如图12所指示。在DMVR期间，可以检查初始MV周围的多个这样的MV候选。具体地，针对每个给定的MV候选，其两个相关联的参考块可以分别从其在列表0和列表1中的参考图片中定位，并且计算它们之间的差。这种块差通常以SAD（或绝对差之和）或行子采样SAD（即，利用所涉及的块的每隔一行计算的SAD）来测量。最后，在其两个参考块之间具有最低SAD的MV候选变成经细化的MV并且被用于生成双向预测信号，该双向预测信号作为针对当前CU的实际预测。
图12示出了解码侧运动矢量细化。
图12包括列表L0中的refPic 1220、当前图片1240以及列表L1中的refPic 1260。列表L0中的refPic 1220是第一列表的参考图片并且包括当前CU 1222、参考块1224、MVdiff1226、MV0 1228以及MV0' 1230。MVdiff 1226是当前CU 1222与参考块1224之间的运动矢量差。MV0 1228是当前CU 1222块与当前CU 1242块之间的运动矢量。MV0' 1230是当前CU 1222块与当前CU 1242块之间的运动矢量。当前图片1240是视频的当前图片并且包括当前CU1242、MV1' 1244以及MV1 1246。MV1' 1244是当前CU 1242块与参考块1262之间的运动矢量。MV1 1246是当前CU 1242块与当前CU 1264块之间的运动矢量。列表L1中的refPic 1260是第二列表中的参考图片并且包括参考块1262、当前CU 1264以及-MVdiff 1266。-MVdiff 1266是参考块1262与当前CU1264之间的运动矢量差。
在VVC中，DMVR被应用于满足以下条件的CU：
利用具有双向预测MV的CU级合并模式（不是子块合并模式）被编码；
相对于当前图片，CU的一个参考图片在过去（即，具有小于当前图片POC的POC）并且另一参考图片在未来（即，具有大于当前图片POC的POC）；
从两个参考图片到当前图片的POC距离（即，绝对POC差）相同；
CU的尺寸超过64个亮度样本，并且CU高度超过8个亮度样本。
通过DMVR过程导出的经细化的MV被用于生成帧间预测样本并且还被用于时间运动矢量预测以用于未来图片编解码。同时，原始MV被用于去块过程，并且还被用于针对未来CU编解码的空间运动矢量预测。
VVC中的双向光流（BDOF）
从VTM5开始包括双向光流（BDOF）工具。先前被称为BIO的BDOF被包括在JEM中。与JEM版本相比，VTM5中的BDOF是更简单的版本，其需要少得多的计算，特别是在乘法次数和乘数的大小方面。BDOF由SPS标记sps_bdof_enabled_flag控制。
BDOF被用于在4×4子块级细化CU的双向预测信号。如果CU满足以下条件，则BDOF被应用于该CU：1）CU的高度不是4，并且CU的尺寸不是4×8；2）CU不是使用仿射模式或ATMVP合并模式被编解码；3）CU使用“真正”双向预测模式被编解码，即，两个参考图片中的一个参考图片按显示顺序在当前图片之前，并且另一个参考图片按显示顺序在当前图片之后。BDOF仅应用于亮度分量。
如其名称所指示，BDOF模式基于光流概念，其假设对象的运动是平滑的。BDOF基于当前块的梯度值来调整预测样本值，以提高编解码效率。
VVC中的针对DMVR和BDOF的解码器侧控制
在当前VVC中，如果BDOF/DMVR的对应SPS控制标记被启用并且针对常规合并候选满足一些双向预测和尺寸约束，则BDOF/DMVR总是被应用。
当所有以下条件为真时，DMVR被应用于常规合并模式：
sps_dmvr_enabled_flag等于1并且slice_disable_bdof_dmvr_flag等于0；
general_merge_flag[ xCb ][ yCb ]等于1；
predFlagL0[ 0 ][ 0 ]和predFlagL1[ 0 ][ 0 ]都等于1；
mmvd_merge_flag[ xCb ][ yCb ]等于0；
DiffPicOrderCnt( currPic, RefPicList[ 0 ][ refIdxL0 ] )等于DiffPicOrderCnt( RefPicList[ 1 ][ refIdxL1 ], currPic )；
BcwIdx[ xCb ][ yCb ]等于0；
luma_weight_l0_flag[ refIdxL0 ]和luma_weight_l1_flag[ refIdxL1 ]都等于0；
cbWidth大于或等于8；
cbHeight大于或等于8；
cbHeight*cbWidth大于或等于128；
针对X为0和1中的每一个，与refIdxLX相关联的参考图片refPicLX的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。例如，当X为0时，与refIdxL0相关联的参考图片refPicL0的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。当X为1时，与refIdxL1相关联的参考图片refPicL1的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。
当所有以下条件为真时，BDOF被应用于双向预测：
sps_bdof_enabled_flag等于1并且slice_disable_bdof_dmvr_flag等于0；
predFlagL0[ xSbIdx ][ ySbIdx ]和predFlagL1[ xSbIdx ][ ySbIdx ]都等于1；
DiffPicOrderCnt( currPic, RefPicList[ 0 ][ refIdxL0 ] ) *DiffPicOrderCnt( currPic, RefPicList[ 1 ][ refIdxL1 ] )小于0；
MotionModelIdc[ xCb ][ yCb ]等于0；
merge_subblock_flag[ xCb ][ yCb ]等于0；
sym_mvd_flag[ xCb ][ yCb ]等于0；
ciip_flag[ xCb ][ yCb ]等于0；
BcwIdx[ xCb ][ yCb ]等于0；
luma_weight_l0_flag[ refIdxL0 ]和luma_weight_l1_flag[ refIdxL1 ]都等于0；
cbWidth大于或等于8；
cbHeight大于或等于8；
cbHeight*cbWidth大于或等于128；
针对X为0和1中的每一个，与refIdxLX相关联的参考图片refPicLX的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples；
cIdx等于0。
块差分脉冲编解码调制
VVC支持用于残差编解码的块差分脉冲编解码调制（BDPCM）。在序列级，用信号发送一个BDPCM启用/禁用标记。当BDPCM被启用时，为宽度和高度都小于或等于MaxTsSize乘MaxTsSize的帧内CU传送标记，其中MaxTsSize是允许变换跳过模式被应用的最大块尺寸。当标记等于1时，一个BDPCM预测方向标记被传送，以指示帧内预测方向是水平还是垂直。在帧内预测之后，残差然后被量化，并且每个量化的残差与其预测值之间的差（即，水平/垂直（取决于BDPCM预测方向）相邻位置的先前经编解码的残差）被编解码。
针对尺寸为M（高度）× N（宽度）的块，令
Figure 29715DEST_PATH_IMAGE003
Figure 845224DEST_PATH_IMAGE004
为预测残差。令
Figure 923995DEST_PATH_IMAGE005
表示残差
Figure 951994DEST_PATH_IMAGE006
的量化版本。BDPCM被应用于量化残差值，从而产生具有元素
Figure 540101DEST_PATH_IMAGE007
的修改的M × N阵列
Figure 729774DEST_PATH_IMAGE008
，其中从其相邻的量化残差值预测
Figure 832860DEST_PATH_IMAGE009
。针对垂直BDPCM预测模式，对于
Figure 71074DEST_PATH_IMAGE010
，以下公式用于导出
Figure 372742DEST_PATH_IMAGE011
：
Figure 530054DEST_PATH_IMAGE012
（1）
针对水平BDPCM预测模式，对于
Figure 917173DEST_PATH_IMAGE013
，以下公式用于导出
Figure 286975DEST_PATH_IMAGE014
：
Figure 584095DEST_PATH_IMAGE015
（2）
在解码器侧，将以上过程反过来，以计算
Figure 381150DEST_PATH_IMAGE016
Figure 989986DEST_PATH_IMAGE017
，如下：
Figure 835582DEST_PATH_IMAGE018
，如果使用垂直BDPCM （3）
Figure 846263DEST_PATH_IMAGE019
，如果使用水平BDPCM （4）
经逆量化的残差
Figure 814219DEST_PATH_IMAGE020
被加到帧内块预测值，以产生重建的样本值。
使用与变换跳过模式残差编解码中的残差编解码过程相同的残差编解码过程，将预测的量化残差值
Figure 441510DEST_PATH_IMAGE021
发送到解码器。在用于未来帧内模式编解码的MPM模式方面，如果BDPCM预测方向是水平或垂直，则为BDPCM编解码的CU分别存储水平预测模式或垂直预测模式。针对去块，如果使用BDPCM对块边界两侧的块进行编解码，则该特定块边界不被去块。
图片报头
在当前VVC中，提出每张编解码图片传送一次图片报头，并且图片报头包含与图片报头相关联的编解码图片的所有条带所共有的信息。
HEVC中的无损编解码
通过简单的旁路变换、量化以及环路滤波器（去块滤波器、样本自适应偏移以及自适应环路滤波器）来实现HEVC中的无损编解码模式。该设计旨在实现具有针对主流应用的常规HEVC编码器和解码器实施方案所需的最小改变的无损编解码。
在HEVC中，无损编解码模式可以在各个CU级被开启或关闭。这是通过在CU级用信号发送的语法cu_transquant_bypass_flag来完成的。为了减少无损编解码模式非必要的情况下的信令开销，cu_transquant_bypass_flag语法并不总是被用信号发送。其仅在被称为transquant_bypass_enabled_flag的另一语法具有值1时被用信号发送。换句话说，语法transquant_bypass_enabled_flag被用于开启cu_transquant_bypass_flag的语法信令。
在HEVC中，语法transquant_bypass_enabled_flag在图片参数集（PPS）中被用信号发送，以指示语法cu_transquant_bypass_flag是否需要针对参考该PPS的图片内的每个CU被用信号发送。如果该标记被设置为等于1，则语法cu_transquant_bypass_flag在CU级被发送，以用信号发送当前CU是否通过无损模式被编解码。如果在PPS中将该标记设置为等于0，则cu_transquant_bypass_flag不被发送，并且图片中的所有CU利用过程中涉及的变换、量化以及环路滤波器被编码，这通常将导致一定级别的视频质量下降。为了无损地编解码整个图片，针对图片中的每个CU，必须将PPS中的标记transquant_bypass_enabled_flag设置为1，并且将CU级标记cu_transquant_bypass_flag设置为等于1。下面示出与HEVC中的无损模式相关的详细语法信令。
transquant_bypass_enabled_flag等于1指定存在cu_transquant_bypass_flag。transquant_bypass_enabled_flag等于0指定不存在cu_transquant_bypass_flag。
cu_transquant_bypass_flag等于1指定如条款8.6中所指定的缩放和变换过程以及如条款8.7中所指定的环路滤波器过程被设旁路。当不存在cu_transquant_bypass_flag时，其被推断等于0。
Figure 153114DEST_PATH_IMAGE022
Figure 690405DEST_PATH_IMAGE023
Figure 829263DEST_PATH_IMAGE024
Figure 412691DEST_PATH_IMAGE025
本公开中使用的术语仅用于描述示例性示例的目的，并且不旨在限制本公开。如在本公开和所附权利要求中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另有指示。还应当理解，本文所使用的术语“或”和“和/或”旨在表明和包括相关联的列出项目中的一个或多个项目的任何或所有可能的组合，除非上下文清楚地另有指示。
应当理解，尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种信息，但是这些信息不应当被这些术语限制。这些术语仅用于区分一类信息和另一类信息。例如，在不脱离本公开的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，取决于上下文，术语“如果”可以被理解为意味着“当……时”或“一经……”或“响应于”。
贯穿本说明书以单数或复数形式对“一个示例”、“示例”、“示例性示例”等的引用意味着结合示例描述的一个或多个特定特征、结构或特性被包括在本公开的至少一个示例中。因此，贯穿本说明书在各个地方以单数或复数出现的短语“在一个示例中”或“在示例中”、“在示例性示例中”等不一定都指代相同的示例。此外，一个或多个示例中的特定特征、结构或特性可以以任何合适的方式被组合。
视频编解码中的无损编解码模式的低效性
在VVC中，最大TU尺寸是64×64，并且VPDU也被设置为64×64。由于针对大于32的宽度/高度的系数归零机制，VVC中的用于系数编解码的最大块尺寸为32×32。在该约束下，当前变换跳过仅支持高达32×32的TU，使得用于残差编解码的最大块尺寸可以与用于系数编解码的最大块尺寸32×32对齐。然而，在VVC中，不存在针对用于无损CU的残差编解码的块尺寸的约束。作为结果，当前在VVC中，可能在无损编解码模式下生成尺寸大于32×32的残差块，这将要求对针对大于32×32的块的残差编解码的支持。这对于编解码实施方案而言不是优选的。在本公开中，提出了若干方法来解决这种低效性。
与VVC中的无损编解码支持相关联的另一低效性在于如何选择残差（或称为系数）编解码方案。在当前VVC中，两种不同的残差编解码方案是可用的。针对给定块（或CU），残差编解码方案的选择基于给定块（或CU）的变换跳过标记。因此，如果在VVC中的无损模式下，如在HEVC中那样假设变换跳过标记为1，则在变换跳过模式下使用的残差编解码方案将总是被用于无损模式CU。然而，当变换跳过标记为真时使用的当前残差编解码方案主要被设计用于屏幕内容编解码。它被用于常规内容（即，非屏幕内容）的无损编解码可能不是最佳的。在本公开中，提出了若干方法来选择用于无损编解码模式的残差编解码。
与当前VVC中的无损编解码相关联的第三低效性在于，对变换系数编解码中的上下文模型的选择取决于所使用的标量量化器。然而，由于在无损编解码中禁用量化过程，所以，如果变换系数编解码被应用于在无损编解码模式下对残差块进行编解码，则根据量化器选择来选择上下文模型可能不是最佳的。
第四低效性与针对无损编解码模式下的每个TU的最大上下文CCB相关。对于亮度和色度TU，有损编解码模式下的当前限制为TB_zosize*1.75。它对于无损编解码而言可能不是最佳的。
第五低效性与对变换系数的符号标记的编解码有关。当前，符号标记在针对变换跳过块的残差编解码中被用信号发送为上下文编解码二进制位，并且在变换系数编解码中被用信号发送为旁路编解码二进制位。这是因为，在变换系数编解码中，假设变换系数的符号具有取值0与1的几乎相等的概率，并且它与其相邻的变换系数值不是十分相关。然而，在用于变换跳过模式的残差编解码中，残差的符号确实示出了与相邻残差值的相关性。作为结果，如果变换系数编解码被应用于编解码残差块，则可以预期残差的符号也非常可能与相邻残差值相关。在这种情况下，将它们编解码为旁路二进制位可能不是最佳的。
在当前VVC中，使用两个解码器侧搜索工具（即，BDOF和DMVR）来细化经解码的像素值，以提高编解码性能。然而，在无损编解码中，由于预测像素已经具有非常高的保真度，所以BDOF和DMVR不会带来太多编解码增益益处。因此，BDOF和DMVR不应被应用于无损编解码，因为这些解码器侧工具对于解码器而言是相当复杂的。然而，在当前VVC中，如果BDOF和DMVR的对应SPS启用标记被启用并且针对常规合并候选满足一些双向预测和尺寸约束，则BDOF和DMVR总是被应用。针对无损VVC编解码，具有对DMVR和BDOF启用的一些较低级别（例如在条带级和/或CU级）的控制是有益的。
所提出的用于改进视频编解码中的无损编解码模式的方法
在本公开中，提出若干方法来解决在视频编解码中的无损编解码模式的低效性部分中所提及的低效性。注意，可以独立地或联合地应用以下方法。
针对无损CU的残差块分割
根据本公开的一个或多个实施例，提出将针对无损CU的最大残差编码块尺寸与变换跳过模式所支持的最大块尺寸对齐。
在一个示例中，变换跳过模式可以仅针对宽度和高度都小于或等于32的残差块被启用，这意味着变换跳过模式下的最大残差编码块尺寸为32×32。这里，针对无损CU的残差块的最大宽度和/或高度也被设置为32，其中最大残差块尺寸为32×32。每当无损CU的宽度/高度大于32时，CU残差块就被划分为尺寸为32×N和/或N×32的多个较小残差块，使得较小残差块的宽度或高度不大于32。例如，128×32无损CU被划分为四个32×32残差块以用于残差编解码。在另一示例中，64×64无损CU被划分为四个32×32残差块。
根据本公开的一个或多个实施例，提出将针对用于无损CU的残差编解码的最大块尺寸与VPDU的尺寸对齐。在一个示例中，针对无损CU的最大残差块的宽度/高度被设置为VPDU尺寸（例如，当前VVC中的64×64）。每当无损CU的宽度/高度大于64时，CU残差块就被划分为尺寸为64×N和/或N×64的多个较小残差块，使得较小残差块的宽度或高度不大于VPDU宽度和/或高度。例如，128×128无损CU被划分为四个64×64残差块以用于残差编解码。在另一示例中，128×32无损CU被划分为两个64×32残差块。
针对无损模式CU的残差编解码方案的选择
在当前VVC中，取决于CU是否以变换跳过模式被编解码，该CU利用不同的残差编解码方案。在变换跳过模式下使用的当前残差编解码通常更适合于屏幕内容编解码。
在一个或多个实施例中，无损CU可以使用与变换跳过模式CU所使用的残差编解码方案相同的残差编解码方案。
在一个或多个实施例中，无损CU可以使用与非变换跳过模式CU所使用的残差编解码方案相同的残差编解码方案。
根据一个或多个实施例，基于特定条件和/或预定义过程，从现有残差编解码方案中自适应地选择用于无损CU的残差编解码方案。编码器和解码器都遵循这样的条件和/或预定义过程，使得在比特流中不需要存在信令来指示该选择。在一个示例中，可以在编码器和解码器两者中指定并且利用简单的屏幕内容检测方案。基于检测方案，当前视频块可以被分类为屏幕内容或常规内容。在其是屏幕内容的情况下，在变换跳过模式下使用的残差编解码方案被选择。否则，另一个残差编解码方案被选择。
根据一个或多个实施例，语法在比特流中被用信号发送，以显式地指定无损CU使用哪个残差编解码方案。这样的语法可以是二进制标记，其中每个二进制值指示对两个残差编解码方案之一的选择。该语法可以在不同级别被用信号发送。例如，它可以在序列参数集（SPS）、图片级（例如，图片参数集（PPS）、图片报头）、条带报头、瓦片组报头或瓦片中被用信号发送。它也可以在CTU级或CU级被用信号发送。当用信号发送这样的语法时，处于相同或较低级别的所有无损CU将使用由该语法指示的相同残差编解码方案。例如，当在SPS级用信号发送语法时，序列中的所有无损CU将使用所指示的相同残差编解码方案。当在图片级用信号发送语法时，图片中的所有无损CU将使用在相关联的图片级语法中指示的相同残差编解码方案。在CU级存在用于指示CU是否在无损模式下被编解码的语法（诸如cu_transquant_bypass_flag）的情况下，基于CU的无损模式标记有条件地用信号发送指示残差编解码方案的语法。例如，仅当无损模式标记cu_transquant_bypass_flag指示当前CU在无损模式下被编解码时，才针对该CU用信号发送指示残差编解码方案的语法。又例如，它可以在TU级被用信号发送。如果在CU级存在用于指示CU是否在无损模式下被编解码的语法（诸如cu_transquant_bypass_flag），则针对当前无损CU的每个TU的语法被用信号发送，以指示对两个残差编解码方案之一的选择。
根据一个或多个实施例，即使针对无损模式编解码的CU，也用信号发送变换跳过模式标记。在这种情况下，无论CU是否在无损模式下被编解码，针对该CU的残差编解码方案的选择都基于其变换跳过模式标记。
根据一个或多个实施例，在比特流中用信号发送高级别语法，以指定残差编解码方案是否是可切换的；如果残差编解码是可切换的，则还用信号发送附加的低级别语法（例如在CU级），以指定由无损CU使用哪个残差编解码方案。在一个示例中，用信号发送高级别（例如，SPS、图片级/图片报头、条带报头、瓦片组报头或瓦片）语法，以指示是否可以选择残差编解码方案。如果这样的高级别语法被设置为等于0，则由非变换跳过模式（即，变换系数编解码方案）使用的残差编解码总是被应用于无损块。如果这样的高级别被设置为等于1，则用信号发送附加的低级别（例如，编码单元、变换块）语法，以指示哪个残差编解码被用于无损块。
图13示出了根据本公开的用于解码视频信号的无损编解码模式的方法。该方法可以例如被应用于解码器。
在步骤1310中，解码器可以将视频图片分割成多个CU，该多个CU包括无损CU。
在步骤1312中，解码器可以接收高级别语法。高级别语法可以包括例如第一标记，第一标记指示残差编解码方案是否是可切换的。
禁用DMVR
在当前VVC中，针对无损编解码模式，没有定义对DMVR开启/关闭的控制。在一个或多个实施例中，提出通过1比特信令slice_disable_dmvr_flag标记来在条带级控制DMVR的开启/关闭。在一个示例中，如果sps_dmvr_enabled_flag被设置为等于1并且transquant_bypass_enabled_flag标记被设置为等于0，则需要用信号发送slice_disable_dmvr_flag标记。如果不用信号发送slice_disable_dmvr_flag标记，则其被推断为1。如果slice_disable_dmvr_flag等于1，则DMVR被关闭。在这种情况下，信令如下：
Figure 193565DEST_PATH_IMAGE026
。
在一个或多个实施例中，提出通过特定条件和/或预定义过程来在CU级控制DMVR的开启/关闭。在一个示例中，针对DMVR的CU级控制如下：
当确定所有以下条件都为真时，DMVR被应用于常规合并模式：
sps_dmvr_enabled_flag等于1并且slice_disable_bdof_dmvr_flag等于0；
cu_transquant_bypass_flag被设置为等于0；
general_merge_flag[ xCb ][ yCb ]等于1；
predFlagL0[ 0 ][ 0 ]和predFlagL1[ 0 ][ 0 ]都等于1；
mmvd_merge_flag[ xCb ][ yCb ]等于0；
ciip_flag[ xCb ][ yCb ]等于0；
DiffPicOrderCnt( currPic, RefPicList[ 0 ][ refIdxL0 ] )等于DiffPicOrderCnt( RefPicList[ 1 ][ refIdxL1 ], currPic )；
BcwIdx[ xCb ][ yCb ]等于0；
luma_weight_l0_flag[ refIdxL0 ]和luma_weight_l1_flag[ refIdxL1 ]都等于0；cbWidth大于或等于8；
cbHeight大于或等于8；
cbHeight*cbWidth大于或等于128；
针对X为0和1中的每一个，与refIdxLX相关联的参考图片refPicLX的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。
在另一示例中，针对DMVR的CU级控制取决于预定义的QP阈值（QP_THR），如下：
当确定所有以下条件都为真时，DMVR被应用于常规合并模式：
sps_dmvr_enabled_flag等于1并且slice_disable_bdof_dmvr_flag等于0；
Qp大于QP _ THR；
general_merge_flag[ xCb ][ yCb ]等于1；
predFlagL0[ 0 ][ 0 ]和predFlagL1[ 0 ][ 0 ]都等于1；
mmvd_merge_flag[ xCb ][ yCb ]等于0；
ciip_flag[ xCb ][ yCb ]等于0；
DiffPicOrderCnt( currPic, RefPicList[ 0 ][ refIdxL0 ] )等于DiffPicOrderCnt( RefPicList[ 1 ][ refIdxL1 ], currPic )；
BcwIdx[ xCb ][ yCb ]等于0；
luma_weight_l0_flag[ refIdxL0 ]和luma_weight_l1_flag[ refIdxL1 ]都等于0；
cbWidth大于或等于8；
cbHeight大于或等于8；cbHeight*cbWidth大于或等于128；
针对X为0和1中的每一个，与refIdxLX相关联的参考图片refPicLX的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。例如，当X为0时，与refIdxL0相关联的参考图片refPicL0的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。当X为1时，与refIdxL1相关联的参考图片refPicL1的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples。
图14示出了用于视频解码的无损编解码模式的方法。该方法可以例如被应用于解码器。
在步骤1410中，解码器可以将视频图片分割成多个CU，该多个CU包括无损CU。
在步骤1412中，解码器可以基于第一预定义QP阈值在CU级控制DMVR。
禁用BDOF
在当前VVC中，针对无损编解码模式，没有定义对BDOF开启/关闭的控制。在一个或多个实施例中，提出通过1比特信令slice_disable_bdof_flag标记来控制开启/关闭BDOF。在一个示例中，如果sps_bdof_enabled_flag被设置为等于1或者transquant_bypass_enabled_flag标记被设置为等于0，则用信号发送slice_disable_bdof_flag标记。如果不用信号发送slice_disable_bdof_flag标记，则其被推断为1。如果slice_disable_bdof_flag标记等于1，则禁用BDOF。在这种情况下，信令示出如下：
Figure 178838DEST_PATH_IMAGE027
。
在一个或多个实施例中，提出通过特定条件和/或预定义过程来在CU级控制BDOF的开启/关闭。在一个示例中，针对BDOF的CU级控制如下：
当确定所有以下条件都为真时，BDOF被应用于常规合并模式：
sps_bdof_enabled_flag等于1并且slice_disable_bdof_dmvr_flag等于0；
cu_transquant_bypass_flag被设置为等于0；
predFlagL0[ xSbIdx ][ ySbIdx ]和predFlagL1[ xSbIdx ][ ySbIdx ]都等于1；
DiffPicOrderCnt( currPic, RefPicList[ 0 ][ refIdxL0 ] ) *DiffPicOrderCnt( currPic, RefPicList[ 1 ][ refIdxL1 ] )小于0；
MotionModelIdc[ xCb ][ yCb ]等于0；
merge_subblock_flag[ xCb ][ yCb ]等于0；
sym_mvd_flag[ xCb ][ yCb ]等于0；
ciip_flag[ xCb ][ yCb ]等于0；
BcwIdx[ xCb ][ yCb ]等于0；
luma_weight_l0_flag[ refIdxL0 ]和luma_weight_l1_flag[ refIdxL1 ]都等于0；
cbWidth大于或等于8；
cbHeight大于或等于8；
cbHeight*cbWidth大于或等于128；
针对X为0和1中的每一个，与refIdxLX相关联的参考图片refPicLX的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples；
cIdx等于0。
在另一示例中，针对BDOF的CU级控制取决于预定义的QP阈值（QP_THR），如下：
当确定所有以下条件都为真时，BDOF被应用于常规合并模式：
sps_bdof_enabled_flag等于1并且slice_disable_bdof_dmvr_flag等于0；
Qp大于QP _ THR；
predFlagL0[ xSbIdx ][ ySbIdx ]和predFlagL1[ xSbIdx ][ ySbIdx ]都等于1；
DiffPicOrderCnt( currPic, RefPicList[ 0 ][ refIdxL0 ] ) *DiffPicOrderCnt( currPic, RefPicList[ 1 ][ refIdxL1 ] )小于0；
MotionModelIdc[ xCb ][ yCb ]等于0；
merge_subblock_flag[ xCb ][ yCb ]等于0；
sym_mvd_flag[ xCb ][ yCb ]等于0；
ciip_flag[ xCb ][ yCb ]等于0；
BcwIdx[ xCb ][ yCb ]等于0；
luma_weight_l0_flag[ refIdxL0 ]和luma_weight_l1_flag[ refIdxL1 ]都等于0；
cbWidth大于或等于8；
cbHeight大于或等于8；
cbHeight*cbWidth大于或等于128；
针对X为0和1中的每一个，与refIdxLX相关联的参考图片refPicLX的pic_width_in_luma_samples和pic_height_in_luma_samples分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples；
cIdx等于0。
联合禁用BDOF和DMVR
在当前VVC中，BDOF和DMVR两者总是被应用于解码器侧细化以提高编解码效率，并被每个SPS标记控制，并且针对常规合并候选满足一些双向预测和尺寸约束的条件。在一个或多个实施例中，提出通过1比特slice_disable_bdof_dmvr_flag条带标记来禁用BDOF和DMVR两者。如果slice_disable_bdof_dmvr_flag标记被设置为等于1，则BDOF和DMVR都被关闭。如果不用信号发送slice_disable_bdof_dmvr_flag标记，则其被推断为1。在一个示例中，如果满足以下条件，则用信号发送slice_disable_bdof_dmvr_flag。
Figure 488597DEST_PATH_IMAGE028
无损VVC中的对用于残差编解码的上下文模型的选择
如先前在“用于系数编解码的上下文建模”章节中所述，对用于信令“sig_coeff_flag”的上下文模型的选择取决于量化器状态（QState）以及被称为locSumAbsPass1的最多五个先前部分重建的绝对级别的总和。如图10所示，在根据标量量化器选择（Q0和Q1）和k的奇偶校验位对每个变换系数进行编解码之后，QState在4个状态（状态0、状态1、状态2以及状态3）之间切换，k是按重建顺序的先前量化级别。在针对变换块的逆量化开始时，状态被设置为等于0。然而，由于针对无损编解码禁用标量量化，因此仍然根据量化器状态来选择上下文模型可能不是最佳的。
在一个或多个实施例中，提出独立于标量量化器状态来选择上下文模型。在一个示例中，如果变换系数编解码方案被应用于在无损编解码下对残差块进行编解码，则在选择用于对残差块进行编解码的上下文模型时总是使用恒定的QState值。这样的恒定的QState值可以被选择为0。在其他示例中，这样的恒定的QState值也可以被选择为非零值，例如1、2或3。
在又一示例中，如果变换系数编解码方案被应用于在无损编解码下对残差块进行编解码，则在选择用于对残差块进行编解码的上下文模型时总是使用恒定的QState值。然而，当在无损编解码下对不同的块、或不同的条带、或不同的帧等进行编解码时，可以在选择上下文模型时使用不同的QState常数值。
上下文编解码二进制位的最大数量
在当前VVC中，用于亮度和色度的上下文编解码二进制位的最大数量被设置为TB_zosize*1.75。在一个或多个实施例中，针对无损编解码，提出去除对TB上的CCB的最大数量的限制。
在一个或多个实施例中，针对无损编解码，提出将亮度和色度的上下文编解码二进制位的最大数量设置为大于TB_zosize*1.75的值。在一个示例中，针对无损编解码，亮度和色度的上下文编解码二进制位的最大数量被设置为TB_zosize*4。在另一示例中，针对无损编解码，亮度和色度的上下文编解码二进制位的最大数量被设置为TB_zosize*8。
用于无损编解码模式的残差编解码中的符号标记编解码
在当前VVC中，sig_coeff_flag等于1的每个变换系数的符号标记被编解码为旁路二进制位，如先前在“VVC中的变换系数编解码”章节中所示。断言：由于在无损编解码中不存在变换模块，因此残差的符号与其相邻残差的符号强相关。因此，如果变换系数编解码方案被应用于无损编解码以对残差块进行编解码，则利用上下文模型对符号标记进行编解码对于编解码效率而言可能是有益的。
在一个或多个实施例中，在无损编解码中，提出使用变换系数编解码方案来将符号标记用信号发送为上下文编解码二进制位。在一个示例中，如果在无损编解码中应用变换系数编解码方案以对残差块进行编解码，则可以设计和增加新的上下文模型以用于对符号标记进行编解码。在一种情况下，这样的新上下文模型可以以与用于针对变换跳过模式的残差编解码中的符号标记编解码的上下文模型相同的方式来设计和操作。在另一示例中，可以共享并且使用现有的上下文模型。在一种情况下，当在无损编解码中应用变换系数编解码以对残差块进行编解码时，可以共享并且使用用于针对变换跳过模式的残差编解码中的符号标记编解码的当前上下文模型，以对符号标记进行编解码。
在当前VVC中，变换跳过块中的残差的符号标记通过上下文编解码二进制位被用信号发送。在一个或多个实施例中，提出在无损编解码模式下将变换跳过块中的残差的符号标记编解码为旁路二进制位。
旋转残差块
在当前VVC中，断言：由于用于预测的重建像素与预测像素之间的距离，预测潜在地在块的右下区域处引起较大幅度残差。因此，旋转残差块（即，沿着水平和垂直方向翻转块）会将潜在的大幅度残差放置在TU的左上区域处，这可能有益于残差编解码并且贡献编解码增益。然而，还断言：旋转残差块可以仅在一些块中提供编解码增益。
在一个或多个实施例中，提出基于特定条件和/或预定义过程来自适应地旋转残差块。编码器和解码器都遵循这样的条件和/或预定义过程，使得在比特流中不需要存在信令来指示该选择。在一个示例中，可以仅在残差块的宽度或高度小于一个预定义阈值的情况下旋转残差块。在另一示例中，可以仅在残差块的宽度和高度相等的情况下旋转残差块。在又一示例中，可以仅在残差块的宽度和高度不相等的情况下旋转残差块。在又一个示例中，可以针对特定视频分量（即，亮度分量或色度分量）旋转残差块。
在另一实施例中，提出基于对一个维度（例如，水平或垂直）的对应尺寸是否满足预定义阈值的决策来确定是否在该维度上旋转一个编码块的残差。例如，针对宽度等于或小于预定义阈值而高度大于该阈值的编码块，该块的残差可以仅在水平方向上被旋转（即，水平翻转）。针对高度等于或小于阈值而宽度大于该阈值的编码块，该块的残差可以仅在垂直方向上被旋转（即，垂直翻转）。当一个编码块的宽度和高度两者都等于或小于阈值时，编码块的残差可以在水平方向和垂直方向两者上被旋转。否则，即，块的宽度和其高度两者都大于阈值，则旋转不被应用于该块的残差。
在一个或多个实施例中，提出根据预测模式来旋转残差块。在一个示例中，残差块可以仅在其预测模式为帧内模式或帧内块复制模式时被旋转。在另一示例中，残差块可以仅在其预测模式为帧内模式或帧间模式时被旋转。
在另一实施例中，提出针对每个编码块用信号发送一个比特以指示是否旋转其残差。为了节省信令开销，可以应用附加的信令约束来决定是否需要用信号发送残差旋转标记。例如，在本公开的一个实施例中，提出仅针对包含N个或少于N个样本的编码块启用残差旋转，其中N是预定义值。然后，针对包含多于N个样本的编码块，残差旋转标记不被用信号发送并且总是被推断为0（即，不进行残差旋转）。否则，针对包含N个或少于N个样本的编码块，用信号发送标记以指示是否需要旋转残差。
在一个或多个实施例中，在比特流中用信号发送语法以显式地指定针对TU是否旋转残差块。这样的语法可以是二进制标记。可以在不同级别用信号发送该语法。例如，它可以在序列参数集（SPS）、图片级（例如，参数集（PPS）、图片报头）、条带报头、瓦片组报头或瓦片中被用信号发送。它也可以在CTU、CU或TU级被用信号发送。当用信号发送这样的语法时，针对处于相同级别或更低级别的所有TU，将根据语法值的指示来执行残差旋转。在一个示例中，在SPS级用信号发送该语法，在该序列中的TU的所有残差块之间共享残差旋转决策。在另一示例中，在图片级用信号发送该语法，在使用该图片级语法的图片中的TU的所有残差块之间共享残差旋转决策。在又一示例中，在TU级用信号发送该语法，由此每个TU具有其自己的关于是否应该执行残差旋转的决策。
在一个或多个实施例中，提出在针对编码块应用BDPCM之后应用残差旋转。例如，在不使用变换的无损编解码中，BDPCM可以首先被应用于预测残差，随后是预测残差旋转。然后，使用变换系数编解码方案来对这种旋转的预测残差进行编解码。基本上，发现在这种情况下，BDPCM操作不改变预测误差分布特性。因此，在BDPCM之后应用残差旋转仍然有助于残差编解码引擎提高编解码效率。
在一个或多个实施例中，提出仅针对非BDPCM块应用残差旋转。例如，如果一个编码块被应用BDPCM模式，则该编码块不被应用残差旋转；否则，该编码块被应用残差旋转。
图15示出了用于解码视频信号的无损编解码模式的方法。该方法可以例如被应用于解码器。
在步骤1510中，解码器可以将视频图像分割成多个CU。
在步骤1512中，解码器可以获取残差块。
在步骤1514中，在BDPCM模式被应用于多个CU之后，解码器可以将残差旋转应用于残差块。
残差块的扫描顺序
在当前VVC中，用于变换跳过模式的残差编解码和变换系数编解码方案都可以被应用于在无损模式下对残差块进行编解码。如果针对变换跳过模式设计的残差编解码被应用，则它基于从块的左上方到块的右下方的扫描顺序来对残差块样本进行编解码。如果变换系数编解码方案被应用，则它基于从块的右下方到块的左上方的恰好相反的扫描顺序来对残差块样本进行编解码。在一个或多个实施例中，提出在无损编解码下对齐两种编解码方案的扫描顺序。在一个示例中，如果变换系数编解码方案被应用于无损编解码，则样本的扫描和编解码顺序与用于变换跳过模式下的残差编解码的扫描和编解码顺序相同，即从块的左上方开始到块的右下方。发现这样的方法有益于编解码性能，因为当在无损编解码模式下对残差块进行编解码时，由于在右下方区域中样本预测不太准确并且没有执行变换的事实，统计能量分布偏向残差块的右下方部分。
对用于用信号发送最后非零系数的位置的上下文模型的选择
在“用于变换系数编解码的上下文建模”章节中，对最后非零系数位置编解码的二值化基于减小的TU尺寸（即，系数归零操作之后的TU尺寸），而用于最后非零系数位置编解码的上下文模型选择由原始TU尺寸确定。因此，上下文模型选择和针对最后非零系数位置的二值化取决于不同的控制逻辑。在一个或多个实施例中，提出基于减小的TU尺寸来选择用于对最后非零系数的位置进行编解码的上下文模型。在一个示例中，针对由于系数归零而使TU尺寸减小为32×32的64×64 TU，用于用信号发送其最后非零系数的位置的上下文选择基于其32×32的减小的TU尺寸，而不是64×64的原始尺寸。这也意味着它与未执行系数归零操作的实际32×32 TU共享上下文。
同样地，在当前VVC中，在某些情况下，32×32 TU可以被归零到16×16的减小的尺寸。在这种情况下，根据本公开中所提出的方法，用于用信号发送其最后非零系数的位置的上下文选择基于其16×16的减小的TU尺寸，并且其还与实际的16×16 TU共享上下文。在另一示例中，针对应用DCT-II变换的TU，减小的TU尺寸是min(TUWidth, 32)*min(TUHeight,32)，并且针对应用DCT-VIII和DST-VII的TU，减小的TU尺寸是min(TUWidth, 16)*min(TUHeight, 16)。在又一示例中，仅针对64×N或N×64 TU的上下文模型的选择基于减小的TU尺寸。考虑到先前用于64×N和N×64 TU尺寸的原始上下文模型被完全去除，所提出的方法的一个被断言的益处是减少用于编解码最后非零系数的上下文的总数。
用于用信号发送最后非零系数的位置的联合上下文模型
在当前VVC中，针对最后非零系数位置编解码，分别设计了用于最后非零系数位置的x维度和y维度的上下文模型。换句话说，针对每个维度，使用独立的多组上下文模型。在每个组内，基于沿着该维度的当前块的尺寸来选择上下文模型。
在本公开的一个或多个实施例中，提出针对最后非零系数位置的x维度和y维度两者共享一组上下文模型。为了对最后非零系数位置的给定维度进行编解码，基于沿着该维度的当前块的实际尺寸，从同一组上下文模型中选择上下文模型。
在本公开的另一实施例中，提出针对最后非零系数位置的x维度和y维度两者共享一组上下文模型。为了对最后非零系数位置的给定维度进行编解码，基于沿着该维度的当前块的归零尺寸，从同一组上下文模型中选择上下文模型。
根据以上实施例中的方法，相对于当前VVC设计，编解码最后非零系数位置所需的上下文模型的数量可以减少一半。
上述方法可以使用包括一个或多个电路系统的装置来实施，这些电路系统包括专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子组件。该装置可以结合其他硬件或软件组件来使用这些电路系统，以执行以上描述的方法。以上公开的每个模块、子模块、单元或子单元可以至少部分地使用一个或多个电路系统来实施。
图16示出了与用户接口1660耦合的计算环境1610。计算环境1610可以是数据处理服务器的一部分。计算环境1610包括处理器1620、存储器1640以及I/O接口1650。
处理器1620通常控制计算环境1610的整体操作，诸如与显示、数据采集、数据通信以及图像处理相关联的操作。处理器1620可以包括一个或多个处理器，以执行指令，来执行以上描述的方法中的所有步骤或一些步骤。此外，处理器1620可以包括一个或多个模块，该一个或多个模块促进处理器1620和其他组件之间的交互。处理器可以是中央处理单元（CPU）、微处理器、单片机、GPU等。
存储器1640被配置为存储各种类型的数据，以支持计算环境1610的操作。存储器1640可以包括预定软件1642。这种数据的示例包括用于在计算环境1610上操作的任何应用或方法的指令、视频数据集、图像数据等。存储器1640可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实施，诸如静态随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、磁存储器、闪存、磁盘或光盘。
I/O接口1650提供处理器1620和外围接口模块之间的接口，外围接口模块诸如是键盘、点击轮、按钮等。按钮可以包括但不限于主页按钮、开始扫描按钮以及停止扫描按钮。I/O接口1650可以与编码器和解码器耦合。
在一些实施例中，还提供了包括多个程序的非暂时性计算机可读存储介质，该多个程序诸如被包括在存储器1640中，由计算环境1610中的处理器1620可执行，以执行以上描述的方法。例如，非暂时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。
非暂时性计算机可读存储介质具有存储在其中的多个程序，该多个程序用于由具有一个或多个处理器的计算设备执行，其中当该多个程序由一个或多个处理器执行时，使得计算设备执行以上描述的用于运动预测的方法。
在一些实施例中，可以利用一个或多个专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、图形处理单元（GPU）、控制器、微控制器、微处理器或其他电子组件来实施计算环境1610，以执行上述方法。
本公开的描述已经出于说明的目的而被呈现，并且不旨在是穷尽性的或限于本公开。受益于前述描述和相关联的附图中呈现的教导，许多修改、变型和替代实施方案对本领域普通技术人员而言将是显而易见的。
示例被选择和描述，以便解释本公开的原理，并且使得本领域的其他技术人员能够理解针对各种实施方案的公开内容，并最佳地利用基础原理和具有适合于所设想的特定用途的各种修改的各种实施方案。因此，将理解，本公开的范围不限于所公开的实施方案的具体示例，并且修改和其他实施方案旨在被包括在本公开的范围内。

Claims (28)

1. 一种用于解码视频信号的无损编解码模式的方法，包括：
在解码器处，将视频图片分割成多个编码单元（CU），所述多个CU包括无损CU；以及
在所述解码器处，接收高级别语法，其中所述高级别语法包括第一标记，所述第一标记指示残差编解码方案是否是可切换的。
2.根据权利要求1所述的方法，进一步包括：
在所述解码器处并且当所述残差编解码方案是可切换的时，接收CU级的低级别语法，其中所述低级别语法包括由所述无损CU或无损编码块（CB）使用的残差编解码方案。
3.根据权利要求1所述的方法，其中所述高级别语法包括第二标记，所述第二标记用信号发送是否可以选择所述残差编解码方案。
4.根据权利要求3所述的方法，进一步包括：
在所述解码器处并且当所述高级别语法用信号发送0时，针对所述无损CU或无损CB应用由非变换跳过模式使用的残差编解码方案。
5.根据权利要求3所述的方法，进一步包括：
在所述解码器处并且当所述高级别语法用信号发送1时，接收低级别语法，以指示哪个残差编解码方案被用于所述无损CU或无损CB。
6. 一种用于视频解码的无损编解码模式的方法，包括：
在解码器处，将视频图片分割成多个编码单元（CU），所述多个CU包括无损CU；以及
在所述解码器处并且在CU级，基于第一预定义量化参数（QP）阈值来控制解码器侧运动矢量细化（DMVR）。
7.根据权利要求6所述的方法，其中所述第一预定义QP阈值小于或等于QP。
8.根据权利要求6所述的方法，进一步包括：
在所述解码器处并且在所述CU级，基于第二预定义量化参数（QP）阈值来控制双向光流（BDOF）。
9.根据权利要求8所述的方法，其中所述第二预定义QP阈值小于或等于QP。
10.一种用于解码视频信号的无损编解码模式的方法，包括：
在解码器处，将视频图片分割成多个编码单元（CU）；
在所述解码器处，获取残差块；以及
在块差分脉冲编解码调制（BDPCM）模式被应用于所述多个CU之后，在所述解码器处，将残差旋转应用于所述残差块。
11.根据权利要求10所述的方法，其中在所述解码器处，将所述残差旋转应用于所述残差块包括：
在所述解码器处并且当不使用变换时，将BDPCM模式应用于预测残差。
12. 根据权利要求11所述的方法，进一步包括：
在所述解码器处，应用预测残差旋转；以及
在所述解码器处，使用变换系数编解码方案来对所述预测残差旋转进行解码。
13.根据权利要求10所述的方法，进一步包括：
在所述解码器处，仅将残差旋转应用于非BDPCM块。
14.根据权利要求13所述的方法，其中，在所述解码器处，仅将残差旋转应用于所述非BDPCM块包括：
当BDPCM模式未被应用于所述多个CU时，在所述解码器处，将残差旋转应用于所述多个CU。
15. 一种计算设备，包括：
一个或多个处理器；和
非暂时性计算机可读存储介质，存储由所述一个或多个处理器可执行的指令，其中所述一个或多个处理器被配置为：
将视频图片分割成多个编码单元（CU），所述多个CU包括无损CU；以及
接收高级别语法，其中所述高级别语法包括第一标记，所述第一标记指示残差编解码方案是否是可切换的。
16.根据权利要求15所述的计算设备，其中所述一个或多个处理器被进一步配置为：
当所述残差编解码方案是可切换的时，接收CU级的低级别语法，其中所述低级别语法包括由所述无损CU或无损编码块（CB）使用的残差编解码方案。
17.根据权利要求15所述的计算设备，其中所述高级别语法包括第二标记，所述第二标记用信号发送是否可以选择所述残差编解码方案。
18.根据权利要求17所述的计算设备，其中所述一个或多个处理器被进一步配置为：
当所述高级别语法用信号发送0时，针对所述无损CU或无损CB应用由非变换跳过模式使用的残差编解码方案。
19.根据权利要求17所述的计算设备，其中所述一个或多个处理器被进一步配置为：
当所述高级别语法用信号发送1时，接收低级别语法，以指示哪个残差编解码方案被用于所述无损CU或无损CB。
20. 一种计算设备，包括：
一个或多个处理器；和
非暂时性计算机可读存储介质，存储由所述一个或多个处理器可执行的指令，其中所述一个或多个处理器被配置为：
将视频图片分割成多个编码单元（CU），所述多个CU包括无损CU；以及
在CU级，基于第一预定义量化参数（QP）阈值来控制解码器侧运动矢量细化（DMVR）。
21.根据权利要求20所述的计算设备，其中所述第一预定义QP阈值小于或等于QP。
22.根据权利要求20所述的计算设备，其中所述一个或多个处理器被进一步配置为：
在所述CU级，基于第二预定义量化参数（QP）阈值来控制双向光流（BDOF）。
23.根据权利要求22所述的计算设备，其中所述第二预定义QP阈值小于或等于QP。
24.一种非暂时性计算机可读存储介质，存储多个程序，所述多个程序用于由具有一个或多个处理器的计算设备执行，其中当所述多个程序由所述一个或多个处理器执行时，所述多个程序使所述计算设备执行动作，所述动作包括：
在解码器处，将视频图片分割成多个编码单元（CU）；
在所述解码器处，获取残差块；以及
在块差分脉冲编解码调制（BDPCM）模式被应用于所述多个CU之后，在所述解码器处，将残差旋转应用于所述残差块。
25.根据权利要求24所述的非暂时性计算机可读存储介质，其中所述多个程序进一步使所述计算设备执行：
在所述解码器处并且当不使用变换时，将BDPCM模式应用于预测残差。
26. 根据权利要求25所述的非暂时性计算机可读存储介质，其中所述多个程序进一步使所述计算设备执行：
在所述解码器处，应用预测残差旋转；以及
在所述解码器处，使用变换系数编解码方案来对所述预测残差旋转进行解码。
27.根据权利要求24所述的非暂时性计算机可读存储介质，其中所述多个程序进一步使所述计算设备执行：
在所述解码器处，仅将残差旋转应用于非BDPCM块。
28.根据权利要求27所述的非暂时性计算机可读存储介质，其中所述多个程序进一步使所述计算设备执行：
当BDPCM模式未被应用于所述多个CU时，在所述解码器处，将残差旋转应用于所述多个CU。
CN202080073317.1A 2019-10-23 2020-10-23 用于视频编解码中的无损编解码模式的方法和设备 Pending CN114586355A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962925216P 2019-10-23 2019-10-23
US62/925216 2019-10-23
US201962946414P 2019-12-10 2019-12-10
US62/946414 2019-12-10
PCT/US2020/057172 WO2021081410A1 (en) 2019-10-23 2020-10-23 Methods and devices for lossless coding modes in video coding

Publications (1)

Publication Number Publication Date
CN114586355A true CN114586355A (zh) 2022-06-03

Family

ID=75620276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080073317.1A Pending CN114586355A (zh) 2019-10-23 2020-10-23 用于视频编解码中的无损编解码模式的方法和设备

Country Status (4)

Country Link
US (1) US20220248031A1 (zh)
EP (1) EP4049456A4 (zh)
CN (1) CN114586355A (zh)
WO (1) WO2021081410A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3120561B1 (en) 2014-03-16 2023-09-06 VID SCALE, Inc. Method and apparatus for the signaling of lossless video coding

Also Published As

Publication number Publication date
EP4049456A1 (en) 2022-08-31
US20220248031A1 (en) 2022-08-04
WO2021081410A1 (en) 2021-04-29
EP4049456A4 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
CN110463202B (zh) 一种用于解码视频数据的方法、装置和设备
CN111226438B (zh) 视频解码的方法及解码器
CN110719479B (zh) 跨分量编码信息导出
CN114731398B (zh) 视频译码中的跨分量自适应环路滤波器
JP7507169B2 (ja) 適応ループフィルタ処理のための境界ハンドリング
JP7433338B2 (ja) ビデオコーディング方法並びに装置及びコンピュータプログラム
KR20220162871A (ko) 비디오 코딩을 위한 방법 및 장치
JP2023120332A (ja) 画像の符号化および復号のための方法および装置
CN114765685A (zh) 基于多帧内预测模式的用于解码或编解码图像的技术
JP7343668B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
CN113261291A (zh) 基于多个参数的两步交叉分量预测模式
WO2020263493A1 (en) Method and system for processing luma and chroma signals
CN113507603A (zh) 图像信号编码/解码方法及其设备
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
CN115004697A (zh) 来自多个跨分量的预测
JP2022517488A (ja) エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
CN115066899A (zh) 编解码视频的可分二次变换处理
CN114747216A (zh) 多重转换选择的发信技术
CN114143548B (zh) 视频编解码中变换系数的编解码
WO2022066869A1 (en) Residual and coefficients coding for video coding
JP2024506156A (ja) ビデオ符号化のための残差および係数の符号化
CN113411613B (zh) 对图像块进行视频译码的方法、解码设备和编/解码器
JP2024515980A (ja) ビデオ符号化のための残差および係数の符号化
US20230188709A1 (en) Method and apparatus for patch book-based encoding and decoding of video data
CN113228651A (zh) 量化矩阵编码/解码方法和装置以及存储比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination