CN115462076A - 用于针对视频编解码的预测相关残差缩放的方法和设备 - Google Patents

用于针对视频编解码的预测相关残差缩放的方法和设备 Download PDF

Info

Publication number
CN115462076A
CN115462076A CN202180032197.5A CN202180032197A CN115462076A CN 115462076 A CN115462076 A CN 115462076A CN 202180032197 A CN202180032197 A CN 202180032197A CN 115462076 A CN115462076 A CN 115462076A
Authority
CN
China
Prior art keywords
samples
domain
prediction
luma
luma component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180032197.5A
Other languages
English (en)
Inventor
修晓宇
陈漪纹
马宗全
朱弘正
陈伟
王祥林
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202310215815.0A priority Critical patent/CN116193125A/zh
Publication of CN115462076A publication Critical patent/CN115462076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于降低具有色度缩放的亮度映射（LMCS）引入的解码时延的方法和设备。在一种方法中，在对编码单元(CU)进行解码期间，获得亮度分量在映射域中的多个重建样本，该编码单元在具有色度缩放的亮度映射（LMCS）框架下通过帧间模式或联合帧间帧内预测(CIIP)模式被编码，通过将亮度分量的多个重建样本从映射域转换到原始域，获得亮度分量在原始域中的多个经转换的样本，以及在导出用于解码CU的色度样本的缩放因子时，使用亮度分量在原始域中的多个经转换的样本，而不进行裁剪。

Description

用于针对视频编解码的预测相关残差缩放的方法和设备
相关申请的交叉引用
本申请要求于2020年4月30日提交的序列号为63/018249的美国临时专利申请的权益。出于所有目的，上述申请的全部公开内容通过整体引用而被并入本文。
技术领域
本公开总体上涉及视频编解码和压缩。更具体地，本公开涉及使用预测相关残差缩放对编码单元执行视频编解码的系统和方法。
背景技术
本章节提供了涉及本公开的背景信息。本章节内包含的信息不应一定被解释为现有技术。
可以使用各种视频编解码技术中的任一种来压缩视频数据。可以根据一种或多种视频编解码标准来执行视频编解码。一些说明性的视频编解码标准包括：通用视频编解码（VVC）、联合探索测试模型（JEM）编解码、高效视频编解码（H.265/HEVC）、高级视频编解码（H.264/AVC）和运动图片专家组（MPEG）编解码。
视频编解码通常采用预测方法（例如，帧间预测、帧内预测等），预测方法利用了视频图像或序列中固有的冗余。视频编解码技术的一个目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的下降。
HEVC标准的第一版于2013年10月最终确定，与上一代视频编解码标准H.264/MPEGAVC相比，它提供了大约50%的比特率节省或同等的感知质量。尽管HEVC标准比其前身提供了显著的编解码改进，但有证据表明，可以用附加的编解码工具来实现优于HEVC的编解码效率。基于此，VCEG和MPEG都开始了针对未来视频编解码标准化的新编解码技术的探索工作。2015年10月，ITU-T VECG和ISO/IEC MPEG成立了一个联合视频探索小组（JVET），开始对能够实现编解码效率的大幅提升的先进技术的重要研究。通过在HEVC测试模型（HM）之上集成若干附加的编解码工具，JVET维护了一个被称为联合探索模型（JEM）的参考软件。
2017年10月，ITU-T和ISO/IEC发布了关于具有超越HEVC的能力的视频压缩的联合提案征集（CfP）。2018年4月，在第10届JVET会议上，接收并评估了23份CfP响应，其展现出比HEVC高约40%的压缩效率增益。基于这样的评估结果，JVET启动了新的项目来开发新一代视频编解码标准，该标准被命名为通用视频编解码（VVC）。同月，建立了一个称为VVC测试模型（VTM）的参考软件，用于演示VVC标准的参考实施方案。
视频编解码中采用的预测方法通常包括执行空间（帧内）预测和/或时间（帧间）预测以减少或去除视频数据中固有的冗余，并且通常与基于块的视频编解码相关联。类似于HEVC，VVC建立在基于块的混合视频编解码框架之上。
在基于块的视频编解码中，输入视频信号被逐块处理。对于每个块（也称为编码单元（CU）），可以执行空间预测和/或时间预测。在较新的视频编解码标准（诸如当前的VVC设计）中，可以基于多类型树结构进一步分割块，多类型树结构不仅包括四叉树，还包括二叉树和/或三叉树。这允许更好地适配变化的局部特性。
空间预测（也称为“帧内预测”）使用来自同一视频图片/条带中已经编解码的相邻块的样本（其被称为参考样本）的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。
在解码过程期间，视频比特流首先在熵解码单元处被熵解码。编解码模式和预测信息被发送到空间预测单元（当被帧内编解码时）或时间预测单元（当被帧间编解码时），以形成预测块。残差变换系数被发送到逆量化单元和逆变换单元，以重建残差块。预测块和残差块然后被相加在一起。重建的块在其被存储在参考图片存储库之前，可以进一步经过环内滤波。参考图片存储库中的重建视频然后被发送出去以驱动显示设备，以及用于预测未来的视频块。
在较新的视频编解码标准（诸如当前的VVC设计）中，可以在环内滤波之前应用具有色度缩放的亮度映射（LMCS）的编解码工具。LMCS旨在调整输入信号的动态范围以提高编解码效率。
然而，LMCS的当前设计带来了对计算复杂度和片上存储器的额外要求，因为它在各种解码模块处在不同域映射之间的转换期间引入了冗余的裁剪。
发明内容
本章节提供了本公开的总体概述，并不是对其全部范围或其所有特征的全面公开。
根据本申请的第一方面，在对编码单元(CU)进行解码期间，获得亮度分量在映射域中的多个重建样本，该编码单元在LMCS框架下通过帧间模式或联合帧间帧内预测(CIIP)模式被编码，通过将亮度分量的多个重建样本从映射域转换到原始域中，获得亮度分量在原始域中的多个经转换的样本，以及在导出用于解码CU的色度样本的缩放因子时，使用亮度分量在原始域中的多个经转换的样本，而不进行裁剪。
根据本申请的第二方面，计算设备包括一个或多个处理器、存储器和存储在存储器中的多个程序。当这些程序由一个或多个处理器执行时，这些程序使得计算设备执行如上文在本申请的第一方面中描述的操作。
根据本申请的第三方面，一种非暂时性计算机可读存储介质存储多个程序，这些程序用于由具有一个或多个处理器的计算设备执行。当这些程序由一个或多个处理器执行时，这些程序使得计算设备执行如上文在本申请的第一方面中描述的操作。
附图说明
在下文中，将结合附图描述本公开的说明性、非限制性实施例的集合。相关领域的普通技术人员可以基于本文中给出的示例来实现结构、方法或功能的变型，并且这种变型都被包含在本公开的范围内。在不存在冲突的情况下，不同实施例的教导可以但不必彼此组合。
图1是阐述可以结合许多视频编解码标准使用的说明性的基于块的混合视频编码器的框图。
图2是阐述可以结合许多视频编解码标准使用的说明性的视频解码器的框图。
图3是可以结合许多视频编解码标准使用的多类型树结构中的块分割的图示。
图4是图示其中应用了LMCS的解码过程的流程图。
图5是BDOF过程的图示。
图6是图示当启用DMVR、BDOF和CIIP全部三者时LMCS中的色度残差缩放的工作流程的流程图。
图7是图示预测相关残差缩放（PDRS）过程的步骤的流程图。
图8是图示当PDRS过程被应用在LMCS过程中时的解码过程的工作流程的流程图。
图9是仅使用预测样本来导出缩放因子所导致的残差映射误差的图示。
图10是图示一个色度样本重建过程的步骤的流程图。
图11是图示第二色度样本重建过程的步骤的流程图。
图12是图示第二色度样本重建过程的一个示例中的LMCS解码过程的工作流程的流程图，其中没有应用DMVR、BDOF和CIIP来生成用于色度缩放的亮度预测样本。
图13是图示第二色度样本重建过程的第二示例中的LMCS解码过程的工作流程的流程图，其中应用初始单向预测信号来生成用于色度缩放的亮度预测样本。
图14是图示一个色度残差样本重建过程的步骤的流程图。
图15是图示色度残差样本重建过程的一个或多个实施例中的LMCS解码过程的工作流程的流程图。
图16是图示色度残差样本重建过程的另一实施例中的LMCS解码过程的工作流程的流程图。
图17是图示第二色度残差样本重建过程的步骤的流程图。
图18是图示非裁剪色度残差缩放因子导出过程的步骤的流程图。
图19是在非裁剪色度残差缩放因子导出过程的示例中涉及的区域的图示。
图20是图示本公开一个或多个实施例的步骤的流程图。
图21是图示本公开的一个或多个实施例的步骤的流程图。
图22是图示本公开的其他一个或多个实施例的步骤的流程图。
具体实施方式
本公开中使用的术语旨在说明特定实施例，而不是限制本公开。如在本公开以及所附权利要求中所使用的，单数形式“一”、“一个”和“该”也指代复数形式，除非在上下文中明确地包含其他含义。还应当理解，如本文所使用的术语“和/或”指代一个或多个相关联的列出项目的任何或所有可能的组合。
应当理解，尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种信息，但是这些信息不应当被这些术语限制。这些术语仅用于区分一类信息和另一类信息。例如，在不脱离本公开的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，取决于上下文，术语“如果”可以被理解为意味着“当……时”或“一经……”或“响应于”。
贯穿本说明书，以单数或复数形式提及“一个实施例”、“实施例”、“另一实施例”等意味着结合实施例描述的一个或多个特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书，短语“在一个实施例中”或“在实施例中”、“在另一实施例中”等在各处以单数或复数出现不一定都指代同一实施例。此外，一个或多个实施例中的特定特征、结构或特性可以以任何合适的方式被组合。
从概念上讲，许多视频编解码标准是类似的，包括先前在背景技术章节中提到的那些标准。例如，几乎所有的视频编解码标准都使用基于块的处理，并且共享类似的视频码块框图来实现视频压缩。
图1示出了说明性的基于块的混合视频编码器100的框图，混合视频编码器100可以与许多视频编解码标准结合使用。在编码器100中，视频帧被分割成多个视频块以供处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建的帧的像素来通过运动估计和运动补偿形成一个或多个预测值。在帧内预测中，基于当前帧中重建的像素来形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。
表示当前视频块与其预测值之间的差的预测残差被发送到变换电路系统102。变换系数然后从变换电路系统102被发送到量化电路系统104，以用于熵减少。量化的系数然后被馈送到熵编码电路系统106中，以生成压缩视频比特流。如图1所示，来自帧间预测电路系统和/或帧内预测电路系统112的预测相关信息110（诸如视频块分割信息、运动矢量、参考图片索引和帧内预测模式）也通过熵编码电路系统106被馈送并保存到压缩视频比特流114中。
在编码器100中，还需要解码器相关的电路系统，以便出于预测的目的而重建像素。首先，通过逆量化116和逆变换电路系统118来重建预测残差。该重建的预测残差与块预测值120相结合，以生成针对当前视频块的未滤波的重建像素。
时间预测（也称为“帧间预测”或“运动补偿预测”）使用来自已经编解码的视频图片的重建像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。通常通过一个或多个运动矢量（MV）来用信号发送用于给定CU的时间预测信号，该一个或多个MV指示当前CU与其时间参考之间的运动量和运动方向。另外，如果支持多个参考图片，则附加地发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储库中的哪个参考图片。
在空间和/或时间预测被执行之后，编码器100中的帧内/帧间模式决策电路系统121选择最佳预测模式，例如基于率失真优化方法。块预测值120然后从当前视频块中被减去；并且使用变换电路系统102和量化电路系统104将得到的预测残差去相关。得到的量化残差系数由逆量化电路系统116逆量化并且由逆变换电路系统118逆变换，以形成重建的残差，该重建的残差然后被加回到预测块，以形成CU的重建信号。在重建的CU被放入图片缓冲器117的参考图片存储库并且用于编码未来的视频块之前，可以对重建的CU进一步应用环内滤波115，诸如去块滤波器、样本自适应偏移（SAO）、和/或自适应环内滤波器（ALF）。为了形成输出视频比特流114，编解码模式（帧间或帧内）、预测模式信息、运动信息以及量化残差系数都被发送到熵编码单元106，以被进一步压缩和打包以形成比特流。
例如，去块滤波器在AVC、HEVC、以及VVC的当前版本中是可用的。在HEVC中，定义了一种被称为SAO（样本自适应偏移）的附加环内滤波器，以进一步提高编解码效率。在VVC标准的当前版本中，正在积极研究被称为ALF（自适应环内滤波器）的又一种环内滤波器，并且其具有很大机会被纳入最终标准中。
这些环内滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可以作为由编码器100呈现的决策而被关闭，以节省计算复杂度。
应当注意，帧内预测通常基于未滤波的重建像素，而如果编码器100开启了这些滤波器选项，则帧间预测基于滤波的重建像素。
图2是阐述可以结合许多视频编解码标准使用的说明性的视频解码器200的框图。该解码器200类似于图1的编码器100中的重建相关部分。在解码器200（图2）中，传入的视频比特流201首先通过熵解码202被解码，以导出量化的系数级别和预测相关信息。量化的系数级别然后通过逆量化204和逆变换206被处理，以获得重建的预测残差。在帧内/帧间模式选择器212中实施的块预测值机制被配置为基于已解码的预测信息，执行帧内预测208或运动补偿210。通过使用加法器214，将来自逆变换206的重建的预测残差和由块预测值机制生成的预测输出相加，来获得一组未滤波的重建像素。
重建的块在其被存储在充当参考图片存储库的图片缓冲器213中之前，可以进一步经过环内滤波器209。图片缓冲器213中的重建视频然后可以被发送出去以驱动显示设备，以及用于预测未来的视频块。在环内滤波器209被开启的情况下，对这些重建像素执行滤波操作，以导出最终重建的视频输出222。
在诸如HEVC的视频编解码标准中，可以基于四叉树来分割块。在较新的视频编解码标准（诸如当前的VVC）中，采用了更多的分割方法，并且一个编码树单元（CTU）可以基于四叉树、二叉树或三叉树而被拆分成CU，以适配变化的局部特性。在当前的VVC中的大多数编解码模式中，不存在CU、预测单元（PU）和变换单元（TU）的分离，而是每个CU总是被用作用于预测和变换两者的基本单元，而没有进一步的分割。然而，在一些特定的编解码模式（诸如帧内子分割编解码模式）中，每个CU仍然可以包含多个TU。在多类型树结构中，一个CTU首先通过四叉树结构被分割。然后，每个四叉树叶节点可以通过二叉树结构和三叉树结构被进一步分割。
图3示出了当前的VVC中采用的五种分割类型，即四元分割301、水平二元分割302、垂直二元分割303、水平三元分割304和垂直三元分割305。在利用多类型树结构的情况下，一个CTU首先被四叉树结构分割。然后，每个四叉树叶节点可以通过二叉树结构和三叉树结构被进一步分割。
使用图3的示例性块分割301、302、303、304或305中的一个或多个，可以使用图1所示的配置来执行空间预测和/或时间预测。空间预测（或“帧内预测”）使用来自同一视频图片/条带中已经编解码的相邻块的样本（其被称为参考样本）的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。
在较新的视频编解码标准（诸如当前的VVC）中，添加了一种新的编解码工具：具有色度缩放的亮度映射（LMCS）。LMCS被添加作为一种新的编解码工具，其在环内滤波器（例如，去块滤波器、SAO和ALF）之前被应用。
一般而言，LMCS具有两个主要模块：第一个，基于自适应分段线性模型的亮度分量的环内映射；第二个，亮度相关的色度残差缩放。
图4示出了其中应用了LMCS的经修改的解码过程。在图4中，某些块表示在映射域中实施的解码模块，这些解码模块包括熵解码401、逆量化402、逆变换403、亮度帧内预测404和亮度样本重建405（即，亮度预测样本Y’ pred 和亮度残差样本Y’ res 相加以产生重建亮度样本Y’ recon ）。某些其他块指示在原始（即，非映射）域中实施的解码模块，这些解码模块包括运动补偿预测409、色度帧内预测412、色度样本重建413（即，色度预测样本C pred 和色度残差样本C res 相加以产生重建色度样本C recon ）和环内滤波器处理407（涵盖了去块、SAO和ALF）。另外一组块表示由LMCS引入的新操作模块，包括亮度样本的前向映射410和逆向（或后向）映射406、以及色度残差缩放411。此外，如图4所示，存储在解码图片缓冲器（DPB）408（针对亮度）和415（针对色度）中的所有参考图片都在原始域中。
LMCS的环内映射旨在调整输入信号的动态范围以提高编解码效率。现有LMCS设计中的亮度样本的环内映射建立在两个映射函数之上：一个前向映射函数 FwdMap和一个对应的逆映射函数 InvMap。使用具有16个等大小的区段的一个分段线性模型，将前向映射函数从编码器用信号发送到解码器。可以从前向映射函数中直接导出逆映射函数，并且因此不需要用信号发送该逆映射函数。
在条带级别用信号发送亮度映射模型的参数。首先用信号发送存在标记，以指示是否要针对当前条带来用信号发送亮度映射模型。如果当前条带中存在亮度映射模型，则进一步用信号发送对应的分段线性模型参数。基于分段线性模型，输入信号的动态范围被分割成原始域中的16个大小相等的区段，并且每个区段被映射到对应的区段。针对原始域中的给定区段，其在映射域中的对应区段可以具有相同或不同的大小。映射域中的每个区段的大小由该区段的码字（即，映射样本值）的数量来指示。针对原始域中的每个区段，可以基于其在映射域中的对应区段中的码字的数量来导出线性映射参数。例如，当输入在10位深度内时，原始域中的16个区段中的每一个具有64个像素值，如果映射域中的每一个区段也具有分配给它的64个码字，则它指示简单的一对一映射（即，其每个样本值都不改变的映射）。映射域中的每个区段的用信号发送的码字的数量用于计算缩放因子，并且相应地针对该区段来调整映射函数。附加地，在条带级别，用信号发送另一LMCS控制标记以启用/禁用针对该条带的LMCS。
针对每个区段，如紧随本段落之后的框中所描述的那样定义对应的分段线性模型：
Figure 594311DEST_PATH_IMAGE001
如图4所图示，在LMCS过程期间，需要在两个不同的域中进行操作。对于通过帧间预测模式被编码的每个CU（“帧间CU”），在原始域中执行其运动补偿预测。然而，因为亮度分量的重建（即，亮度预测样本和亮度残差样本的相加）是在映射域中执行的，所以需要在通过前向映射函数410将经运动补偿的亮度预测Y pred 从原始域映射到映射域中的值Y’ pred （即Y’ pred = FwdMap(Y pred )）之后，将Y’ pred 用于像素重建405。另一方面，对于通过帧内预测模式被编码的每个CU（“帧内CU”），在Y’ pred 用于像素重建405之前，在给定了在映射域（如图4所示）中执行帧内预测404的情况下，不需要对预测样本的映射。最后，在生成重建亮度样本Y’ recon 之后，应用后向映射函数406以在进行到亮度DPB 408之前将重建亮度样本Y’ recon 转换回原始域中的值Y recon ，即，Y recon = InvMap(Y’ recon )。与仅需要针对帧间CU而应用的对预测样本的前向映射410不同，对重建样本的后向映射406需要被应用于帧间CU和帧内CU两者。
总之，在解码器侧，当前LMCS的环内亮度映射是以这种方式实施的：如果需要，首先将亮度预测样本Y pred 转换到映射域：Y’ pred = FwdMap(Y pred )。然后，将所映射的预测样本与所解码的亮度残差相加，以在映射域中形成重建亮度样本： Y’ recon = Y’ pred + Y’ res 。最后，应用逆映射以将重建亮度样本Y’ recon 转换回原始域：Y recon = InvMap(Y’ recon )。在编码器侧，因为亮度残差在映射域中被编码，所以它们作为所映射的亮度原始样本与映射的亮度预测样本之间的差而被生成：Y’ res = FwdMap(Y org ) - FwdMap(Y pred )。
LMCS滤波的第二步骤（亮度相关的色度残差缩放）被设计成：当环内映射被应用于亮度信号时，补偿亮度信号与其对应的色度信号之间的量化精度的相互影响。色度残差缩放被启用还是被禁用也在条带报头中被用信号发送。如果亮度映射被启用，并且如果针对当前条带禁用了亮度和色度分量的二叉树分割，则用信号发送附加标记，以指示亮度相关的色度残差缩放是否被应用。当没有使用亮度映射或针对当前条带启用了二叉树分割时，亮度相关的色度残差缩放始终被禁用。附加地，针对包含小于或等于四个色度样本的CU始终禁用色度残差缩放。
对于帧内CU和帧间CU两者，用于缩放色度残差的缩放参数取决于对应的所映射的亮度预测样本的平均值。如紧随本段落之后的框中所描述的那样导出缩放参数：
Figure 825966DEST_PATH_IMAGE002
图4还图示了用于亮度相关的色度残差缩放的亮度预测样本的平均值的计算。针对帧间CU，将经前向映射的亮度预测Y’ pred 与经缩放的色度残差C resScale 一起馈送到色度残差缩放411中，以导出色度残差C res ，色度残差C res 与色度预测C pred 一起被馈送到色度重建413中，以便导出经重建的色度值C recon 。针对帧内CU，帧内预测404产生已经在映射域中的Y’ pred ，并且它以与针对帧间CU类似的方式被馈送到色度残差缩放411中。
与基于样本执行的亮度映射不同，C ScaleInv 对于整个色度CU是固定的。在给定C ScaleInv 的情况下，如紧随本段落之后的框中所描述的那样应用色度残差缩放。
Figure 668020DEST_PATH_IMAGE003
在较新的视频编解码标准（诸如当前的VVC）中，引入了新的编解码工具，并且新的编解码工具的一些示例是：双向光流（BDOF）、解码器侧运动矢量细化（DMVR）、联合帧间帧内预测（CIIP）、仿射模式、以及用于仿射模式的利用光流的预测细化（PROF）。
在当前的VVC中，应用双向光流（BDOF）来细化双向预测的码块的预测样本。
图5是BDOF过程的图示。BDOF是当使用双向预测时在基于块的运动补偿预测之上执行的逐样本运动细化。在子块周围的一个6×6窗口Ω内应用BDOF之后，通过最小化参考图片列表0（L0）和参考图片列表1（L1）预测样本502和503之间的差来计算每个4×4子块501的运动细化(v x , v y )。
具体地，如紧随本段落之后的框中所描述的那样导出运动细化(v x , v y )的值。
Figure 125546DEST_PATH_IMAGE004
紧接的上文框中的值S1、S2、S3、S5和S6如紧随本段落之后的框中所描述的那样被进一步计算。
Figure 939918DEST_PATH_IMAGE005
紧接的上文框中的值
Figure 824697DEST_PATH_IMAGE006
是在列表k（k=0, 1）中的预测信号的坐标处(i, j)处的样本值，其以中间高精度（即，16位）被生成；并且值
Figure 655512DEST_PATH_IMAGE007
和
Figure 41363DEST_PATH_IMAGE008
是通过直接计算其两个相邻样本之间的差而获得的样本的水平和垂直梯度。
Figure 274024DEST_PATH_IMAGE007
和
Figure 18120DEST_PATH_IMAGE008
的值如紧随本段落之后的框中所描述的那样被计算。
Figure 834766DEST_PATH_IMAGE009
基于导出的运动细化（该运动细化如紧随上文段落[0072]之后的框中所描述的而被导出），通过基于光流模型沿着运动轨迹来内插L0/L1预测样本而计算出CU的最终双向预测样本，如紧随本段落之后的框中所指示的那样。
基于上文描述的位深度控制方法，保证了整个BDOF过程的中间参数的最大位深度不超过32位，并且乘法的最大输入在15位内，即，一个15位乘法器对于BDOF实施方案是足够的。
Figure 634095DEST_PATH_IMAGE010
DMVR是一种双向预测技术，该技术用于合并具有两个初始的用信号发送的MV的块，可以通过使用双边匹配预测来进一步细化这两个MV。
具体地，在DMVR中，双边匹配用于通过在两个不同参考图片中沿着当前CU的运动轨迹的两个块之间寻找最佳匹配来导出当前CU的运动信息。匹配过程中所使用的成本函数是行子采样的SAD（绝对差的总和）。在匹配过程完成之后，在预测阶段中将经细化的MV用于运动补偿，将后续图片的时间运动矢量预测和未经细化的MV用于当前CU的运动矢量与其空间邻域的运动矢量之间的运动矢量预测。
在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应与当前图片与两个参考图片之间的时间距离（即，TD0和TD1）成比例。作为一种特殊情况，当当前图片在时间上处于两个参考图片之间并且从当前图片到两个参考图片的时间距离相同时，双边匹配变成基于镜像的双向MV。
在当前的VVC中，帧间和帧内预测方法被用在混合视频编解码方案中，其中每个PU仅被允许选择帧间预测或帧内预测以利用时间域或空间域（而绝不是同时两者）中的相关性。然而，如先前文献中所指出的，由帧间预测块和帧内预测块生成的残差信号可能呈现彼此非常不同的特性。因此，如果这两种预测能够以高效的方式被组合，则可以预期一种更准确的预测，以降低预测残差的能量，并且因此提高编解码效率。附加地，在自然视频内容中，运动对象的运动可能是复杂的。例如，可能存在既包含旧内容（例如，被包括在先前编解码的图片中的对象）又包含出现的新内容（例如，在先前编解码的图片中被排除的对象）的区域。在这种场景中，帧间预测或帧内预测都不能够提供一种对当前块的准确预测。
为了进一步提高预测效率，在VVC标准中采用了联合帧间帧内预测（CIIP），联合帧间帧内预测（CIIP）组合了通过合并模式被编码的一个CU的帧内预测和帧间预测。具体地，针对每个合并CU，用信号发送一个附加标记以指示是否针对当前CU启用CIIP。当该标记等于1时，CIIP仅应用平面模式来生成亮度和色度分量的帧内预测样本。附加地，应用相等的权重（即，0.5）来对帧间预测样本和帧内预测样本取平均，作为CIIP CU的最终预测样本。
VVC还支持用于运动补偿预测的仿射模式。在HEVC中，仅平移运动模型被应用于运动补偿预测。而在现实世界中，存在许多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，通过针对每个帧间码块用信号传送一个标记来指示是平移运动模型还是仿射运动模型被应用于帧间预测，来应用仿射运动补偿预测。在当前的VVC设计中，对于一个仿射码块，支持两种仿射模式，包括四参数仿射模式和六参数仿射模式。
四参数仿射模型具有以下参数：分别用于水平和垂直方向上的平移运动的两个参数、用于针对两个方向的缩放运动的一个参数和用于针对两个方向的旋转运动的一个参数。水平缩放参数等于垂直缩放参数。水平旋转参数等于垂直旋转参数。为了实现运动矢量和仿射参数的更好适应，在VVC中，这些仿射参数被转变成位于当前块的左上角和右上角处的两个MV（其也被称为控制点运动矢量（CPMV））。块的仿射运动场由两个控制点MV（V0，V1）描述。
基于控制点运动，一个仿射码块的运动场（v x ，v y ）如紧随本段落之后的框中所描述的那样被计算。
Figure 157480DEST_PATH_IMAGE011
六参数仿射模式具有以下参数：分别用于水平和垂直方向上的平移运动的两个参数、用于水平方向上的缩放运动的一个参数和用于旋转运动的一个参数、用于垂直方向上的缩放运动的一个参数和用于旋转运动的一个参数。六参数仿射运动模型在三个CPMV处利用三个MV被编解码。
一个六参数仿射块的三个控制点位于块的左上角、右上角和左下角处。左上控制点处的运动与平移运动相关，并且右上控制点处的运动与水平方向上的旋转和缩放运动相关，并且左下控制点处的运动与垂直方向上的旋转和缩放运动相关。与四参数仿射运动模型相比，六参数的水平方向上的旋转和缩放运动可以与垂直方向上的旋转和缩放运动不相同。
假设（V0，V1，V2）是当前块的左上角、右上角和左下角的MV，则每个子块的运动矢量（v x ，v y ）使用控制点处的三个MV被导出，如紧随本段落之后的框中所描述的那样。
Figure 649641DEST_PATH_IMAGE012
为了提高仿射运动补偿精度，在当前的VVC中正在研究利用光流的预测细化（PROF），利用光流的预测细化基于光流模型来细化基于子块的仿射运动补偿。具体地，在执行基于子块的仿射运动补偿之后，通过基于光流等式导出的一个样本细化值来修改一个仿射块的亮度预测样本。PROF的操作可以详细地总结为以下四个步骤。
在步骤一中，执行基于子块的仿射运动补偿，以使用子块MV来生成子块预测I(i, j)，所述子块MV是针对四参数仿射模型在紧随第[0084]段之后的框中以及针对六参数仿射模型在紧随第[0087]段之后的框中导出的。
在步骤二中，每个预测样本的空间梯度g x ( i, j)和g y ( i, j)如紧随本段落之后的框中所描述的那样被计算。
Figure 891267DEST_PATH_IMAGE013
仍在步骤二中，为了计算梯度，需要在一个子块的每一侧上生成预测样本的一个附加的行/列。为了减少存储器带宽和复杂度，从参考图片中最近的整数像素位置复制扩展的边界上的样本，以避免附加的内插过程。
在步骤三中，如紧随本段落之后的框中所描述的那样计算亮度预测细化值。
Figure 730172DEST_PATH_IMAGE014
附加地，在当前的PROF设计中，在将预测细化添加到原始预测样本之后，执行一个裁剪操作作为第四步骤，以将经细化的预测样本的值裁剪到15位内，如紧随本段落之后的框中所描述的那样。
Figure 373643DEST_PATH_IMAGE015
因为仿射模型参数以及相对于子块中心的像素位置不从子块到子块而改变，所以可以针对第一个子块来计算
Figure 771126DEST_PATH_IMAGE016
，并且将其重新用于相同CU中的其他子块。假设
Figure 562365DEST_PATH_IMAGE017
和
Figure 703496DEST_PATH_IMAGE018
是从样本位置(i, j)到样本所属的子块的中心的水平和垂直偏移量，则可以如紧随本段落之后的框中所描述的那样导出
Figure 201474DEST_PATH_IMAGE016
。
Figure 973121DEST_PATH_IMAGE019
基于上文紧随第[0084]段和[0087]段之后的框中的仿射子块MV导出等式，可以如紧随本段落之后的框中所描述的那样导出MV差
Figure 487541DEST_PATH_IMAGE016
。
Figure 370046DEST_PATH_IMAGE020
根据当前的LMCS设计，色度残差样本基于它们对应的亮度预测样本而被缩放。当针对帧间CU启用较新的编解码工具时，用于通过此帧间CU中的LMCS来缩放色度残差样本的亮度预测样本是在这些较新的编解码工具的连续应用结束时获得的。
图6是图示当启用DMVR、BDOF和CIIP全部三个时LMCS中的色度残差缩放的工作流程的流程图。来自亮度L0预测值601和L1预测值602的输出被顺序地馈送到DMVR 603和BDOF604中，并且所得的亮度帧间预测值621与来自亮度帧内预测605的亮度帧内预测值622一起被馈送到取平均606中，以产生平均亮度预测值623，平均亮度预测值623与色度残差608一起被馈送到色度残差缩放607中，使得色度残差缩放607、色度预测610和色度重建609可以合作以产生最终结果。
当前的LMCS设计对视频解码过程提出了三个挑战。第一，不同域之间的映射需要额外的计算复杂度和片上存储器。第二，亮度和色度缩放因子导出使用不同的亮度预测值这一事实引入了额外的复杂度。第三，LMCS与较新的编解码工具之间的交互将时延引入到解码过程中。
第一，在当前的LMCS设计中，原始域的重建样本和映射域中的重建样本二者在各种解码模块处都被使用。结果，这些样本通常需要在不同解码模块之间从一个域被转换到另一个域，这可能会引起更高的计算复杂度和更多的片上存储器两者。
具体地，对于帧内模式、CIIP模式和IBC模式，来自一个当前CU的相邻重建区域的映射域参考样本被用于生成预测样本。但是对于帧间模式，使用时间参考图片的原始域重建样本作为参考来执行运动补偿预测。存储在DPB中的重建样本也在原始域中。
例如，对于帧间CU，因为亮度重建操作（即，将预测样本和残差样本相加在一起）是在映射域中执行的，所以在原始域中生成的帧间预测亮度样本需要在被用于亮度样本重建之前被转换到映射域。在另一示例中，对于帧内和帧间CU两者，在将重建亮度样本存储在DPB中之前，始终应用逆向（或后向）映射来将重建亮度样本从映射域转换到原始域。这种设计不仅由于附加的前向/逆向映射操作而增加了计算复杂度，而且还需要更多的片上存储器来维护重建样本的多个版本。
在实际的硬件实施方案中，前向和逆向（或后向）映射函数FwdMap和InvMap可以使用查找表（LUT）或实时计算来实现。当使用基于LUT的解决方案时，可以预先计算来自函数FwdMap、InvMap和cScaleInv的可能的输出元素，并将其预先存储为LUT，然后可以将其用于当前条带中所有CU的亮度映射和色度残差缩放操作。假设输入视频是10位的，则在针对FwdMap和InvMap的每个LUT中存在2 10 = 1024个元素，并且LUT中的每个元素具有10位。因此，前向和逆向亮度映射的LUT的总存储量等于2 * 1024 *10 = 20480位= 2560字节。另一方面，为了导出色度缩放参数C ScaleInv ，需要在编码器和解码器处维护一个16项LUT表cScaleInv，并且每个色度缩放参数以32位来存储。相应地，用于存储LUT cScaleInv的存储器大小等于16 * 32 = 512位= 64字节。2560和64之间的差显示了前向和逆向（后向）映射操作所需的额外片上存储器的规模。
此外，在较新的视频编解码标准（诸如当前的VVC）中，帧内预测和去块滤波器两者都使用上述相邻块的重建样本。因此，当前图片/条带的宽度中的额外一行重建样本可能需要保持在缓冲器中，该缓冲器在视频编解码中也被称为“行缓冲器”。行缓冲器中的重建样本至少被用作针对位于一个CTU内部的第一行中的CU的帧内预测和去块操作的参考。根据现有的LMCS设计，帧内预测和去块滤波器使用不同域中的重建样本。因此，为了存储原始和映射域重建样本两者，附加的片上存储器变得必要，这可能使行缓冲器大小近似地加倍。
避免行缓冲器大小加倍的一种实施方案选择是实时执行域映射操作。然而，这是以不可忽略的计算复杂度增加为代价的。
因此，由于所需的不同域之间的映射，LMCS的当前设计将需要额外的计算复杂度和片上存储器。
第二，尽管LMCS的当前设计中的亮度和色度缩放因子导出方法二者都使用亮度预测样本值来导出对应的缩放因子，但是它们的对应操作之间存在差异。
对于亮度残差缩放，通过允许每个亮度残差样本具有其自己的缩放因子来逐样本导出缩放因子。然而，对于色度残差缩放，缩放因子对于整个CU是固定的，即CU内的所有色度残差样本共享相同的缩放因子，该缩放因子是基于映射的亮度预测样本的平均值来计算的。
而且，两个不同的LUT用于计算亮度和色度残差的缩放因子。具体地，亮度LUT的输入是原始亮度预测样本值的映射模型区段索引，而色度LUT的输入是映射的亮度预测样本的平均值的映射模型区段索引。
这种差异将额外的复杂度引入到编解码过程中，并且用于亮度和色度缩放因子导出的协调的方法是期望的。
第三，对于LMCS的当前设计的色度残差缩放，可以顺序地调用较新的编解码工具（诸如DMVR、BDOF和CIIP全部三个模块）来生成亮度预测样本，亮度预测样本然后用于确定色度残差的缩放因子。在给定这三个模块的高计算复杂度的情况下，在执行LMCS的色度残差缩放之前进行等待直到它们成功完成为止可能引起色度样本的解码的严重时延。对于仿射CU，PROF过程也可能具有时延问题，这是因为每个仿射CU可能执行PROF过程，接着是LMCS，其也可能引起色度样本的解码的时延问题。
此外，在LMCS的当前设计中，在色度残差缩放因子导出过程期间执行了不必要的裁剪操作，进一步增加了对计算复杂度和片上存储器的额外要求。
本公开旨在解决或减轻LMCS的当前设计所带来的这些挑战，更具体地，本公开讨论了针对硬件编解码器实施方案的可以减少LMCS的复杂度同时保持编解码增益的方案。
代替于使用通过映射操作来转换预测/重建样本的现有LMCS框架，提出了一种被称为预测相关残差缩放（PDRS）的新方法，以在没有样本映射的情况下直接缩放预测残差。所提出的方法可以实现与LMCS类似的效果和编解码效率，但实施方案复杂度要低得多。
在PDRS过程中，如图7所图示，获得用于解码亮度残差样本的亮度预测样本（701），使用亮度预测样本来导出缩放因子（702），使用缩放因子来缩放亮度残差样本（703），以及通过将亮度预测样本和经缩放的亮度残差样本相加来计算重建亮度样本（704）。
与在计算亮度预测残差之前将预测/重建亮度样本直接转换到映射域的现有LMCS方法不同，在所提出的PDRS过程的方法中，亮度预测残差样本以与原始域中的常规预测过程中相同的方式被导出，而没有任何映射操作，随后是对亮度预测残差的缩放操作。亮度预测残差的缩放取决于对应的亮度预测样本值和分段线性模型。结果，当前LMCS设计中的前向和逆向亮度映射操作可以被完全丢弃，解码过程期间所涉及的所有预测和重建样本都保持在原始样本域中。基于上述特点，所提出的方法被命名为预测相关残差缩放。
图8是图示当PDRS过程被应用在LMCS过程中时的解码过程的工作流程的流程图。它图示了对不同域之间进行映射的需求的去除。现在，除了残差解码模块（例如，熵解码801、逆量化802和逆变换803），所有其他解码模块（包括帧内和帧间预测804、809、812和816，重建806和813，以及所有环内滤波器807和814）都在原始域中操作。具体地，为了对亮度样本进行重建，在PDRS过程中所提出的方法仅需要将亮度预测残差样本Y res 去缩放回它们的原始幅值水平，然后将它们加到亮度预测样本Y pred 上。
利用PDRS过程，现有LMCS设计中的前向和逆向亮度样本映射操作被完全去除。这不仅节省/减少了计算复杂度，而且减少了用于保存LMCS参数的潜在存储库的大小。例如，当基于LUT的解决方案用于实施亮度映射时，在所提出的方法中不再需要先前用于存储两个映射LUT FwdMap[]和InvMap[]（大约2560字节）的存储库。此外，与需要在原始和映射域两者中存储重建亮度样本的现有亮度映射方法不同，在PDRS过程中所提出的方法仅在原始域中生成和维护所有预测和重建样本。相应地，与现有的亮度映射相比，在PDRS过程中所提出的方法可以有效地将用于存储帧内预测和去块的重建样本的行缓冲器大小减少一半。
根据PDRS过程的一个或多个实施例，亮度预测样本和亮度残差样本来自亮度预测块及其相关联的残差块中的同一个并置位置。
根据PDRS过程的一个或多个实施例，使用亮度预测样本来导出缩放因子包括：将可能的亮度预测样本值的全范围划分成多个亮度预测样本区段，基于预定义的分段线性模型，针对多个亮度预测样本区段中的每一个，计算一个缩放因子，以及基于多个亮度预测样本区段的缩放因子来确定亮度预测样本的缩放因子。
在一个示例中，基于多个亮度预测样本区段的缩放因子来确定亮度预测样本的缩放因子包括：将亮度预测样本分配到多个亮度预测样本区段中的一个区段中，以及计算亮度预测样本的缩放因子作为所分配的亮度预测样本区段的缩放因子。
在该示例中，多个亮度预测样本区段包括预定义的16段LUT表scaleForward中的16个区段，并且用于针对多个亮度预测样本区段中的每一个计算一个缩放因子的预定义的分段线性模型包括与预定义的LUT表scaleForward中的16个区段对应的16个值。
在同一示例中，缩放因子基于所分配的亮度预测样本区段而被计算，如紧随本段落之后的框中所描述的那样。
Figure 722530DEST_PATH_IMAGE021
在同一示例中，在给定亮度缩放因子Scale Y 的情况下，可以如紧随本段落之后的框中所描述的那样应用亮度残差样本缩放方法。
该示例背后的动机是，当前LMCS中的前向映射基于一个分段线性模型。如果原始亮度样本和亮度预测样本两者都位于同一分段（即，由两个枢轴点InputPivot[i]和InputPivot[i+1]定义的同一区段），则原始和预测亮度样本的两个前向映射函数变得完全相同。相应地，其导致Y’ res =FwdMap(Y org )-FwdMap(Y pred )=FwdMap(Y org -Y pred )==FwdMap(Y res )。通过在该等式的两侧应用逆映射，对应的解码器侧重建操作可以被表示为：Y recon = Y pred + InvMap(Y’ res )。
换句话说，在原始亮度样本和亮度预测样本两者都位于同一分段处的情况下，可以通过解码过程中的一个残差缩放操作来实现LMCS中的亮度映射方法，如在该可能的实施方案中所实施的。
Figure 727395DEST_PATH_IMAGE022
尽管这种结论是基于（原始亮度样本和亮度预测样本两者都位于由两个枢轴点InputPivot[i]和InputPivot[i+1]定义的同一区段中的）假设而导出的，但是即使当原始亮度样本和亮度预测样本位于分段线性模型的不同区段中时，该示例的这种可能的实施方案也仍然可以在任何情况下被用作针对VVC中的现有亮度映射操作的简化和/或近似。实验结果显示，这种简化和/或近似几乎不影响编解码性能。
重申一下，该示例是基于这样的假设：原始和预测亮度样本值两者都位于分段线性模式的同一区段中。在这种情况下，应用于原始和预测亮度样本的前向/逆向映射函数是相同的；因此，仅根据亮度预测样本来计算对应的残差缩放因子是安全的。
然而，当CU的预测样本不够准确时（例如，对于帧内预测CU，其中远离参考样本的样本通常预测得不太准确），预测样本和原始样本通常位于分段线性模型的不同区段中。在这种情况下，基于预测样本值而被导出的缩放因子在反映原始（即，非映射）域中的残差样本和映射域中的残差样本之间的原始映射关系方面可能是不可靠的。
图9是仅使用预测样本来导出缩放因子所导致的残差映射误差的图示。在图9中，三角形实心点表示分段线性函数中不同区段的枢轴控制点，并且圆形实心点表示原始和预测样本值；Y org 和Y pred 是原始（即，非映射）域中的原始和预测样本；Y’ org 和Y’ pred 分别是Y org 和Y pred 的映射样本。Y res 和Y’ res 是当VVC中的现有的基于样本的亮度映射方法被应用时原始域和映射域中的对应残差；Y’ resScale 是基于所提出的亮度残差缩放方案而被导出的映射残差样本。如图9所示，因为原始样本和预测样本不在分段线性模型的同一区段中，所以基于预测样本而被导出的缩放因子可能不足够精确地生成近似于映射域中的原始残差（即，Y’ res ）的缩放残差（即，Y’ resScale ）。
在第二示例中，不需要假设原始和预测亮度样本值两者都位于分段线性模式的相同区段中的假设。
在该第二示例中，代替于直接从亮度预测样本所在的分段线性模型的区段中导出缩放因子，将缩放因子计算为N（N是正整数）个相邻区段的缩放因子的平均值。
在该第二示例中，基于多个亮度预测样本区段的缩放因子来确定亮度预测样本的缩放因子包括：将亮度预测样本分配到多个亮度预测样本区段中的一个区段中，以及将亮度预测样本的缩放因子计算为与所分配的亮度预测样本区段相邻的多个亮度预测样本区段的缩放因子的平均值。
更具体地，在该第二示例的一个可能的实施方案中，可以基于所分配的亮度预测样本区段来计算缩放因子，如以下步骤中所描述。
（1）在原始域中寻找或获取Pred Y 所属的分段线性模型的对应区段索引Idx Y 。
（2）如果Y’ res ≥0，亮度残差缩放因子被计算如下：
Figure 165330DEST_PATH_IMAGE023
（3）否则（即，Y’ res < 0），亮度残差缩放因子被计算如下：
Figure 585947DEST_PATH_IMAGE024
。
其中，scaleForward[i] (i = 0 … 15)是预定义的16段LUT，其被计算为：
scaleForward[i] = (OrgCW << SCALE_FP_PREC)/SignaledCW[i]
其中OrgCW和SignaledCW[i]分别是原始域和映射域中第i个区段的码字的数量，并且SCALE_FP_PREC是缩放因子的精度。
在该第二示例的第二种可能的实施方案中，其在其他方面与上文所描述的实施方案相同，可以基于所分配的亮度预测样本区段来计算缩放因子，如紧随本段落之后的框中所描述的那样：
Figure 120833DEST_PATH_IMAGE025
该第二示例的上述两种可能的实施方案仅在基于所分配的区段来选择N个亮度预测样本域值区段方面不同。
在一个色度样本重建过程中，如图10所图示，获得用于解码输入位置处的亮度残差样本和色度残差样本的亮度预测样本值（1001），然后获得与亮度残差样本相关联的亮度预测样本（1002），然后获得与色度残差样本相关联的色度预测样本（1003），使用亮度预测样本来导出针对亮度残差样本的第一缩放因子和针对色度残差样本的第二缩放因子（1004），使用第一缩放因子来缩放亮度残差样本（1005），使用第二缩放因子来缩放色度残差样本（1006），通过将亮度预测样本和经缩放的亮度残差样本相加来计算重建亮度样本（1007），以及通过将色度预测样本和经缩放的色度残差样本相加来计算重建色度样本（1008）。
色度样本重建过程旨在协调亮度和色度残差的缩放方法，以便实现更统一的设计。
根据色度样本重建过程的一个或多个实施例，亮度预测样本值是包含输入位置的编码单元（CU）中所有亮度预测样本的平均值。在这些实施例中，色度缩放导出方法用于计算针对亮度残差的缩放因子，更具体地，代替于针对每个亮度残差样本单独导出一个缩放因子，基于亮度预测样本的平均值而被计算的一个共享缩放因子被用于缩放整个CU的亮度残差样本。
根据色度样本重建过程的另一实施例，亮度预测样本值是从包含输入位置的编码单元（CU）细分的预定义的子块中的所有亮度预测样本的平均值。在该实施例中，首先将一个CU均等地分割成多个M×N子块；然后针对每个子块，使用所有或部分亮度预测样本来导出对应的缩放因子，该缩放因子用于缩放该子块的亮度和色度残差两者。与第一种方法相比，第二种方法可以提高所估计的缩放因子的空间精度，因为在子块之外的相关性较低的亮度预测样本从计算子块的缩放因子中被排除。同时，在一个子块中的亮度和色度残差的缩放可以在该子块的亮度预测完成之后立即开始的情况下（即，无需等待整个CU的亮度预测样本完全生成），第二种方法还可以减少亮度和色度残差重建的时延。
根据色度样本重建过程的第三实施例，亮度预测样本域值包括并置的亮度预测样本。在该实施例中，亮度残差缩放方法被扩展以缩放色度残差，并且基于每个色度残差样本的并置的亮度预测样本值来导出每个色度残差样本的不同的缩放因子。
在色度样本重建过程的上述实施例中，提出使用用于计算亮度缩放因子的相同LUT来进行色度残差的缩放。在一个示例中，为了导出针对色度残差的CU级的缩放因子Scale C ，可以遵循以下：
（1）计算CU内亮度预测样本（其被表示在原始域中）的平均值，表示为avg Y 。
（2）寻找或获取avg Y 所属的分段线性模型的对应区段索引Idx Y 。
（3）计算Scale C 的值如下：
Scale C = scaleForward[Idx Y ]
其中，scaleForward[i] (i = 0 … 15)是一个预定义的16段LUT，其被计算为：
scaleForward[i] = (OrgCW << SCALE_FP_PREC)/SignaledCW[i]
其中OrgCW和SignaledCW[i]分别是原始域和映射域中第i个区段的码字的数量，并且SCALE_FP_PREC是缩放因子的精度。
上述示例可以容易地扩展到这一情况：其中为当前CU的每个子块导出针对色度残差的缩放因子。在这种情况下，在上述第一个步骤中，avgY将被计算为子块的原始域中的亮度预测样本的平均值，而步骤2和步骤3保持不变。
在第二色度样本重建过程中，如图11所图示，通过在针对编码单元（CU）的亮度预测过程期间跳过多个预定义的中间亮度预测阶段来获得多个亮度预测样本（1101），使用所获得的多个亮度预测样本来导出针对CU中的色度残差样本的缩放因子（1102），使用缩放因子来缩放CU中的色度残差样本（1103），以及通过将CU中的色度预测样本和经缩放的色度残差样本相加来计算重建色度样本（1104）。
根据第二色度样本重建过程的一个或多个实施例，预定义的中间亮度预测阶段包含解码器侧运动矢量导出（DMVR）、双向光流（BDOF）以及联合帧间帧内预测（CIIP）的一个或多个双向预测模块。在这些实施例中，为了解决时延问题，在DMVR、BDOF/PROF、CIIP帧内/帧间联合过程之前被导出的帧间预测样本被用于导出针对色度残差的缩放因子。
图12是图示第二色度样本重建过程的该实施例的一个示例中的LMCS解码过程的工作流程的流程图，其中没有应用DMVR、BDOF和CIIP来生成用于色度缩放的亮度预测样本。这里，代替于等待DMVR 1203、BDOF 1204和/或CIIP的亮度帧内预测部分1205完全完成，一旦基于初始L0和L1亮度预测1201和1202的预测样本1221和1222变得可用，就可以开始色度残差缩放过程1208。
在图12中，在DMVR 1203、BDOF 1204和/或CIIP 1205之前，除了原始取平均操作1206之外，还需要一个附加的取平均操作1211来组合初始L0和L1预测样本1221和1222。
为了减少复杂度，在第二色度样本重建过程的该实施例的第二示例中，初始L0预测样本可以总是用于导出针对色度残差的缩放因子。
图13是图示第二色度样本重建过程的该实施例的第二示例中的LMCS解码过程的工作流程的流程图，其中应用初始单向预测信号来生成用于色度缩放的亮度预测样本。除了原始的取平均操作1306之外，不需要附加的取平均操作。初始L0预测样本1321用于在DMVR 1303、BDOF 1304和/或CIIP 1305之前导出针对色度残差的缩放因子。
在第二色度样本重建过程的该实施例的第三示例中，以自适应方式选择一个初始预测信号（L0或L1）作为亮度预测样本，亮度预测样本用于导出色度残差缩放因子。在该示例的一种可能的实施方案中，在初始预测信号（L0或L1）之间，选择其参考图片相对于当前图片具有较小的图片顺序计数（POC）距离的一个来导出色度残差缩放因子。
在第二色度样本重建过程的另一实施例中，提出仅禁用DMVR、BDOF/PROF，而启用CIIP来生成用于确定色度残差缩放因子的帧间预测样本。具体地，在该方法中，针对CIIP，在DMVR和BDOF/PROF之前被导出的帧间预测样本首先被取平均，然后与帧内预测样本组合；最后，组合的预测样本被用作预测样本以决定色度残差缩放因子。
在第二色度样本重建过程的又一实施例中，提出仅禁用BDOF/PROF，而保留DMVR和CIIP来生成用于确定色度残差缩放因子的预测样本。
在第二色度样本重建过程的又一实施例中，提出在导出用于确定色度残差缩放因子的亮度预测样本时，保持BDOF/PROF和CIIP，而禁用DMVR。
此外，值得一提的是，尽管第二色度样本重建过程的上述实施例中的方法被图示为它们被设计用于减少色度预测残差缩放的时延，但是这些方法也可以用于减少亮度预测残差缩放的时延。例如，所有这些方法也可以应用于“基于预测相关残差缩放的亮度映射”章节中所解释的PDRS方法。
根据现有的DMVR设计，为了减少计算复杂度，使用2抽头双线性滤波器而不是默认的8抽头内插来生成用于DMVR运动细化的预测样本。在细化运动被确定之后，默认的8抽头滤波器将被应用以生成当前CU的最终预测样本。因此，为了减少由DMVR导致的色度残差解码时延，提出使用由双线性滤波器生成的亮度预测样本（如果当前CU是双向预测的，则为L0和L1预测样本的平均值）来确定色度残差的缩放因子。
根据一个色度残差样本重建过程，如图14所图示，从解码器侧运动矢量导出（DMVR）的双线性滤波器的输出中选择一个或多个亮度预测样本值（1401），将一个或多个所选择的亮度预测样本值调整为具有与输入视频的原始编解码位深度相同的位深度的另一个或多个亮度预测样本值（1402），使用具有与输入视频的原始编解码位深度相同的位深度的亮度预测样本值来导出缩放因子，以解码一个或多个色度残差样本（1403），使用缩放因子来缩放一个或多个色度残差样本（1404），以及通过将一个或多个经缩放的色度残差样本和它们对应的色度预测样本相加来重建一个或多个色度残差样本（1405）。
在色度残差样本重建过程的一个或多个实施例中，从DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值包括：从DMVR的双线性滤波器的输出中选择L0和L1亮度预测样本。
图15是图示色度残差样本重建过程的一个这种实施例中的LMCS解码过程的工作流程的流程图。来自DMVR 1503的双线性滤波器1512组件的输出的L0和L1预测样本1521和1522被馈送到取平均1511中，以便导出色度残差缩放输入1523，色度残差缩放输入1523将在色度残差缩放1507中用于解码一个或多个色度残差样本。
在这些实施例中，存在位代码深度的问题。为了减少DMVR所使用的内部存储大小，由DMVR的双线性滤波器生成的中间L0和L1预测样本具有10位精度。这不同于常规双向预测的即时预测样本的表示位深度（其等于14位）。因此，从双线性滤波器输出的中间预测样本由于其不同的精度而不能被直接应用于确定色度残差缩放因子。
为了解决这个问题，提出首先将DMVR中间位深度与用于常规运动补偿内插的中间双深度对准，即，将位深度从10位增加到14位。此后，可以重新使用应用来生成常规双向预测信号的现有取平均过程，来生成用于确定色度残差缩放因子的对应预测样本。
在这些实施例的一个示例中，将一个或多个所选择的亮度预测样本值调整为具有与输入视频的原始编解码位深度相同的位深度的另一个或多个亮度预测样本值包括：通过向左移位将来自DMVR的双线性滤波器的输出的L0和L1亮度预测样本的内部位深度增加到14位，通过对14位的经移位的L0和L1亮度预测样本值取平均来获得14位的平均亮度预测样本值，以及通过向右移位将14位的平均亮度预测样本值的内部位深度改变为输入视频的原始编解码位深度来转换14位的平均亮度预测样本值。
更具体地，在该示例中，色度缩放因子通过紧随本段落之后的框中描述的步骤而被确定。
Figure 234283DEST_PATH_IMAGE026
在色度残差样本重建过程的其他实施例中，从DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值并将一个或多个所选择的亮度预测样本值调整为具有与输入视频的原始编解码位深度相同的位深度的另一个或多个亮度预测样本值包括：从DMVR的双线性滤波器的输出中的L0和L1亮度预测样本中选择一个亮度预测样本，通过移位将这一个所选择的亮度预测值的内部位深度改变为输入视频的原始编解码位深度来调整这一个所选择的亮度预测样本，以及将经调整的亮度预测样本用作具有与输入视频的原始编解码位深度相同的位深度的亮度预测样本。
图16是图示色度残差样本重建过程的一个这种其他实施例中的LMCS解码过程的工作流程的流程图。来自DMVR 1603的双线性滤波器1612组件的输出的L0预测样本1621在色度残差缩放1607中用于解码一个或多个色度残差样本。
在色度残差样本重建过程的一个这种其他实施例的一个示例中，通过将从双线性滤波器输出的亮度样本移位到输入视频的原始编解码位深度来确定色度缩放因子，如紧随本段落之后的框中所描述的那样。
Figure 221830DEST_PATH_IMAGE027
根据第二色度残差样本重建过程，如图17所图示，从参考图片中选择一个或多个亮度参考样本值（1701），将一个或多个所选择的亮度参考样本值变换成亮度样本值（1702），使用经变换的亮度样本值来导出缩放因子（1703），使用缩放因子来缩放一个或多个色度残差样本（1704），以及通过将一个或多个经缩放的色度残差样本和它们对应的色度预测样本相加来重建一个或多个色度残差样本（1705）。
在第二色度残差样本重建过程的一个或多个实施例中，从参考图片中选择一个或多个亮度参考样本值并将一个或多个所选择的亮度参考样本值变换成亮度样本值包括：从L0和L1参考图片中获得L0和L1亮度参考样本值两者，以及对L0和L1亮度参考样本值取平均作为经变换的亮度样本值。
在第二色度残差样本重建过程的其他实施例中，从参考图片中选择一个或多个亮度参考样本并将一个或多个所选择的亮度参考样本变换成亮度样本值包括：从来自L0和L1参考图片的L0和L1亮度参考样本值中选择一个亮度参考样本值，以及使用这一个所选择的亮度参考样本值作为经变换的亮度样本值。
根据现有的LMCS设计，与当前CU所在的64×64区域相邻的重建亮度样本用于计算该区域内CU的色度残差缩放因子。此外，在计算平均值之前，应用一个裁剪操作，即Clip1()，以将重建的亮度相邻样本裁剪到内部位深度的动态范围（即，在范围[0, (1<<bitDepth) - 1]内）。
具体地，该方法首先获取当前CU所属的对应64×64区域的64个左侧相邻亮度样本和64个顶部相邻亮度样本；然后计算左侧和顶部相邻样本的平均值，即avgY，以及在LMCS分段线性模型中寻找avgY的区段索引Y 1dx ；以及最后导出色度残差C ScaleInv = cScaleInv[Y 1dx ]。
具体地，在当前的VVC草案中，如何导出对应的平均亮度被描述如下，其中Clip1()操作的应用如利用突出的字体和大小所示的：
针对变量varScale的导出，应用以下有序步骤：
变量invAvgLuma被导出如下：
- 数组recLuma[i] （i=0…(2 * sizeY 1)）和变量cnt被导出如下：
- 变量cnt被设置为等于0。
- 当availL等于TRUE时，数组recLuma[i]（i = 0… sizeY - 1）被设置为等于
currPic[ xCuCb − 1 ][ Min( yCuCb + i, pic_height_in_luma_samples − 1) ] 其中i = 0..sizeY − 1，并且cnt被设置为等于sizeY。
- 当availT等于TRUE时，数组recLuma[cnt + i]（i = 0… sizeY - 1）被设置为等于
currPic[ Min( xCuCb + i, pic_width_in_luma_samples − 1 ) ][ yCuCb − 1] 其中i = 0…sizeY − 1，并且cnt被设置为等于(cnt + sizeY)。
- 变量invAvgLuma被导出如下：
- 如果cnt大于0，则应用以下：
invAvgLuma = Clip1( (
Figure 446138DEST_PATH_IMAGE028
+ ( cnt >> 1 ) ) >> Log2( cnt ))
- 否则（cnt等于0），则应用以下：
invAvgLuma = 1 << ( BitDepth − 1 )
然而，在重建过程处，在将预测样本加到一个CU的残差样本之后，所得样本值已经被裁剪到内部位深度的动态范围。这意味着当前64×64区域周围的所有相邻的重建亮度样本都被保证在内部位深度的范围内。因此，它们的平均值，即avgY，也不能超出该范围。结果，现有的裁剪（即，Clip1()）对于计算对应的色度残差缩放因子是不必要的。为了进一步减少LMCS设计的复杂度和存储器需求，提出在计算相邻的重建亮度样本的平均值以导出色度残差缩放因子时，去除裁剪操作。
图18是图示非裁剪色度残差缩放因子导出过程的步骤的流程图。在图18中，在CU的解码期间，选择来自第一预定区域的多个重建亮度样本，第一预定区域与CU所在的第二预定区域相邻（1801），计算多个重建亮度样本的平均值（1802），以及在导出用于解码CU的色度残差缩放因子时，直接使用多个重建亮度样本的平均值，而不进行任何裁剪（1803）。
在非裁剪色度残差缩放因子导出过程的一个或多个实施例中，多个重建亮度样本的平均值是多个重建亮度样本的算术平均值。
在非裁剪色度残差缩放因子导出过程的一个或多个实施例中，在导出用于解码CU的色度残差缩放因子时，直接使用多个重建亮度样本的平均值，而不进行任何裁剪，包括：在预定义的分段线性模型中识别平均值的区段索引，以及基于区段的线性模型的斜率来导出用于解码CU的色度残差缩放因子。
在非裁剪色度残差缩放因子导出过程的一个或多个实施例中，通过生成第一预定区域中的亮度预测样本和亮度残差样本、将亮度残差样本加到亮度预测样本、以及将相加的亮度样本裁剪到编解码位深度的动态范围，来生成第一预定区域中的多个重建亮度样本。
在非裁剪色度残差缩放因子导出过程的一个或多个实施例中，多个重建亮度样本是多个前向映射的帧间亮度重建样本。
在非裁剪色度残差缩放因子导出过程的一个或多个实施例中，第二预定区域是CU所在的64×64区域。
在一个示例中，如图19所图示，第一预定区域可以包括直接在第二预定区域1904上方的1×64区域1902中的顶部相邻样本。替代地或附加地，第一预定区域可以包括直接在第二预定区域1904左侧的64×1区域1903中的左侧相邻样本。
根据现有的LMCS设计，原始域和映射域两者中的重建样本都用于以不同模式被编码的CU。相应地，在当前编码/解码过程中涉及多个LMCS转换，以在两个域之间转换预测和重建亮度样本。
具体地，对于帧内模式、CIIP模式和IBC模式，来自一个当前CU的相邻重建区域、用于生成帧内预测样本的参考样本被保持在映射域中。相比之下，对于CIIP模式和所有帧间模式，从时间参考图片中生成的运动补偿预测样本在原始域中。因为亮度重建操作在映射域中被执行，所以亮度分量的那些帧间预测样本需要在与残差样本相加之前被转换到映射域。另一方面，对于帧内和帧间模式两者，总是应用逆映射来将重建亮度样本从映射域转换回原始域。
另外，在帧间预测样本被转换到映射域之后，应用裁剪操作，即Clip1()，以将帧间预测样本裁剪到内部位深度的动态范围（即，在范围[0, (1<<bitDepth) - 1]内）。同时，对于帧内和帧间模式两者，在重建亮度样本被转换回原始域之后，相同的裁剪操作也被应用于重建亮度样本。
然而，基于现有的LMCS设计，存在一个比特流限制，其保证来自前向LMCS的所产生的样本总是在内部位深度的动态范围内。这意味着帧间CU的所映射的亮度预测样本不能超出这种动态范围。因此，应用于帧间模式的所映射的亮度预测样本的现有裁剪操作是冗余的。
更具体地，在当前的LMCS设计中，针对亮度样本的逆映射过程被描述如下，其中裁剪操作的应用如利用突出的字体和大小所示的：
该过程的输入是亮度样本lumaSample。
该过程的输出是经修改的亮度样本invLumaSample。
invLumaSample的值被导出如下：
- 如果包含亮度样本lumaSample的条带的slice_lmcs_enabled_flag等于1，则应用以下有序步骤：
1. 变量idxYInv是通过调用对条款8.8.2.3中指定的亮度样本的分段函数索引过程的识别来导出的，其中lumaSample作为输入，并且idxYInv作为输出。
2. 变量invSample被导出如下：
invSample = InputPivot[ idxYInv ] + ( InvScaleCoeff[ idxYInv ] *
( lumaSample − LmcsPivot[ idxYInv ] ) + ( 1 << 10 ) ) >> 11 (1241)
3. 逆向映射的亮度样本invLumaSample被导出如下：invLumaSample = Clip1(invSample ) (1242)
- 否则，invLumaSample被设置为等于lumaSample。
此外，在当前的LMCS设计中，针对组合的合并和帧内预测的加权样本预测过程被描述如下，其中裁剪操作的应用如利用突出的字体和大小所示的：
该过程的输入是：
- 亮度位置(xCb, yCb)，其指定相对于当前图片的左上角亮度样本的当前亮度码块的左上角样本，
- 当前码块的宽度cbWidth，
- 当前码块的高度cbHeight，
- 两个(cbWidth)×(cbHeight)数组predSamplesInter和predSamplesIntra，
- 指定颜色分量索引的变量cIdx。
该过程的输出是预测样本值的(cbWidth)×(cbHeight)数组predSamplesComb。
变量scallFact被导出如下：
scallFactX=( cIdx = = 0 | | SubWidthC = = 1 )
Figure 507635DEST_PATH_IMAGE030
0 : 1 (1026)
scallFactY=( cIdx = = 0 | | SubHeightC = = 1 )
Figure 344049DEST_PATH_IMAGE030
0 : 1 (1027)
相邻的亮度位置(xNbA, yNbA)和(xNbB, yNbB)被设置为分别等于
(xCb − 1, yCb − 1 + (cbHeight << scallFactY))和
(xCb − 1 + (cbWidth << scallFactX ), yCb−1 )。
对于被A或B替换的X，变量availableX和isIntraCodedNeighbourX被导出如下：
- 调用条款6.4.4中指定的相邻块可用性的导出过程，其中作为输入的是：被设置为等于(xCb, yCb)的位置(xCurr, yCurr)，被设置为等于(xNbX, yNbX)的相邻位置(xNbY,yNbY)，被设置为等于FALSE的checkPredModeY，以及被设置为等于0的cIdx，并且输出被分配给availableX。
- 变量isIntraCodedNeighbourX被导出如下：
- 如果availableX等于TRUE并且CuPredMode[ 0 ][ xNbX ][ yNbX ]等于MODE_INTRA，则isIntraCodedNeighbourX被设置为等于TRUE。
- 否则，isIntraCodedNeighbourX被设置为等于FALSE。
权重w被导出如下：
- 如果isIntraCodedNeighbourA和isIntraCodedNeighbourB两者都等于TRUE，则w被设置为等于3。
- 否则，如果isIntraCodedNeighbourA和isIntraCodedNeighbourB两者都等于FALSE，则w被设置为等于1。
- 否则，w被设置为等于2。
当cIdx等于0并且slice_lmcs_enabled_flag等于1时，predSamplesInter[x][y]（x = 0..cbWidth - 1并且y = 0..cbHeight - 1）被修改如下：
idxY = predSamplesInter[ x ][ y ] >> Log2( OrgCW )
predSamplesInter [ x ][ y ] = Clip1( LmcsPivot[ idxY ] +
( ScaleCoeff[ idxY ] * ( predSamplesInter[ x ][ y ] − InputPivot[idxY ] ) + ( 1 << 10 ) ) >> 11 ) (1028)
预测样本predSamplesComb[ x ][ y ]（x = 0..cbWidth - 1并且y =0..cbHeight - 1）被导出如下：
predSamplesComb[ x ][ y ] = ( w * predSamplesIntra[ x ][ y ] +
( 4 − w ) * predSamplesInter[ x ][ y ] + 2) >> 2 (1029)
此外，在当前的LMCS设计中，具有针对亮度样本的映射过程的图片重建被描述如下，其中裁剪操作的应用如利用突出的字体和大小所示的：
该过程的输入是：
- 当前块的左上角样本相对于当前图片的左上角样本的位置(xCurr, yCurr)，
- 指定块宽度的变量nCurrSw，
- 指定块高度的变量nCurrSh，
- 指定当前块的亮度预测样本的(nCurrSw)×(nCurrSh)数组predSamples，
- 指定当前块的亮度残差样本的(nCurrSw)×(nCurrSh)数组resSamples。
该过程的输出是重建的亮度图片样本数组recSamples。
所映射的预测亮度样本predMapSamples的(nCurrSw)×(nCurrSh)数组被导出如下：
- 如果以下条件之一为真，则对于i = 0..nCurrSw-1，j = 0..nCurrSh-1，predMapSamples[ i ][ j ]被设置为等于predSamples[ i ][ j ]：
- CuPredMode[ 0 ][ xCurr ][ yCurr ]等于MODE_INTRA。
- CuPredMode[ 0 ][ xCurr ][ yCurr ]等于MODE_IBC。
- CuPredMode[ 0 ][ xCurr ][ yCurr ]等于MODE_PLT。
- CuPredMode[ 0 ][ xCurr ][ yCurr ]等于MODE_INTER，并且ciip_flag[xCurr ][ yCurr ]等于1。
- 否则(CuPredMode[ 0 ][ xCurr ][ yCurr ]等于MODE_INTER，并且ciip_flag[ xCurr ][ yCurr ]等于0)，则应用以下：
idxY = predSamples[ i ][ j ] >> Log2( OrgCW )
predMapSamples[ i ][ j ] = Clip1(LmcsPivot[ idxY ]
+ ( ScaleCoeff[ idxY ] * ( predSamples[ i ][ j ] − InputPivot[ idxY ]) + ( 1 << 10 ) ) >> 11 (1232)
其中i = 0..nCurrSw − 1， j = 0..nCurrSh − 1）
重建的亮度图片样本recSamples被导出如下：
recSamples[xCurr+i][yCurr+j]=Clip1( predMapSamples[ i ][ j ]+resSamples[ i ][ j ] ] ) (1233)
其中 i = 0..nCurrSw − 1，j = 0..nCurrSh − 1
在现有的LMCS设计中，这些冗余的裁剪操作引起了对计算复杂度和片上存储器的额外需求。为了进一步减少LMCS设计的复杂度和存储器需求，提出去除这些冗余的裁剪操作。
根据本申请的第一方面，如图20所图示，在具有色度缩放的亮度映射（LMCS）框架下，在通过帧间模式或联合帧间帧内预测（CIIP）模式编码的编码单元（CU）的解码期间，获得亮度分量在映射域中的多个重建样本（2001），通过将亮度分量的多个重建样本从映射域转换到原始域，获得亮度分量在原始域中的多个经转换的样本（2002），以及在导出用于解码CU的色度样本的色度缩放因子时，使用亮度分量在原始域中的多个经转换的样本，而不进行裁剪（2003）。
在本申请的第一方面的一个或多个实施例中，如图21所图示，当CU由帧间模式编解码时，获得亮度分量在映射域中的多个重建样本包括：计算亮度分量在原始域中的多个帧间预测样本（2101），将亮度分量的多个帧间预测样本从原始域转换到映射域，而不进行裁剪，以获得亮度分量在映射域中的多个经转换的帧间预测样本（2102），以及将亮度分量在映射域中的多个经转换的帧间预测样本加到亮度分量在映射域中的多个残差样本，从而产生亮度分量在映射域中的多个重建样本（2103）。
在本申请的第一方面的其他一个或多个实施例中，如图22所图示，当CU由CIIP模式编解码时，获得亮度分量在映射域中的多个重建样本包括：计算亮度分量在原始域中的多个帧间预测样本（2201），将亮度分量的多个帧间预测样本从原始域转换到映射域，而不进行裁剪，以获得亮度分量在映射域中的多个经转换的帧间预测样本（2202），计算亮度分量在映射域中的多个帧内预测样本（2203），通过多个经转换的帧间预测样本和多个帧内预测样本的加权平均来导出亮度分量在映射域中的预测样本（2204），以及将导出的亮度分量在映射域中的预测样本加到亮度分量在映射域中的多个残差样本，从而产生亮度分量在映射域中的多个重建样本（2205）。
在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任意组合来实施。如果以软件来实施，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或在其上传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于有形介质（诸如数据存储介质）或者通信介质，包括例如根据通信协议来促进将计算机程序从一个地方传送到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于（1）有形的非暂时性的计算机可读存储介质，或者（2）诸如信号或载波的通信介质。数据存储介质可以是一个或多个计算机或一个或多个处理器可以访问的任何可用介质，以检索用于实施本申请中描述的实施方案的指令、代码和/或数据结构。计算机程序产品可以包括计算机可读介质。
此外，上述方法可以使用包括一个或多个电路系统的装置来实现，该电路包括专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑设备（PLD）、现场可编程门阵列 (FPGA)、控制器、微控制器、微处理器或其他电子组件。该装置可以使用与其他硬件或软件组件相结合的电路系统来执行上文描述的方法。上文公开的每个模块、子模块、单元或子单元可以至少部分地使用一个或多个电路系统来实施。
本公开可以包括专用硬件实施方案，诸如专用集成电路系统、可编程逻辑阵列和其他硬件设备。硬件实施方案可以被构造成实施本文描述的一个或多个方法。可以包括各种实施方式的装置和系统的示例可以广泛地包括各种电子和计算系统。本文描述的一个或多个示例可以使用两个或多个特定的互连硬件模块或设备与相关的控制和数据信号来实施功能，相关的控制和数据信号可以在模块之间或通过模块被传送，或者作为专用集成电路系统的一部分。相应地，所公开的装置或系统可以包含软件、固件和硬件实施方案。术语“模块”、“子模块”、“电路”、“子电路”、“电路系统”、“子电路系统”、“单元”或“子单元”可以包括存储器（共享的、专用的或组），该存储器存储可以由一个或多个处理器执行的代码或指令。本文中所指的模块可以包括具有或不具有所存储的代码或指令的一个或多个电路。模块或电路可以包括一个或多个被连接的组件。
考虑到这里公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说将是明显的。本申请意图覆盖本发明的任何变型、使用或适配，这些变型、使用或适配遵循本发明的一般原理，并且包括如落入本领域的已知或常规实践内的与本公开的偏离。所意图的是，本说明书和示例被认为仅仅是示例性的，本发明的真实范围和精神由所附权利要求来指示。
将领会的是，本发明不限于上文所描述以及附图中所图示的确切示例，并且在不脱离其范围的情况下，可以进行各种修改和改变。所意图的是，本发明的范围仅由所附权利要求来限定。

Claims (9)

1.一种用于视频解码的方法，包括：
在对编码单元(CU)进行解码期间，获得亮度分量在映射域中的多个重建样本，所述编码单元在具有色度缩放的亮度映射（LMCS）框架下通过帧间模式或联合帧间帧内预测(CIIP)模式被编码;
通过将亮度分量的多个重建样本从所述映射域转换到原始域，获得亮度分量在所述原始域中的多个经转换的样本；以及
在导出用于解码所述CU的色度样本的缩放因子时，使用亮度分量在所述原始域中的多个经转换的样本，而不进行裁剪。
2.根据权利要求1所述的方法，其中当所述CU通过帧间模式被编码，获得亮度分量在映射域中的所述多个重建样本包括：
计算亮度分量在所述原始域中的多个帧间预测样本；
将亮度分量的所述多个帧间预测样本从所述原始域转换到所述映射域，而不进行裁剪，以获得亮度分量在所述映射域中的多个经转换的帧间预测样本；以及
将亮度分量在所述映射域中的所述多个经转换的帧间预测样本与亮度分量在所述映射域中的多个残差样本相加，以产生亮度分量在所述映射域中的所述多个重建样本。
3.根据权利要求1所述的方法，其中当所述CU通过所述CIIP模式被编码，获得亮度分量在映射域中的所述多个重建样本包括：
计算亮度分量在所述原始域中的多个帧间预测样本；
将亮度分量的所述多个帧间预测样本从所述原始域转换到所述映射域，而不进行裁剪，以获得亮度分量在所述映射域中的多个经转换的帧间预测样本；
计算亮度分量在所述映射域中的多个帧内预测样本；
通过对所述多个经转换的帧间预测样本和所述多个帧内预测样本进行加权平均来导出亮度分量在所述映射域中的所述预测样本；以及
将导出的亮度分量在所述映射域中的预测样本与亮度分量在所述映射域中的多个残差样本相加，以产生亮度分量在所述映射域中的所述多个重建样本。
4.一种计算设备，包括：
一个或多个处理器；
耦合到所述一个或多个处理器的非暂时性存储器；以及
存储在所述非暂时性存储器中的多个程序，当由所述一个或多个处理器执行时，所述多个程序使得所述计算设备执行包括以下的动作：
在对编码单元(CU)进行解码期间，获得亮度分量在映射域中的多个重建样本，所述编码单元在具有色度缩放的亮度映射（LMCS）框架下通过帧间模式或联合帧间帧内预测(CIIP)模式被编码;
通过将亮度分量的多个重建样本从所述映射域转换到原始域，获得亮度分量在所述原始域中的多个经转换的样本；以及
在导出用于解码所述CU的色度样本的缩放因子时，使用亮度分量在所述原始域中的多个经转换的样本，而不进行裁剪。
5.如权利要求4所述的计算设备，其中当所述CU通过帧间模式被编码，获得亮度分量在映射域中的所述多个重建样本包括：
计算亮度分量在所述原始域中的多个帧间预测样本；
将亮度分量的所述多个帧间预测样本从所述原始域转换到所述映射域，而不进行裁剪，以获得亮度分量在所述映射域中的多个经转换的帧间预测样本；以及
将亮度分量在所述映射域中的所述多个经转换的帧间预测样本与亮度分量在所述映射域中的多个残差样本相加，以产生亮度分量在所述映射域中的所述多个重建样本。
6.如权利要求4所述的计算设备，其中当所述CU通过所述CIIP模式被编码，获得亮度分量在映射域中的所述多个重建样本包括：
计算亮度分量在所述原始域中的多个帧间预测样本；
将亮度分量的所述多个帧间预测样本从所述原始域转换到所述映射域，而不进行裁剪，以获得亮度分量在所述映射域中的多个经转换的帧间预测样本；
计算亮度分量在所述映射域中的多个帧内预测样本；
通过对所述多个经转换的帧间预测样本和所述多个帧内预测样本进行加权平均来导出亮度分量在所述映射域中的所述预测样本；以及
将导出的亮度分量在所述映射域中的预测样本与亮度分量在所述映射域中的多个残差样本相加，以产生亮度分量在所述映射域中的所述多个重建样本。
7.一种存储用于由具有一个或多个处理器的计算设备执行的多个程序的非暂时性计算机可读存储介质，其中当由所述一个或多个处理器执行时，所述多个程序使得所述计算设备执行包括以下的动作：
在对编码单元(CU)进行解码期间，获得亮度分量在映射域中的多个重建样本，所述编码单元在具有色度缩放的亮度映射（LMCS）框架下通过帧间模式或联合帧间帧内预测(CIIP)模式被编码;
通过将亮度分量的多个重建样本从所述映射域转换到原始域，获得亮度分量在所述原始域中的多个经转换的样本；以及
在导出用于解码所述CU的色度样本的缩放因子时，使用亮度分量在所述原始域中的多个经转换的样本，而不进行裁剪。
8.如权利要求7所述的非暂时性计算机可读存储介质，其中当所述CU通过帧间模式被编码，获得亮度分量在映射域中的所述多个重建样本包括：
计算亮度分量在所述原始域中的多个帧间预测样本；
将亮度分量的所述多个帧间预测样本从所述原始域转换到所述映射域，而不进行裁剪，以获得亮度分量在所述映射域中的多个经转换的帧间预测样本；以及
将亮度分量在所述映射域中的所述多个经转换的帧间预测样本与亮度分量在所述映射域中的多个残差样本相加，以产生亮度分量在所述映射域中的所述多个重建样本。
9.如权利要求7所述的非暂时性计算机可读存储介质，其中当所述CU通过所述CIIP模式被编码，获得亮度分量在映射域中的所述多个重建样本包括：
计算亮度分量在所述原始域中的多个帧间预测样本；
将亮度分量的所述多个帧间预测样本从所述原始域转换到所述映射域，而不进行裁剪，以获得亮度分量在所述映射域中的多个经转换的帧间预测样本；
计算亮度分量在所述映射域中的多个帧内预测样本；
通过对所述多个经转换的帧间预测样本和所述多个帧内预测样本进行加权平均来导出亮度分量在所述映射域中的所述预测样本；以及
将导出的亮度分量在所述映射域中的预测样本与亮度分量在所述映射域中的多个残差样本相加，以产生亮度分量在所述映射域中的所述多个重建样本。
CN202180032197.5A 2020-04-30 2021-04-30 用于针对视频编解码的预测相关残差缩放的方法和设备 Pending CN115462076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215815.0A CN116193125A (zh) 2020-04-30 2021-04-30 用于针对视频编解码的预测相关残差缩放的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063018249P 2020-04-30 2020-04-30
US63/018249 2020-04-30
PCT/US2021/030358 WO2021222871A1 (en) 2020-04-30 2021-04-30 Methods and devices for prediction dependent residual scaling for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310215815.0A Division CN116193125A (zh) 2020-04-30 2021-04-30 用于针对视频编解码的预测相关残差缩放的方法和设备

Publications (1)

Publication Number Publication Date
CN115462076A true CN115462076A (zh) 2022-12-09

Family

ID=78374001

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310215815.0A Pending CN116193125A (zh) 2020-04-30 2021-04-30 用于针对视频编解码的预测相关残差缩放的方法和设备
CN202180032197.5A Pending CN115462076A (zh) 2020-04-30 2021-04-30 用于针对视频编解码的预测相关残差缩放的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310215815.0A Pending CN116193125A (zh) 2020-04-30 2021-04-30 用于针对视频编解码的预测相关残差缩放的方法和设备

Country Status (4)

Country Link
US (1) US20230067650A1 (zh)
EP (1) EP4144088A4 (zh)
CN (2) CN116193125A (zh)
WO (1) WO2021222871A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN110301134B (zh) * 2017-06-29 2024-02-06 杜比实验室特许公司 整合的图像整形和视频编码
EP3753253A1 (en) * 2018-02-14 2020-12-23 Dolby Laboratories Licensing Corporation Image reshaping in video coding using rate distortion optimization
US11140404B2 (en) * 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
WO2021222871A1 (en) 2021-11-04
CN116193125A (zh) 2023-05-30
EP4144088A4 (en) 2023-10-25
EP4144088A1 (en) 2023-03-08
US20230067650A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US11172203B2 (en) Intra merge prediction
US11297348B2 (en) Implicit transform settings for coding a block of pixels
US20210274166A1 (en) Merge candidates with multiple hypothesis
CN114765685A (zh) 基于多帧内预测模式的用于解码或编解码图像的技术
JP2022522771A (ja) 映像処理におけるモデルベース再整形に対する制約
CN114009021A (zh) 用于视频编解码的预测相关残差缩放的方法和装置
CN115004697A (zh) 来自多个跨分量的预测
US20240137516A1 (en) Methods and devices for prediction dependent residual scaling for video coding
JP2024038198A (ja) ビデオ符号化方法、コンピューティング装置、プログラム、及びビットストリームを格納する方法
CN114788278A (zh) 使用多个分量的跨分量预测
JP7367237B2 (ja) ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス
CN115462076A (zh) 用于针对视频编解码的预测相关残差缩放的方法和设备
WO2024007789A1 (en) Prediction generation with out-of-boundary check in video coding
WO2023217235A1 (en) Prediction refinement with convolution model
WO2023241347A1 (en) Adaptive regions for decoder-side intra mode derivation and prediction
WO2024022146A1 (en) Using mulitple reference lines for prediction
WO2024022144A1 (en) Intra prediction based on multiple reference lines
WO2023154574A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
KR20220110331A (ko) 참조 픽처 리샘플링을 위한 방법 및 장치
CN114979662A (zh) 利用阿尔法通道对图像/视频进行编解码的方法
CN114979661A (zh) 利用阿尔法通道对图像/视频进行编解码的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination