CN114009021A - 用于视频编解码的预测相关残差缩放的方法和装置 - Google Patents

用于视频编解码的预测相关残差缩放的方法和装置 Download PDF

Info

Publication number
CN114009021A
CN114009021A CN202080045197.4A CN202080045197A CN114009021A CN 114009021 A CN114009021 A CN 114009021A CN 202080045197 A CN202080045197 A CN 202080045197A CN 114009021 A CN114009021 A CN 114009021A
Authority
CN
China
Prior art keywords
samples
luma
luma prediction
prediction
scaling factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045197.4A
Other languages
English (en)
Inventor
修晓宇
陈漪纹
王祥林
马宗全
叶水明
朱弘正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN114009021A publication Critical patent/CN114009021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了用于降低计算复杂性、片上存储器要求以及由LMCS引入的解码延迟的方法。在一种方法中，获得用于对亮度残差样本进行解码的亮度预测样本，使用所述亮度预测样本导出缩放因子，所述缩放因子被用于对所述亮度残差样本进行缩放，以及通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本。

Description

用于视频编解码的预测相关残差缩放的方法和装置
相关申请的交叉引用
本申请要求2019年06月20日提交的第62/864,497号美国临时专利申请的优先权，其全部内容通过引用整体并入本文中。
技术领域
本发明总体上涉及视频编解码和压缩。更具体地，本发明涉及使用预测相关残差缩放对编码单元进行视频编解码的系统和方法。
背景技术
本部分提供与本发明相关的背景信息。本部分中包含的信息不应一定被解释为现有技术。
可以使用各种视频编解码技术中的任一种来压缩视频数据。可以根据一种或多种视频编解码标准来执行视频编解码。一些说明性视频编解码标准包括：通用视频编解码(VVC)、联合探索测试模型(JEM)编解码、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)和运动图片专家组(MPEG)编解码。
视频编解码通常使用利用了视频图像或序列中固有的冗余的预测方法(如帧间预测、帧内预测等)。视频编解码技术的一个目标是将视频数据压缩成一种使用较低比特率的形式，同时避免或减少视频质量的下降。
HEVC标准的第一版于2013年10月最终确定，与上一代视频编解码标准H.264/MPEGAVC相比，节省了约50％的比特率或等效感知质量。尽管HEVC标准比之前的标准在编解码方面有了显著的改进，但有证据表明，与HEVC相比，使用额外的编解码工具可以实现更高的编解码效率。基于此，VCEG和MPEG都开始了对未来视频编解码标准化新编解码技术的探索工作。ITU-T VECG和ISO/IEC MPEG于2015年10月成立了一个联合视频探索小组(JVET)，开始对能够显著提高编解码效率的先进技术进行重要研究。JVET通过在HEVC测试模型(HM)之上集成若干额外的编解码工具来维护一种称为联合探索模型(JEM)的参考软件。
2017年10月，ITU-T和ISO/IEC发布了关于具有超越HEVC能力的视频压缩的联合提案(CfP)。2018年4月，在第10届JVET会议上收到并评估了23份CfP回复，这些回复表明压缩效率比HEVC提高了约40％。基于这些评估结果，JVET启动了一个新项目，以开发名为通用视频编解码(VVC)的新一代视频编解码标准。同月，建立了一个称为VVC测试模型(VTM)的参考软件，用于演示VVC标准的参考实施。
在视频编解码中使用的预测方法通常包括进行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余，并且通常与基于块的视频编解码相关联。与HEVC一样，VVC建立在基于块的混合视频编解码框架之上。
在基于块的视频编解码中，输入视频信号被逐块处理。对于每个块(也称为编码单元(CU))，可以执行空间预测和/或时间预测。在较新的视频编解码标准中，如最新的VVC设计中，可以基于不仅包括四叉树还包括二叉树和/或三叉树的多类型树结构对块进行进一步划分。这允许更好地适应不同的局部特征。
空间预测(也称为“帧内预测”)使用来自同一视频图片/切片中已经编码的相邻块(称为参考样本)的样本的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。
在解码过程中，首先在熵解码单元对视频比特流进行熵解码。编码模式和预测信息被发送到空间预测单元(帧内编码时)或时间预测单元(帧间编码时)以形成预测块。残差变换系数被送到逆量化单元和逆变换单元以重构残差块。然后将预测块和残差块相加。重构块在被存储在参考图片存储器中之前可以进一步经过环内滤波。然后将参考图片存储器中的重构视频发送出去以驱动显示设备，并且用于预测未来的视频块。
在较新的视频编解码标准中，如最新的VVC设计中，可以在环内滤波之前应用具有色度缩放的亮度映射(LMCS)的编解码工具。LMCS旨在调整输入信号的动态范围以提高编解码效率。
然而，LMCS的最新设计招致对计算复杂度和片上存储器的额外要求，这是因为其在各种解码模块处使用不同的域映射。此外，LMCS的最新设计使用不同的亮度预测样本值来推导亮度和色度缩放因子，这就会引入额外的复杂性。此外，LMCS的最新设计增加了色度残差样本重构的时延，这是因为它需要将色度残差样本的重构推迟到亮度预测样本成功完成之后，这反过来又需要例如解码器侧运动矢量推导(DMVR)、双向光流(BDOF)以及组合帧间和帧内预测(CIIP)之类的复杂的帧间模式编解码工具的相继应用的成功完成。
发明内容
本部分提供了本发明的总体概述，并不是对其全部范围或所有特征的全面公开。
根据本发明的第一方面，在具有一个或多个处理器和存储由一个或多个处理器执行的多个程序的存储器的计算设备中执行一种视频编解码方法。该方法包括获得用于解码亮度残差样本的亮度预测样本。该方法还包括使用亮度预测样本导出缩放因子。该方法还包括使用缩放因子来缩放亮度残差样本。该方法还包括通过将亮度预测样本和缩放后的亮度残差样本相加来计算重构亮度样本。
根据本发明的第二方面，在具有一个或多个处理器和存储要由该一个或多个处理器执行的多个程序的存储器的计算设备中执行一种视频编解码方法。该方法包括获得用于对输入位置处的亮度残差样本和色度残差样本两者进行解码的亮度预测样本值。该方法还包括获得与亮度残差样本相关联的亮度预测样本。该方法还包括获得与色度残差样本相关联的色度预测样本。该方法还包括使用亮度预测样本来导出用于亮度残差样本的第一缩放因子和用于色度残差样本的第二缩放因子。该方法还包括使用第一缩放因子来缩放亮度残差样本。该方法还包括使用第二缩放因子来缩放色度残差样本。该方法还包括通过将亮度预测样本和缩放后的亮度残差样本相加来计算重构的亮度样本。该方法还包括通过将色度预测样本和缩放后的色度残差样本相加来计算重构的色度样本。
根据本发明的第三方面，在具有一个或多个处理器和存储要由该一个或多个处理器执行的多个程序的存储器的计算设备中执行一种视频编解码方法。该方法包括通过在用于编码单元(CU)的亮度预测过程期间跳过若干预定义的中间亮度预测阶段来获得多个亮度预测样本。该方法还包括使用所获得的多个亮度预测样本来导出用于该CU中的色度残差样本的缩放因子。该方法还包括使用这些缩放因子来缩放该CU中的色度残差样本。该方法还包括通过将该CU中的这些色度预测样本和缩放后的色度残差样本相加来计算重构的色度样本。
根据本申请的第四方面，一种计算设备包括一个或多个处理器、存储器和存储在该存储器中的多个程序。当由一个或多个处理器执行时，这些程序使得该计算设备执行本申请的前面三个方面所述的操作。
根据本申请的第五方面，一种非暂时性计算机可读存储介质存储用于由具有一个或多个处理器的计算设备执行的多个程序。当由一个或多个处理器执行时，这些程序使得该计算设备执行本申请的前面三个方面所述的操作。
附图说明
在下文中，将结合附图描述本发明的说明性、非限制性实施例的集合。相关领域的普通技术人员可以基于本文中给出的示例来实现结构、方法或功能的变化，并且这些变化均包含在本发明的范围内。在不存在冲突的情况下，不同实施例的教导可以但不必彼此组合。
图1是示出了可与多种视频编解码标准结合使用的说明性的基于块的混合视频编解码器的框图。
图2是示出了可与多种视频编解码标准结合使用的说明性的视频解码器的框图；
图3是可与多种视频编解码标准结合使用的多类型树结构中的块分区的图示。
图4是示出了应用LMCS的解码过程的流程图。
图5是BDOF过程的图示。
图6是示出了当DMVR、BDOF和CIIP全部启用时LMCS中色度残差缩放的工作流程的流程图。
图7是示出了本发明的第一方面的步骤的流程图。
图8是示出了当本发明的第一方面应用于LMCS过程中时的解码过程的工作流程的流程图。
图9是仅使用预测样本来推导缩放因子而导致的残差映射误差的图示。
图10是示出了本发明的第二方面的步骤的流程图。
图11是示出了本发明的第三方面的步骤的流程图。
图12是示出了本发明的第三方面的一个示例中的LMCS解码过程的工作流程的流程图，其中不应用DMVR、BDOF和CIIP来生成用于色度缩放的亮度预测样本。
图13是示出了本发明的第三方面的第二示例中的LMCS解码过程的工作流程的流程图，其中应用初始单向预测信号来生成用于色度缩放的亮度预测样本。
具体实施方式
本发明中使用的术语旨在说明特定示例，而不是对本发明进行限制。本发明以及所附权利要求中使用的单数形式“一个”和“该/所述”也指复数形式，除非其它含义明确地包含在上下文中。应当理解，本文所用的术语“和/或”是指一个或多个相关联的所列项目的任何和所有可能的组合。
应理解，虽然术语第一、第二、第三等在本文中可用于描述各种信息，但这些信息不应受限于这些术语。这些术语仅用于区分一种信息与另一种信息。例如，在不脱离本发明的范围的情况下，第一信息可以被称为第二信息，并且类似地，第二信息可以被称为第一信息。如本文所使用的那样，术语“如果”可被理解为表示“何时”或“在…的时候”或“响应于…”，这取决于上下文。
在整个说明书中涉及的以单数或复数形式的“一个实施例”、“实施例”、“另一个实施例”等是指结合实施例描述的一个或多个特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书的各处以单数或复数形式出现的短语“在一个实施例中”或“在实施例中”、“在另一个实施例中”等不一定都指代同一实施例。此外，一个或多个实施例中的特定特征、结构或特性可以以任何合适的方式组合。
从概念上讲，许多视频编解码标准是相似的，包括先前在背景部分中提到的那些标准。例如，几乎所有的视频编解码标准都使用基于块的处理，并共享相似的视频编解码块图表来实现视频压缩。
图1是示出了可与多种视频编解码标准结合使用的说明性的基于块的混合视频编解码器100的框图。在编码器100中，视频帧被划分为多个视频块以进行处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法形成预测。在帧间预测中，基于来自先前重构的帧的像素来通过运动估计和运动补偿形成一个或多个预测器。在帧内预测中，基于当前帧中重构的像素形成预测器。通过模式决策，可以选择最佳预测器来预测当前块。
将代表当前视频块与其预测器之间的差异的预测残差发送到变换电路102。然后将变换系数从变换电路102发送到量化电路104以用于熵降。然后将量化系数馈送到熵编码电路106以生成压缩视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的与预测相关的信息110，如视频块分区信息、运动向量、参考图片索引和帧内预测模式，也被通过熵编码电路106馈送并且保存在压缩视频比特流114中。
在编码器100中，还需要与解码器相关的电路以便为了预测的目的而重构像素。首先，通过逆量化116和逆变换电路118重构预测残差。该重构的预测残差与块预测器120组合以生成用于当前视频块的未滤波重构像素。
时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已经编码视频图片的重构像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定CU的时间预测信号通常由一个或多个运动矢量(MV)用信号发送(signaled)，这些运动矢量指示当前CU与其时间参考之间的运动量和运动方向。此外，如果支持多个参考图片，则额外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储器中的哪个参考图片。
在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式判决电路121选择最佳预测模式，例如基于率失真优化方法。然后从当前视频块中减去块预测器120；并且使用变换电路102和量化电路104对得到的预测残差进行去相关。得到的量化残差系数由逆量化电路116进行逆量化并由逆变换电路118进行逆变换以形成重构残差，然后将该重构残差加回到该预测块以形成该CU的重构信号。此外，环内滤波115，如去块滤波器、样本自适应偏移(SAO)和/或自适应环内滤波器(ALF)，可以在其被放入图片缓存器117的参考图片存储器之前应用于重构的CU并用于编码未来的视频块。为了形成输出视频比特流114，编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都被发送到熵编码单元106以进一步被压缩和打包以形成该比特流。
例如，去块滤波器可用于AVC、HEVC以及最新版本的VVC中。在HEVC中，定义了一种额外的环内滤波器，称为SAO(样本自适应偏移)，以进一步提高编解码效率。在VVC标准的最新版本中，正在积极研究称为ALF(自适应环内滤波器)的另一种环内滤波器，这种环内滤波器很有可能被包括在最终标准中。
这些环内滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可以作为由编码器100做出的决定而被关闭以降低计算复杂度。
应注意，帧内预测通常基于未滤波的重构的像素，而如果这些滤波器选项被编码器100打开的话，则帧间预测会基于滤波了的重构的像素。
图2是示出了可与多种视频编解码标准结合使用的说明性的视频解码器200的框图。该解码器200类似于驻留在图1中的编码器100中的与重构相关的部分。在解码器200(图2)中，首先通过熵解码202将输入视频比特流201解码以导出量化系数级别和与预测相关的信息。然后通过逆量化204和逆变换206对量化的系数级别进行处理以获得重构的预测残差。在帧内/帧间模式选择器212中实现的块预测器机制被配置为基于已解码的预测信息执行帧内预测208或运动补偿210。通过用加法器214将来自逆变换206的该重构的预测残差与由该块预测器机制生成的预测输出相加来获得一组未滤波的重构像素。
重构块在被存储在用作参考图片存储器的图片缓存器213中之前还可以经过环内滤波器209。然后可以将图片缓存器213中的重构视频发送出去以驱动显示设备，并用于预测未来的视频块。在环内滤波器209开启的情况下，对这些重构像素执行滤波操作以导出最终的重构视频输出222。
在诸如HEVC的视频编解码标准中，可以基于四叉树对多个块进行分区。在较新的视频编解码标准(如最新的VVC)中，采用了更多的分区方法，并且可将一个编码树单元(CTU)拆分为多个CU以适应基于四叉树、二叉树或三叉树的不同的局部特征。在最新的VVC中，大多数编码模式中不存在CU、预测单元(PU)和变换单元(TU)的分割，并且每个CU始终用作预测和变换的基本单元而无需进一步划分。但是，在一些特定的编码方式(如帧内子分区编码方式)中，每个CU中仍可包含多个TU。在多类型树结构中，一个CTU首先被四叉树结构分割。然后，每个四叉树叶子节点可以通过二叉树和三叉树结构被进一步划分。
图3示出了用在最新的VVC中的五种划分类型，即四元分割301、水平二元分割302、垂直二元分割303、水平三元分割304和垂直三元分割305。在使用多类树结构的情况下，首先通过四叉树结构将一个CTU分区，然后可通过二叉树和三叉树结构对每个四叉树叶子节点进行分区。
通过使用图3中的示例性块分区301、302、303、304或305中的一个或多个，可以使用图1中所示的配置来进行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/切片中已编码的相邻块的样本(称为参考样本)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。
在较新的视频编解码标准(如最新的VVC)中，已经增加了新的编解码工具，即具有色度缩放的亮度映射(LMCS)。增加LMCS作为在环内滤波器(如该去块滤波器、SAO和ALF)之前应用的一种新的编解码工具。
一般来讲，LMCS有两个主要模块：第一，基于自适应分段线性模型的亮度分量的环内映射；第二，亮度相关色度残差缩放。
图4是示出了应用LMCS的改进的解码过程的流程图。在图4中，某些块表示在该映射域中执行的解码模块，包括熵解码401、逆量化402、逆变换403、亮度帧内预测404和亮度样本重构405(即，将亮度预测样本Y’pred和亮度残差样本Y’res相加以产生重构的亮度样本Y’recon)。其它某些块指示在原始(即，非映射)域中执行的解码模块，其包括运动补偿预测409、色度帧内预测412、色度样本重构413(即，将色度预测样本Cpred和色度残差样本Cres相加以产生重构的色度样本Crecon)和环内滤波器过程407(包括去块、SAO和ALF)。另一组块表示由LMCS引入的新操作模块，包括亮度样本的前向映射410和逆(或后向)映射406以及色度残差缩放411。此外，如图4所示，存储在解码图片缓存器(DPB)408(对于亮度)和415(对于色度)中的所有参考图片都在该原始域中。
LMCS的环内映射旨在调整输入信号的动态范围以提高编解码效率。现有LMCS设计中亮度样本的环内映射建立在两个映射函数上，一个前向映射函数FwdMap和一个对应的逆向映射函数InvMap。使用一个具有16个相同大小的分段的分段线性模型将该前向映射函数从编码器通过信号发送到解码器。可以从该前向映射函数直接导出该逆向映射函数，因此该逆向映射函数不需要用信号发送。
以切片级别用信号发送亮度映射模型的参数。首先用信号发送存在标志以指示是否要为当前切片用信号发送亮度映射模型。如果当前切片中存在亮度映射模型，则进一步用信号发送相应的分段线性模型参数。基于分段线性模型，输入信号的动态范围在该原始域中被划分为16个大小相等的段，每个段被映射到一个对应的段。对于该原始域中的给定段，其在该映射域中的对应段可能具有相同或不同的大小。该映射域中每个段的大小由该段的码字(即映射的样本值)的数量表示。对于该原始域中的每个段，可基于该映射域中其对应段中的码字数量来推导出线性映射参数。例如，当输入为10位深度时，该原始域中的16个段中的每个段都有64个像素值，如果该映射域中的每个段也具有为其分配的64个码字，则表示简单的一对一映射(即每个样本值不变的映射)。映射域中每个段的用信号发送的码字的数量用于计算该缩放因子并相应地为该段调整映射函数。此外，以切片级别将另一个LMCS控制标志通过信号发送以启用/禁用该切片的LMCS。
对于每个段而言，将相应的分段线性模型限定为在紧接着本段之后的框中所描述的内容：
Figure BDA0003421420860000091
如图4所示，在LMCS过程中需要在两个不同的域中的操作。对于通过帧间预测模式(“帧间CU”)编码的每个CU，在该原始域中执行其运动补偿预测。但是，由于亮度分量的重构(即，亮度预测样本和亮度残差样本的相加)是在该映射域中进行的，所以运动补偿后的亮度预测Ypred需要在映射域中的值Y’pred被用于像素重构405之前通过前向映射函数410(即，Y’pred＝FwdMap(Ypred))从该原始域被映射到值Y’pred。另一方面，对于通过帧内预测模式编码的每个CU(帧内CU)，假定在Y’pred被用于像素重构405之前在该映射域执行了帧内预测404(如图4所示)，则无需对这些预测样本进行映射。最后，在生成这些重构的亮度样本Y’recon之后，应用后向映射函数406将这些重构的亮度样本Y’recon在进入亮度DPB 408之前转换回该原始域中的值Yrecon，即，Yrecon＝InvMap(Y’recon)。与仅需要应用于帧间CU的预测样本的前向映射410不同，这些重构的样本的后向映射406需要应用于帧间和帧内CU二者。
综上所述，在解码器侧，最新的LMCS的环内亮度映射以如下方式进行：如果需要，首先这些亮度预测样本Ypred被转换到映射域：Y’pred＝FwdMap(Ypred)；然后这些映射的预测样本与这些解码了的亮度残差相加以在该映射域中形成重构的亮度样本：Y’recon＝Y’pred+Y’res；最后，应用该逆映射将这些重构的亮度样本Y’recon转换回该原始域：Yrecon＝InvMap(Y’recon)。在编码器侧，由于这些亮度残差是在该映射域中编码的，所以它们被生成为这些映射的亮度原始样本与这些映射的亮度预测样本之间的差：Y’res＝FwdMap(Yorg)-FwdMap(Ypred)。
LMCS的第二步，即与亮度相关的色度残差缩放，被设计成在环内映射被应用于亮度信号时对该亮度信号与其对应的色度信号之间的量化精度的相互作用进行补偿。色度残差缩放是启用还是禁用也在切片报头中通过信号发送。如果启用了亮度映射并且如果禁用了用于当前切片的亮度和色度分量的双树分区，则会通过信号发送额外的标志来指示是否应用与亮度相关的色度残差缩放。当未使用亮度映射时，或者当启用了用于当前切片的双树分区时，始终禁用与亮度相关的色度残差缩放。此外，对于包含少于或等于四个色度样本的CU，始终禁用色度残差缩放。
对于帧内和帧间CU，用于缩放色度残差的缩放参数取决于对应的映射亮度预测样本的平均值。这些缩放参数是在紧接着本段之后的框中所描述的那样导出的：
Figure BDA0003421420860000101
图4还示出了用于与亮度相关的色度残差缩放的亮度预测样本的平均值的计算。对于帧间CU，前向映射的亮度预测Y’pred与缩放后的色度残差CresScale一起被馈入色度残差缩放411以导出这些色度残差Cres，色度残差Cres与色度预测Cpred一起被馈入色度重构413以导出重构的色度值Crecon。对于帧内CU，帧内预测404产生Y’pred，其已经在映射域中，并且以与帧间CU类似的方式被馈入色度残差缩放411中。
与基于样本进行的亮度映射不同，CScaleInv对于整个色度CU是固定的。在给定CScaleInv的情况下，按照在紧接着本段后面的框中所描述的那样应用色度残差缩放。
Figure BDA0003421420860000111
在较新的视频编解码标准(如最新的VVC)中，引入了新的编解码工具，这些新的编解码工具的一些示例是：双向光流(BDOF)、解码器侧运动矢量修正(DMVR)、组合帧间和帧内预测(CIIP)、仿射模式和用于仿射模式的光流的预测修正(PROF)。
在最新的VVC中，双向光流(BDOF)被应用于对双向预测编码块的预测样本进行修正。
图5是BDOF过程的示图。BDOF是在使用双向预测时在基于块的运动补偿预测之上执行的逐样本运动修正。每个4×4子块501的运动修正(vx,vy)是通过在将BDOF应用于子块周围的6×6窗口Ω内之后对参考图片列表0(L0)预测样本502与参考图片列表1(L1)预测样本503之间的差进行最小化来计算的。
具体而言，运动修正(vx,vy)的值是按照紧接于本段后面的方框中的描述推导出来的。
Figure BDA0003421420860000112
按照紧接于本段后面的方框中的描述进一步计算上面的框中的这些值S1、S2、S3、S5和S6。
Figure BDA0003421420860000121
上面的框中的值I(k)(i,j)是列表k中预测信号在坐标(i,j)处的样本值，k＝0,1，这些值以中高精度(即16位)生成；值
Figure BDA0003421420860000122
和
Figure BDA0003421420860000123
是该样本的水平和垂直梯度，并且通过直接计算其两个相邻样本之间的差而获得。值
Figure BDA0003421420860000124
和
Figure BDA0003421420860000125
按照下面的框中的描述进行计算：
Figure BDA0003421420860000126
基于在紧接于[0066]段之后的框中所描述的导出的运动修正，该CU的最终双向预测样本是通过基于光流模型沿运动轨迹内插L0/L1预测样本来计算的，如紧接于本段后面的框中所示。
Figure BDA0003421420860000127
基于上述的位深控制方法，保证了整个BDOF过程的中间参数的最大位深不超过32位，并且乘法的最大输入在15位以内，即一个15位乘法器足以用于BDOF实现。
DMVR是用于具有初始用信号发送的两个MV的合并块的一种双向预测技术，这些MV可以通过使用双边匹配预测被进一步修正。
具体地，在DMVR中，双边匹配用于通过在沿着两个不同的参考图片中的当前CU的运动轨迹的两个块之间找出最佳匹配来导出该当前CU的运动信息。匹配过程中使用的成本函数是被行子采样的SAD(绝对差之和)。在该匹配过程完成之后，这些修正后的MV被用于在预测阶段进行运动补偿，用于后续图片的时间运动矢量预测和未修正的MV被用于当前CU的运动矢量与其空间近邻的运动矢量之间的运动矢量预测。
假设运动轨迹是连续的，指向这两个参考块的运动向量MV0和MVl应与当前图片和这两个参考图片之间的时间距离(即TD0和TDl)成比例。作为特殊情况，在当前图片在时间上位于这两个参考图片之间并且从当前图片到这两个参考图片的时间距离相同时，双边匹配变为基于镜像的双向MV。
在最新的VVC中，在混合视频编解码方案中使用帧间和帧内预测方法，其中每个PU仅被允许选择帧间预测或帧内预测以利用存在于时域中或空间域中的相关性，而从不利用同时存在于时域和空间域中的相关性。然而，正如之前描述中所指出的那样，由帧间预测块和帧内预测块生成的残差信号可能呈现出彼此之间非常不同的特征。因此，如果能够将两种预测有效地结合起来，则可以期待一种更准确的预测，以降低预测残差的能量，从而提高编解码效率。此外，在自然视频内容中，移动物体的运动可能很复杂。例如，可能存在包含旧的内容(如包含在先前编码图片中的物体)和新出现的内容(如在先前编码图片中排除的物体)的区域。在这种情况下，帧间预测或帧内预测都不能提供对当前块的准确预测。
为了进一步提高预测效率，在VVC标准中采用组合的帧间和帧内预测(CIIP)，其通过合并模式将编码了的一个CU的帧内预测和帧间预测相结合。具体地，对于每个合并的CU，用信号发送一个附加标志以指示是否为当前CU启用CIIP。当标识等于1时，CIIP仅应用平面模式来生成亮度和色度分量的帧内预测样本。此外，应用相等的权重(即0.5)来平均帧间预测样本和帧内预测样本以作为该CIIP CU的最终预测样本。
VVC还支持用于运动补偿预测的仿射模式。在HEVC中，仅将平移运动模型应用于运动补偿预测。而在现实世界中存在多种运动，如放大/缩小、旋转、透视运动和其它不规则运动。在VVC中，通过用信号为每个帧间编码块发送一个标志来应用仿射运动补偿预测，以指示是将平移运动还是仿射运动模型应用于帧间预测。在最新的VVC设计中，支持用于一个仿射编码块的两种仿射模式，包括4参数仿射模式和6参数仿射模式。
4参数仿射模型具有以下参数：分别用于水平和垂直方向的平移运动的两个参数，以及用于水平和垂直方向的缩放运动的一个参数和用于水平和垂直方向的旋转运动的一个参数。水平缩放参数等于垂直缩放参数。水平旋转参数等于垂直旋转参数。为了实现这些运动矢量和仿射参数的更好适应，在VVC中，将这些仿射参数平移到位于当前块的左上角和右上角的两个MV(也称为控制点运动矢量(CPMV))之中。该块的仿射运动场由两个控制点MV(V0,V1)来描述。
基于该控制点运动，按照紧接于本段的下面的框中的描述计算一个仿射编码块的运动场(vx,vy)。
Figure BDA0003421420860000141
6参数仿射模式具有以下参数：分别用于水平和垂直方向的平移运动的两个参数、用于水平方向的缩放运动的一个参数和用于水平方向的旋转运动的一个参数、以及用于垂直方向的缩放运动的一个参数和用于垂直方向的旋转运动的一个参数。在三个CPMV处用三个MV对6参数仿射运动模型进行编码。
一个6参数仿射块的三个控制点位于该块的左上角、右上角和左下角。在左上控制点的运动与平移运动有关，在右上控制点的运动与水平方向的旋转和缩放运动有关，在左下控制点的运动与垂直方向的旋转和缩放运动有关。与4参数仿射运动模型相比，6参数的水平方向的旋转运动和缩放运动可分别不同于其垂直方向的运动。
假设(V0,V1,V2)是该当前块的左上角、右上角和左下角的MV，按照紧接于本段的下面的框中的描述使用控制点处的三个MV来导出每个子块(vx,vy)的运动矢量。
Figure BDA0003421420860000151
为了提高仿射运动补偿精度，目前VVC中正在研究光流的预测修正(PROF)，它基于光流模型修正基于子块的仿射运动补偿。具体地，在进行基于子块的仿射运动补偿之后，由基于光流方程导出的一个样本修正值对一个仿射块的亮度预测样本进行修改。具体来说，PROF的操作可以概括为以下四个步骤。
在第一步中，进行基于子块的仿射运动补偿，以使用紧接在前面的[0078]段之后的框导出的用于4参数仿射模型的子块MV和紧接在前面的[0081]段之后的框导出的用于6参数仿射模型的子块MV生成子块预测I(i,j)。
在第二步中，按照紧接于本段的下面的框中的描述来计算每个预测样本的空间梯度gx(i,j)和gy(i,j)。
Figure BDA0003421420860000152
仍然在步骤二中，为了计算这些梯度，需要在一个子块的每一侧生成一个额外的行/列预测样本。为了降低内存带宽和复杂度，从参考图片中最近的整数像素位置复制扩展边界上的样本，以避免额外的插值过程。
在步骤三中，按照紧接于本段的下面的框中的描述来计算亮度预测修正值。
Figure BDA0003421420860000153
此外，在目前的PROF设计中，在将预测修正添加到原始预测样本之后，进行裁剪操作，这种裁剪操作作为第四步，以将修正后的预测样本的值裁剪在15位以内，如在紧接于本段的下面的框中所述。
Figure BDA0003421420860000154
由于这些仿射模型参数和相对于子块中心的像素位置在子块与子块之间没有变化，因此Δv(i,j)可被用于计算第一个子块，并且Δv(i,j)可被重用于同一个CU中的其它子块。设Δx和Δy是从样本位置(i,j)到该样本所属子块的中心的水平和垂直偏移，可按照紧接着本段之后的框中的描述来导出Δv(i,j)。
Figure BDA0003421420860000161
基于紧接在前面的[0078]段之后的框和紧接在前面的[0081]段之后的框中的仿射子块MV推导方程，可按照紧接在本段之后的框中的描述来导出该MV差Δv(i,j)。
Figure BDA0003421420860000162
根据最新的LMCS设计，基于色度残差样本对应的亮度预测样本对这些色度残差样本进行缩放。当为帧间CU启用较新的编解码工具时，在这些较新的编解码工具的按顺序的应用结束时获得用于通过该帧间CU中的LMCS对这些色度残差样本进行缩放的亮度预测样本。
图6是示出了当DMVR、BDOF和CIIP全部启用时LMCS中色度残差缩放的工作流程的流程图。来自亮度L0预测值601和亮度L1预测值602的输出被依次馈入DMVR 603和BDOF604，并且所得到的亮度帧间预测值621与来自亮度帧内预测605的亮度帧内预测值622一起被馈入平均606以产生平均亮度预测值623，平均亮度预测值623与色度残差608一起被馈入色度残差缩放607，以使色度残差缩放607、色度预测610和色度重构609可以一起工作以产生最终结果。
最新的LMCS设计对视频解码过程提出了三个挑战。首先，不同域之间的映射需要额外的计算复杂度和片上存储器。其次，亮度和色度缩放因子推导使用了不同的亮度预测值这一事实引入了额外的复杂性。第三，该LMCS与较新的这些编解码工具之间的交互将延迟引入解码过程。
首先，在最新的LMCS设计中，该原始域和映射域中的重构样本都用于各种解码模块。因此，这些样本通常需要在不同的解码模块之间从一个域转换到另一个域，这可能会导致更高的计算复杂度和更多的片上内存。
具体地，对于帧内模式、CIIP模式和IBC模式，来自一个当前CU的相邻重构区域的映射域参考样本用于生成这些预测样本。但是对于帧间模式，通过将时间参考图片的原始域重构样本用作参考来进行运动补偿预测。存储在该DPB中的这些重构样本也在该原始域中。
例如，对于帧间CU，由于亮度重构操作(即，将这些预测样本和残差样本相加)是在该映射域中进行的，因此在该原始域中生成的帧间预测亮度样本在用于亮度样本重构之前需要被转换到该映射域。在另一个示例中，对于帧内和帧间CU，在将重构的亮度样本存储在DPB之前，总是应用逆(或后向)映射将其从该映射域转换到该原始域。这种设计不仅增加了由于额外的前向/逆向映射操作导致的计算复杂度，而且还需要更多的片上存储器来维护这些重构样本的多个版本。
在实际的硬件实现中，可以使用查找表(LUT)或即时计算来实现前向和逆向(或后向)映射函数FwdMap和InvMap。当使用基于LUT的解决方案时，可以预先计算来自函数FwdMap、InvMap和cScaleInv的可能的输出元素并将其预先存储为LUT，然后可以将其用于在当前切片中所有CU的亮度映射和色度残差缩放操作。假设输入视频为10比特，则对于FwdMap和InvMap来讲的每个LUT中有210＝1024个元素，并且LUT中的每个元素都有10比特。因此，用于前向和逆向亮度映射的LUT的总存储量等于2*1024*10＝20480位＝2560字节。另一方面，为了导出这些色度缩放参数CScaleInv，需要在编码器和解码器处维护一个16条目的LUT表cScaleInv，并且每个色度缩放参数以32比特存储。相应地，用于存储LUT cScaleInv的内存大小等于16*32＝512位＝64字节。2560与64之间的差异表明了前向和逆向(后向)映射操作所要求的额外片上存储器的规模。
此外，在较新的视频编解码标准(如当前的VVC)中，帧内预测和去块滤波器都使用上述相邻块的重构样本。因此，需要将在当前图片/切片的宽度中额外的一行重构样本保持在缓存中，这在视频编解码中也称为“行缓存”。行缓存中重构的样本至少用作帧内预测和位于一个CTU内第一行中的CU的去块操作的参考。根据现有的LMCS设计，帧内预测和去块滤波器使用不同域中的重构样本。因此，有必要使用额外的片上存储器来存储原始域重构样本和映射域重构样本，这可能会使行缓存大小增加约一倍。
避免行缓存器大小加倍的一种实现选择是即时执行域映射操作。然而，这是以不可忽略的计算复杂性增加为代价的。
因此，由于不同域之间所需的映射，LMCS的最新设计会要求额外的计算复杂度和片上存储器。
其次，虽然最新的LMCS设计中的亮度和色度缩放因子推导方法均使用亮度预测样本值来推导相应的缩放因子，但它们对应的操作之间存在差异。
对于亮度残差缩放，通过允许每个亮度残差样本具有其自己的缩放因子来导出每个样本的缩放因子。然而，对于色度残差缩放，缩放因子对于整个CU是固定的，即，该CU内的所有色度残差样本共享基于这些映射亮度预测样本的平均值计算的同一缩放因子。
而且，使用两个不同的LUT来计算亮度残差和色度残差的缩放因子。具体地，亮度LUT的输入是原始亮度预测样本值的映射模型段索引，而色度LUT的输入是映射的亮度预测样本平均值的映射模型段索引。
这种差异将额外的复杂性引入到编解码过程中，并且需要一种用于亮度和色度缩放因子推导的协调方法。
第三，对于LMCS的最新设计的色度残差缩放，可以依次调用较新的编解码工具(如DMVR、BDOF和CIIP的所有三个模块)来生成这些亮度预测样本，然后使用这些较新的编解码工具来确定该色度残差的缩放因子。考虑到三个模块的高计算复杂度，在进行LMCS的色度残差缩放之前等待它们成功地完成可能会导致这些色度样本解码的严重时延。对于仿射CU，该PROF过程也可能存在时延问题，因为每个仿射CU可执行PROF过程，然后是LMCS，这也可能导致对色度样本解码的时延问题。
本发明旨在解决或减轻由LMCS的最新设计所带来的这些挑战，更具体地来讲，本发明讨论可以在保持编解码增益的同时降低用于硬件编解码器实现的LMCS的复杂度的方案。
在本发明中，不是使用通过映射操作转换预测/重构样本的现有LMCS框架，而是提出了一种称为预测相关残差缩放(PDRS)的新方法作为第一方面直接对预测残差进行缩放而不进行样本映射。所提出的方法可以达到与LMCS类似的效果和编解码效率，但实现复杂度要低得多。
根据本发明的第一方面，其主要涉及PDRS。如图7所示，获得用于对亮度残差样本进行解码的亮度预测样本(701)，使用该亮度预测样本导出缩放因子(702)，使用缩放因子缩放该亮度残差样本(703)，并且通过将该亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本(704)。
与现有的LMCS方法在计算亮度预测残差之前直接将预测的/重构的亮度样本转换到映射域不同，在本发明的第一方面的提出的方法中，以与在原始域中的常规预测过程中相同的方式导出这些亮度预测残差样本，而无任何映射操作，然后对亮度预测残差进行缩放操作。亮度预测残差的缩放取决于相应的亮度预测样本值和分段线性模型。因此，当前LMCS设计中的前向和逆向亮度映射操作可以完全丢弃，解码过程中涉及的所有预测和重构样本都保留在原始样本域中。基于上述特征，将所提出的方法被命名为预测相关残差缩放。
图8是示出了当本发明的第一方面应用于LMCS过程中时的解码过程的工作流程的流程图。该图示出了不需要在不同域之间进行映射。除了残差解码模块(如熵解码801、逆量化802和逆变换803)之外，其它所有的解码模块(包括帧内和帧间预测804、809、812和816，重构806和813，以及所有环内滤波器807和814)都在该原始域中运行。具体地，为了重构这些亮度样本，本发明第一方面中提出的方法仅需要将亮度预测残差样本Yres去缩放回其原始幅度水平，然后将它们添加到亮度预测样本Ypred上。
通过本发明的第一方面中提出的方法，完全去除了现有LMCS设计中的前向和逆向亮度样本映射操作。这不仅可以节省/降低计算复杂度，还可以减少用于保存LMCS参数的潜在存储器的大小。例如，当使用基于LUT的解决方案来实现亮度映射时，在所提出的方法中不再需要先前用于存储两个映射LUT FwdMap[]和InvMap[](约2560字节)的存储器。此外，与需要在原始域和映射域中都存储重构亮度样本的现有亮度映射方法不同，本发明第一方面中提出的方法仅在原始域中生成和维护所有的预测和重构样本。相应地，与现有的亮度映射相比，本发明第一方面所提出的方法可以有效地将用于存储用于帧内预测和去块的重构样本的行缓存大小减少一半。
根据本发明的第一方面的一个或多个实施例，该亮度预测样本和该亮度残差样本来自亮度预测块及其关联残差块中的一个相同的并置位置(collocated position)。
根据本发明的第一方面的一个或多个实施例，使用该亮度预测样本导出缩放因子包括将可能的亮度预测样本值的整个范围划分为多个亮度预测样本段，基于预定义的片段线性模型对多个亮度预测样本段中的每一个计算一个缩放因子，以及基于多个亮度预测样本段的缩放因子确定该亮度预测样本的缩放因子。
在一个示例中，基于多个亮度预测样本段的缩放因子确定该亮度预测样本的缩放因子包括将该亮度预测样本分配到多个亮度预测样本段中的一个段中，以及计算该亮度预测样本的缩放因子作为分配的该亮度预测样本段的缩放因子。
在该示例中，多个亮度预测样本段包括预定义的16片段LUT表scaleForward中的16个段，并且用于为多个亮度预测样本中的每一个计算一个缩放因子的预定义段线性模型预测样本段包括与预定义的LUT表scaleForward中的16个段对应的16个值。
在同一示例中，按照紧接着本段之后的框中的描述基于该分配的亮度预测样本段计算该缩放因子。
Figure BDA0003421420860000201
在同一示例中，给定亮度缩放因子ScaleY，按照紧接着本段之后的框中的描述应用亮度残差样本缩放方法。
Figure BDA0003421420860000211
该示例背后的动机是，最新的LMCS中的前向映射基于一个分段线性模型。如果原始亮度样本和亮度预测样本都位于同一片段(即由两个枢轴点InputPivot[i]和InputPivot[i+1]限定的同一段)，则原始亮度样本和预测亮度样本的两个前向映射函数变得完全相同。相应地，这会导致Y’res＝FwdMap(Yorg)-FwdMap(Ypred)＝FwdMap(Yorg-Ypred)＝＝FwdMap(Yres)。通过在该等式两边都应用逆映射，相应的解码器侧重构操作可以表示为：Yrecon＝Ypred+InvMap(Y’res)。
换言之，在原始亮度样本和亮度预测样本都位于相同片段的情况下，LMCS中的亮度映射方法可通过解码过程中的一次残差缩放操作来实现，如在这个可能的实施方式中实现。
虽然这样的结论是基于原始亮度样本和亮度预测样本都位于由两个枢轴点InputPivot[i]和InputPivot[i+1]限定的同一段的假设得出的，但是这个示例的这种可能的实现在任何情况下仍然可以用作VVC中现有亮度映射操作的简化和/或近似，即使在原始亮度样本和亮度预测样本位于分段线性模型的不同段时亦如此。实验结果表明，这种简化和/或近似对编解码性能的影响很小。
在此重申，此示例基于原始亮度样本值和预测亮度样本值都位于分段线性模式的同一段中的假设。在这种情况下，应用于原始亮度样本和预测亮度样本的前向/逆向映射函数是相同的；因此，仅根据亮度预测样本计算相应的残差缩放因子是安全的。
然而，当CU的预测样本不够准确时(例如，对于距离参考样本较远的样本通常预测不太准确的帧内预测CU)，预测样本和原始样本往往位于分段线性模型的不同段。在这种情况下，基于预测样本值导出的缩放因子在反映原始(即非映射)域中的残差样本与映射域中的残差样本之间的原始映射关系时可能不可靠。
图9是仅使用预测样本来推导缩放因子而导致的残差映射误差的图示。在图9中，三角形实点表示分段线性函数中不同段的枢轴控制点，圆形实点表示原始预测样本值和预测样本值；Yorg和Ypred是原始(即非映射)域中的原始样本和预测样本；Y’org和Y’pred分别是Yorg和Ypred的映射样本。Yres和Y’res是在VVC中的现有的基于样本的亮度映射方法应用时原始域和映射域中对应的残差；Y’resScale是基于提出的亮度残差缩放方案导出的映射的残差样本。如图9所示，由于原始样本和预测样本不在分段线性模型的同一段中，所以基于预测样本推导出的缩放因子可能不够准确而无法产生近似于映射域中的原始残差(即Y’res)的缩放残差(即Y’resScale)。
在第二个示例中，并不要求假设原始亮度样本值和预测亮度样本值都位于分段线性模式的同一段中。
在该第二示例中，将缩放因子计算为N(N是正整数)个相邻段的缩放因子的平均值，而不是直接从亮度预测样本所在的分段线性模型的段中推导出缩放因子。
在该第二示例中，基于多个亮度预测样本段的缩放因子确定该亮度预测样本的缩放因子包括将该亮度预测样本分配到多个亮度预测样本段中的一个段中，以及计算该亮度预测样本的缩放因子作为与分配的亮度预测样本段相邻的多个亮度预测样本段的缩放因子的平均值。
更具体地，在该第二示例的一种可能实施方式中，可按照下面所描述的步骤基于分配的亮度预测样本段来计算缩放因子。
1)在原始域中查找或获取PredY所属的该分段线性模型的对应段索引IdxY。
2)如果Yr′es≥0，则将该亮度残差缩放因子计算如下：
Figure BDA0003421420860000221
3)否则(即Yr′es<0)，将该亮度残差缩放因子计算如下：
Figure BDA0003421420860000222
其中，scaleForward[i],i＝0…15是预定义的16片段LUT，将其计算为：
scaleForward[i]＝(OrgCW<<SCALE_FP_PREC)/SignaledCW[i]
其中，OrgCW和SignaledCW[i]分别是原始域和映射域中第i段的码字数量，SCALE_FP_PREC是缩放因子的精度。
在该第二示例的第二个可能的实施方式中，除了可基于分配的亮度预测样本段来计算缩放因子之外，在其它方面与上述实施方式相同，如紧接在本段后面的框中所述：
Figure BDA0003421420860000231
该第二示例的以上两种可能的实施方式仅在基于分配的段选择N个亮度预测样本域值段方面有所不同。
根据本发明的第二方面，如图10所示，获得用于对输入位置处的亮度残差样本和色度残差样本进行解码的亮度预测样本值(1001)，然后获得与该亮度残差样本关联的亮度预测样本(1002)，获得与该色度残差样本关联的色度预测样本(1003)，使用该亮度预测样本导出用于该亮度残差样本的第一缩放因子和用于该色度残差样本的第二缩放因子(1004)，使用该第一缩放因子缩放该亮度残差样本(1005)，使用该第二缩放因子缩放该色度残差样本(1006)，通过将该亮度预测样本与缩放后的该亮度残差样本相加来计算重构的亮度样本(1007)，通过将该色度预测样本与缩放后的色度残差样本相加来计算重构的色度样本(1008)。
本发明的该第二方面旨在协调亮度残差和色度残差的缩放方法以实现更统一的设计。
根据本发明的第二方面的一个或多个实施例，该亮度预测样本值是包含该输入位置的编码单元(CU)中的所有亮度预测样本的平均值。在这些实施例中，该色度缩放导出方法用于计算用于亮度残差的缩放因子，更具体地来讲，使用基于亮度预测样本的平均值计算的一个共享缩放因子来对整个CU的亮度残差样本进行缩放，而不是单独地导出用于每个亮度残差样本的一个缩放因子。
根据本发明的第二方面的另一个实施例，该亮度预测样本值是从包含该输入位置的编码单元(CU)细分的预定义子块中的所有亮度预测样本的平均值。在本实施例中，首先将一个CU平均划分为多个M×N的子块；然后对于每个子块，使用全部或部分亮度预测样本来导出用于缩放该子块的亮度残差和色度残差二者的相应的缩放因子。与第一种方法相比，第二种方法可以提高估计的缩放因子的空间精度，这是因为在该子块的缩放因子的计算中排除了子块之外的相关性较低的亮度预测样本。同时，考虑到可以在该子块的亮度预测完成后立即开始对一个子块中的亮度和色度残差进行缩放，即无需等待完整的生成整个CU的亮度预测样本，所以第二种方法也可以减少亮度残差和色度残差重构的时延。
根据本发明的第二方面的再一个实施例，该亮度预测样本域值包括并置的亮度预测样本。在本实施例中，将亮度残差缩放方法扩展为对色度残差进行缩放，并且基于每个色度残差样本的并置的亮度预测样本值推导出用于每个色度残差样本的不同的缩放因子。
在本发明第二方面的以上实施例中，提出使用与用于计算亮度缩放因子相同的LUT来进行色度残差的缩放。在一个示例中，为了导出用于色度残差的CU级缩放因子ScaleC，可以按照以下步骤进行：
1)计算CU内的这些亮度预测样本的平均值(在原始域中表示)，表示为avgY。
2)寻找或获取avgY所属的分段线性模型的对应的段索引IdxY。
3)将ScaleC的值计算如下：
ScaleC＝scaleForward[IdxY]
其中，scaleForward[i],i＝0…15是一个预定义的16片段LUT，其计算如下：
scaleForward[i]＝(OrgCW<<SCALE_FP_PREC)/SignaledCW[i]
其中，OrgCW和SignaledCW[i]分别是原始域和映射域中第i段的码字数量，SCALE_FP_PREC是缩放因子的精度。
可将上述示例容易地扩展到按照当前CU的每个子块导出用于每个色度残差的缩放因子的情形。在这种情形中，在第一步骤中，可将上述avgY计算为子块的原始域中的亮度预测样本的平均值，而步骤2和步骤3保持相同。
根据本发明的第三方面，如图11所示，通过在用于编码单元(CU)的亮度预测过程期间跳过多个预定义的中间亮度预测阶段来获得多个亮度预测样本(1101)，使用获得的多个亮度预测样本来导出用于该CU中的色度残差样本的缩放因子(1102)，使用这些缩放因子来缩放该CU中的色度残差样本(1103)，通过将该CU中的色度预测样本和缩放后的色度残差样本相加来计算重构的色度样本(1104)。
根据本发明第三方面的一个或多个实施例，该预定义的中间亮度预测阶段包含如下的一个或多个双向预测模块：解码器侧运动矢量推导(DMVR)、双向光流(BDOF)、组合帧间和帧内预测(CIIP)。在这些实施例中，在DMVR、BDOF/PROF、CIIP帧内/帧间组合过程之前导出的帧间预测样本用于导出用于这些色度残差的缩放因子。
图12是示出了本发明的第三方面的一个示例中的LMCS解码过程的工作流程的流程图，其中不应用DMVR、BDOF和CIIP来生成用于色度缩放的亮度预测样本。这里，只要基于初始的亮度L0预测1201和亮度L1预测1202的预测样本1221和1222变得可用，即可开始色度残差缩放过程1208，而不是等待DMVR 1203、BDOF 1204和/或CIIP的亮度帧内预测部分1205全部完成。
在图12中，除了原始平均操作1206之外，还需要一个额外的平均操作1211来组合DMVR 1203、BDOF 1204和/或CIIP 1205之前的初始L0预测样本1221和L1预测样本1222。
为了降低复杂度，在本发明的第三方面的实施例的第二个示例中，可以使用初始L0预测样本来导出用于色度残差的缩放因子。
图13是示出了本发明的第三方面的第二示例中的LMCS解码过程的工作流程的流程图，其中应用初始单向预测信号来生成用于色度缩放的亮度预测样本。除了原始平均操作1306之外，不需要额外的平均操作。初始L0预测样本1321用于在DMVR1303、BDOF 1304和/或CIIP 1305之前导出用于色度残差的缩放因子。
在本发明的第三方面的该实施例的第三示例中，以自适应方式选择一个初始预测信号(L0或L1)作为用于导出该色度残差缩放因子的亮度预测样本。在该示例的一种可能实施方式中，在初始预测信号(L0或L1)之间，选择参考图片相对于当前图片具有较小图片顺序计数(POC)距离的那个，用于导出该色度残差缩放因子。
在本发明的第三方面的该实施例的另一个示例中，提出了仅禁用DMVR、BDOF/PROF，而启用CIIP来生成用于确定色度残差缩放因子的帧内预测样本。具体来讲，在此方法中，首先将DMVR和BDOF/PROF之前导出的帧内预测样本进行平均，然后将其与用于CIIP的帧内预测样本组合，最后将这些组合的预测样本作为用于确定该色度残差缩放因子的预测样本。
在本发明的第三方面的又一个实施例中，提出了仅禁用BDOF/PROF，而同时保留用于生成用于确定色度残差缩放因子的预测样本的DMVR和CIIP。
在本发明的第三方面的再一个实施例中，提出在导出用于确定色度残差缩放因子的亮度预测样本时，在禁用DMVR的同时保持BDOF/PROF和CIIP。
此外，值得注意的是，虽然本发明第三方面的上述实施例中的方法是为了减少色度预测残差缩放的延迟而说明的，但这些方法也可以用于减少色度预测残差缩放的时延。例如，所有这些方法也可以应用于“基于预测相关残差缩放的亮度映射”部分中解释的PDRS方法。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输并由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质，或者包括便于将计算机程序从一个地方转移到另一个地方的任何介质的通信介质，例如，根据通信协议。在这种方式中，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一台或多台计算机或一个或多个处理器访问以检索指令、代码和/或数据结构以实现本申请中描述的实施方式的任何可用介质。计算机程序产品可包括计算机可读介质。
此外，可以使用包括一个或多个电路的装置来实现上述方法，这些电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件。该装置可以使用与其他硬件或软件组件结合的电路来执行上述方法。上面公开的每个模块、子模块、单元或子单元可以至少部分地使用一个或多个电路来实现。
本发明可包括专用硬件实现，如专用集成电路、可编程逻辑阵列和其他硬件设备。可以构造硬件实现以实现本文中所描述的一种或多种方法。可包括各种实现的装置和系统的示例可以广泛地包括各种电子和计算系统。在此描述的一个或多个示例可以使用两个或多个特定互连硬件模块或设备来实现功能，其中相关控制和数据信号可以在模块之间和通过模块进行通信，或者作为专用集成电路的一部分。因此，所公开的装置或系统可以包括软件、固件和硬件实现。术语“模块”、“子模块”、“电路”、“子电路”、“电路系统”、“子电路系统”、“单元”或“子单元”可以包括存储器(共享的、专用的，或组)存储可由一个或多个处理器执行的代码或指令。此处所指的模块可以包括一个或多个带有或不带有存储代码或指令的电路。模块或电路可包括连接的一个或多个组件。
考虑到这里公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说将是显而易见的。本申请旨在涵盖本发明遵循其一般原理的任何变化、用途或修改，并且包括在本领域已知或习惯实践中与本公开内容的偏离。说明书和实施例仅被认为是示例性的，本发明的真正范围和精神由以下权利要求指示。
应当理解，本发明不限于上述和附图中所示的确切示例，并且可以在不脱离其范围的情况下进行各种修改和改变。本发明的范围旨在仅由所附的权利要求书来限定。

Claims (33)

1.一种视频编解码方法，包括：
获得用于对亮度残差样本进行解码的亮度预测样本；
使用所述亮度预测样本导出缩放因子；
使用所述缩放因子对所述亮度残差样本进行缩放；以及
通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本。
2.根据权利要求1所述的方法，其中，所述亮度预测样本和所述亮度残差样本来自亮度预测块及其关联残差块中的一个相同的并置位置。
3.根据权利要求1所述的方法，其中，使用所述亮度预测样本导出缩放因子包括：
将可能的亮度预测样本值的整个范围划分为多个亮度预测样本段；
基于预定义的片段线性模型对所述多个亮度预测样本段中的每一个计算一个缩放因子；以及
基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子。
4.根据权利要求3所述的方法，其中，基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子包括：
将所述亮度预测样本分配到所述多个亮度预测样本段中的一个段中；以及
计算所述亮度预测样本的缩放因子作为分配的亮度预测样本段的缩放因子。
5.根据权利要求3所述的方法，其中，基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子包括：
将所述亮度预测样本分配到所述多个亮度预测样本段中的一个段中；以及
计算所述亮度预测样本的缩放因子作为与分配的亮度预测样本段相邻的多个亮度预测样本段的缩放因子的平均值。
6.一种视频编解码方法，包括：
获得用于对输入位置处的亮度残差样本和色度残差样本两者进行解码的亮度预测样本值；
获得与所述亮度残差样本关联的亮度预测样本；
获得与所述色度残差样本关联的色度预测样本；
使用所述亮度预测样本导出用于所述亮度残差样本的第一缩放因子和用于所述色度残差样本的第二缩放因子；
使用所述第一缩放因子缩放所述亮度残差样本；
使用所述第二缩放因子缩放所述色度残差样本；
通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本；以及
通过将所述色度预测样本与缩放后的色度残差样本相加来计算重构的色度样本。
7.根据权利要求6所述的方法，其中，所述亮度预测样本值是包含所述输入位置的编码单元(CU)中的所有亮度预测样本的平均值。
8.根据权利要求6所述的方法，其中，所述亮度预测样本值是从包含所述输入位置的编码单元(CU)细分的预定义子块中的所有亮度预测样本的平均值。
9.根据权利要求6所述的方法，其中，所述亮度预测样本域值包括并置的亮度预测样本。
10.一种视频编解码方法，包括：
通过在用于编码单元(CU)的亮度预测过程期间跳过多个预定义的中间亮度预测阶段来获得多个亮度预测样本；
使用获得的多个亮度预测样本来导出用于所述编码单元中的色度残差样本的缩放因子；
使用所述缩放因子来缩放所述编码单元中的所述色度残差样本；以及
通过将所述编码单元中的色度预测样本和缩放后的色度残差样本相加来计算重构的色度样本。
11.根据权利要求10所述的方法，其中，所述预定义的中间亮度预测阶段包含以下各项的一个或多个双向预测模块：解码器侧运动矢量推导(DMVR)、双向光流(BDOF)以及组合帧间和帧内预测(CIIP)。
12.一种计算设备，包括：
一个或多个处理器；
耦合到所述一个或多个处理器的非暂时性存储器；以及
存储在所述非暂时性存储器中的多个程序，当由所述一个或多个处理器执行时，所述多个程序使得所述计算设备执行以下行为：
获得用于对亮度残差样本进行解码的亮度预测样本；
使用所述亮度预测样本导出缩放因子；
使用所述缩放因子对所述亮度残差样本进行缩放；以及
通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本。
13.根据权利要求12所述的计算设备，其中，所述亮度预测样本和所述亮度残差样本来自亮度预测块及其关联残差块中的一个相同的并置位置。
14.根据权利要求12所述的计算设备，其中，使用所述亮度预测样本导出缩放因子包括：
将可能的亮度预测样本值的整个范围划分为多个亮度预测样本段；
基于预定义的片段线性模型对所述多个亮度预测样本段中的每一个计算一个缩放因子；以及
基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子。
15.根据权利要求14所述的计算设备，其中，基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子包括：
将所述亮度预测样本分配到所述多个亮度预测样本段中的一个段中；以及
计算所述亮度预测样本的缩放因子作为分配的亮度预测样本段的缩放因子。
16.根据权利要求14所述的计算设备，其中，基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子包括：
将所述亮度预测样本分配到所述多个亮度预测样本段中的一个段中；以及
计算所述亮度预测样本的缩放因子作为与分配的亮度预测样本段相邻的多个亮度预测样本段的缩放因子的平均值。
17.一种计算设备，包括：
一个或多个处理器；
耦合到所述一个或多个处理器的非暂时性存储器；以及
存储在所述非暂时性存储器中的多个程序，当由所述一个或多个处理器执行时，所述多个程序使得所述计算设备执行以下行为：
获得用于对输入位置处的亮度残差样本和色度残差样本两者进行解码的亮度预测样本值；
获得与所述亮度残差样本关联的亮度预测样本；
获得与所述色度残差样本关联的色度预测样本；
使用所述亮度预测样本导出用于所述亮度残差样本的第一缩放因子和用于所述色度残差样本的第二缩放因子；
使用所述第一缩放因子缩放所述亮度残差样本；
使用所述第二缩放因子缩放所述色度残差样本；
通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本；以及
通过将所述色度预测样本与缩放后的色度残差样本相加来计算重构的色度样本。
18.根据权利要求17所述的计算设备，其中，所述亮度预测样本值是包含所述输入位置的编码单元(CU)中的所有亮度预测样本的平均值。
19.根据权利要求17所述的计算设备，其中，所述亮度预测样本值是从包含所述输入位置的编码单元(CU)细分的预定义子块中的所有亮度预测样本的平均值。
20.根据权利要求17所述的计算设备，其中，所述亮度预测样本域值包括并置的亮度预测样本。
21.一种计算设备，包括：
一个或多个处理器；
耦合到所述一个或多个处理器的非暂时性存储器；以及
存储在所述非暂时性存储器中的多个程序，当由所述一个或多个处理器执行时，所述多个程序使得所述计算设备执行以下行为：
通过在用于编码单元(CU)的亮度预测过程期间跳过多个预定义的中间亮度预测阶段来获得多个亮度预测样本；
使用获得的多个亮度预测样本来导出用于所述编码单元中的色度残差样本的缩放因子；
使用所述缩放因子来缩放所述编码单元中的色度残差样本；以及
通过将所述编码单元中的色度预测样本和缩放后的色度残差样本相加来计算重构的色度样本。
22.根据权利要求21所述的计算设备，其中，所述预定义的中间亮度预测阶段包含以下各项的一个或多个双向预测模块：解码器侧运动矢量推导(DMVR)、双向光流(BDOF)以及组合帧间和帧内预测(CIIP)。
23.一种非暂时性计算机可读存储介质，其存储由具有一个或多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或多个处理器执行时使所述计算设备执行以下行为：
获得用于对亮度残差样本进行解码的亮度预测样本；
使用所述亮度预测样本导出缩放因子；
使用所述缩放因子对所述亮度残差样本进行缩放；以及
通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本。
24.根据权利要求23所述的非暂时性计算机可读存储介质，其中，所述亮度预测样本和所述亮度残差样本来自亮度预测块及其关联残差块中的一个相同的并置位置。
25.根据权利要求23所述的非暂时性计算机可读存储介质，其中，使用所述亮度预测样本导出缩放因子包括：
将可能的亮度预测样本值的整个范围划分为多个亮度预测样本段；
基于预定义的片段线性模型对所述多个亮度预测样本段中的每一个计算一个缩放因子；以及
基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子。
26.根据权利要求25所述的非暂时性计算机可读存储介质，其中，基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子包括：
将所述亮度预测样本分配到所述多个亮度预测样本段中的一个段中；以及
计算所述亮度预测样本的缩放因子作为分配的亮度预测样本段的缩放因子。
27.根据权利要求25所述的非暂时性计算机可读存储介质，其中，基于所述多个亮度预测样本段的缩放因子确定所述亮度预测样本的缩放因子包括：
将所述亮度预测样本分配到所述多个亮度预测样本段中的一个段中；以及
计算所述亮度预测样本的缩放因子作为与分配的亮度预测样本段相邻的多个亮度预测样本段的缩放因子的平均值。
28.一种非暂时性计算机可读存储介质，其存储由具有一个或多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或多个处理器执行时使所述计算设备执行以下行为：
获得用于对输入位置处的亮度残差样本和色度残差样本两者进行解码的亮度预测样本值；
获得与所述亮度残差样本关联的亮度预测样本；
获得与所述色度残差样本关联的色度预测样本；
使用所述亮度预测样本导出用于所述亮度残差样本的第一缩放因子和用于所述色度残差样本的第二缩放因子；
使用所述第一缩放因子缩放所述亮度残差样本；
使用所述第二缩放因子缩放所述色度残差样本；
通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本；以及
通过将所述色度预测样本与缩放后的色度残差样本相加来计算重构的色度样本。
29.根据权利要求28所述的非暂时性计算机可读存储介质，其中，所述亮度预测样本值是包含所述输入位置的编码单元(CU)中的所有亮度预测样本的平均值。
30.根据权利要求28所述的非暂时性计算机可读存储介质，其中，所述亮度预测样本值是从包含所述输入位置的编码单元(CU)细分的预定义子块中的所有亮度预测样本的平均值。
31.根据权利要求28所述的非暂时性计算机可读存储介质，其中，所述亮度预测样本域值包括并置的亮度预测样本。
32.一种非暂时性计算机可读存储介质，其存储由具有一个或多个处理器的计算设备执行的多个程序，其中所述多个程序在由所述一个或多个处理器执行时使所述计算设备执行以下行为：
通过在用于编码单元(CU)的亮度预测过程期间跳过多个预定义的中间亮度预测阶段来获得多个亮度预测样本；
使用获得的多个亮度预测样本来导出用于所述编码单元中的色度残差样本的缩放因子；
使用所述缩放因子来缩放所述编码单元中的色度残差样本；以及
通过将所述编码单元中的色度预测样本和缩放的色度残差样本相加来计算重构的色度样本。
33.根据权利要求32所述的非暂时性计算机可读存储介质，其中，所述预定义的中间亮度预测阶段包含以下各项的一个或多个双向预测模块：解码器侧运动矢量推导(DMVR)、双向光流(BDOF)以及组合帧间和帧内预测(CIIP)。
CN202080045197.4A 2019-06-20 2020-06-22 用于视频编解码的预测相关残差缩放的方法和装置 Pending CN114009021A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962864497P 2019-06-20 2019-06-20
US62/864,497 2019-06-20
PCT/US2020/038989 WO2020257785A1 (en) 2019-06-20 2020-06-22 Methods and devices for prediction dependent residual scaling for video coding

Publications (1)

Publication Number Publication Date
CN114009021A true CN114009021A (zh) 2022-02-01

Family

ID=74037592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045197.4A Pending CN114009021A (zh) 2019-06-20 2020-06-22 用于视频编解码的预测相关残差缩放的方法和装置

Country Status (4)

Country Link
US (1) US20220116616A1 (zh)
EP (1) EP3987789A4 (zh)
CN (1) CN114009021A (zh)
WO (1) WO2020257785A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708802A (zh) * 2020-06-24 2023-09-05 北京达佳互联信息技术有限公司 用于针对视频编解码的预测相关残差缩放的方法和设备
US11425423B1 (en) * 2022-03-10 2022-08-23 Yendo Hu Memory storage for motion estimation and visual artifact redcution
US11388445B1 (en) * 2022-03-10 2022-07-12 Yendo Hu Mosquito noise smoothing between different video subsections encoded with different compression methods within a video frame

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348240A1 (en) * 2013-05-22 2014-11-27 Qualcomm Incorporated Video coding using sample prediction among color components
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US20150382016A1 (en) * 2014-06-27 2015-12-31 Mitsubishi Electric Research Laboratories, Inc. Method for Processing Multi-Component Video and Images
US11228770B2 (en) * 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
CN113411576B (zh) * 2016-07-22 2024-01-12 夏普株式会社 使用自适应分量缩放对视频数据进行编码的系统和方法
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
WO2019240493A1 (ko) * 2018-06-12 2019-12-19 한국전자통신연구원 문맥 적응적 이진 산술 부호화 방법 및 장치
US11102483B2 (en) * 2019-05-17 2021-08-24 Panasonic Intellectual Property Corporation Of America System and method for video coding

Also Published As

Publication number Publication date
US20220116616A1 (en) 2022-04-14
WO2020257785A1 (en) 2020-12-24
EP3987789A1 (en) 2022-04-27
EP3987789A4 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
US11172203B2 (en) Intra merge prediction
US10715827B2 (en) Multi-hypotheses merge mode
US11297348B2 (en) Implicit transform settings for coding a block of pixels
US11051010B2 (en) Merge candidates with multiple hypothesis
US20210051345A1 (en) Signaling for illumination compensation
KR102502614B1 (ko) 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치
CN114009021A (zh) 用于视频编解码的预测相关残差缩放的方法和装置
US20240137516A1 (en) Methods and devices for prediction dependent residual scaling for video coding
JP2024038198A (ja) ビデオ符号化方法、コンピューティング装置、プログラム、及びビットストリームを格納する方法
JP7367237B2 (ja) ビデオ符号化用の予測依存残差スケーリングのための方法およびデバイス
US20230067650A1 (en) Methods and devices for prediction dependent residual scaling for video coding
WO2024007789A1 (en) Prediction generation with out-of-boundary check in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination