CN117597933A - 空间局部光照补偿 - Google Patents

空间局部光照补偿 Download PDF

Info

Publication number
CN117597933A
CN117597933A CN202280019523.3A CN202280019523A CN117597933A CN 117597933 A CN117597933 A CN 117597933A CN 202280019523 A CN202280019523 A CN 202280019523A CN 117597933 A CN117597933 A CN 117597933A
Authority
CN
China
Prior art keywords
block
spatial
neighboring
lic
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280019523.3A
Other languages
English (en)
Inventor
陈娅
P·博尔德斯
F·莱莱昂内克
A·罗伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN117597933A publication Critical patent/CN117597933A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Liquid Crystal (AREA)

Abstract

本发明提出了用于高效地对视频进行编码或解码的方法和装置。例如，基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于在图片中正在被编码/解码的当前块的局部光照补偿(LIC)的参数，其中至少一个空间参考块是图片中的当前块的空间相邻块。例如，标志启用/禁用用于当前块的空间LIC。例如，将空间LIC应用于帧间/帧内/IBC预测中的任一者。例如，在确定空间LIC参数时使用多个空间参考块。例如，在确定空间/时间LIC参数时使用多条线的空间相邻重建样本。

Description

空间局部光照补偿
技术领域
本发明实施方案中的至少一个实施方案总体上涉及一种用于视频编码或解码的方法或装置，并且更具体地，涉及一种包括应用空间局部光照补偿的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
对视频压缩技术的最近添加包括各种行业标准、参考软件的版本和/或文档，诸如由JVET(联合视频探索团队)组开发的联合探索模型(JEM)和后续的VTM(多功能视频编码(VVC)测试模型)。其目的是进一步改进现有HEVC(高效视频编码)标准。
用于编码和解码的现有方法在补偿相同切片/图片中的不同区域/块之间的光照差异方面表现出一些限制。该问题对于包括在帧间/帧内/IBC预测中具有逐渐传播的空间光照变化的一些样本值的内容而言尤其突出。因此，需要改进现有技术。
发明内容
通过本文所述的一般方面解决和处理现有技术的缺点和不足。
根据第一方面，提供了一种方法。该方法包括通过以下步骤进行的视频解码：针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；基于所确定的参数使用局部光照补偿来对当前块进行解码。有利地，至少一个空间参考块是图片中的当前块的空间相邻块。
根据另一方面，提供了第二方法。该方法包括通过以下步骤进行的视频编码：针对图片中正在被编码的当前块基于当前块的空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；基于所确定的参数使用局部光照补偿来对当前块进行编码。有利地，至少一个空间参考块是图片中的当前块的空间相邻块。
根据另一方面，提供了一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频解码的方法。根据另一方面，用于视频解码的装置包括：用于针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数的装置；用于基于所确定的参数使用局部光照补偿来对当前块进行解码的装置。有利地，至少一个空间参考块是图片中的当前块的空间相邻块。
根据另一方面，提供了另一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频编码的方法。根据另一方面，用于视频编码的装置包括：用于针对图片中正在被编码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数的装置；用于基于所确定的参数使用局部光照补偿来对当前块进行编码的装置。有利地，至少一个空间参考块是图片中的当前块的空间相邻块。
根据至少一个实施方案的另一个一般方面，确定指示空间局部光照补偿是否应用于当前块的语法元素。
根据至少一个实施方案的另一个一般方面，在帧间预测、帧内预测、IBC预测中的任一者中对当前块进行编码。
根据至少一个实施方案的另一个一般方面，至少一个空间参考块是上方相邻块和左侧相邻块中的任一者。
根据至少一个实施方案的另一个一般方面，至少一个空间参考块是上方相邻块(B0)、左侧相邻块(A0)、右上相邻块(B1)、左下相邻块(A1)和左上相邻块(B2)中的任一者。
根据至少一个实施方案的另一个一般方面，确定指示在确定局部光照补偿的参数时使用哪个空间参考块的语法元素。
根据至少一个实施方案的另一个一般方面，至少一个空间参考块是在帧间预测中被选择作为运动向量预测项MVP候选项的相邻块。
根据至少一个实施方案的另一个一般方面，至少一个空间参考块响应于用于对当前块进行编码的帧内预测模式。
根据至少一个实施方案的另一个一般方面，至少一个空间参考块包括被选择作为帧内块复制参考块的相邻块。
根据至少一个实施方案的另一个一般方面，相邻重建样本位于当前块和至少一个空间参考块的左侧边界和上方边界中。
根据至少一个实施方案的另一个一般方面，相邻重建样本位于当前块和至少一个空间参考块的多条左侧参考线和上方参考线中。根据至少一个实施方案的另一个一般方面，相邻重建样本位于当前块和至少一个空间参考块的整个重建块中。根据至少一个实施方案的另一个一般方面，至少一个空间参考块包括第一空间参考块和第二空间参考块，并且其中对第一空间参考块的空间相邻重建样本和第二空间参考块的空间相邻重建样本求平均以确定局部光照补偿的参数。
根据另一方面，提供了第三方法。该方法包括通过以下步骤进行的视频解码：针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；基于所确定的参数使用局部光照补偿来对当前块进行解码；其中相邻重建样本位于当前块和至少一个参考块的多条左侧参考线和上方参考线中。根据至少一个实施方案的另一个一般方面，相邻重建样本位于当前块和至少一个空间参考块的整个重建块中。
根据另一个方面，提供了第四方法。该方法包括通过以下步骤进行的视频编码：针对图片中正在被编码的当前块基于空间相邻重建样本和至少一个参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；基于所确定的参数使用局部光照补偿来对当前块进行编码；其中相邻重建样本位于当前块和至少一个参考块的多条左侧参考线和上方参考线中。根据至少一个实施方案的另一个一般方面，相邻重建样本位于当前块和至少一个空间参考块的整个重建块中。
根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收到的信号限制为包括该视频块的频带；或(iii)显示器，该显示器被配置为显示表示视频块的输出。
根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。
根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所述编码/解码实施方案或变体中的任一个实施方案或变体。
通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。
附图说明
在附图中，示出了若干实施方案的示例。
图1示出了表示压缩VVC图片的编码树单元(CTU)和编码单元(CU)概念。
图2示出了根据至少一个实施方案的利用对应的模板导出局部光照补偿(LIC)参数的过程。
图3示出了示例性视频游戏图片，其中光源在相同图片内产生逐渐光照变化。
图4示出了根据至少一个实施方案的一般方面的通用编码方法。
图5示出了根据至少一个实施方案的一般方面的通用解码方法。
图6示出了根据至少一个实施方案的利用用于帧间预测的上方/左侧相邻块的参考模板导出空间LIC参数的过程。
图7示出了根据第一实施方案的解码方法，其中在帧间块的解码期间应用空间LIC。
图8示出了根据至少一个实施方案的利用用于帧间预测的上方相邻块和左侧相邻块的平均参考模版导出空间LIC参数的过程。
图9示出了用于帧间块的空间MVP候选项的位置。
图10示出了根据至少一个实施方案的利用用于帧间预测的右上相邻块的参考模板导出空间LIC参数的过程。
图11示出了根据第二实施方案的解码方法，其中在基于MVP候选项来对帧间块进行解码期间应用空间LIC。
图12示出了在VVC中的帧内预测方向。
图13示出了根据至少一个实施方案的利用用于帧内预测的上方/左侧/右上/左下/左上相邻块的参考模板导出空间LIC参数的过程。
图14示出了VVC中的矩阵加权帧内预测过程。
图15示出了根据第三实施方案的解码方法，其中在帧内块的解码期间应用空间LIC。
图16示出了根据至少一个实施方案的利用包括用于帧内预测的左侧相邻块的左侧边界的参考模板和利用包括用于帧内预测的上方相邻块的上方边界的参考模板来导出空间LIC参数的过程。
图17、图18示出了根据至少一个实施方案的利用空间相邻块的多线参考模板导出空间LIC参数的过程。
图19示出了根据至少一个实施方案的利用包括空间相邻块的参考模板导出空间LIC参数的过程。
图20示出了VVC中的IBC预测。
图21示出了根据至少一个实施方案的利用由用于IBC预测的块向量指示的参考模板导出空间LIC参数的过程。
图22示出了根据第四实施方案的解码方法，其中在IBC块的解码期间应用空间LIC。
图23示出了在其中可实现实施方案的各个方面的视频编码器的实施方案的框图。
图24示出了在其中可实现实施方案的各个方面的视频解码器的实施方案的框图。
图25示出了在其中可实现实施方案的各个方面的示例性装置的框图。
具体实施方式
应当理解，附图和描述已简化以说明与清楚理解本发明原理相关的元素，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管在本文中可使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。
相对于对图像的编码/解码而描述了各种实施方案。这些实施方案可应用于对图像的一部分(诸如切片或图块，图块组或整个图像序列)进行编码/解码。
上文描述了各种方法，并且方法中的每一方法包括用于实现所描述的方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
至少一些实施方案涉及用于对视频进行编码或解码的方法，其中空间LIC允许补偿相同图片中的逐渐光照。
图1示出了表示压缩VVC图片的编码树单元(CTU)和编码单元(CU)概念。在VVC中，图片被划分为所谓的编码树单元(CTU)，并且每个CTU由一个或多个编码单元(CU)表示。对于每个CU，执行空间预测(或“帧内预测”)和/或时间预测(也称为“帧间预测”或“运动补偿预测”)。空间预测使用来自相同视频图片/切片中已编码的相邻块的样本(其称为参考样本)的像素预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测使用来自已编码的视频图片的重建像素预测当前视频块。时间预测减少了视频信号中固有的时间冗余。用于给定视频块的时间预测信号通常通过一个或多个运动向量发信号通知，该一个或多个运动向量指示当前块与其参考块之间的运动的量和方向。此外，如果支持多个参考图片，则针对每个视频块，另外发送其参考图片索引；并且该参考索引用于识别时间预测信号来自参考图片存储库中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决定块例如基于率失真优化方法来选择最佳预测模式。为更易于参考，我们将在整个当前描述中可互换地使用术语“CU”和“块”。
图2示出了根据至少一个实施方案的利用对应的模板导出局部光照补偿LIC参数的过程。在时间预测过程中，LIC是用于解决存在于时间邻近图片之间的局部光照变化的问题的编码工具。LIC基于线性模型，其中缩放因子α和偏移β应用于参考样本以获得当前块的预测样本。具体地，LIC可通过以下等式在数学上建模：
P(x,y)＝α·Pr(x+vx,y+vy)+β (1)
其中P(x,y)是当前块在坐标(x,y)处的预测信号；Pr(x+vx,y+vy)是运动向量(vx,vy)所指向的参考块；α和β是应用于参考块的对应的缩放因子和偏移。
如图2所示，当将LIC应用于块时，采用最小均方误差(LMSE)方法来通过以下方式导出LIC参数(即，α和β)的值：最小化当前块的相邻样本(即，图2中的模板T)与它们在时间参考图片中的对应的参考样本(例如，图2中的T0或T1)之间的差异：
其中N表示用于导出LIC参数的模板样本的数量；T(xi,yi)是当前块在坐标(xi,yi)处的模板样本；是基于当前块的运动向量/>(L0或L1)的模板样本的对应的参考样本。另外地，为了降低计算复杂性，对模板样本和参考模板样本两者进行子采样(2:1子采样)以导出LIC参数，即，仅使用图2中的阴影样本来导出α和β。
此外，当将LIC应用于双向块(即，由两个时间预测块进行预测)时，导出LIC参数，并将这些LIC参数单独地应用于每个预测方向(即，L0和L1)。如图2所示，基于两个运动向量MV0和MV1，可获得两个参考模板T0和T1；通过单独地最小化T0与T之间的失真和T1与T之间的失真，可根据等式(2)和(3)导出两个方向上的对应的LIC参数对。之后，通过组合两个LIC单向预测块来生成当前块的最终双向预测信号，如下所指示的：
其中α0和β0以及α1和β1是与当前块的L0和L1运动向量(即，和/>)相关联的LIC参数；/>和/>是当前块的分别来自列表L0和L1的对应的时间参考块。
当利用合并模式预测帧间块时，除了MV和参考索引之外，还包括LIC标志作为运动信息的一部分。当构建合并候选项列表时，从用于合并候选项的相邻块继承LIC标志。否则，LIC标志用单个上下文进行上下文编码，当LIC工具不适用时，不发信号通知LIC标志。
然而，期望增强在相同图片内包含一些逐渐光照变化的一些视频内容的编码效率。此类情况可能通常发生在一些游戏视频内容或计算机图形图像中，其中一些光照源位于图片中的一些地方并且光逐渐穿过图片传播。图3示出了示例性视频游戏图片，其中光源在图片内产生逐渐光照变化。在此类情况下，待编码块可包含具有根据空间位置而逐渐演变的亮度值的一些背景内容，以及可被视为前景信息的一些局部特定纹理元素。相同图片内的此类逐渐光照变化也可发生在自然图像中，并且本发明原理与任何类型的视频内容兼容。
如上所述，通过在运动补偿阶段处理不同图片之间的光照变化，LIC可被视为常规运动补偿预测的一种增强。尽管现有技术的LIC可补偿不同图片之间的光照差异，但是它既不能应用于也不适用于相同图片中的不同块之间的光照补偿。
这通过本文中所描述的一般方面来解决和处理，该一般方面涉及针对图片中正在被解码或已解码的当前块，基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数，其中至少一个空间参考块是图片中的当前块的空间相邻块。因此，假设图片内的一个编码块及其空间相邻块具有传播照度变化，则在生成块的预测信号之后，本发明原理提出了应用空间LIC来增强预测。由于参考块不位于时间参考图片中，而是位于相同图片中，因此参考块搜索和用于空间LIC参数估计的模板均被调整。此外，还可定义指示空间LIC的使用的空间LIC标志的决定。此外，公开了用于帧间/帧内/IBC预测的空间局部光照补偿(空间LIC)的各种实施方案，其中在相同图片中具有逐渐传播的空间光照变化的不同块。除此之外，还公开了在局部光照补偿(空间/时间LIC)中使用的模板的形状的各种实施方案。
图4示出了根据至少一个实施方案的一般方面的通用编码方法(100)。图4的框图部分地表示例如在图23的示例性编码器中实现的编码器的模块或编码方法。
根据通用实施方案，公开了用于编码的方法100。该方法包括：针对图片中正在被编码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定11用于局部光照补偿的参数。有利地，空间参考块是图片中当前块的空间相邻块，如在下文中的各种实施方案中所描述。因此，用于局部光照补偿的所确定的参数允许执行空间LIC。将空间LIC应用于当前块的预测，以补偿图片中的逐渐光照，并且导致块的补偿预测。根据不同实施方案，预测是帧间预测、帧内预测或帧内块复制(IBC)预测中的一者。根据另一个实施方案，确定指示空间局部光照补偿是否应用于当前块的语法元素。在对当前块的预测进行空间补偿之后，例如以通常的方式通过从当前块中减去补偿预测来计算残差，并且然后如在通用编码步骤12中的现有技术编码方法中那样执行剩余的处理(变换、量化、CABAC编码等)。
图5示出了根据至少一个实施方案的一般方面的通用解码方法(200)。图5的框图部分地表示例如在图24的示例性解码器中实现的解码器的模块或解码方法。
根据通用实施方案，公开了用于解码的方法200。该方法包括：针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定21用于局部光照补偿的参数。对于编码，空间参考块是图片中当前块的空间相邻块，如在下文中的各种实施方案中所描述。根据不同实施方案，使用专用标志针对当前块启用/禁用空间LIC，并且将空间LIC应用于当前块的帧间预测、帧内预测或IBC预测中的一者。解码22然后进一步包括：例如，通过执行CABAC解码、变换系数的去量化以及然后解码系数的逆变换来对残差值进行解码，并且将如此解码的残差值与补偿预测相加以对当前块进行解码。
下面描述编码或解码方法中使用的通用空间LIC的各种实施方案。根据各种实施方案，针对帧间/帧内/IBC块定义块(或CU)级空间LIC标志以指示空间LIC是否应用于块。如果空间LIC应用于帧间/帧内/IBC块，则根据另一个特定实施方案，使用缩放因子α和偏移β来定义用于空间光照变化的线性模型。空间LIC参数的估计是通过最小化当前块(当前模板)的相邻重建样本与相同图片内的空间参考块(参考模板)的对应的相邻重建样本之间的差异导出的。下文描述的各种实施方案涉及：CU级空间LIC标志的导出；用作用于空间LIC参数估计的参考块的空间相邻块的选择；模板的生成，该模板由相邻重建样本组成并且用于空间LIC参数估计。
在下文中，对于帧间预测中的空间LIC，描述了其空间LIC导出、参考块决定以及用于空间LIC参数估计的模板的生成。然后，对于帧内预测中的空间LIC，还描述了参考块决定和模板生成，尤其是与帧间预测中的空间LIC相比的差异。之后，对于IBC预测中的空间LIC，还描述了参考块决定。最后，提出了用于帧间/帧间预测的空间参考块搜索。
根据第一实施方案，在帧间块的编码/解码期间应用空间LIC。图6示出了根据至少一个实施方案的利用用于帧间预测的上方/左侧相邻块的参考模板导出空间LIC参数的过程。
根据上述现有技术的LIC工具，LIC被应用于补偿帧间预测中不同帧之间的时间光照变化，并且在下文中被称为时间LIC。假定在相同帧内的一些空间块之间可能存在一些传播照度变化，则提出空间LIC以在帧间预测中进一步补偿相同帧内的空间光照变化。
根据变型实施方案，空间LIC标志spatial_lic_flag被定义为指示是否应用空间LIC。当利用合并模式对帧间块进行编码时，以类似于合并模式中的运动信息复制的方式从相邻块复制空间LIC标志；否则，向该块发信号通知空间LIC标志。
根据另一个变型实施方案，当空间LIC应用于CU时，其还基于用于空间光照变化的线性模型，使用缩放因子α和偏移β。空间LIC参数的估计是通过最小化当前块(例如，图6中的模板T)的相邻重建样本与相同图片内的空间参考块的对应的相邻重建样本之间的差异来导出的。
在图6中，当前块的上方/左侧空间相邻块用作参考块，并且上方/左侧块(即，图6中的TA或TL)的相邻重建样本用于估计空间LIC参数。如果当前块的上方空间相邻块可用，则利用如下基于LMSE的LIC导出来估计上方空间LIC参数(αA和βA)：
其中N表示用于导出空间LIC参数的模板样本的数量；T(xi,yi)是当前块在坐标(xi,yi)处的模板样本；TA(xi,yi-hA)是基于当前块的上方相邻块(hA是上方块的高度)的模板样本的对应的重建样本。另外地，为了降低计算复杂性，仅使用图6中的阴影样本来导出αA和βA。
如果当前块的左侧空间相邻块可用，则如下导出用于左侧空间LIC参数(αL和βL)的类似估计过程：
其中TL(xi-wL,yi)是基于当前块的左侧相邻块(wL是左侧块的宽度)的模板样本的对应的重建样本。仅使用图6中的阴影样本来导出αL和βL，以降低计算复杂性。
如果仅上方或左侧空间相邻块可用，则将上方空间LIC参数(αA和βA)或左侧LIC参数(αL和βL)应用于常规运动补偿预测样本，以获得当前块的最终预测样本：
P(x,y)＝αA/L·Pr(x+vx,y+vy)+βA/L。 (9)
如果上方空间相邻块和左侧空间相邻块均可用，则通过分别最小化TA与T以及TL与T之间的失真来导出上方空间LIC参数和左侧空间LIC参数。之后，通过应用最终空间LIC参数来生成当前块的最终预测样本，该最终空间LIC参数是通过对上方空间LIC参数和左侧空间LIC参数求平均而获得的，如下所指示的：
图7示出了根据第一实施方案的解码方法，其中在帧间块的解码期间应用空间LIC，例如使用上方/左侧相邻块。该算法的输入是当前帧间图片中待解码的当前CU。如果当前块的上方或左侧空间相邻块可用(步骤1040)，则其包括解析空间LIC标志spatial_lic_flag，该空间LIC标志指示当前CU中所提出的空间LIC过程的使用。对于合并模式，以类似于合并模式中的现有技术LIC的方式从相邻块推断spatial_lic_flag(步骤1051)。对于AMVP模式，从比特流中解码spatial_lic_flag(步骤1052)。
在spatial_lic_flag为假的情况下，则仅涉及通常的运动补偿解码过程，例如如由VVC解码过程所指定的。在spatial_lic_flag为真的情况下，则下一步骤1070包括利用可用的上方/左侧空间相邻块来估计空间LIC参数。如果上方空间相邻块和左侧空间相邻块均可用(步骤1080)，则在步骤1090中通过对上方空间LIC参数和左侧空间LIC参数求平均来获得最终空间LIC参数。之后，如步骤1100所描绘，通过将空间LIC参数应用于常规运动补偿预测样本来生成当前块的最终预测样本。
根据该实施方案的变型，仅将上方或左侧空间LIC参数应用于常规运动补偿预测样本以获得当前块的最终预测样本，使用哪个空间参考块的决定例如经由率失真(RD)或和绝对差(SAD)检查来完成。将指示应用了哪个空间参考块和对应的空间LIC参数集合的标志lic_refblk_flag发信号通知到比特流中。当lic_refblk_flag等于0时，则应用左侧空间LIC参数；否则，应用上方空间LIC参数。
如前所述，当上方空间相邻块和左侧空间相邻块均可用时，分别导出上方空间LIC参数和左侧空间LIC参数；然后，对上方空间LIC参数和左侧空间LIC参数求平均以生成最终空间LIC参数，并且被应用以获得当前块的最终预测样本。假定此类方法需要执行两次基于LMSE的空间LIC导出，则其在编码器和解码器两者处引入不可忽略的复杂性增加。
根据该实施方案的另一个变型，为了降低所提出的空间LIC导出的复杂性，针对上方空间相邻块和左侧空间相邻块均可用的情况提出一种改进的空间LIC算法。图8示出了根据至少一个实施方案的利用用于帧间预测的上方相邻块和左侧相邻块的平均参考模版导出空间LIC参数的过程。具体地，不是分别导出上方空间LIC参数和左侧空间LIC参数，而是首先通过对两个模板(上方块中的TA和左侧块中的TL)的重建样本求平均来生成参考模板Tave：
此后，通过最小化参考模板Tave和当前块的模板T之间的差异，采用基于LMSE的导出来计算用于空间LIC的缩放因子α和偏移β的值，如下：
最后，将导出的空间LIC参数应用于常规运动补偿预测样本，以基于如图8所示的线性模型来获得当前块的最终预测样本。
因此，对于该变型，仅需要执行一次空间LIC参数估计来形成当前块的最终预测样本。
根据第二实施方案，运动向量预测(MVP)候选项用作帧间预测中的参考块。图9示出了VVC中的空间MVP候选项的位置。对于帧间预测，可在合并模式或AMVP模式中发信号通知MV。两种信令机制都利用运动向量预测(MVP)列表，该运动向量预测列表基本上根据能够从当前编码块的空间或时间相邻处获得的运动信息来构建。空间MVP候选项的位置在图9中描绘。导出顺序是B0(上方)、A0(左侧)、B1(右上)、A1(左下)和B2(左上)。除了如前所述仅使用当前块的上方(B0)空间相邻块和左侧(A0)空间相邻块作为参考块之外，用于MVP列表构建的其他空间相邻块也被视为用于空间LIC的参考块候选项。如果将空间LIC应用于当前块，则一旦五个空间候选项中的一者被选择为最佳MVP候选项，空间LIC参数就利用对应的所选空间相邻块自动导出。
图10示出了根据至少一个实施方案的利用用于帧间预测的右上(B1)相邻块的参考模板导出空间LIC参数的过程。如果选择了当前块的右上(B1)空间相邻块，则其用作用于空间LIC的参考块，如图10所示。右上块(图10中的TAR)的相邻重建样本用于估计空间LIC参数。右上空间LIC参数(αAR和βAR)是利用基于LMSE的LIC导出估计的，如下：
其中hAR(xi+wAR,yi-hAR)是基于右上相邻块(hAR和wAR是右上块的高度和宽度)的模板样本的对应的重建样本。如果选择了左下(A1)空间相邻块和左上(B2)空间相邻块，则可对它们执行类似的空间LIC参数导出过程。
图11示出了根据第二实施方案的解码方法，其中在基于MVP候选项来对帧间块进行解码期间应用空间LIC。如果MVP是五个空间MVP候选项中的一者(步骤2050)，则该方法包括解析空间LIC标志spatial_lic_flag，该空间LIC标志指示当前CU中所提出的空间LIC过程的使用。对于合并模式，以类似于合并模式中的现有技术LIC的方式从相邻块推断spatial_lic_flag(步骤2061)。对于AMVP模式，从比特流中解码spatial_lic_flag(步骤2062)。
在spatial_lic_flag为假的情况下，则仅涉及通常的运动补偿解码过程。在spatial_lic_flag为真的情况下，则下一步骤2080包括利用对应的所选空间相邻块来估计空间LIC参数。之后，如步骤2090所描绘，通过将空间LIC参数应用于常规运动补偿预测样本来生成当前块的最终预测样本。
根据该实施方案的又一个变型，如果将空间LIC应用于当前块，则不是仅选择五个空间候选项中的一者作为最佳MVP候选项，而是来自这五个空间相邻块的空间LIC参数被应用于获得当前块的最终预测样本。使用哪个空间参考块集合的决定可经由率失真(RD)或和绝对差(SAD)检查来完成。将指示应用哪个空间参考块和对应的空间LIC参数集合的索引lic_refblk_index发信号通知到比特流中。
根据第三实施方案，在帧内块的编码/解码期间应用空间LIC。如前针对帧间预测所述，提出了空间LIC以补偿相同帧内的空间光照变化。虽然光照变化可跨帧内编码帧逐渐传播，但是待编码/解码的帧内块也可包含那些逐渐传播的空间光照变化。
如VVC所指定的，平面帧内预测模式和DC帧内预测模式用于预测平滑且逐渐变化的区域，而角度预测模式用于捕获不同的定向结构。然而，即使DC帧内预测模式和平面帧内预测模式以平滑且逐渐变化的内容为目标，它们也不能适当地处理具有定向逐渐和传播性光照变化的一些内容；针对其他定向帧内预测模式的类似限制。因此，第三实施方案提出了应用空间LIC来补偿用于帧内预测的空间光照变化。
如先前针对帧间块所描述，针对帧内块定义并发信号通知空间LIC标志spatial_lic_flag，以指示是否应用空间LIC。当应用空间LIC时，其也基于用于空间光照变化的线性模型，使用缩放因子α和偏移β。空间LIC参数的估计也是通过最小化当前块的相邻重建样本与图片内的空间参考块的对应的相邻重建样本之间的差异导出的。
对于选择可能的空间参考块，在用于帧间预测的空间LIC与用于帧内预测的空间LIC之间存在一些差异。例如，基于帧内预测模式来确定用于估计空间LIC参数的空间相邻块。此外，不是考虑上方边界和左侧边界两者，而是仅使用上方边界或左侧边界来构成模板，然后使用该模板来估计空间LIC参数。此外，根据又一个变型，模板不仅仅是通过相邻的第一上方/左侧行中的重建样本(例如，第二/第三或更多上方/左侧行中的重建样本)或整个重建相邻块来生成的。根据另一个变型实施方案，仅针对一些帧内预测模式(即，DC模式和平面模式)激活所提出的用于帧内预测的空间LIC。
根据第三实施方案的变型，在基于帧内预测模式对帧内块的编码/解码期间应用空间LIC。使用最近重建空间相邻块的相邻重建样本(即，图9中的上方/左侧/右上/左下/左上)，利用基于LMSE的LIC导出来估计用于帧内预测的空间LIC参数。根据非限制性示例，使用哪个空间相邻块的决定经由率失真(RD)或和绝对差(SAD)检查来完成。将指示应用哪个空间参考块和对应的空间LIC参数集合的索引lic_refblk_index发信号通知到比特流中。
图12示出了在VVC中的帧内预测方向。VVC支持从-14至-1以及从2至80被编索引的95种定向预测模式。对于正方形CU，仅使用预测模式2至66。这些预测模式对应于顺时针方向上从45度至-135度的不同预测方向。对于矩形块，可应用宽角度模式(-14至-1或67至80)。对于一些平块(W＞H)和高块(W＜H)，它们使用宽角度模式以在相反方向上代替相等数量的规则角度模式。根据变型，不是利用添加语法元素来指示应用了哪个空间相邻块，而是可基于帧内预测模式(IPM)来决定用于帧内预测的空间LIC中的参考块。图13示出了根据第三实施方案的利用用于帧内预测的上方/左侧/右上/左下/左上相邻块的参考模板导出空间LIC参数的过程，其中空间参考块响应于用于对当前块进行编码的帧内预测模式。相应地：
-对于非角度模式(平面模式(IPM等于0)和DC模式(IPM等于1))，上方块和左侧块(图13中的TA和TL)的相邻重建样本用于估计空间LIC参数；
-对于水平模式(IPM是18)并且属于水平方向的其他30个模式(IPM 3至33)，仅左侧块被用作参考块并且其相邻重建样本(图13中的TL)用于空间LIC参数估计；在另一方面，对于垂直模式(IPM是50)并且属于垂直方向的其他30个模式(IPM 35至65)，仅上方块(图13中的TA)的相邻重建样本用于空间LIC参数估计；
-对于代表45度的倍数的角度的对角模式：
ο对于45°模式(IPM是2)，左下块(图13中的TBL)的相邻重建样本用于空间LIC参数估计；
ο对于-45°模式(IPM是34)，使用左上块(图13中的TAL)的相邻重建样本；
ο对于-135°模式(IPM是66)，使用右上块(图13中的TAR)的相邻重建样本；
-对于超出左下方向的宽角度模式(IPM-1至-14)，左下块用作参考块，并且其相邻重建样本(图13中的TBL)用于空间LIC参数估计；另一方面，对于超过右上方向的宽角度模式(IPM 67至80)，右上块(图13中的TAR)的相邻重建样本用于空间LIC参数估计。
用于估计空间LIC参数的模板与如表1所示的帧内预测模式IPM有关。
模板 TBL TL TA TAR TAL
IPM -14至-1、2 0、1、3至30 0、1、35至65 66至80 34
表1：帧内预测模式与用于空间LIC的模板之间的映射
根据第三实施方案的另一个变型，帧内预测模式是矩阵加权帧内预测。图14示出了VVC中的矩阵加权帧内预测过程。除了传统的帧内预测之外，矩阵加权帧内预测(MIP)方法是VVC中新添加的帧内预测技术。为了预测宽度为W且高度为H的矩形块的样本，如果这些重建样本可用，则MIP将块左侧的一行H重建相邻边界样本和块上方的一行W重建相邻边界样本作为输入。预测信号的生成基于如图14所示的三个步骤：求平均、矩阵与向量相乘以及线性内插。对于帧内模式中的每个CU，发送指示是否将应用MIP模式的标志mip_flag。
如果利用MIP将空间LIC应用于该帧内编码CU，则用于估计空间LIC参数的模板与具有非角度模式的CU相同，使用上方块和左侧块(图13中的TA和TL)的相邻重建样本两者。
图15示出了根据第三实施方案的解码方法，其中在帧内块的解码期间应用空间LIC。与用于帧间预测的空间LIC相同，其包括解析从比特流解码的空间LIC标志spatial_lic_flag(步骤3303/3313)。在spatial_lic_flag为假的情况下，仅涉及通常的帧内预测解码过程。在spatial_lic_flag为真的情况下，利用以下步骤对当前CU的解码帧内预测执行所提出的空间LIC过程。
如果利用MIP对该块进行帧内预测(步骤3300)，则利用空间上方相邻块和空间左侧相邻块执行空间LIC参数的估计(步骤3314)。如果利用传统的帧内预测对该块进行帧内预测，则针对空间LIC参数的模板决定基于帧内预测模式IPM(步骤3304)。然后，下一步骤3305包括利用对应的所选模板来估计空间LIC参数。之后，如步骤3306/3315所描绘，通过将空间LIC参数应用于常规帧内预测样本来生成当前块的最终预测样本。
根据该实施方案的变型，对于DC模式和平面模式，不是仅使用当前块的上方空间相邻块和左侧空间相邻块作为参考块，而是也可将来自左下、左上和右上的其他三个模板一起用于空间LIC参数。
根据该实施方案的另一个变型，当帧内预测模式属于水平/垂直方向时，不是仅选择五个空间模板中的一者作为用于估计空间LIC参数的模板，而是可一起使用两个或三个模板来计算空间LIC参数。例如，对于属于水平方向的模式(IPM 3至33)，左侧块、左下块和左上块可被用作参考块，并且其相邻重建样本(图13中的TL、TBL和TAL)用于空间LIC参数估计；对于属于垂直方向的模式(IPM 35至65)，上方模板、右上模板和左上模板(图13中的TA、TAR和TAL)可用作用于空间LIC参数估计的参考模板。这些模板以与用于DC模式和平面模式的左侧模板和上方模板类似的行为一起工作。
根据第三实施方案的附加变型，公开了用于估计空间LIC参数的模板的若干形状。如前所述，用于估计空间LIC参数的模板总是围绕当前/参考块的L形，其由位于当前/参考块的左侧边界和上方边界中的相邻重建样本组成。在本部分中提出了一些更灵活的模板生成，而不是使用该固定L形模板。
根据第一变型，仅将空间参考块的左侧边界或上方边界用作模板。根据第三实施方案的先前变型，从帧内预测模式IPM导出参考模板的选择，以增强在一些情况下来自左侧参考样本和上方参考样本的光照变化的不同影响。
对于属于水平方向的模式(IPM 3至33)，左侧参考模板(图13中的TL)用于空间LIC参数估计；对于属于垂直方向的模式(IPM 35至65)，考虑上方参考模板(图13中的TA)。而对于左侧或上方参考模板，其包含位于左侧边界和上方边界中的重建样本。为了更好地捕获光照变化的传播，还为了降低空间LIC参数估计的计算复杂性，仅使用位于一个边界中的重建样本来构成模板。
图16示出了根据至少一个实施方案的利用包括用于帧内预测的左侧相邻块的左侧边界的参考模板和利用包括用于帧内预测的上方相邻块的上方边界的参考模板来导出空间LIC参数的过程。例如，对于水平定向模式(IPM 3至33)，仅使用位于左侧边界的重建样本来生成当前块的模板(图16中左侧的TH)和参考块的模板(图16中左侧的T′H)；对于垂直定向模式(IPM 35至65)，仅考虑上方边界以生成当前块的模板(图16中右侧的TV)和参考块的模板(图16中右侧的T′V)。
根据第二变型，空间参考块的多条参考线用作模板。图17示出了根据至少一个实施方案的利用空间相邻块的多线参考模板导出空间LIC参数的过程。到目前为止，用于所提出的空间LIC的模板仅使用位于最近参考线(上方/左侧边界)中的重建样本。为了更好地捕获和补偿光照差异，使用多条参考线来组成模板。如图17所示，描绘了两条参考线的示例，其中位于一条额外的左侧和上方线中的相邻重建样本用于生成当前块的模板(图17中的T)和参考块的模板(图17中的T’)。为了降低计算复杂性，两条参考线中的模板样本都被子采样(2:1子采样)。其可在两条参考线的相同位置处被子采样(在图17的顶部示例中)，或者在交错位置处被子采样(在图17的底部示例中)。
根据另一个变型，将左侧边界模板应用于水平定向模式；并且将上方边界模板用于垂直定向模式。模板中样本越少，计算复杂性越低，同时光照变化的估计精度也可能受到影响。因此，根据该实施方案的另一个变型，将仅来自左侧/上侧的多条基准线应用于水平/垂直定向模式。图18示出根据至少一个实施方案的利用用于帧内预测的空间相邻块的多线参考模板的导出空间LIC参数的另一个过程。图18示出了自仅一个空间参考块的相同侧的两条参考线的示例。对于帧内预测模式，左侧线用于水平定向模式(图18的上部示例中)，并且右侧线用于垂直定向模式(图18的下部示例中)。
根据另一个变型，将指示是否应用多条参考线来组成模板的标志lic_mrl_flag发信号通知到比特流中。在lic_mrl_flag为假的情况下，将仅应用传统的最近参考线(上方/左侧边界)来生成模板。
根据另一个变型，将具有多条参考线的模板应用于用于帧间预测的空间LIC参数估计中。实际上，针对在帧内预测中应用的空间LIC描述了多线参考模板的不同方面。然而，这是为了描述清楚，并不将这些方面的应用或范围限制于帧内预测或空间LIC。实际上，可将不同方面中的任一方面组合和互换以提供具有应用于用于帧间预测的空间LIC参数估计中的多条参考线的模板，或者将具有多条参考线的模板应用于用于帧间预测的现有技术LIC参数估计中。
根据另一个变型，模板包括整个重建相邻块。图19示出了根据至少一个实施方案的利用包括空间相邻块的参考模板导出空间LIC参数的过程。为了进一步提高光照变化的估计精度，同样在不考虑计算复杂性的情况下，通过使用相邻块的所有重建样本来生成模板，因为它们是可用的。作为示例，当前块的重建左侧相邻块和重建上方相邻块中的任一者用于生成当前块的模板(图19中的T)，或者参考块的重建左侧相邻块和重建上方相邻块中的任一者构成参考块的模板(图19中的T’)。
根据变型，仅对于小块(块大小≤8×8)，使用重建相邻块来生成模板。有利地，该特征允许降低图19的变体的复杂性。
根据另一个变型，将使用重建相邻块作为模板应用于用于帧间预测的空间LIC参数估计中或用于帧间预测的现有技术LIC参数估计中。
根据第四实施方案，在IBC块的编码/解码期间应用空间LIC。图20示出了VVC中的IBC预测。帧内块复制(IBC)是在VVC中实现的屏幕内容编码(SCC)。对于IBC预测，在编码器处执行块匹配(BM)以找到用于每个CU的最佳块向量(或运动向量)(如图20所示)。此处，块向量用于指示从当前块到参考块的位移，参考块已经在当前图片内重建。IBC编码的CU被视为除了帧内或帧间预测模式之外的第三预测模式。众所周知，IBC显著提高了屏幕内容材料(包括游戏视频内容)的编码效率。因此，第四实施方案涉及应用空间LIC来补偿针对IBC预测的空间光照变化。
与如上所述的用于帧间/帧内预测的空间LIC相比，用于IBC预测的空间LIC估计的空间参考块是用于帧内复制的相同参考块(即，图21中的模板TIBC)。在这种情况下，用于IBC的空间LIC参数(αIBC和βIBC)的估计过程如下导出：
其中TIBC(xi-bvx,yi-bvy)是基于当前块的块向量(bvx,bvy)的模板样本的对应的参考样本。
图22描绘了根据第四基本实施方案的解码过程，其中在IBC块的解码期间应用空间LIC。该算法的输入是当前帧内图片中待解码的当前IBC CU。其包括解析空间LIC标志spatial_lic_flag，其指示当前CU中所提出的空间LIC过程的使用(步骤4030)。在spatial_lic_flag为假的情况下，仅涉及通常的IBC预测解码过程。在spatial_lic_flag为真的情况下，利用当前块的块向量(bvx,bvy)指示的空间参考块用于估计空间LIC参数(步骤4050)。之后，如步骤4060所描绘，通过将空间LIC参数应用于IBC预测样本来生成当前块的最终预测样本。
根据第五实施方案，在用于帧内和帧间预测的空间LIC中搜索空间参考块。如前所述，用于帧内/帧间预测的空间LIC参数是使用最近重建空间相邻块(如示例性图13所示的上方/左侧/右上/左下/左上)来估计的。根据又一个变型，在预定搜索区域内的一些非最近空间相邻块被视为用于帧内/帧间预测的空间LIC参数估计的参考块。在这种情况下，将指示从当前块到空间参考块的位移的空间LIC搜索向量发信号通知到比特流中。
附加实施方案和信息
本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
本申请中描述和设想的方面可以许多不同的形式实现。下文的图23、图24和图25提供了一些实施方案，但是设想了其他实施方案，并且图23、图24和图25的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。
本文描述了各种方法，并且方法中的每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。
本申请中所述的各种方法和其他方面可用于修改模块，例如，视频编码器100和解码器200的帧内和/或帧间预测模块(160,170,260,275)，如图23和图24所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。
在本申请中使用各种数值，例如，变换的数量、变换级别的数量、变换的索引。具体值是为了示例目的，并且所述方面不限于这些具体值。
图23示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。
在进行编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对于压缩更弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。
在编码器100中，由编码器元件对图片进行编码，如下所述。在例如CU的单元中对待编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当在帧内模式下对单元进行编码时，该编码器执行帧内预测(160)。在帧间模式中，执行运动估计(175)和运动补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个模式对该单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从初始图像块减去(110)经预测的块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和经预测的块，重建图像块。将环内滤波器(165)应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将滤波的图像存储在参考图片缓冲器(180)处。
图24示出了视频解码器200的框图。在解码器200中，由解码器元件对比特流进行解码，如下所述。视频解码器200通常执行与如图24所述的编码道次互逆的解码道次。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。
具体地，解码器的输入包括视频比特流，该视频比特可由视频编码器100生成。首先，对比特流进行熵解码(230)以获得变换系数、运动向量和其他编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据解码的图片分区信息来划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)解码的预测残差和经预测的块，重建图像块。可从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)经预测的块。将环内滤波器(265)应用于重建的图像。将滤波的图像存储在参考图片缓冲器(280)处。解码的图片可进一步经过解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)，或执行在预编码处理(101)中执行的重新映射过程的逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有发信号通知的元数据。
图25示出了在其中实现各种方面和实施方案的系统的示例的框图。系统5000可具体体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统5000的元件可单独地或组合地具体体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如，在至少一个实施方案中，系统5000的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统5000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统5000被配置为实现本文档中描述的方面中的一个或多个方面。
系统5000包括至少一个处理器5010，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器5010可包括嵌入式存储器、输入输出接口以及如在本领域中是已知的各种其他电路。系统5000包括至少一个存储器5020(例如，易失性存储器设备和/或非易失性存储器设备)。系统5000包括存储设备5040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备5040可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统5000包括编码器/解码器模块5030，该编码器/解码器模块被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块5030可包括其自身的处理器和存储器。编码器/解码器模块5030表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外地，编码器/解码器模块5030可实现为系统5000的独立元件，或者可结合在处理器5010内作为本领域的技术人员已知的硬件和软件的组合。
待加载到处理器5010或编码器/解码器5030上以执行本文档中所述的各个方面的程序代码可存储在存储设备5040中，并且随后加载到存储器5020上以供处理器5010执行。根据各种实施方案，处理器5010、存储器5020、存储设备5040和编码器/解码器模块5030中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施方案中，在处理器5010和/或编码器/解码器模块5030内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，处理设备(例如，处理设备可以是处理器5010或编码器/解码器模块5030)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器5020和/或存储设备5040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。
可通过如块5005中所指示的各种输入设备来提供对系统5000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图25中未示出的其他示例包括复合视频。
在各种实施方案中，块5005的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。
另外地，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统5000连接到其他电子设备的相应的接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器5010内实现。相似地，USB或HDMI接口处理的方面可在必要时在独立的接口IC内或在处理器5010内实现。将经解调的、经纠错的和经解复用的流提供给各种处理元件，包括例如处理器5010以及编码器/解码器5030，该处理元件与存储器和存储元件结合工作以根据需要处理数据流以用于在输出设备上的呈现。
可在集成外壳内提供系统5000的各种元件，在集成外壳内，使用合适的连接排布结构5015(例如，如在本领域中是已知的内部总线，包括IC间(I2C)总线、接线和印刷电路板)，各种元件可互连并且在其间传输数据。
系统5000包括通信接口5050，该通信接口使得能否经由通信信道5090与其他设备的通信。通信接口5050可包括但不限于收发器，该收发器被配置为通过通信信道5090传输和接收数据。通信接口5050可包括但不限于调制解调器或网卡，并且通信信道5090可例如在有线和/或无线介质内实现。
在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气电子工程师学会)将数据流式传输或以其他方式提供给系统5000。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道5090和通信接口5050接收的。这些实施方案的通信信道5090通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以用于允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统5000提供流式传输的数据，该机顶盒通过输入块5005的HDMI连接来递送数据。还有其他实施方案使用输入块5005的RF连接向系统5000提供流式传输的数据。如上所述，各种实施方案以非流式的方式提供数据。另外地，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统5000可向各种输出设备(包括显示器5065、扬声器5075和其他外围设备5085)提供输出信号。各种实施方案的显示器5065包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器5065可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器5065还可与其他部件集成(例如，如在智能电话中)，或可以是独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备5085包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备5085，该一个或多个外围设备基于系统5000的输出来提供功能。例如，碟片播放器执行播放系统5000的输出的功能。
在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议，在系统5000与显示器5065、扬声器5075或其他外围设备5085之间传送控制信号。可通过相应的接口5065、5075和5085经由专用连接将输出设备通信地耦接到系统5000。另选地，可经由通信接口5050使用通信信道5090将输出设备连接到系统5000。在电子设备(诸如例如电视)中，显示器5065和扬声器5075可与系统5000的其他部件集成在单个单元中。在各种实施方案中，显示器接口5065包括显示驱动器，诸如例如定时控制器(T Con)芯片。
例如，如果输入5005的RF部分是独立机顶盒的一部分，则显示器5065和扬声器5075可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器5065和扬声器5075为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
该实施方案可由处理器5010实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器5020可以是适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器5010可以是适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还或另选地包括由本申请中所描述的各种具体实施的解码器执行的过程，例如，包括导出空间LIC的参数并且将空间LIC应用于帧间预测、帧内预测或IBC预测中的任一者。
作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还或另选地包括由本申请中所描述的各种具体实施的编码器执行的过程，例如，导出空间LIC的参数并且将空间LIC应用于帧间预测、帧内预测或IBC预测中的任一者。
作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
注意，如本文所用的语法元素(例如，spatial_lic_flag、lic_refblk_index、lic_mrl_flag)是描述性术语。因此，它们不排除使用其他语法元素名称。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外地，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外地，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器对多个参数中的特定一个参数进行编码以进行变换。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的参数。因此，例如，编码器可将特定参数传输(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不传输(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、标头(例如，NAL单元标头或切片标头)或SEI消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下各项：
·会话描述协议(SDP)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与实时传输协议(RTP)传输结合使用。
·DASH媒体演示描述(MPD)描述符，例如，如在DASH中使用并通过HTTP传输，描述符与表示或表示的集合相关联，以向内容表示提供附加特性。
·RTP标头扩展，例如，如在RTP流式传输期间使用，和/或
·ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”。
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。
我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
·对解码器和/或编码器中的帧间/帧内/IBC预测应用空间局部光照补偿，以补偿相同图片中的不同块之间的光照差异：
ο为帧间/帧内/IBC块定义CU级空间LIC标志spatial_lic_flag，以指示空间LIC是否应用于该块；
ο当空间LIC应用于(spatial_lic_flag为真)帧间/帧内/IBC块时，其使用线性模型用于空间光照变化，使用缩放因子α和偏移β；
ο空间LIC参数的估计是通过最小化当前块(当前模板)的相邻重建样本与相同图片内的空间参考块(参考模板)的对应的相邻重建样本之间的差异导出的；
ο将空间LIC参数应用于帧间/帧内/IBC预测样本，以获得最终预测样本。
·在解码器和/或编码器中导出CU级空间LIC标志spatial_lic_flag：
ο对于帧间块，如果利用合并模式对空间LIC标志进行编码，则以类似于合并模式中的运动信息复制的方式从相邻块复制空间LIC标志；否则，发信号通知空间LIC标志；
ο对于帧内/IBC块，发信号通知空间LIC标志；
ο对于帧内块，仅针对一些帧内预测模式(即，DC模式和平面模式)呈现空间LIC标志；
·选择用作解码器和/或编码器中的空间LIC参数估计的参考块的空
间相邻块：
ο对于帧间/帧内块，选择最近重建空间相邻块作为参考块；
ο仅考虑可用的两个最近空间相邻块(上方和左侧)；
ο如果上方空间相邻块和左侧空间相邻块均可用，则它们都可用作参考块；
ο如果上方空间相邻块和左侧空间相邻块均可用，并且仅应用一个参考块，则添加标记lic_refblk_flag以指示应用了哪个参考块；
ο仅考虑可用的五个最近空间相邻块(上侧/左侧/右上/左下/左上)；
ο如果所有这五个空间相邻块都可用，并且仅应用一个参考块，则添加标记lic_refblk_index以指示应用了哪个参考块；
ο对于帧间块，一旦选择五个空间候选项中的一者作为最佳MVP候选项，则选择所选空间MVP候选项所在的块作为参考块；
ο对于帧内块，参考块选择是基于帧内预测模式的；
ο考虑一些非最近空间相邻块，同时在预定义的搜索区域内，将指示从当前块到空间参考块的位移的空间LIC搜索向量发信号通知到比特流中；
ο对于IBC块，选择用于帧内复制的参考块作为参考块。
·生成用于解码器和/或编码器中的空间LIC参数估计模板，该模板由相邻重建样本组成：
ο对于帧间/帧内/IBC块，模板由位于当前/参考块的左侧边界和上方边界中的相邻重建样本组成；
ο对于帧间/帧内/IBC块，模板由位于当前/参考块的多条左侧参考线和上方参考线的相邻重建样本组成；
ο对于帧间/帧内/IBC块，模板由位于当前/参考块的多条左侧参考线和上方参考线的相邻重建样本组成；
ο对于帧内块，模板由当前/参考块的整个相邻重建块组成。
·发信号通知与待在解码器中应用的空间LIC过程相关的信息。
·从模板导出与待应用的空间LIC过程相关的信息，该导出在解码器和/或编码器中应用。
·在信令中插入使得解码器能够识别待使用的空间LIC过程的语法元素，诸如变换索引。
·基于这些语法元素选择待在解码器处应用的该至少一个空间LIC过程。
·应用经修改的空间LIC以在解码器处导出该至少一个预测。
·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
·包括传递根据所述实施方案中任一个实施方案生成的信息的语法的比特流或信号。
·在信令中插入使得解码器能够以与编码器所使用的方式对应的方式应用空间LIC过程的语法元素。
·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
·根据所述实施方案中任一个实施方案所述的创建和/或传输和/或接收和/或解码。
·根据所述实施方案中任一个实施方案所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
·根据所述实施方案中的任一个实施方案执行适于修改预测的空间LIC过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所述实施方案中的任一个实施方案执行适于修改预测的空间LIC过程并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得的图像的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·选择(例如，使用调谐器)待接收信号(包括编码的图像)的信道并且根据所述实施方案中的任一个实施方案执行适于修改预测的空间LIC过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·通过无线电(例如，使用天线)接收信号(包括编码的图像)并且根据所述实施方案中的任一个实施方案执行适于修改预测的空间LIC过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (26)

1.一种用于视频解码的方法，所述方法包括：
针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行解码；
其中所述至少一个空间参考块是所述图片中的所述当前块的空间相邻块。
2.一种用于视频解码的装置，所述装置包括一个或多个处理器以及至少一个存储器，并且其中所述一个或多个处理器被配置为：
针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行解码；
其中所述至少一个空间参考块是所述图片中的所述当前块的空间相邻块。
3.一种包括视频编码的方法，所述方法包括：
针对图片中正在被编码的当前块基于所述当前块的空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行编码；
其中所述至少一个空间参考块是所述图片中的所述当前块的空间相邻块。
4.一种用于视频编码的装置，所述装置包括一个或多个处理器以及至少一个存储器，并且其中所述一个或多个处理器被配置为：
针对图片中正在被编码的当前块基于空间相邻重建样本和至少一个空间参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行编码；
其中所述至少一个空间参考块是所述图片中的所述当前块的空间相邻块。
5.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，还包括确定指示所述局部光照补偿是否应用于所述当前块的语法元素。
6.根据权利要求1、3或5中任一项所述的方法或根据权利要求2、4或5中任一项所述的装置，其中在帧间预测中对所述当前块进行编码。
7.根据权利要求6所述的方法或根据权利要求6所述的装置，其中所述至少一个空间参考块是上方相邻块和左侧相邻块中的任一者。
8.根据权利要求6所述的方法或根据权利要求6所述的装置，其中所述至少一个空间参考块是上方相邻块(B0)、左侧相邻块(A0)、右上相邻块(B1)、左下相邻块(A1)和左上相邻块(B2)中的任一者。
9.根据权利要求6所述的方法或根据权利要求6所述的装置，其中所述至少一个空间参考块是被选择作为运动向量预测项MVP候选项的相邻块。
10.根据权利要求1、3或5中任一项所述的方法或根据权利要求2、4或5中任一项所述的装置，其中在帧内预测中对所述当前块进行编码。
11.根据权利要求10所述的方法或根据权利要求10所述的装置，其中所述至少一个空间参考块是上方相邻块和左侧相邻块中的任一者。
12.根据权利要求10所述的方法或根据权利要求10所述的装置，其中所述至少一个空间参考块是上方相邻块、左侧相邻块、右上相邻块、左下相邻块和左上相邻块中的任一者。
13.根据权利要求11或12中任一项所述的方法或根据权利要求11或12中任一项所述的装置，其中所述至少一个空间参考块响应于用于对所述当前块进行编码的帧内预测模式。
14.根据权利要求1、3或5中任一项所述的方法或根据权利要求2、4或5中任一项所述的装置，其中在帧内块复制预测中对所述当前块进行编码。
15.根据权利要求14所述的方法或根据权利要求14所述的装置，其中所述至少一个空间参考块包括被选择作为帧内块复制参考块的所述相邻块。
16.根据权利要求1、3、6、10或14中任一项所述的方法或根据权利要求2、4、6、10或14中任一项所述的装置，其中所述相邻重建样本位于所述当前块和至少一个空间参考块的左侧边界和上方边界中。
17.根据权利要求1、3、6、10或14中任一项所述的方法或根据权利要求2、4、6、10或14中任一项所述的装置，其中所述相邻重建样本位于所述当前块和至少一个参考块的多条左侧参考线和上方参考线中。
18.根据权利要求1、3、6、10或14中任一项所述的方法或根据权利要求2、4、6、10或14中任一项所述的装置，其中所述相邻重建样本位于所述当前块和至少一个参考块的整个重建块中。
19.根据权利要求1、3、6或10中任一项所述的方法或根据权利要求2、4、6或10中任一项所述的装置，其中所述至少一个空间参考块包括第一空间参考块和第二空间参考块，并且其中对所述第一空间参考块的所述空间相邻重建样本和所述第二空间参考块的所述空间相邻重建样本求平均以确定所述局部光照补偿的所述参数。
20.根据权利要求1、3、7、8、11或12中任一项所述的方法或根据权利要求2、4、7、8、11或12中任一项所述的装置，还包括确定指示在确定所述局部光照补偿的所述参数时使用哪个空间参考块的语法元素。
21.一种非暂态程序存储设备，所述非暂态程序存储设备具有表示根据权利要求1、2、5至10中的一项所述的方法生成的图像块的编码数据。
22.一种计算机可读的非暂态程序存储设备，所述非暂态程序存储设备有形地体现能够由所述计算机执行以用于执行根据权利要求6、8至9中任一项所述的方法的指令的程序。
23.一种用于视频解码的方法，所述方法包括：
针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行解码；
其中所述相邻重建样本位于所述当前块和至少一个参考块的多条左侧参考线和上方参考线中。
24.一种用于视频解码的装置，所述装置包括一个或多个处理器以及至少一个存储器，并且其中所述一个或多个处理器被配置为：
针对图片中正在被解码的当前块基于空间相邻重建样本和至少一个参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行解码；
其中所述相邻重建样本位于所述当前块和至少一个参考块的多条左侧参考线和上方参考线中。
25.一种包括视频编码的方法，所述方法包括：
针对图片中正在被编码的当前块基于所述当前块的空间相邻重建样本和至少一个参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行编码；
其中所述相邻重建样本位于所述当前块和至少一个参考块的多条左侧参考线和上方参考线中。
26.一种用于视频编码的装置，所述装置包括一个或多个处理器以及至少一个存储器，并且其中所述一个或多个处理器被配置为：
针对图片中正在被编码的当前块基于空间相邻重建样本和至少一个参考块的对应的空间相邻重建样本来确定用于局部光照补偿的参数；
基于所确定的参数使用局部光照补偿来对所述当前块进行编码；
其中所述相邻重建样本位于所述当前块和至少一个参考块的多条左侧参考线和上方参考线中。
CN202280019523.3A 2021-02-08 2022-01-27 空间局部光照补偿 Pending CN117597933A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21305170.9 2021-02-08
EP21305170 2021-02-08
PCT/EP2022/051924 WO2022167322A1 (en) 2021-02-08 2022-01-27 Spatial local illumination compensation

Publications (1)

Publication Number Publication Date
CN117597933A true CN117597933A (zh) 2024-02-23

Family

ID=74701440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280019523.3A Pending CN117597933A (zh) 2021-02-08 2022-01-27 空间局部光照补偿

Country Status (8)

Country Link
US (1) US20240214553A1 (zh)
EP (1) EP4289141A1 (zh)
JP (1) JP2024505900A (zh)
KR (1) KR20230145097A (zh)
CN (1) CN117597933A (zh)
AU (1) AU2022216783A1 (zh)
MX (1) MX2023008942A (zh)
WO (1) WO2022167322A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024104420A1 (en) * 2022-11-16 2024-05-23 Douyin Vision Co., Ltd. Improvements for illumination compensation in video coding
CA3220450A1 (en) * 2022-11-18 2024-05-18 Comcast Cable Communications, Llc Improved prediction with local illumination compensation
WO2024120356A1 (en) * 2022-12-05 2024-06-13 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2232877B1 (en) * 2008-01-10 2018-08-08 Thomson Licensing DTV Methods and apparatus for illumination compensation of intra-predicted video
JP7125486B2 (ja) * 2018-01-16 2022-08-24 ヴィド スケール インコーポレイテッド 局所照明補償に基づいた動き補償双予測
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
CN112868238B (zh) * 2018-10-23 2023-04-21 北京字节跳动网络技术有限公司 局部照明补偿和帧间预测编解码之间的并置

Also Published As

Publication number Publication date
US20240214553A1 (en) 2024-06-27
WO2022167322A1 (en) 2022-08-11
AU2022216783A1 (en) 2023-08-17
JP2024505900A (ja) 2024-02-08
AU2022216783A9 (en) 2024-07-11
MX2023008942A (es) 2023-09-18
EP4289141A1 (en) 2023-12-13
KR20230145097A (ko) 2023-10-17

Similar Documents

Publication Publication Date Title
US11722694B2 (en) Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
US20220159277A1 (en) Method and apparatus for video encoding and decoding with subblock based local illumination compensation
US11558611B2 (en) Method and apparatus for deblocking an image
US20220038684A1 (en) Multi-reference line intra prediction and most probable mode
US20220078405A1 (en) Simplifications of coding modes based on neighboring samples dependent parametric models
US11985306B2 (en) Method and apparatus for video encoding and decoding with matrix based intra-prediction
JP7502278B2 (ja) 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置
US20230232037A1 (en) Unified process and syntax for generalized prediction in video coding/decoding
CN117597933A (zh) 空间局部光照补偿
KR20230104895A (ko) 기하학적 파티션을 사용한 인트라 예측
US11991389B2 (en) Method and apparatus for video encoding and decoding with optical flow based on boundary smoothed motion compensation
EP3641311A1 (en) Encoding and decoding methods and apparatus
US11979585B2 (en) Current picture referencing block vector initialization with dual tree
WO2024083500A1 (en) Methods and apparatuses for padding reference samples
WO2024033116A1 (en) Geometric partition mode boundary prediction
WO2023194106A1 (en) Motion information parameters propagation based on intra prediction direction
JP2022537222A (ja) 局所照明補正フラグインヘリタンス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination