CN111194554A - 基于照明补偿的视频编码和解码的方法和装置 - Google Patents

基于照明补偿的视频编码和解码的方法和装置 Download PDF

Info

Publication number
CN111194554A
CN111194554A CN201880065223.2A CN201880065223A CN111194554A CN 111194554 A CN111194554 A CN 111194554A CN 201880065223 A CN201880065223 A CN 201880065223A CN 111194554 A CN111194554 A CN 111194554A
Authority
CN
China
Prior art keywords
block
motion
prediction
parameters
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880065223.2A
Other languages
English (en)
Other versions
CN111194554B (zh
Inventor
F.加尔平
F.拉卡普
P.博德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111194554A publication Critical patent/CN111194554A/zh
Application granted granted Critical
Publication of CN111194554B publication Critical patent/CN111194554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Abstract

提供了用于视频编码和解码的方法(1500，1600)和装置(700，900，1700)。该视频编码方法(1500)包括:基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数，确定(1510)与视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合；基于该参数集合处理(1520)该块的预测，该预测与第一运动补偿参考块相关联；以及基于处理后的预测对该块进行编码(1530)。还描述了被格式化为包括编码数据的比特流、计算机可读存储介质和计算机程序产品。

Description

基于照明补偿的视频编码和解码的方法和装置
技术领域
本实施例通常涉及视频编码和解码，尤其涉及照明补偿。
背景技术
这里描述的任何背景信息旨在向读者介绍本领域的各个方面，这些方面可能与下面描述的当前实施例相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应该理解的是，这些陈述应该从这个角度来理解。
为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性。然后，变换、量化和熵编码原始图像和预测图像之间的差异(通常表示为预测误差或预测残差)。为了重建视频，通过与预测、变换、量化和熵编码相对应的逆过程来解码压缩数据。
在帧间预测模式中，基于块的照明补偿(IC)的使用允许通过考虑任何空间或时间的局部照明变化(例如，亮度)来校正经由运动补偿(MC)获得的块预测样本。在一种现有方法中，通过将图片中当前块的重建相邻样本的L形(L-shaped)集合与参考块的重建相邻样本的对应L形集合进行比较来估计集成电路(IC)参数。在双预测(即，每个当前块两个参考块)的情况下，两个参考块(i＝0或1)的相应的重建相邻样本的L形集合分别与当前块的重建相邻样本的L形集合进行比较。
图1示出了根据现有技术的、当前图片150中的当前块160的重建相邻样本的L形集合170、参考0图片110中的运动补偿参考0块(ref-0，这里也称为MC-0或运动补偿0块)120的对应L形集合(L形-ref-0)130以及参考1图片115中的运动补偿参考1块(ref-1，这里也称为MC-1或运动补偿1块)125的对应L形集合(L形-ref-1)135。因此，以下公开中的术语参考i块或ref-i(i＝0，1)对应于运动补偿参考块，即，位于参考图片“i”中的位置(x+MVix,y+NViy)的块，其中，(x,y)是当前图片中的当前块的位置，其中，MV代表运动矢量。在图1中，当前块160和参考0块120之间的运动矢量被识别为MV0 140，当前块160和参考1块125之间的运动矢量被识别为MV1 145。
IC模型通常是线性的，其定义如下:
IC(x)＝a*x+b (1)
其中a和b是IC参数，通常分别称为线性函数的斜率和截距。
具体地，通过最小化当前块的L形集合170中的样本与用IC参数校正的参考块(120或125)的L形集合(130或135)中的样本之间的差异来估计IC参数。在最小二乘法下，样本之间的差异被最小化，如下所示:
Figure BDA0002440503090000021
其中i是参考索引，0或1。(ai,bi)是与参考i相关联的最佳参数，argmin(.)是最小值的自变量，并且总和是在与L形当前(L-shape-cur)中的每个样本x与在L形参考i(L-shape-ref-i)中的对应样本y配对的总和。
图2示出了根据现有技术的基于照明补偿以双向预测模式生成块预测的方法的流程图200。方法200包括计算或确定与每个参考块相关联的IC参数，并将它们应用于相应的块预测。通过与图1的元素相关，分别在图2的相应步骤205、210和215上获得当前块160、参考0块120和参考1块125的L形集合170、130和135。分别在步骤220中从L形集合170和130以及在步骤225中从L形集合170和135独立地计算、导出或确定等式2中的IC参数(a0,b0)和(a1,b1)。然后，在步骤230和235中，也分别独立地计算或确定当前块160的两个预测(与参考0相关联的预测0(pred0)和与参考1相关联的预测1(pred1))。应当理解，ref-0(或ref-1)和pred0(或pred1)是当前块的相应运动补偿参考块，它们可以具有相同的分辨率或不具有相同的分辨率。例如，pred0(或pred1)可以从子像素(sub-pel)精度的MV值获得，而ref-0(或ref-1)可以根据从用于产生pred0(或pred1)的子像素MV值导出的全精度MV值获得。因此，它们在这里被区分为运动补偿参考块(ref-0，ref-1)和预测(pred0，pred1)。
此外，根据等式1，在步骤240和245中，所确定的IC参数(a0,b0)和(a1,b1)分别独立地应用于当前块的预测pred0和pred1，即，该IC(x)函数用于变换与当前块相关联的预测块(pred0或pred1)的每个样本或像素x。
最后，在步骤250中，如压缩领域的技术人员所熟知的，两个预测被组合成一个双预测biPred。组合意味着预测块的样本pred0和pred1被联合处理以形成biPred的样本，例如:
xbiPred＝(xpred0+xpred1+1)/2 (3)
其中，xbiPred、xpr和xpred1分别是biPred、pred0和pred1的样本或像素。
也可以基于当前图片150和图1中的参考图片中的仅一个，例如参考0图片110，来执行照明补偿。然后可以通过流程图200的步骤205、210、220、230和240(或者通过步骤205、215、225、235、245和250)来描述单向IC(uni-IC)。
发明内容
根据本公开的一个方面，提供了一种视频编码方法，包括基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数，确定与视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测对该块进行编码。
根据本公开的一个方面，提供了一种用于视频编码的装置，该装置包括用于基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合的设备；用于基于该参数集合来处理该块的预测的设备，该预测与第一运动补偿参考块相关联；以及用于基于处理后的预测来编码该块的设备。
根据本公开的一个方面，提供了一种用于视频编码的装置，该装置包括处理器和耦合到处理器的至少一个存储器，该处理器被配置成基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与视频图片中的块的第一运动补偿参考块相关联的用于照明补偿的参数集合，基于该参数集合来处理该块的预测，该预测与第一运动补偿参考块相关联，并且基于处理后的预测来编码该块。
根据本公开的一个方面，一种比特流，被格式化为包括代表图片的块的编码数据，通过以下步骤编码该编码数据:基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数，确定与视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测对该块进行编码。
根据本公开的一个方面，一种包括比特流的信号，该比特流被格式化为包括代表图片的块的编码数据，通过以下步骤编码该编码数据:基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数，确定与视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测对该块进行编码。
根据本公开的一个方面，提供了一种视频解码方法，包括基于编码视频的图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数，确定与编码视频的图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测解码该块。
根据本公开的一个方面，提供了一种用于视频解码的装置，该装置包括用于基于编码视频的图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与编码视频的图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合的设备，用于基于该参数集合处理该块的预测的设备，该预测与第一运动补偿参考块相关联，以及用于基于处理后的预测解码该块的设备。
根据本公开的一个方面，提供了一种用于视频解码的装置，该装置包括处理器和耦合到处理器的至少一个存储器，该处理器被配置成基于编码视频的图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与编码视频的图片中的块的第一运动补偿参考块相关联的用于照明补偿的参数集合，基于该参数集合来处理该块的预测，该预测与第一运动补偿参考块相关联，并且基于处理后的预测来解码该块。
根据本公开的一个方面，提供了一种包括程序代码指令计算机程序产品，该程序代码指令用于基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测对该块进行编码。
根据本公开的一个方面，提供了一种包括程序代码指令的计算机程序产品，该程序代码指令用于基于编码视频的图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与编码视频的图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测解码该块。
根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，该软件程序包括程序代码指令，该程序代码指令用于基于视频图像中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与视频图像中的块的第一运动补偿参考块相关联的照明补偿的参数集合的，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测对该块进行编码。
根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，该软件程序包括程序代码指令，该程序代码指令用于基于编码视频的图片中的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块的样本集合的函数来确定与编码视频的图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合，基于该参数集合处理该块的预测，该预测与第一运动补偿参考块相关联，并基于处理后的预测解码该块。
以上呈现了主题的简化概述，以便提供对主题实施例的一些方面的基本理解。该概述不是主题的广泛概述。其并不旨在标识实施例的关键/重要元素或描绘主题的范围。其唯一目的是以简化的形式呈现主题的一些概念，作为稍后呈现的更详细描述的序言。
参考附图，从下面对示例性实施例的详细描述中，本公开的附加特征和优点将变得明显。
附图说明
根据以下简要描述的示例性附图，可以更好地理解本公开:
图1示出了根据现有技术的针对当前图片中的当前块、针对参考0图片中的参考0块以及针对参考1图片中的参考1块的重建相邻样本的L形集合；
图2示出了根据现有技术的基于照明补偿以双向预测模式生成块预测的方法的流程图；
图3说明了根据HEVC标准将CTU分成CU和PU；
图4示出了根据HEVC标准将CTU分成CU、PU和TU；
图5示出了根据QTBT工具的CTU；
图6示出了根据现有技术的两个示例性当前图片；
图7示出了根据本公开的实施例的示例性视频编码器的简化框图；
图8示出了根据本公开的实施例的示例性视频编码器的一些模块的简化框图；
图9示出了根据本公开的实施例的示例性视频解码器的简化框图；
图10示出了根据本公开的实施例的示例性视频编码器的一些模块的简化框图；
图11示出了根据本公开的实施例的基于照明补偿以双向预测模式生成块预测的方法的流程图；
图12示出了根据本公开的实施例的基于照明补偿以双向预测模式生成块预测的方法的流程图；
图13示出了根据现有技术选择最佳运动矢量对的方法的流程图；
图14示出了根据本公开的实施例的基于照明补偿选择最佳运动矢量对的方法的流程图；
图15示出了根据本公开的实施例的视频编码的示例性方法的流程图；
图16示出了根据本公开的实施例的视频解码的示例性方法的流程图；和
图17示出了其中可以实现和执行本公开的各方面的计算环境的框图。
具体实施方式
应当理解，图中所示的元件可以以各种形式的硬件、软件或其组合来实现。优选地，这些元件在一个或多个适当编程的通用设备上以硬件和软件的组合来实现，通用设备可以包括处理器、存储器和输入/输出接口。这里，短语“耦合”被定义为直接连接到或通过一个或多个中间组件间接连接。这种中间组件可以包括基于硬件和软件的组件。
本说明书说明了本公开的原理。因此，应当理解，本领域技术人员将能够设计各种布置，尽管在此没有明确描述或示出，但是这些布置体现了本公开的原理，并且被包括在其范围内。
本文所述的所有示例和条件语言都是为了教育目的，以帮助读者理解本公开的原理和发明人为推进本领域所贡献的概念，并被解释为不限于这些具体列举的示例和条件。
此外，这里列举本公开的原理、方面和实施例的所有陈述以及其具体示例旨在涵盖其结构和功能等同物。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，无论结构如何，开发的执行相同功能的任何元件。
因此，例如，本领域技术人员将会理解，这里呈现的框图代表体现本公开原理的说明性电路的概念图。类似地，将会理解，任何流程图、流程图、状态变换图、伪代码等表示可以基本上在计算机可读介质中表示并由计算机或处理器执行的各种过程，无论是否明确示出了这样的计算机或处理器。
附图中所示的各种元件的功能可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。
也可以包括传统的和/或定制的其他硬件。同样，图中所示的任何开关都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动来实现，具体技术可以由实现者选择，如从上下文中更具体地理解的。
在权利要求中，表示为用于执行特定功能的设备的任何元件旨在包含执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括与用于执行该软件以执行该功能的适当电路相结合的固件、微码等。由这样的权利要求所定义的公开在于这样的事实，即由各种列举的设备提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供这些功能的任何设备都等同于这里所示的那些设备。
应当理解，附图和描述已经被简化以示出与清楚理解本公开相关的元件，同时为了清楚起见，消除了在典型编码和/或解码设备中发现的许多其他元件。
应该理解，尽管术语第一和第二在这里可以用来描述各种元件，但是这些元件不应该被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。上文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
应当理解，图片可以是单色格式的亮度样本阵列，或者是4:2:0、4:2:2和4:4:4颜色格式的亮度样本阵列和两个相应的色度样本阵列，或者是三个三色分量(例如，RGB)的阵列。在HEVC，“块”寻址样本阵列中的特定区域(例如，亮度Y)，而“单元”包括与该块相关联的所有编码颜色分量(亮度Y以及可能的色度Cb和色度Cr)、语法元素和预测数据(例如，运动矢量)的并置块。然而，术语“块”在这里更一般地用于指代块(例如，编码块(CB)、变换块(TB)、编码组(CG)等)或单元(例如，CU)。
应当理解，图片或像素块或变换系数是二维阵列或矩阵。水平或x方向(或轴)代表宽度，垂直或y方向(或轴)代表高度。索引从0开始。x方向代表列，y方向代表行。最大x指数是宽度–1。最大y指数是高度–1。
在下面的部分中，单词“重建的”和“解码的”可以互换使用。通常但不一定是在编码器侧使用“重建的”，而在解码器侧使用“解码的”。此外，单词“编码(coded)”和“编码(encoded)”可以互换使用。此外，“图像”、“图片”、“帧”和“条带”(即图片的一部分)可以互换使用。此外，单词“编码”、“源编码”和“压缩”可以互换使用。
在高效视频编码(HEVC)标准("ITU-T H.265 Telecommunicationstandardization sector of ITU(10/2014),series H:audiovisual and multimediasystems,infrastructure of audiovisual services-coding of moving video,Highefficiency video coding,Recommendation ITU-T H.265"(“ITU-T H.265ITU电信标准化部门(10/2014)，系列H:视听和多媒体系统，视听服务基础设施-运动视频编码，高效视频编码，建议ITU-T H.265”))中，图片被分割成正方形的编码树单元(CTU)，其可配置大小通常为64×64、128×128或256×256。如图3所示，CTU 310是分成被称为编码单元(CU)的叶子的四叉树的根。对于每个CU，用信号通知预测模式，该模式指示CU是使用帧内预测还是帧间预测来编码的。如图4所示，连续的一组CTU(例如，CTU 420)可以被分组到条带410中。CU(例如，CU 430)可以被划分成一个或多个预测单元(PU)，并且形成划分成变换单元(TU)的四叉树(称为变换树)的根。在帧间预测中，也可以将CU非对称地细分为PU，即如果CU具有大小NxN，则PU可以具有大小N/4xN、3N/4xN、NxN/4、Nx3N/4。每个单元被分配一些预测信息，例如运动信息、空间帧内预测等。在图3中，PU也显示为虚线。
四叉树加二叉树(QTBT)编码工具(Document JVET-C1001_v3,entitled"Algorithm Description of Joint Exploration Test Model 3",Joint VideoExploration Team of ISO/IEC JTC1/SC29/WG11,3rd meeting,26th May-1st June2015,Geneva,CH(文件JVET-C1001_v3，题为联合勘探测试模型3的算法描述”，ISO/IECJTC1/SC29/WG11的联合视频勘探小组，第3次会议，2015年5月26日至6月1日，日内瓦，中国))是一种新的视频编码工具，与HEVC标准的CU/PU/TU安排相比，它提供了更灵活的CTU表示和更高的压缩效率。如图5所示，四叉树加二叉树(QTBT)编码工具定义了编码树510，其中编码单元可以以四叉树和二叉树两者的方式被分割。图5示出了编码树单元520的示例性编码树表示，其中实线表示四叉树划分，虚线表示CTU 520内的CU 530的二进制划分，CU 530在空间上嵌入在四叉树叶中。
在编码器侧决定将CTU分割成编码单元，例如通过速率失真优化过程，该过程包括以最小的速率失真代价确定CTU的QTBT表示。在QTBT表示中，CU可以是正方形或矩形。编码单元的大小总是2的幂，通常从4到128。CTU的QTBT分解包括两个阶段:首先以四叉树的方式将CTU分成4个CU，然后每个四叉树叶子可以进一步以二叉的方式分成两个CU或者以四叉树的方式分成4个CU，如图3所示。
利用QTBT表示，CU可能不会进一步划分为PU或TU。换句话说，每个CU被认为是单个预测单元和单个变换单元，并且这种QTBT表示仅允许CU的对称分裂。然而，最近，具有新的矩形形状的CU由称为不对称分裂模式的新的二元分裂模式产生。
本公开涉及照明补偿(IC)。在帧间模式中，IC允许通过考虑任何空间或时间的局部照明变化来校正通过运动补偿(MC)获得的块预测样本。在现有技术中，可以通过将图片中当前块的重建相邻样本的L形集合与参考块的相邻样本的对应L形集合进行比较来估计IC参数。在双向预测的情况下，两个参考i块(i＝0或1)的对应的相邻样本的L形集合可以分别与当前块的重建相邻样本的L形集合进行比较。
根据现有技术，利用重建相邻样本的L形集合的想法依赖于这样的假设，即针对相邻样本优化的实际IC参数仍然适合当前块。该假设通常是正确的，因为L形的相邻样本是与当前块样本最接近的可用重建样本。然而，如果一些相邻样本属于与当前块不同的对象，则会遇到这种方法的一个限制。图6示出了根据现有技术的当前图片(610，650)的两个示例600，其具有相应当前块(620，660)和重建相邻样本的L形集合(630，670)以及它们与当前图片(610，650)中的对象(640，680)的关系。可以观察到，在当前图片610中，对象640包含L形集合630的大部分和当前块620的大部分。另一方面，在当前图片650中，对象680仅包含L形集合670，并且几乎不包含当前块660的任何部分。因此，在当前块660的情况下，L形集合670的样本可能不太适合于估计当前块660的IC参数。
本公开解决了现有技术中存在的一些缺点。具体地，本公开的至少一些实施例在估计IC参数时没有利用重建相邻样本的L形集合。相反，在本公开的至少一些实施例中，IC参数从与当前块(例如，160)相关联的参考块(例如，120、125)的重建样本集合中导出，这将在以下段落和附图中进一步描述。此外，在本公开的至少一些实施例中，在双向预测(a0,b0)和(a1,b1)中使用的IC参数被联合导出，如将在以下段落和附图中进一步描述的。
编码
图7示出了根据本公开的实施例的示例性视频编码器700的简化框图。编码器700可以被包括在通信系统中的发射机或前端中。为了用一个或多个图片对视频序列进行编码，可以将一个图片分割成具有可配置大小的正方形的CTU。可以将一组连续的CTU分组到一个条带中。一个CTU是QTBT分割到CU的根。在示例性编码器700中，图片由如下所述的编码器模块编码。使用帧内模式或帧间模式对每个块进行编码。当块以帧内模式编码时，编码器700基于同一图片或帧中的至少一个块执行帧内预测(模块760)或空间预测。当块以帧间模式编码时，编码器700基于来自至少一个参考图片或帧的至少一个参考块来执行帧间预测或时间预测。在单向帧间预测中，预测可以通常(但不是必须)基于较早的参考图片或帧。在双向帧间预测中，预测可以通常(但不是必须)基于较早和较晚的图片或帧。在帧间模式中，执行运动估计(模块775)和补偿(模块770)。编码器决定(模块705)使用帧内模式或帧间模式中的哪一个来编码块，并通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(模块710)预测样本块(也称为预测器)来计算残差。
例如，帧内模式中的块是从重建相邻样本中预测的。通过对存储在参考图片缓冲器780中的参考块执行运动估计(模块775)和运动补偿(模块770)，来执行帧间预测。
残差被变换(模块725)和量化(模块730)。变换模块725可以将图像从像素或时域变换到变换域或频域。该变换可以是例如余弦变换、正弦变换、小波变换等。量化可以根据例如速率失真标准来执行。量化的变换系数以及运动矢量和其他语法元素被熵编码(模块745)以输出比特流。熵编码可以是，例如，上下文自适应二进制算术编码(CABAC)、上下文自适应可变长度编码(CAVLC)、霍夫曼编码、算术编码、经验值编码(exp-Golomb)等。编码器也可以跳过变换，并将量化直接应用于未变换的残余信号。编码器还可以绕过变换和量化，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且块样本被直接编码到比特流中。
编码器包括解码循环，并因此解码编码块以提供进一步预测的参考。量化的变换系数被去量化(模块740)和逆变换(模块750)以解码残差。通过组合(模块755)解码残差和预测样本块来重建图像块。例如，环路内滤波器(in-loop filter)(765)可以应用于重建图像以执行去块/采样自适应偏移(SAO)滤波来减少编码伪像。过滤后的图像存储在参考图片缓冲器780中。
视频编码器700的模块可以用软件实现并由处理器执行，或者可以使用压缩领域技术人员公知的电路组件来实现。具体地，视频编码器700可以被实现为集成电路(IC)。
视频编码器700的模块也存在于其他视频编码器(例如，HEVC编码器)中，除了本公开中描述的差异，特别是基于照明补偿的模块运动补偿770和/或运动估计775中的差异，这将在以下段落和附图中更详细地描述。对于除照明补偿之外的功能(例如，除770和775之外的模块)，视频编码器700可以类似于HEVC视频编码器，并且这里不详细描述这些功能。
运动估计模块775可以包括运动补偿，因为其目的是确定最佳运动矢量，该最佳运动矢量可以使用迭代搜索，该迭代搜索通常在速率失真成本(RD成本)足够低或者已经达到最小值时终止。结果，IC也可以应用在运动估计模块775中。
图8示出了根据本公开的实施例的示例性视频编码器的一些模块的简化框图800。模块参考图片缓冲器880、运动估计875和运动补偿870类似于图7的相应模块780、775和770，并且指定了根据本公开的实施例的视频编码器的模块内的IC相关功能。运动补偿870可以包括内部运动补偿模块871，其可以执行与用于运动补偿的现有技术模块类似的功能，如压缩领域的技术人员所公知的。具体地，模块871可以生成用于IC的运动补偿参考块(例如，ref-0，ref-1)和预测(例如，pred0，pred1)，其可以具有相同或不同的分辨率，如前所述。此外，模块870可以包括根据本公开确定IC参数的IC参数确定模块872。最后，模块870可以包括根据本公开的IC应用模块873。模块873可以实现与步骤240和/或步骤245类似的功能。
如前所述，运动估计模块875可以包括运动补偿，因为其目的是确定最佳运动矢量，该最佳运动矢量可以使用迭代搜索，该迭代搜索通常在速率失真成本(RD成本)足够低或者已经达到最小值时终止。迭代测试不同的候选运动矢量。模块876-878可以分别类似于模块871-873。因此，运动估计875可以包括特定的运动补偿模块876，其可以执行与用于运动补偿的现有技术模块类似的功能，如压缩领域的技术人员所公知的。具体地，如前所述，模块876可以生成用于IC的运动补偿参考块(例如，ref-0，ref-1)和预测(例如，pred0，pred1)，其可以具有相同或不同的分辨率。此外，模块875可以包括根据本公开确定IC参数的IC参数确定模块876。此外，模块875可以包括根据本公开的IC应用模块878。模块878可以实现与步骤240和/或步骤245类似的功能。最后，模块875包括RD成本计算模块879，其确定RD成本并确定是否已经达到RD的合适值或最小值，以便向运动补偿模块870提供最佳运动矢量。在一个实施例中，运动估计模块875还可以输出与最佳运动矢量相关联的IC参数。在这种情况下，不需要重新计算IC参数，并且可以从运动/照明补偿模块870跳过模块872。
基于照明补偿的图8中的模块将在以下段落和附图中更详细地描述。
在根据本公开的一个实施例中，可以针对图片的每个帧间模式编码单元(CU)自适应地启用或禁用IC。在比特流中，当对当前条带/图片或序列启用IC时，可以对每个块编码IC标志，以指示是否对该块启用IC。然后可以在视频解码器中检索IC标志。在一个实施例中，当导出的IC参数没有导致预测的改善时，IC可以被局部或全局去激活(例如，IC标志被设置为假)。在一个实施例中，当IC标志启用块的IC(例如，IC标志被设置为真)时，该块的IC参数可以被包括并可选地编码在比特流中，以在解码器处被检索。
解码
图9示出了根据本公开的实施例的示例性视频解码器900的简化框图。视频解码器900可以包括在通信系统的接收器中。视频解码器900通常执行与图7中描述的由视频编码器700执行的编码过程相反的解码过程，尽管并非解码器中的所有操作都是编码过程的逆操作(例如，帧内和帧间预测)。具体地，解码器900的输入包括视频比特流，其可以由视频编码器700生成。比特流首先被熵解码(模块930)，以获得变换系数、运动矢量、语法元素和其他编码信息。变换系数被去量化(模块940)和逆变换(模块950)以解码残差。然后将解码的残差与预测的样本块(也称为预测器)组合(模块955)，以获得解码/重建的图像块。编码器决定(例如，模块705)使用帧内模式或帧间模式中的哪一个来编码块，并通过预测模式标志来指示帧内/帧间决定。可以从帧内预测(模块960)或运动补偿预测(即，帧间预测)(模块970)获得预测样本块(模块905)。可以对重建图像应用环路内滤波器(模块965)。环路内滤波器可以包括去块滤波器和SAO滤波器。过滤后的图像被存储在参考图片缓冲器980中。
视频解码器900的模块可以用软件实现并由处理器执行，或者可以使用压缩领域技术人员公知的电路组件来实现。具体而言，视频编码器900可以被实现为集成电路(IC)，单独或者与视频解码器700组合作为编解码器。
视频解码器900的模块也存在于其他视频解码器(例如，HEVC解码器)中，除了在本公开中描述的差异之外，特别是根据本公开的图7的模块770中的、并且将在以下段落和附图中更详细地描述的、基于照明补偿的运动补偿模块970的差异。对于除照明补偿之外的功能(例如，除970之外的模块)，视频解码器900可以类似于HEVC视频解码器，并且这里不详细描述这些功能。
图10示出了根据本公开的实施例的示例性视频解码器的一些模块的简化框图1000。模块参考图片缓冲器1080和运动补偿1070类似于图9的相应模块980和970。模块1070示出了根据本公开的实施例的视频解码器的模块内的IC相关功能。运动补偿1070可以包括内部运动补偿模块1071，其可以执行与用于运动补偿的现有技术模块类似的功能，如压缩领域的技术人员所公知的。具体地，模块871可以生成用于IC的运动补偿参考块(例如，ref-0，ref-1)和预测(例如，pred0，pred1)，其可以具有相同或不同的分辨率，如前所述。此外，模块1070可以包括根据本公开确定IC参数的IC参数确定模块1072。最后，模块1070可以包括根据本公开的IC应用模块1073。模块1073可以类似于模块873，并且实现类似于步骤240和/或步骤245的功能。基于照明补偿的图10中的模块将在以下段落和附图中更详细地描述。应当理解，模块1070也类似于图8的模块870，因为相同的功能存在于视频编码器和解码器中。
在根据本公开的一个实施例中，可以针对图片的每个帧间模式编码单元(CU)自适应地启用或禁用IC。在比特流中，当对当前条带/图片或序列启用IC时，可以对每个块编码IC标志，以指示是否对该块启用IC。可选地，可以推断IC标志，例如，它可以使用合并模式从先前编码的块中导出。然后在视频解码器处检索IC标志。在导出的IC参数没有导致预测的改善的情况下，IC可以被局部或全局去激活(例如，IC标志被设置为假)。当IC标志启用块的IC(例如，IC标志被设置为真)时，该块的IC参数可以被包括并可选地编码在比特流中，以便在解码器处被检索。
应当理解，当IC标志和IC参数被包括并可选地编码在比特流中时，模块IC参数确定1071从比特流中检索IC标志和IC参数，而不是计算或导出IC参数。
在下文中，描述了根据本公开的用于推导或计算IC参数的实施例。
在根据本公开的一个实施例中，在双向预测的情况下，可以从参考0的运动补偿块(ref-0或MC-0)和参考1的运动补偿块(ref-1或MC-1)的两个运动补偿块(例如，分别为110和115)联合导出或计算IC参数。在这种情况下，当前块、参考0块和参考1块的重建相邻样本的L形集合不用于计算。类似地，当前块中的样本不用于计算(因为它们在解码器侧不可用)。计算仅基于ref-0中的样本集合和ref-1块中的样本集合。该样本集合可以分别包括整个ref-0和ref-1块，或者仅包括ref-0和ref-1块的一部分。
图11示出了根据本公开的实施例的基于照明补偿以双向预测模式生成块预测的方法的流程图1100。最初，在步骤1110和1115，MV0和MV1分别用于获得列表-0和列表-1的参考帧中的运动补偿块ref-0和ref-1。如前所述，ref-0和ref-1可以分别类似于预测pred0和pred1，除非使用简化，例如使用较低的分辨率。例如，在这种情况下，可以例如使用全像素分辨率(或MV的整数部分)而不是用于预测的子像素来执行MC(运动补偿)，从而不应用插值MC滤波器，并且减少了计算负荷。
接下来，在步骤1120，基于块ref-1 125和块ref-0 120的样本，如下计算或确定ref-1和ref-0之间的IC参数(a′,b′):
Figure BDA0002440503090000151
其中x0和x1分别是ref-0和ref-1的样本，总和是ref-0中的样本x0与ref-1中的对应样本x1的总和。注意，等式4是类似于等式2的最小二乘计算。然而，等式4使用ref-0 120和ref-1 125的样本，而不是用于当前块和期望参考块(170，130，135)的重建相邻样本的L形集合。要使用的ref-0和ref-1的样本可以包括每个块的所有样本或者每个块的样本的子集。当前图片的任何参考图片可以可交换地选择为参考0或参考1。
在步骤1130，补偿块ref-0和当前块之间的照明的IC参数(a0,b0)，以及补偿块ref-1和当前块之间的照明的IC参数(a1,b1)都是从(a′,b′)中导出。
在一个实施例中，可以确定(a0,b0)和(a1,b1)的值，使得它们最小化所有样本对(x0,x1)的绝对差|a0*x0+b0–a1*x1-b1|的和，其中x0和x1是ref-0和ref-1的样本。因此，采用以下近似值:
a0*x0+b0≈a1*x1+b1 (5)
假设已经在步骤1120计算出最小化平方差的和的(a′,b′)，则使用以下近似:
x1≈a′*x0+b′ (6)
从等式5和6中，可以推导出以下近似值，其应该对所有值x0进行验证:
a0*x0+b0≈a1*a′*x0+a1*b′+b1 (7)
一个明显的解决方案满足以下等式:
Figure BDA0002440503090000161
此外，可以假设这些值a0,a1,b0,b1是当前帧到相应参考帧的时间距离的线性函数。让我们用α表示当前图片(poccur)到参考帧(poc0,poc1)的相对时间距离，如下所示:
α＝(poccur-poc0)/(poc1-poc0) (9)
从等式9可以看出:
Figure BDA0002440503090000162
假设，a0,a1,b0,b1是以下各项的线性函数:
Figure BDA0002440503090000163
从等式8、10和11，可以导出以下结论:
Figure BDA0002440503090000164
应当理解，在等式12中，变量可以是浮点数，或者可以被变换(例如，重新缩放)，从而a0,a1,b0,b1被表示为有理数(分子和除数，或者分子和二除数的幂(power of twodivisor))，以简化复杂度。
然后，在步骤1140和1145，IC参数(a0,b0)和(a1,b1)被应用于它们各自的预测pred0和pred1。最后，在步骤1150组合预测pred0和pred1。应该理解的是，步骤1140、1145和1150分别类似于图2的步骤240、245和250，因此，这里不再详细描述。步骤1110和1115分别获得ref-0和ref-1。步骤230和235不被包括在图11中，但是可以理解，pred0和pred1计算可以在方法1100之外并且在将IC参数应用于它们各自的预测之前进行。ref-0、ref-1、pred0和/或pred1的产生可以如前面结合模块871、878和1071所描述的那样发生。
图12示出了根据本公开的实施例的基于照明补偿以双向预测模式生成块预测的方法的流程图1200。步骤1210、1215、1240、1245和1250分别类似于图11的步骤1110、1115、1140、1145和1150，因此在此不再描述。
在步骤1220，可以使用最小二乘法从ref-0 120和ref-1 125的样本中直接导出(a0,b0)和(a1,b1)的最佳值(a′0,b′0,a′1,b′1)，如下:
Figure BDA0002440503090000171
对于根据本公开的方法1100或方法1200，如在下面的段落和附图中详细描述的，应用附加的实施例。
在一个实施例中，可以在步骤1150或1250应用与针对图2的步骤240描述的组合不同的其他更复杂的组合，例如，通过对pred0和pred1的值应用权重。然而，在这种情况下，权重是确定的，并且对于图片的整个条带是恒定的。
在一个实施例中，可以在比特流中包括并可选地编码标志，以指示当前图片、条带或块中的至少一个是否启用/禁用了IC(双向或单向)。当当前图片与其参考图片之间没有明显的照明变化时，IC可能被禁用。在编码器处，可以例如通过比较参考帧和当前帧的直方图来确定IC标志。如果当前图片、条带或块与当前图片的每个参考图片之间的直方图差异小于给定值或阈值，则针对当前图片、条带或块禁用IC；否则，针对当前图片、条带或块启用IC。
在一个实施例中，如果使用整数运动矢量(或全像素分辨率)来执行MC，则存储用于每个参考索引的最后使用的IC参数和/或MV。如果当前MV和/或参考索引等于(或基本上等于)在最后计算IC参数时使用的最后MV和参考索引，则IC参数可以被重新使用。该存储和比较实施例在编码器处特别有用，在编码器处，在速率失真优化(RDO)期间，在运动估计和模式选择时，IC参数推导(例如，调用软件中的例程或函数)发生多次。因此，该实施例降低了复杂性并加快了过程。近似或基本相等可能意味着a的值与最后一个值的偏差或裕度在5％(或10％)以内。
在一个实施例中，IC可以在块、条带和/或图片级别被启用/禁用，这取决于IC在先前参考图片中的使用次数。例如，如果参考图片内的条带数量、参考图片内的块数量、或使用IC(即，IC被启用)的参考图片块内的样本数量低于一阈值或水平，则在当前图片中不使用IC。在一个实施例中，“数量”可以由“百分比数量”代替，即相对于条带、块或样本的相应的图片数量的相对数量。因此，这种使用数量的实施例导致更低的复杂性并加快了过程。在一个实施例中，可以考虑基于N个参考图片(例如，对于低延迟，N＝1，对于分层随机接入，N＝2，等等)来用与当前POC最接近的POC确定“数量”。“数量”可以是参考图片的数量的平均值、加权平均值、总和、最小值或最大值。
在一些编解码器中，在用于导出运动矢量的过程中，可以在解码器处执行IC，例如，在编码模式帧速率上变换(FRUC)中，该编码模式帧速率上变换在“AlgorithmDescription of Joint Exploration Test Model 6(JEM 6)”of the Joint VideoExploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,document number JVET-F1001 v3,6th meeting,Hobart,AU,March 31-April 7,2017(2017年3月31日至4月7日在美国俄亥俄州霍巴特市举行的联合视频勘探团队(JVET)的文件“联合勘探测试模型6(JEM 6)的算法描述”)中描述。FRUC是一种编码模式，其中运动矢量不被编码，而是在解码器侧被导出。
图13示出了根据现有技术的选择最佳运动矢量对的方法1300的流程图。在FRUC模式中，在双向预测(双向匹配模式)的情况下，在步骤1310中建立多对候选MV(运动矢量)的列表(列表{MV0,MV1}),并且在步骤1370中，解码器选择最小化两个运动补偿参考块(ref-0和ref-1)之间的绝对差的和SAD的MV对(最佳MV对)，如下:
Figure BDA0002440503090000181
其中x0和x1分别是ref-0和ref-1的样本(在1320中从MV0和MV1获得)。
因此，最佳MV对由下式给出:
Figure BDA0002440503090000182
在步骤1330检查IC标志。当IC被禁用时，则在步骤1340根据等式14执行SAD。当IC被启用时，在步骤1350，SAD被修改，使得块ref-0和ref-1的平均采样值从相应的采样x0和x1中被减去或移除。因此，x0被x0-avg0替换，并x1被x1-avg1替换，如下:
Figure BDA0002440503090000183
图14示出了根据本公开的实施例的基于照明补偿选择最佳运动矢量对的方法1400的流程图。步骤1410、1420、1430、1440和1470类似于图13中相应的步骤1310、1320、1330、1340和1370。在本实施例中，在步骤1460，根据本公开的任何实施例确定的IC参数(a0,b0,a1,b1)被应用于各个样本x0和x1，并且在步骤1450计算SAD之前，如下:
Figure BDA0002440503090000191
最后，在步骤1470，选择具有最小SAD的最佳MV对。
在一个实施例中，当在FRUC模式下时，建立一个MV候选列表(LC)。在双向预测(双边模式)的情况下，通过重新缩放导出一对MV来构建一个候选。计算具有这对MV的两个运动补偿参考块之间的绝对差的总和SAD，并且最佳候选将是具有最小SAD的那个。如果IC标志为真(IC标志被编码为FRUC，或者可以被推断)，则根据本公开的各种实施例，SAD的计算被修改为包括IC。
在一个实施例中，根据本公开的任何实施例(使用MC参考块，在此称为ICblocks)并且还根据现有技术(图1和等式1-2，即，使用参考L形和当前L形的MC，在此称为ICL-shapes)来计算IC参数。解码器/编码器选择要使用的(在ICblocks和ICL-shapes之间的)最佳IC参数。该选择可以基于以下之一:
a.使绝对差值
Figure BDA0002440503090000192
最小化的IC参数:其中，
Figure BDA0002440503090000193
分别是MC参考块ref-0和ref-1的平均采样值。
b.将绝对差值
Figure BDA0002440503090000194
最小化的IC参数:其中，
Figure BDA0002440503090000195
设置为2(bitDepth-1)(2(位深度-1))。
c.将以下SAD最小化的IC参数:
Figure BDA0002440503090000196
如果ICL-shapes不适用(例如，a＝0,poc0＝poc1等)或启用，则最佳IC参数的选择默认为ICblocks。
应当理解，当ICblocks被启用时，根据以上项a、b和c中的规则之一来执行选择。否则，默认情况下会选择ICL-shape。
在一个实施例中，根据当前块大小禁用ICblock，例如，如果当前块大小小于或等于阈值或水平，则禁用ICblock。例如，如果min(width,height)(最小值(宽度、高度))小于或等于8，则默认情况下选择ICL-shape。否则，如果宽度和高度都严格大于8，则启用ICblock。
在一个实施例中，当图像顺序计数是如下这样时，ICblock被启用:
d.poc0<poccurr<poc1或poc1<poccurr<poc0.
e.|poc0-poc1|<C*|poccurr-poc0|或|poc0-poc1|<C*|poccurr-poc1|，其中，C是阈值或因子。
f.(poc0-poccurr)*MV1＝(poc1-poccurr)*MV0，即，分别对齐与参考0和参考1相关联的当前块的MV0和MV1。
g.|(poc0-poccurr)*MV1-(poc1-poccurr)*MV0|<T，其中T是阈值或水平。
h.上述条件d、e、f和/或g的组合，例如d和f、d或f等。
根据本公开的任何实施例，块中的样本子集可用于导出IC参数，以便减少计算量，从而降低复杂性。
在一个实施例中，IC函数可以包括等式1或IC参数的其他线性或非线性函数。例如，IC函数可以只考虑斜率参数而不考虑截距(intercept)参数，即IC(x)＝a*x，在一个实施例中，IC参数可以是两个以上的参数，这取决于函数(例如，取决于多项式函数的次数)。
在一个实施例中，等式4可以基于绝对差，而不是差的平方。在一个实施例中，等式13可以基于绝对差，而不是平方差。在一些实施例中，等式14-18中的任何一个可以基于平方差而不是绝对差。更一般地，可以使用其他差分函数。
在一些实施例中，通过忽略或不计算IC参数集合中的一个，根据本公开的方法也可以用于单向预测IC。在一个实施例中，在图11的步骤1130中，可以忽略或不确定(a0,b0)(或(a1,b1))。结果，步骤1140(或1145)和步骤1150被跳过。在一个实施例中，在步骤1220之后，可以忽略(a0,b0)(或(a1,b1))。结果，步骤1240(或1145)和步骤1250被跳过。
测试结果表明，当根据图11中的实施例进行编码和解码时，使用不同特性和大小的几个测试视频序列，对于等效峰值信噪比(PSNR)，Y、U、V样本的平均速率降低可分别高达0.26％、0.05％和0.21％BD(比约特加德-德尔塔)，与现有技术相比，编码和解码运行时间略有增加。换句话说，可以用复杂性方面的小的增加的成本来实现改进的压缩效率。
图15示出了根据本公开的一个实施例的视频编码的示例性方法的流程图1500。方法1500包括，在步骤1510，基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块(或第二运动补偿块)的(对应的)样本集合的函数，确定与该块的第一运动补偿参考块(或第一运动补偿块)相关联的照明补偿的参数集合。然后，在步骤1520，方法1500包括基于该参数集合处理块的预测，该预测与第一运动补偿参考块相关联。最后，在步骤1530，方法1500包括基于处理后的预测对块进行编码。步骤1510至1530可以例如由编码器700或800执行。具体地，步骤1510和1520可以由例如模块770、775、870(871、873)和/或875(876、878)来执行。该参数集合可以是例如(a0,b0)。第一运动补偿参考块可以是例如ref-0(MC-0)120。第二运动补偿参考块可以是例如ref-1(MC-1)125。预测可以是例如pred0。该块可以是例如当前块160。该图片可以是例如当前图片150。运动补偿块(例如，ref-0和ref-1)和相应的预测(例如，pred0和pred1)可以具有不同分辨率和相同分辨率之一。例如，运动补偿块具有全像素分辨率，而预测可能具有子像素分辨率。或者，例如，运动补偿块和预测都可以具有子像素分辨率。
该参数集合、块、图片、函数和预测可以替换地分别称为第一参数集合、第一块、第一图片、第一函数和第一预测。第一运动补偿参考块可以与第一参考图片相关联。第一参考图片可以是例如参考0(reference 0)110。第二运动补偿参考块可以与第二参考图片相关联。第二参考图片可以是例如参考1(reference 1)，115。图片、第一参考图片和第二参考图片每个可以是不同的图片。该参数集合可以包括至少一个参数，例如，至少一个振幅标度(scale)或斜率参数、振幅偏移或截距参数、位置标度参数、位置偏移参数、时间标度参数、时间偏移参数等。该预测可以是与第一运动补偿参考块相关联的块的帧间预测。该块可以是重建的块。该函数不是块的样本、块的相邻样本、第一运动补偿参考块的相邻样本或第二运动补偿参考块的相邻样本的函数。在执行方法1500之前，可以访问或确定第一运动补偿参考块、第二运动补偿参考块和预测。
根据该方法的一个实施例，确定步骤1510可以进一步包括基于该函数确定与该块的第二运动补偿参考块相关联的用于照明补偿的第二参数集合。换句话说，基于该函数进一步确定第二参数集合。第二参数集合包括至少一个参数，例如，至少一个振幅标度或斜率参数、振幅偏移或截距参数、位置标度参数、位置偏移参数、时间标度参数、时间偏移参数等。第二参数集合可以是例如(a1,b1)。
根据该方法的一个实施例，处理步骤可以进一步包括基于第二参数集合来处理块的第二预测，第二预测与第二运动补偿参考块相关联。换句话说，根据第二参数集合来处理块的第二预测。第二预测可以是与运动补偿的第二参考块相关联的块的帧间预测。在执行方法1500之前，可以访问或确定第二预测。第二预测可以是例如pred1。
根据该方法的一个实施例，编码步骤1530可以进一步基于处理后的第二预测。换句话说，进一步基于处理后的第二预测对块进行编码。
当编码器执行单向IC和/或单向预测时，确定第二IC参数集合、处理第二预测以及进一步基于第二处理的预测进行编码可以是可选的、被跳过的或被移除的。
根据该方法的一个实施例，该(第一或第二)样本集合可以包括对应于该样本集合的(第一或第二)运动补偿参考块中的所有样本，例如ref-0(或ref-1)中的所有样本。
根据该方法的一个实施例，该参数集合(或第二参数集合)可以包括斜率参数和截距参数，例如(a0,b0)(或(a1,b1))。
根据该方法的一个实施例，该函数可以是平方差的总和与绝对差的总和中的一个，该平方差和绝对差是由该参数集合变换的第一运动补偿参考块的样本集合中的样本和第二运动补偿参考块的样本集合中的对应样本之间的差。等式4适用于该实施例。可以对样本集合(ref-0和对应的样本集合ref-1)中的所有样本或者参考块(ref-0和对应的ref-1)中的所有样本执行求和。
根据该方法的一个实施例，该函数可以是平方差的总和与绝对差的总和中的一个，该平方差和绝对差是由该参数集合变换的第一运动补偿参考块的样本集合中的样本和由第二参数集合变换的第二运动补偿参考块的样本集合中的对应样本之间的差。第二参数集合可以是例如(a1,b1)。等式13适用于该实施例。可以对样本集合(ref-0和对应的样本集合ref-1)中的所有样本或者参考块(ref-0和对应的ref-1)中的所有样本执行求和。
根据该方法的一个实施例，该样本集合中的样本可以通过相应参数集合的线性函数来变换。等式4或13适用于该实施例。
根据该方法的一个实施例，第三参数集合可以最小化该函数，并且该参数集合是基于图片和与第一运动补偿参考块相关联的第一参考图片之间的相对时间距离从第三参数集合确定的。等式4适用于该实施例。第三参数集合是在(a′,b′)。等式9中定义相对时间距离α。
根据该方法的一个实施例，第三参数集合可以最小化该函数，并且第二参数集合是基于图片和与第一运动补偿参考块相关联的第一参考图片之间的相对时间距离从第三参数集合中确定的。等式4适用于该实施例。第三参数集合是(a′,b′)。在等式9中定义的相对时间距离α。
根据该方法的一个实施例，根据第三参数集合的确定可以进一步基于由该参数集合变换的第一运动补偿参考块中的样本和由第二参数集合变换的第二运动补偿参考块中的样本之间的相等性。该相等性适用于样本集中的每个样本。等式5适用于该实施例。
根据该方法的一个实施例，该参数集合和第二参数集合可以最小化该函数。等式13适用于该实施例。
根据该方法的一个实施例，该参数集合和第二参数集合的函数的值可以小于该函数的平均值。
根据该方法的一个实施例，可以基于块的大小来启用IC。
根据该方法的一个实施例，可以基于图片、第一参考图片和第二参考图片的图片顺序计数来启用IC。上述d至h项适用于该实施例。
在一个实施例中，可以基于成本函数在根据本公开的任何先前实施例(ICblocks)和图2的现有技术方法(ICL-shapes)之间进行选择。成本函数在上述a至c项中确定。IC参数是为ICblocks和ICL-shapes形状确定的。选择最小化成本函数的IC参数，无论是ICblocks还是ICL-shapes。上述a至c项适用于该实施例。
根据该方法的一个实施例，至少一个标志可以被包括(并且可选地被编码)在编码视频中(作为语法元素)，该至少一个标志指示照明补偿是否将被应用于块、图片的条带、图片和视频中的至少一个。
根据该方法的一个实施例，可以在解码器处检索至少一个标志，该标志指示照明补偿是否将被应用于块、图片的条带、图片和视频中的至少一个。
根据该方法的一个实施例，该参数集合和第二参数集合中的至少一个可以被包括(并且可选地被编码)在编码视频中作为语法元素。
根据该方法的一个实施例，该参数集合和第二参数集合中的至少一个可以在视频解码器处通过从编码视频中检索该参数集合和第二参数集合中的至少一个来确定。
根据一个实施例，该方法可以进一步包括接收图片，将图片划分成包括该块的多个块，确定该块的预测残差，变换和量化残差以获得多个变换系数，以及对残差进行熵编码。变换和量化的步骤可以由例如编码器700的模块725和730来执行。熵编码的步骤可以由例如编码器700的模块745来执行。接收、变换和量化的步骤可以是可选的、跳过的或移除的，因为它们可能已经由另一个设备预先执行和/或结果可能已经存储在存储器中。
应当理解，上述方法1500的任何实施例都可以由编码器700或800实现。编码器700或800的块可以由硬件(例如，集成电路)或软件实现，存储在存储器中并由处理器执行。
图16示出了根据本公开的一个实施例的视频解码的示例性方法的流程图1600。方法1600包括，在步骤1610，基于视频图片中的块的第一运动补偿参考块的样本集合和该块的第二运动补偿参考块(或第二运动补偿块)的(对应的)样本集合的函数，确定与该块的第一运动补偿参考块(或第一运动补偿块)相关联的照明补偿的参数集合。然后，在步骤1620，方法1600包括基于该参数集合处理块的预测，该预测与第一运动补偿参考块相关联。最后，在步骤1630，方法1600包括基于处理后的预测对块进行解码。步骤1610至1630可以由例如解码器900或1000来执行。具体地，步骤1610和1620可以由例如模块970或1070(1071，1073)来执行。该参数集合可以是例如(a0,b0)。第一运动补偿参考块可以是例如ref-0(MC-0)120。第二运动补偿参考块可以是例如ref-1(MC-1)125。预测可以是例如pred0。该块可以是例如当前块160。该图片可以是例如当前图片150。运动补偿块(例如，ref-0和ref-1)和相应的预测(例如，pred0和pred1)可以具有不同分辨率和相同分辨率之一。例如，运动补偿块具有全像素分辨率，而预测可能具有子像素分辨率。或者，例如，运动补偿块和预测都可以具有子像素分辨率。
该参数集合、块、图片、函数和预测可以替换地分别称为第一参数集合、第一块、第一图片、第一函数和第一预测。第一运动补偿参考块可以与第一参考图片相关联。第一参考图片可以是例如参考0 110。第二运动补偿参考块可以与第二参考图片相关联。第二参考图片可以是例如参考1，115。图片、第一参考图片和第二参考图片可以各自是不同的图片。该参数集合包括至少一个参数，例如，至少一个振幅标度或斜率参数、振幅偏移或截距参数、位置标度参数、位置偏移参数、时间标度参数、时间偏移参数等。该预测可以是与第一运动补偿参考块相关联的块的帧间预测。该块可以是重建的块。该函数不是块的样本、块的相邻样本、第一运动补偿参考块的相邻样本或第二运动补偿参考块的相邻样本的函数。在执行方法1600之前，访问或确定第一运动补偿参考块、第二运动补偿参考块和预测。
根据该方法的一个实施例，确定步骤1610可以进一步包括基于该函数确定与该块的第二运动补偿参考块相关联的用于照明补偿的第二参数集合。换句话说，基于该函数进一步确定第二参数集合。第二参数集合可以包括至少一个参数，例如，至少一个振幅标度或斜率参数、振幅偏移或截距参数、位置标度参数、位置偏移参数、时间标度参数、时间偏移参数等。第二参数集合可以是例如(a1,b1)。
根据该方法的一个实施例，处理步骤1620可以进一步包括基于第二参数集合处理块的第二预测，第二预测与第二运动补偿参考块相关联。换句话说，根据第二参数集合来处理块的第二预测。第二预测可以是与第二运动补偿参考块相关联的块的帧间预测。在执行方法1600之前，可以访问或确定第二预测。第二预测可以是例如pred1。
根据该方法的一个实施例，解码步骤1630可以进一步基于处理后的第二预测。换句话说，基于处理后的第二预测进一步解码该块。
当编码器执行单向IC和/或单向预测时，确定第二IC参数集合、处理第二预测以及进一步基于第二处理的预测进行解码可以是可选的、被跳过开的或被移除的。
根据该方法的一个实施例，该(第一或第二)样本集合可以包括对应于该样本集合的(第一或第二)运动补偿参考块中的所有样本，例如ref-0(或ref-1)中的所有样本。
根据该方法的一个实施例，该参数集合(或第二参数集合)包括斜率参数和截距参数，例如(a0,b0)(或(a1,b1))。
根据该方法的一个实施例，该函数可以是平方差的总和与绝对差的总和中的一个，该平方差和绝对差是由该参数集合变换的第一运动补偿参考块的样本集合中的样本和第二运动补偿参考块的样本集合中的对应样本之间的差。等式4适用于该实施例。可以对样本集合(ref-0和对应的样本集合ref-1)中的所有样本或者参考块(ref-0和对应的ref-1)中的所有样本执行求和。
根据该方法的一个实施例，该函数可以是平方差的总和与绝对差的总和中的一个，该平方差和绝对差是由该参数集合变换的第一运动补偿参考块的样本集合中的样本和由第二参数集合变换的第二运动补偿参考块的样本集合中的对应样本之间的差。第二参数集合可以是例如(a1,b1)。等式13适用于该实施例。可以对样本集合中的所有样本或参考块(ref-0，ref-1)中的所有样本执行求和。
根据该方法的一个实施例，该样本集合中的样本可以通过对应参数集合的线性函数来变换。等式4或13适用于该实施例。
根据该方法的一个实施例，第三参数集合可以最小化该函数，并且该参数集合是基于图片和与第一运动补偿参考块相关联的第一参考图片之间的相对时间距离从第三参数集合确定的。等式4适用于该实施例。第三参数集合是(a′,b′)。在等式9中定义的相对时间距离α。在一个实施例中，该
根据该方法的一个实施例，第三参数集合可以最小化该函数，并且第二参数集合是基于图片和与第一运动补偿参考块相关联的第一参考图片之间的相对时间距离从第三参数集合中确定的。等式4适用于该实施例。第三参数集合是(a′,b′)。在等式9中定义的相对时间距离α。
根据该方法的一个实施例，根据第三参数集合的确定可以进一步基于由该参数集合变换的第一运动补偿参考块中的样本和由第二参数集合变换的第二运动补偿参考块中的样本之间的相等性。该相等性适用于样本集中的每个样本。等式5适用于该实施例。
根据该方法的一个实施例，该参数集合和第二参数集合可以最小化该函数。等式13适用于该实施例。
根据该方法的一个实施例，该参数集合和第二参数集合的函数的值可以小于该函数的平均值。
根据该方法的一个实施例，可以基于块的大小来启用IC。
根据该方法的一个实施例，可以基于图片、第一参考图片和第二参考图片的图片顺序计数来启用IC。上述d至h项适用于该实施例。
在一个实施例中，可以基于成本函数在根据本公开的任何先前实施例(ICblocks)和现有技术(ICL-shapes)之间进行选择。成本函数在项目a至c中标识。IC参数是为ICblocks和ICL-shapes确定的。选择最小化成本函数的IC参数，无论是ICblocks还是ICL-shapes。上述a至b项适用于该实施例。
根据该方法的一个实施例，至少一个标志可以被包括(并且可选地被编码)在编码视频中(作为语法元素)，该至少一个标志指示照明补偿是否将被应用于块、图片的条带、图片和视频中的至少一个。
根据该方法的一个实施例，可以在解码器处检索至少一个标志，该标志指示照明补偿是否将被应用于块、图片的条带、图片和视频中的至少一个。
根据该方法的一个实施例，该参数集合和第二参数集合中的至少一个可以被包括(并且可选地被编码)在编码视频中作为语法元素。
根据该方法的一个实施例，该参数集合和第二参数集合中的至少一个可以在视频解码器处通过从编码视频中检索该参数集合和第二参数集合中的至少一个来确定。
根据一个实施例，该方法可以进一步包括接收编码图像，对块进行熵解码，对块进行逆变换以获得解码残差，将解码残差与预测样本块进行组合以获得解码/重建图像块。变换系数可以在逆变换之前被进一步逆量化。熵解码、逆变换和逆量化的步骤可以分别由例如解码器900的模块930、950和940来执行。接收、熵解码、逆变换和逆量化以及组合的步骤可以是可选的、跳过的或移除的，因为它们可能已经由另一设备预先执行和/或提供给另一设备，或者结果可能已经从存储器中检索和/或存储在存储器中。
应当理解，上述方法1600的任何实施例都可以由解码器900或1000实现。解码器900或1000的模块可以由硬件(例如，集成电路)或软件实现，存储在存储器中并由处理器执行。
图17示出了示例性系统的框图1700，其中可以实现本公开的示例性实施例的各个方面。系统1700可以被实现为包括下面描述的各种组件的设备，并且被配置为执行上面描述的过程。这种设备的例子包括但不限于个人计算机、膝上型计算机、智能手机、智能手表、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1700可以通信地耦合到其他类似的系统，并且经由如图17所示的通信信道耦合到显示器，并且如本领域技术人员所知，以实现上述示例性视频系统。系统1700可以独立地或联合地实现编码器700或800、解码器900或1000或编码器和解码器。此外，系统1700可以独立地或联合地实现并配置成执行本公开的任何过程，包括方法1100、1200、1300、1400、1500和/或1600。
系统1700可以包括至少一个处理器1710，处理器1710被配置成执行加载在其中的指令，用于实现如上所述的各种过程。处理器1710可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1700还可以包括至少一个存储器1720(例如，诸如随机存取存储器的易失性存储器设备、诸如只读存储器的非易失性存储器设备)。系统1700可以另外包括存储设备1740，存储设备1740可以包括非易失性存储器，包括但不限于可擦除可编程只读存储器、只读存储器、可编程只读存储器、动态随机存取存储器、静态随机存取存储器、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1740可以包括内部存储设备、附加存储设备和/或网络可访问存储设备。系统1700还可以包括编码器/解码器模块1730，其被配置为处理数据以提供编码视频或解码视频。
编码器/解码器模块1730代表可以包括在设备中以执行编码和/或解码功能的模块，例如分别根据图7(或8)和9(或10)。如压缩领域中已知的，设备可以包括编码和解码模块中的一个或两个。此外，编码器/解码器模块1730可以被实现为系统1700的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合被结合在处理器1710内。例如，编码器/解码器模块1730可以被实现为一个或两个单独的集成电路和/或现场可编程门阵列(FPGA)。
要加载到处理器1710上以执行上文描述的各种过程的程序代码可以存储在存储设备1740中，并且随后加载到存储器1720上以由处理器1710执行。根据本公开的示例性实施例，处理器1710、存储器1720、存储设备1740和编码器/解码器模块1730中的一个或多个可以在执行上文讨论的过程期间存储各种项目中的一个或多个，包括但不限于输入视频、解码视频、比特流、等式、公式、矩阵、变量、操作和操作逻辑。
系统1700还可以包括通信接口1750，其能够经由通信信道1760与其他设备通信。通信接口1750可以包括但不限于被配置成从通信信道1760发送和接收数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质中实现。系统1700的各种组件可以使用各种合适的连接来连接或通信耦合在一起，包括但不限于内部总线、电线和印刷电路板。
根据本公开的示例性实施例可以由处理器1710执行的计算机软件或者由硬件或者由硬件和软件的组合来执行。作为非限制性示例，根据本公开的示例性实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1720可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，例如光学存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移动存储器。作为非限制性示例，处理器1710可以是适合于技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
这里描述的实现可以以例如方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一实现形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式实现(例如，装置或程序)。装置可以用例如适当的硬件、软件和固件来实现。例如，这些方法可以在装置中实现，例如处理器，其通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(PDAs)、以及促进终端用户之间的信息通信的其他设备。
根据本公开的一个方面，提供了一种用于视频编码的装置1700，该装置包括处理器1710和耦合到该处理器的至少一个存储器1720、1740，该处理器1710被配置成执行上述视频编码方法1500的任何实施例。
根据本公开的一个方面，提供了一种用于视频解码的装置1700，该装置包括处理器1710和耦合到处理器的至少一个存储器1720、1740，处理器1710被配置成执行上述视频解码方法1600的任何实施例。
根据本公开的一个方面，提供了一种用于视频编码的装置，包括用于基于视频图片中的块的第一参考块的样本集合和该块的第二参考块的样本集合的函数来确定与视频图片中的块的第一参考块相关联的照明补偿的参数集合的设备，用于基于该参数集合来处理该块的预测的设备，该预测与第一参考块相关联，以及用于基于处理后的预测来编码该块的设备。图7、8和17的视频编码器可以包括装置的结构或设备，特别是块770、775、870、875、1710和1730。用于视频编码的装置可以执行视频编码的方法1100、1200、1300、1400和/或1500中的任何一个的任何实施例。
根据本公开的一个方面，提供了一种用于视频解码的装置，包括用于基于编码视频的图片中的块的第一参考块的样本集合和该块的第二参考块的样本集合的函数来确定与编码视频的图片中的块的第一参考块相关联的照明补偿的参数集合的设备，用于基于该参数集合来处理该块的预测的设备，该预测与第一参考块相关联，以及用于基于处理后的预测来解码该块的设备。图9、10和17可以包括用于视频解码的装置的结构或设备，特别是块970、1070、1710和1730。用于视频解码的装置可以执行视频解码的方法1100、1200、1300、1400和/或1600中的任何一个的任何实施例。
对于本领域技术人员来说显而易见的是，实现可以产生各种格式化的信号，以承载例如可以被存储或传输的信息。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括，例如，编码数据流和用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。该信号可以存储在处理器可读介质上。
根据本公开的一个方面，信号包括被格式化为包括代表图片的块的编码数据的比特流，该编码数据根据视频编码的方法1100、1200、1300、1400和/或1500中任一个的实施例被编码。
根据本公开的一个方面，比特流被格式化为包括代表图片的块的编码数据，该编码数据根据视频编码的方法1100、1200、1300、1400和/或1500中的任一个的实施例被编码。
此外，方法1100、1200、1300、1400、1500和/或1600中的任何一个可以被实现为包括可以由处理器执行的计算机可执行指令的计算机程序产品(独立地或联合地)。具有计算机可执行指令的计算机程序产品可以存储在系统1700、编码器700(或800)和/或解码器900(或1000)的相应暂时或非暂时计算机可读存储介质中。
根据本公开的一个方面，提供了一种包括程序代码指令的计算机程序产品，该程序代码指令用于执行本公开的方法1100、1200、1300、1400、1500和/或1600(独立地或联合地)中的任何一个的任何实施例。
重要的是要注意，在一些实施例中，过程1100、1200、1300、1400、1500和/或1600中的一个或多个元素可以被组合、以不同的顺序执行或排除，同时仍然实现本公开的方面。其他步骤可以并行执行，其中处理器在开始另一个步骤之前不等待一个步骤的完全完成。
此外，本公开的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。计算机可读存储介质可以采取包含在一个或多个计算机可读介质中的计算机可读程序产品的形式，并且具有包含在其上的可由计算机执行的计算机可读程序代码。这里使用的计算机可读存储介质被认为是非暂时性存储介质，其具有在其中存储信息的固有能力以及从其中提供信息检索的固有能力。计算机可读存储介质可以是，例如，但不限于，电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备，或前述的任何合适的组合。
应当理解，下面的列表虽然提供了可以应用本公开的计算机可读存储介质的更具体的示例，但是仅仅是说明性的而非穷举性的列表，如本领域普通技术人员容易理解的。示例的列表包括便携式计算机磁盘、硬盘、只读存储器、可编程只读存储器、闪存、便携式光盘只读存储器(光盘只读存储器)、光存储设备、磁存储设备或前述的任何合适的组合。
根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，该软件程序包括用于执行本公开的任何方法的任何实施例的程序代码指令，包括方法1100、1200、1300、1400、1500和/或1600。
应当理解，对本公开的“一个实施例”或“实施例”或“一个实施例”或“实施例”及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在本公开的至少一个实施例中。因此，出现在说明书各处的短语“在一个实施例中”或“在一个实施例中”或“在一个实施例中”或“在一个实施例中”以及任何其他变化不一定都指同一实施例。
另外，本公开或其权利要求可以指“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器中检索信息中的一个或多个。
此外，本公开或其权利要求可以指“提供”各种信息。提供信息可以包括例如输出信息、存储信息、发送信息、发送信息、显示信息、显示信息或移动信息中的一个或多个。
此外，本公开或其权利要求可以指“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如从存储器)、存储信息、处理信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
此外，本公开或其权利要求可以指“接收”各种信息。与“访问”一样，接收是一个广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一个或多个。此外，“接收”通常以这样或那样的方式在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间涉及。
应当理解，所示出和描述的各种特征是可互换的。除非另有说明，一个实施例中示出的特征可以结合到另一个实施例中。此外，各种实施例中描述的特征可以组合或分离，除非另外指出为不可分离或不可组合。
如前所述，图中所示的各种元件的功能可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。此外，当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以被共享。
还应当理解，因为附图中描绘的一些组成系统组件和方法优选地以软件实现，所以系统组件或过程功能块之间的实际连接可以根据本公开的过程被编程的方式而不同。给定这里的教导，相关领域的普通技术人员将能够设想本公开的这些和类似的实现或配置。
尽管这里已经参考附图描述了说明性实施例，但是应当理解，本公开不限于那些精确的实施例，并且相关领域的普通技术人员可以在不脱离本公开的范围的情况下在其中实现各种改变和修改。此外，在不脱离本公开的范围的情况下，可以组合各个实施例。所有这些变化和修改都旨在包括在如所附权利要求中阐述的本公开的范围内。

Claims (15)

1.一种视频编码的方法(1500)，包括:
基于视频图片中的块的第一运动补偿参考块的样本集合和所述块的第二运动补偿参考块的样本集合的函数，确定(1510)与所述视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合；
基于所述参数集合处理(1520)所述块的预测，所述预测与所述第一运动补偿参考块相关联；和
基于处理后的预测对所述块进行编码(1530)。
2.一种用于视频编码的装置，包括:
用于基于视频图片中的块的第一运动补偿参考块的样本集合和所述块的第二运动补偿参考块的样本集合的函数，确定与所述视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合的设备；
用于基于所述参数集合处理所述块的预测的设备，所述预测与所述第一运动补偿参考块相关联；和
用于基于处理后的预测对所述块进行编码的设备。
3.一种视频解码的方法(1600)，包括:
基于编码视频图片中的块的第一运动补偿参考块的样本集合和所述块的第二运动补偿参考块的样本集合的函数，确定(1610)与所述编码视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合；
基于所述参数集合处理(1620)所述块的预测，所述预测与所述第一运动补偿参考块相关联；和
基于处理后的预测解码(1630)所述块。
4.一种用于视频解码的装置，包括:
用于基于编码视频图片中的块的第一运动补偿参考块的样本集合和所述块的第二运动补偿参考块的样本集合的函数，确定与所述编码视频图片中的块的第一运动补偿参考块相关联的照明补偿的参数集合的设备；
用于基于所述参数集合处理所述块的预测的设备，所述预测与所述第一运动补偿参考块相关联；和
用于基于处理后的预测解码所述块的设备。
5.根据权利要求1或3的方法，或根据权利要求2或4所述的装置，其中所述函数是平方差的总和与绝对差的总和之一，所述平方差和所述绝对差是由所述参数集合变换的所述第一运动补偿参考块的样本集合中的样本和所述第二运动补偿参考块的样本集合中的对应样本之间的差。
6.根据权利要求1或3的方法，或根据权利要求2或4所述的装置，其中所述函数是平方差的总和与绝对差的总和之一，所述平方差和所述绝对差是由所述参数集合变换的所述第一运动补偿参考块的样本集合中的样本和由第二参数集合变换的所述第二运动补偿参考块的样本集合中的对应样本之间的差。
7.根据权利要求6的方法或根据权利要求6所述的装置，其中基于所述函数确定，并且根据所述第二参数集合处理所述块的第二预测，所述第二预测与所述第二运动补偿参考块相关联。
8.根据权利要求1和5-7中任一项所述的方法或根据权利要求3和5-7中任一项所述的装置，其中进一步基于所述处理后的第二预测对所述块进行解码。
9.根据权利要求2和5-7中任一项的方法或根据权利要求4和5-7中任一项的装置，其中进一步基于处理后的第二预测对块进行解码。
10.根据权利要求5和7中任一项所述的方法或根据权利要求5和7中任一项所述的装置，其中第三参数集合最小化所述函数，并且所述参数集合是基于所述图片和与所述第一运动补偿参考块相关联的第一参考图片之间的相对时间距离从所述第三参数集合确定的。
11.根据权利要求6-7中任一项的方法或根据权利要求6-7中任一项所述的装置，其中所述参数集合和所述第二参数集合最小化所述函数。
12.根据前述权利要求中任一项的方法或根据前述权利要求中任一项所述的装置，其中至少一个标志被包括在编码视频中，所述至少一个标志指示照明补偿是否将被应用于所述块、所述图片的条带、所述图片和所述视频中的至少一个。
13.一种计算机程序产品，包括用于执行根据权利要求1、3和5-12中任一项所述的方法的程序代码指令。
14.一种携带软件程序的计算机可读存储介质，该软件程序包括用于根据权利要求1、3和5-12中任一项所述的方法的程序代码指令。
15.一种比特流，其被格式化为包括代表图片的块的编码数据，该编码数据根据权利要求1和5-12中的任一项被编码。
CN201880065223.2A 2017-10-05 2018-09-28 基于照明补偿的视频编码和解码的方法和装置 Active CN111194554B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306334.8 2017-10-05
EP17306334.8A EP3468198A1 (en) 2017-10-05 2017-10-05 Method and apparatus for video encoding and decoding based on illumination compensation
PCT/US2018/053464 WO2019070531A1 (en) 2017-10-05 2018-09-28 METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING BASED ON LIGHTING COMPENSATION

Publications (2)

Publication Number Publication Date
CN111194554A true CN111194554A (zh) 2020-05-22
CN111194554B CN111194554B (zh) 2024-04-23

Family

ID=60119971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065223.2A Active CN111194554B (zh) 2017-10-05 2018-09-28 基于照明补偿的视频编码和解码的方法和装置

Country Status (5)

Country Link
US (1) US11949910B2 (zh)
EP (2) EP3468198A1 (zh)
KR (1) KR102441310B1 (zh)
CN (1) CN111194554B (zh)
WO (1) WO2019070531A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174469A1 (zh) * 2021-02-22 2022-08-25 Oppo广东移动通信有限公司 一种光照补偿方法、编码器、解码器及存储介质
CN117252787A (zh) * 2023-11-17 2023-12-19 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11290743B2 (en) * 2018-12-08 2022-03-29 Qualcomm Incorporated Interaction of illumination compensation with inter-prediction
US11206396B2 (en) * 2019-01-16 2021-12-21 Qualcomm Incorporated Local illumination compensation in video coding
EP3734972A1 (en) * 2019-05-03 2020-11-04 InterDigital VC Holdings, Inc. High level syntax simplified video coding tool set for small blocks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325715A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 亮度补偿方法和装置及编码和解码图像的方法和装置
US20090279608A1 (en) * 2006-03-30 2009-11-12 Lg Electronics Inc. Method and Apparatus for Decoding/Encoding a Video Signal
WO2011129067A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 動き補償方法、画像復号方法、画像符号化方法、動き補償装置、プログラム、及び集積回路
WO2014163454A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN106031175A (zh) * 2013-12-20 2016-10-12 三星电子株式会社 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CA2986613A1 (en) * 2015-05-21 2016-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2016200777A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US20160366416A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934677B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8934548B2 (en) 2009-05-29 2015-01-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
KR102379874B1 (ko) * 2016-05-13 2022-03-30 브이아이디 스케일, 인크. 비디오 코딩을 위한 일반화된 다중-가설 예측 시스템 및 방법
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279608A1 (en) * 2006-03-30 2009-11-12 Lg Electronics Inc. Method and Apparatus for Decoding/Encoding a Video Signal
CN101325715A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 亮度补偿方法和装置及编码和解码图像的方法和装置
WO2011129067A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 動き補償方法、画像復号方法、画像符号化方法、動き補償装置、プログラム、及び集積回路
WO2014163454A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN106031175A (zh) * 2013-12-20 2016-10-12 三星电子株式会社 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CA2986613A1 (en) * 2015-05-21 2016-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2016200777A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US20160366416A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174469A1 (zh) * 2021-02-22 2022-08-25 Oppo广东移动通信有限公司 一种光照补偿方法、编码器、解码器及存储介质
CN117252787A (zh) * 2023-11-17 2023-12-19 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质
CN117252787B (zh) * 2023-11-17 2024-02-02 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111194554B (zh) 2024-04-23
US11949910B2 (en) 2024-04-02
EP3468198A1 (en) 2019-04-10
KR102441310B1 (ko) 2022-09-08
WO2019070531A1 (en) 2019-04-11
US20200244990A1 (en) 2020-07-30
EP3692720A1 (en) 2020-08-12
KR20200055127A (ko) 2020-05-20

Similar Documents

Publication Publication Date Title
AU2019343426B2 (en) Inter prediction method and apparatus
US11711512B2 (en) Method and apparatus for video encoding and decoding using pattern-based block filtering
US9762904B2 (en) Performing motion vector prediction for video coding
CN108848387B (zh) 推导参考预测模式值的方法
CN111194554B (zh) 基于照明补偿的视频编码和解码的方法和装置
US20190200044A1 (en) Method and apparatus for video coding with adaptive clipping
JP7463399B2 (ja) ビデオコーディングのための勾配ベースの予測改良
IL229718A (en) Unified merge mode and status select mode Adjustable motion vector prediction
WO2021049126A1 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
CN112352429A (zh) 利用分组的旁路剩余级别进行系数编码以用于依赖量化
US11689724B2 (en) Systems and methods for reference offset signaling in video coding
CN112789858A (zh) 帧内预测方法及设备
US20230136121A1 (en) Method and apparatus for video encoding and decoding with partially shared luma and chroma coding trees
KR20210113384A (ko) 광학 흐름 정제를 위한 조기 종료
CN114631311A (zh) 将同质语法与编码工具一起使用的方法和装置
CN112673636A (zh) 将运动向量四舍五入以自适应运动向量差分辨率及提高视频译码中的运动向量存储精度
EP3854077A1 (en) Local illumination compensation for video encoding and decoding using stored parameters
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
US9479788B2 (en) Systems and methods for low complexity encoding and background detection
WO2020041306A1 (en) Intra prediction method and device
US20220272362A1 (en) Systems and methods for applying deblocking filters to reconstructed video data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant