CN112703732A - 使用存储的参数对视频编码和解码进行局部照明补偿 - Google Patents

使用存储的参数对视频编码和解码进行局部照明补偿 Download PDF

Info

Publication number
CN112703732A
CN112703732A CN201980060982.4A CN201980060982A CN112703732A CN 112703732 A CN112703732 A CN 112703732A CN 201980060982 A CN201980060982 A CN 201980060982A CN 112703732 A CN112703732 A CN 112703732A
Authority
CN
China
Prior art keywords
block
illumination compensation
local illumination
lic
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060982.4A
Other languages
English (en)
Inventor
F·莱纳内克
T·波里尔
陈娅
P·博尔德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112703732A publication Critical patent/CN112703732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于视频编码和解码的局部照明补偿系统使用存储器来存储照明补偿参数，并且不需要访问相邻块的重构像素。照明补偿参数集被存储在专用缓冲区中，该专用缓冲区具有有限的尺寸，并且与信息的译码单元层级存储分离。所述缓冲区包含照明补偿参数集，其可以例如被即时计算(或以某种其他方式确定)或预先确定(例如从视频信号或从设备获得)。

Description

使用存储的参数对视频编码和解码进行局部照明补偿
技术领域
本发明的至少一个实施例一般涉及视频压缩领域。至少一个实施例特别针对局部照明补偿，并且更特别地针对使用所存储的参数集进行局部照明补偿。
背景技术
为了实现高压缩效率，图像和视频译码方案通常采用预测和变换，以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始块与预测块之间的差进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。
发明内容
本发明的一个或多个实施例涉及使用存储的照明补偿(IC)参数并且不需要访问相邻块的重构像素的局部照明补偿(LIC)系统。
根据至少一个实施例的第一方面，一种用于对图片中的块的图片数据进行编码的视频编码方法包括：利用信令信息对图片数据进行编码，所述信令信息至少包括表示使用局部照明补偿函数的信息和要被使用的局部照明补偿参数的索引。
根据至少一个实施例的第二方面，一种用于对图片中的块的图片数据进行编码的视频解码方法包括：获得要被使用的局部照明补偿参数的索引；以及对所述图片数据进行解码，并且当局部照明补偿函数的使用在与所述块相对应的信令信息中被用信号通知时，使用具有根据所述索引获得的局部照明补偿参数的局部照明补偿函数。
根据至少一个实施例的第三方面，一种装置包括编码器，用于针对图片或视频中的至少一个块，对图片数据进行编码，其中所述编码器被配置为利用信令信息对图片数据进行编码，该信令信息至少包括表示使用局部照明补偿函数的信息和要被使用的局部照明补偿参数的索引。
根据至少一个实施例的第四方面，一种装置包括解码器，用于针对图片或视频中的至少一个块，对图片数据进行解码，其中所述解码器被配置为从所述缓冲区获得要被使用的局部照明补偿参数的索引；以及对所述图片数据解码，并且当局部照明补偿的使用在与所述块相对应的信令信息中被用信号发送时，使用具有根据所述索引从缓冲区获得的局部照明补偿参数的局部照明补偿函数。
根据至少一个实施例的第五方面，提出了一种包括可由处理器执行的程序代码指令的计算机程序，该计算机程序实现根据至少第一或第二方面的方法的步骤。
根据至少一个实施例的第八方面，提出了一种计算机程序产品，其存储在非暂时性计算机可读介质上并且包括可由处理器执行的程序代码指令，所述计算机程序产品实现根据至少第一方面或第二方面的方法的步骤。
附图说明
图1示出了视频编码器100(例如高效视频译码(HEVC)编码器)的示例的框图。
图2示出了视频解码器200(例如HEVC解码器)的示例的框图。
图3示出了其中实现了各个方面和实施例的系统的示例的框图。
图4A示出了压缩域中的译码树单元和译码树的示例。
图4B示出了将CTU划分为译码单元、预测单元和变换单元的示例。
图5示出了用于帧间模式中的图片块的重构的样本。
图6示出了当前块和参考块之间的运动矢量。
图7示出了使用两个参考的双向预测的示例。
图8示出了用信号通知CU的译码参数的总体译码过程的示例。
图9示出了CU的总体熵解码过程的示例。
图10示出了在AMVP模式下对与CU相关联的帧间预测信息进行译码的示例。
图11示出了用于对与AMVP译码单元相关联的运动信息进行解码的过程的示例。
图12示出了第一示例性实施例，其中在解码器上重构CU之后计算LIC参数，并且基于CU的右边子部分来计算LIC参数。
图13示出了LIC参数缓冲区的演进，只要当使用图12的实施例时给定CTU内的CU正由解码器处理。
图14示出了第二示例性实施例，其中在解码器上重构CU之后计算LIC参数，并且基于CU的较低的水平子部分来计算LIC参数。
图15示出了LIC参数缓冲区的演进，只要当使用图14的实施例时给定CTU内的CU正由解码器处理。
图16示出了从CTU切换到下一CTU的典型示例。
图17示出了第三示例性实施例，其中在解码器上重构CU之后计算LIC参数，并且，在CU右侧的垂直部分之上以及然后在CU的水平的较下部分之上计算LIC参数。
图18示出了包含在两个缓冲区中的LIC参数的演进，只要当使用第三实施例时给定CTU内的CU正由解码器处理缓冲区。
图19示出了如第一实施例中所提出的LIC参数存储器存储的示例
图20示出了根据本发明第一实施例的编码单元解码程序的示意图。
图21A示出了用于根据所提出的第一实施例对AMVP模式下译码的CU的帧间预测参数进行解码的实例过程。
图21B示出了用于在存储在专用存储器缓冲区中的LIC参数中确定哪些LIC参数用于当前CU的示例性实施例。
图22示出了旨在加速编码和解码过程的第五示例性实施例。
图23示出了其中预取的映射指示是否必须计算LIC参数的示例性变型实施例。
图24示出了在CTU中使用预取的LIC参数的条件计算。
图25示出了根据第六实施例的帧间CU解码处理。
图26示出了根据第六实施例的帧间预测参数解码处理的示意图。
图27示出了针对帧间切片中的CU的速率失真优化译码模式选择的示例性实施例。
图28描述了用于根据本申请的至少一个实施例的LIC参数确定的流程图。
图29描述了用于根据本申请的至少一个实施例的LIC参数的使用的流程图。
具体实施方式
各种实施例涉及使用存储器来存储照明补偿(IC)参数并且不需要访问相邻块的重构像素的LIC系统。在至少一个实施例中，将LIC参数集合存储在专用缓冲区中，该专用缓冲区具有有限尺寸并且与信息的译码单元层级存储解耦。缓冲区包含LIC参数集，其可以例如由解码器(以及编码器)即时计算(或以某种其它方式确定)或预先确定(例如从视频信号或从诸如编码器的设备获得)。
关于译码单元(CU)的译码语法，标志指示对于可以应用LIC的译码单元使用照明补偿函数。另外，根据至少一个实施例，用信号通知LIC参数索引，以指示来自所考虑的缓冲区或LIC参数集的哪些LIC参数用于当前CU。在即时计算的LIC参数的情况下，至少一个实施例的LIC参数集包括与一个或多个先前译码的CU的右边缘部分相关联的LIC参数。根据一个或多个译码/解码的CU的垂直右边子部分，以某种其它方式计算或确定这些参数。该参数集在有限的空间高度上收集LIC参数，该空间高度通常等于译码树单元(CTU)的高度。在另一实施例中，附加缓冲区也可存储与当前CTU内的译码/解码的CU的水平的下边的部分相关联的LIC参数。有利地，与前一个实施例结合的该实施例可以以有限的存储器负载增加为代价来增加译码效率。即时的LIC参数计算的另一形式可在于计算正被译码/解码的当前CU中的照明变化，且将所得LIC参数存储在先入先出(FIFO)缓冲区中。该缓冲区用作所考虑的切片中的一个或多个后续CU的LIC参数集。在至少一个使用这种形式的用于CU中LIC的即时的LIC参数计算机的实施例中，在比特流中用信号通知指示FIFO中使用的LIC参数的索引。另外，该FIFO概念通常伴随有用于更新/维护包含在FIFO中的LIC参数的策略，这在本文档中稍后详细描述。另一个实施例使用预先确定的LIC参数集合。预先确定的LIC参数可以在使用应用程序之前定义并且可以不改变。预先确定的LIC参数也可以是可调整的，使得它们可以被改变，并且因此可以在它们使用之前获得并且在它们使用期间更新。在至少一个实施例中，对于其中LIC的使用被表示为真的至少一个CU，索引用信号通知预先确定的将在时间预测期间使用的LIC参数。
此外，尽管描述了与VVC(通用视频译码)或HEVC(高效视频译码)规范的特定草案相关的原理，但是本发明的方面不限于VVC或HEVC，并且可以应用于例如其他标准和建议(无论是预先存在的还是未来开发的)以及任何这种标准和建议(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。
图1示出了视频编码器100(例如HEVC编码器)的示例的框图。图1还可说明其中对HEVC标准作出改进的编码器或采用类似于HEVC的技术的编码器，例如JVET(联合视频探索团队)正在开发的用于VVC的JEM(联合探索模型)编码器。
在被编码之前，视频序列可以经过预编码处理(101)。这例如通过对输入彩色图片应用颜色变换(例如从RGB 4:4:4到YCbCr 4:2:0的转换)或者执行输入图片分量的重新映射，以便得到对压缩更有弹性(resilient)的信号分布(例如使用颜色分量之一的直方图均衡)来执行。元数据可以与预处理相关联并且被附加到比特流。
在HEVC中，为了用一个或多个图片编码视频序列，图片被分割(102)成一个或多个切片，其中每个切片可以包括一个或多个切片片段。片段被组织成译码单元、预测单元和变换单元。HEVC规范在“块”与“单元”之间进行区分，其中“块”寻址样本阵列中的特定区域(例如，亮度Y)，且“单元”包含所有经编码色彩分量(Y、Cb、Cr或单色)的并置块、语法元素及与所述块相关联的预测数据(例如，运动矢量)。
为了在HEVC中进行译码，图片被划分为具有可配置尺寸的正方形形状的译码树块(CTB)，并且译码树块的连续集合被分组到切片。译码树单元(CTU)包含编码的颜色分量的CTB。CTB是四叉树分割成译码块(CB)的根，且译码块可分割成一个或多个预测块(PB)且形成四叉树分割成变换块(TB)的根。对应于译码块、预测块和变换块，译码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构集合，PU包括针对所有颜色分量的预测信息，并且TU包括针对每个颜色分量的残差译码语法结构。亮度分量的CB、PB和TB的尺寸适用于相应的CU、PU和TU。在本申请中，术语“块”可以用于表示例如CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”也可以用于指代如H.264/AVC或其他视频译码标准中指定的宏块和分区，并且更一般地指代各种尺寸的数据阵列。
在编码器100的示例中，如下所述，由编码器元件对图片进行编码。以CU为单位处理要编码的图片。每一CU使用帧内或帧间模式被编码。当CU以帧内模式被编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来编码CU，并且通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。
帧内模式中的CU从同一切片内的经重构的相邻样本被预测。35个帧内预测模式的集合在HEVC中是可用的，包含DC、平面和33个角度预测模式。从与当前块相邻的行和列重构帧内预测参考。使用来自先前重构的块的可用样本，参考在水平和垂直方向上扩展两倍的块尺寸。当角度预测模式用于帧内预测时，可以沿着由角度预测模式指示的方向复制参考样本。
可使用不同选项来译码用于当前块的适用亮度帧内预测模式。如果适用模式包含于六个最可能模式(MPM)的构造列表中，那么通过MPM列表中的索引用信号通知所述模式。否则，通过模式索引的固定长度的二进制化来用信号通知模式。从顶部和左侧相邻块的帧内预测模式导出六个最可能模式。
对于帧间CU，可以各种方法(例如，“合并模式”和“高级运动矢量预测(AMVP)”)用信号通知运动信息(例如，运动矢量和参考图片索引)。
在合并模式中，视频编码器或解码器基于已译码的块而汇编候选列表，且视频编码器用信号通知候选列表中的候选中的一者的索引。在解码器侧，基于用信号通知的候选来重构运动矢量(MV)和参考图片索引。
在AMVP中，视频编码器或解码器基于从已译码的块确定的运动矢量来汇编候选列表。视频编码器接着用信号通知候选列表中的索引，以标识运动矢量预测器(MVP)且用信号通知运动矢量差(MVD)。在解码器侧，运动矢量(MV)被重构为MVP+MVD。适用的参考图片索引也在用于AMVP的CU语法中明确地被译码。
然后，对预测残差进行变换(125)和量化(130)，包括用于适配色度量化参数的至少一个实施例，如下所述。变换通常基于可分离的变换。例如，首先在水平方向上应用DCT变换，然后在垂直方向上应用DCT变换。在例如JEM等最近的编解码器中，在两个方向上使用的变换可不同(例如，一个方向上使用DCT、另一方向上使用DST)，此导致各种各样的2D变换，而在先前的编解码器中，针对给定块尺寸的2D变换的种类通常是有限的。
对量化的变换系数以及运动矢量和其它语法元素进行熵译码(145)以输出比特流。编码器也可跳过变换，并在4x4 TU的基础上直接对未变换的残余信号应用量化。编码器还可以绕过变换和量化，即，直接对残差进行译码而不应用变换或量化处理。在直接PCM译码中，不应用预测，并且译码单元样本被直接译码到比特流中。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构的图片，例如，执行解块/SAO(采样自适应偏移)滤波以减少编码伪像。将滤波图像存储在参考图片缓冲区(180)中。
图2示出了视频解码器200(例如HEVC解码器等)的实例的框图。在解码器200的示例中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与图1中所描述的编码回合互逆的解码回合，其执行视频解码作为编码视频数据的部分。图2也示出了其中对HEVC标准作出改进的解码器或采用类似于HEVC的技术的解码器，例如JEM解码器。
特别地，解码器的输入包含视频比特流，其可由视频编码器100产生。比特流首先被熵解码(230)以获得变换系数、运动矢量、图片分割信息和其它译码信息。图片分割信息指示CTU的尺寸，以及CTU被分成CU且在适用时可能被分成PU的方式。解码器因此可以根据解码的图片分割信息将图片划分(235)为CTU，并且将每个CTU划分(CU)为CU。变换系数被去量化(240)，包括至少一个实施例，用于适配下面描述的色度量化参数，并且被逆变换(250)以解码预测残差。
将解码的预测残差与预测块进行组合(255)，重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。如上文所描述，AMVP和合并模式技术可用于导出用于运动补偿的运动矢量，其可使用内插滤波器来计算参考块的子整数样本的内插值。环内滤波器(265)被应用于重构的图像。将经滤波的图像存储在参考图片缓冲区(280)中。
解码后的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr 4：2∶0到RGB 4∶4∶4的转换)或执行在预编码处理(101)中执行的重新映射处理的逆重新映射。后解码处理可使用在预编码处理中导出且在比特流中用信号表示的元数据。
图3示出了其中实现了各个方面和实施例的系统的示例的框图。系统300可被实现为包括以下描述的各种组件的设备，并被配置成执行本申请中描述的各方面中的一个或多个。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、编码器、代码转换器和服务器。系统300的元件可以单独地或组合地在单个集成电路、多个集成电路和/或分立组件中实现。例如，在至少一个实施例中，系统300的处理和编码器/解码器元件跨多个集成电路和/或分立组件分布。在各种实施例中，系统300的元件通过内部总线310通信地耦合。在各种实施例中，系统300经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其它类似系统或其它电子设备。在各种实施例中，系统300经配置以实施本文献中所描述的方面中的一者或多者，例如上文所描述且如下文所描述而修改的视频编码器100和视频解码器200。
系统300包括至少一个处理器301，其被配置为执行加载到其中的指令，以用于实现例如本文中描述的各个方面。处理器301可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统300包括至少一个存储器302(例如，易失性存储器设备和/或非易失性存储器设备)。系统300包括存储设备304，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备304可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
系统300包括编码器/解码器模块303，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块303可以包括其自己的处理器和存储器。编码器/解码器模块303表示可以包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块303可以被实现为系统300的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合而被并入处理器301内。
要加载到处理器301或编码器/解码器303上以执行本文档中描述的各个方面的程序代码可以存储在存储设备304中，并且随后加载到存储器302上以供处理器301执行。根据各种实施例，处理器301、存储器302、存储设备304和编码器/解码器模块303中的一个或多个可以在执行本文中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在若干实施例中，处理器301和/或编码器/解码器模块303内部的存储器用于存储指令，且用于提供针对在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是处理器301或编码器/解码器模块303)被用于这些功能中的一个或多个。外部存储器可以是存储器302和/或存储设备304，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作用于诸如MPEG-2、HEVC或VVC的视频译码和解码操作的工作存储器。
可以通过如框309所示的各种输入设备提供对系统300的元件的输入。这样的输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的RF部分，(ii)复合输入终端，(iii)USB输入终端，和/或(iv)HDMI输入终端。
在各种实施例中，框309的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与用于实现以下必要功能的元件相关联：(i)选择期望的频率(也称为选择信号，或者将信号频带限制到频带)，(ii)下变频所选择的信号，(iii)再次频带限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用，以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统300连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如里德-所罗门(Reed-Solomon)纠错，可以根据需要在例如单独的输入处理集成电路内或处理器301内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口集成电路内或在处理器301内实现。将解调、纠错和解复用的流提供给各种处理元件(包括例如处理器301和编码器/解码器303)，其与存储器和存储元件结合操作以便根据需要处理数据流以便呈现在输出设备上。
系统300的各种元件可以设置在集成壳体内。在集成壳体内，各种元件可以使用合适的连接布置(例如本领域已知的包括I2C总线、布线和印刷电路板的内部总线)互连并在其间传输数据。
系统300包括通信接口305，其使得能够经由通信信道320与其它设备通信。通信接口305可以包括但不限于被配置为通过通信信道320发送和接收数据的收发器。通信接口305可以包括但不限于调制解调器或网卡，并且通信信道320可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11的Wi-Fi网络将数据流式传输到系统300。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道320和通信接口305接收。这些实施例的通信信道320通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它过顶(over-the-top)通信。其它实施例使用机顶盒向系统300提供流数据，该机顶盒通过输入块309的HDMI连接传送数据。还有一些实施例使用输入块309的RF连接向系统300提供流数据。
系统300可以向各种输出设备提供输出信号，所述输出设备包括显示器330、扬声器340和其他外围设备350。在实施例的各种示例中，其他外围设备350包括独立DVR、盘播放器、立体声系统、照明系统和基于系统300的输出提供功能的其他设备中的一个或多个。在各种实施例中，使用诸如AV.链路、CEC或其他通信协议的信令在系统300和显示器330、扬声器340或其它外围设备350之间传送控制信号，其使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可以经由通过相应接口306、307和308的专用连接通信地耦合到系统300。或者，输出设备可以使用通信信道320经由通信接口305连接到系统300。显示器330和扬声器340可以与系统300的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口306包括显示驱动器(例如定时控制器(T Con)芯片)。
例如，如果输入309的RF部分是单独机顶盒的一部分，则显示器330和扬声器340可以备选地与其它组件中的一个或多个分离。在显示器330和扬声器340是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。这里描述的实现方式可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。实施例可以由处理器301或硬件、或硬件和软件的组合实现的计算机软件来执行。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器302可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移除存储器。处理器301可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
图4A和4B示出了用于表示图像的各种结构的示例。在HEVC视频压缩标准中，采用运动补偿时间预测来利用存在于视频的连续图片之间的冗余。为此，将运动矢量与我们现在介绍的每个预测单元(PU)相关联。每个译码树单元(CTU)由压缩域中的译码树表示。这是图4A所示的CTU的四叉树划分，其中每个叶被称为译码单元(CU)。然后，每个CU被给予一些帧内或帧间预测参数(预测信息)。为此，将每个CU在空间上分割成一个或多个预测单元(PU)，每个PU被分配一些预测信息。如图4B所示，在CU层级上分配帧内或帧间译码模式。确切地，一个运动矢量被分配给HEVC中的每个PU。该运动矢量用于所考虑的PU的运动补偿时间预测。因此，将预测块与其参考块链接的运动模型简单地在于平移。
图5示出了用于帧间模式中的图片块的重构的样本。在帧间模式中，局部照明补偿(LIC)允许通过考虑空间或时间局部照明变化来校正经由运动补偿(MC)获得的块预测样本。局部照明补偿(LIC)是基于使用缩放因子a和偏移b的照明变化的一阶线性模型的。通过将位于邻域V当前(Vcur)中的围绕当前块(“当前blk”)的重构样本集合与位于参考图片中的参考块(“ref blk”)的邻域V参考(Vref)(MV)中的重构样本集合进行比较来估计LIC参数(a和b)。
图6示出了当前块和参考块之间的运动矢量。通常，V当前和V参考(MV)分别存在于位于当前块和参考块周围(在顶部、左侧和左上侧)的L形状中的样本中。
选择LIC参数以便最小化V当前中的采样和V参考(MV)中的校正采样之间的均方误差差异。通常，LIC模型是线性的：LIC(x)＝a.x+b。
Figure BDA0002980884060000151
其中s和r分别对应于V当前和V参考(MV)中的像素位置。
在下文中，像素位置由集合(例如，s或r)或对应的坐标(例如，(x，y)或(i，j))表示。
图7示出了使用两个参考的双向预测的示例。在双向预测的情况下，分别独立于V参考0(MV0)和V参考1(MV1)导出LIC参数(a0，b0)和(a1，b1)。因此，LIC基于局部失真的计算，其定义如下：
Figure BDA0002980884060000152
一旦编码器或解码器获得用于当前CU的LIC参数，那么当前CU的预测pred(current_block)在于以下内容(单向预测情况)：
pred(current_block)＝a×ref_block+b
其中，current_block是要预测的当前块，pred(current_block)是当前块的预测，并且ref_block是用于当前块的时间预测的参考块。
图8示出了用信号通知CU的译码参数的总体译码过程的示例。至少一个实施例集中于常规帧间模式，也称为AMVP(自适应运动矢量预测)。
图9示出了CU的总体熵解码过程的示例。强调了AMVP帧间模式的情况。该过程发生在不采用合并模式的帧间CU的情况下。
图10示出了在AMVP模式下对与CU相关联的帧间预测信息进行译码的示例。在此实例中，针对每一AMVP CU译码单个IC标志。针对一AMVP CU编码若干运动场。一个或两个参考图片用于预测当前帧间CU。对于所使用的每一参考图片，运动场是以参考帧索引、标识用于预测当前CU的运动矢量的候选的索引以及当前CU的运动矢量与所使用的运动矢量预测器(MVP)之间的运动矢量差(MVd)的形式编码。
最后，可以编码附加的时间预测参数，其包括以下：
-iMv标志指示当前CU的运动矢量是否是以与通常四分之一像素精度相比减小的精度水平译码。
-OBMC标志指示当前CU的时间预测是否包括已知重叠块运动补偿步长。
-与AMVP模式中的每个帧间CU相关联的单个IC标志。
图11示出了用于解码与AMVP译码单元相关联的运动信息的过程的示例。这在于在图10的译码过程的逆过程之后，对用于预测当前CU的每个参考图像的运动场进行解码。注意到，在AMVP模式中，对于每个帧间CU，对单个标记进行一次解码。
如上所述的LIC的原理需要访问已经重构的顶部和左侧相邻块的重构样本。这方面可能是不希望的，因为其在运动补偿过程中引入一些等待时间且潜在地破坏常规解码器管线架构。
本公开描述了考虑到前述内容而设计的多个实施例。
图12示出了第一示例性实施例，其中在解码器上重构CU之后计算LIC参数，并且基于CU的右边子部分来计算LIC参数。在至少一个示例性实施例中，LIC参数基于所考虑的解码的CU的右边子部分而被计算并被存储在缓冲区中。在至少一个实施例中，LIC参数的该缓冲区包括LIC参数(a，b)的阵列，这些LIC参数作为它们指代的子块的垂直位置的函数被索引。换句话说，提出了为CTU内的子块的每个y位置存储LIC参数的一个元组(a，b)。这导致存储比在为图片的每个CU存储(a，b)参数的情况下更少的元组(a，b)总量。
图13示出了LIC参数缓冲区的演进，只要当使用图12的实施例时给定CTU内的CU正由解码器处理。实际上，基于每一CU的右边部分计算LIC参数的至少一个优点是其确保在任何时间，当对译码单元进行解码时，对应于与当前CU相邻的图片区域的一些LIC参数是可用的。然后使用LIC参数来重构当前CU。在图13中，灰色部分表示在解码过程的给定阶段LIC参数已经被计算并且当前存储在存储器中的所有区域。可以看到，对于正被解码的每个CU，表示当前CU的左边相邻区域中的亮度变化的一些LIC参数是可用的，并且可以潜在地用于在当前CU中应用LIC。换言之，与已经解码的CU相关的LIC参数被丢弃，并且由用于其他CU的LIC参数替换。注意，在图13上，在开始解码包含在当前CTU中的CU之前，包含在缓冲区中的LIC参数对应于先前在位于先前CTU的右侧的CU的右侧部分中计算的LIC参数。这由图13的过程的第一阶段的CTU左侧的垂直灰色矩形示出。
根据至少一个变型实施例，LIC可以仅用于面积严格高于某一值(例如32)的块。这对应于至少如8×8那么大的块。在这种情况下，如果CTU尺寸是128×128，则通过存储用于CTU的8×8子块的每个y位置的一对参数(a，b)(这导致总共16对参数(a，b))，可以将LIC参数的缓冲区的尺寸减少2。注意，根据上面给出的变型，对于整个图片，缓冲区尺寸是32或16。
图14示出了第二示例性实施例，其中在解码器上重构CU之后计算LIC参数，并且基于CU的下边的水平的子部分来计算LIC参数。在至少一个示例性实施例中，LIC参数在所考虑的解码的CU的下边的水平部分上计算并存储在缓冲区中。在CU层级上，该过程接近于图12的过程。该过程与LIC参数(a_i，b_i)的(W_CTU/4)对的存储器缓冲区耦合，其中W_CTU表示CTU的宽度(通常128)。
图15示出了LIC参数缓冲区的演进，只要当使用图14的实施例时给定CTU内的CU正由解码器处理。与图12的实施例相比，此实施例的弱点在于，在某一点处，没有对应于邻近当前CU的空间区域的LIC参数可用。这在解码过程中从CTU切换到下一个CTU时发生。然而，在更频繁发生的其它情况下，该实施例被证明是有益的。
图16示出了从CTU切换到下一CTU的典型示例。在该图中，第二CTU中的浅灰色CU利用在前一CTU的下边部分计算的LIC参数。
在至少一个变型实施例中，LIC可仅用于面积严格高于某一值(例如32)的块。这对应于至少如8x8那么大的块。在这种情况下，如果CTU尺寸是128×128，则通过存储用于CTU的8×8子块的每个y位置的一对参数(a，b)(这导致总共16对参数(a，b))，可以将LIC参数的缓冲区的尺寸减少2。
图17示出了第三示例性实施例，其中在解码器上重构CU之后计算LIC参数，并且在CU右侧的垂直部分上以及然后在CU的水平的下边部分上计算LIC参数。该实施例组合了两个第一实施例。因此，在解码过程中，保持了分别对应于垂直部分和水平部分的两个缓冲区。这些缓冲区的尺寸与前面两部分中解释的相同。
图18示出了包含在两个缓冲区中的LIC参数的演变，只要当使用第三实施例时给定CTU内的CU正由解码器处理。灰色部分表示在解码过程的给定阶段LIC参数已经被计算并且当前存储在存储器中的所有区域。注意，用于计算前一CTU的LIC参数的水平部分在这里不出现以保持图尽可能清楚。
图19示出了如第一实施例中提出的LIC参数存储器存储的示例。它示出了在解码过程期间用于存储LIC参数的存储器缓冲区，表示为灰色矩形。
图20示出了依据本发明第一实施例的CU解码过程的示意图。除了以粗体突出的步骤之外，解码过程是常规的。首先，根据下面给出的图21的详细描述来执行帧间预测参数的解码。接下来，两个其他主要修改是LIC参数计算和LIC参数存储步骤，其发生在图20的CU解码过程的结尾。
LIC参数(a，b)的计算如上所述常规地执行，不同之处在于它是在当前CU的垂直右边部分上被执行的。然后，该步骤导致确定用于局部照明补偿的一阶线性模型的LIC参数(a，b)。然后，如图20的最后步骤所示，将这些参数存储在缓冲区中。如上所述，LIC参数的缓冲区简单地由元组(a，b)的一个阵列组成，该数组由所考虑的(a，b)参数相对于所考虑的CTU的顶部所指代的垂直空间位置来索引。因此，缓冲区可以表示为以下阵列：
{(ai，bi)，i＝0，...，N-1}，N＝(HCTU＞＞2)
其中，HCTU是所考虑的CTU的高度，并且对于包括在0和(N-1)之间的每个索引i，参数(ai，bi)表示与垂直空间位置i相关联的LIC参数。由于运动信息通常存储在当前图片中的4x4块层级上，因此考虑CTU高度上的基于4像素的一维(1D)网格，一对LIC参数与每个索引i相关联(该索引i与每个垂直位置相关联)。这在图19中示出，该图示出了在解码过程期间用于存储LIC参数的存储器缓冲区。
因此，为了存储与给定CU相关联的LIC参数(a，b)，对于当前CU中所含有的每一基于4个子块的垂直位置i，将存储器缓冲区中的参数(a_i，b_i)设定为等于值(a，b)。
图21示出了根据所提出的第一实施例的用于解码以AMVP模式中译码的CU的帧间预测参数的示例过程。除了新引入的用于当前CU的LIC参数选择的步骤之外，对于LIC标志等于真的CU，该过程与图11中的相同。
此步骤允许在存储于专用存储器缓冲区中的LIC参数当中确定哪些LIC参数用于当前CU，且按照如下描述继续进行。选择对应于与当前CU具有相同参考图片索引的最接近的相邻块的LIC参数。最接近的相邻者是例如具有与当前CU的垂直位置最接近的垂直位置的LIC参数，因为存储器缓冲区是通过垂直空间位置组织的。因此，该步骤包括当前存储在存储器缓冲区中的LIC参数上循环，其从当前的最近垂直位置到从当前CU垂直位置不太接近的垂直位置。在此，作为实现该循环的示例性方式，当前CU的位置被定义为当前CU的左上角的位置(x，y)。因此，当前CU的垂直位置是当前CU的左上角的y坐标。根据一个变型，循环中的起始位置对应于与最低垂直位置相关联的LIC参数。因此，它对应于从含有位于当前CU的左下角的左侧的4x4子块的编码单元的编码/解码发出的LIC参数。然后，该循环从该起始点朝着与最高垂直位置相关联的LIC参数进行迭代。根据另一变型，还在与超出当前CU水平边界的垂直位置相关联的LIC参数上进行循环迭代，以使过程更可能找到具有与当前CU相同的参考图片索引的一些LIC参数。
为了在缓冲区中获得与LIC参数的候选对相关联的参考图片索引，人们检索在所考虑的垂直位置处的最后解码的CU(即导致所考虑的候选LIC参数的计算和存储的重构CU)的参考图片索引。根据一种变型，并且为了使解码过程更简单，将参考图片索引与LIC参数一起存储在所考虑的存储器缓冲区中。
如果没有相邻块具有与当前块相同的参考图片索引，那么根据实施例，指代与当前块的位置最接近的位置的LIC参数可用于当前CU。然而，注意，在考虑参考具有与当前块不同的参考图片索引的块的候选LIC参数之前，优先权被给予从具有与当前块相同的参考图片索引的解码块发出的LIC参数。
根据一变型，如果没有存储的从具有与当前块相同的参考图片的块发布LIC参数，则LIC标志可推断为假。
最后，注意，在所有提出的实施例中，不考虑对应于平凡(trivial)线性模型(即a＝1，b＝0)的LIC参数，并且不将其存储在专用存储器缓冲区中。在这种情况下，LIC完全不被使用并且相应地被用信号通知。
根据第二实施例的详细的CU解码过程类似于以上对第一实施例的描述。不同之处在于，代替用于计算LIC参数的垂直区域，使用每个重构CU的水平的下边的子部分来计算LIC参数，并且然后将LIC参数存储在专用存储器缓冲区中(图14、15和16)。关于选择/确定用于当前CU的LIC参数，调用与步骤“选择存储器缓冲区中的LIC参数以用于当前CU”类似的过程。因此，它存在于存储在所考虑的存储器缓冲区中的LIC参数上的循环中。同样，该循环可以使用存储在存储器缓冲区中的LIC参数中的不同起点(因此也是终点)。根据第一变型，循环从对应于左侧的水平的CU位置的LIC参数(即，与等于当前CU的左侧位置的水平位置相关联的LIC参数)开始迭代。在该变型中，循环从该位置向对应于与当前CU的右角的水平位置相等的水平位置的存储的LIC参数进行迭代。根据另一变型，顺序被颠倒。这意味着循环从右侧位置(等于当前CU的右角的位置)向左侧位置(等于当前CU的左角的水平位置)进行迭代。根据另一变型，还在与超出当前CU边界的水平位置相关联的LIC参数上进行循环迭代，以使过程更可能找到具有与当前CU相同的参考图片索引的一些LIC参数。
第三实施例是第一和第二实施例的组合，LIC参数计算和存储与第一和第二方法的那些相同。与两个第一实施例的显著差异在于假定两个存储器缓冲区(分别存储基于垂直和水平区域的LIC参数)，选择LIC参数以应用于当前CU缓冲区。实际上，一对LIC参数是在用于当前CU的这两个缓冲区中的选择。选择它的简单方式是在每个缓冲区中选择一对LIC参数，如在第一和第二实施例中所做的。接下来，在所选择的两个LIC参数对(a，b)中，选择与最接近当前CU的位置相对应的LIC参数对。如果它们各自到当前CU位置的距离相同，则优先权给予一个方向，例如垂直方向。
在至少第四实施例中，使用用于修剪两个存储器缓冲区(垂直和水平)中的LIC参数候选的新标准。对存储在存储器缓冲区(一个或多个)中的所有LIC参数(垂直、水平或两者)进行迭代循环，以便找到具有与当前CU相同的参考图片索引的所有LIC参数，且最终选择用相邻者(N)计算的LIC参数，其重构的运动矢量值(MVx、MVy)最接近当前CU的运动矢量。“最接近的”可以是例如基于L1范数(绝对差之和)或L2范数的函数。
在一些常规编解码器中，将运动矢量和参考索引存储在可用于解码其它CU的运动信息缓冲区中。这样的结构可以用于获得参考图片索引和与存储在存储器中的LIC参数相关联的运动矢量值。
在一变型实施例中，如果当前CU是以合并模式译码，其指示当前CU译码参数中的一些已从一个顶部(或左侧)相邻CU(N)导出(或直接合并)，那么选择存储在存储器缓冲区(一个或多个)中的用此顶部(或左侧)CU相邻者计算的LIC参数用于当前CU。
在第四实施例的变型中，可(从此相邻CU(N))推断或译码指示LIC是否应用于当前CU的LIC标志。
图22示出了旨在加速编码和解码过程的第五示例性实施例。在此实施例中，用于位于当前CTU底部或图片右侧的分区的LIC参数未被计算，因为其将不被用于解码其它CU。这些分区由图22中的黑色矩形表示。
在一个变型实施例中，在解码阶段，在解析译码参数和构建CTU分区树期间，可以构建指示在重构每个CU之后是否必须计算LIC参数的预取图。例如，对于用明确译码的LIC标志(即，不是从重构的相邻者推断的)在帧内或帧间译码的CU，该映射将包含如下的LIC标志：
在帧内译码的CU：映射LIC标志＝假
用明确译码的LIC标志在帧间译码的CU：映射LIC标志＝LIC标志
用推断的LIC标在帧间译码的CU，推断LIC标志：映射LIC标志＝真
接下来，在以帧间译码一个当前CU重构之后，如果映射指示当前CTU中所有右侧CU(Cur)和下部CU(Cub)不使用LIC(映射LIC标志＝假)，则不为当前CU计算LIC参数。
图23示出了其中预取的映射指示是否必须计算LIC参数的示例性变型实施例。在该图中，具有白色背景的分区使用LIC，而具有灰色背景的分区不使用LIC，并且对于具有交叉虚线背景的剩余分区，从重构的相邻者推断LIC使用。
图24示出了在CTU中使用预取的LIC参数的条件计算。在CTU中的CU树上的第一循环中，CU参数被解码并且LIC标志的映射被构建，如上所述。在CTU中的CU树上的第二循环中，CU被重构并且LIC标志被检查以决定LIC参数是否不应该被计算。
图25示出了第六示例性实施例。该实施例包括以下特征：
-对于3个第一实施例，有限尺寸的存储器缓冲区用于存储LIC参数，LIC参数可用于在稍后在正被解码的图片中的一些CU的运动补偿时间预测期间应用照明变化。
-对于3个第一实施例，计算每个重构CU的LIC参数。它们可以在整个重构CU上计算，而不是如在前3个实施例中在CU的右边或下边部分上计算。
-与先前的实施例相比，改变将LIC参数存储到专用存储器缓冲区中的策略：仅当LIC参数带来相对已经存储的参数的某种变化时存储LIC参数，以向随后的CU提供针对译码效率问题的候选LIC参数的良好集合。
-存储一些LIC参数与丢弃一些LIC参数相结合，以将存储器缓冲区保持在期望的尺寸。
-通过索引来标识在当前CU的预测中使用的LIC参数，所述索引指示在当前译码单元中使用存储在缓冲区中的哪些LIC参数。如果所考虑CU的LIC标志等于真，那么从比特流熵解码此索引。
图25示出了根据第六实施例的帧间CU解码过程。在该实施例中，与上面类似地计算CU(在其已经被重构之后)的LIC参数，不同之处在于，在其上计算LIC参数(a，b)的区域位于重构的CU内。一旦计算，LIC参数就与已经存储在缓冲区中的那些进行比较。如果检测到新计算的参数和已经存储的参数之间的距离足够(例如大于阈值)，则对于每个存储的参数对，将新计算的参数存储到FIFO(先入先出)缓冲区中。缓冲区具有有限的尺寸，因此如果它是满的，则已经存储在缓冲区中的第一个元素被移除。
图26示出了根据第六实施例的帧间预测参数解码过程的示意图。该实施例使用图25的计算/存储算法。如果LIC标志对于当前帧间CU是有效的(例如标志为真)，除了包括附加语法元素的解码步骤之外，该过程与之前相同。在当前CU的运动补偿时间预测期间，该语法元素对应于LIC参数的索引以用于当前CU。解码索引标识来自FIFO缓冲区的LIC参数以分配给当前CU。
第七实施例使用预先确定的LIC参数集合。这包括以下特征。
-LIC的使用再次由CU层级LIC标志发信号发送，如在前述实施例中那样。
-不再基于图片内容计算LIC参数。相反，它们是预先确定的。
-如前述实施例，预先确定的LIC参数被存储在专用的、有限的存储器缓冲区中。
-对于LIC有效的每个CU，从比特流解码索引。该索引标识来自缓冲区的LIC参数，其在当前译码单元的帧间预测期间使用。
注意，该实施例类似于一般化的双向预测概念，但是应用于单向时间预测的情况。基本上，单向预测采用如下线性函数的形式：Pred(x)＝a.ref+b。该实施例的特殊性在于，这里(a，b)是从一组预定义的对当中选择的一对值，并且通过发送的对索引来标识。因此，该实施例与先前部分的实施例相似。区别在于移除了图25的LIC参数计算步骤。存储器缓冲区(图26)中LIC参数的索引的解码保持不变。此外，LIC参数的存储器缓冲区不是如先前实施例中的FIFO，而是预先确定的固定的LIC参数的固定集合。
图27示出了用于帧间切片中的CU的速率失真优化译码模式选择的示例性实施例。实际上，除了与照明补偿相关的标志的译码之外，还修改AMVP译码模式的速率失真优化。如图所示，评估所有可能的帧间模式，然后如果在译码所考虑的CU中最佳发现的INTER模式性能不足，则评估帧内模式。测试的帧间模式包括例如仿射合并、合并模式、FRUC合并模式和帧间AMVP模式。在另一实施例中，测试所有可用模式。在AMVP模式中，速率失真搜索包括对所有译码参数的循环，包括对IC标志的迭代。因此，从用于当前CU的速率失真观点来评估每个IC标志可能值。
本申请的至少一个实施例在编码器侧实现，例如在设备100或300中按照以下方式实现：
-只要CTU的译码单元正在被编码，就保持与解码器上完全相同的存储器缓冲区，以存储用于随后译码单元的候选LIC参数以用于编码。
-在合并模式中，执行与在解码器侧相同的LIC标志和LIC参数推导过程。这涉及：
ο在五个第一实施例的情况下，从RD评估的合并候选CU传播专用存储器缓冲区中的LIC参数对，完全以与解码器侧相同的方式。
ο在第六和第七实施例的情况下，从RD评估的合并候选CU传播LIC参数索引。
-在AMVP模式中，涉及如图24所示的在使用LIC和不使用LIC之间的RD选择。当测试LIC标志值等于真时，这包括以下内容。
οIn在五个第一实施例的情况下，用于当前CU的LIC参数的相同确定如在解码器侧上的那样被执行。这对应于图20中描述的过程。
οIn在第六和第七实施例的情况下，速率失真优化循环可专用于在当前存储在专用存储器缓冲区中的LIC参数中选择用于当前CU的最佳LIC参数。因此，选择最佳LIC参数候选的索引以用作当前CU的LIC，即，导致最小速率失真成本。然后，如果编码器RD搜索过程确定LIC应当用于当前CU，则在比特流中传送等于真的LIC标志和找到的最佳LIC参数索引。
-最后，根据任何实施例，每次编码CU时，与该CU相关联的LIC参数以与在解码器侧完全相同的方式被计算。这意味着在五个第一实施例的情况下使用当前重构CU的部分(右部的下部)。在第六实施例的情况下，可以使用整个重构CU。
在本申请的一个实施例中，提出了一种修改的LIC参数计算、存储和使用，在以AMVP模式译码的帧间译码单元的情况下，允许在合并模式中传播。这主要意味着先前描述的AMVP译码/解码。实际上，合并译码模式在于从相邻的已译码/解码的CU(称为合并候选)导出CU的运动信息。最佳合并候选通常从编码器侧的RD成本视点选择，并且标识所选合并候选的合并索引在比特流中被传送。
根据本申请，将与合并候选CU相关联的IC标志传播到在合并模式中预测的当前CU。这意味着还向处于合并模式中的CU分配IC标志，所述IC标志等于经选择以用于预测当前CU的运动信息的合并候选CU的IC标志。
关于LIC参数，处于合并模式中的当前CU也继承与选定合并候选相关联的LIC参数。
因此，这种合并CU的运动补偿时间预测包括照明变化补偿的应用，其与帧间AMVP译码单元的方式完全相同。
本申请的一个特定方面涉及其中使用CU层级索引来标识哪些所存储的LIC参数被用于当前CU的时间预测中的情况。这涉及前面解释的第六和第七实施例。如果当前CU处于合并模式中，那么其继承选定合并候选的LIC参数索引。
另一特定方面涉及在帧间、在合并模式中译码且采用双向时间预测的CU。这些CU导出可能来自使用单向LIC的不同候选的运动信息。在这种情况下，传统上LIC在双向预测的CU中是不允许的。这里，在涉及预先确定的LIC参数的第五实施例的情况下，可以激活LIC。如已经陈述的，我们也称这个实施例为单向广义预测。在两个选定候选采用具有预先确定的相同参数(a，b)的广义单向预测的情况下，那么使用这些(a，b)参数的线性模型也应用于当前CU的双向时间预测中。否则，如果合并候选均不采用一般化单向预测或其两者均使用一般化单向预测但具有不同参数，那么在当前CU的双向预测中不使用线性模型。
图28描述了根据本申请的至少一个实施例的LIC参数确定的流程图。在第一步骤中，根据上述实施例之一确定LIC参数。在第二步骤中，根据上述实施例之一将LIC参数存储在缓冲区中。在第三步骤中，用信号通知LIC参数的使用和LIC参数在缓冲区中的索引。在至少一个实施例中，当在提供内容之前(例如，在编码器处)确定LIC参数时，这例如使用嵌入在信号内的一些专用语法来完成。在至少另一个实施例中，当在内容访问之后(例如在解码器处)确定LIC参数时，这例如使用一些内部变量来完成。
图29描述根据本申请的至少一个实施例的LIC参数的使用的流程图。在第一步骤中，检查是否应该使用LIC参数。检查的一个示例是检测视频内容内适当信令的存在，例如以标志和索引的形式。如果要使用LIC参数，则访问这些参数(例如从存储它们的缓冲区获得)，并且用于重构视频(例如通过应用LIC参数来重构编码树单元的一个译码单元，以补偿所述译码单元上的照明的变化)。
各种实现方式涉及解码。如本申请中所使用的“解码”可以包括例如对接收到的编码序列执行的过程中的全部或部分，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还或替代地包含由本申请所描述的各种实施方案(例如，图29中所呈现的实施例)的解码器执行的过程。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的过程的全部或部分，以便产生编码的比特流。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现方式(例如，图29的实施例)的编码器执行的过程，。
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
本申请描述了多个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特定性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的申请中描述的方面组合和互换。本申请中描述和预期的方面可以以许多不同的形式实现。以上图1、图2和图3提供了一些实施例，但是可以设想其他实施例，并且对附图的讨论不限制实现的广度。
在本申请中，术语“重构”和“解码”可以互换使用，术语“存储器”和“缓冲区”可以互换使用，术语“图像”、术语“像素”和“采样”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用，术语“索引”和“idx”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
在本申请中使用了各种数值，例如关于块尺寸。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
对“一个实施例”或“实施例”或“一个实现”或“实现”以及其它变化形式的提及意味着结合实施例描述的特定特征、结构、特性等被包含在至少一个实施例中。因此，在贯穿本文的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
另外，本申请或其权利要求可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
此外，本申请或其权利要求可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、预测信息或估计信息中的一个或多个。
另外，本申请或其权利要求可以涉及“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器或光学介质存储装置)中的一个或多个。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“……中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。这可以扩展到所列的许多项，这对于本领域和相关领域的普通技术人员来说是显而易见的。
如本领域技术人员将明白的，实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。

Claims (17)

1.一种用于对图片中的块的图片数据进行编码的方法，所述方法包括：
利用信令信息对所述图片数据进行编码，所述信令信息至少包括表示使用局部照明补偿函数的信息和要被使用的局部照明补偿参数的索引。
2.一种用于对图片中的块的图片数据进行解码的方法，所述方法包括：
获取要被使用的局部照明补偿参数的索引；以及
对所述图片数据进行解码，并且当在与所述块相对应的信令信息中用信号通知使用局部照明补偿函数时，使用具有根据所述索引获得的局部照明补偿参数的局部照明补偿函数。
3.根据权利要求1或2所述的方法，其中至少一个局部照明补偿参数独立于所述块的所述位置而被存储在缓冲区中。
4.根据权利要求1至3所述的方法，其中所述局部照明补偿函数通过向参考块的像素值应用一阶线性模型来确定所述块的像素值，所述一阶线性模型使用缩放因子a和偏移b。
5.根据权利要求1至4中任意项所述的方法，其中所述局部照明补偿参数根据所述当前块的相邻块的右边的垂直的子部分而被确定，并且，其中单个局部照明补偿参数针对所述至少一个块的子块的垂直位置而被确定。
6.根据权利要求1至4中任意项所述的方法，其中所述局部照明补偿参数根据所述当前块的相邻块的下边的水平的子部分而被确定，并且，其中单个局部照明补偿参数针对所述至少一个块的子块的水平位置而被确定。
7.根据权利要求5所述的方法，其中第二缓冲区存储根据所述当前块的相邻块的下边的水平的子部分而被确定的局部照明补偿参数，并且，其中单个局部照明补偿参数针对所述至少一个块的子块的水平位置而被确定。
8.一种用于对图片中的块的图片数据进行编码的设备，所述设备包括：
用于利用信令信息对所述图片数据进行编码的工具，所述信令信息至少包括表示使用局部照明补偿函数的信息和要被使用的局部照明补偿参数的索引。
9.一种用于对图片中的块的图片数据进行解码的设备，所述设备包括：
用于从缓冲区获得要被使用的局部照明补偿参数的索引的工具；以及
用于对所述图片数据进行解码的工具，并且当在与所述块相对应的信令信息中用信号通知使用局部照明补偿函数时，使用具有根据所述索引从所述缓冲区获得的局部照明补偿参数的局部照明补偿函数。
10.根据权利要求8或9所述的设备，其中至少一个局部照明补偿参数独立于所述块的所述位置而被存储在缓冲区中。
11.根据权利要求8至10所述的设备，其中所述局部照明补偿函数通过向参考块的像素值应用一阶线性模型来确定所述块的像素值，所述一阶线性模型使用缩放因子a和偏移b。
12.根据权利要求8至11所述的设备，其中所述局部照明补偿参数根据所述当前块的相邻块的右边的垂直的子部分而被确定，并且，其中单个局部照明补偿参数针对所述至少一个块的子块的垂直位置而被确定。
13.根据权利要求8至11所述的设备，其中所述局部照明补偿参根据所述当前块的相邻块的下边的水平的子部分而被确定，并且，其中单个局部照明补偿参数针对所述至少一个块的子块的水平位置而被确定。
14.根据权利要求12所述的设备，其中第二缓冲区存储根据所述当前块的相邻块的下边的水平的子部分而被确定的局部照明补偿参数，并且，其中单个局部照明补偿参数针对所述至少一个块的子块的水平位置而被确定。
15.一种数据承载信号，包括表示图片中的块的编码的图片数据的信息，所述信息包括表示使用局部照明补偿缓冲区的信息和所述缓冲区中的所述局部照明补偿参数的索引。
16.一种计算机程序产品，包括程序代码指令，当在计算机上执行该程序时，所述程序代码指令执行根据权利要求1至7中任意项所述的方法的步骤。
17.一种非暂时性存储介质，其中存储有用于使处理器至少执行根据权利要求1至7中任意项所述的方法的步骤的指令。
CN201980060982.4A 2018-09-19 2019-09-11 使用存储的参数对视频编码和解码进行局部照明补偿 Pending CN112703732A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18306215.7 2018-09-19
EP18306215 2018-09-19
EP18306261 2018-09-26
EP18306261.1 2018-09-26
PCT/US2019/050510 WO2020060808A1 (en) 2018-09-19 2019-09-11 Local illumination compensation for video encoding and decoding using stored parameters

Publications (1)

Publication Number Publication Date
CN112703732A true CN112703732A (zh) 2021-04-23

Family

ID=68051976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060982.4A Pending CN112703732A (zh) 2018-09-19 2019-09-11 使用存储的参数对视频编码和解码进行局部照明补偿

Country Status (6)

Country Link
US (1) US11689727B2 (zh)
EP (1) EP3854077A1 (zh)
KR (1) KR20210058856A (zh)
CN (1) CN112703732A (zh)
BR (1) BR112021004858A2 (zh)
WO (1) WO2020060808A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689727B2 (en) * 2018-09-19 2023-06-27 Interdigital Vc Holdings, Inc. Local illumination compensation for video encoding and decoding using stored parameters
US12063376B2 (en) * 2018-09-19 2024-08-13 Interdigital Vc Holdings, Inc. Local illumination compensation for video encoding and decoding using stored parameters
CN118042116A (zh) * 2018-12-07 2024-05-14 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法、解码方法和计算机可读取介质
US11924409B2 (en) * 2021-02-21 2024-03-05 Alibaba (China) Co., Ltd. Systems and methods for inter prediction compensation
US20230224474A1 (en) * 2022-01-12 2023-07-13 Tencent America LLC Adjustment based local illumination compensation
WO2023205283A1 (en) * 2022-04-19 2023-10-26 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for enhanced local illumination compensation
WO2024104420A1 (en) * 2022-11-16 2024-05-23 Douyin Vision Co., Ltd. Improvements for illumination compensation in video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192372A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for illumination compensation in multi-view and 3d video coding
CN105379288A (zh) * 2013-07-16 2016-03-02 高通股份有限公司 处理对视频译码的照明补偿
US20160366415A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
CN107690810A (zh) * 2015-06-09 2018-02-13 高通股份有限公司 确定用于视频译码的照明补偿状态的系统及方法
US20180063531A1 (en) * 2016-08-26 2018-03-01 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
WO2018064492A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Improvements on frame rate up-conversion coding mode

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
CN103155559B (zh) * 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
US11689727B2 (en) * 2018-09-19 2023-06-27 Interdigital Vc Holdings, Inc. Local illumination compensation for video encoding and decoding using stored parameters
KR20210058938A (ko) * 2018-09-19 2021-05-24 인터디지털 브이씨 홀딩스 인코포레이티드 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105379288A (zh) * 2013-07-16 2016-03-02 高通股份有限公司 处理对视频译码的照明补偿
WO2015192372A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for illumination compensation in multi-view and 3d video coding
US20160366415A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
CN107690810A (zh) * 2015-06-09 2018-02-13 高通股份有限公司 确定用于视频译码的照明补偿状态的系统及方法
US20180063531A1 (en) * 2016-08-26 2018-03-01 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
WO2018064492A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Improvements on frame rate up-conversion coding mode

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANISH TAMSE: "[CE4.6.3 – Inter Prediction Refinement in JVET-J0024]", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018，JVET-K0118 *

Also Published As

Publication number Publication date
WO2020060808A1 (en) 2020-03-26
EP3854077A1 (en) 2021-07-28
US11689727B2 (en) 2023-06-27
US20220038711A1 (en) 2022-02-03
KR20210058856A (ko) 2021-05-24
BR112021004858A2 (pt) 2021-06-01

Similar Documents

Publication Publication Date Title
JP7538124B2 (ja) Ｍｍｖｄおよびｓｍｖｄと動きモデルおよび予測モデルとの組み合わせ
US11689727B2 (en) Local illumination compensation for video encoding and decoding using stored parameters
US20230164314A1 (en) Method and apparatus for deblocking an image
CN113557730A (zh) 用于利用基于子块的局部光照补偿的视频编码和解码方法和装置
CN113170146A (zh) 用于图片编码和解码的方法和设备
KR20210089747A (ko) 비디오 인코딩 및 디코딩을 위한 가상 파이프라인
JP7532388B2 (ja) ビデオの符号化および復号における動きベクトルの導出
US20220060688A1 (en) Syntax for motion information signaling in video coding
CN113302924B (zh) 用于视频编码和解码的量化
WO2020096898A1 (en) Video encoding or decoding using block extension for overlapped block motion compensation
WO2021058383A1 (en) Method and apparatus using homogeneous syntax with coding tools
KR20230104895A (ko) 기하학적 파티션을 사용한 인트라 예측
CN111527750A (zh) 用于视频编码和解码中的自适应照明补偿的方法和装置
US20220159290A1 (en) Local illumination compensation for video encoding or decoding
WO2020185491A1 (en) Local illumination compensation for video encoding or decoding
JP7506063B2 (ja) ビデオ符号化および復号のための複数のコーディングユニットの中でグループ化するパラメータ
JP2022541723A (ja) アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ
CN114930819A (zh) 三角形合并模式中的子块合并候选
CN114208194A (zh) 用于视频编码和解码的帧间预测参数推导
US12063376B2 (en) Local illumination compensation for video encoding and decoding using stored parameters
CN114128271A (zh) 用于视频编码和解码的照明补偿
RU2824658C2 (ru) Способ и устройство для кодирования и декодирования изображений
WO2024077970A1 (en) Encoding/decoding video picture data
WO2023193557A1 (en) Encoding/decoding video picture data
EP3706419A1 (en) Multi-model local illumination compensation for video encoding or decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination