CN112689998A - 在视频编解码系统中组合多个预测子进行块预测的方法和装置 - Google Patents

在视频编解码系统中组合多个预测子进行块预测的方法和装置 Download PDF

Info

Publication number
CN112689998A
CN112689998A CN201980059945.1A CN201980059945A CN112689998A CN 112689998 A CN112689998 A CN 112689998A CN 201980059945 A CN201980059945 A CN 201980059945A CN 112689998 A CN112689998 A CN 112689998A
Authority
CN
China
Prior art keywords
candidate
predictor
candidate list
current block
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980059945.1A
Other languages
English (en)
Other versions
CN112689998B (zh
Inventor
江嫚书
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112689998A publication Critical patent/CN112689998A/zh
Application granted granted Critical
Publication of CN112689998B publication Critical patent/CN112689998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于对当前块进行编解码的视频处理方法和装置通过组合当前块的多个预测子来生成最终预测子。当前块的预测子之一是运动补偿预测子，其根据从第一候选列表中选择的一个候选而生成。第一候选列表的构造包括通过对第一候选列表中的现有候选的运动信息求平均来得到平均候选。当前块的第二预测子是另一运动补偿预测子或帧内预测子。

Description

在视频编解码系统中组合多个预测子进行块预测的方法和 装置
【交叉引用】
本申请要求2018.9.17申请的美国临时专利申请(序列号62/732019，名称为“Candidate list generation for multi-hypothesis”)的优先权。上述美国临时专利申请的全部内容通过引用并入本文。
【技术领域】
本发明涉及视频编码和解码系统中的视频处理方法和装置。特别地，本发明涉及生成用于图像间预测(inter picture prediction)的候选列表。
【背景技术】
高效视频编解码(HEVC)标准是由ITU-T研究组的视频编解码联合协作小组(JCT-VC)的视频编解码专家组开发的最新国际视频编解码标准。HEVC标准改进了其进行中的标准H.264/AVC的视频压缩性能，以满足对更高图像解析度、更高帧频和更好视频品质的需求。HEVC标准依赖于基于块的编解码结构，该结构将每个视频切片分为多个方形编解码树单元(CTU)，其中CTU是HEVC中视频压缩的基本单元。在HEVC主配置文件中，CTU的最小和最大大小由序列参数集(SPS)中发信的语法元素指定。光栅扫描顺序用于对每个切片中的CTU进行编码或解码。每个CTU可以包含一个编解码单元(CU)，也可以根据四叉树分区结构将其递归拆分为四个较小的CU，直到达到预定义的最小CU大小为止。在四叉树划分结构的每个深度处，N×N块是单个叶CU或被分成四个大小为N/2×N/2的块，它们是编解码树节点。如果没有进一步拆分编解码树节点，则其为叶CU。叶CU大小被限制为大于或等于预定义的最小CU大小，该大小也在SPS中指定。
在CU级别做出预测决定，其中，使用图像间预测或图像内预测对每个CU进行编解码。一旦完成了CU分层树的划分，则根据用于预测的PU分区类型，将每个CU进一步划分成一个或多个预测单元(PU)。由于将相同的预测过程应用于PU中的所有像素，因此PU用作共享预测信息的基本代表块。预测信息以PU为基础传送到解码器。对于图像内预测，空间相邻的重构像素用于生成方向预测。图像间预测中的运动估计为当前块标识一或两个参考图像中的一个(单向预测)或两个(双向预测)最佳参考块，并且图像间预测中的运动补偿根据一个或两个运动向量(MV)定位该一个或两个最佳参考块。当前块和相应的预测子之间的差异称为预测残差。使用单向预测时，相应的预测子是最佳参考块。当使用双向预测时，由两个运动向量定位的两个参考块被组合以形成最终预测子。根据另一四叉树块分区结构，属于CU的预测残差被分成一个或多个变换单元(TU)，用于将残差数据变换为用于紧凑数据表示(compact data representation)的变换系数。TU是用于对残差数据进行变换和量化的基本代表块。对于每个TU，将具有与TU相同大小的变换矩阵应用于残差数据以生成变换系数，并且基于TU将这些变换系数量化并传送到解码器。
术语编解码树块(CTB)、编解码块(CB)、预测块(PB)和变换块(TB)被定义为指定分别与CTU、CU、PU和TU相关联的一种颜色分量的二维样本阵列。例如，CTU由一个亮度CTB、两个相应的色度CTB及其关联的语法元素组成。
图像间预测模式HEVC中存在三种图像间预测模式，包括高级运动向量预测(AMVP)、跳过和合并模式。在这些图像间预测模式中使用运动向量预测来减少运动信息编解码所需的比特。运动向量预测过程包括生成包括多个空间和时间运动候选的候选列表，并对候选列表进行修剪以去除冗余。应用运动向量竞赛(MVC)方案以在候选列表中选择最终运动候选。为了使用AMVP模式对PU进行编码，编码器在视频比特流中传输帧间预测方向、参考图像索引、运动向量差(MVD)和预测残差。PU的帧间预测方向描述诸如列表0(L0)预测、列表1(L1)预测或双向预测的预测方向。通过在解码器处将发送的MVD与选定的运动向量预测子(MVP)相加，可以得出以AMVP模式编解码的PU的运动向量。还针对每个预测方向对MVP索引进行编码和传输，以从AMVP候选列表中选择一个MVP。HEVC中的默认AMVP候选列表包括两个空间运动候选和一个时间运动候选。图1示出了用于导出以AMVP模式，跳过模式或合并模式编解码的PB 10的候选列表的运动候选的位置。AMVP模式的候选列表中的两个空间运动候选包括左候选和上候选(top candidate)。从块A0 111到块A1 112从左下到左搜索当前PB 10的左候选，并将第一个可用块的MV选择为左候选，而从块B0 113到块B1 114，再到块B2115，从右上到左上搜索上候选，并将第一个可用块的MV选择为上候选。具有运动信息的块，或者换言之，在图像间预测中编解码的块被定义为可用块。时间运动候选是参考图像中从并置块12的右下角附近的块TBR 121和并置块12内的块TCTR 122中选择的第一可用块的MV。通过在切片报头中发信标志和参考图像索引来指示参考图像，以指定使用哪个参考图像列表和参考图像列表中的哪个参考图像。
为了提高AMVP模式下运动信息编解码的编解码效率，在HEVC标准中提出并采用了跳过和合并模式，以通过继承空间相邻块或时间并置块的运动信息来进一步减少发信运动信息所需的数据比特。对于以跳过或合并模式编解码的PU，仅编解码所选最终候选的索引而不是运动信息，因为PU重新使用所选最终候选的运动信息。由PU重复使用的运动信息包括运动向量(MV)、帧间预测指示符以及所选择的最终候选的参考图像索引。注意，如果选择的最终候选是时间运动候选，则参考图像索引总是设置为零以指示列表0或列表1中的第一参考图像。当在合并模式下对PU进行编解码时，对预测残差进行编解码，然而，由于在跳过模式中编解码的PU的残差数据被强制为零，因此跳过模式进一步跳过预测残差的信令。
合并候选列表包括最多四个空间运动候选和一个时间运动候选。如图1所示，第一合并候选是左块A1 112的运动信息，第二合并候选是顶块B1 114的运动信息，第三合并候选是右上块B0 113的运动信息，第四个合并候选是左下块A0 111的运动信息。左上块B2 115中的运动信息包括在合并候选列表中以替换不可用空间块的候选。第五合并候选是第一可用时间块TBR 121和TCTR 122的时间块的运动信息。编码器基于MVC(例如，通过速率-失真优化(RDO)决策)从候选列表中为每个以跳过或合并模式编解码的PU选择一个最终候选，并将代表所选最终候选的索引发信给解码器。解码器根据视频比特流中传输的索引从候选列表中选择相同的最终候选。
在导出用于AMVP、合并或跳过模式的候选列表之后，执行修剪过程以检查候选列表中的候选之间的冗余度(redundancy)。在去除一个或多个冗余或不可用的候选之后，可以在编码器和解码器侧都动态地调整候选列表的大小，并且可以使用截断的一元二值化(truncated unary binarization)来编解码用于指示所选最终候选的索引，以减少所需的数据比特。但是，尽管候选列表的动态大小带来了编解码增益，但是它也引入了潜在的解析问题(parsing problem)。当先前图像的MV未被正确地解码并且该MV被选择为时间运动候选时，可能发生在编码器侧与解码器侧之间导出的候选列表的失配。因此，解析错误出现在候选列表中，并且可能严重传播。解析错误可能会传播到剩余的当前图像，甚至传播到允许时间运动候选的后续帧间编码图像。为了防止这种解析错误的传播，使用固定候选列表大小用于AMVP模式、跳过模式或合并模式以编码器和解码器侧解耦候选列表构造和索引解析。为了补偿由固定候选列表大小引起的编解码损失，在修剪过程之后，将附加候选分配给候选列表中的空白位置。用于指示所选择的最终候选的索引被编码为具有最大长度的截断的一元码，例如，对于跳过和合并模式，在切片报头中发信最大长度，对于HEVC中的AMVP模式，将其固定为2。AMVP候选列表的大小是2，因此在两个空间和一个时间运动候选的推导过程之后，仅前两个运动候选被包括在AMVP候选列表中。
对于为以AMVP模式编解码的块构造的候选列表，在根据当前HEVC标准推导和修剪两个空间运动候选和一个时间运动候选之后，添加零向量运动候选以填充候选列表中的空白位置。至于HEVC中的跳过和合并模式，在推导和修剪了四个空间运动候选和一个时间运动候选之后，如果可用候选的数量小于固定候选列表的大小，则导出三种类型的附加候选(additional candidate)并将其添加以填充合并候选列表(Merge candidate list)中的空白位置。用于填充候选列表的三种类型的附加候选包括组合的双向预测合并候选、缩放的双向预测合并候选和零向量合并/AMVP候选。
通过根据预定顺序将已经包括在合并候选列表中的两个原始运动候选合并来创建合并的双向预测合并候选。在图2中示出了导出用于合并候选列表的组合的双向预测合并候选的示例。在修剪过程之后，图2中的合并候选列表22仅具有两个运动候选mvL0_A，其在列表0中具有ref0，以及mvL1_B，其在列表1中具有ref0，并且这两个运动候选都是单向预测运动候选，第一运动候选mvL0_A从过去的图像L0R0 264(列表0中的参考图像0)预测当前图像262中的当前块，第二运动候选mvL1_B从未来图像L1R0 266(列表1中的参考图像0)预测当前图像262中的当前块。组合的双向预测合并候选组合第一和第二运动候选以形成双向预测运动向量，该双向预测运动向量的运动向量指向每个列表中的参考块。通过对两个运动向量所指向的两个参考块求平均，可以得出此组合的双向预测运动候选的预测子。图2中的更新的候选列表24包括该组合的双向预测运动候选作为第三运动候选(MergeIdx＝2)。
通过缩放另一列表中的原始单向预测合并候选来创建缩放的双向预测合并候选。例如，一个原始候选在列表X中具有运动向量mvLX，在列表X中具有参考图像索引refIdxLX，用于创建双预测合并候选，其中X为0或1。图3示出了导出按比例缩放的双向预测合并候选，其中原始合并候选列表32仅具有两个运动候选。当前图像360中的当前块的第一运动候选(MergeIdx＝0)是列表0单向预测运动候选，以及运动向量mvL0_A和指向参考图像L0R0 362中的参考块的参考图像索引ref0。为了构建缩放的双向预测合并候选，首先将参考图像ref0复制到列表1中的参考图像索引ref0'中，然后通过使用参考图像ref0和参考图像ref0'缩放运动向量mvL0_A来计算缩放后的运动向量mvL0'_A。缩放后的运动向量mvL0'_A和参考图像索引ref0'指向参考图像L1R0 364中的参考块。双向预测合并候选(其列表0中具有(mvL0_A，ref0)且列表1中具有(mvL0'_A，ref0'))被创建并被添加到合并候选列表的第三位置(即MergeIdx＝2)。类似地，将从第二运动候选(MergeIdx＝1)得到的按比例缩放的双向预测合并候选插入到合并候选列表的第四位置(即，MergeIdx＝3)。第二运动候选是列表0的单向预测运动候选。缩放后的双向预测合并候选在列表0中具有(mvL1’_A，ref1’)，在列表1中具有(mvL1_A，ref1)，指向参考图像L0R1 366和L1R1 368中的两个参考块。
通过组合零向量以及参考参考索引来创建零向量合并/AMVP候选。图4示出了当仍然存在一个或多个空位置并且如果零向量候选没有被复制时在合并候选列表或AMVP候选列表中插入零向量合并候选的示例。
图像内预测模式传统上，对于以图像内预测模式编解码的当前块，帧内预测方法仅利用与当前块相邻的一个参考层和帧内预测模式之一来生成当前块的预测子。HEVC标准支持35种帧内预测模式，包括33种角度模式(angular mode)、DC模式和平面(Planar)模式。图5示出了用于HEVC标准的33个角帧内预测模式的预测方向，其中，H表示水平方向模式，V表示垂直方向模式。从35个帧内预测模式中选择的帧内预测模式被明确地发信或从当前块的上方和左侧相邻块的先前解码的模式推断出。两个相邻块的帧内预测模式包括在三个最可能模式(MPM)的集合中。发信第一MPM标志以指示所选模式是否与三个MPM之一相同，如果是，则发信另一个标志以指示三个MPM中的哪个被选择；如果第一MPM标志为假，则使用5比特固定长度码字明确地发信所选择的帧内预测模式，以从其余32个非MPM模式中选择一个模式。
图5所示的33个角度模式可以扩展到具有更多或更少角度模式的一般情况，其中每个角度模式可以由模式H+k或模式V+k表示，其中H代表水平模式的方向，V代表垂直模式的方向，k＝0，+-1，+-2，..+-K。例如，如果将65个角度模式用于帧内预测，则k的范围从-16到16，并且模式H-16和模式V-16是同一模式，因为此模式指示从当前块的左上角到中心的预测方向。
【发明内容】
在视频编码或解码系统中的视频数据处理方法，其利用最终预测子来预测当前视频图像中的当前块，该方法包括：接收与当前块相关联的输入数据，根据从第一候选列表中选择的一个候选生成当前块的运动补偿的预测子，生成当前块的第二预测子，通过组合运动补偿预测子和第二预测子来生成最终预测子，并根据最终预测子对当前块进行编码或解码。第一候选列表包括对第一候选列表中的多个现有候选的运动信息求平均得到的平均候选。
在一些实施例中，当前块可以用合并、跳过或帧内模式编解码。
在构建第一候选列表的实施例中，子PU模式的合并候选被从第一候选列表中排除。在构造第一候选列表的另一实施例中，检查第一候选列表中的候选的相似性以便从第一候选列表中去除具有相似运动信息的一个或多个候选。
在一些实施例中，第一候选列表的大小等于固定候选列表的大小，并且该方法还包括：当第一候选列表中的候选的数量小于固定候选列表时，包括一个或多个附加候选以填充第一候选列表的一个或多个空位置。从组合的合并候选、缩放的合并候选和零向量合并候选中的一个或组合中选择一个或多个附加的候选。在一个实施例中，平均候选是附加候选，并且当第一候选列表的大小小于固定候选列表大小时包括平均候选以填充第一候选列表中的空白位置。在另一个实施例中，固定候选列表大小被定义为固定值，或者以CU、CTU、切片、图块、图块组、图像、序列参数集(SPS)或图像参数集(PPS)级别发信。
在一些实施例中，平均候选的运动向量(MV)是通过利用相应的权重平均两个现有候选的MV得出的。权重是固定的或通过相应MV的属性来更改的，或者权重是在CU、CTU、切片、图块、图块组、图像、序列参数集(SPS)或图像参数集(PPS)级别发信的。在另一实施例中，根据当前块的块高度和块宽度来确定权重，并且当块高度大于块宽度时，将更大的权重应用于与左相邻块相对应的MV。在一个实施例中，平均候选是从具有相同参考图像的现有候选的运动信息中得出的。
根据一些实施例，通过来自合并或跳过模式的运动补偿来生成当前块的第一预测子；第一预测子是根据从第一候选列表中选择的一个候选生成的。在一个实施例中，第一候选列表包括从对第一候选列表中的多个现有候选的运动信息求平均得到的平均候选。平均候选的MV是通过对第一候选列表中两个现有候选的MV进行权重得到的平均值得出的。在示例性实施例中，根据从第一候选列表中选择的候选，通过单向预测或双向预测来生成当前块的运动补偿预测子。
根据一些实施例，通过来自合并或跳过模式的运动补偿来生成当前块的第二预测子；第二预测子是根据从第一候选列表或第二候选列表中选择的一个候选生成的。在一个实施例中，第二候选列表包括从对第二候选列表中的多个现有候选的运动信息求平均得到的平均候选。第二列表中的平均候选的MV是通过对第一或第二候选列表中的两个现有候选的MV进行权重平均得到的。例如，从第一候选列表中选择第一预测子，并从同一第一候选列表中选择第二预测子。在此示例中，共享的候选列表同时用于第一和第二预测子。在另一个示例中，从第一候选列表中选择第一预测子，而从第二候选列表中选择第二预测子。第一候选列表包括从第一候选列表中的两个现有候选导出的平均候选，第二候选列表包括从第一候选列表中的两个现有候选导出的平均候选。在示例性实施例中，根据从第一候选列表中选择的候选，通过单向预测来生成当前块的运动补偿预测子，并且还根据从第一候选列表或第二候选列表中选择出的一个候选，通过单向预测来生成当前块的第二预测子。在另一实施例中，根据从第一候选列表中选择的候选，通过单向预测或双向预测来生成当前块的运动补偿预测子。
根据一些其他实施例，通过帧内预测模式生成当前块的第二预测子，并且根据各种实施例确定帧内预测模式。在一个实施例中，帧内预测模式是从列表中选择的，并且列表中的帧内预测模式的数量可以根据当前块的块宽度、块高度或块大小来确定。在另一实施例中，从列表中选择帧内预测模式，并且根据当前块的块宽度和块高度确定列表中的帧内预测模式。在另一实施例中，帧内预测模式选自{平面，DC，水平，垂直}的任何子集，诸如{平面，DC}或{平面}。
本公开的各方面还提供一种用于在视频编码或解码系统中使用最终预测子预测当前视频图像中的当前块的视频数据处理的设备。该装置包括一个或多个电子电路，其被配置用于接收当前块的输入数据，根据从第一候选列表中选择的一个候选，为当前块生成运动补偿预测子，为当前块生成第二预测子，通过组合运动补偿预测子和第二预测子生成最终预测子，并根据最终预测子对当前块进行编码或解码。第一候选列表包括从对第一候选列表中的多个现有候选的运动信息求平均的平均候选。
本公开的方面还提供了一种非挥发性计算机可读介质，其存储用于使装置的处理电路执行视频处理方法以对当前块进行编码或解码的程序指令。通过组合包括从第一候选列表导出的运动补偿预测子的多个预测子来生成最终预测子。第一候选列表包括通过对两个或更多个MV求平均而得到的平均候选。通过阅读下面对具体实施例的描述，本发明的其他方面和特征对于本领域技术人员将变得显而易见。
【附图说明】
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中：
图1示出了用于构造用于HEVC标准中定义的AMVP模式、跳过模式或合并模式的候选列表的空间候选和时间候选的位置。
图2示出了从在合并候选列表中已经存在的两个现有的单向运动候选中导出组合的双向预测合并候选的示例。
图3示出了从合并候选列表中已经存在的两个现有的单向运动候选中推导两个缩放的双向预测合并候选的示例。
图4示出了导出用于合并候选列表和AMVP候选列表的零向量合并候选和零向量AMVP候选的示例。
图5示出了HEVC标准中支持的33个角度帧内预测模式。
图6是说明用于通过从运动补偿预测子和第二预测子生成最终预测子来处理当前块的视频编解码系统的实施例的流程图。
图7示出了根据本发明实施例的，结合了视频处理方法的视频编码系统的示例性系统框图。
图8示出了根据本发明实施例的，结合了视频处理方法的视频解码系统的示例性系统框图。
【具体实施方式】
在下面的详细描述中，通过示例的方式阐述了组件和方法的许多具体细节，以提供对本发明的透彻理解。在本文的附图中总体上描述和示出的本发明的选定实施例可以以各种不同的配置来布置、设计和扩展。基于本文描述的教导的任何变化、导出或扩展都在本发明的保护范围内。在一些情况下，可以在不给出细节的情况下描述与本文公开的一个或多个实施例有关的众所周知的方法或组件。
本发明的实施例提供了通过组合用于编码或解码当前块的多个预测子来生成最终预测子的新方法。一个预测子是通过帧间预测生成的，而另一个预测子是通过帧内预测或帧间预测生成的。在各种不同的实施例中，当前块是PU、叶CU或子块。组合多个预测子的新方法在本公开中被称为多假设(Multi-Hypothesis，简写为MH)模式。MH模式通过组合来自不同假设的多个预测子来提高传统帧间预测的预测准确性。MH模式是在“跳过”、“合并”或“内部”模式下应用的改进方法。根据本发明的各个实施例，通过合并多个预测子预测的当前块用合并、跳过或帧内模式编解码。
为了根据本发明的一些优选实施例，使用MH模式对当前块进行编码或解码，通过合并或跳过模式导出用于MH模式的第一预测子。一个合并索引用于从合并候选列表中选择一个运动候选，以产生第一预测子。在一个实施例中，第一预测子是根据所选运动候选通过单向预测或双向预测生成的运动补偿预测子。在另一实施例中，为了减少计算复杂度，只能通过单向预测来生成第一预测子。所产生的运动补偿预测子被称为MH模式的第一假设。通过从合并或跳过模式进行运动补偿来生成第二预测子，或者通过从帧内预测通过帧内预测模式来生成第二预测子。第二预测子称为MH模式的第二假设。
当支持多重假设模式时，一个或多个多重假设候选可用于跳过、合并或内部模式。当通过帧内预测模式生成第二假设时，将多假设模式称为帧内MH模式，当通过合并或跳过模式通过运动补偿生成第二假设时，将多假设模式称为合并MH模式(MH mode for Merge)。以下实施例假定使用两个假设来产生最终预测子。然而，这些实施例可以扩展到具有两个以上假设的多假设模式。
MH模式的第一预测子是从自第一候选列表候选列表I(Candidate List I)中选择的运动候选导出的。候选列表I的组成可以根据一个实施例去使用与正常合并模式(normalMerge mode)相同的候选列表，或者，根据一些其他实施例去使用与正常的合并模式不同的候选列表，可以归因于与合并候选的可用类型或合并候选的相似性相关的一个或多个设定。在构造第一候选列表时，与合并候选的可用类型有关的一个设置示例不包括子PU模式的合并候选，因此任何子PU模式的合并候选均不包括在候选列表I内。当为MH模式构造第一候选列表时，与合并候选的相似性相关的一个设置示例排除具有相似运动信息的合并候选。在用于合并的MH模式的情况下，可以从自第二候选列表中选择的运动候选中导出第二预测子，并且第二候选列表的组成也可以遵循相同的设置以排除一个或多个合并候选。在一个实施例中，使用从第一候选列表中选择的运动候选通过单向预测生成当前块的第一预测子，并且使用从第二候选列表中选择的运动候选通过单向预测生成用于当前块的第二预测子。通过组合第一预测子和第二预测子，生成当前块的最终预测子。
当第一候选列表中的可用候选的数目小于固定候选列表大小时，应用一些机制来以预定规则中的新的合并候选填充第一候选列表。固定候选列表大小预定义为固定值，或以CU、CTU、切片、图块、图块组、图像、序列参数集(SPS)或图像参数集(PPS)级别进行发信，以防止解析错误传播。在一些实施例中，用于添加一个或多个新的合并候选的预定义规则与HEVC标准中使用的规则相同。例如，当第一候选列表中至少有一个空位置时，将组合的合并候选、缩放的合并候选或零向量合并候选中的一个或组合添加到第一候选列表。在一些其他实施例中，预定义规则通过对第一候选列表中的现有合并候选的运动信息求平均来生成要包括在第一候选列表中的一个或多个平均候选。可以根据以下等式来计算预定义列表(例如，列表0和/或列表1)内的平均候选MVavg的运动向量(MV)：
MVavg＝Wi*MVi+Wj*MVj,
其中，MVi和MVj是第一候选列表中现有候选的预定义列表中的MV，以形成具有相应权重Wi和Wj的平均候选。在一个实施例中，可以使用平均候选来生成一个或多个假设，即，第一预测子和第二预测子中的一个或两个是由选自包括一个或多个平均候选的候选列表中的运动候选导出的。
用于生成平均候选的权重Wi和Wj是固定的或者随相应MV的属性而改变，或者权重在CU、CTU、切片、图块、图块组、图像、序列参数集(SPS)或图像参数集(PPS)级别中发信。例如，两个权重Wi和Wj相等。在另一示例中，如果当前块的块高度大于块宽度，则从当前块的左相邻块导出的MV具有比另一MV更大的权重。类似地，如果块宽度大于块高度，则从当前块的上方相邻块导出的MV具有更大的权重。在一些实施例中，应用一些设置以生成要包括在候选列表中的一个或多个平均候选。例如，仅允许具有相同参考图像的候选被平均以生成平均候选。可以在来自正常合并模式的候选之后或在来自正常合并模式的候选之前插入用于合并的MH模式的一个或多个新候选。在一个实施例中，将平均候选插入第一候选列表中的预定位置。可以通过修剪过程检查候选列表中的一个或多个现有运动候选与一个或多个新候选，以消除候选列表中的冗余。
对于用于帧内的MH模式，通过组合运动补偿预测子和帧内预测子来得出最终预测子。通过根据运动候选的运动补偿来生成运动补偿预测子，并且根据根据帧内预测模式的帧内预测来生成帧内预测子。在一个实施例中，一种运动候选在视频编码器处与一种或多种帧内预测模式匹配，并且视频编码器通过编码模式决策来确定一个运动候选和匹配的帧内预测模式之一以用于预测当前块。在一实施例中，指示当前块的所选运动候选和所选帧内预测模式的语法元素被发信至视频解码器。在另一实施例中，指示当前块的所选运动候选的语法元素被发信给视频解码器，并且帧内预测模式在没有任何语法元素的情况下选择。视频解码器解析并解码当前块的所选运动候选和帧内预测模式中的至少一个，以重构当前块的最终预测子。
导出当前块的帧内预测子的一些实施例从第二候选列表候选列表II中选择帧内预测模式。根据各种实施例，候选列表II中的帧内预测模式的数量(表示为N)可以用隐式标准(implicit criteria)来改变。隐式标准的一些示例根据当前块的块宽度、块高度或块大小来确定候选列表II中的帧内预测模式的数量。在一个实施例中，针对面积小于特定阈值的块，减少了第二候选列表中的帧内预测模式的数量。那些小块的第二候选列表中的帧内预测模式是较大块的原始帧内预测模式的子集。例如，大于或等于阈值的块的原始候选列表II包括四个帧内预测模式{平面，DC，水平，垂直}，而小于阈值的块的简化候选列表II是以上原始候选列表II中的四种帧内预测模式的子集，例如{平面，DC}或{平面}。在另一实施例中，从第二候选列表中选择当前块的帧内预测模式，并且根据当前块的块宽度和块高度来确定第二候选列表中的帧内预测模式。在一些实施例中，第二候选列表可以是{平面，DC，水平，垂直}的任何子集，诸如{平面，DC}或{平面}。在另一个实施例中，当当前块的长边(表示为L)和短边(表示为S)满足以下条件时，改变第二候选列表中的帧内预测模式的数量：
L>T*S,
其中T是一个正数，例如1、2或4。对于满足上述条件的那些块，如果长边是块的宽度，则垂直方向模式的数量大于水平方向模式的数量，否则，水平方向模式的数量大于垂直方向模式的数量。例如，如果满足上述条件并且长边是块的宽度，则从候选列表II中删除水平模式，该列表用于为当前块生成第二个预测子。类似地，如果满足上述条件并且长边是块的高度，则从用于生成第二预测子的候选列表II中删除垂直模式。
上面描述的用于生成多假设模式的预测子或假设的方法可以应用于用于合并的MH模式或用于帧内的MH模式。例如，当仅第一预测子从合并或跳过模式导出时，从包括一个或多个平均候选的第一候选列表生成第一预测子。在另一个示例中，当第一预测子和第二预测子均来自合并或跳过模式时，第一预测子和第二预测子均从包括一个或多个平均候选的候选列表生成。
用于预测当前块的最终预测子是通过权重平均来组合第一和第二预测子而生成的。当根据从空间相邻的块导出的运动候选通过运动补偿来生成第一预测子和第二预测子时，可以根据当前块与那些空间相邻的块之间的像素距离来给出第一预测子和第二预测子的权重。例如，较高的权重分配给较短的像素距离，而较低的权重分配给较长的距离。通过视频编码器侧的运动向量竞争(Motion Vector Competition，简写为MVC)(例如速率失真优化(RDO)决策)或视频解码器侧的视频比特流中传输的索引，从第一候选列表中选择的候选导出第一预测子。如果第二预测子是运动补偿预测子，则第二预测子是通过视频编码器侧的MVC或视频解码器侧的视频比特流中传输的索引从第一或第二候选列表中选择的候选导出的。换言之，根据一个实施例，当第一预测子和第二预测子都是运动补偿预测子时，使用从相同候选列表中选择的候选来导出第一预测子和第二预测子。根据另一实施例，使用从不同候选列表中选择的候选来推导第一和第二预测子中的每一个。对于在合并模式下编解码的当前块，发信指示用于导出第一预测子的所选候选的索引、指示用于导出第二预测子的所选候选的索引以及当前块的预测残差。而对于以跳过模式编解码的当前块，仅发信用于导出第一和第二预测子的所选候选的索引。在一些其他实施例中，第二预测子是从在视频编码器侧确定的或在视频解码器侧确定的帧内预测模式导出的，对于在合并模式下编解码的当前块，发信指示用于导出第一预测子的所选候选的索引以及当前块的预测残差，和/或对于在跳过模式下编解码的当前块，仅发信指示所选候选的索引。
图6概念性地示出了用于处理由多个预测子预测的当前块的视频编码或解码系统的示例性流程图。与当前块相关联的当前MV由从多个预测子导出的最终预测子编解码。图6中所示的示例性实施例从两个预测子导出最终预测子。视频编码或解码系统在步骤S602中接收当前视频图像中的当前块的输入数据，并在步骤S604中根据从第一候选列表中选择的候选，通过帧间预测来生成当前块的运动补偿预测子。第一候选列表包括从对第一候选列表中的多个现有候选的运动信息求平均的平均候选。在一个实施例中，仅当第一候选列表中的候选的数目小于固定候选列表大小时才计算平均候选并将其添加到第一候选列表。根据一些实施例，平均候选的MV是从具有对应权重的两个现有候选的MV得出的，并且权重可以是固定的或根据对应MV的属性而改变。在另一个实施例中，在CU、CTU、切片、图块、图块组、图像、SPS或PPS级来发信权重。在步骤S606中生成当前块的第二预测子，并且根据一个实施例第二预测子是通过帧间预测生成的运动补偿预测子或根据另一实施例的通过帧内预测生成的帧内预测子。可以切换步骤S604和S606的处理顺序，或者可以同时执行两个步骤。在步骤S608中，视频编码或解码系统通过组合运动补偿预测子和第二预测子来生成最终预测子，并在步骤S610中根据最终预测子对当前块进行编码或解码。
用于在多个预测子的基础上产生最终预测子的前述提出的视频处理方法可以在视频编码器或解码器中实现。例如，在编码器或解码器的帧间预测模块、帧内预测模块、运动补偿模块和合并候选导出模块中的一个或组合中实现了所提出的视频处理方法。可替代地，任何所提出的方法被实现为与编码器或解码器的帧间预测模块、帧内预测模块、运动补偿模块、合并候选导出模块之一或其组合耦合的电路，从而提供模块所需信息。图7示出了能够实现本发明的各种实施例的视频编码器700的示例性系统框图。帧内预测模块710基于当前图像的重构视频数据来提供帧内预测子。帧间预测模块712基于来自一个或多个参考图像的视频数据执行运动估计(ME)和运动补偿(MC)以提供帧间预测子。为了根据本发明的一些实施例在图像间预测中对当前块进行编码，基于多个预测子来生成最终预测子，并且从自第一候选列表中选择的候选中推导出一个预测子。第一候选列表包括通过对第一候选列表中的多个现有候选的运动信息求平均而获得的平均候选。帧间预测模块712从第一候选列表确定候选以导出当前块的运动补偿的预测子。在一些实施例中，帧间预测模块712还通过运动补偿来导出第二预测子，并且在一些其他实施例中，帧内预测模块710通过帧内预测来导出第二预测子。帧间预测模块712通过组合运动补偿的预测子和第二预测子来生成用于预测当前块的最终预测子。帧间预测模块712将当前块的最终预测子提供给加法器716以形成预测误差，也称为预测残差。根据不同实施例的生成组合预测子的不同方式，开关714选择帧内预测子或帧间预测子。如果当前块在跳过模式下编解码，则预测残差设置为零。当当前块未被以跳过模式编解码时，当前块的预测残差由变换模块(T)718，随后由量化模块(Q)720进一步处理。经变换和量化的残差信号然后由熵编码器732进行编码以形成视频比特流。然后，将视频比特流与辅助信息(side information)打包在一起。逆量化模块(IQ)722和逆变换模块(IT)724对当前块的经变换和量化的残差信号进行处理以恢复预测残差。如图7所示，通过在重构模块(REC)726处将预测残差加回到所选择的预测子来将其恢复，以产生重构的视频数据。重构的视频数据可以被存储在参考图像缓冲器730中，并且被用于其他图像的预测。从重构模块726中恢复的重构视频数据可能由于编码处理而遭受各种损害；因此，在将重构的视频数据存储到参考图像缓冲器730中之前，对其应环路处理滤波器(In-loop Processing Filter)(图中示为滤波器)728，以进一步提高图像品质。
在图8中示出了用于解码从图7的视频编码器700生成的视频比特流的对应的视频解码器800。视频比特流是视频解码器800的输入，并且由熵解码器810解码以解析和恢复经过变换和量化的残差信号以及其他系统信息。解码器800的解码过程类似于编码器700处的重构循环，除了解码器800仅需要帧间预测模块814中的运动补偿预测。每个块都由帧内预测模块812或帧间预测模块814解码。开关816根据解码的模式信息，选择来自帧内预测模块812的帧内预测子或来自帧间预测模块814的帧间预测子。当当前块由使用多个预测子组合的最终预测子预测时，帧间预测模块814使用从第一候选列表中选择的候选来生成第一预测子。第一候选列表包括通过对第一候选列表的多个现有运动候选的运动信息求平均而获得的平均候选。第二预测子是由帧内预测模块812生成的帧内预测子或由帧间预测模块814生成的另一运动补偿的预测子。帧间预测模块814基于第一和第二预测子得出当前块的最终预测子。与当前块相关联的经变换和量化的残差信号由逆量化模块(IQ)820和逆变换模块(IT)822恢复。通过在REC模块1118中将最终的预测子加回去，来重构恢复的残差信号，以产生重构的视频。重构的视频由环路处理滤波器(滤波器)824进一步处理以生成最终的解码视频。如果当前解码的图像是按解码顺序的后续图像的参考图像，则当前解码图像的重构视频也存储在参考图像缓冲器826中。
图7和图8中的视频编码器700和视频解码器800的各种组件可以通过硬件组件、配置为执行存储在存储器中的程序指令的一个或多个处理器，或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制对与当前视频图像中的当前块相关联的输入数据的接收。处理器配备有一个或多个处理核心。在一些示例中，处理器执行程序指令以执行编码器700和解码器800中的某些组件中的功能，并且与处理器电耦合的存储器用于存储程序指令、与块的重构图像相对应的信息和/或编码或解码过程中的中间数据。在一些实施例中，存储器包括非挥发性计算机可读介质、例如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储介质。存储器也可以是上面列出的两个或多个非挥发性计算机可读介质的组合。参照图7和图8所示，编码器700和解码器800可以在同一电子设备中实现，因此，如果在同一电子设备中实现，则编码器700和解码器800的各种功能组件可以被共享或重用。
用于编码或解码的视频处理方法的实施例可以在集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码中执行，以执行上述处理。例如，可以在要在计算机处理器，数字信号处理器(DSP)、微处理器或现场可程序化门阵列(FPGA)上执行的程序代码中实现为当前块生成最终预测子。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。
在整个说明书中，对“一个实施例”、“一些实施例”或类似语言的引用意味着结合这些实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在一些实施例中”并不一定全都指同一实施例，这些实施例可以单独实现或与一个或多个其他实施例结合实现。此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。但是，相关领域的技术人员将认识到，可以在没有一个或多个特定细节的情况下，或者在没有其他具体方法、组件等的情况下实践本发明。在其他情况下，未详细示出或描述公知的结构或操作，以避免模糊本发明的方面。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是前述描述来指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (20)

1.一种在视频编码或解码系统中处理视频数据的方法，包括：
接收与当前视频图像中的当前块相关联的输入数据；
根据从第一候选列表中选择的一个候选生成该当前块的运动补偿预测子，其中，该第一候选列表包括对该第一候选列表中多个现有候选的运动信息进行平均得到的平均候选；
为该当前块生成第二预测子；
通过组合该运动补偿预测子和该第二预测子，生成该当前块的最终预测子；以及根据该最终预测子对该当前块进行编码或解码。
2.根据权利要求1所述的方法，其中该第一候选列表排除子预测单元模式的合并候选。
3.根据权利要求1所述的方法，其进一步包含检查该第一候选列表中的候选的相似性且从该第一候选列表中移除具有相似运动信息的一个或一个以上候选。
4.根据权利要求1所述的方法，其中，当该第一候选列表中的候选的数量小于固定候选列表大小时，该第一候选列表包括一个或多个附加候选以填充一个或多个空位置，并且该一个或多个附加候选从组合的合并候选、缩放的合并候选和零向量合并候选中的一个或组合中选择。
5.根据权利要求1所述的方法，其中，当该第一候选列表中的候选的数目小于固定候选列表大小时，包括该平均候选以填充该第一候选列表中的空白位置。
6.根据权利要求1所述的方法，其中，该平均候选MVavg的运动向量是从两个现有候选MVi和MVj的运动向量以对应的权重Wi和Wj得出的。
7.根据权利要求6所述的方法，其中，权重是固定的或通过相应的运动向量的属性来改变的。
8.根据权利要求6所述的方法，其中，在编解码单元、编解码树单元、切片、图块、图块组、图像、序列参数集或图像参数集级别发信权重。
9.根据权利要求6所述的方法，其中，根据该当前块的块高度和块宽度来确定权重，并且当该块高度大于该块宽度时，将更大的权重应用于对应于左相邻块的运动向量。
10.根据权利要求1所述的方法，其中，该平均候选是从对具有相同参考图像的该多个现有候选的运动信息求平均而得出的。
11.根据权利要求1所述的方法，其中，用于该当前块的该第二预测子是通过来自合并或跳过模式的运动补偿来生成的。
12.根据权利要求11所述的方法，其中，根据从该第一或第二候选列表中选择的一个候选来生成该第二预测子，并且该第二候选列表包括从该第一或第二候选列表中多个现有候选的运动信息进行平均得到的平均候选。
13.根据权利要求12所述的方法，其中，该第二候选列表中的该平均候选MVavg的运动向量是将该第二候选列表中的两个现有候选MVi和MVj的运动向量以对应的权重Wi和Wj平均得出的。
14.根据权利要求11所述的方法，其中，根据从该第一候选列表中选择的候选，通过单向预测生成用于该当前块的该运动补偿预测子，并且根据从该第一或第二候选列表中选择的一个候选，通过单向预测生成用于该当前块的该第二预测子。
15.根据权利要求1所述的方法，其中，根据从该第一候选列表中选择的候选，通过单向预测或双预测来生成该当前块的该运动补偿预测子。
16.根据权利要求1所述的方法，其中，用于该当前块的该第二预测子是通过帧内预测模式生成的。
17.根据权利要求16所述的方法，其中，从候选列表中选择该帧内预测模式，并且根据该当前块的块宽度、块高度或块大小来确定该候选列表中的帧内预测模式的数量。
18.根据权利要求16所述的方法，其中，从候选列表中选择该帧内预测模式，并且根据该当前块的块宽度和块高度来确定该候选列表中的帧内预测模式。
19.一种在视频编码或解码系统中处理视频数据的装置，该设备包括一个或多个电子电路，其被配置用于：
接收与当前视频图像中的当前块相关联的输入数据；
根据从第一候选列表中选择的一个候选生成该当前块的运动补偿预测子，其中，该第一候选列表包括对该第一候选列表中多个现有候选的运动信息进行平均得到的平均候选；
为该当前块生成第二预测子；
通过组合该运动补偿预测子和该第二预测子，生成该当前块的最终预测子；以及
根据该最终预测子对该当前块进行编码或解码。
20.一种非挥发性计算机可读介质，其存储使装置的处理电路执行视频处理方法的程序指令，该方法包括：
接收与当前视频图像中的当前块相关联的输入数据；
根据从第一候选列表中选择的一个候选生成该当前块的运动补偿预测子，其中，该第一候选列表包括对该第一候选列表中多个现有候选的运动信息进行平均得到的平均候选；
为该当前块生成第二预测子；
通过组合该运动补偿预测子和该第二预测子，生成该当前块的最终预测子；以及
根据该最终预测子对该当前块进行编码或解码。
CN201980059945.1A 2018-09-17 2019-09-17 在视频编解码系统中处理视频数据的方法和装置 Active CN112689998B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862732019P 2018-09-17 2018-09-17
US62/732,019 2018-09-17
PCT/CN2019/106201 WO2020057504A1 (en) 2018-09-17 2019-09-17 Methods and apparatuses of combining multiple predictors for block prediction in video coding systems

Publications (2)

Publication Number Publication Date
CN112689998A true CN112689998A (zh) 2021-04-20
CN112689998B CN112689998B (zh) 2023-12-01

Family

ID=69888350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059945.1A Active CN112689998B (zh) 2018-09-17 2019-09-17 在视频编解码系统中处理视频数据的方法和装置

Country Status (5)

Country Link
US (1) US11997311B2 (zh)
EP (1) EP3850837A4 (zh)
CN (1) CN112689998B (zh)
TW (1) TWI729497B (zh)
WO (1) WO2020057504A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262694A1 (en) * 2021-06-15 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264276B2 (en) * 2011-06-14 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information and method and apparatus for decoding same
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320969A1 (en) * 2011-06-20 2012-12-20 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
WO2013002557A2 (ko) * 2011-06-27 2013-01-03 삼성전자 주식회사 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2013012867A2 (en) * 2011-07-20 2013-01-24 Qualcomm Incorporated Buffering prediction data in video coding
US20130195189A1 (en) * 2012-01-31 2013-08-01 Qualcomm Incorporated Implicit derivation of parallel motion estimation range size
CN103891290A (zh) * 2011-08-19 2014-06-25 瑞典爱立信有限公司 运动矢量处理
WO2015192353A1 (en) * 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
WO2016078511A1 (en) * 2014-11-18 2016-05-26 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
US20170150173A1 (en) * 2011-06-30 2017-05-25 JVC Kenwood Corporation Picture encoding device, picture encoding method, picture encoding program, picture decoding device, picture decoding method, and picture decoding program
US20180020218A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018127188A1 (en) * 2017-01-06 2018-07-12 Mediatek Inc. Multi-hypotheses merge mode
US20180205946A1 (en) * 2017-01-13 2018-07-19 Qualcomm Incorporated Coding video data using derived chroma mode

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774272B1 (en) * 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
JP5100495B2 (ja) * 2008-05-09 2012-12-19 株式会社東芝 画像処理装置
US9445121B2 (en) * 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
KR101441905B1 (ko) 2009-11-18 2014-09-24 에스케이텔레콤 주식회사 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8315310B2 (en) * 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
BR112012019560B1 (pt) 2010-02-05 2021-08-24 Telefonaktiebolaget Lm Ericsson Método para gerenciar candidatos a vetor de movimento predito, e, aparelhos de codificação e de decodificação de vídeo
SG194746A1 (en) * 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
PL2728878T3 (pl) * 2011-06-30 2020-06-15 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
CN104185988B (zh) * 2011-11-08 2019-05-10 韩国电子通信研究院 用于共享候选者列表的方法和装置
JP6441236B2 (ja) * 2013-12-19 2018-12-19 シャープ株式会社 画像復号装置及び画像符号化装置
JP6574976B2 (ja) * 2014-03-18 2019-09-18 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2016137166A1 (ko) * 2015-02-23 2016-09-01 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017105097A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
US10567768B2 (en) * 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
WO2019210829A1 (en) * 2018-04-30 2019-11-07 Mediatek Inc. Signaling for illumination compensation
US11051010B2 (en) * 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
US20200120339A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra Prediction For Multi-Hypothesis
KR20230128587A (ko) * 2018-10-27 2023-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
CN113678434B (zh) * 2018-11-14 2024-06-28 腾讯美国有限责任公司 视频编解码的方法和装置
US20200162737A1 (en) * 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US10917636B2 (en) * 2018-12-03 2021-02-09 Tencent America LLC Method and apparatus for video coding
WO2020123998A1 (en) * 2018-12-13 2020-06-18 Tencent America LLC Video decoding by determining block reconstruction based on signaling information
CN112584177B (zh) * 2018-12-28 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
US11178414B2 (en) * 2019-02-27 2021-11-16 Mediatek Inc. Classification for multiple merge tools
JP7401556B2 (ja) * 2019-03-23 2023-12-19 華為技術有限公司 イントラ予測のためのエンコーダ、デコーダおよび対応する方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320969A1 (en) * 2011-06-20 2012-12-20 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
WO2013002557A2 (ko) * 2011-06-27 2013-01-03 삼성전자 주식회사 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20170150173A1 (en) * 2011-06-30 2017-05-25 JVC Kenwood Corporation Picture encoding device, picture encoding method, picture encoding program, picture decoding device, picture decoding method, and picture decoding program
WO2013012867A2 (en) * 2011-07-20 2013-01-24 Qualcomm Incorporated Buffering prediction data in video coding
CN103891290A (zh) * 2011-08-19 2014-06-25 瑞典爱立信有限公司 运动矢量处理
US20130195189A1 (en) * 2012-01-31 2013-08-01 Qualcomm Incorporated Implicit derivation of parallel motion estimation range size
WO2015192353A1 (en) * 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
WO2016078511A1 (en) * 2014-11-18 2016-05-26 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
US20180020218A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018127188A1 (en) * 2017-01-06 2018-07-12 Mediatek Inc. Multi-hypotheses merge mode
US20180205946A1 (en) * 2017-01-13 2018-07-19 Qualcomm Incorporated Coding video data using derived chroma mode

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIH-WEI HSU ET AL: "Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11" *
王晨;周军;宋利;熊红凯;: "H.264帧内方向预测增强模式", 上海交通大学学报, no. 05, pages 6 - 12 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262694A1 (en) * 2021-06-15 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Also Published As

Publication number Publication date
EP3850837A1 (en) 2021-07-21
EP3850837A4 (en) 2022-06-01
CN112689998B (zh) 2023-12-01
TWI729497B (zh) 2021-06-01
TW202021361A (zh) 2020-06-01
US20210314602A1 (en) 2021-10-07
US11997311B2 (en) 2024-05-28
WO2020057504A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
US11070821B2 (en) Side information signaling for inter prediction with geometric partitioning
KR102662449B1 (ko) 디코더 측 정제 툴들의 크기 선택 적용
CN112400319B (zh) 一种视频编码/解码方法及装置
TWI792152B (zh) 視訊編解碼系統中的視訊處理方法和裝置
CN110944172B (zh) 一种帧间预测方法和装置
US20200014931A1 (en) Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
CN113141783B (zh) 一种视频编解码方法及电子装置
US11240524B2 (en) Selective switch for parallel processing
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
WO2019244054A1 (en) Generalized mvd resolutions
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
KR20220030995A (ko) 비디오 코딩에서 변환 블록 크기 제한
US11956431B2 (en) Conditional application of inter prediction with geometric partitioning in video processing
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
JP2022535903A (ja) 映像符号化のための動き候補リストの構成
CN112689998B (zh) 在视频编解码系统中处理视频数据的方法和装置
JP2022535544A (ja) 隣接ブロック情報を用いる動き候補リスト構築
US20240357157A1 (en) Selective application of decoder side refining tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220426

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant