CN113366845A - 视频编码中结合帧间和帧内预测的方法和装置 - Google Patents

视频编码中结合帧间和帧内预测的方法和装置 Download PDF

Info

Publication number
CN113366845A
CN113366845A CN202080011842.0A CN202080011842A CN113366845A CN 113366845 A CN113366845 A CN 113366845A CN 202080011842 A CN202080011842 A CN 202080011842A CN 113366845 A CN113366845 A CN 113366845A
Authority
CN
China
Prior art keywords
prediction
current block
region
candidates
candidate list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080011842.0A
Other languages
English (en)
Inventor
江嫚书
徐志玮
庄子德
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
联发科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 联发科技股份有限公司 filed Critical 联发科技股份有限公司
Publication of CN113366845A publication Critical patent/CN113366845A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

公开了一种用于视频编解码的预测方法和装置。根据一种方法，使用从包括三角形分区的分区集合中选择的目标分区将块分区为第一和第二区域。通过包括来自HMVP缓冲器的至少一个HMVP(基于历史的运动向量预测)候选，来为已分区的当前块确定合并候选列表，其中，HMVP缓冲器存储先前编解码的块的运动信息。使用合并候选列表对分区的当前块或与分区的当前块相关联的当前运动信息进行编码或解码，其中合并候选列表用于导出第一区域的第一候选和第二区域的第二候选。在另一种方法中，在编码器侧发信或是在解码器侧解析是否对当前块应用三角形CIIP(帧间/帧内组合预测)。

Description

视频编码中结合帧间和帧内预测的方法和装置
【相关申请的交叉引用】
本发明要求2019.1.31日申请的美国临时专利申请No.62/799,127和2019.2.1日申请的美国临时专利申请62/799,782的优先权。以上美国临时专利申请之内容通过引用一并并入本案。
【技术领域】
本发明涉及使用三角预测模式(Triangle Prediction Mode,简写为TPM)和帧间/帧内(亦称为帧间/帧内)联合预测(Combined Inter/Intra Prediction，简写为CIIP)进行视频编解码的预测。特别地，本发明公开了使用基于历史的运动向量预测(History-basedMotion Vector Prediction，简写为HMVP)的TPM的候选列表推导。另外，公开了一种用于三角形CIIP的信令的方法。
【背景技术】
高效视频编解码(HEVC)是由视频编解码联合合作团队(JCT-VC)开发的新的国际视频编解码标准。HEVC基于混合的，基于块的运动补偿的，类似于DCT的(hybrid block-based motion-compensated DCT-like)变换编解码架构。压缩的基本单位称为编解码单位(CU)，是2Nx2N的正方形块，每个CU可以递归地分为四个较小的CU，直到达到预定义的最小大小。每个CU包含一个或多个预测单元(PU)。
为了在HEVC中实现混合编解码架构的最佳编解码效率，每个PU有两种预测模式(帧内预测和帧间预测)。对于帧内预测模式，空间相邻的重构像素可用于生成方向预测。HEVC中最多有35个方向。对于帧间预测模式，时间重构参考画面可用于生成运动补偿的预测。共有三种不同的模式，包括跳过、合并和帧间高级运动向量预测(AMVP)模式
当在帧间AMVP模式下对PU进行编解码时，利用传输的运动向量差(MVD)执行对运动补偿的预测，该运动向量差可与运动向量预测子(MVP)一起用于推导运动向量(MV)。为了在帧间AMVP模式下确定MVP，高级运动向量预测(AMVP)方案用于在包括两个空间MVP和一个时间MVP的AMVP候选集中选择运动向量预测子。因此，在AMVP模式下，需要对MVP的MVP索引和相应的MVD进行编码和传输。另外，在列表0(即L0)和列表1(即L1)的双向预测和单向预测中，指定帧间预测方向的帧间预测方向还应附带每个列表的参考画面索引被编码和传输。
当以跳过或合并模式对PU进行编解码时，跳过和合并模式利用运动推断方法，除了所选择的候选的合并索引，不发送运动信息。由于在跳过和合并模式下运动向量差(MVD)为零，因此跳过或合并编解码块的MV与运动向量预测子(MVP)相同(即MV＝MVP+MVD＝MVP)。因此，跳过或合并编解码块从位于同一位置的图片(co-located picture)中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息。位于同一位置的图片是列表0或列表1中的第一个参考图片，在切片标头中发信。在跳过PU的情况下，残差信号也被省略。为了确定跳过和合并模式的合并索引，使用合并方案在包含四个空间MVP和一个时间MVP的合并候选集中选择运动向量预测子。
图1示出了用于为AMVP和合并方案两者导出空间和时间MVP的相邻PU。在AMVP中，左侧的MVP是A0、A1中的第一个可用的，顶部的MVP是B0、B1、B2中的第一个可用的，而时间MVP是TBR或TCTR中的第一个可用的(首先使用TBR，如果TBR不可用，则使用TCTR)。如果左MVP不可用，并且顶部MVP不是按比例缩放的MVP，则在B0，B1和B2之间存在按比例缩放的MVP时，可以导出第二个顶部MVP。AMVP的MVP的列表大小为2。因此，在两个空间MVP和一个时间MVP的推导过程之后，只有前两个MVP可以包含在MVP列表中。如果在删除冗余后可用MVP的数量少于两个，则将零向量候选添加到候选列表。
对于跳过和合并模式，如图1所示，从A0、A1、B0和B1导出最多四个空间合并索引，并且从TBR或TCTR导出一个时间合并索引(首先使用TBR，如果TBR不可用，则使用TCTR)。注意，如果四个空间合并索引中的任何一个都不可用，则位置B2然后用于导出合并索引作为替换。在四个空间合并索引和一个时间合并索引的推导过程之后，应用去除冗余来去除冗余合并索引。如果在删除冗余后可用的合并索引数小于五个，则将导出三种类型的附加候选并将其添加到候选列表中。
通过使用原始合并候选来创建其他双向预测合并候选。其他候选分为三种候选类型：
1.合并的双向预测合并候选(候选类型1)
2.按比例缩放的双向预测合并候选(候选类型2)
3.零向量合并/AMVP候选(候选类型3)
在候选类型1中，通过组合原始合并候选来创建组合的双向预测合并候选。尤其是原始候选中的两个候选，具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图片索引)或mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图片索引)，用于创建双向预测合并候选。图2示出了用于组合的双向预测合并候选的导出过程的示例。候选集合210对应于原始候选列表，其包括L0中的mvL0_A，ref0(231)和L1中的mvL1_B，ref(232)。可以通过组合L0和L1中的候选来形成双向预测MVP 233。
在候选类型2中，通过缩放原始合并候选来创建缩放的双向预测合并候选。特别地，原始候选中的一个候选(具有mvLX(列表X中的运动向量)和refIdxLX(列表X中的参考图片索引)，X可以为0或1)用于创建双向预测合并候选。例如，一个候选A是具有mvL0_A和ref0的列表0单向预测，首先将ref0复制到列表1中的参考索引ref0’。此后，通过使用ref0和ref0’缩放mvL0_A来计算mvL0’_A。然后，创建在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0’_A和ref0’的双向预测合并候选，并将其添加到合并候选列表中。缩放的双向预测合并候选的推导过程的示例在图3中示出，其中候选列表310对应于原始候选列表，并且候选列表320对应于包括两个生成的双向预测MVP的扩展候选列表。
在候选类型3中，通过组合零向量和参考索引来创建零向量合并/AMVP候选。图4A示出了用于添加零向量合并候选的示例，其中候选列表410对应于原始合并候选列表，而候选列表420通过添加零候选而对应于扩展的合并候选列表。图4B示出了用于添加零向量AMVP候选的示例，其中候选列表430(L0)和432(L1)对应于原始AMVP候选列表，并且通过添加零候选候选列表440(L0)和442(L1)对应于扩展的AMVP候选。如果零向量候选不重复，则将其添加到合并/AMVP候选列表。
当以帧内模式对PU进行编解码时，帧内预测方法仅利用与当前预测单元(PU)相邻的一个参考层(或线)和帧内预测模式之一来生成当前PU的预测子。与当前预测单元(PU)相邻的参考层是指用于帧内预测的参考L形重构样本。对于帧内预测模式，空间相邻的重构像素可用于生成方向预测。HEVC中最多有35个方向。在HEVC中的全部35种帧内预测模式中，有3种模式被认为是用于在当前预测块中预测帧内预测模式的最可能模式(MPM)。选择了三种模式作为MPM集合。例如，MPM集合包括在左预测块和上方预测块中使用的帧内预测模式。如果两个相邻块中的帧内预测模式是相同的并且都是定向的，或者两个相邻块中只有一个可用并且在帧内预测中进行了编解码，并且同时此帧内预测模式是定向的，则紧邻该方向的两个相邻方向也用于MPM中。在MPM集合中还考虑了DC模式和平面模式以填充MPM中的可用点，尤其是在上方或顶部相邻块不可用或未在帧内预测中编解码，或者相邻块中的帧内预测模式并非方向性的(directional)时候。如果用于当前预测块的帧内预测模式是MPM集合中的模式之一，则使用1或2个比特子(bin)来表示是哪个。否则，它与MPM集合中的任何条目都不相同，它将被编解码为非MPM模式。总共有32个这样的非MPM模式，并且使用(5比特)固定长度编解码方法来发信该模式。33个方向如图5所示。在图5中，总共有33种方向模式(directionalmode)，因此使用H、
Figure BDA0003188598530000041
Figure BDA0003188598530000042
V、
Figure BDA0003188598530000043
该系统可以扩展到一般情况，其中水平和垂直模式表示为H和V模式。对于其他方向模式，它们可以表示为H+k或V+k模式，其中k＝±1，±2等。例如，如果使用65个方向模式，则k的范围可以从±1到±16。
帧内子分区(intra sub-partition，简写为ISP)
在JVET-M0102中，帧内子分区(ISP)编解码模式是基于行的(Line-Based)帧内(Line-Based Intra，简写为LIP)编解码的更新版本，可纠正算法先前设计中与硬件有关的问题。ISP工具根据块大小尺寸将亮度帧内预测的块垂直或水平划分为2或4个子分区，如表1所示。图6A和图6B显示了这两种可能性的示例。在图6A中，HxW块610被划分为两个H/2xW块620(即，水平分区)或两个HxW/2块630(即，垂直分区)。例如，该块可以是4×8块或8×4块。在图6B中，除了4x8、8x4和4x4块之外，HxW块610被划分为四个H/4xW块640(即，水平分区)或四个HxW/4块650(即，垂直分区)。所有子分区均满足具有至少16个样本的条件。
表1：取决于块大小的子分区数
Figure BDA0003188598530000051
对于这些子分区中的每个，通过对由编码器发送的系数进行熵解码，然后对其进行逆量化和逆变换，来生成残差信号。然后，对子分区进行帧内预测，最后通过将残差信号与预测信号相加来获得相应的重构样本。因此，每个子分区的重构值将可用于生成下一个分区的预测，该下一分区将重复该过程，依此类推。所有子分区共享相同的帧内模式
基于帧内模式和所利用的分割，使用两种不同类别的处理顺序，其被称为正常顺序和反向顺序。按照正常顺序，要处理的第一个子分区是包含CU左上角样本，然后继续向下(水平拆分)或向右(垂直拆分)的子分区。结果，用于生成子分区预测信号的参考样本仅位于线的左侧和上方。另一方面，反向处理顺序要么从包含CU左下角样本的子分区开始，然后继续向上，要么从包含CU右上角样本的子分区开始，然后向左继续。
三角预测单元模式技术
在JVET-L0124(R.-L.Liao等人，“CE10.3.1.b:Triangular prediction unitmode”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11，第十二次会议：中国澳门，2018年10月，文件：JVET-L0124)和JVET-L0208(T.Poirier等人，“CE10related:multipleprediction unit shapes”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC29/WG 11，第12次会议：中国澳门，2018年10月，文件：JVET-L0208)中，引入了三角形预测单位模式(triangularprediction unit mode)的概念用于运动补偿预测。如图7所示，它将CU分为对角线710或对角线反方向720的两个三角形预测单元。使用其自己的单向预测运动向量和参考画面索引对CU中的每个三角形预测单元进行帧间预测以根据单向预测候选生成预测。在预测三角形预测单元之后，对相邻边缘(例如对角边缘)执行自适应加权处理以获得当前CU的最终预测。然后，将变换和量化处理应用于整个CU。注意，该模式仅适用于跳过和/或合并模式。在本公开中，三角形预测单元模式也被称为三角形分区模式或三角形合并模式。三角形合并模式可以扩展为使用分区直线将整个CU分为两个分区(也称为两个区域)，由角度和/或距离(例如分区直线和CU中心之间的距离)表示。
自适应加权处理
在预测每个三角形预测单元之后，将自适应加权过程应用于两个三角形预测单元之间的对角边缘，以得出整个CU的最终预测。列出了两个加权因子组：
·第一加权因子组：{7/8、6/8、4/8、2/8、1/8}和{7/8、4/8、1/8}分別用于亮度和色度样本；
·第二加权因子组：{7/8、6/8、5/8、4/8、3/8、2/8、1/8}和{6/8、4/8、2/8}分別用于亮度和色度样本。
基于两个三角形预测单元的运动向量的比较来选择一个加权因子组。当两个三角形预测单元的参考图片彼此不同或者它们的运动向量差大于16个像素时，使用第二加权因子组。否则，将使用第一个加权因子组。图8中示出了一个示例，其中示出了针对亮度块的权重810，并且示出了针对色度块的权重820。可以在JVET-L0124和JVET-L0208中找到对该算法的更详细说明。
在VTM3中(J.Chen等人，“Algorithm description for Versatile Video codingand Test Model 3(VTM 3)”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11，第12次会议：中国澳门，2018年10月，文件：JVET-L1002)中，当以合并模式对CU进行编解码时，并且如果CU包含至少64个亮度样本(即CU宽度乘以CU高度等于或大于64)，则发信附加标志，以指示是否将组合帧间/帧内预测(combined Inter/Intra prediction，简写为CIIP)模式应用于当前CU。为了形成CIIP预测，首先从两个附加语法元素中得出帧内预测模式。最多可以使用四种帧内预测模式：DC、平面、水平或垂直。然后，使用常规帧内和帧间解码过程导出帧间预测和帧内预测信号。最后，对帧间和帧内预测信号进行加权平均以获得CIIP预测。可以在JVET-L0100中找到该算法的更详细说明(M.-S.Chiang等人，“CE10.1.1:Multi-hypothesisprediction for improving AMVP mode，skip or merge mode，and Intra mode”，ITU-TSG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11，第12次会议：中国澳门，2018年10月，文件：JVET-L0100)。
基于历史的MVP(History-based MVP，简写为(HMVP)
在JVET-L0266(L.Zhang等人，“CE4:History-based Motion Vector Prediction(Test 4.4.7)”，ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11，第12次会议：中国澳门，2018年10月，文档：JVET-L0266)中公开了基于历史的MVP(HMVP)方法，其中，HMVP候选被定义为先前编解码块的运动信息。在编码/解码过程中维护具有多个HMVP候选的表。遇到新切片时将清空该表。每当存在帧间编码的非仿射块时，相关联的运动信息就会作为新的HMVP候选添加到表的最后一个条目中。在图9中描绘了整个编解码流程，其中在步骤910中将HMVP候选加载到表中，并且在步骤920中将HMVP候选用于对块进行解码。步骤920将生成解码运动(decoded motion)922，其用于更新表，即用作步骤910的输入912以更新表。
图10示出了根据HMVP方法更新表的示例。表1010中的HMVP对应于更新之前的HMVP。表1020中的HMVP对应于冗余校验之后的HMVP，其中HMVP2 1022对应于冗余HMVP。表1030中的HMVP对应于更新后的HMVP，其中CL-1 1032对应于要添加的HMVP。
在JVET-L0266中，表大小S设置为6，这表示最多可以将6个HMVP候选添加到表中。当将新的运动候选插入到表中时，利用约束的FIFO规则，其中首先应用冗余检查以发现表中是否存在相同的HMVP。如果找到，则从表中删除相同的HMVP(即冗余HMVP)，然后将其后的所有HMVP候选对象向前移动，即索引减少1。
HMVP候选可以在合并候选列表构建过程中使用。按顺序检查表中最新的几个HMVP候选，并将其插入到TMVP候选之后的候选列表中。对与空间或时间合并候选相对应的HMVP候选进行修剪以排除子块运动候选(即，ATMVP)。
为了减少修剪操作的数量，引入了三个简化：
方法1：
如L所示，要检查的HMPV候选的数量设置如下：
L＝(N<＝4)？M:(8-N),，(1)
其中N表示表中可用的非子块合并候选的数量，M表示表中可用的HMVP候选的数量。
方法2：
另外，一旦可用合并候选的总数达到发信的最大允许合并候选减去1，就终止来自HMVP列表的合并候选列表构建过程。
方法3：
此外，用于组合的双向预测合并候选推导的对的数量从12减少到6。
类似地，HMVP候选也可以在AMVP候选列表构建过程中使用。将表中最后K个HMVP候选对象的运动向量插入到TMVP候选对象之后。仅将具有与AMVP目标参考图片相同的参考图片的HMVP候选用于构造AMVP候选列表。对HMVP候选应用修剪。在JVET-L0266中，K设置为4，而AMVP列表大小保持不变，即等于2。
可以在JVET-L0266和JVET-L0208中找到该算法的更详细的说明。
在本发明中，公开了诸如ISP、CIIP和TPM之类的帧间/帧内解码工具的组合和变化，以提高性能和/或降低复杂度。
【发明内容】
公开了一种用于视频编解码的预测的方法和装置。根据该方法，在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图片中的当前块的压缩数据相对应的视频比特流。使用从包括三角形分区的分区集合中选择的目标分区将当前块分区为第一区域和第二区域。通过包括来自HMVP缓冲器的至少一个HMVP(基于历史的运动向量预测)候选来确定分区的当前块的合并候选列表，其中，HMVP缓冲器存储一个或多个先前解码的块的运动信息。使用视频编码器侧的“合并候选”列表对已分区的当前块或与已分区的当前块相关联的当前运动信息进行编码，或者使用视频解码器侧的合并候选列解码已分区的当前块或与已分区的当前块相关联的当前运动信息，其中合并候选列表用于导出第一区域的第一候选和第二区域的第二候选。
在一个实施例中，遵循用于将所述一个或多个HMVP候选插入到常规合并候选列表中的规则，将来自HMVP缓冲器的一个或多个HMVP候选插入到合并候选列表中。例如，可以根据HMVP缓冲器中所述一个或多个存储的候选的顺序，将HMVP缓冲器中一个或多个存储的候选插入到合并候选列表中。此外，可以将HMVP缓冲器的第一位置中的目标存储的候选插入合并候选列表的第一候选位置。在另一示例中，可以根据HMVP缓冲器中所述一个或多个存储的候选的相反顺序，将HMVP缓冲器中的一个或多个存储的候选插入到合并候选列表。例如，可以将HMVP缓冲器的最后位置中的目标存储候选插入到合并候选列表的第一候选位置。
根据另一实施例，合并候选列表包括一个或多个常规合并候选，并且其中每个常规合并候选属于包括单向预测和双向预测的预测组。
在又一个实施例中，HMVP缓冲器中的最后N个候选被用于导出用于合并候选列表的一个或多个HMVP候选，并且其中N是正整数。在一个实施例中，隐式确定N。在另一个实施例中，在CU(编码单元)、CTU(编码树单元)、条带、图块、图块组、SPS(序列参数集)或PPS(图片参数集)级别发信N。
根据另一种方法，当将三角形CIIP应用于当前块时，使用三角形分区将当前块划分为第一区域和第二区域；确定用于第一区域的帧间预测子；确定第二区域的帧内预测子；第一区域使用帧间预测子进行编码或解码，第二区域使用帧内预测子进行编码或解码。
在一个实施例中，指示是应用TPM(三角预测模式)还是CIIP的索引在编码器侧发信或在解码器侧被解析。索引以CU(编码单元)、CTU(编码树单元)、条带、图块、图块组、SPS(序列参数集)或PPS(图片参数集)级别在视频编码器侧发信或在视频解码器侧进行解析。
在一个实施例中，在第一区域和第二区域的相邻区域上执行混合处理。
在另一个实施例中，将与用于第一区域的帧间预测子和用于第二区域的帧内预测子相对应的三角形CIIP预测子添加到用于TPM(三角预测模式)的候选列表。三角形CIIP预测子用于替换候选列表中的一个或多个偶数候选或奇数候选。
【附图说明】
图1示出了用于为AMVP和合并方案两者导出空间和时间MVP的相邻PU。
图2示出了用于组合的双向预测合并候选的推导过程的示例。
图3示出了缩放的双向预测合并候选的推导过程的示例，其中左侧的候选列表对应于原始候选列表，而右侧的候选列表对应于扩展的候选列表，其包括生成的两个双向预测MVP。
图4A示出了添加零向量合并候选的示例，其中左侧的候选列表与原始合并候选列表相对应，而右侧的候选列表通过添加零候选与扩展的合并候选列表相对应。
图4B示出了用于添加零向量AMVP候选的示例，其中顶部的候选列表对应于原始AMVP候选列表(左侧的L0和右侧的L1)，底部的候选列表通过添加零候选对应于扩展的AMVP候选列表(左侧的L0和右侧的L1)。
图5示了HEVC(高效视频编解码)标准所使用的33方向帧内预测模式。
图6A示出了通过将一个块水平或垂直地划分为两个子块来进行帧内子分区(ISP)编解码模式的示例。
图6B示出了通过将块水平或垂直地划分为四个子块来进行帧内子分区(ISP)编解码模式的示例。
图7示出了TPM(三角预测模式)的示例，其中CU在对角线方向或对角线反方向上被分成两个三角预测单元。使用其自身的单向预测运动向量和参考画面索引对CU中的每个三角形预测单元进行帧间预测，以根据单向预测候选生成预测。
图8示出了自适应加权过程的示例，其中示出了亮度块(左)和色度块(右)的权重。
图9示出了基于历史的MVP(HMVP)的示例，其中HMVP候选被加载到表中，并且HMVP候选被用于解码块。
图10示出了根据HMVP方法更新HMVP(基于历史的运动向量预测)表的示例。
图11示出了R1和R2分区的示例，以将帧内预测和帧间预测应用于整个块。
图12示出了根据本发明实施例的用于视频编解码的示例性预测的流程图，其中三角形分区模式将HMVP(基于历史的运动向量预测)候选用于常规合并列表。
图13示出了根据本发明实施例的用于视频编解码的示例性预测的流程图，其中发信索引以指示是否应用了三角形CIIP。
【具体实施方式】
以下描述是实施本发明的最佳构想模式。进行该描述是为了说明本发明的一般原理，而不应被认为是限制性的。本发明的范围最好通过参考所附的权利要求来确定。
CIIP模式旨在通过将帧内预测的一种附加假设与现有的合并预测相结合来改善帧间预测，并且可以被视为正常帧内模式、正常帧间模式或新的组合模式。在本发明中，可以从类似于HEVC的帧内模式或类似于HEVC的帧内模式以及一个或多个新开发的编解码工具来生成帧内预测。新工具可以是67种帧内预测模式、ISP模式或上述任意组合。当针对CIIP模式的帧内预测来自ISP时，流程如下所述，作为步骤1到4进行描述。
步骤1：对一个CU进行帧间预测，并将帧间预测存储在缓冲器中。
步骤2：根据ISP模式的规则，将CU吐入子分区，并相应地拆分整个CU的帧间预测。
步骤3：然后，在每个子分区的基础上，生成每个子分区的帧内预测；当生成第一子分区的帧内预测时，参考来自相邻的重构样本；将当前子分区的帧内预测与相应的帧间预测加权相加，可以对组合的预测进行用于帧内或帧间的变换，得到残差并进行重构；当为随后的子分区生成帧内预测时，参考样本可以来自先前的子分区和/或邻居。
步骤4：重复步骤3，最后，可以重构整个CU。在一个实施例中，加权可以遵循原始CIIP表。
在另一个实施例中，加权表可以与原始CIIP模式的加权表不同。在另一个实施例中，权重可以是相等的权重。在另一个实施例中，用于具有ISP的CIIP的变换过程可以跟随用于帧内或帧间的变换。在另一个实施例中，具有ISP的CIIP可以被视为正常的帧内、帧间或新的组合模式。可以使用应用部分设置(applied-portion setting)、应用权重设置(applied-weighting setting)、信令设置或以上各项的任意组合来设计CIIP模式的某些变化。在一个实施例中，可以根据块的宽度、块的高度或块的区域隐式地确定那些设置。在另一实施例中，那些设置可以根据在CU、CTU、切片、图块、图块组、SPS或PPS级别的信令来显示地确定。
应用部分设置意味着可以将CIIP的帧内预测应用于该块内的预定义区域R1，并将CIIP的帧间预测可以应用于该块内的另一个预定义区域R2。图11示出了R1和R2分区(1110-1140)的示例，以将帧内预测和帧间预测应用于整个块。
当R1或R2为三角形时，这种CIIP变动在本发明中称为三角形CIIP。在一个实施例中，可以使用一种或多种三角形CIIP。在另一实施例中，可以发信标志(表示是否应用TPM)或标志之后的一个附加索引(表示是否应用CIIP)，以指示是否或应用了哪个三角形CIIP。在另一个实施例中，三角形CIIP可以被视为扩展的TPM。可以将三角形CIIP候选添加到TPM的候选列表中。在另一个实施例中，三角形CIIP候选可以代替TPM的一些现有候选。例如，具有偶数或奇数索引的TPM候选可以替换为三角形CIIP的候选。
在另一个实施例中，当应用部分设置用于为CIIP生成不同的变形时，CIIP的帧内预测模式的数量减少了。当帧内预测模式的数量减少到1时，不需要发信选择用于CIIP的帧内预测模式。例如，用于CIIP的帧内预测模式列表可以是{平面，DC，水平，垂直}的子集。又例如，用于CIIP的帧内预测模式列表可以仅是{平面，DC，水平，垂直}中的一个。在另一个实施例中，可以对帧内预测和帧间预测的相邻区域执行混合处理，正如TPM所做。例如，使用第一加权因子组和第二加权因子组。对于另一个示例，仅使用第一加权因子组或第二加权因子组。对于另一示例，根据预定规则使用第一加权因子组和第二加权因子组中的一个。可以根据块宽度或块高度或块面积来隐式地确定预定义规则，或者可以通过以CU，CTU，切片，图块，图块组，SPS或PPS级别发信的标志来显式确定预定义规则。
在另一个实施例中，对于帧内预测和帧间预测的相邻区域，混合权重可以基于子块。在每个子块中，样本的权重是相同的。每个子块的宽度或高度可以是2、4、8、16、32，或以上的任意组合。在另一个实施例中，混合权重根据帧内预测模式或块宽度或高度而变化。例如，当帧内预测模式不是角度模式时，应用相等的权重。又例如，当块的宽度、高度或面积大于或小于预定义的阈值时，例如2、4、6、8、16、32、64、128、256、512或1024，应用相等的权重。
应用权重设置是指可以用CU、CTU、切片、图块、图块组、SPS或PPS级别的标志显式地发信表示帧内预测和帧间预测的权重，分别表示为wIntra和wInter。如果对帧内预测和帧间预测的加权求和通过右移3比特来计算组合预测，(wIntra，wInter)的多个候选可以固定为(4、4)，(2、6)，(6、2)，也可以随所选的帧内预测模式或样本位置而变化。在一个实施例中，当显式地发信用于组合帧内预测和帧间预测的加权时，用于CIIP的帧内预测模式的数量减少。当帧内预测模式的数量减少到1时，不需要发信选择CIIP的帧内预测模式。例如，用于CIIP的帧内预测模式列表可以是{平面，DC，水平，垂直}的子集。对于另一示例，用于CIIP的帧内预测模式列表可以仅是{平面，DC，水平，垂直}中的一个。如下所示，对于位于R1的样本，可以将(wIntra，wInter)设置为(8，0)，对于位于R2的样本，可以将(wIntra，wInter)设置为(0，8)。这些类型的CIIP称为三角形CIIP。
在一个实施例中，可以使用一种或一种以上的CIIP权重。较小索引的权重可以通过较少的编解码比特子发信。例如，权重索引0表示(wIntra，wInter)＝(4，4)；权重索引1表示(wIntra，wInter)＝(2，6)；权重索引0表示(wIntra，wInter)＝(6，2)；其余的权重索引表示不同种类的三角形CIIP。在另一个实施例中，权重索引0指示(wIntra，wInter)＝(4，4)，并且与其他权重相比用最少的编解码比特子发信。在另一实施例中，可以像TPM一样对帧内预测和帧间预测的相邻区域执行混合处理。例如，使用第一权重因子组和第二权重因子组。对于另一个示例，仅使用第一权重因子组或第二权重因子组。对于另一示例，根据预定规则使用第一权重因子组和第二权重因子组中的一个。可以根据块宽度或块高度或块面积来隐式地确定预定义规则，或者可以通过以CU、CTU、切片、图块、图块组、SPS或PPS级别发信的标志来显式确定预定义规则。在另一个实施例中，对于帧内预测和帧间预测的相邻区域，混合权重可以基于子块。在每个子块中，每个样本的权重是相同的。每个子块的宽度或高度可以是2、4、8、16、32，或以上的任意组合。在另一个实施例中，混合权重随帧内预测模式、块宽度或高度而变化。例如，当帧内预测模式不是角度模式时，应用相等的权重。又例如，当块的宽度、高度或面积大于或小于预定义的阈值，例如2、4、6、8、16、32、64、128、256、512或1024时，应用相等的权重。
信令设置意味着针对具有不同设置的CIIP设计了不同的信令方法。在一实施例中，发信一个CIIP索引以指示CIIP的多个变化。CIIP索引0指示原始设计，以对具有加权平均值的整个块应用帧内预测和帧间预测。其余CIIP索引指示CIIP的扩展版本。可以使用所有CIIP索引中最短的码字来发信CIIP索引0。在另一个实施例中，可以用它们自己的索引分别发信不同的设置。例如，如果使用应用部分设置和/或应用权重设置，则发信一个索引以指示所选分区形状，和/或发信另一索引以指示所选权重。
以上的任何组合可以被应用于诸如ISP、CIIP或TPM之类的任何工具。
在本发明中，还公开了改善或简化CIIP或三角预测单位模式(TPM)的不同方法。
CIIP模式是通过将帧内预测的一种附加假设与现有的合并预测相结合来改善帧间预测的，并且可以被视为正常帧内模式、正常帧间模式或新的组合模式。在本发明中，可以从类似于HEVC的帧内模式或类似于HEVC的帧内模式加上一个或多个新开发的工具来生成帧内预测。新开发的工具可以是67种帧内预测模式、ISP模式或以上任意组合。当CIIP模式的帧内预测来自ISP时，将在以下步骤中描述该流程：
步骤1：对一个CU进行帧间预测，并将帧间预测存储在缓冲器中。
步骤2：同时，将CU吐入子分区，并根据ISP模式的规则生成每个子分区的帧内预测。每个子分区的帧内预测可以逐子分区生成，如下所示：
步骤2.1：第一个子分区的帧内预测可以引用来自相邻的重构样本。
步骤2.2：然后应用帧内变换处理来针对第一个子分区生成残差(表示为Resiintra)以及重构(表示为Recointra)。
步骤2.3：可以通过引用先前子分区的RecoIntra和/或来自相邻的重建获取，获得后续子分区的帧内预测。重复步骤2.3，可以如原始ISP模式一样获得来自帧内处理的整个CU重建。
最后，可以通过将帧间预测和帧内重构加权相加来重构CU。在一个实施例中，权重可以遵循原始CIIP权重表。在另一个实施例中，权重表可以与原始CIIP模式的权重表不同。在另一个实施例中，权重可以是相等的权重。在另一个实施例中，具有ISP的CIIP可以被视为普通的帧内或帧间或新的组合模式。
TPM引入了用于运动补偿预测的新的三角形分区。TPM的每个候选指示用于PU1的一个单向预测运动候选，以及用于PU2的另一个单向预测运动候选。在一个实施例中，可以从用于常规合并模式的合并候选生成TPM的候选，其中每个合并候选可以是单向预测或双向预测。在另一个实施例中，可以从HMVP缓冲器中的运动候选生成TPM的候选，其中每个运动候选可以是单向预测或双向预测。例如，HMVP缓冲器中的最后N个候选可用于生成TPM候选，其中N是一个正整数，例如1、2、3、4、5、6、7或8。N可以是固定的或根据块的宽度、高度、面积隐式导出的，或是以CU、CTU、切片、图块、图块组、SPS或PPS级别显式发信的。
在另一个示例中，用于TPM的HMVP候选遵循常规合并模式的HMVP候选的规则。在一个示例中，HMVP缓冲器中最后插入的候选是TPM候选的第一个候选。例如，使用HMVP中的相反顺序。在另一示例中，HMVP缓冲器中的第一插入的候选是TPM候选的第一个候选。例如，使用在HMVP中相同的顺序。在另一示例中，HMVP中的候选的一部分可以用作或用于导出TMP候选。例如，HMVP候选的偶数索引被用作或用于导出TMP候选。又例如，所有HMVP候选都可用于生成TPM候选。对于另一示例，HMVP缓冲器中的非子块合并候选可用于生成TPM候选。可以应用以上示例的任何组合。
在一个实施例中，全部或部分HMVP候选用于导出TPM候选。单向预测候选将保留并保持不变。将双向预测候选修改为单向预测候选。例如，保留List_0运动信息，并将List_1运动信息设置为不可用。将双向预测候选修改为List_0单向预测候选。在另一个示例中，保留了List_1运动信息，并且将List_0运动信息设置为不可用。将双向预测候选修改为List_1单向预测候选。在另一个示例中，为这两个分区选择HMVP候选列表中的两个候选。如果所选择的候选是双向预测候选，则将其修改为单向预测候选。在一个示例中，对于所选择的第一候选，如果L0 MV可用，则使用L0 MV。否则，将使用L1 MV。对于选择的第二候选，如果L1MV可用，则使用L1 MV。否则，将使用L0 MV。在另一个示例中，对于所选择的第一候选，如果L1 MV可用，则使用L1 MV。否则，将使用L0 MV。对于所选的第二候选，如果L0 MV可用，则使用L0 MV。否则，将使用L1 MV。
在一个实施例中，如果这两个候选相同，则在一个候选(例如第二候选)上添加MV偏移(例如(四分之一，0)。在另一个实施例中，为这两个分区选择HMVP候选列表中的两个候选。如果所选候选是双向预测候选，则将其修改为单向预测候选。在一个示例中，对于所选第一候选，如果L0 MV可用，则使用L0MV。否则，从L1 MV导出L0 MV。对于所选的第二候选，如果L1 MV可用，则使用L1 MV。否则，从L0 MV导出L1 MV。在另一个示例中，对于所选第一候选，如果L1 MV可用，则使用L1 MV；否则，从L0 MV得出L1 MV。对于所选的第二候选，如果L0MV可用，则使用L0 MV；否则，从L1 MV得出L0 MV。在一个实施例中，如果这两个候选相同，则MV偏移量(例如(四分之一，0)，被添加到其中一个候选(例如第二候选)上。
在另一个实施例中，可以从{空间候选，时间候选，HMVP候选}的任何子集生成用于TPM的候选。一种可能的流程描述如下。首先，形成由单向预测运动候选组成的候选列表，并且发信TPM索引以指示一种组合，包括两个用于预测PU1和PU2的单向预测候选。在以下情况下，可以使用一种帧内模式候选。在一个实施例中，当一个组合中的两个单向预测候选相似时，可以用帧内预测替换两个单向预测候选之任一，或者其帧间预测可以进一步与帧内预测加权相加。例如，相似性意味着两个候选引用相同的参考图片。对于另一示例，相似性意味着对于两个候选的MV的差(表示为diffmv)小于预定阈值。Diffmv可以是两个候选之间的MV0差异加上两个候选之间的MV1差异。可以将以上示例的任何组合应用于判定相似性。
在另一实施例中，当一个组合中的两个候选中的任一个由零向量形成时，具有零向量的运动候选可以被帧内模式候选替换，或者其帧间预测可以进一步与帧内预测加权相加。在另一实施例中，当一个组合中的两个候选都是列表0或列表1时，两个候选中的任一个都可以被帧内模式候选替换。例如，将参考较远参考图片的运动候选替换为帧内模式候选。另一个可能的流程描述如下。首先，发信TPM索引以指示参考运动候选列表中的一个候选，并且预先定义规则以将双向预测运动候选更改为对TPM有效。在一个实施例中，当用于列表0和列表1的参考图片相同时，可以将MVlist0和MVlist1之任一替换为帧内模式候选，或者其帧间预测可以进一步与帧内预测加权相加。在另一个实施例中，具有预定义列表(例如列表0或列表1)的MV可以被替换为帧内模式候选，或者其帧间预测可以进一步与帧内预测加权相加。当将帧内候选和帧间候选都用于TPM时，可以使用不同的设置，例如混合设置、权重设置、块设置、帧内模式设置以及上述任意组合。
混合设置意味着当整个CU的预测来自帧内预测和帧内预测的组合时，可以将混合过程应用于相邻区域。在一个实施例中，混合权重可以遵循TPM的操作。例如，可以根据块宽度、块高度、块面积使用两个权重因子组，或者通过在CU、CTU、切片、图块、图块组、SPS或PPS级别上发信的标志明确确定两个权重因子组。对于另一个示例，可以始终使用第一或第二权重因子组。对于另一个示例，可以应用相等的权重。在另一个实施例中，对于帧内预测和帧间预测的相邻区域，混合权重可以基于子块。在每个子块中，样本的权重是相同的。每个子块的宽度或高度可以是2、4、8、16、32，或以上的任意组合。在另一个实施例中，混合权重随帧内预测模式或块宽度或高度而变化。例如，当帧内预测模式不是角度模式时，应用相等的权重。又例如，当块的宽度或高度或面积大于或小于预定义的阈值，例如2、4、6、8、16、32、64、128、256、512或1024时，应用相等的权重。
权重设置意味着当帧内预测进一步加上帧间预测时，将应用权重平均。例如，应用相等的权重。又例如，随着预测样本远离参考样本，用于帧内预测的权重变小。在另一个实施例中，混合权重随帧内预测模式、块宽度或高度而变化。例如，当帧内预测模式不是角度模式时，施加相等的权重。又例如，当块的宽度、高度或面积大于或小于预定义的阈值，例如2、4、6、8、16、32、64、128、256、512或1024时，应用相等的权重。
块设置意味着当块的宽度或高度满足预定规则时，可以将帧内模式候选用于TPM。在一个实施例中，预定义规则取决于块区域。例如，当块面积大于或小于阈值，例如16、32、64、128、256、512、1024、2048或4096时，帧内模式候选可以用于TPM。在另一个实施例中，预定规则取决于块的宽度或高度。例如，当块的宽度或高度大于或小于阈值，例如16、32、64、128、256、512、1024、2048或4096时，帧内模式候选可以用于TPM。在另一个实施例中，预定规则取决于块的长边和短边的比率。例如，当长边大于阈值(例如16、32、64、128、256、512、1024、2048或4096)乘以短边时，帧内模式候选可以用于TPM。
帧内模式设置意味着确定用于TPM的可用内部预测模式。如果可用的帧内预测模式的数量为一，则可以推断出所选择的帧内预测模式而无需信令；否则，所选择的帧内预测模式需要隐式导出或显式发信。在一个实施例中，只能使用{平面，DC，水平，垂直}之一。在另一个实施例中，可以基于块的宽度、高度或面积来确定所选择的帧内预测模式。在另一个实施例中，可用的帧内预测模式的数量可以随着块的宽度、高度或面积而变化。在一个实施例中，可以使用{平面，DC，水平，垂直}的任何子集。
以上的任何组合可以应用于诸如CIIP或TPM的任何工具。
以上的任何变化都可以用块宽度、块高度或块面积来隐式地确定，或者通过以CU、CTU、切片、图块、图块组、SPS或PPS级别发信的标志来显式地确定。
可以在编码器和/或解码器中实现任何前述提出的方法。例如，可以在编码器的帧间编解码模块或帧内编解码模块、运动补偿模块、解码器的合并候选导出模块中实现任何所提出的方法。可替代地，任何所提出的方法可以被实现为耦合到编码器的帧间编解码模块或帧内编解码模块和/或运动补偿模块、解码器的合并候选导出模块的电路。
图12示出了根据本发明实施例的用于视频编解码的示例性预测的流程图，其中三角形分区模式将HMVP(基于历史的运动向量预测)候选用于常规合并列表。流程图中所示的步骤以及本公开中的其他后续流程图可被实现为可在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上执行的程序代码。流程图中所示的步骤也可以基于硬件，例如被布置为执行流程图中的步骤的一个或多个电子设备或处理器来实现。根据该方法，在步骤1210中，在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图片中的当前块的压缩数据相对应的视频比特流。在步骤1220中，使用从包括三角形分区的分区集中选择的目标分区，将当前块划分为第一区域和第二区域。在步骤1230中，通过包括来自HMVP缓冲器的至少一个HMVP(基于历史的运动矢量预测)候选，确定已分区的当前块的合并候选列表，其中HMVP缓冲器存储一个或多个先前解码的块的运动信息。在步骤1240中，使用视频编码器侧的合并候选列表来编码已分区的当前块或与已分区的当前块相关联的当前运动信息，或者在视频解码器侧使用合并候选列表解码已分区的当前块或与已分区的当前块相关联的当前运动信息，其中使用合并候选列表来导出用于第一区域的第一候选和用于第二区域的第二候选。
图13示出了根据本发明实施例的用于视频编解码的示例性预测的流程图，其中发信索引以指示是否应用了三角形CIIP。根据该方法，在步骤1310中，在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图片中的当前块的压缩数据相对应的视频比特流。在步骤1320中确定是否将三角形CIIP(帧间/帧内组合预测)应用于当前块。如果将三角形CIIP应用于当前块(即，从步骤1320开始的“是”路径)，则执行步骤1330至1350。否则(即，从步骤1320开始的“否”路径)，步骤1330至1350被跳过。在步骤1330中，使用三角形分区将当前块划分为第一区域和第二区域。在步骤1340中，确定用于第一区域的帧间预测子，并且确定用于第二区域的帧内预测子。在步骤1350中，使用帧间预测子对第一区域进行编码或解码，并且使用帧内预测子对第二区域进行编码或解码。
所示的流程图旨在说明根据本发明的视频编解码的示例。本领域技术人员可以在不脱离本发明的精神的情况下修改每个步骤、重新布置步骤、拆分步骤或组合步骤以实施本发明。在本公开中，已经使用特定的语法和语义来示出用于实现本发明的实施例的示例。技术人员可以通过用等效的语法和语义替换语法和语义来实践本发明，而不脱离本发明的精神。
呈现以上描述是为了使本领域技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文中定义的一般原理可以应用于其他实施例。因此，本发明并不旨在限于所示出和描述的特定实施例，而是与和本文所公开的原理和新颖特征相一致的最广范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件编解码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中以执行本文所述的处理的程序代码。本发明的实施例还可以是将在数字信号处理器(DSP)上执行以执行本文描述的处理的程序代码。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，可以将这些处理器配置为执行根据本发明的特定任务。可以以不同的程序语言和不同的格式或样式来开发软件代码或固件代码。也可以针对不同的目标平台来编译软件代码。但是，不同的代码格式、软件代码的样式和语言以及配置代码以执行根据本发明的任务的其他手段将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式来体现。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (18)

1.一种视频编解码预测方法，该方法包括：
在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括该当前图片中的该当前块的压缩数据相对应的视频比特流；
使用从包括三角形分区的分区集合中选择的目标分区将该当前块分区为第一区域和第二区域；
通过包括来自基于历史的运动向量预测缓冲器的至少一个基于历史的运动向量预测候选来确定已分区的当前块的合并候选列表，其中，该基于历史的运动向量预测缓冲器存储一个或多个先前编解码的块的运动信息；以及
在该视频编码器侧使用该合并候选列表对该已分区的当前块或与该已分区的当前块相关联的当前运动信息进行编码，或者在该视频解码器侧使用合该并候选列表解码该已分区的当前块或与该已分区的当前块相关联的该当前运动信息，其中使用该合并候选列表来导出用于该第一区域的第一候选和用于该第二区域的第二候选。
2.根据权利要求1所述的方法，其中，遵循用于将一个或多个基于历史的运动向量预测候选插入到常规合并候选列表中的规则，将来自该基于历史的运动向量预测缓冲器的该一个或多个基于历史的运动向量预测候选插入到该合并候选列表中。
3.根据权利要求2所述的方法，其中，根据该基于历史的运动向量预测缓冲器中一个或多个存储候选的顺序，将该基于历史的运动向量预测缓冲器中的该一个或多个存储候选插入该合并候选列表。
4.根据权利要求3所述的方法，其中，在该基于历史的运动向量预测缓冲器的第一位置中的目标存储的候选被插入在该合并候选列表的第一候选位置处。
5.根据权利要求2所述的方法，其中根据该基于历史的运动向量预测缓冲器中一个或多个存储的候选的相反顺序，将该基于历史的运动向量预测缓冲器中的该一个或多个存储的候选插入该合并候选列表。
6.根据权利要求5所述的方法，其中，在该基于历史的运动向量预测缓冲器的最后位置中的目标存储的候选被插入在该合并候选列表的第一候选位置处。
7.根据权利要求1所述的方法，其中，该合并候选列表包括一个或多个常规合并候选，并且其中，每个常规合并候选属于包括单向预测和双向预测的预测组。
8.根据权利要求1所述的方法，其中，该基于历史的运动向量预测缓冲器中的最后N个候选被用于导出用于该合并候选列表的一个或多个基于历史的运动向量预测候选，并且其中，N是正整数。
9.根据权利要求8所述的方法，其中，N是隐式确定的。
10.根据权利要求8所述的方法，其中，以编解码单元、编解码树单元、切片、图块、图块组、序列参数集或图片参数集级别发信N。
11.一种视频编解码装置，该装置包括一个或多个电子电路或处理器，用于：
在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括该当前图片中的该当前块的压缩数据相对应的视频比特流；
使用从包括三角形分区的分区集合中选择的目标分区将该当前块分区为第一区域和第二区域；
通过包括来自基于历史的运动向量预测缓冲器的至少一个基于历史的运动向量预测候选来确定已分区的当前块的合并候选列表，其中，该基于历史的运动向量预测缓冲器存储一个或多个先前编解码的块的运动信息；以及
在该视频编码器侧使用该合并候选列表对该已分区的当前块或与该已分区的当前块相关联的当前运动信息进行编码，或者在该视频解码器侧使用合该并候选列表解码该已分区的当前块或与该已分区的当前块相关联的该当前运动信息，其中使用该合并候选列表来导出用于该第一区域的第一候选和用于该第二区域的第二候选。
12.一种视频编解码预测方法，该方法包括：
在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括该当前图片中的该当前块的压缩数据相对应的视频比特流；
确定是否对该当前块应用三角形帧间/帧内组合预测；
如果该三角形帧间/帧内组合预测应用于该当前块：
使用三角形分区将该当前块分区为第一区域和第二区域；
确定该第一区域的帧间预测子和该第二区域的帧内预测子；以及
使用该帧间预测子对该第一区域进行编码或解码，并使用该帧内预测子对该第二区域进行编码或解码。
13.根据权利要求12所述的方法，其中，在该编码器侧发信索引，或者在该解码器侧解析该索引，以指示是否应用了三角预测模式或帧间/帧内组合预测。
14.根据权利要求13所述的方法，其中，该索引在编码单元、编码树单元、切片、图块、图块组、序列参数集或图片参数集级别中在该视频编码器侧发信或在该视频解码器侧被解析。
15.根据权利要求12所述的方法，其中，对该第一区域和该第二区域的相邻区域执行混合处理。
16.根据权利要求12所述的方法，其中，将与该第一区域的该帧间预测子和该第二区域的该帧内预测子相对应的三角形帧间/帧内组合预测预测子添加到用于三角预测模式的候选列表。
17.根据权利要求16所述的方法，其中，该三角形帧间/帧内组合预测预测子用于替换该候选列表中的一个或多个偶数候选或奇数候选。
18.一种视频编解码装置，该装置包括一个或多个电子电路或处理器，用于：
在视频编码器侧接收与当前图片中的当前块有关的输入数据，或者在视频解码器侧接收与包括该当前图片中的该当前块的压缩数据相对应的视频比特流；
确定是否对该当前块应用三角形帧间/帧内组合预测；
如果该三角形帧间/帧内组合预测应用于该当前块：
使用三角形分区将该当前块分区为第一区域和第二区域；
确定该第一区域的帧间预测子和该第二区域的帧内预测子；以及
使用该帧间预测子对该第一区域进行编码或解码，并使用该帧内预测子对该第二区域进行编码或解码。
CN202080011842.0A 2019-01-31 2020-01-22 视频编码中结合帧间和帧内预测的方法和装置 Pending CN113366845A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962799127P 2019-01-31 2019-01-31
US62/799,127 2019-01-31
US201962799782P 2019-02-01 2019-02-01
US62/799,782 2019-02-01
PCT/CN2020/073876 WO2020156464A1 (en) 2019-01-31 2020-01-22 Method and apparatus of combined inter and intraprediction for video coding

Publications (1)

Publication Number Publication Date
CN113366845A true CN113366845A (zh) 2021-09-07

Family

ID=71839930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011842.0A Pending CN113366845A (zh) 2019-01-31 2020-01-22 视频编码中结合帧间和帧内预测的方法和装置

Country Status (5)

Country Link
US (1) US20220103854A1 (zh)
EP (1) EP3915261A4 (zh)
CN (1) CN113366845A (zh)
TW (1) TWI737142B (zh)
WO (1) WO2020156464A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277579B2 (ja) 2018-11-02 2023-05-19 北京字節跳動網絡技術有限公司 Ｈｍｖｐ候補記憶装置のための表の保守
CA3131031A1 (en) * 2019-03-21 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Improved weighting processing of combined intra-inter prediction
CN114830653A (zh) * 2019-12-16 2022-07-29 现代自动车株式会社 用于预测划分为任意形状的块的解码装置和方法
CN117769836A (zh) * 2021-07-01 2024-03-26 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023280311A1 (en) * 2021-07-08 2023-01-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004198A (zh) * 2010-07-15 2013-03-27 索尼公司 图像处理设备和图像处理方法
CN103250416A (zh) * 2010-12-06 2013-08-14 Sk电信有限公司 通过使用任意块的帧间预测编码/解码图像的方法和装置
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
US20160381359A1 (en) * 2009-02-23 2016-12-29 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9338451B2 (en) * 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
US11109025B2 (en) * 2018-06-04 2021-08-31 Tencent America LLC Method and apparatus for sub-block based temporal motion vector prediction
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
EP3834422A4 (en) * 2018-08-10 2021-09-15 Huawei Technologies Co., Ltd. CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
EP3837841A4 (en) * 2018-09-03 2021-10-20 Huawei Technologies Co., Ltd. CODIFICATION PROCESS, DEVICE AND SYSTEM WITH MERGING MODE
US10958932B2 (en) * 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
CN116684586A (zh) * 2018-10-05 2023-09-01 Lg电子株式会社 解码设备、编码设备及发送针对图像的数据的设备
US20200112715A1 (en) * 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
CN112839690B (zh) 2018-10-19 2024-04-19 斯泰米德有限公司 提供医疗溶液的装置和系统及其方法
AU2019364883B2 (en) * 2018-10-24 2023-07-20 Huawei Technologies Co., Ltd. A method and an apparatus for determining motion information for a current block, a method and an apparatus for constructing and updating a history-based motion vector predictor list, and non-transitory computer-readable storage medium, and video encoding/decoding methods and apparatus
JP7277579B2 (ja) * 2018-11-02 2023-05-19 北京字節跳動網絡技術有限公司 Ｈｍｖｐ候補記憶装置のための表の保守
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
US11184633B2 (en) * 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
WO2020112620A2 (en) * 2018-11-29 2020-06-04 Interdigital Vc Holdings, Inc. Motion vector predictor candidates ordering in merge list
CN113170150B (zh) * 2018-12-03 2024-02-27 北京字节跳动网络技术有限公司 基于历史的运动矢量预测(hmvp)模式的部分修剪方法
US11012697B2 (en) * 2018-12-07 2021-05-18 Qualcomm Incorporated Shared candidate list and parallel candidate list derivation for video coding
KR20200083357A (ko) * 2018-12-28 2020-07-08 인텔렉추얼디스커버리 주식회사 화면 간 예측 부호화 및 복호화 방법 및 장치
JP7446339B2 (ja) * 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
CN112118447B (zh) * 2019-06-19 2023-06-20 华为技术有限公司 融合候选运动信息列表的构建方法、装置及编解码器
JP2021531682A (ja) * 2019-06-21 2021-11-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド サブブロック区分モードのためのエンコーダ、デコーダ、および対応する方法
KR20210099144A (ko) * 2019-06-24 2021-08-11 후아웨이 테크놀러지 컴퍼니 리미티드 지오메트릭 분할 모드를 위한 샘플 거리 계산
JP7414975B2 (ja) * 2019-10-03 2024-01-16 華為技術有限公司 幾何学的パーティション・モードのためのコーディング・プロセス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160381359A1 (en) * 2009-02-23 2016-12-29 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
CN103004198A (zh) * 2010-07-15 2013-03-27 索尼公司 图像处理设备和图像处理方法
CN103250416A (zh) * 2010-12-06 2013-08-14 Sk电信有限公司 通过使用任意块的帧间预测编码/解码图像的方法和装置
CN106375765A (zh) * 2010-12-06 2017-02-01 Sk电信有限公司 通过使用任意块的帧间预测编码/解码图像的方法和装置
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, LI: "CE4: History-based Motion Vector Prediction (Test 4.4.7)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018， JVET-L0266-V1 》, pages 1 - 4 *

Also Published As

Publication number Publication date
TW202034693A (zh) 2020-09-16
TWI737142B (zh) 2021-08-21
EP3915261A1 (en) 2021-12-01
EP3915261A4 (en) 2023-03-01
US20220103854A1 (en) 2022-03-31
WO2020156464A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN113170181B (zh) 块内拷贝模式中的仿射继承方法
CN112154660A (zh) 使用双向编码单元加权的视频编码方法和装置
CN113366845A (zh) 视频编码中结合帧间和帧内预测的方法和装置
TW201944781A (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
US11240524B2 (en) Selective switch for parallel processing
CN112970250B (zh) 视频编码的多重假设方法和装置
JP7318099B2 (ja) ビデオコーディングにおける変換ブロック・サイズ制約
CN112544082A (zh) 在采用多重假设之视频编码系统中的运动补偿频宽降低方法和装置
JP2022536090A (ja) 幾何学的分割モードコーディングを用いた動き候補リスト
US11818383B2 (en) Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
CN111819857A (zh) 用于视频编解码的优化分割结构的方法和装置
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
JP2022535903A (ja) 映像符号化のための動き候補リストの構成
CN112585972B (zh) 视频编解码的帧间预测方法及装置
CN114208198A (zh) 视频编码中用于帧内分区的转换类型分配方法和装置
TWI830558B (zh) 視頻編解碼系統中多重假設預測的方法和裝置
TW202345594A (zh) 視訊編解碼方法和裝置
TW202327351A (zh) 視頻編解碼系統中編解碼模式選擇的方法和裝置
TW202349958A (zh) 視頻編解碼的方法和裝置
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重
CN117956139A (zh) 视频编解码的帧间预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220505

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right