CN112970250B - 视频编码的多重假设方法和装置 - Google Patents

视频编码的多重假设方法和装置 Download PDF

Info

Publication number
CN112970250B
CN112970250B CN201980073324.9A CN201980073324A CN112970250B CN 112970250 B CN112970250 B CN 112970250B CN 201980073324 A CN201980073324 A CN 201980073324A CN 112970250 B CN112970250 B CN 112970250B
Authority
CN
China
Prior art keywords
candidate
motion prediction
prediction
current block
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980073324.9A
Other languages
English (en)
Other versions
CN112970250A (zh
Inventor
江嫚书
徐志玮
庄子德
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112970250A publication Critical patent/CN112970250A/zh
Application granted granted Critical
Publication of CN112970250B publication Critical patent/CN112970250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

揭示一种将MH(多重假设)用于视频编码或解码预测的方法与装置。根据此方法，块被分割为第一分割与第二分割。分别推导用于第一与第二分割的第一候选与第二候选。第一候选与第二候选中至少有一个是通过使用用来推导一般合并模式(或称为普通合并模式)的候选列表而推导出来的。通过混合相对应于第一候选的第一预测与相对应于第二候选的第二预测而产生MH预测，并且所述MH预测被应用于当前块的其中一部分。

Description

视频编码的多重假设方法和装置
交叉申请
本申请要求在2018年11月12日提出的申请号为62/758,761的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明是关于将多重假设(Multi-hypothesis,MH)用于视频编解码的预测，其通过结合基于第一预测的第一预测子与基于第二预测的第二预测子。尤其，本发明揭示简化型的MH模式，其通过基于一般合并模式，来推导至少一MH候选作为第一预测来产生第一预测子或与至少一MH候选作为第二预测来产生第二预测子。
背景技术
高效率视频编码(HEVC)是由视频编码联合协作小组(Joint Collaborative Teamon Video Coding，JCT-VC)所发展的新一代国际性视频编解码标准。HEVC是基于混合块为基础的运动补偿类似DCT转换的编解码架构。补偿的基本单元(称为编解码单元，CU)是2Nx2N的方型块，而每一CU可以递归式地被分割成四个较小的CU，一直达到预定的最小尺寸为止。每个CU包括一或多个预测单元(Prediction Unit，PU)。
为达成HEVC中混合编解码架构的最佳编解码效率，对于每一PU有两种预测模式(即帧内预测与帧间预测)。对于帧内预测模式而言，可以用空间相邻重构像素来产生方向性的预测，在HEVC中有多达35种方向。对于帧间预测模式而言，可以用时间重构参考帧来产生运动补偿的预测，有三种不同模式，包括跳过(Skip)、合并(Merge)以及帧间高级运动向量预测(帧间AMVP)模式。
当PU是以帧间AMVP模式编码时，运动补偿的预测是由所传送来的运动向量差异(motion vector differences，MVDs)来进行，MVDs可以与运动向量预测子(Motion VectorPredictors，MVPs)一起使用来推导出运动向量(motion vector，MVs)。为了决定帧间AMVP模式下的MVP，可以使用高级运动向量预测(AMVP)的机制来选出运动向量预测子，方式是从包括两个空间MVP以及一个时间MVP的AMVP候选组中选出。因此在AMVP模式下，需要对MVP的MVP索引以及相对应的MVDs进行编码与传送。此外，帧间预测方向(用来表明在双向预测以及单向预测之间的预测方向，也就是列表List0(即L0)以及列表List1(即L1))以及对于每一列表所伴随的参考帧索引也应予以编码与传送。
当PU是以跳过模式或合并模式编码时，除了被选到的候选的合并索引之外，是不会传送运动信息的，这是因为跳过与合并模式是使用运动推论(motion inference)方法。由于跳过与合并模式的运动向量差(MVD)为零，对于跳过或合并编码块的MV和运动向量预测子(MVP)是相同的(即MV＝MVP+MVD＝MVP)。因此，跳过或合并编码块是从位于并位画面(co-located picture)中的空间相邻块(空间候选)或是时间块(时间候选)来取得运动信息。所述的并位画面是切片头(slice header)中所发信的列表0或列表1中的第一个参考画面。如果是跳过模式的PU(Skip PU)，则残差信号也会被省略。为了决定跳过与合并模式的合并索引，会使用合并机制从包括四个空间MVP与一个时间MVP的合并候选组中，选出运动向量预测子。
图1示出了AMVP与合并机制二者中用来推导空间与时间MVP的相邻PU。在AMVP中，左方MVP是在A0、A1中第一个可用的MVP，上方MVP是在B0、B1、B2中第一个可用的MVP，而时间MVP是在TBR或TCTR中第一个可用的MVP(先使用TBR；如果TBR是不可用的，则再使用TCTR)。如果左方MVP是不可用的而且上方MVP不是缩放的(scaled)MVP，则如果在B0、B1与B2中有缩放的MVP，就可以推导出第两个上方MVP。在HEVC中AMVP的MVP的列表大小是2。因此，在两个空间MVP与一个时间MVP的推导过程后，仅有前两个MVP可以被纳入于MVP列表中。在移除冗余之后，如果可用的MVP数目少于2，则在候选列表中加入零向量候选。
如图1所示对于跳过模式与合并模式而言，最多有四个空间合并索引可以从A0,A1,B0与B1推导出以及一个时间合并索引可以从TBR或TCTR推导出(先使用TBR；如果TBR是不可用的，则再使用TCTR)。如果四个空间合并索引中任何一个是不可用的，则位置B2被用来推导合并索引以作为替代。在四空间合并索引与一时间合并索引的推导之后，移除冗余会被应用来移除冗余的合并索引。在移除冗余之后，如果可用的合并索引数目小于5，则三种额外的候选会被推导出并加入于候选列表中。
通过使用原始的合并候选来创建出额外双向预测的合并候选。所述额外的候选可以分为三种候选类型：
1.结合型(combined)双向预测合并候选(候选类型1)
2.缩放型(scaled)双向预测合并候选(候选类型2)
3.零向量合并/AMVP候选(候选类型3)
在候选类型1中，结合型双向预测合并候选是通过结合原始的合并候选来创建出。尤其，双向预测合并候选是使用在原始候选中的两个候选来创建的：其中有mvL0(列表0中的运动向量)与refIdxL0(列表0中的参考画面索引)；或是mvL1(列表1中的运动向量)与refIdxL1(列表1中的参考画面索引)。图2示出了结合型双向预测合并候选推导过程的例子。候选组210相对应于原始候选列表，其包括L0中的mvL0_A,ref0(231)与L1中的mvL1_B,ref0(232)。通过结合L0与L1中的候选，可以形成双向预测MVP233。
在候选类型2中，缩放型双向预测合并候选是通过缩放原始的合并候选来创建出。尤其，双向预测合并候选是使用在原始候选中的一个候选来创建的：其具有mvLX(列表X中的运动向量)与refIdxLX(列表X中的参考画面索引)，X可以是0或1。例如，候选A是列表0有mvL0_A与ref0的单向预测，ref0先拷贝到列表1的参考索引ref0’。之后以ref0与ref0’来缩放mvL0_A并藉以计算出mvL0’_A。然后，列表0中具有mvL0_A与ref0以及列表1中具有mvL0’_A与ref0’的双向预测合并候选则被创建出并加入于合并候选列表中。图3示出了缩放型双向预测合并候选推导过程的一例子，其中候选列表310相对应于原始候选列表，而候选列表320相对应于扩大候选列表，其包括两个所产生出来的双向预测MVP。
在候选类型3中，零向量合并/AMVP候选是通过结合零向量与可以被参考的参考索引来创建出。图4A示出了加入零向量合并候选的例子，其中候选列表410相对应于原始合并候选列表，而候选列表420相对应于通过加入零向量而扩展的合并候选列表。图4B示出了加入零向量AMVP候选的例子，其中候选列表430(L0)与432(L1)相对应于原始AMVP候选列表，而候选列表440(L0)与442(L1)相对应于通过加入零向量而扩展的AMVP候选列表。如果零向量候选不重复，则将其加入合并/AMVP候选列表中。
当PU是以帧内模式编解码时，帧内预测方法仅利用相邻于当前预测单元(PU)的参考层(或线)与帧内预测模式中之一种，来产生用于当前PU的预测子。相邻于当前预测单元(PU)的参考层是指用于帧内预测的参考L-形重构样本。对于帧内预测模式而言，空间相邻重构像素可以被用来产生方向性预测。在HEVC中至多有35个方向。在HEVC所有的35个帧内预测模式中，其中3个模式会被考虑为最可能模式(MPM)以用来预测当前预测块的帧内预测模式。这3个模式被选择成为最可能模式组(MPM组)。例如，MPM组包括使用在左方预测块与上方预测块的帧内预测模式。当两个相邻块的帧内预测模式是相同的且二者皆为方向性的时候，或是当在两个相邻块仅有其一是可用的且以帧内预测编码且同时此帧内预测模式是方向性的时候，则紧邻在此方向旁边的两个相邻方向会被使用为MPM。在MPM组中也考虑直流模式与平面模式以填补MPM中的可用位置，特别是如果上方或顶端相邻块是不可用的或非以帧内预测编码的，或如果相邻块的帧内预测模式并非方向性的。如果用于当前预测块的帧内预测模式是在MPM组中的模式之一，则会使用1或2位元(bits)或位子(bins)来发信其为哪一个模式。否则，其不同于在MPM组中的任一字段，而会被编码为一非-MPM模式。总共有32个如此的非-MPM模式而会应用(5-位)固定长度编解码方法来发信此模式。图5显示出33个方向。在图5中，总共有33个方向性的模式，因此使用H，H+1～H+8，H-1～H-7，V，V+1～V+8，V-1～V-8。这个系统可以被扩展到一般状况，其中水平和垂直模式以H和V模式来代表。对于其他方向性模式而言，可以用来H+k或V+k模式来代表，其中k＝±1，±2等。例如，如果使用了65个方向性的模式，k的范围可以从±1到±16。
在递交至国际电信通讯联盟–视频编解码专家组(ITU-VCEG)的提案投稿ITU-T13-SG16-C1016(由Lin等人所提的“Affine transform prediction for next generationvideo coding”，ITU-U，研究组16，问题Q6/16，提案投稿C1016，2015年9月，瑞士日内瓦)中，揭示了四参数仿射预测，其中包括了仿射合并模式。当仿射运动块正在移动时，该块的运动向量场域可以通过两个控制点运动向量或者四个参数加以描述如下，其中(vx,vy)表示运动向量：
Figure GDA0003683843630000051
四参数仿射模型的例子如图6所示，其中块610相对应于当前块，而块620相对应于参考块。变换块是矩形块。在此移动的块中的每个点的运动向量场域可以通过如下等式加以描述：
Figure GDA0003683843630000052
在上述等式中，(v0x,v0y)是位于块的左上方角落处的一个控制点运动向量(即v0)，(v1x,v1y)是位于块的右上方角落的另一个控制点运动向量(即v1)。当两个控制点的MV被解码时，该块的每个4x4块的MV可以根据上述等式来决定。换句话说，该块的仿射运动模型可以由位于两个控制点处的两个运动向量来指定。另外，虽然块的左上方角落和右上方角落用作两个控制点，其他两个控制点也可以被使用。
在投稿ITU-T13-SG16-C1016中，对于帧间模式编解码的CU而言，当CU尺寸等于或大于16x16之时，会发信仿射旗标以指示仿射帧间模式是否被使用。如果当前块(例如当前CU)以仿射帧间模式进行编解码，则使用相邻有效重构块来建立候选MVP对的列表。图7示出了相邻块组以用来堆导出角落-推导仿射候选。如图7所示，
Figure GDA0003683843630000061
对应于位于当前块710的左上方角落处的块V0的运动向量，其是从相邻块a0(称为左上方块，above-left block)、相邻块a1(称为左上方内侧块，inner above-left block)和相邻块a2(称为左上方下侧块，lowerabove-left block)的运动向量中所选择出的。
Figure GDA0003683843630000062
对应于位于当前块710的右上方角落处的块V1的运动向量，其是从相邻块b0(称为上方块)和相邻块b1(称为右上方块)的运动向量中所选择出的。
在上述等式中，MVa是与块a0、a1或者a2相关的运动向量，MVb是从块b0和b1的运动向量中所选择出来的，MVc是从块c0和c1的运动向量中所选择出来的。具有最小DV的MVa和MVb则被选择以形成MVP对。因此，虽然仅两个MV集(即MVa和MVb)将被搜索以找到最小DV，但是第三DV集(即MVc)也涉及在此选择过程中。第三DV集对应于位于当前块710的左下方角落块的运动向量，其是从相邻块c0(称为左方块)和c1(称为左下方块)的运动向量中所选择出来的。在图7的例子中，使用来建构仿射运动模型的控制点MV的相邻块(a0、a1、a2、b0、b1、b2、c0与c1)，在本揭示中则称为相邻块组。
在投稿ITU-T13-SG16-C-1016中，也提出了仿射合并模式。如果当前块是合并PU，则检查五个相邻块(即图7中的c0、b0、b1、c1与a0块)来决定它们其中之一是否为仿射帧间模式或者仿射合并模式。如果是，则affine_flag旗标被发信以指示当前PU是否为仿射模式。当当前PU是以仿射合并模式编码时，其从有效相邻重构块中得到用仿射模式编码的第一块。如图7中所示，候选块的选择顺序是从左方、上方、右上方、左下方到左上方(即c0→b0→b1→c1→a0)。第一仿射编码块的仿射参数会用于推导出当前PU的v0和v1。
在HEVC中，对每一PU解码后的MV以16:1的比例降低取样频率(down-sampled)，并且储存于时间MV缓冲器中，以便用于接下来帧的MVP推导。以16x16块而言，只有左上方4x4的MV储存于时间MV缓冲器中，而且所储存的MV则代表整个16x16块的MV。
在JVET-K0115(S Jeong等人提出“CE4 Ultimate motion vector expression inJ0024(Test 4.2.9)”，2018年7月10-18日，在斯洛文尼亚的卢布尔雅那举行的ITU/T SG 16WP3以及ISO/IEC JTC 1/SC 29 WG/11的联合视频专家小组(JVET)第11次会议，文献：JVET-K0115)中，给出了JVET-J0024(S.Akula等人提出“Description of SDR,HDR and 360°video coding technology proposal considering mobile application scenario bySamsung,Huawei,GoPro,and HiSilicon”，2018年4月10-20日，在美国圣地亚哥举行的ITU/T SG 16 WP3以及ISO/IEC JTC 1/SC 29 WG/11的联合视频专家小组(JVET)第10次会议，文献：JVET-J0024)中提出的最终的运动向量表达式(UMVE)。图8A示出了于当前帧810中当前块812进行UMVE搜索过程的例子。参考列表L1中的帧820以及参考列表L1中的帧830相对应于双向预测的两个参考帧。线840相对应于穿过当前块812的中心以及帧820与830中两个相对应像素的一条线。搜索在与线840(例如线842与844)有相关的中心点周围执行。为了简化搜索过程，如图8B所示将仅搜索在中心点周围垂直以及水平方向上的特定位置以寻找L0参考(850)以及L1参考(852)。UMVE用于具有所提出的运动向量表达式方法的跳过或者合并模式两者之一。UMVE重新使用与正在开发的VVC(多功能视频标解码)标准中相同的合并候选。在多个合并候选中，候选可以被选择，并可以进一步通过所提出的运动向量表达式方法展开。UMVE提供具有简化发信的新的运动向量表达式。该表达式方法包括预测方向信息、起始点、运动幅度、与运动方向。
此提出的技艺会将合并候选列表以其现况来加以使用。然而，仅有预定合并类型(MRG_TYPE_DEFAULT_N)的候选会被考虑用于UMVE的扩展。预测方向信息指示在L0,L1,以及L0与L1预测之中的预测方向。在B切片中，本提出技艺可以通过使用镜像技术(mirroringtechnique)从具有单向预测的合并候选来产生双向预测候选。例如，如果合并候选是用L1的单向预测，参考索引L0则通过搜寻列表(list)0中的特定参考画面来决定，该特定参考画面为以合并候选所得到列表(list)1的参考画面做镜像而形成。如果没有相对应画面，则使用最接近当前画面的参考画面。L0的MV则通过缩放L1的MV来推导出。缩放因子则通过POC(picture order count，画面顺序计数)距离来加以计算。
如果UMVE候选的预测方向是和原始合并候选之一是相同的，则数值0的索引则被发信作为UMVE预测方向。然而，如果UMVE候选的预测方向和原始合并候选之一是不同的，数值1的索引则被发信。在第一位发信之后，基于事先定义的UMVE预测方向的优先级将剩下的预测方向发信出去。优先级是L0/L1预测、L0预测与L1预测。如果合并候选的预测方向是L1，则编码‘0’被发信用于UMVE的预测方向L1，编码‘10’被发信用于UMVE的预测方向L0与L1，编码‘11’被发信用于UMVE的预测方向L0。如果L0与L1预测列表相同，则UMVE的预测方向信息不被发信。
基础候选索引(base candidate index)定义出了起始点。基础候选索引指出如表1所示列表的候选者之中最佳的候选。
表1.
基础候选索引 0 1 2 3
表2示出了距离索引以用于各种距离。
表2.
Figure GDA0003683843630000081
方向索引代表MVD相对于起始点的方向。方向索引可以代表如表3所显示的四个方向。
表3.
方向索引 00 01 10 11
x-轴 + – N/A N/A
y-轴 N/A N/A + –
在本发明中揭示了一种改良的MH模式来改良性能与/或降低系统资源的要求规定，例如内存存取带宽与/或计算复杂度。
发明内容
揭示一种用于视频编解码的预测方法与装置。根据本方法，在视频编码器侧接收关于当前画面的当前块的输入数据，或在视频解码器侧接收相对应于经过压缩后数据的视频比特流，而该压缩后数据包括该当前画面中的该当前块。将该当前块分割为第一分割与第二分割。决定该第一分割的第一候选与决定该第二分割的第二候选。根据本发明的实施例，该第一候选与该第二候选中至少有一个是使用用来推导普通合并模式的候选列表而推导出来的。通过混合(blend)相对应于该第一候选的第一预测与相对应于该第二候选的第二预测而产生MH预测，而且该MH预测被应用于该当前块的其中一部分。在该视频编码器侧使用该第一候选与该第二候选中至少之一编码该当前块或是与该当前块相关的当前运动信息，或是在该视频解码器侧使用该第一候选与该第二候选中至少之一解码该当前块或是与该当前块相关的该当前运动信息。
在一实施例中，沿着从该当前块的左下角至右上角或从该当前块的左上角至右下角的对角线，将该当前块分割为两个三角形。在另一实施例中，该当前块在水平方向、垂直方向、或具有精确角度或精确斜率的角度方向上被分割为两个子块。例如，所述精确角度对应于45度或135度。
在一实施例中，该第一候选是推导自第一候选列表，而该第一候选列表与用于推导该普通合并模式的候选列表有关。在另一实施例中，该第二候选是推导自第二候选列表，而该第二候选列表与用于推导该普通合并模式的候选列表有关。在又一实施例中，该第一候选列表与该第二候选列表共享相同的候选列表。在又一实施例中，该第一候选列表与该第二候选列表是推导自该相同的候选列表。
在一实施例中，该第一候选、与/或该第二候选、或二者是基于该第一候选的索引、该第二候选的索引、或二者来选择的。例如，该第一候选或该第二候选的列表0或列表1运动信息是基于该第一候选的该索引或该第二候选的该索引或二者来选择的。在另一实施例中，当选择用于该第一候选与该第二候选的运动信息是相同的时候，该第一候选或该第二候选的该运动信息于混合该第一预测与该第二预测时不作修正。
本发明另一方面着墨于候选的发信。在一实施例中，候选索引会被发信用于该第一分割与该第二分割的每一个。在另一实施例中，候选索引会被推导用于该第一分割与该第二分割的每一个。在又一实施例中，在该候选列表中位于前面的候选成员会被指定较短-长度的码字。该候选列表中候选成员的顺序是基于和该普通合并模式相似或相同顺序的固定顺序。
附图说明
图1示出了AMVP与合并机制二者中用来推导空间与时间MVP的相邻PU。
图2示出了结合型双向预测合并候选推导过程的一例子。
图3示出了缩放型双向预测合并候选推导过程的一例子，其中左方的候选列表相对应于原始候选列表，而右方的候选列表相对应于扩大候选列表，其包括两个所产生出来的双向预测MVP。
图4A示出了加入零向量合并候选的例子，其中左方的候选列表相对应于原始合并候选列表，而右方的候选列表相对应于通过加入零向量而扩展的合并候选列表。
图4B示出了加入零向量AMVP候选的例子，其中上方的候选列表相对应于原始AMVP候选列表(L0在左方与L1在右方)，以及下方的候选列表相对应于通过加入零向量而扩展的AMVP候选列表(L0在左方与L1在右方)。
图5标出在HEVC(高效率视频编码)标准中所使用的33个方向性帧内预测模式中出33个方向。
图6标出四-参数仿射模型的一例子，其中可基于在两个控制点的运动向量来推导出运动模型。
图7示出了相邻块组以用来堆导出角落-推导仿射候选。
图8A示出了于当前帧中当前块进行UMVE搜索过程的例子。
图8B示出UMVE搜索的一例子，其在中心点周围垂直以及水平方向上的特定位置搜索L0参考以及L1参考。
图9示出了用于分割8x8块的锯齿状子块的例子。
图10示出了将三角分割应用于块来将该块分割为两个三角区域的例子。
图11A到图11D示出了应用不同权重于标示区域的多种例子。
图12是根据本发明的一实施例使用多重-假设(MH)模式于视频编解码的例示性预测的流程图。
具体实施方式
在接下来的说明是实施本发明所最佳能思及的方式，在此说明的目的是为了阐释本发明的一般性原则，不应从限制性的角度视之。本发明的范围最佳方式是由参照所附的申请专利范围来决定。
在本发明中，揭示一种多重-假设(MH)模式来改善帧间预测，例如跳过、合并、AMVP模式、仿射合并模式、仿射AMVP模式、子块合并模式、帧内模式或上述的任何组合。现行，会产生二种合并候选列表。一种合并候选列表，包括空间合并候选(来自空间相邻CU的空间MVP)、时间合并候选(来自并位CU之一的时间MVP)、配对型平均合并候选、零运动向量合并候选、基于历史的合并候选、或更多的合并候选，是用于一般合并模式(或也称普通合并模式)(例如旗标regular_merge_flag＝真)；而另一合并候选列表是用于合并模式其包含有用于子块(例如旗标merge_subblock_flag＝真)的不同运动信息。不同于一般合并模式，一般合并模式意味着当前块(CU、CB、PU、或PB)使用相同的运动信息而且当前块的预测是通过未结合帧内预测的运动信息进行运动补偿来产生；MH模式的概念则是结合一现有的预测假设(hypothesis of prediction)与一额外的预测假设，其可以是从合并运动候选或帧间运动候选所产生的预测假设。例如，可以使用MH模式来改善合并模式的表现。在跳过或合并模式中，合并索引会被用来选择运动候选，其可以是来自合并候选列表的候选自身所推导出的单向预测或双向预测。在本揭示中，所产生的运动补偿预测子被称为第一假设。对于所提出的MH模式而言，除了第一假设之外还会产生第二假设。可以通过来自合并、跳过模式、AMVP模式、仿射合并模式、仿射AMVP模式、子块合并模式的运动补偿来产生预测子的第二假设。在另一例子，可以使用MH模式来改善帧内模式的表现。在用于帧内的MH模式中，每一MH候选包含运动候选与帧内预测模式，其中运动候选是选择自候选列表I而且帧内预测模式是选择自候选列表II。当支持MH模式时，一或多个MH候选是可用(available)于跳过、合并或AMVP模式、仿射合并模式、仿射AMVP模式、子块合并模式、帧内模式或上述的组合。在一实施例中，MH模式可以被应用于合并索引小于特定阀值T的合并候选，其中T可以是1、2、3、4、5、6、8、或9。
根据不同的设定，例如帧内模式设定、帧内预测设定、运动信息设定、块分割设定、结合权重设定、或以上任何组合，而来提出多重-假设模式的变型。在一实施例中，设定可以用于原始的假设、额外的假设、或多于一个假设。在另一实施例中，设定的选择可以根据块宽度与/或块高度加以隐含地推导出；或通过在CU层级、CTU层级、切片层级、方块(tile)层级、SPS层级、或PPS层级或以上任何组合所发信的旗标来显性地指示出。
在一实施例中，当CTU约束被致能时，会使用帧内模式设定。如果在相同帧的相邻PU是使用多重-假设模式编解码时，只有在下列情况下帧内模式才可以被参考：当PU和当前PU是属于相同的CTU；或是被参考的帧内模式被推论为事先定义的帧内模式，其可以从{平面、直流、垂直、水平、对角线、模式2}中加以选择。这会避免CTU线缓冲器去储存帧内模式。
帧内预测设定是从普通帧内模式的帧内预测的过程，改变为用于帧内的MH模式的帧内预测的过程。在一实施例中，用于帧内的MH模式的帧内预测可以是普通帧内模式的帧内预测的简化版本。简化的机制可以是省略参考像素的滤波处理流程、减少帧内内插滤波器的长度、跳过当前帧内预测与相邻帧内重构的混合如位置依存度帧内预测结合(PDPC)，其涉及未滤波或已滤波的边界参考样本以及具有未滤波或已滤波的边界参考样本的HEVC类型帧内预测二者之结合，或任何上述之结合。例如，当选择了用于帧内的MH模式时，PDPC需要被失能而且不可以应用滤波处理流程。然后，对于水平/垂直预测模式或直流模式而言，当前块预测的缓冲器可以分别减少为一行(line)或一数值。
运动信息设定是为了内存存取带宽与计算复杂度的考虑。在一实施例中，运动信息设定可以是缩放的机制，会根据用预先定义列表(例如列表A，A＝0或1)的另一个预测的假设的参考画面(例如R1)，来缩放预先定义列表(例如列表B，B＝0或1)的一个预测的假设的参考画面(例如R2)。缩放机制的一些变型也在此提出。例如，相对应于缩放R2的缩放机制和R1是相同的。在另一例子中，相对应于缩放R2的缩放机制和R1相近。在另一实施例中，运动设定可以应用到四个不同案例。第一案例相对应的情况是预测的第一假设是列表List B的单向预测而且预测的额外假设是列表List A的单向预测。一种可能的方式是并不需要运动信息设定，因为内存存取带宽最坏的情况和用双向预测的预测假设是一样的。另一种可能的机制是，和缩放机制一样，也应用了运动信息设定。第一案例是预测的第一假设是列表List A的单向预测而且预测的额外假设是双向预测。一种可能的方式是用于预测的额外假设的列表X(其中X＝A)的参考画面是以运动信息设定来加以实施。
另一种可能的方式是用于预测的额外假设的列表X的参考画面是以运动信息设定来加以实施，其中X可以是0或1，取决于哪一个使得列表X的参考画面更接近于列表A的参考画面。第三案例是预测的第一假设是双向预测而且预测的额外假设是列表List B的单向预测。一种可能的方式是，类似于缩放机制，列表B的参考画面是以运动设定来加以实施。用于额外假设的列表B的参考画面可以被缩放至用于预测的第一假设的列表X(其中X＝B)的参考画面。另一种可能的方式是，用于额外假设的列表B的参考画面被缩放至用于预测的第一假设的列表X的参考画面，其中X可以是0或1，取决于哪一个使得列表X的参考画面更接近于列表B的参考画面。第四案例是预测的第一假设与额外假设二者皆是双向预测。一种可能的方式是，用于预测的额外假设的列表0/1的参考画面分别地被缩放至用于预测的第一假设的列表0/1的参考画面。另一种可能的方式是，用于预测的额外假设的列表0或列表1的参考画面分别地被缩放至用于预测的第一假设的列表0或列表1中较接近的参考画面。另一种可能的方式是，用于额外假设的列表0或列表1的参考画面被缩放至用于预测的第一假设的事先定义列表的参考画面。
依据事先定义的分割规则，将块分割设定应用于块的部分而非整个块。预测的第一假设是实施于一个子块，而预测的另一假设是实施于另一子块。用于预测的多重-假设的混合机制可以应用于相连的区域。在一实施例中，块分割可以依照如水平、垂直、对角线、或135-度对角线的方向进行。水平-方向/垂直-方向分割可以将块分割成两个子块，每一子块高度或宽度以Hi或Wi来表示，其中i可以是1或2而且Hi或Wi＝(块高度–H2)或(块宽度–W2)。例如，Hi与块高度的比率或Wi与块宽度的比率可以是1:N，其中N是2、3、4、6、8、16、或32。对角线/垂直-方向性的分割可以依照基于方向信息(例如，用精确的角度如45(其可以用tan(45度)＝1来表示)或135度(其可以用tan(135度)＝-1来表示)，或是以左上方角落至右下方角落或右上方角落至左下方角落的方向)的角度方向进行块分割。在一些其他实施例中，方向性信息可以利用正弦、余弦、正切来代表，或其他三角函数或斜率信息或任何其他形式来代表用于进行块分割的方向。在另一实施例中，块分割可以依照如L形或锯齿状的多边形来进行。L形分割可以将块分割成NxN方形或NxM矩形的子块，与剩余的L-形区域，其中N与M可以是(n*1/(块宽度))或(n*1/(块高度))而且n是正整数。NxN方形或NxM矩形子块可以位于四个角落的每一个。锯齿状可以将块分割成以wi和hj定义的两个锯齿状子块，其中i和j可以是2、3、4、5、6、7、或8而且wi可以和hj不同。图9示出了具有锯齿-形状分割的8x8块的例子。在图9中，8x8块被分割成以wi和hj定义的两个子块，其中i和j在此例子中是从1到4而且他们每一个都被设定为2。在另一实施例中，可以依据块宽度、块高度、或块尺寸大小来决定块的分割。在另一实施例中，依据一事先定义的规则将预测的一个假设应用于一个分割后的子块。事先定义的规则可以是如下。如果预测的假设是通过从B0、B1或B2的空间运动候选所产生的，其应该被应用于在上侧分割后的子块或是相邻于被参考来推导空间MVP的块的分割后的子块。相似地，如果预测的假设是通过从A0或A1的空间运动候选所产生的，其应该被应用于在左侧分割后的子块或是相邻于被参考来推导空间MVP的块的分割后的子块。其他例子可以取决于一事先定义的映射表或一显性发信的旗标。
结合权重设定处理的是用于多重-假设预测的权重。例如预测的两个假设可以相结合。可以通过下列等式来计算最后的预测：
Pij＝WH1ij*PH1ij+WH2ij*PH2ij
在上述等式中，Pij代表在当前块之内位置(i,j)的最后预测，PH1ij与PH2ij分别代表在当前块之内位置(i,j)的预测的第一假设与额外假设。WH1ij与WH2ij分别代表在当前块之内位置(i,j)的预测的第一假设与额外假设的权重，其中i是从0到(块宽度–1)而j是从0到(块高度–1)。在一实施例中，对于WH1ij或WH2ij等于0的区域，预测的额外或第一假设可以指定为最后预测，而结果会和块分割设定所进行的是一样的。在另一实施例中，WH1ij与WH2ij可以是基于像素并且以预先定义的表加以指定。在另一实施例中，WH1ij与WH2ij可以是基于子块。NxM的子块中每一像素都共享相同的权重，其中N与M可以是2、3、4、5、6、7、或8。N与M的值可以随着块宽度、块高度、或是像素位置而改变。例如，当像素位于当前块的边界时，N或M可以大一些。
结合块分割设定与结合权重设定是依据分割来应用权重。在一实施例中，沿着分割方向的像素会适用相同的权重。在另一实施例中，预测的假设之一会实施于事先定义的区域(以R来表示)，而且当与R之内的子-区域的预测的另一个假设相混合时，会使用较高的权重。当在R之内的像素远离分割方向时，实施在R的预测的假设的权重会变较大。以下，会显示一个例子是以对角线方向分割的8x8块以及将权重应用于子块。如图10所示，在对角线方向将CU分割为两个三角预测单元。如果预测的第一假设与额外假设以权重(以WH1ij与WH2ij来表示)分别实施于左方与右方三角区域(以RL与RR来表示)，如图11所示不同的权重可以被应用于不同区域。应注意的是，在此例子中当对预测的权重假设进行平均时，应用的是3-位向右-位移。在图11A中，如WH1ij＝4与WH2ij＝4的相同权重被应用于被标示的区域(如划斜线的区域所显示)；在图11B中，WH1ij＝5与WH2ij＝3被应用于RL被标示的区域而且WH1ij＝3与WH2ij＝5被应用于RR被标示的区域；在图11C中，WH1ij＝6与WH2ij＝2被应用于RL被标示的区域而且WH1ij＝2与WH2ij＝6被应用于RR被标示的区域；在图11D中，WH1ij＝7与WH2ij＝1被应用于RL被标示的区域而且WH1ij＝1与WH2ij＝7被应用于RR被标示的区域。
揭示一些建构候选列表与选择合并候选的方式，以用于具有对角线或垂直对角线方向的MH预测，其被称为三角预测单元模式。首先，将三角预测单元模式的场景描述如下。主要的概念是要引入新的三角分割以用于运动补偿预测中。三角分割于对角线或逆对角线方向将一CU分割成两个三角预测单元。CU中的每一三角预测单元是使用其自身的单向预测运动向量与参考帧来进行帧间-预测。在预测了三角预测单元之后，将自适应权重处理流程实施于对角线边缘。然后，将转换与量化流程应用于整个CU。要注意的是此一模式仅适用于跳过与合并模式。所提出的方式是由以下所组成：对于每一三角预测单元建构候选列表、对于两个三角预测单元建构共享候选列表、产生新的单向预测候选、排序候选列表中的运动候选、修剪候选列表中的候选、储存运动信息以用于对角线边缘、或上述之任何组合。
对于每一预测单元建构候选列表，是建立候选列表(以CandList1来表示)以用于第一三角预测单元，而然后相应地建立另一候选列表(以CandList2来表示)以用于第二三角预测单元。在一实施例中，首先，可以用合并模式中普通/扩展的候选来形成CandList1。例如，候选位置可以来自用于HEVC中AVMP/合并的MVP候选组的任何子集(如图1所示)或来自例如推导新合并候选的扩展候选，其是通过将具有或不具相同参考画面的两个已经存在的运动候选加以平均；或是从两个非-紧邻的相邻位置(non-adjacent neighbouringpositions)来推导额外的空间候选，其一是直线(straight)水平空间距离上最靠近的非-相邻块，而另一个是直线(straight)垂直空间距离上最靠近的非-相邻块；或是从外面参考区域中的位置来推导额外的空间合并候选。在一实施例中，CandList1的候选列表可以重复使用一般合并模式(或也称为普通合并模式)的候选列表。然后从CandList1中移除双向预测候选或是从CandList1选出运动候选，若该运动候选为双向预测，则选择该双向预测候选中事先定义列表的运动候选。在另一实施例中，CandList2可以如同CandList1来形成。在另一实施例中，CandList2可以首先如同CandList1来形成，然后从CandList2中移除用于第一三角预测单元的候选以避免冗余的状况。最后，可以应用一事先定义的规则来填满CandList2。用来填满CandList2的事先定义的规则可以选择自此处所揭示的任何产生新的单向预测候选的方法。
使用共享候选列表于两个预测单元(例如两个三角预测单元或任何其他形状的两个预测单元)的方法可以包括：依类似CandList1的方式建立单向预测候选列表，与/或根据事先定义的规则(例如映像表)选择两个候选(分别以cand1与cand2来表示)以用于第一与第二三角预测单元。
产生新的单向预测候选的方法可以包括以事先定义的规则修正该已经存在的单向预测候选。在一实施例中，可以通过增加偏移量n于原始的单向预测候选，来产生新的单向预测候选，偏移量n可以固定于1、2、3、4、5、6、7、8等或随着块宽度、高度或运动向量精度(precision)而改变。在另一实施例中，可以通过将原始的单向预测候选做镜像，来产生新的单向预测候选。例如，镜像可以对应于水平运动向量的反方向并且改变列表List 0/1为列表List 1/0。在另一实施例中，可以通过用事先定义的列表来平均两个候选，而产生新的单向预测候选。用事先定义的列表来平均两个候选的权重可以相同或随着块宽度、块高度或像素位置而改变。例如，当像素位置离包含第一运动候选的块较接近时，第一运动候选的权重比第二运动候选的权重较大。
对于候选列表中运动候选(在本揭示中也称为候选成员)排序的方法可以包括决定候选列表中运动候选的优先级。在候选列表中位于前面的运动候选可以用较短-长度的码字加以发信或在编码器模式决定时接受最多测试。在一实施例中，候选的优先级可以是固定顺序，和一般合并模式(或也称普通合并模式)的顺序相似。在另一实施例中，候选的优先级可以随着块宽度、块高度或像素位置而改变。例如，当块位于左方边界时，来自上方或右方候选组的候选则放在候选列表的前面部份。另一例子中，当块形状窄的时候(narrow，例如块宽度/高度比块高度/宽度大二倍以上)，来自相邻于块的长侧的那些块的候选组的候选则放在候选列表的前面部份。
当cand1与cand2是相同或相似的时候，修剪候选列表中的候选是必要的。为了修剪，可以将一些处理应用于cand1与cand2任一个或二者。在一实施例中，cand1与cand2的相似度可以用cand1与cand2的运动向量距离以及cand1与cand2的参考画面来加以测量。例如，当cand1与cand2的参考画面或索引是相同的而且运动向量距离小于某一阀值时，cand1与cand2是相似的。以下揭示一些修剪的机制，以用来考虑cand1与cand2是相同或相似的时候。一种架构是不允许cand1与cand2这种组合，并且通过依据候选列表中的优先级来找cand1与cand2的下一个组合。根据另一种机制，如果cand1或cand2是用事先定义的列表从双向预测运动候选中所选择出的单向预测运动候选，可以将cand1或cand2替换成用其他的列表从双向预测运动候选中所选择出的运动候选。根据又另一种机制，可以将cand1或cand2替换成新的候选，其是通过应用任何已揭示产生新的单向预测候选的方式于cand1或cand2所产生的。
储存对角线边缘的运动信息的方法可以包括处理空间的情况，其发生于当储存相连区域中的运动信息以便后续编码块可以用来参考。要注意的是两个运动候选(即cand1与cand2)是实施于相连的区域。在一实施例中，如果两个三角预测单元的运动候选都是相同列表的单向预测，根据一实施例可以通过将运动向量cand1或cand2增加一偏移量来修正运动信息，然后储存修正后的运动信息。在另一实施例中，cand1或cand2可以是互为镜像，而且对应于(cand1与镜像的cand2)或(cand2与镜像的cand1)的双向预测候选可以被储存起来。
在一实施例中，分割1与分割2可以共享相同的候选列表。例如，此候选列表可以和用于一般合并模式(或也称普通合并模式)的候选列表或其他编解码工具的其他候选列表是相同的。在一例子中，可以推导两个候选以用于两个分割。两个候选中至少有一个可以使用用来推导一般合并模式(或也称普通合并模式)的候选列表而推导出来。MH预测可以通过混合从两个候选所产生的预测而来产生。在一实施例中，两个候选可以从相同的候选列表推导出来。对于每一个分割，会发信或推导出一个候选索引。有了候选索引，两个分割可以有其自己的运动信息。如果被选择的候选是单向预测候选，会使用单向预测运动信息。如果被选择的候选是双向预测候选，可以使用一或多个处理规则来选择单向预测运动信息。例如，如果被选择的候选是双向预测候选，可以选择列表List-0运动信息。在一实施例中，对于两个分割的处理规则可以不同。例如，如果被选择的候选是用于第一分割的双向预测候选，列表List-0/列表List-1运动信息可以被选择；如果被选择的候选是用于第二分割的双向预测候选，列表List-1/列表List-0运动信息可以被使用。在另一实施例中，此处理规则可以使用两个分割的信息或两个分割的索引。例如，如果两个分割选择了相同的候选而且此候选是双向预测候选，第一分割会选择列表List-0/列表List-1运动信息而且第二分割会选择列表List-1/列表List-0运动信息。在另一例子中，如果两个分割选择了相同的候选而且此候选是双向预测候选，第一分割会选择列表List-0/列表List-1运动信息而且第二分割会选择列表List-1/列表List-0运动信息；否则，如果被选择的候选是双向预测候选，列表List-0/列表List-1运动信息会被选择。在运动信息选择之后，如果两个分割的运动信息相同(例如相同MV与相同参考列表与相同参考画面索引，或相同MV与相同参考画面)，根据一实施例运动信息不会被修正来用于推导新的候选。这可被视为运动信息一致不变的(uniform)单向预测CU。在另一实施例中，如果两个分割的运动信息相同，其中一个运动信息可以被修正。例如，第二分割的运动信息可以通过程序加以修正，如在运动信息增加一些事先定义或推导出的MV/MV-偏移量，或镜像/缩放运动信息至另一个参考列表与/或另一个参考画面。在另一实施例中，第二分割的候选索引可以被修正来推导另一个运动信息，例如选择第一候选或选择被选择候选的相邻候选(候选索引-1或+1)。
可以应用上述的任何组合于任何多重-假设模式，例如用于合并的MH模式、用于帧间的MH模式、或用于帧内的MH模式。
前面提出的任何方法可以在编码器与/或解码器中加以实施。例如，所提出的任何方法可以在编码器的帧间/帧内编解码模块、运动补偿模块、解码器的合并/帧间/帧内候选推导模块中加以实施。所揭示的任何方法也可以选择性地实施为电路而耦合至帧间/帧内编解码模块、运动补偿模块、解码器的合并/帧间/帧内候选推导模块。
图12根据本发明的一实施例使用多重-假设(MH)模式于视频编解码的例示性预测的流程图。本流程图中所示的步骤，以及本揭示中其他接下来的流程图，可以实作成程序代码而可在编码器侧与/或解码器侧中的一或多个处理器(例如一或多个中央处理器)中执行。本流程图中所示的步骤也可以基于硬件来实作，硬件可以例如安排来进行本流程图中各步骤的一或多个电子装置或处理器。根据本方法，在步骤1210中，在视频编码器侧接收关于当前画面的当前块的输入数据，或在视频解码器侧接收相对应于经过压缩后数据的视频比特流，而该压缩后数据包括该当前画面中的该当前块。在步骤1220中，当前块被分割为第一分割与第二分割。在步骤1230中，决定该第一分割的第一候选与该第二分割的第二候选，其中该第一候选与该第二候选中至少有一个是使用用来推导普通合并模式的候选列表而推导出来的。在步骤1240中，通过混合相对应于该第一候选的第一预测与相对应于该第二候选的第二预测而产生MH预测，其中该MH预测被应用于该当前块的其中一部分。在步骤1250中，使用该第一候选与该第二候选中至少之一而于该视频编码器侧编码该当前块或是与该当前块相关的当前运动信息，或是使用该第一候选与该第二候选中至少之一而于该视频解码器侧解码该当前块或是与该当前块相关的该当前运动信息。
所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属领域中具有普通技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本揭示中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，透过用等同的语法和语义来替换该语法和语义，具有普通技术者可以实施本发明。
上述说明，使得所属领域中具有普通技术者能够在特定应用程序的内容及其需求中实施本发明。对所属领域中具有普通技术者来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的具有普通技术者理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (17)

1.一种用于视频编解码的预测方法，包括：
在视频编码器侧接收关于当前画面的当前块的输入数据，或在视频解码器侧接收相对应于经过压缩后数据的视频比特流，而该压缩后数据包括该当前画面中的该当前块；
分割该当前块为第一分割与第二分割；
决定该第一分割的第一运动预测候选与该第二分割的第二运动预测候选，其中该第一运动预测候选与该第二运动预测候选中至少有一个是使用用来推导普通合并模式的候选列表而推导出来的；
通过混合相对应于该第一运动预测候选的第一预测子与相对应于该第二运动预测候选的第二预测子而产生多重假设预测，其中该多重假设预测被应用于该当前块的其中一部分；以及
在该视频编码器侧使用该第一运动预测候选与该第二运动预测候选中至少之一编码该当前块或是与该当前块相关的当前运动信息，或是在该视频解码器侧使用该第一运动预测候选与该第二运动预测候选中至少之一解码该当前块或是与该当前块相关的该当前运动信息。
2.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，沿着从该当前块的左下角至右上角或从该当前块的左上角至右下角的对角线，该当前块被分割为两个三角形。
3.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，依据方向性信息，该当前块在水平方向、垂直方向、或角度方向上被分割为两个子块。
4.根据权利要求3所述的用于视频编解码的预测方法，其特征在于，该方向性信息对应于45度或135度。
5.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，该第一运动预测候选是推导自第一候选列表，而该第一候选列表与用于推导该普通合并模式的候选列表有关。
6.根据权利要求5所述的用于视频编解码的预测方法，其特征在于，该第二运动预测候选是推导自第二候选列表，而该第二候选列表与用于推导该普通合并模式的候选列表有关。
7.根据权利要求6所述的用于视频编解码的预测方法，其特征在于，该第一候选列表与该第二候选列表共享相同的候选列表。
8.根据权利要求7所述的用于视频编解码的预测方法，其特征在于，该第一候选列表与该第二候选列表是推导自该相同的候选列表。
9.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，该第一运动预测候选、该第二运动预测候选、或二者是基于该第一运动预测候选的索引、该第二运动预测候选的索引、或二者所选择的。
10.根据权利要求9所述的用于视频编解码的预测方法，其特征在于，该第一运动预测候选或该第二运动预测候选的列表0或列表1的运动信息是基于该第一运动预测候选的该索引或该第二运动预测候选的该索引所选择的。
11.根据权利要求9所述的用于视频编解码的预测方法，其特征在于，当选择用于该第一运动预测候选与该第二运动预测候选的运动信息是相同的时候，该第一运动预测候选或该第二运动预测候选的该运动信息不作修正。
12.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，一个候选索引被推导出以用于每一个第一分割与该第二分割。
13.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，在该候选列表中位于前面的候选成员会被指定较短长度的码字。
14.根据权利要求1所述的用于视频编解码的预测方法，其特征在于，针对每一个该第一分割与该第二分割，候选索引被发信。
15.根据权利要求14所述的用于视频编解码的预测方法，其特征在于，该第一分割的候选索引与该第二分割的候选索引的至少一个的发信方式是和用于该普通合并模式的合并索引的发信方式是相同的。
16.根据权利要求14所述的用于视频编解码的预测方法，其特征在于，该候选列表中候选成员的顺序是基于和该普通合并模式相似或相同顺序的固定顺序。
17.一种视频编解码的装置，该装置包括有一或多个电子电路或处理器以安排用来：
在视频编码器侧接收关于当前画面的当前块的输入数据，或在视频解码器侧接收相对应于经过压缩后数据的视频比特流，而该压缩后数据包括该当前画面中的该当前块；
分割该当前块为第一分割与第二分割；
决定该第一分割的第一运动预测候选与该第二分割的第二运动预测候选，其中该第一运动预测候选与该第二运动预测候选中至少有一个是使用用来推导普通合并模式的候选列表而推导出来的；
通过混合相对应于该第一运动预测候选的第一预测子与相对应于该第二运动预测候选的第二预测子而产生多重假设预测，其中该多重假设预测被应用于该当前块的其中一部分；以及
在该视频编码器侧使用该第一运动预测候选与该第二运动预测候选中至少之一编码该当前块或是与该当前块相关的当前运动信息，或是在该视频解码器侧使用该第一运动预测候选与该第二运动预测候选中至少之一解码该当前块或是与该当前块相关的该当前运动信息。
CN201980073324.9A 2018-11-12 2019-11-12 视频编码的多重假设方法和装置 Active CN112970250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862758761P 2018-11-12 2018-11-12
US62/758,761 2018-11-12
PCT/CN2019/117561 WO2020098653A1 (en) 2018-11-12 2019-11-12 Method and apparatus of multi-hypothesis in video coding

Publications (2)

Publication Number Publication Date
CN112970250A CN112970250A (zh) 2021-06-15
CN112970250B true CN112970250B (zh) 2022-08-23

Family

ID=70731304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073324.9A Active CN112970250B (zh) 2018-11-12 2019-11-12 视频编码的多重假设方法和装置

Country Status (5)

Country Link
US (1) US11539940B2 (zh)
EP (1) EP3878172A4 (zh)
CN (1) CN112970250B (zh)
TW (1) TWI734254B (zh)
WO (1) WO2020098653A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7358473B2 (ja) * 2018-11-29 2023-10-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 多仮説予測を用いたブロックのための最確モードリスト構成のエンコーダ、デコーダ、および対応する方法
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN110636301B (zh) * 2019-09-18 2021-08-03 浙江大华技术股份有限公司 仿射预测方法、计算机设备和计算机可读存储介质
US11689715B2 (en) * 2020-09-28 2023-06-27 Tencent America LLC Non-directional intra prediction for L-shape partitions
US20220109863A1 (en) * 2020-10-02 2022-04-07 Tencent America LLC Method and apparatus for video coding
WO2024017188A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus for blending prediction in video coding system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
CN104769947A (zh) * 2013-07-26 2015-07-08 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023597A (ja) 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
HUE055116T2 (hu) * 2010-09-02 2021-10-28 Lg Electronics Inc Videó kódolási és dekódolási eljárás
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
KR20210024487A (ko) * 2018-07-01 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 효율적인 아핀 병합 모션 벡터 유도

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
CN104769947A (zh) * 2013-07-26 2015-07-08 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CE10.1: Combined and multi-hypothesis prediction;Man-Shu Chiang等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20180710;全文 *
CE10.3.1.b: Triangular prediction unit mode;Ru-Ling Liao等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20181005;全文 *

Also Published As

Publication number Publication date
TWI734254B (zh) 2021-07-21
EP3878172A4 (en) 2022-08-24
EP3878172A1 (en) 2021-09-15
US11539940B2 (en) 2022-12-27
US20210392322A1 (en) 2021-12-16
TW202021366A (zh) 2020-06-01
WO2020098653A1 (en) 2020-05-22
CN112970250A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
CN112544082B (zh) 一种视频编解码的帧间预测方法及装置
CN112970250B (zh) 视频编码的多重假设方法和装置
CN110581994A (zh) 部分成本计算
CN113302918A (zh) 视频编解码中的加权预测
KR20210089155A (ko) 페어와이즈 평균 후보 계산에서 라운딩
TWI779278B (zh) 在視頻編解碼中約束合併標誌信令的方法和裝置
JP2024008948A (ja) 動き候補リスト構築プロセスの条件付き実行
US11539977B2 (en) Method and apparatus of merge with motion vector difference for video coding
KR102662603B1 (ko) 비디오 코딩을 위한 움직임 후보 리스트 구성
CN115152227A (zh) 并行处理的选择性切换
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
CN113366845A (zh) 视频编码中结合帧间和帧内预测的方法和装置
TW202029773A (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
CN112567750A (zh) 用于视频编解码的简化合并候选列表的方法和装置
CN112585972A (zh) 用于视频编解码的简化子模式的方法和装置
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant