CN116800981A - 使用双向编码单元加权的视频编码方法和装置 - Google Patents

使用双向编码单元加权的视频编码方法和装置 Download PDF

Info

Publication number
CN116800981A
CN116800981A CN202310727831.8A CN202310727831A CN116800981A CN 116800981 A CN116800981 A CN 116800981A CN 202310727831 A CN202310727831 A CN 202310727831A CN 116800981 A CN116800981 A CN 116800981A
Authority
CN
China
Prior art keywords
candidate
index
merge
gbi
affine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310727831.8A
Other languages
English (en)
Inventor
苏郁琪
陈庆晔
林芷仪
庄子德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN116800981A publication Critical patent/CN116800981A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种对编解码系统进行编码或解码的方法和装置，其中对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。根据该方法，为当前块生成合并候选列表，其中当目标合并候选对应于所选合并候选时，与合并候选列表中的目标合并候选相关联的当前块的双向预测子的当前双向CU加权被设置为预定义加权对。在另一种方法中，当目标合并候选对应于所选择的合并候选时，与合并候选列表中的目标合并候选相关联的双向预测子的当前双向CU加权继承自目标合并候选。

Description

使用双向编码单元加权的视频编码方法和装置
【交叉引用】
本申请要求2018.5.23提交的申请号为62/675,239的美国临时专利申请、2018.8.20提交的申请号为62/719,826的美国临时专利申请、2018.10.8提交的申请号为62/742,476的美国临时专利申请、2018.10.9提交的申请号为62/743,014的美国临时专利申请的优先权。以上美国临时专利申请通过引用一并合并入本发明。
【技术领域】
本发明涉及使用双向预测(bi-directional prediction)的视频编解码。特别地，本发明公开了和与双向CU加权相关联的语法设计有关的方法。
【背景技术】
高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)标准化组织，并且尤其是在被称为视频编解码联合协作团队(JCT-VC)的联合视频项目下开发的。在HEVC中，一个切片被划分为多个编解码树单元(CTU)。在主配置文档(profile)中，CTU的最小和最大大小由序列参数集(SPS)中的语法元素指定。允许的CTU大小可以是8x8、16x16、32x32或64x64。对于每个切片，根据光栅扫描顺序处理切片内的CTU。
合并模式
为了提高HEVC中的运动向量(MV)编码的编解码效率，HEVC具有跳过(Skip)和合并(Merge)模式。跳过和合并模式从空间相邻块(空间候选)或时间共同定位块(co-locatedblock)(时间候选)获得运动信息。当PU是跳过或合并模式时，不编解码运动信息。相反，仅编解码所选候选的指数。对于跳过模式，残差信号被强制为零而不进行编解码。在HEVC中，如果特定块被编码为跳过或合并，则发信候选指数以指示候选集中的哪个候选用于合并。每个合并的PU重用所选候选的MV、预测方向和参考图像指数。
对于HEVC参考软件HM-4.0中的合并模式，如图1所示，从A0、A1、B0和B1导出多达四个空间MV候选，并且从TBR或TCTR导出一个时间MV候选(首先使用TBR，如果TBR不可用，则使用TCTR代替)。注意，如果四个空间MV候选中的任何一个不可用，则位置B2然后用于导出MV候选作为替换。在四个空间MV候选和一个时间MV候选的推导过程之后，应用去除冗余(修剪)以移除冗余MV候选。如果在去除冗余(修剪)之后，可用MV候选的数量小于5，则导出三种类型的附加候选并将其添加到候选集(即，候选列表)。编码器基于速率-失真优化(rate-distortion optimization，简写为RDO)判决选择候选集合中的一个最终候选用于跳过或合并模式，并将指数(index)发送到解码器。
在下文中，为方便起见，跳过和合并模式都可以称为“合并模式(Merge mode)”。换句话说，此后的本公开中的“合并模式”可以表示跳过和合并模式。
合并模式和AMVP模式
为了实现HEVC中的混合编解码架构的最佳编解码效率，针对每个PU存在两种预测模式(即，帧内预测和帧间预测)。对于帧内预测模式，空间相邻重建像素可用于生成方向预测。HEVC有多至35个方向。对于帧间预测模式，时间重建参考帧可用于生成运动补偿预测。有三种不同的模式，包括跳过、合并和帧间高级运动向量预测(AMVP)模式。
当以帧间AMVP模式编解码PU时，利用发送的运动向量差(MVD)执行运动补偿预测，其可与运动向量预测子(MVP)一起用于导出运动向量(MV)。为了在帧间AMVP模式中确定MVP，使用高级运动向量预测(AMVP)方案来选择包括两个空间MVP和一个时间MVP的AMVP候选集中的运动向量预测子。因此，在AMVP模式中，需要对MVP的MVP指数和相应的MVD进行编码和传输。另外，用于指定双向预测(bi-prediction)和单向预测(uni-prediction)(其为列表0(即，L0)和列表1(即，L1))中的预测方向的帧间预测方向，以及每个列表的参考帧指数也应当被编码和传输。
当以跳过或合并模式编解码PU时，除了所选候选的合并指数之外，不发送运动信息，因为跳过和合并模式利用运动推断方法。由于跳过和合并模式的运动向量差(motionvector difference，简写为MVD)为零，因此跳过或合并编码块的MV与运动向量预测子(MVP)相同(即，MV＝MVP+MVD＝MVP)。因此，跳过或合并编码块从位于共址图像中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息。共址图像是列表0或列表1中的第一参考图像，其在切片报头中发信。在跳过PU的情况下，也省略残差信号。为了确定跳过和合并模式的合并指数，合并方案用于在包含四个空间MVP和一个时间MVP的合并候选集中选择运动向量预测子。
图1示出了用于导出AMVP和合并方案的空间和时间MVP的相邻PU。在AMVP中，左MVP是A0、A1中的第一个可用的MVP，顶部MVP是来自B0、B1、B2的第一个可用的MVP，并且时间MVP是来自TBR或TCTR的第一个可用的MVP(首先使用TBR，如果TBR不可用，则使用TCTR代替)。如果左MVP不可用且顶部MVP并非缩放的MVP，则如果在B0、B1和B2中存在缩放的MVP，则可以导出第二顶部MVP。在HEVC中，AMVP的MVP的列表大小是2。因此，在两个空间MVP和一个时间MVP的推导过程之后，只有前两个MVP可以包括在MVP列表中。如果在去除冗余之后，可用MVP的数量小于2，则将零向量候选添加到候选列表中。
一般双向预测(Bi-prediction，简写为GBi)
在JVET-C0047(C.Chen等人，“Generalized bi-prediction for inter coding”，在ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频开发小组(JVET)，第3次会议：日内瓦，CH，2016年5月26日至6月1日，文件：JVET-C0047中提出了一般双向预测(GBi)。GBi的概念是允许分别使用来自L0和L1的预测子的不同加权，而不是在传统双向预测中使用相等加权。预测子生成可以总结在方程序(1)和(2)中。
PTraditionalBiPred＝(PL0+PL1+RoundingOffset)>>shiftNum (1)
PGBi＝(w0*PL0+w1*PL1+RoundingOffsetGBi)>>shiftNumGBi。 (2)
在上述等式中，PTraditionalBiPred和PGBi分别是传统双向预测和GBi的最终预测子，PL0和PL1是来自L0和L1的预测子，w0和w1是L0和L1的选择的GBi加权，以及RoundingOffset、shiftNum、RoundingOffset1和shiftNum1分别用于标准化传统双向预测和GBi中的最终预测子。对于AMVP模式(即，正常帧间预测模式)，如果在双向预测模式中对CU进行编码，则对于一个CU明确地发信GBi中的加权选择。对于合并模式，加权选择继承自合并候选。
在JVET-D0102(C.Chen，等人，“EE3：Generalized bi-prediction”，在ITU-TSG16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第4次会议：成都，CN，2016年10月15-21日，文件：JVET-D0102)中，w0和w1的加权是{6，5，4，3，2}和{2，3，4，5，6}，在表1中示出了mvd_l1_zero_flag等于0的情况下的二值化(binarization)，其中mvd_l1_zero_flag等于1表示列表1的mvd被设置为零并且不被发送到解码器。
表1
基于表1中所示的二值化，将5GBi指数映射到5GBi编码顺序指数。图2示出了GBi编码顺序指数的发信。在AMVP中，首先发信标志以指示帧间预测是单向预测还是双向预测。如果帧间预测是双向预测，则发信相等加权标志(equal-weighting flag)以指示双向预测是否属于相等(即，GBi编码顺序指数＝0)或不相等加权(即，GBi编码顺序指数＝1、2、3或4)情况。如果相等加权标志等于0，则基于截断的一元编码来发信GBi编码顺序指数1、2、3或4的非相等加权标志，如表1所示。
仿射运动模型
沿着时间轴在图像上发生的运动可以由许多不同的模型来描述。假设A(x，y)是所考虑的位置(x，y)处的原始像素，A'(x'，y')是像素A(x，y)的当前参考图像中位置(x'，y')处的对应像素，仿射运动模型描述如下。
仿射模型能够描述二维块旋转以及二维形变以将正方形(或矩形)变换为平行四边形。该模型可描述如下：
x’＝a0+a1*x+a2*y,且
y’＝b0+b1*x+b2*y。 (3)
在提交给ITU-VCEG的贡献ITU-T13-SG16-C1016中(Lin等人，“Affine transformprediction for next generation video coding”，ITU-U，第16研究组，问题Q6/16，贡献C1016，2015年9月，日内瓦，CH)，公开了一个四参数仿射预测，其中包括仿射合并模式。当仿射运动块正在移动时，块的运动向量场可以通过两个控制点运动向量或四个参数来描述，其中(vx，vy)表示运动向量
图3中示出了四参数仿射模型的示例，其中块310对应于当前块，块320对应于参考块。变换后的块是矩形块。该移动块中每个点的运动向量场可以用下面的等式描述：
在上面的等式中，(v0x，v0y)是块的左上角处的控制点运动向量(即，v0)，并且(v1x，v1y)是块的右上角处的另一个控制点运动向量(即，v1)。当解码两个控制点的MV时，可以根据上面的等式确定块的每个4×4块的MV。换句话说，可以通过两个控制点处的两个运动向量来指定块的仿射运动模型。此外，虽然块的左上角和右上角用作两个控制点，但是也可以使用其他两个控制点。
在贡献ITU-T13-SG16-C1016中，对于帧间模式编码CU，发信仿射标志以指示当CU大小等于或大于16×16时是否应用仿射帧间模式。如果当前块(例如，当前CU)以仿射帧间模式编码，则使用相邻有效重构块来构建候选MVP对列表。图4示出了用于导出角点衍生(corner-derived)仿射候选的相邻块集合。如图4所示，对应于当前块410的左上角的块V0的运动向量，其从相邻块a0的运动向量(称为左上(above-left)块)、a1(称为内左上(inner above-left)块)和a2(称为下左上(lower above-left)块)中选择，并且/>对应于当前块410的右上角处的块V1的运动向量，其选自相邻块b0(称为上方块)和b1(称为右上块)的运动向量。
在上面的等式中，MVa是与块a0、a1或a2相关联的运动向量，MVb是从块b0和b1的运动向量中选择的，并且MVc是从块c0和c1的运动向量中选择的。选择具有最小DV的MVa和MVb以形成MVP对。因此，虽然仅针对最小DV搜索两个MV集(即，MVa和MVb)，但是第三DV集(即，MVc)也参与选择过程。第三DV集对应于当前块410的左下角处的块的运动向量，其从相邻块c0(称为左块)和c1(称为左下块)的运动向量中选择。在图4的示例中，用于构造仿射运动模型的控制点MV的相邻块(a0、a1、a2、b0、b1、b2、c0和c1)被称为本公开中的相邻块集(neighbouring block set)。
在ITU-T13-SG16-C-1016中，还提出了仿射合并模式。如果当前是合并PU，则检查相邻的五个块(图4中的c0、b0、b1、c1和a0块)以确定它们中的一个是否为仿射帧间模式或仿射合并模式。如果是，则发信affine_flag以指示当前PU是否是仿射模式。当当前PU以仿射合并模式编码时，它从有效的相邻重建块获得用仿射模式编码的第一块。候选块的选择顺序是从左侧、上方、右上方、左下方到左上方(c0→b0→b1→c1→a0)，如图4所示。第一个仿射编解码块的仿射参数用于导出当前PU的v0和v1。
在HEVC中，每个PU的经解码的MV以16：1的比率被下采样并且存储在时间MV缓冲器中以用于后续帧的MVP推导。对于16x16块，仅左上方的4x4 MV存储在时间MV缓冲器中，并且存储的MV表示整个16x16块的MV。
传统的子PU时间运动向量预测(Sub-PU TMVP)
为了提高编解码效率，在合并模式中应用子PU时间运动向量预测(子PU TMVP，也称为高级时间运动向量预测，ATMVP)模式。也就是说，子PU TMVP是合并模式的合并候选。如图5所示，与传统时间候选不同，子PU TMVP模式将当前PU划分为多个子PU，并找到每个子PU的所有对应时间并置运动向量。大小为MxN的当前PU具有(M/P)×(N/Q)个子PU，每个子PU的大小为PxQ，其中M可被P整除，并且N可被Q整除。图5中的示例对应于当前PU 510被划分为16个子PU(即，M/P＝4且N/Q＝4)的情况。指示了子PU 0(511)和子PU 1(512)。子PU TMVP的详细算法描述如下。
在步骤1中，对于在子PU TMVP模式中编解码的当前PU 510，为时间并置图像520中并置PU的子PU(521和522)确定表示为vec_init(523和524)的“初始运动向量”。例如，vec_init可以是当前PU 510的第一可用空间相邻块的MV。在图5中，vec_init_0 523指向子块525并且vec_init_1 523指向子块526。或者，其他相邻块的MV也可以用作初始运动向量。传统上，vec_init是空间相邻块中的第一个可用候选。例如，如果第一可用空间相邻块具有L0和L1 MV，并且LX是用于搜索并置信息的第一列表，则当LX＝L0时vec_init使用L0 MV，或者当LX＝L1时使用L1。LX(L0或L1)的值取决于哪个列表(L0或L1)更适合并置信息。如果L0对于并置信息(例如，POC(图像顺序计数)距离比L1更近)更好，则LX等于L0，反之亦然。可以在切片级别、砖(brick)级别、条带(tile)级别或图像级别执行LX分配。
然后开始“并置图像搜索过程”。“并置图像搜索过程”是为子PU TMVP模式中的所有子PU找到主要并置图像。主要并置图像表示为main_colpic。传统上，它首先搜索由第一可用空间相邻块选择的参考图像。然后，在B切片中，它搜索从L0(或L1)、参考指数0，然后指数1，然后指数2开始的当前图像的所有参考图像，依此类推(增加指数顺序)。如果它完成搜索L0(或L1)，则它搜索另一个列表。在P切片中，它首先搜索由第一可用空间相邻块选择的参考图像。然后，它从参考指数0，然后指数1，然后指数2开始搜索列表的当前图像的所有参考图像，依此类推(增加指数顺序)。
在搜索期间，对于每个搜索到的图像，执行名为“可用性检查”的过程。“可用性检查”过程检查由vec_init_scaled指向的当前PU的围绕中心位置的并置子PU，其中vec_init_scaled是具有来自vec_init的适当MV缩放的MV。可以使用各种方式来确定“围绕中心位置(around centre position)”。“围绕中心位置”可以对应于中心像素。例如，如果PU大小是M*N，则中心等于位置(M/2，N/2)。“围绕中心位置”也可以对应于中心子PU的中心像素。“围绕中心位置”可以是上述两种方法取决于当前PU形状的混合。在“可用性检查”中，如果检查结果是帧间模式，则可用性为真；否则(检查结果是帧内模式)，则可用性为假。在“可用性检查”之后，如果可用性为真，则将当前搜索到的图像标记为主并置图像并且搜索过程结束。如果可用性为真，则使用“围绕中心位置”的MV并针对当前块缩放以导出“默认MV”。如果可用性为假，则它将搜索下一个参考图像。
在“并置图像搜索过程”期间，当vec_init的参考图像不等于原始参考图像时，需要MV缩放。MV缩放过程是使用运动向量的缩放版本。分别基于当前图像与vec_init的参考图像和搜索的参考图像之间的时间距离缩放MV。在MV缩放之后，缩放的MV被表示为vec_init_scaled。
在步骤2中，对于每个子PU，它还在main_colpic中找到并置位置。假设当前子PU是子PU i，则计算并置位置，如下所示：
collocated location x＝Sub-PU_i_x+vec_init_scaled_i_x(integer part)+shift_x,
collocated location y＝Sub-PU_i_y+vec_init_scaled_i_y(integer part)+shift_y。
在上述等式中，子PU_i_x表示当前图像内的子PU i的水平左上位置(整数位置)，子PU_i_y表示当前图像内的子PU i的垂直左上位置(整数位置)，vec_init_scaled_i_x表示vec_init_scaled_i的水平部分，它有整数部分和小数部分，我们在计算中只使用整数部分，而vec_init_scaled_i_y表示vec_init_scaled_i的垂直部分，它有整数部分和小数部分，我们在计算中只使用整数部分。shift_x表示移位值。shift_x可以是子PU宽度的一半。shift_y表示移位值。在一个示例中，shift_y可以是子PU高度的一半，但是也可以使用其他方法。
最后，在步骤3中，它找到每个子PU的运动信息时间预测子，其被表示为每个子PU的子PU_MI_i。子PU_MI_i是来自collocated_picture_i_L0和collocated_picture_i_L1的并置位置x、并置位置y的运动信息(MI)。这里MI被定义为{MV_x，MV_y，参考列表，参考指数和其他合并模式敏感信息，例如局部照度补偿标志}的集合。此外，在一个示例中，可以根据并置MV的并置图像、当前图像和参考图像之间的时间距离关系来缩放MV_x和MV_y。如果MI不可用于某些子PU，则将使用围绕中心位置的子PU的MI(换句话说，使用默认MV)。在图5中，子块525和526的运动向量分别标记为527和528。
传统上，候选列表中仅存在一个子PU TMVP候选。
空间-时间运动向量预测(STMVP)
在JEM-3.0(Chen等人，““Algorithm Description of Joint Exploration TestModel 3”,，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG11的联合视频探索小组(JVET)，第3次会议：日内瓦，CH，2016年5月26日至6月1日，文件：JVET-C1001)中，空间-时间运动向量预测(STMVP)也包括在合并模式编解码中。在STMVP中，通过使用时间运动向量预测子和空间相邻运动向量，在光栅扫描顺序之后递归地导出子CU的运动向量。图6说明了STMVP的概念。让我们考虑包含四个4×4子CU，A、B、C和D的8×8CU 610。当前帧中的相邻N×N块标记为a、b、c和d。子CU A的运动推导通过识别其两个空间相邻开始。第一个相邻是子CU A之上的NxN块(块c)。如果该块c不可用或者是帧内编码，则检查子CU A上方的其他N×N块(从左到右，从块c开始)。第二相邻是子CU A左侧的块(块b)。如果块b不可用或者是帧内编码，则检查子CU A左侧的其他块(从上到下，从块b开始)。从每个列表的相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循与HEVC中指定的TMVP推导相同的过程来导出子块A的时间运动向量预测子(TMVP)。获取位置D处的共同定位块(co-located block)的运动信息并相应地缩放。最后，在撷取和缩放运动信息之后，对每个参考列表分别平均所有可用运动向量(最多3个)。平均运动向量被指定为当前子CU的运动向量。
冗余移除和附加运动候选
对于帧间模式、跳过模式和合并模式，在导出空间运动候选之后，执行修剪处理以检查空间候选之间的冗余。
在移除冗余或不可用候选之后，可以在编码器侧和解码器侧动态地调整候选列表的大小，使得截断的一元二值化(truncated unary binarization)可以有益于指数的熵编解码。虽然候选列表的动态大小可以带来编码增益，但它也引入了解析问题。因为时间运动候选包括在候选列表中，所以当前一图像的一个MV不能被正确解码时，编码器侧的候选列表与解码器侧的候选列表之间可能发生不匹配，并且候选指数的解析错误会发生。此解析错误可能会严重传播，并且可能无法正确解析或解码当前图像的其余部分。更糟糕的是，该解析错误可能影响可能也用于时间运动候选的后续帧间图像。因此，MV的一个小的解码错误可能导致解析许多后续图像的失败。
在HEVC中，为了解决上述解析问题，使用固定候选列表大小来解耦候选列表构造和指数的解析。此外，为了补偿由固定列表大小引起的编码性能损失，将附加候选分配给候选列表中的空位置。在此过程中，指数以最大长度的截断一元码编码，其中最大长度在跳过模式和合并模式的切片报头中传输，并且对于帧间模式固定为2。
对于帧间模式，在推导和修剪两个空间运动候选和一个时间运动候选之后，添加零向量运动候选以填充AMVP候选列表中的空位置。对于跳过模式和合并模式，在四个空间运动候选和一个时间运动候选的推导和修剪之后，如果可用候选的数量小于固定候选列表大小，则导出并添加附加候选以填充合并候选列表中的空位置。
使用两种类型的附加候选来填充合并候选列表：组合的双向预测运动候选和零向量运动候选。通过根据预定义的顺序组合两个原始运动候选来创建组合的双向预测运动候选。在添加组合的双向预测运动候选之后，如果合并候选列表仍具有空位置，则将零向量运动候选添加到剩余位置。
重迭块运动补偿(OBMC)
重迭块运动补偿(OBMC)是一种运动补偿技术，其基于从其附近的块运动向量(MV)导出的运动补偿信号来估计像素的强度值。重迭块运动补偿技术基于从其附近块运动向量(MV)导出的运动补偿信号，找到像素强度值的线性最小均方误差(LMMSE)估计。从估计理论的角度来看，这些MV被认为是其真实运动的可信的假设(different plausiblehypotheses)，并且为了最大化编解码效率，它们的加权应该最小化受单位增益约束(unit-gain constraint)的均方预测误差。
当开发高效视频编解码(HEVC)时，使用OBMC提出了若干提议以提供编解码增益。其中一些描述如下。
在JCTVC-C251中，将OBMC应用于几何分区。在几何分区中，变换块很可能包含属于不同分区的像素。在几何分区中，由于两个不同的运动向量用于运动补偿，因此分区边界处的像素可能具有大的不连续性，这些不连续性可能产生一些视觉假象，例如，块状假象。这反过来又降低了转换效率。假设由几何分区创建的两个区域由区域1和区域2表示。如果其中的任何四个连接的相邻(左、上、右和底)属于区域2(1)，区域1(2)中的像素被定义为边界像素。图7示出了灰色阴影像素属于区域1(灰色区域710)的边界并且白色阴影像素属于区域2(白色区域720)的边界的示例。区域1中的边界像素由填充有点的灰色块表示，区域2中的边界像素由填充有点的白色块表示。如果像素是边界像素，则使用来自两个运动向量的运动预测的加权和来执行运动补偿。对于使用包含边界像素的区域的运动向量的预测，加权是3/4，对于使用其他区域的运动向量的预测，加权是1/4。重迭边界改善了重建视频的视觉质量，同时还提供了BD速率增益。
在JCTVC-F299中，OBMC应用于对称运动分区。如果编码单元(CU)被划分为两个2NxN或Nx2N预测单元(PU)，则将OBMC应用于两个2NxN预测块的水平边界，并且应用于两个Nx2N预测块的垂直边界。由于那些分区可能具有不同的运动向量，因此分区边界处的像素可能具有大的不连续性，这可能导致视觉假象并且还降低了变换/编解码效率。在JCTVC-F299中，引入了OBMC来平滑运动分区的边界。
图8A示出了用于2NxN分区的OBMC的示例，图8B示出了用于Nx2N分区的OBMC的示例。填充点的像素表示属于分区0的像素，空白像素表示属于分区1的像素。亮度分量中的重迭区域分别被定义为水平或垂直边界的每一侧上的两行(row)或两列(column)像素。对于与分区边界(810或820)相邻的像素行或列(即，在图8A和图8B中标记为A的像素)，OBMC加权因子是(3/4,1/4)。换句话说，对于分区1的行812中的像素A，基于分区1的MV1生成MC(运动补偿的)像素A1，并且基于分区0的MV0生成MC像素A0。依据(3/4A1+1/4A0)推导出OBMC处理的像素A。类似的推导适用于列822中的OBMC像素。对于距离分区边界两行或两列的像素(即，图8A和图8B中标记为B的像素)，OBMC加权因子是(7/8,1/8)。对于色度分量，重迭区域分别被定义为水平或垂直边界的每一侧上的一行或一列像素，并且加权因子是(3/4,1/4)。
在ATMVP、STMVP、仿射模式预测和基于模式的运动向量推导(PMVD)合并模式中，应用子块运动补偿。CU/PU被分成几个子块。每个块可以具有不同的参考图像和不同的MV。如果每个子块的MV非常多样化，则子块运动补偿需要大量带宽。当OBMC应用于没有和具有子块模式的CU时，分别如图9A和图9B所示的过程根据用于评估新出现的正在开发中新编解码标准(命名为通用视频编解码(versatile video coding，简写为VVC))的JEM软件执行。如果当前CU在没有子块模式的情况下被编码，则通过使用当前MC预测子C、来自块A的OBMC预测子A'和来自块B的OBMC预测子B'的加权和来生成最终预测子。如果当前CU使用子块模式编码，则通过使用当前MC预测子C、来自上方块A的OBMC预测子A'、来自左块B的OBMC预测子B'、来自右块D的OBMC预测子D'和来自底部块E的OBMC预测子E'的加权和来生成最终预测子。加权和的处理顺序地逐个执行。这导致高计算复杂性和数据依赖性。为了简化OBMC过程，本发明的一个方面公开了简化所需计算的方法。
去块滤波器(De-blocking Filter，简写为DF))
高效视频编解码(HEVC)是在2013年1月完成的新视频编解码标准。HEVC将图像划分为16x16、32x32或64x64样本的编码树单元(CTU)。可以使用四叉树结构将编码树单元进一步划分为更小的块，这种块中的每一个被称为编码单元(CU)。CU可以进一步划分为预测单元(PU)，并且也是变换单元(TU)的变换四叉树的根。
去块滤波器可用于减轻由基于块的编码引起的块伪像。对于位于网格上的四个样本长度的每个边界分别进行滤波决策，将图像划分为8×8个样本的块。只有8x8网格上的边界(PU或TU边界)才会被去块。涉及去块每个四样本长度垂直边界和水平边界的边界样本分别在图10A和图10B中示出。图10A中的线1010对应于水平边界，而图10B中的线1020对应于垂直边界。对于每个四样本长度边界计算边界强度(boundary strength，简写为Bs)值，并且可以采用表2中定义的3个可能值。在去块过程中单独处理亮度和色度分量。对于亮度分量，仅滤波Bs值等于1或2的块边界。在色度分量的情况下，仅滤波Bs值等于2的边界。
表2
对于亮度分量，检查每个四样本长度边界的附加条件以确定是否应当应用去块滤波，并且如果应用去块，则进一步确定是否应当应用正常滤波器或强滤波器。
在正常滤波模式中，可以修改边界每侧的两个样本。在强滤波模式中，可以修改边界每侧的三个样本。
加权预测(Weighted Prediction，简写为WP)
在HEVC中，加权预测(WP)可用于补偿帧之间的照度变化。WP将加权和偏移应用于一个运动补偿预测块。在WP中的切片级别发信加权和偏移值。
【发明内容】
公开了一种对编解码系统进行编码或解码的方法和装置，其中，对于编解码系统，能够使用双向CU(编码单元)加权(BCW)以允许使用多对加权。根据该方法，为当前块生成合并候选列表，其中当目标合并候选对应于选定的合并候选时，用于与合并候选列表中的目标合并候选相关联的当前块的双向预测子的当前双向CU加权被设置为预先定义加权对。当为当前块选择合并模式时，根据合并候选列表对当前块或当前块的当前运动信息进行编码或解码。
在一个实施例中，所选择的合并候选对应于子块模式，其中当前块被划分为多个子块以用于运动补偿。子块模式可以对应于ATMVP(高级时间运动向量预测)模式。在正在开发的新兴VVC(通用视频编码)中，ATMVP也被称为subTMVP(子块TMVP(子块时间运动向量预测子))。对应于与目标合并候选相关联的当前块的双向预测子的当前双向CU加权的BCW指数可以被导出为并置的中心子块和并置的中心子块的空间相邻子块中的最频繁的BCW指数。在另一实施例中，如果合并候选处于子块模式，例如ATMVP、STMVP或仿射模式，则合并候选的GBi指数被设置为预定义指数。例如，GBi指数设置为指示加权相等的指数，这意味着L0和L1列表的加权都为0.5。
在另一实施例中，所选择的合并候选对应于时间合并候选。在又一个实施例中，所选择的合并候选对应于成对平均合并候选。在又一个实施例中，所选择的合并候选对应于基于历史的合并候选，其也被称为基于历史的运动向量预测子(HMVP)。在又一个实施例中，所选择的合并候选对应于UMVE(终极运动向量表达)合并候选，其在VVC的最新版规范中也称为MMVD(与MVD合并)。
在一个实施例中，预定义的加权对对应于(0.5,0.5)，这意味着在用于合并模式或帧间预测模式的双向预测中，来自列表0和列表1的预测子的加权相等。
公开了编解码系统的编码或解码的另一种方法和装置，其中，为编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。根据该方法，为当前块生成合并候选列表，其中，当合并候选对应于选定的合并候选时，与合并候选列表中目标合并候选相关联的双向预测子的当前双向CU加权从目标合并候选继承。当为当前块选择合并模式时，根据合并候选列表对当前块或当前块的当前运动信息进行编码或解码。
在一个实施例中，所选择的合并候选对应于基于历史的合并候选。在另一实施例中，所选择的合并候选对应于UMVE(终极运动向量表达)合并候选。
公开了编解码系统的编码或解码的又一方法和装置，其中，对于编解码系统，能够使用双向CU(编码单元)加权(BCW)以允许使用多对加权。为当前块生成合并候选列表、基于历史的列表(HMVP列表)或仿射候选列表，其中在合并候选列表、基于历史的列表(HMVP列表)或者仿射候选列表中插入一个新候选之前，根据包括基于历史的候选更新、仿射候选比较、运动向量、预测方向、参考指数或其组合，并排除与目标合并候选相关联的BCW指数的一个或多个因素检查是否在在合并候选列表、基于历史的列表(HMVP列表)或者仿射候选列表中插入一个新候选。如果新候选是冗余的，则不插入新候选。当分别为当前块选择合并模式或仿射合并模式时，根据合并候选列表或仿射候选列表对当前块或当前块的当前运动信息进行编码或解码；或者在以合并模式或AMVP模式编码当前块之后更新基于历史的列表(HMVP列表)，并且在合并模式中构建合并候选列表或在AMVP模式中建立AMVP列表期间引用该列表。
【附图说明】
图1示出了用于导出合并模式的候选的空间和时间相邻块。
图2示出了GBi(一般双向预测)编码顺序指数的发信。
图3示出了四参数仿射模型的示例，其中可以基于两个控制点处的运动向量导出运动模型。
图4示出了用于导出角点导出的仿射候选的相邻块集合。
图5示出了子PU时间运动向量预测(Sub-PU TMVP)的情况，其中当前PU被划分为16个子Pu。
图6示出了空间-时间运动向量预测(STMVP)的概念。
图7示出了重迭块运动补偿(OBMC)的示例，其中灰色阴影像素属于区域1的边界，并且白色阴影像素属于区域2的边界。
图8A示出了用于2NxN分区的重迭块运动补偿(OBMC)的示例。
图8B示出了用于Nx2N分区的重迭块运动补偿(OBMC)的示例。
图9A示出了没有子块模式的CU的OBMC过程的示例。
图9B示出了具有子块模式的CU的OBMC过程的示例。
图10A示出了去块每个四样本长度垂直边界所涉及的边界样本的示例。
图10B示出了去块每个四样本长度水平边界所涉及的边界样本的示例。
图11示出了基于GBi指数的数量等于5的示例在AMVP中发信改进的GBi语法设计的示例。
图12示出了根据传统仿射模型的等式(5)中使用的w，其中w是两个控制点之间的距离。
图13示出了根据子块的中心位置之间的距离而不是角点的等式(5)中使用的w。
图14示出了通过改变第二控制点的位置以使两个控制点之间的距离等于2的幂来根据距离在等式(5)中使用的w。
图15示出了根据传统仿射模型的等式(7)中使用的W，其中w是三个控制点之间的距离。
图16通过修改三个控制点以简化计算，示出了根据距离在等式(7)中使用的W。
图17示出了当前块的上部区域中的非零系数的示例，其中底部区域的系数编解码将是浪费。
图18示出了仅扫描部分系数的示例。
图19A示出了当前帧中的当前块的UMVE搜索过程的示例。
图19B示出了针对L0参考和L1参考在垂直和水平中心点周围的特定位置处的UMVE搜索的示例。
图20示出了示例性视频编解码系统的流程图，其中根据本发明的实施例，对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。
图21示出了另一示例性视频编解码系统的流程图，其中根据本发明的实施例，对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。
图22示出了又一示例性视频编解码系统的流程图，其中根据本发明的实施例，对于编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。
【具体实施方式】
以下描述是实现本发明的最佳方案。进行该描述是为了说明本发明的一般原理，而不应被视为具有限制意义。通过参考所附权利要求最好地确定本发明的范围。
方法1.用于发信的GBi改进
当前，一旦发信标志以指示双向预测情况，就基于截断的一元编码来发信GBi指数。GBi在新兴的VVC中也称为BCW(具有CU加权的双向预测)。之后发信另一个标志来表示不相等的GBi加权。实际上，可以通过将GBi指数信令从双向预测信令分支移动到单向预测信令分支来进一步减少语法开销来改进GBi语法设计。图11示出了基于GBi指数的数量等于5的示例的AMVP中改进的GBi语法设计的信令。AMVP在新兴的VVC中也称为帧间预测。
在图11中，在AMVP中，首先发信标志以指示帧间预测是否是具有相等加权情况的双向预测。如果标志的值等于1，则帧间预测在相等的加权情况下是双向预测。如果标志的值等于0，则发信标志以表示预测是否是L0或L1情况。对于两种情况，随后发信GBi标志以指示帧间预测是单向预测还是具有不相等加权情况的双向预测。例如，如果在L0情况且GBi标志等于0，则帧间预测是L0单向预测。如果在L0情况下并且GBi标志等于1，则发信另一个标志以指示GBi编码顺序指数。由于每个帧间预测方向(L0或L1)可以发信两个不同的GBi编码顺序指数，因此在所提出的GBi语法设计中可以全部覆盖所有四个不相等的GBi编码顺序指数的信令。所提出的GBi语法设计具有两个优点：(1)在相等加权情况下用于双向预测的较短码字(仅一比特)，其经常发生，以及(2)用于发信不相等GBi编码顺序指数的较短码字。
对于详细的语法设计，可以在发信运动信息(例如，参考指数，MVD和MVP)传输之后发信图11中所示的示例中的GBi标志。信令步骤的示例如下所示：
确定帧间预测方向(在发信标志“等加权情况下的双向预测”和“L1”之后，如图11所示)
基于帧间预测，发信用于L0、L1或两者的运动信息(例如，参考指数、MVP指数、MVD)。
如果帧间预测是具有不相等GBi加权的单向预测或双向预测，则发信GBi标志。
如果GBi标志等于1，则发信另一比特以指示GBi编码顺序指数。
此外，可以在发送运动信息(诸如参考指数、MVD和MVP)传输之前发信图11的示例中所示的GBi标志。信令步骤如下所示：
确定帧间预测方向(在发信标志“等加权情况下的双向预测”和图2中所示的“L1”之后)
如果帧间预测是具有不相等GBi加权的单向预测或双向预测，则发信GBi标志。
如果GBi标志等于1，则再发信一比特以指示GBi编码顺序指数。
基于帧间预测，为L0、L1或两者发信运动信息(例如，参考指数、MVP指数、MVD)。
仿射MVP修剪
在仿射帧间和仿射合并模式中，如果要构造任何MVP列表，则仿射MVP将被列表中的现有MVP修剪。在仿射帧间和仿射合并使用单独的列表的情况中，待添加的仿射MVP将被列表中的其他仿射MVP修剪。然而，对于使用统一列表的仿射合并，要添加的仿射MVP不仅可以用列表中的现有仿射MVP进行修剪，而且还可以用列表中的其他非仿射MVP进行修剪。
当仅用仿射MVP修剪一个仿射MVP时，可以应用不同的修剪方案。此外，所提出的仿射MVP修剪可以应用于单独的仿射候选列表构造，例如仿射AMVP MVP候选列表和/或仿射合并候选列表。
在一个实施方案中，修剪可以通过完全修剪(full pruning)完成。换句话说，每个待添加的仿射MVP将由所有现有的仿射MVP修剪。
在另一个实施例中，图4中的组B、组C和组A中的仿射MVP可以首先在他们的组中修剪，然后由第三组中幸存的MVP修剪另两组中的幸存候选。例如，来自C1的仿射MVP将由来自C0的仿射MVP修剪，并且来自B1的仿射MVP将由来自B0的仿射MVP修剪。然后，来自B组的MVP将被来自A0的MVP修剪，来自C组的MVP将被来自A0的MVP修剪。注意，在组A中，如ITU-T13-SG16-C1016，仅搜索位置A0。
在另一个实施例中，待添加的仿射MVP将仅由列表中的某个MVP修剪。例如，待添加的仿射MVP将仅由MVP列表中的第一仿射MVP、MVP列表中的第二仿射MVP或MVP列表中的最后仿射MVP修剪。
在另一个实施例中，一组仿射MVP将仅由来自其他两个组中的一个的MVP修剪。例如，来自C组的MVP将由来自B组的MVP进行修剪，来自B组的MVP将被来自A组的MVP修剪。
在另一个实施例中，仿射MVP将仅由其自己的组中的其他MVP修剪。例如，来自B组的仿射MVP将仅被来自B组的其他MVP修剪，来自C组的仿射MVP将仅被来自C组的其他MVP修剪，并且来自A组的仿射MVP将仅被来自A组的其他MVP修剪。
在另一实施例中，首先将C0的仿射MVP放入列表中。然后，在之后添加B0的仿射MVP。将B0与C0进行比较。然后添加B1的仿射MVP。B1与B0进行比较。然后添加C1的仿射MVP。将C1与C0进行比较。然后添加A0的仿射MVP。将A0与C0和B0进行比较。
可以通过比较控制点的MV的相似性来完成修剪。在一个实施例中，如果MV差异小于阈值，则将修剪待添加的仿射MVP。在另一个实施例中，如果两个MVP中的控制点的MV相同，则只能修剪待添加的仿射MVP。
当通过统一合并列表中的仿射MVP和其他非仿射MVP修剪一个仿射MVP时，可以应用不同的修剪方案。
除了上述方法之外，由相邻块生成的仿射MVP也可以由其他非仿射MVP修剪。在一个实施例中，如果要添加的控制点的仿射MVP的MV与现有的非仿射MVP中的一个相同或相似，或者4参数仿射模型的两个控制点的仿射MVP的MV之间的差异或6参数仿射模型的三个控制点的仿射MVP的MV之间的差异小于阈值，将修剪待增加的仿射MVP。
在另一个实施例中，如果现有的非仿射MVP之一来自ATMVP模式，并且参考MV来自仿射块，则将根据待添加仿射MVP的控制点和使用ATMVP模式的左上角、右上角和左下角MV之间的相似性来修剪待添加的仿射MVP。
仿射MV推导
对于具有四个参数的仿射模型，可以根据等式(5)导出每个子块的MV。等式(5)中的w是两个控制点之间的距离，其等于当前块的宽度，因为两个控制点的位置在拐角处，如图12所示。可以简单地通过移位进行划分，因为所有块的宽度必须是2的幂。
然而，存储控制点的MV可能在引用控制点的MV时引入一些错误。这是因为控制点MV表示一个子块的拐角处而不是子块的中心的运动。这个问题可以通过存储子块的中心位置而不是角落的MV来解决，如图13所示。不幸的是，这可能导致与在仿射块中导出子块的MV期间的除法运算相关联的高复杂度，因为两个控制点的MV之间的距离将变为不等于2的幂的数字。
为了解决这个问题，建议改变第二控制点的位置以确保两个控制点之间的距离等于2的幂，如图14所示。改变控制点的位置后，子块MV的推导变为：
在上述方程序中，v1′＝(v1x′，v1y′)是新控制点的中心MV，而W′是两个控制点之间的新距离，其为二的幂。
类似地，对于具有六个参数的仿射模型，每个子块的MV可以通过以下方式导出：
/>
在上述方程中，W是块的宽度，而V0、V1和V2是三个控制点的MV，其位置位于当前块的角落，如图15所示。
为了让MV在被参考时更好地表示子块并且还确保划分不会变得太复杂，控制点的位置将如图16所示地改变。
在该改变之后，子块的MV可如下推导出：
在上述方程中，v1′＝(v1x′，v1y′)和v2′＝(v2x′，v2y′)是新控制点的中心MV。W'是左上角控制点和右上角控制点之间的新距离。H'是左上角控制点和左下角控制点之间的新距离。
AMVP模式的参考指数重新排序
在本发明中，还公开了一种根据合并列表中候选的参考帧对参考帧指数重新排序的方法。
由于更频繁地选择具有较小指数的合并候选，因此也可以在AMVP模式中更频繁地选择那些候选中的参考帧。
在一个实施例中，在AMVP模式中，仅将合并列表中的第一候选的参考帧重新排序为指数0。例如，如果合并列表中的第一候选的参考帧是帧5并且参考帧的原始参考帧指数等于2，则在AMVP模式中，帧5的参考指数将被改变为0并且原始参考指数等于0的参考帧的参考指数将被改变为1。具有等于1的原始参考指数的参考帧的参考指数将被重新排序为2。在另一实施例中，参考指数等于0和2的参考帧刚刚交换。例如，如果参考指数等于2的参考帧是帧5，并且参考指数等于0的参考帧是帧3，则帧5和帧3的重新排序的参考指数将分别是0和2。
在另一个实施例中，可以重新排序多于一个参考帧的参考帧指数。重新排序的指数取决于合并候选的合并指数。例如，我们使用前三个合并候选来重新排序AMVP模式中的参考帧指数。当第一、第二和第三合并候选的参考帧分别是帧5、5和3时，帧5的参考帧指数将变为0并且帧3的参考帧指数将变为1。在一个实施例中，首先对帧5和帧3的参考帧指数进行重新排序，并且参考指数的其余部分将由起始自具有最小原始参考指数的参考帧的其余部分填充。例如，如果原始参考指数0、1、2、3分别对应于帧1、4、3、5，那么重新排序的参考指数将成为参考指数0、1、2、3分别对应于帧5、3、1、4。在另一个实施例中，只能交换参考帧。例如，如果原始参考指数0、1、2、3分别对应于帧1、4、3、5，那么重新排序的参考指数将成为参考指数0、1、2、3分别对应于帧5、3、4、1(即帧5和1交换，帧3和4交换)。
仿射和一般双向预测之间的相互作用
在JVET-K0248(Y.Su等人，“CE4.4.1:Generalized bi-prediction for intercoding”，在ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第11次会议：Ljubljana，SI，2018年7月10日至18日，文件：JVET-K0248)中，公开了一般双向预测(GBi)。传统双向预测与GBi之间的区别在于，不等加权可以应用于GBi的L0和L1预测子。例如，我们可以对L0施加较大的加权，对L1使用较小的加权。加权选择被明确地发信给解码器。目前，有五个加权集，包括{-2,10}、{3,5}、{4,4}、{5,3}和{10，-2}分别用于L0和L1。仿射模式和GBi之间存在一些相互作用，因为双向预测可以用于仿射模式。提出了两种方法。第一个是扩展GBi以支持仿射模式。在该方法中，当使用仿射模式时，可以使用L0和L1的不同加权。当使用仿射模式时，另一种方法不允许GBi。也就是说，将加权选择推断为某个预定义值，并且不发信GBi加权选择。在一个实施例中，仿射模式中的加权选择是相等的。在另一个实施方案中，GBi加权是不相等的。
部分系数编解码
观察到有时使用对角线扫描方法的系数可以在大多数非零系数出现在小区域中时引入冗余。例如，如果大多数非零系数位于当前块的上部区域中，如图17所示，则编解码底部区域的系数将是浪费。因此，根据一个实施例，首先将一个系数块划分为多个区域。根据最后一个系数的位置，将发信标志以指示是否仅需要扫描部分系数。例如，一个系数块被划分为四个区域。在一个示例中，这四个区域可以具有相同的尺寸。如果最后一个系数位于右上区域内的位置，则发信标志以指示是否仅需要扫描左上区域和右上区域中的系数。图18示出了仅扫描部分系数的示例。在另一示例中，如果最后一个系数在左下区域中，则发信标志以指示是否仅需要扫描左上和左下区域中的系数。在另一示例中，如果最后一个系数在右下区域中，则需要扫描当前块中的所有系数，不需要另外的标记。在另一个实施例中，当前块可以被划分为四个区域，其中四个区域可以具有不同的大小。左上区域可以小于其他三个部分，或者左上+右上区域的面积小于左下+右下区域的面积，和/或左上+右下区域的面积小于右上+右下区域的面积。
在一个实施例中，该部分系数编解码仅应用于帧内预测块。在另一实施例中，该部分系数编解码仅应用于某些帧内模式或某些帧内MPM模式。在另一实施例中，该部分系数编解码仅应用于帧间预测块。在另一实施例中，该部分系数编解码仅应用于非正方形块。在另一实施例中，该部分系数编解码仅应用于方块。在另一实施例中，该部分系数编解码仅应用于小于某个阈值的块大小/区域/宽度/高度。在另一实施例中，该部分系数编解码仅应用于大于某个阈值的块大小/区域/宽度/高度。在另一实施例中，仅在使用某些变换(例如DCT-5/8和/或DST-7)时应用该部分系数编解码。
平均MVP或平均合并候选
为了提高编解码效率，已经公开了用于跳过、合并、直接(direct)和/或帧间模式的平均运动向量预测子(MVP)或平均合并候选。
在所提出的平均MVP或平均合并候选中，通过平均两个或一组可用MVP或合并候选的运动信息来生成候选。候选组可以是任何空间候选/MVP和/或任何时间候选/MVP和/或任何仿射候选/MVP和/或任何其他候选/MVP的组。
对于平均或平均候选(average or mean candidates)，所提出的方法中的平均MV计算可以有相同加权或不同加权。例如，对于具有两个候选/MVP的对，加权可以是1和1，然后除以2。或者，加权可以是2和-1或-1和2，而不需要除法。更一般地，加权可以是N1、N2、......Nn，然后除以(N1+N2+...+Nn)。
在一个实施例中，平均候选被推导为指向相同参考图像的两个或一组MV的平均值。例如，它以预定义的顺序搜索候选列表中的每对候选。对于每对，如果两个候选使MV指向至少一个列表中的相同参考图像，则可以导出平均候选；否则，平均候选不能从该对中导出。导出平均候选的过程继续，直到搜索了所有可能的对或者完全填充了候选列表。
在另一实施例中，平均候选被推导为两个或一组缩放的MV的平均值，其被缩放为来自两个或一组候选的目标参考图像指数。例如，平均候选的列表0或列表1的MV被导出为来自候选组的列表0或列表1的平均MV，其在平均之前被缩放到目标参考图像指数。给定的目标参考图像指数可以被预定义，或者显式地发送到比特流中，或者隐式地从候选组的MV中导出。例如，目标参考图像指数被导出为来自候选组的参考图像指数的多数/最小/最大值。在另一实施例中，即使平均候选指向不同的参考图像，也将其导出为两个或一组MV的平均值。
基于历史的合并模式构建
基于历史的合并模式在历史数组中存储一些先前CU的合并候选。对于当前CU，除了原始的合并模式候选构造之外，它还可以使用历史数组中的一个或多个候选来丰富合并模式候选。在JVET-K0104(L.Zhang等人，“CE4-related:History-based Motion VectorPrediction”，在ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第11次会议：SI，Ljubljana，2018年7月10日至18日，文件：JVET-K0104)中示出了实施例的详细描述。基于历史的方法也可以应用于AMVP候选列表。
UMVE预测
在JVET-K0115(S.Jeong等人，“CE4 Ultimate motion vector expression inJ0024(Test 4.2.9)”，ITU-T SG 16WP 3和/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第11次会议：Ljubljana，SI，2018年7月10日至18日，文件：JVET-K0115)中，呈现了JVET-J0024(S.Akula等人，“Description of SDR，HDR and 360°video codingtechnology proposal considering mobile application scenario by Samsung，Huawei，GoPro，and HiSilicon”，ITU-T SG 16WP 3和/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第10次会议：圣地亚哥，美国，2018年4月10日至20日，文件：JVET-J0024)中提出的极限运动向量表达式(ultimate motion vector expression，简写为UMVE)。图19A示出了当前帧1910中的当前块1912的UMVE搜索过程的示例。参考列表L1中的帧1920和参考列表L1中的帧1930对应于用于双向预测的两个参考。线1940对应于通过当前块1912的中心的线和帧1920和1930中的两个对应像素。围绕与线1940相关联的中心点(例如，线1942和1944)执行搜索。为了简化搜索过程，将仅搜索垂直和水平中心点周围的特定位置，如图19B所示L0参考(1950)和L1参考(1952)。UMVE用于跳过或合并模式，具有建议的运动向量表达方法。UMVE重复使用与VVC相同的合并候选。在合并候选中，可以选择候选，并且通过所提出的运动向量表达方法进一步扩展候选。UMVE提供具有简化信令的新运动向量表达。表达方法包括预测方向信息、起始点、运动幅度和运动方向。
该提出的技术按原样使用合并候选列表。但是，只有默认合并类型(MRG_TYPE_DEFAULT_N)的候选才会被考虑用于UMVE的扩展。预测方向信息指示L0、L1和L0与L1预测中的预测方向。在B切片中，所提出的方法可以通过使用镜像技术从具有单向预测的合并候选生成双向预测候选。例如，如果合并候选是L1的单向预测，则通过搜索列表0中的参考图像来确定参考指数L0，该参考图像与列表1的参考图像镜像。如果没有相应的图像，则使用离当前图像最近的参考图像。L0的MV通过缩放L1的MV来导出。缩放因子通过POC(图像顺序计数)距离计算。
如果UMVE候选的预测方向与原始合并候选中的一者相同，则将具有值0的指数发信为UMVE预测方向。然而，如果UMVE候选的预测方向与原始合并候选的预测方向不同，则发信值为1的指数。在发信第一比特之后，基于UMVE预测方向的预定义优先级顺序发信剩余预测方向。优先级顺序是L0/L1预测、L0预测和L1预测。如果合并候选的预测方向是L1，则针对UMVE'预测方向L1发信代码'0'。发信代码'10'用于UMVE'预测方向L0和L1。发信代码'11'用于UMVE'预测方向L0。如果L0和L1预测列表相同，则不发信UMVE的预测方向信息。
基础候选(base candidate)指数定义起始点。基本候选指数表示列表中候选中的最佳候选，如表3所示。
表3.
各距离的距离指数如表4所示。
表4.
方向指数表示MVD相对于起始点的方向。方向指数可以表示四个方向，如表5所示。
表5.
方向IDX 00 01 10 11
X轴 + – N/A N/A
Y轴 N/A N/A + –
为了降低编码器复杂度，应用块限制。如果CU的宽度或高度小于4，则不执行UMVE。
合并模式中的成对平均候选(Pairwise Average Candidate)
在JVET-L090(Y.Haiso等人，“CE4.4.12:Pairwise average candidates”，ITU-TSG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，第12次会议：澳门，CN，2018年10月3日至12日，文件：JVET-L090)中，提出了合并模式下的成对平均候选。通过对当前合并候选列表中的预定义候选对进行平均来生成成对平均候选。针对每个参考列表分别计算平均运动向量。如果两个运动向量在一个列表中可用，则即使它们指向不同的参考图像，也将这两个运动向量平均化；如果只有一个运动向量可用，则直接使用该一个运动向量；如果没有可用的运动向量，则保持此列表无效。
进一步提高GBi指数的编解码效率的方法公开如下。
A.在合并模式中确定空间候选的GBi指数
在一个实施例中，如果合并候选是空间候选，则从空间合并候选继承GBi指数。在另一实施例中，如果合并候选是空间候选，则不从空间合并候选继承GBi指数。在这种情况下，可以将GBi指数设置为预定义指数。例如，GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
B.在合并模式中确定时间候选的GBi指数
在一个实施例中，如果合并候选是时间候选，则从时间合并候选继承GBi指数。在另一实施例中，如果合并候选是时间候选，则不从时间合并候选继承GBi指数。在这种情况下，可以将GBi指数设置为预定义指数。例如，GBi指数被设置为表示相等加权的指数。
C.在合并模式下确定成对平均候选的GBi指数
在一个实施例中，如果合并候选是双向预测中的平均候选，则从L0列表中的候选继承GBi指数。在一个实施例中，如果合并候选是双向预测中的平均候选，则从L1列表中的候选继承GBi指数。在另一实施例中，如果合并候选是从L0中的候选c0和L1中的候选c1的平均值导出的平均候选。如果由c0的GBI指数指示的L1加权大于由c1的GBi指数指示的L1加权，则平均候选的GBi指数从候选c0继承。在另一实施例中，如果合并候选是从L0中的候选c0和L1中的候选c1的平均值导出的平均候选。如果由c0的GBI指数指示的L0加权大于由c1的GBi指数指示的L0加权，则平均候选的GBi指数从候选c0继承。在另一实施例中，如果合并候选是平均候选，则将GBi指数设置为预定义指数。例如，GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
在另一个实施例中，GBi指数从c0继承。在另一个实施例中，GBi指数继承自c1。在另一实施例中，如果c0的L1加权大于c1的L1加权，则平均候选的GBi指数从候选c0继承，反之亦然。在另一实施例中，如果c0的L0加权大于c1的L0加权，则平均候选的GBi指数从候选c0继承，反之亦然。在另一实施例中，如果合并候选是平均候选，则将GBi指数设置为预定义指数。例如，GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
D.在合并模式中确定组合候选的GBi指数
在组合的合并候选模式中，构建两个候选列表以形成双向预测中的L0和L1合并候选。在一个实施例中，如果合并候选是组合候选，则从为L0构建的合并候选列表中的候选继承GBi指数。在一个实施例中，如果合并候选是组合候选，则从为L1建立的合并候选列表继承GBi指数。在另一实施例中，如果合并候选是从为L0建立的候选列表中的候选c0和为L1建立的候选列表中的候选c1的组合导出的组合候选。如果由c0的GBI指数指示的L1加权大于由c1的GBi指数指示的L1加权，则平均候选的GBi指数从候选c0继承。在另一实施例中，如果合并候选是从针对L0建立的候选列表中的候选c0和针对L1建立的候选列表中的候选c1的组合导出的。如果由c0的GBI指数指示的L0加权大于由c1的GBi指数指示的L0加权，则平均候选的GBi指数从候选c0继承。在另一实施例中，如果合并候选是组合候选，则将GBi指数设置为预定义指数。例如，GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
E.确定子块合并候选的GBi指数
在一个实施例中，如果合并候选处于子块模式，例如在ATMVP、STMVP或仿射合并模式中，则合并候选的GBi指数可以从并置的子块的中心子块的GBi指数继承。在一个实施例中，如果合并候选处于子块模式，例如在ATMVP、STMVP或仿射模式中，则合并候选的GBi指数可以从在并置中心子块和其他空间相邻子块中发生的最频繁的GBi指数导出。在另一实施例中，如果合并候选使用子块模式，例如ATMVP、STMVP或仿射模式，则合并候选的GBi指数被设置为预定义指数。例如，GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
F.在合并模式下确定基于历史的候选的GBi指数
在JVET-K0104中，基于历史的合并模式在历史数组中存储一些先前CU的合并候选，并且对于当前CU，除了原始合并模式候选构造之外，它还可以使用历史数组内的一个或多个候选来丰富合并模式候选。在一个实施例中，如果CU是从历史数组中的候选继承的，则CU的GBi指数可以从历史数组中的对应候选继承。在另一实施例中，如果CU是从历史数组中的候选继承的，则CU的GBi指数被设置为指示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
G.在修剪过程中确定GBi指数
在一个实施例中，在合并候选移除、基于历史的候选更新或仿射候选比较的修剪过程中，除了与参考指数、运动向量和预测方向(L0、L1或双向预测)相关的信息之外，GBi指数可用于确定冗余候选。在另一个实施例中，在合并候选移除、基于历史的候选更新或仿射候选比较的修剪过程中，GBi指数不用于确定冗余候选。
H.确定UMVE的GBi指数
在JVET-K0115中，UMVE重复使用(re-use)合并候选并且在合并候选中，可以选择候选并且通过JVET-K0115中提出的一些运动向量表达方法进一步扩展候选。在一个实施例中，UMVE模式中的合并候选的GBi指数可以从在正常合并模式中生成的相应合并候选继承。在另一个实施例中，UMVE模式中的合并候选的GBi指数可以被设置为指示相等加权的指数，这意味着L0和L1列表的加权都是0.5。
I.确定OBMC的GBi指数
在一个实施例中，OBMC模式中的CU的GBi指数可以从其运动向量被引用的相邻块继承。在另一实施例中，当OBMC应用于没有子块模式的CU时，OBMC预测子的GBi指数(即，图9A中的A'、B')继承自相应相邻的GBi指数(即，分别为图9A的A和B)。在另一个实施例中，A'和B'的GBi指数不是从相应的相邻继承的，A'和B'的GBi指数被设置为预定义的指数。例如，A'和B'的GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。在一个实施例中，当OBMC以子块模式应用于CU时，所有OBMC预测子的GBi指数(即，图9B中的A'、B'、D'和E')继承自相应相邻(即，图9B中的A、B、D和E)的GBi指数。在另一个实施例中，所有OMBC预测子的GBi指数不是从相应的相邻继承的。所有OMBC预测子的GBi指数都被设置为预定义的指数。例如，所有OMBC预测子的GBi指数被设置为表示相等加权的指数，这意味着L0和L1列表的加权都是0.5。在另一实施例中，GBi与OMBC互斥，这意味着当OBMC应用于具有或不具有子块模式的CU时，MC预测子的GBi指数和所有OBMC预测子被设置为预定义指数。例如，MC预测子的GBi指数和所有OBMC预测子被设置为表示相等加权的指数，这意味着L0和L1列表的加权均为0.5。
J.GBi与去块滤波器的交互
在HEVC中，可以通过比较两个相邻CU的边界像素之间的运动向量或参考指数来确定边界强度(Bs)值。在一个实施例中，考虑两个相邻CU的GBi指数确定Bs值。例如，如果两个相邻CU的GBi指数之间的差异大于阈值，则BS值可以设置为1或2。又例如，如果两个相邻CU的GBi指数之间的差异小于阈值，则Bs值可以设置为1或2。在另一实施例中，不考虑两个相邻CU的GBi指数确定Bs值。
K.GBi与加权预测的交互
在一个实施方案中，GBi和WP是互斥的。例如，如果将WP应用于切片，则切片中所有CU的GBi指数都被设置为指示相等加权的指数，这意味着L0和L1列表的加权都是0.5。在另一个实施方案中，GBi和WP是相互包含的。例如，如果将WP应用于切片，则对于双向预测情况，首先将WP的加权和偏移应用于两个运动补偿预测块中的每一个，然后基于GBi加权计算两个微调的预测块的加权和。
可以在编码器和/或解码器中实现任何前述提出的方法。例如，任何所提出的方法可以在编码器的MV推导模块和/或解码器的MV推导模块中实现。或者，任何所提出的方法可以实现为耦合到编码器的MV推导模块和/或解码器的MV推导模块的电路，以便提供MV推导模块所需的信息。另外，本领域具有通常知识者了解，本说明书中的编码在一些情况下也可以理解为编解码。
图20示出了示例性视频编解码系统的流程图，其中根据本发明的实施例，对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。流程图中示出的步骤以及本公开中的其他后续流程图可以实现为在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可以基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。根据该方法，在步骤2010中接收与图像中的当前块相关联的输入数据。在步骤2020中为当前块生成合并候选列表，其中当目标合并候选对应于所选合并候选时，与合并候选列表中的目标合并候选相关联的当前块的双向预测子的当前双向CU加权被设置为预定义加权对。在步骤2030中，当为当前块选择合并模式时，根据合并候选列表对当前块或当前块的当前运动信息进行编码或解码。
图21示出了另一示例性视频编解码系统的流程图，其中根据本发明的实施例，对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。根据该方法，在步骤2110中接收与图像中的当前块相关联的输入数据。在步骤2120中为当前块生成合并候选列表，其中当目标合并候选对应于所选合并候选时，与合并候选列表中的目标合并候选相关联的当前块的双向预测子的当前双向CU加权继承自目标合并候选。在步骤2130中，当为当前块选择合并模式时，根据合并候选列表对当前块或当前块的当前运动信息进行编码或解码。
图22示出了又一示例性视频编解码系统的流程图，其中根据本发明的实施例，对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。根据该方法，在步骤2210中接收与图像中的当前块相关联的输入数据。在步骤2210中为当前块生成合并候选列表、基于历史的列表(HMVP列表)或仿射候选列表，其中在合并候选列表、基于历史的列表(HMVP列表)或者仿射候选列表中插入一个新候选之前，根据包括基于历史的候选更新、仿射候选比较、运动向量、预测方向、参考指数或其组合并排除与目标合并候选相关联的BCW指数的一个或多个因素检查是否在在合并候选列表、基于历史的列表(HMVP列表)或者仿射候选列表中插入该一个新候选，并且如果新候选是冗余的(redundant)，则不插入该新候选。在步骤2230中，当分别为当前块选择合并模式或仿射合并模式时，根据合并候选列表或仿射候选列表对当前块或当前块的当前运动信息进行编码或解码；或者在以合并模式或AMVP模式编解码当前块之后更新基于历史的列表(HMVP列表)，并且在合并模式中构建合并候选列表或在AMVP模式中建立AMVP列表期间引用该列表。
所示的流程图旨在示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，本领域技术人员可以修改每个步骤，重新安排步骤，分割步骤，或组合步骤以实施本发明。在本公开中，已经使用特定语法和语义来说明用于实现本发明的实施例的示例。本领域技术人员可以通过用等同的语法和语义替换语法和语义来实践本发明而不脱离本发明的精神。
呈现以上描述以使得本领域技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说是显而易见的，并且这里定义的一般原理可以应用于其他实施例。因此，本发明不限于所示出和描述的特定实施例，而是与符合本文所公开的原理和新颖特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路电路或集成到视频压缩软件中的程序代码，以执行这里描述的处理。本发明的实施例还可以是要在数字信号处理器(DSP)上执行的程序代码，以执行这里描述的处理。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或样式开发。还可以针对不同的目标平台编译软件代码。然而，软件代码的不同代码格式、样式和语言以及配置代码以执行根据本发明的任务的其他装置将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述表示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。

Claims (2)

1.一种视频编码或解码的方法，用于编解码系统，其中，为该编解码系统启用双向编码单元加权以允许使用多对加权，该方法包括：
接收与图像中的当前块相关联的输入数据；
生成该当前块的合并候选列表，其中当该合并候选列表中与该当前块的双向预测子的当前双向编码单元加权相关联的目标合并候选对应于时间候选或成对候选时，该双向编码单元加权被设置为预定义的加权对；以及
当该合并候选列表中与该当前块的该双向预测子的当前双向编码单元加权相关联的该目标合并候选对应于空间候选时，该双向编码单元加权继承自该空间候选的加权；
当为该当前块选择合并模式时，根据该合并候选列表对该当前块或该当前块的当前运动信息进行编码或解码。
2.根据权利要求1所述的方法，其特征在于，该预定义的加权对对应于(0.5,0.5)。
CN202310727831.8A 2018-05-23 2019-05-23 使用双向编码单元加权的视频编码方法和装置 Pending CN116800981A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201862675239P 2018-05-23 2018-05-23
US62/675,239 2018-05-23
US201862719826P 2018-08-20 2018-08-20
US62/719,826 2018-08-20
US201862742476P 2018-10-08 2018-10-08
US62/742,476 2018-10-08
US201862743014P 2018-10-09 2018-10-09
US62/743,014 2018-10-09
CN201980034223.0A CN112154660B (zh) 2018-05-23 2019-05-23 使用双向编码单元加权的视频编码方法和装置
PCT/CN2019/088069 WO2019223746A1 (en) 2018-05-23 2019-05-23 Method and apparatus of video coding using bi-directional cu weight

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980034223.0A Division CN112154660B (zh) 2018-05-23 2019-05-23 使用双向编码单元加权的视频编码方法和装置

Publications (1)

Publication Number Publication Date
CN116800981A true CN116800981A (zh) 2023-09-22

Family

ID=68615673

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980034223.0A Active CN112154660B (zh) 2018-05-23 2019-05-23 使用双向编码单元加权的视频编码方法和装置
CN202310727831.8A Pending CN116800981A (zh) 2018-05-23 2019-05-23 使用双向编码单元加权的视频编码方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980034223.0A Active CN112154660B (zh) 2018-05-23 2019-05-23 使用双向编码单元加权的视频编码方法和装置

Country Status (6)

Country Link
US (1) US11895291B2 (zh)
EP (1) EP3794819A4 (zh)
CN (2) CN112154660B (zh)
BR (1) BR112020023571A8 (zh)
TW (1) TWI720492B (zh)
WO (1) WO2019223746A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
WO2020003274A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in lut
EP3794825A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Update of look up table: fifo, constrained fifo
CN110662051B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 来自多个查找表（lut）的选择
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
JP7137008B2 (ja) 2018-06-29 2022-09-13 北京字節跳動網絡技術有限公司 １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
MX2020013828A (es) 2018-06-29 2021-03-25 Beijing Bytedance Network Tech Co Ltd Interaccion entre lut y amvp.
TWI734133B (zh) 2018-07-02 2021-07-21 大陸商北京字節跳動網絡技術有限公司 更新查找表的規則
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
EP4333434A1 (en) 2018-10-24 2024-03-06 Huawei Technologies Co., Ltd. Video decoder and methods
WO2020117016A1 (ko) * 2018-12-06 2020-06-11 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113302918A (zh) * 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
KR20220122802A (ko) * 2019-06-13 2022-09-02 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩을 위한 모션 벡터 예측
AU2020290835B2 (en) * 2019-06-14 2023-12-07 Lg Electronics Inc. Image decoding method for deriving weight index information for bi-prediction, and device for same
US20220360768A1 (en) * 2019-06-28 2022-11-10 Sk Telecom Co., Ltd. Method for deriving bidirectional prediction weight index and video decoding apparatus
WO2021197862A1 (en) * 2020-03-31 2021-10-07 Nokia Technologies Oy Merge candidate list for gradual decoding refresh
US20230171405A1 (en) * 2021-11-30 2023-06-01 Tencent America LLC Scene transition detection based encoding methods for bcw
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102860006B (zh) 2010-02-05 2016-11-23 瑞典爱立信有限公司 管理预测运动向量候选
KR101952103B1 (ko) * 2010-10-08 2019-02-27 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
TWI569634B (zh) * 2011-10-31 2017-02-01 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
JP5725006B2 (ja) * 2011-12-28 2015-05-27 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN105432084B (zh) 2013-07-19 2018-10-26 寰发股份有限公司 用于三维视频编码的参考视图选择的方法
JP6574976B2 (ja) * 2014-03-18 2019-09-18 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
CN106471806B (zh) * 2014-06-16 2019-06-04 高通股份有限公司 3d-hevc中的简化移位合并候选者及合并列表导出
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
US20180139469A1 (en) 2015-06-19 2018-05-17 Nokia Technologies Oy An Apparatus, A Method and A Computer Program for Video Coding and Decoding
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
SG11201806865YA (en) * 2016-03-15 2018-09-27 Mediatek Inc Method and apparatus of video coding with affine motion compensation
KR102379874B1 (ko) * 2016-05-13 2022-03-30 브이아이디 스케일, 인크. 비디오 코딩을 위한 일반화된 다중-가설 예측 시스템 및 방법
US10880552B2 (en) * 2016-09-28 2020-12-29 Lg Electronics Inc. Method and apparatus for performing optimal prediction based on weight index
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression

Also Published As

Publication number Publication date
BR112020023571A8 (pt) 2023-02-07
US11895291B2 (en) 2024-02-06
WO2019223746A1 (en) 2019-11-28
TWI720492B (zh) 2021-03-01
CN112154660B (zh) 2023-07-14
CN112154660A (zh) 2020-12-29
EP3794819A1 (en) 2021-03-24
TW202005372A (zh) 2020-01-16
BR112020023571A2 (pt) 2021-02-09
US20210211644A1 (en) 2021-07-08
EP3794819A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
CN112154660B (zh) 使用双向编码单元加权的视频编码方法和装置
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
CN112544082B (zh) 一种视频编解码的帧间预测方法及装置
US20200014931A1 (en) Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
JP7425808B2 (ja) 動き候補リスト構築プロセスの条件付き実行
US20190158870A1 (en) Method and apparatus for affine merge mode prediction for video coding system
CN113170191B (zh) 视频编解码的预测方法以及预测装置
WO2020259426A1 (en) Motion candidate list construction for intra block copy mode
US20220094927A1 (en) Sub-block based intra block copy
US11539977B2 (en) Method and apparatus of merge with motion vector difference for video coding
US20200344492A1 (en) Method and Apparatus of Constraining Merge Flag Signaling in Video Coding
JP7460661B2 (ja) 映像符号化のための動き候補リストの構成
US11539940B2 (en) Method and apparatus of multi-hypothesis in video coding
WO2020125752A1 (en) Method and apparatus of simplified triangle merge mode candidate list derivation
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
WO2024027784A1 (en) Method and apparatus of subblock-based temporal motion vector prediction with reordering and refinement in video coding
CN116896640A (zh) 视频编解码方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination