CN113557735A - 运动候选列表构造的改进 - Google Patents
运动候选列表构造的改进 Download PDFInfo
- Publication number
- CN113557735A CN113557735A CN202080020067.5A CN202080020067A CN113557735A CN 113557735 A CN113557735 A CN 113557735A CN 202080020067 A CN202080020067 A CN 202080020067A CN 113557735 A CN113557735 A CN 113557735A
- Authority
- CN
- China
- Prior art keywords
- merge candidate
- motion information
- list
- block
- merge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title description 9
- 230000006872 improvement Effects 0.000 title description 3
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 129
- 239000013598 vector Substances 0.000 claims description 76
- 230000002123 temporal effect Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 8
- 101150034459 Parpbp gene Proteins 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000009795 derivation Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 23
- 241000023320 Luma <angiosperm> Species 0.000 description 21
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 21
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000342334 Human metapneumovirus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种视频处理方法,包括基于至少一组可用的运动信息生成成对平均Merge候选;将成对平均Merge候选插入到当前视频块的Merge候选列表中;以及使用Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
Description
根据适用的专利法和/或巴黎公约的规则,本申请旨在及时要求于2019年3月11日提交的国际专利申请PCT/CN2019/077637、2019年3月14日提交的国际专利申请PCT/CN2019/078147、2019年3月18日提交的国际专利申请PCT/CN2019/078505的优先权和利益。前述申请的全部公开内容通过引用并入作为本申请的公开内容的一部分。
技术领域
本专利文档涉及视频编码技术、设备和系统。
背景技术
尽管在视频压缩方面取得了进步,数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,预计对数字视频使用的带宽需求将继续增长。
发明内容
在一个示例方面,公开了一种视频处理的方法。该方法包括基于至少一组可用的运动信息来生成成对平均Merge候选;将成对平均Merge候选插入到当前视频块的Merge候选列表中;以及使用Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
在另一个示例方面,公开了视频处理的另一种方法。该方法包括确定是否可以基于至少一组运动信息推导出成对平均Merge候选;响应于确定不能推导出成对平均Merge候选,将至少一个默认Merge候选插入到当前视频块的Merge候选列表中;以及使用Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
在又一个示例方面,公开了一种视频系统中的装置。该装置包括处理器和其上具有指令的非暂时性存储器,其中指令在由处理器运行时使得处理器实施如上所述的方法。
在又一个示例方面,公开了一种非暂时性计算机可读介质。该非暂时性计算机可读介质具有存储在其上的程序代码,该程序代码在被运行时使得处理器实施如上所述的方法。
在又一个示例方面,公开了一种被配置为实施上述方法之一的视频编码器装置。
在又一个示例方面,公开了一种被配置为实施上述方法之一的视频解码器装置。
在又一方面,公开了一种计算机可读介质。用于实施上述方法之一的处理器可运行代码存储在该计算机可读介质上。
本文档中描述了这些和其他方面。
附图说明
图1示出了Merge候选列表构造的示例推导过程。
图2示出了空域Merge候选的位置的示例。
图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。
图4示出了N×2N和2N×N分割的第二PU(Prediction Unit,预测单元)的位置的示例。
图5是时域Merge候选的运动矢量缩放的示例图示。
图6示出了时域Merge候选C0和C1的候选位置的示例。
图7示出了组合的双向预测Merge候选的示例。
图8总结了运动矢量预测候选的推导过程。
图9示出了空域运动矢量候选的运动矢量缩放的图示。
图10示出了用于实施本文档中描述的技术的示例装置。
图11是视频处理的示例方法的流程图。
图12是视频处理的另一示例方法的流程图。
具体实施方式
本文档提供了图像或视频比特流的解码器可以使用的各种技术,以改进解压缩或解码的数字视频或图像的质量。为简洁起见,本文使用的术语“视频”包括图片序列(传统上称为视频)和单个图像。此外,视频编码器还可以在编码过程中实施这些技术,以便重建用于进一步编码的解码帧。
为了便于理解,在本文档中使用了章节标题,但是不将实施例和技术限制到相应的章节。这样,来自一个章节的实施例可以与来自其他章节的实施例相结合。
1.简要总结
本专利文档涉及视频编解码技术。具体地,它涉及视频编解码中的候选列表构造。它可以应用于现有的视频编解码标准,如HEVC,或即将要定案的标准(例如,多功能视频编解码(Versatile Video Coding,VVC))。它也可以应用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4可视化,并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中利用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team,JVET)。此后,JVET采用了许多新方法,并将其放入名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立,以致力于VVC标准,目标是与HEVC相比比特率降低50%。
2.1 HEVC/H.265中的帧间预测
每个帧间预测的PU具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。也可以使用inter_pred_idc来信令通知对两个参考图片列表中的一个的使用。运动矢量可以被显式地编解码为相对于预测量的偏差(delta)。
当CU以跳过模式编解码时,一个PU与CU相关联,并且不存在显著的残差系数、没有编解码的运动矢量偏差或参考图片索引。规定Merge模式,从而从包括空域和时域候选的邻近PU获得当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU,而不仅仅用于跳过模式。Merge模式的可选方案是运动参数的显式传输,其中每PU显式地信令通知运动矢量(更准确地,与运动矢量预测量相比的运动矢量差(MVD))、每个参考图片列表的对应参考图片索引和参考图片列表的使用。在本公开中,这种模式被称为高级运动矢量预测(AdvancedMotion Vector Prediction,AMVP)。
当信令指示要使用两个参考图片列表中的一个时,从一个样点块产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带两者。
当信令指示要使用两个参考图片列表时,从两个样点块产生PU。这被称为“双向预测”。双向预测仅可用于B条带。
以下文本提供了关于HEVC中规定的帧间预测模式的详细信息。描述将从Merge模式开始。
2.1.1参考图片列表
在HEVC中,术语帧间预测被用来表示从除当前解码图片之外的参考图片的数据元素(例如,样点值或运动矢量)推导的预测。像在H.264/AVC中一样,图片可以从多个参考图片中预测。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪个参考图片应该用于创建预测信号。
单个参考图片列表,列表0,用于P条带,两个参考图片列表,列表0和列表1,用于B条带。应当注意,列表0/列表1中包括的参考图片在捕捉/显示顺序方面可以来自过去和未来的图片。
2.1.2 HEVC中的Merge模式
2.1.2.1 Merge模式的候选的推导
当使用Merge模式预测PU时,从比特流中解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。在HEVC标准中规定了该列表的构造,并且可以按照以下步骤的序列进行概述:
·步骤1:初始候选推导
ο步骤1.1:空域候选推导
ο步骤1.2:空域候选的冗余检查
ο步骤1.3:时域候选推导
·步骤2:附加候选插入
ο步骤2.1:创建双向预测候选
ο步骤2.2:插入零运动候选
这些步骤也示意性地描绘在图1中。对于空域Merge候选推导,在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导,在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选,因此当从步骤1获得的候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时,生成附加候选。由于候选的数量是恒定的,因此使用截断一元二值化(Truncated Unarybinarization,TU)对最佳Merge候选的索引进行编码。如果CU的尺寸等于8,则当前CU的所有PU共用单个Merge候选列表,其与2N×2N预测单元的Merge候选列表相同。
在下文中,将详细描述与上述步骤相关联的操作。
2.1.2.2空域候选推导
在空域Merge候选的推导中,在位于图2中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任何PU不可用(例如,因为它属于另一条带或片)或者是帧内编解码的时,才考虑位置B2。在添加位置A1处的候选之后,对剩余候选的添加进行冗余检查,其确保具有相同运动信息的候选被排除在列表之外,从而提高编解码效率。为了降低计算复杂度,在所提到的冗余检查中并非所有可能的候选对都被考虑。相反,只考虑与图3中的箭头链接的对,并且仅在用于冗余检查的对应候选没有相同的运动信息,才将候选添加到列表中。重复运动信息的另一源是与不同于2N×2N的分割相关联的“第二PU”。作为示例,图4描绘了第二PU是N×2N和2N×N的情况。在当前PU被分割为N×2N时,位置A1处的候选不被考虑用于列表构造。事实上,通过添加该候选将导致两个预测单元具有相同的运动信息,这对于在编解码单元中只具有一个PU是冗余的。类似地,在当前PU被分割为2N×N时,不考虑位置B1。
2.1.2.3时域候选推导
在该步骤中,仅一个候选被添加到列表。具体地,在该时域Merge候选的推导中,基于属于给定参考图片列表内与当前图片具有最小POC(Picture Order Count,图片顺序计数)差的图片的共位(co-located)PU来推导缩放运动矢量。在条带头中显式地信令通知要用于推导共位PU的参考图片列表。如在图5中由虚线所示的,获得了对时域Merge候选的缩放运动矢量,该缩放运动矢量是使用POC距离tb和td从共位PU的运动矢量缩放的,其中tb被定义为当前图片的参考图片与当前图片之间的POC差,并且td被定义为共位图片的参考图片与共位图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带,两个运动矢量(一个用于参考图片列表0,并且另一个用于参考图片列表1)被获得并组合,以生成双向预测Merge候选。
在属于参考帧的共位PU(Y)中,在候选C0和C1之间选择时域候选的位置,如图6所描绘的。如果位置C0处的PU不可用、是帧内编解码的、或者在当前编解码树单元(CTU,又称LCU,最大编解码单位)行(row)的外部,则使用位置C1。否则,在时域Merge候选的推导中使用位置C0。
时域运动矢量预测也被称为“TMVP”。
2.1.2.4附加候选插入
除了空域和时域的Merge候选之外,存在两种附加类型的Merge候选:组合的双向预测Merge候选和零Merge候选。通过利用空域和时域的Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一个的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组提供不同的运动假设,则它们将形成新的双向预测候选。作为示例,图7示出了当原始列表(在左边)中的两个候选(其具有mvL0和refIdxL0或mvL1和refIdxL1)用于创建被添加到最终列表(在右边)的组合的双向预测Merge候选。存在许多关于组合的规则,这些规则被考虑以生成这些附加Merge候选。
插入零运动候选以填充Merge候选列表中的剩余条目,并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引,该索引从零开始并且每次向列表中添加新的零运动候选时增加。最后,不对这些候选执行冗余检查。
2.1.3 AMVP
AMVP利用运动矢量与邻近PU的空时相关性,该空时相关性用于运动参数的显式传输。对于每个参考图片列表,通过首先检查左边、上边的时域邻近的PU位置的可用性,移除冗余候选并添加零矢量以使候选列表为恒定长度,来构造运动矢量候选列表。然后,编码器可以从候选列表中选择最佳预测量,并发送指示所选候选的对应索引。与Merge索引信令类似,使用截断一元对最佳运动矢量候选的索引进行编码。在这种情况下,要编码的最大值是2(见图8)。在接下来的章节中,将提供关于运动矢量预测候选的推导过程的细节。
2.1.3.1推导AMVP候选
图8示出了运动矢量预测候选的示例推导过程。
在运动矢量预测中,考虑两种类型的运动矢量候选:空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导,最终基于位于如在图2中描绘的五个不同位置的每个PU的运动矢量来推导两个运动矢量候选。
对于时域运动矢量候选推导,从基于两个不同共位位置而推导的两个候选中选择一个运动矢量候选。在产生第一空时候选列表之后,移除列表中的重复运动矢量候选。如果潜在候选的数量大于二,则从列表中移除相关联的参考图片列表内其参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二,则将附加的零运动矢量候选添加到列表。
2.1.3.2空域运动矢量候选
在空域运动矢量候选的推导中,在从位于如在图2中描绘的位置的PU中推导的五个潜在候选当中考虑最多两个候选,那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A0、A1、以及缩放A0、缩放A1。当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放B0、缩放B1、缩放B2。因此对于每一侧,存在可以用作运动矢量候选的四种情况,其中两种情况不需要使用空域缩放,两种情况使用空域缩放。四种不同的情况概述如下:
·没有空域缩放
-(1)相同的参考图片列表,以及相同的参考图片索引(相同的POC)
-(2)不同的参考图片列表,但是相同的参考图片(相同的POC)
·空域缩放
-(3)相同的参考图片列表,但是不同的参考图片(不同的POC)
-(4)不同的参考图片列表,以及不同的参考图片(不同的POC)
首先检查非空域缩放情况,然后是允许空域缩放的情况。当不管参考图片列表如何,POC在邻近PU的参考图片与当前PU的参考图片之间都不同时,考虑空域缩放。如果左边候选的所有PU都不可用或者都是帧内编解码的,则允许针对上边运动矢量的缩放有助于对左边和上边MV候选的并行推导。否则,针对上边运动矢量不允许空域缩放。
在空域缩放过程中,以与时域缩放类似的方式来缩放邻近PU的运动矢量,如图9所描绘的。主要差异在于参考图片列表和当前PU的索引被给定作为输入;实际缩放过程与时域缩放的过程相同。
2.1.3.3时域运动矢量候选
除了参考图片索引推导之外,用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(见图6)。参考图片索引被信令通知给解码器。
2.2 VVC中的帧间预测方法
有几种用于帧间预测改进的新的编解码工具,诸如用于信令通知MVD的自适应运动矢量差分辨率(Adaptive motion vector difference resolution,AMVR)、仿射预测模式、三角形预测模式(TPM)、ATMVP、广义双向预测(GBI)、双向光流(BIO)。
2.2.1 VVC中的编解码块结构
在VVC中,采用四叉树/二叉树/多叉树(QT/BT/TT)结构将图片划分为正方形或矩形块。
除了QT/BT/TT,在VVC中对于I-帧还采用了分开的树(又称双重编解码树)。利用分开的树,针对亮度和色度分量分别信令通知编解码块结构。
2.2.2 VVC中的扩展Merge预测
在VTM4中,Merge候选列表是通过按顺序包括以下五种类型的候选来构造的:
来自空域邻近者CU的空域MVP
来自共位CU的时域MVP
来自FIFO表中的基于历史的MVP
成对平均MVP
零MV。
Merge列表的尺寸在条带头中信令通知,并且在VTM4中Merge列表的最大允许尺寸是6。对于Merge模式中的每个CU码,使用截断的一元二值化(TU)编码最佳Merge候选的索引。Merge索引的第一个位元用上下文编解码,旁路编解码用于其他位元。
Merge候选的每个类别的生成过程都在此进程中提供。
2.2.1.1空域候选推导
VVC中的空域Merge候选的推导与HEVC中的相同。
2.2.2.2时域候选推导
VVC中的时域Merge候选的推导与HEVC中的相同。
2.2.2.3基于历史的Merge候选推导
基于历史的MVP(history-based MVP,HMVP)Merge候选被添加到Merge列表中的空域MVP和TMVP之后。在该方法中,先前编解码的块的运动信息被存储在表中,并被用作当前CU的MVP。在编码/解码过程期间,维护具有多个HMVP候选的表。当遇到新的CTU行时,表被重置(清空)。每当有非子块帧间编解码的CU时,相关联的运动信息被添加到表的最后一个条目,作为新的HMVP候选。
在VTM4中,HMVP表的尺寸S设置为6,这表示可以向表中添加最多6个基于历史的MVP(HMVP)候选。当向表中插入新的候选运动时,利用受约束的先进先出(First-In-First-Out,FIFO)规则,其中首先应用冗余检查来发现表中是否存在相同的HMVP。如果找到,则从表中移除相同的HMVP,然后所有之后的HMVP候选向前移动。
HMVP候选可以用于Merge候选列表构造过程。表中最新的若干个候选被按顺序检查并被插入到候选列表中的TMVP候选之后。冗余检查应用于空域或时域Merge候选的HMVP候选。
为了减少冗余检查操作的数量,引入了以下简化:
用于Merge列表生成的HMPV候选的数量设置为(N<=4)?M:(8–N),其中N表示Merge列表中现有候选的数量,M表示表中可用的HMVP候选的数量。
一旦可用Merge候选的总数量达到最大允许的Merge候选减1,则根据HMVP的Merge候选列表构造过程就终止。
2.2.2.4成对平均Merge候选推导
成对平均候选是通过对现有Merge候选列表中的预定的候选对进行平均而生成的,并且预定的对被定义为{(0,1)},其中,数字表示Merge候选列表的Merge索引。为每个参考列表单独计算平均运动矢量。如果两个运动矢量在一个列表中可用,则即使这两个运动矢量指向不同的参考图片,也会对它们进行平均;如果只有一个运动矢量可用,则直接使用该运动矢量;如果没有运动矢量可用,则保持该列表无效。
当添加成对平均Merge候选后Merge列表未满时,将在末尾插入零MVP,直到达到最大Merge候选数量。
2.2.3 VVC中的共用Merge列表
为了降低解码器的复杂度并支持并行编码,JVET-M0147提出为CU划分树中一个祖先节点的所有叶编解码单元(CU)共用相同的Merge候选列表,以便能够并行处理小的跳过/Merge编解码的CU。祖先节点被命名为Merge共用节点。在Merge共用节点处生成共用Merge候选列表,假设Merge共用节点是叶CU。
更具体地,以下可能适用:
如果块具有不大于32个的亮度样点,并且被划分成2个4×4子块,则在非常小的块(例如,两个相邻的4×4块)之间使用共用Merge列表。
然而,如果块具有大于32个的亮度样点,在划分之后,至少一个子块小于阈值(32),则该划分的所有子块共用相同的Merge列表(例如,16×4三叉树划分或8×8四叉树划分)。
这种限制仅应用于常规Merge模式。
2.2.4 IBC Merge列表
当按照JVET-M0483中的提议添加IBC时,HMVP候选也适用于IBC Merge列表。
更具体地,可以存储另外5个IBC候选。在当前实施方式中,常规和IBC候选存储在相同的HMVP表中。但是,它们是独立使用和更新的。前M(M≤5)个候选用于常规Merge/AMVP列表;剩余的N个候选(N≤5)用于IBC模式。维护两个计数器以指示在HMVP表中有多少常规运动候选和多少IBC运动候选。因此,它相当于使用两个HMVP表,一个用于常规Merge模式,另一个用于IBC模式。
共用与常规MV Merge相同的过程,但不允许TMVP,零矢量表示不可用,因为其是无效的。注意,对于空域邻近块,仅当其以IBC模式编解码时,相关联的运动信息才可以被添加到IBC Merge列表。同时,对于HMVP部分,在IBC Merge列表中只有最后几个HMVP候选(存储的IBC运动候选)可以被考虑。
3.由实施例解决的问题的示例
在Merge候选列表构造的当前设计中,只有在前两个Merge候选已经在候选列表中时,才能构建成对平均Merge候选。在最坏的情况下,在构建成对平均候选之前,必须遍历所有可能的Merge候选。因此,成对平均候选不能与其他候选并行构建。
4.示例技术和实施例
下面列出的技术应被视为解释一般概念的示例。这些技术不应狭义地解释。此外,这些技术可以以任何方式组合。
在以下讨论中,SatShift(x,n)定义为
Shift(x,n)定义为Shift(x,n)=(x+offset0)>>n。
在一个示例中,offset0和/或offset1被设置为(1<<n)>>1or(1<<(n-1))。在一个示例中,offset0和/或offset1被设置为0。
在另一个示例中,offset0=offset1=((1<<n)>>1)-1or((1<<(n-1)))-1。
Clip3(min,max,x)定义为
在本文档中,两个运动矢量之间的运算意味着该运算将应用于运动矢量的两个分量。例如,MV3=MV1+MV2相当于MV3x=MV1x+MV2x and MV3y=MV1y+MV2y。
在本文档中,左侧邻近块、左下邻近块、上侧邻近块、右上邻近块和左上邻近块被表示为块A1、A0、B1、B0和B2,如图2所示。
1.在一个示例中,如果只有一组运动信息(它可以从空域邻近块、或从时域邻近块、或从HMVP条目等获取)可用于构建成对平均Merge候选,则不能构建成对平均Merge候选。
a.可替代地,可以用一组运动信息来构建成对平均Merge候选。假设运动信息包括:表示为inter_dir的帧间预测方向、表示为ref_idx[0]和ref_idx[1]的两个列表的参考索引(ref_idx[L]L=0或1,如果没有运动矢量参考参考列表x,则其被标记为“-1”)、表示为gbi_idx的GBi索引、表示为对参考列表0进行参考的运动矢量(mv0 x,mv0 y)以及表示为对参考列表1进行参考的运动矢量(mv1 x,mv1 y)。则可以遵循下面的一个或一些示例性规则来构建成对平均Merge候选的运动信息:
1)在一个示例中,inter_dir被复制到成对平均Merge候选。
2)在一个示例中,ref_idx[0],ref_idx[1]被复制到成对平均Merge候选。
3)在一个示例中,gbi_idx被复制到成对平均Merge候选。
a.可替代地,成对平均Merge候选的GBi索引被设置为零或其他默认值,意味着GBi关闭。
4)在一个示例中,如果(mvL x,mvL y)可用,其中L=0或1,则(f(mvL x),g(mvL y))被设置为对参考列表L进行参考的成对平均Merge候选的运动矢量。f和g是两个函数。
a.在一个示例中,f(m)=g(m)=m+offset,其中offset是整数,诸如3。
b.在一个示例中,f(m)=g(m)=m+(offset<<Precise),其中offset是整数,诸如3;Precise定义MV精度,例如,Precise=4。
c.在一个示例中,f(m)=g(m)=SatShift(m,k),其中k是整数,诸如1。
d.在一个示例中,f(m)=g(m)=Shift(m,k),其中k是整数,诸如1。
e.在一个示例中,f(m)=g(m)=m<<k,其中k是整数,诸如1。
b.可替代地,可以用一组可用的运动信息和一组构造的运动信息来构建成对平均Merge候选。
i.在一个示例中,所构造的该组运动信息的帧间预测方向被设置为等于该组可用的运动信息的帧间预测方向。
ii.在一个示例中,所构造的该组运动信息的参考列表X的参考索引被设置为等于该组可用的运动信息的参考列表X的参考索引。X可以是0或1。
iii.在一个示例中,所构造的该组运动信息的参考列表X的MV被设置为等于零。X可以是0或1。
2.在一个示例中,在添加成对平均Merge候选之前,当Merge候选列表中只有一个可用Merge候选时,可以应用项目1。
3.在一个示例中,在使用第一组运动信息和第二组运动信息来构建成对平均Merge候选之前,可以检查它们是否相同或相似。
a.在一个示例中,如果两组运动信息相同或相似,则不能用它们来构建成对平均Merge候选。
b.在另一个示例中,如果两组运动信息相同或相似,则可以用它们构建成对平均Merge候选。
i.在一个示例中,第二组(或第一组)运动信息可以被视为不可用。
ii.可以应用项目1。
4.提出了总是用从两个预定的空域邻近块获取的运动信息来构建成对平均Merge候选。
a.在一个示例中,总是用从{块A1,块B1}获取的运动信息来构建成对平均Merge候选。
i.可替代地,总是用从{块A1,块A0}获取的运动信息来构建成对平均Merge候选。
ii.可替代地,总是用从{块B1,块B0}获取的运动信息来构建成对平均Merge候选。
iii.可替代地,总是用从{块A1,块B0}获取的运动信息来构建成对平均Merge候选。
iv.可替代地,总是用从{块B1,块A0}获取的运动信息来构建成对平均Merge候选。
v.可替代地,总是用从{块A1,块B2}获取的运动信息来构建成对平均Merge候选。
vi.可替代地,总是用从{块B1,块B2}获取的运动信息来构建成对平均Merge候选。
vii.可替代地,总是用从{块A0,块B2}获取的运动信息来构建成对平均Merge候选。
viii.可替代地,总是用从{块B0,块B2}获取的运动信息来构建成对平均Merge候选。
b.在一个示例中,如果不能从两个预定的空域邻近块获取运动信息(例如,邻近块不可用或是帧内编解码的),则不能构建成对平均Merge候选。
c.在一个示例中,如果只能从两个预定的空域邻近块中的一个获取运动信息(例如,另一个邻近块不可用或是帧内编解码的),则可以应用项目1。
d.在一个示例中,项目3可以应用于从两个预定的空域邻近块获取的两组运动信息。
e.在一个示例中,两个空域邻近块可以被当前CTU/CTU行/条带/片组/片内的两个块代替,这两个块不一定与当前块相邻。
5.提出了总是用从N个预定的空域邻近块,其中N>2,获取的运动信息来构建一个或多个成对平均Merge候选。例如,N=3。
a.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0};
b.在一个示例中,预定的空域邻近块是{块A1,块B1,块A0};
c.在一个示例中,预定的空域邻近块是{块A1,块B1,块B2};
d.在一个示例中,预定的空域邻近块是{块A1,块A0,块B2};
e.在一个示例中,预定的空域邻近块是{块B1,块B0,块B2};
f.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0};
g.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0,块B1};
h.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0,块B1,块B2};
i.在一个示例中,只有一个成对平均Merge候选可以用从N个预定的空域邻近块获取的运动信息来构建。
i.例如,按顺序检查每对预定的空域邻近块,直到可以用来自一对预定的空域邻近块的运动信息来构建成对平均Merge候选。
ii.在一个示例中,如果不能从N个预定的空域邻近块获取运动信息,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从N个预定的空域邻近块中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自一对预定的空域邻近块的运动信息来构建成对平均Merge候选。
j.在一个示例中,可以用从N个预定的空域邻近块获取的运动信息来构建S(S>1)个成对平均Merge候选。
i.例如,按顺序检查每对预定的空域邻近块,直到可以用来自S对预定的空域邻近块的运动信息来构建S对成对平均Merge候选。
ii.在一个示例中,如果不能从N个预定的空域邻近块获取运动信息,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从N个预定的空域邻近块中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自一对预定的空域邻近块的运动信息来构建成对平均Merge候选。
k.在一个示例中,N个空域邻近块可以被当前CTU/CTU行/条带/片组/片内的两个块代替,这两个块不一定与当前块相邻。
6.提出了总是用从N个预定的空域邻近块和M个预定的TMVP获取的运动信息来构建一个或多个成对平均Merge候选。例如,N=2,M=1。
a.在一个示例中,总是用从{块A1,块B1}获取的运动信息来构建成对平均Merge候选。
i.可替代地,总是用从{块A1,块A0}获取的运动信息来构建成对平均Merge候选。
ii.可替代地,总是用从{块B1,块B0}获取的运动信息来构建成对平均Merge候选。
iii.可替代地,总是用从{块A1,块B0}获取的运动信息来构建成对平均Merge候选。
iv.可替代地,总是用从{块B1,块A0}获取的运动信息来构建成对平均Merge候选。
v.可替代地,总是用从{块A1,块B2}获取的运动信息来构建成对平均Merge候选。
vi.可替代地,总是用从{块B1,块B2}获取的运动信息来构建成对平均Merge候选。
vii.可替代地,总是用从{块A0,块B2}获取的运动信息来构建成对平均Merge候选。
viii.可替代地,总是用从{块B0,块B2}获取的运动信息来构建成对平均Merge候选。
b.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0};
c.在一个示例中,预定的空域邻近块是{块A1,块B1,块A0};
d.在一个示例中,预定的空域邻近块是{块A1,块B1,块B2};
e.在一个示例中,预定的空域邻近块是{块A1,块A0,块B2};
f.在一个示例中,预定的空域邻近块是{块B1,块B0,块B2};
g.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0};
h.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0,块B1};
i.在一个示例中,预定的空域邻近块是{块A1,块B1,块B0,块B1,块B2};
j.在一个示例中,TMVP可以用与HEVC或VVC中相同的方法来推导。
k.在一个示例中,只有一个成对平均Merge候选可以用从N个预定的空域邻近块和M个预定的TMVP获取的运动信息来构建。
i.例如,按顺序检查每对预定的空域邻近块和/或TMVP,直到可以用来自一对预定的空域邻近块或TMVP的运动信息来构建成对平均Merge候选。
1)例如,检查顺序是{块A1,块B1}、{块A1,TMVP}、{块A2,TMVP}。
ii.在一个示例中,如果不能从N个预定的空域邻近块和M个TMVP获取运动信息,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从N个预定的空域邻近块和/或M个TMVP中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自一对预定的空域邻近块和/或TMVP的运动信息来构建成对平均Merge候选。
l.在一个示例中,可以用从N个预定的空域邻近块和/或M个TMVP获取的运动信息来构建S(S>1)个成对平均Merge候选。
i.例如,按顺序检查每对预定的空域邻近块和/或TMVP,直到可以用来自S对预定的空域邻近块和/或TMVP的运动信息来构建S个成对平均Merge候选。
ii.在一个示例中,如果不能从N个预定的空域邻近块和/或M个TMVP获取运动信息,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从N个预定的空域邻近块和/或M个TMVP中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自一对预定的空域邻近块和/或TMVP的运动信息来构建成对平均Merge候选。
m.在一个示例中,N个空域邻近块可以被当前CTU/CTU行/条带/片组/片内的两个块代替,这两个块不一定与当前块相邻。
7.提出了总是用从HMVP表中的N个条目获取的运动信息来构建一个或多个成对平均Merge候选。例如,N=2。
a.N个条目可以被预定。例如,它们可以是表中的前N个条目,也可以是表中的最后N个条目;
i.N不应大于表中可用条目的总数。
ii.在一个示例中,N被设置为表中可用条目的总数。
iii.可替代地,所选择的N个条目可以不与连续的条目索引相关联,例如,可以利用第一个和最后一个条目。
b.在一个示例中,只有一个成对平均Merge候选可以用从HMVP表中的N个条目获取的运动信息来构建。
i.例如,按顺序检查HMVP表中的每对条目,直到可以用来自HMVP表中的一对条目的运动信息来构建成对平均Merge候选。
ii.在一个示例中,如果不能从HMVP表中的N个条目获取运动信息,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从HMVP表中的N个条目中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自HMVP表中的一对条目的运动信息来构建成对平均Merge候选。
c.在一个示例中,可以用从HMVP表中的N个条目获取的运动信息来构建S(S>1)个成对平均Merge候选。
i.例如,按顺序检查HMVP表中的N个条目中的每对,直到可以用来自HMVP表中的N个条目中的S对的运动信息来构建S个成对平均Merge候选。
ii.在一个示例中,如果不能从HMVP表中的N个条目获取运动信息,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从HMVP表中的N个条目中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自HMVP表中的N个条目中的一对的运动信息来构建成对平均Merge候选。
8.提出了总是用从N个预定的空域邻近块获取的运动信息和从HMVP表中的M个条目获取的运动信息来构建一个或多个成对平均Merge候选。例如,N=1,M=1。
a.N个预定的空域邻近块可以如项目6中那样被预定。
b.HMVP表中的M个条目可以如项目7中那样被预定。
c.在一个示例中,仅一个成对平均Merge候选可以用从N个预定的空域邻近块和/或HMVP表中的M个条目获取的运动信息来构建。
i.例如,按顺序检查N个预定的空域邻近块和/或HMVP表中的条目中的每对,直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的一对的运动信息来构建成对平均Merge候选。
ii.在一个示例中,如果没有运动信息可以从N个预定的空域邻近块和/或HMVP表中的M个条目获取,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从N个预定的空域邻近块和/或HMVP表中的M个条目中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的一对的运动信息来构建成对平均Merge候选。
d.在一个示例中,可以用从N个预定的空域邻近块和/或HMVP表中的M个条目获取的运动信息来构建S(S>1)个成对平均Merge候选。
i.例如,按顺序检查N个预定的空域邻近块和/或HMVP表中的M个条目中的每对,直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的S对的运动信息来构建S个成对平均Merge候选。
ii.在一个示例中,如果没有运动信息可以从N个预定的空域邻近块和/或HMVP表中的M个条目获取,则不能构建成对平均Merge候选。
iii.在一个示例中,如果只能从N个预定的空域邻近块和/或HMVP表中的M个条目中的一个获取运动信息,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目中的一对的运动信息来构建成对平均Merge候选。
9.提出了总是用从N个预定的空域邻近块获取的运动信息以及从HMVP表中的M个条目和P个TMVP获取的运动信息来构建一个或多个成对平均Merge候选。例如,N=1,M=1,P=1。
a.N个预定的空域邻近块可以如项目6中那样被预定。
b.HMVP表中的M个条目可以如项目7中那样被预定。
c.TMVP可以用与HEVC或VVC中相同的方式来推导。
d.在一个示例中,仅一个成对平均Merge候选可以用从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取的运动信息来构建。
i.例如,按顺序检查N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的每对,直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一对的运动信息来构建成对平均Merge候选。
ii.在一个示例中,如果没有运动信息可以从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取,则不能构建成对平均Merge候选。
iii.在一个示例中,如果运动信息只能从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一个获取,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一对的运动信息来构建成对平均Merge候选。
e.在一个示例中,可以用从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取的运动信息来构建S(S>1)个成对平均Merge候选。
i.例如,按顺序检查N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的每对,直到可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的S对的运动信息来构建S个成对平均Merge候选。
ii.在一个示例中,如果没有运动信息可以从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP获取,则不能构建成对平均Merge候选。
iii.在一个示例中,如果运动信息只能从N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一个获取,则可以应用项目1。
iv.可以应用项目3来确定是否可以用来自N个预定的空域邻近块和/或HMVP表中的M个条目和/或P个TMVP中的一对的运动信息来构建成对平均Merge候选。
10.在一个示例中,如果不能构建成对平均Merge候选(例如,用于成对平均候选推导的所有块都被帧内编解码),则一个或多个默认Merge候选被放入Merge候选列表中。
a.在一个示例中,(多个)默认Merge候选被放在Merge候选列表中的零候选之前。
i.可替代地,(多个)默认Merge候选被放在Merge候选列表中的零候选之后。
b.在一个示例中,可以预定(多个)默认Merge候选。
i.例如,(多个)默认Merge候选可以是(S,0)或(0,S);
1)可替代地,(多个)默认Merge候选可以是(S,S)或(S,-S);
ii.在上述示例中,S是非零整数,诸如N或-N,其中N可以是1、2、3、4…。在另一示例中,S是非零整数,诸如2N或-2N,其中N可以是1、2、3、4…。在又一示例中,S是非零整数,诸如(2N-1)或-(2N-1),其中N可以是1、2、3、4…。在再一示例中,S是非零整数,诸如2N或–2N,其中N可以是1、2、3、4…。
c.在一个示例中,可以从编码器向解码器信令通知(多个)默认Merge候选。
d.在一个示例中,默认Merge候选的MV必须引用整数位置。
i.例如,默认Merge候选的MV必须引用帧内块复制(intra-block copy,IBC)Merge候选列表的整数位置。
e.在一个示例中,如果不能从预定的块中找到成对平均候选,则它可以从HMVP表中推导。
f.可替代地,可以跳过成对平均候选的插入。
11.本文档中公开的方法可以应用于构建任何种类的Merge候选列表中的成对平均Merge候选。
a.例如,它们可以用于构建常规Merge候选列表中的(多个)成对平均Merge候选。
b.例如,它们可以用于构建三角形Merge候选列表中的(多个)成对平均Merge候选。
c.例如,它们可以用于构建IBC Merge候选列表中的(多个)成对平均Merge候选。
d.例如,它们可以用于构建基于子块的Merge候选列表中的(多个)成对平均Merge候选。
e.例如,它们可以用于构建仿射Merge候选列表中的(多个)成对平均Merge候选。
12.在一个示例中,从上述方法推导的成对Merge候选可以在被添加到候选列表之前被进一步修改。
a.在一个示例中,对于IBC Merge候选列表,用所提出的方法推导的成对Merge候选的MV应该取整到整数精度。假设存储MV精度为P,MV_pair是用所提出的方法推导的成对Merge候选的MV,则将从MV_pair取整的MV_pair’放入IBC Merge候选列表中。
b.在一个示例中,MV_pari’=Shift(MV_pair,P)<<P;
c.在一个示例中,MV_pari’=SatShift(MV_pair,P)<<P;
d.在一个示例中,MV_pari’=MV_pair&(-1<<P)。
13.在一个示例中,当(多个)成对Merge候选在常规Merge候选列表中时,可以应用本文档中公开的成对Merge候选推导方法。
a.可替代地,当(多个)成对Merge候选在帧内块复制(IBC)Merge候选列表中时,可以应用本文档公开的成对Merge候选推导方法。
b.可替代地,当(多个)成对Merge候选在基于子块的Merge候选列表中时,可以应用本文档公开的成对Merge候选推导方法。
6.某些实施例的语法结构的示例
实施例中的示例性语法设计公开如下。章节号指的是VVC文档的当前版本标准。使用粗体斜体文本突出显示实现一些实施例的语法变化的示例。
8.5.2.2用于Merge模式的亮度运动矢量的推导过程
该过程仅在merge_flag[xCb][yPb]等于1时调用,其中(xCb,yCb)指定当前亮度编解码块的左上角样点相对于当前图片的左上角亮度样点。
这一过程的输入是:
–当前亮度编解码块的左上角样点相对于当前图片的左上角亮度样点的亮度位置(xCb,yCb),
–变量cbWidth以亮度样点指定当前编解码块的宽度,
–变量cbHeight以亮度样点指定当前编解码块的高度。
这一过程的结果是:
–1/16分数样点精度的亮度运动矢量,mvL0[0][0]和mvL1[0][0],
–参考索引refIdxL0和refIdxL1,
–预测列表利用标志predFlagL0[0][0]和predFlagL1[0][0],
–双向预测权重索引gbiIdx。
双向预测权重索引gbiIdx被设置为等于0。
变量xSmr、ySmr、smrWidth、smrHeight和smrNumHmvpCand推导如下:
xSmr=IsInSmr[xCb][yCb]?SmrX[xCb][yCb]:xCb (8-276)
ySmr=IsInSmr[xCb][yCb]?SmrY[xCb][yCb]:yCb (8-277)
smrWidth=IsInSmr[xCb][yCb]?SmrW[xCb][yCb]:cbWidth (8-278)
smrHeight=IsInSmr[xCb][yCb]?SmrH[xCb][yCb]:cbHeight (8-279)
smrNumHmvpCand=IsInSmr[xCb][yCb]?NumHmvpSmrCand:NumHmvpCand (8-280)
运动矢量mvL0[0][0]和mvL1[0][0],参考索引refIdxL0和refIdxL1以及预测利用标志predFlagL0[0][0]和predFlagL1[0][0]通过以下有序步骤推导:
1.调用章节8.5.2.3中规定的从邻近编解码单元推导Merge候选的过程,其中,设置为等于(xSmr,ySmr)的亮度编解码块位置(xCb,yCb)、设置为等于smrWidth的亮度编解码块宽度cbWidth和设置为等于smrHeight的亮度编解码块高度cbHeight作为输入,输出是可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2,参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2,预测列表利用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2,和运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2,其中X为0或1,以及双向预测权重索引gbiIdxA0、gbiIdxA1、gbiIdxB0、gbiIdxB1、gbiIdxB2。
2.X为0或1的参考索引refIdxLXCol和时域Merge候选Col的双向预测权重索引gbiIdxCol设置为等于0。
3.调用章节8.5.2.11中规定的时域亮度运动矢量预测的推导过程,其中,设置为等于(xSmr,ySmr)的亮度位置(xCb,yCb)、设置为等于smrWidth的亮度编解码块宽度cbWidth、设置为等于smrHeight的亮度编解码块高度cbHeight和变量refIdxL0Col作为输入,输出为可用性标志availableFlagL0Col和时域运动矢量mvL0Col。变量availableFlagCol、predFlagL0Col和predFlagL1Col如下推导:
availableFlagCol=availableFlagL0Col (8-281)
predFlagL0Col=availableFlagL0Col (8-282)
predFlagL1Col=0 (8-283)
4.当tile_group_type等于B时,调用章节8.5.2.11中规定的时域亮度运动矢量预测的推导过程,其中,设置为等于(xSmr,ySmr)亮度位置(xCb,yCb)、设置为等于smrWidth的亮度编解码块宽度cbWidth、设置为等于smrHeight亮度编解码块高度cbHeight和变量refIdxL1Col作为输入,输出为可用性标志availableFlagL1Col和时域运动矢量mvL1Col。变量availableFlagCol和predFlagL1Col如下推导:
availableFlagCol=availableFlagL0Col||availableFlagL1Col (8-284)
predFlagL1Col=availableFlagL1Col (8-285)
5.Merge候选列表,mergeCandList,被构造如下:
6.变量numCurrMergeCand和numOrigMergeCand设置为等于mergeCandList中的Merge候选的数量。
7.当numCurrMergeCand小于(MaxNumMergeCand-1)且smrNumHmvpCand大于0时,应用以下过程:
–调用章节8.5.2.6中规定的基于历史的Merge候选的推导过程,其中,mergeCandList、设置为等于IsInSmr[xCb][yCb]的isInSmr和numCurrMergeCand作为输入,经修改的mergeCandList和numCurrMergeCand作为输出。
–numOrigMergeCand设置为等于numCurrMergeCand。
8.当numCurrMergeCand小于MaxNumMergeCand且availableFlagA1||availableFlagB1不等于FALSE时,应用以下过程:
–调用章节8.5.2.4中规定的成对平均Merge候选的推导过程,mergeCandList、参考索引refIdxL0N和refIdxL1N、预测列表利用标志predFlagL0N和predFlagL1N、运动矢量mvL0N和mvL1N(N为A1和B1)、可用性标志availableFlagA1和availableFlagB1、numCurrMergeCand和numOrigMergeCand作为输入,输出指定为mergeCandList、numCurrMergeCand、参考索引refIdxL0avgCand和refIdxL1avgCand、预测列表利用标志predFlagL0avgCand和predFlagL1avgCand以及添加到mergeCandList中的候选avgCand的运动矢量mvL0avgCand和mvL1avgCand。添加到mergeCandList中的候选avgCand的双预测权重索引gbiIdx设置为等于0。
–numOrigMergeCand设置为等于numCurrMergeCand。
…
8.5.2.4成对平均Merge候选的推导过程
这一过程的输入是:
–Merge候选列表mergeCandList,
–参考索引refIdxL0N和refIdxL1N,其中N是A1和B1,
–预测列表利用标志predFlagL0N和predFlagL1N,其中N是A1和B1,
–1/16分数样点精度的运动矢量mvL0N和mvL1N,其中N为A1和B1,
–可用性标志availableFlagA1和availableFlagB
–mergeCandList中的元素的数量numCurrMergeCand。
这一过程的结果是:
–Merge候选列表mergeCandList,
–mergeCandList中的元素的数量numCurrMergeCand,
–在该过程的调用期间,将候选avgCand的参考索引refIdxL0avgCand和refIdxL1avgCand添加到mergeCandList中,
–在该过程的调用期间,候选avgCand的预测列表利用标志predFlagL0avgCand和predFlagL1avgCand被添加到mergeCandList中,
–在该过程的调用期间,将候选avgCand的1/16分数样点精度的运动矢量mvL0avgCand和mvL1avgCand添加到mergeCandList中。
变量numRefLists如下推导:
numRefLists=(tile_group_type==B)?2:1 (8-314)
进行以下指定,p0Cand是Merge候选列表mergeCandList中的位置0处的候选,p1Cand是Merge候选列表mergeCandList中的位置1处的候选:
p0Cand=A1 (8-315)
p1Cand=B1 (8-316)
将候选avgCand添加到mergeCandList的末尾,即将mergeCandList[numCurrMergeCand]设置为等于avgCand,并且参考索引、avgCand的运动矢量和预测列表利用标志如下推导,并且numCurrMergeCand递增1:
如果availableFlagA1为真且availableFlagB1为真,则应用以下过程:
–对于X范围从0到(numRefLists-1)的每个参考图片列表LX,应用以下过程:
–如果predFlagLXp0Cand等于1并且predFlagLXp1Cand等于1,则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]和mvLXavgCand[1]如下推导:
refIdxLXavgCand=refIdxLXp0Cand (8-317)
predFlagLXavgCand=1 (8-318)
mvLXavgCand[0]=(mvLXp0Cand[0]+mvLXp1Cand[0])/2 (8-319)
mvLXavgCand[1]=(mvLXp0Cand[1]+mvLXp1Cand[1])/2 (8-320)
–否则,如果predFlagLXp0Cand等于1并且predFlagLXp1Cand等于0,则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]、mvLXavgCand[1]如下推导:
refIdxLXavgCand=refIdxLXp0Cand (8-321)
predFlagLXavgCand=1 (8-322)
mvLXavgCand[0]=mvLXp0Cand[0] (8-323)
mvLXavgCand[1]=mvLXp0Cand[1] (8-324)
–否则,如果predFlagLXp0Cand等于0并且predFlagLXp1Cand等于1,则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]、mvLXavgCand[1]如下推导:
refIdxLXavgCand=refIdxLXp1Cand (8-325)
predFlagLXavgCand=1 (8-326)
mvLXavgCand[0]=mvLXp1Cand[0] (8-327)
mvLXavgCand[1]=mvLXp1Cand[1] (8-328)
–否则,如果predFlagLXp0Cand等于0并且predFlagLXp1Cand等于0,则变量refIdxLXavgCand、predFlagLXavgCand、mvLXavgCand[0]、mvLXavgCand[1]如下推导:
refIdxLXavgCand=-1 (8-329)
predFlagLXavgCand=0 (8-330)
mvLXavgCand[0]=0 (8-331)
mvLXavgCand[1]=0 (8-332)
–当numRefLists等于1时,应用以下过程:
refIdxL1avgCand=-1 (8-333)
predFlagL1avgCand=0 (8-334)
否则,应用以下过程:
–如果availableFlagB1为真,p0Cand设置为等于B1。
–对于X范围从0到(numRefLists-1)的每个参考图片列表LX,应用以下过程:
–如果predFlagLXp0Cand等于1并且predFlagLXp1Cand等于1,则变量refIdxLXavgCand、predFlagLXavgCand、
mvLXavgCand[0]和mvLXavgCand[1]如下推导:
refIdxLXavgCand=refIdxLXp0Cand (8-317)
predFlagLXavgCand=1 (8-318)
mvLXavgCand[0]=mvLXp0Cand[0]>=0?((mvLXp0Cand[0]+1)>>1):
-(-mvLXp0Cand[0]+1)>>1) (8-319)
mvLXavgCand[1]=mvLXp0Cand[1]>=0?((mvLXp0Cand[1]+1)>>1):
-(-mvLXp0Cand[1]+1)>>1) (8-320)
图10是视频处理设备1000的框图。装置1000可以用于实施本文描述的方法中的一个或多个。装置1000可以体现在智能电话、平板电脑、计算机、物联网(Internet ofThings,IoT)接收器等中。装置1000可以包括一个或多个处理器1002、一个或多个存储器1004和视频处理硬件1006。(多个)处理器1002可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1006可以用于以硬件电路实施本文档中描述的一些技术。
图11是视频处理的示例方法1100的流程图。方法1100包括:基于至少一组可用的运动信息生成(1102)成对平均Merge候选;将成对平均Merge候选插入(1104)到当前视频块的Merge候选列表中;以及使用Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换(1106)。
图12是视频处理的示例方法1200的流程图。方法1200包括确定(1202)是否可以基于至少一组运动信息推导出成对平均Merge候选;响应于确定不能推导出成对平均Merge候选,将至少一个默认Merge候选插入(1204)到当前视频块的Merge候选列表中;以及使用Merge候选列表执行(1206)当前视频块和当前视频块的比特流表示之间的转换。
额外的实施例和技术可以如以下示例中所述。
在一个方面,公开了一种视频处理方法,该方法包括:基于至少一组可用的运动信息生成成对平均Merge候选;将成对平均Merge候选插入到当前视频块的Merge候选列表中;以及使用Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
在一个示例中,所述至少一组可用的运动信息是从邻近块或基于历史的运动矢量预测(HMVP)表中的条目获取的。
在一个示例中,邻近块包括空域邻近块和时域邻近块之一。
在一个示例中,至少一组可用的运动信息包括帧间预测方向、参考图片列表X的参考索引、运动矢量(MV)和具有CU级别权重的双向预测(BCW)索引中的至少一个,其中X=0,1。
在一个示例中,将帧间预测方向、参考图片列表X的参考索引和具有CU级别的权重的双向预测(BCW)索引中的至少一个复制到成对平均Merge候选,以生成成对平均Merge候选的相应参数。
在一个示例中,如果成对平均Merge候选的BCW被禁用,则成对平均Merge候选的BCW索引被设置为默认值。
在一个示例中,默认值等于零。
在一个示例中,至少一组可用的运动信息的MV包括第一分量和第二分量,并且第一函数f1和第二函数f2分别应用于MV的第一分量和第二分量,以生成成对平均Merge候选的MV。
在一个示例中,第一函数f1=m+offset,offset是整数,m表示相应分量。
在一个示例中,第一函数f1=m+(offset<<Precise),offset是整数,Precise定义MV精度,m表示相应分量。
在一个示例中,offset=3。
在一个示例中,Precise=4。
在一个示例中,第一函数f1=Shift(m,k),并且Shift(m,k)=(m+offset0)>>k,k是整数,m表示相应分量。
在一个示例中,第一函数f1=SatShift(m,k),并且
其中k是整数,m表示相应分量。
在一个示例中,
offset0=0;
offset0=(1<<n)>>1;或者
offset0=1<<(n-1))。
在一个示例中,
offset1=0;
offset1=(1<<n)>>1;或者
offset1=1<<(n-1))。
在一个示例中,第一函数f1=m<<k,k是整数,m表示相应分量。
在一个示例中,其中k=1。
在一个示例中,第二函数f2与第一函数f1相同。
在一个示例中,至少一组可用的运动信息的MV引用参考图片列表X,其中X=0或1。
在一个示例中,该方法还包括
从所述至少一组可用的运动信息构造一组运动信息,以及
从所述至少一组可用的运动信息和所构造的该组运动信息生成成对平均Merge候选。
在一个示例中,所构造的该组运动信息的帧间预测方向被设置为等于至少一组可用的运动信息的帧间预测方向。
在一个示例中,所构造的该组运动信息的参考图片列表X的参考索引被设置为等于至少一组可用的运动信息的参考图片列表X的参考索引,其中X=0或1。
在一个示例中,所构造的该组运动信息的参考图片列表X的运动矢量被设置为零。
在一个示例中,在插入成对平均Merge候选之前,Merge候选列表仅包括一个可用Merge候选。
在一个示例中,至少一组可用的运动信息选自彼此相同或相似的第一组运动信息和第二组运动信息之一。
在一个示例中,第一组运动信息和第二组运动信息中未被选择为至少一组可用的运动信息的那一组运动信息被视为不可用。
在一个示例中,成对平均Merge候选在被插入到Merge候选列表之前被修改。
在一个示例中,Merge候选列表是帧内块复制(IBC)Merge候选列表,并且通过将成对平均Merge候选的MV取整到整数精度来修改成对平均Merge候选。
在一个示例中,成对平均Merge候选的MV按照以下之一进行取整:
MV_pari’=Shift(MV_pair,P)<<P;
MV_pari’=SatShift(MV_pair,P)<<P;或者
MV_pari’=MV_pair&(-1<<P),
其中,MV_pair表示成对平均Merge候选的MV,P表示存储精度,MV_pair’表示IBCMerge候选列表中的取整后的成对平均Merge候选。
在另一方面,公开了一种视频处理方法,该方法包括:
基于至少一组运动信息确定是否可以推导出成对平均Merge候选;
响应于确定不能推导出成对平均Merge候选,将至少一个默认Merge候选插入到当前视频块的Merge候选列表中;以及
使用Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
在一个示例中,如果至少一组运动信息指示用于推导成对平均Merge候选的所有块都是帧内编解码的,则不能推导出成对平均Merge候选。
在一个示例中,如果在插入成对平均候选之前,在Merge候选列表中只有一组运动信息可用,则不能推导出成对平均Merge候选。
在一个示例中,至少一个默认Merge候选被插入到Merge候选列表中的具有零MV的候选之前或者具有零MV的候选之后。
在一个示例中,至少一个默认Merge候选是预定的。
在一个示例中,至少一个默认Merge候选是以下之一:
(S,0);
(0,S);
(S,S);
(S,-S),其中S是非零整数。
在一个示例中,
S=N;
S=-N;
S=2N;
S=-2N;
S=(2N-1);
S=–(2N-1);
S=2N;
S=-2N,其中N是自然数。
在一个示例中,从编码侧向解码侧信令通知至少一个默认Merge候选。
在一个示例中,至少一个默认Merge候选的MV参考特定Merge候选列表的整数位置。
在一个示例中,特定Merge候选列表包括帧内块复制(IBC)Merge候选列表。
在一个示例中,如果不能从一个或多个预定的块推导成对平均Merge候选,则成对平均Merge候选可以从HMVP表的条目推导。
在一个示例中,Merge候选列表属于以下之一:
常规Merge候选列表;
三角形Merge候选列表;
帧内块复制(IBC)Merge候选列表;
基于子块的Merge候选列表;和
仿射Merge候选列表。
在一个示例中,该转换包括将当前视频块编码到视频的比特流表示,和从视频的比特流表示中解码当前视频块。
在一个方面,公开了一种视频系统中的装置,该装置包括处理器和其上具有指令的非暂时性存储器,其中指令在由处理器运行时使得处理器实施如上所述的方法。
在一个方面,公开了一种非暂时性计算机可读介质,该非暂时性计算机可读介质上存储有程序代码,该程序代码在被运行时使得处理器实施如上所述的方法。
应当理解,所公开的技术可以体现在视频编码器或解码器中,以在视频编码或解码操作期间使用包括使用成对平均来生成Merge候选的技术来改进压缩效率。
本文档中描述的所公开的和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施,或者在计算机软件、固件或硬件中实施,包括本文档中公开的结构及其结构等同物,或者在它们中的一个或多个的组合中实施。所公开的和其它实施例可以实施为一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合,或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,例如,包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建运行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号,例如,机器生成的电信号、光信号或电磁信号,其被生成来编码信息以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写,包括编译或解释语言,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本),存储在专用于所讨论的程序的单个文件中,或者存储在多个协调文件中(例如,存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一个计算机或在位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上执行。
本文中描述的过程和逻辑流程可以由一个或多个可编程处理器执行,该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行,并且装置也可以实施为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而,计算机不一定需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如,包括半导体存储器设备,例如,EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。
虽然本专利文档包含许多细节,但这些不应被解释为对任何主题或所要求保护的范围的限制,而是对特定技术的特定实施例所特有的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外,尽管上述特征可以被描述为以某些组合起作用,甚至最初被要求这样来保护,但是在某些情况下,可以从所要求保护的组合中删除该组合中的一个或多个特征,并且所要求保护的组合可以指向子组合或子组合的变体。
类似地,尽管在附图中以特定顺序描述了操作,但这不应理解为要求以所示的特定顺序或顺序地执行这些操作,或者要求执行所有所示的操作,以获得期望的结果。此外,在本专利文件中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。
仅描述了几个实施方式和示例,并且可以基于本专利文件中描述和图示的内容进行其它实施、增强和变化。
Claims (45)
1.一种用于视频处理的方法,包括:
基于至少一组可用的运动信息生成成对平均Merge候选;
将所述成对平均Merge候选插入到当前视频块的Merge候选列表中;以及
使用所述Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
2.根据权利要求1所述的方法,其中,所述至少一组可用的运动信息是从邻近块或基于历史的运动矢量预测(HMVP)表中的条目获取的。
3.根据权利要求2所述的方法,其中所述邻近块包括空域邻近块和时域邻近块之一。
4.根据权利要求1至3中任一项所述的方法,其中所述至少一组可用的运动信息包括以下至少一项:帧间预测方向、参考图片列表X的参考索引、运动矢量MV和具有CU级别的权重的双向预测(BCW)索引,其中X=0,1。
5.根据权利要求4所述的方法,其中,将帧间预测方向、参考图片列表X的参考索引和具有CU级别的权重的双向预测BCW索引中的至少一个复制到成对平均Merge候选,以生成成对平均Merge候选的相应参数。
6.根据权利要求5所述的方法,其中,如果成对平均Merge候选的BCW被禁用,则成对平均Merge候选的BCW索引被设置为默认值。
7.根据权利要求6所述的方法,其中所述默认值等于零。
8.根据权利要求3所述的方法,其中,所述至少一组可用的运动信息的MV包括第一分量和第二分量,并且将第一函数f1和第二函数f2分别应用于MV的所述第一分量和所述第二分量,以生成成对平均Merge候选的MV。
9.根据权利要求8所述的方法,其中,所述第一函数f1=m+offset,offset是整数,m表示相应分量。
10.根据权利要求8所述的方法,其中,所述第一函数f1=m+(offset<<Precise),offset是整数,Precise定义MV精度,m表示相应分量。
11.根据权利要求9或10所述的方法,其中offset=3。
12.根据权利要求10所述的方法,其中Precise=4。
13.根据权利要求8所述的方法,其中,所述第一函数f1=Shift(m,k),并且Shift(m,k)=(m+offset0)>>k,k是整数,m表示相应分量。
15.根据权利要求13或14所述的方法,其中
offset0=0;
offset0=(1<<n)>>1;或者
offset0=1<<(n-1))。
16.根据权利要求14所述的方法,其中
offset1=0;
offset1=(1<<n)>>1;或者
offset1=1<<(n-1))。
17.根据权利要求8所述的方法,其中所述第一函数f1=m<<k,k是整数,m表示相应分量。
18.权利要求13至17中任一项的方法,其中k=1。
19.权利要求9至18中任一项的方法,其中第二函数f2与第一函数f1相同。
20.根据权利要求8至19中任一项所述的方法,其中,所述至少一组可用的运动信息的MV引用参考图片列表X,其中,X=0或1。
21.根据权利要求1至20中任一项所述的方法,还包括:
从所述至少一组可用的运动信息构造一组运动信息,以及
从所述至少一组可用的运动信息和所构造的该组运动信息生成成对平均Merge候选。
22.根据权利要求21所述的方法,其中,所构造的该组运动信息的帧间预测方向被设置为等于所述至少一组可用的运动信息的帧间预测方向。
23.根据权利要求21或22所述的方法,其中所构造的该组运动信息的参考图片列表X的参考索引被设置为等于所述至少一组可用的运动信息的参考图片列表X的参考索引,其中X=0或1。
24.根据权利要求23所述的方法,其中,所构造的该组运动信息的参考图片列表X的运动矢量被设置为零。
25.根据权利要求1至24中任一项所述的方法,其中,在插入所述成对平均Merge候选之前,所述Merge候选列表仅包括一个可用Merge候选。
26.根据权利要求1至25中任一项所述的方法,其中,所述至少一组可用的运动信息选自彼此相同或相似的第一组运动信息和第二组运动信息之一。
27.根据权利要求26所述的方法,其中,所述第一组运动信息和第二组运动信息中未被选择为所述至少一组可用的运动信息的那一组运动信息被视为不可用。
28.权利要求1至27中任一项的方法,其中所述成对平均Merge候选在被插入到Merge候选列表之前被修改。
29.根据权利要求28所述的方法,其中,所述Merge候选列表是帧内块复制(IBC)Merge候选列表,并且通过将所述成对平均Merge候选的MV取整到整数精度来修改所述成对平均Merge候选。
30.根据权利要求29所述的方法,其中所述成对平均Merge候选的MV按照以下之一进行取整:
MV_pari’=Shift(MV_pair,P)<<P;
MV_pari’=SatShift(MV_pair,P)<<P;或者
MV_pari’=MV_pair&(-1<<P),
其中,MV_pair表示成对平均Merge候选的MV,P表示存储精度,MV_pair’表示IBC Merge候选列表中的取整后的成对平均Merge候选。
31.一种视频处理方法,包括:
基于至少一组运动信息确定是否可以推导出成对平均Merge候选;
响应于确定不能推导出成对平均Merge候选,将至少一个默认Merge候选插入到当前视频块的Merge候选列表中;以及
使用所述Merge候选列表执行当前视频块和当前视频块的比特流表示之间的转换。
32.根据权利要求31所述的方法,其中,如果至少一组运动信息指示用于推导成对平均Merge候选的所有块都是帧内编解码的,则不能推导出成对平均Merge候选。
33.根据权利要求31所述的方法,其中,如果在插入成对平均候选之前,在Merge候选列表中只有一组运动信息可用,则不能推导出成对平均Merge候选。
34.根据权利要求31至33中任一项所述的方法,其中所述至少一个默认Merge候选被插入到所述Merge候选列表中的具有零MV的候选之前或者具有零MV的候选之后。
35.根据权利要求31至34中任一项所述的方法,其中所述至少一个默认Merge候选是预定的。
36.根据权利要求35所述的方法,其中,所述至少一个默认Merge候选是以下之一:
(S,0);
(0,S);
(S,S);
(S,-S),其中S是非零整数。
37.根据权利要求36所述的方法,其中
S=N;
S=-N;
S=2N;
S=-2N;
S=(2N-1);
S=–(2N-1);
S=2N;
S=-2N,其中N是自然数。
38.根据权利要求31至37中任一项所述的方法,其中,从编码侧向解码侧信令通知所述至少一个默认Merge候选。
39.根据权利要求31至38中任一项所述的方法,其中,所述至少一个默认Merge候选的MV参考特定Merge候选列表的整数位置。
40.根据权利要求39所述的方法,其中所述特定Merge候选列表包括帧内块复制(IBC)Merge候选列表。
41.根据权利要求31至40中任一项所述的方法,其中,如果不能从一个或多个预定的块推导成对平均Merge候选,则可以从HMVP表的条目推导成对平均Merge候选。
42.根据权利要求1至41中任一项所述的方法,其中所述Merge候选列表属于以下之一:
常规Merge候选列表;
三角形Merge候选列表;
帧内块复制(IBC)Merge候选列表;
基于子块的Merge候选列表;和
仿射Merge候选列表。
43.根据权利要求1至42中任一项所述的方法,其中所述转换包括将当前视频块编码到视频的比特流表示,和从视频的比特流表示中解码当前视频块。
44.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由处理器运行时,使处理器实施权利要求1至43中任一项所述的方法。
45.一种非暂时性计算机可读介质,其上存储有程序代码,所述程序代码在被运行时使处理器实施权利要求1至43中任一项所述的方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019077637 | 2019-03-11 | ||
CNPCT/CN2019/077637 | 2019-03-11 | ||
CNPCT/CN2019/078147 | 2019-03-14 | ||
CN2019078147 | 2019-03-14 | ||
CNPCT/CN2019/078505 | 2019-03-18 | ||
CN2019078505 | 2019-03-18 | ||
PCT/CN2020/078793 WO2020182147A1 (en) | 2019-03-11 | 2020-03-11 | Improvement on motion candidate list construction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113557735A true CN113557735A (zh) | 2021-10-26 |
CN113557735B CN113557735B (zh) | 2024-05-10 |
Family
ID=72426129
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080020067.5A Active CN113557735B (zh) | 2019-03-11 | 2020-03-11 | 运动候选列表构造的改进 |
CN202080020109.5A Active CN113574890B (zh) | 2019-03-11 | 2020-03-11 | 基于指定的候选的成对运动候选列的构造 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080020109.5A Active CN113574890B (zh) | 2019-03-11 | 2020-03-11 | 基于指定的候选的成对运动候选列的构造 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN113557735B (zh) |
WO (2) | WO2020182148A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2611323A (en) * | 2021-09-29 | 2023-04-05 | Canon Kk | Video coding and decoding |
WO2023132615A1 (ko) * | 2022-01-04 | 2023-07-13 | 현대자동차주식회사 | 쌍 머지 후보들을 생성하여 머지 후보 리스트를 구성하는 비디오 부호화/복호화 방법 및 장치 |
WO2023246634A1 (en) * | 2022-06-22 | 2023-12-28 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013098745A (ja) * | 2011-10-31 | 2013-05-20 | Fujitsu Ltd | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
US20140269916A1 (en) * | 2011-11-28 | 2014-09-18 | Sk Telecom Co., Ltd. | Method and apparatus for video encoding/decoding using improved merge |
US20150085935A1 (en) * | 2013-09-26 | 2015-03-26 | Qualcomm Incorporated | Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc |
US20150085930A1 (en) * | 2013-09-20 | 2015-03-26 | Qualcomm Incorporated | Combined bi-predictive merging candidates for 3d video coding |
US20160065989A1 (en) * | 2013-04-05 | 2016-03-03 | Samsung Electronics Co., Ltd. | Interlayer video encoding method and apparatus for using view synthesis prediction, and video decoding method and apparatus for using same |
CN107005708A (zh) * | 2014-09-26 | 2017-08-01 | Vid拓展公司 | 使用时间块向量预测的块内复制译码 |
CN107211156A (zh) * | 2015-01-26 | 2017-09-26 | 高通股份有限公司 | 以子预测单元为基础的先进时间运动向量预测 |
US20170310990A1 (en) * | 2014-11-18 | 2017-10-26 | Mediatek Inc. | Method of Bi-prediction Video Coding Based on Motion Vectors from Uni-Prediction and Merge Candidate |
CN108353184A (zh) * | 2015-11-05 | 2018-07-31 | 联发科技股份有限公司 | 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置 |
CN108965888A (zh) * | 2014-03-19 | 2018-12-07 | 株式会社Kt | 针对多视图视频信号生成合并候选列表的方法及解码装置 |
CN109076236A (zh) * | 2016-05-13 | 2018-12-21 | 高通股份有限公司 | 用于视频译码的运动矢量预测的合并候选项 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016228181B2 (en) * | 2011-09-23 | 2018-08-09 | Kt Corporation | Method for inducing a merge candidate block and device using same |
US10523934B2 (en) * | 2017-05-31 | 2019-12-31 | Mediatek Inc. | Split based motion vector operation reduction |
US10602180B2 (en) * | 2017-06-13 | 2020-03-24 | Qualcomm Incorporated | Motion vector prediction |
CN116866592A (zh) * | 2017-10-20 | 2023-10-10 | 株式会社Kt | 视频信号处理方法以及存储介质 |
-
2020
- 2020-03-11 CN CN202080020067.5A patent/CN113557735B/zh active Active
- 2020-03-11 CN CN202080020109.5A patent/CN113574890B/zh active Active
- 2020-03-11 WO PCT/CN2020/078794 patent/WO2020182148A1/en active Application Filing
- 2020-03-11 WO PCT/CN2020/078793 patent/WO2020182147A1/en active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013098745A (ja) * | 2011-10-31 | 2013-05-20 | Fujitsu Ltd | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
US20140269916A1 (en) * | 2011-11-28 | 2014-09-18 | Sk Telecom Co., Ltd. | Method and apparatus for video encoding/decoding using improved merge |
US20160065989A1 (en) * | 2013-04-05 | 2016-03-03 | Samsung Electronics Co., Ltd. | Interlayer video encoding method and apparatus for using view synthesis prediction, and video decoding method and apparatus for using same |
US20150085930A1 (en) * | 2013-09-20 | 2015-03-26 | Qualcomm Incorporated | Combined bi-predictive merging candidates for 3d video coding |
US20150085935A1 (en) * | 2013-09-26 | 2015-03-26 | Qualcomm Incorporated | Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc |
CN108965888A (zh) * | 2014-03-19 | 2018-12-07 | 株式会社Kt | 针对多视图视频信号生成合并候选列表的方法及解码装置 |
CN108989815A (zh) * | 2014-03-19 | 2018-12-11 | 株式会社Kt | 针对多视图视频信号生成合并候选列表的方法及解码装置 |
CN107005708A (zh) * | 2014-09-26 | 2017-08-01 | Vid拓展公司 | 使用时间块向量预测的块内复制译码 |
US20170310990A1 (en) * | 2014-11-18 | 2017-10-26 | Mediatek Inc. | Method of Bi-prediction Video Coding Based on Motion Vectors from Uni-Prediction and Merge Candidate |
CN107211156A (zh) * | 2015-01-26 | 2017-09-26 | 高通股份有限公司 | 以子预测单元为基础的先进时间运动向量预测 |
CN108353184A (zh) * | 2015-11-05 | 2018-07-31 | 联发科技股份有限公司 | 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置 |
CN109076236A (zh) * | 2016-05-13 | 2018-12-21 | 高通股份有限公司 | 用于视频译码的运动矢量预测的合并候选项 |
Non-Patent Citations (1)
Title |
---|
SRIRAM SETHURAMAN: "CE9: Results of DMVR related Tests CE9.2.1 and CE9.2.2", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》, 18 January 2019 (2019-01-18) * |
Also Published As
Publication number | Publication date |
---|---|
WO2020182148A1 (en) | 2020-09-17 |
CN113574890A (zh) | 2021-10-29 |
CN113574890B (zh) | 2024-04-12 |
CN113557735B (zh) | 2024-05-10 |
WO2020182147A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11082693B2 (en) | Coefficient dependent coding of transform matrix selection | |
US11616973B2 (en) | Coding of block vectors for intra block copy-coded blocks | |
CN110944191A (zh) | 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知 | |
CN113767637A (zh) | 对称运动矢量差编解码 | |
TWI719522B (zh) | 用於視頻編碼的對稱性雙向預測模式 | |
CN113302917B (zh) | 局部照明补偿的改进方法 | |
CN114424536A (zh) | 基于变换单元的组合帧间帧内预测 | |
CN113647108A (zh) | 基于历史的运动矢量预测 | |
CN113557735B (zh) | 运动候选列表构造的改进 | |
US20220303571A1 (en) | Merge with motion vector differencing in affine mode | |
US20230051108A1 (en) | Motion vector difference for block with geometric partition | |
CN113767638A (zh) | 对称运动矢量差编解码 | |
JP2023166518A (ja) | 隣接ブロック情報を用いる動き候補リスト構築 | |
US11863771B2 (en) | Updating of history based motion vector prediction tables | |
WO2021036982A1 (en) | Coded representation of history-based motion vector prediction tables |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |