CN113767638A - 对称运动矢量差编解码 - Google Patents

对称运动矢量差编解码 Download PDF

Info

Publication number
CN113767638A
CN113767638A CN202080031971.6A CN202080031971A CN113767638A CN 113767638 A CN113767638 A CN 113767638A CN 202080031971 A CN202080031971 A CN 202080031971A CN 113767638 A CN113767638 A CN 113767638A
Authority
CN
China
Prior art keywords
list
picture
mvd
poc
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080031971.6A
Other languages
English (en)
Inventor
刘鸿彬
张莉
张凯
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113767638A publication Critical patent/CN113767638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

描述了对称运动矢量差编解码。一种示例性视频处理方法包括:针对视频的当前图片的块与第一块的比特流表示之间的转换,基于该块的编解码信息确定对称运动矢量差(SMVD)模式对于该块是否是允许的;以及基于该确定执行该转换。

Description

对称运动矢量差编解码
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定,本申请及时要求于2019年4月28日提交的国际专利申请号PCT/CN2019/084768以及于2019年5月16日提交的国际专利申请号PCT/CN2019/087201的优先权和利益。将国际专利申请号PCT/CN2019/084768和PCT/CN2019/087201的全部公开以引用方式并入本文,作为本申请公开的一部分。
技术领域
本申请文件涉及视频编解码技术、设备和系统。
背景技术
尽管视频压缩取得了进步,但是数字视频仍在互联网和其他数字通信网络上占据最大带宽使用量。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将持续增长。
发明内容
本文件描述了各种实施例和技术,其中,使用运动矢量差编解码执行视频编码或解码,所述运动矢量差编码采用对称编码或解码技术。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换。对于参考列表0或参考列表1之一,该比特流表示指示禁用运动矢量差(MVD)模式。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片的图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换。该比特流表示包括参考列表1的运动矢量差(MVD)信息。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换。SMVD采用对每一参考图片列表进行解析以识别出目标参考图片的第一步骤生成这两个额外运动候选。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括:基于条件确定将对称运动矢量差(SMVD)模式和解码器侧运动矢量差(DMVD)编解码模式用于当前视频块和当前视频块的比特流表示之间的转换,在SMVD模式中,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及基于该确定执行该转换。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括:基于条件确定是否将对称运动矢量差(SMVD)模式的全零运动矢量差和解码器侧运动矢量差(DMVD)编解码模式用于当前视频块和当前视频块的比特流表示之间的转换,在SMVD模式中,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及基于该确定执行该转换。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括:从与当前视频块相关联的多个参考图片中选择第一参考图片和第二参考图片;以及基于所选的第一参考图片和第二参考图片执行当前视频块和当前视频块的比特流表示之间的转换,其中,第一参考图片与包括当前视频块的当前图片之间的第一距离和第二参考图片与当前图片之间的第二距离相等。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括确定第一参考图片与包括当前视频块的当前图片之间的第一距离和第二参考图片与当前图片之间的第二距离不相等,并且基于该确定并针对当前视频块和当前视频块的比特流表示之间的转换对当前视频块禁用对称运动矢量差(SMVD)模式。
在另一个示例性方面当中,公开了另一种视频处理方法。该方法包括:针对当前视频块基于第二参考图片列表的第二运动矢量差(MVD)推导第一参考图片列表的第一MVD;以及基于该推导执行当前视频块和当前视频块的比特流表示之间的转换,其中,第一MVD的范围是受限的。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:针对视频的当前图片的块与第一块的比特流表示之间的转换,基于该块的编解码信息确定对称运动矢量差(SMVD)模式对于该块是否是允许的;以及基于该确定执行该转换。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:根据前述示例的方法,针对视频块和第一块的比特流表示之间的转换确定对称运动矢量(SMV)模式对于该块是否是允许的;以及基于该确定执行该转换。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:针对视频的当前图片的块和该块的比特流表示之间的转换确定对称运动矢量差(SMVD)模式对于该块是否是允许的,其中,是否允许SMVD模式取决于当前图片的两个目标参考图片的推导过程,该过程包括用于在参考图片列表0中搜索前向目标参考图片并且在参考图片列表1中搜索后向目标参考图片的第一步骤以及用于在参考图片列表0中搜索后向目标参考图片并且在参考图片列表1中搜索前向目标参考图片的第二步骤,第一步骤和第二步骤的输出相互独立;以及基于该确定执行该转换。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:针对视频的当前图片的块和该块的比特流表示之间的转换,由与另一参考图片列表相关联的第一MVD推导一个参考图片列表的第二运动矢量差(MVD),其中,MVD既包括水平分量,又包括垂直分量;对第一MVD和第二MVD中的至少一者施加范围限制;以及基于受限的第一MVD和受限的第二MVD中的至少一者执行该转换。
在有一个示例性方面当中,公开了一种视频处理装置。该装置包括被配置为执行上文公开的方法的处理器。该装置可以进一步执行视频编码或视频解码。
在有一个示例性方面当中,公开了一种计算机可读介质。该介质具有存储于其上的用于上述方法的处理器实施的代码。
在本文件中描述了这些和其他方面。
附图说明
图1示出了用于merge候选列表构建的示例性推导过程。
图2示出了空域merge候选的位置的示例。
图3示出了针对空域merge候选的冗余检查所考虑的候选对的示例。
图4A-4B示出了N×2N分割和2N×N分割的第二PU的示例性位置。
图5是针对时域merge候选的运动矢量缩放的例示。
图6示出了时域merge候选的候选位置的示例C0和C1。
图7示出了组合双向预测merge候选的示例。
图8总结了运动矢量预测候选的推导过程。
图9示出了针对空域运动矢量候选的运动矢量缩放的例示。
图10示出了基于双边模板匹配的解码器侧运动矢量细化(DMVR)的示例。
图11示出了DMVR中在列表0和列表1之间成镜像的MVD(0,1)的示例。
图12示出了可以在一次迭代中检查的运动矢量(MV)的示例。
图13是对称模式的示例性说明。
图14是用于实施本文件中描述的方法的硬件平台的示例的框图。
图15是视频处理的示例性方法的流程图。
图16是视频处理的示例性方法的流程图。
图17是视频处理的示例性方法的流程图。
图18是视频处理的示例性方法的流程图。
图19是视频处理的示例性方法的流程图。
具体实施方式
本文中使用了章节标题,其目的在于促进理解的简便性,而非使在一个章节中公开的实施例仅局限于该章节。此外,尽管某些实施例是参考多功能视频编解码或其他具体视频编解码器描述的,但是所公开的技术还适用于其他视频编解码。此外,尽管一些实施例详细描述了视频编码步骤,但是应当理解,将通过解码器实施解开编码的对应解码步骤。此外,视频处理一词涵盖视频编码或压缩、视频解码或解压以及视频转码,在视频转码中视频由一种压缩格式表示变为以另一种压缩格式表示或者具有不同的压缩比特率。
1、概述
本专利文件涉及视频编解码技术。具体地,本专利文件涉及对称运动矢量差编解码。其可以应用于现有的视频编解码标准,如HEVC,或待定案的标准(多功能视频编解码)。其还可能适用于未来的视频编解码标准或视频编解码器。
2、初步论述
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263,ISO/IEC开发了MPEG-1和MPEG-4视觉,并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起,JVET采用了许多新的方法,并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月,在VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创建了联合视频专家团队(JVET),其致力于研究以相较于HEVC有50%的比特率下降为目标的VVC标准。
2.1HEVC/H.265中的帧间预测
每一帧间预测PU具有针对一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。还可以使用inter_pred_idc对两个参考图片列表之一的使用进行信令通知。运动矢量可以被显式编解码成相对于预测子(predictor)的Δ。
在采用skip模式对CU编解码时,一个PU与该CU相关联,并且没有显著的残差系数,没有编解码运动矢量Δ或参考图片索引。merge模式被规定为使得当前PU的运动参数是从包括空域候选和时域候选的相邻PU获得的。merge模式可以被应用于任何帧间预测PU,而不仅针对skip模式的那些。merge模式的一种替代方案是运动参数的显式传输,其中,根据每一PU对运动矢量(更确切而言,相较于运动矢量预测子的运动矢量差(MVD))、每一参考图片列表的对应参考图片索引和参考图片列表使用进行显式信令通知。在本公开中将这样的模式称为高级运动矢量预测(AMVP)。
在信令表明将采用这两个参考图片列表之一时,PU由一个样点块生成。这种做法被称为“单向预测”。对于P条带和B条带两者而言,单向预测都是可用的。
在信令表明这两个参考图片列表都要使用时,PU由两个样点块生成。这种做法被称为“双向预测”。双向预测只对B条带可用。
下文将提供有关在HEVC中规定的这些帧间预测模式的细节。描述将开始于merge模式。
2.1.1参考图片列表
在HEVC中,帧间预测一词用于表示从参考图片(而非当前解码图片)的数据元(例如,样点值或运动矢量)推导的预测。与H.264/AVC中类似,一个图片可以是由多个参考图片预测的。用于帧间预测的参考图片被组织到一个或多个参考图片列表当中。参考索引识别出应当将列表中的哪个参考图片用于创建预测信号。
单个参考图片列表,即List 0被用于P条带,两个参考图片列表,即List 0和List1被用于B条带。应当指出,包含在List 0/1中的参考图片可以参照俘获/显示顺序来自于过去图片和未来图片。
2.1.2Merge模式
2.1.2.1merge模式的候选的推导
在使用merge模式预测PU时,从比特流中解析出指向merge候选列表中的条目的索引,并采用其检索运动信息。在HEVC标准中规定了对这一列表的构建,可以根据下述步骤序列对其做出总结:
·步骤1:初始候选推导
ο步骤1.1:空域候选推导
ο步骤1.2:对空域候选的冗余检查
ο步骤1.3:时域候选推导
·步骤2:额外候选插入
ο步骤2.1:双向预测候选的创建
ο步骤2.2:零运动候选的插入
还在图1中对这些步骤给出了示意性图示。对于空域merge候选推导而言,从位于五个不同位置上的候选当中选出最多四个merge候选。对于时域merge候选推导而言,从两个候选当中选出最多一个merge候选。由于在解码器处对于每一PU采取恒定数量的候选,因而在从步骤1获得的候选的数量未达到在条带标头中信令通知的merge候选最大数量(MaxNumMergeCand)时,生成额外的候选。由于候选的数量是恒定的,因而采用截断一元二值化(TU)对最佳merge候选的索引编码。如果CU的尺寸等于8,那么当前CU的所有PU都共享单个merge候选列表,其等同于2N×2N预测单元的merge候选列表。
在下文中,将详述与前述步骤相关联的操作。
图1示出了用于merge候选列表构建的示例性推导过程。
2.1.2.2空域候选推导
在空域merge候选的推导当中,在位于图2所示的位置上的候选当中选择最多四个merge候选。推导的顺序为A1、B1、B0、A0和B2。只有在位置A1、B1、B0、A0的任何PU不可用(例如,因为其属于另一条带或片)或者受到帧内编解码时才考虑位置B2。在位置A1处的候选被添加之后,其余候选的添加要受到冗余检查,其确保从列表中排除具有相同运动信息的候选,从而提高编解码效率。为了降低计算复杂性,在所提及的冗余检查当中并未考虑所有可能的候选对。相反,仅考虑用图3的箭头联系起来的对,并且只有在用于冗余检查的对应候选不具有相同的运动信息时才将该候选添加至列表。重复运动信息的另一来源是与不同于2N×2N的分割相关联的“第二PU”。作为示例,图4A-4B分别示出了N×2N和2N×N情况的第二PU。在当前PU被分割成N×2N时,不考虑将处于位置A1处的候选用于列表构建。实际上,添加这一候选将引起两个预测单元具有相同的运动信息,其对于令编解码单元内只有一个PU而言是冗余的。类似地,在当前PU被分割成2N×N时,不考虑位置B1。
2.1.2.3时域候选推导
在这一步骤中,只有一个候选被添加至列表。尤其是,在这一时域merge候选的推导当中,在属于处在既定参考图片列表内的与当前图片之间具有最小POC差的图片的并置PU的基础上推导出缩放运动矢量。在条带标头内对将用于并置PU的推导的参考图片列表进行显式信令通知。用于时域merge候选的缩放运动矢量是如图5中的虚线所示获得的,其利用POC距离(即tb和td)由并置PU的运动矢量缩放而成,其中,tb被定义为当前图片的参考图片与当前图片之间的POC差,并且td被定义为并置图片的参考图片与并置图片之间的POC差。时域merge候选的参考图片索引被设为等于零。在HEVC规约中描述了缩放过程的实际实现。对于B条带而言,获得两个运动矢量(一个针对参考图片列表0,另一个针对参考图片列表1),并且将其结合产生双向预测merge候选。
在属于参考帧的并置PU(Y)中,在候选C0和C1之间选择时域候选的位置,如图6所示。如果位置C0处的PU不可用,是帧内编解码的,或者处于当前编解码树单元(CTU,又名LCU,最大编解码单元)行之外,则采用位置C1。否则,将位置C0用到时域merge候选的推导当中。
2.1.2.4额外候选插入
除了空域和时域merge候选之外,还有两种额外类型的merge候选:组合双向预测merge候选和零merge候选。组合双向预测merge候选是通过使用空域merge候选和时域merge候选生成的。组合双向预测merge候选仅用于B条带。组合双向预测候选是通过使初始候选的第一参考图片列表运动参数与另一个的第二参考图片列表运动参数相结合而生成的。如果这两个元组提供不同的运动假设,那么它们将形成新的双向预测候选。作为示例,图7示出了采用处于原始列表(左侧)内的两个候选(它们具有mvL0和refIdxL0或者mvL1和refIdxL1)来创建被添加至最终列表(右侧)的组合双向预测merge候选时的情况。关于所考虑的用以生成这些额外merge候选的组合存在很多规则。
零运动候选被插入以填充merge候选列表中的剩余条目,并因此命中MaxNumMergeCand容量。这些候选具有零空域位移和开始于零并且在每次向列表添加新的零运动候选时增大的参考图片索引。最后,不对这些候选执行冗余检查。
2.1.3 AMVP
AMVP利用运动矢量与相邻PU的空时相关性,该空时相关性用于运动参数的显式传输。对于每一参考图片列表而言,运动矢量候选列表的构建方式是:首先检左侧、上侧时域相邻PU位置的可用性,去除冗余候选,并且添加零矢量,从而使候选列表具有恒定长度。之后,编码器可以从候选列表选择最佳预测子,并且传输指示所选候选的对应索引。与merge索引信令通知类似,采用截断一元码对最佳运动矢量候选的索引编码。在这一情况下要编码的最大值为2(参考图8)。在下文的章节中,将提供有关运动矢量预测候选的推导过程的细节。
2.1.3.1 AMVP候选的推导
图8总结了运动矢量预测候选的推导过程。
在运动矢量预测中,考虑两种类型的运动矢量候选:空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导而言,最终在位于如图2所示的五个不同位置上的每一PU的运动矢量的基础上推导出两个运动矢量候选。
对于时域运动矢量候选推导而言,从基于两个不同并置位置推导出的两个候选中选出一个运动矢量候选。在制作空时候选的第一列表之后,去除该列表中的重复运动矢量候选。如果可能候选的数量大于二,那么从列表中去除这样的运动矢量候选:其在相关联的参考图片列表内的参考图片索引大于1。如果空时运动矢量候选的数量小于二,那么向列表添加额外的零运动矢量候选。
2.1.3.2空域运动矢量候选
在空域运动矢量候选的推导当中,在五个可能的候选当中考虑最多两个候选,这五个可能候选是从位于如图2所示的位置上的PU推导出,这些位置与运动merge的那些位置相同。针对当前PU的左侧的推导顺序被定义为A0、A1以及缩放A0、缩放A1。针对当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放B0、缩放B1、缩放B2。对于每一侧,都因此存在可以被用作运动矢量候选的四种情况,其中两种情况不要求使用空域缩放,并且两种情况使用空域缩放。这四种不同情况的总结如下:
·无空域缩放
–(1)相同参考图片列表和相同参考图片索引(相同POC)
–(2)不同参考图片列表,相同参考图片(相同POC)
·空域缩放
–(3)相同参考图片列表,不同参考图片索引(不同POC)
–(4)不同参考图片列表和不同参考图片(不同POC)
首先检查无空域缩放情况,随后继之以空域缩放。当POC在相邻PU的参考图片和当前PU的参考图片之间存在不同时,不管参考图片列表如何,都考虑空域缩放。如果左侧候选的所有PU都不可用或者是帧内编解码的,那么允许针对上侧运动矢量的缩放,从而有助于左侧MV候选和上侧MV候选的并行推导。否则,不允许针对上侧运动矢量的空域缩放。
在空域缩放过程中,按照与时域缩放的类似的方式对相邻PU的运动矢量进行缩放,如图9所示。主要差异在于当前PU的参考图片列表和索引是作为输入给出的;实际缩放过程与时域缩放的相同。
2.1.3.3时域运动矢量候选
撇除参考图片索引推导之外,时域merge候选的推导的所有过程均与空域运动矢量候选的推导(参见图6)相同。将参考图片索引信令通知给解码器。
2.2 VVC中的帧间预测方法
有几种新的改进帧间预测的编解码工具,诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、仿射预测模式、三角预测模式(TPM)、高级TMVP(ATMVP,又称SbTMVP)、一般化双向预测(GBI)、双向光流(BIO)。
2.2.1 VVC中的编解码块结构
在VVC中,采取四叉树/二叉树/多叉树(QT/BT/TT)结构将图片划分成方形或矩形块。
除了QT/BT/TT之外,在VVC中还对I帧采取分离(separate)树(又称双重编解码树)。借助于分离树,为亮度分量和色度分量单独地信令通知编解码块结构。
2.2.2解码器侧运动矢量细化(DMVR)
在双向预测操作中,对于一个块的区域的预测而言,结合分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块,以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中,进一步细化双向预测的两个运动矢量。
2.2.2.1 JEM中的DMVR
在JEM设计中,通过双边模板匹配处理细化运动矢量。在解码器中应用双边模板匹配来执行双边模板和参考图片中的重构样点之间的基于失真的搜索,从而在无需传输额外的运动信息的情况下获得细化的MV。在图10中示出了一个示例。双边模板被生成为两个预测块的加权组合(即,平均值),这两个预测块分别源自于列表0的初始MV0和列表1的MV1,如图10所示。模板匹配操作由计算所生成的模板和参考图片的样点区(围绕初始预测块)之间的成本度量构成。对于两个参考图片的每者而言,得到最低模板成本的MV被视为该列表的更新MV,以替代原始的那个。在JEM中,对每一列表搜索九个MV候选。这九个MV候选包括原始MV和8个在水平方向内或垂直方向内或两者内相对于原始MV具有一个亮度样点的偏移量的周围MV。最后,两个新MV,即如图10所示的MV0’和MV1’被用于生成最终双向预测结果。绝对差之和(SAD)被用作成本度量。请注意,在计算由一个周围MV生成的预测块的成本时,取整MV(到整像素程度)而非实际MV被实际用来获得预测块。
2.2.2.2 VVC中的DMVR
对于VVC中的DMVR,采取列表0和列表1之间的MVD镜像,如图11所示,并且执行双边匹配来细化MV,即在几个MVD候选当中找到最佳MVD。通过MVL0(L0X,L0Y)和MVL1(L1X,L1Y)来表示两个参考图片列表的MV。列表0的可以使成本函数(例如,SAD)最小化的由(MvdX,MvdY)表示的MVD被定义为最佳MVD。对于SAD函数而言,其被定义为列表0的参考块和列表1的参考块之间的SAD,列表0的参考块是采用列表0参考图片中的运动矢量(L0X+MvdX,L0Y+MvdY)推导的,列表1参考块是采用列表1参考图片内的运动矢量(L1X-MvdX,L1Y-MvdY)推导的。
运动矢量细化过程可以迭代两次。在每次迭代中,可以按照两个步骤检查最多6个MVD(以整像素精确度),如图12所示。在第一步骤中,检查MVD(0,0)、(-1,0)、(1,0)、(0,-1)、(0,1)。在第二步骤中,可以选择检查MVD(-1,-1)、(-1,1)、(1,-1)或(1,1)之一,并对其做进一步检查。假设函数Sad(x,y)返回MVD(x,y)的SAD值。如下决定在第二步骤中检查的由(MvdX,MvdY)表示的MVD:
MvdX=-1;
MvdY=-1;
If(Sad(1,0)<Sad(-1,0))
MvdX=1;
If(Sad(0,1)<Sad(0,-1))
MvdY=1;
在第一次迭代中,起始点是信令通知MV,并且在第二次迭代中,起始点是信令通知MV加第一次迭代中的选定最佳MVD。DMVR仅在一个参考图片是在先图片并且另一参考图片是随后图片并且这两个参考图片具有到当前图片相同的图片顺序计数距离时适用。
为了进一步简化DMVR的过程,提出了对JEM中的设计的几项变化。更具体地,被VTM-4.0(将很快发布)采纳的DMVR设计具有下述主要特征:
·在列表0和列表1之间的(0,0)位置SAD小于阈值时提早终止。
·当对于某一位置而言列表0和列表1之间的SAD为零时提早终止。
·DMVR的块尺寸:W*H>=64&&H>=8,其中,W和H是块的宽度和高度。
·对于CU尺寸>16*16的DMVR而言,将CU划分成多个16x16子块。当只有CU的宽度或高度大于16时,仅在垂直方向或水平方向内对其进行划分。
·参考块尺寸(W+7)*(H+7)(对于亮度而言)。
·基于25点SAD的整像素搜索(即,(+-)2细化搜索范围,单阶段)。
·基于双线性插值的DMVR。
·基于“参数误差表面方程”的亚像素细化仅当在最后一次MV细化迭代中最低SAD成本不等于零并且最佳MVD为(0,0)时执行这一过程。
·亮度/色度MC w/参考块填充(如果需要的话)。
·仅用于MC和TMVP的经细化MV。
2.2.2.2.1 DMVR的使用
在下述条件均为真时,可以启用DMVR:
–SPS中的DMVR启用标志(即,sps_dmvr_enabled_flag)等于1
–TPM标志、帧间仿射标志和子块merge标志(要么ATMVPmerge,要么仿射merge)标志全都等于0
–merge标志等于1
–对当前块进行双向预测,并且当前图片与列表1中的参考图片之间的POC距离等于列表0中的参考图片与当前图片之间的POC距离
–当前CU高度大于或等于8
–亮度样点的数量(CU宽度*高度)大于或等于64
2.2.2.2.2基于“参数误差表面方程”的亚像素细化
下面将总结该方法:
1.仅当中心位置是既定迭代中的最佳位置时才计算所拟合的参数误差表面。
2.中心位置成本和相距中心处于(-1,0)、(0,-1)、(1,0)和(0,1)位置上的成本用于拟合下述形式的2-D抛物线误差表面方程
E(x,y)=A(x-x0)2+B(y-y0)2+C
其中,(x0,y0)对应于具有最低成本的位置,C对应于最低成本值。通过解处于5个未知数当中的5个方程,(x0,y0)被计算为:
x0=(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0)))
y0=(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0)))
可以通过调整执行除法所依据的精确度(即,计算商的多少个比特)而根据所需的亚像素精确度计算(x0,y0)。对于1/16像素精度而言,只需计算商的绝对值中的4个比特,这使其适用于每CU所需的2次除法的基于快速移位减法的实施方式。
3.所计算的(x0,y0)被加到整像素距离细化MV上,从而得到亚像素精确细化ΔMV。
2.2.3对称运动矢量差
对双向预测中的运动信息编解码应用对称运动矢量差(SMVD)。
首先,在条带级上,采用下述步骤推导出分别指示SMVD模式中使用的列表0/1的参考图片索引的变量RefIdxSymL0和RefIdxSymL1。在这两个变量中的至少一者等于-1时,应当禁用SMVD模式。
8.3.5针对对称运动矢量差参考索引的解码过程
这一过程的输出是指定对称运动矢量差的列表0和列表1参考图片索引的RefIdxSymL0和RefIdxSymL0,即,此时对于编解码单元而言sym_mvd_flag等于1。
变量RefIdxSymLX(其中,X为0和1)的推导如下:
步骤#1:针对每一参考图片列表的第一环
–变量currPic指定当前图片。
–RefIdxSymL0被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[0]),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])<DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–RefIdxSymL1被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])>DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
步骤#2:针对每一参考图片列表的第二环
–当RefIdxSymL1等于-1或者RefIdxSymL1等于-1时,下述内容适用:
–对于每一索引i(其中,i=0..NumRefIdxActive[0]),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])>DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])>0,
DiffPicOrderCnt(currPic,RefPicList[1][i])<DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
其次,在CU级上,如果该CU的预测方向是双向预测并且BiDirPredFlag等于1,那么显式信令通知表明是否采用对称模式的对称模式标志。
在该标志为真时,仅对mvp_l0_flag、mvp_l1_flag和MVD0进行显式信令通知。对于列表0和列表1,参考索引被分别设为等于RefIdxSymL0、RefIdxSymL1。MVD1刚好被设为等于-MVD0。在下文的公式中示出了最终运动矢量。
Figure BDA0003324968730000141
图13是对称模式的示例性说明。
相关语法如下:
Figure BDA0003324968730000151
Figure BDA0003324968730000161
Figure BDA0003324968730000171
Figure BDA0003324968730000181
2.2.4 MVD语义
7.4.8.8运动矢量差语义
abs_mvd_greater0_flag[compIdx]指定运动矢量分量差的绝对值是否大于0。
abs_mvd_greater1_flag[compIdx]指定运动矢量分量差的绝对值是否大于1。
当abs_mvd_greater1_flag[compIdx]不存在时,那么推断其等于0。
abs_mvd_minus2[compIdx]加2指定运动矢量分量差的绝对值。
当abs_mvd_minus2[compIdx]不存在时,那么推断其等于-1。
mvd_sign_flag[compIdx]如下指定运动矢量分量差的符号:
–如果mvd_sign_flag[compIdx]等于0,那么对应的运动矢量分量差具有正值。
–否则(mvd_sign_flag[compIdx]等于1),对应的运动矢量分量差具有负值。
当mvd_sign_flag[compIdx]不存在时,那么推断其等于0。
对于compIdx=0..1而言,运动矢量差lMvd[compIdx]的推导如下:
lMvd[compIdx]=abs_mvd_greater0_flag[compIdx]*(abs_mvd_minus2[compIdx]+2)*(1-2*mvd_sign_flag[compIdx])(7 126)
lMvd[compIdx]的值应当处于-215到215-1的范围内,包括-215和215-1。
依据MotionModelIdc[x0][y0]的值,运动矢量差的推导如下:
–如果MotionModelIdc[x0][y0]等于0,那么变量MvdLX[x0][y0][compIdx](其中X为0或1)指定所要使用的列表X矢量分量与其预测之间的差。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于该图片的左上亮度样点位置(x0,y0)。向水平运动矢量分量差赋值compIdx=0,并且向垂直运动矢量分量赋值compIdx=1。
–如果refList等于0,那么对于compIdx=0..1而言,MvdL0[x0][y0][compIdx]被设为等于lMvd[compIdx]。
–否则(refList等于1),对于compIdx=0..1而言,MvdL1[x0][y0][compIdx]被设为等于lMvd[compIdx]。
–否则(MotionModelIdc[x0][y0]不等于0),变量MvdCpLX[x0][y0][cpIdx][compIdx](其中,X为0或1)指定所要使用的列表X矢量分量与其预测之间的差。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于该图片的左上亮度样点位置(x0,y0),阵列索引cpIdx指定控制点索引。向水平运动矢量分量差赋值compIdx=0,并且向垂直运动矢量分量赋值compIdx=1。
–如果refList等于0,那么对于compIdx=0..1而言,MvdCpL0[x0][y0][cpIdx][compIdx]被设为等于lMvd[compIdx]。
–否则(refList等于1),对于compIdx=0..1而言,MvdCpL1[x0][y0][cpIdx][compIdx]被设为等于lMvd[compIdx]。
3.所公开的实施例解决的问题的示例
当前SMVD可能具有下述问题:
1.当mvd_l1_zero_flag为真时不允许SMVD,这样做可能具有低效率。
2.在当前SMVD模式下,总是信令通知参考图片列表0的MVD,这样做未考虑边信息的比特率成本。
3.SMVD模式中使用的列表0和列表1的目标参考图片索引是在条带级内采用两个步骤推导的:
a.从列表0内的所有前向参考图片找到最接近的参考图片,并且从列表1内的所有后向参考图片找到最接近的参考图片;
b.如果未找到其中之一,那么朝相反方向搜索。
对于下述情况要指出的是,必须针对所有下述情况调用第二步骤(即,步骤b):
1)列表1只有前向参考图片,并且列表0只有后向参考图片;
2)列表0和列表1两者只有前向参考图片;
3)列表0和列表1两者只有后向参考图片;
4)类别X既具有前向参考图片又具有后向参考图片,但是列表Y(Y=1-X)仅具有与项目编号a中提及的那些不同的参考图片。
对于情况2)和情况3),启用SMVD是不合理的,因为在同一方向(前向或后向)内的两个参考之间没有对称运动。
4.此外,借助于该搜索方法,有可能找到并非最接近当前图片的参考图片,这可能限制SMVD的编解码性能。当前设计具有从列表0寻找前参考图片向并且从列表1寻找后向参考图片的限制,或反之。例如,如果列表0和列表1既有前向参考图片又有后向参考图片,但是列表0内的最接近参考图片是来自后向的,并且列表1中的最接近参考图片是来自前向的。就当前设计而言,将没有机会从列表0中的后向参考图片中选择出最接近的那个。
5.在列表0既具有前向参考图片又具有后向参考图片,并且列表1仅具有前向参考图片时,就当前设计而言,将金别处两个前向参考图片,这与SMVD设计的原理相矛盾。
6.可以调用针对每一参考图片列表的两个环来找到目标参考图片,这样做可能提高复杂性。
4.在SMVD模式下禁用DMVR,即使在DMVR和SMVD两者内都采取对称MVD。
5.有可能SMVD内的所有MVD均为零,这可能与正常AMVR模式的情况类似。
6.列表1的MVD是由针对列表0信令通知的MVD推导的,即,与列表0的MVD的水平分量和垂直分量两者均相反。这样的假定是两个参考图片与当前图片具有相同距离。然而,事实并非总是如此。
7.VVC将MVD的范围定义为使得MVD应当处于[-215,215-1]内。在SMVD中,列表1的MVD是由针对列表0信令通知的MVD导出的,其可以超出这些关于MVD的约束。
4.示例性实施例
下文的列举应被视为解释一般概念的示例。不应狭义地解释这些实施例。此外,这些发明可以以任何方式组合。
在本文件当中,解码器侧运动矢量推导(DMVD)包括如DMVR和FRUC的方法以及如BIO的方法,DMVR和FRUC执行运动估算,以推导或细化块/子块运动信息,BIO执行逐样点运动细化。
应用于预测块的不相等权重可以指在必须对预测块应用额外运算而非两个预测块的求平均等的编解码工具的GBI过程、LIC过程、加权预测过程或者其他编码/解码过程中使用的那些权重。
假设列表0和列表1内的参考图片分别为Ref0和Ref1,那么当前图片与Ref0之间的POC距离为PocDist0(例如,(当前图片的POC减去Ref0的POC)的绝对值),并且Ref1与当前图片之间的POC距离为PocDist1(例如,(Ref1的POC减去当前图片的POC)的绝对值)。将块的宽度和高度分别表示为W和H。假设函数abs(x)返回x的绝对值。
全零MVD表示所有MVD(既包括x分量,又包括y分量)均被信令通知为等于零的情况。
对于SMVD模式而言,分别通过RefIdxL0和RefIdxL1表示两个目标参考图片。两个变量currPocDiffL0和currPocDiffL1被定义为表示参考图片与各当前图片之间的POC距离。例如,currPocDiffL0=POC(当前图片)–POC(RefIdxL0),currPocDiffL1=POC(当前图片)–POC(RefIdxL1),Abs(x)=x>0?x:-x。
1.即使在表明列表X(X=0,1)中的MVD被强制为零时(例如,在mvd_l1_zero_flag等于1时),也可以允许SMVD。
a.在一个示例中,在列表1的MVD编解码未通过编解码被强制为零(例如,mvd_l1_zero_flag等于1)时,仍然可以对块启用SMVD模式。
i.在一个示例中,此外,参考图片列表1的MVD未被强制为零(例如,mvd_l1_zero_flag等于1),但是其可以由参考图片列表0的关联MVD推导出。
b.在一个示例中,在SMVD模式下,可以不针对列表X信令通知MVD,并且可以针对列表Y=1-X信令通知MVD,并且可以采用列表Y内的信令通知MVD推导(例如,成镜像)列表X内的MVD。
i.例如,X可以等于0。
c.替代性地,在表明列表X内的MVD被强制为零时,可以不允许SMVD。
i.在不允许SMVD时,针对SMVD的所有相关语法元素都可以不做信令通知。例如,可以隐式推导出它们。
2.建议在SMVD模式下对参考图片列表1的MVD信息编解码。在这种情况下,参考图片列表0的MVD是由参考图片列表1的MVD推导的。
a.在一个示例中,还可以在比特流中信令通知具有有待信令通知(或者有待推导)的关联MVD的参考列表。
i.在一个示例中,可以在序列/图片/条带/片/视频单元级内,例如,在SPS/PPS/条带标头内信令通知需要对关联MVD进行信令通知的参考图片列表的指示。
b.在一个示例中,可以根据参考图片列表中的参考图片推导出具有有待信令通知的(或者有待推导的)关联MVD的参考列表。
i.在一个示例中,可以根据两个目标参考图片推导出具有有待信令通知(或者有待推导)的关联MVD的参考列表。
1.替代性地,此外,如果Abs(currPocDiffL0)大于Abs(currPocDiffL1),那么可以信令通知列表0的MVD。否则,可以信令通知列表1的MVD。
2.替代性地,此外,如果Abs(currPocDiffL0)大于Abs(currPocDiffL1),那么可以信令通知列表1的MVD。否则,可以信令通知列表0的MVD。
3.替代性地,此外,如果Abs(currPocDiffL0)大于或等于Abs(currPocDiffL1),那么可以信令通知列表0的MVD。否则,可以信令通知列表1的MVD。
4.替代性地,此外,如果Abs(currPocDiffL0)大于或等于Abs(currPocDiffL1),那么可以信令通知列表1的MVD。否则,可以信令通知列表0的MVD。
5.替代性地,此外,如果Abs(currPocDiffL0)等于Abs(currPocDiffL1),那么可以信令通知列表0的MVD。否则,可以信令通知列表1的MVD。
6.替代性地,此外,如果Abs(currPocDiffL0)等于Abs(currPocDiffL1),那么可以信令通知列表1的MVD。否则,可以信令通知列表0的MVD。
c.在一个示例中,具有有待信令通知(或者有待推导)的关联MVD的参考列表还可以从一个视频单元(例如,条带/片组/片/砖块/CU)到另一个视频单元改变。
i.在一个示例中,具有有待信令通知的关联MVD的参考列表的选择可以取决于相邻块的参考图片信息。
ii.在一个示例中,选择在PocDist0和PocDist1之间(其中,这两个参考图片就是在SMVD中使用的那两个)具有较小绝对POC距离的参考图片列表。
1.在一个示例中,如果PocDist0小于PocDist1,那么信令通知列表0的MVD,并且推导列表1的MVD。
2.替代性地,选择在PocDist0和PocDist1之间(其中,这两个参考图片就是在SMVD中使用的那两个)具有较大绝对POC距离的参考图片列表。
3.如果PocDist0和PocDist1相等,那么可以选择列表X(X为0或1)。
3.建议允许两个目标参考图片均来自同一参考图片列表的SMVD。
a.在一个示例中,两个目标参考图片之一是前向的(即,其POC小于当前POC),并且另一个是后向的(即,其POC大于当前POC)。
b.在一个示例中,可以检查列表0和列表1内的所有参考图片,从而找到第一参考图片和第二参考图片,第一参考图片的POC在所有小于当前POC的参考图片POC中最接近当前POC,第二参考图片的POC在所有大于当前POC的参考图片POC中最接近当前POC。
4.建议在从第一步骤找到了目标参考图片中的至少一者时跳过SMVD的目标参考图片推导中的第二步骤。
a.在一个示例中,如果在列表0中找到了一个参考图片,并且未在列表1中找到参考图片,那么跳过SMVD模式的目标参考图片推导中的第二步骤。
b.在一个示例中,如果未在列表0中找到参考图片,并且在列表1中找到了一个参考图片,那么跳过SMVD模式的目标参考图片推导中的第二步骤。
c.替代性地,此外,禁用SMVD。也就是说,跳过所有SMVD相关语法的信令。
5.建议使第一步骤(例如,章节2.2.3中的步骤#1)的输出与第二步骤(例如,章节2.2.3中的步骤#2)解耦。仅支持三种情况:两个目标参考图片索引可以要么是在第一步骤(搜索列表0中的前向参考图片以获得列表0中的目标参考图片,并且搜索列表1中的后向参考图片,以获得列表1中的目标参考图片)中,要么是在第二步骤(搜索列表0中的后向参考图片以获得列表0中的目标参考图片,并且搜索列表1中的前向参考图片,以获得列表1中的目标参考图片)中找到的;否则(并未在第一步骤中,或者在第二步骤中找到所有目标参考图片)禁用SMVD。
a.在一个示例中,在目标参考图片中的至少一者未被发现时调用SMVD模式的目标参考图片推导中的第二步骤,在调用之前将目标参考图片索引重置为不可用(例如,将RefIdxSymL0和RefIdxSymL1重置为-1)。
6.建议增加这样一个约束条件:所找到的两个目标参考图片(如果可用)必须一个具有相较于当前图片的较小POC值,一个具有相较于当前图片的较大POC值。
a.在一个示例中,在目标参考图片推导过程之后增加对POC距离的额外检查,并且可以将目标参考图片重置为不可用(例如,将RefIdxSymL0和RefIdxSymL1重置为-1)。
b.在一个示例中,当(RefIdxSymL1!=-1&&RefIdxSymL0!=-1&&DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL1])*DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])>0)为真时,目标参考图片可以被重置为不可用。
7.建议去除从列表0找到前向参考图片(其POC小于当前POC)并且从列表1找到后向参考图片(其POC大于当前POC)或反之的这一限制。
a.在一个示例中,SMVD中使用的目标参考图片可以是借助于两项相关检查(每一参考图片列表采用一个环)推导的。
i.第一项检查是要在列表X中找到一个参考图片(X为0或1)。
ii.第二项检查是根据第一检查的输出和列表Y(Y为1-X)中的参考图片找到列表Y中的一个参考图片。
b.在一个示例中,首先针对列表X(X为0或1)计算每一参考图片与当前图片之间的POC距离,而不管其根据既定顺序是前向还是后向的。
i.在一个示例中,该既定顺序是参考图片索引的升序/将序。
ii.在一个示例中,选择具有最小(或最大)POC距离(例如,Abs(POC(参考图片)–POC(当前图片))的参考图片作为列表X的目标参考图片(通过RefInLX表示)。
iii.替代性地,此外,根据参考图片RefInLX从列表Y(Y为1-X)选择一个参考图片。
1.在一个示例中,如果RefInLX具有相较于当前图片的较小POC值,那么列表Y的目标参考图片必须具有相较于当前图片的较大POC值。
2.在一个示例中,如果RefInLX具有相较于当前图片的较大POC值,那么列表Y的目标参考图片必须具有相较于当前图片的较小POC值。
3.在一个示例中,列表Y的目标参考图片必须是列表Y中的所有后向(如果RefInLX是前向的)或前向参考图片(如果RefInLX是后向的)中具有相较于当前图片的最小POC距离的那个。
8.是否允许SMVD可以取决于块中的编解码信息。
a.在一个示例中,编解码信息可以包括MVD精确度信息、双向预测中的预测样点的权重。
b.在一个示例中,在为双向预测块选择了不相等的权重时可以不允许SMVD。
i.替代性地,在SMVD模式下可以不允许不相等的权重。
ii.在不允许SMVD时,所有与SMVD相关的语法元素都可以不被信令通知和/或隐式推导。
iii.在不允许不相等权重时,所有与不等权重相关的语法元素都可以不被信令通知和/或隐式推导。
iv.
c.在一个示例中,对于某一MVD/MV精确度可以不允许SMVD。
i.例如,对于N像素MV/MVD精确度(例如,N=1,4)不允许SMVD。
ii.替代性地,在SMVD模式下不允许AMVR。例如,在SMVD模式下只允许N像素MV/MVD精确度,例如,N=1/4。
iii.在不允许SMVD时,与SMVD相关的所有语法元素都可以不被信令通知和隐式推导。
iv.在不允许AMVR时,与AMVR相关的所有语法元素都可以不被信令通知和隐式推导。
9.在SMVD模式下可以启用DMVR或/和其他DMVD方法。
a.在一个示例中,在SMVD模式下,如果MV/MVD精确度为N像素,那么可以采用DMVR或/和其他DMVD方法通过mvdDmvr细化MVD。mvdDmvr具有M像素精确度。N,M=1/16,1/8,1/4,1/2,1,2,4,8,16等等。
b.在一个示例中,M可以小于或等于N。
c.在一个示例中,在SMVD模式下可以不对MVD进行信令通知,相反,可以应用DMVR或/和其他DMVD方法来生成MVD。
i.替代性地,此外,可以不对AMVR信息进行信令通知,并且可以借助于预定义值推导出MV/MVD精确度(例如,MVD具有1/4像素精确度)。
d.在一个示例中,在SMVD模式下可以对是否应用DMVR或/和其他DMVD方法的指示进行信令通知。
i.如果应用DMVR或/和其他DMVD方法,那么可以不对MVD进行信令通知。
ii.在一个示例中,对于某些MV/MVD精确度可以信令通知这样的指示。例如,可以对1像素或/和4像素MV/MVD精确度信令通知这样的指示。
iii.在一个示例中,仅当PocDist0等于PocDist1并且按照显示顺序Ref0是当前图片的在先图片且Ref1是当前图片的随后图片时,才可以信令通知这样的指示。
iv.在一个示例中,仅当PocDist0等于PocDist1并且按照显示顺序Ref0是当前图片的随后图片且Ref1是当前图片的在先图片时,才可以信令通知这样的指示。
10.是否允许全零MVD可以取决于块的编解码信息。例如,编解码信息可以包括SMVD模式信息、块的运动信息。
a.在一个示例中,在SMVD模式下可以不允许全零MVD。
i.例如,如果在SMVD模式下水平MVD为零,那么可以不对垂直MVD直接编码,而是在编码之前使垂直MVD下降1(例如,如果垂直MVD为正)或者提高1(例如,如果垂直MVD为负),并且可以在解码之后使垂直MVD提高1(如果垂直MVD为正)或者下降1(如果垂直MVD为负)。
ii.例如,如果在SMVD模式下垂直MVD为零,那么可以不对水平MVD直接编码,而是在编码之前使水平MVD下降1(例如,如果水平MVD为正)或者提高1(例如,如果水平MVD为负),并且可以在解码之后使水平MVD提高1(如果水平MVD为正)或者下降1(如果水平MVD为负)。
b.在一个示例中,在非SMVD模式下可以不允许全零MVD。
i.例如,在非SMVD模式下,如果块的参考图片与SMVD模式块使用的推导的参考图片相同,那么可以不允许全零MVD。
1.例如,假设在非SMVD模式下总共有K个MVD分量,如果前K-1个MVD分量为零的话。那么可以不直接对第K个MVD部件直接编码,而是在编码之前使其下降1(例如,如果其为正)或者使其提高1(例如,如果其为负)并且可以在解码之后使其提高1(例如,如果其为正)或者下降1(例如,如果其为负)。
11.建议不尝试找到最接近参考图片(要么前向要么后向),而是为找到两个与当前图片之间具有相等距离的目标参考图片赋予较高优先级。
a.假设在列表0和列表1内有N对参考图片,这N对参考图片由(RefL0i,RefL1i)表示,其中i为[0,N-1],那么这N对之一可以被选作SMVD中使用的两个目标参考图片。
i.替代性地,此外,对于一对而言,一个参考图片来自列表0,并且另一个来自列表1。
ii.替代性地,此外,对于一对而言,一个参考图片是来自列表0的前向参考图片,并且另一个是来自列表1的后向参考图片。
iii.替代性地,此外,对于一对而言,一个参考图片是来自列表0的后向参考图片,另一个是来自列表1的前向参考图片。
iv.替代性地,此外,对于一对而言,一个参考图片是后向参考图片,并且另一个是前向参考图片,其中两者均来自同一参考图片列表。
b.假设在列表0和列表1内有N对参考图片,这N对参考图片由(RefL0i,RefL1i)表示,其中i为[0,N-1],那么这N对中的具有到当前图片的最小或最大绝对POC距离的一对可以被选作SMVD中使用的两个目标参考图片。
c.当在参考图片列表中没有这样的对时,可以根据到当前图片的POC距离选择目标参考图片,例如,其利用当前方式或者上述方法。
12.建议在两个目标参考图片具有到当前图片的不等距离时(即currPocDiffL0!=currPocDiffL1)禁用SMVD。
a.替代性地,此外,可以跳过SMVD相关语法元素(例如,sym_mvd_flag)的信令通知,并且将SMVD推断为不被使用。
13.一种方法根据两个参考图片与当前图片的POC值由参考图片列表Y(其中,Y为1-X)的信令通知MVD推导出参考图片列表X的MVD。假设参考图片列表Y的信令通知MVD是具有通过MvdLY[0]和MvdLY[1]表示的水平分量和垂直分量的MvdLY,那么可以通过下述方法推导出通过(MvdLX[0],MvdLX[1])表示的参考图片列表X的MVD:
a.在一个示例中,MvdLX[0]=MvdLY[0]*(POC(列表X中的targetRef)-POC(当前图片))/(POC(列表Y中的targetRef)-POC(当前图片))。
b.在一个示例中,MvdLX[1]=MvdLY[1]*(POC(列表X中的targetRef)-POC(当前图片))/(POC(列表Y中的targetRef)-POC(当前图片))。
c.在一个示例中,可以将上述方法应用于SMVD模式,其中,建议不总是使用列表0的相反MVD作为列表1的MVD,而是在推导列表1的MVD时根据POC距离对列表0的MVD进行缩放。
d.类似地,在SMVD中,如果信令通知了列表1的MVD,那么建议在推导列表0的MVD时根据POC距离对列表1的MVD进行缩放。
e.替代性地,上述方法可以适用于对称MV编解码模式,其中,可以不信令通知一个参考图片的MV的信息,而是通过缩放由另一参考图片列表对其进行推导。
14.在一个参考图片列表的MVD是由与另一参考图片列表相关联的另一MVD推导出的时候,必须满足有关所推导MVD的范围的限制。
a.在一个示例中,借助于SMVD方法由第一MVD推导出的第二MVD的x分量和/或y分量应当处于预定义范围内。
b.在一个示例中,应当根据预定义范围对第二MVD的x分量和/或y分量做出裁剪或者有条件地修改。
i.例如,Mz被裁剪成Mz=Clip3(-2N,2N-1,Mz),其中,Mz表示第二MVD的x分量或y分量。N是诸如16或18的整数。
1.例如,N可以是15或17。
ii.例如,Mz被裁剪成Mz=Clip3(-2N+1,2N-1,Mz),其中,Mz表示第二MVD的x分量或y分量。N是诸如16或18的整数。
1.例如,N可以是15或17。
iii.例如,Mz被修改成Mz=2N-1(如果Mz=2N),其中,Mz表示第二MVD的x分量或y分量。N是诸如16或18的整数。
1.例如,N可以是15或17。
c.在一个示例中,在一致性比特流中,第二MVD的x分量和y分量应当处于预定义范围内。
i.在一个示例中,在一致性比特流中,第二MVD的x分量和/或y分量应当处于[-2N,2N-1](含端点)范围内。N是诸如16或18的整数。
1.例如,N可以是15或17。
ii.在一个示例中,在一致性比特流中,第二MVD的x分量和/或y分量应当处于[-2N+1,2N-1](含端点)范围内。N是诸如16或18的整数。
1.例如,N可以是15或17。
d.在一个示例中,应当根据第一预定义范围裁剪或者有条件地修改第一MVD的x分量和/或y分量,从而使借助于SMVD方法由第一MVD推导的第二MVD的x分量和/或y分量可以处于第二预定义范围内。
i.例如,Mz被裁剪成Mz=Clip3(-2N+1,2N-1,Mz),其中,Mz表示第一MVD的x分量或y分量。N是诸如16或18的整数。
1.例如,N可以是15或17。
ii.例如,Mz被修改成Mz=-2N+1(如果Mz=-2N),其中,Mz表示第一MVD的x分量或y分量。N是诸如16或18的整数。
1.例如,N可以是15或17。
e.在一个示例中,在一致性比特流中第一MVD的x分量和/或y分量应当处于第一预定义范围内,从而使借助于SMVD方法由第一MVD推导的第二MVD的x分量和/或y分量可以处于第二预定义范围内。
i.在一个示例中,在不应用SMVD时,第一预定义范围可以不同于信令通知MVD的预定义范围。
ii.在一个示例中,在一致性比特流中,第一MVD的x分量和/或y分量应当处于[-2N+1,2N-1](含端点)范围内。N是诸如16或18的整数。
1.例如,N可以是15或17。
f.替代性地,建议不使信令通知MVD局限于处在[-2N,2N-1]内,而是使其局限于处在[-2N+1,2N-1]内。
i.在一个示例中,SMVD的MVD范围(或者由另一参考图片列表推导MVD的工具)可以被设置为不同于非SMVD编解码工具的那些MVD。
1.例如,信令通知MVD将处于[-2N+SMVDFlag,2N-1]内,其中,如果应用SMVD,那么SMVDFlag等于1,如果不应用SMVD,那么SMVDFlag等于0。
g.在一个示例中,可以在根据MV分辨率修改MVD之前执行对MVD的裁剪或约束(例如,VVC中的或者如上文所公开的)。
i.替代性地,可以在根据MV分辨率修改MVD之后执行对MVD的裁剪或约束(例如,VVC中的或者如上文所公开的)。
h.在一个示例中,对MVD的裁剪或约束(例如,VVC中的或者如上文所公开的)可以取决于MV分辨率。
5.实施例
通过加粗斜体突出呈现对VVC工作草案版本5施加的修改。采用删除线标记删除文本。
5.1在mvd_l1_zero_flag为真时关于SMVD的使用的实施例#1
Figure BDA0003324968730000311
Figure BDA0003324968730000321
Figure BDA0003324968730000331
Figure BDA0003324968730000341
Figure BDA0003324968730000351
Figure BDA0003324968730000361
Figure BDA0003324968730000371
Figure BDA0003324968730000381
Figure BDA0003324968730000391
5.2关于选择在SMVD中使用的参考图片的实施例#2
5.2.1一个示例
这一小节给出了对应于第4章的项目符号4的一个示例。
8.3.5针对对称运动矢量差参考索引的解码过程
这一过程的输出是指定对称运动矢量差的列表0和列表1参考图片索引的RefIdxSymL0和RefIdxSymL0,即,此时对于编解码单元而言sym_mvd_flag等于1。
变量RefIdxSymLX(其中,X为0和1)的推导如下:
–变量currPic指定当前图片。
–RefIdxSymL0被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[0]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])<DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–RefIdxSymL1被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])>DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
–当RefIdxSymL0等于-1并且或者RefIdxSymL1等于-1时,下述内容适用:
–对于每一索引i(其中,i=0..NumRefIdxActive[0]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])>DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])<DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
5.2.2一个示例
这一小节给出了对应于第4章的项目符号5的一个示例。
8.3.5针对对称运动矢量差参考索引的解码过程
这一过程的输出是指定对称运动矢量差的列表0和列表1参考图片索引的RefIdxSymL0和RefIdxSymL0,即,此时对于编解码单元而言sym_mvd_flag等于1。
变量RefIdxSymLX(其中,X为0和1)的推导如下:
–变量currPic指定当前图片。
–RefIdxSymL0被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[0]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])<DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–RefIdxSymL1被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])>DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
–当RefIdxSymL0等于-1或者RefIdxSymL1等于-1时,下述内容适用:
–RefIdxSymL0被设为等于-1并且RefIdxSymL1被设为等于-1
–对于每一索引i(其中,i=0..NumRefIdxActive[0]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])>DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])<DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
5.2.3一个示例
这一小节给出了对应于第4章的项目符号6的一个示例。
8.3.5针对对称运动矢量差参考索引的解码过程
这一过程的输出是指定对称运动矢量差的列表0和列表1参考图片索引的RefIdxSymL0和RefIdxSymL0,即,此时对于编解码单元而言sym_mvd_flag等于1。
变量RefIdxSymLX(其中,X为0和1)的推导如下:
–变量currPic指定当前图片。
–RefIdxSymL0被设为等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[0]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])<DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–RefIdxSymL1被设为等于-1。
–对于每一索引i(其中,0..NumRefIdxActive[1]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])>DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
–当RefIdxSymL0等于-1或者RefIdxSymL1等于-1时,下述内容适用:
–对于每一索引i(其中,i=0..NumRefIdxActive[0]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL0被设为i:
–DiffPicOrderCnt(currPic,RefPicList[0][i])<0,
–DiffPicOrderCnt(currPic,RefPicList[0][i])>DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])或者RefIdxSymL0等于-1。
–对于每一索引i(其中,i=0..NumRefIdxActive[1]–1),下述内容适用:
–在所有的下述条件均为真时,RefIdxSymL1被设为i:
–DiffPicOrderCnt(currPic,RefPicList[1][i])>0,
–DiffPicOrderCnt(currPic,RefPicList[1][i])<DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])或者RefIdxSymL1等于-1。
–在所有的下述条件均为真时,RefIdxSymL0被设为-1并且RefIdxSymL1被设为-1:
–RefIdxSymL0!=-1,
–RefIdxSymL1!=-1,
–DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])*DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])>0。
替代性地,上述条件可以被下述内容替代:
–在所有的下述条件均为真时,RefIdxSymL0被设为-1并且RefIdxSymL1被设为-1:
–RefIdxSymL0>=0,
–RefIdxSymL1>=0,
–DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL0])*DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])>0。
5.3在mvd_l1_zero_flag为真时关于SMVD的使用的实施例#1
用加粗斜体标记工作草案变化。
mvd_sign_flag[compIdx]如下指定运动矢量分量差的符号:
––如果mvd_sign_flag[compIdx]等于0,那么对应的运动矢量分量差具有正值。
––否则(mvd_sign_flag[compIdx]等于1),对应的运动矢量分量差具有负值。
当mvd_sign_flag[compIdx]不存在时,那么推断其等于0。
对于compIdx=0..1而言,运动矢量差lMvd[compIdx]的推导如下:
lMvd[compIdx]=abs_mvd_greater0_flag[compIdx]*(abs_mvd_minus2[compIdx]+2)*(1-2*mvd_sign_flag[compIdx])(7157)
lMvd[compIdx]的值必须处于-215到215-1的范围内,含端点。
当sym_mvd_flag[x0][y0]等于1时,MvdL1[x0][y0][0]和MvdL1[x0][y0][1]在被做如下推导之后,它们的值必须处于-215到215-1的范围内(含端点):
MvdL1[x0][y0][0]=-MvdL0[x0][y0][0]MvdL1[x0][y0][1]=-MvdL0[x0][y0][1]。
图14是视频处理装置1400的框图。装置1400可以用于实施本文描述的方法中的一者或多者。装置1400可以被体现到智能电话、平板电脑、计算机、物联网(IoT)接收器等当中。装置1400可以包括一个或多个处理器1402、一个或多个存储器1404和视频处理硬件1406。处理器1402可以被配置为实施本文件中描述的一种或多种方法。(一个或多个)存储器1404可以用于存储用于实施本文件描述的方法和技术的数据和代码。视频处理硬件1406可用于在硬件电路中实施本文件中描述的一些技术。
图15是视频处理的示例性方法1500的流程图。方法1500包括:针对当前视频块和当前视频块的比特流表示之间的转换确定(1502)使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选。方法1500包括使用SMVD模式执行(1504)该转换。对于参考列表0或参考列表1之一,该比特流表示指示禁用运动矢量差(MVD)模式。
下文对示例的列举提供了能够解决本文件中描述的技术问题连同其他问题的实施例。
1.一种视频处理器方法,其包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换;其中,该比特流表示指示对参考列表0或参考列表1之一禁用运动矢量差(MVD)模式。
2.示例1的方法,其中,该比特流表示指示对参考列表1禁用MVD模式,其中,该转换包括使用一定关系由对应于参考列表0的运动候选推导出对应于参考列表1的运动候选。
3.示例2的方法,其中,该关系规定通过与对应于参考列表0的运动候选成镜像而使用对应于参考列表1的运动候选。
在第4章的条款1中描述了示例1-3的额外实施例。
4.一种视频处理方法,包括:
针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片的图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换;其中,该比特流表示包括参考列表1的运动矢量差(MVD)信息。
5.示例4的方法,其中,参考列表1的MVD信息是当前视频块所处的视频单元的函数。
6.示例5的方法,其中,该视频单元是条带或片组或片或砖块或编解码单元。
7.示例4的方法,其中,参考列表1的身份取决于用于当前视频块的相邻视频块的参考列表。
8.示例4的方法,其中,选择参考列表1,因为其与参考列表0相比与当前视频块之间具有较小时域距离。
9.示例4的方法,其中,选择参考列表1,因为其与参考列表0相比与当前视频块之间具有较大时域距离。
在第4章的条款2中描述了示例4-9的额外实施例。
10.示例1到9中的任何示例的方法,其中,参考列表0和参考列表1相互等同。
11.示例10的方法,其中,参考列表0和参考列表1之一用于前向预测,另一个用于后向预测。
在第4章的条款3中描述了示例10-11的额外实施例。
12.一种视频处理器方法,其包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换;其中,SMVD使用对每一参考图片列表进行解析以识别出目标参考图片的第一步骤生成这两个额外运动候选。
13.示例12的方法,其中,SMVD任选在识别目标参考图片的第一步骤之后采用第二步骤生成这两个额外运动候选。
14.示例13的方法,其中,该第二步骤任选基于在第一步骤中找到的参考图片的数量。
在第4章的条款4中描述了示例12-14的额外实施例。
15.一种视频处理方法,其包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换;其中,SMVD生成这两个额外运动候选,使得:目标参考图片的两者要么是在第一步骤中找到的,要么是在第二步骤中找到的,第一步骤包括搜索列表0中的前向参考图片,以找到列表0中的目标参考图片,并且搜索列表1中的后向参考图片,以找到列表1中的目标参考图片,第二步骤包括搜索列表0中的后向参考图片,以找到列表0中的目标参考图片,并且搜索列表1中的前向参考图片,以找到列表1中的目标参考图片。
在第4章的条款5中描述了示例的额外实施例。
16.一种视频处理器方法,其包括:针对当前视频块和当前视频块的比特流表示之间的转换确定使用对称运动矢量差(SMVD)模式,在该模式下,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及使用SMVD模式执行该转换;其中,这两个目标参考图片之一具有比当前视频块的大的图片顺序计数,并且这两个目标参考图片中的另一个具有比当前视频块的小的图片顺序计数。
17.示例16的方法,其中,SMVD模式进一步包括确定当前视频块的图片顺序计数和两个目标参考图片的图片顺序计数之间的距离的步骤。
在第4章的条款6中描述了示例16-17的额外实施例。
18.一种视频处理方法,包括:基于条件确定是否将对称运动矢量差(SMVD)模式用于当前视频块和当前视频块的比特流表示之间的转换,在SMVD模式中,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及基于该确定执行该转换。
19.示例18的方法,其中,该条件包括当前视频块的编解码信息。
20.示例19的方法,其中,该条件包括用于当前视频块的双向预测的运动矢量差或预测权重。
21.示例18的方法,其中,针对不等权重被用于双向预测的条件禁用SMVD模式。
22.示例18的方法,其中,针对运动矢量精确度为整数值的条件禁用SMVD模式。
在第4章的条款8中描述了示例18-22的额外实施例。
23.一种视频处理方法,包括:基于条件确定将对称运动矢量差(SMVD)模式和解码器侧运动矢量差(DMVD)编解码模式用于当前视频块和当前视频块的比特流表示之间的转换,在SMVD模式中,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及基于该确定执行该转换。
24.示例1的方法,其中,DMVD包括解码器侧运动矢量细化。
25.示例23-24中的任何示例的方法,其中,该条件包括在该转换期间对运动矢量和运动矢量差计算使用N像素精确度,并且其中,DMVD根据M像素分辨率进行细化,其中,N和M是整数或分数。
26.示例23到25中的任何示例的方法,其中,N,M=1/16,1/8,1/4,1/2,1,2,4,8或16。
在第4章的条款9中描述了示例23-26的额外实施例。
27.一种视频处理方法,包括:基于条件确定是否将对称运动矢量差(SMVD)模式的全零运动矢量差和解码器侧运动矢量差(DMVD)编解码模式用于当前视频块和当前视频块的比特流表示之间的转换,在SMVD模式中,基于来自参考图片的参考列表0和参考列表1的两个目标参考图片中的参考块的对称位移生成用于该转换的两个额外运动候选;以及基于该确定执行该转换。
28.示例27的方法,其中,该条件禁止使用全零运动矢量差。
在第4章的条款10中描述了示例27-28的额外实施例。
29.一种视频处理方法,包括:从与当前视频块相关联的多个参考图片中选择第一参考图片和第二参考图片;以及基于所选的第一参考图片和第二参考图片执行当前视频块和当前视频块的比特流表示之间的转换,其中,第一参考图片与包括当前视频块的当前图片之间的第一距离和第二参考图片与当前图片之间的第二距离相等。
30.示例29的方法,其中,第一参考图片选自列表0,并且其中,第二参考图片选自列表1。
31.示例29的方法,其中,第一参考图片是来自列表0的前向参考图片,并且其中,第二参考图片是来自列表1的后向参考图片。
32.示例29的方法,其中,第一参考图片是来自列表0的后向参考图片,并且其中,第二参考图片是来自列表1的前向参考图片。
33.示例29的方法,其中,第一参考图片是前向参考图片,其中,第二参考图片是后向参考图片,并且其中,第一参考图片和第二参考图片来自同一列表。
在第4章的条款11中描述了示例29-33的额外实施例。
34.一种视频处理方法,包括:确定第一参考图片与包括当前视频块的当前图片之间的第一距离和第二参考图片与当前图片之间的第二距离不相等,并且基于该确定并针对当前视频块和当前视频块的比特流表示之间的转换对当前视频块禁用对称运动矢量差(SMVD)模式。
35.示例34的方法,其中,该比特流表示排除对一个或多个SMVD相关语法元素的信令通知。
在第4章的条款12中描述了示例34-35的额外实施例。
36.一种视频处理方法,包括:针对当前视频块基于第二参考图片列表的第二运动矢量差(MVD)推导第一参考图片列表的第一MVD;以及基于该推导执行当前视频块和当前视频块的比特流表示之间的转换,其中,第一MVD的范围是受限的。
37.示例36的方法,其中,该推导基于对称运动矢量差(SMVD)方法。
38.示例36或37的方法,其中,该范围是[-2N,2N-1],并且N是正整数。
39.示例36或37的方法,其中,该范围是[-2N+1,2N-1],并且N是正整数。
40.示例38或39的方法,其中,N=16或者N=18。
在第4章的条款14中描述了示例36-40的额外实施例。
41.示例1到40中的任何示例的方法,其中,该转换包括从比特流表示生成当前视频块的像素值。
42.示例1到40中的任何示例的方法,其中,该转换包括从当前视频块的像素值生成比特流表示。
43.一种视频处理装置,其包括被配置为实施示例1到42中的一者或多者的处理器。
44.一种具有存储于其上的代码的计算机可读介质,所述代码在由处理器执行时使处理器实施示例1到42中的一者或多者当中陈述的方法。
图16是视频处理的示例性方法1600的流程图。方法1600包括:在1602中针对视频的当前图片的块与第一块的比特流表示之间的转换,基于该块的编解码信息确定对称运动矢量差(SMVD)模式对于该块是否是允许的;以及在1604中基于该确定执行该转换。
在一些示例中,在SMVD模式下,仅针对包括参考列表X和参考列表Y在内的两个参考列表中的参考列表Y信令通知运动矢量差(MVD),其中,Y=1-X,并且参考列表Y中的信令通知MVD用于推导参考列表X中的MVD,其中,X=0或1。
在一些示例中,X=0。
在一些示例中,编解码信息包括指示参考列表X中的MVD是否被强制为零的标志,X=0或1。
在一些示例中,即使在该标志指示参考列表X中的MVD被强制为零时,对于该块仍然允许SMVD模式。
在一些示例中,当该标志指示参考列表1中的MVD被强制为零时,参考列表1中的MVD被强制为零,并且对于该块允许SMVD模式。
在一些示例中,当所述标志指示参考列表1中的MVD被强制为零时,参考列表1中的MVD不被强制为零,而是由参考列表0中的关联MVD推导出,并且对于该块允许SMVD模式。
在一些示例中,在该标志指示参考列表X中的MVD被强制为零时,对于该块不允许SMVD模式。
在一些示例中,在不允许SMVD模式时,SMVD模式的所有相关语法元素都是隐式推导的,而非信令通知的。
在一些示例中,通过比特流中的指示对需要为其信令通知MVD的参考列表Y进行信令通知。
在一些示例中,在序列级、图片级、条带级、片级、视频单元级中的至少一者当中信令通知该指示。
在一些示例中,在序列参数集(SPS)和图片参数集(PPS)、图片标头、条带标头和片组标头中的至少一者当中信令通知该指示。
在一些示例中,根据参考列表中的参考图片推导出需要为其信令通知MVD的参考列表Y。
在一些示例中,根据两个参考列表中的两个参考图片以及对应的两个参数Abs(currPocDiffL0)和Abs(currPocDiffL1)推导出需要为其信令通知MVD的参考列表Y,其中,Abs(currPocDiffL0)指示从当前图片到参考列表0中的参考图片的POC(图片顺序计数)距离的绝对值,并且Abs(currPocDiffL1)指示从当前图片到参考列表1中的参考图片的POC距离的绝对值。
在一些示例中,如果Abs(currPocDiffL0)大于Abs(currPocDiffL1),那么信令通知参考列表0的MVD,否则,信令通知参考列表1的MVD。
在一些示例中,如果Abs(currPocDiffL0)大于Abs(currPocDiffL1),那么信令通知参考列表1的MVD,否则,信令通知参考列表0的MVD。
在一些示例中,如果Abs(currPocDiffL0)大于或者等于Abs(currPocDiffL1),那么信令通知参考列表0的MVD,否则,信令通知参考列表1的MVD。
在一些示例中,如果Abs(currPocDiffL0)大于或者等于Abs(currPocDiffL1),那么信令通知参考列表1的MVD,否则,信令通知参考列表0的MVD。
在一些示例中,如果Abs(currPocDiffL0)等于Abs(currPocDiffL1),那么信令通知参考列表0的MVD,否则,信令通知参考列表1的MVD。
在一些示例中,如果Abs(currPocDiffL0)等于Abs(currPocDiffL1),那么信令通知参考列表1的MVD,否则,信令通知参考列表0的MVD。
在一些示例中,需要为其信令通知MVD的参考列表Y从一个视频单元到另一视频单元改变。
在一些示例中,视频单元包括条带、片组、片、砖块和编解码单元(CU)中的至少一者。
在一些示例中,参考列表Y的选择取决于该块的相邻块的参考图片信息。
在一些示例中,参考列表Y的选择取决于两个参考列表中的两个参考图片以及对应的两个参数PocDist0和PocDist1,其中,PocDist0是从参考列表0中的参考图片到当前图片的图片顺序计数(POC)距离的绝对值,并且PocDist1是从参考列表1中的参考图片到当前图片的POC距离的绝对值。
在一些示例中,具有PocDist0和PocDist1之间的较小POC距离绝对值的参考列表被选作参考列表Y。
在一些示例中,具有PocDist0和PocDist1之间的较大POC距离绝对值的参考列表被选作参考列表Y。
在一些示例中,如果PocDist0和PocDist1相等,那么参考列表0或者参考列表1被选作参考列表Y。
在一些示例中,在SMVD模式下,两个参考图片两者均选自同一参考列表。
在一些示例中,这两个参考图片之一是前向参考图片,其POC小于当前POC,并且另一个参考图片是后向参考图片,其POC大于当前POC。
在一些示例中,检查参考列表0和参考列表1内的所有参考图片,从而找到第一参考图片和第二参考图片,第一参考图片的POC在所有小于当前POC的参考图片POC中最接近当前POC,第二参考图片的POC在所有大于当前POC的参考图片POC中最接近当前POC。
在一些示例中,SMVD模式包括目标参考图片的推导过程,该推导过程包括搜索参考列表0内的前向目标参考图片并且搜索参考列表1内的后向目标参考图片的第一步骤以及搜索参考列表0内的后向目标参考图片并且搜索参考列表1内的前向目标参考图片的第二步骤。
在一些示例中,在从第一步骤发现目标参考图片中的至少一者时,跳过SMVD模式的第二步骤。
在一些示例中,如果一个目标参考图片是在参考列表0中发现的,并且在参考列表1中没有发现目标参考图片,那么跳过SMVD模式的第二步骤。
在一些示例中,如果在参考列表0中没有发现目标参考图片,并且一个目标参考图片是在参考列表1中发现的,那么跳过SMVD模式的第二步骤。
在一些示例中,当未从第一步骤发现目标参考图片中的至少一者时,不允许SMVD模式,并且跳过所有SMVD相关语法的信令。
在一些示例中,在目标参考图片的推导过程中发现的两个目标参考图片包括前向参考图片和后向参考图片,前向参考图片的POC小于当前图片,并且后向参考图片的POC大于当前图片。
在一些示例中,在两个目标参考图片的推导过程之后,检查两个目标参考图片的POC,并且在这两个目标参考图片两者均具有小于当前图片的POC或者均具有大于当前图片的POC时将目标参考图片重置为不可用。
在一些示例中,可以通过将RefIdxSymL0和RefIdxSymL1重置为-1而将目标参考图片重置为不可用,其中,RefIdxSymL0是参考列表0中的目标参考图片的索引,并且RefIdxSymL1是参考列表0中的目标参考图片的索引。
在一些示例中,当(RefIdxSymL1!=-1&&RefIdxSymL0!=-1&&DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL1])*DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])>0)为真时,将目标参考图片重置为不可用,其中,DiffPicOrderCnt(pic0,pic1)返回从图片pic0到图片pic1的POC距离。
在一些示例中,SMVD模式包括目标参考图片的推导过程,其去除了从参考列表0寻找前向参考图片并且从参考列表1寻找后向参考图片或者从参考列表1寻找前向参考图片并且从参考列表0寻找后向参考图片的限制。
在一些示例中,采用包括第一检查和第二检查在内的两项相关检查推导出SMVD模式中使用的目标参考图片,每一检查用于参考列表0和参考列表1之一。
在一些示例中,第一检查将寻找参考列表X中的一个参考图片,其中X为0或1,并且第二检查将根据第一检查的输出以及参考列表Y中的参考图片寻找参考列表Y中的一个参考图片,Y=1-X。
在一些示例中,针对参考列表X,计算每一参考图片与当前图片之间的POC距离,而不管其根据既定顺序是前向还是后向的。
在一些示例中,该既定顺序是参考图片索引的升序/将序。
在一些示例中,具有最小POC距离的参考图片被选作参考列表X的目标参考图片,并且通过RefInLX表示。
在一些示例中,具有最大POC距离的参考图片被选作参考列表X的目标参考图片,并且通过RefInLX表示。
在一些示例中,根据参考图片RefInLX从参考列表Y选择一个参考图片作为参考列表Y的目标参考图片。
在一些示例中,如果参考图片RefInLX具有相较于当前图片的较小POC距离,那么参考列表Y的目标参考图片具有相较于当前图片的较大POC距离。
在一些示例中,如果参考图片RefInLX具有相较于当前图片的较大POC距离,那么参考列表Y的目标参考图片具有相较于当前图片的较小POC距离。
在一些示例中,如果参考图片RefInLX是前向参考图片,那么参考列表Y的目标参考图片是所有后向参考图片中具有相较于当前图片的最小POC距离的那个参考图片。
在一些示例中,如果参考图片RefInLX是后向参考图片,那么参考列表Y的目标参考图片是所有前向参考图片中具有相较于当前图片的最小POC距离的那个参考图片。
在一些示例中,编解码信息包括运动矢量(MV)信息、该块的MVD精确度信息以及双向预测中的预测样点的权重中的至少一者。
在一些示例中,在为双向预测块选择了不相等的权重时不允许SMVD。
在一些示例中,在不允许SMVD模式时,与SMVD模式相关的所有相关语法元素都不被信令通知和/或隐式推导。
在一些示例中,在SMVD模式下不允许不等权重。
在一些示例中,在不允许不等权重时,与不等权重相关的所有语法元素都不被信令通知和/或隐式推导。
在一些示例中,对于某一MVD精确度和/或MV精确度,不允许SMVD模式。
在一些示例中,对于N像素MVD精确度和/或MV精确度不允许SMVD模式,其中,N=1或4。
在一些示例中,在SMVD模式下仅允许N像素MVD精确度和/或MV精确度,N=1/4。
在一些示例中,在不允许SMVD模式时,与SMVD模式相关的所有语法元素都不被信令通知和隐式推导。
在一些示例中,在SMVD模式内不允许自适应运动矢量差分辨率(AMVR)。
在一些示例中,在不允许AMVR时,与AMVR相关的所有语法元素都不被信令通知和隐式推导。
在一些示例中,在SMVD模式中启用解码器侧运动矢量细化(DMVR)或/和其他解码器侧运动矢量推导(DMVD)。
在一些示例中,在SMVD模式下,如果MV和/或MVD精确度为N像素,那么采用DMVR方法或/和其他DMVD方法通过参数mvdDmvr细化MVD,mvdDmvr具有M像素精确度,其中,N,M=1/16,1/8,1/4,1/2,1,2,4,8或16。
在一些示例中,M小于或等于N。
在一些示例中,在SMVD模式中,MVD是通过DMVR方法或/和其他DMVD方法推导的而非被信令通知的。
在一些示例中,在SMVD模式中,不对AMVR信息进行信令通知,并且MV/MVD精确度被推导为具有预定义值,其中,该预定义值为1/4像素精确度。
在一些示例中,在SMVD模式内,对是否应用DMVR方法或/和其他DMVD方法的指示进行信令通知。
在一些示例中,如果应用DMVR方法或/和其他DMVD方法,那么不对MVD进行信令通知。
在一些示例中,对于某些MV和/或MVD精确度对该指示进行信令通知。
在一些示例中,对于1像素或/和4像素MV和/或MVD精确度对该指示进行信令通知。
在一些示例中,仅当PocDist0等于PocDist1时对该指示进行信令通知,其中,PocDist0是当前图片与Ref0之间的POC距离,并且PocDist1是当前图片与Ref1之间的POC距离,并且按照显示顺序,Ref0是当前图片的在先图片,Ref1是当前图片的随后图片。
在一些示例中,仅当PocDist0等于PocDist1时对所述指示进行信令通知,其中,PocDist0是当前图片与Ref0之间的POC距离,并且PocDist1是当前图片与Ref1之间的POC距离,并且按照显示顺序,Ref0是当前图片的随后图片,Ref1是当前图片的在先图片。
在一些示例中,在SMVD模式下,是否允许全零MVD取决于该块的编解码信息,其包括该块的SMVD模式信息和运动信息。
在一些示例中,在SMVD模式下不允许全零MVD。
在一些示例中,如果在SMVD模式内水平MVD为零,那么在编码之前,如果垂直MVD为正,则使垂直MVD下降1,或者如果垂直MVD为负,则使垂直MVD提高1,并且在解码之后,如果垂直MVD为正,则使垂直MVD提高1,或者如果MVD为负,则使垂直MVD下降1。
在一些示例中,如果在SMVD模式内垂直MVD为零,那么在编码之前,如果水平MVD为正,则使水平MVD下降1,或者如果水平MVD为负,则使水平MVD提高1,并且在编码之后,如果水平MVD为正,则使水平MVD提高1,或者如果水平MVD为负则使水平MVD下降1。
在一些示例中,在SMVD模式下,为找到到前图片具有相等距离的两个目标参考图片而非为找到最近参考图片赋予更高优先级。
在一些示例中,当在参考列表0和参考列表1中有通过(RefL0i,RefL1i)表示的N对参考图片时,这N对之一被选作在SMVD模式下使用的两个目标参考图片,其中i为[0,N-1],N为整数。
在一些示例中,对于一对参考图片,一个参考图片来自参考列表0,并且另一参考图片来自参考列表1。
在一些示例中,对于一对参考图片,一个参考图片是来自参考列表0的前向参考图片,并且另一参考图片是来自参考列表1的后向参考图片。
在一些示例中,对于一对参考图片,一个参考图片是来自参考列表0的后向参考图片,并且另一参考图片是来自参考列表1的前向参考图片。
在一些示例中,对于一对而言,一个参考图片是后向参考图片,并且另一个是前向参考图片,其中两者均来自同一参考图片列表。
在一些示例中,当在参考列表0和参考列表1中有通过(RefL0i,RefL1i)表示的N对参考图片时,所述N对中具有到当前图片的最小或最大POC距离绝对值的一对被选作在SMVD模式下使用的两个目标参考图片,其中i为[0,N-1],N为整数。
在一些示例中,当在参考列表0和参考列表1中没有具有到当前图片的相等距离的成对参考图片时,根据到当前图片的POC距离选择目标参考图片。
在一些示例中,当两个目标参考图片具有到当前图片的不等距离时,不允许SMVD模式。
在一些示例中,跳过包括sym_mvd_flag的SMVD相关语法元素的信令,并且SMVD模式被推断为不被使用。
在一些示例中,参考图片列表X的MVD是根据两个参考图片与当前图片的POC距离由参考图片列表Y的信令通知MVD推导的。
在一些示例中,当参考列表Y的信令通知MVD是具有其通过MvdLY[0]和MvdLY[1]表示的水平分量和垂直分量的MvdLY时,通过(MvdLX[0],MvdLX[1])表示的参考列表X的MVD的推导如下:
MvdLX[0]=MvdLY[0]*(POC(列表X中的targetRef)-POC(当前图片))/(POC(列表Y中的targetRef)-POC(当前图片)),并且
MvdLX[1]=MvdLY[1]*(POC(列表X中的targetRef)-POC(当前图片))/(POC(列表Y中的targetRef)-POC(当前图片)),
其中,POC(列表X中的targetRef)是参考列表X中的参考图片的POC,POC(列表Y中的targetRef)是参考列表Y中的参考图片的POC,并且POC(当前图片)是当前图片的POC。
在一些示例中,在SMVD模式下,在推导参考列表X的MVD时,根据各POC距离对参考列表Y中的MVD进行缩放,而不是使用参考列表Y的相反MVD作为参考列表X的MVD,其中,X=1。
在一些示例中,在SMVD模式下,在推导参考列表X的MVD时,根据各POC距离对参考列表Y中的MVD进行缩放,而不是使用参考列表Y的相反MVD作为参考列表X的MVD,其中,X=0。
图17是视频处理的示例方法1700的流程图。方法1700包括:在1702中根据前述示例的方法,针对视频的块和第一块的比特流表示之间的转换确定对称运动矢量(SMV)模式对于该块是否是允许的;以及在1704中基于该确定执行该转换。
图18是视频处理的示例性方法1800的流程图。方法1800包括:在1802中针对视频的当前图片的块和该块的比特流表示之间的转换,确定对称运动矢量差(SMVD)模式对于该块是否是允许的,其中,是否允许SMVD模式取决于当前图片的两个目标参考图片的推导过程,该过程包括用于在参考图片列表0中搜索前向目标参考图片并且在参考图片列表1中搜索后向目标参考图片的第一步骤以及用于在参考图片列表0中搜索后向目标参考图片并且在参考图片列表1中搜索前向目标参考图片的第二步骤,第一步骤和第二步骤的输出相互独立;以及在1804中基于该确定执行该转换。
在一些示例中,是否允许SMVD模式取决于目标参考图片两者是否是在第一步骤和第二步骤中的一个步骤中找到的。
在一些示例中,当在第一步骤中发现了这两个目标参考图片时,允许SMVD模式。
在一些示例中,当在第二步骤中发现了这两个目标参考图片时,允许SMVD模式。
在一些示例中,当目标参考图片的两者都未在第一步骤中找到,并且目标参考图片的两者都未在第二步骤中找到时,不允许SMVD模式。
在一些示例中,当两个目标参考图片中的至少一者未在第一步骤中找到时,调用第二步骤。
在一些示例中,在调用第二步骤之前,将两个目标参考图片索引重置为不可用。
在一些示例中,当两个目标参考图片的索引包括变量RefIdxSymL0和RefIdxSymL1时,RefIdxSymL0指示参考图片列表0中的目标参考图片索引,并且RefIdxSymL1指示参考图片列表1中的目标参考图片索引。
在一些示例中,将两个目标参考图片索引都重置为不可用包括将RefIdxSymL0和RefIdxSymL1两者重置为-1。
在一些示例中,在SMVD模式下,仅针对包括参考列表X和参考列表Y在内的两个参考列表中的参考列表Y信令通知运动矢量差(MVD),其中,Y=1-X,并且参考列表Y中的信令通知MVD用于推导参考列表X中的MVD,其中,X=0或1。
图19是视频处理的示例性方法1900的流程图。方法1900包括:在1902中针对视频的当前图片的块和该块的比特流表示之间的转换,由与另一参考图片列表相关联的第一MVD推导一个参考图片列表的第二运动矢量差(MVD),其中,MVD既包括水平分量,又包括垂直分量;在1904中对第一MVD和第二MVD中的至少一者施加范围限制;以及在1906中基于该确定执行该转换。
在一些示例中,第一MVD被包含到该块的比特流表示当中。
在一些示例中,第二MVD是在对称运动矢量差(SMVD)模式下由第一MVD推导出的。
在一些示例中,所推导出的第二MVD的水平分量和/或垂直分量局限在预定义范围内。
在一些示例中,根据该预定义范围对所推导出的第二MVD的水平分量和/或垂直分量进行裁剪或有条件地修改。
例如,Mz被裁剪成Mz=Clip3(-2N,2N-1,Mz),其中,Mz表示所推导出的第二MVD的水平分量或垂直分量,N为整数,其中
Figure BDA0003324968730000581
在一些示例中,N=15,16,17或18。
例如,Mz被裁剪成Mz=Clip3(-2N+1,2N-1,Mz),其中,Mz表示所推导出的第二MVD的水平分量或垂直分量,N为整数。
在一些示例中,N=15,16,17或18。
在一些示例中,Mz被修改成Mz=2N-1(如果Mz=2N),其中,Mz表示所推导出的第二MVD的水平分量或垂直分量,N为整数。
在一些示例中,N=15,16,17或18。
在一些示例中,在一致性比特流中,所推导出的第二MVD的水平分量和/或垂直分量处于预定义范围内。
在一些示例中,在一致性比特流中,所推导出的第二MVD的水平分量和/或垂直分量处于[-2N,2N-1](含端点)范围内。
在一些示例中,N=15,16,17或18。
在一个示例中,在一致性比特流中,所推导出的第二MVD的水平分量和/或垂直分量处于[-2N+1,2N-1](含端点)范围内。
在一些示例中,N=15,16,17或18。
在一些示例中,根据第一预定义范围裁剪或者有条件地修改第一MVD的水平分量和/或垂直分量,从而使所推导出的第二MVD的水平分量和/或垂直分量处于第二预定义范围内。
例如,Mz被裁剪成Mz=Clip3(-2N+1,2N-1,Mz),其中,Mz表示第一MVD的水平分量或垂直分量,N为整数,其中
Figure BDA0003324968730000582
在一些示例中,N=15,16,17或18。
在一些示例中,Mz被修改成Mz=-2N+1(如果Mz=-2N),其中,Mz表示第一MVD的水平分量或垂直分量,N为整数。
在一些示例中,N=15,16,17或18。
在一些示例中,第一MVD的水平分量和/或垂直分量处于第一预定义范围内,从而使所推导出的第二MVD的水平分量和/或垂直分量在一致性比特流中处于第二预定义范围内。
在一些示例中,第一预定义范围可以不同于信令通知MVD的预定义范围,其中,不应用SMVD模式。
在一些示例中,在一致性比特流中,第一MVD的水平分量和/或垂直分量处于[-2N+1,2N-1](含端点)范围内,N为整数。
在一些示例中,N=15,16,17或18。
在一些示例中,在一致性比特流中,第一MVD的水平分量和/或垂直分量处于[-2N+1,2N-1](含端点)范围内,N为整数。
在一些示例中,第一MVD是信令通知MVD,对于SMVD模式或其他由另一参考图片列表推导MVD的工具而言以及对于非SMVD编解码工具而言,该信令通知MVD受到不同设置。
在一些示例中,信令通知MVD处于[-2N+SMVDFlag,2N-1]的范围内,其中,在应用SMVD模式时,SMVDFlag等于1,在不应用SMVD模式时,SMVDFlag等于0。
在一些示例中,在根据与MVD相关联的MV的精确度修改MVD之前执行对MVD的裁剪或约束。
在一些示例中,在根据与MVD相关联的MV的精确度修改MVD之后执行对MVD的裁剪或约束。
在一些示例中,对MVD的裁剪或约束取决于与MVD相关联的MV的精确度。
在一些示例中,该转换由比特流表示生成视频的块。
在一些示例中,该转换由视频的块生成比特流表示。
在本文件中的示例的列举当中,转换一词可以指为当前视频块生成比特流表示或者由比特流表示生成当前视频块。比特流表示未必表示连续的比特群组,而是可以被划分成包含到标头字段或者表示编解码像素值信息的码字当中的比特。
在上文的示例当中,适用性规则可以是预定义的,并且是编码器和解码器已知的。
应当认识到,所公开的技术可以被体现到视频编码器或解码器当中,从而利用包括有关帧内编解码中的差分编解码模式的使用的考虑事项的各种实施规则的使用的技术来提高压缩效率,如本文件中所述。
本文件中描述的所公开的以及其他的解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实施,其包括本文中所公开的结构及其结构等价方案或者它们当中的一者或多者的组合。所公开的实施例和其他实施例可以被实施成一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括(例如)可编程处理器、计算机或者多个处理器或计算机。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或者它们当中的一者或多者的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成为对信息编码,以便传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以按照任何形式部署,包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件(例如,存储在标记语言文档中的一个或多个脚本)的部分中,专用于该程序的单个文件中,或者多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个或多个计算机上执行,这一个或多个计算机位于一个站点上,或者跨越多个站点分布并通过通信网络互连。
本说明书中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行,从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路来执行,并且装置也可以被实施成专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。一般来讲,处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是执行指令的处理器以及存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或被操作性地耦接为从一个或多个大容量存储设备接收数据或向其传输数据,或两者兼有。然而,计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括(例如)半导体存储设备,例如EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例的具体特征的描述。本专利文件在各单独实施例的语境下描述的某些特征也可以在单个实施例中组合实施。相反地,在单个实施例的语境下描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施例中实施。此外,虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求对其的权利保护,但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除,并且要求权利保护的组合可涉及子组合或子组合的变型。
类似地,尽管附图中以特定顺序描述了操作,但这不应被理解为要获得想要的结果必须按照所示的特定顺序或者按照顺次排序执行此类操作,或者必须执行所有例示操作。此外,在本专利文件中描述的实施例当中对各种系统部件的划分不应被理解为在所有实施例中都要求这样的划分。
仅描述了一些实施方式和示例,其他实施方式、增强和变化可以基于本专利文件中描述和说明的内容做出。

Claims (96)

1.一种用于处理视频的方法,包括:
针对视频的当前图片的块与第一块的比特流表示之间的转换,基于所述块的编解码信息确定对称运动矢量差(SMVD)模式对于所述块是否是允许的;以及
基于所述确定执行所述转换。
2.根据权利要求1所述的方法,其中,在SMVD模式下,仅针对包括参考列表X和参考列表Y在内的两个参考列表中的参考列表Y信令通知运动矢量差(MVD),其中,Y=1-X,并且参考列表Y中的信令通知的MVD用于推导参考列表X中的MVD,其中,X=0或1。
3.根据权利要求2所述的方法,其中,X=0。
4.根据权利要求1-2中的任何一项所述的方法,其中,所述编解码信息包括指示参考列表X中的MVD是否被强制为零的标志,X=0或1。
5.根据权利要求4所述的方法,其中,即使在所述标志指示参考列表X中的MVD被强制为零时,对于所述块仍然允许SMVD模式。
6.根据权利要求5所述的方法,其中,当所述标志指示参考列表1中的MVD被强制为零时,参考列表1中的MVD被强制为零,并且对于所述块允许SMVD模式。
7.根据权利要求5所述的方法,其中,当所述标志指示参考列表1中的MVD被强制为零时,参考列表1中的MVD不被强制为零,而是由参考列表0中的关联MVD推导出,并且对于所述块允许SMVD模式。
8.根据权利要求4所述的方法,其中,在所述标志指示参考列表X中的MVD被强制为零时,对于所述块不允许SMVD模式。
9.根据权利要求8所述的方法,其中,在不允许SMVD模式时,SMVD模式的所有相关语法元素都是隐式推导的,而非信令通知的。
10.根据权利要求2-9中的任何一项所述的方法,其中,通过所述比特流中的指示对需要为其信令通知MVD的参考列表Y进行信令通知。
11.根据权利要求10所述的方法,其中,在序列级、图片级、条带级、片级、视频单元级中的至少一者当中信令通知所述指示。
12.根据权利要求11所述的方法,其中,在序列参数集(SPS)和图片参数集(PPS)、图片标头、条带标头和片组标头中的至少一者当中信令通知所述指示。
13.根据权利要求2-9中的任何一项所述的方法,其中,根据参考列表中的参考图片推导出需要为其信令通知MVD的参考列表Y。
14.根据权利要求13所述的方法,其中,根据两个参考列表中的两个参考图片以及对应的两个参数Abs(currPocDiffL0)和Abs(currPocDiffL1)推导出需要为其信令通知MVD的参考列表Y,其中,Abs(currPocDiffL0)指示从当前图片到参考列表0中的参考图片的POC(图片顺序计数)距离的绝对值,并且Abs(currPocDiffL1)指示从当前图片到参考列表1中的参考图片的POC距离的绝对值。
15.根据权利要求14所述的方法,其中,如果Abs(currPocDiffL0)大于Abs(currPocDiffL1),那么信令通知参考列表0的MVD,否则,信令通知参考列表1的MVD。
16.根据权利要求14所述的方法,其中,如果Abs(currPocDiffL0)大于Abs(currPocDiffL1),那么信令通知参考列表1的MVD,否则,信令通知参考列表0的MVD。
17.根据权利要求14所述的方法,其中,如果Abs(currPocDiffL0)大于或者等于Abs(currPocDiffL1),那么信令通知参考列表0的MVD,否则,信令通知参考列表1的MVD。
18.根据权利要求14所述的方法,其中,如果Abs(currPocDiffL0)大于或者等于Abs(currPocDiffL1),那么信令通知参考列表1的MVD,否则,信令通知参考列表0的MVD。
19.根据权利要求14所述的方法,其中,如果Abs(currPocDiffL0)等于Abs(currPocDiffL1),那么信令通知参考列表0的MVD,否则,信令通知参考列表1的MVD。
20.根据权利要求14所述的方法,其中,如果Abs(currPocDiffL0)等于Abs(currPocDiffL1),那么信令通知参考列表1的MVD,否则,信令通知参考列表0的MVD。
21.根据权利要求2-9中的任何一项所述的方法,其中,需要为其信令通知MVD的参考列表Y从一个视频单元到另一视频单元改变。
22.根据权利要求21所述的方法,其中,所述视频单元包括条带、片组、片、砖块和编解码单元(CU)中的至少一者。
23.根据权利要求22所述的方法,其中,参考列表Y的选择取决于所述块的相邻块的参考图片信息。
24.根据权利要求22所述的方法,其中,参考列表Y的选择取决于两个参考列表中的两个参考图片以及对应的两个参数PocDist0和PocDist1,其中,PocDist0是从参考列表0中的参考图片到当前图片的图片顺序计数(POC)距离的绝对值,并且PocDist1是从参考列表1中的参考图片到当前图片的POC距离的绝对值。
25.根据权利要求24所述的方法,其中,具有PocDist0和PocDist1之间的较小POC距离绝对值的参考列表被选作参考列表Y。
26.根据权利要求24所述的方法,其中,具有PocDist0和PocDist1之间的较大POC距离绝对值的参考列表被选作参考列表Y。
27.根据权利要求24所述的方法,其中,如果PocDist0和PocDist1相等,那么参考列表0或者参考列表1被选作参考列表Y。
28.根据权利要求1所述的方法,其中,在SMVD模式下,两个参考图片两者均选自同一参考列表。
29.根据权利要求28所述的方法,其中,所述两个参考图片之一是前向参考图片,其POC小于当前POC,并且另一个参考图片是后向参考图片,其POC大于当前POC。
30.根据权利要求29所述的方法,其中,检查参考列表0和参考列表1内的所有参考图片,从而找到第一参考图片和第二参考图片,所述第一参考图片的POC在所有小于当前POC的参考图片POC中最接近当前POC,所述第二参考图片的POC在所有大于当前POC的参考图片POC中最接近当前POC。
31.根据权利要求1-30中的任何一项所述的方法,其中,SMVD模式包括目标参考图片的推导过程,所述推导过程包括搜索参考列表0内的前向目标参考图片并且搜索参考列表1内的后向目标参考图片的第一步骤以及搜索参考列表0内的后向目标参考图片并且搜索参考列表1内的前向目标参考图片的第二步骤。
32.根据权利要求31所述的方法,其中,当从所述第一步骤发现所述目标参考图片中的至少一者时,跳过SMVD模式的所述第二步骤。
33.根据权利要求32所述的方法,其中,如果一个目标参考图片是在参考列表0中发现的,并且在参考列表1中没有发现目标参考图片,那么跳过SMVD模式的所述第二步骤。
34.根据权利要求32所述的方法,其中,如果在参考列表0中没有发现目标参考图片,并且一个目标参考图片是在参考列表1中发现的,那么跳过SMVD模式的所述第二步骤。
35.根据权利要求32所述的方法,其中,当未从所述第一步骤发现所述目标参考图片中的至少一者时,不允许SMVD模式,并且跳过所有SMVD相关语法的信令。
36.根据权利要求31-35中的任何一项所述的方法,其中,在所述的目标参考图片的推导过程中发现的两个目标参考图片包括前向参考图片和后向参考图片,所述前向参考图片的POC小于当前图片,并且所述后向参考图片的POC大于当前图片。
37.根据权利要求36所述的方法,其中,在所述的两个目标参考图片的推导过程之后,检查所述两个目标参考图片的POC,并且如果所述两个目标参考图片两者均具有小于当前图片的POC或者均具有大于当前图片的POC,则将所述目标参考图片重置为不可用。
38.根据权利要求37所述的方法,其中,可以通过将RefIdxSymL0和RefIdxSymL1重置为-1而将所述目标参考图片重置为不可用,其中,RefIdxSymL0是参考列表0中的目标参考图片的索引,并且RefIdxSymL1是参考列表0中的目标参考图片的索引。
39.根据权利要求36所述的方法,其中,当(RefIdxSymL1!=-1&&RefIdxSymL0!=-1&&DiffPicOrderCnt(currPic,RefPicList[0][RefIdxSymL1])*DiffPicOrderCnt(currPic,RefPicList[1][RefIdxSymL1])>0)为真时,将所述目标参考图片重置为不可用,其中,DiffPicOrderCnt(pic0,pic1)返回从图片pic0到图片pic1的POC距离。
40.根据权利要求1-30中的任何一项所述的方法,其中,SMVD模式包括目标参考图片的推导过程,其去除了从参考列表0寻找前向参考图片并且从参考列表1寻找后向参考图片或者从参考列表1寻找前向参考图片并且从参考列表0寻找后向参考图片的限制。
41.根据权利要求40所述的方法,其中,采用包括第一检查和第二检查在内的两项相关检查推导出SMVD模式中使用的目标参考图片,每一检查用于参考列表0和参考列表1之一。
42.根据权利要求41所述的方法,其中,所述第一检查将寻找参考列表X中的一个参考图片,其中X为0或1,并且所述第二检查将根据所述第一检查的输出以及参考列表Y中的参考图片寻找参考列表Y中的一个参考图片,Y=1-X。
43.根据权利要求42所述的方法,其中,针对参考列表X,计算每一参考图片与当前图片之间的POC距离,而不管其根据既定顺序是前向还是后向的。
44.根据权利要求43所述的方法,其中,该既定顺序是参考图片索引的升序/将序。
45.根据权利要求43或44所述的方法,其中,具有最小POC距离的参考图片被选作参考列表X的目标参考图片,并且通过RefInLX表示。
46.根据权利要求43或44所述的方法,其中,具有最大POC距离的参考图片被选作参考列表X的目标参考图片,并且通过RefInLX表示。
47.根据权利要求45或46所述的方法,其中,根据参考图片RefInLX从参考列表Y选择一个参考图片作为参考列表Y的目标参考图片。
48.根据权利要求47所述的方法,其中,如果参考图片RefInLX具有相较于当前图片的较小POC距离,那么参考列表Y的目标参考图片具有相较于当前图片的较大POC距离。
49.根据权利要求47所述的方法,其中,如果参考图片RefInLX具有相较于当前图片的较大POC距离,那么参考列表Y的目标参考图片具有相较于当前图片的较小POC距离。
50.根据权利要求47所述的方法,其中,如果参考图片RefInLX是前向参考图片,那么参考列表Y的目标参考图片是所有后向参考图片中具有相较于当前图片的最小POC距离的那个参考图片。
51.根据权利要求47所述的方法,其中,如果参考图片RefInLX是后向参考图片,那么参考列表Y的目标参考图片是所有前向参考图片中具有相较于当前图片的最小POC距离的那个参考图片。
52.根据权利要求1-2中的任何一项所述的方法,其中,所述编解码信息包括运动矢量(MV)信息、所述块的MVD精确度信息以及双向预测中的预测样点的权重中的至少一者。
53.根据权利要求52所述的方法,其中,在为各双向预测块选择不等权重时不允许SMVD模式。
54.根据权利要求53所述的方法,其中,在不允许SMVD模式时,与SMVD模式相关的所有相关语法元素都不被信令通知和/或隐式推导。
55.根据权利要求52所述的方法,其中,在SMVD模式内不允许不等权重。
56.根据权利要求55所述的方法,其中,在不允许不等权重时,与不等权重相关的所有语法元素都不被信令通知和/或隐式推导。
57.根据权利要求55所述的方法,其中,对于某一MVD精确度和/或MV精确度,不允许SMVD模式。
58.根据权利要求57所述的方法,其中,对于N像素MVD精确度和/或MV精确度不允许SMVD模式,其中,N=1或4。
59.根据权利要求58所述的方法,其中,在SMVD模式下仅允许MVD精确度和/或MV精确度,N=1/4。
60.根据权利要求52-59中的任何一项所述的方法,其中,在不允许SMVD模式时,与SMVD模式相关的所有语法元素都不被信令通知和隐式推导。
61.根据权利要求57所述的方法,其中,在SMVD模式内不允许自适应运动矢量差分辨率(AMVR)。
62.根据权利要求61所述的方法,其中,在不允许AMVR时,与AMVR相关的所有语法元素都不被信令通知和隐式推导。
63.根据权利要求1-62中的任何一项所述的方法,其中,在SMVD模式中启用解码器侧运动矢量细化(DMVR)或/和其他解码器侧运动矢量推导(DMVD)方法。
64.根据权利要求63所述的方法,其中,在SMVD模式下,如果MV和/或MVD精确度为N像素,那么采用DMVR或/和其他DMVD方法通过参数mvdDmvr细化MVD,mvdDmvr具有M像素精确度,其中,N、M=1/16、1/8、1/4、1/2、1、2、4、8或16。
65.根据权利要求64所述的方法,其中,M小于或者等于N。
66.根据权利要求63所述的方法,其中,在SMVD模式中,MVD是通过DMVR或/和其他DMVD方法推导的而非被信令通知的。
67.根据权利要求63所述的方法,其中,在SMVD模式中,不对AMVR信息进行信令通知,并且MV/MVD精确度被推导为具有预定义值,其中,所述预定义值为1/4像素精确度。
68.根据权利要求63所述的方法,其中,在SMVD模式中,对是否应用DMVR或/和其他DMVD方法的指示进行信令通知。
69.根据权利要求68所述的方法,其中,如果应用DMVR或/和其他DMVD方法,那么不对MVD进行信令通知。
70.根据权利要求63所述的方法,其中,对于某些MV和/或MVD精确度对所述指示进行信令通知。
71.根据权利要求70所述的方法,其中,对于1像素或/和4像素MV和/或MVD精确度对所述指示进行信令通知。
72.根据权利要求70所述的方法,其中,仅当PocDist0等于PocDist1时对所述指示进行信令通知,其中,PocDist0是当前图片与Ref0之间的POC距离,并且PocDist1是当前图片与Ref1之间的POC距离,并且按照显示顺序,Ref0是当前图片的在先图片,Ref1是当前图片的随后图片。
73.根据权利要求70所述的方法,其中,仅当PocDist0等于PocDist1时对所述指示进行信令通知,其中,PocDist0是当前图片与Ref0之间的POC距离,并且PocDist1是当前图片与Ref1之间的POC距离,并且按照显示顺序,Ref0是当前图片的随后图片,Ref1是当前图片的在先图片。
74.根据权利要求1-2中的任何一项所述的方法,其中,在SMVD模式下,是否允许全零MVD取决于所述块的编解码信息,其包括所述块的SMVD模式信息和运动信息。
75.根据权利要求74所述的方法,其中,在SMVD模式内不允许全零MVD。
76.根据权利要求74所述的方法,其中,如果在SMVD模式内水平MVD为零,那么在编码之前,如果垂直MVD为正,则使垂直MVD下降1,或者如果垂直MVD为负,则使垂直MVD提高1,并且在解码之后,如果垂直MVD为正,则使垂直MVD提高1,或者如果MVD为负,则使垂直MVD下降1。
77.根据权利要求74所述的方法,其中,如果在SMVD模式内垂直MVD为零,那么在编码之前,如果水平MVD为正,则使水平MVD下降1,或者如果水平MVD为负,则使水平MVD提高1,并且在编码之后,如果水平MVD为正,则使水平MVD提高1,或者如果水平MVD为负则使水平MVD下降1。
78.根据权利要求1-2中的任何一项所述的方法,其中,在SMVD模式下,为找到到当前图片具有相等距离的两个目标参考图片而非为找到最近参考图片赋予更高优先级。
79.根据权利要求78所述的方法,其中,当在参考列表0和参考列表1中有通过其中i为[0,N-1]的(RefL0i,RefL1i)表示的N对参考图片时,所述N对之一被选作在SMVD模式下使用的目标两个参考图片,其中N为整数。
80.根据权利要求79所述的方法,其中,对于一对参考图片,一个参考图片来自参考列表0,并且另一参考图片来自参考列表1。
81.根据权利要求79或80所述的方法,其中,对于一对参考图片,一个参考图片是来自参考列表0的前向参考图片,并且另一参考图片是来自参考列表1的后向参考图片。
82.根据权利要求79或80所述的方法,其中,对于一对参考图片,一个参考图片是来自参考列表0的后向参考图片,并且另一参考图片是来自参考列表1的前向参考图片。
83.根据权利要求79或80所述的方法,其中,对于一对参考图片,一个参考图片是后向参考图片,并且另一个参考图片是前向参考图片,其中,两者均来自同一参考图片列表。
84.根据权利要求78所述的方法,其中,当在参考列表0和参考列表1中有通过其中i为[0,N-1]的(RefL0i,RefL1i)表示的N对参考图片时,所述N对中到当前图片具有最小或最大POC距离绝对值的一对被选作在SMVD模式下使用的目标两个参考图片,其中N为整数。
85.根据权利要求78所述的方法,其中,当在参考列表0和参考列表1中没有到当前图片具有相等距离的成对参考图片时,根据到当前图片的POC距离选择目标参考图片。
86.根据权利要求1-2中的任何一项所述的方法,其中,当两个目标参考图片具有到当前图片的不等距离时,不允许SMVD模式。
87.根据权利要求86所述的方法,其中,跳过包括sym_mvd_flag的SMVD相关语法元素的信令,并且SMVD模式被推断为不被使用。
88.根据权利要求2所述的方法,其中,参考图片列表X的MVD是根据两个参考图片与当前图片的POC距离由参考图片列表Y的信令通知的MVD推导的。
89.根据权利要求88所述的方法,其中,当参考列表Y的信令通知的MVD是具有其通过MvdLY[0]和MvdLY[1]表示的水平分量和垂直分量的MvdLY时,通过(MvdLX[0],MvdLX[1])表示的参考列表X的MVD的推导如下:
MvdLX[0]=MvdLY[0]*(POC(列表X中的targetRef)-POC(当前图片))/(POC(列表Y中的targetRef)-POC(当前图片)),并且
MvdLX[1]=MvdLY[1]*(POC(列表X中的targetRef)-POC(当前图片))/(POC(列表Y中的targetRef)-POC(当前图片)),
其中,POC(列表X中的targetRef)是参考列表X中的参考图片的POC,POC(列表Y中的targetRef)是参考列表X中的参考图片的POC,并且POC(当前图片)是当前图片的POC。
90.根据权利要求88所述的方法,其中,在SMVD模式下,在推导参考列表X的MVD时,根据各POC距离对参考列表Y中的MVD进行缩放,而不是使用参考列表Y的相反MVD作为参考列表X的MVD,其中,X=1。
91.根据权利要求88所述的方法,其中,在SMVD模式下,在推导参考列表X的MVD时,根据各POC距离对参考列表Y中的MVD进行缩放,而不是使用参考列表Y的相反MVD作为参考列表X的MVD,其中,X=0。
92.一种用于处理视频的方法,包括:
针对视频块和第一块的比特流表示之间的转换,根据权利要求1-91中的任何一项所述的方法,确定对称运动矢量(SMV)模式对于所述块是否是允许的;以及
基于所述确定执行所述转换。
93.根据权利要求1-92中的任何一项所述的方法,其中,所述转换从所述比特流表示生成所述视频块。
94.根据权利要求1-92中的任何一项所述的方法,其中,所述转换从所述视频块生成所述比特流表示。
95.一种处于视频系统中的装置,包括处理器以及具有位于其上的指令的非暂时性存储器,其中,所述指令在被所述处理器执行时使得所述处理器实施根据权利要求1到94中的任何一项所述的方法。
96.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于实施根据权利要求1到94中的任何一项所述的方法的程序代码。
CN202080031971.6A 2019-04-28 2020-04-28 对称运动矢量差编解码 Pending CN113767638A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2019084768 2019-04-28
CNPCT/CN2019/084768 2019-04-28
CN2019087201 2019-05-16
CNPCT/CN2019/087201 2019-05-16
PCT/CN2020/087535 WO2020221256A1 (en) 2019-04-28 2020-04-28 Symmetric motion vector difference coding

Publications (1)

Publication Number Publication Date
CN113767638A true CN113767638A (zh) 2021-12-07

Family

ID=73029678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080031971.6A Pending CN113767638A (zh) 2019-04-28 2020-04-28 对称运动矢量差编解码

Country Status (2)

Country Link
CN (1) CN113767638A (zh)
WO (1) WO2020221256A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251324A1 (ko) * 2019-06-14 2020-12-17 엘지전자 주식회사 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치
JP7365434B2 (ja) * 2019-06-24 2023-10-19 エルジー エレクトロニクス インコーポレイティド インター予測に基づく画像コーディング方法および装置
KR102640263B1 (ko) * 2019-06-24 2024-02-23 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
JP7335365B2 (ja) * 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置
WO2023167439A1 (ko) * 2022-03-03 2023-09-07 현대자동차주식회사 움직임벡터 차분의 유도를 이용하는 비디오 코딩을 위한 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293010A1 (en) * 2010-05-26 2011-12-01 Je Chang Jeong Method of Predicting Motion Vectors in Video Codec in Which Multiple References are Allowed, and Motion Vector Encoding/Decoding Apparatus Using the Same
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN107409225A (zh) * 2015-03-27 2017-11-28 高通股份有限公司 视频译码中运动信息推导模式确定
US20180091816A1 (en) * 2016-09-29 2018-03-29 Qualcomm Incorporated Motion vector coding for video coding
CN107925760A (zh) * 2015-08-23 2018-04-17 Lg 电子株式会社 基于间预测模式的图像处理方法及其装置
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN108293131A (zh) * 2015-11-20 2018-07-17 联发科技股份有限公司 用于视频编解码的运动矢量预测或者运动补偿的方法和装置
US20180278949A1 (en) * 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
CN109417630A (zh) * 2016-06-30 2019-03-01 交互数字Vc控股公司 利用自动运动信息细化的视频译码的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293010A1 (en) * 2010-05-26 2011-12-01 Je Chang Jeong Method of Predicting Motion Vectors in Video Codec in Which Multiple References are Allowed, and Motion Vector Encoding/Decoding Apparatus Using the Same
CN107409225A (zh) * 2015-03-27 2017-11-28 高通股份有限公司 视频译码中运动信息推导模式确定
CN107534766A (zh) * 2015-03-27 2018-01-02 高通股份有限公司 于视频译码中针对子块推导运动信息
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN107925760A (zh) * 2015-08-23 2018-04-17 Lg 电子株式会社 基于间预测模式的图像处理方法及其装置
CN108293131A (zh) * 2015-11-20 2018-07-17 联发科技股份有限公司 用于视频编解码的运动矢量预测或者运动补偿的方法和装置
CN109417630A (zh) * 2016-06-30 2019-03-01 交互数字Vc控股公司 利用自动运动信息细化的视频译码的方法和装置
US20180091816A1 (en) * 2016-09-29 2018-03-29 Qualcomm Incorporated Motion vector coding for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US20180278949A1 (en) * 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "Versatile Video Coding (Draft 4)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》, pages 7 *
JIANCONG LUO: "CE4-related: Simplified symmetric MVD based on CE4.4.3", 《 JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》, pages 1 *
JIANCONG LUO: "CE4-related: Simplified symmetric MVD based on CE4.4.3", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》, pages 1 *

Also Published As

Publication number Publication date
WO2020221256A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN113767637B (zh) 对称运动矢量差编解码
CN113424525B (zh) 解码器侧细化工具的尺寸选择性应用
US20240073429A1 (en) Restriction Of Applicability For Intra Block Copy Mode
CN113924771B (zh) 子块Merge模式中的语法信令
CN113767638A (zh) 对称运动矢量差编解码
CN110662077B (zh) 用于视频编解码的对称性双向预测模式
US20210352309A1 (en) Method for local illumination compensation
US20210360256A1 (en) Interaction between mv precisions and mv difference coding
WO2020211755A1 (en) Motion vector and prediction sample refinement
CN114270856A (zh) 视频处理中的备选插值滤波器的选择性使用
CN115280774A (zh) 在仿射模式下与运动向量差分merge
CN113557735A (zh) 运动候选列表构造的改进
WO2020143643A1 (en) Control method for merge with mvd
CN113994682A (zh) 具有默认参数的基于历史的运动矢量预测
CN113661709A (zh) 仿射高级运动矢量预测中的运动信息精度对齐
WO2020140907A1 (en) Interaction between merge with mvd and amvr
US20220264143A1 (en) Coded representation of history-based motion vector prediction tables
CN114097219A (zh) 基于历史的运动矢量预测表中的运动信息的存储

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination