CN117395397A - 使用临近块信息的运动候选列表构建 - Google Patents

使用临近块信息的运动候选列表构建 Download PDF

Info

Publication number
CN117395397A
CN117395397A CN202311359753.7A CN202311359753A CN117395397A CN 117395397 A CN117395397 A CN 117395397A CN 202311359753 A CN202311359753 A CN 202311359753A CN 117395397 A CN117395397 A CN 117395397A
Authority
CN
China
Prior art keywords
block
candidate
motion
motion information
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311359753.7A
Other languages
English (en)
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN117395397A publication Critical patent/CN117395397A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种视觉媒体处理方法,包括:对于视觉媒体数据的第一视频块与所述视觉媒体数据的比特流之间的转换,使用规则来确定所述视觉媒体数据的第二视频块的可用性;以及基于所述确定来执行所述转换,其中所述规则至少基于用于将所述第一视频块编码成所述比特流的编解码模式,其中,所述规则规定通过将第二视频块视为不可用来不允许在第一块的Merge列表构建中使用第二视频块的运动信息。

Description

使用临近块信息的运动候选列表构建
相关申请的交叉引用
本申请是申请日为2020年6月4日、申请号为202080041790.1的发明专利申请的分案申请,申请号为202080041790.1的发明专利申请是2020年6月4日提交的国际专利申请NO.PCT/CN2020/094310的中国国家阶段申请,其要求于2019年6月4日提交的国际专利申请号PCT/CN2019/089970以及于2019年9月7日提交的国际专利申请号PCT/CN2019/104810的优先权和利益。将前述申请的全部公开以参考方式并入本文,作为本申请公开的一部分。
技术领域
本申请文件涉及视频和图像编码和解码技术。
背景技术
在互联网和其他数字通信网络中,数字视频占用的带宽最大。随着能够接收和显示视频的连接用户设备数目的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可由视频或图像解码器或编码器实施例使用,以执行使用非矩形分割(诸如三角分割模式)的视频比特流编码或解码。
在一个示例方面,公开了一种视觉媒体处理方法。所述方法包括:对于视觉媒体数据的第一视频块与所述视觉媒体数据的比特流之间的转换,使用规则来确定所述视觉媒体数据的第二视频块的可用性;以及基于所述确定来执行所述转换,其中所述规则至少基于用于将所述第一视频块编码成所述比特流的编解码模式,其中,所述规则规定通过将第二视频块视为不可用来不允许在第一块的Merge列表构建中使用第二视频块的运动信息。
在一个示例方面,公开了一种视觉媒体处理方法。所述方法包括:对于视觉媒体数据的第一视频块与所述视觉媒体数据的比特流之间的转换,使用规则来确定所述视觉媒体数据的第二视频块的可用性;以及基于所述确定来执行所述转换,其中所述规则规定在所述视觉媒体数据的一个或多个位置处对所述第二视频块使用可用性检查处理。
在一个示例方面,公开了一种视觉媒体处理方法。所述方法包括:对于视觉媒体数据的当前视频块与所述视觉媒体数据的比特流之间的转换,确定用于构建当前视频块的帧内块复制运动列表的两个位置;以及基于所述帧内块复制运动列表来执行所述转换。
在一个示例方面,公开了一种视觉媒体处理方法。所述方法包括:对于视觉媒体数据的当前视频块与所述视觉媒体数据的比特流之间的转换,基于规则来确定用于推导当前视频块的组合帧内帧间预测的一个或多个权重的临近块的可用性;以及基于所述确定来执行所述转换,其中,所述一个或多个权重包括分配给当前视频块的帧间预测的第一权重和分配给当前视频块的帧内预测的第二权重;其中,所述规则排除当前视频块和临近块的编解码模式的比较的使用。
在另一示例方面,上述方法可以由包含处理器的视频解码器装置实施。
在另一示例方面,上述方法可以由包含处理器的视频编码器装置实施。
在又一示例方面,这些方法可以体现为处理器可执行指令的形式并被存储在计算机可读程序介质上。
将在本申请文件中进一步描述这些和其他方面。
附图说明
图1示出了Merge候选列表构建的推导处理。
图2示出了空域Merge候选的位置的示例。
图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。
图4示出了N×2N和2N×N分割的第二个PU的示例位置。
图5示出了用于时域Merge候选的运动矢量缩放的图示的示例。
图6示出了时域Merge候选的候选位置C0和C1的示例。
图7示出了组合双向预测Merge候选的示例。
图8示出了运动矢量预测候选的推导处理的示例。
图9示出了用于空域运动矢量候选的运动矢量缩放的示例图示。
图10示出了用于4-参数仿射模式(左)和6-参数仿射模型(右)的示例简化仿射运动模型。
图11示出了每个子块的仿射运动矢量场的示例。
图12示出了仿射Merge模式的示例候选位置。
图13示出了修改的Merge列表构建过程的示例。
图14示出了基于三角分割的帧间预测的示例。
图15示出了应用第一加权因子组的CU的示例。
图16示出了运动矢量存储的示例。
图17示出了最终运动矢量表达(UMVE)搜索处理的示例。
图18示出了UMVE搜索点的示例。
图19示出了在DMVR中的列表0和列表1之间镜像的MVD(0,1)的示例。
图20示出了可在一次迭代中检查的MV。
图21是帧内块复制的示例。
图22是视频处理装置的示例的框图。
图23是视频处理方法的示例的流程图。
图24示出了共享Merge区域(具有16×4尺寸的SMR)和SMR下的3个CU的示例。
图25是其中可实施所公开的技术的示例视频处理系统的框图。
图26是视觉媒体处理方法的示例的流程图。
图27是视觉媒体处理方法的示例的流程图。
图28是视觉媒体处理方法的示例的流程图。
图29是视觉媒体处理方法的示例的流程图。
具体实施方式
本文提供了可由图像或视频比特流的解码器用于提高解压缩或解码数字视频或图像的质量的各种技术。为简洁起见,本文使用术语“视频”来包括图片序列(常规上称为视频)和单独的图像。此外,视频编码器也可以在编码处理期间实现这些技术,以便重构用于进一步编码的解码帧。
为了便于理解,在本文中使用章节标题,并且不将实施例和技术限制在相应的章节中。因此,来自一个章节的实施例可以与来自其他章节的实施例组合。
1.综述
本文涉及视频编解码技术。具体地,本文涉及包括三角预测模式的Merge编码。其可应用于如HEVC的现有的视频编码标准,或待定案的标准(多功能视频编码)。其也可能适用于未来的视频编码标准或视频编解码器。
2.初始讨论
视频编码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视觉,并且这两个组织联合制作了H.262/MPEG-2视频、H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC[1]标准。自H.262以来,视频编码标准基于混合视频编码结构,其中采用了时域预测加变换编码。为了探索HEVC以外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后,JVET采纳了许多新方法并将其引入到名为联合探索模型(JEM)[3][4]的参考软件中。在2018年4月,成立了VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET),以致力于目标在于相比HEVC降低50%比特率的VVC标准。
可以在以下网址找到最新版本的VVC草案,即多功能视频编码(草案5):http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N1001-v7.zip
可以在以下网址找到名为VTM的VVC的最新参考软件:https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-5.0
2.1HEVC/H.265中的帧间预测
对于帧间编解码的编解码单元(CU),可以根据分割模式利用一个预测单元(PU)、2个PU对其进行编码。
每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可显式地编码为相对于预测器的增量。
当CU采用跳过模式编解码时,一个PU与CU相关联,并且没有显著的残差系数,没有编码的运动矢量增量或参考图片索引。指定了一种Merge模式,通过该模式,可以从临近的PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU,而不仅仅是跳过模式。Merge模式的另一种选择是运动参数的显式传输,其中运动矢量(更精确地,与运动矢量预测器相比的运动矢量差(MVD))、每个参考图片列表的对应的参考图片索引、以及参考图片列表的使用都会根据每个PU显式地信令通知。在本公开中,这样的模式被命名为高级运动矢量预测(AMVP)。
当信令指示要使用两个参考图片列表中的一个时,从样点的一个块中生成PU。这被称为“单向预测”。单向预测对P条带(slice)和B条带都可用。
当信令指示要使用两个参考图片列表时,从样点的两个块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用[2]。
下文提供了在HEVC中规定的关于帧间预测模式的细节。描述将从Merge模式开始。
2.1.1参考图片列表
在HEVC中,术语帧间预测用于表示从除了当前解码图片之外的参考图片的数据元素(例如,样点值或运动矢量)导出的预测。如在H.264/AVC中一样,可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪些参考图片应用于创建预测信号。
单个参考图片列表(列表0)被用于P条带,并且两个参考图片列表(列表0和列表1)被用于B条带。需要注意的是,列表0/1中包含的参考图片就捕获/显示顺序而言可以来自过去和将来的图片。
2.1.2Merge模式
2.1.2.1Merge模式候选的推导
当使用Merge模式来预测PU时,从比特流中解析指向Merge候选列表中的条目的索引,并将其用于检索运动信息。HEVC标准中规定了此列表的构建,并且能总结为以下步骤顺序:
·步骤1:初始候选推导
o步骤1.1:空域候选推导
o步骤1.2:空域候选的冗余检查
o步骤1.3:时域候选推导
·步骤2:附加候选插入
o步骤2.1:创建双向预测候选
o步骤2.2:插入零运动候选
在图1中也示意性地示出了这些步骤。对于空域Merge候选推导,在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导,在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数为常量,因此当从步骤1获得的候选数未达到条带标头中信令通知的Merge候选的最大数目(maxNumMergeCand)时,生成附加的候选。由于候选数是恒定的,所以最佳Merge候选的索引使用截断的一元二值化(TU)进行编码。如果CU的尺寸等于8,则当前CU的所有PU都共享单个Merge候选列表,这与2N×2N预测单元的Merge候选列表相同。
在下文中,详细描述与前述步骤相关联的操作。
2.1.2.2空域候选推导
在空域Merge候选的推导中,在位于图2所示位置的候选中最多选择四个Merge候选。推导顺序为A1,B1,B0,A0和B2。只有当位置A1,B1,B0,A0的任何PU不可用(例如,因为它属于另一个条带或片)或是帧内编码时,才考虑位置B2。在增加位置A1的候选后,对剩余候选的增加进行冗余检查,其确保具有相同运动信息的候选被排除在列表之外,从而提高编码效率。为了降低计算的复杂度,在所提到的冗余检查中并不考虑所有可能的候选对。相反,只有与图3中的箭头链接的对才会被考虑,并且只有当用于冗余检查的对应候选没有相同的运动信息时,才将候选添加到列表中。复制运动信息的另一个来源是与2Nx2N不同的分割相关的“第二PU”。例如,图4分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被分割为N×2N时,对于列表构建不考虑位置A1的候选。实际上,通过添加此候选可能导致两个具有相同运动信息的预测单元,这对于在编解码单元中仅具有一个PU是冗余的。同样地,当当前PU被分割为2N×N时,不考虑位置B1
2.1.2.3时域候选推导
在此步骤中,仅将一个候选添加至列表中。特别地,在推导此时域Merge候选中,基于并置图片中的并置PU来推导缩放运动矢量。获取时域Merge候选的缩放运动矢量(如图5中虚线所示),其使用POC距离tb和td从并置PU的运动矢量进行缩放,其中tb定义为当前图片的参考图片和当前图片之间的POC差,并且td定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引设置为零。HEVC规范[1]中描述了缩放处理的实际实现。对于B条带,得到两个运动矢量(一个是对于参考图片列表0,另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。
2.1.2.4并置图片和并置PU
当启用了TMVP时(即slice_temporal_mvp_enabled_flag等于1),按照以下推导表示并置图片的变量ColPic:
–如果当前条带是B条带,并且信令通知的collocated_from_l0_flag等于0,则将ColPic设置为等于RefPicList1[collocated_ref_idx]。
–否则(slice_type等于B并且collocated_from_l0_flag等于1,或者slice_type等于P),将ColPic设置为等于RefPicList0[collocated_ref_idx]。
其中,collocated_ref_idx和collocated_from_l0_flag是两个语法元素,其可以在条带标头中被信令通知。
在属于参考帧的并置PU(Y)中,在候选C0和C1之间选择时域候选的位置,如图6所示。如果位置C0处的PU不可用、是帧内编码的或在当前编解码树单元(CTU也称为LCU,最大编解码单元)行之外,则使用位置C1。否则,位置C0被用于时域Merge候选的推导。
相关语法元素描述如下:
7.3.6.1常规条带段标头语法
2.1.2.5推导TMVP候选的MV
更具体地,执行以下步骤以便推导TMVP候选:
1)设置参考图片列表X=0、目标参考图片为列表X中索引等于0的参考图片(即curr_ref)。调用并置运动矢量的推导处理,以获得指向curr_ref的列表X的MV。
2)如果当前条带为B条带,则设置参考图片列表X=1,目标参考图片为列表X中索引等于0的参考图片(即curr_ref)。调用并置运动矢量的推导处理以获得指向curr_ref的列表X的MV。
在下一子章节2.1.2.5.1中描述了并置运动矢量的推导处理。
2.1.2.5.1并置运动矢量的推导处理
对于并置块,可以使用单向预测或双向预测对其进行帧内或帧间编解码。如果是帧内编码的,则将TMVP候选设置为不可用。
如果其是来自列表A的单向预测,则列表A的运动矢量被缩放至目标参考图片列表X。
如果其是双向预测,并且目标参考图片列表为X,则列表A的运动矢量被缩放至目标参考图片列表X,并且根据以下规则来确定A:
-如果没有任何参考图片具有比当前图片更大POC值,则将A设置为等于X。
–否则,将A设置为等于collocated_from_l0_flag。
JCTVC-W1005-v4中的相关工作草案描述如下:
8.5.3.2.9并置运动矢量的推导处理
此处理的输入是:
-变量currPb,规定当前预测块,
-变量colPb,规定由ColPic规定的并置图片内部的并置预测块,
–亮度位置(xColPb,yColPb),规定相对于由ColPic规定的并置图片的左上亮度样点的由colPb规定的并置亮度预测块的左上样点,
-参考索引refIdxLX,其中X为0或1。
此处理的输出是:
-运动矢量预测mvLXCol,
-可用性标志availableFlagLXCol。
变量currPic规定当前图片。
将阵列predFlagL0Col[x][y]、mvL0Col[x][y]和refIdxL0Col[x][y]分别设置为等于由ColPic规定的并置图片的PredFlagL0[x][y]、MvL0[x][y]和RefIdxL0[x][y],并将阵列predFlagL1Col[x][y]、mvL1Col[x][y]和refIdxL1Col[x][y]分别设置为等于由ColPic规定的并置图片的PredFlagL1[x][y]、MvL1[x][y]和RefIdxL1[x][y]。
按照如下推导变量mvLXCol和availableFlagLXCol:
-如果以帧内预测模式对colPb进行编码,则将mvLXCol的两个分量均设置为0,并将availableFlagLXCol设置为0。
–否则,按照如下推导运动矢量mvCol、参考索引refIdxCol以及参考列表标识符listCol:
–如果predFlagL0Col[xColPb][yColPb]等于0,则将mvCol、refIdxCol和listCol分别设置为等于mvL1Col[xColPb][yColPb]、refIdxL1Col[xColPb][yColPb]和L1。
–否则,如果predFlagL0Col[xColPb][yColPb]等于1并且predFlagL1Col[xColPb][yColPb]等于0,则将mvCol、refIdxCol和listCol分别设置为等于mvL0Col[xColPb][yColPb]、refIdxL0Col[xColPb][yColPb]和L0。
–否则(predFlagL0Col[xColPb][yColPb]等于1并且predFlagL1Col[xColPb][yColPb]等于1),作出以下分配:
–如果NoBackwardPredFlag等于1,则将mvCol、refIdxCol和listCol分别设置为等于mvLXCol[xColPb][yColPb]、refIdxLXCol[xColPb][yColPb]和LX。
-否则,将mvCol、refIdxCol和listCol分别设置为等于mvLNCol[xColPb][yColPb]、refIdxLNCol[xColPb][yColPb]和LN,N为collocated_from_l0_flag的值。
以及按照如下推导mvLXCol和availableFlagLXCol:
–如果LongTermRefPic(currPic,currPb,refIdxLX,LX)不等于LongTermRefPic(ColPic,colPb,refIdxCol,listCol),则将mvLXCol的两个分量设置为等于0,并将availableFlagLXCol设置为等于0。
–否则,将变量availableFlagLXCol设置为等于1,将refPicListCol[refIdxCol]设置成条带的参考图片列表listCol中具有参考索引refIdxCol的图片,所述条带包含由ColPic规定的并置图片中的预测块colPb,以及适用以下内容:
colPocDiff=DiffPicOrderCnt(ColPic,refPicListCol[refIdxCol])(2-1)
currPocDiff=DiffPicOrderCnt(currPic,RefPicListX[refIdxLX])(2-2)
-如果RefPicListX[refIdxLX]是长期参考图片,或者colPocDiff等于currPocDiff,则按照如下推导mvLXCol:
mvLXCol=mvCol (2-3)
-否则,将mvLXCol推导为运动矢量mvCol的缩放版本,如下所示:
tx=(16384+(Abs(td)>>1))/td (2-4)
distScaleFactor=Clip3(-4096,4095,(tb*tx+32)>>6)(2-5)
mvLXCol=Clip3(-32768,32767,Sign(distScaleFactor*mvCol)*
((Abs(distScaleFactor*mvCol)+127)>>8)) (2-1)
其中,按照如下推导td和tb:
td=Clip3(-128,127,colPocDiff) (2-7)
tb=Clip3(-128,127,currPocDiff) (2-8)
NoBackwardPredFlag的定义是:
按照如下推导变量NoBackwardPredFlag:
-对于当前条带的RefPicList0或RefPicList1中的每个图片aPic,如果DiffPicOrderCnt(aPic,CurrPic)小于或等于0,则将NoBackwardPredFlag设置为等于1。
–否则,将NoBackwardPredFlag设置为等于0。
2.1.2.6插入附加候选
除了空域和时域Merge候选,还有两种附加类型的Merge候选:组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空域和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合,生成组合双向预测候选。如果这两个元组提供不同的运动假设,它们将形成新的双向预测候选。作为示例,图7示出了该情形,其中原始列表(在左侧)中具有MVL0和refIdxL0或MVL1和refIdxL1的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选。在[1]中定义了许多关于被认为生成这些附加Merge候选的组合的规则。
插入零运动候选以填充Merge候选列表中的其余条目,从而达到MaxNumMergeCand的容量。这些候选具有零空域位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。最后,对这些候选不执行冗余检查。
2.1.3AMVP
AMVP利用运动矢量与临近的PU的空时相关性,其用于运动参数的显式传输。对于每个参考图片列表,首先通过检查左上方的时域临近的PU位置的可用性、去掉冗余的候选并且加上零矢量以使候选列表长度恒定来构建运动矢量候选列表。然后,编码器可以从候选列表中选择最佳的预测器,并发送指示所选候选的对应索引。与Merge索引信令类似,最佳运动矢量候选的索引使用截断的一元进行编码。在这种情况下,要编码的最大值是2(参见图8)。在以下各章节中,提供了关于运动矢量预测候选的推导处理的细节。
2.1.3.1推导AMVP候选
图8概括了运动矢量预测候选的推导处理。
在运动矢量预测中,考虑了两种类型的运动矢量候选:空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导,基于位于图2所示的五个不同位置的每个PU的运动矢量最终推导出两个运动矢量候选。
对于时域运动矢量候选的推导,从两个候选中选择一个运动矢量候选,这两个候选是基于两个不同的并置位置推导出的。在做出第一个空时候选列表后,移除列表中重复的运动矢量候选。如果潜在候选的数目大于二,则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选数小于二,则会在列表中添加附加的零运动矢量候选。
2.1.3.2空域运动矢量候选
在推导空域运动矢量候选时,在五个潜在候选中最多考虑两个候选,这五个候选来自图2所示位置上的PU,这些位置与运动Merge的位置相同。当前PU左侧的推导顺序定义为A0、A1、以及缩放的A0、缩放的A1。当前PU上侧的推导顺序定义为B0、B1,B2、缩放的B0、缩放的B1、缩放的B2。因此,每侧有四种情况可以用作运动矢量候选,其中两种情况不需要使用空域缩放,并且两种情况使用空域缩放。四种不同的情况概括如下:
·无空域缩放
-(1)相同的参考图片列表,和相同的参考图片索引(相同的POC)
–(2)不同的参考图片列表,但相同的参考图片(相同的POC)
·空域缩放
-(3)相同的参考图片列表,但不同的参考图片(不同的POC)
-(4)不同的参考图片列表,和不同的参考图片(不同的POC)
首先检查无空域缩放的情况,然后检查允许空域缩放的情况。当POC在临近PU的参考图片与当前PU的参考图片之间不同时,都会考虑空域缩放,而不管参考图片列表如何。如果左侧候选的所有PU都不可用或是帧内编码,则允许对上述运动矢量进行缩放,以帮助左侧和上方MV候选的并行推导。否则,不允许对上述运动矢量进行空域缩放。
在空域缩放处理中,以与时域缩放类似的方式缩放临近PU的运动矢量,如图9所示。主要区别是,给出当前PU的参考图片列表和索引作为输入;实际的缩放处理与时域缩放处理相同。
2.1.3.3时域运动矢量候选
除了参考图片索引的推导外,时域Merge候选的所有推导处理与空域运动矢量候选的推导处理相同(参见图6)。将参考图片索引信令通知给解码器。
2.2VVC中的帧间预测方法
有几种用于改进帧间预测的新编解码工具,诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、运动矢量差Merge(MMVD)、三角预测模式(TPM)、组合帧内帧间预测(CIIP)、高级TMVP(ATMVP,又称为SbTMVP)、仿射预测模式、常规双向预测(GBI)、解码器侧运动矢量细化(DMVR)以及双向光流(BIO,又称为BDOF)。
VVC中支持三种不同的Merge列表构建过程:
1)子块Merge候选列表:其包括ATMVP和仿射Merge候选。仿射模式和ATMVP模式两者共享一个Merge列表构建过程。在此,可以按顺序添加ATMVP和仿射Merge候选。在条带标头中信令通知子块Merge列表尺寸,并且最大值为5。
2)常规(regular)Merge列表:对于帧间编解码块,共享一个Merge列表构建过程。在此,可以按顺序插入空域/时域Merge候选HMVP、成对Merge候选和零运动候选。在条带标头中信令通知常规Merge列表尺寸,并且最大值为6。MMVD、TPM、CIIP依赖于所述常规Merge列表。
3)IBC Merge列表:其以与常规Merge列表类似的方式完成。
类似地,VVC中支持三种AMVP列表:
1)仿射AMVP候选列表
2)常规AMVP候选列表
3)IBC AMVP候选列表:由于采用了JVET-N0843,因此与IBC Merge列表的构建过程相同
2.2.1VVC中的编解码块结构
在VVC中,采用四叉树/二叉树/三叉树(QT/BT/TT)结构,以将图片划分为正方形或矩形块。
除了QT/BT/TT,对于I帧,VVC中还采用了分离树(separate tree)(又称为双重编解码树)。利用分离树,对亮度和色度分量分别地信令通知编解码块结构。
另外,除了使用几种特定编码方法(诸如,其中PU等于TU但小于CU的帧内子分割预测,以及其中PU等于CU但TU小于PU的帧间编解码的块的子块变换)编码的块之外,将CU设置为等于PU和TU。
2.2.2仿射预测模式
在HEVC中,仅将平移运动模型应用于运动补偿预测(MCP)。然而,在真实世界中存在多种运动,例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中,简化仿射变换运动补偿预测适用于4参数仿射模型和6参数仿射模型。如图10所示,对于4参数仿射模型,块的仿射运动场由两个控制点运动矢量(CPMV)描述,对于6参数仿射模型,块的仿射运动场由三个CPMV描述。
分别用以下等式来描述块的运动矢量场(MVF),等式(1)中是4参数仿射模型(其中4参数被定义为变量a、b、e和f)且等式(2)中是6参数仿射模型(其中6参数被定义为变量a、b、c、d、e和f):
其中(mvh 0,mvh 0)为左上角控制点(CP)的运动矢量,并且(mvh 1,mvh 1)为右上角控制点的运动矢量,并且(mvh 2,mvh 2)为左下角控制点的运动矢量,所有这三个运动矢量被称为控制点运动矢量(CPMV),(x,y)表示相对于当前块内的左上样点的代表点的代表点的坐标,并且(mvh(x,y),mvv(x,y))是为位于(x,y)处的样点导出的运动矢量。CP运动矢量可以被信令通知(如在仿射AMVP模式中)或者被即时推导(如在仿射Merge模式中)。w和h是当前块的宽度和高度。实际上,除法是通过带取整的右移操作来实现的。在VTM中,代表点被定义为子块的中心位置,例如,当子块的左上角相对于当前块内的左上样点的坐标为(xs,ys)时,代表点的坐标被定义为(xs+2,ys+2)。对于每个子块(即VTM中的4×4),代表点被用于导出整个子块的运动矢量。
为了进一步简化运动补偿预测,应用基于子块的仿射变换预测。为了导出每个M×N(在当前VVC中M和N二者都被设置为4)子块的运动矢量,如图13所示,可以根据等式(1)和(2)计算每个子块的中心样点的运动矢量,并取整到1/16分数精度。然后应用1/16像素的运动补偿插值滤波器,利用导出的运动矢量生成每个子块的预测。通过仿射模式介绍了1/16像素的插值滤波器。
在MCP之后,将每个子块的高精度运动矢量取整,并保存为与常规运动矢量相同的精度。
2.2.3整个块的MERGE
2.2.3.1平移常规Merge模式的Merge列表构建
2.2.3.1.1基于历史的运动矢量预测(HMVP)
不同于Merge列表设计,在VVC中,采用了基于历史的运动矢量预测(HMVP)方法。
在HMVP中,存储了先前编解码的运动信息。将先前编解码的块的运动信息定义为HMVP候选。将多个HMVP候选存储在名为HMVP表的表中,并且在即时编码/解码处理期间保持此表。当开始编码/解码新的片/LCU行/条带时,清空HMVP表。每当存在帧间编解码的块和非子块、非TPM模式时,将关联的运动信息作为新的HMVP候选添加至表的最后一个条目。图12描绘了整体编码流程。
2.2.3.1.2常规Merge列表构建过程
常规Merge列表(用于平移运动)的构建能按照以下步骤顺序进行概括:
·步骤1:推导空域候选
·步骤2:插入HMVP候选
·步骤3:插入成对平均候选
·步骤4:默认运动候选
可以在AMVP和Merge候选列表构建过程中使用HMVP候选。图13描绘了修改的Merge候选列表构建过程(以虚线框突出显示)。当Merge候选列表在插入TMVP候选之后未满时,可以利用存储在HMVP表中的HMVP候选来填充Merge候选列表。考虑到一个块在运动信息方面通常与最近的临近块具有较高的相关性,以索引(indices)降序的方式插入表中的HMVP候选。首先将表中的最后一个条目添加到列表中,而最后添加第一个条目。类似地,将冗余移除应用到HMVP候选。一旦可用Merge候选的总数达到允许信令通知的Merge候选的最大数目,则终止Merge候选列表构建过程。
主要注意的是,所有的空域/时域/HMVP候选都应当以非IBC模式进行编码。否则,不允许将其添加到常规Merge候选列表。
HMVP表包含多达5个常规运动候选,并且每个候选都是唯一的。
2.2.3.1.2.1修剪处理
仅当用于冗余检查的对应候选不具有相同的运动信息时,才将候选添加至列表。这种比较处理称为修剪处理。
在空域候选之间的修剪处理取决于当前块的TPM的使用。
当未采用TPM模式(例如,常规Merge、MMVD、CIIP)编解码当前块时,利用用于空域Merge候选的HEVC修剪处理(即,五个修剪)。
2.2.4三角预测模式(TPM)
在VVC中,支持三角分割模式的帧间预测。三角分割模式仅适用于8x8或更大的、且以Merge模式而非MMVD或CIIP模式编解码的CU。对于满足这些条件的CU,信令通知CU级别标志以指示是否应用了三角分割模式。
如图14所描绘的,当使用了此模式时,使用对角线划分或反对角线划分来将CU均匀地划分为两个三角形分割。CU中的每个三角分割是使用其自身运动进行帧间预测的;每个分割仅允许单向预测,即,每个分割具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与常规双向预测相同:每个CU仅需要两个运动补偿的预测。
如果CU级别标志指示使用三角分割模式编解码当前CU,那么还信令通知指示三角分割方向(对角线或反对角线)的标志以及两个Merge索引(每个分割一个)。在预测了每个三角分割之后,使用具有自适应权重的混合处理来调整沿对角线或反对角线边缘的样点值。这是整个CU的预测信号,并且像其他预测模式一样,对整个CU应用变换和量化处理。最后,以4x4单元存储使用三角分割模式预测的CU运动场。
将常规Merge候选列表再次用于三角分割Merge预测,而没有额外的运动矢量修剪。对于常规Merge候选列表中的每个Merge候选,其L0或L1运动矢量中的有且只有一个用于三角预测。另外,基于其Merge索引奇偶性来选择L0与L1运动矢量的顺序。利用此种方案,能够直接使用常规Merge列表。
2.2.4.1TPM的Merge列表构建过程
基本地,按照JVET-N0340中所提出的那样应用常规Merge列表构建过程。然而,添加了一些修改。
具体地,应用了以下内容:
1)如何进行修剪处理取决于当前块的TPM使用
–如果未利用TPM编解码当前块,则调用应用于空域Merge候选的HEVC 5修剪
–否则(如果利用TPM编解码当前块),则当添加新的空域Merge候选时应用完全修剪。即,将B1与A1进行比较;将B0与A1和B1进行比较;将A0与A1、B1和B0进行比较;将B2与A1、B1、A0和B0进行比较。
2)关于是否检查来自B2的运动信息的条件取决于当前块的TPM使用
-如果未利用TPM编解码当前块,则仅当在检查B2之前具有少于4个空域Merge候选时访问和检查B2。
-否则(如果利用TPM编解码当前块),则在添加B2之前无论具有多少可用空域Merge候选,始终访问和检查B2。
2.2.4.2自适应加权处理
在预测每个三角预测单元之后,将自适应加权处理应用于两个三角预测单元之间的对角线边缘,以推导整个CU的最终预测。以下定义了两个加权因子组:
·第一加权因子组:{7/8,6/8,4/8,2/8,1/8}和{7/8,4/8,1/8}分别用于亮度和色度样点;
·第二加权因子组:{7/8,6/8,5/8,4/8,3/8,2/8,1/8}和{6/8,4/8,2/8}分别用于亮度和色度样点。
基于比较两个三角预测单元的运动矢量来选择加权因子组。当以下任一条件为真时,使用第二加权因子组:
–两个三角预测单元的参考图片互不相同
-两个运动矢量的水平值之差的绝对值大于16个像素。
-两个运动矢量的垂直值之差的绝对值大于16个像素。
否则,使用第一加权因子组。图15示出了示例。
2.2.4.3运动矢量存储
三角预测单元的运动矢量(图16中的Mv1和Mv2)存储在4×4网格中。对于每个4×4网格,取决于CU中4×4网格的位置,存储单向预测或双向预测运动矢量。如图16所示,单向预测预定矢量(Mv1或Mv2)存储在4×4网格中位于未加权的区域(即,不位于对角线边缘)。另一方面,双向预测运动矢量存储在4×4网格中位于加权的区域。根据以下规则从Mv1和Mv2推导双向预测运动矢量:
1)在Mv1和Mv2具有来自不同方向(L0或L1)的运动矢量的情形下,将Mv1和Mv2简单地组合以形成双向预测运动矢量。
2)在Mv1和Mv2两者来自相同的L0(或L1)方向的情形下,
-如果Mv2的参考图片与L1(或L0)参考图片列表中的图片相同,则将Mv2缩放至该图片。将Mv1和缩放的Mv2组合以形成双向预测运动矢量。
-如果Mv1的参考图片与L1(或L0)参考图片列表中的图片相同,则将Mv1缩放至该图片。将缩放的Mv1和Mv2组合以形成双向预测运动矢量。
-否则,仅在加权的区域存储Mv1。
2.2.4.4语法表、语义以及Merge模式的解码处理
7.3.5.1常规条带标头语法
/>
7.3.7.5编解码单元语法
/>
7.3.7.7Merge数据语法
/>
7.4.6.1常规条带标头语义
six_minus_max_num_merge_cand规定从6中减去条带中支持的Merging运动矢量预测(MVP)候选的最大数目。按照如下推导Merging MVP候选的最大数目MaxNumMergeCand:
MaxNumMergeCand=6-six_minus_max_num_merge_cand(7-57)
MaxNumMergeCand的值应在1到6的范围内(包括1和6)。
Five_minus_max_num_subblock_merge_cand规定从5中减去条带中支持的基于子块的Merging运动矢量预测(MVP)候选的最大数目。当不存在Five_minus_max_num_subblock_merge_cand时,则推断其等于5-sps_sbtmvp_enabled_flag。按照如下推导基于子块的Merging MVP候选的最大数目MaxNumSubblockMergeCand:
MaxNumSubblockMergeCand=5-Five_minus_max_num_subblock_merge_cand(7-58)
MaxNumSubblockMergeCand的值应在0到5的范围内(包括0和5)。
7.4.8.5编解码单元语义
pred_mode_flag等于0规定当前编解码单元是按照帧间预测模式编解码的。pred_mode_flag等于1规定当前编解码单元是按照帧内预测模式编解码的。
当不存在pred_mode_flag时,按照如下对其进行推断:
–如果cbWidth等于4并且cbHeight等于4,则推断pred_mode_flag等于1。
–否则,当解码I条带时,推断pred_mode_flag等于1,而当分别解码P或B条带时,推断pred_mode_flag等于0。
对于x=x0..x0+cbWidth-1和y=y0..y0+cbHeight-1,按照如下推导变量CuPredMode[x][y]:
–如果pred_mode_flag等于0,则将CuPredMode[x][y]设置为等于MODE_INTER。
–否则(pred_mode_flag等于1),将CuPredMode[x][y]设置为等于MODE_INTRA。
pred_mode_ibc_flag等于1规定当前编解码单元是按照IBC预测模式编解码的。pred_mode_ibc_flag等于0规定当前编解码单元不是按照IBC预测模式编解码的。
当pred_mode_ibc_flag不存在时,按照如下对其进行推断:
–如果cu_skip_flag[x0][y0]等于1、并且cbWidth等于4、并且cbHeight等于4,则推断pred_mode_ibc_flag等于1。
–否则,如果cbWidth和cbHeight都等于128,则推断pred_mode_ibc_flag等于0。
–否则,当解码I条带时,推断pred_mode_ibc_flag等于sps_ibc_enabled_flag的值;当分别解码P或B条带时,推断pred_mode_ibc_flag为0。
当pred_mode_ibc_flag等于1时,对于x=x0..x0+cbWidth-1和y=y0..y0+cbHeight-1,将变量CuPredMode[x][y]设置为等于MODE_IBC。general_merge_flag[x0][y0]规定是否从临近的帧间预测分割推断当前编解码单元的帧间预测参数。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当general_merge_flag[x0][y0]不存在时,按照如下对其进行推断:
-如果cu_skip_flag[x0][y0]等于1,则推断general_merge_flag[x0][y0]等于1。
–否则,推断general_merge_flag[x0][y0]等于0。
mvp_l0_flag[x0][y0]规定列表0的运动矢量预测器索引,其中x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当mvp_l0_flag[x0][y0]不存在时,则推断其等于0。
mvp_l1_flag[x0][y0]具有与mvp_l0_flag相同的语义,其中将l0和列表0分别替换为l1和列表1。
inter_pred_idc[x0][y0]规定是否根据表7-10将列表0、列表1或双向预测用于当前编解码单元。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
表7-10-与帧间预测模式关联的名称
当inter_pred_idc[x0][y0]不存在时,则推断其等于PRED_L0。
7.4.8.7Merge数据语义
regular_merge_flag[x0][y0]等于1规定使用常规Merge模式来生成当前编解码单元的帧间预测参数。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当regular_merge_flag[x0][y0]不存在时,按照如下对其进行推断:
-如果以下所有条件为真,则推断regular_merge_flag[x0][y0]等于1:
-sps_mmvd_enabled_flag等于0。
-general_merge_flag[x0][y0]等于1。
-cbWidth*cbHeight等于32。
–否则,推断regular_merge_flag[x0][y0]等于0。
mmvd_merge_flag[x0][y0]等于1规定具有运动矢量差的Merge模式用于生成当前编解码单元的帧间预测参数。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当mmvd_merge_flag[x0][y0]不存在时,按照如下对其进行推断:
-如果以下所有条件为真,则推断mmvd_merge_flag[x0][y0]等于1:
–sps_mmvd_enabled_flag等于1。
–general_merge_flag[x0][y0]等于1。
–cbWidth*cbHeight等于32。
–normal_merge_flag[x0][y0]等于0。
–否则,推断mmvd_merge_flag[x0][y0]等于0。
mmvd_cand_flag[x0][y0]规定将Merging候选列表中的第一个(0)还是第二个(1)候选与从mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]中推导的运动矢量差一起使用。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当mmvd_cand_flag[x0][y0]不存在时,则推断其等于0。
mmvd_distance_idx[x0][y0]规定用于如表7-12中所规定的推导MmvdDistance[x0][y0]的索引。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
表7-12-基于mmvd_distance_idx[x0][y0]的MmvdDistance[x0][y0]的规范
mmvd_direction_idx[x0][y0]规定用于如表7-13中所规定的推导MmvdSign[x0][y0]的索引。阵列索引x0,y0规定所考虑编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
表7-13-基于mmvd_direction_idx[x0][y0]的MmvdSign[x0][y0]的规范
mmvd_direction_idx[x0][y0] MmvdSign[x0][y0][0] MmvdSign[x0][y0][1]
0 +1 0
1 -1 0
2 0 +1
3 0 -1
按照如下推导Merge加MVD偏移MmvdOffset[x0][y0]的两个分量:
MmvdOffset[x0][y0][0]=(MmvdDistance[x0][y0]<<2)*MmvdSign[x0][y0][0](7-124)
MmvdOffset[x0][y0][1]=(MmvdDistance[x0][y0]<<2)*MmvdSign[x0][y0][1](7-125)
merge_subblock_flag[x0][y0]规定是否从临近块推断当前编解码单元的基于子块的帧间预测参数。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。当merge_subblock_flag[x0][y0]不存在时,则推断其等于0。
merge_subblock_idx[x0][y0]规定基于子块的Merging候选列表的Merging候选索引,其中x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当merge_subblock_idx[x0][y0]不存在时,则推断其等于0。
ciip_flag[x0][y0]规定是否将组合的帧间图片Merge和帧内图片预测应用于当前编解码单元。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当ciip_flag[x0][y0]不存在时,则推断其等于0。
当ciip_flag[x0][y0]等于1时,将变量IntraPredModeY[x][y](其中x=xCb..xCb+cbWidth-1并且y=yCb..yCb+cbHeight-1)设置为等于INTRA_PLANAR。
当解码B条带时,按照如下推导变量MergeTriangleFlag[x0][y0],其中,变量MergeTriangleFlag[x0][y0]规定是否将基于三角形状的运动补偿用于生成当前编解码单元的预测样点:
-如果以下所有条件为真,则将MergeTriangleFlag[x0][y0]设置为等于1:
–sps_triangle_enabled_flag等于1。
-slice_type等于B。
-general_merge_flag[x0][y0]等于1。
–MaxNumTriangleMergeCand大于或等于2。
–cbWidth*cbHeight大于或等于64。
–normal_merge_flag[x0][y0]等于0。
–mmvd_merge_flag[x0][y0]等于0。
–merge_subblock_flag[x0][y0]等于0。
–ciip_flag[x0][y0]等于0。
–否则,将MergeTriangleFlag[x0][y0]设置为等于0。
merge_triangle_split_dir[x0][y0]规定Merge三角模式的划分方向。阵列索引x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当merge_triangle_split_dir[x0][y0]不存在时,则推断其等于0。merge_triangle_idx0[x0][y0]规定基于三角形状的运动补偿候选列表的第一Merging候选索引,其中x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当merge_triangle_idx0[x0][y0]不存在时,则推断其等于0。
merge_triangle_idx1[x0][y0]规定基于三角形形状的运动补偿候选列表的第二Merging候选索引,其中x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当merge_triangle_idx1[x0][y0]不存在时,则推断其等于0。merge_idx[x0][y0]规定Merging候选列表的Merging候选索引,其中x0,y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当merge_idx[x0][y0]不存在时,按照如下对其进行推断:
-如果mmvd_merge_flag[x0][y0]等于1,则推断merge_idx[x0][y0]等于mmvd_cand_flag[x0][y0]。
–否则(mmvd_merge_flag[x0][y0]等于0),推断merge_idx[x0][y0]等于0。
2.2.4.4.1解码处理
如下定义JVET-N0340中所提供的解码处理:
8.5.2.2Merge模式的亮度运动矢量推导处理
仅当general_merge_flag[xCb][yCb]等于1时才调用此处理,其中(xCb,yCb)规定相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点。
此处理的输入是:
–相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出是:
–1/16分数样点精度的亮度运动矢量mvL0[0][0]和mvL1[0][0],
-参考索引refIdxL0和refIdxL1,
-预测列表使用标志predFlagL0[0][0]和predFlagL1[0][0],
-双向预测权重索引bcwIdx。
-Merging候选列表mergeCandList。
将双向预测权重索引bcwIdx设置为等于0。
通过以下有序的步骤推导运动矢量mvL0[0][0]和mvL1[0][0]、参考索引refIdxL0和refIdxL1以及预测使用标志predFlagL0[0][0]和predFlagL1[0][0]:
1.调用条款8.5.2.3中规定的根据临近编解码单元的空域Merging候选的推导处理,其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入,并且以可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2、参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2、预测列表使用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2,以及运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2(其中X为0或1)以及双向预测权重索引bcwIdxA0、bcwIdxA1、bcwIdxB0、bcwIdxB1、bcwIdxB2作为输出。
2.将其中X为0或1的参考索引refIdxLXCol以及时域Merging候选Col的双向预测权重索引bcwIdxCol设置为等于0。
3.调用条款8.5.2.11中规定的时域亮度运动矢量预测的推导处理,其中以亮度位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight以及变量refIdxL0Col作为输入,并且以可用性标志availableFlagL0Col和时域运动矢量mvL0Col作为输出。按照如下推导变量availableFlagCol、predFlagL0Col和predFlagL1Col:
availableFlagCol = availableFlagL0Col (8-263)
predFlagL0Col = availableFlagL0Col (8-264)
predFlagL1Col = 0 (8-265)
4.当slice_type等于B时,调用条款8.5.2.11中规定的时域亮度运动矢量预测的推导处理,其中以亮度位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight以及变量refIdxL1Col作为输入,并且以可用性标志availableFlagL1Col和时域运动矢量mvL1Col作为输出。按照如下推导变量availableFlagCol和predFlagL1Col:
availableFlagCol=availableFlagL0Col||availableFlagL1Col(8-266)
predFlagL1Col=availableFlagL1Col(8-267)
5.按照如下构建Merging候选列表mergeCandList:
6.将变量numCurrMergeCand和numOrigMergeCand设置为等于mergeCandList中Merging候选的数目。
7.当numCurrMergeCand小于(MaxNumMergeCand-1)并且NumHmvpCand大于0时,适用以下规则:
-调用8.5.2.6中规定的基于历史的Merging候选的推导处理,其中以mergeCandList和numCurrMergeCand作为输入,并以修改的mergeCandList和numCurrMergeCand作为输出。
–将numOrigMergeCand设置为等于numCurrMergeCand。
8.当numCurrMergeCand小于MaxNumMergeCand且大于1时,适用以下规则:
–调用条款8.5.2.4中规定的成对平均Merging候选的推导处理,其中以mergeCandList、参考索引refIdxL0N和refIdxL1N、预测列表使用标志predFlagL0N和predFlagL1N、mergeCandList中每个候选N的运动矢量mvL0N和mvL1N、以及numCurrMergeCand作为输入,并将输出分配给mergeCandList、numCurrMergeCand、参考索引refIdxL0avgCand和refIdxL1avgCand、预测列表使用标志predFlagL0avgCand和predFlagL1avgCand、以及要添加至mergeCandList中的候选avgCand的运动矢量mvL0avgCand和mvL1avgCand。将要添加至mergeCandList中的候选avgCand的双向预测权重索引bcwIdx设置为等于0。
–将numOrigMergeCand设置为等于numCurrMergeCand。
9.调用条款8.5.2.5中规定的零运动矢量Merging候选的推导处理,其中以mergeCandList、参考索引refIdxL0N和refIdxL1N、预测列表使用标志predFlagL0N和predFlagL1N、mergeCandList中每个候选N的运动矢量mvL0N和mvL1N、以及numCurrMergeCand作为输入,并将输出分配给mergeCandList、numCurrMergeCand、参考索引refIdxL0zeroCandm和refIdxL1zeroCandm、预测列表使用标志predFlagL0zeroCandm和predFlagL1zeroCandm、以及要添加至mergeCandList中的每个新的候选zeroCandm的运动矢量mvL0zeroCandm和mvL1zeroCandm。将要添加至mergeCandList中的每个新的候选zeroCandm的双向预测权重索引bcwIdx设置为等于0。将要添加的候选数目numZeroMergeCand设置为等于(numCurrMergeCand-numOrigMergeCand)。当numZeroMergeCand大于0时,m的范围为0到numZeroMergeCand-1,包括0和numZeroMergeCand-1。
10.进行以下分配,其中N为位于Merging候选列表mergeCandList中的位置merge_idx[xCb][yCb]处的候选(N=mergeCandList[merge_idx[xCb][yCb]]),并且X替换为0或1:
refIdxLX = refIdxLXN (8-269)
predFlagLX[ 0 ][ 0 ] = predFlagLXN (8-270)
mvLX[ 0 ][ 0 ][ 0 ] = mvLXN[ 0 ] (8-271)
mvLX[ 0 ][ 0 ][ 1 ] = mvLXN[ 1 ] (8-272)
bcwIdx = bcwIdxN (8-273)
11.当mmvd_merge_flag[xCb][yCb]等于1时,适用以下规则:
–调用8.5.2.7中规定的Merge运动矢量差的推导处理,其中以亮度位置(xCb,yCb)、参考索引refIdxL0、refIdxL1以及预测列表使用标志predFlagL0[0][0]和predFlagL1[0][0]作为输入,并以运动矢量差mMvdL0和mMvdL1作为输出。
–对于X为0和1,按照如下将运动矢量差mMvdLX添加至Merge运动矢量mvLX:
mvLX[ 0 ][ 0 ][ 0 ] += mMvdLX[ 0 ] (8-274)
mvLX[ 0 ][ 0 ][ 1 ] += mMvdLX[ 1 ] (8-275)
mvLX[0][0][0]=Clip3(-217,217 -1, mvLX[ 0 ][ 0 ][ 0 ] ) (8-276)
mvLX[0][0][1]=Clip3( -217, 217 - 1, mvLX[ 0 ][ 0 ][ 1 ]) (8-277)
8.5.2.3空域Merge候选的推导处理
此处理的输入是:
-相对于当前图片的左上亮度样点、当前亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出如下,其中X为0或1:
-临近编解码单元的可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2
-临近编解码单元的参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2
-临近编解码单元的预测列表使用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2
-临近编解码单元的1/16分数样点精度的运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2
-双向预测权重索引gbiIdxA0、gbiIdxA1、gbiIdxB0、gbiIdxB1和gbiIdxB2
对于availableFlagA1、refIdxLXA1、predFlagLXA1、mvLXA1的推导,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
-调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、和临近亮度位置(xNbA1,yNbA1)为输入、并将输出分配给块可用性标志flag availableA1
–按照如下推导变量availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1
–如果availableA1等于假(FALSE),将availableFlagA1设置为等于0,将mvLXA1的两个分量设置等于为0,将refIdxLXA1设置为等于-1,predFlagLXA1设置为等于0(X为0或1),并且将gbiIdxA1设置为等于0。
–否则,将availableFlagA1设置为等于1,并进行以下分配:
mvLXA1 = MvLX[ xNbA1 ][ yNbA1 ] (8-294)
refIdxLXA1 = RefIdxLX[ xNbA1 ][ yNbA1 ] (8-295)
predFlagLXA1 = PredFlagLX[ xNbA1 ][ yNbA1 ] (8-296)
gbiIdxA1 = GbiIdx[ xNbA1 ][ yNbA1 ] (8-297)
对于availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB1,yNbB1)设置为等于(xCb+cbWidth-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB1,yNbB1)作为输入,并将输出分配给块可用性标志availableB1
–按照如下推导变量availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1
–如果以下条件中的一个或多个为真,则将availableFlagB1设置为等于0,将mvLXB1的两个分量设置为等于0,将refIdxLXB1设置为等于-1,将predFlagLXB1设置为等于0(其中X为0或1),并且将gbiIdxB1设置为等于0。
–availableB1等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB1,yNbB1)具有相同的运动矢量和相同的参考索引。
–否则,将availableFlagB1设置为等于1,并进行以下分配:
mvLXB1 = MvLX[ xNbB1 ][ yNbB1 ] (8-298)
refIdxLXB1 = RefIdxLX[ xNbB1 ][ yNbB1 ] (8-299)
predFlagLXB1 = PredFlagLX[ xNbB1 ][ yNbB1 ] (8-300)
gbiIdxB1=GbiIdx[xNbB1][ yNbB1 ] (8-301)
对于availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0的推导处理,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbB0,yNbB0)设置为等于(xCb+cbWidth,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB0,yNbB0)作为输入,并将输出分配给块可用性标志flag availableB0
-按照如下推导变量availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0
–如果以下条件中的一个或多个为真,则将availableFlagB0设置为等于0,将mvLXB0的两个分量设置为等于0,将refIdxLXB0设置为等于-1,将predFlagLXB0设置为等于0(其中X为0或1),并且将gbiIdxB0设置为等于0。
-availableB0等于假(FALSE)。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB0,yNbB0)具有相同的运动矢量和相同的参考索引。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB0,yNbB0)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–否则,将availableFlagB0设置为等于1,并进行以下分配:
mvLXB0 = MvLX[ xNbB0 ][ yNbB0 ] (8-302)
refIdxLXB0 = RefIdxLX[ xNbB0 ][ yNbB0 ] (8-303)
predFlagLXB0 = PredFlagLX[ xNbB0 ][ yNbB0 ] (8-304)
gbiIdxB0 = GbiIdx[ xNbB0 ][ yNbB0 ] (8-305)
对于availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0的推导处理,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbA0,yNbA0)设置为等于(xCb-1,yCb+cbWidth)。
-调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbA0,yNbA0)作为输入,并将输出分配给块可用性标志availableA0
-按照如下推导变量availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0
-如果以下条件中的一个或多个为真,则将availableFlagA0设置为等于0,将mvLXA0的两个分量设置为等于0,将refIdxLXA0设置为等于-1,将predFlagLXA0设置为等于0(其中X为0或1),并且将gbiIdxA0设置为等于0。
-availableA0等于假(FALSE)。
-availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引。
-availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–availableB0等于真(TRUE),并且亮度位置(xNbB0,yNbB0)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–否则,将availableFlagA0设置为等于1,并进行以下分配:
mvLXA0 = MvLX[ xNbA0 ][ yNbA0 ] (8-306)
refIdxLXA0 = RefIdxLX[ xNbA0 ][ yNbA0 ] (8-307)
predFlagLXA0 = PredFlagLX[ xNbA0 ][ yNbA0 ] (8-308)
gbiIdxA0 = GbiIdx[ xNbA0 ][ yNbA0 ] (8-309)
对于availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2的推导处理,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbB2,yNbB2)设置为等于(xCb-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB2,yNbB2)作为输入,并将输出分配给块可用性标志availableB2
–按照如下推导变量availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2
–如果以下条件中的一个或多个为真,则将availableFlagB2设置为等于0,将mvLXB2的两个分量设置为等于0,将refIdxLXB2设置为等于-1,将predFlagLXB2设置为等于0(其中X为0或1),并且将gbiIdxB2设置为等于0。
-availableB2等于假(FALSE)。
-availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB0等于真(TRUE),并且亮度位置(xNbB0,yNbB0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–availableA0等于真(TRUE),并且亮度位置(xNbA0,yNbA0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–availableFlagA0+availableFlagA1+availableFlagB0+availableFlagB1等于4,并且merge_triangle_flag[xCb][yCb]等于0。
–否则,将availableB2设置为等于1,并进行以下分配:
mvLXB2 = MvLX[ xNbB2 ][ yNbB2 ] (8-310)
refIdxLXB2 = RefIdxLX[ xNbB2 ][ yNbB2 ] (8-311)
predFlagLXB2 = PredFlagLX[ xNbB2 ][ yNbB2 ] (8-312)
gbiIdxB2 = GbiIdx[ xNbB2 ][ yNbB2 ] (8-313)
2.2.5MMVD
在JVET-L0054中提出了最终运动矢量表达(UMVE,也称为MMVD)。UMVE与提出的运动矢量表达方法被用于跳过或Merge模式。
UMVE重用与VVC中常规Merge候选列表中包含的Merge候选相同的Merge候选。在Merge候选中,可以选择基础候选,并通过所提出的运动矢量表达方法进一步扩展基础候选。
UMVE提供了新的运动矢量差(MVD)表示方法,其中使用起点、运动幅度和运动方向来表示MVD。
这个提出的技术按原样使用Merge候选列表。但是只有默认Merge类型(MRG_TYPE_DEFAULT_N)的候选才被考虑用于UMVE的扩展。
基础候选索引定义了起点。基础候选索引指示列表中候选的最佳候选,如下所示。
表4.基础候选IDX
如果基础候选的数目等于1,则不信令通知基础候选IDX。
距离索引是运动幅度信息。距离索引指示距离起点信息的预定义的距离。预定义的距离如下所示:
表5.距离IDX
方向索引表示MVD相对于起始点的方向。方向索引可以表示如下所示的四个方向。
表6.方向IDX
方向IDX 00 01 10 11
x轴 + N/A N/A
Y轴 N/A N/A +
在发送跳过标志或Merge标志之后立即信令通知UMVE标志。如果跳过或Merge标志为真,则解析UMVE标志。如果UMVE标志等于1,则解析UMVE语法。但是,如果不是1,则解析仿射标志。如果仿射标志等于1,则是仿射模式,但是,如果不是1,则解析VTM的跳过/Merge模式的跳过/Merge索引。
由于UMVE候选而导致的附加线缓冲区是不需要的。因为软件的跳过/Merge候选被直接用作基础候选。通过使用输入UMVE索引,在运动补偿前直接判定MV的补充。不需要为此保留长线缓冲区。
在当前普通测试条件下,可以选择Merge候选列表中的第一个或第二个Merge候选作为基础候选。
UMVE也称为具有MV差的Merge(MMVD)。
2.2.6组合帧内帧间预测(CIIP)
在JVET-L0100中,提出了多假设预测,其中组合帧内帧间预测是生成多假设的一种方法。
当将多假设预测应用于改善帧内模式时,多假设预测组合一种帧内预测和一种Merge索引的预测。在Merge CU中,当标志为真时,信令通知用于Merge模式的一个标志,以从帧内候选列表选择帧内模式。对于亮度分量,仅从一种帧内预测模式,即平面模式推导帧内候选列表。通过两个加权块(A1和B1)的编码的模式(帧内或非帧内)来确定应用于来自帧内和帧间预测的预测块的权重。
2.2.7基于子块技术的MERGE
建议将所有子块相关运动候选放入除了非子块Merge候选的常规Merge列表之外的单独Merge列表中。
将子块相关运动候选放入名为“子块Merge候选列表”的单独Merge列表中。
在一个示例中,子块Merge候选列表包括ATMVP候选和仿射Merge候选。
按以下顺序在子块Merge候选列表中填充候选:
a.ATMVP候选(可能可用或者不可用);
b.仿射Merge列表(包括继承的仿射候选;以及构建的仿射候选)
c.填充为零MV 4-参数仿射模型
2.2.7.1.1ATMVP(又名子块时域运动矢量预测器,SbTMVP)
ATMVP的基本思想是为一个块推导多组时域运动矢量预测器。每个子块分配有一组运动信息。当生成ATMVP Merge候选时,将以8x8级别而不是整个块级别进行运动补偿。
在当前设计中,ATMVP以两步预测CU中的子CU的运动矢量,并分别在以下两个子章节2.2.7.1.1.1和2.2.7.1.1.2中进行了描述。
2.2.7.1.1.1初始化的运动矢量的推导
通过tempMv表示初始化的运动矢量。当块A1可用并且未被帧内编码(即,以帧间或IBC模式编解码)时,应用以下内容以推导初始化的运动矢量。
–如果以下所有条件为真,则将tempMv设置为等于列表1中的块A1的运动矢量,表示为mvL1A1
-列表1的参考图片索引可用(不等于-1),并且其具有与并置图片相同的POC值(即,DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A1])等于0),
-与当前图片相比,所有参考图片不具有更大的POC(即,对于当前条带的每个参考图片列表中的每个图片aPic,DiffPicOrderCnt(aPic,currPic)小于或等于0),
–当前条带等于B条带,
-collocated_from_l0_flag等于0。
–否则,如果以下所有条件为真,则将tempMv设置为等于列表0中块A1的运动矢量,表示为mvL0A1
–列表0的参考图片索引可用(不等于-1),
–具有与并置图片相同的POC值(即,DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A1])等于0)。
–否则,将零运动矢量用作初始化的MV。
在具有初始化的运动矢量的条带标头处信令通知的并置图片中标识对应块(具有当前块的中心位置加上取整的MV,必要时将其修剪到一定范围内)。
如果块是帧间编解码的,则转到第二步。否则,将ATMVP候选设置为不可用。
2.2.7.1.1.2子CU运动推导
第二步是将当前CU划分为子CU,并从对应于并置图片中的每个子CU的块获得每个子CU的运动信息。
如果以帧间模式编解码子CU的对应块,则通过调用用于并置MV的推导处理、利用运动信息来推导当前子CU的最终运动信息,该推导处理与用于常规TMVP处理的处理没有区别。基本上,如果对于单向预测或者双向预测从目标列表X预测了对应块,则利用运动矢量;否则,如果对于单向预测或者双向预测从列表Y(Y=1-X)预测了对应块并且NoBackwardPredFlag等于1,则利用列表Y的MV。否则,无法找到运动候选。
如果通过初始化的MV和当前子CU的位置标识的并置图片中的块是帧内或IBC编解码的,或者如上所述无法找到运动候选,则进一步适用以下规则:
将用来抓取并置图片Rcol中的运动场的运动矢量表示为MVcol。为了最小化由于MV缩放的影响,通过以下方式选择用于推导MVcol的空域候选列表中的MV:如果候选MV的参考图片是并置图片,则选择此MV并将其用作MVcol,而无需任何缩放。否则,选择具有最接近并置图片的参考图片的MV,以利用缩放推导MVcol
JVET-N1001中用于并置运动矢量推导处理的相关解码处理描述如下,其中与ATMVP有关的部分以粗体、下划线的文本突出显示:
8.5.2.12并置运动矢量的推导处理
此处理的输入是:
–变量currCb,规定当前编解码块,
–变量colCb,规定由ColPic规定的并置图片内的并置编解码块,
–亮度位置(xColCb,yColCb),规定相对于由ColPic规定的并置图片的左上亮度样点、由colCb规定的并置亮度编解码块的左上样点;
-参考索引refIdxLX,其中X为0或1,
-指示子块时域Merging候选的标志sbFlag。
此处理的输出是:
–1/16分数样点精度的运动矢量预测mvLXCol,
-可用性标志availableFlagLXCol。
变量currPic规定当前图片。
将阵列predFlagL0Col[x][y]、mvL0Col[x][y]和refIdxL0Col[x][y]分别设置为等于由ColPic规定的并置图片的PredFlagL0[x][y]、MvDmvrL0[x][y]和RefIdxL0[x][y],并且将阵列predFlagL1Col[x][y]、mvL1Col[x][y]和refIdxL1Col[x][y]分别设置为等于由ColPic规定的并置图片的PredFlagL1[x][y]、MvDmvrL1[x][y]和RefIdxL1[x][y]。
按照如下推导变量mvLXCol和availableFlagLXCol:
-如果以帧内或IBC预测模式编解码colCb,则将mvLXCol的两个分量设置为等于0,并且将availableFlagLXCol设置为等于0。
–否则,按照如下推导运动矢量mvCol、参考索引refIdxCol和参考列表标识符listCol:
–如果sbFlag等于0,则将availableFlagLXCol设置为等于1,并且适用以下规则:
-如果predFlagL0Col[xColCb][yColCb]等于0,则将mvCol、refIdxCol和listCol分别设置为等于mvL1Col[xColCb][yColCb]、refIdxL1Col[xColCb][yColCb]和L1。
-否则,如果predFlagL0Col[xColCb][yColCb]等于1并且predFlagL1Col[xColCb][yColCb]等于0,则将mvCol、refIdxCol和listCol分别设置为等于mvL0Col[xColCb][yColCb]、refIdxL0Col[xColCb][yColCb]
和L0。
-否则(predFlagL0Col[xColCb][yColCb]等于1并且predFlagL1Col[xColCb][yColCb]等于1),进行以下分配:
–如果NoBackwardPredFlag等于1,则将mvCol、refIdxCol和listCol分别设置为等于mvLXCol[xColCb][yColCb]、refIdxLXCol[xColCb][yColCb]和LX。
-否则,将mvCol、refIdxCol和listCol分别设置为等于mvLNCol[xColCb][yColCb]、refIdxLNCol[xColCb][yColCb]和LN,其中
N为collocated_from_l0_flag的值。
-当availableFlagLXCol等于真(TRUE)时,按照以下推导mvLXCol和availableFlagLXCol:
-如果LongTermRefPic(currPic,currCb,refIdxLX,LX)不等于LongTermRefPic(ColPic,colCb,refIdxCol,listCol),则将mvLXCol的两个分量设置为等于0,并将availableFlagLXCol设置为等于0。
–否则,将变量availableFlagLXCol设置为等于1,将refPicList[listCol][refIdxCol]设置为具有条带的参考图片列表listCol中的参考索引refIdxCol的图片,所述条带包含由ColPic规定的并置图片中的编解码块colCb,并适用以下规则:
colPocDiff=DiffPicOrderCnt(ColPic,refPicList[listCol][refIdxCol])(8-402
)
currPocDiff=DiffPicOrderCnt(currPic,RefPicList[X][refIdxLX])(8-403)
-调用条款8.5.2.15中规定的用于并置运动矢量的时域运动缓冲区压缩处理,其中以mvCol作为输入,并以修改后的mvCol作为输出。
–如果RefPicList[X][refIdxLX]是长期参考图片,或者colPocDiff等
于currPocDiff,则按照如下推导mvLXCol:
mvLXCol=mvCol (8-404)
-否则,按照如下将mvLXCol推导为运动矢量mvCol的缩放版本:
tx= ( 16384 + ( Abs( td ) >> 1 ) ) / td (8-405)
distScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 ) (8-406)
mvLXCol=Clip3(-131072,131071,(distScaleFactor*mvCol+128
- ( distScaleFactor * mvCol >= 0 ) ) >> 8 ) ) (8-407)
其中按照如下推导td和tb:
td = Clip3( -128, 127, colPocDiff ) (8-408)
tb = Clip3( -128, 127, currPocDiff ) (8-409)
2.2.8常规帧间模式(AMVP)
2.2.8.1AMVP运动候选列表
类似于HEVC中的AMVP设计,最多可以推导2个AMVP候选。然而,也可以在TMVP候选之后添加HMVP候选。HMVP表中的HMVP候选以索引升序(即,从等于0的索引至最大的索引)的方式遍历。最多可以检查4个HMVP候选,以确认其参考图片是否与目标参考图片相同(即,相同的POC值)。
2.2.8.2AMVR
在HEVC中,当条带标头中的use_integer_mv_flag等于0时,以四分之一亮度样点为单位信令通知(PU的运动矢量与预测运动矢量之间的)运动矢量差(MVD)。在VVC中,引入了局部自适应运动矢量分辨率(AMVR)。在VVC中,可以以四分之一亮度样点、整数亮度样点或四亮度样点(即1/4像素、1像素、4像素)为单位对MVD进行编码。将MVD分辨率控制在编解码单元(CU)级别,并且对具有至少一个非零MVD分量的每个CU有条件地信令通知MVD分辨率标志。
对于具有至少一个非零MVD分量的CU,信令通知第一标志以指示在CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示不使用四分之一亮度样点MV精度时,将信令通知另一标志,以指示是使用整数亮度样点MV精度还是使用四亮度样点MV精度。
当CU的第一MVD分辨率标志为零或者没有为CU编码时(意味着CU中的所有MVD均为零),则将四分之一亮度样点MV分辨率用于CU。当CU使用整数亮度样点MV精度或四亮度样点MV精度时,对CU的AMVP候选列表中的MVP取整至对应精度。
2.2.8.3JVET-N1001-v2中的对称运动矢量差
在JVET-N1001-v2中,将对称运动矢量差(SMVD)用于双向预测中的运动信息编码。
首先,在条带级别中,通过N1001-v2中规定的以下步骤来推导分别指示在SMVD模式下使用的列表0/1的参考图片索引的变量RefIdxSymL0和RefIdxSymL1。当两个变量中的至少一个等于-1时,应禁用SMVD模式。
2.2.9运动信息的细化
2.2.9.1解码器侧运动矢量细化(DMVR)
在双向预测操作中,为了预测一个块区域,将分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块进行组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中,进一步对双向预测的两个运动矢量进行细化。
对于VVC中的DMVR,如图19所示,假定MVD在列表0和列表1之间镜像,并执行双边匹配以细化MV,即在几个MVD候选中找到最佳的MVD。通过MVL0(L0X,L0Y)和MVL1(L1X,L1Y)表示两个参考图片列表的MV。将列表0的由(MvdX,MvdY)表示的MVD定义为最佳MVD,该MVD能最小化成本函数(例如,SAD)。对于SAD函数,将其定义为在列表0参考图片中由运动矢量(L0X+MvdX,L0Y+MvdY)推导的列表0的参考块与在列表1参考图片中由运动矢量(L1X-MvdX,L1Y-MvdY)推导的列表1的参考块之间的SAD。
运动矢量细化处理可以迭代两次。如图20所示,在每次迭代中,可以在两步中检查最多6个MVD(具有整数像素精度)。在第一步中,检查MVD(0,0)、(-1,0)、(1,0)、(0,-1)、(0,1)。在第二步中,可以选择MVD(-1,-1)、(-1,1)、(1,-1)或(1,1)中的一个并对其进行进一步地检查。假设函数Sad(x,y)返回MVD(x,y)的SAD值。按照如下决定在第二步中检查的、由(MvdX,MvdY)表示的MVD:
在第一次迭代中,起始点是信令通知的MV,并且在第二次迭代中,起始点是信令通知的MV加上在第一次迭代中选择的最佳MVD。仅当在一个参考图片为前一图片而另一参考图片为后一图片,并且两个参考图片与当前图片的图片顺序计数距离相同时,才适用DMVR。
为了进一步简化DMVR处理,JVET-M0147对JEM中的设计提出了一些改变。更具体地,VTM-4.0(即将发布)采用的DMVR设计具有以下主要特征:
·当列表0和列表1之间的(0,0)位置SAD小于阈值时,提前终止。
·对于某些位置,当列表0和列表1之间的SAD为零时,提前终止。
·DMVR的块尺寸:W*H>=64&&H>=8,其中W和H是块的宽度和高度。
·对于CU尺寸>16*16的DMVR,将CU划分成多个16x16子块。如果仅CU的宽度或高度大于16,则仅在垂直或水平方向上进行划分。
·参考块尺寸(W+7)*(H+7)(用于亮度)。
·基于25点SAD的整数像素搜索(即,(+-)2细化搜索范围,单级)
·基于双线性插值的DMVR。
·基于“参数误差表面方程”的子像素细化。仅当最小SAD成本不等于零并且最佳MVD在上一次MV细化迭代中为(0,0)时,执行此处理。
·具有参考块填充(如果需要)的亮度/色度MC。
·仅用于MC和TMVP的细化的MV。
2.2.9.1.1DMVR的使用
当以下所有条件为真时,可以启用DMVR:
–SPS中的DMVR启用标志(即,sps_dmvr_enabled_flag)等于1
–TPM标志、帧间仿射标志和子块Merge标志(ATMVP或仿射Merge)、MMVD标志均等于0
-Merge标志等于1
–当前块是双向预测的,并且列表1中的当前图片与参考图片之间的POC距离等于列表0中的参考图片与当前图片之间的POC距离
–当前CU高度大于或等于8
–亮度样点数目(CU宽度*高度)大于或等于64
2.2.9.1.2基于“参数误差表面方程”的子像素细化
该方法总结如下:
1.仅当中心位置是给定迭代中的最佳成本位置时,才计算参数误差表面拟合。
2.将中心位置成本以及距中心(-1,0)、(0,-1)、(1,0)和(0,1)位置的成本以以下形式用于拟合2D抛物线误差表面方程:
E(x,y)=A(x-x0)2+B(y-y0)2+C
其中(x0,y0)对应于具有最低成本的位置,C对应于最小成本值。通过求解5个未知数的5个方程,按照如下计算(x0,y0):
x0=(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0)))
y0=(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0)))
通过调整执行除法的精度(即计算多少位的商),可以将(x0,y0)计算成任何所需的子像素精度。对于1/16像素精度,仅需要计算至商的绝对值的4位,这有助于基于快速移位的减法实现每个CU所需的2个除法。
3.将计算的(x0,y0)添加至整数距离细化MV,以得到子像素精确细化增量MV。
2.3帧内块复制
HEVC屏幕内容编码扩展(HEVC-SCC)和当前VVC测试模型(VTM-4.0)中采用了帧内块复制(IBC)(又称为当前图片参考)。IBC将运动补偿的概念从帧间编解码扩展到帧内编码。如图21所示,当应用了IBC时,通过同一图片中的参考块预测当前块。在编码或者解码当前块之前,必须已经重构了参考块中的样点。尽管IBC对于大部分相机捕获的序列而言并不足够有效,但其示出了屏幕内容的显著编码增益。原因是屏幕内容图片中有许多重复图案,诸如图标和文本字符。IBC能有效地移除这些重复图案之间的冗余。在HEVC-SCC中,如果选择当前图片作为其参考图片,则帧间编解码的编解码单元(CU)能应用IBC。在这种情形下,将MV重命名为块矢量(BV),并且BV始终具有整数像素精度。为了与主配置文件HEVC兼容,在解码的图片缓冲区(DPB)中将当前图片标记为“长期”参考图片。应当注意的是,类似地,在多视图/3D视频编码标准中,也将视图间参考图片标记为“长期”参考图片。
在BV找到其参考块之后,通过复制参考块来生成预测。可以通过从原始信号中减去参考像素来得到残差。然后可以像在其他编解码模式中一样应用变换和量化。
然而,当参考块在图片之外、或与当前块重叠、或在重构的区域之外、或在受某些约束限制的有效区域之外时,则不定义部分或全部像素值。基本上,应对此种问题有两种解决方案。一种是禁止这种情形,例如在比特流一致性方面。另一种是对那些未定义的像素值应用填充。以下子章节详细描述了解决方案。
2.3.1VVC测试模型(VTM4.0)中的IBC
在当前VVC测试模型(即VTM-4.0设计)中,整个参考块应具有当前编解码树单元(CTU),并且与当前块不重叠。因此,不需要填充参考或预测块。将IBC标志编码为当前CU的预测模式。因此,对于每个CU,总共有三种预测模式:MODE_INTRA、MODE_INTER和MODE_IBC。
2.3.1.1IBC Merge模式
在IBC Merge模式中,从比特流中解析指向IBC Merge候选列表中的条目的索引。可以将IBC Merge列表的构建总结为以下顺序步骤:
·步骤1:推导空域候选
·步骤2:插入HMVP候选
·步骤3:插入成对平均候选
在推导空域Merge候选中,如图2所示,在位于A1、B1、B0、A0和B2所描绘的位置的候选中,最多选择四个Merge候选。推导顺序为A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任意PU不可用(例如,因为其属于另一条带或片)或未使用IBC模式进行编码时,才考虑位置B2。在添加了位于位置A1的候选之后,其余候选的插入要受到冗余检查,以确保从列表中排除具有相同运动信息的候选,以便提高编码效率。
在插入空域候选之后,如果IBC Merge列表尺寸仍然小于最大IBC Merge列表尺寸,则可以插入来自HMVP表的IBC候选。当插入HMVP候选时执行冗余检查。
最后,将成对平均候选插入到IBC Merge列表。
当由Merge候选标识的参考块在图片之外、或者与当前块重叠、或者在重构区域之外、或者在受某些约束限制的有效区域之外时,将该Merge候选称为无效Merge候选。
注意的是,无效Merge候选可以被插入到IBC Merge列表中。
2.3.1.2IBC AMVP模式
在IBC AMVP模式下,从比特流中解析指向IBC AMVP列表中条目的AMVP索引。可以将IBC AMVP列表的构建总结为以下顺序步骤:
·步骤1:推导空域候选
o检查A0、A1直到找到可用的候选。
o检查B0、B1、B2直到找到可用的候选。
·步骤2:插入HMVP候选
·步骤3:插入零候选
在插入空域候选之后,如果IBC AMVP列表尺寸仍然小于最大IBC AMVP列表尺寸,则可以插入来自HMVP表的IBC候选。
最后,将零候选插入到IBC AMVP列表中。
2.3.1.3色度IBC模式
在当前VVC中,在子块级别执行色度IBC模式下的运动补偿。将色度块分割成几个子块。每个子块确定对应的亮度块是否具有块矢量,以及在存在的情况下确定其有效性。当前VTM中具有编码器约束,其中如果当前色度CU中的所有子块都具有有效亮度块矢量,则测试色度IBC模式。例如,对于YUV 420视频,色度块为NxM,然后并置亮度区域为2Nx2M。色度块的子块尺寸为2x2。通过几个步骤执行色度mv推导,然后执行块复制处理。
1)首先将色度块划分成(N>>1)*(M>>1)个子块。
2)具有左上样点(坐标位于(x,y))的每个子块抓取覆盖相同左上样点(坐标位于(2x,2y))的对应亮度块。
3)编码器检查抓取的亮度块的块矢量(bv)。如果满足以下条件之一,则将bv视为无效。
a.不存在对应亮度块的bv。
b.尚未重构由bv标识的预测块。
c.由bv标识的预测块与当前块部分或全部重叠。
4)将子块的色度运动矢量设置为对应亮度子块的运动矢量。
当所有子块都找到有效的bv时,在编码器处允许IBC模式。
2.3.2IBC的单个BV列表(在VTM5.0中)
VVC采用了JVET-N0843。在JVET-N0843中,IBC中用于Merge模式和AMVP模式的BV预测器将共享共同的预测器列表,该列表由以下元素组成:
·2个空域临近位置(如图2中的A1,B1)
·5个HMVP条目
·默认的零矢量
由从条带标头推导的变量控制列表中候选的数目。对于Merge模式,将使用此列表的前6个条目;对于AMVP模式,将使用此列表的前2个条目。并且列表符合共享的Merge列表区域要求(在SMR内共享相同的列表)。
除了上述的BV预测器候选列表之外,JVET-N0843还提出了简化HMVP候选与现有Merge候选(A1,B1)之间的修剪操作。在简化处理中,最多有2次修剪操作,因为其仅将第一HMVP候选与空域Merge候选进行比较。
3.问题
Merge模式的当前设计可能具有以下问题:
1.常规Merge列表构建过程取决于当前块TPM的使用。
a.对于TPM编解码的块,在空域Merge候选之间应用完全修剪。
b.对于非TPM编解码的块,在空域Merge候选之间应用部分修剪。
2.根据当前设计,由一个标志(称为general_merge_flag)信令通知所有与Merge相关的工具(包括IBC Merge、常规Merge、MMVD、子块Merge、CIIP、TPM)。但是,当此标志为真时,有可能信令通知所有与Merge相关的工具或将其推导为禁用。如何应对此情形是未知的。另外,不允许关闭Merge模式,也就是说,Merge候选的最大数目不等于0。但是,对于高吞吐量的编码器/解码器,可能需要强制禁用Merge模式。
3.用于ATMVP处理的初始化的MV的决定取决于条带类型、所有参考图片的POC值、collocated_from_l0_flag等,这会延迟MV的吞吐量。
4.并置MV的推导处理取决于子块技术的使用,诸如常规的TMVP处理或需要附加逻辑的ATMVP处理。
5.对于ATMVP编码的块中的子CU,即使其对应并置块也是帧间编解码的,也有可能无法从对应并置块推导子CU的运动信息,而被填充为其他运动信息。对于编码效率和吞吐量而言,这种设计是次优的。
6.HEVC规范基于当前或参考图片中一个临近块是被构建的还是在不同的CTU行/条带等中来定义该块的可用性。然而,在VVC中,已经引入了多种编码方法。可能需要定义块的可用性的不同定义。
7.JVET-O0545提出通过发送sps_sbt_max_size_64_flag来信令通知最大变换块尺寸的指示。
sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个亮度样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个亮度样点。
MaxSbtSize=sps_sbt_max_size_64_flag ? 64 : 32 (7-31)
为了支持小于64的最大变换尺寸(由MaxTransformSize指示),按照如下修改MaxSbtSize的推导:
MaxSbtSize=min(MaxTransformSize,sps_sbt_max_size_64_flag?64:32)
8.ALF系数限制在固定范围内。例如:由AlfCoeffC表示的色度ALF滤波器系数和由AlfCoeffL表示的亮度ALF滤波器系数应在-27至27–1范围内。这种限制是基于8比特深度的假设。
9.按照如下信令通知ALF滤波器的预测器指示:
可以看出,这种方法需要解析多个语法元素以确定是使用从中设置APS的滤波器还是固定的滤波器。
10.Merge相关的编解码工具如下:
要注意的是,首先信令通知子块Merge相关的语法元素;紧接着是常规Merge模式(其如HEVC中控制MMVP和常规Merge)的指示。当这样的指示为假时,可以进一步信令通知附加比特以指示其是CIIP还是TPM模式。
然而,此类信息未考虑允许的TPM候选数目小于2的情形。
11.在最新的VVC规范中,除了诸如在相同条带中的其他条件之外,相对于第一块的第二块的可用性检查还取决于块编码的模式。然而,在应对共享的Merge列表时这可能会导致问题。以16x4块为例,当使用垂直TT对其进行进一步划分时,将生成三个CU:4x4、8x4和4x4。如图24所示,当推导用于后一4×4的空域Merge候选时,从共享的Merge区域(SMR)的A1和B1推导两个空域候选。因此,对于IBC编解码的块,应检查是否以IBC模式编解码A1/B1(与共享的16x4区域临近)。这就是共享Merge列表的目的。
然而,当子条款8.6.2.2调用空域Merge候选的推导处理时,左上样点的坐标已经从当前坐标(覆盖绿色圆圈)更改为覆盖黑色圆圈的坐标(即,共享的Merge区域的左上位置),并且块宽度/高度也修改为共享的Merge区域的宽度/高度。
然后,在关于IBC空域块矢量候选的推导处理的子条款8.6.2.3中,其必须通过调用6.4.4(其中checkPredModeY设置为真(TRUE))来检查A1/B1是否可用。在此,由于需要检查覆盖共享的区域的左上样点的CU(即,左侧4x4 CU而不是当前4x4 CU)的预测模式是否与A1/B1的预测模式相同,这可能引起问题。
例如:
–如果左侧4x4 CU不是IBC,而A1/B1是IBC,则将A1/B1标记为不可用,这似乎不是故意的。
–如果左侧4x4 CU不是IBC,并且A1/B1也不是IBC,则将A1/B1标记为可用。在这种情形下,错误的运动将会被用作BV候选。
因此,如果只将模式检查添加到可用性检查处理中,将是有问题的。
12.在CIIP的权重推导处理中,如果临近块的预测模式为IBC/帧内/调色板,则始终将其视为不可用,并且在所有这三种情形下,帧间/帧内预测信号的权重均分配为相同的值。
4.技术和实施例的示例
应将以下详细的列表视为示例以解释一般概念。不应以狭义的方式解释这些实施例。此外,可以以任何方式组合这些技术。
在图2中示出了表示为A0、A1、B0、B1、B2等的临近块。
1.用于常规Merge和TPM编解码的块的常规Merge列表构建过程与当前块的编码方法不相干(decoupled)。
a.在一个示例中,当将TPM应用于一个块时,将部分修剪应用于空域Merge候选。
i.在一个示例中,以与用于非TPM Merge编码的块相同的方式确定两个候选是否相互比较。
ii.在一个示例中,将B1与A1比较,将B0与B1比较,将A0与A1比较,将B2与B1和A1比较。
iii.可替代地,即使TPM未用于一个块,也将完全修剪应用于空域Merge候选。
iv.可替代地,此外,可以将完全修剪应用于某些特定块维度。
1.例如,可以将完全修剪应用于其中允许TPM的块维度。
2.例如,当块尺寸包含少于M*H个样点(例如,16个或32个或64个亮度样点)时,不允许完全修剪。
3.例如,当块的宽度>th1或>=th1和/或块的高度>th2或>=th2时,不允许完全修剪。
b.在一个示例中,当将TPM应用于一个块时,是否检查B2是基于在检查B2之前的可用Merge候选的数目。
i.可替代地,总是检查B2,而不管非TPM Merge编码的块的可用Merge候选的数目如何。
2.用于标识块以确定ATMVP是否可用的初始化的MV可以仅依赖于空域临近块(例如,A1)的列表X信息,并且将X设置为从中推导用于时域运动矢量预测的并置图片的位置(例如,collocated_from_l0_flag)。
a.可替代地,根据与当前图片相比所有参考列表中的所有参考图片是否具有更小的POC值或者不具有更大的POC值来决定X。
i.在一个示例中,如果这为真,则将X设置为1。否则,将X设置为0。
b.可替代地,如果与空域临近块(例如,A1)的列表X关联的参考图片可用并且具有与并置图片相同的POC值,则将初始化的MV设置成与空域临近块的列表X关联的MV。否则,利用默认的MV(例如,(0,0))。
c.可替代地,可以将存储在HMVP表中的运动信息用作ATMVP中的初始化的MV。
i.例如,可以使用存储在HMVP表中的第一可用运动信息。
ii.例如,可以使用存储在HMVP表中、与某些参考图片(例如,并置图片)关联的第一可用运动信息。
d.可替代地,X是固定的数值,诸如0或1。
3.可以对齐用于基于子块的编解码工具和基于非子块的编解码工具的并置MV的推导处理,即,该处理独立于某些编解码工具的使用。
a.在一个示例中,将用于基于子块的编解码工具的并置MV的整个或部分推导处理与用于TMVP的推导处理对齐。
i.在一个示例中,如果是来自列表Y的单向预测,则将列表Y的运
动矢量缩放至目标参考图片列表X;
ii.在一示例中,如果是双向预测并且目标参考图片列表为X,则将列表Y的运动矢量缩放至目标参考图片列表X,可以根据以下规则确定Y:
–如果相比于当前图片,没有参考图片具有更大的POC值,或者所有参考图片相比于当前图片都具有较小的POC值,则将Y设置为等于X。
–否则,将Y设置为等于collocated_from_l0_flag。
b.在一个示例中,将用于TMVP的并置MV的整个或部分推导处理与用于基于子块的编解码工具的推导处理对齐。
4.运动候选列表构建过程(例如,常规Merge列表、IBC Merge/AMVP列表)可以取决于块维度和/或Merge共享条件。将块的宽度和高度分别表示为W和H。条件C可以取决于W和H和/或Merge共享条件。
a.在一个示例中,如果满足条件C,则跳过空域Merge候选的推导。
b.在一个示例中,如果满足条件C,则跳过HMVP候选的推导。
c.在一个示例中,如果满足条件C,则跳过成对Merge候选的推导。
d.在一个示例中,如果满足条件C,则降低最大修剪操作数目或将其设置为0。
e.在一个示例中,当W*H小于或不大于阈值(例如64或32)时,则满足条件C。
f.在一个示例中,当W和/或H小于或不大于阈值(例如4或8)时,则满足条件C。
g.在一个示例中,当当前块在共享的节点下时,则满足条件C。
5.可以将允许的常规Merge候选的最大数目/允许的IBC候选的最大数目/允许的子块Merge候选的最大数目设置为0。因此,可以禁用某些工具,并且不需要信令通知相关的语法元素。
a.在一个示例中,当允许的常规Merge候选的最大数目等于0时,可以禁用依赖于常规Merge列表的编解码工具。所述编解码工具可以是常规Merge、MMVD、CIIP、TPM、DMVR等。
b.在一个示例中,当允许的IBC候选的最大数目等于0时,可以禁用IBC AMVP和/或IBC Merge。
c.在一个示例中,当允许的基于子块的Merge候选的最大数目等于0时,可以禁用基于子块的技术,例如ATMVP、仿射Merge模式。
d.当根据允许的候选的最大数目禁用工具时,将跳过相关语法元素的信令通知。
i.可替代地,此外,Merge相关的工具的信令通知可能需要检查允许的候选的最大数目是否不等于0。
ii.可替代地,此外,调用Merge相关的工具的处理可能需要检查允许候选的最大数目是否不等于0。
6.general_merge_flag和/或cu_skip_flag的信令通知可以取决于允许的常规Merge候选的最大数目/允许的IBC候选的最大数目/允许的子块Merge候选的最大数目/Merge相关的编解码工具的使用。
a.在一个示例中,Merge相关的编解码工具可以包括IBC Merge、常规Merge、MMVD、子块Merge、CIIP、TPM、DMVR等。
b.在一个示例中,当允许的常规Merge候选的最大数目、允许的IBCMerge/AMVP候选的最大数目、允许的子块Merge候选的最大数目等于0时,不信令通知general_merge_flag和/或cu_skip_flag。
i.可替代地,此外,将general_merge_flag和/或cu_skip_flag推断为0。
7.一致性比特流应满足:当当前块的general_merge_flag或cu_skip_flag为真时,启用Merge相关的工具中的至少一个,包括IBC Merge、常规Merge、MMVD、子块Merge、CIIP、TPM、DMVR等。
8.一致性比特流应满足:当当前块的(general_merge_flag或cu_skip_flag)为真并且对于一个条带/片/砖块(brick)/图片/当前块禁用IBC时,启用Merge相关的工具中的至少一个,包括常规Merge、MMVD、子块Merge、CIIP、TPM、DMVR等。
9.一致性比特流应满足:当当前块的(general_merge_flag或cu_skip_flag)为真并且对于一个条带/片/砖块/图片/当前块禁用MMVD时,启用Merge相关的工具中的至少一个,包括IBC Merge、常规Merge、子块Merge、CIIP、TPM。
10.一致性比特流应满足:当当前块的(general_merge_flag或cu_skip_flag)为真并且对于一个条带/片/砖块/图片/当前块禁用CIIP时,启用Merge相关的工具中的至少一个,包括IBC Merge、常规Merge、MMVD、子块Merge、TPM。
11.一致性比特流应满足:当当前块的(general_merge_flag或cu_skip_flag)为真并且对于一个条带/片/砖块/图片/当前块禁用TPM时,启用Merge相关的工具中的至少一个,包括IBC Merge、常规Merge、MMVD、子块Merge、CIIP。
12.一致性比特流应满足:当当前块的general_merge_flag或cu_skip_flag为真时,应用Merge相关的工具中的至少一个,包括IBC Merge、常规Merge、MMVD、子块Merge、CIIP、TPM。
关于可用性检查
13.当编解码第一块时,第二块的可用性检查可以取决于第一块的编解码的模式信息,例如,如果在第一块和第二块中使用了不同的模式,则可以将第二块视为不可用,而不管其他条件检查结果(例如,已经被构建)。
a.在一个示例中,当第一块是帧间编解码的并且第二块是IBC编解码时,将第二块标记为不可用。
b.在一个示例中,当第一块是IBC编解码的并且第二块是帧间编解码时,将第二块标记为不可用。
c.当第二块标记为不可用时,不允许将相关的编解码信息(例如,运动信息)用于编解码第一块。
d.在一个示例中,当前块的模式信息可以作为输入参数添加到可用性检查处理中。
14.提出在关于当前第一块的第二块的可用性检查处理中引入两个位置(例如,坐标)。
a.在一个示例中,第一位置对应于相对于当前编解码块(例如,CU)的左上位置。
i.在一个示例中,利用第一位置标识编解码块,并将编解码块的预测模式与第二块关联的预测模式进行比较。
b.在一个示例中,第二位置对应于相对于共享的Merge区域的左上位置。
i.在一个示例中,利用第二位置标识编解码块,并且不将编解码块的预测模式与第二块关联的预测模式进行比较。
ii.在一个示例中,第二位置可以用于检查覆盖第二位置的编解码块是否与第一块在相同视频单元中(例如,条带/片/砖块/子图片)。
15.提出在关于当前第一块的IBC运动列表构建过程中引入两个位置(例如,坐标)。
a.在一个示例中,第一位置对应于相对于共享的Merge区域的左上位置。
i.在一个示例中,第一位置可以用于推导第二块(例如,空域临近块)。
b.在一个示例中,第二位置对应于相对于当前编解码块(例如,CU)的左上位置。
i.在一个示例中,利用第二位置标识编解码块,并且在可用性检查处理中将编解码块的预测模式与第二块关联的预测模式进行比较。
16.在CIIP(组合帧内帧间预测)处理的权重推导中的临近块的可用性检查可以与当前块的模式(与临近块的模式相同)检查不相干。
a.在一个示例中,即使按照帧内模式、或IBC模式或调色板模式编解码临近块,也可以将其标记为可用。
b.可替代地,此外,当临近块可用并且以不同模式编解码时,可以不同地分配帧间/帧内预测信号的权重。
17.与TPM侧信息无关的语法元素的信令通知也可以在允许的TPM候选数的条件检查下进行。
a.在一个示例中,CIIP相关的语法元素(例如,ciip_flag)的信令通知可以取决于允许的TPM候选数目大于阈值K。
b.在一个示例中,常规Merge模式标志(例如,regular_merge_flag)的信令通知可以取决于允许的TPM候选数目大于阈值K。
c.在一个示例中,将K设置为1。
d.替代地,此外,当允许的TPM候选数目不大于阈值K时,可以不信令通知某些语法元素。
18.一致性比特流应满足:最大变换块尺寸不应超过最大CTU尺寸。
a.可替代地,可以在最大CTU尺寸下有条件地信令通知最大变换块尺寸的指示,或者反之亦然。
i.在一个示例中,如果最大CTU尺寸不大于或等于M×N(例如,M=N=32),则不需要信令通知最大变换块尺寸的指示。
19.ALF滤波器系数范围可以取决于样点深度(例如,内部比特深度或输入比特深度),而不是处于固定范围内。
20.可以直接地信令通知一个标志,以指示是否将ALF APS中的ALF滤波器用于固定的滤波器。
a.另外,可以在可用ALF APS的数目大于0的条件下信令通知这种标志。
b.可替代地,此外,当信令通知来自APS的ALF滤波器时,可以进一步信令通知一种附加语法以指示ALF APS的索引。可以由固定长度编解码、一元编解码、截断一元编解码、截断二进制编解码、指数哥伦布(exp-golomb)编解码来编解码这种索引。
5.实施例
以下给出在最新的VVC工作草案(JVET-N1001_v7)之上建议的更改。删除的文本标记为加粗、大写的文本。新添加的部分以加粗、下划线的文本突出显示。
5.1实施例#1
此实施例是用来将用于非TPM编解码的块的修剪处理与用于TPM编解码的块的修剪处理(即,用于非TPM编解码的块的完全修剪操作)对齐。
8.5.2.3空域Merging候选的推导处理
此处理的输入是:
-相对于当前图片的左上亮度样点、当前亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出如下,其中X为0或1:
–临近编解码单元的可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2
–临近编解码单元的参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2
–临近编解码单元的预测列表使用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2
–临近编解码单元的1/16分数样点精度的运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2
–双向预测权重索引gbiIdxA0、gbiIdxA1、gbiIdxB0、gbiIdxB1和gbiIdxB2
对于availableFlagA1、refIdxLXA1、predFlagLXA1、mvLXA1的推导,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、临近亮度位置(xNbA1,yNbA1)为输入、并将输出分配给块可用性标志flag availableA1
–按照如下推导变量availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1
–如果availableA1等于假(FALSE),将availableFlagA1设置为等于0,将mvLXA1的两个分量设置等于为0,将refIdxLXA1设置为等于-1,将predFlagLXA1设置为等于0(其中X为0或1),并且将gbiIdxA1设置为等于0。
-否则,将availableFlagA1设置为等于1,并进行以下分配:
mvLXA1 = MvLX[ xNbA1 ][ yNbA1 ] (8-294)
refIdxLXA1 = RefIdxLX[ xNbA1 ][ yNbA1 ] (8-295)
predFlagLXA1 = PredFlagLX[ xNbA1 ][ yNbA1 ] (8-296)
gbiIdxA1 = GbiIdx[ xNbA1 ][ yNbA1 ] (8-297)
对于availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB1,yNbB1)设置为等于(xCb+cbWidth-1,yCb-1)。
-调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB1,yNbB1)作为输入,并将输出分配给块可用性标志availableB1
–按照如下推导变量availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1
–如果以下条件中的一个或多个为真,则将availableFlagB1设置为等于0,将mvLXB1的两个分量设置为等于0,将refIdxLXB1设置为等于-1,将predFlagLXB1设置为等于0(其中X为0或1),并且将gbiIdxB1设置为等于0。
–availableB1等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB1,yNbB1)具有相同的运动矢量和相同的参考索引。
-否则,将availableFlagB1设置为等于1,并进行以下分配:
mvLXB1 = MvLX[ xNbB1 ][ yNbB1 ] (8-298)
refIdxLXB1 = RefIdxLX[ xNbB1 ][ yNbB1 ] (8-299)
predFlagLXB1 = PredFlagLX[ xNbB1 ][ yNbB1 ] (8-300)
gbiIdxB1=GbiIdx[xNbB1][ yNbB1 ] (8-301)
对于availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0的推导处理,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbB0,yNbB0)设置为等于(xCb+cbWidth,yCb-1)。
-调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB0,yNbB0)作为输入,并将输出分配给块可用性标志availableB0
–按照如下推导变量availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0
-如果以下条件中的一个或多个为真,则将availableFlagB0设置为等于0,将mvLXB0的两个分量设置为等于0,将refIdxLXB0设置为等于-1,将predFlagLXB0设置为等于0(其中X为0或1),并且将gbiIdxB0设置为等于0。
-availableB0等于假(FALSE)。
-availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB0,yNbB0)具有相同的运动矢量和相同的参考索引。
-availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB0,yNbB0)具有相同的运动矢量和相同的参考索引,
–否则,将availableFlagB0设置为等于1,并进行以下分配:
mvLXB0 = MvLX[ xNbB0 ][ yNbB0 ] (8-302)
refIdxLXB0 = RefIdxLX[ xNbB0 ][ yNbB0 ] (8-303)
predFlagLXB0 = PredFlagLX[ xNbB0 ][ yNbB0 ] (8-304)
gbiIdxB0 = GbiIdx[ xNbB0 ][ yNbB0 ] (8-305)
对于availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0的推导处理,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbA0,yNbA0)设置为等于(xCb-1,yCb+cbWidth)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbA0,yNbA0)作为输入,并将输出分配给块可用性标志availableA0
–按照如下推导变量availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0
–如果以下条件中的一个或多个为真,则将availableFlagA0设置为等于0,将mvLXA0的两个分量设置为等于0,将refIdxLXA0设置为等于-1,将predFlagLXA0设置为等于0(其中X为0或1),并且将gbiIdxA0设置为等于0。
–availableA0等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引,
-availableB0等于真(TRUE),并且亮度位置(xNbB0,yNbB0)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引,
–否则,将availableFlagA0设置为等于1,并进行以下分配:
mvLXA0 = MvLX[ xNbA0 ][ yNbA0 ] (8-306)
refIdxLXA0 = RefIdxLX[ xNbA0 ][ yNbA0 ] (8-307)
predFlagLXA0 = PredFlagLX[ xNbA0 ][ yNbA0 ] (8-308)
gbiIdxA0 = GbiIdx[ xNbA0 ][ yNbA0 ] (8-309)
对于availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB2,yNbB2)设置为等于(xCb-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB2,yNbB2)作为输入,并将输出分配给块可用性标志availableB2
–按照如下推导变量availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2
–如果以下条件中的一个或多个为真,则将availableFlagB2设置为等于0,将mvLXB2的两个分量设置为等于0,将refIdxLXB2设置为等于-1,将predFlagLXB2设置为等于0(其中X为0或1),并且将gbiIdxB2设置为等于0。
–availableB2等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB0等于真(TRUE),并且亮度位置(xNbB0,yNbB0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,
-availableA0等于真(TRUE),并且亮度位置(xNbA0,yNbA0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,
–availableFlagA0+availableFlagA1+availableFlagB0+availableFlagB1等于4,并且merge_triangle_flag[xCb][yCb]等于0。
-否则,将availableB2设置为等于1,并进行以下分配:
mvLXB2 = MvLX[ xNbB2 ][ yNbB2 ] (8-310)
refIdxLXB2 = RefIdxLX[ xNbB2 ][ yNbB2 ] (8-311)
predFlagLXB2 = PredFlagLX[ xNbB2 ][ yNbB2 ] (8-312)
gbiIdxB2 = GbiIdx[ xNbB2 ][ yNbB2 ] (8-313)
5.2实施例#2
此实施例是将用于TPM编解码的块的修剪处理与用于非TPM编解码的块的修剪处理(即,用于TPM编解码的块的受限的修剪操作)对齐。
8.5.2.3空域Merging候选的推导处理
此处理的输入是:
-相对于当前图片的左上亮度样点、当前亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出如下,其中X为0或1:
-临近编解码单元的可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2
–临近编解码单元的参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2
–临近编解码单元的预测列表使用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2
–临近编解码单元的1/16分数样点精度的运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2
-双向预测权重索引gbiIdxA0、gbiIdxA1、gbiIdxB0、gbiIdxB1和gbiIdxB2
对于availableFlagA1、refIdxLXA1、predFlagLXA1、mvLXA1的推导,适用以下规则:
-将临近亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、临近亮度位置(xNbA1,yNbA1)为输入、并将输出分配给块可用性标志availableA1
–按照如下推导变量availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1
-如果availableA1等于假(FALSE),将availableFlagA1设置为等于0,将mvLXA1的两个分量设置等于为0,将refIdxLXA1设置为等于-1,将predFlagLXA1设置为等于0(其中X为0或1),并且将gbiIdxA1设置为等于0。
–否则,将availableFlagA1设置为等于1,并进行以下分配:
mvLXA1 = MvLX[ xNbA1 ][ yNbA1 ] (8-294)
refIdxLXA1 = RefIdxLX[ xNbA1 ][ yNbA1 ] (8-295)
predFlagLXA1 = PredFlagLX[ xNbA1 ][ yNbA1 ] (8-296)
gbiIdxA1 = GbiIdx[ xNbA1 ][ yNbA1 ] (8-297)
对于availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB1,yNbB1)设置为等于(xCb+cbWidth-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB1,yNbB1)作为输入,并将输出分配给块可用性标志availableB1
–按照如下推导变量availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1
–如果以下条件中的一个或多个为真,则将availableFlagB1设置为等于0,将mvLXB1的两个分量设置为等于0,将refIdxLXB1设置为等于-1,将predFlagLXB1设置为等于0(其中X为0或1),并且将gbiIdxB1设置为等于0。
–availableB1等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB1,yNbB1)具有相同的运动矢量和相同的参考索引。
–否则,将availableFlagB1设置为等于1,并进行以下分配:
mvLXB1 = MvLX[ xNbB1 ][ yNbB1 ] (8-298)
refIdxLXB1 = RefIdxLX[ xNbB1 ][ yNbB1 ] (8-299)
predFlagLXB1 = PredFlagLX[ xNbB1 ][ yNbB1 ] (8-300)
gbiIdxB1=GbiIdx[xNbB1][ yNbB1 ] (8-301)
对于availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB0,yNbB0)设置为等于(xCb+cbWidth,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB0,yNbB0)作为输入,并将输出分配给块可用性标志availableB0
–按照如下推导变量availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0
–如果以下条件中的一个或多个为真,则将availableFlagB0设置为等于0,将mvLXB0的两个分量设置为等于0,将refIdxLXB0设置为等于-1,将predFlagLXB0设置为等于0(其中X为0或1),并且将gbiIdxB0设置为等于0。
–availableB0等于假(FALSE)。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB0,yNbB0)具有相同的运动矢量和相同的参考索引。
–否则,将availableFlagB0设置为等于1,并进行以下分配:
mvLXB0 = MvLX[ xNbB0 ][ yNbB0 ] (8-302)
refIdxLXB0 = RefIdxLX[ xNbB0 ][ yNbB0 ] (8-303)
predFlagLXB0 = PredFlagLX[ xNbB0 ][ yNbB0 ] (8-304)
gbiIdxB0 = GbiIdx[ xNbB0 ][ yNbB0 ] (8-305)
对于availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA0,yNbA0)设置为等于(xCb-1,yCb+cbWidth)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbA0,yNbA0)作为输入,并将输出分配给块可用性标志availableA0
–按照如下推导变量availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0
–如果以下条件中的一个或多个为真,则将availableFlagA0设置为等于0,将mvLXA0的两个分量设置为等于0,将refIdxLXA0设置为等于-1,将predFlagLXA0设置为等于0(其中X为0或1),并且将gbiIdxA0设置为等于0。
–availableA0等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbA0,yNbA0)具有相同的运动矢量和相同的参考索引。
–否则,将availableFlagA0设置为等于1,并进行以下分配:
mvLXA0 = MvLX[ xNbA0 ][ yNbA0 ] (8-306)
refIdxLXA0 = RefIdxLX[ xNbA0 ][ yNbA0 ] (8-307)
predFlagLXA0 = PredFlagLX[ xNbA0 ][ yNbA0 ] (8-308)
gbiIdxA0 = GbiIdx[ xNbA0 ][ yNbA0 ] (8-309)
对于availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB2,yNbB2)设置为等于(xCb-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB2,yNbB2)作为输入,并将输出分配给块可用性标志availableB2
–按照如下推导变量availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2
–如果以下条件中的一个或多个为真,则将availableFlagB2设置为等于0,将mvLXB2的两个分量设置为等于0,将refIdxLXB2设置为等于-1,将predFlagLXB2设置为等于0(其中X为0或1),并且将gbiIdxB2设置为等于0。
–availableB2等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableFlagA0+availableFlagA1+availableFlagB0+availableFlagB1等于4,并且merge_triangle_flag[xCb][yCb]等于0。
–否则,将availableB2设置为等于1,并进行以下分配:
mvLXB2 = MvLX[ xNbB2 ][ yNbB2 ] (8-310)
refIdxLXB2 = RefIdxLX[ xNbB2 ][ yNbB2 ] (8-311)
predFlagLXB2 = PredFlagLX[ xNbB2 ][ yNbB2 ] (8-312)
gbiIdxB2 = GbiIdx[ xNbB2 ][ yNbB2 ] (8-313)
5.3实施例#3
此实施例是用来对齐用于调用B2检查的条件。
8.5.2.3空域Merging候选的推导处理
此处理的输入是:
–相对于当前图片的左上亮度样点、当前亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出如下,其中X为0或1:
–临近编解码单元的可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2
–临近编解码单元的参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2
–临近编解码单元的预测列表使用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2
–临近编解码单元的1/16分数样点精度的运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2
–双向预测权重索引gbiIdxA0、gbiIdxA1、gbiIdxB0、gbiIdxB1和gbiIdxB2
对于availableFlagA1、refIdxLXA1、predFlagLXA1、mvLXA1的推导,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、临近亮度位置(xNbA1,yNbA1)为输入、并将输出分配给块可用性标志availableA1
–按照如下推导变量availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1
对于availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB1,yNbB1)设置为等于(xCb+cbWidth-1,yCb-1)。
对于availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB0,yNbB0)设置为等于(xCb+cbWidth,yCb-1)。
对于availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA0,yNbA0)设置为等于(xCb-1,yCb+cbWidth)。
对于availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB2,yNbB2)设置为等于(xCb-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB2,yNbB2)作为输入,并将输出分配给块可用性标志availableB2
–按照如下推导变量availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2
–如果以下条件中的一个或多个为真,则将availableFlagB2设置为等于0,将mvLXB2的两个分量设置为等于0,将refIdxLXB2设置为等于-1,将predFlagLXB2设置为等于0(其中X为0或1),并且将gbiIdxB2设置为等于0。
–availableB2等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB0等于真(TRUE),并且亮度位置(xNbB0,yNbB0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–availableA0等于真(TRUE),并且亮度位置(xNbA0,yNbA0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–availableFlagA0+availableFlagA1+availableFlagB0+availableFlagB1等于4,/>
–否则,将availableB2设置为等于1,并进行以下分配:
mvLXB2 = MvLX[ xNbB2 ][ yNbB2 ] (8-310)
refIdxLXB2 = RefIdxLX[ xNbB2 ][ yNbB2 ] (8-311)
predFlagLXB2 = PredFlagLX[ xNbB2 ][ yNbB2 ] (8-312)
gbiIdxB2 = GbiIdx[ xNbB2 ][ yNbB2 ] (8-313)
5.4实施例#4
此实施例是用来对齐用于调用B2检查的条件。
8.5.2.3空域Merging候选的推导处理
此处理的输入是:
–相对于当前图片的左上亮度样点、当前亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出如下,其中X为0或1:
–临近编解码单元的可用性标志availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1和availableFlagB2
–临近编解码单元的参考索引refIdxLXA0、refIdxLXA1、refIdxLXB0、refIdxLXB1和refIdxLXB2
–临近编解码单元的预测列表使用标志predFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1和predFlagLXB2
–临近编解码单元的1/16分数样点精度的运动矢量mvLXA0、mvLXA1、mvLXB0、mvLXB1和mvLXB2
–双向预测权重索引gbiIdxA0、gbiIdxA1、gbiIdxB0、gbiIdxB1和gbiIdxB2
对于availableFlagA1、refIdxLXA1、predFlagLXA1、mvLXA1的推导,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、临近亮度位置(xNbA1,yNbA1)为输入、并将输出分配给块可用性标志availableA1
–按照如下推导变量availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1
对于availableFlagB1、refIdxLXB1、predFlagLXB1和mvLXB1的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB1,yNbB1)设置为等于(xCb+cbWidth-1,yCb-1)。
对于availableFlagB0、refIdxLXB0、predFlagLXB0和mvLXB0的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB0,yNbB0)设置为等于(xCb+cbWidth,yCb-1)。
对于availableFlagA0、refIdxLXA0、predFlagLXA0和mvLXA0的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA0,yNbA0)设置为等于(xCb-1,yCb+cbWidth)。
对于availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2的推导处理,适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB2,yNbB2)设置为等于(xCb-1,yCb-1)。
–调用条款6.4.X[Ed.(BB):临近块可用性检查处理tbd]中规定的块可用性推导处理,其中以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、以及临近亮度位置(xNbB2,yNbB2)作为输入,并将输出分配给块可用性标志availableB2
–按照如下推导变量availableFlagB2、refIdxLXB2、predFlagLXB2和mvLXB2
–如果以下条件中的一个或多个为真,则将availableFlagB2设置为等于0,将mvLXB2的两个分量设置为等于0,将refIdxLXB2设置为等于-1,将predFlagLXB2设置为等于0(其中X为0或1),并且将gbiIdxB2设置为等于0。
–availableB2等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB1等于真(TRUE),并且亮度位置(xNbB1,yNbB1)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引。
–availableB0等于真(TRUE),并且亮度位置(xNbB0,yNbB0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–availableA0等于真(TRUE),并且亮度位置(xNbA0,yNbA0)和(xNbB2,yNbB2)具有相同的运动矢量和相同的参考索引,并且
merge_triangle_flag[xCb][yCb]等于1。
–否则,将availableB2设置为等于1,并进行以下分配:
mvLXB2 = MvLX[ xNbB2 ][ yNbB2 ] (8-310)
refIdxLXB2 = RefIdxLX[ xNbB2 ][ yNbB2 ] (8-311)
predFlagLXB2 = PredFlagLX[ xNbB2 ][ yNbB2 ] (8-312)
gbiIdxB2 = GbiIdx[ xNbB2 ][ yNbB2 ] (8-313)
5.5实施例#5
此实施例是用来简化ATMVP处理中初始化的MV的决定。
8.5.5.4基于子块的时域Merging基础运动数据的推导处理
此处理的输入是:
–包含当前编解码块的亮度编解码树块的左上样点的位置(xCtb,yCtb),
–覆盖右下中心样点的并置亮度编解码块的左上样点的位置(xColCtrCb,yColCtrCb)。
–临近编解码单元的可用性标志availableFlagA1
–临近编解码单元的参考索引refIdxLXA1
–临近编解码单元的预测列表使用标志predFlagLXA1
–临近编解码单元的1/16分数样点精度mvLXA1的运动矢量。
此处理的输出是:
–运动矢量ctrMvL0和ctrMvL1,
–预测列表使用标志ctrPredFlagL0和ctrPredFlagL1,
–时域运动矢量tempMv。
按照如下设置变量tempMv:
tempMv[0]=0 (8-529)
tempMv[1]=0 (8-530)变量currPic规定当前图片。
当availableFlagA1等于真(TRUE)时,适用以下规则:
按照如下推导在ColPic内部并置块的位置(xColCb,yColCb)。
将阵列colPredMode设置为等于由ColPic规定的并置图片的预测模式阵列CuPredMode。
按照如下推导运动矢量ctrMvL0和ctrMvL1、以及预测列表使用标志ctrPredFlagL0和ctrPredFlagL1:
5.6实施例#6
用于基于子块和基于非子块的方法的并置MV的推导处理的对齐示例。
8.5.2.12并置运动矢量的推导处理
此处理的输入是:
–变量currCb,规定当前编解码块,
–变量colCb,规定由ColPic规定的并置图片内的并置编解码块,
–亮度位置(xColCb,yColCb),规定相对于由ColPic规定的并置图片的左上亮度样点、由colCb规定的并置亮度编解码块的左上样点;
–参考索引refIdxLX,其中X为0或1,
–指示子块时域Merging候选的标志sbFlag。
此处理的输出是:
–1/16分数样点精度的运动矢量预测mvLXCol,
–可用性标志availableFlagLXCol。
变量currPic规定当前图片。
将阵列predFlagL0Col[x][y]、mvL0Col[x][y]和refIdxL0Col[x][y]分别设置为等于由ColPic规定的并置图片的PredFlagL0[x][y]、MvDmvrL0[x][y]和RefIdxL0[x][y],并且将阵列predFlagL1Col[x][y]、mvL1Col[x][y]和refIdxL1Col[x][y]分别设置为等于由ColPic规定的并置图片的PredFlagL1[x][y]、MvDmvrL1[x][y]和RefIdxL1[x][y]。
按照如下推导变量mvLXCol和availableFlagLXCol:
–如果以帧内或IBC预测模式编解码colCb,则将mvLXCol的两个分量设置为等于0,并且将availableFlagLXCol设置为等于0。
–否则,按照如下推导运动矢量mvCol、参考索引refIdxCol和参考列表标识符listCol:
–如果则将availableFlagLXCol设置为等于1,并且适用以下规则:
–如果predFlagL0Col[xColCb][yColCb]等于0,则将mvCol、refIdxCol和listCol分别设置为等于mvL1Col[xColCb][yColCb]、refIdxL1Col[xColCb][yColCb]和L1。
–否则,如果predFlagL0Col[xColCb][yColCb]等于1并且predFlagL1Col[xColCb][yColCb]等于0,则将mvCol、refIdxCol和listCol分别设置为等于mvL0Col[xColCb][yColCb]、refIdxL0Col[xColCb][yColCb]和L0。
–否则(predFlagL0Col[xColCb][yColCb]等于1并且predFlagL1Col[xColCb][yColCb]等于1),进行以下分配:
–如果NoBackwardPredFlag等于1,则将mvCol、refIdxCol和listCol分别设置为等于mvLXCol[xColCb][yColCb]、refIdxLXCol[xColCb][yColCb]和LX。
–否则,将mvCol、refIdxCol和listCol分别设置为等于mvLNCol[xColCb][yColCb]、refIdxLNCol[xColCb][yColCb]和LN,其中N为collocated_from_l0_flag的值。
–当availableFlagLXCol等于真(TRUE)时,按照以下推导mvLXCol和availableFlagLXCol:
–如果LongTermRefPic(currPic,currCb,refIdxLX,LX)不等于LongTermRefPic(ColPic,colCb,refIdxCol,listCol),则将mvLXCol的两个分量设置为等于0,并将availableFlagLXCol设置为等于0。
–否则,将变量availableFlagLXCol设置为等于1,将refPicList[listCol][refIdxCol]设置为具有条带的参考图片列表listCol中的参考索引refIdxCol的图片,所述条带包含由ColPic规定的并置图片中的编解码块colCb,并适用以下规则:
5.7关于IBC运动列表构建的实施例#7
使用两个坐标推导候选,一个坐标用于标识临近块,另一坐标用于对所标识的临近块进行可用性检查。
8.6.2.2IBC亮度块矢量预测的推导处理
仅当CuPredMode[0][xCb][yCb]等于MODE_IBC时才调用此处理,其中(xCb,yCb)规定相对于当前图片的左上亮度样点、当前亮度编解码块的左上亮度样点。
此处理的输入是:
–相对于当前图片的左上亮度样点、当前亮度编解码块的左上亮度样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出是:
–1/16分数样点精度的亮度块矢量bvL。
按照如下推导变量xSmr、ySmr、smrWidth和smrHeight:
xSmr = IsInSmr[ xCb ][ yCb ] ? SmrX[ xCb ][ yCb ] : xCb (8-906)
ySmr = IsInSmr[ xCb ][ yCb ] ? SmrY[ xCb ][ yCb ] : yCb (8-907)
smrWidth=IsInSmr[xCb][yCb] ? SmrW[xCb][yCb] : cbWidth (8-908)
smrHeight=IsInSmr[xCb][yCb] ? SmrH[xCb][yCb] : cbHeight (8-909)
通过以下有序步骤推导亮度块矢量bvL:
1.利用如下调用如条款8.6.2.3所规定的、从临近编解码单元推导空域块矢量候选的处理:将 的亮度编解码块/> 设置为等于smrWidth和smrHeight的亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入,并且输出可用性标志availableFlagA1、availableFlagB1以及块矢量bvA1和bvB1
2.按照如下构建块矢量候选列表bvCandList:
i=0
if(availableFlagA1)
bvCandList[i++]=bvA1
if(availableFlagB1)
bvCandList [ i++ ] = bvB1 (8-910)
3.将变量numCurrCand设置为等于bvCandList中的Merging候选数目。
4.当numCurrCand小于MaxNumIBCMergeCand并且NumHmvpIbcCand大于0时,调用8.6.2.4中规定的IBC基于历史的块矢量候选的推导处理,其中,其中以bvCandList、numCurrCand作为输入,以修改的bvCandList和numCurrCand作为输出。
5.当numCurrCand小于MaxNumIBCMergeCand时,适用以下内容直至numCurrCand等于MaxNumIBCMergeCand:
1.将bvCandList[numCurrCand][0]设置为等于0。
2.将bvCandList[numCurrCand][1]设置为等于0。
3.将numCurrCand增加1。
6.按照如下推导变量bvIdx:
bvIdx=general_merge_flag[xCb][yCb]?merge_idx[xCb][yCb]:mvp
_l0_flag[xCb][yCb](8-911)
7.作出以下分配:
bvL[ 0 ] = bvCandList[ mvIdx ][ 0 ] (8-912)
bvL[ 1 ] = bvCandList[ mvIdx ][ 1 ] (8-913)
4.7.1.1IBC空域块矢量候选的推导处理
此处理的输入是:
–相对于当前图片的左上亮度样点的亮度编解码块的左上样点的亮度位置(xCb,yCb),
–变量cbWidth,规定亮度样点中当前编解码块的宽度,
–变量cbHeight,规定亮度样点中当前编解码块的高度。
此处理的输出如下:
–临近编解码单元的可用性标志availableFlagA1和availableFlagB1
–临近编解码单元的1/16分数样点精度bvA1和bvB1中的块矢量,
availableFlagA1和mvA1的推导适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
–调用条款6.4.4中规定的临近块可用性的推导处理,其中将设置为等于的当前亮度位置(xCurr,yCurr),临近亮度位置(xNbA1,yNbA1)、设置为等于真(TRUE)的checkPredModeY,以及设置为等于0的cIdx作为输入,并将输出分配给块可用性标志availableA1
–按照如下推导变量availableFlagA1和bvA1
–如果availableA1等于假(FALSE),则availableFlagA1设置为等于0,bvA1的两个分量都设置为等于0。
–否则,availableFlagA1设置为等于1,并进行以下分配:
bvA1 = MvL0[ xNbA1 ][ yNbA1 ] (8-914)
availableFlagB1和bvB1的推导适用以下规则:
–将临近亮度编解码块内部的亮度位置(xNbB1,yNbB1)设置为等于(xCb+cbWidth-1,yCb-1)。
–调用条款6.4.4中规定的临近块可用性的推导处理,其中将设置为等于的当前亮度位置(xCurr,yCurr),临近亮度位置(xNbB1,yNbB1)、设置为等于真(TRUE)的checkPredModeY,以及设置为等于0的cIdx作为输入,并将输出分配给块可用性标志availableB1
–按照如下推导变量availableFlagB1和bvB1
–如果以下条件中的一个或多个为真,将则availableFlagB1设置为等于0,并将bvB1的两个分量设置为等于0:
–availableB1等于假(FALSE)。
–availableA1等于真(TRUE),并且亮度位置(xNbA1,yNbA1)和(xNbB1,yNbB1)具有相同的块矢量。
–否则,将availableFlagB1设置为等于1,并作出以下分配:
bvB1 = MvL0[ xNbB1 ][ yNbB1 ] (8-915)
5.8关于CIIP的实施例#7
8.5.6.7用于组合的Merge和帧内预测的加权的样点预测处理
此处理的输入是:
–亮度位置(xCb,yCb),规定相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点,
–当前编解码块的宽度cbWidth,
–当前编解码块的高度cbHeight,
–两个(cbWidth)x(cbHeight)阵列predSamplesInter和predSamplesIntra,
–变量cIdx,规定颜色分量索引。
此处理的输出是预测样点值的(cbWidth)x(cbHeight)阵列predSamplesComb。
按照如下推导变量bitDepth:
–如果cIdx等于0,则将bitDepth设置为等于BitDepthY。
–否则,将bitDepth设置为等于BitDepthC。
按照如下推导变量scallFact:
scallFact = ( cIdx = = 0 ) ? 0 : 1. (8-838)
将临近的亮度位置(xNbA,yNbA)和(xNbB,yNbB)分别设置为等于(xCb-1,yCb-1+(cbHeight<<scallFact))和(xCb-1+(cbWidth<<scallFact),yCb-1)。
对于将X替换为A或B的情形,按照如下推导变量availableX和isIntraCodedNeighbourX:
–调用条款6.4.4中规定的临近块可用性的推导处理,其中将设置为等于(xCb,yCb)的位置(xCurr,yCurr)、设置为等于(xNbX,yNbX)的临近位置(xNbY,yNbY)、设置为等于的checkPredModeY、以及设置为等于0的cIdx作为输入,并将输出分配给availableX。
–按照如下推导变量isIntraCodedNeighbourX:
–如果availableX等于真(TRUE),并且CuPredMode[0][xNbX][yNbX]
等于MODE_INTRA,则将isIntraCodedNeighbourX设置为等于真(TRUE)。
–否则,将isIntraCodedNeighbourX设置为等于假(FALSE)。
按照如下推导权重w:
–如果isIntraCodedNeighbourA和isIntraCodedNeighbourB都等于真(TRUE),则将w设置为等于3。
–否则,如果isIntraCodedNeighbourA和isIntraCodedNeighbourB都等于假(FALSE),则将w设置为等于1。
–否则,将w设置为等于2。
当cIdx等于0并且slice_lmcs_enabled_flag等于1时,按照如下推导predSamplesInter[x][y],其中,x=0..cbWidth-1并且y=0..cbHeight-1:
6.4.4临近块可用性的推导处理
此处理的输入是:
–相对于当前图片的左上样点的当前块的左上样点的亮度位置(xCurr,yCurr),
-相对于当前图片的左上亮度样点的、由临近块覆盖的亮度位置(xNbY,yNbY),
–变量checkPredModeY,规定预测模式是否取决于可用性。
-变量cIdx,规定当前块的颜色分量。
此处理的输出是覆盖位置(xNbY,yNbY)的临近块的可用性,表示为availableN。
按照如下推导临近块可用性availableN:
–如果以下条件中的一个或多个为真,则将availableN设置为等于假(FALSE):
–xNbY小于0。
-yNbY小于0。
–xNbY大于或等于pic_width_in_luma_samples。
–yNbY大于或等于pic_height_in_luma_samples。
–IsAvailable[cIdx][yNbY][xNbY]等于假(FALSE)。
–临近块被包含在与当前块不同的块中,将availableN设置为假(FALSE)。
–否则,将availableN设置为等于真(TRUE)。
当以下所有条件为真时,将availableN设置为等于假(FALSE)。
–checkPredModeY等于真(TRUE)。
–将availableN设置为等于真(TRUE)。
–CuPredMode[0][xNbY][yNbY]不等于CuPredMode[0][xCurr][yCurr]。
图22是视频处理装置2200的框图。装置2200可以用于实施本文描述的一种或多种方法。装置2200可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置2200可以包括一个或多个处理器2202、一个或多个存储器2204和视频处理硬件2206。处理器2202可以被配置为实施本申请文件中描述的一种或多种方法。存储器(或多个存储器)2204可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2206可以用于在硬件电路中实施本申请文件中描述的一些技术。视频处理硬件2206可以以专用硬件或图形处理器单元(GPU)或专用信号处理块的形式部分或完全包括在处理器2202内。
可以使用以下基于条款的描述来描述一些实施例。
在章节4项目1中描述的技术的一些示例实施例包括:
1.一种视频处理方法(例如,图23中描绘的方法2300),包括:将修剪处理应用于(2302)使用三角分割模式(TMP)分割的当前视频块的Merge列表构建,其中当前视频块被分割为至少两个非矩形子块,其中,所述修剪处理与使用非TMP分割而分割的另一视频块的另一修剪处理相同;以及基于Merge列表构建来在当前视频块和当前视频块的比特流之间执行转换(2304)。
2.根据权利要求1所述的方法,其中所述修剪处理包括对当前视频块的空域Merge候选使用部分修剪。
3.根据权利要求1所述的方法,其中所述修剪处理包括基于块维度规则对当前视频块应用完全或部分修剪,其中所述块维度规则规定基于当前视频块的维度使用完全或部分修剪。
4.根据权利要求1所述的方法,其中,所述修剪处理包括在所述Merge列表构建过程期间使用不同顺序的临近块。
在章节4项目2中描述的技术的一些示例实施例包括:
1.一种视频处理方法,包括:在当前视频块和当前视频块的比特流之间的转换期间,基于当前视频块的临近块的列表X来确定用于所述转换的替代时域运动矢量预测器编解码(ATMVP)模式的可用性,其中X为整数,X的值取决于当前视频块的编码条件;以及基于ATMVP模式的可用性来执行所述转换。
2.根据权利要求1所述的方法,其中,X指示并置视频图片的位置,从该位置处执行用于当前视频块和比特流之间的转换的时域运动矢量预测。
3.根据权利要求1所述的方法,其中,通过将当前视频块的所有参考列表中的所有参考图片的图片顺序计数(POC)与所述当前视频块的当前视频图片的POC进行比较来确定X。
4.根据权利要求3所述的方法,其中,在所述比较示出所述POC小于等于当前图片的POC的情形下,设置X=1,否则设置X=0。
5.根据权利要求1所述的方法,其中,存储在基于历史的运动矢量预测器表中的运动信息用于在所述ATMVP模式下初始化运动矢量。
在章节4目3中描述的技术的一些示例实施例包括:
1.一种视频处理方法,包括:在当前视频块与当前视频块的比特流之间的转换期间,确定基于子块的编解码技术,其中,将当前视频块分割为至少两个子块,其中将能够推导自身运动信息的每个子块用于所述转换;以及使用与并置运动矢量的基于块的推导处理对齐的当前视频块的Merge列表构建过程来执行所述转换。
2.根据权利要求1所述的方法,其中,所述Merge列表构建过程和所述推导处理包括:从列表Y执行单向预测,并且其中列表Y的运动矢量被缩放至目标参考图片列表X。
3.根据权利要求1所述的方法,其中,所述Merge列表构建过程和所述推导处理包括:对目标参考图片列表X执行双向预测,然后将列表Y的运动矢量缩放至列表X的运动矢量,其中根据规则确定Y。
在章节4项目4中描述的技术的一些示例实施例包括:
1.一种视频处理方法,包括:基于视频图片的当前视频块的维度和/或在其中共享来自不同编解码工具的Merge候选的Merge共享状态的使能,来在满足条件和不满足条件之间进行确定;以及基于所述条件在当前视频块与当前视频块的比特流之间执行转换。
2.根据权利要求1所述的方法,其中,执行所述转换包括:在满足条件的情形下,跳过推导空域Merge候选。
3.根据权利要求1所述的方法,其中,执行所述转换包括:在满足条件的清下下,跳过推导基于历史的运动矢量候选。
4.根据权利要求1-3中的任一项所述的方法,其中基于所述当前视频块在所述视频图片中的共享节点之下来确定满足条件。
在章节4项目5中描述的技术的一些示例实施例包括:
1.一种视频处理方法,包括:在当前视频块和当前视频块的比特流之间的转换期间,确定对所述转换禁用编解码工具,其中,所述比特流配置为提供用于所述编解码工具的Merge候选的最大数目为零的指示;以及使用禁用编解码工具的确定来执行所述转换。
2.根据权利要求1所述的方法,其中,所述编解码工具对应于帧内块复制,其中,根据所述当前视频块的视频区域中的其他像素对所述当前视频块的像素进行编解码。
3.根据权利要求1所述的方法,其中,所述编解码工具是子块编解码工具。
4.根据权利要求3所述的方法,其中,所述子块编解码工具是仿射编解码工具或替代运动矢量预测器工具。
5.根据权利要求1-4中的任一项所述的方法,其中,执行所述转换包括:通过跳过与所述编解码工具有关的语法元素来处理所述比特流。
在章节4项目6中描述的技术的一些示例实施例包括:
1.一种视频处理方法,包括:在当前视频块与当前视频块的比特流之间的转换期间,使用规则作出确定,所述规则基于指示在所述转换期间使用的编解码工具所使用的Merge候选的最大数目的第二语法元素,规定所述比特流中的第一语法元素有条件地存在;以及基于所述确定,执行当前视频块与当前视频块的比特流之间的转换。
2.根据权利要求1所述的方法,其中,所述第一语法元素对应于Merge标志。
3.根据权利要求1所述的方法,其中,所述第一语法元素对应于跳过标志。
4.根据权利要求1-3中的任一项所述的方法,其中,所述编解码工具是子带编解码工具,并且所述第二语法元素对应于所述子带编解码工具的最大允许的Merge候选。
参考上一章节中的项目14至17,以下条款描述了一些技术解决方案。
一种视频处理方法,包括:对于视频的第一视频块的比特流与第二视频块之间的转换,使用可用性检查处理确定在所述转换期间第二视频块的可用性,其中,可用性检查处理至少检查相对于第一视频块的第一位置和第二位置;以及基于确定的结果执行所述转换。
如上所述的方法,其中,所述第一位置对应于左上位置。
如上所述的方法,其中,所述第二位置对应于左上位置。
一种视频处理方法,包括:对于视频的视频块的比特流与第二视频块之间的转换,确定在相对于视频块的第一位置和第二位置处的帧内块复制运动候选列表;以及基于确定的结果执行所述转换。
如上所述的方法,其中,所述第一位置对应于相对于视频块的共享的Merge区域的左上位置。
以上条款中任一项的方法,其中,所述转换包括从当前视频块生成比特流。
以上条款中任一项的方法,其中,所述转换包括从所述比特流生成所述当前视频块的样点。
一种视频处理装置,包括处理器,该处理器配置为实现以上条款中的任何一项或多项所述的方法。
一种计算机可读介质,其上存储有代码,该代码在执行时使处理器实现以上条款中的任何一项或多项所述的方法。
图25是示出示例视频处理系统1900的框图,其中可以实施本文所公开的各种技术。各种实施方式可以包括系统1900的一些或全部组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以原始或未压缩格式接收,例如8位或10位多分量像素值,或者可以压缩或编码格式接收。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口以及诸如Wi-Fi或蜂窝接口的无线接口。
系统1900可包括编解码组件1904,其可实现本申请文件中所描述的各种编码或编码方法。编解码组件1904可以降低从输入1902到编解码组件1904的输出的视频的平均比特率,以产生视频的比特流。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储,也可以通过连接的通信进行传输,如组件1906所示。输入1902处接收的视频的存储或通信比特流(或编码)表示可由组件1908用于生成像素值或发送到显示接口1910的可显示视频。从比特流生成用户可观看视频的处理有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但应当理解的是,编解码工具或操作被用于编码器处,并且逆向编码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中所述的技术可实施在各种电子设备中,例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的设备。
图26是视觉媒体处理方法的示例的流程图。结合本申请文件中的实施例13讨论流程图的步骤。在步骤2602,对于视觉媒体数据的第一视频块与视觉媒体数据的比特流之间的转换,该处理使用规则确定视觉媒体数据的第二视频块的可用性。在步骤2604,该处理基于所述确定执行所述转换,其中规则至少基于用于将第一视频块编码为比特流的编解码模式,其中该规则规定通过将第二视频块视为不可用来不允许在第一块的Merge列表构建中使用第二视频块的运动信息。
图27是视觉媒体处理方法的示例的流程图。结合本申请文件中的实施例14讨论流程图的步骤。在步骤2702,对于视觉媒体数据的第一视频块与视觉媒体数据的比特流之间的转换,该处理使用规则确定视觉媒体数据的第二视频块的可用性。在步骤2704,该处理基于所述确定执行所述转换,其中规则规定在视觉媒体数据的一个或多个位置处对第二视频块使用可用性检查处理。
图28是视觉媒体处理方法的示例的流程图。结合本申请文件中的实施例15讨论流程图的步骤。在步骤2802,对于视觉媒体数据的当前视频块与视觉媒体数据的比特流之间的转换,该处理确定用于构建当前视频块的帧内块复制运动列表的两个位置。在步骤2804,该处理基于帧内块复制运动列表来执行所述转换。
图29是视觉媒体处理方法的示例的流程图。结合本申请文件中的实施例16讨论流程图的步骤。在步骤2902,对于视觉媒体数据的当前视频块与视觉媒体数据的比特流之间的转换,该处理基于规则确定用于推导当前视频块的组合的帧间预测的一个或多个权重的临近块的可用性。在步骤2904,该处理基于所述确定执行所述转换,其中,一个或多个权重包括分配给当前视频块的帧间预测的第一权重和分配给当前视频块的帧内预测的第二权重,其中,所述规则排除使用当前视频块和临近块的编解码模式的比较。
以下以基于条款的格式呈现本申请文件的一些实施例。
A1.一种视觉媒体处理方法,包括:
对于视觉媒体数据的第一视频块与所述视觉媒体数据的比特流之间的转换,使用规则来确定所述视觉媒体数据的第二视频块的可用性;以及
基于所述确定来执行所述转换,其中所述规则至少基于用于将所述第一视频块编码成所述比特流的编解码模式,其中,所述规则规定通过将第二视频块视为不可用来不允许在第一块的Merge列表构建中使用第二视频块的运动信息。
A2.根据条款A1所述的方法,用于编解码所述第一视频块的编解码模式对应于帧间编解码,并且用于编解码所述视觉媒体数据的第二视频块的编解码模式对应于帧内块复制。
A3.根据条款A1所述的方法,用于编解码所述第一视频块的编解码模式对应于帧内块复制,并且用于编解码所述视觉媒体数据的第二视频块的编解码模式对应于帧间编解码。
A4.根据条款A1所述的方法,其中执行检查:
接收用于编码第一视频块的编解码模式作为用于确定所述第二视频块的可用性的输入参数。
B1.一种视觉媒体处理方法,包括:
对于视觉媒体数据的第一视频块与所述视觉媒体数据的比特流之间的转换,使用规则来确定所述视觉媒体数据的第二视频块的可用性;以及
基于所述确定来执行所述转换,其中所述规则规定在所述视觉媒体数据的一个或多个位置处对所述第二视频块使用可用性检查处理。
B2.根据条款B1所述的方法,其中,所述一个或多个位置对应于相对于所述第一视频块的左上位置,并且所述规则还规定在第一视频块的编解码模式不同于第二视频块的编解码模式的情况下将所述第二视频块视为不可用于所述转换。
B3.根据条款B1所述的方法,其中,所述一个或多个位置对应于相对于共享Merge区域的左上位置,并且所述规则还规定不将第一视频块的编解码模式与第二视频块的编解码模式进行比较。
B4.根据条款B3所述的方法,其中,所述规则还规定检查覆盖所述一个或多个位置的视频区域是否与所述第一视频块位于相同的条带和/或片和/或砖块和/或子图片中。
C1.一种视觉媒体处理方法,包括:
对于视觉媒体数据的当前视频块与所述视觉媒体数据的比特流之间的转换,确定用于构建当前视频块的帧内块复制运动列表的两个位置;以及
基于所述帧内块复制运动列表来执行所述转换。
C2.根据条款C1所述的方法,其中,所述两个位置包含第一位置,所述第一位置对应于相对于当前视频块的共享Merge区域的左上位置。
C3.根据条款C2所述的方法,其中,所述第一位置用来确定所述当前视频块的临近视频块的可用性。
C4.根据条款C1所述的方法,其中,所述两个位置包含第二位置,所述第二位置对应于相对于当前视频块的左上位置。
C5.根据条款C4所述的方法,其中,所述第二位置用来确定所述当前视频块的临近视频块的可用性。
D1.一种视觉媒体处理方法,包括:
对于视觉媒体数据的当前视频块与所述视觉媒体数据的比特流之间的转换,基于规则来确定用于推导当前视频块的组合帧内帧间预测的一个或多个权重的临近块的可用性;以及
基于所述确定来执行所述转换,
其中,所述一个或多个权重包括分配给当前视频块的帧间预测的第一权重和分配给当前视频块的帧内预测的第二权重;
其中,所述规则排除当前视频块和临近块的编解码模式的比较的使用。
D2.根据条款D1所述的方法,其中,在所述临近块的编解码模式是帧内模式、帧内块复制(IBC)模式、或者调色板模式的情况下,所述临近块被确定为可用。
D3.根据条款D1或D2中任一项或多项所述的方法,其中,所述第一权重不同于所述第二权重。
E1.根据条款A1至D3中的任一项所述的方法,其中,该所述转换包括从当前视频块生成比特流。
E2.根据条款A1至D3中的任一项的方法,其中,所述转换包括从比特流生成所述当前视频块的样点。
E3.一种视频处理装置,包括处理器,配置成实施条款A1至D3中的任一项或多项所述的方法。
E4.一种视频编码装置,包括处理器,配置成实施条款A1至D3中的任一项或多项所述的方法。
E5。一种视频解码设备,包括处理器,配置成实施条款A1至D3中的任一项或多项所述的方法。
E6.一种计算机可读介质,其上存储有代码,所述代码在执行时促使处理器实施条款A1至D3中的任一项或多项所述的方法。
E7.本文描述的方法、系统或装置。
在本申请文件中,术语“视频处理”或“视觉媒体处理”可以表示视频编码、视频解码、视频压缩或视频解压缩。例如,可以在从视频的像素表示到对应的比特流的转换期间应用视频压缩算法,反之亦然。如语法所定义,当前视频块的比特流可以例如对应于在比特流内并置的或在比特流内的不同位置扩展的比特。例如,可以根据变换和编码的误差残差值并且还可以使用标头中的比特和比特流中的其他字段来对宏块进行编码。此外,如以上解决方案中所描述的,在转换期间,解码器可以基于确定来解析比特流,其知道一些字段可能存在或不存在。类似地,编码器可以确定包括还是不包括某些语法字段,并且通过比特流中包括或排除语法字段来相应地生成比特流。
本申请文件中描述的公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现,包括本说明书中所公开的结构及其结构等效体,或其中一个或多个的组合。本说明书中公开的主题的实现可以实现为一个或多个计算机程序产品,即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成以编解码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动硬盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充,或Merge到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何发明或权利要求范围的限制,而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中移除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (65)

1.一种处理视频数据的方法,包括:
对于视频的第一块和视频的比特流之间的转换,做出关于临近块的可用性的第一决定,用于通过基于规则的可用性检查处理导出用于预测所述第一块的一个或多个权重,其中,所述第一块用第一预测模式进行编解码,并且在所述第一预测模式中,所述第一块的预测是至少基于帧间预测和帧内预测生成的;以及
基于所述第一决定执行所述转换,
其中,所述一个或多个权重包括分配给所述第一块的所述帧间预测的第一权重和分配给所述第一块的帧内预测的第二权重,以及
其中,所述规则排除使用所述第一块的编解码模式和所述临近块的编解码模式的比较。
2.根据权利要求1所述的方法,其中,即使当所述临近块的所述编解码模式是帧内模式、帧内块复制模式或调色板模式时,也允许将所述临近块确定为可用,
其中,在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的。
3.根据权利要求1所述的方法,其中,当所述临近块可用时,根据所述临近块的所述编解码模式分配所述一个或多个权重。
4.根据权利要求1所述的方法,还包括:
对于所述视频的第二块和所述视频的比特流之间的转换,通过所述可用性检查处理基于所述第二块的编解码模式和第三块的编解码模式,做出所述视频的所述第三块的可用性的第二决定,其中响应于所述第二块的所述编解码模式与所述第三块的所述编解码模式不同,所述第三块被确定为不可用;以及
基于所述第二决定执行所述第二块和所述比特流之间的转换。
5.根据权利要求4所述的方法,其中,所述第二块的所述编解码模式对应于帧间预测模式,且所述第三块的所述编解码模式对应于帧内块复制模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的。
6.根据权利要求4所述的方法,其中,所述第二块的所述编解码模式对应于帧内块复制模式,且所述第三块的所述编解码模式对应于帧间预测模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的。
7.根据权利要求4所述的方法,其中,响应于所述第三块被确定为不可用,不允许在所述第二块的列表构建中使用所述第三块的运动信息。
8.根据权利要求1所述的方法,其中,可用性是否取决于所述编解码模式被用作所述可用性检查处理的输入参数。
9.根据权利要求4所述的方法,其中,所述第二块的所述编解码模式被用作所述可用性检查处理的输入参数。
10.根据权利要求1所述的方法,其中,所述转换包括将所述第一块编码为所述比特流。
11.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述第一块。
12.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在被所述处理器执行时使所述处理器:
对于视频的第一块和视频的比特流之间的转换,做出关于临近块的可用性的第一决定,用于通过基于规则的可用性检查处理导出用于预测所述第一块的一个或多个权重,其中,所述第一块用第一预测模式进行编解码,并且在所述第一预测模式中,所述第一块的预测是至少基于帧间预测和帧内预测生成的;以及
基于所述第一决定执行所述转换,
其中,所述一个或多个权重包括分配给所述第一块的所述帧间预测的第一权重和分配给所述第一块的帧内预测的第二权重,以及
其中,所述规则排除使用所述第一块的编解码模式和所述临近块的编解码模式的比较。
13.根据权利要求12所述的装置,其中,即使当所述临近块的所述编解码模式是帧内模式、帧内块复制模式或调色板模式时,也允许将所述临近块确定为可用,
其中,在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;以及
其中,当所述临近块可用时,根据所述临近块的所述编解码模式分配所述一个或多个权重。
14.根据权利要求12所述的装置,其中,所述指令还使所述处理器:
对于所述视频的第二块和所述视频的比特流之间的转换,通过所述可用性检查处理基于所述第二块的编解码模式和第三块的编解码模式,做出所述视频的所述第三块的可用性的第二决定,其中响应于所述第二块的所述编解码模式与所述第三块的所述编解码模式不同,所述第三块被确定为不可用;以及
基于所述第二决定执行所述第二块和所述比特流之间的转换,
其中,所述第二块的所述编解码模式对应于帧间预测模式,且所述第三块的所述编解码模式对应于帧内块复制模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的,或者,其中,所述第二块的所述编解码模式对应于帧内块复制模式,且所述第三块的所述编解码模式对应于帧间预测模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
其中,响应于所述第三块被确定为不可用,不允许在所述第二块的列表构建中使用所述第三块的运动信息;
其中,可用性是否取决于所述编解码模式被用作所述可用性检查处理的输入参数;
其中,所述第二块的所述编解码模式被用作所述可用性检查处理的输入参数。
15.一种存储指令的非暂时性计算机可读存储介质,所述指令使处理器:
对于视频的第一块和视频的比特流之间的转换,做出关于临近块的可用性的第一决定,用于通过基于规则的可用性检查处理导出用于预测所述第一块的一个或多个权重,其中,所述第一块用第一预测模式进行编解码,并且在所述第一预测模式中,所述第一块的预测是至少基于帧间预测和帧内预测生成的;以及
基于所述第一决定执行所述转换,
其中,所述一个或多个权重包括分配给所述第一块的所述帧间预测的第一权重和分配给所述第一块的帧内预测的第二权重,以及
其中,所述规则排除使用所述第一块的编解码模式和所述临近块的编解码模式的比较。
16.根据权利要求15所述的非暂时性计算机可读存储介质,其中,即使当所述临近块的所述编解码模式是帧内模式、帧内块复制模式或调色板模式时,也允许将所述临近块确定为可用,
其中,在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;以及
其中,当所述临近块可用时,根据所述临近块的所述编解码模式分配所述一个或多个权重。
17.根据权利要求15所述的非暂时性计算机可读存储介质,其中,所述指令还使所述处理器:
对于所述视频的第二块和所述视频的比特流之间的转换,通过所述可用性检查处理基于所述第二块的编解码模式和第三块的编解码模式,做出所述视频的所述第三块的可用性的第二决定,其中响应于所述第二块的所述编解码模式与所述第三块的所述编解码模式不同,所述第三块被确定为不可用;以及
基于所述第二决定执行所述第二块和所述比特流之间的转换,
其中,所述第二块的所述编解码模式对应于帧间预测模式,且所述第三块的所述编解码模式对应于帧内块复制模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的,或者,其中,所述第二块的所述编解码模式对应于帧内块复制模式,且所述第三块的所述编解码模式对应于帧间预测模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
其中,响应于所述第三块被确定为不可用,不允许在所述第二块的列表构建中使用所述第三块的运动信息;
其中,可用性是否取决于所述编解码模式被用作所述可用性检查处理的输入参数;
其中,所述第二块的所述编解码模式被用作所述可用性检查处理的输入参数。
18.一种非暂时性计算机可读记录介质,其存储通过由视频处理装置执行的方法生成的视频的比特流,其中所述方法包括:
做出关于临近块的可用性的第一决定,用于通过基于规则的可用性检查处理导出用于预测所述第一块的一个或多个权重,其中,所述第一块用第一预测模式进行编解码,并且在所述第一预测模式中,所述第一块的预测是至少基于帧间预测和帧内预测生成的;以及
基于所述第一决定生成所述比特流,
其中,所述一个或多个权重包括分配给所述第一块的所述帧间预测的第一权重和分配给所述第一块的帧内预测的第二权重,以及
其中,所述规则排除使用所述第一块的编解码模式和所述临近块的编解码模式的比较。
19.根据权利要求18所述的非暂时性计算机可读记录介质,其中,即使当所述临近块的所述编解码模式是帧内模式、帧内块复制模式或调色板模式时,也允许将所述临近块确定为可用,
其中,在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;以及
其中,当所述临近块可用时,根据所述临近块的所述编解码模式分配所述一个或多个权重。
20.根据权利要求18所述的非暂时性计算机可读记录介质,其中所述方法还包括:
对于所述视频的第二块和所述视频的比特流之间的转换,通过所述可用性检查处理基于所述第二块的编解码模式和第三块的编解码模式,做出所述视频的所述第三块的可用性的第二决定,其中响应于所述第二块的所述编解码模式与所述第三块的所述编解码模式不同,所述第三块被确定为不可用;以及
基于所述第二决定执行所述第二块和所述比特流之间的转换,
其中,所述第二块的所述编解码模式对应于帧间预测模式,且所述第三块的所述编解码模式对应于帧内块复制模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的,或者,其中,所述第二块的所述编解码模式对应于帧内块复制模式,且所述第三块的所述编解码模式对应于帧间预测模式,并且其中在所述帧内块复制模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
其中,响应于所述第三块被确定为不可用,不允许在所述第二块的列表构建中使用所述第三块的运动信息;
其中,可用性是否取决于所述编解码模式被用作所述可用性检查处理的输入参数;
其中,所述第二块的所述编解码模式被用作所述可用性检查处理的输入参数。
21.一种用于存储视频的比特流的方法,包括:
做出关于临近块的可用性的第一决定,用于通过基于规则的可用性检查处理导出用于预测所述第一块的一个或多个权重,其中,所述第一块用第一预测模式进行编解码,并且在所述第一预测模式中,所述第一块的预测是至少基于帧间预测和帧内预测生成的;
基于所述第一决定生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中,
其中,所述一个或多个权重包括分配给所述第一块的所述帧间预测的第一权重和分配给所述第一块的帧内预测的第二权重,以及
其中,所述规则排除使用所述第一块的编解码模式和所述临近块的编解码模式的比较。
22.一种处理视频数据的方法,包括:
在视频中的第一块和所述视频的比特流之间的转换期间确定第一块是用第一预测模式编解码的,其中在所述第一预测模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
基于是否满足与所述第一块的宽度和高度相关联的条件,确定所述第一块的运动候选列表的运动候选列表构建过程,其中当所述第一块的所述宽度和所述高度的乘积小于或等于阈值时满足所述条件;以及
基于所述运动候选列表执行所述转换。
23.根据权利要求22所述的方法,其中,当满足所述条件时,跳过所述运动候选列表构建过程的空间Merge候选的推导。
24.根据权利要求22所述的方法,其中,所述运动候选列表构建过程包括以下至少一项:
向所述运动候选列表添加至少一个空间候选;
将至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表;或
将至少一个零候选添加到所述运动候选列表。
25.根据权利要求24所述的方法,其中,将至少一个空间候选添加到所述运动候选列表包括:
检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述第一块的左下角相邻;
响应于所述特定临近块A1可用,将所述特定临近块A1处的所述空间候选添加到所述运动候选列表;以及
检查特定临近块B1处的空间候选的可用性,其中所述特定临近块B1与所述第一块的右上角相邻,
其中,响应于所述特定临近块B1可用,执行第一冗余检查,以确保与所述特定临近块A1处的所述空间候选的所述运动信息相同的所述特定临近块B1处的所述空间候选被从所述运动候选列表中排除。
26.根据权利要求24所述的方法,其中,所述运动候选列表构建过程包括:
在添加所述至少一个空间候选之后,在所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸的情况下,将所述至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表。
27.根据权利要求26所述的方法,其中,当添加所述至少一个基于历史的运动矢量预测候选时,执行第二冗余检查,其确保具有相同运动信息的候选被从所述运动候选列表中排除。
28.根据权利要求24所述的方法,其中,所述运动候选列表构建过程包括:
响应于所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸,将所述至少一个零候选添加到所述运动候选列表。
29.根据权利要求22所述的方法,还包括:
在所述视频中的第二块和所述视频的比特流之间的第二次转换期间,确定所述第二块是用第二预测模式编解码的,其中在所述第二预测模式中,基于在所述比特流中显式地信令通知的偏移来细化用信令通知的运动矢量预测值;
基于是否满足与所述第二块的宽度和高度相关联的条件,确定所述第二块的第二运动候选列表的第二运动候选列表构建过程,其中当所述第二块的所述宽度和所述高度的乘积小于或等于第二阈值时满足与所述第二块的宽度和高度相关联的所述条件;以及
基于所述第二运动候选列表执行所述转换。
30.根据权利要求22所述的方法,其中,当针对第三块启用指示通用Merge工具的标志时,从以下选择的至少一种编解码技术被应用于所述第三块:常规Merge、具有运动矢量差的Merge模式(MMVD)、子块Merge、组合的帧间预测(CIIP)或几何分割模式(GPM)应用于第三个块,
其中,具有运动矢量差的Merge模式包括用于导出所述当前块的运动信息的运动矢量表达式,其中,所述运动矢量表达式包括表示运动矢量差的第一参数和指示来自基本候选列表的基本候选的第二参数,其中所述第一参数包括运动幅度和运动方向;
其中,在所述子块Merge模式中,当前块被划分为至少一个子块,并且所述至少一个子块的所述运动信息是基于并置图片中的视频区域导出的,其中响应于特定临近块可用,基于被初始化为默认运动信息的时域运动信息导出所述视频区域的位置,所述默认运动信息被设置为与特定临近块相关的特定运动信息,所述特定临近块与所述当前块的左下角相邻;以及
其中,在CIIP模式中,至少基于帧内预测信号和帧间预测信号生成所述当前块的预测信号。
31.根据权利要求22所述的方法,其中,所述第一预测模式是帧内块复制模式。
32.根据权利要求22所述的方法,其中,所述转换包括将所述第一块编码为所述比特流。
33.根据权利要求22所述的方法,其中,所述转换包括从所述比特流解码所述第一块。
34.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使所述处理器:
在视频中的第一块和所述视频的比特流之间的转换期间确定第一块是用第一预测模式编解码的,其中在所述第一预测模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
基于是否满足与所述第一块的宽度和高度相关联的条件,确定所述第一块的运动候选列表的运动候选列表构建过程,其中当所述第一块的所述宽度和所述高度的乘积小于或等于阈值时满足所述条件;以及
基于所述运动候选列表执行所述转换。
35.根据权利要求34所述的装置,其中,当满足所述条件时,跳过所述运动候选列表构建过程的空间Merge候选的推导;
其中,所述运动候选列表构建过程包括以下至少一项:
向所述运动候选列表添加至少一个空间候选;
将至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表;
响应于所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸,将至少一个零候选添加到所述运动候选列表;或
在添加所述至少一个空间候选之后,在所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸的情况下,将所述至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表,
其中,当添加所述至少一个基于历史的运动矢量预测候选时,执行第二冗余检查,其确保具有相同运动信息的候选被从所述运动候选列表中排除;
其中,将至少一个空间候选添加到所述运动候选列表包括:
检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述第一块的左下角相邻;
响应于所述特定临近块A1可用,将所述特定临近块A1处的所述空间候选添加到所述运动候选列表;以及
检查特定临近块B1处的空间候选的可用性,其中所述特定临近块B1与所述第一块的右上角相邻,
其中,响应于所述特定临近块B1可用,执行第一冗余检查,以确保与所述特定临近块A1处的所述空间候选的所述运动信息相同的所述特定临近块B1处的所述空间候选被从所述运动候选列表中排除。
36.根据权利要求34所述的装置,其中,所述指令还使所述处理器:
在所述视频中的第二块和所述视频的比特流之间的第二次转换期间,确定所述第二块是用第二预测模式编解码的,其中在所述第二预测模式中,基于在所述比特流中显式地信令通知的偏移来细化用信令通知的运动矢量预测值;
基于是否满足与所述第二块的宽度和高度相关联的条件,确定所述第二块的第二运动候选列表的第二运动候选列表构建过程,其中当所述第二块的所述宽度和所述高度的乘积小于或等于第二阈值时满足与所述第二块的宽度和高度相关联的所述条件;以及
基于所述第二运动候选列表执行所述转换,
当针对第三块启用指示通用Merge工具的标志时,从以下选择的至少一种编解码技术被应用于所述第三块:常规Merge、具有运动矢量差的Merge模式(MMVD)、子块Merge、组合的帧间预测(CIIP)或几何分割模式(GPM)应用于第三个块;
其中,具有运动矢量差的Merge模式包括用于导出所述当前块的运动信息的运动矢量表达式,其中,所述运动矢量表达式包括表示运动矢量差的第一参数和指示来自基本候选列表的基本候选的第二参数,其中所述第一参数包括运动幅度和运动方向;
其中,在所述子块Merge模式中,当前块被划分为至少一个子块,并且所述至少一个子块的所述运动信息是基于并置图片中的视频区域导出的,其中响应于特定临近块可用,基于被初始化为默认运动信息的时域运动信息导出所述视频区域的位置,所述默认运动信息被设置为与特定临近块相关的特定运动信息,所述特定临近块与所述当前块的左下角相邻;以及
其中,在CIIP模式中,至少基于帧内预测信号和帧间预测信号生成所述当前块的预测信号;以及
所述第一预测模式是帧内块复制模式。
37.一种存储指令的非暂时性计算机可读存储介质,所述指令使处理器:
在视频中的第一块和所述视频的比特流之间的转换期间确定第一块是用第一预测模式编解码的,其中在所述第一预测模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
基于是否满足与所述第一块的宽度和高度相关联的条件,确定所述第一块的运动候选列表的运动候选列表构建过程,其中当所述第一块的所述宽度和所述高度的乘积小于或等于阈值时满足所述条件;以及
基于所述运动候选列表执行所述转换。
38.根据权利要求37所述的非暂时性计算机可读存储介质,其中,当满足所述条件时,跳过所述运动候选列表构建过程的空间Merge候选的推导;
其中,所述运动候选列表构建过程包括以下至少一项:
向所述运动候选列表添加至少一个空间候选;
将至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表;
响应于所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸,将至少一个零候选添加到所述运动候选列表;或
在添加所述至少一个空间候选之后,在所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸的情况下,将所述至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表,
其中,当添加所述至少一个基于历史的运动矢量预测候选时,执行第二冗余检查,其确保具有相同运动信息的候选被从所述运动候选列表中排除;
其中,将至少一个空间候选添加到所述运动候选列表包括:
检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述第一块的左下角相邻;
响应于所述特定临近块A1可用,将所述特定临近块A1处的所述空间候选添加到所述运动候选列表;以及
检查特定临近块B1处的空间候选的可用性,其中所述特定临近块B1与所述第一块的右上角相邻,
其中,响应于所述特定临近块B1可用,执行第一冗余检查,以确保与所述特定临近块A1处的所述空间候选的所述运动信息相同的所述特定临近块B1处的所述空间候选被从所述运动候选列表中排除。
39.根据权利要求37所述的非暂时性计算机可读存储介质,其中,所述指令还使所述处理器:
在所述视频中的第二块和所述视频的比特流之间的第二次转换期间,确定所述第二块是用第二预测模式编解码的,其中在所述第二预测模式中,基于在所述比特流中显式地信令通知的偏移来细化用信令通知的运动矢量预测值;
基于是否满足与所述第二块的宽度和高度相关联的条件,确定所述第二块的第二运动候选列表的第二运动候选列表构建过程,其中当所述第二块的所述宽度和所述高度的乘积小于或等于第二阈值时满足与所述第二块的宽度和高度相关联的所述条件;以及
基于所述第二运动候选列表执行所述转换,
当针对第三块启用指示通用Merge工具的标志时,从以下选择的至少一种编解码技术被应用于所述第三块:常规Merge、具有运动矢量差的Merge模式(MMVD)、子块Merge、组合的帧间预测(CIIP)或几何分割模式(GPM)应用于第三个块;
其中,具有运动矢量差的Merge模式包括用于导出所述当前块的运动信息的运动矢量表达式,其中,所述运动矢量表达式包括表示运动矢量差的第一参数和指示来自基本候选列表的基本候选的第二参数,其中所述第一参数包括运动幅度和运动方向;
其中,在所述子块Merge模式中,当前块被划分为至少一个子块,并且所述至少一个子块的所述运动信息是基于并置图片中的视频区域导出的,其中响应于特定临近块可用,基于被初始化为默认运动信息的时域运动信息导出所述视频区域的位置,所述默认运动信息被设置为与特定临近块相关的特定运动信息,所述特定临近块与所述当前块的左下角相邻;以及
其中,在CIIP模式中,至少基于帧内预测信号和帧间预测信号生成所述当前块的预测信号;以及
所述第一预测模式是帧内块复制模式。
40.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中所述方法包括:
确定所述视频的第一块是用第一预测模式编解码的,其中在所述第一预测模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
基于是否满足与所述第一块的宽度和高度相关联的条件,确定所述第一块的运动候选列表的运动候选列表构建过程,其中当所述第一块的所述宽度和所述高度的乘积小于或等于阈值时满足所述条件;以及
基于所述运动候选列表生成所述视频的所述比特流。
41.根据权利要求40所述的非暂时性计算机可读记录介质,其中,当满足所述条件时,跳过所述运动候选列表构建过程的空间Merge候选的推导;
其中,所述运动候选列表构建过程包括以下至少一项:
向所述运动候选列表添加至少一个空间候选;
将至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表;
响应于所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸,将至少一个零候选添加到所述运动候选列表;或
在添加所述至少一个空间候选之后,在所述运动候选列表的尺寸小于所述第一预测模式的允许最大列表尺寸的情况下,将所述至少一个基于历史的运动矢量预测值候选添加到所述运动候选列表,
其中,当添加所述至少一个基于历史的运动矢量预测候选时,执行第二冗余检查,其确保具有相同运动信息的候选被从所述运动候选列表中排除;
其中,将至少一个空间候选添加到所述运动候选列表包括:
检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述第一块的左下角相邻;
响应于所述特定临近块A1可用,将所述特定临近块A1处的所述空间候选添加到所述运动候选列表;以及
检查特定临近块B1处的空间候选的可用性,其中所述特定临近块B1与所述第一块的右上角相邻,
其中,响应于所述特定临近块B1可用,执行第一冗余检查,以确保与所述特定临近块A1处的所述空间候选的所述运动信息相同的所述特定临近块B1处的所述空间候选被从所述运动候选列表中排除。
42.一种用于存储视频的比特流的方法,包括:
确定所述视频的第一块是用第一预测模式编解码的,其中在所述第一预测模式中,预测样点是从由块矢量确定的相同解码视频区域的样点值的块中导出的;
基于是否满足与所述第一块的宽度和高度相关联的条件,确定所述第一块的运动候选列表的运动候选列表构建过程,其中当所述第一块的所述宽度和所述高度的乘积小于或等于阈值时满足所述条件;
基于所述运动候选列表生成所述视频的所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中。
43.一种处理视频数据的方法,包括:
在视频的当前块和视频的比特流之间的转换期间,确定所述当前块采用几何分割模式进行编解码,所述几何分割模式为预测模式;
为所述当前块构建候选列表,其中所述构建包括基于所述候选列表中的可用候选的数量检查特定临近块B2处的空间候选的可用性,其中所述特定临近块B2位于所述当前块的左上角;
基于所述候选列表,确定所述当前块的第一几何分割的第一运动信息和所述当前块的第二几何分割的第二运动信息;
应用加权处理以基于预测样点的加权和来生成对所述当前块的样点的最终预测,所述预测样点的加权和是基于所述第一运动信息和所述第二运动信息推导的;以及
基于所述应用执行所述转换。
44.根据权利要求43所述的方法,其中,当所述候选列表中的可用候选的数量为4时,所述特定临近块B2处的空间候选不可用。
45.根据权利要求43所述的方法,其中,所述候选列表是基于裁剪处理构建的,其中所述裁剪处理包括比较至少两个空间候选之间的运动信息以避免相同的空间候选。
46.根据权利要求45所述的方法,其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述当前块的左下角相邻,所述检查包括:
当候选列表包括特定临近块B1处的空间候选,其中,所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块A1处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息,以及
基于指示A1处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A1处的所述空间候选不可用。
47.根据权利要求45所述的方法,其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块B0处的空间候选的可用性,其中所述特定临近块B0位于所述当前块的右上角,所述检查包括:
当所述候选列表包括所述特定临近块B1处的空间候选,其中所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块B0处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息;以及
基于指示所述特定临近块B0处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B0处的所述空间候选不可用。
48.根据权利要求45所述的方法,其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A0处的空间候选的可用性,其中所述特定临近块A0位于所述当前块的左下角,所述检查包括:
当所述候选列表包括所述特定临近块A1处的空间候选,其中所述特定临近块A1与所述当前块的左下角相邻时,比较所述特定临近块A0处的所述空间候选和所述特定临近块A1处的所述空间候选之间的运动信息;以及
基于指示A0处的所述空间候选的运动信息与A1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A0处的所述空间候选不可用。
49.根据权利要求45所述的方法,其中,检查所述特定临近块B2处的所述空间候选的所述可用性还包括:
当所述候选列表包括所述特定临近块A1和B1处的空间候选时,其中所述特定临近块B1与所述当前块的右上角相邻并且所述特定临近块A1与所述当前块的左下角相邻,比较所述特定临近块B2处的所述空间候选与所述特定临近块A1和B1处的所述空间候选之间的运动信息,以及
基于指示B20处的所述空间候选的运动信息与A1或B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B2处的空间候选不可用。
50.根据权利要求43所述的方法,还包括:
响应于来自第一参考图片列表LX的第一运动信息和来自第二参考图片列表L(1-X)的第二运动信息,将针对m×n子块的第二单个运动信息集存储到所述当前块的加权区域,其中所述第二单个运动信息集包括双向预测运动信息,其中X=0或X=1。
51.根据权利要求43所述的方法,还包括:
在所述当前块的非加权区域内存储针对m×n子块的第三单个运动信息集,其中所述第三单个运动信息集包括基于所述第一运动信息或所述第二运动信息的单向预测运动信息。
52.根据权利要求43所述的方法,其中,从所述当前块的所述候选列表中排除与用帧内块复制模式编解码的临近块对应的空间候选,其中在所述帧内块复制模式中,所述临近块的预测样点是从由块矢量确定的相同解码视频区域的样点值块中导出的。
53.根据权利要求43所述的方法,其中,所述转换包括将所述当前块编码为所述比特流。
54.根据权利要求43所述的方法,其中,所述转换包括从所述比特流解码所述当前块。
55.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使所述处理器:
在视频的当前块和视频的比特流之间的转换期间,确定所述当前块采用几何分割模式进行编解码,所述几何分割模式为预测模式;
为所述当前块构建候选列表,其中所述构建包括基于所述候选列表中的可用候选的数量检查特定临近块B2处的空间候选的可用性,其中所述特定临近块B2位于所述当前块的左上角;
基于所述候选列表,确定所述当前块的第一几何分割的第一运动信息和所述当前块的第二几何分割的第二运动信息;
应用加权处理以基于预测样点的加权和来生成对所述当前块的样点的最终预测,所述预测样点的加权和是基于所述第一运动信息和所述第二运动信息推导的;以及
基于所述应用执行所述转换。
56.根据权利要求55所述的装置,其中,当所述候选列表中的可用候选的数量为4时,所述特定临近块B2处的空间候选不可用;
其中,所述候选列表是基于裁剪处理构建的,其中所述裁剪处理包括比较至少两个空间候选之间的运动信息以避免相同的空间候选;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述当前块的左下角相邻,所述检查包括:
当候选列表包括特定临近块B1处的空间候选,其中,所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块A1处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息,以及
基于指示A1处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A1处的所述空间候选不可用;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块B0处的空间候选的可用性,其中所述特定临近块B0位于所述当前块的右上角,所述检查包括:
当所述候选列表包括所述特定临近块B1处的空间候选,其中所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块B0处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息;以及
基于指示所述特定临近块B0处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B0处的所述空间候选不可用;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A0处的空间候选的可用性,其中所述特定临近块A0位于所述当前块的左下角,所述检查包括:
当所述候选列表包括所述特定临近块A1处的空间候选,其中所述特定临近块A1与所述当前块的左下角相邻时,比较所述特定临近块A0处的所述空间候选和所述特定临近块A1处的所述空间候选之间的运动信息;以及
基于指示A0处的所述空间候选的运动信息与A1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A0处的所述空间候选不可用;
其中,检查所述特定临近块B2处的所述空间候选的所述可用性还包括:
当所述候选列表包括所述特定临近块A1和B1处的空间候选时,其中所述特定临近块B1与所述当前块的右上角相邻并且所述特定临近块A1与所述当前块的左下角相邻,比较所述特定临近块B2处的所述空间候选与所述特定临近块A1和B1处的所述空间候选之间的运动信息,以及
基于指示B20处的所述空间候选的运动信息与A1或B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B2处的空间候选不可用。
57.根据权利要求55所述的装置,其中,所述指令还使所述处理器:
响应于来自第一参考图片列表LX的第一运动信息和来自第二参考图片列表L(1-X)的第二运动信息,将针对m×n子块的第二单个运动信息集存储到所述当前块的加权区域,其中所述第二单个运动信息集包括双向预测运动信息,其中X=0或X=1;以及
在所述当前块的非加权区域内存储针对m×n子块的第三单个运动信息集,其中所述第三单个运动信息集包括基于所述第一运动信息或所述第二运动信息的单向预测运动信息,
其中,从所述当前块的所述候选列表中排除与用帧内块复制模式编解码的临近块对应的空间候选,其中在所述帧内块复制模式中,所述临近块的预测样点是从由块矢量确定的相同解码视频区域的样点值块中导出的。
58.一种存储指令的非暂时性计算机可读存储介质,所述指令使处理器:
在视频的当前块和视频的比特流之间的转换期间,确定所述当前块采用几何分割模式进行编解码,所述几何分割模式为预测模式;
为所述当前块构建候选列表,其中所述构建包括基于所述候选列表中的可用候选的数量检查特定临近块B2处的空间候选的可用性,其中所述特定临近块B2位于所述当前块的左上角;
基于所述候选列表,确定所述当前块的第一几何分割的第一运动信息和所述当前块的第二几何分割的第二运动信息;
应用加权处理以基于预测样点的加权和来生成对所述当前块的样点的最终预测,所述预测样点的加权和是基于所述第一运动信息和所述第二运动信息推导的;以及
基于所述应用执行所述转换。
59.根据权利要求58所述的非暂时性计算机可读存储介质,其中,当所述候选列表中的可用候选的数量为4时,所述特定临近块B2处的空间候选不可用;
其中,所述候选列表是基于裁剪处理构建的,其中所述裁剪处理包括比较至少两个空间候选之间的运动信息以避免相同的空间候选;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述当前块的左下角相邻,所述检查包括:
当候选列表包括特定临近块B1处的空间候选,其中,所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块A1处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息,以及
基于指示A1处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A1处的所述空间候选不可用;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块B0处的空间候选的可用性,其中所述特定临近块B0位于所述当前块的右上角,所述检查包括:
当所述候选列表包括所述特定临近块B1处的空间候选,其中所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块B0处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息;以及
基于指示所述特定临近块B0处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B0处的所述空间候选不可用;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A0处的空间候选的可用性,其中所述特定临近块A0位于所述当前块的左下角,所述检查包括:
当所述候选列表包括所述特定临近块A1处的空间候选,其中所述特定临近块A1与所述当前块的左下角相邻时,比较所述特定临近块A0处的所述空间候选和所述特定临近块A1处的所述空间候选之间的运动信息;以及
基于指示A0处的所述空间候选的运动信息与A1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A0处的所述空间候选不可用;
其中,检查所述特定临近块B2处的所述空间候选的所述可用性还包括:
当所述候选列表包括所述特定临近块A1和B1处的空间候选时,其中所述特定临近块B1与所述当前块的右上角相邻并且所述特定临近块A1与所述当前块的左下角相邻,比较所述特定临近块B2处的所述空间候选与所述特定临近块A1和B1处的所述空间候选之间的运动信息,以及
基于指示B20处的所述空间候选的运动信息与A1或B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B2处的空间候选不可用。
60.根据权利要求58所述的非暂时性计算机可读存储介质,其中所述指令还使所述处理器:
响应于来自第一参考图片列表LX的第一运动信息和来自第二参考图片列表L(1-X)的第二运动信息,将针对m×n子块的第二单个运动信息集存储到所述当前块的加权区域,其中所述第二单个运动信息集包括双向预测运动信息,其中X=0或X=1;以及
在所述当前块的非加权区域内存储针对m×n子块的第三单个运动信息集,其中所述第三单个运动信息集包括基于所述第一运动信息或所述第二运动信息的单向预测运动信息,
其中,从所述当前块的所述候选列表中排除与用帧内块复制模式编解码的临近块对应的空间候选,其中在所述帧内块复制模式中,所述临近块的预测样点是从由块矢量确定的相同解码视频区域的样点值块中导出的。
61.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中所述方法包括:
对于视频的当前块,确定所述当前块采用几何分割模式进行编解码,所述几何分割模式为预测模式;
为所述当前块构建候选列表,其中所述构建包括基于所述候选列表中的可用候选的数量检查特定临近块B2处的空间候选的可用性,其中所述特定临近块B2位于所述当前块的左上角;
基于所述候选列表,确定所述当前块的第一几何分割的第一运动信息和所述当前块的第二几何分割的第二运动信息;
应用加权处理以基于预测样点的加权和来生成对所述当前块的样点的最终预测,所述预测样点的加权和是基于所述第一运动信息和所述第二运动信息推导的;以及
基于所述应用生成所述比特流。
62.根据权利要求61所述的非暂时性计算机可读记录介质,其中,当所述候选列表中的可用候选的数量为4时,所述特定临近块B2处的空间候选不可用;
其中,所述候选列表是基于裁剪处理构建的,其中所述裁剪处理包括比较至少两个空间候选之间的运动信息以避免相同的空间候选;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A1处的空间候选的可用性,其中所述特定临近块A1与所述当前块的左下角相邻,所述检查包括:
当候选列表包括特定临近块B1处的空间候选,其中,所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块A1处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息,以及
基于指示A1处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A1处的所述空间候选不可用;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块B0处的空间候选的可用性,其中所述特定临近块B0位于所述当前块的右上角,所述检查包括:
当所述候选列表包括所述特定临近块B1处的空间候选,其中所述特定临近块B1与所述当前块的右上角相邻时,比较所述特定临近块B0处的所述空间候选和所述特定临近块B1处的所述空间候选之间的运动信息;以及
基于指示所述特定临近块B0处的所述空间候选的运动信息与B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B0处的所述空间候选不可用;
其中,基于所述裁剪处理构建所述当前块的所述候选列表包括检查特定临近块A0处的空间候选的可用性,其中所述特定临近块A0位于所述当前块的左下角,所述检查包括:
当所述候选列表包括所述特定临近块A1处的空间候选,其中所述特定临近块A1与所述当前块的左下角相邻时,比较所述特定临近块A0处的所述空间候选和所述特定临近块A1处的所述空间候选之间的运动信息;以及
基于指示A0处的所述空间候选的运动信息与A1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块A0处的所述空间候选不可用;
其中,检查所述特定临近块B2处的所述空间候选的所述可用性还包括:
当所述候选列表包括所述特定临近块A1和B1处的空间候选时,其中所述特定临近块B1与所述当前块的右上角相邻并且所述特定临近块A1与所述当前块的左下角相邻,比较所述特定临近块B2处的所述空间候选与所述特定临近块A1和B1处的所述空间候选之间的运动信息,以及
基于指示B20处的所述空间候选的运动信息与A1或B1处的所述空间候选的运动信息相同的比较结果,确定所述特定临近块B2处的空间候选不可用。
63.一种用于存储视频的比特流的方法,包括:
对于视频的当前块,确定所述当前块采用几何分割模式进行编解码,所述几何分割模式为预测模式;
为所述当前块构建候选列表,其中所述构建包括基于所述候选列表中的可用候选的数量检查特定临近块B2处的空间候选的可用性,其中所述特定临近块B2位于所述当前块的左上角;
基于所述候选列表,确定所述当前块的第一几何分割的第一运动信息和所述当前块的第二几何分割的第二运动信息;
应用加权处理以基于预测样点的加权和来生成对所述当前块的样点的最终预测,所述预测样点的加权和是基于所述第一运动信息和所述第二运动信息推导的;
基于所述应用生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读记录介质中。
64.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器实施根据权利要求2-11、23-33、44-54中任一项所述的方法。
65.一种其上存储有指令的非暂时性计算机可读介质,所述指令在被执行时使处理器实施根据权利2-11、23-33、44-54中任一项所述的方法。
CN202311359753.7A 2019-06-04 2020-06-04 使用临近块信息的运动候选列表构建 Pending CN117395397A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN2019089970 2019-06-04
CNPCT/CN2019/089970 2019-06-04
CNPCT/CN2019/104810 2019-09-07
CN2019104810 2019-09-07
CN202080041790.1A CN113966616B (zh) 2019-06-04 2020-06-04 使用临近块信息的运动候选列表构建
PCT/CN2020/094310 WO2020244571A1 (en) 2019-06-04 2020-06-04 Motion candidate list construction using neighboring block information

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080041790.1A Division CN113966616B (zh) 2019-06-04 2020-06-04 使用临近块信息的运动候选列表构建

Publications (1)

Publication Number Publication Date
CN117395397A true CN117395397A (zh) 2024-01-12

Family

ID=73652447

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080041790.1A Active CN113966616B (zh) 2019-06-04 2020-06-04 使用临近块信息的运动候选列表构建
CN202311359753.7A Pending CN117395397A (zh) 2019-06-04 2020-06-04 使用临近块信息的运动候选列表构建

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080041790.1A Active CN113966616B (zh) 2019-06-04 2020-06-04 使用临近块信息的运动候选列表构建

Country Status (7)

Country Link
US (2) US11575911B2 (zh)
EP (1) EP3963890A4 (zh)
JP (2) JP7346599B2 (zh)
KR (1) KR102627821B1 (zh)
CN (2) CN113966616B (zh)
BR (1) BR112021023918A2 (zh)
WO (1) WO2020244571A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244569A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN117795960A (zh) * 2021-07-14 2024-03-29 抖音视界有限公司 用于视频处理的方法、装置和介质

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111545A1 (en) 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
CN101415121B (zh) 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
TWI428023B (zh) 2008-11-18 2014-02-21 Ind Tech Res Inst 解碼方法及裝置
KR101098739B1 (ko) 2008-11-24 2011-12-23 한국전자통신연구원 비디오 신호의 부호화/복호화 장치 및 방법
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit
WO2013052520A1 (en) * 2011-10-03 2013-04-11 Denton Vacuum, L.L.C. Semiconductor wafer treatment system
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US20150085932A1 (en) * 2012-04-24 2015-03-26 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US20130294513A1 (en) 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
US20130329007A1 (en) 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US9749645B2 (en) 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
US9088770B2 (en) 2012-08-15 2015-07-21 Intel Corporation Size based transform unit context derivation
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
EP2904797B1 (en) * 2012-10-01 2021-08-11 Nokia Technologies Oy Method and apparatus for scalable video coding
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
SG11201502627QA (en) 2012-10-05 2015-05-28 Mediatek Singapore Pte Ltd Method and apparatus of motion vector derivation 3d video coding
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9538180B2 (en) 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
US10057594B2 (en) 2013-04-02 2018-08-21 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
US9609347B2 (en) 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
US9288507B2 (en) 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
WO2015003383A1 (en) 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
US10045014B2 (en) 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
JP2016528810A (ja) 2013-07-24 2016-09-15 マイクロソフト テクノロジー ライセンシング,エルエルシー 非変換符号化のためのスキャン順序
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US10567806B2 (en) * 2013-11-15 2020-02-18 Mediatek Inc. Method of block-based adaptive loop filtering
US9432685B2 (en) 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
EP3114839A4 (en) 2014-03-07 2018-02-14 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
CA2939170A1 (en) 2014-03-13 2015-09-17 Qualcomm Incorporated Constrained depth intra mode coding for 3d video coding
CN103942793B (zh) 2014-04-16 2016-11-16 上海交通大学 基于热扩散的视频一致运动区域检测方法
JP6430542B2 (ja) 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドQualcomm Incorporated 3d−hevcにおける簡略化シフティングマージ候補およびマージリスト導出
CN106464921B (zh) 2014-06-19 2019-10-15 Vid拓展公司 用于块内复制搜索增强的方法和系统
US10027981B2 (en) * 2014-09-01 2018-07-17 Hfi Innovation Inc. Method of intra picture block copy for screen content and video coding
US10469847B2 (en) 2014-09-12 2019-11-05 Vid Scale, Inc. Inter-component de-correlation for video coding
WO2016048834A1 (en) 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding
US9854237B2 (en) 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
CN107431817B (zh) 2015-01-29 2020-03-24 Vid拓展公司 用于调色板译码的方法及装置
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
CN105141957B (zh) 2015-07-31 2019-03-15 广东中星电子有限公司 图像和视频数据编解码的方法和设备
CA2995507C (en) 2015-09-02 2021-05-25 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
ES2710234B1 (es) * 2015-09-11 2020-03-09 Kt Corp Procedimiento y dispositivo para procesar señales de vídeo
US10218975B2 (en) 2015-09-29 2019-02-26 Qualcomm Incorporated Transform precision manipulation in video coding
US10187655B2 (en) * 2015-09-30 2019-01-22 Apple Inc. Memory-to-memory low resolution motion estimation systems and methods
US10462439B2 (en) 2015-10-02 2019-10-29 Vid Scale, Inc. Color correction with a lookup table
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
US10200719B2 (en) 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
KR20190015216A (ko) 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
EP4060992A1 (en) * 2016-05-13 2022-09-21 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
CN117201808A (zh) * 2016-08-01 2023-12-08 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
US20180041778A1 (en) 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20210136400A1 (en) 2016-11-29 2021-05-06 Mediatek Inc. Method and apparatus of merge mode derivation for video coding
US20180184127A1 (en) 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
CN110089113B (zh) * 2017-01-02 2023-10-20 Lx 半导体科技有限公司 图像编码/解码方法、设备以及用于存储比特流的记录介质
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
CN106961606B (zh) 2017-01-26 2020-04-07 浙江工业大学 基于纹理划分特征的hevc帧内编码模式选择方法
KR102559063B1 (ko) 2017-02-24 2023-07-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
US11172203B2 (en) 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
WO2019045427A1 (ko) 2017-08-29 2019-03-07 에스케이텔레콤 주식회사 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
US11082716B2 (en) 2017-10-10 2021-08-03 Electronics And Telecommunications Research Institute Method and device using inter prediction information
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
WO2019077197A1 (en) * 2017-10-16 2019-04-25 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR VIDEO ENCODING AND DECODING
CN117478880A (zh) 2017-10-16 2024-01-30 数字洞察力有限公司 用于将图像编码/解码的方法和存储比特流的记录介质
US20190116374A1 (en) 2017-10-17 2019-04-18 Qualcomm Incorporated Coding motion information of video data using coding structure-based candidate list construction
WO2019079611A1 (en) 2017-10-18 2019-04-25 Huawei Technologies Co., Ltd. GENERATION OF MOVEMENT VECTOR CANDIDATES LIST DEPENDING ON THE AVAILABILITY OF A NEIGHBORING BLOCK
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
US11641488B2 (en) 2017-11-01 2023-05-02 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
TWI795463B (zh) 2017-11-14 2023-03-11 美商高通公司 統一合併候選列表運用
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
EP3738310A4 (en) 2018-01-11 2021-08-11 Qualcomm Incorporated VIDEO ENCODING USING LOCAL LIGHTING COMPENSATION
US20190238845A1 (en) 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
KR20200097811A (ko) 2018-02-22 2020-08-19 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
JP7088606B2 (ja) 2018-04-02 2022-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US10506251B2 (en) 2018-05-08 2019-12-10 Tencent America LLC Method and apparatus for video coding
US10397603B1 (en) 2018-05-08 2019-08-27 Tencent America LLC Method and apparatus for video coding
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
CN110662032B (zh) 2018-06-29 2022-09-20 北京字节跳动网络技术有限公司 视频处理方法、装置以及非暂时性计算机可读记录介质
CN110677658B (zh) 2018-07-01 2022-07-12 北京字节跳动网络技术有限公司 基于优先级的非相邻Merge设计
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
US10531090B1 (en) 2018-07-02 2020-01-07 Tencent America LLC Method and apparatus for video coding
US10523963B1 (en) 2018-07-30 2019-12-31 Tencent America LLC Method and apparatus for merge mode in video coding
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN110858906B (zh) 2018-08-26 2023-05-30 北京字节跳动网络技术有限公司 组合的基于历史的运动矢量预测符和多运动模型解码
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
KR20200033195A (ko) * 2018-09-19 2020-03-27 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI822862B (zh) 2018-09-23 2023-11-21 大陸商北京字節跳動網絡技術有限公司 8參數仿射模型
TWI822863B (zh) 2018-09-27 2023-11-21 美商Vid衡器股份有限公司 360度視訊寫碼樣本導出
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
JP7277579B2 (ja) 2018-11-02 2023-05-19 北京字節跳動網絡技術有限公司 Hmvp候補記憶装置のための表の保守
CN112219400B (zh) 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
CN112970263A (zh) 2018-11-06 2021-06-15 北京字节跳动网络技术有限公司 基于条件的具有几何分割的帧间预测
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN113261293B (zh) 2018-11-13 2023-11-03 北京字节跳动网络技术有限公司 用于帧内块复制的基于历史的运动候选列表构建
CN112970258B (zh) 2018-11-13 2023-08-18 北京字节跳动网络技术有限公司 用于子块预测块的多假设
WO2020098811A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Generalized bi directional prediction mode in video processing
WO2020103934A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Construction method for inter prediction with geometry partition
WO2020108574A1 (en) 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Improving method for transform or quantization bypass mode
WO2020114404A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Pruning method in different prediction mode
CN113261290B (zh) 2018-12-28 2024-03-12 北京字节跳动网络技术有限公司 基于修改历史的运动预测
CN116866605A (zh) 2019-01-03 2023-10-10 北京大学 视频处理方法和装置
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113316933A (zh) 2019-01-17 2021-08-27 北京字节跳动网络技术有限公司 使用运动预测进行去方块滤波
US10904557B2 (en) 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
CN113647109A (zh) 2019-02-17 2021-11-12 北京字节跳动网络技术有限公司 帧内块复制(ibc)模式和非ibc帧间模式的运动候选列表构建
KR102661416B1 (ko) 2019-02-27 2024-04-25 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법
KR102606330B1 (ko) 2019-02-28 2023-11-24 엘지전자 주식회사 Aps 시그널링 기반 비디오 또는 영상 코딩
JP7485689B2 (ja) 2019-03-11 2024-05-16 華為技術有限公司 エンコーダ、デコーダ及び対応する方法
WO2020181543A1 (zh) 2019-03-13 2020-09-17 北京大学 视频处理方法和设备
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
CA3134075A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Nonlinear adaptive loop filtering in video processing
WO2020211770A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Temporal prediction of parameters in non-linear adaptive loop filter
KR20210145749A (ko) 2019-04-16 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 적응형 루프 필터링
US11284114B2 (en) 2019-04-23 2022-03-22 Qualcomm Incorporated Adaptive loop filter set index signaling
KR20210135337A (ko) 2019-05-14 2021-11-12 엘지전자 주식회사 적응적 루프 필터 기반 비디오 또는 영상 코딩
US11019334B2 (en) 2019-05-17 2021-05-25 Qualcomm Incorporated Multiple adaptive loop filter sets for video coding
WO2020244569A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
US11166033B2 (en) 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
US11736688B2 (en) 2019-06-21 2023-08-22 Qualcomm Incorporated Adaptive loop filter signalling
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
US11432016B2 (en) 2019-12-05 2022-08-30 Hfi Innovation Inc. Methods and apparatuses of syntax signaling constraint for cross-component adaptive loop filter in video coding system
US11563980B2 (en) 2020-04-02 2023-01-24 Qualcomm Incorporated General constraint information syntax in video coding

Also Published As

Publication number Publication date
US20230188729A1 (en) 2023-06-15
EP3963890A1 (en) 2022-03-09
CN113966616B (zh) 2023-11-14
JP7346599B2 (ja) 2023-09-19
JP2022535544A (ja) 2022-08-09
KR20220016832A (ko) 2022-02-10
BR112021023918A2 (pt) 2022-01-18
EP3963890A4 (en) 2022-11-02
US20220103834A1 (en) 2022-03-31
JP2023166518A (ja) 2023-11-21
WO2020244571A1 (en) 2020-12-10
US11575911B2 (en) 2023-02-07
CN113966616A (zh) 2022-01-21
KR102627821B1 (ko) 2024-01-23

Similar Documents

Publication Publication Date Title
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
CN113424525B (zh) 解码器侧细化工具的尺寸选择性应用
CN114097228B (zh) 具有几何分割模式编解码的运动候选列表
CN113853783B (zh) 对帧内块复制编解码的块的块矢量的编解码
CN114128258B (zh) 视频编解码中的变换块尺寸的限制
WO2020259426A1 (en) Motion candidate list construction for intra block copy mode
CN113966616B (zh) 使用临近块信息的运动候选列表构建
WO2020244658A1 (en) Sub-block based intra block copy
CN114450959A (zh) 视频编解码中的几何分割模式
CN113994699B (zh) 视频编解码的运动候选列表构建
CN113994682A (zh) 具有默认参数的基于历史的运动矢量预测
CN115152229A (zh) merge估计区域下IBC块的BV列表构建过程
CN114097219A (zh) 基于历史的运动矢量预测表中的运动信息的存储

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination