CN117499625A - 视频编解码中预测权重的对准 - Google Patents

视频编解码中预测权重的对准 Download PDF

Info

Publication number
CN117499625A
CN117499625A CN202311359616.3A CN202311359616A CN117499625A CN 117499625 A CN117499625 A CN 117499625A CN 202311359616 A CN202311359616 A CN 202311359616A CN 117499625 A CN117499625 A CN 117499625A
Authority
CN
China
Prior art keywords
block
chroma
motion information
sub
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311359616.3A
Other languages
English (en)
Inventor
邓智玭
张莉
刘鸿彬
张凯
许继征
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN117499625A publication Critical patent/CN117499625A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

描述了一种视频处理的方法。该方法包括:根据规则确定色度权重,该色度权重用于通过混合色度块的预测而确定视频的当前块的色度块的色度预测块;以及根据该确定执行当前块与视频的编解码表示之间的转换,其中,规则指定从当前块的共位亮度块的亮度权重确定色度权重;其中,当前块是用几何分割模式编解码的。

Description

视频编解码中预测权重的对准
相关申请的交叉引用
本申请是申请日为2020年9月1日、申请号为202080061451.X的发明专利申请的分案申请,申请号为202080061451.X的发明专利申请是于2020年9月1日提交的国际专利申请号PCT/CN2020/112779进入中国国家阶段的申请,其要求于2019年9月1日提交的国际专利申请No.PCT/CN2019/103903以及2019年10月10日提交的国际专利申请No.PCT/CN2019/110490的优先权。以上申请的全部公开内容通过引用而并入,作为本申请的公开的一部分。
技术领域
本专利文档涉及视频编解码和解码。
背景技术
尽管视频压缩不断发展,数字视频仍然占据因特网和其它数字通信网络上的最大的带宽使用。随着能够接收和显示视频的所连接的用户装置的数量增加,预计数字视频使用的带宽需求将继续增长。
发明内容
装置、系统和方法涉及数字视频编解码,并且尤其涉及视频和图像编解码和解码,其中通过视频块的三角形和任意几何体分割使用帧间预测。
在一个示例方面,公开一种视频处理的方法。该方法包括:根据规则确定色度权重,该色度权重用于通过混合色度块的预测而确定视频的当前块的色度块的色度预测块;以及根据该确定执行当前块与视频的编解码表示之间的转换,其中规则指定从当前块的共位亮度块的亮度权重确定色度权重;其中,当前块是用几何分割模式编解码的。
在另一个示例方面,公开另一种视频处理的方法。该方法包括:根据规则确定色度权重,该色度权重用于通过混合色度块的预测而确定视频的当前块的色度块的色度预测块;以及根据该确定执行当前块与视频的编解码表示之间的转换,其中该规则取决于共位亮度块的特性和/或当前块的特性,其中当前块是用几何分割模式编解码的。
在另一个示例方面,公开另一种视频处理的方法。该方法包括:执行视频的当前块与视频的编解码表示之间的转换,其中在转换期间,通过根据混合权重掩码对当前块的预测进行混合,确定当前块的预测块,其中当前块是用几何分割模式编解码的。
在另一个示例方面,公开另一种视频处理的方法。该方法包括:为视频的当前块与视频的编解码表示之间的转换,基于当前块的特性确定几何分割模式对当前块的适用性;以及基于确定执行转换。
在另一个示例方面,公开另一种视频处理的方法。该方法包括:执行视频的当前块与视频的编解码表示之间的转换,其中编解码表示符合格式规则,格式规则指定,在转换期间对当前块禁用几何分割模式的情况下,描述几何分割模式的语法元素不被包括在编解码表示中。
在又一个代表性方面,上述方法以处理器可执行的代码方式实施并被存储在计算机可读介质中。
在又一个代表性方面,公开了配置或可操作为执行上述方法的装置。装置可以包括编程为实现该方法的处理器。
在又一个代表性方面,视频解码器设备可以实现本文中所描述的方法。
公开的技术的上述或其他方面和特征将在附图、说明书和权利要求书中更为详细地描述。
附图说明
图1示出了空域合并候选的示例位置。
图2示出了为空域合并候选的冗余检查所考虑的候选对的示例。
图3是时域合并候选的运动矢量缩放的图示。
图4是时域合并候选C0和C1的候选位置的示例。
图5是基于三角分割的帧间预测的示例。
图6示出了三角分割模式的单向预测MV选择的示例。
图7示出了混合过程中使用的权重的示例。
图8示出了8x16TPM块(WD6)的混合过程中使用的权重的示例。
图9示出了为8x16TPM预测块设置的示例权重。
图10是示例视频处理系统的框图,其中可以实现本文所公开的技术。
图11是视频处理的硬件平台的示例实现方式的框图。
图12是视频处理的示例方法的流程图。
图13A示出了VTM6.0中TPM设计的示例。
图13B示出了TPM设计的提案的示例。
图14示出了GEO划分边界描述的示例。
图15A示出了几何合并模式的角度量化的32个角度方案的示例。
图15B示出了几何合并模式的角度量化的24个角度方案的示例。
图16A至16D示出了视频处理的示例方法的流程图。
具体实施方式
所公开的技术的实施例可以应用到现有视频编解码标准(例如,HEVC、H.265)和未来标准以改善压缩性能。章节标题在本文档中用来改善说明书的可读性,并且不以任何方式将讨论和实施例(和/或实现方式)仅限制于相应章节。
1.发明内容
该文档涉及视频编解码技术。具体而言,关于帧间预测和视频编解码中的有关技术。可以应用于像HEVC这样的现有视频编解码标准或者待最终确定的标准(多功能视频编解码)。也可以适用于未来的视频标准或视频编解码器。
2.最初讨论
视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而得以演进。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4Visual,并且两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4先进视频编解码(Advanced Video Coding,AVC)标准和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。从那时起,JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。同时JVET会议每季度举行一次,并且新编解码标准目标在于与HEVC相比降低50%的比特率。在2018年4月的JVET会议上新视频编解码标准被官方命名为多功能视频编解码(VVC),并且在当时发布了VVC测试模型(VTM)的第一版本。随着对VVC标准化贡献不断的努力,在每一次JVET会议上都将新编解码技术采用到VVC标准。然后,在每一次会议之后更新VVC工作草案和测试模型VTM。VVC项目现在目标是在2020年6月的会议上技术完成(FDIS)。
2.1.扩展合并预测
VTM中,通过包括以下五类候选按顺序地构建合并候选列表:
1)来自空域邻域CU的空域MVP
2)来自共位CU的时域MVP
3)来自FIFO表的基于历史的MVP
4)成对平均MVP
5)零MV。
在条带头中信令通知合并列表的尺寸,并且在VTM中合并列表的最大允许尺寸为6。对于合并模式下编解码的每个CU,最佳合并候选的索引是使用截断一元二值化(TU)编码的。合并索引的第一二进制数(bin)是用上下文编解码的,并且旁路编解码用于其他二进制数。
在该章节中提供每一类合并候选的生成过程。
2.1.1.空域候选导出
VVC中的空域合并候选的导出与HEVC中的空域合并候选的导出相同。在图1中描绘的位置中定位的候选之中选择最多四个合并候选。导出的顺序是A0、B0、B1、A1和B2。仅当位置A0、B0、B1、A1的任何CU不可用(例如,因为它属于另一条带或片)或者是帧内编解码时,才考虑位置B2。在添加位置A1处的候选之后,对剩余候选的添加进行冗余检查,该冗余检查确保具有相同运动信息的候选被排除在列表之外,从而改进编解码效率。为了降低计算复杂度,在所提到的冗余检查中并未考虑所有可能的候选对。代替地,仅考虑与图2中的箭头链接的对,并且仅如果用于冗余检查的对应候选不具有相同运动信息才将候选添加到列表。
2.1.2.时域候选导出
在此步骤中,仅一个候选被添加到列表。特别地,在该时域合并候选的导出中,基于属于共位参考图片的共位CU导出缩放的运动矢量。在条带头中显式信令通知要用于共位CU的导出的参考图片列表。如图3中由虚线示出的获得时域合并候选的缩放的运动矢量,其使用POC距离tb和td从共位CU的运动矢量缩放,其中tb定义为当前图片的参考图片与当前图片之间的POC差,并且td定义为共位图片的参考图片与共位图片之间的POC差。时域合并候选的参考图片索引被设置为等于零。
图3是时域合并候选的运动矢量缩放的图示。
时域候选的位置是在候选C0和C1之间选择的,如图4所描绘。如果位置C0处的CU不可用、是帧内编解码的或是在CTU的当前行的之外,则使用位置C1。否则,在时域合并候选的导出中使用位置C0。
图4示出了时域合并候选的候选位置C0和C1的示例。
2.1.3.基于历史的合并候选导出
基于历史的MVP(HMVP)合并候选被添加到空域MVP和TMVP之后的合并列表。在该方法中,先前编解码块的运动信息被存储在表中并且用作当前CU的MVP。在编码/解码过程期间维护具有多个HMVP候选的表。当遇到新的CTU行时重置(清空)表。无论何时存在非子块的帧内编解码CU,将相关联的运动信息添加到表的最后一个条目作为新的HMVP候选。
VTM中,HMVP表尺寸S设置为6,其指示多达6个基于历史的MVP(HMVP)候选可以被添加到表。当将新的运动候选插入到表时,利用约束的先进先出(FIFO)规则,其中,首先应用冗余检查以在表中查找是否存在相同HMVP。如果找到,则将相同HMVP从表中移除并且将之后的所有HMVP候选向前移动。
HMVP候选可以用在合并候选列表构建过程中。表中的最后若干个HMVP候选按顺序被检查并且将其在TMVP候选之后插入到候选列表。在HMVP候选上对空域或时域合并候选应用冗余检查。
为了减少冗余检查操作的数目,引入以下简化:
1.用于合并列表生成的HMVP候选的数目,设置为(N<=4)?M:(8–N),其中,N指示合并列表中现有候选的数目,并且M指示表中可用HMVP候选的数目。
2.一旦可用合并候选的总数达到最大允许合并候选减1,由HMVP构建合并候选列表过程被终止。
2.1.4.成对平均合并候选导出
通过将现有合并候选列表中候选的预定义对平均化,生成成对平均候选,并且预定义对定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)},其中,数目表示合并候选列表的合并索引。分别为每个参考列表计算平均的运动矢量。如果在一个列表中两个运动矢量都是可用的,则这两个运动矢量被平均,即使在它们指向不同参考图片;如果仅一个运动矢量可用,则直接使用这一个;如果没有运动矢量可用,则保持该列表无效。
当合并列表在成对平均合并候选被添加之后未填满时,在末尾插入零MVP直到达到最大合并候选数目。
2.2.帧间预测的三角分割
VTM中,对于帧间预测支持三角分割模式(TPM)。三角分割模式仅被应用到具有64个样点或更多个的CU,并且是以跳过或合并模式编解码的,而不是以常规合并模式或MMVD模式或CIIP模式或子块合并模式编解码的。CU级标志用于指示是否应用三角分割模式。
当使用该模式时,使用对角划分或反对角划分(图5)将CU均匀划分成两个三角形分割。CU中的每个三角分割都是使用自己的运动进行帧间预测的;每个分割仅允许单向预测,即每个分割具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与常规双向预测相同,每个CU仅需要两个运动补偿的预测。从为2.1中扩展的合并预测构建的合并候选列表,直接导出每个分割的单向预测运动,并且从列表中给定的合并候选选择单向预测运动是根据2.2.1中的进程。
图5是基于三角分割的帧间预测的示例。
如果三角分割模式用于当前CU,则指示三角分割的方向(对角或反对角)的标志以及两个合并索引(每个分割各一个)被进一步信令通知。在预测每个三角分割之后,使用具有适应性权重的混合处理来调整沿对角或反对角边缘的样点值。这是整个CU的预测信令通知,并且与在其它预测模式中一样,变换和量化过程将应用到整个CU。最终,使用三角分割模式预测的CU的运动场储存在4x4单元中,如2.2.3中。
2.2.1.单向预测候选列表构建
给定合并候选索引,从使用2.1中的过程的扩展合并预测构建的合并候选列表导出单向预测运动矢量,如图6中所举例。对于列表中的候选,其LX运动矢量(其中X等于合并候选索引值的奇偶性)用作三角分割模式的单向预测运动矢量。图6中,这些运动矢量用“x”标记。在对应的LX运动矢量不存在的情况下,扩展合并预测候选列表中相同候选的L(1-X)运动矢量用作三角分割模式的单向预测运动矢量。
2.2.2.沿着三角分割边缘的混合
在每个三角分割使用其自身运动进行预测之后,将混合应用到两个预测信令通知以在对角或反对角边缘周围导出样点。在混合过程中使用以下权重:
·亮度的{7/8,6/8,5/8,4/8,3/8,2/8,1/8}和色度的{6/8,4/8,2/8},如图7所示。
图7示出了混合过程中使用的权重的示例。
2.2.3.运动场存储
以三角分割模式编解码的CU的运动矢量是以4x4单元存储的。取决于每个4x4单元的位置,存储单向预测或双向预测运动矢量。分别为分割1和分割2指示Mv1和Mv2作为单向预测运动矢量。如果4x4单元位于图7的示例中所示的非加权的区域中,则为该4x4单元存储Mv1或Mv2。否则,如果4x4单元位于加权的区域中,则存储双向预测运动矢量。根据以下过程从Mv1和Mv2导出双向预测运动矢量:
1)如果Mv1和Mv2是来自不同参考图片列表(一个来自L0并且另一个来自L1),则将Mv1与Mv2简单组合以形成双向预测运动矢量。
2)否则,如果Mv1和Mv2是来自同一列表,并且在不失一般性的情况下,则假设它们二者来自L0。在这种情况下,
2.a)如果L1中出现Mv2(或Mv1)的参考图片,则该Mv2(或Mv1)使用L1中该参考图片被转换为L1运动矢量。然后将两个运动矢量组合以形成双向预测运动矢量;
否则,替代双向预测运动,仅存储单向预测运动Mv1。
2.3.VVC WD6中三角分割的规范
从最新的VVC工作草案JVET-O2001-vE提取去方块滤波过程的以下规范。
2.3.1.合并数据语法
2.3.2.合并数据语义
ciip_flag[x0][y0]指定是否为当前编解码单元应用组合的帧间图片合并和帧内图片预测。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当ciip_flag[x0][y0]不存在时,其被推断如下:
–如果以下所有条件为真,则ciip_flag[x0][y0]被推断为等于1:
–sps_ciip_enabled_flag等于1。
–general_merge_flag[x0][y0]等于1。
–merge_subblock_flag[x0][y0]等于0。
–regular_merge_flag[x0][y0]等于0。
–cbWidth小于128。
–cbHeight小于128。
–cbWidth*cbHeight大于或等于64。
–否则,ciip_flag[x0][y0]被推断为等于0。
当ciip_flag[x0][y0]等于1时,变量IntraPredModeY[x][y]设置为等于INTRA_PLANAR,其中x=x0..x0+cbWidth–1且y=y0..y0+cbHeight-1。
变量MergeTriangleFlag[x0][y0](其指定当解码B条带时,基于三角形的运动补偿是否用于生成当前编解码单元的预测样点)导出如下:
–如果以下所有条件为真,则将MergeTriangleFlag[x0][y0]设置为等于1:
–sps_triangle_enabled_flag等于1。
–slice_type等于B。
–general_merge_flag[x0][y0]等于1。
–MaxNumTriangleMergeCand大于或等于2。
–cbWidth*cbHeight大于或等于64。
–regular_merge_flag[x0][y0]等于0。
–merge_subblock_flag[x0][y0]等于0。
–ciip_flag[x0][y0]等于0。
–否则,将MergeTriangleFlag[x0][y0]设置为等于0。
merge_triangle_split_dir[x0][y0]指定合并三角模式的划分方向。阵列索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当不存在merge_triangle_split_dir[x0][y0]时,则将其推断为等于0。
merge_triangle_idx0[x0][y0]指定基于三角形的运动补偿候选列表的第一合并候选索引,其中x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当不存在merge_triangle_idx0[x0][y0]时,则将其推断为等于0。
merge_triangle_idx1[x0][y0]指定基于三角形的运动补偿候选列表的第二合并候选索引,其中x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当不存在merge_triangle_idx1[x0][y0]时,则将其推断为等于0。
2.3.3.三角运动矢量分量和参考索引的导出过程
2.3.3.1.总体
此过程的输入是:
–当前亮度编解码块的左上样点相对于当前图片的左上样点的亮度样点的亮度位置(xCb,yCb)
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
此过程的输出是:
–以1/16分数样点精度的亮度运动矢量mvA和mvB,
–以1/32分数样点精度的色度运动矢量mvCA和mvCB,
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
使用以下调用如条款2.3.3.2中指定的三角合并模式的亮度运动矢量的导出过程:亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入,并且输出为亮度运动矢量mvA、mvB,参考索引refIdxA、refIdxB以及预测列表标志predListFlagA和predListFlagB。
使用以下调用如条款2.3.3.3中的亮度运动矢量的导出过程:mvA和refIdxA作为输入,并且输出是mvCA。
使用以下调用如条款2.3.3.3中的亮度运动矢量的导出过程:mvB和refIdxB作为输入,并且输出是mvCB。
2.3.3.2.合并三角模式的亮度运动矢量的导出过程
此过程只有当MergeTriangleFlag[xCb][yCb]等于1时才被调用,其中(xCb,yCb)指定当前亮度块相对于当前图片的左上亮度样点的左上样点。
此过程的输入是:
–当前亮度编解码块的左上样点相对于当前图片的左上样点的亮度样点的亮度位置(xCb,yCb)
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
此过程的输出是:
–以1/16分数样点精度的亮度运动矢量mvA和mvB,
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
运动矢量mvA和mvB、参考索引refIdxA和refIdxB以及预测列表标志predListFlagA和predListFlagB由以下顺序的步骤导出:
–使用以下调用如条款8.5.2.2中指定的合并模式的亮度运动矢量的导出过程:亮度位置(xCb,yCb)、变量cbWidth和cbHeight作为输入,并且输出是亮度运动矢量mvL0[0][0]、mvL1[0][0],参考索引refIdxL0、refIdxL1,预测列表利用标志predFlagL0[0][0]和predFlagL1[0][0],双向预测权重索引bcwIdx以及合并候选列表mergeCandList。
–变量m和n(分别为三角分割0和1的合并索引)使用merge_triangle_idx0[xCb][yCb]和merge_triangle_idx1[xCb][yCb]导出如下:
m=merge_triangle_idx0[xCb][yCb](8-475)
n=merge_triangle_idx1[xCb][yCb]+(merge_triangle_idx1[xCb][yCb]>=m)?1:0(8-476)
–令refIdxL0M和refIdxL1M、predFlagL0M和predFlagL1M、以及mvL0M和mvL1M是合并候选列表mergeCandList中位置m处的合并候选M(M=mergeCandList[m])的参考索引、预测列表利用标志以及运动矢量。
–变量X设置为等于(m&0x01)。
–当predFlagLXM等于0时,X设置为等于(1-X)。
–应用如下:
mvA[0]=mvLXM[0](8-477)
mvA[1]=mvLXM[1](8-478)
refIdxA=refIdxLXM(8-479)
predListFlagA=X(8-480)
–令refIdxL0N和refIdxL1N、predFlagL0N和predFlagL1N、以及MvL0N和mvL1N是合并候选列表mergeCandList中位置m处的合并候选N(N=mergeCandList[n])的参考索引、预测列表利用标志以及运动矢量。
–变量X设置为等于(n&0x01)。
–当predFlagLXN等于0时,X设置为等于(1-X)。
–应用如下:
mvB[0]=mvLXN[0](8-481)
mvB[1]=mvLXN[1](8-482)
refIdxB=refIdxLXN(8-483)
predListFlagB=X(8-484)
2.3.3.3.色度运动矢量的导出过程
此过程的输入是:
–以1/16分数样点精度的亮度运动矢量mvLX,
–参考索引refIdxLX。
此过程的输出是以1/32分数样点精度的色度运动矢量mvCLX。
色度运动矢量从对应的亮度运动矢量导出。
色度运动矢量mvCLX导出如下:
mvCLX[0]=mvLX[0]*2/SubWidthC(8-435)
mvCLX[1]=mvLX[1]*2/SubHeightC(8-436)
2.3.4.三角帧间块的解码过程
2.3.4.1.总体
当用等于1的MergeTriangleFlag[xCb][yCb]解码编解码单元时调用此过程。
此过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上亮度样点的左上样点。
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–以1/16分数样点精度的亮度运动矢量mvA和mvB,
–色度运动矢量mvCA和mvCB。
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
此过程的输出是:
–亮度预测样点的(cbWidth)x(cbHeight)阵列predSamplesL
–分量Cb的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb
–分量Cr的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr
令predSamplesLAL和predSamplesLBL为预测的亮度样点值的(cbWidth)x(cbHeight)阵列,并且predSamplesLACb、predSamplesLBCb、predSamplesLACr和predSamplesLBCr为预测的色度样点值的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列。
predSamplesL、predSamplesCb和predSamplesCr由以下顺序的步骤导出:
1.对于N为A和B中的每一个,以下适用:
–由亮度样点的有序二维阵列refPicLNL和色度样点的两个有序二维阵列refPicLNCb和refPicLNCr构成的参考图片是使用以下通过调用VVC WD6中条款8.5.6.2中指定的过程导出的:设置为等于predListFlagN的X和设置为等于refIdxN的refIdxX作为输入。
–阵列predSamplesLNL是使用以下通过调用VVC WD6中条款8.5.6.3中指定的过程导出的:亮度位置(xCb,yCb)、设置为等于cbWidth的亮度编解码块宽度sbWidth、设置为等于cbHeight的亮度编解码块高度sbHeight、设置为等于(0,0)的运动矢量偏移mvOffset,设置为等于mvN的运动矢量mvLX以及设置为等于refPicLNL的参考阵列refPicLXL、设置为等于FALSE的变量bdofFlag、以及设置为等于0的变量cIdx作为输入。
–阵列predSamplesLNCb是使用以下通过调用VVC WD6中条款8.5.6.3中指定的过程导出的:亮度位置(xCb,yCb)、设置为等于cbWidth/SubWidthC的编解码块宽度sbWidth、设置为等于cbHeight/SubHeightC的编解码块高度sbHeight、设置为等于(0,0)的运动矢量偏移mvOffset,设置为等于mvCN的运动矢量mvLX以及设置为等于refPicLNCb的参考阵列refPicLXCb、设置为等于FALSE的变量bdofFlag、以及设置为等于1变量cIdx作为输入。
–阵列predSamplesLNCr是使用以下通过调用VVC WD6中条款8.5.6.3中指定的过程导出的:亮度位置(xCb,yCb)、设置为等于cbWidth/SubWidthC的编解码块宽度sbWidth、设置为等于cbHeight/SubHeightC的编解码块高度sbHeight、设置为等于(0,0)的运动矢量偏移mvOffset,设置为等于mvCN的运动矢量mvLX以及设置为等于refPicLNCr的参考阵列refPicLXCr、设置为等于FALSE的变量bdofFlag、以及设置为等于2变量cIdx作为输入。
2.合并三角模式的分割方向变量triangleDir设置为等于merge_triangle_split_dir[xCb][yCb]。
3.当前亮度编解码块内的预测样点predSamplesL[xL][yL],其中xL=0..cbWidth-1和yL=0..cbHeight-1,是使用以下通过调用条款2.3.4.2中指定的三角合并模式的加权样点预测过程导出的:设置为等于cbWidth的编解码块宽度nCbW、设置为等于cbHeight的编解码块高度nCbH、样点阵列predSamplesLAL和predSamplesLBL、以及变量triangleDir和等于0的cIdx作为输入。
4.当前色度分量Cb编解码块内的预测样点predSamplesCb[xC][yC],其中xC=0..cbWidth/SubWidthC-1和yC=0..cbHeight/SubHeightC-1,是使用以下通过调用条款2.3.4.2中指定的三角合并模式的加权样点预测过程导出的:设置为等于cbWidth/SubWidthC的编解码块宽度nCbW、设置为等于cbHeight/SubHeightC的编解码块高度nCbH、样点阵列predSamplesLACb和predSamplesLBCb、以及变量triangleDir和等于1的cIdx作为输入。
5.当前色度分量Cr编解码块内的预测样点predSamplesCr[xC][yC],其中xC=0..cbWidth/SubWidthC-1和yC=0..cbHeight/SubHeightC-1,是使用以下通过调用条款2.3.4.2中指定的三角合并模式的加权样点预测过程导出的:设置为等于cbWidth/SubWidthC的编解码块宽度nCbW、设置为等于cbHeight/SubHeightC的编解码块高度nCbH、样点阵列predSamplesLACr和predSamplesLBCr、以及变量triangleDir和等于2的cIdx作为输入。
6.使用以下调用以条款2.3.4.3中指定的合并三角模式的运动矢量存储过程:亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、分割方向triangleDir、亮度运动矢量mvA和mvB、参考索引refIdxA和refIdxB、和预测列表标志predListFlagA和predListFlagB作为输入。
2.3.4.2.三角合并模式的加权样点预测过程
此过程的输入是:
–两个变量nCbW和nCbH,指定当前编解码块的宽度和高度,
–两个(nCbW)x(nCbH)阵列predSamplesLA和predSamplesLB,
–变量triangleDir,指定分割方向,
–变量cIdx,指定色彩分量索引。
此过程的输出是预测样点值的(nCbW)x(nCbH)阵列pbSamples。
变量nCbR导出如下:
nCbR=(nCbW>nCbH)?(nCbW/nCbH):(nCbH/nCbW)(8-841)
变量bitDepth导出如下:
-如果cIdx等于0,则bitDepth设置为等于BitDepthY
-否则,bitDepth设置为等于BitDepthC
变量shift1和offset1导出如下:
-变量shift1设置为等于Max(5,17-bitDepth)。
-变量offset1设置为等于1<<(shift1-1)。
取决于triangleDir、wS和cIdx的值,预测样点pbSamples[x][y],其中x=0..nCbW-1和y=0..nCbH-1,导出如下:
-变量wIdx导出如下:
–如果cIdx等于0和triangleDir等于0,则以下适用:
wIdx=(nCbW>nCbH)?(Clip3(0,8,(x/nCbR-y)+4))(8-842)
:(Clip3(0,8,(x-y/nCbR)+4))
–否则,如果cIdx等于0且triangleDir等于1,则以下适用:
wIdx=(nCbW>nCbH)?(Clip3(0,8,(nCbH-1-x/nCbR-y)+4))(8-843)
(Clip3(0,8,(nCbW-1-x-y/nCbR)+4))
–否则,如果cIdx大于0且triangleDir等于0,则以下适用:
wIdx=(nCbW>nCbH)?(Clip3(0,4,(x/nCbR-y)+2))(8-844)
:(Clip3(0,4,(x-y/nCbR)+2))
–否则,(如果cIdx大于0且triangleDir等于1),则以下适用:
wIdx=(nCbW>nCbH)?(Clip3(0,4,(nCbH-1-x/nCbR-y)+2))(8-845)
(Clip3(0,4,(nCbW-1-x-y/nCbR)+2))
–指定预测样点的权重的变量wValue使用wIdx和cIdx导出如下:
wValue=(cIdx==0)?Clip3(0,8,wIdx):Clip3(0,8,wIdx*2)(8-846)
–预测样点值导出如下:
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesLA[x][y]*wValue+(8-847)
predSamplesLB[x][y]*(8-wValue)+offset1)>>shift1)
2.3.4.3.三角合并模式的运动矢量存储过程
当用等于1的MergeTriangleFlag[xCb][yCb]解码编解码单元时调用此过程。
此过程的输入是:
–亮度位置(xCb,yCb),指定当前编解码块相对于当前图片的左上亮度样点的左上样点。
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量triangleDir,指定分割方向,
–以1/16分数样点精度的亮度运动矢量mvA和mvB,
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
指定水平和垂直方向上当前编解码块中4x4块的数目的变量numSbX和numSbY设置为等于numSbX=cbWidth>>2和numSbY=cbHeight>>2。
变量minSb设置为等于Min(numSbX,numSbY)-1。
变量cbRatio导出如下:
cbRatio=(cbWidth>cbHeight)?(cbWidth/cbHeight):(cbHeight/cbWidth)(8-848)
对于以子块索引(xSbIdx,ySbIdx)处的每个4x4子块,其中xSbIdx=0..numSbX-1和ySbIdx=0..numSbY-1,以下适用:
–变量xIdx和yIdx导出如下:
xIdx=(cbWidth>cbHeight)?(xSbIdx/cbRatio):xSbIdx(8-849)
yIdx=(cbWidth>cbHeight)?ySbIdx:(ySbIdx/cbRatio)(8-850)
–变量sType导出如下:
–如果triangleDir等于0,则以下适用:
sType=(xIdx==yIdx)?2:((xIdx>yIdx)?0:1)(8-851)
–否则(triangleDir等于1),则以下适用:
sType=(xIdx+yIdx==minSb)?2:((xIdx+yIdx<minSb)?0:1)(8-852)
–取决于sType的值,做出以下分配:
–如果sType等于0,则以下适用:
predFlagL0=(predListFlagA==0)?1:0(8-853)
predFlagL1=(predListFlagA==0)?0:1(8-854)
refIdxL0=(predListFlagA==0)?refIdxA:-1(8-855)
refIdxL1=(predListFlagA==0)?-1:refIdxA(8-856)
mvL0[0]=(predListFlagA==0)?mvA[0]:0(8-857)
mvL0[1]=(predListFlagA==0)?mvA[1]:0(8-858)
mvL1[0]=(predListFlagA==0)?0:mvA[0](8-859)
mvL1[1]=(predListFlagA==0)?0:mvA[1](8-860)
–否则,如果sType等于1或(sType等于2并且predListFlagA+predListFlagB不等于1),则以下适用:
predFlagL0=(predListFlagB==0)?1:0(8-861)
predFlagL1=(predListFlagB==0)?0:1(8-862)
refIdxL0=(predListFlagB==0)?refIdxB:-1(8-863)
refIdxL1=(predListFlagB==0)?-1:refIdxB(8-864)
mvL0[0]=(predListFlagB==0)?mvB[0]:0(8-865)
mvL0[1]=(predListFlagB==0)?mvB[1]:0(8-866)
mvL1[0]=(predListFlagB==0)?0:mvB[0](8-867)
mvL1[1]=(predListFlagB==0)?0:mvB[1](8-868)
–否则(sType等于2并且predListFlagA+predListFlagB等于1),则以下适用:
predFlagL0=1(8-869)
predFlagL1=1(8-870)
refIdxL0=(predListFlagA==0)?refIdxA:refIdxB(8-871)
refIdxL1=(predListFlagA==0)?refIdxB:refIdxA(8-872)
mvL0[0]=(predListFlagA==0)?mvA[0]:mvB[0](8-873)
mvL0[1]=(predListFlagA==0)?mvA[1]:mvB[1](8-874)
mvL1[0]=(predListFlagA==0)?mvB[0]:mvA[0](8-875)
mvL1[1]=(predListFlagA==0)?mvB[1]:mvA[1](8-876)
–对于x=0..3和y=0..3,做出以下分配:
MvL0[(xSbIdx<<2)+x][(ySbIdx<<2)+y]=mvL0 (8-877)
MvL1[(xSbIdx<<2)+x][(ySbIdx<<2)+y]=mvL1 (8-878)
RefIdxL0[(xSbIdx<<2)+x][(ySbIdx<<2)+y]=refIIdxL0 (8-879)
RedIdxL1[(xSbIdx<<2)+x][(ySbIdx<<2)+y]=refIdxL1 (8-880)
PredFlagL0[(xSbIdx<<2)+x][(ySbIdx<<2)+V]=predFlagL0 (8-881)
PredFlagL1[(xSbIdx<<2)+x][(ySbIdx<<2)+V]=predFlagL1 (8-882)
2.4.几何合并模式(GEO)
JVET-P0068中,GEO的合并模式正在作为VVC中现有TPM的扩展。GEO使用与TPM相同的预测混合概念,但是使混合掩码扩展多达140个不同模式,其中32个角度和5个距离偏移。使用三个查找表从样点位置的距离和划分边界中导出GEO模式的混合掩码。在该模式下,使用角度分割来分割块,使得至少一个分割具有非水平和非垂直边界。
2.4.1.概念描述
图13A和13B图示VTM-6.0中的TPM以及为非矩形帧间块提出的附加形状。
与提出的TPM类似,帧间的GEO分割被允许用于不小于8×8的单向预测块,以便在解码器侧具有与双预测块相同的存储器带宽。GEO分割的运动矢量预测与TPM对准。同样在TPM中,2个预测之间的混合应用在内部边界上。
几何合并模式的划分边界由角度和距离偏移ρi描述,如图14所示。角度/>表示位于0与360度之间的量化角度,并且距离偏移ρi表示最大距离的量化偏移ρmax。此外,与二叉树划分和TPM划分重叠的划分方向被排除。
2.4.2.角度和距离量化。
以固定步长在0与360度之间量化角度
CE4-1.1、具有108个模式的CE4-1.2a以及CE4-1.14中,以步长11.25度从0到360度量化角度如图15a所示总共32个角度。
虽然在具有80个模式的CE4-1.2b中,仍然以11.25度量化角度但是近垂直方向角(近水平划分边界)被移除,因为在自然值中,目标和运动大多数是水平的。图15b图示了减少至24个角度的方案。
以固定步长从最大可能距离ρmax量化距离ρi。ρmax的值几何上可以由等式(1)导出,其中w或h等于8并以log2缩放的短边长进行缩放。对于等于0度的情况,ρmax等于w/2,并且对于/>等于90度的情况,ρmax等于h/2。返回移位的“1.0”样点是为了避免划分边缘太靠近角部。
CE4-1.1和CE4-1.14中,以5个步长量化距离ρi,考虑到32个角度总共有140个划分模式,排除二叉树和TPM划分。
具有108个模式的CE4-1.2a中,以4个步长量化距离ρi,考虑到32个角度总共有108个划分模式,排除二叉树和TPM划分。
具有80个模式的CE4-1.2b中,以4个步长量化距离ρi,考虑到24个角度总共有80个划分模式,排除二叉树和TPM划分。
表1中总结CE测试的角度、距离和模式的数目。
表1角度的数目、距离的数目、划分模式的数目
CE4-1.1 CE4-1.2a CE4-1.2b
角度的数目 32 32 24
距离的数目 5 4 4
划分模式的数目 140 108 80
2.4.3.亮度块的混合操作
与TPM模式相同的几何合并模式中,具有3比特混合掩码W0和W1的最终预测符PB如等式(2)
PB=(W0P0+W1P1+4)>>3 (2)
以等式(3)、(4)和(5)使用查找表从样点位置的距离和划分边界导出几何合并模式的混合掩码
distFromLine=((x<<1)+1)*Dis[displacementX]+((y<<1)+1))*Dis[displacementY]-rho (3)
distScaled=Clip3(0,26,(abs(distFromLine)+4)>>3) (4)
sampleWeightL[x][y]=distFromLine<=0?GeoFilter[distScaled]:8-GeoFilter[distScaled] (5)
其中涉及三个查找表:具有32个条目的Dis[.]、具有36个条目的StepDis[.]和具有26个条目的GeoFilter[.]。
保证当前块的左下样点从P0预测。换言之,当左下样点的distFromLine为负时,W0等于sampleWeightL[x][y],并且W1等于8-W0。否则(左下样点的distFromLine为正数),W1等于sampleWeightL[x][y],并且W0等于8-W1
几何混合掩码导出的实际计算复杂度是来自等式(3),因为所有剩余操作是使用查找表。
VTM软件实施方式中,等式(3)需要每样点一次加法和每样点行一次加法,例如在8x8CU中,每样点需要1.125次加法和0.015625次乘法;
为了并行处理每个4x4单元,例如在8x8CU中,每样点需要1.125次加法和0.00625次乘法;
为了并行处理每个行(例如8x8CU),每样点需要1次加法和0.125次乘法;
为了并行处理CU中的所有样点,对于每个样点需要2次乘法和1次加法。
表2中总结每样点计算复杂度的最差情况(8x8):
表2最差情况复杂度分析
关于混合操作的更多细节,请参考所附草案规范修改文档章节“8.5.7.3几何合并模式的加权样点预测模式”。
2.4.4.色度块的混合操作
为亮度样点计算的样点权重被子采样并且用于色度混合而无需任何计算。位于坐标(x,y)处的色度样点权重设置为等于关于亮度块的左上样点的位于坐标(2x,2y)处的亮度样点权重。
2.4.5.运动矢量导出
用于TPM的相同合并列表导出过程用于导出GEO块的每个分割的运动矢量。仅由单向预测预测每个分割。
2.4.6.运动矢量存储
CE4-1.1和CE4-1.2中,将4x4运动存储单元的四个角部处的亮度样点权重加和。然后将和与2个阈值进行比较,以确定是两个单向预测运动信息中的一个还是双向预测运动信息被存储。使用与TPM相同的过程导出双向预测运动信息。
CE4-1.14中,运动矢量存储过程被进一步简化。计算出4x4运动存储单元的中间位置与划分边界之间的距离并且将其与固定的阈值进行比较以确定对该4x4运动存储单元储存单向预测运动信息还是双向预测运动信息。距离的符号指示在单向预测存储情况下应存储哪个单向预测运动信息。CE4-1.14中,移除了混合掩码与运动存储的相关性。
2.4.7.模式信令通知
根据提出的方法,GEO模式作为附加合并模式与TPM模式一起被信令通知。
表3由提案引入的语法元素
以4CABAC上下文模型信令通知merge_geo_flag[][],前三个取决于上方和左侧邻接块导出,第四个取决于当前块的纵横比导出。merge_geo_flag[][]指示当前块是使用GEO模式还是使用TPM模式,其类似于“最可能模式”标志。
geo_partition_idx[][]用作存储角度和距离ρi对的查找表的索引。geo_partition_idx编解码截断二进制数并且使用旁路二值化。
3.由本文所描述的技术方案所解决的技术问题的示例
在最新VVC工作草案WD6(JVET-O2001-v14)中存在若干问题,其描述如下:
(1)WD6中,对于两个三角分割的混合过程,色度权重不与亮度权重对准,如图8所示,这可能引起视觉伪影。
(2)WD6中,三角预测的权重的设置不考虑诸如4:2:2和4:4:4的多个色度格式,如图8所示。
(3)WD6中,色度仅允许偶数权重,与亮度不一致,因为对于亮度分量允许偶整数和奇整数二者,如图8所示。
(4)WD6中,允许TPM用于4xN和Nx4块,其中需要所有像素执行加权混合,其可能是不合期望的。
(5)WD6中,允许TPM用于宽度与高度比大于2的块,这可能是不合期望的。
(6)分别以对混合权重掩码和运动存储掩码的独立信令通知和独立计算而应用GEO和TPM。
图8示出了8x16TPM块(WD6)的混合过程中使用的权重的示例。
4.实施例和技术的示例
下面列出的项目应理解为解释一般概念的示例。这些条目不应以狭义方式理解。此外,这些项目可以以任意方式进行组合。
术语‘TPM’可以表示将一个块划分成两个或更多个子区域的编解码方法,并且转换被应用到整个块。术语‘TPM’可以指示三角预测模式和/或作为三角预测模式的扩展的几何合并模式。
TPM混合过程中的加权样点
1.TPM色度预测样点的权重可以与共位亮度预测样点的权重对准。
a)在一个示例中,TPM编解码色度块的权重(例如,Cb块和/或Cr块)可以根据共位亮度块的权重设置。
b)在一个示例中,TPM编解码色度块的权重可以是共位亮度块的权重的子集。
c)在一个示例中,对于块内的每个位置,具有维度M×N的色度块可以分配有与具有维度M×N的亮度块相同的权重。
2.TPM色度预测样点的权重可以取决于共位亮度块宽度和高度、和/或色彩形式,包括色度子采样比率。
a)在一个示例中,对于4:4:4色度格式,对块内每个位置,TPM色度预测样点的权重可以与共位亮度预测样点的权重相同。
b)在一个示例中,对于4:2:0和4:2:2色度格式,可以从TPM亮度预测样点的权重中子采样TPM色度预测样点的权重。
i.对于W×H TPM预测块,其中W作为块宽度和H作为块高度,subWidthC和subHeightC分别表示宽度方向和高度方向上的色度子采样比率。假设亮度预测块的权重表示为二维阵列WeightY[x][y],其中x=0…(W-1)、y=0…(H-1),则共位色度预测块的权重WeightC[x][y],其中x=0…(W/subWidthC-1)、y=0…(H/subHeightC-1)可以由WeightY[f(x)][g(y)]计算。
1)在一个示例中,f(x)=x*subWidthC+offsetX,g(y)=y*subHeightC+OffsetY,例如OffsetX=OffsetY=0。
ii.假设WxH TPM亮度块中的位置(x,y)的权重由w(x,y)计算出,例如w(x,y)=a*x+b*y+c,其中x=0…W-1和y=0…H-1是亮度样点的坐标,并且a、b、c是取决于W和/或H的整数。在一个示例中,共位TPM色度块中的位置(x’,y’)的权重可以计算为w(f(x’),g(y’)),例如w(f(x’),g(y’))=a*(subWidthC*x’)+b*(subHeightC*y’)+c,其中x’=0…W/subWidthC-1和y’=0…H/subHeightC-1是色度样点的坐标。
c)在一个示例中,TPM中使用的权重仅可以取决于块的维度(宽度或/和高度)并且对于不同色度分量可以是相同。
i.例如,具有尺寸W*H的色度分量可以使用与具有尺寸W*H的亮度分量相同的权重。
ii.在一个示例中,当对于亮度块尺寸不定义权重时,可以对这样的尺寸的色度块禁用TPM。
d)在一个示例中,TPM中使用的权重可以取决于块的维度(宽度或/和高度)和块的色彩分量。
i.在一个示例中,权重对于不同的色彩分量可以是不同的。
ii.在一个示例中,权重对于两个色度分量可以是相同的。
1)替代地,此外,用于亮度分量和色度分量的权重可以是不同的。
3.TPM预测样点的权重可以等于整数X。
a)在一个示例中,奇整数或偶整数可以分配为TPM色度预测样点的权重X(诸如X=0…8)。
b)TPM亮度/色度预测样点的权重可以被剪切到范围[M,N],诸如M=0、N=8。
c)在一个示例中,TPM权重可以小于零。
4.在一个示例中,TPM/GEO块的混合权重掩码可以预定义为N个表(诸如N>0)。
5.在一个示例中,TPM/GEO块的混合权重掩码可以从计算等式计算。
TPM的一般问题
将块宽度表示为W和块高度表示为H。
6.启用还是禁用TPM可能取决于块宽度与高度的比率,例如max(H,W)/min(H,W)。
a)替代地,启用还是禁用TPM可能取决于块宽度与高度之间的差,例如Abs(Log2(cbWidth)-Log2(cbHeight)),其中Abs(x)返回x的绝对值且Log2(x)返回数字x的以2为底的对数。
b)TPM可能不被允许用于宽度对高度的比率或高度对宽度的比率大于X(例如,X=2)的块。
i.在一个示例中,对于W×H预测块,如果W/H>2,则可能禁用TPM。
ii.在一个示例中,对于W×H预测块,如果H/W>2,则可能禁用TPM。
7.是否允许TPM可能取决于最大变换尺寸。
a)在一个示例中,TPM可能不被允许用于具有宽度或/和高度大于最大变换尺寸的块。
8.是否允许TPM可能取决于最大CU尺寸。
a)在一个示例中,TPM可能不被允许用于宽度或/和高度等于最大CU尺寸的块。
9.TPM可能不被允许用于块宽度大于N或/和块高度大于M的块。
a)在一个示例中,N=M=64。
10.TPM可能不被允许用于块宽度等于N或/和块高度等于M的块。
a)在一个示例中,N=M=4。
11.TPM可能不被允许用于某色度格式。
a)在一个示例中,TPM可能不被允许用于4:0:0色度格式。
b)在一个示例中,TPM可能不被允许用于4:4:4色度格式。
c)在一个示例中,TPM可能不被允许用于4:2:2色度格式。
12.如果TPM中使用的两个参考图片的分辨率不同,则TPM可能不被允许。
a)替代地,如果TPM中使用的两个参考图片中的一个参考图片的分辨率不同于当前图片的分辨率,则TPM可能不被允许。
13.当TPM被禁用或不被允许时,可能不信令通知TPM语法元素(诸如merge_triangle_split_dir、merge_triangle_idx0、和merge_triangle_idx1)。
a)当不信令通知语法元素时,它可能被推断为0。
b)当TPM被禁用或不被允许时,TPM有关的语义变量(诸如MergeTriangleFlag)可能被推断为0。
14.上述项目符号可能应用到三角预测模式(TPM)和/或几何合并模式(GEO)。换言之,TPM可能是指GEO。
TPM和GEO的统一
15.TPM和GEO可以统一。
a)在一个示例中,TPM可以视为GEO的子集。
i.替代地,GEO可以视为TPM的子集。
ii.例如,如果编解码工具A(或等同的“模式A”或简称“A”)(诸如TPM)被视为编解码工具B的子集(或等同的“模式B”或简称“B”)(诸如GEO),则可以应用以下公开的方法。
1)A和B可以作为一个模式被信令通知。
a)在一个示例中,模式A和模式B可以在SPS/VPS/APS/PPS/条带/子图片/片/砖/VPDU/CTU/TU/CU/PU/图片头/条带头级来共享(多个)相同控制标志。
b)在一个示例中,可以信令通知模式A作为B的子集。
i.例如,B定义为含有表示为{M0,M1,M2…,MN-1}的N个(诸如N>1)子模式的预测模式,并且A可以定义为含有表示为{M0,Mk0,Mk1…,MkX-1}的X个子模式(诸如X<N)的预测模式,其中{M0,Mk0,Mk1…,MkX-1}是{M0,M1,M2…,MN-1}的子集。
ii.在一个示例中,信令通知第一语法元素以指示是否应用模式B。指示是否应用模式A的第二语法元素取决于是否应用模式B而被信令通知。
1.在一个示例中,仅当应用模式B时,才信令通知第二语法元素。
2)A和B可以共享至少一个计算逻辑以生成混合权重掩码。
a)在一个示例中,A和B的混合权重掩码可以从同一查找表中导出。
3)A和B可以共享至少一个计算逻辑以生成运动存储掩码。
a)在一个示例中,A和B的运动存储掩码可以从同一查找表中导出。
b)在一个示例中,至少一个计算逻辑可以用于计算TPM模式和GEO模式二者的混合权重。
i.在一个示例中,TPM的计算逻辑可以用于GEO。
1)替代地,GEO的计算逻辑可以用于TPM。
c)在一个示例中,至少一个计算逻辑可以用于计算TPM模式和GEO模式二者的运动存储掩码。
i.在一个示例中,TPM的计算逻辑可以用于GEO。
1)替代地,GEO的计算逻辑可以用于TPM。
TPM/GEO的运动存储掩码生成
16.可以以与GEO相同的方法生成TPM的运动矢量存储掩码。
a)替代地,可以以与TPM相同的方法生成GEO的运动矢量存储掩码。
b)在一个示例中,可以生成和/或存储指示块宽度和块高度的特定组合的帧间预测方向(诸如单向预测或双向预测)的运动矢量存储掩码。
i.在一个示例中,可以仅为块宽度和块高度的可允许组合生成运动矢量存储掩码。
c)在一个示例中,运动矢量存储掩码的每个元素指示:两个子分割之间的哪个运动矢量被存储;和/或为4x4子块存储多少运动矢量(诸如一个运动矢量或两个运动矢量)和/或帧间预测方向(诸如单向预测或双向预测)。
d)在一个示例中,TPM/GEO块的运动矢量存储掩码可以预定义为N个表(诸如N>0)。
e)在一个示例中,TPM/GEO块的运动矢量存储掩码可以从计算等式计算。
17.TPM/GEO的运动矢量可以存储在4x4的单元中。
a)在一个示例中,TPM/GEO的两个子分割的每一个具有用于运动补偿的其自身运动矢量,但是为空域/时域运动矢量候选存储的运动矢量是在4x4的单元中。
i.在一个示例中,TPM/GEO的个4x4子块可以具有在缓冲器中存储的不同运动矢量。
18.对于属于TPM/GEO的混合区域的子块,可以存储L0运动矢量和L1运动矢量二者。
a)在一个示例中,混合区域可以指示由两个子分割二者重叠的区域。
b)在一个示例中,对于TPM/GEO块的混合区域外部的那些4x4子块,可以存储子分割的单向预测(诸如L0或L1)运动矢量。
c)在一个示例中,对于属于TPM/GEO块的混合区域的那些4x4子块,可以存储子分割二者的双向预测运动矢量。
d)在一个示例中,对于属于TPM/GEO块的混合区域的那些4x4子块,如果子分割二者具有来自相同方向的运动矢量,则可以存储两个运动矢量之间的最小/最大/平均/加权运动矢量。
TPM和GEO的去方块
19.编解码块上是否应用和/或如何应用去方块过程可以取决于编解码块是以TPM模式还是GEO模式编解码的。
a)在一个示例中,在去方块滤波阶段中可以滤波两个不同分割中的两个子块之间的边界。
i.在一个示例中,在该情况下边界强度(BS)等于1。
ii.在一个示例中,在该情况下边界强度(BS)等于2。
20.对于在TPM编解码/GEO编解码块中的两个子块之间的边界,可以触发去方块。
a)在一个示例中,如果TPM/GEO模式的内部TU边缘旁边的两个子块中的一个具有非零系数,则可以触发去方块,无论在两个子块之间是否存在运动差。
b)可以在子块二者中存在非零系数。
i.在一个示例中,如果TPM/GEO模式的内部TU边缘旁边的两个子块具有全部零系数,但是两个子块的运动差足够大,则仍可以触发去方块。
ii.替代地,如果TPM/GEO模式的内部TU边缘旁边的两个子块具有全部零系数,但是两个子块的运动差足够大,则可以不触发去方块。
c)是否触发对于以TPM/GEO模式编解码的两个子块的边缘去方块可以取决于该边缘是两个子块的TU边缘还是MV边缘。
i.如果运动差对于TPM/GEO模式的MV边缘足够大,则可以触发去方块。
ii.如果在TPM/GEO模式的TU边缘旁边的子块中存在非零系数,则可以触发去方块。
iii.当滤波边缘是TU边缘或MV边缘时,如果满足以下条件中任一项则可以触发去方块:
1)如果运动差足够大。
2)在旁边的两个子块中任一个中存在非零系数。
d)上方提及的“TU边缘”指示实际变换单元边缘,并且上方提及的“MV边缘”指示PU边缘或与滤波栅格对准的子块边缘。
e)上方提及的“运动差”可以指示以下情况。
i.两个子块的运动矢量差大于T(诸如,T=1像素或1/2像素,或以1/16个亮度样点的单位为8)
ii.不同参考帧索引
iii.不同参考POC
iv.不同数目的参考帧
关于可配置的CTU尺寸和最大变换尺寸
21.是否应用ISP可以不取决于最大变换尺寸和/或最小变换尺寸。
a)在一个示例中,ISP标志(诸如intra_subpartitions_mode_flag)的信令通知可以不取决于当前块的宽度是小于还是等于最大变换尺寸,和/或可以不取决于当前块的高度是小于还是等于最大变换尺寸。
b)在一个示例中,ISP标志(诸如intra_subpartitions_mode_flag)的信令通知可以不取决于当前块的高度乘以宽度是否大于最小变换尺寸的平方。
c)在一个示例中,ISP标志(诸如intra_subpartitions_mode_flag)的信令通知可以取决于当前块的高度乘以宽度是否大于16。
d)在一个示例中,ISP标志(诸如intra_subpartitions_mode_flag)的信令通知可以取决于当前块的宽度是小于还是等于64,和/或取决于当前块的高度是小于还是等于64。
22.当编解码块的维度大于最大变换尺寸时,可以应用ISP。
a)在一个示例中,当ISP编解码块大于最大变换尺寸时,可以以递归方式隐式划分ISP块直到子分割达到尺寸64。
b)在一个示例中,当ISP编解码块大于最大变换尺寸时,可以以递归方式隐式划分ISP块直到子分割达到尺寸最大变换的尺寸。
23.当编解码块的维度大于或等于128时,可以应用CIIP和/或TPM和/或GEO。
a)在一个示例中,最大CTU尺寸可以设置为大于128。
b)在一个示例中,CIIP可以用于具有块尺寸大于或等于128的块。
c)在一个示例中,TPM和/或GEO可以应用于具有块尺寸大于128的块。
24.当编解码块的维度大于128时,可以信令通知合并数据。
a)在一个示例中,合并标志(诸如regular_merge_flag、mmvd_merge_flag、mmvd_cand_flag、mmvd_distance_idx、mmvd_direction_idx、merge_idx、ciip_flag、merge_triangle_split_dir、merge_triangle_idx0、merge_triangle_idx1)可以取决于编解码块的维度是否小于最大CTU尺寸。
25.如果块宽度和/或块高度等于或大于X(诸如X=64或128),pred_mode_ibc_flag的值可以被推断为0。
a)在一个示例中,如果块宽度和块高度大于64,pred_mode_ibc_flag的值可以被推断为0。
b)在一个示例中,如果块宽度和/或块高度大于64,pred_mode_ibc_flag的值可以被推断为0。
26.当编解码块的维度大于128时,可以信令通知cu_skip_flag和/或pred_mode_flag。
一般去方块
27.β和tC的图片级去方块参数偏移对于每个分量可以是不同的。
a)在一个示例中,亮度的图片级去方块参数偏移Cb和Cr可以不同并且由不同语法元素指示。
b)替代地,此外,joint_cb_cr编解码模式的图片级去方块参数偏移可以不同并且由不同语法元素指示。
28.β和tC的条带级去方块参数偏移对于每个分量可以是不同的。
a)在一个示例中,亮度的条带级去方块参数偏移Cb和Cr可以不同并且由不同语法元素指示。
b)替代地,此外,joint_cb_cr编解码模式的图片级去方块参数偏移可以不同并且由不同语法元素指示。
29.用于导出色度去方块参数的色度QP可以基于图片级色度QP偏移和CU级色度QP偏移,但是与条带级色度QP偏移无关。
a)在一个示例中,用于导出色度去方块参数的色度QP可以取决于pps_cb_qp_offset、pps_cr_qp_offset、pps_cbcr_qp_offset、CuQpOffsetCb、CuQpOffsetCr和CuQpOffsetCbCr,但是与slice_cb_qp_offset、slice_cr_qp_offset和slice_cbcr_qp_offset无关。
5.实施例
以下是示例实施例,其可以应用于VVC规范。修改是基于最新VVC工作草案(JVET-O2001-v14)。新添加的部分以加粗斜体突出显示,并且从VCC工作草案中删除部分用双括号(例如,[[a]]表示删除字符“a”)标记。
实施例#1,关于TPM亮度和色度权重说明
TPM色度权重根据块宽度、块高度和色度子采样比率与亮度权重对准。图9示出了8x16TPM预测块的示例权重设置。
5.1.实施例#2,关于TPM色度权重与TPM亮度权重对准
8.5.7三角帧间块的解码过程
8.5.7.1总体
当用等于1的MergeTriangleFlag[xCb][yCb]解码编解码单元时调用此过程。
此过程的输入是:
–亮度位置(xCb,yCb)指定当前编解码块相对于当前图片的左上亮度样点的左上样点。
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–以1/16分数样点精度的亮度运动矢量mvA和mvB,
–色度运动矢量mvCA和mvCB。
–参考索引refIdxA和refIdxB,
–预测列表标志predListFlagA和predListFlagB。
此过程的输出是:
–亮度预测样点的(cbWidth)x(cbHeight)阵列predSamplesL
–分量Cb的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCb
–分量Cr的色度预测样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列predSamplesCr
令predSamplesLAL和predSamplesLBL为预测的亮度样点值的(cbWidth)x(cbHeight)阵列,并且predSamplesLBCb、predSamplesLACr和predSamplesLBCr为预测的色度样点值的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)阵列。
predSamplesL、predSamplesCb和predSamplesCr由以下顺序的步骤导出:
1.对于N为A和B中的每一个,以下适用:
–使用以下通过调用VVC WD6中条款8.5.6.2中指定的过程来导出由亮度样点的有序二维阵列refPicLNL和色度样点的两个有序二维阵列refPicLNCb和refPicLNCr构成的参考图片:设置为等于predListFlagN的X和设置为等于refIdxN的refIdxX作为输入。
–阵列predSamplesLNL是使用以下通过调用条款8.5.6.3中指定的分数样点插值过程导出的:亮度位置(xCb,yCb)、设置为等于cbWidth的亮度编解码块宽度sbWidth、设置为等于cbHeight的亮度编解码块高度sbHeight、设置为等于(0,0)的运动矢量偏移mvOffset,设置为等于mvN的运动矢量mvLX以及设置为等于refPicLNL的参考阵列refPicLXL、设置为等于FALSE的变量bdofFlag、以及设置为等于0的变量cIdx作为输入。
–阵列predSamplesLNCb是使用以下通过调用条款8.5.6.3中指定的分数样点插值过程导出的:亮度位置(xCb,yCb)、设置为等于cbWidth/SubWidthC的编解码块宽度sbWidth、设置为等于cbHeight/SubHeightC的编解码块高度sbHeight、设置为等于(0,0)的运动矢量偏移mvOffset,设置为等于mvCN的运动矢量mvLX以及设置为等于refPicLNCb的参考阵列refPicLXCb、设置为等于FALSE的变量bdofFlag、以及设置为等于1变量cIdx作为输入。
–阵列predSamplesLNCr是使用以下通过调用条款8.5.6.3中指定的分数样点插值过程导出的:亮度位置(xCb,yCb)、设置为等于cbWidth/SubWidthC的编解码块宽度sbWidth、设置为等于cbHeight/SubHeightC的编解码块高度sbHeight、设置为等于(0,0)的运动矢量偏移mvOffset,设置为等于mvCN的运动矢量mvLX以及设置为等于refPicLNCr的参考阵列refPicLXCr、设置为等于FALSE的变量bdofFlag、以及设置为等于2变量cIdx作为输入。
2.合并三角模式的分割方向变量triangleDir设置为等于merge_triangle_split_dir[xCb][yCb]。
3.当前亮度编解码块内的预测样点predSamplesL[xL][yL],其中xL=0..cbWidth-1和yL=0..cbHeight-1,是使用以下通过调用条款8.5.7.2中指定的三角合并模式的加权样点预测过程导出的:设置为等于cbWidth的编解码块宽度nCbW、设置为等于cbHeight的编解码块高度nCbH、样点阵列predSamplesLAL和predSamplesLBL、以及变量triangleDir和等于0的cIdx作为输入。
4.当前色度分量Cb编解码块内的预测样点predSamplesCb[xC][yC],其中xC=0..cbWidth/SubWidthC-1和yC=0..cbHeight/SubHeightC-1,是使用以下通过调用条款8.5.7.2中指定的三角合并模式的加权样点预测过程导出的:设置为等于cbWidth[[/SubWidthC]]的编解码块宽度nCbW、设置为等于cbHeight[[/SubHeightC]]的/>编解码块高度nCbH、样点阵列predSamplesLACb和predSamplesLBCb、以及变量triangleDir和等于1的cIdx作为输入。
5.当前色度分量Cr编解码块内的预测样点predSamplesCr[xC][yC],其中xC=0..cbWidth/SubWidthC-1和yC=0..cbHeight/SubHeightC-1,是使用以下通过调用条款8.5.7.2中指定的三角合并模式的加权样点预测过程导出的:设置为等于cbWidth[[/SubWidthC]]的编解码块宽度nCbW、设置为等于cbHeight[[/SubHeightC]]的/>编解码块高度nCbH、样点阵列predSamplesLACr和predSamplesLBCr、以及变量triangleDir和等于2的cIdx作为输入。
6.使用以下调用以条款8.5.7.3中指定的合并三角模式的运动矢量存储过程:亮度编解码块(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、分割方向triangleDir、亮度运动矢量mvA和mvB、参考索引refIdxA和refIdxB、和预测列表标志predListFlagA和predListFlagB作为输入。
8.5.7.2三角合并模式的加权样点预测过程
此过程的输入是:
–两个变量nCbW和nCbH,指定当前亮度编解码块的宽度和高度。
–两个(nCbW/)x(nCbH//>)阵列predSamplesLA和predSamplesLB,
–变量triangleDir,指定分割方向,
–变量cIdx,指定色彩分量索引。
此过程的输出是预测样点值的(nCbW/)x(nCbH//>)阵列pbSamples。
变量nCbR导出如下:
nCbR=(nCbW>nCbH)?(nCbW/nCbH):(nCbH/nCbW)
变量bitDepth导出如下:
-如果cIdx等于0,则bitDepth设置为等于BitDepthY
-否则,bitDepth设置为等于BitDepthC
变量shift1和offset1导出如下:
-变量shift1设置为等于Max(5,17-bitDepth)。
-变量offset1设置为等于1<<(shift1-1)。
取决于triangleDir[[,wS和cIdx]]的数值,预测样点pbSamples[x][y],其中和/>导出如下:
–指定预测样点的权重的变量[[wIdx]]wValue使用wIdx和cIdx导出如下:
–如果[[cIdx等于0且]]triangleDir等于0,则以下适用:
–否则[[,如果cIdx等于0且]](triangleDir等于1),则以下适用:
–[[否则,如果cIdx大于0且triangleDir等于0,则以下适用:
–否则,(如果cIdx大于0且triangleDir等于1),则以下适用:
–指定预测样点的权重的变量wValue使用wIdx和cIdx导出如下:
wValue=(cIdx==0)?Clip3(0,8,wIdx):Clip3(0,8,wIdx*2) (8-846)]]
–预测样点值导出如下:
5.2.实施例#3,关于对块宽度高度比率调节的TPM
7.3.8.7合并数据语法
/>
/>
7.4.9.7合并数据语义
变量MergeTriangleFlag[x0][y0](其指定当解码B条带时,基于三角形的运动补偿是否用于生成当前编解码单元的预测样点)导出如下:
–如果以下所有条件为真,则将MergeTriangleFlag[x0][y0]设置为等于1:
–sps_triangle_enabled_flag等于1。
–slice_type等于B。
–general_merge_flag[x0][y0]等于1。
–MaxNumTriangleMergeCand大于或等于2。
–cbWidth*cbHeight大于或等于64。
–regular_merge_flag[x0][y0]等于0。
–merge_subblock_flag[x0][y0]等于0。
–ciip_flag[x0][y0]等于0。
–否则,将MergeTriangleFlag[x0][y0]设置为等于0。
5.3.实施例#4,关于对块宽度<128和高度<128调节的TPM
7.3.8.7合并数据语法
/>
/>
7.4.9.7合并数据语义
变量MergeTriangleFlag[x0][y0](其指定当解码B条带时,基于三角形的运动补偿是否用于生成当前编解码单元的预测样点)导出如下:
–如果以下所有条件为真,则将MergeTriangleFlag[x0][y0]设置为等于1:
–sps_triangle_enabled_flag等于1。
–slice_type等于B。
–general_merge_flag[x0][y0]等于1。
–MaxNumTriangleMergeCand大于或等于2。
–cbWidth*cbHeight大于或等于64。
–regular_merge_flag[x0][y0]等于0。
–merge_subblock_flag[x0][y0]等于0。
–ciip_flag[x0][y0]等于0。
–否则,将MergeTriangleFlag[x0][y0]设置为等于0。
5.4.关于与块宽度>4和高度>4调节的TPM
7.3.8.7合并数据语法
/>
7.4.9.7合并数据语义
变量MergeTriangleFlag[x0][y0](其指定当解码B条带时,基于三角形的运动补偿是否用于生成当前编解码单元的预测样点)导出如下:
–如果以下所有条件为真,则将MergeTriangleFlag[x0][y0]设置为等于1:
–sps_triangle_enabled_flag等于1。
–slice_type等于B。
–general_merge_flag[x0][y0]等于1。
–MaxNumTriangleMergeCand大于或等于2。
–cbWidth*cbHeight大于或等于64。
–regular_merge_flag[x0][y0]等于0。
–merge_subblock_flag[x0][y0]等于0。
–ciip_flag[x0][y0]等于0。
–否则,将MergeTriangleFlag[x0][y0]设置为等于0。
5.5.实施例#6,关于与最小变换尺寸和最大变换尺寸无关的ISP信令通知
7.3.8.5编解码单元语法
5.6.实施例#7,关于对大于最大变换尺寸的块应用的ISP
7.3.8.6编解码单元语法
5.7.实施例#8,关于对大于16个像素的块尺寸应用的ISP
7.3.8.7编解码单元语法
/>
5.8.MV取整的示例
工作草案的改变
JVET-O2001-v14中指定的工作草案改变如下。新添加的部分以加粗斜体突出显示。移除部分用双括号标记。
8.5.5.3基于子块的时域合并候选的导出过程
此过程的输入是:
–…
此过程的输出是:
–…
–对于xSbIdx=0..numSbX-1和ySbIdx=0..numSbY-1,运动矢量mvLXSbCol[xSbIdx][ySbIdx]和预测列表利用标志predFlagLXSbCol[xSbIdx][ySbIdx]导出如下:
–指定当前编解码子块的左上样点相对于当前图片的左上亮度样点的亮度位置(xSb,ySb)导出如下:
xSb=xCb+xSbIdx*sbWidth+sbWidth/2
ySb=yCb+ySbIdx*sbHeight+sbHeight/2
–ColPic内部的共位子块的位置(xColSb,yColSb)导出如下。
–以下适用:
yColSb=Clip3(yCtb,
Min(CurPicHeightInSamplesY-1,yCtb+(1<<CtbLog2SizeY)-1),ySb+[[(]]tempMv[1][[>>4)]]) (8-553)
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xColSb=Clip3(xCtb,Min(SubPicRightBoundaryPos,xCtb+(1<<CtbLog2SizeY)+3),xSb+[[(]]tempMv[0][[>>4)]]) (8-554)
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0),则以下适用:
xColSb=Clip3(xCtb,Min(CurPicWidthInSamplesY-1,xCtb+(1<<CtbLog2SizeY)+3),xSb+[[(]]tempMv[0][[>>4)]]) (8-555)
8.5.5.4基于子块的时域合并基础运动数据的导出过程
此过程的输入是:
–...
此过程的输出是:
–...
变量tempMv设置为如下:
tempMv[0]=0 (8-558)
tempMv[1]=0 (8-559)
变量currPic指定当前图片。
如果availableFlagA1等于TURE,则以下适用:
–如果以下条件全部为真,则tempMv设置为等于mvL0A1
–predFlagL0A1等于1,
–DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A1])等于0,
–否则,如果以下条件全部为真,则tempMv设置为等于mvL1A1
–slice_type等于B,
–predFlagL1A1等于1,
–DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A1])等于0。
ColPic内部的共位块的位置(xColCb,yColCb)导出如下。
–应用如下:
yColCb=Clip3(yCtb,Min(CurPicHeightInSamplesY-1,yCtb+(1<<CtbLog2SizeY)-1),yColCtrCb+[[(]]tempMv[1][[>>4)]]) (8-560)
–如果subpic_treated_as_pic_flag[SubPicIdx]等于1,则以下适用:
xColCb=Clip3(xCtb,Min(SubPicRightBoundaryPos,xCtb+(1<<CtbLog2SizeY)+3),xColCtrCb+[[(]]tempMv[0][[>>4)]]) (8-561)
–否则(subpic_treated_as_pic_flag[SubPicIdx]等于0,则以下适用:
xColCb=Clip3(xCtb,Min(CurPicWidthInSamplesY-1,xCtb+(1<<CtbLog2SizeY)+3),xColCtrCb+[[(]]tempMv[0][[>>4)]]) (8-562)
5.9.子TMVP的示例
8.5.5.2子块合并模式中运动矢量和参考索引的导出过程
此过程的输入是:
–当前亮度编解码块的左上样点相对于当前图片的左上样点的亮度样点的亮度位置(xCb,yCb)
–两个变量cbWidth和cbHeight,指定亮度编解码块的宽度和高度。
此过程的输出是:
–水平方向上亮度编解码子块的数目numSbX和垂直方向上亮度编解码子块的数目numSbY,
–参考索引refIdxL0和refIdxL1,
–预测列表利用标志阵列predFlagL0[xSbIdx][ySbIdx]和predFlagL1[xSbIdx][ySbIdx],
–以1/16分数样点精度的亮度子块运动矢量阵列mvL0[xSbIdx][ySbIdx]和mvL1[xSbIdx][ySbIdx],其中xSbIdx=0..numSbX–1,ySbIdx=0..numSbY-1,
–以1/32分数样点精度的色度子块运动矢量阵列mvCL0[xSbIdx][ySbIdx]和mvCL1[xSbIdx][ySbIdx],其中xSbIdx=0..numSbX–1,ySbIdx=0..numSbY-1,
–双向预测权重索引bcwIdx。
变量numSbX、numSbY和子块合并候选列表subblockMergeCandList由以下有序步骤导出:
1.当sps_sbtmvp_enabled_flag等于1,则以下适用:
–对于availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1的导出,以下适用:
–邻接亮度编解码块内部的亮度位置(xNbA1,yNbA1)设置为等于(xCb-1,yCb+cbHeight-1)。
–使用以下调用如条款6.4.4指定的邻接块适用性的导出过程:设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)、邻接亮度位置(xNbA1,yNbA1)、设置为等于TRUE的checkPredModeY、和设置为等于0的cIdx作为输入,并且输出分配给块适用性标志availableA1
–变量availableFlagA1、refIdxLXA1、predFlagLXA1和mvLXA1导出如下:
–如果availableA1等于FALSE,则availableFlagA1设置为等于0,mvLXA1的两个分量设置为等于0,refIdxLXA1设置为等于-1并且predFlagLXA1设置为等于0,其中X为0或1,并且bcwIdxA1设置为等于0。
–否则,availableFlagA1设置为等于1并且做出以下分配:
mvLXA1=MvLX[xNbA1][yNbA1] (8-498)
refIdxLXA1=RefIdxLX[xNbA1][yNbA1] (8-499)
predFlagLXA1=PredFlagLX[xNbA1][yNbA1] (8-500)
–使用以下调用如条款8.5.5.3指定的基于子块的时域合并候选的导出过程:亮度位置(xCb,yCb)、亮度编解码块宽度cbWidth、亮度编解码块高度cbHeight、适用性标志availableFlagA1、参考索引refIdxLXA1、预测列表利用标志predFlagLXA1、和运动矢量mvLXA1作为输出,并且输出是适用性标志availableFlagSbCol、水平方向上亮度编解码块的数目和垂直方向上亮度编解码块的数目/>参考索引refIdxLXSbCol、亮度运动矢量mvLXSbCol[xSbIdx][ySbIdx]和预测列表利用标志predFlagLXSbCol[xSbIdx][ySbIdx],其中/> 且X为0或1。
2.当sps_affine_enabled_flag等于1时,样点位置(xNbA0,yNbA0)、(xNbA1,yNbA1)、(xNbA2,yNbA2)、(xNbB0,yNbB0)、(xNbB1,yNbB1)、(xNbB2,yNbB2)、(xNbB3,yNbB3)、以及变量和/>导出如下:
(xA0,yA0)=(xCb-1,yCb+cbHeight) (8-501)
(xA1,yA1)=(xCb-1,yCb+cbHeight-1) (8-502)
(xA2,yA2)=(xCb-1,yCb) (8-503)
(xB0,yB0)=(xCb+cbWidth,yCb-1) (8-504)
(xB1,yB1)=(xCb+cbWidth-1,yCb-1) (8-505)
(xB2,yB2)=(xCb-1,yCb-1) (8-506)
(xB3,yB3)=(xCb,yCb-1) (8-507)
[[numSbXAff=cbWidth>>2 (8-508)
numSbYAff=cbHeight>>2(8-509)]]
3.当sps_affine_enabled_flag等于1时,变量availableFlagA设置为等于FALSE并且以下适用于从(xNbA0,yNbA0)到(xNbA1,yNbA1)的(xNbAk,yNbAk):
8.当numCurrMergeCand小于MaxNumSubblockMergeCand时,重复以下直到numCurrMergeCand等于MaxNumSubblockMergeCand,其中mvZero[0]和mvZero[1]二者等于0:
–zeroCandm的参考索引、预测列表利用标志和运动矢量,其中m等于(numCurrMergeCand-numOrigMergeCand)导出如下:
refIdxL0ZeroCandm=0 (8-515)
predFlagL0ZeroCandm=1 (8-516)
cpMvL0ZeroCandm[0]=mvZero (8-517)
cpMvL0ZeroCandm[1]=mvZero (8-518)
cpMvL0ZeroCandm[2]=mvZero (8-519)
refIdxL1ZeroCandm=(slice_type==B)?0:-1 (8-520)
predFlagL1ZeroCandm=(slice_type==B)?1:0 (8-521)
cpMvL1ZeroCandm[0]=mvZero (8-522)
cpMvL1ZeroCandm[1]=mvZero (8-523)
cpMvL1ZeroCandm[2]=mvZero (8-524)
motionModelIdcZeroCandm=1 (8-525)
bcwIdxZeroCandm=0 (8-526)
–在subblockMergeCandList的末尾添加候选zeroCandm,其中m等于(numCurrMergeCand-numOrigMergeCand),并且numCurrMergeCand增量1,如下:
subblockMergeCandList[numCurrMergeCand++]=zeroCandm (8-527)
变量refIdxL0、refIdxL1、predFlagL0[xSbIdx][ySbIdx]、predFlagL1[xSbIdx][ySbIdx]、mvL0[xSbIdx][ySbIdx]、mvL1[xSbIdx][ySbIdx]、mvCL0[xSbIdx][ySbIdx]、和mvCL1[xSbIdx][ySbIdx],其中xSbIdx=0..numSbX-1、ySbIdx=0..numSbY-1,导出如下:
–如果subblockMergeCandList[merge_subblock_idx[xCb][yCb]]等于SbCol,则双向预测权重索引bcwIdx设置为等于0,且以下以在X为0或1适用:
refIdxLX=refIdxLXSbCol (8-528)
–对于xSbIdx=0..numSbX-1、ySbIdx=0..numSbY-1,以下适用:
predFlagLX[xSbIdx][ySbIdx]=predFlagLXSbCol[xSbIdx][ySbIdx] (8-529)
mvLX[xSbIdx][ySbIdx][0]=mvLXSbCol[xSbIdx][ySbIdx][0] (8-530)
mvLX[xSbIdx][ySbIdx][1]=mvLXSbCol[xSbIdx][ySbIdx][1] (8-531)
–当predFlagLX[xSbIdx][ySbIdx]等于1时,使用以下调用如条款8.5.2.13中的色度运动矢量的导出过程:mvLX[xSbIdx][ySbIdx]和refIdxLX作为输入,并且输出是mvCLX[xSbIdx][ySbIdx]。
–做出以下分配x=xCb..xCb+cbWidth-1和y=yCb..yCb+cbHeight-1:
MotionModelIdc[x][y]=0(8-532)
–否则(subblockMergeCandList[merge_subblock_idx[xCb][yCb]]不等于SbCol), 以下以在X为0或1适用:
–以N为子块合并候选列表subblockMergeCandList(N=subblockMergeCandList[merge_subblock_idx[xCb][yCb]])中的位于位置merge_subblock_idx[xCb][yCb]的候选,做出以下分配:
图10是可实现的本文中所公开的各种技术的示例视频处理系统1900的框图。各种实现方式可以包括系统1900中的一些或部分组件。系统1900可以包括接收视频内容的输入1902。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收,或者可以以压缩或编码的格式接收。输入1902可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统1900可以包括可以实现本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以减少从输入1902到编解码组件1904的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储或经由所连接的通信来发送,如组件1906所表示的。在输入1902处接收的视频的存储或通信的比特流(或编解码的)表示可以由组件1908使用,以生成被发送到显示接口1910的像素值或可显示视频。从比特流表示中生成用户可见的视频的过程有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但是应当理解,在编码器处使用编解码工具或操作,并且将由解码器执行将编解码结果逆转的对应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行先进技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子装置,诸如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其他装置。
图11是视频处理设备1100的框图。设备1100可以用于实现文中所述的方法中的一个或多个。设备1100可以实施为智能电话、平板计算机、物联网(IoT)接收器等。设备1100可以包括一个或多个处理器1102、一个或多个存储器1104和视频处理硬件1106。(多个)处理器1102可以配置为实现本文档中所述的一个或多个方法。(多个)存储器1104可以用于存储数据和代码,以用于实现本文所描述的的方法和技术。视频处理硬件1106可以用于在硬件电路中实现本文档中所描述的一些技术。在一些实施例中,硬件1106可以至少部分在处理器1102内,例如图形联合处理器。
本公开的技术的一些实施例包括决定或确定启用视频处理工具或模式。在示例中,当启用视频处理工具或模式时,编码器将使用或实现在视频块的处理过程中的工具或模式,但是不一定基于工具或模式的使用来修改得到的比特流。换言之,当基于决定或确定启用视频处理工具或模式时,从视频块到视频的比特流的转换将使用视频处理工具或模式。在另一个示例中,当启用视频处理工具或模式时,解码器将利用已经基于视频处理工具或模式修改比特流的知识来处理比特流。换言之,使用基于决定或确定启用的视频处理工具或模式,将执行从视频的比特流到视频块的转换。
本公开的技术的一些实施例包括决定或确定禁用视频处理工具或模式。在示例中,当禁用视频处理工具或模式时,编码器在视频块到视频的比特流表示的转换中将不会使用的工具或模式。在另一个示例中,当禁用视频处理工具或模式时,解码器将在了解未使用基于决定或确定禁用的视频处理工具或模式修改比特流的情况下处理比特流。
在本文档中,术语“视频处理”可以指代视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到对应比特流表示的转换期间可以应用视频压缩算法,反之亦然。当前视频块的比特流表示或编解码表示例如可以对应于比特流内不同位置中共位或扩展的比特。例如,视频块可以在变换的和编解码的误差残差值方面而且使用报头中的比特和比特流中的其他字段进行编码。
在一些实施例中可以实现以下第一组条款。
以下条款可以与先前章节列出的项目(例如,项目1)中描述的附加技术一起实现。
1.一种视频处理的方法(例如,图12所示的方法1200),包括:为包括亮度块和与亮度块共位的色度块的视频单元与视频单元的编解码表示之间的转换,通过将用于亮度块的转换的色度权重与亮度权重对准来确定(1202)用于色度块使用三角分割模式(TPM)的转换的色度权重;以及基于确定的结果执行(1204)转换。
2.如条款1的方法,其中,色度权重被确定为亮度权重的函数。
3.如条款1-2中任一项的方法,其中,色度权重为亮度权重的子集。
4.如条款1-3中任一项的方法,其中,对于亮度块的与色度块重合的相等尺寸部分,色度权重等于亮度权重。
以下条款可以与先前章节列出的项目(例如,项目2)中描述的附加技术一起实现。
5.一种视频处理的方法,包括:为包括亮度块和与亮度块共位的色度块的视频单元与视频单元的编解码表示之间的转换,基于亮度块的特性或视频单元的特性来确定用于色度块使用三角分割模式(TPM)的转换的色度权重;以及基于确定的结果执行转换。
6.如条款5的方法,其中,亮度块的特性包括亮度块的高度或宽度。
7.如条款5-6中任一项的方法,其中,视频单元的特性包括视频单元的色彩格式或视频单元的色度子采样比率。
8.如条款5-7中任一项的方法,其中,色度权重还取决于色度块的色彩分量标识。
以下条款可以与先前章节列出的项目(例如,项目3)中描述的附加技术一起实现。
9.如条款1-8中任一项的方法,其中,色度权重和/或亮度权重等于整数。
以下条款可以与先前章节列出的项目(例如,项目4)中描述的附加技术一起实现。
10.一种视频处理的方法,包括:为包括亮度块和与亮度块共位的色度块的视频的视频单元与视频单元的编解码表示之间的转换,基于视频单元的特性确定是否为转换使用三角分割模式(TPM);以及基于确定的结果执行转换。
11.如条款10的方法,其中,特性是等于max(H,W)/min(H,W)的维度比率,其中max和min是最大值和最小值函数,并且H和W是视频单元的像素的高度和宽度。
12.如条款10的方法,其中,特性是等于Abs(Log2(cbWidth)-Log2(cbHeight))的维度比率,其中Abs是绝对值函数,cbWidth和cbHeight是包含色度块的像素宽度和像素高度。
13.如条款10的方法,其中,确定的结果是由于维度比率大于2而禁用TPM。
以下条款可以与先前章节列出的项目(例如,项目5)中描述的附加技术一起实现。
14.如条款10的方法,其中,视频单元的特性包括用于视频的转换的最大变换尺寸。
15.如条款14的方法,其中,确定由于视频单元的高度或宽度大于最大变换尺寸而禁用TPM的使用。
以下条款可以与先前章节列出的项目(例如,项目6)中描述的附加技术一起实现。
16.如条款10的方法,其中,视频单元的特性包括用于视频的转换期间的最大编解码单元尺寸。
17.如条款16的方法,其中,确定由于单元的高度或宽度等于最大编解码单元尺寸而禁用TMP的使用。
以下条款可以与先前章节列出的项目(例如,项目7)中描述的附加技术一起实现。
18.如条款10的方法,其中,视频单元的特性包括视频单元的高度或宽度,并且其中,确定由于高度大于N或宽度大于M而禁用TPM的使用。
以下条款可以与先前章节列出的项目(例如,项目8)中描述的附加技术一起实现。
19.如条款10的方法,其中,视频单元的特性包括视频单元的高度或宽度,并且其中,确定由于高度为N或宽度为M而禁用TPM的使用。
以下条款可以与先前章节列出的项目(例如,项目9)中描述的附加技术一起实现。
20.如条款10的方法,其中,视频单元的特性包括视频单元的色度格式,并且其中,确定由于色度格式为特定格式而禁用TPM的使用。
21.如条款20的方法,其中,特定格式是4:0:0。
以下条款可以与先前章节列出的项目(例如,项目10)中描述的附加技术一起实现。
22.如条款1的方法,其中,视频单元的特性包括视频单元的转换中使用的参考图片的分辨率,并且其中,确定由于分辨率彼此不同而禁用TPM的使用。
以下条款可以与先前章节列出的项目(例如,项目11)中描述的附加技术一起实现。
23.如上述条款中任一项的方法,其中,如果确定禁用TPM模式,则编解码表示省略TMP语法元素的语法元素。
24.如条款1至23中任一项的方法,其中,转换包括将视频编码为编解码表示。
25.如条款1至23中任一项的方法,其中,转换包括解码编解码表示以生成视频的像素值。
26.一种视频解码设备,包括配置为实现条款1至25中的任一项或多项引用的方法的处理器。
27.一种视频编码设备,包括配置为实现条款1至25中的任一项或多项引用的方法的处理器。
28.一种计算机程序产品,具有其上存储的计算机代码,所述代码在由处理器执行时使得处理器实现条款1至25中的任一项或多项引用的方法。
29.本文档中描述一种方法、设备或系统。
第二组条款描述在先前章节(例如条目1至5)中公开的技术的某些特征和方法。
1.一种视频处理的方法(例如,图16A中所示的方法1610),包括:根据规则确定(1612)色度权重,所述色度权重用于通过混合色度块的预测而确定视频的当前块的所述色度块的色度预测块;以及根据所述确定执行(1614)所述当前块与所述视频的编解码表示之间的转换,其中所述规则指定从所述当前块的共位亮度块的亮度权重确定所述色度权重;其中所述当前块用几何分割模式编解码。
2.如条款1所述的方法,其中所述规则指定所述色度权重是所述亮度权重的子集。
3.如条款1或2所述的方法,其中所述当前块的色度格式是4:2:0或4:2:2或4:4:4。
4.如条款1所述的方法,其中所述规则指定应用到尺寸为MxN的所述色度块的所述色度权重与应用到尺寸为MxN的所述当前块的亮度块的亮度权重相同,其中M和N是大于0的整数。
5.如条款4所述的方法,其中所述当前块的色度格式是4:4:4。
6.一种视频处理的方法(例如,图16B中所示的方法1620),包括:根据规则确定(1622)色度权重,所述色度权重用于通过混合色度块的预测而确定视频的当前块的所述色度块的色度预测块;以及根据所述确定执行(1624)所述当前块与所述视频的编解码表示之间的转换,其中所述规则取决于共位亮度块的特性和/或所述当前块的特性。
其中所述当前块是用几何分割模式编解码的。
7.如条款6所述的方法,其中所述共位亮度块的所述特性包括所述共位亮度块的高度和/或宽度,并且所述当前块的所述特性包括所述当前块的色彩格式和/或所述当前块的色度子采样比率。
8.如条款6所述的方法,其中所述规则指定,对于具有4:4:4色度格式的所述色度块,所述色度权重与应用到所述共位亮度块的亮度权重相同。
9.如条款6所述的方法,其中所述规则指定,对于具有4:2:0或4:2:2色度格式的所述色度块,所述色度权重是从应用到所述共位亮度块的亮度权重子采样的。
10.如条款9所述的方法,其中,色度权重WeightC[x][y]是由WeightY[f(x)][g(y)]计算的,其中x是0与W/subWidthC-1之间的整数,y是0与H/subHeightC-1之间的整数,W和H是所述色度块的高度和宽度,subWidthC和subHeightC分别指示宽度方向和高度方向上的色度子采样比率,并且WeightY[a][b]指示亮度权重,a是0与W-1之间的整数,且b是0与H-1之间的整数。
11.如条款6所述的方法,其中所述规则指定所述色度权重取决于所述共位亮度块的尺寸并且对于不同色彩分量是相同的。
12.如条款11所述的方法,其中,尺寸为WxH的色度分量使用与尺寸为WxH的亮度分量相同的权重,其中W和H分别是指示共位亮度块的宽度和高度的整数。
13.如条款6所述的方法,其中所述规则指定所述色度权重取决于所述共位亮度块的尺寸和所述视频单元的色彩分量。
14.如条款13所述的方法,其中所述色度权重对于所述视频单元的不同色彩分量是不同的。
15.如条款13所述的方法,其中所述色度权重对于两个色度分量是相同的。
16.如条款6至15中任一项所述的方法,其中所述色度权重和/或所述亮度权重是整数。
17.如条款16所述的方法,其中允许奇整数权重和偶整数权重二者。
18.如条款6至17中任一项所述的方法,其中,将所述色度权重和/或所述亮度权重剪切到范围[M,N],其中M和N是整数。
19.一种视频处理的方法(例如,图16C中所示的方法1630),包括:执行(1632)视频的当前块与所述视频的编解码表示之间的转换,其中在所述转换期间,通过根据混合权重掩码来混合所述当前块的预测而确定所述当前块的预测块,其中根据规则确定所述混合权重掩码;其中所述当前块是用几何分割模式编解码的。
20.如条款19所述的方法,其中所述规则指定所述混合权重掩码是基于一个或多个预定义表导出的,该一个或多个预定义表包含N个元素,其中N是大于0的整数。
21.如条款19所述的方法,其中所述规则指定所述混合权重掩码是从计算等式计算的。
22.如条款1至21中任一项所述的方法,其中所述当前块是用几何分割模式编解码的,在该几何分割模式下所述当前块的两个或更多个子区域是通过沿着角度分割、水平分割或垂直分割而分割所述当前块来获得的。
23.如条款1至22中任一项所述的方法,其中所述转换包括将所述视频编码为所述编解码表示。
24.如条款1至22中任一项所述的方法,其中所述转换包括解码所述编解码表示以生成所述视频。
25.一种视频处理设备,包括配置为实现条款1至24中任一项或多项中所述的方法的处理器。
26.一种存储程序代码的计算机可读介质,在执行所述程序代码时使得处理器实现条款1至24中任一项或多项中所述的方法。
27.一种计算机可读介质,储存根据上述方法中任一项生成的编解码表示或比特流表示。
第三套条款描述在先前章节(例如条目6至14)中公开的技术的某些特征和方法。
1.一种视频处理的方法(例如,图16D中所示的方法1640),包括:为视频的当前块与所述视频的编解码表示之间的转换,基于所述当前块的特性确定(1642)几何分割模式对所述当前块的适用性;以及基于所述确定执行(1644)所述转换。
2.如条款1所述的方法,其中所述当前块的所述特性包括作为max(H,W)/min(H,W)取得的维度比率,其中max和min是最大值函数和最小值函数,并且H和W是所述当前块的高度和宽度。
3.如条款1所述的方法,其中所述当前块的所述特性包括所述当前块的宽度与高度之间的差异。
4.如条款3所述的方法,其中所述差异被获得为Abs(Log2(cbWidth)-Log2(cbHeight)),其中Abs是绝对值函数,cbWidth和cbHeight是包括所述当前块的编解码块的宽度和高度。
5.如条款1所述的方法,其中所述确定确定了由于所述当前块的宽度(W)与高度(H)之间的比率大于X而禁用所述几何分割模式,其中X为整数。
6.如条款5所述的方法,其中所述确定确定了由于W/H的比率大于T1而禁用所述几何分割模式,其中T1为整数。
7.如条款6所述的方法,其中,T1等于2。
8.如条款5所述的方法,其中所述确定确定了由于H/W的比率大于T2而禁用所述几何分割模式,其中T2为整数。
9.如条款8所述的方法,其中,T2等于2。
10.如条款1所述的方法,其中所述当前块的所述特性包括用于所述视频的所述转换的最大变换尺寸。
11.如条款10所述的方法,其中所述确定确定了由于所述当前块的高度或宽度大于最大变换尺寸而禁用几何分割模式。
12.如条款1所述的方法,其中所述当前块的所述特性包括用于所述视频的所述转换的最大编解码单元尺寸。
13.如条款12所述的方法,其中所述确定确定了由于所述当前块的高度或宽度等于最大编解码单元尺寸而禁用所述几何分割模式。
14.如条款1所述的方法,其中所述当前块的所述特性包括所述当前块的高度或宽度,并且其中所述确定确定了由于所述高度大于N和/或所述宽度大于M而禁用所述几何分割模式,其中N和M为整数。
15.如条款14所述的方法,其中,N=M=64。
16.如条款1所述的方法,其中所述当前块的所述特性包括所述当前块的高度或宽度,并且其中所述确定确定了由于所述高度为N和/或所述宽度为M而禁用所述几何分割模式。
17.如条款16所述的方法,其中,N=M=4。
18.如条款1所述的方法,其中所述当前块的所述特性包括所述当前块的色度格式,并且其中所述确定确定了由于所述色度格式为特定格式而禁用所述几何分割模式。
19.如条款18所述的方法,其中所述特定格式是4:0:0、4:4:4或4:2:2。
20.如条款1所述的方法,其中所述当前块的所述特性包括在所述当前块的所述转换中使用的参考图片的分辨率,并且其中所述确定确定了由于所述分辨率彼此不同而禁用所述几何分割模式。
21.如条款1所述的方法,其中所述当前块的所述特性包括在所述当前块的所述转换中使用的参考图片的分辨率,并且其中所述确定确定了由于所述参考图片中的一个参考图片的分辨率与包括所述当前块的当前图片的分辨率不同而禁用所述几何分割模式。
22.如上述条款中任一项所述的方法,其中所述转换包括为所述当前块确定预测块作为两个或更多个子区域的预测的加权混合,并且其中,在编码期间将单个变换应用到所述当前块的残差,或者在解码期间将单个反变换应用到从所述编解码表示解析的所述当前块的系数。
23.一种视频处理的方法(例如,图16C中所示的方法1630),包括:执行(1632)视频的当前块与所述视频的编解码表示之间的转换,其中所述编解码表示符合格式规则,所述格式规则指定,在所述转换期间对所述当前块禁用几何分割模式的情况下,描述所述几何分割模式的语法元素不被包括在所述编解码表示中。
24.如条款23所述的方法,其中所述格式规则指定,在所述语法元素不被包括在所述编解码表示中的情况下,所述语法元素被推断为0。
25.如条款23所述的方法,其中所述格式规则指定,由于几何分割模式的不可用,与所述几何分割模式有关的语义变量被推断为0。
26.如条款25所述的方法,其中所述语义变量包括指示禁用所述几何分割模式的标志。
27.如条款1至26中任一项的方法,其中所述当前块是用所述几何分割模式编解码的,其中所述当前块的两个或更多个子区域是通过沿着角度分割、水平分割或垂直分割来分割所述当前块获得的。
28.如条款1至27中任一项所述的方法,其中所述执行所述转换包括从所述当前块生成所述编解码表示。
29.如条款1至27中任一项所述的方法,其中所述执行所述转换包括从所述编解码表示生成所述当前块。
30.一种视频处理设备,包括配置为实现条款1至29中任一项或多项中所述的方法的处理器。
31.一种存储程序代码的计算机可读介质,在执行所述程序代码时使得处理器实现条款1至29中任一项或多项中所述的方法。
32.一种计算机可读介质,储存根据上述方法中任一项生成的编解码表示或比特流表示。
在上述条款中,执行转换包括使用在编码或解码操作期间的先前决定步骤的结果以达到转换结果。
本文档中描述的公开的其他方案、示例、实施例、模块和功能操作可以在数字电子电路中或者在计算机软件、固件或硬件,包含在本文档中公开的结构以及其结构的等同,或者其一个或多个的组合中实现。所公开的和其它的实施例可以实现为一个或多个计算机程序产品,例如,在计算机可读介质上编码的一个或多个计算机程序指令模块,用于由数据处理装置执行或控制数据处理设备的操作。该计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储器装置、影响机器可读可传播信令通知的复合物、或其一个或多个的组合。术语“数据处理设备”涵盖用于处理数据的所有设备、装置和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该设备还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信令通知是人工生成的信令通知,例如机器生成的电信令通知、光信令通知或电磁信令通知,其被生成以对信息进行编码以便传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且可以以任何形式来部署计算机程序,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不一定须对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如,在标记语言文档中存储的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行,该多个计算机位于一个站点处或者分布跨越多个站点并由通信网络互连。
可以由执行一个或多个计算机程序的一个或多个可编程处理器来进行在本文档中所描述的过程和逻辑流,以通过在输入数据上操作并且产生输出来进行功能。也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))进行过程和逻辑流,并且设备可以实现为专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))。
适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储装置。通常,计算机还将包括用于存储数据的一个或多个海量存储装置(例如磁、磁光盘或光盘),或者可操作地耦合以从海量存储装置(例如磁、磁光盘或光盘)接收数据或者将数据传输到海量存储装置(例如磁、磁光盘或光盘),或者以上两者。但是,计算机不一定具有这样的装置。适用于储存计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置,作为示例包含半导体存储器装置(例如EPROM、EEPROM和闪速存储装置)、磁盘(例如内部硬盘或可移除磁盘)、磁光盘以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充,或者合并在专用逻辑电路中。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何主题或可要求保护的范围的限制,而是作为特定于特定技术的特定实施例的特征的描述。在本专利文档中,在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中来实现或者以各种合适的子组合来实现。此外,尽管特征可以如上文描述为以某些组合起作用并且甚至最初这样要求保护,但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,尽管在附图中以特定次序描绘了操作,但这不应当理解为要求按所示的特定次序或顺序次序进行这样的操作或者进行所有示出的操作,以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分开不应被理解为在所有实施例中都要求这种分开。
仅描述了几个实现方式和示例,并且可以基于本专利文档中描述和示出的内容来作出其它实现方式、增强和变型。

Claims (44)

1.一种处理视频数据的方法,包括:
在视频的当前色度块和所述视频的比特流之间的转换期间,确定所述当前色度块是以几何分割模式编解码的;
确定第一运动信息和第二运动信息;
确定色度权重,所述色度权重用于通过混合过程确定所述当前色度块的最终色度预测;以及
基于所述第一运动信息、所述第二运动信息和所述色度权重来执行所述转换,其中,所述转换包括应用所述混合过程以基于使用所述色度权重,从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成所述最终色度预测,
其中,所述色度权重是基于所述当前色度块的色度格式来确定的,所述色度格式指示相对于所述当前色度块的共位亮度块的色度子采样比率。
2.根据权利要求1所述的方法,其中,对于4:4:4色度格式,对于所述当前色度块内的每个位置,所述色度权重与应用于所述共位亮度块的亮度权重相同。
3.根据权利要求1所述的方法,其中,对于4:2:0或4:2:2:色度格式,所述色度权重是应用于所述共位亮度块的亮度权重的子集。
4.根据权利要求1所述的方法,其中,色度权重WeightC[x][y]等于WeightY[f(x)][g(y)],其中,x是0和W/subWidthC-1之间的整数,y是0和H/subHeightC-1之间的整数,W和H是所述共位亮度块的宽度和高度,subWidthC和subHeightC分别表示在宽度和高度方向上的色度子采样比率,并且WeightY[a][b]表示亮度权重,a是0与W-1之间的整数,且b是0与H-1之间的整数。
5.根据权利要求4所述的方法,其中,f(x)基于x*subWidthC+offsetX,g(y)基于y*subHeightC+OffsetY,其中offsetX和OffsetY是整数。
6.根据权利要求1所述的方法,其中,对于两个色度分量,所述色度权重是相同的。
7.根据权利要求4所述的方法,其中,所述色度权重和所述亮度权重是整数,并且其中,奇整数权重和偶整数权重都是允许的。
8.根据权利要求4所述的方法,其中,所述色度权重和/或所述亮度权重被裁剪到范围[M,N],其中,M=0且N=8。
9.根据权利要求1所述的方法,其中,基于Abs(Log2(W)-Log2(H))获得的差值来启用或禁用所述几何分割模式,其中Abs是绝对函数,W和H是所述共位亮度块的宽度和高度。
10.根据权利要求1所述的方法,其中,由于所述共位亮度块具有大于N的高度和/或大于M的宽度,其中N=M=64;或者由于所述共位亮度块具有等于S的高度和/或等于T的宽度,其中S=T=4,所述几何分割模式被禁用。
11.根据权利要求1所述的方法,其中,当描述分割模式或基于几何分割的运动补偿候选列表的第一Merge候选索引或基于几何分割的运动补偿候选列表的第二Merge候选索引的语法元素不包括在所述比特流中时,所述语法元素被推断为0。
12.根据权利要求4所述的方法,其中,所述色度权重和/或所述亮度权重是通过计算等式来计算的。
13.根据权利要求1所述的方法,其中,所述转换包括将所述视频编码成所述比特流。
14.根据权利要求1所述的方法,其中,所述转换包括从所述比特流中解码所述视频。
15.一种处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中,所述指令在由所述处理器执行时使得所述处理器:
在视频的当前色度块和所述视频的比特流之间的转换期间,确定所述当前色度块是以几何分割模式编解码的;
确定第一运动信息和第二运动信息;
确定色度权重,所述色度权重用于通过混合过程确定所述当前色度块的最终色度预测;以及
基于所述第一运动信息、所述第二运动信息和所述色度权重来执行所述转换,其中,所述转换包括应用所述混合过程以基于使用所述色度权重,从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成所述最终色度预测,
其中,所述色度权重是基于所述当前色度块的色度格式来确定的,所述色度格式指示相对于所述当前色度块的共位亮度块的色度子采样比率。
16.根据权利要求15所述的装置,其中,对于4:4:4色度格式,对于所述当前色度块内的每个位置,所述色度权重与应用于所述共位亮度块的亮度权重相同,
其中,对于4:2:0或4:2:2:色度格式,所述色度权重是应用于所述共位亮度块的亮度权重的子集,
其中,色度权重WeightC[x][y]等于WeightY[f(x)][g(y)],其中,x是0和W/subWidthC-1之间的整数,y是0和H/subHeightC-1之间的整数,W和H是所述共位亮度块的宽度和高度,subWidthC和subHeightC分别表示在宽度和高度方向上的色度子采样比率,并且WeightY[a][b]表示亮度权重,a是0与W-1之间的整数,且b是0与H-1之间的整数,
其中,f(x)基于x*subWidthC+offsetX,g(y)基于y*subHeightC+OffsetY,其中offsetX和OffsetY是整数。
17.根据权利要求15所述的装置,其中,对于两个色度分量,所述色度权重是相同的,
其中,所述色度权重和所述亮度权重是整数,并且其中,奇整数权重和偶整数权重都是允许的,
其中,所述色度权重和/或所述亮度权重被裁剪到范围[M,N],其中,M=0且N=8,
其中,基于Abs(Log2(W)-Log2(H))获得的差值来启用或禁用所述几何分割模式,其中Abs是绝对函数,W和H是所述共位亮度块的宽度和高度,
其中,由于所述共位亮度块具有大于N的高度和/或大于M的宽度,其中N=M=64;或者由于所述共位亮度块具有等于S的高度和/或等于T的宽度,其中S=T=4,所述几何分割模式被禁用,
其中,当描述分割模式或基于几何分割的运动补偿候选列表的第一Merge候选索引或基于几何分割的运动补偿候选列表的第二Merge候选索引的语法元素不包括在所述比特流中时,所述语法元素被推断为0,并且
其中,所述色度权重和/或所述亮度权重是通过计算等式来计算的。
18.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
在视频的当前色度块和所述视频的比特流之间的转换期间,确定所述当前色度块是以几何分割模式编解码的;
确定第一运动信息和第二运动信息;
确定色度权重,所述色度权重用于通过混合过程确定所述当前色度块的最终色度预测;以及
基于所述第一运动信息、所述第二运动信息和所述色度权重来执行所述转换,其中,所述转换包括应用所述混合过程以基于使用所述色度权重,从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成所述最终色度预测,
其中,所述色度权重是基于所述当前色度块的色度格式来确定的,所述色度格式指示相对于所述当前色度块的共位亮度块的色度子采样比率。
19.根据权利要求18所述的非暂时性计算机可读存储介质,其中,对于4:4:4色度格式,对于所述当前色度块内的每个位置,所述色度权重与应用于所述共位亮度块的亮度权重相同,
其中,对于4:2:0或4:2:2:色度格式,所述色度权重是应用于所述共位亮度块的亮度权重的子集,
其中,色度权重WeightC[x][y]等于WeightY[f(x)][g(y)],其中,x是0和W/subWidthC-1之间的整数,y是0和H/subHeightC-1之间的整数,W和H是所述共位亮度块的宽度和高度,subWidthC和subHeightC分别表示在宽度和高度方向上的色度子采样比率,并且WeightY[a][b]表示亮度权重,a是0与W-1之间的整数,且b是0与H-1之间的整数,
其中,f(x)基于x*subWidthC+offsetX,g(y)基于y*subHeightC+OffsetY,其中offsetX和OffsetY是整数,
其中,对于两个色度分量,所述色度权重是相同的,
其中,所述色度权重和所述亮度权重是整数,并且其中,奇整数权重和偶整数权重都是允许的,
其中,所述色度权重和/或所述亮度权重被裁剪到范围[M,N],其中,M=0且N=8,
其中,基于Abs(Log2(W)-Log2(H))获得的差值来启用或禁用所述几何分割模式,其中Abs是绝对函数,W和H是所述共位亮度块的宽度和高度,
其中,由于所述共位亮度块具有大于N的高度和/或大于M的宽度,其中N=M=64;或者由于所述共位亮度块具有等于S的高度和/或等于T的宽度,其中S=T=4,所述几何分割模式被禁用,
其中,当描述分割模式或基于几何分割的运动补偿候选列表的第一Merge候选索引或基于几何分割的运动补偿候选列表的第二Merge候选索引的语法元素不包括在所述比特流中时,所述语法元素被推断为0,并且
其中,所述色度权重和/或所述亮度权重是通过计算等式来计算的。
20.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
确定所述视频的当前色度块是以几何分割模式编解码的;
确定第一运动信息和第二运动信息;
确定色度权重,所述色度权重用于通过混合过程确定所述当前色度块的最终色度预测;以及
基于所述第一运动信息、所述第二运动信息和所述色度权重来生成所述比特流,其中,生成所述比特流包括应用所述混合过程以基于使用所述色度权重,从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成所述最终色度预测,
其中,所述色度权重是基于所述当前色度块的色度格式来确定的,所述色度格式指示相对于所述当前色度块的共位亮度块的色度子采样比率。
21.一种存储视频的比特流的方法,包括:
确定所述视频的当前色度块是以几何分割模式编解码的;
确定第一运动信息和第二运动信息;
确定色度权重,所述色度权重用于通过混合过程确定所述当前色度块的最终色度预测;
基于所述第一运动信息、所述第二运动信息和所述色度权重来生成所述比特流;以及
将所述比特流存储到非暂时性计算机可读存储介质中,
其中,生成所述比特流包括应用所述混合过程以基于使用所述色度权重,从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成所述最终色度预测,
其中,所述色度权重是基于所述当前色度块的色度格式来确定的,所述色度格式指示相对于所述当前色度块的共位亮度块的色度子采样比率。
22.一种处理视频数据的方法,包括:
在视频的第一块和所述视频的比特流之间的转换期间,确定所述第一块用几何分割模式进行编解码;
为所述第一块确定第一运动信息和第二运动信息;
基于所述第一运动信息和所述第二运动信息执行所述转换,其中,所述转换包括应用加权过程以基于从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成用于所述第一块的最终预测;以及
计算所述第一块的每个4×4子块的运动矢量存储信息,
其中,在第一4×4子块在非加权区域内的情况下,将单向预测运动信息存储为用于所述第一4×4子块的样点的所述运动矢量存储信息;并且
其中,在第二4×4子块在加权区域内的情况下,允许双向预测运动信息存储为用于所述第二4×4子块的样点的所述运动矢量存储信息。
23.根据权利要求22所述的方法,其中,仅当所述第一块具有块宽度和块高度的特定组合时,才用几何分割模式编解码所述第一块,并且存储用于所述第一块的运动矢量存储信息。
24.根据权利要求23所述的方法,其中,在计算所述运动矢量存储信息期间,是存储所述单向预测运动信息还是存储所述双向预测运动信息是基于所述第一块的块宽度和块高度。
25.根据权利要求22-24中任一项所述的方法,其中,所述第一块被有条件地划分成多个子块,并且将去块滤波过程应用于所述第一块中的两个子块之间的边界。
26.根据权利要求25所述的方法,其中,所述第一块被划分成两个变换块,一个变换块具有非零系数,另一个不具有非零系数。
27.根据权利要求26所述的方法,其中,所述具有非零系数的变换块的第一尺寸小于或等于所述不具有非零系数的变换块的第二尺寸。
28.根据权利要求25-27中任一项所述的方法,其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的不同语法元素指示。
29.根据权利要求25-27中任一项所述的方法,其中,在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
30.根据权利要求25-27中任一项所述的方法,其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的不同语法元素指示。
31.根据权利要求25-27中任一项所述的方法,其中,在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
32.根据权利要求22-31中任一项所述的方法,其中,所述几何分割模式包括多个分割方案,所述多个分割方案之一是对角线分割或反对角线分割。
33.根据权利要求22所述的方法,还包括:
在所述视频的第二块和所述比特流之间的转换期间,确定所述第二块是否用帧内块复制预测模式进行编解码;
执行所述第二块和所述比特流之间的转换,
其中,当所述第二块的宽度或高度大于64时,指示所述第二块是否用帧内块复制预测模式编解码的语法元素的值被推断为0。
34.根据权利要求22所述的方法,其中,所述转换包括将所述第一块编码到所述比特流中。
35.根据权利要求22所述的方法,其中,所述转换包括从所述比特流解码所述第一块。
36.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中,所述指令在由所述处理器执行时使所述处理器:
在视频的第一块和所述视频的比特流之间的转换期间,确定所述第一块用几何分割模式进行编解码;
为所述第一块确定第一运动信息和第二运动信息;
基于所述第一运动信息和所述第二运动信息执行所述转换,其中,所述转换包括应用加权过程以基于从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成用于所述第一块的最终预测;以及
计算所述第一块的每个4×4子块的运动矢量存储信息,
其中,在第一4×4子块在非加权区域内的情况下,将单向预测运动信息存储为用于所述第一4×4子块的样点的所述运动矢量存储信息;并且
其中,在第二4×4子块在加权区域内的情况下,允许双向预测运动信息存储为用于所述第二4×4子块的样点的所述运动矢量存储信息。
37.根据权利要求36所述的装置,其中,所述第一块被有条件地划分成多个子块,并且将去块滤波过程应用于所述第一块中的两个子块之间的边界,
其中,所述第一块被划分成两个变换块,一个变换块具有非零系数,另一个不具有非零系数,
其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的不同语法元素指示,或者在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的不同语法元素指示,或者在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
38.一种储存指令的非暂时性计算机可读存储介质,所述指令使处理器:
在视频的第一块和所述视频的比特流之间的转换期间,确定所述第一块用几何分割模式进行编解码;
为所述第一块确定第一运动信息和第二运动信息;
基于所述第一运动信息和所述第二运动信息执行所述转换,其中,所述转换包括应用加权过程以基于从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成用于所述第一块的最终预测;以及
计算所述第一块的每个4×4子块的运动矢量存储信息,
其中,在第一4×4子块在非加权区域内的情况下,将单向预测运动信息存储为用于所述第一4×4子块的样点的所述运动矢量存储信息;并且
其中,在第二4×4子块在加权区域内的情况下,允许双向预测运动信息存储为用于所述第二4×4子块的样点的所述运动矢量存储信息。
39.根据权利要求38所述的非暂时性计算机可读存储介质,其中,所述第一块被有条件地划分成多个子块,并且将去块滤波过程应用于所述第一块中的两个子块之间的边界,
其中,所述第一块被划分成两个变换块,一个变换块具有非零系数,另一个不具有非零系数,
其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的不同语法元素指示,或者在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的不同语法元素指示,或者在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
40.一种非暂时性计算机可读记录介质,储存由视频处理装置执行的方法生成的视频的比特流,其中,所述方法包括:
确定所述视频的第一块用几何分割模式进行编解码;
为所述第一块确定第一运动信息和第二运动信息;
基于所述第一运动信息和所述第二运动信息生成所述视频的所述比特流,其中,所述生成包括应用加权过程以基于从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成用于所述第一块的最终预测;以及
计算所述第一块的每个4×4子块的运动矢量存储信息,
其中,在第一4×4子块在非加权区域内的情况下,将单向预测运动信息存储为用于所述第一4×4子块的样点的所述运动矢量存储信息;并且
其中,在第二4×4子块在加权区域内的情况下,允许双向预测运动信息存储为用于所述第二4×4子块的样点的所述运动矢量存储信息。
41.根据权利要求40所述的非暂时性计算机可读记录介质,其中,所述第一块被有条件地划分成多个子块,并且将去块滤波过程应用于所述第一块中的两个子块之间的边界,
其中,所述第一块被划分成两个变换块,一个变换块具有非零系数,另一个不具有非零系数,
其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的不同语法元素指示,或者在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的图片级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
其中,在所述去块滤波过程期间,用于导出不同分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的不同语法元素指示,或者在所述去块滤波过程期间,在联合色度残差编解码用于Cb分量和Cr分量的情况下,用于导出Cb分量和Cr分量的参数β和tC的条带级别去块参数偏移由包括在所述比特流中的单个语法元素指示。
42.一种储存视频比特流的方法,包括
确定所述视频的第一块用几何分割模式进行编解码;
为所述第一块确定第一运动信息和第二运动信息;
基于所述第一运动信息和所述第二运动信息生成所述视频的所述比特流,其中,所述生成包括应用加权过程以基于从所述第一运动信息和所述第二运动信息导出的预测样点的加权和来生成用于所述第一块的最终预测;
将所述比特流存储在非暂时性计算机可读记录介质中;以及
计算所述第一块的每个4×4子块的运动矢量存储信息,
其中,在第一4×4子块在非加权区域内的情况下,将单向预测运动信息存储为用于所述第一4×4子块的样点的所述运动矢量存储信息;并且
其中,在第二4×4子块在加权区域内的情况下,允许双向预测运动信息存储为用于所述第二4×4子块的样点的所述运动矢量存储信息。
43.一种处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中,所述指令在由所述处理器执行时使得所述处理器实施根据权利要求2-14、23-35中任一项所述的方法。
44.一种其上存储有指令的非暂时性计算机可读介质,所述指令在被执行时使处理器实施根据权利2-14、23-35中任一项所述的方法。
CN202311359616.3A 2019-09-01 2020-09-01 视频编解码中预测权重的对准 Pending CN117499625A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN2019103903 2019-09-01
CNPCT/CN2019/103903 2019-09-01
CNPCT/CN2019/110490 2019-10-10
CN2019110490 2019-10-10
PCT/CN2020/112779 WO2021037276A1 (en) 2019-09-01 2020-09-01 Alignment of prediction weights in video coding
CN202080061451.XA CN114303370B (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080061451.XA Division CN114303370B (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准

Publications (1)

Publication Number Publication Date
CN117499625A true CN117499625A (zh) 2024-02-02

Family

ID=74684273

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080061451.XA Active CN114303370B (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准
CN202080061396.4A Pending CN114303382A (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准
CN202311359616.3A Pending CN117499625A (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202080061451.XA Active CN114303370B (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准
CN202080061396.4A Pending CN114303382A (zh) 2019-09-01 2020-09-01 视频编解码中预测权重的对准

Country Status (7)

Country Link
US (2) US11689735B2 (zh)
EP (1) EP4008108A4 (zh)
JP (2) JP7372450B2 (zh)
KR (1) KR20220053567A (zh)
CN (3) CN114303370B (zh)
BR (1) BR112022003641A2 (zh)
WO (2) WO2021037277A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
KR102311520B1 (ko) 2010-04-13 2021-10-13 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
KR102360146B1 (ko) 2010-04-13 2022-02-08 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
CN113055684B (zh) * 2019-06-24 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN114556926A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 几何分割模式中的运动矢量处理
WO2023219288A1 (ko) * 2022-05-12 2023-11-16 현대자동차주식회사 양방향 예측을 이용하는 크로마 성분의 인터 예측을 위한 방법
KR20230174182A (ko) * 2022-06-20 2023-12-27 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024080832A1 (ko) * 2022-10-13 2024-04-18 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI375470B (en) 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN106028048B (zh) 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的设备
JP2011151683A (ja) * 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
WO2011130186A2 (en) 2010-04-12 2011-10-20 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US20120147961A1 (en) * 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
US8917763B2 (en) 2011-03-07 2014-12-23 Panasonic Corporation Motion compensation apparatus, video coding apparatus, video decoding apparatus, motion compensation method, program, and integrated circuit
WO2013068562A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding
US20130170562A1 (en) 2011-12-28 2013-07-04 Qualcomm Incorporated Deblocking decision functions for video coding
CN102547290B (zh) * 2012-01-20 2013-12-18 厦门大学 一种基于几何分割的视频图像解编码方法
KR101842551B1 (ko) 2012-01-26 2018-03-28 한국전자통신연구원 모션 파티션 모드 판정 방법 및 부호화기
WO2014014276A1 (ko) 2012-07-17 2014-01-23 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
JP6462693B2 (ja) 2013-12-13 2019-01-30 クゥアルコム・インコーポレイテッドQualcomm Incorporated 3dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(sdc)のシグナリング
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
KR20220133337A (ko) 2014-03-16 2022-10-04 브이아이디 스케일, 인크. 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치
WO2016200984A1 (en) 2015-06-08 2016-12-15 Vid Scale, Inc. Intra block copy mode for screen content coding
US20170244966A1 (en) 2016-02-20 2017-08-24 Qualcomm Incorporated Weighted prediction for screen content coding and multi-layer coding
EP3453180A4 (en) 2016-05-04 2020-04-01 Microsoft Technology Licensing, LLC INTRA-IMAGE PREDICTION USING NON-ADJACENT REFERENCE LINES OF SAMPLE VALUES
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
WO2018141416A1 (en) 2017-02-06 2018-08-09 Huawei Technologies Co., Ltd. Video encoder and decoder for predictive partitioning
BR112020002205A2 (pt) 2017-08-22 2020-07-28 Panasonic Intellectual Property Corporation Of America codificador de imagem, decodificador de imagem, método de codificação de imagem e método de decodificação de imagem
CN111213379B (zh) 2017-10-16 2023-11-21 数字洞察力有限公司 用于将图像编码/解码的方法、装置和存储比特流的记录介质
CN111630856B (zh) * 2018-01-26 2024-05-07 交互数字Vc控股公司 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
KR20230030054A (ko) 2018-02-09 2023-03-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 파티션 기반 인트라 코딩 개념
KR20220133331A (ko) 2018-03-16 2022-10-04 엘지전자 주식회사 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
KR102657933B1 (ko) 2018-03-30 2024-04-22 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2020073896A1 (en) 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Apparatuses and methods for inter prediction of a triangle partition of a coding block
CN109327703A (zh) * 2018-11-13 2019-02-12 长春理工大学 一种基于不同采样块的深度图编解码方法
CN112584177B (zh) * 2018-12-28 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
WO2020180155A1 (ko) 2019-03-07 2020-09-10 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
US11134251B2 (en) * 2019-03-15 2021-09-28 Qualcomm Incorporated Video coding in triangular prediction unit mode using different chroma formats
US20220248026A1 (en) 2019-06-17 2022-08-04 Electronics And Telecommunications Research Institute Sub-block division-based image encoding/decoding method and device
CA3141088A1 (en) * 2019-06-21 2020-12-24 Semih Esenlik Chroma sample weight derivation for geometric partition mode
CN110312127B (zh) 2019-06-25 2022-04-19 浙江大华技术股份有限公司 最可能预测模式列表的构建、图像编码方法和处理装置
KR20240044548A (ko) 2019-08-22 2024-04-04 엘지전자 주식회사 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
US11405619B2 (en) 2019-09-23 2022-08-02 Qualcomm Incorporated Geometric partition mode with simplified motion field storage and motion compensation in video coding
WO2021061020A1 (en) 2019-09-23 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus of weighted prediction for non-rectangular partitioning modes
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN114556926A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 几何分割模式中的运动矢量处理
US11212523B2 (en) 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems

Also Published As

Publication number Publication date
JP2024001233A (ja) 2024-01-09
WO2021037276A1 (en) 2021-03-04
EP4008108A4 (en) 2022-09-21
US20220210460A1 (en) 2022-06-30
JP7372450B2 (ja) 2023-10-31
WO2021037277A1 (en) 2021-03-04
EP4008108A1 (en) 2022-06-08
CN114303370A (zh) 2022-04-08
CN114303370B (zh) 2023-11-14
CN114303382A (zh) 2022-04-08
US20230232032A1 (en) 2023-07-20
KR20220053567A (ko) 2022-04-29
BR112022003641A2 (pt) 2022-05-24
JP2022545949A (ja) 2022-11-01
US11689735B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN114303370B (zh) 视频编解码中预测权重的对准
CN113056915B (zh) 在基于子块的时域运动矢量预测模式中使用并置块
CN113853783B (zh) 对帧内块复制编解码的块的块矢量的编解码
CN113228635B (zh) 用于帧内块复制的运动候选列表构建方法
CN113545049B (zh) 视频处理中对基于模型的整形的约束
CN113170167A (zh) 块内拷贝模式中的标志指示方法
CN113924771B (zh) 子块Merge模式中的语法信令
CN114556915B (zh) 几何分割模式中被编解码的块的去块
CN114467308B (zh) 视频处理中的参考图片重采样
CN114450959A (zh) 视频编解码中的几何分割模式
CN114868395A (zh) 采用几何分割进行帧间预测的高级语法
CN113966616A (zh) 使用临近块信息的运动候选列表构建
CN114208184A (zh) 基于子块的帧间预测中的运动精度
CN114402591A (zh) 并置运动矢量的推导
JP2024012506A (ja) 幾何学的分割を用いた簡易インター予測
CN113261292B (zh) 基于子块的帧间预测中默认运动候选的构造方法
CN114424530A (zh) 跳过模式信令通知

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination