CN113396589A - 基于五叉树的视频块分割 - Google Patents
基于五叉树的视频块分割 Download PDFInfo
- Publication number
- CN113396589A CN113396589A CN202080012492.XA CN202080012492A CN113396589A CN 113396589 A CN113396589 A CN 113396589A CN 202080012492 A CN202080012492 A CN 202080012492A CN 113396589 A CN113396589 A CN 113396589A
- Authority
- CN
- China
- Prior art keywords
- current video
- qui
- video block
- divided
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种视频处理方法、设备和系统,其中代表性方法包括:根据划分信息,对于视频的当前视频块,确定将当前视频块划分为M个部分的分割模式,其中M>4;以及基于该分割模式来执行所述当前视频块的转换。
Description
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则,本申请是为了及时要求于2019年2月11日提交的国际专利申请No.PCT/CN2019/074762,以及于2019年3月6日提交的国际专利申请No.PCT/CN2019/077161的优先权和权益。其全部公开通过引用并入,作为本申请的公开的一部分。
技术领域
本专利文献涉及视频编解码技术、设备和系统
背景技术
尽管视频压缩有所进步,但数字视频仍占互联网和其他数字通信网络上的最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计数字视频使用的带宽需求将继续增长。
发明内容
描述了与数字视频编解码有关的设备、系统和方法,特别是与视频编解码中的五叉树划分有关的设备、系统和方法。所描述的方法可以应用于现有的视频编解码标准(例如,高效视频编解码(High Efficiency Video Coding,HEVC))和将来的视频编解码标准(例如,通用视频编解码(Versatile Video Coding,VVC))或编解码器。
在一个代表性方面,公开了一种用于视频处理的方法,包括:根据划分信息,对于视频的当前视频块,确定将当前视频块划分为M个部分的分割模式,其中M>4;以及基于分割模式来执行当前视频块的转换。
在另一个代表性方面,公开了一种用于视频处理的方法,包括:根据当前视频是否满足特定条件,确定是否允许通过五叉树(quinary-tree,QUI-T)分割将当前视频块划分为五个子块;以及基于该确定来执行当前视频块的转换。
在另一个代表性方面,上述方法以处理器可执行代码的形式实施并存储在计算机可读程序介质中。
在又一个代表性方面,公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程以实施该方法的处理器。
在又一个代表性方面,视频解码器装置可以实现如本文所描述的方法。
在附图、说明书和权利要求中更详细地描述了所公开的技术的以上及其他方面和特征。
附图说明
图1示出了H.264/AVC中的宏块(MacroBlock,MB)分割的示例。
图2示出了将编解码块(Coding Block,CB)划分为预测块(Prediction Block,PB)的示例。
图3A和图3B分别示出了分割编解码树块(Coding Tree Block,CTB)以及其对应的四叉树的示例。
图4示出了四叉树加二叉树(QuadTree plus Binary Tree,QTBT)的示例。
图5A-图5F示出了VVC中允许的分割的示例。
图6A-图6E示出了在父划分(实线)和当前划分(虚线)之间的允许的分割的示例,其中“X”表示不允许的分割。
图7A和图7B分别示出了扩展四叉树(extended quad-tree,EQT)水平和垂直模式的示例。
图8示出了QTBT加EQT分割的信令结构的示例。
图9A-图9H示出了非对称四叉树(unsymmetrical quad-tree,UQT)分割的示例。
图10A-10E示出了五叉树(QUI-T)分割的示例。
图11A和图11B示出了六重分割结构的示例。
图12是示出可以实施视频编码器和/或解码器的装置的示例的框图,该装置可以用于实施本公开技术的各个部分。
图13示出了根据所公开的技术的用于视频处理的示例方法的流程图。
图14示出了根据所公开的技术的用于视频处理的另一个示例方法的流程图。
具体实施方式
由于对更高分辨率视频的日益增长的需求,视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件,并且不断被改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式,反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范,例如,高效视频编解码(HEVC)标准(也已知为H.265或MPEG-H部分2)、即将完成的通用视频编解码(VVC)标准、或其他当前和/或未来视频编解码标准。
所公开的技术的实施例可以应用于现有视频编解码标准(例如,HEVC、H.265)和未来标准以改进运行时性能。在本文档中使用章节标题以提高描述的可读性,并且不以任何方式将讨论或实施例(和/或实现方式)限制于仅相应的章节。
1.视频编解码标准概述
视频编解码标准主要通过熟知的ITU-T和ISO/IEC标准的发展演变而来。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视觉,并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中使用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索组(JointVideo Exploration Team,JVET)。此后,JVET采用了许多新方法,并将其放入名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IECJTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立,以致力于多功能视频编解码(VVC)标准,目标是与HEVC相比比特率降低50%。
2.五叉树分割的示例性实施例
2.1 H.264/AVC中的分割树结构
H.264/AVS中使用的术语是宏块和MB模式/8×8模式(分割)。宏块是其中每个图片/条带被划分并且其中应用帧内/帧间模式判定的单元。并且分割定义其中运动信息被信令通知的级别。
H.264/AVC的编解码层的核心是宏块,其包含16×16亮度样点块,并且在4:2:0颜色采样的通常情况下,包含两个对应的8×8色度样点块。
2.1.1 H.264/AVC主档次(profile)
帧内编解码块使用空域预测来利用像素当中的空域相关性。定义了两种分割:16×16和4×4。
帧间编解码块通过估计图片当中的运动来使用时域预测而不是空域预测。可以针对16×16宏块或其任何子宏块分割(16×8、8×16、8×8)独立地估计运动。语法元素(MB模式)被信令通知以指示是否选择16×16、16×8、8×16或8×8。如果选择8×8,则进一步信令通知另一个语法元素(8×8模式)以指示是否使用8×8、8×4、4×8、4×4(例如,参见图1)。每个分割仅允许一个运动矢量(MV)。
2.1.2 H.264/AVC高档次
在高档次中,引入了8×8变换和I_8×8(8×8帧内预测)。对于帧内编解码的宏块,变换尺寸是固定的,I_16×6和I_4×4使用4×4变换;I_8×8使用8×8转换。
对于帧间编解码的宏块,可以选择4×4或8×8变换。但是,变换尺寸不能超过分割尺寸。例如,如果一个宏块选择8×8分割并进一步选择8×4子模式,则只能应用4×4变换。如果一个宏块选择具有8×8子模式的16×16、16×8、8×16、8×8分割,则可以选择4×4或8×8变换。
2.1.3总结
模式选择在宏块级别判定。变换尺寸不得大于分割尺寸。
2.2 HEVC中分割树结构
在HEVC中,通过使用表示为编解码树的四叉树结构将编解码树单元(Coding TreeUnit,CTU)(又称最大编解码单元,LCU)划分为编解码单元(CU)以适应各种局部特性。使用帧间图片(时域)还是帧内图片(空域)预测来编解码图片区域的判定是在CU级别进行的。可以根据预测单元(PU)划分类型将每个CU进一步划分为一个、两个或四个PU。在一个PU内部,应用相同的预测过程,并且基于PU将相关信息发送到解码器。在通过应用基于PU划分类型的预测过程来获得残差块之后,可以根据类似于CU的编解码树的另一个四叉树结构将CU分割为变换单元(TU)。HEVC结构的关键特征中的一个是它具有多个分割概念,包括CU、PU和TU。
在下文中,使用HEVC的混合视频编解码所涉及的各种特征如下所述。
1)编解码树单元(CTU)和编解码树块(CTB)结构:HEVC中的相似结构是编解码树单元(CTU),其具有由编码器选择的尺寸并且可以大于传统宏块。CTU由亮度CTB和对应的色度CTB以及语法元素组成。亮度CTB的尺寸L×L可以选择为L=16、32或64个样点,其中更大的尺寸通常能够实现更好的压缩。HEVC则支持使用树结构和类似四叉树的信令将CTB分割为更小的块。
2)编解码单元(CU)和编解码块(CB):CTU的四叉树语法指定其亮度CB和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此,亮度CTB的尺寸是亮度CB的最大支持尺寸。将CTU划分为亮度CB和色度CB是联合信令通知的。一个亮度CB和通常两个色度CB与相关联的语法一起形成编解码单元(CU)。CTB可以仅包含一个CU或者可以被划分以形成多个CU,并且每个CU具有分割为预测单元(PU)的相关联分割和变换单元(TU)的树。
3)预测单元和预测块(PB):是使用帧间还是帧内预测来编解码图片区域的判定是在CU级别进行的。PU分割结构的根在CU级别。根据基本预测类型判定,亮度CB和色度CB然后可以进一步在尺寸上被划分,并且根据亮度和色度预测块(PB)而预测。HEVC支持从64×64到4×4个样点的可变PB尺寸。图2描绘了允许的PB。
4)变换单元(TU)和变换块:使用块变换对预测残差进行编解码。TU树结构的根在CU级别。亮度CB残差可以与亮度变换块(TB)相同,或者可以进一步划分为更小的亮度TB。这同样适用于色度TB。针对正方形TB尺寸4×4、8×8、16×16和32×32定义类似于离散余弦变换(Discrete Cosine Transform,DCT)的函数的整数基函数。对于亮度帧内图片预测残差的4×4变换,交替地指定从离散正弦变换(Discrete Sine Transform,DST)的形式推导的整数变换。
2.2.1四叉树的深度
对于尺寸为M×M的给定亮度CB,一标志信令通知其是否被划分为四个尺寸为M/2×M/2的块。如果进一步划分是有可能的,如通过SPS(Sequence Parameter Set,序列参数集)中指示的残差四叉树的最大深度信令通知的,则为每个四分体分配指示其是否被划分为四个四分体的标志。由残差四叉树产生的叶节点块是通过变换编解码进一步处理的变换块。编码器指示其将使用的最大和最小亮度TB尺寸。当CB尺寸大于最大TB尺寸时,划分是隐式的。当划分将导致亮度TB尺寸小于指示的最小值时,不划分是隐式的。除了当亮度TB尺寸为4×4时(在这种情况下,单个4×4色度TB用于由四个4×4亮度TB覆盖的区域),色度TB尺寸在每个维度中是亮度TB尺寸的一半。在帧内图片预测的CU的情况下,(在CB内或外部的)最近的邻近TB的解码样点被用作用于帧内图片预测的参考数据。
2.2.2总结
可以基于四叉树的增加的深度将一个CTU递归地划分为多个CU(例如,图3B)。仅指定正方形的CB和TB分割,其中可以将块递归地划分为四分体,如图3A所示。
模式选择在CU级判定。根据选择的模式的边信息以PU级别信令通知,诸如运动信息、帧内预测模式。残差以TU级别信令通知。
对于帧间编解码块,一个PU不得大于CU,并且对于帧内编解码块,一个PU应等于CU。
对于帧间编解码块,TU可以超过PU,但是对于帧内编解码块,TU应等于PU。
2.3 JEM中具有较大CTU的四叉树加二叉树块结构
为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,JVET采用了许多新方法,并将其放入名为联合探索模型(JEM)的参考软件中。
2.3.1 QTBT块分割结构
不同于HEVC,QTBT结构移除了移除了CU、PU和TU概念的分离,并且支持CU分割形状的更多灵活性。在QTBT块结构中,CU可以具有正方形或矩形形状。在示例中,首先通过四叉树结构分割编解码树单元(CTU)。通过二叉树结构进一步分割四叉树叶节点。在二叉树划分中有两种划分类型,对称水平划分和对称垂直划分。二叉树叶节点被称为编解码单元(CU),并且该分段用于预测和变换处理而无需任何进一步的分割。这意味着CU、PU和TU在QTBT编解码块结构中具有相同的块尺寸。在JEM中,CU有时由不同颜色分量的编解码块(CB)组成,例如,一个CU在4:2:0色度格式的P条带和B条带的情况下包含一个亮度CB和两个色度CB,并且有时由单个分量的CB组成,例如,一个CU在I条带的情况下仅包含一个亮度CB或只包含两个色度CB。
为QTBT分割方案定义以下参数:
–CTU尺寸:四叉树的根节点尺寸,与HEVC中的概念相同
–MinQTSize:最小允许的四叉树叶节点尺寸
–MaxBTSize:最大允许的二叉树根节点尺寸
–MaxBTDepth:最大允许的二叉树深度
–MinBTSize:最小允许二叉树叶节点尺寸
在QTBT分割结构的一个示例中,CTU尺寸被设置为具有两个对应的64×64色度样点块的128×128个亮度样点,MinQTSize被设置为16×16,MaxBTSize被设置为64×64,MinBTSize(宽度和高度)被设置为4×4,并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即MinQTSize)至128×128(即CTU尺寸)的尺寸。如果四叉树叶节点为128×128,则由于尺寸超过MaxBTSize(即64×64),所以它不会通过二叉树被进一步划分。否则,四叉树叶节点可以通过二叉树被进一步分割。因此,四叉树叶节点也是二叉树的根节点,并且其二叉树深度为0。当二叉树深度达到MaxBTDepth(即4)时,不考虑进一步的划分。当二叉树节点具有等于MinBTSize(即4)的宽度时,不考虑进一步的水平划分。类似地,当二叉树节点具有等于MinBTSize的高度时,不考虑进一步的垂直划分。通过预测和变换处理进一步处理二叉树的叶节点,而无需任何进一步的分割。在JEM中,最大CTU尺寸为256×256个亮度样点。
图4(左)示出了通过使用QTBT进行块分割的示例,并且图4(右)示出了对应的树表示。实线指示四叉树划分,并且虚线指示二叉树划分。在二叉树的每个划分(即非叶)节点中,信令通知一个标志以指示使用哪种划分类型(即水平或垂直),其中0指示水平划分,并且1指示垂直划分。对于四叉树划分,不需要指示划分类型,因为四叉树划分总是水平和垂直地划分块以产生具有相同尺寸的4个子块。
另外,QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前,对于P条带和B条带,一个CTU中的亮度CTB和色度CTB共用相同的QTBT结构。然而,对于I条带,通过QTBT结构将亮度CTB分割为CU,并且通过另一个QTBT结构将色度CTB分割为色度CU。这意味着I条带中的CU由亮度分量的编解码块或两个色度分量的编解码块组成,并且P条带或B条带中的CU由所有三个颜色分量的编解码块组成。
在HEVC中,小块的帧间预测被限制,以减少运动补偿的存储器访问,使得对于4×8块和8×4块不支持双向预测,并且对于4×4块不支持帧间预测。在JEM的QTBT中,这些限制被移除。
2.3.2 QTBT总结
基于四叉树或二叉树的增加的深度,可以将一个CTU递归地划分为多个CU。指定正方形和矩形CB(宽度/高度等于1/2或2)。
模式选择在CU级判定。PU和TU始终等于CU。
2.4用于VVC的多类型树(multiple type tree,MTT)
2.4.1 JVET-D0117中的提议
提出了支持除了四叉树和二叉树以外的树类型。在该实施方式中,引入另外两个三叉树(TT)分割,即水平和垂直中心侧三叉树,如图5E和图5F所示。
在一些实施例中,可以用BT/TT进一步划分BT/TT中的一个分割。因此,允许矩形块。
支持两级树:区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(RT)对CTU进行分割。可以用预测树(PT)进一步划分RT叶。还可以用PT进一步划分PT叶,直到达到最大PT深度。PT叶是基本编解码单元。为方便起见,它仍被称为CU。CU无法被进一步划分。预测和变换都以与JEM相同的方式应用于CU。整个分割结构命名为“多类型树”。
2.4.2 VVC中的分割树
类似地,提出了支持三种类型的分割结构,即QT、BT和TT,如图6A-图6E的示例所示。从QT划分的块可以通过QT/BT/TT进一步划分。从BT或TT划分的块可以进一步划分为BT或TT。然而,从BT或TT划分的块已不能再进一步划分为QT。
在VVC中,信令通知/推导若干个变量以控制不同分割的使用。例如:
分别针对亮度和色度具有偏移的最大多类型树深度maxMttDepth,
最大二叉树尺寸maxBtSize/最大三叉树尺寸maxTtSize
最小四叉树尺寸MinQtSize/最小二叉树尺寸MinBtSize/最小三叉树尺寸minTtSize
7.3.2.1序列参数集RBSP语法
语义
sps_max_mtt_hierarchy_depth_inter_tile_groups指定参考SPS的其tile_group_type等于0(B)或1(P)的片组中的、由四叉树叶的多类型树划分产生的编解码单元的默认最大层次深度。当partition_constraints_override_flag等于1时,默认最大层次深度可以被参考SPS的片组的片组头中存在的tile_group_max_mtt_hierarchy_depth_luma覆盖。
sps_max_mtt_hierarchy_depth_inter_tile_groups的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。
sps_max_mtt_hierarchy_depth_intra_tile_groups_luma指定参考SPS的其tile_group_type等于2(I)的片组中的、由四叉树叶的多类型树划分产生的编解码单元的默认最大层次深度。当partition_constraints_override_flag等于1时,默认最大层次深度可以被参考SPS的片组的片组头中存在的tile_group_max_mtt_hierarchy_depth_luma覆盖。
sps_max_mtt_hierarchy_depth_intra_tile_groups_luma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。
sps_log2_diff_max_bt_min_qt_intra_tile_group_luma指定参考SPS的其tile_group_type等于2(I)的片组中的、可以使用二元(binary)划分来划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)与由CTU的四叉树划分产生的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片组头中存在的tile_group_log2_diff_max_bt_min_qt_luma覆盖。
sps_log2_diff_max_bt_min_qt_intra_tile_group_luma的值应在0至CtbLog2SizeY-MinQtLog2SizeIntraY的范围(包含端点)内。当不存在sps_log2_diff_max_bt_min_qt_intra_tile_group_luma时,
sps_log2_diff_max_bt_min_qt_intra_tile_group_luma的值被推断为等于0。
sps_log2_diff_max_tt_min_qt_intra_tile_group_luma指定参考SPS的其tile_group_type等于2(I)的片组中的、可以使用三元(ternary)划分来划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)与由CTU的四叉树划分产生的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片组头中存在的tile_group_log2_diff_max_tt_min_qt_luma覆盖。
sps_log2_diff_max_tt_min_qt_intra_tile_group_luma的值应在0至CtbLog2SizeY-MinQtLog2SizeIntraY的范围(包含端点)内。当不存在sps_log2_diff_max_tt_min_qt_intra_tile_group_luma时,
sps_log2_diff_max_tt_min_qt_intra_tile_group_luma的值被推断为等于0。
sps_log2_diff_max_bt_min_qt_inter_tile_group指定参考SPS的其tile_group_type等于0(B)或1(P)的片组中的、可以使用二元划分来划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)与由CTU的四叉树划分产生的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片组头中存在的tile_group_log2_diff_max_bt_min_qt_luma覆盖。
sps_log2_diff_max_bt_min_qt_inter_tile_group的值应在0至CtbLog2SizeY-MinQtLog2SizeInterY的范围(包含端点)内。当不存在sps_log2_diff_max_bt_min_qt_inter_tile_group时,
sps_log2_diff_max_bt_min_qt_inter_tile_group的值被推断为等于0。
sps_log2_diff_max_tt_min_qt_inter_tile_group指定参考SPS的其tile_group_type等于0(B)或1(P)的片组中的、可以使用三元划分来划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)与由CTU的四叉树划分产生的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片组头中存在的tile_group_log2_diff_max_tt_min_qt_luma覆盖。
sps_log2_diff_max_tt_min_qt_inter_tile_group的值应在0至CtbLog2SizeY-MinQtLog2SizeInterY的范围(包含端点)内。当不存在sps_log2_diff_max_tt_min_qt_inter_tile_group时,sps_log2_diff_max_tt_min_qt_inter_tile_group的值被推断为等于0。
sps_log2_diff_min_qt_min_cb_intra_tile_group_chroma指定参考SPS的其tile_group_type等于2(I)的片组中的、由其treeType等于DUAL_TREE_CHROMA的色度CTU的四叉树划分产生的色度叶块的亮度样点中的最小尺寸的以2为底的对数与treeType等于DUAL_TREE_CHROMA的色度CTU的亮度样点中的最小编解码块尺寸的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片组头中存在的tile_group_log2_diff_min_qt_min_cb_chroma覆盖。sps_log2_diff_min_qt_min_cb_intra_tile_group_chroma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。当不存在时,sps_log2_diff_min_qt_min_cb_intra_tile_group_chroma的值被推断为等于0。由其treeType等于DUAL_TREE_CHROMA的CTU的四叉树划分产生的色度叶块的亮度样点的最小尺寸的以2为底的对数被推导如下:
MinQtLog2SizeIntraC=sps_log2_diff_min_qt_min_cb_intra_tile_group_chroma+MinCbLog2SizeY (728)
sps_max_mtt_hierarchy_depth_intra_tile_groups_chroma指定参考SPS的其tile_group_type等于2(I)的片组中的、由其treeType等于DUAL_TREE_CHROMA的色度四叉树叶的多类型树划分产生的色度编解码单元的默认最大层次深度。当partition_constraints_override_flag等于1时,默认最大层次深度可以由参考SPS的片组的片头中存在的tile_group_max_mtt_hierarchy_depth_chroma覆盖。sps_max_mtt_hierarchy_depth_intra_tile_groups_chroma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。当不存在时,则sps_max_mtt_hierarchy_depth_intra_tile_groups_chroma的值被推断为等于0。
sps_log2_diff_max_bt_min_qt_intra_tile_group_chroma指定参考SPS的其tile_group_type等于2(I)的片组中的、可以使用二元划分来划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)与由其treeType等于DUAL_TREE_CHROMA的色度CTU的四叉树划分产生的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片头中存在的tile_group_log2_diff_max_bt_min_qt_chroma覆盖。sps_log2_diff_max_bt_min_qt_intra_tile_group_chroma的值应在0至CtbLog2SizeY-MinQtLog2SizeIntraC的范围(包含端点)内。当不存在sps_log2_diff_max_bt_min_qt_intra_tile_group_chroma时,sps_log2_diff_max_bt_min_qt_intra_tile_group_chroma的值被推断为等于0。
sps_log2_diff_max_tt_min_qt_intra_tile_group_chroma指定参考SPS的其tile_group_type等于2(I)的片组中的、可以使用三元划分来划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)与由其treeType等于DUAL_TREE_CHROMA的色度CTU的四叉树划分产生的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的默认差值。当partition_constraints_override_flag等于1时,默认差值可以由参考SPS的片组的片头中存在的tile_group_log2_diff_max_tt_min_qt_chroma覆盖。sps_log2_diff_max_tt_min_qt_intra_tile_group_chroma的值应在0至CtbLog2SizeY-MinQtLog2SizeIntraC的范围(包含端点)内。当不存在sps_log2_diff_max_tt_min_qt_intra_tile_group_chroma时,sps_log2_diff_max_tt_min_qt_intra_tile_group_chroma的值被推断为等于0。
2.4.2.1 BT和TT的使用限制
2.4.2.1.1变量定义
tile_group_log2_diff_min_qt_min_cb_luma指定当前片组中的、由CTU的四叉树划分产生的亮度叶块的亮度样点中的最小尺寸的以2为底的对数与亮度CU的亮度样点中的最小编解码块尺寸的以2为底的对数之间的差值。tile_group_log2_diff_min_qt_min_cb_luma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。当不存在时,tile_group_log2_diff_min_qt_min_cb_luma的值被推断如下:
-如果tile_group_type等于2(I),则
tile_group_log2_diff_min_qt_min_cb_luma的值被推断为等于sps_log2_diff_min_qt_min_cb_intra_tile_group_luma;
-否则(tile_group_type等于0(B)或1(P)),则tile_group_log2_diff_min_qt_min_cb_luma的值被推断为等于sps_log2_diff_min_qt_min_cb_inter_tile_group。
tile_group_max_mtt_hierarchy_depth_luma指定当前片组中的、由四叉树叶的多类型树划分产生的编解码单元的最大层次深度。tile_group_max_mtt_hierarchy_depth_luma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。当不存在时,tile_group_max_mtt_hierarchy_depth_luma的值被推断如下:
-如果tile_group_type等于2(I),则tile_group_max_mtt_hierarchy_depth_luma的值被推断为等于sps_max_mtt_hierarchy_depth_intra_tile_groups_luma;
-否则(tile_group_type等于0(B)或1(P)),则tile_group_max_mtt_hierarchy_depth_luma的值被推断为等于sps_max_mtt_hierarchy_depth_inter_tile_groups。
tile_group_log2_diff_max_bt_min_qt_luma指定当前片组中的、可以使用二元划分来划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)与由CTU的四叉树划分产生的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。tile_group_log2_diff_max_bt_min_qt_luma的值应在0至CtbLog2SizeY-MinQtLog2SizeY的范围(包含端点)内。当不存在时,tile_group_log2_diff_max_bt_min_qt_luma的值被推断如下:
-如果tile_group_type等于2(I),则tile_group_log2_diff_max_bt_min_qt_luma的值被推断为等于sps_log2_diff_max_bt_min_qt_intra_tile_group_luma;
-否则(tile_group_type等于0(B)或1(P)),则tile_group_log2_diff_max_bt_min_qt_luma的值被推断为等于sps_log2_diff_max_bt_min_qt_inter_tile_group。
tile_group_log2_diff_max_tt_min_qt_luma指定当前片组中的、可以使用三元划分来划分的亮度编解码块的亮度样点的最大尺寸(宽度或高度)与由CTU的四叉树划分产生的亮度叶块的亮度样点的最小尺寸(宽度或高度)的以2为底的对数之间的差值。tile_group_log2_diff_max_tt_min_qt_luma的值应在0至CtbLog2SizeY-MinQtLog2SizeY的范围(包含端点)内。当不存在时,tile_group_log2_diff_max_tt_min_qt_luma的值被推断如下:
-如果tile_group_type等于2(I),则tile_group_log2_diff_max_tt_min_qt_luma的值被推断为等于sps_log2_diff_max_tt_min_qt_intra_tile_group_luma;
-否则(tile_group_type等于0(B)或1(P)),tile_group_log2_diff_max_tt_min_qt_luma的值被推断为等于sps_log2_diff_max_tt_min_qt_inter_tile_group。
tile_group_log2_diff_min_qt_min_cb_chroma指定当前片组中的、由treeType等于DUAL_TREE_CHROMA的色度CTU的四叉树划分产生的色度叶块的亮度样点中的最小尺寸的以2为底的对数与其treeType等于DUAL_TREE_CHROMA的色度CU的亮度样点中的最小编解码块尺寸的以2为底的对数之间的差值。tile_group_log2_diff_min_qt_min_cb_chroma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。当不存在时,tile_group_log2_diff_min_qt_min_cb_chroma的值被推断为等于sps_log2_diff_min_qt_min_cb_intra_tile_group_chroma。
tile_group_max_mtt_hierarchy_depth_chroma指定当前片组中的、由其treeType等于DUAL_TREE_CHROMA的四叉树叶的多类型树划分产生的编解码单元的最大层次深度。tile_group_max_mtt_hierarchy_depth_chroma的值应在0至CtbLog2SizeY-MinCbLog2SizeY的范围(包含端点)内。当不存在时,tile_group_max_mtt_hierarchy_depth_chroma的值被推断为等于sps_max_mtt_hierarchy_depth_intra_tile_groups_chroma。
tile_group_log2_diff_max_bt_min_qt_chroma指定当前片组中的、可以使用二元划分来划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)与由其treeType等于DUAL_TREE_CHROMA的色度CTU的四叉树划分产生的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。tile_group_log2_diff_max_bt_min_qt_chroma的值应在0至CtbLog2SizeY-MinQtLog2SizeC的范围(包含端点)内。当不存在时,tile_group_log2_diff_max_bt_min_qt_chroma的值被推断为等于sps_log2_diff_max_bt_min_qt_intra_tile_group_chroma。
tile_group_log2_diff_max_tt_min_qt_chroma指定当前片组中的、可以使用三元划分来划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)与由其treeType等于DUAL_TREE_CHROMA的色度CTU的四叉树划分产生的色度叶块的亮度样点的最小尺寸(宽度或高度)的以2为底的对数之间的差值。tile_group_log2_diff_max_tt_min_qt_chroma的值应在0至CtbLog2SizeY-MinQtLog2SizeC的范围(包含端点)内。当不存在时,tile_group_log2_diff_max_tt_min_qt_chroma的值被推断为等于sps_log2_diff_max_tt_min_qt_intra_tile_group_chroma。
变量MinQtLog2SizeY、MinQtLog2SizeC、MinQtSizeY、MinQtSizeC、MaxBtSizeY、MaxBtSizeC、MinBtSizeY、MaxTtSizeY、MaxTtSizeC、MinTtSizeY、MaxMttDepthY和MaxMttDepthC被推导如下:
MinQtLog2SizeY=MinCbLog2SizeY+tile_group_log2_diff_min_qt_min_cb_luma (7-33)
MinQtLog2SizeC=MinCbLog2SizeY+tile_group_log2_diff_min_qt_min_cb_chroma (7-34)
MinQtSizeY=1<<MinQtLog2SizeY (7-35)
MinQtSizeC=1<<MinQtLog2SizeC (7-36)
MaxBtSizeY=1<<(MinQtLog2SizeY+tile_group_log2_diff_max_bt_min_qt_luma) (7-37)
MaxBtSizeC=1<<(MinQtLog2SizeC+tile_group_log2_diff_max_bt_min_qt_chroma) (7-38)
MinBtSizeY=1<<MinCbLog2SizeY (7-39)
MaxTtSizeY=1<<(MinQtLog2SizeY+tile_group_log2_diff_max_tt_min_qt_luma) (7-40)
MaxTtSizeC=1<<(MinQtLog2SizeC+tile_group_log2_diff_max_tt_min_qt_chroma) (7-41)
MinTtSizeY=1<<MinCbLog2SizeY (7-42)
MaxMttDepthY=tile_group_max_mtt_hierarchy_depth_luma (7-43)
MaxMttDepthC=tile_group_max_mtt_hierarchy_depth_chroma (7-44)
log2_ctu_size_minus2、log2_min_luma_coding_block_size_minus2在SPS中被信令通知。
log2_ctu_size_minus2加2指定每个CTU的亮度编解码树块尺寸。
log2_min_luma_coding_block_size_minus2加2指定最小亮度编解码块尺寸。
变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY、MaxTbSizeY、PicWidthInCtbsY、PicHeightInCtbsY、PicSizeInCtbsY、PicWidthInMinCbsY、PicHeightInMinCbsY、PicSizeInMinCbsY、PicSizeInSamplesY、PicWidthInSamplesC和PicHeightInSamplesC被推导如下:
CtbLog2SizeY=log2_ctu_size_minus2+2 (7-7)
CtbSizeY=1<<CtbLog2SizeY (7-8)
MinCbLog2SizeY=log2_min_luma_coding_block_size_minus2+2 (7-9)
MinCbSizeY=1<<MinCbLog2SizeY (7-10)
MinTbLog2SizeY=2 (7-11)
MaxTbLog2SizeY=6 (7-12)
MinTbSizeY=1<<MinTbLog2SizeY (7-13)
MaxTbSizeY=1<<MaxTbLog2SizeY (7-14)
PicWidthInCtbsY=Ceil(pic_width_in_luma_samples÷CtbSizeY) (7-15)
PicHeightInCtbsY=Ceil(pic_height_in_luma_samples÷CtbSizeY) (7-16)
PicSizeInCtbsY=PicWidthInCtbsY*PicHeightInCtbsY (7-17)
PicWidthInMinCbsY=pic_width_in_luma_samples/MinCbSizeY (7-18)
PicHeightInMinCbsY=pic_height_in_luma_samples/MinCbSizeY (7-19)
PicSizeInMinCbsY=PicWidthInMinCbsY*PicHeightInMinCbsY (7-20)
PicSizeInSamplesY=pic_width_in_luma_samples*pic_height_in_luma_samples (7-21)
PicWidthInSamplesC=pic_width_in_luma_samples/SubWidthC (7-22)
PicHeightInSamplesC=pic_height_in_luma_samples/SubHeightC (7-23)
[Ed.(BB):当前,最大变换尺寸(64×64亮度样点和对应的色度样点尺寸)和最小变换尺寸(4×4亮度样点和对应的色度样点)是固定的,有待进一步规范开发。]
2.4.2.1.2允许的二元划分过程
该过程的输入是:
-二元划分模式btSplit,
-编解码块宽度cbWidth,
-编解码块高度cbHeight,
-所考虑的编解码块的左上方亮度样点相对于图片的左上方亮度样点的位置(x0,y0),
-多类型树深度mttDepth,
-具有偏移的最大多类型树深度maxMttDepth,
-最大二叉树尺寸maxBtSize,
-分割索引partIdx。
-该过程的输出是变量allowBtSplit。
表1:基于btSplit的parallelTtSplit和cbSize的规范
btSplit==SPLIT_BT_VER | btSplit==SPLIT_BT_HOR | |
parallelTtSplit | SPLIT_TT_VER | SPLIT_TT_HOR |
cbSize | cbWidth | cbHeight |
变量parallelTtSplit和cbSize如表1所示被推导。
变量allowBtSplit被推导如下:
-如果以下条件中的一个或多个为真,则allowBtSplit被设置为等于FALSE(假):
//根据块尺寸和最大允许MTT深度
-cbSize小于或等于MinBtSizeY
-cbWidth大于maxBtSize
-cbHeight大于maxBtSize
-mttDepth大于或等于maxMttDepth
-否则,如果以下所有条件为真,则allowBtSplit被设置为等于FALSE
//根据图片边界(底部图片边界和右下方图片边界没有垂直BT)
-btSplit等于SPLIT_BT_VER
-y0+cbHeight大于pic_height_in_luma_samples
-否则,如果以下所有条件为真,则allowBtSplit被设置为等于FALSE
//根据图片边界(右方图片边界没有水平BT)
-btSplit等于SPLIT_BT_HOR
-x0+cbWidth大于pic_width_in_luma_samples
-y0+cbHeight小于或等于pic_height_in_luma_samples
-否则,如果以下所有条件为真,则allowBtSplit被设置为等于FALSE:
//根据在上一级别(mttDepth-1)的TT分割
-mttDepth大于0
-partIdx等于1
-MttSplitMode[x0][y0][mttDepth-1]等于parallelTtSplit
//根据变换尺寸(例如,当MaxTbSizeY等于64时,对于64×128,没有垂直BT;对于128×64,没有水平BT)
-否则,如果以下所有条件为真,则allowBtSplit被设置为等于FALSE
-btSplit等于SPLIT_BT_VER
-cbWidth小于或等于MaxTbSizeY
-cbHeight大于MaxTbSizeY
-否则,如果以下所有条件为真,则allowBtSplit被设置为FALSE
-btSplit等于SPLIT_BT_HOR
-cbWidth大于MaxTbSizeY
-cbHeight小于或等于MaxTbSizeY
-否则,allowBtSplit被设置为等于TRUE。
2.4.2.1.3允许的三元划分过程
该过程的输入是:
-三元划分模式ttSplit,
-编解码块宽度cbWidth,
-编解码块高度cbHeight,
-所考虑的编解码块的左上方亮度样点相对于图片的左上方亮度样点的位置(x0,y0),
-多类型树深度mttDepth
-具有偏移的最大多类型树深度maxMttDepth,
-最大二叉树尺寸maxTtSize。
该过程的输出是变量allowTtSplit。
表2:基于ttSplit的cbSize的规范
ttSplit==SPLIT_TT_VER | ttSplit==SPLIT_TT_HOR | |
cbSize | cbWidth | cbHeight |
变量cbSize被推导如表2所示。
变量allowTtSplit被推导如下:
-如果以下条件中的一个或多个为真,则allowTtSplit被设置为FALSE://根据块尺寸
-cbSize小于或等于2*MinTtSizeY
-cbWidth大于Min(MaxTbSizeY,maxTtSize)
-cbHeight大于Min(MaxTbSizeY,maxTtSize)
//根据最大允许MTT深度
-mttDepth大于或等于maxMttDepth
//根据是否位于图片边界
-x0+cbWidth大于pic_width_in_luma_samples
-y0+cbHeight大于pic_height_in_luma_samples
-否则,allowTtSplit被设置为等于TRUE(真)。
2.5AVS3中的分割树结构
在AVS3中,采用了扩展四叉树(EQT)分割,这进一步扩展QTBT方案并增加分割灵活性。更特别地,EQT将父CU划分为四个不同尺寸的子CU,其可以适当地对不能用QTBT精确特征化的局部图像内容进行建模。同时,EQT分割允许与BT分割进行交织,以增强适应性。
利用EQT分割,将父CU划分为四个不同尺寸的子CU。如图7所示,EQT在水平方向上将M×N父CU划分为两个M×N/4CU和两个M/2×N/2CU。类似地,EQT垂直分割生成两个N×M/4CU和两个M/2×N/2CU。特别地,EQT子块尺寸始终为2的幂,从而不必进行附加变换。
在QTBT的结构中,首先信令通知QT划分标志以指示当前CU是否被QT划分。如此以来,当该标志为假时,第二信号将被编码以指示当前CU划分模式是非划分还是BT划分。对于BT划分CU,信令通知第三位元(DIR)以区分水平BT或垂直BT划分。当引入EQT分割时,在BT和EQT都可用的情况下,信令通知一个称为isEQT的附加位元以指示它是否是EQT分割,如图8所示。
2.6 UQT
在我们的P1809119401H中提出了非对称四叉树(UQT)分割。利用UQT,将维度为W×H的块划分为四个分割,维度为W1×H1、W2×H2、W3×H3和W4×H4,其中W1、W2、W3、W4、H1、H2、H3、H4都为整数。所有参数都为2的幂形式。例如,W1=2N1、W2=2N2、W3=2N3、W4=2N4、H1=2M1、H2=2M2、H3=2M3、H4=2M4。一些示例在图9A-图9F中示出。
3.现有系统的缺点和问题
尽管VVC中的QT/BT/TT编解码树结构非常灵活,但是仍然存在不能由QT/BT/TT/EQT/UQT获得的某些分割图案。
4.用于五叉树(quinary tree)划分的示例性方法
为了解决该问题,提出了若干种方法来引入其他类型的分割结构,这些分割结构可以将一个块划分为四个以上的分割。
下面的详细发明应当被认为是示例以解释一般概念。这些实施例不应当以狭义的方式解释。此外,这些实施例可以以任何方式组合。
在以下讨论中,分割树可以指示QT、BT、TT或非对称四叉树(UQT)、EQT或其他。而分割/划分方向可以指示水平划分或垂直划分或对角线划分或其他。一个分割由其分割树类型和分割方向表示。
QT、BT、TT、UQT或EQT可以分别指代“QT划分”、“BT划分”、“TT划分”、“UQT划分”、“EQT划分”。
在以下讨论中,“划分”和“分割”具有相同的含义。所提出的方法也可以适用于现有分割树。
提出的分割类型的定义
1.提出了五叉树(QUI-T)分割。利用QUI-T,维度为W×H的块被划分为五个较小的块。当使用这种分割的指示为真时,将这样的块直接划分为五个较小的块(也称为划分子块)。较小的块可以被视为编解码单元/预测单元/变换单元。较小的块的每个维度可以用Wi×Hi(i为0…4,指示分割索引)表示,并且Wi、Hi均为整数。
a.在一个示例中,每个较小的块可以诸如以递归的方式被进一步划分为甚至更小的块。
b.在一个示例中,所有维度都以2的幂的形式。
i.例如,W0=2N0、W1=2N1、W2=2N2、W3=2N3、W4=2N4、H0=2M0、H1=2M1、H2=2M2、H3=2M3、H4=2M4。
c.在一个示例中,QUI-T在水平和垂直方向上都划分一个块。这种情况称为混合方向。图10A、图10B和图10D给出了一些示例。
i.例如,Wi中的至少一个不等于W。
ii.例如,Hi中的至少一个不等于H。
d.在一个示例中,QUI-T仅在垂直方向上划分一个块。
i.例如,H0=H1=H2=H3=H4=H。图10C给出了一个示例。
e.在一个示例中,QUI-T仅在水平方向上划分一个块。
i.例如,W0=W1=W2=W3=W4=W。图10E给出了一个示例。f.在一个示例中,分割之一(尺寸等于Wx×Hx)与其他分割相比具有不同的块尺寸。
i.在一个示例中,其他四个分割具有相同尺寸。
ii.在一个示例中,Wx=1/2W且Wy=1/8W(y!=x),其中x是在[0,4]范围内的值。可替代地,此外,x等于1或3。
1.图10C给出了一个示例,其中W3=1/2W,Wy=1/8W(y!=3)。
iii.在一个示例中,Hx=1/2H且Hy=1/8H(y!=x)。可替代地,此外,x等于1或3。
iv.在一个示例中,Wx=W-((W/5)<<2)且Wy=W/5(y!=x),其中x为[0,4]范围内的值。
v.在一个示例中,Wx=W-((W/M)<<2)且Wy=W/M(y!=x)其中,M是整数,诸如8、16、32、64。
g.在一个示例中,分割中的两个分割可以具有相等尺寸(尺寸等于Wx×Hx),其他分割具有相等但不同于这两个分割的尺寸。
i.在一个示例中,Wx=1/8W,Wy=1/4W(对于所有y!=x的y)。可替代地,此外,x等于0和3。可替代地,此外,x等于0和4。可替代地,此外,x等于1和3。可替代地,此外,x等于1和4。
1.图10C给出了示例,其中W1=W3=1/8W且Wy=1/4W(y!=3&&y!=1)。
ii.在一个示例中,Hx=1/8H且Hy=1/4H(对于所有y!=x的y)。可替代地,此外,x等于0和3。可替代地,此外,x等于0和4。可替代地,此外,x等于1和3。可替代地,此外,x等于1和4。
h.在一个示例中,分割中的两个分割可以具有相等尺寸(尺寸等于Wx×Hx),其他三个分割可以具有不同尺寸。
i.在一个示例中,对于尺寸相等的两个分割,Wx=1/16W;并且Wi=2/16W;Wj=4/16W,且Wk=8/16W,其中i、j、k不等于x。
1.图10C给出了示例,其中W0=W4=1/16W;W1=2/16W;W2=4/16W和W3=8/16W。
ii.在一个示例中,对于具有相等尺寸的两个分割,Hx=1/16H;并且Hi=2/16W;Hj=4/16W,且Hk=8/16W,其中i、j、k不等于x。
iii.可替代地,五个分割中的两个分割可以具有相等尺寸(尺寸等于Wx×Hx),其余三个分割中的两个分割具有相同尺寸。
i.在上面和下面的描述中,1/16W或1/8W表示1/16×W或1/8×W,或记为W/16或W/8。
j.在一个示例中,W0=W4=W/8且W1=W2=W3=W/4,H0=H1=H2=H3=H4=H。
k.在一个示例中,H0=H4=H/8且H1=H2=H3=H/4,W0=W1=W2=W3=W4=W。
l.在一示例中,在当前块通过五元划分进行划分时,一个或多个子块不允许进行一个或多个划分。
i.例如,如果当前块通过五元划分被划分为五个子块:B0:W/8×H,B1:W/4×H,B2:W/4×H,B3:W/4×H,B4:W/8×H,则:
1.在一个示例中,不允许Bx通过垂直BT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
2.在一个示例中,不允许Bx通过垂直TT进行划分,其中x可以是0、1、2、3、4中的一个或多个;
3.在一个示例中,不允许Bx通过水平BT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
4.在一个示例中,不允许Bx通过水平TT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
5.在一个示例中,不允许Bx通过QT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
ii.例如,如果当前块通过五元划分被划分为五个子块:B0:W×H/8,B1:W×H/4,B2:W×H/4,B3:W×H/4,B4:W×H/8,则:
1.在一个示例中,不允许Bx通过水平BT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
2.在一个示例中,不允许Bx通过水平TT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
3.在一个示例中,不允许Bx通过垂直BT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
4.在一个示例中,不允许Bx通过垂直TT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
5.在一个示例中,不允许Bx通过QT进行划分,其中x可以是0、1、2、3、4中的一个或一些;
m.可以将上述方法扩展到其他六叉(Senary)树、七叉(Septenary)树、八叉(Octonary)树分割(SnT、StT、OctT),其中一个块可以被划分为6、7或8个较小的块。六叉树分割的示例在图11A和图11B中示出。
n.在图10A-图10E中描绘了一些示例性分割。
o.编解码顺序(由PIdx 0..4表示)可以与图10A-图10E中定义的不同。
i.一个QUI-T图案的编解码顺序可以被预定义。
ii.可替代地,可以针对一个QUI-T图案预定义多个编解码顺序,并且一个块可以从它们中选择一个,诸如经由在解码器侧信令通知所选择的编解码顺序或推导的指示。
与其他分割类型的交互
2.通过QUI-T划分为子块的块可以通过一个或一些特定种类的划分方法从父块划分。
a.可以允许QUI-T分割的块可以是由QT或BT或TT或QUI-T分割生成的块。
b.例如,通过QUI-T划分为子块的块只能通过QT从父块划分。
c.允许QUI-T分割的块可以是根块。
3.通过QUI-T从父块划分的块可以通过一个或多个其他分割类型(诸如QT、BT、TT、QUI-T、UQT)进一步划分为子块。
a.例如,通过QUI-T从父块划分的块可以进一步通过BT和/或TT划分为子块。
b.例如,通过QUI-T从父块划分的块可以通过BT和/或TT和/或QUI-T(但不通过QT)进一步划分为子块。
c.例如,通过QUI-T从父块划分的块可以通过QUI-T和/或QT(但不通过BT/TT)进一步划分为子块。
d.例如,通过QUI-T从父块划分的块不能通过QT进一步划分为子块。
e.可替代地,QUI-T划分的块可以不被进一步划分为子块。
4.当父块通过QUI-T被划分为子块时,子块的划分深度可以从父块的划分深度中推导出。
a.在一个示例中,由于QUI-T的划分可以被用于更新QT/BT/TT/QUI-T/MTT深度。
i.在一个示例中,一个或所有子块的QT深度等于父块的QT深度加1。
ii.在一个示例中,一个或所有子块的BT深度等于父块的BT深度加1。
iii.在一个示例中,一个或所有子块的TT深度等于父块的TT深度加1。
iv.在一个示例中,一个或所有子块的QUI-T深度等于父块的QUI-T深度加1。
v.在一个示例中,一个或所有子块的MTT深度等于父块的MTT深度加1。
1.例如,如果父块通过BT被划分为子块,则子块的MTT深度等于父块的MTT深度加1。
2.例如,如果父块通过TT被划分为子块,则子块的MTT深度等于父块的MTT深度加1。
b.在一个示例中,对于不同的子块,QUI-T/BT/TT/QT/MTT深度增量可以不同。
i.深度增量取决于子块与父块的比率。
QUI-T的使用限制
5.在一个示例中,可以允许QUI-T分割的最大/最小块尺寸和/或可以允许QUI-T分割的最大比特深度和/或最大深度可以在SPS/PPS/VPS/APS/序列头/图片头/条带头/片组头/CTU行/区域等中信令通知。
a.可以允许QUI-T分割的最大/最小块尺寸和/或可以允许QUI-T分割的最大深度可以从其他值推导出,诸如MTT的深度或QT的深度。
b.允许QUI-T分割的最大块可以是最大的编解码块(编解码树块或编解码树单元)。
c.例如,允许QUI-T分割的最大块可以是虚拟管线数据单元(virtual pipelinedata unit,VPDU)。
d.在一个示例中,可以允许QUI-T分割的最大/最小块尺寸和/或可以允许QUI-T分割的最大深度可以取决于标准的档次/级别/层(tier)。
e.在一个示例中,可以允许QUI-T分割的最大/最小块尺寸和/或可以允许QUI-T分割的最大深度可以被推导出,诸如用于QT分割的相同。
f.在一个示例中,可以允许QUI-T分割的最大/最小块尺寸和/或可以允许QUI-T分割的最大深度可以取决于片组片/条带类型/颜色分量/双树是否被启用。
g.在一个示例中,对于不同的QUI-T图案,可以允许QUI-T分割的最大/最小块尺寸和/或可以允许QUI-T分割的最大深度可以不同。
h.当根据QUI-T划分一个块时,可以相应地调整(例如,增加1)一个较小块的QUI-T的对应深度。
i.可替代地,一个较小块的特定分割(例如,QT)的相应深度可以相应地被调整(例如,增加1)。
ii.可替代地,一个较小块的相应MTT深度可以相应地被调整(例如,增加1)。
iii.不同较小块的对应深度的调整可以以相同的方式完成(例如,增加1)。
1.可替代地,不同较小块的对应深度的调整可以以不同的方式完成(例如,增加1)。例如,调整取决于较小块的块维度。
6.如果一个划分的子块跨越多个虚拟管道数据单元(VPDU),则不允许QUI-T。
a.可替代地,仍然允许QUI-T,然而,这种子块被强制进一步划分,直到没有子块跨越一个以上的VPDU。
7.如果当前块(或任何划分的子块)的宽度/高度满足某些条件,则不允许QUI-T。(假设当前块的宽度和高度是W和H,T1、T2和T是一些整数)。
a.如果W>=T1且H>=T2,则不允许QUI-T;
b.如果W>=T1或H>=T2,则不允许QUI-T;
c.如果W<=T1且H<=T2,则不允许QUI-T;
d.如果W<=T1或H<=T2,则不允许QUI-T;
e.如果W×H<=T,则不允许QUI-T;
f.如果W×H>=T,则不允许QUI-T;
g.如果H<=T,则不允许水平QUI-T;例如,T=16。
h.如果H>=T,则不允许水平QUI-T;例如,T=128。
i.如果W<=T,则不允许垂直QUI-T;例如,T=16。
j.如果W>=T,则不允许垂直QUI-T;例如,T=128。
k.T1、T2和T可以以VPS/SPS/PPS/图片头/条带头/片组头/片头从编码器信令通知给解码器。
l.T1、T2和T可以取决于颜色分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
i.在一个示例中,所信令通知的诸如T1、T2和/或T之类的阈值可以由QUI-T和TT共用。
ii.在一个示例中,所信令通知的诸如T1、T2和/或T之类的阈值可以由QUI-T和BT共用。
m.T1、T2和T可以取决于亮度编解码树和色度编解码树是否分离。例如,如果亮度编解码树和色度编解码树是分离的,则对于亮度和色度分量,T1、T2和T可以不同。
n.可替代地,当至少一个子块由于QUI-T而不支持变换时,QUI-T划分是无效的。
o.可替代地,当一个块的深度超过QUI-T划分的允许深度时,QUI-T划分是无效的。
p.可替代地,当任何子块尺寸由于QUI-T划分而小于允许的块尺寸时,QUI-T划分是无效的。
8.如果当前块(或任何划分的子块)的宽度/高度满足某些条件,则允许QUI-T。(假设当前块的宽度和高度是W和H,T1、T2和T是一些整数)。
a.如果W>=T1且H>=T2,则允许QUI-T;
b.如果W>=T1或H>=T2,则允许QUI-T;
c.如果W<=T1且H<=T2,则允许QUI-T;
d.如果W<=T1或H<=T2,则允许QUI-T;
e.如果W×H<=T,则允许QUI-T;
f.如果W×H>=T,则允许QUI-T;
g.如果H<=T,则允许水平QUI-T;例如,T=64。
h.如果H>=T,则允许水平QUI-T;例如,T=32。
i.如果W<=T,则允许垂直QUI-T;例如,T=64。
j.如果W>=T,则允许垂直QUI-T;例如,T=32。
k.T1、T2和T可以以VPS/SPS/PPS/图片头/条带头/片组头/片头从编码器信令通知给解码器。
i.在一个示例中,所信令通知的诸如T1、T2和/或T之类的阈值可以由QUI-T和TT共用。
ii.在一个示例中,所信令通知的诸如T1、T2和/或T之类的阈值可以由QUI-T和BT共用。
l.T1、T2和T可以取决于颜色分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
m.T1、T2和T可以取决于亮度编解码树和色度编解码树是否分离。例如,如果亮度编解码树和色度编解码树是分离的,则对于亮度和色度分量,T1、T2和T可以不同。
9.如果当前块的深度满足某些条件,则不允许QUI-T。当前块的深度可以指QT深度、BT深度、TT深度、QUI-T深度或MTT深度。
a.如果划分深度<=T,则不允许QUI-T;
b.如果划分深度>=T,则不允许QUI-T;
c.如果QT划分深度<=T,则不允许QUI-T;
d.如果QT划分深度>=T,则不允许QUI-T;
e.如果BT划分深度>=T,则不允许QUI-T;
f.如果BT划分深度<=T,则不允许QUI-T;
g.如果TT划分深度>=T,则不允许QUI-T;
h.如果TT划分深度<=T,则不允许QUI-T;
i.如果QUI-T划分深度<=T,则不允许QUI-T;
j.如果QUI-T划分深度>=T,则不允许QUI-T;
k.如果MTT划分深度<=T,则不允许QUI-T;
l.如果MTT划分深度>=T,则不允许QUI-T;
m.T可以以VPS/SPS/PPS/图片头/条带头/片组头/片头从编码器信令通知给解码器。
n.T可以取决于颜色分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
o.T可以取决于亮度编解码树和色度编解码树是否分离。例如,如果亮度编解码树和色度编解码树是分离的,则对于亮度和色度分量,T1、T2和T可以不同。
10.如果当前块的深度满足某些条件,则允许QUI-T。当前块的深度可以指QT深度、BT深度、TT深度、QUI-T深度或MTT深度。
a.如果划分深度<=T,则允许QUI-T;
b.如果划分深度>=T,则允许QUI-T;
c.如果QT划分深度<=T,则允许QUI-T;
d.如果QT划分深度>=T,则允许QUI-T;
e.如果BT划分深度>=T,则允许QUI-T;
f.如果BT划分深度<=T,则允许QUI-T;
g.如果TT划分深度>=T,则允许QUI-T;
h.如果TT划分深度<=T,则允许QUI-T;
i.如果QUI-T划分深度<=T,则允许QUI-T;
j.如果QUI-T划分深度>=T,则允许QUI-T;
k.如果MTT划分深度<=T,则允许QUI-T;
l.如果MTT划分深度>=T,则允许QUI-T;
m.T可以以VPS/SPS/PPS/图片头/条带头/片组头/片头从编码器信令通知给解码器。
n.T可以取决于颜色分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
o.T可以取决于亮度编解码树和色度编解码树是否分离。例如,如果亮度编解码树和色度编解码树是分离的,则对于亮度和色度分量,T1、T2和T可以不同。
11.是否以及如何使用QUI-T可以取决于当前块的位置。例如,是否以及如何使用QUI-T可以取决于当前块是否越过图片/片/片组边界。
a.在一个示例中,如果当前块越过图片/片/片组底边界,则不允许垂直QUI-T。
b.在一个示例中,如果当前块越过图片/片/片组底边界,则不允许水平QUI-T。
c.在一个示例中,如果当前块越过图片/片/片组右边界,则不允许垂直QUI-T。
d.在一个示例中,如果当前块越过图片/片/片组右边界,则不允许水平QUI-T。
e.在一个示例中,如果当前块越过图片/片/片组右边界,则可能不允许混合QUI-T。
f.在一个示例中,如果当前块越过图片/片/片组底边界,则可能不允许混合QUI-T。
g.在一个示例中,如果通过QUI-T划分的子块完全在图片/片/片组之外,则在编码/解码过程中可以省略该子块。
h.在一个示例中,如果通过QUI-T划分的子块部分地在图片/片/片组之外,则以下可以适用:
i.在编码/解码过程中可以省略图片之外的部分。
ii.图片之内的部分可以被进一步划分。
iii.图片之内的部分可以被编解码为CU。
1.图片之内的部分是否编解码为CU可以取决于该部分的宽度(w)和高度(h)。
a.在一个示例中,如果w=2nw,h=2nh,图片之内的该部分可以被编解码为CU,其中nw和nh是整数。
i.在一个示例中,如果由QUI-T划分的任何子块部分/全部在图片/片/片组之外,则不允许QUI-T。
12.当不允许QUI-T或某些QUI-T图案时,也可以跳过用于指示使用该图案的信令。
a.可替代地,它仍然可以被信令通知,但是在一致性比特流中被限制为假。
13.当子块从QUI-T划分时,则子块不允许用一种或多种以下划分方法进一步划分,如:
a.QT
b.水平BT
c.垂直BT
d.水平TT
e.垂直BT
f.水平UQT
g.垂直UQT
h.QUI-T
提出了QUI-T可以仅应用于叶节点,例如,当一个块没有根据其他分割被进一步划分时。
i.在一个示例中,可以信令通知叶节点是否使用QUI-T的一标志。
i.可替代地,此外,可以进一步信令通知哪种QUI-T的指示。
j.可替代地,可以为叶节点信令通知禁用QUI-T或哪种QUI-T的指示。
QUI-T的使用指示
14.是否应用QUI-T和/或应用哪种QUI-T可以从编码器信令通知给解码器。
a.在一个示例中,它可以在VPS/SPS/PPS/序列头/图片头/条带头/片组头/片头中被信令通知,以指示是否可以应用QUI-T。
b.在一个示例中,它可以在VPS/SPS/PPS/序列头/图片头/条带头/片组头/片头中被信令通知,以指示可以应用哪种QUI-T。
c.在一个示例中,它可以在块中被信令通知以指示是否使用QUI-T来划分该块。
d.在一个示例中,它可以在块中被信令通知,以指示使用哪种QUI-T来划分该块。
e.在一个示例中,可以为不同的块形状/尺寸设计不同的QUI-T集合。
f.在一个示例中,可以为具有不同时域层的图片/片/条带设计不同的QUI-T集合。
g.在一个示例中,是否或如何应用QUI-T可以取决于视频分辨率/图片分辨率/编解码模式/视频特性(屏幕内容或相机捕获的序列或混合内容)/条带类型/图片类型/片组类型/低延迟检查标志。
15.可以信令通知一个语法元素以指示没有划分或分割(包括分割树类型和划分方向)。
a.可替代地,可以首先信令通知一个语法元素以指示是否划分;并且可以信令通知另一个语法元素以指示该分割。
16.分割的指示可以由两个语法元素来表示:可以首先信令通知所选择的分割树类型,如果需要,随后是划分方向。
a.在一个示例中,分割树类型的索引可以在块中被信令通知,以指示块是通过QT划分的,还是通过QUI-T划分的,还是不划分。
i.可替换地,此外,可以进一步信令通知划分方向(水平/垂直/混合方向)和/或划分图案。
b.在一个示例中,分割树类型的索引可以在块中被信令通知,以指示块是通过BT划分的,还是通过TT划分的,还是通过QUI-T划分的。
i.例如,可以有条件地信令通知该索引,诸如仅当BT、TT和QUI-T中的至少一个对于该块是有效的时。
ii.可替换地,此外,可以进一步信令通知划分方向(水平/垂直)和/或划分图案。
c.可替换地,划分方向的指示可以首先被信令通知,随后是分割树类型(诸如QT、TT、QUI-T)。
i.在一个示例中,标志在块中被信令通知,以指示块是垂直划分还是水平划分。垂直划分可以是BT垂直划分、TT垂直划分或QUI-T垂直划分。水平划分可以是BT水平划分、TT水平划分或QUI-T水平划分。
ii.例如,仅当块通过BT或TT或QUI-T来划分时,该标志才被信令通知。
iii.例如,仅当垂直划分和水平划分对于该块都是有效的时,该标志才被信令通知。
1.如果只有垂直划分是有效的,则该标志不被信令通知,并推断使用水平划分。
2.如果只有水平分割是有效的,则该标志不被信令通知,并推断使用垂直划分。
d.在一个示例中,二进制码在块中被信令通知,以指示使用哪种类型的划分(BT、TT或一种QUI-T)。在以下示例中,X表示0或1,并且Y=~X(如果X=0,则Y=1,并且如果X=1,则Y=0)。
i.在一个示例中,根据先前信令通知或推导出的信息,要信令通知的候选BT、TT或QUI-T都是垂直划分或水平划分的。
ii.在一个示例中,第一标志被信令通知以指示是否使用QUI-T。例如,表示BT、TT、QUI-T1、QUI-T2、QUI-T3和QUI-T4的二进制码字依次是XX、XY、YXX、YXY、YYX、YYY。
1.在替代示例中,表示BT、TT、QUI-T1的二进制码字依次是XX、XY、Y。
iii.在一个示例中,应用截断的一元码。例如,表示BT、TT、QUI-T1、QUI-T2、QUI-T3和QUI-T4的二进制码字依次是X、YX、YYX、YYYX、YYYYX、YYYYY。
iv.在一个示例中,第一标志被信令通知以指示是否使用BT。如果不使用BT,则信令通知第二标志以指示是否使用QUI-T。如果使用QUI-T,则进一步通知使用哪种QUI-T。例如,表示BT、TT、QUI-T1、QUI-T2、QUI-T3和QUI-T4的二进制码字依次是是X、YX、YYXX、YYXY、YYYX、YYYY。
17.在一个示例中,如何信令通知在块中使用哪种分割可以取决于哪种分割(包括分割树类型和/或分割方向)对于该块是有效的。在以下示例中,X表示0或1,并且Y=~X(如果X=0,则Y=1,并且如果X=1,则Y=0)。
a.在一个示例中,根据先前信令通知或推导出的信息,要信令通知的候选BT、TT或QUI-T都是垂直划分或水平划分的。
b.例如,不允许的或无效的划分不能从编码器信令通知给解码器,即没有码字来表示不允许的或无效的划分。
c.在一个示例中,如果只有一种来自BT、TT和QUI-T的划分是有效的,则指示使用哪种划分(BT、TT或一种QUI-T)的二进制码不被信令通知。
d.在一个示例中,如果只有两种来自BT、TT和QUI-T的划分是有效的,则标志被信令通知以指示使用两个有效划分中的哪一个。
e.在一个示例中,指示哪种划分(BT、TT或一种QUI-T)的码被二进制化为截断的一元码。
i.例如,截断的一元码的最大值是N-1,其中N是有效划分(BT、TT和QUI-T)的数量。
ii.例如,没有码字表示无效划分。换句话说,在建立码字表时,无效划分被跳过。
f.在一个示例中,如果没有QUI-T有效,则指示是否使用QUI-T的标志不被信令通知并且被推断为假。例如,表示BT和TT的二进制码字依次是X和y。
g.在一个示例中,如果只有一种QUI-T是有效的,并且信令通知使用QUI-T,则没有进一步的信息被信令通知指示哪个QUI-T被使用。有效的QUI-T是隐式地使用的。
h.在一个示例中,如果只有两种QUI-T是有效的,并且信令通知使用QUI-T,则一标志被信令通知以指示使用哪个QUI-T。
i.在一个示例中,如果只有三种QUI-T是有效的,并且信令通知使用QUI-T,则一消息被信令通知以指示使用哪个QUI-T。例如,表示三个QUI-T的二进制码字依次是X、YX、YY。
j.在一个示例中,二进制化和/或信令方法不根据块中哪种划分是有效的而改变。在一致性比特流中不能选择无效划分。
18.分割的指示可以通过用一个或多个上下文的算术编解码来编解码。
a.在一个示例中,可以用上下文仅对位元串的部分位元进行编解码,并且可以用旁路模式(即不使用上下文)对剩余位元进行编解码。
b.可替代地,可以用上下文对位元串的所有位元进行编解码。
c.可替代地,可以用旁路模式对位元串的所有位元进行编解码。
d.对于用上下文编解码的位元,可以使用一个或多个上下文。
e.上下文可以取决于:
i.位元的位置或索引。
ii.空域/时域邻近块的分割。
iii.当前块的当前划分深度(例如,QT深度/BT深度/TT深度/QUI-T深度/MTT深度)。
iv.空域/时域邻近块和/或空域/时域非相邻块的划分深度(例如,QT深度/BT深度/TT深度/QUI-T深度/MTT深度)。
v.空域/时域邻近块的编解码模式。
vi.空域/时域邻近块的宽度/高度。
vii.当前块的宽度/高度。
viii.条带类型/图片类型/片组类型。
ix.颜色分量。
x.从先前编解码块的分割类型的统计结果。
19.是否和/或如何使用QUI-T可以取决于颜色格式(诸如4:4:4或4:2:0)和/或颜色分量。
a.是否以及如何使用QUI-T可以取决于亮度和色度编解码树是否是分离的。
b.在一个示例中,当亮度和色度编解码树是分离的时,QUI-T只能应用于亮度分量。
20.上述方法也适用于SnT、StT、OctT、UQT。
上面描述的示例可以结合在下面描述的方法的上下文中,例如,方法1300,其可以在视频解码器/编码器处实施。
图13示出了用于视频处理的示例性方法的流程图。方法1300包括,在步骤1310,根据划分信息,对于视频的当前视频块,确定将当前视频块划分为M个部分的分割模式,其中M>4。在一些实施例中,当前视频块的尺寸为W×H,并且M个部分中的第i个部分Mi的尺寸为Wi×Hi,W、H、Wi和Hi为整数,i=0至M-1。
该方法还包括在步骤1320,执行当前视频块的转换。
图14示出了用于视频处理的示例性方法的流程图。方法1400包括:在步骤1410,根据当前视频块是否满足特定条件,确定是否允许通过五叉树(QUI-T)分割将当前视频块划分为五个子块;以及在步骤1420,基于该确定来执行当前视频块的转换。
可以使用以下示例来描述与方法1300和1400相关的一些实施例和技术。
在一个示例中,公开了一种用于视频处理的方法,包括:根据划分信息,对于视频的当前视频块,确定将当前视频块划分为M个部分的分割模式,其中M>4;以及基于该分割模式来执行当前视频块的转换;其中,当前视频块的尺寸为W×H,并且M个部分中的第i个部分Mi的尺寸为Wi×Hi,W、H、Wi和Hi是整数,i=0至M-1。
在一个示例中,在分割模式下,使用五叉树(QUI-T)将当前视频块划分为五个部分。
在一个示例中,M个部分中的至少一个可以进一步递归地划分为多个子部分。
在一个示例中,M个部分中的至少一个的宽度和高度中的至少一个具有2的幂的值。
在一个示例中,当前视频块在水平和垂直两个方向上被划分。
在一个示例中,M个部分中的至少一个部分的宽度小于当前视频块的宽度,或者其高度小于当前视频块的高度。
在一个示例中,当前视频块仅在水平和垂直方向之一上被划分。
在一个示例中,如果当前视频块仅在垂直方向上被划分,则M个部分中的每一个都具有与当前视频块相同的高度,并且如果当前视频块仅在水平方向上被划分,则M个部分中的每一个都具有与当前视频块相同的宽度。
在一个示例中,M个部分被分成两组,第一组包括至少一个部分,并且第二组包括剩余部分,其中至少一个部分具有第一尺寸,并且剩余部分中的至少一个具有不同于第一尺寸的第二尺寸。
在一个示例中,第一组包括具有第一尺寸的仅一个部分,并且剩余部分中的每一个都具有第二尺寸。
在一个示例中,该仅一个部分具有宽度W/2,并且剩余部分中的每一个都具有宽度W/2*(M-1);并且当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列。
在一个示例中,该仅一个部分具有高度H/2,并且剩余部分中的每一个都具有高度H/2*(M-1);并且当前视频块在水平方向上被划分,并且M个部分以索引i的顺序从上到下排列。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;并且该仅一个部分是M1或M3。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;该仅一个部分具有宽度W-((W/K)<<2),并且剩余部分中的每一个都具有宽度W/K。
在一个示例中,K等于5、8、16、32、64之一。
在一个示例中,第一组包括具有第一尺寸的两个部分,并且剩余部分中的每一个都具有第二尺寸。
在一个示例中,两个部分中的每一个都具有宽度W/2*(M-1),并且剩余部分中的每一个都具有宽度W/(M-1);并且当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列。
在一个示例中,两个部分中的每一个都具有高度H/2*(M-1),并且剩余部分中的每一个都具有高度H/(M-1);并且当前视频块在水平方向上被划分,并且M个部分以索引i的顺序从上到下排列。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;这两个部分属于如下集合之一:
{M0,M3};
{M0,M4};
{M1,M3};和
{M1,M4}。
在一个示例中,第一组包括具有第一尺寸的两个部分,并且剩余部分包括具有至少一个部分,其尺寸不同于第二尺寸。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;两个部分中的每一个都具有宽度W/16,并且剩余部分分别具有宽度W/8、W/4和W/2。
在一个示例中,当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列;W0=W4=W/16,且W1=W/8,W2=W/4,且W3=W/2。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;两个部分中的每一个都具有高度H/16,并且剩余部分分别具有高度H/8、H/4和H/2。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;两个部分中的每一个都具有第一尺寸,并且剩余部分包括具有第二尺寸的两个部分和具有不同于第二尺寸的第三尺寸的一个部分。
在一个示例中,M等于6、7和8之一。
在一个示例中,M=5,并且使用五叉树(QUI-T)在垂直和水平两个方向上将当前视频块划分为五个部分,并且
W0+W1+W2=W3+W4=W;
H0=H1=H2;H3=H4;和
H0+H3=H。
在一个示例中,M=5,并且使用五叉树(QUI-T)在垂直和水平两个方向上将当前视频块划分为五个部分,并且
W1=W2;
W0+W1=W3+W4=W;
H0=H1+H2;
H3=H4;和
H0+H3=H。
在一个示例中,M=5,并且使用五叉树(QUI-T)在垂直和水平两个方向上将当前视频块划分为五个部分,并且
W0+W1+W2+W4=W;
W2=W3;和
H0=H1=H2+H3=H4=H。
在一个示例中,当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列;并且
W0+W1+W2+…+Wi..+WM-1=W;
H0=H1=H2=…=Hi…=HM-1=H,其中0<=i<=M-1。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;其中
W0=W4=W/8,W1=W2=W3=W/4;和
H0=H1=H2=H3=H4=H。
在一个示例中,当前视频块在水平方向上被划分,并且M个部分以索引i的顺序从上到下排列;其中
H0+H1+H2+…+Hj…+HM-1=H;和
W0=W1=W2=…=Wj…=WM-1=W,其中0<=j<=M-1。
在一个示例中,M=5,并且使用五叉树(QUI-T)将当前视频块划分为五个部分;其中
H0=H4=H/8,H1=H2=H3=H/4;和
W0=W1=W2=W3=W4=W。
在一个示例中,M=6,
W4=1/2W;W0=W5=1/16W;W1=W2=W3=1/8W。
在一个示例中,M=6,并且当前视频块在垂直和水平两个方向上被划分,并且
W0+W1+W2=W;
H0=H1=H2;
W0=W3=W4;
W3+W5=W;
H0+H3+H4=H;和
H1+H5=H。
在一个示例中,如果当前视频块以特定分割图案被划分,则不允许将特定分割树应用于M个部分中的至少一个,并且该特定分割树包括垂直二叉树(BT)、垂直三叉树(TT)、水平BT、水平TT和四叉树(QT)中的至少一个。
在一个示例中,M=5,并且使用五叉树(QUI-T)在垂直方向上将当前视频块划分为五个部分,并且M0至M4以索引i的顺序从左到右排列;并且其中在特定的分割图案中,M0至M4分别具有W/8×H、W/4×H、W/4×H、W/4×H和W/8×H的尺寸。
在一个示例中,M=5,并且使用五叉树(QUI-T)在水平方向上将当前视频块划分为五个部分,并且M0至M4以索引i的顺序从上到下排列;并且其中在特定的分割图案中,M0至M4分别具有W×H/8、W×H/4、W×H/4、W×H/4和W×H/8的尺寸。
在一个示例中,M个部分中的每一个都用索引来指示,并且M个部分以索引的顺序被转换。
在一个示例中,分割模式包括至少一个分割图案,并且为至少一个分割图案预定义一个或多个转换顺序,并且该方法包括:对于至少一个分割图案,确定用于指示哪个转换顺序用于转换M个部分的指示。
在一个示例中,所述指示是从编码侧信令通知的或者在解码侧推导出的。
在一个示例中,划分信息存在于包括当前视频块的视频的比特流表示中。
在一个示例中,当前视频块的至少一个部分是编解码单元、预测单元和变换单元中的至少一个。
在一个示例中,公开了一种用于视频处理的方法,包括:根据当前视频块是否满足特定条件,确定是否允许通过五叉树(QUI-T)分割将当前视频块划分为五个子块;以及基于该确定来执行当前视频块的转换。
在一个示例中,特定条件包括:当前视频块是通过四叉树(QT)分割、二叉树(BT)分割、三叉树(TT)分割和QUI-T分割中的至少一个从父块划分的。
在一个示例中,当前视频块以QT分割从父块划分。
在一个示例中,特定条件包括:当前视频块是根块。
在一个示例中,该方法还包括:以至少一个特定的分割模式将五个子块中的至少一个划分为多个部分。
在一个示例中,至少一个特定分割模式包括BT分割和TT分割中的至少一个。
在一个示例中,至少一个特定分割模式包括BT分割、TT分割和QUI-T分割中的至少一个且不包括QT分割。
在一个示例中,所述至少一个特定分割模式包括QUI-T分割和QT分割中的至少一个且不包括BT分割和TT分割。
在一个示例中,至少一个特定分割模式不包括QT分割。
在一个示例中,五个子块中没有一个可以被进一步划分。
在一个示例中,至少一个子块的划分深度取决于当前视频块的划分深度。
在一个示例中,至少一个子块的划分深度等于当前视频块的划分深度加1。
在一个示例中,划分深度属于QT划分深度、BT划分深度、TT划分深度、QUI-T划分深度和多类型树(MTT)划分深度中的至少一个。
在一个示例中,不同的子块在QUI-T分割、BT分割、TT分割、QT分割和MTT分割中的至少一个中具有不同的划分深度增量。
在一个示例中,至少一个子块具有取决于该至少一个子块与当前视频块在尺寸上的比率的划分深度增量。
在一个示例中,当前视频块的至少一个子块是编解码单元、预测单元和变换单元中的至少一个。
在一个示例中,该转换包括将当前视频块编码成视频的比特流表示,以及从视频的比特流表示解码当前视频块。
在一个示例中,公开了一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中指令在由处理器执行时,使得处理器实施上述示例中的任一个中的方法。
在一个示例中,公开了一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于执行上述任何一个示例中的方法的程序代码。
5.所公开技术的示例实施方式
图12是视频处理设备1200的框图。装置1200可以用于实施本文描述的一个或多个方法。装置1200可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1200可以包括一个或多个处理器1202、一个或多个存储器1204和视频处理硬件1206。(多个)处理器1202可以被配置为实施本文档中描述的一个或多个方法(包括但不限于方法1200)。存储器(多个存储器)1204可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1206可以用于在硬件电路中实施本文档中描述的一些技术。
在一些实施例中,视频编解码方法可以使用如参考图12所述的在硬件平台上实施的装置来实施。
根据前述内容可以理解,本文已经出于说明的目的描述了本公开技术的具体实施例,但是在不脱离本发明范围的情况下可以进行各种修改。因此,本公开技术不受除了所附权利要求之外的限制。
本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路中实施,或者在计算机软件、固件或硬件中实施,包括本说明书中公开的结构及其结构等同物,或者在它们中的一个或多个的组合中实施。本说明书中描述的主题的实施方式可以实施为一个或多个计算机程序产品,即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合,或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,例如,包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建运行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写,包括编译或解释语言,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本),存储在专用于所讨论的程序的单个文件中,或者存储在多个协调文件中(例如,存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个或多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行,该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行,并且装置也可以实施为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而,计算机不一定需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如,包括半导体存储器设备,例如,EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。
本说明书和附图仅被认为是示例性的,其中示例性意味着示例。如本文所使用的,单数形式“一”、“一个”和“该”也旨在包括复数形式,除非上下文另有明确指示。此外,“或”的使用旨在包括“和/或”,除非上下文另有明确指示。
虽然本专利文档包含许多细节,但这些不应被解释为对任何发明或所要求保护的范围的限制,而是对特定发明的特定实施例所特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外,尽管上述特征可以被描述为以某些组合起作用,甚至最初被要求这样来保护,但是在某些情况下,可以从所要求保护的组合中删除该组合中的一个或多个特征,并且所要求保护的组合可以指向子组合或子组合的变体。
类似地,尽管在附图中以特定顺序描述了操作,但这不应理解为要求以所示的特定顺序或顺序地执行这些操作,或者要求执行所有所示的操作,以获得期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。
仅描述了若干个实施方式和示例,并且可以基于本专利文档中描述和图示的内容进行其它实施、增强和变化。
Claims (61)
1.一种视频处理方法,包括:
根据划分信息,对于视频的当前视频块,确定将所述当前视频块划分为M个部分的分割模式,其中M>4;以及
基于所述分割模式来执行所述当前视频块的转换;
其中,所述当前视频块的尺寸为W×H,并且所述M个部分中的第i个部分Mi的尺寸为Wi×Hi,W、H、Wi和Hi是整数,索引i=0至M-1。
2.根据权利要求1所述的方法,其中,在所述分割模式下,使用五叉树(QUI-T)将所述当前视频块划分为五个部分。
3.根据权利要求1或2所述的方法,其中,M个部分中的至少一个能够被进一步递归地划分为多个子部分。
4.根据权利要求1-3中任一项所述的方法,其中,M个部分中的至少一个的宽度和高度中的至少一个具有2的幂的值。
5.根据权利要求1-3中任一项所述的方法,其中,所述当前视频块在水平和垂直两个方向上被划分。
6.根据权利要求5所述的方法,其中,M个部分中的至少一个部分的宽度小于所述当前视频块的宽度,或者其高度小于所述当前视频块的高度。
7.根据权利要求1-3中任一项所述的方法,其中,所述当前视频块仅在水平和垂直方向之一上被划分。
8.根据权利要求7所述的方法,其中,如果所述当前视频块仅在垂直方向上被划分,则M个部分中的每一个都具有与所述当前视频块相同的高度,并且如果所述当前视频块仅在水平方向上被划分,则M个部分中的每一个都具有与所述当前视频块相同的宽度。
9.根据权利要求1-3中任一项所述的方法,其中,M个部分被分成两组,并且第一组包括至少一个部分,并且第二组包括剩余部分,其中所述至少一个部分具有第一尺寸,并且所述剩余部分中的至少一个具有不同于第一尺寸的第二尺寸。
10.根据权利要求9所述的方法,其中,第一组包括具有第一尺寸的仅一个部分,并且所述剩余部分中的每一个都具有第二尺寸。
11.根据权利要求10所述的方法,其中,所述仅一个部分具有宽度W/2,并且所述剩余部分中的每一个都具有宽度W/2*(M-1);并且所述当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列。
12.根据权利要求10所述的方法,其中,所述仅一个部分具有高度H/2,并且所述剩余部分中的每一个都具有高度H/2*(M-1);并且所述当前视频块在水平方向上被划分,并且M个部分以索引i的顺序从上到下排列。
13.根据权利要求11或12所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;并且所述仅一个部分是M1或M3。
14.根据权利要求10所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;并且所述仅一个部分具有宽度W-((W/K)<<2),并且所述剩余部分中的每一个都具有宽度W/K。
15.根据权利要求14所述的方法,其中,K等于5、8、16、32、64之一。
16.根据权利要求9所述的方法,其中,第一组包括具有第一尺寸的两个部分,并且所述剩余部分中的每一个都具有第二尺寸。
17.根据权利要求16所述的方法,其中,所述两个部分中的每一个都具有宽度W/2*(M-1),并且所述剩余部分中的每一个都具有宽度W/(M-1);并且所述当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列。
18.根据权利要求16所述的方法,其中,所述两个部分中的每一个都具有高度H/2*(M-1),并且所述剩余部分中的每一个都具有高度H/(M-1);并且所述当前视频块在水平方向上被划分,并且M个部分以索引i的顺序从上到下排列。
19.根据权利要求17或18所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;所述两个部分属于如下集合之一:
{M0,M3};
{M0,M4};
{M1,M3};和
{M1,M4}。
20.根据权利要求9所述的方法,其中,第一组包括具有第一尺寸的两个部分,并且所述剩余部分包括具有不同于第二尺寸的尺寸的至少一个部分。
21.根据权利要求20所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;所述两个部分中的每一个都具有宽度W/16,并且所述剩余部分分别具有宽度W/8、W/4和W/2。
22.根据权利要求21所述的方法,其中,所述当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列;W0=W4=W/16,且W1=W/8,W2=W/4,且W3=W/2。
23.根据权利要求20所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;所述两个部分中的每一个都具有高度H/16,并且所述剩余部分分别具有高度H/8、H/4和H/2。
24.根据权利要求20所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;所述两个部分中的每一个都具有第一尺寸,并且所述剩余部分包括具有第二尺寸的两个部分和具有不同于第二尺寸的第三尺寸的一个部分。
25.根据权利要求1-12和16-18中任一项所述的方法,其中,M等于6、7和8之一。
26.根据权利要求1-3中任一项所述的方法,其中,M=5,并且使用五叉树(QUI-T)在垂直和水平两个方向上将所述当前视频块划分为五个部分,并且
W0+W1+W2=W3+W4=W;
H0=H1=H2;H3=H4;和
H0+H3=H。
27.根据权利要求1-3中任一项所述的方法,其中,M=5,并且使用五叉树(QUI-T)在垂直和水平两个方向上将所述当前视频块划分为五个部分,并且
W1=W2;
W0+W1=W3+W4=W;
H0=H1+H2;
H3=H4;和
H0+H3=H。
28.根据权利要求1-3中任一项所述的方法,其中,M=5,并且使用五叉树(QUI-T)在垂直和水平两个方向上将所述当前视频块划分为五个部分,并且
W0+W1+W2+W4=W;
W2=W3;和
H0=H1=H2+H3=H4=H。
29.根据权利要求1-3中任一项所述的方法,其中,所述当前视频块在垂直方向上被划分,并且M个部分以索引i的顺序从左到右排列;并且
W0+W1+W2+…+Wi..+WM-1=W;
H0=H1=H2=…=Hi…=HM-1=H,其中0<=i<=M-1。
30.根据权利要求29所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;其中
W0=W4=W/8,W1=W2=W3=W/4;和
H0=H1=H2=H3=H4=H。
31.根据权利要求1-3中任一项所述的方法,其中,所述当前视频块在水平方向上被划分,并且M个部分以索引i的顺序从上到下排列;其中
H0+H1+H2+…+Hj…+HM-1=H;和
W0=W1=W2=…=Wj…=WM-1=W,其中0<=j<=M-1。
32.根据权利要求31所述的方法,其中,M=5,并且使用五叉树(QUI-T)将所述当前视频块划分为五个部分;其中
H0=H4=H/8,H1=H2=H3=H/4;和
W0=W1=W2=W3=W4=W。
33.根据权利要求29所述的方法,其中,M=6,
W4=1/2W;W0=W5=1/16W;W1=W2=W3=1/8W。
34.根据权利要求1-3中任一项所述的方法,其中,M=6,并且所述当前视频块在垂直和水平两个方向上被划分,并且
W0+W1+W2=W;
H0=H1=H2;
W0=W3=W4;
W3+W5=W;
H0+H3+H4=H;和
H1+H5=H。
35.根据权利要求1或2所述的方法,其中,如果所述当前视频块以特定的分割图案被划分,则不允许将特定分割树应用于M个部分中的至少一个,并且所述特定分割树包括垂直二叉树(BT)、垂直三叉树(TT)、水平BT、水平TT和四叉树(QT)中的至少一个。
36.根据权利要求35所述的方法,其中,M=5,并且使用五叉树(QUI-T)在垂直方向上将所述当前视频块划分为五个部分,并且M0至M4以索引i的顺序从左到右排列;并且其中,在所述特定的分割图案中,M0至M4分别具有W/8×H、W/4×H、W/4×H、W/4×H和W/8×H的尺寸。
37.根据权利要求35所述的方法,其中,M=5,并且使用五叉树(QUI-T)在水平方向上将所述当前视频块划分为五个部分,并且M0至M4以索引i的顺序从上到下排列;并且其中,在所述特定的分割图案中,M0至M4分别具有W×H/8、W×H/4、W×H/4、W×H/4和W×H/8的尺寸。
38.根据权利要求1-37中任一项所述的方法,其中,M个部分中的每一个都用索引来指示,并且M个部分以索引的顺序被转换。
39.根据权利要求1-37中任一项所述的方法,其中,所述分割模式包括至少一个分割图案,并且为所述至少一个分割图案预定义一个或多个转换顺序,并且所述方法包括:
对于所述至少一个分割图案,确定指示哪个转换顺序用于转换M个部分的指示。
40.根据权利要求39所述的方法,其中,所述指示是从编码侧信令通知的或者在解码侧推导出的。
41.根据权利要求1至40中任一项所述的方法,其中,所述划分信息存在于包括所述当前视频块的视频的比特流表示中。
42.根据权利要求1至40中任一项所述的方法,其中,所述当前视频块的至少一个部分是编解码单元、预测单元和变换单元中的至少一个。
43.一种视频处理方法,包括:
根据当前视频块是否满足特定条件,确定是否允许通过五叉树(QUI-T)分割将所述当前视频块划分为五个子块;以及
基于所述确定来执行所述当前视频块的转换。
44.根据权利要求43所述的方法,其中,所述特定条件包括:
所述当前视频块是通过四叉树(QT)分割、二叉树(BT)分割、三叉树(TT)分割和QUI-T分割中的至少一个从父块划分的。
45.根据权利要求44所述的方法,其中,所述当前视频块以QT分割从父块划分。
46.根据权利要求43所述的方法,其中,所述特定条件包括:所述当前视频块是根块。
47.根据权利要求43所述的方法,还包括:
以至少一个特定分割模式将五个子块中的至少一个划分为多个部分。
48.根据权利要求47所述的方法,其中,所述至少一个特定分割模式包括BT分割和TT分割中的至少一个。
49.根据权利要求47所述的方法,其中,所述至少一个特定分割模式包括BT分割、TT分割和QUI-T分割中的至少一个且不包括QT分割。
50.根据权利要求47所述的方法,其中,所述至少一种特定分割模式包括QUI-T分割和QT分割中的至少一个且不包括BT分割和TT分割。
51.根据权利要求47所述的方法,其中,所述至少一个特定分割模式不包括QT分割。
52.根据权利要求43所述的方法,其中,五个子块中没有一个能够被进一步划分。
53.根据权利要求43-52中任一项所述的方法,其中,至少一个子块的划分深度取决于所述当前视频块的划分深度。
54.根据权利要求53所述的方法,其中,至少一个子块的划分深度等于所述当前视频块的划分深度加1。
55.根据权利要求54所述的方法,其中,所述划分深度属于QT划分深度、BT划分深度、TT划分深度、QUI-T划分深度和多类型树(MTT)划分深度中的至少一个。
56.根据权利要求43-51中任一项所述的方法,其中,不同的子块在QUI-T、BT、TT、QT和MTT分割中的至少一个中具有不同的划分深度增量。
57.根据权利要求43-51中任一项所述的方法,其中,至少一个子块具有取决于所述至少一个子块与所述当前视频块在尺寸上的比率的划分深度增量。
58.根据权利要求43至57中任一项所述的方法,其中,所述当前视频块的至少一个子块是编解码单元、预测单元和变换单元中的至少一个。
59.根据权利要求1至58中的任一项所述的方法,其中,所述转换包括将所述当前视频块编码成视频的比特流表示,以及从所述视频的比特流表示解码所述当前视频块。
60.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器运行时使得所述处理器实施根据权利要求1至59中任一项所述的方法。
61.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于执行根据权利要求1至59任一项所述的方法的程序代码。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019074762 | 2019-02-11 | ||
CNPCT/CN2019/074762 | 2019-02-11 | ||
CNPCT/CN2019/077161 | 2019-03-06 | ||
CN2019077161 | 2019-03-06 | ||
PCT/CN2020/074745 WO2020164479A1 (en) | 2019-02-11 | 2020-02-11 | Video block partition based on quinary tree |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113396589A true CN113396589A (zh) | 2021-09-14 |
Family
ID=72044631
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080012492.XA Pending CN113396589A (zh) | 2019-02-11 | 2020-02-11 | 基于五叉树的视频块分割 |
CN202080012488.3A Pending CN113396586A (zh) | 2019-02-11 | 2020-02-11 | 条件依赖的视频块分割 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080012488.3A Pending CN113396586A (zh) | 2019-02-11 | 2020-02-11 | 条件依赖的视频块分割 |
Country Status (3)
Country | Link |
---|---|
US (2) | US20210368185A1 (zh) |
CN (2) | CN113396589A (zh) |
WO (2) | WO2020164479A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113273217A (zh) * | 2019-02-03 | 2021-08-17 | 北京字节跳动网络技术有限公司 | 非对称四叉树分割 |
MX2022000716A (es) | 2019-07-26 | 2022-02-23 | Beijing Bytedance Network Tech Co Ltd | Determinación del modo de particionado de imagen con base en el tamaño de bloque. |
US11909991B2 (en) * | 2019-08-30 | 2024-02-20 | Tencent America LLC | Restrictions on picture width and height |
US11863786B2 (en) * | 2021-05-21 | 2024-01-02 | Varjo Technologies Oy | Method of transporting a framebuffer |
WO2023236775A1 (en) * | 2022-06-06 | 2023-12-14 | Mediatek Inc. | Adaptive coding image and video data |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3015445A (en) * | 1958-05-20 | 1962-01-02 | Uchida Yoko Company Ltd | Relay type bi-quinary adder apparatus |
EP0424026B1 (en) * | 1989-10-14 | 1997-07-23 | Sony Corporation | Video signal transmitting system and method |
EP2215844A2 (en) * | 2007-10-15 | 2010-08-11 | Nokia Corporation | Motion skip and single-loop encoding for multi-view video content |
CN102187583B (zh) * | 2008-08-19 | 2013-09-11 | 汤姆森特许公司 | 基于上下文的自适应二进制算术编码(cabac)的视频流兼容性 |
US20120314899A1 (en) * | 2011-06-13 | 2012-12-13 | Microsoft Corporation | Natural user interfaces for mobile image viewing |
US9503702B2 (en) * | 2012-04-13 | 2016-11-22 | Qualcomm Incorporated | View synthesis mode for three-dimensional video coding |
US9667942B2 (en) * | 2012-11-20 | 2017-05-30 | Qualcomm Incorporated | Adaptive luminance compensation in three dimensional video coding |
US10321130B2 (en) * | 2013-01-07 | 2019-06-11 | Vid Scale, Inc. | Enhanced deblocking filters for video coding |
CN103517070B (zh) * | 2013-07-19 | 2017-09-29 | 清华大学 | 图像的编解码方法和装置 |
US9906813B2 (en) * | 2013-10-08 | 2018-02-27 | Hfi Innovation Inc. | Method of view synthesis prediction in 3D video coding |
CN109743577A (zh) * | 2013-10-18 | 2019-05-10 | 华为技术有限公司 | 视频编解码中的块分割方式确定方法及相关装置 |
WO2015123806A1 (en) * | 2014-02-18 | 2015-08-27 | Mediatek Singapore Pte. Ltd. | Methods for depth based block partitioning |
WO2015135175A1 (en) * | 2014-03-13 | 2015-09-17 | Mediatek Singapore Pte. Ltd. | Simplified depth based block partitioning method |
US9838712B2 (en) * | 2014-03-17 | 2017-12-05 | Hfi Innovation Inc. | Method of signaling for depth-based block partitioning |
US10708589B2 (en) * | 2014-03-19 | 2020-07-07 | Samsung Electronics Co., Ltd. | Video encoding and decoding method and apparatus involving boundary filtering |
CN105519106B (zh) * | 2014-06-20 | 2017-08-04 | 寰发股份有限公司 | 用于三维或多视图视频编码中基于深度的块分区模式的编码方法 |
WO2017008263A1 (en) * | 2015-07-15 | 2017-01-19 | Mediatek Singapore Pte. Ltd. | Conditional binary tree block partitioning structure |
US10709371B2 (en) * | 2015-09-09 | 2020-07-14 | WellBrain, Inc. | System and methods for serving a custom meditation program to a patient |
WO2017088093A1 (en) * | 2015-11-23 | 2017-06-01 | Mediatek Singapore Pte. Ltd. | On the smallest allowed block size in video coding |
CN107566848B (zh) * | 2016-06-30 | 2020-04-14 | 华为技术有限公司 | 编解码的方法及装置 |
US10779004B2 (en) * | 2016-10-12 | 2020-09-15 | Mediatek Inc. | Methods and apparatuses of constrained multi-type-tree block partition for video coding |
CN116567235A (zh) * | 2016-12-16 | 2023-08-08 | 夏普株式会社 | 图像解码装置 |
PL3477949T3 (pl) * | 2017-02-06 | 2024-02-19 | Huawei Technologies Co., Ltd. | Sposób i urządzenie do dekodowania obrazu z zastosowaniem informacji o podziale jednostki drzewa kodowania |
KR102559063B1 (ko) * | 2017-02-24 | 2023-07-24 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
CN116634175A (zh) * | 2017-05-17 | 2023-08-22 | 株式会社Kt | 用于解码图像信号的方法和用于编码图像信号的方法 |
US11206419B2 (en) * | 2017-05-17 | 2021-12-21 | Kt Corporation | Method and device for video signal processing |
CN115022632A (zh) * | 2017-10-18 | 2022-09-06 | 韩国电子通信研究院 | 图像编码/解码方法和装置以及存储有比特流的记录介质 |
WO2019098758A1 (ko) * | 2017-11-16 | 2019-05-23 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN118413666A (zh) * | 2017-11-28 | 2024-07-30 | Lx 半导体科技有限公司 | 图像编码/解码方法、图像数据的传输方法和存储介质 |
US11403530B1 (en) * | 2018-04-20 | 2022-08-02 | Perceive Corporation | Using quinary weights with neural network inference circuit designed for ternary weights |
EP3818701A4 (en) * | 2018-07-14 | 2022-07-20 | HFI Innovation Inc. | METHODS AND APPARATUS FOR PROCESSING VIDEO IMAGES WITH PARTITIONAL CONSTRAINTS IN A VIDEO CODING SYSTEM |
CN110839161B (zh) * | 2018-08-19 | 2022-12-16 | 北京字节跳动网络技术有限公司 | 扩展四叉树分割的边界处理 |
CN111050176B (zh) * | 2018-10-15 | 2021-10-15 | 腾讯科技(深圳)有限公司 | 视频编码、视频解码方法、装置、计算机设备和存储介质 |
CN116847107A (zh) * | 2018-12-06 | 2023-10-03 | Lg电子株式会社 | 基于帧间预测处理和编码视频信号的方法和数据发送方法 |
CN118694928A (zh) * | 2018-12-28 | 2024-09-24 | 英迪股份有限公司 | 对图像进行解码、编码的方法和非暂态计算机可读存储介质 |
EP3903484A4 (en) * | 2018-12-30 | 2022-11-02 | HFI Innovation Inc. | SEPARATE LUMINANCE-CHROMINANCE CODING TREE CODING METHOD AND APPARATUS WITH CONSTRAINTS |
KR20210107128A (ko) * | 2019-01-09 | 2021-08-31 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
BR112022005346A2 (pt) * | 2019-09-23 | 2022-06-14 | Huawei Tech Co Ltd | Indicação de uma fatia por subimagem em codificação de vídeo baseada em subimagem |
-
2020
- 2020-02-11 WO PCT/CN2020/074745 patent/WO2020164479A1/en active Application Filing
- 2020-02-11 CN CN202080012492.XA patent/CN113396589A/zh active Pending
- 2020-02-11 WO PCT/CN2020/074746 patent/WO2020164480A1/en active Application Filing
- 2020-02-11 CN CN202080012488.3A patent/CN113396586A/zh active Pending
-
2021
- 2021-08-10 US US17/398,800 patent/US20210368185A1/en active Pending
- 2021-08-10 US US17/398,857 patent/US20210377528A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2020164480A1 (en) | 2020-08-20 |
US20210368185A1 (en) | 2021-11-25 |
WO2020164479A1 (en) | 2020-08-20 |
CN113396586A (zh) | 2021-09-14 |
US20210377528A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240205437A1 (en) | Sub-picture Level Indicator Signaling In Video Coding | |
CN110719481B (zh) | 跨分量编码信息导出 | |
US20210368185A1 (en) | Condition dependent video block partition | |
US12108090B2 (en) | Unsymmetrical quad-tree partitioning | |
CN113711602A (zh) | 视频压缩中的非二次幂分割树的使用的限制 | |
US20230247208A1 (en) | Harmonization of Raster Scan And Rectangular Tile Groups In Video Coding | |
CN114430908A (zh) | 基于子图像的视频译码中每子图像单一条带的指示 | |
TWI707576B (zh) | 用於微塊的約束 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |