CN113439441A - 基于块分割的变换参数推导 - Google Patents
基于块分割的变换参数推导 Download PDFInfo
- Publication number
- CN113439441A CN113439441A CN202080014405.4A CN202080014405A CN113439441A CN 113439441 A CN113439441 A CN 113439441A CN 202080014405 A CN202080014405 A CN 202080014405A CN 113439441 A CN113439441 A CN 113439441A
- Authority
- CN
- China
- Prior art keywords
- block
- npt
- transform
- sub
- examples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000638 solvent extraction Methods 0.000 title claims abstract description 199
- 238000009795 derivation Methods 0.000 title abstract description 5
- 238000005192 partition Methods 0.000 claims abstract description 237
- 238000000034 method Methods 0.000 claims abstract description 207
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000007704 transition Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 7
- YPWFISCTZQNZAU-UHFFFAOYSA-N Thiane Chemical compound C1CCSCC1 YPWFISCTZQNZAU-UHFFFAOYSA-N 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 63
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 63
- 230000011218 segmentation Effects 0.000 description 53
- 230000008569 process Effects 0.000 description 18
- 230000011664 signaling Effects 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 230000002146 bilateral effect Effects 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 101150114515 CTBS gene Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 101150022953 octT gene Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了基于块分割的变换参数推导。在示例性方面,一种用于视频处理的方法包括:为视频的第一块和视频的第一块的比特流表示之间的转换确定对非二次幂分割树(NPT‑T)的使用被启用还是禁用,其中,NPT‑T包括将第一块划分为第一块的多个更小尺寸的子块,并且至少一个子块的宽度和/或高度具有为非二次幂整数的大小;以及响应于确定NPT‑T被启用,基于NPT‑T来执行该转换。
Description
根据适用的专利法和/或依据巴黎公约的规则,本申请旨在及时要求2019年2月15日提交的国际专利申请No.PCT/CN2019/075170的优先权和利益。国际专利申请No.PCT/CN2019/075170的全部公开通过引用而并入作为本申请的公开的一部分。
技术领域
本文档涉及视频和图像编解码和解码。
背景技术
数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预计数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了视频编解码工具,在一个示例方面,该工具使得视频编码器和解码器能够对视频比特流进行编码或解码,其中在该视频比特流中使用其大小为非二次幂整数的分割对视频块进行编码。
在一个示例方面,公开了一种视频处理的方法。该方法包括:对视频和视频的比特流表示之间的转换启用对非二次幂分割树(NPT-T)的使用,其中,NPT-T包括将视频块划分为视频块的一个或多个更小尺寸的子块,并且至少一个子块的宽度或高度具有为非二次幂整数的像素大小;以及使用NPT-T来执行该转换。
在另一个示例方面,公开了另一种视频处理的方法。该方法包括:对子视频块和子视频块的比特流表示之间的转换应用变换尺寸限制,其中,子视频块是从视频块划分的并且具有为非二次幂(NPT)整数的像素大小;以及使用变换尺寸限制来执行该转换。
在又一个示例方面,公开了另一种视频处理的方法。该方法包括:选择性地基于用于使用视频块的非二次幂树(NPT-T)划分的使用规则,应用视频块和视频块的比特流表示之间的转换,视频块或者视频的一个或多个更小尺寸的子块具有为非二次幂(NPT)整数的像素大小;以及使用该使用规则来执行该转换。
在又一个示例方面,公开了另一种视频处理的方法。该方法包括:选择性地基于使用指示,对视频块和视频块的比特流表示之间的转换应用视频块的非二次幂树(NPT-T)划分,其中,视频块或者视频的一个或多个更小尺寸的子块具有为非二次幂(NPT)整数的像素大小;以及执行对应于使用指示的该转换。
在另一个示例方面,公开了另一种视频处理的方法。该方法包括:为视频的第一块和视频的第一块的比特流表示之间的转换确定对非二次幂分割树(NPT-T)的使用被启用还是禁用,其中,NPT-T包括将第一块划分为第一块的多个更小尺寸的子块,并且至少一个子块的宽度和/或高度具有为非二次幂整数的大小;以及响应于确定NPT-T被启用,基于NPT-T来执行该转换。
在另一个示例方面,公开了另一种视频处理的方法。该方法包括:将视频的第一块划分为包括第一子块的多个子块,其中,第一子块的块尺寸的宽度(Wi)和高度(Hi)中的至少一个为非二次幂整数;为第一子块和第一子块的比特流表示之间的转换确定与第一子块的变换块相关联的变换参数,其中,变换块的块尺寸的宽度(TWi)和高度(THi)中的一个或多个小于第一子块的宽度(Wi)和高度(Hi),并且TWi或THi中的至少一个为二次幂;以及通过使用变换参数来执行该转换。
在另一个示例方面,公开了另一种视频处理的方法。该方法包括:为视频和视频的比特流表示之间的转换确定非二次幂分割树(NPT-T)分割被启用还是禁用,其中,NPT-T分割包括将视频的第一块划分为第一块的多个更小尺寸的子块,并且至少一个子块的宽度(Wi)和/或高度(Hi)为非二次幂整数;响应于确定NPT-T分割被允许,确定与NPT-T分割的使用相关联的限制;以及基于该确定来执行该转换。
在另一个示例方面,上述方法可以由包括处理器的视频编码器装置或视频解码器装置实施。
在又一个示例方面,这些方法可以以处理器可执行指令的形式被存储在计算机可读程序介质上。
在本文档中进一步描述了这些以及其他方面。
附图说明
图1示出了H.264/AVC中的MB分割的示例。
图2示出了用于将编解码块划分为预测块的示例模式。
图3A-图3B示出了具有其分割的编解码树和对应的四叉树。
图4A-图4B提供了QTBT结构的示例图示。
图5示出了视频编解码中的允许分割的示例。
图6示出了父划分(实线)和当前划分(虚线)之间的允许分割的示例。
图7A-图7B如下。图7A示出了EQT水平模式的示例。图7B示出了EQT垂直模式的示例。
图8示出了四叉树二叉树(QTBT)加EQT分割的信令结构。
图9A-图9H示出了非对称四叉树分割的示例。
图10A-图10B示出了五叉树分割的示例。
图11示出了QTBT分割的示例。
图12示出了在视频编解码中使用的不同分割。
图13A示出了PIdx0和PIdx1具有相同尺寸的示例。
图13B示出了PIdx0和PIdx2具有相同尺寸的示例。
图13C示出了K=5、L0=4的示例。
图14示出了非二次幂树(NPT-T)分割的示例(其中K=5,L0=2,L1=2)。
图15A-图15B示出了设置为(0,0)的(OffsetX,OffsetY)的示例。
图16A-图16B示出了设置为(0,0)的(OffsetX,OffsetY)的另一示例。
图17示出了用于实施在本文档中描述的技术的硬件平台的示例。
图18是视频处理的示例方法的流程图。
图19是视频处理的示例方法的流程图。
图20是视频处理的示例方法的流程图。
图21是视频处理的示例方法的流程图。
具体实施方式
本文档提供了可以由视频比特流的解码器用来提高解压缩或解码的数字视频的质量的各种技术。此外,视频编码器还可以在编码过程期间实施这些技术,以便重构用于进一步编码的解码帧。
为了便于理解,在本文档中使用了章节标题,并且不将实施例和技术限制到对应章节。这样,来自一个章节的实施例可以与来自其他章节的实施例组合。
1.概述
本文档涉及图像/视频编解码,具体涉及宽度或高度不等于二次幂的块的变换设计。更具体地,对于这种分割结构,如何避免引入附加变换/量化矩阵。它可以被应用于现有的视频编解码标准(如HEVC)或要完成的标准(通用视频编解码)。它也可能适用于未来的视频编解码标准或视频编解码器。
2.简要讨论
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展演变而来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4Visual,并且这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中利用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,JVET采用了许多新方法,并将其放到名为联合探索模型(JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET)成立,致力于VVC标准,目标是与HEVC相比比特率降低50%。
2.1H.264/AVC中的分割树结构
H.264/AVS中使用的术语是宏块和MB模式/8x8模式(分割)。宏块是每个图片/条带被划分为的单元,并且应用帧内/帧间模式决定。并且分割定义了信令通知运动信息的级别。
H.264/AVC中编解码层的核心是宏块,包含亮度样点的16x16块,在4:2:0色彩采样的通常情况下,包含色度样点的两个对应8x8块。
2.1.1H.264/AVC主简表
帧内编解码块使用空域预测来利用像素之间的空域相关性。定义了两个分割:16x16和4x4。
帧间编解码块通过估计图片之间的运动来使用时域预测,而不是空域预测。可以为16x16宏块或其任何宏块分割(16x8、8x16、8x8)独立估计运动。语法元素(MB模式)被信令通知以指示是否选择16x16、16x8、8x16或8x8。如果选择了8x8,则另一语法元素(8x8模式)被进一步信令通知以指示是否使用了8x8、8x4、4x8、4x4(见图1)。仅允许每个分割一个运动矢量(MV)。
图1示出了H.264/AVC中的MB分割的示例。
仅利用4x4变换。
2.1.2H.264/AVC高简表
在高简表中,引入了8x8变换和I_8x8(8x8帧内预测)。对于帧内编解码宏块,变换尺寸是固定的,I_16x6和I_4x4使用4x4变换;I_8x8使用8x8变换。
对于帧间编解码宏块,可以选择4x4或8x8变换。但是,变换尺寸不能超过分割尺寸。例如,如果一个宏块选择8x8分割并进一步选择8x4子模式,则仅可以应用4x4变换。如果一个宏块选择16x16、16x8、8x16、8x8分割和8x8子模式,则可以选择4x4或8x8变换。
2.1.3概述
模式选择在宏块级别决定。变换尺寸应当不大于分割尺寸。
2.2HEVC中的分割树结构
在HEVC中,通过使用表示为编解码树的四叉树结构将编解码树单元(CTU,又名最大编解码单元LCU)划分为编解码单元(CU),以适应各种局部特征。是使用帧间图片(时域)还是帧内图片(空域)预测来编解码图片区域的决定是在CU级别做出的。根据PU划分类型,每个CU可以被进一步划分为一个、两个或四个PU。在一个PU内,应用相同的预测过程,并且相关信息基于PU被发送到解码器。在通过基于PU划分类型应用预测过程来获得残差块之后,可以根据类似于PU的编解码树的另一四叉树结构将CU划分为变换单元(TU)。HEVC结构的一个关键特征是它具有多分割概念,包括CU、PU和TU。
在下文中,使用HEVC的混合视频编解码中涉及的各种特征被强调如下。
1)编解码树单元和编解码树块(CTB)结构:HEVC的类似结构是编解码树单元(CTU),其尺寸由编码器选择,可以大于传统的宏块。CTU由亮度CTB和对应的色度CTB以及语法元素构成。亮度CTB的尺寸L×L可以被选择为L=16、32或64个样点,更大的尺寸通常能够实现更好的压缩。然后,HEVC支持使用树结构和类似四叉树的信令将CTB分割为更小的块。
2)编解码单元(CU)和编解码块(CB):CTU的四叉树语法指定其亮度CB和色度CB的尺寸和位置。四叉树的根与CTU相关联。因此,亮度CTB的尺寸是亮度CB的最大支持尺寸。将CTU划分为亮度CB和色度CB是联合信令通知的。一个亮度CB和通常两个色度CB与相关联的语法一起形成编解码单元(CU)。CTB可以仅包含一个CU或者可以被划分以形成多个CU,并且每个CU具有成为预测单元(PU)的相关联分割和变换单元(TU)的树。
3)预测单元(PU)和预测块(PB):使用帧间图片还是帧内图片预测来编解码图片区域的决定是在CU级别进行的。PU分割结构的根在CU级别。根据基本预测类型决定,亮度CB和色度CB然后可以进一步在尺寸上被划分,并且根据亮度和色度预测块(PB)而预测。HEVC支持从64×64下至4×4个样点的可变PB尺寸。图2描绘了允许的PB。
图2示出了在特定尺寸约束下,将CB划分为多个PB的示例模式。对于帧内图片预测CB,仅支持MxM和M/2x M/2。
4)变换单元(TU)和变换块:使用块变换对预测残差进行编解码。TU树结构的根在CU级别。亮度CB残差可以与亮度变换块(TB)相同,或者可以进一步划分为更小的亮度TB。这同样适用于色度TB。针对正方形TB尺寸4×4、8×8、16×16和32×32定义类似于离散余弦变换(DCT)的函数的整数基函数。对于亮度帧内图片预测残差的4×4变换,可替代地指定从离散正弦变换(DST)的形式推导的整数变换。
图3A-图3B示出了将CTB细分为CB和TB的示例。实线指示CB边界,并且虚线指示TB边界。
2.2.1四叉树的深度
对于尺寸为M×M的给定亮度CB,标志信令通知其是否被划分为四个尺寸为M/2×M/2的块。如果可以进一步划分,如通过SPS中指示的残差四叉树的最大深度信令通知的,则为每个象限(quadrant)分配指示其是否被划分为四个象限的标志。由残差四叉树产生的叶节点块是通过变换编解码进一步处理的变换块。编码器指示其将使用的最大和最小亮度TB尺寸。当CB尺寸大于最大TB尺寸时,划分是隐式的。当划分将导致亮度TB尺寸小于指示的最小值时,不划分是隐式的。除了当亮度TB尺寸为4×4时(在这种情况下,单个4×4色度TB用于由四个4×4亮度TB覆盖的区域),色度TB尺寸在每个维度中是亮度TB尺寸的一半。在帧内图片预测的CU的情况下,(在CB内或外部的)最近的邻近TB的解码样点被用作用于帧内图片预测的参考数据。
2.2.2概述
基于增加的四叉树的深度,一个CTU可以被递归地划分为多个CU。如图3A-图3B所示,仅指定了正方形CB和TB分割,其中块可以被递归地划分为象限。
模式选择在CU级别决定。根据所选择的模式的边信息在诸如运动信息、帧内预测模式的PU级别被信令通知。残差在TU级别被信令通知。
对于帧间编解码块,一个PU不应当大于CU,并且对于帧内编解码块,一个PU应当等于CU。
对于帧间编解码块,TU可以跨PU,但对于帧内编解码块,TU应当等于PU。
2.3JEM中具有更大CTU的四叉树加二叉树块结构
为了探索HEVC以外的未来的视频编解码技术,由VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,许多新方法被JVET采用,并被放到名为联合探索模型(JEM)的参考软件中。
2.3.1QTBT块分割结构
不同于HEVC,QTBT结构移除了CU、PU和TU概念的分离,并且支持CU分割形状的更多灵活性。在QTBT块结构中,CU可以具有正方形或矩形形状。如图5所示,首先通过四叉树结构分割编解码树单元(CTU)。通过二叉树结构进一步分割四叉树叶节点。在二叉树划分中有两种划分类型,对称水平划分和对称垂直划分。二叉树叶节点被称为编解码单元(CU),并且该分段用于预测和变换处理而无需任何进一步的分割。这意味着CU、PU和TU在QTBT编解码块结构中具有相同的块尺寸。在JEM中,CU有时由不同颜色分量的编解码块(CB)组成,例如,一个CU在4:2:0色度格式的P条带和B条带的情况下包含一个亮度CB和两个色度CB,并且有时由单个分量的CB组成,例如,一个CU在I条带的情况下仅包含一个亮度CB或只包含两个色度CB。
为QTBT分割方案定义以下参数:
–CTU尺寸:四叉树的根节点尺寸,与HEVC中的概念相同
–MinQTSize:最小允许的四叉树叶节点尺寸
–MaxBTSize:最大允许的二叉树根节点尺寸
–MaxBTDepth:最大允许的二叉树深度
–MinBTSize:最小允许二叉树叶节点尺寸
在QTBT分割结构的一个示例中,CTU尺寸被设置为128×128个亮度样点以及两个对应的64×64色度样点块,MinQTSize被设置为16×16,MaxBTSize被设置为64×64,MinBTSize(针对宽度和高度两者)被设置为4×4,并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即,MinQTSize)至128×128(即,CTU尺寸)的尺寸。如果叶四叉树节点为128×128,则由于尺寸超过MaxBTSize(即,64×64),所以它不会通过二叉树被进一步划分。否则,叶四叉树节点可以通过二叉树被进一步分割。因此,四叉树叶节点也是二叉树的根节点,并且其二叉树深度为0。当二叉树深度达到MaxBTDepth(即,4)时,不考虑进一步的划分。当二叉树节点的宽度等于MinBTSize(即,4)时,不考虑进一步的水平划分。类似地,当二叉树节点的高度等于MinBTSize时,不考虑进一步的垂直划分。通过预测和变换处理进一步处理二叉树的叶节点,而无需任何进一步的分割。在JEM中,最大CTU尺寸为256×256个亮度样点。
图5A示出了通过使用QTBT进行块分割的示例,并且图5B示出了对应的树表示。实线指示四叉树划分,并且虚线指示二叉树划分。在二叉树的每个划分(即,非叶)节点中,信令通知一个标志以指示使用哪种划分类型(即,水平或垂直),其中0指示水平划分,并且1指示垂直划分。对于四叉树划分,不需要指示划分类型,因为四叉树划分总是水平和垂直地划分块以产生具有相同尺寸的4个子块。
图4A-图4B提供了QTBT结构的示例图示。
另外,QTBT方案支持亮度和色度具有单独的QTBT结构的能力。目前,对于P条带和B条带,一个CTU中的亮度CTB和色度CTB共享相同的QTBT结构。然而,对于I条带,通过QTBT结构将亮度CTB分割为CU,并且通过另一个QTBT结构将色度CTB分割为色度CU。这意味着I条带中的CU由亮度分量的编解码块或两个色度分量的编解码块组成,并且P条带或B条带中的CU由所有三个颜色分量的编解码块组成。
在HEVC中,小块的帧间预测被限制,以减少运动补偿的存储器访问,使得对于4×8块和8×4块不支持双向预测,并且对于4×4块不支持帧间预测。在JEM的QTBT中,这些限制被移除。
2.3.2QTBT概述
基于增加的四叉树或二叉树的深度,一个CTU可以被递归地划分为多个CU。指定正方形和矩形CB(宽度/高度等于1/2或2)。
模式选择在CU级别决定。PU和TU总是等于CU。
2.4VVC的多类型树(MTT)
2.4.1提案
提出支持除四叉树和二叉树之外的树类型。在实施方式中,如图5(e)和(f)所示,引入了两个更多的三叉树(TT)分割,即水平和垂直中心侧三叉树。
图5,VVC中的允许的分割的示例:(a)没有进一步划分(b)四叉树分割(c)水平二叉树(水平BT)分割(d)垂直二叉树(垂直BT)分割(e)水平中心侧三叉树(水平TT)分割(f)垂直中心侧三叉树分割(垂直TT)
请注意,BT/TT中的一个分割可以用BT/TT进一步划分。因此,矩形块是允许的。
有两个级别的树,区域树(四叉树)和预测树(二叉树或三叉树)。首先通过区域树(RT)分割CTU。可以用预测树(PT)进一步划分RT叶。还可以用PT进一步划分PT叶,直到达到最大PT深度。PT叶是基本的编解码单元。为了方便起见,它仍被称为CU。CU不能被进一步划分。预测和变换都以与JEM相同的方式应用于CU。整个分割结构被命名为“多类型树”。
2.4.2VVC中的分割树
支持三种类型的分割结构,即QT、BT和TT。从QT划分的块可以通过QT/BT/TT被进一步划分。从BT或TT划分的块可以被进一步划分为BT或TT。然而,从BT或TT划分的块不能再被进一步划分为QT。
图6示出了父划分(实线)和当前划分(虚线)之间的允许分割的示例。带有“X”的线意味着不允许这样的分割。
在VVC中,几个变量被信令通知/推导以控制不同分割的使用。例如:
–最大多类型树深度,具有分别亮度和色度的偏移maxMttDepth,
–最大二叉树尺寸maxBtSize/三叉树尺寸maxTtSize
–最小四叉树尺寸MinQtSize/二叉树尺寸MinBtSize/三叉树尺寸minTtSize
2.4.2.1.1允许的二进制划分过程
该过程的输入是:
–二进制划分模式btSplit,
–编解码块宽度cbWidth,
–编解码块高度cbHeight,
–所考虑的编解码块的左上方亮度样点相对于图片的左上方亮度样点的位置(x0,y0),
–多类型树深度mttDepth,
–最大多类型树深度,具有偏移maxMttDepth,
–最大二叉树尺寸maxBtSize,
–分割索引partIdx。
该过程的输出是变量allowBtSplit。
表2-1–基于btSplit的parallelTtSplit和cbSize的规范
btSplit==SPLIT_BT_VER | btSplit==SPLIT_BT_HOR | |
parallelTtSplit | SPLIT_TT_VER | SPLIT_TT_HOR |
cbSize | cbWidth | cbHeight |
变量parallelTtSplit和cbSize如表2-1所指定的进行推导。
变量allowBtSplit被推导如下:
–如果以下条件中的一个或多个为真,则allowBtSplit被设置为等于FALSE:
//根据块尺寸和最大允许的MTT深度
–cbSize小于或等于MinBtSizeY
–cbWidth大于maxBtSize
–cbHeight大于maxBtSize
–mttDepth大于或等于maxMttDepth
–否则,如果所有以下条件都为真,则allowBtSplit被设置为等于FALSE
//根据图片边界(底部图片边界和右下方图片边界没有垂直BT)
–btSplit等于SPLIT_BT_VER
–y0+cbHeight大于pic_height_in_luma_samples
–否则,如果所有以下条件都为真,则allowBtSplit被设置为等于FALSE
//根据图片边界(右侧图片边界没有水平BT)
–btSplit等于SPLIT_BT_HOR
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight小于或等于pic_height_in_luma_samples
–否则,如果所有以下条件都为真,则allowBtSplit被设置为等于FALSE:
//根据以上级别中的TT分割(mttDepth-1)
–mttDepth大于0
–partIdx等于1
–MttSplitMode[x0][y0][mttDepth-1]等于parallelTtSplit
//根据变换尺寸(例如,当MaxTbSizeY等于64时,对于64x128,没有垂直BT;对于128x64,没有水平BT)
–否则,如果所有以下条件都为真,则allowBtSplit被设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–cbWidth小于或等于MaxTbSizeY
–cbHeight大于MaxTbSizeY
–否则,如果所有以下条件都为真,则allowBtSplit被设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于MaxTbSizeY
–cbHeight小于或等于MaxTbSizeY
–否则,allowBtSplit被设置为等于TRUE。
2.4.2.1.2允许的三进制划分过程
该过程的输入是:
–三进制划分模式ttSplit,
–编解码块宽度cbWidth,
–编解码块高度cbHeight,
–所考虑的编解码块的左上方亮度样点相对于图片的左上方亮度样点的位置(x0,y0),
–多类型树深度mttDepth
–最大多类型树深度,具有偏移maxMttDepth,
–最大二叉树尺寸maxTtSize。
–该过程的输出是变量allowTtSplit。
表2-2–基于ttSplit的cbSize的规范。
ttSplit==SPLIT_TT_VER | ttSplit==SPLIT_TT_HOR | |
cbSize | cbWidth | cbHeight |
变量cbSize如表2-2所指定的进行推导。
变量allowTtSplit被推导如下:
–如果下列条件中的一个或多个为真,则allowTtSplit被设置为等于FALSE:
//根据块尺寸
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
//根据最大允许的MTT深度
–mttDepth大于或等于maxMttDepth
//根据它是否位于图片边界处
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–否则,allowTtSplit被设置为等于TRUE。
2.5AVS3中的分割树结构
在AVS3中,采用扩展四叉树(EQT)分割,其进一步扩展了QTBT方案,增加了分割灵活性。更具体地,EQT将父CU划分为不同尺寸的四个子CU,这可以充分地对不能用QTBT来精细地表征的局部图像内容建模。同时,EQT分割允许与BT分割交织,以用于增强的适应性。
利用EQT分割,父CU被划分为具有不同尺寸的四个子CU。如图7A-图7B所示,EQT在水平方向上将一个MxN父CU划分为两个MxN/4CU和两个M/2xN/2CU。类似地,EQT垂直分割生成两个NxM/4CU和两个M/2xN/2CU。具体地,EQT子块尺寸总是2次幂,使得不一定涉及附加变换。
图7A示出了EQT水平模式的示例。图7B示出了EQT垂直模式的示例。
在QTBT的结构中,QT划分标志首先被信令通知,以指示当前CU是否通过QT划分。因此,当该ag为假时,第二信号将被编码以指示当前CU划分模式是非划分还是BT划分。对于BT划分CU,第三二进制位(DIR)被信令通知以区分水平BT或垂直BT划分。当引入EQT分割时,在BT和EQT都可用的情况下,被称为EQT的一个附加二进制位被信令通知以指示它是否是EQT划分,如图8所示。
图8示出了QTBT加EQT分割的信令结构。
2.6UQT
提出了非对称四叉树(UQT)分割。利用UQT,具有大小W×H的块被划分为具有大小W1×H1、W2×H2、W3×H3和W4×H4的四个分割,其中W1、W2、W3、W4、H1、H2、H3、H4都是整数。所有参数都是2次幂的形式。例如,W1=2N1,W2=2N2,W3=2N3,W4=2N4,H1=2M1,H2=2M2,H3=2M3,H4=2M4。在图9A-图9H中给出了一些示例。
图9A-图9H示出了UQT的一些情况。
2.7UQI-T
提出了几种方法来引入可以将一个块划分为多于4个分割的其他种类的分割结构。
在一个示例中,提出了五叉树(QUI-T)分割。图10A-图10B中示出了示例。
图10A-图10B示出了通过将一个W*H块划分为五个更小块的UQI-T的示例情况。
图10A示出了W0+W1+W2+W3+W4=W;H0=H1=H2=H3=H4=H。
图10B示出了W0+W1+W2=W3+W4=W;H0=H1=H2;H3=H4;H0+H3=H。
此外,还有其他的六叉树、七叉树、八叉树分割(SnT、StT、OctT),其中一个块可以被划分为6个、7个或8个更小块。
2.8非对称二叉树结构
该响应中使用的树结构(称为多树类型(MTT))是QTBT的广义化。在QTBT中,如图11所示,编解码树单元(CTU)首先通过四叉树结构被分割。四叉树叶节点通过二叉树结构被进一步分割。
图11示出了QTBT结构的示例。
MTT的基本结构由两种类型的树节点组成:区域树(RT)和预测树(PT),支持九种类型的分割,如图12所示。区域树可以递归地将CTU划分为正方形块,直到4x4尺寸的区域树叶节点。在区域树中的每个节点处,预测树可以由三种树类型之一形成:二叉树、三叉树和非对称二叉树(ABT,如图12(f)至(i)所描绘的)。在PT划分中,禁止在预测树的分支中具有四叉树分割。如同在JEM一样,亮度树和色度树在I条带中被分开。
图12示出了(a)四叉树分割(b)垂直二叉树分割(c)水平二叉树分割(d)垂直三叉树分割(e)水平三叉树分割(f)水平上方非对称二叉树分割(g)水平下方非对称二叉树分割(h)垂直左侧非对称二叉树分割(i)垂直右侧非对称二叉树分割。
2.8.1变换/量化
为了适应由于ABT的更灵活分割,块尺寸不是2次幂,诸如4x24和8x48,包括对应的变换核心。
总共,已经添加了6点、12点、24点、48点的附加变换。
3.由所公开的实施例解决的问题。
尽管ABT分割可以带来附加的编解码增益,但是它同时通过添加几个新的变换矩阵来增加解码器复杂度。
同时,仅尝试了非对称二叉分割树(即,ABT),而尚未充分研究可以将一个块划分为多于2个非对称分割的其他种类的分割。
4.技术的示例
为了解决该问题,提出了几种方法以引入其他种类的分割结构,该分割结构可以将一个块(也可以被称为一个父块)划分为更小块(也可以被称为子块),其中至少一个块的宽度/高度或者宽度和高度两者不等于2次幂。这种分割被称为非二次幂分割树(NPT-T)。
下面的详细技术应该被认为是用以解释一般概念的示例。这些实施例不应该被狭义地解释。此外,这些实施例可以以任何方式被组合。
在下面的讨论中,分割树可以指示QT、BT、TT或非对称四叉树(UQT)、EQT或其他。而分割/划分方向可以指示水平划分或垂直划分或对角划分或其他。一个分割由其分割树类型和分割方向表示。
QT、BT、TT、UQT或EQT分别指“QT划分”、“BT划分”、“TT划分”、“UQT划分”、“EQT划分”。
在下面的讨论中,“划分”和“分割”具有相同的含义。所提出的方法也可以适用于现有的分割树。
函数floor(x)返回小于或等于x的最大整数。
4.1NPT-T的示例
1.提出了NPT-T分割,其中至少一个划分更小块的宽度和/或高度不是2次幂的形式。利用NPT-T,大小为W×H的块被划分为K个更小块(K>1,K是整数值)。当使用这种分割的指示为真(true)时,这种块被直接划分为K个更小块(也称为子块)。更小的一个可以被视为编解码单元/预测单元/变换单元。
更小块的每个大小可以由Wi×Hi表示(i为0..(K-1),指示分割索引)并且Wi、Hi都是整数。
a.在一个示例中,每个子块可以诸如以递归方式被进一步划分为甚至更小的块。
b.在一个示例中,K>2。也就是说,一个块可以被划分为至少三个更小块。
(a)替代地,K等于2,然而,它可以选择不同方式的划分方法而不是使用(ABT设计中的1/4W或1/4H)。
c.在一个示例中,至少一个Wi或Hi不是2次幂的形式。
(a)例如,W0≠2N0,和/或W1≠2N1,和/或W2≠2N2,和/或W3≠2N3,和/或W4≠2N4,和/或H0≠2M0,和/或H1≠2M1,和/或H2≠2M2,和/或H3≠2M3,和/或H4≠2M4。
(b)此外,替代地,至少一个Wi或Hi是2次幂的形式。
1.在一个示例中,Wi等于2floor(log2(W/K))。
2.在一个示例中,Hi等于2floor(log2(H/K))。
3.在一个示例中,如果i不等于j,则Wi可能不同于Wj。
4.在一个示例中,如果i不等于j,则Hi可能不同于Hj。
d.在一个示例中,至少一个Wi被设置为floor(W*m/2n),其中W>=2n并且1<=m<2n。
e.在一个示例中,至少一个Hi被设置为floor(H*m/2n),其中H>=2n并且1<=m<2n。
f.在一个示例中,从NPT-T划分的块可以根据NPT-T而进一步划分。
g.在一个示例中,宽度或高度不是2次幂的形式的块可能不能根据NPT-T而划分。此外,替代地,对NPT-T的使用的信令通知被跳过。
h.在一个示例中,宽度不等于高度的非正方形块可能不能根据NPT-T而划分。此外,替代地,对NPT-T的使用的信令通知被跳过。
i.在一个示例中,宽度等于高度的正方形块可能不能根据NPT-T而划分。此外,替代地,对NPT-T的使用的信令通知被跳过。
j.在一个示例中,宽度或高度不是二次幂的形式的块必须被划分。此外,替代地,划分标志的信令通知被跳过。
4.2NPT-T的分割方向
2.NPT-T可以仅在垂直方向上划分一个块。
a.例如,Hi=H(对于i为0…(K-1))。
b.在一个示例中,L0个分割(L0等于2…K)共享相同的分割尺寸。
(a)在一个示例中,相同的分割尺寸的宽度被设置为floor(W/K)。
(b)在一个示例中,L0个分割可以与另一个邻近。替代地,它们可以彼此不相邻。
(c)在一个示例中,L0个分割可以被连续地给予分割索引,其中该分割索引指示一个分割应当在另一个分割之前或之后被直接编解码。
(d)在图13中给出了L0=2并且K=3的一些示例。
i.在图13A中,W0=W1=floor(W/3)并且W2=W–2*floor(W/3)。
ii.在图13B中,W0=W2=floor(W/3)并且W1=W–2*floor(W/3)。
iii.在图13C中,W0=W1=W2=W3=floor(W/5)并且W4=W–4*floor(W/5)。
图13A示出了PIdx0和PIdx1具有相同尺寸的示例。
图13B示出了PIdx0和PIdx2具有相同尺寸的示例。
图13C示出了K=5、L0=4的示例。
图13A-图13C示出了NPT-T分割的示例(其中对于(a)和(b),K=3,L0=2)。
c.此外,替代地,剩余(K-L0)个分割中的L1个分割可以被分配有相等尺寸。
(a)在一个示例中,L1在[1…K-L0]的范围内。
(b)在一个示例中,L1分割尺寸的宽度被设置为floor((W-L0*floor(W/K))/(K-L0))。替代地,当L1等于(K-L0-1)时,此外,一个左侧分割可以被分配有等于W–L0*floor(W/K)-((W-L0*floor(W/K))/(K-L0))*(K-L0-1)的块宽度。
(c)替代地,剩余(K-L0)个分割可以被分配有不同尺寸。
(d)在一个示例中,L1个分割可以与另一个邻近。替代地,它们可以彼此不相邻。
(e)在一个示例中,L1个分割可以被连续地给予分割索引,其中该分割索引指示一个分割应当在另一个分割之前或之后被直接编解码。替代地,它们可以不连续地被给予分割索引。
(f)在图14中给出了L0=2、L1=2并且K=5的一些示例。在图14中,W0=W1=floor(W/5),W2=W3=floor((W–2*floor(W/5))/3)并且W4=W–2*W0–2*W1。
图14示出了NPT-T分割的示例(其中K=5,L0=2,L1=2)。
d.在一个示例中,仅一个分割尺寸(Wi×Hi)不同于所有剩余分割。
(a)例如,L0等于K–1。
e.在一个示例中,分割尺寸(Wi×Hi)对于所有分割可以相同。
3.NPT-T可以仅在水平方向上划分一个块。
a.项目符号2中的子项目符号可以通过交换H与W而应用。
4.NPT-T可以在水平和垂直方向上划分一个块。这种情况被称为混合方向。
a.例如,Wi中至少一个不等于W。
b.例如,Hi中至少一个不等于H。
5.如果块的宽度不是2次幂的形式,则NPT-T可以在垂直方向上划分一个块,或/和如果块的高度不是2次幂的形式,则NPT-T可以在水平方向上划分一个块。
a.替代地,如果块的宽度是2次幂的形式,则NPT-T可以在垂直方向上划分一个块,或/和如果块的高度是2次幂的形式,则NPT-T可以在水平方向上划分一个块。
6.以上方法可以被扩展到其他四叉、六叉、九叉、八叉树分割(SnT、StT、OctT),其中一个块可以被划分为6、7或8个更小块。
7.编解码顺序(由PIdx 0..(K-1)表示)可以不同于在图13A-图13C和图14中定义的编解码顺序。
a.一个NPT-T模式的编解码顺序可以被预定义。
b.替代地,可以为一个NPT-T模式预定义多个编解码顺序,并且一个块可以(诸如经由信令通知所选择的编解码顺序的指示或解码器侧的推导)从它们中选择一个。
4.3变换尺寸/变换矩阵和变换区域选择
8.对于宽度(Wi)和高度(Hi)中的至少一个不是2次幂的形式的子块尺寸,限制使用与子块相比更小的变换块(其中宽度和高度分别由TWi和THi表示)。也就是说,如果TWi=Wi并且THi=Hi,则不允许。
a.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于子块尺寸。
(a)在一个示例中,TWi被设置为pow(2,floor(log2(Wi))。
(b)在一个示例中,THi被设置为pow(2,floor(log2(Hi))。
b.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于可用的变换矩阵。
(a)在一个示例中,TWi被设置为2次幂的形式的一个允许的变换尺寸和/或变换矩阵,诸如最大允许的变换尺寸但不大于Wi。
(b)在一个示例中,THi被设置为2次幂的形式的一个允许的变换尺寸和/或变换矩阵,诸如最大允许的变换尺寸但不大于Hi。
c.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于子块从其划分的父块。
d.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于从相同父块划分的子块的尺寸。
e.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于色彩格式和/或色彩分量。
f.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于图片类型/条带类型/片组类型/低延迟检查标志。
g.在一个示例中,TWi和/或THi和/或变换矩阵的设置可以取决于其他编解码信息,诸如量化参数、模式信息(帧内/帧间/组合帧内-帧间)、参考图片信息(当前图片参考/单向预测/双向预测/多假设预测)。
h.可以在高级语法元素中信令通知如何定义变换块尺寸和/或变换矩阵,诸如SPS/VPS/在SPS/PPS/VPS/APS/序列头/图片头/条带头/片组头/CTU行/区域等中。
i.在一个示例中,TWi不大于TWmax。例如,TWmax=64。
j.在一个示例中,THi不大于THmax。例如,THmax=64。
k.在一个示例中,TWi不小于TWmin。例如,TWmin=4。
l.在一个示例中,THi不小于THmin。例如,THmin=4。
9.当变换块(其中宽度和高度分别由TWi和THi表示)与子块相比更小时,固定偏移(OffsetX,OffsetY)可以被应用于定位应当应用变换的区域。
a.在一个示例中,(OffsetX,OffsetY)被设置为(0,0)。图15A-图图15B示出了一些示例。替代地,OffsetX被设置为0。替代地,OffsetY被设置为0。
图15A示出了Wi≠2N0、Hi=2N1的情况。
图15B示出了Wi≠2N0、Hi≠2N1的情况。
图15A-图15B示出了设置为(0,0)的(OffsetX,OffsetY)的示例(实线:子块;虚线:变换区域)。
b.替代地,仅OffsetX和OffsetY中的一个被设置为0。
c.替代地,OffsetX和OffsetY都不等于0。
(a)在一个示例中,OffsetX被设置为(Wi-TWi)。
(b)在一个示例中,OffsetY被设置为(Hi-THi)。
(c)图16A-图16B示出了一些示例。
图16A示出了其中Wi≠2N0、Hi=2N1的示例。
图16B示出了其中Wi≠2N0、Hi≠2N1的示例。
图16A-图16B示出了设置为(0,0)的(OffsetX,OffsetY)的示例(实线:子块;虚线:变换区域)。
d.OffsetX和/或OffsetY可以取决于子块形状。
e.OffsetX和/或OffsetY可以取决于父块形状。
f.OffsetX和/或OffsetY可以取决于子块/父块的编解码信息。
g.在一个示例中,OffsetX和/或OffsetY的设置可以取决于色彩格式和/或色彩分量。
h.在一个示例中,OffsetX和/或OffsetY的设置可以取决于图片类型/条带类型/片组类型/低延迟检查标志。
i.在一个示例中,OffsetX和/或OffsetY的设置可以取决于其他编解码信息,诸如量化参数、模式信息(帧内/帧间/组合帧内-帧间)、参考图片信息(当前图片参考/单向预测/双向预测/多假设预测)。
j.在一个示例中,可以信令通知OffsetX和/或OffsetY。
k.在一个示例中,可以定义OffsetX和/或OffsetY的几个候选,可以信令通知候选的索引。
(a)在一个示例中,候选集的尺寸可以取决于子块形状,并且对于不同的子块形状,可以不同地信令通知索引。
(b)如果候选集的尺寸等于1,则不信令通知索引。
l.在一个示例中,可以定义(OffsetX,OffsetY)的几个候选,可以信令通知候选的索引以指示OffsetX和OffsetY。
(a)在一个示例中,候选集的尺寸可以取决于子块形状,并且对于不同的子块形状,可以不同地信令通知索引。
(b)如果候选集的尺寸等于1,则不信令通知索引。
10.不同于其中针对宽度(Wi)和高度(Hi)中的至少一个不是2次幂的形式的子块尺寸仅允许一个固定的变换尺寸和/或变换矩阵的上面的项目符号,提出针对这种种类的子块允许多个不同的变换尺寸和/或变换矩阵。
a.在一个示例中,所有种类的允许的变换尺寸应当是2次幂的形式。
b.替代地,至少一个允许的变换尺寸应当是2次幂的形式。
c.在一个示例中,其他种类的变换尺寸应当不大于在项目符号8中定义的变换尺寸。
d.可以为允许的变换尺寸中的每一个仅定义/推导应当应用变换区域的一个固定偏移(包括OffsetX和OffsetY两者)。
(a)在这种情况下,可以仅信令通知所选择的变换的指示。
e.应当应用变换区域的多个偏移可以与允许的变换尺寸中的每一个相关联。
(a)在这种情况下,可以信令通知所选择的变换和偏移的指示。
(b)在一个示例中,对于所有种类的允许的变换尺寸,允许的偏移的数量是相同的。
(c)替代地,对于不同的变换尺寸,允许的偏移的数量可以不同。
f.在一个示例中,可以信令通知所有种类的允许的变换尺寸和/或偏移和/或变换矩阵的指示。
g.替代地,允许的变换尺寸和/或变换矩阵和/或偏移可以被分类为M个类别。可以首先信令通知类别索引。此外,替代地,可以进一步信令通知所选择的变换尺寸/偏移/矩阵的索引。
h.在一个示例中,可以信令通知一个索引以指示变换尺寸和偏移两者。
4.4非二次幂分割树的使用
11.通过NPT-T而划分为子块的块可以通过一种或某些特定种类的划分方法从父块进行划分。
a.可以允许NPT-T分割的块可以是通过QT或BT或TT或NPT-T分割而生成的块。
b.例如,通过NPT-T而划分为子块的块仅能够通过QT从父块进行划分。
c.可以允许NPT-T分割的块可以是根块。
12.通过NPT-T从父块划分的块可以通过一种或多种其他分割类型(诸如QT、BT、TT、NPT-T、UQT)被进一步划分为子块。
a.例如,通过NPT-T从父块划分的块可以通过BT和/或TT被进一步划分为子块。
b.例如,通过NPT-T从父块划分的块可以通过BT和/或TT、和/或QUT-T而不是QT被进一步划分为子块。
c.例如,通过NPT-T从父块划分的块可以通过NPT-T和/或QT而不是BT/TT被进一步划分为子块。
d.例如,通过NPT-T从父块划分的块不能通过QT进一步划分为子块。
e.替代地,NPT-T划分块可以不被进一步划分为子块。
13.当父块通过NPT-T被划分为子块时,子块的划分深度可以从父块的划分深度进行推导。
a.在一个示例中,由于NPT-T的划分可以用于更新QT/BT/TT/NPT-T/MTT深度。
(a)在一个示例中,子块中的一个或全部的QT深度等于父块的QT深度加1。
(b)在一个示例中,子块中的一个或全部的BT深度等于父块的BT深度加1。
(c)在一个示例中,子块中的一个或全部的TT深度等于父块的TT深度加1。
(d)在一个示例中,子块中的一个或全部的NPT-T深度等于父块的NPT-T深度加1。
(e)在一个示例中,子块中的一个或全部的MTT深度等于父块的MTT深度加1。
1.例如,如果父块通过BT被划分为子块,则子块的MTT深度等于父块的MTT深度加1。
2.例如,如果父块通过TT被划分为子块,则子块的MTT深度等于父块的MTT深度加1。
b.在一个示例中,不同子块的NPT-T/BT/TT/QT/MTT深度增加可以不同。
(a)深度增加取决于子块与父块相比的比率。
14.滤波过程(诸如去方块滤波器、SAO、ALF、扩散滤波器、双边滤波器)可以取决于NPT-T分割。
a.在一个示例中,是否/如何对样点进行滤波可以取决于这些样点是否位于由于NPT-T划分的一个块的边界处。
b.在一个示例中,先前重构子块的样点可以用于扩散滤波器或/和双边滤波器中。
c.在一个示例中,是否/如何对样点进行滤波可以取决于这些样点是否位于由于NPT-T划分的编解码单元内的一个变换块的边界处。
15.帧内预测模式或CIIP模式可以取决于NPT-T分割。
a.在一个示例中,子块可以在帧内预测模式或CIIP模式下使用先前重构子块用于帧内预测。
16.局部照明补偿(LIC)模式可以取决于NPT-T分割。
a.在一个示例中,子块可以使用先前重构子块用于推导LIC参数。
4.5NPT-T的使用的限制
17.在一个示例中,可以允许NPT-T分割的最大/最小块尺寸和/或最大比特深度和/或可以允许NPT-T分割的最大深度可以在SPS/PPS/VPS/APS/序列头/图片头/条带头/片组头/CTU行/区域等中被信令通知。
a.可以允许NPT-T分割的最大/最小块尺寸和/或可以允许NPT-T分割的最大深度可以从其他值(诸如MTT的深度或QT的深度)进行推导。
b.允许NPT-T分割的最大块可以是最大的编解码块(编解码树块或编解码树单元)。
c.例如,允许NPT-T分割的最大块可以是虚拟流水线数据单元(VPDU)。
d.在一个示例中,可以允许NPT-T分割的最大/最小块尺寸和/或可以允许NPT-T分割的最大深度可以取决于标准的简表(profile)/级别/层级。
e.在一个示例中,可以允许NPT-T分割的最大/最小块尺寸和/或可以允许NPT-T分割的最大深度可以被推导为诸如与QT分割的相同。
f.在一个示例中,可以允许NPT-T分割的最大/最小块尺寸和/或可以允许NPT-T分割的最大深度可以取决于片组片/条带类型/色彩分量/双树是否被启用。
g.在一个示例中,可以允许NPT-T分割的最大/最小块尺寸和/或可以允许NPT-T分割的最大深度对于不同的NPT-T模式可以不同。
h.当根据NPT-T来划分一个块时,可以相应地调整(例如,增加1)一个更小块的NPT-T的对应深度。
(a)替代地,可以相应地调整(例如,增加1)一个更小块的特定分割(例如,QT)的对应深度。
(b)替代地,可以相应地调整(例如,增加1)一个更小块的MTT的对应深度。
(c)不同更小块的对应深度的调整可以以相同的方式(例如,增加1)进行。
1.替代地,不同更小块的对应深度的调整可以以不同的方式(例如,增加1)进行。例如,该调整取决于更小块的块大小。
18.如果划分的子块跨多于一个虚拟流水线数据单元(VPDU),则NPT-T不被允许。
a.替代地,NPT-T仍然被允许,然而,这种子块被强制进一步划分,直到没有子块跨多于一个VPDU。
19.如果当前块(或任何划分的子块)的宽度/高度满足一些条件,则NPT-T不被允许。(假设当前块的宽度和高度为W和H,T1、T2和T是一些整数)
a.如果W>=T1并且H>=T2,则NPT-T不被允许;
b.如果W>=T1或H>=T2,则NPT-T不被允许;
c.如果W<=T1并且H<=T2,则NPT-T不被允许;
d.如果W<=T1或H<=T2,则NPT-T不被允许;
e.如果W×H<=T,则NPT-T不被允许;
f.如果W×H>=T,则NPT-T不被允许;
g.如果H<=T,则水平NPT-T不被允许;例如,T=16。
h.如果H>=T,则水平NPT-T不被允许;例如,T=128。
i.如果W<=T,则垂直NPT-T不被允许;例如,T=16。
j.如果W>=T,则垂直NPT-T不被允许;例如,T=128。
k.T1、T2和T可以在VPS/SPS/PPS/图片头/条带头/片组头/片头中从编码器被信令通知给解码器。
l.T1、T2和T可以取决于色彩分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
m.T1、T2和T可以取决于亮度编解码树和色度编解码树是否被分开。例如,如果亮度编解码树和色度编解码树被分开,则对于亮度和色度分量,T1、T2和T可以不同。
n.替代地,当针对由于NPT-T的至少一个子块不支持变换时,NPT-T划分无效。
o.替代地,当一个块的深度超过NPT-T划分的允许深度时,NPT-T划分无效。
p.替代地,当由于NPT-T划分的任何子块尺寸小于允许的块尺寸时,NPT-T划分无效。
20.如果当前块(或任何划分的子块)的宽度/高度满足一些条件,则NPT-T被允许。(假设当前块的宽度和高度为W和H,T1、T2和T是一些整数)
a.如果W>=T1并且H>=T2,则NPT-T被允许;
b.如果W>=T1或H>=T2,则NPT-T被允许;
c.如果W<=T1并且H<=T2,则NPT-T被允许;
d.如果W<=T1或H<=T2,则NPT-T被允许;
e.如果W×H<=T,则NPT-T被允许;
f.如果W×H>=T,则NPT-T被允许;
g.如果H<=T,则水平NPT-T被允许;例如,T=64。
h.如果H>=T,则水平NPT-T被允许;例如,T=32。
i.如果W<=T,则垂直NPT-T被允许;例如,T=64。
j.如果W>=T,则垂直NPT-T被允许;例如,T=32。
k.T1、T2和T可以在VPS/SPS/PPS/图片头/条带头/片组头/片头中从编码器被信令通知给解码器。
l.T1、T2和T可以取决于色彩分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
m.T1、T2和T可以取决于亮度编解码树和色度编解码树是否被分开。例如,如果亮度编解码树和色度编解码树被分开,则对于亮度和色度分量,T1、T2和T可以不同。
21.如果当前块的深度满足一些条件,则NPT-T不被允许。当前块的深度可以指QT深度、BT深度、TT深度、NPT-T深度或MTT深度。
a.如果划分深度<=T,则NPT-T不被允许;
b.如果划分深度>=T,则NPT-T不被允许;
c.如果QT划分深度<=T,则NPT-T不被允许;
d.如果QT划分深度>=T,则NPT-T不被允许;
e.如果BT划分深度>=T,则NPT-T不被允许;
f.如果BT划分深度<=T,则NPT-T不被允许;
g.如果TT划分深度>=T,则NPT-T不被允许;
h.如果TT划分深度>=T,则NPT-T不被允许;
i.如果NPT-T划分深度<=T,则NPT-T不被允许;
j.如果NPT-T划分深度>=T,则NPT-T不被允许;
k.如果MTT划分深度<=T,则NPT-T不被允许;
l.如果MTT划分深度>=T,则NPT-T不被允许;
m.T可以在VPS/SPS/PPS/图片头/条带头/片组头/片头中从编码器被信令通知给解码器。
n.T可以取决于色彩分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
o.T可以取决于亮度编解码树和色度编解码树是否被分开。例如,如果亮度编解码树和色度编解码树被分开,则对于亮度和色度分量,T1、T2和T可以不同。
22.如果当前块的深度满足一些条件,则NPT-T被允许。当前块的深度可以指QT深度、BT深度、TT深度、NPT-T深度或MTT深度。
a.如果划分深度<=T,则NPT-T被允许;
b.如果划分深度>=T,则NPT-T被允许;
c.如果QT划分深度<=T,则NPT-T被允许;
d.如果QT划分深度>=T,则NPT-T被允许;
e.如果BT划分深度>=T,则NPT-T被允许;
f.如果BT划分深度<=T,则NPT-T被允许;
g.如果TT划分深度>=T,则NPT-T被允许;
h.如果TT划分深度>=T,则NPT-T被允许;
i.如果NPT-T划分深度<=T,则NPT-T被允许;
j.如果NPT-T划分深度>=T,则NPT-T被允许;
k.如果MTT划分深度<=T,则NPT-T被允许;
l.如果MTT划分深度>=T,则NPT-T被允许;
m.T可以在VPS/SPS/PPS/图片头/条带头/片组头/片头中从编码器被信令通知给解码器。
n.T可以取决于色彩分量。例如,对于亮度和色度分量,T1、T2和T可以不同。
o.T可以取决于亮度编解码树和色度编解码树是否被分开。例如,如果亮度编解码树和色度编解码树被分开,则对于亮度和色度分量,T1、T2和T可以不同。
23.是否以及如何使用NPT-T可以取决于当前块的位置。例如,是否以及如何使用NPT-T可以取决于当前块是否跨图片/片/片组边界。
a.在一个示例中,如果当前块跨图片/片/片组底部边界,则垂直NPT-T不被允许。
b.在一个示例中,如果当前块跨图片/片/片组底部边界,则水平NPT-T不被允许。
c.在一个示例中,如果当前块跨图片/片/片组右边界,则垂直NPT-T不被允许。
d.在一个示例中,如果当前块跨图片/片/片组右边界,则水平NPT-T不被允许。
e.在一个示例中,如果当前块跨图片/片/片组右边界,则混合NPT-T可能不被允许。
f.在一个示例中,如果当前块跨图片/片/片组底部边界,则混合NPT-T可能不被允许。
g.在一个示例中,如果通过NPT-T而划分的子块完全在图片/片/片组之外,则可以在编码/解码过程中省略子块。
h.在一个示例中,如果通过NPT-T而划分的子块部分地在图片/片/片组之外,则以下可以适用
(a)可以在编码/解码过程中省略图片之外的部分。
(b)图片内部的部分可以被进一步划分。
(c)图片内部的部分可以被编解码为CU。
1.图片内部的部分是否被编解码为CU可以取决于该部分的宽度(w)和高度(h)。
i.在一个示例中,如果w=2nw,h=2nh,则图片内部的部分可以被编解码为CU,其中nw和nh是整数。
i.在一个示例中,如果通过NPT-T而划分的任何子块部分地/完全在图片/片/片组之外,则NPT-T不被允许。
24.当不允许NPT-T或特定NPT-T模式时,也可以跳过信令通知模式的使用的指示。
a.替代地,它仍然可以被信令通知,但是在一致性比特流中被约束为假(false)。
25.当从NPT-T划分子块时,可能不允许用如下的一种或多种划分方法进一步划分子块:
a.QT
b.水平BT
c.垂直BT
d.水平TT
e.垂直BT
f.水平UQT
g.垂直UQT
h.NPT-T
26.针对根节点不允许NPT-T。
a.在一个示例中,可以针对叶节点允许NPT-T。此外,替代地,信令通知根据其他分割的进一步划分的指示被跳过。
27.提出NPT-T可以仅被应用于叶节点,即当一个块不根据其他分割而进一步划分时。
a.在一个示例中,可以为叶节点信令通知是否使用NPT-T的标志。
(a)此外,替代地,可以进一步信令通知哪种NPT-T的指示。
b.替代地,可以为叶节点信令通知禁用NPT-T或哪种NPT-T的指示。
28.对于一个块的特定大小,如果选择NPT-T以将其进一步划分为多个子块,则子块中的全部可以共享相同的Merge列表。
a.替代地,子块中的全部可以共享相同的编解码模式(例如,帧内或帧间)。
b.替代地,子块中的全部可以共享相同的AMVP或其他种类的运动候选列表。
c.替代地,子块中的全部可以共享相同的跨分量线性模型(CCLM)/局部照明补偿(LIC)参数或在解码器侧推导的其他参数。
4.6NPT-T的使用的指示
29.是否应用NPT-T和/或应用哪种NPT-T可以从编码器被信令通知给解码器。
a.在一个示例中,它可以在VPS/SPS/PPS/序列头/图片头/条带头/片组头/片头中被信令通知,以指示是否可以应用NPT-T。
b.在一个示例中,它可以在VPS/SPS/PPS/序列头/图片头/条带头/片组头/片头中被信令通知,以指示可以应用哪种NPT-T。
c.在一个示例中,它可以在块中被信令通知,以指示NPT-T是否用于划分该块。
d.在一个示例中,它可以在块中被信令通知,以指示哪种NPT-T用于划分该块。
e.在一个示例中,不同的NPT-T集可以被设计用于不同的块形状/尺寸。
f.在一个示例中,不同的NPT-T集可以被设计用于具有不同时域层的图片/片/条带。
g.在一个示例中,是否或如何应用NPT-T可以取决于视频分辨率/图片分辨率/编解码模式/视频特性(屏幕内容或相机捕获的序列或混合内容)/条带类型/图片类型/片组类型/低延迟检查标志。
30.可以信令通知一个语法元素,以指示没有划分或分割(包括分割树类型和划分方向)。
a.替代地,可以首先信令通知一个语法元素以指示是否进行划分;并且可以信令通知另一个语法元素以指示分割。
31.分割的指示可以由两个语法元素表示:可以首先信令通知所选择的分割树类型,随后是划分方向(如果需要)。
a.在一个示例中,可以在块中信令通知分割树类型的索引,以指示块是通过QT划分的,还是通过NPT-T划分的,还是非划分的。
(a)此外,替代地,可以进一步信令通知划分方向(水平/垂直/混合方向)和/或划分模式。
h.在一个示例中,可以在块中信令通知分割树类型的索引,以指示块是通过BT还是TT还是NPT-T划分的。
(a)例如,可以有条件地信令通知该索引,诸如仅当BT、TT和NPT-T中的至少一个对该块有效时。
(b)此外,替代地,可以进一步信令通知划分方向(水平/垂直)和/或划分模式。
i.替代地,可以首先信令通知划分方向的指示,随后是分割树类型(诸如QT、TT、NPT-T)。
(a)在一个示例中,标志在块中被信令通知,以指示块是垂直划分还是水平划分。垂直划分可以是BT垂直划分、TT垂直划分或NPT-T垂直划分。水平划分可以是BT水平划分、TT水平划分或NPT-T水平划分。
(b)例如,该标志仅在块通过BT、TT或NPT-T进行划分时被信令通知。
(c)例如,该标志仅在垂直划分和水平划分对该块都有效时被信令通知。
1.如果仅垂直划分有效,则不信令通知标志,并且推断使用水平划分。
2.如果仅水平划分有效,则不信令通知标志,并且推断使用垂直划分。
j.在一个示例中,二值化码在块中被信令通知,以指示使用哪种划分(BT、TT或一种NPT-T)。在以下示例中,X表示0或1,并且Y=~X(如果X=0,则Y=1,以及如果X=1,则Y=0)。
(a)在一个示例中,根据先前信令通知的或推导的信息,要被信令通知的候选BT、TT或NPT-T都是垂直划分或水平划分。
(b)在一个示例中,第一标志被信令通知,以指示是否使用NPT-T。例如,有序表示BT、TT、NPT-T 1、NPT-T 2、NPT-T 3和NPT-T 4的二值化码字为XX、XY、YXX、YXY、YYX、YYY。
(c)在一个示例中,截断的一元码被应用。例如,有序表示BT、TT、NPT-T 1、NPT-T2、NPT-T 3和NPT-T 4的二值化码字为X、YX、YYX、YYYX、YYYYX、YYYYY。
(d)在一个示例中,第一标志被信令通知,以指示是否使用BT。如果不使用BT,则第二标志被信令通知,以指示是否使用NPT-T。如果使用NPT-T,使用哪种NPT-T被进一步信令通知。例如,有序表示BT、TT、NPT-T 1、NPT-T 2、NPT-T 3和NPT-T 4的二值化码字为X、YX、YYXX、YYXY、YYYX、YYYY。
32.在一个示例中,如何在块中信令通知使用哪种分割可以取决于哪种分割(包括分割树类型和/或分割方向)对块有效。在以下示例中,X表示0或1,并且Y=~X(如果X=0,则Y=1,以及如果X=1,则Y=0)。
a.在一个示例中,根据先前信令通知的或推导的信息,要被信令通知的候选BT、TT或NPT-T都是垂直划分或水平划分。
b.例如,不允许的或无效的划分不能从编码器被信令通知给解码器,即没有码字表示不允许的或无效的划分。
c.在一个示例中,如果仅有BT、TT和NPT-T中的一种划分有效,则不信令通知用以指示使用哪种划分(BT、TT、或一种NPT-T)的二值化码。
d.在一个示例中,如果仅有BT、TT和NPT-T中的两种划分有效,则标志被信令通知以指示使用两个有效划分中的哪一个。
e.在一个示例中,用以指示哪种划分(BT、TT或一种NPT-T)的码被二值化为截断的一元码。
(a)例如,截断的一元码的最大值为N-1,其中N是有效划分(BT、TT和NPT-T)的数量。
(b)例如,没有码字表示无效划分。换句话说,当建立码字表时,无效划分被跳过。
f.在一个示例中,如果没有NPT-T是有效的,则指示是否使用NPT-T的标志不被信令通知并且被推断为假。例如,有序表示BT和TT的二值化码字为X和Y。
g.在一个示例中,如果仅一种NPT-T有效,并且信令通知使用NPT-T,则不信令通知进一步的信息来指示使用哪个NPT-T。有效的NPT-T被隐式使用。
h.在一个示例中,如果仅两种NPT-T有效,并且信令通知使用NPT-T,则标志被信令通知以指示使用哪个NPT-T。
i.在一个示例中,如果仅三种NPT-T有效,并且信令通知使用NPT-T,则消息被信令通知以指示使用哪个NPT-T。例如,有序表示三个NPT-T的二值化码字为X、YX、YY。
j.在一个示例中,二值化和/或信令通知方法不根据块中哪种划分有效而改变。不能在一致性比特流中选择无效划分。
33.可以通过利用一个或多个上下文的算术编解码对分割的指示进行编解码。
a.在一个示例中,可以用上下文对二进制串的仅部分二进制位进行编解码,并且可以以旁路模式(即,不利用上下文)对剩余二进制位进行编解码。
b.可替代地,可以用上下文对二进制串的所有二进制位进行编解码。
c.可替代地,可以以旁路模式对二进制串的所有二进制位进行编解码。
d.对于用上下文编解码的二进制位,可以使用一个或多个上下文。
e.上下文可以取决于:
(a)二进制位的位置或索引。
(b)空域/时域邻近块的分割。
(c)当前块的当前分割深度(例如,QT深度/BT深度/TT深度/NPT-T深度/MTT深度)。
(d)空域/时域邻近块和/或空域/时域非相邻块的分割深度(例如,QT深度/BT深度/TT深度/NPT-T深度/MTT深度)。
(e)空域/时域邻近块的编解码模式。
(f)空域/时域邻近块的宽度/高度。
(g)当前块的宽度/高度
(h)条带类型/图片类型/片组类型
(i)色彩分量
(j)来自先前编解码的块的分割类型的统计结果
34.是否和/或如何使用NPT-T可以取决于色彩格式(诸如4:4:4或4:2:0)和/或色彩分量。
a.是否以及如何使用NPT-T可以取决于亮度和色度编解码树是否被分开。
b.在一个示例中,当亮度和色度编解码树被分开时,仅可以将NPT-T应用于亮度分量。
35.以上方法也可以适用于SnT、StT、OctT、UQT。
图17是视频处理装置1700的框图。装置1700可以用于实施本文描述的一种或多种方法。装置1700可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1700可以包括一个或多个处理器1702、一个或多个存储器1704和视频处理硬件1706。(多个)处理器1702可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)1704可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理电路或硬件1706可以用于在硬件电路中实施本文档中描述的一些技术,并且可以部分地或完全是处理器1702的一部分(例如,图形处理器核心GPU或其他信号处理电路)。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示到对应比特流表示的转换期间应用,反之亦然。当前视频块的比特流表示可以例如对应于比特流内共置或分布在不同位置的比特,如语法所定义的。例如,宏块可以根据变换和编解码的误差残差值并且还使用比特流中的头和其他字段中的比特来编码。
应当理解,已经公开了几种技术,其中通过允许使用本文档中公开的技术,该几种技术将有益于结合在诸如智能手机、膝上型电脑、台式机和类似设备的视频处理设备内的视频编码器和解码器实施例。
图18是视频处理的示例方法1800的流程图。方法1800包括,在1802,对视频和视频的比特流表示之间的转换启用对非二次幂分割树(NPT-T)的使用,其中,NPT-T包括将视频块划分为视频块的一个或多个更小尺寸的子块,并且至少一个子块的宽度或高度具有为非二次幂整数的像素大小。方法1800包括,在1804,使用NPT-T来执行该转换。
可以使用以下基于条款的格式来描述一些实施例。
1.一种视频处理的方法,包括:对视频和视频的比特流表示之间的转换启用对非二次幂分割树(NPT-T)的使用,其中,NPT-T包括将视频块划分为视频块的一个或多个更小尺寸的子块,并且至少一个子块的宽度或高度具有为非二次幂整数的像素大小;以及使用NPT-T来执行该转换。
2.根据条款1所述的方法,其中,该启用通过在序列参数集级别、视频参数集级别、序列头级别、图片参数集级别、条带头级别、编解码单元级别、片组级别或编解码树单元行级别包括的字段在比特流表示中被信令通知。
3.根据条款1-2中任一项所述的方法,其中,子块被视为用于该转换的编解码单元或预测单元或变换单元。
4.根据条款1-3中任一项所述的方法,其中,视频块宽为W个像素并且高为H个像素,并且其中,子块宽为Wi个像素并且高为Hi个像素,其中W、H和Wi、Hi都是整数,并且其中i是值在0和K-1之间的整数变量,其中K表示子块的数量。
5.根据条款1-4中任一项所述的方法,其中,该转换通过根据NPT-T将子块递归地分割为编解码单元、预测单元或变换单元的更小块来使用子块。
6.根据条款4-5中任一项所述的方法,其中,Wi、Hi中的至少一些是非二次幂整数。
7.根据条款4-5中任一项所述的方法,其中,Wi、Hi中的至少一些是二次幂整数。
8.根据条款4-7中任一项的方法,其中:
(1)Wi等于2floor(log2(W/K)),或
(2)Hi等于2floor(log2(H/K)),或
(3)如果i不等于j,则Wi可以不同于Wj,或
(4)如果i不等于j,则Hi可以不同于Hj。
9.根据条款4所述的方法,其中,子块仅沿着特定的定向方向被划分。
10.根据条款9所述的方法,其中,定向方向是垂直方向。
11.根据条款9所述的方法,其中,定向方向是水平方向。
12.根据条款10所述的方法,其中,使得Hi=H(for i being 0…(K-1))。
13.根据条款11所述的方法,其中,使得Wi=W(for i being 0…(K-1))。
14.根据条款4-13中任一项所述的方法,其中,表示子块的L0个分割共享相同的分割尺寸,剩余子块具有不同的分割尺寸,其中L0是2和K之间的整数。
15.根据条款14所述的方法,其中,相同的分割尺寸是floor(W/K)或floor(H/K)。
16.根据条款14-15所述的方法,其中,L0个分割彼此邻近。
17.根据条款14-15所述的方法,其中,L0个分割中的至少一些是非邻近分割。
18.根据条款14-15所述的方法,其中,L0个分割中的至少一些由比特流表示中的连续索引标识,并且在该转换期间被顺序处理。
19.根据条款10所述的方法,其中,剩余子块的分割尺寸是相同的。
20.根据条款1至19中任一项所述的方法,其中,当前块和子块的编解码顺序基于规则而隐式定义。
21.根据条款1至19中任一项所述的方法,其中,当前块和子块的编解码顺序在比特流表示中被指定。
第4.1、4.2和4.3节提供了条款1-21的附加细节和实施例。
22.一种视频处理的方法,包括:
对子视频块和子视频块的比特流表示之间的转换应用变换尺寸限制,其中,子视频块是从视频块划分的并且具有为非二次幂(NPT)整数的像素大小;以及
使用变换尺寸限制来执行该转换。
23.根据条款22所述的方法,其中,视频块宽为W个像素并且高为H个像素,并且其中,子块宽为Wi个像素并且高为Hi个像素,其中W、H和Wi、Hi都是整数,并且其中i是值在0和K-1之间的整数变量,其中K表示从视频块划分的子块的数量。
24.根据条款22-23中任一项所述的方法,其中,变换尺寸限制指定至少Wi和高度Hi是NPT整数的给定子块使用以宽度TWi和高度THi表示的更小的变换尺寸。
25.根据条款24所述的方法,其中,TWi或THi取决于给定子块的尺寸。
26.根据条款25所述的方法,其中:
(a)TWi等于pow(2,floor(log2(Wi)),或
(b)THi等于pow(2,floor(log2(Hi))。
27.根据条款24所述的方法,其中,TWi或THi取决于用于该转换的变换矩阵的尺寸。
28.根据条款27所述的方法,其中,变换矩阵的尺寸为2次幂:
TWi等于变换尺寸的尺寸,即不超过Wi的最大允许变换尺寸,或
THi等于变换尺寸,即不超过Hi的最大允许变换尺寸。
29.根据条款24所述的方法,其中,TWi或THi或变换尺寸取决于:
视频块的类型或位置,或
从视频块划分的子块的大小,或
视频块的色彩格式或色彩分量类型,或
比特流表示中的图片类型、条带类型、片组类型或低延迟检查标志,或
比特流表示中的其他编解码信息,包括量化参数、模式信息或参考图片信息,其中该参考图片信息包括当前图片参考或单向预测或双向预测或多假设预测。
30.根据条款22至29中任一项所述的方法,其中,变换尺寸限制指定使用固定的X偏移或固定的Y偏移将变换应用于子块的一部分。
31.根据条款30所述的方法,其中,固定的X偏移或固定的Y偏移是子块的形状或视频块的形状的函数。
32.根据条款22所述的方法,其中,变换尺寸限制允许在该转换期间使用多个变换尺寸。
33.根据条款32所述的方法,其中,多个变换尺寸是二次幂变换尺寸。
34.根据条款32所述的方法,其中,多个变换尺寸中的至少一个变换尺寸是二次幂尺寸。
第4.3和4.4节提供了条款22至34的附加示例和实施例。
35.一种视频处理的方法,包括:
选择性地基于用于使用视频块的非二次幂树(NPT-T)划分的使用规则,应用视频块和视频块的比特流表示之间的转换,视频块或者视频的一个或多个更小尺寸的子块具有为非二次幂(NPT)整数的像素大小;以及
使用该使用规则来执行该转换。
36.根据条款5所述的方法,其中,使用规则指定仅在使用四叉树或二叉树或三叉树或NPT-T分割从父块划分视频块的情况下使用NPT-T。
37.根据条款35所述的方法,其中,使用规则指定仅在使用四叉树分割从父块划分视频块的情况下使用NPT-T。
38.根据条款35所述的方法,其中,在视频块是根块的情况下,使用规则禁止使用NPT-T。
39.根据条款35至38中任一项所述的方法,其中,一个或多个更小尺寸的块是使用取决于当前块的分割类型的分割方案获得的。
40.根据条款35至39中任一项所述的方法,其中,一个或多个更小尺寸的块的划分深度取决于当前块的划分深度。
41.根据条款35至39中任一项所述的方法,其中,一个或多个更小尺寸的块中的至少一些的划分深度不同。
42.根据条款35所述的方法,其中,使用规则指定应用于一个或多个更小块和视频块的滤波过程。
43.根据条款42所述的方法,其中,滤波过程取决于当前块或使用通过NPT-T创建的边界的一个或多个子块中的像素位置。
44.根据条款42-43中任一项所述的方法,其中,滤波过程包括去方块滤波器或样点自适应偏移滤波器或自适应环路滤波器或扩散滤波器或双边滤波器。
45.根据条款42-44中任一项所述的方法,其中,使用规则指定使用先前重构的子块的样点用于当前子块的样点的扩散滤波或双边滤波。
46.根据条款35所述的方法,其中,使用规则指定应用于一个或多个更小块和视频块的帧内预测模式或局部照明补偿模式或组合的帧间-帧内分割的选择性应用。
47.根据条款35所述的方法,其中,在视频块的尺寸高于最大阈值的情况下,使用规则对视频块禁用NPT-T的使用。
48.根据条款35所述的方法,其中,在视频块的尺寸低于最小阈值的情况下,使用规则对视频块禁用NPT-T的使用。
49.根据条款35所述的方法,其中,在视频块的比特深度高于最大比特深度或低于最小比特深度的情况下,使用规则对视频块禁用NPT-T的使用。
50.根据条款47-49中任一项所述的方法,其中,使用规则禁用在序列参数集级别、视频参数集级别、序列头级别、图片参数集级别、条带头级别、编解码单元级别、片组级别或编解码树单元行级别包括的比特流表示中的字段中被信令通知。
51.根据条款47-49中任一项所述的方法,其中,使用规则禁用是从视频块的参数推导的。
52.根据条款51所述的方法,其中,当前块的参数是视频块的分割树深度或比特流表示的简表或比特流表示的级别或比特流表示的层级或层。
53.根据条款51所述的方法,其中,视频块的参数基于在视频块的邻近块的四叉树分割中允许的最大或最小尺寸。
54.根据条款35所述的方法,其中,使用规则指定对视频块或视频块的跨多于一个虚拟流水线数据单元的子块的转换禁用NPT-T的使用。
55.根据条款35所述的方法,其中,视频块跨多于一个虚拟流水线数据单元,并且使用规则指定将视频块划分为子块,直到没有子块跨多于一个虚拟流水线数据单元。
56.根据条款35所述的方法,其中,在视频块的高度H或宽度W满足条件的情况下,使用规则禁用NPT-T沿水平或垂直方向的使用。
57.根据条款56所述的方法,其中,条件包括:
W>=T1并且H>=T2;
W>=T1或H>=T2;
W<=T1并且H<=T2;
W<=T1或H<=T2;
W×H<=T;或
W×H>=T,其中W、H是整数,并且T、T1、T2是有理数。
58.根据条款35所述的方法,其中,在视频块的高度H或宽度W为以下的情况下,使用规则禁用NPT-T沿水平方向的使用:
(a)如果H<=T,则水平NPT-T不被允许,
(b)如果H>=T,则水平NPT-T不被允许,
(c)如果W<=T,则垂直NPT-T不被允许,或
(d)如果W>=T,则垂直NPT-T不被允许,其中W、H和T是整数。
59.根据条款35所述的方法,其中,使用规则禁用NPT-T沿水平或垂直方向的使用,除非视频块满足条件。
60.根据条款59所述的方法,其中,条件包括:
W>=T1并且H>=T2;
W>=T1或H>=T2;
W<=T1并且H<=T2;
W<=T1或H<=T2;
W×H<=T;
W×H>=T;
如果H<=T,则水平NPT-T被允许;
如果H>=T,则水平NPT-T被允许;
如果W<=T,则垂直NPT-T被允许;或
如果W>=T,则垂直NPT-T被允许;其中,W、H、T、T1和T2是正有理数。
第4.3至4.5节提供了条款35至60的附加示例和实施例。
61.一种视频处理的方法,包括:
选择性地基于使用指示,对视频块和视频块的比特流表示之间的转换应用视频块的非二次幂树(NPT-T)划分,其中,视频块或者视频的一个或多个更小尺寸的子块具有为非二次幂(NPT)整数的像素大小;以及
执行对应于使用指示的该转换。
62.根据条款61所述的方法,其中,使用指示在视频参数集级别或序列参数集级别或图片参数集级别或序列头级别或图片头级别或片组头级别或片头级别的比特流表示中被信令通知。
63.根据条款61-62中任一项所述的方法,其中,使用指示指示用于NPT-T划分的分割的类型。
64.根据条款3所述的方法,其中,分割的类型取决于视频块的类型。
65.根据条款61至64中任一项所述的方法,其中,使用指示取决于以下中的至少一个:与视频块相关联的视频分辨率、图片分辨率、编解码模式、视频特性、条带类型、图片类型、片组类型或低延迟检查标志。
66.根据条款61-65中任一项所述的方法,其中,使用指示包括多个语法元素。
67.根据条款66所述的方法,其中,多个语法元素的第一语法元素对应于分割树类型,并且第二语法元素对应于划分方向。
68.根据条款67所述的方法,其中,第一语法元素在第二语法元素之前出现在比特流表示中。
69.根据条款67所述的方法,其中,第一语法元素在第二语法元素之后出现在比特流表示中。
70.根据条款61-69中任一项所述的方法,其中,使用指示使用二值化码。
71.根据条款70所述的方法,其中,使用指示基于二值化码的二进制位来使用二值化码的基于上下文的算术编解码。
72.根据条款71所述的方法,其中,基于上下文的算术编解码使用取决于以下的上下文:二进制位的位置或索引、或者视频块的空域或时域邻近块的划分、或者视频块的当前划分深度、或者空域或时域邻近块的划分深度。
73.根据条款61-72中任一项所述的方法,其中,使用指示还基于与视频块相关联的色彩格式或色彩分量。
74.根据条款1-73中任一项所述的方法,其中,该转换包括从比特流表示生成视频块的像素值或者从视频块生成比特流表示。
第4.6节提供了条款61-74的附加细节和实施例。
75.一种包括处理器的视频解码装置,被配置为实施根据条款1-74中的一项或多项所述的方法。
76.一种包括处理器的视频编码装置,被配置为实施根据条款1-74中的一项或多项所述的方法。
77.一种存储有代码的计算机可读介质,该代码在被执行时使得处理器实施根据条款1-74中任一项或多项所述的方法。
图19是视频处理的示例方法1900的流程图。方法1900包括,为视频的第一块和视频的第一块的比特流表示之间的转换确定(1902)对非二次幂分割树(NPT-T)的使用被启用还是禁用,其中,NPT-T包括将第一块划分为第一块的多个更小尺寸的子块,并且至少一个子块的宽度和/或高度具有为非二次幂整数的大小;以及响应于确定NPT-T被启用,基于NPT-T来执行(1904)该转换。
在一些示例中,该方法还包括:该确定基于比特流表示中存在的字段。
在一些示例中,该方法还包括:该字段是分割树类型集合中的分割树类型的指示,该分割树类型集合包括NPT-T、四叉树(QT)或二叉树(BT)或三叉树(TT)中的至少一个;或NPT-T的使用的指示。
在一些示例中,响应于NPT-T被启用的确定,第一块被直接划分为多个子块。
在一些示例中,子块中的至少一个是被视为用于该转换的编解码单元或预测单元或变换单元的叶节点。
在一些示例中,第一块宽为W个像素并且高为H个像素,并且其中,子块宽为Wi个像素并且高为Hi个像素,其中W、H和Wi、Hi都是整数,并且其中i是值在0和K-1之间的整数变量,其中K表示子块的数量。
在一些示例中,子块以递归方式被进一步划分为甚至更小的块。
在一些示例中,K>2。
在一些示例中,至少一个Wi或Hi是非二次幂整数。
在一些示例中,至少一个Wi或Hi是二次幂整数。
在一些示例中,
(1)Wi等于2floor(log2(W/K)),或
(2)Hi等于2floor(log2(H/K)),或
(3)如果i不等于j,则Wi不同于Wj,或
(4)如果i不等于j,则Hi不同于Hj,
其中i和j是值在0和K-1之间的整数变量,其中i是值在0和K-1之间的整数变量,并且函数floor(x)返回小于或等于x的最大整数。
在一些示例中,至少一个Wi被设置为floor(W*m/2n),其中W>=2n并且1<=m<2n。
在一些示例中,至少一个Hi被设置为floor(H*m/2n),其中H>=2n并且1<=m<2n。
在一些示例中,子块中的一个或多个根据NPT-T被进一步划分为甚至更小的块。
在一些示例中,宽度或高度是非二次幂整数的第一块不能根据NPT-T被划分。
在一些示例中,宽度不等于高度的第一块不能根据NPT-T被划分。
在一些示例中,第一块仅在垂直方向和水平方向之一上被划分。
在一些示例中,当第一块在垂直方向上被划分时,Hi=H,其中i为0至(K-1)。
在一些示例中,当第一块在水平方向上被划分时,Wi=W,其中i为0至(K-1)。
在一些示例中,多个子块中的L0个子块共享相同分割尺寸,其中L0是2和K之间的整数。
在一些示例中,相同分割尺寸的宽度为floor(W/K),或者相同分割尺寸的高度为floor(H/K)。
在一些示例中,L0个子块彼此邻近。
在一些示例中,L0个子块中的至少一个是非邻近子块。
在一些示例中,L0个子块由指示该转换期间的处理顺序的连续索引标识。
在一些示例中,剩余(K-L0)个子块中的L1个子块共享第二相同分割尺寸,其中L1是1和K-L0之间的整数。
在一些示例中,第二相同分割尺寸的宽度为((W-L0*floor(W/K))/(K-L0)),或者相同分割尺寸的高度为((H-L0*floor(H/K))/(K-L0))。
在一些示例中,当L1等于(K-L0–1)时,一个左侧子块被分配有等于W–L0*floor(W/K)-((W-L0*floor(W/K))/(K-L0))*(K-L0-1)的块宽度,或者一个顶部子块被分配有等于H–L0*floor(H/K)-((H-L0*floor(H/K))/(K-L0))*(K-L0-1)的块高度。
在一些示例中,剩余(K-L0)个子块被分配有不同的分割尺寸。
在一些示例中,L1个子块彼此邻近。
在一些示例中,L1个子块中的至少一个是非邻近子块。
在一些示例中,L1个子块由指示该转换期间的处理顺序的连续索引标识。
在一些示例中,L1个子块由指示该转换期间的处理顺序的非连续索引标识。
在一些示例中,仅一个子块的分割尺寸(Wi×Hi)不同于所有剩余子块的分割尺寸。
在一些示例中,所有子块具有相同分割尺寸(Wi×Hi)。
在一些示例中,第一块在垂直方向和水平方向上都被划分。
在一些示例中,Wi中的至少一个不等于W和/或Hi中的至少一个不等于H。
在一些示例中,如果第一块的宽度是非二次幂整数,则第一块在垂直方向上被划分,或者/如果第一块的高度是非二次幂整数,则第一块在水平方向上被划分。
在一些示例中,如果第一块的宽度是二次幂整数,则第一块在垂直方向上被划分,或者/如果第一块的高度是二次幂整数,则第一块在水平方向上被划分。
在一些示例中,多个子块包括6个、7个或8个子块。
在一些示例中,为一个NPT-T模式预先确定编解码顺序。
在一些示例中,为一个NPT-T模式预先确定多个编解码顺序。
在一些示例中,经由信令通知所选择的编解码顺序的指示或解码器侧的推导,为第一块选择多个编解码顺序中的一个。
在一些示例中,当第一块允许NPT-T时,第一块通过一种或多种特定种类的划分方法从父块划分。
在一些示例中,当第一块允许NPT-T时,第一块通过四叉树(QT)或二叉树(BT)或三叉树(TT)或NPT-T分割从父块划分。
在一些示例中,当第一块允许NPT-T时,第一块仅能够通过四叉树(QT)从父块划分。
在一些示例中,当第一块允许NPT-T时,第一块是根块。
在一些示例中,子块能够通过一种或多种其他分割类型被进一步划分为子块。
在一些示例中,子块能够通过BT和/或TT被进一步划分为子块。
在一些示例中,子块能够通过BT和/或TT和/或QUT-T被进一步划分为子块,但不能通过QT被进一步划分为子块。
在一些示例中,子块能够通过NPT-T和/或QT被进一步划分为子块,但不能通过BT或TT被进一步划分为子块。
在一些示例中,子块不能通过QT被进一步划分为子块。
在一些示例中,子块不能被进一步划分为子块。
在一些示例中,当第一块通过NPT-T被划分为多个子块时,子块的划分深度从第一块的划分深度推导。
在一些示例中,由于NPT-T的划分用于更新QT、BT、TT、NPT-T或多类型树(MTT)深度中的至少一个。
在一些示例中,子块中的一个或全部的QT深度等于第一块的QT深度加1。
在一些示例中,子块中的一个或全部的BT深度等于第一块的BT深度加1。
在一些示例中,子块中的一个或全部的TT深度等于第一块的TT深度加1。
在一些示例中,子块中的一个或全部的NPT-T深度等于第一块的NPT-T深度加1。
在一些示例中,子块中的一个或全部的MTT深度等于第一块的MTT深度加1。
在一些示例中,如果第一块通过BT被划分为子块,则子块的MTT深度等于第一块的MTT深度加1。
在一些示例中,如果第一块通过TT被划分为子块,则子块的MTT深度等于第一块的MTT深度加1。
在一些示例中,不同子块的NPT-T或BT或TT或QT或MTT深度增加是不同的。
在一些示例中,深度增加取决于子块与第一块相比的比率。
在一些示例中,滤波过程取决于NPT-T分割,其中滤波过程与去方块滤波器、样点自适应偏移(SAO)滤波器、自适应环路滤波器(ALF)、扩散滤波器、双边滤波器中的至少一个相关联。
在一些示例中,是否和/或如何对样点进行滤波取决于这些样点是否位于通过NPT-T划分生成的一个块的边界处。
在一些示例中,先前重构子块的样点用于扩散滤波器或/和双边滤波器中。
在一些示例中,是否和/或如何对样点进行滤波取决于这些样点是否位于通过NPT-T划分生成的编解码单元内的一个变换块的边界处。
在一些示例中,帧内预测模式或组合帧间和帧内预测(CIIP)模式取决于NPT-T分割。
在一些示例中,子块在帧内预测模式或CIIP模式下使用先前重构子块用于帧内预测。
在一些示例中,局部照明补偿(LIC)模式取决于NPT-T分割。
在一些示例中,子块使用先前重构子块用于推导LIC参数。
在一些示例中,基于附加信息来确定对非二次幂分割树(NPT-T)的使用是否被启用,其中关于是否应用NPT-T和/或应用哪种NPT-T的附加信息从编码器被信令通知给解码器。
在一些示例中,信息在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、序列头、图片头、条带头、片组头、片头中的至少一个中被信令通知,以指示是否能够应用NPT-T。
在一些示例中,信息在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、序列头、图片头、条带头、片组头、片头中的至少一个中被信令通知,以指示能够应用哪种NPT-T。
在一些示例中,信息在块中被信令通知,以指示是否能够应用NPT-T。
在一些示例中,信息在块中被信令通知,以指示能够应用哪种NPT-T。
在一些示例中,不同的NPT-T集被设计用于不同的块形状和/或尺寸。
在一些示例中,不同的NPT-T集被设计用于具有不同时域层的图片、片、条带中的至少一个。
在一些示例中,是否和/或如何应用NPT-T取决于视频分辨率、图片分辨率、编解码模式、包括屏幕内容或相机捕获的序列或混合内容的视频特性、条带类型、图片类型、片组类型、低延迟检查标志中的至少一个。
在一些示例中,一个语法元素被信令通知以指示没有划分或分割。
在一些示例中,一个语法元素首先被信令通知以指示是否划分;然后另一个语法元素被信令通知以指示包括分割树类型和划分方向的分割。
在一些示例中,分割的指示由两个语法元素表示:所选择的分割树类型和划分方向。
在一些示例中,分割树类型的索引首先在块中被信令通知,以指示块是通过QT划分的,还是通过NPT-T划分的,还是非划分的。
在一些示例中,包括水平、垂直、混合方向之一的划分方向和/或划分模式被进一步信令通知。
在一些示例中,分割树类型的索引首先在块中被信令通知,以指示块是通过BT还是TT还是NPT-T划分的
在一些示例中,仅当BT、TT和NPT-T中的至少一个对第一块有效时,才有条件地信令通知索引。
在一些示例中,包括水平、垂直方向之一的划分方向和/或划分模式被进一步信令通知。
在一些示例中,划分方向的指示首先被信令通知,随后是包括QT、TT、NPT-T的分割树类型。
在一些示例中,标志在块中被信令通知以指示块是垂直划分还是水平划分,其中垂直划分是BT垂直划分、TT垂直划分或NPT-T垂直划分,并且水平划分是BT水平划分、TT水平划分或NPT-T水平划分。
在一些示例中,仅当第一块通过BT或TT或NPT-T划分时,才有条件地信令通知标志
在一些示例中,仅当垂直划分和水平划分对于第一块都有效时,才有条件地信令通知标志。
在一些示例中,如果仅垂直划分有效,则不信令通知标志,并且推断使用水平划分。
在一些示例中,如果仅水平划分有效,则不信令通知标志,并且推断使用垂直划分。
在一些示例中,二值化码在块中被信令通知以指示使用哪种划分,该划分是从一组BT、TT和一种NPT-T中选择的。
在一些示例中,根据先前信令通知的或推导的信息,要被信令通知的候选BT、TT或NPT-T都是垂直划分或水平划分。
在一些示例中,第一标志被信令通知以指示是否使用NPT-T。
在一些示例中,二值化码被二值化为截断的一元码。
在一些示例中,第一标志被信令通知以指示是否使用BT,如果没有使用BT,则第二标志被信令通知以指示是否使用NPT-T,并且如果使用NPT-T,则指示使用哪种NPT-T的第三标志被进一步信令通知。
在一些示例中,如何在块中信令通知使用哪种分割取决于哪种分割对块有效,该分割包括分割树类型和/或分割方向。
在一些示例中,根据先前信令通知的或推导的信息,要被信令通知的候选BT、TT或NPT-T都是垂直划分或水平划分。
在一些示例中,不允许的或无效的划分不能从编码器被信令通知给解码器。
在一些示例中,如果仅有一组BT、TT和NPT-T中的一种划分有效,则不信令通知用以指示使用哪种划分的二值化码。
在一些示例中,如果仅有BT、TT和NPT-T中的两种划分有效,则标志被信令通知以指示使用两个有效划分中的哪一个。
在一些示例中,用以指示一组BT、TT和NPT-T中的哪种划分的码被二值化为截断的一元码。
在一些示例中,截断的一元码的最大值为N-1,其中N是一组BT、TT和NPT-T中的有效划分的数量。
在一些示例中,当建立码字表时,无效划分被跳过。
在一些示例中,如果没有NPT-T是有效的,则指示是否使用NPT-T的标志不被信令通知并且被推断为假。
在一些示例中,如果仅一种NPT-T有效,并且信令通知使用NPT-T,则不信令通知进一步的信息来指示使用哪个NPT-T,并且有效的NPT-T被隐式使用。
在一些示例中,如果仅两种NPT-T有效,并且信令通知使用NPT-T,则标志被信令通知以指示使用哪个NPT-T。
在一些示例中,如果仅三种NPT-T有效,并且信令通知使用NPT-T,则消息被信令通知以指示使用哪个NPT-T。
在一些示例中,二值化和/或信令通知方法不根据块中哪种划分有效而改变。
在一些示例中,分割的指示通过利用一个或多个上下文的算术编解码进行编解码。
在一些示例中,仅二进制串的部分二进制位用上下文进行编解码,并且剩余二进制位以旁路模式进行编解码。
在一些示例中,二进制串的所有二进制位都用上下文进行编解码。
在一些示例中,二进制串的所有二进制位都以旁路模式进行编解码。
在一些示例中,对于用上下文编解码的二进制位,使用一个或多个上下文。
在一些示例中,上下文取决于以下中的至少一个:
(a)二进制位的位置或索引;
(b)空域/时域邻近块的分割;
(c)当前块的当前分割深度,包括QT深度、BT深度、TT深度、NPT-T深度和MTT深度中的至少一个;
(d)空域/时域邻近块和/或空域/时域非相邻块的分割深度,包括QT深度、BT深度、TT深度、NPT-T深度和MTT深度中的至少一个;
(e)空域/时域邻近块的编解码模式;
(f)空域/时域邻近块的宽度/高度;
(g)当前块的宽度/高度;
(h)条带类型/图片类型/片组类型;
(I)色彩分量;
(j)来自先前编解码的块的分割类型的统计结果。
在一些示例中,是否和/或如何应用NPT-T取决于色彩格式和/或色彩分量。
在一些示例中,色彩格式包括4:4:4或4:2:0。
在一些示例中,是否以及如何使用NPT-T取决于亮度和色度编解码树是否被分开。
在一些示例中,当亮度和色度编解码树被分开时,NPT-T仅能够应用于亮度分量。
在一些示例中,多个子块包括6个、7个或8个子块。
在一些示例中,应用于至少一个子块的变换矩阵的宽度小于子块的宽度,其中该至少一个子块的宽度和/或高度具有为非二次幂整数的大小;和/或应用于至少一个子块的变换矩阵的高度小于子块的高度,其中该至少一个子块的宽度和/或高度具有为非二次幂整数的大小。
在一些示例中,转换从比特流表示生成视频的第一块。
在一些示例中,转换从视频的第一块生成比特流表示。
图20是视频处理的示例方法2000的流程图。方法2000包括将视频的第一块划分(2002)为包括第一子块的多个子块,其中,第一子块的块尺寸的宽度(Wi)和高度(Hi)中的至少一个为非二次幂整数;为第一子块和第一子块的比特流表示之间的转换确定(2004)与第一子块的变换块相关联的变换参数,其中,变换块的块尺寸的宽度(TWi)和高度(THi)中的一个或多个小于第一子块的宽度(Wi)和高度(Hi),并且TWi或THi中的至少一个为二次幂;以及通过使用变换参数来执行(2006)该转换。
在一些示例中,第一子块通过使用非二次幂分割树(NPT-T)分割从作为第一块的父块划分,其中,NPT-T分割包括将视频的第一块划分为第一块的多个更小尺寸的第一子块,并且至少一个第一子块的宽度(Wi)和/或高度(Hi)为非二次幂整数。
在一些示例中,变换参数包括变换块的TWi和/或THi和/或变换矩阵。
在一些示例中,变换块的TWi和/或THi和/或变换矩阵的设置取决于第一子块的块尺寸。
在一些示例中,TWi被设置为pow(2,floor(log2(Wi))和/或THi被设置为pow(2,floor(log2(Hi)),其中函数floor(x)返回小于或等于x的最大整数,函数pow(x,y)返回x的y次幂。
在一些示例中,变换块的TWi和/或THi和/或变换矩阵的设置取决于可用的变换矩阵。
在一些示例中,TWi被设置为2次幂的形式的一个允许的变换尺寸和/或变换矩阵,和/或THi被设置为2次幂的形式的一个允许的变换尺寸和/或变换矩阵。
在一些示例中,TWi是最大允许的变换尺寸,但不大于Wi,并且THi是最大允许的变换尺寸,但不大于Hi。
在一些示例中,TWi和/或THi和/或变换矩阵的设置取决于子块从其划分的父块。
在一些示例中,TWi和/或THi和/或变换矩阵的设置取决于从相同父块划分的一个或多个子块的块尺寸。
在一些示例中,TWi和/或THi和/或变换矩阵的设置取决于色彩格式和/或色彩分量。
在一些示例中,TWi和/或THi和/或变换矩阵的设置取决于图片类型、条带类型、片组类型和低延迟检查标志中的至少一个。
在一些示例中,TWi和/或THi和/或变换矩阵的设置取决于包括量化参数、模式信息和参考图片信息中的至少一个的其他编解码信息,其中模式信息包括帧内、帧间、组合帧内-帧间模式,并且参考图片信息包括当前图片参考、单向预测、双向预测和多假设预测。
在一些示例中,关于如何定义变换块尺寸和/或变换矩阵的信息在包括SPS或VPS的高级语法元素中被信令通知,或者在SPS/PPS/VPS/APS/序列头/图片头/条带头/片组头/CTU行/区域中被信令通知。
在一些示例中,TWi不大于预定义值TWmax,其中TWmax=64,和/或THi不大于预定义值THmax,其中THmax=64。
在一些示例中,TWi不小于预定义值TWmin,其中TWmin=4,和/或THi不小于预定义值THmin,其中THmin=4。
在一些示例中,变换参数还包括固定偏移(OffsetX,OffsetY),该固定偏移(OffsetX,OffsetY)被应用于定位要利用变换参数应用变换的区域内的左上方位置,其中第一子块的左上角的坐标为(0,0)。
在一些示例中,OffsetX和OffsetY都被设置为0。
在一些示例中,仅OffsetX和OffsetY中的一个被设置为0。
在一些示例中,OffsetX和OffsetY都不等于0。
在一些示例中,OffsetX和/或OffsetY取决于第一子块的形状。
在一些示例中,OffsetX和/或OffsetY取决于父块的形状。
在一些示例中,OffsetX和/或OffsetY取决于子块/父块的编解码信息。
在一些示例中,OffsetX和/或OffsetY的设置取决于色彩格式和/或色彩分量。
在一些示例中,OffsetX和/或OffsetY的设置取决于图片类型、条带类型、片组类型和低延迟检查标志中的至少一个。
在一些示例中,OffsetX和/或OffsetY的设置取决于包括量化参数、模式信息和参考图片信息中的至少一个的其他编解码信息,其中模式信息包括帧内、帧间、组合帧内-帧间模式,并且参考图片信息包括当前图片参考、单向预测、双向预测和多假设预测。
在一些示例中,OffsetX和/或OffsetY被信令通知。
在一些示例中,包括OffsetX和/或OffsetY的一个或多个候选的候选集被定义,并且候选的索引被信令通知。
在一些示例中,候选集的尺寸取决于子块的形状,并且索引对于不同的子块的形状被不同地信令通知。
在一些示例中,如果候选集的尺寸等于1,则不信令通知索引。
在一些示例中,包括(OffsetX,OffsetY)的一个或多个候选的候选集被定义,并且候选的索引被信令通知以指示OffsetX和OffsetY两者。
在一些示例中,候选集的尺寸取决于子块的形状,并且索引对于不同的子块的形状被不同地信令通知。
在一些示例中,如果候选集的尺寸等于1,则不信令通知索引。
在一些示例中,变换参数包括第一子块的多个不同的变换尺寸和/或变换矩阵和/或偏移。
在一些示例中,所有种类的变换尺寸都是2次幂的形式。
在一些示例中,变换尺寸中的至少一个是2次幂的形式。
在一些示例中,其他种类的变换尺寸不大于TWmax和/或THmax。
在一些示例中,对于允许的变换尺寸中的每一个,仅要应用变换区域的包括OffsetX和OffsetY两者的一个固定偏移被定义或推导。
在一些示例中,仅所选择的变换尺寸的指示被信令通知。
在一些示例中,要应用变换区域的多个偏移与允许的变换尺寸中的每一个相关联。
在一些示例中,所选择的变换尺寸和偏移的指示都被信令通知。
在一些示例中,对于所有种类的允许的变换尺寸,允许的偏移的数量是相同的。
在一些示例中,对于不同的变换尺寸,允许的偏移的数量是不同的。
在一些示例中,所有种类的允许的变换尺寸和/或偏移和/或变换矩阵的指示被信令通知。
在一些示例中,允许的变换尺寸和/或变换矩阵和/或偏移被分类为M个类别,并且类别索引首先被信令通知。
在一些示例中,所选择的变换尺寸/偏移/矩阵的索引被进一步信令通知。
在一些示例中,一个索引被信令通知以指示变换尺寸和偏移两者。
在一些示例中,转换从比特流表示生成视频的第一子块。
在一些示例中,转换从视频的第一子块生成比特流表示。
图21是视频处理的示例方法1800的流程图。方法1800包括,在1802,对视频和视频的比特流表示之间的转换启用对非二次幂分割树(NPT-T)的使用,其中,NPT-T包括将视频块划分为视频块的一个或多个更小尺寸的子块,并且至少一个子块的宽度或高度具有为非二次幂整数的像素大小。方法1800包括,在1804,使用NPT-T来执行该转换。
在一些示例中,限制包括允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大比特深度和/或最大深度。
在一些示例中,允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大比特深度和/或最大深度在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)序列头、图片头、条带头、片组头、片头、编解码树单元(CTU)行和区域中的至少一个中被信令通知或解析。
在一些示例中,允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大比特深度和/或最大深度是从包括多类型树(MTT)分割的深度或四叉树(QT)分割的深度中的至少一个的其他值推导的。
在一些示例中,允许NPT-T分割的最大块是作为编解码树块或编解码树单元的最大编解码块。
在一些示例中,允许NPT-T分割的最大块是虚拟流水线数据单元(VPDU)。
在一些示例中,允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大深度取决于标准的简表、级别或层级中的至少一个。
在一些示例中,允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大深度被推导为与QT分割的相同。
在一些示例中,允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大深度取决于片组片、条带类型、色彩分量、双树是否被启用中的至少一个。
在一些示例中,允许NPT-T分割的最大和/或最小块尺寸和/或允许NPT-T分割的最大深度对于不同的NPT-T模式是不同的。
在一些示例中,当根据NPT-T分割来划分第一块时,一个子块的NPT-T分割的对应深度被相应地调整。
在一些示例中,当根据NPT-T分割来划分第一块时,一个子块的QT分割的对应深度被相应地调整。
在一些示例中,当根据NPT-T分割来划分第一块时,一个子块的MTT分割的对应深度被相应地调整。
在一些示例中,不同子块的对应深度的调整以相同的方式完成。
在一些示例中,不同子块的对应深度的调整以不同的方式完成。
在一些示例中,调整取决于子块的块大小。
在一些示例中,调整包括将对应深度增加1。
在一些示例中,如果划分的子块跨多于一个虚拟流水线数据单元(VPDU),则NPT-T分割被禁用。
在一些示例中,当子块被强制进一步划分,直到没有子块跨多于一个VPDU时,NPT-T分割被启用。
在一些示例中,如果第一块的宽度(W)和/或高度(H)满足预定条件,则NPT-T分割被禁用。
在一些示例中,预定条件包括以下中的至少一个:
如果W>=T1并且H>=T2,则NPT-T分割被禁用,其中T1和T2是整数;或者
如果W>=T1或H>=T2,则NPT-T分割被禁用,其中T1和T2是整数;或者
如果W<=T1并且H<=T2,则NPT-T分割被禁用,其中T1和T2是整数;或者
如果W<=T1或H<=T2,则NPT-T分割被禁用,其中T1和T2是整数;或者
如果W×H<=T,则NPT-T分割被禁用,其中T是整数;或者
如果W×H>=T,则NPT-T分割被禁用,其中T是整数;或者
如果H<=T,则水平NPT-T分割被禁用,其中T=16;或者
如果H>=T,则水平NPT-T被禁用,其中T=128;或者
如果W<=T,则垂直NPT-T被禁用,其中T=16;或者
如果W>=T,则垂直NPT-T被禁用,其中T=128。
在一些示例中,T1、T2和T在VPS、SPS、PPS、图片头、条带头、片组头和片头中的至少一个中被信令通知或解析。
在一些示例中,T1、T2和T取决于色彩分量。
在一些示例中,T1、T2和T对于亮度和色度分量是不同的。
在一些示例中,T1、T2和T取决于亮度编解码树和色度编解码树是否被分开。
在一些示例中,如果亮度编解码树和色度编解码树被分开,则T1、T2和T对于亮度和色度分量是不同的。
在一些示例中,当针对通过NPT-T分割而划分的至少一个子块不支持变换时,NPT-T分割被禁用。
在一些示例中,当第一块的深度超过NPT-T分割的允许深度时,NPT-T分割被禁用。
在一些示例中,当多个子块中的一个子块的尺寸小于允许的块尺寸时,NPT-T分割被禁用。
在一些示例中,如果第一块的宽度(W)和/或高度(H)满足预定条件,则NPT-T分割被启用。
在一些示例中,预定条件包括以下中的至少一个:
如果W>=T1并且H>=T2,则NPT-T分割被启用,其中T1和T2是整数;或者
如果W>=T1或H>=T2,则NPT-T分割被启用,其中T1和T2是整数;或者
如果W<=T1并且H<=T2,则NPT-T分割被启用,其中T1和T2是整数;或者
如果W<=T1或H<=T2,则NPT-T分割被启用,其中T1和T2是整数;或者
如果W×H<=T,则NPT-T分割被启用,其中T是整数;或者
如果W×H>=T,则NPT-T分割被启用,其中T是整数;或者
如果H<=T,则水平NPT-T分割被启用,其中T=64;或者
如果H>=T,则水平NPT-T被启用,其中T=32;或者
如果W<=T,则垂直NPT-T被启用,其中T=64;或者
如果W>=T,则垂直NPT-T被启用,其中T=32。
在一些示例中,T1、T2和T在VPS、SPS、PPS、图片头、条带头、片组头和片头中的至少一个中被信令通知或解析。
在一些示例中,T1、T2和T取决于色彩分量。
在一些示例中,T1、T2和T对于亮度和色度分量是不同的。
在一些示例中,T1、T2和T取决于亮度编解码树和色度编解码树是否被分开。
在一些示例中,如果亮度编解码树和色度编解码树被分开,则T1、T2和T对于亮度和色度分量是不同的。
在一些示例中,如果第一块的深度满足预定条件,则NPT-T分割被禁止。
在一些示例中,第一块的深度包括QT深度、BT深度、TT深度、NPT-T深度或MTT深度中的至少一个。
在一些示例中,预定条件包括以下中的至少一个:
如果划分深度<=T,则NPT-T分割被禁用;
如果划分深度>=T,则NPT-T分割被禁用;
如果QT划分深度<=T,则NPT-T分割被禁用;
如果QT划分深度>=T,则NPT-T分割被禁用;
如果BT划分深度>=T,则NPT-T分割被禁用;
如果BT划分深度<=T,则NPT-T分割被禁用;
如果TT划分深度>=T,则NPT-T分割被禁用;
如果TT划分深度>=T,则NPT-T分割被禁用;
如果NPT-T划分深度<=T,则NPT-T分割被禁用;
如果NPT-T划分深度>=T,则NPT-T分割被禁用;
如果MTT划分深度<=T,则NPT-T分割被禁用;
如果MTT划分深度>=T,则NPT-T分割被禁用,
其中T是整数。
在一些示例中,T在VPS、SPS、PPS、图片头、条带头、片组头和片头中的至少一个中被信令通知或解析。
在一些示例中,T取决于色彩分量。
在一些示例中,T对于亮度和色度分量是不同的。
在一些示例中,T取决于亮度编解码树和色度编解码树是否被分开。
在一些示例中,如果亮度编解码树和色度编解码树被分开,则T对于亮度和色度分量是不同的。
在一些示例中,如果第一块的深度满足预定条件,则NPT-T分割被启用。
在一些示例中,第一块的深度包括QT深度、BT深度、TT深度、NPT-T深度或MTT深度中的至少一个。
在一些示例中,预定条件包括以下中的至少一个:
如果划分深度<=T,则NPT-T分割被启用;
如果划分深度>=T,则NPT-T分割被启用;
如果QT划分深度<=T,则NPT-T分割被启用;
如果QT划分深度>=T,则NPT-T分割被启用;
如果BT划分深度>=T,则NPT-T分割被启用;
如果BT划分深度<=T,则NPT-T分割被启用;
如果TT划分深度>=T,则NPT-T分割被启用;
如果TT划分深度>=T,则NPT-T分割被启用;
如果NPT-T划分深度<=T,则NPT-T分割被启用;
如果NPT-T划分深度>=T,则NPT-T分割被启用;
如果MTT划分深度<=T,则NPT-T分割被启用;
如果MTT划分深度>=T,则NPT-T分割被启用,
其中T是整数。
在一些示例中,T在VPS、SPS、PPS、图片头、条带头、片组头和片头中的至少一个中被信令通知或解析。
在一些示例中,T取决于色彩分量。
在一些示例中,T对于亮度和色度分量是不同的。
在一些示例中,T取决于亮度编解码树和色度编解码树是否被分开。
在一些示例中,如果亮度编解码树和色度编解码树被分开,则T对于亮度和色度分量是不同的。
在一些示例中,是否和/或如何使用NPT-T分割取决于第一块的位置。
在一些示例中,是否以及如何使用NPT-T分割取决于第一块是否跨图片、片或片组边界。
在一些示例中,如果第一块跨图片、片或片组底部边界,则垂直NPT-T分割被禁用。
在一些示例中,如果第一块跨图片、片或片组底部边界,则水平NPT-T分割被禁用。
在一些示例中,如果第一块跨图片、片或片组右边界,则垂直NPT-T分割被禁用。
在一些示例中,如果第一块跨图片、片或片组右边界,则水平NPT-T分割被禁用。
在一些示例中,如果第一块跨图片、片或片组底部边界,则混合NPT-T分割被禁用。
在一些示例中,如果第一块跨图片、片或片组右边界,则混合NPT-T分割被禁用。
在一些示例中,如果通过NPT-T分割而划分的子块完全在图片、片或片组之外,则子块在转换期间被省略。
在一些示例中,如果通过NPT-T分割而划分的子块部分地在图片、片或片组之外,则图片之外的部分在转换期间被省略。
在一些示例中,如果通过NPT-T分割而划分的子块部分地在图片、片或片组之外,则图片内的部分被进一步划分。
在一些示例中,如果通过NPT-T分割而划分的子块部分地在图片、片或片组之外,则图片内的部分被编解码为编解码单元(CU)。
在一些示例中,图片内的部分是否被编解码为CU取决于该部分的宽度(w)和高度(h)。
在一些示例中,如果w=2nw,h=2nh,则图片内的部分被编解码为CU,其中nw和nh是整数。
在一些示例中,如果通过NPT-T分割而划分的任何子块部分地或完全在图片或片或片组之外,则NPT-T分割被禁用。
在一些示例中,当NPT-T分割或特定NPT-T模式被禁用时,信令通知模式的使用的指示被跳过。
在一些示例中,当NPT-T分割或特定NPT-T模式被禁用时,模式的使用的指示在一致性比特流中被约束为假。
在一些示例中,通过NPT-T从第一块划分的子块不允许用一种或多种以下划分方法进一步划分:
a.QT,
b.水平BT,
c.垂直BT,
d.水平TT,
e.垂直BT,
f.水平非对称四叉树(UQT),
g.垂直UQT,以及
h.NPT-T
在一些示例中,对根节点禁用NPT-T分割。
在一些示例中,对叶节点启用NPT-T分割。
在一些示例中,信令通知根据其他分割的进一步划分的指示被跳过。
在一些示例中,NPT-T分割仅被应用于叶节点。
在一些示例中,为叶节点信令通知或解析标志,以指示是否使用NPT-T分割。
在一些示例中,哪种NPT-T分割的指示被进一步信令通知或解析。
在一些示例中,对于第一块的特定大小,如果第一块通过NPT-T分割被划分为多个子块,则多个子块中的全部共享相同的Merge列表。
在一些示例中,对于第一块的特定大小,如果第一块通过NPT-T分割被划分为多个子块,则多个子块中的全部共享相同的编解码模式,其中编解码模式是帧内模式或帧间模式。
在一些示例中,对于第一块的特定大小,如果第一块通过NPT-T分割被划分为多个子块,则多个子块中的全部共享相同的高级运动矢量预测(AMVP)或其他种类的运动候选列表。
在一些示例中,对于第一块的特定大小,如果第一块通过NPT-T分割被划分为多个子块,则多个子块中的全部共享相同的跨分量线性模型(CCLM)或局部照明补偿(LIC)参数或者在解码器侧推导的其他参数。
在一些示例中,应用于至少一个子块的变换矩阵的宽度小于子块的宽度,其中该至少一个子块的宽度和/或高度具有为非二次幂整数的大小;和/或应用于至少一个子块的变换矩阵的高度小于子块的高度,其中该至少一个子块的宽度和/或高度具有为非二次幂整数的大小。
在一些示例中,转换从比特流表示生成视频的第一块。
在一些示例中,转换从视频的第一块生成比特流表示。
所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建运行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号,例如机器生成的电信号、光学信号或电磁信号。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。
本文档中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实施为专用逻辑电路,例如,FPGA(FieldProgrammable Gate Array,现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit,专用集成电路)。
适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可换式磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何主题或可能要求保护的范围的限制,而是作为特定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。
Claims (51)
1.一种视频处理的方法,包括:
将视频的第一块划分为包括第一子块的多个子块,其中,第一子块的块尺寸的宽度(Wi)和高度(Hi)中的至少一个为非二次幂整数;
为第一子块和第一子块的比特流表示之间的转换确定与第一子块的变换块相关联的变换参数,其中,变换块的块尺寸的宽度(TWi)和高度(THi)中的一个或多个小于第一子块的宽度(Wi)和高度(Hi),并且TWi或THi中的至少一个为二次幂;以及
通过使用变换参数来执行所述转换。
2.根据权利要求1所述的方法,其中,第一子块通过使用非二次幂分割树(NPT-T)分割从作为第一块的父块划分,其中,NPT-T分割包括将视频的第一块划分为第一块的多个更小尺寸的第一子块,并且至少一个第一子块的宽度(Wi)和/或高度(Hi)为非二次幂整数。
3.根据权利要求1或2所述的方法,其中,变换参数包括变换块的TWi和/或THi和/或变换矩阵。
4.根据权利要求1-3中任一项所述的方法,其中,变换块的TWi和/或THi和/或变换矩阵的设置取决于第一子块的块尺寸。
5.根据权利要求4所述的方法,其中,TWi被设置为pow(2,floor(log2(Wi))和/或THi被设置为pow(2,floor(log2(Hi)),其中函数floor(x)返回小于或等于x的最大整数,函数pow(x,y)返回x的y次幂。
6.根据权利要求1-3中任一项所述的方法,其中,变换块的TWi和/或THi和/或变换矩阵的设置取决于可用的变换矩阵。
7.根据权利要求6所述的方法,其中,TWi被设置为2次幂的形式的一个允许的变换尺寸和/或变换矩阵,和/或THi被设置为2次幂的形式的一个允许的变换尺寸和/或变换矩阵。
8.根据权利要求7所述的方法,其中,TWi是最大允许的变换尺寸,但不大于Wi,并且THi是最大允许的变换尺寸,但不大于Hi。
9.根据权利要求1-3中任一项所述的方法,其中,TWi和/或THi和/或变换矩阵的设置取决于子块从其划分的父块。
10.根据权利要求1-3中任一项所述的方法,其中,TWi和/或THi和/或变换矩阵的设置取决于从相同父块划分的一个或多个子块的块尺寸。
11.根据权利要求1-3中任一项所述的方法,其中,TWi和/或THi和/或变换矩阵的设置取决于色彩格式和/或色彩分量。
12.根据权利要求1-3中任一项所述的方法,其中,TWi和/或THi和/或变换矩阵的设置取决于图片类型、条带类型、片组类型和低延迟检查标志中的至少一个。
13.根据权利要求1-3中任一项所述的方法,其中,TWi和/或THi和/或变换矩阵的设置取决于包括量化参数、模式信息和参考图片信息中的至少一个的其他编解码信息,其中模式信息包括帧内、帧间、组合帧内-帧间模式,并且参考图片信息包括当前图片参考、单向预测、双向预测和多假设预测。
14.根据权利要求1-13中任一项所述的方法,其中,关于如何定义变换块尺寸和/或变换矩阵的信息在包括SPS或VPS的高级语法元素中被信令通知,或者在SPS/PPS/VPS/APS/序列头/图片头/条带头/片组头/CTU行/区域中被信令通知。
15.根据权利要求1-14中任一项所述的方法,其中,TWi不大于预定义值TWmax,其中TWmax=64,和/或THi不大于预定义值THmax,其中THmax=64。
16.根据权利要求1-15中任一项所述的方法,其中,TWi不小于预定义值TWmin,其中TWmin=4,和/或THi不小于预定义值THmin,其中THmin=4。
17.根据权利要求1-16中任一项所述的方法,其中,变换参数还包括固定偏移(OffsetX,OffsetY),所述固定偏移(OffsetX,OffsetY)被应用于定位要利用变换参数应用变换的区域内的左上方位置,其中第一子块的左上角的坐标为(0,0)。
18.根据权利要求17所述的方法,其中,OffsetX和OffsetY都被设置为0。
19.根据权利要求17所述的方法,其中,仅OffsetX和OffsetY中的一个被设置为0。
20.根据权利要求17所述的方法,其中,OffsetX和OffsetY都不等于0。
21.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY取决于第一子块的形状。
22.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY取决于父块的形状。
23.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY取决于子块/父块的编解码信息。
24.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY的设置取决于色彩格式和/或色彩分量。
25.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY的设置取决于图片类型、条带类型、片组类型和低延迟检查标志中的至少一个。
26.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY的设置取决于包括量化参数、模式信息和参考图片信息中的至少一个的其他编解码信息,其中模式信息包括帧内、帧间、组合帧内-帧间模式,并且参考图片信息包括当前图片参考、单向预测、双向预测和多假设预测。
27.根据权利要求17所述的方法,其中,OffsetX和/或OffsetY被信令通知。
28.根据权利要求17所述的方法,其中,包括OffsetX和/或OffsetY的一个或多个候选的候选集被定义,并且候选的索引被信令通知。
29.根据权利要求28所述的方法,其中,候选集的尺寸取决于子块的形状,并且索引对于不同的子块的形状被不同地信令通知。
30.根据权利要求28所述的方法,其中,如果候选集的尺寸等于1,则不信令通知索引。
31.根据权利要求17所述的方法,其中,包括(OffsetX,OffsetY)的一个或多个候选的候选集被定义,并且候选的索引被信令通知以指示OffsetX和OffsetY两者。
32.根据权利要求31所述的方法,其中,候选集的尺寸取决于子块的形状,并且索引对于不同的子块的形状被不同地信令通知。
33.根据权利要求32所述的方法,其中,如果候选集的尺寸等于1,则不信令通知索引。
34.根据权利要求1-33中任一项所述的方法,其中,变换参数包括第一子块的多个不同的变换尺寸和/或变换矩阵和/或偏移。
35.根据权利要求34所述的方法,其中,所有种类的变换尺寸都是2次幂的形式。
36.根据权利要求34所述的方法,其中,变换尺寸中的至少一个是2次幂的形式。
37.根据权利要求34所述的方法,其中,其他种类的变换尺寸不大于TWmax和/或THmax。
38.根据权利要求34所述的方法,其中,对于允许的变换尺寸中的每一个,仅要应用变换区域的包括OffsetX和OffsetY两者的一个固定偏移被定义或推导。
39.根据权利要求38所述的方法,其中,仅所选择的变换尺寸的指示被信令通知。
40.根据权利要求34所述的方法,其中,要应用变换区域的多个偏移与允许的变换尺寸中的每一个相关联。
41.根据权利要求40所述的方法,其中,所选择的变换尺寸和偏移的指示都被信令通知。
42.根据权利要求40或41所述的方法,其中,对于所有种类的允许的变换尺寸,允许的偏移的数量是相同的。
43.根据权利要求40或41所述的方法,其中,对于不同的变换尺寸,允许的偏移的数量是不同的。
44.根据权利要求34所述的方法,其中,所有种类的允许的变换尺寸和/或偏移和/或变换矩阵的指示被信令通知。
45.根据权利要求34所述的方法,其中,允许的变换尺寸和/或变换矩阵和/或偏移被分类为M个类别,并且类别索引首先被信令通知。
46.根据权利要求45所述的方法,其中,所选择的变换尺寸/偏移/矩阵的索引被进一步信令通知。
47.根据权利要求34所述的方法,其中,一个索引被信令通知以指示变换尺寸和偏移两者。
48.根据权利要求1至47中任一项所述的方法,其中,所述转换从比特流表示生成视频的第一子块。
49.根据权利要求1至47中任一项所述的方法,其中,所述转换从视频的第一子块生成比特流表示。
50.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器实施根据权利要求1至49中任一项所述的方法。
51.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于执行根据权利要求1至49中任一项所述的方法的程序代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019075170 | 2019-02-15 | ||
CNPCT/CN2019/075170 | 2019-02-15 | ||
PCT/CN2020/075562 WO2020164633A1 (en) | 2019-02-15 | 2020-02-17 | Transform parameter derivation based on block partition |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113439441A true CN113439441A (zh) | 2021-09-24 |
Family
ID=72043878
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080014412.4A Pending CN113711615A (zh) | 2019-02-15 | 2020-02-17 | 视频压缩中的非二次幂分割树 |
CN202080014624.2A Pending CN113711602A (zh) | 2019-02-15 | 2020-02-17 | 视频压缩中的非二次幂分割树的使用的限制 |
CN202080014405.4A Pending CN113439441A (zh) | 2019-02-15 | 2020-02-17 | 基于块分割的变换参数推导 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080014412.4A Pending CN113711615A (zh) | 2019-02-15 | 2020-02-17 | 视频压缩中的非二次幂分割树 |
CN202080014624.2A Pending CN113711602A (zh) | 2019-02-15 | 2020-02-17 | 视频压缩中的非二次幂分割树的使用的限制 |
Country Status (3)
Country | Link |
---|---|
US (3) | US11805252B2 (zh) |
CN (3) | CN113711615A (zh) |
WO (3) | WO2020164633A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023124602A1 (zh) * | 2021-12-28 | 2023-07-06 | 中国电信股份有限公司 | 数据变换与恢复方法、装置、系统、电子设备及存储介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116248873A (zh) * | 2016-10-10 | 2023-06-09 | 三星电子株式会社 | 通过块映射来对图像进行编码或解码的方法和装置 |
CN111355951B (zh) * | 2018-12-24 | 2023-11-10 | 华为技术有限公司 | 视频解码方法、装置及解码设备 |
WO2020164633A1 (en) | 2019-02-15 | 2020-08-20 | Beijing Bytedance Network Technology Co., Ltd. | Transform parameter derivation based on block partition |
CN112291316B (zh) | 2020-10-19 | 2022-03-15 | 北京字节跳动网络技术有限公司 | 连接处理方法、装置、电子设备及计算机可读存储介质 |
EP4256784A2 (en) * | 2020-12-03 | 2023-10-11 | InterDigital CE Patent Holdings, SAS | Intra prediction for asymmetric partition |
WO2024099024A1 (en) * | 2022-11-11 | 2024-05-16 | Mediatek Inc. | Methods and apparatus of arbitrary block partition in video coding |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013031071A1 (ja) * | 2011-09-02 | 2013-03-07 | パナソニック株式会社 | 動画像復号装置、動画像復号方法、及び集積回路 |
CN107079150A (zh) * | 2014-10-07 | 2017-08-18 | 高通股份有限公司 | 用于视频译码中自适应颜色变换的量化参数推导及偏移 |
CN108293109A (zh) * | 2015-11-23 | 2018-07-17 | 联发科技(新加坡)私人有限公司 | 具有视频编解码中最小块尺寸的块分割方法及装置 |
WO2018130473A1 (en) * | 2017-01-11 | 2018-07-19 | Thomson Licensing | Block size based transform restrictions |
WO2018155984A1 (ko) * | 2017-02-24 | 2018-08-30 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1833247A4 (en) | 2004-12-28 | 2010-04-07 | Ning Yuan | APPARATUS FOR PROJECTING VIDEO IMAGES AND METHOD THEREOF |
US7839936B2 (en) * | 2005-05-05 | 2010-11-23 | Hewlett-Packard Development Company, L.P. | Method and system for determining a number of data packets required to transport a data block |
CN102843556B (zh) * | 2011-06-20 | 2015-04-15 | 富士通株式会社 | 视频编码方法和系统 |
US9131245B2 (en) | 2011-09-23 | 2015-09-08 | Qualcomm Incorporated | Reference picture list construction for video coding |
US20130163664A1 (en) * | 2011-12-22 | 2013-06-27 | Qualcomm Incorporated | Unified partition mode table for intra-mode coding |
JP6180524B2 (ja) | 2012-07-09 | 2017-08-16 | ヴィド スケール インコーポレイテッド | 電力認識型ビデオ復号およびストリーミング |
KR101991214B1 (ko) | 2013-03-06 | 2019-06-19 | 인터디지탈 패튼 홀딩스, 인크 | 비디오 스트리밍을 위한 전력 인식 적응 |
US10148961B2 (en) | 2015-05-29 | 2018-12-04 | Qualcomm Incorporated | Arithmetic coder with multiple window sizes |
US10212444B2 (en) * | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
US10390048B2 (en) * | 2016-02-15 | 2019-08-20 | Qualcomm Incorporated | Efficient transform coding using optimized compact multi-pass transforms |
EP3306927A1 (en) * | 2016-10-05 | 2018-04-11 | Thomson Licensing | Encoding and decoding methods and corresponding devices |
US20180109812A1 (en) * | 2016-10-14 | 2018-04-19 | Media Tek Inc. | Block partitioning using tree structures |
CN116389739A (zh) | 2016-11-21 | 2023-07-04 | 松下电器(美国)知识产权公司 | 图像编码装置及图像解码装置 |
US10848788B2 (en) * | 2017-01-06 | 2020-11-24 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
EP3349454A1 (en) * | 2017-01-11 | 2018-07-18 | Thomson Licensing | Method and device for coding a block of video data, method and device for decoding a block of video data |
US20180199062A1 (en) | 2017-01-11 | 2018-07-12 | Qualcomm Incorporated | Intra prediction techniques for video coding |
US10805641B2 (en) * | 2017-06-15 | 2020-10-13 | Qualcomm Incorporated | Intra filtering applied together with transform processing in video coding |
WO2019076138A1 (en) * | 2017-10-16 | 2019-04-25 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR ENCODING |
US10798382B2 (en) | 2018-04-26 | 2020-10-06 | Tencent America LLC | Sub-block transform |
TWI714153B (zh) | 2018-06-29 | 2020-12-21 | 大陸商北京字節跳動網絡技術有限公司 | 零單元的定義 |
US10609403B2 (en) | 2018-07-09 | 2020-03-31 | Tencent America LLC | Method and apparatus for block partition with non-uniform quad split |
WO2020164633A1 (en) | 2019-02-15 | 2020-08-20 | Beijing Bytedance Network Technology Co., Ltd. | Transform parameter derivation based on block partition |
-
2020
- 2020-02-17 WO PCT/CN2020/075562 patent/WO2020164633A1/en active Application Filing
- 2020-02-17 CN CN202080014412.4A patent/CN113711615A/zh active Pending
- 2020-02-17 WO PCT/CN2020/075563 patent/WO2020164634A1/en active Application Filing
- 2020-02-17 WO PCT/CN2020/075561 patent/WO2020164632A1/en active Application Filing
- 2020-02-17 CN CN202080014624.2A patent/CN113711602A/zh active Pending
- 2020-02-17 CN CN202080014405.4A patent/CN113439441A/zh active Pending
-
2021
- 2021-08-13 US US17/401,462 patent/US11805252B2/en active Active
- 2021-08-13 US US17/401,479 patent/US11930173B2/en active Active
- 2021-08-13 US US17/401,447 patent/US11930172B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013031071A1 (ja) * | 2011-09-02 | 2013-03-07 | パナソニック株式会社 | 動画像復号装置、動画像復号方法、及び集積回路 |
CN107079150A (zh) * | 2014-10-07 | 2017-08-18 | 高通股份有限公司 | 用于视频译码中自适应颜色变换的量化参数推导及偏移 |
CN108293109A (zh) * | 2015-11-23 | 2018-07-17 | 联发科技(新加坡)私人有限公司 | 具有视频编解码中最小块尺寸的块分割方法及装置 |
WO2018130473A1 (en) * | 2017-01-11 | 2018-07-19 | Thomson Licensing | Block size based transform restrictions |
WO2018155984A1 (ko) * | 2017-02-24 | 2018-08-30 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023124602A1 (zh) * | 2021-12-28 | 2023-07-06 | 中国电信股份有限公司 | 数据变换与恢复方法、装置、系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020164633A1 (en) | 2020-08-20 |
US20210377529A1 (en) | 2021-12-02 |
US11930172B2 (en) | 2024-03-12 |
WO2020164632A1 (en) | 2020-08-20 |
US11930173B2 (en) | 2024-03-12 |
CN113711615A (zh) | 2021-11-26 |
US11805252B2 (en) | 2023-10-31 |
WO2020164634A1 (en) | 2020-08-20 |
CN113711602A (zh) | 2021-11-26 |
US20210377531A1 (en) | 2021-12-02 |
US20210377530A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110719481B (zh) | 跨分量编码信息导出 | |
CN113439441A (zh) | 基于块分割的变换参数推导 | |
CN113519164A (zh) | 对分割结构的限制 | |
WO2019234613A1 (en) | Partition tree with partition into 3 sub-blocks by horizontal and vertical splits | |
CN110868595B (zh) | 扩展四叉树的限制 | |
CN114072849B (zh) | 屏幕内容编解码中的色度帧内模式推导 | |
WO2020164480A1 (en) | Condition dependent video block partition | |
CN110839160B (zh) | 扩展四叉树分割的强制边界分割 | |
CN114846804A (zh) | 视频信号处理方法及其设备 | |
CN113366855A (zh) | 基于条件的非对称四叉树分割 | |
WO2020084602A1 (en) | Signaling of partition information | |
CN113557746B (zh) | 视频编解码中的复合三叉树 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |