CN111937404A - 用以发送视频资料的编码单元分割的方法和装置 - Google Patents

用以发送视频资料的编码单元分割的方法和装置 Download PDF

Info

Publication number
CN111937404A
CN111937404A CN201980020493.6A CN201980020493A CN111937404A CN 111937404 A CN111937404 A CN 111937404A CN 201980020493 A CN201980020493 A CN 201980020493A CN 111937404 A CN111937404 A CN 111937404A
Authority
CN
China
Prior art keywords
video
current block
partitioning
block region
syntax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980020493.6A
Other languages
English (en)
Other versions
CN111937404B (zh
Inventor
向时达
林芷仪
庄子德
陈庆晔
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111937404A publication Critical patent/CN111937404A/zh
Application granted granted Critical
Publication of CN111937404B publication Critical patent/CN111937404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种用于视频编码系统或视频解码系统的视频编解码方法和装置。根据一种方法,通过首先发送或解析用以指示当前块是否被分割为多个较小块的第一语法元素,使用四分树分割和/或一维分割,当前块区域被分割为一个或多个叶块。根据第二种方法,多个语法模型中的目标语法模型被确定。在编码器侧通过使用四分树和/或一维分割和根据所述目标语法模型发送块分割信息,所述当前区域被分割为一个或多个叶块,或者在解码侧根据所述目标语法模型所述块分割信息被解析以及所述当前块区域被分割为一个或多个叶块。

Description

用以发送视频资料的编码单元分割的方法和装置
相关引用
本公开主张递交于2018年3月26日、美国临时申请号为62/647,919,以及递交于2018年3月26日、美国临时申请号为62/647,923的美国临时专利申请案的优先权。上述列出的申请案的全部内容以引用方式并入本文。
技术领域
本公开涉及使用灵活的块分割类型的视频编解码,更具体地说,本公开涉及语法发送方法以改进与块分割相关的编解码效率。
背景技术
高效率视频编解码(High Efficiency Video Coding,HEVC)标准是在ITU-T视频编解码专家组(Video Coding Experts Group,VCEG)和ISO/IEC运动图像专家组(MovingPicture Experts Group,MPEG)标准化组织的联合视频项目下开发的,尤其是与称为视频编解码联合协作小组(Joint Collaborative Team on Video Coding,JCT-VC)的合作而开发的。在HEVC中,一个片段(Slice)被分割为多个编解码树单元(coding tree units,以下简称为CTU)。在主配置文件(profile)中,CTU的最小尺寸和最大尺寸由序列参数集(sequence parameter set,SPS)中的语法元素指定。允许的CTU大小可以是8x8,16x16,32x32或64x64。对于每个片段,依据光栅扫描(raster scan)顺序处理片段内的CTU。
CTU还被分割为多个编解码单元(multiple coding units,CU)以适应各种局部特性。被称为编解码树(coding tree)的四分树被用于将CTU分割成多个CU。使CTU大小为MxM,其中M是64,32或16中的一个。CTU可以是单个CU(即,不分割)或可以分成四个相同大小的较小单元(即每个尺寸为M/2xM/2),其对应于编解码树的节点。如果单元是编解码树的叶节点,则单元变为CU。否则,可以迭代四分树分割过程,直到节点的大小达到序列参数集(Sequence Parameter Set,SPS)中指定的最小允许CU大小。所述表示方式形成由图1中的编解码树(也称为分割树结构)120指定的递归结构。图1中示出了CTU110的分割,其中实线表示CU的边界。使用图像间(时间)或图像内(空间)预测编解码图像区域的决定在CU层做出。由于最小CU尺寸可以为8x8,所以在不同的基本预测类型之间切换的最小粒度(granularity)是8×8。
此外,依据HEVC,每个CU可被分为一个或多个预测单元(prediction units,PU)。与CU一起,PU作为共享预测信息的基本代表块。在每个PU内部,应用相同的预测处理,并且以PU为基础将相关信息发送到解码器。依据PU分割类型,CU可以分为一个,两个或者四个PU。如图2所示,HEVC定义了将CU分解为PU的八种形状,包括分割类型2Nx2N,2NxN,Nx2N,NxN,2NxnU,2NxnD,nLx2N和nRx2N。与CU不同,PU只能依据HEVC分割一次。第二行(row)中显示的分割对应于非对称分割,其中两个分割部分具有不同的大小。
在透过基于PU分割类型的预测处理获得残差块之后,可以依据如图1所示的CU的编解码树类似的另一四分树结构,将CU的预测残差分割成变换单元(transform unit,TU)。实线表示CU边界,虚线表示TU边界。TU是具有残差或变换系数的基本代表块,以用于应用整数变换(integer transform)和量化。对于每个TU,对TU应用具有相同大小的整数变换以获得残差系数。这些系数在基于TU的量化之后被传送到解码器。
定义术语编解码树块(coding tree block,CTB),编解码块(coding block,CB),预测块(prediction block,PB)和变换块(transform block,TB),以指定分别与CTU,CU,PU和TU相关的颜色成分的2-D样本数组。因此,CTU由一个亮度CTB,两个色度CTB和相关联的语法元素组成。类似的关系对于CU,PU和TU是有效的。树分割通常同时应用于亮度和色度两者,尽管当达到用于色度的某些最小尺寸时有例外情况。
或者,在JCTVC-P1005中(D.F.Flynn等人,“HEVC Range Extensions Draft6”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,16th Meeting:San Jose,US,9–17January 2014,Document:JCTVC-P1005),二元树块分割结构被提出。如图3所示,在提出的二元树分割结构中,块可以使用各种二进制分割类型递归地分割成两个较小的块。最有效和最简单的是图3的前两个分割类型中所示的对称水平分割和对称垂直分割。对于给定的大小为MxN的块,发送一个标志以指示给定的块是否被分成两个较小的块。如果是,则发出另一个语法元素以指示使用哪种分割类型。如果使用水平分割,给定的块被分成两个大小为Mx(N/2)的块。如果使用垂直分割,给定的块被分成两个大小为(M/2)xN的块。可以重复二元树分割过程,直到分割块的大小(宽度或高度)达到允许的最小块大小(宽度或高度)为止。允许的最小块大小可以在诸如SPS的高级语法中定义。由于二元树具有两种分割类型(即水平和垂直),所以应指出最小允许的块宽度和块高度。当分割会导致块高度小于指定的最小值时,非水平分割是隐含的。当分割会导致块宽度小于指定的最小值时,非垂直分割是隐含的。图4示出了块分割410及其对应的二元树420的示例。在二元树的每个分割节点(即,非叶节点)中,使用一个标志来指示使用哪种分割类型(水平或垂直),其中0可以指示水平分割,1可以指示垂直分割。
二元树结构可被用于将图像区域分割成多个较小的块,例如将片段分割成CTU,将CTU分割成CU,将CU分割成PU,或将CU分成TU等等。二元树可被用于将CTU分割成CU,其中二元树的根节点是CTU,二元树的叶节点是CU。叶节点可透过预测和变换编解码进一步被处理。为简化起见,没有从CU到PU或从CU到TU的进一步分割,这意味着CU等于PU以及PU等于TU。因此,换句话说,二元树的叶节点是用于预测和变换编解码的基本单元。
因为可以支持更多的分割形状,二元树结构比四分树结构更灵活,这也是编解码效率改进的来源。然而,为了选择最佳分割形状,编码复杂度也将增加。为了平衡复杂度和编解码效率,已经公开了一种组合四分树和二元树结构的方法,也称为四分树加二元树(quadtree plus binary tree,QTBT)结构。依据QTBT结构,块首先被四分树结构分割,并且四分树分割可以迭代,直到分割块的大小达到最小允许的四分树叶节点大小。如果叶四分树块不大于最大允许二元树根节点大小,则可以透过二元树结构进一步分割,并且二元树分割可以迭代,直到分割块的大小(宽度或高度)达到最小允许二元树叶节点大小(宽度或高度)或二元树深度达到允许的最大二元树深度。在QTBT结构中,最小允许的四分树叶节点大小,最大允许的二元树根节点大小,最小允许二元树叶节点宽度和高度以及最大允许二元树深度可以在高级语法中指示,例如在SPS中。图5示出了块510的分割及其对应的QTBT520的示例。实线表示四分树分割,虚线表示二元树分割。在二元树的每个分割节点(即,非叶节点)中,一个标志指示使用哪种分割类型(水平或垂直),0可以指示水平分割,以及1可以指示垂直分割。
上述QTBT结构可被用于将图像区域(例如,片段,CTU或CU)分割成多个较小的块,例如将片段分割成CTU,将CTU分割成CU,将CU分成PU,将CU分成TU等。例如,QTBT可被用于将CTU分割成CU,其中QTBT的根节点是CTU,所述CTU透过QTBT结构被分割为多个CU,并且透过预测和变换编解码进一步处理这些CU。为简化起见,没有从CU到PU或从CU到TU的进一步分割。这意味着CU等于PU和PU等于TU。因此,换句话说,QTBT结构的叶节点是预测和变换的基本单位。
QTBT结构的示例如下所示。对于大小为128x128的CTU,最小允许的四分树叶节点大小设置为16x16,最大允许的二元树根节点大小设置为64x64,最小允许的二元树叶节点宽度和高度都设置为4,而最大允许二元树深度设置为4。首先,CTU由四分树结构分割,并且叶四分树单元可以具有从16×16(即,最小允许四分树叶节点大小)到128×128的大小(等于CTU的大小,不分割)。如果叶四分树单元是128x128,它不能被二元树进一步分割,因为大小超过最大允许的二元树根节点大小64x64。否则,可以透过二元树进一步分割叶四分树单元。叶四分树单元也是根二元树单元,其二元树深度为0。当二元树深度达到4(即,如所指示的最大允许二元树)时,隐含不分割。当对应的二元树节点的块的宽度等于4时,隐含非水平分割。当对应的二元树节点的块的高度等于4时,隐含非垂直分割。QTBT的叶节点透过预测(图像内或图像间)和变换编解码进一步处理。
对于I片段,QTBT树结构通常应用亮度/色度分离编解码。例如,QTBT树结构分别应用于I片段的亮度分量和色度分量,并且同时应用于P-片段和B片段的亮度分量和色度分量(除了达到色度的某些最小尺寸之外)。换句话说,在I片段中,亮度CTB具有QTBT结构的块分割,并且两个色度CTB具有另一个QTBT结构的块分割。在另一示例中,两个色度CTB也可以具有它们自己的QTBT结构的块分割。
对于基于块的编解码,总是需要将图像分割成块(例如CU,PU和TU)以用于编解码目的。如本领域已知的,在应用块分割之前,图像可以被分割成更小的图像区域,例如片段,方格(tiles),CTU行(row)或CTU。用于编解码目的将图像分割为块的处理被称为使用编解码单元结构对图像进行分割。HEVC采用的特殊分割而生成CU,PU和TU的方法,是编解码单元(CU)结构的一个例子。QTBT树结构是编解码单元(CU)结构的另一示例。
为了进一步支持更多分割形状以实现更灵活的分割,三元树分割方法被设计为捕获位于块中心的物体,而四分树和二元树分割方法总是沿块中心分割。图6示出了垂直三元树分割(610)和水平三元树分割(620)。通过允许垂直或水平四分之一分割,三元树分割方法可提供沿块边界更快地定位小物体的能力。
通过允许多类型树(Multi-Type-Tree,简称MTT)的第二级中的二元树和三元树分割方法,MTT块分割扩展了QTBT中的两级树结构的概念。换句话说,使用图7中所示的五种分割类型(即,QT 710,垂直BT 720,水平BT730,垂直TT(三元树)740和水平TT750)之一,CU可被进一步分成较小尺寸的CU。新的分割类型740和750可被采用以将块分成三个较小尺寸的块。
在构建MTT块分割之后,MTT叶节点是CU,其被用于预测和变换而无需任何进一步的分割。在MTT中,所提出的树结构在I片段中对亮度和色度单独编解码,并且被同时应用于P和B片段中的亮度和色度(除了在达到色度的某些最小尺寸时)。也就是说,在I片段中,亮度CTB具有其QTBT结构的块分割,并且两个色度CTB具有另一个QTBT结构的块分割。
虽然MTT能够通过自适应地分割用于预测和变换的块来改善性能,但是业界仍希望在可能的情况下进一步改善性能以便实现整体效率目标。
发明内容
本发明公开了一种用于视频编码系统或视频解码系统的视频编解码的方法和装置。根据一种方法,通过首先发送或解析用以指示当前块是否被分割为多个较小块的第一语法元素,使用四分树(quadtree,简称QT)分割和/或1D(one-dimensional,简称一维),当前块区域被分割为一个或多个叶块。通过将编码或解码处理应用于所述一个或多个叶块来编码或解码当前块区域。当前块区域可对应于具有预定义大小的块,当前已编解码的编解码单元(coding unit,简称CU)或编码树单元(coding tree unit,简称CTU)。
当当前块区域未按第一语法元素所指示的被分割时,另外的语法元素将不被发送。当当前块区域按第一语法元素所指示的被分割时,一个或多个额外的语法元素被发送。当当前块区域按第一语法元素所指示的被分割时,第二语法元素被发送以指示当前块区域是使用QT分割还是1D分割来分割。当第二语法元素指示当前块区域被1D分割分割时,一个或多个额外语法元素被发送以指示1D分割是否是水平二元树(binary tree,简称BT)分割,垂直BT分割,水平三元树(triple tree,简称TT)分割或垂直TT分割。
在一实施例中,1D分割包括水平BT分割,垂直BT分割,水平TT分割,和垂直TT分割。
根据第二种方法,多个语法模型中的目标语法模型被确定。通过在编码器侧使用四分树和/或一维分割和根据所述目标语法模型发送块分割信息,所述当前区域被分割为一个或多个叶块,或者在解码侧根据所述目标语法模型所述块分割信息被解析以及所述当前块区域被分割为一个或多个叶块。通过将编码或解码处理应用于所述一个或多个叶块,当前块区域被编码或解码。当前块区域可对应于具有预定义大小的块,当前以编解码的CU,或CTU。
语法元素可被用于指示从多个语法模型中选择的目标语法模型。目标语法模型可基于叶CU的大小,最大QT或编解码树的深度,由BT分割或QT分割进行分割的叶CU的数量或其组合来确定。
在一实施例中,QT分割在1D分割之前被使用,并且在1D分割被使用之后QT分割被禁止。
在一实施例中,当当前块区域未按第一语法元素所指示的被分割时,另外的语法元素不被发送,并且当当前块区域未按第一语法元素所指示的被分割时,一个或多个额外的语法元素被发送。
附图说明
图1示出使用四分树结构将编解码树单元(coding tree,unit CTU)分割成编码单元(coding units,CUs)的块分割的示例。
图2示出根据高效率视频编码(High Efficiency Video Coding,HEVC)的非对称运动分割(asymmetric motion partition,AMP),其中AMP定义将CU分割为PU的八种形状。
图3是示出二元树分割结构使用的各种二元分割类型的示例,其中可以使用分割类型将块递归地分割成两个较小的块。
图4是示出块分割及其对应的二元树的示例,其中在二元树的每个分割节点(即,非叶节点)中,一种语法用于指示使用哪种分割类型(水平或垂直),其中0表示水平分割,1表示垂直分割。
图5是示出块分割以及四分树加二元树(quadtree plus binary tree,QTBT)结构的示例,其中实线表示四分树分割以及虚线表示二元树分割。
图6示出垂直三元树分割和水平三元树分割。
图7示出用于多类型树(Multi-Type-Tree,简称MTT)块分割的多种类型的块分割,包括四分树分割,垂直二元树分割和水平二元树分割,垂直三元树分割和水平三元树分割。
图8是示出块分割语法模型和第一语法模型的相应码字表的示例。
图9是示出块分割语法模型和第二语法模型的相应码字表的示例。
图10是示出块分割的示例,其中实线表示QT分割以及虚线表示BT分割。
图11是示出根据图8中的块分割语法模型的对应于图10中的块的语法发送的所得结构和语法的示例。
图12是示出根据图9中的块分割语法模型的对应于图10中的块的语法发送的所得结构和语法的示例。
图13是示出另一块分割示例,实线表示QT分割以及虚线表示BT分割。
图14是示出根据图8中的块分割语法模型的对应于图13中的块的语法发送的所得结构和语法的示例。
图15是示出根据图9中的块分割语法模型的对应于图13中的块的语法发送的所得结构和语法的示例。
图16示出在联合探索测试模型7(Joint Exploration Test Model 7,简称JEM7)中QTBT结构当前采用的发送方法。
图17示出根据本发明实施例所提出的方法的发送方法,其中标志被首先编解码以指示是否分割当前CU。
图18A到图18C是示出比较所提出的发送分割信息的方法与传统方法的示例,其中图18A示出块分割的示例,图18B示出表1的基于传统的语法编解码的语法编解码,以及图18C示出用于发送表2的分割信息的基于所提出的码字的语法编解码。
图19示出根据本发明的实施例具有语法发送的示例性编解码系统的流程图。
图20示出根据本发明的实施例具有语法发送的另一示例性编解码系统的流程图。
具体实施方式
以下描述是实现本发明的最佳实施方式。这一描述是为了说明本发明的一般原理,而不应被认为是限制性的。本发明的范围最好透过权利要求来确定。
在基于多类型树块分割结构的视频编解码中,由于更灵活的分割变得可用,因此编解码效率已经显示出显著的改进。业界期望开发当MTT在使用时用于降低计算复杂度的方法。因此,本发明公开了用于提高编解码效率的各种方法,特别是用于发送块分割信息的方法。
随着在下一代视频编解码中引入更多分割方法以与四分树组合,用于CU分割的语法的信令开销变得更大。在本发明中,用于CU结构语法的多模型语法设计被公开。利用所提出的多模型语法设计,通过使用不同的语法模型不同的CU结构可被编解码,因此用于CU分割的信令开销可被减少。
不同的语法模型以适用于不同的CU结构
根据本发明的实施例,用于编码块区域的CU结构的不同语法模型被公开。块区域可以是具有等于预定义大小的块,当前编解码的CU(不一定是叶CU)或CTU。语法被用于指示哪个语法模型被用于当前块区域。不同种类的语法模型被要求适应于不同种类的CU结构。多于一种语法模型可在本方法中被使用。CU结构可以是分割结果的任何特征。例如,CU结构的类型可以基于叶CU的大小,最大QT或CT深度,通过BT分割或QT分割进行分割的叶CU的数量,或者上述的组合来确定。CT深度是指叶QT的编解码树深度。
在一个实施例中,两个语法模型被用来对CU结构进行编解码。第一语法模型在图8中示出,第二模型在图9中示出。图8标出块分割语法模型810和对应的码字表820的示例。图9标出块分割语法模型910和对应的码字表920的另一示例。在以上示例中,QT分割在BT或TT分割之前完成。BT或TT分割后,QT分割被禁止。
不同的CU结构被要求适应于不同的语法模型。例如,如果块区域中的大多数叶CU是由QT分割产生的,如图10所示,其中实线表示QT分割,虚线表示BT分割。如图10所示,QT分割被用于将块区域分割为4个子CU。在4个子CU中,三个子CU是不需要进一步分割的叶CU。仅一个子CU通过垂直BT被进一步分割成两个叶CU。所得的结构如图11所示,其中用于发送每个分割决定的代码字被标记出。通过使用图8中的模型1,需要13个二进制数(bin)来编码这个结构。注意,对于来自BT或TT分割的叶CU,仅一个bin(bin值=0)被需要用来表示没有进一步的分割。如果块区域是使用图9的模型2被编解码的,则如图12所示总的已编解码的bin数量将变为11。bin数量的减少主要来自对应于来自QT分割的叶CU的不需分割(No-Split)的较短码字。换句话说,在更多CU是QT叶CU的情况下,语法模型2更有效。
图13示出了另一个块分割示例,其中实线表示QT分割,虚线表示BT分割。在所述示例中,块区域具有较大的QT深度,并且大多数叶CU来自BT或TT。对于这个块分割示例,语法模型1对于CU结构的编解码比模型2更好。例如,如图14所示使用语法模型1需要44个bin,如图15所示使用语法模型2需要46个bin。对于这种类型的CU结构,在两种语法模型中所有叶CU将用0进行编解码,因此QT分割标志的码字的长度将变得更加重要。
因此,在所提出的方法的一个实施例中,一种语法被用来指示哪个语法模型用于当前块区域。例如,如果当前块中的大多数叶CU来自QT分割(例如,图10中的块分割),则语法模型2被选择。另一方面,对于如图13所示的CU结构,语法模型1被选择。
语法模型可以是码字表(例如,图8和图9中的语法模型1和语法模型2)或CU分割规则。例如,规则可以是最大/最小QT深度,最大/最小BT/TT深度,最大/最小CU尺寸或上述的组合。如果所述规则被使用,则CU分割必须遵循规则。例如,如果规则对应于CU大小必须大于或等于2048,则当分割后的CU大小小于2048时,分割标志被推断为0。
语法发送
用于对每个块区域选择语法模型的一个或多个语法可被明确地发送或者推断。块区域可以是大小等于预定义的块(例如,M×N块大小,M和N=整数),当前编解码CU(不一定是叶CU)或CTU。如果语法被明确地发送,则将在当前块区域中的分割标志之前被发送。在一个实施例中,所述语法可直接指示当前块区域的语法模型。例如,标志或索引可用于选择语法模型之一。在一个示例中,标志可被发送用于每个CTU以选择与两个语法模型(例如,分别在图8和图9中的语法模型1和语法模型2)相关联的CU分割码字表中之一。使用以上下文信息为条件的上下文-已编解码的二进制数(bin),语法可被熵编解码。模型选择可以取决于当前块大小,当前QT/CT深度和/或相邻块中的相关语法值。
在另一实施例中,通过使用当前块区域的信息和/或一个或多个相邻块的信息,一个或多个合适的语法模型被预测。一个或多个语法被用于指示预测语法模型是否被正确预测,或者从预测语法模型之一中选择一个语法模型。所述信息包括当前CU结构,相邻CU的结构(例如,上述CU结构或左CU结构,上部和左侧CU结构)或相邻块区域。在一个示例中,语法模型从邻近信息被预测。如果预测的语法模型被选择,则标志可被设置为1。
在另一实施例中,一个已发送的语法将指示要在两个语法模型候选者中的当前块中使用的语法模型。这两个候选者也可通过语法模型推导方法被导出。
为了选择最佳语法模型,我们可在完成压缩过程之后测试不同的语法模型,或者在压缩过程期间测试语法模型。当在压缩过程中测试语法时,分割过程可根据当前选择的语法模型提前被终止。例如,如果当前选择的语法模型是规则并且指示最大QT深度是1,则当前块中的QT分割将仅被应用一次。换句话说,当QT深度等于1时,QT分割将不再被测试。
如果语法被推断出,则根据当前块区域和/或邻近信息(例如,相邻CU的语法模型,例如上方的CU的语法模型,左侧的CU的语法模型,或者上方的CU和左侧的CU的模型)当前块区域的语法模型可被推断出。不同的语法模型推导方法可被应用。例如,推断的语法模型可以是当前块的相邻CU中使用最多的语法模型。例如,对于每个CU,根据相邻信息图8和图9中的语法模型1和语法模型2的码字表被自适应地选择。在另一示例中,对于每个CU,根据当前CU深度或大小和/或邻近信息图8和图9中的语法模型1和语法模型2的码字表被自适应地选择。
前面提出的方法可在编码器和/或解码器中被实现。例如,所提出的方法可在编码器的CU结构编码模块中被实现,和/或在解码器的CU结构解码模块中被实现。
在QTBT结构和MTT结构中,使用QT分割结构CTU被首先分割为四个较小的CU。“1”被发送以指示当前CU通过四分树分割被进一步分割。“0”被发送以指示当前CU是四分树叶节点并且不通过四分树分割被进一步分割。通过使用诸如BT分割类型和TT分割类型之类的1D分割类型之一来进一步分割四分树叶节点,其进一步将CU分割成多个CU,并且每个在一个空间维度上具有减小的大小,同时在另一个空间维度中保持相同的大小。当当前四分树叶节点的大小不大于用于1D分割的指定最大块大小时,标志被进一步发送以指示是否进一步用1D分割类型对当前四分树叶节点进行分割。“0”被用于指示当前节点是1D树叶节点并且不被进一步分割。“1”被用于指示当前节点被进一步分割,并且所选择的分割类型被进一步发送。
图16标出了JEM中的QTBT结构(J.Chen,et al,“Algorithm Description ofJoint Exploration Test Model 7(JEM7),”Joint Video Exploration Team(JVET)ofITU-T VCEG(Q6/16)and ISO/IEC MPEG(JTC 1/SC 29/WG 11),Doc.JVET-G1001,7thMeeting,Torino,Italy,July 2017)和MTT结构(X.Li,et al“Multi-Type-Tree,”JointVideo Exploration Team(JVET)of ITU-T VCEG(Q6/16),以及ISO/IEC MPEG(JTC 1/SC29/WG 11),Doc.JVET-D0117,4th Meeting:Chengdu,CN,15–21October 2016)当前采用的信令方法。根据现有实践,用于发送不同分割决策的有效码字在表1被提供。“b0”位指示是否通过四分树分割来对当前CU进行分割。当当前CU被强制为四分树分割或不分割时,“b0”不被发送。“b1”位指示是否进一步将当前CU分割为1D分割类型,并且当没有1D分割类型对于分割当前节点有效时,所述位不被发送。“b2”位表示用于1D分割的所选择的分割方向。当二元树分割和三元树分割对于进一步分割当前CU有效时,“b3”位指示所选择的1D类型。
表1
Figure BDA0002690002970000131
在本公开中,一种用于发送CU分割信息的新方法被提出。在如图17所示的所提出的方法中,标志被首先编解码以指示是否进一步分割当前CU。“0”被发送以指示当前CU是叶节点并且不被进一步分割。“1”被发送以指示当前CU被进一步分割为较小尺寸的CU。标志被进一步发送以指示当前节点通过四分树分割或1D分割类型被进一步分割。当发送的是采用1D分割类型时,所选择的1D分割类型被进一步发送。以这种方式,用于发送分割信息的有效码字在表2中被提供。“b0”位指示是否进一步分割当前CU并且当当前CU被强制分割或不分割时所述位不被发送。“b1”位指示是选择四分树分割还是1D分割类型,并且当四分树分割和1D分割对于分割当前节点都不是有效时,所述位不被发送。“b2”位表示用于1D分割的所选择的分割方向。当二元树分割和三元树分割对于进一步分割当前CU有效时,“b3”位指示所选择的1D分割类型。
表2
Figure BDA0002690002970000141
图18A到图18C是示出比较所提出的发送分割信息的方法与用于发送对应于一些指定CU分割的分割信息的传统方法的示例。图18A所示的块分割示例与图10中的示例相同。基于图18B所示的传统语法编解码的语法编解码与图11中的语法编解码相同。基于用于发送表2的分割信息的码字的语法编解码如图18C所示。图18C中的语法编解码结果与图12中的语法编解码结果相同。基于图18B和图18C中的语法编解码结果,由于较短的码字被指定用于发送不分割(non-split),所提出的方法采用较少的bin。
上述提出的方法可在编码器和解码器中实现。例如,所提出的方法可以在编码器的熵编码模块和解码器的熵解码模块中实现。
图19示出了根据本发明实施例的具有语法发送的示例性编解码系统的流程图。流程图中示出的步骤以及本公开中的其他后续流程图可以实现为在编码器侧和/或解码器侧的一个或多个处理器(例如,一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。根据所述方法,在步骤1910中,与属于视频序列的当前图像中的当前块区域相关联的输入数据被接收。在步骤1920中,通过首先发送或解析用以指示当前块是否被分割为多个较小块的第一语法元素,使用四分树分割和/或一维分割将当前块区域分割为一个或多个叶块。在步骤1930中,通过将编码或解码处理应用于一个或多个叶块,当前块区域被编码或解码。
图20示出根据本发明实施例的具有语法发送的另一示例性编解码系统的流程图。根据所述方法,在步骤2010中,与属于视频序列的当前图像中的当前块区域相关联的输入数据被接收。在步骤2020中,来自多个语法模型的目标语法模型被确定。在步骤2030中,根据目标语法模型通过发送或解析块分割信息,使用QT分割和/或1D分割,当前块区域被分割成一个或多个叶块。在步骤2040中,通过将编码或解码处理应用于一个或多个叶块,当前块区域被编码或解码。
所示的流程图旨在说明依据本发明的示范性视频编解码的示例。在不脱离本发明的精神的情况下,所属技术领域的技术人员可以修改每个步骤,重新排列步骤,拆分步骤或组合步骤来实施本发明。在本公开中,已经使用具体的语法和语义来说明实现本发明的实施例的示例。所属技术领域的技术人员可以用相同的语法和语义来代替所述些语法和语义来实践本发明,而不脱离本发明的精神。
呈现上述描述以使得所属技术领域的技术人员能够在特定应用及其要求的上下文中实施本发明。对所描述的实施例的各种修改对于所属技术领域的技术人员将是显而易见的,并且本文定义的一般原理可以应用于其他实施例。因此,本发明并不限于所示出和描述的特定实施例,而是符合与本文所公开的原理和新颖特征相一致的最宽范围。在上述详细描述中,示出了各种具体细节以便提供对本发明的透彻理解。然而,所属技术领域的技术人员将理解,可以实施本发明。
如上所述的本发明的实施例可以以各种硬件,软件代码或两者的组合来实现。例如,本发明的实施例可以是整合到视频压缩芯片中的一个或多个电路电路,或整合到视频压缩软件中的程序代码以执行本文所述的处理。本发明的实施例也可以是要在数字信号处理器(Digital Signal Processor,简称DSP)上执行的程序代码,以执行本文所述处理。本发明还可以涉及由计算器处理器,数字信号处理器,微处理器或现场可程序逻辑门阵列(field programmable gate array,FPGA)执行的许多功能。可以透过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来将这些处理器配置成执行依据本发明的特定任务。软件代码或固件代码可以以不同的编程语言和不同的格式或风格而被开发。也可以为不同的目标平台编译软件代码。然而,执行与本发明一致任务的不同的代码格式,软件代码的样式和语言以及配置代码的其他方式将不会脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下,本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此,本发明的范围由权利要求而不是前面的描述来指示。属于权利要求的等同物的含义和范围的所有变化将被包括在其范围内。

Claims (17)

1.一种用于视频编码器或视频解码器的视频编解码方法,包括:
接收与属于视频序列的当前图像的当前块区域相关联的输入数据;
通过首先发送或解析用以指示所述当前块区域是否被分割成多个较小的块的第一语法元素,使用四分树分割和/或一维分割将所述当前块区域分割成一个或多个叶块;以及
通过将编码或解码处理应用于所述一个或多个叶块对所述当前块区域进行编码或解码。
2.如权利要求1所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,所述当前块区域对应于具有预定义大小的块、当前已编解码的编解码单元,或者编解码树单元。
3.如权利要求1所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,当所述当前块区域没有如所述第一语法元素所指示的被分割,没有语法元素被进一步发送。
4.如权利要求1所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,当所述当前块区域如所述第一语法元素所指示的被分割,一个或多个额外的语法元素被发送。
5.如权利要求1所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,当所述当前块区域如所述第一语法元素所指示的被分割,第二语法元素被发送以指示所述当前块区域是否使用所述四分树分割或所述一维分割来分割。
6.如权利要求5所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,当所述第二语法元素指示所述当前块区域是由所述一维分割被分割的,一个或多个额外的语法元素被发送以指示所述一维分割是水平二元树分割、垂直二元树分割、水平三元树分割或垂直三元树分割。
7.如权利要求1所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,所述一维分割由水平二元树分割,垂直二元树分割,水平三元树分割以及垂直三元树分割组成。
8.一种视频编解码装置,所述装置包括一个或多个电子电路或处理器被设置为:
接收与属于视频序列的当前图像的当前块区域相关联的输入数据;
通过首先发送或解析用以指示所述当前块区域是否被分割成多个较小的块的第一语法元素,使用四分树分割和/或一维分割将所述当前块区域分割成一个或多个叶块;以及
通过将编码或解码处理应用于所述一个或多个叶块对所述当前块区域进行编码或解码。
9.一种用于视频编码器或视频解码器的视频编解码方法,包括:
接收与属于视频序列的当前图像的当前块区域相关联的输入数据;
从多个语法模型中确定目标语法模型;
在编码器侧根据所述目标语法模型使用四分树分割和/或一维分割将当前块区域分割成一个或多个叶块以及发送块分割信息,或在解码器侧根据所述目标语法模型解析所述块分割信息以及将所述当前块区域分割成所述一个或多个叶块;以及
通过将编码或解码处理应用于所述一个或多个叶块对所述当前块区域进行编码或解码。
10.如权利要求9所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,所述当前块区域对应于具有预定义大小的块、当前已编解码的编解码单元,或者编解码树单元。
11.如权利要求9所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,语法元素被用作指示所述目标语法模型是选择自所述多个语法模型。
12.如权利要求11所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,使用以上下文信息为条件的上下文-已编解码的二进制数,所述语法元素可被熵编解码。
13.如权利要求9所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,基于叶编解码单元的尺寸,最大四分树或编解码单元树的深度,由二元树分割或四分树分割进行分割的叶编解码单元的数量,或者以上的组合,所述目标语法模型被确定。
14.如权利要求9所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,所述二元树分割在所述一维分割之前被使用,以及在所述一维分割被使用之后,所述二元树分割被禁止。
15.如权利要求9所述的用于视频编码器或视频解码器的视频编解码方法,其特征在于,第一语法元素首先在所述编码器侧被发送或在所述解码器侧被解析以指示所述当前块区域是否被分割成多个较小块。
16.如权利要求15所述的解码方法,其特征在于,当所述当前块区域没有如所述第一语法元素所指示被分割,没有语法元素被进一步发送,以及当当前块区域如所述第一语法元素所指示被分割,一个或多个额外的语法元素被发送。
17.一种视频编码器装置,所述装置包括一个或多个电子电路或处理器被设置为:
接收与属于视频序列的当前图像的当前块区域相关联的输入数据;
从多个语法模型中确定目标语法模型;
在编码器侧根据所述目标语法模型使用四分树分割和/或一维分割将当前块区域分割成一个或多个叶块以及发送块分割信息,或在解码器侧根据所述目标语法模型解析所述块分割信息以及将所述当前块区域分割成所述一个或多个叶块;以及
通过将编码或解码处理应用于所述一个或多个叶块对所述当前块区域进行编码或解码。
CN201980020493.6A 2018-03-26 2019-03-25 一种用于视频编码器或解码器的视频编解码方法及装置 Active CN111937404B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862647919P 2018-03-26 2018-03-26
US201862647923P 2018-03-26 2018-03-26
US62/647,923 2018-03-26
US62/647,919 2018-03-26
PCT/CN2019/079458 WO2019184852A1 (en) 2018-03-26 2019-03-25 Methods and apparatus for signalling coding unit partitioning of video data

Publications (2)

Publication Number Publication Date
CN111937404A true CN111937404A (zh) 2020-11-13
CN111937404B CN111937404B (zh) 2023-12-15

Family

ID=68062501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020493.6A Active CN111937404B (zh) 2018-03-26 2019-03-25 一种用于视频编码器或解码器的视频编解码方法及装置

Country Status (6)

Country Link
US (1) US11785258B2 (zh)
EP (1) EP3766252A4 (zh)
CN (1) CN111937404B (zh)
BR (1) BR112020019816A8 (zh)
TW (1) TWI702838B (zh)
WO (1) WO2019184852A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022268207A1 (en) * 2021-06-25 2022-12-29 FG Innovation Company Limited Device and method for partitioning blocks in video coding

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240499B2 (en) 2019-05-24 2022-02-01 Tencent America LLC Method and apparatus for video coding
US11509931B2 (en) * 2019-06-07 2022-11-22 Tencent America LLC Method and apparatus for video coding
WO2022213920A1 (en) * 2021-04-06 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Partition signaling in video coding
WO2023197998A1 (en) * 2022-04-13 2023-10-19 Mediatek Inc. Extended block partition types for video coding

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103975596A (zh) * 2011-10-24 2014-08-06 高通股份有限公司 用于视频译码的瓦片的分组
CN104040900A (zh) * 2011-11-08 2014-09-10 高通股份有限公司 用于上下文自适应二进制算术译码的上下文数目缩减
WO2015042751A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
US20160330479A1 (en) * 2013-12-30 2016-11-10 Qualcomm Incorporated Simplification of delta dc residual coding in 3d video coding
US20160337667A1 (en) * 2015-05-15 2016-11-17 Fujitsu Limited Image coding device and image coding method
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet
US20170347096A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US20180070110A1 (en) * 2016-09-07 2018-03-08 Qualcomm Incorporated Tree-type coding for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
KR102349348B1 (ko) * 2011-06-14 2022-01-10 엘지전자 주식회사 영상 정보 인코딩 및 디코딩 방법
EP3270593A4 (en) * 2015-03-13 2018-11-07 LG Electronics Inc. Method of processing video signal and device for same
EP3357227A1 (en) * 2015-10-02 2018-08-08 VID SCALE, Inc. Color correction with a lookup table
KR102391235B1 (ko) 2016-04-29 2022-04-27 인텔렉추얼디스커버리 주식회사 영상 신호 부호화/복호화 방법 및 장치
US10284845B2 (en) 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
WO2018030746A1 (ko) * 2016-08-08 2018-02-15 엘지전자(주) 영상의 처리 방법 및 이를 위한 장치
US20180139444A1 (en) * 2016-11-16 2018-05-17 Mediatek Inc. Method and Apparatus of Video Coding Using Flexible Quadtree and Binary Tree Block Partitions
WO2018236028A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103975596A (zh) * 2011-10-24 2014-08-06 高通股份有限公司 用于视频译码的瓦片的分组
CN104040900A (zh) * 2011-11-08 2014-09-10 高通股份有限公司 用于上下文自适应二进制算术译码的上下文数目缩减
WO2015042751A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
US20160330479A1 (en) * 2013-12-30 2016-11-10 Qualcomm Incorporated Simplification of delta dc residual coding in 3d video coding
US20160337667A1 (en) * 2015-05-15 2016-11-17 Fujitsu Limited Image coding device and image coding method
US20170347128A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet
US20170347096A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
US20180070110A1 (en) * 2016-09-07 2018-03-08 Qualcomm Incorporated Tree-type coding for video coding
WO2018049020A1 (en) * 2016-09-07 2018-03-15 Qualcomm Incorporated Tree-type coding for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANG LI: ""Multi-Type-Tree"", JVET MEETING *
单娜娜: "高性能视频编码中的低复杂度算法研究", 《优秀博士论文》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022268207A1 (en) * 2021-06-25 2022-12-29 FG Innovation Company Limited Device and method for partitioning blocks in video coding

Also Published As

Publication number Publication date
TW201941614A (zh) 2019-10-16
US11785258B2 (en) 2023-10-10
WO2019184852A1 (en) 2019-10-03
BR112020019816A2 (pt) 2021-01-05
EP3766252A4 (en) 2022-03-30
TWI702838B (zh) 2020-08-21
CN111937404B (zh) 2023-12-15
BR112020019816A8 (pt) 2023-02-07
EP3766252A1 (en) 2021-01-20
US20200413102A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
CN108605130B (zh) 一种用于对与区块相关的符号进行熵编解码的方法和装置
US11509934B2 (en) Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
CN113727109B (zh) 用于彩色视频数据的调色板模式编解码的方法及装置
EP3298777B1 (en) Method of conditional binary tree block partitioning structure for video and image coding
CN111937404B (zh) 一种用于视频编码器或解码器的视频编解码方法及装置
CN113228644B (zh) 带有约束的亮度-色度单独的编码树编码的方法和设备
TWI702833B (zh) 一種用於視訊編解碼系統的視訊編解碼方法和裝置
CN112997481B (zh) 带有约束的亮度-色度单独的编码树编解码的方法和设备
CN113906737B (zh) 具有分割限制条件的小尺寸编码单元分割方法和装置
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
WO2021185311A1 (en) Method and apparatus for signaling tile and slice partition information in image and video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220526

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant