CN111819857A - 用于视频编解码的优化分割结构的方法和装置 - Google Patents

用于视频编解码的优化分割结构的方法和装置 Download PDF

Info

Publication number
CN111819857A
CN111819857A CN201980015725.9A CN201980015725A CN111819857A CN 111819857 A CN111819857 A CN 111819857A CN 201980015725 A CN201980015725 A CN 201980015725A CN 111819857 A CN111819857 A CN 111819857A
Authority
CN
China
Prior art keywords
current
block
sub
partitioning
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980015725.9A
Other languages
English (en)
Inventor
陈俊嘉
蔡佳铭
苏郁琪
赖贞延
徐志玮
陈庆晔
庄子德
黄毓文
黄晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111819857A publication Critical patent/CN111819857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

在一种方法中，使用包括三叉树分割和至少一个其他类型分割的子树分割的一个或多个阶段，将当前块分割为多个最终子块，其中如果与当前子块相关联的当前树深度大于第一阈值，并且该第一阈值是大于或等于1的整数，则从该子树分割中排除该三叉树分割。在另一种方法中，如果满足测试条件，使用从修改的帧间工具组中选择的当前帧间模式对当前块进行编码或解码，其中，透过自初始的帧间工具组移除一个或多个第一帧间工具，用一个或多个复杂性降低的帧间工具来代替一个或多个第二帧间工具，或二者的组合，而自该初始的帧间工具组导出修改的帧间工具组。

Description

用于视频编解码的优化分割结构的方法和装置
【交叉引用】
本申请要求2018.3.14提交的美国临时专利申请(申请号62/642661)、2018.3.26提交的美国临时专利申请(申请号62/647910)、2018.3.26提交的美国临时专利申请(申请号62/647914)、2018.3.26提交的美国临时专利申请(申请号62/647917)、2018.3.30提交的美国临时专利申请(申请号62/664382)的优先权。上述美国临时专利申请的全部内容也一并引用于此。
【技术领域】
本发明是有关于使用灵活块分割类型和/或帧间模式的视频编解码，特别是有关于一种透过在满足特定测试条件时限制编码树分割来降低复杂性的方法。在另一方面，如果满足某个测试条件，则减少了帧间(Inter)工具的复杂性。
【背景技术】
高效视频编码(High Efficiency Video Coding，HEVC)标准是在ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)标准化组织的联合视频项目下开发的，并且高效视频编码与视频编码联合协作组(JCT-VC)具有合作关系。在HEVC中，一个切片被分割为多个编码树单元(coding tree units，CTU)。在主配置文件中，CTU的最小和最大尺寸由序列参数集(sequence parameterset，SPS)中的语法元素指定。允许的CTU尺寸可以是8x8、16x16、32x32或64x64。对于每个切片，依据光栅扫描顺序处理切帧内切片的CTU。
CTU被进一步分割为多个编码单元(coding unit，CU)以适应各种局部特性。表示为编码树的四叉树，用于将CTU分割为多个CU。令CTU尺寸为MxM，其中M是64、32或16的值中的一个。CTU可以是单个CU(即，没有分割)或者可以分成四个相同尺寸的较小单元(即，每个的尺寸为M/2xM/2)，对应于编码树的节点。如果单元是编码树的叶节点，则单元变为CU。否则，可以迭代四叉树分割过程，直到节点的尺寸达到序列参数集(Sequence ParameterSet，SPS)中指定的最小允许CU尺寸。该表示导致由图1中的编码树(也称为分割树结构)120指定的递归结构。图1中示出了CTU分割110，其中实线指示CU边界。使用帧间(时间)或帧内(空间)预测来编码图像区域的决策是在CU层进行的。由于最小CU尺寸可以是8x8，因此用于在不同基本预测类型之间切换的最小间隔尺寸是8x8。
此外，依据HEVC，可以将每个CU分割为一个或多个预测单元(prediction unit，PU)。与CU耦合，PU用作共享预测信息的基本代表块。在每个PU内部，应用相同的预测过程，并且基于PU将相关信息发送到解码器。可以依据PU分割类型，将CU分成一个，两个或四个PU。HEVC定义了用于将CU分成PU的八种形状，如图2所示，包括2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N分割类型。与CU不同，PU可以仅依据HEVC分割一次。第二行中所示的分割对应于不对称分割，其中两个分割部分具有不同的尺寸。
在透过基于PU分割类型的预测过程获得残余块之后，可以依据另一种四叉树结构将CU的预测残差分割为变换单元(TU)，该四叉树结构类似于如图1所示的CU的编码树。实线表示CU边界，虚线表示TU边界。TU是具有用于应用整数变换和量化的残差或变换系数的基本代表性块。对于每个TU，应用具有与TU相同尺寸的一个整数变换以获得残差系数。在以TU为基础量化之后，将这些系数发送到解码器。
术语编码树块(coding tree block，CTB)、编码块(coding block，CB)、预测块(prediction block，PB)和变换块(ttansform block，TB)被定义为指定与CTU、CU、PU和TU分别相关联的一个颜色分量的2-D样本阵列。因此，CTU由一个亮度CTB、两个色度CTB和相关的语法元素组成。类似的关系同样适应于CU、PU和TU。树分割通常同时应用于亮度和色度，但是当达到色度的某些最小尺寸时，存在例外。
或者，在JCTVC-P1005(D.Flynn等人，“HEVC Range Extensions Draft 6”，ITU-TSG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11视频编码联合合作团队(JCT-VC)，第16次会议：San Jose，US，2014.1.9-17，文档：JCTVC-P1005)中所提出的二叉树分割结构中，如图3所示，可以使用各种二元分割类型将块递归地分割成两个较小的块。如图3的前两个分割所示，最有效和最简单的是对称水平分割和对称垂直分割。对于尺寸为M×N的给定块，发送一个标志以指示给定块是否被分成两个较小的块。如果是，则发送另一语法元素以指示使用哪种分割类型。如果使用水平分割，则将给定块分成两个尺寸为M×N/2的块。如果使用垂直分割，则将给定块分成两个尺寸为M/2×N的块。可以迭代二叉树分割过程，直到分割块的尺寸(宽度或高度)达到最小允许块尺寸(宽度或高度)为止。可以在诸如SPS的高级语法中定义最小允许块尺寸。由于二叉树具有两种分割类型(即水平和垂直)，因此应指示最小允许块宽度和高度。当分割将导致块高度小于指示的最小值时，隐含地暗示非水平分割。当分割将导致块宽度小于指示的最小值时，隐含地暗示非垂直分割。图4示出了块分割410及其对应的二进制树420的示例。在二叉树的每个分割节点(即，非叶节点)中，使用一个标志来指示使用哪种分割类型(水平或垂直)，其中0表示水平分割，1表示垂直分割。
二进制树结构可用于将图像区域分割为多个较小的块，诸如将切片分割为CTU，将CTU分割为CU，将CU分割为PU，或将CU分割为TU，等等。二叉树可以用于将CTU分割为CU，其中二叉树的根节点是CTU，二叉树的叶节点是CU。可以透过预测和变换编解码来进一步处理叶节点。为了简化，不存在从CU到PU或从CU到TU的进一步分割，这意味着CU等于PU并且PU等于TU。因此，换句话说，二叉树的叶节点是用于预测和变换编解码的基本单元。
二叉树结构比四叉树结构更灵活，因为可以支持更多的分割形状，这也是编解码效率改进的来源。但是，编解码复杂度也会增加，以便选择最佳的分割形状。为了平衡复杂性和编解码效率，已经公开了一种组合四叉树和二叉树结构的方法，也称为四叉树加二叉树(quadtree plus binary tree，QTBT)结构。依据QTBT结构，首先透过四叉树结构分割块，并且可以迭代四叉树分割，直到分割块的尺寸达到最小允许四叉树叶节点尺寸。如果叶四叉树块不大于最大允许二叉树根节点尺寸，则可以透过二叉树结构进一步分割，并且可以迭代二叉树分割，直到分割块的尺寸(宽度或高度)达到最小允许二叉树叶节点尺寸(宽度或高度)或二叉树深度达到最大允许二叉树深度。在QTBT结构中，允许的最小四叉树叶节点尺寸，最大允许二叉树根节点尺寸，最小允许二叉树叶节点宽度和高度以及最大允许二叉树深度可以在高级语法中指示，例如在SPS。图5示出了块分割510及其对应的QTBT 520的示例。实线表示四叉树分割，虚线表示二叉树分割。在二叉树的每个分割节点(即，非叶节点)中，一个标志指示使用哪种分割类型(水平或垂直)，0可以指示水平分割，1可以指示垂直分割。
上述QTBT结构可用于将图像区域(例如，切片、CTU或CU)分割成多个较小的块，例如将切片分割为CTU，将CTU分割为CU，将CU分割为PU，或将CU分割为多个较小的TU等。例如，QTBT可以用于将CTU分割为CU，其中QTBT的根节点是CTU，其透过QTBT结构分割为多个CU，并且CU透过预测和变换编解码进一步处理。为了简化，不存在从CU到PU或从CU到TU的进一步分割。这意味着CU等于PU并且PU等于TU。因此，换句话说，QTBT结构的叶节点是用于预测和变换的基本单元。
对于I切片，QTBT树结构通常应用亮度/色度单独编码。例如，QTBT树结构分别应用于切片I(I-slice)的亮度和色度分量，并且同时应用于P-和B-切片的亮度和色度(除非达到色度的某些最小尺寸)。换句话说，在切片I中，亮度CTB具有其QTBT结构的块分割，并且两个色度CTB具有另一个QTBT结构的块分割。在另一示例中，两个色度CTB还可以具有它们自己的QTBT结构块分割。
对于基于块的编解码，总是需要将图像分割成块(例如，CU，PU和TU)以用于编解码目的。如本领域所知，在应用块分割之前，可以将图像分割为较小的图像区域，例如切片、方块(tiles)、CTU行或CTU。将图像分割为块用于编解码目的的过程称为使用编码单元(CU)结构分割图像。用于生成HEVC采用的CU、PU和TU的特定分割方法是采用编码单元(CU)结构的示例。QTBT树结构是编码单元(CU)结构的另一示例。
为了进一步支持更多分割形状以实现更灵活的分割，三叉树分割方法被设计为捕获位于块中心的对象，而四叉树和二叉树分割方法总是沿块中心分割。图6示出了垂直三叉树分割(610)和水平三叉树分割(620)。透过允许垂直或水平四分之一分割，三叉树分割方法可以提供沿块边界更快地定位小对象的能力。
多类型树(Multi-Type-Tree，MTT)块分割透过在MTT的第二级中允许二叉树和三叉树(或也称为三叉树)分割方法来扩展QTBT中的两层树结构的概念。MTT中的两级树分别称为区域树(region tree，RT)和预测树(prediction tree，PT)。第一层RT始终是四叉树(quad-tree，QT)分割，第二级PT可以是二叉树(binary tree，BT)分割或三叉树(tripletree，TT)分割。例如，首先透过RT对CTU进行分割，这是QT分割，并且每个RT叶节点可以进一步由PT分割，其是BT或TT分割。由PT分割的块可以进一步用PT分割，直到达到最大PT深度。例如，可以首先透过垂直BT分割来分割块以生成左子块和右子块，并且透过水平TT分割进一步分割左子块，同时透过水平BT分割进一步分割右子块。PT叶节点是用于预测和变换的基本编码单元，并且不会被进一步分割。
图7示出了MTT中的树型信令的示例。如图7所示，在节点710处检查RT分割是否用于分割块。发信号通知(signal)“1”以指示RT分割应用于当前块，如节点720所示。“0”被发信号通知表示RT分割未应用于当前块。在这种情况下，如节点730所示，检查BT分割或TT分割是否应用于当前块。如果BT分割和TT分割都不应用于当前块(即，“0”分支)，则分割进程到达叶节点(如，没有分割)，如节点740所示。如果BT分割或TT分割应用于块(即，“1”分支)，则如节点750所示，系统将进一步发信号以指示它是否是水平分割或垂直分割。如节点760所示，用信号通知“0”以指示BT/TT分割是水平的。如节点770所示，用信号通知“1”以指示BT/TT分割是垂直的。在这种情况下，附加比特被发送以指示它是由节点780指示的BT分割(即，“0”分支)还是由节点790指示的TT分割(即，“1”分支)。类似的信令也应用于节点760处的水平BT/TT分割的情况。
在构建MTT块分割之后，MTT叶节点是CU，其用于预测和变换而无需任何进一步的分割。在MTT中，所提出的树结构在切片I中针对亮度和色度单独编码，并且同时应用于切片P和切片B中的亮度和色度(除了在达到色度的某些最小尺寸时)。也就是说，在切片I中，亮度CTB具有一个QTBT结构的块分割，并且两个色度CTB具有另一个QTBT结构的块分割。
虽然MTT能够透过自适应地分割块用于预测和变换，来改善性能，但是希望在可能的情况下进一步改善性能以便提升整体效率。
合并模式
为了提高HEVC中的运动矢量(motion vector，MV)编码的编码效率，HEVC具有跳过和合并模式。跳过模式和合并模式从空间相邻块(空间候选)或时间同位块(时间候选)获得运动信息。当PU是跳过模式和合并模式时，不编码运动信息。相反，仅编码所选候选的索引。对于跳过模式，残差信号被强制为零而不进行编码。在HEVC中，如果特定块被编码为跳过模式或合并模式，则候选索引被发送以指示候选集中的哪个候选用于合并。每个合并的PU重用所选候选的MV，预测方向和参考图像索引。
对于HEVC参考软件HM-4.0中的合并模式，如图8所示，从A0、A1、B0和B1导出多达四个空间MV候选，并且从TBR或TCTR导出一个时间MV候选(首先使用TBR，如果TBR不可用，则使用TCTR代替)。注意，如果四个空间MV候选中的任何一个不可用，则位置B2然后用于导出MV候选作为替代。在四个空间MV候选和一个时间MV候选的推导过程之后，应用去除冗余(修剪(pruning))以移除冗余MV候选。如果在去除冗余(修剪)之后，可用MV候选的数量小于5，则三种类型的附加候选被推导并将其添加到候选集合(即，候选列表)。编码器基于速率-失真优化(RDO)策略选择候选集合中的一个最终候选用于跳过或合并模式，并将索引发送到解码器。
在下文中，为方便起见，跳过模式和合并模式都可以称为“合并模式”。换句话说，此后的本公开中的“合并模式”可以表示跳过和合并模式。
合并模式和AMVP模式
为了实现HEVC中的混合编解码架构的最佳编解码效率，对于每个PU帧间存在两种预测模式(即，帧内预测和帧间预测)。对于帧内预测模式，空间相邻重建像素可用于生成方向预测。HEVC最多有35个方向。对于帧间预测模式，时间重建参考帧可用于生成运动补偿预测。有三种不同的模式，包括跳过模式，合并模式和帧间高级运动矢量预测(AdvancedMotion Vector Prediction，AMVP)模式。
当以帧间AMVP模式编码PU时，利用可与运动矢量预测(MVP)一起使用的传输运动矢量差(MVD)来执行运动补偿预测，以用于导出运动矢量(MV)。为了在帧间AMVP模式中确定MVP，使用高级运动矢量预测(AMVP)方案来选择包括两个空间MVP和一个时间MVP的AMVP候选集中的运动矢量预测。因此，在AMVP模式中，需要对MVP的MVP索引和相应的MVD进行编码和传输。另外，用于指定双向预测中的预测方向的间预测方向，以及列表0(即，L0)和列表1(即，L1)的单向预测，以及每个列表的参考帧索引也应当被编码和传输。
当以跳过或合并模式编码PU时，除了所选候选的合并索引之外，不发送运动信息，因为跳过模式和合并模式利用运动推断方法。由于跳过模式和合并模式的运动矢量差(MVD)为零，因此跳过模式或合并模式编码的块的MV与运动矢量预测(MVP)相同(即，MV＝MVP+MVD＝MVP)。因此，跳过模式或合并模式编码的块从同位图像中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息。同位图像是列表0或列表1中的第一参考图像，其在切片报头中被发送。在跳过PU的情况下，也省略残差信号。为了确定跳过模式和合并模式的合并索引，合并方案用于在包含四个空间MVP和一个时间MVP的合并候选集中选择运动矢量预测。
图8示出了用于导出AMVP和合并方案的空间和时间MVP的相邻PU。在AMVP中，左侧MVP是来自A0，A1的第一个可用的MVP，顶级(top)MVP是来自B0、B1、B2的第一个可用的MVP，并且时间MVP是来自TBR或TCTR的第一个可用的MVP(首先使用TBR，如果TBR不可用，则使用TCTR代替)。如果左侧MVP不可用且顶部MVP未缩放MVP，如果在B0、B1和B2中存在缩放的MVP，则可以导出第二顶部MVP。在HEVC中，AMVP的MVP的列表尺寸是2。因此，在两个空间MVP和一个时间MVP的推导过程之后，仅前两个MVP可以包括在MVP列表中。如果在去除冗余之后，可用MVP的数量小于2，则将零矢量候选添加到候选列表中。
对于跳过模式和合并模式，如图8所示，从A0、A1、B0和B1导出多达四个空间合并索引，并且从TBR或TCTR导出一个时间合并索引(首先使用TBR，如果TBR不可用，则使用TCTR代替)。请注意，如果四个空间合并索引中的任何一个不可用，则使用位置B2来导出合并索引作为替代。在四个空间合并索引和一个时间合并索引的推导过程之后，应用删除冗余来删除冗余的合并索引。如果在删除冗余之后，可用的合并索引的数量小于5，则导出三种类型的附加候选并将其添加到候选列表中。
透过使用原始合并候选来创建附加的双向预测合并候选。附加的候选分为三种候选类型：
1.组合双向预测合并候选(候选类型1)
2.比例双向预测合并候选(候选类型2)
3.零矢量合并/AMVP候选(候选类型3)
在候选类型1中，透过组合原始合并候选来创建组合的双向预测合并候选。特别地，原始候选中的两个候选俱有mvL0(列表0中的运动矢量)和refIdxL0(列表0中的参考图像索引)或mvL1(列表1中的运动矢量)和refIdxL1(列表1中的参考图像索引)，用于创建双向预测合并候选。图9示出了组合的双向预测合并候选的推导过程的示例。候选组910对应于原始候选列表，其包括L0中的mvL0_A，ref0(931)和L1中的mvL1_B，ref(932)。可以透过组合L0和L1中的候选来形成双向预测MVP 933。
在候选类型2中，透过缩放原始合并候选来创建缩放的双向预测合并候选。具体地，原始候选具有mvLX(列表X中的运动矢量)和refIdxLX(列表X中的参考图像索引)，X可以是0或1。原始候选中的一个候选用于创建双向预测合并候选。例如，一个候选A是具有mvL0_A和ref0的列表0单向预测，首先将ref0复制到列表1中的参考索引ref0′。之后，透过用ref0和ref0′缩放mvL0_A来计算mvL0′_A。然后，创建在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0′_A和ref0′的双向预测合并候选，并将其添加到合并候选列表中。在图10中示出了缩放的双向预测合并候选的导出过程的示例，其中候选列表1010对应于原始候选列表，并且候选列表1020对应于包括两个生成的双向预测MVP的扩展候选列表。
在候选类型3中，透过组合可以被参考的零矢量和参考索引来创建零矢量合并/AMVP候选。图11A示出了用于添加零矢量合并候选的示例，其中候选列表1110对应于原始合并候选列表，并且候选列表1120对应于透过添加零矢量候选的扩展合并候选列表。图11B示出了用于添加零矢量AMVP候选的示例，其中透过添加零矢量候选，候选列表1130(L0)和候选列表1132(L1)对应于原始AMVP候选列表，并且候选列表1140(L0)和1142(L1)对应于扩展的AMVP候选。如果零矢量候选不重复，则将其添加到合并/AMVP候选列表中。
PMVD模式或FRUC模式
基于模式的运动矢量推导(Pattern-based Motion Vector Derivation，PMVD)模式(或称为模式匹配运动矢量推导(Pattern Matched Motion Vector Derivation，PMMVD)或帧速率上转换(Frame-Rate Up-Conversion，FRUC)模式)是JVET测试模型3(联合)中公开的编码工具(Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3and ISO/IECJTC 1/SC 29/WG 11：3rd Meeting：Geneva，CH，26 May-1 June 2016.Document Title：Algorithm Description of Joint Exploration Test Model 3)，可以使用L形模板或双侧模板来细化合并模式的MV并保存MVD的比特。
【发明内容】
依据本发明的实施方式，提出了一种用于视频编码系统或视频解码系统的视频编码的方法和装置。依据该方法，使用包括三叉树分割和至少一个其他类型分割的子树分割的一个或多个阶段将当前块分割为多个最终子块，其中如果与当前子块相关联的当前树深度大于第一阈值，并且该第一阈值是大于或等于1的整数，则从子树分割中排除该三叉树分割。
至少一个其他类型分割包括四叉树分割、二叉树分割，或其组合。当前块可以对应于一个编码树单元(CTB)，并且多个最终子块中的每个对应于一个编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)或变换单元(Prediction Unit，TU)。可以在解码器侧预先确定或推断第一阈值。
如果与当前子块相关联的当前子树深度大于第一阈值，则用于指示是否为当前子块选择该三叉树分割的指示符被选择。
第一阈值对应于最大允许子树分割深度减去第二阈值，其中，该第二阈值小于该最大允许子树分割深度且大于或等于的0。第二阈值的值取决于当前图像是在帧内图像内还是帧间图像内。在视频参数集(video parameter set，VPS)、序列参数集(sequenceparameter set，SPS)、图像参数集(picture parameter set，PPS)、切片头、编码单元，或其组合中，该第二阈值被发送。
依据本发明的实施方式，提出了一种使用帧间模式的视频编码的方法和装置。如果满足该测试条件，则使用从修改的帧间工具组中选择的当前帧间模式对该当前块进行编码或在解码器侧对当前块进行解码，其中，透过自初始的帧间工具组移除一个或多个第一帧间工具、用一个或多个复杂性降低的帧间工具来代替一个或多个第二帧间工具，或其组合，而自该初始的帧间工具组导出修改的帧间工具组。
一个或多个第一帧间工具选自一个组合，该组合包括高级运动矢量预测(Advanced Motion Vector Prediction，AMVP)、合并、模式匹配运动矢量推导(PattemMatched Motion Vector Derivation，PMVD)、局部照明补偿(LIC)、仿射编码、邻近导出的预测偏移(NPO)、重迭块运动补偿(Overlap Block Motion Compensation，OBMC)，或其组合。
是否满足测试条件取决于与当前块相关联的编码树深度。是否满足测试条件取决于当前块的块尺寸。是否满足测试条件也可取决于与当前块相关联的编码树深度和当前块的块尺寸。
在一个实施例中，如果与当前块相关联的编码树深度等于预定义值并且当前块的块尺寸大于或等于阈值，则测试条件被满足。
在一个实施例中，当从初始的帧间工具组移除目标第一帧间工具时，与目标第一帧间工具相关联的语法元素未在编码器侧被发送或未在解码器侧被解析以用于当前块。在另一实施例中，当从初始的帧间工具组中移除该一个或多个第一帧间工具时，当前块透过自候选列表排除一个或多个第一帧间工具，而使用具有在该候选列表中候选数量减少的候选列表。
依据本发明的实施方式，提出了一种使用帧间模式的视频编码的方法和装置。当满足测试条件时，使用包括一个或多个多类型分割的受限编码树结构，将当前块分割为多个最终子块，其中受限编码树结构终止具有编码树分割深度等于阈值的目标子块的编码树分割。
是否满足测试条件取决于当前块的块尺寸。是否满足测试条件取决于当前切片的时间层，其中当前切片包括当前块。
时间层指的是与图像的时间结构相关联的层(例如，图像I、图像B和图像P)。是否满足测试条件可取决于当前块的最佳预测模式。是否满足测试条件可取决于当前块的宽度和高度的比率。是否满足测试条件可取决于在小于阈值的第二编码树分割深度处对目标子块的先前子块的分割决策。是否满足测试条件还可以取决于当前切片的量化参数，其中当前切片包括当前块。
如果编码树分割深度等于阈值，则用于指示目标子块的分割决策的语法元素。
【附图说明】
图1示出了使用四叉树结构将编码树单元(coding tree unit，CTU)分割为编码单元(coding units，CU)的块分割的示例。
图2示出了依据高效视频编码(HEVC)的非对称运动分割(asymmetric motionpartition，AMP)，其中AMP定义了用于将CU分成PU的八种形状。
图3示出了二叉树分割结构使用的各种二进制分割类型的示例，其中可以使用分割类型将块递归地分割成两个较小的块。
图4示出了块分割及其对应的二叉树的示例，其中在二叉树的每个分割节点(即，非叶节点)中，一种语法用于指示哪种分割类型(水平或垂直)被使用，其中0表示水平分割，1表示垂直分割。
图5示出了块分割及其对应的四叉树加二叉树结构(quad-tree plus binarytree structure，QTBT)的示例，其中实线指示四叉树分割，虚线指示二叉树分割。
图6示出了垂直三叉树分割和水平三叉树分割。
图7示出了多类型树(MTT)块分割中的树型信令的示例。
图8示出了用于导出AMVP和合并方案的空间和时间MVP的相邻PU。
图9示出了组合的双向预测合并候选的推导过程的示例。
图10示出了缩放的双向预测合并候选的导出过程的示例，其中左侧的候选列表对应于原始候选列表，右侧的候选列表对应于包括两个生成双向预测MVP的扩展候选列表。
图11A示出了添加零矢量合并候选的示例，其中左侧的候选列表对应于原始合并候选列表，右侧的候选列表对应于透过添加零矢量候选得到的扩展的合并候选列表。
图11B示出了用于添加零矢量AMVP候选的示例，其中顶部的候选列表对应于原始AMVP候选列表(左侧的L0和右侧的L1)，并且底部的候选列表对应于透过添加零矢量候选得到的扩展AMVP候选列表(左侧为L0，右侧为L1)。
图12示出了MTT的分层分割决策树的一个示例，其中最大PT深度等于3。
图13示出了MTT的分层分割决策树的一个示例，其具有基于图12中所示的MTT的分层分割决策树的所提出的禁止分割。
图14示出了MTT的分层分割决策树的一个示例，其具有基于图12中所示的MTT的分层分割决策树的所提出的禁止分割。
图15示出了基于图12中所示的MTT的分层分割决策树的具有禁止分割的MTT的分层分割决策树的一个示例。
图16A示出了禁止分割的示例，其中实线指示在先前分割层(例如，级别i)处的垂直BT分割，并且虚线指示在当前分割层(例如，等级i+1)的第一子块的垂直BT分割。
图16B示出了禁止分割的示例，其中实线指示在先前分割层(例如，级别i)处的水平BT分割，并且虚线指示在当前分割层(例如，等级i+1)的第一子块的水平BT分割。
图17示出了依据本发明实施例的自适应块分割的示例，其中当前CU由斜线填充区域标记，并且八个4×4相邻子CU由点填充区域标记。
图18A至图18E示出了与基于先前编码块的成本的累积成本和当前编码的子块的成本的当前分割类型相关联的分割成本评估的示例，其中图18A示出了仍在编码过程中的CTU，图18B至图18E分别示出了在深度3、2、1和0处的累积成本计算。
图19示出了依据本发明实施例的计算当前子CU的加权平均区域的示例，其中每个子CU尺寸是4×4。
图20示出了依据本发明实施例的具有对编码树分割的约束的示例性编码系统的流程图。
图21示出了依据本发明实施例的具有复杂度降低的帧间模式的示例性编码系统的流程图。
图22示出了依据本发明实施例的具有编码树分割约束的另一种示例性编解码系统的流程图。
【具体实施方式】
以下描述是实现本发明的最佳方案。进行该描述是为了说明本发明的一般原理，而不应被视为具有限制意义。透过参考所附权利要求较佳地确定本发明的范围。
在基于多类型树(MTT)块分割结构的视频编码中，由于更灵活的分割变得可用，因此编码效率已经显示出显著的改进。但是，MTT块分割会增加计算复杂性。期望开发用于在使用MTT时降低计算复杂度的方法。因此，公开了各种降低与MTT相关的计算复杂度的方法。
多类型树(MTT)块分割约束
为了减少发信号(signalling)的开销并改善多类型树(MTT)分割方法的性能，提出了约束块分割方法以避免冗余或降低复杂性。依据先前分割的分割类型或分割方向，所提出的约束块分割方法涉及透过禁止特定分割类型和分割方向来分割当前子块，从而修改编码或解码处理。
MTT块分割约束-方法1
在一个实施例中，如果当前分割是三叉树(Ternary Tree，TT)分割，则仅允许二叉树(Binary Tree，BT)分割用于分割子块(即，第一子块，中间子块或第三个子块)来自TT分割。以图6为例，将第一子块610a，中间子块610b和第三子块610c分别为自垂直TT分割610得到的子块，以及第一子块620a。中间子块620b和第三子块620c分别作为自水平TT分割620得到的。图12示出了MTT的分层分割决策树的示例，其中最大预测树(Prediction Tree，PT)深度等于3。图13示出了MTT的分层分割决策树的一个示例，其中提出的禁止分割是基于图12所示的MTT分层分割决策树作出的。如图13所示，当当前分割是TT 1310时，仅允许BT 1312(即，禁止或排除TT用于1312)。当当前分割是TT 1320时，仅允许BT1322(即，禁止或排除TT用于1322)。
在另一实施例中，如果当前分割是TT分割，并且仅允许BT分割用于分割第一子块，则中间子块或第三子块由TT分割产生，由TT分割产生的第一子块，中间子块或第三子块的分割类型(BT或TT分割)可以不被发送，并且可以推断为BT分割。
MTT块分割约束-方法2
在一个实施例中，如果透过TT分割来分割当前分割，则仅允许BT分割用于分割来自TT分割的第一子块，中间子块或第三子块内的所有子块。图14示出了MTT的分层分割决策树，其中基于图12所示的MTT的分层分割决策树，提出了禁止分割。如图14所示，当当前分割是TT 1410时，只有BT 1412是允许(即，对于1412，禁止或排除TT)。对于BT 1412，仅允许BT1414(即，对于1414，禁止或排除TT)，因为BT 1412是TT 1410的子块，并且BT 1414是BT1412的子块。换句话说，仅允许BT分割来分割由TT分割1410产生的子块1412内的所有子块1412和1414。当当前分割是TT 1420时，仅允许BT 1422(即，对于1422，禁止或排除TT)。
在另一实施例中，如果当前分割是TT分割，并且仅允许BT分割用于分割自TT分割产生的第一子块、中间子块或第三子块内的所有子块，则由TT分割产生的第一子块、中间子块或第三子块的分割类型(BT或TT分割)可以不被发送，并且可以推断为BT分割。
MTT块分割约束-方法3
在一个实施例中，如果当前分割是TT分割，则仅允许单层BT分割用于分割由TT分割产生的第一子块，中间子块或第三子块。图15示出了MTT的分层分割决策树的一个示例，其中提出的禁止分割是基于图12所示的MTT分层分割决策树作出的。如图15所示，当当前分割是TT 1510时，仅允许BT 1512(即，仅单层分割1512，此处的分割仅允许BT分割而非TT分割)。当当前分割是TT 1520时，仅允许BT 1522。
在另一个实施例中，如果当前分割是TT分割并且仅允许单层BT分割用于分割由TT分割产生的第一子块，则中间子块或第三子块，由TT分割产生的第一子块、中间子块或第三子块的分割类型(BT或TT分割)可以不被发送并且可以推断为BT分割。此外，可以不发送由BT分割产生的第一子块或第二块的分割决策(分割或非分割)，并且可以推断为非分割情况。
MTT块分割约束-方法4
用于分割当前子块的禁止分割类型和分割方向不仅取决于先前分割层的分割类型和分割方向，还取决于分割类型、分割方向和当前子块的位置。
在一个实施例中，如果透过与母分割类型相关的第一分割类型和于母分割方向相同的第一分割方向，由BT分割的自母块分割得到的第一子块被进一步分割，则透过禁止第二子块被第一子块的第一分割类型和第一分割方向分割，而确定用于分割第二子块的第二子块分割类型和第二子块分割方向。
图16A示出了禁止分割的示例。图16A中的实线表示在先前分割层(例如层i)的垂直BT分割，虚线表示在当前分割层(例如层i+1)的第一子块的垂直BT分割。点划线表示在当前分割层(例如，层i+1)处的第二子块的垂直BT分割，其被禁止用于分割第二子块。禁止BT分割以进一步分割由母块中的BT分割得到的第二子块，因为得到的子块将与先前在先前分割层应用垂直TT分割，然后应用垂直BT分割以用于自当前分割层的TT分割得到的中间子块的结果完全相同。类似地，如图16B所示，禁用水平BT分割以进一步分割透过水平BT分割的第二子块。图16B中的实线表示在先前分割层(例如层i)的水平BT分割，以及虚线表示在当前分割层(例如层i+1)的第一子块的水平BT分割。点划线表示在当前分割层(例如，层i+1)处的第二子块的水平BT分割，其被禁止用于分割第二子块。
在一个实施例中，在发送当前分割类型的语法之前发送当前分割方向的语法的情况下，如果第二子块分割方向是水平分割，可以不发送第二子块分割类型，并且第二子块分割类型可以被推断为TT分割。透过水平BT分割来分割母块，并且透过水平BT分割进一步分割第一子块。类似地，如果当前分割方向是垂直分割，则不发送第二子块分割类型，并且第二子块分割类型可以被推断为TT分割。透过垂直BT分割来分割母块，并且透过垂直BT分割进一步分割第一子块。
在另一实施例中，在发送当前分割方向的语法之前发送当前分割类型的语法的情况下，如果第二子块分割方向是BT分割，可以不发送第二子块分割类型，并且第二子块分割类型可以被推断为垂直。透过水平BT分割来分割母块，并且透过水平BT分割进一步分割第一子块。类似地，如果第二子块分割类型是BT分割，则可以不发送第二子块分割方向，并且可以推断第二子块分割方向是水平分割。透过垂直BT分割来分割母块，并且透过垂直BT分割进一步分割第一子块。
MTT块分割约束-方法5
在子树分割期间，当当前子树深度等于或小于最大允许子树分割深度减去阈值N时，允许三叉树分割用于分割当前块。此外，阈值N是预定的并且可以在解码器侧推断。当当前子树分割深度大于最大允许子树分割深度减去阈值N时，不存在用于选择三叉树分割类型的指示符。
例如，当前子树分割深度为S且最大允许子树分割深度为M，则当S≤(M-N)时，允许三叉树分割分割当前块，其中M＞N≥0。此外，如果当前子树分割深度大于(M-N)，则不存在用于选择三叉树分割的指示符。
MTT块分割约束-方法6
在子树分割期间，当当前子树深度等于或小于最大允许子树分割深度减去阈值N时，允许三叉树分割用于分割当前块。此外，阈值N的设置可以依据切片类型、当前切片的颜色分量，或当前切片的时间层ID或任何其他测试条件而变化(例如，这种变化可以透过依据切片类型，当前切片的颜色分量或当前切片的时间层ID确定设置阈值N来实现)。此外，在解码器侧预先确定并推断出所有阈值，并且当当前子树分割深度大于最大允许子树分割深度减去相应阈值N时，不存在用于选择三叉树分割类型的指示符。
在另一示例中，阈值对于帧内切片(Intra-slice)是N1，对于帧间切片(Inter-slice)是N2。然后，假设当前子树分割深度为S，并且最大允许子树分割深度为M。如果当前切片是帧内切片，则当S≤(M-N1)时，允许三叉树分割用于分割当前块，并且如果S＞(M-N1)，则省略或不存在用于选择三叉树分割的指示符(例如，透过不发信号或不解析这样的指示符而省略或不存在)。类似地，如果当前切片是切帧间切片，则当S≤(M-N2)时，允许三叉树分割用于分割当前块，并且如果S＞(M-N1)，则省略或不存在用于选择三叉树分割的指示符(例如，透过不发信号或不解析这样的指示符而被省略或不存在)。
MTT块分割约束-方法7
在子树分割期间，当当前子树深度等于或小于最大允许子树分割深度减去阈值N时，允许三叉树分割用于分割当前块，并且N＞0。可以在视频参数集(video parameterset，VPS)、序列参数集(sequence parameter setm，SPS)、图像参数集(picture parameterset，PPS)、切片报头、编码单元或其任何组合中，发送阈值N。例如，在SPS中发送0表示N是1，在SPS中发送1表示N是2，以此类推。此外，当当前子树分割深度大于最大允许子树分割深度减去阈值N时，可以省略或不存在用于选择三叉树分割类型的指示符(例如，透过不发信号或不解析这样的指示符而省略或不存在)。
在又一示例中，当前子树分割深度为S且最大允许子树分割深度为M，则当S≤(M-N)时，允许三叉树分割用于分割当前块其中，其中M＞N＞0。此外，如果当前子树分割深度大于(M-N)，则可以省略或不存在用于选择三叉树分割的指示符(例如，透过不发信号或不解析这样的指示符而省略或不存在)。
MTT块分割约束-方法8
在子树分割期间，当当前子树深度等于或小于最大允许三叉树分割深度(MaxTTDepth)时，允许三叉树分割用于分割当前块。MaxTTDepth只能等于或小于子树分割深度。此外，可以在视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)、切片报头、编码单元或其任何组合发送MaxTTDepth。此外，当当前子树分割深度大于MaxTTDepth时，可以省略或不存在用于选择三叉树分割类型的指示符(例如，透过不发信号或不解析这样的指示符而省略或不存在)。
在又一示例中，当前子树分割深度为S，最大允许子树分割深度为M，并且MaxTTDepth为N。然后，当S≤(M-N)时，允许三叉树分割用于分割当前块，其中M≤N。此外，如果当前子树分割深度大于M，则可以省略或不存在用于选择三叉树分割的指示符(例如，透过不发信号或不解析这样的指示符而省略或不存在)。
可以在编码器和/或解码器中实现任何前述提出的方法。例如，任何所提出的方法可以在编码器的帧间/帧内/预测/变换模组中实现，和/或在解码器的逆变换/帧间/帧内/预测模组中实现。或者，任何所提出的方法可以实现为耦合到编码器的逆变换/帧间/帧内/预测模组和/或解码器的帧间/帧内/预测/变换模组的电路，以便提供帧间/帧内/预测/变换模组需要的信息。
与帧间模式相关联的复杂性降低
在本公开中，QT深度被定义为四叉树的深度。BT深度定义为二叉树(BT)的分割深度。TT深度定义为三叉树或三重树(triple tree)的分割深度。
CT深度被定义为二叉树(BT)或三叉树(TT)的分割深度。它是二叉树(BT)或三叉树(TT)分割的总数。换句话说，如果BT分割的总数是3，则编码树结构被BT分割3次。CT深度也可以是仅二叉树(BT)分割的数量。CT深度可以是仅三叉树(TT)分割的数量。视频编码器中的最大CT深度越大，编码复杂度开销越大。因此，希望降低计算复杂度。
方法1：跳过一些帧间模式
帧间模式包括AMVP、合并(Merge)模式、FRUC模式或其他帧间预测模式或工具。有许多帧间编码工具，例如AMVP、合并、FRUC/PMVD、LIC(局部光照补偿)、仿射编码、邻域导出预测偏移(Neighboring-derived Prediction Offset，NPO)、重迭块运动补偿(OverlapBlock Motion Compensation，OBMC)等。最初的帧间工具组可以从这些帧间编码工具中确定。
在所提出的方法中，如果满足某个条件(或被称为测试条件)，则可以跳过或消除编码器侧(或编码器侧和解码器侧)上的一个或多个帧间模式(或工具)或某些帧间模式的一部分。这里“特定帧间模式的一部分”表示编码器侧的某个帧间模式的简化版本。例如，如果满足某个条件，则可以在编码器中跳过合并模式的部分过程。在这个例子中，不是在传统的RDO过程中检查MAX候选(MAX是合并候选的最大数量)，简化的合并模式可以只有3个候选(合并候选0、1和2)，而不是合并候选0，1，2，...，(MAX-1))。在另一示例中，如果满足特定条件，则可以在编码器中跳过FRUC模式的部分过程。在这种情况下，代替包括双侧FRUC和模板匹配FRUC的常规FRUC模式，简化的FRUC模式可以仅具有双侧FRUC。在又一个示例中，简化的FRUC模式可以仅具有模板匹配FRUC。
在所提出的方法中，如果满足某个条件(表示为COND_REDUOFF)，则可以在编码器侧(或在编码器侧和解码器侧)跳过或消除一个或多个帧间模式(或工具)或某个帧间模式的一部分。在以下实施例中，术语“深度”可以表示CT深度或QT深度或BT深度或TT深度。
实施例1：当当前CU的深度等于N时，满足条件，其中N是预定值。
实施例2：当当前CU的深度大于阈值时，满足条件。
实施例3：当当前CU的深度小于阈值时，满足条件。
实施例4：当当前CU尺寸(CU尺寸＝CU宽度*CU高度)大于阈值时，满足条件。
实施例5：当当前CU尺寸小于阈值时，满足条件。
实施例6：当当前CU尺寸的QP(量化控制信号)值大于阈值时，满足条件。
实施例7：当当前CU尺寸的QP(量化控制信号)值小于阈值时，满足条件。
实施例8：当当前CU的深度等于N并且当前CU尺寸大于阈值时，满足条件。
实施例9：当当前CU的深度等于N并且当前CU尺寸小于阈值时，满足条件。
实施例10：当当前CU的深度等于N并且当前CU QP大于阈值时，满足条件。
实施例11：当当前CU的深度等于N并且当前CU QP小于阈值时，满足条件。
实施例12：当当前CU的深度等于N并且当前CU时间层大于阈值时，满足条件。
实施例13：当当前CU的深度等于N并且当前CU时间层小于阈值时，满足条件。
实施例14：当当前CU的深度等于N并且当前CU纵横比(宽度/高度或高度/宽度)大于阈值时，满足条件。
实施例15：当当前CU的深度等于N并且当前CU纵横比小于阈值时，满足条件。
实施例16：当当前CU的母块模式(即，编码树分割的母块的模式)是跳过模式时，满足条件。
实施例17：当当前CU的母块模式(即，编码树分割的母块的模式)是某种特定模式时，满足条件。
实施例18：当当前CU纵横比(宽度/高度或高度/宽度)大于阈值时，满足条件。
实施例19：当当前CU纵横比小于阈值时，满足条件。
除了上面列出的实施例之外，用于关闭一些帧间工具的特定条件可以是所列实施例的组合。例如，可以组合实施例2和实施例4，并且组合条件是“当当前CU的深度大于阈值时”和/或“当当前CU尺寸(CU尺寸＝CU宽度*CU高度)大于门槛“。
如果满足关闭某些帧间工具的特定条件，则可以关闭一些帧间工具和/或降低一些其他帧间工具的复杂性。例如，如果满足实施例14的条件，则可以关闭FRUC模式，并且可以修改合并模式以仅具有2个候选，以透过减少合并模式的候选数量来降低合并模式的复杂度。在这种情况下，降低复杂度的合并模式被称为低复杂度合并模式。为方便起见，降低复杂度的帧间工具被称为低复杂度的帧间工具。在另一示例中，如果满足实施例15的条件，则可以将FRUC模式简化为仅包括双边模式，并且可以修改合并模式以仅具有2个候选以降低合并模式的复杂度。在这种情况下，FRUC被称为低复杂度FURC。
在另一实施例中，如果满足用于关闭一些帧间工具的特定条件(COND_REDUOFF被断言)，则可以依据编码器中的帧间工具B的RD成本来关闭帧间工具A。例如，如果AMVP RD成本低于阈值，则可以关闭FRUC模式。在另一示例中，如果低复杂度FRUC的RDO成本低于低复杂度AMVP的RDO成本，则可以关闭FRUC模式。
在另一实施例中，如果满足用于关闭一些帧间工具的特定条件，则除了关闭一些帧间工具和/或减少一些其他帧间工具之外，可以消除(或保存)相关语法元素，用于改善编码增益。例如，对于CT深度＝＝3且CU尺寸＞＝4096的条件，关闭FRUC模式和AMVP模式。因此，对于具有“CT深度＝＝3，并且CU尺寸＞＝4096”的条件的任何CU，可以完全消除合并模式和FRUC模式的语法元素。在另一示例中，对于CT深度＝＝3且CU尺寸＞＝4096的条件，合并模式被修改为仅具有2个候选。在这种情况下，可以修改传统方法中的合并索引的一元代码编码以减少合并索引的比特。
可以扩展所提出的方法以关闭一些帧内工具。如果满足某个条件，则可以关闭一些帧内工具(例如，帧内预测或其他帧内工具)和/或可以减少一些其他帧内工具，使得消除用于CU的模式标志(例如，仿射合并标志、LIC标志)，或者用于一元代码的模式索引(例如合并索引)可以减少。
方法2：依据周围条件或当前CU跳过一些帧间模式
这里，术语“周围”表示当前CU的左侧和/或顶部相邻块。该方法首先检查空间周围的帧间模式。为了检查空间周围CU的帧间模式，依据一个实施例，它可以计算当前CU周围(即，左侧和/或顶部相邻)的CU的帧间模式的直方图。在另一实施例中，它计算当前CU周围(即，左侧和/或顶部相邻)最小块(例如，最小块4×4，或不同系统或不同实施例的其他尺寸)的帧间模式的直方图，其围绕当前CU(即，左和/或顶部相邻)。在又一个实施例中，它计算周围CU或块或像素的帧间模式的直方图。
在计数(或形成直方图)之后，如果某个帧间模式(例如，FRUC模式)具有所有帧间模式(诸如合并模式、AMVP模式、FRUC模式或其他帧间工具)中的最大出现次数，此帧间模式可以指定为most_freq_inter_mode。因此，可以依据most_freq_inter_mode关闭一些帧间模式。存在如下的一些实施例。
实施例1：对于当前CU，可以关闭对应于most_freq_inter_mode的帧间模式。
实施例2：对于当前CU，可以关闭不是most_freq_inter_mode的模式的帧间模式。
该方法不限于实施例1和2.在其他实施例中，可以依据most_freq_inter_mode关闭和/或减少一些帧间工具。
可以添加该方法在尺寸条件中，其中当前CU尺寸(CU宽度*CU高度)大于预定阈值或小于预定阈值。
方法3：依据母块模式条件跳过一些帧间模式
在编码器中，对于当前子块(例如CU)，在编码树分割期间检查其母子块(例如CU)的帧间模式。如果其母子块(例如CU)是特定帧间模式(表示为inter_mode_parent)，则依据实施例1在当前CU中关闭等于inter_mode_parent的帧间模式。在实施例2中，在当前CU中关闭不等于inter_mode_parent的帧间模式。该方法不限于实施例1和2。依据该方法，可以依据inter_mode_parent关闭和/或减少一些帧间工具。
可以在编码器和/或解码器中实现前面提出的用于与帧间模式相关联的编码树分割结构的复杂度降低的方法。例如，所提出的方法可以在编码器的帧间预测模组和/或解码器的帧间预测模组中实现。
编码树(CT)结构的简化
在现有实现中，二叉树(BT)分割或三叉树(TT)分割的最大CT深度高达3。允许TT分割将显著增加编码器侧的复杂性。提出了一些方法来降低计算复杂度，特别是对于某些特定的CT深度等于X，其中X是大于或等于0的整数。在下文中，X等于3用作示例目的和CT分割的示例在有条件地等于3的CT深度处终止(或被称为跳过)。换句话说，在某些情况下，BT分割或TT分割的最大CU深度将达到2。在一个实施例中，如果CU尺寸大于MxN，其中M和N可以是任何整数，例如64、128、256等，则CT分割在CT深度等于3时终止。M和N的值可以在序列级别、图像级别或切片级别预定义或被发送。或者，M和N的值与视频分辨率或标准配置文件有关。在另一实施例中，终止或跳过CT深度等于3的CT分割的条件基于编码切片的时间层ID。时间层指的是与图片的时间结构相关联的层(例如，图像I，图像B和图像P)。例如，可以将I图像分配给Temporal Layer＝0，因为I图像不参考任何其他图像，并且B图像可以将直接和/或间接参考更多图像，且B图像能被分配给具有更大值的时间层。如果当前切片的时间层等于K，大于L或小于P，则CT分割在等于3的CT深度处终止。K，L和P可以是任何整数，例如2、4、6等等。在另一实施例中，允许CT深度等于3的条件基于当前CU的最佳预测模式。如果当前CU的最佳模式是跳过模式，则CT分割在等于3的CT深度处终止。在另一实施例中，对于大四叉树(QT)叶或具有大尺寸的CU(例如64x64，128x128)，决定允许CT深度等于3是基于CU的宽度和高度的比率。例如，如果CU的宽度和高度的比率小于T，则在CT深度等于3时终止CT分割。T可以是任何整数，例如，2、4、8等等。可以在序列级别、图像级别或切片级别预定义或发送T的值。或者T的值与视频分辨率或标准配置文件有关。在另一实施例中，执行CT深度等于3的条件基于CT深度等于1或等于2的决策。例如，如果在先前的CT深度中没有使用TT分割或者在CT深度中的分割等于1，则允许CT深度等于3。在另一实施例中，终止CT深度3处的CT分割的条件基于当前切片QP。如果当前切片QP大于预定阈值，则跳过等于3的CT深度。
此外，可以组合所提出的方法以使终止CT深度等于3的决定。例如，仅当CU尺寸大于MxN并且CU的最佳模式是跳过模式时，CT分割在CT深度等于3处终止。这些方法可以仅作为编码器应用，也可以作为标准的更改。如果将这些方法应用为标准的更改，我们还可以从一些语法保存中受益，以便在CT深度等于3时有条件地编码分割标记。
此外，在CT深度等于3处终止CT分割的决策可以仅应用于TT分割或仅应用于BT分割。换句话说，仅在CT深度等于3处仅终止TT分割或仅终止BT分割，并且仍然可以在等于3的CT深度处应用剩余的分割类型。
可以在编码器和/或解码器中实现前面提出的方法。例如，所提出的方法可以在编码器中的CU分割处理中实现，和/或在解码器中的CU分割处理中实现。
快速CT/CU分割
在本发明的另一方面，公开了若干快速CU分割决策方法，用于降低视频编码器复杂度并且还维持编码效率。这些方法可以设计为仅编码器的快速CU分割方法，或者用于保存信号传输开销的规范性更改。这些实施例的细节描述如下。
实施例1：依据加权相邻子CU区域允许/跳过CU分割方法
用于当前CU的CU分割方法的使用基于加权的相邻子CU区域。相邻子CU可以是上方相邻子CU或/和左侧相邻子CU。此外，仅发送分割方法或/和所使用的CU分割方法的分割方向。
在一个示例中，如果当前CU区域等于或大于加权的相邻子CU区域，则仅使用无分割(no partition)和QT分割方法，并且不使用BT/TT分割方法。在图17中示出了依据本发明的实施例的自适应块分割1700的示例。如图17所示，当前CU 1710由斜线填充区域标记，并且八个4×4相邻子CU 1720a和1720b由点填充区域标记。上方四个4×4相邻子CU 1720a全部属于16×8CU，左侧四个4×4相邻子CU 1720b属于8×8，8×4和8×4CU。然后，加权的相邻CU区域y被计算为：
y＝k×x，
x＝(4×(16×8)+2×(8×8)+(8×4)+(8×4))/8＝88，
＝＞y＝k×88，
在上面的等式中，k属于实数，x是相邻子CU的平均面积。因此，如果当前CU区域被表示为a并且a≥y，则可以仅选择无分割或QT分割来将当前CU分成更小的CU(即，子CU)。
在另一实施例中，如果当前CU区域等于或大于加权的左子CU区域，则仅使用无分割(no partition)和QT分割方法，并且不使用BT/TT分割方法。例如，如图17所示，加权的左侧子CU区域y被计算为
y＝k×x，
x＝(2×(8×8)+(8×4)+(8×4))/8＝24，
＝＞y＝k×24，
在上面的等式中，k是实数，x是左侧相邻子CU的平均面积。因此，如果当前CU区域被表示为a并且a≥y，则可以仅选择无分割或QT分割来将当前CU分成更小的CU。
在又一个实施例中，如果当前CU区域等于或大于加权的上方子CU区域，则仅使用无分割或QT分割，并且不使用BT/TT分割方法。例如，如图17所示，加权的上方子CU区域y被计算为
y＝k×x，
x＝(4×(16×8))/8＝64，
＝＞y＝k×64，
在上面的等式中，k是实数，x是上方相邻子CU的平均面积。因此，如果当前CU区域被表示为a并且a≥y，则可以仅选择无分割或QT分割来将当前CU分成更小的CU。
在又一个实施例中，如果当前CU区域等于或小于加权的相邻子CU区域，则仅使用无分割的分割方法。例如，如图3所示，加权相邻CU区域y被计算为
y＝k×x，
x＝(4×(16×8)+2×(8×8)+(8×4)+(8×4))/8＝88，
＝＞y＝k×88，
在上面的等式中，k是实数，x是相邻子CU的平均面积。如果当前CU区域表示为a并a≤y，则仅使用无分割的分割方法。
在又一个实施例中，如果当前CU区域等于或小于加权的左侧子CU区域，则仅使用无分割的分割方法。例如，如图17所示，加权相邻CU区域y被计算为
y＝k×x，
x＝(2×(8×8)+(8×4)+(8×4))/8＝24，
＝＞y＝k×24，
在上面的等式中，k是实数，x是左侧相邻子CU的平均面积。如果当前CU区域表示为a并且a≤y，则仅使用CU分割方法。
在又一个实施例中，如果当前CU区域等于或小于加权的上子CU区域，则仅使用无分割的分割方法。例如，如图17所示，加权相邻CU区域y被计算为
y＝k×x，
x＝(4×(16×8))/8＝64，
＝＞y＝k×64，
在上面的等式中，k是实数，x是上方相邻子CU的平均面积。如果当前CU区域表示为a并且a≤y，则仅使用CU分割方法。
实施例2：依据加权边长比率跳过CU分割方法
所有可用的CU分割方法被分类为两组，并且如果加权的边长比在给定范围内，则仅使用一个CU分割集来将当前CU分成较小的CU。边长比可以是当前CU高度上的左侧相邻CU的加权平均高度，或当前CU宽度上的上方相邻CU的加权平均宽度。此外，如果当前CU满足边长比约束，则仅发送所选CU分割集的分割方法或/和分割方向。
在一个实施例中，如图17所示，边长比是在当前CU宽度上的上方相邻CU的平均宽度a，其被计算为
Figure BDA0002652688960000241
如果a≥n，则仅使用水平BT/TT CU分割方法将当前CU分成较小的CU，其中n是实数。
在另一个实施例中，如图17所示，边长比是左侧相邻CU相对于当前CU宽度的平均高度b，其被计算如下：
Figure BDA0002652688960000242
如果b≥q，则仅使用垂直BT/TT CU分割方法将当前CU分成较小的CU，其中q是实数。
实施例3：依据当前最佳子CU/CU分割方向跳过CU分割方法
在测试CU分割方法(表示为P)之前，如果当前最佳CU分割方向与P的分割方向不同，并且其子CU不在P方向上进一步分割，则P的测试被跳过了。
在一个实施例中，如果当前最佳CU分割方法是水平BT或TT分割，并且其左侧上子CU和右下方子CU都透过水平BT或TT分割方法进一步分割，则跳过垂直BT/TT分割方法的测试。
在另一个实施例中，如果当前最佳CU分割方法是垂直BT或TT分割，并且其左侧上子CU和右下方子CU都透过垂直BT或TT分割方法进一步分割，则跳过水平BT/TT分割方法的测试。
实施例4：依据早期测试其他分割方向中的CU分割方法来跳过CU分割方法
在测试CU分割方法(表示为P)之前，如果当前最佳CU分割方向与P不同，则具有与当前最佳CU分割方法相同的分割方向的其他CU分割方法比P先测试。即，如果当前最佳CU分割方向仍然不与P相同并且一定比例的当前最佳CU的子CU不被进一步分割，则跳过P的测试。
在一个实施例中，如果当前最佳CU分割方法是垂直BT分割，则比水平TT分割方法更早地测试垂直TT分割方法。之后，如果当前最佳值改变为垂直TT并且中间子CU不再进一步分割，则跳过水平TT分割方法的测试。
在另一实施例中，如果当前最佳CU分割方法是水平BT分割，则比垂直TT分割方法更早地测试水平TT分割方法。之后，如果当前最佳值改变为水平TT并且中间子CU不再进一步被分割，则跳过垂直TT分割方法的测试。
实施例5：依据每个分割集中的临时最佳分割成本跳过CU分割方法
所有可用的CU分割方法分为两组，这两组是P1＝和P2。分割方法的分类可以基于分割方向或分割类型。假设仅测试了P1和P2中的部分分割方法，并且P1和P2中测试分割方法的最佳分割成本是cP1和cP2。如果cP1≥w×cP2，则跳过P1中的剩余CU分割模式。或者，如果cP2≥w×cP1，则跳过P2中剩余的CU分割模式。
在一个实施例中，分割方法按分割方向分类，并且这两个分割集是{水平BT，水平ABT，水平TT}和{垂直BT，垂直ABT，垂直TT}。ABT是不对称BT的缩写。如果已经测试{水平BT，水平ABT}和{垂直BT，垂直ABT}，则这两组的最佳分割成本是cP1和cP2。如果cP1≥w×cP2，则跳过水平TT分割方法的分割测试。
在另一个实施例中，分割方法按分割类型分类，并且这两个分割组是{水平TT，垂直TT，水平ABT，垂直ABT}和{水平BT，垂直BT}。如果{水平BT，垂直BT}和{水平TT，垂直TT}已经过测试，这两组的最佳分割成本是cP1和cP2。如果cP1≥w×cP2，则跳过水平/垂直ABT分割方法的分割测试。
实施例6：依据早期分割方法中的临时最佳分割成本跳过CU分割方法
假设当前CU的总可用CU分割方法的数量是M，并且已经测试了M个分割方法中的N个，并且这些N个分割方法的分割成本被表示为{c1，c2，c3，...，cN}。假设当前最佳CU分割成本是cbest且cbest＝minj(c1，c2，c3，...，cN)。如果ci＞w×cbest，(其中i＝1，...，N并且i≠j，)并且当前最佳CU分割方法未被分割，则跳过剩余(M-N)个CU分割方法的分割测试。
例如，假设可用的CU分割方法是{无分割，水平BT，垂直BT，QT，水平TT和垂直TT}。假设测试无分割，水平BT，垂直BT和QT，并且当前最佳CU分割方法是无分割分割类型。如果无分割方法的加权成本小于水平BT，垂直BT和QT的成本，则跳过水平TT和垂直TT的分割测试。
实施例7：透过比较上方深度CU的成本来跳过CU分割方法
依据该实施例，一旦累积的分割成本等于或大于每个分割深度的任何最佳分割成本，就提前跳过CU分割方法。累积分割成本被定义为当前已编码子CU与上分割深度中的母编码CU的总和。例如，图18A示出了仍在编码过程下的CTU。当前编码的CU 1810由斜线填充的区域标记，并且完全编码的CU由粗虚线包围的区域表示。对于当前编码的CU，存在来自分割深度0，1，2，3的4个母块，其由图18B-第118E图中的相应粗实线表示(即，分别为1836，1834，1832和1830)。假设当前测试方法是水平BT分割方法，并且标记为“A”的第一子CU已经被编码。在对标记为“B”的第二子CU进行编码之前，如果“A”的分割成本加上由反斜杠线标记的其他编码CU的成本等于或大于每个分割深度的母块的加权分割成本，然后早期跳过CU分割方法。例如，在图18B中，其他编码的CU对应于零(即，没有使用其他编码的CU)用于分割深度为3的块1830，如粗线方块所示。在图18C中，其他编码的CU对应于填充有区域A上方反斜划线填充区域，用于分割深度为2的块1832，如粗线矩形所示。在图18D中，其他编码的CU对应于在区域A上方反斜划线填充区域，用于分割如粗线方块所示的深度为1的块1834。在图18E中，其他编码的CU对应于反斜划线填充区域，有用于分割如粗线方块所示深度为0的块1836。
实施例8：重用先前相同位置和相同尺寸的CU分割决策
可以透过不同的CU分割方法或在不同的CU分割深度中对CU进行多次编码。由于空间位置，CU尺寸或甚至CU的相邻不改变，一旦重新访问CU，可以重用CU分割决策。
在一个示例中，当重新访问CU时，仅分割方法具有比将加权的最佳分割成本更少的分割成本。
在另一个实施例中，当重新访问CU时，将始终测试具有最佳分割成本的分割方法，并且分割方法具有小于加权最佳分割成本的第二最佳分割成本也将被测试。将跳过其他测试的分割方法。注意，可以在重新访问时测试在第一次未被编码CU的测试的分割方法。
实施例9：依据当前子CU的加权平均区域跳过CU分割方法
当当前子CU的加权平均面积等于或小于TH1并且当前CU面积/尺寸也等于或大于TH2时，跳过CU分割方法。例如，如图19所示，如果当前最佳CU被分割，并且每个子CU尺寸是4×4。然后，当前子CU的加权平均面积a被计算为，
Figure BDA0002652688960000271
如果a≤TH1并且当前CU区域/尺寸等于或大于TH2，则跳过以下未测试的CU分割方法。
实施例10：依据QT分割结果跳过CU分割方法
当最佳CU的QT深度比当前CU更深并且当前CU区域等于或大于阈值时，跳过CU分割方法。在一个示例中，当最佳CU的QT深度比当前CU更深并且当前CU区域等于或大于16384时，跳过TT分割方法。
图20示出了依据本发明实施例的具有对编码树分割的约束的示例性编码系统的流程图。流程图中示出的步骤以及本公开中的其他后续流程图可以实现为在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可以基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。依据该方法，在步骤2010中接收与来自视频序列的当前图像中的当前块相关联的输入数据。在步骤2020中，使用包括三叉树分割和至少一个其他类型分割的子树分割的一个或多个阶段，将当前块分割为多个最终子块，其中如果与当前子块相关联的当前子树深度大于第一阈值并且第一阈值是大于或等于1的整数，则从子树分割中排除三叉树分割。在步骤2030，对所述多个最终子块进行编码以生成压缩比特以包括在编码器侧的视频比特流中，或者从编码器侧的所述视频比特流中解码所述多个最终子块。
图21示出了依据本发明实施例的具有复杂度降低的帧间模式的示例性编码系统的流程图。依据该方法，在步骤2110中接收与来自视频序列的当前图像中的当前块相关联的输入数据。在步骤2120中确定初始的帧间工具组。然后在步骤2130中确定当前块的测试条件。在步骤2140中，当满足测试条件时，使用从修改的帧间工具组中选择的当前帧间模式对当前块进行编码或解码，其中，透过从初始的帧间工具组中删除一个或多个第一个帧间工具，用一个或多个复杂性减少的帧间工具替换一个或多个第二个帧间工具，或者其组合，自初始的帧间工具组推导修改的帧间工具组。
图22示出了依据本发明实施例的具有对编码树分割约束的另一示例性编码系统的流程图。依据该方法，在步骤2210中，接收与来自视频序列的当前图像中的当前块相关联的输入数据。在步骤2220中，确定当前块的测试条件。在步骤2230中，当满足测试条件时，使用包括一个或多个多类型分割的受限编码树结构，将当前块分割为多个最终子块，其中受限编码树结构终止具有编码树分割深度等于阈值的目标子块的编码树分割。在步骤2240中，对所述多个最终子块进行编码以生成压缩比特以包括在编码器侧的视频比特流中，或者在解码器侧从视频比特流中解码所述多个最终子块。
所示的流程图旨在示出依据本发明的视频编码的示例。在不脱离本发明的精神的情况下，本领域技术人员可以修改每个步骤，重新安排步骤，分割步骤，或组合步骤以实施本发明。在本公开中，已经使用特定语法和语义来说明用于实现本发明的实施例的示例。本领域技术人员可以透过用等同的语法和语义替换语法和语义来实践本发明而不脱离本发明的精神。
呈现以上描述是为了使得本领域技术人员能够实践在特定应用及其要求的背景下提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说是显而易见的，并且这里定义的一般原理可以应用于其他实施例。因此，本发明不限于所示出和描述的特定实施例，而是与符合本文所公开的原理和新颖特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实施本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路电路或集成到视频压缩软件中的程序代码，以执行这里描述的处理。本发明的实施例还可以是要在数字信号处理器(DSP)上执行的程序代码，以执行这里描述的处理。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的许多功能。这些处理器可以被配置为透过执行定义本发明所体现的特定方法的机器可读软件代码或韧体代码来执行依据本发明的特定任务。软件代码或韧体代码可以用不同的编程语言和不同的格式或样式开发。还可以针对不同的目标平台编译软件代码。然而，软件代码的不同代码格式、样式和语言以及配置代码以执行依据本发明的任务的其他装置将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述表示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。

Claims (28)

1.一种视频编解码方法，该方法包括：
从视频序列接收与当前图像中的当前块相关联的输入数据；
使用包括三叉树分割和至少一个其他类型分割的子树分割的一个或多个阶段，将该当前块分割为多个最终子块，其中如果与当前子块相关联的当前树深度大于第一阈值，并且该第一阈值是大于或等于1的整数，则从该子树分割中排除该三叉树分割；以及
编码该多个最终子块以生成压缩比特以包括在编码器侧的视频比特流中，或者在解码器侧解码来自该视频比特流的该多个最终子块。
2.根据权利要求1所述的视频编解码方法，其特征在于，该至少一个其他类型分割包括四叉树分割、二叉树分割，或其组合。
3.根据权利要求1所述的视频编解码方法，其特征在于，该当前块对应于一个编码树单元，并且该多个最终子块中的每一个对应于一个编码单元、预测单元或变换单元。
4.根据权利要求1所述的视频编解码方法，其特征在于，该第一阈值是预先确定的。
5.根据权利要求1所述的视频编解码方法，其特征在于，在该解码器侧，该第一阈值被推断。
6.根据权利要求1所述的视频编解码方法，其特征在于，如果与该当前子块相关联的该当前子树深度大于该第一阈值，则省略用于指示是否为该当前子块选择该三叉树分割的指示符。
7.根据权利要求1所述的视频编解码方法，其特征在于，该第一阈值对应于最大允许子树分割深度减去第二阈值，其中，该第二阈值小于该最大允许子树分割深度且大于或等于0。
8.根据权利要求7所述的视频编解码方法，其特征在于，该第二阈值的值取决于该当前图像是在帧内图像内还是帧间图像内。
9.根据权利要求7所述的视频编解码方法，其特征在于，在视频参数集、序列参数集、图像参数集、切片头、编码单元或其组合中用信号发送该第二阈值。
10.一种视频编解码装置，用于视频解码器的视频编码器，该装置包括一个或多个电子电路或处理器，被布置成：
从视频序列接收与当前图像中的当前块相关联的输入数据；
使用包括三叉树分割和至少一个其他类型分割的子树分割的一个或多个阶段将该当前块分割为多个最终子块，其中如果与当前子块相关联的当前树深度大于第一阈值，并且该第一阈值是大于或等于1的整数，则从该子树分割中排除该三叉树分割；以及
编码该多个最终子块以生成压缩比特以包括在编码器侧的视频比特流中，或者在解码器侧解码来自视频比特流的该多个最终子块。
11.一种使用帧间模式的视频编解码方法，该方法包括：
从视频序列接收与当前图像中的当前块相关联的输入数据；
确定初始的帧间工具组；
确定该当前块的测试条件；以及
当满足该测试条件时，使用从修改的帧间工具组中选择的当前帧间模式对该当前块进行编码或解码，其中，透过自初始的帧间工具组移除一个或多个第一帧间工具、用一个或多个复杂性降低的帧间工具来代替一个或多个第二帧间工具，或其组合，而自该初始的帧间工具组导出该修改的帧间工具组。
12.根据权利要求11所述的视频编解码方法，其特征在于，该一个或多个第一帧间工具选自一个组合，该组合包括高级运动矢量预测、合并、模式匹配运动矢量推导、局部照明补偿、仿射编码、邻近导出的预测偏移、重迭块运动补偿，或其组合。
13.根据权利要求11所述的视频编解码方法，其特征在于，是否满足该测试条件取决于与该当前块相关联的编码树深度。
14.根据权利要求11所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的块尺寸。
15.根据权利要求11所述的视频编解码方法，其特征在于，是否满足该测试条件取决于与该当前块相关联的编码树深度和该当前块的块尺寸。
16.根据权利要求11所述的视频编解码方法，其特征在于，如果与该当前块相关联的编码树深度等于预定义值并且该当前块的块尺寸大于或等于阈值，则该测试条件被满足。
17.根据权利要求11所述的视频编解码方法，其特征在于，当从该初始的帧间工具组移除目标第一帧间工具时，与该目标第一帧间工具相关联的语法元素未在编码器侧被发送或未在解码器侧被解析以用于该当前块。
18.根据权利要求11所述的视频编解码方法，其特征在于，当从该初始的帧间工具组中移除该一个或多个第一帧间工具时，透过自候选列表排除该一个或多个第一帧间工具，该候选列表具有数量减少的候选，该当前块使用具有候选数量减少的该候选列表。
19.一种使用帧间模式的视频编码装置，该装置包括一个或多个电子电路或处理器，被布置成：
从视频序列接收与当前图像中的当前块相关联的输入数据；
确定初始的帧间工具组；
确定该当前块的测试条件；以及
当满足该测试条件时，使用从修改的帧间工具组中选择的当前帧间模式对该当前块进行编码或解码，其中，透过自初始的帧间工具组移除一个或多个第一帧间工具、用一个或多个复杂性降低的帧间工具来代替一个或多个第二帧间工具，或其组合，而自该初始的帧间工具组导出该修改的帧间工具组。
20.一种视频编解码方法，该方法包括：
从视频序列接收与当前图像中的当前块相关联的输入数据；
确定该当前块的测试条件；
当满足该测试条件时，使用包括一个或多个多类型分割的受限编码树结构，将当前块分割为多个最终子块，其中受限编码树结构终止具有编码树分割深度等于阈值的目标子块的编码树分割；以及
编码该多个最终子块以生成压缩比特以包括在编码器侧的视频比特流中或者在解码器侧解码来自视频比特流的该多个最终子块。
21.根据权利要求20所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的块尺寸。
22.根据权利要求20所述的视频编解码方法，其特征在于，是否满足该测试条件取决于当前切片的时间层，其中该当前切片包括该当前块。
23.根据权利要求20所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的最佳预测模式。
24.根据权利要求20所述的视频编解码方法，其特征在于，是否满足该测试条件取决于该当前块的宽度和高度的比率。
25.根据权利要求20所述的视频编解码方法，其特征在于，是否满足该测试条件取决于在小于该阈值的第二编码树分割深度处对该目标子块的先前子块的分割决策。
26.根据权利要求20所述的视频编解码方法，其特征在于，是否满足该测试条件取决于当前切片的量化参数，其中该当前切片包括该当前块。
27.根据权利要求20所述的视频编解码方法，其特征在于，如果该编码树分割深度等于该阈值，则省略用于指示该目标子块的分割决定的语法元素。
28.一种视频编解码装置，用于视频解码器的视频编码器，该装置包括一个或多个电子电路或处理器，被布置成：
从视频序列接收与当前图像中的当前块相关联的输入数据；
确定该当前块的测试条件；
当满足该测试条件时，使用包括一个或多个多级分割的受限编码树结构，将当前块分割为多个最终子块，其中受限编码树结构终止具有编码树分割深度等于阈值的目标子块的编码树分割；以及
编码该多个最终子块以生成压缩比特以包括在编码器侧的视频比特流中或者在解码器侧解码来自视频比特流的该多个最终子块。
CN201980015725.9A 2018-03-14 2019-03-13 用于视频编解码的优化分割结构的方法和装置 Pending CN111819857A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201862642661P 2018-03-14 2018-03-14
US62/642,661 2018-03-14
US201862647914P 2018-03-26 2018-03-26
US201862647910P 2018-03-26 2018-03-26
US201862647917P 2018-03-26 2018-03-26
US62/647,910 2018-03-26
US62/647,914 2018-03-26
US62/647,917 2018-03-26
US201862664382P 2018-04-30 2018-04-30
US62/664,382 2018-04-30
PCT/CN2019/077960 WO2019174594A1 (en) 2018-03-14 2019-03-13 Method and apparatus of optimized splitting structure for video coding

Publications (1)

Publication Number Publication Date
CN111819857A true CN111819857A (zh) 2020-10-23

Family

ID=67907328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015725.9A Pending CN111819857A (zh) 2018-03-14 2019-03-13 用于视频编解码的优化分割结构的方法和装置

Country Status (5)

Country Link
US (1) US11516513B2 (zh)
EP (1) EP3763128A4 (zh)
CN (1) CN111819857A (zh)
TW (1) TWI702839B (zh)
WO (1) WO2019174594A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204967A (zh) * 2018-05-31 2021-01-08 夏普株式会社 用于划分视频数据的帧间预测片段中的视频块的系统和方法
US11589044B2 (en) 2019-10-14 2023-02-21 Hfi Innovation Inc. Video encoding and decoding with ternary-tree block partitioning
WO2021110045A1 (en) * 2019-12-03 2021-06-10 Huawei Technologies Co., Ltd. Coding method, device, system with merge mode
US11546592B2 (en) * 2020-01-08 2023-01-03 Tencent America LLC Flexible block partitioning for chroma component
CN111212292B (zh) * 2020-01-16 2023-04-28 郑州轻工业大学 基于h.266的自适应cu分区和跳过模式方法
CN112601082B (zh) * 2020-11-30 2023-12-12 南京邮电大学 一种基于视频的快速动态点云编码方法及系统
CN113163199B (zh) * 2021-05-10 2023-06-30 浙江裕瀚科技有限公司 一种基于h265的视频快速预测方法、快速编码方法和系统
WO2022251211A1 (en) * 2021-05-24 2022-12-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for overlapped block motion compensation for inter prediction
CN113613006B (zh) * 2021-07-30 2023-08-18 浙江裕瀚科技有限公司 一种视频编码的方法、系统和装置
CN113747177B (zh) * 2021-08-05 2023-06-20 中山大学 基于历史信息的帧内编码速度优化方法、装置及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062018A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Complexity-aware encoding
CN103096072A (zh) * 2011-11-07 2013-05-08 吴秀美 视频数据的解码方法
CN103248893A (zh) * 2013-05-10 2013-08-14 四川大学 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
CN103988437A (zh) * 2011-11-08 2014-08-13 高通股份有限公司 用于上下文自适应二进制算术译码的上下文缩减
CN104025587A (zh) * 2011-12-28 2014-09-03 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序
CN104023234A (zh) * 2014-06-24 2014-09-03 华侨大学 一种适用于hevc的快速帧间预测方法
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
WO2015192372A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for illumination compensation in multi-view and 3d video coding
CN105704494A (zh) * 2016-03-09 2016-06-22 西安电子科技大学 基于深度相关性的屏幕内容编码帧间快速编码方法
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
GB201716705D0 (en) * 2016-10-12 2017-11-29 Mediatek Inc Methods and apparatuses of costrained multi-type-tree block partition for video coding
CN107439014A (zh) * 2015-04-08 2017-12-05 Lg 电子株式会社 编码/解码视频信号的方法和装置
WO2017206826A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
WO2018013706A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US20180070110A1 (en) * 2016-09-07 2018-03-08 Qualcomm Incorporated Tree-type coding for video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012031628A1 (en) 2010-09-09 2012-03-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy encoding and decoding scheme
US9912944B2 (en) 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
CN104104964B (zh) 2013-04-09 2019-03-12 乐金电子(中国)研究开发中心有限公司 一种深度图像帧间编码、解码方法、编码器及解码器
US20150262404A1 (en) 2014-03-13 2015-09-17 Huawei Technologies Co., Ltd. Screen Content And Mixed Content Coding
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
MX2018014493A (es) 2016-05-25 2019-08-12 Arris Entpr Llc Particionamiento binario, ternario, cuaternario para jvet.
WO2018028615A1 (en) 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
EP3557870A4 (en) * 2016-12-16 2020-05-13 Sharp Kabushiki Kaisha IMAGE DECODING DEVICE AND IMAGE CODING DEVICE
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
MX2019002383A (es) * 2017-02-06 2019-07-08 Huawei Tech Co Ltd Metodo y aparato de codificacion y metodo y aparato de decodificacion.
CA3106615A1 (en) * 2017-07-17 2019-01-24 Industry-University Cooperation Foundation Hanyang University Method and apparatus for encoding/decoding image
US11044471B2 (en) * 2017-07-28 2021-06-22 Electronics And Telecommunications Research Institute Image processing method, and image encoding/decoding method and device which use same
CN111279695B (zh) * 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
US10827173B2 (en) * 2017-11-13 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for quantization

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062018A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Complexity-aware encoding
CN103096072A (zh) * 2011-11-07 2013-05-08 吴秀美 视频数据的解码方法
CN103988437A (zh) * 2011-11-08 2014-08-13 高通股份有限公司 用于上下文自适应二进制算术译码的上下文缩减
CN104025587A (zh) * 2011-12-28 2014-09-03 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序
CN103248893A (zh) * 2013-05-10 2013-08-14 四川大学 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
WO2015192372A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for illumination compensation in multi-view and 3d video coding
CN104023234A (zh) * 2014-06-24 2014-09-03 华侨大学 一种适用于hevc的快速帧间预测方法
CN107439014A (zh) * 2015-04-08 2017-12-05 Lg 电子株式会社 编码/解码视频信号的方法和装置
CN105704494A (zh) * 2016-03-09 2016-06-22 西安电子科技大学 基于深度相关性的屏幕内容编码帧间快速编码方法
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
WO2017206826A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
WO2018013706A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US20180020241A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US20180070110A1 (en) * 2016-09-07 2018-03-08 Qualcomm Incorporated Tree-type coding for video coding
GB201716705D0 (en) * 2016-10-12 2017-11-29 Mediatek Inc Methods and apparatuses of costrained multi-type-tree block partition for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, ET AL: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", 《JVET》, 19 August 2017 (2017-08-19), pages 13 - 27 *
K. BHARANITHARAN, ET AL: "Computational complexity reduction algorithm for inter mode prediction in video coding", 《2010 2ND INTERNATIONAL SYMPOSIUM ON AWARE COMPUTING》 *
罗润兵: "H.264/AVC帧间模式快速选择算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Also Published As

Publication number Publication date
WO2019174594A1 (en) 2019-09-19
US11516513B2 (en) 2022-11-29
TWI702839B (zh) 2020-08-21
EP3763128A4 (en) 2022-04-06
EP3763128A1 (en) 2021-01-13
TW201941616A (zh) 2019-10-16
US20210014536A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN111819857A (zh) 用于视频编解码的优化分割结构的方法和装置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
US20180077417A1 (en) Method and Apparatus of Encoding Decision for Encoder Block Partition
CN112055964B (zh) 用于视频编解码中的独立编码树的语法交错方法和装置
KR20190046704A (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
KR20190038405A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021104474A1 (en) Selective switch for parallel processing
CN113796077A (zh) 视频编解码之亮度mpm列表导出的方法及装置
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
KR102354628B1 (ko) 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
CN113366845A (zh) 视频编码中结合帧间和帧内预测的方法和装置
CN112970250A (zh) 视频编码的多重假设方法和装置
CN112585972B (zh) 视频编解码的帧间预测方法及装置
CN112689998B (zh) 在视频编解码系统中处理视频数据的方法和装置
KR20200040255A (ko) 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
CN114208198A (zh) 视频编码中用于帧内分区的转换类型分配方法和装置
KR20200071302A (ko) 움직임 예측을 사용하는 영상 복호화 및 부호화 방법
CN117956139A (zh) 视频编解码的帧间预测方法及装置
KR20220016840A (ko) 비디오 코딩을 위한 움직임 후보 리스트 구성
KR20200005207A (ko) 움직임 보상 및 필터링을 처리하는 영상 복호화 및 부호화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination