CN113632479B - 越界节点视频数据的处理方法及装置 - Google Patents

越界节点视频数据的处理方法及装置 Download PDF

Info

Publication number
CN113632479B
CN113632479B CN201980087901.XA CN201980087901A CN113632479B CN 113632479 B CN113632479 B CN 113632479B CN 201980087901 A CN201980087901 A CN 201980087901A CN 113632479 B CN113632479 B CN 113632479B
Authority
CN
China
Prior art keywords
current block
block
partition
current
pipeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980087901.XA
Other languages
English (en)
Other versions
CN113632479A (zh
Inventor
蔡佳铭
徐志玮
庄子德
陈庆晔
黄毓文
向时达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113632479A publication Critical patent/CN113632479A/zh
Application granted granted Critical
Publication of CN113632479B publication Critical patent/CN113632479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频编码或解码系统中用于处理当前图片中越界节点的视频处理方法和装置。越界节点是具有跨越当前图片边界的块区域的编解码树节点。该视频处理方法或装置确定推断的分割类型，应用推断的分割类型以将越界节点分割为子块，将每个子块自适应地分割为一个或多个叶块，并对当前图片内的越界节点中的叶块进行编码或解码。用于在帧间切片、图片或图块中分割越界节点的推断的分割类型与用于在帧内切片、图片或图块中分割越界节点的推断的分割类型相同。

Description

越界节点视频数据的处理方法及装置
交叉引用
本申请要求2019.1.10提交的美国临时专利申请(申请号62/790,931,名称为“Pipeline Unit Constraints on Binary Tree and Ternary Tree”)以及2019.1.16提交的美国临时专利申请(申请号62/793,281,名称为“Pipeline Unit Constraints withPicture Boundary Handling for Inter and Intra Picture”)的优先权。以上美国临时专利申请的全部内容通过引用并入本案。
【技术领域】
本发明涉及在视频编解码系统中对视频数据进行编码或解码的视频处理方法和装置。特别地，本发明涉及在图片边界处分割视频数据。
【背景技术】
高效视频编解码(HEVC)标准是由ITU-T研究小组的视频编解码联合协作小组(JCT-VC)的视频编解码专家组开发的最新视频编解码标准。HEVC标准依赖于基于块的编解码结构，该结构将每个视频图片分割为多个非重迭的方形编解码树单元(CTU)，也称为最大编解码单元(LCU)。视频图片或切片中的每个单独的CTU以光栅扫描顺序进行处理。在HEVC主配置文件中，CTU的最大和最小大小由序列参数集(SPS)中发信(signaled)的语法元素指定。使用四叉树(QT)分割(split)结构将每个CTU进一步递归地分割(partition)为一个或多个非重迭的编解码单元(CU)，以适应各种本地特征。在QT分割结构的每个分割深度处，一个NxN块要么是单个叶CU，要么被分割为四个大小相等的N/2xN/2的较小块。大小为MxM像素样本的CTU是四叉树编解码树的根节点，四个M/2xM/2块是从根节点分割出来的子四叉树节点。四个M/2xM/2块中的每一个都可以成为由另一个QT分割的父节点，从而导致四个子节点的大小在每个空间维度上进一步减小一半。如果未进一步分割编解码树节点，则将其称为叶CU。叶子CU大小被限制为大于或等于最小允许CU大小，该大小也在SPS中指定。递归四叉树分割结构的示例在图1中说明，其中实线表示CTU 10中的CU边界。
一旦将CTU分割为叶CU，就根据用于预测的PU分割类型，将每个叶CU进一步分割为一个或多个预测单元(PU)。与用于CU的递归四叉树分割不同，每个叶CU仅可被分割一次以形成一个或多个PU。由于将相同的预测过程应用于PU中的所有像素，因此PU用作共享预测信息的基本代表块。预测信息以PU为基础传送到解码器。在获得由基于PU分割类型的预测过程生成的残差数据之后，属于叶CU的残差数据根据另一四叉树分割结构被分割为一个或多个变换单元(TU)，用于将残差数据变换为用于紧凑的数据表示的变换系数。图1中的虚线表示CTU 10中的TU边界。TU是用于对残差数据或变换系数进行变换和量化的基本代表块。对于每个TU，将具有与TU相同大小的变换矩阵应用于残差数据以生成变换系数，并且基于TU将这些变换系数量化并传送到解码器。
术语“编解码树块”(CTB)、“编解码块”(CB)、“预测块”(PB)和“变换块”(TB)被定义为指定分别与CTU、CU、PU和TU关联的一个颜色分量的二维(2-D)样本数组。例如，CTU由一个亮度(luma)CTB、两个色度(chroma)CTB及其相关的语法元素组成。类似的关系对于CU、PU和TU有效。在HEVC系统中，除非达到色度块的最小尺寸，否则通常将相同的四叉树分割结构应用于亮度和色度分量。
二叉树(BT)分割结构是另一种分割结构，其将一个块递归地分割为两个较小的块。最简单的二叉树分割结构仅允许对称的水平分割类型和对称的垂直分割类型。对于大小为MxN的给定块，发信第一个标志以指示该块是否被分割为两个较小的块，如果第一个标志指示分割，则第二个标志指示分割类型。如果分割类型为对称水平分割，则将该MxN块分割为大小为MxN/2的两个块，如果分割类型为对称垂直分割，则将该MxN块分割为大小为M/2xN的两个块。由于二叉树分割结构能够水平或垂直分割一个块，因此必须指出最小允许宽度和高度。如果块高度小于最小允许高度，则隐式不允许水平分割；类似地，如果块宽度小于最小允许宽度，则隐式不允许垂直分割。
除了四叉树分割和二叉树(BT)分割之外，三叉树(TT)分割是分割视频数据的替代分割类型。TT分割旨在捕获块中心的对象。图2示出了五个先前描述的分割类型，包括四叉树分割类型20、二叉树分割类型22和24以及三叉树分割类型26和28。垂直中心侧三叉树分割类型26和水平中心侧三叉树分割类型28将一个块分成三个较小的块，它们在一个空间维度上均具有减小的大小(reduced size)，而在另一空间维度上均保持相同的大小。如果使用所有三种分割类型，则可以通过四叉树分割20、垂直BT分割22、水平BT分割24、垂直TT分割26或水平TT分割28来迭代地分割一个块。叶节点是用于预测和变换的编解码单元(CU)，因此不会进一步分割。
HEVC标准支持35种帧内预测模式，包括33种角度模式、DC模式和平面(Planar)模式。根据从35种模式中选择的一种帧内预测模式，从相邻参考样本中导出当前块的帧内预测子。如果选择了角度模式，则根据所选角度模式的预测方向通过从参考样本中外推样本来预测当前块中每个样本的值。如果选择了平面模式，则假定从相邻块的边界样本派生(derive)出具有水平和垂直平滑梯度的振幅表面(amplitude surface)，计算当前块中每个样本的值。如果选择了DC模式，则当前块的每个样本的值是参考样本的平均值。显式地发信所选帧内预测模式或从当前块的上方或左侧相邻块的先前解码模式推断出所选帧内预测模式。上方和左侧相邻块的帧内预测模式包括在三个最可能模式(Most Probable Mode，简写为MPM)的集合中。发信第一MPM标志以指示所选模式是否与三个MPM之一相同，如果是，则发送另一个标志以指示选择了三个MPM中的哪一个；如果第一个MPM标志为假(false)，则使用5位固定长度的编解码字显式地发信所选模式。HEVC标准中使用的33种角度模式如图3所示，其中H表示水平模式的方向，V表示垂直模式的方向。下一代视频编解码标准中的帧内预测模式的数量有望扩展到67种模式，包括DC、平面和65个角度模式。每个角度模式都可以用模式H+k或模式V+k表示，其中k＝0，+1，+-2，..+-16。模式H-16和模式V-16是同一模式，因为该模式指的是从当前块的左上角到中心的预测方向。
【发明内容】
在视频编解码系统中用于对视频图片中的视频数据进行编码或解码的视频处理的方法和装置包括：接收与当前图片中的当前块相关联的输入数据，确定当前块是否为越界节点，如果当前块是越界节点，则确定当前块的推断分割类型，如果当前块是越界节点，则应用推断的分割类型将当前块分割为子块，以及如果当前块不是越界节点，则将每个子块自适应地分割为一个或多个叶块，或者将当前块自适应地分割为一个或多个叶块，并编码或解码当前图片中的当前块中的一个或多个叶块。越界节点是具有跨越当前图片边界的块区域的编解码树节点。根据实施例，当前块中的叶块是编解码树单元(CTU)中的编解码单元(CU)。在一些实施例中，仅当越界节点大于预定义的大小时，推断的分割类型才用于分割越界节点。小于或等于预定义大小的越界节点不会被推断的分割类型强制分割。预定大小的一些实施例包括流水线单元大小，最大变换大小以及最大变换大小的倍数。流水线单位大小是流水线单位的大小，并且流水线单位是用于流水线处理的基本单位，并且是从当前图片分割的不重迭的网格。不发信用于分割大于预定大小的越界节点的推断的分割类型的分割信息。
在一个实施例中，针对越界节点的推断的分割类型是四叉树分割。在另一个实施例中，根据当前图片边界确定推断的分割类型，例如，当当前块跨越底部图片边界时，推断的分割类型为水平二叉树分割，当前块越过右侧图片边界时，推断的分割类型为垂直边界树分割。
在将每个子块自适应地分割为叶块的一些实施例中，进一步确定从当前块分割的任何子块是否跨越流水线单元边界，并且跨越流水线单元边界的子块被进一步分割为叶块，直到没有叶块超过了流水线单元的边界。流水线单元边界是流水线单元的边界，流水线单元是从当前图片分割的网格，这些不重迭的网格设计为允许视频编解码系统中的不同流水线级同时处理连续的流水线单元。在自适应分割每个子块的另一实施例中，进一步确定任何子块的宽度或高度是否大于阈值，并且将宽度或高度大于阈值的子块分割，直到宽度或高度小于或等于阈值。阈值的示例设置为等于流水线单位的宽度或高度、最大变换宽度或高度或最大变换宽度或高度的倍数。
在一个实施例中，针对当前块的推断的分割类型是有效分割类型之一，并且每个有效分割类型将当前块分割为不跨越流水线单元边界的子块。对于分割深度等于0(即第一个深度)的越界节点，对于所有帧间和帧内切片、图片或图块中的越界节点，用于该越界节点的推断的分割类型相同。
可以应用分割约束(partition constraint)以将每个子块分割为一个或多个叶块或将当前块分割为一个或多个叶块，其中分割约束将每个叶块限制为完全包含在一个流水线单元中或每个叶块包含完整的一个或多个流水线单元。可以应用重新访问约束将每个子块分割为一个或多个叶块，或者将当前块分割为一个或多个叶块，如果对叶块的处理需要在离开流水线单元之后重新访问该流水线单元，则违反了重新访问约束。
视频编解码系统中的视频处理的方法和装置的变型接收当前图片中当前块的输入数据，确定当前块是否是分割深度等于0(即第一深度)的越界节点，如果当前块是分割深度等于0的越界节点，则确定当前块的第一分割类型，应用第一分割类型将当前块分割为子块，并如果当前块是分割深度等于0的越界节点，则将每个子块自适应地分割为一个或多个叶块；如果当前块不是分割深度等于0的越界节点，则将当前块自适应地分割为一个或多个叶块，并对当前图片内当前块的一个或多个叶节点进行编码或解码。用于在帧间切片、图片或图块中分割越界节点的第一分割类型与用于在帧内切片、图片或图块中分割越界节点的第一分割类型相同。在一个实施例中，第一分割类型是四叉树分割。在一些实施例中，不仅第一分割类型对于帧间和帧内切片、图片或图块是相同的，而且相同的分割方法被应用于对帧间和帧内切片、图片或图块中的越界节点进行分割。分割方法通过满足分割约束、重新访问约束或分割和重新访问约束，将当前块中的子块分割为叶块，其中分割约束将每个叶块完全限制在一个流水线单元中或限制每个叶块包含完整的一个或多个流水线单元，如果若对叶块的处理需要在离开当前流水线单元后重新访问该流水线单元，则违反重新访问约束。
本公开的各方面还提供了一种在视频编码系统或视频解码系统中实现的装置，并且如果当前块是越界节点，则该装置使用推断的分割类型将当前图片中的当前块分割为叶块。在一个实施例中，当越界节点大于预定义的大小时，推断的分割类型用于分割越界节点。该装置的实施例在视频编码或解码系统的块分割模块中实现。
本公开的各方面还提供了一种非暂时性计算机可读介质，其存储用于使装置的处理电路执行视频编解码过程以使用推断的分割类型对越界节点进行编码或解码的程序指令。通过阅读下面对特定实施例的描述，本发明的其他方面和特征对于本领域技术人员将变得显而易见。
【附图说明】
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中，相同的标号表示相同的元件，并且：
图1示出了示例性的编解码树，其用于根据四叉树分割结构，将编解码树单元(CTU)分割为编解码单元(CU)，并将每个CU分割为一个或多个变换单元(TU)。
图2示出了用于分割视频数据的五种分割类型。
图3示出了HEVC标准中支持的33种角度帧内预测模式。
图4示出了根据图片边界方向分割越界节点的示例。
图5A和图5B示出了根据本发明实施例的跨底部图片边界分割越界节点的示例。
图6A和图6B示出了根据本发明的实施例的跨右图片边界分割越界节点的示例。
图7A示出了参考约束的示例，该参考约束禁止使用位于左下流水线单元内部的相邻重构样本来预测当前块。
图7B示出了65个角度帧内预测模式的示例。
图8是说明用于通过使用推断的分割类型来分割越界节点来对当前图片中的当前块进行编码或解码的视频处理方法的实施例的流程图。
图9是说明用于通过使用第一分割类型分割越界节点来编码或解码当前图片中的当前块的视频处理方法的另一实施例的流程图。
图10示出了根据本发明实施例的，结合了视频处理方法的视频编码系统的示例性系统框图。
图11示出了根据本发明实施例的，结合了视频处理方法的视频解码系统的示例性系统框图。
【具体实施方式】
将容易理解，如本文的附图中一般性描述和示出的，本发明的部件可以以各种不同的配置来布置和设计。因此，如附图所示，对本发明的系统和方法的实施例的以下更详细的描述并非旨在限制要求保护的本发明的范围，而仅是本发明的选定实施例的代表。
在整个说明书中，对“实施例”、“某些实施例”或类似语言的引用意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在一些实施例中”并不一定全都指同一实施例，这些实施例可以单独实现或与一个或多个其他实施例结合实现。此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的技术人员将认识到，可以在没有一个或多个特定细节的情况下，或者在利用其他方法、部件等的情况下实践本发明。在其他情况下，未示出或未示出公知的结构或操作。详细描述以避免模糊本发明的方面。
VPDU的概念虚拟流水线数据单元(Virtual Pipeline Data Unit，简写为VPDU)被定义为用于流水线处理的基本单元，并且在以下描述中VPDU也被称为流水线单元。通过将视频图片分割为多个不重迭的网格以进行流水线处理，连续的VPDU可以同时由多个流水线级(pipeline stage)处理。VPDU是视频图片中的不重迭网格，可以是正方形单位，例如，每个VPDU包含MxM个亮度像素或NxN个色度像素，或者VPDU可以是一个非正方形单位。VPDU的尺寸可以由诸如4096个像素的区域或诸如64×64亮度样本或色度样本的大小来定义。在另一实施例中，CTU被分为一个或多个流水线单元，例如，每个CTU被分为M×N流水线单元。在一个示例中，M和N等于2。在一个实施例中，将CTU分割为一个或多个网格，并且每个网格是流水线单元，并且在一个示例中，将流水线单元的大小设置为与最大变换块大小相等。
在硬件解码器中，每个VPDU由一个流水线级接着另一个流水线级处理，直到每个VPDU由视频解码的所有流水线级处理。硬件解码器中不同的流水线级同时处理不同的VDPU。将VPDU大小限制在大小限制内是硬件实现中的关键设计问题，因为在大多数流水线级中，VPDU大小与缓冲区大小大致成比例。
VPDU大小的实施例被设置为等于最大变换块(TB)大小，对于HEVC硬件解码器，其为32x32亮度像素或16x16色度像素。但是，由于扩展最大TB尺寸可以提高整体编解码效率，因此在下一代视频编解码标准中，最大TB尺寸有望得到提高。例如，亮度的最大TB大小从32x32扩展到64x64，色度的最大TB大小从16x16扩展到32x32(以4：2：0彩色格式)。当颜色格式为4：2：0时，下一代视频编解码标准的VPDU大小预计会提高到64x64(亮度)或32x32(色度)，这是HEVC标准要求的VPDU大小的四倍。与仅采用四叉树分割的HEVC标准相比，下一代视频编解码标准允许使用更灵活的分割类型对CTU进行分割，以实现更多的编解码收益。例如，当通过二叉树分割或三叉树分割对128x128 CTU进行分割时，所需的VPDU大小将增加到128x128亮度像素或64x64色度像素。与HEVC标准相比，所需的VPDU大小现在增加了16倍，这大大增加了视频处理中每个流水线级所需的缓冲区大小。
为了减小下一代视频编解码标准中所需的VPDU大小，本发明的一些实施例根据推断的分割类型在图片边界上分割当前块。一些其他实施例统一了第一分割类型(firstsplit type)，该第一分割类型被应用于在帧间和帧内切片中以等于0的分割深度来分割越界节点。在一个示例中，可以将要编码或解码的视频图片分割为不重迭的CTU，并且每个CTU包含一个或多个用于流水线处理的流水线单元。在此示例中，跨图片边界的CTU也称为分割深度等于0的越界节点。流水线单元的实施例具有等于最大变换块尺寸的尺寸。在另一个实施例中，在序列级别、图片级别、切片级别或块级别显式地发信流水线单元的大小。在又一个实施例中，根据对应的视频压缩标准，基于简档或级别隐式地定义流水线单元的大小。在块分割期间可以应用以下描述的一个或多个约束。
每个流水线单元包含完整的一个或多个分割。分割约束根据当前块与一个或多个对应流水线单元之间的关系来限制要应用于当前块的一个或多个预定义分割类型。当前块是CTU、CU、TU，或者当前块是可以被进一步分割的四叉树、二叉树或三叉树分割。例如，如果当前块是CU，则CU的分割深度小于最大允许的CU深度。类似地，如果当前块是TU，则TU的分割深度小于最大允许TU深度。在另一示例中，如果当前块是CU，则其大于最小允许的CU大小；如果是TU，则其大于最小允许的TU大小。分割约束限制每个流水线单元包含一个或多个完整的四叉树，二叉树或三叉树分割。分割可以是CU或TU。换句话说，分割约束将每个分割限制为完全包含在一个流水线单元中，这样将使得导致至少一个分割不完全包含在一个流水线单元中的分割类型被跳过、不被使用或禁止。例如，在分割操作之后，流水线单元包含一个或多个CU，并且这些CU必须完全在流水线单元内部。在子树分割期间，子块中通过四叉树、二叉树或三叉树分割从当前块中分割的大小小于或等于流水线单元的所有样本应位于同一流水线单元中。根据该分割约束，当当前块等于或小于流水线单位并且当前块完全在一个流水线单元之内时，允许四叉树分割、二叉树分割和三叉树分割中的任何一个对当前块进行分割，因为从当前块分割的所有子块仍包含在同一流水线单元中。在分割约束的示例性实施例中，当要通过四叉树分割、二叉树分割或三叉树分割来分割的当前块的大小大于流水线单元的大小时，视频编码器或解码器检查是否在子树分割操作之后，每个分割中的所有样本都在同一流水线单元中，并且仅当每个分割中的所有样本都在同一流水线单元中时，才允许此子树分割操作。在所有分割操作之后，流水线单元包含一个或多个完整的CU或TU。
通过遵守在流水线单元中包含完整的CU或TU的分割约束，流水线单元边界也是CU边界或TU边界。换句话说，CU或TU不能越过流水线单元边界，并且流水线单元边界的每个分段也必须属于CU边界或TU边界。根据此分割约束，流水线单元边界必须与CU边界或TU边界对齐。
每个CU包含完整的一个或多个流水线单元当当前CU仍包含完整的一个或多个流水线单元时，另一分割约束限制将分割类型应用于当前CU。第二个约束条件限制通过四叉树、二叉树或三叉树分割分割的每个子块包含完整的一个或多个流水线单元。例如，当在子树分割操作之后当前CU包含一个或多个流水线单元时，这些流水线单元完全在当前CU内部。仅当由分割操作产生的每个分割仍包含一个或多个完整流水线单元时，才允许四叉树分割、二叉树分割或三叉树分割来分割当前块。在该分割约束的一个实施例中，一个流水线单元中的所有样本都包括在相同的分割中，该分割从四叉树分割、二叉树分割或三叉树分割中分离，其大小大于或等于流水线单元。
应用分割约束之一对于从CTU按一种或多种分割类型进行分割的每个CU，必须满足两个前述分割约束之一。如果通过分割类型从当前块分割出的任何分割都违反了两个分割约束，则不允许该分割类型对当前块进行分割。例如，一个或多个CU完全包含在一个流水线单元中，或者一个或多个流水线单元完全包含在一个CU中，其中每个CU通过四叉树分割、二叉树分割、或三叉树分割之一或其组合分割。
具有重新访问约束的分割约束一些分割约束的实施例根据重新访问约束来评估预定义的分割类型的有效性，其中，通过预定义分割类型从当前块分割出的子块的处理顺序不应允许离开流水线单元，然后再次访问该流水线单元。如果违反了重新访问约束，则不允许使用预定义的分割类型对当前块进行分割。当子块的处理需要在离开流水线单元之后重新访问流水线单元时，违反了重新访问约束。
越界节点的推断的分割类型将与整个当前图片边界内的块区域相对应的编解码树节点或CU称为界内(in-bounds)节点或界内CU。与跨越当前图片边界的块区域相对应的编解码树节点或CU被称为越界(out-of-bounds)节点或越界CU。当每个界内节点被进一步分割时，视频编码或解码系统可以通过服从本发明中公开的分割约束之一的任何分割类型自由地将界内节点分割为较小的块。根据本发明的实施例，为了分割作为越界节点的当前块，视频编码或解码系统在考虑边界分割之前使用推断的分割类型将当前块分割为子块。完全或部分地在当前图片内的每个子块被自适应地分成一个或多个叶块，例如一个或多个叶CU。
图4示出了通过考虑边界分割来分割越过右图片边界的越界节点的示例。如图4所示，右图片边界44将越界节点42分割为两个区域，当前图片内部的一个区域(即，右图片边界44的左侧的区域)和当前图片之外的另一区域。在该示例中，越界节点42是CTU，其大小等于128×128亮度样本。在此示例中，流水线单元的大小是64x64亮度样本，并且在图4中用虚线显示了越界节点42内部的流水线单元边界。常规视频编码或解码系统将每个越界节点分割，首先根据图片边界考虑边界分割，从而确定越界节点，例如，水平二叉树分割用于分割跨越底部图片边界的越界节点，垂直二叉树分割跨越右侧图片边界的越界节点，四叉树分割用于分割跨越底部图片边界和右侧图片边界的越界节点。因此，在图4中，越界节点42的左半部分通过垂直二叉树分割46分割为子块0和子块1。如果在越界节点42的垂直二叉树分割之后未进一步分割两个子块，以上子块均不满足任何上述分割约束。子块0和1都越过流水线单元边界，这也违反了重新访问约束。本发明的实施例在考虑边界分割之前，先以推断的分割类型对边越界节点进行分割，以确保从边越界节点分割的子块满足分割约束之一并且不会违反重新访问约束。
在分割越界节点的一些实施例中，当越界节点的大小大于预定义大小时，使用推断的分割类型将越界节点强制进一步分割为子块。预定义大小的一些示例设置为流水线单位大小、最大变换大小或最大变换大小的倍数。例如，预定义的大小是128x128亮度样本或64x64亮度样本。在一个实施例中，对于从越界节点分割的每个子块，如果该子块仍然是越界节点并且该子块的块大小或面积大于预定大小，则该子块再次被推断的分割类型强制进一步分割。不发信推断的分割类型的分割信息，其中该分割类型用于分割大于预定大小的越界节点。
根据本发明的实施例，推断的分割类型是四叉树分割。在该实施例中，总是通过四叉树来将尺寸大于预定大小的每个越界节点或越界CU进一步分割分割成四个子块。预定义的大小等于流水线单位大小、最大变换大小、最大变换大小的倍数、128x128亮度样本或64x64亮度样本。推断出用于分割大于预定大小的越界节点的分割信息，并且因此不在视频位流中发信该分割信息。图5A和图5B示出了根据该实施例的对具有大于预定大小的大小的越界节点进行分割。预定大小是流水线单元大小，并且越界节点52是流水线单元大小的四倍。例如，流水线单元大小是64×64个亮度样本，并且越界节点52是128×128个亮度样本。如图5A和图5B所示，越界节点52越过底部图片边界54。图5A示出了具有等于0的分割深度的越界节点52。根据该实施例，利用推断的分割类型将越界节点52的上半部分分割为四个子块，其是四叉树分割。图5B示出了分割深度等于1的越界节点52。越界节点52中的这四个子块的处理顺序是子块0、子块1、子块2，然后是子块3，如图5B所示，它不违反重新访问约束。图6A和图6B示出了根据该实施例的以大于预定大小的大小来分割另一个越界节点。该越界节点62越过右图片边界64，并且也比预定大小大四倍。例如，流水线单元大小是64x64亮度样本，越界节点62是128x128亮度样本。图6A示出了具有等于0的分割深度的越界节点62，并且图6B示出了具有等于1的分割深度的越界节点62。用于对该越界节点62进行分割的推断的分割类型也是四叉树分割，并且以子块0、子块1、子块2，然后是子块3的顺序处理所得的子块。如图6B所示，该越界节点62的子块将不会违反分割及重新访问约束。
在另一个实施例中，用于对大于预定大小的越界节点进行分割的优选分割类型是水平二叉树分割(当越界节点越过底部图片边界时)，或优选分割类型是垂直二叉树分割(当越界节点越过右图片边界时)。分割信息是根据越界节点的位置隐式导出的，因此在本实施例中未发信分割信息。在通过推断的水平或垂直二叉树分割来分割越界节点的一个实施例中，如果在推断的分割之后的当前节点越过流水线单元边界或越过特定网格，则迫使当前节点进一步分割直到没有一个叶块跨越流水线单元边界或网格。在另一个实施例中，如果在推断的分割之后的当前节点的宽度或高度大于阈值，则推断垂直二叉树分割或水平二叉树分割以使宽度或高度小于或等于阈值。特定网格的大小可以与流水线单元的大小相同，例如64x64之类的预定义值，或者等于最大TU大小、宽度或高度。阈值的一些示例等于流水线单位的宽度或高度、预定义值(例如64)或最大TU大小、宽度或高度。分割信息被推断出，因此不会在视频位流中发信分割信息。
在又一个实施例中，推断的分割类型是有效分割类型之一。在该实施例中，对于具有大于预定大小的大小的越界节点，有效的分割类型将越界节点分割成块，而不越过流水线单元边界或MxN网格。流水线单位边界的一个示例是每个64x64亮度样本的边界。例如，当当前CTU或块越过右图片边界并且当前CTU或块的高度大于流水线单元高度或N时，四叉树分割或水平二叉树分割都是有效的分割类型。当当前CTU或块跨越底部图片边界并且当前CTU或块的宽度大于流水线单位宽度或M时，四叉树分割或垂直二叉树分割是有效的分割类型。如果当前CTU或块跨过右侧图片边界并且当前CTU或块的高度小于或等于流水线单位高度或N，则四叉树分割或垂直二叉树分割是有效的分割类型。如果当前CTU或块跨越底部图片边界并且宽度小于或等于流水线单位宽度或M，则四叉树分割或水平二叉树分割是有效的分割类型。如果当前的CTU或块同时跨越右侧和底部图片边界，则四叉树分割是唯一有效的分割类型。在一个具体实施例中，当当前CU越过底部图片边界时，当前CU宽度大于VPDU宽度或M，并且当前CU高度小于或等于VPDU高度或N，则当选择二叉树分割时推断垂直分割方向。当当前CU越过右图片边界，当前CU高度大于VPDU高度或N且当前CU宽度小于或等于VPDU宽度或M时，在选择二叉树分割时推断水平分割方向。在更具体的实施例中，当当前的二叉树或多类型树(MTT)深度大于0时，M等于N，并且禁用四叉树分割。当当前CU越过底部图片边界时，当前CU宽度大于VPDU宽度或M，并且当前CU高度小于或等于VPDU高度或N，则推断要使用垂直二叉树分割。当当前CU越过右图片边界，当前CU高度大于VPDU高度或N并且当前CU宽度小于或等于VPDU宽度或M时，推断出要使用水平二叉树分割。在另一特定实施例中，至少一个先前描述的VPDU分割约束被应用于界内节点和越界节点。对于越界节点，通过在考虑图片边界条件之前首先考虑VPDU分割约束来确定推断的分割方向。
如果仅可以选择一部分可能的分割类型或分割方向，则可以跳过或推断一种或多种分割语法。例如，如果水平二叉树分割是唯一有效的分割类型，则不会发信qt_split_cu_flag、mtt_split_cu_vertical_flag和mtt_plit_cu_binary_flag。在另一个示例中，如果有效的分割类型是四叉树分割和水平二叉树分割，则不发信mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag。在另一个实施例中，仍然可以发信分割语法，但是将值约束为遵循推断的分割类型或有效分割类型之一的某些值。编码器不能通过选择无效的分割类型来违反规则。
在又一个实施例中，对于界内节点和越界节点，最大二叉树大小是不同的。例如，界内节点的最大二叉树大小为128x128，越界节点的最大二叉树大小为64x64。
越界节点的第一次分割对于帧内和帧间是相同的完全在当前图片边界之内的越界节点可以通过遵循前述分割约束之一的任何可用分割类型进行分割。在本发明的一些实施例中，应用于帧间切片、图片或图块中的分割深度为0的越界节点的第一分割类型总是与应用于帧内切片、图片或图块中分割深度为0的越界节点的第一分割类型相同。第一分割类型对应于用于对分割深度为0的越界节点进行分割的分割类型，其中越界节点处于第一深度。例如，第一分割类型用于对CTU进行分割，因此，相同的第一分割类型用于对跨帧间和帧内切片、图片或图块中的图片边界的CTU进行分割(换句话说，相同的第一分割类型用于对跨图片边界CTU进行分割，无论要分割的CTU是帧间或帧内切片、图片或图块内)。在一个实施例中，用于在帧内切片、图片或图块中分割越界节点的第一分割类型是四叉树分割，并且用于在帧间切片、图片或图块中分割越界节点的第一分割类型也是四叉树分割。在另一个实施例中，用于在帧内切片中对越界节点进行分割的第一分割类型是多类型树(MTT)分割中的一种，并且用于在帧间切片中对越界节点进行分割的第一分割类型也是MTT分割中的同一种。在又一个实施例中，用于在帧内图片中分割越界节点的第一分割类型是二叉树分割，并且用于在帧间图片中分割越界节点的第一分割类型也是二叉树分割。在又一个实施例中，使用满足前述约束之一的相同的分割方法来分割帧间切片、图片或图块内的越界节点。例如，用于对越界节点进行分割的相同分割方法满足分割约束和重新访问约束之一或二者。相同的分割方法不仅指第一分割类型，而且涉及一个或多个以下分割方法或分割方向选择规则。
禁止使用来自左下流水线单元的重构的相邻样本除了分割约束和重新访问约束之外，根据实施例，在任何帧内或帧间预测工具中并入了一个参考约束。图7示出了根据该实施例的在生成预测子时应用参考约束的示例。如图7A所示，当前流水线单元72中的当前CU 76处于预测中，并且使用当前CU 76的重构的相邻样本78来生成对应的预测子。重构的相邻样本78的一部分在当前流水线单元72的左下部流水线单元74内部，并且该部分不能用于根据参考约束来生成预测子。在一个示例中，左下部流水线单元74内的重构的相邻样本78的该部分被视为不可用。预测工具可以被称为角度帧内预测、线性模型预测、使用不同颜色分量中的左或上相邻样本的线性模型预测方法，或使用帧内和帧间预测的组合预测。
三叉树分割约束在一些其他实施例中，当当前块的分割深度等于或小于最大允许子树分割深度减去阈值N时，三叉树分割被允许在分割期间分割当前块。在一个实施例中，在解码器侧隐式地指示和推断阈值N，并且当当前子树分割深度大于最大允许子树分割深度减去阈值N时，不存在用于选择三叉树分割类型的指示符。阈值N是整数。
在一个实施例中，对于当前块，当前子树分割深度为S，最大允许子树分割深度被表示为M，阈值被表示为N，则当S≤(M-N)(其中M>N≥0)时，允许三叉树分割用于分割当前块。如果当前子树分割深度大于(M-N)，则缺少用于选择三叉树分割的指示符。
在一个实施例中，阈值N可以根据切片类型、当前切片的颜色分量或当前切片的时间层ID而变化。在该实施例中，阈值N的所有值在编码器侧被隐式推断，并且在解码器侧被隐式导出。当当前子树分割深度大于最大允许子树分割深度减去对应的阈值N时，缺少用于选择三叉树分割类型的指示符。在一个示例中，对于内部帧中的块，对于帧内切片中的块，该阈值为N1，对于帧间切片中的块，该阈值为N2。当前块的当前子树分割深度为S，最大允许子树分割深度表示为M。如果当前块位于帧内切片中，则当S≤(M-N1)时，允许三叉树分割来分割当前块，一旦S>(M-N1)，则不存在用于选择三叉树分割的指标。类似地，如果当前块在帧间切片中，则当S≤(M-N2)时，允许三叉树分割来分割当前块，并且一旦S>(M-N2)，就不存在用于选择三叉树分割的指示符。
最大三叉树约束和最大二叉树约束在一个实施例中，定义了最大三叉树(TT)大小(max_TT_size)，因此TT分割不能应用于大于此最大TT大小的CU。最大TT大小可以是MxN块，其中MxN是预定义值、发信的值、派生值，或设置为等于最大变换块大小。预定义值的示例是64x64，并且可以在序列、图片、切片或图块级别中发信或从中解析信号通知的值，在一些示例中，最大TT大小取决于CTU大小或切片类型。最大变换块大小可以是最大亮度变换大小或最大色度变换大小。在一个示例中，MxN等于64x64，这是下一代视频编解码标准中定义的最大变换块大小，并且TT分割无法分割大于64x64的当前CU，例如128x128、128x64或64x128。
在另一个实施例中，定义了最大二叉树(BT)大小(max_BT_size)，使得包括对称BT和非对称BT的BT分割不能应用于大于该最大BT大小的CU。最大BT大小可以是MxN块，其中MxN是预定义值、发信的值、派生值，或设置为等于最大变换块大小。预定义值的示例是64x64，并且可以在序列、图片、切片或图块级别中发信或解析信号通知的值。在一些示例中，最大BT大小取决于CTU大小或切片类型而得出。最大变换块大小可以是最大亮度变换大小或最大色度变换大小。在一个示例中，MxN等于64x64，这是下一代视频编解码标准中定义的最大转换块大小，并且BT分割无法分割大于64x64的当前CU，例如128x128、128x64或64x128。
在一个实施例中，定义了最大二进制三叉树(BTT)大小(max_BTT_size)，因此BT分割和TT分割均不能应用于大于最大BTT大小的分割CU。BT分割包括对称BT和不对称BT。最大BTT大小是MxN块，并且MxN可以是预定义值、发信的值、派生值或等于最大变换块大小。预定义值的示例是64x64，并且可以在序列、图片、切片或图块级别中发信或解析信号通知的值。在一些示例中，最大BT大小取决于CTU大小或切片类型而得出。最大变换块大小可以是最大亮度变换大小或最大色度变换大小。
在一些其他实施例中，块分割受到一个或多个以下分割约束的约束。
1.TT分割不能应用于分割128x128CTU。
2.TT分割不能应用于分割128x64CU或64x128CU。
3.水平BT分割不能应用于分割128xN CU，其中N是CU的高度，并且是大于2或4的整数。例如，N等于64。
4.垂直BT分割不能应用于分割Nx128CU，其中N是CU的宽度，并且是大于2或4的整数。例如，N等于64。
5.色度CU的大小不能小于PxQ，PxQ的示例是4x4，并且在该示例中，不允许4x2、2x4或2x2色度CU。
6.在单独的编解码树中，色度CU的大小不能小于PxQ，PxQ的示例为4x4，在此示例中，单独的树编解码中不允许4x2、2x4或2x2色度CU。
7.允许使用大小等于128x128、128x64或64x128的CU。
在一个实施例中，为了使MxN块的z扫描适合CTU，如果分割的CU顺序不能满足z扫描约束，则不能将BT和TT分割应用于分割CU。例如，对于128x128CTU，不允许垂直BT分割，因为128x128CTU中MxN块的编解码顺序不是z扫描顺序。
在上述约束中，可以设置(addressed)一些条件以确定该分割是否有效。在以下示例中，使用W和H两个值。W和H是整数，可以是预定义值、发信的值、派生值，或者等于最大变换块的大小、宽度或高度。通过预定义值设置W和H的一些示例，这些预定义值将W设置为等于32或64，将H设置为等于32或64。如果W和H是用信号发送的值，则以序列、图片、切片或图块级别发信相应的语法元素。在某些示例中，根据CTU大小或切片类型推导W和H。最大变换块尺寸、宽度或高度可以是最大亮度变换尺寸或最大色度变换尺寸的尺寸、宽度或高度。
1.如果CU宽度大于W并且CU高度除以4小于H，则不能使用水平TT分割对CU进行分割。
2.如果CU高度大于H并且CU宽度除以4小于W，则不能使用垂直TT分割对CU进行分割。
3.如果CU宽度大于W并且CU高度等于或小于H，则不能将水平BT分割应用于CU的分割。
4.如果CU高度大于H并且CU宽度等于或小于W，则垂直BT分割不能应用于CU的分割。
所提出的约束可以用作规范约束或编码器非规范约束。例如，如果根据实现为规范约束的分割约束不允许一分割类型，则不发诸如未选择或未分割的关联分割信息，并将其推断为固定值。在另一示例中，如果根据实现为编码器非规范约束的分割约束不允许一分割类型，则仍然发信对应的分割信息，但是根据位流一致性约束来固定该值以服从该分割约束。在一个规范约束示例中，分割语法信令描述如下。使用两个整数值W和H来确定CU是否可以进一步分割。W和H可以是预定义值、发信的值、派生值，或者等于最大变换块的宽度和高度。如果CU宽度大于W并且CU高度除以4小于H，则不发信或解析水平TT分割语法。如果CU宽度除以4小于W且CU的高度大于H，则不发信或解析垂直TT分割语法。如果CU宽度大于W并且CU的高度等于或小于H，则不发信号或解析BT分割语法或BT分割方向，因为推断水平BT分割为未分割或推断BT分割方向为垂直分割。类似地，如果CU高度大于H并且CU宽度等于或小于W，则不会发信或解析垂直BT分割语法或BT分割方向，因为推断垂直BT分割为未分割或推断BT分割方向为水平分割。
六个MPM和六十四个剩余模式为HEVC标准中通过帧内预测编解码的每个CU选择三个最可能模式(MPM)。发信一个标志，以决定当前的帧内模式是否包含在MPM中。如果当前帧内模式是MPM之一，则发信一个MPM索引以指示使用了哪个MPM；否则，发信剩余索引。在下一代视频编解码标准中，帧内预测模式的总数增加到67种。如果从67种帧内预测模式中选择6种帧内模式作为MPM，则剩下61种模式。根据实施例，由于61不是2的幂，所以添加了3个附加帧内模式以使帧内预测模式的总数等于70。在该实施例中，存在6个MPM和64种剩余模式可以使用6位固定长度编解码进行编解码。这三个附加模式可以包括一个或多个角度模式，例如，在45度和225度之外的广角模式(wide angular mode)。在一个示例中，如图3所示，附加模式之一是模式2下方的帧内预测模式，或者是模式34右侧的帧内预测模式。在另一示例中，一个或多个附加模式可以是垂直、水平或对角线模式附近的一个或多个模式，其可减少垂直、水平或对角线模式之间的角度差异。在另一实施例中，一个附加模式是平面模式的变体。例如，平面模式的右下位置像素的生成可以不同。可以添加具有不同右下位置像素的不同平面模式。在另一实施例中，一个或多个附加模式可以是组合模式。例如，垂直模式加平面模式、水平模式加平面模式、垂直模式加DC模式，或水平模式加DC模式。
一个实施例选择6种帧内预测模式作为MPM，并留下64种剩余模式，其中6种MPM包括从下一代视频编解码标准的67种帧内预测模式中选择的3种模式和3种附加模式。可以使用6位固定长度的编解码来对64种剩余模式进行编解码。附加模式的一个示例是角度模式，例如广角模式。广角模式可以从45度和225度之外的模式中选择，例如，广角模式是图7B中模式H+16以下的帧内模式或模式V+16右侧的帧内模式。在另一个示例中，附加模式是接近垂直、水平或对角线模式的模式。可以通过减小垂直、水平或对角线模式附近的模式之间的角度差来导出附加模式。在另一示例中，附加模式是平面模式的变体，例如，使用与在平面模式中使用的像素不同的右下角位置像素来导出附加模式。可以将具有不同右下位置像素的不同平面模式添加到MPM。附加模式的另一个示例是混合两个或多个原始模式的组合模式，例如，垂直模式加平面模式、水平模式加平面模式、垂直模式加DC模式或水平模式加DC模式。
示例性流程图图8是示出在视频编码或解码系统中实现的视频处理方法的示例性实施例的流程图。在该示例性实施例中的视频编码或解码系统在步骤S810中通过首先接收与当前块相关联的输入数据来处理当前视频图片中的视频数据，并且在步骤S820中确定当前块是否是越界节点。越界节点是具有跨越当前图片边界的块区域的编解码树节点。例如，越界节点具有跨当前图片的左图片边界或当前图片的底图片边界的块区域。如果当前块跨越当前图片边界，则视频编码或解码系统在步骤S830中确定用于当前块的推断的分割类型。推断的分割类型的一个示例是四叉树分割。应用推断的分割类型以将当前块分割为子块，然后在步骤S840中将每个子块自适应地分割为一个或多个叶块，换句话说，每个子块是单个叶块或每个子块被分成多个叶块。在步骤S850中，如果当前块不是越界节点，则将当前块自适应地分割为一个或多个叶块，换言之，当前块为单个叶块或将其分割为多个叶块。在一个实施例中，当将每个子块分割成一个或多个叶块或将当前块分割成一个或多个叶块时，应用分割约束和重新访问约束，其中，分割约束将每个叶块完全限制在一个流水线单元中，或限制每个叶块包含完整的一个或多个流水线单元，并且如果叶块的处理需要在离开流水线单元后重新访问该流水线单元，则违反重新访问约束。流水线单元被定义为用于流水线处理的基本单元，并且当前图片被分为多个不重迭的网格，以允许视频编解码系统中的不同流水线级同时处理连续的流水线单元。然后，视频编码或解码系统在步骤S860中对当前图片内部的当前块中的叶块进行编码或解码。
在另一个实施例中，视频编码或解码系统确定当前块是否是越界节点并且大于预定大小，并且仅在其为越界节点且大于预定大小时使用推断出的分割类型来分割当前块。如果当前块是越界节点并且小于或等于预定义的大小，则不会强制使用推断的分割类型对当前块进行分割。预定大小的一些示例包括流水线单位大小、最大变换大小、最大变换大小的倍数、64x64亮度样本或128x128亮度样本。
图9是说明可在视频编码或解码系统中实施的视频处理方法的另一示例性实施例的流程图。视频编码或解码系统在步骤S910中接收当前图片中的当前块的输入数据，并且在步骤S920中确定当前块是否是分割深度等于0的越界节点。越界节点是具有跨越当前图片边界的块区域的编解码树节点。例如，当前图片被分割为非重迭编解码树单元(CTU)，并且当前块是跨右图片边界的CTU或跨底部(bottom)图片边界的CTU。在步骤S930中，视频编码或解码系统确定用于分割深度等于0的越界节点的第一分割，并且用于对帧间切片、图片或图块中的越界节点分割的该第一分割与用于对帧内切片、图片或图块中的越界节点分割的第一分割相同。换句话说，确定相同的第一分割类型用于分割，无论要分割的越界节点是在帧间还是帧内切片、图片或图块中。例如，第一个分割是四叉树分割。应用第一分割以将当前块分割为子块，并且在步骤S940中将每个子块自适应地分割为一个或多个叶块。如果当前块不是越界节点，或者如果当前块不是在等于0的分割深度，则在步骤S950中根据常规方法将当前块自适应地分割为一个或多个叶块。例如，视频编码系统为当前块选择最佳分割结构，并发信分割信息，以允许视频解码系统解析用于解码当前块的分割信息。在步骤S960中，对当前图片内部的当前块中的一个或多个叶块进行编码或解码。在一个实施例中，一种满足分割约束的分割方法被应用于分割当前块中的每个子块或分割当前块。分割约束限制每个叶块完全包含在一个流水线单元中，或者限制每个叶块包含完整的一个或多个流水线单元。在一个实施例中，当将每个子块分割成一个或多个叶块或将当前块分割成一个或多个叶块时，应用重新访问约束，并且如果叶块的处理需要在离开流水线单元后重新访问流水线单元，则违反了重新访问约束。在另一个实施例中，分割约束和重新访问约束都被应用于分割当前块中的子块或分割当前块。
示例性系统框图图10示出了用于视频编码器1000的示例性系统框图，该视频编码器1000实现了用分割约束对当前块进行分割的各种实施例。块结构分割模块1010接收视频图片的输入数据，并为要编码的视频图片中的每个块确定块分割结构。在本发明的一些实施例中，如果当前块是越界节点，则块结构分割模块1010使用推断的分割类型将当前块分割为子块，然后将每个子块自适应地分割为一个或多个叶块。根据本发明的一些其他实施例，如果当前块是分割深度为0的越界节点，则块结构分割模块1010使用第一分割类型将当前块分割为子块。用于分割帧间切片、图片或图块中越界节点的第一分割类型与用于分割帧内切片、图片或图块中越界节点的第一分割类型相同。例如，当前块是CTU，第一个分割类型是四叉树分割。在一些实施例中，根据分割约束和重新访问约束中的一个或两个，将越界节点的每个子块进一步分割为叶块。分割约束将每个叶块限制为完全包含在一个流水线单元中，或者将每个叶块限制为包含一个或多个完整的流水线单元。流水线单元是当前视频图片中设计用于流水线处理的非重迭单元，并且流水线单元的大小是根据视频压缩标准基于配置文件或级别预定义或隐式定义的。例如，将流水线单位大小设置为最大变换块大小。通过帧内预测模块1012中的帧内预测或帧间预测模块1014中的帧间预测来预测当前图片中的每个叶块，以去除空间冗余或时间冗余。帧内预测模块1012基于当前图片的重构视频数据为叶块提供帧内预测子。帧间预测模块1014执行运动估计(ME)和运动补偿(MC)，以基于来自其他一个或多个视频图片的视频数据为叶块提供预测子。开关1016选择帧内预测模块1012或帧间预测模块1014以将预测子提供给加法器1018以形成预测误差，也称为残差。变换(T)模块1020及随后的量化(Q)模块1022进一步处理当前叶块的残差。然后，经熵编码器1034对变换和量化的残差信号进行编码，以形成视频位流。然后，将视频位流与辅助信息(side information)打包在一起。逆量化(IQ)模块1024和逆变换(IT)模块1026处理当前叶块的经变换和量化的残差信号，以恢复预测残差。如图10中所示，通过在重构(REC)模块1028处将其加回到所选择的预测变量来恢复残差以产生重构的视频数据。重构的视频数据可以被存储在参考图片缓冲器(Ref.Pict.Buffer)1032中，并且被帧间预测模块1014用于其他图片的预测。来自REC 1028的重构视频数据可能由于编码处理而遭受各种损害，因此，在将其存储在参考图片缓冲器1032中之前，将环路处理滤波器1030应用于重构视频数据以进一步提高图片质量。
在图11中示出了用于对由图10的视频编码器1000生成的视频位流进行解码的对应的视频解码器1100。由熵解码器1110对视频解码器1100的输入进行解码，以解析和恢复变换和量化后的残差信号和其他系统信息。块结构分割模块1112根据本发明的各个实施例确定每个视频图片中的每个块的块分割结构。在一些实施例中，块结构分割模块1112使用推断的分割类型来对跨右图片边界和底部图片边界之一或二者的所有越界块进行分割。在一个实施例中，推断的分割类型用于分割大于预定大小的所有越界块，例如，预定大小等于流水线单元大小或变换块大小。通过推断的分割类型将每个越界块分割为子块，然后将每个子块自适应地分割为一个或多个叶块。在一些其他实施例中，块结构分割模块1112使用第一分割类型分割具有等于0的分割深度的越界块，并且用于对帧间切片、图片或图块中的越界节点分割的第一分割类型与用于对帧内切片、图片或图块中的越界节点分割的第一分割类型相同。在通过第一分割类型分割之后，将每个子块自适应地分割为一个或多个叶块。可以应用分割约束，该约束限制每个叶块完全包含在一个流水线单元中或限制每个叶块包含一个或多个完整流水线单元。流水线单位是当前视频图片中用于流水线处理的非重迭单位，并且流水线单位的大小是预定义的或隐式确定的。解码器1100的解码过程类似于编码器1000处的重构循环，不同之处在于解码器1100仅需要帧间预测模块1116中的运动补偿预测。每个叶块由帧内预测模块1114或帧间预测模块1116解码，开关1118根据解码后的模式信息选择帧内预测子或帧间预测子。通过逆量化(IQ)模块1122和逆变换(IT)模块1124恢复与每个叶块相关联的经变换和量化的残差信号。通过在REC 1120中将预测值加回以产生重构的视频来重构所恢复的残差信号。重构的视频由环路处理滤波器(滤波器)1126进一步处理以生成最终的解码视频。如果当前解码的视频图片是参考图片，则当前解码的视频图片的重构视频也存储在参考图片缓冲器1128中用于解码顺序以后的图片。
图10和图11中的视频编码器1000和视频解码器1100的各个组件可以由硬件组件、配置为执行存储在存储器中的程序指令的一个或多个处理器、或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制对与当前图片相关联的输入数据的接收。处理器配备有一个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器1000和解码器1100中的某些组件中执行功能，并且与处理器电耦合的存储器用于存储程序指令，与重构数据相对应的信息和/或编码或解码过程中的中间数据。在一些实施例中，存储器包括非暂时性计算机可读介质，例如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储介质。存储器也可以是上面列出的两个或更多个非暂时性计算机可读介质的组合。参照图10和图11所示，编码器1000和解码器1100可以在同一电子设备中实现，因此，如果在同一电子设备中实现，则编码器1000和解码器1100的各种功能组件可以被共享或重复使用。可以在编码器1000的块结构分割模块1010和/或解码器1100的块结构分割模块1112中实现本发明的任何实施例。可替换地，可以将任何实施例实现为编码器1000的块结构分割模块1010和/或解码器1100的块结构分割模块1112耦合的电路，以提供给熵解码器1110或块结构分割模块1112所需的信息。
具有一个或多个分割约束的所提出的视频处理方法可以被用作编码器和解码器的规范约束，或者可以被用作编码器非规范约束。对于规范约束的示例，与分割大于预定大小的越界块相关联的分割语法没有被发信，并且由编码器和解码器两者来推断。对于编码器非规范约束的示例，如果当前块是大于预定义大小的越界块，则仍会向相应的解码器发信分割语法，但是分割语法的值是固定的或衍生值。
具有一个或多个分割约束的视频处理方法的实施例可以在集成到视频压缩晶片中的电路或集成到视频压缩软件中的程序编解码器中实现，以执行上述处理。例如，可以在要在计算机处理器、数字信号处理器(DSP)、微处理器或现场可编程门阵列(FPGA)上执行的程序编解码中实现对当前块的块分割结构的确定。通过执行定义本发明所体现的特定方法的机器可读软件编解码或固件编解码，可以将这些处理器配置为执行根据本发明的特定任务。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入权利要求等同含义和范围内的所有改变均应包含在其范围之内。

Claims (18)

1.一种视频数据处理方法，用于视频编解码系统，包括：
接收与当前图片中的当前块相关联的输入数据；
确定该当前块是否为越界节点，其中，该越界节点是该当前图片的编码解码树节点，其具有跨越当前图片边界的块区域；
如果该当前块是越界节点，则确定推断的分割类型；
如果该当前块是越界节点，则应用该推断的分割类型将该当前块分割为子块，然后将每个子块自适应地分割为一个或多个叶块，或者如果当前块不是越界节点，将该当前块自适应地分割为一个或多个叶块；以及
对该当前图片内该当前块中的该一个或多个叶块进行编码或解码，
其中当该当前块是越界节点时，确定该当前块是否大于预定大小，仅在该当前块大于该预定大小时，才使用该推断的分割类型来分割该当前块，以及如果该当前块小于或等于该预定大小，则不会强制使用该推断的分割类型对该当前块进行分割，
其中，该预定大小被设置为流水线单元大小、最大变换大小或该最大变换大小的倍数。
2.根据权利要求1所述的视频数据处理方法，其中，该流水线单元大小是流水线单元的大小，其中，该流水线单元被定义为用于流水线处理的基本单元，并且该当前图片被分为多个不重迭的网格以允许该视频编解码系统中的不同流水线级同时处理连续的流水线单元。
3.根据权利要求1所述的视频数据处理方法，其中，未发信或解析用于分割大于该预定大小的越界节点的该推断的分割类型的分割信息。
4.根据权利要求1所述的视频数据处理方法，其中，用于越界节点的该推断的分割类型是四叉树分割。
5.根据权利要求1所述的视频数据处理方法，其中，根据该当前图片边界确定该推断的分割类型，其中，当该当前块跨越底部图片边界时该推断的分割类型为水平二叉树分割，或者当该当前块越过右侧图片边界时该推断的分割类型为垂直边界树分割。
6.根据权利要求1所述的视频数据处理方法，其中，自适应地分割每个子块还包括：确定是否从该当前块中分割出的任何子块都跨越流水线单元边界，以及将该子块分割成叶块，直到没有一个叶块跨越该流水线单元边界为止，其中该流水线单元边界是用于流水线处理的流水线单元的边界，并且该当前图片被分割为多个不重迭的网格，以允许该视频编解码系统中的不同流水线级同时处理连续的流水线单元。
7.根据权利要求1所述的视频数据处理方法，其中，自适应地分割每个子块还包括：确定是否任何子块的宽度或高度大于阈值；以及分割具有高度或宽度大于该阈值的该子块，直到该宽度或高度小于或等于该阈值为止，其中该阈值等于流水线单元的宽度或高度、最大变换宽度或高度或该最大变换宽度或高度的倍数。
8.根据权利要求1所述的视频数据处理方法，其中，用于越界节点的该推断的分割类型是多个有效分割类型之一，其中，该多个有效分割类型中的每一个将该当前块分割为不跨越流水线单元边界的多个子块。
9.根据权利要求1所述的视频数据处理方法，其中，该当前块是具有等于0的分割深度的编解码树节点，并且对于帧间和帧内切片、图片或图块中的所有越界节点，用于该当前块的该推断的分割类型相同。
10.根据权利要求1所述的视频数据处理方法，其中，当将每个子块分割成一个或多个叶块或将该当前块分割成一个或多个叶块时，应用分割约束，并且该分割约束将每个叶块限制为完全包含在一个流水线单元中或每个叶块包含完整的一个或多个流水线单元，其中，该流水线单元被定义为流水线处理的基本单元，并且该当前图片被划分为多个不重迭的网格，以允许该视频编解码系统中的不同流水线级同时处理连续的流水线单元。
11.根据权利要求1所述的视频数据处理方法，其中，当将每个子块分割成一个或多个叶块或将该当前块分割成一个或多个叶块时，应用重新访问约束，并且如果处理该叶块需要在离开流水线单元后重新访问该流水线单元，则违反了该重新访问约束，其中，该流水线单元被定义为流水线处理的基本单元，并且该当前图片被划分为多个不重迭的网格，以允许该视频编解码系统中的不同流水线级同时处理连续的流水线单元。
12.一种视频数据处理方法，用于视频编解码系统，包括：
接收与当前图片中的当前块相关联的输入数据；
确定该当前块是否为分割深度等于0的越界节点，其中，该越界节点是具有跨越当前图片边界的块区域的编解码树节点；
如果该当前块是分割深度等于0的越界节点，则确定第一分割类型，其中，用于在帧间切片、图片或图块中分割分割深度等于0的越界节点的该第一分割类型与用于在帧内切片、图片或图块中分割分割深度等于0的越界节点的该第一分割类型相同；
如果该当前块是分割深度等于0的越界节点，则应用该第一分割类型将该当前块分割为多个子块，并自适应地将每个子块分割为一个或多个叶块，或如果该当前块不是分割深度等于0的越界节点，则自适应地将该当前块分割为一个或多个叶块；以及
对该当前图片内该当前块的该一个或多个叶块进行编码或解码。
13.根据权利要求12所述的视频数据处理方法，其中，用于具有等于0的分割深度的越界节点的该第一分割类型是四叉树分割。
14.根据权利要求12所述的视频数据处理方法，其中，当该当前块是具有等于0的分割深度的越界节点时，相同的分割方法被应用于分割该帧间切片、图片或图块中的该当前块中的该多个子块，或用于分割该帧内切片、图片或图块中的该当前块中的该多个子块。
15.根据权利要求12所述的视频数据处理方法，其中，分割约束被应用于将该当前块中的每个子块分割为一个或多个叶块，或者将该当前块分割为一个或多个叶块，该分割约束将每个叶块限制为完全包含在一个流水线单元中或限制每个叶块包含完整的一个或多个流水线单元，其中该流水线单元被定义为流水线处理的基本单元，并且该当前图片被分为多个不重迭的网格以允许该视频编解码系统中的不同流水线级同时处理连续的流水线单元。
16.根据权利要求12所述的视频数据处理方法，其中，将重新访问约束应用于将该当前块中的每个子块分割为一个或多个叶块，或者将该当前块分割为一个或多个叶块，并且如果处理该叶块需要在离开流水线单元后重新访问该流水线单元，则违反了该重新访问约束，其中，该流水线单元被定义为流水线处理的基本单元，并且该当前图片被划分为多个不重迭的网格，以允许该视频编解码系统中的不同流水线级同时处理连续的流水线单元。
17.一种在视频编解码系统中处理视频数据的装置，该装置包括一个或多个电子电路，其被配置用于：
接收与当前图片中的当前块相关联的输入数据；
确定该当前块是否为越界节点，其中，该越界节点是该当前图片的编码解码树节点，其具有跨越当前图片边界的块区域；
如果该当前块是越界节点，则确定推断的分割类型；
如果该当前块是越界节点，则应用该推断的分割类型将该当前块分割为子块，然后将每个子块自适应地分割为一个或多个叶块，或者如果当前块不是越界节点，将该当前块自适应地分割为一个或多个叶块；以及
对该当前图片内该当前块中的该一个或多个叶块进行编码或解码，
其中当该当前块是越界节点时，确定该当前块是否大于预定大小，仅在该当前块大于该预定大小时，才使用该推断的分割类型来分割该当前块，以及如果该当前块小于或等于该预定大小，则不会强制使用该推断的分割类型对该当前块进行分割，
其中，该预定大小被设置为流水线单元大小、最大变换大小或该最大变换大小的倍数。
18.一种非暂时性计算机可读介质，其存储使装置的处理电路对视频数据执行视频处理方法的程序指令，该方法包括：
接收与当前图片中的当前块相关联的输入数据；
确定该当前块是否为越界节点，其中，该越界节点是该当前图片的编码解码树节点，其具有跨越当前图片边界的块区域；
如果该当前块是越界节点，则确定推断的分割类型；
如果该当前块是越界节点，则应用该推断的分割类型将该当前块分割为子块，然后将每个子块自适应地分割为一个或多个叶块，或者如果当前块不是越界节点，将该当前块自适应地分割为一个或多个叶块；以及
对该当前图片内该当前块中的该一个或多个叶块进行编码或解码，
其中当该当前块是越界节点时，确定该当前块是否大于预定大小，仅在该当前块大于该预定大小时，才使用该推断的分割类型来分割该当前块，以及如果该当前块小于或等于该预定大小，则不会强制使用该推断的分割类型对该当前块进行分割，
其中，该预定大小被设置为流水线单元大小、最大变换大小或该最大变换大小的倍数。
CN201980087901.XA 2019-01-10 2019-12-24 越界节点视频数据的处理方法及装置 Active CN113632479B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962790931P 2019-01-10 2019-01-10
US62/790,931 2019-01-10
US201962793281P 2019-01-16 2019-01-16
US62/793,281 2019-01-16
PCT/CN2019/127834 WO2020143442A1 (en) 2019-01-10 2019-12-24 Methods and apparatuses of processing video data of out-of-bounds nodes

Publications (2)

Publication Number Publication Date
CN113632479A CN113632479A (zh) 2021-11-09
CN113632479B true CN113632479B (zh) 2023-10-10

Family

ID=71520222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087901.XA Active CN113632479B (zh) 2019-01-10 2019-12-24 越界节点视频数据的处理方法及装置

Country Status (6)

Country Link
US (1) US20220094922A1 (zh)
EP (1) EP3909243A4 (zh)
CN (1) CN113632479B (zh)
MX (1) MX2021008343A (zh)
TW (1) TWI737097B (zh)
WO (1) WO2020143442A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262960A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 크로마 성분 부호화 블록의 최대 변환 크기 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114097232A (zh) * 2019-06-25 2022-02-25 交互数字Vc控股法国有限公司 用于译码/解码图片数据的方法和装置
CN114046798B (zh) * 2021-11-16 2023-07-25 中国联合网络通信集团有限公司 一种辅助探索城市的路径规划方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094342A1 (en) * 2011-01-05 2012-07-12 Qualcomm Incorporated Frame splitting in video coding
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
MX2020012809A (es) * 2018-05-30 2021-02-15 Huawei Tech Co Ltd Extension de profundidad de arbol multi-tipo para manejo de limite de imagen.
WO2020061949A1 (en) * 2018-09-27 2020-04-02 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoder, and decoder

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094342A1 (en) * 2011-01-05 2012-07-12 Qualcomm Incorporated Frame splitting in video coding
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Jianle Chen等.Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3).Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN.2018,第1-37页. *
Meng Xu等.CE1-related: Non-square virtual pipeline data unit.Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN.2018,全文. *
Shih-Ta Hsiang等.CE1.2.0.10: CU partitioning along picture boundaries.Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI.2018,第1、2页. *

Also Published As

Publication number Publication date
EP3909243A1 (en) 2021-11-17
EP3909243A4 (en) 2022-11-09
US20220094922A1 (en) 2022-03-24
MX2021008343A (es) 2021-08-05
CN113632479A (zh) 2021-11-09
TW202038619A (zh) 2020-10-16
WO2020143442A1 (en) 2020-07-16
TWI737097B (zh) 2021-08-21

Similar Documents

Publication Publication Date Title
US11064220B2 (en) Method and apparatus of video data processing with restricted block size in video coding
CN110999297B (zh) 在图像或视频编码系统中处理图像的方法和装置
US11425373B2 (en) Intra-prediction mode-based image processing method and device therefor
US11882286B2 (en) Image processing method, and device for same
TWI708502B (zh) 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或解碼的視訊處理方法
US10812795B2 (en) Method for processing picture based on intra-prediction mode and apparatus for same
TWI720584B (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
US20170374369A1 (en) Methods and Apparatuses of Decoder Side Intra Mode Derivation
US11051009B2 (en) Video processing methods and apparatuses for processing video data coded in large size coding units
KR20180046876A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10681354B2 (en) Image encoding/decoding method and apparatus therefor
CN113632479B (zh) 越界节点视频数据的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220428

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant