CN111713112A - 图像边界处理的多类型树深度扩展 - Google Patents

图像边界处理的多类型树深度扩展 Download PDF

Info

Publication number
CN111713112A
CN111713112A CN201980012698.XA CN201980012698A CN111713112A CN 111713112 A CN111713112 A CN 111713112A CN 201980012698 A CN201980012698 A CN 201980012698A CN 111713112 A CN111713112 A CN 111713112A
Authority
CN
China
Prior art keywords
boundary
image
division
depth
ctu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980012698.XA
Other languages
English (en)
Inventor
高晗
赵志杰
塞米赫·艾森力克
阿南德·梅赫·科特拉
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010912051.7A priority Critical patent/CN112235584B/zh
Priority to CN202210130353.8A priority patent/CN114598870A/zh
Publication of CN111713112A publication Critical patent/CN111713112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

本发明提供了用于将图像划分为编码单元的装置和方法。将图像划分为编码树单元(coding tree units，简称CTU)，并对所述编码树单元进行层次划分。层次划分包括多类型划分，如二叉树或四叉树划分。对于完全位于图像内的CTU和位于边界的CTU，选择相应的多类型划分深度。本发明提供了图像边界部分的多类型划分，可增强灵活性。

Description

图像边界处理的多类型树深度扩展
本发明涉及视频处理领域，尤其涉及通常被称为混合视频编码和压缩的主题。
背景技术
通用视频编码(Versatile Video Coding，简称VVC)下一代标准是ITU-T视频编码专家组(Video Coding Experts Group，简称VCEG)和ISO/IEC运动图像专家组(MovingPicture Experts Group，简称MPEG)最近的联合视频项目，这两个标准化组织共同合作，其伙伴关系被称为联合视频探索小组(Joint Video Exploration Team，简称JVET)。
基于当前块的混合视频编解码器采用预测编码。视频序列的图像被划分为像素块，然后对这些块进行编码。不是逐个像素地对块进行编码，而是使用与整个块空间相邻或时间相邻的编码后像素来预测该块。编码器进一步仅处理该块与其预测块之间的差。所述进一步处理通常包括将该块像素变换为变换域中的系数。然后，可将系数进一步压缩(例如，通过量化)、再压缩(例如，通过熵编码)以形成比特流。所述比特流还可包括任何能够使解码器解码编码视频的信令信息。例如，该信令可包括编码器设置相关的设置，例如输入图像的大小、帧率、量化步长指示、应用于图像块的预测等。
块和其预测块之间的差值称为块的残差。更具体地，块的每个像素都有残差，即该像素的强度级别与其预测强度级别之间的差值。像素的强度级别称为像素值。块的所有像素的残差统称为块的残差。换言之，块具有残差，所述残差是所述块的所有像素的残差组成的集合或矩阵。然后所述残差与信令信息一起进行变换、量化和编码。该编码可包括各种形式的固定长度编码和可变长度编码，包括算术编码或其它熵编码类型。
在基于块的混合视频编码中，每个图像被划分为像素点(sample)块，并且图像中的多个块被聚合以形成作为独立可解码实体的切片。进行了预测和/或变换的块称为编码单元(coding unit，简称CU)或编码块(coding block，简称CB)。编码单元的大小可以不同。
例如，在高效视频编码(High-Efficiency Video Coding，简称HEVC，也称为H.265)中，视频帧被划分为编码树单元(coding tree unit，简称CTU，也称为编码树块(coding tree block，简称CTB))。CTB是大小相同但不相交的方块，例如64x64像素点。每个CTB作为块划分四叉树结构(即编码树)的根。沿着编码树结构，CTB可以进一步划分为编码块，该编码块的预测类型是确定的。该编码块可进一步划分为更小的变换块，可对该变换块进行变换和量化。
有关HEVC中划分的细节，可参见V.Sze等人编辑的《高效视频编码(HEVC)：算法与架构》，斯普林格出版社，2014年版，第3.2章。
另外，WO 2016/090568还展示了一个二叉树结构，通过四叉树加二叉树结构将一个单元划分成多个更小的单元。因此，首先对根单元进行四叉树结构划分，然后再采用二叉树结构划分四叉树叶节点。
发明内容
本发明的实施例由独立权利要求的特征定义，并且由从属权利要求的特征定义实施例的其它有利实现方式。
根据一般方面，本发明提供了一种用于将图像划分为编码单元的装置，所述装置包括处理电路。所述装置用于将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中,所述非边界CTU沿水平和竖直方向上具有预定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者所述竖直图像边界方向上的尺寸小于所述预定尺寸；将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中，所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；，所述多类型划分是指所述划分方向为竖直或水平方向的划分，所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。
这可增强边界划分的灵活性。
进一步，在所述装置的一种实现方式中，所述最大边界多类型划分深度至少为自适应边界多类型划分深度与预定义多类型划分深度之和，其中，所述自适应边界多类型划分深度为以所述图像边界方向为划分方向的多类型划分深度。
在边界编码树单元或划分块中使用多类型划分时，这有利于自适应地确定划分深度。
例如，所述预定义多类型划分深度等于最大非边界多类型划分深度。
这样就可以重复使用最大非边界多类型划分深度。
进一步，在所述装置的一种实现方式中，所述和还包括所述图像边界方向上的大小和垂直于所述边界CTU的边界划分块的图像边界方向上的大小之比的函数，所述边界划分块为所述自适应边界多类型划分深度的块。
这进一步增加了多类型边界划分的最大深度，从而增强了划分灵活性。
例如，所述函数是二进制对数。
这是有益的，因为它提供了一种实际的实现方式。
进一步，在一些实施例中，所述最大边界多类型划分深度为预定义的。
这有助于减少确定层次划分的计算成本。
例如，所述边界CTU的层次划分还包括四叉树划分。
这样就可以从不同模式中进行灵活选择。
进一步，在所述装置的一种实现方式中，所述最大边界多类型划分深度大于或等于所述最大非边界多类型划分深度。
这可以增强最大可能边界划分深度。
本发明还提供了一种用于编码视频序列的图像的装置，所述装置包括根据上述示例和实施例中的任一用于将图像划分为编码单元的装置。所述装置还包括图像编码单元，用于对所述编码单元进行编码，以及比特流形成单元，用于生成比特流，所述比特流包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息。
进一步，在一种实现方式中，所述图像编码装置包括所述图像划分装置，其中所述最大边界多类型划分深度为预定义的；所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度。
此外，本发明还提供了一种用于解码视频序列的图片的装置，所述装置包括用于解析比特流的比特流解析器，所述比特流解析器包括编码后的编码单元；根据上述示例和实施例中任一项的图片划分确定装置；以及图片解码单元，用于基于所确定的图片划分对所述编码后的编码单元进行解码。
进一步，在一种实现方式中，所述图像解码装置包括所述图像划分确定装置，其中最大边界多类型划分深度为预定义的；所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度；所述图像划分确定装置还用于从所述序列参数集中获取所述第二最大多类型划分深度。
根据另一个一般方面，本发明提供了一种用于将图像划分为编码单元的方法。所述方法包括将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中,所述非边界CTU沿水平和竖直方向上具有预定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者所述竖直图像边界方向上的尺寸小于所述预定尺寸；将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中，所述非边界CTU的层次划分为受最大非边界多类型划分深度的约束的多类型划分，所述多类型划分是指所述划分方向为竖直或水平方向的划分，所述边界CTU的层次划分为受最大边界多类型划分深度约束的多类型划分。
进一步，在所述方法的一种实现方式中，所述最大边界多类型划分深度至少为自适应边界多类型划分深度与预定义多类型划分深度之和，其中，所述自适应边界多类型划分深度为以所述图像边界方向为划分方向的多类型划分深度。
例如，所述预定义多类型划分深度等于所述最大非边界多类型划分深度。
进一步，在所述方法的一种实现方式中，所述和还包括所述图像边界方向上的大小和垂直于所述边界CTU的边界划分块的图像边界方向上的大小之比的函数，所述边界划分块为所述自适应边界多类型划分深度的块。
例如，所述函数是二进制对数。
在另一实施例中，所述最大边界多类型划分深度为预定义的。
进一步，在一种实现方式中，所述边界CTU的层次划分还包括四叉树划分。
例如，所述最大边界多类型划分深度大于或等于所述最大非边界多类型划分深度。
本发明还提供了一种用于编码视频序列的图像的方法，所述方法包括根据上述任一实施例中将图像划分为编码单元的步骤；以及比特流形成步骤，生成包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息的比特流。
进一步，在一种实现方式中，所述图像编码方法包括所述图像划分方法，其中所述最大边界多类型划分深度为预定义的；所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度。
本发明还提供了一种用于解码视频序列的图像的方法，所述方法包括解析包括编码后的编码单元的比特流的步骤；根据上述任一实施例的图像划分确定步骤；以及基于所述确定的图像划分对所述编码后的编码单元进行解码的图像解码步骤。
进一步，在一种实现方式中，所述图像解码方法包括所述图像划分确定方法，其中所述最大边界多类型划分深度为预定义的；所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度；所述图像划分确定装置还用于从所述序列参数集中获取所述第二最大多类型划分深度。
又一方面，本发明提供了存储指令的一种计算机可读介质，当所述指令由处理电路执行时，使得所述处理电路执行根据上述任一实施例中的用于将图像划分为编码单元的方法、用于编码视频序列的图像的方法、或用于解码视频序列的图像的方法。
附图和以下描述对一个或多个实施例的细节进行了阐述。从描绘、附图和权利要求中明显看出其它特征、目的和优点。
附图说明
以下结合附图本发明实施例进行更详细地描述，其中：
图1为用于实现本发明实施例视频编码器的示例性结构的框图；
图2为用于实现本发明实施例视频解码器的示例性结构的框图；
图3为HEVC采用的四叉树划分的示例的示意图；
图4为几种编码单元划分模式的示意图；
图5为四叉树/二叉树划分示例的示意图；
图6为边界部分的强制四叉树划分的示意图；
图7为边界部分的二叉树划分的示意图；
图8为用于将图像划分为编码单元的装置的框图；
图9为边界部分划分的示意图；
图10为使用二叉树划分进行边界划分的示例图；
图11为使用二叉树划分进行边界划分的又一示例图；
图12为使用四叉树划分和二叉树划分的边界划分比较图；
图13为最大多类型树深度扩展的实现方式的流程图；
图14为用于实现本发明实施例视频编码系统的示例的框图；
图15为视频编码设备的示意图。
具体实施方式
本发明涉及将图像划分(即划分)成更小的单元，以便进一步处理。这种划分有利于静止图像或视频图像的编码和解码。下文描述了示例性视频编码器和解码器，能够根据本发明实现划分。
图1示出了编码器100，编码器100包括用于接收视频流的帧或图像的输入块的输入端，和用于提供编码视频比特流的输出端。本发明中的术语“帧”是图像的同义词。但应注意的是，在使用隔行扫描的情况下，本发明也适用于场。通常，图像包括m×n个像素。这些像素对应图像像素点，且每个像素可包括一个或多个颜色分量。为了简单起见，以下描述提及的像素用来表示亮度像素点。但应注意的是，本发明所述划分方法可以应用于包括色度的任何颜色分量或RGB等颜色空间的分量。另一方面，仅对一个分量进行划分并将所确定的划分方式应用于更多(或所有)剩余分量可能是有益的。
编码器100用于对视频流进行划分、预测、变换、量化和熵编码。
在划分单元110中，输入视频帧在编码之前被进一步划分。待编码块的大小不一定相同。一个图像可包括不同大小的块，且视频序列中不同图像的块栅格也可以不同。特别地，每个视频图像(图片)首先被划分为具有相同固定大小的CTU。所述CTU大小可以是(例如，在标准中)固定的和预定义的。HEVC采用的CTU大小为64×64。然而，本发明不限于标准和固定的大小。提供可在编码器处设置的CTU大小，CTU大小可作为比特流中的信令参数，这种方法可能是有利的。例如，不同的CTU大小可用于不同的图像大小和/或内容类型。可通过任何级别的信令指示所述CTU大小，例如，CTU大小可通用于整个视频序列或其部分(即，多个图像)或单个图像。相应地，例如，也可在当前编解码器(H.264/AVC，H.265/HEVC)已知的图像参数集PPS、序列参数集SPS或视频参数集VPS内，或类似的参数集内指示所述CTU大小。或者，可在切片头或任何其它级中指定CTU大小。CTU大小的取值可不同于64×64。例如，其可以为128×128个像素点。一般来说，为了通过二叉树或四叉树执行层次划分，提供2的幂次方的CTU大小可能是有益的，即以2n的格式提供，其中n为大于2的整数。
图3所示的图像到CTU的划分以及CTU到CU的划分选自V.Sze等人编辑的《高效视频编码(HEVC)：算法与架构》，斯普林格出版社，2014年版。所述划分遵循四叉树结构，以适应各种局部特性。图3的左侧示出了按照右侧四叉树结构层次划分的CTU。特别地，编码树定义语法，所述语法指定CTU到CU的划分。与CTU类似，CU由方形像素点块以及与这些像素点块相关联的语法组成。因此，从CTU(层次深度0)开始进行层次划分，CTU可以划分为四个(在四叉树中)层次深度为1的CU，也可不必再划分。在图3中，CTU划分为第一层次深度(级)的CU8和16，以及另外两个CU，其中，所述CU8和16不再划分，从而形成四叉树的叶，所述另外两个CU进一步划分为层次深度为2的CU(深度-2的CU)。具体而言，左上侧深度-1的CU进一步划分为形成四叉树叶的深度-2的CU1、2和7，以及另一CU。所述另一CU进一步划分为深度-3的CU3、4、5和6，均为叶。同理，左下侧深度-1的CU进一步划分为深度-2的CU13、14和15(也是四叉树的叶)，和一个剩余CU。所述剩余CU进一步划分为级-3的CU9、10、11和12，均为叶，因此不再划分。
HEVC中四叉树划分的示例性语法如表1所示。
表1：CTU划分标志语法
Figure BDA0002626299150000051
Figure BDA0002626299150000061
特别地，在CTU级，比特流中包含名为split_cu_flag的标志，该标志指示完整的CTU是形成CU或被划分为四个大小相等的对应于方形像素点块的块。如果CTU被划分，则对于每个所得到的块，传输另一个split_cu_flag，指定该块是表示CU或进一步划分为四个大小相等的块。这种层次划分一直持续到所得到的块不再划分。最小的CU大小在序列参数集中指示，其范围可以从8×8个亮度像素点到CTU的大小(包括8×8个亮度像素点和CTU的大小)。在层次划分过程中，当达到所述最小的CU大小时，不传输划分标志给对应块；而是推断这些块不再进一步划分。典型的HEVC编码器设置利用支持的CU大小的最大范围，从而可以使用范围从8×8到64×64个像素点的CU。CTU内的CU按深度优先顺序进行编码。这种编码顺序也称为z扫描。它确保对于每个CU，除了位于切片顶部或左边界的像素点之外，CU之上以及留给CU的所有像素点都已编码，使得相应的像素点可用于帧内预测，并且相关联的编码参数可用于预测当前CU的编码参数。
换句话说，split_cu_flag[x0][y0]指定编码单元是否划分为水平和竖直大小各一半的编码单元。阵列索引x0，y0指定编码块的左上侧亮度像素点相对于图像的左上侧亮度像素点的位置(x0，y0)。当split_cu_flag[x0][y0]不存在时，解码器处理如下：
如果log2CbSize(指定编码块大小的参数)大于MinCbLog2SizeY(指定最小可配置编码单元大小的参数)，则推断split_cu_flag[x0][y0]的值等于1。
否则(log2CbSize等于MinCbLog2SizeY)，推测split_cu_flag[x0][y0]的值等于0。
阵列CtDepth[x][y]指定包括位置(x，y)的亮度编码块的编码树深度。当split_cu_flag[x0][y0]等于0时，根据x＝x0..x0+nCbS–1且y＝y0..y0+nCbS–1，推断出CtDepth[x][y]等于cqtDepth。
在VVC(通用视频编码)中，包括四叉树(quad tree，简称QT)划分和多类型(二叉/三叉/非对称二叉类型)树(binary tree，ternary tree，asymmetric binary tree，简称BT/TT/ABT)划分结构取代了多种划分单元类型的概念。换句话说，新的划分结构不区分CU(编码单元)、PU(预测单元)和TU(变换单元)概念(除非CU的大小对于最大变换长度而言太大)，并支持更灵活的CU划分形状[JVET-J1002]。图4示出了当前VTM(VVC测试模型)中使用的划分模式。其中，图4(a)部分示出了不再进一步划分(不划分)的CTU或CU。(b)部分示出了四元树(通常也称为“四叉树”)划分模式，其中CTU或CTU在竖直和水平方向均被划分。(c)和(d)部分分别示出了竖直和水平方向的二叉树划分模式。此外，(e)和(f)部分示出了竖直和水平方向的三叉树划分。可以看出，在三叉树划分中，有两个块大小为1/4，一个块大小为1/2。
对于BT/TT/QT编码树方案，与CTU的层次划分相关的参数由序列参数集(sequenceparameter set，简称SPS)中的语法元素定义和指定，具体如下：
–CTU大小：四叉树的根节点大小
–MinQTSize：允许的最小四叉树叶节点大小
–MaxBTTSize：允许的最大二叉树和三叉树根节点大小
–MaxBTTDepth：允许的最大二叉树和三叉树深度
–MinBTTSize：允许的最小二叉树和三叉树叶节点大小
–MinCUSize：允许的最小CU大小。
图5示出了混合四叉树和二叉树的划分。四叉树划分用实线表示，二叉树划分用虚线表示。节点上的标签1或0分别指示是竖直应用二叉划分或水平应用二叉划分，其中所述节点表示进一步待二叉树划分的编码单元。
在亮度像素点中，视频图像的水平和竖直大小必须是在序列参数集中传输的最小CU大小的整数倍，但不一定是CTU大小的整数倍。如果视频图像的水平或竖直大小不是CTU大小的整数倍，则推断边界处的CTU将被划分，直到所得到的块的边界与图像边界重合。对于这种强制划分，不发送划分标志，但可以使用上述四叉树语法进一步划分所得到的块。不对位于图像区域外的CU进行编码。
这种划分如图6所示，图6示出了HD序列(1920×1080)的底部边界CTU(128×128)强制QT划分。特别地，图6示出了一个帧边界，所述帧边界上有作为切片或图像的边界部分的56条线(长度为128个像素点)。帧边界以下的CTU部分可能属于另一切片或可能根本不存在，例如，如果所述帧边界为底部图像边界。可以看出，强制四叉树划分应用于128×56个像素点。
在HEVC中，色度CTB的划分始终与相应亮度CTB的划分对齐。应注意，本发明可以以相同的方式处理色度分量，但本发明不限于此。也可能有不同颜色分量的独立划分。
回到图1，划分单元110进行图像划分后，变换单元130、量化单元140和熵编码单元150分别进行变换、量化和熵编码，以生成编码视频比特流作为输出。
视频流可包括多个帧。例如，所述视频流的第一帧的块由帧内预测单元190进行帧内编码。帧内帧仅使用来自该帧的信息进行编码，因此可以独立于其它帧进行解码。因此，帧内帧可以在比特流中提供(例如，用于随机访问的)入口点。视频流的其它帧的块可以由帧间预测单元195进行帧间编码：根据另一帧(参考帧，例如，之前编码的帧)中的块预测帧间编码帧的每个块。模式选择单元180用于选择帧的块进行帧内预测或帧间预测，即由帧内预测单元190或由帧间预测单元195处理所述帧的块。模式选择单元180还控制帧内或帧间预测参数。为了能够刷新图像信息，帧间编码帧不仅可包括帧间编码块，还可包括一个或多个帧内编码块。相反，帧内帧只包含帧内编码块，不包含帧间编码块。帧内帧可(例如，有规律地，即每次在一定数量的帧间帧之后)插入到视频序列中，以便提供解码的入口点，即解码器无需使用之前帧的信息便可开始解码的点。
帧内预测单元190是块预测单元。为执行空间预测或时间预测，可进一步由逆量化单元145和逆变换单元135处理编码块。在重构器125重构块之后，可使用环路滤波单元160来进一步提高解码图像的质量。重构器125将解码残差添加到预测器中以获得重构块。然后，滤波块形成参考帧，并存储在帧缓冲器170中。在编码器侧的这种解码环路(解码器)具有产生与在解码器侧重构的参考图像相同的参考帧的优点。因此，编码器侧和解码器侧以对应的方式运行。这里的术语“重构”是指通过将解码残差块添加到预测块来获得重构块。
帧间预测单元195包括作为输入的待帧间编码的当前帧或图像以及来自帧缓冲器170的一个或多个参考帧或图像。帧间预测单元195执行运动估计和运动补偿。运动估计用于(例如，基于成本函数)获得运动矢量和参考帧。然后运动补偿根据参考帧的参考块到当前帧的平移(即通过运动矢量)来描述当前帧的当前块。帧间预测单元195从一个或几个参考帧中的一组候选块(即候选预测器)中选择当前块的预测块(即预测器)，使得预测块最小化所述成本函数。换句话说，成本函数最小的候选块将用作当前块的预测块。
例如，所述成本函数可以是当前块和候选块之间的差值的度量，即所述当前块相对于所述候选块的残差的度量。例如，成本函数可以是当前块的所有像素(像素点)和候选参考图像中候选块的所有像素之间的绝对差值之和(sum of absolute difference，简称SAD)。然而，通常可以使用任何相似性度量，例如均方误差(mean square error，简称MSE)或结构相似性度量(structural similarity metric，简称SSIM)。
然而，所述成本函数也可以是编码此类帧间块所必需的比特数和/或此类编码导致的失真。因此，率失真优化过程可用于决定运动矢量选择和/或一般性地决定编码参数，例如是否对块使用帧间预测或帧内预测，以及使用哪些设置。
帧内预测单元190接收待帧内编码的当前帧或图像的块以及所述当前帧的重构后区域的一个或多个参考像素点作为输入。然后，帧内预测根据当前帧的参考像素点的函数描述当前帧的当前块的像素。帧间预测单元190输出当前块的预测块，其中所述预测块有利地最小化当前待编码块与其预测块之间的差值，即，最小化残差块。例如，可基于率失真优化过程最小化残差块。特别地，获取所述预测块作为所述参考像素点的方向插值。所述方向可以通过率失真优化和/或通过计算上述与帧间预测相关的相似性度量来确定。
当前块与其预测块之间的差值，即残差块，由变换单元130进行变换。变换系数由量化单元140进行量化并由熵编码单元150进行熵编码。由此生成的编码视频比特流包括帧内编码块和帧间编码块以及相应的信令(例如模式指示、所述运动矢量的指示和/或帧内预测方向)。变换单元130可进行线性变换，例如离散傅里叶变换(discrete Fouriertransformation，简称DFT)或离散余弦变换(discrete cosine transformation，简称DCT)。这种空间频域变换的优点在于所得到的系数通常在较低频率中具有较高值。因此，在有效系数扫描(例如Z扫描)和量化之后，所得的值序列通常在开头有一些较大的值，并以一串零结束。这使编码效率进一步提高。量化单元140通过降低系数值的分辨率来执行有损压缩。然后，熵编码单元150将二进制码字赋值给系数值。所述码字被写入称为编码比特流的比特流中。熵编码器还对信令信息(图1未示出)进行编码，其中可包括根据上文所示的划分标志语法进行编码。
图2为视频解码器200的一个示例。视频解码器200尤其包括参考图像缓冲器270和作为块预测单元的帧内预测单元290。参考图像缓冲器270用于存储从编码视频比特流的编码视频比特流重构的至少一个参考帧。帧内预测单元290用于生成预测块，所述预测块是对待解码块的估计。帧内预测单元290用于基于从参考图像缓冲器270获得的参考像素点生成该预测块。
解码器200用于解码由视频编码器100生成的编码视频比特流，优选地，解码器200和编码器100为待编码/解码的相应块生成相同的预测块。参考图像缓冲器270和帧内预测单元290的特征与图1中的参考图像缓冲器170和帧内预测单元190的特征相似。
视频解码器200包括其它在视频编码器100中也存在的单元，例如，逆量化单元240、逆变换单元230和环路滤波单元260，分别对应于视频编码器100的逆量化单元140、逆变换单元150、环路滤波单元160。
比特流解析、熵解码和划分单元250，用于对接收到的编码视频比特流进行解析和解码，以获得量化残差变换系数和信令信息。所述量化残差变换系数被馈送至逆量化单元240和逆变换单元230中，以生成残差块。将残差块添加到重构器225的预测块中，并将所得之和发送至环路滤波单元260以获得解码视频块。所述解码视频的帧可以存储在参考图像缓冲器270中并用作帧间预测的参考帧。从所述比特流中解析和解码的信令信息通常可包括与帧划分相关的控制信息。为了进一步正确解析和解码图像，所述控制信息用于将划分的图像恢复为编码单元，以便将以下解码数据正确分配给相应编码单元。
通常，图1和图2的帧内预测单元190和290可使用编码后区域中的参考像素点生成需要编码或解码的块的预测信号。
比特流解析、熵解码和划分单元250接收编码比特流作为其输入。可首先解析所述比特流，即从比特流中提取信令参数和残差。所述比特流的语法和语义可由标准定义，使得编码器和解码器可互通。
在HEVC标准中，将使用强制四叉树(quad tree，简称QT)划分对位于切片/图像边界上的编码树单元(coding tree unit，简称CTU)或编码单元(coding unit，简称CU)进行划分，直到叶节点的右下侧像素点位于切片/图像边界内。所述强制QT划分不需要在比特流中指示。强制划分的目的在于使编解码器能够对边界CTU/CU进行编解码。换句话说，编码侧和解码侧约定使用QT划分，而不需要进一步用信号发送划分模式。
无论是QTBT结构的专利【WO2016090568】或VTM-1.0.，边界CTU/CU强制划分流程都遵循HEVC。这意味着位于帧边界上的CTU/CU，特别是由于边界穿过使得CU/CU部分位于图像/帧之外的CTU/CU(在本发明中，此类CTU/CU也分别称为“边界CTU”和“边界CU”)，首先由四叉树(quadtree，简称QT)结构进行强制划分，不进行率失真(rate-distortion，简称RD)优化，直到整个当前CU位于切片/图像边界内。这些强制划分不需要在比特流中指示。进一步的划分可基于RD优化实现。图6为强制QT对HD(1920×1080像素)序列底部边界CTU(128×128)的强制划分示例。
由于边界划分只使用QT划分结构，因此可从SPS中的MaxBTTDepth看出VTM中多类型树(BT/TT/ABT)的限制。因此，对于边界CTU(即部分位于边界的两侧的CTU，如图6所示)的划分，总层次深度(TotalDepthLim)的限制，即最大层级深度，采用以下等式(1)：
TotalDepthLim＝QTDepth+MaxBttDepth (1)
在等式(1)中，MaxBttDepth是SPS中指定允许的最大二叉树和三叉树深度。QTDepth为四叉树划分的划分块的层次深度。即，对于应用四叉树划分的层次划分中的每个划分步骤，QTDepth的值加一。例如，QTDepth可对应于表1语法示例中的参数cqtDepth。然而，尽管在每个QT划分步骤中增加QTDepth限制，但层次深度最终受预定的最小允许CU大小(例如，对应于SPS参数minCUSize)的限制。
可以使用BT、TT或ABT(非对称二叉树)处理图像边界。强制法和自适应法均可使用。如果BT/TT等MTT(多类型树)用于边界划分而不是QT划分，则很容易超过SPSMaxBTTDepth对BTT(二叉树和三叉树)的限制。图7为HD序列底部边界CTU中使用的BT示例。如果从CTU级开始使用BT，直到完全在边界内的叶节点(编码单元)，则BT划分深度为4，超出了SPS的MaxBTTDepth(VTM-1.0(VVC测试模型版本1.0)中，MaxBTTDepth设置为3)。
本发明的目的在于提高边界部分的划分灵活性，并提供图像边界处理。除现有技术中用于划分的SPS的MaxBTTdepth之外，本发明的一种方法还定义了边界划分深度限制。为此，专门为边界划分设置了深度值(例如，可称为ExtdMaxBTTDepth)，而不是使用等式(1)中的MaxBttDepth。ExtdMaxBTTDepth可在SPS中预定义和固定，并在SPS比特流中指示，或者也可计算得出。因此，如果在图像边界(强制或自适应)处理中使用多类型树(multi-typetree，简称MTT)划分(例如BT、TT或ABT)，则在解码器和编码器中均可扩展最大MTT深度限制。
本发明的以下方面和实施例描述了获得和计算ExtdMaxBTTDepth的可能方式。
根据一般方面，图8提供了一种用于将图像划分为编码单元的装置800(其可以在上文描述的编码器单元110或解码器单元250中实现)。所述装置包括处理电路，用于将所述图像划分810为编码树单元CTU。所述CTU包括在水平和竖直方向上具有预定大小的非边界CTU，以及部分落在由水平或竖直图像边界划定的图像中的边界CTU，其中所述部分的大小小于垂直于所述图像边界方向的预定义大小。所述电路还用于将所述非边界CTU和所述边界CTU划分为各个编码单元。其中，所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；，所述多类型划分是指划分方向为竖直方向或水平方向的划分。此外，所述边界CTU的层次划分820包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。
因此，所述用于将图像划分为编码单元的装置800的电路用于使用第一划分深度限制(即所述最大非边界多类型划分深度)将所述非边界CTU划分为编码单元，其中，所述第一划分深度限制用于所述划分中包括的MTT划分。所述电路还用于使用第二划分深度限制(即所述最大边界多类型划分深度)将所述边界CTU划分820为编码单元，其中，所述第二划分深度限制用于所述划分中包括的MTT划分。换句话说，根据本发明，所述装置800的电路在操作中针对非边界CTU和边界CTU使用相应的最大MTT划分深度(MTT深度限制)。
通过帧划分810获得的CTU可再次进行层次划分，其中包括对于边界CTU的层次划分820。这种划分可以任何方式进行，例如图3至图5所示以及上文结合它们所描述的划分。
图8示出了所述装置800的电路的内部结构。该电路可以是具有功能单元810和820的任何类型的硬件和软件，所述功能单元810和820相应地用于将图像(或帧)划分(划分)为CTU，以及对所述CTU进行划分，其中，所述CTU包括所述非边界CTU且尤其包括所述边界CTU。这些单元可在单个处理器上实现。然而，本发明不限于此类应用，这些单元也可以由单独的硬件部件实现。
在本发明中，术语“边界CTU”用于表示被图像边界划分为部分落在待划分图像内(图像边界内)，部分不在图像内(即，位于图像边界之外)的编码树单元。如果待编码图像的大小在至少一个方向上不是CTU大小的(整数)倍数，则存在边界CTU。
图9示出了底部图像边界900和包括边界CTU的相应边界部分910(阴影)的示例。部分950示出了在竖直和水平方向上具有CTU的整数倍大小的图像剩余部分。
此外，CTU的竖直大小表示为970V，而CTU的水平大小表示为970H。如图9所示，该示例中的边界部分在水平方向上是CTU大小970H的整数倍。然而，在竖直方向上，边界部分910的大小是竖直图像大小除以竖直CTU大小970V的余数的大小。部分920只是虚拟的，并且示出了所述边界部分的高度和CTU大小之间的差异。应注意，在当前实现方式中，CTU为方形，因此970H和970V大小相同。然而，本发明不限于此，CTU的竖直和水平大小可以不同。
为了编码(并相应地解码)所述边界部分，图9中的边界部分910被划分为不完整CTU，即水平大小为CTU 970H而竖直大小小于CTU 970V的CTU部分。这些不完整CTU对应于本申请的“边界CTU”，而“不完整CTU”对应于图像内的CTU部分。虽然图9示出了水平边界部分，但是除了水平边界部分之外或代替水平边界部分，还可以有竖直边界部分。特别地，如果图像大小(即所述图像的宽度和高度)在竖直方向上和水平方向上都不是所述CTU大小的倍数，则还有不完整CTU，所述不完整CTU既是水平边界CTU也是竖直边界CTU，其中，图像内的CTU部分的竖直和水平大小小于完整CTU的大小。
与“边界CTU”相反，术语“非边界CTU”用于表示完全位于帧或图像内的任何CTU，即图9所示示例中部分950内的CTU。即非边界CTU位于待编码/解码图像内且在竖直和水平方向上具有完整大小。然而，非边界CTU可至少与一个图像边界相邻，或者它们也可以是非边界CTU与任何图像边界之间的其它CTU。
还应注意，非边界CTU和边界CTU不构成在编码或指定方式上彼此不同的不同种类的CTU。非边界CTU和边界CTU的区别在于它们是位于边界(即穿过它们的边界)上或位于划定图像的边界内。
此外，可通过比较CTU的位置(特别是CTU中合适的像素位置)与边界的位置(或像素点中的竖直/水平图像大小)来确定CTU是否为边界CTU。在编码过程中，CTU具有固定的预定义大小，例如上述HEVC中的128×128或64×64。图像将划分为不重叠的CTU。可以选择右下角作为合适的像素位置，因为如果从左到右以及从上到下处理图像(通常，哪个像素位置最合适取决于处理方向)，则在右下角允许确定CTU为相对于每个竖直和水平图像边界的边界CTU。编解码器会检查CTU右下角的像素，并将其与图像的竖直和水平大小进行比较。如果右下像素位于图像边界内，则CTU为非边界CTU，否则为边界CTU。这种确定划分块是否位于边界上的方式不仅应用于CTU，还可用于CU以及划分层次结构中划分CTU或某些块所产生的任何划分块。
此外，还可以使用其它方式确定CTU是否为边界CTU。例如，如上所述，图像大小(宽度/高度)除以CTU大小可以确定CTU的数量以及竖直和水平方向上是否存在边界CTU。可以索引CTU，如果存在边界CTU，则最后k个CTU可以确定为底部边界CTU，或每第k个CTU可对应于每行的右边界CTU(k为CTU(包括边界CTU)的数量，即图像宽度与CTU大小之比的上限值)。
上文结合图3解释了层次划分中的层次深度。因此，划分深度对应于为获得某一划分级而执行的划分步骤的数量，从具有对应于级0(或层0)的划分深度为0的CTU开始，一直到具有编码单元深度的CTU。
对于非边界CTU，编码单元的层次深度是有限制的，因为其不能超过设置(例如，SPS中的设置)所要求的最大层次深度。例如，在所述设置中，可以为四叉树划分和多类型划分的相应划分深度设置不同的限制。例如，在不同级或者同一级的不同部分块中，由于可针对QT划分步骤和MTT划分分别设置深度限制，因此CTU的划分包括QT划分和MTT划分(如BT、TT、和ABT划分)。例如，最大非边界MTT深度可对应于当前VTM的参数MaxBTTDepth，或者可以被重新定义和命名，例如MaxMTTDepth，并应用于所有MTT划分类型，例如BT和TT等。因此，深度限制，即CTU划分的最大总深度可以是用于QT划分和MTT(例如，BTT)划分的深度限制之和。
另一方面，对于边界CTU，本发明提供了一种深度限制，如以下等式(2)所示：
TotalBPDepthLim＝QTDepth+ExtdMaxBTTDepth (2)
从等式(2)可以看出，边界CTU的深度限制(本发明也称为边界划分深度)通常由QT划分深度和MTT划分深度(不限于二叉树和三叉树划分，名称ExtdMaxBttDepth仅为示例考虑)组成。对于强制QT划分的情况，QT深度可与等式(1)中使用的QT深度相同。然而，等式(2)与等式(1)的不同之处在于最大边界多类型划分深度ExtdMaxBTTDepth(扩展最大二叉树/三叉树深度)，也可称为，例如“ExtdMaxMTTDepth”。
对应于装置800，本发明的另一方面提供了一种用于将图像划分为编码单元的方法。该方法包括将图像划分为多个编码树单元CTU的步骤。其中，所述CTU包括在水平和竖直方向上具有预定大小的非边界CTU，以及部分落在由水平或竖直图像边界划定的图像中的边界CTU，其中所述部分的大小小于垂直于所述图像边界方向上的预定义大小。所述方法还包括将所述非边界CTU和所述边界CTU层次划分为各个编码单元的步骤。其中，所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；，所述多类型划分是指划分方向为竖直方向或水平方向的划分。所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。
下文将描述本发明的几个示例性实施例，其进一步指定用于将图像划分为编码单元的装置800以及相应的方法。
实施例一
如上所述，由于HEVC或VTM-1.0在边界CTU的划分中使用强制QT，因此不需要为边界划分定义单独的BTT深度限制。在HEVC或VTM-1.0中，等式(1)中的参数MaxBttDepth适用于边界CTU和非边界CTU。
然而，由于CE 1开始将BT或TT用作边界划分，因此，根据上文结合SubCE2解释的原因，根据等式(1)对边界的MaxBTTDepth进行限制可能并不合适。在实施例一中，定义了新的MaxBTTDepth，其仅用于边界划分中涉及MTT划分结构时的边界划分。
本发明提供了混合视频编码中边界划分MTT深度的新限制的定义。如上所述，可通过计算或预定义得出这种最大边界多类型划分深度。本实施例一提供了几种计算所述最大边界多类型划分深度的示例性方式。
在实施例一中，所述最大边界多类型划分深度至少为自适应边界多类型划分深度与预定义多类型划分深度之和。所述自适应边界多类型划分深度是指以所述图像边界方向为划分方向的多类型划分深度。
因此，为了保持边界块划分的灵活性，提出了对位于边界CTU的块的总深度限制进行合理的处理，其中，与等式(1)所定义的JEM图像边界中的QT划分相比，所述合理性在于直接对边界CTU进行MTT划分。
为此，等式(2)中使用的最大边界MTT划分深度重新定义为
ExtdMaxBTTDepth＝BTTBPDepth+MaxBTTDepth (3)。
其中，ExtdMaxBTTDepth表示的最大边界MTT划分深度可从等式(1)或(2)导出。因此，边界CTU的总划分深度限制重新定义为
TotalBPDepthLim＝QTDepth+(BTTBPDepth+MaxBTTDepth) (4)
在等式(3)和(4)中，BTTBPDepth(即本实施例一的自适应边界多类型划分深度)是在每一层中确定的，因此也随着划分层(即每个划分步骤中编码块的层以及由所述划分得到的包括被最终编码和解码的CU的层)而变化。例如，对于BT/TT/ABT边界划分等不同的MTT划分模式，可选择相同的自适应边界多类型划分深度。在每个划分层上，无论在该层上执行的是BT、TT、ABT或其它类型的MTT划分，都重新确定(即增加)所述自适应边界多类型划分深度。
与QT划分情况一样，可通过预定最小CU大小得出绝对深度限制，例如上文提到的SPS参数minCUSize。对于BT划分步骤，每个由该步骤产生的划分块深度增加1。对于TT划分，根据VTM-1.0，所得1/2大小的块深度增加1，所得1/4大小的块深度增加2，以建立深度与编码单元大小之间的关系，并确保BT和TT划分之间的兼容性。
如上所述，所述自适应多类型划分深度是指以所述图像边界方向为划分方向的深度。这意味着将对应层上的块划分为后续更深层的两个、三个或更多块的划分线，与所考虑的穿过待划分边界CTU的图像边界具有相同的方向(即平行)。然而，划分方向垂直于所考虑的图像边界的划分/划分步骤对于所述自适应多类型划分深度的值无益。特别地，如果图像边界为水平边界，则所述自适应多类型划分深度只计算水平划分方向的步骤。否则，如果图像边界为竖直边界，则只计算竖直划分方向的步骤。这在图10和图11所示的划分示例中可以看出。
然而，本发明还适用于边界CTU的划分层次内的边界CU和边界划分块，所述边界CU和边界划分块均位于水平(例如，底部)边界和竖直(例如，右)边界，例如右下角的CTU。在这种情况下，将通过等式(3)中的项BTTBPDepth或单独的相应变量计算两个划分方向的步骤MTT步骤。
另一方面，从等式(3)和(4)可以看出，例如，最大边界多类型划分深度中的非自适应项(即所述预定义多类型划分深度)可等于最大非边界多类型划分深度。然而，本发明并不限于此。例如，在需要定义额外的预定义多类型边界划分深度参数时，将此参数设置为较小值可能是有益的(例如，节省一个或多个比特)。
图10为使用二叉树划分进行边界划分的第一示例，尤其是使用BT进行底部边界划分的示例。图的上半部分左侧所示的起始点示出了边界CTU和穿过所述边界CTU的底部图像边界(粗实线)。此外，在CTU的右上角处有通过图像划分获得的标记块对象。图的上半部分右侧示出了划分所述边界CTU的最终划分(即划分类型)。但是，在该第一示例以及图10所示的示例中，只考虑了MTT(尤其是BTT)划分步骤。根据等式(4)，可在MTT划分步骤之前的其它步骤中执行QT划分。因此，起点不一定是CTU，而也可以是QT划分产生的深度大于0的方形编码块(竖直和水平大小相等)等。
图10的下半部分示出了从所述起始点到所述最终划分的划分所述边界CTU的步骤1至3。其中，粗实线为所述图像边界，BTT边界以及所述CTU划分为实线(边界内)或虚线(边界外)，点状虚线(步骤3)为BTT正常划分(即竖直方向上的划分，而不是以所述图像边界方向为划分方向的边界划分)。如果根据等式(1)使用MaxBTTDepth(VTM中的限制为3)，则CTU右上角的对象块不能被进一步划分，因为有3个MTT划分步骤，因此CurrentBTTDepht(3)>＝MaxBTTDepth(3)(CurrentBTTDepth为当前步骤中与执行BTT划分步骤数量对应的BTT划分深度)。
根据实施例一，在步骤1中有一层(BTT)边界划分(即划分方向为边界方向的划分)。因此，BTTBPDepth∈＝1。因此，根据等式(3)，可以得出ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝1+3＝4(在SPS中，MaxBTTDepth设置为3)。步骤1中最大BTT深度层(最大边界多类型划分深度)为4，由于块已经被划分了一次，因此划分后的块可根据步骤1中设置的ExtdMaxBTTdepth按照所述最大边界多类型划分深度再进行三次MTT划分。
在步骤2中，到目前为止，BP(边界划分)获得的边界划分有两层，BTTBPDepth＝2。因此，根据等式(3)，可以得出ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝2+3＝5(在SPS中，MaxBTTDepth设置为3)。步骤2中新的最大BTT深度层(最大边界多类型划分深度)为5(从起始点(a)计算)，由于块已经被划分了两次，因此划分后的块可按照所述最大边界多类型划分深度再进行3次划分。可以看出，由于边界划分(即，划分方向为水平方向，与图像边界方向相同)，因此，从步骤1到步骤2，BTTBPDepth以及相应的ExtdMaxBttDepth增加了1。
步骤3再次进行了BT划分。然而，此最后划分的划分方向不是所述图像边界的方向，特别地，步骤3中的划分方向垂直于所述图像边界。因此，步骤3对BPPBPDepth值无益。由此可见，BTT BP仍有2层，BTTBPDepth＝2。其中，ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝2+3＝5(在SPS中，MaxBTTDepth配置为3)。如上所述，所述自适应多类型划分深度中，只有以所述图像边界方向为划分方向的多类型划分的深度(步骤/层数)有用。然而，所述最大边界多类型划分深度对于任何MTT边界划分都是一个限制。因此，步骤3中最大深度层仍为5(从起始点计算)，由于块已经被划分了3次(这里考虑了所有划分，而不仅仅是BP)，因此划分后的块可再进行2次BTT划分。
图11为最大MTT划分深度计算的第二示例。图中粗实线为图像边界，实线(内)或虚线(外)为CTU边界或BTT边界划分，与图10相同。边界CTU(即MTT划分获得的目标编码块)内有标记对象。为了获得图右上部分的最终划分类型，需要执行四个划分步骤，如图中步骤1至4所示。
如果根据等式1使用MaxBTTDepth，并且在VTM中限制为3，由于CurrentBTTDepht(4)>＝MaxBTTDepth(3)，则无法获得标记目标块(MTT深度为4)且无法对其进行进一步划分。
在图11的步骤1中，BTT BP有一层，BTTBPDepth＝1。因此，ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝1+3＝4(在SPS中，MaxBTTDepth配置为3)。步骤1中最大BTT深度层为4，由于块已经被划分了一次，因此划分后的块可再进行3次BTT划分。
在图11的步骤2中，BTT BP有两层，BTTBPDepth＝2。因此，ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝2+3＝5。步骤2中最大BTT深度层为5，由于块已经被划分了一次，因此划分后的块可再进行3次BTT划分。
在图11的步骤3中，BTT BP有3层，BTTBPDepth＝3。因此，ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝3+3＝6。步骤2中最大BTT深度层为6，由于块已经被划分了一次，因此划分后的块可再进行3次BTT划分。
此外，在步骤4中，BTT划分有4层。ExtdMaxBTTdepth＝BTTBPDepth+MaxBTTDepth＝4+3＝7。步骤4中最大深度层为7(从起始点(a)计算)，由于块已经被划分了4次，因此划分后的块可最多再进行3次划分。
所述最大边界多类型划分深度中，不仅仅是以边界方向为划分方向的BP，所有的划分都被考虑并限制。然而，图11所示示例的所有步骤都是以所述图像边界方向为划分方向来执行多类型划分。因此，在每个步骤中，所述自适应边界多类型划分深度(在本示例中为BTTBPDepth)的值都增加1。
通过将边界多类型划分的深度限制用于划分方向与边界方向相同的划分步骤的数量，本发明使得编码单元的划分类型更实际，其中，所述编码单元近似于所述图像边界附近的CTU的剩余部分。特别地，与仅使用QT划分相比，可减少边界CTU/部分中的编码单元的数量。
实施例二
根据上述实施例一的解释，所述最大边界多类型划分深度(例如给出的ExtdMaxBTTDepth)至少为自适应边界多类型划分深度与预定义多类型划分深度之和。现在，根据本实施例二，所述和还包括：所述边界CTU的边界划分块在所述图像边界方向上和垂直于所述图像边界方向上的大小之比的函数。其中，所述边界划分块为所述自适应边界多类型划分深度的块。
在本发明中，术语“划分块”是指划分较低级的块/单元而得到的CTU或块。因此，划分块不限于层次划分顶部的CTU或作为待编码/解码层次划分最终结果的编码单元，还包括在中间划分步骤(例如，图10中的步骤1和2，或图11中的步骤1和3)中获得的块。此外，“边界划分块”是位于所述图像边界(穿过所述块的图像边界)上的划分块，就像边界CTU位于边界上一样。
如果所考虑的边界是水平图像边界，则上述大小之比是边界划分块的水平大小(宽度)除以竖直大小(高度)的比。另一方面，如果所述图像边界是竖直的，则所述比是边界划分块的高度除以宽度。
例如，所述比的函数可以是二进制对数log2 Ratio。在实施例一中，总深度限制被视为定义边界块BTT限制的标准。与使用等式1计算MTT BP深度限制相比，实施例二尤其将编码单元的可达大小作为公平性标准(即，QT和MTT划分之间的公平性)。因此，所述最大边界多类型划分深度根据以下等式(5)进行扩展。
ExtdMaxBTTDepth＝log2 Ratio+BTTBPDepth+MaxBTTDepth， (5)
其中，Ratio表示宽度高度比(如果边界是水平的，则宽度/高度；或者如果边界是竖直的，则高度/宽度)。
图12为根据实施例二的边界划分示例。图12(a)部分示出了使用强制QT的VTM-1.0的边界划分，而图12(b)部分是使用BT的边界划分。如图10和11所示，实心表示在边界内.虚线表示CTU和边界划分(划分方向为边界方向)，点状虚线表示划分方向与边界方向不同的划分。在图12(a)部分中，CTU左上角的标记块可进一步划分为3个额外的BT级，因为在VTM-1.0的配置中，SPS的MaxBTTDepth设置为3，且到目前为止还没有进行过BT划分。在(b)部分中，还可将CTU左上角的标记块划分为另外3个BT(或其它MTT类型)级，因此，标记块的ExtdMaxBTTDepht从等式(5)获得，如下所示：
ExtdMaxBTTDepth＝log2(边界划分块比(4))+BTTBPdepth(2)+MaxBTTDepth(3)＝7
在图12(b)部分所示的当前实施例二的情况下，根据表示所述最大边界多类型划分深度的ExtendedMaxBTTDepth，标记块可进一步划分为3个BT级：(ExtdMaxBTTDepht(7)-CurrentBTDepht(4))＝3。
这里，假设所述标记块已经通过以边界方向为划分方向的两个BT划分步骤获得，然后是划分方向垂直于所述边界划分的两个BT划分步骤，因此，所得到的当前BT深度等于4。然而，本发明的MTT划分不限于BTT划分。例如，在将一个划分块按同一划分方向划分三次或更多次的单个步骤中，还可使用一种划分模式获得四个划分块(这种获得四个划分块的划分模式有时称为SplitInto4，与同样一步可以获得四个划分块的QT划分不同)。在图12的示例中，如果最后两个BT划分步骤被一个SplitInto4划分步骤所代替，那么所得到的当前MTT深度是3而不是4。
此外，在MTT中，可根据最小结果划分所得的块大小确定所计算的层次深度。例如，在VTM-1.0中的当前TT实施中，块被划分为1/4、1/2和1/4子块/划分块。对于第一个和第三个划分块，深度在VTM-1.0中被计算了两次，以确保所述深度对BT和TT同样有效(且对于所得到划分块中较小的划分块，ABT步骤也可计算两次)。因此，为保证与BT划分的兼容性，单个SplitInto4步骤也可以算作两个步骤。通过这种方式，可从深度看出所得到的划分块/编码单元的块大小。然而，在其它一些可能的方法中，如果能够保证(例如，从某个变量中)知道相应的划分类型，每个步骤可计算一次。
应注意，在等式(5)中，右侧边界划分块比的二进制对数可(第一项)与MTT BP深度(第二项)相同，特别是如果应用了BT划分(如图12(b)部分所示)。
还应注意，本发明中边界分划分块的函数不限于二进制对数。例如，可以使用所述比本身(同一性函数)，或者可以将所述比乘以一个常数或一些自适应参数。
实施例三
上述实施例一和二已经描述了如何计算所述最大边界多类型划分深度。另一方面，在实施例三中，所述最大边界多类型划分深度是预定义的(即固定的)。预定值可提供为等式(4)中的术语BTTBPDepth，或者其可代替用于边界CTU的等式(如等式(1))中的MaxBttDepth。
例如，可从比特流中的信令获得这种固定的最大边界多类型划分深度。例如，其可在一个或多个视频帧(例如HEVC中的PPS、SPS和VPS)共有的一组控制参数内指示。也可一次性针对一整个视频序列指示。所述信令可包括对参数的进一步编码，例如差分编码、预测编码、熵编码或嵌入到比特流中的任何其它编码。
然而，如上所述，包括上述实施例一至三的本发明不限于在比特流中固定和用信号发送的所述最大边界多类型划分深度。例如，也可基于比特流中传送的一个或多个参数(例如SPS中的MaxBTTDepth)和/或基于上述BTTBPDepth或QTDepth等内部变量导出。然而，导出也可根据标准预定义或可指示。
虽然一些示例(包括等式1至5)的描述涉及BTT划分并相应地命名了变量(例如，BTTBPDepth和MaxBTTDepth)，但本发明还适用于其它类型的MTT划分，例如ABT(非对称二叉树划分)划分(在一个划分步骤中将划分块划分为两个或更多不同大小的划分块，例如1/4和3/4)，或结合图12(b)部分提到的SplitInto4Mode。因此，变量可以有不同的名称，例如BTTBPDepth、MaxBTTDepth等。因此，本发明有助于使用QT划分之外的其它多类型划分模式的图像边界处理，增强灵活性，而无需考虑所使用的特定MTT划分模式。
然而，在一些实施例中，除了MTT划分之外，边界CTU的层次划分(以及非边界CTU的层次划分)还可包括QT划分。这可从等式(4)中看出，所述等式将总最大边界划分深度定义为所述最大边界多类型划分深度(括号内的术语)和QT划分深度(内部变量QTDepth)之和。例如，正如VTM-1.0中已经出现的情况，可在MTT划分之前执行四叉树划分。即先执行QT划分步骤，然后执行MTT划分步骤。然而，本发明并不限于此，其也适用于先MTT划分后QT划分的配置。因此，如上所述，图10和11中的起始点不必是CTU，也可以是从一个或多个之前划分步骤获得的划分块。
此外，根据本发明，所述最大边界多类型划分深度可大于或等于所述最大非边界多类型划分深度。例如，如果在所述边界CTU中没有执行以所述边界方向为划分方向的多类型划分，则所述最大边界多类型划分深度可等于所述最大非边界多类型划分深度。在这种情况下，不存在增加内部变量BTTBPDepth(或MTTBPDepth)的划分步骤。仍然如上所述，所述用于将图像划分为编码单元的装置分别采用不同的方式确定所述非边界多类型划分深度和所述最大边界多类型划分深度。
然而，在预定了所述最大边界多类型划分深度的实施例三中，其预定值应大于所述最大非边界多类型划分深度，以便边界CTU中的MTT划分更灵活。
图13为本发明的最大BT/TT(或通常为MTT)深度扩展的流程图。条件“在边界CTU内”指示当前CTU/CU是否位于边界CTU内的条件。如果条件为假(N)，则使用SPS的正常MaxBTTDepth作为所述非边界多类型划分深度，以限制最大可能的BT/TT(或其它MTT)深度。否则，将根据本发明的任一实施例扩展和确定MaxBttdepth。
如上所述，图像划分装置800可嵌入在图1和图2所示的视频编码装置100或解码装置200中。因此，本发明还提供了一种用于编码视频序列的图像的装置100，即编码装置。编码装置100包括：根据本发明所描述的任一实施例的图像划分装置800；图像编码单元，用于对编码单元进行编码；以及生成比特流的比特流形成单元，其中所述比特流包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息。
特别地，对于每个CTU或中间步骤中的划分块，所述划分信息可包括指示采用了QT和若干MTT划分模式中的哪种划分类型模式的信息。例如，对于划分块或CTU的每次划分，所述比特流中可包括指示划分模式的参数。或者，也可强制使用特定的划分模式。
应注意，边界CTU和非边界CTU的划分模式可能不同。例如，如上所述，可基于边界CTU和非边界CTU的CTU(和/或基于划分块)来指示划分模式。或者，某一边界(竖直或水平)上的所有CTU的划分模式可以相同，且设置在与一个或多个视频图像相关的信令中。
然而，所述边界CTU的划分模式确定方式可以不同于所述非边界CTU的划分模式确定方式。例如，对于所述边界CTU(和划分块)，可强制预定划分模式，即标准可定义用于确定边界CTU划分模式的固定划分模式或算法，例如基于其在边界内的位置和/或大小和/或相邻CTU的划分模式。
相应地，本发明还提供了一种用于编码视频序列的图像的方法。所述方法包括：根据本发明所描述的任一实施例的划分图像的方法的步骤；编码所述编码单元的图像编码步骤；以及生成比特流的比特流形成步骤，其中所述比特流包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息。
本发明还提供了一种解码视频序列的图像的装置200和方法。如果嵌入在解码装置200中，则装置800用于确定将(已解码)图像划分为编码单元。解码装置200包括：比特流解析器，用于解析包括编码后的编码单元的比特流；装置800，用于根据任一实施例确定图像划分；以及图像解码单元，用于基于所确定的图像划分来解码所述编码后的编码单元。
相应地，所述图像解码方法包括：解析包括所述编码后的编码单元的比特流的步骤；根据本发明任意实施例确定图像划分的步骤；以及基于所确定的图像划分解码所述编码后的编码单元的图像解码步骤。
在解码器侧，最大BT/TT深度将在边界CTU/CU上被扩展，即最大边界多类型划分深度将用于待解码的边界CTU。所述扩展可简单地从SPS中解析出，或者基于某一条件导出。基于实施例一，所述最大BTT深度可随着BTT边界划分深度而扩展。并且基于实施例二，所述最大BTT深度可随着边界划分块和BTT边界划分深度之比而扩展。
如果在编解码器和相应的编解码方法对视频图像编码和解码的过程中，按照实施例三进行划分(或确定划分)，则所述最大边界多类型划分深度为预定义的。此时，该编/解码比特流还可包括编码序列参数集，其中包括所述最大边界多类型划分深度。在解码器侧，图像划分确定装置800还用于从所述序列参数集中获取第二最大多类型划分深度。
图14为编码系统300(例如，图像编码系统300)实施例的概念性或示意性框图，其中编码系统300包括源设备310，用于提供编码数据330(例如，编码图像330)，发送到目的设备320等，以解码所述编码数据330。
源设备310包括编码器100或编码单元100，并且可额外地(即可选地)包括图像源312、预处理单元314(例如，图像预处理单元314)和通信接口或通信单元318。
图像源312可包括或可以是任何类型的图像捕获设备，例如用于捕获真实世界图像的设备，和/或任何类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器，或用于获取和/或提供真实世界的图像、计算机动画图像(例如，屏幕内容、虚拟现实(virtual reality，简称VR)图像)和/或其任何组合(例如，增强现实(augmented reality，简称AR)图像)的任何类型的设备。在下文中，除非另有特别说明，所有这些类型的图像和任何其它类型的图像将称为“图像”或“图片”，而之前关于术语“图像”(包括“视频图像”和“静止图像”)的解释仍然适用，除非有明确的不同规定。
(数字)图像是或可被视为具有强度值的像素点的二维阵列或矩阵。阵列中的像素点也可称为像素(简称为图像元素)或图素。图像的大小和/或分辨率由阵列或图像在水平和竖直方向(或轴)上的像素点数量定义。为了表示颜色，通常使用三种颜色分量，即该图像可表示为三个像素点阵列或包括三个像素点阵列。在RBG格式或颜色空间中，图像包括相应的红色、绿色和蓝色像素点阵列。然而，在视频编码中，每个像素通常由亮度/色度格式或颜色空间表示，例如，YCbCr，包括Y表示的亮度分量(有时也用L表示)和由Cb和Cr表示的两个色度分量。亮度(luminance，简称luma)分量Y表示亮度或灰度级强度(例如，在灰度图像中)，而两个色度(chrominance，简称chroma)分量Cb和Cr表示色度或颜色信息分量。
因此，YCbCr格式的图像包括亮度像素点值(Y)的亮度像素点阵列和色度值(Cb和Cr)的两个色度像素点阵列。RGB格式的图像可转换或变换成YCbCr格式，反之亦然，该过程也称为颜色转换或颜色变换。如果图像是单色的，则图像可只包括亮度像素点阵列。
图像源312可以是用于捕获图像的摄像头或存储器(例如，图像存储器，包括或存储有之前捕获或生成的图像)等，和/或任何类型的(内部或外部)接口，以获取或接收图像。例如，所述摄像头可以是集成在源设备中的本地或集成摄像头，所述存储器可以是(例如，集成在源设备中的)本地或集成存储器。例如，所述接口可以是从外部视频源(例如，摄像机或外部存储器等外部图像捕获设备)或外部图像生成设备(例如，外部计算机图形处理器、计算机或服务器)接收图像的外部接口。所述接口可以是根据任何专有或标准化接口协议的任何类型的接口，例如有线或无线接口、光接口等。获取图像数据313的接口可与通信接口318相同，或作为通信接口318的一部分。所述通信接口可以是以太网、WLAN、蓝牙或LTE接口等任意接口，也可以是任意有线或无线接口，例如卫星或光接口。所述传输可以是对等传输、广播传输或组播传输。
区别于预处理单元314和预处理单元314执行的处理，图像或图像数据313也可以称为原始图像或原始图像数据313。
预处理单元314用于接收(原始)图像数据313，对图像数据313进行预处理，以获得预处理图像315或预处理图像数据315。预处理单元314执行的预处理可包括修剪、颜色格式转换(例如，从RGB到YCbCr)、颜色校正，或去噪等。
编码器100用于接收预处理图像数据315并提供编码图像数据(上文已经描述了更多细节，例如，基于图1的描述)。
源设备310的通信接口318可用于接收编码图像数据，并将其直接传输至其它设备(例如，目的设备320或任何其它设备)，以用于存储或直接重构，或分别在存储编码数据330和/或将编码数据330传输至其它设备(例如目的设备320，或用于解码或存储的任何其它设备)之前处理编码图像数据。
目的设备320包括解码器200或解码单元200，并且可额外地(即，可选地)包括通信接口或通信单元322、后处理单元326和显示设备328。
目的设备320的通信接口322用于接收编码图像数据或编码数据330，例如，直接从源设备310或任何其它源(例如，编码图像数据存储器等存储器)接收。
通信接口318和通信接口322可用于通过源设备310和目的设备320之间的直接通信链路(直接有线或无线连接等)，或通过任何类型的网络(例如，有线(例如，光缆、电力线、铜缆或同轴电缆，或基于任何其它介质)或无线网络或其任意组合，或任何类型的专用和公共网络)，或其任意组合分别传输或接收编码图像数据或编码数据330。
例如，通信接口318可用于将编码图像数据打包为合适的格式(例如，数据包)，用于在通信链路或通信网络上传输，并且还可包括数据丢失保护和数据丢失恢复。
通信接口322为通信接口318的对应部分，例如，可用于对编码数据330进行拆包以获取编码图像数据，并且还可以用于执行数据丢失保护和数据丢失恢复(例如，包括差错隐藏)。
通信接口318和通信接口322均可配置为单向通信接口(如图14中从源设备310指向目的设备320的编码图像数据330的箭头所指示)，或双向通信接口，并可用于发送和接收消息等，例如，建立连接，确认和/或重新发送丢失或延迟的数据(包括图像数据)，交换与通信链路和/或数据传输(例如，编码图像数据传输)相关的任何其它信息。
解码器200用于接收编码图像数据并提供解码图像数据或解码图像(更多细节已经被描述，例如，基于图2的描述)。
目的设备320的后处理器326用于对解码图像等解码图像数据进行后处理，以获得后处理图像数据327，例如，后处理图像327。例如，由后处理单元326执行的后处理可包括颜色格式转换(例如，从YCbCr到RGB)、颜色校正、修剪或重新采样，或任何其它处理，例如，用于准备解码图像数据以供显示设备328等显示的处理。
目的设备320的显示设备328用于接收后处理图像数据327，以向用户或观看者等显示所述图像。显示设备328可以是或包括用于表示重构图像的任何类型的显示器，例如，集成或外部的显示器或监视器。例如，显示器可包括阴极射线管(cathode ray tube，简称CRT)、液晶显示器(liquid crystal display，简称LCD)、等离子显示器、有机发光二极管(organic light emitting diode，简称OLED)显示器或包括射束器、全息图或3D/VR眼镜的任何其它类型的显示器。
尽管图14将源设备310和目的设备320描述为单独的设备，但是设备实施例还可同时包括两种设备或两种功能，即源设备310或相应的功能以及目的设备320或相应的功能。在这些实施例中，源设备310或相应的功能以及目的设备320或相应的功能可以使用相同的硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。
基于描述，对于技术人员而言，显而易见的是，图14所示的源设备310和/或目的设备320中的不同单元或功能的存在和(精确)划分可以根据实际设备和应用而变化。
因此，图14所示的源设备310和目的设备320仅仅是本发明的示例性实施例，且本发明实施例不限于图14所示的那些实施例。
源设备310和目的设备320可包括任意多种设备，包括任何类型的手持或固定设备，例如，笔记本或膝上型计算机、手机、智能手机、平板或平板计算机、照相机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏机、视频流设备、广播接收器设备等，并且可不使用或使用任何类型的操作系统。
图15为本发明实施例提供的视频编码设备1000的示意图。视频编码设备1000适合实现本文所述的公开实施例，例如，作为编码器或解码器实现。视频编码设备1000包括：入端口1010和接收器单元(Rx)1020，用于接收数据；处理器、逻辑单元或中央处理器(centralprocessing unit，简称CPU)1030，用于处理数据；发射器单元(Tx)1040和出端口1050，用于传输数据；以及存储器1060，用于存储数据。视频编码设备1000还可包括耦合到入端口1010的光电(optical-to-electrical，简称OE)组件和电光(electrical-to-optical，简称EO)组件、接收器单元1020、发射器单元1040、以及用于光信号或电信号出入的出端口1050。
本发明可以在装置中实现。这种装置可以是软件和硬件的组合。例如，可由通用处理器、数字信号处理器(digital signal processor，简称DSP)、现场可编程门阵列(fieldprogrammable gate array，简称FPGA)等芯片执行帧内预测和去块滤波。然而，本发明不限于在可编程硬件上的实现。它可以在专用集成电路(application-specific integratedcircuit，简称ASIC)上实现，或者通过上述硬件组件的组合实现。
本发明还提供一种存储有指令的计算机可读介质，当所述指令由处理电路执行时，使得所述处理电路执行所公开的用于划分、编码和解码图像的任何方法。所述计算机可读介质可以是存储程序的任何介质，例如DVD、CD、USB(闪存)驱动器、硬盘、以及联网可用的服务器存储等。
编码器和/或解码器可在电视、机顶盒、PC、平板、智能手机等各种设备中实现。它可以是实现所述方法步骤的软件或应用程序。
综上所述，本发明提供了用于将图像划分为编码单元的装置和方法。将图像划分为编码树单元(coding tree units，简称CTU)，并对所述编码树单元进行层次划分。层次划分包括多类型划分，如二叉树或四叉树划分。对于完全位于图像内的CTU和位于边界的CTU，可选择相应的多类型划分深度。本发明提供了图像边界部分的多类型划分，可增强灵活性。

Claims (16)

1.一种用于将图像划分为编码单元的装置，其特征在于，所述装置包括处理电路，用于：
将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中，所述非边界CTU沿水平方向和竖直方向具有确定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，其中，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者所述竖直图像边界方向上的尺寸小于所述确定尺寸；
将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中
所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；所述多类型划分是指划分方向为竖直方向或水平方向的划分，
所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。
2.根据权利要求1所述的图像划分装置，其特征在于，所述最大边界多类型划分深度至少为自适应边界多类型划分深度与预定义多类型划分深度之和，其中，所述自适应边界多类型划分深度为以所述图像边界方向为划分方向的多类型划分深度。
3.根据权利要求2所述的图像划分装置，其特征在于，所述预定义多类型划分深度等于所述最大非边界多类型划分深度。
4.根据权利要求2或3所述的图像划分装置，其特征在于，所述和还包括所述图像边界方向上的大小和垂直于所述边界CTU的边界划分块的图像边界方向上的大小之比的函数，所述边界划分块为所述自适应边界多类型划分深度的块。
5.根据权利要求4所述的图像划分装置，其特征在于，所述函数为二进制对数。
6.根据权利要求1所述的图像划分装置，其特征在于，所述最大边界多类型划分深度为预定义的。
7.根据权利要求1至6中任一项所述的图像划分装置，其特征在于，所述边界CTU的层次划分还包括四叉树划分。
8.根据权利要求1至7中任一项所述的图像划分装置，其特征在于，所述最大边界多类型划分深度大于或等于所述最大非边界多类型划分深度。
9.一种用于编码视频序列的图像的装置，其特征在于，包括：
根据权利要求1至8中任一项所述的图像划分装置；
图像编码单元，用于对所述编码单元进行编码；
比特流形成单元，用于生成比特流，所述比特流包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息。
10.根据权利要求9所述的用于编码视频序列的图像的装置，其特征在于，
所述图像划分装置为权利要求6所述的装置，
所述比特流还包括编码序列参数集，所述编码序列参数集包括所述最大边界多类型划分深度。
11.一种用于解码视频序列的图像的装置，其特征在于，包括：
比特流解析器，用于解析包括编码后的编码单元的比特流；
根据权利要求1至8中任一项所述的图像划分确定装置；
图像解码单元，用于基于所确定的图像划分对所述编码后的编码单元进行解码。
12.根据权利要求11所述的图像解码装置，其特征在于，
所述图像划分确定装置为如权利要求6所述的装置，
所述比特流还包括编码序列参数集，所述编码参数序列集包括所述最大边界多类型划分深度，
所述图像划分确定装置，还用于从所述序列参数集中获取第二最大多类型划分深度。
13.一种用于将图像划分为编码单元的方法，其特征在于，所述方法包括：
将所述图像划分为多个编码树单元CTU，所述多个编码树单元包括非边界CTU以及边界CTU，其中，所述非边界CTU沿水平方向和竖直方向具有确定尺寸，所述边界CTU的一部分落在由水平图像边界或竖直图像边界划定的图像内，其中，所述边界CTU位于所述图像内的部分沿垂直于所述水平图像边界或者方向上的大小；
将所述非边界CTU和所述边界CTU按层次划分为各个编码单元(CU)，其中
所述非边界CTU的层次划分包括多类型划分，所述非边界CTU的层次划分的多类型划分的划分深度不超出最大非边界多类型划分深度；，所述多类型划分是指划分方向为竖直方向或水平方向的划分，
所述边界CTU的层次划分包括多类型划分，所述边界CTU的层次划分的多类型划分的划分深度不超出最大边界多类型划分深度。
14.一种用于编码视频序列的图像的方法，其特征在于，所述方法包括：
根据权利要求13所述的将图像划分为编码单元的步骤；
对所述编码单元进行编码的图像编码步骤；
比特流形成步骤，生成包括所述编码后的编码单元和指示如何划分所述编码树单元的划分信息的比特流。
15.一种用于解码视频序列的图像的方法，其特征在于，所述方法包括：
解析包括所述编码后的编码单元的比特流的步骤；
根据权利要求13所述的图像划分确定步骤；
基于所述确定的图像划分对所述编码后的编码单元进行解码的图像解码步骤。
16.一种存储指令的计算机可读介质，其特征在于，所述指令被处理电路执行时，使得所述处理电路执行根据权利要求13至15中任一项所述的方法。
CN201980012698.XA 2018-05-30 2019-05-29 图像边界处理的多类型树深度扩展 Pending CN111713112A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010912051.7A CN112235584B (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置
CN202210130353.8A CN114598870A (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862678241P 2018-05-30 2018-05-30
US62/678,241 2018-05-30
PCT/EP2019/064061 WO2019229169A1 (en) 2018-05-30 2019-05-29 Multi-type tree depth extension for picture boundary handling

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202010912051.7A Division CN112235584B (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置
CN202210130353.8A Division CN114598870A (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置

Publications (1)

Publication Number Publication Date
CN111713112A true CN111713112A (zh) 2020-09-25

Family

ID=66676552

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210130353.8A Pending CN114598870A (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置
CN202010912051.7A Active CN112235584B (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置
CN201980012698.XA Pending CN111713112A (zh) 2018-05-30 2019-05-29 图像边界处理的多类型树深度扩展

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210130353.8A Pending CN114598870A (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置
CN202010912051.7A Active CN112235584B (zh) 2018-05-30 2019-05-29 一种用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置

Country Status (17)

Country Link
US (2) US11323707B2 (zh)
EP (2) EP3782369B1 (zh)
JP (2) JP7412356B2 (zh)
KR (2) KR102524915B1 (zh)
CN (3) CN114598870A (zh)
AU (2) AU2019276189B2 (zh)
BR (1) BR112020023927A2 (zh)
CA (2) CA3099378C (zh)
DK (1) DK3782369T3 (zh)
ES (1) ES2964088T3 (zh)
FI (1) FI3782369T3 (zh)
HU (1) HUE063791T2 (zh)
MX (1) MX2020012809A (zh)
PL (1) PL3782369T3 (zh)
PT (1) PT3782369T (zh)
SG (1) SG11202010880RA (zh)
WO (1) WO2019229169A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3808083A1 (en) * 2018-06-18 2021-04-21 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on asymmetric binary partitioning of image blocks
MX2021008347A (es) * 2019-01-09 2021-10-13 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
CN113632479B (zh) * 2019-01-10 2023-10-10 寰发股份有限公司 越界节点视频数据的处理方法及装置
JP2023507270A (ja) * 2019-12-17 2023-02-22 アリババ グループ ホウルディング リミテッド ピクチャ境界におけるブロック区分のための方法及び装置
WO2022212405A1 (en) * 2021-03-29 2022-10-06 Beijing Dajia Internet Information Technology Co., Ltd. Overlapped block motion compensation for inter prediction
EP4254950A1 (en) * 2022-03-31 2023-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture partitionned in ctu grids

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123980A1 (en) * 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding
CN107005718A (zh) * 2014-12-10 2017-08-01 联发科技（新加坡）私人有限公司 使用二叉树块分区的视频编码的方法
WO2017165375A1 (en) * 2016-03-21 2017-09-28 Qualcomm Incorporated Decoding video data using a two-level multi-type-tree framework

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5952900B2 (ja) 2011-06-16 2016-07-13 ジーイー ビデオ コンプレッション エルエルシー エントロピー符号化をサポートするモード切替
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
WO2020147745A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidate lists that use local illumination compensation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107005718A (zh) * 2014-12-10 2017-08-01 联发科技（新加坡）私人有限公司 使用二叉树块分区的视频编码的方法
WO2017123980A1 (en) * 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding
WO2017165375A1 (en) * 2016-03-21 2017-09-28 Qualcomm Incorporated Decoding video data using a two-level multi-type-tree framework

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENG WU 等: "Description of SDR video coding technology proposal by University of Science and Technology of China, Peking University, Harbin Institute of Technology, and Wuhan University (IEEE 1857.10 Study Group)", JVET-J0032, pages 2 *

Also Published As

Publication number Publication date
CA3209197A1 (en) 2019-12-05
DK3782369T3 (da) 2023-11-13
KR20230054915A (ko) 2023-04-25
JP2023179590A (ja) 2023-12-19
ES2964088T3 (es) 2024-04-04
AU2019276189A1 (en) 2020-11-26
AU2022259770A1 (en) 2022-12-01
CN114598870A (zh) 2022-06-07
MX2020012809A (es) 2021-02-15
CN112235584A (zh) 2021-01-15
CA3099378A1 (en) 2019-12-05
BR112020023927A2 (pt) 2021-02-09
US11968363B2 (en) 2024-04-23
EP3782369A1 (en) 2021-02-24
AU2022259770B2 (en) 2024-01-25
JP7412356B2 (ja) 2024-01-12
SG11202010880RA (en) 2020-11-27
CA3099378C (en) 2023-09-26
KR102524915B1 (ko) 2023-04-21
KR20210002674A (ko) 2021-01-08
EP4283998A1 (en) 2023-11-29
US20210084299A1 (en) 2021-03-18
US11323707B2 (en) 2022-05-03
AU2019276189B2 (en) 2022-07-28
WO2019229169A1 (en) 2019-12-05
JP2021525485A (ja) 2021-09-24
US20220182628A1 (en) 2022-06-09
CN112235584B (zh) 2022-01-11
HUE063791T2 (hu) 2024-01-28
FI3782369T3 (fi) 2023-10-18
PL3782369T3 (pl) 2024-03-04
EP3782369B1 (en) 2023-08-23
PT3782369T (pt) 2023-11-15

Similar Documents

Publication Publication Date Title
CN112235584B (zh) 一种用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置
CN111819853A (zh) 变换域中预测的信令残差符号
JP7143512B2 (ja) ビデオ復号方法およびビデオデコーダ
JP7343669B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
CN112954367B (zh) 使用调色板译码的编码器、解码器和相应方法
CN113115047A (zh) 视频编解码方法和设备
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법
JP2024020330A (ja) エンコードされた画像データ
CN111385572A (zh) 预测模式确定方法、装置及编码设备和解码设备
CN114913249A (zh) 编码、解码方法和相关设备
KR20220065880A (ko) 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
CN114762336A (zh) 基于变换跳过和调色板编码相关信息的信令的图像或视频编码
CN112055211B (zh) 视频编码器及qp设置方法
RU2795184C2 (ru) Увеличение глубины дерева нескольких типов для обработки границ изображения
CN112262574A (zh) 一种用于帧内预测的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination