CN118118671A - 用于处理图像的方法及其设备 - Google Patents

用于处理图像的方法及其设备 Download PDF

Info

Publication number
CN118118671A
CN118118671A CN202410417021.7A CN202410417021A CN118118671A CN 118118671 A CN118118671 A CN 118118671A CN 202410417021 A CN202410417021 A CN 202410417021A CN 118118671 A CN118118671 A CN 118118671A
Authority
CN
China
Prior art keywords
block
current
current coding
partition
syntax element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410417021.7A
Other languages
English (en)
Inventor
南廷学
金昇焕
林宰显
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN118118671A publication Critical patent/CN118118671A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种用于对视频信号进行解码的方法及其设备。具体而言，用于对图像进行解码的方法可以包括以下步骤：在当前编码树块超出当前图片的边界时，将当前编码树块划分为多个编码块，使得通过划分当前编码树块而获得的编码块被包括在当前图片中；在当前编码块满足预定条件时，解析指示当前编码块是否被划分为多个子块的语法元素；以及基于语法元素确定当前编码块的分割模式。

Description

用于处理图像的方法及其设备
技术领域
本公开涉及一种用于处理静止图像或运动图片的方法，并且更具体地，涉及一种用于确定执行编码/解码的块的分区结构的方法以及支持该方法的设备。
背景技术
压缩编码是指通过通信线路发送数字化信息的一系列信号处理技术，或者用于以适合于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是用于压缩编码的对象，并且具体地，用于对图片执行压缩编码的技术称为视频图像压缩。
下一代视频内容应该具有高维度、高空间分辨率和高帧率的场景表示的特征。为了处理这样的内容，将导致在存储器存储、存储器存取速率和处理功率方面的急剧增长。
因此，需要设计一种用于高效地处理下一代视频内容的编码工具。
发明内容
技术问题
本公开的实施方式提出一种用于在按照QTBT结构执行块分区时有效地调整块分区的方法。
本公开的技术目的不限于上述技术目的，并且本领域普通技术人员从以下描述中将明显地理解上述未提及的其它技术目的。
技术方案
在一个方面，提供了一种用于对图像进行解码的方法，该方法可以包括：在当前编码树块超出当前图片的边界时，将当前编码树块分区为多个编码块，使得从当前编码树块分区出的编码块被包括在当前图片中；在当前编码块满足预定条件时，解析指示是否将当前编码块分区为多个子块的第一语法元素；在第一语法元素指示对当前编码块进行分区时，解析指示是否通过使用四叉树结构对当前编码块进行分区的第二语法元素；在第二语法元素指示不使用四叉树结构对当前编码块进行分区时，解析第三语法元素和第四语法元素中的至少一个，第三语法元素指示是否通过使用二叉树结构对当前编码块进行分区或者是否通过使用三叉树结构对当前编码块进行分区，第四语法元素指示当前编码块的分割方向；以及基于第一语法元素、第二语法元素、第三语法元素和第四语法元素中的至少一个，确定当前编码块的分割模式。
优选地，可以通过以下步骤来执行将当前编码树块分区为多个编码块：通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块，直到到达当前编码树块中的有效区域为止，在此，有效区域可以表示当前编码树块中的属于当前图片的边界的区域。
优选地，将当前编码块分区为多个编码块还可以包括：在当前编码树块超出当前图片的边界时，解析指示是否允许进行四叉树分割的第五语法元素，并且，当第五语法元素指示不允许进行四叉树分割时，可以通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块。
优选地，可以通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来发信号通知第五语法元素。
优选地，可以通过以下步骤来执行将当前编码树块分区为多个编码块：通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块，直到到达当前编码树块中的有效区域为止，并且在此，有效区域可以表示当前编码树块中的属于当前图片的边界的区域。
优选地，可以通过以下步骤来执行将当前编码树块分区为多个编码块：在有效区域的宽度大于最大变换尺寸或者有效区域的高度大于最大变换尺寸时，通过使用四叉树结构将当前编码树块分区为编码块。
在另一方面，提供了一种用于对图像进行解码的设备，其可以包括：编码树块分区单元，其在当前编码树块超出当前图片的边界时，将当前编码树块分区为多个编码块，使得从当前编码树块分区出的编码块被包括在当前图片中；语法元素解析单元，其在当前编码块满足预定条件时，解析指示是否将当前编码块分区为多个子块的第一语法元素，在第一语法元素指示对当前编码块进行分区时，解析指示是否通过使用四叉树结构对当前编码块进行分区的第二语法元素，以及在第二语法元素指示不使用四叉树结构对当前编码块进行分区时，解析第三语法元素和第四语法元素中的至少一个，该第三语法元素指示是否通过使用二叉树结构对当前编码块进行分区或者是否通过使用三叉树结构对当前编码块进行分区，第四语法元素指示当前编码块的分割方向；以及分割模式确定单元，其基于第一语法元素、第二语法元素、第三语法元素和第四语法元素中的至少一个，确定当前编码块的分割模式。
优选地，编码树块分区单元可以通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块，直到到达当前编码树块中的有效区域为止，并且在此，有效区域可以表示当前编码树块中的属于当前图片的边界的区域。
优选地，在当前编码树块超出当前图片的边界时，编码树块分区单元可以解析指示是否允许进行四叉树分割的第五语法元素，以及当第五语法元素指示不允许进行四叉树分割时，可以通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块。
优选地，第五语法元素可以是通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来发信号通知的。
优选地，编码树块分区单元可以通过使用四叉树结构将当前编码树块分区为多个编码块，直到到达当前编码树块中的有效区域为止，并且在此，有效区域可以表示当前编码树块中的属于当前图片的边界的区域。
优选地，编码树块分区单元可以在有效区域的宽度大于最大变换尺寸或者有效区域的高度大于最大变换尺寸时，通过使用四叉树结构将当前编码树块分区为编码块。
技术效果
根据本公开的实施方式，有效地确定QTBT分割结构，并且用信号通知相关信息以增强压缩性能。
此外，根据本公开的实施方式，通过考虑宽度与高度的比率来不允许低效率的分割结构，以减少分割信息信令所需的比特数。
本公开中可获得的效果不限于上述效果，并且本领域技术人员从以下描述中将清楚地理解其它未提及的效果。
附图说明
为了帮助理解本公开，作为详细说明的一部分而包括的附图提供了本公开的实施方式，并且与详细说明一起描述了本公开的技术特征。
图1是作为应用本公开的实施方式的其中执行视频/图像信号的编码的编码设备的示意性框图。
图2是作为应用本公开的实施方式的其中执行视频/图像信号的解码的解码设备的示意性框图。
图3是例示了可以应用本公开的多类型树结构的示例的图。
图4是例示了作为可以应用本公开的实施方式的对具有嵌套的多类型树结构的四叉树的信息进行分区的信令机制的图。
图5是例示了作为可以应用本公开的实施方式的基于四叉树和嵌套多类型树结构将CTU分割成多个CU的方法的图。
图6是例示了作为可以应用本公开的实施方式的用于限制三叉树分割的方法的图。
图7是例示了作为应用本公开的实施方式的基于四叉树的块分区结构的图。
图8是例示了作为应用本公开的实施方式的基于二叉树的块分区结构的图。
图9是例示了作为应用本公开的实施方式的基于三叉树的块分区结构的图。
图10是例示了作为应用本公开的实施方式的基于二叉树、三叉树和条带树的块分区结构的图。
图11是作为应用本公开的实施方式的用于描述正方形块的块分区结构的图。
图12是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
图13是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
图14是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
图15是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
图16是作为应用本公开的实施方式的用于描述正方形块的块分区结构的图。
图17是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
图18是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
图19是例示了作为应用本公开的实施方式的编码树单元(CTU)在图像的边界之外的情况的图。
图20是例示了作为应用本公开的实施方式的基于非对称树的块分区结构的图。
图21至图23是例示了根据可以应用本公开的实施方式的块分区的示例的图。
图24是例示了作为应用本公开的实施方式的用于在没有语法信令的情况下基于最大变换块尺寸来确定是否对块进行分区的方法的图。
图25是例示了根据应用本公开的实施方式的视频信号的解码方法的流程图。
图26是例示了根据应用本公开的实施方式的视频信号的解码设备的图。
图27例示了应用了本公开的视频编码系统。
图28是作为应用本公开的实施方式的内容流系统的架构图。
具体实施方式
参照附图详细描述本公开的一些实施方式。与附图一起公开的详细描述旨在描述本公开的一些实施方式，并非旨在描述本公开的唯一实施方式。以下详细描述包括更多细节以提供对本公开的全面理解。然而，本领域技术人员将理解，本公开可以在没有这种更多细节的情况下实现。
在一些情况下，为了避免本公开的概念变得模糊，已知的结构和装置被省略或可以基于每个结构和装置的核心功能以框图的形式示出。
尽管本公开中使用的大多数术语是从本领域中广泛使用的通用术语中选择的，但是申请人已经任意选择了一些术语，并且根据需要在以下描述中详细解释了它们的含义。因此，应当以术语的预期含义而不是其简单名称或含义来理解本公开。
已经提供了以下描述中使用的特定术语以帮助理解本公开，并且可以在不脱离本公开的技术精神的情况下以各种形式改变这些特定术语的使用。例如，可以在每个编码过程中适当地代替和解释信号、数据、样本、图片、帧、块等。
在本说明书中，“处理单元”是指其中执行诸如预测、变换和/或量化的编码/解码处理的单元。在下文中，为了便于描述，处理单元可以被称为“处理块”或“块”。
此外，处理单元可以解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
另外，处理单元可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于亮度分量的编码树块(CTB)、编码块(CB)、预测单元PU或变换块(TB)。此外，处理单元可以对应于色度分量的CTB、CB、PU或TB。此外，处理单元不限于此，并且可以解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
另外，处理单元不必限于正方形块，并且可以被配置为具有三个或更多个顶点的多边形形状。
此外，在本说明书中，像素称为样本。另外，使用样本可以意味着使用像素值等。
图1是作为应用本公开的实施方式的对视频/图像信号进行编码的编码设备的示意性框图。
参照图1，编码设备100可以被配置为包括图像划分器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为预测器。换句话说，预测器可以包括帧间预测器180和帧内预测器185。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器可以进一步包括减法器115。在一个实施方式中，图像划分器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可以被配置为一个硬件组件(例如，编码器或处理器)。此外，存储器170可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质来实现。
图像划分器110可以将输入到编码设备100的输入图像(或图片或帧)划分为一个或更多个处理单元。例如，处理单元可以被称为编码单元(CU)。在这种情况下，编码单元可以基于四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，基于四叉树结构和/或二叉树结构，一个编码单元可以被分割为深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，然后可以应用二叉树结构。另选地，可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率直接用作最终编码单元，或者如果需要，可以将编码单元递归地分割为深度更深的编码单元。因此，具有最佳尺寸的编码单元可以用作最终编码单元。在这种情况下，编码过程可以包括诸如稍后要描述的预测、变换或重构之类的过程。对于另一示例，处理单元可以还包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从每个最终编码单元划分或分区出预测单元和变换单元中的每一个。预测单元可以是用于样本预测的单元，并且变换单元可以是从其中推导变换系数的单元和/或从变换系数推导残差信号的单元。
根据情况，单元可以与块或区域互换使用。在通常情况下，M×N块可以指示以M列N行配置的一组样本或一组变换系数。通常，样本可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。在样本中，一张图片(或图像)可以用作与像素或画素相对应的术语。
编码设备100可以通过从输入图像信号(原始块或原始样本阵列)中减去帧间预测器180或帧内预测器185输出的预测信号(预测块或预测样本阵列)，来生成残差信号(残差块或残差样本阵列)。所产生的残差信号被发送给变换器120。在这种情况下，如图所示，在编码设备100内的从输入图像信号(原始块或原始样本阵列)中减去预测信号(预测块或预测样本阵列)的单元可以被称为减法器115。预测器可以对处理目标块(在下文中称为当前块)执行预测，并且可以生成包括当前块的预测样本的预测块。预测器可以确定在当前块或CU单元中是应用帧内预测还是应用帧间预测。预测器可以生成关于预测的各种信息，诸如稍后在每个预测模式的描述中将描述的预测模式信息，并且可以将该信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码，并且可以以比特流形式输出。
帧内预测器185可以参考当前图片内的样本来预测当前块。依据预测模式，所参考的样本可以被定位成与当前块相邻或可以与当前块间隔开。在帧内预测中，预测模式可以包括多个非角度模式和多个角度模式。非角度模式可以包括例如DC模式和平面模式。角度模式可以依据预测方向的精细度包括例如33个角度预测模式或65个角度预测模式。在这种情况下，例如，依据配置，可以使用多于或少于33个角度预测模式或65个角度预测模式的角度预测模式。帧内预测器185可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于参考图片上的运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性，以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，相邻块可以包括当前图片内的空间相邻块和参考图片内的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以相同或不同。时间相邻块可以是指被称为共定位参考块或共定位CU(colCU)的名称。包括时间相邻块的参考图片可以被称为共定位图片(colPic)。例如，帧间预测器180可以基于相邻块来构造运动信息候选列表，并且可以生成指示哪个候选被用于推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动矢量预测(MVP)模式的情况下，相邻块的运动矢量可以用作运动矢量预测算子。当前块的运动矢量可以通过用信号通知运动矢量差来指示。
通过帧间预测器180或帧内预测器185生成的预测信号可以用于生成重构信号或残差信号。
变换器120可以通过将变换方案应用于残差信号来生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève(卡-洛)变换(KLT)、基于图的变换(GBT)或有条件的非线性变换(CNT)中的至少一种。在这种情况下，GBT表示如果将像素之间的关系信息表示为图形而从图形获得的变换。CNT表示基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，变换过程可以应用于正方形形式的具有相同尺寸的像素块，或者可以应用于非正方形形式的具有可变尺寸的块。
量化器130可以量化变换系数并将它们发送给熵编码器190。熵编码器190可以编码量化信号(关于量化变换系数的信息)并以比特流形式输出。关于量化变换系数的信息可以称为残差信息。量化器130可以基于系数扫描序列以一维矢量形式重新排列块形式的量化变换系数，并且可以基于一维矢量形式的量化变换系数，来生成关于量化变换系数的信息。熵编码器190可以执行诸如指数格伦布(Golomb)、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)之类的各种编码方法。熵编码器190还可以将除了量化变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值)一起或分别进行编码。编码信息(例如，编码的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位进行发送或存储。比特流可以经由网络传输，或者可以存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字储存介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD之类的各种储存介质。发送由熵编码器190输出的信号的发送器(未示出)和/或用于存储信号的储存器(未示出)可以被配置为编码设备100的内部/外部元件，或者发送器可以是熵编码器190的元件。
由量化器130输出的量化变换系数可以用于生成预测信号。例如，可以通过在环路内经由解量化器140和逆变换器150对量化变换系数应用解量化和逆变换，来重构残差信号。加法器155可以将重构的残差信号与帧间预测器180或帧内预测器185输出的预测信号相加，从而可以生成重构信号(重构图片、重构块或重构样本阵列)。如果像已应用跳过模式的情况那样不存在用于处理目标块的残差，则预测块可以用作重构块。加法器155可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于通过如后面将描述的滤波的下一图片的帧间预测。
滤波器160能够通过将滤波应用于重构信号来改进主观/客观图片质量。例如，滤波器160可以通过将各种滤波方法应用于重构图片来生成修正的重构图片。修正的重构图片可以存储在存储器170中，更具体地，存储在存储器170的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。滤波器160可以生成用于如稍后将在每种滤波方法的描述中描述的滤波的各种信息，并且可以将它们发送给熵编码器190。滤波信息可以由熵编码器190编码并且以比特流的形式输出。
发送到存储器170的修正的重构图片可以用作帧间预测器180中的参考图片。如果应用帧间预测，则编码设备能够避免编码设备100和解码设备中的预测失配，并且提高编码效率。
存储器170的DPB可以存储修正的重构图片以将其用作帧间预测器180中的参考图片。存储器170可以存储推导(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被转发给帧间预测器180，以用作空间相邻块的运动信息或时间相邻块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并将其转发给帧内预测器185。
图2是应用本公开的实施方式，并且是用于对视频/图像信号进行解码的解码设备的示意性框图。
参照图2，解码设备200可以被配置为包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为预测器。即，预测器可以包括帧间预测器180和帧内预测器185。解量化器220和逆变换器230可以被统称为残差处理器。即，残差处理器可以包括解量化器220和逆变换器230。根据实施方式，熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、帧间预测器260和帧内预测器265可以被配置为一个硬件组件(例如，解码器或处理器)。此外，存储器250可以包括解码图片缓冲器(DPB)，并且可以由数字储存介质来实现。
当输入包括视频/图像信息的比特流时，解码设备200可以根据在图1的编码设备中处理视频/图像信息的过程来重构图像。例如，解码设备200可以使用在编码设备中应用的处理单元来执行解码。因此，用于解码的处理单元可以例如是编码单元。依据四叉树结构和/或二叉树结构，可以从编码树单元或最大编码单元中分割出编码单元。此外，可以通过回放装置来回放通过解码设备200解码并输出的重构图像信号。
解码设备200可以接收比特流形式的由图1的编码设备输出的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过解析比特流来推导用于图像重构(或图片重构)的信息(例如，视频/图像信息)。例如，熵解码器210可以基于诸如指数格伦布编码、CAVLC或CABAC之类的编码方法对比特流内的信息进行解码，并且可以输出用于图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可以从比特流中接收与每个语法元素相对应的bin(位)，可以使用解码目标语法元素信息以及相邻和解码目标块的解码信息或者在先前步骤中解码的符号/bin中的信息来确定上下文模型，可以基于所确定的上下文模型来预测bin发生的概率，并且可以通过对bin执行算术解码来生成与每个语法元素的值相对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器2110中解码的信息当中的关于预测的信息可以提供给预测器(帧间预测器260和帧内预测器265)。与在熵解码器210中已经对其执行了熵解码的残差值有关的参数信息(即，量化变换系数)可以输入到解量化器220。此外，在熵解码器210中解码的信息当中的关于滤波的信息可以提供给滤波器240。此外，接收由编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备200的内部/外部元件，或者接收器可以是熵解码器210的元件。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块形式重新布置量化变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描序列来执行重新布置。解量化器220可以使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且可以获得变换系数。
逆变换器230可以通过对变换系数应用逆变换来输出残差信号(残差块或残差样本阵列)。
预测器可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息，来确定是对当前块应用帧内预测还是应用帧间预测，并且可以确定详细的帧内/帧间预测模式。
帧内预测器265可以参考当前图片内的样本来预测当前块。依据预测模式，所参考的样本可以被定位为与当前块相邻或可以与当前块间隔开。在帧内预测中，预测模式可以包括多个非角度模式和多个角度模式。帧内预测器265可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
帧间预测器260可以基于参考图片上由运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下传输的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性，以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，相邻块可以包括当前图片内的空间相邻块和参考图片内的时间相邻块。例如，帧间预测器260可以基于相邻块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测。关于预测的信息可以包括指示当前块的帧间预测的模式的信息。
加法器235可以通过将获得的残差信号加至帧间预测器260或帧内预测器265输出的预测信号(预测块或预测样本阵列)，来生成重构信号(重构图片、重构块或重构样本阵列)。如果如在已经应用跳过模式的情况下那样没有针对处理目标块的残差，则预测块可以用作重构块。
加法器235可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于通过如后面将描述的滤波的下一图片的帧间预测。
滤波器240能够通过将滤波应用于重构信号来改进主观/客观图片质量。例如，滤波器240可以通过将各种滤波方法应用于重构图片来生成修正的重构图片，并且可以将修正的重构图片发送给存储器250，更具体地，发送给存储器250的DPB。各种滤波方法可以包括例如解块滤波、样本自适应偏移SAO、自适应环路滤波器ALF和双边滤波器。
存储在存储器250的DPB中的(修正的)重构图片可以用作帧间预测器260中的参考图片。存储器250可以存储推导(或解码)当前图片中的运动信息的块的运动信息和/或已经重构图片中的块的运动信息。所存储的运动信息可以转发给帧间预测器260，以用作空间相邻块的运动信息或时间相邻块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并将其转发给帧内预测器265。
在本公开中，在编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以相同地或以相应方式分别应用于解码设备200的滤波器240、帧间预测器260和帧内预测器265。
块分区
可以基于各种详细技术来执行根据本公开的视频/图像编码方法，并且以下描述各种详细技术中的每一个。对于本领域技术人员显而易见的是，本文描述的技术可以与以上述描的和/或以下描述的诸如视频/图像编码/解码过程中的预测、残差处理((逆)变换、(解)量化等)、语法元素编码、滤波、分区/分割之类的相关过程相关联。
可以在上述编码设备的图像划分器110中执行根据本公开的块分区过程，并且分区相关信息可以在熵编码器190中进行(编码)处理并且以比特流格式转发给解码设备。解码设备的熵解码器210可以基于从比特流获得的分区相关信息来获得当前图片的块分区结构，并且可以基于其执行一系列过程(例如，预测、残差处理、块重构、环路内滤波等)以进行图像解码。
图片分区为CTU
图片可以划分为编码树单元(CTU)序列。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和相应色度样本的两个编码树块。换句话说，对于包括三种类型的样本阵列的图片，CTU可以包括亮度样本的N×N块和色度样本的两个相应样本。
用于编码和预测的CTU的最大支持尺寸可以与用于变换的CTU的最大支持尺寸不同。例如，CTU中亮度块的最大支持尺寸可以是128×128。
使用树结构对CTU进行分区
可以基于四叉树(QT)结构将CTU划分为CU。四叉树结构可以被称为四元结构。这是为了反映各种局部特征。同时，在本公开中，可以基于包括二叉树(BT)和三叉树(TT)以及四叉树的多类型树结构分区来划分CTU。在下文中，QTBT结构可以包括四叉树和二叉树结构，并且QTBTTT可以包括基于二叉树和三叉树的分区结构。另选地，QTBT结构还可包括基于四叉树、二叉树和三叉树的分区结构。在编码树结构中，CU可以具有正方形或矩形形状。首先，CTU可以划分为四叉树结构。然后，可以按照多类型树结构附加地划分四叉树结构的叶节点。
图3是例示了作为可以应用本公开的实施方式的多类型树结构的示例的图。
在本公开的实施方式中，多类型树结构可以包括如图3所示的4个分割类型。4种分割类型可以包括垂直二元分割(SPLIT_BT_VER)、水平二元分割(SPLIT_BT_HOR)、垂直三元分割(SPLIT_TT_VER)和水平三元分割(SPLIT_TT_HOR)。多类型树结构的叶节点称为CU。这种CU可以用于预测和变换过程。在本公开中，通常，CU、PU和TU可以具有相同的块尺寸。然而，在支持的最大变换长度小于颜色分量的宽度或高度的情况下，CU和TU可以具有不同的块尺寸。
图4是例示了作为可以应用本公开的实施方式的具有嵌套的多类型树结构的四叉树的分区分割信息的信令机制的图。
在此，CTU可以被作为四叉树的根处理，并且被初始分区为四叉树结构。之后每个四叉树叶节点可以进一步分区为多类型树结构。在多类型树结构中，用信号通知第一标志(例如，mtt_split_cu_flag)以指示相应节点是否被进一步分区。在相应节点被进一步分区的情况下，可以用信号通知第二标志(例如，mtt_split_cu_verticla_flag)以指示分割方向。随后，可以用信号通知第三标志(例如，mtt_split_cu_binary_flag)以指示分割类型是二元分割还是三元分割。例如，基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，可以如下表1中所表示地推导多类型树分割模式(MttSplitMode)。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图5是例示了作为可以应用本公开的实施方式的基于四叉树和嵌套的多类型树结构将CTU分区为多个CU的方法的图。
此处，加粗的块边缘代表四叉树分区，其余边缘代表多类型树分区。具有嵌套多类型树的四叉树分区可以提供内容自适应的编码树结构。CU可以对应于编码块(CB)。或者，CU可以包括亮度样本的编码块和相应色度样本的两个编码块。在亮度样本单元中，CU的尺寸可以与CTU一样大，或者也可以与4×4一样小。例如，在4：2：0颜色格式(或色度格式)的情况下，最大色度CB尺寸可以为64×64，并且最小色度CB尺寸可以为2×2。
在本公开中，例如，支持的最大亮度TB尺寸可以是64×64，并且支持的最大色度TB尺寸可以是32×32。在根据树结构分区的CB的宽度或高度大于最大变换宽度或高度的情况下，可以对CB进一步分区，直到自动(隐式地)满足水平和垂直方向的TB尺寸限制为止。
此外，对于具有嵌套的多类型树的四叉树编码树方案，可以将以下参数定义或识别为SPS语法元素。
-CTU size：四叉树的根节点尺寸
-MinQTSize：允许的最小四叉树叶节点尺寸
-MaxBtSize：允许的最大二叉树根节点尺寸
-MaxTtSize：允许的最大三叉树根节点尺寸
-MaxMttDepth：允许的从四叉树叶分割出的多类型树的最大层次深度
-MinBtSize：允许的最小二叉树叶节点尺寸
-MinTtSize：允许的最小三叉树叶节点尺寸
作为具有嵌套多类型树的四叉树编码树方案的示例，CTU尺寸可以设置为128×128亮度样本和两个相应色度样本的64×64块(在4：2：0色度样本中)。在这种情况下，MinOTSize可以设置为16×16，MaxBtSize可以设置为128×128，MaxTtSzie可以设置为64×64，MinBtSize和MinTtSize(用于宽度和高度二者)可以设置为4×4，并且MaxMttDepth可以设置为4。四叉树分区可以应用于CTU并生成四叉树叶节点。四叉树叶节点可以称为叶QT节点。四叉树叶节点可以具有从16×16尺寸(即MinOTSize)到128×128尺寸(即，CTU尺寸)的尺寸。在叶QT节点为128×128的情况下，叶QT节点可以不分区为二叉树/三叉树。这是因为即使在叶QT节点被分区的情况下，叶QT节点也超过了MaxBtsize和MaxTtszie(即，64×64)。在其它情况下，叶QT节点可以被附加地分区为多类型树。因此，叶QT节点可以是多类型树的根节点，并且叶QT节点可以具有为0值的多类型树深度(mttDepth)。在多类型树深度达到MaxMttdepth(例如，4)的情况下，可以不考虑附加分区。在多类型树节点的宽度等于MinBtSize且小于或等于2×MinTtSize的情况下，可以不再考虑附加的水平分区。在多类型树节点的高度等于MinBtSize且小于或等于2×MinTtSize的情况下，可以不再考虑附加的垂直分区。
图6是例示了作为可以应用本公开的实施方式的用于限制三叉树分割的方法的图。
参照图6，为了在硬件解码器中支持64×64亮度块和32×32色度流水线设计，在特定情况下可以限制TT分割。例如，在亮度编码块的宽度或高度大于预定特定值(例如，32、64)的情况下，如图6所示，可以限制TT分割。
在本公开中，编码树方案可以支持亮度和色度块具有单独的块树结构。关于P和B条带(slices)，单个CTU中的亮度CTB和色度CTB可以被限制为具有相同的编码树结构。然而，关于I条带，亮度块和色度块可具有各自的单独块树结构。在应用单独块树模式的情况下，可以基于特定的编码树结构将亮度CTB分区为CU，并且可以基于不同的编码树结构将色度CTB分区为色度CU。这可以表示I条带中的CU可以包括色度分量的编码块或两个色度分量的编码块，并且P条带或B条带中的CU可以包括三个颜色分量的块。
在以上描述的“使用树结构对CTU进行分区”中，描述了具有嵌套多类型树的四叉树编码树方案，但是对CU进行分区的结构不限于此。例如，BT结构和TT结构可以被解释为在多分区树(MPT)结构中所包括的概念，并且可以被解释为通过QT结构和MPT结构对CU进行分区。在通过QT结构和MPT结构对CU进行分区的示例中，可以用信号通知包括关于QT结构的叶节点所分区成的块的数量的信息的语法元素(例如，MPT_split_type)、以及包括关于QT结构的叶节点在垂直方向和水平方向之间被分区的方向的信息的语法元素(例如，MPT_split_mode)，并且可以确定分割结构。
在另一示例中，可以以不同于QT结构、BT结构或TT结构的方法对CU进行分区。即，与根据QT结构将下层深度的CU分区为高层深度的CU的1/4尺寸不同，根据BT结构将下层深度的CU分区为高层深度的CU的1/2尺寸，或者根据TT结构将下层深度的CU分区为高层深度的CU的1/4尺寸或1/2尺寸，在某些情况下，下层深度的CU可以分区为高层深度的CU的1/5尺寸、1/3尺寸、3/8尺寸、3/5尺寸、2/3尺寸或5/8尺寸，但是对CU进行分区的方法不限于此。
在树节点块的一部分超过底部或右侧图片边界的情况下，相应树节点块可以被限制为所有编码CU的所有样本位于图片边界内。在这种情况下，例如，可以应用以下分割规则。
-如果树节点块的一部分超过了底部和右侧图片边界二者，
-如果块是QT节点并且块的尺寸大于最小QT尺寸，则强制用QT分割模式对块进行分割。
-否则，强制用SPLIT_BT_HOR模式对块进行分割，
-否则，如果树节点块的一部分超出了底部图片边界，
-如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸大于最大BT尺寸，则强制用QT分割模式对块进行分割。
-否则，如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸小于或等于最大BT尺寸，则强制用QT分割模式或SPLIT_BT_HOR模式对块进行分割。
-否则(块是BTT节点，或者块的尺寸小于或等于最小QT尺寸)，则强制用SPLIT_BT_HOR模式对块进行分割。
-否则，如果树节点块的一部分超过右侧图片边界，
-如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸大于最大BT尺寸，则强制用QT分割模式对块进行分割。
-否则，如果块是QT节点，并且块的尺寸大于最小QT尺寸，并且块的尺寸小于或等于最大BT尺寸，则强制用QT分割模式或SPLIT_BT_VER模式对块进行分割。
-否则(块是BTT节点，或者块的尺寸小于或等于最小QT尺寸)，则强制用SPLIT_BT_VER模式对块进行分割。
实施方式1
图7是例示了作为应用本公开的实施方式的基于四叉树的块分区结构的图。
参照图7，在本公开的实施方式中，可以基于四叉树(QT)对一个块进行分区。另外，被分区为QT结构的一个子块可以被进一步划分递归地分区为QT结构。不再被分区为QT结构的端块(可以称为叶块或叶节点块)可以按照二叉树(BT)、三叉树(TT)、或不对称树(AT)中的至少一种进行分区。
作为示例，块A可以按照QT结构被分区为四个子块A0、A1、A2和A3。另外，子块A1可以再次按照QT结构被分区为四个子块B0、B1、B2和B3。
图8是例示了作为应用本公开的实施方式的基于二叉树的块分区结构的图。
参照图8，BT可以具有两种类型的分区：水平BT(例如，2N×N或2N×N)和垂直BT(例如N×2N或N×2N)。
作为示例，不再被分区为QT结构的块(即，叶节点块)B3可以被分区为垂直BT(C0、C1)或水平BT(D0、D1)。当块被垂直分割时，像块C0一样，每个子块可以像水平BT(E0、E1)或垂直BT(F0、F1)的形式被递归地分区。
图9是例示了作为应用本公开的实施方式的基于三叉树的块分区结构的图。
参照图9，TT可以具有两种类型的分区：水平TT(例如，2N×1/2N、2N×N或2N×1/2N)和垂直TT(例如，1/2N×2N、N×2N或1/2N×2N)。
作为示例，不再按照QT分区的块B3可以被分区为垂直TT(C0、C1或C2)或水平TT(D0、D1或D2)。如图9所示，块C1可以像水平TT(E0、E1或E2)或垂直TT(F0、F1或F2)的形式一样地进行递归地分区。
作为另一示例，AT可以具有四种类型的分区结构：水平向上AT(2N×1/2N、2N×3/2N)、水平向下AT(2N×3/2N、2N×1/2N)、垂直向左AT(1/2N×2N、3/2N×2N)、垂直向右AT(3/2N×2N、1/2N×2N)。BT、TT和AT可以通过分别使用BT、TT和AT来进一步递归地分区。
图10是例示了作为应用本公开的实施方式的基于二叉树、三叉树和条带树的块分区结构的图。
参照图10，可以通过一起使用BT、TT和条带树(ST)分区结构对处理块进行分区。例如，被分区为BT结构的子块可以被分区为TT结构。另选地，被分区为TT结构的子块可以被分区为BT结构。
此外，在实施方式中，处理块可以被分区为ST结构，该ST结构在水平方向或垂直方向上被分区为四个。此外，BT、TT和ST分区可以被一起使用，以对块进行分区。例如，按照BT分区的子块可以按照TT或ST进行分区。此外，按照TT分区的子块可以按照BT或ST进行分区。此外，按照ST进行分区的子块可以按照BT或TT进行分区。
在图10中，由细实线指示的分割代表第一分割，并且由粗虚线指示的分割代表在第一分割中生成的子块中执行的第二分割。
表2表示编码四叉树语法结构，而表3表示编码树的语法。
[表2]
参照表2，描述了用于确定四叉树分割结构的解码处理。可以用当前块的左上坐标(x0，y0)、当前块的尺寸(log2CbSize)和当前四叉树分割的深度作为输入来调用编码四叉树语法(或函数)。
在当前块不超过当前图片的宽度或高度并且当前块大于最小尺寸的编码块的情况下，解码器解析split_qt_flag语法元素。split_qt_flag语法元素指示当前块是否按照四叉树结构被分割为四个块。例如，在split_qt_flag值为0的情况下，该情况表示当前块未按照四叉树结构被分割为四个块，而在split_qt_flag值为1的情况下，该情况表示当前块被为分割成宽度为一半且高度为一半的四个块。x0和y0表示亮度图像的左上位置。
作为解析的结果，在确定出当前块按照四叉树结构进行分割的情况下，解码器针对从当前块分割出的4个子块再次调用编码四叉树语法(或函数)。
作为解析的结果，在未确定出当前块按照四叉树结构进行分割的情况下，解码器针对当前块调用编码四叉树语法(或函数)以确定后续的分割结构(即，多类型树结构)。
[表3]
参照表3，描述了用于确定四叉树叶节点块中的附加分割结构的解码处理。可以用当前块的左上坐标(x0，y0)、当前块的宽度(log2CbSize)和当前块的宽度(log2CbSizeH)作为输入来调用编码四叉树语法(或函数)。
在当前块不超过当前图片的宽度或高度，并且当前块大于最小尺寸的MTT块的情况下，解码器解析split_fur_flag语法元素。split_fur_flag语法元素指示当前块是否被进一步分割。例如，在split_fur_flag值为0的情况下，该情况表示当前块不再被分割，而在split_fur_flag值为1的情况下，该情况表示当前块被分割。
作为解析的结果，在确定出当前块被进一步分割的情况下，解码器调用split_bt_flag和split_dir语法元素(或函数)。split_bt_flag语法表示当前块是按照BT结构还是按照TT结构来分割。例如，在split_bt_flag值为1的情况下，该情况表示块按照BT来分割，而在split_bt_flag值为0的情况下，该情况表示块按照TT来分割。
可以如以下表4中所表示地，基于split_fur_flag语法和split_bt_flag语法来确定当前块的分割类型(SplitType)。
[表4]
split_fur_flag split_bt_flag SplitType
0 NO_SPLIT
1 1 BT
1 0 TT
另外，在表3中，split_dir语法元素表示分割方向。例如，在split_dir值为0的情况下，该情况表示块在水平方向上被分割，而在split_dir值为1的情况下，该情况表示块在垂直方向上被分割。
如下表5所表示地，可以诱发作为从当前块分割的MTT的最终块分割模式(SplitMode)。
[表5]
解码器根据最终确定的分割结构针对子块分割再次调用编码树语法(或函数)。
实施方式2
在本公开的实施方式中，提出了一种用于根据块的形状(或尺寸)允许进行BT、TT或ST分区的方法。在上述实施方式1中，不管块的形状如何，如果没有达到表示最大分区深度的MaxDepth、表示按照二叉树结构分区的块的最小尺寸的MinBTSize、或者表示按照三叉树结构分区的块的最小尺寸的MinTTSize，则允许进行分区。然而，在实施方式中，编码器/解码器可以允许根据块的宽度或高度(即，块的形状)来自适应地进行块分区。
图11是作为应用本公开的实施方式的用于描述正方形块的块分区结构的图。
参照图11，假设当前块是2N×2N块。在本公开的实施方式中，在宽度和高度彼此相等的正方形块中，水平BT、TT和ST分区全部可用，并且垂直BT、TT和ST分区全部可用。即，在本公开的实施方式中，可以不向正方形块应用块分区限制。
图12是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
参照图12，假设当前处理块是2N×N块。在实施方式中，在宽度是高度的两倍大的非正方形块中，如图12所示，可以仅允许垂直BT和TT分区以及水平BT分区。
换句话说，在当前块是宽度大于高度的非正方形块时，可以不允许进行水平和垂直ST分区。此外，在当前块是宽度大于高度的非正方形块时，即使对于水平方向也可能不允许进行TT分区。
根据本公开的实施方式，通过考虑宽度和高度的比率来不允许低效率的分区结构，以减少分区信息信令所需的比特数。
图13是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
参照图13，假设当前块是N×2N块。在实施方式中，在高度是宽度的两倍大的非正方形块中，如图13所示，可以仅允许水平BT和TT分区以及垂直BT分区。
换句话说，在当前块是高度大于宽度的非正方形块时，可以不允许水平和垂直ST分区。此外，在当前块是高度大于宽度的非正方形块时，即使对于垂直方向也可能不允许进行TT分区。
根据本公开的实施方式，通过考虑宽度和高度的比率而不允许低效率的分区结构，以减少分区信息信令所需的比特数。
图14是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
参照图14，假设当前块是2N×1/2N块。在本公开的实施方式中，在宽度是高度的四倍大的非正方形块中，如图14所示，可以仅允许进行垂直BT分区。
换句话说，在当前块是宽度是高度的四倍或更大的块时，可以不允许垂直TT和ST分区。此外，在当前块是宽度是高度的四倍或更大的块时，针对水平方向，可以不允许进行任何分区。
根据本公开的实施方式，通过考虑宽度和高度的比率而不允许低效率的分区结构，以减少分区信息信令所需的比特数。
图15是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
参照图15，假设当前块是1/2N×2N块。在本公开的实施方式中，在高度是宽度四倍大的非正方形块中，如图15所示，可以仅允许进行水平BT分区。
换句话说，在当前块是高度是宽度的四倍或更大的块时，可以不允许水平TT和ST分区。此外，在当前块是高度是宽度的四倍或更大的块时，甚至对于垂直方向，也可能不允许进行任何分区。
根据本公开的实施方式，通过考虑宽度和高度的比率而不允许低效率的分区结构，以减少分区信息信令所需的比特数。
在实施方式中，仅当CTU(或CTB、最大尺寸CU)的边界超出图像(图片或条带)的边界时，才可以应用用于根据块的形状或尺寸来限制特定分区的方法。
实施方式3
在本公开中，提出了一种用于根据块的形状(或尺寸)允许进行BT、TT或ST分区的方法。根据上述实施方式2，编码器/解码器可以允许根据块的宽度和高度的形状自适应地进行块分区。在上述实施方式2中，描述了一种针对具有相对大尺寸的块允许进行各种块的分区，并且针对相对小的块，不允许根据块形状进行特定分区的方法。相反，在本公开的实施方式中，提出了一种用于针对相对小的块允许进行更详细的块分区的方法。
图16是作为应用本公开的实施方式的用于描述正方形块的块分区结构的图。
参照图16，假设当前块是2N×2N块。在本公开的实施方式中，在宽度和高度彼此相等的正方形块中，如图16所示，可以仅允许水平和垂直BT分区。即，在宽度和高度彼此相等的正方形块中，可以不允许进行TT和ST分区。
此外，在本公开的实施方式中，针对与上述实施方式2中相同的分区结构，可以允许可用于2N×N块和N×2N块的分区(参见图12和图13)。
根据本公开的实施方式，通过考虑宽度和高度的比率而不允许低效率的分区结构，以减少分区信息信令所需的比特数。
图17是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
参照图17，假设当前块是2N×1/2N块。在本公开的实施方式中，在宽度为高度的四倍大的非正方形中，如图17所示，可以仅允许进行垂直BT、TT和ST分区。
换句话说，在当前块是宽度是高度的四倍或更大的块时，可以仅允许垂直分区。此外，在当前块是宽度是高度的四倍或更大的块时，即使对于水平方向，也可能不允许进行任何分区。
根据本公开的实施方式，通过考虑宽度和高度的比率而不允许低效率的分区结构，以减少分区信息信令所需的比特数。
图18是例示了作为应用本公开的实施方式的非正方形块的块分区结构的图。
参照图18，假设当前块是1/2N×2N块。在本公开的实施方式中，在高度为宽度的四倍大的非正方形中，如图15所示，可以仅允许进行水平BT、TT和ST分区。
换句话说，在当前块是高度是宽度的四倍或更大的块时，可以仅允许进行水平分区。此外，在当前块是高度是宽度的四倍或更大的块时，即使对于垂直方向，也可能不允许进行任何分区。
根据本公开的实施方式，通过考虑宽度和高度的比率而不允许低效率的分区结构，以减少分区信息信令所需的比特数。
在实施方式中，仅当CTU(或CTB、最大尺寸CU)的边界超出图像(图片或条带)的边界时，才可以应用用于根据块的形状或尺寸来限制特定分区的方法。
实施方式4
在以上实施方式2和3中，描述了一种用于确定块分区结构的方法，其中可以根据块的形状对块进行分区。在本公开的实施方式中，可以以高级语法来发送用于根据块形状来确定块分区结构的语法。
例如，可以通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头从编码器向解码器用信号通知用于根据块形状确定块分区结构的语法。
在实施方式中，可以以如下表6所示的序列参数集(SPS)发送用于确定块分区结构的语法。
[表6]
参照表6，log2_size_bt_allow_ratio表示指示用于BT分区的、块的宽度和高度之间的比率(或差、或差的比率)的允许范围的语法(或语法元素)。作为示例，当值为1时，编码器/解码器仅在块的一条边的长度(即，宽度或高度)等于或小于另一条边的长度的两倍的情况下，才可以允许进行分区，并且在一条边的长度大于另一条边的长度的两倍的情况下不允许进行块分区。另外，log2_size_bt_allow_ratio和log2_size_st_allow_ratio分别表示指示用于TT和ST分区的、块的宽度和高度之间的比率(或差、或差的比率)的允许范围的语法(或语法元素)。
另选地，在实施方式中，可以以如下表7所示的序列参数集(SPS)来发送用于确定块分区结构的语法。
[表7]
参照表7，log2_size_bt_disallow_ratio表示指示用于BT分区的、块的宽度和高度之间的比率(或差、或差的比率)的允许范围的语法(或语法元素)。例如，当该值为1时，编码器/解码器在块的一条边的长度是另一条边的长度的两倍的情况下，可以不允许进行块分区。另外，log2_size_bt_disallow_ratio和log2_size_st_disallow_ratio分别表示指示用于TT和ST分区的、块的宽度和高度之间的比率(或差、或差的比率)的允许范围的语法(或语法元素)。
可以通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头从编码器向解码器用信号通知表6和表7的语法。
根据表6和表7的示例，当宽度和高度之间的比率在预定范围内时，不允许进行块分区，以有效地确定分区结构并且减少确定分区结构所需的信令比特。
在实施方式中，仅当CTU(或CTB、最大尺寸CU)的边界超出图像(图片或条带)的边界时，才可以应用用于根据块的形状或尺寸来限制特定分区的方法。
实施方式5
如上所述，当块的宽度和高度的长度彼此相等时，可以使用QT结构。在本公开的实施方式中，当块跨越图片边界区域时，即，在当前CTU(或最大编码单元，CTB)的右侧边界或下部边界超过当前图片时，编码器/解码器可以将当前CTU分区为具有最大尺寸的块，这可以是在没有附加语法信令的情况下进行BT或TT(即，多类型树)分区。
在相关技术的图像压缩技术中，当CTU(或CTB、具有最大尺寸的CU)的边界超出图片(或条带)的边界时，解码器可以在不超出图片的边界下执行QT分区，而不解析从编码器(即，隐式)用信号通知的分区信息。
例如，在当前CTU为64×64且图片(或条带)仅包含64×32区域时，解码器可在将当前CTU QT分区为四个32×32CU而不解析分区信息。在这种情况下，在将尺寸为64×32的块隐式地分区为两个32×32尺寸的块之后，对分区信息进行解析。在本公开中，隐式分区可以指示用于在没有分区信息信令的情况下根据特定条件执行块分区的方法，并且可以称为自动分区、默认分区等。
在本公开的实施方式中，提出了一种用于当CTU(或CTB、具有最大尺寸的CU)的边界超出图片的边界时通过不允许进行QT分区来最小化超出图片边界的CTU分区的方法。例如，在当前CTU为64×64并且图片(或条带)仅包括64×32区域时，编码器/解码器可以通过不允许QT分区来执行除QT分区以外的分区(例如，BT、TT和AT)。例如，可以执行BT分区来代替QT分区，并且在这种情况下，对与图片(或条带)边界相邻的尺寸为64×32的块的分区可以不从两个32×32尺寸的块开始，而是可以通过解析分区信息从尺寸为64×32的块开始。根据本公开的实施方式，根据图像的复杂度来调整QT分区，以用相对少的分区信息来确定有效分区结构。
在实施方式中，当CTU(或CTB、具有最大尺寸的CU)的边界超出图片(或条带)的边界时，编码器可以向解码器发送指示是否允许进行QT分区的语法。例如，指示是否允许进行QT分区的语法可以以序列、图片或条带(或切片组)为单位发送。下表8示出了以高层信令用信号通知的QT分区限制语法。
[表8]
参照表8，pic_boundary_qt_disable_flag表示指示当图片的边界区域中的块的块尺寸不等于最大块尺寸时是否允许按照QT进行分区的语法(或语法元素)。作为实施方式，当pic_boundary_qt_disable_flag的值为1时，在图片边界区域中可以不允许进行QT分区。除了序列参数集之外，还可以通过图片参数集、切片组报头或网络抽象层单元的报头从编码器向解码器发信号通知语法。
图19是例示了作为应用本公开的实施方式的编码树单元(CTU)超出图像的边界的情况的图。
参照图19，当前图片可以被分区为CTU单元。在这种情况下，当前图片的高度可以不与CTU高度的倍数对应，并且在这种情况下，如图19所示，位于当前图片的底部的CTU可能超出当前图片的边界。
也就是说，可以根据通过上述实施方式2至实施方式4确定的块形状来确定可用的块分区形状，并且可以从最大块隐式地执行分区，在该最大块中可以对相应块进行分区。在这种情况下，语法中可以不包含用于分区的信息。在将块分区成可以被隐式地分区的最大块之后，编码器可以用信号通知关于最佳块分区结构的信息。
此外，在另一实施方式中，当CTU(或CTB、具有最大尺寸的CU)的边界超出图片(或条带)的边界时，编码器和解码器可以根据特定条件等同地确定是否允许进行QT分区。当不允许进行QT分区时，编码器/解码器可以通过使用除QT之外的分区(例如，BT、TT和AT)对CTU进行分区。
作为示例，当CTU的边界超出图像(图片或条带)的边界时，解码器可以基于CTU和图像彼此交叠的区域(或重复区域)来确定是否允许进行QT分区。例如，解码器在交叠区域等于或小于CTU尺寸的1/2时可以不允许进行QT分区，并且在交叠区域大于1/2时可以允许进行QT分区。
在这种情况下，在基于交叠区域确定是否允许进入QT分区之前，可以执行检查(或确定)交叠区域。可以通过使用CTU中的面积比、与CTU相比的宽度或高度之比、与虚拟区域的面积/宽度/高度之比等，来计算交叠区域。在本公开中，在CTU中的除了CTU和图像彼此交叠的区域之外的其余区域(即，CTU中的超出图像(图片或条带)的边界的区域)可以被称为虚拟区域。此后，当交叠区域(或面积、或比率)等于或小于预定区域(或面积、或比率)时，可以不允许进行QT分区，而当交叠区域大于预定区域时，可以允许进行QT分区。此外，例如，将交叠区域的比率与特定阈值进行比较，以确定是否允许进行QT分区。
此外，作为示例，当CTU的边界超出图像(图片或条带)的边界时，解码器可以基于变换的尺寸(或者转换核或转换矩阵)确定是允许进行QT分区还是允许进行隐式分区结构。例如，当在交叠区域中存在可用变换时，解码器可以不允许进行QT分区。另选地，解码器可以如在上述实施方式中那样基于交叠区域来确定是否允许进行QT分区，并且根据可用于交叠区域的变换的尺寸来确定分区结构。例如，解码器可以以可用变换的最大尺寸为单位将交叠区域分区成块。
在实施方式中，在当前CTU的交叠区域大于最大变换尺寸时，编码器/解码器可以执行QT分区而无需针对当前CTU的语法信令。例如，当CTU中的交叠区域(即，当前图片中除虚拟区域之外的区域)的宽度大于最大变换尺寸(或最大变换的一条边的长度)或交叠区域的高度大于最大变换尺寸时，编码器/解码器可以执行QT分区而无需针对当前CTU的语法信令。
此外，在另一实施方式中，当CTU(或CTB、具有最大尺寸的CU)的边界超出图片(或条带)的边界时，QT分区可以被配置为不会连续被允许。当不允许进行QT分区时，可以通过使用除QT之外的分区(例如，BT、TT和AT)对相应CTU进行分区。在这种情况下，可以减少语法信令数据，并且可以使超出图片边界的块的分区最小化。
根据本公开的实施方式，当CTU(或CTB、或具有最大尺寸的CU)的边界超出图像(图片或条带)的边界时，在相应CTU中的图像的分区可以被最小化，并且可以有效地确定在相应CTU中的图像的初始分区块的尺寸。随着图像分辨率变得越大和多样化，尺寸比旧HEVC的尺寸更大的128×128和256×256的块也被当作作为对图像进行分区的基本单位的CTU(或CTB、或具有最大尺寸的CU)来讨论。
因此，CTU边界可以经常超出图像的边界，并且如果在如在相关技术的图像压缩技术中那样的任何情况下允许进行QT分区，则图像的边界可能不必要地被分区为小尺寸，并且因为以不必要的分区块为单位用信号通知编码信息，所以压缩效率在图像的边界上可以显著降低。下表9示出了一般图像的尺寸。
[表9]
在本公开的实施方式中，主要描述了CTU的尺寸是64×64和128×128的情况，但是本公开不限于此，并且即使在CTU的尺寸为256×256和512×512的情况下也可以类似地应用本公开。8k图像可以具有7680×4320的分辨率，并且在这种情况下，属于最低CTU线的全部CTU可以超出图像的边界。在这种情况下，可以应用上述实施方式。类似地，即使在具有4096×2160的分辨率的4k图像，具有3840×2160的分辨率的UHD图像和具有1920×1080的分辨率的FHD图像的情况下，属于最低CTU线的全部CTU可能超出图像的边界，并且可以应用上述实施方式。
实施方式6
图20是例示了作为应用本公开的实施方式的基于非对称树的块分区结构的图。
参照图20，AT可以具有四种类型的分区：水平向上AT(2N×1/2N、2N×3/2N)、水平向下AT(2N×3/2N、2N×1/2N)、垂直向左AT(1/2N×2N、3/2N×2N)和垂直向右AT(3/2N×2N、1/2N×2N)。
作为示例，不再按照QT分区的块B3可以按照垂直AT(C0、C1)或水平AT(D0、D1)进行分区。像块C1一样，每个子块可以像水平AT(E0、E1)或垂直TT(F0、F1)的形式那样进一步递归地分区。
图21至图23是例示了根据可以应用本公开的实施方式的块分区的示例的图。
参照图21至图23，BT、TT和AT分区可以一起使用。例如，按照BT分区的子块可以按照TT或AT分区。此外，按照TT分区的子块可以按照BT或AT分区。此外，按照AT分区的子块可以按照BT或TT分区。
在图21至图23中，由实线表示的分区指示第一分区，而由虚线表示的分区指示通过第一分区生成的子块的第二分区。例如，图21中的(1)至图21中的(4)例示了在水平BT分区之后，各个子块按照垂直BT、垂直TT、垂直向左AT和垂直向右AT被分区。图21中的(5)至图21中的(8)例示了在水平TT分区之后，各个子块按照垂直BT、垂直TT、垂直向左AT和垂直向右AT被分区。
图21中的(9)至图21中的(12)例示了在水平向上AT分区之后，各个子块按照垂直BT、垂直TT、垂直向左AT和垂直向右AT被分区。图22中的(13)至图22中的(16)例示了在水平向下AT分区之后，各个子块按照垂直BT、垂直TT、垂直向左AT和垂直向右AT被分区。
图22中的(17)至图22中的(20)例示了在垂直BT分区之后，各个子块按照水平BT、水平TT、水平向上AT和垂直向下AT被分区。图22中的(21)至图22中的(24)例示了在垂直TT分区之后，各个子块按照水平BT、水平TT、水平向上AT和水平向下AT被分区。
图23中的(25)至图23中的(28)例示了在垂直向左AT分区之后，各个子块按照水平BT、水平TT、水平向上AT和水平向下AT被分区。图23中的(29)至图23中的(32)例示了在垂直向右AT分区之后，各个子块按照水平BT、水平TT、水平向上AT和水平向下AT被分区。
实施方式7
通过各种结构的块分区来增加分区的自由度，以增加压缩效率，而由于增强的分区自由度导致的复杂度增加可能成为问题。因此，在本公开的实施方式中，提出了一种发送用于通过考虑在基于QT结构执行块分区中的复杂度和性能之间的关系来调整QT分区度的语法的方法。
作为实施方式，编码器可以向解码器发送最大QT块尺寸(MaxQTSize)语法、最小QT块尺寸(MinQTSize)语法和最大QT块分区深度(MaxQTDepth)语法(或语法元素)中的至少一种。这里，最大QT块尺寸可以指示在其中可以执行QT分区的块的最大尺寸，并且可以表示为对数标度的形式(例如，log2)。最小QT块尺寸可以指示在其中可以执行QT分区的块的最小尺寸，并且可以表示为对数标度的形式(例如，log2)。此外，最大QT分区深度指示允许从最大QT块尺寸进行多少次QT分区。
此外，作为实施方式，编码器可以向解码器发送最大BT块尺寸(MaxBTSize)语法、最小BT块尺寸(MinBTSize)语法和最大BT块分区深度(MaxBTDepth)语法(或语法元素)中的至少一种。在此，最大BT块尺寸可以指示在其中可以执行BT分区的块的最大尺寸，并且可以表示为对数标度的形式(例如，log2)。在此，最小BT块尺寸可以指示允许在其中进行BT分区的块的最小尺寸，并且可以表示为对数标度的形式(例如，log2)。此外，最大BT分区深度指示允许从最大BT块尺寸进行多少次BT分区。
此外，作为实施方式，编码器可以向解码器发送最大TT块尺寸(MaxTTSize)语法、最小TT块尺寸(MinTTSize)语法和最大TT块分区深度(MaxTTDepth)语法(或语法元素)中的至少一种。在此，最大TT块尺寸可以指示在其中可以执行TT分区的块的最大尺寸，并且可以表示为对数标度的形式(例如，log2)。在此，最小TT块尺寸可以指示允许在其中进行TT分区的块的最小尺寸，并且可以表示为对数标度的形式(例如，log2)。此外，最大TT分区深度指示允许从最大TT块尺寸进行多少次TT分区。
根据条带(或切片组)、切片和图像分量的类型，可以通过序列参数集(SPS)、图片参数集(PPS)、条带报头(SH)(或切片组报头(TGH))或网络抽象层单元的报头来传输各个语法信息。
实施方式8
在上述实施方式7中，定义了针对图像中的QT、BT和TT分区的最大尺寸或最小尺寸或最大分区允许深度的语法。在本公开中，编码单元(CU)、预测单元(PU)和变换单元(TU)的块尺寸可以彼此相等，或者可以彼此不相等。
在本公开的实施方式中，提出了一种方法，其中当CU、TU和PU的尺寸彼此不同时，编码器发送用于通过考虑性能和复杂度之间的关系来调整CU、PU和TU的分区度的语法。在本公开中，TU可以表示根据从编码器用信号通知的分区信息按照树结构(例如，QT、QTBT、QTBT+TT等)进行分区并且被变换的单元，或者TU可以表示根据变换核(或变换矩阵)的尺寸被隐式地分区并且被变换的单元。
在实施方式中，当TU表示根据从编码器用信号通知的分区信息按照树结构进行分区并且被变换的单元时，诸如CU和PU之类的块可以根据用信号通知的分区信息被递归地分区。
在另一实施方式中，当TU表示根据变换核(或变换矩阵)的尺寸被隐式地分区并被变换的单元时，编码器和解码器可以在无需用信号通知分区信息的情况下，基于所存储的变换核的尺寸对诸如CU和PU之类的块等同地进行分区。即，可以依据变换核尺寸来确定TU分区。例如，当CU或PU的尺寸为128×128并且适用的(或预定的)变换核的最大尺寸为64×64时，编码器和解码器可以在无需用信号通知用于变换的单独分区信息的情况下，在将CU或PU分区为四个64×64块之后执行变换。在下面的附图中将描述用于变换的隐式分区方法的示例。
图24是例示了作为应用本公开的实施方式的、用于在没有语法信令的情况下基于最大变换块尺寸来确定是否对块进行分区的方法的图。
参照图24，解码器可以检查当前块尺寸是否大于最大变换尺寸(或变换核的最大尺寸、或变换矩阵的最大尺寸)(S2401)。
在当前块尺寸大于最大变换尺寸时，解码器可以对当前块进行分区(S2402)。在这种情况下，解码器可以以最大变换尺寸为单位对当前块进行分区。仅在逆变换的情况下，才可以以最大变换尺寸为单位对当前块进行分区。解码器可以对分区的块执行逆变换(S2403)。
此外，在步骤S2401中，在当前块尺寸不大于最大变换尺寸时，解码器可以对当前块执行逆变换。
在实施方式中，可以发送诸如最大CU块尺寸(MaxCUSize)、最小CU块尺寸(MinCUSize)、最大CU块分区深度(MaxCUDepth)等的语法。更具体而言，最大CU块尺寸可以表示图像初始被分区成的最大块的尺寸，并且可以表示为log2标度的形式。这可以与诸如最大QT块尺寸(MaxQTSize)、最小QT块尺寸(MinQTSize)和最大QT块分区深度(MaxQTDepth)等语法相似地使用或用诸如最大QT块尺寸(MaxQTSize)、最小QT块尺寸(MinQTSize)和最大QT块分区深度(MaxQTDepth)等语法来代替并被使用。
在另一实施方式中，可以发送诸如最大PU块尺寸(MaxPUSize)、最小PU块尺寸(MinPUSize)、最大PU块分区深度(MaxPUDepth)等语法。更具体地，最大PU块尺寸可以表示图像初始被分区成的最大块的尺寸，并且可以表示为log2标度的形式。例如，当最大CU尺寸大于最大PU尺寸时，相应CU可以被隐式地分区直到最大PU而无需用信号通知信息。具体地，当最大PU尺寸为64×64并且最大CU尺寸为128×128时，可以通过使用四个64×64PU来对128×128块执行预测。另选地，相应块可以被隐式地分区为四个子PU。可以通过使用两个64×64PU来执行对128×64块的预测。可以通过使用两个64×32PU或四个32×32PU来执行对128×32块的预测。当CU和PU彼此相等时，可以不传输语法。另选地，可以显式地传输语法。
在另一实施方式中，可以发送诸如最大TU块尺寸(MaxTUSize)、最小TU块尺寸(MinTUSize)、最大TU块分区深度(MaxTUDepth)等语法。更具体地，最大TU块尺寸可以表示图像初始被分区成的最大块的尺寸，并且可以表示为log2标度的形式。例如，当最大CU尺寸大于最大TU尺寸时，相应CU可以被隐式地分区直至最大TU而无需发信号通知信息。具体而言，当最大TU尺寸是64×64并且最大CU尺寸是128×128时，可以通过使用四个64×64TU来对128×128块执行变换。另选地，相应块可以被隐式地分区为四个子CU。可以通过使用两个64×64TU来对128×64块执行变换。可以通过使用两个64×32TU或四个32×32TU来对128×32块执行变换。当CU和TU彼此相等时，可以不传输语法。另选地，可以显式地传输语法。
在另一实施方式中，可以对从最大尺寸CU(或CTU)中进行TT或AT分区的CU执行基于变换尺寸的隐式分区。例如，当最大尺寸CU为128×128并且仅执行一次TT分区时，可以生成两个32×128CU和一个64×128CU。当假设变换核的最大尺寸为64×64时，编码器/解码器在执行变换时可以在没有单独信令的情况下，将32×128CU分区为两个64×32TU，或者将32×128CU分区为四个32×32TU。在这种情况下，可以以适用的变换核或预定尺寸为单位来确定TU分区。另外，编码器/解码器在执行变换时可以在没有单独信令的情况下将64×128CU分区为两个64×64TU。
此外，例如，当最大尺寸CU为128×128并且仅执行一次AT分区时，可以生成一个32×128CU和一个96×128CU。当假设变换核的最大尺寸为64×64时，编码器/解码器在执行变换时可以在没有单独信令的情况下，将32×128CU分区为两个64×32TU，或者将32×128CU分区为四个32×32TU。在这种情况下，可以以适用的变换核或预定尺寸为单位确定TU分区。另外，编码器/解码器可以在没有单独信令的情况下将96×128CU分区为两个64×64TU和两个64×32TU，或者可以将96×128CU分区为两个64×64TU或四个32×32TU。
此外，当最大PU尺寸大于最大TU尺寸时，相应PU可以被隐式地分区直到最大TU而无需用信号通知信息。具体而言，当最大TU尺寸为64×64并且最大PU尺寸为128×128时，可以通过使用四个64×64TU来对128×128块执行变换。另选地，相应块可以被隐式地分区为四个子PU。可以通过使用两个64×64TU来对128×64块执行变换。可以通过使用两个64×32TU或四个32×32TU来对128×32块执行预测。当PU和TU彼此相等时，可以不传输语法。另选地，可以显式地传输语法。
在实施方式中，可以针对从最大尺寸PU中进行TT或AT分区的PU执行基于变换尺寸的隐式分区。例如，当最大尺寸PU为128×128并且仅执行一个TT分区时，可以生成两个32×128PU和一个64×128PU。当假定变换核的最大尺寸为64×64时，编码器/解码器在执行变换时可以在没有单独信令的情况下将32×128PU分区为两个64×32TU或将32×128PU分区为四个32×32TU。在这种情况下，可以以适用的变换核或预定尺寸为单位来确定TU分区。另外，编码器/解码器在执行变换时可以在没有单独信令的情况下将64×128PU分区为两个64×64TU。
此外，例如，当最大尺寸PU为128×128并且仅执行一次AT分区时，可以生成一个32×128PU和一个96×128PU。当假设变换核的最大尺寸为64×64时，编码器/解码器在执行变换时可以在没有单独信令的情况下将32×128PU分区为两个64×32TU或将32×128PU分区为四个32×32TU。在这种情况下，可以以适用的变换核或预定尺寸为单位来确定TU分区。另外，编码器/解码器可以在没有单独信令的情况下将96×128PU分区为两个64×64TU和两个64×32TU，或者将96×128PU分区为两个64×64TU或四个32×32TU。
此外，当PU的尺寸小于最小TU尺寸时，可以通过组合满足最小TU的多个块来执行相应块。另选地，可以不允许对小于最小TU尺寸的PU进行分区。具体而言，当最小TU尺寸为8×8并且最小PU尺寸为4×4时，可以通过收集四个4×4块并使用一个8×8TU来执行变换。另选地，可以隐式地限制将相应块分区为4×4PU。
由于可以通过使用语法信息来降低编码器的复杂性，并且解码器可以隐式地推导块的分区信息，因此可以存在比特减少的效果。
根据条带(或切片组)、切片和图像分量的类型，可以通过序列参数集(SPS)、图片参数集(PPS)、条带报头(SH)(或切片组报头(TGH))或网络抽象层单元的报头来传输各个语法信息。
为了便于描述，已经分开描述了以上描述的本公开的实施方式，但是本公开不限于此。换句话说，可以独立地执行上述实施方式1至实施方式8中的每一个，并且可以组合并执行一个或更多个各种实施方式。
图25是例示了根据应用本公开的实施方式的视频信号的解码方法的流程图。
参照图25，为了便于描述，主要描述了解码器，但是本公开不限于此，并且根据本公开的实施方式的用于对视频信号进行解码的方法可以在编码器和解码器中类似地执行。
在当前编码树块超出当前图片的边界时，解码器将当前编码树块分区为多个编码块，使得从当前编码树块分区的编码块被包括在当前图片中(S2501)。
在当前编码块满足预定条件时，解码器解析指示是否将当前编码块分区为多个子块的第一语法元素(S2502)。
当第一语法元素指示对当前编码块进行分区时，解码器解析指示是否通过使用四叉树结构对当前编码块进行分区的第二语法元素(S2503)。
当第二语法元素指示不使用四叉树结构对当前编码块进行分区时，解码器解析第三语法元素和第四语法元素中的至少一个，该第三语法元素指示是否通过使用二叉树结构对当前编码块进行分区或者是否通过使用三叉树结构对当前编码块进行分区，第四语法元素指示当前编码块的分割方向(S2504)。
解码器基于第一语法元素、第二语法元素、第三语法元素和第四语法元素中的至少一个来确定当前编码块的分割模式(S2505)。
如以上实施方式5中所描述的，将当前编码树块分区为多个编码块的步骤可以通过以下步骤来执行：通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块，直到到达当前编码树块中的有效区域为止，并且这里，有效区域可以表示当前编码树块中的位于当前图片的边界内的区域。
此外，如以上实施方式5中所描述的，将当前编码树块分区为多个编码块还可以包括：在当前编码树块超出当前图片的边界时解析第五语法元素，该第五语法元素指示是否允许进行四叉树分割；并且当第五语法元素指示不允许进行四叉树分割时，可以通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块。
此外，如以上实施方式5中所描述的，可以通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来用信号通知第五语法元素。
此外，如以上实施方式5所描述的，将当前编码树块分区为多个编码块可以通过以下步骤来执行：通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块，直到到达当前编码树块中的有效区域为止，并且这里，有效区域可以表示当前编码树块中的位于当前图片的边界内的区域。
另外，如以上实施方式5所描述的，将当前编码树块分区为多个编码块可以通过以下步骤来执行：在有效区域的宽度大于最大变换尺寸，或者有效区域的高度大于最大变换尺寸时，通过使用四叉树结构将当前编码树块分区为多个编码块。
此外，在实施方式中，当第一语法元素值为0时，可以不对当前块进行分区，而当第一语法元素值为1时，可以通过使用四叉树结构将当前块分区为四个子块，通过使用二叉树结构将当前块分区为两个子块，或者通过使用三叉树结构将当前块分区为三个子块。
此外，在实施方式中，当通过将当前块的宽度与当前块的左上样本的水平坐标相加而获得的值等于或小于当前图片的宽度，以及通过将当前块的高度与当前块的左上样本的垂直坐标相加而获得的值等于或小于当前图片的高度时，预定条件可以被满足。
此外，在实施方式中，解码器可以调用用于确定当前块的分区结构的编码单元语法。在这种情况下，可以在步骤S1501之前执行针对当前块的编码树单元语法的调用。
此外，在实施方式中，当第一语法元素指示不对当前块进行分区时，解码器可以调用用于当前块的解码处理的编码单元语法。
此外，在实施方式中，解码器可以调用用于基于分割模式来确定从当前块分区出的子块的分区结构的编码树单元语法。
此外，在实施方式中，可以以相同级别的语法来解析第一语法元素、第二语法元素、第三语法元素和第四语法元素。
图26是例示了根据应用本公开的实施方式的视频信号的解码设备的图。
在图26中，为了便于描述，将解码设备例示为一个块，但是在图26中例示的解码设备可以被实现在包括于编码器和/或解码器中的组件中。
参照图26，解码设备实现以上图1至图25提出的功能、过程和/或方法。具体而言，解码设备可以被配置为包括编码树块分区单元2601、语法元素解析单元2602和分割模式确定单元2603。此外，在实施方式中，编码树块分区单元2601和语法元素解析单元2602可以被实现为包括在分割模式确定单元2603中的组件。
在当前编码树块超出当前图片的边界时，编码树块分区单元2601将当前编码树块分区为多个编码块，使得从当前编码树块分区出的编码块被包括在当前图片中。
在当前编码块满足预定条件时，语法元素解析单元2602解析指示是否将当前编码块分区为多个子块的第一语法元素。
当第一语法元素指示对当前编码块进行分区时，语法元素解析单元2602解析指示是否通过使用四叉树结构对当前编码块进行分区的第二语法元素。
当第二语法元素指示不使用四叉树结构对当前编码块进行分区时，语法元素解析单元2602解析第三语法元素和第四语法元素中的至少一个，该第三语法元素指示是否通过使用二叉树结构对当前编码块进行分区或者是否通过使用三叉树结构对当前编码块进行分区，并且第四语法元素指示当前编码块的分割方向。
分割模式确定单元2603基于第一语法元素、第二语法元素、第三语法元素和第四语法元素中的至少一个来确定当前编码块的分割模式。
如以上实施方式5中所描述的，编码树块分区单元2601可以通过通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块，直到到达当前编码块树中的有效区域为止。这里，有效区域可以表示当前编码树块中的属于当前图片的边界的区域。
此外，如以上实施方式5中所描述的，在当前编码树块超出当前图片的边界时，编码树块分区单元2601可以解析指示是否允许进行四叉树分割的第五语法元素。当第五语法元素指示不允许进行四叉树分割时，可以通过使用二叉树结构或三叉树结构将当前编码树块分区为多个编码块。
此外，如以上实施方式5中所描述的，可以通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来用信号通知第五语法元素。
此外，如以上实施方式5中所描述的，编码树块分区单元2601可以通过使用四叉树结构或三叉树结构将当前编码树块划分为多个编码块，直到到达当前编码树块中的有效区域为止。这里，有效区域可以表示当前编码树块中的属于当前图片的边界的区域。
此外，如以上实施方式5中所描述的，当有效区域的宽度大于最大变换尺寸或有效区域的高度大于最大变换尺寸时，编码树块分区单元2601可以通过使用四叉树结构将当前编码树块分区为编码块。
此外，在实施方式中，当第一语法元素值为0时，可以不对当前块进行分区，而当第一语法元素值为1时，可以通过使用四叉树结构将当前块分区为四个子块，通过使用二叉树结构将当前块分区为两个子块，或通过使用三叉树结构将当前块分区为三个子块。
此外，在实施方式中，当通过将当前块的宽度与当前块的左上样本的水平坐标相加而获得的值等于或小于当前图片的宽度，以及通过将当前块的高度与当前块的左上样本的垂直坐标相加而获得的值等于或小于当前图片的高度时，预定条件可以被满足。
此外，在实施方式中，解码器可以调用用于确定当前块的分区结构的编码单元语法。在这种情况下，可以在步骤S1501之前执行调用当前块的编码树单元语法的步骤。
此外，在实施方式中，当第一语法元素指示不对当前块进行分区时，解码器可以调用用于当前块的解码处理的编码单元语法。
此外，在实施方式中，解码器可以调用用于基于分割模式来确定从当前块分区出的子块的分区结构的编码树单元语法。
此外，在实施方式中，可以以相同级别的语法来解析第一语法元素、第二语法元素、第三语法元素和第四语法元素。
图27例示了应用本公开的视频编码系统。
视频编码系统可以包括源装置和接收装置。源装置可以通过数字储存介质或网络以文件或流格式将经编码的视频/图像信息或数据转发到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元，并且显示单元可以被构造为独立装置或外部组件。
视频源可以通过诸如捕获、合成或生成的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可以包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可以例如包括计算机、平板电脑和智能电话，并且可以(电)生成视频/图像。例如，可以通过计算机生成虚拟视频/图像，并且在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
编码设备可以对输入视频/图像进行编码。编码设备可以执行包括用于压缩和编码效率的预测、变换、量化等的一系列处理。
发送器可以通过数字储存介质或网络以文件或流格式将以比特流格式输出的编码的视频/图像信息或数据转发给接收装置的接收器。数字储存介质可以包括各种储存介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以提取比特流并将其转发给解码设备。
解码设备可以执行与编码设备的操作相对应的包括解量化、逆变换、预测等的一系列处理，并且对视频/图像进行解码。
渲染器可以渲染已解码的视频/图像。经渲染的视频/图像可以通过显示单元显示。
图28是作为应用本公开的实施方式的内容流系统的配置图。
参照图28，应用了本公开的内容流系统可以包括编码服务器、流服务器、网络服务器、媒体储存器、用户设备和多媒体输入装置。
编码服务器用于将从诸如智能电话、相机、便携式摄像机之类的多媒体输入装置输入的内容压缩为数字数据，以生成比特流，并将比特流发送到流服务器。作为另一示例，当诸如智能电话、相机和便携式摄像机的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用了本公开的编码方法或比特流生成方法来生成比特流，并且，流服务器可以在用于发送或接收比特流的过程中临时存储比特流。
流服务器以用户的请求为基础通过网络服务器向用户设备传输多媒体数据，并且网络服务器起到通知用户服务的媒介的作用。当用户向网络服务器发送对想要的服务的请求时，网络服务器将该请求递送给流服务器，并且流服务器向用户发送多媒体数据。在此，内容流系统可以包括附加的控制服务器，并且在这种情况下，控制服务器起到控制内容流系统中的各个装置之间的命令/响应的作用。
流服务器可以从媒体储存器和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，流服务器能够实时接收内容。在这种情况下，流服务器可以存储比特流达预定时间，以提供流畅的流服务。
用户设备的示例可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航装置、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜和HMD(头戴式显示器))、数字TV、台式计算机、数字标牌等。
内容流系统中的每个服务器可以作为分布式服务器来操作，并且在这种情况下，可以以分布方式处理每个服务器接收的数据。
本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，附图中所示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。
此外，应用了本公开的解码器和编码器可以被包括在多媒体广播收发装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控相机、视频对话装置、诸如视频通信之类的实时通信装置、移动流装置、储存介质、便携式摄像机、视频点播(VoD)服务提供装置、过顶(OTT)视频装置、互联网流服务提供装置、三维(3D)视频装置、视频电话装置、以及医疗视频装置中，并且可以用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、接入互联网的电视机、家庭影院系统、智能电话、平板PC、数字视频记录仪(DVR)等。
此外，应用本公开的处理方法可以以计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储有计算机可读数据的所有类型的储存装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据储存装置。此外，计算机可读记录介质包括以载波(例如，经由互联网的传输)形式实现的介质。此外，使用编码方法所生成的比特流可以存储在计算机可读记录介质中或可以经由有线/无线通信网络来传输。
此外，本公开的实施方式可以使用程序代码实现为计算机程序产品。程序代码可以根据本公开的实施方式由计算机执行。程序代码可以存储在计算机可读的载体上。
在前述实施方式中，本公开的元件和特征已经以特定形式组合。除非另外明确描述，否则每个元件或特征可以视为可选的。每个元件或特征可以以不与其它元件或特征组合的形式实现。此外，一些元件和/或特征可以组合以形成本公开的实施方式。在本公开的实施方式中描述的操作的顺序可以改变。实施方式的一些元件或特征可以被包括在另一实施方式中，或者可以用另一实施方式的对应元件或特征代替。显然，实施方式可以通过组合权利要求中不具有明确引用关系的权利要求来构造，或者可以在提交申请后通过修改将其包括为新权利要求。
根据本公开的实施方式可以通过各种方式来实现，例如，硬件、固件、软件或它们的组合。在通过硬件实现的情况下，可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现本公开的实施方式。
在通过固件或软件实现的情况下，本公开的实施方式可以以用于执行前述功能或操作的模块、过程或功能的形式来实现。软件代码可以存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，并且可以通过各种已知方式与处理器交换数据。
对于本领域技术人员显而易见的是，在不脱离本公开的基本特征的情况下，可以以其它特定形式来实现本公开。因此，详细描述不应解释为限制性的，而从所有方面都应解释为示例性的。本公开的范围应通过对所附权利要求的合理分析来确定，并且本公开的等同范围内的所有变型都包括在本公开的范围内。
工业实用性
已经出于示例性目的公开了本公开的上述优选实施方式，并且本领域技术人员可以在不脱离所附权利要求中公开的本公开的技术精神和范围的情况下改进、改变、替代或添加各种其它实施方式。

Claims (28)

1.一种用于对图像进行解码的方法，所述方法包括以下步骤：
基于当前编码树块超出当前图片的边界，将所述当前编码树块分区为多个编码块；
基于所述多个编码块中的当前编码块满足预定条件，解析指示是否将所述当前编码块分区为多个子块的第一语法元素；
在所述第一语法元素指示对所述当前编码块进行分区时，解析指示是否通过使用四叉树结构对所述当前编码块进行分区的第二语法元素；
在所述第二语法元素指示不使用所述四叉树结构对所述当前编码块进行分区时，解析第三语法元素和第四语法元素中的至少一个，所述第三语法元素指示是否通过使用二叉树结构对所述当前编码块进行分区或者是否通过使用三叉树结构对所述当前编码块进行分区，所述第四语法元素指示所述当前编码块的分割方向；
基于所述第一语法元素、所述第二语法元素、所述第三语法元素和所述第四语法元素中的至少一个，确定所述当前编码块的分割模式；
基于所述当前编码块的分割模式，生成所述当前编码块的预测样本；以及
基于所述当前编码块的预测样本，生成所述当前编码块的重构样本。
2.根据权利要求1所述的用于对图像进行解码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
3.根据权利要求1所述的用于对图像进行解码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：解析指示是否允许进行四叉树分割的第五语法元素，其中，当所述第五语法元素指示不允许进行所述四叉树分割时，通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为所述多个编码块。
4.根据权利要求3所述的用于对图像进行解码的方法，其中，通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来发信号通知所述第五语法元素。
5.根据权利要求1所述的用于对图像进行解码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：通过使用所述四叉树结构将所述当前编码树块分区为所述多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
6.根据权利要求5所述的用于对图像进行解码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：基于所述有效区域的宽度大于最大变换尺寸或者所述有效区域的高度大于所述最大变换尺寸，通过使用所述四叉树结构将所述当前编码树块分区为所述编码块。
7.根据权利要求1至6中任一项所述的用于对图像进行解码的方法，其中，当通过将当前编码树块的宽度与当前编码树块的左上样本的水平坐标相加而获得的值等于或小于当前图片的宽度，以及通过将当前编码树块的高度与当前编码树块的左上样本的垂直坐标相加而获得的值等于或小于当前图片的高度时，所述预定条件被满足。
8.一种用于对图像进行解码的设备，所述设备包括：
编码树块分区单元，用于基于当前编码树块超出当前图片的边界，将所述当前编码树块分区为多个编码块；
语法元素解析单元，用于：
基于所述多个编码块中的当前编码块满足预定条件，解析指示是否将所述当前编码块分区为多个子块的第一语法元素；
在所述第一语法元素指示对所述当前编码块进行分区时，解析指示是否通过使用四叉树结构对所述当前编码块进行分区的第二语法元素；
在所述第二语法元素指示不使用所述四叉树结构对所述当前编码块进行分区时，解析第三语法元素和第四语法元素中的至少一个，所述第三语法元素指示是否通过使用二叉树结构对所述当前编码块进行分区或者是否通过使用三叉树结构对所述当前编码块进行分区，所述第四语法元素指示所述当前编码块的分割方向；
分割模式确定单元，用于基于所述第一语法元素、所述第二语法元素、所述第三语法元素和所述第四语法元素中的至少一个，确定所述当前编码块的分割模式；
预测样本生成单元，用于基于所述当前编码块的分割模式，生成所述当前编码块的预测样本；以及
重构样本生成单元，用于基于所述当前编码块的预测样本，生成所述当前编码块的重构样本。
9.根据权利要求8所述的用于对图像进行解码的设备，其中，所述编码树块分区单元通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
10.根据权利要求8所述的用于对图像进行解码的设备，其中，所述语法元素解析单元还用于基于所述当前编码树块超出所述当前图片的边界，解析指示是否允许进行四叉树分割的第五语法元素，其中，当所述第五语法元素指示不允许进行所述四叉树分割时，通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为所述多个编码块。
11.根据权利要求10所述的用于对图像进行解码的设备，其中，所述第五语法元素是通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来发信号通知的。
12.根据权利要求8所述的用于对图像进行解码的设备，其中，所述编码树块分区单元用于通过使用所述四叉树结构将所述当前编码树块分区为所述多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
13.根据权利要求12所述的用于对图像进行解码的设备，其中，所述编码树块分区单元用于基于所述有效区域的宽度大于最大变换尺寸或者所述有效区域的高度大于所述最大变换尺寸，通过使用所述四叉树结构将所述当前编码树块分区为所述编码块。
14.根据权利要求8至13中任一项所述的用于对图像进行解码的设备，其中，当通过将当前编码树块的宽度与当前编码树块的左上样本的水平坐标相加而获得的值等于或小于当前图片的宽度，以及通过将当前编码树块的高度与当前编码树块的左上样本的垂直坐标相加而获得的值等于或小于当前图片的高度时，所述预定条件被满足。
15.一种用于对图像进行编码的方法，所述方法包括以下步骤：
基于当前编码树块超出当前图片的边界，将所述当前编码树块分区为多个编码块；
确定所述多个编码块中的当前编码块的分割模式；
基于所述当前编码块满足预定条件，确定指示是否将所述当前编码块分区为多个子块的第一语法元素；
在所述第一语法元素指示对所述当前编码块进行分区时，确定指示是否通过使用四叉树结构对所述当前编码块进行分区的第二语法元素；
在所述第二语法元素指示不使用所述四叉树结构对所述当前编码块进行分区时，确定第三语法元素和第四语法元素中的至少一个，所述第三语法元素指示是否通过使用二叉树结构对所述当前编码块进行分区或者是否通过使用三叉树结构对所述当前编码块进行分区，所述第四语法元素指示所述当前编码块的分割方向；
基于所述当前编码块的分割模式，生成所述当前编码块的预测样本；以及
基于所述当前编码块的预测样本，生成所述当前编码块的重构样本。
16.根据权利要求15所述的用于对图像进行编码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
17.根据权利要求15所述的用于对图像进行编码的方法，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：确定指示是否允许进行四叉树分割的第五语法元素，其中，当所述第五语法元素指示不允许进行所述四叉树分割时，通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为所述多个编码块。
18.根据权利要求17所述的用于对图像进行编码的方法，其中，通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来发信号通知所述第五语法元素。
19.根据权利要求15所述的用于对图像进行编码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：通过使用所述四叉树结构将所述当前编码树块分区为所述多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
20.根据权利要求19所述的用于对图像进行编码的方法，其中，将所述当前编码块分区为所述多个编码块的步骤包括以下步骤：基于所述有效区域的宽度大于最大变换尺寸或者所述有效区域的高度大于所述最大变换尺寸，通过使用所述四叉树结构将所述当前编码树块分区为所述编码块。
21.根据权利要求15至20中任一项所述的用于对图像进行编码的方法，其中，当通过将当前编码树块的宽度与当前编码树块的左上样本的水平坐标相加而获得的值等于或小于当前图片的宽度，以及通过将当前编码树块的高度与当前编码树块的左上样本的垂直坐标相加而获得的值等于或小于当前图片的高度时，所述预定条件被满足。
22.一种用于对图像进行编码的设备，所述设备包括：
编码树块分区单元，用于基于当前编码树块超出当前图片的边界，将所述当前编码树块分区为多个编码块；
分割模式确定单元，用于确定所述多个编码块中的当前编码块的分割模式；
语法元素确定单元，用于：
基于所述当前编码块满足预定条件，确定指示是否将所述当前编码块分区为多个子块的第一语法元素；
在所述第一语法元素指示对所述当前编码块进行分区时，确定指示是否通过使用四叉树结构对所述当前编码块进行分区的第二语法元素；
在所述第二语法元素指示不使用所述四叉树结构对所述当前编码块进行分区时，确定第三语法元素和第四语法元素中的至少一个，所述第三语法元素指示是否通过使用二叉树结构对所述当前编码块进行分区或者是否通过使用三叉树结构对所述当前编码块进行分区，所述第四语法元素指示所述当前编码块的分割方向；
预测码本生成单元，用于基于所述当前编码块的分割模式，生成所述当前编码块的预测样本；以及
重构码本生成单元，用于基于所述当前编码块的预测样本，生成所述当前编码块的重构样本。
23.根据权利要求22所述的用于对图像进行编码的设备，其中，所述编码树块分区单元用于通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
24.根据权利要求22所述的用于对图像进行编码的设备，其中，所述语法元素确定单元还用于基于所述当前编码树块超出所述当前图片的边界，确定指示是否允许进行四叉树分割的第五语法元素，其中，所述编码树块分区单元用于在所述第五语法元素指示不允许进行所述四叉树分割时，通过使用所述二叉树结构或所述三叉树结构将所述当前编码树块分区为所述多个编码块。
25.根据权利要求24所述的用于对图像进行编码的设备，其中，所述第五语法元素是通过序列参数集、图片参数集、切片组报头或网络抽象层单元的报头来发信号通知的。
26.根据权利要求22所述的用于对图像进行编码的设备，其中，所述编码树块分区单元用于使用所述四叉树结构将所述当前编码树块分区为所述多个编码块，直到到达所述当前编码树块中的有效区域为止，其中，所述有效区域表示所述当前编码树块中的位于所述当前图片的边界内的区域。
27.根据权利要求26所述的用于对图像进行编码的设备，其中，所述编码树块分区单元用于基于所述有效区域的宽度大于最大变换尺寸或者所述有效区域的高度大于所述最大变换尺寸，通过使用所述四叉树结构将所述当前编码树块分区为所述编码块。
28.根据权利要求22至27中任一项所述的用于对图像进行编码的设备，其中，当通过将当前编码树块的宽度与当前编码树块的左上样本的水平坐标相加而获得的值等于或小于当前图片的宽度，以及通过将当前编码树块的高度与当前编码树块的左上样本的垂直坐标相加而获得的值等于或小于当前图片的高度时，所述预定条件被满足。
CN202410417021.7A 2018-04-19 2019-04-19 用于处理图像的方法及其设备 Pending CN118118671A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862659722P 2018-04-19 2018-04-19
US62/659722 2018-04-19
KR20180074224 2018-06-27
KR10-2018-0074224 2018-06-27
KR10-2018-0074072 2018-06-27
KR20180074072 2018-06-27
CN201980026720.6A CN112005550B (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
PCT/KR2019/004750 WO2019203610A1 (ko) 2018-04-19 2019-04-19 영상의 처리 방법 및 이를 위한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980026720.6A Division CN112005550B (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备

Publications (1)

Publication Number Publication Date
CN118118671A true CN118118671A (zh) 2024-05-31

Family

ID=68239653

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202410417021.7A Pending CN118118671A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN201980026720.6A Active CN112005550B (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN202410417023.6A Pending CN118101936A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN202410417022.1A Pending CN118101935A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN202410417020.2A Pending CN118158407A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201980026720.6A Active CN112005550B (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN202410417023.6A Pending CN118101936A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN202410417022.1A Pending CN118101935A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备
CN202410417020.2A Pending CN118158407A (zh) 2018-04-19 2019-04-19 用于处理图像的方法及其设备

Country Status (6)

Country Link
US (3) US11272221B2 (zh)
EP (1) EP3780624A4 (zh)
JP (1) JP7247216B2 (zh)
KR (1) KR102543953B1 (zh)
CN (5) CN118118671A (zh)
WO (1) WO2019203610A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102314651B1 (ko) * 2018-08-28 2021-10-19 삼성전자주식회사 하드웨어 설계를 고려한 비디오 부호화 방법, 부호화 장치, 비디오 복호화 방법, 복호화 장치
CN111355951B (zh) * 2018-12-24 2023-11-10 华为技术有限公司 视频解码方法、装置及解码设备
JP7404373B2 (ja) * 2019-01-09 2023-12-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオエンコーダ、ビデオデコーダ、および対応する方法
US11677969B2 (en) * 2019-03-22 2023-06-13 Tencent America LLC Method and apparatus for video coding
US11356685B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorproated Signaling number of sub-pictures in high-level syntax for video coding
JP7519767B2 (ja) * 2019-09-30 2024-07-22 マクセル株式会社 画像符号化方法および画像復号方法
CN113286152B (zh) * 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
CN113824968A (zh) * 2020-06-18 2021-12-21 富士通株式会社 编码单元划分方法、图像编解码方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
KR101662739B1 (ko) * 2014-10-29 2016-10-05 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
CN108713320B (zh) * 2016-03-16 2022-05-17 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
EP4030754A1 (en) * 2016-05-02 2022-07-20 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method and computer-readable medium
RU2740863C2 (ru) * 2016-05-13 2021-01-21 Сони Корпорейшн Устройство и способ обработки изображения
KR20170133026A (ko) * 2016-05-25 2017-12-05 디지털인사이트 주식회사 정방형 또는 직방형 블록 분할을 사용하는 비디오 복호화 방법 및 장치
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
WO2018028615A1 (en) * 2016-08-12 2018-02-15 Mediatek Inc. Methods and apparatuses of predictor-based partition in video processing system
CN116866618A (zh) * 2016-09-20 2023-10-10 株式会社Kt 对视频进行解码和编码的方法和传输视频数据的方法
EP3306927A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Encoding and decoding methods and corresponding devices
KR20190053238A (ko) * 2016-10-06 2019-05-17 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20180139444A1 (en) * 2016-11-16 2018-05-17 Mediatek Inc. Method and Apparatus of Video Coding Using Flexible Quadtree and Binary Tree Block Partitions
KR20180110064A (ko) * 2016-12-26 2018-10-08 닛본 덴끼 가부시끼가이샤 영상 인코딩 방법, 영상 디코딩 방법, 영상 인코딩 장치, 영상 디코딩 장치, 및 프로그램
KR102559063B1 (ko) * 2017-02-24 2023-07-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3662666B1 (en) * 2017-09-08 2024-08-07 HFI Innovation Inc. Methods and apparatuses of processing pictures in an image or video coding system
US11064217B2 (en) * 2017-09-18 2021-07-13 Intellectual Discovery Co., Ltd. Method and apparatus for coding video using merging candidate list according to block division
CN111316651B (zh) * 2017-11-01 2024-07-19 Vid拓展公司 多类型树编码
CN118301336A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质
CN118018761A (zh) * 2017-12-28 2024-05-10 韩国电子通信研究院 图像编码和解码的方法和装置以及存储比特流的记录介质

Also Published As

Publication number Publication date
KR20200132978A (ko) 2020-11-25
CN112005550A (zh) 2020-11-27
CN112005550B (zh) 2024-05-03
US20220141498A1 (en) 2022-05-05
EP3780624A1 (en) 2021-02-17
EP3780624A4 (en) 2021-02-17
CN118101935A (zh) 2024-05-28
US11272221B2 (en) 2022-03-08
US11750849B2 (en) 2023-09-05
CN118101936A (zh) 2024-05-28
US20210037266A1 (en) 2021-02-04
JP2021519035A (ja) 2021-08-05
WO2019203610A1 (ko) 2019-10-24
US20230370648A1 (en) 2023-11-16
CN118158407A (zh) 2024-06-07
KR102543953B1 (ko) 2023-06-20
JP7247216B2 (ja) 2023-03-28

Similar Documents

Publication Publication Date Title
CN112005550B (zh) 用于处理图像的方法及其设备
CN112166606B (zh) 用于处理图像的方法及其设备
US11647200B2 (en) Method and apparatus for decoding image by using transform according to block size in image coding system
US12003726B2 (en) Method and apparatus for CABAC-based entropy coding
US20220159239A1 (en) Intra prediction-based image coding in image coding system
US11805248B2 (en) Method for processing image on basis of intra prediction mode, and device therefor
CN113597770B (zh) 基于变换的图像编译方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination