CN108293117A - 基于像素梯度的后处理帧内或帧间预测块的方法和装置 - Google Patents

Abstract

公开了一种基于像素梯度的后处理帧内或帧间预测块的编码方法和装置或解码方法和装置。在根据实施例的图像解码方法和设备中，从比特流获得要解码的当前块的预测模式信息以及指示是否对预测块进行滤波的滤波信息；基于该预测模式信息生成该当前块的第一预测块；当该滤波信息指示对该第一预测块进行滤波时，通过基于该第一预测块中的当前像素与该当前像素的相邻像素之间的梯度值改变该当前像素的像素值来生成第二预测块；通过从该比特流中提取对应于该当前块与该第二预测块之间的差值的残差来重构该残差；以及通过将该残差与该第二预测块相加来解码该当前块。

Description

基于像素梯度的后处理帧内或帧间预测块的方法和装置

技术领域

本公开涉及用于基于像素梯度通过对帧内或帧间预测块进行后处理来提高图像压缩效率的图像编码和解码方法和装置。

背景技术

根据一般的图像压缩标准，通过将帧划分为多个块单元、对每个块单元执行预测以获得预测块、以及变换和量化原始图像块与预测块之间的差来压缩图像数据。

预测方法包括帧内预测和帧间预测。根据帧内预测，使用当前帧中相邻块的数据来预测当前块。根据帧间预测，通过使用基于块的运动补偿，从一个或多个先前编码的参考帧生成对应于当前块的预测块。通过以可用于帧内预测和帧间预测的所有编码模式对块进行编码，然后基于对块进行编码所需的比特率以及原始块和解码块之间的失真来确定最佳编码模式，来对每个块进行编码。

发明内容

技术问题

提供了用于通过基于像素梯度对帧内或帧间预测块进行后处理来提高图像压缩效率的图像编码和解码方法和装置。

问题的解决方案

根据本公开的一方面，一种图像解码方法包括：从比特流获得要解码的当前块的预测模式信息以及指示是否对预测块进行滤波的滤波信息；基于所述预测模式信息生成所述当前块的第一预测块；当所述滤波信息指示对所述第一预测块进行滤波时，通过基于所述第一预测块中的当前像素与所述当前像素的相邻像素之间的梯度值改变所述当前像素的像素值来生成第二预测块；通过从所述比特流中提取对应于所述当前块与所述第二预测块之间的差值的残差来重构所述残差；以及通过将所述残差与所述第二预测块相加来解码所述当前块。

所述生成所述第一预测块可以包括通过对所述当前块执行帧内预测或帧间预测来生成所述第一预测块。

所述生成所述第二预测块可以包括在改变所述当前像素的像素值之后改变与所述当前像素相邻的下一个像素的像素值，并且所述下一个像素的像素值基于所述下一个像素与所述下一个像素的相邻像素之间的梯度值可以改变。

所述生成所述第二预测块可以包括：基于指示所述当前像素与位于所述当前像素的上侧的上像素之间的差值的第一梯度值和指示所述当前像素与位于所述当前像素的左侧的左像素之间的差值的第二梯度值，来确定所述当前像素、所述上像素和所述左像素的权重；以及通过使用所述当前像素的权重、所述上像素的权重以及所述左像素的权重来改变所述当前像素的像素值。

当使用所述帧内预测生成所述第一预测块时，可以基于所述帧内预测的方向来确定所述当前像素、所述上像素和所述左像素的权重。

所述生成所述第二预测块还可以包括：基于所述第一梯度值、所述第二梯度值、表示所述当前像素与位于所述当前像素右侧的右像素之间的差值的第三梯度值以及表示所述当前像素与位于所述当前像素的下侧的下像素之间的差值的第四梯度值来确定所述当前像素、所述上像素、所述左像素、所述右像素以及所述下像素的权重，并且基于所述当前像素的权重、所述上像素的权重、所述左像素的权重、所述右像素的权重以及所述下像素的权重可以改变所述当前像素的像素值。

所述生成所述第二预测块可以包括：假定所述第一预测块的大小是m×n(其中m和n是正整数)，位于所述第一预测块的第i列和第j行的所述当前像素的像素值是f[i][j]，所述当前像素的权重是α，所述上像素的像素值是f[i][j-1]，所述上像素的权重为β，所述左像素的像素值为f[i-1][j]，所述左像素的权重为γ，所述右像素的像素值为f[i+1][j]，所述右像素的权重为δ，所述下像素的像素值为f[i][j+1]，所述下像素的权重为ε，将所述当前像素的像素值改变为f'[i][j]，如下式所示：

所述右像素的权重δ可以等于所述左像素的权重γ，以及所述下像素的权重ε可以等于所述上像素的权重β。

所述右像素的权重δ和所述下像素的权重ε可以具有值0。

所述滤波信息可以包括关于重复滤波次数的信息，以及基于所述关于重复滤波次数的信息，所述第二预测块的生成可以被重复预定次数。

所述生成所述第二预测块可以包括：重复改变所述第二预测块中的像素的像素值，直到所述当前像素改变前后的像素值之间的差收敛为等于或者小于预定的阈值。

根据本公开的另一方面，一种图像解码装置包括：熵解码器，所述熵解码器被配置为从比特流获得要解码的当前块的预测模式信息以及指示是否对预测块进行滤波的滤波信息；预测器，所述预测器被配置为基于所述预测模式信息生成所述当前块的第一预测块；后处理器，所述后处理器被配置为当所述滤波信息指示对所述第一预测块进行滤波时，通过基于所述第一预测块中的当前像素与所述当前像素的相邻像素之间的梯度值改变所述当前像素的像素值来生成第二预测块；逆变换器和逆量化器，所述逆变换器和逆量化器被配置为通过从所述比特流中提取对应于所述当前块与所述第二预测块之间的差值的残差来重构所述残差；以及加法器，所述加法器被配置为通过将所述残差与所述第二预测块相加来解码所述当前块。

所述预测器还可以被配置为通过对所述当前块执行帧内预测或帧间预测来生成所述第一预测块。

所述后处理器还可以被配置为在改变所述当前像素的像素值之后改变与所述当前像素相邻的下一个像素的像素值，并且所述下一个像素的像素值基于所述下一个像素与所述下一个像素的相邻像素之间的梯度值可以改变。

根据本公开的另一方面，一种图像编码方法包括：生成要编码的当前块的第一预测块；通过基于所述第一预测块中的当前像素与所述当前像素的相邻像素之间的梯度值改变所述当前像素的像素值来生成第二预测块；以及对所述当前块与所述第二预测块之间的差值进行编码。

附图说明

图1是示出根据实施例的图像编码装置的配置的框图。

图2是示出16×16帧内预测模式的示例的图。

图3是示出4×4帧内预测模式的示例的图。

图4是用于描述根据实施例的对第一预测块的后处理操作的示意图。

图5是用于描述根据实施例的后处理器的操作的示意图。

图6是用于描述根据实施例的基于像素之间的梯度对第一预测块进行后处理的操作的示意图。

图7是示出根据实施例的图像解码装置的配置的框图。

图8是根据实施例的图像编码方法的流程图。

图9是根据实施例的图像解码方法的流程图。

图10示出根据实施例的通过划分当前编码单元来确定一个或多个编码单元的操作。

图11示出根据实施例的通过划分非正方形编码单元来确定一个或多个编码单元的操作。

图12示出根据实施例的基于块形状信息和划分方法信息中的至少一个来划分编码单元的操作。

图13示出根据实施例的确定奇数个编码单元中的预定编码单元的方法。

图14示出根据实施例的通过划分当前编码单元确定的多个编码单元的处理顺序。

图15示出根据实施例的当编码单元不能以预定顺序处理时确定当前编码单元被划分为奇数个编码单元的操作。

图16示出根据实施例的通过划分第一编码单元来确定一个或多个编码单元的操作。

图17示出了根据实施例的当第二编码单元满足预定条件时，通过划分第一编码单元来确定非正方形第二编码单元的划分方法受到限制。

图18示出根据实施例的当划分方法信息指示不将正方形编码单元划分为四个正方形编码单元时划分正方形编码单元的操作。

图19示出了根据实施例的多个编码单元的处理顺序根据划分编码单元的操作而可变。

图20示出根据实施例的当通过递归划分编码单元来确定多个编码单元时随着编码单元的形状和大小变化而确定编码单元的深度的操作。

图21示出了根据实施例的用于识别编码单元的可基于编码单元的形状和大小确定的深度和部分索引(PID)。

图22示出了根据实施例的基于图片中包括的多个预定数据单元确定多个编码单元。

图23示出根据实施例的充当用于确定图片中包括的参考编码单元的确定顺序的单元的处理块。

具体实施方式

在下文中，将通过参考附图解释本公开的实施例来详细描述本公开。然而，本公开可以以许多不同的形式来体现，并且不应该被解释为限于在此阐述的实施例；相反，提供这些实施例是为了使本公开透彻和完整，并为了使本公开的概念完全传达给本领域的普通技术人员。

现在在详细描述实施例之前简要描述本说明书中使用的术语。

尽管在下面的描述中使用的术语是从目前广泛使用的通用术语中尽可能地选择的，同时考虑到根据实施例获得的功能，但是这些术语可以被基于本领域普通技术人员的意图、习惯、新技术的出现等的其他术语代替。在特定情况下，可以使用由申请人任意选择的术语。在这种情况下，可以在实施例的相应部分中描述这些术语的含义。因此，应该注意，这里使用的术语应当基于其实际含义和本说明书的全部内容来解释，而不是基于术语的名称来简单地解释。

如本文中所使用的，单数形式的“一”、“一个”和“该”也意图包含复数形式，除非上下文中另外明确指出。

应当理解，当在此使用时，术语“包括”、“包含”、“包括”和/或“包括”指定所述元件的存在，但不排除一个或多个其它元件的存在或添加。术语“部分”或“模块”用于表示用于执行至少一个功能或操作的实体，并且可以体现为但不限于软件元件或硬件元件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。“部分”或“模块”可以被配置为存在于可寻址存储介质中或操作一个或多个处理器。因此，例如，“部分”或“模块”包括元件(例如，软件元件、面向对象的软件元件、类元件和任务元件)、进程、功能、属性、程序、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表格、陈列和参数。在元件和“部分”或“模块”中提供的功能可以组合成更少数量的元件和“部分”或“模块”，或者可以分成更多数量的元素和“部分”或“模块”。

在以下描述中，术语“图像”表示静止图像(例如视频的静止帧)或运动图像(例如视频本身)。

术语“采样”表示分配给图像的采样位置的数据，即待处理的数据。例如，空间域中的图像的像素值以及变换域中的变换系数可以是采样。包括一个或多个采样的单元可以被定义为块。

现在将详细参考在附图中示出实例的实施例。在下面的描述中，为了清楚起见，省略了与实施例无关的部分或元件。

现在将参考图1至图23来描述根据实施例的图像编码和解码装置以及图像编码和解码方法。将参考图1至图9描述根据实施例的用于基于像素梯度后处理帧内或帧间预测块的编码和解码方法和装置。将参考图10至图23描述确定图像的数据单元的方法。

现在将参考图1至图9来描述根据实施例的用于基于像素梯度对帧内或帧间预测块进行后处理的编码或解码方法和装置。

图1是示出根据实施例的图像编码装置100的配置的框图。

为了编码图像，根据实施例的图像编码装置100可以基于编码单元的最大大小将当前图片的图像数据划分成最大编码单元。每个最大编码单元可以包括基于块形状及划分方法划分的编码单元。在根据实施例的最大编码单元中，可以基于块形状和划分方法来对包括在最大编码单元中的空间域的图像数据进行分层划分。编码单元可以具有正方形、矩形或任意几何块形状，并且不限于预定大小的数据单元。

当要被编码的图片的大小较大并且使用较大的编码单元时，可以实现较高的图像压缩比。但是，如果使用大的编码单元并且其大小是固定的，则通过反映图像的连续变化的特性可能无法有效地对图像进行编码。

例如，当海或天空的简单图像被编码时，大编码单元可以增加压缩比。然而，当人或建筑物的复杂图像被编码时，小编码单元可以增加压缩比。

就此而言，根据实施例的图像编码装置100针对不同的图片或切片设置不同大小的最大编码单元，并且设置从最大编码单元划分的一个或多个编码单元的块形状和划分方法。包括在最大编码单元中的编码单元的大小可以基于块形状和划分方法可变地设置。

可以基于速率失真(R-D)成本计算来确定一个或多个编码单元的块形状和划分方法。可以针对图片或切片不同地确定块形状和划分方法，或者针对最大编码单元可以不同地确定块形状和划分方法。

根据实施例，从最大编码单元划分的编码单元可以以块形状和划分方法为特征。下面将参考图10至图23详细描述基于块形状和划分方法来确定编码单元的方法。

参考图1，根据实施例的图像编码装置100包括预测器110、变换器和量化器120、熵编码器130和后处理器140。

预测器110执行帧间预测和帧内预测。帧间预测是指通过使用先前编码、重构和存储的参考图片来预测当前块。帧间预测由运动估计器111和运动补偿器112执行。帧内预测是指通过使用与将要预测的块相邻的块的像素来预测当前块。帧内预测由帧内预测器113执行。用于帧内预测的模式代表性地包括4×4帧内预测模式、8×8帧内预测模式和16×16帧内预测模式。

图2是示出16×16帧内预测模式的示例的图，图3是示出4×4帧内预测模式的示例的图。

参考图2，16×16帧内预测模式包括总共四种模式，例如，垂直模式、水平模式、直流(DC)模式和平面模式。参考图3，4×4帧内预测模式包括总共九种模式，例如，垂直模式、水平模式、DC模式、对角左下模式、对角右下模式、垂直向右模式、垂直向左模式、水平向上模式和水平向下模式。

举例来说，在图3的模式0(即，垂直模式)下对当前4×4块进行预测性编码的操作。首先，将当前4×4块的上侧相邻像素A至D的像素值预测为当前4×4块的像素值。也就是说，像素A的值被预测为当前4×4块的第一列中包括的四个像素的值，像素B的值被预测为当前4×4块的第二列中包括的四个像素的值，像素C的值被预测为当前4×4块的第三列中包括的四个像素的值，并且像素D的值被预测为包括在当前4×4块的第四列中包括的四个像素的值。如上所述通过帧内预测生成的用于在预定方向上扩展相邻像素的值的预测块具有基于预测模式的预定方向性。当将被编码的当前块的像素具有预定方向性时，预测块中的方向性可以提高预测效率，但是当当前块的像素不具有方向性时可能降低预测效率。因此，如下所述，根据实施例的图像编码装置100的后处理器140通过使用预测块中的每个像素以及一个或更多相邻像素经由计算来改变预测块中像素的像素值，作为对预测块的后处理操作，从而提高图像预测效率。

回过来参考图1，变换器和量化器120变换和量化与从预测器110和后处理器140输出的原始图像块和预测块之间的差值对应的残差，并且熵编码器130以可变长度编码和压缩量化的残差数据。通过逆量化器114和逆变换器115重构编码的残差，并且加法器116通过将重构的残差加到预测块来重构当前块。重构的块被存储在存储器(未示出)中并被用作参考数据以对下一个块进行编码。

现在将描述图1中的后处理器140对预测块执行的后处理操作。

后处理器140通过使用第一预测块中的每个像素和一个或更多个相邻像素经由计算来改变由运动补偿器112或帧内预测器113生成的第一预测块的像素的像素值，从而生成第二预测块。这里，运动补偿器112可以通过执行一般帧间预测来生成第一预测块。帧内预测器113可以通过执行一般帧内预测来生成第一预测块。

图4是用于描述根据实施例的对第一预测块的后处理操作的示意图。在图4中，附图标记410至460示出了要由后处理器140处理的第一预测块中的像素值如何按时间顺序改变。

参考图4，根据实施例的后处理器140可以基于第一预测块中将要改变的像素的像素值以及其上相邻像素和左相邻像素，经由计算来改变第一预测块的像素的像素值。这里，可以基于与要改变的像素与上像素之间的差值相对应的第一梯度值以及与要改变的像素与左像素之间的差值之间相对应的第二梯度值，对要改变的像素以及上像素和左像素权重赋予权重。例如，在图4中，假定第一预测块410中要改变的当前像素411的像素值是f[1][1]，则与上像素对应的像素412的像素值是f[1][0]，与左像素对应的像素413的像素值是f[0][1]，并且通过改变像素411的像素值f[1][1]获得的值是f'[1][1]，f'[1][1]可以如等式1所示进行计算。

<等式1>：

在等式1中，α、β和γ分别表示施加到像素411、412和413的权重值可以具有任意的正实数值，并且可以基于第一和第二梯度值来确定。下面将参考图6详细描述确定施加到每个像素的权重值的操作。

如图4所示，根据实施例的后处理器140从左上到右下的方向上经由计算对将要改变的像素及其上像素和左像素给予权重，从而改变第一预测块的像素的像素值。然而，根据实施例的关于预测块的后处理操作不限于从左上到右下的方向，并且可以在从右上侧到左下侧的方向上、从右下到左上的方向上、从左下侧到右上侧的方向上对第一预测块的像素顺序地执行后处理操作。例如，当第一预测块的像素的像素值在与图4所示的处理顺序相反的从右下到左上的方向上改变时，基于梯度的权重被应用于要改变的像素以及其下像素和右像素。

尽管在图4中考虑了要改变的像素的上像素和左像素，根据另一实施例，可以使用要改变的像素的上像素、下像素、左像素和右像素。因此，关于第一预测块的后处理操作不限于仅使用要改变的像素的上像素和左像素。下面将参考图6详细描述使用当前像素的上像素、下像素、左像素和右像素执行后处理操作的实施例。

图5是用于描述根据实施例的后处理器140的操作的示意图。在图5中，附图标记510表示当前要改变的第一预测块500的当前像素，附图标记511表示位于当前像素510的上侧的上像素，附图标记512表示位于当前像素510的左侧的左像素。

参考图5，根据实施例的后处理器140的操作可以概括如下。假定第一预测块500的大小是m×n(其中m和n是正整数)，则第一预测块500中将要改变的并位于第i列(其中，i是从0至m-1的整数)和第j行(其中j是从0至n-1的整数)的当前像素510的像素值是f[i][j]，位于当前像素510的上侧的上像素511的像素值是f[i][j-1]，并且位于当前像素510的左侧的左像素512的像素值是f[i-1][j]，当前像素510的像素值如等式2所示被改变为f'[i][j]。

<等式2>：

在等式2中，α、β和γ分别表示施加到像素510、511和512的权重值(或滤波系数)，可以具有任意的正实数值，并且可以基于第一梯度值和第二梯度值确定。

后处理器140通过在从左上到右下的方向上应用等式2来改变第一预测块500的所有像素的像素值，从而生成第二预测块。

图6是用于描述根据实施例的基于像素之间的梯度对第一预测块进行后处理的操作的示意图。

参考图6，当在第一预测块中要改变的当前像素610的像素值是“C”时，上像素620的像素值可以是“A”，左像素630的像素值可以是“L”，右像素640的像素值可以是“R”，并且下像素650的像素值可以是“B”。

根据实施例，后处理器140不仅可以使用上像素620和左像素630的像素值，还可以使用右像素640和下像素650的像素值来改变当前像素610的像素值。根据实施例，后处理器140可以确定要赋予当前像素610、上像素620、左像素630、右像素640和下像素650的权重。可以基于在指示当前像素610和上像素620之间的差值(例如|A-C|)的第一梯度值、指示当前像素610和左像素630之间的差值(例如，|L-C|)的第二梯度值、指示当前像素610和右像素640之间的差值(例如，|R-C|)的第三梯度值以及指示当前像素610和下像素650之间的差值的第四梯度值(例如，|B-C|)来确定权重。例如，对于大的梯度值可以给出大的权重。

根据实施例，可以初始确定上像素620和左像素630的权重，然后可以基于确定的上像素620和左像素630的权重来确定右像素640和下像素650的权重。例如，当第一梯度值大于第二梯度值时，上像素620的权重可以大于左像素630的权重，并且当第二梯度值大于第一梯度值时，左像素630的权重可以大于上像素620的权重。当第一梯度值等于第二梯度值时，上像素620和左像素630的权重可以相等。在确定了上像素620和左像素630的权重之后，右像素640的权重可以被确定为等于左像素630的权重，并且下像素650的权重可以被确定为等于上像素620的权重。

根据另一个实施例，当后处理器140仅使用上像素620和左像素630来改变当前像素610的像素值时，右像素640和下像素650的权重可以确定为0。

当后处理器140仅使用上像素620和左像素630来改变当前像素610的像素值并且第一梯度值大于第二梯度值时，64、40和24的权重可以分别被赋予当前像素610、上像素620和左像素630。作为另一示例，当第二梯度值大于第一梯度值时，64、24和40的权重可以分别被赋予当前像素610、上像素620和左像素630。

当前像素610、上像素620和左像素630的权重也可以基于用于生成第一预测块的帧内预测的方向来确定。也就是说，当用于生成第一预测块的帧内预测的方向是垂直方向时，上像素620的权重可以大于左像素630的权重。否则，当用于生成第一预测块的帧内预测的方向是水平方向，左像素630的权重可以大于上像素620的权重。

在上述实施例中，尽管上像素620、左像素630、右像素640和下像素650与当前像素610相邻，但是根据各种实施例，上像素620、左像素630、右像素640和下像素650并不总是需要与当前像素610相邻。例如，用于对第一预测块进行后处理(或滤波)的像素可以是在参考采样中固定位置的像素。根据实施例，用于改变当前像素610的像素值的上像素620、左像素630、右像素640和下像素650可以是在参考采样或预测块中生成的像素。

如上所述，通过对预测块进行后处理来削弱相邻块和预测块之间的边界，从而可以提高预测性能。另外，如上所述，当执行滤波以将大的权重赋予当前像素与相邻像素之间的大梯度值时，可能会增加像素值之差较大部分(即边界不连续严重的部分)的预测性能。

根据实施例，使用当前像素的上像素、下像素、左像素和右像素的后处理操作可以概括如下。假定第一预测块的大小是m×n(其中m和n是正整数)，则第一预测块中将要改变的并且位于第i列(其中，i是整数0至m-1)和第j行(其中j是从0至n-1的整数)的当前像素610的像素值是f[i][j]，上像素620的像素值是f[i][j-1]中，左像素630的像素值是f[i-1][j]，右像素640的像素值是f[i+1][j]，并且下像素650的像素值是f[i][j+1]，则当前像素610的像素值如公式3所示变为f'[i][j]。

<等式3>：

在等式3中，α、β、γ、δ和ε分别表示施加到像素610、620、630、640和650的权重值(或滤波系数)，可以具有任意的正实数值，并且可基于第一至第四梯度值来确定。

根据实施例，在当前像素的像素值被改变之后，可以执行用于改变与当前像素相邻的下一个像素的像素值的后处理操作。在这种情况下，像当前像素的变化像素值一样，可以基于下一个像素与相邻像素之间的梯度值来改变下一个像素的像素值。如上所述，根据实施例的后处理器140可以经由计算对将要改变的像素及其相邻像素给予权重，以改变第一预测块的像素的像素值，从而生成第二预测块。根据实施例的关于预测块的后处理操作不限于从左上到右下的方向，并且可以在从右上侧到左下侧的方向上、从右下到左上的方向上、从左下侧到右上侧的方向上对第一预测块的像素顺序地执行后处理操作。

根据实施例，后处理操作可以在第一预测块上重复预定次数。例如，根据上述实施例，可以通过对第一预测块执行后处理操作来生成第一滤波块，并且可以通过对第一滤波块再次执行后处理操作来生成第二滤波块块。根据实施例的后处理器140可以通过对第一预测块执行k次(其中k是正整数)后处理操作来生成第k个滤波块。在这种情况下，最终生成的第k个滤波块可以用作第二预测块。执行后处理操作的次数(即k)是预设值并且可以被包括在从图像编码装置100发送到图像解码装置700的信息中(参见图7)。另外，后处理器140可以重复地改变第二预测块中的像素的像素值，直到改变前后的每个像素的像素值之间的差收敛到等于或小于预定阈值。

回头部参考图1，控制器(未示出)比较通过对根据实施例执行上述计算而生成的第二预测块进行编码而获得的比特流的成本，并将用于生成具有最低成本的第二预测块的计算信息与比特流的头部区域相加。当计算信息与比特流相加时，控制器可以基于当编码预定数量的块时确定的计算模式的分布信息，通过执行可变长度编码来识别不同的计算模式，该可变长度编码用于为大量使用的计算模式分配小比特。

当块被划分成子块并且对每个子块执行预测时，可以通过对子块应用不同的计算模式来生成第二预测块，或者可以将相同的计算模式应用于包括在同一块中的子块以简化计算并减少开销。

为了获得用于确定最优计算模式的成本，可以使用速率失真优化。由于将根据实施例的图像编码方法应用于用作另一块的参考块的预测块，因此在速率失真优化中，可以通过给失真值赋予高权重来计算成本。也就是说，在传统的速率失真优化中，基于与编码图像和原始图像之间的差值相对应的失真值以及如“成本＝失真+比特率”中所示的生成比特率来计算成本。

另一方面，在根据实施例的图像编码方法中，相比于传统的速率失真优化，可以通过对失真值赋予高权重来确定最优计算模式，如“成本＝α*失真+比特率”(其中α是等于或大于2的实际值)中所示。

根据实施例的图像编码装置100可以通过计算用于确定最佳计算模式的成本来确定是否对帧内或帧间预测的第一预测块执行后处理操作。另外，根据实施例的图像编码装置100可基于块的块大小、块模式、帧内预测方向、相邻块的编码信息、相邻图像的特性、用户输入、计算复杂度、各种参数等来确定是否可变地执行滤波。根据实施例的图像编码装置100可以通过使用比特流向图像解码装置700发送指示是否执行滤波的滤波信息。在这种情况下，可以在例如块、切片、图片、序列或视频单元中用信号通知滤波信息。

图7是示出根据实施例的图像解码装置700的配置的框图。

参考图7，图像解码装置700包括熵解码器710、重对准器720、逆量化器730、逆变换器740、加法器745、运动补偿器750、帧内预测器760、滤波器770和后处理器780。

熵解码器710通过解析由图像解码装置700接收的比特流来获得每个编码单元的图像数据。熵解码器710可以从参数集原始字节序列有效载荷(RBSP)中提取关于当前图片或切片的信息。

根据实施例的图像解码装置700通过解析接收的比特流，提取关于最大编码单元的大小、块形状和从最大编码单元划分的编码单元的划分方法以及编码单元的编码模式的信息。关于块形状、划分方法和编码模式的信息被用于解码，并且关于编码模式的信息可以包括关于块形状、划分方法、每个编码单元的预测模式、变换单位等的大小等信息。

根据实施例的熵解码器710通过对接收到的比特流进行熵解码来接收压缩比特流并提取当前块的预测模式信息和用于生成第二预测块的后处理计算信息。另外，熵解码器710通过对纹理数据(texture data)进行熵解码来提取当前块的量化变换系数。逆量化器730和逆变换器740通过对量化的变换系数进行逆量化和逆变换来重构与编码操作中的当前块与第二预测块之间的差相对应的残差。运动补偿器750和帧内预测器760基于当前块的预测模式生成并输出第一预测块。当使用由图1的上述后处理器140生成的第二预测块对当前块进行编码时，后处理器780基于从比特流提取的后处理计算信息，通过改变由运动补偿器750或帧内预测器760生成的第一预测块的像素值来生成第二预测块。除了图像解码装置700的后处理器780基于从比特流提取的后处理计算信息生成第二预测块之外，后处理器780的操作与图1的后处理器140的操作相同。现在将在这里提供其详细描述。

根据实施例，从比特流提取的后处理计算信息可以包括指示是否对第一预测块进行滤波的滤波信息。因此，当滤波信息指示对第一预测块进行滤波时，可以基于当前像素与当前像素的相邻像素之间的梯度值来执行改变第一预测块中的当前像素的像素值的后处理操作。然而，当滤波信息指示不对第一预测块进行滤波时，不执行后处理器780的后处理操作，并且第二预测块与第一预测块相同。

另外，根据实施例，从比特流提取的后处理计算信息可以包括关于重复滤波的次数的信息。根据实施例的后处理器780可以基于关于从比特流中提取的重复滤波的次数的信息来重复后处理操作。

根据实施例，指示是否执行滤波的信息和指示执行滤波的次数的信息可以被包括在与各种数据单元相关的比特流之一中。例如，图像解码装置700可以使用指示是否执行滤波的信息或者指示执行滤波的次数的信息，其包括在序列参数集、图片参数集、视频参数集、切片头部或切片段头部中。此外，图像解码装置700可以从关于每个最大编码单元、参考编码单元或处理块的比特流中获得与指示是否执行滤波的信息或者指示执行滤波的次数的信息相对应的语法，并使用获得的语法。

加法器745通过将由运动补偿器750或帧内预测器760生成的第一预测块与重构的残差相加来对当前块进行解码。具体地，当根据上述实施例基于第二预测块已经对要解码的当前块进行编码时，加法器745通过将由后处理器780生成的第二预测块与重构的残差相加，对当前块进行解码。解码后的块通过滤波器770存储在预定的存储器中，然后用作参考数据来解码下一个块。

图8是根据实施例的图像编码方法的流程图。

参考图8，在操作S810中，生成要编码的当前块的第一预测块。这里，第一预测块可以是通过执行一般帧内预测或帧间预测而生成的预测块。

在操作S820中，通过基于第一预测块中的当前像素与当前像素的相邻像素之间的梯度值改变当前像素的像素值来生成第二预测块。如上所述，在后处理器140的实施例中，通过对第一预测块中要改变的像素及其相邻像素应用基于梯度的权重来改变第一预测块的像素值，从而生成第二预测块。

在操作S830中，对当前块与第二预测块之间的差值进行编码。也就是说，通过对与当前块与第二预测块之间的差值对应的残差进行变换、量化和熵编码来生成比特流。用于生成第二预测块的计算信息与生成的比特流的预定部分相加，以允许图像解码装置生成当前块的第二预测块。

图9是根据实施例的图像解码方法的流程图。

参考图9，在操作S910中，从比特流获得要解码的当前块的预测模式信息以及指示是否对预测块进行滤波的滤波信息。

在操作S920中，基于预测模式信息来生成当前块的第一预测块。

在操作S930中，当滤波信息指示滤波第一预测块时，基于当前像素与当前像素的相邻像素之间的梯度值，通过改变第一预测块中的当前像素的像素值来生成第二预测块。

在操作S940中，通过从比特流提取对应于当前块与第二预测块之间的差值的残差来重构残差。

在操作S950中，通过将残差与第二预测块相加来对当前块进行解码。

现在将参考图10至图23描述根据实施例的确定图像的数据单元的方法。

图10示出根据实施例的由图像解码装置700执行的通过划分当前编码单元来确定一个或多个编码单元的操作。

根据实施例，图像解码装置700可以通过使用块形状信息来确定编码单元的形状，并且通过使用划分方法信息来确定编码单元的划分方法。也就是说，可以基于由图像解码装置700使用的块形状信息所指示的块形状来确定由划分方法信息指示的编码单元划分方法。

根据实施例，图像解码装置700可以使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码装置700可以基于划分方法信息来确定是不划分正方形编码单元，还是垂直地、水平地划分正方形编码单元或分成四个编码单元。参考图10，当当前编码单元1000的块形状信息指示正方形时，图像解码装置700可基于指示不执行划分的划分方法信息来确定与当前编码单元1000具有相同大小的编码单元1010a，或者基于指示预定划分方法的划分方法信息来确定划分的编码单元1010b、1010c或1010d。

参考图10，根据实施例，图像解码装置700可以基于指示在垂直方向上执行划分的划分方法信息来确定通过在垂直方向上对当前编码单元1000进行划分而获得的两个编码单元1010b。图像解码装置700可以基于指示在水平方向上执行划分的划分方法信息来确定通过在水平方向上对当前编码单元1000进行划分而获得的两个编码单元1010c。图像解码装置700可以基于指示在垂直和水平方向上执行划分的划分方法信息来确定通过在垂直和水平方向上对当前编码单元1000进行划分而获得的四个编码单元1010d。然而，正方形编码单元的划分方法不限于上述方法，并且划分方法信息可以指示各种方法。用于划分正方形编码单元的预定划分方法将在下面结合各种实施例详细描述。

图11示出根据实施例的由图像解码装置700执行的通过划分非正方形编码单元来确定一个或多个编码单元的操作。

根据实施例，图像解码装置700可以使用指示当前编码单元具有非正方形形状的块形状信息。图像解码装置700可以基于划分方法信息来确定是不划分非正方形当前编码单元还是通过使用预定划分方法划分非正方形当前编码单元。参照图11，当当前编码单元1100或1150的块形状信息指示非正方形形状时，图像解码设备700可以基于指示不执行划分的划分方法信息来确定具有与当前编码单元1100或1150当相同大小的编码单元1110或1160，或者基于指示预定划分方法的划分方法信息来确定划分的编码单元1120a和1120b、1130a至1130c、1170a和1170b或1180a至1180c。用于划分正方形编码单元的预定划分方法将在下面结合各种实施例详细描述。

根据实施例，图像解码装置700可以通过使用划分方法信息来确定编码单元的划分方法，并且在这种情况下，划分方法信息可以指示通过划分编码单元生成的一个或多个数量的划分编码单元。参考图11，当划分方法信息指示将当前编码单元1100或1150划分成两个编码单元时，图像解码装置700可以通过基于划分方法信息对当前编码单元1100或1150进行划分，确定当前编码单元1100或1150中包括的两个编码单元1120a和1120b或1170a和1170b。

根据实施例，当图像解码装置700基于划分方法信息划分非正方形当前编码单元1100或1150时，可以考虑非正方形当前编码单元1100或1150的长边的位置。例如，图像解码装置700可以通过考虑当前编码单元1100或1150的形状来划分当前编码单元1100或1150的长边来确定多个编码单元。

根据实施例，当划分方法信息指示将编码单元划分为奇数块时，图像解码装置700可以确定当前编码单元1100或1150中包括奇数个编码单元。例如，当划分方法信息指示将当前编码单元1100或1150划分为三个编码单元时，图像解码装置700可以将当前编码单元1100或1150划分成三个编码单元1130a至1130c(或1180a至1180c)。根据实施例，图像解码装置700可以确定当前编码单元1100或1150中包括的奇数个编码单元，并且并非所有确定的编码单元具有相同的大小。例如，所确定的奇数个编码单元1130a至1130c(1180a至1180c)之中的预定编码单元1130b或1180b可以具有与其他编码单元1130a和1130c(或1180a和1180c)的大小不同的大小。也就是说，可以通过划分当前编码单元1100或1150来确定的编码单元可具有多个大小，并且在一些情况下，所有奇数个编码单元1130a至1130c、1180a至1180c可具有不同大小。

根据实施例，当划分方法信息指示将编码单元划分为奇数块时，图像解码装置700可以确定当前编码单元1100或1150中包括的奇数个编码单元，并且对通过划分当前编码单元1100或1150而对生成的奇数个编码单元中的至少一个编码单元设置预定的限制。参考图11，图像解码装置700可以将通过划分当前编码单元1100或1150而生成的三个编码单元1130a至1130c(或1180a至1180c)中的中心位置的编码单元1130b或1180b的解码方法设置为与其他编码单元1130a和1130c(或1180a和1180c)的编码单元的不同。例如，不像其他编码单元1130a和1130c(或1180a和1180c)，图像解码装置700可以将中心位置的编码单元1130b或1180b限制为不再被划分或仅划分预定次数。

图12示出根据实施例的由图像解码装置700执行的基于块形状信息和划分方法信息中的至少一个划分编码单元的操作。

根据实施例，图像解码装置700可以基于块形状信息和划分方法信息中的至少一个来确定是否将正方形第一编码单元1200划分为多个编码单元。根据实施例，当划分方法信息指示在水平方向上划分第一编码单元1200时，图像解码装置700可以通过在水平方向上划分第一编码单元1200来确定第二编码单元1210。根据实施例，诸如第一编码单元、第二编码单元和第三编码单元的术语被用于理解分层划分结构。例如，可以通过划分第一编码单元来确定第二编码单元，并且可以通过划分第二编码单元来确定第三编码单元。应该理解，第一、第二和第三编码单元的结构遵循以上描述。

根据实施例，图像解码装置700可以基于块形状信息和划分方法信息中的至少一个来确定是否将所确定的第二编码单元1210划分成多个编码单元。参考图12，图像解码装置700可以或者可以不基于块形状信息和划分方法信息中的至少一个将通过划分第一编码单元1200而确定的非正方形第二编码单元1210划分为一个或多个第三编码单元1220a(或1220b至1220d)。图像解码装置700可以获得块形状信息和划分方法信息中的至少一个，并且通过基于可以获得的块形状信息和划分方法信息中的至少一个划分第一编码单元1200来确定多个各种形状的第二编码单元(例如，1210)，并且可以通过基于块形状信息和划分方法信息中的至少一个使用第一编码单元1200的划分方法来对第二编码单元1210进行划分。根据实施例，当第一编码单元1200基于第一编码单元1200的块形状信息和划分方法信息中的至少一个被划分成第二编码单元1210时，第二编码单元1210也可以基于第二编码单元1210的块形状信息和划分方法信息中的至少一个被划分成第三编码单元1220a或1220b至1220d。即，编码单元可以基于每个编码单元的块形状信息和划分方法信息中的至少一个来递归划分。因此，可以通过划分非正方形编码单元来确定正方形编码单元，并且可以通过对正方形编码单元进行递归划分来确定非正方形编码单元。参考图12，可以递归划分通过划分非正方形第二编码单元1210(例如，中心位置的编码单元或正方形编码单元)而确定的奇数个第三编码单元1220b至1220d当中的预定编码单元。根据实施例，奇数个第三编码单元1220b至1220d中的正方形第三编码单元1220c可以在水平方向上被划分为多个第四编码单元。多个第四编码单元中的非正方形第四编码单元可以被划分成多个编码单元。例如，非正方形第四编码单元1240可以被划分成奇数个编码单元。

以下将结合各种实施例描述可用于递归地划分编码单元的方法。

根据实施例，图像解码装置700可以基于块形状信息和划分方法信息中的至少一个来确定将第三编码单元1220a(或1220b至1220d)中的每一个划分为多个编码单元或确定不划分第二编码单元1210。根据实施例，图像解码装置700可以将非正方形第二编码单元1210划分为奇数个第三编码单元1220b至1220d。图像解码装置700可以对奇数个第三编码单元1220b至1220d中的预定第三编码单元施加预定的限制。例如，图像解码装置700可以将奇数个第三编码单元1220b至1220d中的中心位置的编码单元1220c限制为不再被划分或者被划分可设置的次数。参考图12，图像解码装置700可以将包括在非正方形第二编码单元1210中的奇数个第三编码单元1220b至1220d中的中心位置的编码单元1220c限制为不再被划分，限制为使用预定的划分方法(例如，仅划分为四个编码单元或者使用第二编码单元1210的划分方法划分)，或者限制为仅划分预定次数(例如，仅划分n次(其中n>0))。然而，对中心位置的编码单元1220c的限制不限于上述示例，并且可以包括各种限制以与其他编码单元1220b和1220d不同地对中心位置的编码单元1220c进行解码。

根据实施例，图像解码装置700可以从当前编码单元中的预定位置获得块形状信息和用于划分当前编码单元的划分方法信息中的至少一个。

图13示出根据实施例的由图像解码装置700执行的确定奇数个编码单元中的预定编码单元的方法。参考图13，当前编码单元1300的块形状信息和划分方法信息中的至少一个可以从包括在当前编码单元1300中的多个采样中的预定位置的采样(例如，中心位置的采样1340)获得。然而，从中可获得块形状信息和划分方法信息中的至少一个的当前编码单元1300的预定位置不限于图13的中心位置，并且可以包括当前编码单元1300中包括的各种位置(例如，顶部、底部、左、右、左上、左下、右上和右下位置)。图像解码装置700可以从预定位置获得块形状信息和划分方法信息中的至少一个，并且确定是否将当前编码单元划分成各种形状和各种大小的编码单元。

根据实施例，当当前编码单元被划分为预定数量的编码单元时，图像解码装置700可以选择编码单元之一。可以使用各种方法来选择多个编码单元中的一个，以下将结合各种实施例进行描述。

根据实施例，图像解码装置700可将当前编码单元划分成多个编码单元，并确定预定位置的编码单元。

图13示出了根据实施例的由图像解码装置700执行的确定奇数个编码单元中的预定位置的编码单元的方法。

根据实施例，图像解码装置700可以使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置的编码单元。参考图13，图像解码装置700可以通过划分当前编码单元1300来确定奇数个编码单元1320a至1320c。图像解码装置700可以通过使用关于奇数个编码单元1320a至1320c的位置的信息来确定中心位置的编码单元1320b。例如，图像解码装置700可以通过基于指示包括在编码单元1320a至1320c中的预定采样的位置的信息确定编码单元1320a至1320c的位置来确定中心位置的编码单元1320b。具体地，图像解码装置700可以通过基于指示编码单元1320a至1320c的左上采样1330a至1330c的位置的信息确定编码单元1320a至1320c的位置来确定中心位置的编码单元1320b。

根据实施例，分别包括在编码单元1320a至1320c中的指示左上采样1330a至1330c的位置的信息可以包括关于图片中编码单元1320a至1320c的位置或坐标的信息。根据实施例，分别包括在编码单元1320a至1320c中的指示左上采样1330a至1330c的位置的信息可以包括包括在当前编码单元1300中指示编码单元1320a至1320c的宽度或高度的信息，并且所述宽度或高度可以对应于指示图片中编码单元1320a至1320c的坐标之间的差异的信息。也就是说，图像解码装置700可以通过直接使用关于图片中编码单元1320a至1320c的位置或坐标的信息或者通过使用对应于坐标之间的差值的图片中编码单元的宽度或高度的信息来确定中心位置的编码单元1320b。

根据实施例，指示上编码单元1320a的左上采样1330a的位置的信息可以包括坐标(xa，ya)，指示中间编码单元1320b的左上采样1330b的位置的信息可以包括坐标(xb，yb)，并且指示下编码单元1320c的左上采样1330c的位置的信息可以包括坐标(xc，yc)。图像解码装置700可以通过使用分别包括在编码单元1320a至1320c中的左上采样1330a至1330c的坐标来确定中间编码单元1320b。例如，当左上采样1330a至1330c的坐标以升序或降序排序时，包括中心位置的采样1330b的坐标(xb，yb)的编码单元1320b可以被确定为通过划分当前编码单元1300而确定的编码单元1320a至1320c中的中心位置的编码单元。然而，指示左上采样1330a至1330c的位置的坐标可以包括指示图片中的绝对位置的坐标，或者可以参考上编码单元1320a的左上采样1330a位置，使用指示中间编码单元1320b的左上采样1330b的相对位置的坐标(dxb，dyb)和指示下编码单元1320c的左上采样1330c相对位置的坐标(dxc，dyc)。通过使用包括在编码单元中的采样的坐标作为指示采样位置的信息来确定预定位置的编码单元的方法不限于上述方法，并可以包括能够使用采样的坐标的各种算术方法。

根据实施例，图像解码装置700可以将当前编码单元1300划分为多个编码单元1320a至1320c，并且基于预定标准来选择编码单元1320a至1320c中的一个。例如，图像解码装置700可以在编码单元1320a至1320c中选择具有与其它编码单元大小不同的编码单元1320b。

根据实施例，图像解码装置700可以通过使用指示左上编码单元1320a的左上采样1330a的位置的坐标(xa，ya)、指示中间编码单元1320b的左上采样1330b的位置的坐标(xb，yb)以及指示下编码单元1320c的左上采样1330c的位置的坐标(xc，yc)来确定编码单元1320a至1320c的宽度或高度。图像解码装置700可以通过使用指示编码单元1320a至1320c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元1320a至1320c的大小。

根据实施例，图像解码装置700可以将上编码单元1320a的宽度确定为xb-xa并将其高度确定为yb-ya。根据实施例，图像解码装置700可以将中间编码单元1320b的宽度确定为xc-xb并将其高度确定为yc-yb。根据实施例，图像解码装置700可以通过使用当前编码单元1300的宽度或高度或者上编码单元和中间编码单元1320a和1320b的宽度或高度来确定下编码单元1320c的宽度或高度。图像解码装置700可以基于确定的编码单元1320a至1320c的宽度和高度，来确定具有与其他编码单元的大小不同的大小的编码单元。参考图13，图像解码装置700可以将具有与上编码单元1320a和下编码单元1320c的大小不同的大小的中间编码单元1320b确定为预定位置的编码单元。然而，由图像解码装置700执行的确定具有与其他编码单元的大小不同的大小的编码单元的上述方法仅仅对应于通过编码单元的大小确定预定位置的编码单元的示例，其中编码单元的大小是使用基于采样的坐标确定的，因此可以使用通过比较编码单元的大小来确定预定位置的编码单元的各种方法，其中编码单元的大小是基于预定采样的坐标确定的。

然而，被考虑用于确定编码单元的位置的采样的位置不限于上述左上位置，并且可以使用关于包括在编码单元中的采样的任意位置的信息。

根据实施例，考虑到当前编码单元的形状，图像解码装置700可以在通过划分当前编码单元而确定的奇数个编码单元中选择预定位置的编码单元。例如，当当前编码单元具有宽度比高度更长的非正方形形状时，图像解码装置700可以在水平方向上确定预定位置的编码单元。也就是说，图像解码装置700可以确定水平方向上不同位置的编码单元中的一个，并对编码单元进行限制。当当前编码单元具有高度大于宽度的非正方形形状时，图像解码装置700可以在垂直方向上确定预定位置的编码单元。也就是说，图像解码装置700可以确定垂直方向上不同位置的编码单元中的一个，并对编码单元进行限制。

根据实施例，图像解码装置700可以使用指示偶数个编码单元的位置的信息来确定偶数个编码单元中的预定位置的编码单元。图像解码装置700可以通过划分当前编码单元来确定偶数个编码单元，并且通过使用关于偶数个编码单元的位置的信息来确定预定位置的编码单元。与其有关的操作可以对应于确定奇数个编码单元之中的预定位置(例如，中心位置)的编码单元的操作，其已经在上面图13详细描述。因此，这里将不提供其详细描述。

根据实施例，当非正方形当前编码单元被划分成多个编码单元时，可以在划分操作中使用关于预定位置的编码单元的预定信息来确定在多个编码单元中预定位置的编码单元。例如，图像解码装置700在划分操作中可以使用在中心位置的编码单元中包括的采样中存储的块形状信息和划分方法信息中的至少一个来确定通过划分当前编码单元确定的多个编码单元中的中心位置的编码单元。

参考图13，图像解码装置700可以基于块形状信息和划分方法信息中的至少一个将当前编码单元1300划分成多个编码单元1320a至1320c，并且确定多个编码单元1320a至1320c中的中间位置的编码单元1320b。此外，图像解码装置700可以考虑获得块形状信息和划分方法信息中的至少一个的位置来确定中心位置的编码单元1320b。也就是说，当前编码单元1300的块形状信息和划分方法信息中的至少一个可以从当前编码单元1300的中心位置的采样1340获得，并且当当前编码单元1300基于块形状信息和划分方法信息中的至少一个被划分为多个编码单元1320a至1320c，包括采样1340的编码单元1320b可以被确定为中心位置的编码单元。然而，用于确定中心位置的编码单元的信息不限于块形状信息和划分方法信息中的至少一个，可以使用各种类型的信息来确定中心位置的编码单元。

根据实施例，可以从包括在待确定的编码单元中的预定采样获得用于识别预定位置的编码单元的预定信息。参考图13，图像解码装置700可以使用从当前编码单元1300中的预定位置的采样(例如，当前编码单元1300中心位置的采样)获得的块形状信息和划分方法信息中的至少一个确定通过划分当前编码单元1300而确定的多个编码单元1320a至1320c当中的预定位置的编码单元(例如，多个划分的编码单元中的中心位置的编码单元)。也就是说，图像解码装置700可以考虑当前编码单元1300的块形状来确定预定位置的采样，确定在通过划分当前编码单元1300而确定的多个编码单元1320a至1320c之中的包括可以获得预定信息(例如，块形状信息和划分方法信息)的采样的编码单元1320b，并且对编码单元1320b进行预定的限制。参考图13，根据实施例，图像解码装置700可以在解码操作中将当前编码单元1300的中心位置的采样1340确定为可以从其获得预定信息的采样，并且对包括采样1340的编码单元1320b进行预定限制。然而，可以从中获得预定信息的采样的位置不限于上述位置，并且可以包括确定针对限制的编码单元1320b中包括的采样的任意位置。

根据实施例，可以基于当前编码单元1300的形状来确定可以从其获得预定信息的采样的位置。根据实施例，块形状信息可以指示当前编码单元具有正方形或非正方形形状，并且可以基于形状来确定可以从其获得预定信息的样本的位置。例如，图像解码装置700也可以使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个，将位于将当前编码单元的宽度和高度中的至少一个分两半的边界上的采样确定为可以从中获得预定信息的采样。作为另一示例，当当前编码单元的块形状信息指示非正方形形状时，图像解码装置700可以将与用于将当前编码单元的长边分两半的边界相邻的采样中的一个确定为可以从中获得预定信息的采样。

根据实施例，当当前编码单元被划分成多个编码单元时，图像解码装置700可以使用块形状信息和划分方法信息中的至少一个来确定多个编码单元中预定位置的编码单元。根据实施例，图像解码装置700可以从编码单元中的预定位置的采样获得块形状信息和划分方法信息中的至少一个，并且通过使用从多个编码单元中的每个编码单元中的预定位置的采样获得的划分方法信息和块形状信息中的至少一个，对通过划分当前编码单元而生成的多个编码单元进行划分。也就是说，可以基于从每个编码单元中的预定位置的采样获得的块形状信息和划分方法信息中的至少一个，递归地划分编码单元。上面图12已经描述了递归划分编码单元的操作，因此这里将不提供其详细描述。

根据实施例，图像解码装置700可以通过划分当前编码单元来确定一个或多个编码单元，并且基于预定块(例如，当前编码单元)来确定一个或多个编码单元的解码顺序。

图14示出根据实施例的通过由图像解码装置700划分当前编码单元而确定的多个编码单元的处理顺序。

根据实施例，图像解码装置700可以通过在垂直方向上划分第一编码单元1400来确定第二编码单元1410a和1410b，通过将第一编码单元1400在水平方向上划分来确定第二编码单元1430a和1430b或者基于块形状信息和划分方法信息通过在垂直和水平方向上划分第一编码单元1400来确定第二编码单元1450a至1450d。

参考图14，图像解码装置700可以确定按照水平方向顺序1410c来处理通过在垂直方向上划分第一编码单元1400而确定的第二编码单元1410a和1410b。图像解码装置700可以确定按照垂直方向顺序1430c处理通过在水平方向上划分第一编码单元1400而确定的第二编码单元1430a和1430b。图像解码装置700可以按照先处理编码单元的一行然后处理编码单元的下一行的预定顺序(例如，按照光栅扫描顺序或Z扫描顺序1450e)，确定处理通过在垂直方向和水平方向上划分第一编码单元1400而确定的第二编码单元1450a至1450d。

根据实施例，图像解码装置700可递归地划分编码单元。参考图14，图像解码装置700可以通过划分第一编码单元1400来确定多个编码单元1410a和1410b、1430a和1430b(或1450a至1450d)，并递归地划分所确定的多个编码单元1410a和1410b、1430a和1430b(或1450a至1450d)中的每一个。多个编码单元1410a和1410b、1430a和1430b(或1450a至1450d)的划分方法可以对应于第一编码单元1400的划分方法。这样，多个编码单元1410a和1410b、1430a和1430b(或1450a至1450d)中的每一个可以独立地划分成多个编码单元。参考图14，图像解码装置700可以通过在垂直方向上划分第一编码单元1400来确定第二编码单元1410a和1410b，并且确定是否独立地划分第二编码单元1410a和1410b。

根据实施例，图像解码装置700可以通过在水平方向上划分左第二编码单元1410a来确定第三编码单元1420a和1420b，并且可以不划分右第二编码单元1410b。

根据实施例，编码单元的处理顺序可以基于划分编码单元的操作而确定。换句话说，划分编码单元的处理顺序可以基于即将被划分之前的编码单元的处理顺序来确定。图像解码装置700可以通过划分独立于右第二编码单元1410b的左第二编码单元1410a确定第三编码单元1420a和1420b的处理顺序。由于第三编码单元1420a和1420b是通过在水平方向上对左第二编码单元1410a进行划分来确定的，所以第三编码单元1420a和1420b可以按照垂直方向顺序1420c进行处理。由于左和右第二编码单元1410a和1410b按照水平方向顺序1410c处理，所以右第二编码单元1410b可以在包括在左第二编码单元1410a中的第三编码单元1420a和1420b按照垂直方向顺序1420c被处理之后进行处理。基于划分之前的编码单元确定编码单元的处理顺序的操作不限于上述示例，并且可以使用各种方法来按预定的顺序独立处理被划分并确定为各种形状的编码单元。

图15示出了根据实施例的当编码单元不能按照预定顺序处理时由图像解码装置700执行的确定当前编码单元被划分为奇数个编码单元的操作。

根据实施例，图像解码装置700可以基于获得的块形状信息和划分方法信息来确定是否将当前编码单元划分为奇数个编码单元。参考图15，正方形第一编码单元1500可以被划分为非正方形第二编码单元1510a和1510b，并且第二编码单元1510a和1510b可以被独立地划分为第三编码单元1520a和1520b以及1520c至1520e。根据实施例，图像解码装置700可以通过在水平方向上划分左第二编码单元1510a来确定多个第三编码单元1520a和1520b，并且将右第二编码单元1510b划分为奇数个第三编码单元1520c至1520e。

根据实施例，图像解码装置700可以通过判定第三编码单元1520a和1520b以及1520c至1520e是否是可以以预定顺序来处理，来确定是否将任意编码单元划分为奇数个编码单元。参考图15，图像解码装置700可以通过递归地划分第一编码单元1500来确定第三编码单元1520a和1520b以及1520c至1520e。图像解码装置700可以基于块形状信息和划分方法信息中的至少一个确定是否将第一编码单元1500、第二编码单元1510a和1510b、第三编码单元1520a和1520b以及1520c至1520e划分为奇数个编码单元。例如，右第二编码单元1510b可以被划分为奇数个第三编码单元1520c至1520e。包括在第一编码单元1500中的多个编码单元的处理顺序可以是预定顺序(例如，Z扫描顺序1530)，并且图像解码装置700可以判定通过将右第二编码单元1510b划分成奇数个编码单元而确定的第三编码单元1520c至1520e是否满足按照预定顺序进行处理的条件。

根据实施例，图像解码装置700可以确定包括在第一编码单元1500中的第三编码单元1520a和1520b以及1520c至1520e是否满足用于以预定顺序进行处理的条件，并且该条件涉及是否将第二编码单元1510a和1510b的宽度和高度中的至少一个沿着第三编码单元1520a和1520b以及1520c至1520e的边界分成两半。例如，通过将非正方形左第二编码单元1510a的高度分成两半而确定的第三编码单元1520a和1520b满足条件。然而，由于通过将右第二编码单元1510b划分为三个编码单元而确定的第三编码单元1520c至1520e的边界没有将右第二编码单元1510b的宽度或高度分成两半，因此可以确定第三编码单元1520c至1520e不满足条件。当如上所述不满足条件时，图像解码装置700可以判定扫描顺序的断开，并且基于判定结果将右第二编码单元1510b划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码装置700可以对划分的编码单元中的预定位置的编码单元施加预定的限制。上述限制或预定位置已经结合各种实施例进行了描述，因此这里将不提供其详细描述。

图16示出根据实施例的由图像解码装置700执行的通过划分第一编码单元1600来确定一个或多个编码单元的操作。根据实施例，图像解码装置700可以基于块形状信息和划分方法信息中的至少一个来划分第一编码单元1600。正方形第一编码单元1600可以被划分成四个正方形编码单元或多个非正方形编码单元。例如，参考图16，当块形状信息指示第一编码单元1600具有正方形形状并且划分方法信息指示将第一编码单元1600划分为非正方形编码单元时，图像解码装置700可以将第一编码单元1600划分成多个非正方形编码单元。具体而言，当划分方法信息指示通过在水平或垂直方向上划分第一编码单元1600来确定奇数个编码单元时，图像解码装置700可将正方形第一编码单元1600划分为奇数个编码单元，例如，通过在垂直方向上划分正方形第一编码单元1600而确定的第二编码单元1610a至1610c或通过在水平方向上划分正方形第一编码单元1600而确定的第二编码单元1620a至1620c。

根据实施例，图像解码装置700可以确定包括在第一编码单元1600中的第二编码单元1610a至1610c或1620a至1620c是否满足用于以预定顺序进行处理的条件，并且该条件涉及第一编码单元1600的宽度和高度中的至少一个沿着第二编码单元1610a至1610c(或1620a至1620c)的边界被分成两半。参考图16，由于通过在垂直方向上划分正方形第一编码单元1600而确定的第二编码单元1610a至1610c的边界不将第一编码单元1600的宽度分成两半，因此可以确定第一编码单元1600不满足按照预定顺序处理的条件。另外，由于通过在水平方向上划分正方形第一编码单元1600而确定的第二编码单元1620a至1620c的边界不将第一编码单元1600的高度分成两半，因此可以确定第一编码单元1600不满足按照预定顺序进行处理的条件。当如上所述不满足条件时，图像解码装置700可以判定断开扫描顺序，并且基于判定结果确定第一编码单元1600被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码装置700可以对划分的编码单元中的预定位置的编码单元施加预定的限制。以上已经针对各种实施例描述了限制或预定位置，因此在此将不提供其详细描述。

根据实施例，图像解码装置700可以通过划分第一编码单元来确定各种形状的编码单元。

参考图16，图像解码装置700可将正方形第一编码单元1600或非正方形第一编码单元1630或1650划分成各种形状的编码单元。

图17示出了根据实施例的当第二编码单元满足预定条件时的通过划分第一编码单元1700而确定非正方形第二编码单元的划分方法受到图像解码装置700的限制。

根据实施例，图像解码装置700可以基于块形状信息和划分方法信息中的至少一个来确定将正方形第一编码单元1700划分为非正方形第二编码单元1710a和1710b(或1720a和1720b)。第二编码单元1710a和1710b(或1720a和1720b)可以被独立划分。这样，图像解码装置700可以基于第二编码单元1710a和1710b(或1720a和1720b)中的每一个的块形状信息和划分方法信息中的至少一个来确定是否将第一编码单元1700划分成多个编码单元。根据实施例，图像解码装置700可以通过在水平方向上划分通过在垂直方向上划分第一编码单元1700而确定的非正方形左第二编码单元1710a来确定第三编码单元1712a和1712b。然而，当左第二编码单元1710a在水平方向上被划分时，图像解码装置700可以限制右第二编码单元1710b不在左第二编码单元1710a被划分的水平方向上被划分。如果也通过在水平方向上对右第二编码单元1710b进行划分来确定第三编码单元1714a和1714b，由于左和右第二编码单元1710a和1710b在水平方向上被独立划分，所以可以确定第三编码单元1712a和1712b及1714a和1714b。然而，这种情况与图像解码装置700基于块形状信息和划分方法信息中的至少一个将第一编码单元1700划分为四个正方形第二编码单元1730a至1730d的情况等同，并且在图像解码方面可能效率低下。

根据实施例，图像解码装置700可以通过在垂直方向上划分通过在水平方向上划分第一编码单元1700而确定的非正方形第二编码单元1720a或1720b确定第三编码单元1722a和1722b(或1724a和1724b)。然而，当第二编码单元(例如，上第二编码单元1720a)在垂直方向上被划分时，由于上述原因，图像解码装置700可以限制不在划分上第二编码单元1720a的垂直方向上划分另一个第二编码单元(例如，下第二编码单元1720b)。

图18示出根据实施例的当划分方法信息指示不将正方形编码单元划分为四个正方形编码单元时由图像解码装置700执行的划分正方形编码单元的操作。

根据实施例，图像解码装置700可以通过基于块形状信息和划分方法信息中的至少一个划分第一编码单元1800来确定第二编码单元1810a和1810b(或1820a和1820b)。划分方法信息可以包括关于划分编码单元的各种方法的信息，但是在一些情况下，关于各种划分方法的信息可能不包括用于将编码单元划分为四个正方形编码单元的信息。根据该划分方法信息，图像解码装置700可以不将第一正方形编码单元1800划分为四个正方形第二编码单元1830a至1830d。图像解码装置700可以基于划分方法信息来确定非正方形第二编码单元1810a和1810b(或1820a和1820b)。

根据实施例，图像解码装置700可以独立地划分非正方形第二编码单元1810a和1810b或、1820a和1820b。第二编码单元1810a和1810b(或1820a和1820b)中的每一个可以以预定顺序递归划分，并且这可以基于块形状信息和划分信息中的至少一个对应于第一编码单元1800的划分方法。

例如，图像解码装置700可以通过在水平方向上划分左第二编码单元1810a来确定正方形第三编码单元1812a和1812b，并且通过在水平方向上划分右第二编码单元1810b来确定正方形第三编码单元1814a和1814b。此外，图像解码装置700可以通过在水平方向上划分左和右第二编码单元1810a和1810b两者来确定正方形第三编码单元1816a至1816d。在这种情况下，可以确定具有与从第一编码单元1800划分的四个正方形第二编码单元1830a至1830d相同形状的编码单元。

作为另一示例，图像解码装置700可以通过在垂直方向上划分上第二编码单元1820a来确定正方形第三编码单元1822a和1822b，并且通过在垂直方向上划分下第二编码单元1820b来确定正方形第三编码单元1824a和1824b。此外，图像解码装置700可以通过在垂直方向上划分上第二编码单元和下第二编码单元1820a和1820b两者来确定正方形第三编码单元1826a至1826d。在这种情况下，可以确定具有与从第一编码单元1800划分的四个正方形第二编码单元1830a至1830d相同形状的编码单元。

图19示出了根据实施例的多个编码单元的处理顺序根据划分编码单元的操作而可变。

根据实施例，图像解码装置700可以基于块形状信息和划分方法信息划分第一编码单元1900。当块形状信息指示正方形形状并且划分方法信息指示沿水平方向和垂直方向中的至少一个方向划分第一编码单元1900时，图像解码装置700可以通过划分第一编码单元1900确定第二编码单元1910a和1910b(或1920a和1920b)。参考图19，可以基于每个编码单元的块形状信息和划分方法信息来独立划分通过仅在水平或垂直方向划分第一编码单元1900而确定的非正方形第二编码单元1910a和1910b(或1920a和1920b)。例如，图像解码装置700可以通过在水平方向上划分由在垂直方向上划分第一编码单元1900而生成的第二编码单元1910a和1910b来确定第三编码单元1916a至1916d，并且通过在垂直方向上划分由在水平方向上划分第一编码单元1900而生成的第二编码单元1920a和1920b来确定第三编码1926a至1926d。上面已经结合图17描述了对第二编码单元1910a和1910b(或1920a和1920b)进行划分的操作。因此，这里将不提供其详细描述。

根据实施例，图像解码装置700可以按预定顺序处理编码单元。上面已经结合图14描述了以预定顺序处理编码单元的操作，因此这里将不提供其详细描述。参考图19，图像解码装置700可以通过划分正方形第一编码单元1900来确定四个正方形第三编码单元1916a至1916d(或1926a至1926d)。根据实施例，图像解码装置700可以基于第一编码单元1900的划分方法确定第三编码单元1916a至1916d(或1926a至1926d)。

根据实施例，图像解码装置700可以通过在水平方向上划分由在垂直方向上划分第一编码单元1900而生成的第二编码单元1910a和1910b来确定第三编码单元1916a至1916d，并且在垂直方向上以初始处理包括在左第二编码单元1910a中的第三编码单元1916a和1916c的处理顺序1917处理第三编码单元1916a至1916d，然后在垂直方向上处理被包括在右第二编码单元1910b中的第三编码单元1916b和1916d。

根据实施例，图像解码装置700可以通过在垂直方向上划分由在水平方向上划分第一编码单元1900而生成的第二编码单元1920a和1920b来确定第三编码单元1926a至1926d，并且在水平方向上以初始处理包括在上第二编码单元1920a中的第三编码单元1926a和1926b的处理顺序1927处理第三编码单元1926a至1926d，然后在水平方向上处理包括在下第二编码单元1920b中的第三编码单元1926c和1926d。

参考图19，可通过划分第二编码单元1910a和1910b(或1920a和1920b)来确定正方形第三编码单元1916a至1916d(或1926a至1926d)。尽管第二编码单元1910a和1910b是通过在垂直方向上划分第一编码单元1900来确定的，不同于通过在水平方向上划分第一编码单元1900而确定的第二编码单元1920a和1920b，但是由其划分的第三编码单元1916a至1916d以及1926a至1926d最终显示了由第一编码单元1900划分的形状相同的编码单元。这样，基于块形状信息和划分方法中的至少一个通过以不同方式递归地划分编码单元信息，即使当编码单元最终被确定为相同形状时，图像解码装置700也可以以不同顺序处理多个编码单元。

图20示出根据实施例的当通过递归划分编码单元来确定多个编码单元时随编码单元的形状和大小变化而确定编码单元的深度的操作。

根据实施例，图像解码装置700可以基于预定标准来确定编码单元的深度。例如，预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是被划分的当前编码单元的长边的长度的2ⁿ倍(n>0)时，图像解码装置700可以确定当前编码单元的深度比划分之前的编码单元的深度增加n倍。在以下描述中，具有增加的深度的编码单元被表示为更深的深度的编码单元。

参考图20所示，根据实施例，图像解码装置700可以基于指示正方形形状的块形状信息(例如，块形状信息可以表示为'0：SQUARE')，通过对正方形第一编码单元2000进行划分来确定具有更深深度的第二编码单元2002和第三编码单元2004。假设正方形第一编码单元2000的大小是2N×2N，则通过将第一编码单元2000的宽度和高度减小到1/2¹而确定的第二编码单元2002可以具有N×N的大小。此外，通过将第二编码单元2002的宽度和高度减小到1/2而确定的第三编码单元2004可以具有N/2×N/2的大小。在这种情况下，第三编码单元2004的宽度和高度是第一编码单元2000的宽度和高度的1/2²倍。当第一编码单元2000的深度是D时，宽度和高度是第一编码单元2000的宽度和高度的1/2¹倍的第二编码单元2002的深度可以是D+1，并且宽度和高度是第一编码单元2000的宽度和高度的1/2²倍的第三编码单元2004的深度可以是D+2。

根据实施例，图像解码装置700可以基于指示指示非正方形形状的块形状信息(例如，块形状信息可以被表示为指示非正方形形状的'1：NS_VER'，其高度比宽度长，或者被表示为指示非正方形形状的'2：NS_HOR'，其宽度比高度长)，通过对非正方形第一编码单元2010或2020进行划分来确定具有更深的深度的第二编码单元2012或2022和第三编码单元2014或2024。

图像解码装置700可以通过划分大小为N×2N的第一编码单元2010的宽度和高度中的至少一个来确定第二编码单元2002、2012或2022。也就是说，图像解码装置700可以通过在水平方向上划分第一编码单元2010来确定大小为N×N的第二编码单元2002或大小为N×N/2的第二编码单元2022，或者通过在水平方向和垂直方向上划分第一编码单元2010来确定大小为N/2×N的第二编码单元2012。

根据实施例，图像解码装置700可以通过划分大小为2N×N的第一编码单元2020的宽度和高度中的至少一个来确定第二编码单元2002、2012或2022。也就是说，图像解码装置700可以通过在垂直方向上划分第一编码单元2020来确定大小为N×N的第二编码单元2002或大小为N/2×N的第二编码单元2012，或者通过在水平和垂直方向上划分第一编码单元2020来确定大小为N×N/2的第二编码单元2022。

根据实施例，图像解码装置700可以通过划分大小为N×N的第二编码单元2012的宽度和高度中的至少一个来确定第三编码单元2004、2014或2024。也就是说，图像解码装置700可以在垂直方向和水平方向上划分第二编码单元2012确定大小为N/2×N/2的第三编码单元2004、大小为N/2²×N/2的第三编码单元2014或大小为N/2×N/2²的第三编码单元2024。

根据实施例，图像解码装置700可以通过划分大小为N/2×N的第二编码单元2012的宽度和高度中的至少一个来确定第三编码单元2004、2014或2024。也就是说，图像解码装置700可以通过在垂直方向和水平方向上对第二编码单元2012进行划分来确定大小为N/2×N/2的第三编码单元2004或大小为N/2×N/2²的第三编码单元2024或者大小为N/2²×N/2的第三编码单元2014。

根据实施例，图像解码装置700可以通过划分大小为N×N/2的第二编码单元2022的宽度和高度中的至少一个来确定第三编码单元2004、2014或2024。也就是说，图像解码装置700可以通过在垂直方向和水平方向上划分第二编码单元2022来确定大小为N/2×N/2的第三编码单元2004或大小为N/2²×N/2的第三编码单元2014或者大小为N/2×N/2²的第三编码单元2024。

根据实施例，图像解码装置700可以在水平或垂直方向上划分正方形编码单元2000、2002或2004。例如，图像解码装置700可以通过在垂直方向上划分大小为2N×2N的第一编码单元2000来确定大小为N×2N的第一编码单元2010，或者通过在水平方向上划分第一编码单元2000来确定大小为2N×N的第一编码单元2020。根据实施例，当基于编码单元的最长边的长度确定深度时，通过在水平或垂直方向上划分具有2N×2N的大小的第一编码单元2000确定的编码单元的深度可以与第一编码单元2000的深度相同。

根据实施例，第三编码单元2014或2024的宽度和高度可以是第一编码单元2010或2020的宽度和高度的1/2²。当第一编码单元2000的深度是D时，宽度和高度是第一编码单元2000的宽度和高度的1/2倍的第二编码单元2002的深度可以是D+1，并且宽度和高度是第一编码单元2000的宽度和高度的1/2²倍的第三编码单元2004的深度可以是D+2。

图21示出了根据实施例的用于识别编码单元的可基于编码单元的形状和大小确定的深度和部分索引(PID)。

根据实施例，图像解码装置700可以通过划分正方形第一编码单元2100来确定各种形状的第二编码单元。参考图21，图像解码装置700可以基于划分方法信息通过沿着垂直和水平方向中的至少一个划分第一编码单元2100来确定第二编码单元2102a和2102b、2104a和2104b、或2106a至2106d。也就是说，图像解码装置700可以基于第一编码单元2100的划分方法信息来确定第二编码单元2102a和2102b、2104a和2104b、或2106a至2106d。

根据实施例，基于正方形第一编码单元2100的划分方法信息确定的第二编码单元2102a和2102b、2104a和2104b、或2106a至2106d的深度可以基于其长边的长度确定。例如，由于正方形第一编码单元2100的一边的长度等于非正方形第二编码单元2102a和2102b(或2104a和2104b)的长边的长度，所以第一编码单元2100和非正方形第二编码单元2102a和2102b(或2104a和2104b)可以具有相同的深度，例如D。然而，当图像解码装置700基于划分方法信息将第一编码单元2100划分为四个正方形第二编码单元2106a至2106d时，由于正方形第二编码单元2106a至2106d的一侧的长度是第一编码单元2100的一侧的长度的1/2，所以第二编码单元2106a至2106d的深度可以是D+1，其比第一编码单元2100的深度D深1。

根据实施例，图像解码装置700可以通过基于划分方法信息在水平方向上划分高度大于宽度的第一编码单元2110，确定多个第二编码单元2112a和2112b或2114a至2114c。根据实施例，图像解码装置700可以通过基于划分方法信息在垂直方向上划分宽度大于高度的第一编码单元2120，确定多个第二编码单元2122a和2122b(或2124a至2124c)。

根据实施例，基于非正方形第一编码单元2110或2120的划分方法信息确定的第二编码单元2112a和2112b、2114a至2114c、2122a和2122b、或2124a至2124c的深度可以基于其长边的长度来确定。例如，由于正方形第二编码单元2112a和2112b的一侧的长度是具有非正方形形状的高度大于宽度的第一编码单元2110的长边的长度的1/2倍，因此正方形第二编码单元2112a和2112b的深度D+1，其比非正方形第一编码单元2110的深度D深1。

此外，图像解码装置700可基于划分方法信息将非正方形第一编码单元2110划分为奇数个第二编码单元2114a至2114c。奇数个第二编码单元2114a至2114c可以包括非正方形第二编码单元2114a和2114c以及正方形第二编码单元2114b。在这种情况下，由于非正方形第二编码单元2114a和2114c的长边的长度和正方形第二编码单元2114b的边的长度是第一编码单元2110的长边的长度的1/2，第二编码单元2114a至2114c的深度可以是D+1，其比非正方形第一编码单元2110的深度D深1。通过使用上述确定从第一编码单元2110划分的编码单元的深度的方法，图像解码装置700可以确定从具有宽度大于高度的非正方形形状的第一编码单元2120划分的编码单元的深度。

根据实施例，当奇数个划分的编码单元不具有相同大小时，图像解码装置700可以基于编码单元之间的大小比来确定用于识别划分的编码单元的PID。参考图21，奇数个划分的编码单元2114a至2114c中的中心位置的编码单元2114b的宽度可以与其他编码单元2114a和2114c相等，并且高度是其他编码单元2114a和2114c的高度的两倍。也就是说，在这种情况下，中心位置的编码单元2114b可以包括两个其他编码单元2114a或2114c。因此，假定基于扫描顺序中心位置的编码单元2114b的PID为1，则位于编码单元2114b旁边的编码单元2114c的PID可以增加2从而是3。这就是说，可能会存在PID值的不连续性。根据实施例，图像解码装置700可以基于用于识别奇数个划分的编码单元的PID中是否存在不连续性来确定奇数个划分的编码单元是否不具有相同大小。

根据实施例，图像解码装置700可以基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定的划分方法。参考图21，图像解码装置700可以通过划分高度比宽度大的矩形形状的第一编码单元2110来确定偶数个编码单元2112a和2112b或奇数个编码单元2114a至2114c。图像解码装置700可以使用PID来识别多个编码单元。根据实施例，PID可以从每个编码单元的预定位置的采样(例如左上采样)获得。

根据实施例，图像解码设备700可以通过使用用于识别编码单元的PID来确定分区编码单元中的预定位置的编码单元。根据实施例，当具有高度大于宽度的矩形形状的第一编码单元2110的划分方法信息指示将编码单元划分为三个编码单元时，图像解码装置700可以将第一编码单元2110划分为三个编码单元2114a至2114c。图像解码装置700可以将PID分配给三个编码单元2114a至2114c中的每一个。图像解码装置700可以比较奇数个划分的编码单元的PID，以确定这些编码单元中的中心位置的编码单元。图像解码装置700可以将具有与编码单元的PID中的中间值相对应的PID的编码单元2114b确定为通过划分第一编码单元2110而确定的编码单元中的中心位置的编码单元。根据实施例，当划分的编码单元不具有相同大小时，图像解码装置700可以基于编码单元之间的大小比来确定用于识别划分的编码单元的PID。参考图21，通过划分第一编码单元2110而生成的编码单元2114b可以具有与其他编码单元2114a和2114c相同的宽度以及两倍于其他编码单元2114a和2114c的高度。在这种情况下，假定中心位置的编码单元2114b的PID是1，则位于编码单元2114b旁边的编码单元2114c的PID可以增加2，因此可以是3。当PID不是如上所述均匀地增加时，图像解码装置700可以确定编码单元被划分为包括与其他编码单元大小不同的编码单元的多个编码单元。根据实施例，当划分方法信息指示将编码单元划分为奇数个编码单元时，图像解码装置700可以以使得奇数个编码单元中的预定位置的编码单元(例如，中心位置的编码单元)具有不同于其它编码单元的大小的方式划分当前编码单元。在这种情况下，图像解码装置700可以通过使用编码单元的PID来确定具有不同大小的中心位置的编码单元。然而，预定位置的编码单元的PID和大小或位置不限于上述示例，并且可以使用编码单元的各种PID以及各种位置和大小。

根据实施例，图像解码装置700可以使用其中编码单元开始被递归划分的预定数据单元。

图22示出了根据实施例的基于图片中包括的多个预定数据单元确定多个编码单元。

根据实施例，预定数据单元可以被定义为其中开始使用块形状信息和划分方法信息中的至少一个来递归地划分编码单元的数据单元。也就是说，预定数据单元可以对应于用于确定从当前图片划分的多个编码单元的最高深度的编码单元。在以下描述中，为了便于解释，预定数据单元被称为参考数据单元。

根据实施例，参考数据单元可以具有预定的大小和形状。根据实施例，参考编码单元可以包括M×N个采样。这里，M和N可以是相等的值，并且可以是表示为2的倍数的整数。也就是说，参考数据单元可以具有正方形或非正方形形状，并且可以是整数个编码单元。

根据实施例，图像解码装置700可将当前图片划分成多个参考数据单元。根据实施例，图像解码装置700可以通过使用每个参考数据单元的划分信息来划分从当前图片划分的多个参考数据单元。划分参考数据单元的操作可以对应于使用四叉树结构的划分操作。

根据实施例，图像解码装置700可以预先确定当前图片中包括的参考数据单元所允许的最小大小。这样，图像解码装置700可以确定具有等于或大于最小大小的大小的各种参考数据单元，并且参考所确定的参考数据单元,通过使用块状信息和划分方法信息来确定一个或多个编码单元。

参考图22，图像解码装置700可以使用正方形参考编码单元2200或非正方形参考编码单元2202。根据实施例，参考编码单元的形状和大小可以基于能够包括一个或更多的参考编码单元(例如，序列、图片、切片、切片片段和最大编码单元)的各种数据单元来确定。

根据实施例，图像解码装置700可以从比特流获得关于各种数据单元中的每一个的参考编码单元形状信息和参考编码单元大小信息中的至少一个。上面已经针对图10的划分当前编码单元1000的操作描述了将正方形参考编码单元2200划分为一个或多个编码单元的操作，并且已经针对图11的划分当前编码单元1100或1150的操作描述了将非正方形参考编码单元2202划分为一个或多个编码单元的操作。因此，这里将不提供其详细描述。

根据实施例，图像解码装置700可以根据预先基于预定条件确定的一些数据单元，使用用于识别参考编码单元的大小和形状的PID来确定参考编码单元的大小和形状。也就是说，图像解码装置700可以从比特流中仅获得用于识别关于每个切片、切片片段或最大编码单元的参考编码单元的大小和形状的PID，其中每个切片、切片片段或最大编码单元是各个数据单元(例如，序列、图片、切片、切片片段和最大编码单元)中满足预定条件的数据单元(例如，具有等于或小于切片的大小的数据单元)。图像解码装置700可以通过使用PID来确定关于满足预定条件的每个数据单元的参考数据单元的大小和形状。当针对具有相对小的大小的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元大小信息时，由于使用比特流的效率可能不好，因此可能仅获得和使用PID，而不是直接获得参考编码单元形状信息和参考编码单元大小信息。在这种情况下，可以预先确定与用于识别参考编码单元的大小和形状的PID对应的参考编码单元的大小和形状中的至少一个。也就是说，图像解码装置700可以通过选择基于PID预先确定的参考编码单元的大小和形状中的至少一个来确定包括在用作获得PID的单元的数据单元中的参考编码单元的大小和形状中的至少一个。

根据实施例，图像解码装置700可以使用包括在最大编码单元中的一个或多个参考编码单元。也就是说，从图片划分的最大编码单元可以包括一个或多个参考编码单元，并且编码单元可以通过递归地划分每个参考编码单元来确定。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，参考编码单元的大小可以通过基于四叉树结构划分最大编码单元n次来获得。也就是说，根据各种实施例，图像解码装置700可以通过基于四叉树结构划分最大编码单元n次来确定参考编码单元，并且基于块形状信息和划分方法信息中的至少一个来划分参考编码单元。

图23示出根据实施例的用作用于确定图片2300中包括的参考编码单元的确定顺序的单元的处理块。

根据实施例，图像解码装置700可以确定从图片划分的一个或多个处理块。处理块是包括从图片划分的一个或多个参考编码单元的数据单元，并且可以以特定顺序确定包括在处理块中的一个或多个参考编码单元。也就是说，在每个处理块中确定的一个或多个参考编码单元的确定顺序可以对应于用于确定参考编码单元的各种类型的顺序中的一个，并且可以根据处理块而变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序中的一个，例如光栅扫描顺序、Z扫描、N扫描、右上对角扫描、水平扫描和垂直扫描，但不限于上述扫描顺序。

根据实施例，图像解码装置700可以获得处理块大小信息并确定图片中包括的一个或多个处理块的大小。图像解码装置700可以从比特流获得处理块大小信息并确定包括在图片中的一个或多个处理块的大小。处理块的大小可以是由处理块大小信息指示的预定大小的数据单元。

根据实施例，图像解码装置700可以针对每个特定数据单元从比特流获得处理块大小信息。例如，处理块大小信息可以从诸如图像、序列、图片、切片或切片片段的数据单元中的比特流获得。也就是说，图像解码装置700可以从比特流获得关于各个数据单元中的每一个的处理块大小信息，并且通过使用所获得的处理块大小信息来确定从图片划分的一个或多个处理块的大小。处理块的大小可以是参考编码单元的大小的整数倍。

根据实施例，图像解码装置700可以确定包括在图片2300中的处理块2302和2312的大小。例如，图像解码装置700可以基于从比特流获得的处理块大小信息来确定处理块的大小。参考图23，根据实施例，图像解码装置700可以将处理块2302和2312的宽度确定为参考编码单元的宽度的四倍，并且将处理块2302和2312的高度确定为参考编码单元的高度的四倍。图像解码装置700可以确定一个或多个处理块中的一个或多个参考编码单元的确定顺序。

根据实施例，图像解码装置700可以基于处理块的大小来确定包括在图片2300中的处理块2302和2312，并且确定在处理块2302和2312中的一个或多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可以包括确定参考编码单元的大小。

根据实施例，图像解码装置700可以从比特流获得包括在一个或多个处理块中的一个或多个参考编码单元的确定顺序信息，并且基于获得的确定顺序信息确定对一个或多个参考编码单元的确定顺序。确定顺序信息可以被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，参考编码单元的确定顺序可以针对每个处理块被独立地确定。

根据实施例，图像解码装置700可以针对每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，图像解码装置700可以针对诸如图像、序列、图片、切片、切片片段或处理块的每个数据单元从比特流获得参考编码单元的确定顺序信息。由于参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以该确定顺序信息可以针对包括整数个处理块的每个特定数据单元获得。

根据实施例，图像解码装置700可以基于确定的确定顺序确定一个或多个参考编码单元。

根据实施例，图像解码装置700可以从比特流获得参考编码单元的确定顺序信息作为与处理块2302和2312有关的信息，并确定在处理块2302和2312中包括的一个或多个参考编码单元的确定顺序，并基于确定顺序确定包括在图片2300中的一个或多个参考编码单元。参考图23，图像解码装置700可以分别确定处理块2302和2312中的一个或多个参考编码单元的确定顺序2304和2314。例如，当针对每个处理块获得参考编码单元的确定顺序信息时，可以针对处理块2302和2312获得不同类型的参考编码单元的确定顺序信息。当处理块2302中的参考编码单元的确定顺序2304是光栅扫描顺序时，包括在处理块2302的参考编码单元可以以光栅扫描顺序确定。与此不同的是，当另一处理块2312中的参考编码单元的确定顺序2314是逆光栅扫描顺序时，可以以逆光栅扫描顺序来确定包括在处理块2312中的参考编码单元。

根据实施例，图像解码装置700可以解码所确定的一个或多个参考编码单元。图像解码装置700可以基于如上所述确定的参考编码单元对图片进行解码。解码参考编码单元的方法可以包括各种图像解码方法。

根据实施例，图像解码装置700可以从比特流获得指示当前编码单元的形状的块形状信息或者指示当前编码单元的划分方法的划分方法信息，并且使用所获得的信息。块形状信息或划分方法信息可以被包括在与各种数据单元相关的比特流中。例如，图像解码装置700可以使用包括在序列参数集、图片参数集、视频参数集、切片头部或切片片段头部中的块形状信息或划分方法信息。此外，图像解码装置700可以针对每个最大编码单元、参考编码单元或处理块从比特流获得对应于块形状信息或划分方法信息的语法，并使用所获得的语法。

虽然已经参考本发明的实施例具体示出和描述了本公开，但本领域普通技术人员将会理解，在不脱离由以下权利要求所定义的本公开的范围的情况下，可以在其中进行形式和细节上的各种改变。这些实施例应该仅仅被认为是描述性的而不是限制性的目的。因此，本公开的范围不是由本公开的说明书所限定，而是由以下权利要求限定，并且该范围内的所有差异将被解释为包括在本公开中。

同时，本公开的前述实施例可以被编写为计算机程序，并且可以在使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的例子包括磁存储介质(例如ROM、软盘、硬盘等)、光记录介质(例如CD-ROM或DVD)等等。

Claims (15)

1.一种图像解码方法，包括：

从比特流获得要解码的当前块的预测模式信息以及指示是否对预测块进行滤波的滤波信息；

基于所述预测模式信息生成所述当前块的第一预测块；

当所述滤波信息指示对所述第一预测块进行滤波时，通过基于所述第一预测块中的当前像素与所述当前像素的相邻像素之间的梯度值改变所述当前像素的像素值来生成第二预测块；

通过从所述比特流中提取对应于所述当前块与所述第二预测块之间的差值的残差来重构所述残差；以及

通过将所述残差与所述第二预测块相加来解码所述当前块。

2.根据权利要求1所述的图像解码方法，其中，所述生成所述第一预测块包括通过对所述当前块执行帧内预测或帧间预测来生成所述第一预测块。

3.根据权利要求2所述的图像解码方法，其中，所述生成所述第二预测块包括在改变所述当前像素的像素值之后改变与所述当前像素相邻的下一个像素的像素值，并且

其中，所述下一个像素的像素值基于所述下一个像素与所述下一个像素的相邻像素之间的梯度值而改变。

4.根据权利要求2所述的图像解码方法，其中，所述生成所述第二预测块包括：

基于指示所述当前像素与位于所述当前像素上侧的上像素之间的差值的第一梯度值和指示所述当前像素与位于所述当前像素左侧的左像素之间的差值的第二梯度值，来确定所述当前像素、所述上像素和所述左像素的权重；以及

通过使用所述当前像素的权重、所述上像素的权重以及所述左像素的权重来改变所述当前像素的像素值。

5.根据权利要求4所述的图像解码方法，其中，当使用所述帧内预测生成所述第一预测块时，基于所述帧内预测的方向来确定所述当前像素、所述上像素和所述左像素的权重。

6.根据权利要求4所述的图像解码方法，其中，所述生成所述第二预测块还包括：基于所述第一梯度值、所述第二梯度值、表示所述当前像素与位于所述当前像素右侧的右像素之间的差值的第三梯度值以及表示所述当前像素与位于所述当前像素下侧的下像素之间的差值的第四梯度值，来确定所述当前像素、所述上像素、所述左像素、所述右像素以及所述下像素的权重，并且

其中，基于所述当前像素的权重、所述上像素的权重、所述左像素的权重、所述右像素的权重以及所述下像素的权重来改变所述当前像素的像素值。

7.根据权利要求6所述的图像解码方法，其中，所述生成所述第二预测块包括：假定所述第一预测块的大小是m×n(其中m和n是正整数)，位于所述第一预测块的第i列和第j行的所述当前像素的像素值是f[i][j]，所述当前像素的权重是α，所述上像素的像素值是f[i][j-1]，所述上像素的权重为β，所述左像素的像素值为f[i-1][j]，所述左像素的权重为γ，所述右像素的像素值为f[i+1][j]，所述右像素的权重为δ，所述下像素的像素值为f[i][j+1]，所述下像素的权重为ε，将所述当前像素的像素值改变为f'[i][j]，如下式所示：

8.根据权利要求7所述的图像解码方法，其中所述右像素的权重δ等于所述左像素的权重γ，并且

其中，所述下像素的权重ε等于所述上像素的权重β。

9.根据权利要求7所述的图像解码方法，其中，所述右像素的权重δ和所述下像素的权重ε具有值0。

10.根据权利要求3所述的图像解码方法，其中，所述滤波信息包括关于重复滤波次数的信息，并且

其中，基于所述关于重复滤波次数的信息，所述第二预测块的生成被重复预定次数。

11.根据权利要求3所述的图像解码方法，其中，所述生成所述第二预测块包括：重复改变所述第二预测块中的像素的像素值，直到所述当前像素改变前后的像素值之间的差收敛为等于或者小于预定的阈值。

12.一种图像解码装置，包括：

熵解码器，所述熵解码器被配置为从比特流获得要解码的当前块的预测模式信息以及指示是否对预测块进行滤波的滤波信息；

预测器，所述预测器被配置为基于所述预测模式信息生成所述当前块的第一预测块；

后处理器，所述后处理器被配置为当所述滤波信息指示对所述第一预测块进行滤波时，通过基于所述第一预测块中的当前像素与所述当前像素的相邻像素之间的梯度值改变所述当前像素的像素值来生成第二预测块；

逆变换器和逆量化器，所述逆变换器和逆量化器被配置为通过从所述比特流中提取对应于所述当前块与所述第二预测块之间的差值的残差，来重构所述残差；以及

加法器，所述加法器被配置为通过将所述残差与所述第二预测块相加来解码所述当前块。

13.根据权利要求12所述的图像解码装置，其中，所述预测器进一步被配置为通过对所述当前块执行帧内预测或帧间预测来生成所述第一预测块。

14.根据权利要求13所述的图像解码装置，其中，所述后处理器还被配置为在改变所述当前像素的像素值之后，改变与所述当前像素相邻的下一个像素的像素值，以及

其中，所述下一个像素的像素值基于所述下一个像素与所述下一个像素的相邻像素之间的梯度值而改变。

15.一种图像编码方法，包括：

生成要编码的当前块的第一预测块；

通过基于所述第一预测块中的当前像素与所述当前像素的相邻像素之间的梯度值改变所述当前像素的像素值，来生成第二预测块；以及

对所述当前块与所述第二预测块之间的差值进行编码。