CN111316641B - 根据块尺寸使用变换来解码图像的方法和设备 - Google Patents

Abstract

根据本发明的一种由解码设备进行的图像解码方法包括以下步骤：通过对当前块执行预测来推导预测样本；基于所述当前块的尺寸和最大变换尺寸来确定是否要分割所述当前块；当确定分割所述当前块时，将所述当前块分割成变换块；推导所述变换块的变换系数；通过对所述变换系数执行逆变换过程来推导残差样本；以及基于所述残差样本和所述预测样本来生成重构图片，其中，当所述当前块的尺寸大于所述最大变换尺寸时，确定分割所述当前块。

Description

根据块尺寸使用变换来解码图像的方法和设备

技术领域

本公开涉及图像编码技术，并且更具体地，涉及基于图像编码系统中的块尺寸使用变换的图像解码方法及其设备。

背景技术

在各种领域中，对诸如HD(高清)图像和UHD(超高清)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量，所以相对于传统图像数据，待传输的信息或比特的量增加。因此，当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。

因此，需要用于有效地发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。

发明内容

【技术任务】

本公开提供了改进图像编码效率的方法和设备。

本公开还提供了基于块的尺寸和变换核的尺寸来分割块并且以经分割的块为单位执行变换的方法和设备。

本公开还提供了基于块的尺寸和变换核的尺寸来分割块并且根据分割的块结构执行去块滤波的方法和设备。

【技术方案】

根据本公开的实施方式，提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤：通过对当前块执行预测来推导预测样本；基于所述当前块的尺寸和最大变换尺寸来确定是否分割所述当前块；基于是否分割所述当前块来将所述当前块分割成变换块；推导所述变换块的变换系数；通过对所述变换系数执行逆变换处理来推导残差样本；以及基于所述残差样本和所述预测样本来生成重构图片，其中，当所述当前块的尺寸大于所述最大变换尺寸时，确定分割所述当前块。

根据本公开的另一实施方式，提供了一种执行图像解码的解码设备。该解码设备包括：预测器，该预测器用于通过对当前块执行预测来推导预测样本；逆变换器，该逆变换器用于基于所述当前块的尺寸和最大变换尺寸来确定是否分割所述当前块；基于是否分割所述当前块来将所述当前块分割成变换块，推导所述变换块的变换系数，通过对所述变换系数执行逆变换处理来推导残差样本；以及加法器，该加法器基于所述残差样本和所述预测样本来生成重构图片，其中，当所述当前块的尺寸大于所述最大变换尺寸时，确定分割所述当前块。

根据本公开的另一实施方式，提供了一种由编码设备执行的视频编码方法。该方法包括以下步骤：通过对当前块执行预测来推导预测样本；基于所述当前块的预测样本和原始样本来推导残差样本；基于所述当前块的尺寸和最大变换尺寸来确定是否分割所述当前块；当确定分割所述当前块时，将所述当前块分割成变换块；通过对所述变换块中的每一个中所包括的残差样本执行变换过程来推导变换系数；通过对所述变换系数执行量化处理来推导量化后的变换系数；以及对包括用于所述量化后的变换系数的信息的视频信息进行编码，其中，当所述当前块的尺寸大于所述最大变换尺寸时，确定分割所述当前块。

根据本公开的另一实施方式，提供了一种视频编码设备。该编码设备包括：预测器，该预测器用于通过对当前块执行预测来推导预测样本；减法器，该减法器用于基于所述当前块的预测样本和原始样本来推导残差样本；变换器，该变换器用于基于所述当前块的尺寸和最大变换尺寸来确定是否分割所述当前块，当确定分割所述当前块时，将所述当前块分割成变换块，通过对所述变换块中的每一个中所包括的残差样本执行变换过程来推导变换系数；量化器，该量化器通过对所述变换系数执行量化处理来推导量化后的变换系数；以及熵编码器，该熵编码器用于对包括用于所述量化后的变换系数的信息的图像信息进行编码，其中，当所述当前块的尺寸大于所述最大变换尺寸时，确定分割所述当前块。

【技术效果】

根据本公开，在当前块的至少一边大于最大变换尺寸的情况下，在没有任何单独的分割信息的情况下，当前块的分割可以被分割成分割尺寸变得最小化的变换块，由此，分割信息的比特数目可以减少，并且解码设备中的计算复杂度可以降低，因此，整体编码速率能提高。

根据本公开，在当前块的至少一边大于最大变换尺寸的情况下，在没有任何单独的分割信息的情况下，当前块的分割可以被分割成分割尺寸变得最小化的变换块，并且可以在被分割的变换块的边界处执行去块滤波，由此，分割信息的比特数目可以减少，并且因此，图像的主观/客观图像质量能提高。

附图说明

图1是例示了适用本公开的视频编码设备的配置的示意图。

图2是例示了适用本公开的视频解码设备的配置的示意图。

图3例示了在变换核的最大尺寸为64×64尺寸的情况下针对128×128尺寸的当前块的逆变换和去块滤波过程。

图4例示了在变换核的最大尺寸为64×64尺寸的情况下针对64×128尺寸的当前块的逆变换和去块滤波过程。

图5例示了在变换核的最大尺寸为64×64尺寸的情况下针对通过CTU中的TT结构分割的子块的逆变换和去块滤波过程。

图6例示了针对被分割成三个子块的CTU的逆变换和去块滤波过程。

图7示意性例示了根据本公开的由编码设备执行的图像编码方法。

图8示意性例示了根据本公开的执行图像编码方法的编码设备。

图9示意性例示了根据本公开的解码设备的图像解码方法。

图10示意性例示了根据本公开的执行图像解码方法的解码设备。

具体实施方式

本公开可以按各种形式进行修改，并且将在附图中描述和例示其具体实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语用于仅仅描述特定的实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地理解即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除有可能存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合。

此外，出于方便说明不同特定功能的目的，独立地绘制本公开中描述的图中的元件，这并不意味着这些元件是由独立硬件或独立软件实施的。例如，可以将这些元件中的两个或更多个元件组合，以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本公开的构思的情况下，其中组合和/或划分元件的实施方式属于本公开。

下文中，将参照附图来详细地描述本公开的实施方式。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。

此外，本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于多功能视频编码(VVC)标准或下一代视频/图像编码标准中公开的方法。

在本公开中，通常，图片意指表示特定时隙中的图像的单元，并且切片是构成编码中的图片的一部分的单元。图片可以包括多个切片，并且在某些情况下，图片和切片可以以混合方式使用。

像素或画素(pel)可以意指构成图片(或图像)的最小单元。另外，术语“样本”可以与像素对应地使用。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。

单元表示图像处理的基本单位。单元可以包括图片的特定区域和与对应区域相关的信息中的至少一个。在某些情况下，可以将单元与块或区域以混合方式使用。在一般情况下，M×N块可以表示包括M列N行的样本或变换系数的集合。

图1是简要例示了适用本公开的视频编码设备的示图。

参照图1，视频编码设备100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125和逆变换器126。

图片分割器105可以将输入图片分割成至少一个处理单元。

例如，处理器可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBT)结构从最大编码单元(LCU)递归地分割编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元分割成深度较深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构。另选地，可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，可以根据图像特性基于编码效率将最大的编码单元用作最终编码单元，或者可以在必要时将编码单元递归地分割成深度较深的编码单元，并且可以使用具有最佳尺寸的编码单元作为最终编码单元。这里，编码过程可以包括随后将描述的预测、变换和重构的过程。

在另一示例中，处理单元可以包括编码单元(CU)、预测单元(PU)或变换单元(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分割成深度较深的编码单元。在这种情况下，可以根据图像特性基于编码效率等直接将最大的编码单元用作最终编码单元，或者可以在必要时将编码单元递归地分割成深度较深的编码单元，并且可以使用具有最佳尺寸的编码单元作为最终编码单元。当设置了最小编码单元(SCU)时，编码单元可以不被分割成比最小编码单元小的编码单元。这里，最终编码单元是指被分割或划分成预测单元或变换单元的编码单元。预测单元是从编码单元分割出的单元，并且可以是样本预测的单元。这里，预测单元可以被分成子块。可以根据四叉树结构从编码单元分出变换单元，并且变换单元可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。下文中，编码单元可以被称为编码块(CB)，预测单元可以被称为预测块(PB)，并且变换单元可以被称为变换块(TB)。预测块或预测单元可以是指采用图片中的块的形式的特定区域，并且包括预测样本的阵列。另外，变换块或变换单元可以是指采用图片中的块的形式的特定区域，并且包括变换系数或残差样本的阵列。

预测器110可以对处理目标块(下文中，当前块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。

预测器110可以确定对当前块是应用帧内预测还是帧间预测。例如，预测器110可以确定以CU为单位应用帧内预测还是帧间预测。

在帧内预测的情况下，预测器110可以基于当前块所属图片(下文中，当前图片)中的当前块之外的参考样本来推导当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均或内插来推导预测样本(情况(i))，或者可以基于当前块的邻近参考样本当中的预测样本在特定(预测)方向上存在的参考样本来推导预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，作为示例，预测模式可以包括33种定向模式和至少两种非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。

在帧间预测的情况下，预测器110可以基于参考图片上的运动向量所指定的样本来推导当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动向量预测(MVP)模式中的任一种来推导当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，并不发送预测样本与原始样本之间的差(残差)。在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器，因此被用作当前块的运动向量预测器来推导当前块的运动向量。

在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括时间邻近块的参考图片也可以被称为并置图片(colPic)。运动信息可以包括运动向量和参考图片索引。诸如预测模式信息和运动信息这样的信息可以被(熵)编码，然后被作为比特流的形式输出。

当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考图片列表中的最高图片可以被用作参考图片。可以基于当前图片与对应的参考图片之间的图片序号(POC)差来对齐参考图片列表中所包括的参考图片。POC对应于显示顺序并且可以与编码顺序区分开。

减法器121生成残差样本，残差样本是原始样本与预测样本之间的差。如果应用跳过模式，则可以不如上所述地生成残差样本。

变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于对应变换块的尺寸和应用于与变换块在空间上交叠的预测块或编码块的预测模式来执行变换。例如，如果向与变换块交叠的预测块或编码块应用帧内预测，则可以使用离散正弦变换(DST)变换核来变换残差样本，变换块为4×4残差阵列，并且在其它情况下使用离散余弦变换(DCT)变换核来变换它。

量化器123可以量化变换系数，以生成量化后的变换系数。

重排器124对量化后的变换系数进行重排。重排器124可以通过系数扫描方法将块形式的量化后的变换系数重排成一维向量。尽管将重排器124描述为单独的组件，但是重排器124可以是量化器123的一部分。

熵编码器130可以对量化后的变换系数执行熵编码。熵编码可以包括诸如(例如)指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的编码方法。熵编码器130可以一起或分别地对除了量化后的变换系数之外的视频重构所必需的信息(例如，语法元素的值等)进行编码。熵编码后的信息可以以比特流的形式以NAL(网络抽象层)为单位发送或存储。

反量化器125对由量化器123量化的值(变换系数)进行反量化，并且逆变换器126对由反量化器125反量化的值进行逆变换，以生成残差样本。

加法器140将残差样本与预测样本相加，以重构图片。可以以块为单位将残差样本与预测样本相加，以生成重构块。尽管将加法器140描述为单独的组件，但是加法器140可以是预测器110的一部分。此外，加法器140可以被称为重构器或重构块生成器。

滤波器150可以向重构图片应用去块滤波和/或样本自适应偏移。可以通过去块滤波和/或样本自适应偏移来校正重构图片中块边界处的伪像或量化中的失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器150可以向重构图片应用自适应环路滤波器(ALF)。可以向已应用了去块滤波和/或样本自适应偏移的重构图片应用ALF。

存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里，重构图片可以是经滤波器150滤波的重构图片。所存储的重构图片可以被用作用于其它图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。

图2是例示了适用本公开的视频解码设备的配置的示意图。

参照图2，视频解码设备200包括图像解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。这里，残差处理器220可以包括重排器221、反量化器222和逆变换器223。

当输入包括视频信息的比特流时，视频解码设备200可以重构与在视频编码设备中处理视频信息的处理对应的视频。

例如，视频解码设备200可以使用在视频编码设备中应用的处理器来执行视频解码。因此，视频解码的处理单元块例如可以是编码单元，或者又如可以是编码单元、预测单元或变换单元。可以根据四叉树结构和/或二叉树结构从最大编码单元中分割出编码单元。

在某些情况下，还可以使用预测单元和变换单元，并且在这种情况下，预测块是从编码单元推导或分割出的块并且可以是样本预测的单元。这里，预测单元可以被分成子块。可以根据四叉树结构从编码单元分割出变换单元，并且变换单元可以是推导变换系数的单元或从变换系数推导残差信号的单元。

熵解码器210可以解析比特流，以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等这样的编码方法对比特流中的信息进行解码，并且可以输出视频重构所需的语法元素的值和用于残差的变换系数的量化值。

更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素对应的bin，使用解码目标语法元素信息和邻近和解码目标块的解码信息或先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后，使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。

在熵解码器210中解码的信息当中的用于预测的信息可以被提供到预测器250，并且残差值即熵解码器210已对其执行了熵解码的量化后的变换系数可以被输入到重排器221。

重排器221可以将量化后的变换系数重排为二维块形式。重排器221可以执行与由编码设备执行的系数扫描对应的重排。尽管将重排器221描述为单独的组件，但是重排器221可以是反量化器222的一部分。

反量化器222可以基于(反)量化参数对量化后的变换系数进行反量化，以输出变换系数。在这种情况下，可以从编码设备发信号发送用于推导量化参数的信息。

逆变换器223可以对变换系数进行逆变换，以推导残差样本。

预测器230可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块或者可以是变换块或者可以是预测块。

预测器230可以基于用于预测的信息来确定是应用帧内预测还是帧间预测。在这种情况下，用于确定将使用帧内预测和帧间预测中的哪种的单元可以不同于用于生成预测样本的单元。另外，在帧间预测和帧内预测中，用于生成预测样本的单元也可以不同。例如，可以以CU为单位确定将应用帧间预测和帧内预测中的哪种。另外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，而在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。

在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本推导当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来推导当前块的预测样本。在这种情况下，可以通过使用邻近块的帧内预测模式来确定将应用于当前块的预测模式。

在帧间预测的情况下，预测器230可以基于根据运动向量在参考图片中指定的样本来推导当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一种来推导当前块的预测样本。这里，可以基于用于预测的信息来获取或推导由视频编码设备提供的当前块的帧间预测所需的运动信息，例如，运动向量和用于参考图片索引的信息。

在跳过模式和合并模式下，可以将邻近块的运动信息作为当前块的运动信息。这里，邻近块可以包括空间邻近块和时间邻近块。

预测器230可以使用可用的邻近块的运动信息来构造合并候选列表，并且使用由合并候选列表上的合并索引所指示的信息作为当前块的运动向量。可以由编码设备发信号通知合并索引。运动信息可以包括运动向量和参考图片。当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考图片列表中的最高图片可以被用作参考图片。

在跳过模式的情况下，与合并模式不同，不发送预测样本与原始样本之间的差(残差)。

在MVP模式的情况下，可以使用邻近块的运动向量作为运动向量预测器来推导当前块的运动向量。这里，邻近块可以包括空间邻近块和时间邻近块。

当应用合并模式时，例如，可以使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量来生成合并候选列表。在合并模式下，从合并候选列表中选择的候选块的运动向量被用作当前块的运动向量。以上提到的用于预测的信息可以包括合并索引，合并索引指示从合并候选列表中所包括的候选块中选择的具有最佳运动向量的候选块。这里，预测器230可以使用合并索引来推导当前块的运动向量。

当作为另一示例应用MVP(运动向量预测)模式时，可以使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量来生成运动向量预测器候选列表。即，可以使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量作为运动向量候选。以上提到的用于预测的信息可以包括指示从列表中所包括的运动向量候选中选择的指示最佳运动向量的预测运动向量索引。这里，预测器230可以使用运动向量索引，从运动向量候选列表中所包括的运动向量候选中选择当前块的预测运动向量。编码设备的预测器可以获得当前块的运动向量与运动向量预测器之间的运动向量差(MVD)，对MVD进行编码并且以比特流的形式输出编码后的MVD。即，MVD可以是通过从当前块的运动向量中减去运动向量预测器来获得的。这里，预测器230可以获取用于预测的信息中所包括的运动向量，并且通过将运动向量差与运动向量预测器相加来推导当前块的运动向量。另外，预测器可以从以上提到的用于预测的信息获得或推导指示参考图片的参考图片索引。

加法器240可以将残差样本与预测样本相加，以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本与预测样本相加来重构当前图片。当应用跳过模式时，不发送残差，因此预测样本可以成为重构样本。尽管将加法器240描述为单独的组件，但是加法器240可以是预测器230的一部分。此外，加法器240可以被称为重构器或重构块生成器。

滤波器250可以向重构图片应用去块滤波、样本自适应偏移和/或ALF。这里，在去块滤波之后，可以以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。

存储器260可以存储重构图片(解码图片)或解码所需的信息。这里，重构图片可以是经滤波器250滤波的重构图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以被用作其它图片的参考图片。存储器260可以按输出顺序输出重构图片。

此外，在如上所述地对图像执行编码和解码时，图像可以被分割成尺寸小的块，并且可以以块为单位执行编码/解码。在这种情况下，用于被分割的块的尺寸和/或形状(例如，正方形块或非正方形块)的信息可以被从编码设备转发到解码设备，由此，可以在解码设备中以相同的方式执行在编码设备中执行的分割过程。例如，可以在编码设备中定义图片中块的最大尺寸和最小尺寸，并且可以通过诸如VPS(视频参数集)、SPS(序列参数集)、PPS(图片参数集)、切片分段头或编码单元头这样的高级语法来转发表示图片中块的最大尺寸的信息和表示最小尺寸的信息以发送附加图像信息。

在决定了最大块尺寸的情况下，最大尺寸的块(即，最大块)可以根据分割结构被递归地分割成深度较低的子块。根据块分割方法，分割结构可以包括QT(四叉树)结构、BT(二叉树)结构、TT(三叉树)结构和/或ABT(非对称二叉树)结构。在最大块被分割的情况下，可以以分割块为单位执行预测和变换。例如，在最大块尺寸被定义为128×128尺寸并且最大块被最终根据QT结构分割成4个64×64尺寸的子块的情况下，针对最大块的预测单元和变换单元二者可以被定义为64×64尺寸，并且以子块单元重构。

此外，最大块可以被表示为CTU(编码树单元)和LCU(最大编码单元LCU)。此外，QT结构可以表示其中W×H尺寸的块被分割成(W/2)×(H/2)尺寸的4个子块的结构。另外，BT结构可以表示其中W×H尺寸的块被分割成(W/2)×H尺寸的2个子块或W×(H/2)尺寸的2个子块的结构。另外，TT结构可以表示其中W×H尺寸的块被分割成(W/4)×H尺寸的2个子块或W×(H/4)尺寸的2个子块的结构。此外，ABT结构可以表示其中W×H尺寸的块被分割成(W/n)×H尺寸的子块和((n-1)×W/n)×H尺寸的子块或W×(H/n)尺寸的子块和W×((n-1)H/n)的子块的结构。这里，例如，n可以是4。

此外，如上所述，通过使用特定尺寸的变换核对残差样本进行变换，并且可以推导变换系数。另外，在解码设备中，通过使用特定尺寸的变换核对变换系数进行逆变换，并且可以推导残差样本。因此，对于变换核的尺寸，可以考虑变换过程的单元尺寸。

因此，在分割块的过程和决定变换核的过程中，可以考虑变换核的尺寸和最大块的尺寸，由此，可以减少针对当前块的附加信息的比特量。

例如，本公开提出了在最大块(即，CTU)的尺寸大于最大变换核的尺寸的情况下的块变换方法。这里，最大变换核可以表示变换核当中最大尺寸的变换核。

作为示例，在最大块尺寸大于最大变换核的尺寸的情况下，解码设备可以依据是否存在最大块尺寸的当前块的残差来确定是否进行逆变换。例如，在指示是否存在当前块的残差系数(即，变换系数)的编码块标志(Cbf)为0的情况下，可以表示不存在当前块的残差。因此，由于不存在将被逆变换的变换系数，因此即使在最大变换核的尺寸小于最大块尺寸的情况下，解码设备也可以执行当前块的重构(即，当前块的预测样本被直接用作重构样本)。然而，在最大块尺寸的当前块的Cbf值为1并且最大块尺寸大于最大变换核的尺寸的情况下，由于没有定义最大块尺寸的变换核，因此即使在当前块的所有区域都具有相同预测参数的情况下，最终也需要对该块进行分割。因此，在本实施方式中，在当前块的尺寸大于最大变换核的尺寸的情况下，提出了在没有单独分割信息的情况下根据特别定义的规则分割当前块并且以分割的块为单位执行逆变换的方法。即，在本实施方式中提出了以下方法，当前块分隔被直到当前块可用于以最大变换核的尺寸进行变换，在上下文中定义的块的尺寸适用于预测模式、运动信息等的同时，针对变换/逆变换过程按照隐式方法根据变换核尺寸临时分割块。另外，例如，临时分割信息可以用于变换和去块滤波。此外，在决定临时分割的情况下，可以以与按对应尺寸分割块的情况相同的顺序来推导布置块的残差系数的方法。

特别地，例如，CTU的尺寸可以为128×128尺寸，并且变换核的最大尺寸可以为64×64尺寸。即，最大块尺寸可以为128×128尺寸，并且最大变换核的尺寸可以为64×64。这里，在当前块是在CTU中未被分割的块的情况下，即，在当前块的尺寸是最大块尺寸的情况下，可以在当前块的所有区域(即，最大块尺寸的区域)中应用相同的预测模式，另选地，可以表示可以基于相同的运动向量来执行预测。然而，在针对当前块存在残差信号的情况下，由于没有定义128×128尺寸的变换核，因此即使在当前块中的所有区域都具有相同预测参数的情况下，也意味着当前块最终需要被分割。

在这种情况下，根据常规方法，在预测单元中不使用当前块，而是需要对当前块进行分割。即，128×128尺寸的当前块可以不被用于编码单元，并且当前块可以被分割。然而，根据所提出的实施方式，可以如同当前块一样使用尺寸比最大变换核的尺寸大的编码单元。即，编码单元的尺寸可以大于变换核的最大尺寸。尺寸比最大变换核的尺寸大的当前块可以仅在逆变换过程中被分割。

图3例示了在变换核的最大尺寸为64×64尺寸的情况下针对128×128尺寸的当前块的逆变换和去块滤波过程。

参照图3，在当前块的尺寸为128×128尺寸并且当前块的cbf为1的情况下，当前块可以被分割成64×64尺寸的4个块，64×64尺寸是仅在逆变换过程中最大的变换核的尺寸。这里，最大变换核的尺寸可以被表示为最大变换尺寸。由于分割过程是在编码设备与解码设备之间承诺的过程，因此可以不发信号通知分割过程的分割信息的单独语法元素。即，可以不发信号通知分割过程的分割信息。执行针对4个块的逆变换过程，并且可以推导残差样本，并且残差样本与预测样本被组合，并且可以重构当前块。此外，对于变换/逆变换，当前块中分割的块可以被表示为变换块。

此外，从编码设备发送的针对当前块的分割信息可以将块的尺寸表示为128×128尺寸，但是由于当前块被分割成变换块以进行变换/逆变换过程，因此可以在变换块的边界处执行去块滤波，由此，可以消除块边界中的不连续性。如图3中所示，可以在变换块的边界处执行去块滤波。

此外，通过BT结构分割128×128尺寸的CTU，并且可以推导64×128尺寸的2个块。在当前块是64×128尺寸的块的情况下，由于不存在128×128尺寸的变换核，因此为了对当前块执行变换/逆变换过程，可以确定当前块是否需要被临时分割。

图4例示了在变换核的最大尺寸为64×64尺寸的情况下针对64×128尺寸的当前块的逆变换和去块滤波过程。参照图4，通过BT结构分割128×128尺寸的CTU，并且可以推导64×128尺寸的2个子块。子块可以包括左子块和右子块，并且左子块可以被表示为块0，而右子块可以被表示为块1。

参照图4，在块0的尺寸为64×128尺寸并且块0的cbf为1的情况下，块0可以被分割成64×64尺寸的2个块，64×64尺寸是仅在逆变换过程中最大的变换核的尺寸。由于分割过程是在编码设备与解码设备之间承诺的执行过程，因此可以不发信号通知分割过程的分割信息的单独语法元素。即，可以不发信号通知分割过程的分割信息。另外，参照图4，在块1的尺寸为64×128尺寸并且块1的cbf为0的情况下，由于不需要执行针对块1的逆变换过程，因此块0可以不被分割。

此外，通过TT结构分割128×128尺寸的CTU，并且可以推导3个子块。例如，子块可以包括32×128尺寸的左子块、64×128尺寸的中心子块和32×128尺寸的右子块。这里，由于不存在128×128尺寸的变换核，因此为了对子块执行变换/逆变换过程，可以确定子块是否需要被临时分割。

图5例示了在变换核的最大尺寸为64×64尺寸的情况下针对在CTU中通过TT结构分割的子块的逆变换和去块滤波过程。参照图5，通过TT结构分割128×128尺寸的CTU，并且可以推导3个子块。子块可以包括32×128尺寸的左子块、64×128尺寸的中心子块和32×128尺寸的右子块，并且左子块可以被表示为块0，中心子块可以被表示为块1并且右子块可以被表示为块2。

参照图5，在块0的尺寸为32×128尺寸并且块0的cbf为1的情况下，块0可以被分割成32×64尺寸的2个块，32×64尺寸是仅在逆变换过程中最大的变换核的尺寸。另外，在块1的cbf为1的情况下，块1可以被分割成64×64尺寸的2个块，64×64尺寸是仅在逆变换过程中最大的变换核的尺寸。此外，参照图5，在块2的尺寸为32×128尺寸并且块2的cbf为1的情况下，块2可以被分割成32×64尺寸的2个块，32×64尺寸是仅在逆变换过程中最大的变换核的尺寸。由于分割过程是在编码设备与解码设备之间承诺的执行过程，因此可以不发信号通知分割过程的分割信息的单独语法元素。即，可以不发信号通知分割过程的分割信息。

另外，可以提出在最大块(即，CTU)尺寸大于最大变换核的尺寸的情况下的块变换方法的另一示例。

例如，在最大块尺寸大于最大变换核的尺寸的情况下，解码设备可以依据是否存在最大块尺寸的当前块的残差来确定是否进行逆变换。例如，在指示是否存在当前块的残差系数(即，变换系数)的编码块标志(Cbf)为0的情况下，可以表示不存在当前块的残差。因此，由于不存在将被逆变换的变换系数，因此即使在最大变换核的尺寸小于最大块尺寸的情况下，解码设备也可以执行当前块的重构(即，当前块的预测样本被直接用作重构样本)。

然而，在最大块尺寸的当前块的Cbf值为1并且最大块尺寸大于最大变换核的尺寸的情况下，由于没有定义最大块尺寸的变换核，因此即使在当前块的所有区域都具有相同预测参数的情况下，最终也需要对该块进行分割。因此，在本实施方式中提出了以下方法：在当前块的尺寸大于最大变换核的尺寸的情况下，在没有单独分割信息的情况下根据特别定义的规则分割当前块并且以分割的块为单位执行逆变换。在上述实施方式中，可以对当前块进行分割，直到当前块可用于以最大变换核的尺寸进行变换，但是在该实施方式中，在当前块是非正方形块的情况下，提出基于当前块的小边应用变换核的方法。由此，在上下文中定义的块的尺寸可以应用于预测模式、运动信息等，并且可以以按隐式方法被临时分割以符合变换核尺寸的块为单位执行变换/逆变换过程。即，可以以基于分割信息推导的块为单位执行预测，并且可以以基于分割信息推导的块被分割和推导的块为单位执行变换/逆变换过程和/或去块滤波。此外，在针对为了变换/逆变换过程而分割的块的变换/逆变换过程中，当应用尺寸大的变换核时，计算量会增加，因此，在该实施方式中，适用于被分割的块的变换核当中的尺寸最小的变换核可以用于变换/逆变换过程。另外，在确定临时分割的情况下，可以以与以对应尺寸分割当前块的情况相同的顺序来推导当前块的残差系数的布置方法。

图6例示了针对被分割成三个子块的CTU的逆变换和去块滤波过程。参照图6，CTU的尺寸可以为128×128的尺寸，并且通过TT结构被分割成三个子块。这三个子块可以包括32×128尺寸的左子块、64×128尺寸的中心子块和32×128尺寸的右子块。左子块可以被表示为块0，中心子块可以被表示为块1并且右子块可以被表示为块2。另外，参照图6，块0至块2的cbf可以为1，并且由于存在块0至块2的残差样本，因此不需要执行对块1的逆变换过程。此外，在最大变换核的尺寸为64×64的情况下，由于块0至块2的高度为128，因此可以不以块0至块2为单位执行逆变换过程，并且可以执行对块0至块2的分割。在该实施方式中，可以基于块的小边来执行分割。例如，由于块0的小边是宽度并且宽度为32，因此32×128尺寸的块0可以被分割成32×32尺寸的4个变换块。随后，可以执行对变换块的逆变换过程，并且可以推导残差样本。此外，由于块1的小边是宽度并且宽度为64，因此64×128尺寸的块1可以被分割成64×64尺寸的2个变换块。随后，可以执行对变换块的逆变换过程，并且可以推导残差样本。另外，由于块2的小边是宽度并且宽度为32，因此64×128尺寸的块2可以被分割成32×32尺寸的4个变换块。随后，可以执行对变换块的逆变换过程，并且可以推导残差样本。

图7示意性例示了根据本公开的由编码设备执行的图像编码方法。图7中示出的方法可以由图1中示出的编码设备执行。具体地，例如，图7的步骤S700可以由编码设备的预测器执行，步骤S710可以由编码设备的减法器执行，步骤S720至S740可以由编码设备的变换器执行，步骤S750可以由编码设备的量化器执行，并且步骤S760可以由编码设备的熵编码器执行。另外，尽管未示出，但是可以通过编码设备的熵编码器执行对用于当前块的预测的信息进行编码的处理，并且可以通过编码设备的滤波器执行对位于与重构图片中的变换块的边界相邻的区域处的重构样本执行去块滤波的处理。

编码设备通过对当前块执行预测来推导预测样本(步骤S700)。例如，编码设备可以确定是对当前块应用帧内预测还是应用帧间预测，并且可以通过对当前块执行帧内预测或帧间预测来生成子块的预测样本。

编码设备基于当前块的预测样本和原始样本来推导残差样本(步骤S710)。编码设备可以生成作为原始样本与预测样本之差的残差样本。此外，编码设备可以基于预测样本和残差样本来生成重构图片。重构图片可以被用作在重构图片之后按顺序编码的图片的参考图片。

编码设备基于当前块的尺寸和最大变换尺寸来确定是否分割当前块(步骤S720)。编码设备可以基于当前块的尺寸和最大变换尺寸来确定是否分割当前块。例如，编码设备可以将当前块的尺寸与最大变换尺寸进行比较，并且确定是否将当前块分割成多个子块。子块可以是作为变换过程或逆变换过程的单元的变换块。即，编码设备可以将当前块的尺寸与最大变换尺寸进行比较，并且确定是否将当前块分割成子块。

作为示例，在当前块的尺寸大于最大变换尺寸的情况下，编码设备可以确定分割当前块。另外，在当前块的尺寸不大于最大变换尺寸的情况下，编码设备可以确定不分割当前块。这里，当前块的尺寸大于最大变换尺寸的情况可以表示当前块的宽度和高度中的至少一个大于最大变换尺寸的情况。

此外，最大变换尺寸可以是变换核当中的最大变换核的尺寸。例如，最大变换尺寸可以是64×64。在这种情况下，最大变换尺寸可以被表示为64。即，例如，最大变换尺寸可以为64。

在确定分割当前块的情况下，编码设备可以将当前块分割成变换块(步骤S730)。例如，在当前块的尺寸大于最大变换尺寸的情况下，可以确定将当前块分割成变换块。

作为示例，在当前块的宽度大于最大变换尺寸的情况下，当前块可以被分割成宽度与最大变换尺寸相同的变换块。另外，在当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成高度与最大变换尺寸相同的变换块。此外，在当前块的宽度和高度大于最大变换尺寸的情况下，当前块可以被分割成宽度和高度与最大变换尺寸相同的变换块。

例如，在当前块的宽度为W并且当前块的宽度大于最大变换尺寸的情况下，变换块的宽度可以被推导为W/2。另外，例如，在当前块的高度为H并且当前块的高度大于最大变换尺寸的情况下，变换块的高度可以被推导为H/2。

另外，例如，在当前块的尺寸为W×H并且当前块的宽度大于最大变换尺寸并且当前块的高度不大于最大变换尺寸的情况下，当前块可以被分割成(W/2)×H尺寸的变换块。

此外，例如，在当前块的尺寸为W×H并且当前块的宽度不大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成W×(H/2)尺寸的变换块。

另外，例如，在当前块的尺寸为W×H并且当前块的宽度大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成(W/2)×(H/2)尺寸的变换块。

此外，例如，在当前块是非正方形块，当前块的宽度大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成宽度与当前块的高度等长的变换块。另外，例如，在当前块是非正方形块，当前块的高度大于当前块的宽度并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成高度与当前块的宽度等长的变换块。

例如，在当前块是非正方形块，当前块的尺寸为W×H，当前块的宽度大于最大变换尺寸并且当前块的高度不大于最大变换尺寸的情况下，当前块可以被分割成H×H尺寸的变换块。

在当前块是非正方形块，当前块的尺寸为W×H，当前块的宽度不大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成W×W尺寸的变换块。

此外，在当前块的尺寸不大于最大变换尺寸的情况下，当前块可以不被分割，并且不被分割的当前块可以被推导为变换块。这里，当前块的尺寸不大于最大变换尺寸的情况可以表示当前块的宽度和高度不大于最大变换尺寸的情况。

编码设备通过对变换块中的每一个中所包括的残差样本执行变换处理来推导变换系数(步骤S740)。编码设备可以通过对残差样本进行变换来推导变换系数。可以以变换块为单位执行变换处理。例如，编码设备可以通过以变换块为单位对残差样本进行变换来生成变换系数。即，编码设备可以通过对变换块中的每一个中所包括的残差样本执行变换过程来推导变换系数。例如，编码设备可以通过以变换块为单位对残差样本进行变换来生成变换系数。这里，变换块的变换核被推导为尺寸比变换块大的变换核当中的尺寸最小的变换核。

此外，可以不存在变换块的残差样本，并且在这种情况下，可以不推导变换块的变换系数。

编码设备通过对变换系数执行量化处理来推导量化后的变换系数(步骤S750)。

编码设备可以通过对变换系数进行量化来生成量化后的变换系数。

编码设备对包括用于量化后的变换系数的信息的图像信息进行编码(步骤S760)。编码设备可以对包括用于量化后的变换系数的信息的图像信息进行编码，并且通过比特流来输出它。另外，比特流可以被存储在非暂态计算机可读介质中。用于量化后的变换系数的信息可以被表示为残差信息。此外，图像信息可以包括用于当前块的预测的信息。

此外，可以通过网络或(数字)存储介质将比特流发送到解码设备。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。

图8示意性例示了根据本公开的执行图像编码方法的编码设备。图7中示出的方法可以由图8中示出的编码设备执行。具体地，例如，图7的步骤S700可以由编码设备的预测器执行，步骤S710可以由编码设备的减法器执行，步骤S720至S740可以由编码设备的变换器执行，步骤S750可以由编码设备的量化器执行，并且步骤S760可以由编码设备的熵编码器执行。具体地，尽管未示出，但图7的步骤S750可以由编码设备的量化器执行。此外，可以通过图8的编码设备的熵编码器执行对用于当前块预测的信息进行编码信息的处理，并且可以通过图8的编码设备的滤波器执行对位于与重构图片中的变换块的边界相邻的区域处的重构样本执行去块滤波的处理。

图9示意性例示了根据本公开的解码设备的图像解码方法。图2中示出的方法可以由图2中示出的解码设备执行。具体地，例如，图9的步骤S900可以由解码设备的预测器执行，图9的步骤S910至S940可以由解码设备的逆变换器执行，并且图9的步骤S950可以由解码设备的加法器执行。另外，尽管未示出，但是可以由解码设备的熵解码器执行通过用于变换块的残差的比特流和/或信息来获得用于当前块的预测的信息的处理，可以由解码设备的反量化器执行通过对量化后的变换系数执行反量化来推导变换系数的处理，并且可以由解码设备的滤波器执行对位于与重构图片中的变换块的边界相邻的区域处的重构样本执行去块滤波的处理。

解码设备通过对当前块执行预测来推导预测样本(步骤S900)。例如，解码设备可以通过对当前块执行帧内预测或帧间预测来生成子块的预测样本。解码设备可以通过比特流获得用于当前块的预测的信息，并且可以通过基于用于预测的信息对当前块执行预测来推导预测样本。

此外，当前块可以被包括在当前CTU中，并且可以是基于用于当前CTU的分割信息而推导的块。例如，解码设备可以通过比特流获得分割信息，并且可以基于分割信息来推导当前CTU中的当前块。分割信息可以包括分割标志、QT(四叉树)标志、MTT(多类型树)标志、BT(二叉树)标志和/或分割方向信息。

这里，分割标志可以表示当前CTU是否被分割。

另外，QT标志可以表示是否通过QT(四叉树)结构对相应块进行了分割。QT结构可以表示其中W×H尺寸的块被分割成(W/2)×(H/2)尺寸的4个子块的结构。

此外，MTT标志可以表示是否通过除了QT结构之外的分割结构来对相应块进行分割。除了QT结构之外的分割结构可以包括BT(二叉树)结构、TT(三叉树)结构和/或ABT(非对称二叉树)结构。BT结构可以表示其中W×H尺寸的块被分割成(W/2)×H尺寸的2个子块或W×(H/2)尺寸的2个子块的结构。另外，TT结构可以表示其中W×H尺寸的块被分割成(W/4)×H尺寸的2个子块或W×(H/4)尺寸的2个子块的结构。此外，ABT结构可以表示其中W×H尺寸的块被分割成(W/n)×H尺寸的子块和((n-1)×W/n)×H尺寸的子块或W×(H/n)尺寸的子块和W×((n-1)H/n)的子块的结构。这里，例如，n可以是4。

分割方向信息可以表示分割对应块的方向。例如，分割方向信息可以指示垂直方向或水平方向。在通过BT结构在垂直方向上分割块的情况下，W×H尺寸的块可以被分割成(W/2)×H尺寸的2个子块，并且在通过BT结构在水平方向上分割块的情况下，W×H尺寸的块可以被分割成W×(H/2)尺寸的2个子块。另外，在通过TT结构在垂直方向上分割块的情况下，W×H尺寸的块可以被分割成(W/4)×H尺寸的左子块、(W/2)×H尺寸的中心子块和(W/4)×H尺寸的右子块，并且在通过TT结构在水平方向上分割块的情况下，W×H尺寸的块可以被分割成W×(H/4)尺寸的上子块、W×(H/2)尺寸的中心子块和W×(H/4)尺寸的下子块。此外，在通过ABT结构在垂直方向上分割块的情况下，W×H尺寸的块可以被分割成(W/n)×H尺寸的子块和((n-1)×W/n)×H尺寸的子块，并且在通过ABT结构在水平方向上分割块的情况下，W×H尺寸的块可以被分割成W×(H/n)尺寸的子块和W×((n-1)H/n)尺寸的子块。这里，例如，n可以是4。

在当前CTU不被分割的情况下，即，在分割标志表示当前CTU不被分割的情况下，当前块可以是包括当前CTU的区域的块。另选地，在基于分割信息对当前CTU进行分割的情况下，当前块可以是通过QT结构分割的正方形块。另选地，当前块可以是通过BT结构、TT结构和/或ABT结构分割的非正方形块。此外，例如，当前块的尺寸可以为128×128。

解码设备基于当前块的尺寸和最大变换尺寸来确定是否分割当前块(步骤S910)。解码设备可以基于当前块的尺寸和最大变换尺寸来确定是否分割当前块。例如，解码设备可以将当前块的尺寸与最大变换尺寸进行比较，并且确定是否将当前块分割成多个子块。子块可以是作为变换过程或逆变换过程的单元的变换块。即，解码设备可以将当前块的尺寸与最大变换尺寸进行比较，并且确定是否将当前块分割成子块。

作为示例，在当前块的尺寸大于最大变换尺寸的情况下，解码设备可以确定分割当前块。另外，在当前块的尺寸不大于最大变换尺寸的情况下，解码设备可以确定不分割当前块。这里，当前块的尺寸大于最大变换尺寸的情况可以表示当前块的宽度和高度中的至少一个大于最大变换尺寸的情况。

此外，最大变换尺寸可以是变换核当中的最大变换核的尺寸。例如，最大变换尺寸可以是64×64。在这种情况下，最大变换尺寸可以被表示为64。即，例如，最大变换尺寸可以为64。

在确定分割当前块的情况下，解码设备可以将当前块分割成变换块(步骤S920)。在当前块的尺寸大于最大变换尺寸的情况下，可以确定分割当前块。

作为示例，在当前块的宽度大于最大变换尺寸的情况下，当前块可以被分割成宽度与最大变换尺寸相同的变换块。另外，在当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成高度与最大变换尺寸相同的变换块。此外，在当前块的宽度和高度大于最大变换尺寸的情况下，当前块可以被分割成宽度和高度与最大变换尺寸相同的变换块。

例如，在当前块的宽度为W并且当前块的宽度大于最大变换尺寸的情况下，变换块的宽度可以被推导为W/2。另外，例如，在当前块的高度为H并且当前块的高度大于最大变换尺寸的情况下，变换块的高度可以被推导为H/2。

另外，例如，在当前块的尺寸为W×H并且当前块的宽度大于最大变换尺寸并且当前块的高度不大于最大变换尺寸的情况下，当前块可以被分割成(W/2)×H尺寸的变换块。

此外，例如，在当前块的尺寸为W×H并且当前块的宽度不大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成W×(H/2)尺寸的变换块。

另外，例如，在当前块的尺寸为W×H并且当前块的宽度大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成(W/2)×(H/2)尺寸的变换块。

此外，例如，在当前块是非正方形块，当前块的宽度大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成宽度与当前块的高度等长的变换块。另外，例如，在当前块是非正方形块，当前块的高度大于当前块的宽度并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成宽度与当前块的宽度等长的变换块。

例如，在当前块是非正方形块，当前块的尺寸为W×H，当前块的宽度大于最大变换尺寸并且当前块的高度不大于最大变换尺寸的情况下，当前块可以被分割成H×H尺寸的变换块。

在当前块是非正方形块，当前块的尺寸为W×H，当前块的宽度不大于最大变换尺寸并且当前块的高度大于最大变换尺寸的情况下，当前块可以被分割成W×W尺寸的变换块。

此外，在当前块的尺寸不大于最大变换尺寸的情况下，当前块可以不被分割，并且不被分割的当前块可以被推导为变换块。这里，当前块的尺寸不大于最大变换尺寸的情况可以表示当前块的宽度和高度不大于最大变换尺寸的情况。

解码设备推导变换块的变换系数(步骤S930)。解码设备可以获得变换块中的每一个的残差信息，并且可以基于残差信息来推导变换块的变换系数。具体地，解码设备可以获得变换块中的每一个的残差信息，可以通过对残差信息进行熵解码来推导量化后的变换系数，并且可以通过对量化后的变换系数执行反量化处理来推导每个变换块的变换系数。

例如，解码设备可以解析表示是否存在变换块的变换系数的标志，并且在标志值为1的情况下，解码设备可以通过比特流获得变换块的残差信息，并且可以基于残差信息来推导变换块的变换系数。该标志可以表示上述的编码块标志(cbf)。此外，在标志值为0的情况下，可以不推导变换块的变换系数，并且可以不存在变换块的残差样本。

解码设备通过对变换系数执行逆变换处理来推导残差样本(步骤S940)。解码设备可以通过对变换系数进行逆变换来推导残差样本。可以以变换块为单位执行逆变换处理。例如，解码设备可以通过使用变换块的变换核对变换块的变换系数进行逆变换来推导残差样本。这里，变换块的变换核被推导为尺寸比变换块大的变换核当中的尺寸最小的变换核。

解码设备基于残差样本和预测样本来生成重构图片(步骤S950)。解码设备可以基于残差样本和预测样本来生成重构样本，并且可以基于它来生成重构块或重构图片。例如，解码设备可以通过将预测样本和与预测样本对应的残差样本相加来生成重构样本。对应于预测样本的残差样本可以表示针对预测样本的相同位置的残差样本。此外，在不存在变换块的残差样本的情况下，预测样本可以被直接用作重构样本。

随后，视情况需要，为了改善主观/客观图像质量，解码设备可以向如上所述的重构图片应用诸如去块滤波和/或SAO处理这样的环路滤波处理。例如，解码设备可以对位于与重构图片中的变换块的边界相邻的区域处的重构样本执行去块滤波。

图10示意性例示了根据本公开的执行图像解码方法的解码设备。图9中示出的方法可以由图10中示出的解码设备执行。具体地，例如，图10中示出的解码设备的预测器可以执行图9的步骤S900，图10中示出的解码设备的逆变换器可以执行图9的步骤S910至S940，并且图10的解码设备的加法器可以执行图9的步骤S950。另外，尽管未示出，但是可以由解码设备的熵解码器执行通过用于变换块的残差的比特流和/或信息获得用于当前块的预测的信息的处理，可以由解码设备的反量化器执行通过对量化后的变换系数执行反量化来推导变换系数的处理，并且可以由解码设备的滤波器执行对位于与重构图片中的变换块的边界相邻的区域处的重构样本执行去块滤波的处理。

根据上述的本公开，在当前块的至少一边大于最大变换尺寸的情况下，在没有任何单独的分割信息的情况下，当前块的分割可以被分割成其分割尺寸变得最小化的变换块，并且由此，分割信息的比特数目可以减少，并且解码设备中的计算复杂度可以降低，因此，整体编码速率能提高。

另外，根据本公开，在当前块的至少一边大于最大变换尺寸的情况下，在没有任何单独的分割信息的情况下，当前块的分割可以被分割成其分割尺寸变得最小化的变换块，并且可以在被分割的变换块的边界处执行去块滤波，并且由此，分割信息的比特数目可以减少，并且因此，图像的主观/客观图像质量能提高。

在上述实施方式中，基于具有一系列步骤或框的流程图描述这些方法，但是本公开不限于以上步骤或框的顺序。一些步骤或框可以与如上所述的其它步骤或框同时地或者以与其不同的顺序发生。另外，本领域的技术人员将理解，用以上流程图示出的步骤不是排他性的，在不影响本公开的范围的情况下，可以包括其它步骤或者可以删除流程图中的一个或更多个步骤。

上述的根据本公开的方法可以以软件的形式来实现，并且根据本公开的编码设备和/或解码设备可以被包括在诸如TV、计算机、智能电话、机顶盒、显示装置等这样的执行图像处理的设备中。

当用软件实现本公开的实施方式时，可以用执行上述功能的模块(进程、功能等)来实现上述方法。模块可以被存储在存储器中并且由处理器执行。存储器可以被设置成在处理器的内部或外部并且使用各种熟知的手段连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理器。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。即，本公开中描述的实施方式可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如，每幅图中示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。

另外，应用本公开的实施方式的解码设备和编码设备可以被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、诸如视频通信这样的实时通信设备、移动流传输设备、存储介质、摄像机、VoD服务提供设备、顶置(OTT)视频设备、互联网流传输服务提供设备、三维(3D)视频设备、视频电话视频设备和医疗视频设备中，并且可以用于处理视频信号和数据信号。例如，OTT视频设备可以包括游戏控制台、蓝光播放器、互联网访问TV、家庭影院系统、智能手机、平板PC、数字视频录像机(DVR)等。

另外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以是例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-数据存储装置。另外，计算机可读记录介质包括以载波(例如，通过互联网进行传输)的形式实现的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。

另外，应用本公开的内容流传输系统可以包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。

编码服务器将从诸如智能电话、相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将该比特流传输到流传输服务器。作为另一示例，当诸如智能电话、相机、便携式摄像机等这样的多媒体输入装置直接生成比特流时，可以省略编码服务器。可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。

流传输服务器基于用户的请求通过网络服务器将多媒体数据发送到用户装置，并且网络服务器用作将提供什么服务告知用户的媒介。当用户向网络服务器请求所期望的服务时，网络服务器将其传送到流传输服务器，并且流传输服务器将多媒体数据发送到用户。这里，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器控制内容流传输系统中的装置间的命令/响应。

流传输服务器可以从媒体储存器和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时地接收内容。在这种情况下，为了提供平稳的流服务，流传输服务器可以将比特流存储预定时间。

用户装置的示例包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字TV、台式计算机、数字标牌等。内容流传输系统中的每个服务器都可以作为分布式服务器操作，并且在这种情况下，从每个服务器接收到的数据可以被以分布式方式处理。

Claims (15)

1.一种由解码装置执行的对视频进行解码的方法，该方法包括以下步骤：

获得关于是否存在当前块的变换系数的标志；

通过对所述当前块执行预测来推导预测样本；

基于所述标志、所述当前块的尺寸和最大变换尺寸来确定是否分割所述当前块；

基于所述确定的结果从所述当前块推导一个或更多个变换块；

针对所推导的所述一个或更多个变换块推导所述变换系数；

通过对所述变换系数执行逆变换处理来推导残差样本；以及

基于所述残差样本和所述预测样本来生成重构图片，

其中，基于所述标志的值等于0，确定不将所述当前块分割成所述变换块，并且

其中，基于所述标志的值等于1并且所述当前块的尺寸大于所述最大变换尺寸，确定将所述当前块分割成所述变换块。

2.根据权利要求1所述的方法，其中，所述当前块的尺寸大于所述最大变换尺寸的情况表示所述当前块的宽度和高度中的至少一个大于所述最大变换尺寸的情况。

3.根据权利要求1所述的方法，其中，所述当前块的宽度为W，并且

基于所述当前块的宽度大于所述最大变换尺寸，将所述变换块的宽度推导为W/2。

4.根据权利要求1所述的方法，其中，所述当前块的高度为H，并且

基于所述当前块的高度大于所述最大变换尺寸，将所述变换块的高度推导为H/2。

5.根据权利要求1所述的方法，其中，所述当前块的尺寸为W×H，并且

基于所述当前块的宽度大于所述最大变换尺寸并且所述当前块的高度不大于所述最大变换尺寸，将所述当前块分割成(W/2)×H尺寸的变换块。

6.根据权利要求1所述的方法，其中，所述当前块的尺寸为W×H，并且

基于所述当前块的宽度不大于所述最大变换尺寸并且所述当前块的高度大于所述最大变换尺寸，将所述当前块分割成W×(H/2)尺寸的变换块。

7.根据权利要求1所述的方法，其中，所述当前块的尺寸为W×H，并且

基于所述当前块的宽度大于所述最大变换尺寸并且所述当前块的高度大于所述最大变换尺寸，将所述当前块分割成(W/2)×(H/2)尺寸的变换块。

8.根据权利要求1所述的方法，其中，所述当前块为非正方形块，所述当前块的尺寸为W×H，并且

基于所述当前块的宽度大于所述最大变换尺寸并且所述当前块的高度不大于所述最大变换尺寸，将所述当前块分割成H×H尺寸的变换块。

9.根据权利要求1所述的方法，其中，所述当前块为非正方形块，所述当前块的尺寸为W×H，并且

基于所述当前块的宽度不大于所述最大变换尺寸并且所述当前块的高度大于所述最大变换尺寸，将所述当前块分割成W×W尺寸的变换块。

10.根据权利要求1所述的方法，其中，所述当前块的尺寸为128×128，并且所述最大变换尺寸为64。

11.根据权利要求1所述的方法，其中，所述最大变换尺寸是变换核当中的最大变换核的尺寸。

12.根据权利要求1所述的方法，所述方法还包括对位于与所述重构图片中的所述变换块的边界相邻的区域处的重构样本执行去块滤波。

13.一种由编码装置执行的视频编码方法，该方法包括以下步骤：

通过对当前块执行预测来推导预测样本；

基于所述当前块的原始样本和所述预测样本来推导残差样本；

推导关于是否存在所述当前块的变换系数的标志；

基于所述标志、所述当前块的尺寸和最大变换尺寸来确定是否分割所述当前块；

基于所述确定的结果从所述当前块推导一个或更多个变换块；

通过对所推导的所述一个或更多个变换块中所包括的残差样本执行变换处理来推导所述变换系数；

通过对所述变换系数执行量化处理来推导量化后的变换系数；以及

对包括所述标志和用于所述量化后的变换系数的信息的视频信息进行编码，

其中，基于所述标志的值等于0，确定不将所述当前块分割成所述变换块，并且

其中，基于所述标志的值等于1并且所述当前块的尺寸大于所述最大变换尺寸，确定将所述当前块分割成所述变换块。

14.根据权利要求13所述的方法，其中，所述当前块的宽度为W，并且

基于所述当前块的宽度大于所述最大变换尺寸，将所述变换块的宽度推导为W/2。

15.根据权利要求13所述的方法，其中，所述当前块的高度为H，并且

基于所述当前块的高度大于所述最大变换尺寸，将所述变换块的高度推导为H/2。

Images