CN110337813A - 用于对图像进行编码/解码的方法及其装置 - Google Patents

Abstract

提供了一种图像压缩方法和用于执行图像压缩方法的图像压缩装置。根据实施例的用于对图像进行压缩的方法包括以下步骤：针对图像使用DNN来执行下采样，从而确定压缩图像；基于压缩图像来执行预测，从而确定预测信号；基于压缩图像和预测信号来确定残差信号；并且生成包括与所述残差信号有关的信息的比特流，其中，DNN具有通过使用在上采样处理中生成的信息对下采样处理进行学习而确定的网络结构。提供了一种图像恢复方法以及用于执行图像恢复方法的图像恢复装置，其中，所述图像恢复方法通过使用用于上采样的DNN对压缩图像进行恢复，其中，所述压缩图像是通过图像压缩方法被压缩出来的。

Description

用于对图像进行编码/解码的方法及其装置

技术领域

本公开涉及一种用于在图像编码处理或图像解码处理之前和之后改变原始信号和解码信号以便提高编码效率和解码效率的方法和装置。

背景技术

图像数据根据预定数据压缩标准(例如，根据运动图像专家组(MPEG)标准的编解码器)被编码，然后被存储在记录介质中或者经由通信信道以比特流的形式被传输。

随着用于再现和存储高分辨率或高质量图像内容的硬件正被开发和提供，对用于有效地对高分辨率或高质量图像内容进行编码或解码的编解码器的需求正在增加。已被编码的图像内容可通过解码被再现。最近，有效地压缩高分辨率或高质量图像内容的方法被执行。例如，通过以适当的方式对图像进行处理来有效地压缩将被编码的图像的方法被执行。

发明内容

技术问题

需要防止当将被编码的原始图像的信息量增加时发生的编码效率的恶化，并且需要在接收编码图像的比特流并对该编码图像进行解码的处理中提高效率。

技术方案

根据实施例，一种图像重构方法可包括：从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号；通过使用残差信号和通过执行预测获得的预测信号对压缩图像进行解码；并且通过使用深度神经网络(DNN)对解码的压缩图像执行上采样来对所述图像进行重构，其中，该DNN具有根据使用在下采样处理中生成的信息对上采样处理进行训练而预先确定的网络结构。

根据实施例，一种图像压缩方法可包括：通过使用深度神经网络(DNN)对图像执行下采样来确定压缩图像；通过基于压缩图像执行预测来确定预测信号；基于压缩图像和预测信号来确定残差信号；并且生成包括关于所述残差信号的信息的比特流，其中，该DNN具有根据使用在上采样处理中生成的信息对下采样处理进行训练而预先确定的网络结构。

根据实施例，一种图像重构装置可包括：残差信号获得器，被配置为从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号；以及重构器，被配置为通过使用残差信号和通过执行预测获得的预测信号来对压缩图像进行解码，并且通过使用深度神经网络(DNN)对解码的压缩图像执行上采样来对所述图像进行重构，其中，该DNN具有根据使用在下采样处理中生成的信息对上采样处理进行训练而预先确定的网络结构。

有益效果

可通过在对具有大量信息的图像进行编码和解码的处理中减少数据吞吐量来提高编码效率和解码效率。

附图说明

图1a示出根据实施例的用于对图像进行重构的图像重构装置的框图。

图1b示出根据实施例的用于压缩图像的图像压缩装置的框图。

图2a是示出根据实施例的图像重构装置可执行的图像重构处理的流程图。

图2b是示出根据实施例的图像压缩装置可执行的图像压缩处理的流程图。

图3是根据实施例的用于描述通过编码处理和解码处理对压缩图像进行重构的处理的示图。

图4a是用于描述包括在深度神经网络(DNN)中的深度卷积神经网络的示图。

图4b至图4f示出各种卷积神经网络(CNN)的示例性结构。

图5a是根据实施例的用于描述通过使用DNN对空间信息进行上采样的操作的示图。

图5b是根据实施例的用于描述通过使用DNN对空间信息进行下采样的操作的示图。

图6是根据实施例的用于描述在上采样处理或下采样处理中使用的滤波核的类型可以不同的示图。

图7a是根据实施例的用于描述包括在DNN中的多个层之中的预定层通过使用多个滤波核来执行滤波的特性的示图。

图7b是根据实施例的用于描述使用通过根据具有多种尺寸的滤波核执行滤波而确定的特征图的滤波处理的示图。

图8是根据实施例的用于示出在用于下采样的DNN中出现的损失信息的示图。

图9是用于示出在用于上采样的DNN中出现的损失信息的示图。

图10示出根据实施例的通过对当前编码单元进行划分来确定至少一个编码单元的处理。

图11示出根据实施例的通过对非正方形的编码单元进行划分来确定至少一个编码单元的处理。

图12示出根据实施例的基于块形状信息和划分形状信息中的至少一条信息对编码单元进行划分的操作。

图13示出根据实施例的从奇数个编码单元之中确定预定编码单元的方法。

图14示出根据实施例的当通过对当前编码单元进行划分确定多个编码单元时处理所述多个编码单元的顺序。

图15示出根据实施例的当编码单元不能以预定顺序处理时确定将当前编码单元划分为奇数个编码单元的处理。

图16示出根据实施例的通过对第一编码单元进行划分来确定至少一个编码单元的处理。

图17示出根据实施例的当通过对第一编码单元进行划分而确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可划分为的形状被限制。

图18示出根据实施例的当划分形状信息指示正方形编码单元未被划分成四个正方形编码单元时对正方形编码单元进行划分的处理。

图19示出根据实施例的可依据对编码单元进行划分的处理来改变多个编码单元之间的处理顺序。

图20示出根据实施例的当编码单元被递归地分区以确定多个编码单元确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的处理。

图21示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。

图22示出根据实施例的基于画面中包括的多个预定数据单元来确定多个编码单元。

图23示出根据实施例的用作用于确定包括在画面中的参考编码单元的确定顺序的单元的处理块。

最佳实施方式

根据实施例，一种图像重构方法包括：从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号；通过使用所述残差信号和通过执行预测获得的预测信号对压缩图像进行解码；并且通过使用深度神经网络(DNN)对解码的压缩图像执行上采样来对所述图像进行重构，其中，所述DNN具有根据使用在下采样处理中生成的信息对上采样处理进行训练而预先确定的网络结构。

根据实施例，对所述图像进行重构的步骤可包括：通过使用包括多个隐藏层的深度卷积神经网络来执行上采样。

根据实施例，通过使用深度卷积神经网络来执行上采样的步骤可包括：通过使用多个滤波核中的至少一个滤波核在所述多个隐藏层中的每个隐藏层中执行滤波来执行上采样，所述多个滤波核的类型与所述图像被下采样时使用的滤波核的类型不同。

根据实施例，进行上采样的步骤可包括：通过使用至少一个滤波核在所述DNN的多个层中的每个层中执行滤波。

根据实施例，进行滤波的步骤可包括：在使用了多个滤波核的层中使用所述多个滤波核来执行滤波，其中，所述层来自于所述多个隐藏层；对根据滤波结果获得的多个信号进行串联；并且通过使用串联后的信号作为下一层的输入，在下一层中执行滤波。

根据实施例，对所述多个信号进行串联的步骤可包括：当包括所述多个信号的特征图具有不同尺寸时，对特征图执行填充以使得特征图的尺寸相等；并且对经过填充的特征图进行串联。

根据实施例，由图像重构方法使用的DNN可被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息是通过对一图像与下采样被执行之前的原始图像进行比较确定的，并且所述一图像是通过执行上采样而被重构得到的，并且所述至少一条损失信息中的一些损失信息可在针对用于下采样的DNN的训练处理中被使用。

根据实施例，一种图像压缩方法可包括：通过使用深度神经网络(DNN)对图像执行下采样来确定压缩图像；通过基于所述压缩图像执行预测来确定预测信号；基于所述压缩图像和所述预测信号来确定残差信号；并且生成包括关于所述残差信号的信息的比特流，其中，所述DNN具有根据使用在上采样处理中生成的信息对下采样处理进行训练而预先确定的网络结构。

根据实施例，确定所述压缩图像的步骤可包括：通过使用包括多个隐藏层的深度卷积神经网络来确定所述压缩图像。

根据实施例，确定所述压缩图像的步骤可包括：通过使用多个滤波核中的至少一个滤波核在所述多个隐藏层中的每个隐藏层中执行滤波来生成所述压缩图像。

根据实施例，执行滤波的步骤可包括：在使用了多个滤波核的层中使用所述多个滤波核来执行滤波，其中，所述层来自于所述多个隐藏层；对根据卷积结果获得的多个信号进行串联；并且通过使用串联后的信号作为下一层的输入，在下一层中执行滤波。

根据实施例，生成所述比特流的步骤可包括：生成包括采样信息的比特流，其中，该采样信息指示图像的尺寸和图像的帧速率中的至少一个的减小程度，所述减小由下采样引起的。

根据实施例，用于下采样的DNN可被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息指示通过使用DNN进行下采样而引起的损失，所述至少一条损失信息中的一些损失信息可通过对一图像与下采样被执行之前的原始图像进行比较来确定，并且所述一图像是在所述压缩图像被解码之后通过对所述压缩图像执行上采样而被重构得到的，并且比较的结果可在针对用于上采样的DNN的训练处理中被使用。

根据实施例，一种图像重构装置可包括：残差信号获得器，被配置为从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号；以及重构器，被配置为通过使用所述残差信号和通过执行预测获得的预测信号来对所述压缩图像进行解码，并且通过使用深度神经网络(DNN)对解码的压缩图像执行上采样来对所述图像进行重构，其中，所述DNN具有根据使用在下采样处理中生成的信息对上采样处理进行训练而预先确定的网络结构。

具体实施例方式

通过参照以下实施例的详细描述和附图，可更容易地理解本公开的优点和特征以及实现本公开的方法。然而，本公开可以以许多不同的形式被实现，并且不应被解释为限于本文阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完整的，并且将本公开的构思完全传达给本领域普通技术人员。

将简要描述说明书中使用的术语，并且将详细描述本公开。

本公开中使用的所有术语是考虑到它们在本公开中的功能而选择的且在当前被广泛使用的通用术语。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可具有不同的含义。此外，一些术语可由申请人任意选择，并且在这种情况下，所选择的术语的含义将在本公开的详细描述中被详细描述。因此，本文使用的术语必须基于术语的含义与贯穿说明书的描述一起被定义。

在本说明书中，单数形式可包括复数形式，除非存在与其相反的特定描述。

在整个说明书中，当部件“包括”或“包含”元件时，除非存在与其相反的特定描述，否则该部件可进一步包括另一元件，而不排除其他元件。如说明书中使用的术语“单元”意为执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。然而，“单元”不限于软件或硬件。“单元”可被配置为驻留在可寻址存储介质上并运行一个或更多个处理器。因此，作为示例，“单元”可包括组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、处理、功能、属性、程序、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、阵列和变量。在组件和“单元”中提供的功能可被组合为更少的组件和“单元”，或者进一步被分离为附加组件和“单元”。

在下文中，“图像”可指示静态图像(诸如视频的静止图像)，或者可指示动态图像(诸如作为视频本身的运动图像)。

在下文中，“信号”或“样点”可指被分配到图像的采样位置并且是处理目标的数据。例如，空间域中的图像的像素值和变换域中的变换系数可以是样点。包括至少一个样点的单元可被定义为块。

在下文中，现在将参照附图更充分地描述本公开，以使得本领域普通技术人员能够毫无困难地执行本公开的实施例。此外，为了清楚地描述本公开，将在附图中省略与本公开的描述无关的部分。

图1a示出根据实施例的用于对图像进行重构的图像重构装置100的框图。

根据实施例的图像重构装置100可包括比特流获得器110和重构器120，其中，比特流获得器110被配置为获得比特流并因此获得与编码图像有关的信息，并且重构器120被配置为通过使用从比特流获得的信息来执行对压缩图像进行重构的处理。根据实施例，重构器120可通过使用由比特流获得器110获得的比特流来获得在对图像进行编码中使用的各种类型的信息，并且可通过使用获得的信息对图像执行解码处理来对图像进行重构。

根据实施例，重构器120可执行存储在存储器和/或存贮器中的程序命令。重构器120可包括至少一个处理器，其中，所述至少一个处理器包括中央处理器(CPU)、图形处理单元(GPU)等。

图2a是示出根据实施例的图像重构装置100可执行的图像重构处理的流程图。

在操作S200，根据实施例的图像重构装置100的比特流获得器110可从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号。根据实施例，由图像重构装置100从比特流获得的残差信号可以是在图像压缩处理中基于下采样图像执行编码的结果。

图3是根据实施例的用于描述通过编码和解码处理对压缩图像进行重构的处理的示图。

参照图3，根据实施例的原始图像300可经历编码处理304，使得可生成作为变换到频域的结果的比特流。可通过针对原始信号300的编码处理304来减少原始信号300的信息量。例如，编码处理304可包括：生成与原始信号300和预测信号之间的差对应的残差信号的处理；将作为空间域分量的残差变换为频域分量的处理；对已经变换为频域分量的残差信号进行量化的处理；通过对量化的残差信号进行熵编码来生成比特流的处理等。可通过对针对残差信号的比特流执行解码处理306将作为频域分量的残差信号变换为空间域分量，然后可基于残差信号来生成重构图像309。

由于将被编码的图像的尺寸增加，因此用于编码的信息吞吐量增加，因此，需要一种用于提高图像的编码和解码效率的处理。根据实施例，可生成通过针对原始信号300进行下采样302而获得的压缩图像303，并且可对压缩图像303执行编码处理304。作为针对包括编码处理304的结果的比特流的解码处理306的结果，可确定解码的压缩图像307，可对解码的压缩图像307执行上采样308，因此，可确定重构图像309。详细地，可通过使用深度神经网络(DNN)来执行下采样302和上采样308，并且下面将在各种实施例中描述使用DNN的下采样302和上采样308的处理。

在操作S202，根据实施例的图像重构装置100可通过使用残差信号和通过执行预测获得的预测信号对压缩图像进行解码。图像重构装置100的重构器120可根据预定数据单元对将被解码的压缩图像进行划分。例如，重构器120可将图像划分成多个最大编码单元，并且可通过使用通过递归地对每个最大编码单元进行划分而确定的编码单元来对图像进行解码。根据实施例，重构器120可执行预测处理，以便对包括在编码单元中的信号进行解码。重构器120可将在预测处理中确定的预测信号和在操作S200中获得的残差信号进行相加。根据实施例，重构器120可对预测信号和残差信号相加的结果另外执行预定的图像解码处理(例如，环路滤波、解码画面缓冲器(DPB)存储处理、熵解码等)。使用预测信号和残差信号的图像解码处理可被包括在本领域普通技术人员可容易地执行的各种处理中。

在操作S204，图像重构装置100可通过使用DNN对解码的压缩图像执行上采样来对图像进行重构。根据实施例，在操作S202中解码的图像可与从比特流获得编码的压缩图像的信息并对该信息进行解码的结果对应。重构器120可使用DNN对解码的压缩图像执行上采样，并且因此可对图像进行重构。

图4a是用于描述包括在DNN中的深度卷积神经网络的示图。

根据实施例，图像重构装置100可使用包括多个层的DNN，以便执行上采样。根据实施例，为了在多个层中执行卷积运算，重构器120可使用深度卷积神经网络作为能够执行上采样的DNN。

根据实施例，深度卷积神经网络可包括多个层(例如，包括第一层410和第n层420的多个层)。根据实施例，构成深度卷积神经网络的多个层中的每个层可包括卷积层和激活层，其中，卷积层用于通过使用滤波核生成多个特征图，激活层用于调整滤波核的权重。

每个卷积层可包括多个节点。根据实施例，卷积层可通过使用多个滤波核来生成多个特征图。由卷积层的节点生成的特征图可被输入到激活层。根据实施例，重构器120可对包括在第一层410中的多个节点411、412、413等中的每个节点执行卷积运算和激活。重构器120可在包括在第一层中的卷积层CL1_1、CL1_2、...、CL1_a中对第一层的输入信号(例如，作为压缩信号的输入400)执行卷积运算，并且可在针对卷积层CL1_1、CL1_2、...、CL1_a中的每个卷积层的卷积运算中使用不同的滤波核。根据实施例，为了激活分别在卷积层CL1_1、CL1_2、...、CL1_a中执行的卷积运算的结果，可将卷积运算的结果输入到分别与卷积层CL1_1、CL1_2、...、CL1_a相关的激活层。重构器120可通过激活卷积运算的结果来确定第一层410的多个特征图。根据实施例，从特定层获得的多个特征图的数量可与滤波核的数量成比例。根据实施例，从特定层获得的特征图可用作下一层的输入值。也就是说，从第一层410获得的特征图可被输入到第n层420(n>1)，使得卷积运算和激活可被执行。在下文中，为了便于描述，在每个层中执行的包括卷积运算和激活的预定信号处理过程被称为滤波处理。

根据实施例，在经过包括在深度卷积神经网络中的所有多个层并且随后经过全连接层430之后，可获得输出信号440。

全连接层FC可被连接到第一层410到第n层420。全连接层FC可为所有前面的层分配不同的权重。可训练对前面的层分配权重的方法，并且训练方法可包括包含监督学习方法的各种方法。重构器120可通过由于训练而改变全连接层FC向低层分配权重的方法来改进深度卷积神经网络。

根据实施例，激活层可将非线性特征应用于卷积层的输出结果。深度卷积神经网络可通过使用激活层来学习非线性函数或参数。激活层可使用激活函数。激活函数可包括S形函数(sigmoid function)、tanh函数、修正线性单元(ReLU)函数等，但不应被解释为限于此。

深度卷积神经网络可确定每个卷积层中包括的节点的权重。包括在每个卷积层中的节点可通过使用不同的滤波核来生成特征图。深度卷积神经网络可调整节点的权重，并且因此可调整生成特征图的滤波核的权重。

根据实施例，重构器120可执行改变包括在卷积层中的节点的权重的处理。重构器120改变包括在卷积层中的节点的权重的处理被称为反向传播处理。根据实施例，重构器120可通过反向传播处理来训练卷积神经网络。

根据实施例，重构器120可对作为通过使用DNN被下采样的图像的压缩图像进行解码，然后可通过使用DNN对解码的压缩图像进行上采样。根据实施例，使用DNN的下采样或上采样处理可对应于对空间信息(诸如图像的分辨率)和时间信息(诸如比特率)中的至少一个进行压缩或解压缩的处理。

图4b至图4f示出各种卷积神经网络(CNN)的示例性结构。

参照图4b，示出了根据另一实施例的CNN的结构。

图4b的CNN 450可以是由多个平行层组成的网络。也就是说，多个卷积层和池化层可被平行排列。在CNN 450中，可将从前一层输出的结果输入到多个单独的平行层。所述多个单独的平行层可向从前一层输出的结果应用不同的滤波器。例如，所述多个单独的平行层可根据1×1卷积来减小所述结果的尺寸，然后可对其应用3×3卷积、5×5卷积等。在另一层中，可执行3×3最大池化，然后可对其应用卷积。仅应用1×1卷积的层可用作维护初始信息的标识循环。已经执行了卷积的多个平行层的输出可最终被串联起来，并且因此可作为针对当前层的计算结果被输出。根据CNN 450，层不需要总是被顺序堆叠。CNN 450的结构基于具有非顺序优化结构的网络的误差比具有顺序结构的网络的误差更小这一可能性。

参照图4c，示出了根据另一实施例的CNN的结构。

图4c的CNN 460是使用跳跃层的构思的网络。CNN 460具有过去层的输入与当前层的输出相加的结构。在CNN 460中，将过去层的输入与当前层的输出相加的结果可以是下一层的输入。在一般CNN的结构中，在多个层中执行卷积和池化处理，使得结果值的大小可以非常小。在这种情况下，结果值的细节信息可能会丢失。CNN 460通过在卷积和池化处理中重复使用过去的结果而具有增强细节信息的效果。

参照图4d，示出了根据另一实施例的CNN的结构。

图4d的CNN 470是使用跳跃层的构思的网络，如图4c中的CNN 460那样。然而，与CNN 460相比，CNN 470的特征在于可将过去的结果与随机位置处的层的输入相加，使得层之间的关系紧密。此外，CNN 470可使用通过针对过去层的卷积运算的计算结果作为随机位置处的层的输入。

参照图4e，示出了根据另一实施例的CNN的结构。

图4e的CNN 480是使用多分辨率的金字塔结构的网络。CNN 480可将前一卷积层的结果划分为具有若干等级的金字塔。例如，在等级1中，分辨率可不被缩放，在等级2中，分辨率可被1/2×1/2缩放，并且在等级3中，分辨率可被1/4×1/4缩放。这些等级的结果可被串联并且可用作全连接层的输入。卷积层不受图像尺寸的影响，但是全连接层受输入图像的尺寸限制，使得在一般网络中，输入图像的尺寸必须是固定的。然而，如在CNN 480中那样，当从金字塔的若干等级输出的特征被用作全连接层的输入并且无论图像的尺寸如何金字塔的输出都被预设时，全连接层可不受图像尺寸的限制。

参照图4f，示出了根据另一实施例的CNN的结构。

图4f的CNN 490是具有在执行ReLu函数之前或之后执行批量归一化的结构的网络。批量归一化层位于隐藏层之前，并调整输入的分布。此外，因为批量归一化层是合并到网络中的层，所以批量归一化层可通过反向传播来优化相关变量(对变量进行缩放和移位)。可以以下述方式执行改善输入的分布的方法：输入到每个层的数据以平均值为0且分布为1被归一化，乘以缩放变量γ，并且添加移位变量β。在此处理期间，可通过训练确定缩放和移位变量。CNN 490可对卷积结果进行归一化，并且因此可防止诸如梯度消失或梯度爆炸的问题。此外，由于批量归一化，可减少训练时间并且可提高训练精确度。

在实施例中，具有参照图4a至图4f描述的各种结构的CNN可被应用于所述实施例中，并且所述CNN的组合或者与先前已知的学习网络的组合也可被应用于所述实施例中。因此，为了便于描述，具有前述各种结构的CNN仅是示例性的，并且在本实施例中，可使用具有各种改进结构的CNN。

图5a是根据实施例的用于描述通过使用DNN对空间信息进行上采样的操作的示图。

根据实施例，重构器120可通过使用DNN在空间上对解码的压缩图像进行上采样。根据实施例，对于上采样，重构器120可使用DNN，以便执行与卷积运算有关的各种操作。根据实施例，重构器120可使用DNN执行上采样操作，以便将压缩图像的空间分量重构为与在原始图像被压缩之前的该原始图像的空间分量对应的分量，并且上采样操作可包括诸如转置卷积、上池化等的操作。

参照图5a，根据实施例，重构器120可使用包括多个层510、520和530的DNN，以便对包括在压缩图像500中的多个帧执行上采样。可在每个层中执行用于上采样的转置卷积。重构器120可根据在每个层中执行的转置卷积的结果来确定分辨率被提高的帧。根据实施例，重构器120可在第一层510中对压缩图像500的帧执行转置卷积，并且作为结果，重构器120可确定尺寸为Wu_1×Hu_1×Au_1的特征图。Wu_1和Hu_1可指示在第一层510中确定的特征图的宽度和高度，并且Au_1可对应于在第一层510中使用的滤波核512的数量。根据实施例，在第一层510中确定的特征图的宽度(Wu_1)和高度(Hu_1)大于输入到第一层510的压缩图像500的帧的宽度W0和高度H0。

根据实施例，重构器120可在第二层520中执行转置卷积，并且作为结果，重构器120可确定尺寸为Wu_2×Hu_2×Au_2的特征图。Wu_2和Hu_2可指示在第二层520中确定的特征图的宽度和高度，并且Au_2可对应于在第二层520中使用的滤波核522的数量。根据实施例，第二层520的输入可对应于第一层510的输出。根据实施例，在第二层520中确定的特征图的宽度(Wu_2)和高度(Hu_2)大于第一层510的特征图的宽度(Wu_1)和高度(Hu_1)。

根据实施例，重构器120可通过使用包括n个层的DNN对压缩图像500执行上采样。通过在第n层530中执行上采样确定的特征图可具有Wu_n×Hu_n×Au_n的尺寸。重构器120可通过使用第n层530的尺寸大于压缩图像500的帧的特征图来确定重构图像540。

根据实施例，图像重构装置100的重构器120可通过使用DNN在时间上对压缩图像进行上采样。根据实施例，压缩图像可以是通过使用DNN在时间上被压缩的图像(例如，比特率小于原始图像的压缩图像)。根据实施例，重构器120可通过使用DNN(例如，CNN、递归神经网络(RNN)等)经由在压缩图像中包括的多个帧之间插入附加帧来执行时间上采样。根据实施例，为了在压缩图像中包括的多个帧之间添加附加帧，重构器120可通过参照两个输入帧的比较结果、将进行上采样的比特率放大(例如，从30fps到60fps的上采样)、将在两个帧之间添加的帧的数量等来使用DNN执行上采样处理。例如，为了对时间t的帧进行重构，重构器120可根据DNN输入使用前一时区(t-1、t-2、...)的帧和下一时区(t+1、t+2、...)的帧之中的至少两个帧。

根据实施例，重构器120可根据上采样所需的帧数，通过使用预定时区的帧来执行时间上采样。例如，当t时区的时间上采样所需的帧数是2时，重构器120可通过使用t-1时区的帧和t+1时区的帧来执行上采样。作为另一示例，当t时区的时间上采样所需的帧数是3时，重构器120可通过使用t-1时区的帧、t-2时区的帧和t+1时区的帧或者使用t-1时区的帧、t+1时区的帧、t+2时区的帧来执行上采样。作为另一示例，当t时区的时间上采样所需的帧数是4时，重构器120可通过使用t-1时区的帧、t-2时区的帧、t+1时区的帧和t+2时区的帧来执行上采样。根据实施例，重构器120可使用时间上采样所需的时区的帧，以便执行t时区的时间上采样。根据实施例，重构器120可对在时间上采样中使用的不同时区的帧执行滤波，并且因此可确定针对每个帧的特征图。重构器120可将针对时区分别确定的特征图进行串联，并且因此可确定针对t时区的帧的特征图。重构器120可执行滤波(例如，卷积等)以对特征图进行重构，并且因此可在时间上对t时区的帧进行重构。将每个时区的特征图进行串联的方法可对应于在上述空间上采样处理中使用的方法。

根据实施例，图像重构装置100的比特流获得器110可从比特流获得时间上采样信息，其中，该时间上采样信息是指示哪个时区的帧需要时间上采样的信息，并且重构器120可基于获得的时间上采样信息来执行时间上采样。

根据实施例，图像重构装置100可从比特流获得指示需要执行多少空间和时间上采样的改变信息，并且因此可执行上采样。根据实施例，重构器120可基于从比特流获得的改变信息来增加压缩图像的分辨率。例如，当获得的改变信息指示原始图像的分辨率是压缩图像的分辨率的两倍时，重构器120可通过使用DNN执行上采样以使压缩图像的分辨率加倍。根据另一实施例，当根据从比特流获得的改变信息，原始图像的比特率是压缩图像的比特率的两倍时，重构器120可通过使用DNN执行上采样以使压缩图像的比特率加倍。然而，由图像重构装置100获得的改变信息的上述特性仅是用于描述以下特性的示例：图像压缩装置150可生成包括指示图像的压缩程度的信息的比特流，并且因此改变信息可包括能够指示压缩程度的各种类型的信息。

根据实施例，图像重构装置100可通过参照图像重构装置100的规格来执行上采样。图像重构装置100可根据图像重构装置100的计算能力执行上采样，因此可重构出针对图像重构被优化的图像。例如，当包括在图像重构装置100中的显示器(未示出)仅支持最大分辨率为1920×1080的全HD(FHD)，并且压缩图像的分辨率是1280×720时，重构器120可执行上采样以使压缩图像的分辨率加倍。作为另一示例，当确定具有压缩图像的分辨率的图像根据图像重构装置100的计算能力能够以60fps被再现时，重构器120可执行上采样以使比特率为30fps的压缩图像的比特率加倍。作为另一示例，当确定具有比压缩图像的分辨率大1.5倍的分辨率的图像根据图像重构装置100的计算能力能够以60fps被再现时，重构器120可执行上采样以使比特率为30fps的压缩图像的比特率加倍并将压缩图像的分辨率提高1.5倍。

根据实施例，图像重构装置100可在每个层中使用滤波核以便使用DNN执行上采样，并且在每个层中可用的滤波核的类型可以与用于下采样的滤波核的类型不同。也就是说，在用于下采样的DNN和用于上采样的DNN中包括的层中使用的滤波核的数量和尺寸的类型可以变化。

图6是根据实施例的用于描述在上采样处理或下采样处理中使用的滤波核的类型可以不同的示图。

根据实施例，在用于上采样的DNN中包括的m个层(其中，m可以是等于或不同于n的整数)中可分别使用滤波核，使得滤波(例如，转置卷积运算)可被执行。根据实施例，在用于上采样的滤波中可使用的滤波核的类型可与在用于下采样的滤波中可使用的滤波核的类型不同。例如，即使在用于下采样的DNN中使用的滤波核的尺寸的类型是3×3、3×3和5×5时，在用于上采样的DNN中使用的滤波核的尺寸的类型也可以是3×3、5×5和7×7。根据实施例，可由重构器120在用于上采样的DNN的每个层中使用的滤波核的数量和尺寸的类型可与可在用于下采样的DNN中使用的滤波核的数量和尺寸的类型不同。

图7a是根据实施例的用于描述包括在DNN中的多个层之中的预定层通过使用多个滤波核执行滤波的特性的示图。

根据实施例，重构器120可通过在每个层中使用一种类型的滤波核来执行滤波。根据实施例，为了对作为DNN的输入700的压缩图像进行重构，重构器120可使用包括多个层的DNN。重构器120可通过在多个层之中的层710中使用尺寸均为Fw_a×Fh_a的A_a个滤波核712来执行滤波，并且因此可确定尺寸均为W_a×H_a的A_a个特征图。

根据实施例，重构器120可通过在预定层中使用具有多种尺寸的滤波核来执行滤波。根据实施例，重构器120可通过在多个层之中的b层720中使用尺寸为Fw_b1×Fh_b1、Fw_b2×Fh_b2、Fw_b3×Fh_b3等的滤波核722来执行滤波。根据实施例，具有不同尺寸的滤波核可包括不同数量的滤波核。例如，可在滤波中使用尺寸均为Fw_b1×Fh_b1的A_b1个滤波核、尺寸均为Fw_b2×Fh_b2的A_b2个滤波核以及尺寸均为Fw_b3×Fh_b3的A_b3个滤波核。根据实施例，重构器120可通过使用具有多种尺寸的滤波核来执行滤波，因此可确定与使用的滤波核的数量对应的特征图。也就是说，重构器120可通过使用尺寸为Fw_b1×Fh_b1、Fw_b2×Fh_b2和Fw_b3×Fh_b3的滤波核722来执行滤波，因此可确定A_b个特征图，并且在这种情况下，A_b可对应于A_b1+A_b2+A_b3。重构器120可通过使用尺寸均为W_b×H_b的A_b个特征图来执行剩余的重构处理，并且因此可确定作为输出725的重构图像。

图7b是根据实施例的用于描述使用通过根据具有多种尺寸的滤波核执行滤波而确定的特征图的滤波处理的示图。

根据实施例，图像重构装置100的重构器120可通过在任意层中使用具有多种尺寸的滤波核来确定特征图。根据实施例，重构器120可通过在第n层730中使用具有多种尺寸的滤波核732来执行滤波，其中，第n层730是包括在DNN中的多个层中的一个层。作为由重构器120执行滤波(例如，卷积运算)的结果，可确定具有多种尺寸的特征图740、742和744。根据实施例，当输入到第n层的特征图的尺寸或压缩图像的帧的尺寸是W_n×H_n时，重构器120可通过在第n层730中使用尺寸为Fw_n1×Fh_n1的滤波核来执行滤波，并且因此可确定尺寸为(W_n-Fw_n1+1)×(H0-Fh_n1+1)的A_n1个特征图。此外，重构器120可通过使用具有不同尺寸的滤波核来执行滤波，并且因此可确定尺寸为(W_n-Fw_n2+1)×(H0-Fh_n2+1)的A_n2个特征图以及尺寸为(W_n-Fw_n3+1)×(H0-Fh_n3+1)的A_n3个特征图。

根据实施例，重构器120可执行填充操作以允许特征图具有相同的尺寸，其中，所述特征图是依据多个滤波核的尺寸生成的。根据实施例，填充后的特征图可均具有与对应层的输入相同的尺寸。参照图7b，可对特征图740、742和744执行填充，使得已依据滤波核的尺寸分别生成的特征图740、742和744可均具有与输入到第n层730的压缩图像的帧的尺寸或特征图的尺寸W_n×H_n相同的尺寸。因此，填充后的特征图741、743和745可具有相同的尺寸(即，W_n×H_n)。根据实施例，使用了具有多种尺寸的滤波核的层的输入和输出具有相同的平面尺寸。

根据实施例，重构器120可通过使用具有多种类型的尺寸的滤波核来确定与滤波中使用的滤波核的数量对应的特征图。也就是说，重构器120可通过使用尺寸为Fw_n1×Fh_n1、Fw_n2×Fh_n2和Fw_n3×Fh_n3的滤波核732进行滤波来确定特征图740、742和744，并且可对特征图740、742和744执行填充，从而确定已被填充为相同尺寸的特征图741、743和745。重构器120可通过将填充后的特征图741、743和745进行串联来确定第n层730的输出。因此，作为通过将尺寸为W_n×H_n的特征图输入到第n层来执行滤波的结果，可输出尺寸均为W_n×H_n的A_n1+A_n2+A_n3个特征图。

根据实施例，图像重构装置100可使用各种形状的数据单元，以便对图像进行解码并执行上采样。可基于在图像编码处理中可用的各种数据单元来执行作为可应用于根据实施例的重构器120的处理的前述各种实施例。根据实施例，重构器120可通过使用包括视频、序列、帧、条带、条带片段、最大编码单元、编码单元、预测单元、变换单元、处理单元等的各种数据单元来执行对图像的解码、上采样和下采样的处理。

根据实施例，重构器120可确定每个帧的主观图像质量。比特流获得器110可获得针对每个画面的改变信息，其中，该改变信息指示下采样程度。根据实施例，重构器120可对每个最大编码单元执行下采样处理或上采样处理。然而，当重构器120执行预定处理时使用的数据单元不被解释为限于前述实施例，并且因此可被解释为可由本领域普通技术人员使用的各种数据单元能够被使用。下面将参照图10至图23描述可由图像重构装置100使用的各种数据单元的特性。

在下文中，现在将描述能够执行对将由图像重构装置100重构的图像进行压缩的处理的图像压缩装置150的各种实施例。

图1b示出根据实施例的用于对图像进行压缩的图像压缩装置150的框图。

根据实施例，图像压缩装置150可包括：压缩器160，用于对原始图像进行编码和下采样以对原始图像进行压缩；以及比特流生成器170，用于生成包括关于压缩图像的信息的比特流。根据实施例，压缩器160可执行存储在存储器和/或存贮器中的程序命令。压缩器160可包括至少一个处理器，所述至少一个处理器包括中央处理器(CPU)、图形处理单元(GPU)等。

图2b是示出根据实施例的图像压缩装置150可执行的图像压缩处理的流程图。

在操作S210，图像压缩装置150可通过使用DNN对图像执行下采样，并且因此可确定压缩图像。

图3是根据实施例的用于描述通过编码和解码处理对压缩图像进行处理的过程的示图。

参照图3，压缩器160可通过针对原始信号300的编码处理304来减少原始信号300的信息量。例如，编码处理304可包括：生成与原始信号300和预测信号之间的差对应的残差信号的处理；将作为空间域分量的残差变换为频域分量的处理；对已经变换为频域分量的残差信号进行量化的处理；通过对量化的残差信号进行熵编码来生成比特流的处理等。可通过对针对残差信号的比特流执行解码处理306将作为频域分量的残差信号变换为空间域分量，然后可基于残差信号来生成重构图像309。根据实施例，比特流生成器170可通过对原始图像300的编码处理304来生成包括变换到频域的结果的比特流。

根据实施例，图像压缩装置150可通过对原始图像300执行下采样302来生成压缩图像303，并且可对压缩图像303执行编码处理304。对于无错解码，压缩器160不仅可执行编码处理，还可执行与编码处理对应的解码处理。压缩器160可通过执行解码处理来确定解码的压缩图像307，并且可通过对解码的压缩图像307执行上采样308来确定重构图像309。比特流生成器170可生成包括关于压缩图像303的信息的比特流，并且可将比特流发送到能够对压缩图像进行重构的图像重构装置100。根据实施例，可通过使用DNN来执行下采样302和上采样308，并且下面将在各种实施例中描述使用DNN的下采样302和上采样308的处理。

在操作S212，根据实施例的图像压缩装置150可通过使用残差信号和通过执行预测而获得的预测信号来对压缩图像进行解码。图像压缩装置150的压缩器160可根据预定数据单元对将被压缩的原始图像进行划分。例如，压缩器160可将图像划分成多个最大编码单元，并且可通过使用通过递归地对每个最大编码单元进行划分而确定的编码单元来对图像进行解码。根据实施例，压缩器160可执行预测处理，以便对包括在编码单元中的信号进行编码。

在操作S214，根据实施例，图像压缩装置150可基于压缩图像和预测信号来确定残差信号。压缩器160可通过从在操作S210中确定的压缩图像减去在操作S212中确定的预测信号来确定残差信号。根据实施例，压缩器160可对残差信号执行预定处理(例如，环路滤波、DPB存储处理、熵编码等)以另外用于对图像进行编码。使用残差信号的图像编码处理可被包括在本领域普通技术人员可容易地执行的各种处理中。

在操作S216，图像压缩装置150的比特流生成器170可生成包括与编码的残差信号有关的信息的比特流。图4a是用于描述包括在DNN中的深度卷积神经网络的示图。根据实施例，图像压缩装置150可使用包括多个层的DNN，以便执行下采样。根据实施例，为了在多个层中执行卷积运算，压缩器160可使用深度卷积神经网络作为能够执行下采样的DNN。

根据实施例，深度卷积神经网络可包括多个层(例如，包括第一层410和第n层420的多个层)。根据实施例，构成深度卷积神经网络的多个层中的每个层可包括卷积层和激活层，其中，卷积层用于通过使用滤波核生成多个特征图，激活层用于调整滤波核的权重。

每个卷积层可包括多个节点。根据实施例，卷积层可通过使用多个滤波核来生成多个特征图。由卷积层的节点生成的特征图可被输入到激活层。根据实施例，压缩器160可对包括在第一层410中的多个节点411、412、413等中的每个节点执行卷积运算和激活。压缩器160可在包括在第一层中的卷积层CL1_1、CL1_2、...、CL1_a中对第一层的输入信号(例如，作为压缩信号的输入400)执行卷积运算，并且可在针对卷积层CL1_1、CL1_2、...、CL1_a中的每个卷积层的卷积运算中使用不同的滤波核。根据实施例，为了激活在卷积层CL1_1、CL1_2、...、CL1_a中分别执行的卷积运算的结果，可将卷积运算的结果分别输入到与卷积层CL1_1、CL1_2、...、CL1_a相关的激活层。压缩器160可通过激活卷积运算的结果来确定第一层410的多个特征图。根据实施例，从特定层获得的多个特征图的数量可与滤波核的数量成比例。根据实施例，从特定层获得的特征图可用作下一层的输入值。也就是说，从第一层410获得的特征图可被输入到第n层420(n>1)，使得执行卷积运算和激活可被执行。在下文中，为了便于描述，在每个层中执行的包括卷积运算和激活的预定信号处理过程被称为滤波处理。根据实施例，可由图像压缩装置150使用的DNN的特性可与可由图像重构装置100使用的并且在上面参照图4被描述的DNN的特性相同或相似，因此，这里省略其详细描述。

图5b是根据实施例的用于描述通过使用DNN对空间信息进行下采样的操作的示图。

根据实施例，压缩器160可通过使用DNN在空间上对原始图像进行下采样。根据实施例，对于下采样，压缩器160可使用DNN以执行与卷积运算有关的各种操作。根据实施例，由压缩器160执行的下采样操作可包括诸如卷积、池化等的操作。

参照图5b，根据实施例，压缩器160可使用包括多个层560、570和580的DNN，以便对包括在原始图像550中的多个帧执行下采样。可在每个层中执行用于下采样的卷积。压缩器160可根据在每个层中执行的卷积的结果来确定分辨率已被减小的帧。根据实施例，压缩器160可在第一层560中对原始图像550的帧执行卷积，并且作为结果，压缩器160可确定尺寸为Wd_1×Hd_1×Ad_1的特征图。Wd_1和Hd_1可指示在第一层560中确定的特征图的宽度和高度，并且Ad_1可对应于在第一层560中使用的滤波核562的数量。根据实施例，在第一层560中确定的特征图的宽度(Wd_1)和高度(Hd_1)小于输入到第一层560的原始图像550的帧的宽度W0和高度H0。

根据实施例，压缩器160可在第二层570中执行卷积，并且作为结果，压缩器160可确定尺寸为Wd_2×Hd_2×Ad_2的特征图。Wd_2和Hd_2可指示在第二层570中确定的特征图的宽度和高度，并且Ad_2可对应于在第二层570中使用的滤波核572的数量。根据实施例，第二层的输入570可对应于第一层560的输出。根据实施例，在第二层570中确定的特征图的宽度(Wd_2)和高度(Hd_2)小于第一层560的特征图的宽度(Wd_1)和高度(Hd_1)。

根据实施例，压缩器160可通过使用包括n个层的DNN对原始图像550执行下采样。通过在第n层580中执行下采样而确定的特征图可具有Wd_n×Hd_n×Ad_n的尺寸。压缩器160可通过使用第n层580的尺寸小于原始图像550的帧的特征图来确定压缩图像590。

根据实施例，图像压缩装置150的压缩器160可通过使用DNN在时间上对原始图像进行下采样。根据实施例，压缩图像可以是通过使用DNN在时间上被压缩的图像(例如，比特率小于原始图像的压缩图像)。根据实施例，压缩器160可通过使用DNN(例如，CNN、RNN等)通过从包括在原始图像中的多个帧之中移除预定帧来执行时间下采样。根据实施例，为了移除包括在原始图像中的预定帧，压缩器160可通过参照多个输入帧的比较结果、将进行下采样的比特率放大(例如，从60fps到30fps的上采样)、将被移除的帧数等来使用DNN执行下采样处理。例如，为了移除时间t的帧，压缩器160可根据DNN输入使用前一时区(t-1、t-2、......)的帧和下一时区(t+1、t+2、...)的帧之中的至少两个帧。

根据实施例，压缩器160可根据下采样所需的帧数，通过使用预定时区的帧来执行时间下采样。例如，当t时区的时间下采样所需的帧数是2时，压缩器160可通过使用t-1时区的帧和t+1时区的帧来执行下采样。作为另一示例，当t时区的时间下采样所需的帧数是3时，压缩器160可通过使用t-1时区的帧、t-2时区的帧和t+1时区的帧或者使用t-1时区的帧、t+1时区的帧、t+2时区的帧对t时区的帧执行下采样。作为另一示例，当对t时区的帧进行时间下采样所需的帧数是4时，压缩器160可通过使用t-1时区的帧、t-2时区的帧、t+1时区的帧和t+2时区的帧来执行下采样。

根据实施例，压缩器160可使用时间下采样所需的时区的帧，以便执行t时区的时间下采样。根据实施例，压缩器160可对在时间下采样中使用的不同时区的帧执行滤波，并且因此可确定针对每个帧的特征图。

根据实施例，当通过参照根据每个时区确定的特征图的运动信息(例如，全局运动矢量、局部运动矢量等)来确定具有较少运动的多个帧时，压缩器160可执行时间下采样以移除包括在所述多个帧之间的帧。

根据实施例，当多个时区的帧被确定为不同的场景时，作为对根据每个时区确定的特征图进行比较的结果，压缩器160可确定不对所述多个时区的帧之间的帧执行时间下采样。

根据实施例，图像压缩装置150的压缩器160可确定将对哪个帧执行时间下采样，并且比特流生成器170可生成包括时间下采样信息的比特流，其中，该时间下采样信息是指示哪个时区的帧在时间上被下采样的信息。

根据实施例，图像压缩装置150可生成包括指示多少空间和时间下采样被执行的改变信息的比特流。根据实施例，当压缩器160已经执行下采样来加倍地压缩原始图像的分辨率时，比特流生成器170可生成包括指示原始图像的分辨率是压缩图像的分辨率两倍的改变信息的比特流。根据另一实施例，当压缩器160已经执行下采样来将原始图像的比特率减半时，比特流生成器170可生成包括指示压缩图像的比特率是原始图像的比特率一半的改变信息的比特流。然而，由图像压缩装置150获得的改变信息的前述特性仅是描述以下特性的示例：图像压缩装置150可生成包括指示图像的压缩程度的信息的比特流，并且因此改变信息可包括能够指示压缩程度的各种类型的信息。

根据实施例，图像重构装置100可在每个层中使用滤波核以便使用DNN执行上采样，并且在每个层中可用的滤波核的类型可与用于下采样的滤波核的类型不同。

图6是根据实施例的用于描述在上采样处理或下采样处理中使用的滤波核的类型可以不同的示图。

根据实施例，压缩器160可使用包括n个层610、620和630的DNN，以便生成下采样的压缩图像635。每个层可使用滤波核执行滤波(例如，卷积运算)，作为用于下采样的处理。由各个层用于滤波的滤波核612、622和632可具有至少一种尺寸。例如，可通过使用尺寸为5×5的Au_1滤波核在第一层610中执行滤波，可通过使用尺寸为3×3的Au_2滤波核在第二层620中执行滤波，并且可通过使用尺寸为3×3的Au_n滤波核在第n层630中执行滤波。根据实施例，压缩器160可使用DNN对已在经过n个层610、620和630的同时被下采样的压缩图像635进行上采样。

根据实施例，可在用于上采样的DNN中包括的m个层(其中，m可以是等于或不同于n的整数)中分别使用滤波核，使得滤波(例如，转置卷积运算)可被执行。根据实施例，在用于上采样的滤波中可使用的滤波核的类型可与在用于下采样的滤波中使用的滤波核的类型不同。例如，即使在用于下采样的DNN中使用的滤波核的尺寸类型是3×3、3×3和5×5时，用于上采样的DNN中的滤波核的尺寸类型也可以是3×3、5×5和7×7。根据实施例，在用于上采样的DNN的每个层中可由压缩器160使用的滤波核的尺寸类型和数量可与在用于下采样的DNN中可使用的滤波核的尺寸类型和数量不同。

也就是说，压缩器160可通过使用用于下采样的DNN对原始图像进行下采样，并且可通过使用经过下采样的压缩图像来生成编码的残差信号。压缩器160可对残差信号进行解码，然后可通过使用DNN再次执行上采样以便确定重构信号，并且DNN之间的训练处理(该训练处理在下采样处理和上采样处理中被使用)可由DNN共享。下面将在实施例中描述DNN的训练处理。图7a是根据实施例的用于描述包括在DNN中的多个层之中的预定层通过使用多个滤波核执行滤波的特性的示图。

根据实施例，压缩器160可通过在每个层中使用一种类型的滤波核来执行滤波。根据实施例，为了压缩作为DNN的输入700的原始图像，压缩器160可使用包括多个层的DNN。压缩器160可通过在多个层之中的层710中使用尺寸均为Fw_a×Fh_a的A_a个滤波核712来执行滤波，并且因此可确定尺寸均为W_a×H_a的A_a个特征图。

根据实施例，压缩器160可通过在预定层中使用具有多种尺寸的滤波核来执行滤波。根据实施例，压缩器160可通过在多个层之中的b层720中使用尺寸为Fw_b1×Fh_b1、Fw_b2×Fh_b2、Fw_b3×Fh_b3等的滤波核722来执行滤波。根据实施例，具有不同尺寸的滤波核可包括不同数量的滤波核。例如，可在滤波中使用尺寸均为Fw_b1×Fh_b1的A_b1个滤波核、尺寸均为Fw_b2×Fh_b2的A_b2个滤波核以及尺寸均为Fw_b3×Fh_b3的A_b3个滤波核。根据实施例，压缩器160可通过使用具有多种尺寸类型的滤波核来执行滤波，并且因此可确定与使用的滤波核的数量对应的特征图。也就是说，压缩器160可通过使用尺寸为Fw_b1×Fh_b1、Fw_b2×Fh_b2和Fw_b3×Fh_b3的滤波核722来执行滤波，并且因此可确定A_b个特征图，并且在这种情况下，A_b可对应于A_b1+A_b2+A_b3。压缩器160可通过使用尺寸均为W_b×H_b的A_b个特征图来执行剩余压缩处理，并且因此可确定作为DNN的输出725的压缩图像。

图7b是根据实施例的用于描述使用通过根据具有多种尺寸的滤波核执行滤波而确定的特征图的滤波处理的示图。

根据实施例，图像压缩装置150的压缩器160可通过在任意层中使用具有多种尺寸的滤波核来确定特征图。根据实施例，压缩器160可通过在第n层730中使用具有多种尺寸的滤波核732来执行滤波，其中，第n层730是包括在DNN中的多个层中的一个层。作为由压缩器160执行滤波(例如，卷积运算)的结果，可确定具有多种尺寸的特征图740、742和744。根据实施例，当输入到第n层的图像的帧或特征图的尺寸是W_n×H_n时，压缩器160可通过在第n层730中使用尺寸为Fw_n1×Fh_n1的滤波核来执行滤波，并且因此可确定尺寸为(W_n-Fw_n1+1)×(H0-Fh_n1+1)的A_n1个特征图。此外，压缩器160可通过使用具有不同尺寸的滤波核来执行滤波，并且因此可确定尺寸为(W_n-Fw_n2+1)×(H0-Fh_n2+1)的A_n2个特征图以及尺寸为(W_n-Fw_n3+1)×(H0-Fh_n3+1)的A_n3个特征图。

根据实施例，压缩器160可执行填充操作以使得特征图具有相同的尺寸，其中，所述特征图是依据滤波核的尺寸生成的。根据实施例，填充后的特征图可均具有与对应层的输入相同的尺寸。参照图7b，可对特征图740、742和744执行填充，使得已依据滤波核的尺寸分别生成的特征图740、742和744可均具有与输入到第n层730的特征图的尺寸W_n×H_n相同的尺寸。因此，填充后的特征图741、743和745可具有相同的尺寸(即，W_n×H_n)。根据实施例，使用具有多种尺寸的滤波核的层的输入和输出具有相同的平面尺寸。

根据实施例，压缩器160可通过使用具有多种尺寸类型的滤波核来确定与在执行滤波中使用的滤波核的数量对应的特征图。也就是说，压缩器160可通过使用尺寸为Fw_n1×Fh_n1、Fw_n2×Fh_n2和Fw_n3×Fh_n3的滤波核732执行滤波来确定特征图740、742和744，并且可对特征图740、742和744执行填充，从而确定已被填充为相同尺寸的特征图741、743和745。压缩器160可通过将填充后的特征图741、743和745进行串联来确定第n层730的输出。因此，作为通过将尺寸为W_n×H_n的特征图输入到第n层来执行滤波的结果，可输出尺寸均为W_n×H_n的A_n1+A_n2+A_n3个特征图。

图8是根据实施例的用于示出在用于下采样的DNN中出现的损失信息的示图。

参照图8，图像压缩装置150的压缩器160可通过使用能够对原始图像800进行下采样的下采样DNN 806来确定下采样图像808。根据实施例，当与原始图像800相比时，通过使用下采样DNN 806确定的下采样图像808的图像结构特征(例如，亮度、对比度、直方图等)可与原始图像800的结构特征明显不同。当下采样图像808的结构特征变得明显不同时，与原始图像800相比，编码效率可能恶化。为了防止编码效率的恶化，根据实施例，压缩器160的结构信息保存器802可通过使用原始图像800的结构特征来确定结构被重构的图像804，其中，所述结构被重构的图像804具有与原始图像800相比在空间上减小的尺寸，并且压缩器160可将下采样图像808与结构被重构的图像804进行比较。根据实施例，下采样图像808和结构被重构的图像804的特征在于具有在空间上相同或相似的分辨率。

根据实施例，结构信息保存器802可通过参照各种结构特征(诸如亮度、对比度、直方图、图像压缩率、编码质量、压缩历史信息、将被压缩的原始图像的类型等)来生成结构被重构的图像804，并且可根据与结构被重构的图像804的比较结果生成下采样图像808。根据实施例，结构信息可包括先前基于原始图像800确定的多条信息，并且可包括基于输入信号或参数信息确定的结构信息。

根据实施例，结构信息保存器802可通过使用诸如原始图像800的亮度、对比度、直方图等的结构特征来生成结构被重构的图像804，其中，结构被重构的图像804具有与原始图像800的结构特征相似的结构特征，并且具有已减小的空间尺寸或分辨率。

根据实施例，结构信息保存器802可基于编码质量或指示针对原始图像800的熵编码程度的压缩率来生成结构被重构的图像804。例如，可根据基于由用户或外部源输入的信息确定的编码质量或先前确定的编码质量来确定结构被重构的图像804的空间分辨率，使得与由下采样DNN 806执行的下采样的结果对应的压缩图像的空间分辨率可被确定。

根据实施例，结构信息保存器802可通过使用存储在图像压缩装置150中的压缩历史信息来生成下采样图像808。根据实施例，图像压缩装置150可通过使用存储在存贮器(未示出)中或从外部源接收的压缩历史信息来确定结构被重构的图像804的空间分辨率，使得下采样图像808的空间尺寸可被确定。详细地，根据可由图像压缩装置150使用的压缩历史信息，可确定用户期望的编码质量或压缩率，并且可根据基于压缩历史信息确定的编码质量来确定结构被重构的图像804的尺寸和下采样图像808的尺寸。例如，可基于压缩历史信息根据已被最频繁使用的编码质量来确定结构被重构的图像804的尺寸和下采样图像808的尺寸。作为另一示例，可基于压缩历史信息，根据已被使用多于预定阈值的编码质量(例如，可使用已被使用多于预定阈值的编码质量的平均质量)来确定结构被重构的图像804的尺寸和下采样图像808的尺寸。

根据实施例，结构信息保存器802可基于原始图像800的类型生成结构被重构的图像804。根据实施例，当预定图像的分辨率减小n％时，即使在稍后该图像被重构时，结构信息或图像质量也可能与原始图像800相似，但是，在与预定图像相比图像具有相同空间分辨率和不同类型的情况下，重构后的图像质量或结构信息仅在分辨率减小m％时才会变为与原始图像800相似。结构信息保存器802可通过参照原始图像800的类型来确定减小空间分辨率的比率(即，“减小信息”)，并且因此可对应地生成结构被重构的图像804。

减小信息可由结构信息保存器802确定，或者可根据用户输入随机确定。根据实施例，可对减小信息进行编码，然后经由比特流发送减小信息。

根据实施例，下采样DNN 806可基于减小信息对原始图像800进行下采样。在这方面，执行下采样所需的下采样DNN 806的结构可根据由减小信息指示的减小率而变化。例如，为了根据最大比率减小原始图像800，必须使用下采样DNN 806中的所有层，而当根据小于最大比率的比率减小原始图像800时，可不使用下采样DNN 806中的一些层。

也就是说，根据实施例，下采样DNN 806可通过仅使用下采样DNN 806中的一些层来调整针对原始图像800的减小程度。在这方面，可基于减小信息来确定下采样DNN 806中的必须在下采样中使用的层。

根据实施例，下采样DNN 806是考虑到图像的结构信息、压缩比特量和重构网络而被训练的网络。在这方面，可通过基于输入/输出数据集更新构成下采样DNN 806的多个网络节点的连接关系和权重来执行针对下采样DNN806的训练，其中，所述输入/输出数据集被提供用于训练。因此，根据实施例，下采样DNN 806可以是可不断被更新的网络。

根据实施例，压缩器160可确定指示结构被重构的图像804和下采样图像808之间的差的范数的第一损失信息812。根据实施例，压缩器160可确定指示包括在下采样图像808中的空间复杂度的第二损失信息814。根据实施例，压缩器160可计算总方差值以便确定下采样图像808的空间复杂度，并且可将该总方差值确定为第二损失信息814。

图9是用于示出在用于上采样的DNN中出现的损失信息的示图。

根据实施例，可通过上采样DNN 910对下采样图像908进行上采样，并且作为其结果，可确定重构图像916。根据实施例，上采样DNN 910的输入可以是下采样图像908，或者可以是通过对下采样图像908进行编码然后进行解码而获得的图像。

根据实施例，压缩器160可将原始图像900与重构图像916进行比较，并且因此可确定第三损失信息918和第四损失信息920。根据实施例，第三损失信息918可指示L1范数值，其中，该L1范数值指示原始图像900和重构图像916之间的差，并且第四损失信息920可指示L2范数值，其中，该L2范数值指示原始图像900和重构图像916之间的差。根据实施例，L1范数值可以是对指示原始图像900和重构图像916之间的差的矢量分量的绝对值进行求和的结果。根据实施例，L2范数值可以是指示原始图像900和重构图像916之间的差的矢量分量的平方和的根值。

根据实施例，压缩器160可根据下面的等式1训练用于上采样的DNN和用于下采样的DNN。

[等式1]

Loss_DS＝第一损失信息+a*第二损失信息+b*第四损失信息

Loss_US＝c*第三损失信息+d*第四损失信息

根据实施例，Loss_DS可对应于指示由于下采样而发生的损失的至少一条有损信息之和。根据实施例，Loss_US可对应于通过将重构图像与在对原始图像执行下采样之前的原始图像进行比较而确定的至少一条损失信息之和。根据实施例，a、b、c和d可对应于预定权重。

根据实施例，压缩器160可共享任意损失信息，以便确定Loss_DS和Loss_US。根据实施例，压缩器160可基于如等式1中的第四损失信息来确定Loss_DS和Loss_US。然而，在确定Loss_DS和Loss_US的处理中共享的信息不应被解释为限于上述实施例，并且因此应被解释为在本领域普通技术人员可容易地执行的程度上，各种类型的损失信息可在确定Loss_DS和Loss_US的处理中被共同使用。

根据实施例，可由图像重构装置100的重构器120使用的用于上采样的DNN的特征可在于：用于上采样的DNN被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息是通过将一图像与下采样被执行之前的原始图像进行比较确定的，并且所述一图像是在压缩图像已被解码之后通过执行上采样而被重构出的。参照等式1，根据实施例，重构器120可被训练为使得Loss_US基于已应用了权重的第三损失信息和第四损失信息而具有最小值。重构器120可训练用于上采样的DNN以使得Loss_US具有最小值，从而通过使用被训练为具有关于重构性能的优先级的DNN来执行上采样。

根据实施例，在针对用于上采样的DNN的训练处理中使用的至少一条损失信息中的一些损失信息可在针对用于下采样的DNN的训练处理中被使用。参照等式1，根据实施例，在确定Loss_US中使用的第四损失信息可以是在确定Loss_DS的处理中使用的损失信息之一。

根据另一实施例，由图像压缩装置150的压缩器160使用的用于下采样的DNN可被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息指示由于下采样而发生的损失。参照等式1，根据实施例，压缩器160可被训练为使得Loss_DS基于已应用了权重的第一损失信息、第二损失信息和第四损失信息而具有最小值。压缩器160可训练用于下采样的DNN以使得Loss_DS具有最小值，从而通过使用被训练为具有关于压缩性能和重构性能的优先级的DNN来执行下采样。

根据实施例，可基于对一图像与下采样被执行之前的原始图像进行比较的结果来确定在针对用于下采样的DNN的训练处理中使用的至少一条损失信息中的一些损失信息，并且所述一图像是在压缩图像已被解码之后通过执行上采样而被重构出的，并且比较结果可在针对用于上采样的DNN的训练处理中被使用。参照等式1，第四损失信息不仅可在针对用于下采样的DNN的训练处理中被使用，而且还可在针对用于上采样的DNN的训练处理中被使用。

根据实施例，可基于在图像编码处理中可使用的各种数据单元来执行作为可由压缩器160执行的处理的前述各种实施例。根据实施例，压缩器160可通过使用包括视频、序列、帧、条带、条带片段、最大编码单元、编码单元、预测单元、变换单元、处理单元等的各种数据单元来执行对图像进行编码、下采样和上采样的处理。比特流生成器170可根据每个画面生成比特流，其中，该比特流包括指示原始图像已通过下采样被压缩了多少的改变信息。根据实施例，压缩器160可执行对每个最大编码单元执行下采样或上采样的处理。然而，由压缩器160执行预定处理所使用的数据单元不应被解释为限于前述实施例，并且因此应被解释为在本领域普通技术人员可容易地使用的程度上，可使用各种数据单元。下面将参照图10至图23描述图像压缩装置150可使用的各种数据单元的特性。

与DNN相关的模型可被实现为软件模块。当DNN模型被实现为软件模块(例如，包括指令的程序模块)时，DNN模型可被存储在计算机可读记录介质中。

此外，DNN模型可以以硬件芯片的形式被集成，并且因此可成为图像重构装置100或图像压缩装置150的一部分。例如，DNN模型可被制造为用于人工智能(AI)的专用硬件芯片、或者可被制造为通用处理器(例如，CPU或应用处理器)或专用图形处理器(例如，GPU)的一部分。

此外，DNN模型可作为可下载软件被提供。计算机程序产品可包括通过制造商或电子市场以电子方式分发的软件程序的产品(例如，可下载应用)。对于电子分发，软件程序的至少一部分可被存储在存储介质中或者可被临时生成。在这种情况下，存储介质可以是制造商的服务器的存储介质、电子市场的服务器的存储介质或中继服务器的存储介质。

在下文中，参照图10至图23，现在将描述根据实施例的确定图像的数据单元的方法。

图10示出根据实施例的由图像重构装置100执行的通过对当前编码单元进行划分来确定至少一个编码单元的过程。

根据实施例，图像重构装置100可通过使用块形状信息来确定编码单元的形状，并且可通过使用划分形状信息来确定编码单元的划分方法。也就是说，可基于由图像重构装置100使用的块形状信息所指示的块形状来确定由划分形状信息指示的编码单元划分方法。

根据实施例，图像重构装置100可使用指示当前编码单元具有正方形形状的块形状信息。例如，图像重构装置100可基于划分形状信息来确定是否不对正方形编码单元进行划分，是否对正方形编码单元进行垂直划分，是否对正方形编码单元进行水平划分，或者是否将正方形编码单元划分成四个编码单元。参照图10，在当前编码单元1000的块形状信息指示正方形形状时，解码器1030可基于指示不执行划分的划分形状信息来确定具有与当前编码单元1000相同尺寸的编码单元1010a不被划分，或者可确定基于指示预定划分方法的划分形状信息而被划分出的编码单元1010b、1010c或1010d。

参照图10，根据实施例，图像重构装置100可基于指示沿垂直方向执行划分的划分形状信息，确定通过沿垂直方向对当前编码单元1000进行划分而获得的两个编码单元1010b。图像重构装置100可基于指示沿水平方向执行划分的划分形状信息，确定通过沿水平方向对当前编码单元1000进行划分而获得的两个编码单元1010c。图像重构装置100可基于指示沿垂直方向和水平方向执行划分的划分形状信息，确定通过沿垂直方向和水平方向对当前编码单元1000进行划分而获得的四个编码单元1010d。然而，正方形编码单元的划分方法不限于上述方法，并且划分形状信息可指示各种方法。下面将结合各种实施例详细描述对正方形编码单元进行划分的预定划分方法。

图11示出根据实施例的由图像重构装置100执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。

根据实施例，图像重构装置100可使用指示当前编码单元具有非正方形形状的块形状信息。图像重构装置100可基于划分形状信息来确定是否不对非正方形的当前编码单元进行划分或者是否通过使用预定划分方法对非正方形的当前编码单元进行划分。参照图11，在当前编码单元1100或1150的块形状信息指示非正方形形状时，图像重构装置100可基于指示不执行划分的划分形状信息来确定具有与当前编码单元1100或1150相同尺寸的编码单元1110或1160不被划分，或者确定基于指示预定划分方法的划分形状信息而被划分出的编码单元1120a和1120b、1130a至1130c、1170a和1170b、或1180a至1180c。下面将结合各种实施例详细描述对非正方形编码单元进行划分的预定划分方法。

根据实施例，图像重构装置100可通过使用划分形状信息来确定编码单元的划分方法，并且在这种情况下，划分形状信息可指示通过对编码单元进行划分而生成的一个或更多个编码单元的数量。参照图11，当划分形状信息指示将当前编码单元1100或1150划分成两个编码单元时，图像重构装置100可通过基于划分形状信息对当前编码单元1100或1150进行划分来确定包括在当前编码单元1100或1150中的两个编码单元1120a和1120b、或者是1170a和1170b。

根据实施例，当图像重构装置100基于划分形状信息对非正方形的当前编码单元1100或1150进行划分时，可考虑非正方形的当前编码单元1100或1150的长边的位置。例如，考虑到当前编码单元1100或1150的形状，图像重构装置100可通过对当前编码单元1100或1150的长边进行划分来确定多个编码单元。

根据实施例，当划分形状信息指示将编码单元划分成奇数个块时，图像重构装置100可确定包括在当前编码单元1100或1150中的奇数个编码单元。例如，当划分形状信息指示将当前编码单元1100或1150划分成三个编码单元时，图像重构装置100可将当前编码单元1100或1150划分成三个编码单元1130a、1130b和1130c、或者是1180a、1180b和1180c。根据实施例，图像重构装置100可确定包括在当前编码单元1100或1150中的奇数个编码单元，并且不是确定的所有编码单元具有相同的尺寸。例如，确定的奇数个编码单元1130a、1130b和1130c、或者是1180a、1180b和1180c之中的预定编码单元1130b或1180b可具有与其他编码单元1130a和1130c、或者是1180a和1180c的尺寸不同的尺寸。也就是说，可通过对当前编码单元1100或1150进行划分而确定的编码单元可具有多种尺寸，并且在一些情况下，所有奇数个编码单元1130a、1130b和1130c、或者是1180a、1180b和1180c可具有不同的尺寸。

根据实施例，当划分形状信息指示将编码单元划分为奇数个块时，图像重构装置100可确定包括在当前编码单元1100或1150中的奇数个编码单元，并且可对通过划分当前编码单元1100或1150而生成的奇数个编码单元之中的至少一个编码单元设置预定限制。参照图11，图像重构装置100可允许编码单元1130b或1180b的解码方法与其他编码单元1130a和1130c、或者是1180a和1180c的解码方法不同，其中，编码单元1130b或1180b位于通过对当前编码单元1100或1150进行划分而生成的三个编码单元1130a、1130b和1130c、或者是1180a、1180b和1180c之中的中心位置。例如，与其他编码单元1130a和1130c、或者是1180a和1180c不同，图像重构装置100可将中心位置处的编码单元1130b或1180b限制为不再被划分或者仅被划分预定次数。

图12示出根据实施例的由图像重构装置100执行的基于块形状信息和划分形状信息中的至少一条信息对编码单元进行划分的操作。

根据实施例，图像重构装置100可基于块形状信息和划分形状信息中的至少一条信息来确定是否将正方形的第一编码单元1200划分为多个编码单元。根据实施例，当划分形状信息指示沿水平方向对第一编码单元1200进行划分时，图像重构装置100可通过沿水平方向对第一编码单元1200进行划分来确定第二编码单元1210。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在对编码单元进行划分之前和之后的关系的术语。例如，可通过对第一编码单元进行划分来确定第二编码单元，并且可通过对第二编码单元进行划分来确定第三编码单元。将理解的是，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。

根据实施例，图像重构装置100可基于块形状信息和划分形状信息中的至少一条信息来确定是否将确定的第二编码单元1210划分成多个编码单元。参照图12，图像重构装置100基于块形状信息和划分形状信息中的至少一条信息，可以或可以不将通过对第一编码单元1200进行划分而确定的非正方形的第二编码单元1210划分成一个或更多个第三编码单元1220a、或者是第三编码单元1220b、1220c和1220d。图像重构装置100可获得块形状信息和划分形状信息中的至少一条信息，并且基于块形状信息和划分形状信息中的所获得的至少一条信息通过对第一编码单元1200进行划分来确定多个不同形状的第二编码单元(例如，1210)，并且第二编码单元1210可基于块形状信息和划分形状信息中的至少一条信息通过使用第一编码单元1200的划分方法被划分。根据实施例，当第一编码单元1200基于第一编码单元1200的块形状信息和划分形状信息中的至少一条信息被划分为第二编码单元1210时，第二编码单元1210也可基于第二编码单元1210的块形状信息和划分形状信息中的至少一条信息被划分为第三编码单元1220a、或者是第三编码单元1220b、1220c和1220d。也就是说，可基于每个编码单元的块形状信息和划分形状信息中的至少一条信息来递归地对编码单元进行划分。因此，可通过对非正方形编码单元进行划分来确定正方形编码单元，并且可通过递归地对正方形编码单元进行划分来确定非正方形编码单元。参照图12，通过对非正方形的第二编码单元1210进行划分而确定的奇数个第三编码单元1220b、1220c和1220d之中的预定编码单元(例如，中心位置处的编码单元或正方形编码单元)可被递归地划分。根据实施例，所述奇数个第三编码单元1220b、1220c和1220d之中的正方形的第三编码单元1220c可沿水平方向被划分成多个第四编码单元。可将所述多个第四编码单元之中的非正方形的第四编码单元1240划分成多个编码单元。例如，非正方形的第四编码单元1240可被划分成奇数个编码单元1250a、1250b和1250c。

下面将结合各种实施例描述可用于递归地对编码单元进行划分的方法。

根据实施例，图像重构装置100可基于块形状信息和划分形状信息中的至少一条信息来确定将第三编码单元1220a、或者是第三编码单元1220b、1220c和1220d中的每一个划分成多个编码单元或不对第二编码单元1210进行划分。根据实施例，图像重构装置100可将非正方形的第二编码单元1210划分成奇数个第三编码单元1220b、1220c和1220d。图像重构装置100可对所述奇数个第三编码单元1220b、1220c和1220d之中的预定第三编码单元设置预定限制。例如，图像重构装置100可将所述奇数个第三编码单元1220b、1220c和1220d之中的中心位置处的第三编码单元1220c限制为不再被划分或者被划分可设定的次数。参照图12，图像重构装置100可将包括在非正方形的第二编码单元1210中的奇数个第三编码单元1220b、1220c和1220d之中的位于中心位置处的第三编码单元1220c限制为不再被划分、通过使用预定划分方法(例如，仅被划分成四个编码单元或通过使用第二编码单元1210的划分方法进行划分)被划分、或者仅被划分预定次数(例如，仅被划分n次(其中n>0))。然而，对中心位置处的第三编码单元1220c的限制不限于上述示例，并且可包括用于与其他第三编码单元1220b和1220d不同地对中心位置处的第三编码单元1220c进行解码的各种限制。

根据实施例，图像重构装置100可从当前编码单元中的预定位置获得用于对当前编码单元进行划分的块形状信息和划分形状信息中的至少一条信息。

图13示出根据实施例的由图像重构装置100执行的从奇数个编码单元之中确定预定编码单元的方法。参照图13，可从当前编码单元1300中包括的多个样点之中的预定位置的样点(例如，中心位置的样点1340)获得当前编码单元1300的块形状信息和划分形状信息中的至少一条信息。然而，当前编码单元1300中的可从其获得块形状信息和划分形状信息中的至少一条信息的预定位置不限于图13中的中心位置，并且可包括当前编码单元1300中所包括的各种位置(例如，顶部、底部、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像重构装置100可从所述预定位置获得块形状信息和划分形状信息中的至少一条信息，并且确定将当前编码单元划分成各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。

根据实施例，在当前编码单元被划分成预定数量的编码单元时，图像重构装置100可选择所述编码单元中的一个编码单元。如下面将结合各种实施例所描述的，可使用各种方法来选择多个编码单元中的一个编码单元。

根据实施例，图像重构装置100可将当前编码单元划分成多个编码单元，并且可确定预定位置处的编码单元。

图13示出根据实施例的由图像重构装置100执行的从奇数个编码单元之中确定预定位置的编码单元的方法。

根据实施例，图像重构装置100可使用指示所述奇数个编码单元的位置的信息来确定所述奇数个编码单元之中的中心位置处的编码单元。参照图13，图像重构装置100可通过对当前编码单元1300进行划分来确定奇数个编码单元1320a、1320b和1320c。图像重构装置100可通过使用关于所述奇数个编码单元1320a至1320c的位置的信息来确定中心位置处的编码单元1320b。例如，图像重构装置100可通过基于指示包括在编码单元1320a、1320b和1320c中的预定样点的位置的信息确定编码单元1320a、1320b和1320c的位置，来确定中心位置的编码单元1320b。详细地，图像重构装置100可通过基于指示编码单元1320a、1320b和1320c的左上方样点1330a、1330b和1330c的位置的信息来确定编码单元1320a、1320b和1320c的位置，以确定中心位置处的编码单元1320b。

根据实施例，指示分别包括在编码单元1320a、1320b和1320c中的左上方样点1330a、1330b和1330c的位置的信息可包括关于编码单元1320a、1320b和1320c在画面中的位置或坐标的信息。根据实施例，指示分别包括在编码单元1320a、1320b和1320c中的左上方样点1330a、1330b和1330c的位置的信息可包括指示包括在当前编码单元1300中的编码单元1320a、1320b和1320c的宽度或高度的信息，并且所述宽度或高度可与指示编码单元1320a、1320b和1320c在画面中的坐标之间的差的信息对应。也就是说，图像重构装置100可通过直接使用关于编码单元1320a、1320b和1320c在画面中的位置或坐标的信息，或者通过使用关于编码单元的与坐标之间的差值对应的高度或宽度的信息来确定中心位置处的编码单元1320b。

根据实施例，指示上方编码单元1320a的左上方样点1330a的位置的信息可包括坐标(xa，ya)，指示中间编码单元1320b的左上方样点1330b的位置的信息可包括坐标(xb，yb)，并且指示下方编码单元1320c的左上方样点1330c的位置的信息可包括坐标(xc，yc)。图像重构装置100可通过使用分别包括在编码单元1320a、1320b和1320c中的左上方样点1330a、1330b和1330c的坐标来确定中间编码单元1320b。例如，当左上方样点1330a、1330b和1330c的坐标以升序或降序排序时，中心位置处的包括样点1330b的坐标(xb，yb)的编码单元1320b可被确定为通过对当前编码单元1300进行划分而确定的编码单元1320a、1320b和1320c之中的中心位置处的编码单元。然而，指示左上方样点1330a、1330b和1330c的位置的坐标可包括指示画面中的绝对位置的坐标，或者可使用指示中间编码单元1320b的左上方样点1330b相对于上方编码单元1320a的左上方样点1330a的位置的相对位置的坐标(dxb，dyb)以及指示下方编码单元1320c的左上方样点1330c相对于上方编码单元1320a的左上方样点1330a的位置的相对位置的坐标(dxc，dyc)。通过使用包括在编码单元中的样点的坐标作为指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法，并且可包括能够使用样点的坐标的各种算术方法。

根据实施例，图像重构装置100可将当前编码单元1300划分成多个编码单元1320a、1320b和1320c，并基于预定标准来选择编码单元1320a、1320b和1320c中的一个编码单元。例如，图像重构装置100可从编码单元1320a、1320b和1320c之中选择具有与其他编码单元的尺寸不同的尺寸的编码单元1320b。

根据实施例，图像重构装置100可通过使用指示上方编码单元1320a的左上方样点1330a的位置的坐标(xa，ya)、指示中间编码单元1320b的左上方样点1330b的位置的坐标(xb，yb)以及指示下方编码单元1320c的左上方样点1330c的位置的坐标(xc，yc)来确定编码单元1320a、1320b和1320c的宽度或高度。图像重构装置100可通过使用指示编码单元1320a、1320b和1320c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元1320a、1320b和1320c的尺寸。

根据实施例，图像重构装置100可将上方编码单元1320a的宽度确定为xb-xa，并将上方编码单元1320a的高度确定为yb-ya。根据实施例，图像重构装置100可将中间编码单元1320b的宽度确定为xc-xb，并将中间编码单元1320b的高度确定为yc-yb。根据实施例，图像重构装置100可通过使用当前编码单元1300的宽度或高度或者上方编码单元1320a和中间编码单元1320b的宽度或高度来确定下方编码单元1320c的宽度或高度。图像重构装置100可基于确定的编码单元1320a至1320c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图13，图像重构装置100可将具有与上方编码单元1320a和下方编码单元1320c的尺寸不同的尺寸的中间编码单元1320b确定为预定位置的编码单元。然而，由图像重构装置100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅对应于通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例，并且因此，通过对基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法可被使用。

然而，被认为用于确定编码单元的位置的样点的位置不限于上述左上方位置，并且关于编码单元中包括的样点的任意位置的信息可被使用。

根据实施例，考虑到当前编码单元的形状，图像重构装置100可从通过对当前编码单元进行划分所确定的奇数个编码单元之中选择预定位置处的编码单元。例如，在当前编码单元具有宽度比高度长的非正方形形状时，图像重构装置100可确定水平方向上的预定位置处的编码单元。也就是说，图像重构装置100可确定水平方向上的不同位置处的编码单元之一，并对该编码单元设置限制。在当前编码单元具有高度比宽度长的非正方形形状时，图像重构装置100可确定垂直方向上的预定位置处的编码单元。也就是说，图像重构装置100可确定垂直方向上的不同位置处的编码单元之一，并对该编码单元设置限制。

根据实施例，图像重构装置100可使用指示偶数个编码单元的位置的信息来确定所述偶数个编码单元之中的预定位置处的编码单元。图像重构装置100可通过对当前编码单元进行划分来确定偶数个编码单元，并且通过使用关于所述偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与已在上面结合图13详细描述的确定奇数个编码单元之中的预定位置(例如，中心位置)处的编码单元的操作对应，因此，这里不提供其详细描述。

根据实施例，当非正方形的当前编码单元被划分成多个编码单元时，可在划分操作中使用关于预定位置处的编码单元的预定信息，以确定所述多个编码单元之中的预定位置处的编码单元。例如，图像重构装置100可在划分操作中使用块形状信息和划分形状信息中的至少一条信息，以确定通过对当前编码单元进行划分而确定的多个编码单元之中的中心位置处的编码单元，其中，块形状信息和划分形状信息中的所述至少一条信息被存储在中心位置处的编码单元中所包括的样点中。

参照图13，图像重构装置100可基于块形状信息和划分形状信息中的至少一条信息将当前编码单元1300划分成多个编码单元1320a、1320b和1320c，并且确定多个编码单元1320a、1320b和1320c之中的中心位置处的编码单元1320b。此外，考虑到获得块形状信息和划分形状信息中的至少一条信息的位置，图像重构装置100可确定中心位置处的编码单元1320b。也就是说，当前编码单元1300的块形状信息和划分形状信息中的至少一条信息可从当前编码单元1300的中心位置处的样点1340获得，并且在当前编码单元1300基于块形状信息和划分形状信息中的至少一条信息被划分成多个编码单元1320a、1320b和1320c时，包括样点1340的编码单元1320b可被确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于块形状信息和划分形状信息中的至少一条信息，各种类型的信息可被用于确定中心位置处的编码单元。

根据实施例，可从包括在将被确定的编码单元中的预定样点获得用于识别预定位置处的编码单元的预定信息。参照图13，图像重构装置100可使用块形状信息和划分形状信息中的至少一条信息来确定通过对当前编码单元1300进行划分而确定的多个编码单元1320a、1320b和1320c之中的预定位置处的编码单元(例如，多个划分出的编码单元之中的中心位置处的编码单元)，其中，块形状信息和划分形状信息中的所述至少一条信息是从当前编码单元1300中的预定位置处的样点(例如，当前编码单元1300的中心位置处的样点)获得的。也就是说，图像重构装置100可通过考虑当前编码单元1300的块形状来确定预定位置处的样点，确定通过对当前编码单元1300进行划分而确定的多个编码单元1320a、1320b和1320c之中的包括可获得预定信息(例如，块形状信息和划分形状信息中的至少一条信息)的样点的编码单元1320b，并对编码单元1320b设置预定限制。参照图13，根据实施例，在解码操作中，图像重构装置100可将当前编码单元1300的中心位置处的样点1340确定为可获得预定信息的样点，并且对包括样点1340的编码单元1320b设置预定限制。然而，可获得预定信息的样点的位置不限于上述位置，并且可包括将被确定用于限制的编码单元1320b中所包括的样点的任意位置。

根据实施例，可基于当前编码单元1300的形状来确定可从其获得预定信息的样点的位置。根据实施例，块形状信息可指示当前编码单元具有正方形形状还是非正方形形状，并且可基于该形状确定可获得预定信息的样点的位置。例如，图像重构装置100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度和高度中的至少一个分成两半的边界上的样点确定为可获得预定信息的样点。作为另一示例，在当前编码单元的块形状信息指示非正方形形状时，图像重构装置100可将与用于将当前编码单元的长边分成两半的边界相邻的样点之一确定为可获得预定信息的样点。

根据实施例，在当前编码单元被划分成多个编码单元时，图像重构装置100可使用块形状信息和划分形状信息中的至少一条信息来确定所述多个编码单元之中的预定位置处的编码单元。根据实施例，图像重构装置100可从编码单元中的预定位置处的样点获得块形状信息和划分形状信息中的至少一条信息，并且通过使用从对当前编码单元进行划分而生成的多个编码单元中的每个编码单元中的预定位置的样点获得的划分形状信息和块形状信息中的至少一条信息对所述多个编码单元进行划分。也就是说，可基于从每个编码单元中的预定位置处的样点获得的块形状信息和划分形状信息中的至少一条信息来递归地对编码单元进行划分。上面已经结合图12描述了递归地对编码单元进行划分的操作，因此，这里将不提供其详细描述。

根据实施例，图像重构装置100可通过对当前编码单元进行划分来确定一个或更多个编码单元，并基于预定块(例如，当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。

图14示出根据实施例的当图像重构装置100通过对当前编码单元进行划分来确定多个编码单元时对多个编码单元进行处理的顺序。

根据实施例，图像重构装置100可基于块形状信息和划分形状信息通过沿垂直方向对第一编码单元1400进行划分来确定第二编码单元1410a和1410b，通过沿水平方向对第一编码单元1400进行划分来确定第二编码单元1430a和1430b，或者通过沿垂直方向和水平方向对第一编码单元1400进行划分来确定第二编码单元1450a至1450d。

参照图14，图像重构装置100可确定以水平方向顺序1410c对通过沿垂直方向对第一编码单元1400进行划分而确定的第二编码单元1410a和1410b进行处理。图像重构装置100可确定以垂直方向顺序1430c对通过沿水平方向对第一编码单元1400进行划分而确定的第二编码单元1430a和1430b进行处理。图像重构装置100可确定以用于对一行中的编码单元进行处理然后再对下一行中的编码单元进行处理的预定顺序(例如，以光栅扫描顺序或Z字形扫描顺序1450e)来对通过沿垂直方向和水平方向对第一编码单元1400进行划分而确定的第二编码单元1450a至1450d进行处理。

根据实施例，图像重构装置100可递归地对编码单元进行划分。参照图14，图像重构装置100可通过对第一编码单元1400进行划分来确定多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d，并且递归地对所确定的多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d中的每一个进行划分。多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d的划分方法可与第一编码单元1400的划分方法对应。这样，多个编码单元1410a、1410b、1430a、1430b、1450a、1450b、1450c和1450d中的每一个可独立地被划分为多个编码单元。参照图14，图像重构装置100可通过沿垂直方向对第一编码单元1400进行划分来确定第二编码单元1410a和1410b，并且确定独立地对第二编码单元1410a和1410b中的每一个进行划分或不对第二编码单元1410a和1410b中的每一个进行划分。

根据实施例，图像重构装置100可通过沿水平方向对左侧的第二编码单元1410a进行划分来确定第三编码单元1420a和1420b，并且可不对右侧的第二编码单元1410b进行划分。

根据实施例，可基于对编码单元进行划分的操作来确定编码单元的处理顺序。换句话说，可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像重构装置100可与右侧的第二编码单元1410b相独立地来确定通过对左侧的第二编码单元1410a进行划分而确定的第三编码单元1420a和1420b的处理顺序。因为第三编码单元1420a和1420b是通过沿水平方向对左侧的第二编码单元1410a进行划分被确定的，所以可以以垂直方向顺序1420c来对第三编码单元1420a和1420b进行处理。因为左侧的第二编码单元1410a和右侧的第二编码单元1410b以水平方向顺序1410c被处理，所以可在包括在左侧的第二编码单元1410a中的第三编码单元1420a和1420b以垂直方向顺序1420c被处理之后来对右侧的第二编码单元1410b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且各种方法可被用于以预定顺序对被划分并被确定为各种形状的编码单元进行独立处理。

图15示出根据实施例的由图像重构装置100执行的当编码单元不能以预定顺序处理时确定当前编码单元将被划分成奇数个编码单元的处理。

根据实施例，图像重构装置100可基于获得的块形状信息和划分形状信息来确定当前编码单元是否被划分为奇数个编码单元。参照图15，正方形的第一编码单元1500可被划分为非正方形的第二编码单元1510a和1510b，并且第二编码单元1510a和1510b可被独立地划分为第三编码单元1520a和1520b以及第三编码单元1520c至1520e。根据实施例，图像重构装置100可通过沿水平方向对左侧的第二编码单元1510a进行划分来确定多个第三编码单元1520a和1520b，并且将右侧的第二编码单元1510b划分为奇数个第三编码单元1520c至1520e。

根据实施例，图像重构装置100可通过判定第三编码单元1520a和1520b以及第三编码单元1520c至1520e是否可按预定顺序进行处理来确定是否将任意编码单元划分为奇数个编码单元。参照图15，图像重构装置100可通过递归地对第一编码单元1500进行划分来确定第三编码单元1520a和1520b以及第三编码单元1520c至1520e。图像重构装置100可基于块形状信息和划分形状信息中的至少一条信息确定第一编码单元1500、第二编码单元1510a和1510b、第三编码单元1520a和1520b以及1520c至1520e中的任意一个是否被划分为奇数个编码单元。例如，右侧的第二编码单元1510b可被划分为奇数个第三编码单元1520c至1520e。包括在第一编码单元1500中的多个编码单元的处理顺序可以是预定顺序(例如，Z字形扫描顺序1530)，并且图像重构装置100可判定通过将右侧的第二编码单元1510b划分为奇数个编码单元而确定的第三编码单元1520c至1520e是否满足以预定顺序进行处理的条件。

根据实施例，图像重构装置100可确定包括在第一编码单元1500中的第三编码单元1520a和1520b以及第三编码单元1520c至1520e是否满足以预定顺序进行处理的条件，并且所述条件与第二编码单元1510a和1510b的宽度和高度中的至少一个是否沿第三编码单元1520a和1520b以及第三编码单元1520c至1520e的边界被划分成两半有关。例如，通过将非正方形的左侧第二编码单元1510a的高度划分成两半而确定的第三编码单元1520a和1520b满足上述条件。然而，因为通过将右侧的第二编码单元1510b划分为三个编码单元而确定的第三编码单元1520c至1520e的边界未将右侧的第二编码单元1510b的宽度或高度划分成两半，所以可确定第三编码单元1520c至1520e不满足所述条件。当如上所述不满足所述条件时，图像重构装置100可判定扫描顺序的不连续性，并且基于判定结果确定右侧的第二编码单元1510b被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像重构装置100可对划分出的编码单元之中的预定位置处的编码单元设置预定限制。上面已经结合各种实施例描述了所述限制或预定位置，因此这里将不提供其详细描述。

图16示出根据实施例的由图像重构装置100执行的通过对第一编码单元1600进行划分来确定一个或更多个编码单元的处理。根据实施例，图像重构装置100可基于由接收器210获得的块形状信息和划分形状信息中的至少一条信息对第一编码单元1600进行划分。正方形的第一编码单元1600可被划分为四个正方形编码单元或多个非正方形编码单元。例如，参照图16，当块形状信息指示第一编码单元1600具有正方形形状并且划分形状信息指示将第一编码单元1600划分为非正方形编码单元时，图像重构装置100可将第一编码单元1600划分为多个非正方形编码单元。详细地，当划分形状信息指示通过沿水平方向或垂直方向对第一编码单元1600进行划分以确定奇数个编码单元时，图像重构装置100可将正方形的第一编码单元1600划分为奇数个编码单元，例如，通过沿垂直方向对正方形的第一编码单元1600进行划分而确定的第二编码单元1610a、1610b和1610c，或者通过沿水平方向对正方形的第一编码单元1600进行划分而确定的第二编码单元1620a、1620b和1620c。

根据实施例，图像重构装置100可确定包括在第一编码单元1600中的第二编码单元1610a、1610b、1610c、1620a、1620b和1620c是否满足以预定顺序进行处理的条件，并且所述条件与第一编码单元1600的宽度和高度中的至少一个是否沿第二编码单元1610a、1610b、1610c、1620a、1620b和1620c的边界被分成两半有关。参照图16，因为通过沿垂直方向对正方形的第一编码单元1600进行划分而确定的第二编码单元1610a、1610b和1610c的边界未将第一编码单元1600的宽度划分为两半，所以可确定第一编码单元1600不满足用于以预定顺序进行处理的条件。此外，因为通过沿水平方向对正方形的第一编码单元1600进行划分而确定的第二编码单元1620a、1620b和1620c的边界未将第一编码单元1600的高度划分为两半，所以可确定第一编码单元1600不满足以预定顺序进行处理的条件。当如上所述不满足所述条件时，图像重构装置100可判定扫描顺序的不连续性，并且可基于判定结果确定第一编码单元1600被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像重构装置100可对划分出的编码单元之中的预定位置处的编码单元设置预定限制。上面已经结合各种实施例描述了所述限制或预定位置，因此这里将不提供其详细描述。

根据实施例，图像重构装置100可通过对第一编码单元进行划分来确定各种形状的编码单元。

参照图16，图像重构装置100可将正方形的第一编码单元1600或非正方形的第一编码单元1630或1650划分为各种形状的编码单元。

图17示出根据实施例的当通过对第一编码单元1700进行划分而确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可被图像重构装置100划分为的形状被限制。

根据实施例，图像重构装置100可基于由接收器210获得的块形状信息和划分形状信息中的至少一条信息来确定将正方形的第一编码单元1700划分为非正方形的第二编码单元1710a、1710b、1720a和1720b。第二编码单元1710a、1710b、1720a和1720b可独立地被划分。这样，图像重构装置100可基于第二编码单元1710a、1710b、1720a和1720b中的每一个的块形状信息和划分形状信息中的至少一条信息来确定是否将第一编码单元1700划分为多个编码单元。根据实施例，图像重构装置100可通过沿水平方向对通过沿垂直方向对第一编码单元1700进行划分而确定的非正方形的左侧的第二编码单元1710a进行划分来确定第三编码单元1712a和1712b。然而，当左侧的第二编码单元1710a沿水平方向被划分时，图像重构装置100可将右侧的第二编码单元1710b限制为不沿左侧的第二编码单元1710a被划分的水平方向进行划分。当也通过沿水平方向对右侧的第二编码单元1710b进行划分来确定第三编码单元1714a和1714b时，因为左侧的第二编码单元1710a和右侧的第二编码单元1710b沿水平方向被独立地划分，所以可确定第三编码单元1712a、1712b、1714a和1714b。然而，这种情况同样地用于图像重构装置100基于块形状信息和划分形状信息中的至少一条信息将第一编码单元1700划分为四个正方形的第二编码单元1730a、1730b、1730c和1730d的情况，但是在图像解码方面可能是低效的。

根据实施例，图像重构装置100可通过沿垂直方向对通过沿水平方向对第一编码单元1700进行划分而确定的非正方形的第二编码单元1720a或1720b进行划分来确定第三编码单元1722a、1722b、1724a和1724b。然而，当第二编码单元(例如，上方的第二编码单元1720a)沿垂直方向被划分时，由于上述原因，图像重构装置100可将另一个第二编码单元(例如，下方的第二编码单元1720b)限制为不沿上方的第二编码单元1720a被划分的垂直方向进行划分。

图18示出根据实施例的由图像重构装置100执行的当划分形状信息指示一正方形编码单元将不被划分为四个正方形编码单元时对该一正方形编码单元进行划分的处理。

根据实施例，图像重构装置100可通过基于块形状信息和划分形状信息中的至少一条信息对第一编码单元1800进行划分来确定第二编码单元1810a、1810b、1820a、1820b等。划分形状信息可包括关于对编码单元进行划分的各种方法的信息，但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这个划分形状信息，图像重构装置100可不将正方形的第一编码单元1800划分为四个正方形的第二编码单元1830a、1830b、1830c和1830d。图像重构装置100可基于划分形状信息确定非正方形的第二编码单元1810a、1810b、1820a、1820b等。

根据实施例，图像重构装置100可独立地对非正方形的第二编码单元1810a、1810b、1820a、1820b等进行划分。第二编码单元1810a、1810b、1820a、1820b等中的每一个可以以预定顺序被递归地划分，并且这可与基于块形状信息和划分形状信息中的至少一条信息的第一编码单元1800的划分方法对应。

例如，图像重构装置100可通过沿水平方向对左侧的第二编码单元1810a进行划分来确定正方形的第三编码单元1812a和1812b，并且通过沿水平方向对右侧的第二编码单元1810b进行划分来确定正方形的第三编码单元1814a和1814b。此外，图像重构装置100可通过沿水平方向对左侧的第二编码单元1810a和右侧的第二编码单元1810b两者进行划分来确定正方形的第三编码单元1816a到1816d。在这种情况下，与从第一编码单元1800划分出的四个正方形的第二编码单元1830a、1830b、1830c和1830d具有相同形状的编码单元可被确定。

作为另一示例，图像重构装置100可通过沿垂直方向对上方的第二编码单元1820a进行划分来确定正方形的第三编码单元1822a和1822b，并且可通过沿垂直方向对下方的第二编码单元1820b进行划分来确定正方形的第三编码单元1824a和1824b。此外，图像重构装置100可通过沿垂直方向对上方的第二编码单元1820a和下方的第二编码单元1820b两者进行划分来确定正方形的第三编码单元1826a、1826b、1826c和1826d。在这种情况下，与从第一编码单元1800划分出的四个正方形的第二编码单元1830a、1830b、1830c和1830d具有相同形状的编码单元可被确定。

图19示出根据实施例的多个编码单元之间的处理顺序可依据对编码单元进行划分的处理而改变。

根据实施例，图像重构装置100可基于块形状信息和划分形状信息对第一编码单元1900进行划分。当块形状信息指示正方形形状并且划分形状信息指示沿水平方向和垂直方向中的至少一个方向对第一编码单元1900进行划分时，图像重构装置100可通过对第一编码单元1900进行划分来确定第二编码单元1910a、1910b、1920a、1920b、1930a、1930b、1930c和1930d。参照图19，通过仅沿水平方向或垂直方向对第一编码单元1900进行划分而确定的非正方形的第二编码单元1910a、1910b、1920a和1920b可基于每个编码单元的块形状信息和划分形状信息被独立地划分。例如，图像重构装置100可通过沿水平方向对通过沿垂直方向对第一编码单元1900进行划分而生成的第二编码单元1910a和1910b进行划分来确定第三编码单元1916a、1916b、1916c和1916d，并且通过沿垂直方向对通过沿水平方向对第一编码单元1900进行划分而生成的第二编码单元1920a和1920b进行划分来确定第三编码单元1926a、1926b、1926c和1926d。上面已经结合图17描述了对第二编码单元1910a、1910b、1920a和1920b进行划分的操作，因此，这里将不提供其详细描述。

根据实施例，图像重构装置100可以以预定顺序对编码单元进行处理。上面已经结合图14描述了以预定顺序对编码单元进行处理的操作，因此，这里将不提供其详细描述。参照图19，图像重构装置100可通过对正方形的第一编码单元1900进行划分来确定四个正方形的第三编码单元1916a、1916b、1916c和1916d、以及1926a、1926b、1926c和1926d。根据实施例，图像重构装置100可基于第一编码单元1900的划分方法确定第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d的处理顺序。

根据实施例，图像重构装置100可通过沿水平方向对通过沿垂直方向对第一编码单元1900进行划分而生成的第二编码单元1910a和1910b进行划分来确定第三编码单元1916a、1916b、1916c和1916d，并且可以以下面的处理顺序1917来对第三编码单元1916a、1916b、1916c和1916d进行处理：初始沿垂直方向对包括在左侧的第二编码单元1910a中的第三编码单元1916a和1916c进行处理，然后沿垂直方向对包括在右侧的第二编码单元1910b中的第三编码单元1916b和1916d进行处理。

根据实施例，图像重构装置100可通过沿垂直方向对通过沿水平方向对第一编码单元1900进行划分而生成的第二编码单元1920a和1920b进行划分来确定第三编码单元1926a、1926b、1926c和1926d，并且以下面的处理顺序1927对第三编码单元1926a、1926b、1926c和1926d进行处理：初始沿水平方向对包括在上方的第二编码单元1920a中的第三编码单元1926a和1926b进行处理，然后沿水平方向对包括在下方的第二编码单元1920b中的第三编码单元1926c和1926d进行处理。

参照图19，可通过对第二编码单元1910a、1910b、1920a和1920b进行划分来确定正方形的第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d。尽管不同于通过沿水平方向对第一编码单元1900进行划分而确定的第二编码单元1920a和1920b，通过沿垂直方向对第一编码单元1900进行划分确定第二编码单元1910a和1910b，但是从第二编码单元1910a和1910b以及第二编码单元1920a和1920b划分出的第三编码单元1916a、1916b、1916c、1916d、1926a、1926b、1926c和1926d最终显示为从第一编码单元1900划分出的相同形状的编码单元。这样，通过基于块形状信息和划分形状信息中的至少一条信息以不同的方式递归地对编码单元进行划分，即使在多个编码单元最终被确定为相同形状时，图像重构装置100也可以以不同顺序对所述多个编码单元进行处理。

图20示出根据实施例的当通过递归地对编码单元进行划分以确定多个编码单元时随着编码单元的形状和尺寸变化确定编码单元的深度的处理。

根据实施例，图像重构装置100可基于预定标准确定编码单元的深度。例如，所述预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分出的当前编码单元的长边的长度的2n(n>0)倍时，图像重构装置100可确定当前编码单元的深度从被划分之前的编码单元的深度增加了n。在以下描述中，具有增加的深度的编码单元被表示为深度更深的编码单元。

参照图20，根据实施例，图像重构装置100可通过基于指示正方形形状的块形状信息(例如，块形状信息可以被表示为“0：SQUARE”)对正方形的第一编码单元2000进行划分来确定深度更深的第二编码单元2002和第三编码单元2004。假设正方形的第一编码单元2000的尺寸是2N×2N，则通过将第一编码单元2000的宽度和高度划分为1/2¹而确定的第二编码单元2002可具有N×N的尺寸。此外，通过将第二编码单元2002的宽度和高度减小到1/2而确定的第三编码单元2004可具有N/2×N/2的尺寸。在这种情况下，第三编码单元2004的宽度和高度是第一编码单元2000的宽度和高度的1/2²。当第一编码单元2000的深度是D时，第二编码单元2002的深度可以是D+1，并且第三编码单元2004的深度可以是D+2，其中，第二编码单元2002的宽度和高度是第一编码单元2000的宽度和高度的1/2¹，第三编码单元2004的宽度和高度是第一编码单元2000的宽度和高度的1/2²。

根据实施例，图像重构装置100可通过基于指示非正方形形状的块形状信息(例如，块形状信息可被表示为指示高度比宽度长的非正方形形状的“1：NS_VER”，或者表示为指示宽度比高度长的非正方形形状的“2：NS_HOR”)对非正方形的第一编码单元2010或2020进行划分来确定深度更深的第二编码单元2012或2022以及第三编码单元2014或2024。

图像重构装置100可通过对尺寸为N×2N的第一编码单元2010的宽度和高度中的至少一个进行划分来确定第二编码单元2002、2012或2022。也就是说，图像重构装置100可通过沿水平方向对第一编码单元2010进行划分来确定尺寸为N×N的第二编码单元2002或尺寸为N×N/2的第二编码单元2022，或者通过沿水平方向和垂直方向对第一编码单元2010进行划分来确定尺寸为N/2×N的第二编码单元2012。

根据实施例，图像重构装置100可通过对尺寸为2N×N的第一编码单元2020的宽度和高度中的至少一个进行划分来确定第二编码单元2002、2012或2022。也就是说，图像重构装置100可通过沿垂直方向对第一编码单元2020进行划分来确定尺寸为N×N的第二编码单元2002或尺寸为N/2×N的第二编码单元2012，或者通过沿水平方向和垂直方向对第一编码单元2020进行划分来确定尺寸为N×N/2的第二编码单元2022。

根据实施例，图像重构装置100可通过对尺寸为N×N的第二编码单元2002的宽度和高度中的至少一个进行划分来确定第三编码单元2004、2014或2024。也就是说，图像重构装置100可通过沿垂直方向和水平方向对第二编码单元2002进行划分来确定尺寸为N/2×N/2的第三编码单元2004、尺寸为N/2²×N/2的第三编码单元2014、或者尺寸为N/2×N/2²的第三编码单元2024。

根据实施例，图像重构装置100可通过对尺寸为N/2×N的第二编码单元2012的宽度和高度中的至少一个进行划分来确定第三编码单元2004、2014或2024。也就是说，图像重构装置100可通过沿水平方向对第二编码单元2012进行划分来确定尺寸为N/2×N/2的第三编码单元2004或尺寸为N/2×N/2²的第三编码单元2024，或者通过沿垂直方向和水平方向对第二编码单元2012进行划分来确定尺寸为N/2²×N/2的第三编码单元2014。

根据实施例，图像重构装置100可通过对尺寸为N×N/2的第二编码单元2022的宽度和高度中的至少一个进行划分来确定第三编码单元2004、2014或2024。也就是说，图像重构装置100可通过沿垂直方向对第二编码单元2022进行划分来确定尺寸为N/2×N/2的第三编码单元2004或尺寸为N/2²×N/2的第三编码单元2014，或者通过沿垂直方向和水平方向对第二编码单元2022进行划分来确定尺寸为N/2×N/2²的第三编码单元2024。

根据实施例，图像重构装置100可沿水平方向或垂直方向对正方形的编码单元2000、2002或2004进行划分。例如，图像重构装置100可通过沿垂直方向对尺寸为2N×2N的第一编码单元2000进行划分来确定尺寸为N×2N的第一编码单元2010，或者通过沿水平方向对第一编码单元2000进行划分来确定尺寸为2N×N的第一编码单元2020。根据实施例，当基于编码单元的最长边的长度确定深度时，通过沿水平方向或垂直方向对尺寸为2N×2N的第一编码单元2000、2002或2004进行划分而确定的编码单元的深度可与第一编码单元2000、2002或2004的深度相同。

根据实施例，第三编码单元2014或2024的宽度和高度可以是第一编码单元2010或2020的宽度和高度的1/2²。当第一编码单元2010或2020的深度为D时，第二编码单元2012或2022的深度可以是D+1，并且第三编码单元2014或2024的深度可以是D+2，其中，第二编码单元2012或2022的宽度和高度是第一编码单元2010或2020的宽度和高度的1/2，第三编码单元2014或2024的宽度和高度是第一编码单元2010或2020的宽度和高度的1/2²。

图21示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。

根据实施例，图像重构装置100可通过对正方形的第一编码单元2100进行划分来确定各种形状的第二编码单元。参照图21，图像重构装置100可通过基于划分形状信息沿垂直方向和水平方向中的至少一个方向对第一编码单元2100进行划分来确定第二编码单元2102a、2102b、2104a、2104b、2106a、2106b、2106c和2106d。也就是说，图像重构装置100可基于第一编码单元2100的划分形状信息来确定第二编码单元2102a、2102b、2104a、2104b、2106a、2106b、2106c和2106d。

根据实施例，基于正方形的第一编码单元2100的划分形状信息确定的第二编码单元2102a、2102b、2104a、2104b、2106a、2106b、2106c和2106d的深度可以是基于它们的长边的长度确定的。例如，因为正方形的第一编码单元2100的边长等于非正方形的第二编码单元2102a、2102b、2104a和2104b的长边的长度，所以第一编码单元2100和非正方形的第二编码单元2102a、2102b、2104a和2104b可具有相同的深度，例如，D。然而，当图像重构装置100基于划分形状信息将第一编码单元2100划分为四个正方形的第二编码单元2106a、2106b、2106c和2106d时，因为正方形的第二编码单元2106a、2106b、2106c和2106d的边长是第一编码单元2100的边长的1/2，所以第二编码单元2106a、2106b、2106c和2106d的深度可以是比第一编码单元2100的深度D深1的D+1。

根据实施例，图像重构装置100可通过基于划分形状信息沿水平方向对高度比宽度长的第一编码单元2110进行划分来确定多个第二编码单元2112a、2112b、2114a、2114b和2114c。根据实施例，图像重构装置100可通过基于划分形状信息沿垂直方向对宽度比高度长的第一编码单元2120进行划分来确定多个第二编码单元2122a、2122b、2124a、2124b和2124c。

根据实施例，基于非正方形的第一编码单元2110或2120的划分形状信息确定的第二编码单元2112a、2112b、2114a、2114b、2114c、2122a、2122b、2124a、2124b和2124c的深度可基于它们的长边的长度被确定。例如，因为正方形的第二编码单元2112a和2112b的边长是具有高度比宽度长的非正方形形状的第一编码单元2110的长边的长度的1/2，所以正方形的第二编码单元2112a和2112b的深度是比非正方形的第一编码单元2110的深度D深1的D+1。

此外，图像重构装置100可基于划分形状信息将非正方形的第一编码单元2110划分为奇数个第二编码单元2114a、2114b和2114c。所述奇数个第二编码单元2114a、2114b和2114c可包括非正方形的第二编码单元2114a和2114c以及正方形的第二编码单元2114b。在这种情况下，因为非正方形的第二编码单元2114a和2114c的长边的长度和正方形的第二编码单元2114b的边长是第一编码单元2110的长边的长度的1/2，所以第二编码单元2114a、2114b和2114c的深度可以是比非正方形的第一编码单元2110的深度D深1的D+1。图像重构装置100可通过使用上述确定从第一编码单元2110划分出的编码单元的深度的方法来确定从具有宽度比高度长的非正方形形状的第一编码单元2120划分出的编码单元的深度。

根据实施例，当奇数个被划分出的编码单元不具有相等尺寸时，图像重构装置100可基于编码单元之间的尺寸比率来确定用于识别被划分出的编码单元的PID。参照图21，奇数个被划分出的编码单元2114a、2114b和2114c之中的中心位置的编码单元2114b可具有与其他编码单元2114a和2114c的宽度相等的宽度并且高度是其他编码单元2114a和2114c的高度的两倍。也就是说，在这种情况下，中心位置处的编码单元2114b可包括两个其他编码单元2114a或2114c。因此，假设中心位置处的编码单元2114b的PID基于扫描顺序是1，位于编码单元2114b旁边的编码单元2114c的PID可增加2，因此可以是3。也就是说，可能存在PID值的不连续性。根据实施例，图像重构装置100可基于用于识别被划分出的编码单元的PID是否存在不连续性来确定奇数个被划分出的编码单元是否不具有相等尺寸。

根据实施例，图像重构装置100可基于用于识别通过对当前编码单元进行划分而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图21，图像重构装置100可通过对具有高度比宽度长的矩形形状的第一编码单元2110进行划分来确定偶数个编码单元2112a和2112b或奇数个编码单元2114a、2114b和2114c。图像重构装置100可使用PID来识别多个编码单元。根据实施例，可从每个编码单元的预定位置的样点(例如，左上方样点)获得PID。

根据实施例，图像重构装置100可通过使用用于区分编码单元的PID来确定被划分出的编码单元之中的预定位置处的编码单元。根据实施例，当具有高度比宽度长的矩形形状的第一编码单元2110的划分形状信息指示将编码单元划分为三个编码单元时，图像重构装置100可将第一编码单元2110划分为三个编码单元2114a、2114b和2114c。图像重构装置100可将PID分配给三个编码单元2114a、2114b和2114c中的每一个。图像重构装置100可对奇数个被划分出的编码单元的PID进行比较，以确定所述奇数个被划分出的编码单元之中的中心位置处的编码单元。图像重构装置100可将具有与编码单元的PID之中的中间值对应的PID的编码单元2114b确定为通过对第一编码单元2110进行划分而确定的编码单元之中的中心位置处的编码单元。根据实施例，当被划分出的编码单元不具有相等尺寸时，图像重构装置100可基于被划分出的编码单元之间的尺寸比率来确定用于区分被划分出的编码单元的PID。参照图21，通过对第一编码单元2110进行划分而生成的编码单元2114b可具有与其他编码单元2114a和2114c的宽度相等的宽度并且高度是其他编码单元2114a和2114c的高度的两倍。在这种情况下，假设中心位置处的编码单元2114b的PID是1，位于编码单元2114b旁边的编码单元2114c的PID可增加2，因此可以是3。当PID如上所述不均匀地增加时，图像重构装置100可确定编码单元被划分为包括具有与其他编码单元的尺寸不同的尺寸的编码单元的多个编码单元。根据实施例，当划分形状信息指示将一编码单元划分为奇数个编码单元时，图像重构装置100可以以奇数个编码单元之中的预定位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式对当前编码单元进行划分。在这种情况下，图像重构装置100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而，预定位置的编码单元的PID和尺寸或位置不限于上述示例，并且编码单元的各种PID以及各种位置和尺寸可被使用。

根据实施例，图像重构装置100可使用预定数据单元，其中，编码单元从所述预定数据单元开始被递归地划分。

图22示出根据实施例的基于画面中包括的多个预定数据单元确定多个编码单元。

根据实施例，预定数据单元可被定义为这样的数据单元：通过使用块形状信息和划分形状信息中的至少一个在该数据单元开始对编码单元递归地进行划分。也就是说，预定数据单元可与最高深度的编码单元对应，其中，最高深度的编码单元用于确定从当前画面划分出的多个编码单元。在以下描述中，为了便于解释，将预定数据单元称为参考数据单元。

根据实施例，参考数据单元可具有预定的尺寸和形状。根据实施例，参考数据单元可包括M×N个样点。这里，M和N可彼此相等，并且可以是表示为2的倍数的整数。也就是说，参考数据单元可具有正方形或非正方形形状，并且可以是整数个编码单元。

根据实施例，图像重构装置100可将当前画面划分为多个参考数据单元。根据实施例，图像重构装置100可通过使用关于每个参考数据单元的划分信息对从当前画面划分出的多个参考数据单元进行划分。对参考数据单元进行划分的操作可与使用四叉树结构的划分操作对应。

根据实施例，图像重构装置100可预先确定包括在当前画面中的参考数据单元所允许的最小尺寸。这样，图像重构装置100可确定尺寸等于或大于所述最小尺寸的各种参考数据单元，并且参照所确定的参考数据单元通过使用块形状信息和划分形状信息来确定一个或更多个编码单元。

参照图22，图像重构装置100可使用正方形的参考编码单元2200或非正方形的参考编码单元2202。根据实施例，可基于能够包括一个或更多参考编码单元的各种数据单元(例如，序列、画面、条带、条带片段和最大编码单元)来确定参考编码单元的形状和尺寸。

根据实施例，图像重构装置100的接收器210可从比特流获得关于各种数据单元中的每一个的参考编码单元形状信息和参考编码单元尺寸信息中的至少一条信息。上面已经结合图10的对当前编码单元1000进行划分的操作描述了将正方形的参考编码单元2200划分为一个或更多个编码单元的操作，并且上面已经结合图11的对当前编码单元1100或1150进行划分的操作描述了将非正方形的参考编码单元2202划分为一个或更多个编码单元的操作。因此，这里将不提供其详细描述。

根据实施例，图像重构装置100可使用用于识别参考编码单元的尺寸和形状的PID，以根据先前基于预定条件确定的一些数据单元来确定参考编码单元的尺寸和形状。也就是说，接收器210可从比特流仅获得用于识别针对各种数据单元(例如，序列、画面、条带、条带片段和最大编码单元)之中的作为满足预定条件的数据单元(例如，尺寸等于或小于条带的数据单元)的每个条带、条带片段或最大编码单元的参考编码单元的尺寸和形状的PID。图像重构装置100可通过使用PID来确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，因为使用比特流的效率可能不高，所以可仅获得并使用PID，而不直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可预先确定与用于识别参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说，图像重构装置100可通过基于PID选择先前确定的参考编码单元的尺寸和形状中的至少一个来确定包括在用作获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。

根据实施例，图像重构装置100可使用包括在最大编码单元中的一个或更多个参考编码单元。也就是说，从画面划分出的最大编码单元可包括一个或更多个参考编码单元，并且可通过递归地对每个参考编码单元进行划分来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说，根据各种实施例，图像重构装置100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元，并且基于块形状信息和划分形状信息中的至少一条信息对参考编码单元进行划分。

图23示出根据实施例的用作用于确定包括在画面2300中的参考编码单元的确定顺序的单元的处理块。

根据实施例，图像重构装置100可确定从画面划分出的一个或更多个处理块。处理块是包括从画面划分出的一个或更多个参考编码单元的数据单元，并且可以以特定顺序确定处理块中包括的所述一个或更多个参考编码单元。也就是说，在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与用于确定参考编码单元的各种类型的顺序之一对应，并且可依据处理块而变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如，光栅扫描顺序、Z字形扫描、N字形扫描、右上对角扫描、水平扫描和垂直扫描)之一，但不限于上述扫描顺序。

根据实施例，图像重构装置100可获得处理块尺寸信息并确定包括在画面中的一个或更多个处理块的尺寸。图像重构装置100可从比特流获得处理块尺寸信息，并确定画面中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是数据单元的由处理块尺寸信息指示的预定尺寸。

根据实施例，图像重构装置100的接收器210可根据每个特定数据单元从比特流获得处理块尺寸信息。例如，可按照诸如图像、序列、画面、条带或条带片段的数据单元从比特流获得处理块尺寸信息。也就是说，接收器210可根据各种数据单元中的每一个从比特流获得处理块尺寸信息，并且图像重构装置100可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸。处理块的尺寸可以是参考编码单元的尺寸的整数倍。

根据实施例，图像重构装置100可确定画面2300中包括的处理块2302和2312的尺寸。例如，图像重构装置100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图23，根据实施例，图像重构装置100可将处理块2302和2312的宽度确定为参考编码单元的宽度的四倍，并且可将处理块2302和2312的高度确定为参考编码单元的高度的四倍。图像重构装置100可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。

根据实施例，图像重构装置100可基于处理块的尺寸来确定包括在画面2300中的处理块2302和2312，并且确定在处理块2302和2312中的一个或更多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可包括对参考编码单元的尺寸的确定。

根据实施例，图像重构装置100可从比特流获得一个或更多个处理块中所包括的一个或更多个参考编码单元的确定顺序信息，并基于获得的确定顺序信息确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，可针对每个处理块独立地确定参考编码单元的确定顺序。

根据实施例，图像重构装置100可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，接收器210可根据诸如图像、序列、画面、条带、条带片段或处理块的每个数据单元从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。

根据实施例，图像重构装置100可基于确定的确定顺序来确定一个或更多个参考编码单元。

根据实施例，接收器210可从比特流获得参考编码单元的确定顺序信息作为与处理块2302和2312有关的信息，并且图像重构装置100可确定包括在处理块2302和2312中的一个或更多个参考编码单元的确定顺序，并基于所述确定顺序确定包括在画面2300中的一个或更多个参考编码单元。参照图23，图像重构装置100可分别确定处理块2302和2312中的一个或更多个参考编码单元的确定顺序2304和2314。例如，当针对每个处理块获得参考编码单元的确定顺序信息时，可针对处理块2302和2312获得不同类型的参考编码单元的确定顺序信息。当处理块2302中的参考编码单元的确定顺序2304是光栅扫描顺序时，包括在处理块2302中的参考编码单元可以以光栅扫描顺序被确定。与此不同，当另一处理块2312中的参考编码单元的确定顺序2314是逆光栅扫描顺序时，包括在处理块2312中的参考编码单元可以以逆光栅扫描顺序被确定。

根据实施例，图像重构装置100可对确定的一个或更多个参考编码单元进行解码。图像重构装置100可基于如上所述确定的参考编码单元对画面进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。

根据实施例，图像重构装置100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状信息，并使用所获得的信息。块形状信息或划分形状信息可被包括在与各种数据单元有关的比特流中。例如，图像重构装置100可使用包括在序列参数集、画面参数集、视频参数集、条带头或条带片段头中的块形状信息或划分形状信息。此外，图像重构装置100可根据每个最大编码单元、参考编码单元或处理块从比特流获得与块形状信息或划分形状信息对应的语法，并使用所获得的语法。

虽然已经参照本公开的实施例具体示出并描述了本公开，但是本领域普通技术人员将理解，在不脱离由权利要求所定义的本公开的范围的情况下，可在形式和细节上进行各种改变。实施例应仅被认为是描述性的意义，而不是为了限制的目的。因此，本公开的范围不是由本公开的详细描述限定，而是由权利要求限定，并且该范围内的所有差异将被解释为包括在本公开中。

此外，本公开的前述实施例可被编写为计算机程序，并且可在通过使用计算机可读记录介质执行所述程序的通用数字计算机中被实现。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。

Claims (15)

1.一种图像重构方法，包括：

从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号；

通过使用所述残差信号和通过执行预测而获得的预测信号来对所述压缩图像进行解码；并且

通过使用深度神经网络DNN对解码的压缩图像执行上采样来对所述图像进行重构，

其中，所述DNN具有根据使用在下采样处理中生成的信息对上采样处理进行训练而预先确定的网络结构。

2.如权利要求1所述的图像重构方法，其中，对所述图像进行重构的步骤包括：通过使用包括多个隐藏层的深度卷积神经网络来执行上采样。

3.如权利要求2所述的图像重构方法，其中，通过使用所述深度卷积神经网络来执行上采样的步骤包括：通过使用多个滤波核中的至少一个滤波核在所述多个隐藏层中的每个隐藏层中执行滤波来执行上采样，并且

所述多个滤波核的类型与在所述图像被下采样时使用的滤波核的类型不同。

4.如权利要求2所述的图像重构方法，其中，对所述图像进行重构的步骤包括：通过在所述DNN的多个层中的每个层中使用至少一个滤波核来执行滤波。

5.如权利要求1所述的图像重构方法，其中，所述DNN被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息是通过对下采样被执行之前的原始图像和通过执行上采样而重构的图像进行比较确定的，并且

其中，所述至少一条损失信息中的一些损失信息在针对用于下采样的DNN的训练处理中被使用。

6.如权利要求5所述的图像重构方法，其中，用于下采样的DNN被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息是基于下采样被执行之前的原始图像与结构被重构的图像之间的差确定的，所述结构被重构的图像的空间尺寸基于原始图像的结构特征而被减小，并且

其中，所述压缩图像是通过已被执行了训练处理的用于下采样的DNN进行了下采样的图像。

7.如权利要求6所述的图像重构方法，其中，所述结构特征包括原始图像的亮度、对比度、直方图、编码质量、压缩历史信息和原始图像的类型中的至少一个。

8.一种图像压缩方法，包括：

通过使用深度神经网络DNN对图像执行下采样来确定压缩图像；

通过基于所述压缩图像执行预测来确定预测信号；

基于所述压缩图像和所述预测信号来确定残差信号；并且

生成包括关于所述残差信号的信息的比特流，

其中，所述DNN具有根据使用在上采样处理中生成的信息对下采样处理进行训练而预先确定的网络结构。

9.如权利要求8所述的图像压缩方法，其中，确定所述压缩图像的步骤包括：通过使用包括多个隐藏层的深度卷积神经网络来确定所述压缩图像。

10.如权利要求9所述的图像压缩方法，其中，确定所述压缩图像的步骤包括：通过使用多个滤波核中的至少一个滤波核在所述多个隐藏层中的每个隐藏层中执行滤波来生成所述压缩图像。

11.如权利要求10所述的图像压缩方法，其中，执行滤波的步骤包括：

在使用了多个滤波核的层中使用该多个滤波核来执行滤波，其中，所述使用了多个滤波核的层来自于所述多个隐藏层；

对根据滤波结果获得的多个信号进行串联；并且

通过使用串联后的信号作为下一层的输入，在下一层中执行滤波。

12.如权利要求8所述的图像压缩方法，其中，生成所述比特流的步骤包括：生成包括采样信息的比特流，其中，所述采样信息指示所述图像的尺寸和所述图像的帧速率中的至少一个的减小的程度，所述减小是由下采样引起的。

13.如权利要求9所述的图像压缩方法，其中，所述DNN被训练为使得至少一条损失信息之和减小，其中，所述至少一条损失信息指示通过使用所述DNN进行下采样而引起的损失，

其中，所述至少一条损失信息中的一些损失信息是通过对下采样被执行之前的原始图像和通过执行上采样而重构的图像进行比较确定的，并且

其中，比较的结果在针对用于上采样的DNN的训练处理中被使用。

14.如权利要求13所述的图像压缩方法，其中，比较的结果在针对用于上采样的DNN的训练处理中被使用。

15.一种图像重构装置，包括：

残差信号获得器，被配置为从比特流获得针对通过对图像进行下采样而获得的压缩图像的残差信号；以及

重构器，被配置为通过使用所述残差信号和通过执行预测获得的预测信号来对所述压缩图像进行解码，并通过使用深度神经网络DNN对解码的压缩图像执行上采样来对所述图像进行重构，

其中，所述DNN具有根据使用在下采样处理中生成的信息对上采样处理进行训练而预先确定的网络结构。