CN105075260A - 编码支持可伸缩性的多层结构视频的方法和解码其的方法以及用于其的装置 - Google Patents

Abstract

本发明涉及一种在支持可伸缩性的多层结构中用于编码和解码视频的方法以及用于其的装置，和根据本发明用于解码视频的方法包括以下步骤：用于当前块的推导预测采样；基于预测采样，恢复当前图片；对在恢复的当前图片中的块边缘应用去块滤波；和对恢复的图片的采样应用偏移。

Description

编码支持可伸缩性的多层结构视频的方法和解码其的方法以及用于其的装置

技术领域

本发明涉及视频编码和解码，并且更具体地，涉及在多层结构中用于重建要在当前的层中编码/解码的图片的方法和装置。

背景技术

近来，对高分辨率和高质量图像的需求已经在各种的应用领域中增长。由于图像具有更高的分辨率和更高的质量，有关图片的信息量也增长。

随着信息量的增长，引入具有各种环境的多功能设备和网络。因此，相同的内容可以使用不同的质量等级实现。

具体地，由于终端能够支持各种的图片质量，并且建立各种的网络环境，在一个环境下启用具有常规质量的图像，而在另一个环境下更高质量的图像是可用的。

例如，用户可以在家里在具有较高的分辨率的大屏幕显示器上欣赏经由便携式终端购买的视频内容。

近年来，由于高分辨率(HD)广播服务是可用的，所以大量的用户习惯于高分辨率和高质量的视频，并且服务提供者和服务用户也关注具有比HDTV高四倍分辨率的超高分辨率(UHD)服务。

因此，存在基于有关大容量视频的高效率的编码和解码方法对提供视频质量可缩放性，例如，图像质量、分辨率、视频的大小和帧速率，以便在不同的环境下对用户的需求提供变化的视频服务质量的需要。此外，有关涉及可伸缩性的各种的视频处理方法的论述也是必需的。

发明内容

本发明的目的在于提供在具有多层结构的可伸缩的视频编译中用于执行有效的层间预测的方法和装置。

本发明的目的在于提供通过使用用于层间预测的另一个层的图片，在具有多层结构的可伸缩的视频编译中用于有效地重建当前的层的图片的方法和装置。

本发明的目的在于提供在具有多层结构的可伸缩的视频编译中使用包括用于层间预测的另一个层的图片的运动矢量的运动信息的方法和装置。

本发明的一个实施例提供在支持可伸缩性的多层结构中的视频解码方法。该方法包括：基于执行用于当前块的层间预测的可能性来推导用于当前块的预测采样，通过增加预测采样和残留信号来重建当前的图片；将去块滤波应用于在重建的当前的图片中的块边缘；和将带偏移或者边缘偏移应用于当前的图片的采样。

本发明的另一个实施例提供在支持可伸缩性的多层结构中的视频编码方法。该方法包括：基于执行用于当前块的层间预测的可能性来推导用于当前块的预测采样，产生残留，该残留是在预测采样和原始信号之间的差；和发送关于残留的信息和用于推导预测采样的信息。

根据本发明，视频编译效率能够在多层结构中通过在可伸缩的视频编译中执行有效的层间预测提高。

根据本发明，在多层结构中当前的层的图片能够通过参考在可伸缩的视频编译中用于层间预测的不同层的图片来有效地重建。

根据本发明，在多层结构中，包括用于不同层的图片的运动矢量的运动信息能够在可伸缩的视频编译中有效地用于层间预测。

附图说明

图1是示意地图示根据本发明的实施例的支持可伸缩性的视频编码器的框图。

图2是图示在执行根据本发明的可伸缩的编译的编码器中的层间预测示例的框图。

图3示意地图示根据本发明在支持可伸缩性的多层结构中将运动矢量预测模式应用于当前块的方法。

图4示意地图示根据本发明在支持可伸缩性的多层结构中将合并模式应用于当前块的方法。

图5示意地图示根据本发明执行去块滤波的方法。

图6示意地图示应用带偏移方法的示例。

图7图示边缘偏移的四个类别。

图8示意地图示边缘偏移的分类。

图9是用于示意地图示根据本发明的视频编码器操作的示例的流程图。

图10是用于示意地图示根据本发明的关于视频解码器操作的示例的流程图。

具体实施方式

本发明能够以各种的形式修改，并且其特定的实施例将在附图中描述和示出。但是，该实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施例，但是，不意欲限制本发明。单数的表示包括多数表示，只要其清楚不同地读取。该术语，诸如“包括”和“具有”意欲表示存在在以下的描述中使用的特点、数目、步骤、操作、单元、分量或者其组合，并且因此，应该理解，不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、单元、分量或者其组合的可能性。

另一方面，在本发明描述的附图中的单元在图像编码/解码装置中为解释不同的特定功能的便利的目的独立地绘制，并且不意味该单元由单独的硬件或者单独的软件实施。例如，该单元的两个或更多个单元可以合并以形成单个单元，或者一个单元可以被分成多个单元。不脱离本发明的概念，该单元被合并和/或分解的实施例属于本发明的范围。

在下文中，本发明示范的实施例将参考伴随的附图详细描述。在该附图中类似的组成将由类似的附图标记引用，并且不会重复地描述。

在支持可伸缩性(在下文中，称为“可伸缩的编译”)的视频编译方法中，输入信号能够通过层处理。取决于层，输入信号(输入图像)可以在分辨率、帧速率、位深度、颜色格式和长宽比的至少一个方面彼此不同。

在本说明书中，可伸缩的编译包括可伸缩的编码和可伸缩的解码。

在可伸缩的编码/解码中，有可能通过使用层间差，也就是说，基于可伸缩性执行层间预测减少重复传输/信息的处理，并且提高压缩效率。

图1是根据本发明的实施例示意地图示支持可伸缩性的视频编码器的框图。

为了描述方便起见，图1图示包括二个层的多层结构。但是，本发明不受限于此，并且根据本发明的多层结构可以包括两个或更多个层。

参考图1，视频编码器100包括用于层1的编码模块105和用于层0的编码模块135。

层0可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。

用于层1的编码模块105包括预测模块110、变换/量化模块115、滤波模块120、解码的图片缓存器(DPB)125、熵编译模块130和复用器(MUX)165。

用于层0的编码模块135包括预测模块140、变换/量化模块145、滤波模块150、DPB155和熵编译模块160。

预测模块110和140可以对输入图像执行帧间预测和帧内预测。预测模块110和140可以通过预先确定的处理单元执行预测。用于预测的处理单元可以是编译单元(CU)、预测单元(PU)，或者可以是变换单元(TU)。

例如，预测模块110和140可以确定是否由CU实施帧间预测或者帧内预测，可以由PU确定预测模式，并且可以由PU或者TU执行预测。要执行的预测包括预测块的结构和残留块(残留信号)的结构。

在帧间预测中，该预测可以基于有关当前图片的先前的图片和/或后续的图片的至少一个的信息执行以构成预测块。在帧内预测中，该预测可以基于在当前图片中的像素信息执行以构成预测块。

帧间预测模式或者方法的示例包括跳过模式、合并模式、运动矢量预测(MVP)模式。在帧间预测中，用于要预测的当前PU的参考图片可以选择，并且对应于当前PU的参考块可以从参考图片中选择。预测模块110和140可以基于参考块构成预测块。

预测块可以作为整数采样单元或者作为分数像素单元构成。在这里，运动矢量也可以以分数像素表示。

在帧间预测中的运动信息，也就是说，诸如参考图片的索引、运动矢量和残留信号的信息被熵编码，并且发送给视频解码器。当应用跳过模式时，残留信号根本不能生成、变换、量化和发送。

在帧内预测中，预测模式可以包括33个方向的预测模式和至少2个无方向的模式。无方向的模式可以包括DC预测模式和平面模式。在帧内预测中，在滤波应用于参考采样之后，可以构成预测块。

PU可以是具有各种大小和形状的块。例如，在帧间预测中，PU可以是2N×2N、2N×N、N×2N或者N×N个块(这里N是整数)。在帧内预测中，PU可以是2N×2N或者N×N个块(这里N是整数)。具有N×N大小的PU可以被设置为仅仅应用于特定的情形。例如，具有N×N大小的PU可以被设置为仅仅用于最小的CU，或者仅仅用于帧内预测。除了具有以上提及大小的PU之外，PU可以进一步定义为供使用的N×mN个块、mN×N个块、2N×mN个块，或者mN×2N个块(这里m<1)。

此外，预测模块110可以使用有关层0的信息执行用于层1的预测。在本说明书中，为了方便起见，使用另一个层信息预测当前层信息的过程定义为层间预测。

使用另一个层信息(也就是说，由层间预测预测的)预测的当前层信息可以包括从纹理、运动信息、单元信息、预先确定的参数(例如，滤波参数)中选择的至少一个。

用于预测当前的层信息(也就是说，用于层间预测)的另一个层信息可以包括从纹理、运动信息、单元信息、预先确定的参数(例如，滤波参数)中选择的至少一个。

在层间预测中，当前块是在当前的层(在图1中的层1)中在当前的图片中的块，其可以是要编码的块。参考块是在属于与包括当前块的图片(当前的图片)相同的接入单元(AU)的图片(参考图片)中的块，其可以是在层(在图1中参考层，层0)中对应于当前块的块，其与当前块的预测有关。

层间预测的示例包括层间运动预测，其使用有关参考层的运动信息，预测有关当前的层的运动信息。根据层间运动预测，有关当前块的运动信息可以使用有关参考块的运动信息预测。

当应用层间运动预测时，预测模块110可以缩放和使用有关参考层的运动信息。

作为层间预测的另一个示例，层间纹理预测可以使用重建的参考块的纹理作为当前块的预测值。在这里，预测模块110可以通过上采样缩放参考块的纹理。

作为层间预测的再一个例子，层间单元信息预测可以推导有关参考层的单元(CU、PU和/或TU)信息以用作有关当前的层的单元信息，或者基于有关参考层的单元信息，确定有关当前的层的单元信息。

单元信息可以包括在每个单元级别中的信息。例如，CU信息可以包括有关分割(CU、PU和/或TU)的信息、有关变换的信息、有关预测的信息和有关编译的信息。PU信息可以包括有关PU分割的信息和有关预测(例如，运动信息和有关预测模式的信息)的信息。TU信息可以包括有关TU分割的信息和有关变换(变换系数和变换方法)的信息。

作为层间预测的又一个示例，层间参数预测可以重复使用用于当前的层的参考层的推导的参数，或者基于用于参考层的参数，预测用于当前的层的参数。

作为层间预测的再一个示例，层间残留预测可以使用有关另一个层的残留信息，预测当前的层的残留，并且基于当前的层的残留，预测当前块。

作为层间预测的又一个示例，层间差预测可以使用在通过上采样或者下采样在当前的层中重建的图片获得的图片和在参考层中重建的图片之间的差预测当前块。

作为层间预测的再一个示例，层间语法预测可以使用有关参考层的语法信息，预测或者产生当前块的纹理。在这里，有关用于参考的参考层的语法信息可以包括有关帧内预测模式、运动信息等等的信息。

在先前描述的方法之中的多个层间预测方法可以在特定的块的预测中使用。

虽然层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残留预测、层间差预测和层间语法预测已经作为层间预测的示例描述，可应用于本发明的层间预测不受限于此。

例如，层间预测可以作为用于当前的层的帧间预测的扩展应用。也就是说，从参考层中推导的参考图片可以在当前块的帧间预测时包括在可用于参考的参考图片中，去实施当前块的帧间预测。

在这种情况下，层间参考图片可以包括在用于当前块的参考图片列表中。预测模块110可以使用层间参考图片执行当前块的帧间预测。

在这里，层间参考图片可以是通过采样在参考层中重建的图片构成的参考图片以对应于当前的层。因此，当在参考层中的重建的图片对应于在当前的层中的图片时，在参考层中的重建的图片可以无需采样用作层间参考图片。例如，当在参考层中的重建的图片和在当前的层中的重建的图片的采样具有相同的宽度和高度，并且在参考层中的图片和在当前的层中的图片之间的偏移在左上、右上、左下和右下是0时，在参考层中的重建的图片可以无需经历采样用作用于当前的层的层间参考图片。

在层间参考图片从其中推导的参考层中的重建的图片可以属于与要编码的当前的图片相同的AU。

当以包括层间参考图片的参考图片列表执行当前块的帧间预测时，在参考图片列表中的层间参考图片的位置可以在参考图片列表L0和L1中变化。例如，在参考图片列表L0中，层间参考图片可以放置在当前图片之前的短期参考图片之后。在参考图片列表L1中，层间参考图片可以放置在最后。

在这里，参考图片列表L0是用于预测片段(“P片段”)的帧间预测的参考图片列表，或者用作在双预测片段(“B片段”)的帧间预测中的第一参考图片列表。参考图片列表L1是在B片段的帧间预测中使用的第二参考图片列表。

因此，参考图片列表L0可以通过顺序地包括在当前图片之前的短期参考图片、层间参考图片、在当前的图片之后的短期参考图片、和长期参考图片构成。参考图片列表L1可以通过顺序地包括在当前图片之后的短期参考图片、在当前的图片之前的短期参考图片、长期参考图片、和层间参考图片构成。

在这里，P片段是每个预测块使用最多一个运动矢量和参考图片索引，经历帧内预测或者帧间预测的片段。B片段是每个预测块使用最多二个运动矢量和参考图片索引，经历帧内预测或者帧间预测的片段。此外，帧内片段(“I片段”)是仅仅经历帧内预测的片段。

片段是一个或多个片段分割的序列。片段序列从单独的片段分割开始。当在下一个单独的片段分割之前的相关的片段分割存在于相同的AU中时，片段包括作为片段序列开始者的单独的片段分割和在下一个单独的片段之前的相关的片段分割。

片段分割可以是以平铺扫描连贯地排序的编译树单元(CTU)或者编译树块(CTB)的序列，并且包括在单个网络提取层(NAL)单元中。CTU是以四树结构的编译单元，其可以是最大的编译单元(LCU)。在本说明书中，为了更好地理解本发明，术语“CTU”和“LCU”可以根据需要共同地使用。

在片段分割中，片段分割的第一CTB(CTU)或者包括关于所有CTB(CTU)的数据元素的部分称为片段分割报头。在这里，单独的片段分割的片段分割报头可以称为片头。

片段可以是NAL单元的传输单元。例如，NAL单元可以通过包括片段或者片段分割构成。

当当前块的帧间预测基于包括层间参考图片的参考图片列表执行时，参考图片列表可以包括从多个层推导的多个层间参考图片。

当参考图片列表包括多个层间参考图片时，层间参考图片可以在L0和L1中以互换方式安排。例如，假如二个层间参考图片、层间参考图片ILRPi和层间参考图片ILRPj包括在用于当前块的帧间预测的参考图片列表中。在这种情况下，ILRPi可以放置在当前的图片之前的短期参考图片之后，并且ILRPj可以在参考图片列表L0中放置在最后。此外，ILRPi可以放置在最后，并且ILRPj可以在参考图片列表L1中放置在当前的图片之前的短期参考图片之后。

在这种情况下，参考图片列表L0可以通过顺序地包括在当前图片之前的短期参考图片、层间参考图片ILRPi、在当前的图片之后的短期参考图片、长期参考图片、和层间参考图片ILRPj构成。参考图片列表L1可以通过顺序地包括在当前图片之后的短期参考图片、层间参考图片ILRPj、在当前的图片之前的短期参考图片、长期参考图片、和层间参考图片ILRPi构成。

此外，二个层间参考图片的一个可以是从分辨率可伸缩的层中推导的层间参考图片，并且另一个可以是从提供不同的视图的层中推导的层间参考图片。在这种情况下，例如，在仅仅支持除视图可伸缩性外的其他可伸缩性的可伸缩的视频编译中，当ILRPi是从提供不同等级的分辨率的层中推导的层间参考图片，并且ILRPj是从提供不同的视图的层中推导的层间参考图片时，参考图片列表L0可以通过顺序地包括在当前图片之前的短期参考图片、层间参考图片ILRPi、在当前的图片之后的短期参考图片和长期参考图片构成，并且参考图片列表L1可以通过顺序地包括在当前图片之后的短期参考图片、在当前的图片之前的短期参考图片、长期参考图片、和层间参考图片ILRPi构成。

同时，在层间预测中，作为有关层间参考图片的信息，可以仅仅使用采样值，可以仅仅使用运动信息(运动矢量)，或者可以使用采样值和运动信息两者。当参考图片索引表示层间参考图片时，预测模块110可以取决于从编码器接收的信息，仅仅使用层间参考图片的采样值，仅仅有关层间参考图片的运动信息(运动矢量)，或者层间参考图片的采样值和有关层间参考图片的运动信息两者。

当仅仅使用层间参考图片的采样值时，预测模块110可以推导由在层间参考图片中的运动矢量指定的块的采样作为当前块的预测的采样。在不考虑视图的可伸缩的视频编译中，在使用层间参考图片(层间预测)的帧间预测中的运动矢量可以被设置为固定值(例如，0)。

当仅仅使用有关层间参考图片的运动信息时，预测模块110可以使用在层间参考图片中指定的运动矢量作为用于推导当前块的运动矢量的运动矢量预测器。此外，预测模块110可以使用在层间参考图片中指定的运动矢量作为当前块的运动矢量。

当使用层间参考图片的采样和有关层间参考图片的运动信息两者时，预测模块110可以使用在层间参考图片中对应于当前块的区域中的采样、和在用于当前块预测的层间参考图片中指定的运动信息(运动矢量)。

当应用层间预测时，编码器可以将表示在参考图片列表中的层间参考图片的参考索引发送给解码器，并且还将指定编码器使用有关层间参考图片的哪个信息(采样信息、运动信息或者采样信息和运动信息两者)的信息，也就是说，指定在层间预测中在二个层之间的相关类型的信息发送给解码器。

变换/量化模块115和145可以通过TU变换残留块，以生成变换系数并且可以量化该变换系数。

变换块是相同的变换应用于的采样的矩形块。该变换块可以是TU，并且可以具有四树结构。

变换/量化模块115和145可以基于应用于残留块的预测模式和变换块的大小执行变换以生成二维(2D)阵列的变换系数。例如，当帧内预测应用于残留块，并且该残留块具有4×4阵列时，该残留块可以被使用离散正弦变换(DST)变换。另外，该残留块可以被使用离散余弦变换(DCT)变换。

变换/量化模块115和145可以量化该变换系数，以生成该量化的变换系数。

变换/量化模块115和145可以将量化的变换系数发送给熵编译模块130和160。在这里，变换/量化模块115和145可以以预先确定的扫描顺序将2D阵列的量化的变换系数重新安排为一维的(1D)阵列，并且可以将重新安排的1D阵列发送给熵编译模块130和160。变换/量化模块115和145可以无需被变换/量化将基于残留块和预测块产生的重建的块发送给用于帧间预测的滤波模块120和150。

必要时，变换/量化模块115和145可以跳过变换，并且仅仅执行量化，或者可以跳过变换和量化两者。例如，变换/量化模块115和165可以跳过用于涉及特定的预测方法，或者具有特定的大小的块，或者涉及特定的预测块并且具有特定大小的块的变换。

熵编译模块130和160可以对量化的变换系数执行熵编码。编码方法，诸如指数Golomb编译和上下文自适应的二进制运算编译(CABAC)可以用于熵编码。

滤波模块120和150可以将去块滤波、自适应环路滤波器(ALF)，或者采样自适应的偏移(SAO)应用于重建的图片。

该去块滤波可以在重建的图片中除去在块之间的边界上产生的块失真。ALF可以基于将原始图片与重建的图片(其中块由去块滤波滤除)比较的结果值执行滤波过程。SAO可以通过在已经经历去块滤波的残留块和原始图片之间的像素重建偏移差，并且以带偏移、边缘偏移等等的形式应用。

滤波模块120和150不能应用去块滤波、ALF和SAO的全部，但是可以仅仅应用去块滤波、可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SAO。

DPB125和155可以从滤波模块125和150接收和存储重建的块或者重建的图片。DPB125和155可以将重建的块或者图片提供给执行帧间预测的预测模块110和140。

从用于层0的熵编译模块160输出的信息和从用于层1的熵编译模块130输出的信息可以由MUX165复用，并且可以作为比特流输出。

虽然用于层1的编码模块105为了方便起见已经描述为包括MUX165，但是MUX可以是与用于层1的编码模块105和用于层0的编码模块135无关的设备或者模块。

此外，虽然已经描述可伸缩的视频编译在包括二个层的多层结构中执行，但是本发明不受限于此。例如，图1的编码器也可以应用于包括两个或更多个层的多层结构。当编码器应用于包括N个层的多层结构时，图1的层0和层1可以是具有在N个层之中的参考关系的二个层。

在这里，编码器可以将指定在二个层之间的参考关系的信息发送给解码器。例如，当二个层具有在层间预测中的相关关系时，编码器可以发送direct_dependency_flag[L][M]。当direct_dependency_flag[L][M]是1时，第L个层可以通过参考第M个层预测。

图2是图示在执行根据本发明的可伸缩的编译的编码器中的层间预测示例的框图。

参考图2，视频解码器200包括用于层1的解码模块210和用于层0的解码模块250。

层0可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。

用于层1的解码模块210可以包括熵解码模块215、重新排列模块220、去量化模块225、逆变换模块230、预测模块235、滤波模块240、和存储器245。

用于层0的解码模块250可以包括熵解码模块255、重新排列模块260、去量化模块265、逆变换模块270、滤波模块280、和存储器285。

当包括图像信息的比特流被从视频编码器发送时，解复用器(DEMUX)205可以通过层解复用该信息，并且可以通过层将该信息发送给解码器。

熵解码模块215和255可以执行对应于在视频编码器中使用的熵编译方法的熵解码。例如，当在视频编码器中使用CABAC时，熵解码模块215和255可以使用CABAC执行熵解码。

在由熵解码模块215和255解码的信息以外用于构成预测块的信息可以提供给预测模块235和275，并且由熵解码模块215和255熵解码的残留值(其是量化的变换系数)可以输入给重新排列模块220和260。

重新排列模块220和260可以基于在视频编码器中使用的重新排列方法重新安排由熵解码模块215和255熵解码的比特流的信息，也就是说，量化的变换系数。

例如，重新排列模块220和260可以将1D阵列的量化的变换系数重新安排回为2D阵列的系数。重新排列模块220和260可以基于应用于当前块(变换块)的预测模式和/或变换块的大小执行扫描，以构成2D阵列的系数(量化的变换系数)。

去量化模块225和265可以基于从视频编码器发送的量化参数和该块重新安排的系数执行去量化以生成变换系数。

去量化模块225和265可以无需去量化残留值，取决于预先确定的条件，或者取决于用于视频编码器的量化方法将熵解码的残留值发送给逆变换模块230和270。

在视频编码器中，DCT和/或DST可以取决于多个信息单元，诸如预测方法、当前块的大小和预测方向有选择地执行，并且视频解码器的逆变换模块230和270可以基于由视频解码器使用的变换信息执行逆变换。

例如，逆变换模块230和270可以取决于预测模式/块大小执行逆DCT和逆DST。具体地，逆变换模块230和270可以对帧内预测已经应用于的4×4亮度块执行逆DST。

可替选地，逆变换模块230和270可以不考虑预测模式/块大小固定地使用特定的逆变换方法。例如，逆变换模块230和270可以仅仅将逆DST应用于所有变换块。逆变换模块230和270也可以仅仅将逆DCT应用于所有变换块。

逆变换模块230和270可以反向地变换变换系数或者变换系数块以构成残留信号或者残留块。

必要时，或者取决于用于视频编码器的编码方法，逆变换模块230和270可以跳过变换。例如，逆变换模块230和270可以跳过用于涉及特定的预测方法，或者具有特定的大小的块，或者涉及特定的预测块并且具有特定大小的块的变换。

预测模块235和275可以基于从熵解码模块215和255提供的预测块结构信息和有关预先地解码的块的信息、和/或从存储器245和285提供的图片来构成当前块的预测块。

当用于当前块的预测模式是帧内预测模式时，预测模块235和275可以基于有关在当前图片中像素的信息对当前块执行帧内预测。

当用于当前块的预测模式是帧间预测模式时，预测模块235和275可以基于包括在当前图片的先前的图片和后续的图片的至少一个中的信息对当前块执行帧间预测。为帧间预测所必需的部分或者全部运动信息可以基于从视频编码器接收的信息推导。

当跳跃模式用作帧间预测模式时，该残留不能从视频编码器发送，并且该预测块可以用作重建块。

用于层1的预测模块235可以仅仅使用在层1中的信息执行帧间预测或者帧内预测，并且可以使用有关另一个层(层0)的信息执行层间预测。

有关使用有关另一个层(也就是说，通过层间预测预测的)的信息预测的当前的层的信息可以是纹理、运动信息、单元信息和预先确定的参数(例如，滤波参数)的至少一个。

有关用于当前的层的预测(也就是说，用于层间预测)的另一个层信息的信息可以是纹理、运动信息、单元信息和预先确定的参数(例如，滤波参数)的至少一个。

在层间预测中，当前块是在当前的层(在图2中的层1)中在当前的图片中的块，其可以是要解码的块。参考块是在属于与包括当前块的图片(当前的图片)相同的接入单元(AU)的图片(当前的图片)中的块，其可以是在层(在图2中参考层，层0)中对应于当前块的块，其与当前块的预测有关。

层间预测的示例包括层间运动预测，其使用有关参考层的运动信息，预测有关当前的层的运动信息。根据层间运动预测，有关当前块的运动信息可以使用有关参考块的运动信息预测。

当应用层间运动预测时，预测模块235可以缩放和使用有关参考层的运动信息。

作为层间预测的另一个示例，层间纹理预测可以使用重建的参考块的纹理作为当前块的预测值。在这里，预测模块235可以通过上采样缩放参考块的纹理。

作为层间预测的再一个例子，层间单元信息预测可以推导有关参考层的单元(CU、PU和/或TU)信息以用作有关当前的层的单元信息，或者基于有关参考层的单元信息，确定有关当前的层的单元信息。

单元信息可以包括在每个单元级别中的信息。例如，CU信息可以包括有关分割(CU、PU和/或TU)的信息、有关变换的信息、有关预测的信息、和有关编译的信息。PU信息可以包括有关PU分割的信息和有关预测(例如，运动信息和有关预测模式的信息)的信息。TU信息可以包括有关TU分割的信息和有关变换(变换系数和变换方法)的信息。

作为层间预测的又一个示例，层间参数预测可以重复使用用于当前的层的参考层的推导的参数，或者基于用于参考层的参数，预测用于当前的层的参数。

作为层间预测的再一个示例，层间残留预测可以使用有关另一个层的残留信息，预测当前的层的残留，并且基于当前的层的残留，预测当前块。

作为层间预测的又一个示例，层间差预测可以使用在通过上采样或者下采样在当前的层中重建的图片获得的图片和在参考层中重建的图片之间的差预测当前块。

作为层间预测的再一个示例，层间语法预测可以使用有关参考层的语法信息，预测或者产生当前块的纹理。在这里，有关用于参考的参考层的语法信息可以包括有关帧内预测模式、运动信息等等的信息。

在先前描述的方法之中的多个层间预测方法可以在特定的块的预测中使用。

虽然层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残留预测、层间差预测、和层间语法预测已经作为层间预测的示例描述，可应用于本发明的层间预测不受限于此。

例如，层间预测可以作为用于当前的层的帧间预测的扩展应用。也就是说，从参考层中推导的参考图片可以在当前块的帧间预测时包括在可用于参考的参考图片中，去实施当前块的帧间预测。

当从编码器接收或者从邻近块推导的参考图片索引表示在参考图片列表中的层间参考图片时，预测模块235可以使用层间参考图片执行层间预测。例如，当参考图片索引表示层间参考图片时，预测模块235可以推导由在参考图片中的运动矢量指定的区域的采样值作为当前块的预测块。

在这种情况下，层间参考图片可以包括在用于当前块的参考图片列表中。预测模块235可以使用层间参考图片执行当前块的帧间预测。

在这里，层间参考图片可以是通过采样在参考层中重建的图片构成的参考图片以对应于当前的层。因此，当在参考层中的重建的图片对应于在当前的层中的图片时，在参考层中的重建的图片可以无需采样用作层间参考图片。例如，当在参考层中的重建的图片和在当前的层中的重建的图片的采样具有相同的宽度和高度，并且在参考层中的图片和在当前的层中的图片之间的偏移在左上、右上、左下和右下是0时，在参考层中的重建的图片可以无需经历采样用作用于当前的层的层间参考图片。

在层间参考图片从其中推导的参考层中的重建的图片可以属于与要编码的当前的图片相同的AU。当以包括层间参考图片的参考图片列表执行当前块的帧间预测时，在参考图片列表中的层间参考图片的位置可以在参考图片列表L0和L1中变化。例如，在参考图片列表L0中，层间参考图片可以放置在当前图片之前的短期参考图片之后。在参考图片列表L1中，层间参考图片可以放置在最后。

在这里，参考图片列表L0是用于P片段的帧间预测的参考图片列表，或者用作在B片段的帧间预测时的第一参考图片列表。参考图片列表L1是在B片段的帧间预测中使用的第二参考图片列表。

因此，参考图片列表L0可以通过顺序地包括在当前图片之前的短期参考图片、层间参考图片、在当前的图片之后的短期参考图片、和长期参考图片构成。参考图片列表L1可以通过顺序地包括在当前图片之后的短期参考图片、在当前的图片之前的短期参考图片、长期参考图片、和层间参考图片构成。

在这里，P片段是每个预测块使用最多一个运动矢量和参考图片索引，经历帧内预测或者帧间预测的片段。B片段是每个预测块使用最多二个运动矢量和参考图片索引，经历帧内预测或者帧间预测的片段。此外，I片段是仅仅经历帧内预测的片段。

当当前块的帧间预测基于包括层间参考图片的参考图片列表执行时，参考图片列表可以包括从多个层推导的多个层间参考图片。

当参考图片列表包括多个层间参考图片时，层间参考图片可以在L0和L1中以互换方式安排。例如，假如二个层间参考图片、层间参考图片ILRPi和层间参考图片ILRPj包括在用于当前块的帧间预测的参考图片列表中。在这种情况下，ILRPi可以放置在当前的图片之前的短期参考图片之后，并且ILRPj可以在参考图片列表L0中放置在最后。此外，ILRPi可以放置在最后，并且ILRPj可以在参考图片列表L1中放置在当前的图片之前的短期参考图片之后。

在这种情况下，参考图片列表L0可以通过顺序地包括在当前图片之前的短期参考图片、层间参考图片ILRPi、在当前的图片之后的短期参考图片、长期参考图片、和层间参考图片ILRPj构成。参考图片列表L1可以通过顺序地包括在当前图片之后的短期参考图片、层间参考图片ILRPj、在当前的图片之前的短期参考图片、长期参考图片、和层间参考图片ILRPi构成。

此外，二个层间参考图片的一个可以是从分辨率可伸缩的层中推导的层间参考图片，并且另一个可以是从提供不同的视图的层中推导的层间参考图片。在这种情况下，例如，在仅仅支持除视图可伸缩性外的其他可伸缩性的可伸缩的视频编译中，当ILRPi是从提供不同等级的分辨率的层中推导的层间参考图片，并且ILRPj是从提供不同的视图的层中推导的层间参考图片时，参考图片列表L0可以通过顺序地包括在当前图片之前的短期参考图片、层间参考图片ILRPi、在当前的图片之后的短期参考图片和长期参考图片构成，并且参考图片列表L1可以通过顺序地包括在当前图片之后的短期参考图片、在当前的图片之前的短期参考图片、长期参考图片、和层间参考图片ILRPi构成。

同时，在层间预测中，作为有关层间参考图片的信息，可以仅仅使用采样值，可以仅仅使用运动信息(运动矢量)，或者可以使用采样值和运动信息两者。当参考图片索引表示层间参考图片时，预测模块235可以取决于从编码器接收的信息，仅仅使用层间参考图片的采样值，仅仅有关层间参考图片的运动信息(运动矢量)，或者层间参考图片的采样值和有关层间参考图片的运动信息两者。

当仅仅使用层间参考图片的采样值时，预测模块235可以推导由在层间参考图片中的运动矢量指定的块的采样作为当前块的预测的采样。在不考虑视图的可伸缩的视频编译中，在使用层间参考图片(层间预测)的帧间预测中的运动矢量可以被设置为固定值(例如，0)。

当仅仅使用有关层间参考图片的运动信息时，预测模块235可以使用在层间参考图片中指定的运动矢量作为用于推导当前块的运动矢量的运动矢量预测器。此外，预测模块235可以使用在层间参考图片中指定的运动矢量作为当前块的运动矢量。

当使用层间参考图片的采样和有关层间参考图片的运动信息两者时，预测模块235可以使用在层间参考图片中对应于当前块的区域中的采样、和在用于当前块预测的层间参考图片中指定的运动信息(运动矢量)。

解码器可以从编码器接收表示在参考图片列表中的层间参考图片的参考索引，并且基于参考索引执行层间预测。此外，解码器可以从编码器接收指定有关解码器使用层间参考图片的哪个信息(采样信息、运动信息或者采样信息和运动信息两者)的信息，也就是说，指定在层间预测时在二个层之间的相关类型的信息。

加法器290和295可以使用由预测模块235和275构成的预测块和由逆变换模块230和270构成的残留块构成重建块。在这种情况下，加法器290和295可以被认为是构成重建块的单独的模块(重建块构成模块)。

由加法器290和295重建的块和/或图片可以提供给滤波模块240和280。

参考图2，用于层1的滤波模块240可以使用从用于层1的预测模块和/或用于层1的滤波模块280发送的参数信息对重建的图片执行滤波操作。例如，用于层1的滤波模块240可以对层1执行滤波操作，或者使用从应用于层0的滤波参数预测的参数执行层间滤波操作。

存储器245和285可以存储供参考图片或者参考块使用的重建的块或者图片。存储器245和285可以经由预先确定的输出模块(未示出)或者显示器(未示出)输出在存储器245和285中存储的重建的图片。

虽然图2图示重新排列模块、去量化模块和逆变换模块作为单独的模块，视频解码器也可以配置为启用去量化/逆变换模块作为单个模块，以连续地执行类似图1的视频编码器的重新排列、去量化和逆变换。

此外，虽然已经描述可伸缩的视频解码在包括二个层的多层结构中执行，但是本发明不受限于此。例如，图2的解码器也可以应用于包括两个或更多个层的多层结构。当编码器应用于包括N个层的多层结构时，图2的层0和层1可以是具有在N个层之中的参考关系的二个层。

在这里，解码器可以从编码器接收指定在二个层之间的参考关系的信息。例如，当二个层具有在层间预测中的相关关系时，解码器可以接收direct_dependency_flag[L][M]。当direct_dependency_flag[L][M]是1时，第L个层可以通过参考第M个层预测。

虽然图1和2图示该预测模块，但是用于层1的预测模块可以包括使用有关另一个层(层0)的信息执行预测过程的层间预测模块、和无需使用有关另一个层(层0)的信息执行预测过程的帧间/帧内预测模块。

在编码和解码在是可伸缩的编译的比特流中支持多个层的视频时，在多个层之中存在强的相关。因此，当使用该相关执行预测时，数据的冗余元素可以被除去，并且视频编码性能可以被增强。

多个层可以在分辨率、帧速率、颜色格式和视图的至少一个方面相互不同。因此，用于调整分辨率的上采样或者下采样可以执行以在层间预测中使用有关另一个层的信息。

在不同的层之间的层间相关表示是否在一个层中的块/图片通过参考在另一个层中的块/图片解码。因此，在多层结构中，当在当前的层和参考层之间存在相关时，当前的层可以通过引用参考层预测。“层”可以是编译维度的表示。编译维度可以包括可伸缩性(例如，空间可伸缩性、时间可伸缩性和质量可伸缩性)、视图和深度编译表示。认为当应用层间预测时，考虑层间相关，而不受限于此。例如，在如上所述的层间帧内预测、层间运动预测、层间语法预测、层间残留预测和层间单元预测中也可以考虑层间相关。

如在图1和图2的示例中描述的，解码器和编码器可以在支持可伸缩性的多层结构中对当前的层的当前块执行帧间预测。在这种情况下，对当前块的预测可以在编码器和解码器的预测模块中执行。

预测模块可以通过使用在当前的层中的参考图片对当前块执行预测，并且可以通过使用除当前的层以外的参考层的图片对当前块执行预测。

编码器和解码器的预测模块可以判断是否当前的层的编码/解码目标块(例如，当前的CU)属于仅仅帧内预测应用于的I片段，并且如果其是I片段，则可以应用帧内预测，并且如果其不是I片段，则可以确定预测模式要应用于当前块。

在这种情况下，编码器可以经由RDO等等确定要应用于当前块的预测方法，并且可以将表示确定的预测方法的信息发送给解码器。解码器和编码器的预测模块可以根据确定的预测方法执行预测，并且可以推导用于当前块的预测采样。

例如，预测模块可以确定是否跳过模式(CU_skip)应用于当前块(例如，当前的CU)。基于用于表示是否应用跳过模式的标记，预测模块可以确定是否跳过模式应用于当前块。

如果跳过模式不应用于当前块，则预测模块可以确定是否帧间预测或者帧内预测应用于当前块。基于用于表示是否应用帧间预测或者帧内预测的预测模式标记，预测模块可以确定是否帧间预测或者帧内预测应用于当前块。例如，如果用于表示是否执行帧间预测或者帧内预测的预测模式标记(pred_mode_flag)表示执行帧内预测，则预测模块可以将帧内预测应用于当前块。此外，如果预测模式标记表示执行帧间预测，则预测模块可以将帧间预测应用于当前块。

如果应用帧间预测，则预测模块可以将合并模式应用于当前块。在合并模式中，用于当前块(例如，当前的PU)的帧间预测参数(用于帧间预测需要的运动信息)从邻近于当前块的帧间预测的块中推断。

在这种情况下，用于预测当前块的邻近块包括当前块的空间邻近块和时间邻近块。空间邻近块隐含存在于与当前块相同的图片中的邻近块。时间邻近块隐含除当前块外在不同的图片中对应于当前块的块。当时间邻近块的运动信息用作当前块的运动信息时，运动信息的值可以被设置为特定的值。

当应用合并模式时，在当前块的邻近块之中的任何一个块的运动信息可以或者直接或者借助于改进用作当前块的运动信息。例如，当时间邻近块的运动信息用作当前块的运动信息时，参考图片索引的值可以被设置为0。

同时，在多层结构中支持可伸缩性的视频编译的情况下，在合并模式中使用的邻近块可以包括对应于当前块的参考层的块。

当应用帧间预测时，预测模块也可以将运动矢量预测模式应用于当前块。在运动矢量预测模式中，在当前块(例如，当前的PU)的邻近块之中任何一个块的运动矢量用作当前块的运动矢量预测器。

此外，在这种情况下，用于预测当前块的邻近块包括当前块的空间邻近块和时间邻近块。同时，在多层结构中支持可伸缩性的视频编译的情况下，在运动矢量预测模式中使用的邻近块可以包括对应于当前块的参考层的块。

在下文中，将更加详细地描述预测当前的层的当前块的方法、和在图1和图2的视频编码器和视频解码器中重建当前的图片的方法。

在这种情况下，当前块可以是作为编码/解码目标的编码单元块(例如，编译单元(CU))，并且可以是作为预测采样的推导单元的预测单元块(例如，预测单元(PU))。

如上所述，当帧间预测应用于当前块时，预测模块可以确定是否将合并模式或者运动矢量预测(MVP)模式应用于当前块。

当帧间预测应用于当前块时，预测模块需要属于与当前块相同的层的不同的图片的块(即，时间候选者块)的运动信息(例如，时间运动信息)。由于时间运动信息也是除当前的编码/解码目标图片之外的不同的图片的信息，所以存在存储和选择性地访问时间运动信息的需要。

在这种情况下，运动信息例如可以包括运动矢量、预测方向(L0、L1、双向)和参考图片索引的至少一个。当应用合并模式或者MVP模式时，该存储的信息可以作为时间运动信息使用。例如，预测模块可以将时间候选者块的运动矢量和参考图片索引增加给合并候选者列表(在这种情况下，预测模块可以将时间候选者块的运动信息设置为特定的值)。此外，预测模块可以将时间候选者块的运动矢量增加给MVP候选者列表。

同时，基于除当前的层以外的参考层的信息，在支持可伸缩性的多层结构中用于预测当前的层的块(即，当前块)的预测模块可以推导当前块的预测采样。也就是说，可以应用层间预测。

此外，在这种情况下，基于参考层(例如，基本层)的信息，为了使预测模块去预测当前块，需要参考层的运动信息。因此，参考层的运动信息必须存储，并且存储的信息必须是可访问的。

因此，当层间预测是可应用时，时间运动信息不能使用，以便减小用于存储运动信息的存储器大小和存储器访问的次数。例如，当应用层间预测时，时间运动矢量的预测不能以MVP模式使用，或者时间运动信息可以以合并模式从合并候选者列表中除去。在这种情况下，代替未使用的时间运动信息，当层间预测是可应用时，可以使用参考层的信息。

是否层间预测是可使用的可以从编码器示意给解码器。

表1涉及示出根据本发明表示层间预测的可利用性的信息示例的语法结构。

<表1>

表1的示例表示如果inter_layer_pred_enabled_flag的值是1，则层间预测是可应用的，并且如果inter_layer_pred_enabled_flag的值是0，则层间预测不应用。

当层间预测是可用时，预测模块可以使用参考层的信息以替换在相同的层(即，时间运动信息)中的不同的图片的信息。代替简单地不使用时间运动信息，而是使用参考层的信息，当参考层的信息被代替用于时间运动信息时，参考层的信息可以在合并候选者列表或者MVP候选者列表中被定位为时间候选者列表的位置。

为了在多层结构中执行帧间预测，表示帧间预测模式的信息可以被发送。

例如，在应用帧间预测的情形下，当其确定是否层间预测是以片段级别级别可应用时，其可以确定是否合并模式或者MVP模式应用于帧间预测。

表2示意地图示在多层结构中用于确定应用于当前块的预测模式的语法结构的示例。

<表2>

在表2的示例中，如果skip_flag的值是1，则预测模块可以将跳过模式应用于由(x0，y0)指定的当前块。如果应用跳过模式，则除作为合并候选者索引的合并索引之外，额外的语法元素不发送。这些将在下面描述。

当不应用跳过模式时，pred_mode_flag被发送，并且预测模块可以根据pred_mode_flag的值确定是否将帧间预测或者帧内预测应用于由(x0，y0)指定的当前块。例如，如果pred_mode_flag的值是0，则帧间预测可以应用于当前块，并且如果pred_mode_flag的值是1，则帧内预测可以应用于当前块。

为了确定应用于当前块的预测模式，额外的语法可以通过考虑多层结构的特征使用。

表3示意地图示在多层结构中用于确定应用于当前块的预测模式的语法结构的另一个示例。

<表3>

在表3中，当使用参考层的信息时，base_pred_flag被作为表示基本层的预测方法的信息发送。在表2的示例中，如果base_pred_flag的值是1，则执行层间帧内预测或者层间语法预测，并且如果base_pred_flag的值是0，则不应用层间帧内预测和层间语法预测。

表4示意地图示当在多层结构中执行帧间预测时，在预测目标块中用于确定帧间预测的特定的模式的语法结构的示例。

<表4>

在确定以编译单元等级应用帧间预测之后，用于当前块的帧间预测模式可以通过使用包括在表4中的帧间预测信息确定。

在表4的示例中，当应用帧间预测时，merge_flag被作为表示是否去应用合并模式的信息发送。当应用合并模式时，合并索引(即，merge_idx)被作为表示在可用的候选者块之中哪个运动信息的特定的块用作当前块的运动信息的信息发送。

在表4的示例中，即使应用跳过模式，合并索引被发送。该预测模块可以或者直接或者借助于改进使用由合并索引指定的块的运动信息作为当前块的运动信息。

如果不应用合并模式(即，如果merge_flag＝0)，则预测模块可以将运动矢量预测模式应用于当前块。

在表4的示例中，inter_pred_idc表示是否去使用L0或者L1作为参考图片列表或者是否去应用双向预测。

在运动矢量预测模式的情况下，表示使用在邻近块之中哪个运动矢量的特定的块作为运动矢量预测器的信息，以及指定参考图片的信息被发送。

在表4的示例中，如果使用参考图片列表L0，则mvp_l0_flag是指定运动矢量预测器的信息，并且如果使用参考图片列表L1，则mvp_l1_flag是指定运动矢量预测器的信息。此外，ref_idx_l0是在参考图片列表L0中指定用于当前块的参考图片的信息，并且ref_idx_l1是在参考图片列表L1中指定用于当前块的参考图片的信息。

该预测模块可以通过增加运动矢量预测器和另外发送的运动矢量差(mvd)推导当前块的运动矢量。在这种情况下，运动矢量差可以通过被分成幅值和签名示意。

同时，用于帧间预测模式的信息也可以通过考虑多层结构的特征配置语法发送。

表5示意地图示用于发送关于帧间预测模式的信息的语法结构的另一个示例。

<表5>

在表5的示例中，inter_pred_flag可以表示是否去使用L0应用预测或者双向预测，或者是否去使用组合的参考图片列表(即，组合的列表(LC))应用预测。

如上所述，当在本发明的实施例中应用帧间预测时，该预测模块可以将合并模式或者运动矢量预测模式应用于当前的层的当前块。

当在本发明中应用合并模式时，基于层间预测的合并模式可以通过考虑多层结构的特征应用于当前块。此外，当应用运动矢量预测模式时，基于层间预测的运动矢量预测模式可以在本发明中应用于当前的模式。

在下文中，当在支持可伸缩性的多层结构中应用运动矢量预测模式时推导预测采样的方法，以及当应用合并模式时推导预测采样的方法以根据本发明的顺序描述。

当应用合并模式时，预测模块可以通过使用邻近块的运动信息推导当前块的预测采样。当应用运动矢量预测模式时，预测模块可以基于通过使用邻近块的运动矢量作为运动矢量预测器推导的运动矢量推导当前块的预测采样。

编码器/解码器可以通过增加预测采样和残留重建当前的图片。

图3示意地图示根据本发明在支持可伸缩性的多层结构中将运动矢量预测模式应用于当前块的方法。

当应用运动矢量预测模式(在下文中，称为“MVP模式”)时，预测模块可以配置由用作运动矢量预测器(在下文中，称为“MVP”)的候选者(即，运动矢量候选者或者候选者运动矢量)组成的MVP列表。

在图3的示例中，BL310是当前块300的左下邻近块，L320是当前块300的左侧邻近块，RA330是当前块300的右上邻近块，A340是当前块300的上面邻近块，以及LA350是当前块300的左上邻近块。BL310、L320、RA330、A340和LA350可以称为在与当前块相同的图片中的空间邻近块。

此外，作为当前块300的时间邻近块，T360是在与当前块300相同的层中在参考图片中对应于当前块300的块。IL370隐含用于预测在不同于当前块300的层(或者参考层)中的当前块的块或者图片。

在MVP模式中，该预测模块以BL310→L320的顺序判断候选者的可利用性，并且以RA330→A340→LA350的顺序判断候选者的可利用性。

当以BL310→L320的顺序判断候选者的可利用性时，如果存在作为可用的候选者的具有与当前块相同的参考图片的候选者，则该预测模块可以允许该候选者去包括在MVP列表中(步骤①)。如果没有满足步骤①的候选者，则基于在当前的图片和当前的图片的参考图片之间的图片顺序计数(POC)差，和在当前的图片和候选者的参考图片之间的POC差，该预测模块可以缩放首先发现是可用的候选者的运动矢量(步骤②)。该预测模块可以允许缩放的运动矢量去包括在MVP列表中。

当以RA330→A340→LA350的顺序判断候选者的可利用性时，如果存在作为可用的候选者的具有与当前块相同的参考图片的候选者，则该预测模块可以允许该候选者去包括在MVP列表中(步骤①)。如果没有满足步骤①的候选者，并且在BL310和L320之间没有可用的候选者，则基于在当前的图片和当前的图片的参考图片之间的图片顺序计数(POC)差和在候选者的当前的图片和参考图片之间的POC差，预测模块可以缩放首先发现是可用的候选者的运动矢量(步骤②)。该预测模块可以允许缩放的运动矢量去包括在MVP列表中。

同时，如果层间预测不应用于如上所述的当前块，则该预测模块可以允许时间运动矢量去包括在MVP候选者列表中。

当时间邻近块T360用作运动矢量候选者时，包括T360的共处一地的图片(在下文中，COL图片)可以通过使用参考图片列表指定。在COL图片中，包括作为T360(T360驻留在与当前块相同的LCU中)的特定的位置的预测块的运动信息可以用作时间运动矢量。在这种情况下，用作运动矢量候选者的时间运动矢量可以通过考虑当前的图片的COL图片和参考图片缩放。

假设A表示通过以BL310→L320的顺序判断候选者的可利用性确定的MVP候选者，B表示通过以RA330→A340→LA350的顺序判断候选者的可利用性确定的MVP候选者，以及TMVP表示通过判断时间候选者的可利用性确定的MVP候选者。

作为对于当前块的帧间预测，用于层间预测不应用于的情形的MVP列表可以如以下的表6所示配置。

<表6>

在可用的A、B和TMVP被增加给MVP候选者列表之后，如果A和B是相同的，则该预测模块可以从MVP候选者列表中删除A和B的一个。

此外，该预测模块可以调整在MVP候选者列表中的MVP候选者的数目为最大候选者数。例如，在MVP候选者列表的最大候选者数是2的情形下，如果A、B和TMVP全部是可用的，则该预测模块可以通过使用A和B配置MVP候选者列表，并且可以从MVP候选者列表中删除TMVP。

当在MVP候选者列表中的候选者的数目小于最大候选者数时，该预测模块可以增加零(0)运动矢量作为候选者。

在MVP候选者列表中，候选者索引可以以增加给列表的顺序分配。例如，候选者索引可以以A-B-TMVP-零矢量(例如，如果最大候选者数是2，0或者1)的顺序通过最大候选者数分配。

编码器可以将表示要在用于有关MVP候选者列表的当前块的帧间预测中使用的MVP的MPV索引、运动矢量差(mvd)、和表示用于有关参考图片列表的当前块的参考图片的参考索引发送给解码器。作为可以在帧间预测中使用的参考图片的列表，参考图片列表可以是用于正向预测的L0和用于反向预测的L1。

解码器/编码器的预测模块可以基于由MVP索引表示的MVP、从mvd推导的运动矢量、和由参考索引表示的参考图片产生用于当前块的预测块。

当层间预测可应用于当前块时，该预测模块可以允许时间运动矢量去从MVP候选者列表中除去，并且可以允许参考层的信息去包括在MVP候选者列表中。

假设IL370表示在参考层中属于与当前的图片相同的接入单元(AU)的层间参考图片，或者在层间参考图片中对应于当前块的层间参考块。

当应用层间预测时，该预测模块可以通过使用IL370的运动矢量，或者IL370的像素值推导当前块的预测采样。

例如，该预测模块可以将运动矢量设置为零矢量，并且可以发送表示IL370作为参考图片的参考图片索引，使得在IL370中对应于当前块300的区域的采样用作用于当前块300的预测采样。在这种情况下，在IL370中对应于当前块300的区域的采样可以被根据当前的层(例如，根据当前的层的分辨率)上采样。

假设A表示通过以BL310→L320的顺序判断候选者的可利用性确定的MVP候选者，B表示通过以RA330→A340→LA350的顺序判断候选者的可利用性确定的MVP候选者，以及层间运动矢量预测器IL表示层间参考图片370的运动矢量。

当层间预测可应用于根据本发明的当前块时配置的MVP候选者列表的示例在以下的表7中示出。

<表7>

在可用的A、B和IL被增加给MVP候选者列表之后，如果A和B是相同的，则该预测模块可以从MVP候选者列表中删除A和B的一个。

此外，该预测模块可以调整在MVP候选者列表中的MVP候选者的数目为最大候选者数。例如，在MVP候选者列表的最大候选者数是2的情形下，如果A、B和IL全部是可用的，则该预测模块可以通过使用A和B配置MVP候选者列表，并且可以从MVP候选者列表中删除IL。

当在MVP候选者列表中的候选者的数目小于最大候选者数时，该预测模块可以增加零(0)运动矢量作为候选者。

在MVP候选者列表中，候选者索引可以以增加给列表的顺序分配。例如，候选者索引可以以A-B-IL-零矢量(例如，如果最大候选者数是2，则0或者1)的顺序通过最大候选者数分配。

编码器可以将表示要在用于有关MVP候选者列表的当前块的帧间预测中使用的MVP的MPV索引、运动矢量差(mvd)、和表示用于有关参考图片列表的当前块的参考图片的参考索引发送给解码器。作为可以在帧间预测中使用的参考图片的列表，参考图片列表可以是用于正向预测的L0和用于反向预测的L1。

如上所述，当应用层间预测时，MVP索引可以表示IL的运动矢量，并且参考索引可以将IL表示为参考图片。在这种情况下，IL的运动矢量可以是零矢量，并且该预测模块可以将在IL370中对应于当前块300的区域的采样作为用于当前块300的预测采样使用。在这种情况下，在IL370中对应于当前块300的区域的采样可以被根据当前的层(例如，根据当前的层的分辨率)上采样。

当层间预测可应用于根据本发明的当前块时配置的MVP候选者列表的另一个示例在以下的表8中示出。

<表8>

在可用的A、B和IL被增加给MVP候选者列表之后，如果A和B是相同的，则该预测模块可以从MVP候选者列表中删除A和B的一个。

此外，该预测模块可以调整在MVP候选者列表中的MVP候选者的数目为最大候选者数。例如，在MVP候选者列表的最大候选者数是2的情形下，如果A、B和IL全部是可用的，则该预测模块可以从MVP候选者列表中删除A和B中的任何一个。

当在MVP候选者列表中的候选者的数目小于最大候选者数时，该预测模块可以增加零(0)运动矢量作为候选者。

在MVP候选者列表中，候选者索引可以以增加给列表的顺序分配。例如，候选者索引可以以IL-A-B-零矢量(例如，如果最大候选者数是2，则0或者1)的顺序通过最大候选者数分配。

类似于表7的情形，编码器可以将MVP索引、mvd和参考索引发送给解码器。

当应用层间预测时，MVP索引可以表示IL的运动矢量，并且参考索引可以将IL表示为参考图片。在这种情况下，IL的运动矢量可以是零矢量，并且该预测模块可以将在IL370中对应于当前块300的区域的采样作为用于当前块300的预测采样使用。在这种情况下，在IL370中对应于当前块300的区域的采样可以被根据当前的层(例如，根据当前的层的分辨率)上采样。

图4示意地图示根据本发明在支持可伸缩性的多层结构中将合并模式应用于当前块的方法。

当应用合并模式时，预测模块可以通过配置合并候选者列表，确定用作当前块的运动信息的运动信息。

在合并模式中，在由在图4中示出的邻近块的运动信息组成的合并候选者列表(在下文中，称为运动信息候选者)上选择的运动信息可以用作当前块的运动信息。表示在合并候选者列表上要用作当前块的运动信息的运动信息候选者的信息(合并索引)可以从编码器发送给解码器。

当应用跳过模式时，合并候选者列表也可以以与应用合并模式的情况相同的方式配置，并且可用于确定当前块的运动信息。例如，当应用跳过模式时，合并索引也表示在合并候选者列表上要用作当前块的运动信息的信息，并且当应用合并模式时，合并索引也表示在合并候选者列表上要用作当前块的运动信息的信息。但是，当应用跳过模式时，除合并索引之外，额外的语法元素不发送。

类似于图3的情形，BL440是当前块400的左下邻近块，L410是当前块400的左侧邻近块，RA430是当前块400的右上邻近块，A420是当前块400的上面邻近块，以及LA450是当前块400的左上邻近块。L410、A420、RA430、BL440和LA450可以称为在与当前块相同的图片中的空间邻近块。

此外，作为当前块400的时间邻近块，T460是在与当前块400相同的层中在参考图片中对应于当前块400的块。IL470隐含用于预测在不同于当前块400的层(或者参考层)中的当前块的块或者图片。

在图4的示例中，其还假设A1表示L410的运动信息，B1表示A420的运动信息，B0表示RA430的运动信息，A0表示BL440的运动信息，B2表示LA450的运动信息。此外，为了描述的方便起见，TMVP表示T460的运动信息，并且IL表示IL470的运动信息。

当应用合并模式或者跳过模式时，该预测模块可以判断用于L410、BL440、LA450、A420和RA430(其是邻近于当前块的空间候选者)的可利用性。可利用性判断可以以特定的顺序继续进行。例如，其可以以L410→A420→RA430→BL440→LA450的顺序继续进行。

在这种情况下，每个候选者的可利用性判断可以包括相对于先前的候选者的识别判断。例如，至于A420，可利用性判断可以通过考虑是否其具有与L410相同的运动信息实现。更具体地说，如果L410是可用的，并且L410具有与A420相同的信息，则其可以判断A420是不可用的。

以相同的方式，至于RA430，可利用性判断可以通过考虑是否RA430具有与A420相同的运动信息实现。至于BL440，可利用性判断可以通过考虑是否BL440具有与L410相同的运动信息实现。

至于LA450，可利用性判断可以通过考虑是否LA450具有与L410相同的信息和是否LA450具有与A420相同的运动信息两者实现。在这种情况下，如果最初的四个候选者L、A、RA和BL全部是可用的，则其可以判断LA450是不可用的。

当层间预测不应用于当前块时，除了空间邻近块的运动信息之外，该预测模块可以允许时间运动矢量去包括在MVP候选者列表中。

当T460的运动信息用作运动信息候选者时，包括T460的COL图片可以通过使用参考图片列表指定。在COL图片中，在与当前块相同的LCU中包括作为COL块的特定的位置的预测块的运动信息可以用作T460的运动信息。在这种情况下，T460的运动矢量可以通过考虑COL图片和当前的图片的参考图片缩放，并且T460的参考索引可以被设置为特定的值(例如，0)。

由于候选者包括候选者T460，并且判断为是可用的，该合并候选者列表可以根据可利用性判断顺序配置。

作为对于当前块的帧间预测，用于层间预测不应用于的情形的合并候选者列表可以如以下的表9所示配置。

<表9>

在表9的示例中，该预测模块可以判断运动信息的可利用性，并且因此，可以允许空间邻近块的运动信息去以依次地方式包括在合并候选者列表中。在这种情况下，可利用性的判断包括判断该运动信息不同于如上所述的先前的运动信息，并且可以以预先确定的特定的顺序执行。

在B2的情况下，如果先前的A1、B1、B0和A1全部是有效的运动信息，则其不包括在合并候选者列表中。如果有效地包括TMVP(其是时间运动信息)，则可以执行有关运动信息的安排(一种候选者删除)。例如，如果最大候选者数是5，则其不满足最大候选者数，并且如果当前块的片段类型是B，则增加组合的双向预测候选者。即使增加了组合的双向预测候选者，如果其不满足最大候选者数，则零矢量可以被增加去配置合并候选者列表。

在表9的示例中，有关合并候选者列表的索引可以以增加索引的顺序，也就是说，以A1-B1-B0-A0-B2-TMVP-组合的双向预测-零运动矢量的顺序，通过最大候选者数(如果最大候选者数是5，则例如，0、1、2、3、4)分配。

该预测模块可以通过从编码器发送的信息(例如，合并索引(merge_idx))作为用于当前块的运动信息，通过使用在合并候选者列表上表示的候选者的运动信息执行帧间预测。例如，该预测模块可以将由通过合并索引选择的候选者的运动信息表示的采样作为当前块的预测块使用。

当层间预测不应用于当前块时，除了空间邻近块的运动信息之外，该预测模块可以启用时间运动矢量去包括在MVP候选者列表中。

当T460的运动信息用作运动信息候选者时，包括T460的COL图片可以通过使用参考图片列表指定。在COL图片中，在与当前块相同的LCU中包括作为COL块的特定的位置的预测块的运动信息可以用作T460的运动信息。在这种情况下，T460的运动矢量可以通过考虑COL图片和当前的图片的参考图片缩放，并且T460的参考索引可以被设置为特定的值(例如，0)。

由于候选者包括候选者T460，并且判断为是可用的，该合并候选者列表可以根据可利用性判断顺序配置。

同时，当层间预测可应用于当前块时可以配置的合并候选者列表的示例在以下的表10中示出。

<表10>

在表10的示例中，该预测模块可以判断运动信息的可利用性，并且因此，可以允许空间邻近块的运动信息去以依次地方式包括在合并候选者列表中。在这种情况下，可利用性的判断包括判断该运动信息不同于如上所述的先前的运动信息，并且可以以预先确定的特定的顺序执行。

在B2的情况下，如果先前的A1、B1、B0和A1全部是有效的运动信息，则其不包括在合并候选者列表中。

如果有效地包括IL(其是层间预测信息)，则可以执行有关运动信息的安排(一种候选者删除)。例如，如果最大候选者数是5，则其不满足最大候选者数，并且如果当前块的片段类型是B，则增加组合的双向预测候选者。即使增加了组合的双向预测候选者，如果其不满足最大候选者数，则零矢量可以被增加去配置合并候选者列表。

在表10的示例中，有关合并候选者列表的索引可以以增加索引的顺序，也就是说，以A1-B1-B0-A0-B2-IL-组合的双向预测-零运动矢量的顺序，通过最大候选者数(如果最大候选者数是5，则例如，0、1、2、3、4)分配。

该预测模块可以通过从编码器发送的信息(例如，合并索引(merge_idx))作为用于当前块的运动信息，通过使用在合并候选者列表上表示的候选者的运动信息执行帧间预测。例如，该预测模块可以将由通过合并索引选择的候选者的运动信息表示的采样作为当前块的预测块使用。

当应用层间预测时，该合并索引可以表示在合并列表上的IL。在这种情况下，运动信息IL的运动矢量可以是零矢量，并且运动信息IL的参考索引可以表示参考层的参考图片。参考层的参考图片可以是属于在参考层中与当前的图片相同的AU的图片。也就是说，当考虑层间参考图片是与当前的图片相同的AI的相应的图片时，IL的运动矢量可以是零矢量，并且该预测模块可以将在IL470中对应于当前块400的区域的采样作为用于当前块400的预测采样使用。在这种情况下，在IL470中对应于当前块400的区域的采样可以被根据当前的层(例如，根据当前的层的分辨率)上采样。

编码器/解码器可以通过将用于当前的图片的残留增加给由预测模块推导的预测采样重建当前的图片。例如，该预测模块可以推导在当前的图片中用于每个预测块(例如，PU)的预测采样，并且此后，编码器/解码器的加法器可以通过增加用于当前的图片的预测采样和残留重建当前的图片。

当层间预测可应用于当前块时可以配置的合并候选者列表的另一个示例在以下的表11中示出。

<表11>

在表11的示例中，该预测模块可以判断运动信息的可利用性，并且因此，可以允许空间邻近块的运动信息去以依次地方式包括在合并候选者列表中。在这种情况下，可利用性的判断包括判断该运动信息不同于如上所述的先前的运动信息，并且可以以预先确定的特定的顺序执行。

在B2的情况下，如果先前的A1、B1、B0和A1全部是有效的运动信息，则其不包括在合并候选者列表中。

如果研究对于B2的可利用性，则可以执行有关运动信息的安排(一种候选者删除)。例如，如果最大候选者数是5，则其不满足最大候选者数，并且如果当前块的片段类型是B，则增加组合的双向预测候选者。即使增加了组合的双向预测候选者，如果其不满足最大候选者数，则零矢量可以被增加去配置合并候选者列表。

在表11的示例中，有关合并候选者列表的索引可以以增加索引的顺序，也就是说，以IL-A1-B1-B0-A0-B2-组合的双向预测-零运动矢量的顺序，通过最大候选者数(如果最大候选者数是5，则例如，0、1、2、3、4)分配。

该预测模块可以通过从编码器发送的信息(例如，合并索引(merge_idx))作为用于当前块的运动信息，通过使用在合并候选者列表上表示的候选者的运动信息执行帧间预测。例如，该预测模块可以将由通过合并索引选择的候选者的运动信息表示的采样作为当前块的预测块使用。

当应用层间预测时，该合并索引可以表示在合并列表上的IL。在这种情况下，运动信息IL的运动矢量可以是零矢量，并且运动信息IL的参考索引可以表示参考层的参考图片。参考层的参考图片可以是属于在参考层中与当前的图片相同的AU的图片。也就是说，当考虑层间参考图片是与当前的图片相同的AI的相应的图片时，IL的运动矢量可以是零矢量，并且该预测模块可以将在IL470中对应于当前块400的区域的采样作为用于当前块400的预测采样使用。在这种情况下，在IL470中对应于当前块400的区域的采样可以被根据当前的层(例如，根据当前的层的分辨率)上采样。

当应用跳过模式，或者应用作为帧间预测的合并模式时，编码器/解码器的预测模块可以将通过合并索引在合并候选者列表中表示的运动信息作为当前块的运动信息使用。在这种情况下，该预测模块可以将由通过合并索引表示的运动信息指定的参考图片的采样作为当前块的预测采样使用。在这种情况下，参考图片的采样可以是在层间中在属于与当前的图片相同的AU的图片中对应于当前块的块的采样，并且这些采样可以根据当前的层上采样，并且此后可以用作预测采样。

当应用MVP模式时，该预测模块可以将在MVP候选者列表中由MVP候选者指标选择的运动矢量作为用于当前块的运动矢量预测器(MVP)使用。该预测模块可以通过增加MVP和另外发送的运动矢量差，推导当前块的运动矢量。该预测模块可以将由用于当前块的参考索引指定的参考图片的采样和推导的运动矢量作为当前块的预测采样使用。在这种情况下，参考图片的采样可以是在层间中在属于与当前的图片相同的AU的图片中对应于当前块的块的采样，并且这些采样可以根据当前的层上采样，并且此后可以用作预测采样。

同时，当应用帧间预测时，如在图1和图2中描述的，该预测模块可以通过将当前块的邻近采样作为参考采样使用，推导用于当前块的预测采样。

编码器和解码器可以通过增加残留给预测采样重建当前的图片。该残留可以从编码器发送给解码器。同时，当应用跳过模式时，由于除了合并索引之外没有传输额外的语法元素，所以该预测采样可以作为当前块的重建的采样使用。

为了产生更加类似于原始图片的重建的图片，去块滤波可以应用于在重建的图片中每个块的边缘。去块滤波可以在编码器和解码器中执行。例如，图1和图2的滤波模块可以执行去块滤波。

去块滤波首先应用于在当前的图片中在块之间的垂直边缘，并且此后应用于在当前的图片中在块之间的水平边缘。借助于通过垂直边缘的去块滤波的修改的采样，去块滤波应用于在当前的图片中的水平边缘。

图5示意地图示根据本发明执行去块滤波的方法。参考图5，在编译树单元(CTU)基础上，去块滤波在相应的编码块中在边缘上执行。CTU隐含在树形结构的CU之中最高的CU，并且可以是最大的编译单元(LCU)。为了便于本发明容易理解，在本说明书中，必要时，CTU和LCU没有区别使用。

如上所述，滤波模块对当前的图片的整体执行垂直边缘的去块滤波(即，水平滤波)，并且此后，对当前的图片的整体执行水平边缘的去块滤波(即，垂直滤波)。

更具体地说，该滤波模块推导块边缘以在块之间的边缘应用去块滤波。例如，该滤波模块可以推导在LCU中用于预测块和编译块的边界。

接下来，该滤波模块推导去块滤波应用于的块边缘的边缘强度(bS)。bS的推导可以在特定的单元基础上执行。例如，bS可以以具有特定的大小的块为单位，例如，以8×8块或者4×4像素块为单位推导。可替选地，bS也可以相对于8×8块的边缘以4个像素为单位推导。

该滤波模块根据bS对块边缘执行滤波。当不应用去块滤波时，该滤波模块推导bS值为0，并且当应用去块滤波时，推导bS值为1或者2。例如，当与设置在其间的滤波目标边缘相互邻近的二个块的至少一个被帧内编译时，该滤波模块可以确定用于滤波目标边缘的bS为2。此外，当其不是“二个块的至少一个没有帧内编译的情形”时，对于二个块的至少一个包括不是0的变换系数，或者具有不同的参考图片，或者具有不同的运动矢量等等的情形，该滤波模块可以推导bS值为1。

该滤波模块可以根据bS确定基于块的滤波开/关。例如，该滤波模块可以对bS值是0的边缘关闭去块滤波，并且可以对bS值是1或者2的边缘接通去块滤波。

该滤波模块可以确定是否强的滤波或者弱的滤波应用于去块滤波应用于的边缘，并且可以执行滤波。

当去块滤波操作如上所述完成时，该滤波模块可以将偏移应用于重建的图片的采样。偏移可以自适应地应用于采样。也就是说，是否应用偏移、应用的类型等等可以对于每个采样确定。

关于这个采样自适应的偏移(SAO)，是否其在序列参数级别上是可应用的可以确定，并且是否其是可应用的可以在编译树单元(CTU)基础上确定。

SAO的示例包括带偏移和边缘偏移。当应用SAO时，带偏移或者边缘偏移可以在采样基础上应用。

编码器可以将表示是否应用带偏移或者边缘偏移的信息发送给解码器。在这种情况下，编码器可以通过使用预先地处理的邻近于当前的CTU的CTU的SAO信息表示去在当前的CTU中执行SAO。例如，当从编码器示意的信息命令去使用邻近的CTU的SAO信息时，解码器可以通过直接使用剩余的CTU，或者当前的CTU的上面的CTU的SAO信息，在当前的CTU中执行SAO。

要应用的偏移值可以从编码器示意给解码器。偏移值可以根据分类对于每个CTU确定。此外，偏移值可以通过使用表示幅值和符号的相应的信息(例如，语法元素)示意。

关于带偏移，在像素值根据像素直方图除以特定的持续时间的带之后，偏移可以应用于属于四个连续的带的采样。当应用带偏移时，编码器可以确定带偏移将应用于的四个带，并且可以发送表示用于四个带的偏移的开始带信息和在四个带之中的第一带(也就是说，表示开始带的位置)。

图6示意地图示应用带偏移方法的示例。

参考图6，所有像素的像素值范围被相等地分成N个带。

编码器表示带偏移将应用于的四个连续的带i、i+1、i+2和i+3。该编码器可以指定开始带i的位置以指定带偏移将应用于的四个带。

基于接收的信息，解码器可以指定带偏移将应用于的四个连续的带i、i+1、i+2和i+3。该解码器可以从编码器接收指定开始带i的信息(即，开始带信息)。开始带信息可以被在SAO语法级别处发送。

该解码器可以指定包括开始带的四个连续的带，并且可以将带偏移应用于属于特定的四个带的采样。

要应用的偏移值可以对于每个带确定(分类)。该编码器可以将指定要应用于四个带的每个的偏移值的信息发送给解码器，并且解码带可以推导由接收的信息对于每个带指定的偏移值，并且可以应用对应于属于每个带的像素的偏移值。在这种情况下，通过被分成表示幅值的信息和表示符号的信息，偏移值可以被从编码器发送给解码器。

由于像素属于带偏移将应用于的四个带，所以解码器可以应用对应于像素属于的带的偏移。

根据哪个边缘在SAO将应用于的块(例如，CTU)中整个地属于图像边缘偏移被划分为四个类别。例如，该类别可以划分为四个类型，即，垂直边缘、水平边缘、45度边缘、和135度边缘。

图7图示边缘偏移的四个类别。在图7的示例中，由当前的像素和邻近像素组成的边缘是在(a)情况下的水平边缘，在(b)情况下的垂直边缘，在(c)情况下的135度边缘，和在(d)情况下的45度边缘。

编码器和解码器可以将在边缘偏移将应用于的像素的像素值和邻近像素的像素值之间的关系划分为用于每个类别的四个分类，并且可以根据相应的类别应用偏移值。

图8示意地图示边缘偏移的类别。

参考图8，边缘偏移的类别可以划分为四个类别，也就是说，如(a)所示的目标像素的像素值小于邻近二个像素的情形，如(b)所示的目标像素的像素值等于邻近一个像素，并且大于另一个像素的情形，如(c)所示的目标像素的像素值等于邻近一个邻近像素，并且小于另一个邻近像素的情形，和如(d)所示的目标像素的像素值大于邻近二个像素的情形。

比较去确定边缘偏移类别的邻近二个像素可以根据SAO将应用于的块(例如，CTU)的类别确定。例如，比较去确定类别的邻近二个像素在垂直边缘的情况下，可以是目标像素的二个上面和下面像素，在水平边缘的情况下，可以是目标像素的左和右像素，在45度边缘的情况下，可以是目标像素的左上和右下像素，和在135度边缘的情况下，可以是目标像素的左下和右上像素。

当当前的像素的二个邻近像素被根据类别选择时，并且类别根据相对于选择的像素的关系确定，然后，应用于边缘偏移的偏移值可以根据当前的像素的类别推导。

当应用边缘偏移时，编码器可以将命令去应用边缘偏移的信息和基于类别的偏移信息发送给解码器。例如，编码器可以将指定用于每个类别的偏移值的信息发送给解码器。

当应用边缘偏移时，解码器可以根据目标像素属于的类别将该偏移应用于目标像素。例如，基于关于从编码器接收的偏移值的信息，解码器可以根据当前的像素的类别推导要应用于当前的图片的偏移值。

通过被分成表示幅值的信息和表示符号的信息，偏移值可以被从编码器发送给解码器。

当应用SAO时，编码器可以将指定在前面提到的边缘偏移和带偏移之间的哪一个将应用的SAO类型索引发送给解码器。

表12示出指定要应用的SAO的SAO类型索引的示例。

<表12>

SAO类型索引	SAO类型
		0	不应用
1	带偏移
		2	边缘偏移

在使用表12的示例中，编码器可以经由SAO类型索引将是否将应用SAO、是否将应用带偏移、和是否将应用边缘偏移发送给解码器。

当接收的SAO类型索引是0时，解码器不能应用SAO，当接收的SAO类型索引是1时，可以应用带偏移，并且当接收的SAO类型索引是2时，可以应用边缘偏移。

在表12的示例中，是否将应用带偏移，或者将应用边缘偏移由SAO类型索引表示。因此，当应用带偏移时，表示开始带的信息和表示偏移值的信息可以分别地发送，并且当应用边缘偏移时，表示边缘类别和偏移值的信息可以分别地发送。

图9是用于示意地图示根据本发明的视频编码器操作的示例的流程图。

参考图9，编码器可以推导用于当前块的预测采样(S910)。在帧间预测的情况下，该编码器可以推导在预测块的单元中的预测采样。在帧内预测的情况下，该编码器可以推导在变换块的单元中的预测采样。该编码器可以推导在变换块的单元中的预测采样，并且因此，可以推导用于当前的图片的预测采样。

当执行帧间预测时，如果不对当前块执行层间预测，则该编码器可以通过使用与当前块相同的层的空间邻近块和时间邻近块，推导用于当前块的预测采样。当可以对当前块执行层间预测时，该编码器可以通过使用与当前块相同的层的空间邻近块和在不同于当前块的层的层中的相应的块的信息，推导用于当前块的预测采样。

当用于当前块的预测采样基于对于当前块的运动矢量预测推导时(当应用MVP模式时)，如果可以执行层间预测，则该编码器可以通过使用与当前块相同的层的空间邻近块的运动矢量、和在不同于当前块的层中的相应的块的运动矢量中的任何一个，推导用于当前块的运动矢量，并且如果不能执行层间预测，则该编码器可以通过使用与当前块相同的层的空间邻近块的运动矢量和与当前块相同的层的时间邻近块的运动矢量中的任何一个，推导用于当前块的运动矢量。

当用于当前块的预测采样基于合并模式，使用邻近块的运动信息推导时，如果不能对当前块执行层间预测，则该编码器可以通过使用与当前块相同的层的空间邻近块的运动信息和与当前块相同的层的时间邻近块的运动信息中的任何一个，推导用于当前块的运动信息，并且如果可以对当前块执行层间预测，则该编码器可以通过使用与当前块相同的层的空间邻近块的运动信息和在不同于当前块的层中的相应的块的运动信息中的任何一个，推导用于当前块的运动信息。

推导当前块的预测采样的详细方法与如上所述的相同。

该编码器可以重建当前的图片(S920)。该编码器可以通过增加推导的预测采样和残留重建当前的图片。

该编码器可以将去块滤波应用于在重建的图片中的块边缘(S930)。该编码器可以基于用于块边缘的边缘强度确定是否去应用去块滤波。去块滤波方法的细节与如上所述的相同。

该编码器可以将偏移应用于对其完成去块处理的重建的图片的采样(S940)。该编码器可以将带偏移或者边缘偏移应用于当前的图片的采样。应用于每个采样的偏移(SAO)的细节与如上所述的相同。

该编码器可以存储关于当前的图片的重建的信息和关于重建的图片的信息，并且可以发送相关的信息(S950)。至于预测，该编码器发送关于是否层间预测对解码器来说是可能的信息。此外，该编码器可以将表示是否将跳过模式应用于当前块的信息、表示是否其是帧间预测或者帧内预测的信息、表示帧间预测的模式的信息、表示帧内预测的模式的信息、残留信息等等发送给解码器。该编码器还可以在合并模式的情况下发送包括合并索引的信息，并且可以在MVP模式的情况下发送包括MVP指示信息、MVD信息、参考索引等等的信息。

图10是示意地图示根据本发明的关于视频解码器操作的示例的流程图。

参考图10，该解码器可以基于从编码器接收的信息，推导用于当前块的预测采样(S1010)。

至于预测，该解码器可以从编码器接收关于是否层间预测是可能的信息。此外，该解码器可以从编码器接收表示是否将跳过模式应用于当前块的信息、表示是否其是帧间预测或者帧内预测的信息、表示帧间预测的模式的信息、表示帧内预测的模式的信息、残留信息等等。该解码器还可以在合并模式的情况下接收包括合并索引的信息，并且可以在MVP模式的情况下接收包括MVP指示信息、MVD信息、参考索引等等的信息。

在帧间预测的情况下，该解码器可以推导在预测块的单元中的预测采样。在帧内预测的情况下，该解码器可以推导在变换块的单元中的预测采样。该解码器可以推导在变换块的单元中的预测采样，并且因此，可以推导用于当前的图片的预测采样。

当执行帧间预测时，如果不对当前块执行层间预测，则该解码器可以通过使用与当前块相同的层的空间邻近块和时间邻近块，推导用于当前块的预测采样。当可以对当前块执行层间预测时，该解码器可以通过使用与当前块相同的层的空间邻近块和在不同于当前块的层的层中的相应的块的信息，推导用于当前块的预测采样。

当用于当前块的预测采样基于对于当前块的运动矢量预测推导时(当应用MVP模式时)，如果可以执行层间预测，则该解码器可以通过使用与当前块相同的层的空间邻近块的运动矢量、和在不同于当前块的层中的相应的块的运动矢量中的任何一个，推导用于当前块的运动矢量，并且如果不能执行层间预测，则该解码器可以通过使用与当前块相同的层的空间邻近块的运动矢量和与当前块相同的层的时间邻近块的运动矢量中的任何一个，推导用于当前块的运动矢量。

当用于当前块的预测采样基于合并模式，使用邻近块的运动信息推导时，如果不能对当前块执行层间预测，则该解码器可以通过使用与当前块相同的层的空间邻近块的运动信息和与当前块相同的层的时间邻近块的运动信息中的任何一个，推导用于当前块的运动信息，并且如果可以对当前块执行层间预测，则该解码器可以通过使用与当前块相同的层的空间邻近块的运动信息和在不同于当前块的层中的相应的块的运动信息中的任何一个，推导用于当前块的运动信息。

推导当前块的预测采样的详细方法与如上所述的相同。

该解码器可以重建当前的图片(S1020)。该解码器可以通过增加推导的预测采样和残留重建当前的图片。

该解码器可以将去块滤波应用于在重建的图片中的块边缘(S1030)。该解码器可以基于用于块边缘的边缘强度确定是否应用去块滤波。详细的去块滤波方法与如上所述的相同。

该解码器可以将偏移应用于对其完成去块处理的重建的图片的采样(S1040)。该解码器可以将带偏移或者边缘偏移应用于当前的图片的采样。应用于每个采样的偏移(SAO)的细节与如上所述的相同。

虽然在本说明书的描述中基本层和空间基本层没有区别地使用，并且增强层和空间增强层没有区别地使用，这是为了解释方便起见。因此，本发明的实施例不局限于基本层和空间增强层。空间基本层作为供分辨率作为基本层的可伸缩性应用的情形的示例使用，并且空间增强层作为供分辨率作为增强层的可伸缩性应用的情形的示例使用。应当注意到，本发明的实施例还同样地可应用于如上所述的各种的可伸缩性(时间、位速率、帧速率等等)。

此外，应当注意到，当前块的邻近块在本说明书中用于与邻近块的空间位置一起指定邻近块的运动信息。更具体地说，用于当前块的邻近块的有效性和冗余度可以隐含邻近块的运动信息的有效性，并且是否其与另一个邻近块的运动信息重叠。

虽然前面提到的示范的系统已经基于在其中步骤或者模块依次列出的流程图描述，本发明的步骤不局限于某个顺序。因此，某个步骤可以在不同的步骤中，或者以不同的顺序或者相对于如上所述的同时执行。此外，由于前面提到的实施例可以包括示例的各种的方面，相应的实施例的组合将也被理解为本发明的一个实施例。因此，所有替换、改进和变化将落在本发明的权利要求的精神和范围内。

Claims (14)

1.一种在支持可伸缩性的多层结构中的视频解码方法，包括：

当对当前块不执行层间预测时，通过使用与所述当前块相同层的空间邻近块和时间邻近块的信息来推导用于所述当前块的预测采样；

当能够对所述当前块执行所述层间预测时，通过使用在不同于所述当前块的层的层中与所述当前块的相同层的空间邻近块和相应的块的信息来推导用于所述当前块的预测采样；

通过增加所述预测采样和残留信号来重建当前的图片；

将去块滤波应用于在所述重建的当前的图片中的块边缘；和

在完成所述去块滤波的应用之后，将带偏移或者边缘偏移应用于所述当前的图片的采样。

2.根据权利要求1所述的视频解码方法，其中，基于用于所述当前块的运动矢量预测来推导用于所述当前块的预测采样，

其中，当对所述当前块不执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动矢量和在不同于所述当前块的层中的相应的块的运动矢量中的任何一个来推导用于所述当前块的运动矢量，和

其中，当能够对所述当前块执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动矢量和在不同于所述当前块的层中的相应的块的运动矢量中的任何一个来推导用于所述当前块的运动信息。

3.根据权利要求2所述的视频解码方法，其中，在不同于所述当前块的层中的相应的块是属于与所述当前的图片相同的图片顺序计数(POC)的图片的块。

4.根据权利要求2所述的视频解码方法，其中，在不同于所述当前块的层中的相应的块的运动矢量是零矢量。

5.根据权利要求2所述的视频解码方法，其中，当对所述当前块不执行所述层间预测时，第一运动矢量、第二运动矢量和第三运动矢量中的任何一个被选择为用于所述当前块的运动矢量预测器，所述第一运动矢量是从所述当前块的左侧块和左下块中选择的块的运动矢量，所述第二运动矢量是从所述当前块的左上块、上面块和右上块中选择的块的运动矢量，所述第三运动矢量是与所述当前块相同的层的时间邻近块的运动矢量，

其中，当能够对所述当前块执行所述层间预测时，第四运动矢量、第五运动矢量和第六运动矢量中的任何一个被选择为用于所述当前块的运动矢量预测器，所述第四运动矢量是从所述当前块的左侧块和左下块中选择的块的运动矢量，所述第五运动矢量是从所述当前块的左上块、上面块和右上块中选择的块的运动矢量，所述第六运动矢量是在不同于所述当前块的层中相应的块的运动矢量，和

其中，通过增加所述选择的运动矢量预测器和运动矢量差来推导用于所述当前块的运动矢量。

6.根据权利要求5所述的视频解码方法，其中，当对所述当前块不执行所述层间预测时，从包括所述第一运动矢量、所述第二运动矢量和所述第三运动矢量的第一运动矢量候选者列表中选择的运动矢量用作用于所述当前块的运动矢量预测，

其中，当能够对所述当前块执行所述层间预测时，从包括所述第四运动矢量、所述第五运动矢量和所述第六运动矢量的第二运动矢量候选者列表中选择的运动矢量用作用于所述当前块的运动矢量预测器，和

其中，在所述第一运动矢量列表中的第三运动矢量的位置与在所述第二运动矢量列表中的第六运动矢量的位置相同。

7.根据权利要求1所述的视频解码方法，

其中，基于合并模式使用所述邻近块的运动信息来推导用于所述当前块的预测采样，

其中，当对所述当前块不执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动信息和与所述当前块相同的层的时间邻近块的运动信息中的任何一个来推导用于所述当前块的运动信息，和

其中，当能够对所述当前块执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动信息和在不同于所述当前块的层中的相应的块的运动信息中的任何一个来推导用于所述当前块的运动信息。

8.根据权利要求7所述的视频解码方法，其中，在不同于所述当前块的层中的相应的块属于与所述当前的图片相同的图片顺序计数(POC)的图片，并且在不同于所述当前块的层中的相应的块的运动矢量是零矢量。

9.根据权利要求7所述的视频解码方法，

其中，当对所述当前块不执行所述层间预测时，用于所述当前块的运动信息是从所述当前块的左侧块、左下块、左上块、上面块和右上块和与所述当前块相同的层的时间邻近块的可用运动信息中选择的，和

其中，当能够对所述当前块执行所述层间预测时，用于所述当前块的运动信息是从所述当前块的左侧块、左下块、左上块、上面块和右上块和在不同于所述当前块的层中的相应的块的可用运动信息中选择的，和

其中，所述选择的运动信息用作用于所述当前块的运动信息。

10.根据权利要求9所述的视频解码方法，其中，所述运动信息包括运动矢量和参考图片索引，并且与所述当前块相同的层的时间邻近块的参考图片索引指示参考图片列表的最上面的图片。

11.根据权利要求9所述的视频解码方法，其中，当对所述当前块不执行所述层间预测时，从包括所述当前块的左侧块、左下块、左上块、上面块和右上块和与所述当前块相同的层的时间邻近块的可用运动信息的第一合并候选者列表中选择的运动信息用作用于所述当前块的运动信息，

其中，当能够对所述当前块执行所述层间预测时，从包括所述当前块的左侧块、左下块、左上块、上面块和右上块和在不同于所述当前块的层中的相应块的可用运动信息的第二合并候选者列表中选择的运动信息用作用于所述当前块的运动信息，和

其中，在所述第一合并候选者列表中与所述当前块相同的层的时间邻近块的运动信息的位置与在所述第二合并候选者列表中在不同于所述当前块的层中相应的块的运动信息的位置相同。

12.一种在支持可伸缩性的多层结构中的视频编码方法，包括：

当对当前块不执行层间预测时，通过使用与所述当前块相同层的空间邻近块和时间邻近块的信息来推导用于所述当前块的预测块；

当能够对所述当前块执行所述层间预测时，通过使用在不同于所述当前块的层的层中与所述当前块的相同层的空间邻近块和相应的块的信息来推导用于所述当前块的预测采样；

产生残留，所述残留是在所述预测采样和原始信号之间的差；和

发送关于所述残留的信息和用于推导所述预测采样的信息。

13.根据权利要求12所述的视频编码方法，

其中，基于用于所述当前块的运动矢量预测来推导用于所述当前块的预测采样，和

其中，当对所述当前块不执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动信息和在不同于所述当前块的层中的相应的块的运动信息中的任何一个来推导用于所述当前块的运动信息，和

其中，当能够对所述当前块执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动矢量和在不同于所述当前块的层中的相应的块的运动矢量中的任何一个来推导用于所述当前块的运动信息。

14.根据权利要求12所述的视频编码方法，

其中，基于合并模式使用所述邻近块的运动信息来推导用于所述当前块的预测采样，

其中，当对所述当前块不执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动信息和与所述当前块相同的层的时间邻近块的运动信息中的任何一个来推导用于所述当前块的运动信息，和

其中，当能够对所述当前块执行所述层间预测时，通过使用与所述当前块相同的层的空间邻近块的运动信息和在不同于所述当前块的层中的相应的块的运动信息中的任何一个来推导用于所述当前块的运动信息。