CN104255032B - 层间预测方法和使用其的编码设备和解码设备 - Google Patents

Abstract

本发明涉及层间预测方法和使用其的编码设备和解码设备，并且该层间预测方法包括步骤：指定在参考层中的参考块；和使用有关参考块的信息预测在当前层中的当前块。在指定参考块的步骤中，参考块可以基于参考位置来指定，参考位置是对应于在当前层上用于指定当前块的当前位置在参考块上的位置。

Description

层间预测方法和使用其的编码设备和解码设备

技术领域

本发明涉及视频压缩技术，尤其是，涉及在可缩放的视频编译中的层间预测方法。

背景技术

近年来，对高分辨率和高质量视频的需要已经在各种应用领域中越来越增长。由于图片具有更高的分辨率和更高的质量，有关图片的信息量也增长。

随着数据量的增长，引入具有各种环境的多功能设备和网络。

随着具有各种性能的装置和具有各种环境的网络的发展，相同的内容可以以不同的质量等级使用。

具体地，由于终端能够支持各种图片质量，并且建立各种网络环境，所以在一个环境下允许具有常规质量的图片，而在另一个环境下更高质量的图片是可用的。

例如，已经经由移动终端购买视频内容的用户可以在他的或者她的家庭中，在具有较高分辨率的大屏幕显示器上欣赏该视频内容。

近年来，由于高清(HD)广播服务是可用的，大量的用户习惯于高分辨率和高质量的视频，并且服务提供者和服务用户也关注具有比HDTV高四倍分辨率的超高清(UHD)服务。

因此，需要基于有关高容量视频的高效率的编码和解码方法对视 频质量，例如，图像质量、分辨率、视频的大小和帧率，提供可缩放性，以便在不同的环境下对用户的需求提供变化的视频服务质量。

发明内容

技术问题

本发明的一个目的是提供一种在可缩放视频编译中能够有效地执行层间预测的方法和装置。

本发明的另一个目的是提供一种能够在层间预测中准确地指定在不同的层之间的匹配关系的方法和装置。

本发明的再一个目的是提供一种当层具有不是最小编译单元(SCU)的大小倍数的大小的时候，能够在不同的层之间准确地指定匹配关系，从而有效地执行层间预测的方法和装置。

本发明的再一个目的是提供一种对应于当前层中的当前块指定在参考层中的参考块的方法和装置。

问题的解决方案

根据本发明的一个方面，提供了一种层间预测方法，包括：指定在参考层中的参考块，和使用有关参考块的信息预测在当前层中的当前块，其中参考块的指定包括基于参考位置指定参考块，参考位置是对应于在当前层中用于指定当前块的当前位置在参考层中的位置。

根据本发明的另一个方面，提供了一种解码器，包括：接收模块，该接收模块接收包括有关多层的视频信息的比特流；预测模块，该预测模块使用有关参考层的视频信息执行对于当前层的视频的预测；和存储器，该存储器存储预测所必需的信息，其中预测模块使用有关在参考层中参考块的信息预测当前块，并且参考块是基于参考位置指定的，参考位置是对应于在当前层中用于指定当前块的当前位置在参考 层中的位置。

根据本发明的再一个方面，提供了一种编码器，包括：预测模块，该预测模块使用有关参考层的视频信息执行对于当前层视频的预测；存储器，该存储器存储预测所必需的信息；和传输模块，该传输模块发送包括预测的信息的多层的比特流，其中预测模块使用有关在参考层中参考块的信息预测当前块，并且参考块是基于参考位置指定的，参考位置是对应于在当前层中用于指定当前块的当前位置在参考层中的位置。

有益效果

根据本发明，能够在可缩放视频编译中有效地执行层间预测。

根据本发明，能够在层间预测中准确地指定在不同的层之间的匹配关系。

根据本发明，当层具有不是最小编译单元(SCU)大小倍数的大小的时候，能够准确地指定在不同的层之间的匹配关系，从而有效地执行层间预测。

根据本发明，能够对应于当前层中的当前块指定在参考层中的参考块。

附图说明

图1是示意地图示根据本发明的一个实施例的支持可缩放性的视频编码器的方框图。

图2是示意地图示根据本发明的一个实施例的支持可缩放性的视频解码器的方框图。

图3是图示根据本发明在执行可缩放编译的视频编码器和视频解码器中的层间预测示例的方框图。

图4是示意地图示根据本发明指定在当前层中的当前块和在参考层中的参考块的方法的示意图。

图5简要地图示用于不参考另一个层在层内执行中间预测的运动信息候选的示例。

图6示意地图示根据本发明在层间内部预测处理中应用的重新缩放(下采样/上采样)的示例。

图7是示意地图示根据本发明的相移上采样示例的示意图。

图8是示意地图示对应于上层调整下层位置的方法示例的示意图。

图9是示意地图示对应于下层调整上层位置，或者缩放为上层的分辨率的下层位置的方法示例的示意图。

图10是示意地图示使用偏移调整上层和下层的对应位置的方法示例的示意图。

图11是示意地图示根据本发明执行层间预测方法的流程图。

图12是示意地图示根据本发明对当前层进行解码的解码器的示意图。

图13是示意地图示根据本发明对当前层进行编码的编码器的示意图。

具体实施方式

本发明可以以各种形式不同地修改，并且其特定的实施例将在附图中描述和示出。但是，实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施例，但是，不意欲限制本发明。单数的表示包括复数表示，只要其清楚不同地解读。诸如“包括”和“具有”的术语，意欲表示存在在以下的描述中使用的特点、数目、步骤、操作、元件、组件，或者其组合，并且因此，应该理解，不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、元件、组件，或者其组合的可能性。

另一方面，在本发明描述的附图中的元件在图像编码/解码装置中为解释不同的特定功能的便利的目的独立地绘制，并且不意味元件由 单独的硬件或者单独的软件实施。例如，元件的两个或更多个元件可以合并以形成单个元件，或者一个元件可以被分成多个元件。不脱离本发明的概念，元件被合并和/或分解的实施例属于本发明的范围。

在下文中，本发明示例性实施例将参考附图详细描述。在附图中类似的组成将由类似的附图标记引用，并且不会重复地描述。

在支持可缩放性(在下文中，称为“可缩放编译”)的视频编译方法中，输入信号可以通过层来处理。取决于层，输入信号(输入视频)可以在分辨率、帧率、位深度、颜色格式和长宽比的至少一个方面彼此不同。

在本说明书中，可缩放编译包括可缩放编码和可缩放解码。

在可缩放编码/解码中，能够通过使用层间差别，也就是说，基于可缩放性执行层间预测来减少重复传输/信息的处理，并且提高压缩效率。

图1是示意地图示根据本发明的一个实施例支持可缩放性的视频编码器的方框图。

参考图1，视频编码器100包括用于层1的编码模块105和用于层0的编码模块135。

层0可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。

用于层1的编码模块105包括预测模块110、变换/量化模块115、滤波模块120、解码的图片缓存器(DPB)125、熵编译模块130和多路复用器(MUX)165。

用于层0的编码模块135包括预测模块140、变换/量化模块145、滤波模块150、DPB155，和熵编译模块160。

预测模块110和140可以对输入视频执行中间预测和内部预测。预测模块110和140可以通过预先确定的处理单元执行预测。用于预测的处理单元可以是编译单元(CU)、预测单元(PU)，或者可以是变换单元(TU)。

例如，预测模块110和140可以确定是否通过CU进行中间预测或者内部预测，可以通过PU确定预测模式，并且可以通过PU或者TU执行预测。要执行的预测包括预测块的构造和残留块(残留信号)的构造。

在中间预测中，预测可以基于有关当前图片的先前图片和/或后续图片的至少一个的信息执行以构造预测块。在内部预测中，预测可以基于在当前图片中的像素信息执行以构造预测块。

中间预测模式或者方法的示例包括跳过模式、合并模式、运动矢量预测(MVP)方法。在中间预测中，用于要预测的当前PU的参考图片可以被选择，并且对应于当前PU的参考块可以从参考图片中选择。预测模块110和140可以基于参考块构造预测块。

预测块可以作为整数采样单元或者作为分数像素单元构造。在这里，运动矢量也可以以分数像素表示。

在中间预测中的运动信息，即，诸如参考图片的索引、运动矢量和残留信号的信息被熵编码，并且发送给视频解码器。当应用跳过模式的时候，残留信号可以完全不生成、变换、量化和发送。

在内部预测中，预测模式可以包括33个方向预测模式，和至少2个无方向模式。无方向模式可以包括DC预测模式和平面模式。在内部预测中，在滤波应用于参考采样之后，可以构造预测块。

PU可以是具有各种大小和形状的块。例如，在中间预测中，PU可以是2N×2N、2N×N、N×2N或者N×N块(这里N是整数)。在内部预测中，PU可以是2N×2N或者N×N块(这里N是整数)。具有N×N大小的PU可以被设置为仅仅应用于特定的情形。例如，具有N×N大小的PU可以被设置为仅仅用于最小的CU，或者仅仅用于内部预测。除了具有以上提及大小的PU之外，PU可以进一步定义为N×mN块、mN×N块、2N×mN块，或者mN×2N块(这里m<1)供使用。

预测模块110和140可以使用有关层0的信息执行对于层1的预测。在本说明书中，为了方便起见，使用另一个层信息预测当前层信息的处理定义为层间预测。

使用另一个层信息预测的(也就是说，通过层间预测预测的)当前层信息可以包括纹理、运动信息、单元信息、预先确定的参数(例如，滤波器参数)等等。

用于预测当前层信息(也就是说，用于层间预测)的另一个层信息可以包括纹理、运动信息、单元信息、预先确定的参数(例如，滤波器参数)等等。

作为层间预测的一个示例，层间单元参数预测可以推导有关基本层的单元(CU、PU和/或TU)信息以用作有关增强层的单元信息，或者基于有关基本层的单元信息确定有关增强层的单元信息。

单元信息可以包括在每个单元级中的信息。例如，CU信息可以包括有关分割(CU、PU和/或TU)的信息、有关变换的信息、有关预测 的信息，和有关编译的信息。PU信息可以包括有关PU分割的信息和有关预测的信息(例如，运动信息和有关预测模式的信息)。TU信息可以包括有关TU分割的信息和有关变换的信息(变换系数和变换方法)。

单元信息可以仅仅包括有关处理单元(例如，CU、PU、TU等等)的分割信息。

作为层间预测的另一个示例，层间运动预测也称为层间中间预测。根据层间中间预测，用于层1(当前层或者增强层)的当前块的预测可以使用有关层0(参考层或者基本层)的运动信息执行。

当采用层间中间预测的时候，有关参考层的运动信息可以被缩放。

作为层间预测的再一个示例，层间纹理预测也称为层间内部预测或者内部基本层(BL)预测。层间纹理预测可以将参考层中的参考块的纹理用作用于在增强层中的当前块的预测值。在这里，参考块的纹理可以通过上采样缩放。

作为层间预测的又一个示例，层间参数预测可以推导在基本层中使用的参数以在增强层中重复使用，或者可以基于在基本层中使用的参数预测用于增强层的参数。

虽然层间纹理预测、层间运动预测、层间单元信息预测和层间参数预测已经在上面作为层间预测说明，但是替换的层间预测也可以应用于本发明而不受限于此。

例如，预测模块可以使用有关另一个层的残留信息进行预测当前层的残留的层间残留预测，并且基于残留执行对于在当前层中的当前块的预测。

此外，预测模块可以使用在通过上采样或者下采样当前层的重建图片和另一个层的重建图片获得的图片之间的差分图片进行执行对于在当前层中的当前块的预测的层间差分预测。

变换/量化模块115和145可以通过TU变换残留块，以生成变换系数并且可以量化该变换系数。

变换块是相同的变换被应用到的采样的矩形块。变换块可以是TU，并且可以具有四树结构。

变换/量化模块115和145可以基于应用于残留块的预测模式和变换块的大小执行变换以生成二维(2D)的变换系数阵列。例如，当内部预测应用于残留块，并且残留块具有4×4阵列的时候，残留块可以被使用离散正弦变换(DST)变换。否则，残留块可以被使用离散余弦变换(DCT)变换。

变换/量化模块115和165可以不考虑预测模式和变换块的大小固定地使用特定的变换。例如，变换/量化模块115和165可以仅仅将DST应用于所有变换块。或者，变换/量化模块115和165可以仅仅将DCT应用于所有变换块。

变换/量化模块115和145可以量化变换系数，以生成量化的变换系数。

变换/量化模块115和145可以将量化的变换系数发送给熵编译模块130和160。在这里，变换/量化模块115和145可以以预先确定的扫描顺序将2D阵列的量化的变换系数重新排列为一维(1D)阵列，并且可以将重新排列的1D阵列发送给熵编译模块130和160。变换/量化模块115和145可以将基于残留块和预测块产生的重建的块发送 给滤波模块120和150用于中间预测，而无需变换/量化。

必要时，变换/量化模块115和165可以跳过变换，并且仅仅执行量化，或者可以跳过变换和量化两者。例如，对于涉及特定预测方法，或者具有特定大小的块，或者涉及特定的预测块并且具有特定大小的块，变换/量化模块115和165可以跳过变换。

熵编译模块130和160可以对量化的变换系数执行熵编码。编码方法，诸如指数Golomb编译和上下文自适应二进制运算编译(CAVLC)可以用于熵编码。

滤波模块120和150可以将去块滤波、自适应环路滤波器(ALF)，或者采样自适应偏移(SAO)应用于重建的图片。

去块滤波可以去除在重建的图片的块之间的边界上产生的块失真。ALF可以基于将原始图片与其块由去块滤波滤波的重建的图片比较的结果值执行滤波处理。SAO可以通过在已经经历去块滤波的残留块和原始图片之间的像素重建偏移差异，并且以带偏移、边缘偏移等等的形式应用。

滤波模块120和150可以不应用所有的去块滤波、ALF和SAO，但是可以仅仅应用去块滤波、可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SAO。

DPB 125和155可以从滤波模块125和150接收和存储重建的块或者重建的图片。DPB 125和155可以将重建的块或者图片提供给执行中间预测的预测模块110和140。

从用于层0的熵编译模块160输出的信息和从用于层1的熵编译模块130输出的信息可以由MUX 165多路复用，并且可以作为比特流 输出。

虽然用于层1的编码模块105为了方便起见已经描述为包括MUX165，但是MUX可以是与用于层1的编码模块105和用于层0的编码模块135无关的设备或者模块。

图2是示意地图示根据本发明的一个实施例支持可缩放性的视频解码器的方框图。

参考图2，视频解码器200包括用于层1的解码模块210和用于层0的解码模块250。

层0可以是基本层、参考层或者下层，并且层1可以是增强层、当前层或者上层。

用于层1的解码模块210可以包括熵解码模块215、重排列模块220、去量化模块225、反变换模块230、预测模块235、滤波模块240，和存储器。

用于层0的解码模块250可以包括熵解码模块255、重排列模块260、去量化模块265、反变换模块270、滤波模块280，和存储器285。

当包括视频信息的比特流被从视频编码器发送的时候，多路分解器(DEMUX)305可以通过层多路分解该信息，并且可以通过层将该信息发送给解码器。

熵解码模块215和255可以对应于在视频编码器中使用的熵编码方法执行熵解码。例如，当在视频编码器中使用CABAC的时候，熵解码模块215和255可以使用CABAC执行熵解码。

在由熵解码模块215和255解码的信息之中用于构造预测块的信息可以提供给预测模块235和275，并且由熵解码模块215和255熵解码的残留值，即，量化的变换系数，可以输入给重排列模块220和260。

重排列模块220和260可以基于在视频编码器中使用的重新排序方法重新排列由熵解码模块215和255熵解码的比特流的信息，即，量化的变换系数。

例如，重排列模块220和260可以将1D阵列的量化的变换系数重新排列回为2D阵列的系数。重排列模块220和260可以基于应用于当前块(变换块)的预测模式和/或变换块的大小执行扫描，以构造2D阵列的系数(量化的变换系数)。

去量化模块225和265可以基于从视频编码器发送的量化参数和块的重新排列的系数执行去量化以生成变换系数。

取决于预先确定的条件，或者取决于用于视频编码器的量化方法，去量化模块225和265可以将熵解码的残留值发送给反变换模块230和270，而不去量化残留值。

反变换模块230和270可以对变换系数执行由视频编码器的变换模块执行的变换的反变换。反变换模块230和270可以执行由视频编码器执行的DCT和DST的反DCT和/或反DST。

在视频编码器中，DCT和/或DST可以取决于多条信息，诸如预测方法、当前块的大小和预测方向有选择地执行，并且视频解码器的反变换模块230和270可以基于由视频解码器使用的变换信息执行反变换。

例如，反变换模块230和270可以取决于预测模式/块大小执行反 DCT和反DST。特别地，反变换模块230和270可以对内部预测已经被应用到的4×4亮度块执行反DST。

或者，反变换模块230和270可以不考虑预测模式/块大小而固定地使用特定的反变换方法。例如，反变换模块230和270可以仅仅将反DST应用于所有变换块。反变换模块230和270也可以仅仅将反DCT应用于所有变换块。

反变换模块230和270可以反向地变换变换系数或者变换系数块以构造残留信号或者残留块。

必要时，或者取决于用于视频编码器的编码方法，反变换模块230和270可以跳过变换。例如，对于涉及特定预测方法，或者具有特定大小的块，或者涉及特定预测块并且具有特定大小的块，反变换模块230和270可以跳过变换。

预测模块235和275可以基于从熵解码模块215和255提供的预测块构造信息，和有关先前解码的块的信息，和/或从存储器245和285提供的图片构造当前块的预测块。

当用于当前块的预测模式是内部预测模式的时候，预测模块235和275可以基于有关在当前图片中像素的信息对当前块执行内部预测。

当用于当前块的预测模式是中间预测模式的时候，预测模块235和275可以基于在当前图片的先前图片和后续图片的至少一个中包括的信息对当前块执行中间预测。中间预测所必需的部分或者全部运动信息可以基于从视频编码器接收的信息推导。

当跳跃模式用作中间预测模式的时候，残留可以不从视频编码器发送，并且预测块可以用作重建块。

用于层1的预测模块235可以仅仅使用在层1中的信息执行中间预测或者内部预测，并且可以使用有关另一个层(层0)的信息执行层间预测。

例如，用于层1的预测模块235可以使用有关层1的运动信息、有关层1的纹理信息、有关层1的单元信息和有关层1的参数信息的一个执行对于当前块的预测。用于层1的预测模块235也可以使用在有关层1的运动信息、有关层1的纹理信息、有关层1的单元信息和有关层1的参数信息之中的多个信息执行对于当前块的预测。

用于层1的预测模块235可以从用于层0的预测模块275接收有关层1的运动信息，并且可以执行运动预测。层间运动预测也称为层间中间预测。通过层间运动预测，用于在当前层(增强层)中的当前块的预测可以使用有关参考层(基本层)的运动信息来执行。必要时，预测模块235可以缩放和使用有关参考层的运动信息。

用于层1的预测模块235可以从用于层0的预测模块275接收有关层1的纹理信息，并且可以执行纹理预测。纹理预测也称为层间内部预测或者内部基本层(BL)预测。在层间纹理预测中，在参考层中的参考块的纹理可以用作用于在增强层中当前块的预测值。在这里，参考块的纹理可以通过上采样缩放。

用于层1的预测模块235可以从用于层0的预测模块275接收有关层1的单元参数信息，并且可以执行单元参数预测。通过单元参数预测，有关基本层的单元(CU、PU和/或TU)信息可以用作有关增强层的单元信息，或者有关增强层的单元信息可以基于有关基本层的单元信息确定。

用于层1的预测模块235可以从用于层0的预测模块275接收有 关层1的滤波器参数信息，并且可以执行参数预测。通过参数预测，用于基本层的参数可以被推导以对于增强层重复使用，或者用于增强层的参数可以基于用于基本层的参数预测。

加法器290和295可以使用由预测模块235和275构造的预测块和由反变换模块230和270构造的残留块构造重建块。在这种情况下，加法器290和295可以被认为是构造重建块的单独的模块(重建块构造模块)。

由加法器290和295重建的块和/或图片可以提供给滤波模块240和280。

滤波模块240和280可以将去块滤波、SAO和/或ALF应用于重建的块和/或图片。

滤波模块240和280可以不应用所有的去块滤波、ALF和SAO，但是可以仅仅应用去块滤波、可以仅仅应用去块滤波和ALF，或者可以仅仅应用去块滤波和SAO。

参考图2，用于层1的滤波模块240可以使用从用于层1的预测模块和/或用于层1的滤波模块280发送的参数信息对重建的图片执行滤波操作。例如，用于层1的滤波模块240可以对层1执行滤波操作，或者使用从应用于层0的滤波器参数预测的参数执行层间滤波操作。

存储器245和285可以存储用作参考图片或者参考块的重建的块或者图片。存储器245和285可以经由预先确定的输出模块(未示出)或者显示器(未示出)输出在存储器245和285中存储的重建的图片。

虽然图2图示重排列模块、去量化模块和反变换模块作为单独的模块，但是视频解码器也可以配置为允许去量化/反变换模块作为单个 模块，以连续地执行类似图1的视频编码器的重新排序、去量化和反变换。

虽然图1和2图示预测模块，用于层1的预测模块可以包括使用有关另一个层(层0)的信息执行预测处理的层间预测模块，和无需使用有关另一个层(层0)的信息执行预测处理的中间/内部预测模块。

图3是图示根据本发明在执行可缩放编译的视频编码器和视频解码器中的层间预测示例的方框图。

参考图3，用于层1的预测模块300包括中间/内部预测模块340和层间预测模块350。

用于层1的预测模块300可以执行对于从有关层0的信息预测层1所必需的层间预测。

例如，层间预测模块350可以从用于层0的预测模块320和/或滤波模块330接收有关层0的信息，并且可以执行对于预测层1所必需的层间预测。

用于层1的中间/内部预测模块340可以无需使用有关层0的信息，使用有关层1的信息执行中间预测或者内部预测。

用于层1的中间/内部预测模块340也可以使用从层间预测模块350发送的信息，基于有关层0的信息执行预测。

此外，用于层1的滤波模块310可以基于有关层0的信息执行滤波，或者可以基于有关层1的信息执行滤波。有关层0的信息可以从用于层0的滤波模块330发送给用于层0的滤波模块310，或者可以从用于层1的层间预测模块350发送给用于层1的滤波模块310。

同时，从层0发送给层间预测模块350的信息可以是有关层0的单元参数的信息、有关层0的运动信息、有关层0的纹理信息，和有关层0的滤波器参数信息的至少一个。

为了描述方便起见，假设层间预测模块350具有用于预测各个层间信息的子预测模块。

例如，层间预测模块350可以包括纹理预测模块360、运动预测模块370、单元信息预测模块380和参数预测模块390。

当在参考层中的参考块被重建的时候，纹理预测模块360可以将在参考层中的参考块的纹理作为用于在增强层中当前块的预测值使用。在这里，纹理预测模块360可以使用上采样缩放参考块的纹理。

运动预测模块370可以使用有关层0(参考层或者基本层)的运动信息进行用于在层1(当前层或者增强层)中的当前块的预测。在这里，运动预测模块370可以缩放有关参考层的运动信息。

单元信息预测模块380可以推导有关基本层的单元(CU、PU和/或TU)信息以用作有关增强层的单元信息，或者可以基于有关基本层的单元信息确定有关增强层的单元信息。

参数预测模块390可以推导用于基本层的参数以对于增强层重复使用，或者可以基于用于基本层的参数预测用于增强层的参数。

虽然层间纹理预测、层间运动预测、层间单元信息预测和层间参数预测已经在上面作为层间预测说明，但是替换的层间预测也可以应用于本发明，而不受限于此。

例如，层间预测模块可以进一步包括用于进行层间残留预测的子预测模块，和/或用于进行层间差分预测的子预测模块，或者先前的子预测模块的组合可以进行层间残留预测和层间差分预测。

如果编码器具有在图3中图示的配置，则在层1中，预测模块300可以对应于图1的预测模块110，并且滤波模块310可以对应于图1的滤波模块120。在层0中，预测模块320可以对应于图1的预测模块140，并且滤波模块330可以对应于图1的滤波模块150。

如果解码器具有在图3中图示的配置，则在层1中，预测模块300可以对应于图2的预测模块235，并且滤波模块310可以对应于图2的滤波模块240。在层0中，预测模块320可以对应于图2的预测模块275，并且滤波模块330可以对应于图2的滤波模块280。

在可缩放视频编译中，可以执行使用有关另一个层的信息预测有关当前层信息的层间预测。如参考图1至3描述的，运动预测、纹理预测、单元预测、参数预测可以被认为是层间预测的示例。

为了使用有关参考层的信息(例如，纹理信息或者运动信息)，必须指定在参考层中的当前块和对应于当前块的参考块。

图4是根据本发明示意地图示指定在当前层中的当前块和在参考层中的参考块方法的示意图。图4图示当前层是参考层的上层，并且具有比参考层更高的分辨率的示例。

参考图4，在当前层中的当前块410可以由在当前层中的预先确定的位置指定，并且参考块400可以对应于预先确定的位置在参考层中指定。在图4中，当前块可以是CU或者PU。

假设指定当前块410的位置是(xCurr，yCurr)，并且对应于当前 块指定在参考层中的参考块的位置是(xRef，yRef)。在这里，(xCurr，yCurr)可以是距离当前图片的左上采样的相对位置。此外，(xRef，yRef)可以是距离参考图片或者参考层的代表的左上的相对位置。

当对当前块执行层间预测的时候，用于当前块的预测块可以使用有关指定的参考块的信息如下构造。

在图4中，nPSW是当前块410的宽度，并且nPSH是当前块410的高度。

当前块和参考块的位置可以由编码器和解码器，或者在编码器和解码器中的特定模块(例如，预测模块)指定。为了描述的方便起见，在这个示例中图示编码器的预测模块和解码器的预测模块来指定当前块和参考块的位置。

也就是说，预测模块可以指定(xCurr，yCurr)和(xRef，yRef)。

预测模块可以指定当前块并且基于当前块的位置指定参考块，从而获取有关参考块的信息(例如，纹理信息或者运动矢量)。

在这里，编码器的预测模块可以指定(xCurr，yCurr)和(xRef，yRef)，并且将指定信息的位置发送给解码器，同时解码器的预测模块可以接收指定信息的位置，并且推导出(xCurr，yCurr)和(xRef，yRef)。

在这种情况下，解码器的预测模块可以使用有关由(xRef，yRef)指定的参考块的信息对由(xCurr，yCurr)指定的当前块进行层间预测。

指定当前块的位置(xCurr，yCurr)的确定

指定在当前层中当前块的位置(xCurr，yCurr)可以由候选(1)至(12)的任何一个确定。

(1)LT＝(xP,yP)

(2)RT＝(xP+nPSW-1,yP)

(3)LB＝(xP,yP+nPSH-1)

(4)RB＝(xP+nPSW-1,yP+nPSH-1)

(5)LT’＝(xP-1,yP-1)

(6)RT’＝(xP+nPSW,yP-1)

(7)LB’＝(xP-1,yP+nPSH)

(8)RB’＝(xP+nPSW,yP+nPSH)

(9)C0＝(xP+(nPSW>>1)-1,yP+(nPSH>>1)-1)

(10)C1＝(xP+(nPSW>>1),yP+(nPSH>>1)-1)

(11)C2＝(xP+(nPSW>>1)-1,yP+(nPSH>>1))

(12)C3＝(xP+(nPSW>>1),yP+(nPSH>>1))

指定当前块的位置(xCurr，yCurr)可以由(1)至(12)的任何一个确定以固定地使用，或者用作(xCurr，yCurr)的位置可以经由率失真优化(RDO)确定，并且由视频编码器用信号通知。

或者，与指定在参考层(基本层)中的参考块(例如，PU或者CU)位置相对应的相同的位置可以确定为指定在当前层(增强层)中的当前块(例如，PU或者CU)的位置(xCurr，yCurr)。

例如，当在参考层的参考块中左上采样的位置用作指定参考块的位置的时候，在当前层的当前块中左上采样LT＝(xP，yP)的位置可以被确定为供使用的(xCurr，yCurr)。

在参考层中的目标位置(xRef，yRef)

在从中预测当前层所必需的信息(例如，纹理信息或者运动信息)的参考层中的位置(参考块的位置)可以取决于在当前层和参考层距离当前块的位置之间的比率确定。

表达式1表示根据本发明确定在参考层中的从其提取预测所必需的信息的参考块位置的方法。

<表达式1>

xRef＝xCurr/缩放

yRef＝yCurr/缩放

在这里，表示当前层对参考层的比率的缩放可以取决于两个层的分辨率确定。例如，在当前层的分辨率是参考层的分辨率的两倍的时候，应用2的缩放值。在当前层的分辨率是参考层的分辨率1.5倍的时候，应用1.5的缩放值。在当前层的分辨率等于参考层的分辨率的时候，应用1的缩放值。

虽然在这个示例中缩放被说明为在当前层和参考层之间的分辨率的比率，但是本发明不受限于此。缩放可以取决于要应用于当前层和参考层的可缩放类型确定。例如，缩放可以是在当前层和参考层之间的图片大小比率或者帧率比率。

层间运动预测

层间运动预测也称为层间中间预测，并且为了容易理解本发明的目的，必要时，本说明书可以使用将层间运动预测与层间中间预测混用。

在层间运动预测中，在当前层(增强层)中的当前块可以使用有关参考层(基本层)的运动信息来预测。

层间运动预测可以由在图1至3中图示的预测模块或者层间预测模块执行。在下文中，为了解释的方便起见，层间运动预测被描述为由预测模块执行。

图5是简要地图示用于不参考另一个层的情况下在层内执行中间 预测(在下文中，称为“中间预测”)的运动信息的候选示例的示意图。

在图5中，A₀、A₁、B₀、B₁、B₂和COL可以指定相应的块，或者可以指定有关相应的块的运动信息。在这里，有关相应的块的运动信息可以是运动矢量，或者可以是运动矢量和参考图片索引。

在这里，中间预测方法将作为一个示例使用基本层描述。

在基本层中的中间预测可以由在图1至3中图示的预测模块或者中间/内部预测模块执行。在下文中，为了解释的方便起见，中间预测被描述为由预测模块执行。

中间预测模式包括合并模式、跳过模式，和使用运动矢量预测器(MVP)的模式。为了解释的方便起见，使用MVP的模式称为AMVP(高级MVP)模式。

在合并模式中，在图5中图示的有关邻近块的运动信息之中选择的运动信息(在下文中，称为运动信息候选)可以用作有关当前块的运动信息。表示选择的运动信息候选的信息可以从视频编码器发送给视频解码器。

在跳过模式中，无需生成/发送残留，以与合并模式相同的方式选择的运动信息候选的运动信息用作有关当前块的运动信息。

当应用合并模式或者跳过模式的时候，预测模块可以确定在当前块附近的空间候选A₀、A₁、B₀、B₁和B₂的可用性。

合并候选列表可以根据可用性确定顺序，使用包括COL候选的、确定为可用的候选来构造。

预测模块可以使用通过编码器发送的信息(例如，合并索引merge_idx)表示的合并候选列表之中的候选的运动信息，作为有关当前块的运动信息，来执行中间预测。例如，预测模块可以使用通过合并索引选择的候选的运动信息表示的采样作为当前块的预测块。

当应用AMVP模式的时候，预测模块也可以构造包括MVP候选的AMVP列表。

例如，预测模块可以以A₀→A₁的顺序确定块的运动矢量的可用性来选择MVP候选A，并且可以以B₀→B₁→B2的顺序确定块的运动矢量的可用性来选择MVP候选B。

当A和B两者是可用的，并且彼此不同的时候，预测模块可以将候选列表构造为[AB]，而当作为COL块的运动矢量的A、B和COL全部是可用的，并且A和B相同的时候，预测模块可以将候选列表构造为[A COL]。

当作为可用性确定的结果在候选列表中的候选的数目小于2的时候，预测模块可以增加零(0)矢量以将候选的数目调整为2。

视频编码器可以将表示在AMVP列表中要在当前块的中间预测中使用的MVP的MVP索引、运动矢量的运动矢量差mvd，和表示在参考图片列表中用于当前块的参考图片的参考索引发送给视频解码器。参考图片列表是要在中间预测中使用的参考图片列表，并且分类为用于前向预测的L0和用于反向预测的L1。

预测模块可以基于由MVP索引表示的MVP、从mvd推导出的运动矢量，和由参考索引表示的参考图片构造当前块的预测块。

当预测块通过应用合并模式/跳过模式或者AMVP模式构造的时候，预测模块可以基于预测块和残留构造当前块的重建块。当应用跳过模式的时候，残留不被发送，并且因此，预测模块可以将预测块作为重建的块使用。

虽然已经参考基本层作为一个示例描述了中间预测方法，但是中间预测也可以无需使用有关另一个层的信息以与如上所述相同的方式对增强层执行。

当如上所述对基本层执行中间预测的时候，层间运动预测可以使用有关基本层的运动信息对增强层执行。

例如，用于增强层的层间预测模块可以基于从用于参考层的预测模块发送的信息推导有关参考层的运动信息。或者，用于增强层的预测模块可以基于从视频编码器发送的信息推导有关参考层的运动信息。

在这里，预测模块可以指定当前块的位置(xCurr，yCurr)，并且可以从由参考层中的相应位置(xRef，yRef)指定的参考块获取有关参考层的运动信息。

预测模块可以使用有关参考块的运动信息作为候选以合并模式/跳过模式或者AMVP模式预测当前块。

在这里，预测模块可以缩放有关在参考层中的参考块的运动信息，即，参考层的运动矢量，以用于预测当前块。也就是说，预测模块可以使用缩放运动矢量作为当前块的运动矢量，或者作为当前块的MVP。

详细地，预测模块可以推导出在位置(xRef，yRef)处的运动矢量，即，覆盖位置(xRef，yRef)的块(参考块)的运动矢量，作为 mvRL。在这里，参考块可以是PU。

预测模块可以推导出覆盖位置(xRef，yRef)的块(参考块)的参考索引作为参考索引refIdxIL，以用于层间运动预测。

预测模块可以通过缩放mvRL推导出运动矢量mvIL以用于层间运动预测(层间中间预测)。

表达式2表示根据本发明通过缩放mvRL推导mvIL的方法。

<表达式2>

mvIL＝缩放*mvRL

在表达式2中，缩放表示当前层对参考层的比率，如表达式1那样。例如，在当前层的分辨率是参考层的分辨率的两倍的时候，应用2的缩放。在当前层的分辨率是参考层的分辨率的1.5倍的时候，应用1.5的缩放。

在当前层的分辨率等于参考层的分辨率的时候，应用1的缩放，并且预测模块可以将mvRL作为mvIL使用。

层间纹理预测

层间纹理预测也称为层间内部预测或者内部基本层(BL)预测。在本说明书中，为了描述的方便起见，层间纹理内部预测的术语可以与纹理预测和内部BL的术语一起使用。

在层间纹理预测中，为了在大小或者分辨率方面将基本层的重建图片与增强层的图片匹配，基本层的重建图片可以经历上采样。

上采样可以通过应用内插实现。

当应用层间纹理预测的时候，在参考层中的参考块的纹理可以用作在当前层中的当前块的预测块。在这里，如果残留不被发送，则视频解码器的预测模块可以使用参考块的纹理作为当前块的重建的纹理。

详细地，预测模块可以使用在对应于指定当前块的位置(xCurr，yCurr)的在参考层中由(xRef，yRef)指定的参考块的纹理作为用于当前块的预测值。也就是说，在参考层中覆盖位置(xRef，yRef)的参考块的纹理可以用作用于当前块的预测值。

在这种情况下，如上所述，预测模块可以对参考块的纹理，例如，重建的采样实施上采样。

层间语法预测

在层间语法预测中，使用有关参考层的语法信息预测或者产生当前块的纹理。在这里，有关用于预测当前块的参考层的语法信息可以包括有关内部预测模式、运动信息等等的信息。

例如，虽然参考层可以是P片或者B片，但是在片中的参考块可以是对其应用内部预测模式的块。在这种情况下，可以使用有关参考层的语法信息的内部模式执行产生/预测当前层的纹理的层间预测。详细地，在参考层是P片或者B片，但是在片中的参考块是对其应用内部预测模式的块的情形下，如果应用层间语法预测，则(1)在参考块的内部预测模式，(2)使用在当前层中在当前块附近的参考像素，可以对当前块执行内部预测。

在这里，对于在对应于指定当前块的位置(xCurr，yCurr)的参考层中，由(xRef，yRef)指定的参考块，预测模块可以使用内部预测模式，作为用于当前块的内部预测模式。也就是说，用于在参考层中覆盖位置(xRef，yRef)的参考块的内部预测模式可以用作用于当前块的 内部预测模式值。

对基本层上采样

具体地，视频编码器可以执行下采样输入图片的处理，以便通过具有不同的分辨率的多个划分的层编码/解码输入图片。

此外，视频编码器/解码器可以上采样下层的重建的图片，以便在编码/解码中将下层的图片作为参考图片使用。

图6示意地图示根据本发明在层间内部预测的处理中应用的重新缩放(下采样/上采样)的示例。

图6(a)图示共置的整数采样用作下采样的采样的示例。

图6(b)图示无需使用共置的整数采样产生和使用偏离1/2相位的采样的示例。

图7是示意地图示根据本发明的相移上采样示例的示意图。

在图7中的下层采样共同表示以从原始采样1/2相位的移动下采样的采样，和从下采样的采样进行上采样的采样。

考虑到对当前层执行层间预测，下采样的采样可以是在基本层(参考层)中的采样，并且原始采样可以是在增强层(当前层)中的采样。

视频编码器/解码器可以根据当前层的分辨率，或者在当前层和参考层之间的分解率比率上采样在参考层中的采样，以产生要用于当前层的预测或者重建的采样。

参考层和当前层的分辨率(大小)的调整

输入图片的宽度和长度需要分别是最小编译单元(SCU)的倍数。例如，SCU具有8×8的大小，输入图片的宽度和长度可以分别是8的倍数。

当输入图片的大小不是SCU的大小的倍数的时候，输入图片的大小经由填充调整。也就是说，输入图片的宽度和长度通过填充采样被调整为SCU的倍数。

在可缩放的视频编码中，在每层中的图片需要具有对应于SCU的倍数的宽度和长度，以便有效地执行编译。

在空间可缩放性的情形下，下层和上层具有不同的分辨率(图片大小)。

在这里，下层和上层的至少一个可以具有不是SCU大小倍数的大小。例如，当SCU是8×8的时候，下层的宽度和/或长度可以不必是8的倍数。或者，当SCU是8×8的时候，上层的宽度和/或长度可以不必是8的倍数。

详细地，当下层具有600×400大小，并且上层具有900×600大小的时候，两个层具有1.5的分辨率比率的空间可缩放性。

但是，下层具有对应于8的倍数的宽度/长度，而上层具有不是8的倍数的宽度。因此，上层的宽度通过填充采样被调整为8的倍数。

调整的上层具有对应于8的倍数的912×600的大小。视频编码器和视频解码器可以编码/解码具有912×600大小的图片，并且当输出上层的图片的时候，视频解码器可以根据输入图片的大小输出具有900×600大小的图片。

虽然先前的示例图示上层的大小不是SCU大小的倍数，替代地，下层的大小可以不必是SCU大小的倍数。例如，当上层具有960×540大小，并且分辨率比率是2的时候，下层具有480×270大小。如果SCU具有8×8大小，下层的大小不是SCU大小的倍数。

在这种情况下，下层的大小也可以经由填充等等被调整为SCU大小的倍数，然后被编码/解码，并且解码器可以将下层的图片输出为对应于输入图片的480×270大小。

当上层或者下层的图片大小被调整为SCU大小的倍数的时候，可能在下层中没有对应于上层的特定的位置(或者特定的区域)的位置(或者区域)。或者，可能在上层中没有对应于下层的特定的位置(或者特定的区域)的位置(或者区域)。

详细地，对应于上层的特定的位置pCurr的下层的位置pRef可以使用作为如上所述的缩放因子的缩放来指定。当在上层中的位置pCurr的坐标是(xCurr，yCurr)，并且在下层中的位置pRef的坐标是(xRef，yRef)的时候，在pCurr和pRef之间的关系可以由表达式3表示。

<表达式3>

(xRef,yRef)＝(xCurr/scaleX,yCurr/scaleY)

在表达式3中，scaleX可以是在上层和下层之间的X轴分辨率比率(宽度比率)，并且scaleY可以是在上层和下层之间的Y轴分辨率比率(高度比率)。

同时，如上所述，对应于(xCurr/缩放，yCurr/缩放)的位置可能在下层(参考层)中不存在。在这种情况下，在下层的大小以外的位置(xCurr/缩放，yCurr/缩放)可以通过限幅被调整为在下层内的值。

图8是示意地图示对应于上层调整下层位置的方法示例的示意图。

在图8中，层0是下层，并且层1是上层。下层可以是基本层或者参考层，并且上层可以是增强层或者当前层。

参考图8，当对应于在上层820中指定采样或者块的位置pCurr的下层810的位置pRef是在下层的区域以外的时候，位置pRef可以被调整为在下层810的区域范围之内，或者对应于下层810的大小。

图8示出的示例中，pCurr0、pCurr1、pCurr2和pCurr3如由表达式4表示的指定在上层820中的采样位置。

<表达式4>

pCurr0＝(xCurr0,yCurr0)

pCurr1＝(xCurr1,yCurr1)

pCurr2＝(xCurr2,yCurr2)

pCurr3＝(xCurr3,yCurr3)

为了描述的方便起见，如图8所示，假设pCurr0定位在上层820的左边界附近，pCurr1定位在上层820的上边界附近，pCurr2定位在上层820的右边界附近，并且pCurr3定位在上层820的下边界附近。

如上所述，当上层的大小不是SCU的倍数的时候，在上层中对应于采样位置(区域)的位置(区域)可能在下层中不存在。

例如，参考图8，对应于pCurr0的pRef0可能在下层810中不存在，对应于pCurr1的pRef1可能在下层810中不存在，对应于pCurr2的pRef2可能在下层810中不存在，或者对应于pCurr3的pRef3可能在下层810中不存在。

在这里，在pCurrI和pRefI(I＝0、1、2、3)之间的关系由表达式5表示。

<表达式5>

pCurrI＝(xCurrI,yCurrI)

pRefI＝(xRefI,yRefI)

(xRefI,yRefI)＝(xCurrI/scaleX,yCurrI/scaleY)

在这里，编码器和解码器可以实施限幅以将在下层的大小以外的位置pRef调整为在下层内的位置。

具体地，作为pRef的x分量的xRef和作为y分量的yRef可以经历如在表达式6中的限幅。

<表达式6>

xRef＝Clip3(0,xRef’,xRef)

yRef＝Clip3(0,yRef’,yRef)

在表达式6中，xRef’是在下层910中的x坐标。例如，当下层具有Width_L的宽度的时候，xRef’可以是Width_L-1。

在表达式6中，yRef’是在下层910中的y坐标。例如，当下层具有Height_L的高度的时候，yRef’可以是Height_L-1。

参考图8，下层的限幅的位置pRef0’、pRef1’、pRef2’和pref3’可以如下。

pRef0’＝(0,yCurr0/scaleY)

pRef1’＝(xCurr1/scaleX,0)

pRef2’＝(width_L-1,yCurr2/scaleY)

pRef3’＝(xCurr2/scaleX,Height_L-1)

图8图示由于上层的大小不是SCU的倍数，当对应于上层的特定位置(区域)的位置(区域)在下层中不存在的时候的调整方法。

另一方面，由于下层的大小不是SCU的倍数，所以对应于下层的特定位置(区域)的位置(区域)在上层中可能不存在。或者，由于下层的大小不是SCU的倍数，所以当下层被上采样的时候，上采样的下层的特定位置(区域)可能是在上层的大小以外。

图9是示意地图示对应于下层调整上层位置，或者缩放为上层的分辨率的下层位置的方法示例的示意图。

在图9中，层0是下层，并且层1是上层，或者缩放为上层的分辨率的下层。下层可以是基本层或者参考层，并且上层可以是增强层或者当前层。

参考图9，当对应于指定下层910中的采样或块的位置pRef的在上采样的下层中的位置pCurr是在上层的大小以外的时候，位置pCurr可以被调整为是在上层920的大小范围之内，或者对应于上层920的大小。

在图9示出的示例中，pRef0、pRef1、pRef2和pRef3如在表达式7中图示的指定在下层910中的采样位置。<表达式7>

pRef0＝(xRef0,yRef0)

pRef1＝(xRef1,yRef1)

pRef2＝(xRef2,yRef2)

pRef3＝(xRef3,yRef3)

为了描述的方便起见，如图9所示，假设pRef0定位在下层910的左边界附近，pRef1定位在下层910的上边界附近，pRef2定位在下层910的右边界附近，并且pRef3定位在下层910的下边界附近。

如上所述，当下层的大小不是SCU的倍数的时候，对应于下层中的采样位置(区域)在缩放的下层中的位置(区域)可能在上层中不存在。

例如，参考图9，对应于pRef0的pCurr0可能在上层920中不存在，对应于pRef1的pCurr1可能在上层920中不存在，对应于pRef2的pCurr2可能在上层920中不存在，或者对应于pRef3的pCurr3可能在上层920中不存在。

pCurr0是在缩放的下层中对应于pRef0的位置，pCurr1是在缩放的下层中对应于pRef1的位置，pCurr2是在缩放的下层中对应于pRef2的位置，并且pCurr3是在缩放的下层中对应于pRef3的位置。

在这里，在pCurrI和pRefI(I＝0、1、2、3)之间的关系由表达式8表示。

<表达式8>

pCurrI＝(xCurrI,yCurrI)

pRefI＝(xRefI,yRefI)

(xCurrI,yCurrI)＝(xRef*scaleX,yRefI*scaleY)

在这里，编码器和解码器可以实施限幅以将在上层的大小以外的位置pCurr调整为在上层内的位置。

特别地，作为pCurr的x分量的xCurr和作为y分量的yCurr可以经历如在表达式9中的限幅。

<表达式9>

xCurr＝Clip3(0,xCurr’,xCurr)

yCurr＝Clip3(0,yCurr’,yCurr)

在表达式9中，xCurr’是在上层920中的x坐标。例如，当上层具有Width_U的宽度的时候，xCurr’可以是Width_U-1。

在表达式9中，yCurr’是在上层920中的y坐标。例如，当上层具有Height_U的高度的时候，yCurr’可以是Height_U-1。

参考图9，上层的限幅的位置pCurr0’、pCurr1’、pCurr2’和pCurr3’可以如下。

pCurr0’＝(0,yRef0*scaleY)

pCurr1’＝(xRef1*scaleX,0)

pCurr2’＝(width_U-1,yRef2*scaleY)

pCurr3’＝(xRef2*scaleX,Height_U-1)

为了描述的方便起见，图9图示pCurr0、pCurr1、pCurr2和pCurr3是在通过缩放在下层中的pRef0、pRef1、pRef2和pRef3为上层的分辨率而获得的缩放的下层中的位置，并且pCurr0’、pCurr1’、pCurr2’和pCurr3’是在通过调整(限幅)pCurr0、pCurr1、pCurr2和pCurr3而获得的上层中的位置。

但是，在图9中，pCurr0、pCurr1、pCurr2和pCurr3可以是对应于下层中位置pRef0、pRef1、pRef2和pRef3在上层中的位置，并且pCurr0’、pCurr1’、pCurr2’和pCurr3’可以是在通过调整(限幅)pCurr0、pCurr1、pCurr2和pCurr3获得的上层中的位置。

同时，虽然图8和9图示将在层的区域以外的位置限幅为在层内位置的方法，替代地，也可以使用通过每层增加偏移的方法。

图10是示意地图示使用偏移调整上层和下层的相应位置的方法示例的示意图。

在图10中，层0是下层，并且层1是上层，或者上采样的下层。下层可以是基本层或者参考层，并且上层可以是增强层或者当前层。

参考图10，当对应于指定在上层1020中采样或者块的位置pCurr在下层1010中的位置pRef在下层的区域以外的时候，位置pRef可以被调整为是在下层1010的区域范围之内，或者对应于下层1010的大小。

此外，当对应于指定在下层1010中的采样或者块的位置pRef在缩放的下层中的位置pCurr是在上层的大小以外的时候，位置pCurr可以被调整为是在上层1020的大小范围之内，或者对应于上层1020的大小。

在图10示出的示例中，pCurr0、pCurr1、pCurr2和pCurr3如在表达式10中图示的指定在上层1020中的采样位置。

<表达式10>

pCurr0＝(xCurr0,yCurr0)

pCurr1＝(xCurr1,yCurr1)

pCurr2＝(xCurr2,yCurr2)

pCurr3＝(xCurr3,yCurr3)

为了描述的方便起见，如图10所示，假设pCurr0定位在上层1020的左边界附近，pCurr1定位在上层1020的上边界附近，pCurr2定位在上层1020的右边界附近，并且pCurr3定位在上层1020的下边界附近。

在图10示出的示例中，pRef0、pRef1、pRef2和pRef3如在表达式7中图示的指定在下层1010中的采样位置。

<表达式11>

pRef0＝(xRef0,yRef0)

pRef1＝(xRef1,yRef1)

pRef2＝(xRef2,yRef2)

pRef3＝(xRef3,yRef3)

为了描述的方便起见，如图10所示，假设pRef0定位在下层1010的左边界附近，pRef1定位在下层1010的上边界附近，pRef2定位在下层1010的右边界附近，并且pRef3定位在下层1010的下边界附近。

如上所述，当上层的大小不是SCU的倍数的时候，对应于上层中采样位置(区域)的位置(区域)可能在下层中不存在。

或者，当下层的大小不是SCU的倍数的时候，在下层被缩放的时候，在缩放的下层中特定的位置(特定的区域)可以在上层的大小以外。

因此，偏移被施加于层的每个边界，使得相应的位置或者区域可以存在在另一个层的区域内。此外，偏移可以施加于缩放的层，使得缩放的层可以是在相应的层的大小的范围之内。

首先，参考图10描述偏移施加于上层1020使得上层1020对应于下层1010的情形。假设施加于上层的左侧的偏移是offset_U0，施加于上层的上侧的偏移是offset_U1，施加于上层的右侧的偏移是offset_U2，并且施加于上层的下侧的偏移是offset_U3。

在这种情况下，在从上层的边界减小了偏移的区域内的采样(位置)对应于在下层中的采样(位置)。

例如，在定位在边界上的pCurr0和施加的offset_U0的pCurr0’之 间的位置不与在下层中的采样(位置)匹配。在这里，如果对应于pCurr0’在下层1010中的位置是pRef0’，并且在pRef0’和pRef0之间的采样需要被使用，则在pRef0’和pRef0之间的采样可以被填充。

同样地，offset_U1可以被施加于pCurr1以指定pCurr1’，offset_U2可以被施加于pCurr2以指定pCurr2'，并且offset_U3可以被施加于pCurr3以指定pCurr3’。

假设上层的宽度为Width_U，并且其高度为Height_U，当偏移如上所述被施加的时候，上层在由(offset_U0，y)，(x，offset_U1)，(Width_U-1-offset_U2，y)和(x，Height_U-1-offset_U3)限定的区域中被开窗。

当在上层中开窗的区域的边界不匹配对应于下层的边界的时候，在边界之间的区域中可以填充采样。

在这里，偏移offset_U0、offset_U1、offset_U2和offset_U3可以被设置，使得预先确定的间隙存在于缩放的上层的边界和下层的边界之间。

虽然在此处已经图示了偏移施加于上层1020，使得上层1020对应于下层1010的情形，本发明不受限于此。或者，在偏移可以施加之后，上层可以被缩放以对应于下层。

同时，偏移可以施加于下层1010，使得下层1010对应于上层1020。假设施加于下层的左侧的偏移是offset_L0，施加于下层的上侧的偏移是offset_L1，施加于下层的右侧的偏移是offset_L2，并且施加于下层的下侧的偏移是offset_L3。

在这种情况下，在从下层的边界减小了偏移的区域内的采样(位 置)对应于在上层中的采样(位置)。

例如，在定位在边界上的pRef0和施加offset_L0的pRef0’之间的位置不与在上层中的采样(位置)匹配。在这里，如果对应于pRef0’在上层1020中的位置是pCurr0’，并且在pCurr0’和pCurr0之间的采样需要被使用，则在pCurr0’和pCurr0之间的采样可以被填充。

同样地，offset_L1可以被施加于pRef1以指定pRef1’，offset_L2可以被施加于pRef2以指定pRef2'，并且offset_L3可以被施加于pRef3以指定pRef3’。

假设下层的宽度为Width_L，并且其高度为Height_L，当偏移如上所述施加的时候，下层在由(offset_L0，y)，(x，offset_L1)，(Width_L-1-offset_L2，y)和(x，Height_L-1-offset_L3)限定的区域中被开窗。

当在下层中开窗的区域的边界不匹配对应于下层的边界的时候，在边界之间的区域中可以填充采样。

在这里，偏移offset_L0、offset_L1、offset_L2和offset_L3可以被设置，使得预先确定的间隙存在于缩放的下层的边界和上层的边界之间。

虽然在此处已经图示了偏移被施加于下层1010，使得下层1010对应于上层1020的情形，本发明不受限于此。或者，在偏移可以施加之后，下层可以被缩放以对应于上层。

图11是示意地图示根据本发明执行层间预测方法的流程图。在这里，为了描述的方便起见，在图11中，操作被描述为通过编码器的预测模块和/或解码器的预测模块实现。

参考图11，预测模块可以指定在下层中的参考块(S1110)。下层可以称为参考层或者基本层，并且参考块可以对应于上层中的当前块来指定。上层可以称为当前层或者增强层。

预测模块可以指定在上层中的当前块，然后可以指定在下层中相应的参考块。例如，预测模块可以指定在指定当前块的当前层中的位置，并且可以推导对应于在当前层中指定的位置在参考层中的位置，从而指定参考块。

在下文中，在指定当前块的当前层中的位置称为当前位置，并且对应于当前位置在参考层中的位置称为参考位置。

在先前的示例中，当前位置可以对应于pCurr或者pCurr’，并且参考位置可以对应于pRef或者pRef’。

在这里，在上层和下层之间的位置或者区域中的相应的关系可以如在图8至10中图示的指定。

例如，当参考位置是在参考层的大小范围以外的时候，预测模块可以调整参考位置为在参考层的大小范围之内。或者，当参考位置是在参考层的大小范围以外的时候，预测模块可以调整参考位置为在参考层的边界上。

此外，当在缩放为对应于参考位置的当前层的分辨率的参考层中的位置是在当前层的大小范围以外的时候，预测模块可以调整对应于参考位置的位置为在当前层的大小范围之内。

虽然图8和9图示通过限幅调整这些位置的方法，但本发明不受限于此。位置也可以通过将布置在层以外的对应点匹配到在层内的位 置的方法来调整。

预测模块可以通过将偏移施加于层的边界调整位置。

例如，预测模块可以指定在参考层的区域中的参考位置，参考层的区域对应于通过将偏移施加于当前层的边界限定的区域。在这里，参考层的区域可以通过缩放将偏移施加于当前层的边界限定的区域来指定。

另外，预测模块可以缩放通过将偏移施加于参考层的边界限定的区域为当前层的分辨率，并且可以在缩放的区域中指定参考位置。

参考位置可以利用由表达式5或者表达式8表示的关系基于在两个层之间的分辨率比率被缩放。

预测模块可以使用有关参考块的信息执行层间预测(S1120)。当执行层间纹理预测的时候，预测模块可以缩放或者上采样在S1110中指定的参考块的重建的纹理为当前层的分辨率。在这里，预测模块可以将参考块的上采样或者缩放的纹理作为当前块的预测块使用。

当执行层间中间预测的时候，预测模块可以使用有关在S1110中指定的参考块的运动信息(运动矢量和/或参考索引)作为用于当前块的运动信息或者运动信息候选。

当有关参考块的运动信息用作用于当前块的运动信息的时候，预测模块可以使用参考块的参考索引和运动矢量作为用于当前块的参考索引和运动矢量。此外，预测模块可以使用参考块的运动矢量作为用于当前块的MVP。在这种情况下，预测模块可以增加关于当前块和MVP的运动矢量差分值，以推导当前块的运动矢量，并且可以使用用信号通知的参考索引指定用于当前块的参考图片，从而预测当前块。

图12是示意地图示根据本发明解码当前层的解码器的示意图。

参考图12，解码器1210包括接收模块1220、预测模块1230和存储器1240。

接收模块1220接收包括有关多层或者上层的视频信息的比特流。存储器1230可以存储预测和重建当前块，例如在当前块之前重建的图片，所必需的信息和/或相关的参数信息。

预测模块1240可以使用有关参考层的视频信息进行用于当前层的预测(用于当前块的预测)。

在这里，对应于在当前层中用于指定当前块的当前位置，可以基于在参考层中的参考位置来指定参考块。

如上所述，预测模块1230可以通过匹配上层和下层来指定参考块。例如，当参考位置是在参考层的大小范围以外的时候，预测模块1230可以调整参考位置为在参考层的大小范围之内。

此外，当在缩放为当前层的分辨率的参考层中对应于参考位置的位置是在当前层的大小范围以外的时候，预测模块1230可以调整对应于参考位置的位置为在当前层的大小范围之内。

此外，预测模块1230可以指定在参考层的区域中的参考位置，参考层的区域对应于通过将偏移施加于当前层的边界限定的区域。此外，预测模块1230可以缩放通过将偏移施加于参考层的边界限定的区域为当前层的分辨率，并且可以在缩放的区域中指定参考位置。

虽然为了描述的方便起见，图12图示包括接收模块、预测模块和 存储器的解码器，但是图12的解码器可以对应于图2的解码器。

例如，图12的解码器可以进一步包括在图2示出的模块的一部分或者全部。

此外，图12的存储器1240可以对应于图2的两个存储器，图12的预测模块1230可以对应于图2的两个预测模块，并且图12的接收模块1220可以对应于图2的DEMUX。在这里，图12的预测模块1230可以解释为实施除图2的DEMUX和存储器外其它的模块的功能。

此外，图12的解码器可以解释为以与关于图2的解码器提及的相同的对应方式对应于在图2中用于层1的解码模块210。

图13是示意地图示根据本发明编码当前层的编码器的示意图。

参考图13，编码器1310包括预测模块1320、传输模块1330和存储器1340。

预测模块1320可以使用有关参考层的视频信息进行对于当前层(当前块)的预测。

存储器1340可以存储预测和重建当前块，例如，在当前块之前重建的图片所必需的信息和/或相关的参数信息。传输模块1330可以作为比特流发送包括预测的信息的有关多层或者上层的信息。

预测模块1320可以使用有关参考层的视频信息进行对于当前层(当前块)的预测。

在这里，对应于在用于指定当前块的当前层中的当前位置，可以基于在参考层中的参考位置指定参考块。

如上所述，预测模块1320可以通过匹配上层和下层来指定参考块。例如，当参考位置是在参考层的大小范围以外的时候，预测模块1320可以调整参考位置为在参考层的大小范围之内。

此外，当在缩放为当前层的分辨率的参考层中对应于参考位置的位置是在当前层的大小范围以外的时候，预测模块1320可以调整对应于参考位置的位置为在当前层的大小范围之内。

此外，预测模块1320可以指定在参考层的区域中的参考位置，参考层的区域对应于通过将偏移施加于当前层的边界限定的区域。此外，预测模块1320可以缩放通过将偏移施加于参考层的边界限定的区域为当前层的分辨率，并且可以在缩放的区域中指定参考位置。

虽然为了描述的方便起见，图13图示包括传输模块、预测模块和存储器的编码器，但是图13的编码器可以对应于图1的编码器。

例如，图13的编码器可以进一步包括在图1中示出的模块的一部分或者全部。

此外，图13的存储器1340可以对应于图1的两个存储器，图13的预测模块1320可以对应于图1的两个预测模块，并且图13的传输模块1430可以对应于图1的MUX。在这里，图13的预测模块1320可以解释为进行除图1的MUX和存储器外其它的模块的功能。

此外，图13的编码器可以解释为以与关于图1的编码器提及的相同的对应方式对应于在图1中用于层1的编码模块110。

为了描述的方便起见，块或者图片大小已经以整数N和M，例如，仅N×M表示，而块或者图片大小N×M可以指的是N×M采样或者N×M 像素。

此外，在支持可缩放的视频编译的多层结构中，在特定的时间(例如，图片顺序计数(POC)或者接入单元(AU))通过每层重建的采样阵列表示为“图片”。

在这里，在解码的和输出的层(当前层)中，在特定时间已经重建或者将重建的整个采样阵列可以定义为在已经重建或者将重建的参考层中不同于采样阵列的图片。在参考层中在特定时间已经重建或者将重建的采样阵列可以称为代表、参考层图片、参考层采样阵列、参考层纹理等等。在这种情况下，在当前层中重建的解码(编码的)单个图片可以相对于单个AU被输出。

虽然在以上提及的示例性系统中的方法已经基于包括一系列的步骤或者模块的流程图描述，但是本发明不局限于步骤顺序，并且某个步骤可以以除如上所述的步骤或者顺序或者与如上所述同时地执行。以上提及的实施例可以包括各种示例。因此，本发明包括属于所附权利要求的所有的替换、修正和改进。

Claims (11)

1.一种层间预测方法，包括：

指定在参考层中的参考块；和

使用有关所述参考块的信息预测在当前层中的当前块，

其中，所述参考块的指定包括：

当所述参考层的大小不是最小编译单元的大小的倍数时，推导出所述参考层中的指定区域，其中所述指定区域是通过相对于所述参考层的边界应用偏移而推导出的缩小区域，其中所述指定区域的大小是所述最小编译单元的大小的倍数，其中所述指定区域用于所述当前层的层间预测；

推导出所述参考层中的参考位置，其中所述参考位置对应于在所述当前层中用于指定所述当前块的当前位置；

当所述参考位置在所述指定区域之外时，将所述参考位置调整为在所述指定区域上；以及

基于所述参考位置指定所述参考块。

2.根据权利要求1所述的层间预测方法，进一步包括：

当所述当前层的大小不是所述最小编译块的大小的倍数时，通过填充在所述当前层中将所述当前块的大小调节为所述最小编译块的大小的倍数。

3.根据权利要求1所述的层间预测方法，其中，当所述参考位置在所述指定区域之外时，对所述参考位置执行限幅到所述参考区域的边界。

4.根据权利要求3所述的层间预测方法，其中，基于以下等式计算所述参考位置的限幅

xRef＝Clip3(0,xRef’,xRef)

yRef＝Clip3(0,yRef’,yRef)

在此，xRef表示所述参考位置的x分量，xRef’表示所述指定区域的边界的x分量，yRef表示所述参考位置的y分量，yRef’表示所述指定区域的边界的y分量，Clip3(0,xRef’,xRef)表示当xRef在0至xRef’的范围之外时将xRef调整为0或者xRef’的函数，并且Clip3(0,yRef’,yRef)表示当yRef在0至yRef’的范围之外时将yRef调整为0或者yRef’的函数。

5.根据权利要求1所述的层间预测方法，其中，所述参考块的指定包括通过基于在所述当前层和所述参考层之间的宽度比缩放所述当前位置的x分量和基于在所述当前层和所述参考层之间的高度比缩放所述当前位置的y分量来指定所述参考位置。

6.根据权利要求1所述的层间预测方法，其中，所述预测包括使用有关通过所述参考位置指定的所述参考块的运动信息产生所述当前块的预测块。

7.根据权利要求1所述的层间预测方法，其中，所述预测包括上采样由所述参考位置指定的所述参考块的纹理，并且将上采样的纹理用作所述当前块的预测块的纹理。

8.一种解码器，包括：

接收模块，所述接收模块接收包括有关多层的视频信息的比特流；

预测模块，所述预测模块使用有关参考层的视频信息执行对于当前层的视频的预测；和

存储器，所述存储器存储预测所必需的信息，

其中，所述预测模块被配置为：

当所述参考层的大小不是最小编译单元的大小的倍数时，推导出所述参考层中的指定区域，其中所述指定区域是通过相对于所述参考层的边界应用偏移而推导出的缩小区域，其中所述指定区域的大小是所述最小编译单元的大小的倍数，其中所述指定区域用于所述当前层的层间预测；

推导出所述参考层中的参考位置，其中所述参考位置对应于在所述当前层中用于指定所述当前块的当前位置；

当所述参考位置在所述指定区域之外时，将所述参考位置调整为在所述指定区域上；以及

使用有关在所述参考层中的参考块的信息预测当前块，并且

所述参考块是基于所述参考位置指定的。

9.根据权利要求8所述的解码器，其中，所述预测模块被配置为：

当所述当前层的大小不是所述最小编译块的大小的倍数时，通过填充在所述当前层中将所述当前块的大小调节为所述最小编译块的大小的倍数。

10.根据权利要求8所述的解码器，其中，当所述参考位置在所述指定区域之外时，对所述参考位置执行限幅到所述参考区域的边界。

11.根据权利要求10所述的解码器，其中，基于以下等式计算所述参考位置的限幅

xRef＝Clip3(0,xRef’,xRef)

yRef＝Clip3(0,yRef’,yRef)

在此，xRef表示所述参考位置的x分量，xRef’表示所述指定区域的边界的x分量，yRef表示所述参考位置的y分量，yRef’表示所述指定区域的边界的y分量，Clip3(0,xRef’,xRef)表示当xRef在0至xRef’的范围之外时将xRef调整为0或者xRef’的函数，并且Clip3(0,yRef’,yRef)表示当yRef在0至yRef’的范围之外时将yRef调整为0或者yRef’的函数。