CN105075261A - 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备 - Google Patents

Abstract

提供一种用于对多层视频进行解码的方法和设备以及一种用于对多层视频进行编码的方法和设备。所述方法包括：获取包括第一层画面的编码信息和类型信息的NAL单元并识别第一层画面的类型；获取包括第二层画面的编码信息和类型信息的NAL单元并识别第二层画面的类型，其中，第二层画面的类型被设置为与POC和该第二层画面相同的第一层画面的类型相同；基于识别出的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。

Description

用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备

技术领域

本发明构思涉及对视频的编码和解码，更具体地，涉及对包括在多个层中的画面进行编码和解码的方法。

背景技术

通常，图像数据被编解码器根据预定数据压缩标准(例如，运动图像专家组(MPEG)标准)编码，然后作为比特流被存储在信息存储介质中，或者经由通信信道被发送。

作为视频压缩方法的可伸缩视频编码(SVC)根据各种通信网络和终端来适当地调整和发送信息量。多视点视频编码对诸如三维图像的多视点视频进行压缩。

这样的传统SVC或多视点视频编码通过使用基于预定尺寸的宏块的有限编码方法对视频进行编码。

发明内容

技术问题

本发明构思提供一种用于有效地预测多层视频的预测结构。

本发明构思还提供一种在对多层视频的随机访问或层切换期间无缝地再现多层视频的方法。

技术方案

根据本发明构思的一方面，提供一种与多层的各个层相应的画面类型。

根据本发明构思的另一方面，提供一种在层切换期间作为随机访问点画面操作的新型的画面。

有益效果

根据本发明构思的示例性实施例，在多层视频的再现期间可以进行无缝的层切换和随机访问。

附图说明

图1是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频编码设备的框图；

图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解码设备的框图；

图3是用于描述根据本发明构思的示例性实施例的编码单元的构思的示图；

图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图；

图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图；

图6是示出根据本发明构思的示例性实施例的根据深度的编码单元以及分区的示图；

图7是用于描述根据本发明构思的示例性实施例的编码单元和变换单元之间的关系的示图；

图8是用于描述根据本发明构思的示例性实施例的与编码深度相应的编码单元的编码信息的示图；

图9是根据本发明构思的示例性实施例的根据深度的编码单元的示图；

图10到图12是用于描述根据本发明构思的示例性实施例的编码单元、预测单元和变换单元之间的关系的示图；

图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图；

图14是根据本发明构思的示例性实施例的多层视频编码设备的框图；

图15是根据示例性实施例的多层视频解码设备的框图；

图16是图14的视频编码器1410的详细框图；

图17是图15的视频解码器1520的框图；

图18示出根据示例性实施例的多层预测结构1800的示例；

图19示出根据时间分层编码方法和时间分层解码方法的多层预测结构；

图20示出根据示例性实施例的包括多层视频的编码数据的NAL单元；

图21示出根据示例性实施例的NAL单元的头的示例；

图22是用于解释根据示例性实施例的领导画面的参考图；

图23和图24是用于解释IDR画面的参考图；

图25示出具有RASL画面的CRA画面CRA_W_RASL；

图26示出针对BLA画面的RASL画面和RADL画面的示例；

图27示出根据示例性实施例的多层画面之中的相应画面的类型信息；

图28示出根据示例性实施例的VLA画面；

图29是根据示例性实施例的多层视频编码方法的流程图；

图30是根据示例性实施例的多层视频编码方法的流程图。

具体实施方式

最优模式

根据本发明构思的一方面，提供了一种多层视频解码方法，包括：获取包括第一层画面的编码信息和类型信息的网络适应层(NAL)单元；基于包括在该NAL单元中的第一层画面的类型信息，从可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可解码的第一层随机访问跳过领导画面(RASL)画面之中识别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画面；获取包括第二层画面的编码信息和类型信息的NAL单元，并基于包括在该NAL单元中的第二层画面的类型信息，识别第二层画面的类型，其中，第二层画面的类型被设置为与画面顺序计数(POC)和该第二层画面相同的第一层画面的类型相同；基于识别出的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。

根据本发明构思的另一方面，提供了一种多层视频编码方法，包括：对包括在第一层中的画面进行预测编码；基于包括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可重构的第一层随机访问跳过领导画面(RASL)画面，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被编码的画面是否被参考而可重构为第一层RAP画面；将第二层中画面顺序计数(POC)与包括在第一层中的每个画面相同的相应画面的类型设置为与第一层的分类的画面类型相同，并对第二层的画面进行预测编码；输出NAL单元，其中，NAL单元包括第一层的画面的编码信息和类型信息以及第二层的画面的编码信息和类型信息。

根据本发明构思的另一方面，提供了一种多层视频解码设备，包括：接收器，被配置为获取包括第一层画面的编码信息和类型信息的网络适应层(NAL)单元以及包括第二层画面的编码信息和类型信息的NAL单元；图像解码器，被配置为：基于包括在NAL单元中的第一层画面的类型信息，从可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可解码的第一层随机访问跳过领导画面(RASL)画面之中识别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画面；基于包括在NAL单元中的第二层画面的类型信息，识别第二层画面的类型，其中，第二层画面的类型被设置为与POC和该第二层画面相同的第一层画面的类型相同；基于识别出的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。

根据本发明构思的另一方面，提供了一种多层视频编码设备，包括：视频编码器，被配置为对包括在第一层和第二层中的画面进行预测编码；输出单元，被配置为：基于包括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可重构的第一层随机访问跳过领导画面(RASL)画面，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被编码的画面是否被参考而可重构为第一层RAP画面；将第二层中POC与包括在第一层中的每个画面相同的相应画面的类型设置为与第一层的分类的画面类型相同；输出NAL单元，其中，NAL单元包括第一层的画面的编码信息和类型信息以及第二层的画面的编码信息和类型信息。

现在将参照示出了示例性实施例的附图来更充分地描述本发明构思。

图1是根据本发明构思的示例性实施例的视频编码设备100的框图。

根据示例性实施例的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。

最大编码单元划分器110可基于最大编码单元对当前画面进行划分，其中，所述最大编码单元是具有针对图像的当前画面的最大尺寸的编码单元。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据示例性实施例的最大编码单元可以是具有32×32、64×64、128×128或256×256等尺寸的数据单元，其中，数据单元的形状是宽和高为2的平方(大于8)的正方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。

根据示例性实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元开始被空间划分的次数，并且随着深度增加，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度增加而减小，因此与更高深度相应的编码单元可包括与更低深度相应的多个编码单元。

如上所述，根据编码单元的最大尺寸将当前画面的图像数据划分为多个最大编码单元，每个最大编码单元可包括根据深度划分的较深层编码单元。由于根据示例性实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。

可预先设置编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。

编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分的区域进行编码，并根据所述至少一个划分的区域确定用于输出最终编码结果的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元按根据深度的较深层编码单元对图像数据进行编码并选择具有最小编码误差的深度，确定编码深度。确定的编码深度和根据最大编码单元的图像数据被输出到输出单元130。

基于与等于或低于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，并基于每个较深层编码单元来比较编码结果。可在比较所述较深层编码单元的编码误差之后选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度被分层划分，最大编码单元的尺寸被划分，并且编码单元的数量增加。另外，即使编码单元在一个最大编码单元中相应于相同深度，仍通过单独测量每个编码单元的数据的编码误差来确定是否将相应于相同深度的每个编码单元划分为更低深度。因此，即使在数据被包括在一个最大编码单元中时，根据深度的编码误差也会根据区域而不同，因而编码深度会根据区域而不同。因此，可针对一个最大编码单元设置一个或更多个编码深度，并可根据所述一个或更多个编码深度的编码单元来划分最大编码单元的数据。

因此，根据示例性实施例的编码单元确定器120可确定包括在当前最大编码单元中的具有树结构的编码单元。根据本发明构思的示例性实施例的“具有树结构的编码单元”包括最大编码单元中所包括的所有与深度相应的编码单元之中与被确定为编码深度的深度相应的编码单元。可在最大编码单元的相同区域中根据深度分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，当前区域中的编码深度与另一区域中的编码深度可被独立地确定。

根据示例性实施例的最大深度是与从最大编码单元到最小编码单元执行划分的次数相关的索引。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单元执行划分的总次数。根据示例性实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级别的总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是通过将最大编码单元划分四次而获得的编码单元，则存在深度0、深度1、深度2、深度3、深度4这5个深度级别，因此，第一最大深度可被设置为4，第二最大编码深度可被设置为5。

可根据最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和频率变换。

由于每当最大编码单元根据深度被划分时较深层编码单元的数量就增加，因此必须对随着深度增加而产生的所有较深层编码单元执行包括预测编码和频率变换的编码。为了便于描述，现在将基于至少一个最大编码单元之中的当前深度的编码单元描述预测编码和频率变换。

根据示例性实施例的视频编码设备100可多样地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换和熵编码的操作，同时，相同的数据单元可用于所有操作，或者不同的数据单元可用于每个操作。

例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)执行预测编码。以下，不再被划分并且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元获得的分区(partition)可包括预测单元和通过划分预测单元的高度和宽度中的至少一个而获得的数据单元。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分时，编码单元可成为2N×2N的预测单元，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对称地划分预测单元的高度或宽度而获得的对称分区、通过不对称地划分预测单元的高度或宽度(诸如，1:n或n:1)而获得的分区、通过几何地划分预测单元而获得的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可独立地对编码单元中的一个预测单元执行编码，从而选择具有最小编码误差的预测模式。

根据示例性实施例的视频编码设备100可不仅基于用于对图像数据进行编码的编码单元对编码单元中的图像数据执行变换，还可基于与编码单元不同的数据单元对编码单元中的图像数据执行变换。

为了在编码单元中执行频率变换，可基于具有小于或等于编码单元的尺寸的数据单元执行频率变换。例如，用于频率变换的数据单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。

以下，作为频率变换的基础的数据单元可被称为“变换单元”。与编码单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的变换单元，因此，可基于根据变换深度的具有树结构的变换单元来划分编码单元中的残差数据。

还可在根据示例性实施例的变换单元中设置指示通过划分编码单元的宽度和高度以达到变换单元而执行划分的次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。也就是说，还可根据变换深度来设置具有树结构的变换单元。

根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

稍后将参照图3到图12详细描述根据示例性实施例的最大编码单元中的具有树结构的编码单元以及确定编码单元和分区的方法。

编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangianmultiplier)的率失真(RD)最优化，测量根据深度的较深层编码单元的编码误差。

输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编码模式的信息，其中，最大编码单元的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。

可通过对图像的残差数据进行编码来获取编码的图像数据。

关于根据编码深度的编码模式的信息可包括与编码深度、预测单元中的分区类型、预测模式和变换单元的尺寸有关的信息。

可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，所述关于编码深度的信息指示是否对更低深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前深度的当前编码单元执行编码，并且因此划分信息可被定义为不将当前编码单元划分至更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，并且因此划分信息可被定义为对当前编码单元进行划分以获得更低深度的编码单元。

如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。因为在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低深度的每个编码单元重复执行编码，从而可针对具有相同深度的编码单元递归地执行编码。

因为针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，因为根据深度分层地划分最大编码单元的数据，所以最大编码单元的数据的编码深度可根据位置而不同，因此可针对最大编码单元的数据设置关于编码深度和编码模式的信息。

因此，根据示例性实施例的输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

根据示例性实施例的最小单元是通过将组成最低深度的最小编码单元划分为4份而获得的矩形数据单元。可选择地，最小单元可以是最大矩形数据单元，其中，所述最大矩形数据单元可被包括在最大编码单元中包括的所有编码单元、预测单元、分区单元和变换单元中。

例如，通过输出单元130输出的编码信息可被分类为根据基于深度的较深层编码单元的编码信息以及根据预测单元的编码信息。根据基于深度的较深层编码单元的编码信息可包括关于预测模式的信息以及关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息以及关于帧内模式的插值方法的信息。另外，关于针对每个画面、条带或画面组(GOP)定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流的头中。

此外，关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的头、序列参数集或画面参数集等中。

关于对于当前视频所允许的变换单元的最大尺寸的信息以及关于该变换单元的最小尺寸的信息可通过比特流的头、序列参数集或画面参数集等被输出。

在根据最简单的实施例的视频编码设备100中，较深层编码单元是通过将作为上一层的更高深度的编码单元的高度或宽度除以2而获得的编码单元。换而言之，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，具有2N×2N的尺寸的当前深度的编码单元可包括最多4个更低深度的编码单元。

因此，基于最大编码单元的尺寸和考虑当前画面的特性而确定的最大深度，根据示例性实施例的视频编码设备100可通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，形成具有树结构的编码单元。另外，因为可通过使用各种预测模式和变换中的任意一种来对每个最大编码单元执行编码，所以可考虑各种图像尺寸的编码单元的图像特性来确定最佳编码模式。

因此，如果以传统的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量会急剧增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩的信息并且数据压缩效率下降。然而，通过使用根据示例性实施例的视频编码设备100，因为在考虑图像的特征的情况下调整了编码单元，同时在考虑图像的尺寸的情况下增大了编码单元的最大尺寸，所以图像压缩效率可提高。

图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解码设备200的框图。

根据示例性实施例的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。以下，术语(诸如用于各种处理的编码单元、深度、预测单元、变换单元、关于各种编码模式的信息)的定义与参照图1和视频编码设备100所描述的术语相同。

接收器210接收并解析编码的视频的比特流。图像数据和编码信息提取器220从解析的比特流提取每个编码单元的编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器220从解析的比特流提取关于具有根据每个最大编码单元的树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。

可针对关于至少一个编码深度的信息设置关于根据最大编码单元的编码深度和编码模式的信息，关于根据每个编码深度的编码模式的信息可包括关于相应编码单元的分区类型、预测模式以及变换单元的尺寸的信息。另外，根据深度的划分信息可被提取作为关于编码深度的信息。

由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息，即：所述编码模式和编码深度被确定为当编码器(诸如视频编码设备100)根据每个最大编码单元针对根据深度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码模式对图像数据进行解码来重构图像。

由于根据示例性实施例的关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元之中的预定数据单元，因此图像数据和编码信息提取器220可根据所述预定数据单元来提取关于编码深度和编码模式的信息。当关于相应的最大编码单元的编码深度以及编码模式的信息根据所述预定数据单元被记录时，具有相同的关于编码深度和编码模式的信息的所述预定数据单元可被推断为是包括在同一最大编码单元中的数据单元。

图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息，对每个最大编码单元中的图像数据进行解码来重构当前画面。换而言之，图像数据解码器230可基于提取的与包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元有关的信息，对编码的图像数据进行解码。解码处理可包括预测和逆变换，其中，所述预测包括帧内预测和运动补偿。

基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，图像数据解码器230可根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

此外，图像数据解码器230可基于编码单元中的每个变换单元来执行频率逆变换，以根据最大编码单元来执行频率逆变换。

图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果所述划分信息指示在当前深度不再划分图像数据，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于针对当前最大编码单元的图像数据的预测单元的分区类型、预测模式和变换单元的尺寸的信息，对当前深度的编码数据进行解码。

换而言之，可通过观察为编码单元、预测单元和最小单元之中的预定数据单元分配的编码信息集，收集包含编码信息(所述编码信息包括相同的划分信息)的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。

根据示例性实施例的视频解码设备200可获得与在对每个最大编码单元递归地执行编码时产生最小编码误差的编码单元有关的信息，并且视频解码设备200可使用所述信息来对当前画面进行解码。换而言之，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元的编码的图像数据进行解码。

因此，即使图像数据具有高分辨率和大数据量，也可根据编码单元的尺寸和编码模式对所述图像数据进行有效地解码和重构，其中，通过使用从编码器接收的关于最佳编码模式的信息，根据图像数据的特性来适应性地确定所述编码单元的尺寸和编码模式。

以下，将参照图3至图13描述根据本发明构思的示例性实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。

图3是用于描述分层编码单元的构思的示图。

可以以宽度×高度来表示编码单元的尺寸，并且编码单元的尺寸的示例可包括64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率被设置为1920×1080，编码单元的最大尺寸被设置为64，最大深度被设置为2。在视频数据320中，分辨率被设置为1920×1080，编码单元的最大尺寸被设置为64，最大深度被设置为3。在视频数据330中，分辨率被设置为352×288，编码单元的最大尺寸被设置为16，最大深度被设置为1。图3中示出的最大深度表示从最大编码单元到最小编码单元的总划分次数。

如果分辨率高或者数据量大，则编码单元的最大尺寸可以很大，从而不仅提高编码效率，还精确地反映图像的特性。因此，具有比视频数据330更高的分辨率的视频数据310和视频数据320的编码单元的最大尺寸可以为64。

由于视频数据310的最大深度是2，所以视频数据310的编码单元315可包括具有64的长轴(longaxis)尺寸的最大编码单元，以及由于通过对最大编码单元划分两次使深度增加两层而具有32和16的长轴尺寸的编码单元。同时，因为视频数据330的最大深度是1，所以视频数据330的编码单元335可包括具有16的长轴尺寸的最大编码单元，以及由于通过将最大编码单元划分一次使深度增加一层而具有8的长轴尺寸的编码单元。

因为视频数据320的最大深度是3，所以视频数据320的编码单元325可包括具有64的长轴尺寸的最大编码单元，以及由于通过将最大编码单元划分三次使深度增加3层而具有32、16和8的长轴尺寸的编码单元。随着深度增加，详细信息可被更精确地表示。

图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图。

根据示例性实施例的图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数据进行编码。换而言之，帧内预测器410对当前帧405之中的帧内模式的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对当前帧405之中的帧间模式的编码单元执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过频率变换器430和量化器440被输出为量化的变换系数。具体地，当执行双边运动预测和补偿时，根据本发明构思的示例性实施例的运动估计器420和运动补偿器425在通过基于块执行双边运动预测和补偿获得的结果之外按像素单元执行双边运动补偿。以下将参照图14对此进行详细描述。

量化的变换系数通过反量化器460和频率逆变换器470被重构为空间域中的数据，并且重构的空间域中的数据在通过去块单元480和环路滤波单元490进行后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。

为了在根据示例性实施例的视频编码设备100中应用图像编码器400，图像编码器400的所有部件(即，帧内预测器410、运动估计器420、运动补偿器425、频率变换器430、量化器440、熵编码器450、反量化器460、频率逆变换器470、去块单元480和环路滤波器490)在考虑每个最大编码单元的最大深度的同时，必须基于具有树结构的编码单元之中的每个编码单元执行操作。

具体地说，帧内预测器410、运动估计器420以及运动补偿器425必须在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元之中的每个编码单元的分区和预测模式，频率变换器430必须确定具有树结构的编码单元之中的每个编码单元中的变换单元的尺寸。

图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图。

解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，并且反量化的数据通过频率逆变换器540被重构为空间域中的图像数据。

帧内预测器550针对空间域中的图像数据对帧内模式的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式的编码单元执行运动补偿。具体地，根据本发明构思的示例性实施例的运动补偿器560在执行双边运动补偿时，在通过基于块执行双边运动补偿获得的结果之外按像素单元执行双边运动补偿。以下将参照图14对此进行详细描述。

经过帧内预测器550和运动补偿器560的空间域中的数据可在通过去块单元570和环路滤波单元580进行后处理之后，被输出为重构帧595。另外，通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510的操作被执行之后所执行的操作。

为了在根据示例性实施例的视频解码设备200中应用图像解码器500，图像解码器500的所有部件(即，解析器510、熵解码器520、反量化器530、频率逆变换器540、帧内预测器550、运动补偿器560、去块单元570以及环路滤波单元580)必须针对每个最大编码单元基于具有树结构的编码单元来执行操作。

具体地说，帧内预测器550和运动补偿器560必须针对具有树结构的编码单元中的每个编码单元确定分区和预测模式，频率逆变换器540必须针对每个编码单元确定变换单元的尺寸。

图6是示出根据本发明构思的示例性实施例的根据深度的编码单元以及分区的示图。

根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200使用分层的编码单元以考虑图像的特性。可根据图像的特性适应性地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据预先设置的编码单元的最大尺寸来确定根据深度的较深层编码单元的尺寸。

在根据示例性实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均为64，最大深度是4。由于深度沿着根据示例性实施例的编码单元的分层结构600的垂直轴而增加，因此较深层编码单元的高度和宽度均被划分。此外，沿编码单元的分层结构600的水平轴示出了作为用于每个较深层编码单元的预测编码的基础的预测单元和分区。

换而言之，编码单元610是编码单元的分层结构600中的最大编码单元，其中，深度是0且尺寸(即高度×宽度)是64×64。深度沿着垂直轴增加，并且存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640和尺寸为4×4且深度为4的编码单元650。尺寸为4×4且深度为4的编码单元650是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴布置。换而言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，则所述预测单元可被划分为包括在编码单元610中的分区，即：尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

类似地，尺寸为32×32且深度为1的编码单元620的预测单元可以被划分为包括在编码单元620中的分区，即：尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。

类似地，尺寸为16×16且深度为2的编码单元630的预测单元可以被划分为包括在编码单元630中的分区，即：包括在编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。

类似地，尺寸为8×8且深度为3的编码单元640的预测单元可以被划分为包括在编码单元640中的分区，即：包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。

最后，尺寸为4×4且深度为4的编码单元650是最小编码单元和最低深度的编码单元，并且其预测单元也可仅被设置为尺寸为4×4的分区650。

为了确定最大编码单元610的编码深度，根据示例性实施例的视频编码设备100的编码单元确定器120必须对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。

随着深度增加，以相同范围和相同尺寸包括数据的根据深度的较深层编码单元的数量增加。例如，需要4个与深度2相应的编码单元以覆盖与深度1相应的一个编码单元中包括的数据。因此，为了比较根据深度的相同数据的编码结果，与深度1相应的编码单元和与深度2相应的四个编码单元均必须被编码。

为了根据每个深度执行编码，可通过沿着编码单元的分层结构600的水平轴对较深层编码单元中的每个预测单元执行编码来选择作为相应深度中的最小编码误差的代表性编码误差。可选择地，可通过随着深度沿编码单元的分层结构600的垂直轴增加而针对每个深度执行编码来比较根据深度的代表性编码误差，从而搜索最小编码误差。最大编码单元610中具有最小编码误差的深度和分区可被选为最大编码单元610的编码深度和分区类型。

图7是用于描述根据本发明构思的示例性实施例的编码单元710和变换单元720之间的关系的示图。

针对每个最大编码单元，根据示例性实施例的视频编码设备100或根据示例性实施例的视频解码设备200根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于频率变换的变换单元的尺寸。

例如，在根据示例性实施例的视频编码设备100或根据示例性实施例的视频解码设备200中，如果当前编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行频率变换。

此外，可通过对尺寸为小于64×64的32×32、16×16、8×8和4×4的变换单元中的每一个执行频率变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择相对于原始具有最小误差的变换单元。

图8是用于描述根据本发明构思的示例性实施例的与编码深度相应的编码单元的编码信息的示图。

根据示例性实施例的视频编码设备100的输出单元130可将与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820编码为关于编码模式的信息，并将其发送。

关于分区类型的信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的任意一个。这里，关于当前编码单元的分区类型的信息800被设置为指示尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的一个。

关于分区模式的信息810指示每个分区的预测模式。例如，关于分区模式的信息810可指示对由信息800指示的分区执行的预测编码的模式，即：帧内模式812、帧间模式814或跳过模式816。

此外，关于变换单元的尺寸的信息820指示当对当前编码单元执行频率变换时作为基础的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可提取和使用关于分区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820以根据每个较深层编码单元进行解码。

图9是根据本发明构思的示例性实施例的根据深度的编码单元的示图。

划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918的分区。图9仅示出了通过对称地划分预测单元910而获得的分区类型912至分区类型918，但是分区类型不限于此，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区类型，必须对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区、尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式下和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。

如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至分区类型916之一中的编码误差最小，则预测单元910可不再被划分为更低深度。

如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则在操作920，深度可从0改变为1以划分分区类型918，并可对深度为2且尺寸为N_0×N_0的编码单元930重复执行编码以搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946和尺寸为N_1×N_1的分区类型948的分区。

如果在尺寸为N_1×N_1的分区类型948中编码误差最小，则在操作950，深度可从1改变为2以划分分区类型948，并可对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码以搜索最小编码误差。

当最大深度为d时，根据每个深度的划分信息可被设置直到深度变为d-1，并且划分信息可被设置直到深度变为d-2。换而言之，当在操作970执行编码直到对与深度d-2相应的编码单元进行划分之后深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_(d-1)的分区类型996以及尺寸为N_(d-1)×N_(d-1)的分区类型998的分区。

可对分区类型992至分区类型998之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复执行预测编码，以搜索具有最小编码误差的分区类型。

即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由于最大深度为d，所以深度为d-1的编码单元CU_(d-1)不再被划分为更低深度，针对当前最大编码单元900的编码深度可被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，所以不设置深度为d-1的编码单元952的划分信息。

数据单元999可被称为针对当前最大编码单元的“最小单元”。根据示例性实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分为4份而获得的矩形数据单元。通过重复地执行编码，根据示例性实施例的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并且可将相应的分区类型和预测模式设置为该编码深度的编码模式。

这样，在深度0、1、...、d的所有深度中比较根据深度的最小编码误差，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可作为关于编码模式的信息被编码和发送。此外，由于必须从深度0至编码深度来划分编码单元，所以仅编码深度的划分信息必须被设置为0，并且除了编码深度之外的深度的划分信息必须被设置为1。

根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，以对编码单元912进行解码。根据示例性实施例的视频解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并且可使用关于相应深度的编码模式的信息，以用于解码。

图10至图12是用于描述根据本发明构思的示例性实施例的编码单元、预测单元和频率变换单元之间的关系的示图。

编码单元1010是最大编码单元中的与由根据示例性实施例的视频编码设备100确定的编码深度相应的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元的变换单元。

当在编码单元1010中最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。

在预测单元1060中，通过划分编码单元获得一些分区1014、1016、1022、1032、1048、1050、1052和1054。换而言之，分区1014、1022、1050和1054中的分区类型的尺寸为2N×N，分区1016、1048和1052中的分区类型的尺寸为N×2N，分区1032的分区类型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。

以小于变换单元1052的数据单元对变换单元1070中的变换单元1052的图像数据执行频率变换或频率逆变换。另外，变换单元1014、1016、1022、1032、1048、1050、1052和1054与预测单元1060中的那些变换单元在尺寸或形状上不同。换而言之，根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200可对甚至是在相同的编码单元中的数据单元单独地执行帧内预测/运动估计/运动补偿以及频率变换/频率逆变换。

因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每个编码单元递归地执行编码以确定最佳编码单元，因此可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出可由根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200设置的编码信息。

[表1]

根据示例性实施例的视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分为更低深度的深度是编码深度。因此，可针对编码深度定义关于变换单元的尺寸、分区类型、预测模式的信息。如果根据划分信息对当前编码单元进行进一步划分，则必须对更低深度的四个划分的编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，可仅在尺寸为2N×2N的分区类型中定义跳过模式。

关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过以1:3和3:1划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过以1:3和3:1划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。

变换单元的尺寸可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。换而言之，如果变换单元的划分信息为0，则变换单元的尺寸被设置为2N×2N(2N×2N是当前编码单元的尺寸)。如果变换单元的划分信息为1，则可通过划分当前编码单元来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可被设置为N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可被设置为N/2×N/2。

根据示例性实施例的关于具有树结构的编码单元的编码信息可被分配给与编码深度相应的编码单元、预测单元以及最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的最小单元和预测单元中的至少一个。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。另外，可通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，因此可确定最大编码单元中的编码深度的分布。

因此，如果通过参考邻近数据单元来预测当前编码单元，则可直接参考和使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。

可选择地，如果通过参考邻近数据单元来预测当前编码单元，则可通过使用与当前编码单元邻近的数据单元的编码信息在较深层编码单元中搜索与当前编码单元邻近的数据单元，并且可参考搜索到的邻近编码单元来对当前编码单元进行预测编码。

图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。

最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，所以划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338中的一个。

例如，当分区类型被设置为对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的划分信息(TU尺寸标志)为0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标志为1，则设置尺寸为N×N的变换单元1344。

当分区类型被设置为非对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标志为0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标志为1，则设置尺寸为N/2×N/2的变换单元1354。

现在将参照图14到图30来描述根据本发明构思的示例性实施例的多层视频编码方法和多层视频解码方法。以下，术语“图像”可指静止图像或运动图像(即，视频本身)。另外，编码顺序是图像在编码器侧被处理的顺序，解码顺序是图像在解码器侧被处理的顺序。编码顺序和解码顺序是相同的。因此，在下面，编码顺序可指解码顺序，或者解码顺序可指编码顺序。另外，多层视频可指多视点视频或包括基本层和增强层的可伸缩视频。

图14是根据本发明构思的示例性实施例的多层视频编码设备的框图。

参照图14，多层视频编码设备1400包括视频编码器1410和输出单元1420。

视频编码器1410接收多层视频并对多层视频进行编码。视频编码器1410与输入视频的视频编码层处理编码相应。

如以上参照图1到图13所述，根据示例性实施例的视频编码器1410将包括在多层视频中的每个画面划分为均具有最大尺寸的最大编码单元，将每个最大编码单元再次划分为编码单元，并基于编码单元对每个画面进行编码。编码单元具有这样的树结构，在所述树结构中，最大编码单元根据深度被分层划分。视频编码器1410通过使用预测单元对编码单元执行预测，并通过使用作为预测值与原始信号之差的残差对编码单元进行变换。

多层视频可以是多视点视频或可伸缩视频。当多层视频是多视点视频时，视频编码器1410将n个(n是整数)图像序列中的每个图像序列编码为一层。当多层视频是可伸缩视频时，视频编码器1410将基本层的图像序列和增强层的图像序列中的每一个编码为一层。

多层视频具有比单层视频的数据量更多的数据量。因此，视频编码器1410可通过使用包括在多层视频中的多个层之间的相关性来执行预测编码。换而言之，视频编码器1410可通过参照其它层图像对每层图像进行预测编码。通过参照当前层的图像以及其它层的图像而执行的预测处理被定义为层间预测。

作为示例，视频编码器1410可参照基本视点图像来执行用于预测附加视点图像的视点间预测。另外，视频编码器1410可参照预定的附加视点图像来执行用于预测其它附加视点图像的视点间预测。如上所述，可基于具有树结构的编码单元、预测单元或变换单元来执行层间预测。

视频编码器1410可通过对经帧间预测、帧内预测和层间预测产生的预测值与原始信号之差进行变换和量化来执行编码。通过在视频编码层(VCL)中的这样的编码处理，视频编码器1410输出与编码单元相关的残差信息、预测模式信息以及与编码单元的预测编码相关的附加信息。

输出单元1420与网络抽象层(NAL)相应，其中，NAL将编码的多层视频数据和附加信息添加到预定格式的传输数据单元，并输出编码的多层视频数据和附加信息。传输数据单元可以是NAL单元。输出单元1420将从视频编码器1410输出的多层视频的预测编码数据以及与预测编码相关的附加信息添加到NAL单元，并输出NAL单元。

具体地，输出单元1420基于包括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)和不可重构的第一层随机访问跳过领导画面(RASL)画面，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被编码的画面是否被参考而可重构为第一层RAP画面。另外，输出单元1420将第二层的与包括在第一层中的每个画面具有相同POC的相应画面的类型设置为与第一层的画面类型相同，并输出包括第一层的画面的编码信息和类型信息以及第二层的画面的编码信息和类型信息的NAL单元。

通常，当再现视频数据时，可通过使用特技播放方法和普通播放方法之一来重构和再现视频数据。特技播放方法包括快进方法、快退方法和随机访问方法。普通播放方法是顺序地再现包括在视频数据中的所有画面的方法。快进方法或快退方法是根据再现速度每隔预定周期向前或向后地选择并再现RAP画面的方法。随机访问方法是跳过和再现预定位置的RAP画面的方法。根据H.264/AVC标准，仅瞬时解码刷新(IDR)画面被用作用于随机访问的RAP画面。IDR画面是解码设备的缓冲器在IDR画面被解码的瞬间被刷新的帧内画面(intrapicture)。更详细地，在IDR画面被解码的瞬间，解码画面缓冲器(DPB)将除了IDR画面之外的先前解码的画面标记为不再被参考的画面，画面顺序计数(POC)也被初始化。在IDR画面之后被解码的画面在输出顺序上总是在IDR画面之后，并且在没有参考IDR画面之前的画面的情况下被解码。

根据示例性实施例，完全随机访问(CRA)画面和断链访问(BLA)画面被用作除了IDR画面之外的用于随机访问的RAP画面。时间子层访问(TSA)画面和步进时间子层访问(STSA)画面被用于支持时间可伸缩性。

如上所述，除了IDR画面之外的各种RAP画面被用于随机访问的理由在于：由于IDR画面受限于已知为封闭式画面组(GOP)的编码结构，因此IDR画面的预测效率低。如上所述，在IDR画面之后被解码的画面可不参考IDR画面之前的画面。这样，IDR画面之前的画面不被参考的编码结构被称为封闭式GOP。为了提高预测效率，作为在输出顺序上在RAP画面之后被输出但是在该RAP画面之后被解码的的画面的领导画面可被允许参考在该RAP画面之前被解码的画面，而不受限于参考画面。在RAP画面之前被解码的画面被允许作为参考画面的编码结构被称为开放式GOP。与使用参考画面受限制的IDR画面的情况相比，使用开放式GOP的新型的RAP画面被定义，从而提高了预测效率。

为了识别在当前NAL单元中所包括的画面的类型为哪一种，输出单元1420可将指示关于哪种类型的画面被包括在当前NAL单元中的信息的类型信息包括在NAL单元的头中。

同时，当对多层视频进行解码时，对解码的层进行切换的层切换是可行的。例如，在包括基本层和增强层的可伸缩视频中，可通过在再现基本层的画面的同时将基本层切换为增强层来执行解码。作为另一示例，在再现多视点视频中的第一视点的画面时，可通过层切换来再现第二视点的画面。根据示例性实施例，在对多层视频进行编码处理期间，多层的相应画面的类型被设置为同类型画面。相应画面指包括在多层中的画面之中经由相同访问单元被发送的具有相同画面顺序计数(POC)的画面。

图27示出根据示例性实施例的多层画面之中的相应画面的类型信息。

参照图27，当第一层的画面2721为IDR画面时，包括在相同访问单元2720中的第二层的画面2722也被设置为IDR画面，当第一层的画面2741为CRA画面时，包括在相同访问单元2740中的第二层的相应画面2742也被设置为CRA画面。此外，当第一层的画面2751为BLA画面时，包括在相同访问单元2750中的第二层的画面2752也被设置为BLA画面。此外，当第一层的画面2731为RASL画面时，包括在相同访问单元2750中的第二层的画面2732也被设置为RASL画面，当第一层的画面2711为RADL画面时，包括在相同访问单元2710中的第二层的画面2712也被设置为RADL画面。多层的相应画面被设置为同类型画面的理由在于防止在层切换期间由于POC错配所引起的功能失常以及在切换期间由于参考不能被参考的画面而导致的不可重构的画面。

根据基于另一示例性实施例的多层视频编码设备1400，编码顺序和输出顺序在第二层RAP画面之后的画面是包括在第二层(第二层是第一层的上层)中的画面之中的通过参考不同于第二层的另一层进行层间预测得到的、并且不参考编码顺序或输出顺序之一在所述第二层RAP画面之前的其它画面的第二层RAP画面。当画面在编码顺序上在第二层RAP画面之前并且在输出顺序上总是在该第二层RAP画面之前时，该第二层RAP画面被新定义为视点层访问(VLA)画面。第二层的VLA画面是通过仅参考其它层而不参考相同层的画面进行层间预测得到的画面。

VLA画面被定义的理由在于：当在层切换期间从第二层VLA画面开始进行解码时跳过对第二层VLA画面之前的RADL画面或RASL画面的解码处理，从而容易地执行多个层之间的切换。如上所述，第二层VLA画面是通过仅参考其它层的先前画面而不参考第二层的其它画面的层间预测而预测出的画面。另外，解码顺序在第二层VLA画面之前的画面在输出顺序上也在第二层VLA画面之前。因此，在层切换期间，当从第二层VLA画面开始进行解码时，无缝再现是可行的。另外，由于第二层VLA画面不是IDR画面，因此POC不被重置，并且第二层VLA画面保持与先前层的POC相同的值。因此，可防止在层切换期间由于POC的错配而引起的再现错误。另外，当在第一层画面的再现期间由层切换引起了对第二层VLA画面的随机访问时，可跳过参考在该第二层VLA画面之前被解码并且输出顺序在该第二层VLA画面之前的画面来对RADL画面和RASL画面进行的解码处理。

图28示出根据示例性实施例的VLA画面。

参照图28，第二层的VLA画面2823是通过参考第一层的RAP画面2813进行层间预测得到的画面。VLA画面2823所参考的画面可以是其它层的画面而不是必须是RAP画面。虽然图28示出了VLA画面2823预测RAP画面2813，但是VLA画面2823所参考的参考画面可以是其它层的非RAP画面。如上所述，编码顺序和输出顺序在VLA画面2823之后的画面P22823、P32825不参考编码顺序或输出顺序之一在VLA画面之前的其它画面P02821、P12922。当使用VLA画面2823时，如果在再现第一层的画面P02811、画面P12812和RAP画面2813时产生了层切换，则VLA画面2823仅使用先前正被再现的第一层的RAP画面2813作为参考画面，并且编码顺序和输出顺序在VLA画面2823之后的画面P22824、P32825不参考编码顺序和输出顺序之一在VLA画面2823之前的其它画面P02821、P12922，当在层切换期间从被切换的层的画面之中的VLA画面执行再现时，无缝再现是可行的。包括第二层VLA画面的NAL单元可基于NAL单元的类型信息(nal单元类型)被识别。

图15是示出根据示例性实施例的多层视频解码设备1510的框图。

参照图15，多层视频解码设备1500包括接收器1510和视频解码器1520。

接收器1510可获得包括第一层画面的编码信息和类型信息的NAL单元以及包括第二层画面的编码信息和类型信息的NAL单元。如上所述，多层的相应画面被设置为同类型画面。另外，接收器1510可基于NAL单元的类型信息(nal单元类型)来识别根据另一示例性实施例定义的用于自由层切换的VLA画面。

视频解码器1520基于NAL单元中所包括的第一层画面的类型信息，从可随机访问的第一层RAP画面、第一层RADL画面和不可解码的第一层RASL画面之中识别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被解码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画面。另外，视频解码器1520基于包括在NAL单元中的第二层画面的类型信息来识别第二层画面的类型，其中，所述第二层画面的类型被设置为与具有相同POC的第一层画面的类型相同。另外，视频解码器1520基于识别出的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。视频解码器1520可基于具有树结构的编码单元、预测单元和变换单元对多层的每个画面进行解码。

视频解码器1520可独立地对每层的编码数据进行解码，或者可在对其它层解码时将关于先前解码的先前层的信息用作参考信息。视频解码器1520在随机访问或层切换期间从每层的RAP画面开始解码。如上所述，多层中具有相同POC的相应画面被设置为相同类型的画面，因此层切换期间的无缝再现是可行的，或者可防止由于参考画面的不可用而导致的再现错误。

视频解码器1520通过对编码的多层的画面执行熵解码、反量化、逆变换来重构残差，通过应用帧内预测、帧间预测和层间预测之中的至少一个预测方法来产生预测信号，并通过将重构的残差与预测信号相加来执行解码。

视频解码器1520可在不参考其它画面而经由帧内预测的情况下对作为RAP画面的IDR画面、CRA画面和BLA画面进行解码。如果产生了随机访问或层间切换，则视频解码器1520可跳过对RASL画面和RADL画面的解码处理。如果没有产生随机访问或层切换，则还可通过使用RASL画面和RADL画面所参考的参考画面对RASL画面和RADL画面进行解码。视频解码器1520可通过参考先前解码的其它层的画面对VLA画面进行解码。

图16是图14的视频编码器1410的详细框图。

视频编码器1600包括第一层编码设备1610和第二层编码设备1660以及层间预测设备1650。

第一层的块划分器1618将第一层图像划分为数据单元，诸如最大编码单元、编码单元、预测单元、变换单元等。可对从块划分器1618输出的编码单元中所包括的预测单元执行帧内预测或帧间预测。运动补偿器1640对预测单元执行帧间预测以输出预测单元的预测值，帧内预测器1645对预测单元执行帧内预测以输出预测单元的预测值。

编码控制器1615在帧内预测模式和帧间预测模式之中确定用于获取与当前预测单元最相似的预测值的预测模式，并控制预测开关1648，从而使根据确定的预测模式的预测值被输出。作为通过帧内预测或帧间预测获取的当前块的预测值与当前块之差的残差被变换器/量化器1620变换和量化以输出量化的变换系数。缩放器/逆变换器1625对量化的变换系数执行缩放和逆变换以重构残差。存储器1630存储通过将重构的残差与当前块的预测值相加而重构的当前块。对由块划分器1618划分的第一层图像的所有编码单元中的每个编码单元重复编码处理。可根据如上所述的对第一层图像的编码处理确定具有最小代价的第一层图像的最大编码单元、编码单元、预测单元和变换单元的结构。去块滤波单元1635对重构的第一层图像执行滤波以减少包括在重构的第一层图像中的伪影。

层间预测设备1650将第一层图像信息输出到第二层编码设备1660，从而第一层图像可在第二层图像的预测编码中使用。层间预测器1650的去块单元1655对在编码之后被重构的第一层图像执行去块滤波，并将滤波后的第一层图像输出到第二层编码设备1680。

第二层编码器1660基于通过使用第一层编码设备1610编码的第一层图像的编码信息对第二层图像进行编码。第二层编码设备1660可在不进行改变的情况下应用由第一层编码设备1610确定的第一层图像的编码信息，或者可改变第一层图像的编码信息以确定将在对第二层图像的编码中应用的编码信息。

第二层的块划分器1668将第二层图像划分为数据单元，诸如最大编码单元、编码单元、预测单元、变换单元等。第二层的块划分器1668可基于数据单元(诸如针对第一层图像确定的最大编码单元、编码单元、预测单元或变换单元)的结构信息来确定第二层图像的数据单元的相应结构。

可对从块划分器1668输出的第二层的编码单元中所包括的每个预测单元执行帧内预测或帧间预测。运动补偿器1690通过对当前块执行帧间预测来输出预测值，帧内预测器1695通过对当前块执行帧内预测来输出预测值。运动补偿器1690可通过对与第二层的块相应的第一层的块的运动矢量进行缩放来确定第二层的运动矢量。例如，当第一层图像具有a×b(a和b是整数)的分辨率，与其相应的第二层图像具有2a×2b的分辨率，并且第一层的相应块的运动矢量为mv_base时，通过基于第一层图像和第二层图像之间的分辨率比率将第一层块的运动矢量放大两倍而获得的值2×mv_base可被确定为第二层块的运动矢量。另外，运动补偿器1690可通过在不使用第一层的运动矢量的情况下执行独立的运动预测来确定第二层的当前块的运动矢量。

第二层的编码控制器1665在帧内预测模式和帧间预测模式之中确定与第二层的当前块具有最近似的预测值的预测模式，并控制预测开关1698，从而使根据确定的预测模式的当前块的预测值被输出。作为通过帧内预测或帧间预测获得的当前块的预测值与当前块之差的残差由变换器/量化器1670变换和量化，从而输出量化的变换系数。存储器1680通过将重构的残差和当前块的预测值相加来重构当前块并存储当前块。去块单元1685对重构的第二层图像执行去块滤波。

图17是图15的视频解码器1520的框图。

视频解码器1700包括第一层解码设备1710和第二层解码设备1760。

当第一层图像的编码信息和第二层图像的编码信息从比特流被解析和输入时，反量化器/逆变换器1720输出通过对第一层图像的残差进行反量化和逆变换而重构的残差信息。运动补偿器1740对当前块执行帧间预测以输出预测值，帧内预测器1745对当前块执行帧内预测以输出预测值。

解码控制器1715基于包括在第一层的编码信息中的第一层图像的当前块的预测模式信息，从帧内预测模式和帧间预测模式之中确定预测模式之一，并控制预测开关1748，从而使根据确定的预测模式的预测值被输出。将通过帧内预测或帧间预测而获得的当前块的预测值和重构的残差相加以重构第一层的当前块。重构的第一层图像存储在存储器1730中。去块单元1735对重构的第一层图像执行去块滤波。

层间预测设备1750将第一层图像信息输出到第二层解码设备1760，从而使第一层图像可在第二层图像的预测解码中使用。层间预测设备1750的去块单元1755对重构的第一层图像执行去块滤波，并将滤波后的第一层图像输出到第二层编码设备1760。

第二层解码设备1760通过使用经由使用第一层解码设备1710而解码的第一层图像的编码信息来对第二层图像进行解码。第二层解码设备1760可在不进行改变的情况下应用由第一层解码设备1710确定的第一层图像的编码信息，或者可改变第一层图像的编码信息以确定将在第二层图像的解码中应用的编码信息。反量化器/逆变换器1770对第二层图像的残差进行反量化和逆变换，并输出重构的残差信息。运动补偿器1790通过对第二层的当前块执行帧间预测来输出预测值，帧内预测器1795通过对第二层的当前块执行帧内预测来输出预测值。运动补偿器1790可通过缩放与第二层的当前块相应的第一层的相应块的运动矢量来确定第二层的当前块的运动矢量，或者可基于第二层的当前块的运动矢量信息来获得第二层的当前块的运动矢量，其中，第二层的当前块的运动矢量信息与第一层的所述相应块的运动矢量独立编码且包括在比特流中。

解码控制器1765基于包括在第二层图像的编码信息中的预测模式信息在帧内预测模式和帧间预测模式之中确定预测模式之一，并控制预测开关1798，从而使根据确定的预测模式的预测块被输出。通过帧内预测或帧间预测获得的第二层的当前预测单元的预测值与重构的残差相加以重构当前块。重构的第二层图像存储在存储器1780中。去块单元1785对重构的第二层图像执行去块滤波。

图18示出根据示例性实施例的多层预测结构1800的示例。

在图18中示出的多层预测结构1800中，图像根据再现顺序POC被布置。另外，具有相同POC值的图像被垂直地布置。图像的POC值指示构成视频的图像的再现顺序。在多层预测结构1800中标记的“POCX”指示再现顺序或位于其相应列中的图像，X越小则再现顺序越早，X越大则再现顺序越晚。位于每层的相同列中的图像具有相同的POC值(再现顺序)。

视点图像的四个连续图像构成每层的单个画面组(GOP)。每个GOP包括连续的锚画面(anchorpicture)之间的图像以及单个锚画面。锚画面是随机访问点，在这个方面，当从根据视频的再现顺序(即，根据POC)布置的图像选择了预定的再现位置时，POC最接近于该再现位置的锚画面被再现。第一层图像包括第一层锚画面41、42、43、44和45，第二层图像包括第二层锚画面141、142、143、144和145，第三层图像包括第三层锚画面241、242、243、244和245。

可根据GOP的顺序来再现和预测(重构)多层图像。首先，根据图18的多层预测结构1800的再现顺序和重构顺序，对于每一层，包括在GOP0中的图像可被重构和再现，随后包括在GOP1中的图像可被重构和再现。也就是说，包括在各个GOP中的图像可按照GOP0、GOP1、GOP2和GOP3的顺序被重构和再现。根据多层预测结构1800的再现顺序和重构顺序，对图像执行层间预测和帧间预测。在多层预测结构1800中，箭头开始的图像是参考图像，箭头结束的图像是通过使用参考图像预测的图像。

具体地，在多层预测结构1800的重构顺序中，根据每个图像的预测(重构)顺序来水平地布置图像。也就是说，位于相对靠左的图像相对较早地被预测(重构)，位于相对靠右的图像相对较晚地被预测(重构)。通过参考相对较早地被重构的图像来预测(重构)后续的图像，多层预测结构1800的重构顺序中的相同层的图像之间的指示预测方向的箭头的方向均为从相对靠左的图像到相对靠右的图像的方向。

关于作为基本层的第一层的图像，仅相同层中的图像用作参考图像。关于第二层和第三层的图像，可执行层间预测和帧间预测，其中，在层间预测中，参考先前分别被参考的其它层，在帧间预测中，参考相同层的图像。除了层间预测，可执行参考相同层的画面的帧间预测。第二层图像和第三层图像之中的锚画面141、142、143、144、145、241、242、243、244和245不参考相同层的图像，但是除了锚画面之外的其它图像可通过参考相同层的图像而被预测。用于再现图像的解码处理与预测处理相似。这里，可通过仅在图像的参考图像被重构之后使用每个图像的参考图像来重构每个图像。

图19示出根据时间分层编码方法和时间分层解码方法的多层预测结构。

可根据时间分层预测结构50来执行可伸缩视频编码方法。时间分层预测结构50包括分层的B型图像55、56、57、58、59、60、61、62和63的预测结构。在级0的预测结构中，执行对I型图像51和54的帧间预测以及对P型图像52和53的帧间预测。在级1的预测结构中，执行对参考I型图像51和54以及P型图像52和53的B型图像55、56和57的帧间预测。在级2预测结构中，执行对参考I型图像51和54、P型图像52和53以及B型图像55、56和57的帧间预测。

“temporal_id”是用于标识预测级别的数字，帧率可随着各个图像被输出而增加。例如，级0的图像51、52、53和54可按照15Hz的帧率被解码和输出，在级1的图像55、56和57被解码和输出时，帧率增加到30Hz，而在级2的图像58、59、60、61、62和63被进一步解码和输出时，帧率可增加到60Hz。

根据示例性实施例，在使用SVC方法来实现时间分层预测结构50时，级0的图像被编码为基本层图像，级1的图像可被编码为第一增强层图像，级2的图像可被编码为第二增强层图像。

图20示出根据示例性实施例的包括多层视频的编码数据的NAL单元。

如上所述，输出单元1420输出包括多层视频的编码数据和附加信息的NAL单元。VPSNAL单元2010包括应用于多层视频中所包括的多层图像序列2020、2030和2040的信息。VPSNAL单元2010包括由多层图像序列2020、2030和2040共享的共同语法元素、关于不必要信息的块传输的操作点的信息、关于会话协商所需的操作点的不可缺信息(像简要说明或等级等)。

输出单元1420可产生并输出参数集(SPS)NAL单元2021、2031、2041、画面参数集(PPS)NAL单元2022、2032和2042以及条带分段NAL单元2023、2033和2043。

SPSNAL单元包括共同应用于一层的图像序列的信息。例如，SPSNAL单元2021、2031和2041分别包括共同应用于图像序列2020、2030和2040的信息。PPSNAL单元包括共同应用于一层的画面的信息。例如，PPSNAL单元2022、2032和2042中的每个均包括共同应用于一层的画面的信息。PPSNAL单元可包括关于整个画面的编码模式(例如画面单元的熵编码模式、量化参数初始值等)的信息。可不必针对每个画面产生PPSNAL单元。也就是说，当不存在PPSNAL单元时，解码侧使用先前接收到的PPSNAL单元。输出单元1420可在PPSNAL单元中所包括的信息需要被更新时产生和输出新的PPSNAL单元。条带分段NAL单元包括共同应用于一个条带的信息。条带分段包括至少一个最大编码单元的编码数据，并且可通过被包括在条带分段NAL单元2023、2033和2043中而被发送。

输出单元1420可产生和输出补充增强信息(SEI)消息NAL单元。SEI消息指示对于视频编码层(VCL)中的解码处理所必需的附加信息。例如，SEI消息可包括与假想参考解码器(HRD)有关的每个画面的时序信息、关于平移/扫描功能的信息等。

图21示出根据示例性实施例的NAL单元的头的示例。

参照图21，根据示例性实施例的NAL单元的头的总长度为2字节。NAL单元的头包括具有“0”作为用于标识NAL单元的比特的forbidden_zero_bit、指示NAL单元的类型的IDNAL单元类型(NUT)、保留用于将来使用的区域reserved_zero_6bits以及时间IDtemporal_id。IDNUT和保留用于将来使用的区域reserved_zero_6bits中的每一个均包括6比特。时间IDtemporal_id可包括3比特。通过不同地设置指示包括在NAL单元中的数据的类型的NAL单元类型的值，包括在上述多层视频中的各种类型的画面的类型信息可用信号传送。

现在将在下面描述作为用于随机访问的RAP画面的IDR画面、BLA画面和CLA画面。

图22是用于解释根据示例性实施例的领导画面的参考图。

领导画面是根据解码顺序在RAP画面之后被解码但是根据输出顺序在RAP画面之前被输出的画面。根据解码顺序和输出顺序在RAP画面之后被解码和输出的画面被定义为普通画面或拖尾画面(trailingpicture)。

参照图22，B0到B6画面2210是根据解码顺序在RAP画面2201之后被解码但根据输出顺序在RAP画面2201之前的画面。在图22中，箭头方向被假设为参考方向。例如，B6画面2203使用B5画面2202和RAP画面2201作为参考画面。当随机访问从RAP画面2201开始时，领导画面根据解码是否可行而被分类为随机访问可解码领导(RADL)画面和随机访问跳过领导(RASL)画面。在图22中，由于B0到B2画面2220可基于在RAP画面2201之前被接收和解码的P画面2204被预测，因此当随机访问从RAP画面2201开始时，B0到B2画面是不可被正常解码的画面。和B0到B2画面2220一样，当随机访问从RAP画面2201开始时，不可被正常解码的领导画面被定义为RASL画面。同时，由于B3到B6画面2230仅使用在RAP画面2201之后被解码的画面作为参考画面，因此，即使随机访问从RAP画面2201开始，B3到B6画面也是不可被正常解码的画面。和B3到B6画面2230一样，当随机访问从RAP画面2201开始时，不可被正常解码的画面被定义为RADL画面。

图23和图24是用于解释IDR画面的参考图。

如上所述，IDR画面在IDR画面被解码的瞬间对解码画面缓冲器(DPB)和POC进行初始化，在IDR画面之后被解码的画面在输出顺序上总是在该IDR画面之后，并且在没有参考在该IDR画面之前的画面的情况下被解码。然而，IDR画面遵循封闭式GOP结构，其中，在封闭式GOP结构中，领导画面被限制为使用在IDR画面之前被解码的画面作为参考画面。因此，IDR画面可基于领导画面是否存在以及RADL画面是否存在而被分类为两种类型的IDR画面。更具体地，IDR画面可被分类为以下两种类型：i)不具有领导画面的IDR画面IDR_N_LP；以及ii)具有作为可解码的领导画面的RADL画面的IDR画面IDR_W_LP。

图23示出具有作为可解码的领导画面的RADL画面的IDR画面IDR_W_LP。参照图23，B0到B6画面2315是输出顺序在IDR画面之前但是根据解码顺序在该IDR画面之后被解码的领导画面。由于在IDR画面之后被解码的画面不使用在该IDR画面之前被解码的画面作为参考画面，所以IDR画面的所有领导画面与在随机访问时刻可解码的RADL画面相应。

图24示出不具有领导画面的IDR画面IDR_N_LP。参照图24，与上述的图23不同，B0到B6画面2425仅参考在IDR画面之前被解码的画面，并且IDR画面不具有领导画面。如上所述，IDR画面可被分类为以下两种类型：i)不具有领导画面的IDR画面IDR_N_LP；以及ii)具有作为可解码的领导画面的RADL画面的IDR画面IDR_W_LP。

类似于IDR画面，作为I画面的CRA画面在CRA画面被解码的瞬间对DPB进行初始化。解码顺序和输出顺序均在CRA画面之后的普通画面可不参考在该CRA画面之前的画面。然而，IDR画面遵循封闭式GOP结构(在封闭式GOP结构中，领导画面被限制为使用在IDR画面之前被解码的画面作为参考画面)，而CRA画面允许领导画面使用在CRA画面之前被解码的画面作为参考画面。也就是说，在CRA画面中，在解码顺序在CRA画面之后但输出顺序在该CRA画面之前的画面之中可能存在参考在该CRA画面之前被解码的画面的画面。当随机访问从CRA画面开始时，由于某些领导画面使用在随机访问点处不可使用的参考画面，因此所述领导画面可能不被解码。

因此，CRA画面可被分类为：i)不具有领导画面的CRA画面CRA_N_LP；ii)具有RADL画面的CRA画面CRA_W_RADL；以及iii)具有RASL画面的CRA画面CRA_W_RASL。CRA画面如上所述被分类的理由在于：当CRA画面具有RASL画面时，RASL画面在随机访问期间可在没有被解码的情况下被丢弃。解码设备可预先确定是否存在在解码时不需要解码的RASL画面，而且，当接收到包括RASL画面的NAL单元比特流时，解码设备可跳过对相应的RASL画面的不必要的解码处理。

图25示出具有RASL画面的CRA画面CRA_W_RASL。

参照图25，由于随机访问从CRA画面2010开始，因此解码顺序在CRA画面2510之前的P画面2501不被解码。因此，使用P画面2501作为参考画面的画面，或者使用将P画面2501用作参考画面的画面作为参考画面的画面(例如，B0到B6画面2520)是在随机访问期间不可解码的RASL画面。

当不限于图25的示例并且CRA画面的某些领导画面为RASL画面时，该CRA画面是具有RASL画面的CRA画面CRA_W_RASL。与如上所述的图23的具有RASL画面的IDR画面IDR_W_RASL类似，当CRA画面的领导画面为RADL画面时，该CRA画面是具有领导画面的CRA_W_RADL。与如上所述的图24的具有领导画面的IDR画面IDR_W_RADL类似，当不存在CRA画面的领导画面时，该CRA画面是不具有领导画面的CRA画面CRA_N_LP。

同时，不同的比特流通过比特流切分(bitstreamslicing)而连接的点被称为断链。新比特流通过这样的比特流切分而起始的点的画面被定义为BLA画面，其中，除了BLA画面是通过执行切分操作而产生的之外，BLA画面与CRA画面相同。可通过执行切分操作将CRA画面改变为BLA画面。

类似于IDR画面，同样作为I画面的BLA画面在BLA被解码的瞬间对DPB进行初始化。解码顺序和输出顺序均在BLA画面之后的普通画面可不参考在BLA画面之前的画面。然而，BLA画面允许领导画面使用在BLA画面之前被解码的画面作为参考画面。也就是说，在BLA画面中，参考在BLA画面之前被解码的画面的画面可能存在于下述领导画面之中：所述领导画面是解码顺序在该BLA画面之后但输出顺序在该BLA画面之前的画面。当从BLA画面开始随机访问时，由于某些领导画面使用在随机访问点处不可使用的参考画面，因此，这些领导画面可能不被解码。

因此，BLA画面可被分类为：i)不具有领导画面的BLA画面BLA_N_LP；ii)具有RADL画面的BLA画面BLA_W_RADL；以及iii)具有RASL画面的BLA画面BLA_W_RASL。BLA画面如上所述被分类的理由在于：当BLA画面具有RASL画面时，RASL画面在随机访问期间可在没有被解码的情况下被丢弃。解码设备可预先确定是否存在在解码时不需要解码的RASL画面，而且，当接收到包括RASL画面的NAL单元比特流时，解码设备可跳过对相应的RASL画面的不必要的解码处理。

图26示出针对BLA画面的RASL画面和RADL画面的示例。在图26中，假设B0到B2画面2610是参考解码顺序在BLA画面2601之前的画面的画面，B3到B6画面2620也是参考BLA画面2601的画面，或者是参考在BLA画面2601之后被解码的画面的画面。由于随机访问是通过对BLA画面2601进行解码而开始的，因此B0到B2画面2610所参考的画面可不被使用。因此，B0到B2画面2610对应于不可解码的RASL画面。B3到B6画面2620仅使用在BLA画面2601之后被解码的画面作为参考画面，因此B3到B6画面2620对应于在随机访问期间可解码的RADL画面。当在BLA画面的领导画面之中存在RASL画面时，视频编码设备1400将相应的BLA画面分类为具有RASL画面的BLA画面BLA_W_RASL。

与如上所述的图23的具有RADL画面的IDR画面IDR_W_RADL类似，当BLA画面的领导画面为RADL画面时，BLA画面是具有领导画面的BLA画面BLA_W_RADL。与如上所述的图24的具有领导画面的IDR画面IDR_N_LP类似，当不存在BLA画面的领导画面时，BLA画面是不具有领导画面的BLA画面BLA_N_LP。

图29是根据示例性实施例的多层视频编码方法的流程图。

参照图14和图29，在操作2910，视频编码器1410对包括在第一层中的画面进行预测和编码。视频编码器1410可通过对原始信号与通过帧间预测、帧内预测和层间预测而产生的预测值之差进行变换和量化来执行编码。根据VCL中的编码处理，视频编码器1410输出与编码单元相关的残差信息、预测模式信息以及与编码单元的预测编码相关的附加信息。

在操作2920，输出单元1420基于包括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为第一层RAP画面、第一层RADL画面和第一层RASL画面。第一层RAP可被再次分类为IDR画面、CRA画面和BLA画面。

在操作2930，视频编码器1410将第二层的具有与包括在第一层中的每个画面相同的POC的相应画面的类型设置为与第一层的画面类型相同，并对第二层的画面进行预测编码。

在操作2940，输出单元1420输出包括第一层的画面的编码信息和类型信息以及第二层的画面的编码信息和类型信息的NAL单元。包括在每个NAL单元中的画面的类型可基于NAL头的标识符(nal单元类型)而用信号传送。根据本发明构思的另一示例性实施例定义的第二层的VLA画面也可包括在具有预设标识符值(nal单元类型)的NAL单元中并被发送。

图30是根据示例性实施例的多层视频编码方法的流程图。

参照图15和图30，在操作3010，接收器1510获取包括第一层画面的编码信息和类型信息的NAL单元。

在操作3020，视频编码器1520基于包括在NAL单元中的第一层画面的类型信息，从第一层RAP画面、第一层RADL画面和第一层RASL画面之中识别第一层画面的类型。视频解码器1520可基于包括在NAL单元的头中的标识符值(nal单元类型)来识别包括在当前NAL单元中的编码信息和画面类型。根据本发明构思的另一示例性实施例定义的第二层的VLA画面也可包括在具有预设标识符值(nal单元类型)的NAL单元中并被发送。

在操作3030，接收器1510可获取包括第二层画面的编码信息和类型信息的NAL单元，视频解码器1520基于包括在NAL单元中的第二层画面的类型信息，识别第二层画面的类型，其中，所述第二层画面的类型被设置为与POC和所述第二层画面相同的第一层画面的类型相同。

在操作3040，视频解码器1520基于识别出的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。视频解码器1520可独立地对每层的编码数据进行解码，或者可在对其它层进行解码时将关于先前解码的先前层的信息用作参考信息。视频解码器1520通过对编码的多层的画面执行熵解码、反量化、逆变换来重构残差，通过应用帧内预测、帧间预测和层间预测之中的至少一个预测方法来产生预测信号，并通过将重构的残差与预测信号相加来执行解码。视频解码器1520可通过参考先前解码的其它层来对第二层的VLA画面进行解码。

本发明构思还可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质也可分布在联网的计算机系统上，从而以分布式方式来存储和执行计算机可读代码。

虽然已经参照本发明构思的示例性实施例具体地示出和描述了本发明构思，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。示例性实施例应被认为仅是描述性的而不是出于限制的目的。因此，本发明的范围不是由本发明的具体描述限定，而是由权利要求限定，并且所述范围之内的所有差异应被理解为包括在本发明构思中。

Claims (15)

1.一种多层视频解码方法，包括：

获取包括第一层画面的编码信息和类型信息的网络适应层(NAL)单元；

基于包括在该NAL单元中的第一层画面的类型信息，从可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可解码的第一层随机访问跳过领导画面(RASL)画面之中识别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画面；

获取包括第二层画面的编码信息和类型信息的NAL单元，并基于包括在该NAL单元中的第二层画面的类型信息，识别第二层画面的类型，其中，第二层画面的类型被设置为与画面顺序计数(POC)和该第二层画面相同的第一层画面的类型相同；

基于识别出的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。

2.如权利要求1所述的多层视频解码方法，其中，第一层RAP画面是瞬时解码刷新(IDR)画面、完全随机访问(CRA)画面和断链访问(BLA)画面中的一个，其中，IDR画面、CRA画面和BLA画面是基于解码顺序和输出顺序在第一层RAP画面之后的画面是否能够参考解码顺序在该第一层RAP画面之前的画面以及该第一层RAP画面是否是通过拼接产生的而被分类的。

3.如权利要求2所述的多层视频解码方法，其中，IDR画面是下述画面：解码顺序在IDR画面之后的画面不参考解码顺序在该IDR画面之前的其它画面，

CRA画面是下述画面：解码顺序和输出顺序在CRA画面之后的画面不参考解码顺序或输出顺序之一在该CRA画面之前的其它画面，并且在CRA画面之前的画面在输出顺序上总是在该CRA画面之前，

BLA画面指通过拼接而组合的不同视频序列的第一画面。

4.如权利要求1所述的多层视频解码方法，其中，第一层RAP画面和第二层RAP画面基于是否存在RADL画面或RASL画面而被分类。

5.如权利要求1所述的多层视频解码方法，其中，解码步骤包括：当在第二层的画面之中产生了对第二层RAP画面的随机访问时，跳过对被识别为第二层RAP画面的领导画面的画面的解码处理。

6.如权利要求1所述的多层视频解码方法，其中，识别第二层画面的类型的步骤包括：基于包括在NAL单元中的类型信息，识别作为通过参考除第二层之外的其它层进行层间预测得到的第二层RAP画面的第二层视点层访问(VLA)画面，其中，解码顺序和输出顺序在第二层RAP画面之后的画面不参考解码顺序或输出顺序之一在该第二层RAP画面之前的其它画面，解码顺序在第二层RAP画面之前的画面在输出顺序上总是在该第二层RAP画面之前，

解码步骤包括：当产生了对第二层VLA画面的随机访问时，跳过参考在该第二层VLA画面之前被解码且输出顺序在该第二层VLA画面之前的画面对RADL画面和RASL画面进行解码的操作。

7.一种多层视频编码方法，包括：

对包括在第一层中的画面进行预测编码；

基于包括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可重构的第一层随机访问跳过领导画面(RASL)画面，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被编码的画面是否被参考而可重构为第一层RAP画面；

将第二层中画面顺序计数(POC)与包括在第一层中的每个画面相同的相应画面的类型设置为与第一层的分类的画面类型相同，并对第二层的画面进行预测编码；

输出NAL单元，其中，NAL单元包括第一层的画面的编码信息和类型信息以及第二层的画面的编码信息和类型信息。

8.如权利要求7所述的多层视频编码方法，其中，分类的步骤包括：基于编码顺序和输出顺序在第一层RAP画面之后的画面是否能够参考编码顺序在该第一层RAP画面之前的画面并且基于该第一层RAP画面是否是通过拼接产生的，将该第一层RAP画面分类为瞬时解码刷新(IDR)画面、完全随机访问(CRA)画面或断链访问(BLA)画面。

9.如权利要求8所述的多层视频编码方法，其中，IDR画面是下述画面：编码顺序在IDR画面之后的画面不参考解码顺序在该IDR画面之前的其它画面，

CRA画面是下述画面：解码顺序和输出顺序在CRA画面之后的画面不参考解码顺序或输出顺序之一在该CRA画面之前的其它画面，并且在CRA画面之前的画面在输出顺序上总是在该CRA画面之前，

BLA画面指通过拼接而组合的不同视频序列的第一画面。

10.如权利要求7所述的多层视频编码方法，还包括：

基于是否存在RADL画面或RASL画面来对第一层RAP画面进行分类。

11.如权利要求7所述的多层视频编码方法，还包括：将通过参考除第二层之外的其它层进行层间预测得到的第二层RAP画面分类为第二层视点层访问(VLA)画面，其中，编码顺序和输出顺序在第二层RAP画面之后的画面不参考编码顺序或输出顺序之一在该第二层RAP画面之前的其它画面，并且编码顺序在第二层RAP画面之前的画面在输出顺序上总是在该第二层RAP画面之前，

其中，当在解码器中产生了对第二层VLA画面的随机访问时，参考在该第二层VLA画面之前被解码并且输出顺序在该第二层VLA画面之前的画面对RADL画面和RASL画面进行解码的操作被跳过。

12.一种多层视频解码设备，包括：

接收器，被配置为获取包括第一层画面的编码信息和类型信息的网络适应层(NAL)单元以及包括第二层画面的编码信息和类型信息的NAL单元；

图像解码器，被配置为：

基于包括在NAL单元中的第一层画面的类型信息，从可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可解码的第一层随机访问跳过领导画面(RASL)画面之中识别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画面；

基于包括在NAL单元中的第二层画面的类型信息，识别第二层画面的类型，其中，第二层画面的类型被设置为与画面顺序计数(POC)和该第二层画面相同的第一层画面的类型相同；

基于识别出的第一层画面类型和识别出的第二层画面的类型对第一层画面和第二层画面进行解码。

13.如权利要求12所述的多层视频解码设备，其中，图像解码器被配置为：

基于包括在NAL单元中的类型信息，识别作为通过参考除第二层之外的其它层进行层间预测得到的第二层RAP画面的第二层视点层访问(VLA)画面，其中，解码顺序和输出顺序在第二层RAP画面之后的画面不参考解码顺序或输出顺序之一在该第二层RAP画面之前的其它画面，解码顺序在第二层RAP画面之前的画面在输出顺序上总是在该第二层RAP画面之前；

当对第二层VLA画面的随机访问被产生时，跳过参考在该第二层VLA画面之前被解码且输出顺序在该第二层VLA画面之前的画面对RADL画面和RASL画面进行解码的操作。

14.一种多层视频编码设备，包括：

视频编码器，被配置为对包括在第一层和第二层中的画面进行预测编码；

输出单元，被配置为：

基于包括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为可随机访问的第一层随机访问点画面(RAP)画面、第一层随机访问可解码领导画面(RADL)画面和不可重构的第一层随机访问跳过领导画面(RASL)画面，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画面之前被编码的画面是否被参考而可重构为第一层RAP画面；

将第二层中画面顺序计数(POC)与包括在第一层中的每个画面相同的相应画面的类型设置为与第一层的分类的画面类型相同；

输出NAL单元，其中，NAL单元包括第一层的画面的编码信息和类型信息以及第二层的画面的编码信息和类型信息。

15.如权利要求14所述的多层视频编码设备，其中，输出单元被配置为：

将包括在第二层中的画面之中的通过参考除第二层之外的其它层进行层间预测得到的第二层RAP画面分类为第二层视点层访问(VLA)画面，其中，编码顺序和输出顺序在第二层RAP画面之后的画面不参考编码顺序或输出顺序之一在该第二层RAP画面之前的其它画面，并且编码顺序在第二层RAP画面之前的画面在输出顺序上总是在该第二层RAP画面之前，

其中，当产生了对第二层VLA画面的随机访问时，参考在该第二层VLA画面之前被解码并且输出顺序在该第二层VLA画面之前的画面对RADL画面和RASL画面进行解码的操作被跳过。