CN116057931A - 针对缩放性的基于子比特流提取的图像编码设备和方法 - Google Patents

Abstract

根据本文档的实施方式，可以执行基于多层的编码。基于多层的编码可以包括子比特流提取过程。子比特流提取过程的输入可以包括与目标OLS索引相关的值和与最高时间标识符相关的值。

Description

针对缩放性的基于子比特流提取的图像编码设备和方法

技术领域

本公开涉及一种针对缩放性的基于子比特流提取的图像编码设备和方法。

背景技术

近来，在各种领域中对高分辨率和高质量图像和视频(例如，超高清晰度(UHD)图像和4K或8K或更高的视频)的需求正在增长。因为图像和视频数据变为高分辨率和高质量，因此与现有图像和视频数据相比，相对传输的信息量或比特数增大。因此，如果使用诸如现有有线或无线宽带线路的介质发送图像数据，或者使用现有存储介质存储图像和视频数据，则增加了传输成本和存储成本。

此外，对诸如虚拟现实(VR)、人工现实(AR)内容或全息图的沉浸式媒体的兴趣和需求最近增加。具有与诸如游戏图像的真实图像的图像特性不同的图像特性的图像和视频的广播正在增加。

因此，需要一种高效图像和视频压缩技术，以便于有效地压缩和传输或存储和回放具有这样的各种特性的高分辨率和高质量图像和视频的信息。

此外，存在对基于用于满足压缩/传输效率和可扩展性的要求的多层的编码技术的讨论。需要一种用于有效地发信号通知相关信息以有效地应用编码技术的方法。

发明内容

技术方案

根据本公开的一个实施方式，提供了一种用于提高图像/视频编码效率的方法和设备。

根据本公开的一个实施方式，提供了一种用于提高图像/视频编码的信息传送效率的方法和设备。

根据本公开的一个实施方式，提供了一种基于多层的编码设备和方法。

根据本公开的一个实施方式，可以配置目标输出层，并且可以输出基于目标输出层的经解码的图片。

根据本公开的一个实施方式，可以基于外部手段或发信号通知的信息来确定目标输出层。

根据本公开的一个实施方式，外部手段可以比发信号通知的信息优先地用于目标输出层。

根据本公开的一个实施方式，可以将用于设置最高时间层的使用最高时间层的时间可缩放性应用于图片解码。

根据本公开的一个实施方式，可以基于外部设备或发信号通知的信息来确定最高时间层。

根据本公开的一个实施方式，外部手段可以比发信号通知的信息优先地用于最高时间层。

根据本公开的一个实施方式，可以基于比特流的子比特流提取过程推导针对缩放性的子流。

根据本公开的一个实施方式，子比特流提取过程的输入可以包括与目标OLS索引相关的值和与最高时间标识符相关的值。

根据本公开的一个实施方式，子比特流提取过程可以包括去除包括关于目标OLS索引的信息和关于最高时间标识符的信息的特定网络抽象层(NAL)单元。

根据本公开的一个实施方式，可以基于子比特流提取过程的输入来设置与目标OLS索引相关的信息的值。

根据本公开的一个实施方式，可以基于子比特流提取过程的输入来设置与最高时间标识符相关的信息的值。

根据本公开的一个实施方式，提供了一种执行视频/图像编码的编码设备。

根据本公开的一个实施方式，提供了一种存储基于在本公开的实施方式中的至少一个实施方式中公开的视频/图像编码方法生成的经编码的视频/图像信息的计算机可读数字存储介质。

根据本公开的一个实施方式，一种计算机可读数字存储介质存储经编码的信息或经编码的视频/图像信息，所述经编码的信息或经编码的视频/图像信息使得解码设备执行在本公开的实施方式中的至少一个实施方式中公开的视频/图像解码方法。

有益效果

根据本公开的一个实施方式，可以提高整体图像/视频压缩效率。

根据本公开的一个实施方式，可以提高整体图像/视频压缩的图像传送效率。

根据本公开的一个实施方式，可以省略对来自整个比特流的相关语法元素的解析的过程，并且可以通过外部手段有效地设置目标OLS索引和/或最高时间ID。

根据本公开的一个实施方式，使用特定NAL单元的信息信令可以减少不必要的解析过程并且有效地分布经解析的信息。

根据本公开的一个实施方式，可以有效地执行针对缩放性的子比特流提取过程。

附图说明

图1示意性地例示了适用于本文档的示例性实施方式的视频/图像编码系统的示例。

图2是用于示意性地说明适用于本文档的示例性实施方式的视频/图像编码设备的配置的图。

图3是根据本公开的实施方式的执行视频/图像信号的基于多层的编码的编码设备的框图。

图4是用于示意性地说明可应用于本公开的实施方式的视频/图像解码设备的配置的图。

图5是根据本公开的实施方式的执行视频/图像信号的基于多层的解码的解码设备的框图。

图6示例性地例示了用于经编码的图像/视频的分层结构。

图7例示了根据本公开的实施方式的视频/图像解码方法的一个示例。

图8是例示根据本公开的一个实施方式的包括解码设备的数字装置的框图。

图9是例示根据本公开的一个实施方式的包括解码设备的控制器的框图。

图10例示了本文档中所公开的示例性实施方式适用的内容流传输系统的示例。

具体实施方式

在本文档中，视频可以指一系列随时间的图像。图片通常是指表示特定时间区中的一个图像的单元，并且切片/拼块是构成编码中的图片的部分的单元。切片/拼块可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/拼块组成。一个图片可以由一个或更多个拼块组组成。一个拼块组可以包括一个或更多个拼块。

像素或画素可以意指构成一个图片(或图像)的最小单元。此外，“样本”可以用作与像素相对应的项。样本通常可以表示像素或像素的值并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。此外，样本可以意指空间域中的像素值，并且当空间域中的像素值变换到频域中时，样本可以意指频域中的变换系数。

本公开涉及视频/图像编码。例如，本公开中的方法/实施方式可以涉及多功能视频编码(VVC)标准(ITU-T版本H.266)、VVC之后的下一代视频/图像编码标准或其它视频编码相关标准(例如，高效率视频编码(HEVC)标准(ITU-T版本H.265)、基本视频编码(EVC)标准和AVS2标准)。

本公开提出了视频/图像编码的各种实施方式，并且除非另有说明，否则实施方式也可以彼此组合地执行。

本文档可以以各种方式修改并且可以具有各种实施方式，并且将在附图中例示并详细描述特定实施方式。然而，这并不旨在将本文件限制于具体实施方式。本说明书中常用的术语用于描述具体实施方式，并且不用于限制本文件的技术精神。除非在上下文中以其它方式明显表达，否则单数的表达包括复数表达。在本说明书中，诸如“包括”或“具有”的术语应当被理解为指示在说明书中描述的特征、数量、步骤、操作、元件、部件或它们的组合的存在，并且不排除添加一个或更多个其它特性、数量、步骤、操作、元件、部件或它们的组合的存在或可能性。

此外，为了描述与不同特征功能相关的描述，在本文档中描述的附图中的元件被独立地示出。这并不意味着每个元件被实现为单独的硬件或单独的软件。例如，元件中的至少两个可以被组合以形成单个元件，或者单个元件可以被分成多个元件。除非其偏离本文档的实质，否则其中元件被组合和/或分离的实施方式也被包括在本文档的权利的范围中。

在下文中，参照附图更具体地描述本文档的优选实施方式。在下文中，在附图中，在相同的元件中使用相同的附图标记，并且可以省略对相同元件的冗余描述。

单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一者。一个单元可以包含一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以包括M列和N行的变换系数的样本(或样本阵列)或集合(或阵列)。

在本文档中，术语“/”和“、”应被解释为表示“和/或”。例如，术语“A/B”可以意指“A和/或B”。此外，“A、B”可以意指“B和/或A”。此外，“A/B/C”可以意指“A、B和/或C中的至少一个”。此外，“A、B、C”可以意指“A、B和/或C中的至少一个”。

此外，在文档中，术语“或”应当被解释为指示“和/或”。例如，表述“A或B”可以包括1)仅A，2)仅B，和/或3)A和B二者。换句话说，本文档中的术语“或”应被解释为指示“另外地或另选地”。

在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B两者”。此外，在本公开中，表述“A或B中的至少一个”或“A和/或B中至少一个”可以被解释为与“A和B中的至少一个”相同。

此外，在本公开中，“A、B和C中的至少一个”可以表示“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少之一”可以意指“A、B和C中至少一个。”

此外，本公开中使用的括号可以表示“例如”。具体地，当指示“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，本公开中的“预测”不限于“帧内预测”，并且“帧内预测”可以作为“预测”的示例被提出。此外，即使当指示“预测(即，帧内预测)”时，“帧内预测”也可以作为“预测”的示例被提出。

本公开中的一个附图中单独描述的技术特征可以单独地或同时地实现。

图1示意性地例示了适用于本文档的示例性实施方式的视频/图像编码系统的示例。

参照图1，视频/图像编码系统可以包括源装置和接收装置。源装置可以经由数字存储介质或网络将经编码的视频/图像信息或数据以文件或流的形式传递到接收装置。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以称为视频/图像编码设备，并且解码设备可以称为视频/图像解码设备。发送器可以包括在编码设备中。接收器可以包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。

视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个照相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板电脑和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。

编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换和量化的一系列过程，以实现压缩和编码效率。编码数据(编码视频/图像信息)能够以比特流的形式输出。

发送器可以通过数字存储介质或网络以文件或流的形式向接收装置的接收器发送以比特流形式输出的编码后的图像/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并向解码设备发送接收到的比特流。

解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换和预测之类的一系列过程，来对视频/图像进行解码。

渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。

图2是用于示意性地说明适用于本文档的示例性实施方式的视频/图像编码设备的配置的图。在下面的内容中，视频编码设备可以包括图像编码设备。

参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)构成。另外，存储器270可以包括解码图片缓冲器(DPB)或者可以由数字存储介质构成。硬件组件还可以包括作为内部/外部组件的存储器270。

图像分割器210可以将输入到编码设备200的输入图像(或图片或帧)分割到一个或更多个处理器中。例如，处理器可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。例如，一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被分割为深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构和/或三元结构。另选地，可以首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本文档的编码过程。在这种情况下，可以根据图像特性基于编码效率将最大编码单元用作最终编码单元，或者如果需要，可以将编码单元递归地分割为深度更深的编码单元并且具有最佳大小的编码单元可以用作最终编码单元。这里，编码过程可以包括预测、变换和重构的过程，这将在后面描述。作为另一示例，处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述最终编码单元来分离或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。

在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以用作与像素或画素的一幅图片(或图像)相对应的术语。

减法器231从输入图像信号(原始块、原始样本或原始样本阵列)中减去从预测器220输出的预测信号(预测块、预测样本或预测样本阵列)以生成残差信号(残差块、残差样本或残差样本阵列)。所生成的残差信号被发送到变换器232。预测器220可以对目标处理块执行预测(在下面的情况下，其被称为当前块)并且生成包括针对当前块的预测样本的预测块。预测器220可以确定再当前块或CU单元中是应用帧内预测还是帧间预测。如稍后在对每个预测模式的描述中描述的，预测器可以生成诸如预测模式信息的关于预测的各种信息并且将所生成的信息发送到熵编码器240。预测信息可以由熵编码器240编码并且以比特流的形式输出。

帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的附近，或者可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅是示例，依据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器221可以基于由参照图片上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块和当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参照图片中的时间邻近块。包括参考块的参照图片和包括时间邻近块的参照图片可以相同或不同。时间邻近块可以称为并置参考块、共位CU(colCU)等，并且包括时间邻近块的参照图片可以称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示使用哪个候选来推导当前块的运动向量和/或参照图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以将邻近块的运动信息用作当前块的运动信息。在跳过模式下，与合并模式不同，可能无法发送残差信号。在运动向量预测(MVP)模式的情况下，可以将邻近块的运动向量用作运动向量预测子，并且可以通过发信号通知运动向量差来指示当前块的运动向量。

预测器220可以基于以下描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而并且可以同时应用帧内预测和帧间预测这二者。这可以称为帧间帧内组合预测(CIIP)。此外，预测器220可以执行帧内块复制(IBC)以预测块。帧内块复制可以用于游戏的图像/视频内容编码(例如，屏幕内容编码(SCC))。IBC基本上在当前图片中执行预测，但是可以类似于帧间预测来执行IBC，因为参考块是在当前图片中推导的。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一种。

由帧间预测器221和/或帧内预测器222生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT表示当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外，变换处理可以应用于具有相同大小的正方形像素块，或者可以应用于具有可变大小而非正方形的块。

量化器233可以对变换系数进行量化，并且将它们发送给熵编码器240，并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块类型量化变换系数重新布置为一维向量形式，并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行各种编码方法，诸如，例如指数哥伦布(Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器240可以对除了量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)一起或分开地进行编码。能够以比特流的形式以NAL(网络抽象层)为单位发送或存储编码信息(例如，编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)之类的各种参数集的信息。另外，视频/图像信息还可包括一般约束信息。稍后描述的发信号通知/发送的信息和/或语法元素可以通过编码过程被编码并且被包括在比特流中。比特流可以通过网络发送，或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为编码设备200的内部/外部元件，并且可替选地，发送器可以包括在熵编码器240中。

从量化器233输出的量化变换系数可以用于生成预测信号。例如，可以通过对通过解量化器234和逆变换器235的量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250可以通过将重构残差信号添加到从预测器220输出的预测信号来生成重构信号(重构图片、重构块、重构样本或重构样本阵列)。当不存在目标处理块的残差时(例如，其中应用跳过模式的情况)，预测块可以用作重构块。所生成的重构信号可以用于当前图片内的下一目标处理块的帧内预测，或者可以通过如下所述的滤波用于对下一图片进行帧间预测。

此外，在图片编码和/或重构期间，可以应用亮度映射与色度缩放(LMCS)。

滤波器260可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器260可以通过对重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器270(具体地，存储器270的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种信息，并且将生成的信息发送给熵编码器240，如稍后在各种滤波方法的描述中所述。与滤波有关的信息可以由熵编码器240编码并且以比特流的形式输出。

发送给存储器270的修改后的重构图片可以用作帧间预测器221中的参照图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测不匹配，并且可以提高编码效率。

存储器270的DPB可以存储用作帧间预测器221中的参照图片的修改后的重构图片。存储器270可以存储从中推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器221，并且用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且可以将重构样本传送给帧内预测器222。

此外，根据本公开的图像/视频编码可以包括基于多层的图像/视频编码。基于多层的图像/视频编码可以包括可缩放编码。基于多层的编码或可缩放编码可以处理各个层的输入信号。输入信号(输入图像/图片)可以依赖于层而在分辨率、帧速率、比特深度、色彩格式、纵横比和视图中的至少一者上不同。在该情况下，可以通过使用层之间的差(即，基于可缩放性)在层之间执行预测来减少信息的重复传输/处理并且提高压缩效率。

图3是根据本公开的实施方式的执行视频/图像信号的基于多层的编码的编码设备的框图。图3的编码设备可以包括图2的编码设备。在图3中，省略了图像分割器和加法器。然而，编码设备可以包括图像分割器和加法器。在这种情况下，可以以层为单位来包括图像分割器和加法器。本公开主要描述基于多层的预测。除此之外的描述可以参考参照图2给出的描述。

为了便于描述，图3的示例假设由两个层组成的多层结构。然而，本公开的实施方式不限于特定示例，并且应注意，应用本公开的实施方式的多层结构可以包括两个或更多个层。

参照图3，编码设备300包括用于层1的编码器300-1和用于层0的编码器300-0。

层0可以为基础层、参考层或较低层；层1可以为增强层、当前层或较高层。

层1的编码器300-1包括预测器320-1、残差处理器330-1、滤波器360-1、存储器370-1、熵编码器340-1和复用器(MUX)370。MUX可以被包括作为外部组件。

层0的编码器200-0包括预测器320-0、残差处理器330-0、滤波器360-0、存储器370-0和熵编码器340-0。

预测器320-0、320-1可以基于如上所述的各种预测技术对输入图像执行预测。例如，预测器320-0、320-1可以执行帧间预测和帧内预测。预测器320-0、320-1可以以预定处理单位来执行预测。预测单位可以是编码单元(CU)或变换单元(TU)。可以根据预测结果生成预测块(包括预测样本)，并且残差处理器可以基于预测块得出残差块(包括残差样本)。

通过帧间预测，可以通过基于关于当前图片的前一图片和/或后续图片中的至少一者的信息执行预测来生成预测块。通过帧内预测，可以通过基于当前图片内的邻近样本执行预测来生成预测块。

上文描述的各种预测模式方法可以用于帧间预测模式或方法。帧间预测可以选择相对于待预测的当前块的参考图片和参考图片内的与当前块相关的参考块。预测器320-0、320-1可以基于参考块生成预测块。

此外，预测器320-1可以使用层0的信息对层1执行预测。在本公开中，为了便于描述，使用另一层的信息预测当前层的信息的方法被称作层间预测。

基于另一层的信息预测的当前层的信息(即，通过层间预测来预测)包括纹理、运动信息、单元信息和预定参数(例如，滤波参数)中的至少一者。

此外，用于当前层的预测(即，用于层间预测)的另一层的信息可以包括纹理、运动信息、单元信息和预定参数(例如，滤波参数)中的至少一者。

在层间预测中，当前块可以为当前层(例如，层1)的当前图片内的块，并且可以为待编码的目标块。参考块可以为用于当前块的预测而参考的层(参考层，例如，层0)中的、与当前块所属的图片(当前图片)属于同一存取单元(AU)的图片(参考图片)内的块，并且可以为对应于当前块的块。这里，存取单元可以为包括与来自不同层和DPB的相同时间输出相关的编码图片的一组图片单元(PU)。图片单元可以为根据特定分类规则彼此相关、按解码顺序连续并且含有仅一个编码图片的一组NAL单元。编码后的视频序列(CVS)可以为一组AU。

层间预测的一个示例为使用参考层的运动信息预测当前层的运动信息的层间运动预测。根据层间运动预测，可以基于参考块的运动信息来预测当前块的运动信息。换言之，在基于待稍后描述的帧间预测模式得出运动信息时，可以使用层间参考块而非时间邻近块的运动信息来得出运动信息候选。

当应用层间运动预测时，预测器320-1可以缩放并使用参考层的参考块(即，层间参考块)运动信息。

在层间预测的另一示例中，层间纹理预测可以使用重构的参考块的纹理作为当前块的预测值。在这种情况下，预测器320-1可以通过上采样来缩放参考块的纹理。层间纹理预测可以被称作层间(重构)样本预测或简单地称为层间预测。

在层间参数预测(层间预测的又一示例)中，可以在当前层中再使用从参考层得出的参数，或可以基于参考层中使用的参数得出当前层的参数。

在层间残差预测(层间预测的再一示例)中，可以使用另一层的残差信息来预测当前层的残差，并且可以基于预测残差执行当前块的预测。

在层间差分预测(层间预测的再一示例)中，可以使用通过对当前层的重构图片以及参考层的重构图片进行上采样或下采样而获得的图像之间的差来执行对当前块的预测。

在层间语法预测(层间预测的再一示例)中，可以使用参考层的语法信息来预测或生成当前块的纹理。在这种情况下，所参考的参考层的语法信息可以包括关于帧内预测模式和运动信息的信息。

当预测特定块时，使用层间预测的多个预测方法可以使用多个层

这里，作为层间预测的示例，已描述了层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残差预测、层间差分预测以及层间语法预测；然而，适用于本公开的层间预测不限于上文的示例。

例如，层间预测可以被应用为当前层的帧间预测的扩展。换言之，可以通过将从参考层得出的参考图片包括在用于当前块的帧间预测而可以参考的参考图片中来执行当前块的帧间预测。

在这种情况下，可以将层间参考图片包括在当前块的参考图片列表中。使用层间参考图片，预测器320-1可以对当前块执行帧间预测。

这里，层间参考图片可以为通过对参考层的重构图片进行采样以对应于当前层而构造的参考图片。因此，当参考层的重构图片对应于当前层的图片时，参考层的重构图片可以在不经采样的情况下用作层间参考图片。例如，当参考层的重构图片中的样本的宽度和高度与当前层的重构图片中的样本的宽度和高度相同时；并且参考层的图片的左上方、右上方、左下方和右下方与当前层的图片的左上方、右上方、左下方和右下方之间的偏移是0时，参考层的重构图片可以在不重新采样的情况下用作当前层的层间参考图片。

另外，用于得出层间参考图片的参考层的重构图片可以为与待编码的当前图片属于同一AU的图片。

当通过在参考图片列表中包括层间参考图片来执行当前块的帧间预测时，层间参考图片在参考图片列表L0和L1内的位置可以彼此不同。例如，在参考图片列表L0的情况下，层间参考图片可以位于当前图片之前的短期参考图片之后，并且在参考图片列表L1的情况下，层间参考图片可以位于参考图片列表的末尾。

这里，参考图片列表L0为用于P切片的帧间预测的参考图片列表或在B切片的帧间预测中用作第一参考图片列表的参考图片列表。参考图片列表L1是用于B切片的帧间预测的第二参考图片列表。

因此，参考图片列表L0可以以当前图片之前的短期参考图片、层间参考图片、当前图片之后的短期参考图片和长期参考图片的顺序组成。参考图片列表L1可以以当前图片之后的短期参考图片、当前图片之前的短期参考图片、长期参考图片和层间参考图片的顺序组成。

此时，预测切片(P切片)是在其上执行帧内预测或使用每预测块多达一个运动向量和参考图片索引来执行帧间预测的切片。双预测切片(B切片)是在其上执行帧内预测或使用每预测块多达两个运动向量和参考图片索引来执行预测的切片。在这方面，帧内切片(I切片)是仅应用帧内预测的切片。

另外，当基于包括层间参考图片的参考图片列表执行当前块的帧间预测时，参考图片列表可以包括从多个层得出的多个层间参考图片。

当参考图片列表包括多个层间参考图片时，层间参考图片可以交叉布置于参考图片列表L0和L1内。例如，假设用于当前块的帧间预测的参考图片列表中包括两个层间参考图片(层间参考图片ILRP_i以及层间参考图片ILRP_j)。在这种情况下，在参考图片列表L0中，ILRP_i可以位于当前图片之前的短期参考图片之后，并且ILRP_j可以位于列表的末尾。而并且，在参考图片列表L1中，ILRP_i可以位于列表的末尾，并且ILRP_j可以位于当前图片之后的短期参考图片之后。

在这种情况下，参考图片列表L0可以以当前图片之前的短期参考图片、层间参考图片ILRP_i、当前图片之后的短期参考图片、长期参考图片和层间参考图片ILRP_j的顺序组成。参考图片列表L1可以以当前图片之后的短期参考图片、层间参考图片ILRP_j、当前图片之前的短期参考图片、长期参考图片和层间参考图片ILRP_i的顺序组成。

另外，两个层间参考图片中的一者可以为从与分辨率相关的可缩放层得出的层间参考图片，并且另一者可以为从提供不同视图的层得出的层间参考图片。在这种情况下，例如，假设ILRP_i是从提供不同分辨率的层得出的层间参考图片，并且ILRP_j是从提供不同视图的层得出的层间参考图片。接着，在仅支持除视图外的可缩放性的可缩放视频编码的情况下，参考图片列表L0可以以当前图片之前的短期参考图片、层间参考图片ILRP_i、当前图片之后的短期参考图片以及长期参考图片的顺序组成。另一方面，参考图片列表L1可以以当前图片之后的短期参考图片、当前图片之前的短期参考图片、长期参考图片以及层间参考图片ILRP_j的顺序组成。

此外，对于层间预测，层间参考图片的信息可以由仅样本值、仅运动信息(运动向量)或样本值和运动信息两者组成。当参考图片索引指示层间参考图片时，预测器320-1根据从编码设备接收的信息仅使用层间参考图片的样本值、层间参考图片的运动信息(运动向量)或层间参考图片的样本值和运动信息两者。

当仅使用层间参考图片的样本值时，预测器320-1可以将由层间参考图片中的运动向量指定的块的样本得出为当前块的预测样本。在不考虑视图的可缩放视频编码的情况下，可以将使用层间参考图片的帧间预测(层间预测)中的运动向量设定为固定值(例如，0)。

当仅使用层间参考图片的运动信息时，预测器320-1可以使用层间参考图片中指定的运动向量作为用于得出当前块的运动向量的运动向量预测子。另外，预测器320-1可以使用层间参考图片中指定的运动向量作为当前块的运动向量。

当使用层间参考图片的样本和运动信息两者时，预测器320-1可以使用层间参考图片中的与当前块相关的样本和在层间参考图片中指定的运动信息(运动向量)来预测当前块。

当应用层间预测时，编码设备可以向解码设备发送指示参考图片列表内的层间参考图片的参考索引，并且还向解码设备发送指定使用来自层间参考图片的哪些信息(样本信息、运动信息或样本信息和运动信息)的信息(即，指定与两个层之间的层间预测相关的依赖性的依赖性类型的信息)。

图4是例示了可以应用本公开的实施方式的视频/图像解码设备的配置的示意图。

参照图4，解码设备400可以包括熵解码器410、残差处理器420、预测器430、加法器440、滤波器450、存储器460。预测器430可以包括帧间预测器432和帧内预测器431。残差处理器420可以包括解量化器421和逆变换器422。根据实施方式，熵解码器410、残差处理器420、预测器430、加法器440和滤波器450可以由硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器460可以包括解码图片缓冲器(DPB)，或者可以由数字存储介质构成。硬件组件还可以包括存储器460作为内部/外部组件。

当输入包括视频/图像信息的比特流时，解码设备400可以与在图2的编码设备中处理视频/图像信息的处理相对应地重构图像。例如，解码设备400可以基于从比特流获得的块分割相关信息来推导单元/块。解码设备400可以使用在编码设备中应用的处理器来执行解码。因此，解码的处理器可以是例如编码单元，并且可以根据四叉树结构、二叉树结构和/或三叉树结构，从编码树单元或最大编码单元对编码单元进行分割。可以从编码单元推导一个或更多个变换单元。可以通过再现装置来再现通过解码设备400解码并输出的重构图像信号。

解码设备400可以接收以比特流形式从图2的编码设备输出的信号，并且可以通过熵解码器410对接收到的信号进行解码。例如，熵解码器410可以解析比特流，以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)之类的各种参数集的信息。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对图片进行解码。本文档中稍后描述的发信号通知的/接收的信息和/或语法元素可以通过解码过程被解码，并从比特流中获取。例如，熵解码器410基于诸如指数哥伦布编码、CAVLC或CABAC之类的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息、解码目标块的解码信息或在先前级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测bin的出现概率来对该bin进行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，在确定上下文模型之后，CABAC熵解码方法可以通过将经解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器410解码的信息之中与预测有关的信息可以提供给预测器(430)，并且余在熵解码器410中对其执行了熵解码的残差值相关的信息(也就是说，量化变换系数和相关参数信息)可以被输入到解量化器(421)。另外，由熵解码器410解码的信息之中关于滤波的信息可以提供给滤波器450。此外，用于接收从编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备400的内部/外部元件，或者接收器可以是熵解码器410的组件。此外，根据本文档的解码设备可以称为视频/图像/图片解码设备，并且解码设备可以分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器410，并且样本解码器可以包括解量化器421、逆变换器422、加法器440、滤波器450和存储器460中的至少一个。

解量化器421可以对量化变换系数进行解量化并且输出变换系数。解量化器421能够以二维块的形式重新布置量化变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序来执行重新布置。解量化器421可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且获得变换系数。

逆变换器422对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。

预测器可以对当前块执行预测，并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器410输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且可以确定具体的帧内/帧间预测模式。

预测器可以基于稍后要描述的各种预测方法来生成预测信号。例如，预测器可以对一个块的预测应用帧内预测或帧间预测，并且同时应用帧内预测和帧间预测。后一操作可以被称为组合帧间预测和帧内预测(CIIP)。此外，预测器可以执行帧内块复制(IBC)以预测块。帧内块复制可以用于游戏的图像/视频内容编码(例如，屏幕内容编码(SCC))。IBC基本上在当前图片中执行预测，但是可以类似于帧间预测来执行IBC，因为在当前图片中推导参考块。换句话说，IBC可以使用本公开中所描述的帧间预测技术中的至少一中。

帧内预测器431可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近，或者可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器431可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器432可以基于参照图片上的由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中发送的运动信息的量，可以基于邻近块和当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参照图片中的时间邻近块。例如，帧间预测器432可以基于邻近块来配置运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动向量和/或参照图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。

加法器440可以通过将所获得的残差信号与从预测器430输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差(例如当应用跳过模式时)，则可以将预测块用作重构块。

加法器440可以称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测，可以通过如下所述的滤波输出，或者可以用于下一图片的帧间预测。

此外，在图片解码过程中可以应用亮度映射与色度缩放(LMCS)。

滤波器450可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器450可以通过对重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器460(具体地，存储器460的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。

存储器460的DPB中存储的(修改后的)重构图片可以用作帧间预测器432中的参照图片。存储器460可以存储从中推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器432，以作为空间邻近块的运动信息或时间邻近块的运动信息来利用。存储器460可以存储当前图片中的重构块的重构样本，并且可以将重构样本传送给帧内预测器431。

在本公开中，基于解码设备400的预测器430、解量化器421、逆变换器422和滤波器450描述的实施方式可以被等同地应用或分别对应于编码设备200的预测器220、解量化器234、逆变换器235和滤波器260。

图5是根据本公开的实施方式的执行视频/图像信号的基于多层的解码的解码设备的框图。图5的解码设备可以包括图4的解码设备。在图5中，重新排列单元可以被省略或者可以被包括在解量化器中。本图主要描述基于多层的预测。除此之外的描述可以参考参照图4给出的描述。

为了便于描述，图5的示例假设由两个层组成的多层结构。然而，本公开的实施方式不限于特定示例，并且应注意，应用本公开的实施方式的多层结构可以包括两个或更多个层。

参照图5，解码设备500包括用于层1的解码器500-1和用于层0的解码器500-0。

层1的解码器500-1可以包括熵解码器510-1、残差处理器520-1、预测器530-1、加法器540-1、滤波器550-1以及存储器560-1。

层0的解码器500-0可以包括熵解码器510-0、残差处理器520-0、预测器530-0、加法器540-0、滤波器550-0和存储器560-0。

当从编码设备发送包括图像信息的比特流时，解复用器505可以对各个层的信息进行解复用，并且针对各个层将所述信息递送到解码设备。

熵解码器510-1、510-0可以根据编码设备中使用的编码方法来执行解码。例如，当在编码设备中使用CABAC时，熵解码器510-1、510-0还可以基于CABAC执行熵解码。

在用于当前块的预测模式为帧内预测模式时，预测器530-1、530-0可以基于当前图片内的邻近重构样本对当前块执行帧内预测。

当用于当前块的预测模式为帧间预测模式时，预测器530-1、530-0可以基于包括在当前图片之前的图片或当前图片之后的图片中的至少一者中的信息对当前块执行帧间预测。可以检查从编码设备接收的信息，并且可以基于所检查的信息得出帧间预测所需的运动信息的部分或全部。

当跳过模式被应用为帧间预测模式时，可以不从编码设备发送残差，并且可以将预测块用作重构块。

此外，层1的预测器530-1可以仅使用层1内的信息执行帧间预测或帧内预测，或可以使用另一层(层0)的信息执行层间预测。

使用不同层的信息预测(即，通过层间预测来预测)的当前层的信息包括纹理、运动信息、单元信息和预定参数(例如，滤波参数)中的至少一者。

此外，用于当前层的预测(即，用于层间预测)的不同层的信息可以包括纹理、运动信息、单元信息和预定参数(例如，滤波参数)中的至少一者。

在层间预测中，当前块可以为当前层(例如，层1)的当前图片内的块，并且可以为待解码的目标块。参考块可以为用于当前块的预测而参考的层(参考层，例如，层0)中的、与当前块所属的图片(当前图片)属于同一存取单元(AU)的图片(参考图片)内的块，并且可以为对应于当前块的块。

层间预测的一个示例是使用参考层的运动信息预测当前层的运动信息的层间运动预测。根据层间运动预测，可以基于参考块的运动信息预测当前块的运动信息。换言之，在基于稍后待描述的帧间预测模式得出运动信息时，可以使用层间参考块而非时间邻近块的运动信息来得出运动信息候选。

当应用层间运动预测时，预测器530-1可以缩放并使用参考层的参考块(即，层间参考块)运动信息。

在层间预测的另一示例中，层间纹理预测可以使用重构的参考块的纹理作为当前块的预测值。在这种情况下，预测器530-1可以通过上采样来缩放参考块的纹理。层间纹理预测可以称为层间(重构)样本预测或简单称为层间预测。

在层间参数预测(层间预测的又一示例)中，可以在当前层中再使用从参考层得出的参数，或可以基于参考层中使用的参数得出当前层的参数。

在层间残差预测(层间预测的再一示例)中，可以使用另一层的残差信息来预测当前层的残差，并且可以基于预测残差执行当前块的预测。

在层间差分预测(层间预测的再一示例)中，可以使用通过对当前层的重构图片以及参考层的重构图片进行上采样或下采样而获得的图像之间的差来执行对当前块的预测。

在层间语法预测(层间预测的再一示例)中，可以使用参考层的语法信息来预测或生成当前块的纹理。在这种情况下，参考的参考层的语法信息可以包括关于帧内预测模式和运动信息的信息。

当预测特定块时，使用层间预测的多个预测方法可以使用多个层

这里，作为层间预测的示例，已描述了层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残差预测、层间差分预测以及层间语法预测；然而，适用于本公开的层间预测不限于上文的示例。

例如，层间预测可以应用为当前层的帧间预测的扩展。换言之，可以通过将从参考层得出的参考图片包括在用于当前块的帧间预测而可以参考的参考图片中来执行当前块的帧间预测。

当从编码设备接收的参考图片索引或从邻近块得出的参考图片索引指示参考图片列表内的层间参考图片时，预测器530-1可以使用层间参考图片来执行层间预测。例如，当参考图片索引指示层间参考图片时，预测器530-1可以得出由层间参考图片中的运动向量指定的区域的样本值，作为当前块的预测块。

在这种情况下，层间参考图片可以被包括在当前块的参考图片列表中。使用层间参考图片，预测器530-1可以对当前块执行帧间预测。

这里，层间参考图片可以为通过对参考层的重构图片进行采样以对应于当前层而构造的参考图片。因此，当参考层的重构图片对应于当前层的图片时，参考层的重构图片可以在不采样的情况下用作层间参考图片。例如，当参考层的重构图片中的样本的宽度和高度与当前层的重构图片中的样本的宽度和高度相同时；并且参考层的图片的左上方、右上方、左下方和右下方与当前层的图片的左上方、右上方、左下方和右下方之间的偏移是0时，参考层的重构图片可以在不重新采样的情况下用作当前层的层间参考图片。

另外，用于得出层间参考图片的参考层的重构图片可以为与待编码的当前图片属于同一AU的图片。当通过在参考图片列表中包括层间参考图片来执行当前块的帧间预测时，层间参考图片在参考图片列表L0和L1内的位置可以彼此不同。例如，在参考图片列表L0的情况下，层间参考图片可以位于当前图片之前的短期参考图片之后，并且在参考图片列表L1的情况下，层间参考图片可以位于参考图片列表的末尾。

这里，参考图片列表L0为用于P切片的帧间预测的参考图片列表或在B切片的帧间预测中用作第一参考图片列表的参考图片列表。参考图片列表L1是用于B切片的帧间预测的第二参考图片列表。

因此，参考图片列表L0可以以当前图片之前的短期参考图片、层间参考图片、当前图片之后的短期参考图片和长期参考图片的顺序组成。参考图片列表L1可以以当前图片之后的短期参考图片、当前图片之前的短期参考图片、长期参考图片和层间参考图片的顺序组成。

此时，预测切片(P切片)是在其上执行帧内预测或使用每预测块多达一个运动向量和参考图片索引来执行帧间预测的切片。双预测切片(B切片)是在其上执行帧内预测或使用每预测块多达两个运动向量和参考图片索引来执行预测的切片。在这方面，帧内切片(I切片)是仅应用帧内预测的切片。

另外，当基于包括层间参考图片的参考图片列表执行当前块的帧间预测时，参考图片列表可以包括从多个层得出的多个层间参考图片。

当参考图片列表包括多个层间参考图片时，层间参考图片可以交叉布置于参考图片列表L0和L1内。例如，假设两个层间参考图片(层间参考图片ILRP_i以及层间参考图片ILRP_j)包括在用于当前块的帧间预测的参考图片列表中。在这种情况下，在参考图片列表L0中，ILRP_i可以位于当前图片之前的短期参考图片之后，并且ILRP_j可以位于列表的末尾。而并且，在参考图片列表L1中，ILRP_i可以位于列表的末尾，并且ILRP_j可以位于当前图片之后的短期参考图片之后。

在这种情况下，参考图片列表L0可以以当前图片之前的短期参考图片、层间参考图片ILRP_i、当前图片之后的短期参考图片、长期参考图片和层间参考图片ILRP_j的顺序组成。参考图片列表L1可以以当前图片之后的短期参考图片、层间参考图片ILRP_j、当前图片之前的短期参考图片、长期参考图片和层间参考图片ILRP_i的顺序组成。

另外，两个层间参考图片中的一者可以为从与分辨率相关的可缩放层得出的层间参考图片，并且另一者可以为从提供不同视图的层得出的层间参考图片。在这种情况下，例如，假设ILRP_i是从提供不同分辨率的层得出的层间参考图片，并且ILRP_j是从提供不同视图的层得出的层间参考图片。接着，在仅支持除视图外的可缩放性的可缩放视频编码的情况下，参考图片列表L0可以以当前图片之前的短期参考图片、层间参考图片ILRP_i、当前图片之后的短期参考图片以及长期参考图片的顺序组成。另一方面，参考图片列表L1可以以当前图片之后的短期参考图片、当前图片之前的短期参考图片、长期参考图片以及层间参考图片ILRP_j的顺序组成。

此外，对于层间预测，层间参考图片的信息可以由仅样本值、仅运动信息(运动向量)或样本值和运动信息两者组成。当参考图片索引指示层间参考图片时，预测器530-1根据从编码设备接收的信息仅使用层间参考图片的样本值、层间参考图片的运动信息(运动向量)或层间参考图片的样本值和运动信息两者。

当仅使用层间参考图片的样本值时，预测器530-1可以将由层间参考图片中的运动向量指定的块的样本得出为当前块的预测样本。在不考虑视图的可缩放视频编码的情况下，可以将使用层间参考图片的帧间预测(层间预测)中的运动向量设定为固定值(例如，0)。

当仅使用层间参考图片的运动信息时，预测器530-1可以使用层间参考图片中指定的运动向量作为用于得出当前块的运动向量的运动向量预测子。另外，预测器530-1可以使用层间参考图片中指定的运动向量作为当前块的运动向量。

当使用层间参考图片的样本和运动信息两者时，预测器530-1可以使用层间参考图片中的与当前块相关的样本和在层间参考图片中指定的运动信息(运动向量)来预测当前块。

解码设备可以从编码设备接收指示参考图片列表内的层间参考图片的参考索引，并且基于接收的参考索引执行层间预测。此外，解码设备可以从编码设备接收指定将从层间参考图片使用哪些信息(样本信息、运动信息或样本信息和运动信息两者)的信息，即，指定与两个层之间的层间预测相关的依赖性的依赖性类型的信息。

如上文所描述，在执行视频编码中，执行预测以增强压缩效率。可以通过预测生成包括针对当前块(即，目标编码块)的预测样本的预测块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导。编码设备可以通过向解码设备发信号通知原始块与预测块之间的残差(残差信息)的信息而不是原始块的原始样本值自身来增强图像编码效率。解码设备可以基于残差信息推导包括残差样本的残差块，可以通过将残差块和预测块相加来生成包括重构样本的重构块，并且可以生成包括重构块的重构图片。

可以通过变换和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，可以通过对包括在残差块中的残差样本(残差样本阵列)执行变换过程来推导变换系数，可以通过对变换系数执行量化过程来推导量化变换系数，并且可以(通过比特流)向解码设备发信号通知相关残差信息。在这种情况下，残差信息可以包括诸如量化变换系数的量化参数、值信息、位置信息、变换方案和变换核心的信息。解码设备可以基于残差信息执行解量化/逆变换过程，并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。此外，编码设备可以通过对量化变换系数进行解量化/逆变换来推导残差块用于参考后续图片的帧间预测，并且可以生成重构图片。

在本公开中，可以省略量化/解量化和/或变换/逆变换中的至少一者。当省略量化/解量化时，量化变换系数可以被称为变换系数。当省略变换/逆变换时，变换系数可以被称为系数或残差系数，或仍可以被称为变换系数以统一表述。

在本公开中，量化变换系数和变换系数可以分别被称为变换系数和经缩放的变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)推导变换系数，并且可以通过对变换系数的逆变换(缩放)推导经缩放的变换系数。可以基于经缩放的变换系数的逆变换(变换)推导残差样本。以上描述可以在相同上下文中应用于本公开的其它部分/在本公开的其它部分中表达。

编码/解码设备的预测器可以通过以块为单位执行帧间预测来推导预测样本。帧间预测可以表示通过根据除当前图片之外的图片的数据元素(例如，样本值或运动信息)的方法推导的预测。当将帧间预测应用于当前块时，可以基于由参考图片索引指示的参考图片上的运动向量指定的参考块(参考样本阵列)推导针对当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式中发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。在应用帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或不同。时间邻近块可以被称作诸如并置参考块、并置CU(colCU)等的名称，并且包括时间邻近块的参考图片可以被称作并置图片(colPic)。例如，可以基于当前块的邻近块和指示选择(使用)哪个候选的标志或索引信息来配置运动信息候选项列表，以便于推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式执行帧间预测，并且例如在跳过模式和合并模式的情况下，当前块的运动信息可以与所选邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动向量预测(MVP)模式的情况下，所选邻近块的运动向量可以用作运动向量预测子，并且可以发信号通知运动向量差。在这种情况下，可以通过使用运动向量预测子和运动向量差的总和来推导当前块的运动向量。

运动信息还可以包括包括根据帧间预测类型(L0预测、L1预测、Bi预测等)的L0运动信息和/或L1运动信息。L0方向运动向量可以被称为L0运动向量或MVL0，并且L1方向运动向量可以被称为L1运动向量或MVL1。基于L0运动向量的预测可以被称作L0预测，基于L1运动向量的预测可以被称作L1预测，并且基于L0运动向量和L1运动向量两者的预测可以被称作双向预测。这里，L0运动向量可以指示与参考图片列表L0相关联的运动向量，并且L1运动向量可以指示与参考图片列表L1相关联的运动向量。参考图片列表L0可以包括按输出顺序在当前图片之前的图片作为参考图片，并且参考图片列表L1可以包括按输出顺序在当前图片之后的图片作为参考图片。先前图片可以被称作前向(参考)图片，并且后续图片可以被称作反向(参考)图片。参考图片列表L0还可以包括按输出顺序在当前图片之后的图片作为参考图片。在这种情况下，可以首先在参考图片列表L0中对先前图片进行索引，并且随后可以对后续图片进行索引。参考图片列表L1还可以包括按输出顺序在当前图片之前的图片作为参考图片。在这种情况下，可以首先在参考图片列表L1中对后续图片进行索引，并且随后可以对先前图片进行索引。这里，输出顺序可以与图片顺序计数(POC)顺序相对应。

图6示例性地示出了针对经编码的图像/视频的分层结构。

参照图6，经编码的图像/视频被分成处置图像/视频和其自身的解码过程的视频编码层(VCL)、发送和存储编码信息的子系统以及负责功能并存在于VCL和子系统之间的NAL(网络抽象层)。

在VCL中，生成包括经压缩的图像数据(切片数据)的VCL数据，或者可以生成包括图片参数集(PSP)、序列参数集(SPS)和视频参数集(VPS)或图像解码过程另外需要的补充增强信息(SEI)消息的参数集。

在NAL中，可以通过将报头信息(NAL单元报头)添加到在VCL中生成的原始字节序列有效负载(RBSP)来生成NAL单元。在这种情况下，RBSP是指在VCL中生成的切片数据、参数集、SEI消息等。NAL单元报头可以包括根据包括在对应NAL单元中的RBSP数据指定的NAL单元类型信息。

如图所示，NAL单元可以根据VCL中生成的RBSP被分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像的信息(切片数据)的NAL单元，并且非VCL NAL单元可以意指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。

可以通过根据子系统的数据标准附接报头信息来经由网络发送上述VCL NAL单元和非VCL NAL单元。例如，NAL单元可以被转换为诸如H.266/VVC文件格式、实时传输协议(RTP)、传输流(TS)等的预定标准的数据格式，并且通过各种网络发送。

如上文所述，可以根据包括在对应NAL单元中的RBSP数据结构利用NAL单元类型来指定NAL单元，并且可以在NAL单元报头中存储并发信号通知关于NAL单元类型的信息。

例如，NAL单元可以根据NAL单元是否包括关于图像的信息(切片数据)而分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据包括在VCL NAL单元中的图片的性质和类型分类，并且非VCL NAL单元类型可以根据参数集的类型分类。

以下是根据包括在非VCL NAL单元类型中的参数集的类型指定的NAL单元类型的示例。

-APS(自适应参数集)NAL单元：包括APS的NAL单元的类型

-DPS(解码参数集)NAL单元：包括DPS的NAL单元的类型

-VPS(视频参数集)NAL单元：包括VPS的NAL单元的类型

-SPS(序列参数集)NAL单元：包括SPS的NAL单元的类型

-PPS(图片参数集)NAL单元：包括PPS的NAL单元的类型

-PH(图片报头)NAL单元：包括PH的NAL单元的类型

上述NAL单元类型可以具有针对NAL单元类型的语法信息，并且可以在NAL单元报头中存储并发信号通知语法信息。例如，语法信息可以为nal_unit_type，并且NAL单元类型可以由nal_unit_type值指定。

层可以包括NAL单元。例如，一个层可以包括具有特定层ID的VCL NAL单元和与VCLNAL单元相关的非VCL NAL单元。图片单元(PU)可以包括NAL单元和图片(经编码的图片)。存取单元(AU)可以包括属于不同层的图片单元，并且包括从DPB输出并且与相同时间相关的图片(经编码的图片)。图片单元。

此外，如上文所描述，一个图片可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，还可以将一个图片报头添加到一个图片内的多个切片(切片报头和切片数据集)。图片报头(图片报头语法)可以包括通常适用于图片的信息/参数。在本公开中，切片可以与拼块组混合或替换。此外，在本公开中，切片报头可以与类型组报头混合或替换。

切片报头(切片报头语法、切片报头信息)可以包括可以公共地应用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括可以公共地应用于一个或更多个切片或图片的信息/参数。SPS(SPS语法)可以包括可以公共地应用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括可以公共地应用于多个层的信息/参数。DPS(DPS语法)可以包括可以公共地应用于整个视频的信息/参数。DPS可以包括与编码视频序列(CVS)的级联相关的信息/参数。本文档中的高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法和切片报头语法中的至少一者。

在本公开中，从编码设备被编码并且以比特流的形式发信号通知到解码设备的图像/图像信息不仅包括图片中的分割相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息等，并且包含包括在切片报头中的信息、包括在APS中的信息、包括在PPS中的信息、包括在SPS中的信息和/或包括在VPS中的信息。另外，图像/视频信息还可以包括NAL单元报头信息。

根据本公开的一个实施方式，由解码设备接收的比特流可以包含包括在以下表中的语法信息和/或语义信息。

表1示出图片报头语法的示例。

[表1]

参照表1，图片报头语法可以包括与用于输出/去除经解码的图片的过程相关的语法元素(例如，ph_pic_output_flag)。在一个示例中，比特流可以包括至少一个图片以及ph_pic_output_flag，其值为1，其中，至少一个图片可以包括在输出层中。

表2示出视频参数集(VPS)语法的示例。

[表2]

表3示出关于视频参数集语法的语义的示例。

[表3]

参照表2和/或表3，可以基于VPS推导输出层集(OLS)。这里，OLS可以是与被指定为输出层的一个或更多个层相关的一组层。VPS可以包括在从比特流获得的图像信息中。OLS可以基于VPS内的与多层相关的信息(例如，关于OLS的信息)而推导。OLS内的层的列表的索引可以被称为OLS索引。换句话说，OLS索引可以是OLS内的层的索引。

在一个示例中，可以基于VPS内的至少一个语法元素(例如，vps_max_layers_minus1、vps_each_layer_is_an_ols_flag、vps_ols_mode_idc和/或vps_num_output_layer_sets_minus1)来指定OLS的总数。可以基于VPS内的语法元素(例如，vps_max_layers_minus1)来指定每个CVS内允许的层的最大数目。可以基于VPS内的语法元素(例如，vps_layer_id[i])来指定第i层的层ID。可以基于VPS内的语法元素(例如，vps_ols_output_layer_flag[i][j])来推导OLS，并且可以推导包括在OLS中的输出层。例如，具有层ID为vps_layer_id[i]的层可以基于vps_ols_output_layer_flag[i][j]而被推导为第jOLS的输出层。经解码的CVS可不包括未包括在目标OLS内的层中的层。在一个示例中，可以基于VPS内的语法元素(例如，vps_max_layers_minus1)推导由VPS指定的层的数目，其中层的数目可以意指在参考VPS的每个CVS内允许的层的最大数目。

参照表2和/或3，可以基于VPS来推导子层。子层可以指代时间可缩放比特流的时间可缩放层。子层可以由具有特定值TemporalId的NAL单元组成。在一个示例中，可以基于VPS内的语法元素(例如，vps_max_sublayers_minus1)来推导存在于由VPS指定的层内的时间子层的最大数目。

表4示出存取单元定界符(AUD)语法的示例。

[表4]

表5示出关于AUD语法的语义的示例。

[表5]

表6示出AUD语法的另一示例。

[表6]

表7示出关于AUD语法的语义的另一示例。

[表7]

表8示出一般约束信息语法的示例。

[表8]

表9示出关于一般约束信息语法的语义的示例。

[表9]

在确定用于解码过程的目标OLS索引和最高时间ID的现有方法中，对于每个IRAP和GDR AUD必须存在一个AUD的约束是过于严格的。这是因为当IRAP或GDR AU是待解码的比特流的第一AU时不需要AUD。

确定用于解码过程的目标OLS索引和最高时间ID的现有方法可以仅针对多层比特流而操作。本公开可提供一种确定仅包括单个层的比特流的方法。

确定用于解码过程的目标OLS索引和最高时间ID的现有方法可能过于严格，因为当发信号通知的目标OLS索引和最高时间ID存在并且强制使用外部指定值(外部手段)作为第二选择时使用该方法。本公开可以提供解决现有方法中的问题的实施方式。

在确定用于解码过程的目标OLS索引和最高时间ID的现有方法中，基于外部手段的确定方法可以遵循SEI信令。

根据本公开的一个实施方式，可以在特定NAL单元中发信号通知关于目标OLS索引的信息和关于最高时间标识符的信息。特定NAL单元可以被称作解码器参数(DP)NAL单元或操作点信息(OPI)NAL单元。换句话说，下文所描述的特定NAL单元可以用DP NAL单元或OPINAL单元替换。

根据本公开的一个实施方式，特定NAL单元的时间标识符(ID)可以为0。在一个示例中，特定NAL单元的层标识符(ID)可以低于或等于存在于CVS或比特流(或子比特流)中的最低层的ID。在另一示例中，特定NAL单元的层ID可以与存在于CVS或比特流(或子比特流)中的最低层的ID相同。在另一示例中，特定NAL单元的层ID可以为存在于CVS或比特流(或子比特流)中的层的层ID中的一者。换句话说，特定NAL单元的层ID可以与存在于CVS或比特流(或子比特流)中的层中的一者的层ID相同。在另一示例中，特定NAL单元的层ID可以等于0。在另一示例中，特定NAL单元的层ID可以不受限制，并且可以假设有效层ID的任何值。

根据本公开的一个实施方式，除非存在针对存取单元的存取单元标识符(存取单元定界符AUD)，否则特定NAL单元可以为存取单元(AU)的第一NAL单元。换句话说，AUD可以为第一NAL单元，接着是特定NAL单元。也就是说，特定单元可以为AU内的AUD NAL单元之后的第一NAL单元。

根据本公开的一个实施方式，特定NAL单元可以不存在于每个帧内随机存取点存取单元(IRAP AU)或逐渐解码刷新存取单元(GDR AU)。在另一示例中，特定NAL单元可以存在于(属于)IRAP AU或GDR AU内。

根据本公开的一个实施方式，可以不需要特定NAL单元，但特定NAL单元可以存在于包括至少一个IRAP图片或GDR图片的AU中。

根据本公开的一个实施方式，可以不需要特定NAL单元，但特定NAL单元可以存在于包括至少一个IRAP切片或GDR切片的AU中。

根据本公开的一个实施方式，对于子比特流提取，比特流提取器可以与子比特流提取过程的输入(例如，targetOlsIdx和/或tIdTarget)相同的方式更新输出比特流的IRAPAU或GDR AU的特定NAL单元中的目标OLS索引和/或最高时间ID。在另一示例中，比特流提取器可以去除包括关于目标OLS索引的信息和/或关于最高时间标识符的信息的特定NAL单元。换句话说，子比特流提取过程可以包括去除包含关于目标OLS索引的信息和关于最高时间标识符的信息的特定NAL单元的步骤。

根据本公开的一个实施方式，对于子比特流提取，比特流提取器可以将特定NAL单元添加到不包括特定NAL单元的IRAP AU和/或GDR AU，并且特定NAL单元内的目标OLS索引和/或最高时间ID可以与子比特流提取过程的输入(例如，targetOlsIdx和tIdTarget)相同。

根据本公开的一个实施方式，在存在特定NAL单元的情况下，特定NAL单元可以包括关于目标层ID和最高时间ID两者的信息。在一个示例中，不希望本公开从不同源(例如，来自特定NAL单元的目标OLS索引和来自外部装手段置的最高时间ID)提供关于目标OLS索引和最高时间ID的信息。

根据本公开的一个实施方式，可以定义用于指定是否存在目标OLS索引的标志。例如，当CVS/比特流包括两个或更多个层时，标志不应等于0，这意指目标OLS索引必须存在于特定NAL单元中。在一个示例中，如果CVS/比特流仅包括一个层，那么标志可以等于0或1。

根据本公开的一个实施方式，在存在VPS的情况下(换句话说，当sps_video_parameter_set_id的值大于0时)，发信号通知给特定NAL单元的目标OLS索引的值必须是准确的。换句话说，用信号通知给特定NAL单元的目标OLS索引应为包括在仅包括存在于CVS/比特流中的层的VPS中的OLS索引。例如，假设特定NAL单元可以存在于包括至少一个IRAP/GDR切片(或图片)的存取单元中。在所述情况下，以上约束条件仅适用于IRAP/GDR存取单元的特定NAL单元。

根据本公开的一个实施方式，在不存在VPS的情况下(换句话说，当sps_video_parameter_set_id的值为0时)，可以忽略特定NAL单元的目标OLS索引值。

根据本公开的一个实施方式，在特定NAL单元中存在目标OLS索引的情况下，可以仅在不存在外部指定值(通过外部手段确定的值)时将TargetOlsIdx的值设置为与基于特定NAL单元发信号通知的目标OLS索引相同。换句话说，为了推导目标OLS索引，外部手段可以比关于目标OLS索引的信息优先地使用。通过外部手段提供的值可以具有比通过特定NAL单元提供的值高的优先级。

基于下表的实施方式可以包括根据本公开的实施方式。

下表描述根据本公开的一个实施方式的基于特定NAL单元的语法表和与语法表相关的语义。在下表中，语法元素dp_htid_plus1可以被称作关于最高时间(子层)标识符的信息，并且dp_ols_idx可以被称作关于目标OLS索引的信息。

[表10]

[表11]

下表提供了涉及在解码过程中设置最高时间(子层)标识符的描述。

[表12]

下表提供与子比特流提取过程内的特定NAL单元相关的描述并且设置目标OLS索引/最高时间标识符。

[表13]

下表描述根据本公开的一个实施方式的基于特定NAL单元的语法表和与语法表相关的语义。在下表中，语法元素dp_htid_plus1可以被称为关于最高时间(子层)标识符的信息，并且dp_ols_idx可以被称为关于目标OLS索引的信息。

[表14]

[表15]

下表提供与子比特流提取过程内的特定NAL单元相关的描述。

[表16]

根据与表一起描述的本公开的实施方式，可以执行基于多层的编码。基于多层的编码可以基于目标输出层来输出经解码的图片，并且例如，可以基于目标OLS推导目标输出层。可以基于外部手段或发信号通知的信息来设置针对目标OLS的目标OLS索引。根据本公开的一个实施方式，用于设置目标OLS索引的发信号通知的信息可以包括在特定NAL单元中。特定NAL单元可以被称作DP NAL单元或OPI NAL单元。

图7例示了根据本公开的一个实施方式的视频/图像解码方法的一个示例。

图7中公开的方法可以由图4或图5中公开的解码设备执行。具体地，例如，图7的S700和/或S710步骤可以由图5的解码设备的解复用器505执行，S720和/或S730步骤可以由图5的解码设备的解码器(500-0或500-1)执行，并且图7中公开的方法可以包括本公开的一个实施方式。

参照图7，解码设备可以接收/获得视频/图像信息S700。视频/图像信息可以包括残差信息、预测相关信息、参考图片相关信息、子图片相关信息、环路内滤波相关信息和/或虚拟边界相关信息(和/或附加虚拟边界相关信息)。解码设备可以通过比特流接收/获得图像/视频信息。

根据本公开的一个实施方式，图像/视频信息可以包括各种信息。例如，图像/视频信息可以包括上表1至表16中的至少一个中公开的信息。

解码设备可以基于比特流推导输出层集(OLS)。例如，可以基于从比特流获得的VPS来推导OLS。例如，包括在OLS中的至少一个层和OLS的数目可以可基于VPS来确定/指定。

解码设备可以针对OLS设置目标OLS索引。例如，除了包括在由目标OLS索引指示的OLS中的层之外的层可以不包括在用于解码的CVS中。

解码设备可以基于包括在与目标OLS索引相关的目标OLS中的层对至少一个图片进行解码S710。例如，包括在与目标OLS索引相关的目标OLS中的层可以包括NA单元，不去解码设备可以基于NAL单元对至少一个图片进行解码。作为一个示例，NAL单元可以包括预测相关信息、滤波相关信息和残差相关信息。

解码设备可以输出经解码的至少一个图片S720。解码设备可以根据(预定的)输出顺序来输出经解码的图片。解码设备可以针对每个层输出每个经解码的图片。

在一个实施方式中，解码方法包括以下步骤：基于子比特流获得图像信息；对进行解码属于包括在针对目标输出集(OLS)索引的目标OLS中的层并且与所述最高时间标识符相关的图片；以及输出经解码的图片。可以基于比特流的子比特流提取过程推导子比特流。子比特流提取过程的输入可以包括与目标OLS索引相关的值和与最高时间标识符相关的值。

在一个实施方式中，子比特流提取过程可以包括去除包括关于目标OLS索引的信息和关于最高时间标识符的信息的特定网络抽象层(NAL)单元。

在一个实施方式中，子比特流可以包括包含关于目标OLS索引的信息的特定网络抽象层(NAL)单元。可以基于子比特流提取过程的输入来设置关于目标OLS索引的信息的值。

在一个实施方式中，子比特流可以包括包含关于最高时间标识符的信息的特定网络抽象层(NAL)单元。可以基于子比特流提取过程的输入来设置关于最高时间标识符的信息的值。

在一个实施方式中，图像信息可以包括特定网络抽象层(NAL)单元。例如，可以基于特定NAL单元来推导关于目标OLS索引的信息和关于最高时间标识符的信息。

在一个实施方式中，特定NAL单元的时间标识符可以为0。

在一个实施方式中，特定NAL单元的层标识符可以不受限制。换句话说，特定NAL单元的层标识符可以具有任何值。

在一个实施方式中，特定NAL单元可以属于帧内随机存取点存取单元(IRAP AU)或逐渐解码刷新存取单元(GDR AU)。

在一个实施方式中，图像信息可以包括AUD NAL单元和包括特定NAL单元的AU。在一个示例中，特定NAL单元可以是在AU内的AUD NAL单元之后的第一NAL单元。在另一示例中，特定NAL单元可以是AU内的第一NAL单元。

在一个实施方式中，可以基于从外部手段或特定NAL单元获得的OLS索引信息来设置目标OLS索引。例如，外部手段可以比OLS索引信息优先地用于设置目标OLS索引。这里，外部手段可以不包括在通过编码设备生成的比特流中而是可以基于控制协议从比特流外部发送。外部手段可以不通过编码器生成，而是可以(例如)在播放器中或在使用解码设备的解码控制逻辑中生成。解码设备可以具有用于输入外部手段(例如，各种变量值)的接口。例如，外部手段可以是在视频播放器和解码器之间的特定应用域中实现的应用编程接口(API)。解码设备可以基于外部手段推导开始解码过程所必需的信息，从而确保每一应用域中的灵活性。所属领域的技术人员应清楚，可以利用诸如外部变量/值、外部输入变量/值、外部提供的变量/值、外部指定的变量/值、指定给外部的变量/值和在标准规范中不提供的变量/值的各种术语来代替外部手段。

在一个实施方式中，基于外部手段的情况，可以基于外部手段来设置目标OLS索引。基于外部手段不可用的情况，可以基于OLS索引信息来设置目标OLS索引。

在一个实施方式中，该方法还可以包括设置用于标识最高时间子层的最高时间识别符(ID)的步骤。可以基于最高时间ID对至少一个图片进行解码。可以基于通过外部设备或特定NAL单元获得的最高时间ID相关信息来设置最高时间ID。外部手段可以比最高时间ID相关信息优先地用于设置最高时间ID。

在一个实施方式中，可以基于具有时间ID的时间子层来对至少一个图片进行解码。例如，时间ID的值可以小于最高时间ID。

在一个实施方式中，从比特流获得的图像信息可以包括视频参数集(VPS)。例如，可以基于VPS来推导OLS。

在一个实施方式中，解码设备可以包括：比特流提取器，比特流提取器基于子比特流提取过程从比特流推导子比特流，并且从子比特流获得图像信息；以及解码器，解码器对属于包括在目标输出层集(OLS)中的层并且与最高时间标识符相关的图片进行解码并且输出经解码的图片。子比特流提取过程的输入可以包括与目标OLS索引相关的值和与最高时间ID相关的值。

当存在当前块的残差样本时，解码设备可以接收针对当前块的关于残差的信息。关于残差的信息可以包括关于残差样本的变换系数。基于残差信息，解码设备可以推导当前块的残差样本(或残差样本阵列)。具体地，解码设备可以基于残差信息推导量化变换系数。量化变换系数可以具有基于系数扫描顺序的一维向量形式。解码设备可以基于针对量化变换系数的解量化过程推导变换系数。解码设备可以基于变换系数推导残差样本。

解码设备可以基于预测样本和残差样本生成重构样本，并且基于重构样本推导重构块或重构图片。具体地，解码设备可以基于预测样本与残差样本的和来生成重构样本。之后，如上所述，解码设备可以对重构图片应用诸如去块滤波和/或SAO过程的环路内滤波过程，以根据需要提高主观/客观图像质量。

例如，解码设备可以通过对比特流或经编码的信息进行解码来获得包括上文所描述的信息(或语法元素)的全部或部分的图像信息。此外，比特流或经编码的信息可以存储在计算机可读存储介质中，并且可以使得解码方法被执行。

在上述实施方式中，基于流程图借助于一系列步骤或块来所述方法，但本公开不限于步骤的顺序，并且特定步骤可以按与上文所描述的顺序或步骤不同的顺序或步骤执行，或与另一步骤同时执行。此外，所属领域的技术人员可以理解，流程图中所示的步骤并非排他性的，并且可以并入另一步骤或可以去除流程图的一个或更多个步骤而不影响本公开的范围。

根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码设备及/或解码设备可以包括在诸如TV、计算机、智能电话、机顶盒、显示装置等的用于图像处理的装置中。

当通过软件实现本公开中的实施方式时，上述方法可以实现为执行上述功能的模块(过程、功能等)。模块可以存储在存储器中并且可以由处理器执行。存储器可以在处理器内部或外部，并且可以以各种公知的方式连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。也就是说，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每个附图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，可以将用于实现的信息(例如，关于指令的信息)或算法存储在数字存储介质中。

此外，本文档被应用于的解码设备和编码设备可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭电影视频装置、数字电影视频装置、用于监视的摄像头、视频对话装置、诸如视频通信之类的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、过顶(OTT)视频装置、互联网流服务提供装置备、三维(3D)视频装置、虚拟现实(VR)装置、增强现实(AR)装置、视频电话装置、传输装置终端(例如，车辆(包括自主车辆)终端、飞行器终端和船舶终端)以及医疗视频装置中，并且可以用于处理视频信号或数据信号。例如，过顶(OTT)视频装置可以包括游戏控制台、蓝光(Blueray)播放器、互联网接入TV、家庭影院系统、智能电话、平板PC和数字视频记录器(DVR)。

此外，应用本文档的处理方法可以以由计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。具有根据本文档的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有类型的存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网的传输)的形式实现的介质。此外，使用编码方法生成的比特流可以存储在计算机可读记录介质中，或者可以通过有线和无线通信网络发送。

此外，本文档的实施方式可以被实现为使用程序代码的计算机程序产品。根据本文档的实施方式，程序代码可以由计算机执行。程序代码可以存储在计算机可读的载体上。

图8是例示根据本公开的一个实施方式的包括解码设备的数字装置的框图。根据本公开的一个实施方式的解码设备可以被包括在图8的控制器870中。

数字装置800可以包括广播接收模块805、外部装置接口模块835、存储模块840、用户输入接口模块850、控制器870、显示器880和音频输出模块885、电源模块890和图像捕获模块(未示出)。这里，广播接收模块805可以包括至少一个调谐器810、解调器820和网络接口模块830。然而，在一些情况下，广播接收模块805可以包括调谐器810和解调器820，但是在其它情况下可以不包括调谐器810和解调器820。网络接口模块830也是如此。此外，尽管图中没有示出，但是广播接收模块805可以包括用于对由解调器820通过调谐器810解调的信号和通过网络接口模块830接收的信号进行复用的复用器。广播接收模块805可以包括解复用器，解复用器对复用信号进行解复用或对经过网络接口模块830的信号或解调信号进行解复用。

调谐器810通过调谐到用户所选频道或通过天线接收的RF广播信号当中的所有先前存储的频道来接收射频(RF)广播信号。此外，调谐器810将接收到的RF广播信号转换成中频(IF)信号或基带信号。

例如，如果接收到的RF广播信号是数字广播信号，则调谐器810将该信号转换成数字IF信号(DIF)；如果接收到的RF广播信号是模拟广播信号，则调谐器810将该信号转换成模拟基带视频或音频信号(CVBS/SIF)。换句话说，调谐器810可以处理数字广播信号和模拟广播信号两者。从调谐器810输出的模拟基带视频或音频信号(CVBS/SIF)可以直接输入到控制器870。

此外，调谐器810可以根据美国高级电视系统委员会(ATSC)方案或者根据数字视频广播(DVB)方案的多载波RF广播信号来接收单载波RF广播信号。

此外，调谐器810可以通过经由天线接收的RF广播信号当中的频道存储器功能依次调谐到并接收所有存储的广播频道的RF广播信号，并将接收到的RF广播信号转换为中频信号或基带信号。

解调器820接收并解调通过调谐器810转换的数字IF信号(DIF)。例如，当从调谐器810输出的数字IF信号是ATSC类型时，解调器820执行8残留边带(8-VSB,8-Vestigial SideBand)解调。例如，解调器820还可以执行信道解码。为此，解调器820可以包括用于执行网格解码、解交织和里德-索洛曼(Reed-Solomon)解码的网格解码器、解交织器和里德-索洛曼解码器。

例如，当从调谐器810输出的数字IF信号是DVB类型时，解调器820执行例如编码正交频分调制(COFDMA)解调。此外，解调器820可以执行信道解码。为此，解调器820可以包括卷积解码器、解交织器和里德-索洛曼解码器以执行卷积解码、解交织和里德-索洛曼解码。

解调器820可以在执行解调和信道解码之后输出流信号TS。在这种情况下，流信号可以是通过对图像信号、音频信号或数据信号进行复用而获得的信号。例如，流信号可以是MPEG-2标准视频信号和杜比AC-3标准音频信号被复用的MPEG-2传输流(TS)。具体地，MPEG-2TS可以包括4字节的报头和184字节的有效载荷。

此外，可以根据ATSC和DVB系统分别提供上述解调器820。换句话说，数字装置可以分别包括ATSC解调器和DVB解调器。

从解调器820输出的流信号可以被输入到控制器870。控制器870可以控制解复用、图像/音频信号处理等，并且控制通过显示器880和音频输出模块885的音频输出。

外部装置接口模块835提供将各种外部装置连接到数字装置800的环境。为此，外部装置接口模块835可以包括A/V输入/输出模块(未示出)或无线通信。

外部装置接口模块835可以以有线或无线方式连接到诸如数字通用盘(DVD)播放器、蓝光播放器、游戏装置、相机、摄像机、计算机(笔记本、平板)、智能电话、蓝牙装置和云服务器的外部装置。外部装置接口模块835通过连接的外部装置向数字装置的控制器870发送外部输入图像、音频或数据(包括图像)信号。控制器870可以控制经处理的视频、音频或数据信号以输出到所连接的外部装置。为此，外部装置接口模块835还可以包括A/V输入/输出模块(未示出)或无线通信模块(未示出)。例如，根据本公开的一个实施方式，外部装置接口模块835可以提供用于设置目标OLS索引和/或最高时间ID的外部手段。

A/V输入/输出模块可以使用USB端口、复合视频消隐同步(CVBS)端口、组件端口、S-视频(模拟)端口、DVI数字视觉接口(HDMI)端口、高质量信号端口、多媒体接口(HDMI)端口、RGB端口和D-SUB端口。

无线通信模块可以执行与其它电子装置的短距离通信。数字装置600可以通过网络根据通信协议(例如，蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee和数字生活网络联盟)连接到其它电子装置。它可以基于通信协议通过网络连接到其它电子装置。

此外，外部装置接口模块835可以通过以上各种端口中的至少一个端口连接到各种机顶盒，以执行与机顶盒的输入/输出操作。

此外，外部装置接口模块835可以接收附近外部装置的应用或应用列表，并且将接收到的应用或应用列表发送到控制器870或存储模块840。

网络接口模块830提供用于将数字装置800连接到包括互联网的有线/无线网络的接口。网络接口模块830可以包括例如用于与有线网络连接的以太网终端，并且可以遵守例如无线局域网(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)和用于无线网络连接的高速下行链路分组接入(HSDPA)通信标准。

网络接口模块830可以通过所连接的网络或连接到所连接的网络的另一网络向其它用户或其它数字装置发送数据和从其它用户或其它数字装置接收数据。具体地，网络接口模块830可以将存储在数字装置800中的内容数据的一部分发送到在数字装置800中预先注册的另一用户，或者发送到所选用户或其它数字装置当中的所选数字装置。

此外，网络接口模块830可以通过所连接的网络或连接到所连接的网络的另一网络访问预定的网页。换句话说，网络接口模块830可以通过网络访问预定网页以将数据发送到服务器和从服务器接收数据。此外，网络接口模块830可以接收由内容提供商或网络服务提供商提供的内容或数据。换句话说，网络接口模块830可以从内容提供商或网络服务提供商接收诸如电影、广告、游戏、VOD、广播信号和通过网络提供的相关信息的内容。此外，网络接口模块830可以接收由网络服务提供商提供的固件更新信息和更新文件。此外，网络接口模块830可以将数据发送到互联网服务提供商、内容提供商或网络运营商。

此外，网络接口模块830可以在通过网络发布的应用当中选择性地接收期望的应用。

存储模块840可以存储用于处理和控制控制器870中的每个信号的程序，并且可以存储经信号处理的视频、音频或数据信号。

此外，存储模块840可以执行临时存储从外部装置接口模块835或网络接口模块830输入的图像、音频信号或数据信号的功能。存储模块840可以通过下面的过程存储关于预定的广播频道的信息。

存储模块840可以存储来自外部装置接口模块835或网络接口模块830的应用或应用列表输入。此外，存储模块840可以存储稍后要描述的各种平台。

存储模块840可以将内容存储在诸如闪存类型、硬盘类型、多媒体卡微型类型、卡类型存储器(例如，SD或XD存储器)、RAM或ROM(例如，EEPROM)的各种存储装置中。数字装置800可以播放存储在存储模块840中的内容文件(电影文件、静止图像文件、音乐文件、文档文件或应用文件)，并且将内容提供给用户。

图8示出了其中存储模块840与控制器870分开提供的实施方式，但是实施方式的范围不限于特定情况。换句话说，存储模块840可以被包括在控制器870中。

用户输入接口模块850将用户输入的信号发送到控制器870或将控制器870的信号发送到用户。

例如，用户输入接口模块850基于根据采用RF或红外(IR)通信的各种通信方案从遥控器860接收的控制信号来控制通电/断电、频道选择、屏幕配置等。用户输入接口模块850可以处理来自控制器870的控制信号并且将经处理的控制信号发送到遥控器860。

此外，用户输入接口模块850可以向控制器870发送从本地密钥(未示出)(例如，功率密钥、频道密钥、音量密钥和设置值)输入的控制信号。

用户输入接口模块850可以向控制器870发送从检测用户的手势的感测模块(未示出)输入的控制信号，或者将信号从控制器870传输到感测模块(未示出)。这里，感测模块可以包括触摸传感器、语音传感器、位置传感器和运动传感器。

控制器870对通过调谐器810、解调器820或外部装置接口835输入的流进行解复用，或者处理经解复用的信号以生成和输出用于视频或音频输出的信号。控制器870可以包括上文所述的编码设备和/或解码设备。

通过控制器870处理的图像信号可以被输入到显示器880并且被显示为与图像信号相对应的图像。此外，由控制器870处理的图像信号可以通过外部装置接口835输入到外部输出装置。

通过控制器870处理的音频信号可以被输出到音频输出模块885。此外，通过控制器870处理的音频信号可以通过外部装置接口835输入到外部输出装置。尽管在图中没有示出，但是控制器870可以包括解复用器和图像处理器。控制器870可以控制数字装置800的整体操作。例如，控制器870可以控制调谐器810以控制与由用户选择的频道或提前存储的频道相对应的RF广播的调谐。

控制器870可以通过经由用户指令或用户输入接口模块850输入的内部程序来控制数字装置800。具体地，控制器870可以连接到网络，使得用户可以数字地下载用户所期望的应用或应用列表。

例如，控制器870控制调谐器810以输入根据通过用户输入接口模块850接收的预定频道选择命令而选择的频道的信号。控制器870处理所选频道的图像、语音或数据信号。控制器870可以通过显示器880或音频输出模块885将关于用户选择的频道的信息与经处理的图像或语音信号一起输出。作为另一示例，控制器870可以控制通过外部装置接口模块835输入的来自外部装置(例如，相机或摄像机)的图像或音频信号以经由显示器880或音频输出模块885输出。

控制器870可以控制显示器880以显示图像。例如，控制器870可以控制显示器880以显示通过调谐器810输入的广播图像、通过外部装置接口模块835输入的外部输入图像、通过网络接口模块输入的图像或内部存储的图像。此时，显示器880上显示的图像可以是静止图像或移动图像，并且可以是2D图像或3D图像。

此外，控制器870可以控制内容的再现。在这种情况下，内容可以是存储在数字装置800中的内容、接收到的广播内容或从外部输入的外部输入内容。内容可以是广播图像、外部输入图像、音频文件、静止图像、连接的web画面和文档文件中的至少一个。

此外，控制器870可以控制显示器880以在应用视图项进行时显示可以从数字装置800或外部网络下载的应用或应用列表。

控制器870可以控制从外部网络下载的应用的安装和执行以及各种用户接口。此外，控制器870可以控制与要通过用户选择执行的应用相关的图像在显示器880上显示。

尽管在图中未示出，但是还可以提供频道浏览处理器以生成与频道信号或外部输入信号相对应的缩略图图像。

频道浏览处理器可接收从解调器820输出的流信号TS或从外部装置接口835输出的流信号，并从输入流信号提取图像以生成缩略图图像。

所生成的缩略图图像可以被原样编码或者可以被输入到控制器870。此外，所生成的缩略图图像可以以流的形式被编码以输入到控制器870。控制器870可以显示多个缩略图列表。显示器880上的缩略图图像可以使用输入缩略图图像来生成。此外，可以依次或同时地更新缩略图列表的缩略图图像。因此，用户可以容易地弄清多个广播信道的内容。

显示器880将通过控制器870处理的图像信号、数据信号和OSD信号；或者将从外部装置接口模块835接收的图像信号和数据信号转换成R、G和B信号以生成驱动信号。显示器880可以是PDP、LCD、OLED、柔性显示器或3D显示器。显示器880可以被构建为触摸屏并且与输出装置一起用作输入装置。

音频输出模块885接收通过控制器870处理的信号(例如，立体声信号、3.1声道信号或5.1声道信号)，并输出音频信号。音频输出模块885可以以各种形式的扬声器来实现。

此外，如上所述，包括触摸传感器、语音传感器、位置传感器和运动传感器中的至少一个的感测模块(未示出)还可以安装在数字装置中以检测用户的手势。由感测模块(未示出)感测的信号可以通过用户输入接口模块850发送到控制器870。

此外，还可以提供用于捕获用户的图像的图像捕获模块(未示出)。由图像捕获模块(未示出)捕获的图像信息可以被输入到控制器870。控制器870可以通过组合由图像捕获模块(未示出)捕获的图像或由感测模块(未示出)检测到的信号来检测用户的手势。

电源模块890提供与整个数字装置(800)相对应的电力。具体地，电源模块890可以向可以以片上系统(SOC)的形式实现的控制器870、用于显示图像的显示器880以及用于输出音频信号的音频输出模块885供电。为此，电源模块890可以包括将AC电力转换为DC电力的转换器(未示出)。此外，例如，当显示器880被实现为具有多个背光的液晶面板时，还可以提供能够执行用于亮度控制或调光的PWM操作的逆变器(未示出)。

遥控器860将用户输入发送到用户输入接口模块850。为此，遥控器860可以使用蓝牙、射频(RF)通信、红外(IR)通信、超宽带(UWB)或紫蜂(ZigBee)。

此外，遥控器860可以接收从用户输入接口模块850输出的图像、音频或数据信号，并在遥控器860上显示所接收的信号或以声音或振动的形式输出接收到的信号。

数字装置800可以是能够处理固定或移动ATSC信号或DVB数字广播信号的数字广播接收器。

此外，根据本公开的一个实施方式的数字装置的构成元件可以被省略，并且如果需要，还可以包括图中未示出的一些构成元件。此外，与上面的描述不同，数字装置可以不包括调谐器和解调器，并且可以通过网络接口模块或外部装置接口模块接收和播放内容。

图9是例示根据本公开的一个实施方式的包括解码设备的控制器的框图。例如，图像解码器925可以是根据本公开的一个实施方式的解码设备。图9的控制器可以是包括在图8中的控制器870的示例。

控制器的示例可以包括解复用器910、图像处理器920、屏上显示(OSD)生成器940、混合器950、帧率转换器(FRC)955和格式化器760。如图所示，控制器还可以包括音频处理器和数据处理器。

解复用器910对输入流进行解复用。例如，解复用器910可以将输入MPEG-2TS解复用成视频、音频和数据信号。这里，输入到解复用器910的流信号可以是从调谐器、解调器或外部装置接口模块输出的流信号。

图像处理器920对经解复用的图像信号执行图像处理。为此，图像处理器920可以包括图像解码器925和缩放器935。

图像解码器925对经解复用的图像信号进行解码，并且缩放器935对经解码的图像信号的分辨率进行缩放，使得显示器可以输出经解码的图像信号。图像解码器925可以支持各种标准。例如，当根据MPEG-2标准对图像信号进行了编码时，图像解码器925执行MPEG-2解码器的功能，并且当根据MPEG-2标准对图像信号进行编码时，图像解码器925执行相关解码器的功能。

此外，由图像处理器920解码的图像信号被输入到混合器950。OSD生成器940根据用户输入或内置过程来生成OSD数据。例如，OSD生成器940基于用户输入接口的控制信号生成用于在显示器880的屏幕上以图形或文本的形式显示各种数据的数据。所生成的OSD数据包括诸如数字装置的用户接口画面、各种菜单画面、窗口小组件、图标和观众评级信息的各种数据。

OSD生成器940可以基于广播图像的标题或EPG来生成用于显示广播信息的数据。

混合器950对由OSD生成器940生成的OSD数据与由图像处理器处理的图像信号进行混合，并将混合信号提供给格式化器960。经解码的图像信号和OSD数据以OSD叠加在经解码的图像上的方式被混合并显示。

帧率转换器(FRC)955转换输入图像的帧速率。例如，帧率转换器955可以根据显示器的输出频率将具有60Hz的帧率的图像转换成具有例如120Hz或240Hz的帧速率的图像。可以存在如上文所描述的用于转换帧速率的各种方法。例如，当将帧速率从60Hz转换到120Hz时，帧率转换器955可以在第一帧和第二帧之间插入相同的第一帧或从第一帧和第二帧预测的第三帧。在另一示例中，当将帧速率从60Hz转换到240Hz时，帧率转换器955可以在现有帧之间插入三个相同或预测的帧。此外，当不执行单独的帧转换时，可以绕过帧率转换器955。

格式化器960改变输入帧率转换器955的输出以匹配显示器的输出格式。例如，格式化器960可以输出R、G和B数据信号，并且R、G和B数据信号可以在低电压差分信令(LVDS)或迷你LVDS格式中输出。此外，当输入帧率转换器955的输出是3D图像信号时，格式化器960可以根据显示器的输出格式组合并输出3D形式的信号，以通过显示器支持3D服务。

控制单元的音频处理器(未示出)可以执行经解复用的音频信号的处理。音频处理器(未示出)可以支持处理各种音频格式。例如，即使当以诸如MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC和EVS的格式对音频信号进行编码时，音频处理器也可以包括与编码格式相关的解码器。此外，控制器中的音频处理器(未示出)可以处理低音、高音和音量控制。

控制器中的数据处理器(未示出)可以对经解复用的数据信号执行数据处理。例如，即使当经解复用的数据信号被编码时，数据处理器也可以对经解复用的数据信号进行解码。这里，经编码的数据信号可以是包括诸如在每个频道上广播的广播节目的开始时间和结束时间的广播信息的EPG信息。

此外，数字装置是根据本公开的一个实施方式的示例，并且每个构成元件可以根据实际实现的数字装置的技术规范被集成、添加或省略。换句话说，根据需要，可以将两个或更多个构成元件组合成一个构成元件，或者可以将一个构成元件分成两个或更多个构成元件。此外，在每个框中执行的功能仅旨在例示本公开的实施方式；因此，特定操作或装置不限制本公开的实施方式的技术范围。

此外，数字装置可以是执行存储在装置中的图像或输入图像的信号处理的图像信号处理装置。作为图像信号处理装置的另一示例，还可以包括除了显示器880和音频输出模块885、前述DVD播放器、蓝光播放器、游戏装置或计算机的机顶盒(STB)。

图10例示了可以应用本文档中公开的实施方式的内容流传输系统的示例。

参照图10，应用本文档的实施方式的内容流传输系统可以基本上包括编码服务器、流服务器、web服务器、媒体存储器、用户设备和多媒体输入设备。

编码服务器将从诸如智能手机、照相机或便携式摄像机等的多媒体输入设备输入的内容压缩为数字数据以生成比特流并将比特流发送到流传输服务器。作为另一示例，当诸如智能手机、照相机或便携式摄像机等的多媒体输入设备直接生成比特流时，可以省略编码服务器。

可以通过应用了本文档的实施方式的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。

流传输服务器基于用户请求通过网络服务器向用户设备发送多媒体数据，并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器向流传输服务器递送该请求，并且流传输服务器向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统内的设备之间的命令/响应。

流传输服务器可以从媒体储存器和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以将比特流存储预定时间段。

用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴设备(例如，智能手表、智能眼镜和头戴式显示器)、数字TV、台式计算机和数字标牌等。

内容流传输系统内的每个服务器可以作为分布式服务器来操作，在这种情况下，从每个服务器接收的数据可以被分布。

本公开的所附权利要求能够以各种方式组合。例如，可以组合本公开的方法权利要求的技术特征以实现为装置，以及可以组合本公开的装置权利要求的技术特征以实现为方法。此外，可以组合本公开的方法权利要求的技术特征和装置权利要求的技术特征以实现为装置，以及可以组合本公开的方法权利要求的技术特征和装置权利要求的技术特征以实现为方法。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：

从子比特流获得图像信息；

对属于包括在针对目标输出层集OLS索引的目标OLS中的层并且与最高时间标识符相关的图片进行解码；以及

输出经解码的所述图片，

其中，基于比特流的子比特流提取过程推导所述子比特流，并且

其中，所述子比特流提取过程的输入包括与所述目标OLS索引相关的值和与所述最高时间标识符相关的值。

2.根据权利要求1所述的图像解码方法，其中，所述子比特流提取过程包括去除包括关于所述目标OLS索引的信息和关于所述最高时间标识符的信息的特定网络抽象层NAL单元。

3.根据权利要求1所述的图像解码方法，其中，所述子比特流包括包含关于所述目标OLS索引的信息的特定网络抽象层NAL单元，并且

其中，基于针对所述子比特流提取过程的输入来设置关于所述目标OLS索引的信息的值。

4.根据权利要求1所述的图像解码方法，其中，所述子比特流包括包含关于所述最高时间标识符的信息的特定网络抽象层NAL单元，并且

其中，基于针对所述子比特流提取过程的输入来设置关于所述最高时间标识符的信息的值。

5.根据权利要求1所述的图像解码方法，其中，基于外部手段或从所述子比特流获得的关于所述目标OLS索引的信息来设置所述目标OLS索引，

其中，基于所述外部手段可用，基于所述外部手段来设置所述目标OLS索引，并且

其中，基于所述外部手段不可用，基于所述关于所述目标OLS索引的信息来设置所述目标OLS索引。

6.根据权利要求1所述的图像解码方法，其中，基于外部手段或基于所述子比特流获得的关于所述最高时间标识符的信息来设置所述最高时间标识符，

其中，基于所述外部手段可用，基于所述外部手段来设置所述最高时间标识符，并且

其中，基于所述外部手段不可用，基于所述关于所述最高时间标识符的信息来设置所述最高时间标识符。

7.根据权利要求1所述的图像解码方法，其中，基于具有时间标识符的时间子层来对所述图片进行解码，并且

其中，所述时间标识符的值小于所述最高时间标识符的值。

8.一种执行图像解码方法的解码设备，所述解码设备包括：

比特流提取器，所述比特流提取器基于子比特流提取过程从比特流推导子比特流并且从所述子比特流获得图像信息；以及

解码器，所述解码器对属于包括在针对目标输出层集OLS索引的目标OLS中的层并且与最高时间标识符相关的图片进行解码并且输出经解码的所述图片，

其中，所述子比特流提取过程的输入包括与所述目标OLS索引相关的值和与所述最高时间标识符相关的值。

9.根据权利要求8所述的解码设备，其中，所述子比特流提取过程包括去除包括关于所述目标OLS索引的信息和关于所述最高时间标识符的信息的特定网络抽象层NAL单元。

10.根据权利要求8所述的解码设备，其中，所述子比特流包括包含关于所述目标OLS索引的信息的特定网络抽象层NAL单元，并且

其中，基于针对所述子比特流提取过程的输入来设置所述关于所述目标OLS索引的信息的值。

11.根据权利要求8所述的解码设备，其中，所述子比特流包括包含关于所述最高时间标识符的信息的特定网络抽象层NAL单元，并且

其中，基于针对所述子比特流提取过程的输入来设置所述关于所述最高时间标识符的信息的值。

12.根据权利要求8所述的解码设备，其中，基于外部手段或从所述子比特流获得的关于所述目标OLS索引的信息来设置所述目标OLS索引，

其中，基于所述外部手段可用，基于所述外部手段来设置所述目标OLS索引，并且

其中，基于所述外部手段不可用，基于所述关于所述目标OLS索引的信息来设置所述目标OLS索引。

13.根据权利要求8所述的解码设备，其中，基于外部手段或基于所述子比特流获得的关于所述最高时间标识符的信息来设置所述最高时间标识符，

其中，基于所述外部手段可用，基于所述外部手段来设置所述最高时间标识符，并且

其中，基于所述外部手段不可用，基于所述关于所述最高时间标识符的信息来设置所述最高时间标识符。

14.根据权利要求8所述的解码设备，其中，基于具有时间标识符的时间子层来对所述图片进行解码，并且

所述时间标识符的值小于所述最高时间标识符的值。

15.一种存储经编码的信息的计算机可读存储介质，所述经编码的信息使图像解码设备执行图像解码方法，所述图像解码方法包括以下步骤：

从子比特流获得图像信息；

对属于包括在针对目标输出层集OLS索引的目标OLS中的层并且与最高时间标识符相关的图片进行解码；以及

输出经解码的所述图片，

其中，基于比特流的子比特流提取过程推导所述子比特流，并且

其中，所述子比特流提取过程的输入包括与所述目标OLS索引相关的值和与所述最高时间标识符相关的值。

Images