CN116171575A - 用于多层视频比特流和用于输出定时推导的各种各样信令概念 - Google Patents

Abstract

第一方面提供用于处理具有层间参考的多层视频比特流中的编码层视频序列边界的概念。第二方面提供了图片输出定时的处理、信令和推导的概念，例如相关于图片输出的重复数量的访问单元特定信令和输出层特定信令。

Description

用于多层视频比特流和用于输出定时推导的各种各样信令 概念

技术领域

本公开的实施例涉及视频编码器、视频解码器、用于将视频序列编码成视频比特流的方法以及用于从视频比特流解码视频序列的方法。另外的实施例涉及视频比特流。

背景技术

可以以一个或多个编码视频序列为单位将视频编码成视频比特流，每个编码视频序列包括访问单元的序列，访问单元包括视频的共同时间帧的一个或多个图片。在多层视频比特流的情况下，其中视频数据被编码到视频比特流的多个层中，这些层可以包括个体编码层视频序列，不同层的编码层视频序列不一定需要以相同的访问单元开始/停止。编码层视频序列可以以例如IRAP图片的独立编码图片开始，IRAP图片可以是独立于与依赖编码图片的访问单元不同的访问单元的图片来解码的。可以存在第一类型的独立编码图片，例如可以与同一层的图片相关联的CRA图片，该图片按照编码顺序在第一类型图片之后，但是被安排在第一类型图片之前呈现。这样的图片可以被称为RASL图片。这样的RASL图片可以具有对按照解码顺序在与RASL图片相关联的第一类型图片之前的图片的参考。换言之，RASL图片可以具有对先前编码层视频序列中的图片的参考。因此，可能存在这样的情况，其中针对RASL图片的参考图片不存在于视频比特流内，使得RASL图片可能无法被正确解码。在这种情况下，可能存在按照呈现顺序在第一类型图片之前的图片要被排除在输出之外的指示。然而，RASL图片可以用作针对不同层的图片的层间参考图片。在RASL图片不可解码的情况下，依赖于RASL图片的图片也可能无法被正确解码。

发明内容

本公开的第一方面提供了用于处理多层视频比特流中的编码层视频序列边界的概念。根据第一方面的实施例可以防止指示具有对RASL图片的层间参考的图片用于输出，该RASL图片不可解码或被排除在输出之外。为此，具有对无法正确解码的RASL图片的层间参考的此类图片不存在于视频比特流中或被排除在输出之外。

根据第一方面的实施例，在将第一层和第二层编码到多层视频比特流中以使得第一层依赖于第二层时，一种编码器在后续访问单元之中的下一个访问单元内进行编码，该下一个访问单元按照编码顺序在第二层中包括序列结束标识符的访问单元之后，该下一个访问单元是与第二层中具有序列结束标识符的访问单元最靠近的访问单元，图片在第一层中将被编码到该下一个访问单元中，将要被编码到第一层中的图片使用解码刷新并且不输出任何前导图片。由于下一个访问单元的第一张图片使用解码刷新进行编码并且没有前导图片的输出，例如，具有对第二层的RASL图片的层间参考的图片也需要是RASL图片，并且因此可以通过指示不输出前导图片来防止输出。指示不输出前导图片可以防止也间接地通过层间参考依赖于作为被指示在第二层的序列结束标识符处结束的第二层的编码层视频序列的一部分的图片的那些图片将被输出。

本公开的第二方面涉及解码图片的输出定时，也就是说，解码图片从解码器的输出缓冲器输出的输出时间。图片输出定时的推导可以例如在访问单元级别上用信号发送，例如通过图片定时补充增强信息PTSEI。附加地或替代地，图片输出定时可以在输出层级别上用信号发送，即引用视频比特流的个体输出层。例如，关于针对访问单元和/或针对输出层的图片输出定时的信息可以包括关于图片要被输出(即，重复)的次数的信息。

根据第二方面的第一子方面，在视频比特流中提供选通标志，其用信号发送包括在视频比特流中的PT SEI消息是否包括图片输出乘法语法元素。图片输出乘法语法元素指示它所引用的访问单元的图片是否经受相乘图片输出，并且如果是，则要从访问单元的图片中生成多少输出图片。选通标志提供了用于区分是从PT SEI消息还是通过其他方式(例如，通过引用个体输出层的帧场SEI消息)检索关于多图片输出的信息的方式。因此，选通标志的信号发送允许在输出层集合的不同输出层中的不同帧率的信号发送。换句话说，选通标志允许用信号发送针对一个访问单元内的不同图片各个地输出的相乘图片。

第二方面的第二子方面提供了一种概念，用于结合帧场语法元素来使用访问单元的图片的相乘图片输出，该帧场语法元素指示图片序列的图片在何处表示场或帧，例如隔行扫描或逐行扫描图片。因此，在使用帧或场的情况下，第二子方面的实施例允许图片输出时间的信号化。

第二方面的第三子方面提供了一种概念，用于通过指代视频比特流的访问单元的PT SEI的图片输出乘法语法元素和引用视频比特流的输出层的帧场SEI的语法元素的进一步图片输出乘法用信号发送图片输出次数。根据一个实施例，图片输出乘法语法元素等于或小于进一步图片输出乘法语法元素，例如，进一步图片输出乘法语法元素是图片输出乘法语法元素的整数倍。包括在PT SEI消息中的图片输出乘法语法元素可以是访问单元特定的，并且因此可以允许确定用于作为由图片输出乘法语法元素所指示的重复或乘法的结果而被实现的输出的图片刷新间隔。因此，借助图片输出乘法语法元素，可以确定与访问单元相关的图片输出的定时信息，并且在乘法的情况下，可以确定在其间呈现的图片之间的间距。在帧场SEI消息中用信号发送的进一步图片输出乘法语法元素可以提供关于图片需要被重复的频率以便能够以图片刷新间隔(即，从图片输出乘法语法元素中确定的刷新间隔)呈现内容的层特定信息。要求进一步图片输出乘法语法元素等于或大于例如图片输出乘法语法元素的整数倍可以确保由图片输出乘法语法元素用信号发送的图片刷新间隔通过由进一步图片输出乘法语法元素用信号发送的图片输出次数来实现。例如，在第一场和第二场的情况下，进一步图片输出乘法语法元素可以用信号发送乘法值，该乘法值对应于由图片输出乘法语法元素用信号发送的乘法值的两倍。

第二方面的第四子方面提供了一种概念，用于从视频比特流中推导输出帧率是否在后续编码视频序列之间的边界之外是恒定的，例如，无需在视频比特流中明确地用信号发送该信息。推断该信息而不是显式信令，提供了这样的优点：在拼接视频比特流时相应的信息不一定必须被修改或检查其是否仍然是两个。

第二方面的第五子方面，用于基于像元输出图片持续时间语法元素(例如elemental_duration_in_tc_minus1)推导编码视频序列的元素图片输出时间(例如，访问单元的输出时间)，该语法元素可以是参数集的一部分，例如具有HRD和定时信息的视频参数集或序列参数集。该概念依赖于以下想法：如果编码到视频比特流中的一个或多个语法元素具有第一状态，则保证访问单元可推断为不经受相乘输出。因此，在可以推断访问单元的图片是否经受相乘输出的信息的情况下，该概念可以允许确定像元图片输出时间而不需要用信号发送该信息的PT SEI消息。例如，在这种情况下，可以在关于个体图片的输出时间的信息的基础上来推导元素输出图片时间，因为它可以例如由像元输出图片持续时间语法元素来提供。因此，该概念可以允许在不存在PT SEI消息的情况下推导像元图片输出时间和/或可以允许省略PT SEI消息的信令。

第二方面的第六子方面提供了用于处理在用信号发送固定图片速率的视频比特流中没有输出图片的概念。根据第六子方面，如果针对视频比特流指示了固定图片速率，则在无输出图片之前的图片被重复，即，被指示为要从输出中被忽略的图片。因此，即使在没有输出图片的情况下也可以维持固定图片速率。

附图说明

下面关于附图更详细地描述本公开的实施例及优选实现，其中：

图1图示了根据实施例的编码器、解码器和视频比特流，

图2图示了比特流的两层的示例，该两层具有不同的IRAP周期，

图3图示了在没有序列结束指示的情况下随机访问两层视频比特流的示例，

图4图示了根据第一方面的实施例的具有对齐的序列结束指示的编码视频序列的示例，

图5图示了根据第一方面的实施例的依赖层的示例，

图6图示了时间子层的示例，

图7图示了比特流的拼接的示例，

图8图示了帧重复的示例，

图9图示了具有不同帧率的两层的比特流的示例，

图10图示了在一层中具有重复输出帧的两层比特流的示例，

图11图示了根据子方面2.3的实施例的编码器和视频比特流，

图12图示了关于GOP大小和DPB参数以及重新排序的示例，

图13图示了根据子方面2.5的实施例的编码器、解码器和视频比特流的示例，

图14图示了包括不被输出的图片的比特流的示例。

具体实施方式

在下文中，详细讨论了实施例，然而，应当了解，实施例提供了许多可应用概念，这些概念可以被体现在各种各样的视频编码概念中。所讨论的具体实施例只是说明实现和使用本概念的具体方式，并不限制实施例的范围。在下面的描述中，阐述了多个细节以提供对本公开的实施例的更透彻的解释。然而，对于本领域的技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践其他实施例。在其他实例中，众所周知的结构和设备以框图的形式示出而没有详细地示出，以避免模糊本文所描述的示例。此外，除非另有特别指出，否则本文所描述的不同实施例的特征可以彼此组合。

在实施例的以下描述中，相同或相似的元件或具有相同功能性的元件提供有相同的参考标记或以相同的名称来标识，并且提供有相同的参考标记或用相同的名称标识的元件的重复描述通常被省略。因此，对于具有相同或相似的参考标号或用相同的名称来标识的元件所提供的描述可相互交换或者可以在不同实施例中相互应用。

所公开概念的实施例的详细描述从编码器、解码器和视频比特流的示例的描述开始，这些示例提供了可以将本发明的实施例嵌入其中的框架。在下文中，对本发明的概念的实施例的描述连同关于如何将这样的概念构建到图1的编码器、解码器中的描述一起被呈现。尽管，也可以使用关于随后的图2描述的实施例来形成未根据关于图1所描述的框架来操作的编码器和解码器。进一步注意，编码器和解码器可以彼此分开地实现，但是它们在图1中被联合描述以用于说明目的。进一步注意，编码器和解码器可以被组合在一个装置内，或者两者之一可以被实现为另一个的一部分。此外，参考图1描述了本发明的实施例中的一些。

0.根据图1的编码器10、解码器50和视频比特流14

图1图示了编码器10和解码器50的示例。编码器10(其也可以被称为用于编码的装置)将视频序列12编码成视频比特流14(其也可以被称为比特流、数据流、视频数据流或流)。视频序列12包括图片序列13，图片13以呈现顺序或图片顺序17来布置。换句话说，图片13中的每一个可以表示视频序列12的帧并且可以与视频序列12的呈现顺序的时间瞬时相关联。在视频序列12的基础上，编码器10可以将编码视频序列20编码到视频比特流14中。编码器10可以以访问单元22的形式形成编码视频序列20，访问单元22中的每一个已将属于共同时间瞬时的视频数据编码到其中。换句话说，每个访问单元22可能已将视频序列12的帧之一编码到其中。编码器10根据编码顺序19将编码视频序列20编码成视频比特流14，编码顺序19可以不同于视频序列12的图片顺序17。

编码器10可以将编码视频序列20编码到一个或多个层中。也就是说，视频比特流14可以是单层或包括一个或多个层的多层视频比特流。每个访问单元22包括一个或多个编码图片26(例如图1中的图片26₀、26₁，其中撇号和星号被用于参考特定图片，而下标索引指示图片所属的层)。需要注意的是，以下将编码图片简称为图片。图片26中的每一个都属于编码视频序列的层24之一，例如图1的层24₀、24₁。在图1中，示出了示例性数量的两层，即第一层24₁和第二层24₀。在根据所公开概念的实施例中，编码视频序列20和视频比特流14不一定包括多层，但是可以包括1、2或更多层。在图1的示例中，每个访问单元22包括第一层24₁的编码图片26₁和第二层24₀的编码图片26₀。然而，需要注意的是，每个访问单元22可以(但是不一定)包括用于编码视频序列20的每一层的编码图片。例如，层24₀、24₁可以具有不同的帧率(或图片速率)和/或可以包括用于访问单元22的访问单元的互补子集的图片。

如之前所提及，其中一个访问单元的图片26₀、26₁表示同一时间瞬时的图像内容。例如，相同访问单元22的图片26₀、26₁可以表示处于不同质量的相同图像内容，例如分辨率或保真度。换言之，层24₀可以表示编码视频序列20的第一版本，而层24₁可以表示编码视频序列20的第二版本。因此，诸如解码器50之类的解码器或提取器可以在要从视频比特流14中解码或提取的编码视频序列20的不同版本之间进行选择。例如，层24₀可以独立于编码视频序列的其他层而被解码，提供第一质量的解码视频序列，而第一层24₁和第二层24₀的联合解码可以提供比第一质量更高的第二质量的解码视频序列。例如，可以依赖于第二层24₀来对第一层24₁进行编码。换句话说，第二层24₀可以是用于第一层24₁的参考层。例如，在这种场景中，第一层24₁可以被称为增强层，而第二层24₀可以被称为基础层。图片26₀可以具有比图片26₁更小的图片尺寸、相等的图片尺寸或更大的图片尺寸。例如，图片尺寸可以指的是图片的二维阵列中的样本数。需要注意的是，图片26₀、26₁不一定必须表示相同的图像内容，而是例如，图片26₁可以表示图片26₀的图像内容的摘录。例如，在一些场景中，视频比特流14的不同层可以包括被编码到视频比特流中的图片的不同子图片，它们可以彼此独立地被编码。因此，在另外的示例中，层24₀、24₁可以彼此独立地被编码到视频比特流14中。

编码器10将访问单元22编码到视频比特流14的比特流部分16中。例如，访问单元22中的每一个都可以被编码到一个或多个比特流部分16中。例如，图片26可以被细分为切片的瓦片，并且每个切片可以被编码到一个比特流部分16中。图片26被编码到其中的比特流部分16可以被称为视频编码层(VCL)NAL单元。视频比特流14还可以包括描述性数据被编码到其中的非VCL NAL单元，例如，比特流部分23、29。描述性数据可以提供用于解码的信息或关于编码视频序列20的信息。描述性数据被编码到其中的比特流部分可以与个体比特流部分相关联，例如它们可以指的是个体切片，或者它们可以与图片26之一或访问单元22之一相关联，或者可以与访问单元的序列相关联，即，与编码视频序列20相关。需要注意的是，视频12可以被编码到编码视频序列20的序列中。

解码器50(其也可以被称为用于解码的装置)解码视频比特流14以便获得解码视频序列51。需要注意的是，提供给解码器50的视频比特流14不一定对应于由编码器提供的视频比特流14，但是可能已经从由编码器提供的视频比特流中被提取，使得由解码器50解码的视频比特流可以是由诸如编码器10之类的编码器所编码的视频比特流的子比特流。如前面所提及，解码器50可以解码被编码到视频数据流14中的整个编码视频序列20，或者可以解码其一部分，例如编码视频序列20的各层的子集和/或编码视频序列20的时间子集(即，具有比由编码视频序列20所提供的最大帧率更低的帧率的视频序列)。因此，解码视频序列51不一定对应于由编码器10编码的视频序列12。还应注意，解码视频序列51可能由于诸如量化损失之类的编码损失而进一步不同于视频序列12。对于解码视频序列的每一帧，解码视频序列51包括从编码视频序列20的各个层解码的一个或多个解码图片53。换句话说，在示例中，解码视频序列51可以包括一个或多个层，类似于编码视频序列20。解码图片53可以根据输出顺序18而被输出，输出顺序18在示例中可以对应于图片顺序17。然而，解码视频序列51不一定包括视频序列12的所有帧，并且也可以包括一个图片的多个实例，即重复，这将在第2部分中详细说明。

图片26可以使用预测工具来编码，该预测工具用于从先前编码的图片预测表示视频比特流14中的图片的信号或系数。也就是说，编码器10可以使用预测工具以用于对预定图片26*——例如当前要使用先前编码的图片进行编码的图片——进行编码。相应地，解码器50可以使用预测工具以用于从先前解码的图片预测当前要被解码的图片26*。在以下描述中，预定图片或块，例如当前编码的图片或块，将使用参考标记中的(*)进行参考。例如，图1中的图片26₁*被认为是当前编码图片，其中当前编码图片26*可以等效地指代由编码器10编码的当前编码图片和由解码器50执行的解码过程中的当前解码图片。

从编码视频序列20的其他图片预测图片也可以被称为帧间预测。例如，图片26₁*可以使用来自图片26₁′的时间帧间预测而被编码，图片26₁′与图片26₁*属于访问单元22中的不同一个访问单元。因此，图片26₁*可以包括对图片26₁′的层内参考32，该图片26₁′与图片26₁*属于同一层但是属于另一个访问单元。附加地或替代地，可以可选地使用来自另一层——例如较低层(借助于可以与层24中的每一个相关联的层索引来降低)的图片的层间(间)预测来预测图片26₁*。例如，图片26₁*可以包括对图片26₀′的层间参考34，图片26₀′属于同一访问单元但是属于另一层。换言之，在图1中，图片26₁′、26₀′可以是用于当前编码图片26₁*的可能参考图片的示例。注意，预测可以被用于诸如在确定视频比特流14中用信号发送的变换系数时预测图片本身的系数，或者可以被用于预测在图片的编码中使用的语法元素.

本文所描述的实施例可以被实现在通用视频编码(VVC)或其他视频编解码器的上下文中。

在下文中，将参照图1以及关于图1描述的特征来描述若干概念和实施例。需要指出的是，关于编码器、视频比特流或解码器描述的特征应被理解为也是对这些实体中的其他实体的描述。例如，被描述为存在于视频数据流中的特征应被理解为对被配置为将该特征编码到视频比特流中的编码器和被配置为从视频比特流中读取该特征的解码器或提取器的描述。进一步指出的是，基于对编码到视频比特流中的指示的信息的推断可以同样地在编码器和解码器侧被执行。还应注意，以下部分中描述的各方面可以相互组合。

1.多层比特流中的序列结束(EOS)含义

本部分参照图1描述根据第一方面的实施例。在第0部分中描述的细节可以可选地应用于根据第一方面的实施例。

根据第一方面的实施例，视频比特流40是多层视频比特流，例如，如图1中所图示。如第0部分中所述，图片26可以被编码层间预测，使得为了解码，需要同一层的另一图片的信息。替代地或附加地，可以使用层间预测对图片进行编码，使得在解码时，需要另一层的图片的信息。相比之下，独立编码的图片或随机可访问的图片可以是不依赖于属于与其自身的访问单元不同的访问单元22的图片的图片。换言之，在不使用时间帧间预测的情况下对独立编码的图片进行编码。例如，帧内随机访问点(IRAP)图片可以是独立编码的图片。IRAP图片的示例是瞬时解码刷新(IDR)图片和干净随机访问(CRA)图片。如第0部分中所提及，编码顺序19不一定对应于图片顺序和呈现顺序(也被称为输出顺序)。依赖于在前图片而按照编码顺序和呈现顺序在前的依赖编码的图片可以被称为拖尾图片。依赖编码的图片的另一个示例是依赖于先前编码的访问单元的图片的图片，但是该依赖编码的图片在呈现顺序19中先于它所依赖的图片。此类图片的示例可以是随机访问跳过前导(RASL)图片。RASL图片可以与它可能依赖于的独立编码的图片(例如CRA图片)相关联，独立编码的图片按照编码顺序在RASL图片之前，但是按照呈现顺序在RASL图片之后。此外，RASL图片可以依赖于一个或多个另外的图片(即，包括对它们的参考)，该一个或多个另外的图片包括按照编码顺序在相关联的独立编码(例如CRA)图片之前的一个或多个图片。在独立编码的图片是编码视频(层)序列起始图片的情况下(例如，因为它是比特流中的第一个或者它是序列结束指示之后的第一个)，这可能意味着按照编码顺序在独立编码的图片之前的图片从缓冲器中被清除，因此RASL图片可能会被排除在输出之外，因为它们可能由于缺少参考而被错误解码。

编码视频序列21可以在层24中的每一个中包括一个或多个编码层视频序列。编码层视频序列可以从编码层视频序列起始图片——例如独立编码的图片开始，并且可以包括从编码层视频序列起始图片开始的各个层的所有图片，直到在编码顺序19上的下一个编码视频层序列起始图片(不包括之)，或者直到该编码层视频序列的结束。应注意，层24中的每一个可以具有不同数量和/或不同布置的编码层视频序列。换句话说，不同层的编码层视频序列起始图片不一定在相同的访问单元内对齐。

图2图示了具有不同周期的IRAP图片的两层24₀、24₁的示例。

当比特流包含多层时，每一层中的IRAP图片不必对齐，例如较低层L0(例如图1的层24₀)可能比较高的依赖层L1具有更频繁的IRAP图片(例如图1的层24₁)。当较低层的CLVS21′在每个这样的IRAP图片处停止时，例如通过在较低层而不是较高层处具有IDR AU，或者如图2中所示通过序列结束(EOS)NAL单元，较高层的CLVS可以继续。

存在这样的情况，其中比特流需要在新的CLVS 21″开始之前包含停止第一CLVS021′的所谓的序列结束(EOS)NAL单元41(在CLVSS图片26₀*处，这是图2中的CRA)。随后，CLVSS图片(CRA)具有等于1的NoOutputBeforeRecoveryFlag，并且由于缺少来自CLVSS图片26₀*之前的参考而无法正确重建的RASL图片26₀′从输出中被省略。然而，当RASL图片26₀′的AU 22′中的其他图片使用RASL作为用于预测的参考(例如，诸如MV之类的样本或语法)时，其他图片(图2中的L1 Trail，例如图片26₁′)也将被错误地重建并随后被输出。

根据第一方面的第一实施例，编码器10被配置为以不从第二层24₀的RASL图片26₀′进行预测的方式来对第一层24₁的图片26₁之中的非RASL图片进行编码，例如图2中的图片26₁′，这些非RASL图片与第二层24₀的RASL图片(例如图2中的图片26₀′)在时间上对齐。此外，编码器10使用第二层24₀的RASL图片作为用于第一层24₁的RASL图片的层间预测参考来对第一层24₁的RASL图片进行编码，该RASL图片与第二层24₀的RASL图片在时间上对齐。例如，参见图2，假设图片26₁′是RASL图片，则编码器10将使用第二层24₀的RASL图片26₀′作为层间预测参考来对图片26₁′进行编码，例如称为第一RASL图片。第二层24₀的RASL图片26₀′可以被称为第二RASL图片。在图2中所示的情况下，其中图片26₁′是非RASL图片，根据第一实施例的编码器10以不从第三RASL图片26₀′进行预测的方式对第一RASL图片26₁′进行编码。

使用图片的层间预测参考可以预示着在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对当前编码图片进行帧间预测时考虑相同的图片。可选地，使用图片作为层间预测参考可以附加地预示着将相同的图片考虑为通过当前编码图片的帧间预测块的参考索引在参考图片列表中被参考。

在不从特定图片进行预测的情况下对图片进行编码可以预示着在基于向量的帧间预测和/或运动矢量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对当前编码图片进行帧间预测时避免特定图片，和/或避免该特定图片通过当前编码图片的帧间预测块的参考索引在当前编码图片的参考图片列表中被参考。

换句话说，根据第一方面的第一实施例，当参考图片不是RASL图片时，RASL图片被禁止作为层间参考图片，由此，在与RASL图片相同的访问单元中的L1尾部图片可以被正确地重建。在这里讨论的约束意味着RASL图片不被用作参考，因为它们要么不存在于RPL(参考图片列表)中，要么不是从RPL中选择的；即它们可能是RPL中的非活动参考或未被使用的参考。

然而，此约束是不必要的严格，并且在某些情况下这可能不是问题，例如没有EOSNUT，如图3中所图示。

图3图示了没有进行中的EOS指示的随机访问图片的示例。

在这种情况下，仅当在CRA位置22*处调入(随机访问)时，从L1 Trail到L0 RASL的所述参考才会成为问题，但是解码器无论如何都将跳过增强层L1中的所有图片，直到在相应的增强层中遇到IRAP图片。

在图3的示例中，第二层24₀的图片26₀*是CRA图片，例如，一个或多个RASL图片可以依赖于的独立编码的图片。在图3的示例中，与图2不同，第二层24₀的图片(该图片在编码顺序19上位于CRA图片26₀*之前)没有序列结束指示41。尽管如此，CRA图片26₀*可以是编码层视频序列起始图片，例如它可以被指示：例如在这种情况下，没有依赖于CRA图片26₀*的RASL图片，诸如RASL图片26₀′被指示用于输出。例如，如果下面提及的在恢复松弛之前的无输出被设置为1并且下面提及的HandleCraAsClvsStartFlag被设置为1，则CRA图片26₀′可以是编码层视频序列起始图片。

根据第一方面的第二实施例，编码器10可以使用第二层24₀的RASL图片，暗示RASL图片26₀′作为与第二层24₀的RASL图片在时间上对齐的第一层24₁的图片(例如相同访问单元的部分)的层间预测参考图片——如果第一层的图片是RASL图片，并且如果第二层24₀的RASL图片26₀′与之相关联的CRA图片26₀′是编码层视频序列起始图片。换句话说，在图3的示例中，图片26₁’与图片26₀’在时间上对齐，即，这两个图片在相同访问单元22’内。第二层24₀的图片26₀′是与CRA图片26₀*相关联的RASL图片。根据第二实施例，如果图片26₁′是RASL图片，则编码器10使用图片26₀′作为图片26₁′的层间参考图片。如果图片26₁′是非RASL图片，则编码器10使用图片26₀′作为图片26₁′的层间参考图片——如果CRA图片26₀*不形成编码层视频序列21″的开始。否则，也就是说，如果图片26₁′是非RASL图片并且CRA图片26₀*形成编码层视频序列21″的开始，则编码器10对图片26₁′进行编码而不将图片26₀′作为层间参考图片。如果CRA图片26₀*形成编码层视频序列21″的开始，则编码顺序19中的先前图片可能是不可用的，因此RASL图片26₀′可能无法被正确地解码。

换句话说，根据第一方面的第二实施例的示例，上面的第一实施例(当参考图片不是RASL图片时，RASL图片被禁止作为层间参考图片)受制于以下条件：

·与EOS NAL单元之后的CRA相关联的RASL图片(参见图2)

·与CRA相关联的RASL图片(参见图3)，针对其，通过外部方式将HandleCraAsClvsStartFlag设置为1而将NoOutputBeforeRecoveryFlag设置为1。

后一种情况是API通知解码器任何CRA都被视为新的CLVS的开始的情况，并且因此处理方式与存在EOS NAL单元但是不存在此类NAL单元时的处理方式相同。

换句话说，约束(不允许RASL作为ILRP参考图片)可以以NoOutputBeforeRecoveryFlag被设置等于1(无论哪种方式：存在EOS NAL或外部方式)的关联CRA为条件，如下：

-以下约束适用于当前图片的切片的RefPicList[0]或RefPicList[1]中的每个ILRP条目(当存在时)所引用的图片：

ο图片应与当前图片位于相同AU中。

ο图片应存在于DPB中。

ο图片应具有小于当前图片的nuh_layer_id的nuh_layer_idrefPicLayerId。

ο当关联的CRA具有被设置为1的NoOutputBeforeRecoveryFlag并且当前图片不是RASL时，图片不应是RASL图片。

ο以下任何约束适用：

ο图片应为IRAP图片。

ο图片的TemporalId应小于或等于Max(0，vps_max_tid_il_ref_pics_plus1[currLayerIdx][refLayerIdx]-1)，其中currLayerIdx和refLayerIdx分别等于GeneralLayerIdx[nuh_layer_id]和GeneralLayerIdx[refpicLayerId]。

图4图示了在编码视频序列20可以被编码到视频数据流14中时编码视频序列20的示例。编码视频序列20包括第一层24₀和第二层24₁，第二层是第一层的参考层。在访问单元22′中，第二层24₀具有序列结束指示41，其指示访问单元22′是第二层24₀的编码层视频序列21₀′的编码顺序19中的最后访问单元，并且指示在编码顺序19上在访问单元22′之后的访问单元22″中开始第二层24₀的新编码层视频序列21₀″。

根据第一方面的第三实施例，编码器10被配置用于将具有序列结束指示41(也被称为序列结束标识符)的每个这样的访问单元22′和序列结束指示41插入到第一层24₁中，如图4中所图示。

因此，由于第一层24₁在访问单元22′中具有序列结束指示41，所以第一层24′的编码层视频序列21₁′的结束以访问单元22′结束，并且因此在相同的访问单元中作为第二层24₀的编码层视频序列21₀′。相应地，在层24₁中，新的编码层视频序列21₁″以访问单元22″开始，与第二层24₀的下一个编码层视频序列21₀″的开始同步。由于第一层24₁中的序列结束指示41，所以下一个编码层视频序列21₁″中的RASL图片将不会出现，这样避免了非同步编码层视频序列边界的上述问题。

关于图5描述了第三实施例的替代方案，图5图示了根据关于图4描述的场景的视频比特流。然而，根据该实施例，编码器10在访问单元22′处不一定将序列结束指示41(在示例中它可以这样做)插入在第一层24₁中。根据替代的第三实施例，编码器10被配置用于在第二层24₀中的具有序列结束指示41的访问单元22′之后的下一个访问单元22″、22″′内进行编码，其中图片26₁″将被编码到访问单元22″、22″′中，图片26₁″将使用解码器刷新而被编码到第一层24₁中并且没有前导图片的输出。换言之，下一个访问单元22″、22″′是出自按照编码顺序19在访问单元22′之后并且第一层的图片要被编码到其中的访问单元中的访问单元，并且在这些访问单元中，下一个访问单元22″、22″′是在访问单元22′之后并且最靠近访问单元22′的访问单元。在图5中，图示了第一层的两个示例，它们使用参考标记24₁和层24₂来进行参考。注意，第一层的这两个示例出于说明目而一起在图5中被示出，但是可以表示独立的示例。因此，在示例中，一个或多个这样的第一层可以存在于编码视频序列20中。在层24₂中，下一个访问单元是访问单元22″′，图片26₂″′将被编码到其中(因为访问单元22″在第一层没有图片)，其中在层24₁中，下一个访问单元是22″，图片26₁″将被编码到其中。

通过使用解码刷新对第一层24₁、24₂的图片26₁″、26₁″′进行编码，其与第二层24₀无关地进行编码，并且没有前导图片的输出，导致的事实是：将不存在依赖于作为RASL图片的第二层24₀的图片的第一层24₁、24₂的图片，其在示例中可以是图片26₀″′的情况，因为它们也可能是RASL图片。

使用解码刷新对图片26₁″、26₁″′进行编码可以例如预示着在不参考与图片26₁″、26₁″′所属于的访问单元(即，分别是访问单元22″、22″′)不同的访问单元的图片的情况下对图片26₁″、26₁″′进行编码，例如图片26₁″、26₁″′可以是IDR或CRA图片。术语图片26₁″、26₁″′的“前导图片”可以标示按照编码顺序19在图片26₁″、26₁″′之后但是按照呈现顺序18在图片26₁″、26₂″′之前的图片，这些图片依赖于按照编码顺序19在图片26₁″、26₂″′之前的图片(即，包括对它们的参考)。前导图片的示例可以是RASL图片。因此，在没有输出前导图片的情况下对图片26₁″、26₁″′进行编码可以例如预示着按照编码顺序19在图片26₁″、26₂″′之后但是按照呈现顺序在图片26₁″、26₂″′之前的第一层24₁、24₂中的图片不存在(例如没有RASL图片)，或者其被指示为未被输出。换言之，根据替代第三实施例的示例，编码器10被配置用于对第一层进行编码，使得要被编码到下一访问单元22″、22″′内的第一层24₁中的图片26₁″是编码层视频序列起始图片。

例如，将图片26₁″、26₁″′编码为IDR可能意味着在第一层24₁、24₂中不存在前导图片，例如按照编码顺序在图片26₁″、26₁″′之后的RASL图片。换句话说，例如作为IDR图片的图片26₁″可能禁止图片26₁″′是前导图片，并且因此也禁止图片26₁″′具有对RASL图片的层间参考，诸如例如图3中的图片26₁′和26₀′之间的参考。因此，使用解码刷新对图片26₁″、26₁″′进行编码并且没有前导图片输出的一个示例是将图片26₁″、26₁″′作为IDR进行编码。

替代地，图片26₁″、26₁″′可以被编码为CRA，并且可以例如使用第一层24₁、24₂中的访问单元22′中的序列结束指示41来完成无前导图片的输出。在这种情况下，在示例中，按照编码顺序在图片26₁″、26₁″′之后的前导图片可以存在于第一层24₁、24₂中，但是可以从输出中被排除，使得不正确的解码不会生效。因此，即使在层24₁的图片26₁″′依赖于层24₀的图片26₀″′并且图片26₀″′是RASL图片的情况下，也不输出图片26₀″′。

与关于图4解释的第三实施例的第一替代方案的约束相比，关于图5的第二替代示例具有如下优点：编码器10不一定必须在第一层24₁中插入序列结束指示41。

换句话说，根据第三实施例的示例，比特流约束是：当层k依赖于层1并且层1包含EOS NAL单元时，层k在相同的位置处也包含EOS NAL或者下一个AU必须包含用于第k层的CLVSS图片(例如IDR)。

2.图片输出定时方面

这个部分描述了根据第二方面的实施例，该方面包括第一至六个子方面。参照图1描述了根据第二方面的实施例，其细节和特征可以可选地被包括在根据第二方面的实施例中。此外，第1部分中描述的细节可以可选地应用于第二方面的实施例，例如有关图片的编码类型、图片之间的依赖关系、编码视频层序列等的详细信息。

如关于图1所描述的，解码器50解码视频比特流14或其一部分以便提供解码视频序列51。解码器50可以在解码图片缓冲器(DPB)中提供解码视频序列51的解码图片53。根据第二方面的一些实施例可以涉及来自解码图片缓冲器的解码图片53的输出定时，解码图片53例如可以从解码图片缓冲器中被提供给显示器以用于呈现。解码器50可以根据呈现顺序18将解码图片53提供给解码图片缓冲器。如关于图1所描述的，解码器50不一定必须解码和/或输出视频比特流14的所有图片，但是可以解码和/或输出编码到视频比特流14中的图片子集，该图片子集可以通过与图片相关联的各层和/或通过图片的时间子集的定义来定义。时间子集可以通过时间层来定义，如关于图6所描述的。

图6图示了编码视频序列20的时间层的示例。图6图示了包括第一时间子层25₀的图片26的层24₀。另一层24₁包括第二时间层25₁的图片。第一时间子层25₀和第二时间子层25₁可以具有相同的帧率，如图6中所图示，但是第一时间子层25₀的图片可以属于与第二时间子层25₁的图片不同的访问单元22，也就是说，第一时间子层25₀的图片可能属于与第二时间子层25₁的图片不同的时间瞬时。注意，在图6中，图片26根据呈现顺序18而不是编码顺序19来布置。图6图示了层的另一示例，即层24₂，其包括针对第一时间子层25₀和第二时间子层25₁中的每一个的图片。因此，层24₂具有比层24₀和24₁更高的帧率。注意，图6中所图示的层的组合是说明性示例，并且编码视频序列可以包括层的任何组合，每个层可以包括一个或多个时间子层。因此，访问单元22中的每一个可以包括一个或多个层24的图片。

时间子层可以具有层级顺序，其可以例如通过与时间子层相关联的索引来定义。例如，第二时间子层25₁在层级顺序中可以高于第一时间子层25₀。

解码器50可以例如通过选择用于解码的最大时间子层来选择用于解码的包括在视频比特流14中的时间子层中的一个或多个。也就是说，解码器可以将在层级顺序中等于或低于最大时间子层的所有时间子层进行解码。

例如，解码器50可以接收指示要被解码到哪个时间子层视频比特流14的指令。在其他示例中，解码器50可以自行确定要被解码的最大时间子层。换句话说，上述要由解码器50解码的图片26的时间子集可以通过选择要被解码的最大时间子层来定义。

如上面所提及，可以通过选择用于解码的包括在视频比特流14中的层24的层子集来进一步定义要被解码的图片子集26。视频比特流14可以为可解码比特流提供若干选择。例如，视频比特流14的单层可以表示可解码比特流，其可以独立于其他层而由解码器50解码。替代地，视频比特流14的层组合或所有层可以表示解码比特流并且可以被选择用于解码。例如，视频比特流14可以包括OLS指示，例如视频比特流14的描述性数据23。OLS指示可以指示一个或多个输出层集合(OLS)。每个OLS可以指示视频比特流14的层24中的一个或多个属于OLS。换句话说，OLS可以包括层24中的一个或多个或所有层。在示例中，OLS的层中的一个或多个或所有层可以被指示为OLS的输出层。OLS可以可选地进一步包括非输出层。例如，在质量可缩放比特流的示例中，OLS的输出层的参考层可以被包括在OLS中，因为对参考层进行参考的输出层可能需要参考层以用于被解码，尽管参考层本身不一定必须是输出层。

解码器50可以选择在视频比特流14的OLS指示中指示的OLS中的OLS以用于解码，例如基于由外部方式所提供的指令。在其他示例中，解码器50可以自行选择要被解码的OLS。因此，可以通过选择用于解码的OLS和最大时间子层来定义要被解码的比特流。

例如，解码器50可以为作为要被解码的OLS的输出层的一部分并被包括在图片的时间子集中(例如，通过最大时间子层定义)的每个图片提供解码图片53到解码图片缓冲器。

例如，要被解码的最大时间子层可以由下述变量Htid表示，其可以被提供给解码器50或由解码器50推导。

解码器50可以在输出时间从输出缓冲器(即解码图片缓冲器)输出解码图片53。换句话说，解码器50可以为每个解码图片53确定要输出相应图片的输出时间。例如，可以在视频比特流14的描述性数据内将图片的输出时间提供给解码器50。例如，图片的输出时间可以由视频比特流14中的图片定时(PT)补充增强信息(SEI)消息提供。例如，可以为访问单元22中的每一个提供PT SEI消息。然而，视频比特流14不一定必须提供这样的输出定时信息。相反，解码器50可以为图片确定输出定时。例如，在由解码器50解码的比特流具有恒定的输出图片速率的情况下，解码器50可以自行推导图片的输出定时。

(例如VVC的)当前规范包含以下文本来表达比特流具有恒定的输出图片速率。

对于包含图片n的CVS，当Htid等于i并且fixed_pic_rate_general_flag[i]等于1，并且图片n是输出的图片而不是输出的比特流中的最后一个图片(按照输出顺序)时，为DpbOutputElementalInterval[n]计算出的值应等于ClockTick*(elemental_duration_in_tc_minus1[i]+1)，其中当对于为在公式C.16中的使用所指定的按照输出顺序在后的图片nextPicInOutputOrder，以下条件之一为真时，ClockTick如公式C.1中指定(使用包含图片n的CVS的ClockTick的值)：

-图片nextPicInOutputOrder与图片n在同一个CVS中。

-图片nextPicInOutputOrder在不同的CVS中并且fixed_pic_rate_general_flag[i]在包含图片nextPicInOutputOrder的CVS中等于1，ClockTick的值对于两个CVS是相同的，并且elemental_duration_in_tc_minus1[i]的值对于两个CVS是相同的。

对于包含图片n的CVS，当Htid等于i并且fixed_pic_rate_within_cvs_flag[i]等于1，并且图片n是输出的图片而不是输出的CVS中的最后一张图片(按照输出顺序)时，为DpbOutputElementalInterval[n]计算出的值应等于ClockTick*(elemental_duration_in_tc_minus1[i]+1)，其中当按照为在公式C.16中的使用所指定的输出顺序nextPicInOutputOrder的以下图片与图片n在同一CVS中时，ClockTick如公式C.1中指定(使用包含图片n的CVS的ClockTick的值)：

总之，SPS中存在两个控制标志(序列参数集，例如与每个编码视频序列相关联的描述性数据，例如编码视频序列(CVS)20)作为假设参考解码器(HRD)参数的一部分。一个控制标志是fixed_pic_rate_within_cvs_flag，它指示在一个CLVS(或CVS)内所有输出图片具有等距的输出时间。另一个控制标志是fixed_pic_rate_general_flag，它指示：只要两个CVS的ClockTick的值相同，并且elemental_duration_in_tc_minus1的值相同，则包含这样一个标志的从引用SPS的第一AU开始的CVS填充也在CVS的边界处的输出图片与前一个CVS之间的等距输出时间。

请注意，为每个子层(例如，时间子层25)给出输出速率是否恒定的信令(fixed_pic_rate_within_cvs_flag)。这意味着如果生成的比特流允许时间可伸缩性，则针对当接收到不同数量的子层时可以实现的每个可能的帧率用信号发送(恒定图片速率的)这个属性。HTid指的是存在于比特流中的最高时间ID，例如如果最初比特流具有时间id从0到3的4个子层，并且最高的被丢弃，则HTid变为2，并且在解码器处考虑HTid＝2的参数fixed_pic_rate_within_cvs_flag以评估输出速率是否恒定。

问题在于，当如图7中所指示地执行涉及CVS级联的拼接或编辑时，此解决方案需要修改SPS(例如，fixed_pic_rate_general_flag)。

图7图示了SPS修改的示例，其可以是对先前编码视频序列的编码视频序列。图7的上面板图示了第一种情况，其中第一视频序列20₁和第二视频序列20₂的拼接产生比特流，其中由连续图片之间的定时间隔71定义的图片速率在第一视频序列20₁和第二视频序列20₂之间的边界处是恒定的。图7的下面板图示了第二种情况，其中定时间隔71和第一视频序列20₁和第二视频序列20₂之间的边界在边界处不是恒定的。

需要注意的是，在图7和以下的图8-图10和图12中，属于共同时间子层25的图片在关于它们的垂直位置的共同水平上被图示。

在比特流中指示此信息(例如fixed_pic_rate_general_flag)的好处之一是，除了用信号发送比特流具有恒定输出帧率之外，它还允许不使用诸如缓冲周期SEI消息或图片定时SEI消息之类的太复杂的HRD参数(或忽略它)来推导解码图片的输出时间，而是使用恒定输出帧率的属性来推导输出时间。也就是说，例如，PT SEI消息和/或BP SEI消息可以被省略，即不存在于视频比特流14中，或者在推导解码图片的输出时间时可以被解码器50忽略。

规范必须以这种方式(例如，不使用PT和/或BP SEI消息)推导输出时间的一个问题是，无法确定CVS中的第一AU的输出时间。如果人们知道CVS的第一AU的输出时间，那么当标志通过简单地添加信号增量(ClockTick*(elemental_duration_in_tc_minus1[i]+1))到前一个输出图片而指示CVS内的输出时间是恒定的时，就可以很容易地确定其他图片的输出时间。

另请注意，当前规范指示以下内容：

elemental_duration_in_tc_minus1[i]加1(当存在时)指定当Htid等于i时在按照如下指定的输出顺序指定连续图片的HRD输出时间的像元单元之间以时钟滴答为单位的的时间距离。elemental_duration_in_tc_minus1[i]的值应在0到2047的范围内(包括端值)。

对于包含图片n的CVS，当Htid等于i并且fixed_pic_rate_general_flag[i]等于1，并且图片n是输出的图片而不是输出的比特流中的最后一张图片(按照输出顺序)时，变量DpbOutputElementalInterval[n]的值由以下指定：

DpbOutputElementalInterval[n]＝DpbOutputInterval[n]÷elementalOutputPeriods (113)

其中DpbOutputInterval[n]在公式C.16中被指定，并且elementalOutputPeriods被指定如下：

-如果针对图片n存在PT SEI消息，则elementalOutputPeriods等于pt_display_elemental_periods_minus1+1的值。

-否则，elementalOutputPeriods等于1。

这意味着恒定输出速率不一定适用于已解码的图片，但是适用于被显示/输出的图片，即它不适用于DpbOutputInterval[n]，但是适用于DpbOutputElementalInterval[n]。换句话说，恒定输出速率包括一帧的重复，即elementalOutputPeriods不等于1意味着某张图片被重复。图8给出了一个示例。

图8图示了视频比特流的示例，例如图7的上面板的示例，其中在访问单元22*中没有图片。在可能发生的这种情形中，例如，当图片在传输期间被丢失或被不正确地解码或被排除在输出之外或不存在时，可以重复先前访问单元的图片26*以便获得恒定帧率。例如，图片26*所属于的访问单元中可以存在指示，该指示可指示访问单元的图片要被重复。例如，该指示可以指示重复的数量。

例如，DpbOutputInterval[n]可以表示针对访问单元22的输出的时间间隔的持续时间，即属于共同时间帧的内容的持续时间，诸如访问单元的图片的重复输出，例如图8中的访问单元输出间隔61。对照而言，DpbOutputElementalInterval[n]可以表示单个元素的输出的时间间隔，即，针对图片或者针对图片的重复，例如图8中的图片输出间隔63。

下面被用于重复的语法元素(pt_display_elemental_periods_minus1)不一定总是帧重复。当作为帧进行编码和解码的帧在显示步骤中被显示为场时，它也可能被用于隔行扫描内容。

请参阅以下规范文本：

当sps_field_seq_flag等于0并且fixed_pic_rate_within_cvs_flag[TemporalId]等于1时，大于0的pt_display_elemental_periods_minus1值可以被用来指示使用等于DpbOutputElementalInterval[n]的固定帧刷新间隔的显示器的帧重复周期，如公式113所示。

以下语法示例及其语义是说明性的并且应便于理解：

/>

PT SEI消息为与SEI消息相关联的AU提供CPB移除延迟和DPB输出延迟信息。

如果当前AU所适用的BP SEI消息的bp_nal_hrd_params_present_flag或bp_vcl_hrd_params_present_flag等于1，则变量CpbDpbDelaysPresentFlag被设置等于1，否则，CpbDpbDelaysPresentFlag被设置等于0。

PT SEI消息的存在被指定如下：

-如果CpbDpbDelaysPresentFlag等于1，则PT SEI消息应与当前AU相关联。

-否则(CpbDpbDelaysPresentFlag等于0)，不应存在与当前AU相关联的PT SEI消息。

PT SEI消息语法中的TemporalId是包含PT SEI消息的SEI NAL单元的TemporalId。

pt_cpb_removal_delay_minus1[i]加1被用来计算当Htid等于i时在与PT SEI消息相关联的AU和按照解码顺序包含BP SEI消息的前一个AU的标称CPB移除时间之间的时钟滴答数。该值还被用来计算AU数据到达HSS的CPB中的最早可能时间。pt_cpb_removal_delay_minus1[i]的长度是bp_cpb_removal_delay_length_minus1+1比特。

pt_cpb_alt_timing_info_present_flag等于1指定语法元素

pt_nal_cpb_alt_initial_removal_delay_delta[i][j]、pt_nal_cpb_alt_initial_removal_offset_delta[i][j]、pt_nal_cpb_delay_offset[i]、pt_nal_dpb_delay_offset[i]、pt_vcl_cpb_alt_initial_removal_delay_delta[i][j]、pt_vcl_cpb_alt_initial_removal_offset_delta[i][j]、pt_vcl_cpb_delay_offset[i]和pt_vcl_dpb_delay_offset[i]可以存在于PT SEI消息中。pt_cpb_alt_timing_info_present_flag等于0指定这些语法元素不存在于PT SEI消息中。当关联图片是RASL图片时，pt_cpb_alt_timing_info_present_flag的值应等于0。

注1-对于按照解码顺序在IRAP图片之后的多于一个AU，pt_cpb_alt_timing_info_present_flag的值可能等于1。然而，替代定时仅被应用于具有等于1的pt_cpb_alt_timing_info_present_flag并且按照解码顺序在IRAP图片之后的第一AU。

pt_nal_cpb_alt_initial_removal_delay_delta[i][j]以90kHz时钟为单位指定针对NAL HRD的第j个CPB的第i个子层的替代初始CPB移除延迟增量。pt_nal_cpb_alt_initial_removal_delay_delta[i][j]的长度是bp_cpb_initial_removal_delay_length_minus1+1比特。

当pt_cpb_alt_timing_info_present_flag等于1并且pt_nal_cpb_alt_initial_removal_delay_delta[i][j]对于小于bp_max_sublayers_minus1的任何i值而言都不存在时，其值被推断为等于0。

pt_nal_cpb_alt_initial_removal_offset_delta[i][j]以90kHz时钟为单位指定针对NAL HRD的第j个CPB的第i个子层的替代初始CPB移除偏移增量。pt_nal_cpb_alt_initial_removal_offset_delta[i][j]的长度是bp_cpb_initial_removal_delay_length_minus1+1比特。

当pt_cpb_alt_timing_info_present_flag等于1并且pt_nal_cpb_alt_initial_removal_offset_delta[i][j]对于小于bp_max_sublayers_minus1的任何i值而言都不存在时，其值被推断为等于0。

pt_nal_cpb_delay_offset[i]指定，对于NAL HRD的第i个子层，当与PT SEI消息相关联的AU按照解码顺序直接跟在与BP SEI消息相关联的AU之后时，在推导与PT SEI消息相关联的AU和按照解码顺序跟在之后的AU的标称CPB移除时间中使用的偏移。pt_nal_cpb_delay_offset[i]的长度是bp_cpb_removal_delay_length_minus1+1比特。当不存在时，pt_nal_cpb_delay_offset[i]的值被推断为等于0。

pt_nal_dpb_delay_offset[i]指定，对于NAL HRD的第i个子层，当与PT SEI消息相关联的AU按照解码顺序直接跟在与BP SEI消息相关联的IRAP AU之后时，在推导与BPSEI消息相关联的IRAP AU的DPB输出时间时使用的偏移。pt_nal_dpb_delay_offset[i]的长度是bp_dpb_output_delay_length_minus1+1比特。当不存在时，pt_nal_dpb_delay_offset[i]的值被推断为等于0。

pt_vcl_cpb_alt_initial_removal_delay_delta[i][j]以90kHz时钟为单位指定针对VCL HRD的第j个CPB的第i个子层的替代初始CPB移除延迟增量。pt_vcl_cpb_alt_initial_removal_delay_delta[i][j]的长度是bp_cpb_initial_removal_delay_length_minus1+1比特。

当pt_cpb_alt_timing_info_present_flag等于1并且pt_vcl_cpb_alt_initial_removal_delay_delta[i][j]对于小于bp_max_sublayers_minus1的任何i值而言都不存在时，其值被推断为等于0。

pt_vcl_cpb_alt_initial_removal_offset_delta[i][j]以90kHz时钟为单位指定针对VCL HRD的第j个CPB的第i个子层的替代初始CPB移除偏移增量。pt_vcl_cpb_alt_initial_removal_offset_delta[i][j]的长度是bp_cpb_initial_removal_delay_length_minus1+1比特。

当pt_cpb_alt_timing_info_present_flag等于1并且pt_vcl_cpb_alt_initial_removal_offset_delta[i][j]对于小于bp_max_sublayers_minus1的任何i值而言都不存在时，其值被推断为等于0。

pt_vcl_cpb_delay_offset[i]指定，对于VCL HRD的第i个子层，当与PT SEI消息相关联的AU按照解码顺序直接跟在与BP SEI消息相关联的AU之后时，在推导与PT SEI消息相关联的AU和按照解码顺序跟在之后的AU的标称CPB移除时间中使用的偏移。pt_vcl_cpb_delay_offset[i]的长度是bp_cpb_removal_delay_length_minus1+1比特。当不存在时，pt_vcl_cpb_delay_offset[i]的值被推断为等于0。

pt_vcl_dpb_delay_offset[i]指定，对于VCL HRD的第i个子层，当与PT SEI消息相关联的AU按照解码顺序直接跟在与BP SEI消息相关联的IRAP AU之后时，在推导与BPSEI消息相关联的IRAP AU的DPB输出时间时使用的偏移。pt_vcl_dpb_delay_offset[i]的长度是bp_dpb_output_delay_length_minus1+1比特。当不存在时，pt_vcl_dpb_delay_offset[i]的值被推断为等于0。

当前图片的变量BpResetFlag被推导如下：

-如果当前图片与BP SEI消息相关联，则BpResetFlag被设置等于1。

-否则，BpResetFlag被设置等于0。

pt_sublayer_delays_present_flag[i]等于1指定了pt_cpb_removal_delay_delta_idx[i]或pt_cpb_removal_delay_minus1[i]，和pt_du_common_cpb_removal_delay_increment_minus1[i]或pt_du_cpb_removal_delay_delta_minus1[][]存在于TemporalId等于i的子层。sublayer_delays_present_flag[i]等于0指定pt_cpb_removal_delay_delta_idx[i]和pt_cpb_removal_delay_minus1[i]以及pt_du_common_cpb_removal_delay_increment_minus1[i]和pt_du_cpb_removal_delay_increment_minus1[]对于TemporalId等于i的子层而言都不存在。pt_sublayer_delays_present_flag[bp_max_sublayers_minus1]的值被推断为等于1。当不存在时，对于0到bp_max_sublayers_minus1-1范围(包括端值)内的任何i，pt_sublayer_delays_present_flag[i]的值被推断为等于0。

pt_cpb_removal_delay_delta_enabled_flag[i]等于1指定pt_cpb_removal_delay_delta_idx[i]存在于PT SEI消息中。pt_cpb_removal_delay_delta_enabled_flag[i]等于0指定pt_cpb_removal_delay_delta_idx[i]不存在于PT SEI消息中。当不存在时，pt_cpb_removal_delay_delta_enabled_flag[i]的值被推断为等于0。

pt_cpb_removal_delay_delta_idx[i]指定在bp_cpb_removal_delay_delta_val[j]列表中的应用于等于i的Htid的CPB移除增量的索引，其中j的范围从0到bp_num_cpb_removal_delay_deltas_minus1(包括端值)。pt_cpb_removal_delay_delta_idx[i]的长度是Ceil(Log2(bp_num_cpb_removal_delay_deltas_minus1+1))比特。当pt_cpb_removal_delay_delta_idx[i]不存在并且pt_cpb_removal_delay_delta_enabled_flag[i]等于1时，pt_cpb_removal_delay_delta_idx[i]的值被推断为等于0。

当前图片的变量CpbRemovalDelayMsb[i]和CpbRemovalDelayVal[i]被推导如下：

-如果当前AU是对HRD进行初始化的AU，则CpbRemovalDelayMsb[i]和CpbRemovalDelayVal[i]二者都被设置等于0，并且cpbRemovalDelayValTmp[i]的值被设置等于pt_cpb_removal_delay_minus1[i]+1。

-否则，让图片prevNonDiscardablepic是按照解码顺序具有TemporalId等于0的前一个图片，它不是RASL或RADL，对于图片prevNonDiscardablePic，让prevCpbRemovalDelayMinus1[i]、prevCpbRemovalDelayMsb[i]和prevBpResetFlag分别被设置等于cpbRemovalDelayValTmp[i]-1、CpbRemovalDelayMsb[i]和BpResetFlag的值，并且以下适用：

-CpbRemovalDelayMsb[i]被推导如下：

cpbRemovalDelayValTmp[i]＝pt_cpb_removal_delay_delta_enabled_flag[i]？

pt_cpb_removal_delay_minus1[bp_max_sublayers_minus1]+1+

bp_cpb_removal_delay_delta_val[pt_cpb_removal_delay_delta_idx[i]]：

pt_cpb_removal_delay_minus1[i]+1

如果(prevBpResetFlag)

CpbRemovalDelayMsb[i]＝0

否则，如果(cpbRemovalDelayValTmp[i]<prevCpbRemovalDelayMinus1[i])

CpbRemovalDelayMsb[i]＝prevCpbRemovalDelayMsb[i]+2^{bp _cpb_removal_delay_length_minus1+1}(D.1)

否则

CpbRemovalDelayMsb[i]＝prevCpbRemovalDelayMsb[i]

-CpbRemovalDelayVal被推导如下：

如果(pt_sublayer_delays_present_flag[i])

CpbRemovalDelayVal[i]＝CpbRemovalDelayMsb[i]+cpbRemovalDelayValTmp[i](D.2)

否则

CpbRemovalDelayVal[i]＝CpbRemovalDelayVal[i+1]

CpbRemovalDelayVal[i]的值应在1到2³²的范围内(包括端值)。

变量AuDpbOutputDelta[i]被推导如下：

AuDpbOutputDelta[i]＝CpbRemovalDelayVal[i]-

(pt_cpb_removal_delay_minus1[bp_max_sublayers_minus1]+1)-(D.3)

(i＝＝bp_max_sublayers_minus1？0：bp_dpb_output_tid_offset[i])

其中bp_dpb_output_tid_offset[i]的值在关联的BP SEI消息中被找到。

pt_dpb_output_delay被用来计算图片的DPB输出时间。它指定在解码图片从DPB输出之前从CPB中移除AU之后要等待多少个时钟滴答。

注2-当解码图片仍被标注为“被用于短期参考”或“被用于长期参考”时，解码图片不会在其输出时间从DPB中被移除。

pt_dpb_output_delay的长度是bp_dpb_output_delay_length_minus1+1比特。当max_dec_pic_buffering_minus1[Htid]等于0时，pt_dpb_output_delay的值应等于0。

从符合输出定时的解码器输出的任何图片的pt_dpb_output_delay推导的输出时间按照解码顺序应在任何后续CVS中从所有图片的pt_dpb_output_delay推导的输出时间之前。

由该语法元素的值所建立的图片输出顺序应与由PicOrderCntVal的值所建立的顺序相同。

对于“碰撞”过程未输出的图片，因为它们按照解码顺序先于ph_no_output_of_prior_pics_flag等于1或被推断为等于1的CLVSS图片，所以从pt_dpb_output_delay推导的输出时间应随着PicOrderCntVal的值相对于同一CVS内的所有图片的增加而增加。

pt_dpb_output_du_delay被用来计算当DecodingUnitHrdFlag等于1时图片的DPB输出时间。它指定在解码图片从DPB输出之前在从CPB中移除一个AU中的最后一个DU之后等待多少个子时钟滴答。

语法元素pt_dpb_output_du_delay的长度由bp_dpb_output_delay_du_length_minus1+1以比特为单位给出。

从符合输出定时的解码器输出的任何图片的pt_dpb_output_du_delay推导的输出时间按照解码顺序应在任何后续CVS中从所有图片的pt_dpb_output_du_delay推导的输出时间之前。

由该语法元素的值所建立的图片输出顺序应与由PicOrderCntVal的值所建立的顺序相同。

对于“碰撞”过程未输出的图片，因为它们按照解码顺序先于ph_no_output_of_prior_pics_flag等于1或被推断为等于1的CLVSS图片，所以从pt_dpb_output_du_delay推导的输出时间应随着PicOrderCntVal的值相对于同一CVS内的所有图片的增加而增加。

对于CVS中的任意两张图片，DecodingUnitHrdFlag＝1时两个图片的输出时间之间的差异应与DecodingUnitHrdFlag＝0时的相同差异相同。

pt_num_decoding_units_minus1加1指定与PT SEI消息相关联的AU中的DU的数量。pt_num_decoding_units_minus1的值应在0到PicSizeInCtbsY-1的范围内(包括端值)。

pt_du_common_cpb_removal_delay_flag等于1指定语法元素pt_du_common_cpb_removal_delay_increment_minus1[i]存在。pt_du_common_cpb_removal_delay_flag等于0指定语法元素pt_du_common_cpb_removal_delay_increment_minus1[i]不存在。当不存在时，pt_du_common_cpb_removal_delay_flag被推断为等于0。

pt_du_common_cpb_removel_delay_encrement_minus1[i]加1指定了当Htid等于i时，与PT SEI消息相关联的AU中按照解码顺序的任意两个连续DU的标称CPB移除时间之间的持续时间，以时钟子滴答为单位(见第C.1条)。该值还被用来计算DU数据到达HSS的CPB中的最早可能时间，如附件C中所指定。该语法元素的长度为bp_du_cpb_removal_delay_increment_length_minus1+1比特。

当pt_du_common_cpb_removal_delay_increment_minus1[i]对于小于bp_max_sublayers_minus1的任何i值而言都不存在时，其值被推断为等于

pt_du_common_cpb_removal_delay_increment_minus1[bp_max_sublayers_minus1]。

pt_num_nalus_in_du_minus1[i]加1指定与PT SEI消息相关联的AU的第i个DU中的NAL单元的数量。pt_num_nalus_in_du_minus1[i]的值应在0到PicSizeInCtbsY-1的范围内(包括端值)。

AU的第一个DU由AU中按照解码顺序排列的第一个pt_num_nalus_in_du_minus1[0]+1个连续NAL单元组成。AU的第i个(i大于0)DU由按照解码顺序紧跟在AU的前一个DU中的最后一个NAL单元之后的pt_num_nalus_in_du_minus1[i]+1个连续NAL单元组成。每个DU中应至少有一个VCL NAL单元。与VCL NAL单元相关联的所有非VCL NAL单元都应被包括在与VCL NAL单元相同的DU中。

pt_du_cpb_removal_delay_increment_minus1[i][j]加1指定当Htid等于j时在与PT SEI消息相关联的AU中按照解码顺序在第(i+1)个DU和第i个DU的标称CPB移除时间之间以时钟子滴答为单位的持续时间。该值还被用来计算DU数据到达HSS的CPB中的最早可能时间，如附件C中所指定的。该语法元素的长度是bp_du_cpb_removal_delay_increment_length_minus1+1比特。

当pt_du_cpb_removal_delay_increment_minus1[i][j]对于小于bp_max_sublayers_minus1的任何j值而言都不存在时，其值被推断为等于

pt_du_cpb_removal_delay_increment_minus1[i][bp_max_sublayers_minus1]。

pt_delay_for_concatenation_ensured_flag等于1指定最终到达时间和与PTSEI消息相关联的AU的CPB移除时间之间的差异是这样的，当后面跟着具有BP SEI消息的AU时，其中bp_concatenation_flag等于1并且InitCpbRemovalDelay[][][Ed.(YK)：检查这里使用“InitCpbRemovalDelay[Htid][ScIdx]”是否准确。]小于或等于bp_max_initial_removal_delay_for_concatenation的值，利用bp_cpb_removal_delay_delta_minus1计算出的随后的AU从CPB的标称移除时间适用。

pt_delay_for_concatenation_ensured_flag等于0指定与PT SEI消息相关联的AU的最终到达时间和CPB移除时间之间的差异可以或可以不超过max_val_initial_removal_delay_for_splicing的值。

pt_display_elemental_periods_minus1加1，当sps_field_seq_flag等于0并且fixed_pic_rate_within_cvs_flag[TemporalId]等于1时，指示当前编码图片针对显示模型所占用的像元图片周期间隔的数量。

当fixed_pic_rate_within_cvs_flag[TemporalId]等于0或sps_field_seq_flag等于1时，pt_display_elemental_periods_minus1的值应等于0。

当sps_field_seq_flag等于0并且fixed_pic_rate_within_cvs_flag[TemporalId]等于1时，大于0的pt_display_elemental_periods_minus1值可以被用来指示使用等于DpbOutputElementalInterval[n]的固定帧刷新间隔的显示器的帧重复周期，如公式112所给出。

让我们继续讨论本文所解决的问题。

需要解决的另一个问题是，有时即使PT SEI消息可能不存在，也需要获得类似的结果，即允许在不存在PT SEI消息的情况下进行重复，因为PT SEI消息是可选的。

另请注意，与帧场信息SEI消息(其在sps_field_seq_flag等于1时需要，在等于0时是可选的)以及PT SEI消息(pt_display_elemental_periods_minus1)中的信息存在交互。这样的SEI(帧场信息SEI)也具有与PT SEI消息具有相同值的语法元素。即：

display_elemental_periods_minus1加1，当存在时(其可能在field_pic_flag关闭时才被编码，或者其在field_pic_flag打开时可能不被编码)并且FixedPicRateWithinCvsFlag等于1时，指示当前编码图片针对显示模型所占用的像元图片周期间隔的数量。display_elemental_periods_minus1的值应等于DisplayElementalPeriods-1并且被约束如下：

-如果display_fields_from_frame_flag等于1，则display_elemental_periods_minus1应等于1或2。

-否则，当FixedPicRateWithinCvsFlag等于0时，display_elemental_periods_minus1应等于0。

表14中指定了field_pic_flag(在帧场SEI中；应该等于sps_field_seq_flag)、FixedPicRateWithinCvsFlag、bottom_field_flag、display_fields_from_frame_flag、top_field_first_flag和display_elemental_periods_minus1(通过DisplayElementalPeriods)的组合的解释，其中不存在的语法元素以“-”来指示。未在表14中列出的语法元素的组合被保留以供ITU-T|ISO/IEC将来使用并且不应存在于符合本规范的此版本的比特流中。

注1-当FixedPicRateWithinCvsFlag等于1时，所指示的显示时间被约束为解释针对显示模型的持续时间，该显示模型遵循由帧场信息SEI消息的语法元素的值所指示的显示模式(尽管显示过程超出了本规范的范围)。尽管视频解码器模型可能被指定为仅输出整个裁剪的解码图片，但是建模的显示行为有时还包括其他步骤，诸如当display_fields_from_frame_flag等于0时在多个时间间隔内重复显示一个帧或者当display_fields_from_frame_flag等于1时顺序地显示一个帧的各个场。

注2-帧加倍可以被用来促进显示，例如在50Hz逐行扫描显示器上显示25Hz逐行扫描视频，或者在60Hz逐行扫描显示器上显示30Hz逐行扫描视频。在每隔一帧上的交替组合中使用帧加倍和帧三倍化可以被用来促进在60Hz逐行扫描显示器上显示24Hz逐行扫描视频。

表14-帧场信息语法元素的解释

请注意，当部分输出层包含场(例如，在隔行扫描视频中，图片可以被分区为第一场和第二场，第一场和第二场在连续时间实例中被输出)时，多层存在问题。因此，第一场的图片可以被认为属于第一时间子层，例如25₀，并且第二场的图片可以被认为属于第二时间子层，例如25₁，具有场的层的视频序列因此具有更高的帧率，例如双帧率)而一些层没有，因为两个集合在一起(即，例如，包括两个层的比特流，一个有场和一个没有场)将具有不同的输出帧率；这意味着在更一般的情况下，对于具有不同输出帧率的输出层的任何多层比特流都会出现问题，如下面在图9中所示。

图9图示了具有第一层24₁和第二层24₀的视频比特流。第一层24₁包括三个时间子层，即子层25₀、子层25₁和子层25₂。相比之下，第二层24₀包括第一时间子层25₀、第二时间子层25₁的图片子层、但不包括第三时间子层25₂的图片。因此，第二层24₀作为第一层的较低帧率，例如一半帧率。

换句话说，图9图示了具有不同帧率的两层比特流的示例。例如，较高层24₁可以具有场而较低层24₀可以具有逐行帧(例如，无隔行扫描)。

在图9的示例中，最高层24₁具有与较低层24₀一样的两倍帧率并且没有重复。但是，如果针对OLS用信号发送固定帧率，则实际上可能期望在最低层24₀中进行重复，如下图10中所示。

图10图示了图9的视频比特流的示例，其中在具有比较高层24₁更低的编码帧率的较低层24₀中的输出帧被重复。由于输出帧的重复，两层的输出帧率可能是相等的。与图8类似，层24₀的访问单元输出间隔63包括多个图片输出间隔63。

综上所述，在本发明的这个方面中解决了以下问题，编号指示子方面，其实施例在相应部分中被描述：

1.输出层集合的输出层中的不同帧率(例如，具有增强层中的场和基础层中的帧的多视图)

2.PT SEI消息与帧场信息SEI消息的交互

3.没有PT SEI消息的帧/场重复

4.跨CVS的恒定输出帧率被推导，而不是用信号发送，否则在拼接之后需要SPS重写。

5.在没有不存在或未使用PT SEI消息的情况下推导输出时间。

6.无输出图片的处理和对恒定输出帧率的影响：事实上，尽管上面没有提及，但是如果一些图片未被输出，则当PT SEI消息中不存在或PT SEI消息被忽略时，推导输出时间可能会很复杂。

在开始描述第二方面的子方面之前，描述用于确定解码图片的输出时间的上述部件的简要概述。例如，视频比特流14可以包括PT SEI消息，其传达关于图片输出定时的信息。PT SEI消息可以包括图片输出乘法语法元素，例如pt_display_elemental_periods_minus1。例如，PT SEI消息可以用信号发送关于访问单元级别的信息。换句话说，PT SEI消息可以与访问单元22相关。也就是说，PT SEI消息可以对一个访问单元22内的所有图片有效。在PT SEI消息中用信号发送的图片输出乘法语法元素可以揭示关于各个PT SEI消息所引用的访问单元是否经受相乘图片输出的信息，例如针对图10的较低层24₀所示。例如，pt_display_elemental_periods_minus1为零可以预示着图片输出未被相乘而pt_display_elemental_periods_minus1＞0可以指示图片输出要被重复。如果图片输出被相乘，则例如通过pt_display_elemental_periods_minus1的值，图片输出乘法语法元素可以指示要从相应访问单元的一个图片中生成多少输出图片。

值得注意的是，解码器可以在pt_display_elemental_periods_minus1上推导名为elementalOutputPeriods的变量。例如，解码器50可以将像元输出周期设置为等于pt_display_elemental_periods_minus1+1。

换句话说，编码器10可以编码、视频比特流14可以包括、并且解码器50可以解码PTSEI消息。

此外，视频比特流14可以包括由编码器10编码并由解码器50解码的帧场补充增强信息(帧场SEI)消息，也被称为FFI SEI消息，其在预定访问单元的帧场结构中传达信息，例如，该访问单元的图片是否被编码为帧或场，并且如果被编码为帧，是以帧还是变成场以进行图片输出，以及使用底场和顶场(第一场和第二场)之间的什么顺序进行图片输出。例如，FFI SEI消息可以包括进一步图片输出乘法语法元素，例如，FFI_display_elemental_periods_minus1。例如，进一步图片输出乘法语法元素可以指示，例如，对于帧场的使用情况，编码图片是否要被重复，即，FFI SEI消息所引用的图片是否经受多图片输出。需要注意的是，与PT SEI消息对照而言，FFI SEI可以是指单个图片而不是整个访问单元。

在下文中，PT SEI消息的上述图片输出乘法语法元素可以被称为PT乘法指示符，而FFI SEI消息的进一步图片输出乘法语法元素可以被称为FF乘法指示符。

例如，在推导图片要经受相乘图片输出的信息后，解码器50可以分别根据由图片输出乘法语法元素或进一步图片输出乘法语法元素所指示的数量而针对相应访问单元(在PT乘法指示的情况下)或相应图片(例如，在FF乘法指示的情况下)来设置图片输出次数，例如，出自解码帧中的场的重复或生成。换言之，解码器50可以向输出缓冲器提供相应图片的一个或多个重复。需要注意的是，根据本公开的实施例，这可能仅适用于某些情形。

2.1输出层集合的不同输出层的不同帧率

如所讨论的，当输出层集合的不同输出层中存在不同的帧率时，可能会出现问题，因为所有HRD SEI消息(BP、PT和DUI)全局应用于每个相应的AU，即，应用于AU内的每个图片，而没有在层之间进行区分，并且因此不可能用pt_display_elemental_periods_minus1的单个值来指示不同的重复模式或elementalOutputPeriods的不同值。注意，这也可以适用于其他子方面的实施例，例如子方面2.3和2.5。

因此，在一个实施例中，在PT SEI消息中存在选通标志(例如pt_display_elemental_periods_present_flag)，其指示是否在PT SEI消息内设置elementalOutputPeriods。

因此，根据一个实施例，解码器50可以为访问单元22解码PT SEI消息。解码器50可以从图片定时补充增强信息消息中解码选通标志(例如pt_display_elemental_periods_present_flag)，并且如果选通标志处于第一状态，则解码图片输出乘法语法元素(例如pt_display_elemental_periods_minus1)，其揭示关于预定访问单元经受相乘图片输出的信息(例如pt_display_elemental_periods_minus1为0或大于0)，并且如果是这样，则将从预定访问单元中生成多少输出图片(例如pt_display_elemental_periods_minus1＞0)。

在pt_display_elemental_periods_minus1被推断的情况下的语义：当不存在时，pt_display_elemental_periods_minus1的值不被推断，因为它未被使用。相反，信息是通过2.3中的其他方式获取的。

这种情况适用，除非考虑了2.5中的方面，在这种情况下，存在一个约束，即，用信号发送elementalOutputPeriods的值以被约束为1(参见2.5)。

在另一个实施例中，存在比特流约束，其在以下中的一个适用时要求pt_display_elemental_periods_present_flag等于0：

·OLS的输出层的帧率不同

·与比特流相对应的OLS的输出层所引用的所有SPS的sps_field_seq_flag值都不相同。

2.2 PT SEI消息与帧场信息SEI消息的交互

如所讨论的，可能存在指示关于如何输出帧的进一步信息的帧场信息SEI消息。为此目的，在一个实施例中，以约束的方式使用图片定时SEI消息中的信息连同帧场信息SEI消息。(注意，根据以上实施例，这仅适用于当存在PT SEI消息并且语法元素pt_display_elemental_periods_present_flag等于1时的情况)

当该层的VCL NAL单元所引用的SPS中的sps_field_seq_flag等于1(比特流包含场)时，无论帧场信息SEI消息中的值如何，pt_display_elemental_periods_minus1都应等于0。否则，如果该层的VCLNAL单元所引用的SPS中的sps_field_seq_flag等于0(比特流包含帧)并且display_fields_from_frame_flag等于0(帧不被显示为场)并且fixed_pic_rate_within_cvs_flag[TemporalId]等于0，那么pt_display_elemental_periods_minus1的值应等于0，即在没有恒定输出帧率并且没有来自帧的场输出的情况下。

根据子方面2.2的实施例，编码器10被配置为针对视频数据流的预定访问单元22将PT SEI消息编码到视频数据流14中，该PT SEI消息传达针对预定访问的图片输出定时单元的信息。此外，编码器10被配置为针对包括预定访问单元中的图片的图片序列，编码包括指示图片序列的图片是表示场还是表示帧(例如逐行帧)的序列参数集(例如SPS)，以及指示视频数据流的图片输出是否涉及固定图片速率的固定图片速率标志(例如在SPS或VPS中)。编码器10被配置为：在如下情况下将图片输出乘法语法元素(例如，pt_display_elemental_periods_minus1)设置为指示针对预定访问单元没有相乘图片输出，

在帧场语法元素指示图片序列的图片表示场的情况下，和/或

在帧场语法元素指示图片序列的图片表示帧的情况下，视频数据流中的帧到场语法元素指示帧被不显示为场(例如，在帧场补充增强信息消息中指示或由其不存在而推导，在其不存在的情况下推断)，并且固定图片速率标志指示图片输出不涉及固定图片速率。

根据一个实施例，视频数据流14是多层视频数据流，其包括一个或多个输出层的输出层集合(OLS)(例如，其图片被输出的那些层；可能存在不被输出但用作参考层的一个或多个参考层)。根据该实施例，图片定时补充增强信息消息相关于具有编码到预定访问单元中的图片的多层视频数据流的所有输出层而传达关于图片输出定时的信息。根据该实施例，图片序列是预定输出层的，包括预定访问单元中的预定输出层的图片，并且帧场语法元素(例如sps_field_seq_flag)指示预定输出层的图片序列的图片是表示场还是表示帧。根据该实施例，固定图片速率标志(例如，在SPS或VPS中)指示针对输出层集合的图片输出是否涉及相关于输出层集合的固定图片速率。根据该实施例，编码器被配置为在如下情况下将图片输出乘法语法元素(例如pt_display_elemental_periods_minus1)设置为指示对于预定访问单元没有相乘图片输出，

在帧场语法元素指示预定输出层的图片序列的图片表示场的情况下，和/或

在帧场语法元素指示预定输出层的图片序列的图片表示帧的情况下，帧到场语法元素(例如display_fields_from_frame_flag)指示帧不被显示为场(例如在帧场补充增强信息消息中被指示或由其不存在而推导，在其不存在的情况下推断)，并且固定图片速率标志将针对输出层集合的图片输出指示为不涉及固定图片速率。

根据一个实施例，编码器10被配置为针对视频数据流的预定访问单元，将传达关于针对预定访问单元的帧场结构的信息并且包括帧到场语法元素(例如display_fields_from_frame_flag)的FFI SEI消息编码到视频数据流14中。

根据一个实施例，视频数据流14是多层视频数据流，其包括一个或多个输出层的输出层集合(OLS)(例如，其图片被输出的那些层；可能存在不被输出但用作参考层的一个或多个参考层)。根据该实施例，图片定时补充增强信息消息相关于具有编码到预定访问单元中的图片的多层视频数据流的所有输出层而传达关于图片输出定时的信息。根据该实施例，帧场补充增强信息消息特定于多层视频数据流的预定输出层，并传达关于与针对预定访问单元的预定输出层相关的帧场结构的信息。根据该实施例，图片序列是预定输出层的，包括预定访问单元中的预定输出层的图片，并且帧场语法元素(例如sps_field_seq_flag)指示预定输出层的图片序列的图片是表示场还是表示帧。根据该实施例，固定图片速率标志(例如，在SPS或VPS中)指示针对输出层集合的图片输出是否涉及相关于输出层集合的固定图片速率。根据该实施例，编码器被配置为在如下情况下将图片输出乘法语法元素(例如pt_display_elemental_periods_minus1)设置为指示对于预定访问单元没有相乘图片输出，

在帧场语法元素指示预定输出层的图片序列的图片表示场的情况下，和/或

在帧场语法元素指示预定输出层的图片序列的图片表示帧的情况下，帧到场语法元素指示帧不被显示为场(例如在帧场中指示补充增强信息消息或由其不存在而推导，在其不存在的情况下推断)，并且固定图片速率标志将针对输出层集合的图片输出指示为不涉及固定图片速率。

2.3无PT SEI消息的帧或场重复

在另一个实施例中，上面列出的第三个问题(没有PT SEI消息的帧/字段重复)通过用于elementalOutputPeriods的外部方式(例如API)来解决，以使得当PT不存在时或者当存在帧场信息SEI消息时不仅为1。它还解决了1)中所指示的问题，因为当不同层的输出帧率不同时，PT SEI消息中没有与elementalOutputPeriods相关的信息，而作为每层SEI消息的帧场信息SEI提供此信息。

elemental_duration_in_tc_minus1[i]加1(当存在时)指定当Htid等于i时在按照如下指定的输出顺序指定连续图片的HRD输出时间的像元单元之间以时钟滴答为单位的时间距离。elemental_duration_in_tc_minus1[i]的值应在0到2047的范围内(包括端值)。

对于包含图片n的CVS，当Htid等于i并且fixed_pic_rate_general_flag[i]等于1，并且图片n是输出的图片而不是输出的比特流中的最后一张图片(按照输出顺序)时，变量DpbOutputElementalInterval[n]的值由以下指定：

DpbOutputElementalInterval[n]＝DpbOutputInterval[n]÷elementalOutputPeriods (113)

其中DpbOutputInterval[n]在公式C.16中被指定，并且elementalOutputPeriods被指定如下：

-如果针对图片n存在PT SEI消息，则pt_display_elemental_periods_present_flag等于1，则elementalOutputPeriods等于pt_display_elemental_periods_minus1+1的值。

-如果提供了外部方式，则elementalOutputPeriods被设置等于elementalOutputPeriods的值被设置为等于经由外部方式所提供的值。

否则(没有提供外部方式来设置elementalOutputPeriods的值)，如果为具有预定义索引的层提供帧场信息SEI消息，则elementalOutputPeriods的值被设置为display_elemental_periods_minus1+1。(注意，在整个描述中，display_elemental_periods_minus1可能是上述ffi_display_elemental_periods_minus1语法元素的另一个名称)

-否则，elementalOutputPeriods等于1。

其中具有所使用的预定义索引的图层，例如具有最高帧率，通过以下方法之一被识别：

·通过HRD SEI、VPS/SPS或其他方式(例如fixed_pic_rate_layer_index)中的附加信令来指示，或

·包含最高子层标识符值(temporal_id)的层，或

·帧场SEI消息的display_elemental_periods_minus1值不同于适用的PT SEI消息中的pt_display_elemental_periods_minus1

作为使用层的索引来识别使用哪个帧场信息SEI消息来确定elementalOuputPeriods的替代方案，考虑以下中的一个：

1)否则，如果为具有按照输出顺序存在于AU n和下一个AU(即包含nextPicInOutputOrder的AU)中的输出图片的层提供帧场信息SEI消息，则elementalOutputPeriods的值被设置为display_elemental_periods_minus1+1

2)否则，如果为存在于AU中的输出图片提供帧场信息SEI消息，则将elementalOutputPeriods的值设置为所有输出层之中的display_elemental_periods_minus1+1的最低值。

因此，根据子方面2.3的一个实施例，解码器50被配置为根据以下一个或多个标准针对视频数据流的预定访问单元(例如，当前解码的访问单元)推导图片输出次数：如果针对预定访问单元的图片输出次数经由解码器的API而被提供，则采用经由API提供的图片输出次数，和/或如果帧场补充增强信息消息存在于视频数据流中，该帧场补充增强信息消息传达关于针对预定访问单元的帧场结构的信息并且包括进一步图片输出乘法语法元素(例如display_elemental_periods_minus1)，则从帧场补充增强信息消息中解码进一步图片输出乘法语法元素，并且根据进一步图片输出乘法语法元素来设置针对预定访问单元的图片输出次数。

需要注意的是，一般来说，图片输出乘法语法元素可以由pt_display_elemental_periods_minus1+1表示或者可以被表示为pt_display_elemental_periods_minus1，因为选择在编码之前减一仅仅是符号化方案的选择。换句话说，图片输出乘法语法元素的值可以对应于图片输出次数，或者可以对应于图片输出次数减1。进一步图片输出乘法语法元素同样适用。

根据一个实施例，视频数据流14是多层视频数据流，并且包括PTSEI消息，如前所述，该消息相关于具有编码到预定访问单元中的图片的多层视频数据流的所有输出层而传达图片输出定时的信息。

根据一个实施例，上述标准集合还包括以下内容：如果包括图片输出乘法语法元素(例如pt_display_elemental_periods_minus1)的PT SEI消息存在于视频数据流中，则从PT SEI消息中解码图片输出乘法语法元素，并且根据图片输出乘法语法元素来设置针对预定访问单元的图片输出次数。

如之前所提及的，PT SEI消息可以涉及预定访问单元的所有图片，并且FFI SEI消息可以是被编码到预定访问单元中的传达关于预定输出层的图片的帧场结构的信息的消息。

例如，在根据进一步图片输出乘法语法元素来设置针对预定访问单元的图片输出次数时，解码器50可以取决于进一步图片输出乘法语法元素来设置针对预定输出层的图片输出次数并且使用进一步图片输出乘法语法元素来确定针对预定访问单元的帧间输出图片间隔(例如上面引入的变量DpbOutputElementalInterval)。根据一个实施例，如果预定输出层具有编码到预定访问单元和按照输出顺序紧随其后的访问单元中的图片，则解码器50执行该设置次数的选择。

根据一个实施例，解码器50可以根据以下标准中的一个或多个根据进一步图片输出乘法语法元素来执行针对预定访问单元的图片输出次数的设置：根据第一标准，如果预定输出层具有编码到预定访问单元和按照输出顺序紧随其后的访问单元中的图片，则取决于进一步图片输出乘法语法元素来设置针对预定输出层的图片输出次数，并使用进一步图片输出乘法语法元素来确定针对预定访问单元的帧间输出图片间隔(DpbOutputElementalInterval)(例如，以上替代方案中的替代方案1使用层的索引来识别要使用哪个帧场信息SEI消息来确定elementalOuputPeriods)。根据第二标准，如果任何其他输出层具有编码到预定输出层的图片并且该其他输出层具有带有更进一步图片输出乘法语法元素的帧场补充增强信息消息，则取决于进一步图片输出乘法语法元素来设置针对预定输出层的图片输出次数，并且使用取决于进一步图片输出乘法语法元素和更进一步图片输出乘法语法元素中较小的一个来确定针对预定访问单元的帧间输出图片间隔(例如，上述替代方案中的替代方案2使用层的索引来识别要使用哪个帧场信息SEI消息来确定elementalOuputPeriods)。

根据一个实施例，多于一个输出层具有编码到预定输出层中的图片，并且包括帧场补充增强信息消息，并且预定输出层的进一步图片输出乘法语法元素最小。根据该实施例，在根据进一步图片输出乘法语法元素来设置针对预定访问单元的图片输出次数时，解码器50取决于进一步图片输出乘法语法元素来设置针对预定输出层的图片输出次数，并且使用进一步图片输出乘法语法元素来确定针对预定访问单元的帧间输出图片间隔(DpbOutputElementalInterval)。

根据一个实施例，如果根据图片输出乘法语法元素来设置针对预定访问单元的图片输出次数，则解码器50为所有输出层相同地设置图片输出次数，并使用图片输出乘法语法元素来确定针对预定访问单元的帧间输出图片间隔(DpbOutputElementalInterval)。如果根据进一步图片输出乘法语法元素来设置针对预定访问单元的图片输出次数，则解码器50取决于进一步图片输出乘法语法元素来设置针对预定输出层的图片输出次数并且使用进一步图片输出乘法语法元素来确定针对预定访问单元的帧间输出图片间隔(DpbOutputElementalInterval)。

根据一个实施例，解码器50根据以下中的一个来确定预定输出层：

基于多层视频数据流中的信令(例如具体地指示预定输出层)，

作为具有最高时间子层的输出层(例如，解码器确定属于每个输出层的子层并指出具有最高的输出层(就层次结构而言，即输出层的其他时间层不依赖的输出层，作为最高时间层)，或

作为输出层集合的输出层，针对该输出层，进一步图片输出乘法语法元素不同于图片输出乘法语法元素。

根据一个实施例，编码器10可以为多层视频数据流中的预定输出层提供信令(例如具体地指示预定输出层)。替代地，编码器10可以选择具有最高时间子层的输出层(例如，解码器确定属于每个输出层的子层并指出具有最高的输出层(就层次结构而言，即输出层的其他时间层不依赖的输出层，作为最高时间层)作为预定输出层。替代地，编码器10可以选择预定输出层作为输出层集合的输出层，针对该输出层，进一步图片输出乘法语法元素不同于图片输出乘法语法元素。

在子方面2.3的上述实施例的替代方案中，另外的实施例通过比特流约束来解决问题，例如关于图11所描述的。

图11图示了根据子方面2.3的实施例的编码器10。图11的编码器10可以可选地对应于图1的编码器10。根据该实施例的视频比特流14可以是单层视频比特流或多层视频比特流，例如，如关于图1所描述的。如第0部分所描述的，视频比特流14已将一系列访问单元22编码到其中。访问单元22中的预定访问单元22在图11中使用参考标记22*来参考。例如，预定访问单元是当前编码访问单元。根据该实施例的编码器10针对预定访问单元22*而将PT SEI消息编码到视频比特流14中，例如在本部分中先前描述的PT SEI消息。PT SEI消息传达关于针对预定访问单元22*的图片输出定时的信息。PT SEI消息73包括图片输出乘法语法元素74，以下也被称为PT乘法指示符73。例如，PT乘法指示符73可以指示针对预定访问单元22*的图片的图片输出次数，如前所述。

根据该实施例，编码器10还将FFI SEI消息83编码到视频数据流14中，该消息传达关于针对预定访问单元22*的帧场结构的信息，例如在本部分中先前详细描述的FFI SEI消息。FFI SEI消息83包括进一步图片输出乘法语法元素84，其在下文中也可以被称为FF乘法指示符84。如前所述，FF乘法指示符83可以指示针对预定访问单元22*的图片之一的图片输出次数。例如，FFI SEI消息83可以引用层之一，例如引用视频比特流14的输出层之一。

可以使用符号化方案将PT乘法指示符84和FF乘法指示符84编码到视频比特流中，并且为了对透视语法元素进行编码的目的，可以通过从由相应语法元素表示的图片输出次数中减一来推导相应语法元素的实际值。换言之，在示例中，写入到视频比特流14中的PT乘法指示符74和FF乘法指示符84的实际值可能与PT乘法指示符74和FF乘法指示符84表示的值不同，例如，相差一个值为1。然而，PT乘法指示符74和FF乘法指示符84的值应被理解为表示实际图片输出次数的值。

根据图11的实施例，PT乘法指示符等于或小于FF乘法指示符。

根据实施例，FFI SEI 83的信息特定于视频比特流14的层。例如，视频比特流14可以包括针对视频比特流14的每个输出层的FFI SEI消息84。替代地，FFI SEI可以在访问单元级别G上被提供，一个FFI SEI消息83可以针对预定访问单元22*而被提供，并且FFI SEI消息83包括针对具有编码到预定访问单元22*中的图片的一个或多个输出层中的每一个的相应乘法指示符84。根据该实施例，PT乘法指示符84等于或小于所有一个或多个输出层的FF乘法指示符84。例如，输出层可以表示一个层，该层的图片被解码器50考虑用于输出，例如，如第2部分的介绍部分中所描述的。

例如，视频比特流14是多层视频比特流，并且编码器10为视频比特流14的一个或多个输出层提供每一个FFI SEI消息83，从而提供一个或多个FFI SEI消息83，其每个都包括相应的FF乘法指示符84。一个FFI SEI消息83中的每一个可以引用层之一，其中的一个或多个层可以被指示为视频比特流14中所指示的OLS的输出层。根据该实施例，所有的在为输出层用信号发送的相应FFI SEI消息83中用信号发送的FF乘法指示符84≥PT乘法指示符74。因此，超过FF乘法指示符84的最小值≥PT乘法指示符74。

根据一个实施例，用于预定访问单元22*的PT乘法指示符74等于超过预定访问单元22*中的输出层的所有FFI SEI消息的FF乘法指示符84的值的最小值。

换言之，替代地，应用于AU的PT SEI消息中的pt_display_elemental_periods_minus1等于AU中的所有输出层的帧场信息SEI消息中的display_elemental_periods_minus1的最小值。

根据一个实施例，FF乘法指示符84是PT乘法指示符74的整数倍。注意，该约束对于由相应语法元素表示的图片输出次数的实际值尤其有效。

例如，通过将像元输出周期设置为PT_display_elemental_periods_minus1+1，并且通过将显示像元周期设置为display_elemental_periods_minus1+1，解码器50可以推导上面提及的ElementalOuputPeriods和DisplayElementalPeriods。在这种情况下，上述约束可以被应用于变量像元输出周期和显示像元周期，即，显示像元周期可以是像元输出周期的整数倍。

根据另一个实施例，根据它，视频比特流14是多层视频数据流14是多层视频数据流并且根据它，PT SEI消息83引用多层视频比特流14的所有输出层，并且根据它，FFI SEI消息与预定输出层相关，并且因此与预定输出层的被编码到预定访问单元22*中的图片相关，编码器10被配置为对PT乘法语法元素74和FF乘法指示符84进行编码，以使得FF乘法指示符84是PT乘法指示符74的x倍，其中x是预定访问单元22*与访问单元22的在前或在后访问单元之间的距离，其具有编码到其中的预定输出层的图片。

换句话说，替代地，应用于AU的PT SEI消息中的pt_display_elemental_periods_minus1和应用于存在于AU中的各层中的每个图片的帧场信息SEI消息中的display_elemental_periods_minus1不需要相同但是存在比特流约束如下：

对于每一层，让picA和picB为两个连续的输出图片，并且让AuA和AuB为按照输出顺序的第n个输出AU和第m个AU，display_elemental_periods_minus1＝((m-n)*(pt_display_elemental_periods_minus1+1))-1。

2.4帧率周期性的推导

根据该子方面的实施例，跨CVS的恒定输出帧率被推导而不被用信号发送，因为否则它会在拼接之后需要SPS重写。换句话说，不是用信号发送跨CVS的输出帧率是否恒定，而是可以例如通过解码器50推导这个信息。

换句话说，在另外的实施例中，上面列出的第四个问题被解决如下。不是用信号发送在拼接点之后是否保持恒定帧率(固定图片速率)属性，而是按如下方式推导该属性。

对于包含图片n的CVS，当Htid等于i并且fixed_pic_rate_within_cvs_flag[i]等于1，并且图片n是输出的图片而不是输出的比特流中的最后一个图片(按照输出顺序)时，为DpbOutputElementalInterval[n]计算出的值应等于ClockTick*(elemental_duration_in_tc_minus1[i]+1)，其中当对于为在公式C.16中的使用所指定的按照输出顺序在后的图片nextPicInOutputOrder，以下条件之一为真时，ClockTick如公式C.1中指定(使用包含图片n的CVS的ClockTick的值)：

-图片nextPicInOutputOrder与图片n在同一个CVS中。

-图片nextPicInOutputOrder在不同的CVS中并且fixed_pic_rate_within_cvs_flag[i]在包含图片nextPicInOutputOrder的CVS中等于1，ClockTick的值对于两个CVS是相同的，并且elemental_duration_in_tc_minus1[i]的值对于两个CVS是相同的并且以下条件中的一个或多个为真：

-GOP大小相同

-DPB参数相同

-DPB参数内的重新排序参数相同

-nextPicInOutputOrder不是无输出图片

-没有RASL图片与nextPicInOutputOrder相关联(是CRA)

-附加语法元素指示CVS中的第一AU的输出延迟(在{REF_Ref42174639\r\h\*MERGEFORMAT}.的以下方面中描述)

-nextPicInOutputOrder具有等于0的NoOutputOfPriorPicsFlag的值，其被设置等于nextPicInOutputOrder的图片标头中的ph_no_output_of_prior_pics_flag。注意，这个参数是在CVS边界处指示还在前一个CVS的DPB中的前一个图片不被输出。

关于图片组(GOP)大小和DPB参数以及重新排序的方面在下面的图12中图示。图片26下面的第一个数字对应于解码时间，第二个数字对应于输出时间(即图片下面的数字以“解码时间-输出时间”的形式而被给出)。正如可以看出的，取决于GOP大小，输出时间和解码时间之间的差异会发生变化。这可以是DPB参数的一部分，或者是添加到比特流中的一些重新排序信息。例如。对于GOP4，该值为2，而对于GOP8，该值为3。

因此，根据该子方面的实施例，视频数据流14是编码视频序列的级联，并且编码器10被配置为针对视频数据流14的每个编码视频序列20，对参数集进行编码，该参数集包括固定图片速率标志(例如fixed_pic_rate_within_cvs_flag)，其指示图片输出是否涉及相应编码视频序列20内的固定图片速率，以及如果固定图片速率标志指示图片输出涉及相应编码视频序列20内的固定图片速率，则还包括像元输出图片持续时间语法元素(例如elemental_duration_in_tc_minus1[i])。根据该实施例，编码器10被配置为：如果以下所有情况适用，则通过一个或多个连续性可检测性语法元素在数据流14中用信号发送，图片速率连续性是可检测的，以应用于从第一编码视频序列到第二编码视频序列的转变：

-第一和第二编码视频序列的固定图片速率标志指示针对输出层集合的图片输出涉及在第一和第二编码视频序列中的固定图片速率，

-针对第一和第二编码视频序列的像元输出图片持续时间语法元素相同，

-一组条件中的一个或多个条件适用，其中该组条件包括以下中的一个或多个：

·第一和第二编码视频序列在GOP大小上一致，

·第一和第二编码视频序列在重新排序语法元素(例如max_num_reorder_pics)中一致，该重新排序语法元素指示可以按照解码顺序在另一个输出图片之前并且按照输出顺序在该另一个输出图片之后的输出图片的最大允许数量，

·第一和第二编码视频序列在DPB参数上一致(例如，指示DPB图片移除时间)，

·第二编码视频序列不以与RASL图片相关联的IRAP开始(例如，不以CRA开始)，

·第一和第二编码视频序列在视频数据流中用信号发送的输出延迟语法元素上一致，该输出延迟语法元素指示第一和第二编码视频序列的第一访问单元的输出延迟(例如CVS1中的第一AU和CVS2中的第一AU具有与它们的解码时间相关的相同输出延迟。例如，在图片时间中，两者都具有语法元素＝3，其指示从解码到输出的3个图片时间延迟)，

·第二编码视频序列中的第一AU不是非输出图片，以及

·第二编码视频序列中的第一AU不指示来自第一编码视频序列的先前图片未被输出。

有关无输出图片的问题在本文档的第2.6部分中更详细地解释。与RASL图片相关的方面与无输出图片相关，因为这样的RASL图片在与CVS的第一AU相关联时不被输出，并且因此可以被视为无输出图片。

2.5输出时间的推导，例如，PT SEI消息不存在或未被使用

根据这个子方面的实施例可以解决上面列出的第五个问题。

根据子方面2.5的第一实施例，解码器50被配置为针对多层视频数据流的预定编码视频序列对参数集进行解码，该参数集包括固定图片速率标志，该固定图片速率标志指示图片输出是否涉及预定编码视频序列内的固定图片速率，以及如果固定图片速率标志指示图片输出涉及预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素。根据该实施例，解码器50被配置为基于具有由像元输出图片持续时间语法元素所确定的第一因子和使用DPB参数中的重新排序语法元素所确定的第二因子的乘积，来确定针对预定编码视频序列的输出延迟(第一图片的图片输出时间)，该重新排序语法元素指示可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的输出图片集的图片的最大允许数量。替代地，解码器50被配置为基于具有由像元输出图片持续时间语法元素所确定的第一因子和由视频数据流中的延迟语法元素所指示的第二因子的乘积，来确定针对预定编码视频序列的输出延迟(第一图片的图片输出时间)。

根据第一实施例，编码器10被配置为针对多层视频数据流的预定编码视频序列，将参数集(例如具有HRD和定时信息的VPS参数集或SPS参数集)编码到视频数据流(14)中，该参数集包括固定图片速率标志，例如fixed_pic_rate_within_cvs_flag，其指示图片输出是否涉及预定编码视频序列内的固定图片速率，以及如果固定图片速率标志指示图片输出涉及预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，例如elemental_duration_in_tc_minus1。根据该实施例，编码器10被配置为基于具有由像元输出图片持续时间语法元素所确定的第一因子和使用DPB参数中的重新排序语法元素所确定的第二因子的乘积，通过一个或多个输出延迟可计算性语法元素(例如当前指示视频数据流不需要或不包含PT/BP-...SEI的元素)在数据流中用信号发送：针对预定编码视频序列的输出延迟(第一图片的图片输出时间)是可计算的，该重新排序语法元素指示可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的输出图片集的图片的最大允许数量。根据该实施例，编码器10被配置为基于具有由像元输出图片持续时间语法元素所确定的第一因子和由视频数据流(14)中的延迟语法元素所指示的第二因子的乘积，通过一个或多个输出延迟可计算性语法元素(例如当前指示视频数据流不需要或不包含PT/BP-...SEI的元素)在数据流中用信号发送：针对预定编码视频序列的输出延迟(第一图片的图片输出时间)是可计算的。

换句话说，根据子方面2.5的第一实施例包括在比特流中指示可以在没有PT SEI和BP SEI的情况下推导定时信息，并推导针对第一AU(例如CVS 20的第一AU)的输出时间，具体取决于DPB参数或附加参数。请注意，缓冲周期(BP)SEI消息和图片定时(PT)SEI消息包含定时信息，如何时从CPB中移除AU以及何时从DPB中输出AU。有几个值(例如，针对存在于比特流中的不同最高时间ID)可以被用来推导何时解码AU(从CPB中移除)以及何时(从DPB中)输出。在下面解释的一些条件下，可以在没有这些SEI消息帮助的情况下推导输出时间。输出时间可以作为以下两个选项之一而被推导：

-如果使用DPB参数，则输出时间的值被推导为ClockTick*(elemental_duration_in_tc_minus1[i]+1)*NumPics，其中NumPics是DPB参数中用信号发送的重新排序图片的数量(max_num_reorder_pics)或者可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的OLS中的图片的最大允许数量加上可以按照输出顺序在OLS中的任何图片之前并且按照解码顺序在该图片之后的OLS中的图片的最大数量(max_num_reorder_pics+max_latency_increase_plus1)，或

-将附加信令添加到与固定图片速率相关的VPS或SPS，其指示给定数量的图片NumPics并且此语法被用来计算输出时间的值，该值被推导为ClockTick*(elemental_duration_in_tc_minus1[i]+1)*NumPics。

图13图示了根据子方面2.5的第二实施例的编码器10、视频比特流14和解码器50的示例。编码器10、视频比特流14和解码器50可以可选地对应于根据图1的编码器10、视频比特流14和解码器50。而且，根据这个子方面的实施例可以可选地包括相关于子方面2.3(例如，关于图11)描述的特征和细节。

根据图13的实施例，编码器10将预定编码视频序列20的参数集93编码到视频比特流14中。也就是说，参数集93与视频比特流14的一个或多个编码视频序列20之一相关联。参数集93包括固定图片速率标志94，其可以例如对应于本文所描述的fixed_pic_rate_within_CVS_flag。固定图片速率标志94指示图片输出是否涉及预定编码视频序列20内的固定图片速率。如果固定图片速率标志93指示图片输出涉及预定编码视频序列20内的固定图片速率，则参数集93还包括像元输出图片持续时间语法元素96，其可以例如对应于本文所描述的elemental_duration_in_tc_minus1。例如，像元输出图片持续时间语法元素96可以指示图片输出间隔的持续时间，例如针对单个图片的图片输出间隔63的持续时间。

例如，如图13中所图示，视频比特流14的每个访问单元22可以与像元图片输出时间36相关联。像元输出图片时间36可以表示一个时间实例，相应访问单元22的图片在该时间实例将由解码器50输出，例如解码器50将相应访问单元(即，其图片)提供给输出缓冲器的时间实例。访问单元输出间隔37可以指示连续访问单元的像元图片输出时间36之间的时间间隔，并且可以例如对应于相关于图8和图10所描述的访问单元输出间隔61。

根据图13的实施例，编码器10将一个或多个语法元素66编码到视频比特流14中，并且如果一个或多个语法元素66具有第一状态，即一个或多个语法元素66所引用的编码视频序列20的访问单元具有第一状态，则解码器50可以推断访问单元的图片不经受相乘输出(例如推断pt_display_elemental_periods_minus1为0或elementalOutputs为1)。因此，例如通过将访问单元输出间隔37、61设置为等于由像元输出图片持续时间语法元素96所指示的图片输出间隔的值，解码器50可以使用像元输出图片持续时间语法元素96来推导像元输出图片时间36。因此，解码器50可以在没有指示重复数量的情况下(例如在没有PT SEI的情况下)确定像元输出图片时间36，它可能因此在视频比特流14中被省略。

例如，一般来说，解码器50可以基于由像元输出图片持续时间语法元素96所指示的像元输出图片持续时间和例如由图片输出乘法语法元素或进一步图片输出乘法语法元素(参见第2.3部分)所指示的相应访问单元的图片的重复数量来推导像元图片输出时间36。为此，解码器50可以将例如由变量DpbOutputElementalInterval表示的图片输出间隔(例如图片输出间隔63)的持续时间设置为等于由elemental_duration_in_tc_minus1指示的值(其中所指示的值可以对应于实际写入到比特流中的值加1，并且可以可选地通过时钟滴答持续时间来缩放，该时钟滴答持续时间可以例如通过语法元素ClockTick而可选地在视频比特流14中用信号发送，例如DpbOutputElementalInterval＝ClockTick*(elemental_duration_in_tc_minus1+1)。)并且通过使用DpbOutputElementalInterval和相应图片的重复数量(例如第2部分的介绍部分给出的elemental_duration_in_tc_minus1的定义中的等式(113)，其中变量elementalOutputs表示重复数量)来推导变量DpbOutputInterval(例如访问单元输出间隔61的持续时间)，在语法元素66具有第一状态的情况下，其被推断为1。因此，在一个或多个语法元素66具有第一状态的情况下，解码器50可以将访问单元输出间隔37(或61)的持续时间(例如，DpbOutputInterval)设置为等于由elemental_duration_in_tc_minus1指示的值(例如，通过将实际值加1和/或通过与时钟滴答持续时间相乘而推导的值，例如，DpbOutputInterval＝ClockTick*(elemental_duration_in_tc_minus1+1))。换句话说，在这种情况下，其中一个或多个语法元素66具有第一状态，解码器50可以将像元图片持续时间语法元素96解释为引用访问单元输出间隔37、61的持续时间。

例如，包括固定图片速率标志94和可选的像元输出图片持续时间语法元素96的参数集93可以是序列参数集(SPS)，其可以全局地与编码视频序列20相关，SPS包括HRD和定时信息。替代地，参数集93可以是视频参数集(VPS)，其可以全局地与视频比特流14相关。

根据图13的实施例，编码器10将一个或多个语法元素66编码到视频比特流14中。编码器10以如下方式对视频比特流14进行编码：使得如果一个或多个语法元素66具有第一状态，则针对编码视频序列20(或视频比特流14)的每个访问单元22，相应访问单元22可推断为不经受相乘输出。例如，第2部分的介绍部分以及还相关于第2.3部分中描述的变量像元输出周期可以被推断为一。因此，编码视频序列20的像元图片输出时间36可基于像元输出图片持续时间语法元素来确定。

换句话说，例如，在一个或多个语法元素66具有第一状态的情况下，解码器50可以推断，访问单元22不经受相乘输出并且因此通过将由像元输出图片持续时间语法元素96用信号发送的像元输出图片持续时间添加到预定访问单元的在前访问单元的像元图片输出时间36，可以确定预定访问单元的像元图片输出时间。

例如，如果一个或多个语法元素66具有第一状态，则如果提供任何图片输出乘法语法元素——例如PT乘法指示符74(或pt_display_elemental_periods_minus1)，则编码器10可以提供图片输出乘法语法元素，以使得它用信号发送单个图片输出，即，没有相乘图片输出。因此，解码器50可以推断，在一个或多个语法元素66具有第一状态的情况下，图片输出乘法语法元素指示无相乘输出，即单个输出。

根据实施例，一个或多个语法元素66指示视频比特流14中的一个或多个包含(或不包含)引用视频比特流14的比特流部分的HRD参数(或比特流一致性参数)，例如，general_nal_hrd_params_present_flag＝0，并且HRD参数(或比特流一致性参数)引用视频比特流14的编码层，例如general_vcl_hrd_params_present_flag＝0。

根据实施例，一个或多个语法元素66可以包括第一语法元素和第二语法元素中的一个或多个，每个语法元素指示视频比特流14不包含(或包含)编码图片缓冲器(CPB)和针对假设的参考解码器的相应操作模式的比特率参数，例如NAL操作(例如，可以包括SEI NAL单元和VCL数据的顶部上的标头的操作模式)和VCL操作(例如，可以专门地考虑编码视频数据的操作模式，例如VCL NAL单元)。例如，一个或多个语法元素66可以包括general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag之一或两者。

例如，第一状态可以是这样的状态，其中一个或多个语法元素指示视频比特流14不包含编码图片缓冲器(CPB)和针对假设的参考解码器的NAL操作模式和VCL操作模式的比特率参数，例如general_nal_hrd_params_present_flag＝0和general_vcl_hrd_params_present_flag＝0。

例如，一个或多个语法元素66可以被编码到视频比特流14的一个或多个参数集中。

根据图13的实施例的示例，如果一个或多个语法元素66具有第二状态，例如如果一个或多个语法元素66指示视频比特流14指示它包含上面提及的一个或多个参数，则编码器10可以针对视频比特流14或编码视频序列20的每个访问单元22，将图片输出乘法语法元素(例如如关于图11描述的图片输出乘法语法元素74)编码到视频比特流14的PT SEI消息73中，例如如关于图11所描述的。如关于图11所描述的，图片输出乘法语法元素74可以揭示以下信息，即关于相应访问单元22(即，PT SEI消息73所引用的访问单元)是否经受相乘输出，如果是，则要从相应访问单元22中生成多少个顺序输出图片。根据这个示例，像元图片输出时间36可基于像元输出图片持续时间语法元素96和图片输出乘法语法元素来确定。例如，如果一个或多个语法元素66具有第二状态，则解码器50可以解码针对每个访问单元的图片输出乘法语法元素并基于像元输出图片持续时间语法元素96和图片输出乘法语法元素来确定针对编码视频序列20的访问单元的像元图片输出时间36。举例来说，例如使用上面提及的变量elementalOutputs和等式(113)，解码器50可以针对每个访问单元22，将由像元输出图片持续时间语法元素所指示的输出持续时间乘以由图片输出乘法语法元素所指示的重复数量，如上文关于第一语法元素具有第一种情况的情况所述，但不推断重复为1。

换句话说，在另一个实施例中，例如图13中的实施例，在比特流中，例如，在VPS或SPS中存在指示，即在比特流中没有PT SEI和BP SEI和/或它们不是必需，以及存在帧场SEI消息不存在或不需要的信息，那么重复不需要被包括或被考虑在内，即解码器可以将elementalOutputPeriods推导为1。这可以通过所提及的语法元素来完成，该语法元素指示可以在没有PT SEI消息和BP SEI消息的情况下或替代地利用比特流约束来推导定时。请注意，在这种情况下，当PT SEI消息不存在时或者当语法元素不存在时，可以将pt_display_elemental_periods_minus1推断为0。

比特流约束可以被添加为no_timing_infomation_sei_message_needed_flag或者例如将所描述的操作调节到指示存在CPB以及针对NAL或VCL操作的比特率参数的general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于0的情况。在后一种情况下，不需要存在PT SEI消息或BP SEI消息，并且在没有它们的情况下的操作可以通过将elementalOutputPeriods推导为1并使用elemental_duration_in_tc_minus1[I]作为用于推导输出时间的输出图片速率来简单地执行。

因此，子方面2.5提供了用于在不存在PT SEI消息的情况下确定像元图片输出时间36的概念。因此，PT SEI消息不一定必须被编码到视频比特流14中，从而避免了视频比特流14中的信令开销。

2.6无输出图片的处理以及对恒定输出帧率的影响

如上面所讨论的，如果一些图片未被输出，则当在PT SEI消息中不存在时或当PTSEI消息被忽略时推导输出时间可能是复杂的。

当PT SEI消息存在时，无输入图片具有相关联的输出时间，但是由于图片未被输出，因此这样的输出时间会简单地被忽略。将在比特流中解码的这样的图片计为“占用”输出时隙将导致实际输出的两个输出图片之间的距离不再等距，如下面在图14中所图示。例如，在图14的示例中，例如通过层附属关系，图片26*被指示为无输出图片。换言之，图8图示了在无输出图片的情况下的非等距图片的示例。

根据该子方面的第一实施例，解码器50被配置为对参数集进行解码，该参数集包括固定图片速率标志，例如如第2.5部分中所述的，该固定图片速率标志指示针对视频数据流的图片输出是否涉及固定图片速率，以及如果固定图片速率标志指示图片输出涉及固定图片速率，则还包括像元输出图片持续时间语法元素。根据该实施例，解码器50针对每个图片从视频数据流14中解码指示相应图片是否要被显示的图片输出标志。根据这个实施例，解码器50推断按照输出顺序在被指示为不被输出的另一图片(例如图14的图片26*)之前的图片(例如图14的图片26’)将经受重复输出。

换句话说，在一个实施例中，例如在先前段落的实施例的示例中，指示图片是否被输出的标志，即(ph_pic_output_flag)被考虑用于推导输出时间，即，解码器准备接收不需要被显示的图片，即没有来自解码器的恒定输出。在这种情况下，实现了恒定显示速率，并且存在比特流约束，即按照输出顺序的在前图片需要通过重复来补偿它。

根据第二实施例，编码器10被配置为将参数集编码到视频数据流14中，该参数集包括固定图片速率标志，以及如果固定图片速率标志指示图片输出涉及固定图片速率，则还包括像元输出图片持续时间语法元素。根据该实施例，编码器10被配置为针对每个图片将指示相应图片是否要被显示的图片输出标志编码到视频数据流14中。根据该实施例，如果固定图片速率标志指示针对视频数据流14的图片输出涉及固定图片速率，则编码器10将每个图片的图片输出标志设置为指示相应图片将被显示。替代地或附加地，如果固定图片速率标志指示针对视频数据流14的图片输出涉及固定图片速率，则编码器10将不是视频数据流14的编码视频序列的第一图片的每个图片的图片输出标志设置为指示相应图片要被显示。替代地或附加地，如果固定图片速率标志指示针对视频数据流14的图片输出涉及固定图片速率，则编码器10将不是视频数据流14的编码视频序列的第一图片或者在视频数据流14的编码视频序列内且不是排他性地在其他无输出图片之前的每个图片的图片输出标志设置为指示相应图片要被显示。因此，例如，编码器10提供视频比特流14，以使得解码器能够推断按照输出顺序在被指示为不被输出的另一图片之前的图片将经受重复输出。

在示例中，编码器10被配置为将标志编码到视频数据流14中，该标志指示每个图片的图片输出标志是否被设置为指示相应图片将被显示。替代地或附加地，该标志指示是否将不是视频数据流14的编码视频序列的第一图片的每个图片的图片输出标志设置为指示相应图片将被显示。替代地或附加地，该标志指示不是视频数据流14的编码视频序列的第一图片或者在视频数据流14的编码视频序列内且不是排他地在其他无输出图片之前的每个图片的图片输出标志被设置为指示相应图片要被显示。

在示例中，编码器10被配置为在固定图片速率标志指示针对视频数据流14的图片输出涉及固定图片速率的情况下设置标志。

换句话说，在另一个实施例中，例如在第二实施例的示例中，当比特流中指示存在固定图片速率时，存在禁止如下内容的比特流约束

·比特流内的非输出图片，或

·不是CVS中的第一AU的至少一个非输出图片，或者

·一旦CVS中存在输出图片，在CVS中的该输出图片之后就不能再有任何无输出图片。

在另一个实施例中，添加了比特流约束，其指示无输出图片是约束，作为一个更广泛概念，不仅适用于固定图片速率。

general_no_no_output_pics_constraint_flag等于1指定ph_pic_output_flag应等于1。general_no_no_output_pics_constraint_flag等于0不强加这样的约束。

此外，当使用固定图片速率时，存在需要设置约束标志的比特流约束。

比特流一致性的要求是，当fixed_pic_rate_general_flag[i]对任何i值而言都等于1时，general_no_no_output_pics_constraint_flag应等于1。

3.另外的实施例

在前面的部分中，虽然一些方面已经被描述为装置的上下文中的特征，但是显然这样的描述也可以被认为是方法的对应特征的描述。尽管一些方面已经在方法的上下文中被描述为特征，但是显然这样的描述也可以被认为是关于装置的功能性的对应特征的描述。

一些或所有的方法步骤可以通过(或使用)硬件装置来执行，如例如微处理器、可编程计算机或电子电路。在一些实施例中，最重要的方法步骤中的一个或多个可以由这样的装置来执行。

本发明的编码图像信号可以被存储在数字存储介质上或者可以在诸如无线传输介质或有线传输介质诸如互联网之类的传输介质上传输。

取决于某些实现要求，本发明的实施例可以以硬件或以软件或者至少部分地以硬件或至少部分软件来实现。实现可以使用在其上存储有电子可读控制信号的数字存储介质来执行，例如软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器，它们与可编程计算机系统协作(或能够协作)，以使得执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，以使得执行本文所描述的方法之一。

通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。程序代码可以例如被存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的用于执行本文所描述的方法之一的计算机程序。

换言之，本发明方法的一个实施例因此是具有程序代码的计算机程序，当计算机程序在计算机上运行时，该程序代码用于执行本文所描述的方法之一。

因此，本发明方法的另一个实施例是一种数据载体(或数字存储介质或计算机可读介质)，其包括记录在其上的用于执行本文所描述的方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。

因此，本发明方法的另一个实施例是表示用于执行本文所描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列例如可以被配置为经由数据通信连接(例如经由互联网)而被传送。

另一个实施例包括处理部件，例如计算机或可编程逻辑设备，其被配置为或适于执行本文所描述的方法之一。

另一个实施例包括计算机，在其上安装有用于执行本文所描述的方法之一的计算机程序。

根据本发明的另一个实施例包括一种装置或系统，该装置或系统被配置为将用于执行本文所描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收器。接收器例如可以是计算机、移动设备、存储器设备等等。该装置或系统例如可以包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑设备(例如现场可编程门阵列)可以被用来执行本文所描述的方法的一些或所有功能性。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所描述的方法之一。通常，方法优选地由任何硬件设备来执行。

本文所描述的装置可以使用硬件装置、或使用计算机、或使用硬件装置和计算机的组合来实现。

本文所描述的方法可以使用硬件装置、或使用计算机、或使用硬件装置和计算机的组合来执行。

在前面的详细描述中可以看出，为了简化本公开的目的，各种特征在示例中被分组在一起。这种公开方法不应被解释为反映要求保护的示例需要比每项权利要求中明确叙述的更多的特征的意图。相反，如所附权利要求所反映的，主题可以在于少于单个公开示例的所有特征。因此，以下权利要求因此被合并到详细描述中，其中每项权利要求都可以作为单独的示例而独立存在。虽然每个权利要求都可以作为单独的示例而独立存在，但是需要注意的是，虽然从属权利要求可以在权利要求中引用与一个或多个其他权利要求的特定组合，但是其他示例也可以包括从属权利要求与每个其他从属权利要求的主题的组合或者每个特征与其他从属或独立权利要求的组合。这样的组合在本文中被提出，除非明确表达特定组合不是预期的。此外，即使权利要求不直接从属于独立权利要求，也旨在将该权利要求的特征包括到任何其他独立权利要求中。

上述实施例仅用于说明本公开的原理。应当理解，本文所描述的布置和细节的修改和变型对于本领域的其他技术人员将是显而易见的。因此，意图仅受未决专利权利要求的范围限制，而不受通过本文的实施例的描述和解释所呈现的具体细节限制。

Claims (83)

1.用于对多层视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

对于与第二层(24₀)的第二RASL图片在时间上对齐的第一层(24₁)的第一RASL图片，使用所述第二RASL图片作为层间预测参考，以及

以不从所述第二层(24₀)的第三RASL图片进行预测的方式对所述第一层(24₁)的图片之中的非RASL(26₁′)图片进行编码，所述非RASL(26₁′)图片与所述第三RASL图片(26₀′)在时间上对齐。

2.根据权利要求1所述的编码器(10)，被配置为

通过如下方式来使用所述第二RASL图片作为层间预测参考，

在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对所述第一层(24₁)的所述第一RASL图片的当前编码图片进行帧间预测时考虑相同的，或

在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对所述第一层(24₁)的所述第一RASL图片的当前编码图片进行帧间预测时考虑相同的，并且考虑相同的作为通过所述当前编码图片的帧间预测块的参考索引在所述参考图片列表中被参考。

3.根据前述权利要求1和2中任一项所述的编码器(10)，被配置为

通过如下方式来在不从所述第二层(24₀)的所述第三RASL图片进行预测的情况下对所述第一层(24₁)的所述非RASL图片进行编码：

在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对所述第一层(24₁)的所述非RASL图片的当前编码图片进行帧间预测时避免所述第二层(24₀)的所述第三RASL图片，和/或

避免所述第二层(24₀)的所述第三RASL图片通过所述第一层(24₁)的所述非RASL图片的当前编码图片的帧间预测块的参考索引在所述第一层(24₁)的所述第二非RASL图片的所述当前编码图片的所述参考图片列表中被参考。

4.用于对多层视频数据流(14)进行编码(10)的方法，所述方法包括：

对于与第二层(24₀)的第二RASL图片在时间上对齐的第一层(24₁)的第一RASL图片，使用所述第二RASL图片作为层间预测参考，以及

以不从所述第二层(24₀)的第三RASL图片进行预测的方式对所述第一层(24₁)的图片之中的非RASL(26₁′)图片进行编码，所述非RASL(26₁′)图片与所述第三RASL图片(26₀′)在时间上对齐。

5.由根据权利要求1的编码器(10)生成的视频数据流(14)。

6.用于对多层视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

对于与第二层(24₀)的第二RASL图片(26₀′)在时间上对齐的第一层(241)的第一RASL图片，使用所述第二RASL图片作为层间预测参考，

对于与所述第二层(24₀)的第三RASL图片(26₀′)在时间上对齐的所述第一层(24₁)的第一非RASL图片(26₁′)，所述第三RASL图片(26₀′)与不形成所述第二层(24₀)的编码层视频序列的开始的所述第二层(24₀)的CRA图片(26₀*)相关联，使用所述第二层(24₀)的所述第三RASL图片作为层间预测参考，以及

以不从所述第二层(24₀)的所述第四RASL图片进行预测的方式来对与所述第二层(24₀)的第四RASL图片在时间上对齐的所述第一层(24₁)的第二非RASL图片进行编码，所述第四RASL图片与形成所述第二层(24₀)的编码层视频序列的开始的所述第二层(24₀)的CRA图片相关联。

7.根据权利要求6所述的编码器(10)，被配置为

通过如下方式来使用所述第二和所述第三RASL图片作为层间预测参考：

在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对所述第一层(24₁)的所述第一RASL和第一非RASL图片的当前编码图片进行帧间预测时考虑相同的，或

在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对所述第一层(24₁)的所述第一RASL和第一非RASL图片的当前编码图片进行帧间预测时考虑相同的，并且考虑相同的作为通过所述当前编码图片的帧间预测块的参考索引在所述参考图片列表中被参考。

8.根据前述权利要求6和7中任一项所述的编码器(10)，被配置为

通过如下方式来在不从所述第二层(24₀)的所述第三RASL图片进行预测的情况下对所述第一层(24₁)的所述第二非RASL图片进行编码：

在基于向量的帧间预测和/或运动向量预测方面，在招募先前编码图片以用于形成参考图片列表以用于对所述第一层(24₁)的所述第二非RASL图片的当前编码图片进行帧间预测时避免所述第二层(24₀)的所述第三RASL图片，和/或

避免所述第二层(24₀)的所述第三RASL图片通过所述第一层(24₁)的所述第二非RASL图片的当前编码图片的帧间预测块的参考索引在所述第一层(24₁)的所述第二非RASL图片的所述当前编码图片的参考图片列表中被参考。

9.用于对多层视频数据流(14)进行编码(10)的方法，所述方法包括：

对于与第二层(24₀)的第二RASL图片在时间上对齐的第一层(24₁)的第一RASL图片，使用所述第二RASL图片作为层间预测参考，

对于与所述第二层(24₀)的第三RASL图片(26₀′)在时间上对齐的所述第一层(24₁)的第一非RASL图片(26₁′)，所述第三RASL图片(26₀′)与不形成所述第二层(24₀)的编码层视频序列的开始的所述第二层(24₀)的CRA图片(26₀*)相关联，使用所述第二层(24₀)的第三RASL图片作为层间预测参考，以及

以不从所述第二层(24₀)的所述第四RASL图片进行预测的方式来对与所述第二层(24₀)的第四RASL图片在时间上对齐的所述第一层(24₁)的第二非RASL图片进行编码，所述第四RASL图片与形成所述第二层(24₀)的编码层视频序列的开始的所述第二层(24₀)的CRA图片(26₀*)相关联。

10.由根据权利要求6的编码器(10)生成的视频数据流(14)。

11.用于对多层视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

对于以依赖于第二层(24₀)的方式被编码到多层视频数据流中的第一层(24₁、24₂)，

对于在所述第二层(24₀)中具有序列结束标识符(41)以便指示所述第二层(24₀)的新编码层视频序列(21″₁)的开始的每个访问单元(22′)，其中所述访问单元(22″)按照编码顺序在相应访问单元(22′)之后，

在所述相应访问单元(22′)内将对应的序列结束标识符(41)插入到所述第一层(24₁、24₂)中，或

在后续访问单元之中的下一个访问单元(22″、22″′)内进行编码，所述下一个访问单元(22″、22″′)按照编码顺序在所述相应访问单元(22′)之后，所述第一层(24₁、24₂)的图片(26₁″、26₂″′)被编码到该下一个访问单元(22″、22″′)中，并且所述下一个访问单元(22″、22″′)最靠近所述相应访问单元(22′)，所述第一层(24₁、24₂)的所述图片(26₁″、26₂″′)使用解码刷新并且没有前导图片的输出。

12.根据权利要求11所述的编码器(10)，其中所述视频数据流(14)表示编码视频序列(20)，并且其中所述编码器被配置用于将所述编码视频序列的每个图片(26)编码成多层视频数据流(14)的层之一，所述层包括第一层和第二层，其中所述编码视频序列包括访问单元(22)，每个访问单元(22)在其中编码了属于共同时间实例的所述编码视频序列(20)的一个或多个图片，其中每个图片属于所述多层视频比特流(14)的层之一。

13.根据权利要求11和12中任一项所述的编码器(10)，被配置用于

对所述第一层进行编码，以使得

所述下一个访问单元(22″、22″′)内的所述第一层(24₁、24₂)的所述图片(26₁″、26₂″′)独立于所述视频数据流的其他图片而被编码，以及

如果所述第一层包括在所述第一层(24₁、24₂)中的前导图片，所述前导图片按照解码顺序(19)在所述下一个访问单元(22″、22″′)内的所述第一层(24₁、24₂)的所述图片(26₁″、26₂″′)之后，并且按照呈现顺序在所述下一个访问单元(22″、22″′)内的所述第一层(24₁、24₂)的所述图片(26₁″、26₂″′)之前，并且包括对按照编码顺序(19)在所述第一层(24₁、24₂)的所述图片(26₁″、26₂″′)之前的图片的参考，前导图片被指示为不是被输出。

14.根据权利要求11至13中任一项所述的编码器(10)，其中所述前导图片是RASL图片。

15.多层视频数据流(14)，其中

对于以依赖于第二层(24₀)的方式被编码到多层视频数据流中的第一层(24₁)，

对于在所述第二层(24₀)中具有序列结束标识符(41)以便指示所述第二层(24₀)的新编码层视频序列的开始的每个访问单元(22′)，其中所述访问单元(22″)按照编码顺序在相应访问单元(22′)之后，所述第一层(24₁)在所述相应访问单元(22′)内具有对应的序列结束标识符(41)，或者

在后续访问单元之中的下一个访问单元(22″、22″′)内，所述下一个访问单元(22″、22″′)按照编码顺序在所述相应访问单元(22′)之后，所述第一层(241)的图片被编码到该下一个访问单元(22″、22″′)中，并且所述下一个访问单元(22″、22″′)最靠近所述相应访问单元(22′)，所述第一层(24₁)的所述图片(26₁)使用解码刷新进行编码并且没有前导图片的输出。

16.用于对多层视频数据流(14)进行编码(10)的方法，所述方法包括：

对于以依赖于第二层(24₀)的方式被编码到多层视频数据流中的第一层(24₁、24₂)，

对于在所述第二层(24₀)中具有序列结束标识符(41)以便指示所述第二层(24₀)的新编码层视频序列(21″₁)的开始的每个访问单元(22′)，其中所述访问单元(22″)按照编码顺序在相应的访问单元(22′)之后，

在所述相应访问单元(22′)内将对应的序列结束标识符(41)插入到所述第一层(24₁、24₂)中，或

在后续访问单元之中的下一个访问单元(22″、22″′)内进行编码，所述下一个访问单元(22″、22″′)按照编码顺序在所述相应访问单元(22′)之后，所述第一层(24₁、24₂)的图片(26₁″、26₂″′)被编码到该下一个访问单元(22″、22″′)中，并且所述下一个访问单元(22″、22″′)最靠近所述相应访问单元(22′)，所述第一层(24₁、24₂)的所述图片(26₁″、26₂″′)使用解码刷新并且没有前导图片的输出。

17.用于解码视频数据流(14)的解码器(50)，所述解码器(50)被配置为

针对所述视频数据流(14)的预定访问单元，从所述视频数据流(14)解码

传达关于图片输出定时的信息的图片定时补充增强信息消息，以及

从所述图片定时补充增强信息消息中解码选通标志，并且如果所述选通标志处于第一状态，则图片输出乘法语法元素揭示关于所述预定访问单元是否经受相乘图片输出的信息，并且如果是，则要从所述预定访问单元中生成多少输出图片。

18.根据权利要求17所述的解码器(50)，被配置为

针对视频数据流(14)的预定访问单元，从视频数据流(14)解码传达关于针对所述预定访问单元的帧场结构的信息的帧场补充增强信息消息，以及

从所述帧场补充增强信息消息中解码进一步图片输出乘法语法元素。

19.根据权利要求18所述的解码器(50)，其中

所述视频数据流(14)是多层视频数据流(14)，

所述图片定时补充增强信息消息相关于具有编码到所述预定访问单元中的图片的所述多层视频数据流(14)的所有输出层而传达关于所述图片输出定时的所述信息，以及

所述帧场补充增强信息消息传达关于被编码到所述预定访问单元中的预定输出层的图片的所述帧场结构的所述信息。

20.根据前述权利要求17至20中任一项所述的解码器(50)，被配置为

在所述选通标志处于所述第一状态的情况下，根据所述图片输出乘法语法元素设置针对所述预定访问单元的图片输出次数。

21.用于对视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

针对所述视频数据流(14)的预定访问单元，将传达关于图片输出定时的信息的图片定时补充增强信息消息编码到所述视频数据流(14)中，以及

在所述图片定时补充增强信息消息中编码选通标志，并且如果所述选通标志处于第一状态，则图片输出乘法语法元素揭示关于所述预定访问单元是否经受相乘图片输出的信息，并且如果是，则要从所述预定访问单元中生成多少输出图片。

22.根据权利要求21所述的编码器(10)，被配置为

针对所述视频数据流(14)的预定访问单元，将传达关于针对所述预定访问单元的帧场结构的信息的帧场补充增强信息消息编码到所述视频数据流(14)中，以及

将进一步图片输出乘法语法元素编码到所述帧场补充增强信息消息中。

23.根据权利要求21所述的编码器(10)，其中

所述视频数据流(14)是多层视频数据流(14)，

所述图片定时补充增强信息消息相关于具有编码到所述预定访问单元中的图片的所述多层视频数据流(14)的所有输出层而传达关于所述图片输出定时的信息，以及

所述帧场补充增强信息消息传达关于被编码到所述预定访问单元中的预定输出层的图片的所述帧场结构的所述信息。

24.根据前述权利要求21至23中任一项所述的编码器(10)，被配置为

如果所述多层视频数据流(14)的输出层集合的输出层的帧率不同，和/或

对于所述输出层集合的所述输出层，在所述多层视频数据流(14)中的序列参数集中存在的所述帧场语法元素彼此不相同，每个帧场语法元素指示各个输出层的图片是表示场还是表示帧

则不将所述选通标志设置为所述第一状态。

25.根据前述权利要求21至24中任一项所述的编码器(10)，被配置为

在所述选通标志处于所述第一状态的情况下，根据所述图片输出乘法语法元素设置针对所述预定访问单元的图片输出次数。

26.用于对视频数据流(14)进行解码(50)的方法，所述方法包括：

针对所述视频数据流(14)的预定访问单元，从所述视频数据流(14)解码传达关于图片输出定时的信息的图片定时补充增强信息消息，以及

从所述图片定时补充增强信息消息中解码选通标志，并且如果所述选通标志处于第一状态，则图片输出乘法语法元素揭示关于所述预定访问单元是否经受相乘图片输出的信息，并且如果是，则要从所述预定访问单元中生成多少输出图片。

27.用于对视频数据流(14)进行编码(10)的方法，所述方法包括：

针对所述视频数据流(14)的预定访问单元，将传达关于图片输出定时的信息的图片定时补充增强信息消息编码到所述视频数据流(14)中，以及

在所述图片定时补充增强信息消息中编码选通标志，并且如果所述选通标志处于第一状态，则图片输出乘法语法元素揭示关于所述预定访问单元是否经受相乘图片输出的信息，并且如果是，则要从所述预定访问单元中生成多少输出图片。

28.由根据权利要求21的编码器(10)生成的视频数据流(14)。

29.用于对视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

将如下内容编码到所述视频数据流(14)中，

针对所述视频数据流(14)的预定访问单元，

传达关于针对所述预定访问单元的图片输出定时的信息的图片定时补充增强信息消息，以及

对于图片序列，包括所述预定访问单元中的图片，

包括指示所述图片序列的图片是表示场还是表示帧的帧场语法元素的序列参数集，

指示所述视频数据流(14)的图片输出是否涉及固定图片速率的固定图片速率标志，以及

其中所述编码器(10)被配置为

在如下情况下将图片输出乘法语法元素设置为指示针对所述预定访问单元没有相乘图片输出，

在所述帧场语法元素指示所述图片序列的所述图片表示场的情况下，和/或

在所述帧场语法元素指示所述图片序列的所述图片表示帧的情况下，所述视频数据流(14)中的帧到场语法元素指示所述帧不被显示为场，并且所述固定图片速率标志指示所述图片输出不涉及固定图片速率。

30.根据权利要求29所述的编码器(10)，其中所述视频数据流(14)是包括一个或多个输出层的输出层集合的多层视频数据流(14)，以及

所述图片定时补充增强信息消息相关于具有编码到所述预定访问单元中的图片的所述多层视频数据流(14)的所有输出层而传达关于所述图片输出定时的信息，以及

所述图片序列是所述预定输出层的，包括所述预定访问单元中的所述预定输出层的图片，并且所述帧场语法元素指示所述预定输出层的所述图片序列的图片是表示场还是表示帧，

所述固定图片速率标志指示针对所述输出层集合的图片输出是否涉及相关于所述输出层集合的固定图片速率，

所述编码器(10)被配置为在如下情况下将所述图片输出乘法语法元素设置为指示对于所述预定访问单元没有相乘图片输出，

在所述帧场语法元素指示所述预定输出层的所述图片序列的所述图片表示场的情况下，和/或

在所述帧场语法元素指示所述预定输出层的所述图片序列的所述图片表示帧的情况下，帧到场语法元素指示所述帧不被显示为场，并且所述固定图片速率标志将针对所述输出层集合的所述图片输出指示为不涉及固定图片速率。

31.根据前述权利要求29和30中任一项所述的编码器(10)，被配置为

将如下内容编码到所述视频数据流(14)中，

针对所述视频数据流(14)的预定访问单元，

传达关于针对所述预定访问单元的帧场结构的信息并且包括所述帧到场语法元素的帧场补充增强信息消息。

32.根据权利要求31所述的编码器(10)，其中所述视频数据流(14)是包括一个或多个输出层的输出层集合的多层视频数据流(14)，以及

所述图片定时补充增强信息消息相关于具有编码到所述预定访问单元中的图片的所述多层视频数据流(14)的所有输出层而传达关于所述图片输出定时的信息，以及

所述帧场补充增强信息消息特定于所述多层视频数据流(14)的预定输出层，并传达关于与针对所述预定访问单元的所述预定输出层相关的所述帧场结构的信息，

所述图片序列是所述预定输出层的，包括所述预定访问单元中的所述预定输出层的图片，并且所述帧场语法元素指示所述预定输出层的所述图片序列的图片是表示场还是表示帧，

所述固定图片速率标志指示针对所述输出层集合的图片输出是否涉及相关于所述输出层集合的固定图片速率，

所述编码器(10)被配置为在如下情况下将所述图片输出乘法语法元素设置为指示对于所述预定访问单元没有相乘图片输出，

在所述帧场语法元素指示所述预定输出层的所述图片序列的所述图片表示场的情况下，和/或

在所述帧场语法元素指示所述预定输出层的所述图片序列的所述图片表示帧的情况下，帧到场语法元素指示所述帧不被显示为场，并且所述固定图片速率标志将针对所述输出层集合的所述图片输出指示为不涉及固定图片速率。

33.用于对视频数据流(14)进行编码(10)的方法，所述方法包括：

将如下内容编码到所述视频数据流(14)中，

针对所述视频数据流(14)的预定访问单元，

传达关于针对所述预定访问单元的图片输出定时的信息的图片定时补充增强信息消息，以及

对于图片序列，包括所述预定访问单元中的图片，

包括指示所述图片序列的图片是表示场还是表示帧的帧场语法元素的序列参数集，

指示所述视频数据流(14)的图片输出是否涉及固定图片速率的固定图片速率标志，以及

其中所述方法包括：

在如下情况下将图片输出乘法语法元素设置为指示针对所述预定访问单元没有相乘图片输出，

在所述帧场语法元素指示所述图片序列的所述图片表示场的情况下，和/或

在所述帧场语法元素指示所述图片序列的所述图片表示帧的情况下，所述视频数据流(14)中的帧到场语法元素指示所述帧不被显示为场，并且所述固定图片速率标志指示所述图片输出不涉及固定图片速率。

34.由根据权利要求29的编码器(10)生成的视频数据流(14)。

35.用于对视频数据流(14)进行解码的解码器(50)，所述解码器(50)被配置为

针对所述视频数据流(14)的预定访问单元，

如果针对所述预定访问单元的所述图片输出次数经由所述解码器的API而被提供，则采用经由所述API提供的所述图片输出次数，和/或

如果帧场补充增强信息消息存在于所述视频数据流(14)中，所述帧场补充增强信息消息传达关于针对所述预定访问单元的帧场结构的信息并且包括进一步图片输出乘法语法元素，则从所述帧场补充增强信息消息中解码所述进一步图片输出乘法语法元素，并且根据所述进一步图片输出乘法语法元素来设置针对所述预定访问单元的图片输出次数。

36.根据权利要求35所述的解码器(50)，其中

所述视频数据流(14)是多层视频数据流(14)，

图片定时补充增强信息消息相关于具有编码到所述预定访问单元中的图片的所述多层视频数据流(14)的所有输出层而传达关于所述图片输出定时的信息。

37.根据前述权利要求35和36中任一项所述的解码器(50)，被配置为

如果图片定时补充增强信息消息存在于所述视频数据流(14)中，所述图片定时补充增强信息消息传达关于针对所述预定访问单元的图片输出定时的信息并且包括图片输出乘法语法元素，则从所述图片全局补充增强信息消息中解码所述图片输出乘法语法元素，并且根据所述图片输出乘法语法元素来设置针对所述预定访问单元的图片输出次数。

38.根据权利要求37所述的解码器(50)，其中

所述视频数据流(14)是多层视频数据流(14)，

所述图片定时补充增强信息消息相关于具有编码到所述预定访问单元中的图片的所述多层视频数据流(14)的所有输出层而传达关于所述图片输出定时的所述信息，以及

所述帧场补充增强信息消息传达关于被编码到所述预定访问单元中的预定输出层的图片的所述帧场结构的所述信息。

39.根据前述权利要求36至38中任一项所述的解码器(50)，被配置为

在根据所述进一步图片输出乘法语法元素来设置针对所述预定访问单元的所述图片输出次数时，取决于所述进一步图片输出乘法语法元素来设置针对所述预定输出层的所述图片输出次数，并且使用所述进一步图片输出乘法语法元素来确定针对所述预定访问单元的帧间输出图片间隔。

40.根据前述权利要求36至39中任一项所述的解码器(50)，被配置为

在根据所述进一步图片输出乘法语法元素设置针对所述预定访问单元的所述图片输出次数时，

如果所述预定输出层具有编码到所述预定访问单元和按照输出顺序紧随其后的访问单元中的图片，

取决于所述进一步图片输出乘法语法元素来设置针对所述预定输出层的图片输出次数，以及

使用所述进一步图片输出乘法语法元素来确定针对所述预定访问单元的帧间输出图片间隔。

41.根据前述权利要求36至40中任一项所述的解码器(50)，被配置为

在根据所述进一步图片输出乘法语法元素设置针对所述预定访问单元的所述图片输出次数时，

如果所述预定输出层具有编码到所述预定访问单元和按照输出顺序紧随其后的访问单元中的图片，

取决于所述进一步图片输出乘法语法元素来设置针对所述预定输出层的图片输出次数，以及

使用所述进一步图片输出乘法语法元素来确定针对所述预定访问单元的帧间输出图片间隔，和/或

如果任何其他输出层具有编码到所述预定输出层中的图片，并且该其他输出层具有带有更进一步图片输出乘法语法元素的帧场补充增强信息消息，

取决于所述进一步图片输出乘法语法元素来设置针对所述预定输出层的所述图片输出次数，以及

取决于所述进一步图片输出乘法语法元素和所述更进一步图片输出乘法语法元素中较小的一个来确定针对所述预定访问单元的帧间输出图片间隔。

42.根据前述权利要求36至41中任一项所述的解码器(50)，其中

多于一个输出层具有编码到所述预定输出层中的图片，并且包括帧场补充增强信息消息，并且所述预定输出层的进一步图片输出乘法语法元素最小，

在根据所述进一步图片输出乘法语法元素来设置针对所述预定访问单元的所述图片输出次数时，

取决于所述进一步图片输出乘法语法元素来设置针对所述预定输出层的所述图片输出次数，以及

使用所述进一步图片输出乘法语法元素来确定针对所述预定访问单元的帧间输出图片间隔。

43.根据前述权利要求36至42中任一项所述的解码器(50)，被配置为

如果根据所述图片输出乘法语法元素来设置针对所述预定访问单元的所述图片输出次数，则为所有输出层相同地设置所述图片输出次数，并使用所述图片输出乘法语法元素来确定针对所述预定访问单元的帧间输出图片间隔，以及

如果根据所述进一步图片输出乘法语法元素来设置针对所述预定访问单元的所述图片输出次数，则取决于所述进一步图片输出乘法语法元素来设置针对所述预定输出层的所述图片输出次数并且使用所述进一步图片输出乘法语法元素来确定针对所述预定访问单元的帧间输出图片间隔。

44.根据前述权利要求36至43中任一项所述的解码器(50)，被配置为

基于所述多层视频数据流(14)中的信令，将所述预定输出层确定作为具有最高时间子层的所述输出层，或

作为所述输出层集合的输出层，针对所述输出层，所述进一步图片输出乘法语法元素不同于所述图片输出乘法语法元素。

45.用于对视频数据流(14)进行解码(50)的方法，其中所述方法包括：

针对所述视频数据流(14)的预定访问单元，

如果针对所述预定访问单元的所述图片输出次数经由API而被提供，则采用经由所述API提供的所述图片输出次数，和/或

如果帧场补充增强信息消息存在于所述视频数据流(14)中，所述帧场补充增强信息消息传达关于针对所述预定访问单元的帧场结构的信息并且包括进一步图片输出乘法语法元素，则从所述帧场补充增强信息消息中解码所述进一步图片输出乘法语法元素，并且根据所述进一步图片输出乘法语法元素来设置针对所述预定访问单元的图片输出次数。

46.用于对视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

对于所述视频数据流(14)的预定访问单元(22*)，

向所述视频数据流(14)提供图片定时补充增强信息消息(73)，所述图片定时补充增强信息消息(73)传达关于针对所述预定访问单元(22*)的图片输出定时的信息并且包括图片输出乘法语法元素(74)，

向所述视频数据流(14)提供帧场补充增强信息消息(83)，所述帧场补充增强信息消息(83)传达关于针对所述预定访问单元(22*)的帧场结构的信息并且包括进一步图片输出乘法语法元素(84)，以及

以使得所述图片输出乘法语法元素(74)等于或小于所述进一步图片输出乘法语法元素(84)的方式来编码所述图片输出乘法语法元素(74)和所述进一步图片输出乘法语法元素(84)。

47.根据权利要求46所述的编码器(10)，被配置为

向所述视频数据流(14)提供所述帧场补充增强信息消息(83)，所述帧场补充增强信息消息(83)传达关于针对所述预定访问单元(22*)的所述帧场结构的信息并且包括针对具有被编码到所述预定访问单元(22*)中的图片的一个或多个输出层的进一步图片输出乘法语法元素(84)，以及

以使得所述图片输出乘法语法元素(74)等于或小于所有一个或多个输出层的所述进一步图片输出乘法语法元素(84)的方式来编码所述图片输出乘法语法元素(74)和针对所述一个或多个输出层的所述进一步图片输出乘法语法元素(84)。

48.根据前述权利要求46和47中任一项所述的编码器(10)，被配置为

以使得所述进一步图片输出乘法语法元素(84)是所述图片输出乘法语法元素(74)的整数倍的方式来编码所述图片输出乘法语法元素(74)和所述进一步图片输出乘法语法元素(84)。

49.根据前述权利要求46至48中任一项所述的编码器(10)，其中

所述视频数据流(14)是多层视频数据流(14)，

所述图片定时补充增强信息消息相关于具有编码到所述预定访问单元(22*)中的图片的所述多层视频数据流(14)的所有输出层而传达所述图片输出定时的所述信息，以及

所述帧场补充增强信息消息传达关于被编码到所述预定访问单元(22*)中的预定输出层的图片的所述帧场结构的所述信息

所述编码器(10)被配置为使得

所述进一步图片输出乘法语法元素是所述图片输出乘法语法元素的x倍，其中x是所述预定访问单元(22*)到其中编码有所述预定输出层的图片的所述先前或后续访问单元的AU距离。

50.根据权利要求49所述的编码器(10)，被配置为

基于所述多层视频数据流(14)中的信令，将所述预定输出层确定作为具有最高时间子层的所述输出层，或

作为所述输出层集合的输出层，针对所述输出层，所述进一步图片输出乘法语法元素不同于所述图片输出乘法语法元素。

51.视频数据流(14)，包括：

对于所述视频数据流(14)的预定访问单元(22*)，

图片定时补充增强信息消息(73)，其传达关于针对所述预定访问单元(22*)的图片输出定时的信息并且包括图片输出乘法语法元素(74)，以及

帧场补充增强信息消息(83)，其传达关于针对所述预定访问单元(22*)的帧场结构的信息，并且包括进一步图片输出乘法语法元素(84)，

其中以使得所述图片输出乘法语法元素(74)等于或小于所述进一步图片输出乘法语法元素(84)的方式来编码所述图片输出乘法语法元素(74)和所述进一步图片输出乘法语法元素(84)。

52.用于对视频数据流(14)进行编码(10)的方法，其中所述方法包括：

对于所述视频数据流(14)的预定访问单元(22*)，

向所述视频数据流(14)提供图片定时补充增强信息消息(73)，所述图片定时补充增强信息消息(73)传达关于针对所述预定访问单元(22*)的图片输出定时的信息并且包括图片输出乘法语法元素(74)，

向所述视频数据流(14)提供帧场补充增强信息消息(83)，所述帧场补充增强信息消息(83)传达关于针对所述预定访问单元(22*)的帧场结构的信息并且包括进一步图片输出乘法语法元素(84)；以及

以使得所述图片输出乘法语法元素(74)等于或小于所述进一步图片输出乘法语法元素(84)的方式来编码所述图片输出乘法语法元素(74)和所述进一步图片输出乘法语法元素(84)。

53.用于对视频数据流(14)进行解码的解码器(50)，所述视频数据流(14)是编码视频序列的级联，所述解码器(50)被配置为

对于每个编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及相应编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述相应编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

如果以下所有情况适用，则确定图片速率连续性以应用于从第一编码视频序列到第二编码视频序列的转变：

所述第一和第二编码视频序列的所述固定图片速率标志指示针对所述输出层集合的所述图片输出涉及在所述第一和第二编码视频序列中的固定图片速率，

针对第一和第二编码视频序列的像元输出图片持续时间语法元素相同，

一组条件中的一个或多个条件适用，其中所述组条件包括以下中的一个或多个：

所述第一和第二编码视频序列在GOP大小上一致，

所述第一和第二编码视频序列在重新排序语法元素中一致，所述重新排序语法元素指示可以按照解码顺序在另一个输出图片之前并且按照输出顺序在所述另一个输出图片之后的输出图片的最大允许数量，

所述第一和第二编码视频序列在DPB参数上一致，

所述第二编码视频序列不以与RASL图片相关联的IRAP开始，

所述第一和第二编码视频序列在所述视频数据流(14)中用信号发送的输出延迟语法元素上一致，所述输出延迟语法元素指示所述第一和第二编码视频序列的第一访问单元的输出延迟，

所述第二编码视频序列中的第一AU不是非输出图片，以及

所述第二编码视频序列中的所述第一AU不指示来自所述第一编码视频序列的先前图片未被输出。

54.用于对视频数据流(14)进行编码的编码器(10)，所述视频数据流(14)是编码视频序列的级联，所述编码器(10)被配置为

对于每个编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及相应编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述相应编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

如果以下所有情况适用，则通过一个或多个连续性可检测性语法元素在数据流中用信号发送，图片速率连续性是可检测的，以应用于从第一编码视频序列到第二编码视频序列的转变：

所述第一和第二编码视频序列的所述固定图片速率标志指示针对所述输出层集合的所述图片输出涉及在所述第一和第二编码视频序列中的固定图片速率，

针对第一和第二编码视频序列的像元输出图片持续时间语法元素相同，

一组条件中的一个或多个条件适用，其中所述组条件包括以下中的一个或多个：

所述第一和第二编码视频序列在GOP大小上一致，

所述第一和第二编码视频序列在重新排序语法元素中一致，所述重新排序语法元素指示可以按照解码顺序在另一个输出图片之前并且按照输出顺序在所述另一个输出图片之后的输出图片的最大允许数量，

所述第一和第二编码视频序列在DPB参数上一致，

所述第二编码视频序列不以与RASL图片相关联的IRAP开始，

所述第一和第二编码视频序列在所述视频数据流(14)中用信号发送的输出延迟语法元素上一致，所述输出延迟语法元素指示所述第一和第二编码视频序列的第一访问单元的输出延迟，

所述第二编码视频序列中的第一AU不是非输出图片，以及

所述第二编码视频序列中的所述第一AU不指示来自所述第一编码视频序列的先前图片未被输出。

55.用于对视频数据流(14)进行解码(50)的方法，所述视频数据流(14)是编码视频序列的级联，其中所述方法包括：

对于每个编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及相应编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述相应编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

如果以下所有情况适用，则确定图片速率连续性以应用于从第一编码视频序列到第二编码视频序列的转变：

所述第一和第二编码视频序列的所述固定图片速率标志指示针对所述输出层集合的所述图片输出涉及在所述第一和第二编码视频序列中的固定图片速率，

针对第一和第二编码视频序列的像元输出图片持续时间语法元素相同，

一组条件中的一个或多个条件适用，其中所述组条件包括以下中的一个或多个：

所述第一和第二编码视频序列在GOP大小上一致，

所述第一和第二编码视频序列在重新排序语法元素中一致，所述重新排序语法元素指示可以按照解码顺序在另一个输出图片之前并且按照输出顺序在所述另一个输出图片之后的输出图片的最大允许数量，

所述第一和第二编码视频序列在DPB参数上一致，

所述第二编码视频序列不以与RASL图片相关联的IRAP开始，

所述第一和第二编码视频序列在所述视频数据流(14)中用信号发送的输出延迟语法元素上一致，所述输出延迟语法元素指示所述第一和第二编码视频序列的第一访问单元的输出延迟，

所述第二编码视频序列中的第一AU不是非输出图片，以及

所述第二编码视频序列中的所述第一AU不指示来自所述第一编码视频序列的先前图片未被输出。

56.用于对视频数据流(14)进行编码(10)的方法，所述视频数据流(14)是编码视频序列的级联，其中所述方法包括：

对于每个编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及相应编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述相应编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

如果以下所有情况适用，则通过一个或多个连续性可检测性语法元素在数据流中用信号发送，图片速率连续性是可检测的，以应用于从第一编码视频序列到第二编码视频序列的转变：

所述第一和第二编码视频序列的所述固定图片速率标志指示针对所述输出层集合的所述图片输出涉及在所述第一和第二编码视频序列中的固定图片速率，

针对第一和第二编码视频序列的像元输出图片持续时间语法元素相同，

一组条件中的一个或多个条件适用，其中所述组条件包括以下中的一个或多个：

所述第一和第二编码视频序列在GOP大小上一致，

所述第一和第二编码视频序列在重新排序语法元素中一致，所述重新排序语法元素指示可以按照解码顺序在另一个输出图片之前并且按照输出顺序在所述另一个输出图片之后的输出图片的最大允许数量，

所述第一和第二编码视频序列在DPB参数上一致，

所述第二编码视频序列不以与RASL图片相关联的IRAP开始，

所述第一和第二编码视频序列在所述视频数据流(14)中用信号发送的输出延迟语法元素上一致，所述输出延迟语法元素指示所述第一和第二编码视频序列的第一访问单元的输出延迟，

所述第二编码视频序列中的第一AU不是非输出图片，以及

所述第二编码视频序列中的所述第一AU不指示来自所述第一编码视频序列的先前图片未被输出。

57.由根据权利要求54的编码器(10)生成的视频数据流(14)。

58.用于对视频数据流(14)进行解码的解码器(50)，所述解码器(50)被配置为

对于所述多层视频数据流(14)的预定编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

基于如下来确定针对所述预定编码视频序列的输出延迟(第一图片的图片输出时间)

具有由所述像元输出图片持续时间语法元素所确定的第一因子和使用DPB参数中的重新排序语法元素所确定的第二因子的乘积，所述重新排序语法元素指示可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的所述输出图片集的图片的最大允许数量，或者

具有由所述像元输出图片持续时间语法元素所确定的第一因子和由所述视频数据流(14)中的延迟语法元素所指示的第二因子的乘积。

59.用于对视频数据流(14)进行解码的解码器(50)，所述解码器(50)被配置为

针对所述视频数据流(14)的预定编码视频序列(20)，

对参数集(93)进行解码，所述参数集(93)包括

固定图片速率标志(94)，所述固定图片速率标志(94)指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素(96)，以及

从所述视频数据流(14)解码一个或多个语法元素(66)，

如果所述一个或多个语法元素(66)具有第一状态，

基于所述像元输出图片持续时间语法元素(96)来确定针对所述预定编码视频序列的像元图片输出时间(36)，以及

针对所述编码视频序列(20)的每个访问单元(22)，推断所述视频数据流(14)的图片定时补充增强信息消息(73)中的图片输出乘法语法元素(74)指示非相乘输出，所述图片输出乘法语法元素(74)揭示关于相应访问单元(22)是否经受相乘输出的信息，如果是，则要从所述相应访问单元(22)中生成多少顺序输出图片。

60.根据权利要求59所述的解码器(50)，被配置为

如果所述一个或多个语法元素(66)具有第二状态，

对于所述视频数据流(14)的每个访问单元(22)，从所述视频数据流(14)的图片定时补充增强信息消息中解码图片输出乘法语法元素，所述图片输出乘法语法元素揭示关于相应访问单元(22)是否经受相乘输出的信息，并且如果是，则从所述相应访问单元(22)中生成多少个顺序输出图片，以及

基于所述像元输出图片持续时间语法元素和所述图片输出乘法语法元素来确定针对所述预定编码视频序列的所述输出延迟。

61.根据前述权利要求59和60中任一项所述的解码器(50)，其中

所述一个或多个语法元素(66)指示以下中的一个或多个

所述视频数据流(14)不包含图片定时补充增强信息消息，

所述视频数据流(14)不需要图片定时补充增强信息消息，

所述视频数据流(14)不包含帧场补充增强信息消息，

所述视频数据流(14)不需要帧场补充增强信息消息，

所述视频数据流(14)不包含缓冲周期补充增强信息消息，

所述视频数据流(14)不需要v补充增强信息消息。

62.根据前述权利要求59至61中任一项所述的解码器(50)，其中

所述一个或多个语法元素(66)指示以下中的一个或多个

所述视频数据流(14)不包含用于NAL操作的CPB和比特率参数，

所述视频数据流(14)不包含用于VCL操作的CPB和比特率参数。

63.根据前述权利要求59至62中任一项所述的解码器(50)，被配置为从所述视频数据流(14)的一个或多个参数集中解码所述一个或多个语法元素(66)。

64.用于对视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

对于所述多层视频数据流(14)的预定编码视频序列，

将参数集编码到所述视频数据流(14)中，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

基于如下内容，通过一个或多个输出延迟可计算性语法元素在数据流中用信号发送，针对所述预定编码视频序列的输出延迟是可计算的：

具有由所述像元输出图片持续时间语法元素所确定的第一因子和使用DPB参数中的重新排序语法元素所确定的第二因子的乘积，所述重新排序语法元素指示可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的所述输出图片集的图片的最大允许数量，或者

具有由所述像元输出图片持续时间语法元素所确定的第一因子和由所述视频数据流(14)中的延迟语法元素所指示的第二因子的乘积。

65.用于对视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

对于所述视频数据流(14)的预定编码视频序列(20)，

将参数集(93)编码到所述视频数据流(14)中，所述参数集(93)包括

固定图片速率标志(94)，所述固定图片速率标志(94)指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素(96)，以及

将一个或多个语法元素(66)编码到所述视频数据流(14)中，以使得如果所述一个或多个语法元素(66)具有第一状态，

基于所述像元输出图片持续时间语法元素(96)来确定针对所述预定编码视频序列的像元图片输出时间(36)，并且针对所述编码视频序列(20)的每个访问单元(22)，所述相应访问单元(22)可推断为不经受相乘输出。

66.根据权利要求65所述的编码器(10)，被配置为

如果所述一个或多个语法元素(66)具有第二状态，

对于所述视频数据流(14)的每个访问单元(22)，将图片输出乘法语法元素(74)编码到所述视频数据流(14)的图片定时补充增强信息消息(73)中，所述图片定时补充增强信息消息(73)揭示以下信息，即关于相应访问单元(22)是否经受相乘输出，并且如果是，则所述相应访问单元(22)中生成多少顺序输出图片，使得

基于所述像元输出图片持续时间语法元素和所述图片输出乘法语法元素来确定针对所述预定编码视频序列的所述像元图片输出时间(36)。

67.根据前述权利要求65和66中任一项所述的编码器(10)，其中

所述一个或多个语法元素(66)指示以下中的一个或多个

所述视频数据流(14)不包含图片定时补充增强信息消息，

所述视频数据流(14)不需要图片定时补充增强信息消息，

所述视频数据流(14)不包含帧场补充增强信息消息，

所述视频数据流(14)不需要帧场补充增强信息消息，

所述视频数据流(14)不包含缓冲周期补充增强信息消息，

所述视频数据流(14)不需要补充增强信息消息。

68.根据前述权利要求65至67中任一项所述的编码器(10)，其中

所述一个或多个语法元素(66)指示以下中的一个或多个

所述视频数据流(14)不包含用于NAL操作的CPB和比特率参数，

所述视频数据流(14)不包含用于VCL操作的CPB和比特率参数。

69.根据前述权利要求65至68中任一项所述的编码器(10)，被配置为将所述一个或多个语法元素编码到所述视频数据流(14)的一个或多个参数集中。

70.视频数据流(14)，包括：

对于所述视频数据流(14)的预定编码视频序列(20)，

参数集(93)，所述参数集(93)包括

固定图片速率标志(94)，所述固定图片速率标志(94)指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素(96)，以及

一个或多个语法元素(66)，所述一个或多个语法元素(66)编码以使得

如果所述一个或多个语法元素(66)具有第一状态，

基于所述像元输出图片持续时间语法元素(96)来确定针对所述预定编码视频序列的像元图片输出时间(36)，并且针对所述编码视频序列(20)的每个访问单元(22)，所述相应访问单元(22)可推断为不经受相乘输出。

71.用于对视频数据流(14)进行解码(50)的方法，其中所述方法包括：

对于所述多层视频数据流(14)的预定编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

基于如下来确定针对所述预定编码视频序列的输出延迟(第一图片的图片输出时间)

具有由所述像元输出图片持续时间语法元素所确定的第一因子和使用DPB参数中的重新排序语法元素所确定的第二因子的乘积，所述重新排序语法元素指示可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的所述输出图片集的图片的最大允许数量，或者

具有由所述像元输出图片持续时间语法元素所确定的第一因子和由所述视频数据流(14)中的延迟语法元素所指示的第二因子的乘积。

72.用于对视频数据流(14)进行解码(50)的方法，其中所述方法包括：

对于所述视频数据流(14)的预定编码视频序列，

对参数集进行解码，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

从所述视频数据流(14)中解码一个或多个语法元素，

如果所述一个或多个语法元素具有第一状态，

基于所述像元输出图片持续时间语法元素来确定针对预定所述编码视频序列的像元图片输出时间，以及

针对所述编码视频序列(20)的每个访问单元(22)，推断所述视频数据流(14)的图片定时补充增强信息消息中的图片输出乘法语法元素指示非乘法输出，所述图片输出乘法语法元素揭示以下信息，即关于相应访问单元(22)是否经受相乘输出，并且如果是，则要从所述相应访问单元(22)中生成多少个顺序输出图片。

73.用于对视频数据流(14)进行编码(10)的方法，其中所述方法包括：

对于所述多层视频数据流(14)的预定编码视频序列，

将参数集编码到所述视频数据流(14)中，所述参数集包括

固定图片速率标志，所述固定图片速率标志指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素，以及

基于如下内容，通过一个或多个输出延迟可计算性语法元素在数据流中用信号发送，针对所述预定编码视频序列的输出延迟是可计算的：

具有由所述像元输出图片持续时间语法元素所确定的第一因子和使用DPB参数中的重新排序语法元素所确定的第二因子的乘积，所述重新排序语法元素指示可以按照解码顺序在OLS中的任何图片之前并且按照输出顺序在该图片之后的所述输出图片集的图片的最大允许数量，或者

具有由所述像元输出图片持续时间语法元素所确定的第一因子和由所述视频数据流(14)中的延迟语法元素所指示的第二因子的乘积。

74.由根据权利要求64的编码器(10)生成的视频数据流(14)。

75.用于对视频数据流(14)进行编码(10)的方法，其中所述方法包括：

对于所述视频数据流(14)的预定编码视频序列(20)，

将参数集(93)编码到所述视频数据流(14)中，所述参数集(93)包括

固定图片速率标志(94)，所述固定图片速率标志(94)指示图片输出是否涉及所述预定编码视频序列内的固定图片速率，以及如果所述固定图片速率标志指示所述图片输出涉及所述预定编码视频序列内的固定图片速率，则还包括像元输出图片持续时间语法元素(96)，以及

将一个或多个语法元素(66)编码到所述视频数据流(14)中，以使得如果所述一个或多个语法元素(66)具有第一状态，

基于所述像元输出图片持续时间语法元素(96)来确定针对所述预定编码视频序列的像元图片输出时间(36)，并且针对所述编码视频序列(20)的每个访问单元(22)，所述相应访问单元(22)可推断为不经受相乘输出。

76.用于对视频数据流(14)进行解码的解码器(50)，所述解码器(50)被配置为

对参数集进行解码，所述参数集包括指示针对所述视频数据流(14)的图片输出是否涉及固定图片速率的固定图片速率标志，以及如果所述固定图片速率标志指示所述图片输出涉及固定图片速率，则还包括像元输出图片持续时间语法元素，以及

针对每个图片，从所述视频数据流(14)中解码指示相应图片是否要被显示的图片输出标志，

推断按照输出顺序在被指示为不被输出的另一图片之前的图片将经受重复输出。

77.用于对视频数据流(14)进行编码的编码器(10)，所述编码器(10)被配置为

将参数集编码到所述视频数据流(14)中，所述参数集包括指示针对所述视频数据流(14)的图片输出是否涉及固定图片速率的固定图片速率标志，以及如果所述固定图片速率标志指示所述图片输出涉及固定图片速率，则还包括像元输出图片持续时间语法元素，以及

针对每个图片，将指示相应图片是否要被显示的图片输出标志编码到所述视频数据流(14)中，

如果所述固定图片速率标志指示针对所述视频数据流(14)的图片输出涉及固定图片速率，

将每个图片的所述图片输出标志设置为指示所述相应图片要被显示，和/或

将不是所述视频数据流(14)的编码视频序列的第一图片的每个图片的所述图片输出标志设置为指示所述相应图片要被显示，和/或

将不是所述视频数据流(14)的编码视频序列的第一张图片或者在所述视频数据流(14)的编码视频序列内且不是排他性地在其他无输出图片之前的每个图片的所述图片输出标志设置为指示所述相应图片要被显示。

78.根据权利要求77所述的编码器(10)，被配置为

将标志编码到所述视频数据流(14)中，所述标志指示是否

每个图片的所述图片输出标志被设置为指示所述相应图片要被显示，和/或

不是所述视频数据流(14)的编码视频序列的第一张图片的每个图片的所述图片输出标志被设置为指示所述相应图片要被显示，和/或

不是所述视频数据流(14)的编码视频序列的第一张图片或者在所述视频数据流(14)的编码视频序列内且不是排他性地在其他无输出图片之前的每个图片的所述图片输出标志被设置为指示所述相应图片要被显示。

79.根据权利要求78所述的编码器(10)，被配置为

在所述固定图片速率标志指示针对所述视频数据流(14)的图片输出涉及固定图片速率的情况下，设置所述标志。

80.用于对视频数据流(14)进行解码(50)的方法，其中所述方法包括：

对参数集进行解码，所述参数集包括指示针对所述视频数据流(14)的图片输出是否涉及固定图片速率的固定图片速率标志，以及如果所述固定图片速率标志指示所述图片输出涉及固定图片速率，则还包括像元输出图片持续时间语法元素，以及

针对每个图片，从所述视频数据流(14)中解码指示相应图片是否要被显示的图片输出标志，

推断按照输出顺序在被指示为不被输出的另一图片之前的图片将经受重复输出。

81.用于对视频数据流(14)进行编码(10)的方法，其中所述方法包括：

将参数集编码到所述视频数据流(14)中，所述参数集包括指示针对所述视频数据流(14)的图片输出是否涉及固定图片速率的固定图片速率标志，以及如果所述固定图片速率标志指示所述图片输出涉及固定图片速率，则还包括像元输出图片持续时间语法元素，以及

针对每个图片，将指示相应图片是否要被显示的图片输出标志编码到所述视频数据流(14)中，

如果所述固定图片速率标志指示针对所述视频数据流(14)的图片输出涉及固定图片速率，

将每个图片的所述图片输出标志设置为指示所述相应图片要被显示，和/或

将不是所述视频数据流(14)的编码视频序列的第一图片的每个图片的所述图片输出标志设置为指示所述相应图片要被显示，和/或

将不是所述视频数据流(14)的编码视频序列的第一张图片或者在所述视频数据流(14)的编码视频序列内且不是排他性地在其他无输出图片之前的每个图片的所述图片输出标志设置为指示所述相应图片要被显示。

82.由根据权利要求77的编码器(10)生成的视频数据流(14)。

83.一种计算机程序，所述计算机程序在计算机或信号处理器上执行时用于实现权利要求4、9、16、26、27、33、45、52、55、56、71、72、73、75、80和81中任一项的方法。

Images