CN115066905A

CN115066905A - 用于在视频流中使不同的nal单元类型的nal单元混合的解码器、编码器以及方法

Info

Publication number: CN115066905A
Application number: CN202080097218.7A
Authority: CN
Inventors: 德拉费恩特 Y·桑切斯; K·许林; C·海勒格; T·斯基尔勒; R·斯库平; T·威甘德
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2019-12-20
Filing date: 2020-12-16
Publication date: 2022-09-16
Also published as: AU2020406072A1; US20230027374A1; KR20220114562A; TW202127889A; WO2021122817A1; TWI792121B; EP4078973A1; CA3164485A1; JP2023507348A

Abstract

本发明涉及用于处置视频数据流（11）的解码器、编码器以及对应方法，视频数据流（11）包括第一子位流（11‑1）和第二子位流（11‑2）。本文中所描述的概念提供用于在访问单元（30、31、32）内使不同的NAL单元类型的不同的NAL单元（301、302、3030、304）混合的解决方案。例如，IRAP NAL单元类型可以与不同的IRAP NAL单元类型或非IRAP NAL单元类型混合，并且，非IRAP NAL单元类型可以与不同的非IRAP NAL单元类型混合。

Description

用于在视频流中使不同的NAL单元类型的NAL单元混合的解码器、编码器以及方法

技术领域

本公开的实施例涉及用于对视频流以及特别地包括至少两个视频子流的视频流进行解码/编码的解码器和对应编码器。所述视频流可以包括多个访问单元，其中，每个访问单元可以包括被包含在所述两个或更多个视频子流中的每个视频子流中的至少一个图片。每个图片可以与特定NAL单元类型的NAL（网络抽象层）单元关联。本文中所描述的创新性概念将用于使不同的NAL单元类型的NAL单元混合的解决方案引入。

背景技术

根据NAL单元是否分别包含经编码图片或其它关联数据，NAL单元可以被分类成VCL（视频编码层）和非VCL NAL单元。在HEVC标准中，包括若干VCL NAL单元类型，所述VCLNAL单元类型标识用于解码器初始化和随机访问（random-access）目的图片的种类。使用两字节NAL单元标头的内容，有可能容易地标识关联的有效负载数据的目的。

视频编码技术能够实现随机访问和位流拼接。关于随机访问，位流可以以IDR（瞬时解码刷新）访问单元开始。IDR访问单元包含独立地编码的图片，即，能够在不对NAL单元流中的任何先前图片进行解码的情况下进行解码的经编码图片。IDR访问单元的存在指示位流中的后续图片将不要求参考其包含的图片之前的图片以便被解码。在被称为封闭GOP（图片组）的编码结构内，使用IDR图片。对于上文中所讨论的IDR语法的备选方案由CRA（清洁随机访问）图片语法提供，CRA图片语法指定在RAP或IRAP（（帧内）随机访问点）的位置（即，位流中的如下的位置：在该位置处，解码器能够开始成功地对图片进行解码，而不需要对在位流中较早地出现的任何图片进行解码）处使用独立地编码的图片，这支持被称为开放GOP操作的高效时间编码顺序。

对随机访问的良好支持可以对于能够实现通道切换、查找操作以及动态流式传输（streaming）服务是关键的。按解码顺序跟随CRA图片并且按显示顺序先行于（precede）CRA图片的一些图片可以包含对在解码器处不可用的图片的图片间预测参考。因此，这些不可解码的图片可以被解码器丢弃，解码器在CRA点处开始进行其解码过程。出于此目的，这样的不可解码的图片可以被标识为RASL图片（随机访问跳过前导（Skipped Leading））。IRAP图片可以是IDR或CRA图片，其中，CRA图片可以后接位流中的RASL图片。RASL图片能够被解码器丢弃，因为，例如起因于拼接操作，RASL图片可能包含对实际上在位流中不存在的图片的参考。

能够按解码顺序跟随IRAP图片并且按输出顺序先行于IRAP图片的另外的类型的图片是RADL图片（随机访问可解码前导），该RADL图片可以不包含对按解码顺序先行于IRAP图片的任何图片的参考。RASL图片和RADL图片可以被统称为前导图片（LP）。按解码顺序和输出顺序两者跟随IRAP图片的图片被称为拖尾（trailing）图片（TRAIL）。拖尾图片可以不包含对用于图片间预测的LP的任何参考。

在当今的视频编码中，还可以给出时间子分层支持。因此，可以在NAL单元标头中指定时间标识符，该时间标识符指示层次时间预测结构中的级别。这有助于实现时间可缩放性，而不需要解析除了NAL单元标头之外的位流部分。在某些场合下，能够在一个经编码视频序列的解码过程期间调整经解码时间子层的数量。能够通过STSA图片（逐步时间子层访问）的存在来指示位流中的如下的点的位置：在该位置处，子层切换有可能开始对一些更高时间层进行解码。在STSA图片的位置处，也许有可能从对更低时间子层进行解码切换到对一个特定更高时间子层进行解码（但不切换到其上的另外的层，除非所述另外的层也包含STSA图片）。

对于多参考图片管理，可以在DPB（经解码图片缓冲器）中存在特定的先前解码的图片集，以便对位流中的图片的剩余部分进行解码。为了标识这些图片，可以在每个切片标头中传送POC（图片顺序计数）标识符的列表。所保留的参考图片集被称为RPS（参考图片集）。POC可以包含最低有效位部分（LSB）和最高有效位部分（MSB），以便针对位流中的每个图片而指示相应的当前图片顺序计数（POC值），其中，图片顺序可以不同于相应图片的解码顺序。因而，对IRAP图片之后的图片（所述图片参考先行于IRAP图片的参考图片）进行解码可能是具有挑战性的。

因而，理想的是，改进如下的现有的编码器和解码器：可以提供位流中的图片和图片序列（特别地，在继IRAP图片之后出现的情况下）的恰当处置。

发明内容

因此，建议提供至少具有独立权利要求的特征的解码器和至少具有独立权利要求的特征的用于编码和/或合并的对应设备。此外，建议分别提供编码和解码的对应方法以及对应的计算机程序产品和位流。在从属权利要求中提出有利实施例。

如上文中所提到的，位流可以包括：与IRAP NAL单元类型关联的图片，所述图片也可以被称为IRAP图片；以及不与IRAP NAL单元类型关联（即，与非IRAP NAL单元类型关联）的图片，所述图片也可以被称为非IRAP图片。

根据一方面，提供用于对视频内容进行解码的解码器，该解码器配置成对位流进行解码，该位流包括与视频内容的图片的第一空间段相关的第一子位流和与视频内容的图片的第二空间段相关的第二子位流。在此情况下，该位流包括至少一个访问单元，其中，第一子位流的至少一个第一NAL单元属于非IRAP NAL单元类型，例如RASL、RADL、TRAIL、STSA。至少一个访问单元还包括属于非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA）的第二子位流的至少一个不同的第二NAL单元，其中，第一子位流的第一NAL单元和第二子位流的第二NAL单元混合。换而言之，非IRAP NAL单元与不同的非IRAP NAL单元混合。例如，TRAIL图片NAL单元类型的NAL单元可以与RASL图片NAL单元类型的NAL单元混合。根据该非限制性示例，在一个访问单元内，第一子位流的TRAIL图片可以与第二子位流的RASL图片混合。其它非限制性示例可以允许在一个访问单元内使第一子位流的TRAIL图片与第二子位流的RADL图片混合。一些另外的非限制性示例可以允许在一个访问单元内使第一子位流的TRAIL图片与第二子位流的STSA图片混合。一些另外的非限制性示例可以允许在一个访问单元内使第一子位流的STSA图片与第二子位流的RADL图片混合。一些另外的非限制性示例可以允许在一个访问单元内使第一子位流的STSA图片与第二子位流的RASL图片混合。一些另外的非限制性示例可以允许在一个访问单元内使第一子位流的RASL图片与第二子位流的RADL图片混合。

根据另外的方面，提供用于对视频内容进行解码的解码器，该解码器配置成对位流进行解码，该位流包括与视频内容的图片的第一空间段相关的第一子位流和与视频内容的图片的第二空间段相关的第二子位流。在此情况下，该位流包括至少一个访问单元，在所述至少一个访问单元内，第一子位流的至少一个第一NAL单元属于IRAP NAL单元类型，其与第二子位流的属于另外的IRAP NAL单元类型的至少一个第二NAL单元混合。换而言之，第一IRAP NAL单元与另外的第二IRAP NAL单元混合。所述另外的第二IRAP NAL单元可以属于与第一IRAP NAL单元相同的NAL单元类型，或它可以属于与第一IRAP NAL单元不同的NAL单元类型。例如，CRA图片NAL单元类型的NAL单元可以与相同的NAL单元类型的另外的图片混合，例如，与另外的CRA图片NAL或与不同的NAL单元类型的另外的图片混合，例如，与具有前导图片的IDR图片NAL单元类型的NAL单元（即，具有RADL的IDR图片单元类型（IDR_W_RADL））混合。根据该非限制性示例，在一个访问单元内，第一子位流的CRA图片可以与第二子位流的另外的CRA图片混合或与第二子位流的IDR_W_RADL图片混合。

根据另外的方面，提供用于对视频内容进行解码的解码器，该解码器配置成对位流进行解码，该位流包括与视频内容的图片的第一空间段相关的第一子位流和与视频内容的图片的第二空间段相关的第二子位流。在此情况下，该位流包括至少一个访问单元，在所述至少一个访问单元内，第一子位流的至少一个第一NAL单元属于IRAP NAL单元类型，其与第二子位流的属于非IRAP前导图片NAL单元类型（例如，RASL或RADL）或STSA NAL单元类型中的任一种单元类型的至少一个第二NAL单元混合。换而言之，在一个访问单元内，IRAPNAL单元（IDR_W_RADL或CRA）与非IRAP NAL单元混合，其中，非IRAP NAL单元是RASL图片、RADL图片或STSA图片中的任一个图片。

根据另外的方面，提供用于对视频内容进行解码的解码器，该解码器配置成对位流进行解码，该位流包括第一子位流和第二子位流，并且其中，解码器配置成从第一子位流和第二子位流的NAL单元的切片标头推导用于设置NAL单元所参考的图片的POC的最高有效POC部分的信息，该NAL单元属于IRAP NAL单元类型（例如，CRA、IDR_W_RADL）。在该示例中，如果所述访问单元内的至少一个NAL单元属于非瞬时解码刷新（非IDR）单元类型，则要求针对位流的访问单元内的IRAP NAL单元类型的所有NAL单元而将最高有效POC部分设置成预确定值。换而言之，如果访问单元内部的至少一个NAL单元参考非IDR图片，例如参考CRA图片，则要求将最高有效POC部分设置成所述预确定值。作为非限制性示例，所述预确定值可以等于或大于与先行于NAL单元所参考的图片的图片关联的POC的最高有效POC部分。换而言之，如果在访问单元内部存在非IDR图片，则不可以发生POC重置。

根据另外的方面，提供用于对视频内容进行解码的解码器，该解码器配置成对位流进行解码，该位流包括第一子位流和第二子位流，并且其中，解码器配置成从第一子位流和第二子位流的NAL单元的切片标头推导用于设置NAL单元所参考的图片的POC的最高有效POC部分的信息，该NAL单元属于IRAP NAL单元类型（例如，CRA、IDR_W_RADL）。在该示例中，禁止任何图片参考按解码顺序跨越位流的任何访问单元，在所述访问单元内，所有NAL单元都属于IRAP NAL单元类型，并且具有其中最高有效POC部分设置成预确定值的切片标头。换而言之，如果访问单元内部的每个图片可以参考IRAP NAL单元类型（例如，CRA或IDR_W_RADL），并且可以具有设置成所述预确定值的最高有效POC部分，则不可以允许来自先行于所述访问单元的参考图片的任何图片参考。作为非限制性示例，所述预确定值可以小于与先行于NAL单元所参考的图片的图片关联的POC的最高有效POC部分。例如，如果发生最高有效POC部分的重置，则该预确定值可以更小。因而，根据上文中所提到的非限制性示例，如果访问单元可以仅包括IRAP图片，并且，如果发生最高有效POC部分的重置，则可以禁止通过参考先行参考图片来进行的图片参考。

根据另外的方面，提供用于对视频内容进行解码的解码器，该解码器配置成对位流进行解码，该位流包括第一子位流和第二子位流，并且其中，解码器配置成从第一子位流和第二子位流的NAL单元的切片标头推导用于设置NAL单元所参考的图片的POC的最高有效POC部分的信息，该NAL单元属于IRAP NAL单元类型（例如，CRA、IDR_W_RADL）。在该示例中，禁止由按位流顺序跟随位流的第二访问单元的图片进行的对第一访问单元的参考图片的任何图片参考，该第一访问单元由NAL单元组成，所述NAL单元具有其中最高有效POC部分设置成第一预确定值的切片标头，并且该第一访问单元按位流顺序先行于位流的第二访问单元，在该第二访问单元内，所有NAL单元都属于IRAP NAL单元类型，并且具有其中最高有效POC部分设置成第二预确定值的切片标头。根据非限制性示例，所述第一预确定值可以大于所述第二预确定值。换而言之，如果第一（先行）访问单元的最高有效POC部分的第一预确定值大于第二访问单元的最高有效POC部分的第二预确定值，则下者可能是不被允许的：跟随第二访问单元的图片可以参考先行于所述第二访问单元的参考图片。

根据另外的方面，建议相应的对应编码器、用于编码的方法以及用于解码的方法。

根据另外的方面，提供计算机程序，其中，所述计算机程序中的每个计算机程序配置成当在计算机或信号处理器上执行时，实现本文中所描述的方法中的一个方法，使得本文中所描述的方法由所述计算机程序中的一个计算机程序实现。

附图说明

在下文中，本公开的实施例参考附图而更详细地描述，其中：

图1示出可以由根据实施例的用于编码/合并的发明性的解码器和设备处理的位流的示意图，

图2示出位流的示意图，该位流带有具有IDR_N_LP NAL单元类型的访问单元，而所有其它访问单元都具有相同的NAL单元类型，

图3示出位流的示意图，该位流带有具有IDR_W_LP NAL单元类型和与TRAIL单元类型混合的对应的RADL单元类型的访问单元，

图4示出位流的示意图，该位流带有具有CRA NAL单元类型和与TRAIL单元类型混合的对应的RASL单元类型的访问单元，

图5示出具有选择性高分辨率图块的全360度低分辨率缩略图，

图6示出示例性编码结构，其中，在一个图块（顶部示例）中，图片使用STSA NAL单元类型来指示逐步时间子层访问，而另一图块（底部示例）中的相同图片使用RASL NAL单元类型，

图7示出用于使用封闭GOP结构的高分辨率区域（顶部）和使用开放GOP结构的高分辨率区域（底部）的示例性编码结构，

图8示出多层位流的示例性编码结构，其中，在层对齐的RAP图片处进行POC MSB重置，

图9示出多层位流的示例性编码结构，其中，如果并非所有NAL单元都是IDR，则禁止POC MSB重置，

图10示出多层位流的示例性编码结构，其中，由于所有NAL单元都是IDR，因而允许POC MSB重置，

图11示出多层位流的示例性编码结构，其中，进行POC MSB重置，并且，禁止LT参考，

图12示出多层位流的示例性编码结构，其中，所有POC MSB都等于0，并且，禁止LT参考，

图13示出多层位流的示例性编码结构，其中，所有POC MSB都等于0，并且，允许LT参考，以及

图14示出多层位流的示例性编码结构，其中，未进行POC MSB重置，并且，允许LT参考。

具体实施方式

在以下的描述中，相等或等效的元素或具有相等或等效的功能性的元素由相等或等效的参考数字指代。

借助于框图来描绘并且参考所述框图而描述的方法步骤也可以按与所描绘和/或描述的顺序不同的顺序执行。此外，涉及装置的特定特征的方法步骤可以可用所述装置的所述特征置换，并且反之亦然。

使图片和访问单元（access unit）中的NAL单元类型混合

1. 使经编码图片内的单元类型混合

出于介绍目的，图1示出根据本发明的实施例的示例性视频位流11的结构，视频位流11能够由用于对视频位流11进行编码和/或合并的解码器100和设备10处理。视频位流11包括连续图片12a、12b、12c的序列，其中，所述连续图片12a、12b、12c中的两个或更多个图片可以被一起分组在GOP（图片组）12中，GOP（图片组）12可以表示预期的视频内容的至少部分。

出于编码目的，每个图片12a、12b、12c可以细分成空间段（spatial segment）、例如切片、图块或块。在该非限制性示例中，图片12a、12b、12c各自细分成两个空间段，即，细分成第一（例如，左）空间段13₁和第二（例如，右）空间段13₂。

位流11可以细分成与图片12a、12b、12c的第一空间段13₁相关的第一子位流11-1，并且细分成与图片12a、12b、12c的第二空间段13₂相关的第二子位流11-2。

一些图片12a、12b可以例如借助于预测编码来依赖性地编码。这些图片12b中的一些图片可以通过单预测（例如，通过参考单个先行（preceding）图片）来预测，而一些其它图片12a可以通过双预测（例如，通过参考先行图片和后续图片）来预测。一些其它图片12c可以被独立地编码，即，这些图片12c可以不涉及先行图片或后续图片。独立地编码的图片12c可以提供（帧内）随机访问点（（I）RAP），该随机访问点表示位流11中的如下的位置：在该位置处，解码器可以开始对后续图片进行解码，而不需要对在位流11中较早地出现的任何图片进行解码。例如，图片12c是独立地编码的图片，其也可以被称为（I）RAP图片。在本公开中，用语RAP和IRAP可以同义地使用。

位流11可以包括用于访问位流11的一个或多个访问单元30。在图1的非限制性示例中，访问单元30可以包括被包含在第一子位流11-1和第二子位流11-2中的经对齐（相对于呈现顺序）图片段13₁、13₂。分别包括这些经对齐图片段13₁、13₂的图片12a、12b、12c可以被分组成不同种类，例如被分组成IRAP图片（如上文中所提到的那样）和非IRAP图片。

网络抽象层（NAL）可以提供用于定义那些图片段13₁、13₂和图片12a、12b、12c的高级语法。特别地，NAL单元可以与对于所述图片12a、12b、12c中的每个图片的所述图片段13₁、13₂关联。因而，在本公开中，第一子位流11-1和第二子位流11-2的在上文中提到的图片段13₁、13₂也可以同义地被称为NAL单元。因此，第一子位流11-1和第二子位流11-2也可以被称为NAL单元流。每个NAL单元13₁、13₂可以包括特定NAL单元类型。进而，NAL单元类型可以标识被包含在NAL单元中的相应图片的前面提到的种类，即，相应NAL单元是属于IRAP类型还是属于非IRAP类型。

存在依赖于在图片内使IRAP类型混合的多个应用，其中，IRAP类型是通过NAL单元类型指示的访问单元（AU）30或其部分的随机访问属性。能够在单层或多层编码解码器域中找到用例，即：单层编码解码器位流，其图片由作为IRAP的切片组成，而相同图片的其它切片不是IRAP；或多层编码解码器位流，其访问单元在一层中包含IRAP，而其它层包含非IRAP图片。

当前，在现有技术中给出对经混合NAL单元类型的支持，其中，单一类型的IRAPNAL单元类型能够在图片内与TRAIL图片混合。然而，这并未恰当地涵盖如下的用例：所述用例激发对如下文中所描述的这样的特征的需要，并且，本发明为所述用例提供解决方案。

激发对经混合NAL单元类型的需要的主要用例是360°视频，其中，使用图块流式传输，并且，整个360°的仅子集以高分辨率传送，并且，其余部分以低分辨率传送。当发生在察看取向方面的改变时，于是，不再要求处于高分辨率的一些图块，而从该时间实例向前要求曾以低分辨率示出的新图块处于高分辨率。这些图块是仅有的遇到改变（从高分辨率到低分辨率，并且反之亦然）的图块。然后，这些图块使用以IRAP开始的表示来下载，而其它图块不需要具有该属性。当将与不同图块对应的位流合并成单个位流时，所述图块中的一些图块包含与IRAP图片对应的NAL单元类型，而其它图块包含非IRAP图片的NAL单元类型。

此外，存在一些其它用例，其中，允许AU带有具有不同类型的NAL单元是理想的。例如，在其中存在具有720p内部的RoI的1080p图片的RoI（感兴趣区）的场景下，对于使用相同位流来馈送两种类型的接收器（例如，一种类型的接收器对整个视频感兴趣，而另一种类型的接收器仅对RoI感兴趣）的情况，人们能够预想视频的不同部分（RoI或其余部分）具有不同的RAP周期。

在360°视频流式传输（其中，发生不同的位流的合并）或RoI流式传输（其中，视频最初针对不同区而编码成具有不同的RAP周期的不同部分）的任何情况下，解码器将遇到如下的位流：对于该位流，经编码图片内的NAL单元不一定相同。因此，本发明提供用于使不同的NAL单元类型的NAL单元混合的解决方案。

1.1. 使拖尾图片混合（现有技术）

当前，在现有技术中提出如下的解决方案：PPS标志指示RAP图片是否与非RAP图片混合，并且，然后，能够在经混合AU的NAL单元中遇到的NAL单元类型是对于非IRAP类型的TRAIL NAL单元类型（高达VCL_RSV_6或GDR）以及单一一种类型的IDR_W_RADL（具有前导图片的IDR）、IDR_N_LP（不具有前导图片的IDR）和CRA（清洁随机访问）。因此，现有技术建议使IRAP图片与TRAIL图片混合。

图2示出根据现有技术的示例，其中，IRAP NAL单元类型的NAL单元201与拖尾图片类型（TRAIL）的NAL单元202混合。该示例中的IRAP NAL单元类型是不具有前导图片的IDR（IDR_N_LP）。所有其它访问单元都具有相同的NAL单元类型（即，TRAIL）的NAL单元。

1.2. 使前导图片混合

然而，这些措施对于所预想的如下的应用是不够的：其中，可以应用开放GOP结构，从而将前导图片（LP）引入。图3示出示例性情况，其中，示出IRAP NAL单元类型（例如，IDR_W_RADL）的NAL单元301连同其关联的前导图片302，在此情况下，前导图片302可以是NAL单元类型RADL（随机访问可解码前导图片）的NAL单元302。IRAP类型（例如，IDR_W_RADL）的NAL单元301可以与非IRAP NAL单元类型（例如，TRAIL）的NAL单元303混合。作为非IRAP类型的前导图片类型（RADL）的关联的NAL单元302可以与不同的非IRAP类型（例如，TRAIL）的NAL单元304混合。

图4示出另外的示例性情况，其中，示出IRAP NAL单元类型（例如，CRA）的NAL单元301连同其关联的前导图片302，在此情况下，前导图片302可以是NAL单元类型RASL（随机访问跳过前导图片）的NAL单元302。备选地，但未示出，关联的前导图片302可以是NAL单元类型RADL（随机访问可解码前导图片）的NAL单元302。IRAP类型（例如，CRA）的NAL单元301可以与非IRAP NAL单元类型（例如，TRAIL）的NAL单元303混合。作为非IRAP类型的前导图片类型（例如，RASL）的关联的NAL单元302可以与不同的非IRAP类型（例如，TRAIL）的NAL单元304混合。

因此，不仅对于其中包括IRAP NAL单元的情况，而且还对于被包括在经混合图片中的仅非IRAP NAL单元，有必要处置必需经混合NAL单元类型的经编码图片。

简而言之，现有技术可以建议使IRAP NAL单元与TRAIL类型的非IRAP NAL单元混合或使相同类型的非IRAP NAL单元混合，即，使TRAIL类型的NAL单元与TRAIL类型的NAL单元混合。

相反，本发明建议使第一非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA）与至少一种不同的第二非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA）混合。

因而，根据实施例，提供用于对视频内容12进行解码的解码器100，解码器100配置成对位流11进行解码，位流11包括与视频内容12的图片12a、12b、12c的第一空间段13₁相关的第一子位流11-1和与视频内容12的图片12a、12b、12c的第二空间段13₂相关的第二子位流11-2。根据该实施例，位流11包括至少一个访问单元30，在所述至少一个访问单元30内，第一子位流11-1的至少一个第一NAL单元302属于非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA），第一子位流11-1的至少一个第一NAL单元302与属于不同的非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA）的第二子位流11-2的至少一个不同的第二NAL单元304混合。

例如，TRAIL图片可以与RADL图片或RASL图片混合：

TRAIL+RADL

TRAIL+RASL

因而，根据实施例，解码器100可以配置成处理位流11，其中，第一子位流11-1的NAL单元302的非IRAP NAL单元类型是随机访问可解码前导图片单元类型（RADL），并且，第二子位流11-2的NAL单元304的非IRAP NAL单元类型是拖尾图片单元类型（TRAIL）。

根据另外的实施例，解码器100可以配置成处理位流11，其中，第一子位流11-1的NAL单元302的非IRAP NAL单元类型是随机访问跳过前导图片单元类型（RASL），并且，第二子位流11-2的NAL单元304的非IRAP NAL单元类型是拖尾图片单元类型（TRAIL）。

在本发明的一个实施例中，在位流11中，例如，作为参数集（PPS、SPS、VPS）中的标志，存在经编码图片内的NAL单元类型能够如下地混合的指示：

TRAIL+RADL

TRAIL+RASL

至于指示能够使TRAIL +（CRA xor IDR_W_LD xor IDR_N_P）混合，能够在PPS中承载这样的信令。

例如，如果未设置标志（即，标志=0），则图片的所有NAL单元都可以包括相同的NAL单元类型，并且，图片或PU被称为具有与图片或PU的经编码切片NAL单元相同的NAL单元类型。

在其它情况下，如果设置标志（即，标志=1），则该图片可以包括至少两个子图片。附加地或备选地，所述图片的NAL单元可以包括至少两种不同的NAL单元类型。进一步附加地或备选地，所述图片的NAL单元可以不包括GDR的NAL单元类型。更进一步附加地或备选地，如果所述图片的一个NAL单元属于以下的NAL单元类型中的至少一种NAL单元类型：

具有随机访问经解码前导图片的瞬间解码器刷新（IDR_W_RADL）

不具有前导图片的瞬间解码器刷新（IDR_N_LP）

清洁随机访问（CRA）

则所述图片的所有其它可用NAL单元都可以包括上文中所注意到的三种单元类型（IDR_W_RADL、IDR_N_LP、CRA）中的一种单元类型或拖尾图片单元类型（TRAIL）。

备选地，由于RADL和RASL图片不具有与像例如IRAP图片所具有的TRAIL图片不同的规范解码过程，因而能够在SPS级下进行该指示。在一个实施例中，例如，该指示能够具有约束标志（例如，一般约束标志）的形式。一般约束标志可以指示是否允许NAL单元类型的某些混合。如果设置这样的一般约束标志（即，一般约束标志=1），则它可以指示：在图片中不存在经混合NAL单元类型，并且，未设置参数集（PPS、SPS、VPS）中的在上文中提到的标志（即，标志=0）。如果未设置一般约束标志（即，一般约束标志=0），则可以不强加上文中所提到的约束。

因而，根据实施例，解码器100可以配置成从位流11推导指示，其中，所述指示显式地向解码器100用信号通知第二子位流11-2的非IRAP NAL单元类型的NAL单元304（该NAL单元304属于拖尾图片单元类型（TRAIL））与第一子位流11-1的非IRAP NAL单元类型的NAL单元302（该NAL单元302是随机访问跳过前导图片单元类型（RASL）或随机访问可解码前导图片单元类型（RADL）中的任一种前导图片单元类型）混合。

根据实施例，该指示可以包括参数集中的语法元素。例如，该语法元素可以被包含在图片参数集（PPS）或序列参数集（SPS）中的至少一个参数集中。

然而，当具有RASL属性的图块和TRAIL图片的图块在图片内混合时，假设基于360度视频图块的流式传输场景，可能发生图块在部分RAP点处改变位置，并且，因此不能正确地重建RASL图块，因为，所使用的参考图片将是不正确的（即，仍然描绘其它图块的内容）。识别那些错误的经重建图片区域对于应用是至关重要的，而删除整个经混合前导图片（包含TRAIL+RASL图块）也不是对于播放连续性的原因的选择。相反，客户端将识别被解码且输出的图片中的错误区域并且不会将那些区域用于后续处理。

相反，考虑到例如像图5中所说明的设定，客户端能够针对在那些经混合前导图片中不正确地重建的内容而使用图片中所包含的低分辨率版本51。在一个实施例中，与可能错误的经重建图块对应的区域例如通过SEI消息向后续处理指示或由外部手段（例如，应用）指示。所描述的指示将意味着与具有RASL的NAL单元类型的NAL单元对应的区域将被忽略/不输出。

因而，根据实施例，如果第一子位流11-1的非IRAP NAL单元类型的NAL单元302是随机访问跳过前导图片单元类型（RASL），并且，第二子位流11-2的NAL单元304的非IRAPNAL单元类型是拖尾图片单元类型（TRAIL），则解码器100可以配置成从位流11推导指示。

在一个示例中，该指示可以向解码器100指示忽略或制止输出第一子位流11-1的视频内容12的图片12a、12b、12c的那些第一空间段13₁，第一空间段13₁对应于第一子位流11-1的随机访问跳过前导（RASL）图片单元类型的所述NAL单元302。

在备选示例中，该指示可以向解码器100指示：输出第一子位流11-1的视频12内容的图片12a、12b、12c的那些第一空间段13₁，第一空间段13₁对应于第一子位流11-1的随机访问跳过前导图片单元类型（RASL）的所述NAL单元302；并且，附加地将所述第一空间段13₁标记为间断（broken）空间段。例如，解码器100可以配置成借助于SEI（补充增强信息）消息来向后续处理链标记所述间断空间段13₁。

而且，另一种选择是，完全避免RASL图片与拖尾图片（TRAIL）混合，并且因而仅允许RADL图片与TRAIL图片混合。因此，在一个实施例中，存在SPS中所指示的如下的约束：当CRA与TRAIL图片混合时，关联的前导图片必须仅属于RADL类型。

因而，根据实施例，解码器100可以配置成对来自参数集的约束指示进行解码，其中，所述约束指示向解码器100指示：如果第二子位流11-2的NAL单元304的非IRAP NAL单元类型属于非前导图片NAL单元类型（例如，TRAIL或STSA），则在第一子位流11-1的NAL单元302的关联的第一子位流11-1的IRAP-NAL单元301属于清洁随机访问单元类型（CRA）的情况下，第一子位流11-1的NAL单元302的非IRAP NAL单元类型排他性地属于随机访问可解码前导RADL图片单元类型。

这可以特别地适用于如下的实施例：其中，第二位流11-2的NAL单元304的非IRAPNAL单元类型属于拖尾图片单元类型（TRAIL），即，在使TRAIL+CRA与关联的RADL前导图片混合的情况下。

在先前的方面，主要聚焦于TRAIL NAL单元类型上。然而，在许多情况下，还可以存在STSA NAL单元类型，从而允许逐步时间子层访问。即，即使上文中所提到的示例主要涉及了TRAIL NAL单元类型的非IRAP NAL单元，本发明也还可以提供用于使STSA（逐步时间子层访问）单元类型的非IRAP NAL单元与RASL单元类型、RADL单元类型以及TRAIL单元类型中的至少一种单元类型混合的解决方案，即：

STSA+RASL

STSA+RADL

STSA+TRAIL

因而，根据实施例，解码器100可以配置成对位流11进行解码，其中，第一子位流11-1的NAL单元302的非IRAP NAL单元类型是逐步时间子层访问单元类型（STSA），并且，第二子位流11-2的NAL单元304的非IRAP NAL单元类型是拖尾图片单元类型（TRAIL）。

在另外的实施例中，解码器100可以配置成对位流11进行解码，其中，第一子位流11-1的NAL单元302的非IRAP NAL单元类型是随机访问可解码前导图片单元类型（RADL），并且，第二子位流11-2的NAL单元304的非IRAP NAL单元类型是逐步时间子层访问单元类型（STSA）。

在另外的实施例中，解码器100可以配置成对位流11进行解码，其中，第一子位流11-1的NAL单元302的非IRAP NAL单元类型是随机访问跳过前导图片单元类型（RASL），并且，第二子位流11-2的NAL单元304的非IRAP NAL单元类型是逐步时间子层访问单元类型（STSA）。

图6示出示例性编码结构，其中，在一个图片段13₂（例如，图块）中，图片12a使用STSA NAL单元类型的NAL单元304来指示逐步时间子层访问，而另一个图片段13₁（例如，图块）中的相同图片12a使用RASL NAL单元类型的NAL单元302。

由于STSA NAL单元类型不能置于最低时间级0中，因而STSA NAL单元将决不与IRAP NAL单元混合。然而，它们能够正如上文中所提到的TRAIL NAL单元那样与RADL或RASLNAL单元类型混合。

在一个实施例中，标志被包括在参数集中，例如，指示STSA NAL单元与RASL或RADLNAL单元类型混合的PPS中。

因此，在本发明的一个实施例中，在位流11中，例如，作为参数集（PPS、SPS、VPS）中的标志，存在经编码图片内的NAL单元类型能够如下地混合的指示：

STSA+RADL

STSA+RASL

STSA+TRAIL

在另外的实施例中，能够例如利用序列级或图片级上的约束标志来指示是否允许这样的混合。

因而，根据实施例，解码器100可以配置成从位流11推导指示，其中，所述指示显式地向解码器100用信号通知第二子位流11-2的非IRAP NAL单元类型的NAL单元304（该NAL单元304属于逐步时间子层访问单元类型（STSA））与第一子位流11-1的非IRAP NAL单元类型的NAL单元302（该NAL单元302是随机访问跳过前导图片单元类型（RASL）或随机访问可解码前导图片单元类型（RADL）中的任一种前导图片单元类型）混合。

根据实施例，该指示包括参数集中的语法元素。根据另外的实施例，语法元素被包含在图片参数集或序列参数集中的至少一个参数集中。

另外，可以将指示添加到位流11，该指示有效地指示：即使包含STSA NAL单元304的图片12a的所有NAL单元302、304具有另一种NAL单元类型，例如，RASL（参见例如NAL单元302），它们也都满足与STSA NAL单元类型关联的约束。这能够由SPS中的标志指示，该标志指示包含RASL图片（参见例如NAL单元302）的（空间）子集的位流11-1满足每个RASL图片也是STSA图片的约束。这样的信令对于对用例进行合并甚至更重要，其中，包含RASL或RADLNAL单元的原始位流能够指示RADL和RASL NAL单元是否满足STSA图片的属性，使得如果与STSA混合，则能够容易地推导混合的经编码图片是否具有STSA属性。

因而，根据实施例，解码器100可以配置成对来自位流11的参数集的约束标志进行解码，该约束标志向解码器100指示位流11的任何访问单元30（其包括非IRAP前导图片NAL单元类型（例如，RASL或RADL）的一个或多个NAL单元302与逐步时间子层访问单元类型（STSA）的一个或多个NAL单元304的混合）满足与逐步时间子层访问单元类型（STSA）关联的约束，即，每个RASL图片302可以被视为STSA图片。

所述约束可以向解码器100指示：如果下一个比逐步时间子层访问（STSA）单元类型更高的时间子层先行于所述逐步时间子层访问单元类型（STSA），则不允许按解码顺序跟随并且与所述下一个更高时间子层关联的任何图片参考所述下一个更高时间子层中的图片。

备选地，带有具有经混合NAL单元类型（例如，STSA+RASL或RADL）的经编码图片12a的位流11可以包括指示下者的标志：图片12a（该标志针对其而设置）可以包含STSA NAL单元类型的NAL单元304，但（总体上）不服从与STSA NAL单元类型关联的约束。这将指示：即使经编码图片12a可以具有等于STSA的NAL单元类型，STSA所暗示的属性（即，能够从该AU向前对另外的时间级进行解码）也不适用。因而，将忽略STSA的解析，并且，将推断逐步时间子层访问。

因而，根据实施例，解码器100可以配置成对来自参数集的标志进行解码，该标志向解码器100指示任何访问单元30（其包括非IRAP前导图片NAL单元类型（RASL或RADL）的一个或多个NAL单元302与逐步时间子层访问单元类型（STSA）的一个或多个NAL单元304的混合）不服从与逐步时间子层访问（STSA）单元类型关联的约束。此外，解码器100可以配置成响应于所述标志而制止（refrain）解析逐步时间子层访问（STSA）单元类型的一个或多个NAL单元304，并且隐式地推断逐步时间子层访问解码，即，STSA约束不适用于相应访问单元。

该概念还可以独立于如上文中所描述的那样使NAL单元类型混合而应用。因而，根据实施例，建议用于对视频内容12进行解码的解码器100，解码器100配置成对位流11进行解码，并且对来自位流11的参数集的约束标志进行解码，其中，所述约束标志向解码器100指示：在位流11内，包括非IRAP前导图片NAL单元类型（例如，RASL或RADL）的NAL单元302的任何访问单元30满足与逐步时间子层访问（STSA）单元类型关联的约束。

1.3. 使各种RAP类型混合

不能通过现有技术来实现的另外的重要情况是允许使开放GOP（图片组）结构的图片与封闭GOP结构的图片混合。例如，可以允许两种不同类型的IRAP NAL单元类型（例如，IDR，CRA）（例如，IDR_W_RADL和CRA NAL单元类型）的混合，或可以允许相同的NAL单元类型（例如，CRA和CRA）的NAL单元的混合：

IDR_W_RADL+CRA

CRA+CRA

如上文中所提到的，该实施例应当能够实现使与开放GOP结构关联的NAL单元类型的IRAP NAL单元和与封闭GOP结构关联的NAL单元类型的IRAP NAL单元混合。例如，具有RADL的CRA可以与封闭GOP结构关联，而具有RASL的CRA可以与开放GOP结构关联。

因而，根据实施例，可以提供用于对视频内容12进行解码的解码器100，解码器100配置成对位流11进行解码，位流11包括与视频内容12的图片12a、12b、12c的第一空间段13₁相关的第一子位流11-1和与视频内容12的图片12a、12b、12c的第二空间段13₂相关的第二子位流11-2。根据该示例，位流11包括至少一个访问单元30，在所述至少一个访问单元30内，第一子位流11-1的至少一个第一NAL单元302属于与第二子位流11-2的至少一个第二NAL单元304混合的IRAP NAL单元类型，所述至少一个第二NAL单元304属于另外的（相同或不同的）IRAP NAL单元类型。

存在至少一个用例，其中，这是非常有帮助的。例如，一种针对利用图块化流式传输的360°视频传输的途径是其中传送整个低分辨率视频内容（无论其部分是否也作为高分辨率图块传送）的情况。在这样的情况下，在图5中说明察看取向上的改变和高分辨率图块选择从一个视口到另一个视口的对应改变。

由于整个低分辨率视频内容在客户端侧始终是可用的，并且，对于该区，不要求逐图块（tile-wise）流切换，因而低分辨率内容能够用CRA编码，并且因而使用与使用IDR的封闭GOP结构相比而更高的编码效率。而且，对于该区域，比对于流切换而必需的随机访问点周期更长的随机访问点周期将是足够的，从而又有益于低分辨率视频的编码效率。另一方面，如图5中所示出的，高分辨率图块可能在从一个视口到另一个视口的快速进展中频繁地改变等等，并且，因此，至于低分辨率视频而使用CRA和关联的RASL图片将不允许视口的平滑切换。这是因为，图片内的改变位置或表示新添加的图块流的RASL区域不能被适当地解码（起因于缺失参考），并且因此在遇到视口改变时被丢弃。

图7示出如下的示例：其中，与封闭GOP结构关联的NAL单元304和与开放GOP结构关联的NAL单元302混合。在该特定但非限制性的示例中，具有前导RADL 314（封闭GOP）的类型CRA的NAL单元304与具有前导RASL 312（开放GOP）的类型CRA 302的NAL单元混合。该非限制性示例示出针对下者的编码结构：第二子位流11-2中的高分辨率区域，其将具有CRA的封闭GOP结构与RADL类型的前导图片组合而使用；和第一子位流11-1中的低分辨率区域，其将具有CRA的开放GOP结构与RASL类型的前导图片组合而使用。

根据实施例，解码器100配置成处理位流11，其中，第二子位流11-2的NAL单元304的IRAP NAL单元类型属于与封闭GOP结构关联的IRAP NAL单元类型，并且，第一子位流11-1的NAL单元302的IRAP NAL单元类型属于与开放GOP结构关联的IRAP NAL单元类型。

在如图7中所示出的该特定但非限制性的实施例中，第二子位流11-2的NAL单元304的IRAP NAL单元类型是具有随机访问可解码前导图片单元类型（具有RADL的CRA）的CRA单元类型，并且，第一子位流11-1的NAL单元302的IRAP NAL单元类型是具有随机访问跳过前导图片单元类型（具有RASL的CRA）的CRA单元类型。

将注意到，图7将访问单元的序列和其中所包含的图片按它们的显示顺序示出。然而，显示顺序可以不同于编码顺序，该编码顺序也可以被称为位流顺序。如能够看出的，访问单元30包括经混合图片12a，经混合图片12a包括：第一VCL NAL单元302，其表示第一子位流11-1中的图片12a的第一空间段13₁a；和第二VCL NAL单元304，其表示第二子位流11-2中的图片12a的第二空间段13₂a。在此情况下，第一NAL单元和第二NAL单元是IRAP NAL单元。在该特定但非限制性的示例中，第一NAL单元302和第二NAL单元304两者属于IRAP NAL单元类型CRA。再者，图7示出连续图片的显示顺序。

因此，按显示顺序，另外的访问单元31可以先行于上文中所讨论的访问单元30。所述先行访问单元（AU）31包括经混合图片12b，经混合图片12b包括：第一VCL NAL单元312，其表示第一子位流11-1中的图片12b的第一空间段13₁b；和第二VCL NAL单元314，其表示第二子位流11-2中的图片12b的第二空间段13₂b。该AU 31的第一NAL单元312属于非IRAP NAL单元类型RASL，而该AU 31的第二NAL单元314属于非IRAP NAL单元类型RADL。再者，图7示出连续图片的显示顺序。

可选地，并且更进一步按显示顺序，一个或多个另外的访问单元（诸如，示例性地描绘的访问单元32）可以先行于上文中所讨论的访问单元31。更一般地，按显示顺序，至少一个另外的访问单元32可以先行于包括非IRAP NAL单元312、314（例如，RASL或RADL）的访问单元31，所述至少一个另外的访问单元32也可以优选地包括非IRAP NAL单元322、324（例如，RASL或RADL）。为了维持第一子位流11-1中的开放GOP结构，NAL单元322可以先行于（按显示顺序）访问单元31的RASL NAL单元312，NAL单元322被包含在先行（按显示顺序）访问单元32中，并且也可以属于RASL类型。进而，为了维持第二子位流11-2中的封闭GOP结构，NAL单元324可以先行于（按显示顺序）访问单元31的RADL NAL单元314，NAL单元324被包含在先行（按显示顺序）访问单元32中，并且也可以属于RADL类型。

编码顺序（其也被称为位流顺序）可以偏离图7中所描绘的显示顺序。例如，RADL图片13₂b、13₂c和RASL图片13₁b、13₁c被依赖性地编码，这意味着它们从其相应的跟随（按显示顺序）CRA图片13₁a、13₂a检索差分编码信息。例如，即使访问单元30跟随（按显示顺序）访问单元31，访问单元31中所包含的RADL图片13₂b和RASL图片13₁b也参考访问单元30中所包含的跟随（按显示顺序）CRA图片13₁a、13₂a。

RASL图片13₁b可以可选地进一步参考先行（按显示顺序和编码顺序）图片，诸如，在图7中示例性地描绘的先行RASL图片13₁c。所述另外的RASL图片（相应地，先行访问单元32的所述另外且先行的RASL图片13₁c）必须在访问单元31的RASL图片13₁b之前被编码。然而，先行访问单元32的所述另外且先行的RASL图片13₁c本身可以参考按显示顺序为跟随，但按编码顺序为前导的图片，诸如，访问单元30的IRAP（CRA）图片13₁a。这意味着，即使访问单元30的所述IRAP（CRA）图片13₁a是上文中所讨论的序列（即，访问单元30的图片IRAP（CRA）13₁a按显示顺序跟随RASL图片13₁b、13₁c两者）的最后一个图片（按显示顺序），访问单元30的所述IRAP（CRA）图片13₁a按编码顺序也是第一图片，即，它必须首先被编码，因为，在编码期间，RASL图片13₁b、13₁c两者参考IRAP（CRA）图片13₁a。

这同样适用于RADL图片。RADL图片13₂b可以可选地进一步参考先行（按显示顺序和编码顺序）图片，诸如，在图7中示例性地描绘的先行RADL图片13₂c。因此，先行访问单元32的所述另外且先行的RADL图片13₂c必须在访问单元31的RADL图片13₂b之前被编码。然而，先行访问单元32的所述另外且先行的RADL图片13₂c本身可以参考按显示顺序为跟随，但按编码顺序为前导的图片，诸如，访问单元30的IRAP（CRA）图片13₂a。这意味着，即使访问单元30的所述IRAP（CRA）图片13₂a是上文中所讨论的序列（即，访问单元30的IRAP（CRA）图片132a按显示顺序跟随RADL图片13₂b、13₂c两者）的最后一个图片（按显示顺序），访问单元30的所述IRAP（CRA）图片13₂a按编码顺序也是第一图片，即，它必须首先被编码，因为，在编码期间，RADL图片13₂b、13₂c两者参考IRAP（CRA）图片13₂a。

更一般而言，前导图片（LP）类型的非IRAP图片（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c）可以参考跟随（按显示顺序）IRAP图片（例如，CRA图片13₁a、13₂a），其中，IRAP图片（例如，CRA图片13₁a、13₂a）必须首先（即，在它们的、前导图片（LP）类型（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c）的前导（按显示顺序）非IRAP图片之前）被编码。这意味着，即使IRAP图片（例如，CRA图片13₁a、13₂a）按显示顺序跟随前导图片（LP）类型的非IRAP图片（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c），IRAP图片（例如，CRA图片13₁a、13₂a）也首先被编码。换而言之，前导图片（LP）类型（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c）的非IRAP图片按显示顺序正前导于IRAP图片（例如，CRA图片13₁a、13₂a），而IRAP图片（例如，CRA图片13₁a、13₂a）按位流顺序（编码顺序）正前导于前导图片（LP）类型的非IRAP图片（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c）。再换而言之，前导图片（LP）类型的非IRAP图片（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c）按显示顺序前导于IRAP图片（例如，CRA图片13₁a、13₂a），但前导图片（LP）类型的非IRAP图片（例如，RASL图片13₁b、13₁c和RADL图片13₂b、13₂c）按编码/位流顺序跟随IRAP图片（例如，CRA图片13₁a、13₂a）。

考虑到上文中的情况和编码结构，本发明的优点之一是，允许在访问单元30的图片内使具有前导RASL（开放GOP）的CRA与具有前导RADL（封闭GOP）的CRA混合。当在常规播放（从头开始对整个位流11进行解码）期间在经编码视频序列（CVS）内遇到这样的经混合NALU访问单元30时，所要求的所有参考图片都是可用的。因此，跟随具有RASL NAL单元的经混合图片的图片将被正常地解码且输出。

然而，当在查找操作期间遇到这样的经混合NALU或在随机访问期间从这样的AU开始进行解码过程时，需要调用用于生成不可用的参考图片的过程，并且：

需要例如通过SEI指示来通知后续处理链的是，未对RASL区域正确地进行解码，并且，将使用对应的低分辨率区域。

受影响的图片能够从输出完全地删除。

这意味着，当开始对经混合图片进行解码时，一种选择是将它视为GDR图片，其中，一些部分可解码，并且可以被示出，而其它部分不可被示出，并且将随时间被刷新（直到所有RASL NAL单元都结束为止）。例如，在360场景下，当与图7中所示出的方式相反地选择RAP类型（即，低分辨率使用封闭GOP结构（例如，具有RADL的CRA），并且，高分辨率内容使用开放GOP结构（例如，具有RASL的CRA））时，这样的操作是相关的。然后，能够示出低分辨率，因为，低分辨率使用封闭GOP配置，并且，播放器将等待，直到使用开放GOP结构的高分辨率被清洁地解码以示出它为止。

处置这样的情形的另一种选择将是，不示出受缺失参考（甚至并非部分地）影响的图片中的任何图片并且删除它们，即，删除具有等于RASL的NAL单元类型的任何混合图片。

换而言之，具有等于RASL的NAL单元类型312、322的任何混合图片12b、12c能够标记为被删除/丢弃，以便确保持续解码行为。

因而，根据实施例，解码器100可以配置成对访问单元31、32、……的一个或多个图片12b、12c、……的共同定位的空间段13₂b、13₂c、……进行解码和呈现，访问单元31、32、……按位流顺序跟随第二子位流11-2的NAL单元304所涉及的至少一个访问单元30（例如，具有RADL的CRA），所述共同定位的空间段13₂b、13₂c、……与第二子位流11-2的NAL单元304所涉及的至少一个访问单元30的图片12a的第二空间段13₂a共同定位。此外，解码器100可以配置成标记为访问单元31、32、……的一个或多个图片12b、12c、……的共同定位的空间段13₁b、13₁c、……被丢弃，访问单元31、32、……按位流顺序跟随第一子位流11-1的NAL单元302所涉及的至少一个访问单元30（例如，具有RASL的CRA），所述共同定位的段13₁b、13₁c、……与第一子位流11-1的NAL单元302所涉及的至少一个访问单元30的图片12a的第一空间段13₁a共同定位。

根据另外的实施例，解码器100可以配置成取决于位流11是将在常规播放（从头开始对整个位流11进行解码）期间持续解码的情况下被解码还是将在开始进行解码（例如，在查找操作或在随机访问期间从这样的AU开始进行解码过程期间）的情况下被解码而起作用。

在常规播放（从头开始对整个位流11进行解码）的情况下，解码器100可以配置成对访问单元31、32、……的一个或多个图片12b、12c、……的共同定位的空间段13₂b、13₂c、……进行解码和呈现，访问单元31、32、……按位流顺序跟随第二子位流11-2的NAL单元304所涉及的至少一个访问单元30（例如，具有RADL的CRA），所述共同定位的空间段13₂b、13₂c、……与第二子位流11-2的NAL单元304所涉及的至少一个访问单元30的图片12a的第二空间段13₂a共同定位。此外，在开始进行解码（例如，在查找操作或在随机访问期间从这样的AU开始进行解码过程期间）的情况下，解码器100可以配置成丢弃按位流顺序跟随至少一个访问单元30的访问单元31、32、……的一个或多个图片12b、12c、……，并且恢复一个或多个被丢弃的图片12b、12c、……之后的图片输出。换而言之，具有等于RASL的至少一个NAL单元312、322的任何混合图片12b、12c被删除/丢弃。

根据另外的实施例，解码器100可以配置成借助于SEI（补充增强信息）消息来向后续处理链标记所述间断空间段13₁b、13₁c、……。

在另外的实施例中，在位流中存在如下的指示：无论是否存在IDR_W_RADL NAL单元类型，AU都被视为CRA，即，具有等于1的NoIncorrectPicOutputFlag的IRAP。存在如下的指示：AU是经混合NALU，但为开放GOP结构的所提到的特性和IRAP。换而言之，解码器100可以配置成从位流11推导向解码器100指示以与清洁随机访问NAL单元类型对应的方式对与第一子位流11-1和第二子位流11-2相关的至少一个访问单元30进行解码的指示。

在上文中的描述中，讨论了实施例，其中，解码器100配置成处理位流11，其中，

A）非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA）的NAL单元与不同的非IRAP NAL单元类型（例如，RASL、RADL、TRAIL、STSA）的至少一个不同的第二NAL单元混合，或者，

B）IRAP NAL单元类型（例如，IDR_W_RADL、CRA）的NAL单元与另外的IRAP NAL单元类型（例如，IDR_W_RADL、CRA）的至少一个NAL单元混合。

然而，可以存在另外的实施例，根据该实施例，解码器100可以配置成处理位流11，其中：

C）IRAP NAL单元类型（IDR_W_RADL、CRA）的NAL单元与非IRAP前导图片NAL单元类型（例如，RASL、RADL）或STSA NAL单元类型中的任一种单元类型的至少一个NAL单元混合。

另外的实施例还建议提供用于在位流11的编码和/或第一子位流11-1和第二子位流11-2的合并期间处理视频位流11的对应设备。所述设备10可以是用于根据本文中所描述的创新性原理而处理位流11的编码器、合并器（merger）或网络节点中的至少一种设备。

因而，根据实施例，建议用于处理视频内容12的设备10，设备10配置成提供与视频内容12的图片12a、12b、12c的第一空间段13₁相关的第一子位流11-1，并且提供与视频内容12的图片12a、12b、12c的第二空间段13₂相关的第二子位流11-2，其中，第一子位流11-1和第二子位流11-2是位流11的部分，其中：

A）位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，第一子位流（11-1）的至少一个第一NAL单元（302）属于非IRAP NAL单元类型，其与第二子位流（11-2）的属于不同的非IRAP NAL单元类型的至少一个不同的第二NAL单元（304）混合，或者，

B）位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，第一子位流（11-1）的至少一个第一NAL单元（302）属于IRAP NAL单元类型，其与第二子位流（11-2）的属于另外的IRAP NAL单元类型的至少一个第二NAL单元（304）混合，或者，

C）位流11包括至少一个访问单元30，在所述至少一个访问单元30内，第一子位流11-1的至少一个第一NAL单元302属于IRAP NAL单元类型，其与第二子位流11-2的属于非IRAP前导图片NAL单元类型（例如，RASL、RADL）或STSA NAL单元类型中的任一种单元类型的至少一个第二NAL单元304混合。

1.4. 概要和示例性语法

在下文中，示出在本发明内允许的混合类型的概要：

在本发明中所描述的新混合类型中，存在两种类型的混合，必需IRAP类型的一种类型和不具有IRAP类型的另一种类型。

选择1：

如在上文中的文本中在先前的章节中讨论的，一种选择是利用必需IRAP类型的仅PPS混合中的标志来用信号通知。例如，再次使用使IDR或CRA与TRAIL混合的现有选择，直到VCL_RSV_6（mixed_nalu_types_in_pic_flag）为止。非IRAP类型能够在SPS/VPS/DPS处利用约束标志来用信号通知。

等于1的mixed_nalu_types_in_pic_flag指定：参考PPS的每个图片具有多于一个VCL NAL单元，并且，VAL NAL单元不具有相同的nal_unit_type值，存在具有处于IDR_W_RADL至CRA_NUT的范围内的nal_unit_type值的至少一个VCL NAL单元，并且，该图片并非IRAP IDR图片。等于0的mixed_nalu_types_in_pic_flag指定：当VCL NAL单元具有处于IDR_W_RADL至CRA_NUT的范围内的nal_unit_type值时，参考PPS的每个图片具有一个或多个VCL NAL单元，并且，参考PPS的每个图片的VCL NAL单元具有相同的nal_unit_type值。

于是，如果AU是位流的第一AU或跟随参考具有等于1的mixed_nalu_types_in_pic_flag的PPS的序列（EOS）NAL单元的末端的第一AU，则经编码图片中的NAL单元类型必须为CRA_NUT和IDR_W_RADL。仅针对并非位流或序列中的第一个AU的AU而允许带有具有非IRAP类型的IDR/CRA的经混合图片。

等于1的no_non_irap_mixed_nalu_types_in_pic_constraint_flag指定：位流一致性的要求是，该序列中的具有TRAIL、STSA、RASL以及RADL的图片的VCL NAL单元具有相同的nal_unit_type值。等于0的值不强加这样的约束，即，图片可以在TRAIL、STSA、RASL以及RADL中具有两个不同的nal_unit_type值。

选择2：

另一种选择将是，代替PPS中的标志（mixed_nalu_types_in_pic_flag），具有指示不同组合的指示（idc）。

等于1的no_mixed_nalu_types_in_pic_constraint_flag指定：位流一致性的要求是，mixed_nalu_types_in_pic_idc应当等于0。等于0的no_mixed_nalu_types_in_pic_constraint_flag不强加这样的约束。

等于0的mixed_nalu_types_in_pic_idc指定：参考PPS的每个图片具有一个或多个VCL NAL单元，并且，参考PPS的每个图片的VCL NAL单元具有相同的nal_unit_type值。

等于1的mixed_nalu_types_in_pic_idc指定：参考PPS的每个图片具有多于一个VCL NAL单元，并且，VCL NAL单元应当全都包括性地具有处于TRAIL_NUT至RSV_VCL_6的范围内的两个特定nal_unit_type值。

NAL单元类型	将与下者混合
		TRAIL	RADL或RASL或STSA
STSA	RADL或RASL
		RASL	TRAIL或RADL
RADL	TRAIL或RASL

等于2的mixed_nalu_types_in_pic_idc指定：参考PPS的每个图片具有多于一个VCL NAL单元，并且，VCL NAL单元中的一个或多个VCL NAL单元应当全都包括性地具有处于IDR_W_RADL至CRA_NUT的范围内的特定nal_unit_type值，并且，其它VCL NAL单元应当全都包括性地具有处于TRAIL_NUT至RSV_VCL_6的范围内或等于GRA_NUT的特定nal_unit_type值。

该值对应于NAL单元与现有标志的被允许的混合。

NAL单元类型	将与下者混合
		CRA_NUT、IDR_W_RADL、IDR_N_LP	TRAIL、STSA、RADL、RASL、……VCL_RSV_6、GRA_NUT

等于3的mixed_nalu_types_in_pic_idc指定：参考PPS的每个图片具有带有nal_unit_type IDR_W_RADL值的多于一个VCL NAL单元和带有nal_unit_type CRA_NUT值的一个或多个VCL NAL单元。

NAL单元类型	将与下者混合
		CRA_NUT	IDR_W_RADL

对于任何特定图片的VCL NAL单元，以下适用：

- 如果mixed_nalu_types_in_pic_idc等于0，则对于图片的所有经编码切片NAL单元，nal_unit_type值应当都相同。图片或PU被称为具有与图片或PU的经编码切片NAL单元相同的NAL单元类型。

- 如果mixed_nalu_types_in_pic_idc等于1或2，则以下适用。

- 如果图片中的VCL NAL单元中的一个VCL NAL单元具有等于TRAIL_NUT的nal_unit_type值，则图片或PU被称为拖尾图片或拖尾PU。

- 在其它情况下（在图片中不存在TRAIL_NUT VCL NAL单元），图片或PU被称为前导图片或前导PU。

- 如果图片中的VCL NAL单元中的一个VCL NAL单元具有等于RADL_NUT的nal_unit_type值，则图片或PU被称为RADL图片或RADL PU。

- 在其它情况下（图片中的VCL NAL单元均不具有等于RADL_NUT的nal_unit_type值），图片或PU被称为RASL图片或RASL PU。

- 在其它情况下（mixed_nalu_types_in_pic_idc等于3），图片被称为CRA图片或CRA PU。

与将前导NAL单元类型视为STSA图片相关的方面能够如下地利用约束标志来实现。

general_constraint_info( ) {	描述符
		general_progressive_source_flag	u(1)
…
		leading_stsa_pictures_flag	u(1)
…
		while( !byte_aligned( ) )
gci_alignment_zero_bit	f(1)
		}

等于1的leading_stsa_pictures_flag指定：对于RADL图片和RASL图片的帧间预测参考是如下文中所指定的约束。等于0的no_mixed_nalu_types_in_pic_constraint_flag不强加这样的约束。

当leading_stsa_pictures_flag等于1时，以下适用：

- 在当前图片是RASL或RADL图片时，在RefPicList[0]或RefPicList[1]中，不应当存在具有等于当前图片的TemporalId的TemporalId的活动条目。

- 在当前图片是按解码顺序跟随RASL或RADL并且先行于具有等于当前图片的TemporalId的TemporalId的关联的IRAP图片的图片时，不应当存在按解码顺序先行于RASL或RADL图片的具有等于作为活动条目被包括在RefPicList[0]或RefPicList[1]中的当前图片的TemporalId的TemporalId的图片。

换而言之，与STSA图片关联的制约禁止按解码顺序跟随并且与下一个比STSA更高的时间子层关联的图片先行于STSA而使用该下一个更高时间子层中的任何参考，即，解码器能够从STSA向前开始进行下一个时间子层的解码。当然，这样的制约也能够针对如上文中所描述的RASL/RADL图片而实施，并且，因此，上文中的信令能够用作这些属性的指示。

2. 在多层访问单元内使图片类型混合

通过非限制性示例的方式，本小节可以涉及多层位流中的多层访问单元。然而，本文中所描述的特征可能已经应用于一个单层。此外，作为非限制性示例，本小节通过参考长期参考图片来描述发明性原理。然而，本发明性概念也适用于短期参考图片，即，本文中所描述的特征一般可以应用于图片参考。此外，作为非限制性示例，本小节可以描述通过将POC值设置成零来重置POC MSB，即，MSB=0。然而，零值仅充当用以用符号表示减小的MSB值的占位符，例如，也有可能的是，不等于0，但小于相应位流位置处的当前MSB的任何预确定值可能发生MSB重置。

现有技术可以通过用信号通知最高有效POC（图片顺序计数）位（poc_msb_val）来提供对在分层访问单元内使不同RAP类型的图片混合（即，对于其中访问单元同时地在其层中包含RAP图片和非RAP图片的时间实例）的支持。然而，关于属于前导图片NAL单元类型的参考图片，可能依然存在问题，所述参考图片具有对如在下文中通过长期参考图片的示例来示出的那样按编码顺序先行于所述参考图片的关联的IRAP图片的图片的参考，但也适用于短期参考图片，并且，本发明针对所述参考图片而提供解决方案。

当前POC信令相关语法如下。

SPS语法

seq_parameter_set_rbsp( ) {	描述符
		...
log2_max_pic_order_cnt_lsb_minus4	ue(v)
		poc_msb_in_rap_pics_flag	u(1)
if( poc_msb_in_rap_pics_flag > 0 )
		poc_msb_len_minus1	ue(v)
...
		}

切片标头语法

上文中的POC MSB信令的示例性用法是，当所有层都具有相同的IRAP NAL单元类型（例如，如图8中所说明的所有层中的IDR_W_RADL或CRA）时，将POC MSB设置成0。

图8示出多层位流11，多层位流11包括第一层L0中的第一子位流11-1和第二层L1中的第二子位流11-2。每个层L1、L0可以包括一个或多个时间子层T0、T1、T2。因此，图片的空间段可以分布于所述不同的层L0、L1和时间子层T0、T1、T2上。

图8进一步示出一些示例性多层访问单元30、31、32。在该示例中，多层访问单元30、31、32可以包括第一层L0中的第一子位流11-1的第一NAL单元302，其与第二层L1中的第二子位流11-2的第二NAL单元304混合。如上文中所描述的，NAL单元可以包括不同的NAL单元类型，特别地，IRAP NAL单元类型和非IRAP NAL单元类型。另外，如上文中所提到的，NAL单元可以包括切片标头，其中，用信号通知图片顺序计数（POC）。本文中所描述的概念涉及最高有效POC部分，例如，涉及最高有效POC位或POC MSB。因而，在图中，在每个IRAP NAL单元处，描绘POC MSB。

例如，多层访问单元30、32表示经对齐访问单元，其中，第一子位流11-1中的第一NAL单元302的POC MSB与第二子位流11-2的第二NAL单元304的POC MSB对齐，其中，两个NAL单元属于IRAP NAL单元类型。

多层访问单元31表示未对齐访问单元，即，其中第一子位流11-1中的第一NAL单元302的POC MSB不与属于非IRAP NAL单元类型的第二子位流11-2的第二NAL单元304的POCMSB（例如，MSB=0）经对齐访问单元。因而，第一子位流11-1的第一NAL单元302的POC MSB可以以预确定值增大，例如，以一增大。

图8示出在这样的多层情况下，可以如何使用先前描述的切片标头中的MSB信令。该信令的目的是，在未对齐RAP（例如，具有CRA w MSB=1的未对齐访问单元31）处保持POC值正确，即，当并非所有层都在同一访问单元处具有IRAP时，避免将POC（LSB和MSB）重置成零。

然而，图8还示出在POC对齐时关于（例如，长期和/或短期）参考图片12r而存在问题。为了便于理解，以下的附图可以仅涉及长期参考图片。然而，本概念也适用于短期参考图片。

注意到，先于最后一个CRA访问单元32（即，第二经对齐RAP）的图片12a、12b、12c、……具有POC MSB>0和POC LSB>0。因此，当在最后一个CRA访问单元32处将MSB重置成0（如它在图8中示例性地示出的那样）时，于是，将不可能使用POC MSB或其增量（如用于长期参考图片）来参考先前图片12a、12b、12c、……中的任何图片。在图8中由以‘LT ref’标记的绿色箭头指示一个这样的示例。因而，图8中所示出的示例应当表明：在此情况下，图片参考可能是不可能的。

因此，本发明提供针对该问题的解决方案，使得图片参考将变得有可能进行。

在一个实施例中，如下的约束在规范中表达或通过位流标志（SPS、VPS、DPS）指示：仅当访问单元内的所有图片都属于类型IDR（即，IDR_W_RADL或IDR_N_LP）时，MSB才能够设置成0。由此，当使用CRA时，不发生POC重置，并且，允许LT参考（参见例如图9和图10）。

如能够在图9中看出的，访问单元32可以是经对齐访问单元32，其中，两个NAL单元302、304属于IRAP NAL单元类型。然而，由于第一子位流11-1的第一NAL单元302属于CRA类型，因而不应当发生POC重置。这意味着，图9示出其中禁止POC重置的场景。

相反，图10示出如下的场景：其中，允许POC重置，因为，第一子位流11-1的第一NAL单元302和第二子位流11-2的第二NAL单元304两者属于IDR单元类型。

因而，根据实施例，提供用于对视频内容12进行解码的解码器100，解码器100配置成对位流11进行解码，位流11包括第一子位流11-1和第二子位流11-2，其中，解码器100配置成从第一子位流11-1和第二子位流11-2的NAL单元302、304（其中，所述NAL单元302、304属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP））的切片标头推导用于设置NAL单元302、304所参考的图片12r的POC的最高有效POC部分（POC MSB）的信息。根据该示例，如果所述访问单元32内的至少一个NAL单元302、304属于非瞬时解码刷新单元类型（non-Instantaneous Decoding Refresh unit type），例如属于CRA单元类型，则要求针对位流11的访问单元32内的IRAP NAL单元类型的所有NAL单元302、304而将最高有效POC部分（POCMSB）设置成预确定值。

如上文中所提到的，作为非限制性示例，本小节可以描述通过将POC值设置成零来重置的POC MSB，即，MSB=0。然而，零值仅充当用以用符号表示减小的MSB值的占位符，例如，也有可能的是，不等于0，但小于相应位流位置处的当前MSB的任何预确定值可能发生MSB重置。因此，上文中所提到的预确定值可以等于或大于与先行于NAL单元302所参考的图片12r的图片12a、12b、……关联的POC的最高有效POC部分。换而言之，如果并非访问单元32内部的所有NAL单元302、304都属于IDR单元类型，则不允许发生POC重置。

在一些示例中，所述预确定值可以等于零，即，MSB=0。在一些其它示例中，所述预确定值可以等于隐式地推导的最高有效POC部分，例如等于常规SOTA POC MSB隐式推导。

在另一个实施例中，可以存在在规范中表达或通过位流标志（SPS、VPS、DPS）指示的如下的约束：每当出现经对齐RAP访问单元32且访问单元32的POC MSB设置成0时，都不允许由按位流顺序跟随经对齐RAP访问单元32的图片12s参考先于经对齐RAP访问单元32的（长期或短期）参考图片12a、12b、12c、……。

例如，图11示出：即使图片12s可以按呈现顺序先行于图片12r，图片12s也可以按解码顺序跟随图片12r。

图11和图12示出：具有等于0的MSB的任何图片12r不具有带有LT参考图片的前导图片12a、12b、12c、……（虽然图11表示从MSB=1重置成MSB=0，但图12表示MSB等于0，例如，由于POC_LSB足够长，因而不发生增加）。因此，图11示出其中禁止POC MSB重置和图片参考的场景，并且，图12示出如下的场景：其中，所有POC MSB都可以等于零，但不允许图片参考。图13示出：如果MSB不等于0，则针对前导图片而允许LT参考图片。

因而，根据实施例，提供用于对视频内容12进行解码的解码器100，解码器100配置成对位流11进行解码，位流11包括第一子位流11-1和第二子位流11-2，其中，解码器100配置成从第一子位流11-1和第二子位流11-2的NAL单元302、304（其中，所述NAL单元302、304属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP））的切片标头推导用于设置NAL单元302、304所参考的图片12r的POC的最高有效POC部分（POC MSB）的信息。根据该示例，禁止任何图片参考按解码顺序跨越位流11的任何访问单元32，在所述访问单元32内，所有NAL单元302、304都属于IRAP NAL单元类型，并且具有其中最高有效POC部分（POC MSB）设置成预确定值的切片标头。

再者，如上文中所提到的，作为非限制性示例，本小节可以描述通过将POC值设置成零来重置的POC MSB，即，MSB=0。然而，零值仅充当用以用符号表示减小的MSB值的占位符，例如，也有可能的是，不等于0，但小于相应位流位置处的当前MSB的任何预确定值可能发生MSB重置。因此，参考图11至图13而描述的示例的所述预确定值可以小于与先行于NAL单元（302、304）所参考的图片（12r）的图片（12a、12b、12c、……）关联的POC的最高有效POC部分（POC MSB），即，发生POC重置。

在另一个实施例中，可以存在在规范中表达或通过位流标志（SPS、VPS、DPS）指示的如下的约束：每当出现经对齐RAP访问单元32且访问单元32的POC MSB设置成0（POC重置）时，都不允许由按位流顺序跟随经对齐RAP访问单元32的图片12s参考先于经对齐RAP访问单元32的具有不同于0的MSB的（短期或长期）参考图片12a、12b、12c、……。

注意到，如果在图8中所示出的上文的示例中，尚不存在MSB增大，则使用LT参考图片将不是问题，因为，LT参考图片的参考仅由POC_LSB值进行。

图14示出：在示例中，不发生POC MSB重置。通过增大访问单元32的POC MSB值（在图14中所示出的示例中，POC MSB值增大，即，MSB=3）或使访问单元32的POC MSB值处于与先前访问单元31中相同的值，可以不指示POC MSB重置。

因而，根据实施例，提供用于对视频内容12进行解码的解码器100，解码器100配置成对位流11进行解码，位流11包括第一子位流11-1和第二子位流11-2，其中，解码器100配置成从第一子位流11-1和第二子位流11-2的NAL单元302、304（其中，所述NAL单元302、304属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP））的切片标头推导用于设置NAL单元302、304所参考的图片12r的POC的最高有效POC部分（POC MSB）的信息。根据该示例，禁止由按位流顺序跟随位流11的第二访问单元32的图片12s进行的对第一访问单元31的参考图片12a、12b、12c、……的任何图片参考，第一访问单元31由NAL单元301、303组成，NAL单元301、303具有其中最高有效POC部分设置成第一预确定值的切片标头，并且该第一访问单元31按位流顺序先行于位流11的第二访问单元32，在该第二访问单元32内，所有NAL单元302、304都属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP），并且具有其中最高有效POC部分（POC MSB）设置成第二预确定值的切片标头。

再者，如上文中所提到的，作为非限制性示例，本小节可以描述通过将POC值设置成零来重置的POC MSB，即，MSB=0。然而，零值仅充当用以用符号表示减小的MSB值的占位符，例如，也有可能的是，不等于0，但小于相应位流位置处的当前MSB的任何预确定值可能发生MSB重置。因此，关于参考图14而描述的示例，先行第一访问单元31的所述第一预确定POC MSB值可以大于后续第二访问单元32的所述第二预确定POC MSB值。在此情况下，将禁止图片参考。相反地，人们能够声明的是，如果后续第二访问单元32的第二预确定MSB值可以大于先行第一访问单元31的所述第一预确定POC MSB值，则将允许图片参考。换而言之，如果不发生POC重置，则将允许图片参考。

例如，所述第二预确定值可以等于零，以便指示POC重置。因此，如果发生了POC重置，则将禁止图片参考。在一些其它示例中，所述第二预确定值可以等于隐式地推导的最高有效POC部分，例如等于常规SOTA POC MSB隐式推导。

尽管已在设备的情境下描述一些方面，但显然，这些方面还表示对应方法的描述，其中，块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的情境下描述的方面还表示对应设备的对应的块或项目或特征的描述。

方法步骤中的一些或全部方法步骤可以由（或使用）像例如微处理器、可编程计算机或电子电路那样的硬件设备执行。在一些实施例中，最重要的方法步骤中的一个或多个方法步骤可以由这样的设备执行。

取决于某些实现要求，本发明的实施例能够用硬件或用软件或至少部分地用硬件或至少部分地用软件实现。该实现能够使用数字存储介质（例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪速存储器）来实行，数字存储介质具有存储于其上的电子可读控制信号，数字存储介质与可编程计算机系统协作（或能够协作），使得实行相应方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括数据载体，该数据载体具有电子可读控制信号，所述信号能够与可编程计算机系统协作，使得实行本文中所描述的方法中的一个方法。

一般而言，本发明的实施例能够实现为具有程序代码的计算机程序产品，程序代码是操作性的，以便当计算机程序产品在计算机上运行时，实行所述方法中的一个方法。程序代码可以例如存储于机器可读载体上。

其它实施例包括存储于机器可读载体上的用于实行本文中所描述的方法中的一个方法的计算机程序。

换而言之，因此，发明性方法的实施例是计算机程序，该计算机程序具有程序代码，该程序代码用于当计算机程序在计算机上运行时，实行本文中所描述的方法中的一个方法。

因此，发明性方法的另外的实施例是数据载体（或数字存储介质或计算机可读介质），该数据载体包括记录于其上的计算机程序，该计算机程序用于实行本文中所描述的方法中的一个方法。数据载体、数字存储介质或记录介质典型地是有形和/或非暂时性的。

因此，发明性方法的另外的实施例是数据流或信号序列，该数据流或信号序列表示用于实行本文中所描述的方法中的一个方法的计算机程序。数据流或信号序列可以例如配置成经由数据通信连接（例如，经由互联网）转移。

另外的实施例包括配置成或适于实行本文中所描述的方法中的一个方法的处理器件，例如计算机或可编程逻辑装置。

另外的实施例包括计算机，该计算机在其上已安装有计算机程序，该计算机程序用于实行本文中所描述的方法中的一个方法。

根据本发明的另外的实施例包括配置成将用于实行本文中所描述的方法中的一个方法的计算机程序转移（例如，电子地或光学地）到接收器的设备或系统。该接收器可以是例如计算机、移动装置、存储器装置等等。该设备或系统可以例如包括用于将计算机程序转移到接收器的文件服务器。

在一些实施例中，可编程逻辑装置（例如，现场可编程门阵列）可以用于实行本文中所描述的方法的功能性中的一些或全部功能性。在一些实施例中，现场可编程门阵列可以与微处理器一起协作，以便实行本文中所描述的方法中的一个方法。一般而言，所述方法优选地由任何硬件设备实行。

本文中所描述的设备可以使用硬件设备或使用计算机或使用硬件设备和计算机的组合来实现。

本文中所描述的方法可以使用硬件设备或使用计算机或使用硬件设备和计算机的组合来实行。

虽然本公开已参考说明性实施例而描述，但本描述不旨在在限制性意义上解释。说明性实施例的各种修改和组合以及本公开的其它实施例将在参考本描述时对本领域技术人员显而易见。因此，旨在所附权利要求包含任何这样的修改或实施例。

Claims

1.一种用于对视频内容（12）进行解码的解码器（100），所述解码器（100）配置成：

对位流（11）进行解码，所述位流（11）包括与所述视频内容（12）的图片（12a、12b、12c、……）的第一空间段（13₁）相关的第一子位流（11-1）和与所述视频内容（12）的所述图片（12a、12b、12c、……）的第二空间段（13₂）相关的第二子位流（11-2），其中，

A）所述位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，所述第一子位流（11-1）的至少一个第一NAL单元（302）属于非IRAP NAL单元类型（例如，RADL、RASL、TRAIL、STSA），至少一个第一NAL单元（302）与所述第二子位流（11-2）的属于不同的非IRAP NAL单元类型（例如，RADL、RASL、TRAIL、STSA）的至少一个不同的第二NAL单元（304）混合，或者，

B）所述位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，所述第一子位流（11-1）的至少一个第一NAL单元（302）属于IRAP NAL单元类型（例如，IDR、CRA），至少一个第一NAL单元（302）与所述第二子位流（11-2）的属于另外的IRAP NAL单元类型（例如，IDR、CRA）的至少一个第二NAL单元（304）混合，或者，

C）所述位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，所述第一子位流（11-1）的至少一个第一NAL单元（302）属于IRAP NAL单元类型（例如，IDR、CRA），至少一个第一NAL单元（302）与所述第二子位流（11-2）的属于非IRAP前导图片NAL单元类型（例如，RASL、RADL）或STSA NAL单元类型中的任一种单元类型的至少一个第二NAL单元（304）混合。

2.根据权利要求1所述的解码器（100），

其中，图片（12a、12b、12c、……）的所述空间段（13₁、13₂）涉及所述视频内容（12）的图片（12a、12b、12c、……）的独立地编码的子图片（20c），并且，所述解码器（100）配置成使用相对于跨越子图片边沿的经运动补偿的预测的边界扩展。

3.根据权利要求1或2所述的解码器（100），

其中，在情况A）下，

所述第一子位流（11-1）的所述NAL单元（302）的所述非IRAP NAL单元类型是随机访问可解码前导图片单元类型（RADL），并且，

所述第二子位流（11-2）的所述NAL单元（304）的所述非IRAP NAL单元类型是拖尾图片单元类型（TRAIL）。

4.根据权利要求1或2所述的解码器（100），

其中，在情况A）下，

所述第一子位流（11-1）的所述NAL单元（302）的所述非IRAP NAL单元类型是随机访问跳过前导图片单元类型（RASL），并且，

5.根据权利要求1或2所述的解码器（100），

其中，在情况A）下，

所述第二子位流（11-2）的所述NAL单元（304）的所述非IRAP NAL单元类型是随机访问可解码前导图片单元类型（RADL）。

6.根据权利要求1或2所述的解码器（100），

其中，在情况A）下，

所述第一子位流（11-1）的所述NAL单元（302）的所述非IRAP NAL单元类型是逐步时间子层访问单元类型（STSA），并且，

7.根据权利要求3或4所述的解码器（100），

其中，所述解码器（100）配置成从所述位流（11）推导指示，

其中，所述指示显式地向所述解码器（100）用信号通知：所述第二子位流（11-2）的所述非IRAP NAL单元类型的所述NAL单元（304）与所述第一子位流（11-1）的所述非IRAP NAL单元类型的所述NAL单元（302）混合，所述NAL单元（304）属于拖尾图片单元类型（TRAIL），所述NAL单元（302）是所述随机访问跳过前导图片单元类型（RASL）或所述随机访问可解码前导图片单元类型（RADL）中的任一种前导图片单元类型。

8.根据权利要求7所述的解码器（100），

其中，所述指示包括参数集中的语法元素。

9.根据权利要求8所述的解码器（100），

其中，所述语法元素被包含在图片参数集或序列参数集中的至少一个参数集中。

10.根据权利要求1至9中的任一项所述的解码器（100），

其中，

如果所述第一子位流（11-1）的所述非IRAP NAL单元类型的所述NAL单元（302）是随机访问跳过前导图片单元类型（RASL），并且，所述第二子位流（11-2）的所述NAL单元（304）的所述非IRAP NAL单元类型是拖尾图片单元类型（TRAIL），

则所述解码器（100）配置成从所述位流（11）推导向所述解码器（100）指示的如下的指示：

a）忽略或制止输出，或者，

b）输出并且标记为间断空间段

所述第一子位流（11-1）的所述视频内容（12）的图片（12a、12b、12c）的那些第一空间段（13₁）对应于所述第一子位流（11-1）的所述随机访问跳过前导图片单元类型（RASL）的所述NAL单元（302）。

11.根据权利要求10所述的解码器（100），

其中，在情况b）下，

所述解码器（100）配置成借助于SEI（补充增强信息）消息来向后续处理链标记所述间断空间段（13₁）。

12.根据权利要求1至11中的任一项所述的解码器（100），

其中，所述解码器（100）配置成对来自参数集的约束指示进行解码，其中，所述约束指示向所述解码器（100）指示：

如果所述第二子位流（11-2）的所述NAL单元（304）的所述非IRAP NAL单元类型属于非前导图片NAL单元类型（例如，TRAIL或STSA），

则所述第一子位流（11-1）的所述NAL单元（302）的所述非IRAP NAL单元类型在其关联的、所述第一子位流（11-1）的IRAP-NAL单元（301）属于所述清洁随机访问单元类型（CRA）的情况下，排他性地属于所述随机访问可解码前导图片单元类型（RADL）。

13.根据权利要求12所述的解码器（100），

其中，所述第二位流（11-2）的所述NAL单元（304）的所述非IRAP NAL单元类型属于拖尾图片单元类型（TRAIL）。

14.根据权利要求1或2所述的解码器（100），

其中，在情况A）下，

所述第二子位流（11-2）的所述NAL单元（304）的所述非IRAP NAL单元类型是逐步时间子层访问单元类型（STSA）。

15.根据权利要求1或2所述的解码器（100），

其中，在情况A）下，

16.根据权利要求15所述的解码器（100），

其中，所述指示显式地向所述解码器（100）用信号通知：所述第二子位流（11-2）的所述非IRAP NAL单元类型的所述NAL单元（304）与所述第一子位流（11-1）的所述非IRAP NAL单元类型的所述NAL单元（302）混合，所述NAL单元（304）属于逐步时间子层访问单元类型（STSA），所述NAL单元（302）属于所述随机访问跳过前导图片单元类型（RASL）或所述随机访问可解码前导图片单元类型（RADL）中的任一种前导图片单元类型。

17.根据权利要求16所述的解码器（100），

其中，所述指示包括参数集中的语法元素。

18.根据权利要求17所述的解码器（100），

19.根据权利要求14至18中的任一项所述的解码器（100），

其中，所述解码器（100）配置成对来自所述位流（11）的参数集的约束标志进行解码，所述约束标志向所述解码器（100）指示：

所述位流（11）的任何访问单元（30），

所述访问单元（30）包括非IRAP前导图片NAL单元类型（RASL或RADL）的一个或多个NAL单元（302）与所述逐步时间子层访问单元类型（STSA）的一个或多个NAL单元（304）的混合，

满足与所述逐步时间子层访问单元类型（STSA）关联的约束。

20.根据权利要求19所述的解码器（100），

其中，所述约束向所述解码器（100）指示：如果下一个比逐步时间子层访问（STSA）单元类型更高的时间子层先行于所述逐步时间子层访问单元类型（STSA），则不允许按解码顺序跟随并且与所述下一个更高时间子层关联的任何图片参考所述下一个更高时间子层中的图片。

21.根据权利要求14至18中的任一项所述的解码器（100），

所述位流（11）的任何访问单元（30），

所述访问单元（11）包括非IRAP前导图片NAL单元类型（RASL或RADL）的一个或多个NAL单元（302）与所述逐步时间子层访问单元类型（STSA）的一个或多个NAL单元（304）的混合，

不服从与所述时间子层访问（STSA）单元类型关联的所述约束，并且，

其中，所述解码器（100）进一步配置成响应于所述约束标志，制止解析所述逐步时间子层访问（STSA）单元类型的所述一个或多个NAL单元（304），并且隐式地推断逐步时间子层访问解码。

22.一种用于对视频内容（12）进行解码的解码器（100），所述解码器（100）配置成：

对位流（11）进行解码，并且，

对来自所述位流（11）的参数集的约束标志进行解码，所述约束标志向所述解码器（100）指示：在所述位流（11）内，包括非IRAP前导图片NAL单元类型（例如，RASL或RADL）的NAL单元（302）的任何访问单元（30）满足与所述逐步时间子层访问（STSA）单元类型关联的约束。

23.根据权利要求1或2所述的解码器（100），

其中，在情况B）下，

所述第二子位流（11-2）的所述NAL单元（304）的所述IRAP NAL单元类型属于与封闭GOP结构关联的IRAP NAL单元类型，并且，

所述第一子位流（11-1）的所述NAL单元（302）的所述IRAP NAL单元类型属于与开放GOP结构关联的IRAP NAL单元类型。

24.根据权利要求23所述的解码器（100），

其中，所述第二子位流（11-2）的所述NAL单元（304）的所述IRAP NAL单元类型是具有随机访问可解码前导图片单元类型的CRA单元类型（CRA_with_RADL），并且，

其中，所述第一子位流（11-1）的所述NAL单元（302）的所述IRAP NAL单元类型是具有随机访问跳过前导图片单元类型的CRA单元类型（CRA_with_RASL）。

25.根据权利要求1或2所述的解码器（100），

其中，在情况B）下，

所述第二子位流（11-2）的所述NAL单元（304）的所述IRAP NAL单元类型是具有随机访问可解码前导图片单元类型的瞬时解码刷新（IDR_W_RADL），并且，

所述第一子位流（11-1）的所述NAL单元（302）的所述IRAP NAL单元类型是清洁随机访问单元类型（CRA）。

26.根据权利要求23至25中的任一项所述的解码器（100），

其中，所述解码器（100）配置成：

对访问单元（31、32、……）的一个或多个图片（12b、12c、……）的共同定位的空间段（13₂b、13₂c、……）进行解码和呈现，所述访问单元（31、32、……）按位流顺序跟随所述第二子位流（11-2）的所述NAL单元（304）所涉及的所述至少一个访问单元（30），所述共同定位的空间段（13₂b、13₂c、……）与所述第二子位流（11-2）的所述NAL单元（304）所涉及的所述至少一个访问单元（30）的所述图片（12a）的所述第二空间段（13₂a）共同定位，

并且将所述访问单元（31、32、……）的一个或多个图片（12b、12c、……）的共同定位的空间段（13₁b、13₁c、……）标记为被丢弃，所述访问单元（31、32、……）按位流顺序跟随所述第一子位流（11-1）的所述NAL单元（302）所涉及的所述至少一个访问单元（30），所述共同定位的段（13₁b、13₁c、……）与所述第一子位流（11-1）的所述NAL单元（302）所涉及的所述至少一个访问单元（30）的所述图片（12a）的所述第一空间段（13₁a）共同定位。

27.根据权利要求23至25中的任一项所述的解码器（100），

其中，所述解码器配置成：

在常规播放期间持续解码的情况下，

对访问单元（31、32、……）的一个或多个图片（12b、12c）的共同定位的空间段（13₂b、13₂c、……）进行解码和呈现，所述访问单元（31、32、……）按位流顺序跟随所述第二子位流（11-2）的所述NAL单元（304）所涉及的所述至少一个访问单元（30），所述共同定位的空间段（13₂b、13₂c、……）与所述第二子位流（11-2）的所述NAL单元（304）所涉及的所述至少一个访问单元（30）的所述图片（12a）的所述第二空间段（13₂a）共同定位，并且，

在开始进行解码的情况下，

丢弃按位流顺序跟随所述至少一个访问单元（30）的访问单元（31、32、……）的所述一个或多个图片（12b、12c、……），并且恢复所述一个或多个被丢弃的图片（12b、12c、……）之后的图片输出。

28.根据权利要求23至25中的任一项所述的解码器（100），

其中，所述解码器配置成：

在常规播放期间持续解码的情况下，

并且将所述访问单元（31、32、……）的一个或多个图片（12b、12c、……）的共同定位的空间段（13₁b、13₁c、……）标记为被丢弃，所述访问单元（31、32、……）按位流顺序跟随所述第一子位流（11-1）的所述NAL单元（302）所涉及的所述至少一个访问单元（30），所述共同定位的段（13₁b、13₁c、……）与所述第一子位流（11-1）的所述NAL单元（302）所涉及的所述至少一个访问单元（30）的所述图片（12a）的所述第一空间段（13₁a）共同定位，并且，

在开始进行解码的情况下，

29.根据权利要求26至28中的任一项所述的解码器（100），

其中，所述解码器（100）配置成借助于SEI（补充增强信息）消息来向后续处理链标记所述间断空间段（13₁b、13₁c、……）。

30.根据权利要求23至29中的任一项所述的解码器（100），

其中，所述解码器（100）配置成从所述位流（11）推导向所述解码器（100）指示的如下的指示：即使所述访问单元（30）包括与清洁随机访问NAL单元类型不同的IRAP NAL单元类型（例如，IDR_W_RADL）的NAL单元（302），也以与清洁随机访问NAL单元类型对应的方式对与所述第一子位流（11-1）和所述第二子位流（11-2）相关的所述至少一个访问单元（30）进行解码。

31.一种用于处理视频内容（12）的设备（10），所述设备（10）配置成：

提供与所述视频内容（12）的图片（12a、12b、12c、……）的第一空间段（13₁）相关的第一子位流（11-1），并且提供与所述视频内容（12）的所述图片（12a、12b、12c、……）的第二空间段（13₂）相关的第二子位流（11-2），其中，所述第一子位流（11-1）和所述第二子位流（11-2）是位流（11）的部分，其中：

A）所述位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，所述第一子位流（11-1）的至少一个第一NAL单元（302）属于非IRAP NAL单元类型（例如，RADL、RASL、TRAIL、STSA），其与所述第二子位流（11-2）的属于不同的非IRAP NAL单元类型（例如，RADL、RASL、TRAIL、STSA）的至少一个不同的第二NAL单元（304）混合，或者，

B）所述位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，所述第一子位流（11-1）的至少一个第一NAL单元（302）属于IRAP NAL单元类型（例如，IDR、CRA），其与所述第二子位流（11-2）的属于另外的IRAP NAL单元类型（例如，IDR、CRA）的至少一个第二NAL单元（304）混合，或者，

C）所述位流（11）包括至少一个访问单元（30），在所述至少一个访问单元（30）内，所述第一子位流（11-1）的至少一个第一NAL单元（302）属于IRAP NAL单元类型（例如，IDR、CRA），其与所述第二子位流（11-2）的属于非IRAP前导图片NAL单元类型（例如，RASL、RADL）或STSANAL单元类型中的任一种单元类型的至少一个第二NAL单元（304）混合。

32.根据权利要求31所述的设备（10），

33.根据权利要求31或32所述的设备（10），

其中，在情况A）下，

34.根据权利要求31或32所述的设备（10），

其中，在情况A）下，

35.根据权利要求31或32所述的设备（10），

其中，在情况A）下，

36.根据权利要求31或32所述的设备（10），

其中，在情况A）下，

37.根据权利要求33或34所述的设备（10），

其中，所述设备（10）配置成在所述位流（11）中设置指示，

其用于指示：所述第二子位流（11-2）的所述非IRAP NAL单元类型的所述NAL单元（304）与所述第一子位流（11-1）的所述非IRAP NAL单元类型的所述NAL单元（302）混合，所述NAL单元（304）属于拖尾图片单元类型（TRAIL），所述NAL单元（302）是所述随机访问跳过前导图片单元类型（RASL）或所述随机访问可解码前导图片单元类型（RADL）中的任一种前导图片单元类型。

38.根据权利要求37所述的设备（10），

其中，所述指示包括参数集中的语法元素。

39.根据权利要求38所述的设备（10），

40.根据权利要求31至39中的任一项所述的设备（10），

其中，

则所述设备（10）配置成在所述位流（11）中设置用于指示下者的指示：

a）忽略或制止输出，或者，

b）输出并且标记为间断空间段

41.根据权利要求40所述的设备（10），

其中，在情况b）下，

所述设备（10）配置成借助于SEI（补充增强信息）消息来向后续处理链标记所述间断空间段（131）。

42.根据权利要求31至41中的任一项所述的设备（10），

其中，所述设备（10）配置成在参数集中设置约束指示，其用于指示：

43.根据权利要求42所述的设备（10），

44.根据权利要求31或32所述的设备（10），

其中，在情况A）下，

45.根据权利要求31或32所述的设备（10），

其中，在情况A）下，

46.根据权利要求45所述的设备（10），

其中，所述设备（10）配置成在所述位流（11）中设置指示，

其用于指示：所述第二子位流（11-2）的所述非IRAP NAL单元类型的所述NAL单元（304）与所述第一子位流（11-1）的所述非IRAP NAL单元类型的所述NAL单元（302）混合，所述NAL单元（304）属于逐步时间子层访问单元类型（STSA），所述NAL单元（302）属于所述随机访问跳过前导图片单元类型（RASL）或所述随机访问可解码前导图片单元类型（RADL）中的任一种前导图片单元类型。

47.根据权利要求46所述的设备（10），

其中，所述指示包括参数集中的语法元素。

48.根据权利要求47所述的设备（10），

49.根据权利要求44至48中的任一项所述的设备（10），

其中，所述设备（10）配置成在所述位流（11）的参数集中设置约束标志，所述约束标志指示：

所述位流（11）的任何访问单元（30），

满足与所述逐步时间子层访问单元类型（STSA）关联的约束。

50.根据权利要求49所述的设备（10），

其中，所述约束指示：如果下一个比逐步时间子层访问单元类型（STSA）更高的时间子层先行于所述逐步时间子层访问单元类型（STSA），则不允许按解码顺序跟随并且与所述下一个更高时间子层关联的任何图片参考所述下一个更高时间子层中的图片。

51.根据权利要求44至48中的任一项所述的设备（10），

所述位流（11）的任何访问单元（30），

隐式地推断逐步时间子层访问解码，而非解析所述逐步时间子层访问单元类型（STSA）的所述一个或多个NAL单元（304）。

52.一种用于处理视频内容（12）的设备（10），所述设备（10）配置成：

处理位流（11），并且，

在所述位流（11）的参数集中设置约束标志，所述约束标志指示：在所述位流（11）内，包括非IRAP前导图片NAL单元类型（RASL或RADL）的NAL单元（302）的任何访问单元（30）满足与所述逐步时间子层访问单元类型（STSA）关联的约束。

53.根据权利要求31或32所述的设备（10），

其中，在情况B）下，

所述第二子位流（11-2）的所述NAL单元（304）的所述IRAP NAL单元类型属于与封闭GOP结构关联的IRAP NAL单元类型，并且，所述第一子位流（11-1）的所述NAL单元（302）的所述IRAP NAL单元类型属于与开放GOP结构关联的IRAP NAL单元类型。

54.根据权利要求53所述的设备（10），

55.根据权利要求31或32所述的设备（10），

其中，在情况B）下，

56.根据权利要求53至55中的任一项所述的设备（10），

其中，所述设备（10）配置成在所述位流（11）中设置指示，其用于指示：即使所述访问单元（30）包括与清洁随机访问NAL单元类型不同的IRAP NAL单元类型（例如，IDR_W_RADL）的NAL单元（302），与所述第一子位流（11-1）和所述第二子位流（11-2）相关的所述至少一个访问单元（30）也将以与清洁随机访问NAL单元类型对应的方式被处理。

57.根据权利要求31至56中的任一项所述的设备（10），

其中，所述设备（10）包括编码器、合并器以及网络节点中的至少一种设备。

58.一种用于对视频内容（12）进行解码的方法，所述方法包括：

59.一种用于处理视频内容（12）的方法，所述方法包括：

提供与所述视频内容（12）的图片（12a、12b、12c、……）的第一空间段（13₁）相关的第一子位流（11-1），并且提供与所述视频内容（12）的所述图片（12a、12b、12c、……）的第二空间段（13₂）相关的第二子位流（11-2），其中，所述第一子位流（11-1）和所述第二子位流（11-1）是视频位流（11）的部分，其中，

60.根据权利要求59所述的方法，包括使所述第一子位流（11-1）和所述第二子位流（11-2）组合成所述视频位流（11）。

61.一种数据流（11），可通过根据权利要求58至60中的任一项所述的方法来获得。

62.一种计算机可读数字存储介质，在其上已存储有计算机程序，所述计算机程序具有程序代码，所述程序代码用于当在计算机上运行时，实行根据权利要求58至60中的任一项所述的方法。

63.一种用于对视频内容（12）进行解码的解码器（100），所述解码器（100）配置成：

对位流（11）进行解码，所述位流（11）包括第一子位流（11-1）和第二子位流（11-2），

其中，所述解码器（100）配置成从所述第一子位流（11-1）和所述第二子位流（11-2）的NAL单元（302、304）的切片标头推导用于设置所述NAL单元（302、304）所参考的图片（12r）的所述POC的最高有效POC部分（POC MSB）的信息，所述NAL单元（302、304）属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP），并且，

A）其中，如果所述访问单元（32）内的至少一个NAL单元（302）属于非瞬时解码刷新单元类型（例如，CRA），则要求针对所述位流（11）的访问单元（32）内的所述IRAP NAL单元类型的所有NAL单元（302、304）而将所述最高有效POC部分（POC MSB）设置成预确定值，

或者，

B）其中，禁止任何图片参考按解码顺序跨越所述位流（11）的任何访问单元（32），在所述访问单元（32）内，所有NAL单元（302、304）都属于IRAP NAL单元类型，并且具有其中所述最高有效POC部分（POC MSB）设置成预确定值的切片标头，

或者，

C）其中，禁止由按所述位流顺序跟随所述位流（11）的所述第二访问单元（32）的图片（12s）进行的对第一访问单元（31）的图片（12a、12b、12c、……）的任何图片参考，所述第一访问单元（31）由NAL单元（301、303）组成，所述NAL单元（301、303）具有其中所述最高有效POC部分（POC MSB）设置成第一预确定值的切片标头，并且所述第一访问单元（31）按位流顺序先行于所述位流（11）的第二访问单元（32），在所述第二访问单元（32）内，所有NAL单元（302、304）都属于IRAP NAL单元类型，并且具有其中所述最高有效POC部分（POC MSB）设置成第二预确定值的切片标头。

64.根据权利要求63所述的解码器（100），

其中，在情况A）下，

所述预确定值等于或大于与先行于所述NAL单元（302）所参考的所述图片（12r）的图片（12a、12b、……）关联的POC的最高有效POC部分（POC MSB）。

65.根据权利要求63或64所述的解码器（100），

其中，所述预确定值等于零。

66.根据权利要求63或64所述的解码器，

其中，所述预确定值等于隐式地推导的最高有效POC部分。

67.根据权利要求63所述的解码器，

其中，在情况B）下，

所述预确定值小于与先行于所述NAL单元（302、304）所参考的所述图片（12r）的图片（12a、12b、12c、……）关联的POC的最高有效POC部分（POC MSB）。

68.根据权利要求63或67所述的解码器（100），

其中，所述预确定值等于零。

69.根据权利要求63或67所述的解码器（100），

其中，所述预确定值等于隐式地推导的最高有效POC部分。

70.根据权利要求63所述的解码器（100），

其中，在情况C）下，

所述第一预确定值大于所述第二预确定值。

71.根据权利要求63或70所述的解码器（100），

其中，所述第二预确定值等于零。

72.根据权利要求63或70所述的解码器（100），

其中，所述第二预确定值等于隐式地推导的最高有效POC部分。

73.根据权利要求63至72中的任一项所述的解码器（100），

其中，所述位流（11）是多层位流，并且，

其中，所述第一子位流（11-1）属于第一层（L0），并且，所述第二子位流（11-2）属于不同的第二层（L1）。

74.根据权利要求63至73中的任一项所述的解码器（100），

其中，所述图片参考包括短期图片参考和长期图片参考中的至少一个图片参考。

75.一种用于对视频内容（12）进行编码的编码器（10），所述编码器（10）配置成：

对位流（11）进行编码，所述位流（11）包括第一子位流（11-1）和第二子位流（11-2），

其中，所述编码器（10）配置成在所述第一子位流（11-1）和所述第二子位流（11-2）的NAL单元（302、304）的切片标头中设置所述NAL单元（302、304）所参考的图片（12r）的所述POC的最高有效POC部分（POC MSB），所述NAL单元（302、304）属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP），

或者，

76.根据权利要求75所述的编码器（10），

其中，在情况A）下，

77.根据权利要求75或76所述的编码器（10），

其中，所述预确定值等于零。

78.根据权利要求75或76所述的编码器（10），

其中，所述预确定值等于隐式地推导的最高有效POC部分。

79.根据权利要求75所述的编码器（10），

其中，在情况B）下，

80.根据权利要求75或79所述的编码器（10），

其中，所述预确定值等于零。

81.根据权利要求75或79所述的编码器（10），

其中，所述预确定值等于隐式地推导的最高有效POC部分。

82.根据权利要求75所述的编码器（10），

其中，在情况C）下，

所述第一预确定值大于所述第二预确定值。

83.根据权利要求75或82所述的编码器（10），

其中，所述第二预确定值等于零。

84.根据权利要求75或82所述的编码器（10），

85.根据权利要求75至84中的任一项所述的编码器（10），

其中，所述位流（11）是多层位流，并且，

86.根据权利要求75至85中的任一项所述的编码器（10），

87.一种用于对视频内容（12）进行解码的方法，所述方法包括：

并且，从所述第一子位流（11-1）和所述第二子位流（11-2）的NAL单元（302、304）的切片标头推导用于设置所述NAL单元（302、304）所参考的图片（12r）的所述POC的最高有效POC部分（POC MSB）的信息，所述NAL单元（302、304）属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP），并且，

或者，

88.一种用于对视频内容（12）进行编码的方法，所述方法包括：

对位流（11）进行编码，所述位流（11）包括第一子位流（11-1）和第二子位流（11-2），并且，

在所述第一子位流（11-1）和所述第二子位流（11-2）的NAL单元（302、304）的切片标头中设置所述NAL单元（302、304）所参考的图片（12r）的所述POC的最高有效POC部分（POCMSB），所述NAL单元（302、304）属于IRAP NAL单元类型（例如，CRA、IDR_W_LP、IDR_N_LP），

或者，

89.一种数据流（11），可通过根据权利要求87或88所述的方法来获得。

90.一种计算机可读数字存储介质，已在其上存储有计算机程序，所述计算机程序具有程序代码，所述程序代码用于当在计算机上运行时，实行根据权利要求87或88所述的方法。