CN104350751A

CN104350751A - 扩展数据处理

Info

Publication number: CN104350751A
Application number: CN201280073930.9A
Authority: CN
Inventors: 乔纳坦·萨缪尔森; 理卡尔德·肖伯格
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Ericsson Co ltd; Telefonaktiebolaget LM Ericsson AB
Priority date: 2012-04-12
Filing date: 2012-12-21
Publication date: 2015-02-11
Anticipated expiration: 2032-12-21
Also published as: US20210203938A1; EP3051824A1; US10694185B2; DK2837176T3; JP2015516755A; US20190238851A1; US10951899B2; CN107743236A; EP2837176A1; US9554129B2; US20230421768A1; EP3684058A1; US20140211841A1; EP2837176B1; ES2789024T3; US9973760B2; US20170094276A1; CN107743236B; US20220217352A1; EP3051824B1

Abstract

解析与片(3)的编码表示(20)相关联的长度指示符(23)。长度指示符(23)指示编码表示(20)的片头(21)中存在的扩展字段(24)的长度。然后，解码器(40)可以确定在编码表示(20)的解码期间忽略片头(21)中的扩展字段(24)的任意值，其中基于长度指示符(23)来识别这些值。结果，可以将扩展字段(23)添加至片头(21)并且仍使传统解码器(40)能够正确对编码表示(20)进行解码。

Description

扩展数据处理

技术领域

本实施例一般涉及片的编码和解码，并具体涉及处理与图块的编码和解码相关的扩展数据。

背景技术

高效视频编码(HEVC)是当前正在联合协作团队-视频编码(JCT-VC)中开发的新视频编码标准。JCT-VC是运动图象专家组(MPEC)与国际电信联盟电信标准局(ITU-T)之间的协作项目。当前，已经定义包括若干新工具并且比H.264高级视频编码(AVC)更高效的委员会草案(CD)。

可能在未来将会定义HEVC的扩展，例如多视图扩展以及可缩放扩展。这些扩展可以包含与例如取决于基本视图的附加视图或取决于基本层的附加层相关的数据。

可以假设要求针对编码序列的某些部分(例如，基本视图或基本层)的后向兼容性。然而，即使在使用这种扩展时传统的(即基本规范兼容的)解码器能够正确地处理比特流是重要的。

HEVC定义将尤其针对扩展保留的一些网络抽象层(NAL)单元类型。而且，参数集(例如，序列参数集(SPS)、图片参数集(PPS)以及适配参数集(APS))在其语法(syntax)表结尾处包含扩展字段。规定遵循HEVC的基本规范的解码器应忽略参数集结尾处的扩展字段中的数据。扩展数据的语法在下文中以SPS作为参数集的形式在说明性示例中示出。如果使用除SPS以外的其他参数集，则语法将是类似的。解码器通过通常是由系统层提供的语法元素NumBytesInRBSP知晓参数集的总长度，因此解码器将毫无困难地检测到扩展字段结尾的位置。

包含图片的编码片的NAL单元由两个部分组成：首先是片头，然后是片数据。这时不存在编码片的扩展字段。

片头包含关于当前片的信息，例如片类型，要使用的参考图片等。需要在HEVC中添加扩展以及扩展字段。然而，在这种情况下，遵循基本规范(即，不使用扩展)的传统解码器和扩展兼容解码器二者都可以正确地处理包括这种扩展的比特流是重要的。

片的编码表示的片头的当前布局使得当具有传统解码器和扩展兼容解码器二者时该需求难以实现或者甚至不可能实现。

发明内容

一般性目的是使能片头扩展的使用。

特定目的是结合片的编码和解码处理片头扩展。

通过这里所公开的实施例来达成这些以及其他目的。

实施例的一方面涉及一种解码图片的片的编码表示的方法。编码表示包括片头和片数据。所述方法包括：解析与编码表示相关联并指示片头中的扩展字段的长度的长度指示符。所述方法还包括：确定在编码表示的解码期间忽略基于长度指示符识别的扩展字段的任意值。

实施例的一个相关的方面定义了一种用于解码图片的片的编码表示的解码器。编码表示包括片头和片数据。解码器包括解析单元，所述解析单元配置为解析与编码表示相关联并且指示片头中的扩展字段的长度的长度指示符。解码器还包括处理单元，所述处理单元配置为使解码器在编码表示的解码期间忽略基于长度指示符识别的扩展字段的任意值。

实施例的另一方面涉及一种解码图片的片的编码表示的方法。所述编码表示包括片头和片数据。所述方法包括：解析与编码表示相关联并且指示片头中的扩展字段的长度的长度指示符。所述方法还包括：基于长度指示符识别片头中的扩展字段。基于扩展字段的至少一个值来解码片的编码表示，所述扩展字段的至少一个值基于长度指示符识别。

实施例的另一相关方面定义了一种用于解码图片的片的编码表示的解码器。编码表示包括片头和片数据。解码器包括解析单元，所述解析单元配置为解析与编码表示相关联并指示片头中的扩展字段的长度的长度指示符。解码器还包括配置为基于长度指示符识别片头中的扩展字段的扩展字段识别单元。解码器的解码单元配置为基于由扩展字段识别单元识别的扩展字段的至少一个值来解码片的编码表示。

实施例的另一方面涉及一种编码图片的片的方法。所述方法包括：生成指示片的片头中存在扩展字段的长度的长度指示符。将片编码为包括片头和片数据的片的编码表示。长度指示符与编码表示相关联。

实施例的另一相关方面定义了一种用于编码图片的片的编码器。所述编码器包括生成单元，所述生成单元配置为生成指示片的片头中存在的扩展字段的长度的长度指示符。所述编码单元配置为：将片编码为包括片头和片数据的片的编码表示。所述编码器还包括关联单元，所述关联单元配置为将长度指示符与编码表示相关联。

实施例的另一方面涉及一种接收机，包括用于解码图片的片的编码表示的解码器。所述编码表示包括片头和片数据。所述解码器包括解析单元，所述解析单元配置为解析与所述编码表示相关联并指示片头中的扩展字段的长度的长度指示符。所述解码器还包括处理单元，所述处理单元配置为：使解码器在编码表示的解码期间忽略基于长度指示符识别的扩展字段的任意值。

实施例的附加方面涉及一种接收机，包括用于解码图片的片的编码表示的解码器。所述编码表示包括片头和片数据。所述解码器包括解析单元，所述解析单元配置为解析与编码表示相关联并且指示片头中的扩展字段的长度的长度指示符。解码器还包括扩展字段识别单元，所述扩展字段识别单元配置为基于长度指示符来识别片头中的扩展字段。解码器的解码单元配置为基于由扩展字段识别单元识别的扩展字段的至少一个值来解码片的编码表示。

实施例的另一附加方面涉及一种发射机，包括用于编码图片的片的编码器。所述编码器包括生成单元，所述生成单元配置为生成指示片的片头中存在的扩展字段的长度的长度指示符。所述编码器还包括编码单元，所述编码单元配置为将片编码为包括片头和片数据的片的编码表示。编码器的关联单元配置为：将长度指示符与编码表示相关联。

实施例的另一方面涉及一种用于解码图片的片的编码表示的计算机程序。所述编码表示包括片头和片数据。计算机程序包括代码装置，所述代码装置在由处理器运行时使处理器解析与编码表示相关联并且指示片头中的扩展字段的长度指示的长度指示符。还使处理器确定在所述编码表示的解码期间忽略基于所述长度指示符识别的所述扩展字段的任意值。

实施例的另一方面定义了一种用于解码图片的片的编码表示的计算机程序。所述编码表示包括片头和片数据。计算机程序包括代码装置，所述代码装置在由处理器运行时使处理器解析与所述编码表示相关联并且指示所述片头中的所述扩展字段的长度的长度指示符。还使处理器基于所述长度指示符来识别所述片头中的所述扩展字段，以及根据基于所述长度指示符识别的所述扩展字段的至少一个值来解码所述片的所述编码表示。

实施例的另一方面定义了一种用于编码图片的片的计算机程序。计算机程序包括代码装置，所述代码装置在由处理器运行时使处理器生成指示片的片头中存在的扩展字段的长度的长度指示符。还使处理器将片编码为包括片头和片数据的片的编码表示。还使处理器将长度指示符与编码表示相关联。

实施例的另一附加方面涉及一种计算机程序产品，包括计算机可读介质和存储于计算机可读介质上的计算机程序。

本发明实施例使得能够将扩展字段引入片的编码表示的片头中，并且仍产生甚至不与扩展字段兼容的传统解码器也能正确处理的这种编码表示。

附图说明

通过结合附图一起参照下列描述，可以最佳地理解本发明及其进一步的目的和优点，其中

图1是包括一个或更多个片的图片的视频流的示意性说明；

图2是包括NAL单元的数据分组的说明；

图3A-3C是片的编码表示的说明；

图4是根据实施例解码片的编码表示的方法的流程图。

图5是说明根据实施例的图4中的方法的附加可选步骤的流程图；

图6是说明根据另一实施例的图4中的方法的附加可选步骤的流程图；

图7是说明根据另一实施例的图4中的方法的附加可选步骤的流程图；

图8是根据另一实施例的解码的片的编码表示的方法的流程图；

图9是根据实施例的编码片的方法的流程图；

图10是说明根据实施例的图9中的方法的附加可选步骤的流程图；

图11是说明根据另一实施例的图9中的方法的附加可选步骤的流程图；

图12是说明图11中关联步骤的实施例的流程图；

图13是根据实施例的解码器的示意性框图；

图14是根据另一实施例的解码器的示意性框图；

图15是根据另一实施例的解码器的示意性框图；

图16是根据实施例的接收机的示意性框图；

图17是根据实施例的编码器的示意性框图；

图18是根据另一实施例的编码器的示意性框图；

图19是根据实施例的发射机的示意性框图；以及

图20是根据实施例的包括计算机可读介质和计算机程序的计算机的示意性框图。

具体实施方式

贯穿附图，对于类似或对应元件使用相同附图标记。

本发明实施例提出与图片的片的编码和解码相关联的扩展数据处理。因此，实施例使能片的片头中的所谓的扩展字段(也称为扩展语法元素)的引入及使用。根据实施例，这种扩展字段可以被添加至片头，并且仍呈现可由扩展兼容解码器以及不能处理扩展数据(即，遵循不使用扩展字段的简档)的那些解码器正确地处理的编码表示。这些解码器一般标识为传统解码器或基本规范兼容的解码器。

扩展兼容解码器和传统解码器二者的出现带来与扩展字段在片头中的使用相关的问题。因此，传统解码器需要即使在片的编码表示在其片头中承载扩展数据时也能够正确解码并解译该编码表示的数据。

不可能添加与在背景技术章节中所讨论的参数集中一样类别的扩展字段(其中解码器忽略在语法结构结尾处的全部附加数据)。这是因为解码器无法识别片头结束和片数据开始的位置。因此，各数据结构(即，片头和片数据)的长度未知，而仅通过语法元素NumBytesInRBSP知晓总长度。因此，片层原始字节序列有效载荷(RBSP)语法通常类似于：

因此，由于传统解码器将无法识别片头结束和片数据开始的位置，无法添加其中由传统解码器忽略片头结尾处的全部附加数据的简单扩展字段。

提出将长度指示符与片的编码表示相关联，并且其中长度指示符指示片的片头中存在的扩展字段的长度。因此，长度指示符使解码器能够识别片的编码表示和构成扩展字段的片头的部分。因此，传统解码器可以由于编码表示包含传统解码器不能处理的扩展数据而因此确定在解码期间将忽略的编码表示的哪部分。

然而，传统解码器应在解码期间忽略扩展数据，但扩展兼容解码器在解码期间能够解码并使用该扩展数据。

图1是图片2的视频序列或流1的示意性说明。如本领域中悉知的，每个图片2可以包括一个或更多个所谓的片3。因此，视频流1的每个图片2被划分成一个或更多个片3，其中每个片3是图片2的可独立解码的条。换言之，若丢失一个片3，则图片2的其他片3仍是可解码的。

片3的编码生成包括片头和片数据的片3的编码表示。从编码过程中输出该编码表示作为所谓的网络适配层(NAL)单元11，如图2中所示。NAL单元11的第一部分是包含NAL单元中的数据类型的指示的头。NAL单元11的剩余部分包含片头和片数据的形式的有效载荷数据。

然后，NAL单元11可以添加有头12，以形成可作为比特流的一部分从编码器向解码器传输的数据分组10。例如，可以将实时传输协议(RTP)、用户数据报协议(UDP)和互联网协议(IP)头12添加至NAL单元11。NAL单元11的这种分组化形成仅构成与视频传输相关的示例。也可以有处理NAL单元11的其他方法，例如文件格式、MPEG-2传输流、MPEG-2程序化流等。

如这里所公开的实施例具体适用于并涉及视频流或序列1中的图片2的片3的解码和编码，其中视频流或序列1包括图1中所示的多个图片2。因此将主要结合这种视频解码和编码来讨论这些实施例。

然而，实施例也可以应用于单个图片中的片的解码和编码，例如结合静态图片或图像的这种解码和编码。例如，可结合空间可缩放静态图片来使用扩展数据。

图4是说明一种对视情况而定但优选在视频流中的图片的片的编码表示进行解码的方法的流程图。图4的方法优选地是由解码器在图片的片的编码表示的解码期间执行的方法，或是图片的片的编码表示的解码方法。

图3A-3C说明片的编码表示20的非限制性示例。编码表示20包括片头21和片数据25。

图4的方法包括步骤S1，其中解析与编码表示20相关联的长度指示符(L1)23。长度指示符23指示片头21中扩展字段(EXT F)24的长度。在以下步骤S2中，确定在编码表示20的解码期间忽略基于长度指示符23识别的扩展字段24的任意值。

这意味着：与编码表示20相关联的长度指示符23可用于识别编码表示20的由扩展字段24占用的部分。因此，解码器可通过使用长度指示符23来确定或决定忽略并因而不使用扩展字段24的值或数据。其中基于长度指示符23来识别片头21中的扩展字段24。因此，解码器由此使用长度指示符23跳过片头21中的一定量或一部分数据，其中所跳过的数据量或者数据部分由长度指示符23指示。

在具体实施例中，解码(例如在视频流中的)图片的片的编码表示20的方法包括：解析与编码表示20相关联并指示片头21中的扩展字段24的长度的长度指示符23。在该具体实施例中，该方法也包括：在编码表示20的解码期间忽略基于长度指示符23识别的扩展字段24的任意值。

与编码表示20相关联的长度指示符23使得传统解码器也能够处理并解码编码表示20。这些传统解码器仅确定忽略从片头21的由扩展字段24占用的部分获得的值或数据，并且其中片头21的该部分基于所解析的长度指示符23来识别。

如这里所使用的关联指示：可能基于编码表示20来识别并检索相关长度指示符23。如这里进一步公开，例如这一点可以通过在(通常在片头21中的)编码表示20中包括长度指示符23(见图3A和3B)或通过在编码表示20中包括诸如标识符23之类的数据来实现，其中该数据或标识符23可以用于识别相关长度指示符23(见图3C)。在后一情况下，可以在不同于编码表示20的另一数据结构中提供长度指示符23。数据或标识符26因此指向并使能另一数据结构的标识。

图5是根据具体实施例说明方法的附加步骤的流程图。这些附加而可选步骤以自图4中的步骤S1继续的步骤S10开始。在步骤S10中，基于在步骤S1中解析的长度指示符23来确定扩展字段的长度。在下一步骤S11中，基于步骤S10中所确定的长度来识别片头21中的扩展字段24的结尾。在以下步骤S2中，解码器可以因此决定或确定忽略至如步骤S11中所识别的扩展字段24的结尾的扩展字段24的一个或更多个值。

可选地，也识别片头21中的扩展字段24的起始。在实施例中，该起始可以在片头21中的固定或预定义位置，例如片头21中的已定义比特或字节位置。备选地，可以基于长度指示符23来确定扩展字段24的起始，例如直接跟在片头21中的长度指示符23之后，见图3A和3B。通常，由先前语法元素的长度给出片头21中的语法元素的位置。如果将可变长度编码应用于片头21中的一个或多个先前语法元素，则尤其如此。在这种情况下，解码器通常从第一比特位置开始解析和解码片头21，并贯穿各种语法元素直至其到达扩展字段24的起始处。

在实施例中，引入指示附加片数据(即，扩展字段24)的长度的长度指示符23。长度指示符23由例如片头21或另一数据结构中与片头12相关联的语法元素例示，或可以通过比特图样导出长度。相应地，编码器配置为使用所定义的语法元素23来发信号通知附加数据的长度。解码器配置为确定附加数据的长度。附加数据将由遵循某些简档的解码器忽略。而遵循其他简档的解码器将解析附加数据并且使用附加数据中的语法元素的值。遵循忽略附加数据的简档的解码器将使用长度信息来确定片头21的结尾，使得可以解码NAL单元。

因此，这些实施例以简单并且比特有效的方式使能片头21的扩展。

在可以应用于图4的方法及图5所示的实施例的具体实施例中，长度指示符23是片头21中存在的码字或语法元素，如图3A及图3B中所示。这意味着：步骤S1然后包括解析片头21中存在的长度指示符23。

在具体实施例中，长度指示符23存在于片头21中紧接在扩展字段24之前。因此，在具体实施例中，扩展字段24直接跟在片头21中的长度指示符23之后。在这种情况下，图4的步骤S2可以包括：在实施例中，确定在编码表示20的解码期间忽略直接跟在片头21中的长度指示符23之后直至扩展字段24结尾的扩展字段24的任意值或数据。扩展字段24的结尾是基于长度指示符23来识别的，例如以上结合图5的步骤S11所公开的。

在另一具体实施例中，长度指示符23不一定存在于片头21中，而是与编码表示20相关联。例如，片头21通常包括与编码表示20相关联并且包括可应用于当前片的数据的参数集的标识符26。图3C说明在片头21中具有参数集(PS)标识符(ID)26的情况。

例如，适配参数集(APS)包括针对多于一个片有效的控制信息。控制信息在片之间可以不同。图片参数集(PPS)包括针对若干图片有效的控制信息，并且对于同一视频序列或流的多个图片可以相同。序列参数集(SPS)包括对于整个视频序列或流有效的控制信息。HEVC也使用所谓的视频参数集(VPS)。在这种情况下，长度指示符23可以存在于这些参数集中的任何一个中，例如可用于当前片的APS、VPS、PPS或SPS中。在这种情况下，片头21优选地包括参数集标识符26，所述参数集标识符使能承载长度指示符23的相关参数集的识别。解码器然后可以使用该参数集标识符26来识别正确的参数集并且然后从所识别的参数集中解析长度指示符23。参数集标识符26可以直接识别参数集，例如APS标识符或PPS标识符。在备选方法中，参数集标识符26识别参数集，该参数集进而包括针对承载长度指示符23的另一参数集的另一参数集标识符。例如，片头21可以包括针对可应用于当前片的PPS的PPS标识符。该PPS可以进而可以包括针对可应用于PPS及当前片的SPS的SPS标识符，并且其中该SPS包括长度指示符23。

如果就字节或比特数而言的扩展字段24的大小或长度可能针对视频流中的若干片类似，则优选可以将长度指示符23添加于参数集中，而非在每个编码表示20中直接发信号通知长度指示符。在这种情况下，可以通过不在片头21中包括长度指示符23的比特而稍微减小编码表示20的总大小或长度。在该方法中，多个片将因此通过参考包括长度指示符23的同一参数集而共享同一长度指示符23。

然而，将长度指示符23直接包括于每个编码表示20中的片头21中通常具有大得多的灵活性。结果，可以因此允许扩展字段24的大小或长度在不同片之间不同。此外，为了解析长度指示符23，无需针对参数集的参考。

不是必须针对每个编码表示20来执行如图4中的步骤S1中所示的长度指示符的解析。具体地，若长度指示符23存在于基于存在于片头中的参数集标识符26而识别的另一参数集中，则可以针对包括参数集标识符26的视频序列的第一编码表示20来识别相关参数集。然后解析所识别的参数集中的数据，以及存在于其中的解码值和数据(包括长度指示符23)通常被存储于解码器的存储器中。然后解码器跟踪激活的参数集，即已经被解析和解码的参数集。这意味着当视频序列的后续编码表示20包括识别该参数集的参数集标识符26时，可以从存储器中存储的值中检索包括长度指示符23的数据。

因此，不是必须针对每个编码表示20来执行在步骤S1中解析长度指示符23，尤其如果长度指示符23存在于参数集中。然而，该步骤S1优选地针对具有指向其片头21中的相关参数集的参数集标识符26的编码器表示20执行至少一次。步骤S1然后可以：针对包括该相关参数集的参数集标识符26的视频序列的任一以下编码表示20，从存储器读取或检索与编码表示相关联并指示片头中的扩展字段的长度的长度指示符。

长度指示符23(见图3A和3B)或参数集标识符26(见图3C)不是必须如图3A-3C中所示直接位于片头21中的扩展字段24之前。通常优选使扩展字段24直接跟在长度指示符23或参数集标识符26之后。然而，这不是必须的。在备选实施例中，其他片头数据(即，至少一个语法元素或码字)可以存在于片头21中的长度指示符23或参数集标识符26的位置与扩展字段24之间。

图6是图4的方法的附加可选步骤的流程图。在步骤S21中，解析与编码表示相关联的片头扩展存在标志。该片头扩展存在标志可以存在于片头21中或者与编码表示20相关联。例如，片头扩展存在标志可存在于与片相关联的参数集中，例如PPS中。该方法然后优选地包括可选步骤S20，其中基于可基于片头21获得的参数集标识符(例如PPS标识符)来识别与编码表示20相关联的参数集(例如PPS)。可以从片头21中直接检索、或可以从另一参数集中检索参数集标识符，所述另一参数集由从片头21直接检索的另一参数集标识符识别。步骤S21然后优选地包括解析参数集中(例如PPS中)存在的片头扩展标志。

不是必须针对视频序列的每个编码表示20来执行在步骤S21中解析片头扩展存在标志，尤其如果在片头扩展存在标志存在于如步骤S20中所识别的参数集中。在这种情况下，可以针对具有指向相关参数集的参数集标识符26的第一编码表示20来识别、解析和解码该相关参数集。然后可将包括片头扩展存在标志的参数集的解码数据存储予解码器的存储器中。在这种情况下，可以仅针对具有指向前一解析并解码的参数集的参数集标识符26的任何后续编码表示20，从存储器读取或检索片头扩展存在标志的值。

片头扩展存在标志指示片头21中是否存在任何扩展字段24。因此，如果片头扩展存在标志具有第一预定义值(例如1_bin)，则在片头21中存在扩展字段24并且编码表示20与长度指示符23相关联。然而，如果片头扩展存在标志具有第二预定义值(例如0_bin)，则在片头21中不存在扩展字段24并且因此没有长度指示符23与编码表示20相关联。

在下一步骤S22中，分析经解析的片头扩展存在标志并且确定其具有第一预定义值还是第二预定义值。例如，如果设置片头扩展存在标志(即等于1_bin)，则方法继续至图4的步骤S1，其中解析长度指示符23。因此，在这种情况下，存在扩展字段24，并且传统解码器需要识别片头21的对应于扩展字段24的部分。

若未设置片头扩展存在标志(即等于0_bin)，则方法继续至步骤S23，其中解码器可以仅开始解析和解码在片头21之后的片数据25。因此，在这种情况下，片头21中不存在需要由传统解码器识别的扩展字段。

在具体实施例中，图片参数集RBSP语法可以类似：

slice_header_extension_present_flag等于0规定在参考图片参数集的编码图片的片头中不存在片头扩展语法元素。

在该具体实施例中，通用片头语法则可以类似：

slice_header_extension_length规定以字节为单位的片头扩展数据的长度，不包括用于发信号通知slice_header_extension_length本身的字节。slice_header_extension_length的值可以是在0至256(包含0和256)的范围中。slice_header_extension_length的大小不必须是通用可变长度码(UVLC)，而是可以是固定长度，即针对某一正整数q为u(q)。

slice_header_extension_data_byte可以具有任意值。传统解码器应忽略slice_header_extension_data_byte的值。slice_header_extension_data_byte可以备选地使用比特(即，u(1))而非字节(即，u(8))。

片头扩展存在标志表明解码器可以通过仅读取该单个标志(优选地以一比特标志的形式)来确定编码表示20是否包括需要由扩展兼容解码器处理(即，解析并使用)或由传统解码器忽略的任何扩展字段24。因此，片头扩展存在标志的使用简化在其中某些编码表示20可以包括扩展字段24而其他编码表示不包括扩展字段的情形中编码表示20的解码。在这种情况下，解码器无需解析以及使用任何长度指示符23，而是仅调查片头扩展存在标志的值。

由于视频流中的多个片可能将不具有扩展字段24或具有扩展字段24，有利地，将片头扩展存在标志插入参数集中。与将这种片头扩展存在标识包括在每个片头21中相比，在参数集中发信号通知片头扩展存在标志更比特有效。

在具体实施例中，片数据25直接跟在编码表示20中的扩展字段24的结尾后开始。因此，在该方法中，如基于长度指示符23识别的跟在扩展字段24的结尾之后的比特位置构成片数据25的第一比特。

在另一具体实施例中，如图3A中所示及以上的通用片头语法中进一步提及那样，字节对齐数据22可以插入扩展字段24与片数据25之间。可以在片头21的结尾处采用字节对齐数据，以使得片数据25字节的起始对齐。在这种情况下，长度指示符23可以用于识别片头21中由扩展字段24占用的部分，并且可以例如指示扩展字段24的长度并且由此发信号通知扩展字段24的结尾。其后跟随字节对齐数据22以及之后是片数据25。这意味着，即使使用字节对齐数据22，解码器也将能够基于长度指示符23来识别片数据25的开始和片头21中构成扩展字段24的部分。

字节对齐数据22优选地具有经良好定义的语法，例如：

在该示例中，字节对齐数据总是包括至少一比特。如果扩展字段24的结尾应是字节对齐的，则使用8比特码字10000000_bin。

图3B说明片的编码表示20的实施例，其示出长度指示符23和扩展字段24不必须形成片头12的最后语法元素(可选的字节对齐数据22除外)。相比之下，图3B的长度指示符23及扩展字段24或事实上图3C的参数集标识符26及扩展字段可以出现于片头21中的任何位置。

图7是说明图4中的方法的附加可选步骤的流程图。该方法从图4中的步骤S2继续。在下一步骤S30中，基于如基于长度指示符23识别的扩展字段24的结尾来识别编码表示20中的片数据25的开始，例如图5的步骤S11中所公开。如上文所提及，片数据25的开始可以直接跟在扩展字段24的结尾之后。在备选方法中，字节对齐数据22内插于扩展字段24与片数据25的起始之间。在这种情况下，长度指示符23可以用于识别扩展字段24的结尾。编码表示20中的一个或多个后继比特构成字节对齐数据22。由于具有经良好定义的语法(例如以上例示)，编码表示20的这部分由解码器解译为字节对齐数据22。一旦到达字节对齐数据22的结尾，便找到片数据25的开始。其他片头数据也可以在扩展字段24之后，这是下文进一步描述的。

当解码器已经识别出片数据25的开始时，其可以在步骤S31中从片数据25的所识别的开始处解析和解码片数据25。

传统解码器优选地通过在步骤S31的解析和解码过程期间忽略(即，不使用)片头21中的扩展字段24的任意值或数据，在步骤S31中解析和解码片数据。因此，由于根据传统解码器遵循的基本简档或基本规范未规定片头21中的扩展字段24，因此传统解码器不能使用该扩展字段24。

然而，扩展兼容解码器应当在解析和解码过程期间利用片头21中的扩展字段24中的数据，可选地包括片数据25的后解码处理。

本发明实施例也可以应用于其中片头21包括多个(即，至少两个)扩展字段24的情况。在这种情况下，每个扩展字段24优选地包括各长度指示符23。扩展字段24可以全部设置为与片头21的结尾相连接，可以在其后跟随可选的字节对齐数据22。然而，也可以在片头21中具有扩展字段24中的分布式组织。在后一情况下，可以在片头21中的任何位置提供扩展字段24。例如，第一扩展字段24可以存在于片头21的第一部分或中间部分中，而第二扩展字段24可以存在于片头21的结尾部分中。

如果片头21中可以存在多个扩展字段24，则各长度指示符23可以存在于一个或更多个参数集中，在片头21中，或分布于片头21和一个或多个参数集中。例如，第一扩展字段24的第一长度指示符23可以存在于参数集(例如PPS)中。第二扩展字段24的第二长度指示符23则可以存在于片头21中。可以由例如在参数集中的标志发信号通知扩展字段24和长度指示符23中的任何一个的存在。例如，PPS可以包括第一长度指示符23和指示第二扩展字段24的存在或缺少的标志。如果已经将标志设置为已定义的值，则第二长度指示符23和第二扩展字段24存在于片头21中。

在多个扩展字段24的情况下，优选地针对每个扩展字段24和长度指示符23执行一次图4的步骤S1。因此，识别并解析与编码表示20相关联的每个长度指示符23以便使能片头21中的各扩展字段24的识别，从而传统解码器可以确定忽略步骤S2中的扩展字段的一个或多个各值。

图8是说明解码图片的片的编码表示的方法的另一实施例的流程图。编码表示包括片头和片数据。该实施例具体地由扩展兼容解码器(即理解并能够利用片头中存在的扩展字段中的一个或多个值的解码器)执行。

该方法在步骤S80中开始，其中解析与编码表示相关联并指示片头中的扩展字段的长度指示符。步骤S1基本对应于图4中的步骤S1，并且这里不进一步讨论。

下一步骤S81基于步骤S80中解析的长度指示符来识别片头中的扩展字段。因此，在步骤S81中使用长度指示符以识别片头中由扩展字段占用的部分。该步骤S81可以如同这里先前例如结合图4和5所公开的那样来执行。

若片头包括多个扩展字段，则优选地针对每个扩展字段及相关联的长度指示符执行一次步骤S80和S81。

在以下步骤S82中，基于在步骤S80中解析的长度指示符，基于如步骤S81中所识别的片头中的扩展字段的至少一个值(优选地，所有值)来解码片的编码表示。

因此，在实施例中，解码器是扩展兼容的，并且因此在解码片的编码表示时并具体地在编码表示中的片数据的解码期间使用扩展字段的一个或更多个值或这些值的至少一部分。

例如，扩展字段可以包括一个或多个标志和/或其他语法元素，其向解码器指示并提供如何执行片数据的解码的指令。因此，扩展兼容解码器在解析和解码过程期间利用片头中的扩展字段中的数据，并且可选地包括片数据的后解码处理。

在步骤S82中基于扩展字段的至少一个值对片的编码表示的解码与如解码器所执行的对片的编码表示的任何处理相关。因此，如步骤S82中所定义的解码不仅限于根据片的编码表示中所存在的片数据实际生成片的像素数据。这意味着扩展字段的至少一个值可以例如由解码器用于处理参考图片缓冲器，包括视频序列的先前解码图片，其暂时存储以输出(例如，用于显示)和/或暂时存储以用作视频序列的后续(根据解码顺序)图片的解码参考。扩展字段的至少一个值可以备选地例如由解码器用以移除或丢弃比特流的特定NAL单元。例如，扩展字段可以指示：若正解码仅较高层编码表示，则可以丢弃特定NAL单元，并且因此其不进入参考图片缓冲器或从参考图片缓冲器移除。

因此，如步骤S82中所定义的解码器涵盖解码器与当前片的像素值的实际生成相关联(即，之前、同时或之后)的各种操作。

具体实施例涉及一种在解码包括多个图片的视频序列中的图片的片的编码表示期间执行的方法。视频序列的每个图片属于多个层中的一层。编码表示包括片头和片数据。该方法包括：解析与编码表示相关联并且指示片头中的扩展字段的长度指示符。基于长度指示符来识别片头中的扩展字段。该方法还包括基于片头中的扩展字段的至少一个值来处理所述多个图片的分层结构。

在具体实施例中，视频序列的图片与多个层一起组成分层结构。则在多视图的情况下，这些层可以对应于不同视图，在可缩放视频的情况下对应于不同时间层等。则优选地基于扩展字段的至少一个值，至少部分地来执行在解码器中处理分层结构，包括例如移除一个或更多个图片或承载图片的NAL单元。

这里接下来为公开本发明的实施例的变形及替代的若干示例实施例。

在第一示例性实施例中，在片头21中存在码字(语法元素)，即长度指示符23，长度指示符表示片21中的扩展字段24的长度。根据第一示例性实施例，编码器配置为插入长度指示符23作为语法元素。解码器应解析码字(即，长度指示符23)的值，以定位片数据25的开始并且由此跳过扩展字段24。

表示扩展字段24的长度的码字名称可以是例如slice_header_extension_length。

根据示例性实施例，解码器配置为配置执行下列步骤。

1、解析slice_header_extension_length语法元素23。

2、解码器解析并忽略直接跟在slice_header_extension_length语法元素23之后的slice_header_extension_length个比特数的值。

3、解码器以跟在slice_header_extension_length个比特数的解析之后的第一比特(在步骤2中的解析结束的比特位置处)开始解析和解码片数据25。

在该实施例中，解码器因此在头解码期间解析并读取片头21中的扩展字段24的数据或值。然而，即使已经解析并且可能解码这些值，解码器也可能忽略这些值，即在片数据25的解码和处理期间不进一步使用这些值。

备选地，解码器可配置为执行下列步骤：

1、解析slice_header_extension_length语法元素23。

2、解码器在比特流20中前跳slice_header_extension_length个比特数。

3、解码器以跟在跳过slice_header_extension_length个比特数之后的第一比特(在其中步骤2中的跳过结束的比特位置处)开始解析和解码片数据25。

在该实施例中，解码器并不解析或读取扩展字段24的数据或值，而是跳过片头21中基于长度指示符23所定义的扩展字段24所占用的部分。

在第二示例性实施例中，在第一示例性实施例中描述的语法元素23的存在取决于另一语法元素，例如，称为slice_header_extension_present_flag。如果slice_header_extension_present_flag为0，则不存在slice_header_extension_length语法元素23和扩展数据24。如果slice_header_extension_present_flag为1，则存在slice_header_extension_length语法元素23和扩展数据24。优选地，在SPS中发信号通知slice_header_extension_present_flag，但备选地，可以在PPS、VPS、APS或在片头21中发信号通知slice_header_extension_present_flag。

相应地，编码器配置为通过使用标志来调节第一示例性实施例的长度指示符23的存在。

根据该实施例，解码器配置为执行下列有序步骤：

1、使用来自激活SPS的slice_header_extension_present_flag。

2、如果slice_header_extension_present_flag等于1：

a.解析slice_header_extension_length语法元素23。

b.解码器解析并忽略直接跟在slice_header_extension_length语法元素23之后的slice_header_extension_length个比特数的值。

c.解码器以跟在slice_header_extension_length个比特数的解析之后的第一比特(在步骤b中的解析结束的比特位置处)开始解析和解码片数据25。

3、否则，(slice_header_extension_present_flag等于0)，解码器解析和解码片数据25而不解析slice_header_extension_length语法元素23并且不解析任何扩展数据24。slice_header_extension_length语法元素23和扩展数据24都将不存在于片中。

备选地，解码器可配置为执行下列步骤：

1、使用来自激活SPS的slice_header_extension_present_flag。

2、如果slice_header_extension_present_flag等于1：

a.解析slice_header_extension_length语法元素23。

b.解码器在比特流20中前跳slice_header_extension_length个比特数。

c.解码器以跟在跳过slice_header_extension_length个比特数之后的第一比特(其中步骤b中跳过结束的比特处)开始解析和解码片数据。

否则，(slice_header_extension_present_flag等于0)，解码器解析和解码片数据25而不解析slice_header_extension_length语法元素23并且不执行比特流20中的跳过。slice_header_extension_length语法元素23和扩展数据24都将不存在于片中。

例如，语法可类似这样：

在第三示例性实施例中，整个片头21的长度由语法元素23给出，并且类似于参数集的扩展字段，在片头21的结尾处添加扩展字段24。

相应地，编码器配置为通过语法元素(即，长度指示符23)指示整个片头21的长度，并且类似于参数集的扩展字段，在片头21的结尾处添加扩展字段24。

根据实施例，解码器配置为执行下列步骤：

1、使用来自激活SPS的slice_header_extension_present_flag(如果存在)。否则，省略步骤1、2和3，并且仅执行步骤a、b和c。

2、若slice_header_extension_present_flag等于1：

a、将slice_header_extension_length计算为片头21的长度减去当前比特位置。

b、解码器解析并忽略直接跟在slice_header_extension_length语法元素之后的slice_header_extension_length个比特数的值，即语法元素指示整个片头21的长度。

c、解码器以跟在slice_header_extension_length个比特数的解析之后的第一比特(在步骤b中解析结束的比特位置处)开始解析和解码片数据25。

因此，该在实施例中，与扩展字段24的长度的确定相关的图5的步骤S10优选地通过计算扩展字段24的长度来执行，扩展字段24的长度通过从由长度指示符23所表示的值减去片头21中的长度指示符23的结尾的比特或字节位置来计算。长度指示符23表示的该值优选地是片头21的长度。

在第一和第二示例性实施例的步骤3以及第三实施例的步骤c的变体中，字节对齐数据22可以内插入于扩展字段24与片数据25之间。在这种情况下，解码器以跟在slice_header_extension_length个比特数的解析之后的第一比特(第一及第三示例性实施例)或跟在跳过slice_header_extension_length个比特数的第一字节(第二示例性实施例)开始解析字节对齐数据22。一旦已经到达字节对齐数据22的结尾，就解析和解码片数据25。

在第四示例性实施例中，使用特定比特图样(“开始码”)指示扩展数据字段24的结束。因此，编码器配置为插入特定比特图样。解码器解析全部数据直至找到比特图样为止。可以或可以不要求比特图样是字节对齐的。然后，解码器以特定比特图样之后的第一比特开始解码片数据25。

解码器可以执行以下步骤：

1、解析片头21直至扩展字段24开始的点。

2、从那一点起，解码器扫描比特流并且搜索指示扩展数据24结束并且片数据25开始的位置的特定比特图样(“开始码”)。

3、在找到特定比特图样的点之后，解码器解析和解码片。

因此，在该实施例中，如图4中所示的方法还包括：从片头21的开始处解析片头21直至片头21中的扩展字段24的开始处为止。该方法还包括：从扩展字段24的开始处扫描片头21直至到达特定开始码的形式的长度指示符23。该方法还包括：识别扩展字段24的结尾作为特定开始码。

在第五示例实施例中，使用第一至第三示例性实施例中的任何一个，但是差异在于：在片头21中不发信号通知slice_header_extension_length 23。而是，在可以由片头21参考(例如SPS、VPS、PPS或APS)的数据结构中发信号通知slice_header_extension_length。

在第六示例性实施例中，使用上述示例性实施例中的任何一个，但差异在于：以字节而非比特来表达长度。

在第七示例性实施例中，与必须将slice_header_extension_present_flag设置为等于0的比特流要求一起使用第二至第六示例性实施例中的任何一个。编码器可以配置为将slice_header_extension_present_flag设置为0。

在具体实施例中，优选地迫使遵循特定简档(具体地，基本简档)的编码器将slice_header_extension_present_flag设置为0。然而，遵循同一简档的解码器必须使用长度指示符并且忽略扩展数据。

在第八示例实施例中，与针对扩展数据字段24引入的特定含义一起使用第二至第六示例性实施例中的任何一个。这种含义可以对应于多视图扩展或可缩放扩展中的附加信息。

编码器可以通过将slice_header_extension_present_flag设置为1来使用示例性实施例，并且针对每个片头21根据已引入的含义来编码扩展数据字段24的值。编码器还配置为计算扩展数据字段24的长度以及在slice_header_extension_length语法元素23中发信号通知该长度。备选地，如果扩展24的长度事先已知(例如，使用固定长度扩展)，则可在slice_header_extension_length语法元素23中发信号通知该长度而不首先计算该长度。

认识到(并利用)扩展数据24的所引入意义的解码器可以配置为执行下列步骤：

1、使用来自激活SPS的slice_header_extension_present_flag。

2、如果slice_header_extension_present_flag等于1：

a、解析(或如果已知扩展长度，则忽略)slice_header_extension_length语法元素23。

b、解码器根据比特的所引入含义来解析并使用直接跟在slice_header_extension_length语法元素23之后的slice_header_extension_length个比特数的值。

c、解码器以跟在跳过slice_header_extension_length个比特数之后的第一比特(在其中步骤b中的跳转结尾的比特位置处)开始解析和解码片数据25。

3、否则，(slice_header_extension_present_flag等于0)，解码器解析和解码片数据25而不解析slice_header_extension_length语法元素23并且不执行比特流20中的跳过。slice_header_extension_length语法元素23或扩展数据24都将不存在于片中。

不认识到(或不利用)扩展数据24的所引入含义的解码器可配置为执行呈现于第二示例性实施例中的步骤。

在第九示例性实施例中，与绑定至HEVC的一个或多个简档的扩展数据字段24的特定含义一起使用第八示例性实施例。即，遵循对出于特定目的(具有特定含义)使用扩展数据字段24的简档对比特流20进行解码的解码器将如第八实施例中所描述来解码扩展数据24，并且根据所定义的含义来使用扩展数据24。

遵循出于特定目的不使用扩展数据24的简档对比特流20进行解码的解码器将执行第二示例性实施例中所呈现的步骤。

在第十示例性实施例中，使用第二、第三、第八或第九示例性实施例中的任何一个，但其中不存在slice_header_extension_present_flag，而替代地将其推断为1。通过发信号通知零扩展长度，不发信号通知扩展。

在第十一示例性实施例中，可以使用以上示例性实施例中的任何一个，但其中不发信号通知扩展24的大小。而是，定义一系列固定大小和/或可变大小的可变长度码(VLC)。

在第十二示例性实施例中，可以针对给定片使用两个片头机制。在这种情况下，在参数集(例如PPS)中发信号通知第一长度指示符，而在片头中发信号通知第二长度指示符。在实施例中，PPS中的标志指示片头是否包括第二长度指示符。

因此，PPS RBSP语法可以类似：

在示例中，hum_slice_header_extension_bits表示第一长度指示符。该第一长度指示符等于0的值规定：在针对参考PPS的编码图片的片头RBSP中不存在附加片头比特。针对遵循基本简档规范的比特流，语法元素num_slice_header_extension_bits应等于0。标志slice_header_extension_present_flag用于发信号通知片头中第二长度指示符的存在。该标志的0值规定：在针对参考PPS的编码图片的片头中不存在片头扩展语法元素。针对遵循基本简档规定的比特流，标志slice_header_extension_present_flag应等于0。

片层RBSP语法可以类似：

相应地，片头语法然后将定义如下：

在该示例中，片头中的第一扩展字段由slice_header_extension_data_flag组成。第二长度指示符slice_header_extension_length规定：第二扩展字段的长度(即，slice_header_extension_data_byte)不包括用于发信号通知slice_header_extension_length的比特本身。在示例中，slice_header_extension_length的值可以是在0至256的范围中(包括0和256)。片头中的第二扩展字段可以具有任意值。

第十三示例性实施例类似于上文公开的第十二示例性实施例，但具有以下片层RBSP语法。

在第十二和第十三实施例中的示例性实施方式中，基本规范可以类似：

for(i＝0；i<num_slice_header_extension_bits；i++)

slice_header_extension_data_flag

扩展规范规则可以这样设置：

inter_layer_prediction_flag

inter_layer_prediction_flag等于0指示在属于较高空间或多视图层的任何图片中不将与NAL单元相关联的图片用作参考。inter_layer_prediction_flag等于1指示在属于较高空间或多视图层的图片中可以将与NAL单元相关联的图片用作参考。

因此，在示例性实施方式中，片头中的第一扩展字段可以通过遵循扩展规范的解码器解译为指示inter_layer_prediction_flag。

在示例性实施例中，例如参照第十二和第十三示例性实施例，将片头中的一个或更多个扩展字段解译为扩展规范中的实际码字而非扩展标志slice_header_extension_data_flag和slice_header_extension_data_byte。这些码字可以是标志、固定长度码(FLC)字、可变长度码(VLC)字或甚至其混合的形式。

扩展兼容解码器也可以忽略扩展字段中的一些比特。例如，情形可以是：扩展字段的码字将是共计12个比特，但将由长度指示符发信号通知的扩展字段的总长度设置为14个比特。则两个剩余比特由扩展兼容解码器简单忽略。

如前文中提及，在一示例中，扩展字段24可以包括编码多视图扩展数据/或编码可缩放扩展数据。

在前一情况下，视频流是来自多个(摄像机)视图的图片流，例如在立体视频的情况下右摄像机视图和左摄像机视图。在这种情况下，这些多个(即，至少两个)视图中的一个可以是基本视图，其中一个或更多个附加视图相对于基本视图编码并且可能相对于彼此编码。然而，基本视图优选地可独立解码，即，基本视图不使用其他视图中的图片作为参考。在这种情况下，传统解码器可以正确解码基本视图，即使存在与附加视图相关或与片头中存在的多视图结构相关的扩展数据时也如此。这是由于根据这里所公开的各种实施例所使用的长度指示符才成为可能。

在后一情况下，视频流是来自多个层的图片的流。在这种情况下，这些多个层中的一个是基本层，具有一个或多个附加层。基本层优选地可独立解码，即无需参照这些附加层中任何一个中的图片。相应地，属于附加层N的图片优选地参照基本层以及不高于层N的层中的图片。在这种情况下，即使在存在与附加层相关或者与片头中存在的多层结构相关的扩展数据时，传统解码器也可正确解码基本层。这是由于根据这里所公开的各种实施例所使用的长度指示符才成为可能。

实施例不限于HEVC，而是可应用于HEVC中的任何扩展，例如可缩放扩展或多视图扩展，或可应用于不同视频编解码器，或事实上任何其他视频编码标准。

图9是一种编码图片2(例如视频流1中的图片2)的片3的方法的示意性流程图。该方法包括在步骤S40中生成长度指示符23。长度指示符23指示片3中的片头21中存在的扩展字段24的长度。在下一步骤S41中，将片3编码成片3的编码表示20，包括片头21和片数据25。在步骤S42中，长度指示符23与编码表示20相关联。步骤S42可以执行步骤S41之前执行、与其实际上并行执行或之后执行。

编码表示20可以经进一步处理形成NAL单元11，NAL单元可以可选地被封装成具有一个或更多个头12的数据分组10，如图2中所示。

如果片头将包含多个扩展字段，则优选地针对每个这种扩展字段执行一次图9中的步骤S40和S42。

图10是说明图9中的方法的附加可选步骤的流程图。在步骤S51中，确定片头21中存在的扩展字段24的长度。然后基于扩展字段24的长度在图9的步骤S40中生成长度指示符23。因此，在具体实施例中，给予长度指示符23以字节或比特为单位表示扩展字段24的长度的值。

在可选步骤S50中，确定扩展字段24的值以便看出扩展字段24变得多长。备选地，取决于什么类型的扩展数据，例如多视图扩展数据或可缩放扩展数据，扩展字段24可以具有预定义长度。如先前所提及，扩展字段24的值优选地表示片3的多视图扩展数据和/或可缩放扩展数据。

在步骤S42中，优选地将在步骤S40中生成的长度指示符23插入至片头21中。备选地，可以将长度指示符23插入至应用当前片3的参数集中。在这种情况下，片头21优选地包括使能包括长度指示符23的相关参数集的识别的参数集标识符。

如果在步骤S42中将长度指示符23插入至片头21中，则优选地直接在片头21中的扩展字段24之前插入长度指示符23。

在实施例中，使用片头扩展存在标志来发信号通知片头21中的扩展字段24的存在或缺少。在图11中示意性地说明实施例。此方法开始于步骤S60中，其中将片头扩展存在标志设置为预定义值(例如1_bin)，以指示片头21的扩展字段24的存在。在下一步骤S61中，片头扩展存在标志与编码表示20相关联。步骤S61的该关联可以是：在可以应用于当前片3中的参数集中插入片头扩展存在标志。在这种情况下，片头21优选地包括使能包括长度指示符23的相关联参数集的识别的参数集标识符。

图12是说明图11中的关联步骤S61的具体实施例。在该实施例中，在步骤S70中，将片头扩展存在标志插入参数集(例如PPS)中。在步骤S71中，例如通过将参数集标识符26插入至编码表示20的片头21中，优选地将识别包括片头扩展存在标志的参数集的参数集标识符26与编码表示20相关联。

在备选方法中，片头扩展存在标志被插入片头21中。

图13是根据实施例的解码器40的示意性框图。解码器40包括解析单元41(也称为解析器或解析装置或模块)，解析单元配置为解析与图片的片的编码表示相关联的长度指示符。长度指示符指示编码表示的片头中存在的扩展字段的长度。解码器40还包括处理单元42(也称为处理器或处理装置或模块)，处理单元配置为使解码器40在编码表示的解码期间忽略基于长度指示符而识别的扩展字段的任意值。

在可选实施例中，解码器40还包括确定单元43(也称为确定器或确定装置或模块)，确定单元配置为基于长度指示符来确定扩展字段的长度。解码器40的可选识别单元44(也称为识别器或识别装置或模块)优选地配置为基于由确定单元43确定的长度来识别片头中的扩展字段的结尾。

解析单元41优选地配置为：解析编码表示的片头中存在的长度指示符。备选地，解析单元41可以解析参数集中的长度指示符，参数集基于在编码表示的片头中解析的参数集标识符来识别。在后一情况下，若已经针对前一编码表示解析和解码了具有长度指示符的参数集，则解析单元41可以从关联存储器中检索长度指示符，如这里先前所公开的。

在可选实施例中，处理单元42配置为：使解码器40在编码表示的解码期间忽略扩展字段的任意值，扩展字段直接跟在片头中的长度指示符之后并且直至基于长度指示符由例如识别单元44识别的扩展字段的结尾。

解析单元41优选地也配置为：解析与编码表示相关联的片头扩展标志。在这种情况下，如果片头扩展标志具有预定义值(优选地1bin)，则解析单元41配置为解析长度指示符，并且处理单元42配置为使解码器40忽略扩展字段的任意值。

在可选实施例中，解码器40还包括集识别单元45(也称为集识别器或集识别装置或模块)，集识别单元配置为：基于可基于片头获得的参数集标识符(优选地PPS标识符)来识别与编码表示相关联的参数集(优选地PPS)。在具体实施例中，集识别单元45优选地从编码表示的片头检索参数集标识符，并且使用参数集标识符来识别承载片头扩展存在标志的相关参数集。在这种情况下，解析单元41配置为解析如集合识别单元45所识别的参数集(优选地PPS)中存在的片头扩展存在标志。

在可选实施例中，先前提及的识别单元44配置为基于如基于长度指示符由例如识别单元44所识别的扩展字段的结尾来识别编码表示中的片数据中的开始。那么，解码器40包括解码单元46(也称为数据解码器或解码装置或模块)，解码单元配置为从如识别单元44所识别的片数据的开始来解析和解码片数据。

解码单元46优选地配置为通过忽略并且由此不使用片头中的扩展字段的任意值来解析和解码片数据。因此，解码单元46在不使用扩展字段中的任意值或由扩展字段表示的任意值的情况下执行编码表示20的解码。

在具体实施例中，解码器单元40包括单元41，用于解析指示是否使用用于指示片头的长度的长度指示符的标志。此外，解码器40包括单元41，用于解析长度指示符并且基于此来确定片头中的扩展字段的长度。然后解码器40可以在解码已编码NAL单元时使用该信息。

图14是根据用于解码的图片的片的经解码表示的另一实施例的解码器90的示例性框图。解码器90包括解析单元91(也称为解析器或解析装置或模块)，解析装置单元配置为解析与编码表示相关联的长度指示符。长度指示符指示编码表示的片头中存在的扩展字段的长度。扩展字段识别单元92(也称为扩展字段标识符或识别装置或模块)配置为基于由解析单元91解析的长度指示符来识别片头中的扩展字段。解码器90还包括解码单元93(也称为数据解码器或解码装置或模块)。解码单元93配置为基于由扩展字段识别单元92识别的片头中的扩展字段的至少一个值来解码片的编码表示。

图13和图14的解码器40、90连同其包括单元41-46、91-93一起可以硬件实现。存在可以被使用以及组合来实现解码器40、90的单元41-46、91-93的功能的电路元件的大量变体。这些变体由实施例涵盖。解码器40、90的硬件实施方式的具体示例是数字信号处理器(DSP)硬件和集成电路技术(包括通用目的电子电路和专用电路二者)的实施方式。

这里所描述的解码器50可以备选地例如通过处理器52以及具有与适合存储器或存储器54的适合软件、因而是如图15中所示的可编程逻辑器件(PLD)或其他电子组件中的一个或多个来实现。此外，解码器50优选地包括配置为接收片的编码表示(例如以NAL单元的形式)的输入或输入单元51。对应输出或输出单元53配置为输出解码片。

例如，解码器32可以位于接收机30中，例如视频摄像机、机顶盒或例如如图16中所示的移动设备中的显示器中。接收机30包括配置为接收编码比特流(例如如图2所示的NAL单元的数据分组)的输入或输入单元31。NAL单元的编码表示由如这里所公开的解码器32来解码。解码器32优选地包括或连接至参考图片缓冲器34，参考图片缓冲器暂时地存储将用作视频流中的其他图片的参考图片的已解码图片。通过输出或输出单元33从接收机30(例如从参考图片缓冲器34)输出解码图片。这些输出图片被发送以在连接(包括无线连接)至接收机30的屏幕或显示器上显示给用户。

实施例因此涉及包括解码器的接收机30，解码器用于解码图片的片的编码表示。编码表示包括片头和片数据。接收机的解码器包括解析单元，解析单元配置为解析与编码表示相关联并且指示片头中的扩展字段长度的长度指示符。解码器还包括处理单元，处理单元配置为使解码器在编码表示的解码期间忽略基于长度指示符识别的扩展字段的任意值。

另一示例实施例涉及包括解码器的接收机30，解码器用于解码图片的片的编码表示。编码表示包括片头和片数据。接收机的解码器包括解析单元，解析单元配置为解析与编码表示相关联并且指示片头中的扩展字段的长度的长度指示符。解码器还包括扩展字段识别单元，扩展字段识别单元配置为基于长度指示符来识别片头中的扩展字段。解码器的解码单元被配置为：基于通过扩展字段识别单元识别的片头中的扩展字段的至少一个值来解码片的编码表示。

图17是根据实施例配置为编码图片的片的编码器70的示意性框图。编码器70包括生成单元71(也称为生成器或生成装置或模块)，生成单元配置为生成指示片的片头中存在扩展字段的长度的长度指示符。编码器70的编码单元72(也称为片编码器或编码装置或模块)配置为将片编码成包括片头和片数据的片的编码表示。编码器70还包括关联单元73(也称为关联器或关联装置或模块)，关联单元配置为将长度指示符与编码表示相关联。

在可选实施例中，编码器70包括确定单元74(也称为确定器或确定装置或模块)，确定单元配置为确定片头中存在的扩展字段的长度。生成单元71则配置为基于如确定单元74所确定的扩展字段的长度来生成长度指示符。

可选实施例具有关联单元73，关联单元配置为优选地在编码单元72编码片之前将长度指示符插入片头中。在这种情况下，关联单元73优选地在片头中的扩展字段之前直接插入长度指示符。

在可选实施例中，编码器70包括设置单元75(也称为设置器或设置装置或模块)，设置单元配置为将片头扩展存在标志设置预定义值(优选地1_bin)以指示片头中的扩展字段的存在。关联单元73则配置为将片头扩展存在标志与编码表示相关联。在具体实施例中，关联单元73配置为将片头扩展存在标志插入参数集(优选地PPS)中。关联单元73还配置为将识别参数集(优选地PPS)的参数集标识符(优选地PPS标识符)与编码表示相关联。具体地，关联单元73配置为将参数集标识符(优选地PPS标识符)插入至片头中。

在具体实施例中，编码器70包括用于确定片头中的扩展字段的长度的单元74和用于插入长度指示符的单元73。

图17的编码器70连同其包括单元71-75可以以硬件实现。存在可以被使用和组合以使能编码器70的单元71-75的功能的电路元件的大量变体。这些变体由实施例涵盖。编码器70的硬件实施方式的具体示例是数字信号处理器(DSP)硬件和集成电路技术(包括通用目的电子电路和专用电路二者)的实现。

这里所描述的编码器80可以备选地通过例如处理器82以及具有适合的存储器或者存储器84的适合软件、因而是可编程逻辑器件(PLD)或其他电子组件中的一个或多个来实现，如图18中所示。此外，编码器80优选地包括配置为接收视频流的图片的输入或输入单元81。对应的输出或输出单元83被配置为优选地以NAL单元的形式输出片的编码表示。

例如，编码器62可以位于例如如图19中所示的移动设备中的视频摄像机中的发射机60中。发射机60则包括配置为接收要编码的视频流的图片的输入或输入单元61。这些图片由如这里所公开的编码器62编码。通过输出或输出单元63以编码比特流(例如，如图2中所示NAL单元或者承载这些NAL单元的数据分组)的形式从发射机60输出编码图片。

实施例涉及包括用于编码的图片的片的编码器的发射机60。编码器包括生成单元，生成单元配置为生成指示片的片头中存在的扩展字段的长度的长度指示符。编码器还包括编码单元，编码单元配置为将片编码成包括片头和片数据的片的编码表示。编码器的关联单元配置为将长度指示符与编码表示相关联。

实施例应用于解码器、编码器以及对比特流进行操作的任何元件，例如网络节点或介质感知网络元件。

应理解：交互单元或模块的选择以及单元的命名仅出于示例性的目的，并且可以用复数和备选方式配置以能够执行所公开的处理动作。

也应注意：在本公开中描述的单元或模块将被视为逻辑实体而不必视为单独物理实体。应理解：这里所公开技术的范畴完全涵盖可以变得对本领域技术人员显而易见的其他实施例，并且本公开内容的范畴相应地并不受限制。

除非明确地这样表达，否则以单数形式对元件的引用并不意味着“一个且仅一个”，而是“一个或更多个”。本领域技术人员所知晓的对上述实施例的元件的全部结构和功能等效物皆以引用的方式明确地并入这里，并且旨在涵盖于这里。此外，装置或方法并非必须解决寻求由这里所公开的技术解决的每一个或每个问题才涵盖于此。

在前述说明中，出于描述而非限制的目的，阐述例如特定结构、接口、技术等特定细节，以提供对所公开的技术的透彻理解。然而，本领域技术人员将显而易见，所公开技术可以在偏离这些特定细节的其他实施例或实施例的组合中实践。即，本领域技术人员将能够想出体现所公开技术的原理的各种配置，尽管并未这里明确地描述或示出。在一些实例中，省略众所周知的装置、电路和方法的详细说明，以免不必要的细节模糊所公开技术的说明。列举所公开技术的原理、方面和实施例以及其特定示例的全部陈述旨在涵盖其结构和功能等同物二者。因此，旨在：这些等效包括当前已知的等效物和未来开发的等效物二者，例如经开发以执行相同功能而无论结构如何的任何元件。

因此，例如，本领域技术人员将理解：这里的框图可以表示体现技术的原理的说明性电路或其他功能单元的概念视图。类似地，将理解：任何流程图、状态转换图、伪随机码等表示可以在计算机可读介质中实质上表示并且因此由计算机或处理器执行的各种过程，而无论是否明确地示出这种计算机或处理器。

可以通过使用例如电路硬件的硬件和/或能够执行在计算机可读介质上以编码指令的形式存储的软件的硬件来提供包括功能块的各种元件的功能。因此，这种功能以及所说明的功能块理解为是硬件实现的和/或计算机实现的，并且因此是机器实现的。

图20是包括处理器110以及其中存有计算机程序130的计算机可读介质120的计算机100的示意性说明。

在实施例中，计算机程序130配置为用于解码图片的片的编码表示。编码表示包括片头和片数据。计算机程序130包括程序代码装置，程序代码装置在由处理器110运行时使处理器110解析与编码表示相关联并且指示片头中的扩展字段的长度的长度指示符。还使处理器110确定在编码表示的解码期间忽略基于长度指示符识别的扩展字段的任意值。

在另一实施例中，计算机程序130配置为：用于解码图片的片的编码表示。编码表示包括片头和片数据。计算机程序130包括程序代码装置，程序代码装置在由处理器110运行时使处理器110解析与编码表示相关联并指示片头中的扩展字段的长度指示符。也使处理器110基于长度标识符来识别片头中的扩展字段并且以基于标识符而识别的扩展字段的至少一个值为基础来解码片的编码表示。

在另一实施例中，计算机程序130配置为用于编码图片的片。计算机程序130包括程序代码装置，程序代码装置在由处理器110运行时使处理器110产生指示片的标头中存在的扩展字段的长度的长度指示符。也使处理器110将片编码为包括片头和片数据的片的编码表示。还使处理器110关联长度指示符与编码表示。

实施例涉及一种计算机程序产品，其包括计算机可读介质120及存储于计算机可读介质120上的任何根据上文所公开的实施例中的所定义的计算机程序130。

关于硬件实施方式，功能块可以包括或涵盖(而非限制)数字信号处理器(DSP)硬件、精简指令集处理器、包含但不限于特定应用集成电路(ASIC)的硬件(例如数字或模拟)电路以及(适当时)能够执行这些功能的状态机。

以上描述的实施例将被理解为本发明的几个说明性示例。本领域技术人员将理解，可以在不偏离本发明范围的情况下对实施例作出各种修改、组合和改变。具体地，可以在技术上可能时以其他配置组合的不同实施例中的不同部分解决方案。然而，本发明的范围由所附的权利要求定义。

Claims

1.一种解码图片(2)的片(3)的编码表示(20)的方法，所述编码表示(20)包括片头(21)和片数据(25)，所述方法包括：

解析(S1)与所述编码表示(20)相关联并且指示所述片头(21)中的扩展字段(24)的长度的长度指示符(23)；以及

确定(S2)在所述编码表示(20)的解码期间忽略基于所述长度指示符(23)识别的所述扩展字段(24)的任意值。

2.根据权利要求1所述的方法，还包括：

基于所述长度指示符(23)来确定(S10)所述扩展字段(24)的长度；以及

基于所述长度来识别(S11)所述片头(21)中所述扩展字段(24)的结尾。

3.根据权利要求1或2所述的方法，其中解析(S1)所述长度指示符(23)包括：

解析(S1)所述片头(21)中存在的所述长度指示符(23)。

4.根据权利要求3所述的方法，其中确定(S2)忽略所述任意值包括：

确定(S2)在所述编码表示(20)的解码期间忽略直接跟在所述片头(21)中的所述长度指示符(23)之后直至基于长度指示符(23)识别的所述扩展字段(24)的结尾的所述扩展字段(24)的任意值。

5.根据权利要求1或2所述的方法，其中解析(S1)所述长度指示符(23)包括：

解析(S1)基于参数集标识符(26)识别的参数集中存在的所述长度指示符(23)，所述参数集标识符(26)能够基于所述片头(21)获得。

6.根据权利要求1至5中任一项所述的方法，还包括：

解析(S21)与所述编码表示(20)相关联的片头扩展存在标志；以及

如果所述片头扩展存在标志具有预定义值，则执行所述长度指示符(23)的所述解析(S1)和用以忽略所述任意值的所述确定(S2)。

7.根据权利要求6所述的方法，还包括：

基于能够基于所述片头(21)获得的参数集标识符(26)来识别(S20)与所述编码表示(20)相关联的参数集，其中解析(S21)所述片头扩展存在标志包括解析(S21)所述参数集中存在的所述片头扩展存在标志。

8.根据权利要求1至7中任一项所述的方法，还包括：

基于所述扩展字段(24)的结尾来识别(S30)所述片数据(25)的起始，所述扩展字段(24)的结尾基于长度指示符(23)识别；以及

从所述片数据(25)的所述起始开始对所述片数据(25)进行解析和解码(S31)。

9.根据权利要求8所述的方法，其中对所述片数据(25)进行解析和解码(S31)包括：通过忽略所述片头(21)中的所述扩展字段(24)的所述任意值来解析和解码(S31)所述片数据(25)。

10.一种解码图片(2)的片(3)的编码表示(20)的方法，所述编码表示(20)包括片头(21)和片数据(25)，所述方法包括：

解析(S80)与所述编码表示(20)相关联并且指示所述片头(21)中的扩展字段(24)的长度的长度指示符(23)；

基于所述长度指示符(23)来识别(S81)所述片头(21)中的所述扩展字段(24)；以及

根据基于所述长度指示符(23)识别的所述扩展字段(24)的至少一个值来解码(S82)所述片(3)的所述编码表示(20)。

11.一种编码图片(2)的片(3)的方法，所述方法包括：

生成(S40)指示所述片(3)的片头(21)中存在的扩展字段(24)的长度的长度指示符(23)；

将所述片(3)编码(S41)为包括所述片头(21)和片数据(25)在内的所述片(3)的编码表示(20)；以及

将所述长度指示符(23)与所述编码表示(20)相关联(S42)。

12.根据权利要求11所述的方法，还包括：

确定(S51)所述片头(21)中存在的所述扩展字段(24)的长度，其中生成(S40)所述长度指示符(23)包括基于所述扩展字段(24)的所述长度来生成(S40)所述长度指示符(23)。

13.根据权利要求11或12所述的方法，其中关联(S42)所述长度指示符(23)包括：将所述长度指示符(23)插入所述片头(21)中。

14.根据权利要求13所述的方法，其中插入所述长度指示符(23)包括：在所述片头(21)中在所述扩展字段(24)之前直接插入所述长度指示符(23)。

15.根据权利要求11或12所述的方法，其中关联(S42)所述长度指示符(23)包括：将所述长度指示符(23)插入参数集中，并将识别所述参数集的参数集标识符(26)与所述编码表示(20)相关联。

16.根据权利要求11至15中任一项所述的方法，还包括：

将片头扩展存在标志设置(S60)为预定义值，以指示所述片头(21)中所述扩展字段(24)的存在；以及

将所述片头扩展存在标志与所述编码表示(20)相关联(S61)。

17.根据权利要求16所述的方法，其中关联(S61)所述片头扩展存在标志包括：

将所述片头扩展存在标志插入(S70)参数集中；以及

将识别所述参数集的参数集标识符与所述编码表示(20)相关联(S71)。

18.一种用于解码图片(2)的片(3)的编码表示(20)的解码器(40、50)，所述编码表示(20)包括片头(21)和片数据(25)，所述解码器(40)包括：

解析单元(41)，被配置为解析与所述编码表示(20)相关联并且指示所述片头(21)中的扩展字段(24)的长度的长度指示符；以及

处理单元(42)，被配置为使所述解码器(40)在所述编码表示(20)的解码期间忽略基于所述长度指示符(23)识别的所述扩展字段(24)的任意值。

19.根据权利要求18所述的解码器，还包括：

确定单元(43)，被配置为基于所述长度指示符(23)来确定所述扩展字段(24)的长度；以及

识别单元(44)，被配置为基于所述长度来识别所述片头(21)中所述扩展字段(24)的结尾。

20.根据权利要求18或19所述的解码器，其中所述解析单元(41)被配置为解析所述片头(21)中存在的所述长度指示符(23)。

21.根据权利要求20所述的解码器，其中所述处理单元(42)被配置为使所述解码器(40)在所述编码表示(20)的解码期间忽略直接跟在所述片头(21)中的所述长度指示符(23)之后直至基于所述长度指示符(23)识别的所述扩展字段(24)的结尾的所述扩展字段(24)的任意值。

22.根据权利要求18或19所述的解码器，其中所述解析单元(41)被配置为解析基于参数集标识符(26)识别的参数集中存在的所述长度指示符(23)，所述参数集标识符(26)能够基于所述片头(21)获得。

23.根据权利要求18至22中任一项所述的解码器，其中

所述解析单元(41)被配置为解析与所述编码表示(20)相关联的片头扩展存在标志；以及

所述解析单元(41)被配置为解析所述长度指示符(23)，以及如果所述片头扩展存在标志具有预定义值，则所述处理单元(42)被配置为使所述解码器(40)忽略所述任意值。

24.根据权利要求23所述的解码器，还包括：

集识别单元(45)，被配置为基于能够基于所述片头(21)获得的参数集标识符(26)来识别与所述编码表示(20)相关联的参数集，其中所述解析单元(41)被配置为解析所述参数集中存在的所述片头扩展存在标志。

25.根据权利要求18至24中任一项所述的解码器，还包括：

识别单元(44)，被配置为基于所述扩展字段(24)的结尾来识别所述片数据(25)的起始，所述扩展字段(24)的结尾基于长度指示符(23)识别；以及

解码单元(46)，被配置为从所述片数据(25)的所述起始开始对所述片数据(25)进行解析和解码。

26.根据权利要求25所述的解码器，其中所述解码单元(46)被配置为通过忽略所述片头(21)中的所述扩展字段(24)的所述任意值来解析和解码所述片数据。

27.一种接收机(30)，包括用于解码图片(2)的片(3)的编码表示(20)的解码器(32、40)，所述编码表示(20)包括片头(21)和片数据(25)，所述解码器(32、40)包括：

解析单元(41)，被配置为解析与所述编码表示(20)相关联并且指示所述片头(21)中的扩展字段(24)的长度的长度指示符(23)；以及

处理单元(42)，被配置为使所述解码器(32、40)在所述编码表示(20)的解码期间忽略基于所述长度指示符(23)识别的所述扩展字段(24)的任意值。

28.一种用于解码图片(2)的片(3)的编码表示(20)的解码器(90、50)，所述编码表示(20)包括片头(21)和片数据(25)，所述解码器(90)包括：

解析单元(91)，被配置为解析与所述编码表示(20)相关联并且指示所述片头(21)中的扩展字段(24)的长度的长度指示符(23)；

扩展字段识别单元(92)，被配置为基于所述长度指示符(23)来识别所述片头(21)中的所述扩展字段(24)；以及

解码单元(93)，被配置为基于由所述扩展字段识别单元(92)识别的所述扩展字段(24)的至少一个值来解码所述片(3)的所述编码表示(20)。

29.一种接收机(30)，包括用于解码图片(2)的片(3)的编码表示(20)的解码器(32、90)，所述编码表示(20)包括片头(21)和片数据(25)，所述解码器(32、90)包括：

扩展字段识别单元(92)，被配置为基于所述长度指示符(23)识别所述片头(21)中的所述扩展字段(24)；以及

解码单元(93)，被配置为基于通过所述扩展字段识别单元(92)识别的所述扩展字段(24)的至少一个值来解码所述片(3)的所述编码表示(20)。

30.一种用于编码图片(2)的片(3)的编码器(70)，所述编码器(70)包括：

生成单元(71)，被配置为生成指示所述片(3)的片头(21)中存在的扩展字段(24)的长度的长度指示符(23)；

编码单元(72)，被配置为将所述片(3)编码为包括所述片头(21)和片数据(25)在内的所述片(3)的编码表示(20)；以及

关联单元(73)，被配置为将所述长度指示符(23)与所述编码表示(20)相关联。

31.根据权利要求30所述的编码器，还包括：

确定单元(74)，被配置为确定所述片头(21)中存在的所述扩展字段(24)的长度，其中所述生成单元(71)被配置为基于所述扩展字段(24)的所述长度来生成所述长度指示符(23)。

32.根据权利要求30或31所述的编码器，其中所述关联单元(23)被配置为将所述长度指示符(23)插入所述片头(21)中。

33.根据权利要求32所述的编码器，其中所述关联单元(73)被配置为在所述片(21)中在所述扩展字段(24)之前直接插入所述长度指示符(23)。

34.根据权利要求30或31所述的编码器，其中所述关联单元(73)被配置为将所述长度指示符(23)插入参数集中，并将识别所述参数集的参数集标识符(26)与所述编码表示(20)相关联。

35.根据权利要求30至34中任一项所述的编码器，还包括：

设置单元(75)，被配置为将片头扩展存在标志设置为预定义值，以指示所述片头(21)中所述扩展字段(24)的存在，其中所述关联单元(73)被配置为将所述片头扩展存在标志与所述编码表示(20)相关联。

36.根据权利要求35所述的编码器，其中所述关联单元(73)被配置为将所述片头扩展存在标志插入参数集中，并将识别所述参数集的参数集标识符与所述编码表示(20)相关联。

37.一种发射机(60)，包括用于编码图片(2)的片(3)的编码器(62、70)，所述编码器(62、70)包括：

生成单元(71)，被配置为生成指示所述片的片头(21)中存在扩展字段(24)的长度的长度指示符(23)；

38.一种用于解码图片(2)的片(3)的编码表示(20)的计算机程序(130)，所述编码表示(20)包括片头(21)和片数据(25)，所述计算机程序(130)包括在通过处理器(110)运行时使所述处理器(110)执行以下操作的代码装置：

解析与所述编码表示(20)相关联并且指示与所述片头(21)中的扩展字段(24)的长度的长度指示符(23)；以及

确定在所述编码表示(20)的解码期间忽略基于所述长度指示符(23)识别的所述扩展字段(24)的任意值。

39.一种用于解码图片(2)的片(3)的编码表示(20)的计算机程序(130)，所述编码表示(20)包括片头(21)和片数据(25)，所述计算机程序(130)包括在通过处理器(110)运行时使所述处理器(110)执行以下操作的代码装置：

解析与所述编码表示(20)相关联并且指示所述片头(21)中的所述扩展字段(24)的长度的长度指示符(23)；

基于所述长度指示符(23)来识别所述片头(21)中的所述扩展字段(24)；以及

根据基于所述长度指示符(23)识别的所述扩展字段(24)的至少一个值来解码所述片(3)的所述编码表示(20)。

40.一种用于编码图片(2)的片(3)的计算机程序(130)，所述计算机程序(130)包括在由处理器(110)运行时使所述处理器(110)执行以下操作的代码装置：

生成指示所述片(3)的片头(21)中存在扩展字段(24)的长度的长度指示符(23)；

将所述片(3)编码为包括所述片头(21)和片数据(25)在内的所述片(3)的编码表示(20)；以及

将所述长度指示符(23)与所述编码表示(20)相关联。

41.一种计算机程序产品，包括计算机可读介质(120)以及存储于所述计算机可读介质(120)上的根据权利要求38至40中任一项所述的计算机程序(130)。