CN107251559B - 一种处理视频数据的方法及装置 - Google Patents

Abstract

第一描述符描述操作点。第二描述符为阶层描述符或阶层扩展描述符。所述第二描述符具有等于第二语法元素的值的阶层分层索引值。所述第一描述符中的第一语法元素的第一值指定：当由所述第一描述符中的第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至所述列表中；且当由所述第二描述符中的索引指示的基本流不存在于所述列表中时，应将所述基本流添加至所述列表。响应于确定所述第一语法元素具有不同于所述第一值的第二值，当由所述第二语法元素指示的所述基本流不存在于所述列表中时，将所述基本流而非将由所述第二描述符中的所述索引指示的所述基本流添加至所述列表中。

Description

一种处理视频数据的方法及装置

本申请案请求2015年2月11日申请的美国临时专利申请案第62/115,089号的权利，所述临时专利申请案的全部内容以引用的方式并入。

技术领域

本发明涉及视频译码，且更特定而言涉及经译码视频数据的传输。

背景技术

数字视频能力可并入至广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏平台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，诸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频译码技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块(其也可被称作树型块)、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块根据帧内译码模式及残余数据来编码。为进行进一步压缩，可将残余数据从像素域变换至变换域，从而产生可接着进行量化的残余变换系数。可扫描最初配置于二维阵列中的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成更进一步压缩。

发明内容

一般而言，本发明描述可改进用于运输的MPEG-2(动画专家组)传输流(TS)中的HEVC操作点描述符的设计的技术。经译码视频数据的传输也可被称作经译码视频数据的运输。本发明的技术可用于传输视频译码标准的扩展(例如，高效率视频译码(HEVC) 标准的扩展)的经译码视频数据。这些扩展可包含多视图扩展(例如，MV-HEVC)、可调式扩展(例如，SHVC)及三维扩展(例如，3D-HEVC)。然而，应理解，本发明的技术可与其它传输流及/或其它视频压缩技术一起使用。

在一个方面中，本发明描述一种处理视频数据的方法，所述方法包括：接收包含第一描述符、第二描述符及多个基本流的传输流，第一描述符为视频数据的操作点的描述符，第二描述符为阶层描述符或阶层扩展描述符中的一者；解码第一描述符中的第一语法元素及第二语法元素，其中：基本流列表是传输流中为操作点的部分的基本流的列表，第二描述符具有等于第二语法元素的值的阶层分层索引值，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，由第二语法元素指示的基本流为多个基本流中的一者，且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，由第二描述符中的嵌入层索引指示的基本流为多个基本流中的一者，且响应于确定第一语法元素具有不同于第一值的第二值，当由第二语法元素指示的基本流不存在于基本流列表中时，将所述基本流添加至基本流列表中，但不将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。

在另一方面中，本发明描述一种处理视频数据的方法，所述方法包括：产生第一描述符，所述第一描述符为视频数据的操作点的描述符；产生第二描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；其中产生第一描述符包括：将第一语法元素及第二语法元素包含于第一描述符中，其中：基本流列表是为操作点的部分的基本流的列表，第二描述符具有等于第二语法元素的值的阶层分层索引值，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，且第一语法元素的第二值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中；及将第一描述符及第二描述符包含于传输流中。

在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：输入接口，其经配置以接收包含传输流的信息，所述传输流包含第一描述符、第二描述符及多个基本流，所述第一描述符为视频数据的操作点的描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；及一或多个处理器，所述一或多个处理器经配置以：解码第一描述符中的第一语法元素及第二语法元素，其中：基本流列表是传输流中为操作点的部分的基本流的列表，第二描述符具有等于第二语法元素的值的阶层分层索引值，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，由第二语法元素指示的基本流为多个基本流中的一者，且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，由第二描述符中的嵌入层索引指示的基本流为多个基本流中的一者，且响应于确定第一语法元素具有不同于第一值的第二值，当由第二语法元素指示的基本流不存在于基本流列表中时，将所述基本流添加至基本流列表中，但不将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。

在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：一或多个处理器，其经配置以：产生第一描述符，所述第一描述符为视频数据的操作点的描述符；产生第二描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；其中所述一或多个处理器经配置作为产生第一描述符的部分，使得所述一或多个处理器进行以下操作：将第一语法元素及第二语法元素包含于第一描述符中，其中：基本流列表是为操作点的部分的基本流的列表，第二描述符具有等于第二语法元素的值的阶层分层索引值，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，且第一语法元素的第二值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中；及将第一描述符及第二描述符包含于传输流中；及输出接口，其经配置以输出视频数据的经编码版本。

在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：用于接收包含第一描述符、第二描述符及多个基本流的传输流的装置，所述第一描述符为视频数据的操作点的描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；用于解码第一描述符中的第一语法元素及第二语法元素的装置，其中，基本流列表是传输流中为操作点的部分的基本流的列表，第二描述符具有等于第二语法元素的值的阶层分层索引值，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，由第二语法元素指示的基本流为多个基本流中的一者，且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，由第二描述符中的嵌入层索引指示的基本流为多个基本流中的一者；及用于响应于确定第一语法元素具有不同于第一值的第二值，当由第二语法元素指示的基本流不存在于基本流列表中时，将所述基本流添加至基本流列表中，但不将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中的装置。

在另一方面中，本发明描述一种用于处理视频数据的装置，所述装置包括：用于产生第一描述符的装置，所述第一描述符为视频数据的操作点的描述符；用于产生第二描述符的装置，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；其中用于产生第一描述符的装置包括：用于将第一语法元素及第二语法元素包含于第一描述符中的装置，其中：基本流列表是为操作点的部分的基本流的列表，第二描述符具有等于第二语法元素的值的阶层分层索引值，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，且第一语法元素的第二值指定当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中；及用于将第一描述符及第二描述符包含于传输流中的装置。

在再一方面中，本发明描述一种包括存储于其上的指令的计算机可读数据存储媒体，所述指令在经执行时使得用于处理视频数据的装置执行以上段落及本发明中描述的方法。

在以下随附图式及描述中阐述一或多个实例的细节。其它特征、目标及优势将从所述描述及图式以及权利要求书显而易见。

附图说明

图1是绘示可利用用于传输根据视频译码标准的扩展而译码的视频数据的技术的实例视频编码及解码系统的框图。

图2是绘示可实施用于传输根据视频译码标准的扩展而译码的视频数据的技术的视频编码器的实例的框图。

图3是绘示可实施用于传输根据视频译码标准的扩展而译码的视频数据的技术的视频解码器的实例的框图。

图4是绘示根据本发明的技术的产生传输流的装置的实例操作的流程图。

图5是绘示根据本发明的技术的接收传输流的装置的实例操作的流程图。

图6是绘示根据本发明的实例技术的用于产生传输流的装置的实例操作的流程图。

图7是绘示根据本发明的实例技术的装置接收传输流的实例操作的流程图。

具体实施方式

一般而言，本发明描述关于用于媒体数据的动画专家组(MPEG)-2系统层级数据的技术。MPEG-2系统规范通常描述两个或两个以上数据流一起经多路复用以形成单一数据流的方式。本发明描述关于用于多层视频数据的MPEG-2系统数据的技术。举例来说，本发明描述潜在可改进MPEG-2传输流(TS)中用于HEVC扩展的运输的高效率视频译码 (HEVC)操作点描述符的设计的改变。然而，本发明的技术未必限于MPEG-2TS或 HEVC。

仅为易于描述，本发明的技术通常针对根据视频译码标准的扩展(例如，HEVC的扩展，也称为ITU-T H.265)而译码的视频数据的运输(例如，传输)来加以描述。这些扩展可包含多视图、三维及/或可调式扩展。因此，本发明的技术可应用于多视图HEVC (MV-HEVC)、三维HEVC(3D-HEVC)及可调式HEVC(SHVC)。

多层视频数据(例如，多视图视频数据及/或具有多个可调式层的视频数据)可包含经指定的操作点。一般而言，操作点描述多层视频数据的完整层集合中的层子集(例如，视图)。操作点也可识别目标输出层，即，待输出数据的层。在一些情况下，层的数据可包含于仅用作参考层的操作点中，且因此，所述层将不被视为目标输出层。参考层可为用于由另一层参考以供编码及解码的层。

通常通过指定基本流的参考在HEVC操作点描述符中传信HEVC操作点，如下文更详细地描述。然而，HEVC操作点描述符的一些设计允许目标操作点的基本流列表包含层或基本流两次。而且，在一些情况下，并非需要解码的所有层都在HEVC操作点描述符的一些设计中得以传信，因为这些层的信息可在其它处获得。在一些实例中，由于并未传信特定层，因此与所述层相关联的某些语法元素可能不能用于视频解码器。

本发明中描述的技术可解决上文所描述的问题中的一或多者。然而，所述技术不必解决上文所描述的所述问题。举例来说，本发明描述可确保基本流/层不被多次包含于操作点的基本流列表中的实例。本发明还描述将包含与一层相关联的语法元素的信息包含在视频解码器接收的位流中的实例，即使所述层并未经明确传信为在操作点的基本流列表中也是如此。

图1是绘示可利用用于传输根据视频译码标准的扩展而译码的视频数据的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含提供稍后待由目的地装置14解码的经编码视频数据的源装置12。详言之，源装置12通过计算机可读媒体 16将视频数据提供至目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌面计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(诸如所谓的“智能型”电话)、平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些实例中，源装置 12及目的地装置14可经装备以用于无线通信。因此，在一些实例中，源装置12及目的地装置14为无线通信装置。

在图1的实例中，源装置12包含视频源18、视频编码器20、多路复用器21及输出接口22。在一些实例中，输出接口22包含调制器/解调器(调制解调器)及/或传输器。视频源18可包含源，诸如视频捕获装置(例如，摄影机)、含有先前所捕获视频的视频档案库、自视频内容提供商接收视频的视频馈入接口，及/或用于产生计算机图形数据作为源视频的计算机图形系统或这些源的组合。然而，本发明中所描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。

视频编码器20可编码经捕获、预捕获或计算机产生的视频数据。源装置12可通过源装置12的输出接口22将经编码视频数据直接发射至目的地装置14。经编码视频数据也可(或替代地)存储至存储装置上以供目的地装置14或其它装置稍后存取，以用于解码及/或播放。接着可通过输出接口22将经编码视频信息输出至计算机可读媒体16上。

目的地装置14包含输入接口28、多路分用器29、视频解码器30及显示装置32。在一些实例中，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口 28通过链路16接收经编码视频数据。通过链路16传达或在存储装置33上提供的经编码视频数据可包含由视频编码器20产生以供视频解码器(诸如，视频解码器30)用于解码视频数据的各种语法元素。这些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包括在一起。

目的地装置14可通过计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接发射至目的地装置14的通信媒体。可根据通信标准(诸如，无线通信协议)调制经编码视频数据，且将其发射至目的地装置14。通信媒体可包括任何无线或有线通信媒体，诸如，射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于数据包的网络(诸如，局域网络、广域网或诸如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可适用于促进从源装置12至目的地装置14的通信的任何其它设备。

在一些实例中，可将经编码数据从输出接口22输出至存储装置。举例来说，源装置12可包含经配置以存储经编码视频数据的存储装置。在一些实例中，可通过输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，诸如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可通过流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射至目的地装置 14的任何类型服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器，或经配置以提供文件的其它服务器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。这可包含适用于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL调制解调器、电缆调制解调器)或两者的组合。经编码视频数据从存储装置的发射可为流式发射、下载发射或其组合。

计算机可读媒体16可包含暂时性媒体，诸如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，诸如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，且(例如)通过网络发射将经编码视频数据提供至目的地装置14。类似地，媒体生产设施(诸如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。

本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，诸如空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(诸如，通过HTTP的动态自适应流式传输(DASH))、经编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，从而支持诸如视频流式传输、视频播放、视频广播及/或视频电话的应用。

在图1的实例中，根据本发明，源装置12的多路复用器21可经配置以将所述技术应用于传输根据视频译码标准的扩展而译码的视频数据，而多路分用器29可接收所述数据以供处理且可将经处理的视频数据转递至另一装置或组件(例如，视频解码器30)。在其它实例中，源装置及目的地装置可包含其它组件或配置。举例来说，源装置12可从外部视频源18(诸如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。

图1的所绘示系统10仅为一个实例。可通过任何数字视频编码及/或解码装置执行用于传输根据视频译码标准的扩展而译码的视频数据的技术。尽管本发明的技术一般由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称为“编解码器”)执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供发射至目的地装置14的这类译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，以用于(例如)视频流式传输、视频播放、视频广播或视频电话。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也供视频解码器30使用，其包含描述块及其它经译码单元的特性及/或处理的语法元素。

显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且也可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20、多路复用器21、多路分用器29及视频解码器30可各自实施为多种合适编码器或解码器电路中的任一者，诸如，一或多个微处理器、数字信号处理器 (DSP)、特定应用集成电路(ASIC)、场可程序化门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且使用一或多个处理器执行硬件中的所述指令，以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。

本发明通常可指代视频编码器20将某些信息“传信”或“发射”至另一装置，诸如，视频解码器30。术语“传信”或“发射”通常可指代用于解码经压缩视频数据的语法元素及/或其它数据的通信。所述通信可实时地或近实时地发生。替代地，所述通信可历时时间跨度而发生，诸如所述通信可在编码时以经编码位流将语法元素存储至计算机可读存储媒体，接着可在所述语法元素存储至所述媒体之后由解码装置在任何时间检索时发生。因此，虽然视频解码器30可被称为“接收”某些信息，但信息的接收未必实时或近实时地发生且可在存储后的某一时间处从媒体检索信息。

此外，尽管未在图1中明确绘示，本发明中所描述的实例技术中的一些可通过诸如具有媒体知识的网络元件(MANE)的某些外部装置来实施。MANE可从视频编码器20接收视频数据且传信视频解码器30接收的位流。在一些实例中，MANE可接收并处理传输流。因此，当本发明描述传信时，所述传信有时可通过视频编码器20或通过某些外部装置(诸如，MANE)执行。

视频编码器20及视频解码器30可根据视频译码标准操作。举例来说，视频编码器20及视频解码器30可根据其它专有或行业标准(诸如，ITU-T H.264标准，替代地被称作MPEG-4第10部分先进视频译码(AVC))或这些标准的扩展来操作。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。 ITU-TH.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)与ISO/IEC动画专家组(MPEG)一起制定作为被称为联合视频小组(JVT)的集体合作伙伴的产品。在一些方面中，本发明中所描述的技术可适用于大体符合H.264标准的装置。H.264标准描述于 ITU-T研究小组的且所注日期为2005年3月的ITU-T推荐H.264(用于一般视听服务的先进视频译码)中，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)持续致力于H.264/MPEG-4AVC的扩展。更大体而言，视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。

在另一实例中，视频编码器20及视频解码器30可使用另一视频译码标准(诸如，高效率视频译码(HEVC)标准，也称为H.265视频译码标准)来编码及解码视频数据。HEVC 已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)完成。最新HEVC草案规范在下文中被称为HEVC WD。

另外，JCT-3V还正在开发HEVC的多视图扩展，即MV-HEVC。JCT-VC还正在开发HEVC的可调式扩展，即SHVC。包含HEVC的规范、HEVC范围扩展、SHVC及 MV-HEVC的最新文件可自http://phenix.int-evry.fr/jct/doc_end_user/documents/ 18_Sapporo/wg11/JCTVC-R1013-v6.zip获得。

在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称为“帧”。为产生图片的经编码表示，视频编码器20可产生一组译码树型单元(CTU)。CTU 中的每一者可为明度样本的译码树型块、色度样本的两个对应译码树型块及用于对译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU也可被称为“树型块”或“最大译码单元”(LCU)。

为产生经译码CTU，视频编码器20可将CTU的译码树型块划分成译码块，因此命名为“译码树型单元”。CU可为图片的明度样本的译码块及色度样本的两个对应译码块，所述图片具有明度样本阵列、Cb样本阵列及Cr样本阵列，以及用以对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、色度样本的两个对应预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度块、Cb块及Cr块。视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。

在视频编码器20产生CU的一或多个PU的预测性块之后，视频编码器20可产生 CU的残余块。CU的残余块中的每一样本可指示CU的PU的预测性块中的样本与CU 的译码块中的对应样本之间的差。此外，视频编码器20可将CU的残余块分解为一或多个变换块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。视频编码器20可将一或多个变换应用至变换块以产生TU的系数块。在产生系数块之后，视频编码器20可量化所述系数块。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。位流也可包含未经熵编码的语法元素。

位流可包含形成经译码图片及相关联数据的表示的位的序列。位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一者包含NAL单元标头，且封装原始字节序列有效负载(RBSP)。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。

不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装图片参数集(PPS)的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的NAL单元可封装补充增强信息(SEI)的RBSP，等等。封装视频译码数据的RBSP (与参数集及SEI消息的RBSP相反)的NAL单元可被称为视频译码层(VCL)NAL单元。

视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可从位流获得语法元素。举例来说，视频解码器30可解析位流以解码来自位流的语法元素。视频解码器30可至少部分地基于从位流获得(例如，解码)的语法元素来重建视频数据的图片。重建视频数据的程序可通常与由视频编码器20执行的程序互逆。视频解码器30 可通过将当前CU的PU的预测性样本块的样本添加至当前CU的TU的变换块的对应样本来重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。

在多视图译码中，可存在来自不同视点的同一场景的多个视图。在多视图译码之上下文中，术语“存取单元”可用以指代对应于同一时间例项的图片的集合。因此，视频数据可经概念化为随时间出现的一系列存取单元。“视图分量”可为单个存取单元中的视图的经译码表示。在本发明中，“视图”可指代与相同视图识别符相关联的视图分量序列。在一些实例中，视图分量可为纹理视图分量(即，纹理图片)或深度视图分量(即，深度图片)。

在MV-HEVC及SHVC中，视频编码器可产生包括一系列NAL单元的位流。位流的不同NAL单元可与位流的不同层相关联。可将层定义为具有相同层识别符的VCL NAL单元及相关联非VCL NAL单元的集合。层可等效于多视图视频译码中的视图。在多视图视频译码中，层可含有具有不同时间例项的相同层的所有视图分量。每一视图分量可为在特定时间例项属于特定视图的视频场景的经译码图片。在多视图或3维视频译码的一些实例中，层可含有特定视图的所有经译码深度图片或特定视图的经译码纹理图片。在3D视频译码的其它实例中，层可含有特定视图的纹理视图分量及深度视图分量两者。类似地，在可调式视频译码之上下文中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。这些视频特性通常包含空间分辨率及质量等级(例如，信噪比)。在HEVC及其扩展中，可通过将具有特定时间级别的图片群组定义为一子层而在一个层内获得时间可调性。

对于位流的每一相应层，可在不参考任何较高层中的数据的情况下解码较低层中的数据。举例来说，在可调式视频译码中，可在不参考增强层中的数据的情况下解码基本层中的数据。一般而言，NAL单元可仅封装单一层的数据。因此，可从位流去除封装位流的最高剩余层的数据的NAL单元，而不影响位流的剩余层中的数据的可解码性。在多视图译码中，较高层可包含额外视图分量。在SHVC中，较高层可包含信噪比(SNR) 增强数据、空间增强数据及/或时间增强数据。在MV-HEVC及SHVC中，若视频解码器可在不参考任何其它层的数据的情况下解码层中的图片，则所述层可被称为“基本层”。基本层可符合HEVC基本规范(例如，Rec.ITU-T H.265|ISO/IEC 23008-2)。

在可调式视频译码中，不同于基本层的层可被称为“增强层”，且可提供增强从位流解码的视频数据的视觉质量的信息。可调式视频译码可增强空间分辨率、信噪比(即，质量)或时间速率。在可调式视频译码(例如，SHVC)中，“层表示”可为单个存取单元中的空间层的经译码表示。为易于解释，本发明可将视图分量及/或层表示称作“视图分量/层表示”或简单地称作“图片”。

多视图译码支持视图间预测。视图间预测类似于HEVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前视频单元(诸如，PU)执行视图间预测时，视频编码器20可将与当前视频单元处于同一存取单元中但处于不同视图中的图片用作参考图片。相反，习知帧间预测仅将不同存取单元中的图片用作参考图片。

在多视图译码中，若视频解码器(例如，视频解码器30)可在不参考任何其它视图中的图片的情况下解码视图中的图片，则所述视图可被称为“基本视图”。当对非基本视图中的一者中的图片进行译码时，视频译码器(诸如视频编码器20或视频解码器30)可在图片与视频译码器当前正译码的图片处于不同视图中但在同一时间例项(即，存取单元)内时将图片添加至参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何位置处插入视图间预测参考图片。

举例来说，NAL单元可包含标头(即，NAL单元标头)及有效负载(例如，RBSP)。 NAL单元标头可包含nuh_reserved_zero_6bits语法元素，所述语法元素也可被称为 nuh_layer_id语法元素。具有指定不同值的nuh_layer_id语法元素的NAL单元属于位流的不同“层”。因此，在多视图译码、MV-HEVC、SVC或SHVC中，NAL单元的 nuh_layer_id语法元素指定NAL单元的层识别符(即，层ID)。若NAL单元涉及多视图译码、MV-HEVC或SHVC中的基本层，则NAL单元的nuh_layer_id语法元素等于0。可在不参考位流的任何其它层中的数据的情况下解码位流的基本层中的数据。若NAL 单元不涉及多视图译码、MV-HEVC或SHVC中的基本层，则nuh_layer_id语法元素可具有非零值。在多视图译码中，位流的不同层可对应于不同视图。在SVC或SHVC中，不同于基本层的层可被称为“增强层”，且可提供增强从位流解码的视频数据的视觉质量的信息。

此外，可在不参考同一层内的其它图片的情况下解码层内的一些图片。因此，可从位流去除封装层的某些图片的数据的NAL单元，而不影响所述层中的其它图片的可解码性。去除封装这些图片的数据的NAL单元可降低位流的帧速率。可在不参考层内的其它图片的情况下解码的层内的图片的子集可在本文中被称作“子层”或“时间子层”。因此，一种可调式尺寸为时间尺寸。

举例来说，在时间可调性中，视频数据的集合可支持多种帧速率或播放速率，例如， 15每秒帧数(FPS)、30FPS、60FPS及120FPS。给定的时间级别可包含在所述级别及更低级别处的所有图片。举例来说，继续先前实例，时间级别0可对应于15FPS，时间级别1可包含时间级别0的图片以及在时间级别1处的图片以支持30FPS，时间级别2可包含时间级别0及1的图片以及在时间级别2处的图片以支持60FPS，等等。

时间识别符或TemporalID可经传信为表示特定图片所属的时间级别。举例来说，NAL单元可包含temporal_id语法元素。NAL单元的temporal_id语法元素指定NAL单元的时间识别符。NAL单元的时间识别符识别与NAL单元相关联的时间子层。因此，位流的每一时间子层可与不同时间识别符相关联。若第一NAL单元的时间识别符小于第二NAL单元的时间识别符，则可在不参考由第二NAL单元封装的数据的情况下解码由第一NAL单元封装的数据。

位流可与多个操作点相关联。在一些实例中，位流的每一操作点可与一组层识别符 (即，一组nuh_reserved_zero_6bits值或nuh_layer_id值)及时间识别符相关联。可将所述一组层识别符表示为OpLayerIdSet，且可将时间识别符表示为TemporalID。若NAL单元的层识别符在操作点的层识别符集合中且NAL单元的时间识别符小于或等于操作点的时间识别符，则NAL单元与操作点相关联。因此，操作点可为通过子位流检索程序的操作而从另一位流产生的位流，其中所述其它位流、目标最高TemporalId及目标层识别符列表作为子位流检索程序的输入。操作点可包含与操作点相关联的每一NAL单元。在一些实例中，操作点不包含与操作点不相关联的VCL NAL单元。

如上文所指出，操作点描述多层视频数据的完整层集合中的层子集(例如，视图)。操作点也可识别目标输出层，即，将针对其输出数据(例如，经解码图片)的层。在一些情况下，层的数据可包含于仅适用作参考层(例如，仅用于将显示的层或视图的层间或视图间预测，其中并未显示参考层或视图)的操作点中，且因此，不将所述层视为目标输出层。

HEVC及其它视频译码标准指定配置文件、层次和层级。配置文件、层次和层级指定对位流的限制且因此指定对解码位流所需的能力的限制。配置文件、层次及层级也可用以指示个别解码器实施方案之间的互操作性点。每一配置文件指定视频译码标准中存在的算法特征及工具的子集。因此，“配置文件”是由可适用的视频译码标准指定的整个位流语法的子集。不需要视频编码器利用配置文件中支持的所有特征。层次的每一层级可指定对语法元素及变量可具有的值的限制的集合。因此，“层级”对应于对解码器资源消耗(诸如，解码器存储器及计算)的限制，其涉及图片分辨率、位速率及块处理速率。尽管层次及层级定义的同一集合可与所有配置文件一起使用，但个别实施方案可支持不同层次，且在一层次内，一不同层级用于每一所支援的配置文件。对于任何给定配置文件，层次的层级可大体上对应于特定解码器处理负载及存储器能力。视频解码器的能力可依据对符合特定配置文件、层次及层级的约束的视频流式传输进行解码的能力加以指定。对于每一所述配置文件，也可表达针对所述配置文件所支持的层次及层级。一些视频解码器可能不能够解码特定配置文件、层次或层级。

本发明描述可改进用于运输HEVC扩展位流的MPEG-2传输流(TS)中的HEVC操作点描述符的技术。举例来说，根据本发明的技术，多路复用器21及/或多路分用器29 可经配置以传输视频数据(即，发送或接收视频数据)，所述视频数据根据视频译码标准 (诸如，HEVC)、视频译码标准的扩展(例如，HEVC标准的扩展，诸如SHVC或MV-HEVC) 或其它尚未开发的视频译码标准来译码。一般而言，多路复用器21可(例如，实质上根据MPEG-2系统及本发明的技术)封装经编码视频数据以形成数据流，而多路分用器29 可接收及解封经封装数据(例如，根据视频译码标准的扩展编码的视频数据)。

MPEG-2TS的最新规范为2012年6月版本的ITU-T推荐H.222.0，其中提供对AVC 及AVC扩展的支持。用于HEVC的MPEG-2TS的修正也已完善。最新文件(“Text of ISO/IEC13818-1:2013/Final Draft Amendment 3-Transport of HEVC video over MPEG-2Systems”)可从2013年7月的MPEG文件w13656中获得。近来，用于运输分层式HEVC 的MPEG-2TS(被称为用于L-HEVC的MPEG-2TS)的修正已经启动。最新文件为“Text of ISO/IEC13818-1:2013/DAM 3-Carriage of Layered HEVC”，以下称作“DAM3”。术语“分层式HEVC”指代使用多个层的HEVC标准的扩展，诸如，SHVC、MV-HEVC 及3D-HEVC。

MPEG-2系统规范描述经压缩多媒体(视频及音频)数据流可与其它数据一起经多路复用以形成适合于数字发射或存储的单一数据流的方式。MPEG-2系统规范描述基本流，所述基本流为节目(program，有时也拼写为“programme”)的单一、以数字方式译码的 (可能经MPEG压缩的)分量。举例来说，节目的经译码视频或音频部分可为基本流。基本流首先经转化成经分组的基本流(PES)，之后经多路复用为节目流或传输流。在同一节目内，stream_id语法元素用于区分属于一个基本流与另一基本流的PES数据包。每一PES数据包可含有一或多个NAL单元，或NAL单元可被划分在多个PES数据包中。

在MPEG-2系统规范中，节目流及传输流是以不同应用为目标的两种替代性多路复用。节目流经偏压以用于存储及显示来自数字存储器服务的单一节目，且由于节目流可能易受错误影响，因此其预期在无错误环境中使用。

节目流包含属于其的基本流且通常含有具有可变长度数据包的数据包。在节目流中，从起作用的基本流导出的PES数据包经组织成‘包’。一个包包含包标头、可选系统标头及按任何次序从起作用的基本流中的任一者截取的任何数目的PES数据包。系统标头含有节目流的特性的概述，诸如：其最大数据速率；起作用的视频及音频基本流的数目；及其它时序信息。视频解码器30可使用系统标头中含有的信息以确定视频解码器30是否能够解码节目流。

传输流意欲用于在潜在易错频道上的多个节目的同步递送。传输流为经设计用于诸如广播的多节目应用的多路复用，以使得单一传输流可容纳多个独立节目。传输流包含一连串传输数据包，且所述传输数据包中的每一者的长度为188字节。使用较短、固定长度的数据包意味着传输流不如节目流那样容易出错。此外，通过经标准错误保护程序 (诸如Reed-Solomon编码)处理传输数据包而容易地给予每一188字节长的传输数据包额外错误保护。传输流的经改进容错性意味其具有继续使用(例如)在广播环境中发现的易错频道的更佳机会。可能看起来传输流明显地为其容错性提高且能够运输多个同步节目的两个多路复用中的较佳者。然而，传输流为比节目流更复杂的多路复用，且因而更难建立及多路分用。

传输数据包的第一字节在一些情况下为0×47的同步字节。单一传输流可运输许多不同节目，所述节目中的每一者包括多个经分组基本流。数据包识别符(PID)字段用于区分含有一个基本流的数据的传输数据包与运输其它基本流的数据的所述数据包。在一些情况下，PID为13位。确保每一基本流被授予唯一的PID值可能是多路复用器21的责任。

尽管基于PID值，传输数据包属于哪一个基本流是明显的，但视频解码器30可能需要知道哪些基本流属于哪一节目。因此，传输流包括节目特定信息(PSI)以明确指定节目与分量基本流之间的关系。换言之，传输流可包含含有PSI的传输数据包。

PSI可包含节目关联表(PAT)。节目关联表包含传输流中可用的所有节目的完整列表。在一些实例中，PAT始终具有PID值0。列出每一节目以及含有节目的节目映射表的传输数据包的PID值。

此外，PSI可包含一或多个节目映射表(PMT)。传输流中运输的每一节目具有相关联的PMT。PAT可指定含有节目的PMT的传输数据包的PID值。节目的PMT给出关于节目及包括所述节目的基本流的细节。举例来说，具有节目数目3的节目的PMT可指定节目含有具有PID值33、57及60的传输数据包。在所述实例中，具有等于33的PID 值的传输数据包可包含含有经编码视频数据的基本流，具有等于57的PID值的传输数据包可包含英文音频数据，且具有等于60的PID值的传输数据包可包含中文音频数据。 PMT可包含关于一个以上节目的细节。

节目的基本PMT可包含在MPEG-2系统规范内指定的许多描述符中的一些。这些描述符传递关于节目或其分量基本流的其它信息。描述符可包含视频编码参数、音频编码参数、语言识别、遥摄与扫描信息(pan-and-scan information)、条件性存取细节、版权信息等等。若需要，广播员或其它用户可定义额外的专用描述符。

描述符与经编码视频数据分离。因此，诸如具有媒体知识的网络元件(MANE)或视频解码器的装置可能能够使用描述符以对传输流及节目流执行多种功能，而不需解码或以其它方式分析经编码视频数据。举例来说，如果使用HEVC编码视频数据，那么装置不需要经配置以解码经HEVC编码的视频数据以便使用描述符对传输流或节目流执行特定功能。举例来说，装置可能能够将描述符用作程序的部分以确定将特定节目元素转递至目的地装置抑或解码特定基本流。

具有视频相关分量基本流的节目的描述符可包含一或多个阶层描述符。阶层描述符经设计以传信不同基本流的子位流的阶层。阶层描述符提供识别含有以阶层方式译码的视频、音频及专用流的分量的节目元素的信息。专用流可包含元数据，诸如节目特定信息的流。一般而言，节目元素为包含于节目中的数据或基本流(即，节目的分量基本流) 中的一者。在MPEG-2传输流中，节目元素通常经分组。在MPEG-2节目流中，节目元素未经分组。

在一些情况下，节目的每一相应层的每一相应时间子层可对应于节目的不同节目分量(例如，基本流)。在其它情况下，节目的每一相应层对应于不同基本流。此外，在一些情况下，两个或两个以上基本流可对应于节目的同一层的不同时间子层，而单一基本流可对应于同一节目的另一层的所有时间子层。如上文所指示，描述符可包含阶层描述符。每一相应阶层描述符提供关于对应节目分量(即，基本流)的信息。举例来说，对应于特定基本流的阶层描述符可包含指定解码特定基本流的视频数据需要的另一基本流的语法元素。在一个实例中，对应于特定时间子层的基本流的阶层描述符可包含指定解码特定时间子层需要的嵌入时间子层的语法元素。

嵌入时间子层可为“嵌入的”，意为成功解码特定时间子层需要解码嵌入时间子层。此外，阶层描述符可包含指定对应于阶层描述符的时间子层是否提供关于嵌入时间子层的时间可调性(例如，提高帧速率)、是否提供关于嵌入时间子层的空间可调性(例如，提高图片分辨率)、是否提供关于嵌入时间子层的质量可调性(例如，增强信噪比质量或保真度)等的语法元素。

下表2-49指定如DAM3中所定义的阶层描述符的语法。

表2-49—阶层描述符

在表2-49中，hierarchy_layer_index为定义译码层阶层的表中相关联节目元素的唯一索引的6位字段。索引在单个节目定义内应为唯一的。对于符合Rec.ITU-T H.265|ISO/IEC 23008-2的附录F中定义的一或多个配置文件的HEVC视频流的视频子位流，其为节目元素索引，其以以下方式经指配：若同一HEVC存取单元的视频子位流的相关联相依层按hierarchy_layer_index的递增次序重组，则所述位流次序将为正确的。换言之，阶层描述符的hierarchy_layer_index识别对应于阶层描述符的节目元素(即，基本流)。

此外，在表2-49中，hierarchy_embedded_layer_index为定义在解码与所述hierarchy_descriptor相关联的基本流之前需要按解码次序存取及存在的节目元素的hierarchy_layer_index的6位字段。若hierarchy_type值为15，则 hierarchy_embedded_layer_index未经定义。换言之，阶层描述符的 hierarchy_embedded_layer_index识别对应于阶层描述符的基本流所取决于的基本流。

除一或多个阶层描述符外，在MPEG-2传输流或节目流中传信的描述符可包含一或多个阶层扩展描述符。MPEG-2传输流或节目流中的每一相应阶层扩展描述符可对应于相应基本流。每一阶层扩展描述符可提供关于对应基本流的额外信息。如上文所指示，基本流可对应于一或多个时间子层或可对应于作为整体的层。换言之，基本流可包含一或多个时间子层的经编码视频数据或可对应于作为整体的层。因此，阶层扩展描述符可对应于对应于一或多个时间子层的基本流或可对应于作为整体的层。

当存在阶层扩展描述符时，阶层扩展描述符用于指定对应于基本流的基本流的相依性。举例来说，对应于特定基本流的阶层扩展描述符可指示需要经解码以成功地解码对应于阶层扩展描述符的基本流的多个基本流。相反地，阶层描述符仅能够指示成功地解码对应于阶层描述符的基本流所需要的一个基本流。下表2-103deciens指示阶层扩展描述符的语法，如DAM3中指定的。

表2-103deciens—HEVC阶层扩展描述符

在表2-103deciens中，hierarchy_layer_index为定义译码层阶层的表中相关联节目元素的唯一索引的6位字段。索引在单一节目定义内应为唯一的。对于符合Rec.ITU-TH.265|ISO/IEC 23008-2的附录G或H中所定义的一或多个配置文件的HEVC视频流的视频子位流，此为节目元素索引，其以以下方式经指配：若同一存取单元的视频子位流的关联相依层按hierarchy_layer_index的递增次序重组，则所述位流次序将为正确的。因此，阶层扩展描述符的hierarchy_layer_index识别对应于阶层扩展描述符的基本流。

nuh_layer_id为指定与所述HEVC_hierarchy_extension_descriptor()相关联的基本流中的NAL单元的最高nuh_layer_id的6位字段。

temporal_id为指定与所述HEVC_hierarchy_extension_descriptor()相关联的基本流中的NAL单元的最高TemporalId的3位字段。

num_embedded_layers为指定在解码与所述HEVC_hierarchy_extension_descriptor() 相关联的基本流之前需要按解码次序存取及存在的直接相依节目元素的数目的6位字段。

hierarchy_ext_embedded_layer_index为定义在解码与所述 hierarchy_extension_descriptor相关联的基本流之前需要按解码次序存取及存在的节目元素的hierarchy_layer_index的6位字段。若hierarchy_type值为15，则所述字段未经定义。

除阶层描述符及阶层扩展描述符以外，传输流可包含HEVC操作点描述符。通过指定对应于操作点中的层的基本流的参考，在HEVC操作点描述符中传信HEVC操作点。如DAM3中所描述，HEVC操作点描述符提供指示一或多个HEVC操作点的配置文件及层级的方法。目的地装置14可使用包含于位流中的操作点描述符以选择所述操作点中的一者来加以解码，且最终向用户呈现(例如，显示)。目的地装置14可仅将所选择的操作点的视图发送至视频解码器30，而非在接收后即刻将所有视图或层的数据传递至视频解码器30。举例来说，目的地装置14可舍弃将不加以解码的视图的数据。另外或替代地，中间网络装置(例如，具有媒体知识的网络元件(MANE))可舍弃并不对应于所请求的操作点的视图或层的数据(例如，为了较佳利用带宽)。目的地装置14可基于位流的操作点中的一者所支持的最高质量及/或基于网络带宽的可用量来选择操作点。

下表2-103noniens指示如DAM3中所定义的HEVC操作点描述符的语法。

表2-103noniens—HEVC操作点描述符

针于HEVC操作点描述符(即，HEVC操作点描述符的语法结构)，DAM3中的设计中可能存在一些问题。以下段落描述DAM3中定义的HEVC操作点描述符的当前设计中的问题中的两个。

首先，如表2-103noniens中所展示，HEVC操作点描述符包含 prepend_dependencies[i][j]语法元素。然而，在DAM3中，缺少等于0的 prepend_dependencies[i][j]的语义。此外，在DAM3的设计中，基本流(例如，对应于层的基本流)可能包含在目标操作点的基本流列表中两次。一个以上内含物的问题可能发生在以下情境中的任一者中：

1.当通过传信层的ES_reference[i][j]值而将所述层明确传信为操作点的部分，且同时所述层也为具有等于1的prepend_dependencies[i][j]值的另一层的参考层时。

2.当层为同一操作点中皆具有等于1的prepend_dependencies[i][j]的两个不同层的参考层时。

DAM3的设计中针对HEVC操作点描述符的第二个问题可为，对于操作点而言，由于某些层(基本流)可取决于其它且所述信息存在于其它处(例如，在阶层描述符或阶层扩展描述符中)，因此并非需要由视频解码器30解码以用于HEVC操作点的所有层均需要经明确传信。当语法元素prepend_dependencies[i][j]的值等于1时，可导出第j层所取决于的其它层，且因此并未针对第i HEVC操作点明确传信所述层。然而，在HEVC操作点中，导出层并不存在于明确层的循环中(如由上表2-103noniens中的标记“<EMPHASIS>”及</EMPHASIS>”之间的文字所指示)。因此，尽管可通过阶层描述符及/或阶层扩展描述符识别导出层的基本流，但当前不存在知晓导出层的以下语法元素的值的方式：output_layer_flag[i][j]及ptl_ref_idx[i][j]。换言之，当对基本流及若干层的参考并未经明确传信而是经导出的操作点的层进行传信时(当语法元素 prepend_dependencies[i][j]的值为1时)，这些导出层遗失诸如层是否为输出层及所述导出层的配置文件、层次及层级的信息。

分层式HEVC中的输出操作点是基于输出层集合来加以定义的。然而，分层式HEVC中的符合性定义可能要求知晓层是否为输出层，且每一必要层(即，为输出层或者为由操作点内的输出层直接或间接指代的层，或为两者的层)应与根据MV-HEVC/SHVC规范的一组配置文件、层次及层级(PTL)信息相关联。因此，知晓层是否为目标输出层可为必要的。举例来说，知晓output_layer_flag[i][j]语法元素的值可为必要的。然而， output_layer_flag[i][j]语法元素也可能并未存在于导出层的位流中，这是由于封闭于上表 2-103noniens中的标记“<EMPHASIS>”及“</EMPHASIS>”中的循环可仅适用于经明确传信的层。

另外，通过设计，分层式HEVC要求配置文件、层次及层级信息针对每一必要层(即，为目标输出层抑或解码目标输出层所需要的层)而存在。DAM3的设计遗失用于导出层的所述信息。此外，对于非必要层(即，并非必要层的层)，并未根据译码规范传信PTL信息，且因此，由于不存在待传信的这些层的PTL信息，故在传输流运输设计中针对非必要层传信PTL将始终存在问题。

下文描述可解决上述问题的实例技术。然而，不应将下文描述的技术解决上述问题理解为必要条件。实例技术可通过视频编码器20、多路复用器21、多路分用器29、中间装置(例如，MANE)或另一装置应用为产生视频解码器30最终接收的位流的部分，或可通过视频解码器30或另一装置应用为解码用于产生待显示的图像的视频数据的部分。技术中的一些可独立地应用，且其中的一些可组合地应用。此外，尽管本发明描述HEVC 操作点描述符及以其它方式提及HEVC，但本发明的技术可适用于除HEVC以外的视频译码标准。

根据本发明的第一技术，针对HEVC操作点中的每一基本流(ES)/层传信旗标以指示 ES/层是否为必要层。在本发明中，对ES/层或层/ES的提及指代对应于层或层的时间子层的基本流。因此，识别基本流的数据可用于识别对应层，且反之亦然。举例来说，视频编码器20、多路复用器21或中间装置可在位流中针对操作点中的每一基本流或层输出(例如，传信)指示基本流或层是否为必要的旗标(例如，下文所描述的 necessary_layer_flag[i][k])。视频解码器30可接收所述旗标并利用所述旗标解码位流。换言之，视频解码器30可基于所接收的旗标解码操作点。

根据本发明的第二技术，更新prepend_dependencies[i][j]的语义以阐明将仅在ES尚未存在于列表中时才会请求将所述ES/层包含在操作点的基本流列表中。举例来说，添加等于0的prepend_dependencies[i][j]的语义，且阐明仅在层/基本流尚未存在于列表中时才会将所述层/基本流包含于目标操作点的基本流列表中。

因此，在一些实例中，诸如视频编码器20的装置产生第一描述符，诸如操作点描述符。另外，装置可产生第二描述符，诸如阶层描述符或阶层扩展描述符。作为产生第一描述符的部分，装置可将第一语法元素及第二语法元素包含于第一描述符中。在至少一些这类实例中，基本流列表是为操作点的部分的基本流的列表，且第二描述符具有等于第二语法元素的值的阶层分层索引值。第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中；且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表。第一语法元素的第二值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。装置可将第一描述符及第二描述符包含于传输流中。

在类似实例中，诸如视频解码器30的装置接收传输流，所述传输流包含第一描述符、第二描述符及多个基本流。第一描述符可为视频数据的操作点的描述符。第二描述符可为阶层描述符或阶层扩展描述符中的一者。装置可解码第一描述符中的第一语法元素及第二语法元素。在至少一些这类实例中，基本流列表是传输流中为操作点的部分的基本流的列表，且第二描述符具有等于第二语法元素的值的阶层分层索引值。此外，在这类实例中，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，由第二语法元素指示的基本流为多个基本流中的一者；且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，由第二描述符中的嵌入层索引指示的基本流为多个基本流中的一者。响应于确定第一语法元素具有不同于第一值的第二值，当由第二语法元素指示的基本流不存在于基本流列表中时，装置可将所述基本流添加至基本流列表中，但不将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表。

根据本发明的第三技术，将限制添加至ES_reference[i][j]的值，以使得不会针对任何特定操作点明确传信同一基本流一次以上。换言之，其进一步建议施加不得针对任何特定操作点明确传信同一基本流一次以上的限制。举例来说，视频编码器20或中间装置可经配置使得不会明确传信同一基本流一次以上。

此外，本发明描述解决上文所描述的第二个问题(即，不能够确定导出层的某些语法元素的值的问题，诸如，遗失输出层旗标的问题及PTL信息问题)的若干实例技术。在用于解决第二个问题的一些这类技术中，提出保持操作点的导出层的功能性，针对所述导出层传信遗失信息，但不针对非必要层传信PTL。

在用于解决第二个问题的第一实例技术中，去除prepend_dependencies[i][j]语法元素且始终明确传信所有层。

在用于解决第二个问题的第二实例技术中，引入HEVC操作点描述符中的一个操作点的层的两个循环。一个循环含有ES_reference[i][j]语法元素及明确地与基本流的参考(ES_reference[i][j])相关联的层的prepend_dependencies[i][j]语法元素。另一循环含有所有层的output_layer_flag[i][k]语法元素及ptl_ref_idx[i][k]语法元素。视频编码器20、多路复用器21、多路分用器29、视频解码器30、中间装置及/或另一装置可实施这些实例循环以编码或解码HEVC操作点描述符。

在用于解决第二个问题的第二实例技术的一种情况下，装置可经配置以执行第一循环以产生或解码HEVC操作点描述符中的第一语法元素(例如，ES_reference[i][j])的多个例项(例如，集合)。第一语法元素指示存在于识别操作点的基本流的阶层描述符或HEVC阶层扩展描述符中的阶层分层索引值。在第一循环中，装置也产生或解码第二个语法元素(例如，prepend_dependencies[i][j])的多个例项。第二语法元素指示来自哪些结构的基本流包含在操作点的基本流列表中，作为第一循环的执行的部分。此外，在所述实例中，装置可执行第二循环以产生或解码指示操作点的哪一基本流为输出层的第三语法元素 (例如，output_layer_flag[i][k])的多个例项。另外，在第二循环中，装置可产生或解码指示用于确定操作点的基本流的配置文件、层次或层级的索引的第四语法元素(例如， ptl_ref_idx[i][k])的多个例项。在一些情况下，装置可产生包含HEVC操作点描述符的传输流或基于第一、第二、第三及第四语法元素中的一或多者解码操作点。

在用于解决第二个问题的第三实例技术中，用于解决第二个问题之上述第二实例技术中的两个循环可合并在一起，其中每一层的旗标指示层经明确地传信抑或经隐含地传信。对于所述实例，假定通过由ES_reference[i][j]识别的阶层描述符或阶层扩展描述符导出的层阐述某一次序，以便在第二循环中经排序的层有可能将经明确传信的层中的每一者映射至通过第一循环中的信息传信或导出的层。

用于解决第二个问题的第四实例技术仍通过prepend_dependencies[i][j]语法元素实现功能性，但当其应用时，通过默认值推断导出层是否为输出层。举例来说，当prepend_dependencies[i][j]等于1时，装置可推断output_layer_flag[i][j]语法元素的值等于默认值。可针对当前操作点传信所述默认值(例如，0或1)。将导出层的配置文件、层次及层级设定成与先前已在不同操作点中明确传信的同一层相同。

为了不传信非必要层的PTL，本发明提出传信HEVC操作点中的每一ES/层的旗标以指示ES/层是否为必要层。传信使用原本保留的位，因此，没有引入开销且传信避免可另外需要指定的复杂导出程序。举例来说，装置(例如，视频编码器20、多路复用器 21、多路分用器29、视频解码器30、中间装置或另一装置)可经配置以进行以下操作：确定操作点的基本流或层；确定操作点中的每一基本流或层的旗标(例如，下文所描述的 necessary_layer_flag[i][k])，其中旗标指示相应基本流或层是否为必要流或层；及产生包含基本流及相应旗标的位流。

图2是绘示可实施用于传输根据视频译码标准的扩展译码的视频数据的技术的视频编码器20的实例的框图。视频数据可包含基本层的多个(例如，两个或两个以上)增强层，其中增强层可对应于不同可调性尺寸。

在图2的实例中，视频编码器20包含视频数据存储器49、模式选择单元40、经解码图片缓冲器(DPB)64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为重建视频块，视频编码器20也包含逆量化单元58、逆变换单元60及求和器62。

视频数据存储器49可存储待通过视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器49中的视频数据。DPB 64可为存储用于通过视频编码器20(例如)以帧内或帧间译码模式编码视频数据的参考视频数据的参考图片存储器。视频数据存储器49及DPB 64可由多种存储器装置中的任一者形成，诸如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式 RAM(RRAM)或其它类型之存储器装置。视频数据存储器49及DPB 64可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器49可与视频编码器20的其它组件一起在芯片上，或相对于所述组件在芯片外。

在编码程序期间，视频编码器20接收待编码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地执行所接收的视频块相对于与待编码块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于视频数据的每一块的适当译码模式。

此外，分割单元48可(例如)基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说，分割单元48可首先将帧或切片分割成LCU，且基于率失真分析(例如，率失真优化)将所述LCU中的每一者分割成子CU。模式选择单元40 可进一步产生指示将LCU分割为子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可(例如)基于错误结果选择帧内或帧间译码模式中的一者，且可将所得帧内或帧间预测块提供至求和器50以产生残余块数据及提供至求和器62以重建用于参考帧的经编码块。模式选择单元40还将语法元素(诸如，运动向量、帧内模式指示符、分割信息及其它这类语法信息)提供至熵编码单元56。

由运动估计单元42执行的运动估计为产生估计视频块的运动的运动向量的程序。运动估计单元42可通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(RefPicList0)或第二参考图片列表(RefPicList1)，所述列表中的每一者识别存储于DPB 64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送至熵编码单元56及运动补偿单元44。由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值而形成残余视频块，从而形成像素差值，如下文所讨论。模式选择单元40也可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于解码视频切片的视频块。

作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测，如上文所描述。在针对块选择帧内预测模式之后，帧内预测单元46可将指示针对所述块所选择的帧内预测模式的信息提供至熵编码单元 56。熵编码单元56可编码指示所述所选择帧内预测模式的信息。

视频编码器20可通过从正经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行所述减法运算的一或多个组件。变换处理单元52可将变换(诸如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。量化单元54可量化变换系数以进一步减小位速率。在量化后，熵编码单元56可熵编码指示经量化变换系数的语法元素。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法之上下文自适应性二进制算术译码(SBAC)、机率区间分割熵 (PIPE)译码或另一熵译码技术。在由熵编码单元56进行熵译码之后，可将经编码位流发射至另一装置(例如，视频解码器30)或加以存档以供稍后发射或检索。

逆量化单元58及逆变换单元60分别应用逆量化及逆变换以在像素域中重建残余块 (例如)以供稍后用作参考块。运动补偿单元44可通过将残余块添加至DPB 64的帧中的一者的预测性块来计算参考块。求和器62可将经重建的残余块添加至由运动补偿单元 44产生的经运动补偿的预测块，以产生经重建的视频块以供存储在DPB 64中。经重建的视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。

在一些实例中，图2的视频编码器20产生第一描述符，诸如操作点描述符。另外，视频编码器20可产生第二描述符，诸如阶层描述符或阶层扩展描述符。作为产生第一描述符的部分，视频编码器20可将第一语法元素及第二语法元素包含于第一描述符中。在至少一些这类实例中，基本流列表是为操作点的部分的基本流的列表，且第二描述符具有等于第二语法元素的值的阶层分层索引值。第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中；且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表。第一语法元素的第二值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。视频编码器20可将第一描述符及第二描述符包含于传输流中。

图3是绘示可实施用于传输根据视频译码标准的扩展而码的视频数据的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含视频数据存储器69、熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、经解码图片缓冲器(DPB)82及求和器80。

视频数据存储器69可存储待由视频解码器30的组件解码的经编码视频数据，诸如经编码视频位流。可通过视频数据的有线或无线网络通信或通过存取物理数据存储媒体(例如)从算机可读媒体16(例如，从如相机的本地视频源)获得存储于视频数据存储器69中的经编码视频数据。视频数据存储器69可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 82可为存储用于通过视频解码器30(例如)以帧内或帧间译码模式解码视频数据的参考视频数据的参考图片存储器。视频数据存储器69 及DPB82可由多种存储器装置中的任一者形成，诸如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型之存储器装置。视频数据存储器69及DPB 82可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器69可与视频解码器30的其它组件一起在芯片上，或相对于所述组件在芯片外。

视频数据存储器69可接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元70可从视频数据存储器69接收经编码视频数据(例如，NAL单元)，且可解析 NAL单元以解码语法元素。在解码程序期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、帧内预测模式指示符及其它语法元素。

帧内预测单元74可基于经传信的帧内预测模式及来自当前帧或图片的先前经解码块的数据来产生用于当前视频切片的视频块的预测数据。运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。运动补偿单元72可使用预测信息确定视频块的预测信息，且可产生正经解码的当前视频块的预测性块。

逆量化单元76可逆量化在位流中提供且由熵解码单元70解码的经量化变换系数。逆变换单元78可将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换程序)应用于变换系数，以便在像素域中产生残余块。

在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30可通过将来自逆变换单元78的残余块与由运动补偿单元72产生的对应预测性块进行求和而形成经解码视频块。求和器80表示可执行所述求和运算的一或多个组件。接着将给定帧或图片中的经解码视频块存储于DPB 82中，所述DPB存储用于后续运动补偿的参考图片。DPB 82还存储经解码视频以供稍后呈现于显示装置(诸如，图1的显示装置32)上。

在一些实例中，视频解码器30接收包含第一描述符、第二描述符及多个基本流的传输流。第一描述符可为视频数据的操作点的描述符。第二描述符可为阶层描述符或阶层扩展描述符中的一者。视频解码器30可解码第一描述符中的第一语法元素及第二语法元素。在至少一些这类实例中，基本流列表是传输流中为操作点的部分的基本流的列表，且第二描述符具有等于第二语法元素的值的阶层分层索引值。此外，在这类实例中，第一语法元素的第一值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中，由第二语法元素指示的基本流为多个基本流中的一者；且当由第二描述符中的嵌入层索引指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表，由第二描述符中的嵌入层索引指示的基本流为多个基本流中的一者。响应于确定第一语法元素具有不同于第一值的第二值，当由第二语法元素指示的基本流不存在于基本流列表中时，视频解码器30可将所述基本流添加至基本流列表中，但不将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。

图4是绘示根据本发明的技术的产生传输流的装置的实例操作的流程图。本发明的流程图作为操作的实例而提供。根据本发明的技术的其它操作可包含更多、更少或不同动作，或可以不同次序或并行执行这类动作。在图4的实例中，装置可为源装置12或用于处理视频数据的另一类型的装置。图4的操作可实施上文所描述的第二个问题(即，不能够确定导出层的某些语法元素的值的问题)的解决方案。

在图4的实例中，装置产生第一描述符(例如，HEVC操作点描述符)(150)。第一描述符为操作点的描述符。基本流列表(例如，OperationPointESList[i])是传输流中为操作点的部分的基本流的列表。接收或处理流的装置可通过将基本流添加至基本流列表而产生基本流列表。此外，装置产生第二描述符(152)。第二描述符为阶层描述符或阶层扩展描述符中的一者。装置可将第一描述符及第二描述符包含于传输流中(154)。举例来说，装置可输出表示传输流中的第一描述符及第二描述符的一系列位。

此外，在图4的实例中，作为产生第一描述符的部分，装置将第一语法元素(例如，prepend_dependencies[i][j])包含于第一描述符中(156)。另外，作为产生第一描述符的部分，装置将第二语法元素(例如，ES_reference[i][j])包含于第二描述符中(158)。第二描述符具有等于第二语法元素的值的阶层分层索引值(例如，hierarchy_layer_index)。当装置将语法元素包含于描述符中时，装置可以将值指示为描述符的部分(例如，作为数据结构的部分)的方式将语法元素的值存储于存储器中。

在图4的实例中，第一语法元素的第一值(例如1)指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中。另外，第一语法元素的第一值指定：当由第二描述符中的嵌入层索引(例如， hierarchy_embedded_layer_index或hierarchy_ext_embedded_layer_index)指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表。第一语法元素的第二值指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。

图5是绘示根据本发明的技术的接收传输流的装置的实例操作的流程图。在图5的实例中，装置可为目的地装置14、MANE或用于处理视频数据的另一类型的装置。图5 的操作可实施上文所描述的第二个问题(即，不能够确定导出层的某些语法元素的值的问题)的解决方案。

在图5的实例中，装置接收包含第一描述符(例如，HEVC操作点描述符)、第二描述符及多个基本流的传输流(200)。第一描述符为操作点的描述符。第二描述符为阶层描述符或阶层扩展描述符中的一者。在一些实例中，输入接口28接收传输流。

此外，装置可解码第一描述符中的第一语法元素(例如，prepend_dependencies[i][j]) (202)。换言之，装置可确定第一语法元素的值。解码语法元素的实例方式可包含从一系列位解析语法元素、应用熵解码算法，或以其它方式导出语法元素的值。另外，装置可解码第一描述符中的第二不同语法元素(例如，ES_reference[i][j])(204)。换言之，装置可(例如)通过从第一描述符的位解析第二语法元素而确定第二语法元素的值。基本流列表(例如，OperationPointESList[i])是传输流中为操作点的部分的基本流的列表。第二描述符具有等于第二语法元素的值的阶层分层索引值(例如，hierarchy_layer_index)。

在图5的实例中，第一语法元素的第一值(例如1)指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中。由第二语法元素指示的基本流可为由装置接收的多个基本流中的一者。另外，第一语法元素的第一值指定：当由第二描述符中的嵌入层索引(例如，hierarchy_embedded_layer_index或 hierarchy_ext_embedded_layer_index)指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表。由第二描述符中的嵌入层索引指示的基本流可为由装置接收的多个基本流中的一者。第一语法元素的第二值(例如0)指定：当由第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流而非由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中。

因此，在一些情况下，诸如在图5的实例中，装置可确定第一语法元素具有第二值(206)。响应于确定第一语法元素具有第二值，当由第二语法元素指示的基本流不存在于基本流列表中时，装置可将所述基本流添加至基本流列表中，但不将由第二描述符中的嵌入层索引指示的基本流添加至基本流列表中(208)。举例来说，装置可通过以指示基本流在列表中的方式将基本流的参考存储于存储器中的位置中(诸如，将基本流的参考添加至链路列表或阵列中)而将基本流添加至列表。

尽管未在图5的实例中绘示，但装置可舍弃并不对应于操作点的层的数据。举例来说，装置可舍弃对应于层的基本流的传输数据包，所述层并不对应于操作点。装置可将剩余数据(例如，对应于操作点的层的基本流的传输数据包)转递至另一装置或视频解码器(诸如，视频解码器30)。

以下文字描述实施上文所描述的方面的一些实例方式。就DAM3的变化而言描述实施方案细节。在这些实施方案的文字变化中，添加或修改由标记“<ins>”及“</ins>”封闭的文字(例如，<ins>所插入或所修改文字</ins>)，而经去除文字封闭于标记“<dlt>”及“</dlt>”(例如，<dlt>所删除文字</dlt>)。

根据第一实例实施技术，表1及其语法元素针对用于解决上文所描述的第一个问题的第一、第二及第三实例及用于解决上文所描述的第二个问题的第二实例描述对DAM3的详细修改

表1

以下文字指示根据第一实例实施技术的对语义的修改。

num_ptl—所述<dlt>8位</dlt><ins>6位</ins>字段指定在所述描述符中传信的配置文件、层次及层级结构的数目。<ins>使OperationPointESList[i]是为第i HEVC操作点的部分的ES的列表。</ins>

prepend_dependencies[i][j]—当设定成1时，所述旗标<dlt>指示</dlt><ins>指定：当尚未存在于OperationPointESList[i]中时，应将由ES_reference[i][j]指示的ES添加至 OperationPointESList[i]，且</ins><ins>当尚未存在于OperationPointESList[i]中时</ins>，应<ins>按其相关联hierarchy_embedded_layer_index或hierarchy_ext_embedded_layer_index 的值的升序紧接</ins>在由ES_reference[i][j]传信的ES之前将由阶层描述符中的语法元素 hierarchy_embedded_layer_index<ins>指示</ins>的</ins><dlt>所述</dlt>ES或由HEVC阶层扩展描述符中的语法元素hierarchy_ext_embedded_layer_index<ins>指示</ins>的所有ES (其中阶层分层索引值由以下语法元素ES_reference[i][j]<ins>指定)添加<dlt>至目标操作点的基本流</dlt><ins>至OperationPointLayerList[i]中。当prepend_dependencies[i][j]的值等于0时，当尚未存在于OperationPointESList[i]中时，应仅将由ES_reference[i][j]指示的 ES添加至OperationPointESList[i]中。当m小于n时，由ES_reference[i][m]指示的ES 应先于(即，具有较小索引)由ES_reference[i][n]指示的ES置放于OperationPointESList[i] 中。</ins>

<ins>附注：OperationPointESList[i]中的ES的次序必须呈其hierarchy_layer_index 值的升序。</ins>

ES_reference[i][j]—所述6位字段指示存在于阶层描述符或HEVC阶层扩展描述符中的识别基本流的阶层分层索引值。<ins>由于m不等于n，故ES_reference[i][m]及 ES_reference[i][n]的值应不相同。</ins>

<ins>在为第i HEVC操作点的部分的所有ES已包含于OperationPointESList[i]中之后(即，在解析ES_reference[i][ES_count[i]-1]之后)，使NumESinOP[i]为OperationPointESList[i]中的ES的数目。</ins>

<ins>necessary_layer_flag[i][k]—当设定成‘1’时，所述旗标指示OperationPointESList[i]中的第k个ES为第i操作点的必要层，如23008-2中所定义。所述旗标等于‘0’指示OperationPointESList[i]中的第k个ES并非第i操作点的必要层，如23008-2中所定义。</ins>

output_layer_flag[i]<ins>[k]</ins>—当设定成‘1’时，所述旗标指示<dlt>所述描述符中定义的第i个HEVC操作点的层</dlt><ins>OperationPointESList[i]中的</ins>第 <ins>k个ES</ins>为输出层。另外，当设定成‘0’时，其指示<dlt>所述描述符中定义的第i个HEVC操作点的层</dlt><ins>OperationPointESList[i]中的</ins>第<ins>k个ES</ins>并非输出层。<ins>当necessary_layer_flag[i][k]的值等于0时，应忽略output_layer_flag[i][k]的值。</ins>

ptl_ref_idx[i][k]—<dlt>8位</dlt><ins>6位</ins>字段指示应用于 <ins>OperationPointESList[i]中的</ins>第<ins>k个ES</ins><dlt>所述描述符中定义的第i个HEVC操作点的层</dlt>的profile_tier_level_array的profile_tier_level_info[x]元素的索引x。<ins>当necessary_layer_flag[i][k]的值等于0时，应忽略ptl_ref_idx[i][k]的值。 </ins>

图6是绘示根据本发明的实例技术的用于产生传输流的装置的实例操作的流程图。举例来说，图6的操作可根据上文所讨论的本发明的第一实例实施技术(即，上文关于表1所描述的技术)。图6的操作可通过源装置12或另一装置执行。图6的操作可为图4 的操作的扩展版本。

在图6的实例中，装置可产生一组第二描述符(250)。所述一组第二描述符中的每一相应第二描述符可为阶层描述符或阶层扩展描述符中的一者。所述一组第二描述符可包含关于图4所描述的“第二描述符”。

另外，装置可产生第一描述符(例如，HEVC操作点描述符)(252)。作为产生第一描述符的部分，装置可将基本流计数语法元素(例如，ES_count)包含于第一描述符中(254)。基本流计数语法元素可指示基本流的数目。

此外，作为产生第一描述符的部分，装置可将一组第一语法元素(例如， prepend_dependencies[i][j])包含于第一描述符中(256)。另外，作为产生第一描述符的部分，装置可将一组第二语法元素(例如，ES_reference[i][j])包含于第一描述符中(258)。所述一组第一语法元素中的第一语法元素的数目及所述一组第二语法元素中的第二语法元素的数目等于基本流计数语法元素的值。所述一组第一语法元素可包含关于图4所提及的“第一语法元素”。所述一组第二语法元素可包含关于图4所提及的“第二语法元素”。

在一些实例中，所述一组第二语法元素受限以使得所述一组第二语法元素中无具有相同值的两个第二语法元素。换言之，如上文DAM3的变化所指示，由于m不等于n，故ES_reference[i][m]及ES_reference[i][n]的值应不相同。

对于所述一组第一语法元素中的每一相应第一语法元素，所述一组第二语法元素中的相应第二语法元素对应于相应第一语法元素。举例来说，具有相同i值及j值的第一语法元素及第二语法元素对应于彼此。所述一组第二描述符中的相应第二描述符具有等于相应第二语法元素的值的阶层分层索引值(例如，hierarchy_layer_id)。

在图6的实例中，相应第一语法元素的第一值(例如1)指定：当由相应第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中；且当由相应第二描述符中的嵌入层索引指示的基本流不存在于操作点的基本流列表中时，应将所述基本流添加至基本流列表。相应第一语法元素的第二值(例如0)指定：当由相应第二语法元素指示的相应基本流不存在于基本流列表中时，应将所述相应基本流而非由相应第二描述符中的嵌入层索引指示的相应基本流添加至基本流列表中。

此外，在图6的实例中，装置可将一组必要层旗标语法元素(例如， necessary_layer_flag[i][k])包含于第一描述符中(260)。所述一组必要层旗标语法元素中的每一相应语法元素可对应于基本流列表中的相应基本流。所述一组必要层旗标语法元素中的每一相应语法元素指示对应于所述一组必要层旗标语法元素中的相应语法元素的基本流是否为必要层。可将必要层定义为与输出层集合相关联的输出操作点中的层，所述层为输出层集合中的输出层或输出层集合中的输出层的参考层。

装置也可将一组输出层旗标语法元素(例如，output_layer_flag[i][k])包含于第一描述符中(262)。所述一组输出语法元素中的每一相应语法元素可对应于基本流列表中的相应基本流。所述一组输出层旗标语法元素中的每一相应语法元素可指示对应于所述一组输出层旗标语法元素中的相应语法元素的基本流是否为输出层。

此外，装置可将一组PTL参考索引语法元素(例如，ptl_ref_idx[i][k])包含于第一描述符中(264)。所述一组PTL参考索引语法元素中的每一相应语法元素可对应于基本流列表中的相应基本流。所述一组PTL参考索引语法元素中的每一相应语法元素可指示用于确定对应于所述一组PTL参考索引语法元素中的相应语法元素的基本流的配置文件、层次或层级的索引。

在图6的实例中，装置可将第一描述符及第二描述符包含于传输流中(266)。举例来说，装置可产生含有第一描述符及第二描述符的一组传输数据包。传输流可进一步包含一或多个基本流。在其它实例中，可省略图6中的一或多个动作。

图7是绘示根据本发明的实例技术的接收传输流的装置的实例操作的流程图。举例来说，图7的操作可与上文所讨论的第一实例实施技术一致。图7的操作可为图5的操作的扩展版本。

在图7的实例中，装置接收包含第一描述符(例如，HEVC操作点描述符)、一组第二描述符及多个基本流的传输流(300)。所述一组第二描述符可包含上文关于图5提及的“第二描述符”。所述一组第二描述符中的每一相应第二描述符可为阶层描述符或阶层扩展描述符中的一者。

另外，在图7的实例中，装置可解码第一描述符中的基本流计数语法元素(例如，ES_count，其在权利要求书中被称为“第三语法元素”)。基本流计数语法元素指示基本流的数目。

此外，在图7的实例中，装置可解码第一描述符中的一组第一语法元素(例如，prepend_dependencies[i][j])(302)。此外，在图7的实例中，装置可解码第一描述符中的一组第二语法元素(例如，ES_reference[i][j])(304)。所述一组第一语法元素中的第一语法元素的数目及所述一组第二语法元素中的第二语法元素的数目等于第三语法元素的值。所述一组第一语法元素可包含关于图5所提及的“第一语法元素”。所述一组第二语法元素可包含关于图5所提及的“第二语法元素”。

在一些实例中，所述一组第二语法元素受限以使得所述一组第二语法元素中无具有相同值的两个第二语法元素。换言之，如上文DAM3的变化所指示，由于m不等于n，故ES_reference[i][m]及ES_reference[i][n]的值应不相同。

对于所述一组第一语法元素中的每一相应第一语法元素，所述一组第二语法元素中的相应第二语法元素对应于相应第一语法元素。举例来说，具有相同i值及j值的第一语法元素及第二语法元素对应于彼此。所述一组第二描述符中的相应第二描述符具有等于相应第二语法元素的值的阶层分层索引值(例如，hierarchy_layer_id)。

在图7的实例中，相应第一语法元素的第一值(例如1)指定：当由相应第二语法元素指示的基本流不存在于基本流列表中时，应将所述基本流添加至基本流列表中；且当由相应第二描述符中的嵌入层索引指示的基本流不存在于操作点的基本流列表中时，应将所述基本流添加至基本流列表。由相应第二语法元素指示的基本流可为多个基本流中的一者。相应第一语法元素的第二值(例如0)指定：当由相应第二语法元素指示的相应基本流不存在于基本流列表中时，应将所述相应基本流而非由相应第二描述符中的嵌入层索引指示的相应基本流添加至基本流列表中。由相应第二描述符中的嵌入层索引指示的基本流可为多个基本流中的一者。

对于所述一组第一语法元素中的每一相应第一语法元素，将一或多个嵌入层索引的集合包含于相应第二描述符中。此外，在图7的实例中，基于相应第一语法元素具有第一值，装置可按嵌入层索引集合的值的升序紧接在由相应第二语法元素指示的基本流之前将由嵌入层索引集合指示的基本流添加至基本流列表中(308)。换言之，响应于确定相应第一语法元素具有第二值，当由相应第二语法元素指示的相应基本流不存在于基本流列表中时，装置可将所述相应基本流添加至基本流列表中，但不将由相应第二描述符中的嵌入层索引指示的相应基本流添加至基本流列表中。

在图7的实例中，装置可解码第一描述符中的一组必要层旗标语法元素(例如，necessary_layer_flag[i][k])(310)。所述一组必要层旗标语法元素中的每一相应语法元素可对应于基本流列表中的相应基本流。所述一组必要层旗标语法元素中的每一相应语法元素可指示对应于所述一组必要层旗标语法元素中的相应语法元素的基本流是否为必要层。如上文所描述，将必要层定义为与输出层集合相关联的输出操作点中的层，所述层为输出层集合中的输出层或输出层集合中的输出层的参考层。

此外，在图7的实例中，装置可解码第一描述符中的一组输出层旗标语法元素(例如， output_layer_flag[i][k])(312)。所述一组输出层旗标语法元素中的每一相应语法元素可对应于基本流列表中的相应基本流。所述一组输出层旗标语法元素中的每一相应语法元素指示对应于所述一组输出层旗标语法元素中的相应语法元素的基本流是否为输出层。

另外，装置可解码第一描述符中的一组PTL参考索引语法元素(314)。所述一组PTL参考索引语法元素中的每一相应语法元素可对应于基本流列表中的相应基本流。所述一组PTL参考索引语法元素中的每一相应语法元素可指示用于确定对应于所述一组PTL 参考索引语法元素中的相应语法元素的基本流的配置文件、层次或层级的索引。

在图7的实例中，装置可舍弃并非操作点的部分的层的数据(316)。换言之，装置可舍弃并不对应于操作点的层的数据。在其它实例中，可省略图7中的一或多个动作。

根据第二实例实施技术，表2及其语法元素针对用于解决上文所描述的第二个问题的第三实例技术描述对DAM3的详细修改。

表2

以下文字指示根据第二实例实施技术的对语义的修改。

<ins>es_present_flag[i][j]指定ES_reference[i][j]及prepend_dependencies[i][j]是否针对第i操作点的第j层而存在。当es_present_flag[i][j]等于0时，在es_present_flag的值等于1且prepend_dependencies的值等于1的情况下，基于第i操作点中的经预先传信的层的阶层描述符或阶层扩展描述符中的信息导出ES_reference[i][j]的值。当 es_present_flag[i][j]等于0时，导出prepend_dependencies[i][j]的值为0。 es_present_flag[i][0]的值不应等于0。</ins>

prepend_dependencies[i][j]—当设定成1时，所述旗标指示应在由ES_reference[i][j] 传信的ES<dlt>之前</dlt><ins>之后</ins>将由阶层描述符中的语法元素hierarchy_embedded_layer_index传信的ES、或由HEVC阶层扩展描述符中的语法元素hierarchy_ext_embedded_layer_index传信的所有ES添加至目标操作点的基本流列表中，其中阶层分层索引值由以下语法元素ES_reference[i][j]指定。

<ins>附注：在填入目标操作点的基本流列表之后，其应按其hierarchy_layer_index 值的升序重排序。</ins>

应注意，针对必要层的问题及针对将ES重复包含在用于HEVC操作的ES列表内的可能性的解决方案也可应用于所述替代方案。

根据第三实例实施技术，表3及其语法元素针对用于解决上文所描述的第二个问题的第四实例技术描述对DAM3的详细修改。

表3

以下文字指示根据第三实例实施技术的对语义的修改。

prepend_dependencies[i][j]—当设定成1时，所述旗标指示应在由ES_reference[i][j] 传信的ES之前将由阶层描述符中的语法元素hierarchy_embedded_layer_index传信的 ES、或由HEVC阶层扩展描述符中的语法元素hierarchy_ext_embedded_layer_index传信的所有ES添加至目标操作点的基本流的列表中，其中阶层分层索引值由以下语法元素 ES_reference[i][j]指定。

<ins>当prepend_dependencies[i][j]等于1时，针对由阶层描述符中的语法元素hierarchy_embedded_layer_index传信的每一基本流esA、或由HEVC阶层扩展描述符中的语法元素hierarchy_ext_embedded_layer_index传信的所有基本流，其中阶层分层索引值由以下语法元素ES_reference[i][j]指定，以下适用：

●若default_output_ref_layer[i]等于0，则与esA相关联的层并非第i个HEVC操作点的输出层；否则，与esA相关联的层为第i个HEVC操作点的输出层。

●应存在具有在0至i-1之间的索引的还含有esA的至少一个HEVC操作点opX。若针对opX存在一个以上候选者，则将使用具有最高索引的一者。适用于第i个HEVC 操作点中的esA的profile_tier_level_array的profile_tier_level_info[x]元素的索引为等于适用于opX中的esA的profile_tier_level_array的profile_tier_level_info[x]元素的索引的集合。</ins>

此外，为避免不必要并发作用，可在操作点层级而非分层层级中传信 prepend_dependencies。针对必要层的问题及针对将ES重复包含在用于HEVC操作的ES 列表中的可能性的解决方案也可应用于所述替代方案。

prepend_dependencies[i]—当设定成1时，所述旗标指示应在由ES_reference[i][j] 传信的ES之前将由阶层描述符中的语法元素hierarchy_embedded_layer_index传信的 ES、或由HEVC阶层扩展描述符中的语法元素hierarchy_ext_embedded_layer_index传信的所有ES添加至目标操作点的基本流列表中，其中阶层分层索引值由以下语法元素ES_reference[i][j]指定<ins>针对由第i操作点中的ES_reference[i][j]指示的每一基本流。 </ins>

<ins>当prepend_dependencies[i]等于1时，针对由阶层描述符中的语法元素hierarchy_embedded_layer_index传信的每一基本流esA、或由HEVC阶层扩展描述符中的语法元素hierarchy_ext_embedded_layer_index传信的所有基本流，其中阶层分层索引值由以下语法元素ES_reference[i][j]指定，以下适用：

●若default_output_ref_layer[i]等于0，则与esA相关联的层并非第i个HEVC操作点的输出层；否则，与esA相关联的层为第i个HEVC操作点的输出层。

●应存在具有在0至i-1之间的索引的还含有esA的至少一个HEVC操作点opX。若针对opX存在一个以上候选者，则将使用具有最高索引的一者。适用于第i个HEVC 操作点中的esA的profile_tier_level_array的profile_tier_level_info[x]元素的索引为等于适用于opX中的esA的profile_tier_level_array的profile_tier_level_info[x]元素的索引的集合。</ins>

除了上文所描述的DAM3中的问题以外，当分层式HEVC位流含有一或多个辅助层时，不存在描述阶层描述符或阶层扩展描述符中的辅助增强的机制。辅助图片为对主要图片的解码程序不具有规范性影响的图片，且所述图片具有使得AuxId[nuh_layer_id] 大于0的nuh_layer_id值。辅助层为含有辅助图片的层。为解决所述问题，建议将辅助阶层类型的描述包含于表2-50中且将辅助增强的描述包含于表2-103中。

对于辅助层的处置，分层式HEVC在位流中支持辅助层的存在。辅助层可含有(例如)α频道或深度表示。ISO/IEC 13818-1:201x/DAM 3Carriage of Layered HEVC的当前文字不具有描述辅助层的机制。在具有特定流类型(例如，0×1E，即，如ISO/IEC 23002-3 中所定义的辅助视频流)的基本流中运输SHVC/MV-HEVC辅助层并非充分的解决方案，这是由于仍不存在描述所述基本流及其它基本流的阶层的方式，尤其是在节目中与辅助层相关联的流。另外，当前L-HEVC缓冲器模型并不处置除了0×27～0×2A以外的流类型，因此，所述解决方案(使用特定流类型)可能需要进一步修改缓冲器模型。

为解决上述问题，本发明在下文中描述将辅助阶层类型包含在表2-50中及将辅助增强包含在表2-103undeciens中。通过所述修改，不另外需要针对辅助层指配特定流类型，不另外需要更新缓冲器模式，且可在具有在0×27～0×2A范围内的流类型的基本流中运输辅助层。

所提出的对表2-50的文字改变如下：

在表2-50中替换对于值8<ins>、10</ins>及15的描述如下：

表2-50—Hierarchy_type字段值

所提出的对表2-103undeciens的文字改变：

表2-103undeciens—扩展尺寸位的语义

位索引	描述
		0	多视图增强
1	空间可调性，包含SNR
		2	深度增强
3	时间增强
		<ins>4</ins>	<ins>辅助增强</ins>
5～15	保留

以下段落提供本发明的额外实例。

在一些实例中，视频解码器30可经配置以：接收操作点的第一语法元素(例如，prepend_dependencies[i][j])，其中语法元素的第一值指定：当由第二语法元素(例如，ES_reference[i][j])指示的基本流尚未存在于操作点列表(例如，OperationPointESList[i]) 中时，应将所述基本流添加至操作点列表中，且其中语法元素的第二值指定：当由第二语法元素指示的基本流尚未存在于操作列表中时，应仅将所述基本流添加至操作点列表中；及基于所接收的第一语法元素解码操作点。

在一些实例中，视频解码器30可经配置以：执行第一循环以解码第一语法元素(例如，ES_reference[i][j])的多个例项，及/或解码第二语法元素(例如， prepend_dependencies[i][j])的多个例项，所述第一语法元素指示存在于识别操作点的基本流的阶层描述符或HEVC阶层扩展描述符中的阶层分层索引值，所述第二语法元素指示来自哪些结构的基本流将包含于操作点的基本流列表中，作为第一循环的执行的部分；执行第二循环以解码第三语法元素(例如，output_layer_flag[i][k])的多个例项，及/ 或解码第四语法元素(例如，ptl_ref_idx[i][k])的多个例项，所述第三语法元素指示操作点的哪一基本流为输出层，所述第四语法元素指示用于确定操作点的基本流的配置文件、层次或层级的索引；及基于第一、第二、第三及第四语法元素中的一或多者解码操作点。

在一些实例中，视频编码器20或中间装置(例如，MANE)可经配置以实施本发明中所描述的实例技术。举例来说，视频编码器20或中间装置(或两者的组合)可经配置以：确定操作点的基本流或层；确定操作点中的每一基本流或层的旗标(例如，下文所描述的necessary_layer_flag[i][k])，其中所述旗标指示相应基本流或层是否为必要流或层；及产生包含基本流及相应旗标的位流。

在一个实例中，视频编码器20或中间装置(或两者的组合)可经配置以：确定操作点的第一语法元素(例如，prepend_dependencies[i][j])，其中所述语法元素的第一值指定：当由第二语法元素(例如，ES_reference[i][j])指示的基本流尚未存在于操作点列表(例如， OperationPointESList[i])中时，应将所述基本流添加至操作点列表中，且其中所述语法元素的第二值指定：当由第二语法元素指示的基本流尚未存在于操作列表中时，应仅将所述基本流添加操作点列表中；及产生包含操作点的信息(包含所确定的第一语法元素)的位流。

在一个实例中，视频编码器20或中间装置(或两者的组合)可经配置以：执行第一循环以确定第一语法元素(例如，ES_reference[i][j])的多个例项，及/或确定第二语法元素(例如，prepend_dependencies[i][j])的多个例项，所述第一语法元素指示存在于识别操作点的基本流的阶层描述符或HEVC阶层扩展描述符中的阶层分层索引值，所述第二语法元素指示来自哪些结构的基本流将包含于操作点的基本流列表中，作为第一循环的执行的部分；执行第二循环以确定第三语法元素(例如，output_layer_flag[i][k])的多个例项，及 /或确定第四语法元素(例如，ptl_ref_idx[i][k])的多个例项，所述第三语法元素指示操作点的哪一基本流为输出层，所述第四语法元素指示用于确定操作点的基本流的配置文件、层次或层级的索引；及产生包含操作点的第一、第二、第三及第四语法元素中的一或多者的位流。应认识到，取决于实例，可以不同序列执行、可添加、合并或完全省略本文中所描述的技术中的任一者的某些动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践皆为必要的)。此外，在某些实例中，动作或事件可(例如)通过多线程处理、中断处理或多个处理器同时执行而非依序地执行。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。若以软件实施，则所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或通过计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于诸如数据存储媒体的有形媒体或通信媒体，包含(例如)根据通信协议促进计算机程序从一位置至另一位置的传递的任何媒体。以这种方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体或(2)诸如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、 CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接适当地称为计算机可读媒体。举例来说，若使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(诸如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，则同轴缆线、光缆、双绞线、DSL或无线技术(诸如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、雷射光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用雷射以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。

可通过诸如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可程序化逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑组件中。

本发明的技术可以广泛多种装置或设备加以实施，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片集合)。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能性方面，但未必需要由不同硬件单元来实现。相反地，如上所述，结合适合的软件及/或固件，各种单元可合并在编解码器硬件单元中或由互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些及其它实例属于以下权利要求书的范围内。

Claims (26)

1.一种处理视频数据的方法，所述方法包括：

接收包含第一描述符、第二描述符及多个基本流的传输流，所述第一描述符为所述视频数据的操作点的描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；

解码所述第一描述符中的第一语法元素及第二语法元素，其中：

基本流列表是所述传输流中为所述操作点的部分的基本流的列表，

所述第二描述符具有等于所述第二语法元素的值的阶层分层索引值，

所述第一语法元素的第一值指定：

当由所述第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述第二语法元素指示的所述基本流为所述多个基本流中的一者，及

当由所述第二描述符中的嵌入层索引指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述第二描述符中的所述嵌入层索引指示的所述基本流为所述多个基本流中的一者，及

响应于确定所述第一语法元素具有不同于所述第一值的第二值，当由所述第二语法元素指示的所述基本流不存在于所述基本流列表中时，将所述基本流添加至所述基本流列表中，但不将由所述第二描述符中的所述嵌入层索引指示的所述基本流添加至所述基本流列表中。

2.根据权利要求1所述的方法，其进一步包括：

在所述传输流中接收一组第二描述符，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；

解码所述第一描述符中的第三语法元素，所述第三语法元素指示基本流的数目；

解码所述第一描述符中的一组第一语法元素；及

解码所述第一描述符中的一组第二语法元素，其中：

所述一组第一语法元素中的第一语法元素的所述数目及所述一组第二语法元素中的第二语法元素的所述数目等于所述第三语法元素的值，

所述一组第一语法元素包含所述第一语法元素，

所述一组第二语法元素包含所述第二语法元素，

对于所述一组第一语法元素中的每一相应第一语法元素而言：

所述一组第二语法元素中的相应第二语法元素对应于所述相应第一语法元素，

所述一组第二描述符中的相应第二描述符具有等于所述相应第二语法元素的值的阶层分层索引值，

所述相应第一语法元素的所述第一值指定：

当由所述相应第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述相应第二语法元素指示的所述基本流为所述多个基本流中的一者，及

当由所述相应第二描述符中的嵌入层索引指示的基本流不存在于所述操作点的所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述相应第二描述符中的所述嵌入层索引指示的所述基本流为所述多个基本流中的一者，及

响应于确定所述相应第一语法元素具有所述第二值，当由所述相应第二语法元素指示的所述相应基本流不存在于所述基本流列表中时，将所述相应基本流添加至所述基本流列表中，但不将由所述相应第二描述符中的所述嵌入层索引指示的所述相应基本流添加至所述基本流列表中。

3.根据权利要求2所述的方法，其进一步包括：

对于所述一组第一语法元素中的每一相应第一语法元素而言：

一或多个嵌入层索引的集合包含于所述相应第二描述符中，及

基于所述相应第一语法元素具有所述第一值，按所述嵌入层索引集合的值的升序紧接在由所述相应第二语法元素指示的所述基本流前将由所述嵌入层索引集合指示的基本流添加至所述基本流列表中。

4.根据权利要求1所述的方法，其进一步包括：

解码所述第一描述符中的一组语法元素，所述一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述一组语法元素中的每一相应语法元素指示对应于所述一组语法元素中的所述相应语法元素的所述基本流是否为必要层，

其中将必要层定义为与输出层集合相关联的输出操作点中的层，所述层为所述输出层集合中的输出层或所述输出层集合中的输出层的参考层。

5.根据权利要求1所述的方法，其进一步包括：

解码所述第一描述符中的第一组语法元素，所述第一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第一组语法元素中的每一相应语法元素指示对应于所述第一组语法元素中的所述相应语法元素的所述基本流是否为输出层；及

解码所述第一描述符中的第二组语法元素，所述第二组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第二组语法元素中的每一相应语法元素指示用于确定对应于所述第二组语法元素中的所述相应语法元素的所述基本流的配置文件、层次或层级的索引。

6.根据权利要求1所述的方法，其进一步包括：

在所述传输流中接收一组第二描述符，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；及

解码所述第一描述符中的一组第二语法元素，其中：

所述一组第二语法元素包含所述第二语法元素，

所述一组第二语法元素中的每一相应第二语法元素指示存在于所述一组第二描述符中的描述符中的阶层分层索引值，且

所述一组第二语法元素受限，使得所述一组第二语法元素中无具有相同值的两个第二语法元素。

7.根据权利要求1所述的方法，其进一步包括舍弃并非所述操作点的部分的层的数据。

8.一种用于处理视频数据的装置，所述装置包括：

输入接口，其经配置以接收包含传输流的信息，所述传输流包含第一描述符、第二描述符及多个基本流，所述第一描述符为所述视频数据的操作点的描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；及

一或多个处理器，其经配置以：

解码所述第一描述符中的第一语法元素及第二语法元素，其中：

基本流列表是所述传输流中为所述操作点的部分的基本流的列表，

所述第二描述符具有等于所述第二语法元素的值的阶层分层索引值，

所述第一语法元素的第一值指定：

当由所述第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述第二语法元素指示的所述基本流为所述多个基本流中的一者，及

当由所述第二描述符中的嵌入层索引指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述第二描述符中的所述嵌入层索引指示的所述基本流为所述多个基本流中的一者，及

响应于确定所述第一语法元素具有不同于所述第一值的第二值，当由所述第二语法元素指示的所述基本流不存在于所述基本流列表中时，将所述基本流添加至所述基本流列表中，但不将由所述第二描述符中的所述嵌入层索引指示的所述基本流添加至所述基本流列表中。

9.根据权利要求8所述的装置，其中所述一或多个处理器经配置以：

在所述传输流中接收一组第二描述符，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；

解码所述第一描述符中的第三语法元素，所述第三语法元素指示基本流的数目；

解码所述第一描述符中的一组第一语法元素；及

解码所述第一描述符中的一组第二语法元素，其中：

所述一组第一语法元素中的第一语法元素的所述数目及所述一组第二语法元素中的第二语法元素的所述数目等于所述第三语法元素的值，

所述一组第一语法元素包含所述第一语法元素，

所述一组第二语法元素包含所述第二语法元素，

对于所述一组第一语法元素中的每一相应第一语法元素而言：

所述一组第二语法元素中的相应第二语法元素对应于所述相应第一语法元素，

所述一组第二描述符中的相应第二描述符具有等于所述相应第二语法元素的值的阶层分层索引值，

所述相应第一语法元素的所述第一值指定：

当由所述相应第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述相应第二语法元素指示的所述基本流为所述多个基本流中的一者，及

当由所述相应第二描述符中的嵌入层索引指示的基本流不存在于所述操作点的所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述相应第二描述符中的所述嵌入层索引指示的所述基本流为所述多个基本流中的一者，及

响应于确定所述相应第一语法元素具有所述第二值，所述一或多个处理器经配置以在由所述相应第二语法元素指示的所述相应基本流不存在于所述基本流列表中时，将所述相应基本流添加至所述基本流列表中，但不将由所述相应第二描述符中的所述嵌入层索引指示的所述相应基本流添加至所述基本流列表中。

10.根据权利要求9所述的装置，其中，对于所述一组第一语法元素中的每一相应第一语法元素而言，一或多个嵌入层索引的集合包含于所述相应第二描述符中，且基于所述相应第一语法元素具有所述第一值，所述一或多个处理器经配置以使得所述一或多个处理器按所述嵌入层索引集合的值的升序紧接在由所述相应第二语法元素指示的所述基本流前将由所述嵌入层索引集合指示的基本流添加至所述基本流列表中。

11.根据权利要求8所述的装置，其中所述一或多个处理器经配置以：

解码所述第一描述符中的一组语法元素，所述一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述一组语法元素中的每一相应语法元素指示对应于所述一组语法元素中的所述相应语法元素的所述基本流是否为必要层，

其中将必要层定义为与输出层集合相关联的输出操作点中的层，所述层为所述输出层集合中的输出层或所述输出层集合中的输出层的参考层。

12.根据权利要求8所述的装置，其中所述一或多个处理器经配置以：

解码所述第一描述符中的第一组语法元素，所述第一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第一组语法元素中的每一相应语法元素指示对应于所述第一组语法元素中的所述相应语法元素的所述基本流是否为输出层；及

解码所述第一描述符中的第二组语法元素，所述第二组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第二组语法元素中的每一相应语法元素指示用于确定对应于所述第二组语法元素中的所述相应语法元素的所述基本流的配置文件、层次或层级的索引。

13.根据权利要求8所述的装置，其中所述一或多个处理器经配置以：

在所述传输流中接收一组第二描述符，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；及

解码所述第一描述符中的一组第二语法元素，其中：

所述一组第二语法元素包含所述第二语法元素，

所述一组第二语法元素中的每一相应第二语法元素指示存在于所述一组第二描述符中的描述符中的阶层分层索引值，且

所述一组第二语法元素受限，使得所述一组第二语法元素中无具有相同值的两个第二语法元素。

14.根据权利要求8所述的装置，其中所述一或多个处理器经进一步配置以舍弃并非所述操作点的部分的层的数据。

15.一种用于处理视频数据的装置，所述装置包括：

用于接收包含第一描述符、第二描述符及多个基本流的传输流的装置，所述第一描述符为所述视频数据的操作点的描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；

用于解码所述第一描述符中的第一语法元素及第二语法元素的装置，其中：

基本流列表是所述传输流中为所述操作点的部分的基本流的列表，

所述第二描述符具有等于所述第二语法元素的值的阶层分层索引值，

所述第一语法元素的第一值指定：

当由所述第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述第二语法元素指示的所述基本流为所述多个基本流中的一者，及

当由所述第二描述符中的嵌入层索引指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述第二描述符中的所述嵌入层索引指示的所述基本流为所述多个基本流中的一者，及

用于响应于确定所述第一语法元素具有不同于所述第一值的第二值，当由所述第二语法元素指示的所述基本流不存在于所述基本流列表中时，将所述基本流添加至所述基本流列表中，但不将由所述第二描述符中的所述嵌入层索引指示的所述基本流添加至所述基本流列表中的装置。

16.根据权利要求15所述的装置，其进一步包括：

用于在所述传输流中接收一组第二描述符的装置，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；

用于解码所述第一描述符中的第三语法元素的装置，所述第三语法元素指示基本流的数目；

用于解码所述第一描述符中的一组第一语法元素的装置；及

用于解码所述第一描述符中的一组第二语法元素的装置，其中：

所述一组第一语法元素中的第一语法元素的所述数目及所述一组第二语法元素中的第二语法元素的所述数目等于所述第三语法元素的值，

所述一组第一语法元素包含所述第一语法元素，

所述一组第二语法元素包含所述第二语法元素，

对于所述一组第一语法元素中的每一相应第一语法元素而言：

所述一组第二语法元素中的相应第二语法元素对应于所述相应第一语法元素，

所述一组第二描述符中的相应第二描述符具有等于所述相应第二语法元素的值的阶层分层索引值，

所述相应第一语法元素的所述第一值指定：

当由所述相应第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述相应第二语法元素指示的所述基本流为所述多个基本流中的一者，及

当由所述相应第二描述符中的嵌入层索引指示的基本流不存在于所述操作点的所述基本流列表中时，应将所述基本流添加至所述基本流列表中，由所述相应第二描述符中的所述嵌入层索引指示的所述基本流为所述多个基本流中的一者，及

所述装置包括用于响应于确定所述相应第一语法元素具有所述第二值，当由所述相应第二语法元素指示的所述基本流不存在于所述基本流列表中时，将所述相应基本流添加至所述基本流列表中，但不将由所述相应第二描述符中的所述嵌入层索引指示的所述相应基本流添加至所述基本流列表中的装置。

17.根据权利要求16所述的装置，其进一步包括：

对于所述一组第一语法元素中的每一相应第一语法元素而言：

一或多个嵌入层索引的集合包含在所述相应第二描述符中，及

所述装置包括用于基于所述相应第一语法元素具有所述第一值，按所述嵌入层索引集合的值的升序紧接在由所述相应第二语法元素指示的所述基本流前将由所述嵌入层索引集合指示的基本流添加至所述基本流列表中的装置。

18.根据权利要求15所述的装置，其进一步包括：

用于解码所述第一描述符中的一组语法元素的装置，所述一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述一组语法元素中的每一相应语法元素指示对应于所述一组语法元素中的所述相应语法元素的所述基本流是否为必要层，

其中将必要层定义为与输出层集合相关联的输出操作点中的层，所述层为所述输出层集合中的输出层或所述输出层集合中的输出层的参考层。

19.根据权利要求15所述的装置，其进一步包括：

用于解码所述第一描述符中的第一组语法元素的装置，所述第一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第一组语法元素中的每一相应语法元素指示对应于所述第一组语法元素中的所述相应语法元素的所述基本流是否为输出层；及

用于解码所述第一描述符中的第二组语法元素的装置，所述第二组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第二组语法元素中的每一相应语法元素指示用于确定对应于所述第二组语法元素中的所述相应语法元素的所述基本流的配置文件、层次或层级的索引。

20.根据权利要求15所述的装置，其进一步包括：

用于在所述传输流中接收一组第二描述符的装置，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；及

用于解码所述第一描述符中的一组第二语法元素的装置，其中：

所述一组第二语法元素包含所述第二语法元素，

所述一组第二语法元素中的每一相应第二语法元素指示存在于所述一组第二描述符中的描述符中的阶层分层索引值，且

所述一组第二语法元素受限，以使得所述一组第二语法元素中无具有相同值的两个第二语法元素。

21.根据权利要求15所述的装置，其进一步包括用于舍弃并非所述操作点的部分的层的数据的装置。

22.一种用于处理视频数据的装置，所述装置包括：

一或多个处理器，其经配置以：

产生第一描述符，所述第一描述符为所述视频数据的操作点的描述符；

产生第二描述符，所述第二描述符为阶层描述符或阶层扩展描述符中的一者；

其中所述一或多个处理器经配置作为产生所述第一描述符的部分，使得所述一或多个处理器进行以下操作：

将第一语法元素及第二语法元素包含于所述第一描述符中，其中：

基本流列表是为所述操作点的部分的基本流的列表，

所述第二描述符具有等于所述第二语法元素的值的阶层分层索引值，

所述第一语法元素的第一值指定：

当由所述第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，及

当由所述第二描述符中的嵌入层索引指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，及

所述第一语法元素的第二值指定当由所述第二语法元素指示的所述基本流不存在于所述基本流列表中时，应将所述基本流而非将由所述第二描述符中的所述嵌入层索引指示的所述基本流添加至所述基本流列表中；及

将所述第一描述符及所述第二描述符包含于传输流中；及

输出接口，其经配置以输出所述视频数据的经编码版本。

23.根据权利要求22所述的装置，其中：

所述一或多个处理器经配置以产生一组第二描述符，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者；

所述一或多个处理器经配置作为产生所述第一描述符的部分，使得所述一或多个处理器进行以下操作：

将第三语法元素包含于所述第一描述符中，所述第三语法元素指示基本流的数目；

将一组第一语法元素包含于所述第一描述符中；及

将一组第二语法元素包含于所述第一描述符中，其中：

所述一组第一语法元素中的第一语法元素的所述数目及所述一组第二语法元素中的第二语法元素的所述数目等于所述第三语法元素的值，

所述一组第一语法元素包含所述第一语法元素，

所述一组第二语法元素包含所述第二语法元素，

对于所述一组第一语法元素中的每一相应第一语法元素而言：

所述一组第二语法元素中的相应第二语法元素对应于所述相应第一语法元素，

所述一组第二描述符中的相应第二描述符具有等于所述相应第二语法元素的值的阶层分层索引值，

所述相应第一语法元素的所述第一值指定：

当由所述相应第二语法元素指示的基本流不存在于所述基本流列表中时，应将所述基本流添加至所述基本流列表中，及

当由所述相应第二描述符中的嵌入层索引指示的基本流不存在于所述操作点的所述基本流列表中时，应将所述基本流添加至所述基本流列表，及

所述相应第一语法元素的所述第二值指定当由所述相应第二语法元素指示的所述相应基本流不存在于所述基本流列表中时，应将所述相应基本流而非将由所述相应第二描述符中的所述嵌入层索引指示的所述相应基本流添加至所述基本流列表中。

24.根据权利要求23所述的装置，其中所述一或多个处理器经配置作为产生所述第一描述符的部分，使得所述一或多个处理器进行以下操作：

将一组语法元素包含于所述第一描述符中，所述一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述一组语法元素中的每一相应语法元素指示对应于所述一组语法元素中的所述相应语法元素的所述基本流是否为必要层，

其中将必要层定义为与输出层集合相关联的输出操作点中的层，所述层为所述输出层集合中的输出层或所述输出层集合中的输出层的参考层。

25.根据权利要求22所述的装置，其中所述一或多个处理器经配置作为产生所述第一描述符的部分，使得所述一或多个处理器进行以下操作：

将第一组语法元素包含于所述第一描述符中，所述第一组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第一组语法元素中的每一相应语法元素指示对应于所述第一组语法元素的所述相应语法元素的所述基本流是否为输出层；及

将第二组语法元素包含于所述第一描述符中，所述第二组语法元素中的每一相应语法元素对应于所述基本流列表中的相应基本流，所述第二组语法元素中的每一相应语法元素指示用于确定对应于所述第二组语法元素中的所述相应语法元素的所述基本流的配置文件、层次或层级的索引。

26.根据权利要求22所述的装置，其中：

所述一或多个处理器经进一步配置以将一组第二描述符包含于所述传输流中，所述一组第二描述符包含所述第二描述符，所述一组第二描述符中的每一相应第二描述符为阶层描述符或阶层扩展描述符中的一者，及

所述一或多个处理器经配置作为产生所述第一描述符的部分，使得所述一或多个处理器进行以下操作：

将一组第二语法元素包含于所述第一描述符中，其中：

所述一组第二语法元素包含所述第二语法元素，

所述一组第二语法元素中的每一相应第二语法元素指示存在于所述一组第二描述符中的描述符中的阶层分层索引值，且

所述一组第二语法元素受限，使得所述一组第二语法元素中无具有相同值的两个第二语法元素。