CN104054345A - 对用于视频译码的参数集和nal单元标头进行译码 - Google Patents

Abstract

在一实例中，例如视频编码器或视频解码器等视频译码器经配置以：对用于视频数据的一或多个层的视频参数集VPS进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；且至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。所述视频译码器可遵照高效率视频译码、多视图视频译码、可缩放视频译码或其它视频译码标准或视频译码标准的扩展对用于视频数据的所述VPS进行译码。所述VPS可包括指定用于视频数据在各种不同层(例如，视图、质量层或其类似者)内的相应序列的参数的数据。所述VPS的所述参数可提供相应视频数据如何进行译码的指示。

Description

对用于视频译码的参数集和NAL单元标头进行译码

本申请案主张以下各者的权益：

2012年1月14日申请的第61/586,777号美国临时申请案；

2012年1月16日申请的第61/587,070号美国临时申请案；

2012年1月19日申请的第61/588,629号美国临时申请案；

2012年4月23日申请的第61/637,195号美国临时申请案；以及

2012年4月24日申请的第61/637,774号美国临时申请案，所述申请案中的每一者全文以引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电传会议装置、视频串流发射装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第十部分(先进视频译码(AVC))界定的标准、目前在开发中的高效率视频译码(HEVC)标准和这些标准的扩展中所描述的视频译码技术。即将到来的HEVC标准的近期最新草案可于http：//phenix.int-evry.fr/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G1103-v3.zip获得。视频装置可通过实施这些视频译码技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频片段(即，视频帧或视频帧的一部分)可分被割成多个视频块，视频块也可被称为树型块、译码单元(CU)和/或译码节点。图片的帧内译码(I)片段的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(P或B)片段中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。

空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码的块根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残余数据来编码。经帧内译码的块根据帧内译码模式和残余数据来编码。为了进一步压缩，残余数据可自像素域变换到变换域，从而产生接着可被量化的残余变换系数。最初配置成二维阵列的经量化的变换系数可经扫描以便产生变换系数的一维向量，且可应用熵译码以实现更大压缩。

发明内容

大体来说，本发明描述用于对用于视频译码的参数集和网络抽象层(NAL)单元进行译码的技术。这些技术可应用于单层经译码数据(例如，二维视频数据)，以及可缩放视频译码(SVC)视频数据和多视图视频译码(MVC)视频数据。因此，所述参数集和所述NAL单元在各种类型的视频数据之间可相互兼容。举例来说，视频译码器(例如视频编码器或视频解码器)可对定义用于视频数据的一或多个层的参数的视频参数集(VPS)进行译码。所述层可对应于(例如)SVC层(具有各种帧速率、空间分辨率和/或质量水平)和/或MVC数据的视图(例如，自关于水平轴线的各种相机视角俘获的场景的图像的序列)。

在一个实例中，一种对视频数据进行译码的方法包括：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

在另一实例中，一种用于对视频数据进行译码的装置包括视频译码器(例如视频编码器或视频解码器)，所述视频译码器经配置以：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；且至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

在另一实例中，一种用于对视频数据进行译码的装置包括：用于对用于视频数据的一或多个层的视频参数集(VPS)进行译码的装置，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及用于至少部分地基于所述VPS对视频数据的所述一或多个层进行译码的装置。

在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使处理器进行以下操作：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

在附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优势将自所述描述和图式以及自权利要求书显而易见。

附图说明

图1为说明可利用用于对用于视频数据的一或多个层的参数集和网络抽象层(NAL)单元进行译码的技术的实例视频编码和解码系统的框图。

图2为说明可实施用于对用于视频数据的一或多个层的参数集和NAL单元进行译码的技术的视频编码器20的实例的框图。

图3为说明可实施用于对用于视频数据的一或多个层的参数集和NAL单元进行译码的技术的视频解码器30的实例的框图。

图4为说明实例MVC预测型样的概念图。

图5为说明视频参数集(VPS)和各种层参数集(LPS)的概念图。

图6为说明实例分组参数集(GPS)和GPS与其它参数集和片段标头的关系的概念图。

图7为说明根据本发明的技术用于编码视频数据的实例方法的流程图。

图8为说明根据本发明的技术用于解码视频数据的实例方法的流程图。

图9为说明至少部分地基于在VPS中用信号表示的时间层的数目对视频数据进行译码的实例方法的流程图。

图10为说明至少部分地基于在一或多个层中待重新排序的图片和待存储于经解码图片缓冲器中的图片的数目对视频数据进行译码的实例方法的流程图。

图11为说明至少部分地基于在VPS中用信号表示的假想参考解码器(HRD)参数对视频数据进行译码的实例方法的流程图。

图12为说明至少部分地基于在VPS中用信号表示的扩展数据对视频数据进行译码的实例方法的流程图。

具体实施方式

大体来说，本发明描述使用视频参数集(VPS)对视频数据进行译码。视频数据可在阶层上分类为包括多个层、给定层内的图片的序列、序列内的图片、图片内的多个片段和片段内的多个块(例如，宏块或译码树单元)。序列参数集(SPS)可用以用信号表示用于图片的序列的很少变化的参数，且图片参数集(PPS)可用以用信号表示用于个别图片的很少变化的参数。

根据本发明的技术，VPS可用信号表示用于跨相应层的多个序列的很少变化的参数。即，VPS可包括用于不同层的时间上共置的序列的集合的参数。不同层可包括(例如)多视图视频数据的不同视图、不同质量层、不同空间分辨率层、时间上可缩放的层(即，允许不同帧速率的层)及其类似者。以此方式，可为多个不同层提供一个VPS，以使得所述VPS用信号表示为相应层中的每一者(例如，相应层内的相应序列)所共有的参数。位流可据称包括所述多个层中的每一者，且所述相应层可形成相应子位流。此外，子位流可对应于两个或两个以上层的组合。

本发明描述可包括于VPS中的数据的各种实例。在一些实例中，此数据可包括相应层内的子层的数目(例如，子层的最大数目)的指示。举例来说，VPS可包括用信号表示时间层的数目和/或时间层的最大数目(例如，最高时间层指示符)的数据。

作为另一实例，另外或替代地，VPS可包括实质上类似于先前在SPS中用信号表示(即，在常规SPS中用信号表示)的任何数据的数据。以此方式，当位流的两个或两个以上层的序列包括实质上类似或相同的参数时，视频译码器可对VPS进行译码以用信号表示用于所述层的序列的参数，而非冗余地在不同层之间在各种序列的相应SPS中对此数据进行译码。

另外或替代地，VPS可包括定义视频可用性信息(VUI)的数据，例如视频表示信息、假想参数解码器(HRD)参数和/或位流限制信息。位流限制信息可包括关于运动向量范围、经解码图片缓冲器(DPB)大小(例如，关于待由DPB保存的图片的数目)、重新排序帧的数目(即，待自解码次序到显示次序重新排序的帧的数目的指示)、块(例如，宏块(MB)或译码树单元)的经译码大小和图片的经译码大小的限制。VPS可进一步提供用于一或多个VPS扩展的数据，以使得VPS可通过未来标准或扩展而扩展到即将到来的HEVC标准。

图1为说明可利用用于对用于视频数据的一或多个层的参数集和网络抽象层(NAL)单元进行译码的技术的实例视频编码和解码系统10的框图。如图1所示，系统10包括提供在稍后时间由目的地装置14解码的经编码视频数据的源装置12。特定来说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包含包括以下各者的广泛范围的装置中的任一者：桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓“智能”电话、所谓“智能”板的电话手机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频串流发射装置，或其类似者。在一些情况下，源装置12和目的地装置14可经配备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包含能够将经编码视频数据自源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包含通信媒体以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。经编码视频数据可根据例如无线通信协议等通信标准来调制且发射到目的地装置14。通信媒体可包含任何无线或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线。通信媒体可形成基于包的网络(例如，局域网、广域网，或例如因特网等全球网络)的一部分。通信媒体可包括路由器、交换器、基站或可用于促进自源装置12到目的地装置14的通信的任何其它设备。

在一些实例中，经编码数据可自输出接口22输出到存储装置。类似地，经编码数据可由输入接口自存储装置存取。存储装置可包括多种分散式或本地存取的数据存储媒体(例如，硬盘、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体)中的任一者。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由串流发射或下载而自存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包括网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地硬盘。目的地装置14可经由任何标准数据连接(包括因特网连接)存取经编码视频数据。此可包括无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的适合于存取存储于文件服务器上的经编码视频数据的组合。经编码视频数据自存储装置的发射可为串流发射、下载发射或两者的组合。

本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，所述多媒体应用例如空中(over-the-air)电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如，经由HTTP的动态自适应性串流发射(DASH))、编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频串流发射、视频播放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包括视频源18、视频编码器20和输出接口22。目的地装置14包括输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对用于视频数据的一或多个层的参数集和NAL单元进行译码的所述技术。在其它实例中，源装置和目的地装置可包括其它组件和配置。举例来说，源装置12可自外部视频源18(例如外部摄影机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包括集成式显示装置。

图1的所说明系统10仅为一个实例。用于对用于视频数据的一或多个层的参数集和NAL单元进行译码的技术可由任何数字视频编码和/或解码装置来执行。虽然通常通过视频编码装置来执行本发明的所述技术，但也可通过视频编码器/解码器(通常被称为“编解码器(CODEC)”)来执行所述技术。此外，还可通过视频预处理器来执行本发明的所述技术。源装置12和目的地装置14仅为这些译码装置的实例，在所述编码装置中，源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称的方式操作，以使得装置12、14中的每一者包括视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如，用于视频串流发射、视频播放、视频广播或视频电话。

源装置12的视频源18可包括视频俘获装置(例如，视频摄影机)、含有先前俘获的视频的视频档案和/或用以自视频内容提供者接收视频的视频馈送接口。作为另一替代，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频和计算机产生的视频的组合。在一些情况下，如果视频源18为视频摄影机，那么源装置12和目的地装置14可形成所谓的摄影机电话或视频电话。然而，如上文所提及，本发明中所描述的所述技术通常可适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可通过视频编码器20来编码经俘获、经预俘获或经计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包括暂态媒体(例如无线广播或有线网络发射)，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可自源装置12接收经编码视频数据，且(例如)经由网络发射将所述经编码视频数据提供到目的地装置14。类似地，媒体制造设施(例如光盘烫印设施)的计算装置可自源装置12接收经编码视频数据，且产生含有所述经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解为包括各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28自计算机可读媒体16接收信息。计算机可读媒体16的信息可包括通过视频编码器20定义的语法信息(其还通过视频解码器30定义)，语法信息包括描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包含多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频译码标准(例如，目前在开发中的高效率视频译码(HEVC)标准)来操作，且可遵照HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专属或工业标准(例如，替代地称为MPEG-4第十部分(先进视频译码(AVC))的ITU-T H.264标准)或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包括MPEG-2和ITU-T H.263。虽然图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包括适当MUX-DEMUX单元或其它硬件和软件以处置共同数据串流或不同数据串流中的音频和视频两者的编码。如果适用，则MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起阐明为被称为联合视频小组(JVT)的集体合作伙伴的产品。在一些方面中，本发明中所描述的技术可应用于通常遵照H.264标准的装置。H.264标准被描述于由ITU-T研究组提出且日期为2005年3月的ITU-T建议案H.264(用于通用视听服务的先进视频译码(Advanced Video Coding for generic audiovisual services))中，所述标准在本文中可被称为H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

视频编码器器20和视频解码器30可各自实施为多种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在使用一或多个处理器的硬件中执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包括于一或多个编码器或解码器中，其任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。

JCT-VC正致力于HEVC标准的开发。HEVC标准化努力基于视频译码装置的被称为HEVC测试模型(HM)的演进模型。HM根据(例如)ITU-T H.264/AVC假定视频译码装置相对于现有装置的若干额外能力。举例来说，尽管H.264提供九个帧内预测编码模式，但HM可提供多达三十三个帧内预测编码模式。

一般来说，HM的工作模型描述：视频帧或图片可划分成包括明度样本和色度样本两者的树型块或最大译码单元(LCU)的序列。位流内的语法数据可定义LCU的大小，在像素的数目方面，LCU为最大译码单元。片段以译码次序包括数个连续树型块。视频帧或图片分割成一或多个片段。每一树型块可根据四叉树分裂成多个译码单元(CU)。一般来说，四叉树数据结构包括每个CU一个节点，其中根节点对应于树型块。如果CU分裂成四个子CU，那么对应于CU的节点包括四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供相应CU的语法数据。举例来说，四叉树中的节点可包括分裂旗标，其指示对应于所述节点的CU是否分裂成子CU。CU的语法元素可递归地定义，且可视CU是否分裂成子CU而定。如果CU未进一步分裂，那么将所述CU称为叶CU。在本发明中，即使不存在原始叶CU的明显分裂，也将叶CU的四个子CU称为叶CU。举例来说，如果16×16大小的CU未进一步分裂，那么虽然16×16CU从未分裂，但也将四个8×8子CU称为叶CU。

除了CU不具有大小区别外，CU具有与H.264标准的宏块类似的用途。举例来说，树型块可分裂成四个子节点(也称为子CU)，且每一子节点又可为父节点且可分裂成另外四个子节点。最后的未分裂子节点(被称为四叉树的叶节点)包含也称为叶CU的译码节点。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数(被称为最大CU深度)，且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”来在HEVC的内容脉络下指代CU、PU或TU中的任一者，或在其它标准的内容脉络下指代类似数据结构(例如，H.264/AVC中的宏块及其子块)。

CU包括译码节点和与译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且其形状必须为正方形。CU的大小可在8×8个像素到高达最大为64×64个像素或更多像素的树型块的大小的范围内。每一CU可含有一或多个PU和一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式在CU以跳跃或直接模式编码、以帧内预测模式编码或是以帧间预测模式编码之间可能不同。PU在形状上可被分割为非正方形。与CU相关联的语法数据还可描述(例如)CU根据四叉树到一或多个TU的分割。TU在形状上可为正方形或非正方形(例如，矩形)。

HEVC标准允许根据TU的变换，所述变换对于不同CU可能不同。TU通常基于针对经分割LCU界定的给定CU内的PU的大小来设定大小，但情况可能并非始终如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用称为“残余四叉树”(RQT)的四叉树结构而再分为较小单元。RQT的叶节点可称为变换单元(TU)。与TU相关联的像素差值可经变换以产生可量化的变换系数。

叶CU可包括一或多个预测单元(PU)。一般来说，PU表示对应于相应CU的全部或一部分的空间区域，且可包括用于检索PU的参考样本的数据。此外，PU包括与预测有关的数据。举例来说，当PU以帧内模式编码时，用于PU的数据可包括于残余四叉树(RQT)内，所述数据可包括描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU以帧间模式编码时，PU可包括定义用于PU的一或多个运动向量的数据。定义用于PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包括一或多个变换单元(TU)。如上文所论述，可使用RQT(也称为TU四叉树结构)来指定变换单元。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。因而，每一变换单元可进一步分裂成子TU。当TU未进一步分裂时，所述TU也可称为叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共用同一帧内预测模式。即，通常应用同一帧内预测模式以计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式来计算每一叶TU的残余值，以作为对应于TU的CU部分与原始块之间的差异。TU未必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与同一CU的相应叶TU共置。在一些实例中，叶TU的最大大小可对应于相应叶CU的大小。

此外，叶CU的TU还可与称为残余四叉树(RQT)的相应四叉树数据结构相关联。即，叶CU可包括指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于树型块(或LCU)。RQT的未分裂的TU也称为叶TU。一般来说，本发明分别使用术语CU和TU来指代叶CU和叶TU，除非另有说明。

视频序列通常包括一系列视频帧或图片。图片群组(GOP)一般包含一系列一或多个视频图片。GOP可包括在GOP的标头中、图片中的一或多者的标头中或别处的描述包括于GOP中的图片的数目的语法数据。图片的每一片段可包括描述用于相应片段的编码模式的片段语法数据。视频编码器20通常对个别视频片段内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定的译码标准而在大小上不同。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2N×2N，HM支持2N×2N或N×N的PU大小的帧内预测，和2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一方向经分割成25％和75％。CU的对应于25％分割的部分由“n”继之以“上(U)”、“下(D)”、“左(L)”或“右(R)”的指示来指示。因此，举例来说，“2N×nU”指代经水平分割而在顶部具2N×0.5N PU且在底部具2N×1.5N PU的2N×2N CU。

在本发明中，“N×N”和“N乘N”可互换地使用以指代视频块在垂直维度和水平维度上的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在垂直方向上将具有16个像素(y＝16)，且在水平方向上将具有16个像素(x＝16)。同样，N×N块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按行和列来配置块中的像素。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包含N×M个像素，其中M不必等于N。

在使用CU的PU的帧内预测性译码或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包含描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后包含变换域中的系数。残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包括CU的残余数据的TU，且接着变换TU以产生CU的变换系数。

在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化通常指代量化变换系数以可能减少用以表示所述系数的数据的量，从而提供进一步压缩的过程。量化过程可减少与所述系数中的一些或所有系数相关联的位深度。举例来说，可在量化期间将n位值舍去到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而自包括经量化的变换系数的二维矩阵产生一维向量。扫描可经设计以使较高能量(且因此较低频率)系数处于阵列的前部且使较低能量(且因此较高频率)系数处于阵列的后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可进行熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描所述经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、机率区间分割熵(PIPE)译码或另一熵编码方法来对所述一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可与(例如)符号的相邻值是否为非零有关。为了执行CAVLC，视频编码器20可选择用于待发射符号的可变长度码。可构造VLC中的码字，以使得相对较短的码对应于机率较大的符号，而较长码对应于机率较低的符号。以此方式，较之于(例如)将相等长度码字用于待发射的每一符号，使用VLC可实现位节省。机率确定可基于指派给符号的上下文。

根据本发明的技术，视频译码器(例如视频编码器20或视频解码器30)可经配置以：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，且至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。将在下文更详细描述的表2和表5包括VPS的语法元素的实例集合。视频数据的所述一或多个层中的每一者可参考VPS，即，相同VPS。换句话说，VPS可应用于视频数据的共用集合的所有层，例如，所有SVC层和/或MVC视频数据的所有视图。

VPS可包括各种类别的信息。举例来说，VPS可包括样本维度计数描述(SDCD)。即，对于每一维度，视频译码器可用信号表示索引的集合。可能维度包括：cnt_p：经译码视频序列中所含的优先层的数目；cnt_d：位流中有多少不同相依层，具有相同空间分辨率和位深度的多个层可属于不同相依层；cnt_t：位流中有多少时间层；cnt_q：位流中的任何相依层的质量的最大数目；和cnt_v：视图的最大数目。位深度设定可包括8位或12位，且对于不同色彩分量可不同。色度取样格式可包括4∶0∶0、4∶2∶0和4∶4∶4。

VPS还可包括特性映射的样本索引。如果对于每一维度，特性指示符不等于0到(样本维度计数-1)的范围的索引，那么可引入回路以为每一特性索引指定特性指示符。针对每一相依索引，所述映射可包括具特定位深度值和特定色度样本格式的特定空间分辨率。注意，如果解码器处始终存在固定查找表，例如，0可对应于4∶2∶0，1可对应于4∶4∶4，且2可对应于4∶0∶0，那么可省略此回路。另外或替代地，映射可包括：对于每一时间index/id，特定帧速率或平均帧速率；对于每一视图索引，特定视图识别符；对于每一位深度索引，明度和色度的一对特定位深度值；和对于每一色度取样格式，特定色度取样格式指示符。

VPS还可包括例如以下各者的控制参数和工具启用/停用旗标：pcm_bit_depth_luma_minus1、pcm_bit_depth_chroma_minus1、loop_filter_across_slice_flag、pcm_loop_filter_disable_flag、temporal_id_nesting_flag、一或多个图像块相关语法元素，chroma_pred_from_luma_enabled_flag、sample_adaptive_offset_enabled_flag、adaptive_loop_filter_enabled_flag，和inter_4×4_enabled_flag。

VPS还可包括一或多个操作点描述。操作点通常描述包括于位流中的视频数据的视图的总数的子集。操作点可包括作为输出目标的特定数目个视图，以及在解码、输出或进行两者时可用作参考的其它视图。位流可包括操作点描述所描述的一或多个操作点。所述操作点描述可包括定义最大操作点的数目、不同层或视图之间的相依性、每一操作点的简档和层级、每一操作点的位速率、操作点之间的相依性、每一操作点的其它限制、每一操作点的视频可用性信息(VUI)或VUI的部分和/或关于每一层或视图的VUI或VUI的部分的信息。另外或在替代方案中，所述操作点描述可包括每一操作点的操作点视频译码层(VCL)网络抽象层(NAL)单元表示。在一些实例中，操作点VCL NAL单元表示可包括(例如)三个可能选择：(1)(例如)用于空间分辨率、用于位深度、用于色度取样格式的特定索引值；(2)所述索引值的范围：例如，对于时间层，0到最高时间层识别符，对于质量层，0到最高质量层识别符；或(3)索引值的列表，例如，对于视图，视图索引值的列表。

在一些实例中，VPS可包括指示位流的层中的时间层的最大数目的数据。即，视频编码器20和/或视频解码器30可经配置以对包括指示相应位流的时间层的最大数目的数据的VPS进行译码。举例来说，视频编码器20可确定时间层的最大数目，且编码VPS以包括表示时间层的经确定最大数目的数据，而视频解码器30可解码VPS以确定时间层的最大数目。视频编码器20和视频解码器30还可基于时间层的经确定最大数目而对位流的视频数据进行译码。举例来说，时间层的最大数目可影响表示各种时间层所需的时间识别符的数目。作为另一实例，时间层的最大数目可影响视频编码器20和视频解码器30借以对参考图片识别符(例如，使用图片次序计数(POC)值)进行译码的方式。

作为又一实例，视频编码器20和视频解码器30可经配置以仅使用直到(且包括)相同时间层的参考数据来对特定时间层的数据进行译码。换句话说，视频编码器20和视频解码器30可经配置以避免使用较高时间层的参考数据来对特定时间层的数据进行译码。以此方式，可确保视频解码器30准确地解码时间层的给定集合的视频数据，甚至在子位流提取之后也如此。因此，如果执行子位流提取，那么在经提取子位流的最高层以上的特定时间层将不可用于参考。通过仅参考当前层处或当前层以下的层的数据来对每一时间层的数据进行译码，可避免使特定层处的数据依赖于来自较高层的数据(其可由于子位流提取而丢失)而原本可能产生的错误。

在一些实例中，另外或替代地，VPS可包括指示将在位流的一或多个层中重新排序的图片的数目和/或待存储于经解码图片缓冲器(DPB)中的图片的数目中的任一者或两者的数据。如上文所说明，此数据可被称为位流限制信息。因此，目的地装置14可确定视频解码器30的能力，且使用所述位流限制信息确定相应位流对于由视频解码器30进行解码是否适当，或目的地装置14是否应(例如，自基于网络的内容提供者，假定可得到内容的多个版本)选择替代内容。

此外，视频编码器20和视频解码器30可在视频数据的译码期间使用所述位流限制信息。举例来说，视频编码器20可确保所述位流限制信息不被违反。即，假定所述位流限制信息指示至多N个图片将存储于DPB中，视频编码器20可确保在任何给定时间，不多于N个的图片将包括于一或多个参考图片列表的任何组合中。作为另一实例，假定图片重新排序信息指示图片将移位至多M个图片，视频编码器20可确保无图片移位M个图片以上。以此方式，图片的移位通常对应于图片的解码次序与显示次序之间的差异。同样，视频解码器30可在译码期间使用此信息(例如)以执行DPB管理，例如DPB清除。当对参考图片识别符值进行译码时，视频编码器20和视频解码器30还可使用位流限制信息，例如待存储于DPB中的图片的最大数目和/或待重新排序的图片的数目。

在一些实例中，另外或替代地，VPS包括指示假想参考解码器(HRD)参数的数据。HRD参数包括(例如)描述将自经译码图片缓冲器(CPB)移除数据的时间的数据。在解码器(例如视频解码器30)中，CPB表示在经译码视频数据准备好解码之前存储所述数据的缓冲器。解码器(例如视频解码器30)还可包括经解码图片缓冲器(DPB)，经解码视频数据存储于DPB中(例如)以用作经帧间预测的数据的参考数据且用于图片自解码次序到显示次序的重新排序。

所述HRD参数可包括指示特定图片何时将自CPB移除且加以解码的数据。因此，视频编码器20可编码VPS的HRD参数以指示图片何时可自CPB移除且加以解码，而视频解码器30可解码VPS的HRD参数以确定何时自CPB移除图片。同样，视频编码器20和视频解码器30可(例如)以通过所述HRD参数指示的译码次序来根据所述HRD参数对图片进行译码。以此方式，视频编码器20和/或视频解码器30可经配置以对包括HRD参数的VPS进行译码，且至少部分地基于所述HRD参数对对应于所述VPS的视频数据进行译码。

VPS还可包括指示VPS是否已扩展的扩展数据(例如)以为一或多个额外译码工具提供数据。这些译码工具可为不同于相应视频译码标准(例如，ITU-T H.264/AVC或即将到来的HEVC标准)的那些译码工具的工具。此外，这些译码工具可能需要配置数据。此配置数据可在VPS的扩展数据中提供。以此方式，当使用这些译码工具对视频数据进行译码时，视频编码器20和/或视频解码器30可对指示扩展数据是否存在的VPS进行译码，且如果扩展数据存在，那么对所述VPS的扩展数据进行译码。此外，当此扩展数据存在时，视频编码器20和/或视频解码器30可执行相应译码工具以使用所述扩展数据来对视频数据进行译码。

各种视频译码标准定义无错误位流的相应语法、语义和解码程序，其中的任一者符合特定简档或层级。视频译码标准通常不指定编码器，但编码器有保证所产生的位流对于解码器为标准兼容的任务。在视频译码标准的内容脉络下，“简档”对应于算法、特征或应用于算法、特征的工具和约束的子集。如H.264标准所定义，例如，“简档”为由H.264标准指定的完整位流语法的子集。“层级”对应于解码器资源消耗的限制，例如，与图片的分辨率、位速率和块处理速率有关的解码器存储器和计算。简档可用profile_idc(简档指示符)值用信号表示，而层级可用level_idc(层级指示符)值用信号表示。根据本发明的技术，简档和层级信息可在操作点描述中指定，如上文所论述。

在一些实例中，位流的每一层或视图参考视频参数集(VPS)，且分层序列参数集(LPS)对每一层来说可为作用中的。可通过参考所述设计中的VPS而将LPS保持为尽可能无足轻重的。LPS可包括下文所论述的信息的任一者或全部。LPS可包括针对每一维度指示到每一维度的索引的样本维度指示。举例来说，如果在VPS中，空间分辨率0的索引经指派到320×240的空间特性，且空间分辨率1的索引经指派到640×480，且当前层将经指派具有640×480的分辨率，那么视频编码器20和/或视频解码器30可针对当前层对具有值1的语法元素进行译码。即，视频编码器20可用信号表示用于语法元素的值1以指定640×480的分辨率，而视频解码器30可基于用于语法元素的值1来确定具有值1的语法元素的当前层具有640×480的分辨率。

LPS还可包括控制参数和工具启用/停用旗标。举例来说，所述控制参数和所述工具启用/停用旗标可包括pcm_bit_depth_luma_minus1、pcm_bit_depth_chroma_minus1、loop_filter_across_slice_flag、pcm_loop_filter_disable_flag、一或多个图像块相关语法元素、chroma_pred_from_luma_enabled_flag、sample_adaptive_offset_enabled_flag、adaptive_loop_filter_enabled_flag和译码单元(CU)阶层。

LPS可进一步包括应用于片段、片段的群组、图片或若干图片的其它类型的参数集的信息。这些参数集中的每一者可参考特定图片参数集(PPS)。

例如视频编码器20和视频解码器30等视频译码器可经配置以确保和/或确定PPS不参考LPS或VPS。因此，视频译码器可确保位流中的每一PPS不参考LPS或VPS。PPS的剖析可为独立的。当PPS包括与VPS或LPS的语法元素相同的语法元素中的一或多者时，PPS的语法元素可覆写VPS或LPS的语法元素。

视频译码器可经进一步配置以对将所有参数集分组在一起的分组参数集(GPS)进行译码。视频译码器可对GPS内的多个不同群组进行译码，每一群组具有个别GPS识别符(id)。GPS中的群组中的每一者可包括参数集的不同组合。以此方式，片段标头仅需包括对相应GPS识别符的参考，且不必包括参数集的类型的指示。2012年1月25日申请的第61/590,702号美国临时专利申请案也描述多个技术，其中不同类型的参数集被分组在一起且仅参数集分组RBSP的ID将在片段标头中较详细地用信号表示。

如上文所论述，例如视频编码器20或视频解码器30等视频译码器可经配置以对视频参数集和/或分组参数集进行译码。视频参数集的实例将关于图5进行更详细地论述，而分组参数集的实例将关于图6进行更详细地论述。

视频编码器20可(例如)在帧标头、块标头、片段标头或GOP标头中进一步将语法数据(例如基于块的语法数据、基于帧的语法数据和基于GOP的语法数据)发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相应帧的编码/预测模式。

视频编码器20和视频解码器30可各自实施为可适用的多种合适编码器或解码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包括于一或多个编码器或解码器中，其任一者可集成为组合式视频编码器/解码器(编解码器)的一部分。包括视频编码器20和/或视频解码器30的装置可包含集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

图2为说明可实施用于对用于视频数据的一或多个层的参数集和NAL单元进行译码的技术的视频编码器20的实例的框图。视频编码器20可执行视频片段内的视频块的帧内和帧间译码。帧内译码依靠空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。帧间模式(例如，单一方向预测(P模式)或双向预测(B模式))可指代若干基于时间的译码模式中的任一者。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包括模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包括运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为进行视频块重建，视频编码器20还包括反量化单元58、反变换单元60和求和器62。还可包括解块滤波器(图2中未图示)以对块边界进行滤波以自重建的视频移除方块效应假影。如果需要，解块滤波器通常可对求和器62的输出进行滤波。除解块滤波器外，还可使用额外滤波器(回路内或回路后)。为简单起见，未展示这些滤波器，但如果需要，这些滤波器可对求和器50(作为回路内滤波器)的输出进行滤波。

在编码过程期间，视频编码器20接收待译码的视频帧或片段。帧或片段可被分成多个视频块。运动估计单元42和运动补偿单元44相对于一或多个参考帧中的一或多个块执行当前所接收视频块的帧间预测性译码以提供时间预测。帧内预测模块46可替代地相对于与待译码的块相同的帧或片段中一或多个相邻块执行所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以为视频数据的每一块选择适当译码模式。

此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。举例来说，分割单元48最初可将帧或片段分割成多个LCU，且基于速率失真分析(例如，速率失真优化)而将所述LCU中的每一者分割成多个子CU。模式选择单元40可进一步产生指示LCU到子CU的分割的四叉树数据结构。四叉树的叶节点CU可包括一或多个PU和一或多个TU。

模式选择单元40可(例如)基于错误结果而选择译码模式中的一者(帧内或帧间)，且将所得的经帧内或帧间译码的块提供到求和器50以产生残余块数据且提供到求和器62以重建经编码块以用作为参考帧。模式选择单元40还将例如运动向量、帧内模式指示符、分割信息及其它此种语法信息的语法元素提供到熵编码单元56。

运动估计单元42和运动补偿单元44可高度集成，但为概念目的而单独说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示相对于在当前帧(或其它经译码单元)内译码的当前块，当前视频帧或图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测性块的移位。预测性块为经发现在像素差方面紧密匹配待译码的视频块的块，其可通过绝对差之和(SAD)、平方差之和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运动估计单元42可对于完整像素位置和分率像素位置执行运动搜寻，且输出具有分率像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码的片段中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算出的运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于通过运动估计单元42确定的运动向量来提取或产生预测性块。此外，在一些实例中，运动估计单元42和运动补偿单元44在功能上可集成。在接收到用于当前视频块的PU的运动向量时，运动补偿单元44可在参考图片列表中的一者中找出运动向量所指向的预测性块的位置。如下文所论述，求和器50通过自正译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。一般来说，运动估计单元42相对于明度分量执行运动估计，且运动补偿单元44将基于明度分量计算的运动向量用于色度分量和明度分量两者。模式选择单元40还可产生与视频块和视频片段相关联的语法元素以供视频解码器30在解码视频片段的视频块时使用。

帧内预测单元46可对当前块进行帧内预测，以作为如上所述的由运动估计单元42和运动补偿单元44执行的帧间预测的替代。特定来说，帧内预测单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可自经测试模式选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用各种经测试帧内预测模式的速率失真分析计算速率失真值，且在经测试模式中选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或错误)的量，以及用以产生经编码块的位速率(即，位的数目)。帧内预测模块46可根据各种经编码块的失真和速率计算比率以确定哪一帧内预测模式展现块的最佳速率失真值。

在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射的位流中包括配置数据，所述配置数据可包括多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称为码字映射表)、各种块的编码上下文的定义和最大机率帧内预测模式的指示、帧内预测模式索引表和经修改帧内预测模式索引表以用于所述上下文中的每一者。

视频编码器20通过自正在译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余视频，从而产生包含残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。

在任何情况下，变换处理单元52将所述变换应用于所述残余块，从而产生残余变换系数的块。所述变换可将残余信息自像素值域转换到变换域(例如频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位速率。量化过程可减少与所述系数中的一些或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包括经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAG)、机率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻小区。在通过熵编码单元56进行的熵译码之后，经编码位流可发射到另一装置(例如，视频解码器30)或经存档以供稍后发射或检索。

反量化单元58和反变换单元60分别应用反量化和反变换，以重建像素域中的残余块(例如)以供稍后用作为参考块。运动补偿单元44可通过将残余块加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于重建的残余块以计算次整数像素值以供在运动估计中使用。求和器62将重建的残余块加到由运动补偿单元44产生的运动经补偿的预测块以产生重建的视频块以存储于参考图片存储器64中。重建的视频块可由运动估计单元42和运动补偿单元44用作参考块来对后续视频帧中的块进行帧间译码。

视频编码器20可经进一步配置以对根据本发明的技术的视频参数集(VPS)、层参数集(LPS)和/或分组参数集，以及序列参数集(SPS)、图片参数集(PPS)、适应参数集(APS)或其它这些信令数据结构进行译码。更特定来说，熵编码单元56可经配置以对这些数据结构中的任一者或全部进行译码。就这些各种数据结构的参数可能影响译码性能来说，模式选择单元40可选择适当参数且将所述参数传递到熵编码单元56以便包括于(例如)VPS内。其它参数(例如，时间层的数目、待重新排序的图片的数目和待存储于经解码图片缓冲器中的图片的数目)可由用户(例如，管理员)来选择。在其它实例中，特定参数(例如HRD参数)可经由编码过程而出现。

熵编码单元56可对VPS进行译码以包括本发明所描述的各种类型的数据的任一者或全部。视频编码器20还可根据VPS的参数来对数据进行编码。更特定来说，视频编码器20可根据VPS的参数来对VPS所对应的视频数据的一或多个层之间的图片的序列进行译码。

以此方式，图2的视频编码器20表示视频编码器的实例，所述视频编码器经配置以：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；且至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

虽然大体关于视频编码器进行描述，但VPS的编码可通过其它装置(例如，媒体感知网络元件(MANE))执行。MANE可对应于源装置(例如图1的源装置12)与目的地装置(例如目的地装置14)之间的网络元件。MANE可经配置以根据本发明的技术对VPS进行编码。MANE可使用通过MANE接收的其它数据结构(例如，序列参数集)的数据产生VPS。

图3为说明可实施用于对用于视频数据的一或多个层的参数集和NAL单元进行译码的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包括熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考图片存储器82和求和器80。参考图片存储器82也可称为“经解码图片缓冲器”或DPB。视频解码器30在一些实例中可执行与关于视频编码器20(图2)描述的编码遍次大体上互反的解码遍次。运动补偿单元72可基于自熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于自熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30自视频编码器20接收表示经编码视频片段的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70对所述位流进行熵解码以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频片段层级和/或视频块层级接收语法元素。

当视频片段经译码为帧内译码(I)片段时，帧内预测单元74可基于信令的帧内预测模式和来自当前帧或图片的先前经解码块的数据来产生用于当前视频片段的视频块的预测数据。当视频帧经译码为帧间译码(即，B、P或GPB)片段时，运动补偿单元72基于自熵解码单元70接收的运动向量及其它语法元素来产生用于当前视频片段的视频块的预测性块。所述预测性块可根据参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于参考图片存储器82中的参考图片使用预设建构技术来建构参考帧列表(列表0和列表1)。

运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频片段的视频块的预测信息，且使用所述预测信息产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收的语法元素中的一些确定用以对视频片段的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测片段类型(例如，B片段、P片段或GPB片段)、用于片段的参考图片列表中的一或多者的构造信息、用于片段的每一经帧间编码视频块的运动向量、用于片段的每一经帧间译码视频块的帧间预测状态和用以解码当前视频片段中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算用于参考块的次整数像素的内插值。在此情况下，运动补偿单元72可根据所接收的语法元素确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。

反量化单元76反量化(即，去量化)提供于位流中且由熵解码单元80解码的经量化的变换系数。反量化过程可包括将由视频编码器30计算的量化参数QPY用于视频片段中的每一视频块以确定量化的程度和(同样地)应应用的反量化的程度。反变换单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生用于当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的相应预测性块相加而形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。如果需要，还可应用解块滤波器来对经解码块进行滤波以便移除方块效应假影。其它回路滤波器(在译码回路中或在译码回路之后)还可用以使像素转变平滑或以其它方式改进视频质量。给定帧或图片中的经解码视频块接着被存储于存储用于后续运动补偿的参考图片的参考图片存储器82中。参考图片存储器82还存储经解码视频以供稍后呈现于显示装置(例如图1的显示装置32)上。

根据本发明的技术，视频解码器30可解码根据本发明的技术的视频参数集(VPS)、层参数集(LPS)和/或分组参数集，以及序列参数集(SPS)、图片参数集(PPS)、适应参数集(APS)或其它这些信令数据结构。更特定来说，熵解码单元70可经配置以解码这些数据结构中的任一者或全部。通过解码这些各种数据结构，熵解码单元70可确定将用于解码相应视频数据的参数。举例来说，视频解码器30可使用经解码VPS的参数来解码一或多个层的视频数据的相应序列。

尽管图3中未展示，但视频解码器30可另外包括经译码图片缓冲器(CPB)。CPB通常可设置于熵解码单元70之前。或者，CPB可耦合到熵解码单元70以用于临时存储，或处于熵解码单元70的输出端处以用于存储经熵解码的数据，直到此数据将被解码。一般来说，CPB存储经译码视频数据，直到经译码视频数据将被解码(例如，如视频解码器30可自经解码VPS提取的HRD参数所指示)。同样，视频解码器30的其它元件可经配置以使用(例如)VPS来解码视频数据。举例来说，视频解码器30可解码用于各种时间层的图片的时间识别符，指示待重新排序和/或待存储于参考图片存储器82(表示DPB)中的图片的数目的数据。

此外，视频解码器30可包括用于根据通过视频译码标准的扩展提供的各种译码工具来处理视频数据的额外处理单元。或者，图3中所展示的视频解码器30的现有元件可经配置以执行这些扩展的译码工具。熵解码单元70可经配置以解码VPS扩展数据，且将此扩展数据提供到经配置以执行通过所述扩展提供的译码工具的单元。

以此方式，图3的视频解码器30表示视频解码器的实例，所述视频解码器经配置以：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；且至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

虽然大体关于视频解码器进行描述，但VPS的解码可通过其它装置(例如，媒体感知网络元件(MANE))执行。MANE可经配置以根据本发明的技术解码VPS。MANE可使用VPS的数据进一步产生其它参数集数据，例如一或多个序列参数集。以此方式，MANE可提供与先前标准(例如ITU-T H.264/AVC)的向后兼容性。

图4为说明实例MVC预测型样的概念图。多视图视频译码(MVC)为ITU-TH.264/AVC的扩展。类似技术可应用于HEVC。在图4的实例中，说明八个视图(具有视图ID“S0”到“S7”)，且针对每一视图说明十二个时间位置(“T0”到“T11”)。即，图4中的每一行对应于视图，而每一列指示时间位置。

图4中展示用于多视图视频译码的典型MVC预测(包括每一视图内的图片间预测和视图间预测两者)结构，其中预测由箭头来指示，箭头指向的物件使用箭头出发的(point-from)物件用于预测参考。在MVC中，视图间预测由不均等运动补偿(disparitymotion compensation)支持，不均等运动补偿可使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。

两个视图的译码还可通过MVC来支持，且MVC的优点中的一者为MVC编码器可选取两个以上视图作为3D视频输入且MVC解码器可解码此多视图表示。因此，具有MVC解码器的任何呈现器可经配置以接收具有两个以上视图的3D视频内容。

虽然MVC具有由H.264/AVC解码器可解码的所谓基本视图且立体视图对也可通过MVC支持，但MVC的一个优点在于MVC可支持使用两个以上视图作为三维视频输入且解码由所述多个视图表示的此三维视频的实例。用户端的具有MVC解码器的呈现器可期待具有多个视图的三维视频内容。

典型MVC解码次序被称为时间优先译码(time-first coding)。存取单元可包括一个输出时间例项的所有视图的经译码图片。举例来说，时间T0的图片中的每一者可包括于共同存取单元中，且时间T1的图片中的每一者可包括于第二共同存取单元中，等等。解码次序不必等于输出或显示次序。

图4中的帧使用包括字母的阴影块展示于图4中的每一列与每一行的相交处，字母指示相应帧为经帧内译码的(即，I帧)或在一个方向上经帧间译码(即，P帧)或在多个方向上经帧间译码(即，作为B帧)。一般来说，通过箭头来指示预测，其中箭头指向的帧将箭头出发的物件用于预测参考。举例来说，视图S2的时间位置T0处的P帧根据视图S0的时间位置T0处的I帧来预测。

如同单视图视频编码，可对多视图视频译码视频序列的帧相对于不同时间位置处的帧进行预测性编码。举例来说，视图S0的时间位置T1处的b帧具有自视图S0的时间位置T0处的I帧指向所述b帧的箭头，此指示所述b帧根据所述I帧预测。然而，另外，在多视图视频编码的内容脉络下，可以视图间方式预测帧。即，视图分量可使用其它视图中的视图分量作为参考。在MVC中，例如，实现视图间预测，好像另一视图中的视图分量为帧间预测参考。可能的视图间参考是在序列参数集(SPS)MVC扩展中用信号表示且可通过参考图片列表建构过程加以修改，所述过程能够实现帧内预测或视图间预测参考的灵活排序。

在H.264/AVC的MVC扩展中，作为一实例，视图间预测由不均等运动补偿支持，不均等运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作为参考图片。两个视图的译码可由MVC来支持，此通常被称为立体视图。MVC的优点之一在于，MVC编码器可选取两个以上视图作为三维视频输入且MVC解码器可解码此多视图表示。因此，具有MVC解码器的呈现装置可期待具有两个以上视图的三维视频内容。

在MVC中，在同一存取单元(即，具有相同时间例项)中的图片之间允许视图间预测(IVP)。存取单元通常为包括用于共同时间例项的所有视图分量(例如，所有NAL单元)的数据单元。因此，在MVC中，在同一存取单元中的图片之间准许视图间预测。当对非基本视图中的一者中的图片进行译码时，如果所述图片在不同视图中但具有相同时间例项(例如，相同POC值，且因此在同一存取单元中)，那么可将所述图片添加到参考图片列表中。正如任何帧间预测参考图片一样，可将视图间预测参考图片置于参考图片列表的任何位置中。

在多视图视频译码的内容脉络下，存在两种运动向量。一种运动向量为指向时间参考图片的普通运动向量，且将相应帧间预测模式称为经运动补偿预测(MCP)。另一种运动向量为指向不同视图中的图片的不均等运动向量，且将相应视图间预测模式称为经不均等补偿预测(DCP)。

在常规HEVC中，存在用于预测运动参数的两个模式：一个模式为合并模式，且另一模式为先进运动向量预测(AMVP)。在合并模式中，构造运动参数(参考图片和运动向量)的候选列表，其中候选者可来自空间或时间相邻的块。空间上和时间上相邻的块可形成候选列表，即，运动预测信息可选自的候选者的集合。因此，视频编码器20可通过将索引译码到候选列表中来对经选择作为运动预测信息的运动参数进行译码。在视频解码器30已解码索引之后，可以合并模式继承索引指向的相应块的所有运动参数。

在AMVP中，根据常规HEVC，基于经译码参考索引来导出用于每一运动假设的运动向量预测子的候选列表。此列表包括与相同参考索引相关联的相邻块的运动向量，以及基于时间参考图片中的共置块的相邻块的运动向量导出的时间运动向量预测子。通过将索引发射到候选列表中来用信号表示所选运动向量。另外，还用信号表示参考索引值和运动向量差。

图4提供视图间预测的各种实例。在图4的实例中，将视图S1的帧说明为根据视图S1的处于不同时间位置处的帧预测，且根据视图S0和S2的处于相同时间位置处的帧的帧以视图间方式预测。举例来说，视图S1在时间位置T1处的b帧根据视图S1在时间位置T0和T2处的B帧以及视图S0和S2在时间位置T1处的b帧中的每一者预测。

在图4的实例中，大写字母“B”和小写字母“b”希望指示帧之间的不同阶层关系，而非不同编码技术。一般来说，大写字母“B”帧在预测阶层上相对高于小写字母“b”帧。图4还说明使用不同阴影水平的预测阶层的变化，其中较大量阴影(即，相对较暗)帧在预测阶层上高于具有较少阴影的(即，相对较亮)帧。举例来说，用全阴影说明图4中所有I帧，而P帧具有稍微较亮的阴影，且B帧(和小写字母b帧)相对于彼此具有各种阴影水平，但始终比P帧和I帧的阴影亮。

一般来说，预测阶层与视图次序索引相关，相关之处在于预测阶层相对较高的帧应在解码阶层相对较低的帧之前进行解码，以使得阶层相对较高的那些帧可在阶层相对较低的帧的解码期间用作参考帧。视图次序索引为指示存取单元中的视图分量的解码次序的索引。如H.264/AVC的附录H(MVC修正)中所指定，视图次序索引暗示于SPS MVC扩展中。在SPS中，对于每一索引i，用信号表示相应view_id。在一些实例中，视图分量的解码应遵循视图次序索引的递升次序。如果呈现所有视图，那么视图次序索引将为自0到num_views_minus_1的连续次序。

以此方式，用作为参考帧的帧可在参考参考帧编码的帧之前予以解码。视图次序索引为指示存取单元中的视图分量的解码次序的索引。对于视图次序索引i，用信号表示相应view_id。视图分量的解码遵循视图次序索引的递升次序。如果呈现所有视图，那么视图次序索引的集合可包含自零到比视图的全部数目小1的连续排序集合。

对于处于阶层的相同层级的特定帧，解码次序相对于彼此来说并不重要。举例来说，使用视图S0在时间位置T0处的I帧作为视图S2在时间位置T0处的P帧的参考帧，视图S2在时间位置T0处的P帧又被用作视图S4在时间位置T0处的P帧的参考帧。因此，应在视图S2在时间位置T0处的P帧之前解码视图S0在时间位置T0处的I帧，应在视图S4在时间位置T0处的P帧之前解码视图S2在时间位置T0处的P帧。然而，在视图S1与视图S3之间，解码次序并不重要，这是因为视图S1和视图S3并不依赖于彼此来预测，而是仅根据预测阶层较高的视图来预测。此外，可在视图S4之前解码视图S1，只要视图S1在视图S0和视图S2之后解码即可。

以此方式，阶层排序可用以描述视图S0到视图S7。令记法SA＞SB意味着视图SA应在视图SB之前进行解码。使用此记法，在图4的实例中，S0＞S2＞S4＞S6＞S7。并且，相对于图4的实例，S0＞S1、S2＞S1、S2＞S3、S4＞S3、S4＞S5且S6＞S5。不违反这些要求的用于视图的任何解码次序是可能的。因此，许多不同解码次序是可能的，但仅具有特定限制。

根据本发明的技术，可将视图S0到S7中的每一者视为相应位流的相应层。因此，VPS可描述位流的可应用于视图S0到S7中的任一者或全部的参数，同时可针对视图S0到S7中的任一者或全部提供个别层参数集。另外，可针对参数集的群组提供分组参数集，以使得视图S0到S7的个别图片内的片段仅参考分组参数集的识别符。

如图4中所示，视图分量可使用其它视图中的视图分量作为参考。此被称为视图间预测。在MVC中，实现视图间预测，好像另一视图中的视图分量为帧间预测参考。视频编码器20和视频解码器30可对序列参数集(SPS)MVC扩展中的可能视图间参考(如表1的实例中所展示)进行译码。视频编码器20和视频解码器30可通过执行参考图片列表建构过程来进一步修改所述可能视图间参考，所述过程可能能够实现帧间预测或视图间预测参考的灵活排序。

表1

在表1中所展示的SPS MVC扩展中，对于每一视图，用信号表示可用以形成参考图片列表0和参考图片列表1的视图的数目。如在SPS MVC扩展中用信号表示，用于锚定图片的预测关系可不同于用于同一视图的非锚定图片(在SPS MVC扩展中用信号表示)的预测关系。

视频译码标准包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包括标准的可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

另外，存在新的视频译码标准，即正由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)。HEVC的近期最新工作草稿(WD)(且在下文中被称为HEVC WD4)可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v3.zip(表示为HEVC WD4d1)获得。

序列和图片参数集机制自经译码块数据的发射分离出(decouple)很少变化的信息的发射。在一些应用中，序列和图片参数集可使用可靠传送机制进行“频带外”传递。图片参数集原始字节序列有效负载(RBSP)可包括可由一或多个经译码图片的经译码片段网络抽象层(NAL)单元参考的参数。序列参数集RBSP可包括可由一或多个图片参数集RBSP或含有缓冲周期补充增强信息(SEI)消息的一或多个SEI NAL单元参考的参数。序列参数集RBSP可包括可由一或多个图片参数集RBSP或含有缓冲周期SEI消息的一或多个SEI NAL单元参考的参数。

序列参数集可包括被称作视频可用性信息(VUI)的参数的可选集合。VUI可包括以下三个类别的可选信息：视频表示信息，假想参考解码器(HRD)信息，和位流限制信息。视频表示信息包括纵横比、色彩空间变换相关信息、相对于明度的色度相移和帧速率。HRD包括用于经译码视频序列的视频缓冲参数。位流限制参数包括关于运动向量范围、经解码图片缓冲器(DPB)大小和重新排序帧的数目和块(例如，宏块或译码单元(CU))和图片的经译码大小的限制。

HEVC WD5包括支持适应参数集(APS)。适应参数集(APS)的概念还可见于可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F747-v4.zip获得的JCTVC-F747中。

统一NAL单元标头可用于HEVC非可缩放位流以及遵照HEVC的可能可缩放或多视图扩展的可缩放位流两者。统一NAL单元标头可不同于以下方面中的当前HEVC NAL单元标头：对于一个完整经译码视频序列可能存在固定NAL单元标头长度，而所述长度可跨不同经译码视频序列改变；和NAL单元标头中的可缩放性语法元素的有效译码，且当不需要特定语法元素时，特定语法元素不必存在。在此设计中，不同NAL单元类型或参数集可用于整个位流。

图5为说明视频参数集(VPS)和各种层参数集(LPS)的概念图。图5中的第二LPS之后的省略号希望指示可存在任何数目(N)个VPS，其中N为整数。举例来说，每一层(例如，每一SVC层或MVC视图)可具有相应LPS。例如视频编码器20或视频解码器30等视频译码器可经配置以对VPS和一或多个LPS进行译码，例如图5中所说明的VPS和LPS。

下文的表2提供VPS的实例原始字节序列有效负载(RBPS)语法。

表2

视频译码器可经配置以使得经译码视频序列(例如，包括一或多个层的位流)仅可具有一个有效视频参数集(VPS)。VPS可囊封于特定类型的NAL单元内。举例来说，用于VPS RBSP的nal_unit_type可为10。下文将描述表2的VPS的实例语义：

在此实例中，video_para_set_id识别相应视频参数集(VPS)。

在此实例中，cnt_p指定存在于相应经译码视频序列中的priority_id值的最大数目。

在此实例中，cnt_d指定存在于相应经译码视频序列中的相依层的最大数目。具有相同分辨率的多个视图可被视为属于同一相依层。两个相依层可具有相同空间分辨率。

在此实例中，cnt_t指定存在于经译码视频序列中的时间层的最大数目。

在此实例中，cnt_q指定存在于经译码视频序列中的相依层中的质量层的最大数目。

在此实例中，cnt_v指定存在于经译码视频序列中的视图的最大数目。

在此实例中，cnt_f指定NAL单元标头中用以表示reserved_flags语法元素的位的数目。

在此实例中，pic_width_in_luma_samples[i]和pic_height_in_luma_samples[i]分别以明度样本为单位指定第i个相依层分辨率的宽度和高度。

在此实例中，bit_depth_luma_minus8[i]+8和bit_depth_chroma_minus8[i]+8指定第i个位深度表示的明度和色度分量的位深度。

在此实例中，chroma_format_idc[i]指定第i个色度样本格式表示的色度样本格式。举例来说，等于0的值可指示4∶2∶0；等于1的值可指示4∶4∶4，等于2的值可指示4∶2∶2，且等于3的值可指示4∶0∶0。

在此实例中，average_frame_rate[i]以每256秒的帧数为单位指定第i个时间层表示的平均帧速率。

在此实例中，view_id[i]指定具有等于i的视图次序索引的第i个视图的视图识别符。当不存在时，view_id[0]的值可推断为0。等于0的vps_extension_flag指定无vps_extension_data_flag语法元素存在于视频参数集RBSP语法结构中。vps_extension_flag在遵照即将到来的HEVC标准的位流中可等于0。可保留用于vps_extension_flag的值1(例如)以供ITU-T|ISO/IEC未来使用。例如视频解码器30等解码器可忽视视频参数集NAL单元中在vps_extension_flag的值1之后的所有数据。

在此实例中，vps_extension_data_flag可具有任何值。vps_extension_data_flag不影响对即将到来的HEVC标准中所指定的简档的遵循，且允许所述即将到来的标准的进一步开发。

VPS中的其它语法元素可具有与在当前HEVC工作草案的SPS中具有相同名称的语法元素相同的语义。那些语法元素可应用于参考此VPS的经译码视频序列，除非被较低层级参数集覆写。

在一些实例中，可在VPS中进一步用信号表示3DV_flag以指示深度是否存在于经译码视频序列中。

在一些实例中，在LPS中用信号表示VUI参数。

在一些实例中，语法元素cnt_p、cnt_t、cnt_d、cnt_q和cnt_v分别指定用以对priority_id、temporal_id、dependency_id、quality_id和view_idx进行译码的位的数目，且在VPS中还可用信号表示存在于经译码视频序列中的priority_id值、时间层、相依层、质量层和视图的最大数目。

在一些实例中，可引入任何类型的NAL单元以含有语法元素cnt_p、cnt_t、cnt_d、cnt_q、cnt_v和cnt_f。此新NAL单元类型还可包括识别符(ID)，且在VPS中可参考ID。

在一些实例中，在VPS中未用信号表示表2中的自log2_max_pic_order_cnt_lsb_minus4到inter_4×4_enabled_flag的语法元素，但替代地，视频编码器20和视频解码器30可对LPS中的这些语法元素进行译码。

在一些实例中，表2的operation_point_desription()语法结构未包括于VPS中；替代地，视频编码器20和视频解码器30或其它元件(例如，输出接口22和/或输入接口28)可在补充增强信息(SEI)消息中对operation_point_desription()语法结构中的内容进行译码。

在一些实例中，视频编码器20和视频解码器30可对VPS中的视频可用性信息(VUI)参数进行译码。举例来说，VPS可包括指定位流限制信息的数据，例如关于运动向量范围、DPB大小、重新排序帧的数目和块(例如，宏块或CU)和图片的经译码大小的限制。以此方式，VPS可指定指示视频解码器(例如视频解码器30)为了正确解码相应位流(即，包括VPS的位流)所需的DPB大小的信息。同样，VPS可指定图片重新排序信息，即，按解码次序可在给定图片之前和按输出次序(即，显示次序)接在给定图片后面的图片的数目。

另外或替代地，VPS可包括指定假想参考解码器(HRD)信息的数据。如上文所指出，视频编码器20和/或视频解码器30可对VPS中的可包括HRD信息的VUI参数进行译码(即，用信号表示)。因此，VPS可包括描述(例如)相应位流的操作点的数据。举例来说，VPS可包括描述以下各者中的一或多者的数据：最大操作点的数目、不同层或视图之间的相依性、每一操作点的简档和层级信息、用于每一操作点的操作点VCL NAL单元表示、用于每一操作点的位速率、操作点之间的相依性、每一操作点的限制、用于每一操作点的VUI或部分VUI，和/或用于每一层或视图的VUI或部分VUI。

针对每一维度，VPS还可包括：特定索引值、索引值的范围，或索引值的列表。举例来说，当VPS包括描述特定索引值的数据时，就空间分辨率来说，索引值可对应于色度取样格式的位深度。作为另一实例，当VPS包括索引值的范围时，对时间层来说，所述范围可包含零(0)到最高时间层ID，且对质量层来说，所述范围可包含零(0)到最高质量层ID。作为又一实例，当VPS包括描述索引值的列表的数据时，所述列表可包含多个视图的视图索引值的列表。

在一些实例中，视频编码器20可编码(即，用信号表示)一或多个表示格式参数(宽度、高度、位深度等)且视频解码器可解码一或多个表示格式参数(宽度、高度、位深度等)，且可存在表示格式参数的不同集合。层或操作点因而可参考表示格式参数的此集合的索引。在下文的表3中展示用于此集合的语法设计的实例。

表3

在一些实例中，可改为在层参数集中用信号表示ref_format_idx。

下文的表4提供用于操作点描述的实例语法。

表4

下文论述表4的语法元素的语义的实例：

在此实例中，num_operation_point_minus1+1指定操作点的最大数目，所述操作点存在于经译码视频序列中，且关于所述操作点的操作点信息通过以下语法元素而用信号表示。

在此实例中，op_profile_level_idc[i]、operation_point_id[i]、priority_id[i]、num_target_output_views_minus1[i]、frm_rate_info_present_flag[i]、avg_bitrate[i]、max_bitrate[i]、max_bitrate_calc_window[i]、constant_frm_rate_idc[i]和num_directly_dependent_views[i]具有与H.264的视图可缩放性信息SEI消息中具有相同名称的语法元素相同的语义。

在此实例中，quality_id[i]和dependency_id[i]可具有与H.264的可缩放性信息SEI消息中具有相同名称的语法元素相同的语义。

在此实例中，directly_dependent_view_idx[i][j]指定当前操作点的目标输出视图所直接依赖于的第i个视图在当前操作点的表示内的视图索引。

在此实例中，num_ref_views[i]指定解码具有等于i的视图次序索引的视图分量中的初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的视图分量的数目。在此实例中，num_ref_views[i]的值不应大于Min(15，num_views_minus1)。在一些实例中，num_ref_views[0]的值等于0。

在此实例中，ref_view_idx[i][j]指定解码具有等于i的视图次序索引的视图分量中的初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的第j个视图分量的视图次序索引。在此实例中，ref_view_idx[i][j]的值应在0到31的范围内，包括0和31。

在一些实例中，作为替代，可缩放性信息SEI消息(例如，如H.264中所描述)中的语法元素中的某些(例如，层相依性信息有关的语法元素)可包括于表4的operation_points_description()语法结构中。

在一些实例中，视频编码器20和/或视频解码器30可对表4的operation_points_description()语法结构中的某些VUI参数进行译码(即，用信号表示)。

下文的表5提供视频参数集的替代语法：

表5

下文论述表5的视频参数集的语法的语义的实例。一般来说，下文未论述的类似命名的语法元素可具有与上文参考表2所论述相同的语义。其它语法元素的语义可如下。

在此实例中，bit_equal_to_one等于1(即，二进制“1”值)。

在此实例中，等于0的extention_type指示多个视图层可存在于位流中。在此实例中，等于1的extension_type指定多个相依层和/或质量层可存在于位流中。

在此实例中，num_rep_formats_minus1+1指定此视频参数集所支持的不同集合表示格式的最大数目，表示格式包括经译码视频序列中的位深度和色度格式(即，bit_depth_luma_minus8、bit_depth_chroma_minus8和chroma_format_idc值的集合)、图片分辨率和裁剪窗信息。num_rep_formats_minus1的值可在0到X的范围内，包括0和X。视频编码器20和视频解码器30可根据bit_depth_luma_minus8、bit_depth_chroma_minus8和chroma_format_idc来对用于基础层的位深度和色度格式的集合进行译码，且根据语法元素bit_depth_luma_minus8[i]、bit_depth_chroma_minus8[i]和chroma_format_idc[i]的以下集合用信号表示用于增强层的位深度和色度格式的集合。

视频编码器20和视频解码器30可根据bit_depth_luma_minus8、bit_depth_chroma_minus8、chroma_format_idc、pic_width_in_luma_samples、pic_height_in_luma_samples、pic_cropping_flag、pic_crop_lefi_offset、pic_crop_right_offset、pic_crop_top_offset和pic_crop_bottom_offset来对表示格式的第一集合进行译码。

在此实例中，bit_depth_luma_minus8[i]、bit_depth_chroma_minus8[i]和chroma_format_idc[i]分别指定经译码视频序列中的bit_depth_luma_minus8、bit_depth_chroma_minus8和chroma_format_idc值的第i个集合。

在此实例中，pic_width_in_luma_samples[i]和pic_height_in_luma_samples[i]分别以使用第i个表示格式的明度样本为单位指定每一经解码图片的宽度和高度。

在此实例中，针对表示格式的第i个集合，关于用于输出的图片坐标中所指定的矩形区域，pic_cropping_fiag[i]pic_crop_lefi_offset[i]、pic_crop_right_offset[i]、pic_crop_top_offset[i]和pic_crop_bottom_offset[i]指定经译码视频序列中自解码过程输出的图片的样本。

在此实例中，rep_format_idx[i]指定编索引到应用于layer_id等于i的层的额外位深度和色度格式的集合的值。layer_id等于i的层的bit_depth_luma_minus8、bit_depth_chroma_minus8和chroma_format_idc的值可分别等于bit_depth_luma_minus8[rep_format_idx[i]]、bit_depth_chroma_minus8[rep_format_idx[i]]和chroma_fonnat_idc[rep_format_idx[i]]。rep_format_idx[i]的值应在0到X的范围内，包括0和X。

在此实例中，dependency_id[i]指定layer_id等于i的层的相依性识别符。dependency_id[i]可在0到X的范围内，包括0和X。当不存在时，dependency_id[i]可推断为0。当num_directly_dependent_layers[i]大于0时，dependency_id[i]可等于或大于layer_id等于i的层所依赖的任何层的相依性识别符。

在此实例中，quality_id[i]指定layer_id等于i的层的相等性识别符。quality_id[i]可在0到X的范围内，包括0和X。当不存在时，quality_id[i]可推断为0。当num_directly_dependent_layers[i]大于0时，quality_id[i]可等于或大于layer_id等于i的层所依赖且具有等于dependency_id[i]的相依性识别符的任何层的相依性识别符。

在此实例中，num_short_term_ref_pic_sets指定在视频参数集中指定的短期参考图片集合的数目。num_short_term_ref_pic_sets的值可在0到64的范围内，包括0和64。

在此实例中，等于1的depth_included_flag指示当前3DV操作点含有深度。在此实例中，等于0的depth_included_flag指示当前3DV操作点不含深度。

在下文的表6中提供表5的视图相依性元素的实例语法：

表6

下文的表7定义数据的实例集合，其中每一非基本视图的视图相依性在序列层级中直接用信号表示。

表7

在此实例中，num_ref_views[i]指定解码具有等于i的视图次序索引的视图分量中的初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的视图分量的数目。在此实例中，num_ref_views[i]的值不大于Min(15，num_views_minus1)。在此实例中，num_ref_views[0]的值等于0。

在此实例中，ref_view_idx[i][j]指定解码具有等于i的视图次序索引的视图分量中的初始参考图片列表RefPicList0和RefPicList1中用于视图间预测的第j个视图分量的视图次序索引。在此实例中，ref_view_idx[i][j]的值在0到31的范围内，包括0和31。

如上文所述，特定类型的NAL单元(例如，NAL单元类型10)可用以囊封视频参数集。NAL单元语法可如下文的表8的实例中所示而修改。

表8

在此实例中，相对于常规NAL单元语法，添加“if(nal_unit_type！＝10”语句内的元素。在此实例中，用以用信号表示语法元素priority_id、temporal_id、dependency_id、quality_id和view_idx的位的数目分别为Ceil(log2(cnt_p))、Ceil(log2(cnt_t))、Ceil(log2(cnt_d))、Ceil(log2(cnt_q))和Ceil(log2(cnt_v))。同样，在此实例中，当语法元素priority_id、temporal_id、dependency_id、quality_id和view_idx中的任一者不存在时，所述语法元素的值经推断为等于0。

除了如上文相对于位的数目和可进行的推断所定义，表8的语法元素的语义可定义如下。priority_id、dependency_id和quality_id的语义可如ITU-T H.264/AVC的SVC扩展中所定义。temporal_id的语义可如HEVC的WD4中所定义。在此实例中，reserved_one_bit等于1。reserved_one_bit的值0可由HEVC标准的未来扩展指定。例如视频解码器30等解码器可经配置以忽略reserved_one_bit的值。

在此实例中，view_idx指定视图的视图次序索引。view_idx的语义可与ITU-TH.264/AVC的MVC扩展中所指定的语法元素“视图次序索引”相同。

在此实例中，reserved_flags的每一位等于1。reserved_flags的其它值可由即将到来的HEVC标准的未来扩展指定。例如视频解码器30等解码器可经配置以忽略reserved_flags的值，除非解码器经配置以根据将语义指派给reserved_flags的位的扩展而操作。在此实例中，用以表示reserved_flags的位的数目为reserved_flags_len。

在此实例中，reserved_bits的每一位等于1。reserved_bits的其它值可由即将到来的HEVC标准的未来扩展指定。例如视频解码器30等解码器可经配置以忽略reserved_bits的值，除非解码器再次根据此未来扩展而配置。在此实例中，用以表示reserved_bits的位的数目为((m+7＞＞3)＜＜3)-m。

下文的表9提供层参数集的实例语法。在一些实例中，相同语法可用于图5的LPS中的每一者。

表9

下文描述表9的LPS语法的语义的实例。不同层(例如，MVC中的不同视图或SVC中的不同层)可参考不同LPS。同一相依性层中的不同质量层可共用相同LPS。同一相依性层中的不同时间层可共用相同LPS。或者，不同视图可参考相同LPS，且不同相依性层可参考相同LPS。

在此实例中，等于1的depth_flag指定，LPS应用于由LPS NAL单元的temporal_id、dependency_id、quality_id和view_idx的值识别的深度表示。等于0的depth_flag指定，LPS应用于由LPS NAL单元的temporal_id、dependency_id、quality_id和view_idx的值识别的纹理表示。

在此实例中，layer_para_set_id指定当前层参数集(LPS)的id。dependency_id和view_idx的值分别相同的不同层参数集共用layer_para_set_id的一个值空间，此意味着具有depencey_id和view_idx的不同组合的不同LPS可具有layer_para_set_id的相同值。

或者，所有LPS可共用所述一个值空间，此意味着每一LPS具有layer_para_set_id的不同值。

在此实例中，vps_id识别此层参数集所参考的视频参数集。

在此实例中，等于0的lps_extension_flag指定无lps_extension_data_flag语法元素存在于层参数集RBSP语法结构中。在此实例中，lps_extension_flag在遵照即将到来的HEVC标准的位流中可等于0。可保留用于lps_extension_flag的值1以供ITU-T|ISO/IEC未来使用。例如视频解码器30等解码器可忽视层参数集NAL单元中在lps_extension_flag的值1之后的所有数据。

在此实例中，lps_extension_data_flag可具有任何值，且不影响对即将到来的HEVC标准中所指定的简档的遵守。

其它语法元素可具有与HEVC WD的SPS中的具有相同名称的语法元素相同的语义，但仅适用于参考此LPS的图片。

LPS可含于NAL单元中，NAL单元的标头可根据上文的表8定义。以下语法元素在所述语法元素与LPS相关联时具有以下稍微经修改的语义。

在此实例中，priority_id等于参考此LPS的所有NAL单元的priority_id值的最小值。

在此实例中，temporal_id等于参考此LPS的所有NAL单元的temporal_id的最小值。

在此实例中，dependency_id等于参考此LPS的所有NAL单元的dependency_id。

在此实例中，quality_id等于参考此LPS的所有NAL单元的quality_id的最小值。

在此实例中，v_idx为当前LPS的视图索引。参考此LPS的所有图片可具有view_id[v_idx]的视图识别符。

或者，以上语法元素可在层参数集语法表中直接用信号表示，如表10的实例中所展示。可根据下文的表9来设计较详细语法表。在此情况下，那些语法元素不在LPS的NAL单元标头中，且LPS的剖析可依赖于ID等于vps_id的VPS。

表10

在此情况下，LPS不必具有重复以上语法元素的NAL单元标头。假设囊封LPS的NAL单元的NAL单元类型为(例如)5，NAL单元标头语法可如表ll中所展示经稍微修改，此在表8的“if”语句中添加例外“&&nal_unit_type！＝5”：

表11

在其它实例中，视频编码器20和视频解码器30可使用固定长度译码来对可缩放特性相关的语法元素进行译码，如下文的表12的实例中所展示。

表12

下文的表13提供用于根据本发明的技术的图片参数集(PPS)的语法的实例。在此实例中，与常规HEVC的PPS相反，图片参数集不必用信号表示“seq_parameter_set_id”。

表13

下文描述表13的PPS的语义的实例。

在此实例中，等于0的pps_extension_flag指定无pps_extension_data_flag语法元素存在于图片参数集RBSP语法结构中。在此实例中，pps_extension_flag在遵照即将到来的HEVC标准的位流中等于0。可保留用于pps_extension_flag的值1以供ITU-T|ISO/IEC未来使用。例如视频解码器30等解码器可忽视图片参数集NAL单元中在pps_extension_flag的值1之后的所有数据。

在此实例中，pps_extension_data_flag可具有任何值。pps_extension_data_flag无需影响对即将到来的HEVC标准中所指定的简档的遵守。pps_extension_data_flag的值的语义可在HEVC标准或所述标准的扩展的进一步开发中进行指派，从而不与本发明的技术冲突。

在本发明的技术中，无序列参数集识别符或层参数集识别符必须在PPS中用信号表示。可将PPS中的某些其它语法元素移动到LPS。即，视频编码器20和/或视频解码器30可经配置以对包括类似于表13中所展示的语法元素的数据的一或多个LPS进行译码。

图6为说明实例分组参数集(GPS)和GPS与其它参数集和片段标头的关系的概念图。在此实例中，其它参数集包括LPS、SPS、PPS、类型0的适应参数集(APS)(例如，用信号表示自适应性回路滤波器(ALF)参数的APS)、类型1的APS(例如，用信号表示量化矩阵的APS)及其它参数集。在此实例中，GPS包括各自具有唯一GPS ID(也称为群组ID)的多个不同群组，其中每一群组通过参数集ID来指示各种参数集中的每一者的特定群组。以此方式，片段标头仅需指定group_id以指定对应于具有所述group_id的群组的参数集中的每一者。

下文的表14和表15提供分组参数集RBSP的语法的替代实例。

表14

表15

例如视频编码器20和视频解码器30等视频译码器可经配置以根据(例如)表14或表15来对分组参数集进行译码。在下文提供分组参数集的语法的语义的实例。

在此实例中，number_signalled_para_set_groups_minus1+1指定用信号表示的参数群组的数目。此值可在0到30的范围内，包括0和30。

在此实例中，para_set_group_id[i]指定第i个用信号表示的参数集群组的识别符。para_set_group_id[i]的值应在0到31的范围内，包括0和31。

在此实例中，para_set_type_id[i][j]指定用于第i个参数集群组的第j个参数集类型的识别符。

在此实例中，lps_id[i]指示由群组识别符为para_set_group_id[i]的参数集群组参考的层参数集的识别符。layer_para_set_id等于lps_id[i]的LPS的dependency_id和view_idx的值可等同于参数集群组NAL单元的dependency_id和view_idx的各自的值。

参数集分组RBSP的dependency_id和view_idx的值存在于表14和表15的实例中的此RBSP的NAL单元标头中，且LPS的dependency_id和view_idx的值可存在于此LPS的NAL单元标头中或存在于LPS的语法表中。

或者，layer_para_set_id等于lps_id[i]的LPS的dependency_id和view_idx的值可不等于参数集群组NAL单元各自的dependency_id和view_idx的值。

在此实例中，pps_id[i]指示由群组识别符为para_set_group_id[i]的参数集群组参考的图片参数集的识别符。

在此实例中，aps_id[i]指示由群组识别符为para_set_group_id[i]的参数集群组参考的适应参数集的识别符。

在此实例中，等于0的gps_extension_fiag指定无gps_extension_data_flag语法元素存在于参数集分组RBSP语法结构中。gps_extension_flag在遵照即将到来的HEVC标准的位流中可等于0。可保留用于gps_extension_fiag的值1以供ITU-T|ISO/IEC未来使用。例如视频解码器30等解码器可忽视参数集分组NAL单元中在gps_extension_fiag的值1之后的所有数据。一般来说，gps_extension_data_flag可具有任何值。gps_extension_data_flag无需影响对即将到来的HEVC标准中所指定的简档的遵守。

在一些实例中，para_set_type_id[i][j]可改为aps_id[i][j]，其具有与上文所描述的aps_id[i]类似的语义。

如图6所示，替代参考片段标头中的图片参数集ID，根据本发明的技术，片段标头可参考参数集群组ID，从而间接地参考LPS、PPS和每一类型的APS(例如，提供ALF参数和量化矩阵的APS)。

当VCL NAL单元(含有经译码片段)(例如)基于H.264/AVC设计原理而间接参考参数集时，视频译码器可启动视频参数集或层参数集。

在一些实例中，可通过特定类型的NAL单元而非通过经译码片段来启动参数集。举例来说，此特定类型的NAL单元类型(参数集启动NAL单元)(如果存在于位流中)可启动一个且恰好一个VPS。在各种替代方案中，另外，此类型的NAL单元可启动至少一LPS。另外，此类型的NAL单元可启动至少一PPS。另外，此类型的NAL单元可启动至少一APS。参数集启动NAL单元可为分组参数集RBSP。参数集启动(PSA)NAL单元可适用于一个经译码视频序列。可将PSA NAL单元视为非VCL NAL单元，即，不直接与视频译码器相关。PSA NAL单元的NAL单元标头语法可与VPS NAL单元相同。

在一些实例中，PSA NAL单元(如果存在于存取单元中)可在存取单元的第一VCLNAL单元前面。在经译码视频序列(例如，IDR图片)的第一存取单元中可存在至少一PSANAL单元。同一经译码视频序列中的多个PSA NAL单元可含有相同VPS id；因此，在同一经译码视频序列内无需启动不同视频参数集。PSA NAL单元(如果存在于存取单元中)可在任何LPS、PPS、APS或SEI NAL单元(如果存在)前面。VPS NAL单元(如果存在于存取单元中)可在任何LPS、PPS、APS或SEI NAL单元(如果存在)前面。在各种替代方案中，另外，PSA NAL单元(如果存在于存取单元中)可在VPS NAL单元(如果存在)前面。

在一些实例中，例如视频编码器20和视频解码器30等视频译码器可经配置以将表16的语法用于序列参数集(SPS)(与(例如)HEVC的常规SPS语法相对比)。

表16

表16的实例SPS消除来自常规SPS语法的profile_idc、reserved_zero_8bits、level_idc、chroma_format_idc、separate_colour_plane_flag和相应有条件“if”，max_temporal_layers_mimis1、pic_width_in_luma_samples、pic_height_in_luma_samples、pic_cropping_flag、pic_crop_lefi_offset、pic_crop_right_offset、pic_crop_top_offset和pic_crop_bottom_offset和相应有条件“if”语句，bit_depth_luma_minus8、bit_depth_chroma_minus8、num_short_term_ref_pic_sets和short_term_ref_pic_set(i)和相应有条件“if”语句。此外，表16的SPS添加video_parameter_set_id和rep_format_idx。其它剩余语法元素的语义可与常规HEVC中所定义的语义相同。添加元素video_parameter_set_id和rep_format_idx的语义可定义如下。

在此实例中，video_parameter_set_id识别由当前SPS参考的视频参数集(VPS)。或者，无需用信号表示video_parameter_set_id，且GPS可用以将SPS链接到特定VPS。

在此实例中，rep_format_idx指定到在所参考视频参数集中用信号表示的表示格式的索引。

作为再一替代方案，表17提供分组参数集的语法的另一实例。假定，在此实例中，视频参数集ID语法元素不存在于SPS语法中，如上所述。

表17

表17的语法元素的语义可定义如下：

在此实例中，gps_id指定群组参数集(GPS)的识别符。

在此实例中，vps_id指定GPS所参考的视频参数集的识别符。

在此实例中，sps_id指定GPS所参考的序列参数集的识别符。

在此实例中，pps_id指定GPS所参考的图片序列参数集的识别符。

在此实例中，num_ref_aps_ids指定following ref_aps_id[i]语法元素的数目。num_ref_aps_ids的值应在0到4的范围内，包括0和4。

在此实例中，ref_aps_id[i]识别群组参数集所参考的第i个适应参数集。

ref_aps_id[i]的相同值可存在于回路中一次以上，且因此，来自相同APS的APS参数的一个以上类型可供相同GPS参考且可应用于参考所述GPS的经译码片段。

在此实例中，ref_aps_param_type[i]指定包括于群组参数集所参考的第i个适应参数集中的APS参数的类型。ref_aps_parame_type[i]的值可在0到3的范围内，包括0和3。ref_aps_parame_type[i]的0到3(包括性)的值分别对应于缩放列表、解块滤波器、样本适应性偏移(SAO)和ALF的APS参数类型。在一些实例中，ref_aps_parame_type[i]的值对于i的任意两个不同值不应相等。

在此实例中，等于0的gps_extension_flag指定无gps_extension_data_flag语法元素存在于参数集分组RBSP语法结构中。gps_extension_flag在遵照即将到来的HEVC标准的位流中可等于0。可保留用于gps_extension_fiag的值1以供ITU-T|ISO/IEC未来使用。例如视频解码器30等解码器可忽视参数集分组NAL单元中在gps_extension_flag的值1之后的所有数据。

在此实例中，gps_extension_data_flag可具有任何值。gps_extension_data_flag无需影响对即将到来的HEVC标准中所指定的简档的遵守。

当GPS根据表17指定或实质上遵照表17的实例时，例如视频编码器20和视频解码器30等视频译码器可应用以下过程来启动用于单层或单视图位流的参数集。

适应参数集RBSP可包括可经由供经译码片段NAL单元参考的一或多个群组参数集间接地供一或多个经译码图片的经译码片段NAL单元参考的参数。在解码过程的操作开始时，每一适应参数集RBSP最初可被视为不在作用中。对每一类型的APS参数来说，在解码过程的操作期间的任何给定时刻，至多一个适应参数集RBSP可被视为在作用中，且用于特定类型的APS参数的任何特定适应参数集RBSP的启动导致用于所述特定类型的APS参数的先前作用中适应参数集RBSP(如果存在)的撤销启动。

当适应参数集RBSP(具有特定值aps_id)对特定类型的ASP参数来说不在作用中且所述适应参数集RBSP经由供经译码片段NAL单元参考的群组参数集间接地供用于所述类型的APS参数(使用aps_id的值)的经译码片段NAL单元参考时，可针对所述特定类型的APS参数启动所述适应参数集RBSP。此适应参数集RBSP被称作用于所述特定类型的APS参数的作用中适应参数集RBSP，直到其由于用于所述特定类型的APS参数的另一适应参数集RBSP的启动而被撤销启动。具有特定值aps_id的适应参数集RBSP可在其启动之前用于解码过程。

图片参数集RBSP可包括可经由供经译码片段NAL单元参考的一或多个群组参数集间接地供一或多个经译码图片的经译码片段NAL单元参考的参数。在解码过程的操作开始时，每一图片参数集RBSP最初可被视为不在作用中。在解码过程的操作期间的任何给定时刻，至多一个图片参数集RBSP可被视为在作用中，且任何特定图片参数集RBSP的启动导致先前作用中图片参数集RBSP(如果存在)的撤销启动。

当图片参数集RBSP(具有特定值pic_parameter_set_id)不在作用中且所述图片参数集RBSP经由供经译码片段NAL单元参考的群组参数集间接地供经译码片段NAL单元参考(使用pic_parameter_set_id的值)时，可启动所述图片参数集RBSP。将此图片参数集RBSP称作作用中图片参数集RBSP，直到此图片参数集RBSP由于另一图片参数集RBSP的启动而被撤销启动。具有特定值pic_parameter_set_id的图片参数集RBSP可在其启动之前用于解码过程。

用于经译码图片的作用中图片参数集RBSP的含有pic_parameter_set_id的值的任何图片参数集NAL单元可具有与经译码图片的作用中图片参数集RBSP的内容相同的内容，除非所述图片参数集NAL单元跟在经译码图片的最后一个VCL NAL单元之后且在另一经译码图片的第一VCL NAL单元之前。

序列参数集RBSP可包括可经由供经译码片段NAL单元参考的一或多个群组参数集间接地供一或多个经译码图片的经译码片段NAL单元参考或可供含有缓冲周期SEI消息的一或多个SEI NAL单元参考的参数。在解码过程的操作开始时，每一序列参数集RBSP最初可被视为不在作用中。在解码过程的操作期间的任何给定时刻，至多一个序列参数集RBSP可被视为在作用中，且任何特定序列参数集RBSP的启动导致先前作用中序列参数集RBSP(如果存在)的撤销启动。

当序列参数集RBSP(具有seq_parameter_set_id的特定值)尚未在作用中且经由供经译码片段NAL单元参考的群组参数集间接地供经译码片段NAL单元参考(使用seq_parameter_set_id的所述值)或供含有缓冲周期SEI消息的SEI NAL单元参考(使用seq_parameter_set_id的所述值)时，可启动所述序列参数集RBSP。将此序列参数集RBSP称作作用中序列参数集RBSP，直到此序列参数集RBSP由于另一序列参数集RBSP的启动而被撤销启动。具有特定值seq_parameter_set_id且含于temporal_id等于0的存取单元内的序列参数集RBSP可在其启动之前用于解码过程。已启动的序列参数集RBSP对于整个经译码视频序列应保持在作用中。

视频参数集RBSP可包括可经由供经译码片段NAL单元参考的一或多个群组参数集间接地供一或多个经译码图片的经译码片段NAL单元参考或可供含有缓冲周期SEI消息的一或多个SEI NAL单元参考的参数。在解码过程的操作开始时，每一视频参数集RBSP最初可被视为不在作用中。在解码过程的操作期间的任何给定时刻，至多一个视频参数集RBSP可被视为作用中，且任何特定视频参数集RBSP的启动导致先前作用中视频参数集RBSP(如果存在)的撤销启动。

当视频参数集RBSP(具有video_parameter_set_id的特定值)尚未在作用中且经由供经译码片段NAL单元参考的群组参数集间接地供经译码片段NAL单元参考(使用video_parameter_set_id的所述值)或供含有缓冲周期SEI消息的SEI NAL单元参考(使用video_parameter_set_id的所述值)时，可启动所述视频参数集RBSP。将此视频参数集RBSP称作作用中视频参数集RBSP，直到此视频参数集RBSP由于另一视频参数集RBSP的启动而被撤销启动。具有特定值video_parameter_set_id且含于temporal_id等于0的存取单元内的视频参数集RBSP应在其启动之前用于解码过程。已启动的视频参数集RBSP对于整个经译码视频序列应保持在作用中。

用于经译码视频序列的作用中序列参数集RBSP的含有seq_parameter_set_id的值的任何序列参数集NAL单元可具有与经译码视频序列的作用中序列参数集RBSP的内容相同的内容，除非所述序列参数集NAL单元跟在经译码视频序列的最后一个存取单元之后且在另一经译码视频序列的第一VCL NAL单元和含有缓冲周期SEI消息(当存在时)的第一SEI NAL单元之前。

用于经译码视频序列的作用中视频参数集RBSP的含有video_parameter_set_id的值的任何视频参数集NAL单元可具有与经译码视频序列的作用中视频参数集RBSP的内容相同的内容，除非所述视频参数集NAL单元跟在经译码视频序列的最后一个存取单元之后且在另一经译码视频序列的第一VCL NAL单元和含有缓冲周期SEI消息(当存在时)的第一SEI NAL单元之前。

关于视频参数集、序列参数集、图片参数集和适应参数集中的语法元素的值(和自所述语法元素导出的变数的值)与其它语法元素之间的关系所表达的所有约束为仅可应用于每一特定类型的APS参数的作用中视频参数集、作用中序列参数集、作用中图片参数集和作用中适应参数集的约束的表达。如果存在在位流中未启动的任何视频参数集RBSP，那么在所述视频参数集RBSP在其它符合位流中通过参考而启动的情况下，所述视频参数集RBSP的语法元素可具有将遵照指定约束的值。如果存在在位流中未启动的任何序列参数集RBSP，那么在所述序列参数集RBSP在其它符合位流中通过参考而启动的情况下，所述序列参数集RBSP的语法元素可具有将遵照指定约束的值。如果存在在位流中未启动的任何图片参数集RBSP，那么在所述图片参数集RBSP在其它符合位流中通过参考而启动的情况下，所述图片参数集RBSP的语法元素可具有将遵照指定约束的值。如果存在在位流中未启动的任何适应参数集RBSP，那么在所述适应参数集RBSP在其它符合位流中通过参考而启动的情况下，所述适应参数集RBSP的语法元素可具有将遵照指定约束的值。

在解码过程的操作期间，用于每一类型的APS参数的作用中视频参数集、作用中序列参数集、作用中图片参数集和作用中适应参数集的参数的值可被视为有效的。为了解译SEI消息，对用于同一存取单元中的经译码图片的VCL NAL单元的解码过程的操作来说在作用中的视频参数集、序列参数集、图片参数集和适应参数集的参数的值可被视为有效的，除非SEI消息语义中另有指定。

图7为说明根据本发明的技术的用于编码视频数据的实例方法的流程图。虽然关于视频编码器20进行描述，但应理解，其它视频编码装置可经配置以执行图7的方法。

最初，在此实例中，视频编码器20接收包括原始视频数据的一或多个层的位流(100)。举例来说，视频源18(图1)可将多视图视频数据提供到视频编码器20。或者，视频编码器20或其预处理器可将原始视频位流分成多个各种层，例如，空间分辨率层、质量层、时间层或其类似者。在其它实例中，可将位流分割成各种层的组合，例如，视图、空间分辨率层、质量层、时间层或其类似者的任何组合。

视频编码器20可确定用于一组层中的相应序列的一或多个共同参数(102)。相应序列可为不同层中的具有相应时间位置的序列。即，具有开始时间T1(关于显示时间)和结束时间T2(也关于显示时间)的第一序列以及也具有开始时间T1和结束时间T2的第二序列可被称为相互对应。特定来说，第一序列可形成第一层的部分，且第二序列可形成第二不同层的部分。“序列”可包括呈解码次序的一系列连续图片，例如，以解码次序自瞬时解码再新(IDR)图片开始且恰在后续IDR图片之前结束。一般来说，参数可对应于一或多个层(例如，N个层，其中N为整数)的相应序列的集合。视频编码器20可接着编码包括用于所述经确定参数的数据的VPS(104)。举例来说，视频编码器20可对对应于表2或表5的实例中的一者的VPS进行译码。

视频编码器20还可确定用于一个层内的序列的共同参数(106)。所述序列可包含对应于其它层中的其它序列的序列中的一者，VPS针对所述序列而译码。视频编码器20可对包括用于所述序列的所述共同参数的序列参数集(SPS)进行译码(108)。因此，应理解，VPS和SPS为单独数据结构且对应于不同类型的视频数据。而VPS可对应于多个层中的相应序列的集合，SPS对应于一个层中的一个序列。SPS可实质上遵照H.264/AVC的SPS，H.264/AVC的SPS通过MVC(在上文的表1中说明)、即将到来的HEVC标准或上文所描述的表16的实例来扩展。另外，视频编码器20可对用于序列中的图片的图片参数集(PPS)进行译码(110)。PPS可实质上遵照H.264/AVC的SPS、即将到来的HEVC标准或上文所描述的表13的实例。虽然图7的方法展示仅一个PPS的译码，但应理解，可对多个PPS进行译码。一或多个图片可参考同一PPS。

视频编码器20可接着确定对SPS和PPS进行译码所针对的最近层是否为最后一个层(112)。如果最后一个层尚未经寻址(112的“否”分支)，那么视频编码器20选择下一层且(例如)根据步骤106-110对用于所述下一层的SPS和一或多个PPS进行译码。在最后一个层已经寻址(112的“是”分支)之后，视频编码器20可基于VPS、SPS和PPS的数据来编码各种层的视频数据。将在下文参看图9到图12更详细地描述至少部分地基于VPS对视频数据进行译码的各种实例。

尽管图7的实例中未展示，但在一些实例中，视频编码器20可另外编码一或多个LPS和/或一或多个GPS，如上所述。LPS可实质上遵照表9、表10或表12的实例，而GPS可实质上遵照表14、表15或表17的实例。在这些实例中，视频编码器20至少部分地基于LPS和/或GPS来对视频数据进行译码。

以此方式，图7的方法表示一方法的实例，所述方法包括：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

图8为说明根据本发明的技术的用于解码视频数据的实例方法的流程图。虽然关于视频解码器30进行描述，但应理解，其它视频解码装置可经配置以执行图8的方法。

最初，视频解码器30接收包括用于经译码视频数据的多个层的VPS、一或多个SPS和一或多个PPS的位流(120)。视频解码器30可接着解码包括用于一或多个层中的相应序列的共同参数的VPS(122)。同样，视频解码器30可解码包括用于一个层的序列的共同参数的序列参数集(124)。此外，视频解码器30可解码包括用于所述序列的图片的参数的图片参数集(126)。如上文所论述，一或多个图片可参考相同PPS，且因此，PPS的参数可被视为为一或多个图片所共有。同样，虽然图8中未展示，但视频解码器30可解码用于所述序列的多个PPS。

此外，视频解码器30可确定最近层是否为待寻址的最后一个层(128)。如果最近层并非最后一个层(128的“否”分支)，那么视频解码器30可进行到根据步骤124和126解码用于后续层的SPS和一或多个PPS。另一方面，如果最近层为最后一个层(128的“是”分支)，那么视频解码器30可进行到基于VPS、SPS和PPS解码所述层的视频数据(130)。将参看图9到图12更详细地论述至少部分地基于VPS对视频数据进行译码的实例。

尽管图8的实例中未展示，但在一些实例中，视频解码器30可另外解码一或多个LPS和/或一或多个GPS，如上所述。LPS可实质上遵照表9、表10或表12的实例，而GPS可实质上遵照表14、表15或表17的实例。在这些实例中，视频解码器30还至少部分地基于LPS和/或GPS来解码视频数据。

以此方式，图8的方法表示一方法的实例，所述方法包括：对用于视频数据的一或多个层的视频参数集(VPS)进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

图9说明至少部分地基于在VPS中用信号表示的时间层的数目对视频数据进行译码的实例方法的流程图。图9的方法可由视频编码器20和/或视频解码器30执行。出于例示目的，关于视频解码器30来描述图9的方法。

在此实例中，视频解码器30对指示视频数据中的时间层(例如，VPS所对应的一或多个层)的数目的VPS进行译码(即，解码)(150)。举例来说，视频解码器30可解码“cnt_t”，如上文关于表2所描述。作为另一实例，视频解码器30可解码num_temporal_layers_minus1，如上文关于表5所描述。

基于此指示，在此实例中，视频解码器30解码所述时间层中的每一者的时间识别符(152)。同样，视频解码器30可基于时间层的数目确定参考图片识别符值(154)。举例来说，视频解码器30可经配置以确定对于层N处的当前图片，当前图片不将层N+1上或以上的图片用作参考。因此，视频解码器30可确定层N上或层N以下的层上的可能参考图片的识别符。此外，视频解码器30可使用直到(且包括)层N的层的参考数据解码时间层N上的图片的数据(156)。因此，图9表示方法的实例，所述方法包括对指示视频数据的一或多个层中的时间层的最大数目的VPS的数据进行译码，以及至少部分地基于所述VPS对所述一或多个层进行译码。

图10为说明至少部分地基于在一或多个层中待重新排序的图片和待存储于经解码图片缓冲器中的图片的数目来对视频数据进行译码的实例方法的流程图。图10的方法可由视频编码器20和/或视频解码器30执行。出于例示目的，关于视频解码器30来描述图10的方法。

在此实例中，视频解码器30解码指示在给定时间在视频数据的一或多个层中待重新排序的图片的数目和待存储于经解码图片缓冲器(例如，参考图片存储器82)中的图片的数目的VPS(160)。举例来说，视频解码器30可解码VPS的实质上对应于如上文关于表16所描述的num_reorder_pics的语法元素和/或指定DPB大小的位流限制信息。在其它实例中，VPS可仅包括待重新排序的图片的数目和待存储于经解码图片缓冲器中的图片的数目中的一者或另一者，且不必包括所述两者。视频解码器30可接着基于待重新排序和/或待存储的图片的数目管理经解码图片缓冲器(例如，参考图片存储器82)(162)。举例来说，当多于待存储的图片的数目的图片存储于参考图片存储器82中时，视频解码器30可自参考图片存储器82移除图片。

视频解码器30还可基于DPB中(即，参考图片存储器82中)的图片的数目确定参考图片识别符值(164)。此外，视频解码器30可基于所述参考图片识别符值解码图片的数据(166)。因此，图10的方法表示包括对VPS的指示在一或多个层的解码期间将存储于经解码图片缓冲器(DPB)中的图片的数目的数据进行译码的方法和包括对VPS的指示在一或多个层中的至少一者中待重新排序的帧的数目的数据进行译码的方法的实例。

图11为说明至少部分地基于在VPS中用信号表示的假想参考解码器(HRD)来对视频数据进行译码的实例方法的流程图。图11的方法可由视频编码器20和/或视频解码器30执行。出于例示目的，关于视频解码器30来描述图11的方法。

在此实例中，视频解码器30解码指示HRD参数的VPS(170)。视频解码器30可基于所述HRD参数进一步确定来自经译码图片缓冲器(CPB)的图片的移除时间(172)。视频解码器30可接着基于所述经确定的移除时间而自所述CPB移除数据(174)，且解码自所述CPB移除的数据。因此，图11的方法表示包括以下步骤的方法的实例：对VPS的指示一或多个假想参考解码器(HRD)参数的数据进行译码，以及基于所述HRD参数解码一或多个层的数据。

图12为说明至少部分地基于在VPS中用信号表示的扩展数据来对视频数据进行译码的实例方法的流程图。图12的方法可由视频编码器20和/或视频解码器30执行。出于例示目的，关于视频解码器30来描述图12的方法。

在此实例中，视频解码器30解码指示VPS是否包括扩展数据的VPS的数据(180)。举例来说，视频解码器30可解码所述VPS的vps_extension_flag。视频解码器30接着确定所述数据是否指示所述VPS包括扩展数据(182)。如果所述数据指示所述VPS包括扩展数据(182的“是”分支)，那么视频解码器30对用于一或多个扩展译码工具的VPS扩展数据进行译码(184)，且使用所述扩展译码工具和所述扩展数据解码视频数据(186)。另一方面，如果所述数据指示所述VPS不包括扩展数据(182的“否”分支)，那么视频解码器30可使用常规译码工具解码视频数据(188)。以此方式，图12的方法表示包括以下操作的方法的实例：对VPS的指示所述VPS是否包括超出相应标准的扩展的数据进行译码，且在所述VPS包括所述扩展时对用于所述扩展的数据进行译码；以及基于所述VPS的所述扩展数据对视频数据进行译码。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同次序执行、可增添、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或实践均为必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非循序执行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体发射，且通过基于硬件的处理单元执行。计算机可读媒体可包括计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包括(例如)根据通信协议促进计算机程序自一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包括计算机可读媒体。

通过实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接可适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电和微波)而自网站、服务器或其它远程源发射指令，那么同轴缆线、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包括于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包括连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。以上各物的组合也应包括于计算机可读媒体的范围内。

可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。

在另外其它实例中，本发明涵盖计算机可读媒体，所述计算机可读媒体包含存储于其上的数据结构，其中所述数据结构包括符合本发明的经编码位流。特定来说，所述经编码位流可包括视频数据的一或多个层，和用于视频数据的所述一或多个层的视频参数(VPS)，其中视频数据的所述一或多个层中的每一者参考所述VPS，且视频数据的所述一或多个层至少部分地基于所述VPS而译码。

本发明的技术可以多种装置或设备予以实施，所述装置或设备包括无线手持机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元予以实现。相反地，如上所述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包括如上所述的一或多个处理器)的集合而结合适合的软件和/或固件来提供所述单元。

已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (51)

1.一种对视频数据进行译码的方法，所述方法包含：

对用于视频数据的一或多个层的视频参数集VPS进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及

至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

2.根据权利要求1所述的方法，其中对所述VPS进行译码包含对所述VPS的指示所述一或多个层中的时间层的最大数目的数据进行译码。

3.根据权利要求所述1的方法，其中对所述VPS进行译码包含对所述VPS的指示所述一或多个层中的至少一者中待重新排序的帧的数目的数据进行译码。

4.根据权利要求1所述的方法，其中对所述VPS进行译码包含对所述VPS的指示在所述一或多个层的解码期间待存储于经解码图片缓冲器DPB中的图片的数目的数据进行译码。

5.根据权利要求1所述的方法，其中对所述VPS进行译码包含对所述VPS的指示假想参考解码器HRD参数的一或多个集合的数据进行译码。

6.根据权利要求1所述的方法，其中对所述VPS进行译码包含对所述VPS的指示所述VPS是否包括超出相应标准的扩展的数据进行译码，且在所述VPS包括所述扩展时，对用于所述扩展的数据进行译码。

7.根据权利要求1所述的方法，其中对所述一或多个层进行译码包含根据高效率视频译码HEVC对所述一或多个层进行译码。

8.根据权利要求1所述的方法，其中对所述一或多个层进行译码包含根据多视图视频译码MVC和可缩放视频译码SVC中的至少一者对所述一或多个层进行译码。

9.根据权利要求1所述的方法，其中对所述VPS进行译码包含对针对视频数据的所述一或多个层的一或多个维度指定以下各者中的一或多者的信息进行译码：视频数据的所述一或多个层中的优先层的数目，视频数据的所述一或多个层中的相依层的数目，视频数据的所述一或多个层中的时间层的数目，用于视频数据的所述一或多个层中的所述相依层中的任一者的质量层的最大数目，和视频数据的所述一或多个层中的视图的最大数目。

10.根据权利要求2所述的方法，其中当所述视频数据的所述一或多个层的子集具有相同空间分辨率和相同位深度时，所述子集的所述层中的每一者对应于所述相依层中的不同层。

11.根据权利要求10所述的方法，其中对所述VPS进行译码包含对定义特性映射的样本索引的信息进行译码，且其中对定义特性映射的所述样本索引的所述信息进行译码包含当视频数据的所述一或多个层的维度的特性指示符不在零到样本维度计数减1的索引范围内时对指定用于多个特性索引中的每一者的相应特性指示符的信息进行译码。

12.根据权利要求10所述的方法，其中对所述VPS进行译码包含对定义特性映射的样本索引的信息进行译码，且其中对定义特性映射的所述样本索引的所述信息进行译码包含对以下各者中的一或多者进行译码：多个相依索引中的每一者的相应空间分辨率、多个时间索引中的每一者的帧速率、多个视图索引中的每一者的视图识别符、多个位深度索引中的每一者的明度和色度的一对特定深度值，和多个色度取样格式中的每一者的特定色度取样格式指示符。

13.根据权利要求1所述的方法，其中对所述VPS进行译码包含对定义控制参数和一或多个工具启用/停用旗标的信息进行译码。

14.根据权利要求13所述的方法，其中所述控制参数和所述一或多个工具启用/停用旗标包含以下各者中的一或多者：pcm_bit_depth_luma_minus1、pcm_bit_depth_chroma_minus1、loop_filter_across_slice_flag、pcm_loop_filter_disable_flag、temporal_id_nesting_flag、一或多个图像块相关的语法元素、chroma_pred_from_luma_enabled_flag、sample_adaptive_offset_enabled_flag、adaptive_loop_filter_enabled_flag和inter_4×4_enabled_flag。

15.根据权利要求1所述的方法，其中对所述VPS进行译码包含对定义一或多个操作点描述符的信息进行译码。

16.根据权利要求15所述的方法，其中对定义所述一或多个操作点描述符的所述信息进行译码包含对定义以下各者中的一或多者的信息进行译码：最大操作点的数目；不同层或视图之间的相依性；所述操作点中的每一者的简档和层级；对于每一操作点，操作点视频译码层VCL网络抽象层NAL单元表示；对于每一维度，特定索引值、所述维度的可能索引值的范围和索引值的列表中的一或多者；所述操作点中的每一者的位速率；所述操作点之间的相依性；所述操作点中的每一者的限制；所述操作点中的每一者的视频可用性信息VUI；和用于所述一或多个层中的每一者的VUI。

17.根据权利要求1所述的方法，其进一步包含对用于视频数据的所述一或多个层中的每一者的相应分层序列参数集LPS进行译码，其中至少部分地基于所述VPS对视频数据的所述一或多个层进行译码包含至少部分地基于所述VPS和所述相应LPS对视频数据的所述一或多个层进行译码。

18.根据权利要求17所述的方法，其中对用于所述一或多个层中的每一者的所述相应LPS进行译码包含对定义针对每一维度指示每一维度的索引的样本维度指示的信息进行译码。

19.根据权利要求17所述的方法，其中对用于所述一或多个层中的每一者的所述相应LPS进行译码包含对定义控制参数和工具启用/停用旗标的信息进行译码。

20.根据权利要求19所述的方法，其中所述控制参数和所述一或多个工具启用/停用旗标包含以下各者中的一或多者：pcm_bit_depth_luma_minus1、pcm_bit_depth_chroma_minus1、loop_filter_across_slice_flag、pcm_loop_filter_disable_flag、一或多个图像块相关的语法元素、chroma_pred_from_luma_enabled_flag、sample_adaptive_offset_enabled_flag、adaptive_loop_filter_enabled_flag和译码单元CU阶层。

21.根据权利要求17所述的方法，其中对用于所述一或多个层中的每一者的所述相应LPS进行译码包含对定义应用于片段、片段的群组、图片和参考共同图片参数集PPS的若干图片中的至少一者的一或多个其它参数集的信息的信息进行译码。

22.根据权利要求1所述的方法，其进一步包含对一或多个图片参数集PPS进行译码，以使得所述PPS不参考所述VPS、不参考视频数据的所述一或多个层的分层序列参数集LPS。

23.根据权利要求22所述的方法，其中至少部分地基于所述VPS对视频数据的所述一或多个层进行译码包含至少部分地基于所述VPS、所述PPS和所述LPS对视频数据的所述一或多个层进行译码，以使得当所述PPS中的一者的语法元素与所述VPS或所述LPS中的相应者冲突时，基于所述PPS中的所述一者的所述语法元素对视频数据的所述一或多个层中的相应层进行译码。

24.根据权利要求1所述的方法，其进一步包含对将用于视频数据的所述一或多个层的包括所述VPS的所有参数集分组在一起的分组参数集GPS进行译码。

25.根据权利要求24所述的方法，其中对所述GPS进行译码包含对定义所述GPS的识别符的信息进行译码，所述方法进一步包含对对应于所述GPS的所述识别符的片段标头的信息进行译码。

26.根据权利要求1所述的方法，其中对视频数据的所述一或多个层进行译码包含解码视频数据的所述一或多个层，且其中对所述VPS进行译码包含剖析所述VPS。

27.根据权利要求1所述的方法，其中对视频数据的所述一或多个层进行译码包含编码视频数据的所述一或多个层，且其中对所述VPS进行译码包含构造所述VPS。

28.一种用于对视频数据进行译码的装置，所述装置包含视频译码器，所述视频译码器经配置以：对用于视频数据的一或多个层的视频参数集VPS进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；且至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

29.根据权利要求28所述的装置，其中所述视频译码器经配置以对所述VPS的指示所述一或多个层中的时间层的最大数目的数据进行译码。

30.根据权利要求28所述的装置，其中所述视频译码器经配置以对所述VPS的指示所述一或多个层中的至少一者中待重新排序的帧的数目的数据进行译码。

31.根据权利要求28所述的装置，其中所述视频译码器经配置以对所述VPS的指示在所述一或多个层的解码期间待存储于经解码图片缓冲器DPB中的图片的数目的数据进行译码。

32.根据权利要求28所述的装置，其中所述视频译码器经配置以对所述VPS的指示假想参考解码器HRD参数的一或多个集合的数据进行译码。

33.根据权利要求28所述的装置，其中所述视频译码器经配置以对所述VPS的指示所述VPS是否包括超出相应标准的扩展的数据进行译码，且在所述VPS包括所述扩展时，对用于所述扩展的数据进行译码。

34.根据权利要求28所述的装置，其中所述视频译码器经配置以根据高效率视频译码HEVC、多视图视频译码MVC和可缩放视频译码SVC中的一者对所述一或多个层进行译码。

35.根据权利要求28所述的装置，其中所述视频译码器包含视频解码器。

36.根据权利要求28所述的装置，其中所述视频译码器包含视频编码器。

37.根据权利要求28所述的装置，其中所述装置包含以下各者中的至少一者：

集成电路；

微处理器；以及

包括所述视频译码器的无线通信装置。

38.一种用于对视频数据进行译码的装置，所述装置包含：

用于对用于视频数据的一或多个层的视频参数集VPS进行译码的装置，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及

用于至少部分地基于所述VPS对视频数据的所述一或多个层进行译码的装置。

39.根据权利要求38所述的装置，其中所述视频译码器经配置以对所述VPS的指示所述一或多个层中的时间层的最大数目的数据进行译码。

40.根据权利要求38所述的装置，其中所述视频译码器经配置以对所述VPS的指示所述一或多个层中的至少一者中待重新排序的帧的数目的数据进行译码。

41.根据权利要求38所述的装置，其中所述视频译码器经配置以对所述VPS的指示在所述一或多个层的解码期间待存储于经解码图片缓冲器DPB中的图片的数目的数据进行译码。

42.根据权利要求38所述的装置，其中所述视频译码器经配置以对所述VPS的指示假想参考解码器HRD参数的一或多个集合的数据进行译码。

43.根据权利要求38所述的装置，其中所述视频译码器经配置以对所述VPS的指示所述VPS是否包括超出相应标准的扩展的数据进行译码，且在所述VPS包括所述扩展时，对用于所述扩展的数据进行译码。

44.根据权利要求38所述的装置，其中所述视频译码器经配置以根据高效率视频译码HEVC、多视图视频译码MVC和可缩放视频译码SVC中的一者对所述一或多个层进行译码。

45.一种计算机可读存储媒体，其上存储有在执行时使处理器进行以下操作的指令：

对用于视频数据的一或多个层的视频参数集VPS进行译码，其中视频数据的所述一或多个层中的每一者参考所述VPS；以及

至少部分地基于所述VPS对视频数据的所述一或多个层进行译码。

46.根据权利要求45所述的计算机可读存储媒体，其中使所述处理器对所述VPS进行译码的所述指令包含使所述处理器对所述VPS的指示所述一或多个层中的时间层的最大数目的数据进行译码的指令。

47.根据权利要求45所述的计算机可读存储媒体，其中使所述处理器对所述VPS进行译码的所述指令包含使所述处理器对所述VPS的指示所述一或多个层中的至少一者中待重新排序的帧的数目的数据进行译码的指令。

48.根据权利要求45所述的计算机可读存储媒体，其中使所述处理器对所述VPS进行译码的所述指令包含使所述处理器对所述VPS的指示在所述一或多个层的解码期间待存储于经解码图片缓冲器DPB中的图片的数目的数据进行译码的指令。

49.根据权利要求45所述的计算机可读存储媒体，其中使所述处理器对所述VPS进行译码的所述指令包含使所述处理器对所述VPS的指示假想参考解码器HRD参数的一或多个集合的数据进行译码的指令。

50.根据权利要求45所述的计算机可读存储媒体，其中使所述处理器对所述VPS进行译码的所述指令包含使所述处理器对所述VPS的指示所述VPS是否包括超出相应标准的扩展的数据进行译码且在所述VPS包括所述扩展时对用于所述扩展的数据进行译码的指令。

51.根据权利要求45所述的装置，其中使所述处理器对所述一或多个层进行译码的所述指令包含使所述处理器根据高效率视频译码HEVC、多视图视频译码MVC和可缩放视频译码SVC中的一者对所述一或多个层进行译码的指令。