CN106105222B - 用于对视频信息进行可缩放译码的装置和方法 - Google Patents

Abstract

一种经配置以译码位流中的视频信息的设备，其包括存储器和与所述存储器通信的处理器。所述存储器经配置以存储与具有当前图片的视频层相关联的视频信息。所述处理器经配置以：确定与所述当前图片相关联的切片片段标头扩展是否存在于所述位流中；和响应于与所述当前图片相关联的所述切片片段标头扩展并不存在于所述位流中的确定，确定与所述当前图片相关联的图片次序计数POC值的一或多个最高有效位MSB不存在于所述位流中。所述处理器可对所述位流中的所述视频信息进行编码或解码。

Description

用于对视频信息进行可缩放译码的装置和方法

技术领域

本发明涉及视频译码和压缩的领域，确切地说，涉及可缩放视频译码、多视图视频译码或三维(3D)视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和其类似者。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准，和此些标准的扩展。视频装置可通过实施此类视频译码技术而更高效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生对于待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式和残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现甚至更多压缩。

发明内容

本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文中所揭示的合乎需要的属性。

在一个方面中，经配置以译码(例如，编码或解码)位流中的视频信息的设备包括存储器和与存储器通信的处理器。所述存储器经配置以存储与具有当前图片的视频层相关联的视频信息。所述处理器经配置以：确定与所述当前图片相关联的切片片段标头扩展是否存在于所述位流中；和响应于与所述当前图片相关联的所述切片片段标头扩展并不存在于所述位流中的确定，确定与所述当前图片相关联的图片次序计数(POC)值的一或多个最高有效位(MSB)不存在于所述位流中。

在另一方面中，译码位流中的视频信息的方法包括：确定与视频层中的当前图片相关联的切片片段标头扩展是否存在于位流中；和响应于与所述当前图片相关联的切片片段标头扩展并不存在于所述位流中的确定，确定与所述当前图片相关联的图片次序计数(POC)值的一或多个最高有效位(MSB)不存在于所述位流中。

在另一方面中，非暂时性计算机可读媒体含有在执行时使得设备执行程序的代码。程序包括：存储与具有当前图片的视频层相关联的视频信息；确定与所述当前图片相关联的切片片段标头扩展是否存在于位流中；和响应于与所述当前图片相关联的切片片段标头扩展并不存在于所述位流中的确定，确定与所述当前图片相关联的图片次序计数(POC)值的一或多个最高有效位(MSB)不存在于所述位流中。

在另一方面中，经配置以译码位流中的视频信息的视频译码装置包括：用于存储与具有当前图片的视频层相关联的视频信息的装置；用于确定与所述当前图片相关联的切片片段标头扩展是否存在于所述位流中的装置；和用于响应于与所述当前图片相关联的切片片段标头扩展并不存在于所述位流中的确定而确定与所述当前图片相关联的图片次序计数(POC)值的一或多个最高有效位(MSB)不存在于所述位流中的装置。

附图说明

图1A为说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。

图1B为说明可执行根据本发明中所描述的方面的技术的另一实例视频编码和解码系统的框图。

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图2B为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3A为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图3B为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4为根据本发明的一个实施例说明对视频信息进行译码的方法的流程图。

图5为说明在不同层中的图片的实例配置的框图。

图6为说明在不同层中的图片的另一实例配置的框图。

图7为说明在不同层中的图片的另一实例配置的框图。

具体实施方式

一般来说，本发明涉及在高级视频编解码器的情形下对多层视频译码(例如，高效视频译码(HEVC))的图片次序计数(POC)管理。更确切地说，本发明涉及用于在被称作SHVC的HEVC的可缩放视频译码扩展中改进层间预测的性能的系统和方法。

可缩放视频译码是指使用基础层(BL)(有时被称作参考层(RL))和一或多个可缩放增强层(EL)的视频译码。在可缩放视频译码中，BL可携载具有基础质量水平的视频数据。一或多个EL可携载额外视频数据以支持(例如)更高的空间、时间和/或信噪比(SNR)水平。可相对于先前编码的层定义EL。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，中间层(例如，既不是最低层也不是最高层的层)可为中间层下方的层(例如，BL或任何介入EL)的EL；且同时充当中间层上方的一或多个EL的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。

在一些实施方案中，当单层位流(例如，仅含有一个层的视频信息的位流)由多层解码器(例如，经配置以处理单层位流且经配置以处理多层位流的解码器)处理时，多层解码器可基于位流中不存在多层解码器可预期(即，多层解码器经配置以接收和处理)的一些信息而不正确地确定单层位流为不符合的位流(例如，并非依从一或多个可适用的标准而产生的位流)。举例来说，多层位流可含有在相同存取单元中但与具有不同最低有效位(LSB)的图片次序计数(POC)值相关联的图片。通常，可通过提供于多层位流中的旗标(例如，vps_poc_lsb_aligned_flag)来指示POC LSB的此种非对准。多层解码器可经配置以在确定多层位流含有非对准POC LSB之后处理提供于多层位流中的POC值的一或多个最高有效位(MSB)。如果多层解码器并未在多层位流中的预期或预定位置中(例如，在与此类图片相关联的切片片段标头扩展中)找到POC值的任何MSB，那么多层解码器可正确地得出多层位流并不符合可适用的视频译码标准(例如，可缩放高效视频译码(SHVC))的结论。

另一方面，单层位流(例如，仅含有一个视频层的经HEVC编码位流)可能并不含有与对HEVC的可缩放性扩展(例如，视频参数集(VPS)扩展)相关的任何信息，所述扩展通常将含有指示位流是否可含有非对准POC LSB的上文所提到的旗标。因此，当处理此单层位流时，多层解码器可基于不存在指示位流是否可含有非对准POC LSB的此旗标而假定(即，确定)单层位流含有非对准POC LSB。如上文所论述，基于此确定，多层解码器可预期接收包括于位流中的POC值的一或多个MSB。当多层解码器确定单层位流不含多层解码器试图找到的POC值的一或多个MSB(例如，其可提供于通常未包括在单层位流中的切片片段标头扩展中)时，多层解码器可确定单层位流(其不含非对准POC LSB且因此并不需要在其中发信POC值的MSB)为不符合的位流，即使单层位流实际上可为符合的位流(例如，位流符合一或多个可适用的标准)。

因此，需要用于确定位流中POC MSB的存在的改进方法。

在本发明中，描述用于确定(或推断)位流中是否发信POC MSB的各种技术。在本发明的一些实施例中，译码器基于位流中切片片段标头扩展的存在而确定是否在位流中发信与图片相关联的POC MSB。通过基于与图片相关联的切片片段标头扩展的存在而确定是否在位流中发信与图片相关联的POC MSB，译码器可在处理单层位流时避免对在位流中经发信的POC MSB的不正确预期。

在以下描述中，描述与某些实施例相关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的情形下描述某些实施例，但所属领域的一般技术人员可了解，本文中所揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者(例如，包括由国际电信联盟电信标准化部门[ITU-T]视频译码专家组[VCEG]或国际标准化组织/国际电工委员会[ISO/IEC]运动图像专家组[MPEG]开发的标准)：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(还称为ISO/IEC MPEG-4 AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

在许多方面中，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于某些先前视频译码标准中的预测单元(例如，宏块)。实际上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的分层结构替换，分层结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块：译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区域分裂的基本单元。可将CU视为类似于宏块的概念，但HEVC不限制CU的最大大小，且可允许递归分裂成四个相等大小的CU以改进内容适应性。可将PU视为帧间/帧内预测的基本单元，且单个PU可含有多个任意形状分区以有效地译码不规则图像模式。可将TU视为变换的基本单元。可独立于PU定义TU；然而，TU的大小可受限于所述TU属于的CU的大小。将此块结构分离成三个不同概念可允许根据单元的相应作用来优化每一单元，这可产生改进的译码效率。

仅出于说明的目的，通过仅包括视频数据的两层(例如，较低层，例如BL；和较高层，例如EL)的实例来描述本文中所揭示的某些实施例。视频数据的“层”通常可指具有至少一个共同特性(例如，视图、帧率、分辨率或其类似者)的图片序列。举例来说，层可包括与多视图视频数据的特定视图(例如，透视图)相关联的视频数据。作为另一实例，层可包括与可缩放视频数据的特定层相关联的视频数据。因此，本发明可互换地参考视频数据的层和视图。举例来说，视频数据的视图可被称作视频数据的层，且视频数据的层可被称作视频数据的视图。另外，多层编解码器(还被称作多层视频译码器或多层编码器-解码器)可共同指多视图编解码器或可缩放编解码器(例如，经配置以使用MV-HEVC、3D-HEVC、SHVC或另一多层译码技术编码和/或解码视频数据的编解码器)。视频编码和视频解码两者通常皆可被称作视频译码。应理解，此类实例可适用于包括多个BL、RL和/或EL的配置。另外，为了易于解释，参考某些实施例，以下揭示内容包括术语“帧”或“块”。然而，这些术语不打算具有限制性。举例来说，下文所描述的技术可与任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)一起使用。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像的数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有亮度和色度信息。在无压缩的情况下，将从图像编码器传送到图像解码器的信息的绝对量将使实时图像传输不可能。为了减少待传输的信息量，已开发出例如JPEG、MPEG和H.263标准的多个不同压缩方法。

视频译码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

另外，视频译码标准(即，HEVC)正由ITU-T VCEG与ISO/IEC MPEG的关于视频译码的联合合作小组(JCT-VC)开发。对HEVC草案10的完全引用为布洛斯(Bross)等人的文件JCTVC-L1003，“高效视频译码(HEVC)文本规范草案10(High Efficiency Video Coding(HEVC)Text Specification Draft 10)”，ITU-T SG16 WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日。对HEVC的多视图扩展(即，MV-HEVC)和对HEVC的可缩放扩展(名为SHVC)也正分别由JCT-3V(关于3D视频译码扩展开发的ITU-T/ISO/IEC联合合作小组)和JCT-VC开发。

视频译码系统

下文参考附图更充分地描述新颖系统、设备和方法的各种方面。然而，本发明可以许多不同形式来体现，且不应被解释为限于贯穿本发明所呈现的任何特定结构或功能。相反地，提供这些方面以使得本发明将透彻且完整，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围意图涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围意图涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

虽然本文中描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。虽然提及了优选方面的一些益处和优点，但本发明的范围并不意图限于特定益处、用途或目标。相反地，本发明的方面意图广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是借助于实例而在图中和在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书和其等效者界定的本发明的范围。

附图说明实例。由附图中的参考数字指示的元件对应于在以下描述中由相同参考数字指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”，等)开始的元件未必暗示所述元件具有特定次序。相反地，此些序数词仅用于指代相同或类似类型的不同元件。

图1A为说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指代视频编码和视频解码。除了视频编码器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)和中间体(例如，可修改、变换和/或以其它方式操纵位流的装置)。

如图1A中所展示，视频译码系统10包括源装置12，其产生稍后待由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12与目的地装置14在独立装置上，具体来说，源装置12为源装置的一部分，并且目的地装置14为目的地装置的一部分。然而，应注意，源装置12和目的地装置14可在相同装置上或为相同装置的一部分，如图1B的实例中所展示。

再次参考图1A，源装置12和目的地装置14可分别包含广泛范围的装置中的任一者，包括台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在各种实施例中，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包含能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包含通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。经编码视频数据可根据例如无线通信协议的通信标准加以调制，且传输到目的地装置14。通信媒体可包含任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包括路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。

替代地，经编码数据可从输出接口22输出到可选存储装置31。类似地，经编码数据可由例如目的地装置14的输入接口28从存储装置31存取。存储装置31可包括多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于可保存由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载来从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包括万维网服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包括因特网连接)来存取经编码视频数据。此可包括无线信道(例如，无线局域网[WLAN]连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的传输可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、例如经由因特网的流视频传输(例如，经由超文本传送协议(HTTP)的动态自适应流式传输等)、对存储在数据存储媒体上的数字视频的编码、对存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输，从而支持例如视频流式传输、视频回放、视频广播和/或视频电话的应用。

在图1A的实例中，源装置12包括视频源18、视频编码器20和输出接口22。在一些状况下，输出接口22可包括调制器/解调器(调制解调器)和/或传输器。在源装置12中，视频源18可包括源，例如视频捕获装置(例如，摄像机)、含有先前所捕获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据以作为源视频的计算机图形系统，或此类源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话，如图1B的实例中所说明。然而，本发明中描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。

经捕获、预先捕获或计算机产生的视频可由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接传输到目的地装置14。经编码视频数据还可(或替代地)存储在存储装置31上以供稍后由目的地装置14或其它装置存取，用于解码和/或回放。图1A和1B中说明的视频编码器20可包含图2A中说明的视频编码器20、图2B中说明的视频编码器23或本文中描述的任一其它视频编码器。

在图1A的实例中，目的地装置14包括输入接口28、视频解码器30和显示装置32。在一些状况下，输入接口28可包括接收器和/或调制解调器。目的地装置14的输入接口28可经由链路16和/或从存储装置31接收经编码视频数据。经由链路16传递或在存储装置31上提供的经编码视频数据可包括由视频编码器20产生的多种语法元素，用于由例如视频解码器30的视频解码器在解码视频数据时使用。此些语法元素可与在通信媒体上传输、存储在存储媒体上或存储在文件服务器上的经编码视频数据包括在一起。图1A和1B中说明的视频解码器30可包含图3A中说明的视频解码器30、图3B中说明的视频解码器33或本文中描述的任一其它视频解码器。

显示装置32可与目的地装置14集成在一起或在目的地装置14的外部。在一些实例中，目的地装置14可包括集成显示装置且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包含多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在相关方面中，图1B展示实例视频编码和解码系统10′，其中源装置12和目的地装置14在装置11上或为装置11的一部分。装置11可为电话手持机，例如“智能”电话或其类似者。装置11可包括与源装置12和目的地装置14操作性通信的任选处理器/控制器装置13。图1B的系统10′可进一步包括在视频编码器20与输出接口22之间的视频处理单元21。在一些实施方案中，视频处理单元21为独立单元，如图1B中所说明；然而，在其它实施方案中，视频处理单元21可实施为视频编码器20和/或处理器/控制器装置13的一部分。系统10′还可包括任选跟踪器29，其可跟踪视频序列中感兴趣的对象。待跟踪的感兴趣的对象可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与跟踪器29一起执行。图1B的系统10′和其组件另外类似于图1A的系统10和其组件。

视频编码器20和视频解码器30可根据例如HEVC标准的视频压缩标准操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或行业标准或此类标准的扩展来操作，所述标准例如ITU-T H.264标准，或者被称作MPEG-4第10部分AVC。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包括MPEG-2和ITU-T H.263。

虽然图1A和1B的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包括适当的多路复用器-多路分用器单元或其它硬件和软件，以处置对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。

视频编码器20和视频解码器30各自可实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适的编码器电路中的任一者。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包括在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(例如，编解码器)的一部分。

视频译码过程

如上文简要提及，视频编码器20对视频数据进行编码。视频数据可包含一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。位流可包括形成视频数据的经译码表示的位序列。位流可包括经译码图片和相关联的数据。经译码图片为图片的经译码表示。

为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。相关联数据可包括视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)和其它语法结构。SPS可含有适用于零个或多于零个的图片序列的参数。PPS可含有适用于零个或多于零个图片的参数。APS可含有适用于零个或多于零个图片的参数。APS中的参数可为相较于PPS中的参数更有可能变化的参数。

为了产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者皆与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可广泛类似于例如H.264/AVC的先前标准的宏块。然而，树块不必限于特定大小，且可包括一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。

在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可包括整数数目个CU。在一些情况下，切片包含整数数目个树块。在其它情况下，切片的边界可在树块内。

作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。

为了产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包含表示树块的经编码版本的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(例如，编码)。举例来说，视频编码器20可按如下次序来对切片的树块进行编码：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已对切片中的树块中的每一者进行了编码为止。

作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树块，但尚未编码在给定树块的下方和右边的树块。因此，当编码给定树块时，视频编码器20可能够存取通过编码在给定树块的上方和左边的树块而产生的信息。然而，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树块而产生的信息。

为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。经分割的CU可为其视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有64×64像素或更大的最大值的树块的视频块的大小(例如，树块的大小)。

视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可将左上CU、右上CU、左下CU和接着右下CU按所述次序编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可将与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU和接着与右下子块相关联的CU按此次序编码。

根据z扫描次序对树块的CU进行编码的结果是，可能已经对给定CU的上方、左上方、右上方、左边和左下方的CU进行编码。尚未编码在给定CU的右下方的CU。因此，当对给定CU进行编码时，视频编码器20可能能够存取通过对相邻给定CU的一些CU进行编码而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码相邻给定CU的其它CU而产生的信息。

当视频编码器20编码未分割的CU时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的经预测视频块。

当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或多个图片的经解码样本来产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么所述CU为经帧间预测的CU。

此外，当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可产生所述PU的运动信息。PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为不同于与PU相关联的图片的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的经预测视频块。

在视频编码器20产生CU的一或多个PU的经预测视频块之后，视频编码器20可基于CU的所述PU的经预测视频块而产生所述CU的残余数据。CU的残余数据可指示CU的PU的经预测视频块中的样本与CU的原始视频块之间的差异。

此外，作为对未分割的CU执行编码操作的一部分，视频编码器20可对CU的残余数据执行递归四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(例如，残余视频块)。CU的每一TU可与不同残余视频块相关联。

视频编码器20可对与TU相关联的残余视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化过程。量化通常指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可以减小与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与所述CU相关联的变换系数块。视频编码器20可通过调节与CU相关联的QP值来调节应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应二进制算术译码(CABAC)操作的熵编码操作应用于这些语法元素中的一些。也可使用例如上下文自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码的其它熵译码技术。

由视频编码器20产生的位流可包括一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示和含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包括各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包括由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与通过视频编码器20执行以产生语法元素的过程大体上互反。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行反量化。视频解码器30可对变换系数块执行反变换以重构与CU的TU相关联的残余视频块。在产生经经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块和残余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。

视频编码器

图2A为说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单层(例如针对HEVC)。另外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测处理单元100可经配置以执行本发明中所描述的技术中的任一者或全部。在另一实施例中，视频编码器20包括可选层间预测单元128，其经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元100(例如，帧间预测单元121和/或帧内预测单元126)执行，在此状况下可省略层间预测单元128。然而，本发明的各方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明描述在HEVC译码的情形下的视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如将进一步相对于图2B所描述，可复制视频编码器20中的一些或全部以用于多层编解码器的处理。

视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的译码模式中的任一者。

在图2A的实例中，视频编码器20包括多个功能组件。视频编码器20的功能组件包括预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换单元110、重构单元112、滤波器单元113、经解码的图片缓冲器114和熵编码单元116。预测处理单元100包括帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126和层间预测单元128。在其它实例中，视频编码器20可包括更多、更少或不同的功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2A的实例中分开来表示。

视频编码器20可接收视频数据。视频编码器20可接收来自各种源的视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一源接收视频数据。视频数据可表示一系列图片。为了对视频数据进行编码，视频编码器20可对所述图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的一部分，视频编码器20可对切片中的树块执行编码操作。

作为对树块执行编码操作的一部分，预测处理单元100可对树块的视频块执行四叉树分割以将所述视频块划分成越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个大小相等的子块，将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。

与CU相关联的视频块的大小范围可从8x8样本直到最大64x64样本或更大的树块大小。在本发明中，“NxN”与“N乘N”可互换使用来指在垂直和水平维度方面的视频块的样本尺寸，例如，16x16个样本或16乘16个样本。一般来说，16×16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，NxN块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树块执行编码操作的一部分，预测处理单元100可产生树块的分层四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，那么所述根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中的每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包括分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地定义，且可取决于CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶子节点。经译码树块可包括基于对应树块的四分树数据结构的数据。

视频编码器20可对树块中的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。

作为对CU执行编码操作的一部分，预测处理单元100可在CU的一或多个PU间分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，那么视频编码器20和视频解码器30可支持2Nx2N或NxN的PU大小，和2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持对于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块侧会合的边界在CU的PU间分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生PU的运动信息。运动补偿单元124可基于运动信息和不同于与CU相关联的图片(例如，参考图片)的图片的经解码样本而产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可被称作经帧间预测视频块。

切片可为I切片、P切片或B切片。运动估计单元122和运动补偿单元124可取决于PU是否处于I切片、P切片或B切片中而对CU的PU执行不同操作。在I切片中，所有PU都经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。

如果PU处于P切片中，那么含有PU的图片与称为“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于帧间预测其它图片的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如，样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引和指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以变化的精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的状况下，参考块值可从整数位置样本值内插在参考图片中。运动估计单元122可将参考索引和运动向量作为PU的运动信息而输出。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。

如果PU在B切片中，那么含有PU的图片可与称为“列表0”和“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。

此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片以找出所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中含有参考块的参考图片的参考索引，和指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可将参考索引、预测方向指示符和运动向量作为PU的运动信息输出。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。

当运动估计单元122对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找出PU的参考块，且还可搜索列表1中的参考图片以找出PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中含有参考块的参考图片的参考索引和指示参考块与PU之间的空间位移的运动向量。运动估计单元122可将PU的参考索引和运动向量作为PU的运动信息输出。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。相反地，运动估计单元122可参考另一PU的运动信息发信PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定PU的运动向量。通过在发信第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能能够使用较少位发信第二PU的运动信息。

如在下文中参考图4进一步论述，预测处理单元100可经配置以通过执行图4中所说明的方法来译码(例如，编码或解码)PU(或任何其它RL和/或EL块或视频单元)。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以共同或分开来执行图4中所说明的方法。

作为对CU执行编码操作的一部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中其它PU的经解码样本而产生PU的预测数据。PU的预测数据可包括经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片和B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式来产生PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。假定对于PU、CU和树块采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左边。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。

预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择PU的预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真度量而选择PU的预测数据。

如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可发信用以产生PU的预测数据的帧内预测模式，例如所选择的帧内预测模式。预测处理单元100可以各种方式发信所选帧内预测模式。举例来说，所选帧内预测模式与相邻PU的帧内预测模式相同可为可能的。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生用以指示所选帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包括层间预测单元128。层间预测单元128经配置以使用可用于可缩放视频译码中的一或多个不同层(例如，BL或RL)来预测当前块(例如，EL中的当前块)。此种预测可被称为层间预测。层间预测单元128利用预测方法以减少层间冗余，由此改进译码效率且减少计算资源要求。层间预测的一些实例包括层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用BL中对处于相同位置的块的重构来预测EL中的当前块。层间运动预测使用BL的运动信息来预测EL中的运动。层间残余预测使用BL的残余来预测EL的残余。在下文中更详细地论述层间预测方案中的每一者。

在预测处理单元100选择CU的PU的预测数据之后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生CU的残余数据。CU的残余数据可包括对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包括对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残余视频块。另外，CU的残余数据可包括对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。

预测处理单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小和位置可或可不基于与CU的PU相关联的视频块的大小和位置。被称为“残余四分树”(RQT)的四叉树结构可包括与残余视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶子节点。

变换处理单元104可通过将一或多个变换应用到与CU的每一TU相关联的残余视频块而产生所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用于与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于与TU相关联的残余视频块。

在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真度量的树块的经译码表示中的CU相关联时，视频编码器20可发信所述给定QP值与CU相关联。

反量化单元108和反变换单元110可分别将反量化和反变换应用于变换系数块以从变换系数块重构残余视频块。重构单元112可以将经重构的残余视频块添加到来自由预测处理单元100产生的一或多个经预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。

在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减少与CU相关联的视频块中的块假象。在执行一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块，且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可执行一或多个熵编码操作以产生经熵编码的数据。举例来说，视频编码器20可对数据执行CAVLC操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作或另一类型的熵编码操作。熵编码单元116可输出包括经熵编码数据的位流。

作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计值。在CABAC的情形下，术语“二进制数”用于指语法元素的二进制化版本的位。

多层视频编码器

图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23(也被简称为视频编码器23)的实例的框图。视频编码器23可经配置以处理多层视频帧，例如针对SHVC和多视图译码。另外，视频编码器23可经配置以执行本发明的技术中的任一者或全部。

视频编码器23包括视频编码器20A和视频编码器20B，其中的每一者可经配置为视频编码器20，且可执行上文关于视频编码器20描述的功能。另外，如由参考数字的再使用所指示，视频编码器20A和20B可包括如视频编码器20的系统和子系统中的至少一些。虽然将视频编码器23说明为包括两个视频编码器20A和20B，但视频编码器23不受如此限制，且可包括任何数目个视频编码器20层。在一些实施例中，视频编码器23可包括针对存取单元中的每一图片或帧的视频编码器20。举例来说，包括五个图片的存取单元可由包括五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器23可包括比存取单元中的帧更多的编码器层。在一些此类状况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。

除视频编码器20A和20B之外，视频编码器23还可包括再取样单元90。在一些状况下，再取样单元90可上取样所接收到的视频帧的BL以例如形成EL。再取样单元90可对与帧的所接收到的BL相关联的特定信息上取样，但不对其它信息上取样。举例来说，再取样单元90可对BL的空间大小或像素数目上取样，但切片的数目或图片次序计数可保持恒定。在一些状况下，再取样单元90可不处理所接收到的视频且/或可为任选的。举例来说，在一些状况下，预测处理单元100可执行上取样。在一些实施例中，再取样单元90经配置以对层进行上取样且重新组织、重新界定、修改或调节一或多个切片以符合一组切片边界规则和/或光栅扫描规则。虽然主要描述为上取样BL或存取单元中的较低层，但在一些状况下，再取样单元90可对层下取样。举例来说，如果在视频的流式传输期间减小带宽，那么可对帧下取样而不是上取样。

再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)，并对所述图片(或所接收到的图片信息)进行上取样。可接着将此经上取样图片提供到较高层编码器(例如，视频编码器20B)的预测处理单元100，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些状况下，较高层编码器为从较低层编码器去除的一个层。在其它状况下，在图2B的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。

在一些状况下，可省略或绕过再取样单元90。在此类状况下，可直接或在至少不提供到再取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同大小或分辨率，那么可将参考图片提供到视频编码器20B而无任何再取样。

在一些实施例中，视频编码器23使用下取样单元94对将提供到较低层编码器的视频数据下取样，之后将所述视频数据提供到视频编码器20A。或者，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在又其它实施例中,可省略下取样单元94。

如图2B中所说明，视频编码器23可进一步包括多路复用器98或mux。mux 98可从视频编码器23输出组合的位流。可通过从视频编码器20A和20B中的每一者取得位流且交替在给定时间输出哪一位流来产生组合的位流。虽然在一些状况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的状况下，两个以上)位流的位，但在许多状况下，以不同方式组合所述位流。举例来说，可通过一次一个块地交替所选位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。举例来说，可针对从视频编码器20A输出的每一块从视频编码器20B输出两个块。在一些实施例中，可预编程来自mux 98的输出流。在其它实施例中，mux 98可基于从视频编码器23外部的系统(例如从包括源装置12的源装置上的处理器)接收的控制信号而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定从视频编码器23输出的所要分辨率的任何其它因素而产生控制信号。

视频解码器

图3A是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单层(例如，针对HEVC)。另外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包括层间预测单元166，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单位152(例如，运动补偿单元162和/或帧内预测单元164)执行，在此状况下，可省略层间预测单元166。然而，本发明的各方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明描述在HEVC译码的情形下的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而，如将进一步相对于图3B所描述，可复制视频解码器30中的一些或全部以用于多层编解码器的处理。

在图3A的实例中，视频解码器30包括多个功能组件。视频解码器30的功能组件包括熵解码单元150、预测处理单元152、反量化单元154、反变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包括运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行大体与关于图2A的视频编码器20所描述的编码遍次互反的解码遍次。在其它实例中，视频解码器30可包括更多、更少或不同的功能组件。

视频解码器30可接收包含经编码视频数据的位流。位流可包括多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。作为对位流执行剖析操作的结果，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换单元156、重构单元158和滤波器单元159可执行重构操作，所述重构操作基于从位流提取的语法元素而产生经解码视频数据。

如上文所论述，位流可包含一系列NAL单元。位流的NAL单元可包括视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单元提取且熵解码SEI数据，以此类推。

另外，位流的NAL单元可包括经译码切片NAL单元。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经译码切片中的每一者可包括切片标头和切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包括识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的一部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包括与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的CU执行重构操作。为了对未分割CU执行重构操作，视频解码器30可以对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。

作为对TU执行重构操作的一部分，反量化单元154可反量化(例如，解量化)与TU相关联的变换系数块。反量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的反量化过程的方式对变换系数块进行反量化。反量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定反量化单元154应用的反量化的程度。

在反量化单元154对变换系数块进行反量化之后，反变换单元156可产生与变换系数块相关联的TU的残余视频块。反变换单元156可将反变换应用到变换系数块以便产生所述TU的残余视频块。举例来说，反变换单元156可将反DCT、反整数变换、反卡亨南-洛维(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于变换系数块。在一些实例中，反变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块的反变换。在这些实例中，反变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处经发信的变换来确定反变换。在其它实例中，反变换单元156可根据例如块大小、译码模式或其类似者的一或多个译码特性来推断反变换。在一些实例中，反变换单元156可应用级联的反变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而改善PU的经预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包括在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收到的语法信息而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。

如在下文中参考图4进一步论述，预测处理单元152可通过执行图4中说明的方法来译码(例如，编码或解码)PU(或任何其它RL和/或EL块或视频单元)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以共同或分开来执行图4中说明的方法。

如果使用帧内预测对PU进行编码，那么帧内预测单元164可执行帧内预测以产生PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素而确定PU的帧内预测模式。位流可包括帧内预测单元164可用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包括小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可接着使用帧内预测模式基于在空间上相邻的PU的视频块而产生PU的预测数据(例如，经预测样本)。

如上文所论述，视频解码器30还可包括层间预测单元166。层间预测单元166经配置以使用可用于可缩放视频译码中的一或多个不同层(例如，BL或RL)来预测当前块(例如，EL中的当前块)。此种预测可被称为层间预测。层间预测单元166利用预测方法以减少层间冗余，由此改进译码效率且减少计算资源要求。层间预测的一些实例包括层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用对BL中处于相同位置的块的重构来预测EL中的当前块。层间运动预测使用BL的运动信息来预测EL中的运动。层间残余预测使用BL的残余来预测EL的残余。在下文中更详细地论述层间预测方案中的每一者。

重构单元158可使用与CU的TU相关联的残余视频块和CU的PU的经预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素产生经预测视频块和残余视频块，且可基于所述经预测视频块和所述残余视频块产生视频块。

在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与所述CU相关联的块假象。在滤波器单元159执行解块操作以减少与CU相关联的块假象之后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供用于后续运动补偿、帧内预测和在显示装置(例如，图1A或1B的显示装置32)上呈现的参考图片。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块而对其它CU的PU执行帧内预测或帧间预测操作。

多层解码器

图3B为说明可实施根据本发明中所描述的方面的技术的多层视频解码器33(也被简称为视频解码器33)的实例的框图。视频解码器33可经配置以处理多层视频帧(例如，针对SHVC和多视图译码)。另外，视频解码器33可经配置以执行本发明的技术中的任一者或全部。

视频解码器33包括视频解码器30A和视频解码器30B，其中的每一者可经配置为视频解码器30，且可执行上文关于视频解码器30描述的功能。另外，如由参考数字的再使用所指示，视频解码器30A和30B可包括如视频解码器30的系统和子系统中的至少一些。虽然将视频解码器33说明为包括两个视频解码器30A和30B，但视频解码器33不受如此限制，且可包括任何数目个视频解码器30层。在一些实施例中，视频解码器33可包括用于存取单元中的每一图片或帧的视频解码器30。举例来说，包括五个图片的存取单元可由包括五个解码器层的视频解码器处理或解码。在一些实施例中，视频解码器33可包括比存取单元中的帧更多的解码器层。在一些此类状况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。

除了视频解码器30A和30B外，视频解码器33还可包括上取样单元92。在一些实施例中，上取样单元92可上取样所接收到的视频帧的BL以产生待添加到用于帧或存取单元的参考图片列表的增强层。此增强层可存储在经解码图片缓冲器160中。在一些实施例中，上取样单元92可包括关于图2A的再取样单元90所描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层上取样且重新组织、重新界定、修改或调节一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些状况下，上取样单元92可为经配置以对所接收到的视频帧的层上取样和/或下取样的再取样单元。

上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收到的图片信息)进行上取样。接着可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的预测处理单元152，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些状况下，较高层解码器为从较低层解码器去除的一个层。在其它状况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些状况下，可省略或绕过上取样单元92。在此类状况下，可直接或在至少不提供到上取样单元92的情况下将来自视频解码器30A的经解码图片缓冲器160的图片提供到视频解码器30B的预测处理单元152。举例来说，如果提供到视频解码器30B的视频数据和来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而无需上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收到的参考图片上取样或下取样的再取样单元90。

如图3B中所说明，视频解码器33可进一步包括多路分用器99或demux。demux 99可将经编码视频位流分裂成多个位流，其中由demux 99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些状况下，可在视频解码器(例如，在图3B的实例中的视频解码器30A和30B)中的每一者之间一次一个位地交替来自在demux 99处所接收到的位流的位，但在许多状况下，以不同方式划分所述位流。举例来说，可通过一次一个块地交替哪一视频解码器接收位流来划分所述位流。在另一实例中，可通过到视频解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块而将两个块提供到视频解码器30B。在一些实施例中，可预编程由demux 99对位流的划分。在其它实施例中，demux 99可基于从视频解码器33外部的系统(例如，从包括目的地装置14的目的地装置上的处理器)接收到的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定可由视频解码器33获得的分辨率的任何其它因素而产生控制信号。

POC MSB的存在

如上文所论述，当解码可能缺乏与视频译码扩展(例如，含有与单层标准的可缩放性扩展相关的信息的VPS扩展、切片片段标头扩展等)相关的信息的单层位流(例如，经HEVC编码位流)时，多层解码器可遇到问题。更确切地说，多层解码器可基于位流中不存在位流中的存取单元具有其经对准的POC LSB(例如，存取单元中的所有图片皆具有相同的POCLSB)的指示(例如，vps_poc_lsb_aligned_flag)而不正确地预期在位流中发信POC值的MSB(例如，多层解码器可不正确地预期接收所述POC值的MSB)。在一些现有实施方案中，vps_poc_lsb_aligned_flag的语义可提供如下：

等于0的vps_poc_lsb_aligned_flag指定slice_pic_order_cnt_lsb的值在存取单元的不同图片中可相同或可不相同。等于1的vps_poc_lsb_aligned_flag指定slice_pic_order_cnt_lsb的值在存取单元的所有图片中皆相同。另外，在一些现有实施方案中，vps_poc_lsb_aligned_flag的值可因图片次序计数而影响解码过程。当不存在时，推断vps_poc_lsb_aligned_flag等于0。

通过在旗标并不存在于位流中时推断vps_poc_lsb_aligned_flag的值或POC LSB对准的其它指示的值为0，多层解码器可作出不正确的假定，如果位流为HEVC位流(例如，仅具有一个视频层)的话。在HEVC位流中，通常将含有POC LSB对准的此指示的VPS扩展可不存在。因此，基于POC LSB对准的此指示的不存在，解码器可推断POC LSB未经对准(例如，相同存取单元中的图片可具有不同POC LSB)，此可为不正确的。在一些实施方案中，基于此推断，解码器确定是否需要在位流中发信POC MSB值。解码器可通过首先基于例如vps_poc_lsb_aligned_flag的为0的推断值确定POC LSB未经对准；且接着将经设计以指示是否需要在位流中发信POC MSB值的参数(例如，PocMsbValRequiredFlag)设置为值1而作出此确定。在一些实施例中，除确定POC LSB未经对准之外，解码器还在将PocMsbValRequiredFlag设置为值1之前进一步确定正由解码器处理的当前图片为清洁随机存取(CRA)图片或断链存取(BLA)图片。基于是否需要在位流中发信POC MSB值的此确定，解码器确定位流中POC MSB值实际上是否存在(例如，由编码器发信)。在一些实施例中，解码器处理具有语义提供如下的旗标：

等于1的poc_msb_val_present_flag指定poc_msb_val存在。当poc_msb_val_present_flag等于0且PocMsbValRequiredFlag等于0时，poc_msb_val并不存在。当不存在时，poc_msb_val_present_flag的值推断如下：

-如果PocMsbValRequiredFlag等于1，那么推断poc_msb_val_present_flag的值等于1。

-否则，推断poc_msb_val_present_flag的值等于0。

因此，如上文所论述，当多层解码器处理单层位流时，解码器可基于位流中不存在POC LSB经对准的指示而不正确地推断单层位流含有未经对准的POC LSB，且所述不正确推断使得解码器不正确地确定需要在位流中发信POC MSB值。此不正确确定使得解码器不正确地推断POC MSB值实际上存在于位流中。

在本发明的一些实施例中，为了避免此一连串的不正确确定，每当位流中未提供POC LSB对准的指示，解码器可推断POC LSB经对准。然而，此解决方案可能无法完全解决问题，由于解码器仍可基于PocMsbRequiredFlag的值等于1的确定而推断通过推断poc_msb_val_present_flag的值等于1而在位流中发信POC MSB值。译码器可在译码CRA图片或BLA图片时确定PocMsbRequiredFlag的值等于1。

在本发明的一些实施例中，解码器可基于位流中切片片段标头扩展的存在而确定poc_msb_val_present_flag的值。解码器还可基于指示切片片段标头扩展长度的长度的旗标的值而确定poc_msb_val_present_flag的值。举例来说，可更改poc_msb_val_present_flag的语义使得语法元素的为1的值指定仅当slice_segment_header_extension_length并不等于零时存在poc_msb_val，如下文所示。以斜体字展示添加且以[[双方括号]]展示删除。

等于1的poc_msb_val_present_flag指定poc_msb_val存在。当poc_msb_val_present_flag等于0[[且PocMsbValRequiredFlag等于0]]时，poc_msb_val并不存在。当不存在时，poc_msb_val_present_flag的值推断如下：

-如果slice_segment_header_extension_length等于0，那么推断poc_msb_val_present_flag的值等于0。

-否则，如果PocMsbValRequiredFlag等于1，那么推断poc_msb_val_present_flag的值等于1。

-否则，推断poc_msb_val_present_flag的值等于0。

图4是根据本发明的实施例的说明用于译码视频信息的方法400的流程图。图4中说明的步骤可由编码器(例如，如图2A或图2B中所展示的视频编码器)、解码器(例如，如图3A或图3B中所展示的视频解码器)或任何其它组件执行。为方便起见，将方法400描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。

方法400开始于框401。在框405处，译码器确定切片片段标头扩展是否存在。译码器可基于指示切片片段标头扩展的长度的提供于位流中的旗标而确定切片片段标头扩展(例如，与由译码器处理的当前图片或当前切片相关联的切片片段标头扩展)是否存在于位流中。译码器还可基于指示切片片段标头扩展是否存在于位流中的提供于位流中的旗标而确定切片片段标头扩展是否存在于位流中。此旗标可提供于位流的其它部分中，例如在切片片段标头、VPS、PPS、SPS等中。如果译码器确定切片片段标头扩展并不存在于位流中，那么方法400前进到框410。另一方面，如果译码器确定切片片段标头扩展存在于位流中，那么方法400前进到框415。

在框410处，译码器确定POC MSB值(例如，与由译码器处理的当前图片或当前切片相关联的POC MSB值)并不存在于位流中。作为确定POC MSB值并不存在于位流中的结果，译码器可将经配置以指示POC MSB值是否存在于位流中的旗标设置为值0。在本发明的一些实施例中，译码器可避免处理译码器原本经配置以处理的位流中的POC MSB值。

在框415处，译码器处理位流中的POC MSB值。举例来说，译码器可能正解码位流，且在确定切片片段标头扩展存在于位流中之后，在框405处，译码器可处理(或预期)提供于位流中的POC MSB值。译码器可进一步使用经处理的POC MSB值以计算与由译码器处理的当前图片相关联的POC值和/或复位或对准与提供于位流中的图片相关联的POC值。方法400结束于420处。

如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用于实施本发明中所论述的技术中的任一者，例如确定切片片段标头扩展是否存在于位流中；确定POC MSB值并不存在于位流中；和处理提供于位流中的POC MSB。

在方法400中，图4中所展示的块中的一或多者可去除(例如，并不执行)、修改和/或可转换执行方法400的次序。举例来说，在405处作出确定之前，译码器可首先确定POCLSB是否经对准(例如，通过检查提供于位流中的旗标)，且仅在确定POC LSB未经对准之后前进到框405。在另一实施例中，除确定POC LSB经对准之外或代替确定POC LSB经对准，译码器可在继续进行到框405之前确定正由译码器处理的当前图片为CRA图片或BLA图片。举例来说，译码器可在确定POC LSB未经对准且当前图片为CRA图片或BLA图片之后前进到框405。在另一实施例中，在框405处，译码器可确定需要发信POC MSB值(例如，通过将PocMsbValRequiredFlag的值设置为值1)，但与此确定无关，译码器可基于确定切片片段标头扩展并不存在而前进到框410。在另一实施例中，可去除框410，且方法400可结束而无需执行任何额外操作，如果译码器确定切片片段标头扩展并不存在的话。在又一实施例中，可去除框415，且方法400可结束而无需执行任何额外操作，即使译码器确定切片片段标头扩展存在，如果译码器确定POC MSB并不提供于位流中的话。因此，本发明的实施例不限于图4中所展示的实例或不受到图4中所展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。

帧内随机存取点(IRAP)图片

一些视频译码方案可贯穿位流提供随机存取点，使得可从此随机存取点中的任一者开始解码位流，而无需解码在此些随机存取点前的任何图片。在此些视频译码方案中，按输出次序在随机存取点之后的全部图片(例如，包括在与提供随机存取点的图片相同的存取单元中的那些图片)可被正确地解码而无需使用在随机存取点之前的任何图片。举例来说，即使位流的一部分在传输期间或在解码期间丢失，解码器仍可从下一个随机存取点开始恢复解码位流。对随机存取的支持可促进(例如)动态流服务、搜寻操作、信道切换等。

在一些译码方案中，此些随机存取点可由被称作帧内随机存取点(IRAP)图片的图片提供。举例来说，存取单元(“auA”)中含有的增强层(“layerA”)中的随机存取点(例如，由增强层IRAP图片提供)可提供层特定的随机存取，使得对于layerA(例如，作为用以预测layerA的层的参考层)的具有在layerB中含有且按解码次序在auA之前的存取单元(“auB”)中的随机存取点(或auA中含有的随机存取点)的每一参考层(“layerB”)，layerA中按输出次序在auB之后的图片(包括位于auB中的那些图片)可正确解码而无需解码layerA中在auB之前的任何图片。

IRAP图片可使用帧内预测经译码(例如，在不参考其它图片的情况下译码)，且可包括例如瞬时解码器刷新(IDR)图片、CRA图片和BLA图片。当位流中存在IDR图片时，按解码次序在IDR图片之前的所有图片并不由按解码次序在IDR图片之后的图片用于预测。当位流中存在CRA图片时，在CRA图片之后的图片可或可不将按解码次序在CRA图片之前的图片用于预测。按解码次序在CRA图片之后但使用按解码次序在CRA图片之前的图片的图片可被称作随机存取跳过前导(RASL)图片。按解码次序在IRAP图片之后且按输出次序在IRAP图片之前的另一类型的图片为随机存取可解码前导(RADL)图片，其可不含有对按解码次序在IRAP图片之前的任何图片的参考。如果在CRA图片之前的图片不可用，那么RASL图片可由解码器丢弃。BLA图片向解码器指示在BLA图片之前的图片可能不可用于解码器(例如，由于两个位流被拼接在一起，且BLA图片按解码次序是第二位流的第一图片)。含有为IRAP图片的基础层图片(例如，层ID值为0的图片)的存取单元(例如，由跨越多个层的与相同输出时间相关联的所有经译码图片组成的图片群组)可被称为IRAP存取单元。

IRAP图片的跨层对准

在一些现有译码方案中，可能并不需要跨越不同层对准IRAP图片(例如，相同存取单元中含有的IRAP图片)。举例来说，如果需要对准IRAP图片，那么含有至少一个IRAP图片的任一存取单元将仅含有IRAP图片。另一方面，如果不需要对准IRAP图片，那么在单个存取单元中，一个图片(例如，在第一层中)可为IRAP图片，且另一图片(例如，在第二层中)可为非IRAP图片。在位流中具有此类非对准IRAP图片可提供一些优点。举例来说，在双层位流中，如果在基础层中存在比在增强层中多的IRAP图片，那么在广播和多播应用中，可实现低调入延迟和高译码效率。

在一些视频译码方案中，POC可用于跟踪显示经解码图片的相对次序。每当在位流中处理某些类型的图片时，此些译码方案中的一些可使得复位POC值(例如，设置成零或设置成在位流中经发信的某一值)。此些图片可被称为POC复位图片。举例来说，可复位某些IRAP图片的POC值，从而使按解码次序在那些IRAP图片之前的其它图片的POC值也被复位。当不需要跨不同层对准IRAP图片时，此可成问题。举例来说，当一个图片(“picA”)为IRAP图片且同一存取单元中的另一图片(“picB”)时不是IRAP图片时，含有picA的层中归因于picA为IRAP图片而经复位的图片(“picC”)的POC值可不同于含有picB的层中未经复位的图片(“picD”)的POC值，其中picC和picD在同一存取单元中。此使picC和picD具有不同POC值，即使其属于同一存取单元(例如，同一输出时间)。因此，在此实例中，用于导出picC和picD的POC值的导出过程可经修改以产生与POC值和存取单元的定义一致的POC值。

跨POC复位周期的长期参考图片

当特定EL的CRA图片和/或与此CRA图片相关联的RASL图片利用长期参考图片(LTRP)以供预测且同一层中存在按解码次序在LTRP之后且按解码次序在CRA图片之前的一或多个POC复位图片时，通过去除按解码次序在CRA图片之前的一或多个POC复位图片所获得的某些位流可使得CRA图片和/或RASL图片参考错误图片以供预测或使得那些参考图片中的一些不可用于预测。

图5展示包括EL 510和BL 520的多层位流500。EL 510包括EL图片511到518，且BL包括BL图片521到528。多层位流500进一步包括存取单元(AU)530到537。如图5中所展示，AU530包括EL图片511和BL图片521；AU 531包括EL图片512和BL图片522；AU 532包括EL图片513和BL图片523；AU 533包括EL图片514和BL图片524；AU 534包括EL图片515和BL图片525；AU 535包括EL图片516和BL图片526；AU 536包括EL图片517和BL图片527；且AU 537包括EL图片518和BL图片528。在图5的实例中，BL图片522到524为IDR图片；EL图片515为CRA图片；且EL图片516为与CRA图片515相关联的RASL图片。EL图片511为RASL图片516的LTRP(例如，基于LTRP 511译码RASL图片516)。EL图片512到514为POC复位图片。因此，位流500含有未经跨层对准的IRAP图片(例如，IDR图片522到524)。

在图5的实例中，如果LTRP 511为RASL图片516使用的唯一参考图片，那么CRA图片515的参考图片集(RPS)子集RefPicSetLtFoll(例如，用于被按解码次序在CRA图片515之后的图片参考的LTRP集)可由于RASL图片516出于参考目的使用LTRP 511而包括LTRP 511。类似地，POC复位图片512到514还可具有其相应RPS中的LTRP 511。在本发明的一些实施例中，中间体可使位流经受向下切换随后经受向上切换(例如，以满足某些带宽条件或适应较低可用带宽)。在此类实施例中，中间体可产生图6中所说明的位流600。图6的多层位流600包括EL 610和BL 620。EL 610包括EL图片611和615到618，且BL包括BL图片621到628。多层位流600进一步包括AU 630到637。如图6中所展示，AU 630包括EL图片611和BL图片621；AU631包括BL图片622；AU 632包括BL图片623；AU 633包括BL图片624；AU 634包括EL图片615和BL图片625；AU 635包括EL图片616和BL图片626；AU 636包括EL图片617和BL图片627；且AU 637包括EL图片618和BL图片628。在图6的实例中，BL图片622到624为IDR图片；EL图片615为CRA图片；且EL图片616为与CRA图片615相关联的RASL图片。EL图片611为RASL图片616的LTRP(例如，基于LTRP 611译码RASL图片616)。如图6中所说明，对应于图5的POC复位图片512到514的EL图片已经从位流600去除。

在图6的实例中，LTRP 611可为可用于对应于EL 610的子经解码图片缓冲器(DPB)中的。然而，作为向下切换和向上切换的结果，LTRP 611的POC已经通过结合按解码次序在LTRP 611之后但在CRA图片615之前的POC复位图片而执行的POC复位而递减，但对于向下切换和向上切换，LTRP 611的POC并不递减。由于在向下切换和向上切换期间去除POC复位图片，因此在此些POC复位图片之前(包括LTRP 611)的图片的POC递减的量丢失(或不可通过处理位流600的解码器确定)。举例来说，如果用于位流600的POC LSB长度为8位，且与CRA图片615相关联的RPS指代使用初始位流500中的LTRP 611的POC LSB(例如，100)的LTRP 611，那么由CRA图片615的RPS使用指代LTRP 611的POC LSB在向下切换和向上切换之后不再有效。如果CRA图片615的NAL单元类型并不改变为BLA图片的NAL单元类型中的一个，或并不将对应于CRA图片615的HandleCraAsBlaFlag设置为值1，那么所得位流600将被视为非符合位流。在实例中，当RASL图片616出于参考目的仅使用LTRP 611时，由于RASL图片616可经正确解码，因此不需要将CRA图片615标记为BLA图片或将其旗标HandleCraAsBlaFlag的值改变为值1。

在本发明的一些实施例中，如果RASL图片616指代短期参考图片(STRP)而不是LTRP 611，且STRP从位流去除，那么去除STRP的中间体可授权改变与RASL图片616相关联的CRA图片(例如，图6的实例中的CRA图片615)的NAL单元类型或将对应于此CRA图片的HandleCraAsBlaFlag的值设置等于1使得可将CRA图片处置为BLA图片。

在本发明的一些实施例中，位流一致性约束可指定RASL图片无法使用同一层中按解码次序在RASL图片的相关联的IRAP图片之前的POC复位图片之前的LTRP。在此类实施例中，译码器可确定可适用的此位流约束，且遵守位流约束使得经译码位流符合位流约束。在图5的实例中，RASL图片516将不能够出于参考目的而使用LTRP 511。在本发明的一些实施例中，位流一致性约束可指定CRA图片在其RPS中无法包括按解码次序在与CRA相同的层中的任何POC复位图片之前且按解码次序在CRA图片之前的任何LTRP。在本发明的一些实施例中，位流一致性约束可指定CRA图片在其RPS中无法包括按解码次序在与CRA相同的层中的任何POC复位图片之前且按解码次序在CRA图片之前的任何图片。在本发明的一些实施例中，本文中所描述的位流一致性约束可施加到nuh_layer_id大于0的层(例如，不同于基础层的层)。

举例来说，可通过包括对RPS的如下约束而实施位流一致性约束：“位流一致性的要求为CRA图片的RefPicSetLtFoll中的任何图片当存在时不应在POC复位图片之前，所述POC复位图片按解码次序在CRA图片之前且具有与CRA图片相同的nuh_layer_id”。或者，可使用如下约束：“位流一致性的要求为CRA图片的RPS中nuh_layer_id大于0的任何图片按解码次序不应在任何POC复位图片之前，所述POC复位图片按解码次序在CRA图片之前且具有与CRA图片相同的nuh_layer_id”。

POC复位周期中无图片

如果位流在完整POC复位周期(例如，以POC复位开始且紧接在下一POC复位之前结束的周期)内不含特定层处的任何图片，那么编码器可不能够在一些使用状况下产生符合位流。举例来说，基于属于每一层层且POC复位周期中含有的第一图片(例如，POC复位图片)中可用的信息来递减与彼层中的图片相关联的POC值。当在给定POC复位周期中特定层不含任何图片时，与特定层中的图片相关联的POC值应递减的量可能不可获得或不可确定。此问题说明于图7中。

图7展示包括EL 710和BL 720的多层位流700。EL 710包括EL图片711、712和715到718，且BL包括BL图片721到728。多层位流700进一步包括AU 730到737。如图7中所展示，AU730包括EL图片711和BL图片721；AU 731包括EL图片712和BL图片722；AU 732包括BL图片723；AU 733包括BL图片724；AU 734包括EL图片715和BL图片725；AU 735包括EL图片716和BL图片726；AU 736包括EL图片717和BL图片727；且AU 737包括EL图片718和BL图片728。在图7的实例中，BL图片723为IDR图片且BL图片725为CRA图片。IDR图片723、CRA图片725和EL图片715为具有等于1或2的poc_reset_idc值(例如，指示完整POC复位或POC MSB复位)的POC复位图片。

如图7中所说明，位流700从AU 732到AU 733不含任何EL图片。因此，当译码器执行与IDR图片723相关联的POC复位(例如，AU 732中的图片的完整POC复位)时，译码器可不知道在AU 732之前的EL图片应递减的量。如果与EL图片715相关联的poc_reset_idc指示POCMSB复位待在AU 734处执行，那么译码器可不知道在AU 732处并未执行但应已执行的EL图片的POC递减。

在本发明的一些实施例中，另外在切片片段标头扩展中发信POC递减信息，且此额外信息可用于导出在与当前图片相同的层中的先前经解码图片的POC值递减的值。在其它实施例中，仅当图片为与POC MSB复位(例如，并不是完整复位)相关联的POC复位图片时可发送额外POC递减信息。可如下文展示实施此些特征。

对切片片段标头语法的改变

如果与等于值3的poc_reset_idc相关联的功能性经去除且提供为独立旗标，那么编码器可能够对图7中所说明的位流进行编码。此变化可允许与等于值3的poc_reset_idc相关联的功能性可用于在此变化之前与为1或2的poc_reset_idc值相关联的那些图片。在下文中突出显示对语法、语义和解码过程的改变：以斜体字展示添加且以[[双方括号]]展示删除。表1说明对slice_segment_header()语法的改变：

表1：slice_segment_header()的实例语法

对切片片段标头语义的改变

切片片段标头语义可如下文所示经修改，其中以斜体字展示添加且以[[双方括号]]展示删除：

等于0的poc_reset_idc指定当前图片的图片次序计数值的最高有效位和最低有效位皆未经复位。等于1的poc_reset_idc指定仅可复位当前图片的图片次序计数值的最高有效位。等于2的poc_reset_idc指定可复位当前图片的图片次序计数值的最高有效位和最低有效位两者。[[等于3的poc_reset_idc指定可复位当前图片的图片次序计数值的仅最高有效位或最高有效位和最低有效位两者，且发信额外图片次序计数信息。]]当不存在时，推断poc_reset_idc的值等于0。

这是以下约束适用的位流一致性的要求：

-对于RASL图片、RADL图片、子层非参考图片、或具有大于0的TemporalId的图片或具有等于1的discardable_flag的图片，poc_reset_idc的值不应等于1或2。

-存取单元中的所有图片的poc_reset_idc的值应相同。

-当在具有等于0的nuh_layer_id的存取单元中的图片为具有特定nal_unit_type值的IRAP图片且在同一存取单元中存在具有不同nal_unit_type值的至少一个其它图片时，对于存取单元中的所有图片，poc_reset_idc的值应等于1或2。

-当在存取单元中存在具有大于0的nuh_layer_id且为具有特定nal_unit_type值的IDR图片的至少一个图片且在同一存取单元中存在具有不同nal_unit_type值的至少一个其它图片时，对于存取单元中的所有图片，poc_reset_idc的值应等于1或2。

-CRA或BLA图片的poc_reset_idc的值应小于3。

-当存取单元中具有等于0的nuh_layer_id的图片是IDR图片且同一存取单元中存在至少一个非IDR图片时，对于存取单元中的所有图片，poc_reset_idc的值应等于2。

-当存取单元中具有等于0的nuh_layer_id的图片不是IDR图片时，对于存取单元中的任一图片，poc_reset_idc的值不应等于2。

存取单元的poc_reset_idc的值为存取单元中的图片的poc_reset_idc的值。

poc_reset_period_id识别POC复位周期。同一层中将不存在按解码次序连续的具有等于1或2的poc_reset_period_id和poc_reset_idc的相同值的两个图片。当不存在时，poc_reset_period_id的值推断如下：

-如果具有存在于切片片段标头中的poc_reset_period_id的先前图片picA存在于与当前图片相同的位流层中，那么推断poc_reset_period_id的值等于picA的poc_reset_period_id的值。

-否则，推断poc_reset_period_id的值等于0。

应注意-层中的多个图片具有相同的poc_reset_period_id值且具有等于1或2的poc_reset_idc不受禁止，除非此类图片出现在按解码次序的两个连续存取单元中。为了使这两个图片出现在位流中的可能性最小化(归因于图片损失、位流提取、搜寻或拼接操作)，编码器应针对每一POC复位周期将poc_reset_period_id的值设置为随机值(经受上文指定的约束)。

这是以下约束适用的位流一致性的要求：

-一个POC复位周期将不包括具有等于1或2的poc_reset_idc的一个以上存取单元。

-具有等于1或2的poc_reset_idc的存取单元将为POC复位周期中的第一存取单元。

-在按解码次序的POC复位周期的所有层当中按解码次序在第一POC复位图片之后的图片在按解码次序在第一POC复位图片之前的任一层中按输出次序不应在另一图片之前。

等于1的poc_decrement_info_present_flag指定在切片标头扩展中发信语法元素full_poc_reset_flag和poc_lsb_val。等于0的poc_decrement_info_present_flag指定在切片标头扩展中不发信语法元素full_poc_reset_flag和poc_lsb_val。

当同一层中按解码次序的先前图片并不属于同一POC复位周期时，等于1的full_poc_reset_flag指定当前图片的图片次序计数值的最高有效位和最低有效位两者经复位。当同一层中按解码次序的先前图片不属于同一POC重设周期时，等于0的full_poc_reset_flag指定仅复位当前图片的图片次序计数值的最高有效位。

poc_lsb_val指定可用以导出当当前图片的图片次序计数的值。poc_lsb_val语法元素的长度是log2_max_pic_order_cnt_lsb_minus4+4个位。

位流一致性的要求为当poc_decrement_info_present_flag等于1[[poc_reset_idc等于3]]，且在与当前图片相同的层中、具有等于1或2的poc_reset_idc且属于同一POC复位周期的按解码次序的先前图片picA存在于位流中时，picA应为与在与当前图片相同的层中；不是RASL图片、RADL图片或子层非参考图片；且具有等于0的TemporalId和等于0的discardable_flag的按解码次序的先前图片相同的图片，且当前图片的poc_lsb_val的值应等于picA的slice_pic_order_cnt_lsb的值。

变量PocMsbValRequiredFlag导出如下：

PocMsbValRequiredFlag＝CraOrBlaPicFlag&&(！vps_poc_lsb_aligned_flag||

(vps_poc_lsb_aligned_flag&&NumDirectRefLayers[nuh_layer_id]＝＝0))

或者，以下约束添加为位流一致性约束。

以下约束适用的位流一致性的要求为：

-当poc_decrement_info_present_flag等于1时，poc_reset_idc不应等于0或2。

或者，以下约束添加为位流一致性约束。

以下约束适用的位流一致性的要求为：

-当poc_decrement_info_present_flag等于1时，poc_reset_idc不应等于2。

对POC的解码过程的改变

HEVC规范中描述的现有解码过程可如下文所示经修改，其中以斜体字展示添加且以[[双方括号]]展示删除：

F.8.3.1用于图片次序计数的解码过程

此过程的输出为PicOrderCntVal，当前图片的图片次序计数。

图片次序计数用于识别图片，以用于在合并模式和运动向量预测中导出运动参数，且用于解码器一致性检查(参见子条款C.5)。

每一经译码图片与一图片次序计数变量(表示为PicOrderCntVal)相关联。

当当前图片为在POC复位周期的所有层当中的第一图片时，对于在0到62范围(包括端点)内的i的每一值，将变量PocDecrementedInDPBFlag[i]设置成等于0。

变量pocResettingFlag导出如下：

-如果当前图片为POC复位图片，那么以下适用：

-如果vps_poc_lsb_aligned_flag等于0，那么将pocResettingFlag设置成等于1。

-否则，如果PocDecrementedInDPBFlag[nuh_layer_id]等于1，那么将pocResettingFlag设置成等于0。

-否则，将pocResettingFlag设置成等于1。

-否则，将pocResettingFlag设置成等于0。

列表affectedLayerList导出如下：

-如果vps_poc_lsb_aligned_flag等于0，那么affectedLayerList由当前图片的nuh_layer_id构成。

-否则，affectedLayerList由当前图片的nuh_layer_id和等于在0到NumPredictedLayers[currNuhLayerId]-1范围(包括端点)内的j的所有值中的PredictedLayerId[currNuhLayerId][j]的nuh_layer_id值构成，其中currNuhLayerId为当前图片的nuh_layer_id值。

如果pocResettingFlag等于1，那么以下适用：

-当FirstPicInLayerDecodedFlag[nuh_layer_id]等于1时，以下适用：

-如下导出变量pocMsbDelta、pocLsbDelta和DeltaPocVal：

-在DPB中且具有nuh_layer_id值nuhLayerId(其中PocDecrementedInDPBFlag[nuhLayerId]等于0)且等于affectedLayerList中的任何值的每一图片的PicOrderCntVal通过DeltaPocVal递减。

-对于包括于affectedLayerList中的nuhLayerId的每一值，将PocDecrementedInDPBFlag[nuhLayerId]设置成等于1。

-如下导出当前图片的PicOrderCntVal：

否则，以下适用：

-如下导出当前图片的PicOrderCntVal：

对于包括于affectedLayerList中的lId值中的每一者，PrevPicOrderCnt[lId]的值导出如下：

-如果当前图片不是RASL图片、RADL图片或子层非参考图片，且当前图片具有等于0的TemporalId和等于0的discardable_flag，那么将PrevPicOrderCnt[lId]设置成等于PicOrderCntVal。

-否则，当poc_decrement_info_present_flag等于1[[poc_reset_idc等于3]]且以下条件中的一个为真时，将PrevPicOrderCnt[lId]设置成等于(full_poc_reset_flag？0:poc_lsb_val)：

-FirstPicInLayerDecodedFlag[nuh_layer_id]等于0。

-FirstPicInLayerDecodedFlag[nuh_layer_id]等于1且当前图片为POC复位图片。

PicOrderCntVal的值将在-2³¹到2³¹-1的范围内(包括-2³¹和2³¹-1)。在一个CVS中，同一层中任何两个经译码图片的PicOrderCntVal值不应相同。

如下指定函数PicOrderCnt(picX)：

PicOrderCnt(picX)＝图片picX的PicOrderCntVal

如下指定函数DiffPicOrderCnt(picA,picB)：

DiffPicOrderCnt(picA,picB)＝PicOrderCnt(picA)-PicOrderCnt(picB)

位流不应含有产生用于解码过程中的不在-2¹⁵到2¹⁵-1的范围内(包括-2¹⁵和2¹⁵-1)的DiffPicOrderCnt(picA,picB)的值的数据。

注意-假设X是当前图片且Y和Z是相同序列中的两个其它图片，当DiffPicOrderCnt(X,Y)和DiffPicOrderCnt(X,Z)两者为正或两者都为负时，Y和Z被视为在从X的相同输出次序方向上。

或者，可允许CRA具有等于3的poc_reset_idc且修改poc_msb_val的语义使得poc_msb_val的值应等于当前图片与[[同一层中]]的先前POC复位图片或[[同一层中]]的先前IDR图片(无论哪个按解码次序更接近于当前图片)的图片次序计数的最高有效位的值之间的差。

切片片段标头扩展语法元素的语义

当前，并未界定语法元素slice_segment_header_extension_length和slice_segment_header_extension_data_bit的语义。以下语义可被添加到HEVC规范。

slice_segment_header_extension_length以字节指定在此语法元素之后的切片标头扩展数据的长度。slice_segment_header_extension_length的值应在0到4096范围内(包括端点)。当不存在时，推断slice_segment_header_extension_length的值等于0。

slice_segment_header_extension_data_bit可具有任何值。解码器应忽略slice_segment_header_extension_data_bit的值。其值并不影响解码器对本说明书的此版本中指定的简档的一致性。

poc_reset_info_present_flag的语义

语法元素poc_reset_info_present_flag在PPS中发信，对旗标pps_extension_type_flag[0]的值进行调节。在下文中再现poc_reset_info_present_flag的语法和语义。表2说明pic_parameter_set_rbsp()的实例语法。

表2：pic_parameter_set_rbsp()的实例语法

对于在1到6范围内(包括1和6)的i，符合本说明书的此版本的位流中的pps_extension_type_flag[i]应等于0。等于1的pps_extension_type_flag[0]指定poc_reset_info_present_flag存在于PPS RBSP语法结构中。等于0的pps_extension_type_flag[0]指定poc_reset_info_present_flag并不存在于PPS RBSP语法结构中。对于在1到7范围内(包括1和7)的i，pps_extension_type_flag[i]的值1经保留以供将来由ITU-T|ISO/IEC使用。等于0的pps_extension_type_flag[7]指定pps_extension_data_flag语法元素不存在于PPS RBSP语法结构中。解码器应忽略PPS NAL单元中在为值1的pps_extension_type_flag[7]之后的所有pps_extension_data_flag语法元素。

等于0的poc_reset_info_present_flag指定语法元素poc_reset_idc不存在于参考PPS的切片的切片段标头中。等于1的poc_reset_info_present_flag指定语法元素poc_reset_idc存在于参考PPS的切片的切片段标头中。

在一些实施方案中，即使当poc_reset_info_present_flag的值等于0时，当前语法可授权将pps_extension_type_flag[0]设置为值1且发信poc_reset_info_present_flag。然而，当语法元素并不存在时，不发信poc_reset_info_present_flag而是推断其值等于0可为更有效的。可通过如下文所示修改语义来实施此改变，其中以斜体字展示添加的语言：

等于0的poc_reset_info_present_flag指定语法元素poc_reset_idc不存在于参考PPS的切片的切片段标头中。等于1的poc_reset_info_present_flag指定语法元素poc_reset_idc存在于参考PPS的切片的切片段标头中。当不存在时，推断poc_reset_info_present_flag的值等于0。

本发明中描述的技术可独立应用且其中的一些或全部可以组合形式应用。本文中所描述的指示、旗标和/或语法元素可提供于包括(但不限于)VPS、SPS、PPS、切片标头、SEI消息等的位流的各种部分中且甚至可通过外部装置指定。

其它考量

可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。举例来说，可以由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示贯穿上文描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。

结合本文中所揭示的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为了清楚说明硬件与软件的此互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。此种功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用而以不同方式来实施所描述的功能性，但此些实施方案决策不应被解释为会导致脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。此些技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包括在无线通信装置手持机和其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包含程序代码的计算机可读数据存储媒体来实现，所述程序代码包括在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体和其类似者。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传达程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包括一或多个处理器，例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。同样，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元来实现。相反地，如上文所描述，各种单元可与合适的软件和/或固件一起组合在编解码器硬件单元中，或由互操作硬件单元(包括如上文所描述的一或多个处理器)的集合来提供。

已经描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (22)

1.一种用于译码位流中的视频信息的设备，其包含：

存储器，其经配置以存储与具有当前图片的视频层相关联的视频数据；和

处理器，其与所述存储器通信且经配置以：

确定所述位流中发信的语法元素是否具有等于第一值的值，所述语法元素指示对应于与视频层中的所述当前图片相关联的切片片段的标头部分的扩展数据的长度，其中所述语法元素是slice_segment_header_extension_length语法元素；和

基于所述语法元素具有等于所述第一值的值的所述确定，确定指示所述当前图片相对于所述位流中的其它图片的输出位置的图片次序计数POC值的一或多个最高有效位MSB不存在于所述位流中，

其中所述POC值的所述一或多个MSB提供于对应于与所述当前图片相关联的所述切片片段的所述标头部分的所述扩展数据中。

2.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于所述语法元素具有不等于所述第一值的值的确定，确定所述一或多个MSB存在于所述位流中。

3.根据权利要求1所述的设备，其中所述处理器进一步经配置以至少部分地基于所述当前图片是高效视频译码HEVC标准的清洁随机存取CRA图片还是断链存取BLA图片来确定与所述当前图片相关联的所述POC值的所述一或多个MSB并不存在于所述位流中。

4.根据权利要求1所述的设备，其中所述处理器进一步经配置以：

确定所述当前图片是高效视频译码HEVC标准的清洁随机存取CRA图片还是断链存取BLA图片；

响应于所述当前图片为CRA图片或BLA图片的确定而处理需要将所述POC值的所述一或多个MSB提供于所述位流中的指示；和

不管需要将所述POC值的所述一或多个MSB提供于所述位流中的所述指示，基于所述语法元素具有等于所述第一值的值的所述确定，确定所述POC值的所述一或多个MSB不存在于所述位流中。

5.根据权利要求1所述的设备，其中所述处理器进一步经配置以将指示所述一或多个MSB是否存在的参数设置为零以指示所述POC值的所述一或多个MSB并不存在于所述位流中。

6.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于所述语法元素具有不等于所述第一值的值的确定而至少部分地基于所述POC值的所述一或多个MSB而译码与所述视频层相关联的所述视频数据。

7.根据权利要求1所述的设备，其中所述处理器进一步经配置以：

基于所述语法元素具有不等于所述第一值的值的确定，确定是否需要与所述当前图片相关联的所述POC值的所述一或多个MSB存在于所述位流中；和

基于需要所述POC值的所述一或多个MSB存在于所述位流中的确定，处理提供于所述位流中的与所述当前图片相关联的所述POC值的所述一或多个MSB。

8.根据权利要求7所述的设备，其中所述处理器进一步经配置以基于不需要与所述当前图片相关联的所述POC值的所述一或多个MSB存在于所述位流中的确定，确定相关联的所述POC值的所述一或多个MSB不存在于所述位流中。

9.一种译码位流中的视频信息的方法，所述方法包含：

确定所述位流中发信的语法元素是否具有等于第一值的值，所述语法元素指示对应于与视频层中的当前图片相关联的切片片段的标头部分的扩展数据的长度，其中所述语法元素是slice_segment_header_extension_length语法元素；和

基于所述语法元素具有等于所述第一值的值的所述确定，确定指示所述当前图片相对于所述位流中的其它图片的输出位置的图片次序计数POC值的一或多个最高有效位MSB不存在于所述位流中，

其中所述POC值的所述一或多个MSB提供于对应于与所述当前图片相关联的所述切片片段的所述标头部分的所述扩展数据中。

10.根据权利要求9所述的方法，其进一步包含基于所述语法元素具有不等于所述第一值的值的确定，确定所述一或多个MSB存在于所述位流中。

11.根据权利要求9所述的方法，其进一步包含至少部分地基于所述当前图片是高效视频译码HEVC标准的清洁随机存取CRA图片还是断链存取BLA图片而确定与所述当前图片相关联的所述POC值的所述一或多个MSB并不存在于所述位流中。

12.根据权利要求9所述的方法，其进一步包含：

确定所述当前图片是高效视频译码HEVC标准的清洁随机存取CRA图片还是断链存取BLA图片；

响应于所述当前图片为CRA图片或BLA图片的确定而确定需要将所述POC值的所述一或多个MSB提供于所述位流中；和

不管需要将所述POC值的所述一或多个MSB提供于所述位流中的所述确定，基于所述语法元素具有等于所述第一值的值的所述确定，确定所述POC值的所述一或多个MSB不存在于所述位流中。

13.根据权利要求9所述的方法，其进一步包含将指示所述一或多个MSB是否存在的参数设置为零以指示所述POC值的所述一或多个MSB并不存在于所述位流中。

14.根据权利要求9所述的方法，其进一步包含基于所述语法元素具有不等于所述第一值的值的所述确定而至少部分地基于所述POC值的所述一或多个MSB译码所述视频信息。

15.根据权利要求9所述的方法，其进一步包含基于需要所述POC值的所述一或多个MSB存在于所述位流中的确定，处理提供于所述位流中的与所述当前图片相关联的所述POC值的所述一或多个MSB。

16.根据权利要求15所述的方法，其进一步包含基于不需要所述POC值的所述一或多个MSB存在于所述位流中的确定，确定与所述当前图片相关联的所述POC值的所述一或多个MSB不存在于所述位流中。

17.一种非暂时性计算机可读介质，其包含计算机程序代码，所述计算机程序代码被处理器执行以使得设备进行以下操作：

存储与具有当前图片的视频层相关联的视频数据；

确定位流中发信的语法元素是否具有等于第一值的值，所述语法元素指示对应于与视频层中的所述当前图片相关联的切片片段的标头部分的扩展数据的长度，其中所述语法元素是slice_segment_header_extension_length语法元素；和

基于所述语法元素具有等于所述第一值的值的所述确定，确定指示所述当前图片相对于所述位流中的其它图片的输出位置的图片次序计数POC值的一或多个最高有效位MSB不存在于所述位流中。

18.根据权利要求17所述的计算机可读介质，其中所述计算机程序代码进一步被所述处理器执行以使得所述设备基于所述语法元素具有不等于所述第一值的值的确定而确定所述一或多个MSB存在于所述位流中。

19.根据权利要求17所述的计算机可读介质，其中所述计算机程序代码进一步被所述处理器执行以使得所述设备：

确定所述当前图片是高效视频译码HEVC标准的清洁随机存取CRA图片还是断链存取BLA图片；

响应于所述当前图片为CRA图片或BLA图片的确定而确定需要将所述POC值的所述一或多个MSB提供于所述位流中；和

不管需要将所述POC值的所述一或多个MSB提供于所述位流中的所述确定，基于所述语法元素具有等于所述第一值的值的所述确定，确定所述POC值的所述一或多个MSB不存在于所述位流中。

20.一种视频译码装置，其经配置以译码位流中的视频信息，所述视频译码装置包含：

用于存储与具有当前图片的视频层相关联的视频数据的装置；

用于确定所述位流中发信的语法元素是否具有等于第一值的值的装置，所述语法元素指示对应于与视频层中的所述当前图片相关联的切片片段的标头部分的扩展数据的长度，其中所述语法元素是slice_segment_header_extension_length语法元素；和

用于基于所述语法元素具有等于所述第一值的值的确定，确定指示所述当前图片相对于所述位流中的其它图片的输出位置的图片次序计数POC值的一或多个最高有效位MSB不存在于所述位流中的装置，

其中所述POC值的所述一或多个MSB提供于对应于与所述当前图片相关联的所述切片片段的所述标头部分的所述扩展数据中。

21.根据权利要求20所述的视频译码装置，其进一步包含用于基于所述语法元素具有不等于所述第一值的值的确定，确定所述一或多个MSB存在于所述位流中的装置。

22.根据权利要求20所述的视频译码装置，其进一步包含：

用于确定所述当前图片是高效视频译码HEVC标准的清洁随机存取CRA图片还是断链存取BLA图片的装置；

用于响应于所述当前图片为CRA图片或BLA图片的确定而确定需要将所述POC值的所述一或多个MSB提供于所述位流中的装置；和

用于不管需要将所述POC值的所述一或多个MSB提供于所述位流中的所述确定，基于所述语法元素具有等于所述第一值的值的所述确定，确定所述POC值的所述一或多个MSB不存在于所述位流中的装置。