CN105830447B

CN105830447B - 用于视频信息的可缩放译码的装置及方法

Info

Publication number: CN105830447B
Application number: CN201480068518.7A
Authority: CN
Inventors: 阿达许·克里许纳·瑞玛苏布雷蒙尼安; 伏努·亨利; 王益魁
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-12-19
Filing date: 2014-12-19
Publication date: 2019-01-18
Anticipated expiration: 2034-12-19
Also published as: KR20160099686A; US9854270B2; CN105830447A; CA2930328A1; BR112016014227B1; TWI645716B; BR112016014227A2; EP3085097B1; WO2015095706A1; TW201536038A; ES2854274T3; EP3085097A1; CA2930328C; JP2017507517A; US20150181233A1; KR102294250B1; JP6517213B2

Abstract

一种经配置以译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与具有当前图片的第一视频层相关联的视频信息。所述处理器经配置以处理与所述当前图片相关联的第一偏移，所述第一偏移指示在以下两者之间的差异：(a)所述第一视频层中按解码次序在所述当前图片前的先前图片的第一图片次序计数POC的最高有效位MSB，与(b)所述当前图片的第二POC的MSB。

Description

用于视频信息的可缩放译码的装置及方法

技术领域

本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码(SVC)、多视图视频译码(MVC)或三维(3D)视频译码(3DV)。

背景技术

数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及此等标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，可将视频切片(例如，视频帧、视频帧的一部分等)分割成视频块(其也可被称作树型块)、译码单元(CU)及/或译码节点。可使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测导致对块的预测性块进行译码。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。经帧内译码块根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致可接着进行量化的残余变换系数。可扫描一开始布置为二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵编码以实现甚至更多压缩。

发明内容

本发明的系统、方法及装置各自具有若干创新方面，其中无单一者单独负责本文中所公开的合乎需要的属性。

在一个方面中，一种经配置以译码(例如，编码或解码)视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与具有当前图片的第一视频层相关联的视频信息。所述处理器经配置以处理与所述当前图片相关联的第一偏移，所述第一偏移指示在以下两者之间的差异：(a)所述第一视频层中按解码次序在当前图片前的先前图片的第一图片次序计数(POC)的最高有效位元(MSB)，与(b)当前图片的第二POC的MSB。

在另一方面中，一种译码视频信息的方法包括处理与第一视频层中的当前图片相关联的第一偏移，所述第一偏移指示在以下两者之间的差异：(a)所述第一视频层中按解码次序在当前图片前的先前图片的第一POC的最高有效位元(MSB)，与(b)当前图片的第二POC的MSB。

在另一方面中，一种非暂时性计算机可读媒体包括当执行时使设备执行过程的代码。过程包含存储与具有当前图片的第一视频层相关联的视频信息，及处理与当前图片相关联的第一偏移，所述第一偏移指示在以下两者之间的差异：(a)所述第一视频层中按解码次序在当前图片前的先前图片的第一POC的最高有效位元(MSB)，与(b)当前图片的第二POC的MSB。

在另一方面中，一种经配置以译码视频信息的视频译码装置包括用于存储与具有当前图片的第一视频层相关联的视频信息的装置，及用于处理与当前图片相关联的第一偏移的装置，所述第一偏移指示在以下两者之间的差异：(a)所述第一视频层中按解码次序在当前图片前的先前图片的第一POC的最高有效位元(MSB)，与(b)当前图片的第二POC的MSB。

附图说明

图1A为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。

图1B为说明可执行根据本发明中描述的方面的技术的另一实例视频编码及解码系统的框图。

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图2B为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3A为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图3B为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4为说明在不同层中的图片的实例配置的框图。

图5为说明在不同层中的图片的POC值的表。

图6为说明在不同层中的图片的实例配置的框图。

图7为说明在不同层中的图片的POC值的表。

图8为说明根据本发明的一个实施例的译码视频信息的方法的流程图。

具体实施方式

一般而言，本发明涉及针对在高级视频编码解码器的情况下的多层视频译码(例如，HEVC(高效率视频译码))的POC管理。更具体的说，本发明涉及用于在HEVC的可缩放视频译码(SVC)扩展中的层间预测的改良效能的系统及方法。

可缩放视频译码(SVC)指使用基础层(BL)(有时被称作参考层(RL))及一或多个可缩放增强层(EL)的视频译码。在SVC中，基础层可携载具有基础品质位准的视频数据。一或多个增强层可携载额外视频数据以支持(例如)较高空间、时间及/或信噪比(SNR)位准。可关于先前编码的层来界定增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，中间层(例如，既不是最低层，也不是最高层)可为在中间层下方的层(例如，基础层或任何插入的增强层)的EL，且同时，充当在中间层上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息译码(例如，编码或解码)另一视图的信息(例如，运动估计、运动向量预测及/或其它冗余)。

在一些视频译码方案中，可使用图片次序计数(POC)指示待输出或显示图片的次序。另外，在一些实施中，只要在位流中处理某些类型的图片，便可复位POC的值(例如，设定为零、设定为在位流中传信或从位流中包含的信息导出的值)。举例来说，当在位流中处理某些随机存取点图片时，可复位POC。

为了改良位元率效率，在一些实施中，仅传信POC的一部分。举例来说，可传信POC的最低有效位元(LSB)，且可使用图片的网络抽象层(NAL)单元类型及按解码次序在当前图片前的图片的LSB及/或最高有效位元(MSB)计算(例如，确定)POC的MSB。在其它实施中，可在包含清洁随机存取(CRA)图片及断链存取(BLA)图片的某些类型的图片的切片标头扩展中传信POC MSB信息，以改良POC导出过程的容错性。然而，在一些情况下，使用传信的POCMSB信息计算仅用于CRA及BLA图片的POC值(其中NoRaslOutputFlag等于值1)可导致不正确的POC值或导致跨多个层不对齐的POC值。举例来说，当存取单元的每一图片具有同一POC值时，发生跨多个层的对齐(例如，交叉对齐)，使得同时或几乎同时地输出存取单元的图片。此不对齐将违反可缩放高效率视频译码(SHVC)标准要求的约束，SHVC标准要求单一存取单元中的图片具有相同POC值。

因此，需要用于导出POC值的改良的译码方法。

在本发明中，描述可用以改良针对多层视频译码的POC导出的各种技术。在本发明的一些实施例中，POC MSB信息(在本发明中有时被称作“POC MSB周期”)可不仅具备CRA及BLA图片，并且还具备瞬时解码器刷新(IDR)图片。通过提供关于IDR图片的POC MSB信息，也可针对IDR图片达成容错性及改良的POC导出。在本发明的一些实施例中，可基于POC MSB信息是否具备POC复位图片来以不同方式利用POC MSB信息。举例来说，如果POC MSB信息具备POC复位图片，那么可使用POC MSB信息更新经解码图片缓冲器(DPB)中的图片的POC值。如果POC MSB信息具备非POC复位图片，那么就使用POC MSB信息计算(例如，确定)非POC复位图片的POC。通过考虑图片是否为POC复位图片，译码器可能能够防止DPB中的图片在POC复位后变得无序。

在以下描述中，描述与某些实施例有关的H.264/AVC技术，还论述HEVC标准及相关技术。虽然本文中在及/或H.264标准的情况下描述某些实施例，但所属领域技术人员可了解，本文中公开的系统及方法可适用于任何合适的视频译码标准。举例来说，本文中公开的实施例可适用于以下标准中的一或多者(例如，包含由国际电信联合会电信标准化部门[ITU-T]视频译码专家小组[VCEG]或国际标准化组织/国际电工委员会[ISO/IEC]动画专家小组[MPEG]开发的标准)：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。

在许多方面，HEVC通常遵循先前视频译码标准的构架。HEVC中的预测单元不同于在某些先前视频译码标准中的预测的单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块——译码单元(CU)、预测单元(PU)及变换单元(TU)。CU可指区域分裂的基本单元。可考虑CU类似于宏块的概念，但HEVC不限制CU的最大大小，且可允许递归分裂成四个相等大小CU以改良内容适应性。可将PU考虑为帧间/帧内预测的基本单元，且单一PU可含有多个任意形状分割区以有效地译码不规则图像图案。可将TU考虑为变换的基本单元。可独立于PU定义TU；然而，TU的大小可限于TU属于的CU的大小。块结构到三个不同概念的此分离可允许将每一单元根据所述单元的各别角色而最佳化，其可导致改良的译码效率。

仅为了说明的目的，通过仅包含两个视频数据层(例如，例如基础层的较低层及例如增强层的较高层)的实例描述本文中公开的某些实施例。视频数据的“层”可大体指具有至少一个共同特性(例如，视图、帧速率、解析度或类似者)的一连串图片。举例来说，层可包含与多视图视频数据的特定视图(例如，透视图)相关联的视频数据。作为另一实例，层可包含与可缩放视频数据的特定层相关联的视频数据。因此，本发明可互换地参考视频数据的层与视图。举例来说，视频数据的视图可被称作视频数据的层，且视频数据的层可被称作视频数据的视图。此外，多层编码解码器(也被称作多层视频译码器或多层编码器-解码器)可共同指多视图编码解码器或可缩放编码解码器(例如，经配置以使用MV-HEVC、3D-HEVC、SHVC或另一多层译码技术编码及/或解码视频数据的编码解码器)。视频编码及视频解码可都通常被称作视频译码。应理解，此等实例可适用于包含多个基础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，以下公开内容包含术语“帧”或“块”。然而，此等术语并不意味着为限制性。举例来说，以下描述的技术可供例如块(例如，CU、PU、TU、宏块等)、切片、帧等的任何合适视频单元使用。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像的数字图像可由按水平线及垂直线排列的像素或样本组成。单一图像中的像素的数目通常有数万个。每一像素通常含有亮度及色度信息。在不压缩的情况下，待从图像编码器传送到图像解码器的信息的绝对数量将致使即时图像发射不可能。为了减少待发射的信息的量，已开发许多不同压缩方法，例如，JPEG、MPEG及H.263标准。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。

此外，视频译码标准(即，HEVC)正由ITU-T VCEG与ISO/IEC MPEG的关于视频译码的联合合作小组(JCT-VC)开发。对HEVC草案10的充分引用为Bross等人的文件JCTVC-L1003，“高效率视频译码(HEVC)本文说明书草案10”，ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日至2013年1月23日。对HEVC的多视图扩展(即，MV-HEVC)及对HEVC的可缩放扩展(名为SHVC)也正分别由JCT-3V(关于3D视频译码扩展开发的ITU-T/ISO/IEC联合合作小组)及JCT-VC开发。

视频译码系统

下文参看附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何具体结构或功能。相反，此等方面经提供以使得本发明为详尽且完整的，且将向所属领域技术人员充分传达本发明的范围。基于本文中的教示，所属领域技术人员应了解本发明的范围意欲覆盖本文中公开的新颖系统、设备及方法的任何方面，不管是独立于本发明的任何其它方面或与本发明的任何其它方面组合地实施。举例来说，可使用本文中所阐明的任何数目个方面来实施设备或可使用本文中所阐明的任何数目个方面来实践方法。另外，本发明的范围意欲覆盖使用除本文中所阐明的本发明的各种方面的外的或不同于本文中所阐明的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可藉由技术方案的一或多个要素来体现本文中所公开的任一方面。

尽管本文中描述特定方面，但此等方面的许多变化及排列属于本发明的范围。尽管提到了优选方面的一些益处及优点，但本发明的范围并不意欲限于特定益处、用途或目标。相反，本发明的方面意欲广泛适用于不同无线技术、系统配置、网络及传输协议，其中的一些通过各图中及对优选方面的以下描述中的实例来说明。实施方式及图式仅对本发明进行说明而非限制，本发明的范围由所附权利要求书及其等效内容界定。

附图说明实例。由附图中的参考数字指示的元件对应于在以下描述中由相同参考数字指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等等)开始的元件未必暗示彼等元件具有特定次序。相反地，此等序数词仅用以指相同或类似类型的不同元件。

图1A为说明可利用根据本发明中描述的方面的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指视频编码及视频解码。除了视频编码器及视频解码器外，本申请案中描述的方面可缩放到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)及中间盒(例如，可修改、变换及/或另外操纵位流的装置)。

如图1A中所展示，视频译码系统10包含源装置12，其产生稍后待由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12与目的地装置14在分开的装置上，具体的说，源装置12为源装置的部分，且目的地装置14为目的地装置的部分。然而，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实施中所展示。

再次参看图1A，源装置12及目的地装置14可分别包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机上盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或类似者。在各种实施例中，源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可通过链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包括通信媒体以使源装置12能够即时地将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理发射线路。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

替代地，经编码数据可从输出接口22输出到可选存储装置31。类似地，经编码数据可通过(例如，目的地装置14的)输入接口28从存储装置31存取。存储装置31可包含多种分布式或本地存取的数据存储媒体中的任一者，例如，硬盘驱动器、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置31可对应于可保持由源装置12所产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置31存取存储的视频数据。档案伺服器可为能够存储经编码视频数据并将彼经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件伺服器包含网络服务器(例如，用于网站)、文件转移协议(FTP)服务器、网络附接存储(NAS)装置或本机磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，无线本地网络[WLAN]连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术不限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如，空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，通过因特网(例如，通过超文本传送协议(HTTP)的动态自适应流式传输等))、数字视频的编码以供存储在数据存储媒体上、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。

在图1A的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前所俘获视频的视频存档、从视频内容提供者接收视频的视频馈入接口及/或用于将计算机图形数据产生为源视频的计算机图形系统的来源，或此等来源的组合。作为一个实例，去过视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话，如在图1B的实例中所说明。但是，本发明中所描述的技术一般可适用于视频译码，并且可应用于无线及/或有线应用。

经俘获、预先俘获或计算机产生的视频可由视频编码器20编码。可通过源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置31上用于稍后由目的地装置14或其它装置存取，用于解码及/或播放。图1A及1B中所说明的视频编码器20可包括图2A中说明的视频编码器20、图2B中说明的视频编码器23或本文中描述的任何其它视频编码器。

在图1A的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28可经由链路16及/或从存储装置31接收经编码视频数据。经由链路16传递或在存储装置31上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，用于由例如视频解码器30的视频解码器在解码视频数据过程中使用。此等语法元素可与在通信媒体上发射、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。图1A及1B中说明的视频解码器30可包括图3A中说明的视频解码器30、图3B中说明的视频解码器33或本文中描述的任何其它视频解码器。

显示装置32可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成式显示装置且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在相关方面中，图1B展示实例视频编码及解码系统10'，其中源模块12及目的地模块14在装置11或装置11的部分上。装置11可为电话手持机，例如，“智能”电话或类似者。装置11可包含与源模块12及目的地模块14操作性通信的可选控制器/处理器装置13。图1B的系统10'可进一步包含在视频编码器20与输出接口22之间的视频处理单元21。在一些实施中，视频处理单元21为分开的单元，如在图1B中所说明；然而，在其它实施中，视频处理单元21可实施为视频编码器20及/或处理器/控制器装置13的一部分。系统10'还可包含可选追踪器29，其可追踪视频序列中感兴趣的目标。待追踪的感兴趣的目标可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，追踪可由显示装置32单独或与追踪器29一起执行。图1B的系统10'及其组件另外类似于图1A的系统10及其组件。

视频编码器20及视频解码器30可根据例如HEVC标准的视频压缩标准操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据其它专属或行业标准(例如，ITU-T H.264标准，替代地被称作MPEG-4第10部分AVC)或此等标准的扩展来操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。

虽未在图1A及1B的实例中展示，但视频编码器20及视频解码器30可各与音频编码器及解码器整合，且可包含适当MUX-DEMUX单元或其它硬件及软件以处置在共同数据流或分开的数据流中的音频及视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可遵守ITU H.223多路复用器协议或其它协议(例如，用户数据报协议(UDP))。

视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且使用一或多个处理器执行硬件中的所述指令，以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。

视频译码过程

如以上简要地提到，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称作视频“帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的一连串位元。位流可包含经译码图片及相关联的数据。经译码图片为图片的经译码表示。

为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片及相关联的数据。相关联的数据可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)及其它语法结构。SPS可含有适用于零或多个图片序列的参数。PPS可含有适用于零或多个图片的参数。APS可含有适用于零或多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。

为了产生经译码图片，视频编码器20可将图片分割成相等大小的视频块。视频块可为样本的二维阵列。视频块中的每一者与树型块相关联。在一些情况下，树型块可被称作最大译码单元(LCU)。HEVC的树型块可广泛地类似于例如H.264/AVC的先前标准的宏块。然而，树型块未必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树型块的视频块分割成与CU相关联的视频块(因此名为“树型块”)。

在一些实例中，视频编码器20可将图片分割成多个切片。切片中的每一者可包含整数数目个CU。在一些情况下，切片包括整数数目个树型块。在其它情况下，切片的边界可在树型块内。

作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称作“经译码切片”。

为了产生经译码切片，视频编码器20可对切片中的每一树型块执行编码操作。当视频编码器20对树型块执行编码操作时，视频编码器20可产生经译码树型块。经译码树型块可包括表示树型块的经编码型式的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树型块执行编码操作(例如，编码)。举例来说，视频编码器20可按如下次序来编码切片的树型块：跨切片中的树型块的最顶列从左到右进行，接着跨树型块的下一较低列从左到右进行，以此类推，直到视频编码器20已编码切片中的树型块中的每一者。

作为根据光栅扫描次序编码树型块的结果，可已编码在给定树型块的上方及左边的树型块，但尚未编码在给定树型块的下方及右边的树型块。因此，当编码给定树型块时，视频编码器20可能能够存取藉由编码在给定树型块的上方及左边的树型块而产生的信息。然而，当编码给定树型块时，视频编码器20可能不能够存取通过编码在给定树型块的下方及右边的树型块而产生的信息。

为了产生经译码树型块，视频编码器20可对树型块的视频块递归地执行四叉树分割以将视频块划分成逐渐更小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树型块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。经分割的CU可为视频块经分割成与其它CU相关联的视频块的CU。未分割的CU可为视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树型块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8个像素直到具有最大64×64个像素或更大的树型块的视频块的大小(即，树型块的大小)。

视频编码器20可根据z扫描次序对树型块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可将左上CU、右上CU、左下CU及接着右下CU按彼次序编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序编码与经分割的CU的视频块的子块相关联的CU。换句话说，视频编码器20可将与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU及接着编码与右下子块相关联的CU按彼次序编码。

作为z扫描次序编码树型块的CU的结果，可已编码在给定CU的上方、上方且在左边、上方且在右边、左边及下方且在左边的CU。尚未编码在给定CU的下方且在右边的CU。因此，当编码给定CU时，视频编码器20可能能够存取藉由编码邻接给定CU的一些CU而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取藉由编码邻接给定CU的其它CU而产生的信息。

当视频编码器20编码未分割的CU时，视频编码器20可产生用于CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本的块。视频编码器20可使用帧内预测或帧间预测产生PU的经预测视频块。

当视频编码器20使用帧内预测产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本产生PU的经预测视频块。若视频编码器20使用帧内预测产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本产生PU的经预测视频块。若视频编码器20使用帧间预测产生CU的PU的经预测视频块，那么CU为经帧间预测的CU。

此外，当视频编码器20使用帧间预测产生PU的经预测视频块时，视频编码器20可产生用于PU的运动信息。用于PU的运动信息可指示PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为不同于与PU相关联的图片的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生PU的经预测视频块。

在视频编码器20产生用于CU的一或多个PU的经预测视频块后，视频编码器20可基于用于CU的PU的经预测视频块产生CU的残余数据。CU的残余数据可指示用于CU的PU的经预测视频块中的样本与CU的原始视频块之间的差异。

此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残余数据执行递归四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(即，残余视频块)。CU的每一TU可与不同残余视频块相关联。

视频编码器20可将一或多个变换应用于与TU相关联的残余视频块以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化过程。量化大体指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位元深度。举例来说，可在量化期间将n位的变换系数四舍五入到m位的变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化的变换系数块中的变换系数的语法元素集合。视频编码器20可将例如上下文自适应性二进位算术译码(CABAC)运算的熵编码操作应用于此等语法元素中的一些。也可使用例如内容自适应性可变长度译码(CAVLC)、机率区间分割熵(PIPE)译码或其它二进位算术译码的其它熵译码技术。

由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。NAL单元中的每一者可为含有NAL单元中的数据的类型的指示及含有数据的位元组的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包括由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析运算。当视频解码器30执行剖析运算时，视频解码器30可从位流提取语法元素。视频解码器30可基于从位流提取的语法元素，重建构视频数据的图片。基于语法元素重建构视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体互逆。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。此外，视频解码器30可反量化与CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行反变换以重建构与CU的TU相关联的残余视频块。在产生经预测视频块且重建构残余视频块后，视频解码器30可基于经预测视频块及残余视频块重建构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素，重建构CU的视频块。

视频编码器

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单层，例如，针对HEVC。另外，视频编码器20可经配置以执行本发明的技术中的任何者或全部。作为一个实例，预测处理单元100可经配置以执行本发明中描述的技术中的任何者或全部。在另一实施例中，视频编码器20包含可选层间预测单元128，其经配置以执行本发明中描述的技术中的任何者或全部。在其它实施例中，层间预测可由预测处理单元100(例如，帧间预测单元121及/或帧内预测单元126)执行，在所述情况下，可省略层间预测单元128。然而，本发明的方面不受如此限制。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件间共用。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任何者或全部。

出于解释的目的，本发明描述在HEVC译码的情况下的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2A中描绘的实例是针对单层编码解码器。然而，如将关于图2B进一步描述，可重复视频编码器20的一些或全部以用于多层编码解码器的处理。

视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。

在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换单元110、重建构单元112、滤波器单元113、经解码图片缓冲器114及熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2A的实例中分开来表示。

视频编码器20可接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一源接收视频数据。视频数据可表示一系列图片。为了编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树型块执行编码操作。

作为对树型块执行编码操作的部分，预测处理单元100可对树型块的视频块执行四叉树分割以将所述视频块划分成逐渐更小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树型块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。

与CU相关联的视频块的大小范围可从8×8个样本直到具有最大64×64个样本或更大的树型块的大小。在本发明中，“N×N”与“N乘N”可互换地使用以指视频块就垂直维度及水平维度来说的样本尺寸，例如，16×16样本或16乘16样本。一般来说，16×16视频块在垂直方向上具有十六个样本(y＝16)且在水平方向上具有十六个样本(x＝16)。同样地，N×N块通常在垂直方向上具有N个样本且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树型块执行编码操作的部分，预测处理单元100可产生用于所述树型块的阶层式四叉树数据结构。举例来说，树型块可对应于四叉树数据结构的根节点。如果预测处理单元100将树型块的视频块分割成四个子我块，那么所述根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中的每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有用于对应的树型块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可经递归地定义，且可取决于CU的视频块是否分裂成子块。视频块未分割的CU可对应于四叉树数据结构中的叶节点。经译码树型块可包含基于用于对应的树型块的四叉树数据结构的数据。

视频编码器20可对树型块中的每一未分割的CU执行编码操作。当视频编码器20对未分割的CU执行编码操作时，视频编码器20产生表示未分割的CU的经编码表示的数据。

作为对CU执行编码操作的部分，预测处理单元100可在CU的一或多个PU间分割CU的视频块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持2N×2N或N×N的PU大小，及在2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或类似大小的对称PU大小中的帧间预测。视频编码器20及视频解码器30还可支持针对2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块的侧相交的边界来在CU的PU间分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于PU的运动信息。运动补偿单元124可基于运动信息及不同于与CU相关联的图片的图片(例如，参考图片)的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可被称作经帧间预测视频块。

切片可为I切片、P切片或B切片。运动估计单元122及运动补偿单元124可取决于PU处于I切片、P切片或是B切片中而对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么运动估计单元122及运动补偿单元124不对PU执行帧间预测。

如果PU在P切片中，那么含有所述PU的图片与被称作“清单0”的参考图片的清单相关联。清单0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜寻清单0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如，样本的块。运动估计单元122可使用多种量度来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示清单0中含有参考块的参考图片的参考索引及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以变化的精确度产生运动向量。举例来说，运动估计单元122可以四分的样本精确度、八分的样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数字置样本值内插。运动估计单元122可将参考索引及运动向量作为PU的运动信息输出。运动补偿单元124可基于由PU的运动信息识别的参考块产生PU的经预测视频块。

如果PU在B切片中，那么含有PU的图片可与被称作“清单0”及“清单1”的两个参考图片清单相关联。在一些实例中，含有B切片的图片可与为清单0与清单1的组合的清单组合相关联。

此外，如果PU在B切片中，那么运动估计单元122可针对PU执行单向预测或双向预测。当运动估计单元122针对PU执行单向预测时，运动估计单元122可搜寻清单0或清单1的参考图片以找出用于PU的参考块。运动估计单元122可接着产生指示清单0或清单1中含有参考块的参考图片的参考索引及指示PU与参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符及运动向量，作为用于PU的运动信息。预测方向指示符可指示参考索引指示清单0或是清单1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块产生PU的经预测视频块。

当运动估计单元122针对PU执行双向预测时，运动估计单元122可在清单0中搜寻参考图片以找出用于PU的参考块，且还可在清单1中搜寻参考图片以找出用于PU的另一参考块。运动估计单元122可接着产生指示清单0或清单1中含有参考块的参考图片的参考索引及指示参考块与PU之间的空间位移的运动向量。运动估计单元122可将PU的参考索引及运动向量作为PU的运动信息输出。运动补偿单元124可基于由PU的运动信息指示的参考块产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。相反地，运动估计单元122可参照另一PU的运动信息来传信PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息充分类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示对视频解码器30指示PU具有与相邻PU相同的运动信息的值。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU及运动向量差(MVD)。运动向量差指示PU的运动向量与指示的相邻PU的运动向量之间的差。视频解码器30可使用指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在传信第二PU的运动信息时参照第一PU的运动信息，视频编码器20可能能够使用较少位元信号第二PU的运动信息。

如以下参看图8进一步论述，预测处理单元100可经配置以通过执行图8中所说明的方法来译码(例如，编码或解码)PU(或任何其它参考层及/或增强层块或视频单元)。举例来说，帧间预测单元121(例如，经由运动估计单元122及/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或分开来执行图8中所说明的方法。

作为对CU执行编码操作的部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块及各种语法元素。帧内预测单元126可对I切片中、P切片及B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式来产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式产生用于PU的一组预测数据时，帧内预测单元126可在与帧内预测模式相关联的方向及/或梯度上将样本跨PU的视频块从相邻PU的视频块扩展。对于PU、CU及树型块，假定从左到右、从上而下的编码次序，那么相邻PU可在PU上方、右上方、左上方或左边。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如，33个方向帧内预测模式。

预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据的集合的速率/失真量度而选择用于PU的预测数据。

如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可传信用以产生用于PU的预测数据的帧内预测模式，例如，选定帧内预测模式。预测处理单元100可以各种方式传信选定帧内预测模式。举例来说，选定帧内预测模式与相邻PU的帧内预测模式相同可为可能的。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生以指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元128利用预测方法减少层间冗余，从而改良译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的同置型块的重建构预测增强层中的当前块。层间运动预测使用基础层的运动信息预测增强层中的运动。层间残余预测使用基础层的残余预测增强层的残余。以下更详细地论述层间预测方案中的每一者。

在预测处理单元100选择用于CU的PU的预测数据后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残余视频块。此外，CU的残余数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。

预测处理单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。

变换处理单元104可通过将一或多个应用于与TU相关联的残余视频块针对CU中的每一TU产生一或多个变换系数。变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用于与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向变换或概念上类似的变换应用于与TU相关联的残余视频块。

在变换处理单元104产生与TU相关联的变换系数块后，量化单元106可量化变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树型块执行速率失真分析。在速率-失真分析中，视频编码器20可通过对树型块多次执行编码操作而产生树型块的多个经译码表示。当视频编码器20产生树型块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位元速率及失真量度的树型块的经译码表示中的CU相关联时，视频编码器20可传信所述给定QP值与CU相关联。

反量化单元108及反变换单元110可分别将反量化及反变换应用于变换系数块，以从变换系数块重建构残余视频块。重建构单元112可将经重建构的残余视频块添加到来自由预测处理单元100产生的一或多个经预测视频块的对应的样本以产生与TU相关联的经重建构的视频块。藉由以此方式重建构用于CU的每一TU的视频块，视频编码器20可重建构CU的视频块。

在重建构单元112重建构CU的视频块后，滤波器单元113可执行解块操作以减少与CU相关联的视频块中的块假影。在执行了所述一或多个解块操作后，滤波器单元113可将CU的经重建构的视频块存储在经解码图片缓冲器114中。运动估计单元122及运动补偿单元124可使用含有经重建构的视频块的参考图片对随后图片的PU执行帧间预测。此外，帧内预测单元126可使用经解码图片缓冲器114中的经重建构的视频块来对与CU处于相同图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块，且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可执行一或多个熵编码操作以产生经熵编码的数据。举例来说，视频编码器20可对数据执行上下文自适应性可变长度译码(CAVLC)操作、CABAC操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。

作为对数据执行熵编码操作的部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进位具有特定值的概率的估计。在CABAC的情况下，术语“二进位”用以指语法元素的二进制化的型式的位。

多层视频编码器

图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23(也被简称作视频编码器23)的实例的框图。视频编码器23可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频编码器23可经配置以执行本发明的技术中的任何者或全部。

视频编码器23包含视频编码器20A及视频编码器20B，其中的每一者可经配置为视频编码器20，且可执行以上关于视频编码器20描述的功能。另外，如由参考数字的再使用所指示，视频编码器20A及20B可包含如视频编码器20的系统及子系统中的至少一些。虽然将视频编码器23说明为包含两个视频编码器20A及20B，但视频编码器23不受如此限制，且可包含任何数目个视频编码器20层。在一些实施例中，视频编码器23可针对存取单元中的每一图片或帧包含视频编码器20。举例来说，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帧多的编码器层。在一些此等情况下，当处理一些存取单元时，视频编码器层中的一些可不在作用中。

除了视频编码器20A及20B外，视频编码器23可包含重新取样单元90。在一些情况下，所述重新取样单元90可上取样接收的视频帧的基础层以(例如)创造增强层。重新取样单元90可上取样与帧的接收的基础层相关联的特定信息，而非其它信息。举例来说，重新取样单元90可上取样基础层的像素的空间大小或数目，但切片的数目或图片次序计数可保持恒定。在一些情况下，重新取样单元90可不处理接收的视频和/或可为可选的。举例来说，在一些情况下，预测处理单元100可执行上取样。在一些实施例中，重新取样单元90经配置以上取样层，且重新组织、重新定义、修改或调整一或多个切片以遵守一组切片边界规则及/或光栅扫描规则。虽然主要描述为上取样基础层或存取单元中的较低层，但在一些情况下，重新取样单元90可下取样层。举例来说，如果在视频的串流期间带宽减小，那么可下取样帧，而非上取样。

重新取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)及上取样图片(或接收的图片信息)。此经上取样图片可接着提供到较高层编码器(例如，视频编码器20B)的预测处理单元100，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器移除的一个层。在其它情况下，在图2B的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。

在一些情况下，可省略或绕过重新取样单元90。在此等情况下，来自视频编码器20A的经解码图片缓冲器114的图片可直接提供(或至少不提供到重新取样单元90)到视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据与来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或解析度，那么可在无任何重新取样的情况下将参考图片提供到视频编码器20B。

在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码器的视频数据(在将所述视频数据提供到视频编码器20A前)。替代地，下取样单元94可为能够上取样或下取样视频数据的重新取样单元90。在另一实施例中,可省略下取样单元94。

如图2B中所说明，视频编码器23可进一步包含多路复用器98或mux。mux 98可从视频编码器23输出组合的位流。可通过从视频编码器20A及20B中的每一者取得位流来创造组合的位流，且在给定时间输出交替的所述位流。而在一些情况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的情况下，两个以上)位流的位，在许多情况下，不同地组合位流。举例来说，可通过一次一个块地交替选定位流来创造输出位流。在另一实例中，可通过从视频编码器20A及20B中的每一者输出非1:1比率的块来创造输出位流。举例来说，可针对从视频编码器20A输出的每一块，从视频编码器20B输出两个块。在一些实施例中，可预先程式化来自mux 98的输出串流。在其它实施例中，mux 98可基于从在视频编码器23外部的系统(例如，从在包含源装置12的源装置上的处理器)接收的控制信号组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的解析度或位元速率、基于链路16的带宽、基于与使用者相关联的订用(例如，付费订用与免费订用)或基于用于确定从视频编码器23输出的所要的解析度的任何其它因素来产生控制信号。

视频解码器

图3A为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单一层，例如，针对HEVC。另外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162及/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，层间预测单元166经配置以执行本发明中描述的技术中的任何者或全部。在其它实施例中，层间预测可由预测处理单位152(例如，运动补偿单元162及/或帧内预测单元164)执行，在所述情况下，可省略层间预测单元166。然而，本发明的方面不受如此限制。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明描述在HEVC译码的情况下的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A中描绘的实例是针对单层编码解码器。然而，如将关于图3B进一步描述，可重复视频解码器30的一些或全部以用于多层编码解码器的处理。

在图3A的实例中视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、反量化单元154、反变换单元156、重建构单元158、滤波器单元159及经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164及层间预测单元166。在一些实例中，视频解码器30可执行大体与关于图2A的视频编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频解码器30可接收包含经编码视频数据的位流。位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。作为对位流执行剖析操作的结果，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的部分，熵解码单元150可熵解码位流中的经熵编码语法元素。预测处理单元152、反量化单元154反变换单元156重建构单元158及滤波器单元159可执行重建构操作，重建构操作基于从位流提取的语法元素产生经解码视频数据。

如上文所论述，位流可包含一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作提取且熵解码来自序列参数集NAL单元的序列参数集、来自图片参数集NAL单元的图片参数集、来自SEI NAL单元的SEI数据等等。

此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作提取且熵解码来自经译码切片NAL单元的经译码切片。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有涉及切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未分割的CU执行剖析操作后，视频解码器30可对未分割的CU执行重建构操作。为了对未分割的CU执行重建构操作，视频解码器30可对CU的每一TU执行重建构操作。通过针对CU的每一TU执行重建构操作，视频解码器30可重建构与CU相关联的残余视频块。

作为对TU执行重建构操作的部分，反量化单元154可反量化(例如，解量化)与TU相关联的变换系数块。反量化单元154可以类似于针对HEVC提议或由H.264解码标准定义的反量化过程的方式来反量化变换系数块。反量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定反量化单元154应用的反量化的程度。

在反量化单元154反量化变换系数块后，反变换单元156可产生用于与变换系数块相关联的TU的残余视频块。反变换单元156可将反变换应用于变换系数块以便产生用于TU的残余视频块。举例来说，反变换单元156可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反方向变换或另一反变换应用于变换系数块。在一些实例中，反变换单元156可基于来自视频编码器20的传信而确定应用于变换系数块的反变换。在此等实例中，反变换单元156可基于在四叉树的根节点处的传信的变换确定用于与变换系数块相关联的树型块的反变换。在其它实例中，反变换单元156可从一或多个译码特性(例如，块大小、译码模式或类似者)推断反变换。在一些实例中，反变换单元156可应用级联的反变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而改进PU的经预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。

如以下参看图8进一步论述，预测处理单元152可通过执行图8中说明的方法译码(例如，编码或解码)PU(或任何其它参考层及/或增强层块或视频单元)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开来执行图8中说明的方法。

如果PU使用帧内预测来编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测单元164可用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，当前PU的帧内预测模式与相邻PU的帧内预测模式相同可为可能的。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可接着使用帧内预测模式来基于空间相邻PU的视频块产生用于PU的预测数据(例如，预测样本)。

如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元166利用预测方法减少层间冗余，从而改良译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的同置型块的重建构预测增强层中的当前块。层间运动预测使用基础层的运动信息预测增强层中的运动。层间残余预测使用基础层的残余预测增强层的残余。以下更详细地论述层间预测方案中的每一者。

重建构单元158可使用与CU的TU相关联的残余视频块及CU的PU的经预测视频块(例如，适用的帧内预测数据或帧间预测数据)来重建构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生经预测视频块及残余视频块，且可基于经预测视频块及残余视频块而产生视频块。

在重建构单元158重建构CU的视频块后，滤波器单元159可执行解块操作以减少与CU相关联的块假影。在滤波器单元159执行解块操作以减少与CU相关联的块假影后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供用于随后运动补偿、帧内预测及在显示装置(例如，图或图1B的显示装置32)上呈现的参考图片。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

多层解码器

图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器33(也被简称作视频解码器33)的实例的框图。视频解码器33可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外，视频解码器33可经配置以执行本发明的技术中的任一者或全部。

视频解码器33包含视频解码器30A及视频解码器30B，其中的每一者可经配置为视频解码器30，且可执行以上关于视频解码器30描述的功能。另外，如由参考数字的再使用指示，视频解码器30A及30B可包含系统及子系统中的至少一些，作为视频解码器30。虽然将视频解码器33说明为包含两个视频解码器30A及30B，但视频解码器33不受如此限制，且可包含任何数目个视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，包含五个图片的存取单元可由包含五个解码器层的视频解码器处理或解码。在一些实施例中，视频解码器33可包含比存取单元中的帧多的解码器层。在一些此种情况下，当处理一些存取单元时，视频解码器层中的一些可不在作用中。

除了视频解码器30A及30B外，视频解码器33可包含上取样单元92。在一些实施例中，上取样单元92可上取样接收的视频帧的基础层以创造待添加到用于帧或存取单元的参考图片清单的增强型层。此增强型层可存储于经解码图片缓冲器160中。在一些实施例中，上取样单元92可包含关于图2A的重新取样单元90描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以上取样层，且重新组织、重新定义、修改或调整一或多个切片以遵守一组切片边界规则及/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以上取样及/或下取样接收的视频帧的层的重新取样单元。

上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与图片相关联的图片信息)及上取样图片(或接收的图片信息)。此经上取样图片可接着提供到较高层解码器(例如，视频解码器30B)的预测处理单元152，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些情况下，可省略或绕过上取样单元92。在此等情况下，来自视频解码器30A的经解码图片缓冲器160的图片可直接提供(或至少不提供到上取样单元92)到视频解码器30B的预测处理单元152。举例来说，如果提供到视频编码器30B的视频数据与来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或解析度，那么可在无上取样的情况下将参考图片提供到视频解码器30B。另外，在一些实施例中，上取样单元92可为经配置以上取样或下取样从视频解码器30A的经解码图片缓冲器160接收的参考图片的重新取样单元90。

如图3B中所说明，视频解码器33可进一步包含多路分用器99或demux。demux 99可将经编码视频位流分裂成多个位流，其中由demux 99输出的每一位流经提供到不同视频解码器30A及30B。可通过接收位流来创造多个位流，且视频解码器30A及30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，在视频解码器中的每一者(例如，在图3B的实例中，视频解码器30A及30B)之间，来自在demux 99处接收的位流的位元一次可与一个位交替，但在许多情况下，不同地划分位流。举例来说，可通过交替哪一视频解码器一次一个块地接收位流来划分位流。在另一实例中，可按块对视频解码器30A及30B中的每一者的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预先程式化由demux 99进行的位流的划分。在其它实施例中，demux 99可基于从在视频解码器33外部的系统(例如，从包含目的地装置14的目的地装置上的处理器)接收的控制信号划分位流。可基于来自输入接口28的视频的解析度或位元速率、基于链路16的带宽、基于与使用者相关联的订用(例如，付费订用对免费订用)或基于用于确定可由视频解码器33获得的解析度的任何其它因素产生控制信号。

帧内随机存取点(IRAP)图片

一些视频译码方案可贯穿位流提供随机存取点，使得可从此随机存取点中的任一者开始解码位流，而不需要解码在此等随机存取点前的任何图片。在此等视频译码方案中，可不使用在随机存取点前的任何图片正确地解码按输出次序在随机存取点后的所有图片(例如，包含在与提供随机存取点的图片相同的存取单元中的彼等图片)。举例来说，即使在发射期间或在解码期间失去位流的一部分，解码器仍可恢复从下一个随机存取点开始的解码位流。对随机存取的支持可有助于(例如)动态流服务、搜寻操作、信道切换等。

在一些译码方案中，此等随机存取点可由被称作帧内随机存取点(IRAP)图片的图片提供。举例来说，存取单元(“auA”)中含有的增强层(“layerA”)中的随机存取点(例如，由增强层IRAP图片提供)可提供具体层的随机存取，使得对于layerA的具有在处于layerB中且按解码次序在auA前的存取单元(“auB”)中含有的一随机存取点(或auA中含有的一随机存取点)的每一参考层(“layerB”)(例如，参考层为用以预测layerA的层)，在按输出次序在auB后的layerA中的图片(包含位于auB中的彼等图片)可正确地解码，而不需要解码在auB前的layerA中的任何图片。

IRAP图片可使用帧内预测来译码(例如，不参考其它图片来译码)，且可包含(例如)IDR图片、CRA图片及BLA图片。当位流中存在IDR图片时，按解码次序在IDR图片前的所有图片不由按解码次序在IDR图片后的图片用于预测。当在位流中存在CRA图片时，在CRA图片后的图片可或可不将按解码次序在CRA图片前的图片用于预测。按解码次序在CRA图片后但使用按解码次序在CRA图片前的图片的图片可被称作随机存取经跳过前置(RASL)图片。按解码次序在IRAP图片后且按输出次序在IRAP图片前的另一类型的图片为随机存取可解码前置(RADL)图片，其可不含有对按解码次序在IRAP图片前的任何图片的参考。如果在CRA图片前的图片不可用，那么RASL图片可由解码器抛弃。BLA图片对解码器指示在BLA图片前的图片可能不对解码器可用(例如，因为两个位流经拼接在一起且BLA图片为按解码次序的第二位流的第一图片)。含有为IRAP图片的基础层图片(例如，具有层ID值0的图片)的存取单元(例如，由与跨多个层的相同输出时间相关联的所有经译码图片组成的图片群组)可被称作IRAP存取单元。

IRAP图片的跨层对齐

在SVC中，可能不需要跨不同层对齐(例如，在同一存取单元中含有)IRAP图片。举例来说，如果需要对齐IRAP图片，那么含有至少IRAP图片的任一存取单元将仅含有IRAP图片。另一方面，如果不需要对齐IRAP图片，那么在单一存取单元中，一个图片(例如，在第一层中)可为IRAP图片，且另一图片(例如，在第二层中)可为非IRAP图片。在位流中具有此等非对齐的IRAP图片可提供一些优势。举例来说，在两层位流中，如果在基础层中存在比在增强层中多的IRAP图片，那么在广播及多播应用中，可达成低调入延迟及高译码效率。

在一些视频译码方案中，图片次序计数(POC)可用以追踪显示经解码图片的相对次序。无论在于位流中处理某些类型的图片何时，此等译码方案中的一些可使POC值被复位(例如，设定为零或设定为在位流中传信的某一值)。举例来说，可复位某些IRAP图片的POC值，从而使按解码次序在彼等IRAP图片前的其它图片的POC值也被复位。当不需要跨不同层对齐IRAP图片时，此可成问题。举例来说，当一个图片(“picA”)为IRAP图片且同一存取单元中的另一图片(“picB”)并非IRAP图片时，在含有picA的层中的归因于picA为IRAP图片而复位的图片(“picC”)的POC值可与在含有picB的层中的未复位的图片(“picD”)的POC值不同，其中picC与picD在同一存取单元中。此使picC及picD具有不同POC值，即使其属于同一存取单元(例如，同一输出时间)。因此，在此实例中，用于导出picC及picD的POC值的导出过程可经修改以产生与POC值及存取单元的定义一致的POC值。

图片次序计数(POC)

如上文所论述，对于特定经译码图片的图片次序计数(POC)的值(例如，HEVC中的PicOrderCntVal)指示在图片输出过程中的特定经译码图片相对于在同一经译码视频序列中的其它图片的相对次序。在一些实施例中，POC包括最低有效位元(LSB)及最高有效位元(MSB)，且可通过串接MSB与LSB来获得POC。在其它实施例中，可通过将MSB值与LSB值相加来获得POC。LSB可在切片标头中传信，且MSB可由编码器或解码器基于当前图片的NAL单元类型及按解码次序一或多个先前图片的MSB及LSB计算，所述一或多个先前图片(1)并非RASL或RADL图片，(2)不可抛弃(例如，标记为“不可抛弃”的图片，其指示无其它图片取决于其，从而允许将其丢弃以满足带宽约束)，(3)并非子层非参考图片(例如，不用于由同一时间子层或同一层中的其它图片参考的图片)，(4)具有等于值0的时间ID(例如，时间子层ID)。在(1)-(4)中描述的此图片可在本文中被称作POC锚定图片。类似地，具有大于值0的时间ID值的图片、RASL或RADL图片、可抛弃图片或子层非参考图片可被称作非POC锚定图片。POC锚定图片可进一步包含编码器及/或解码器可不选取以从位流移除(例如，以满足带宽约束)的图片。POC锚定图片可进一步包含不同于编码器及/或解码器可经配置以从位流移除(例如，以满足带宽约束)的图片的类型的任何图片。非POC锚定图片可包含并非POC锚定图片的任一图片。

当当前图片为(1)具有等于值1的NoRaslOutputFlag(例如，指示如果设定为值1将不输出RASL图片且指示如果设定为值0将输出RASL图片的旗标)的IRAP图片，或(2)为位流的第一图片的CRA图片时，推断POC MSB的值等于的0。如以上所描述，在多层位流(例如，具有一个以上层的SHVC或MV-HEVC位流)中，可存在一或多个图片为IRAP图片且一或多个其它图片为非IRAP图片的存取单元(AU)，且此等AU可被称作“未对齐的IRAP AU”。当解码含有未对齐的IRAP AU的位流时，基于在位流中传信的POC LSB值导出的POC将违反存取单元中的所有图片应具有相同POC值的位流一致性要求是可能的。

在一些实施例中，可使用POC复位旗标(例如，poc_reset_flag)复位图片的POC，使得即使当未对齐的IRAP AU存在于位流中时，仍调整当前图片及DPB中的图片的POC值，使得AU中的的所有图片的POC相同。

在一些实施例中，替代单一POC复位旗标，可使用两个旗标：POC MSB复位旗标(例如，poc_msb_reset_flag)及POC LSB复位旗标(例如，poc_lsb_reset_flag)。前者(也即，poc_msb_reset_flag)复位POC的MSB，且后者(也即，poc-lsb_reset_flag)复位POC的LSB。此等旗标中的两者皆可在切片标头中传信。

举例来说，如果特定图片具有值233，且POC的MSB及LSB分别构成1个位元及7个位元，那么MSB将为“1”(例如，具有值128)且LSB将为“1101001”(例如，具有值105)。因此，仅当POC的MSB经复位(例如，回应于处理具有值1的poc_msb_reset_flag)时，POC值变为105，及仅当LSB经复位(例如，回应于处理具有值1的poc_lsb_reset_flag)时，值变为128。如果MSB及LSB两者皆经复位(例如，回应于处理poc_msb_reset_flag及poc_lsb_reset_flag，各具有值1)，POC值变为0。

在一些实施例中，两个旗标(例如，poc_msb_reset_flag及poc_lsb_reset_flag)可由两位元POC复位指示符替换。举例来说，两位元POC复位指示符可具有4个可能值(例如，0-3)，其中0指示无复位，1指示MSB复位，2指示MSB及LSB复位，且3用于容错性(例如，指示关于另一POC复位的某物，例如，POC复位ID、POC复位周期ID等)。

POC值的复位

参看图4至7，将描述复位在未对齐的IRAP AU中的POC值(例如，LSB及MSB)的动机。如以上所描述，在一些译码方案中，某些一致性约束可指定单一AU中的所有经译码图片的POC应相同。在无POC值的适当复位的情况下，位流中的未对齐的IRAP AU可产生违反此等一致性约束的POC值。

图4展示包含增强层(EL)410及基础层(BL)420的多层位流400。EL 410包含EL图片412至418，且BL包含BL图片422至428。多层位流400进一步包含存取单元(AU)430至460。AU430包含EL图片412及BL图片422，AU 440包含EL图片414及BL图片424，AU 450包含EL图片416及BL图片426，且AU 460包含EL图片418及BL图片428。在图4的实例中，EL图片414为IDR图片，且AU 440中的对应的BL图片424为后置图片(例如，非IRAP图片)，且因此，AU 440为未对齐的IRAP AU。在一些实施例中，如果图片为不在基础层中的IDR图片，那么在给定图片处执行MSB复位。此IDR图片可具有非零POC LSB值。

图5展示表500，其说明可关于图4的多层位流400传信或导出的POC值。如图5中所展示，EL 410中的POC的MSB在EL图片414处复位，而BL 420中的POC的MSB未经复位。因此，如果在未对齐的IRAP AU 440中的BL图片424处不在BL 420中执行复位，那么AU 440至460中的BL图片与EL图片的POC值将不匹配(也即，等效)，如由一致性约束指定。在具有及无复位的情况下的POC值的差在图5中以粗体突出显示。

图6展示包含增强层(EL)610及基础层(BL)620的多层位流600。EL 610包含EL图片612至618，且BL包含BL图片622至628。多层位流600进一步包含存取单元(AU)630至660。AU630包含EL图片612及BL图片622，AU 640包含EL图片614及BL图片624，AU 650包含EL图片616及BL图片626，且AU 660包含EL图片618及BL图片628。在图6的实例中，BL图片624为IDR图片，且AU 640中的对应的EL图片614为后置图片(例如，非IRAP图片)，且因此，AU 640为未对齐的IRAP AU。在一些实施例中，如果图片为基础层中的IDR图片，那么针对给定图片执行MSB复位及LSB复位。举例来说，位流可包含应复位此BL IDR图片的POC MSB及POC LSB的指示。替代地，解码器可在于位流无应执行POC复位的任何指示的情况下执行此BL IDR图片的POC MSB及POC LSB的复位。

图7展示表700，其说明可关于图6的多层位流600传信或导出的POC值。如图7中所展示，BL 620中的POC的MSB及LSB在BL图片624处复位，而EL 610中的POC的MSB或LSB皆未经复位。因此，如果在未对齐的IRAP AU 640中的EL图片614处不在EL 610中执行POC的MSB及LSB的复位，那么AU 640至660中的BL图片与EL图片的POC值将不匹配，如由一致性约束指定。在具有及无复位的情况下的POC值的差在图7中以粗体突出显示。

本文中描述的实施例不限于图4及6中说明的实例位流配置，且本文中描述的技术可缩放到具有任何数目个层、存取单元及图片的任何多层位流。而且，在图4至7中说明的实例中，使用七个位元表示POC的LSB。然而，本文中描述的技术可缩放到具有任何形式的POC值表示的情境。

先前图片的复位及复位图片的损失

当在特定图片处执行MSB复位或LSB复位时，还基于在所述特定图片处执行的复位而复位同一层中按解码次序在所述特定图片前的其它图片。举例来说，在图6的实例中，EL图片614具有POC值241(例如，“1110001”的LSB+“1”的MSB，其为113+128)。当在EL图片614处执行MSB及LSB复位时，EL图片614的POC值变为0，且还基于EL图片614的原始POC值241复位EL 610中按解码次序在EL图片614前的EL图片612。举例来说，通过从EL图片612的预先复位的POC值(其为240(例如，“1110000”的LSB+“1”的MSB，其为112+128))减去EL图片614的预先复位的POC值(其为值241)来计算EL图片612的新POC值。因此，在复位后，根据将在EL图片614前输出EL图片612的事实，EL图片612的POC值变为-1，其中较小POC值表示按输出次序的较早位置。如图7中所展示，因此调整用于随后AU 650及660的传信的LSB值(例如，分别到值1及值2)，其中假定在EL图片614处执行复位。

然而，即使在位流中(例如，在切片标头中)传信以上描述的MSB及/或LSB的适当POC复位，使得解码器可处理信号且因此执行POC复位，如果传信此POC复位的图片在位流的发射期间丢失或从位流移除以便满足带宽约束，那么仍可不去恰当地执行意欲在特定图片处执行的POC复位。

举例来说，在图6的实例中，如果EL图片614不可为解码器所用，那么解码器将不知晓(也就是说，将不确定)复位在AU 640处的EL 610中的POC的MSB及LSB。因此，按解码次序在不可用的EL图片614前的任何图片的POC值将仍具有其原始、预先复位的POC值，这是由于在EL图片614处的复位不发生(例如，不执行复位操作)。另一方面，按解码次序在不可用EL图片614后的图片的POC值将已经确定或传信，如同实际上发生复位(也就是说，执行了复位操作)。因此，在图7的实例中，EL图片612、616及618将分别具有POC值240、1及2，如果给定EL图片612按输出次序在EL图片616及618前，那么其将不正确。因此，即使当传信POC复位的图片变得不可用时，导致正确POC值的译码方法仍为所要的。

POC复位周期ID

在一些实施例中，使用POC复位周期ID识别每一POC复位周期(例如，开始于POC复位且在下一个POC复位前立即结束的周期)。位流一致性约束可要求用于两个时间上连续(例如，按解码次序)的POC复位周期的POC复位周期ID不同。POC复位周期中的每一图片可与POC复位周期的POC复位周期ID相关联。使用POC复位周期ID，译码器可能能够确保跨多个层对齐POC值，即使POC复位AU中的一或多个图片丢失。

将POC值用作锚定信息

在一些实施例中，分配给经解码图片的POC值可用作锚定信息。举例来说，分配给特定图片的POC值可用以计算按解码次序在所述特定图片后的另一图片的POC值(例如，MSB、LSB或两者)的至少一部分。在此情况下，不需要明确地传信使用先前传信的信息计算的POC值的部分，从而导致位元节省。

然而，分配给经解码图片的POC值可并非静态，且可当调用POC复位过程时加以更新。POC值的此可变本质可致使POC值不太适用于用作用于其它处理器或位流中的其它图片的锚定信息。因此，如果位流调用可更改与经解码图片相关联的POC值的例如POC复位的过程，那么当使用POC值时说明此等过程的改良式译码方案为需要的。

在POC复位时输出DPB中的图片

在一些实施中，位流约束可要求对于任一POC复位周期，应在与POC复位周期相关联的POC复位图片(例如，具有复位与其相关联的POC的指示的图片)或按解码次序在POC复位图片后的任何图片前输出在POC复位周期前的所有图片。为了满足此位流约束，当调用POC复位(例如，由与POC复位图片相关联的POC复位指示符指示)时，译码器可输出DPB中在POC复位图片前解码的所有图片。

然而，无论在何时调用POC复位(无论在译码器处理POC复位图片的何时)，输出DPB中的所有较早图片将导致输出次序一致解码器中的图片的不正确输出次序，因为不存在按解码次序在POC复位图片后的图片必定按输出次序在按解码次序在POC复位图片前的所有图片后的保证。举例来说，按解码次序在POC复位图片后的图片必须先于按输出次序在POC复位图片前解码的图片中的一者。

举例来说，如果图片A为POC复位图片，图片B为按解码次序在图片A前的图片，且图片C为按解码次序在图片A后的图片，那么恰当的解码次序将为图片B、图片A及图片C。如果图片C将在图片A前输出(图片A将在图片B前输出)，那么恰当的输出次序将为图片C、图片A及图片B。如果将根据以上实施例输出DPB中的所有图片，那么译码器将解码图片B且将其存储在DPB中，解码图片A，且在认识到图片A为POC复位图片后输出DPB中的图片B。然而，根据以上描述的恰当输出次序，在图片C前输出图片B将不正确。

POC复位及SEI消息

在一些现有译码方案中，若干SEI消息的语义将不与针对多层视频译码提议的POC复位过程相容，且导致在将SEI消息应用于位流中的不明确性。举例来说，在HEVC规范的版本1中，将按使得SEI消息中的许多者取决于POC的方式来对其定义。当将实施扩展到多层情况时，介绍复位POC的概念。结果，在许多情况下，致使现有SEI消息不正确或不明确的，尤其在SEI消息正定义POC的方式方面。因此，需要包含用于与POC复位的概念相容的SEI消息的经更新语义的改良的译码方案。

反馈消息中的POC信息

在一些实施中，将POC信息用于识别反馈消息中的图片并不清楚。举例来说，许多系统使用识别图片的反馈消息。举例来说，在源与接收器之间的会话中，如果一些图片丢失，那么使用图片的POC识别丢失的图片。此POC信息可在反馈消息中发射。在POC复位有可能的情况下，除了正识别的图片的POC外，反馈消息中包含的POC信息可能还需要包含关于图片属于的POC复位周期的信息。举例来说，多个图片可具有同一POC，且系统可能不能够正确地识别彼等图片，除非对系统给予关于图片属于的POC复位周期的信息。因此，需要指示正在反馈消息中识别的图片的POC复位周期的改良的系统。

传信POC MSB周期

在一些实施中，传信POC LSB，且使用当前图片的NAL单元类型及按解码次序在当前图片前的图片的LSB及/或MSB来计算POC MSB。在其它实施中，在CRA及BLA图片的切片标头扩展中传信POC MSB信息以改良POC的导出的容错性。然而，在一些情况下，将传信的POCMSB用于计算仅用于CRA及BLA图片的POC值(其中NoRaslOutputFlag等于值1)将导致跨多个层不对齐的POC值。因此，需要改良POC值的跨层对齐的改良的译码方案。

实例及实施

以下将描述可用以解决以上描述的某些问题的若干方法。可独立地应用此等方法中的一些，且其中的一些可组合地应用。此外，以下还提供可用以实施本文中描述的方法中的一或多者的实例语法及语义。当再现HEVC规范的某些部分以说明可经并入以实施本文中描述的方法中的一或多者的添加及删除时，按斜体展示此等修改。

传信用于POC导出的值

在本发明的一些实施例中，针对在其POC MSB及/或POC LSB应被复位的图片后的一或多个图片，传信含有用于正确POC导出的信息的SEI消息。举例来说，SEI消息可与在将复位其POC MSB、POC LSB或两者的另一图片picB后的图片picA相关联。因此，即使当picB完全丢失时，与picA相关联的SEI消息可用以导出用于同一层中的其它图片的正确POC值。

在本发明的一些实施例中，在处于其POC MSB及/或POC LSB应被复位的图片后的一或多个图片的切片标头中传信用于正确POC导出的信息。举例来说，信息可包含于在将复位其POC MSB、POC LSB或两者的另一图片picB后的图片picA的切片标头中。因此，即使当picB完全丢失时，包含于picA的切片标头中的信息可用以导出用于同一层中的其它图片的正确POC值。

在本发明的一些复位实施例中，在图片的切片标头中传信及/或作为与图片相关联的SEI消息传信的信息(其在本文中可被称作POC导出信息)可包含：POC复位类型，其指示是否应通过复位POC值的最高有效位元(MSB)及最低有效位元(LSB)两者或通过仅复位POC值的MSB来复位在同一层中的先前POC复位图片(例如，将执行POC复位的图片)的POC值；POC复位值，其指示丢失或移除的也在POC导出信息与的相关联的图片前的图片的POC值；及POC复位ID，其识别POC导出信息经提供的POC复位。举例来说，如果传信的POC复位具有POC复位ID值1且具有POC复位ID 1的另一POC复位已经执行，那么解码器可跳过关于特定图片用于信号发送的POC复位。

关于POC复位图片的输出次序约束

在本发明的一些实施例中，添加位流约束使得按解码次序在POC复位图片后的图片不应按输出次序在按解码次序在POC复位图片前的另一图片前。在此等实施例中，译码器可确定等可适用的此位流约束，且遵照位流约束使得经译码位流遵守位流约束。

举例来说，在传信关于当前图片的POC复位前，译码器可确定将在按解码次序在当前图片前的任一其它图片前输出按解码次序在当前图片后的任一图片。如果译码器确定将在按解码次序在当前图片前的任一其它图片前输出按解码次序在当前图片后的任一图片，那么译码器可避免传信与当前图片相关联的POC复位，以确保经译码位流遵守位流约束。

替代地，在确定将传信关于当前图片的POC复位后，译码器可确保将不在按解码次序在当前图片前的任一图片前输出按解码次序在当前图片后的图片。举例来说，如果在位流中在当前图片后的任一图片将在按解码次序在当前图片前的任一图片前输出，那么译码器可避免译码所述图片(或使所述图片被提供)，以确保经译码位流遵守位流约束。

POC MSB周期

在本发明的一些实施例中，译码器可传信可被称作POC MSB周期的偏移值。在一个实例中，POC MSB周期可指示先前经译码图片的POC MSB与当前图片的POC MSB之间的差。在此实例中，译码器可使用POC MSB周期更新在POC MSB周期与的相关联的图片前的图片的POC值。在另一实例中，POC MSB周期可与POC MSB周期与的相关联的图片的POC MSB相同。因此，当传信与一特定图片相关联的POC MSB周期时，可基于传信的POC MSB周期计算所述特定图片的POC MSB。

具有CRA及BLA图片的POC MSB周期的传信

在本发明的一些实施例中，对于CRA及BLA图片，相对于同一层中的先前POC复位图片或同一层中的先前IDR图片(无论哪一者更靠近)确定传信的POC MSB周期的值。如果二者都不存在(例如，意味着所述CRA/BLA图片为层中的第一CRA/BLA图片)，那么CRA/BLA图片的POC MSB周期可为在POC MSB周期值的允许范围中的任一值。

POC复位图片中的POC MSB周期

在本发明的一些实施例中，当特定层中的CRA或BLA图片也为POC复位图片时，接着使用POC MSB周期的传信值更新特定层中的DPB中的所有图片的POC值。如果CRA或BLA图片也为POC复位图片，那么CRA或BLA图片的MSB可为零。当特定层中的CRA或BLA图片并非POC复位图片时，使用POC MSB周期的传信值计算CRA或BLA图片的POC。

在本发明的一些实施例中，可针对IDR图片传信POC MSB周期。当特定层中的IDR图片也为POC复位图片时，接着使用POC MSB周期的传信值更新所述特定层中的DPB中的所有图片的POC值。当特定层中的IDR图片并非POC复位图片时，使用POC MSB周期的传信值计算IDR图片的POC。

图8为说明根据本发明的实施例的用于译码视频信息的方法800的流程图。图8中说明的步骤可由编码器(例如，如在图2A或图2B中展示的视频编码器)、解码器(例如，如在图3A或图3B中展示的视频解码器)或任一其它组件执行。为了方便起见，将方法800描述为由译码器执行，译码器可为编码器、解码器或另一组件。

方法800开始于块801。在块805，译码器确定视频层中的当前图片是否为POC复位图片。如果译码器确定当前图片并非POC复位图片，那么方法800继续进行到块810。另一方面，如果译码器确定当前图片为POC复位图片，那么方法800继续进行到块815。

在块810，译码器基于与当前图片相关联的偏移确定当前图片的POC。所述偏移可指示当前图片的POC MSB与同一层中的另一先前经解码图片的POC MSB之间的差。在块815，译码器基于与当前图片相关联的偏移更新DPB中的在与当前图片相同的层中的所有图片的POC。举例来说，译码器可通过从DPB中的每一图片的POC减去一值来更新DPB中的所有图片的POC。在一个实例中，可基于与当前图片相关联的偏移确定减去的值。在另一实例中，减去的值可为在无POC复位的情况下当前图片的POC将成为的值。方法800结束于820。

如以上所论述，可使用图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128及/或层间预测单元166)实施本发明中论述的技术中的任何者，例如，确定当前图片是否为POC复位图片，基于与当前图片相关联的偏移确定当前图片的POC，及基于与当前图片相关联的偏移更新DPB中的所有图片的POC。

在方法800中，可移除(例如，不执行)、修改图8中展示的块中的一或多者，及/或可切换执行方法的次序。举例来说，虽然图8中展示块810，但可移除块810，且如果译码器确定当前图片并非POC复位，那么方法800可在不执行任何额外操作的情况下结束。替代地，可移除块815，且如果译码器确定图片为POC复位图片，那么方法800可在不执行任何额外操作的情况下结束。因此，本发明的实施例不限于图8中展示的实例或不受到图8中展示的实例限制，且可在不脱离本发明的精神的情况下实施其它变化。

传信POC MSB周期的存在

在本发明的一些实施例中，可在VPS中传信指定是否针对CRA及BLA图片传信POCMSB周期(例如，在切片标头中)的旗标或语法元素。POC MSB周期的传信可基于VPS中包含的旗标或语法元素。可基于VPS中包含的旗标或语法元素进行是否传信POC MSB周期的确定。

IRAP图片中的POC MSB周期

在一些实施中，译码器可执行POC复位以对齐未对齐的AU中的POC(例如，同一AU中的IRAP图片及非IRAP图片)。在此情况下，可将poc_reset_idc设定为大于值0的值，以指示将执行POC复位。然而，如果与CRA或BLA图片一起传信POC MSB周期，那么可能不需要此POC复位，如以上所描述。

在本发明的一些实施例中，当针对具有一特定nal_unit_type值(例如，IDR、CRA、BLA等)的IRAP图片传信POC MSB周期且AU含有具有等于值0的nuh_layer_id的一非IRAP图片及具有与IRAP图片相同的nal_unit_type值的至少一个IRAP时，与AU相关联(例如，与非IRAP图片或IRAP图片相关联)的poc_reset_idc可经设定等于值0或设定为大于值0，从而致使移除以上描述的位流约束。

逐个静态层POC

在本发明的一些实施例中，已调用指定在任何POC复位过程前的经解码图片的POC值的额外POC。此POC可被称作逐层POC。可在不使用来自其它层中的图片的额外信息的情况下从在图片、切片标头或同一层中的其它图片中传信的信息计算此逐层POC的值。逐层POC可用于可能需要静态POC值的任何过程，静态POC值不受用于图片识别的其它程序(例如，POC复位)影响。举例来说，此等过程可将逐层POC用于在参考图片集解码中的图片识别，用于在SEI消息的解码中的图片识别，及用于对解码图片的任何后处理。当使用逐层POC时，在执行POC复位时，不需要减小DPB中的较早图片的POC值。

在本发明的一些实施例中，为了实施逐层POC，在POC复位图片中传信逐层POC的最低有效位(LSB)，或无论在何时poc_reset_idc的值不等于值0。此LSB信息可用以导出POC及逐层POC两者。可在IRAP图片的切片标头扩展中传信POC的最高有效位。此MSB信息可用以导出POC及逐层POC两者。

在本发明的一些实施例中，对于可使用与POC有关的信息的任何过程，将POC用于(例如，以保持与HEVC的单层版本的反向相容性)基础层，且将逐层POC用于其它层。

反馈消息中的POC复位周期ID

在本发明的一些实施例中，当在SHVC或MV-HEVC设定档的情况下操作时，除了POC值及层ID外，还在用于识别最新经解码图片的反馈消息中传信最新经解码图片的POC复位周期ID。编码器可接着唯一地识别先前经编码图片。举例来说，当前经解码图片可具有在其参考图片集(RPS)中的参考图片，但解码器可能不能够存取所述参考图片(例如，归因于发射期间的损失)。在此实例中，解码器可将请求编码器重新发送参考图片的反馈消息发送到编码器。反馈消息可包含与参考图片相关联的POC值及与参考图片相关联的POC复位周期，且编码器可使用POC值及POC复位周期识别参考图片。举例来说，在接收到具有POC值及POC复位周期ID的反馈消息后，如果对应于传信的POC值的最新经解码图片恰巧在与最新经编码图片不同的POC复位周期中，那么传信的POC复位周期ID将用以向回追踪到正确的POC复位周期，从而针对两个POC复位周期之间存在的每一POC复位周期加上POC差量值。

实例实施#1

以下提供以上描述的实施例中的一或多者的实例实施。以下按斜体指示的对语法、语义及解码过程的改变涉及在MV-HEVC WD6中提供的内容。此等改变实施本申请案中描述的各种实施例。以下使用的参考数字(例如，子条款5.8、章节8.1等)指MV-HEVC WD6中的章节。

数学关系的添加

在一个实施例中，将以下关系并入到子条款5.8内：

对切片解码过程的改变

在一个实施例中，对章节8.1一般解码过程进行以下改变。

-当NoClrasOutputFlag等于1时，对于从0到vps_max_layer_id(包含性)的所有值i，设定变数LayerInitializedFlag[i]等于0，且对于从0到vps_max_layer_id(包含性)的所有值i，设定变数FirstPicInLayerDecodedFlag[i]等于0。

对8.3.1.用于图片次序计数的解码过程的改变

8.3.1图片次序计数的解码过程

此过程的输出为PicOrderCntVal——当前图片的图片次序计数。

使用图片次序计数识别图片，用于导出在合併模式中的运动参数及运动向量预测，及用于解码器一致性检查(见子条款11)。

每一经译码图片与图片次序计数变数(表示为PicOrderCntVal)相关联。

当当前图片并非具有等于1的NoRaslOutputFlag的IRAP图片时，如下导出变数prevPicOrderCntLsb及prevPicOrderCntMsb：

-令prevTid0Pic为按解码次序的先前图片，其具有等于0的TemporalId且其并非RASL图片、RADL图片或子层非参考图片，且令PrevPicOrderCnt[nuh_layer_id]为prevTid0Pic的PicOrderCntVal。

-设定变数prevPicOrderCntLsb等于PrevPicOrderCnt[nuh_layer_id]及(MaxPicOrderCntLsb-1)。

-设定变数prevPicOrderCntMsb等于PrevPicOrderCnt[nuh_layer_id]-prevPicOrderCntLsb。

如下导出当前图片的变数PicOrderCntMsb：

-如果当前图片为具有等于1的NoRaslOutputFlag的IRAP图片，那么设定PicOrderCntMsb等于0。

-否则，如下导出PicOrderCntMsb：

如下导出PicOrderCntVal：

PicOrderCntVal＝PicOrderCntMsb+slice_pic_order_cnt_lsb

注1-由于针对IDR图片推断slice_pic_order_cnt_lsb为0且prevPicOrderCntLsb及prevPicOrderCntMsb皆设定为等于0，因此所有IDR图片将具有等于0的PicOrderCntVal。

PicOrderCntVal的值应在-2³¹to 2³¹-1(包含性)的范围中。在一个CVS中，用于任何两个经译码图片的PicOrderCntVal值不应相同。

如下指定函数PicOrderCnt(picX)：

PicOrderCnt(picX)＝图片picX的PicOrderCntVal

如下指定函数DiffPicOrderCnt(picA,picB)：

DiffPicOrderCnt(picA,picB)＝PicOrderCnt(picA)-PicOrderCnt(picB)

位流不应含有导致不在-2¹⁵到2¹⁵-1(包含性)的范围中的在解码过程中使用的DiffPicOrderCnt(picA,picB)的值的数据。

注2-令X为当前图片且Y及Z为同一CVS中的两个其它图片，当DiffPicOrderCnt(X,Y)及DiffPicOrderCnt(X,Z)皆为正或皆为负时，将Y及Z视为在从X的同一输出次序方向上。

SEI消息的语义的修改

在一个实施例中，如下修改子条款D.3.4：

pan_scan_rect_persistence_flag指定全景(pan-scan)矩形SEI消息的持久性。

pan_scan_rect_persistence_flag等于0指定全景矩形信息仅应用于当前经解码图片。

令picA为当前图片。pan_scan_rect_persistence_flag等于1指定全景矩形信息持续按输出次序，直到以下条件中的任一者为真：

-新的CVS开始。

-位流结束。

-输出在含有具有pan_scan_rect_id的相同值的全景矩形SEI消息的存取单元中的图片picB，其PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB及picA的PicOrderCntVal值。

在一个实施例中，如下修改子条款D.3.8：

当执行随机存取以开始从与恢复点SEI消息相关联的存取单元的解码时，解码器操作，如同相关联的图片为位流中按解码次序第一个图片，且在PicOrderCntVal的导出中使用的变数PrevPicOrderCnt[nuh_layer_id]经设定为等于0。

注2-当HRD信息存在于位流中时，缓冲周期SEI消息应与相关联于恢复点SEI消息的存取单元相关联，以便建立随机存取后的HRD缓冲器模型的初始化。

由与恢复点SEI消息相关联的图片或由按解码次序在此图片后的任一图片参考的任一SPS或PPS RBSP应可在其启动前用于解码过程，不管所述解码过程开始于位流的开头或是开始于按解码次序与恢复点SEI消息相关联的存取单元。

recovery_poc_cnt指定按输出次序经解码图片的恢复点。如果在CVS中存在按解码次序在当前图片(也即，与当前SEI消息相关联的图片)picA后的图片picB且PicOrderCnt(picB)等于PicOrderCnt(picA)加recovery_poc_cnt的值，其中PicOrderCnt(picA)及PicOrderCnt(picB)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picA及picB的PicOrderCntVal值，图片picB被称作恢复点图片。否则，其PicOrderCnt(picC)大于PicOrderCnt(picA)加recovery_poc_cnt的值的按输出次序的第一图片picC被称作恢复点图片，其中PicOrderCnt(picA)及PicOrderCnt(picC)分别为紧接在调用了用于针对picC的图片次序计数的解码过程后的picA及picC的PicOrderCntVal值。恢复点图片按解码次序不应在当前图片之前。开始于恢复点图片的输出次序位置，指示按输出次序的所有经解码图片在内容上正确或大致正确。recovery_poc_cnt的值应在-MaxPicOrderCntLsb/2到MaxPicOrderCntLsb/2-1(包含性)的范围中。

在一个实施例中，如下修改子条款D.3.11：

渐进式改进分段开始SEI消息指定由当前图片及当前图片的品质改进的一连串一或多个随后图片组成的按解码次序一组连续经译码图片的开始，而非不断移动的场景的表示。

令picA为当前图片。连续经译码图片的标记的集合继续，直到以下条件中的一者为真：

-新的CVS开始。

-位流结束。

-pic_order_cnt_delta大于0且待解码的属于图片picB的下一个切片的PicOrderCntVal(也即，PicOrderCnt(picB))大于PicOrderCnt(picA)加pic_order_cnt_delta，其中PicOrderCnt(picB及PicOrderCnt(picA)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB及picA的PicOrderCntVal值。

-解码具有与在此SEI消息中的progressive_refinement_id相同的progressive_refinement_id的渐进式改进分段结束SEI消息。

在连续图片的标记的集合内的图片的解码次序应与其输出次序相同。

progressive_refinement_id指定用于渐进式改进操作的识别号。progressive_refinement_id应在0到2³²–2(包含性)的范围中。

可如由应用确定来使用在0到255(包含性)的范围中及在512到2³¹–1(包含性)的范围中的progressive_refinement_id的值。保留在256到511(包含性)的范围中及在2³¹到2³²–2(包含性)的范围中的progressive_refinement_id的值，用于由ITU-T|ISO/IEC的未来使用。遇到在256到511(包含性)的范围中及在2³¹到2³²–2(包含性)的范围中的progressive_refinement_id的值的解码器应将其忽略。

pic_order_cnt_delta指定在连续经译码图片的标记的集合中的按解码次序的最后一个图片，如下：

-如果pic_order_cnt_delta等于0，那么连续经译码图片的标记的集合中的按解码次序的最后一个图片为以下图片：

-如果含有按解码次序在当前图片后且与具有相同progressive_refinement_id的渐进式改进分段结束SEI消息的一或多个图片，那么连续经译码图片的标记的集合中的按解码次序的最后一个图片为此等图片中按解码次序的第一者。

-否则，连续经译码图片的标记的集合中的按解码次序的最后一个图片为CVS中按解码次序的最后一个图片。

-否则，连续经译码图片的标记的集合中的按解码次序的最后一个图片为以下图片：

-如果CVS含有按解码次序在当前图片后且与具有相同progressive_refinement_id的渐进式改进分段结束SEI消息相关联且在CVS中的任一图片picC(其PicOrderCnt(picC)大于PicOrderCnt(picA)加pic_order_cnt_delta)前的一或多个图片，那么连续经译码图片的标记的集合中的按解码次序的最后一个图片为此等图片中按解码次序的第一者，其中PicOrderCnt(picC)及PicOrderCnt(picA)分别为紧接在调用了用于针对picC的图片次序计数的解码过程后的picC及picA的PicOrderCntVal值。

-否则，如果CVS含有按解码次序在当前图片后的一或多个图片picD(其PicOrderCnt(picD)大于PicOrderCnt(picA)加pic_order_cnt_delta)，那么连续经译码图片的标记的集合中的按解码次序的最后一个图片为在此等图片中按解码次序的第一者前的最后一个图片，其中PicOrderCnt(picD)及PicOrderCnt(picA)分别为紧接在调用了用于针对picD的图片次序计数的解码过程后的picD及picA的PicOrderCntVal值。

pic_order_cnt_delta的值应在0到256(包含性)的范围中。

在一个实施例中，如下修改子条款D.3.13：

film_grain_characteristics_persistence_flag指定胶片颗粒特性SEI消息的持久性。

film_grain_characteristics_persistence_flag等于0指定胶片颗粒特性SEI消息仅应用于当前经解码图片。

令picA为当前图片。film_grain_characteristics_persistence_flag等于1指定胶片颗粒特性SEI消息持续按输出次序，直到以下条件中的任一者为真：

-新的CVS开始。

-位流结束。

-输出在含有胶片颗粒特性SEI消息的存取单元中的图片picB，其PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB及picA的PicOrderCntVal值。

在一个实施例中，如下修改子条款D.3.14：

tone_map_persistence_flag指定色调映射信息SEI消息的持久性。

tone_map_persistence_flag等于0指定色调映射信息仅应用于当前经解码图片。

令picA为当前图片。tone_map_persistence_flag等于1指定色调映射信息持续按输出次序，直到以下条件中的任一者为真：

-新的CVS开始。

-输出在含有具有tone_map_id的相同值的色调映射信息SEI消息的存取单元中的图片picB，其PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB及picA的PicOrderCntVal值。

在一个实施例中，如下修改子条款D.3.16：

frame_packing_arrangement_persistence_flag指定帧封装布置SEI消息的持久性。

frame_packing_arrangement_persistence_flag等于0指定帧封装布置SEI消息仅应用于当前经解码帧。

令picA为当前图片。frame_packing_arrangement_persistence_flag等于1指定帧封装布置SEI消息持续按输出次序，直到以下条件中的任一者为真：

-新的CVS开始。

-位流结束。

-输出在含有具有frame_packing_arrangement_id的相同值的帧封装布置SEI消息的存取单元中的图片picB，其PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB及picA的PicOrderCntVal值。

在一个实施例中，如下修改子条款D.3.17：

display_orientation_persistence_flag指定显示定向SEI消息的持久性。

display_orientation_persistence_flag等于0指定显示定向SEI消息仅应用于当前经解码图片。

令picA为当前图片。display_orientation_persistence_flag等于1指定显示定向SEI消息按输出次序持续，直到以下条件中的一或多者为真：

-新的CVS开始。

-位流结束。

-输出在含有显示定向SEI消息的存取单元中的图片picB，其PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB及picA的PicOrderCntVal值。

在子条款D.3.18中指定的图片信息SEI消息的结构的语义由以下替换：

图片信息SEI消息的结构提供用于一列项目的信息，所述项目中的一些对应于由一系列图片组成的目标图片集合，所述一系列图片开始于当前图片，直到CVS中按解码次序的最后一个图片，或当前POC复位周期中按解码次序的最后一个图片(无论哪一者较早)。

图片信息SEI消息的结构中的第一项对应于当前图片。当在目标图片集合中存在具有等于如下指定的变数entryPicOrderCnt[i]的PicOrderCntVal时，项ⅰ对应于目标图片集合中的图片。目标图片集合中对应于图片信息SEI消息的结构中的项目的图片的解码次序对应于所述列项目中的i的增大值。

目标图片集合中具有等于entryPicOrderCnt[i](对于在0到num_entries_in_sop_minus1(包含性)的范围中的任何i)的任一图片picB应对应于所述列项目中的一项，其中PicOrderCntVal为紧接在调用了用于针对picB的图片次序计数的解码过程后的picB的PicOrderCntVal的值。

图片信息SEI消息的结构不应存在于作用中SPS具有等于1的long_term_ref_pics_present_flag或等于0的num_short_term_ref_pic_sets的CVS中。

图片信息SEI消息的结构不应存在于具有大于0的TemporalId或含有RASL、RADL或子层非参考图片的任一存取单元中。目标图片集合中对应于不同于在图片信息SEI消息的结构中描述的第一项的一项的任一图片不应为IRAP图片。

sop_seq_parameter_set_id指示且应等于作用中SPS的sps_seq_parameter_set_id值。sop_seq_parameter_set_id的值应在0到15(包含性)的范围中。

num_entries_in_sop_minus1加1指定在图片信息SEI消息的结构中的项目的数目。num_entries_in_sop_minus1应在0到1023(包含性)的范围中。

sop_vcl_nut[i]，当第i项对应于目标图片集合中的图片时，指示且应等于对应于第i项的图片的nal_unit_type值。

sop_temporal_id[i]，当第i项对应于目标图片集合中的图片时，指示且应等于对应于第i项的图片的TemporalId值。保留sop_temporal_id[i]的值7用于由ITU-T|ISO/IEC未来使用，且不应存在于遵守本说明书的此版本的位流中。解码器应忽略含有sop_temporal_id[i]的值7的图片信息SEI消息的结构。

sop_short_term_rps_idx[i]，当第i项对应于目标图片集合中的图片时，指示且应等于到作用中SPS中包含的候选短期RPS的清单的索引——由对应于第i项的图片使用的候选短期的RPS的索引，用于导出短期参考图片集。sop_short_term_rps_idx[i]应在0到num_short_term_ref_pic_sets-1(包含性)的范围中。

sop_poc_delta[i]用以针对在图片信息SEI消息的结构中描述的第i项指定变数entryPicOrderCnt[i]的值。sop_poc_delta[i]应在(-MaxPicOrderCntLsb)/2+1到MaxPicOrderCntLsb/2-1(包含性)的范围中。

如下导出变数entryPicOrderCnt[i]：

entryPicOrderCnt[0]＝PicOrderCnt(currPic)

for(i＝1；i<＝num_entries_in_sop_minus1；i++)

entryPicOrderCnt[i]＝entryPicOrderCnt[i-1]+sop_poc_delta[i]

其中currPic为当前图片。

在一个实施例中，如下修改子条款D.3.24：

区域再新信息SEI消息指示当前SEI消息应用于的切片分段是否属于当前图片的经再新区域(如下所定义)。

并非IRAP存取单元且含有恢复点SEI消息的存取单元被称作逐步解码再新(GDR)，且其对应的图片被称作GDR图片。对应于指示的恢复点图片的存取单元被称作恢复点存取单元。

如果在CVS中存在按解码次序在GDR图片picA后的图片picB且PicOrderCnt(picB)等于PicOrderCnt(picA)加恢复点SEI消息中的recovery_poc_cnt的值，那么令变数lastPicInSet为恢复点图片，其中PicOrderCnt(picA)及PicOrderCnt(picB)分别为紧接在调用了用于针对picB的图片次序计数的解码过程后的picA及picB的PicOrderCntVal值。否则，令lastPicInSet为按输出次序紧接在恢复点图片之前的图片。图片lastPicInSet按解码次序不应在GDR图片之前。

语法函数的添加

在一个实施例中，如下指定more_data_in_slice_segment_header_extension()：

-如果(slice_segment_header()语法结构中的当前位置)-(紧跟在slice_segment_header_extension_length后的位置)小于(slice_segment_header_extension_length*8)，那么more_data_in_slice_segment_header_extension()的返回值等于“真”。

-否则，more_data_in_slice_segment_header_extension()的返回值等于“假”。

两个定义的添加

在一个实施例中，将以下定义添加到子条款F.3：

图片次序计数(POC)复位周期：按解码次序的一连串存取单元，其开始于具有等于1或2的poc_reset_idc及poc_reset_period_id的特定值的存取单元且包含具有相同poc_reset_period_id值或具有等于0的poc_reset_idc的所有存取单元。

图片次序计数(POC)复位图片：为POC复位周期的层的按解码次序的第一图片的图片。

视频参数集扩展语法及语义

表1.vps_extension()的实例语法

vps_poc_msb_present_flag等于0指定语法元素poc_msb_val不存在于参照VPS的切片的切片分段标头中。vps_poc_msb_present_flag等于1指定语法元素poc_msb_val可存在于参照VPS的切片的切片分段标头中。

当vps_poc_msb_present_flag的值等于0时，poc_reset_info_present_flag应等于0.

对NAL单元标头语义的改变

在一个实施例中，将以下导出添加到NAL单元标头语义的语义：

如下导出变数CraOrBlaPicFlag：

CraOrBlaPicFlag＝(nal_unit_type＝＝BLA_W_LP||nal_unit_type＝＝

BLA_N_LP||nal_unit_type＝＝BLA_W_RADL||nal_unit_type＝＝

CRA_NUT)

图片参数集RBSP语法及语义

表2.pic_parameter_set_rbsp()的实例语法

pps_extension_flag等于0指定无pps_extension_data_flag语法元素存在于PPSRBSP语法结构中。当slice_segment_header_extension_present_flag等于0时，pps_extension_flag在遵守本说明书的此版本的位流中应等于0，保留pps_extension_flag的值1，用于由ITU-T|ISO/IEC未来使用，且解码器应忽略PPS NAL单元中在pps_extension_flag的值1后的所有数据。

poc_reset_info_present_flag等于0指定语法元素poc_reset_idc不存在于参照PPS的切片的切片分段标头中。poc_reset_info_present_flag等于1指定语法元素poc_reset_idc存在于参照PPS的切片的切片分段标头中。

pps_extension2_flag等于0指定无pps_extension_data_flag语法元素存在于PPS RBSP语法结构中。pps_extension2_flag在遵守本说明书的此版本的位流中应等于0。保留pps_extension2_flag的值1，用于由ITU-T|ISO/IEC未来使用。解码器应忽略PPS NAL单元中在pps_extension2_flag的值1后的所有数据。

1.1.1一般切片分段标头语法及语义

表3.slice_segment_header()的实例语法(***：经移除)

替代地，使用不同数目个位(例如，经译码为u(14))传信poc_reset_period_id。

当存在时，切片分段标头语法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、num_long_term_sps、num_long_term_pics、slice_temporal_mvp_enabled_flag、discardable_flag、cross_layer_bla_flag、inter_layer_pred_enabled_flag、num_inter_layer_ref_pics_minus1、poc_reset_idc、poc_reset_pic_id、full_poc_reset_flag、poc_lsb_val及poc_msb_val的值应在经译码图片的所有切片分段标头中相同。当存在时，对于每一可能i值，切片分段标头语法元素lt_idx_sps[i]、poc_lsb_lt[i]、used_by_curr_pic_lt_flag[i]、delta_poc_msb_present_flag[i]、delta_poc_msb_cycle_lt[i]及inter_layer_pred_layer_idc[i]的值应在经译码图片的所有切片分段标头中相同。

(***经移除：poc_reset_flag等于1指定当前图片的导出的图片次序计数等于0。poc_reset_flag等于0指定当前图片的导出的图片次序计数可或可不等于0。当不存在时，推断poc_reset_flag的值等于0。

注-当poc_reset_flag在基础层图片中等于1时，取决于应用了子条款8.3.1或是子条款F.8.3.1的解码过程，不同地导出PicOrderCntVal。此外，当具有等于1的poc_reset_flag的基础层图片为根据子条款8.3.1或F.8.3.1的prevTid0Pic时，在子条款8.3.1及F.8.3.1中不同地导出变数prevPicOrderCntLsb。为了避免在子条款8.3.1或F.8.3.1中不正确地更新PicOrderCntMsb，当prevTid0Pic为具有等于1的poc_reset_flag的基础层图片，且对于通过子条款8.3.1或F.8.3.1中的一者导出的prevPicOrderCntLsb，以下条件中的任一者为真时，prevTid0Pic的pic_order_cnt_lsb的值应使得对于通过子条款8.3.1或F.8.3.1中的另一者导出的prevPicOrderCntLsb，同一条件也为真。

-(slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>＝(MaxPicOrderCntLsb/2))

-(slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2))***)

poc_reset_idc等于0指定当前图片的图片次序计数值的最高有效位及最低有效位都不复位。poc_reset_idc等于1指定仅可复位当前图片的图片次序计数值的最高有效位。poc_reset_idc等于2指定可复位当前图片的图片次序计数值的最高有效位及最低有效位两者。poc_reset_idc等于3指定可复位当前图片的图片次序计数值的仅最高有效位或最高有效位及最低有效位两者，且传信额外图片次序计数信息。当不存在时，推断poc_reset_idc的值等于0。

以下约束适用为位流一致性的要求：

-对于RASL图片、RADL图片、子层非参考图片、具有大于0的TemporalId的图片或具有等于1的discardable_flag的图片，poc_reset_idc的值不应等于1或2。

-存取单元中的所有图片的poc_reset_idc的值应相同。

-当存取单元中具有等于0的nuh_layer_id的所述图片为具有特定nal_unit_type值的IRAP图片时且在同一存取单元中具有不同nal_unit_type值的至少一个其它图片时，那么对于存取单元中的所有图片，poc_reset_idc的值应等于1或2。

-当在存取单元中存在具有大于0的nuh_layer_id且为具有特定nal_unit_type值的IDR图片的至少一个图片且在同一存取单元中存在具有不同nal_unit_type值的至少一个其它图片时，对于存取单元中的所有图片，poc_reset_idc的值应等于1或2。

-CRA或BLA图片的poc_reset_idc的值应小于3。

-当存取单元中具有等于0的nuh_layer_id的图片为IDR图片且在同一存取单元中存在至少一个非IDR图片时，对于所述存取单元中的所有图片，poc_reset_idc的值应等于2。

-当存取单元中具有等于0的nuh_layer_id的图片并非IDR图片时，对于存取单元中的任一图片，poc_reset_idc的值不应等于2。

存取单元的poc_reset_idc的值为存取单元中的图片的poc_reset_idc的值。

poc_reset_period_id识别POC复位周期。在同一层中应不存在具有相同等于1或2的poc_reset_period_id及poc_reset_idc值的按解码次序连续的两个图片。当不存在时，如下推断poc_reset_period_id的值：

-如果具有存在于切片分段标头中的poc_reset_period_id的先前图片picA存在于与当前图片相同的位流层中，那么推断poc_reset_period_id的值等于picA的poc_reset_period_id的值。

-否则，推断poc_reset_period_id的值等于0。

注-层中的多个图片具有相同poc_reset_period_id值及具有等于1或2的poc_reset_idc不受禁止，除非此等图片出现在按解码次序的两个连续存取单元中。为了使此等两个图片出现在位流中的可能性最小化(归因于图片损失、位流提取、搜寻或拼接操作)，编码器应针对每一POC复位周期将poc_reset_period_id的值设定为随机值(经受以上指定的约束)。

以下约束适用为位流一致性的要求：

-一个POC复位周期不应包含具有等于1或2的poc_reset_idc的一个以上存取单元。

-具有等于1或2的poc_reset_idc的存取单元应为POC复位周期中的第一存取单元。

-按解码次序在POC复位图片后的图片按输出次序不应在按解码次序在POC复位图片前的另一图片前。

full_poc_reset_flag等于1指定当同一层中按解码次序的先前图片不属于同一POC复位周期时，复位当前图片的图片次序计数值的最高有效位及最低有效位两者。full_poc_reset_flag等于0指定当同一层中按解码次序的先前图片不属于同一POC复位周期时，复位当前图片的图片次序计数值的仅最高有效位。

poc_lsb_val指定可用以导出当前图片的图片次序计数的值。poc_lsb_val语法元素的长度为log2_max_pic_order_cnt_lsb_minus4+4个位。

当poc_reset_idc等于3且在与当前图片相同的层中、具有等于1或2的poc_reset_idc且属于同一POC复位周期的按解码次序的先前图片picA存在于位流中时，picA应为与在与当前图片相同的层中的按解码次序的先前图片相同的图片，其非RASL图片、RADL图片或子层非参考图片，且其具有等于0的TemporalId及等于0的discardable_flag，且当前图片的poc_lsb_val的值应等于picA的slice_pic_order_cnt_lsb的值。

poc_msb_val指定当前图片的图片次序计数值的最高有效位的值，当前图片为CRA或BLA图片。poc_msb_val的值也用以导出用以减小在与当前图片相同的层中的先前经解码图片的图片次序计数值。poc_msb_val的值应在0到2^{32-log2_max_pic_order_cnt_lsb_minus4–4}(包括性)的范围中。poc_msb_val的值应等于当前图片的图片次序计数的最高有效位的值与同一层中的先前POC复位图片或同一层中的先前IDR图片(无论哪一者按解码次序更靠近当前图片)之间的差。如果两个图片皆不存在，那么poc_msb_val的值可为允许范围中的任一值。

针对具有等于0的nuh_layer_id的经译码图片的解码过程

在一个实施例中，如下改变本说明书的子条款8.1.1：

-对子条款8.2、8.3、8.3.1、8.3.2、8.3.3、8.3.4、8.4、8.5、8.6及8.7的参考分别由对子条款F.8.2、F.8.3、F.8.3.1、F.8.3.2、F.8.3.3、F.8.3.4、F.8.4、F.8.5、F.8.6及F.8.7的参考替换。

-在子条款的末尾，添加如下提供的第5项：

1.当FirstPicInLayerDecodedFlag[0]等于0时，将FirstPicInLa_yerDecodedFlag[0]设定为等于1。

用于开始具有大于0的nuh_layer_id的经译码图片的解码的解码过程

在此子条款中提及的每一图片为完全经译码图片。

对于当前图片CurrPic，解码过程如下操作：

1.在子条款F.8.2中指定NAL单元的解码。

2.在子条款F.8.3中的过程指定在切片分段层及以上中的使用语法元素的以下解码过程：

-在子条款F.8.3.1中导出涉及图片次序计数的变数及函数。此需要仅针对图片的第一切片分段来调用。PicOrderCntVal应在存取单元内保持不变为位流一致性的要求。

-调用子条款F.8.3.2中的对于RPS的解码过程，其中仅可将具有等于CurrPic的nuh_layer_id的nuh_layer_id的参考图片标记为“未用于参考”或“用于长期参考”，且不标记具有不同nuh_layer_id值的任一图片。此需要仅针对图片的第一切片分段来调用。

-当FirstPicInLayerDecodedFlag[nuh_layer_id]等于0时，调用在子条款F.8.1.5中指定的用于产生不可用参考图片的解码过程，其需要仅针对图片的第一切片分段来调用。

-当FirstPicInLayerDecodedFlag[nuh_layer_id]不等于0且当前图片为具有等于1的NoRaslOutputFlag的IRAP图片时，调用在子条款F.8.3.3中指定的用于产生不可用参考图片的解码过程，其需要仅针对图片的第一切片分段来调用。

用于图片次序计数的解码过程

此过程的输出为PicOrderCntVal--当前图片的图片次序计数。

使用图片次序计数识别图片，用于导出在合并模式中的运动参数及运动向量预测，及用于解码器一致性检查(见子条款C.5)。

(***经移除：如果FirstPicInLayerDecodedFlag[nuh_layer_id]等于0或当前图片为具有等于1的NoRaslOutputFlag的IRAP图片，那么将变数PicOrderCntMsb设定为等于0。否则，如下导出PicOrderCntMsb：

-设定变数prevPicOrderCntLsb等于PrevPicOrderCnt[nuh_layer_id]&(MaxPicOrderCntLsb-1)。

-设定变数prevPicOrderCntMsb等于PrevPicOrderCnt[nuh_layer_id]–prevPicOrderCntLsb。

-如下导出PicOrderCntMsb：

如下导出PicOrderCntVal：

PicOrderCntVal＝PicOrderCntMsb+slice_pic_order_cnt_lsb

当poc_reset_flag等于1时，以下步骤按列出的次序应用：

-在DPB中且属于与当前图片相同的层的每一图片的PicOrderCntVal按PicOrderCntVal减小。

-PrevPicOrderCnt[nuh_layer_id]按PicOrderCntVal减小。

-将PicOrderCntVal设定为等于0。

当当前图片并非RASL图片、RADL图片或子层非参考图片且当前图片具有等于0的TemporalId时，设定PrevPicOrderCnt[nuh_layer_id]等于PicOrderCntVal。***)

如果FirstPicInLayerDecodedFlag[nuh_layer_id]等于1且当前图片为POC复位图片，那么以下适用：

-如下导出变数pocMsbDelta、pocLsbDelta及DeltaPocVal：

-在DPB中且属于与当前图片相同的层的每一图片的PicOrderCntVal按DeltaPocVal减小。

-如下导出当前图片的PicOrderCntVal：

-如下导出PrevPicOrderCnt[nuh_layer_id]的值：

-如果当前图片并非RASL图片、RADL图片或子层非参考图片且当前图片具有等于0的TemporalId及等于0的discardable_flag，那么设定PrevPicOrderCnt[nuh_layer_id]等于PicOrderCntVal。

-否则当poc_reset_idc等于3时，设定PrevPicOrderCnt[nuh_layer_id]等于full_poc_reset_flag？0:poc_lsb_val。

否则，以下适用：

-如下导出当前图片的PicOrderCntVal：

-如下导出PrevPicOrderCnt[nuh_layer_id]的值：

-否则，当FirstPicInLayerDecodedFlag[nuh_layer_id]等于0且poc_reset_idc等于3时，设定PrevPicOrderCnt[nuh_layer_id]等于full_poc_reset_flag？0:poc_lsb_val。

PicOrderCntVal的值应在-2³¹到2³¹-1(包含性)的范围中。在一个CVS中，同一层中任何两个经译码图片的PicOrderCntVal值不应相同。

如下指定函数PicOrderCnt(picX)：

PicOrderCnt(picX)＝PicOrderCntVal of the picture picX

如下指定函数DiffPicOrderCnt(picA,picB)：

DiffPicOrderCnt(picA,picB)＝PicOrderCnt(picA)-PicOrderCnt(picB)

注-令X为当前图片且Y及Z为同一序列中的两个其它图片，当DiffPicOrderCnt(X,Y)及DiffPicOrderCnt(X,Z)皆为正或皆为负时，将Y及Z视为在从X的同一输出次序方向上。

输出次序DPB的操作

C.5.2.2来自DPB的图片的输出及移除

当当前图片并非当前层中的图片0时，在当前图片(也即，图片n)的解码前但在剖析当前图片的第一切片的切片标头后且在调用图片次序计数的解码过程前的从DPB输出及移除当前层中的图片在从CPB移除当前图片的第一解码单元时瞬时地发生，且如下进行：

-当当前图片的poc_reset_idc大于0且当前存取单元为POC复位周期中的第一存取单元时，DPB中不属于当前存取单元且经标记为“需要用于输出”的所有图片经按PicOrderCntVal值的升序输出，其开始于所有图片中具有最小PicOrderCntVal值的图片，不包含DPB中在当前存取单元中的图片，且具有相同PicOrderCntVal值的图片经按nuh_layer_id值的升序输出。当输出图片时，使用在用于所述图片的作用中SPS中指定的一致性裁剪窗对其裁剪，输出经裁剪图片，且将所述图片标记为“不需要用于输出”。

-调用用于图片次序计数及RPS的解码过程。当使用在条款2至10中指定的解码过程解码遵守在附录A中指定的数据档中的一或多者的CVS时，经调用的针对图片次序计数及RPS的解码过程分别如在子条款8.3.1及8.3.2中所指定。当使用在附录F及附录G或H中指定的解码过程解码遵守在附录G或H中指定的数据档中的一或多者的CVS时，经调用的针对图片次序计数及RPS的解码过程分别如在子条款F.8.3.1及F.8.3.2中所指定。

-如果当前图片为具有等于1的NoRaslOutputFlag的IRAP图片或当前存取单元中的基础层图片为具有等于1的NoRaslOutputFlag的IRAP图片且NoClrasOutputFlag等于1，那么应用以下定序步骤：

1.如下针对测试中的解码器导出变数NoOutputOfPriorPicsFlag：

-如果当前图片为具有等于1的NoRaslOutputFlag的CRA图片，那么设定NoOutputOfPriorPicsFlag等于1(与no_output_of_prior_pics_flag的值无关)。

-否则，如果当前图片为具有等于1的NoRaslOutputFlag的IRAP图片，且当解码当前层中的先前图片时，针对当前层从作用中SPS导出的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]的值不同于分别从对于当前层在作用中的SPS导出的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]的值，那么NoOutputOfPriorPicsFlag可(但不应)由测试中的解码器设定为1，其与no_output_of_prior_pics_flag的值无关。

注-虽然设定NoOutputOfPriorPicsFlag等于no_output_of_prior_pics_flag在此等条件下为优选的，但允许测试中的解码器在此情况下将NoOutputOfPriorPicsFlag设定为1。

-否则，如果当前图片为具有等于1的NoRaslOutputFlag的IRAP图片，那么设定NoOutputOfPriorPicsFlag等于no_output_of_prior_pics_flag。

-否则(当前图片并非具有等于1的NoRaslOutputFlag的IRAP图片，当前存取单元中的基础层图片为具有等于1的NoRaslOutputFlag的IRAP图片，且NoClrasOutputFlag等于1)，设定NoOutputOfPriorPicsFlag等于1。

2.如下针对HRD应用针对测试中的解码器导出的NoOutputOfPriorPicsFlag的值：

-如果NoOutputOfPriorPicsFlag等于1，那么清空子DPB中的所有图片存储缓冲器，而不输出其含有的图片，且设定子DPB充满度等于0。

-否则(NoOutputOfPriorPicsFlag等于0)，清空含有经标记为“不需要用于输出”及“未用于参考”的图片的所有图片存储缓冲器(无输出)，且藉由重复调用在子条款C.5.2.4中指定的“提升”过程来清空子DPB中的所有非空图片存储缓冲器，且设定子DPB充满度等于0。

-否则，清空含有在当前层中的图片且经标记为“不需要用于输出”及“未用于参考”的所有图片存储缓冲器(无输出)。用于经清空的每一图片存储缓冲器，将子DPB充满度减小一。当以下条件中的一或多者为真时，重复调用在子条款C.5.2.4中指定的“提升”过程(***经移除：同时针对经清空的每一额外图片存储缓冲器，将子DPB充满度进一步减小一***)，直到以下条件中无一者为真：

-含有在DPB中经标记为“需要用于输出”的至少一个经解码图片的存取单元的数目大于MaxNumReorderPics。

-MaxLatencyIncreasePlus1不等于0且存在含有在DPB中经标记为“需要用于输出”的至少一个经解码图片的至少一个存取单元，所述经解码图片的相关联的变数PicLatencyCount大于或等于MaxLatencyPictures。

-在子DPB中的当前层中的图片的数目大于或等于MaxDecPicBufferingMinus1+1。

C.5.2.3图片解码、标记、额外提升及存储

在此子条款中指定的过程在从CPB移除图片n的最后一个解码单元时瞬时地发生。

如下更新PicOutputFlag：

-如果当前存取单元不含有在目标输出层处的图片且alt_output_layer_flag等于1，那么以下定序步骤适用：

-清单nonOutputLayerPictures为存取单元的具有等于1的PicOutputFlag且具有包含于TargetDecLayerIdList中的nuh_layer_id值且不在目标输出层上的图片的清单。

-从清单nonOutputLayerPictures移除清单nonOutputLayerPictures当中具有最高nuh_layer_id值的图片。

-将包含在清单nonOutputLayerPictures中的每一图片的PicOutputFlag设定为等于0。

-否则，将不包含在目标输出层中的图片的PicOutputFlag设定为等于0。

当当前图片具有等于1的PicOutputFlag时，对于子DPB中的当前层中经标记为“需要用于输出”且按输出次序在当前图片后的每一图片，将相关联的变数PicLatencyCount设定为等于PicLatencyCount+1。

将当前图片视为在解码了图片的最后一个解码单元后解码。将当前经解码图片存储于子DPB中的空图片存储缓冲器中，且以下适用：

-如果当前经解码图片具有等于1的PicOutputFlag，那么将其标记为“需要用于输出”且将其相关联的变数PicLatencyCount设定为等于0。

-否则(当前经解码图片具有等于0的PicOutputFlag)，将其标记为“不需要用于输出”。

将当前经解码图片标记为“用于短期参考”。

当以下条件中的一或多者为真时，重复调用在子条款C.5.2.4中指定的“提升”过程，直到以下条件中无一者为真：

C.5.2.4“提升”过程

“提升”过程由以下定序步骤组成：

1.将首先用于输出的所述或所述图片选择为在DPB中经标记为“需要用于输出”的所有图片中具有最小PicOrderCntVal值的图片。

2.此等图片中的每一者经使用在用于图片的作用中SPS中指定的一致性裁剪窗按nuh_layer_id升序裁剪，输出经裁剪的图片，且将所述图片标记为“不需要用于输出”。

3.含有经标记为“未用于参考”的图片且为经裁剪且输出的图片中的一者的每一图片存储缓冲器经清空，且将相关联的子DPB的充满度减小一。

实例实施#2

以下提供的实例实施类似于以上描述的实例实施#1，其中无POC复位且另外包含针对所有图片定义的逐层POC。在以上实例实施#1中建议的所有技术可适用，除以下再现的技术外。以斜体突出显示在此实例实施中提议的改变。

对分段标头语法及语义的改变

表4.slice_segment_header()的实例语法

poc_lsb_val指定可用以导出当前图片的图片次序计数或逐层图片次序计数的值。poc_lsb_val语法元素的长度为log2_max_pic_order_cnt_lsb_minus4+4个位。

C.1.1.1对用于图片次序计数的图片次序计数解码过程的解码过程的改变

此过程的输出为PicOrderCntVal(当前图片的图片次序计数)及LayerWisePicOrderCntVal(当前图片的逐层图片次序计数)。

每一经译码图片与表示为PicOrderCntVal的图片次序计数变数及表示为LayerWisePicOrderCntVal的逐层图片次序计数变数相关联。

-如下导出变数pocLsbVal、lwPocMsb及lwPocLsb：

-将在DPB中且属于与当前图片相同的层的每一图片的PicOrderCntVal减小DeltaPocVal。

-如下导出当前图片的PicOrderCntVal：

-如下导出PrevPicOrderCnt[nuh_layer_id]的值：

-如下导出PrevLwPicOrderCnt[nuh_layer_id]及PrevLwPicOrderCntReset[nuh_layer_id]的值：

-如果当前图片并非RASL图片、RADL图片或子层非参考图片且当前图片具有等于0的TemporalId及等于0的discardable_flag，那么设定PrevLwPicOrderCnt[nuh_layer_id]等于LayerWisePicOrderCntVal且设定PrevLwPicOrderCntReset[nuh_layer_id]等于LayerWisePicOrderCntVal。

否则，以下适用：

-如下导出当前图片的PicOrderCntVal：

-如下导出当前图片的LayerWisePicOrderCntVal：

-如下导出PrevPicOrderCnt[nuh_layer_id]的值：

-如下导出PrevLwPicOrderCnt[nuh_layer_id]的值：

-如果当前图片并非RASL图片、RADL图片或子层非参考图片且当前图片具有等于0的TemporalId及等于0的discardable_flag，那么设定PrevLwPicOrderCnt[nuh_layer_id]等于LayerWisePicOrderCntVal。

LayerWisePicOrderCntVal的值应在-2³¹到2³¹-1(包含性)的范围中。任何两个经译码图片的LayerWisePicOrderCntVal值在具有相同nuh_layer_id值的一连串图片内不应相同，所述一连串图片按解码次序开始于含有具有等于1的NoClrasOutputFlag的IRAP图片的存取单元(包含性)，直到位流的末尾或含有具有等于1的NoClrasOutputFlag的IRAP图片的下一个存取单元(不包含)，无论哪一者按解码次序较早。

如下指定函数LayerWisePicOrderCnt(picX)：

LayerWisePicOrderCnt(picX)＝LayerWisePicOrderCntVal of the picturepicX

如下指定函数DiffPicOrderCnt(picA,picB)：

DiffPicOrderCnt(picA,picB)＝LayerWisePicOrderCnt(picA)-LayerWisePicOrderCnt(picB)

其它考虑

可使用多种不同技术及技艺中的任何者来表示本文中公开的信息及信号。举例来说，贯穿以上描述可能提及的数据、指令、命令、信息、信号、位、符号及芯片可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合表示。

结合本文中公开的实施例描述的各种说明性逻辑块、模块、电路及演算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，各种说明性组件、块、模块、电路及步骤已在上文大体按其功能性加以了描述。将此功能性实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。所属领域技术人员可针对每一特定应用以变化的方式实施所描述功能性，但此等实施决策不应被解译为造成对本发明的范围的脱离。

因此，本文中描述的技术可以硬件、软件、固件或其任何组合实施。此等技术可实施于多种装置中的任何者中，例如，通用计算机、无线通信装置手持机或具有多种用途(包含在无线通信装置手持机及其它装置中的应用)的集成电路装置。可将描述为模块或组件的任何特征一起实施于集成式逻辑装置中或分开来实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分由包括包含当经执行时执行以上描述的方法中的一或多者的指令的代码的计算机可读数据存储媒体实现。计算机可读数据存储媒体可形成计算机程序产品的部分，计算机程序产品可包含包装材料。计算机可读媒体可包括存储器或数据存储媒体，例如，随机存取存储器(RAM)，例如，同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似者。所述技术另外或替代地可至少部分由计算机可读通信媒体实现，所述计算机可读通信媒体携载或传递呈指令或数据结构的形式且可由计算机存取、读取及/或执行的代码，例如，传播的信号或波。

代码可由可包含一或多个处理器的处理器执行，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代例中，处理器可为任何已知处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心或任何其它此配置。因此，如本文中所使用的术语“处理器”可指前述结构、前述结构的任何组合或适合于实施本文中描述的技术的任何其它结构或设备中的任一者。此外，在一些方面中，本文中描述的功能性可提供于经配置用于编码及解码的专用软件模块或硬件模块，或并入于组合的视频编码器-解码器(编码解码器)中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于多种多样的装置或设备中，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。各种组件、模块或单元在本发明中描述以强调经配置以执行所公开技术的装置的功能方面，但未必需要由不同硬件单元来实现。相反地，如上所述，各种单元可与合适的软件及/或固件一起组合在编码解码器硬件单元中或通过互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。

已描述本发明的各种实施例。此等及其它实施例在以下权利要求书的范围内。

Claims

1.一种经配置以解码视频信息的设备，所述设备包括：

存储器，其经配置以存储与具有当前图片的第一视频层相关联的视频数据；及至少一个处理器，其与所述存储器通信，所述至少一个处理器经配置以：

在位流内解码图片次序计数POC最高有效位MSB周期值，其中所述POC MSB周期值与所述当前图片相关联并且指示以下两者之间的差异：(a)所述第一视频层中按解码次序在当前图片前的先前图片的第一POC的MSB，与(b)所述当前图片的第二POC的MSB，其中所述先前图片为两个图片中按解码次序更靠近所述当前图片的一者，所述两个图片为(i)所述第一视频层中指示POC复位的先前POC复位图片以及(ii)所述第一视频层中的先前瞬时解码器刷新IDR图片；

确定所述当前图片是否与POC复位相关联；

基于所述当前图片与POC复位相关联的确定，基于与所述当前图片相关联的所述POCMSB周期值，更新经解码图片缓冲器DPB中在所述第一视频层中的所有图片的POC值；

基于所述当前图片不与POC复位相关联的确定，基于与所述当前图片相关联的所述POCMSB周期值确定所述当前图片的所述第二POC的所述MSB；及

在所述位流中解码所述当前图片。

2.根据权利要求1所述的设备，其中所述当前图片为清洁随机存取CRA图片或断链存取BLA图片中的一者。

3.根据权利要求1所述的设备，其中与所述第一视频层相关联的视频参数集包含指示所述POC MSB周期值是否在所述位流中与所述当前图片相关联地被传信的旗标或语法元素。

4.根据权利要求1所述的设备，其中所述当前图片为IDR图片。

5.根据权利要求1所述的设备，其中所述设备包括解码器，其中所述至少一个处理器进一步经配置以接收所述位流中与所述当前图片相关联的所述POC MSB周期值。

6.根据权利要求1所述的设备，其中所述设备包括选自由以下各项中的一或多者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台，以及汽车内计算机。

7.根据权利要求1所述的设备，其中所述至少一个处理器进步一经配置以：

确定按解码次序跟随第二当前图片的至少一个图片将在按解码次序在所述第二当前图片前的至少另外一图片前输出；及

基于确定按解码次序跟随所述第二当前图片的至少一个图片将在按解码次序在所述第二当前图片前的至少另外一图片前输出，避免与所述第二当前图片相关联地指示POC复位。

8.一种解码视频信息的方法，所述方法包括：

在位流内解码图片次序计数POC最高有效位MSB周期值，其中所述POC MSB周期值与第一视频层中的当前图片相关联并且指示以下两者之间的差异：(a)所述第一视频层中按解码次序在当前图片前的先前图片的第一POC的MSB，与(b)所述当前图片的第二POC的MSB，其中所述先前图片为两个图片中按解码次序更靠近所述当前图片的一个图片，所述两个图片为(i)所述第一视频层中指示POC复位的先前POC复位图片以及(ii)所述第一视频层中的先前瞬时解码器刷新IDR图片；

确定所述当前图片是否与POC复位相关联；

执行下列步骤中的一者：

(i)基于所述当前图片与POC复位相关联的确定，基于与所述当前图片相关联的所述POC MSB周期值，更新经解码图片缓冲器DPB中在所述第一视频层中的所有图片的POC值，或

(ii)基于所述当前图片不与POC复位相关联的确定，基于与所述当前图片相关联的所述POC MSB周期值确定所述当前图片的所述第二POC的所述MSB；及

在所述位流中解码所述当前图片。

9.根据权利要求8所述的方法，其中所述当前图片为清洁随机存取CRA图片或断链存取BLA图片中的一者。

10.根据权利要求8所述的方法，其中与所述第一视频层相关联的视频参数集包含指示所述POC MSB周期值是否在所述位流中与所述当前图片相关联地被传信的旗标或语法元素。

11.根据权利要求8所述的方法，其中所述当前图片为IDR图片。

12.根据权利要求8所述的方法，其进一步包括：

基于确定按解码次序跟随第二当前图片的至少一个图片将在按解码次序在所述第二当前图片前的至少另外一图片前输出，避免与所述第二当前图片相关联地指示POC复位。

13.一种非暂时性计算机可读媒体，其包括代码，当所述代码经执行时使设备：

存储与具有当前图片的第一视频层相关联的视频数据；

在位流内解码图片次序计数POC最高有效位MSB周期值，其中所述POC MSB周期值与所述当前图片相关联并且指示以下两者之间的差异：(a)所述第一视频层中按解码次序在所述当前图片前的先前图片的第一POC的MSB，与(b)所述当前图片的第二POC的MSB，其中所述先前图片为两个图片中按解码次序更靠近所述当前图片的一个图片，所述两个图片为(i)所述第一视频层中指示POC复位的先前POC复位图片以及(ii)所述第一视频层中的先前瞬时解码器刷新IDR图片；

确定所述当前图片是否与POC复位相关联；

执行下列步骤中的一者：

(i)基于所述当前图片与POC复位相关联的确定，基于与所述当前图片相关联的所述POC MSB周期值，更新经解码图片缓冲器DPB中在所述第一视频层中的所有图片的POC值，或(ii)基于所述当前图片不与POC复位相关联的确定，基于与所述当前图片相关联的所述POCMSB周期值确定所述当前图片的所述第二POC的所述MSB；以及

在所述位流中解码所述当前图片。

14.根据权利要求13所述的计算机可读媒体，其中所述代码进一步使所述设备：

基于所述当前图片与POC复位相关联的确定，基于与所述当前图片相关联的所述POCMSB周期值，更新经解码图片缓冲器DPB中在所述第一视频层中的所有图片的POC值。

15.根据权利要求13所述的计算机可读媒体，其中所述代码进一步使所述设备：

16.一种经配置以解码视频信息的视频译码装置，所述视频译码装置包括：

用于存储与具有当前图片的第一视频层相关联的视频数据的装置；

用于在位流内解码图片次序计数POC最高有效位MSB周期值的装置，其中所述POC MSB周期值与所述当前图片相关联并且指示以下两者之间的差异：(a)所述第一视频层中按解码次序在所述当前图片前的先前图片的第一POC的MSB，与(b)所述当前图片的第二POC的MSB，其中所述先前图片为两个图片中按解码次序更靠近所述当前图片的一个图片，所述两个图片为(i)所述第一视频层中指示POC复位的先前POC复位图片以及(ii)所述第一视频层中的先前瞬时解码器刷新IDR图片；

用于确定所述当前图片是否与POC复位相关联的装置；

用于执行下列步骤中的一者的装置：

(ii)基于所述当前图片不与POC复位相关联的确定，基于与所述当前图片相关联的所述POC MSB周期值确定所述当前图片的所述第二POC的所述MSB；以及用于在所述位流中解码所述当前图片的装置。

17.根据权利要求16所述的视频译码装置，其进一步包括：

用于基于所述当前图片与POC复位相关联的确定，基于与所述当前图片相关联的所述POC MSB周期值，更新经解码图片缓冲器DPB中在所述第一视频层中的所有图片的POC值的装置。

18.根据权利要求16所述的视频译码装置，所述视频译码装置进一步包括：

用于确定按解码次序跟随第二当前图片的至少一个图片将在按解码次序在所述第二当前图片前的至少另外一图片前输出的装置；及

用于，基于确定按解码次序跟随第二当前图片的至少一个图片将在按解码次序在所述第二当前图片前的至少另外一图片前输出，避免与所述第二当前图片相关联地指示POC复位的装置。