CN104885459A - 用于多层译码的多分辨率经解码图片缓冲器管理 - Google Patents

Abstract

本发明描述用于当需要存储具有不同分辨率的多个经解码层分量时的经解码图片缓冲器DPB管理的各种方法和技术。在一个实例中，一种译码视频数据的方法包括解码视频数据以产生多个经解码层分量、将所述经解码层分量存储于DPB的一或多个子单元中，和对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

Description

用于多层译码的多分辨率经解码图片缓冲器管理

本申请案要求2013年1月4日申请的第61/749,105号美国临时专利申请案的权益。

技术领域

本发明涉及用于视频译码的技术，且更特定来说涉及用于多层视频译码的技术。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准和此类标准的扩展定义的标准中所描述的技术，以更有效地发射、接收和存储数字视频信息。

前述标准中的一些的扩展(包含H.264/AVC)提供用于多层视频译码的技术。多层视频译码技术可包含可缩放视频译码技术、多视图视频译码技术和多视图加上深度视频译码技术。为了产生立体或三维(“3D”)视频，举例来说，已提出用于AVC的多视图译码技术以及可缩放视频译码(SVC)标准(其为H.264/AVC的可缩放扩展)和多视图视频译码(MVC)标准(其已变成H.264/AVC的多视图扩展)。

通常，使用两个视图(例如，左视图和右视图)达成立体视频。左视图的图片实质上可与右视图的图片同时显示以达成三维视频效果。举例来说，用户可佩戴偏光被动式眼镜，其将左视图从右视图滤波掉。替代性地，可快速连续展示两个视图的图片，且用户可佩戴主动式眼镜，其以相同频率但具有90度的相位移位快速遮光左眼和右眼。

发明内容

一般来说，本发明描述用于多层视频译码的技术。具体来说，本发明是关于用于多层视频译码的经解码图片缓冲器(DPB)管理。

在本发明的一或多个实例中，视频译码器(例如，视频编码器或视频解码器)可经配置以执行以下方法。

在本发明的一个实例中，一种译码视频数据的方法包括解码视频数据以产生多个经解码层分量、将所述经解码层分量存储于DPB的一或多个子单元中，和对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

在本发明的另一实例中，一种经配置以译码视频数据的设备包括视频译码器，其经配置以解码视频数据以产生多个经解码层分量、将所述经解码层分量存储于DPB的一或多个子单元中和对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

在本发明的另一实例中，一种经配置以译码视频数据的设备包括用于解码视频数据以产生多个经解码层分量的装置、用于将所述经解码层分量存储于DPB的一或多个子单元中的装置和用于对所述一或多个子单元执行DPB管理过程的装置，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

在另一个实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以译码视频数据的装置的一或多个处理器进行如下操作：解码视频数据以产生多个经解码层分量、将所述经解码层分量存储于DPB的一或多个子单元中和对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

一或多个实例的细节阐述于随附图式和下文描述中。其它特征、目标和优势将从描述和图式并从权利要求书中显而易见。

附图说明

图1为说明可利用本发明中描述的技术的实例视频编码和解码系统的框图。

图2为说明实例多视图解码顺序的概念图。

图3为说明用于多视图译码的实例预测结构的概念图。

图4为说明实例可缩放视频译码层的概念图。

图5为说明可实施本发明中描述的技术的实例视频编码器的框图。

图6为说明可实施本发明中描述的技术的实例视频解码器的框图。

图7为展示根据本发明的第一实例的实例DPB的概念图。

图8为展示根据本发明的第二实例的实例DPB的概念图。

图9为展示根据本发明的第三实例的实例DPB的概念图。

图10为展示根据本发明的第四实例的实例DPB的概念图。

图11为展示根据本发明的技术的实例方法的流程图。

具体实施方式

一般来说，本发明描述用于管理多层视频译码中的经解码图片的技术，其中不同层可具有不同空间分辨率。在本发明的上下文中，层可为可缩放视频译码过程(例如，H.264/SVC或新出现的高效率视频译码(HEVC)标准的可缩放扩展)中的层、多视图或3D视频译码中的纹理视图或3D视频译码中的深度视图。作为另一实例，层可对应于包含纹理视图分量和深度视图分量两者的单一视图。因此，术语“层”可在本发明中总体上用于在SVC意义上指层或在MVC意义上指视图。本发明的技术可适用于任何此类视频译码情境，包含HEVC和H.264/AVC的多视图扩展、3D视频扩展和可缩放扩展。

下文所描述的技术可应用于基于高级编解码器的可缩放、多视图和3D视频译码，包含译码具有深度图的图片的两个或两个以上视图。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IECMPEG-4 Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。另外，当前正由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发新视频译码标准(即，高效率视频译码(HEVC))。HEVC的新近WD描述于JCTVC-K1003“高效率视频译码(HEVC)文本规范草案9”中(第11次会议：中国上海，2012年10月10日到19日)，且到2012年12月17日为止可在http://phenix.int-evry.fr/jct/doc_end_user/documents/ 11_Shanghai/wg11/JCTVC-K1003-v12.zip处下载所述草案，其全部内容以引用的方式并入本文中。

HEVC的更为新近草案描述于ITU-T H.265，系列H中：视听和多媒体系统(AUDIOVISUAL AND MULTIMEDIA SYSTEMS)，移动视频视听服务译码基础结构(Infrastructure of Audiovisual Services-Coding of Moving Video)，“高效率视频译码”，2013年4月(下文中称为“HEVC”)。HEVC以全文引用的方式并入本文中。已提出对HEVC的各种扩展。一个此类扩展为描述于“高效率视频译码(HEVC)范围扩展文本规范：草案4”(JCTVC-N1005_v1，2013年4月(下文中称为“JCTVC-N1005”))中的HEVC范围扩展。标题为“高效率视频译码(HEVC)可缩放扩展草案3”的可缩放HEVC(SHEVC)的新近工作草案(WD)(ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8月2日，且在下文中被称为SHEVC WD3)可得自http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip，其以全文引用的方式并入本文中。

用于经解码图片缓冲器(DPB)管理的当前解决方案仅涉及存储具有相同分辨率的不同层的情况。即，用于DPB管理的当前技术假定每一层包含相同数目个像素(即，分辨率)，从而当层具有不同数目个像素时带来低效率。鉴于此缺点，本发明描述用于当需要存储具有不同分辨率的多个经解码层分量时的DPB管理的各种方法和技术。

图1为说明可利用本发明中描述的用于多层视频译码中的经解码图片缓冲器管理的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括广泛范围装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或其类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)加以调制，并发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

替代性地，可将经编码数据从输出接口22输出到存储装置34。类似地，可由输入接口从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置34可对应于文件服务器或可保存由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由串流或下载从存储装置34存取所存储视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。此连接可包含适于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置34的发射可为串流发射、下载发射或两者的组合。

用于多层视频解码中的经解码图片缓冲器管理的本发明技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、串流视频发射(例如，经由因特网)、编码数字视频以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频串流、视频重放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统或此类源的组合的源。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的摄像机电话或视频电话。然而，本发明中描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20编码所俘获视频、预俘获视频或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可(或替代性地)将经编码视频数据存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于解码和/或重放。

目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些状况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置32可与目的地装置14一起集成或在目的地装置外部。在一些实例中，目的地装置14可包含集成式显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。具体来说，在一些实例中，视频编码器20和视频解码器可根据支持多视图或多视图加上深度视频译码的HEVC扩展来操作。在其它实例中，视频编码器20和视频解码器30可根据其它专有或行业标准来操作，例如ITU-T H.264标准(替代性地被称为MPEG-4第10部分)、高级视频译码(AVC)，或此类标准的扩展(包含H.264/SVC)。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。具体来说，根据本发明的技术，视频编码器20和视频解码器30可根据能够3DV和/或多视图编码(例如，3D-HEVC、H.264/MVC等)的视频译码标准来操作。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器一起集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用，那么多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。

视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分以软件实施所述技术时，装置可将用于软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令来执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。

本发明的以下章节将提供HEVC标准的背景。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现存装置的若干额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成包含明度和色度样本两者的一序列树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含按译码顺序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树而分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点并分裂成另外四个子节点。最后未经分裂子节点(作为四叉树的叶节点)包括译码节点(即，经译码视频块)。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，且还可定义译码节点的最小大小。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小总体上对应于译码节点的大小，且通常必须为正方形形状。CU的大小可介于8×8像素至多具有最大64×64像素或更大的树块大小的范围内。每一CU可含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。TU可为正方形或非正方形形状。

HEVC标准允许根据TU进行变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设定，但状况可并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片和/或可由预测方向指示的运动向量的参考图片列表(例如，列表0、列表1或列表C)。

一般来说，TU用于变换和量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测后，视频编码器20可根据PU从由译码节点所识别的视频块计算残余值。接着更新译码节点以参考残余值而非原始视频块。残余值包括像素差值，所述像素差值可使用TU中所指定的变换和其它变换信息被变换为变换系数、经量化且经扫描以产生串行化变换系数以用于熵译码。可再次更新译码节点，以参考这些串行化变换係数。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定状况下，本发明还可使用术语“视频块”来指包含译码节点以及PU和TU的树块(即，LCU或CU)。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)总体上包括一系列视频图片中的一或多者。GOP可包含描述GOP中所包含的图片数目的GOP的标头中、图片中的一或多者的标头中或别处的语法数据。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为实例，HM支持各种PU大小的预测。假定特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，和2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但将另一方向分割成25％和75％。CU的对应于25％分区的部分由“n”后面接着“上方”、“下方”、“左侧”或“右侧”的指示来指示。因而，举例来说，“2N×nU”是指水平地分割的2N×2NCU，其中顶部为2N×0.5N PU，且底部为2N×1.5N PU。

在本发明中，“N×N”与“N乘N”可互换使用来指在垂直和水平尺寸方面的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，N×N块总体上在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成若干行和若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码后，视频编码器20可计算应用由CU的TU所指定的变换的残余数据。残余数据可对应于未经编码图片的像素与对应于CU的预测值之间的像素差。视频编码器20可形成用于CU的残余数据且接着变换残余数据以产生变换系数。

在用以产生变换系数的任何变换后，视频编码器20可执行变换系数的量化。量化总体上是指量化变换系数以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值舍去到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描顺序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。

为执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构使得相对较短码对应于更有可能符号，而较长码对应于不太可能符号。以此方式，相对于(例如)针对待发射的每一符号使用相等长度码字，使用VLC可达成位节省。概率确定可基于指派给符号的上下文。

当前还在JCT-3V和JCT-VC中开发HEVC扩展。在JCT-3V中，正开发两个HEVC扩展：多视图扩展(MV-HEVC)和3D视频扩展(3D-HEVC)。另外，正开发两个AVC扩展：MVC+D和3D-AVC。

进行中的标准的最新版本列举为如下：

-T.铃木(T.Suzuki)、M.M.汉努克塞拉(M.M.Hannuksela)、陈颖(Y.Chen)、S.哈托利(S.Hattori)、G.沙利文(G.Sullivan)的“包含深度图的MVC扩展草案文本6”，JCT3V-C1001，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组，第4次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1001-v3.zip处。

-M.M.汉努克塞拉、陈颖、T.铃木、J.-R.欧姆(J.-R.Ohm)、G.沙利文的“3D-AVC草案文本8”，JCT3V-F1002，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组，第6次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1002-v3.zip处。

-JCT3V-F1004，“MV-HEVC草案文本6”，格哈德·泰克(G.Tech)、克日什托夫·韦格纳(K.Wegner)、陈颖、M.汉努克塞拉，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合合作小组，第6次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zip处。

-格哈德·泰克(Gerhard Tech)、克日什托夫·韦格纳(Krzysztof Wegner)、陈颖、斯胡·伊恩(Sehoon Yea)的“3D-HEVC草案文本2”，JCT3V-F1001，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组，第6次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2处。

现将论述H.264/高级视频译码(AVC)标准的扩展的多视图视频译码技术。然而，本发明的技术可与支持新出现的HEVC标准的多视图译码和/或3D译码多视图提议(例如，多视图HEVC和3D-HEVC)的任何视频译码标准一起适用。

多视图视频译码(MVC)为H.264/AVC的扩展。图2中展示典型MVC解码顺序(即，位流顺序)。解码顺序布置被称为时间优先译码。应注意，存取单元的解码顺序可并不相同于输出或显示顺序。在图2中，S0到S7各自指多视图视频的不同视图。T0到T8各自表示一个输出时间例子。存取单元可包含针对一个输出时间例子的所有视图的经译码图片。举例来说，第一存取单元可包含针对时间例子T0的所有视图S0到S7，第二存取单元可包含针对时间例子T1的所有视图S0到S7等等。

出于简洁目的，本发明可使用以下定义：

视图分量：单一存取单元中的视图的经译码表示。当视图包含经译码纹理表示和深度表示两者时，视图分量可包含纹理视图分量和深度视图分量。

纹理视图分量：单一存取单元中的视图的纹理的经译码表示。

深度视图分量：单一存取单元中的视图的深度的经译码表示。

如上文所论述，在本发明的上下文中，视图分量、纹理视图分量和深度视频分量可总体上被称作层。在图2中，视图中的每一者包含若干图片集合。举例来说，视图S0包含图片集合0、8、16、24、32、40、48、56和64，视图S1包含图片集合1、9、17、25、33、41、49、57和65等等。每一集合包含两个图片：一个图片被称作纹理视图分量，且另一图片被称作深度视图分量。视图的图片集合内的纹理视图分量和深度视图分量可被视为是对应于彼此的。举例来说，视图的图片集合内的纹理视图分量被视为对应于视图的所述图片集合内的深度视图分量，且反过来也一样(即，深度视图分量对应于其集合中的纹理视图分量，且反过来也一样)。如本发明中所使用，对应于深度视图分量的纹理视图分量可被视为纹理视图分量且深度视图分量为单一存取单元的同一视图的部分。

纹理视图分量包含所显示的实际图像内容。举例来说，纹理视图分量可包含明度(Y)和色度(Cb和Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例，深度视图分量为仅包含明度值的灰阶图像。换句话说，深度视图分量可并不传达任何图像内容，而是提供纹理视图分量中的像素的相对深度的量度。

举例来说，深度视图分量中的纯白色像素指示对应纹理视图分量中的其对应像素较接近于观看者的视角，且深度视图分量中的纯黑色像素指示对应纹理视图分量中的其对应像素距观看者的视角较远。黑色与白色之间的各种灰度梯度指示不同深度等级。举例来说，深度视图分量中的深灰色像素指示纹理视图分量中的其对应像素比深度视图分量中的浅灰色像素更远。因为仅需要灰阶来识别像素的深度，所以深度视图分量无需包含色度分量，这是由于深度视图分量的色值可并不服务于任何目的。

仅使用明度值(例如，强度值)来识别深度的深度视图分量是出于说明的目的而提供，且不应被视为限制性。在其它实例中，可利用任何技术来指示纹理视图分量中的像素的相对深度。

图3中展示用于多视图视频译码的典型MVC预测结构(包含每一视图内的图片间预测和视图间预测两者)。预测方向由箭头指示，箭头指向的对象使用箭头出发的对象作为预测参考。在MVC中，由视差运动补偿支持视图间预测，所述视差运动补偿使用H.264/AVC运动补偿的语法但允许将不同视图中的图片用作参考图片。

在图3的实例中，说明六个视图(具有视图ID“S0”到“S5”)，且对于每一视图说明十二个时间位置(“T0”到“T11”)。即，图3中的每一行对应于视图，而每一列指示时间位置。

尽管MVC具有可由H.264/AVC解码器解码的所谓基础视图，且MVC还可支持立体视图对，但MVC的优势在于其可支持使用两个以上视图作为3D视频输入且解码由多个视图表示的此3D视频的实例。具有MVC解码器的客户端的显现器(renderer)可预期具有多个视图的3D视频内容。

在每一行与每一列的相交处指示图3中的图片。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。

使用包含字母的块来说明图3中的图片，字母指定对应图片是经帧内译码(即，I图片)，还是在一个方向上经帧间译码(即，作为P图片)，还是在多个方向上经帧间译码(即，作为B图片)。一般来说，预测由箭头指示，其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说，时间位置T0处的视图S2的P图片是从时间位置T0处的视图S0的I图片预测的。

如同单视图视频编码，可相对于不同时间位置处的图片预测性地编码多视图视频译码视频序列的图片。举例来说，时间位置T1处的视图S0的b图片具有从时间位置T0处的视图S0的I图片指向其的箭头，从而指示所述b图片是从所述I图片预测的。然而，另外，在多视图视频编码的上下文中，图片可经视图间预测。即，视图分量可出于参考目的使用其它视图中的视图分量。举例来说，在MVC中，如同另一视图中的视图分量为帧间预测参考般实现视图间预测。在序列参数集(SPS)MVC扩展中用信号通知潜在视图间参考且可由参考图片列表建构过程修改所述参考，此情况使得能够灵活排序帧间预测或视图间预测参考。视图间预测也是包含3D-HEVC(多视图加上深度)的HEVC的所提出多视图扩展的特征。

图3提供视图间预测的各种实例。在图3的实例中，视图S1的图片说明为是从视图S1的不同时间位置处的图片预测，以及是从同一时间位置处的视图S0和S2的图片经视图间预测。举例来说，时间位置Tl处的视图S1的b图片是从时间位置T0和T2处的视图S1的B图片中的每一者以及时间位置T1处的视图S0和S2的b图片预测。

在一些实例中，图3可被看作说明纹理视图分量。举例来说，图2中所说明的I、P、B和b图片可被视为视图中的每一者的纹理视图分量。根据本发明中描述的技术，对于图3中所说明的纹理视图分量中的每一者，存在对应深度视图分量。在一些实例中，可以类似于图3中针对对应纹理视图分量所说明的方式预测深度视图分量。

也可由MVC支持两个视图的译码。MVC的优势中的一者为MVC编码器可将两个以上视图当作3D视频输入且解码器可解码此多视图表示。因而，具有MVC解码器的任何显现器可解码具有两个以上视图的3D视频内容。

如上文所论述，在MVC中，允许在同一存取单元中(在一些情况下意味着具有同一时间例子)的图片当中进行视图间预测。当译码非基础视图中的一者中的图片时，如果图片处于不同视图中但在同一时间例子内，那么可将所述图片添加到参考图片列表中。可将视图间预测参考图片放置在参考图片列表的任何位置中，正如任何帧间预测参考图片一般。如图3中所展示，视图分量可出于参考目的使用其它视图中的视图分量。在MVC中，如同另一视图中的视图分量为帧间预测参考般实现视图间预测。

在MVC中，允许在同一存取单元(即，具有同一时间例子)中的图片当中进行视图间预测。当译码非基础视图中的一者中的图片时，如果图片处于不同视图中但具有同一时间例子，那么可将所述图片添加到参考图片列表中。可将视图间预测参考图片放置在参考图片列表的任何位置中，正如任何帧间预测参考图片一般。

如图3中所展示，视图分量可出于参考目的使用其它视图中的视图分量。此情况被称为视图间预测。在MVC中，如同另一视图中的视图分量为帧间预测参考般实现视图间预测。然而，在序列参数集(SPS)MVC扩展(如表1中所展示)中用信号通知潜在视图间参考且可由参考图片列表建构过程修改所述参考，此情况使得能够灵活排序帧间预测或视图间预测参考。

表1-SPS MVC扩展语法表

在SPS MVC扩展中，对于每一视图，用信号通知可用于形成参考图片列表0和参考图片列表1的视图数目。如在SPS MVC扩展中用信号通知的用于锚定图片的预测关系可与用于同一视图的非锚定图片(在SPS MVC扩展中用信号通知)的预测关系不同。

下一章节将论述关于HEVC的多视图和3D视频译码。具体来说，当译码两个或两个以上视图(每一视图具有纹理视图分量和深度视图分量)时，本发明的实例技术可适用。用于每一视图的多个视频图片可称为纹理视图分量。每一纹理视图分量具有对应深度视图分量。纹理视图分量包含视频内容(例如，像素值的明度和色度分量)，且深度视图分量可指示纹理视图分量内的像素的相对深度。

本发明的技术涉及通过译码纹理和深度数据来译码3D视频数据。一般来说，术语“纹理”用于描述图像的明度(即，亮度或“明度”)值和图像的色度(即，色彩或“色度”)值。在一些实例中，纹理图像可包含用于蓝色调(Cb)和红色调(Cr)的一个明度数据集合和两个色度数据集合。在例如4:2:2或4:2:0的某些色度格式中，相对于明度数据降低取样色度数据。即，色度分量的空间分辨率低于对应明度分量的空间分辨率，例如为明度分辨率的二分之一或四分之一。

深度数据总体上描述对应纹理数据的深度值。举例来说，深度图像可包含各自描述对应纹理数据的深度的深度像素集合。深度数据可用于确定对应纹理数据的水平视差。因此，接收纹理和深度数据的装置可显示一个视图(例如，左眼视图)的第一纹理图像，且通过使第一图像的像素值偏移基于深度值所确定的水平视差值而使用深度数据修改第一纹理图像以产生另一视图(例如，右眼视图)的第二纹理图像。一般来说，水平视差(或简称“视差”)描述第一视图中的像素与第二视图中的对应像素的水平空间偏移，其中两个像素对应于如于两个视图中所表示的同一对象的同一部分。

在又其它实例中，可针对垂直于图像平面的z维度中的像素定义深度数据，使得与给定像素相关联的深度是相对于针对所述图像所定义的零视差平面而定义。此深度可用于产生水平视差以用于显示像素，使得像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。零视差平面可针对视频序列的不同部分改变，且相对于零视差平面的深度量也可改变。可针对左眼与右眼类似地定义位于零视差平面上的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如，具有水平视差)，以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以呈现轻微深度感觉，或可对于左眼与右眼显示于不同位置中(例如，具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用于传达或定义图像的深度数据。

对于深度视图分量中的每一像素，纹理视图分量中可存在一或多个对应像素。举例来说，如果深度视图分量与纹理视图分量的空间分辨率相同，那么深度视图分量中的每一像素对应于纹理视图分量中的一个像素。如果深度视图分量的空间分辨率小于纹理视图分量的空间分辨率，那么深度视图分量中的每一像素对应于纹理视图分量中的多个像素。深度视图分量中的像素值可指示纹理视图中的对应一或多个像素的相对深度。

在一些实例中，视频编码器用信号通知纹理视图分量的视频数据和用于视图中的每一者的对应深度视图分量。视频解码器利用纹理视图分量和深度视图分量两者的视频数据来解码视图的视频内容以供显示。显示器接着显示多视图视频以产生3D视频。

也由JCT-VC开发HEVC的可缩放扩展。图4为说明可缩放视频译码的一个实例的概念图。虽然关于H.264/AVC和SVC描述图4，但应理解可使用包含HEVC的可缩放扩展的其它多层视频译码方案译码类似层。图4的实例展示使用同一编解码器译码的层。在其它实例中，可使用多标准编解码器译码层。举例来说，可使用H.264/AVC译码基础层而可使用HEVC的可缩放扩展译码增强层。因此，一般来说，下文对SVC的参考可适用于可缩放视频译码且并不限于H.264/SVC。

在SVC中，可在包含(例如)空间、时间和质量的三个维度中实现可缩放性(表示为位速率或信噪比(SNR))。一般来说，可通常通过添加到任何维度上的表示来达成较好表示。举例来说，在图4的实例中，以具有7.5Hz的帧率和每秒64千字节(KBPS)的位速率的四分之一通用影像传输格式(QCIF)译码层0。另外，以具有15Hz的帧率和64KBPS的位速率的QCIF译码层1、以具有15Hz的帧率和256KBPS的位速率的CIF译码层2、以具有7.5Hz的帧率和512KBPS的位速率的QCIF译码层3且以具有30Hz的帧率和每秒兆字节(MBPS)的位速率的4CIF译码层4。应理解，图4中所展示的层的特定数目、内容和布置仅是出于实例目的提供。

在任何状况下，一旦视频编码器(例如，视频编码器20)已以此可缩放方式编码内容，视频解码器(例如，视频解码器30)可使用提取器工具以根据应用要求(其可取决于(例如)客户端或发射信道)调适实际输送内容。

在SVC中，具有最低空间层和质量层的图片通常与H.264/AVC兼容。在图4的实例中，具有最低空间层和质量层的图片(层0和层1中的图片，具有QCIF分辨率)可与H.264/AVC兼容。其中，具有最低时间层级的那些图片形成时间基础层(层0)。此时间基础层(层0)可通过较高时间层级(层1)的图片来增强。

除H.264/AVC兼容层之外，还可添加若干空间和/或质量增强层以提供空间和/或质量可缩放性。每一空间或质量增强层自身可为时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。

一旦(例如)由视频解码器30或视频编码器20的重建构环路解码层中的每一者，将经解码层存储于DPB中。DPB为用于存储图片且在本发明的实例中当使用多层视频译码技术时为用于存储层或经解码图片的缓冲器或存储器。存储于DPB中的经解码层可用作帧间预测(包含运动补偿、视图间和层间预测)的参考以用于输出重排和输出延迟。在HEVC和其它视频译码标准中，常常相对于假想参考解码器(HRD)指定DPB的操作。视频编码器20和视频解码器30可经配置以管理DPB以执行各种动作，包含标记存储于DPB中的经解码图片为不用于参考(即，对于帧间预测过程，不能够用于参考图片)、标记经解码图片以用于输出(例如，输出到显示装置32)和标记图片以用于从DPB移除(也称为提升)。当图片不再需要为帧间预测的参考图片且不再需要输出时，通常从DPB移除(即，提升)图片。

无论是使用可缩放、多视图还是3D视频译码技术进行译码，不同层、纹理视图和/或深度视图可具有不同空间分辨率。即，不同层或视图的分量(例如，对应于图片或深度图的视图分量或层分量)可具有不同空间分辨率。在现存DPB管理技术中，针对每一视图或层单独地执行输出相关操作。此情况意味着对于每一视图，单独地进行标记以用于输出或移除(一个层/视图的)参考图片，但可应用约束条件或对准。

不失一般性地，在本发明中，一个存取单元的经解码层表示或经解码纹理/深度视图分量还被称作存取单元的经解码层分量。在涉及不同层中的多个空间分辨率的多层视频译码中(尤其为当应用多环路解码且其中可在解码过程期间完全重建构至少两个以上层时)，将需要将不同层的经解码层分量存储于经解码图片缓冲器中。

在SVC中，应用单环路解码，因此仅可完全重建构最高层且仅可需要存储每一存取单元中的最高层的经解码层分量。在用于MVC的现存技术中，虽然应用多个环路解码，但要求不同视图具有相同空间分辨率。因此，虽然需要存储每一存取单元中的多个经解码层分量，但其都具有相同分辨率。当前，不存在用于当需要存储具有不同分辨率的多个经解码层分量时的DPB管理的机制。

鉴于这些缺点，本发明描述用于当需要存储具有不同分辨率的多个经解码层分量时的DPB管理的各种机制和技术。

图5为说明可实施本发明中描述的用于DPB管理的技术的实例视频编码器20的框图。视频编码器20可经配置以根据任何视频编码技术编码视频数据，包含HEVC和H.264/AVC以及此类标准的可缩放、多视图和3D扩展。将参考HEVC解释图5的实例。在这点上，可将图5中所展示的视频编码环路应用于可缩放视频编码过程的每一层(即，基础层和增强层)、多视图视频译码过程的每一视图或3D视频译码过程的纹理和深度视图两者。

视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的压缩模式中的任一者。另外，视频编码器20可在不同视图或层之间执行视图间预测和/或层间预测，如上文所描述。

在图5的实例中，视频编码器20包含预测处理单元41、DPB 64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41包含运动和视差估计单元42、运动和视差补偿单元44，和帧内预测处理单元46。为进行视频块重建构，视频编码器20还包含反量化单元58、反变换处理单元60，和求和器62。还可包含解块滤波器(图5中未展示)以将块边界滤波，以从经重建构视频移除成块性假象。在需要时，解块滤波器将通常对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外环路滤波器(环路内或环路后)。

如图5中所展示，视频编码器20接收视频数据且可经配置以将所述数据分割成视频块。此分割还可包含分割成切片、图像块或其它较大单元，以及例如根据LCU和CU的四叉树结构的视频块分割。视频编码器20总体上说明编码待编码的视频切片内的视频块的组件。所述切片可划分成多个视频块(且可能划分成被称作图像块的视频块集合)。预测处理单元41可针对当前视频块基于误差结果(例如，译码速率和失真水平)而选择多个可能译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式或视图间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重建构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46可相对于与待译码当前块在相同帧或切片中的一或多个相邻块对当前视频块执行帧内预测性译码，以提供空间压缩。预测处理单元41内的运动和视差估计单元42以及运动和视差补偿单元44相对于一或多个参考图片、参考图片层和/或参考视图中的一或多个预测块对当前视频块执行帧间预测性译码和/或视图间译码以提供时间和视图间预测。

运动和视差估计单元42可经配置以根据视频序列的预定样式确定视频切片的帧间预测模式和/或视图间预测模式。预定样式可将序列中的视频切片指定为P切片或B切片。运动和视差估计单元42以及运动和视差补偿单元44可高度集成，但出于概念目的单独地说明。由运动和视差估计单元42所执行的运动估计为产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。由运动和视差估计单元42所执行的视差估计为产生可用于从不同视图中的块预测当前经译码块的视差运动向量的过程。

预测性块为发现在像素差方面紧密匹配待译码视频块的PU的块，像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于DPB 64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并输出具有分数像素精度的运动向量。

运动和视差估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算经帧间译码或视图间预测切片中的视频块的PU的运动向量(用于运动补偿预测)和/或视差向量(用于视差补偿预测)。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择参考图片，所述列表中的每一者识别存储于DPB 64中的一或多个参考图片。对于视图间预测，参考图片处于不同视图中。运动和视差估计单元42将所计算运动向量和/或视差向量发送到熵编码单元56和运动补偿单元44。

由运动和视差补偿单元44所执行的运动补偿和/或视差补偿可涉及基于通过运动估计和/或视差估计所确定的运动向量提取或产生预测性块，从而可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量和/或视差之后，运动和视差补偿单元44可在参考图片列表中的一者中定位所述运动向量和/或视差向量指向的预测性块。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成所述块的残余数据，且可包含明度和色度差分量两者。求和器50表示执行此减法运算的组件。运动和视差补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

作为由运动和视差估计单元42以及运动和视差补偿单元44所执行的帧间预测(如上文所描述)的替代方案，帧内预测处理单元46可帧内预测当前块。具体来说，帧内预测处理单元46可确定用于编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码编次期间使用各种帧内预测模式编码当前块，且帧内预测处理单元46(或在一些实例中为模式选择单元40)可从测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测处理单元46可使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并在经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测处理单元46可从用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在任何状况下，在选择块的帧内预测模式之后，帧内预测处理单元46可将指示块的所选择帧内预测模式的信息提供到熵译码单元56。熵译码单元56可根据本发明的技术编码指示所选择帧内预测模式的信息。视频编码器20在所发射位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(还被称作码字映射表)，用于各种块的编码上下文的定义，和用于上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表和经修改帧内预测模式索引表的指示。

在预测处理单元41经由帧间预测抑或帧内预测产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中并应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着对包含经量化变换系数的矩阵执行扫描。替代性地，熵编码单元56可执行扫描。

在量化后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后由视频解码器30发射或检索。熵编码单元56还可对正经译码当前视频切片的运动向量和其它语法元素进行熵编码。

反量化单元58和反变换处理单元60分别应用反量化和反变换以在像素域中重建构残余块以供稍后用作参考图片的参考块。视频编码器20的此部分有时被称为重建构环路且其有效地解码用作帧间预测中的参考图片的经编码视频块。经重建构图片存储于DPB 64中。

运动和视差补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动和视差补偿单元44还可将一或多个内插滤波器应用于经重建构残余块以计算用于运动估计的子整数像素值。求和器62将经重建构残余块添加到由运动补偿单元44所产生的运动补偿预测块以产生用于存储于DPB 64中的参考块。参考块可由运动和视差估计单元42以及运动和视差补偿单元44用作参考块以帧间预测后续视频帧或图片中的块。如下文将更详细地论述，视频编码器20可经配置以执行允许将处于不同分辨率的视频数据的多个层存储于DPB中并对其进行管理的本发明的DPB管理技术。

图6为说明可实施本发明中描述的DPB管理技术的实例视频解码器30的框图。在图6的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90和DPB 92。预测处理单元81包含运动和视差补偿单元82和帧内预测处理单元84。在一些实例中，视频解码器30可执行总体上与关于来自图5的视频编码器20所描述的编码遍次互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码来产生经量化係数、运动向量、视差向量和其它语法元素。熵解码单元80将运动向量、视差向量和其它语法元素转发到预测处理单元81。视频解码器30可接收在视频切片层级和/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片或经视图间预测切片时，预测处理单元81的运动和视差补偿单元82基于运动向量、视差向量和从熵解码单元80所接收的其它语法元素来产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于DPB 92中的参考图片使用默认建构技术来建构参考帧列表，列表0和列表1。

运动和视差补偿单元82通过解析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，并使用所述预测信息来产生正经解码当前视频块的预测性块。举例来说，运动和视差补偿单元82使用所接收语法元素中的一些来确定用以译码以下各者的预测模式(例如，帧内或帧间预测)：视频切片的视频块、帧间预测或视图间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量和/或视差向量、切片的每一经帧间译码视频块的帧间预测状态和用以解码当前视频切片中的视频块的其它信息。

运动和视差补偿单元82还可执行基于内插滤波器的内插。运动补偿单元82可使用如由视频编码器20在编码视频块期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

反量化单元86反量化(即,去量化)位流中所提供且由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块所计算的量化参数以确定应应用的量化程度且同样确定应应用的反量化程度。反变换处理单元88将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便产生像素域中的残余块。

在运动和视差补偿单元82基于运动向量和/或视差向量和其它语法元素产生当前视频块的预测性块之后，视频解码器30通过求和来自反变换处理单元88的残余块与由运动补偿单元82所产生的对应预测性块来形成经解码视频块。求和器90表示执行此求和运算的组件。在需要时，还可应用解块滤波器以对经解码块进行滤波，以便移除成块性假象。其它环路滤波器(译码环路中抑或译码环路之后)也可用于使像素转变变平滑或以其它方式改善视频质量。

接着将给定帧或图片中的经解码视频块存储于DPB 92中，所述DPB存储用于后续运动补偿的参考图片。如将在下文更详细地描述，视频解码器30可经配置以在将处于不同分辨率的视频数据的多个层存储于DPB中时执行用于DPB管理的本发明技术。DPB92也存储经解码视频以供呈现于显示装置(例如，图1的显示装置32)上。

视频译码器(例如，视频编码器20或视频解码器30)可经配置以执行用于DPB管理的以下技术的任何组合。一般来说，以下技术中的每一者展现以下特征。视频编码器20和/或视频解码器30可经配置以解码(例如，在视频编码器20的重建构环路中)视频数据以产生多个经解码层分量。视频编码器20和/或视频解码器30可经配置以将经解码层分量存储于DPB的一或多个子单元中。在此上下文中，DPB的“单元”为含有具有一些共用特性的经重建构或经解码视频数据的DPB的可单独定址区域。此外，DPB的子单元可被视为本身管理并处理为类似单独DPB的DPB的可单独定址区域。

视频编码器20和/或视频解码器30可进一步经配置以对一或多个子单元执行DPB管理过程，其中针对一或多个子单元中的每一者单独地管理DPB管理过程。DPB管理过程可包含从子单元移除经解码层分量和将子单元中的经解码层分量标记为不用于参考中的一或多者。以此方式，在一些实例中，可单独地管理具有不同特性(例如，空间分辨率、层类型)的经解码和/或经重建构层。

在本发明实例的其它实例中，视频编码器20和/或视频解码器30可经配置以通过对存取单元中的第一经解码层分量执行DPB管理过程，并对同一存取单元中的其它经解码层分量执行同一DPB管理过程来对一或多个子单元执行DPB管理过程。

在本发明的一个实例中，视频译码器可经配置以解码或重建构视频数据以产生多个经解码层分量并将经解码层分量存储于DPB的单一子单元中，使得DPB的单一子单元含有存取单元内的经完全重建构层的经解码层分量的并集。即，在此实例中，DPB仅由单一子单元组成。

在本发明的此实例中，DPB的单一子单元存储存取单元内的经完全重建构层的经解码层分量的并集。在一些实例中，经完全重建构层的经解码层分量的并集可为纹理视图分量与深度视图分量两者、多个纹理视图分量或基础层与一或多个增强层的并集。存取单元为在解码顺序上连续且含有一个经译码图片的网络抽象层(NAL)单元的集合。可由所有经解码层分量中的所有分量的样本数目总和确定DPB的单一子单元的大小。即，可基于存储于子单元中的所有经解码层分量的分辨率确定DPB的单一子单元的大小。以此方式，视频编码器20和/或视频解码器30可经配置以根据实际上经译码层的分辨率灵活地设定DPB的大小。

图7为展示经配置以存储存取单元内的所有经完全重建构层的经解码层分量的并集的DPB 700的概念图。子单元710A到710D中的每一者表示用于经解码层分量的并集的存储位置。视频译码器可进一步经配置以从DPB 700移除经解码层分量。在本发明的此实例中，从DPB移除特定经解码层分量(例如，移除纹理视图分量)也从DPB移除相关于经解码层分量的整个经解码存取单元(例如，也移除其它纹理视图分量和/或深度视图分量)。视频译码器可进一步经配置以将DPB中的经解码层分量标记为不用于参考。同样地，在此实例中，将特定经解码层分量(例如，纹理视图分量)标记为不用于参考也将相关于经解码层分量的整个经解码存取单元标记为不用于参考(例如，也标记其它纹理视图分量和/或深度视图分量)。

在本发明的另一实例中，视频译码器(例如，视频编码器20和/或视频解码器30)可经配置以解码视频数据以产生多个经解码层分量。在一些情况下，经解码层分量具有至少两个不同空间分辨率。视频译码器可进一步经配置以取决于经解码层分量的空间分辨率，将经解码层分量存储于经解码图片缓冲器(DPB)的多个子单元中的一者中。举例来说，多个子单元中的每一者与不同空间分辨率相关联。以此方式，视频译码器可经配置以基于其分辨率将经解码层分量(例如，纹理视图分量、深度视图分量、基础层、增强层等)存储于某些子单元中。以此方式，可单独地处理每一分辨率。

图8为展示经配置以将处于不同分辨率的经解码层分量存储于不同子单元中的DPB800的概念图。子单元810A到810D中的每一者表示用于处于不同分辨率的经解码层分量的存储位置。举例来说，子单元810A到810D中的每一者经指定以用于存储不同分辨率1到4。子单元810A到810D中的每一者含有经配置以存储与图片相关联的经解码层分量的单独单元。作为一个实例说明，图片的纹理视图分量可存储于对应于纹理视图分量的分辨率的子单元(例如，子单元810A)中，而同一图片的深度视图分量可存储于对应于深度视图分量的分辨率(通常较低)的不同子单元(例如，子单元810B)中。

视频译码器可进一步经配置以从多个子单元810A到810D移除经解码层分量。在本发明的此实例中，针对每一子单元单独地管理经解码层分量的移除。举例来说，从子单元810A移除纹理视图分量将并不移除具有不同分辨率的相关联深度视图分量(例如，存储于子单元810B中的相关联深度视图分量)。同样地，视频译码器可进一步经配置以将多个子单元中的经解码层分量标记为不用于参考，其中针对每一子单元单独地管理标记。

在另一实例中，视频译码器还可经配置以从多个子单元810A到810D中的一者移除经解码层分量，其中移除经解码层分量也从多个子单元810A到810D中的一者移除相关于经解码层分量的整个经解码存取单元。视频译码器可进一步经配置以将多个子单元中的一者中的经解码层分量标记为不用于参考，其中标记经解码层分量也将相关于经解码层分量的整个经解码存取单元标记为不用于参考。

虽然图8的实例中的实例子单元由空间分辨率分类，但本发明的其它实例可使用不同分类。举例来说，多个子单元中的每一者可与不同空间分辨率、色度取样格式、位深度或空间分辨率、色度取样格式和位深度的任何组合相关联。

在本发明的另一实例中，视频译码器可经配置以解码视频数据以产生多个经解码层分量。视频译码器可进一步经配置以将经解码层分量存储于多个子单元中的一者中，其中多个子单元中的每一者与不同经完全重建构层相关联。举例来说，对于3D视频译码，一个子单元可用于存储纹理视图分量而另一子单元可用于存储深度视图分量。由于纹理视图分量和深度视图分量通常具有不同分辨率，因此此技术允许独立管理处于不同分辨率的经解码层。即，类似于图8的实例，可单独地管理每一子单元。

图9为展示经配置以将不同经解码层分量存储于不同子单元中的DPB 900的概念图。子单元910A到910D中的每一者表示用于处于不同分辨率的不同类型经解码层分量的存储位置。举例来说，子单元910A可用于存储纹理视图分量而子单元910B可用于存储深度视图分量。类似地，子单元910C可用于存储可缩放视频译码过程中的基础层，而子单元910D可用于存储可缩放视频译码过程中的增强层的一个层级。额外子单元可经配置以存储增强层的额外层级或额外纹理视图分量。子单元910A到910D中的每一者含有经配置以存储与图片相关联的经解码层分量的单独单元。

视频译码器可进一步经配置以从多个子单元910A到910D移除经解码层分量，其中针对每一子单元单独地管理移除。视频译码器可进一步经配置以将多个子单元910A到910D中的经解码层分量标记为不用于参考，其中针对每一子单元单独地管理标记。视频译码器可进一步经配置以从多个子单元910A到910D中的一者移除经解码层分量，其中移除经解码层分量也从多个子单元910A到910D中的一者移除相关于经解码层分量的整个经解码存取单元。视频译码器可进一步经配置以将多个子单元910A到910D中的一者中的经解码层分量标记为不用于参考，其中标记经解码层分量也将相关于经解码层分量的整个经解码存取单元标记为不用于参考。

在本发明的另一实例中，视频译码器可经配置以解码视频数据以产生多个经解码层分量，并将经解码层分量存储于经解码图片缓冲器(DBP)的多个子单元中的一者中，使得DPB的每一子单元对应于具有最高空间分辨率的经解码层分量。即，DPB的每一子单元的大小经配置以等于具有最高分辨率的经解码层分量。不论经解码层分量的分辨率如何，DPB的多个子单元中的每一者可存储一个经解码层分量。

图10为展示经配置以存储经解码层分量的DPB 1000的概念图。子单元1010A到1010D中的每一者表示用于经解码层分量的存储位置，每一子单元的大小对应于具有最高分辨率的经解码层分量的空间分辨率。视频译码器可进一步经配置以从DPB 1000移除经解码层分量，其中移除经解码层分量也从DPB 1000移除相关于经解码层分量的整个经解码存取单元。视频译码器可进一步经配置以将DPB 1000中的经解码层分量标记为不用于参考，其中标记经解码层分量也将相关于经解码层分量的整个经解码存取单元标记为不用于参考。

总而言之，在本发明的第一实例中，DPB的单一子单元存储存取单元内的所有经完全重建构层的经解码层分量的并集。此第一实例可包含以下技术和/或结构中的一或多者：

-可由所有经解码层分量中的所有分量样本的数目总和确定DPB的单一子单元的大小。

-移除经解码图片包含移除整个经解码存取单元。

-将经解码图片标记为“不用于参考”包含将整个经解码存取单元标记为“不用于参考”。

在本发明的第二实例中，DPB可包含多个子单元，其中之每一者与不同空间分辨率相关联。单独地管理每一层的经解码层分量(包含标记和移除两者)。另外，在于一个特定层中调用用于存取单元的DPB管理过程期间，可将同一存取单元中的其它层的经解码层分量标记为“不用于参考”并从子单元移除那些经解码层分量。替代性地，另外，每一子单元可与空间分辨率、色度取样格式和位深度的不同组合相关联。

在本发明的第三实例中，DPB可经配置以包含多个子单元，其中的每一者与不同经完全重建构层相关联。单独地管理每一层的经解码层分量(包含标记和移除两者)。另外，在于一个特定层中调用用于存取单元的DPB管理过程期间，可将同一存取单元中的其它层的经解码层分量标记为“不用于参考”并从子单元移除那些经解码层分量。

在本发明的第四实例中，DPB中的每一子单元对应于层的具有最大分辨率的经解码层分量。不论经解码层分量的分辨率如何，每一子单元用于存储一个经解码层分量。另外，在于一个特定层中调用用于存取单元的DPB管理过程期间，可将同一存取单元中的其它层的经解码层分量标记为“不用于参考”并从DPB移除那些经解码层分量。

图11为展示根据本发明的技术的实例方法的流程图。可由视频编码器20和/或视频解码器30的一或多个功能性单元(包含(例如)DPB 64和DPB 92)执行图11的技术。

在本发明的一个实例中，视频编码器20和/或视频解码器30可经配置以解码视频数据以产生多个经解码层分量(1100)、将经解码层分量存储于DPB的一或多个子单元中(1110)并对一或多个子单元执行DPB管理过程，其中针对一或多个子单元中的每一者单独地管理DPB管理过程(1120)。在本发明的一个实例中，DPB管理过程包括以下各者中的一或多者：从子单元移除经解码层分量和将子单元中的经解码层分量标记为不用于参考。在本发明的另一实例中，视频编码器20和/或视频解码器30进一步经配置以对存取单元中的第一经解码层分量执行DPB管理过程，并对同一存取单元中的其它经解码层分量执行同一DPB管理过程。

在本发明的一个实例中，经解码层分量具有至少两个不同空间分辨率。在此实例中，视频编码器20和/或视频解码器30进一步经配置以基于经解码层分量的空间分辨率将经解码层分量存储于DPB的一或多个子单元中的一者中，其中一或多个子单元中的每一者与不同空间分辨率相关联。在另一个实例中，一或多个子单元中的每一者与空间分辨率、色度取样格式和位深度的特定组合相关联。

在本发明的另一实例中，经解码层分量具有至少两个不同空间分辨率，且一或多个子单元中的每一者与不同经完全重建构层相关联。

在本发明的另一实例中，视频编码器20和/或视频解码器30进一步经配置以将经解码层分量存储于DPB的子单元中的一或多者中的一者中，使得DPB的每一子单元对应于具有最高空间分辨率的经解码层分量。在一个实例中，DPB的一或多个子单元中的每一者存储一个经解码层分量。

在本发明的另一实例中，一或多个子单元包括单一子单元，且视频编码器20和/或视频解码器30进一步经配置以将经解码层分量存储于DPB的单一子单元中，使得DPB的单一子单元含有存取单元内的经完全重建构层的经解码层分量的并集。在另一个实例中，由所有经解码层分量中的所有分量样本的数目总和确定DPB的单一子单元的大小。

本发明的下一章节将描述用于本发明的第一实例技术的实例假想参考解码器(HRD)实施方案(例如，用于HEVC(包含可缩放、多视图和3D扩展))。即，以下章节适用于本发明的技术，借以DPB的单一子单元存储存取单元内的所有经完全重建构层的经解码层分量的并集。本说明书中所提到的条款和子条款是指上文所引用的HEVC WD9的附件C中的HRD规范。

4.1.1 HRD：假想参考解码器(实例#1)

A.1经解码图片缓冲器(DPB)的操作

此子条款中的规范独立地适用于如子条款C.1中所指定所选择的DPB参数的每一集合。

经解码图片缓冲器含有图片存储缓冲器。图片存储缓冲器中的每一者可含有标记为“用于参考”或保存为用于未来输出的经解码图片。在初始化之前，DPB是空的(DPB充满度设定为零)。此子条款的子条款的以下步骤以如下文所列举的序列发生。

图片存储缓冲器中的每一者含有存取单元的所有经解码层分量(在可缩放编解码器中还被称作层表示、在MV-HEVC中还被称作所有经解码视图分量或在3D-HEVC中还被称作所有经解码纹理和深度视图分量)。因此，每一经解码图片为经解码存取单元。图片存储缓冲器的存储器大小对应于所有存取单元当中要求最大缓冲器大小以用于将所有经解码层分量存储于经译码视频序列中的经解码存取单元。举例来说，如果不同存取单元具有不同数目个层分量，那么可需要最大缓冲器大小以用于存储所有存取单元当中各自具有最大数目个层分量的存取单元。

如果且仅当一或多个层分量被标记为“用于参考”时，将经解码图片标记为“用于参考”。

如果且仅当所有层分量被标记为“不用于参考”时，将经解码图片标记为“不用于参考”。

另外，约束条件可适用，如章节4.1.3中所描述。

替代性地：

如果且仅当具有layer_id的最高值的层分量标记为“用于参考”时，将经解码图片标记为“用于参考”。

如果且仅当具有layer_id的最高值的层分量标记为“不用于参考”时，将经解码图片标记为“不用于参考”。

另外，约束条件可适用，如章节4.1.3中所描述。

在同一存取单元的多个层分量可具有不同标记状态的状况下，在以类似于HEVC中的经解码图片图片标记过程的方式针对每一层分量应用经解码图片标记过程之后已知每一层分量的标记状态。

在一个替代方案中，也可共同标记多个层分量，在此状况下，针对整个存取单元调用类似于HEVC中的经解码图片标记过程的过程。

如果所有层分量具有等于IDR_W_DLP或IDR_N_LP的nal_unit_type，那么图片为瞬时解码器刷新(IDR)。

如果所有层分量具有等于BLA_W_LP、BLA_W_DLP或BLA_N_LP的nal_unit_type，那么图片为断链存取(BLA)。

当nal_unit_type具有16到23范围内(包含16与23)的值(随机存取图片(RAP))，那么对于基础层(其中layer_id等于0)，slice_type将等于2，但如果layer_id大于0那么其可等于其它值。

A.1.1从DPB移除图片

在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB移除图片在存取单元n(含有当前图片)的第一解码单元的CPB移除时间处瞬时发生且如下进行。

调用如子条款8.3.2中所指定的用于参考图片集的解码过程。

如果当前图片为IDR或BLA图片，那么以下内容适用：

当IDR或BLA图片并非经解码的第一图片且当前存取单元的任何层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值不同于当解码先前存取单元时所分别导出的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值时，不论no_output_of_prior_pics_flag的实际值如何，由HRD将no_output_of_prior_pics_flag推断为等于1。

当no_output_of_prior_pics_flag等于1或推断为等于1时，清空DPB中的所有图片存储缓冲器而不输出其含有的图片并将DPB充满度设定成0。

从DPB移除DPB中所有以下条件为真的所有图片k：

-图片k标记为“不用于参考”，

-图片k具有等于0的PicOutputFlag或其DPB输出时间小于或等于当前图片n的第一解码单元(标示为解码单元m)的CPB移除时间；即to,dpb(k)<＝tr(m)

当从DPB移除图片时，将DPB充满度递减一。

A.1.2图片输出

以下内容在存取单元n的CPB移除时间tr(n)处瞬时发生。

当图片n具有等于1的PicOutputFlag时，其DPB输出时间to,dpb(n)由以下等式导出

to,dpb(n)＝tr(n)+tc*pic_dpb_output_delay(n)      (C15)

其中pic_dpb_output_delay(n)为与存取单元n相关联的图片定时SEI消息中所指定的pic_dpb_output_delay的值。

如下指定当前图片的输出。

-如果PicOutputFlag等于1且to,dpb(n)＝tr(n)，那么输出当前图片。

-否则，如果PicOutputFlag等于0，那么并不输出当前图片但将其存储于如子条款C.3.4中所指定的DPB中。

-否则(PicOutputFlag等于1且to,dpb(n)>tr(n))，那么稍后输出当前图片且将其存储于DPB(如子条款C.3.4中所指定)中且除非由to,dpb(n)之前时间处进行的等于1的no_output_of_prior_pics_flag的解码或推断指示并不输出，否则在时间to,dpb(n)处输出当前图片。

当输出时，将使用有效序列参数集中所指定的一致性修剪窗修剪图片。

当图片n为输出图片且并非输出位流的最后图片时，将Dto,dpb(n)的值定义为如下：

Dto,dpb(n)＝to,dpb(nn)-to,dpb(n)        (C16)

其中nn指示在输出顺序上接着图片n的图片且其具有等于1的PicOutputFlag。

A.1.3当前经解码图片标记和存储

以下内容在存取单元n的CPB移除时间tr(n)处瞬时发生。

当前经解码图片存储于空的图片存储缓冲器中的DPB中，DPB充满度递增一且将当前图片标记为“用于短期参考”。

A.2位流一致性

子条款C.2中的规范适用。

A.3解码器一致性

A.3.1概述

C.5.1中的规范通过以下添加适用。

图片存储缓冲器中的每一者含有存取单元的所有经解码层分量(在可缩放编解码器中还被称作层表示、在MV-HEVC中还被称作所有经解码视图分量或在3D-HEVC中还被称作所有经解码纹理和深度视图分量)。因此，每一经解码图片为经解码存取单元。图片存储缓冲器的存储器大小对应于所有存取单元当中要求最大缓冲器大小以用于将所有经解码层分量存储于经译码视频序列中的经解码存取单元。举例来说，如果不同存取单元具有不同数目个层分量，那么可需要最大缓冲器大小以用于存储所有存取单元当中各自具有最大数目个层分量的存取单元。

以下内容为用于标记层分量的状态的一个替代方案的实例。如果且仅当一或多个层分量被标记为“用于参考”时，将经解码图片标记为“用于参考”。如果且仅当所有层分量被标记为“不用于参考”时，将经解码图片标记为“不用于参考”。另外，约束条件可适用，如章节4.1.3中所描述。

以下内容为用于标记层分量的状态的另一替代方案的实例。如果且仅当具有layer_id的最高值的层分量标记为“用于参考”时，将经解码图片标记为“用于参考”。如果且仅当具有layer_id的最高值的层分量标记为“不用于参考”时，将经解码图片标记为“不用于参考”。另外，约束条件可适用，如章节4.1.3中所描述。

如果所有层分量具有等于IDR_W_DLP或IDR_N_LP的nal_unit_type，那么图片为IDR。

如果所有层分量具有等于BLA_W_LP、BLA_W_DLP或BLA_N_LP的nal_unit_type，那么图片为BLA。

当nal_unit_type具有16到23范围内(包含16与23)的值(RAP图片)，那么对于基础层(其中layer_id等于0)，slice_type将等于2，但如果layer_id大于0那么其可等于其它值。

A.3.2输出顺序DPB的操作

经解码图片缓冲器含有图片存储缓冲器。图片存储缓冲器中的每一者含有标记为“用于参考”或保存为用于未来输出的经解码图片。在HRD初始化处，DPB为空。以下步骤以如下文所列举的顺序发生。

A.3.3从DPB输出并移除图片

在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB输出并移除图片在从CPB移除含有当前图片的存取单元的第一解码单元时瞬时发生且如下进行。

调用如子条款8.3.2中所指定的用于参考图片集的解码过程。

-如果当前图片为IDR或BLA图片，那么以下内容适用。

1.当IDR或BLA图片并非经解码的第一图片且当前存取单元的每一层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值不同于针对先前存取单元所分别导出的每一层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值时，不论no_output_of_prior_pics_flag的实际值如何，由HRD将no_output_of_prior_pics_flag推断为等于1。

注意-关于pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]中的改变，解码器实施方案应尝试比HRD较缓慢地处理图片或DPB大小改变。

2.当no_output_of_prior_pics_flag等于1或推断为等于1时，清空DPB中的所有图片存储缓冲器而不输出其含有的图片。

3.当no_output_of_prior_pics_flag不等于1且并不推断为等于1时，清空含有标记为“不需要用于输出”和“不用于参考”的图片的图片存储缓冲器(而不输出)，且通过反复调用子条款C.5.3.1中所指定的“提升”过程来清空DPB中的所有非空图片存储缓冲器。

-否则(当前图片并非IDR或BLA图片)，清空含有标记为“不需要用于输出”和“不用于参考”的图片的图片存储缓冲器(而不输出)。当以下条件中的一或多者为真时，反复调用子条款C.5.3.1中所指定的“提升”过程直到存在用以存储当前经解码图片的空图片存储缓冲器为止。

1. DPB中标记为“需要用于输出”的图片数目大于sps_max_num_reorder_pics[HighestTid]，

2. DPB中的图片数目等于sps_max_dec_pic_buffering[HighestTid]。

应注意，可在由当前存取单元参考的序列参数集抑或有效视频参数集中用信号通知存取单元的每一层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]。

A.3.3.1“提升”过程

在以下状况中调用“提升”过程。

-当前图片为IDR或BLA图片且no_output_of_prior_pics_flag不等于1且并不推断为等于1，如子条款C.5.2中所指定。

-DPB中标记为“需要用于输出”的图片数目大于sps_max_num_reorder_pics[TemporalId]，如子条款C.5.2中所指定。

-DPB中TemporalId小于或等于当前图片的TemporalId的图片数目等于sps_max_dec_pic_buffering[TemporalId]，如子条款C.5.2中所指定。

“提升”过程由以下有序步骤组成：

1.将首先用于输出的图片选择为标记为“需要用于输出”的DPB中具有所有图片中的最小PicOrderCntVal值的一个图片。

2.使用图片的有效序列参数集中所指定的修剪矩形修剪图片，输出经修剪图片并将图片标记为“不需要用于输出”。

3.如果包含经修剪且输出图片的图片存储缓冲器含有标记为“不用于参考”的图片，那么清空图片存储缓冲器。

A.3.4图片解码、标记和存储

以下内容在从CPB移除含有当前图片的存取单元n的最后解码单元时瞬时发生。

将当前图片视为在解码图片的最后解码单元之后经解码。将当前经解码图片存储于DPB中的空图片存储缓冲器中且以下内容适用。

-如果当前经解码图片具有等于1的PicOutputFlag，那么将其标记为“需要用于输出”。

-否则(当前经解码图片具有等于0的PicOutputFlag)，将其标记为“不需要用于输出”。

将当前经解码图片标记为“用于短期参考”。

4.1.2附件A中的最大明度图片大小：概况、层次和层级

如表A1中所指定的MaxLumaPS可对应于存取单元中的每一层的明度图片大小(AUMaxLumaPS)的最大总和。

替代性地，HEVC基本规范中的同一层级值可用于指示扩展，其中一个层要求同一层级。在此状况下，以下两个方面可适用：

-MaxLumaPS对应于可缩放扩展中的最高层或多视图或3DV扩展中具有最高空间分辨率的纹理视图的最大明度图片大小；

-基于AUMaxLumaPS/MaxLumaPS引入并计算比例因子并在导出(例如)DPB大小和其它层级相关约束条件时考虑所述比例因子。

如上文所提到，比例因子可导出为所有层分量的样本数目总和除以一个层分量的最大样本数目。替代性地，可通过考虑明度和色度分量两者的色度取样格式和位深度值计算比例因子。

各种方法可用于定义可相关于比例因子的DPB大小。

在一个方法中，“DPB大小”指示物理存储器大小，且因此比例因子按比例缩小可存储的图片数目。

替代性地，在不同方法中，“DPB大小”指示可存储多少AU，因此比例因子按比例放大物理存储器大小(相比于仅具有基础层)。

4.1.3用于标记层分量参考图片集的状态的约束条件

替代方案#1

在HEVC的可缩放扩展中，如下约束每一层的参考图片集(排除解码同一存取单元期间所产生的图片)：

每一层分量i的RPS(标示为RPSi)为任何RPSj的超集，其中(同一存取单元的)层分量j具有较小layer_id，此情况意味着包含于RPSj中的任何图片识别(POC)也将包含于RPSi中。

替代性地，每一层分量的RPS应相同。在此状况下，仅RPS的基于AU用信号通知需要用于帧间预测参考。可以仅基础层分量含有RPS语法元素的方式进行基于AU的用信号通知。替代性地，可以仅每一独立层分量含有RPS语法元素的方式进行基于AU的用信号通知。

应注意，参考图片集包含RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetStFoll。

类似地，在MV-HEVC中，如下约束每一视图分量的参考图片集(排除解码同一存取单元期间所产生的参考图片)：

层分量i的RPS(标示为RPSi)为任何RPSj的超集，其中(同一存取单元的)层分量j具有较小layer_id，此情况意味着RPSi中的任何图片识别(POC)将并不包含于RPSj中。

替代性地，每一层分量的RPS应相同。在此状况下，仅RPS的基于AU用信号通知需要用于帧间预测参考。可以仅基础层分量含有RPS语法元素的方式进行基于AU的用信号通知。替代性地，可以仅每一独立层分量含有RPS语法元素的方式进行基于AU的用信号通知。

在3D-HEVC中，以下约束条件可适用：

每一纹理视图分量i的RPS(标示为RPSi)为任何RPSj的超集，其中(同一存取单元的)纹理视图分量j具有较小layer_id。

每一深度视图分量ⅰ的RPS(标示为RPSi)为任何RPSj的超集，其中(同一存取单元的)深度视图分量j具有较小layer_id。

纹理视图分量的RPS(标示为RPSt)为RPSd(同一视图的深度视图分量的RPS)的超集。

替代性地，不管视图分量是纹理还是深度，层分量i的RPS(标示为RPSi)为任何RPSj的超集，其中(同一存取单元的)层分量j具有较小layer_id。

替代方案#2

同一存取单元的所有层分量共用同一RPS。

举例来说，每一层分量的RPS应相同。另外，替代性地，仅RPS的基于AU用信号通知需要用于帧间预测参考。可以仅基础层分量含有RPS语法元素的方式进行基于AU的用信号通知。替代性地，可以仅每一独立层分量含有RPS语法元素的方式进行基于AU的用信号通知。

本发明的下一章节将描述用于本发明的第二实例技术的另一实例假想参考解码器(HRD)实施方案(例如，用于HEVC(包含可缩放、多视图和3D扩展))。即，以下章节适用于本发明的技术，借以DPB由多个子DPB组成，每一子DPB与不同空间分辨率相关联且单独地管理每一层的经解码层分量。本说明书中所提到的条款和子条款是指上文所引用的HEVC WD9的附件C中的HRD规范。

4.2.1 HRD：假想参考解码器(实例#2)

A.4经解码图片缓冲器(DPB)的操作

此子条款中的规范独立地适用于如子条款C.1中所指定所选择的DPB参数的每一集合。

经解码图片缓冲器含有图片存储缓冲器。图片存储缓冲器中的每一者可含有标记为“用于参考”或保存为用于未来输出的经解码层分量。

经解码图片缓冲器由一或多个子经解码图片缓冲器(SDPB)组成，每一SDPB与不同空间分辨率相关联。在初始化之前，每一SDPB为空(SDPB充满度设定成零)。

此子条款的子条款的以下步骤以如下文所列举的序列发生并以解码顺序每次针对一个层反复调用所述步骤，且在调用期间，“DPB”替换为“SDPB”且“经解码图片”替换为“经解码层分量”。

如果所有层分量具有等于IDR_W_DLP或IDR_N_LP的nal_unit_type，那么图片为IDR。

如果所有层分量具有等于BLA_W_LP、BLA_W_DLP或BLA_N_LP的nal_unit_type，那么图片为BLA。

当nal_unit_type具有16到23范围内(包含16与23)的值(RAP图片)，那么对于基础层(其中layer_id等于0)，slice_type将等于2，但如果layer_id大于0那么其可等于其它值。

A.4.1从DPB移除图片

在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB移除图片在存取单元n(含有当前图片)的第一解码单元的CPB移除时间处瞬时发生且如下进行。

调用如子条款8.3.2中所指定的用于参考图片集的解码过程。

如果当前图片为IDR或BLA图片，那么以下内容适用：

1.当IDR或BLA图片并非经解码的第一图片且当前存取单元的任何层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值不同于当解码先前存取单元时所分别导出的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值时，不论no_output_of_prior_pics_flag的实际值如何，由HRD将no_output_of_prior_pics_flag推断为等于1。

注意-关于pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering[i]中的改变，解码器实施方案应尝试比HRD较缓慢地处理图片或DPB大小改变。

2.当no_output_of_prior_pics_flag等于1或推断为等于1时，清空DPB中的所有图片存储缓冲器而不输出其含有的图片并将DPB充满度设定成0。

从DPB移除DPB中所有以下条件为真的所有图片k：

-图片k标记为“不用于参考”，

-图片k具有等于0的PicOutputFlag或其DPB输出时间小于或等于当前图片n的第一解码单元(标示为解码单元m)的CPB移除时间；即to,dpb(k)<＝tr(m)

当从DPB移除图片时，将DPB充满度递减一。

A.4.2图片输出

以下内容在存取单元n的CPB移除时间tr(n)处瞬时发生。

当图片n具有等于1的PicOutputFlag时，其DPB输出时间to,dpb(n)由以下等式导出

to,dpb(n)＝tr(n)+tc*pic_dpb_output_delay(n)      (C15)

其中pic_dpb_output_delay(n)为与存取单元n相关联的图片定时SEI消息中所指定的pic_dpb_output_delay的值。

如下指定当前图片的输出。

-如果PicOutputFlag等于1且to,dpb(n)＝tr(n)，那么输出当前图片。

-否则，如果PicOutputFlag等于0，那么并不输出当前图片但将其存储于如子条款C.3.4中所指定的DPB中。

-否则(PicOutputFlag等于1且to,dpb(n)>tr(n))，那么稍后输出当前图片且将其存储于DPB(如子条款C.3.4中所指定)中且除非由to,dpb(n)之前时间处进行的等于1的no_output_of_prior_pics_flag的解码或推断指示并不输出，否则在时间to,dpb(n)处输出当前图片。

当输出时，将使用有效序列参数集中所指定的一致性修剪窗修剪图片。

当图片n为输出图片且并非输出位流的最后图片时，将Dto,dpb(n)的值定义为如下：

Dto,dpb(n)＝to,dpb(nn)-to,dpb(n)        (C16)

其中nn指示在输出顺序上接着图片n的图片且其具有等于1的PicOutputFlag。

A.4.3当前经解码图片标记和存储

以下内容在存取单元n的CPB移除时间tr(n)处瞬时发生。

当前经解码图片存储于空的图片存储缓冲器中的DPB中，DPB充满度递增一且将当前图片标记为“用于短期参考”。

A.5位流一致性

子条款C.2中的规范适用。

A.6解码器一致性

A.6.1.概述

C.5.1中的规范通过以下添加适用。

经解码图片缓冲器含有图片存储缓冲器。图片存储缓冲器中的每一者可含有标记为“用于参考”或保存为用于未来输出的经解码层分量。

经解码图片缓冲器可包含一或多个子经解码图片缓冲器(SDPB)，每一SDPB与不同空间分辨率相关联。在初始化之前，每一SDPB为空(SDPB充满度设定成零)。

此子条款的子条款的以下步骤以如下文所列举的序列发生并以解码顺序每次针对一个层反复调用所述步骤，且在调用期间，“DPB”替换为“SDPB”且“经解码图片”替换为“经解码层分量”。

如果图片为具有等于IDR_W_DLP或IDR_N_LP的nal_unit_type的层分量，那么图片为IDR。

如果图片为具有等于BLA_W_LP、BLA_W_DLP或BLA_N_LP的nal_unit_type的层分量，那么图片为BLA。

当nal_unit_type具有16到23范围内(包含16与23)的值(RAP图片)，那么对于基础层(其中layer_id等于0)，slice_type将等于2，但如果layer_id大于0那么其可等于其它值。

A.6.2输出顺序DPB的操作

经解码图片缓冲器含有图片存储缓冲器。图片存储缓冲器中的每一者含有标记为“用于参考”或保存为用于未来输出的经解码图片。在HRD初始化处，DPB为空。以下步骤以如下文所列举的顺序发生。

A.6.3从DPB输出并移除图片

在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB输出并移除图片在从CPB移除含有当前图片的存取单元的第一解码单元时瞬时发生且如下进行。

调用如子条款8.3.2中所指定的用于参考图片集的解码过程。

-如果当前图片为IDR或BLA图片，那么以下内容适用。

1.当IDR或BLA图片并非经解码的第一图片且当前存取单元的每一层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值不同于针对先前存取单元所分别导出的每一层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]的值时，不论no_output_of_prior_pics_flag的实际值如何，由HRD将no_output_of_prior_pics_flag推断为等于1。

2.当no_output_of_prior_pics_flag等于1或推断为等于1时，清空DPB中的所有图片存储缓冲器而不输出其含有的图片。

3.当no_output_of_prior_pics_flag不等于1且并不推断为等于1时，清空含有标记为“不需要用于输出”和“不用于参考”的图片的图片存储缓冲器(而不输出)，且通过反复调用子条款C.5.3.1中所指定的“提升”过程来清空DPB中的所有非空图片存储缓冲器。

-否则(当前图片并非IDR或BLA图片)，清空含有标记为“不需要用于输出”和“不用于参考”的图片的图片存储缓冲器(而不输出)。当以下条件中的一或多者为真时，反复调用子条款C.5.3.1中所指定的“提升”过程直到存在用以存储当前经解码图片的空图片存储缓冲器为止。

3. DPB中标记为“需要用于输出”的图片数目大于sps_max_num_reorder_pics[HighestTid]，

4. DPB中的图片数目等于sps_max_dec_pic_buffering[HighestTid]。

应注意，可在由当前存取单元参考的序列参数集抑或有效视频参数集中用信号通知存取单元的每一层的pic_width_in_luma_samples或pic_height_in_luma_samples或sps_max_dec_pic_buffering[HighestTid]。

A.6.3.1“提升”过程

在以下状况中调用“提升”过程。

-当前图片为IDR或BLA图片且no_output_of_prior_pics_flag不等于1且并不推断为等于1，如子条款C.5.2中所指定。

-DPB中标记为“需要用于输出”的图片数目大于sps_max_num_reorder_pics[TemporalId]，如子条款C.5.2中所指定。

-DPB中TemporalId小于或等于当前图片的TemporalId的图片数目等于sps_max_dec_pic_buffering[TemporalId]，如子条款C.5.2中所指定。

“提升”过程可包含以下有序步骤：

1.将首先用于输出的图片选择为标记为“需要用于输出”的DPB中具有所有图片中的最小PicOrderCntVal值的一个图片。

2.使用图片的有效序列参数集中所指定的修剪矩形修剪图片，输出经修剪图片并将图片标记为“不需要用于输出”。

3.如果包含经修剪且输出图片的图片存储缓冲器含有标记为“不用于参考”的图片，那么清空图片存储缓冲器。

A.6.4图片解码、标记和存储

以下内容在从CPB移除含有当前图片的存取单元n的最后解码单元时瞬时发生。

将当前图片视为在解码图片的最后解码单元之后经解码。将当前经解码图片存储于DPB中的空图片存储缓冲器中且以下内容适用。

-如果当前经解码图片具有等于1的PicOutputFlag，那么将其标记为“需要用于输出”。

-否则(当前经解码图片具有等于0的PicOutputFlag)，将其标记为“不需要用于输出”。

将当前经解码图片标记为“用于短期参考”。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么功能可作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上予以发射，并由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体总体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存存储器或可用来存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘用激光光学地复制数据。上文的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能性方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，各种单元可结合合适软件和/或固件组合于编码解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些和其它实例属于以下权利要求书的范围内。

Claims (28)

1.一种译码视频数据的方法，所述方法包括：

解码视频数据以产生多个经解码层分量；

将所述经解码层分量存储于经解码图片缓冲器DPB的一或多个子单元中；和

对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

2.根据权利要求1所述的方法，其中所述DPB管理过程包括以下各者中的一或多者：从所述子单元移除所述多个经解码层分量中的经解码层分量，和将所述子单元中的所述多个经解码层分量中的经解码层分量标记为不用于参考。

3.根据权利要求2所述的方法，其中对所述一或多个子单元执行所述DPB管理过程包括：

对存取单元中的第一经解码层分量执行所述DPB管理过程；和

对所述存取单元中的其它经解码层分量执行所述DPB管理过程。

4.根据权利要求1所述的方法，其中所述经解码层分量具有至少两个不同空间分辨率，且其中将所述经解码层分量存储于所述DPB的一或多个子单元中包括基于所述经解码层分量的所述空间分辨率将所述经解码层分量存储于所述DPB的所述一或多个子单元中的一者中，其中所述一或多个子单元中的每一者与不同空间分辨率相关联。

5.根据权利要求4所述的方法，其中所述一或多个子单元中的每一者与空间分辨率、色度取样格式和位深度的特定组合相关联。

6.根据权利要求1所述的方法，其中所述经解码层分量具有至少两个不同空间分辨率，且其中所述一或多个子单元中的每一者与不同经完全重建构层相关联。

7.根据权利要求1所述的方法，其中将所述经解码层分量存储于所述DPB的一或多个子单元中包括将所述经解码层分量存储于所述DPB的子单元中的所述一或多者中的一者中，使得所述DPB的每一子单元对应于具有最高空间分辨率的所述经解码层分量。

8.根据权利要求7所述的方法，其中所述DPB的所述一或多个子单元中的每一者存储一个经解码层分量。

9.根据权利要求1所述的方法，其中所述一或多个子单元包括单一子单元，且其中将所述经解码层分量存储于所述DPB的一或多个子单元中包括将所述经解码层分量存储于所述DPB的所述单一子单元中，使得所述DPB的所述单一子单元含有存取单元内的经完全重建构层的经解码层分量的并集。

10.根据权利要求9所述的方法，其中由所有经解码层分量中的所有分量样本的数目总和确定所述DPB的所述单一子单元的大小。

11.一种经配置以译码视频数据的设备，所述设备包括：

视频译码器，其经配置以：

解码视频数据以产生多个经解码层分量；

将所述经解码层分量存储于经解码图片缓冲器DPB的一或多个子单元中；和

对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

12.根据权利要求11所述的设备，其中所述DPB管理过程包括以下各者中的一或多者：从所述子单元移除所述多个经解码层分量中的经解码层分量，和将所述子单元中的所述多个经解码层分量中的经解码层分量标记为不用于参考。

13.根据权利要求12所述的设备，其中所述视频译码器进一步经配置以：

对存取单元中的第一经解码层分量执行所述DPB管理过程；和

对所述存取单元中的其它经解码层分量执行所述DPB管理过程。

14.根据权利要求11所述的设备，其中所述经解码层分量具有至少两个不同空间分辨率，且其中所述视频译码器进一步经配置以基于所述经解码层分量的所述空间分辨率将所述经解码层分量存储于所述DPB的所述一或多个子单元中的一者中，其中所述一或多个子单元中的每一者与不同空间分辨率相关联。

15.根据权利要求14所述的设备，其中所述一或多个子单元中的每一者与空间分辨率、色度取样格式和位深度的特定组合相关联。

16.根据权利要求11所述的设备，其中所述经解码层分量具有至少两个不同空间分辨率，且其中所述一或多个子单元中的每一者与不同经完全重建构层相关联。

17.根据权利要求11所述的设备，其中所述视频译码器进一步经配置以将所述经解码层分量存储于所述DPB的子单元中的所述一或多者中的一者中，使得所述DPB的每一子单元对应于具有最高空间分辨率的所述经解码层分量。

18.根据权利要求17所述的设备，其中所述DPB的所述一或多个子单元中的每一者存储一个经解码层分量。

19.根据权利要求11所述的设备，其中所述一或多个子单元包括单一子单元，且其中所述视频译码器进一步经配置以将所述经解码层分量存储于所述DPB的所述单一子单元中，使得所述DPB的所述单一子单元含有存取单元内的经完全重建构层的经解码层分量的并集。

20.根据权利要求19所述的设备，其中由所有经解码层分量中的所有分量样本的数目总和确定所述DPB的所述单一子单元的大小。

21.一种经配置以译码视频数据的设备，所述设备包括：

用于解码视频数据以产生多个经解码层分量的装置；

用于将所述经解码层分量存储于经解码图片缓冲器DPB的一或多个子单元中的装置；和

用于对所述一或多个子单元执行DPB管理过程的装置，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

22.根据权利要求21所述的设备，其中所述DPB管理过程包括以下各者中的一或多者：

从所述子单元移除所述多个经解码层分量中的经解码层分量，和将所述子单元中的所述多个经解码层分量中的经解码层分量标记为不用于参考。

23.根据权利要求22所述的设备，其中所述用于对所述一或多个子单元执行所述DPB管理过程的装置包括：

用于对存取单元中的第一经解码层分量执行所述DPB管理过程的装置；和

用于对所述存取单元中的其它经解码层分量执行所述DPB管理过程的装置。

24.根据权利要求21所述的设备，其中所述经解码层分量具有至少两个不同空间分辨率，且其中所述用于将所述经解码层分量存储于所述DPB的一或多个子单元中的装置包括用于基于所述经解码层分量的所述空间分辨率将所述经解码层分量存储于所述DPB的所述一或多个子单元中的一者中的装置，其中所述一或多个子单元中的每一者与不同空间分辨率相关联。

25.一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以译码视频数据的装置的一或多个处理器进行如下操作：

解码视频数据以产生多个经解码层分量；

将所述经解码层分量存储于经解码图片缓冲器DPB的一或多个子单元中；和

对所述一或多个子单元执行DPB管理过程，其中针对所述一或多个子单元中的每一者单独地管理所述DPB管理过程。

26.根据权利要求25所述的计算机可读存储媒体，其中所述DPB管理过程包括以下各者中的一或多者：从所述子单元移除所述多个经解码层分量中的经解码层分量，和将所述子单元中的所述多个经解码层分量中的经解码层分量标记为不用于参考。

27.根据权利要求26所述的计算机可读存储媒体，其中所述指令进一步致使所述一或多个处理器进行如下操作：

对存取单元中的第一经解码层分量执行所述DPB管理过程；和

对所述存取单元中的其它经解码层分量执行所述DPB管理过程。

28.根据权利要求25所述的计算机可读存储媒体，其中所述经解码层分量具有至少两个不同空间分辨率，且其中所述指令进一步致使所述一或多个处理器基于所述经解码层分量的所述空间分辨率将所述经解码层分量存储于所述DPB的所述一或多个子单元中的一者中，其中所述一或多个子单元中的每一者与不同空间分辨率相关联。