CN105409220A - 用于视频译码的经解码图片缓冲器操作 - Google Patents

Abstract

本发明提供一种解码视频数据的方法，其包括将经解码图片缓冲器DPB分割成多个子DPB，接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示，及基于所述至少一个指示分配用于所述多个子DPB的存储器空间。

Description

用于视频译码的经解码图片缓冲器操作

本申请案主张2013年7月15日申请的第61/846,576号美国临时专利申请案的权益，其整个内容以引用的方式并入本文中。

技术领域

本发明涉及用于视频译码的技术，且更特定来说涉及用于多层视频译码的技术。

背景技术

数字视频能力可并入到广泛多种装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)、高效率视频译码(HEVC)标准及此类标准的扩展定义的标准中所描述的技术，以便更有效地发射、接收并存储数字视频信息。

前述标准中的一些的扩展(包含H.264/AVC)提供用于多层视频译码的技术。多层视频译码技术可包含可缩放视频译码技术、多视图视频译码技术及多视图加上深度视频译码技术。为了产生立体或三维(“3D”)视频，举例来说，已提出用于AVC的多视图译码技术以及可缩放视频译码(SVC)标准(其为H.264/AVC的可缩放扩展)及多视图视频译码(MVC)标准(其已变成H.264/AVC的多视图扩展)。

发明内容

一般来说，本发明描述用于多层视频译码的技术。具体来说，本发明涉及用于多层视频译码的经解码图片缓冲器(DPB)管理。

在本发明的一个实例中，一种解码视频数据的方法包括将经解码图片缓冲器(DPB)分割成多个子DPB，及接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

在本发明的另一实例中，一种经配置以解码视频数据的设备包括经配置以存储视频数据的DPB及视频解码器，其经配置以将所述DPB分割成多个子DPB，及接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

在本发明的另一实例中，一种经配置以解码视频数据的设备包括用于将DPB分割成多个子DPB的装置，及用于接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示的装置。

在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在经执行时致使经配置以解码视频数据的装置的一或多个处理器将DPB分割成多个子DPB，及接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

在本发明的另一实例中，一种编码视频数据的方法包括重建构多个不同层类型的多个图片；将所述多个图片存储于DPB中，其中所述DPB被分割成多个子DPB；及产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

在本发明的另一实例中，一种经配置以编码视频数据的设备包括经配置以存储视频数据的DBP及视频编码器，其经配置以重建构多个不同层类型的多个图片；将所述多个图片存储于所述DPB中，其中所述DPB被分割成多个子DPB；及产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

在本发明的另一实例中，一种经配置以编码视频数据的设备包括用于重建构多个不同层类型的多个图片的装置；用于将所述多个图片存储于DPB中的装置，其中所述DPB被分割成多个子DPB；及用于产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示的装置。

在另一实例中，本发明描述一种存储指令的计算机可读媒体，所述指令在经执行时致使经配置以编码视频数据的装置的一或多个处理器重建构多个不同层类型的多个图片；将所述多个层图片存储于DPB中，其中所述DPB被分割成多个子DPB；及产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

附图及下文描述中阐述一或多个实例的细节。其它特征、目标及优势将从所述描述及图式以及权利要求书而显而易见。

附图说明

图1为说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。

图2为说明实例多视图解码次序的概念图。

图3为说明用于多视图译码的实例预测结构的概念图。

图4为说明实例可缩放视频译码层的概念图。

图5为展示根据本发明的实例的实例DPB的概念图。

图6为说明可实施本发明中描述的技术的实例视频编码器的框图。

图7为说明可实施本发明中描述的技术的实例视频解码器的框图。

图8为展示根据本发明的技术的实例编码方法的流程图。

图9为展示根据本发明的技术的实例解码方法的流程图。

具体实施方式

一般来说，本发明描述用于在多层视频译码中管理经解码图片缓冲器(DPB)的技术。具体来说，本发明描述用于管理DPB的子单元(也被称为子DPB)的各种技术。如将在下文更详细地描述，在本发明的不同实例中，DBP可被分割成多个子DPB，且每一子DPB可经配置以保存一种类型的经解码视频数据层的图片。

在本发明的上下文中，层可为可缩放视频译码过程中的基础层或一或多个增强层。实例可缩放视频译码过程包含H.264/SVC(可缩放视频译码)及高效率视频译码(HEVC)标准的可缩放扩展(例如，可缩放HEVC(SHVC))。另外，层可指多视图或3D视频译码中的一或多个纹理视图。另外，3D视频译码中的深度视图也可被视为层。作为另一实例，层可对应于包含纹理视图分量及深度视图分量两者的单一视图。实例多视图译码过程包含H.264/MVC(多视图译码)及HEVC标准的多视图扩展(例如，多视图HEVC(MV-HEVC))。

因此，术语“层”在本发明中一般用以在可缩放视频译码的意义上指基础及/或增强层，或在3D及多视图视频译码的意义上用以指纹理视图及/或深度视图。因此，术语多层视频译码一般是指可缩放视频译码技术、多视图视频译码技术及3D视频译码技术，包含多视图加上深度译码。本发明的技术可适用于任何此类视频译码情境，包含HEVC及/或H.264/AVC的多视图扩展、3D视频扩展及可缩放扩展。

下文所描述的技术可应用于基于高级编解码器的可缩放、多视图及3D视频译码技术，包含译码具有深度图的图片的两个或两个以上视图。视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual及ITU-TH.264(也被称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。另外，已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发新视频译码标准，亦即，高效率视频译码(HEVC)。HEVC标准描述于ITU-TH.265(序列H：视听及多媒体系统，视听服务的基础结构——移动视频译码，“高效率视频译码”，2013年4月)中(在下文中称“HEVC”)。

已提出对HEVC的各种扩展。一个此类扩展为描述于“高效率视频译码(HEVC)范围扩展文本规范：草案4”(JCTVC-N1005_v1，2013年4月(下文中称“JCTVC-N1005”))中的HEVC范围扩展。标题为“高效率视频译码(HEVC)可缩放扩展草案3”的可缩放HEVC(SHVC)标准的最近工作草案(WD)(ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日至8月2日，且在下文中被称作SHVCWD3)可自http://phenix.it-sudparis.eu/jct/doc_end_user/ documents/14_Vienna/wg11/JCTVC-N1008-v3.zip获得。对HEVC的多视图扩展(亦即，MV-HEVC)也由JCT-3V开发。MV-HEVC的一个工作草案(在下文中称WD4)可自http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v3.zip获得。标题为“MV-HEVC草案文本8”的MV-HEVC的最新工作草案(ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的3D视频译码扩展联合合作小组，第8次会议：西班牙巴伦西亚，2014年3月29日至4月4日)可自http://phenix.it-sudparis.eu/jct3v/doc_end_user/documents/8_Valencia/wg11/JCT3V-H0002-v1.zip获得。

图1为说明可利用本发明中描述的用于多层视频译码中的经解码图片缓冲器管理的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生在稍后时间待由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，可装备源装置12及目的地装置14以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

替代性地，可将经编码数据从输出接口22输出到存储装置34。类似地，可由输入接口从存储装置34接入经编码数据。存储装置34可包含多种分布式或本地接入的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适数字存储媒体。在另一实例中，存储装置34可对应于可保存由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置34经由流式传输或下载来接入所存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型服务器。实例文件服务器包含万维网服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来接入经编码视频数据。此连接可包含适于接入存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置34的发射可为流式传输发射、下载发射或两者的组合。

用于多层视频解码中的经解码图片缓冲器管理的本发明技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、编码数字视频以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播及/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前所俘获视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合的源。作为一个实例，如果视频源18为摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。

可由视频编码器20编码所俘获、预俘获或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可(或替代性地)将经编码视频数据存储到存储装置34上以供稍后由目的地装置14或其它装置接入以用于解码及/或重放。

目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器在解码视频数据时使用。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置32可与目的地装置14集成或在所述目的地装置外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据例如高效率视频译码(HEVC)标准的视频压缩标准操作，且可符合HEVC测试模型(HM)。具体来说，在一些实例中，视频编码器20及视频解码器可根据支持可缩放、多视图及/或多视图加上深度视频译码的HEVC的扩展操作。在其它实例中，视频编码器20及视频解码器30可根据其它专有或行业标准来操作，例如ITU-TH.264标准(替代性地被称为MPEG-4第10部分)、高级视频译码(AVC)或此类标准的扩展(包含H.264/SVC)。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。具体来说，根据本发明的技术，视频编码器20及视频解码器30可根据能够可缩放(例如，SHVC)及/或多视图编码(例如，MV-HEVC)的视频译码标准操作。

尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用，则多路复用器-多路分用器单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。

视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。

本发明的以下章节将提供HEVC标准的背景。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-TH.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成包含明度及色度样本两者的树块(也被称为译码树块(CTB)或最大译码单元(LCU))序列。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的若干连续树块。视频帧或图片可被分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点并分裂成另外四个子节点。最后未经分裂子节点(作为四叉树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，且还可定义译码节点的最小大小。

CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小一般对应于译码节点的大小，且通常必须为正方形形状。CU的大小范围可从8×8像素到具有最大64×64像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可被分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述将CU根据四叉树分割成一或多个TU。TU可为正方形或非正方形形状。

HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU所定义的给定CU内的PU的大小而确定，但情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

一般来说，PU包含与预测过程相关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或可由预测方向指示的运动向量的参考图片列表(例如，列表0、列表1或列表C)。

一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可根据PU从由译码节点所识别的视频块计算残余值。接着更新译码节点以参考残余值而非原始视频块。残余值包括像素差值，所述像素差值可使用TU中所指定的变换及其它变换信息被变换为变换系数、经量化且经扫描以产生串行化变换系数以用于熵译码。可再次更新译码节点以参考这些串行化变换系数。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即，CTB、LCU或CU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且根据指定译码标准可在大小上有所不同。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2N×2N，则HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上方”、“下方”、“左侧”或“右侧”的指示来指示。因此，举例来说，“2N×nU”是指经水平分割的2N×2NCU，其中顶部为2N×0.5NPU且底部为2N×1.5NPU。

在本发明中，“N×N”与“N乘N”可互换使用来指在垂直及水平尺寸方面的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算应用由CU的TU所指定的变换的残余数据。残余数据可对应于未经编码图片的像素与对应于CU的预测值之间的像素差。视频编码器20可形成用于CU的残余数据且接着变换残余数据以产生变换系数。

在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化一般指对变换系数进行量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍去成m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20也可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构使得相对较短码对应于更有可能符号，而较长码对应于不太可能符号。以此方式，使用VLC可达成优于(例如)针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指派到符号的上下文。

当前还在JCT-3V及JCT-VC中开发HEVC扩展。在JCT-3V中，正开发两个多视图相关HEVC扩展：多视图扩展(MV-HEVC)及3D视频扩展(3D-HEVC)。另外，正开发两个AVC扩展：MVC+D及3D-AVC。

进行中标准的实例版本列举为如下：

-T.铃木、M.M.汉努克塞拉、陈颖、S.哈托利、G.沙利文的“包含深度图的MVC扩展草案文本6”，JCT3V-C1001，ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组，第4次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1001-v3.zip处。

-M.M.汉努克塞拉、陈颖、T.铃木、J.-R.欧姆(J.-R.Ohm)、G.沙利文的“3D-AVC草案文本8”，JCT3V-F1002，ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组，第6次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1002-v3.zip处。

-JCT3V-F1004，“MV-HEVC草案文本6”，G.泰克、K.韦格纳、陈颖、M.汉努克塞拉，ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组，第6次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zip处。

-格哈德·泰克(GerhardTech)、克日什托夫·韦格纳(KrzysztofWegner)、陈颖、斯胡·伊恩(SehoonYea)的“3D-HEVC草案文本2”，JCT3V-F1001，ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组，第6次会议，可得于http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2处。

现将论述H.264/高级视频译码(AVC)标准的扩展的多视图视频译码技术。然而，本发明的技术可与支持新出现的HEVC标准的多视图译码及/或3D译码多视图提议(例如，MV-HEVC及3D-HEVC)的任何视频译码标准一起适用。

多视图视频译码(MVC)为H.264/AVC的扩展。图2中展示典型MVC解码次序(即，位流次序)。解码次序布置被称为时间优先译码。应注意，接入单元的解码次序可不相同于接入单元的输出次序或显示次序。在图2中，S0到S7各自是指多视图视频的不同视图。T1到T9各自表示一个输出时间例项。接入单元可包含针对一个输出时间例项的所有视图的经译码图片。举例来说，第一接入单元可包含针对时间例项T1的所有视图S0到S7，第二接入单元可包含针对时间例项T2的所有视图S0到S7等等。

出于简洁目的，本发明可使用以下定义：

视图分量：单一接入单元中的视图的经译码表示。当视图包含经译码纹理表示及深度表示两者时，视图分量可包含纹理视图分量及深度视图分量。

纹理视图分量：单一接入单元中的视图的纹理的经译码表示。

深度视图分量：单一接入单元中的视图的深度的经译码表示。

如上文所论述，在本发明的上下文中，视图分量、纹理视图分量及深度视图分量中的每一者可一般被称作层。在图2中，所述视图中的每一者包含图片集合。举例来说，视图S0包含图片集合0、8、16、24、32、40、48、56及64，视图S1包含图片集合1、9、17、25、33、41、49、57及65等等。每一集合包含两种类型的图片：一个图片被称作纹理视图分量，且另一图片被称作深度视图分量。视图的图片集合内的纹理视图分量及深度视图分量可被视为对应于彼此。举例来说，视图的图片集合内的纹理视图分量被视为对应于视图的图片集合内的深度视图分量，且反过来也一样(即，深度视图分量对应于其集合中的纹理视图分量，且反过来也一样)。如本发明中所使用，对应于深度视图分量的纹理视图分量可被视为单一接入单元中相同于深度分量的视图的部分。

纹理视图分量包含所显示的实际图像内容。举例来说，所述纹理视图分量可包含明度(Y)及色度(Cb及Cr)分量。深度视图分量可指示深度视图分量的对应纹理视图分量中的像素的相对深度。作为一个实例，深度视图分量为仅包含明度值的灰阶图像。换句话说，深度视图分量可并不传达任何图像内容，而是提供对应纹理视图分量中的像素的相对深度测量。

举例来说，深度视图分量中的纯白色像素指示对应纹理视图分量中的其对应像素较接近于检视者的视角，且深度视图分量中的纯黑色像素指示对应纹理视图分量中的其对应像素距检视者的视角较远。黑色与白色之间的各种灰度指示不同深度层级，使得深度视图中的像素的灰度变暗指示与纹理视图中的对应像素相关联的深度层级增加。举例来说，深度视图分量中的深灰色像素指示纹理视图分量中的其对应像素比深度视图分量中的浅灰色像素更远。因为仅需要灰阶来识别像素的深度，所以深度视图分量不需要包含色度分量，这是由于深度视图分量的色彩值可能不服务于任何目的。

深度视图分量仅使用明度值(例如，强度值)来识别深度是出于说明目的提供，且不应被视为限制性的。在其它实例中，可利用任何技术来指示纹理视图分量中的像素的相对深度。

图3中展示用于多视图视频译码的典型MVC预测结构(包含每一视图内的图片间预测及视图间预测两者)。预测方向由箭头指示，箭头指向的对象使用箭头出发的对象作为预测参考。在MVC中，通过视差运动补偿支持视图间预测，所述视差运动补偿使用H.264/AVC运动补偿的语法但允许将不同视图中的图片用作参考图片。

在图3的实例中，说明八个视图(具有视图ID“S0”到“S7”)，且对于每一视图说明十二个时间位置(“T0”到“T11”)。即，图3中的每一行对应于视图，而每一列指示时间位置。

尽管MVC具有可由H.264/AVC解码器解码的所谓的基础视图，且MVC还可支持立体视图对，但MVC的优势在于其可支持使用两个以上视图作为3D视频输入且解码由多个视图表示的此3D视频的实例。具有MVC解码器的客户端的显现器可预期具有多个视图的3D视频内容。

在每一行及每一列的相交处指示图3中的图片。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。

使用包含字母的块来说明图3中的图片，字母指定对应图片是经帧内译码(即，I图片)，还是在一个方向上经帧间译码(即，作为P图片)，还是在多个方向上经帧间译码(即，作为B图片)。一般来说，预测由箭头指示，其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说，时间位置T0处的视图S2的P图片是从时间位置T0处的视图S0的I图片预测的。

如同单一视图视频编码，可相对于不同时间位置处的图片预测性地编码多视图视频译码视频序列的图片。举例来说，时间位置T1处的视图S0的b图片具有从时间位置T0处的视图S0的I图片指向其的箭头，从而指示所述b图片是从所述I图片预测的。然而，另外，在多视图视频编码的上下文中，图片可经视图间预测。也就是说，视图分量可使用其它视图中的视图分量用于参考。举例来说，在MVC中，如同另一视图中的视图分量为帧间预测参考而实现视图间预测。潜在视图间参考在序列参数集(SPS)MVC扩展中用信号通知且可通过参考图片列表建构过程加以修改，所述参考图片列表建构过程实现帧间预测或视图间预测参考的灵活排序。视图间预测也是包含3D-HEVC(多视图加上深度)的HEVC的所提出多视图扩展的特征。

图3提供视图间预测的各种实例。在图3的实例中，视图S1的图片说明为是从视图S1的不同时间位置处的图片预测，以及是从相同时间位置处的视图S0及S2的图片经视图间预测。举例来说，时间位置T1处的视图S1的b图片是从时间位置T0及T2处的视图S1的B图片中的每一者以及时间位置T1处的视图S0及S2的b图片预测。

在一些实例中，图3可被看作说明纹理视图分量。举例来说，图3中所说明的I、P、B及b图片可被视为视图中的每一者的纹理视图分量。根据本发明中描述的技术，对于图3中所说明的纹理视图分量中的每一者，存在对应深度视图分量。在一些实例中，可以类似于图3中针对对应纹理视图分量所说明的方式预测深度视图分量。

也可由MVC支持两个视图的译码。MVC的优势中的一者为MVC编码器可将两个以上视图当作3D视频输入且MVC解码器可解码此多视图表示。因而，具有MVC解码器的任何显现器可解码具有两个以上视图的3D视频内容。

如上文所论述，在MVC中，允许在相同接入单元中(在一些情况下意味着具有相同时间例项)的图片当中进行视图间预测。当译码非基础视图中的一者中的图片时，如果图片处于不同视图中但在相同时间例项内，则可将所述图片添加到参考图片列表。可将视图间预测参考图片放置在参考图片列表的任何位置中，正如任何帧间预测参考图片一般。如图3中所展示，视图分量可出于参考目的使用其它视图中的视图分量。在MVC中，如同另一视图中的视图分量为帧间预测参考而实现视图间预测。

如图3中所展示，视图分量可出于参考目的使用其它视图中的视图分量。此情况被称为视图间预测。在MVC中，如同另一视图中的视图分量为帧间预测参考而实现视图间预测。然而，潜在视图间参考在序列参数集(SPS)MVC扩展(如表1中所展示)中用信号通知且可通过参考图片列表建构过程加以修改，所述参考图片列表建构过程实现帧间预测或视图间预测参考的灵活排序。

表1-SPSMVC扩展语法表

在SPSMVC扩展中，对于每一视图，用信号通知可用于形成参考图片列表0及参考图片列表1的视图数目。如在SPSMVC扩展中用信号通知的用于锚定图片的预测关系可与用于同一视图的非锚定图片(在SPSMVC扩展中用信号通知)的预测关系不同。

下一章节将论述关于HEVC的多视图及3D视频译码。具体来说，当译码两个或两个以上视图时本发明的实例技术可适用。用于每一视图，多个视频图片可被称为纹理视图分量。对于3D-HEVC，每一纹理视图分量可具有对应深度视图分量。MV-HEVC并不使用深度视图分量。纹理视图分量包含视频内容(例如，像素值的明度及色度分量)，且深度视图分量可指示纹理视图分量内的像素的相对深度。

本发明的实例技术涉及通过译码纹理数据或纹理数据及深度数据来译码3D视频数据。一般来说，术语“纹理”用以描述图像的明度(即，亮度或“明度”)值及图像的色度(即，色彩或“色度”)值。在一些实例中，纹理图像可包含用于蓝色调(Cb)及红色调(Cr)的一个明度数据集合及两个色度数据集合。在例如4:2:2或4:2:0的某些色度格式中，相对于明度数据对色度数据下取样。也就是说，色度分量的空间分辨率低于对应明度分量的空间分辨率，例如为明度分辨率的二分之一或四分之一。

深度数据一般描述对应纹理数据的深度值。举例来说，深度图像可包含各自描述对应纹理数据的深度的深度像素集合。深度数据可用以确定对应纹理数据的水平视差。因此，接收纹理及深度数据的装置可显示一个视图(例如，左眼视图)的第一纹理图像，且通过使第一图像的像素值偏移基于深度值所确定的水平视差值而使用深度数据修改第一纹理图像以产生另一视图(例如，右眼视图)的第二纹理图像。一般来说，水平视差(或简称“视差”)描述第一视图中的像素与第二视图中的对应像素的水平空间偏移，其中所述两个像素对应于如于所述两个视图中表示的相同对象的相同部分。

在又其它实例中，可针对垂直于图像平面的z维度中的像素定义深度数据，使得与给定像素相关联的深度是相对于针对所述图像所定义的零视差平面而定义。此深度可用以产生用于显示像素的水平视差，使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。零视差平面可针对视频序列的不同部分改变，且也可改变相对于零视差平面的深度量。可针对左眼与右眼类似地定义位于零视差平面上的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如，具有水平视差)，以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以呈现轻微深度感觉，或可对于左眼与右眼显示于不同位置中(例如，具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用于传达或定义图像的深度数据。

对于深度视图分量中的每一像素，纹理视图分量中可存在一或多个对应像素。举例来说，如果深度视图分量与纹理视图分量的空间分辨率相同，则深度视图分量中的每一像素对应于纹理视图分量中的一个像素。如果深度视图分量的空间分辨率小于纹理视图分量的空间分辨率，则深度视图分量中的每一像素对应于纹理视图分量中的多个像素。深度视图分量中的像素的值可指示纹理视图中的对应一或多个像素的相对深度。

在一些实例中，视频编码器用信号通知纹理视图分量的视频数据及用于视图中的每一者的对应深度视图分量。视频解码器利用纹理视图分量及深度视图分量两者的视频数据来解码视图的视频内容以供显示。显示器接着显示多视图视频以产生3D视频。

也由JCT-VC开发HEVC的可缩放扩展。图4为说明可缩放视频译码的一个实例的概念图。虽然关于H.264/AVC及SVC描述图4，但应理解可使用包含HEVC的可缩放扩展的其它多层视频译码方案来译码类似层。图4的实例展示使用相同编解码器译码的层。在其它实例中，可使用多标准编解码器译码层。举例来说，可使用H.264/AVC译码基础层而可使用HEVC的可缩放扩展译码增强层。因此，一般来说，下文对SVC的参考可适用于可缩放视频译码且并不限于H.264/SVC。

在SVC中，可在包含(例如)空间、时间及质量(表示为位速率或信噪比(SNR))维度的三个维度中实现可缩放性。一般来说，可通常通过添加到任何维度上的表示来达成较好表示。举例来说，在图4的实例中，以具有7.5Hz的帧速率及每秒64千字节(KBPS)的位速率的四分之一通用影像传输格式(QCIF)译码层0。另外，以具有15Hz的帧速率及64KBPS的位速率的QCIF译码层1、以具有15Hz的帧速率及256KBPS的位速率的CIF译码层2、以具有7.5Hz的帧速率及512KBPS的位速率的QCIF译码层3且以具有30Hz的帧速率及每秒兆字节(MBPS)的位速率的4CIF译码层4。应理解，图4中所展示的层的特定数目、内容及布置仅是出于实例目的提供。

在任何情况下，一旦视频编码器(例如，视频编码器20)已以此可缩放方式编码内容，视频解码器(例如，视频解码器30)可使用提取器工具以根据应用要求(其可取决于(例如)客户端或发射信道)调适实际输送内容。

在SVC中，具有最低空间层及质量层的图片通常与H.264/AVC兼容。在图4的实例中，具有最低空间层及质量层的图片(例如，层0及层1中的图片，具有QCIF分辨率)可与H.264/AVC兼容。其中，具有最低时间层级的那些图片形成时间基础层(例如，层0)。此时间基础层(例如，层0)可通过较高时间层级(例如，层1)的图片来增强。

除H.264/AVC兼容层之外，还可添加若干空间及/或质量增强层以提供空间及/或质量可缩放性。每一空间或质量增强层自身可为时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。

如上文所描述，术语“层”一般在本发明中用于在可缩放视频译码的意义上指个别基础层或个别增强层，或在3D及多视图视频译码的意义上指纹理视图及/或深度视图。一旦(例如)由视频解码器30或视频编码器20的重建构回路解码层(例如，MV-HEVC层或SHVC层)中的每一者的图片，将经解码层的图片存储于DPB中。DPB为用于存储图片(且在本发明内为当使用多层视频译码技术时的经解码层的图片)的缓冲器或存储器。存储于DPB中的经解码层的图片可用作帧间预测参考(包含运动补偿、视图间及层间预测)以用于输出重排及输出延迟。

根据本发明的各种实例，DPB可被分割成子单元(例如，称为子DPB)。每一子DPB可接着经配置以存储特定层类型的图片(或更一般来说为图片信息)。举例来说，DPB可经分割，使得一个子DPB经配置以存储可缩放视频译码过程的基础层的图片。另一子DPB可经配置以存储可缩放视频译码过程的第一增强层的图片。又一子DPB可经配置以存储可缩放视频译码过程的第二增强层的图片等等。

图5为展示经配置以将不同经解码层分量(例如，不同层类型的图片)存储于不同子单元中的DPB900的概念图。DPB900可形成视频解码器及/或视频编码器(例如，视频编码器20及视频解码器30)的部分。子DPB910A到910D中的每一者表示不同类型的经解码层的图片的存储位置。举例来说，子DPB910A可经配置以存储MV-HEVC兼容视频位流的基础视图的一或多个纹理图片，而子DPB910B可用于存储MV-HEVC兼容视频位流的相依视图的纹理图片。类似地，子DPB910C可用于存储可缩放视频译码过程(例如，SHVC)中的基础层的图片，而子DPB910D可用于存储可缩放视频译码过程中的增强层的一个图片层级。额外子DPB可经配置以存储增强层的额外图片层级或额外纹理相依视图的图片。子DPB910A到910D中的每一者含有经配置以存储与子DPB相关联的特定层类型的经解码层的一或多个图片的单独单元。

视频解码器30可进一步经配置以从多个子DPB910A到910D移除经解码层的图片。在一些实例中，可单独地管理从每一给定子DPB(例如，子DPB910A)的图片移除。在其它实例中，可基于操作点从一或多个子DPB移除图片。对于待输出的特定图片，特定操作点与待解码的特定层数目相关联。举例来说，对于SHVC，一个操作点可仅要求解码基础层的一图片。在SHVC的另一操作点中，可解码基础层的一图片及一或多个增强层的多个图片以产生输出图片。在要求基础层的一图片及一或多个增强层的多个图片两者的操作点中，可针对用于所述操作点的每一子DPB(即，存储用于待输出图片的层的图片的每一子DPB)执行图片移除。也就是说，可同时从其相应子DPB移除与给定操作点相关联的基础层的一图片及一或多个增强层的对应图片。

视频编码器20及视频解码器30可进一步经配置以将经解码层分量(例如，层的图片)标记为不用于参考或用于在多个子DPB910A到910D中参考。同样，可针对每一子DPB单独地执行将图片标记为不用于参考的过程。也就是说，视频编码器20及视频解码器30可经配置以独立地对多个子DPB中的每一者中的图片执行标记过程，其中标记过程将图片标记为用于参考或将图片标记为不用于参考。在另一实例中，可针对存储相关于特定操作点的特定层数目的图片的所有子DPB执行标记过程。

在HEVC及其它视频译码标准中，常常相关于假想参考解码器(HRD)指定DPB900的操作。视频编码器20及视频解码器30可经配置以管理DPB900以执行各种动作，包含将存储于DPB900中的经解码图片标记为“不用于参考”(即，不能够在帧间预测过程中用作参考图片)、标记解码图片以用于输出(例如，输出到显示装置32)及标记经解码图片以用于从DPB900移除(也称为“提升”)。当图片不再需要为帧间预测的参考图片且不再需要输出时，通常从DPB900移除(即，提升)图片。

通过定义HRD的行为指定位流的一致性。DPB900可被视为HRD的组件。如上文所描述，DPB900可实施为经配置以存储视频编码器(例如，视频编码器20)中的经重建构图片或视频解码器(例如，视频解码器30)中的经解码图片的一或多个存储器单元。在SHVC及MV-HEVC的一些提议中，未清晰指定DPB操作，但简单假设具有相同输出时间的所有图片在相同时刻处到达DPB900(即，存储于DPB900中)。基于如何定义HRD参数确定从DPB900的图片输出。

举例来说，可出于输出次序一致性定义HRD参数。作为一个实例，可由其值指定针对特定层呈现的图片数目的一或多个语法元素指定经解码层图片的输出次序。作为另一实例，出于输出时间一致性，可由其值指示图片输出时间的一或多个语法元素指定输出时间。视频解码器30可经配置以从经编码视频位流中用信号通知的参数值导出HRD设定。可以数据格式结构(例如，称为hrd_parameters())用信号通知HRD参数。实例参数可包含缓冲周期补充增强信息(SEI)消息及图片定时SEI消息。在一些实例中，也可定义子图片解码SEI消息。在一些实例中，出现DPB900中的图片输出，使得与相同输出时间相关联的所有图片在相同时刻处输出。在本发明的实例中，在每一子DPB与相同输出时间相关联的情况下，不同子DPB中的图片可同时输出。

在HEVC的一些实例提议中，在序列参数集(SPS)及/或视频参数集(VPS)中的一或多者中用信号通知涉及DPB操作的参数。SPS为含有适用于如由图片参数集合(PPS)及/或切片标头中发现的语法元素的值指示的零或零个以上整个经译码视频序列(CVS)的语法元素的语法结构。VPS为含有适用于如由SPS、PPS及/或切片标头中发现的语法元素的值确定的零或零个以上整个CVS的语法元素的语法结构。一般来说，相比SPS中用信号通知的语法元素适用的图片数目，VPS中用信号通知的语法元素将适用于较大数目个图片。CVS为由按解码次序的含有随机接入图片的接入单元(AU)接着并不包含随机接入图片的零或零个以上其它AU组成的接入单元序列。接入单元为在解码次序上连续且恰好含有一个经译码图片的网络抽象层(NAL)单元的集合。

涉及DPB操作的实例语法元素包含(但不限于)可各自在SPS及/或VPS中用信号通知的max_dec_pic_buffering_minus1语法元素、max_num_reorder_pics语法元素及max_latency_increase_plus1语法元素。max_dec_pic_buffering_minus1语法元素的值指定以图片缓冲器为单位的用于CVS的最大要求DPB大小。也就是说，DPB或子DPB可被分割成一或多个图片缓冲器，其中每一图片缓冲器存储图片(例如，经解码层图片)。在一些实例中，max_dec_pic_buffering_minus1的值限于0到某一预定最大DPB大小的范围。max_num_reorder_pics语法元素的值指定可在解码次序上先于CVS中的任何图片及在输出次序上接着所述相同图片的最大允许图片数目。max_latency_increase_plus1语法元素的值当不等于零时用于确定可在输出次序上先于CVS中的任何图片及在解码次序上接着所述相同图片的最大图片数目。

举例来说，如果sub_layer_ordering_info_present_flag的值等于1，则HEVC的一些实例提议允许针对每一子层用信号通知前述DPB参数。子层为时间可缩放位流的时间可缩放层(例如，SHVC位流的基础层或增强层)。根据本实例提议，当允许子层信号通知时，仅用信号通知语法元素(即，max_dec_pic_buffering_minus1语法元素、max_num_reorder_pics语法元素及max_latency_increase_plus1语法元素)中的每一者的一个值，并推断(即，在并未接收到明确信号通知的情况下确定)这些语法元素中的每一者的经信号通知值对于所有时间子层相同。否则，当不允许子层信号通知(例如，语法元素sub_layer_ordering_info_present_flag的值等于0)时，针对每一子层明确地用信号通知DPB语法元素的值。下文表2中以斜体字突出显示这些参数在SPS中的用信号通知。类似信号通知可用于VPS中。

表2-SPS中的DPB参数

在HEVC的初始版本(有时称为HEVC1)中，仅存在单一层(例如，如由具有等于0的值的语法元素nuh_layer_id指示)，且因此经解码层集与所输出层集相同。在多层视频译码(例如SHVC或MV-HEVC)的上下文中，层集与输出层集数目未必相同，这是由于可并不针对每一操作点全部输出层集的总数目。也就是说，SHVC操作点常常包含解码基础层及一或多个增强层。类似地，MV-HEVC操作点常常包含解码两个或两个以上视图。然而，并非所有层或视图可用于输出给定图片。鉴于此特征，本发明提议在VPS中用信号通知DPB及/或子DPB大小，这是由于DPB大小为跨层性质。也就是说，一起解码及输出的层数目可要求不同DPB大小。由于在VPS层级处用信号通知一或多个操作点所需要的层集，因此也可通过在VPS层级处用信号通知用于一或多个操作点的子DPB大小的至少一个指示来达成信号通知效率。由于针对操作点用信号通知子DPB大小的指示，因此在较低层级语法结构(例如，SPS、PPS或切片标头)处用信号通知此指示可带来子DPB大小的冗余信号通知，这是由于用于操作点的层集仅在VPS层级处改变。

现将论述用于从DPB移除图片的技术。HEVC的实例技术涉及指定从DPB的图片移除的两种方式。其包含基于图片的DPB移除过程及基于AU的DPB移除过程。在基于图片的DPB移除过程中，可在不同时间处个别地移除一个AU中的图片。在基于AU的DPB移除图片中，同时移除AU中的所有图片。SHVC及MV-HEVC的当前DPB移除操作提议并未清晰指定如何移除图片。

MV-HEVC及SHVC的当前DPB信号通知及操作提议展现以下问题。首先，并未清晰指定DPB操作的许多方面，尤其考虑到在多层视频译码过程中鉴于多种不同可能操作点DPB操作可能存在不同要求的情况。

此外，多层译码过程中的当前DPB操作提议是以特定层方式定义，对于所有操作点此方式可不灵活且欠佳。举例来说，在DPB操作的一些提议中，可仅针对相同层或相同AU中的图片将图片标记为“不用于参考”。作为另一实例，在MV-HEVC的一个提议的提升过程中，视频解码器需要确定用于经信号通知的当前层的经解码图片大小，且可仅将提升过程应用于当前经解码图片的相同层中的图片。

作为另一缺点，当前在SPS中用信号通知DPB大小。然而，由于DPB大小可特定针对于一定操作点，因此在SPS中用信号通知DPB大小是重复且低效的。在一些实例中，在VPS层级处定义操作点。如上文所描述，本发明的技术包含用信号通知用于一或多个操作点的子DPB大小的至少一个指示。由于在VPS层级处定义用于操作点的层集，因此如果在较低层级语法结构(例如，SPS中)用信号通知子DPB大小的指示，则对于VPS中所定义的每一层集将多次用信号通知子DPB大小的相同指示。因而，在此实例中，如果在低于VPS的层级处用信号通知此指示，则用于操作点的子DPB大小的指示的信号通知可冗余。

作为又一缺点，多层视频译码中的当前DPB操作提议并不区分具有不同空间分辨率、位深度及色彩格式的图片。此情况可是低效的，这是由于此情况通常要求视频解码器的设计者分配每一图片存储缓冲器的大小以便支持最坏情况情形(即，每一图片缓冲器必须足够大以存储具有最大可能大小的图片)。

此外，H.264/SVC使用单一回路译码且仅使用单一DPB。H.264/MVC利用多回路译码，但仍使用单一DPB以存储所有层的图片。一般来说，先前多层译码技术并不包含DPB管理信号通知及操作以处置分割成经配置以存储不同层类型的子DPB的DPB。

鉴于这些缺点，本发明提议用于在多层视频译码过程中用信号通知并执行DPB操作的系统、方法及技术。具体来说，本发明的各种实例涉及用于对分割成子DPB的DPB执行DPB操作的系统、方法及技术，每一子DPB经配置以存储一种类型的层的图片，如上文参考图5所描述。

如将在下文更详细地描述，本发明的各种实例技术包含用信号通知及/或一般指示用于多层视频译码过程的每一操作点的至少一个子DPB大小。本发明的实例技术也包含用于每操作点的子DPB操作的技术。通过使用本发明的技术，可更有效地处置多层视频译码过程中的DPB管理。具体来说，用信号通知及/或推断子DPB大小而非对于所有子DPB使用最大可能容量可允许更有效地分配存储器空间。

根据下文所描述的实例，视频编码器20及视频解码器30可经配置以执行提供机制以支持多层视频译码过程中的子DPB层级DPB操作的技术。本发明的实例技术包含用于(例如)通过产生并用信号通知一或多个语法元素来指示用于多层视频译码过程的各种操作点的子DPB大小的技术。

在本发明的一个实例中，视频编码器20可经配置以产生其相应值指示子DPB的相应大小的语法元素。在特定实例中，视频编码器20可经配置以产生指示待由视频解码器30用于多层视频译码过程的每一操作点的相应子DPB大小的至少一个语法元素。视频解码器30可经配置以接收由视频编码器20产生的至少一个子DPB大小语法元素，并根据子DBP大小语法元素的值针对用于给定操作点的每一子DPB分配存储器空间。

如上文参考图5所描述，DPB可被分割成多个子DPB，每一子DPB经配置以存储特定类型的层的图片。举例来说，一个子DPB可经配置以存储可缩放视频译码过程(例如，SHVC)的基础层的图片，且另一子DPB可经配置以存储可缩放视频译码过程的第一层级的增强层的图片。额外子DPB可经分割以存储额外层级的增强层图片的图片。同样地，一个子DPB可经配置以存储多视图视频译码过程(例如，MV-HEVC)的基础视图的图片，且另一子DPB可经配置以存储多视图视图译码过程的参考视图的图片。额外子DPB可经分割以存储额外参考视图的图片。

在本发明的其它实例中，视频解码器30可经配置以将DPB分割成经配置以根据其它准则存储图片的子DPB。举例来说，视频解码器30可将DPB分割成多个子DPB，其中每一子DPB经配置以保存具有相同色彩格式、分辨率或位深度的图片。举例来说，视频解码器30可经配置以通过层类型将DPB分割成子DBP，即，其中每一子DPB对应于多个层类型中的一者。为此，视频解码器30可经配置以通过空间分辨率、位深度或色彩格式中的至少一者确定层类型。空间分辨率、位深度及/或色彩格式可由经编码视频位流中所接收的语法元素的值指示。空间分辨率、位深度及/或色彩格式的所接收的语法元素可用于导出识别经配置以存储由视频解码器30所确定的特定层类型的特定子DPB的索引。

在本发明的一个实例中，视频编码器20经配置以根据特定子DPB允许存储的图片数目产生其值指示子DPB的大小的至少一个语法元素。也就是说，视频编码器20产生指示每一子DPB需要多少图片缓冲器的至少一个语法元素。在一个实例中，语法元素的值可直接指示图片缓冲器数目。在另一实例中，语法元素的值可为包含其值指示图片缓冲器数目的多个项目的查找表的索引。在其它实例中，视频编码器20可产生指示每一子DPB需要多少存储器(例如，以兆字节为单位)的语法元素。

在本发明的特定实例中，视频编码器20经配置以产生其值指示子DPB的大小的至少一个语法元素并在VPS中用信号通知所述至少语法元素。在本发明的一个实例中，视频编码器20可产生用于每一操作点的每一子DPB的相应语法元素。在本发明的另一实例中，视频编码器20可产生其值由一或多个子DPB共用的一或多个子DBP大小语法元素。

视频编码器20可进一步经配置以产生其值指示每一子DPB支持的子DPB大小数目的用于包含在VPS中的至少一个语法元素。也就是说，视频编码器20可产生指示用于每一子DPB的不同子DPB大小的总数目的至少一个语法元素以及指示那些大小内容的一或多个语法元素。以此方式，视频编码器20可进一步包含充当子DPB大小中的特定一者的索引的用于每一操作点的语法元素。同样，如上文所描述，多层视频译码过程中的操作点指示待解码并输出多少层。也就是说，操作点识别时间子集(即，待译码的层集)以产生输出层集(即，待输出的图片)。

在本发明的另一实例中，视频编码器20可经配置以使用用于用信号通知指示用于每一操作点的子DPB大小的语法元素的预测技术。也就是说，对于一些VPS，视频编码器20可经配置以明确地用信号通知用于每一操作点的子DPB大小。也就是说，语法元素的值直接且明确地指示子DPB大小。对于其它VPS，视频编码器20可用信号通知可用于从先前经信号通知子DPB大小预测子DPB大小的语法元素而非明确地用信号通知子DPB大小。作为一个实例，视频编码器20可用信号通知其值表示待用于相关于当前VPS的图片的子DPB大小与针对先前经信号通知VPS中的先前操作点用信号通知的子DPB大小之间的差(即，增量值)的语法元素。在此实例中，视频解码器30可通过将经信号通知的增量值相加到先前所确定(无论是明确用信号通知还是预测性用信号通知)子DPB大小来导出用于当前VPS的子DPB大小。

在本发明的另一实例中，视频编码器20可经配置以通过使用相对于最接近先前操作点的预测信号通知来用信号通知其值指示用于每一层集的每一时间子集的子DPB数目的语法元素。举例来说，视频编码器20可通过使用最接近当前操作点的层数目(在此实例中为三个层)用信号通知用于当前操作点的子DPB大小与用于先前操作点的子DPB大小之间的差来产生并用信号通知指示用于操作点(例如，包含一个基础层及两个增强层的操作点)的子DPB大小的语法元素。

在本实例的另一方面中，视频编码器20可经配置以相比于VPS中用信号通知的每一层集的先前经信号通知层集以始终增加(或至少非降低)方式布置子DPB数目。以此方式，对于每一操作点，子DPB的数目也增加。作为另一实例，视频编码器20可经配置以从针对当前操作点明确地用信号通知的不同操作点使用预测信号通知。

在本发明的另一实例中，视频编码器20可经配置以产生并用信号通知其值可指示停用用于某些层的所存在操作点(例如，如由TemporalID语法元素的值指示)的语法元素。举例来说，在输出层集中的一个层的最高temporalID小于一定值的情况下，视频编码器20可经配置以产生并用信号通知指示不存在用于一定输出层集的子DBP大小信息的旗标。作为另一实例，视频编码器20可经配置以用信号通知并不用信号通知子DPB大小(或其它操作点/层集信息)的一系列可适用时间层级(例如，TemporlID值)。

如上文所论述，视频解码器30可经配置以接收由视频编码器20产生并用信号通知的指示用于每一操作点的子DPB数目及/或子DPB大小的语法元素中的一或多者。在一个实例中，在VPS中用信号通知此类语法元素。

视频解码器30可经配置以确定是通过在VPS中明确用信号通知还是在VPS中预测性用信号通知特定操作点所需要的子DPB数目。基于子DPB数目的确定，视频解码器30可经配置以将DPB分割成多个子DPB。

同样地，视频解码器30可经配置以确定是通过在VPS中明确用信号通知还是在VPS中预测性用信号通知用于每一操作点的子DPB大小。基于所确定子DPB大小，视频解码器30可经配置以分配用于一或多个子DPB的存储器空间。

视频解码器30可进一步经配置以独立地维持每一子DPB的充满度或容量。也就是说，视频解码器30可经配置以基于子DPB的所指示大小实施从每一子DPB的提升过程(即，图片移除过程)。视频解码器30可经配置以从每一子DPB移除图片，使得每一操作点所需要的层图片数目并不超过每一子DPB的存储容量。

视频编码器20及视频解码器30还可经配置以针对每一子DPB独立地将层图片标记为“不用于参考”或“用于参考”。也就是说，视频编码器20及视频解码器30可经配置以独立地对多个子DPB中的每一者中的图片执行标记过程(即，针对每一子DPB执行标记过程)，其中标记过程将图片标记为用于参考或将图片标记为不用于参考。

然而，视频解码器30可经配置以基于输出时间及排序时间(如HRD设定中所指示)输出图片并移除图片。可横跨若干子DPB执行图片的输出及移除。在本发明的实例中，在每一子DPB与HRD设定中的相同输出时间相关联的情况下，可同时输出不同子DPB中的图片。一旦输出，可将子DPB中的图片标记(例如，由语法元素)为“不需要用于输出”。同样地，如果不同子DBP中的图片已被标记为“不用于参考”及“不需要用于输出”两者，则可从子DPB同时移除所述图片。

图6为说明可实施本发明中描述的用于DPB管理的技术的实例视频编码器20的框图。视频编码器20可经配置以根据任何视频编码技术编码视频数据，包含HEVC及H.264/AVC以及此类标准的可缩放、多视图及3D扩展。将参考HEVC解释图6的实例。在这点上，可将图6中所展示的视频编码回路应用于可缩放视频编码过程的每一层(即，基础层及增强层)、多视图视频译码过程的每一视图或3D视频译码过程的纹理及深度视图两者。

视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间压缩模式中的任一者。另外，视频编码器20可在不同视图或层之间执行视图间预测及/或层间预测，如上文所描述。

在图6的实例中，视频编码器20包含视频数据存储器40、预测处理单元41、DPB64、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动及视差估计单元42、运动及视差补偿单元44及帧内预测处理单元46。为进行视频块重建构，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。还可包含解块滤波器(图6中未展示)以滤波块边界以从经重建构视频移除成块效应伪影。在需要时，解块滤波器将通常滤波求和器62的输出。除了解块滤波器外，还可使用额外回路滤波器(回路中或回路后)。

视频数据存储器40可存储待由视频编码器20的组件编码的视频数据。可从(例如)视频源18获得存储于视频数据存储器40中的视频数据。DPB64为存储用于由视频编码器20编码视频数据的参考视频数据(例如，以帧内或帧间译码模式，还被称作帧内或帧间预测译码模式)的解码图片缓冲器(DPB)的一个实例。视频数据存储器40及DPB64可由多种存储器装置中的任一者形成，例如动态随机接入存储器(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻性RAM(RRAM)或其它类型的存储器装置。视频数据存储器40及DPB64可由相同存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器40可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

如图6中所展示，视频编码器20接收视频数据且可经配置以将数据分割成视频块。此分割还可包含分割成切片、图像块或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可划分成多个视频块(且可能划分成被称作图像块的视频块集合)。预测处理单元41可针对当前视频块基于误差结果(例如，译码速率及失真水平)而选择多个可能译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式或视图间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重建构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46可相对于与待译码当前块在相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码以提供空间压缩。预测处理单元41内的运动及视差估计单元42以及运动及视差补偿单元44相对于一或多个参考图片、参考图片层及/或参考视图中的一或多个预测性块对当前视频块执行帧间预测性译码及/或视图间译码以提供时间及视图间预测。

运动及视差估计单元42可经配置以根据视频序列的预定样式确定视频切片的帧间预测模式及/或视图间预测模式。预定样式可将序列中的视频切片指定为P切片或B切片。运动及视差估计单元42以及运动及视差补偿单元44可高度集成，但出于概念目的单独地说明。由运动及视差估计单元42所执行的运动估计为产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。由运动及视差估计单元42所执行的视差估计为产生视差向量的过程，所述视差向量可用以从不同视图中的块预测当前经译码块。

预测性块为被发现在像素差方面与待译码的视频块的PU密切匹配的块，像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量值来确定。在一些实例中，视频编码器20可计算存储于DPB64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并输出具有分数像素精度的运动向量。

运动及视差估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算经帧间译码或经视图间预测切片中的视频块的PU的运动向量(用于运动补偿预测)及/或视差向量(用于视差补偿预测)。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择参考图片，所述列表中的每一者识别存储于DPB64中的一或多个参考图片。对于视图间预测，参考图片处于不同视图中。运动及视差估计单元42将所计算运动向量及/或视差向量发送到熵编码单元56及运动及视差补偿单元44。

由运动及视差补偿单元44所执行的运动补偿及/或视差补偿可涉及基于由运动估计及/或视差估计所确定的运动向量而提取或产生预测性块，从而可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量及/或视差之后，运动及视差补偿单元44可在参考图片列表中的一者中定位所述运动向量及/或视差向量指向的预测性块。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，且可包含明度及色度差分量两者。求和器50表示执行此减法运算的(多个)组件。运动及视差补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

作为由运动及视差估计单元42以及运动及视差补偿单元44执行的帧间预测(如上文所描述)的替代方案，帧内预测处理单元46可帧内预测当前块。具体来说，帧内预测处理单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可例如在单独编码编次期间使用各种帧内预测模式编码当前块，且帧内预测处理单元46(或在一些实例中为模式选择单元)可从测试模式选择适当帧内预测模式来使用。举例来说，帧内预测处理单元46可使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测处理单元46可从用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于所述块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术编码指示所选择帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也称为码字映射表)，用于各种块的编码上下文的定义，及最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示以用于所述上下文中的每一者。

在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中并应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代性地，熵编码单元56可执行扫描。

在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正经译码的当前视频切片的运动向量及其它语法元素进行熵编码。

反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重建构残余块以供稍后用作参考图片的参考块。视频编码器20的此部分有时被称为重建构回路且其有效地解码用作帧间预测中的参考图片的经编码视频块。经重建构图片及/或经重建构层图片存储于DPB64中。

运动及视差补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动及视差补偿单元44还可将一或多个内插滤波器应用于经重建构残余块以计算用于运动估计的子整数像素值。求和器62将经重建构残余块添加到由运动补偿单元44所产生的运动补偿预测块以产生用于存储于DPB64中的参考块。参考块可由运动及视差估计单元42以及运动及视差补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。

如上文参考图5所论述，DPB64可分割成多个子DPB，其中每一子DPB经配置以存储多层视频译码过程中的不同类型的层的图片。如上文所论述及下文参考图8将更详细地论述，视频编码器20可经配置以执行包含产生指示用于多层视频译码过程的每一操作点的子DPB大小的语法元素的本发明的DPB管理技术。

图7为说明可实施本发明中描述的DPB管理技术的实例视频解码器30的框图。在图7的实例中，视频解码器30包含视频数据存储器69、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90及DPB92。预测处理单元81包含运动及视差补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行一般与关于来自图6的视频编码器20所描述的编码遍次互逆的解码遍次。

视频数据存储器69可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器69中的视频数据可(例如)从存储装置34、从例如相机的本地视频源、经由视频数据的有线或无线网络通信或通过接入物理数据存储媒体而获得。视频数据存储器69可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流及相关联语法元素。视频解码器30的熵解码单元80对位流进行熵解码来产生经量化系数、运动向量、视差向量及其它语法元素。熵解码单元80将运动向量、视差向量及其它语法元素转发到预测处理单元81。视频解码器30可接收视频切片层级及/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号通知的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片或经视图间预测切片时，预测处理单元81的运动及视差补偿单元82基于从熵解码单元80所接收的运动向量、视差向量及其它语法元素来产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于DPB92中的参考图片使用默认建构技术来建构参考帧列表，列表0及列表1。

运动及视差补偿单元82通过剖析运动向量及其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息来产生正经解码的当前视频块的预测性块。举例来说，运动及视差补偿单元82使用所接收语法元素中的一些来确定用以译码以下各者的预测模式(例如，帧内或帧间预测)：视频切片的视频块、帧间预测或视图间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量及/或视差向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

运动及视差补偿单元82还可执行基于内插滤波器的内插。运动及视差补偿单元82可在编码视频块期间使用如由视频编码器20使用的内插滤波器来计算用于参考块的子整数像素的内插值。在此情况下，运动及视差补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器产生预测性块。

反量化单元86反量化(即，去量化)位流中所提供且由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算以确定应应用的量化程度及同样地反量化程度的量化参数。反变换处理单元88将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便产生像素域中的残余块。

在运动及视差补偿单元82基于运动向量及/或视差向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过求和来自反变换处理单元88的残余块与由运动补偿单元82所产生的对应预测性块来形成经解码视频块。求和器90表示执行此求和运算的(多个)组件。在需要时，还可应用解块滤波器以对经解码块进行滤波以便移除成块效应伪影。还可使用其它回路滤波器(在译码回路中或在译码回路之后)来使像素转变平滑或以其它方式改善视频质量。

接着将给定帧或图片中的经解码视频存储于DPB92中，其存储用于后续运动补偿的参考图片块(或多层视频译码过程中的层图片)。DPB92也存储经解码视频以供呈现于显示装置(例如，图1的显示装置32)上。

如上文参考图5所论述，DPB92可分割成多个子DPB，其中每一子DPB经配置以存储多层视频译码过程中的不同类型的层的图片。如上文所论述及下文参考图9将更详细地论述，视频解码器300可经配置以执行本发明的DPB管理技术，所述技术包含接收指示用于多层视频译码过程的每一操作点的子DPB大小的语法元素并基于所接收指示分配用于子DBP的存储器空间。

图8为展示根据本发明的技术的实例编码方法的流程图。图8的技术可由视频编码器20的一或多个功能性单元(包含(例如)DPB64)执行。

在本发明的一个实例中，视频编码器20经配置以重建构多个不同层类型的多个图片(800)、将多个图片存储于DPB中，其中DPB被分割成多个子DPB(802)，及产生用于多层视频译码过程的一或多个操作点的多个子DPB的子DPB大小的至少一个指示(804)。在本发明的一个实例中，多层视频译码过程为多视图视频译码过程或可缩放视频译码过程中的一者。

在本发明的另一实例中，多个子DPB中的每一者经配置以存储多层视频译码过程中的一个层类型的图片。在此实例中，视频编码器20可进一步经配置以根据相应图片的层类型将多个层中的每一者的图片存储于特定子DPB中。

在本发明的另一实例中，视频编码器20经配置以在视频参数集(VPS)中产生子DPB大小的至少一个指示。在一个实例中，至少一个指示为具有明确地指示子DPB大小的值的语法元素，且子DPB大小为图片数目。在本发明的另一实例中，至少一个指示为具有表示用于一或多个操作点的子DPB大小与用于先前经信号通知操作点的子DPB大小之间的差的值的语法元素。

在本发明的另一实例中，视频编码器20经配置以产生用于多层视频译码过程的一或多个操作点的多个子DPB中的每一者的子DPB大小的相应指示。

图9为展示根据本发明的技术的实例解码方法的流程图。图9的技术可由视频解码器30的一或多个功能性单元(包含(例如)DPB92)执行。

在本发明的一个实例中，视频解码器30经配置以将DPB分割成多个子DPB(850)、接收用于多层视频译码过程的一或多个操作点的多个子DPB的子DPB大小的至少一个指示(852)，及基于至少一个指示分配用于多个子DPB的存储器空间(854)。在本发明的一个实例中，多层视频译码过程为多视图视频译码过程或可缩放视频译码过程中的一者。

在本发明的另一实例中，多个子DPB中的每一者经配置以存储多层视频译码过程中的一个层类型的图片。在此实例中，视频解码器30可进一步经配置以根据相应图片的层类型将多个层中的每一者的图片存储于特定子DPB中。

在本发明的另一实例中，视频解码器30进一步经配置以根据输出时间输出存储于多个子DPB中的图片，其中同时输出子DPB中具有相同输出时间的图片；独立地对多个子DPB中的每一者中的图片执行标记过程，其中标记过程将图片标记为用于参考或将图片标记为不用于参考；及从多个子DPB移除不再需要用于输出且已标记为不用于参考的图片。

在本发明的另一实例中，视频解码器30进一步经配置以通过空间分辨率、位深度或色彩格式中的至少一者确定层类型。

在本发明的另一实例中，视频解码器30进一步经配置以解码多个图片、将多个图片存储于多个子DPB中，并将一或多个图片输出到显示器。

在本发明的另一实例中，视频解码器30进一步经配置以在视频参数集中接收子DPB大小的至少一个指示。在一个实例中，至少一个指示为具有明确地指示子DPB大小的值的语法元素，其中子DPB大小为图片数目。在另一实例中，至少一个指示为具有表示用于一或多个操作点的子DPB大小与用于先前经信号通知操作点的子DPB大小之间的差的值的语法元素。

在本发明的另一实例中，视频解码器30进一步经配置以接收用于多层视频译码过程的一或多个操作点的多个子DPB中的每一者的子DPB大小的相应指示。

在本发明的另一实例中，视频解码器30进一步经配置以接收子DPB数目的指示，其中将DPB分割成多个子DPB包括基于子DPB数目的指示将DPB分割成多个子DPB。视频解码器30可进一步经配置以根据层类型导出识别多个子DPB中的每一者的索引。

以下章节在添加到HEVC标准(例如，HEVC版本1、SHEVC及/或MV-HEVC)及从HEVC标准删除方面展示本发明的技术的实例实施。以下划线展示到HEVC规范的添加，而通过展示从HEVC规范的删除。下文未明确地论述的语法元素的语义可在上文所引用的实例HEVC、SHVC及/或MV-HEVC规范中发现。

第一章节展示包含添加用于每一操作点的DPB大小的VPS扩展语法，如由max_dpb_size_table指示。下文展示含有max_dpb_size_table的语法元素的语义定义。在此实例中，max_dpb_size_table包含指示用于VPS中所指示的所有输出层集的子DPB的最大数目(num_sub_dpb_capcity_minus1)、用信号通知的子DPB大小的数目(num_sub_dpb_size_minus1)及作为差值的每一子DPB大小(delta_sub_dpb_size_minus1)的语法元素。

表3-视频参数集扩展语法

表4-DPB大小表格语法

DPB大小表格语义

num_sub_dpb_capacity_minus1加上1指定用于此VPS中所指示的所有输出层集的子DPB的最大数目。就经解码图片缓冲器的每一单元的整体特性来说，每一子DPB具有相同容量。

注意：举例来说，具有相同分辨率的所有图片属于相同子DPB，且归因于不同操作点中具有相同分辨率的层数目的差异，不同操作点可在子DPB中含有不同数目个图片。

num_sub_dpb_size_minus1[i]加上1指定针对视频参数集中用信号通知的第i子DPB用信号通知的大小数目。

delta_sub_dpb_size_minus1[i][j]加上1指定视频参数集中用信号通知的第i子DPB的第j大小。

对于j从0到num_sub_dpb_size_minus1[i]，如下导出由subDpbSize[i][j]表示的第i子DPB的第j大小。

subDpbSize[i][j]＝delta_sub_dpb_size_minus1[i][j]+1+(j>0？subDpbSize[i][j-1]:0)。

sub_dpb_info_present_flag[i][k]等于1指示存在用于第i层集的第k时间子集的信息，sub_dpb_info_present_flag[i][k]等于0指示不存在用于第i层集的第k时间子集的信息。当不存在时，sub_dpb_info_present_flag[i][k]推断为等于0。

same_num_sub_dpbs_flag[i][k]等于1指定用于第i输出层集的第k时间子集的子DPB数目等于用于第(i-1)输出层集的第k时间子集的子DPB数目。

same_num_sub_dpbs_flag[i][k]等于0指定用于第i输出层集的第k时间子集的子DPB数目不等于用于第(i-1)输出层集的第k时间子集的子DPB数目。当不存在时，same_num_sub_dpbs_flag[i][k]推断为等于0。

delta_num_sub_dpbs_minus1[i][k]指定用于第i输出层集的第k时间子集的子DPB数目。

如下导出用于第i层集及第k时间子集的子DPB数目NumSubDpbs[i][k]：

-如果sub_dpb_info_present_flag[i][k]等于0，则将NumSubDpbs[i][k]设定成等于0。

-否则如果sub_dpb_info_present_flag[i][k]等于1且num_sub_dpb_capacity_minus1等于0，则将NumSubDpbs[i][k]设定成等于1。

-否则(sub_dpb_info_present_flag[i][k]与num_sub_dpb_capacity_minus1都不等于0)，如下导出NumSubDpbs[i][k]：

NumSubDpbs[i][k]＝(！same_num_sub_dpbs_flag[i][k])？(delta_num_sub_dpbs_minus1[i][k]+1+NumSubDPBs[i-1][k])

NumSubDPBs[i-1][k]。

如下导出用于第i输出层集及第k时间子集的变数NumSubDpbsInOptLayerSet[i][k]：

NumSubDpbsInOptLayerSet[i][k]＝NumSubDpbs[output_layer_set_idx_minus1[i]][k]

如下导出用于第i输出层集及第k时间子集的变数SubDpbInfoPresentFlag[i][k]：

SubDpbInfoPresentFlag[i][k]＝sub_dpb_info_present_flag[output_layer_set_idx_minus1[i]][k]

sub_dpb_capacity_idx[i][k][j]指定到子DPB的索引。第i输出层集的第k时间子集的第j子DPB为通过sub_dpb_capacity_idx用信号通知的第sub_dpb_capacity_idx[j]子DPB。sub_dpb_capacity_idx[i][k][j]处于0到num_sub_dpb_capacity_minus1的范围(包含0与num_sub_dpb_capacity_minus1)。当不存在时，sub_dpb_capacity_idx[i][k][j]推断为等于0。

sub_dpb_size_idx[i][k][j]指定到第sub_dpb_capacity_idx[i][k][j]子DPB的大小的索引。sub_dpb_size_idx[i][k][j]处于0到num_sub_dpb_size_minus1[sub_dpb_capacity_idx[j]]的范围(包含0与num_sub_dpb_size_minus1[sub_dpb_capacity_idx[j]])。VpsSubDpbMaxDecPicBuf[i][k][j]等于subDpbSize[sub_dpb_capacity_idx[i][k][j]][sub_dpb_size_idx[i][k][j]]。

当HighestTId等于k时，VpsSubDpbMaxDecPicBuf[i][k][j]指定以图片存储缓冲器为单位的用于第i输出层集的CVS的第j子DPB的最大要求大小。当k大于0时，VpsSubDpbMaxDecPicBuf[i][k][j]将大于或等于VpsSubDpbMaxDecPicBuf[i][k][j-1]。

8.1一般解码过程

此过程的输入为位流。此过程的输出为经解码图片列表。

如下指定变数OutputLayerSetIdx，其指定到目标输出层集的由VPS所指定的输出层 集列表的索引：

-如果本说明书中未指定的某一外部装置可用以设定OutputLayerSetIdx，则由所述 外部装置设定OutputLayerSetIdx。

-否则，如果如子条款C.1中所指定在位流一致性测试中调用解码过程，则如子条 款C.1中所指定来设定OutputLayerSetIdx。

-否则，将OutputLayerSetIdx设定成等于0。

将变数DecLayerSetIdx设定成等于output_layer_set_idx_minus1[OutputLayerSetIdx] +1。

如下指定层识别符列表TargetOptLayerIdList(其指定待输出图片的nuh_layer_id值的 列表，按nuh_layer_id值的递增次序)，及层识别符列表TargetDecLayerIdList(其指定待解码NAL单元的nuh_layer_id值的列表，按nuh_layer_id值的递增次序)：

如下指定识别待解码的最高时间子层的变数HighestTid：

……

8.1.1针对具有等于0的nuh_layer_id的经译码图片的解码过程

当当前图片为具有等于BLA_W_LP的nal_unit_type的BLA图片或为CRA图片时，应用如下：

-如果本说明书中未指定的某一外部装置可用以将变数UseAltCpbParamsFlag设定为一值，则将UseAltCpbParamsFlag设定成等于由所述外部装置所提供的值。

-否则，将UseAltCpbParamsFlag的值设定成等于0。

取决于separate_colour_plane_flag的值，如下结构化解码过程：

-如果separate_colour_plane_flag等于0，则单次调用以当前图片为输出的所述解码过程。

-否则(separate_colour_plane_flag等于1)，三次调用解码过程。解码过程的输入为具有相同colour_plane_id值的经译码图片的所有NAL单元。具有特定colour_plane_id值的NAL单元的解码过程被指定为如同仅拥有具有特定colour_plane_id值的单色格式的CVS将存在于位流中。将三个解码过程中的每一者的输出指派给当前图片的3个样本阵列中的一者，其中分别将具有等于0、1及2的colour_plane_id的NAL单元指派给S_L、S_Cb及S_Cr。

注意-当separate_colour_plane_flag等于1且chroma_format_idc等于3时，变数ChromaArrayType导出为等于0。在解码过程中，评估此变数的值从而带来相同于单色图片(当chroma_format_idc等于0)的操作的操作。

对于当前图片CurrPic，如下操作解码过程：

1.子条款8.2中指定NAL单元的解码。

2.子条款8.3中的过程指定在切片分段层及上文中的使用语法元素的以下解码过程：

-子条款8.3.1中导出相关于图片次序计数的变数及函数。此仅需要针对图片的第一切片分段调用。

-调用子条款8.3.2中用于RPS的解码过程，其中参考图片可被标记为“不用于参考”或“用于长期参考”。此仅需要针对图片的第一切片分段调用。

-当当前图片为BLA图片或具有等于1的NoRaslOutputFlag的CRA图片时，调用子条款8.3.3中所指定的用于产生不可用参考图片的解码过程，此仅需要针对图片的第一切片分段调用。

-如下设定PicOutputFlag：

-如果当前图片为RASL图片且相关联IRAP图片的NoRaslOutputFlag等于1，则将PicOutputFlag设定为等于0。

-否则，如果TargetOptLayerIdList中不存在等于0的nuh_layer_id，则将 PicOutputFlag设定成等于0。

-否则，将PicOutputFlag设定成等于pic_output_flag。

-在针对每一P或B切片的解码过程的开始处，调用子条款8.3.4中所指定的用于参考图片列表建构的解码过程以用于导出参考图片列表0(RefPicList0)及当解码B切片时导出参考图片列表1(RefPicList1)。

3.子条款8.4、8.5、8.6及8.7中的过程指定使用所有语法结构层中的语法元素的解码过程。图片的经译码切片将含有用于图片的每一译码数单元的切片分段数据为位流一致性要求，使得图片到切片的划分、切片到切片分段的划分及切片分段到译码树单元的划分各自形成图片的分区。

4.在已解码当前图片的所有切片之后，将经解码图片标记为“用于短期参考”。

F.3定义

……

F.3.16操作点：通过操作将另一位流、目标最高TemporalId及目标层识别符列表作 为输入的子位流提取过程而从另一位流产生且与目标输出层集相关联的位流。

注意14-如果操作点的目标最高TemporalId等于与目标层识别列表相关联的层集中 的TemporalId的最大值，则操作点与所述层集相同。否则其为层集的子集。

F.3.17输出层集：与目标输出层集相关联的层集。

F.8.1.2用于结束具有大于0的nuh_layer_id的经译码图片的解码的解码过程

如下设定PicOutputFlag：

-如果当前图片为RASL图片且相关联IRAP图片的NoRaslOutputFlag等于1，则将PicOutputFlag设定为等于0。

-否则如果TargetOptLayerIdList中不存在nuh_layer_id，则将PicOutputFlag设定 成等于0。

-否则，将PicOutputFlag设定成等于pic_output_flag。

以下适用：

-如果discardable_flag等于1，则将经解码图片标记为“不用于参考”。

-否则，将经解码图片标记为“用于短期参考”。

当TemporalId等于HighestTid时，调用子条款F.8.1.2.1中所指定的层间预测不需要的用于子层非参考图片的标记过程，其中将等于nuh_layer_id的latestDecLayerId作为输入。

F.13假想参考解码器

F.13.1综述

子条款C.1中的规范以以下修改及添加应用。

-用“选择由OutputLayerSetIdx所识别的目标输出层集及目标最高TemporalId值 HighestTid。OutputLayerSetIdx的值将在0到NumOutputLayerSets-1的范围内(包含0与 NumOutputLayerSets-1)。HighestTid的值将在0到vps_max_sub_layers_minus1的范围内 (包含0与vps_max_sub_layers_minus1)。TargetOptLayerIdList及TargetDecLayerIdList 接着如方程式8-1中所指定地导出。受测操作点具有等于TargetOptLayerIdList的 OptLayerIdList、等于TargetDecLayerIdList的OpLayerIdList及等于HighestTid的 OpTid。)”替换“选择表示为TargetOp的受测操作点。TargetOp的层识别符列表 OpLayerIdList由nuh_layer_id值的列表(按nuh_layer_id值的递增次序，存在于与 TargetOp相关联的位流子集(其为存在于受测位流中的nuh_layer_id值的子集)中)组成。 TargetOp的OpTid等于存在于与TargetOp相关联的位流子集中的最高TemporalId。”

-用“调用如条款10中所指定的子位流提取过程，其中将受测位流、HighestTid 及TargetDecLayerIdList作为输入并将输出指派给BitstreamToDecode。”替换“将 TargetDecLayerIdList设定成等于TargetOp的OpLayerIdList，将HighestTid设定成等于 TargetOp的OpTid且调用如条款10中所指定的子位流提取过程，其中将受测位流、 HighestTid及TargetDecLayerIdList作为输入并将输出指派给BitstreamToDecode。”

对于每一层，在以下过程中导出到每一层的子DPB指派：

-将numTargetDecLayerIdList设定为等于numLayersInIdList[DecLayerSetIdx]。对 于i从0到numTargetDecLayerIdList-1(包含0与numTargetDecLayerIdList-1)，如下定义 阵列spatRes、colourFormat及bitDepthId：

-分别将spatRes[i][0]及spatRes[i][1]设定成等于目标层集中的第i层的作 用层SPS的pic_width_in_luma_samples及pic_height_in_luma_samples的值。

-将colourFormat[i]设定成等于目标层集中的第i层的作用层SPS的 chroma_format_idc[i]的值。

-分别将bitDepthId[i][0]及bitDepthId[i][1]设定成等于目标层集中的第i 层的作用层SPS的bit_depth_luma_minus8及bit_depth_chroma_minus8的值。

-以下适用：

对于具有层IDnuh_layer_id的每一图片，具有索引 SubDpbAssigned[DecLayerSetIdx][LayerIdInVps[nuh_layer_id]]的子DPB被称为与所 述图片相关联且还与所述层相关联。

F.13.3经解码图片缓冲器(DPB)的操作

F.13.3.1综述

此子条款中的规范独立地适用于如子条款C.1中所指定的所选择DPB参数的每一集合。

经解码图片缓冲器被分割成子DPB，且每一子DPB含有图片存储缓冲器。图片存储缓冲器中的每一者可含有标记为“用于参考”或保存为用于未来输出的经解码图片。子DPB的数目等于NumSubDpbs[TargetDecLayerId]，且从作用中VPS推断如 VpsSubDpbMaxDecPicBuf的阵列中的每一子DPB中的图片存储缓冲器的数目。如下文所指定地依序应用子条款F.13.3.2、F.13.3.3及F.13.3.4中所指定的过程。

将不包含于目标输出层中的图片的PicOutputFlag设定成等于0。

按这些经解码图片的nuh_layer_id值的升序输出具有相同DPB输出时间且具有等于1的PicOutputFlag的经解码图片。

对于特定nuh_layer_id值，使图片n为接入单元n的经译码图片或经解码图片，其中n为非负整数数目。

F.13.3.2从DPB移除图片

子条款C.3.2中的规范通过以下修改针对具有特定nuh_layer_id值的经解码图片的每一集合单独地应用。

-用“在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB移除图片即刻发生于图片n的第一解码单元的CPB移除时间处且如下进行：”替换“在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB移除图片即刻发生于接入单元n(含有当前图片)的第一解码单元的CPB移除时间处且如下进行：”。

-用“及对于所有子DPB将子DPB充满度设定成等于0。”替换“……及将DPB 充满度设定成等于0。”

-用“……从对于按解码次序具有相同于当前图片的nuh_layer_id值的之前图片 作用中的SPS导出……”替换“……从对于之前图片作用中的SPS导出……”

-用“对于从子DPB移除的每一图片，将子DPB充满度递减一。”替换“对于从 DPB移除的每一图片，将DPB充满度递减一。”

F.14.3位流一致性

符合本说明书的经译码数据的位流将满足此子条款中所指定的所有要求。

位流将根据本说明书中在此附录之外所指定的语法、语义及约束经建构。

位流中的第一接入单元将为IRAP接入单元，即IDR接入单元、CRA接入单元或BLA接入单元。

由HRD测试位流以用于一致性，如子条款C.1中所指定。

使当前图片的nuh_layer_id为currPicLayerId。

将变数AssociatedSubDpbSize[layerId][HighestTid]设定成等于 VpsSubDpbMaxDecPicBuf[TargetOutputLayerId][HighestTid][subDpbId]，其中对于 TargetDecLayerIdList中的每一layerId，subDpbId等于SubDpbAssigned [TargetOutputLayerId][LayerIdInList[layerId]]。

……

对于位流一致性测试中的每一者，将满足所有以下条件：

1.对于与缓冲周期SEI消息相关联的每一接入单元n(其中n大于0)，如下指定变数deltaTime90k[n]：

deltaTime90k[n]＝90000*(AuNominalRemovalTime[n]-AuFinalArrivalTime[n-1])

(F-5)

如下约束InitCpbRemovalDelay[SchedSelIdx]的值：

-如果cbr_flag[SchedSelIdx]等于0，则以下条件将为真：

InitCpbRemovalDelay[SchedSelIdx]<＝Ceil(deltaTime90k[n])(F-6)

-否则(cbr_flag[SchedSelIdx]等于1)，以下条件将为真：Floor(deltaTime90k[n])<＝InitCpbRemovalDelay[SchedSelIdx]<＝Ceil(deltaTime90k[n])(F-7)

注意1-在每一图片的移除时间处CPB中的准确位数目可取决于选择哪个缓冲周期SEI消息以初始化HRD。编码器必须考虑此情况以确保必须服从所有指定约束而不论选择哪个缓冲周期SEI消息以初始化HRD，这时由于HRD可在缓冲周期SEI消息中的任一者处初始化。

2.CPB溢流指定为CPB中的总位数目大于CPB大小的条件。CPB将永不溢流。

3.CPB下溢指定为解码单元m的标称CPB移除时间DuNominalRemovalTime(m)对于至少一个m值小于解码单元m的最后CPB到达时间DuFinalArrivalTime(m)的条件。当low_delay_hrd_flag[HighestTid]等于0时，CPB将永不下溢。

4.当SubPicHrdFlag等于1、low_delay_hrd_flag[HighestTid]等于1且接入单元n的解码单元m的标称移除时间小于解码单元m的最后CPB到达时间(即，DuNominalRemovalTime[m]<DuFinalArrivalTime[m])时，接入单元n的标称移除时间将小于接入单元n的最后CPB到达时间(即，AuNominalRemovalTime[n]<AuFinalArrivalTime[n])。

5.来自CPB的接入单元(按解码次序从第二接入单元开始)的标称移除时间将满足子条款A.4.1到A.4.2中所表达的对AuNominalRemovalTime[n]及AuCpbRemovalTime[n]的约束。

6.对于每一当前图片，在调用如子条款C.3.2中所指定的用于从DPB移除图片的过程之后，相关联子DPB中的经解码图片的数目(包含被标记为“用于参考”或具有等于1的PicOutputFlag及小于AuCpbRemovalTime[currPic]的AuCpbRemovalTime[n]的所有图片n，其中currPic为当前图片)将在vps_max_layers_minus1等于0时小于或等于sps_max_dec_pic_buffering_minus1[HighestTid]，且在vps_max_layers_minus1大于0时 小于或等于AssociatedSubDpbSize[currLayerId][HighestTid]。……

F.13.5.2.2从DPB输出并移除图片

在解码当前图片之前(但在解析当前图片的第一切片的切片标头之后)从DPB输出并移除图片即刻发生于从CPB移除当前图片的第一解码单元时且如下进行：

调用如子条款8.3.2中所指定的用于RPS的解码过程。

-如果当前图片为具有等于1的NoRaslOutputFlag且具有并非图片0的等于0的nuh_layer_id的IRAP图片，则应用以下有序步骤：

1.如下针对受测解码器导出变数NoOutputOfPriorPicsFlag：

-如果当前图片为CRA图片，则将NoOutputOfPriorPicsFlag设定成等于1(不论no_output_of_prior_pics_flag的值如何)。

-否则，如果从作用中SPS导出的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]的值分别不同于从对于按解码次序具有相同于当前图片的nuh_layer_id值的之前图片作用中的SPS导出的pic_width_in_luma_samples、pic_height_in_luma_samples或sps_max_dec_pic_buffering_minus1[HighestTid]的值，则可(但不应)由受测解码器将NoOutputOfPriorPicsFlag设定成1，不论no_output_of_prior_pics_flag的值如何。

注意6-尽管设定NoOutputOfPriorPicsFlag等于no_output_of_prior_pics_flag在这些条件下为优选的，但允许受测解码器在此情况下将NoOutputOfPriorPicsFlag设定成1。

-否则，将NoOutputOfPriorPicsFlag设定成等于no_output_of_prior_pics_flag。

2.如下针对HRD应用针对受测解码器导出的NoOutputOfPriorPicsFlag的值：

-如果NoOutputOfPriorPicsFlag等于1，则清空DPB中的所有子DPB中的所有图片存储缓冲器而不输出其含有的图片，且对于所有子DPB将子DPB充满度设定成等于0。

-否则(NoOutputOfPriorPicsFlag等于0)，清空(而不输出)含有标记为“不需要用于输出”及“不用于参考”的图片的所有图片存储缓冲器，且通过反复地调用子条款F.13.5.2.4中所指定的“提升”过程清空DPB中的所有非空图片存储缓冲器并将DPB充满度设定成等于0。

-否则(当前图片并非具有等于1的NoRaslOutputFlag的IRAP图片或具有不等于0的nuh_layer_id)，清空(而不输出)含有被标记为“不需要用于输出”及“不用于参考”的图片的所有图片存储缓冲器。对于经清空的每一图片存储缓冲器，将与图片存储缓冲器相关联的子DPB的子DPB充满度递减一。将变数currLayerId设定成等于当前经解码图片的nuh_layer_id且当以下条件中的一或多者为真时，反复地调用子条款F.13.5.2.4中所指定的“提升”过程，同时对于经清空的每一额外图片存储缓冲器将DPB充满度进一步递减一，直至以下条件中的无一者为真为止：

-与被标记为“需要用于输出”的当前图片相关联的子DPB中具有等于currLayerId的nuh_layer_id的图片数目大于来自作用中SPS(当currLayerId等于0时)或来自针对currLayerId值的作用层SPS(当currLayerId不等于0时)的sps_max_num_reorder_pics[HighestTid]。

-作用中SPS(当currLayerId等于0时)或针对currLayerId值的作用层SPS的sps_max_latency_increase_plus1[HighestTid]不等于0，且DPB中存在至少一个标记为“需要用于输出”的具有等于currLayerId的nuh_layer_id的图片，其中相关联变数PicLatencyCount[currLayerId]大于或等于从作用中SPS(当currLayerId等于0时)或从针对currLayerId值的作用层SPS导出的SpsMaxLatencyPictures[HighestTid]。

-相关联子DPB中具有等于currLayerId的nuh_layer_id的图片数目大于或等于来自作用中SPS(当 vps_max_layers_minus1等于0时)的sps_max_dec_pic_buffering_minus1[HighestTid]+1或大于或等于 AssociatedSubDpbSize[currLayerId][HighestTid](当 vps_max_layers_minus1大于0时)。

F.13.5.2.2图片解码、标记、额外提升及存储

此子条款中所指定的过程即刻发生于从CPB移除含有当前图片的接入单元n的最后解码单元时。

变数currLayerId设定成等于当前经解码图片的nuh_layer_id。

对于相关联子DPB中标记为“需要用于输出”且具有等于currLayerId的nuh_layer_id值的每一图片，将相关联变数PicLatencyCount[currLayerId]设定成等于PicLatencyCount[currLayerId]+1。

将当前图片视为在解码图片的最后解码单元之后经解码。当前经解码图片存储于DPB中的空图片存储缓冲器中且以下内容适用：

-如果当前经解码图片具有等于1的PicOutputFlag，则其被标记为“需要用于输出”且将其相关联变数PicLatencyCount[currLayerId]设定成等于0。

-否则(当前经解码图片具有等于0的PicOutputFlag)，将其标记为“不需要用于输出”。

将当前经解码图片标记为“用于短期参考”。

当以下条件中的一或多者为真时，反复地调用子条款F.13.5.2.4中所指定的“提升”过程直至以下条件中的无一者为真为止：

-相关联子DPB中被标记为“需要用于输出”的具有等于currLayerId的nuh_layer_id的图片数目大于来自作用中SPS(当currLayerId等于0时)或来自针对currLayerId值的作用层SPS(如果不等于0)的sps_max_num_reorder_pics[HighestTid]。

-sps_max_latency_increase_plus1[HighestTid]不等于0，且相关联子DPB中存在至少一个标记为“需要用于输出”的具有等于currLayerId的nuh_layer_id的图片，其中相关联变数PicLatencyCount[currLayerId]大于或等于从作用中SPS(当currLayerId等于0时)或从针对currLayerId值的作用层SPS(当currLayerId不等于0时)导出的SpsMaxLatencyPictures[HighestTid]。

以下章节在添加到HEVC规范(例如，HEVC版本1、SHEVC及/或MV-HEVC)及从HEVC规范的删除方面展示本发明技术的另一实例实施。同样，以下划线展示到HEVC规范的添加，而通过展示从HEVC规范的删除。以下实例实施类似于上文所展示的实施；然而不同地用信号通知指示子DPB的最大大小的语法元素(VpsSubDpbMaxDecPicBuf)。具体来说，表5中所展示的以下实例实施使用指示子DPB大小的数目对于一些数目个操作点相同的额外语法元素(overlap_sub_dpb_sizes_flag)。

表5-第二实例DPB大小表格语法

F.1.1.1.1.1最大dpb大小表格语义

……

overlap_sub_dpb_sizes_flag[j]等于1指定vpsSubDpbMaxDPB[i][k][j]的前若干项与vpsSubDpbMaxDPB[i-1][k][j]的所有项相同，因此仅存在vpsSubDpbMaxDPB[i][k][j]的额外项。overlap_sub_dpb_sizes_flag[j]等于1指定存在vpsSubDpbMaxDPB[i][k][j]的所有项。

vps_sub_dpb_max_dec_pic_buffering_values[i][k][j]指定vpsSubDpbMaxDPB[i][k][j]的值。其处于0到vpsSubDpbMaxDPB[i][k][j]的范围，导出为如下：

signaledSize[i][k][j]＝vps_sub_dpb_max_dec_pic_buffering_values[i][k][j])。

derivedSize[i][k][j]＝(j<NumSubDPBs[i-1][k])？vpsSubDpbMaxDPB[i-1][k][j]:signaledSize[i][k][j+NumSubDPBs[i-1][k]]。

vpsSubDpbMaxDPB[i][k][j]＝(overlap_sub_dpb_sizes_flag[j]？derivedSize[i][k][j]:signaledSize[i][k][j]。

以下章节展示HEVC中用于用信号通知子DPB大小的另一实例实施。在此实例中，子DPB大小不考虑特定层(例如，如由TemporalID指示)。

表6-第三实例DPB大小表格语法

在另一实例中，当用信号通知层集时，层数目不降低并非要求。因此，用信号通知语法元素num_sub_dpbs_minus1[i][j]而非语法元素delta_num_sub_dpbs_minus1[i][j]，从而针对每一层集直接指示子DPB数目。在另一实例中，不由视频编码器20用信号通知层数目而是在视频解码器30处导出所述数目。

在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)有形计算机可读存储媒体，其为非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器接入以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构形式的所要程序代码且可由计算机接入的任何其它媒体。并且，可适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射指令，则同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。上文的组合也应包含于计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (42)

1.一种解码视频数据的方法，所述方法包括：

将经解码图片缓冲器DPB分割成多个子DPB；及

接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

2.根据权利要求1所述的方法，其进一步包括：

基于所述至少一个指示分配用于所述多个子DPB的存储器空间；

解码多个层的图片；及

将所述多个层的所述图片存储于所述多个子DPB中。

3.根据权利要求2所述的方法，其中所述多个子DPB中的每一者经配置以在所述多层视频译码过程中存储多个不同层类型中的一者的图片，且其中将所述多个层的所述图片存储于所述多个子DPB中包括根据相应图片的层类型，将所述多个层中的每一者的图片存储于所述子DPB中的特定一者中。

4.根据权利要求3所述的方法，其进一步包括：

根据输出时间输出存储于所述多个子DPB中的所述图片，其中同时输出子DPB中具有相同输出时间的图片；

独立地对所述多个子DPB中的每一者中的所述图片执行标记过程，其中所述标记过程将图片标记为用于参考或将所述图片标记为不用于参考；及

从所述多个子DPB移除不再需要用于输出及已标记为不用于参考的图片。

5.根据权利要求3所述的方法，其进一步包括：

通过空间分辨率、位深度或色彩格式中的至少一者确定所述层类型。

6.根据权利要求3所述的方法，其中所述多层视频译码过程为多视图视频译码过程或可缩放视频译码过程中的一者。

7.根据权利要求1所述的方法，其中接收所述子DPB大小的所述至少一个指示包括在视频参数集中接收所述子DPB大小的所述至少一个指示。

8.根据权利要求7所述的方法，其中所述至少一个指示为具有明确地指示所述子DPB大小的值的语法元素，且其中所述子DPB大小为图片数目。

9.根据权利要求7所述的方法，其中所述至少一个指示为具有表示用于所述一或多个操作点的所述子DPB大小与用于先前经信号通知操作点的子DPB大小之间的差的值的语法元素。

10.根据权利要求1所述的方法，其中接收所述子DPB大小的所述至少一个指示包括接收用于所述多层视频译码过程的一或多个操作点的所述多个子DPB中的每一者的子DPB大小的相应指示。

11.根据权利要求1所述的方法，其进一步包括：

接收所述子DPB的数目的指示；及

基于所述子DPB数目的所述指示将所述DPB分割成多个子DPB。

12.根据权利要求11所述的方法，其进一步包括：

根据层类型导出识别所述多个子DPB中的每一者的索引。

13.一种经配置以解码视频数据的设备，所述设备包括：

经解码图片缓冲器DPB，其经配置以存储视频数据；及

视频解码器，其经配置以：

将所述DPB分割成多个子DPB；及

接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

14.根据权利要求13所述的设备，其中所述视频解码器进一步经配置以：

基于所述至少一个指示分配用于所述多个子DPB的存储器空间；

解码多个层的图片；

将所述多个层的所述图片存储于所述多个子DPB中。

15.根据权利要求14所述的设备，其中所述多个子DPB中的每一者经配置以在所述多层视频译码过程中存储多个不同层类型中的一者的图片，且其中所述视频解码器进一步经配置以根据相应图片的层类型，将每一所述多个层的图片存储于所述子DPB中的特定一者中。

16.根据权利要求15所述的设备，其中所述视频解码器进一步经配置以：

根据输出时间输出存储于所述多个子DPB中的所述图片，其中同时输出子DPB中具有相同输出时间的图片；

独立地对所述多个子DPB中的每一者中的所述图片执行标记过程，其中所述标记过程将图片标记为用于参考或将所述图片标记为不用于参考；及

从所述多个子DPB移除不再需要用于输出及已标记为不用于参考的图片。

17.根据权利要求15所述的设备，其中所述视频解码器进一步经配置以：

通过空间分辨率、位深度或色彩格式中的至少一者确定所述层类型。

18.根据权利要求15所述的设备，其中所述多层视频译码过程为多视图视频译码过程或可缩放视频译码过程中的一者。

19.根据权利要求13所述的设备，其中所述视频解码器进一步经配置以在视频参数集中接收所述子DPB大小的所述至少一个指示。

20.根据权利要求19所述的设备，其中所述至少一个指示为具有明确地指示所述子DPB大小的值的语法元素，且其中所述子DPB大小为图片数目。

21.根据权利要求19所述的设备，其中所述至少一个指示为具有表示用于所述一或多个操作点的子DPB大小与用于先前经信号通知操作点的子DPB大小之间的差的值的语法元素。

22.根据权利要求13所述的设备，其中所述视频解码器进一步经配置以接收用于所述多层视频译码过程的一或多个操作点的所述多个子DPB中的每一者的所述子DPB大小的相应指示。

23.根据权利要求22所述的设备，其中所述视频解码器进一步经配置以：

接收子DPB的数目的指示；及

基于所述子DPB数目的所述指示将所述DPB分割成多个子DPB。

24.根据权利要求23所述的设备，其中所述视频解码器进一步经配置以：

根据层类型导出识别所述多个子DPB中的每一者的索引。

25.一种经配置以解码视频数据的设备，所述设备包括：

用于将经解码图片缓冲器DPB分割成多个子DPB的装置；及

用于接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示的装置。

26.一种存储指令的计算机可读存储媒体，所述指令在执行时致使经配置以解码视频数据的装置的一或多个处理器：

将经解码图片缓冲器DPB分割成多个子DPB；及

接收用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

27.一种编码视频数据的方法，所述方法包括：

重建构多个不同层类型的多个图片；

将所述多个图片存储于经解码图片缓冲器DPB中，其中所述DPB被分割成多个子DPB；及

产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

28.根据权利要求27所述的方法，其中所述多个子DPB中的每一者经配置以在所述多层视频译码过程中存储多个不同层类型中的一者的图片，且其中将所述多个层的所述图片存储于所述多个子DPB中包括根据相应图片的层类型，将所述多个层中的每一者的图片存储于所述子DPB中的特定一者中。

29.根据权利要求28所述的方法，其中所述多层视频译码过程为多视图视频译码过程或可缩放视频译码过程中的一者。

30.根据权利要求27所述的方法，其中产生所述子DPB大小的所述至少一个指示包括在视频参数集中产生所述子DPB大小的所述至少一个指示。

31.根据权利要求30所述的方法，其中所述至少一个指示为具有明确地指示所述子DPB大小的值的语法元素，且其中所述子DPB大小为图片数目。

32.根据权利要求30所述的方法，其中所述至少一个指示为具有表示用于所述一或多个操作点的子DPB大小与用于先前经信号通知操作点的子DPB大小之间的差的值的语法元素。

33.根据权利要求27所述的方法，其中产生所述子DPB大小的所述至少一个指示包括产生用于所述多层视频译码过程的一或多个操作点的所述多个子DPB中的每一者的所述子DPB大小的相应指示。

34.一种经配置以编码视频数据的设备，所述设备包括：

经解码图片缓冲器DBP，其经配置以存储视频数据；及

视频编码器，其经配置以：

重建构多个不同层类型的多个图片；

将所述多个图片存储于所述DPB中，其中所述DPB被分割成多个子DPB；及产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。

35.根据权利要求34所述的设备，其中所述多个子DPB中的每一者经配置以在所述多层视频译码过程中存储多个不同层类型中的一者的图片，且其中将所述多个层的所述图片存储于所述多个子DPB中包括根据相应图片的层类型，将所述多个层中的每一者的图片存储于所述子DPB中的特定一者中。

36.根据权利要求35所述的设备，其中所述多层视频译码过程为多视图视频译码过程或可缩放视频译码过程中的一者。

37.根据权利要求34所述的设备，其中所述视频编码器进一步经配置以在视频参数集中产生所述子DPB大小的所述至少一个指示。

38.根据权利要求37所述的设备，其中所述至少一个指示为具有明确地指示所述子DPB大小的值的语法元素，且其中所述子DPB大小为图片数目。

39.根据权利要求37所述的设备，其中所述至少一个指示为具有表示用于所述一或多个操作点的子DPB大小与用于先前经信号通知操作点的子DPB大小之间的差的值的语法元素。

40.根据权利要求34所述的设备，其中所述视频编码器进一步经配置以产生用于多层视频译码过程的一或多个操作点的所述多个子DPB中的每一者的所述子DPB大小的相应指示。

41.一种经配置以编码视频数据的设备，所述设备包括：

用于重建构多个不同层类型的多个图片的装置；

用于将所述多个图片存储于经解码图片缓冲器DPB中的装置，其中所述DPB被分割成多个子DPB；及

用于产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示的装置。

42.一种存储指令的计算机可读媒体，所述指令在经执行时致使经配置以编码视频数据的装置的一或多个处理器：

重建构多个不同层类型的多个图片；

将所述多个层图片存储于DPB中，其中所述DPB被分割成多个子DPB；及

产生用于多层视频译码过程的一或多个操作点的所述多个子DPB的子DPB大小的至少一个指示。