CN104221387B - 一种译码视频数据的方法、装置和设备 - Google Patents

Abstract

作为一个实例，一种译码视频数据的方法包括将视频数据的一或多个解码单元存储在图片缓冲器中。所述方法进一步包括获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述方法进一步包括根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元。所述方法进一步包括译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。

Description

一种译码视频数据的方法、装置和设备

本申请案主张2012年4月4日申请的美国临时申请案第61/620,266号及2012年5月1日申请的美国临时申请案第61/641,063号的权利，所述临时申请案中的每一者的全部内容是以引用方式并入本文中。

技术领域

本发明是关于视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、便携式或台式计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电话、视频电话会议装置，及其类似者。视频译码标准包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4V isual，及ITU-T H.264 (也被称为ISO/IEC MPEG-4AVC)，包括其可缩放视频译码(SVC)及多视图视频译码 (MVC)扩展。另外，高效率视频译码(HEVC)为由ITU-T视频译码专家组(VCEG)及 ISO/IEC运动图片专家组(MPEG)的研究视频译码的联合协作小组(JCT-VC)开发的视频译码标准。被称为“HEVC工作草稿6”或“HEVC WD6”的即将到来的HEVC标准的新近草稿被描述在Bross等人的文档JCTVC-H1003的“High efficiency video coding (HEVC)text specification draft 6”(ITU-TSG16WP3及ISO/IEC JTC1/SC29/WG11的研究视频译码的联合协作小组(JCT-VC)，第8次会议：美国加利福尼亚圣荷西，2012年2月) 中，到2012年5月1日为止，所述文档可从http://phenix.int-evry.fr/jct/doc_end_user/ documents/8_San％20Jose/wg11/JCTVC-H1003-v22.zip处下载。

视频压缩技术执行空间预测及/或时间预测以缩减或移除为视频序列所固有的冗余。对于基于块的视频译码，可将视频帧或切片分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测来编码经帧内译码(I)帧或切片中的宏块。经帧间译码(P或B)帧或切片中的宏块可使用关于所述同一帧或切片中的相邻宏块的空间预测，或关于其它参考帧的时间预测。

发明内容

大体上，本发明描述用以以可互操作方式实现缩减编码解码器延迟的各种技术。在一个实例中，这些技术可经由一般的基于子图片的经译码图片缓冲器(CPB)行为而实现。

在一个实例中，一种译码视频数据的方法包括将视频数据的一或多个解码单元存储在图片缓冲器中。所述方法进一步包括获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述方法进一步包括根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元。所述方法进一步包括译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。

在另一实例中，一种用于译码视频数据的装置经配置以将视频数据的一或多个解码单元存储在图片缓冲器中。所述装置经进一步配置以获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述装置经进一步配置以根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元。所述装置经进一步配置以译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。

在另一实例中，一种用于译码视频数据的设备包括用于将视频数据的一或多个解码单元存储在图片缓冲器中的装置。所述设备进一步包括用于获得用于所述一或多个解码单元的相应缓冲器移除时间的装置，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述设备进一步包括用于根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元的装置。所述设备进一步包括用于译码对应于所述经移除解码单元的视频数据的装置，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。

在另一实例中，一种计算机可读存储媒体包含存储在其上的指令，所述指令在执行时使处理器将视频数据的一或多个解码单元存储在图片缓冲器中。所述指令进一步使处理器获得用于所述一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的所述相应缓冲器移除时间的相应发信值。所述指令进一步使处理器根据用于所述解码单元中的每一者的所述所获得缓冲器移除时间而从所述图片缓冲器移除所述解码单元。所述指令进一步使处理器译码对应于所述经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的所述至少一者。

在另一实例中，一种方法包括根据多个视频可用性信息(VUI)参数中的至少一者来处理视频数据。所述多个VUI参数包括子图片经译码图片缓冲器(CPB)参数存在旗标(sub_pic_cpb_params_present_flag)，所述子图片CPB参数存在旗标指示子图片CPB参数的存在。所述多个VUI参数进一步包括补充增强信息(SEI)消息，所述SEI消息包括以下各者中的至少一者：指示在到达时间与移除时间之间针对第SchedSelIdx个CPB的延迟的语法元素(initial_du_cpb_removal_delay)，其中所述到达时间为与存取单元中的第一解码单元相关联的经译码数据的第一位进入经译码图片缓冲器(CPB)的到达时间，所述存取单元是与缓冲周期SEI消息相关联，且所述移除时间为针对在假设参考解码器 (HRD)初始化之后的第一缓冲周期与所述第一解码单元相关联的所述经译码数据离开所述CPB的移除时间；及结合指示CPB移除延迟(cpb_removal_delay)的语法元素而指示偏移的语法元素(initial_du_cpb_removal_delay_offset)，所述偏移是使所述第SchedSelIdx 个CPB指定所述第一解码单元到所述CPB的初始传递时间。所述多个VUI参数进一步包括SEI消息，所述SEI消息包括：指示网络存取层(NAL)单元的数目的至少一个语法元素(num_nalus_in_du_minus1)，其中所述数目为在与图片计时SEI消息相关联的所述存取单元的对应第i解码单元中的网络存取层(NAL)单元的数目；及指定时钟计时周期的数目的语法元素(du_cpb_removal_delay)，其中所述数目为在从所述CPB移除所述存取单元中的与所述图片计时SEI消息相关联的所述对应第i解码单元之前在所述存取单元中的与前一存取单元中的最近缓冲周期SEI消息相关联的所述第一解码单元从所述CPB 的移除之后将等待的时钟计时周期的数目。

在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及所述图式以及从权利要求书变得显而易见。

附图说明

图1为根据本发明的技术的说明可利用用于对视频块之间的边缘进行去块的技术的实例视频编码及解码系统的框图。

图2为根据本发明的技术的说明可实施用于对视频块之间的边缘进行去块的技术的视频编码器的实例的框图。

图3为根据本发明的技术的说明解码经编码视频序列的视频解码器的实例的框图。

图4为说明可实施本发明的技术中的任一者或全部的实例目的地装置的框图。

图5为根据本发明的技术的说明包括根据所获得缓冲器移除时间而从图片缓冲器移除视频数据的解码单元的实例方法的流程图。

图6为根据本发明的技术的说明包括根据所获得缓冲器移除时间而从图片缓冲器移除视频数据的解码单元的另一实例方法的流程图。

图7为根据本发明的技术的说明处理视频数据的另一实例方法的流程图，所述方法包括在提高进程中输出经剪裁图片。

具体实施方式

视频应用程序可包括本地播放、流式处理、广播/多播及交谈应用程序。交谈应用程序可包括视频电话及视频会议，且也被称为低延迟应用程序。交谈应用程序需要全部系统的相对低的端对端延迟，即，视频帧被捕获时的时间与视频帧被显示时的时间之间的延迟。通常，针对交谈应用程序的可接受的端对端延迟应小于400毫秒(ms)，且大约150 ms的端对端延迟可被视为极好。每一处理步骤可促成整体端对端延迟，例如，捕获延迟、预处理延迟、编码延迟、传输延迟、接收缓冲延迟(针对去抖动)、解码延迟、经解码图片输出延迟、后处理延迟，及显示延迟。因此，通常，编码解码器延迟(编码延迟、解码延迟及经解码图片输出延迟)在交谈应用程序中应最小化。特别地，译码结构应确保图片的解码顺序与输出顺序完全相同，使得经解码图片输出延迟等于零。

视频译码标准可包括视频缓冲模型的规范。在AVC及HEVC中，缓冲模型被称为假设参考解码器(HRD)，其包括经译码图片缓冲器(CPB)及经解码图片缓冲器(DPB)两者的缓冲模型，且CPB行为及DPB行为是以数学方式指定。HRD对不同计时、缓冲器大小及位速率直接强加约束，且对位流特性及统计间接强加约束。HRD参数的完整集合包括五个基本参数：初始CPB移除延迟、CPB大小、位速率、初始DPB输出延迟，及DPB 大小。

在AVC及HEVC中，作为HRD规范的部分，指定位流一致性及解码器一致性。尽管HRD被命名为一种类型的解码器，但通常在编码器侧处需要HRD以保证位流一致性，而在解码器侧处通常不需要HRD。指定两种类型的位流或HRD一致性，即，Type I及 Type II。同样地，指定两种类型的解码器一致性：输出计时解码器一致性及输出顺序解码器一致性。

在AVC及HEVC HRD模型中，解码或CPB移除是基于存取单元，且假设图片解码瞬时。在实际应用中，如果一致解码器严格地遵循(例如)在图片计时补充增强信息(SEI) 消息中发信的解码时间以开始存取单元的解码，那么输出特定经解码图片的最早可能时间等于那个特定图片的解码时间加解码那个特定图片所需要的时间。不同于AVC及 HEVC HRD模型，在现实世界中解码图片所需要的时间不等于零。如贯穿本发明所使用的术语“瞬时”及“瞬时地”可指可在一或多个译码模型或任何一或多个译码模型的理想化方面中被假设为瞬时的任何持续时间，其中应理解，这种情形可不同于在物理或文本意义上“瞬时”。举例来说，出于本发明的目的，如果函数或进程发生在针对所述待执行函数或进程的假设或理想化最早可能时间的实际边限时或内，那么所述函数或进程可被视为名义上“瞬时”。在一些实例中，如本文所使用的语法及变量名称可根据其在 HEVC模型内的含义加以理解。

基于子图片的CPB行为是在Kazui等人的“Enhancement on operation of codedpicture buffer”(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的研究视频译码的联合协作小组 (JCT-VC)，第7次会议：日内瓦，CH 21-30，2011年11月，JCTVC-G188(可在 http://phenix.int-evry.fr/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G188-v2.zip处得到))中被提出，以便以可互操作方式实现一个以下图片周期的译码延迟。可如下汇总JCTVC-G188方法：可将图片均匀地划分成M个树块组，即，所述图片的树块光栅扫描中的第一M个树块属于第一树块组，所述图片的树块光栅扫描中的第二M个树块属于第二树块组，等等。值M可在缓冲周期SEI消息中被发信。这个值可用以导出每一树块组的CPB移除时间(即，解码时间)。在这种意义上，JCTVC-G188CPB行为是基于子图片，其中每一子图片为树块组。在一些实例中，子图片可对应于一或多个切片、一或多个波(用于图片的波前分割)，或一或多个图像块。在JCTVC-G188的这种方法中假设存取单元级别CPB移除时间照常被发信(使用图片计时SEI消息)，且在每一存取单元内，用于树块组的CPB移除时间被假设为线性地或均匀地划分从上一存取单元的CPB 移除时间到当前存取单元的CPB移除时间的间隔。

JCTVC-G188的这种方法进一步暗示以下假设或位流要求：(1)在每一图片内，每一树块组是以需要相同量的解码时间的方式被编码(不仅在HRD模型中，而且针对现实世界解码器)，其中第一树块组的经译码数据被视为包括在同一存取单元中且在第一VCL (视频译码层)NAL(网络抽象层)单元之前的所有非VCL NAL单元；(2)在每一图片内，用于每一树块组的位的数目完全相同，其中第一树块组的经译码数据被视为包括在同一存取单元中且在第一VCL NAL单元之前的所有非VCL NAL单元。

用于指定基于子图片的CPB行为的现有方法是与至少以下问题相关联：(1)用于经译码图片中的每一树块组的经译码数据的量完全相同的要求难以用平衡的译码性能而实现(其中图片中具有更详细纹理或运动活动的区域的树块组可使用更多位)。(2)当一个以上树块组包括在切片中时，可不存在容易的方式来拆分属于不同树块组的树块的经译码位，及在编码器侧处单独地发送所述位且从CPB单独地移除所述位(即，单独地解码所述位)。

为了解决以上问题，本发明用各种替代例来描述用于支持基于子图片的CPB行为的一般设计。在一些实例中，本发明的基于子图片的CPB技术的特征可包括以下技术的方面：(1)每一子图片可包括在解码顺序方面连续的经译码图片的数个译码块。译码块可完全相同于树块，或树块的子集；(2)可照常执行子图片的译码及位到图片中的不同子图片的分配，而不假设或要求用相同量的位来译码一个图片中的每一子图片(即，树块组)。因此，用于每一子图片的CPB移除时间可在位流中被发信，而非根据经发信图片级别 CPB移除时间而导出；(3)当一个以上子图片包括在切片中时，可在每一子图片结束时应用字节对准，这与(例如)用于HEVC WD6中的图像块的字节对准形成对比。此外，每一子图片(惟经译码图片中的第一子图片除外)的入口点可被发信，这与(例如)用于HEVC WD6中的图像块的字节对准形成对比。举例来说，经接收发信值可指示在视频数据的较大集合(诸如，切片、图像块或帧)内的子图片中的至少一者的字节对准。特征(1)到(3)中的每一者可被独立地应用或结合其它特征而应用。

在一个实例中，可如下汇总包括基于子图片的CPB行为的HRD操作：当发信指示基于子图片的CPB行为在使用中时(例如，经由等于1的语法元素sub_pic_cpb_flag的序列级别发信)，CPB移除或解码是基于子图片，或等效地，是基于解码单元，解码单元可为存取单元或存取单元的子集。换言之，每当从CPB移除解码单元(无论是存取单元还是存取单元的子集)以供解码时，就可从经发信初始CPB移除延迟及针对解码单元而发信的CPB移除延迟导出解码单元离开CPB的移除时间。CPB下溢被指定为如下条件：对于m的任何值，解码单元m的名义CPB移除时间t_r，n(m)小于解码单元m的最终CPB 移除时间t_af(m)。在一个实例中，当语法元素low_delay_hrd_flag等于0时，要求CPB 永不下溢。

在一个实例中，DPB输出及移除进程可仍在图片级别或存取单元级别处操作，即，每当从DPB输出或移除整个经解码图片时。经解码图片从DPB的移除可在存取单元n (含有当前图片)的第一解码单元的CPB移除时间瞬时地发生。

图1为说明可利用尤其用于以下操作的技术的实例视频编码及解码系统10的框图：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用于一或多个解码单元的相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元；及译码对应于经移除解码单元的视频数据。

如图1所示，系统10包括源装置12，源装置12经由通信信道16而将经编码视频传输到目的地装置14。源装置12及目的地装置14可包含广泛范围的装置中的任一者。在一些状况下，源装置12及目的地装置14可包含无线通信装置，诸如，无线手机、所谓的蜂窝或卫星无线电话，或可经由通信信道16而传达视频信息的任何无线装置，在这种状况下，通信信道16是无线的。然而，本发明的技术未必限于无线应用或设置。举例来说，这些技术可应用于空中电视广播、有线电视传输、卫星电视传输、因特网视频传输、编码到存储媒体上的经编码数字视频，或其它情境。因此，通信信道16可包含适合于经编码视频数据的传输或存储的无线媒体、有线媒体或存储媒体的任何组合。

替代地，经编码数据可从传输器24输出到存储装置34。相似地，经编码数据可由接收器26从存储装置34存取。存储装置34可包括多种分布式或本地存取式数据存储媒体中的任一者，诸如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另外实例中，存储装置34可对应于文件服务器、虚拟服务器、数据中心、数据中心的冗余网络，或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14 可经由流式处理或下载而从存储装置34存取经存储视频数据。存储装置34或其部分的文件服务器实施可为能够存储经编码视频数据且将那个经编码视频数据传输到目的地装置14的任何服务器类型。实例文件服务器包括web服务器(例如，用于网站)、FTP 服务器、网络连接存储(NAS)装置，或本地磁盘驱动器。目的地装置14可经由包括因特网连接的任何标准数据连接而存取经编码视频数据。这种连接可包括适合于存取存储在远程或非本地存储装置34上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器，等等)，或这两者的组合。经编码视频数据从存储装置34的传输可为流式处理传输、下载传输，或这两者的组合。

在图1的实例中，源装置12包括视频源18、视频编码器20、调制器/解调器(调制解调器)22及传输器24。目的地装置14包括接收器26、调制解调器28、视频解码器30 及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用尤其用于以下操作的技术：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用于一或多个解码单元的相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元；及译码对应于经移除解码单元的视频数据。在其它实例中，源装置及目的地装置可包括其它组件或排列。举例来说，源装置12可从外部视频源(诸如，外部相机)而非整合式视频源18接收视频数据。同样地，目的地装置14可与外部显示装置界接，而非包括整合式显示装置32。

图1的所说明系统10仅仅为一个实例。用于以下操作的技术可由任何数字视频编码及/或解码装置执行：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用于一或多个解码单元的相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元；及译码对应于经移除解码单元的视频数据。尽管本发明的技术通常是由视频编码装置执行，但所述技术也可由通常被称为“CODEC”的视频编码器/解码器执行。此外，本发明的技术也可由视频预处理器执行。源装置12 及目的地装置14仅仅为这些译码装置的实例，其中源装置12产生经译码视频数据以供传输到目的地装置14。在一些实例中，装置12、14可以大体上对称方式而操作，使得装置12、14中的每一者包括视频编码及解码组件。因此，系统10可支持视频装置12、 14之间的单向或双向视频传输，例如，用于视频流式处理、视频播放、视频广播或视频电话。

源装置12的视频源18可包括诸如摄像机的视频捕获装置、含有经以前捕获视频的视频存档，及/或来自视频内容提供者的视频馈送。作为另外替代例，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频与经计算机产生视频的组合。在一些状况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明所描述的技术大体上可适用于视频译码，且可应用于无线及/或有线应用。在每一状况下，经捕获、经预捕获或经计算机产生视频可由视频编码器20编码。经编码视频信息接着可由调制解调器22根据通信标准而调制，且经由传输器24而传输到目的地装置14。调制解调器22可包括各种混频器、滤波器、放大器，或经设计用于信号调制的其它组件。传输器24可包括经设计用于传输数据的电路，包括放大器、滤波器及一或多个天线。

目的地装置14的接收器26经由信道16而接收信息，且调制解调器28解调所述信息。同样地，视频编码进程可实施本文所描述的技术中的一或多者，尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。经由信道16而传达的信息可包括由视频编码器20定义的语法信息，所述语法信息也可由视频解码器30使用，其包括描述宏块、译码树单元、切片及其它经译码单元(例如，图片组(GOP))的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包含多种显示装置中的任一者，诸如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED) 显示器，或另一类型的显示装置。

在图1的实例中，通信信道16可包含任何无线或有线通信媒体，诸如，射频(RF) 频谱或一或多个物理传输线，或无线媒体与有线媒体的任何组合。通信信道16可形成基于数据包的网络的部分，诸如，局域网、广域网，或诸如因特网的全局网络。通信信道16通常表示用于将视频数据从源装置12传输到目的地装置14的任何合适通信媒体或不同通信媒体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包括路由器、交换机、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它设备。在其它实例中，源装置12可将经编码数据存储到存储媒体上，诸如，存储在存储装置34中，而非传输所述数据。同样地，目的地装置14可经配置以从存储装置34或另一存储媒体或装置检索经编码数据。

视频编码器20及视频解码器30可根据诸如本文所描述的标准的视频压缩标准而操作。然而，本发明的技术不限于任何特定译码标准。尽管图1中未图示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器整合，且可包括适当 MUX-DEMUX单元或其它硬件及软件，以处置公共数据流或单独数据流中的音频及视频两者的编码。适用时，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或诸如用户数据报协议(UDP)的其它协议。

视频编码器20及视频解码器30可各自被实施为多种合适编码器电路中的任一者，诸如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、包括诸如编码器或解码器的视频译码装置的无线通信装置、离散逻辑、软件、硬件、固件，或其任何组合。视频编码器20及视频解码器30中的每一者可包括在一或多个编码器或解码器中，所述一或多个编码器或解码器中的任一者可在相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器或其它装置中整合为组合式编码器/解码器(CODEC)的部分。

视频序列通常包括一系列视频帧。图片组(GOP)通常包含一系列一或多个视频帧。GOP可包括在GOP的标头中、在GOP的一或多个帧的标头中或在别处的语法数据，所述语法数据描述包括在GOP中的帧的数目。每一帧可包括描述用于相应帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧内的视频块(也被称为译码单元(CU)) 进行操作，以便编码视频数据。视频块可对应于最大译码单元(LCU)或LCU的分区。视频块可具有固定或变化大小，且其大小可根据指定译码标准而不同。每一视频帧可包括多个切片。每一切片可包括多个LCU，所述LCU可排列成若干分区，也被称为子CU。LCU也可被称为译码树单元。

作为实例，ITU-T H.264标准支持以下各者：以各种块大小的帧内预测，诸如，针对亮度分量的16乘16、8乘8或4乘4，及针对色度分量的8×8；以及以各种块大小的帧间预测，诸如，针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8及4×4，及针对色度分量的对应缩放大小。在本发明中，“N×N”与“N乘N”可互换式地用以在垂直维度及水平维度方面指块的像素尺寸，例如，16×16像素或16乘16像素。一般而言， 16×16块将具有在垂直方向上的16个像素(y＝16)，及在水平方向上的16个像素(x＝16)。同样地，N×N块通常具有在垂直方向上的N个像素及在水平方向上的N个像素，其中 N表示非负整数值。块中的像素可以行及列而排列。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包含N×M像素，其中M未必等于 N。

视频块可包含在像素域中的像素数据块，或在变换域中的变换系数块，例如，在将诸如离散余弦变换(DCT)、整数变换、小波变换或概念上相似变换的变换应用于表示经译码视频块与预测性视频块之间的像素差的残余视频块数据之后。在一些状况下，视频块可包含在变换域中的经量化变换系数块。

较小视频块可提供较好分辨率，且可用于视频帧的包括高细节级别的位置。一般而言，可将块及各种分区(有时被称为子块)视为视频块。另外，可将切片视为多个视频块，诸如，块及/或子块。每一切片可为视频帧的可独立解码单元。替代地，帧自身可为可解码单元，或帧的其它部分可被定义为可解码单元。术语“经译码单元”可指视频帧的任何可独立解码单元，诸如，整个帧或帧的切片、也被称为经译码视频序列的图片组(GOP)，或根据适用译码技术而定义的另一可独立解码单元。

在进行帧内预测性或帧间预测性译码以产生预测性数据及残余数据之后，且在进行任何变换(诸如，在H.264/AVC中使用的4×4或8×8整数变换，或离散余弦变换DCT) 以产生变换系数之后，可执行变换系数的量化。量化通常是指量化变换系数以可能地缩减用以表示所述系数的数据的量的进程。量化进程可缩减与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间降值舍入到m位值，其中n大于m。

HEVC将视频数据块称为译码单元(CU)，所述CU可包括一或多个预测单元(PU)及/或一或多个变换单元(TU)。本发明也可使用术语“块”以指CU、PU或TU中的任一者。位流内的语法数据可定义最大译码单元(LCU)，所述LCU在像素的数目方面为最大译码单元。一般而言，CU具有与H.264的宏块的目的相似的目的，惟CU不具有大小区别除外。因此，CU可拆分成若干子CU。一般而言，在本发明中对CU的参考可指图片的最大译码单元，或LCU的子CU。LCU可拆分成若干子CU，且每一子CU可进一步拆分成若干子CU。用于位流的语法数据可定义LCU可被拆分的最大次数，被称为CU深度。因此，位流也可定义最小译码单元(SCU)。

LCU可与四叉树数据结构相关联。一般而言，四叉树数据结构包括每CU一个节点，其中根节点对应于LCU。如果CU拆分成四个子CU，那么对应于所述CU的节点包括四个叶节点，所述叶节点中的每一者对应于所述子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包括拆分旗标，所述拆分旗标指示对应于所述节点的CU是否拆分成若干子CU。用于CU的语法元素可被递归地定义，且可取决于CU是否拆分成若干子CU。如果CU未被进一步拆分，那么其被称为叶CU。在本发明中，叶CU的4个子CU也将被称为叶CU，但不存在原始叶 CU的显式拆分。举例来说，如果以16×16大小的CU未被进一步拆分，那么四个8×8 子CU也可被称为叶CU，但16×16CU尚未被拆分。

此外，叶CU的TU也可与相应四叉树数据结构相关联。即，叶CU可包括指示叶 CU如何拆分成若干TU的四叉树。本发明将指示LCU如何被分割的四叉树称为CU四叉树，且将指示叶CU如何分割成若干TU的四叉树称为TU四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于LCU。TU四叉树的未被拆分的 TU可被称为叶TU。

叶CU可包括一或多个预测单元(PU)。一般而言，PU表示对应CU的全部或部分，且可包括用于检索用于所述PU的参考样本的数据。举例来说，当PU被帧间模式编码时，PU可包括定义用于PU的运动矢量的数据。定义运动矢量的数据可描述(例如)运动矢量的水平分量、运动矢量的垂直分量、用于运动矢量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动矢量所指向的参考帧，及/或用于运动矢量的参考列表(例如，列表0或列表1)。定义PU的用于叶CU的数据也可描述(例如)CU成为一或多个 PU的分割。取决于CU未被译码、被帧内预测模式编码还是被帧间预测模式编码，分割模式可不同。对于帧内译码，PU可被视为与下文所描述的叶变换单元相同。

叶CU可包括一或多个变换单元(TU)。所述变换单元可使用TU四叉树结构予以指定，如上文所论述。即，拆分旗标可指示叶CU是否拆分成四个变换单元。接着，每一变换单元可进一步拆分成4个子TU。当TU未被进一步拆分时，其可被称为叶TU。一般而言，拆分旗标可指示叶TU拆分成若干正方形TU。为了指示TU拆分成若干非正方形TU，可包括其它语法数据，例如，指示TU将根据非正方形四叉树变换(NSQT)而分割的语法数据。

通常，对于帧内译码，属于叶CU的所有叶TU共享相同帧内预测模式。即，通常应用相同帧内预测模式以计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式来计算每一叶TU的残余值，作为预测性值的对应于TU的部分与原始块之间的差。残余值可被变换、量化及扫描。对于帧间译码，视频编码器可在PU 级别处执行预测，且可计算用于每一PU的残余。对应于叶CU的残余值可被变换、量化及扫描。对于帧间译码，叶TU可大于或小于PU。对于帧内译码，PU可与对应叶TU 并置。在一些实例中，叶TU的最大大小可为对应叶CU的大小。

一般而言，本发明使用术语CU及TU以分别指叶CU及叶TU，除非另有提到。一般而言，本发明的技术是关于变换、量化、扫描及熵编码CU的数据。作为实例，本发明的技术包括选择待使用的变换，以基于用以预测经帧内预测块的帧内预测模式来变换所述块的残余值。本发明也使用术语“方向性变换”或“经设计变换”以指取决于帧内预测模式方向的此类变换。即，视频编码器可选择方向性变换以应用于变换单元(TU)。如上文所提到，帧内预测包括从图片的经以前译码CU及TU预测所述同一图片的当前 CU的TU。更具体地说，视频编码器可使用特定帧内预测模式来帧内预测图片的当前 TU。

在量化之后，可(例如)根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、概率区间分割熵译码(PIPE)或另一熵译码方法来执行经量化数据的熵译码。经配置用于熵译码的处理单元或另一处理单元可执行其它处理功能，诸如，经量化系数的零行程长度译码，及/或语法信息的产生，诸如，经译码块样式(CBP)值、宏块类型、译码模式、用于经译码单元(诸如，帧、切片、宏块或序列)的最大宏块大小，或其它语法信息。

视频编码器20可经配置以执行反量化及反变换，以将待作为参考而用于预测后续块的经解码块存储在(例如)待在时间上预测的同一或相同帧中。视频编码器20可(例如)在帧标头、块标头、切片标头或GOP标头中进一步将诸如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据的语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。

适用时，视频编码器20及视频解码器30可各自被实施为多种合适编码器或解码器电路中的任一者，诸如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路 (ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件，或其任何组合。视频编码器20及视频解码器30中的每一者可包括在一或多个编码器或解码器中，所述一或多个编码器或解码器中的任一者可整合为组合式视频编码器/解码器(CODEC)的部分。包括视频编码器20及/或视频解码器30的设备可包含集成电路、微处理器，及/或无线通信装置，诸如，蜂窝电话。

根据本发明的技术，视频编码器20及/或视频解码器30可经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。

以下定义是关于实例视频编码器20及/或视频解码器30而提供，视频编码器20及/或视频解码器30经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。

出于描述一个实例集合的目的，可如下定义术语“解码单元”：

解码单元：存取单元或存取单元的子集。如果sub_pic_cpb_flag等于0，那么解码单元为存取单元；否则，解码单元为存取单元的子集。当sub_pic_cpb_flag等于1时，存取单元中的第一解码单元包括存取单元中的所有非VCL NAL单元，及同一存取单元中的第一VCLNAL单元，且存取单元中的每一其它解码单元为并非存取单元中的第一经译码切片NAL单元的经译码切片NAL单元。

出于描述第二实例集合的目的，可如下定义术语“解码单元”，其中术语“子图片”的额外定义是如“解码单元”的对应实例定义中所使用：

解码单元：存取单元或存取单元的子集。如果sub_pic_cpb_flag等于0，那么解码单元为存取单元；否则，解码单元为存取单元的子集。当sub_pic_cpb_flag等于1时，存取单元中的第一解码单元包括存取单元中的所有非VCL NAL单元，及同一存取单元中的图片的第一子图片，且存取单元中的每一其它解码单元为并非存取单元中的第一子图片的子图片。

子图片：在解码顺序方面连续的经译码图片的数个译码块。

在根据上文所提供的第二实例集合的定义中，当一个以上子图片包括在切片中时，可在每一子图片结束时应用字节对准，这与(例如)用于HEVC WD6中的图像块的字节对准形成对比。此外，每一子图片(惟经译码图片中的第一子图片除外)的入口点可被发信。

在一些替代例中，当位流含有多个可缩放层或视图时，解码单元可被定义为层表示或视图组件。在层表示或视图组件的第一VCLNAL单元之前的所有非VCL单元也属于含有层表示或视图组件的解码单元。

提供实例假设参考解码器(HRD)操作、经译码图片缓冲器的实例操作、位流到达的实例计时、解码单元移除的实例计时、解码单元的实例解码、经解码图片缓冲器的实例操作、图片从经解码图片缓冲器的实例移除、实例图片输出以及实例当前经解码图片标记及存储的以下描述以说明视频编码器20及/或视频解码器30的实例，视频编码器20 及/或视频解码器30可经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。在其它实例中，可不同地定义或执行所述操作。如此，视频编码器20及/ 或视频解码器30可经配置以根据下文所描述的HRD操作的各种实例而操作。

作为一个实例，可如下概括地描述HRD操作：CPB大小(位的数目)为 CpbSize[SchedSelIdx]。用于时间层X的DPB大小(图片存储缓冲器的数目)针对在0到 max_temporal_layers_minus1(包括在内)的范围内的每一X为max_dec_pic_buffering[X] +1。在这个实例中，HRD可操作如下：与根据指定到达调度而流动到CPB中的存取单元相关联的数据可由假设流调度器(HSS)(即，传递调度器)传递。与每一解码单元相关联的数据可通过瞬时解码进程在CPB移除时间瞬时地移除及解码。每一经解码图片可放置在DPB中。在DPB输出时间的较迟时间或经解码图片变得不再为帧间预测参考所需要的时间，可从DPB移除经解码图片。

可用真实值来进行这些实例中的算术，使得不传播舍入误差。举例来说，恰好在解码单元的移除之前或之后的CPB中的位的数目未必为整数。

变量t_c可被导出如下，且可被称为时钟计时周期：

t_c＝num_units_in_tick÷time_scale (C-1)

可指定以下内容以用于表达在对HEVC的实例附件修改中的约束：

使存取单元n为按解码顺序的第n存取单元，其中第一存取单元为存取单元0；

使图片n为存取单元n的经译码图片或经解码图片；

使解码单元m为按解码顺序的第m解码单元，其中第一解码单元为解码单元0。

如下描述用于操作经译码图片缓冲器(CPB)的一些实例技术。根据一些视频译码技术，可实施CPB操作的各种方法。HEVC WD6关于CPB操作的章节中的规范可由本发明修改，且可独立地应用于所存在的每一CPB参数集合且应用于Type I一致性点及Type II一致性点两者。

如下描述涉及位流到达的计时的一些实例。HRD可以缓冲周期补充增强信息(SEI)消息中的任一者予以初始化。在初始化之前，CPB可空白。在初始化之后，HRD可不再次通过后续缓冲周期SEI消息初始化。

与初始化CPB的缓冲周期SEI消息相关联的存取单元可被称为存取单元0。每一解码单元可被称为解码单元m，其中编号m识别特定解码单元。存取单元0中按解码顺序的第一解码单元可被称为解码单元0。m的值针对按解码顺序的每一后续解码单元可递增1。

解码单元m的第一位开始进入CPB的时间可被称为初始到达时间t_ai(m)。可如下导出解码单元的初始到达时间：

如果解码单元为解码单元0，那么t_ai(0)＝0，

否则(解码单元为解码单元m，其中m＞0)，以下内容可适用：

如果cbr_flag[SchedSelIdx]等于1，那么用于解码单元m的初始到达时间等于解码单元m-1的最终到达时间(其在下文被导出)，即，

t_ai(m)＝t_af(m-1) (C-2)

否则(cbr_flag[SchedSelIdx]等于0)，用于解码单元m的初始到达时间是由下式导出：

t_ai(m)＝Max(t_af(m-1)，t_{ai，earliest}(m)) (C-3)

其中t_{ai，earliest}(m)被导出如下。

如果解码单元m并非后续缓冲周期的第一解码单元，那么t_{ai，earliest}(m)可被导出为：

t_{ai，earliest}(m)＝t_r，n(m)-(initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_ delay_offset[SchedSelIdx])÷90000 (C-4)

其中t_r，n(m)为如所指定的解码单元m离开CPB的名义移除时间，且 initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx] 被指定在上一缓冲周期SEI消息中；

否则(解码单元m为后续缓冲周期的第一解码单元)，t_{ai，earliest}(m)可被导出为：

t_{ai，earliest}(m)＝t_r，n(m)-(initial_cpb_removal_delay[SchedSelIdx]÷90000) (C-5)

其中initial_cpb_removal_delay[SchedSelIdx]被指定在与含有解码单元m的存取单元相关联的缓冲周期SEI消息中。

用于解码单元m的最终到达时间可由下式导出：

t_af(m)＝t_ai(m)+b(m)÷BitRate[SchedSelIdx] (C-6)

其中b(m)可为解码单元m的以位为单位的大小，其针对Type I一致性点而计数VCLNAL单元及填充物数据NAL单元的位或针对Type II一致性点而计数Type II位流的所有位。

在一些实例中，可如下约束SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]的值：

如果用于含有解码单元m的存取单元的活动序列参数集合的内容与用于上一存取单元的活动序列参数集合的内容不同，那么HSS从提供在用于含有解码单元m的存取单元的活动序列参数集合中的SchedSelIdx的值当中选择SchedSelIdx的值SchedSelIdx1，所述值SchedSelIdx1针对含有解码单元m的存取单元引起BitRate[SchedSelIdx1]或 CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]的值可不同于针对在使用中用于上一存取单元的SchedSelIdx的值SchedSelIdx0的BitRate[SchedSelIdx0] 或CpbSize[SchedSelIdx0]的值。

否则，HSS继续用SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]的先前值而操作。

当HSS选择不同于上一存取单元的值的BitRate[SchedSelIdx]或 CpbSize[SchedSelIdx]的值时，以下内容在一些实例中可适用：

变量BitRate[SchedSelIdx]在时间t_ai(m)开始生效

变量CpbSize[SchedSelIdx]开始生效如下：

如果CpbSize[SchedSelIdx]的新值超过旧CPB大小，那么其在时间t_ai(m)开始生效，

否则，CpbSize[SchedSelIdx]的新值在含有解码单元m的存取单元的最后解码单元的CPB移除时间开始生效。

当sub_pic_cpb_flag等于1时，存取单元n的初始CPB到达时间t_ai(n)可设置到存取单元n中的第一解码单元的初始CPB到达时间，且存取单元n的最终CPB到达时间t_af(n) 可设置到存取单元n中的最后解码单元的最终CPB到达时间。

如下描述涉及解码单元移除的计时及解码单元的解码的一些实例。当解码单元m为 m等于0的解码单元(初始化HRD的存取单元的第一解码单元)时，解码单元离开CPB 的名义移除时间可由下式指定：

t_r，n(0)＝initial_cpb_removal_delay[SchedSelIdx]÷90000 (C-7)

当解码单元m为并不初始化HRD的缓冲周期的第一存取单元的第一解码单元时，解码单元离开CPB的名义移除时间可由下式指定：

t_r，n(m)＝t_r，n(m_b)+t_c*cpb_removal_delay(m) (C-8)

其中t_r，n(m_b)为上一缓冲周期的第一解码单元的名义移除时间，且 cpb_removal_delay(m)为在与含有解码单元m的存取单元相关联的图片计时SEI消息中所指定的用于解码单元m的cpb_removal_delay[i]的值。

当解码单元n为缓冲周期的第一解码单元时，m_b可设置为在解码单元n的移除时间t_r，n(m)等于m。并非缓冲周期的第一解码单元的解码单元m的名义移除时间t_r，n(m)可由下式给出：

t_r，n(m)＝t_r，n(m_b)+t_c*cpb_removal_delay(m) (C-9)

其中t_r，n(m_b)为当前缓冲周期的第一解码单元的名义移除时间，且 cpb_removal_delay(m)为在与含有解码单元m的存取单元相关联的图片计时SEI消息中所指定的用于解码单元m的cpb_removal_delay[i]的值。

可如下指定解码单元m的移除时间：

如果low_delay_hrd_flag等于0或t_r，n(m)＞＝t_af(m)，那么解码单元n的移除时间可由下式指定：

t_r(m)＝t_r，n(m) (C-10)

否则(low_delay_hrd_flag等于1且t_r，n(m)＜t_af(m))，解码单元m的移除时间是由下式指定：

t_r(m)＝t_r，n(m)+t_c*Ceil((t_af(m)-t_r，n(m))÷t_c) (C-11)

后一状况指示解码单元m的大小b(m)如此大以致于其防止在名义移除时间的移除。

当sub_pic_cpb_flag等于1时，存取单元n的名义CPB移除时间t_r，n(n)可设置到存取单元n中的最后解码单元的正常CPB移除时间，存取单元n的CPB移除时间t_r(n)可设置到存取单元n中的最后解码单元的CPB移除时间。

在一些实例中，在解码单元m的CPB移除时间，所述解码单元可被瞬时地解码。

如下描述经解码图片缓冲器(DPB)的操作的一些实例。所述经解码图片缓冲器可含有图片存储缓冲器。所述图片存储缓冲器中的每一者可含有经解码图片，所述经解码图片被标记为“用于参考”或经保持以供未来输出。在初始化之前，DPB可空白(DPB充满度设置到零)。本发明的技术的这些实例的以下步骤可以所列出序列而发生。

如下描述图片从经解码图片缓冲器(DPB)的移除的一些实例。在一些实例中，在当前图片的解码之前(但在分析当前图片的第一切片的切片标头之后)图片从DPB的移除可在存取单元n(含有当前图片)的第一解码单元的CPB移除时间瞬时地发生，且可进行如下。

可调用如在HEVC WD6的子条款8.3.2中所指定的用于参考图片集合的解码进程。如果当前图片为瞬时解码器刷新(IDR)图片，那么以下内容可适用：

1.当IDR图片并非经解码的第一IDR图片(例如，当无先前图片输出旗标具有不等于1的值时)且从活动序列参数集合导出的pic_width_in_luma_samples(例如，亮度样本中的图片宽度)或pic_height_in_luma_samples或max_dec_pic_buffering的值分别不同于从针对前一图片为活动的序列参数集合导出的pic_width_in_luma_samples或 pic_height_in_luma_samples或max_dec_pic_buffering的值时， no_output_of_prior_pics_flag可推断为等于1或由HRD设置为等于1，而不管 no_output_of_prior_pics_flag的实际值如何。相比于关于pic_width_in_luma_samples或 pic_height_in_luma_samples的改变的HRD，解码器实施可更从容地处置图片或DPB大小改变。

2.当no_output_of_prior_pics_flag等于1或设置为或推断为等于1时，可使DPB中的所有图片存储缓冲器空白而没有其所含有的图片的输出，且DPB充满度可设置到0。

可从DPB移除DPB中的所有图片k(对于所述图片，所有以下条件成立)：图片k 被标记为“未用于参考”；图片k具有等于0的PicOutputFlag，或其DPB输出时间小于或等于当前图片n的第一解码单元(被表示为解码单元m)的CPB移除时间；即，

t_o，dpb(k)＜＝t_r(m)

当从DPB移除图片时，DPB充满度可递减1。

如下描述图片输出的一些实例。以下情形可在存取单元n(含有当前图片)的最后解码单元(被表示为解码单元m)的CPB移除时间t_r(m)瞬时地发生。图片n可在所述图片的最后解码单元被解码之后被视为经解码。

变量maxPicOrderCnt(对于最大图片顺序计数(POC))可设置为等于当前图片及DPB 中当前被标记为“用于短期参考”或具有大于t_r(m)的DPB输出时间的所有图片的PicOrderCntVal(对于图片顺序计数(POC)值)值的最大值。变量minPicOrderCnt(对于最小图片顺序计数(POC))可设置为等于当前图片及DPB中当前被标记为“用于短期参考”或具有大于t_r(m)的DPB输出时间的所有图片的PicOrderCntVal的最小值。以下内容可为位流一致性的要求：maxPicOrderCnt-minPicOrderCnt的值应小于 MaxPicOrderCntLsb/2。

当图片n具有等于1的PicOutputFlag时，其DPB输出时间t_o，dpb(n)可由下式导出：

t_o，dpb(n)＝t_r(m)+t_c*dpb_output_delay(n) (C-12)

其中dpb_output_delay(n)为在与存取单元n相关联的图片计时SEI消息中所指定的 dpb_output_delay的值。可如下指定当前图片的输出：

如果PicOutputFlag等于1且t_o，dpb(n)＝t_r(m)，那么当前图片被输出；

否则，如果PicOutputFlag等于0，那么当前图片未被输出，但可存储在DPB中，如下文进一步所指定；

否则(PicOutputFlag等于1且t_o，dpb(n)＞t_r(m))，当前图片稍后被输出且将存储在DPB 中(如下文进一步所指定)，且在时间t_o，dpb(n)被输出，除非被指示不会通过等于1的no_output_of_prior_pics_flag的解码或推断在t_o，dpb(n)之前的时间被输出。

当被输出时，当前或选定图片可使用在活动序列参数集合中所指定的剪裁矩形予以剪裁，从而基于选定图片(即，当前图片)来产生经剪裁图片。当图片n为被输出且并非被输出的位流的最后图片的图片时，Δt_o，dpb(n)的值被定义为：

Δt_o，dpb(n)＝t_o，dpb(n_n)-t_o，dpb(n) (C-13)

其中n_n指示在输出顺序方面跟随在图片n之后且具有等于1的PicOutputFlag的图片。下文进一步提供提高进程及剪裁进程的另外细节。

如下描述涉及当前经解码图片标记及存储的一些实例。以下情形可在存取单元n(含有当前图片)的最后解码单元的CPB移除时间t_r(m)瞬时地发生。当前经解码图片可在DPB中存储在空白图片存储缓冲器中，且DPB充满度可递增1。如果当前图片为参考图片，那么其可被标记为“用于参考”，否则，其可被标记为“未用于参考”。

用于CPB行为模式的发信的以下实例语法及语义是关于实例视频编码器20及/或视频解码器30而提供，视频编码器20及/或视频解码器30经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。

如下描述用于CPB行为模式的发信的语法及语义的一些实例。可通过添加子图片CPB旗标sub_pic_cpb_flag来改变视频可用性信息(VUI)参数的语法，如下表1所示：

表1

在这个实例中，相对于习知HEVC，表1包括附加旗标“sub_pic_cpb_flag”。这个子图片CPB旗标“sub_pic_cpb_flag”可用以发信提供到译码图片缓冲器(CPB)的视频数据集合是否包括用于子图片解码的子图片参数。存在可由旗标“sub_pic_cpb_flag”发信的这些子图片参数可包括缓冲器移除时间，其包括用于一或多个解码单元中的每一者的相应缓冲器移除时间(即，CPB移除时间)。sub_pic_cpb_flag的语义的一个实例如下。等于0的语法元素sub_pic_cpb_flag可指定CPB在存取单元级别处操作。等于1的语法元素sub_pic_cpb_flag可指定CPB在可处于存取单元或存取单元子集的级别的解码单元级别处操作，所述子集可对应于子图片。当sub_pic_cpb_flag不存在时，其值可设置到推断为等于0，这种情形可指示视频数据不包括用于子图片解码的子图片参数的默认状态。

如下描述用于解码单元的CPB移除时间的发信的语法及语义的一些实例。缓冲周期 SEI消息的语法可如在HEVC WD6中保持不变，而语法元素 initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_delay_offset[SchedSelIdx] 的语义可改变如下。在这个实例中，语法元素initial_cpb_removal_delay[SchedSelIdx]可指定在到达时间与移除时间之间针对第SchedSelIdx个CPB的延迟，其中所述到达时间为与存取单元中的第一解码单元相关联的经译码数据的第一位进入CPB的到达时间，所述存取单元是与缓冲周期SEI消息相关联，且所述移除时间为针对在HRD初始化之后的第一缓冲周期与同一解码单元相关联的经译码数据离开CPB的移除时间。这个语法元素可具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度。这种情形可指90kHz时钟的单位。在这个实例中，这个语法元素 initial_cpb_removal_delay[SchedSelIdx]可不等于0，且可不超过90000* (CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，以90kHz时钟为单位的CPB大小的时间等效者。

在这个实例中，语法元素initial_cpb_removal_delay_offset[SchedSelIdx]可结合语法元素cpb_removal_delay而用于第SchedSelIdx个CPB以指定解码单元到CPB的初始传递时间。此外，语法元素initial_cpb_removal_delay_offset[SchedSelIdx]可以90kHz时钟为单位。initial_cpb_removal_delay_offset[SchedSelIdx]语法元素可为固定长度码，其以位为单位的长度是由initial_cpb_removal_delay_length_minus1+1给出。这个语法元素可不由解码器使用，且可仅为在HEVC WD6的Annex C中所指定的传递调度器(HSS)所需要。

在一些实例中，图片计时SEI消息的语法及语义可如下表2所示而改变：

表2

在表2的实例中，pic_timing SEI消息包括附加num_decoding_units_minus1信号，及遍及数个解码单元的for循环，其在VUI参数的sub_pic_cpb_flag(例如，根据上表1)成立时发信解码单元离开经译码图片缓冲器的相应移除延迟。如此，pic_timing SEI消息可包括指示当VUI参数指示CPB在解码单元级别处操作时直到从经译码图片缓冲器移除多个解码单元中的每一者而等待的时钟计时周期的数目的信息。解码单元的移除延迟可为针对每一解码单元的以有效负载或其它数据单位为单位的相同延迟。在其它实例中，不同移除延迟可应用于不同解码单元。在位的数目相对于针对适用时钟的位处理速率的隐式时间转换的情况下，可在位的数目方面表达移除延迟。

图片计时SEI消息的语法可取决于序列参数集合的内容，所述序列参数集合针对与图片计时SEI消息相关联的经译码图片为活动的。然而，除非在瞬时解码刷新(IDR)存取单元的图片计时SEI消息之前的是同一存取单元内的缓冲周期SEI消息，否则关联序列参数集合的激活(及，对于并非位流中的第一图片的IDR图片，经译码图片为IDR图片的确定)可直到经译码图片的第一经译码切片网络抽象层(NAL)单元的解码才发生。由于经译码图片的经译码切片NAL单元在NAL单元顺序方面跟随图片计时SEI消息，故可存在以下状况：有必要使解码器存储含有图片计时SEI消息的原始字节序列有效负载 (RBSP)，直到确定序列参数集合的将针对经译码图片为活动的参数，且接着执行图片计时SEI消息的分析。解码器可以连续解码顺序将视频数据的一或多个解码单元存储在图片缓冲器中。

在一个实例中，可如下指定图片计时SEI消息在位流中的存在：如果CpbDpbDelaysPresentFlag等于1，那么一个图片计时SEI消息可存在于经译码视频序列的每一存取单元中。否则，CpbDpbDelaysPresentFlag等于0，且没有图片计时SEI消息可存在于经译码视频序列的任何存取单元中。

在这个实例中，语法元素num_decoding_units_minus1加1可指定在存取单元中的与图片计时SEI消息相关联的解码单元的数目。当sub_pic_cpb_flag等于0时，语法元素num_decoding_units_minus1可不存在，且值可设置为或推断为0。

在这个实例中，语法元素cpb_removal_delay[i]可指定在从CPB移除存取单元中的与图片计时SEI消息相关联的第i解码单元之前在存取单元中的与前一存取单元中的最近缓冲周期SEI消息相关联的第一解码单元从所述CPB的移除之后将等待的时钟计时周期的数目。这个值也可用以计算解码单元数据到达用于HSS的CPB的最早可能时间。语法元素可为固定长度码，其以位为单位的长度是由cpb_removal_delay_length_minus1+ 1给出。cpb_removal_delay[i]可为模数2^{(cpb_removal_delay_length_minus1+1)}计数器的余数。

确定语法元素cpb_removal_delay[i]的长度(以位为单位)的 cpb_removal_delay_length_minus1的值可为在针对与图片计时SEI消息相关联的经译码图片为活动的序列参数集合中译码的cpb_removal_delay_length_minus1的值。然而， cpb_removal_delay[i]可指定相对于在含有缓冲周期SEI消息的前一存取单元中的第一解码单元的移除时间的时钟计时周期的数目，所述前一存取单元可为不同经译码视频序列的存取单元。

在这个实例中，语法元素dpb_output_delay可用以计算图片的DPB输出时间。语法元素dpb_output_delay可指定在从DPB输出经解码图片之前在存取单元中的最后解码单元从CPB的移除之后将等待的时钟计时周期的数目。

当图片仍被标记为“用于短期参考”或“用于长期参考”时，可不在所述图片的输出时间从DPB移除所述图片。仅一个dpb_output_delay可针对经解码图片被指定。语法元素dpb_output_delay的长度可由dpb_output_delay_length_minus1+1以位为单位而给出。当max_dec_pic_buffering[max_temporal_layers_minus1]等于0时，dpb_output_delay 可等于0。

从是从输出计时一致解码器输出的任何图片的dpb_output_delay导出的输出时间可在从在按解码顺序的任何后续经译码视频序列中所有图片的dpb_output_delay导出的输出时间前。由这个语法元素的值建立的图片输出顺序可为与由PicOrderCnt()的值建立的顺序相同的顺序。对于因为在解码顺序方面在no_output_of_prior_pics_flag等于1或推断为等于1的IDR图片之前而未通过“提高”进程输出的图片，从dpb_output_delay导出的输出时间可随着相对于同一经译码视频序列内的所有图片的PicOrderCnt()的值增加而增加。在替代实例中，可指定可被称为解码单元计时SEI消息的新SEI消息(各自是与解码单元相关联)，以输送针对关联解码单元的CPB移除延迟。

如此，通过实施实例定义、实例HRD操作、经译码图片缓冲器的实例操作、位流到达的实例计时、解码单元移除的实例计时、解码单元的实例解码、经解码图片缓冲器的实例操作、图片从经解码图片缓冲器的实例移除、实例图片输出以及实例当前经解码图片标记及存储与用于CPB行为模式的发信的实例语法及语义的任何组合，视频编码器 20及/或视频解码器30可经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。

作为上文所描述的技术的替代例，可如下定义解码单元：“存取单元或存取单元的子集。如果SubPicCpbFlag等于0，那么解码单元为存取单元。否则，解码单元包括存取单元中的一或多个VCL NAL单元及关联非VCL NAL单元。对于存取单元中的第一 VCL NAL单元，关联非VCL NAL单元为在存取单元中且在第一VCL NAL单元及紧随第一非VCL NAL单元的填充物数据NAL单元(如果有的话)之前的所有非VCL NAL单元。对于并非存取单元中的第一VCL NAL单元的VCL NAL单元，关联非VCL NAL单元为紧随非VCL NAL单元的填充物数据NAL单元(如果有的话)”。

在这个实例中，可如下汇总假设参考解码器(HRD)操作。CPB大小(位的数目)为CpbSize[SchedSelIdx]。用于时间层X的DPB大小(图片存储缓冲器的数目)针对在0到 max_temporal_layers_minus1(包括在内)的范围内的每一X可为 max_dec_pic_buffering[X]+1。变量SubPicCpbPreferredFlag可用作子图片经译码图片缓冲器优选旗标，且可通过外部方式指定，或在未通过外部方式指定时设置到0。单独子图片经译码图片参数存在旗标sub_pic_cpb_params_present_flag可用以发信是否可得到译码一或多个存取单元的子集所需要的参数。单一子图片经译码图片缓冲器旗标 SubPicCpbFlag可指示子图片经译码图片缓冲器优选旗标及子图片经译码图片参数存在旗标两者为正还是设置到1。视频译码器可使用这个子图片经译码图片缓冲器旗标 SubPicCpbFlag以确定随着从CPB移除视频数据而译码视频数据的存取单元还是译码视频数据的一或多个存取单元的子集，诸如，子图片。

可如下导出变量SubPicCpbFlag：

SubPicCpbFlag＝SubPicCpbPreferredFlag&&sub_pic_cpb_params_present_flag (C-1)

如果SubPicCpbFlag等于0，那么CPB可在存取单元级别处操作，且每一解码单元可为存取单元。否则，CPB可在子图片级别处操作，且每一解码单元可为存取单元的子集。

视频解码器30/108可通过确定子图片经译码图片缓冲器优选旗标(例如，SubPicCpbPreferredFlag)具有值0或确定子图片经译码图片缓冲器参数存在旗标(例如，sub_pic_cpb_params_present_flag)具有值0来确定一或多个解码单元包含存取单元。

HRD(例如，视频编码器20及/或视频解码器30)可操作如下。与根据指定到达调度而流动到CPB中的解码单元相关联的数据可由HSS传递。在一个实例中，与每一解码单元相关联的数据可通过瞬时解码进程在CPB移除时间瞬时地移除及解码。每一经解码图片可放置在DPB中。在DPB输出时间的较迟时间或经解码图片变得不再为帧间预测参考所需要的时间，可从DPB移除经解码图片。

可用真实值来进行本发明所描述的算术运算，使得不传播舍入误差。举例来说，恰好在解码单元的移除之前或之后的CPB中的位的数目可未必为整数。

变量t_c可被导出如下，且被称为时钟计时周期：

t_c＝num_units_in_tick÷time_scale (C-1)

可指定以下内容以用于表达在本发明的技术的这个实例中的约束：

使存取单元n为按解码顺序的第n存取单元，其中第一存取单元为存取单元0；

使图片n为存取单元n的经译码图片或经解码图片；

使解码单元m为按解码顺序的第m解码单元，其中第一解码单元为解码单元0。

可如下定义经译码图片缓冲器(CPB)的操作。这个实例中的规范可独立地应用于所存在的每一CPB参数集合，且应用于Type I一致性点及Type II一致性点两者。

关于位流到达的计时，HRD可以缓冲周期SEI消息中的任一者予以初始化。在初始化之前，CPB可空白。在初始化之后，HRD可不再次通过后续缓冲周期SEI消息初始化。

每一存取单元可被称为相应存取单元n，其中编号n识别特定存取单元。与初始化CPB的缓冲周期SEI消息相关联的存取单元可被称为存取单元0。n的值针对按解码顺序的每一后续存取单元可递增1。

每一解码单元可分别被称为解码单元m，其中编号m识别特定解码单元。存取单元0中按解码顺序的第一解码单元可被称为解码单元0。m的值针对按解码顺序的每一后续解码单元可递增1。

在这个实例中，如果变量SubPicCpbFlag等于0，那么变量InitCpbRemovalDelay[SchedSelIdx]可设置到关联缓冲周期SEI消息的 initial_cpb_removal_delay[SchedSelIdx]，且InitCpbRemovalDelayOffset[SchedSelIdx]可设置到关联缓冲周期SEI消息的initial_cpb_removal_delay_offset[SchedSelIdx]。否则，变量InitCpbRemovalDelay[SchedSelIdx]可设置到关联缓冲周期SEI消息的 initial_du_cpb_removal_delay[SchedSelIdx]，且InitCpbRemovalDelayOffset[SchedSelIdx] 可设置到关联缓冲周期SEI消息的initial_du_cpb_removal_delay_offset[SchedSelIdx]。

解码单元n的第一位开始进入CPB的时间可被称为初始到达时间t_ai(m)。可如下导出解码单元的初始到达时间：

如果解码单元为解码单元0，那么t_ai(0)＝0；

否则(解码单元为解码单元m，其中m＞0)，以下内容可适用：

如果cbr_flag[SchedSelIdx]等于1，那么用于解码单元m的初始到达时间可等于存取单元m-1的最终到达时间(其在下文被导出)，即，

t_ai(m)＝t_af(m-1) (C-2)

否则(cbr_flag[SchedSelIdx]等于0)，用于解码单元m的初始到达时间可由下式导出：

t_ai(m)＝Max(t_af(m-1)，t_{ai，earliest}(m)) (C-3)

其中t_{ai，earliest}(m)可被导出如下：

如果解码单元n并非后续缓冲周期的第一解码单元，那么t_{ai，earliest}(m)可被导出为：

t_{ai，earliest}(m)＝t_r，n(m)-(InitCpbRemovalDelay[SchedSelIdx]+InitCpbRemovalDelayOffset [SchedSelIdx])÷90000 (C-4)

其中t_r，n(m)为解码单元m离开CPB的名义移除时间；

否则(解码单元m为后续缓冲周期的第一解码单元)，t_{ai，earliest}(m)可被导出为：

t_{ai，earliest}(m)＝t_r，n(m)-(InitCpbRemovalDelay[SchedSelIdx]÷90000) (C-5)

用于解码单元m的最终到达时间t_af可由下式导出：

t_af(m)＝t_ai(m)+b(m)÷BitRate[SchedSelIdx] (C-6)

其中b(m)为解码单元m的以位为单位的大小，其针对Type I一致性点而计数VCLNAL单元及填充物数据NAL单元的位或针对Type II一致性点而计数Type II位流的所有位。

在一些实例中，可如下约束SchedSelIdx、BitRate[SchedSelIdx]及 CpbSize[SchedSelIdx]的值：

如果用于含有解码单元m的存取单元的活动序列参数集合的内容与用于上一存取单元的活动序列参数集合的内容不同，那么HSS可从提供在用于含有解码单元m的存取单元的活动序列参数集合中的SchedSelIdx的值当中选择SchedSelIdx的值 SchedSelIdx1，所述值SchedSelIdx1针对含有解码单元m的存取单元引起BitRate [SchedSelIdx1]或CpbSize[SchedSelIdx1]。BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1] 的值可不同于针对在使用中用于上一存取单元的SchedSelIdx的值SchedSelIdx0的 BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]的值。

否则，HSS可继续用SchedSelIdx、BitRate[SchedSelIdx]及CpbSize[SchedSelIdx]的先前值而操作。

在一些实例中，当HSS选择不同于上一存取单元的值的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]的值时，以下内容可适用：

变量BitRate[SchedSelIdx]可在时间t_ai(m)开始生效；

变量CpbSize[SchedSelIdx]可开始生效如下：

如果CpbSize[SchedSelIdx]的新值超过旧CPB大小，那么其可在时间t_ai(m)开始生效；

否则，CpbSize[SchedSelIdx]的新值可在含有解码单元m的存取单元的最后解码单元的CPB移除时间开始生效。

当变量SubPicCpbFlag等于1时，存取单元n的初始CPB到达时间t_ai(n)可设置到存取单元n中的第一解码单元的初始CPB到达时间，且存取单元n的最终CPB到达时间 t_af(n)可设置到存取单元n中的最后解码单元的最终CPB到达时间。当SubPicCpbFlag等于0时，每一解码单元可为存取单元，使得存取单元n的初始及最终CPB到达时间可为解码单元m的初始及最终CPB到达时间。

以下论述提供针对解码单元的解码单元移除及解码的计时的实例。如果SubPicCpbFlag等于0，那么变量CpbRemovalDelay(m)可设置到在与为解码单元m的存取单元相关联的图片计时SEI消息中所指定的cpb_removal_delay的值。否则，变量CpbRemovalDelay(m)可设置到在与含有解码单元m的存取单元相关联的图片计时SEI 消息中所指定的用于解码单元m的du_cpb_removal_delay[i]的值。

当解码单元m为m等于0的解码单元(初始化HRD的存取单元的第一解码单元)时，所述解码单元离开CPB的名义移除时间可由下式指定：

t_r，n(0)＝InitCpbRemovalDelay[SchedSelIdx]÷90000 (C-7)

当解码单元m为并不初始化HRD的缓冲周期的第一存取单元的第一解码单元时，所述解码单元离开CPB的名义移除时间可由下式指定：

t_r，n(m)＝t_r，n(m_b)+t_c*CpbRemovalDelay(m) (C-8)

其中t_r，n(m_b)为上一缓冲周期的第一解码单元的名义移除时间。

当解码单元m为缓冲周期的第一解码单元时，m_b可设置为在解码单元m的移除时间t_r，n(m)等于m。

并非缓冲周期的第一解码单元的解码单元m的名义移除时间t_r，n(m)可由下式给出：

t_r，n(m)＝t_r，n(m_b)+t_c*CpbRemovalDelay(m) (C-9)

其中t_r，n(m_b)为当前缓冲周期的第一解码单元的名义移除时间。

可如下指定解码单元m的移除时间：

如果low_delay_hrd_flag等于0或t_r，n(m)＞＝t_af(m)，那么解码单元m的移除时间可由下式指定：

t_r(m)＝t_r，n(m) (C-10)

否则(low_delay_hrd_flag等于1且t_r，n(m)＜t_af(m))，且解码单元m的移除时间可由下式指定：

t_r(m)＝t_r，n(m)+t_c*Ceil((t_af(m)-t_r，n(m))÷t_c) (C-11)

在这个实例中，后一状况指示解码单元m的大小b(m)如此大以致于其防止在名义移除时间的移除。

当SubPicCpbFlag等于1时，存取单元n的名义CPB移除时间t_r，n(n)可设置到存取单元n中的最后解码单元的正常CPB移除时间；存取单元n的CPB移除时间t_r(n)可设置到存取单元n中的最后解码单元的CPB移除时间。当SubPicCpbFlag等于0时，在这个实例中，每一解码单元m为存取单元n，且因此，存取单元n的名义CPB移除时间及 CPB移除时间为解码单元m的名义CPB移除时间及CPB移除时间。在一些实例中，在解码单元m的CPB移除时间，解码单元可被瞬时地解码。

在这个实例中，经解码图片缓冲器(DPB)可操作如下。所述经解码图片缓冲器可含有一或多个图片存储缓冲器。所述图片存储缓冲器中的每一者可含有经解码图片，所述经解码图片被标记为“用于参考”或经保持以供未来输出。在初始化之前，DPB可空白 (DPB充满度变量可设置到零)。这个实例的以下步骤可以所列出序列而发生。

首先，可从DPB移除图片。在当前图片的解码之前(但在分析当前图片的第一切片的切片标头之后)图片从DPB的移除可在存取单元n(含有当前图片)的第一解码单元的 CPB移除时间瞬时地发生，且可进行如下。可调用如在HEVC WD6的子条款8.3.2中所指定的用于参考图片集合的解码进程。如果当前图片为IDR图片，那么以下内容可适用：当IDR图片并非经解码的第一IDR图片且从活动序列参数集合导出的 pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值分别不同于从针对前一图片为活动的序列参数集合导出的pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值时， no_output_of_prior_pics_flag(即，无先前图片输出旗标)可由HRD推断为等于1，或由 HRD设置到1以用于其自己的处理，而不管no_output_of_prior_pics_flag的实际值如何。相比于关于pic_width_in_luma_samples或pic_height_in_luma_samples的改变的HRD，解码器实施可尝试更从容地处置图片或DPB大小改变。

当no_output_of_prior_pics_flag等于1或推断为等于1时，可使DPB中的所有图片存储缓冲器空白而没有其所含有的图片的输出，且DPB充满度可设置到0。(下文进一步描述在no_output_of_prior_pics_flag具有不等于1的值时可执行的进一步处理)。可从 DPB移除DPB中的所有图片k(对于所述图片，以下条件成立)：

图片k被标记为“未用于参考”；

图片k具有等于0的PicOutputFlag，或其DPB输出时间小于或等于当前图片n的第一解码单元(被表示为解码单元m)的CPB移除时间；即，t_o，dpb(k)＜＝t_r(m)。

当从DPB移除图片时，DPB充满度可递减1。对于图片输出，以下情形可在存取单元n的CPB移除时间t_r(n)瞬时地发生：

图片n可在所述图片的最后解码单元被解码之后被视为经解码。

当图片n具有等于1的PicOutputFlag时，其DPB输出时间t_o，dpb(n)可由下式导出：

t_o，dpb(n)＝t_r(n)+t_c*dpb_output_delay(n) (C-12)

其中dpb_output_delay(n)为在与存取单元n相关联的图片计时SEI消息中所指定的 dpb_output_delay的值。

可如下指定当前图片的输出：

如果PicOutputFlag等于1且t_o，dpb(n)＝t_r(n)，那么当前图片可被输出；

否则，如果PicOutputFlag等于0，那么当前图片可未被输出，但可存储在DPB中；

否则(PicOutputFlag等于1且t_o，dpb(n)＞t_r(n))，当前图片可稍后被输出且可存储在 DPB中(如在如由本发明修改的HEVC WD6的子条款C.3.3中所指定)，且可在时间 t_o，dpb(n)被输出，除非被指示不会通过等于1的no_output_of_prior_pics_flag的解码或推断在t_o，dpb(n)之前的时间被输出。换言之，如果无先前图片输出旗标不等于1，那么当前图片可存储在DPB中且可稍后(例如，在时间t_o，dpb(n))被输出。

当被输出时，图片可使用在活动序列参数集合中所指定的剪裁矩形予以剪裁。

当图片n为被输出且并非被输出的位流的最后图片的图片时，可如下定义DPB输出时间间隔Δt_o，dpb(n)的值：

Δt_o，dpb(n)＝t_o，dpb(nn)-t_o，dpb(n) (C-13)

其中n_n可指示在输出顺序方面跟随在图片n之后且具有等于1的PicOutputFlag的图片，使得DPB输出时间间隔Δt_o，dpb(n)可被定义为在输出顺序方面在图片n之后的后续图片的DPB输出时间与图片n的DPB输出时间之间的差。

对于当前经解码图片标记及存储，以下情形可在存取单元n的CPB移除时间t_r(n)被瞬时地实施：当前经解码图片可在DPB中存储在空白图片存储缓冲器中，且DPB充满度可递增1；如果当前图片为参考图片，那么其可被标记为“用于参考”，否则，其可被标记为“未用于参考”。

对于DPB的输出顺序的操作，经解码图片缓冲器可含有一或多个图片存储缓冲器。所述图片存储缓冲器中的每一者可含有经解码图片，所述经解码图片被标记为“用于参考”或经保持以供未来输出。在HRD初始化时，DPB可空白。以下步骤可以所列出顺序而发生。

可如下从DPB移除图片。在当前图片的解码之前(但在分析当前图片的第一切片的切片标头之后)图片从DPB的移除可在从CPB移除含有当前图片的存取单元的第一解码单元时被瞬时地实施，且可进行如下。

可调用如在如根据本发明而修改的HEVC WD6的子条款8.3.4.3中所指定的用于参考图片集合的解码进程(如上文部分地所描述，且如下进一步所描述)。

如果当前图片为IDR图片，那么以下内容可适用：

当IDR图片并非经解码的第一IDR图片且从活动序列参数集合所导出的 pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值分别不同于从针对前一图片为活动的序列参数集合导出的pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering的值时， no_output_of_prior_pics_flag可由HRD设置为或推断为等于1，而不管 no_output_of_prior_pics_flag的实际值如何。相比于HRD，解码器实施可尝试更从容地处置pic_width_in_luma_samples或pic_height_in_luma_samples或max_dec_pic_buffering 的值的改变；

当no_output_of_prior_pics_flag等于1或推断为等于1时，可使DPB中的所有图片存储缓冲器空白而没有其所含有的图片的输出；

否则，可使含有被标记为“无需用于输出”及“未用于参考”的图片的图片存储缓冲器空白(无输出)。

当以下条件中的任一者成立时，可重复地调用如通过本发明而修改的HEVC WD6的子条款C.5.2.1中所指定的“提高”进程，直到存在空白图片存储缓冲器来存储当前经解码图片：

DPB中被标记为“需要用于输出”的图片的数目大于在当前时间层处的重新排序图片的数目，即，num_reorder_pics[temporal_id]；或，

DPB中时间层标识符值temporal_id低于或等于当前图片的时间层标识符值temporal_id的图片的数目等于当前时间层的最大图片缓冲值加1，即， max_dec_pic_buffering[temporal_id]+1；或，

当当前图片为IDR图片时，对于所述图片，无先前图片输出旗标no_output_of_prior_pics_flag具有不等于1且未推断为等于1的值。

可执行以下步骤：可使含有被标记为“无需用于输出”及“未用于参考”的图片的图片存储缓冲器空白(无输出)；及可通过重复地调用下文所指定的“提高”进程而使DPB 中的所有非空白图片存储缓冲器空白。

因此，可在以下状况中的任一者下调用“提高”进程：

当前图片为IDR图片且no_output_of_prior_pics_flag不等于1且未设置为或推断为等于1，如在如通过本发明而修改的HEVC WD6的子条款C.5.2中所指定；或，

DPB中被标记为“需要用于输出”的图片的数目大于在当前时间层处的重新排序图片的数目，即，num_reorder_pics[temporal_id]，如在如通过本发明而修改的HEVC WD6 的子条款C.5.2中所指定；或，

DPB中temporal_id低于或等于当前图片的时间层标识符值temporal_id的图片的数目等于当前时间层的最大图片缓冲值加1，即，max_dec_pic_buffering[temporal_id]+1，如在如通过本发明而修改的HEVC WD6的子条款C.5.2中所指定。

“提高”进程可包括以下有序步骤：

1.可选择首先用于输出的图片作为具有在DPB中被标记为“需要用于输出”的所有图片的PicOrderCntVal的最小值的图片。

2.使用在用于图片的活动序列参数集合中所指定的剪裁矩形来剪裁图片，可输出经剪裁图片，且可将所述图片标记为“无需用于输出”。

3.如果包括被剪裁及输出的图片的图片存储缓冲器含有被标记为“未用于参考”的图片，那么可使所述图片存储缓冲器空白。

当从CPB移除含有当前图片的存取单元n的最后解码单元时，以下情形可针对图片解码、标记及存储瞬时地发生。

当前图片可在所述图片的最后解码单元被解码之后被视为经解码。当前经解码图片可在DPB中存储在空白图片存储缓冲器中，且以下内容可适用：

如果当前经解码图片具有等于1的PicOutputFlag，那么其可被标记为“需要用于输出”；

否则(当前经解码图片具有等于0的PicOutputFlag)，其可被标记为“无需用于输出”。

如果当前经解码图片为参考图片，那么其可被标记为“用于参考”，否则(当前经解码图片为非参考图片)，其可被标记为“未用于参考”。

因此，提高进程可包括：选择DPB中具有图片的最小图片顺序计数(POC)值且被标记为需要用于输出的图片作为选定图片；如用于选定图片的活动序列参数集合中所指定而剪裁选定图片，从而基于选定图片来产生经剪裁图片；输出经剪裁图片；及将选定图片标记为无需用于输出。

在使用下文所定义的语义的情况下，可使用语法元素以发信CPB行为模式。VUI 参数的语法及语义可改变为如下表3所示(在这个实例中，现有语法元素的语义并未相对于HEVC WD6而改变)：

表3

在表3的实例中，相对于习知HEVC，VUI参数包括附加旗标 sub_pic_cpb_params_present_flag。可如下定义用于这个旗标的语义：等于1的 sub_pic_cpb_params_present_flag可指定子图片级别CPB移除延迟参数存在，且CPB可在存取单元级别或子图片级别处操作。等于0的变量sub_pic_cpb_flag可指定子图片级别CPB移除延迟参数不存在，且CPB必须在存取单元级别处操作。当 sub_pic_cpb_params_present_flag不存在时，其值可设置为或推断为等于0。

在使用下文所描述的语义的情况下，也可使用语法元素以发信解码单元的CPB移除时间。在这个实例中，可(例如)根据表4的实例而在缓冲周期SEI消息中发信语法元素：

表4

在表4的实例中，缓冲周期SEI消息相对于习知HEVC包括附加条件，其进一步包括：当sub_pic_cpb_flag成立时，添加两个语法元素initial_du_cpb_removal_delay[SchedSelIdx]及initial_du_cpb_removal_delay_offset[SchedSelIdx]。这个条件及附加语法元素可添加在针对以下情形的条件中的任一者或两者内：当NalHrdBpPresentFlag成立时，及/或当VclHardBpPresentFlag成立时。

表5提供替代实例，其中定义不同SEI消息以发信用于子图片级别CPB操作的初始CPB移除延迟及初始CPB移除延迟偏移：

表5

在上表4的实例中，当NalHrdBpPresentFlag或VclHrdBpPresentFlag等于1时，缓冲周期SEI消息可与位流中的任何存取单元相关联，且缓冲周期SEI消息可与每一IDR 存取单元、每一CRA存取单元及与恢复点SEI消息相关联的每一存取单元相关联。对于一些应用，缓冲周期SEI消息的频繁存在可合乎需要。在一些实例中，在缓冲周期SEI 消息的按解码顺序的两个例项之间，缓冲周期可被指定为存取单元集合。

在上表4及5的实例中，变量seq_parameter_set_id可指定含有序列HRD属性的序列参数集合。seq_parameter_set_id的值可等于由与缓冲周期SEI消息相关联的主要经译码图片参考的图片参数集合中的seq_parameter_set_id的值。在一些实例中， seq_parameter_set_id的值可在0到31(包括在内)的范围内。

在上表4的实例中，initial_cpb_removal_delay[SchedSelIdx]可指定在到达时间与移除时间之间针对第SchedSelIdx个CPB的延迟，其中所述到达时间为与存取单元相关联的经译码数据的第一位进入CPB的到达时间，所述存取单元是与缓冲周期SEI消息相关联，且所述移除时间为针对在HRD初始化之后的第一缓冲周期与同一存取单元相关联的经译码数据离开CPB的移除时间。这个语法元素可具有由 initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度。在这个实例中，其可以90kHz时钟为单位。在这个实例中，语法元素 initial_cpb_removal_delay[SchedSelIdx]可不等于0，且在这个实例中，可不超过90000* (CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，以90kHz时钟为单位的CPB大小的时间等效者。

在上表4的实例中，语法元素initial_cpb_removal_delay_offset[SchedSelIdx]可结合 cpb_removal_delay而用于第SchedSelIdx个CPB以指定经译码存取单元到CPB的初始传递时间。在这个实例中，语法元素initial_cpb_removal_delay_offset[SchedSelIdx]可以 90kHz时钟为单位。initial_cpb_removal_delay_offset[SchedSelIdx]语法元素可为固定长度码，其以位为单位的长度是由initial_cpb_removal_delay_length_minus1+1给出。这个语法元素可不由解码器使用，且可仅为在HEVC WD6的Annex C中所指定的传递调度器(HSS)所需要。遍及整个经译码视频序列，initial_cpb_removal_delay[SchedSelIdx]与initial_cpb_removal_delay_offset[SchedSelIdx]的总和针对SchedSelIdx的每一值可恒定。

在上表4及5的实例中，语法元素initial_du_cpb_removal_delay[SchedSelIdx]可指定在到达时间与移除时间之间针对第SchedSelIdx个CPB的延迟，其中所述到达时间为与存取单元中的第一解码单元相关联的经译码数据的第一位进入CPB的到达时间，所述存取单元是与缓冲周期SEI消息相关联，且所述移除时间为针对在HRD初始化之后的第一缓冲周期与同一解码单元相关联的经译码数据离开CPB的移除时间。这个语法元素可具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度。在这个实例中，这个语法元素可以90kHz时钟为单位。在这个实例中，语法元素 initial_du_cpb_removal_delay[SchedSelIdx]可不等于0，且可不超过90000* (CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，以90kHz时钟为单位的CPB大小的时间等效者。

在上表4及5的实例中，语法元素initial_du_cpb_removal_delay_offset[SchedSelIdx] 可结合cpb_removal_delay而用于第SchedSelIdx个CPB以指定解码单元到CPB的初始传递时间。在这个实例中，语法元素initial_cpb_removal_delay_offset[SchedSelIdx]可以 90kHz时钟为单位。initial_du_cpb_removal_delay_offset[SchedSelIdx]语法元素可为固定长度码，其以位为单位的长度是由initial_cpb_removal_delay_length_minus1+1给出。在这个实例中，这个语法元素可不由解码器使用，且可仅为在HEVC WD6的Annex C中所指定的传递调度器(HSS)所需要。

遍及整个经译码视频序列，initial_du_cpb_removal_delay[SchedSelIdx]与initial_du_cpb_removal_delay_offset[SchedSelIdx]的总和针对SchedSelIdx的每一值可恒定。

下表6提供实例图片计时SEI消息语法：

表6

在这个实例中，图片计时SEI消息包括针对sub_pic_cpb_flag的附加条件语句，所述条件语句在成立时发信num_decoding_units_minus1语法元素及for循环，所述for循环针对解码单元中的每一者发信对应numb_nalus_in_du_minus1及 du_cpb_removal_delay。替代地，NAL单元到每一解码单元的映射可使用其它方式予以发信，例如，通过包括用于每一VCL NAL单元的解码单元ID，例如，在NAL单元标头、切片标头或新SEI消息中。用于每一非VCL NAL单元的解码ID可与关联VCL NAL 单元相同。

在表6的实例中的图片计时SEI消息的语法可取决于针对与图片计时SEI消息相关联的经译码图片为活动的序列参数集合的内容。然而，除非在IDR存取单元的图片计时 SEI消息之前的是同一存取单元内的缓冲周期SEI消息，否则关联序列参数集合的激活 (及，对于并非位流中的第一图片的IDR图片，经译码图片为IDR图片的确定)可直到经译码图片的第一经译码切片NAL单元的解码才发生。由于经译码图片的经译码切片 NAL单元可在NAL单元顺序方面跟随图片计时SEI消息，故可存在以下状况：解码器存储含有图片计时SEI消息的RBSP，直到确定序列参数的将针对经译码图片为活动的参数，且接着执行图片计时SEI消息的分析。

按照表6的实例，可如下指定图片计时SEI消息在位流中的存在。

如果CpbDpbDelaysPresentFlag等于1，那么一个图片计时SEI消息可存在于经译码视频序列的每一存取单元中；

否则(CpbDpbDelaysPresentFlag等于0)，没有图片计时SEI消息需要存在于经译码视频序列的任何存取单元中。

变量cpb_removal_delay可指定在从缓冲器移除与图片计时SEI消息相关联的存取单元数据之前在与前一存取单元中的最近缓冲周期SEI消息相关联的存取单元从CPB 的移除之后将等待的时钟计时周期的数目(参见HEVC WD6的子条款E.2.1)。这个值也可用以计算存取单元数据进入用于HSS的CPB的最早可能时间，如在HEVC WD6的 Annex C中所指定。所述语法元素可为固定长度码，其以位为单位的长度是由 cpb_removal_delay_length_minus1+1给出。cpb_removal_delay可为模数 2(cpb_removal_delay_length_minus1+1)计数器的余数。确定语法元素cpb_removal_delay 的长度(以位为单位)的cpb_removal_delay_length_minus1的值可为在针对与图片计时 SEI消息相关联的主要经译码图片为活动的序列参数集合中译码的 cpb_removal_delay_length_minus1的值。然而，cpb_removal_delay可指定相对于含有缓冲周期SEI消息的前一存取单元的移除时间的时钟计时周期的数目，所述前一存取单元可为不同经译码视频序列的存取单元。

变量dpb_output_delay可用以计算图片的DPB输出时间。这个变量可指定在从DPB输出经解码图片之前在存取单元中的最后解码单元从CPB的移除之后将等待的时钟计时周期的数目(参见HEVC WD6的子条款C.2)。在这个实例中，当图片仍被标记为“用于短期参考”或“用于长期参考”时，可不在所述图片的输出时间从DPB移除所述图片。在这个实例中，仅一个dpb_output_delay变量可针对经解码图片被指定。

语法元素dpb_output_delay的长度可由dpb_output_delay_length_minus1+1以位为单位而给出。当max_dec_pic_buffering[max_temporal_layers_minus1]等于0时，dpb_output_delay也可等于0。

从是从输出计时一致解码器(如在如通过本发明而修改的HEVC WD6的子条款C.2中所指定)输出的任何图片的dpb_output_delay导出的输出时间可在从在按解码顺序的任何后续经译码视频序列中所有图片的dpb_output_delay导出的输出时间之前。

由这个语法元素的值建立的图片输出顺序可为与由PicOrderCnt()的值(如由HEVC WD6的子条款C.5所指定)建立的顺序相同的顺序。

对于因为在解码顺序方面在no_output_of_prior_pics_flag等于1或设置为或推断为等于1的IDR图片之前而未通过如通过本发明而修改的HEVC WD6的子条款C.5的“提高”进程输出的图片，从dpb_output_delay导出的输出时间可随着相对于同一经译码视频序列内的所有图片的PicOrderCnt()的值增加而增加。

变量num_decoding_units_minus1加1可指定在存取单元中的与图片计时SEI消息相关联的解码单元的数目。举例来说，num_decoding_units_minus1的值可在0到X(包括在内)的范围内。

变量num_nalus_in_du_minus1[i]加1可指定在存取单元的第i解码单元中的与图片计时SEI消息相关联的NAL单元的数目。举例来说，num_nalus_in_du_minus1[i]的值可在0到X(包括在内)的范围内。

存取单元的第一解码单元可包括存取单元中按解码顺序的最初 num_nalus_in_du_minus1[0]+1个连续NAL单元。存取单元的第i(其中i大于0)解码单元可包括在解码顺序方面紧随存取单元的上一解码单元中的最后NAL单元的 num_nalus_in_du_minus1[i]+1个连续NAL单元。举例来说，在每一解码单元中可存在至少一个VCLNAL单元。

变量du_cpb_removal_delay[i]可指定在从CPB移除存取单元中的与图片计时SEI消息相关联的第i解码单元之前在存取单元中的与前一存取单元中的最近缓冲周期SEI消息相关联的第一解码单元从CPB的移除之后将等待的时钟计时周期的数目(参见HEVC WD6的子条款E.2.1)。这个值也可用以计算解码单元数据进入用于HSS的CPB的最早可能时间，如在HEVC WD6的Annex C中所指定。所述语法元素可为固定长度码，其以位为单位的长度可由cpb_removal_delay_length_minus1+1给出。 du_cpb_removal_delay[i]可为模数2(cpb_removal_delay_length_minus1+1)计数器的余数。确定语法元素du_cpb_removal_delay[i]的长度(以位为单位)的 cpb_removal_delay_length_minus1的值可为在针对与图片计时SEI消息相关联的经译码图片为活动的序列参数集合中译码的cpb_removal_delay_length_minus1的值。然而， du_cpb_removal_delay[i]指定相对于在含有缓冲周期SEI消息的前一存取单元中的第一解码单元的移除时间的时钟计时周期的数目，所述前一存取单元可为不同经译码视频序列的存取单元。

图2为说明可实施如本发明所描述的技术的视频编码器20的实例的框图，所述技术尤其涉及：将视频数据的一或多个解码单元存储在图片缓冲器中；获得用于一或多个解码单元的相应缓冲器移除时间；根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元；及译码对应于经移除解码单元的视频数据。视频编码器20可执行视频帧内的块的帧内及帧间译码，所述块包括译码单元(CU)，或CU的子 CU。帧内译码依赖于空间预测来缩减或移除给定视频帧内的视频的空间冗余。帧间译码依赖于时间预测来缩减或移除视频序列的邻近帧内的视频的时间冗余。帧内模式(I模式) 可指若干基于空间的压缩模式中的任一者，且诸如单向预测(P模式)或双向预测(B模式) 的帧间模式可指若干基于时间的压缩模式中的任一者。尽管图2中描绘用于帧间模式编码的一些组件，但应理解，视频编码器20可进一步包括用于帧内模式编码的组件，诸如，帧内预测单元46。图2中出于简要及清楚起见而未说明也可被包括的额外组件。

如图2所示，视频编码器20接收包括在待编码视频帧内的当前视频块的视频块。在图2的实例中，视频编码器20包括运动补偿单元44、运动估计单元42、参考图片存储器64、求和器50、变换单元52、量化单元54、熵编码单元56、缓冲器90及经译码图片缓冲器92。对于视频块重建，视频编码器20也包括反量化单元58、反变换单元60 及求和器62。

在编码进程期间，视频编码器20接收待译码视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块来执行经接收视频块的帧间预测性译码以提供时间压缩。帧内预测单元46也可相对于与待译码块相同的帧或切片中的一或多个相邻块来执行经接收视频块的帧内预测性译码以提供空间压缩。

模式选择单元40可(例如)基于误差结果来选择译码模式(帧内或帧间)中的一者，且可将所得经帧内译码或经帧间译码块提供到求和器50以产生残余块数据且将所得经帧内译码或经帧间译码块提供到求和器62以重建经编码块以用作参考帧。

运动估计单元42与运动补偿单元44可高度地整合，但出于概念目的而被单独地说明。运动估计为产生运动矢量的进程，所述运动矢量估计用于视频块的运动。举例来说，运动矢量可指示在预测性参考帧(或其它经译码单元)内的预测性块相对于在当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块为在像素差方面被发现接近地匹配于待译码块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差指标予以确定。运动矢量也可指示宏块的分区的位移。运动补偿可涉及基于通过运动估计而确定的运动矢量来获取或产生预测性块。如所提到，在一些实例中，运动估计单元42 与运动补偿单元44可功能上整合。

在帧间译码的状况下，运动估计单元42通过比较经帧间译码帧的视频块与参考图片存储器64中的参考帧的视频块来计算用于经帧间译码帧的视频块的运动矢量。运动补偿单元44也可内插参考帧(例如，I帧或P帧)的次整数像素。作为实例，可从两个参考帧列表预测运动矢量：列表0，其包括显示顺序早于正被编码的当前帧的显示顺序的参考帧；及列表1，其包括显示顺序迟于正被编码的当前帧的显示顺序的参考帧。因此，可根据这两个参考帧列表来组织存储在参考图片存储器64中的数据。

运动估计单元42比较来自参考图片存储器64的一或多个参考帧的块与当前帧(例如，P帧或B帧)的待编码块。当参考图片存储器64中的参考帧包括次整数像素的值时，由运动估计单元42计算的运动矢量可指参考帧的次整数像素位置。运动估计单元42及 /或运动补偿单元44也可经配置以在次整数像素位置的值未存储在参考图片存储器64 中时计算存储在参考图片存储器64中的参考帧的次整数像素位置的值。运动估计单元 42将所计算运动矢量发送到熵编码单元56及运动补偿单元44。通过运动矢量识别的参考帧块可被称为预测性块。

运动补偿单元44可基于预测性块来计算预测数据。视频编码器20通过从正被译码的原始视频块减去由运动补偿单元44提供的预测数据来形成残余视频块。求和器50表示执行这种减法运算的组件。变换单元52将诸如离散余弦变换(DCT)或概念上相似变换的变换应用于残余块，从而产生包含残余变换系数值的视频块。变换单元52可执行其它变换，诸如，由H.264标准定义的变换，其概念上相似于DCT。作为其它实例，变换单元52可执行小波变换、整数变换、子频带变换，或其它类型的变换。变换单元52将所述变换应用于残余块，从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域，诸如，频域。量化单元54量化残余变换系数以进一步缩减位速率。量化进程可缩减与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。

在量化之后，熵编码单元56熵译码经量化变换系数。举例来说，熵编码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、概率区间分割熵译码(PIPE)，或另一熵译码技术。在由熵编码单元56进行的熵译码之后，经编码视频数据可或多或少地在时间上缓冲或存储在经译码图片缓冲器92中、传输到另一装置，及/或经存档以供稍后传输或检索。在上下文自适应二进制算术译码的状况下，上下文可基于相邻宏块。

在一些状况下，除了熵译码以外，视频编码器20的熵编码单元56或另一单元可经配置以也执行其它译码功能。举例来说，熵编码单元56可经配置以确定宏块及分区的经译码块样式(CBP)值。同样地，在一些状况下，熵编码单元56可执行最大译码单元 (LCU)或LCU的子CU中的系数的行程长度译码。特别地，熵编码单元56可应用曲折扫描或其它扫描样式以扫描LCU或分区中的变换系数，且编码为零的行程以供进一步压缩。视频编码器20的熵编码单元56及/或其它元件也可从经编码视频数据形成解码单元。举例来说，所述解码单元可为子图片，诸如，树块序列、一或多个切片、一或多个波，及/或一或多个图像块。视频编码器20的熵编码单元56及/或其它元件也可添加用于具有不同大小的子图片的填充数据以实现字节对准。熵编码单元56也可用适当语法元素来构造标头信息以供在经编码视频位流中传输。举例来说，标头信息可包括指示解码单元为存取单元还是子存取单元的发信数据。这个发信数据可包括发信在HRD参数中发信的子图片经译码图片缓冲器优选旗标的值。举例来说，视频编码器20的熵编码单元56及/或其它元件也可添加语法元素，诸如，缓冲周期SEI消息、发信VUI参数、指示针对各种子图片的入口点的发信数据，及/或用于解码单元的缓冲器移除时间。

反量化单元58及反变换单元60分别应用反量化及反变换，以在像素域中重建残余块，例如，以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用于经重建残余块，以计算供运动估计中使用的次整数像素值。求和器62将经重建残余块加到由运动补偿单元44产生的经运动补偿预测块，以产生供存储在参考图片存储器64中的经重建视频块。经重建视频块可由运动估计单元42及运动补偿单元44 用作参考块以帧间译码后续视频帧中的块。

参考图片存储器64可包括缓冲器90。缓冲器90可为或包括数据存储装置或包括在数据存储装置中，诸如，能够存储数据的任何永久性或易失性存储器，诸如，同步动态随机存取存储器(SDRAM)、嵌入式动态随机存取存储器(eDRAM)，或静态随机存取存储器(SRAM)。缓冲器90可包括图片缓冲器及/或经解码图片缓冲器，且可根据本发明所描述的实例经译码图片缓冲器及/或经解码图片缓冲器行为的任何组合而操作。举例来说，视频编码器20可使用缓冲器90来执行经解码块样式(DPB)管理，及/或根据本发明的技术来执行经译码图片缓冲器92的经译码块样式(CPB)管理。

经译码图片缓冲器92可为或包括数据存储装置或包括在数据存储装置中，诸如，能够存储数据的任何永久性或易失性存储器，诸如，同步动态随机存取存储器(SDRAM)、嵌入式动态随机存取存储器(eDRAM)，或静态随机存取存储器(SRAM)。尽管经译码图片缓冲器92被展示为形成视频编码器20的部分，但在一些实例中，经译码图片缓冲器 92可形成在视频编码器20外部的装置、单元或模块的部分。举例来说，经译码图片缓冲器92可形成在视频编码器20外部的流调度器单元(或传递调度器或假设流调度器 (HSS))的部分。视频编码器20可从经编码视频数据形成解码单元，且将解码单元提供到流调度器单元。在一些实例中，视频编码器20可形成具有变化数目个位或变化数目个块的解码单元。流调度器单元可实施本发明的技术以在可由所获得(例如，经发信)缓冲器移除时间指示的时间将解码单元发送到视频解码器以供解码，所述解码单元包括子图片，诸如，树块序列、一或多个切片、一或多个波，及/或一或多个图像块。在一些实例中，视频编码器20可形成解码单元，所述解码单元各自用以包括在解码顺序方面连续地排列的数个译码块。流调度器单元可进一步解封存取单元以提取包括解码单元的一或多个网络抽象层(NAL)单元。同样地，流调度器单元可解封NAL单元以提取解码单元。

根据如通过本发明的技术而修改的假设参考解码器(HRD)行为，视频编码器20可将存取单元存储到经译码图片缓冲器92及从经译码图片缓冲器92移除存取单元。举例来说，视频编码器20可应用HRD参数，所述参数包括初始CPB移除延迟、CPB大小、位速率、初始DPB输出延迟，及DPB大小，以及用于解码单元的缓冲器移除时间，及用以发信视频数据的解码单元为存取单元还是存取单元子集的子图片经译码图片缓冲器优选旗标的值。视频编码器20可在存取单元中形成发信用于解码单元的缓冲周期及缓冲器移除时间的SEI消息。举例来说，视频编码器20可提供视频可用性信息(VUI)参数，所述参数具有包括子图片CPB旗标的语法，诸如在上表1的实例中。

解码单元可包括公共图片的子图片，且视频编码器20可在用于存取单元的SEI消息中包括用于公共图片的子图片中的每一者的缓冲器移除时间。不同子图片可用不同量的数据予以编码，其中一些子图片是以不同数目个位或块予以编码，且视频编码器20 可形成用于公共图片的子图片中的每一者的对应相应缓冲器移除时间。视频编码器20 也可编码具有相同数据大小的子图片的一些图片。其它组件也可执行上文归于视频编码器20的功能中的一或多者。举例来说，源装置(诸如，图1的源装置12)的封装单元也可形成包括以上参数中的任一者的SEI消息。

因此，视频编码器20可规定：每一子图片可包括经译码图片的在解码顺序方面连续的数个译码块，且使得译码块可完全相同于树块，或树块的子集。视频编码器20可规定：可执行子图片的译码及位到图片中的不同子图片的分配，而不要求一个图片中的每一子图片(即，树块组)用相同量的位予以译码。视频编码器20可在位流中发信用于每一子图片的CPB移除时间，而非根据经发信图片级别CPB移除时间而导出CPB移除时间。视频编码器20也可在切片中包括一个以上子图片，且在每一子图片结束时应用字节对准。举例来说，视频编码器20也可用指示在视频数据的较大集合(诸如，切片、图像块或帧)内的子图片中的至少一者的字节对准的值来发信每一子图片的入口点。视频编码器20可根据本发明在不同实例中应用这些特征中的任何一或多者。

图2中针对参考图片存储器64、缓冲器90及经译码图片缓冲器92而展示的位置是出于说明性目的。参考图片存储器64、缓冲器90及经译码图片缓冲器92可位于单一存储装置或任何数目个相异存储装置中。所述存储装置可包括易失性及/或非易失性计算机可读媒体的任何组合。

如此，视频编码器20表示视频译码器的实例，所述视频译码器经配置尤其以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。

图3为说明解码经编码视频序列的视频解码器30的实例的框图。在图3的实例中，视频解码器30包括熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元 76、反变换单元78、参考图片存储器82、求和器80、经译码图片缓冲器94及缓冲器 96。在一些实例中，视频解码器30可执行与关于视频编码器20(图2)所描述的编码遍次大体上互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动矢量来产生预测数据。

运动补偿单元72可使用在位流中接收的运动矢量以识别参考图片存储器82中的参考帧中的预测块。帧内预测单元74可使用在位流中接收的帧内预测模式以从空间上邻近块形成预测块。反量化单元76反量化(即，去量化)在位流中提供且由熵解码单元70 解码的经量化块系数。反量化进程可包括习知进程，例如，如由H.264解码标准所定义。反量化进程也可包括针对每一宏块使用由编码器20计算的量化参数QP_Y以确定量化程度且同样地确定应被应用的反量化程度。

反变换单元78将反变换(例如，反DCT、反整数变换，或概念上相似反变换进程) 应用于变换系数，以便在像素域中产生残余块。运动补偿单元72产生经运动补偿块，从而可能地基于内插滤波器来执行内插。用于待以次像素精度用于运动估计的内插滤波器的标识符可包括在语法元素中。运动补偿单元72可在视频块的编码期间使用如由视频编码器20使用的内插滤波器以计算参考块的次整数像素的内插值。运动补偿单元72 可根据经接收语法信息来确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器以产生预测性块。

运动补偿单元72使用以下各者中的一些：用以确定用以编码经编码视频序列的帧的宏块的大小的语法信息；描述经编码视频序列的帧的每一宏块如何被分割的分割信息；指示每一分区如何被编码的模式；用于每一经帧间编码宏块或分区的一或多个参考帧(及参考帧列表)；及用以解码经编码视频序列的其它信息。求和器80对残余块与由运动补偿单元72或帧内预测单元产生的对应预测块进行求和以形成经解码块。

参考图片存储器82可包括缓冲器96。缓冲器96可为或包括数据存储装置，诸如，能够存储数据的任何永久性或易失性存储器，诸如，同步动态随机存取存储器(SDRAM)、嵌入式动态随机存取存储器(eDRAM)，或静态随机存取存储器(SRAM)。缓冲器96可包括一或多个图片缓冲器及/或一或多个经解码图片缓冲器，且可根据本发明所描述的实例经译码图片缓冲器及/或经解码图片缓冲器行为的任何组合而操作。举例来说，视频解码器30可使用缓冲器96来执行DPB管理，及/或根据本发明的技术来执行经译码图片缓冲器94的CPB管理。

经译码图片缓冲器94可被实施为数据存储装置，诸如，能够存储数据的任何永久性或易失性存储器，诸如，同步动态随机存取存储器(SDRAM)、嵌入式动态随机存取存储器(eDRAM)，或静态随机存取存储器(SRAM)。经译码图片缓冲器94可根据本文所揭示的实例经译码图片缓冲器行为的任何组合而操作。

尽管经译码图片缓冲器94被展示为形成视频解码器30的部分，但在一些实例中，经译码图片缓冲器94可形成在视频解码器30外部的装置、单元或模块的部分。举例来说，经译码图片缓冲器94可形成在视频解码器30外部的流调度器单元的部分。流调度器单元可实施本发明的技术以在由所获得(例如，经发信)缓冲器移除时间指示的时间将解码单元发送到视频解码器30以供解码，所述解码单元包括子图片，诸如，树块序列、一或多个切片、一或多个波，及/或一或多个图像块。流调度器单元可进一步解封存取单元以提取包括解码单元的一或多个网络抽象层(NAL)单元。同样地，流调度器单元可解封NAL单元以提取解码单元。

根据如通过本发明的技术而修改的假设参考解码器(HRD)行为，视频解码器30可接收存取单元且将存取单元存储到经译码图片缓冲器94及从经译码图片缓冲器94移除存取单元。举例来说，视频解码器30可解码及获得HRD参数，所述参数包括初始CPB 移除延迟、CPB大小、位速率、初始DPB输出延迟，及DPB大小，以及用于解码单元的缓冲器移除时间，及发信视频数据的解码单元为存取单元还是存取单元子集的子图片经译码图片缓冲器优选旗标的值。视频解码器30可在存取单元中解码及获得发信用于解码单元的缓冲周期及缓冲器移除时间的SEI消息。举例来说，视频解码器30可解码及获得视频可用性信息(VUI)参数，所述参数具有包括子图片CPB旗标的语法，诸如在上表1的实例中。

解码单元可包括公共图片的子图片，且视频解码器30可在用于存取单元的SEI消息中解码及获得用于公共图片的子图片中的每一者的缓冲器移除时间。不同子图片可用不同量的数据予以编码，其中一些子图片是以不同数目个位或块予以编码，且视频解码器30可解码及获得用于公共图片的子图片中的每一者的对应相应缓冲器移除时间。视频解码器30也可解码及获得具有相同数据大小的子图片的一些图片。

因此，视频解码器30可解码及获得子图片，所述子图片可包括经译码图片的在解码顺序方面连续的数个译码块，且使得译码块可完全相同于树块，或树块的子集。在一些实例中，视频解码器30可解码及获得用于位流中的每一子图片的CPB移除时间，而非根据经发信图片级别CPB移除时间而导出CPB移除时间。视频解码器30也可解码及获得切片中的一个以上子图片，且可接收指示针对每一解码单元的开始点的字节偏移信息，以确定每一解码单元在何处开始，且解码及获得关于在每一子图片结束时提供字节对准的额外非数据信号或填充信号的信息。举例来说，视频解码器30也可用指示在视频数据的较大集合(诸如，切片、图像块或帧)内的子图片中的至少一者的字节对准的值来获得每一子图片的入口点。视频解码器30可根据本发明在不同实例中应用这些特征中的任何一或多者。

图3中针对参考图片存储器82、缓冲器96及经译码图片缓冲器94而展示的位置是出于说明性目的。参考图片存储器82、缓冲器96及经译码图片缓冲器94可位于单一存储装置或任何数目个相异存储装置中。所述存储装置可包括易失性及/或非易失性计算机可读媒体的任何组合。

如此，视频解码器30表示视频译码器的实例，所述视频译码器经配置以将视频数据的一或多个解码单元存储在图片缓冲器中、获得用于一或多个解码单元的相应缓冲器移除时间、根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元，且译码对应于经移除解码单元的视频数据。

图4为说明可实施本发明的技术中的任一者或全部的实例目的地装置100的框图。在这个实例中，目的地装置100包括输入接口102、流调度器104、经译码图片缓冲器 106、视频解码器108、经解码图片缓冲器110、再现单元112及输出接口114。目的地装置100可大体上对应于目的地装置14(图1)。输入接口102可包含能够接收视频数据的经译码位流的任何输入接口。举例来说，输入接口102可包含如在图1中的接收器26 及/或调制解调器28、诸如有线或无线接口的网络接口、存储器或存储器接口、用于从光盘读取数据的磁盘驱动器(诸如，光盘驱动器接口或磁性媒体接口)，或其它接口组件。

输入接口102可接收包括视频数据的经译码位流，且将所述位流提供到流调度器104。根据本发明的技术，流调度器104从位流提取视频数据的单元，诸如，存取单元及/或解码单元，且将经提取单元存储到经译码图片缓冲器106。如此，流调度器104表示如以上实例所论述的HSS的实例实施。经译码图片缓冲器106可与经译码图片缓冲器 94(图3)大体上一致，惟如下情形除外：如图4所示，经译码图片缓冲器106是与视频解码器108分离。在不同实例中，经译码图片缓冲器106可与视频解码器108分离或被整合为视频解码器108的部分。

视频解码器108包括经解码图片缓冲器110。视频解码器108可与图1及3的视频解码器30大体上一致。经解码图片缓冲器110可与缓冲器96大体上一致。因此，视频解码器108可根据本发明的技术来解码经译码图片缓冲器106的解码单元。

此外，视频解码器108可根据本发明的技术而从经解码图片缓冲器110输出经解码图片，如上文所论述。视频解码器108可将经输出图片传递到再现单元112。再现单元 112可根据本发明的技术来剪裁如上文所论述的图片，接着将经剪裁图片传递到输出接口114。输出接口114又可将经剪裁图片提供到显示装置，所述显示装置可与显示装置 32大体上一致。显示装置可形成目的地装置100的部分，或可以通信方式耦合到目的地装置100。举例来说，显示装置可包含屏幕、触摸屏、投影仪，或与目的地装置100整合的其它显示单元，或可包含单独显示器，诸如，电视、监视器、投影仪、触摸屏，或以通信方式耦合到目的地装置100的其它装置。所述通信耦合可包含有线或无线耦合，诸如，通过同轴电缆、复合视频电缆、组件视频电缆、高清晰度多媒体接口(HDMI)电缆、射频广播，或其它有线或无线耦合。

图5为根据本发明的技术的说明实例方法的流程图，所述方法包括(例如)由图1或3的视频解码器30或图4的视频解码器108(共同地为“视频解码器30/108”)根据所获得缓冲器移除时间而从图片缓冲器移除视频数据的解码单元。图5的实例方法可被描述为由视频解码器30/108执行作为一个实例，其中应理解，图5的方法的任何一或多个方面也可由其它装置或组件执行或用其它装置或组件实施。在图5的实例中，视频解码器 30/108可将视频数据的一或多个解码单元存储在图片缓冲器中(202)。视频解码器30/108 可获得用于一或多个解码单元的相应缓冲器移除时间，其中获得所述相应缓冲器移除时间包含接收指示用于所述解码单元中的至少一者的相应缓冲器移除时间的相应发信值 (204)。视频解码器30/108可根据用于解码单元中的每一者的所获得缓冲器移除时间而从图片缓冲器移除解码单元(206)。视频解码器30/108也可译码对应于经移除解码单元的视频数据，其中译码所述视频数据包含解码所述解码单元中的至少一者(208)。在其它实例中，视频解码器30/108及/或其它装置或元件也可执行不同或额外功能。

图6为根据本发明的技术的说明另一实例方法的流程图，所述方法在一些方面相似于图5的方法，其包括(例如)由图1或3的视频解码器30或图4的视频解码器108(共同地为“视频解码器30/108”)根据所获得缓冲器移除时间而从图片缓冲器移除视频数据的解码单元。图6的实例方法也可被描述为由视频解码器30/108执行作为一个实例，其中应理解，图6的方法的任何一或多个方面也可由其它装置或组件执行或用其它装置或组件实施。在图6的实例中，视频解码器30/108可将视频数据的一或多个解码单元存储在经译码图片缓冲器(CPB)中(402)、获得用于一或多个解码单元的相应缓冲器移除时间 (404)、根据用于解码单元中的每一者的所获得缓冲器移除时间而从CPB移除解码单元 (406)、确定CPB在存取单元级别还是子图片级别处操作(408)，且译码对应于经移除解码单元的视频数据(410)。如果CPB在存取单元级别处操作，那么译码视频数据包括译码包含在解码单元中的存取单元(412)。如果CPB在子图片级别处操作，那么译码视频数据包括译码包含在解码单元中的存取单元子集(414)。

举例来说，如果视频解码器30/108确定CPB在存取单元级别处操作，那么视频解码器30/108可译码对应于经移除解码单元的视频数据的存取单元(412)。如果视频解码器30/108确定CPB在子图片级别处操作，那么视频解码器30/108可译码对应于经移除解码单元的视频数据的存取单元子集(414)。举例来说，视频解码器30/108可通过确定子图片经译码图片缓冲器优选旗标(例如，SubPicCpbPreferredFlag)为负或具有值0或者确定子图片经译码图片缓冲器参数存在旗标(例如，sub_pic_cpb_params_present_flag)为负或具有值0来确定一或多个解码单元包含存取单元。视频解码器30/108可通过既确定子图片经译码图片缓冲器优选旗标(例如，SubPicCpbPreferredFlag)为正或具有值1又确定子图片经译码图片缓冲器参数存在旗标(例如，sub_pic_cpb_params_present_flag)为正或具有值1来确定一或多个解码单元包含存取单元子集。视频解码器30/108也可使用单一子图片经译码图片缓冲器旗标SubPicCpbFlag(其可设置到SubPicCpbPreferredFlag &&sub_pic_cpb_params_present_flag)，以确定两个基础旗标是否为正且确定视频解码器 30/108可针对存取单元子集进行译码。

图7为根据本发明的技术的说明处理视频数据的另一实例方法的流程图，所述方法包括(例如)由图1或3的视频解码器30或图4的视频解码器108(共同地为“视频解码器30/108”)在提高进程中输出经剪裁图片。在图7的实例中，如果满足某些条件中的任一者，那么视频解码器30/108可执行提高进程，如上文参考提高进程实例所描述。特别地，如果当前图片为瞬时解码刷新(IDR)图片(302)且无先前图片输出旗标具有不等于1 的值(304)，其可包括如果无先前图片输出旗标具有并未(例如)由HRD推断为等于1或设置为等于1的值，那么视频解码器30/108可执行提高进程。如果在经解码图片缓冲器 (DPB)中被标记为需要用于输出的图片的数目大于在当前时间层处的重新排序图片的数目(306)，那么视频解码器30/108也可执行提高进程。如果DPB中时间层标识符值低于或等于当前图片的时间层标识符值的图片的数目等于当前时间层的最大图片缓冲值加1 (308)，那么视频解码器30/108也可执行提高进程。

如果满足指定条件(302及304，或306，或308)中的任一者，那么视频解码器30/108可如下执行提高进程。视频解码器30/108可选择DPB中具有图片的最小图片顺序计数(POC)值且被标记为需要用于输出的图片作为选定图片(312)。视频解码器30/108可如用于选定图片的活动序列参数集合中所指定而剪裁选定图片，从而基于选定图片来产生经剪裁图片(314)。视频解码器30/108可输出经剪裁图片(316)。视频解码器30/108可将选定图片标记为无需用于输出(318)。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合予以实施。如果以软件予以实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读媒体可包括对应于诸如数据存储媒体的有形媒体的计算机可读存储媒体，或包括(例如)根据通信协议而促进计算机程序从一处传送到另一处的任何媒体的通信媒体。如此，计算机可读媒体通常可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)诸如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包括计算机可读媒体。

作为实例而非限制，这些计算机可读存储媒体可包含RAM、ROM、EEPROM、 CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪速存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样地，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或诸如红外线、无线电及微波的无线技术而从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或诸如红外线、无线电及微波的无线技术包括在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包括连接、载波、信号或其它暂时性媒体，而是有关于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘 (DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘用激光以光学方式重现数据。以上各者的组合也应包括在计算机可读媒体的范围内。

指令可由诸如以下各者的一或多个处理器执行：一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。因此，如本文所使用，术语“处理器”可指前述结构或适于实施本文所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文所描述的功能性提供在经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。同样地，可将所述技术完全地实施于一或多个电路或逻辑元件中。

本发明的技术可实施于各种各样的装置或设备中，所述装置或设备包括无线手机、集成电路(IC)或IC集合(例如，芯片集)。各种组件、模块或单元被描述在本发明中以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元而实现。更确切地，如上文所描述，各种单元可组合在编码解码器硬件单元中，或由包括如上文所描述的一或多个处理器的互操作性硬件单元集合结合合适软件及/或固件而提供。

已描述各种实例。这些及其它实例是在所附权利要求书的范围内。

Claims (62)

1.一种解码视频数据的方法，所述方法包含：

将与所述视频数据的存取单元相关联的多个解码单元存储在图片缓冲器中，所述多个解码单元中的每一解码单元为存取单元的子集，且所述多个解码单元中的每一解码单元包括所述存取单元的至少一个视频译码层VCL网络抽象层NAL单元和与所述至少一个VCL NAL单元相关联的非VCL NAL单元；

获得用于多个经存储解码单元中的每一经存储解码单元的相应缓冲器移除时间，其中获得用于相应经存储解码单元的相应缓冲器移除时间包含接收指示用于所述相应经存储解码单元的所述相应缓冲器移除时间的相应发信值；

根据所获得的缓冲器移除时间而从所述图片缓冲器移除所述多个经存储解码单元；及

译码对应于多个经移除解码单元的所述视频数据，其中译码所述视频数据包括解码所述多个经移除解码单元。

2.根据权利要求1所述的方法，其中将所述多个解码单元存储在所述图片缓冲器中包含以连续解码顺序将所述视频数据的所述多个解码单元存储在所述图片缓冲器中。

3.根据权利要求2所述的方法，其进一步包含在将多个所接收解码单元存储在所述图片缓冲器中之前以所述连续解码顺序接收所述视频数据的所述多个解码单元。

4.根据权利要求1所述的方法，其中所述图片缓冲器为经译码图片缓冲器。

5.根据权利要求4所述的方法，所述方法进一步包含在从所述经译码图片缓冲器移除多个经存储解码单元中的第二解码单元之前从所述经译码图片缓冲器移除所述多个经存储解码单元中的第一解码单元，其中所述第一解码单元及所述第二解码单元包含所述存取单元的相应子集。

6.根据权利要求1所述的方法，其中指示所述缓冲器移除时间的所述相应发信值进一步包含指示包含在所述相应经存储解码单元中的网络抽象层NAL单元的数目的发信值。

7.根据权利要求1所述的方法，其中所述多个解码单元包含公共图片的多个子图片，且其中接收指示所述相应缓冲器移除时间的所述相应发信值包含接收指示用于所述公共图片的子图片中的每一者的所述缓冲器移除时间的相应发信值。

8.根据权利要求1所述的方法，其中所述图片缓冲器为经译码图片缓冲器CPB，且其中接收指示所述缓冲器移除时间的所述相应发信值包含接收指示以下各者中的一或多者的相应发信值：存取单元级别处的初始CPB移除延迟、所述存取单元级别处的初始CPB移除延迟偏移、子图片级别处的初始CPB移除延迟或所述子图片级别处的初始CPB移除延迟偏移。

9.根据权利要求1所述的方法，其中指示所述缓冲器移除时间的所述相应发信值包含在图片计时补充增强信息SEI消息中。

10.根据权利要求1所述的方法，其中指示所述缓冲器移除时间的所述相应发信值包含在解码单元计时补充增强信息SEI消息中。

11.根据权利要求1所述的方法，其中根据所述所获得的相应缓冲器移除时间而从所述图片缓冲器移除所述多个经存储解码单元包含在自所述多个经存储解码单元中的至少一个经存储解码单元在所述图片缓冲器中的存储以来已经过了用于所述至少一个经存储解码单元的相应所获得缓冲器移除时间之后从所述图片缓冲器移除所述至少一个经存储解码单元。

12.根据权利要求1所述的方法，其中所述多个经存储解码单元中的每一者包含一或多个相应子图片。

13.根据权利要求12所述的方法，所述方法进一步包含接收指示在所述视频数据的较大集合内的所述一或多个相应子图片中的至少一个子图片的字节对准的发信值，所述视频数据的所述较大集合包含所述至少一个子图片。

14.根据权利要求13所述的方法，其中所述视频数据的所述较大集合包含存取单元、存取单元的子集、图片、帧、切片、波，或图像块中的至少一者。

15.根据权利要求12所述的方法，其中所述一或多个子图片中的每一子图片对应于所述视频数据的一或多个块序列、一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中的至少一者。

16.根据权利要求1所述的方法，其中获得用于所述多个经存储解码单元中的相应经存储解码单元的所述相应缓冲器移除时间包含执行以下操作之一：

基于所述相应解码单元包含所述视频数据的序号第一解码单元，确定所述缓冲器移除时间包含在与包含所述相应解码单元的存取单元相关联的缓冲周期补充增强信息SEI消息中指定的经译码图片缓冲器移除延迟值；或

基于所述相应解码单元不包含所述视频数据的所述序号第一解码单元，其中所述相应解码单元包含序号第i解码单元，其中i>0，确定所述缓冲器移除时间包含在与包含所述相应解码单元的所述存取单元相关联的图片计时SEI消息中指定的解码单元经译码图片缓冲器移除延迟[i]。

17.根据权利要求1所述的方法，其中获得用于所述多个经存储解码单元中的相应经存储解码单元的所述相应缓冲器移除时间包含执行以下操作之一：

基于所述相应解码单元包含所述视频数据的存取单元的序号第一解码单元，确定用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除延迟值除以90000；或

基于所述相应解码单元不包含所述存取单元的所述序号第一解码单元，其中所述解码单元包含所述存取单元的序号第m解码单元，其中m>0，确定用于所述解码单元的名义移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加时钟计时周期乘与所述序号第m解码单元相关联的经译码图片缓冲器移除延迟。

18.根据权利要求1所述的方法，其中所述多个经存储解码单元中的至少两个经存储解码单元包括不同数目个译码块，且其中译码对应于所述多个经移除解码单元的所述视频数据包含译码所述至少两个经存储解码单元中的所述不同数目个译码块。

19.根据权利要求1所述的方法，其中所述多个经存储解码单元中的至少两个经存储解码单元包括不同数目个位，且其中译码对应于所述多个经移除解码单元的所述视频数据包含译码所述至少两个经存储解码单元中的所述不同数目个位。

20.一种用于解码视频数据的装置，所述装置包含：

存储器，其经配置以存储所述视频数据的至少一部分；及

视频解码器，所述视频解码器经配置以：

将与视频数据的存取单元相关联的多个解码单元存储在图片缓冲器中，所述多个解码单元中的每一解码单元为所述存取单元的子集，且所述多个解码单元中的每一解码单元包括所述存取单元的至少一个视频译码层VCL网络抽象层NAL单元和与所述至少一个VCL NAL单元相关联的非VCL NAL单元；

获得用于多个经存储解码单元中的每一经存储解码单元的相应缓冲器移除时间，其中为了获得用于相应经存储解码单元的相应缓冲器移除时间，所述视频解码器经配置以接收指示用于所述相应经存储解码单元的所述相应缓冲器移除时间的相应发信值；

根据所获得的缓冲器移除时间而从所述图片缓冲器移除所述多个经存储解码单元；及

译码对应于多个经移除解码单元的所述视频数据，其中为了译码所述视频数据，所述视频解码器经配置以解码所述多个经移除解码单元。

21.根据权利要求20所述的装置，其中所述视频解码器经进一步配置成以连续解码顺序将所述视频数据的所述多个解码单元存储在所述图片缓冲器中。

22.根据权利要求21所述的装置，其中所述视频解码器经进一步配置以在将多个经接收解码单元存储在所述图片缓冲器中之前以所述连续解码顺序接收所述视频数据的所述多个解码单元。

23.根据权利要求20所述的装置，其中所述图片缓冲器为经译码图片缓冲器。

24.根据权利要求23所述的装置，其中所述视频解码器经进一步配置以在从所述经译码图片缓冲器移除所述多个经存储解码单元中的第二解码单元之前从所述经译码图片缓冲器移除所述多个经存储解码单元中的第一解码单元，其中所述第一解码单元及所述第二解码单元包含所述存取单元的相应子集。

25.根据权利要求20所述的装置，其中指示所述缓冲器移除时间的所述相应发信值进一步包含指示包含在所述相应经存储解码单元中的网络抽象层NAL单元的数目的发信值。

26.根据权利要求20所述的装置，其中所述多个解码单元包含公共图片的多个子图片，且其中所述视频解码器经进一步配置以接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移除时间的相应发信值。

27.根据权利要求20所述的装置，其中所述图片缓冲器为经译码图片缓冲器CPB，且其中所述视频解码器经进一步配置以接收指示以下各者中的一或多者的相应发信值：存取单元级别处的初始CPB移除延迟、所述存取单元级别处的初始CPB移除延迟偏移、子图片级别处的初始CPB移除延迟或所述子图片级别处的初始CPB移除延迟偏移。

28.根据权利要求20所述的装置，其中所述视频解码器经进一步配置以从图片计时补充增强信息SEI消息获得指示所述缓冲器移除时间的所述相应发信值。

29.根据权利要求20所述的装置，其中所述视频解码器经进一步配置以从补充增强信息SEI消息获得指示所述缓冲器移除时间的所述相应发信值。

30.根据权利要求20所述的装置，其中所述视频解码器经进一步配置以在自所述多个经存储解码单元中的至少一个经存储解码单元在所述图片缓冲器中的存储以来已经过了用于所述至少一个经存储解码单元的相应所获得缓冲器移除时间之后从所述图片缓冲器移除所述至少一个经存储解码单元。

31.根据权利要求20所述的装置，其中所述多个经存储解码单元中的每一者包含一或多个相应子图片。

32.根据权利要求31所述的装置，其中所述视频解码器经进一步配置以接收指示在所述视频数据的较大集合内的所述一或多个相应子图片中的至少一个子图片的字节对准的发信值，所述视频数据的所述较大集合包含至少一个子图片。

33.根据权利要求32所述的装置，其中所述视频解码器经进一步配置以接收所述视频数据的所述较大集合以作为存取单元、存取单元的子集、图片、帧、切片、波，或图像块中的至少一者。

34.根据权利要求31所述的装置，其中所述视频解码器经进一步配置以接收所述一或多个子图片中的每一子图片，所述每一子图片对应于一或多个视频数据块序列、一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中的至少一者。

35.根据权利要求20所述的装置，其中所述视频解码器经进一步配置以：

基于包含所述视频数据的序号第一解码单元的相应解码单元来确定所述缓冲器移除时间包含在与包含所述相应解码单元的存取单元相关联的缓冲周期补充增强信息SEI消息中指定的经译码图片缓冲器移除延迟值；及

基于所述相应解码单元不包含所述视频数据的所述序号第一解码单元来确定所述缓冲器移除时间包含如在与包含所述相应解码单元的所述存取单元相关联的图片计时SEI消息中指定的解码单元经译码图片缓冲器移除延迟[i]，其中所述相应解码单元包含序号第i解码单元，其中i>0。

36.根据权利要求20所述的装置，其中所述视频解码器经进一步配置以：

基于相应解码单元包含所述视频数据的存取单元的序号第一解码单元来确定用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除延迟值除以90000；及

基于所述相应解码单元不包含所述存取单元的所述序号第一解码单元来确定用于所述解码单元的名义移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加时钟计时周期乘与所述序号第m解码单元相关联的经译码图片缓冲器移除延迟，其中所述解码单元包含所述存取单元的序号第m解码单元，其中m>0。

37.根据权利要求20所述的装置，其中所述多个经存储解码单元中的至少两个经存储解码单元包括不同数目个译码块，且其中所述视频解码器经进一步配置以译码所述至少两个经存储解码单元中的所述不同数目个译码块。

38.根据权利要求20所述的装置，其中所述多个经存储解码单元中的至少两个经存储解码单元包括不同数目个位，且其中所述视频解码器经进一步配置以译码所述至少两个经存储解码单元中的所述不同数目个位。

39.根据权利要求20所述的装置，其中所述装置包含以下各者中的至少一者：

一或多个集成电路；

一或多个微处理器；

一或多个数字信号处理器DSP；

一或多个现场可编程门阵列FPGA；

台式计算机；

便携式计算机；

电话；

电视；

相机；

显示装置；

数字媒体播放器；

视频游戏控制台；

视频游戏装置；或

无线通信装置。

40.根据权利要求20所述的装置，其中所述图片缓冲器为经译码图片缓冲器，且其中所述视频解码器经进一步配置以将一或多个经解码图片存储在经解码图片缓冲器中。

41.根据权利要求20所述的装置，其中所述图片缓冲器为经译码图片缓冲器，且其中所述视频解码器经进一步配置以将经译码视频数据存储在所述经译码图片缓冲器中。

42.根据权利要求20所述的装置，其中所述图片缓冲器为经译码图片缓冲器，且所述装置进一步包含流调度单元，所述流调度单元经配置以将经译码视频数据存储到所述经译码图片缓冲器。

43.一种用于解码视频数据的设备，所述设备包含：

用于将与视频数据的存取单元相关联的多个解码单元存储在图片缓冲器中的装置，所述多个解码单元中的每一解码单元为存取单元的子集，且所述多个解码单元中的每一解码单元包括所述存取单元的至少一个视频译码层VCL网络抽象层NAL单元和与所述至少一个VCL NAL单元相关联的非VCL NAL单元；

用于获得用于多个经存储解码单元中的每一经存储解码单元的相应缓冲器移除时间的装置，其中用于获得用于相应经存储解码单元的相应缓冲器移除时间的装置包含用于接收指示用于所述相应经存储解码单元的所述相应缓冲器移除时间的相应发信值的装置；

用于根据所获得的缓冲器移除时间而从所述图片缓冲器移除所述多个经存储解码单元的装置；及

用于译码对应于多个经移除解码单元的所述视频数据的装置，其中用于译码所述视频数据的装置包含用于解码所述多个经移除解码单元的装置。

44.根据权利要求43所述的设备，其中用于将所述多个解码单元存储在所述图片缓冲器中的装置包含用于以连续解码顺序将所述视频数据的所述多个解码单元存储在所述图片缓冲器中的装置。

45.根据权利要求44所述的设备，其进一步包含用于在将所接收的多个解码单元存储到所述图片缓冲器中之前以所述连续解码顺序接收所述视频数据的所述多个解码单元的装置。

46.根据权利要求43所述的设备，其中所述图片缓冲器为经译码图片缓冲器。

47.根据权利要求46所述的设备，其进一步包含用于在从所述经译码图片缓冲器移除经存储的所述多个解码单元中的第二解码单元之前从所述经译码图片缓冲器移除经存储的所述多个解码单元中的第一解码单元的装置，其中所述第一解码单元及所述第二解码单元包含所述存取单元的相应子集。

48.根据权利要求43所述的设备，其中指示所述缓冲器移除时间的所述相应发信值进一步包含指示包含在所述相应经存储解码单元中的网络抽象层NAL单元的数目的发信值。

49.根据权利要求43所述的设备，其中所述多个解码单元包含公共图片的多个子图片，且其中用于接收指示所述相应缓冲器移除时间的所述相应发信值的装置包含用于接收指示用于所述公共图片的所述子图片中的每一者的所述缓冲器移除时间的相应发信值的装置。

50.根据权利要求43所述的设备，其中所述图片缓冲器为经译码图片缓冲器CPB，且其中所述用于接收指示所述缓冲器移除时间的所述相应发信值的装置包含用于接收指示以下各者中的一或多者的相应发信值的装置：存取单元级别处的初始CPB移除延迟、所述存取单元级别处的初始CPB移除延迟偏移、子图片级别处的初始CPB移除延迟或所述子图片级别处的初始CPB移除延迟偏移。

51.根据权利要求43所述的设备，其中指示所述缓冲器移除时间的所述相应发信值包含在图片计时补充增强信息SEI消息中。

52.根据权利要求43所述的设备，其中指示所述缓冲器移除时间的所述相应发信值包含在解码单元计时补充增强信息SEI消息中。

53.根据权利要求43所述的设备，其中用于根据相应所获得缓冲器移除时间而从所述图片缓冲器移除所述多个经存储解码单元的装置包含用于在自所述多个经存储解码单元中的至少一个经存储解码单元在所述图片缓冲器中的存储以来已经过了用于所述至少一个经存储解码单元的相应所获得缓冲器移除时间之后从所述图片缓冲器移除所述至少一个经存储解码单元的装置。

54.根据权利要求43所述的设备，其中所述多个经存储解码单元中的每一者包含一或多个相应子图片。

55.根据权利要求54所述的设备，其进一步包含用于接收指示在所述视频数据的较大集合内的所述一或多个相应子图片中的至少一个子图片的字节对准的发信值的装置，所述视频数据的所述较大集合包含所述至少一个子图片。

56.根据权利要求55所述的设备，其中所述视频数据的所述较大集合包含存取单元、存取单元的子集、图片、帧、切片、波，或图像块中的至少一者。

57.根据权利要求54所述的设备，其中所述一或多个子图片中的每一子图片经对应于一或多个视频数据块序列、一或多个切片、一或多个波、一或多个图像块或一或多个网络抽象层NAL单元中的至少一者。

58.根据权利要求43所述的设备，其中用于获得用于所述多个经存储解码单元中的相应经存储解码单元的所述相应缓冲器移除时间的装置包含以下各者中的一者：

用于基于所述相应解码单元包含所述视频数据的序号第一解码单元而确定所述缓冲器移除时间包含在与包含所述相应解码单元的存取单元相关联的缓冲周期补充增强信息SEI消息中指定的经译码图片缓冲器移除延迟值的装置；或

用于基于所述相应解码单元不包含所述视频数据的所述序号第一解码单元而确定所述缓冲器移除时间包含如在与包含所述相应解码单元的所述存取单元相关联的所述图片计时SEI消息中指定的解码单元经译码图片缓冲器移除延迟[i]的装置，其中所述相应解码单元包含序号第i解码单元，其中i>0。

59.根据权利要求43所述的设备，其中用于获得用于所述多个经存储解码单元中的相应经存储解码单元的所述相应缓冲器移除时间的装置包含以下各者中的一者：

用于基于所述相应解码单元包含所述视频数据的存取单元的序号第一解码单元而确定用于所述解码单元的名义移除时间包含初始经译码图片缓冲器移除延迟值除以90000的装置；及

用于基于所述相应解码单元不包含所述存取单元的所述序号第一解码单元而确定用于所述解码单元的名义移除时间包含上一缓冲周期的序号第一解码单元的名义移除时间加时钟计时周期乘与所述序号第m解码单元相关联的经译码图片缓冲器移除延迟的装置，其中所述解码单元包含所述存取单元的序号第m解码单元，

其中m>0。

60.根据权利要求43所述的设备，其中所述多个经存储解码单元中的至少两个经存储解码单元包括不同数目个译码块，且其中用于译码对应于所述多个经移除解码单元的所述视频数据的装置包含用于译码所述至少两个经存储解码单元中的所述不同数目个译码块的装置。

61.根据权利要求43所述的设备，其中所述多个经存储解码单元中的至少两个经存储解码单元包括不同数目个位，且其中用于译码对应于所述多个经移除解码单元的所述视频数据的装置包含译码所述至少两个经存储解码单元中的所述不同数目个位的装置。

62.根据权利要求43所述的设备，其中所述设备包含以下各者中的至少一者：

一或多个集成电路；

一或多个微处理器；

一或多个数字信号处理器DSP；

一或多个现场可编程门阵列FPGA；

台式计算机；

便携式计算机；

电话；

电视；

相机；

显示装置；

数字媒体播放器；

视频游戏控制台；

视频游戏装置；或

无线通信装置。