CN103947210B

CN103947210B - 视频译码中借助高级经解码图片缓冲器(dpb)管理的随机存取

Info

Publication number: CN103947210B
Application number: CN201280053791.3A
Authority: CN
Inventors: 陈盈; 王益魁; 陈建乐
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-10-31
Filing date: 2012-10-31
Publication date: 2017-10-31
Anticipated expiration: 2032-10-31
Also published as: EP2774365A1; RU2584491C2; HUE039675T2; PT2774365T; CA2852959A1; CA2852959C; AU2012332567A1; AU2016201877B2; US20160165237A1; BR112014010418A2; CN103947210A; MY167629A; WO2013067033A1; KR101597927B1; ZA201403984B; JP2014535219A; RU2014122182A; AU2016201877A1; PL2774365T3; DK2774365T3

Abstract

作为一个实例，用于对视频数据进行解码的技术包含：接收包含经译码视频序列CVS的一或多个图片的位流；根据解码次序对第一图片进行解码，其中所述第一图片为并非瞬时解码刷新IDR图片的随机存取点RAP图片；以及基于所述经解码第一图片对根据所述解码次序跟随所述第一图片的至少一个其它图片进行解码。作为另一实例，用于对视频数据进行编码的技术包含：产生包含CVS的一或多个图片的位流，其中根据所述解码次序的第一图片为并非IDR图片的RAP图片，以及避免在所述位流中包含除了所述第一图片之外对应于与所述第一图片相关联的引导图片的至少一个其它图片。

Description

视频译码中借助高级经解码图片缓冲器(DPB)管理的随机存取

本申请案主张2011年10月31日申请的第61/553,802号美国临时申请案和2012年2月6日申请的第61/595,605号美国临时申请案的权益，以上每一美国临时申请案的全部内容以引用方式并入本文。

技术领域

本发明涉及视频译码，且更特定来说涉及对由视频译码过程产生的视频数据的帧进行译码。

背景技术

数字视频能力可并入到广泛多种装置中，包含数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置和类似装置。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(“AVC”)界定的标准、当前在开发的高效视频译码(HEVC)标准以及此些标准的扩展中描述的那些技术。视频装置可通过实施此些视频压缩技术来较有效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割为若干视频块，所述视频块也可称为树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。

空间或时间预测得到待译码块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本的块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得到残余变换系数，所述系数随后可经量化。初始以二维阵列布置的经量化变换系数可按次序经扫描而产生变换系数的一维向量。随后可应用熵译码以实现甚至更多的压缩。

发明内容

本发明描述用于视频译码中的随机存取的技术。特定来说，本发明描述用于对包含一或多个帧或“图片”的视频序列进行译码的若干技术，其中在符合的位流中的特定经译码视频序列(CVS)的第一经译码图片可为随机存取点(RAP)图片，其不是瞬时解码刷新(IDR)图片。举例来说，与所述技术一致，第一经译码图片可为清洁随机存取(CRA)图片。

作为一个实例，本发明的技术可使得符合所述技术的视频解码器能够成功地以可预测且经界定或“标准”方式对从此非IDR RAP图片开始的位流进行解码。举例来说，所揭示技术可使得符合的视频解码器能够操纵与第一经译码图片相关联的也包含于位流中的所谓“引导图片”的各种输出和参考性质。因此，所述技术与其它技术相比可实现视频解码器对位流的相对改善的随机存取。举例来说，所述技术与其它技术(例如，允许仅从IDR图片对位流的随机存取的技术)相比可通过使得视频解码器能够在相对较为开始的点处对位流进行解码或存取位流的图片(即，非IDR图片)来促进位流的“较精细”或较细粒的随机存取。另外，所述技术可使得符合的视频解码器能够改善也包含于位流中的一或多个其它图片的视觉质量，例如通过避免输出和/或使用与第一图片相关联的引导图片作为参考图片。

或者，作为另一实例，所揭示技术可使得符合所述技术的视频编码器能够产生位流，其排除了与位流的作为非IDR RAP图片的第一经译码图片相关联的引导图片。因此，也符合所揭示技术的视频解码器可成功地以可预测且经界定方式对位流进行解码。

因此，使用本发明的技术可改善视频编码和解码系统和装置的互操作性，以及大体针对各种视频应用中可频繁发生的位流随机存取的用户体验。

在本发明的一个实例中，一种对视频数据进行解码的方法包含：接收包括CVS的一或多个图片的位流，根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码，其中第一图片是并非IDR图片的RAP图片，且基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随所述第一图片的至少一者进行解码。

在本发明的另一实例中，一种对视频数据进行编码的方法包含：产生包括CVS的一或多个图片的位流，其中根据与CVS相关联的解码次序的所述一或多个图片中的第一图片是并非IDR图片的RAP图片，其中产生位流包括避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者，其中所述引导图片包括根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片，且其中第一图片是可解码的，且其中所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者基于第一图片是可解码的。

在本发明的另一实例中，一种经配置以对视频数据进行解码的设备包含视频解码器，所述视频解码器经配置以：接收包括CVS的一或多个图片的位流，根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码，其中第一图片是并非IDR图片的RAP图片，且基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随所述第一图片的至少一者进行解码。

在本发明的另一实例中，一种经配置以对视频数据进行编码的设备包含视频编码器，所述视频编码器经配置以产生包括CVS的一或多个图片的位流，其中根据与CVS相关联的解码次序的所述一或多个图片中的第一图片是并非IDR图片的RAP图片，其中为了产生位流，视频编码器经配置以避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者，其中所述引导图片包括根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片，且其中第一图片是可解码的，且其中所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者基于第一图片是可解码的。

在本发明的另一实例中，一种用于对视频数据进行解码的装置包含：用于接收包括CVS的一或多个图片的位流的装置，用于根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码的装置，其中第一图片是并非IDR图片的RAP图片，以及用于基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随所述第一图片的至少一者进行解码的装置。

在本发明的另一实例中，一种用于对视频数据进行编码的装置包含：用于产生包括CVS的一或多个图片的位流的装置，其中根据与CVS相关联的解码次序的所述一或多个图片中的第一图片是并非IDR图片的RAP图片，其中用于产生位流的装置包括用于避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者，其中所述引导图片包括根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片，且其中第一图片是可解码的，且其中所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者基于第一图片是可解码的。

本发明中描述的技术可以硬件、软件、固件或其组合来实施。如果以硬件实施，则设备可实现为集成电路、处理器、离散逻辑或其任一组合。如果以软件实施，则软件可在一个或一个以上处理器中执行，所述处理器例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。执行所述技术的软件可初始存储在有形计算机可读媒体中且在处理器中加载和执行。

因此，在另一实例中，本发明预期一种存储指令的计算机可读存储媒体，所述指令在执行时致使一或多个处理器：接收包括CVS的一或多个图片的位流；根据与所述CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码，其中所述第一图片为并非IDR图片的RAP图片；以及基于所述经解码第一图片对所述一或多个图片中除了所述第一图片之外根据所述解码次序跟随所述第一图片的至少一者进行解码。

在另一实例中，本发明预期一种存储指令的计算机可读存储媒体，所述指令在执行时致使一或多个处理器：产生包括CVS的一或多个图片的位流，其中根据与CVS相关联的解码次序的所述一或多个图片中的第一图片是并非IDR图片的RAP图片，其中所述致使所述一或多个处理器产生位流的指令包括致使所述一或多个处理器进行以下操作的指令：避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者，其中所述引导图片包括根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片，且其中第一图片是可解码的，且其中所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者基于第一图片是可解码的。

在附图和以下描述中陈述一个或一个以上实例的细节。从描述和图式以及从权利要求书将明了其它特征、目的和优点。

附图说明

图1是图解说明与本发明的技术一致的可执行用于借助高级解码器图片缓冲器(DPB)管理的随机存取的技术的视频编码和解码系统的实例的框图。

图2是图解说明与本发明的技术一致的可执行用于借助高级DPB管理的随机存取的技术的视频编码器的实例的框图。

图3是图解说明与本发明的技术一致的可执行用于借助高级DPB管理的随机存取的技术的视频解码器的实例的框图。

图4是图解说明与本发明的技术一致的视频数据的图片群组(GOP)的图片当中的参考阶层的实例的概念图。

图5是图解说明与本发明的技术一致的图解说明由视频解码器执行包含视频数据的一或多个图片的位流的随机存取的实例方法的流程图。

图6是图解说明与本发明的技术一致的图解说明由视频编码器产生包含视频数据的一或多个图片的位流的实例方法的流程图。

具体实施方式

具体来说，本文描述的技术与其它技术相比可包含以下新颖方面中的至少一或多者：(1)检测从非IDR RAP图片(例如，CRA图片)的随机存取的发生；2)识别和解码在解码次序上跟随非IDR RAP图片但在输出次序上在非IDR RAP图片之前的一或多个图片(即，非IDRRAP图片的一或多个“引导图片”)；以及3)指定甚至在对应用信号发送的语法元素output_flag等于真或“1”(即，output_flag指示相应图片将输出)的情况下也不输出非IDR RAP图片的一或多个引导图片中的每一者，且相应图片不用做在解码次序和输出次序上跟随非IDR RAP图片的任何其它图片的参考图片。

以此方式，包含视频数据的一或多个图片且以非IDR RAP图片开始的位流可由符合本发明的技术的视频解码器以可预测且经界定方式来解码。或者，符合所揭示技术的视频编码器产生包含视频数据的一或多个图片且以非IDR RAP图片开始的位流，使得可由符合所述技术的视频解码器可以可预测且经界定方式来对解码进行解码。因此，当使用本发明的技术执行包含视频数据的一或多个图片的位流的随机存取时可存在用户体验的相对改善。特定来说，当使用所揭示技术时，可存在随机存取粒度中的相对改善，以及位流的一或多个图片的视觉质量的相对改善，和/或包含所述一或多个作为整体的CVS的相对改善。

图1是图解说明与本发明的技术一致的可执行用于借助高级解码器图片缓冲器(DPB)管理的随机存取的技术的视频编码和解码系统的实例的框图。如图1所示，系统10包含源装置12，所述源装置12产生经编码视频以由目的地装置14在稍后时间解码。源装置12和目的地装置14可包括广泛多种装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似装置。在一些情况下，源装置12和目的地装置14可针对无线通信而装备。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，链路16可包括通信媒体以使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14。经编码视频数据可根据例如无线通信协议等通信标准而调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或者一种或一种以上物理传输线。通信媒体可形成基于包的网络的部分，所述网络例如为局域网、广域网或例如因特网的全球网。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。

或者，经编码数据可从输出接口22输出到存储装置24。类似地，经编码数据可通过输入接口26从存储装置24存取。存储装置24可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或任何其它合适的用于存储经编码视频数据的数字存储媒体。在又一实例中，存储装置24可对应于文件服务器或另一中间存储装置，其可保持由源装置12产生的经编码视频。目的地装置14可经由流式传输或下载从存储装置24存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任一类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。这可包含适于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从存储装置24的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术不一定限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一种，例如空中电视广播、闭路电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、为存储在数据存储媒体上对数字视频的编码、对存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如以下各项的源：例如摄像机等视频俘获装置、含有先前俘获视频的视频档案、用以从视频内容提供者接收视频的视频馈送接口，和/或用于产生计算机图形作为源视频的计算机图形系统，或此些源的组合。作为一个实例，如果视频源18是摄像机，则源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中描述的技术可大体上适用于视频译码，且可适用于无线和/或有线应用。

所俘获、预俘获或计算机产生的视频可由视频编码器20编码。经编码视频数据可经由源装置12的输出接口22直接发射到目的地装置14。经编码视频数据也可(或者)存储到存储装置24上供目的地装置14或其它装置稍后存取，用于解码和/或重放。

目的地装置14包含输入接口26、视频解码器30和显示装置28。在一些情况下，输入接口26可包含接收器和/或调制解调器。目的地装置14的输入接口26经由链路16或从存储装置24接收经编码视频数据。经由链路16传送或在存储装置24上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，其供例如视频解码器30等视频解码器用于对视频数据进行解码。此些语法元素可与经编码视频数据一起在通信媒体上发射、存储在存储媒体上或存储在文件服务器上。

显示装置28可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。大体上，显示装置28向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

视频编码器20和视频解码器30可根据例如由ITU-T视频译码专家组(VCEG)的视频译码联合合作组(JCT-VC)和ISO/IEC动画专家组(MPEG)当前在开发的高效视频译码(HEVC)标准等视频压缩标准来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(或者称为MPEG4第10部分AVC)等其它专门或行业标准或此些标准的扩展来操作。然而本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。称为“HEVC工作草案8”或“WD8”的HEVC标准的最新草案在布洛斯(Bross)等人的文献JCTVC-J1003_d7“高效视频译码(HEVC)文本规范草案8(Highefficiency video coding(HEVC)textspecification draft8)”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作组(JCT-VC)，第10次会议：瑞典斯德哥尔摩，2012年7月11到20日)中描述，其从2012年10月17日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip下载。

本发明中称为“HEVC工作草案4”或“WD4”的HEVC标准的另一草案在布洛斯(Bross)等人的文献JCTVC-F803“WD4：高效视频译码工作草案4(WD4：Working Draft4of High-Efficiency Video Coding)”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作组(JCT-VC)，第6次会议：意大利托里诺，2011年7月14到22日)中描述，其从2012年10月17日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v8.zip下载。

本发明中称为“HEVC工作草案5”或“WD5”的HEVC标准的另一草案在布洛斯(Bross)等人的文献JCTVC-G1103“WD5：高效视频译码工作草案5(WD5：Working Draft5of High-Efficiency Video Coding)”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作组(JCT-VC)，第7次会议：瑞士日内瓦，2011年11月21到30日)中描述，其从2012年10月17日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G1103-v12.zip下载。

虽然图1中未图示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，在一些实例中，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。当所述技术部分地以软件实施时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中，且使用一或多个处理器执行硬件中的指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(“CODEC”)的部分。

HEVC标准化努力是基于称为HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置相对于符合例如ITU-T H.264/AVC的现存装置的若干额外能力。举例来说，H.264提供九种帧内预测编码模式，而HM可提供多达三十五种帧内预测编码模式。

大体上，HM的工作模型描述了可将视频帧或图片划分为包含亮度和色度样本两者的树块或最大译码单元(LCU)的序列。树块具有与H.264标准的宏块类似的目的。切片包含若干在译码次序上连续的树块。视频帧或图片可经分割为一或多个切片。每一树块可根据四叉树而分裂为若干译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂为四个子节点，且每一子节点又可为母节点且分裂为另外四个子节点。作为四叉树的叶节点，最终未经分裂的子节点包括译码节点，即经译码视频块。与经译码位流相关联的语法数据可界定树块可经分裂的最大次数，且也可界定译码节点的最小大小。

CU包含译码节点以及与译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小且形状必须为正方形。CU的大小的范围可为从8x8像素直到具有最大64x64像素或更大的树块的大小。每一CU可含有一或多个PU和一或多个TU。与CU相关联的语法数据可描述例如CU分割为一或多个PU。分割模式在CU经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码之间可不同。PU可经分割为非正方形的形状。与CU相关联的语法数据还可描述例如CU根据四叉树而分割为一或多个TU。TU可为正方形或非正方形的形状。

HEVC标准允许根据TU的变换，所述TU对于不同CU可为不同的。TU通常基于为经分割LCU界定的给定CU内的PU的大小来定大小，但情况可能并非总是这样。TU通常与PU大小相同或小于PU。在一些实例中，使用称为“残余四叉树”(RQT)的四叉树结构，对应于CU的残余样本可经再分为较小的单元。RQT的叶节点可称为TU。与TU相关联的像素差值可经变换以产生可经量化的变换系数。

大体上，PU包含与预测过程相关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。界定PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

大体上，TU用于变换和量化过程。具有一或多个PU的给定CU还可包含一或多个TU。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可使用TU而变换为变换系数、经量化且经扫描以产生用于熵译码的经串行化变换系数。本发明通常使用术语“视频块”或简称为“块”来指代CU的译码节点。在一些特定情况下，本发明也可使用术语“视频块”来指代树块，即LCU或CU，其包含译码节点以及PU和TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可在GOP的标头、一或多个图片的标头或其它地方包含描述所述GOP中包含的图片数目的语法数据。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为一实例，HM支持各种PU大小下的预测。假定特定CU的大小为2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测以及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向分割为25％和75％。CU的对应于25％分割的部分由“n”指示，随后是“上”、“下”、“左”或“右”的指示。因此，举例来说，“2NxnU”指代经水平分割的2Nx2N CU，其中顶部为2Nx0.5NPU且底部为2Nx1.5N PU。

在本发明中，“NxN”和“N乘N”可以互换地使用以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16x16像素或16乘16像素。大体上，16x16块将在垂直方向上具有16个像素(y＝16)且在水平方向上具有16个像素(x＝16)。同样，NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可以若干行和列布置。而且，块无需一定在水平方向上具有与垂直方向上相同数目的像素。举例来说，块可包括NxM个像素，其中M不一定等于N。

在使用CU的PU的帧内预测或帧间预测译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括空间域(也称为像素域)中的像素数据，且TU可包括例如在对残余视频数据应用例如离散余弦变换(DCT)、整数变换、小波变换等变换或概念上类似的变换后的变换域中的系数。残余数据可对应于未经编码图片的像素之间的像素差和对应于PU的预测值。视频编码器20可形成包含CU的残余数据的TU，且随后变换TU以产生CU的变换系数。

在任何变换以产生变换系数后，视频编码器20可执行变换系数的量化。量化大体上指代其中变换系数经量化以可能地减少用以表示所述系数的数据量从而提供进一步压缩的过程。量化过程可产生与系数中的一些或全部相关联的位深度。举例来说，在量化期间可将n位值下舍入到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描或“扫描”次序来扫描经量化变换系数以产生可经熵编码的经串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30用于对视频数据进行解码。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派于待发射的符号。所述上下文可例如涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射符号选择可变长度译码。VLC中的码字可经构造以使得相对较短的码对应于较可能的符号，而相对较长的码对应于较不可能的符号。以此方式，VLC的使用可例如针对待发射的每一符号使用相等长度码字来实现位节省。概率确定可基于对符号指派的上下文。

在一些实例中，本发明的技术是针对视频译码中的随机存取。特定来说，本发明描述用于对包含一或多个帧或图片的视频序列进行译码的若干技术，其中在符合的位流中的特定CVS的第一经译码图片可为RAP图片，其不是IDR图片。举例来说，与所揭示技术一致，第一经译码图片可为CRA图片。

换句话说，根据本发明的技术，包含CVS的一或多个图片的位流可视为“符合的”位流，其中所述位流的第一经译码图片是非IDR RAP图片。换句话说，符合所揭示技术的视频解码器可成功地以可预测且经界定方式对此位流进行解码。具体来说，本发明的技术包含由视频解码器处置与第一经译码图片相关联的引导图片的解码以及输出和参考性质的方法。或者，所述技术还包含由视频编码器产生符合的位流，所述位流从位流中排除与位流的为非IDR RAP图片的第一经译码图片相关联的引导图片，使得所述位流可由视频解码器以可预测且经界定方式成功地解码。

在本发明中，CVS的IDR图片可通常涉及CVS内包含的使用帧内预测译码来译码的图片，即在不参考CVS内或外部的任何其它图片的情况下译码的“I”图片。另外，IDR图片可涉及如下图片：CVS内包含的根据与CVS相关联的解码次序跟随IDR图片的所有其它图片是在不参考根据解码次序在IDR图片之前的任何图片的情况下解码。举例来说，与一些技术(例如，H.264/MPEG-4部分10/AVC；下文为“H.264/AVC”)一致，CVS可包含根据与CVS相关联的解码次序作为CVS的第一图片的IDR图片，以及一或多个额外IDR图片。作为一个实例，CVS可包含一或多个GOP，其中每一GOP以IDR图片开始，跟随有一或多个其它非IDR图片(例如，基于从其它参考图片的前向和双向预测实用帧间预测译码来译码的所谓的“P”和“B”图片)。

与上述技术(例如，H.264/AVC)一致，CVS的随机存取可通过首先对CVS的IDR图片(例如，CVS内包含的特定GOP的IDR图片)进行解码来实现。因为根据这些技术，IDR图片可如上所述在不参考任何其它图片的情况下解码，所以可通过首先对位于每一GOP的开始处的IDR图片进行解码基于GOP来执行CVS的随机存取。换句话说，根据一些技术(例如，H.264/AVC)，可仅从CVS内包含的IDR图片执行CVS的随机存取。由此，在这些技术中，为了符合的位流中的特定CVS的第一经译码图片是RAP图片，所述图片必须是IDR图片。

与上述技术相比，根据本发明的技术，从非IDR图片(例如，CRA图片)开始的位流的随机存取可以可预测且经界定或“标准”方式由符合的视频解码器执行。因此，所揭示的技术可显著改善视频编码器和视频解码器系统和装置的互操作性，以及大体针对各种视频应用中可频繁发生的位流随机存取的用户体验。举例来说，本文描述的技术与其它技术相比可包含以下新颖方面中的至少一或多者：

(1)检测从非IDR RAP图片(例如，CRA图片)的随机存取的发生；

2)识别和解码在解码次序上跟随所述非IDR RAP图片但在输出次序上在所述非IDRRAP图片之前的一或多个图片(即，非IDR RAP图片的一或多个“引导图片”)；以及

(3)指定甚至在对应用信号发送的output_flag等于真或“1”(即，output_flag指示相应图片将输出)的情况下也不输出非IDR RAP图片的一或多个引导图片中的每一者，且相应图片不用做在解码次序和输出次序上跟随非IDR RAP图片的任何其它图片的参考图片。

如上文描述，根据一些技术(例如，H.264/AVC)，IDR图片可用做CVS的常规存取点(例如，随机存取点，或“RAP”图片)。举例来说，IDR图片可包含在CVS的有时称为GOP的可独立解码部分的开始处。CVS的随机存取的此实施方案有时称为“封闭GOP”实施方案，其中特定GOP内无图片参考在GOP的IDR图片之前发生的任何图片，例如根据与CVS相关联的解码次序包含于CVS的先前GOP或另一先前CVS的GOP内的图片。如上文已经阐释，在此上下文中，GOP可经界定为IDR图片，跟随有一或多个“P”和/或“B”图片。

在所谓的“开放GOP”实施方案中，CRA图片用做与上文参考封闭GOP实施方案描述的IDR图片类似的目的。举例来说，在此上下文中，GOP可经界定为CRA图片，跟随有一或多个“P”和/或“B”图片。然而，与封闭GOP实施方案相比，在开放GOP实施方案中，特定GOP内的图片可参考在GOP的CRA图片之前发生的图片，例如根据与CVS相关联的解码次序包含于CVS的先前GOP或另一先前CVS的GOP内的图片。举例来说，与开放GOP实施方案一致，根据与CVS相关联的解码次序跟随CVS的一个GOP的CRA图片的“B”图片(其类似于IDR图片是经帧内预测的或“I”图片)可参考包含在CVS的先前GOP内的图片(例如，“P”或“B”图片)。

根据一些技术，CVS的“B”图片常规上是通过参考在与CVS相关联的输出次序上在“B”图片之前的图片以及跟随“B”图片的图片来预测。举例来说，此实例的“B”图片可参考(即，用做参考图片)包含于先前GOP内的图片，其可在与CVS相关联的输出次序上在“B”图片之前，且还参考(即，用做参考图片)CRA图片，其可在输出次序上跟随“B”图片。换句话说，在此实例中，“B”图片在解码次序上跟随CRA图片但在输出次序上在CRA图片之前。由此，“B”图片可视为CRA图片的“引导图片”。然而在其它实例中，“B”图片可为也是如上界定的CRA图片的引导图片的图片的任一其它类型。

上述实例说明与上述开放GOP实施方案相关联的至少一个间题。具体来说，在其中从CVS内包含的CRA图片执行CVS的随机存取的实例中，CRA图片的引导图片无法正确解码。这是由于如下事实：在CRA图片是CVS的第一经译码图片的实例中，在与CVS相关联的解码次序中在CRA图片之前的任何图片未经解码，且因此不可用作引导图片的参考图片。因此，在上述开放GOP实施方案中，引导图片无法正确地解码，且因此在显示的情况下有损用户体验。举例来说，如果经解码，那么引导图片可包含错误视频数据，且如果显示，那么可使图片自身以及通常CVS的视觉质量降级。出于相同原因，在开放GOP实施方案中，CVS的在解码次序和输出次序两者上跟随CRA图片的其它图片(例如，“P”图片)可不参考引导图片(例如，由于这些引导图片在经解码的情况下可包含错误视频数据)，或不参考在解码次数和输出次序两者上在CRA图片之前的任何其它图片(例如，由于这些图片未经解码，且因此不可用作参考图片)。

大体来说，上述技术(即，使用IDR图片的封闭GOP实施方案以及使用CRA图片的开放GOP实施方案)中的任一者可实现视频数据的CVS的随机存取。然而，根据一些译码标准，例如H.264/AVC，以CRA图片开始的位流视为“非符合的”位流。举例来说，如上所述，根据一些技术，例如H.264/AVC，位流必须以IDR图片开始。换句话说，根据这些技术，仅可支持上述的封闭GOP随机存取实施方案。本发明的技术可使得视频解码器能够处置此非符合的位流(即，以CRA图片开始且符合开放GOP实施方案的位流)。换句话说，本文描述的技术旨在界定此位流为“符合的”位流。在一些实例中，根据本发明的技术的符合的位流包含以CRA图片开始且符合开放GOP实施方案的位流，以及以IDR图片开始且符合封闭GOP实施方案的位流。

如上文已经阐释，相对于在CRA图片处发生的随机存取识别的一个间题涉及事实：CRA图片的引导图片可能未正确解码，且因此在显示的情况下可有损用户体验。本发明的技术可通过执行解码以及以特定方式操纵与CRA图片相关联的引导图片的输出和参考性质而实现从CRA图片的CVS的随机存取来解决此间题。具体来说，所述技术可包含以下步骤中的一或多者：

步骤1：当CVS的一或多个图片中的每一者的图片次序计数(POC)值小于CRA图片的POC值(即，相应图片在与CVS相关联的输出次序上在CRA图片之前)时且当相应图片在与CVS相关联的解码次序上跟随CRA图片时，将所述一或多个图片识别为CVS的CRA图片的引导图片。

步骤2：针对所述一或多个引导图片中的每一者确定相应引导图片是否参考不可用于解码的图片。

步骤3：针对经确定为参考不可用于解码的图片的所述一或多个引导图片中的每一者产生虚拟参考图片(例如，产生具有对应于与CVS相关联的亮度(或色度)值范围的中间的亮度(或色度)值的“中间”亮度(或色度)图片，例如“灰色”图片)。

步骤4：对使用对应所产生虚拟参考图片产生虚拟参考图片的所述一或多个引导图片中的每一者进行解码，以及对任何剩余引导图片进行解码。(所述一或多个引导图片的解码是按次序执行以维持视频解码器处的原始CVS时序参数，例如在视频解码器的DPB内，但如下文所述，经解码引导图片可能不输出或用做CVS的其它图片的参考图片)。

步骤5：将与经解码一或多个引导图片中的每一者相关联的output_flag设定为假或“0”以便不输出相应引导图片，甚至在当前output_flag等于真或“1”的情况下。(或者，所述技术可包含简单地忽略或“掩蔽”等于真或“1”的当前output_flag，以便不输出相应引导图片)。

步骤6：防止经解码一或多个引导图片中的每一者用做CVS的在解码次序和输出次序两者上跟随CRA图片的任何其它图片的预测(即，参考)图片。

另外，本文描述的技术可适用于编码(例如，视频编码器20)而非解码(例如，视频解码器30)装置。举例来说，在CVS的第一经译码图片包括CRA图片的情况下，符合本发明的技术的智能视频编码器可经配置以避免将CRA图片的任何引导图片发送到视频解码器。作为一个实例，视频编码器可经配置以仅发送根据与CVS相关联的解码次序跟随CRA图片的“P”图片。为了实现此情况，在一些实例中，视频编码器可经配置以通过丢弃含有与CRA图片相关联的引导图片的所有“存取单元”或相当的数据集合来产生所谓的位流“子集”。因此，在上文说明的替代实例中，视频编码器而非视频解码器可经配置以处置(即，移除)CVS的CRA的引导图片作为产生包含CVS的位流的部分，以便针对视频解码器处的位流的随机存取而改善互操作性和用户体验。

由此，与本文描述的技术一致，根据与符合的位流中的CVS相关联的解码次序的CVS的第一经译码图片可为IDR图片或CRA图片。换句话说，本发明的技术可通过界定位流来实现在CVS的CRA图片处发生的随机存取，其中根据与CVS相关联的解码次序的CVS的第一经译码图片是作为符合的位流的CRA图片。举例来说，本发明的技术可适用于特定译码标准(例如，H.265/HEVC)，或译码标准的扩展(例如，H.264/AVC)。在任一情况下，根据所揭示技术，此位流可为符合的位流。换句话说，此位流可由符合本发明的技术的视频解码器以经界定且可预测方式成功地解码。

以下描述提供涉及上述本发明的技术的额外信息和实例以及额外信息和技术。

具体来说，本文描述的技术与其它技术相比可包含以下新颖方面中的一或多者：(1)检测从非IDR图片的随机存取的发生；(2)指定甚至在图片的对应用信号发送的output_flag等于真或“1”的情况下也不输出图片；以及(3)当非IDR RAP图片是位流的第一经译码图片时且当与第一经译码图片相关联的引导图片不存在时，用信号发送在解码次序上跟随非IDR RAP图片的图片的经更新“经译码图片缓冲器”(CPB)移除时间参数。在与所揭示技术一致的一些实例中，经更新CPB移除时间参数可通过偏移来指示，所述偏移适用于在执行从非IDR RAP图片的随机存取之后在解码次序上跟随非IDRRAP图片的所有图片。

本文描述的技术可适用于各种视频译码标准，包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。另外，所揭示技术可适用于当前由ITU-T视频译码专家组(VCEG)的JCT-VC和ISO/IEC动画专家组(MPEG)开发的HEVC标准。如上文阐释，本发明中涉及的HEVC的一个特定版本是文献JCTVC-F803中描述的WD4。

现在将描述一些DPB管理技术。根据一些视频译码技术，可实施DPB管理的各种方法。作为一个实例，用于预测后续经译码图片和用于未来输出的经解码图片可在DPB中缓冲。为了有效地利用DPB的存储器，可指定DPB管理过程，包含经解码图片进入DPB的存储过程、参考图片的标记过程，以及经解码图片从DPB的输出和移除过程。DPB管理可包含至少以下方面：(1)图片识别和参考图片识别；(2)参考图片列表构造；(3)参考图片标记；(4)从DPB输出的图片；(5)进入DPB的图片插入；以及(6)从DPB的图片移除。下文提供对参考图片标记和参考图片列表构造的一些介绍。

作为一个实例，现在将描述参考图片列表标记技术。根据一些视频译码技术，可实施参考图片标记的各种方法。作为一个实例，可如下概述H.264/AVC中的参考图片标记。用于帧间预测的参考图片的可称为“M”(例如，对应于语法元素num_ref_frames)的最大数目可在作用序列参数集(SPS)中指示。当对参考图片进行解码时，参考图片可经标记为“用于参考”。如果参考图片的解码致使将多于“M”个图片标记为“用于参考”，那么可将至少一个图片标记为“未用于参考”。随后，DPB移除过程可从DPB移除经标记为“未用于参考”的图片(如果也不需要所述图片用于输出)。

当对图片进行解码时，图片可为非参考图片或参考图片。参考图片可为长期参考图片或短期参考图片，且当经标记为“未用于参考”时，图片可变为非参考图片。

H.264/AVC包含参考图片标记操作，其改变参考图片的状态。举例来说，在H.264/AVC中，对于参考图片标记存在两种类型的操作，即滑动窗和自适应存储器控制。基于图片来选择用于参考图片标记的操作模式。作为一个实例，滑动窗参考图片标记充当具有固定数目的短期参考图片的先入先出(FIFO)队列。换句话说，以隐式方式首先移除(即，标记为“不用于参考”的图片)具有最早解码时间的短期参考图片。作为另一实例，自适应存储器控制参考图片标记显式地移除短期或长期图片。其还使得能够切换短期和长期图片的状态。

作为另一实例，现在将描述参考图片列表构造技术。根据一些视频译码技术，可实施参考图片列表构造的各种方法。作为一个实例，通常，用于“B”图片的第一或第二参考图片列表的参考图片列表构造可包含两个步骤：(1)参考图片列表初始化，以及(2)参考图片列表重排序(可称为“修改”)。参考图片列表初始化可为显式机制，其基于POC的次序(如上文阐释，其为“图片次序计数”，且与图片的输出次序或显示次序对准)值将参考图片存储器(也称为DPB)中的参考图片放入列表中。

参考图片列表重排序机制可修改在对任何新位置的参考图片列表初始化期间放入列表中的图片的位置，或将参考图片存储器中的任何参考图片防入任何位置，即使图片不属于经初始化列表也是如此。一些图片在参考图片列表重排序(或修改)之后可被放入列表中的极“远”位置。然而，如果图片的位置超过列表的若干作用参考图片，那么所述图片可不视为最终参考图片列表的条目。作用参考图片的数目可在用于每一列表的切片标头中用信号发送。

或者，DPB管理的不同方法已在思乔伯格等人(2011年托里诺第6次会议)的文献“JCTVC-F493：参考图片的绝对信令(JCTVC-F493：Absolute Signaling ofReferencePictures)”，(下文称为JCTVC-F493)中描述，其完整内容以引用方式并入本文。

现在将描述一些参考图片集(RPS)技术。举例来说，完整内容也以引用方式并入本文的2012年9月19日申请的第13/622,972号美国专利申请案描述了RPS，其针对每一图片包含可由当前或当前经译码图片使用的若干参考图片以及在解码次序上跟随当前经译码图片的图片。可如下提供RPS的详细定义：与图片相关联的参考图片集，由所有参考图片组成，排除相关联图片自身，可用于相关联图片或在解码次序上跟随相关联图片的任何图片的帧间预测，且具有小于或等于相关联图片的语法元素temporal_id的语法元素temporal_id。

现在将描述RAP和对应RPS的实例。如先前阐释，在本发明中，“随机存取”指代从CVS中并非传统第一经译码图片的经译码图片(即，IDR图片)开始的CVS的解码。可称为“picR”的非IDR RAP图片可经界定为其中所有以下条件为真的经译码图片：

(1)picR不是IDR图片；

(2)使picR的POC为“rPoc”，且使“picA”为同一CVS中且在解码次序和输出次序两者上跟随picR的图片，且使picA的POC为“aPoc”。当在picR处执行随机存取时，可正确地解码同一CVS中且在输出次序上跟随picA的所有图片。

在此实例中，对于非IDR RAP图片picR，如果以下条件为真，那么图片可称为CRA图片：当在picR处执行随机存取时，可正确地解码同一CVS中且在输出次序上跟随picR的所有图片。如果对于非IDR RAP图片picR以上条件不为真，那么图片可称为逐渐解码刷新(GDR)图片。另外，对于CRA图片，对应RPS可不含有CRA图片的任何参考图片，但通常可含有用于在解码次序上跟随CRA图片的图片的至少一个图片。

图4是图解说明与本发明的技术一致的视频数据的GOP的图片当中的参考阶层的实例的概念图。特定来说，图4图解说明具有四个时间层级和“8”的GOP大小的阶层式“B”图片译码。如图4所示，当具有等于“8”的POC值的图片经译码为帧内(即，“I”图片)时，图片可为CRA图片。基于RPS的定义，RPS含有等于“0”的具有POC值的图片(针对在解码次序上跟随此图片的图片)。

现在将描述引导图片和对应的RPS。如先前阐释，在解码次序上跟随RAP图片但在显示次序上在RAP图片之前的图片可称为RAP图片的对应“引导图片”。在图4的实例中，以下表I中展示CRA图片(即，具有“8”的POC值的图片)的对应引导图片的RPS。

表I

POC	RPS
		4	{0，8}
2	{0，8，4}
		1	{0，8，4，2}
3	{8，4，2}
		6	{8，4，2}
5	{8，4，6}
		7	{8，6}

现在将描述图片输出技术。在HEVC WD4中，可对每一图片指派output_flag。当此旗标等于假或“0”时，相应图片不用于输出，且因此将不显示。

现在将描述CPB的实例。CPB可由视频解码器需要以用于在存取单元经解码之前接收和缓冲存取单元，每一存取单元含有经译码图片和相关联的网络抽象层(NAL)单元。在例如HEVC WD4中，没有CPB操作，但仍然可应用如H.264/AVC中指定的CPB操作。作为一个实例，根据H.264/AVC，对于符合的位流，可完全地满足如H.264/AVC中子条款C.3中指定的条件的列表。位流符合条件中的两者如下：

(1)将CPB上溢指定为其中CPB中的总位数目大于CPB大小的条件。CPB可从不上溢：

(2)将CPB下溢指定为其中t_r,n(n)小于t_af(n)的条件。当low_delay_hrd_flag等于“0”时，CPB可从不下溢。

现在将论述关于上述技术的一些潜在问题。上文描述的涉及在CRA图片处发生的随机存取的各种方法具有若干缺陷。作为一个实例，在引导图片不存在的情况下，符合的解码器可能不知道引导图片是否由于发射损失或由于有意图片丢弃(例如，通过流式传输服务器，有意地用于随机存取操作)而丢失。作为另一实例，引导图片可能未经正确解码，且因此在显示的情况下可有损用户体验。作为又一实例，在有意地丢弃一些经译码图片的情况下，从CRA图片开始的所得位流可与一或多个位流符合条件冲突，且因此，不可预见的解码行为和不可控的解码结果可发生。举例来说，当丢弃所有引导图片时，在解码次序上在CRA图片之后的下一图片变为在解码次序上在最后引导图片之后的经译码图片。与引导图片存在的情况相比，此下一图片流入到较早的CPB中，且因此，其CPB最终到达时间t_af(n)变得较早。从相关联图片时序补充增强信息(SEI)消息中的语法元素cpb_removal_delay导出的CPB移除时间可不改变。因此，CPB下溢将不发生。然而，如果此图片和在解码次序上跟随的图片的位数目显著大于丢弃的引导图片的位数目，那么CPB上溢可发生。

本发明描述在一些情况下可减少或消除上述一些缺陷的若干技术。特定来说，本发明的技术可通过采用各种方法确保第一经译码图片是CRA图片的位流是符合的(无论与所述CRA图片相关联的引导图片是否存在)，来解决与从CRA图片的随机存取相关的上述间题。所揭示技术包含可用以实施上述特征的至少以下方面。

作为一个实例，可任选地添加用于检测随机存取的发生的过程。针对每一图片和每一引导图片的随机存取的发生的检测(无论其目标是解码和/或输出)可通过构造消失图片集(VPS)来执行，所述VPS含有由于随机存取而可能未经正确接收和解码但在正常情况下将经正确接收和解码的图片。只要VPS不为空，就可能需要检测。

作为另一实例，可执行引导图片的输出性质的处置，使得当从相关联CRA图片开始的随机存取发生时引导图片不可用于输出。

作为另一实例，可修改用于引导图片的解码过程，使得如果接收到引导图片，那么可仅执行高级语法的剖析和相关联解码过程的调用(例如，参考图片集(RPS)的导出)，且可跳过此图片的解码。

作为另一实例，可添加位流约束，使得即使当解码器开始解码CRA图片且不存在跟随CRA图片的引导图片时，可使用CPB符合相关信息(包含假设参考解码器(HRD)参数、图片缓冲周期SEI消息和图片时序SEI消息)来满足CPB约束，且因此可不发生缓冲器上溢或下溢。

作为另一实例，可用信号发送与CRA图片相关联的SEI消息以包含CPB初始延迟参数的额外集合，使得当引导图片不存在时，当应用CPB初始延迟参数的额外集合时可满足CPB符合约束。更具体来说，在图片缓冲周期SEI消息中，如果当前图片是CRA图片，那么可用信号发送CPB初始延迟参数的两个集合。

以下实例证明本发明的技术的上述特征。为了描述以下实例，界定以下术语：

引导图片：与CRA图片相关联的图片，在解码次序上在CRA图片之后且在输出或显示次序上在CRA图片之前。

VPS：与CRA图片相关联的参考图片集，具有比CRA图片的显示次序早的显示次序。

现在将描述语法的实例，且尤其是缓冲周期SEI消息语法的实例。

表II

buffering_period(payloadSize){	C	描述符
			seq_parameter_set_id	5	ue(v)
cra_para_present_flag	5	u(1)
			if(NalHrdBpPresentFlag){
for(SchedSelIdx＝0；SchedSelIdx<＝cpb_cnt_minus1；SchedSelIdx++){
			initial_cpb_removal_delay[SchedSelIdx]	5	u(v)
initial_cpb_removal_delay_offset[SchedSelIdx]	5	u(v)
			if(cra_para_present_flag){
update_initial_cpb_removal_delay[SchedSelIdx]	5	u(v)
			update_initial_cpb_removal_delay_offset[SchedSelIdx]	5	u(v)
)
			}
}
			if(VclHrdBpPresentFlag){
for(SchedSelIdx＝0；SchedSelIdx<＝cpb_cnt_minus1；SchedSelIdx++){
			initial_cpb_removal_delay[SchedSelIdx]	5	u(v)
initial_cpb_removal_delay_offset[SchedSelIdx]	5	u(v)
			if(cra_para_present_flag){
update_initial_cpb_removal_delay[SchedSelIdx]	5	u(v)
			update_initial_cpb_removal_delay_offset]SchedSelIdx]	5	u(v)
)
			}
}
			}

另外，下文描述缓冲周期SEI消息语义的实例：

作为一个实例，等于真或“1”的cra_para_present_flag可指示在当前相关联图片是CRA图片时用信号发送CPB初始延迟的另一集合。等于假或“0”的此旗标可指示未用信号发送CPB初始延迟的额外集合。当相关联图片不是CRA图片时此旗标可等于“0”。

作为另一实例，update_initial_cpb_removal_delay[SchedSelIdx]可针对在HRD初始化之后的第一缓冲周期指定在与关联于缓冲周期SEI消息的存取单元相关联的经译码数据的第一位到达CPB中的时间与和同一存取单元相关联的经译码数据从CPB的移除时间之间的第SchedSelIdx CPB的延迟。所述语法元素可具有由initial_cpb_removal_delay_length_minus1+1给出的位的长度。其可为90kHz时钟的单位。此外，update_initial_cpb_removal_delay[SchedSelIdx]可不等于“0”，且可不超过90000*(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])，以90kHz时钟单位的CPB大小的时间等效物。

作为另一实例，update_initial_cpb_removal_delay_offset[SchedSelIdx]可结合cpb_removal_delay用于第SchedSelIdx CPB以指定经译码存取单元到CPB的初始递送时间。举例来说，update_initial_cpb_removal_delay_offset[SchedSelIdx]可为90kHz时钟的单位。update_initial_cpb_removal_delay_offset[SchedSelIdx]语法元素可为固定长度码，其位长度由initial_cpb_removal_delay_length_minus1+1给出。此语法元素可不由解码器使用，且可仅对于HEVC WD4的附录C中指定的递送时间表(HSS)为需要的。

现在将描述解码过程的实例。根据本发明的技术，可相对于完整内容以引用方式并入本文的2012年9月19日申请的第13/622,972号美国专利申请案中描述的解码过程而添加和/或修改随后的解码过程。

作为一个实例，现在将描述VPS创建技术。在一些实例中，VPS创建可刚好在当前图片为CRA图片时对于RPS的导出过程的调用之后发生。举例来说，在当前图片为CRA图片的实例中，如果RPS中的任何图片不在DPB中，那么VPS可设定为当前RPS。否则，VPS可设定为空。

作为另一实例，现在将描述引导图片识别技术。在一些实例中，如果VPS非空，且图片具有与VPS重叠的RPS，那么可将所述图片识别为引导图片。

作为另一实例，现在将描述引导图片解码技术。在一些实例中，符合的解码器可跳过引导图片的解码。

作为另一实例，现在将描述引导图片输出技术。在一些实例中，对于每一引导图片，可将output_flag设定为“假”，无论切片标头中的output_flag的值是否等于“0”或“1”。

现在将描述HRD且尤其是CPB的操作。举例来说，本发明的此部分中的规范可独立地应用于存在的每一CPB参数集，以及类型I和类型II符合。

作为一个实例，现在将描述位流到达的时序。可在缓冲周期SEI消息中的任一者处初始化HRD。在初始化之前，CPB可为空。在此实例中，在初始化之后，HRD可不由后续缓冲周期SEI消息初始化。同样在此实例中，如果第一存取单元是CRA存取单元，且引导图片不存在且cra_para_present_flag等于“1”，那么可将useUpdatePara设定为“1”。否则，useUpdatePara可设定为“0”。

举例来说，如果useUpdatePara等于“0”，那么InitialCpbRemovalDelay[SchedSelIdx]可设定为initial_cpb_removal_delay[SchedSelIdx]且InitialCpbRemovalDelayOffset[SchedSelIdx]可设定为initial_cpb_removal_delay_offset[SchedSelIdx]。否则，InitialCpbRemovalDelay[SchedSelIdx]可设定为update_initial_cpb_removal_delay[SchedSelIdx]且InitialCpbRemovalDelayOffset[SchedSelIdx]可设定为update_initial_cpb_removal_delay_offset[SchedSelIdx]，其中initial_cpb_removal_delay[SchedSelIdx]、initial_cpb_removal_delay_offset[SchedSelIdx]、update_initial_cpb_removal_delay[SchedSelIdx]和update_initial_cpb_removal_offset[SchedSelIdx]可在与CRA存取单元相关联的缓冲周期SEI消息中指定。

此外，与初始化CPB的缓冲周期SEI消息相关联的存取单元可称为存取单元“0”。所有其它存取单元称为存取单元“n”，其中“n”对于在解码次序上的下一存取单元递增1。在此实例中，存取单元n的第一位开始进入CPB的时间可称为初始到达时间t_ai(n)。

在一个实例中，存取单元的初始到达时间可如下导出：

(1)如果存取单元为存取单元0，那么t_ai(0)＝0；

(2)否则(存取单元为n>0的存取单元n)，以下情况可适用：

(a)如果cbr_flag[SchedSelIdx]等于“1”，那么存取单元n的初始到达时间可等于存取单元n-1的最终到达时间(下文导出)，即，

t_ai(n)＝t_af(n-1)等式1

(b)否则，如果cbr_flag[SchedSelIdx]等于“0”，且存取单元n不是后续缓冲周期的第一存取单元，那么存取单元n的初始到达时间可如下导出：

t_ai(n)＝Max(t_af(n-1)，t_ai,earliest(n))等式2

其中t_ai,earliest(n)如下给定：

t_ai,earliest(n)＝t_r,n(n)-(InitialCpbRemovalDelay[SchedSelIdx]+

InitialCpbRemovalDelayOffset[SchedSelIdx])÷90000等式3

其中在一些实例中，t_r,n(n)是如HEVC WD4的子条款C.1.2中指定的存取单元n从CPB的标称移除时间；

(c)否则(如果cbr_flag[SchedSelIdx]等于“0”，且后续存取单元n是后续缓冲周期的第一存取单元)，存取单元n的初始到达时间可如下导出：

t_ai(n)＝t_r,n(n)-(InitialCpbRemovalDelay[SchedSelIdx]÷90000)等式4

其中在一些实例中，InitialCpbRemovalDelay[SchedSelIdx]是在与存取单元n相关联的缓冲周期SEI消息中指定。

在此实例中，存取单元n的最终到达时间可如下导出：

t_af(n)＝t_ai(n)+b(n)÷BitRate[SchedSelIdx]等式5

其中b(n)可为存取单元n的以位计的大小，针对类似I符合对类型I位流的位计数，或针对类型II符合对类型II位流的位计数。

在一些实例中，可如下约束SchedSelIdx、BitRate[SchedSelIdx]和CpbSize[SchedSelIdx]的值：

(1)如果存取单元n和存取单元n-1是不同CVS的部分，且两个CVS的作用SPS的内容不同，那么HSS可从为含有存取单元n的CVS提供的SchedSelIdx值当中选择SchedSelIdx的值SchedSelIdx1，其得到两个CVS中的第二者(含有存取单元n-1)的BitRate[SchedSelIdx1]或CpbSize[SchedSelIdx1]，不同于曾用于含有存取单元n-1的CVS的SchedSelIdx的值SchedSelIdx0的BitRate[SchedSelIdx0]或CpbSize[SchedSelIdx0]的值；

(2)否则，HSS可继续以SchedSelIdx、BitRate[SchedSelIdx]和CpbSize[SchedSelIdx]的先前值操作。

在其它实例中，当HSS选择与先前存取单元不同的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]的值时，以下情况可适用：

(1)变量BitRate[SchedSelIdx]可在时间t_ai(n)处开始生效；

(2)变量CpbSize[SchedSelIdx]可如下开始生效：

(a)如果CpbSize[SchedSelIdx]的新值超过旧CPB大小，那么其可在时间t_ai(n)处开始生效；

(b)否则，CpbSize[SchedSelIdx]的新值可在时间t_r(n)处开始生效。

作为另一实例，现在将描述经译码图片移除的时序。举例来说，对于存取单元0，存取单元从CPB的标称移除时间可如下指定：

t_r,n(0)＝InitialCpbRemovalDelay[SchedSelIdx]÷90000等式6

此外，对于不初始化HRD的缓冲周期的第一存取单元，存取单元从CPB的标称移除时间可如下指定：

t_r,n(n)＝t_r,n(n_b)+t_c*cpb_removal_delay(n)等式7

其中t_r,n(n_b)可为先前缓冲周期的第一图片的标称移除时间，且cpb_removal_delay(n)可在与存取单元n相关联的图片时序SEI消息中指定。

另外，当存取单元n是缓冲周期的第一存取单元时，nb可在存取单元n的移除时间设定为等于n。

而且，并非缓冲周期的第一存取单元的存取单元n的标称移除时间t_r,n(n)可如下给定：

t_r,n(n)＝t_r,n(n_b)+t_c*cpb_removal_delay(n)等式8

另外，存取单元n的移除时间可如下指定：

(1)如果low_delay_hrd_flag等于“0”或t_r,n(n)>＝t_af(n)，那么存取单元n的移除时间可如下指定：

t_r(n)＝t_r,n(n)等式9

(2)否则(如果low_delay_hrd_flag等于l且t_r,n(n)<t_af(n))，那么存取单元n的移除时间可如下指定：

t_r(n)＝t_r,n(n)+t_c*Ceil((t_af(n)-t_r,n(n))÷t_c)等式10

在此实例中，后一种情况指示存取单元n的大小b(n)太大而使得其阻止在标称移除时间的移除。

作为另一实例，现在将描述位流符合。H.264/AVC的子条款C.3的揭示内容可适用于下文描述的技术，包含以下改变：符合的位流的在解码次序上的第一经译码图片可为IDR图片或CRA图片。对于以CRA图片开始的符合的位流，通过丢弃含有与开始的CRA图片相关联的所有引导图片的存取单元而产生的位流子集可能仍是符合的位流。

以下描述包含上文描述的本发明的技术的替代实例。举例来说，本发明的某些方面的各种替代实施方案是可能的，且一些如下进行描述。以下参考本发明的技术的不同方面描述替代实施方案。然而，用于不同方面的实施方案的任何组合也可形成与本发明的技术一致的实施方案。

以下替代实例涉及VPS的修改。

作为一个实例，如下提供VPS定义：与一图片相关联的参考图片集，由所有参考图片组成，在当前RPS中且在从在解码次序上在所述图片之前的最靠近CRA图片的随机存取发生时可能未经正确解码。

以下是VPS修改的一个替代实例。在此实例中，在VPS非空的情况下，以下情况可适用：

(1)在当前图片经解码之前，可检查VPS中的每一图片；

(a)如果图片在RPS中，那么其可保持在VPS中；

(b)否则，其可从VPS移除；

(2)在当前图片的VPS和当前图片的RPS具有重叠的情况下，在当前图片经解码之后在其为参考图片的情况下可将当前图片插入到VPS中。

在一些实例中，如果图片不是CRA图片，且VPS非空，那么当前RPS中的每一图片可在VPS中或在DPB中。

以下是VPS修改的另一替代实例。在此实例中，在VPS非空的情况下，以下情况可适用：

(1)在图片经解码之前，可检查VPS中的每一图片；

(a)如果图片在RPS中且属于子集RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr中的一者，那么可将其保持在VPS中；

(b)否则，其可从VPS移除；

以下是VPS修改的另一替代实例。在此实例中，在图片具有大于CRA图片的显示次序且VPS非空的情况下，以下情况可适用：

(1)在RPS中的至少一个图片属于VPS的情况下，VPS可保持不变；

(2)在RPS中没有图片属于VPS的情况下，VPS可设定为空。

在此实例中，VPS在每一随机存取期间可仅改变两次。第一次，可用引导图片可取决于的图片填充VPS。第二次，可将其设定为空。

在图4的实例中，如果图片“8”用于随机存取，那么VPS可为f8}。在此实例中，仅在产生图片“16”的RPS之后，可将VPS设定为空。在此实例中，只要VPS非空，便可跳过具有小于CRA图片的显示次序的显示次序的图片以用于解码和输出。这可描述为用于“引导图片识别”的不同或替代方法。

现在将描述产生消失图片的替代实例。在此实例中，在图片经检测为消失图片的情况下，可将其产生为DPB中具有与所述消失图片最靠近的显示次序(POC距离)的图片的副本。如果两个图片具有相同POC距离，那么可使用具有较小POC的一者。

现在将描述引导图片解码的替代实例。作为一个实例，如果RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr中没有图片属于VPS，那么可对引导图片进行解码。作为另一实例，可总是对引导图片进行解码，尤其当每一消失图片在DPB中可用但具有漂移时。

现在将描述引导图片输出的替代实例。作为一个实例，在引导图片经正确解码的情况下，output_flag可设定为“1”。否则，output_flag可设定为“0”。作为另一实例，仅在输出次序上紧接在CRA图片之前的连续引导图片(如果其全部经正确解码)可能已将output_flag值设定为“1”，且其它引导图片可能已将output_flag值设定为“0”。

现在将描述移除时间偏移的替代实例，且尤其是缓冲周期SEI消息语法。

表III

buffering_period(payloadSize){	C	描述符
			seq_parametersetid	5	ue(v)
cra_para_present_flag	5	u(1)
			if(NalHrdBpPresentFlag){
for(SchedSelIdx＝0；SchedSelIdx<＝cpb_cnt_minus 1；SchedSelIdx++){
			initial_cpb_removal_delay【SchedSelIdx】	5	u(v)
initial_cpb_removal_delay_offset[SchedSelIdx]	5	u(v)
			if(craparapresent_flag)
random_access_removal_delay_offset[SchedSelIdx]	5	u(v)
			}
}
			if(VclHrdBpPresentFlag){
for(SchedSelIdx＝0；SchedSelIdx<＝cpb_cnt_minus 1；SchedSelIdx++){
			initial_cpb_removal_delay【SchedSelIdx】	5	u(v)
initial_cpb_removal_delay_offset[SchedSelIdx[	5	u(v)
			if(craparapresent_flag)
random_access_removal_delay_offset[SchedSelIdx]	5	u(v)
			}
}
			}

替代地，在其它实例中，可在仅与CRA(或非IDR随机存取)图片相关联的不同SEI消息中用信号发送偏移，下文提供其语法。

现在将描述CPB移除延迟偏移SEI消息语法的实例。

表IV

cpbremoveal_delay_offset(payloadSize){	C	描述符
			seq_parametersetid	5	ue(v)
if(NalHrdBpPresentFlag)
			for(SchedSelIdx＝0；SchedSelIdx<＝cpb_cnt_minus 1；SchedSelIdx++)
random_access_removal_delay_offset[SchedSelIdx]	5	u(v)
			if(VclHrdBpPresentFlag)
for(SchedSelIdx＝0；SchedSelIdx<＝cpb_cnt_minus l；SchedSelIdx++){
			random_access_removal_delay_offset[SchedSelIdx]	5	u(v)
}

另外，下文描述缓冲周期SEI消息语义。

作为一个实例，等于“1”的cra_para_present_flag可指示random_access_removal_delay_offset[SchedSelIdx]语法元素的存在。等于“0”的此旗标可指示random_access_removal_delay_offset[SchedSelIdx]语法元素的不存在。

作为另一实例，random_access_removal_delay_offset[SchedSelIdx]可指定第SchedSelIdx CPB的CPB移除时间偏移。举例来说，其可为90kHz时钟的单位。另外，random_access_removal_delay_offset[SchedSelIdx]可不超过initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx]。在一些实例中，当不存在时，可推断所述值等于“0”。

现在将描述CPB移除延迟偏移SEI消息语义的实例。在一些实例中，此SEI消息可仅针对CRA图片存在，且可仅在CRA用于随机存取且其对应引导图片在位流中不存在时生效。作为一个实例，random_access_removal_delay_offset[SchedSelIdx]可指定第SchedSelIdx CPB的CPB移除时间偏移。举例来说，其可为90kHz时钟的单位。另外，random_access_removal_delay_offset[SchedSelIdx]可不超过initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx]。在一些实例中，当不存在时，可推断所述值等于“0”。

现在将描述CPB的操作的实例。本发明的此部分中的规范可独立地应用于存在的每一CPB参数集，以及类型I和类型II符合。

作为一个实例，现在将描述位流到达的时序。举例来说，可在缓冲周期SEI消息中的任一者处初始化HRD。在初始化之前，CPB可为空。在此实例中，在初始化之后，HRD可不由后续缓冲周期SEI消息初始化。而且在此实例中，与初始化CPB的缓冲周期SEI消息相关联的存取单元可称为存取单元0。所有其它存取单元称为存取单元n，其中n对于在解码次序上的下一存取单元递增1。

在此实例中，如果第一存取单元是CRA存取单元，且引导图片不存在且cra_para_present_flag等于“1”，那么可将useUpdatePara设定为“1”。否则，useUpdatePara可设定为“0”。此外，如果useUpdatePara等于“1”，那么DelayOffset[SchedSelIdx]可设定为random_access_removal_delay_offset[SchedSelIdx]。否则，DelayOffset[SchedSelIdx]可设定为“0”。另外，存取单元n的第一位开始进入CPB的时间可称为初始到达时间t_ai(n)。在一些实例中，存取单元的初始到达时间可如下导出：

(1)如果存取单元为存取单元0，那么t_ai(0)＝0；

(2)否则(如果存取单元为n>0的存取单元n)，以下情况可适用：

t_ai(n)＝t_af(n-i) 等式11

t_ai(n)＝Max(t_af(n-1)，t_ai,earliest(n)) 等式12

其中t_ai,earliest(n)可如下给定：

t_ai,earliest(n)＝t_r,n(n)-(initial_cpb_removal_delay[SchedSelIdx]+

initial_cpb_removal_delay_offset[SchedSelIdx]”÷90000 等式13

其中t_r,n(n)是如HEVC WD4的子条款C.1.2中指定的存取单元n从CPB的标称移除时间，且initial_cpb_removal_delay[SchedSelIdx]和initial_cpb_removal_delay_offset[SchedSelIdx]是在先前缓冲周期SEI消息中指定。

t_ai(n)＝t_r,n(n)-(initial_cpb_removal_delay[SchedSelIdx]÷90000) 等式14

其中initial_cpb_removal_delay[SchedSelIdx]是在与存取单元n相关联的缓冲周期SEI消息中指定。在此实例中，存取单元n的最终到达时间可如下导出：

t_af(n)＝t_ai(n)+b(n)÷BitRate[SchedSelIdx] 等式15

此外，可如下约束SchedSelIdx、BitRate[SchedSelIdx]和CpbSize[SchedSelIdx]的值：

(1)如果存取单元n和存取单元“n-1”是不同CVS的部分，且两个CVS的作用SPS的内容不同，那么HSS可从为含有存取单元n的CVS提供的SchedSelIdx值当中选择SchedSelIdx的值SchedSelIdxl，其得到两个CVS中的第二者(含有存取单元n-1)的BitRate[SchedSelIdxl]或CpbSize[SchedSelIdxl]，不同于曾用于含有存取单元n-1的CVS的SchedSelIdx的值SchedSelIdx0的BitRate[SchedSelIdx0]或“CpbSize[SchedSelIdx0]”的值。

另外，当HSS选择与先前存取单元不同的BitRate[SchedSelIdx]或CpbSize[SchedSelIdx]的值时，以下情况可适用：

(1)变量BitRate[SchedSelIdx]可在时间t_ai(n)处开始生效；且

(2)变量CpbSize[SchedSelIdx]可如下开始生效：

(a)如果CpbSize[SchedSelIdx]的新值超过旧CPB大小，那么其可在时间t_ai(n)处开始生效，

(b)否则，CpbSize[SchedSelIdx]的新值可在时间t_r(n)处开始生效。

作为另一实例，现在将描述经译码图片移除的时序。在一些实例中，可假定经译码图片的标称CPB移除时间和CPB移除时间是在先前经译码图片从CPB移除之后立即计算或对于存取单元0在HRD经初始化时计算。

举例来说，对于存取单元0，存取单元从CPB的标称移除时间可如下指定：

t_r,n(0)＝initial_cpb_removal_delay[SchedSelIdx]÷90000 等式16

在存取单元0的移除时间处，可将变量n_b设定为等于“0”。紧接在存取单元0从CPB的移除之后，可将t_r,n(0)设定为等于t_r,n(0)-(DelayOffset[SchedSelIdx]÷90000)。

在此实例中，存取单元0的有效CPB移除时间可不移位，但对于在解码次序上在存取单元0之后的所有图片，有效CPB移除时间可向更早移位(DelayOffset[SchedSelIdx]÷90000)。

t_r,n(n)＝t_r,n(n_b)+t_c*cpb_removal_delay(n) 等式17

另外，当存取单元n是不初始化HRD的缓冲周期的第一存取单元时，nb可在存取单元n的移除时间设定为等于“n”。而且，并非缓冲周期的第一存取单元的存取单元n的标称移除时间t_r,n(n)可如下给定：

t_r,n(n)＝t_r,n(n_b)+t_c*cpb_removal_delay(n) 等式18

举例来说，存取单元n的移除时间可如下指定：

t_r(n)＝t_r,n(n) 等式19

(2)否则(如果low_delay_hrd_flag等于“1”且t_r,n(n)<taf(n))，那么存取单元n的移除时间可如下指定：

t_r(n)＝t_r,n(n)+t_c*Ceil((t_af(n)-t_r,n(n))÷t_c) 等式20

本发明的技术的另一实例指定用于具有丢失的参考图片的引导图片的解码过程。在此实例中，仅将以引导图片存在于位流中的CRA图片开始的位流指定为符合的位流。特定来说，此实例对应于HEVC WD5中描述的技术中的一些技术，且包含对HEVC WD5的这些技术的以下改变，如下文详细描述。

在此实例中，位流中的第一经译码图片可为IDR图片或CRA图片。如先前阐释，如本发明中使用，术语“引导图片”可如下定义：与CRA图片相关联的经译码图片，在解码次序上跟随CRA图片且在输出次序上在CRA图片之前。举例来说，如果位流中的第一经译码图片是CRA图片，且当前或当前经译码图片是位流中的第一经译码图片的引导图片，那么可将当前经译码图片的output_flag设定为假或“0”(例如，无论经译码图片的视频译码层(VCL)NAL单元的NAL单元标头中的output_flag的值如何)。在此实例中，可调用用于产生丢失的参考图片(如下文所示)的解码过程(例如，可能仅需要对于图片的一个切片调用此过程)。

此外，可存在包含于RPS中但不存在与DPB中的一或多个参考图片。如果位流中的第一经译码图片是IDR图片，或如果位流中的第一经译码图片是CRA图片且当前经译码图片不是位流中的第一经译码图片的引导图片，那么可忽略RefPicSetStFoll或RefPicSetLtFoll中等于“无参考图片”的条目。举例来说，对于RefPicSetStCurr0、RefPicSetStCurr1和RefPicSetLtCurr中等于“无参考图片”的每一条目可推断无意的图片损失。

另外，如果位流中的第一经译码图片是IDR图片，或如果位流中的第一经译码图片是CRA图片且当前经译码图片不是位流中的第一经译码图片的引导图片，那么RefPicSetStCurr0、RefPicSetStCurr1或RefPicSetLtCurr中可不存在等于“无参考图片”的条目。

可如下指定用于产生丢失的参考图片的解码过程。可在用于RPS的解码过程(如文献“JCTVC-G1103”中例如在文献的版本“d9”中，在HEVC WD5中的子条款8.2.2中指定)的调用之后，每经译码图片可调用此过程一次。当位流中的第一经译码图片是CRA图片，且当前经译码图片是位流中的第一经译码图片的引导图片，以下情况可适用：

1)对于等于“无参考图片”的每一RefPicSetStCurr0[i]，其中“i”在“0”到NumPocStCurr0-1的范围内(包含0和NumPocStCurr0-1)，可通过调用用于产生丢失的参考图片的解码过程来产生参考图片，如下文指定。另外，以下情况可适用：

A)所产生参考图片的PicOrderCntVal的值可设定为PocStCurr0[i]。

B)所产生参考图片的output_flag的值可设定为“0”。

C)所产生参考图片可经标记为“用于短期参考”。

D)RefPicSetStCurr0[i]可设定为所产生参考图片。

2)对于等于“无参考图片”的每一RefPicSetStCurr1[i]，其中“i”在“0”到NumPocStCurr1-1的范围内(包含0和NumPocStCurr1-1)，可通过调用用于产生丢失的参考图片的解码过程来产生参考图片，如下文指定。另外，以下情况可适用：

A)所产生参考图片的PicOrderCntVal的值可设定为PocStCurr1[i]。

B)所产生参考图片的output_flag的值可设定为“0”。

C)所产生参考图片可经标记为“用于短期参考”。

D)RefPicSetStCurr1[i]可设定为所产生参考图片。

3)对于等于“无参考图片”的每一RefPicSetLtCurr[i]，其中“i”在“0”到NumPocLtCurr-1的范围内(包含0和NumPocLtCurr-1)，可通过调用用于产生丢失的参考图片的解码过程来产生参考图片，如下文指定。另外，以下情况可适用：

A)所产生参考图片的pic_order_cnt_lsb的值可设定为PocLtCurr[i]。

B)所产生参考图片的output_flag的值可设定为“0”。

C)所产生参考图片可经标记为“用于长期参考”。

D)RefPicSetLtCurr[i]可设定为所产生参考图片。

在一些实例中，可如下指定用于产生丢失的参考图片的解码过程：

1)样本阵列S_L中的每一元素的值可设定为l<<(BitDepth_Y-1)。

2)样本阵列S_cb和S_cr中的每一元素的值可设定为1<<(BitDepth_c-1)。

3)每一最小CU的预测模式PredMode可设定为MODE_INTRA。

或者，可将每一LCU分裂为最小CU，且最小CU可设定为MODE_INTRA。

或者，每一LCU可设定为MODE_INTRA。

因此，在与本发明的技术一致的一些实例中，源装置12的视频编码器20可经配置以对视频数据的一或多个图片进行编码。在这些实例中，目的地装置14的视频解码器30可经配置以从视频编码器20接收经编码一或多个图片，例如作为由视频编码器20产生且由视频解码器30接收的经编码位流的部分，且对所述一或多个图片进行解码。

作为一个实例，视频解码器30可经配置以接收包含CVS的一或多个图片的位流。视频解码器30可进一步经配置以根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码。在此实例中，第一图片可为并非IDR图片的RAP图片。视频解码器30还可经配置以基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者进行解码。

作为另一实例，视频编码器20可经配置以产生包含CVS的一或多个图片的位流。在此实例中，根据与CVS相关联的解码次序的所述一或多个图片中的第一图片可为并非IDR图片的RAP图片。而且在此实例中，为了产生位流，视频编码器20可经配置以避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。举例来说，引导图片可为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。在此实例中，第一图片可为可解码的，即能够例如由视频解码器30解码。而且在此实例中，所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的一或多个至少一者也可基于经解码第一图片而解码。举例来说，所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片一或多个的至少一者可使用第一图片的经解码版本作为参考图片而解码。

以此方式，视频解码器30可以可预测且经界定方式对包含视频数据的一或多个图片且以非IDR RAP图片开始的位流(例如，由视频编码器20产生)进行解码，如本发明的技术指定。因此，当使用所揭示的技术执行包含视频数据的一或多个图片的位流的随机存取时可存在用户体验的相对改善。特定来说，视频解码器30可能够以相对较大粒度对位流进行解码。换句话说，视频解码器30可能够与其它技术(例如，允许仅从IDR图片随机存取位流的技术相比在相对较多点处随机存取位流或位流的图片(即，非IDR图片)。另外，当使用本发明的技术时，可存在包含于位流中的CVS的一或多个图片和/或CVS整体的视觉质量的相对改善。

视频编码器20和视频解码器30在适当时各自可实施为多种合适编码器或解码器电路中的任一者，例如一或多个微处理器、DSP、ASIC、FPGA、离散逻辑电路、软件、硬件、固件或其任一组合。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的设备可包括集成电路(IC)、微处理器和/或无线通信装置，例如蜂窝式电话。

图2是图解说明与本发明的技术一致的可执行用于借助高级DPB管理的随机存取的技术的视频编码器的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含模式选择单元40、运动估计单元42、运动补偿单元44、帧内预测处理单元46、参考图片存储器66、求和器50、变换处理单元52、量化单元54以及熵编码单元56。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60和求和器62。还包含解块滤波器64以对块边界进行滤波以从经重构视频移除成块假象。

如图2所示，视频编码器20接收待编码视频切片内的当前视频块。所述切片可划分为多个视频块。模式选择单元40可基于错误结果来选择用于当前视频块的帧内或帧间译码模式中的一者。如果帧内或帧间模式经选定，那么模式选择单元40将所得经帧内或帧间译码块提供到求和器50以产生残余块数据且提供到求和器62以重构经编码块以用作参考图片。帧内预测处理单元46相对于与待译码块相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测译码以提供空间压缩。运动估计单元42和运动补偿单元44相对于一或多个参考帧中的一或多个预测块执行当前视频块的帧间预测译码以提供时间压缩。

在帧间译码的情况下，运动估计单元42可经配置以根据视频序列的预定模式来确定视频切片的帧间预测模式。预定模式可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42和运动补偿单元44可高度集成，但为了概念目的而分开来说明。由运动估计单元42执行的运动估计是产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测块的位移。

预测块为被发现在像素差方面紧密匹配于待译码视频块的PU的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器66中的参考图片的子整数像素位置的值。举例来说，视频编码器20可计算参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置和分数像素位置的运动搜索，且输出具有分数像素精度的运动向量。

运动估计单元42通过将PU的位置与参考图片的预测块的位置进行比较来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中每一者识别存储在参考图片存储器66中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量来获取或产生预测块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位运动向量指向的预测块。视频编码器20通过从正译码的当前视频块的像素值减去预测块的像素值而形成像素差值，来形成残余视频块。像素差值形成块的残余数据，且可包含亮度和色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素，供视频解码器30用于对视频切片的视频块进行解码。

在运动补偿单元44产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换为残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可产生与系数中的一些或全部相关联的位深度。可通过调整量化参数(QP)来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行扫描。

在量化后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行CAVLC、CABAC或另一熵编码技术。在熵编码单元56的熵编码之后，经编码位流可发射到视频解码器30，或经归档以用于视频解码器30的稍后发射或检索。熵编码单元56还可对正译码的当前视频切片的运动向量和其它语法元素进行熵编码。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以重构像素域中的残余块，用于稍后用作参考图片的参考块。运动补偿单元44可通过将残余块加到参考图片列表中的一者内的参考图片中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以用于运动估计。求和器62将经重构残余块加到由运动补偿单元44产生的经运动补偿预测块以产生参考块以存储在参考图片存储器66中。参考块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。

作为一个实例，视频编码器20可经配置以在视频编码过程期间对视频数据的一或多个图片进行编码。举例来说，视频编码器20可经配置以产生包含CVS的一或多个图片的位流，其中根据与CVS相关联的解码次序的所述一或多个图片中的第一图片为并非IDR图片的RAP图片。在此实例中，为了产生位流，视频编码器20可经配置以避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。举例来说，引导图片可为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。而且在此实例中，由于视频编码器20以上述方式产生位流，因此第一图片可成功地解码(例如，由视频解码器30)，即为可解码的。另外，所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的一或多个至少一者也可基于第一图片(例如，在第一图片已经如上所述解码之后，使用第一图片作为参考图片)而成功解码(例如，由视频解码器30)或为可解码的。

因此，如上文阐释，本发明的技术可使得视频编码器20能够产生可由视频解码器(例如，视频解码器30)以可预测且经界定方式解码的位流，如本发明的技术指定。特定来说，位流可包含视频数据的CVS的一或多个图片。位流可由视频解码器接收，使得位流以非IDR RAP图片开始。使用本发明的技术，视频解码器可成功地解码位流。因此，当使用所揭示的技术执行位流的随机存取时可存在用户体验的相对改善。作为一个实例，所述技术可使得视频解码器能够以相对较大粒度对位流进行解码。换句话说，所述技术可使得视频解码器能够与其它技术(例如，允许仅从IDR图片随机存取位流的技术)相比在相对较多点处随机存取位流或位流的图片(即，非IDR图片)。作为另一实例，当使用所揭示的技术时，可存在包含于位流中的CVS的一或多个图片和/或CVS整体的视觉质量的相对改善(例如，通过视频编码器20从位流省略与第一图片相关联的引导图片)。

以此方式，视频编码器20表示经配置以产生包含CVS的一或多个图片的位流的视频编码器的实例，其中根据与CVS相关联的解码次序所述一或多个图片的第一图片是并非IDR图片的RAP图片，其中为了产生位流，视频编码器经配置以避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者，其中所述引导图片是根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片，且其中第一图片是可解码的，且其中所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者基于第一图片是可解码的。

图3是图解说明与本发明的技术一致的可执行用于借助高级DPB管理的随机存取的技术的视频解码器的实例的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元82、逆量化单元88、逆变换处理单元90、求和器92、解块滤波器94以及参考图片存储器96。预测处理单元82包含运动补偿单元84和帧内预测处理单元86。在一些实例中，视频解码器30可执行与关于图2的视频编码器20描述的编码遍次大体上互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流和相关联语法元素。当位流中的所表示视频块包含经压缩视频数据时，视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元82。视频解码器30可在视频切片级和/或视频块级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，预测处理单元82的帧内预测处理单元86可基于用信号发送的帧内预测模式和来自当前帧或图片的先前经解码块的数据来产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元82的运动补偿单元84基于从熵解码单元80接收的运动向量和其它语法元素来产生当前视频切片的视频块的预测块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器96中的参考图片，使用默认构造技术来构造参考帧列表，列表0和列表1。

运动补偿单元84通过剖析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，且使用预测信息来产生正解码的当前视频块的预测块。举例来说，运动补偿单元84使用所接收语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的一或多个参考图片列表的构造信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，以及用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元84还可基于内插滤波器执行内插。运动补偿单元84可使用由视频编码器20在视频块编码期间使用的内插滤波器来计算参考块的子整数像素的经内插值。运动补偿单元84可根据所接收语法元素来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。

逆量化单元88逆量化(即，解量化)在位流中提供且由熵解码单元80解码的经量化变换系数。逆量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数(QP)来确定量化程度，且同样确定应当应用的逆量化程度。逆变换处理单元90对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。

在运动补偿单元84基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过将来自逆变换处理单元90的残余块与由运动补偿单元84产生的对应预测块进行求和来形成经解码视频块。求和器92表示执行此求和运算的组件。应用解块滤波器94以对经解码块进行滤波以便移除成块假象。随后将给定帧或图片中的经解码视频块存储在参考图片存储器96中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器96还存储经解码视频用于稍后在例如图1的显示装置28等显示装置上呈现。

作为一个实例，视频解码器30可经配置以在视频解码过程期间对视频数据的一或多个图片进行解码。举例来说，视频解码器30可经配置以接收包含CVS的一或多个图片的位流(例如，由视频编码器20产生)。视频解码器30可进一步经配置以根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码。在此实例中，第一图片可为并非IDR图片的RAP图片。视频解码器30还可经配置以基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者进行解码。

在一些实例中，视频解码器30可进一步经配置以确定(或识别)所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。换句话说，视频解码器30可经配置以识别与所述一或多个图片当中的第一图片相关联的至少一个引导图片。在这些实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。举例来说，视频解码器30可经配置以对所述一或多个图片中的所述至少一者进行解码。为了对所述一或多个图片中的所述至少一者中的每一者进行解码，视频解码器30可经配置以确定或识别用以对相应图片进行编码的一或多个参考图片，确定经确定或识别的一或多个参考图片中的任一者是否不可用于解码，对于所述经确定或识别的一或多个参考图片中经确定为不可用于解码的每一者，产生虚拟参考图片，以及基于对应的一或多个所产生虚拟参考图片对相应图片进行解码。

在上述实例中，为了产生虚拟参考图片，视频解码器30可经配置以产生包含各自对应于与CVS相关联的像素值范围的中间的一或多个像素值的图片。举例来说，视频解码器30可经配置以产生图片，使得所述图片包含各自具有“亮度”或“色度”值“127”的一或多个像素值。在此实例中，每一此像素值可对应于从像素强度值“0”到像素强度值“255”界定的亮度或色度像素强度值范围的中间。举例来说，亮度或色度像素强度值中的每一者可使用7个数据位来表示，从而得到上述值范围。然而在其它实例中，可以不同方式界定亮度或色度像素强度范围以及所述范围的对应中间或中间值。

在一些实例中，视频解码器30可进一步经配置以确定(或识别)所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。在这些实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。而且在这些实例中，视频解码器30可经配置以不输出或避免输出所述一或多个图片中的所述至少一者(即，与第一图片相关联的先前经确定或识别引导图片中的一或多者)中输出旗标(例如，上述语法元素output_flag)指示相应图片将输出的一或多者。

在其它实例中，视频解码器30可仍进一步经配置以确定(或识别)所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。在这些实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。而且在这些实例中，视频解码器30可经配置以不使用或避免使用所述一或多个图片中的所述至少一者(即，与第一图片相关联的先前经确定或识别引导图片中的一或多者)中的一或多者作为用于对所述一或多个图片中除了第一图片之外根据解码次序且根据与CVS相关联的显示次序跟随第一图片的至少一者进行解码的参考图片。

在一些实例中，第一图片可为CRA图片。在这些实例中，CRA图片可为使用帧内预测译码来译码且能够在不参考任何其它图片的情况下解码(即，为可解码的)的图片。在这些实例中，对于CRA图片，连同CRA图片一起包含在CVS内的根据与CVS相关联的解码次序跟随CRA图片的一或多个图片可参考根据解码次序在CRA图片之前的一或多个图片来解码。举例来说，CRA图片可称为“开放GOP”帧内译码图片，如上文参考图1所述。还如上所述，CRA图片可用作与“封闭GOP”设定中的IDR图片类似的目的，尤其关于实现对包含视频数据的一或多个GOP的一或多个图片的位流的随机存取。

在其它实例中，IDR图片可为使用帧内预测译码来译码且能够在不参考任何其它图片的情况下解码(即，为可解码的)的图片。在这些实例中，对于IDR图片，连同IDR图片一起包含在CVS内的根据与CVS相关联的解码次序跟随IDR图片的所有其它图片可在不参考根据解码次序在IDR图片之前的任何图片的情况下解码。

在再其它实例中，例如在由视频解码器30接收的位流不包含与第一图片相关联的任何引导图片的实例中(例如，在视频编码器20通过从位流排除第一图片的引导图片而产生位流的情况下)，视频解码器30可经配置以用特定方式对位流进行解码，如以下实例说明。

作为一个实例，视频解码器30可进一步经配置以对经译码图片缓冲器(CPB)初始延迟参数的第一集合进行解码，且当所述一或多个图片不包含与第一图片相关联的至少一个引导图片时，对CPB初始延迟参数的第二集合以及CPB延迟偏移参数集合中的一者进行解码，其中第二集合不同于第一集合。在此实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。

在上述实例中，CPB初始延迟参数的第一和第二集合以及CPB延迟偏移参数集合中的一或多者可包含在与第一图片相关联的补充增强信息(SEI)消息、图片缓冲周期SEI消息和切片标头中的一者中。

而且在上述实例中，在解码次序上跟随第一图片的每一图片的CPB移除时间可经移位得更早，如CPB初始延迟参数的第一和第二集合以及CPB延迟偏移参数集合中的一或多者所指示。

因此，如上文阐释，本发明的技术可使得视频解码器30能够以可预测且经界定方式对例如由视频编码器20编码的位流进行解码，如本发明的技术指定。特定来说，位流可包含视频数据的CVS的一或多个图片。位流可由视频解码器30接收，使得位流以非IDR RAP图片开始。使用本发明的技术，视频解码器30可成功地解码位流。因此，当使用所揭示的技术执行位流的随机存取时可存在用户体验的相对改善。作为一个实例，所述技术可使得视频解码器30能够以相对较大粒度对位流进行解码。换句话说，所述技术可使得视频解码器30能够与其它技术(例如，允许仅从IDR图片随机存取位流的技术)相比在相对较多点处随机存取位流或位流的图片(即，非IDR图片)。作为另一实例，当使用所揭示的技术时，可存在包含于位流中的CVS的一或多个图片和/或CVS整体的视觉质量的相对改善(例如，通过视频解码器30避免输出和使用与第一图片相关联的引导图片作为参考图片)。

以此方式，视频解码器30表示视频解码器的实例，其经配置以接收包括CVS的一或多个图片的位流，根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码，其中第一图片是并非IDR图片的RAP图片，且基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随所述第一图片的至少一者进行解码。

图5和6是图解说明与本发明的技术一致的执行用于借助高级DPB管理的随机存取的技术的实例方法的流程图。特定来说，图5的实例方法图解说明从视频解码器(例如，图1和3的视频解码器30)的立场来执行所述技术。另外，图6的实例方法图解说明从视频编码器(例如，图1和2的视频编码器20)的立场来执行所述技术。

图5和6的技术可通常由任一处理单元或处理器执行，无论是以硬件、软件、固件还是其组合来实施，且当以软件或固件实施时，可提供对应硬件以执行用于所述软件或固件的指令。为了实例目的，关于视频编码器20(图2)和/或视频解码器30(图3)的各种组件描述图5和6的技术，但应了解，其它装置可经配置以执行类似技术。而且，图5和6中图解说明的步骤可以不同次序或并行地执行，且可添加额外步骤和省略某些步骤而不脱离本发明的技术。另外，与本发明的技术一致，图5和6的实例方法的技术可个别地或彼此组合地执行。

图5是图解说明与本发明的技术一致的图解说明由视频解码器(例如，图1和3的视频解码器30)执行包含视频数据的一或多个图片的位流的随机存取的实例方法的流程图。特定来说，图5的实例方法的技术包含在位流的第一图片是非IDR RAP图片的实例中以特定方式执行位流的随机存取，如下文描述。

作为一个实例，视频解码器30可接收包含CVS的一或多个图片的位流(500)。视频解码器30可进一步根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码，其中所述第一图片为并非IDR图片的RAP图片(502)。视频解码器30还可基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者进行解码(504)。

在一些实例中，视频解码器30可进一步确定或识别所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。在这些实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。视频解码器30可进一步对所述一或多个图片中的所述至少一者进行解码。在这些实例中，为了对所述一或多个图片中的所述至少一者中的每一者进行解码，视频解码器30可执行以下步骤：(1)确定或识别用以对相应图片进行编码的一或多个参考图片；(2)确定经确定或识别的一或多个参考图片中的任一者是否不可用于解码；(3)对于所述经确定或识别的一或多个参考图片中经确定为不可用于解码的每一者，产生虚拟参考图片；以及(4)基于对应的一或多个所产生虚拟参考图片对相应图片进行解码。

在上述实例中，为了产生虚拟参考图片，视频解码器30可产生包含各自对应于与CVS相关联的像素值范围的中间的一或多个像素值(例如，在“0”到“255”的范围内的一或多个亮度或色度像素值“127”)的图片，如上文参见图3所述。

在一些实例中，视频解码器30可进一步确定或识别所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。在这些实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。而且在这些实例中，视频解码器30可进一步避免输出所述一或多个图片中的所述至少一者(即，与第一图片相关联的先前经确定或识别引导图片中的一或多者)中输出旗标(例如，语法元素output_flag)指示相应图片将输出的一或多者。

在其它实例中，视频解码器30可进一步确定或识别所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。在这些实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。而且在这些实例中，视频解码器30可进一步避免使用所述一或多个图片中的所述至少一者(即，与第一图片相关联的先前经确定或识别引导图片中的一或多者)中的一或多者作为用于对所述一或多个图片中除了第一图片之外根据解码次序且根据与CvS相关联的显示次序跟随第一图片的至少一者进行解码的参考图片。

在上述实例中，第一图片可为CRA图片。在这些实例中，CRA图片可为使用帧内预测译码来译码且能够在不参考任何其它图片的情况下解码(即，为可解码的)的图片。在这些实例中，对于CRA图片，连同CRA图片一起包含在CVS内的根据与CVS相关联的解码次序跟随CRA图片的一或多个图片可参考根据解码次序在CRA图片之前的一或多个图片来解码。举例来说，如上所述，CRA图片可称为“开放GOP”帧内译码图片，如上文参考图1所述。还如上所述，CRA图片可用作与“封闭GOP”设定中的IDR图片类似的目的，尤其关于实现对包含视频数据的一或多个GOP的一或多个图片的位流的随机存取。

而且在上述实例中，IDR图片可为使用帧内预测译码来译码且能够在不参考任何其它图片的情况下解码(即，为可解码的)的图片。此外，IDR图片可为如下的图片：连同IDR图片一起包含在CVS内的根据与CVS相关联的解码次序跟随IDR图片的所有其它图片是在不参考根据解码次序在IDR图片之前的任何图片的情况下解码。

在再其它实例中，例如在由视频解码器30接收的位流不包含与第一图片相关联的任何引导图片的实例中(例如，在视频编码器20通过从位流排除第一图片的引导图片而产生位流的情况下)，视频解码器30可用特定方式对位流进行解码，如以下实例说明。

作为一个实例，视频解码器30可进一步对CPB初始延迟参数的第一集合进行解码，且当所述一或多个图片不包含与第一图片相关联的至少一个引导图片时，对CPB初始延迟参数的第二集合以及CPB延迟偏移参数集合中的一者进行解码，其中第二集合不同于第一集合。在此实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片。

在上述实例中，CPB初始延迟参数的第一和第二集合以及CPB延迟偏移参数集合中的一或多者可包含在与第一图片相关联的SEI消息、图片缓冲周期SEI消息和切片标头中的一者中。

以此方式，图5的方法表示一种方法的实例，所述方法为：接收包括CVS的一或多个图片的位流，根据与CVS相关联的解码次序对所述一或多个图片中的第一图片进行解码，其中第一图片是并非IDR图片的RAP图片，且基于经解码第一图片对所述一或多个图片中除了第一图片之外根据解码次序跟随所述第一图片的至少一者进行解码。

图6是图解说明与本发明的技术一致的图解说明由视频编码器(例如，图1和2的视频编码器20)产生包含视频数据的一或多个图片的位流的实例方法的流程图。特定来说，图6的实例方法的技术包含产生位流以使得视频解码器(例如，视频解码器30)可以特定方式成功地解码位流。举例来说，视频解码器可在位流的第一图片为非IDR RAP图片的实例中解码位流，如下文描述。

作为一个实例，视频编码器20可产生包含CVS的一或多个图片的位流。在此实例中，根据与CVS相关联的解码次序的所述一或多个图片中的第一图片可为并非IDR图片的RAP图片(600)。视频编码器20可进一步避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者。在此实例中，引导图片可再次为根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片(602)。

在此实例中，随后，视频解码器(例如，视频解码器30)可接收由视频编码器20产生的位流，且对位流进行解码。举例来说，视频解码器可对第一图片进行解码。视频解码器可进一步基于第一图片(例如，基于第一图片的经解码版本)对所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者进行解码。

以此方式，图6的方法表示一种方法的实例，所述方法为：产生包括CVS的一或多个图片的位流，其中根据与CVS相关联的解码次序的所述一或多个图片中的第一图片是并非IDR图片的RAP图片，其中产生位流包括避免在位流中包含所述一或多个图片中除了第一图片之外对应于与第一图片相关联的引导图片的至少一者，其中所述引导图片包括根据解码次序跟随第一图片且根据与CVS相关联的显示次序在第一图片之前的图片，且其中第一图片是可解码的，且其中所述一或多个图片中除了第一图片之外根据解码次序跟随第一图片的至少一者基于第一图片是可解码的。

在一或多个实例中，本文描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含可对应于例如数据存储媒体等有形或非暂时性媒体的计算机可读存储媒体，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或者一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说且并非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而应了解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对非瞬时或非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个通用微处理器、DSP、ASIC、FPGA或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本发明中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、IC或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但不一定需要通过不同硬件组件、模块或单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一或多个处理器)的集合结合合适软件和/或固件来提供。

已描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims

1.一种对视频数据进行解码的方法，所述方法包括：

接收(500)包括一个或多个经译码视频序列CVS，每个CVS包括一个或多个图片，其中第一CVS内的解码次序内的第一图片为并非瞬时解码刷新IDR图片的随机存取点RAP图片；

对经译码图片缓冲器CPB初始延迟参数的第一集合进行解码；

当CVS的所述一个或多个图片不包含与所述第一图片相关联的至少一个引导图片时，解码CPB初始延迟参数的第二集合，其中CPB初始延迟参数的所述第二集合不同于CPB初始延迟参数的所述第一集合；以及

从CPB初始延迟参数的两个集合中选择一个用于CPB时序参数的导出，其中所述引导图片包括根据所述解码次序跟随在所述第一图片之后且根据与所述CVS相关联的显示次序在所述第一图片之前的图片。

2.根据权利要求1所述的方法，其中CPB初始延迟参数的第一和第二集合包含在与所述第一图片相关联的补充增强信息SEI消息、图片缓冲周期SEI消息和切片标头中的一者中。

3.根据权利要求1所述的方法，其中按所述解码次序跟随所述第一图片之后的每一图片的CPB移除时间经移位得更早，如CPB初始延迟参数的第一和第二集合中的一个或多个所指示。

4.根据权利要求1所述的方法，进一步包括：

识别所述一个或多个图片中除了所述第一图片之外对应于与所述第一图片相关联的引导图片的至少一者；以及

对所述一个或多个图片中的所述至少一者进行解码，其中对所述一个或多个图片中的所述至少一者中的每一者进行解码包含：

识别用以对相应图片进行编码的一个或多个参考图片；

确定所述经识别的一个或多个参考图片中的任一者是否不可用于解码；

对于所述经识别的一个或多个参考图片中经确定为不可用于解码的每一者，产生虚拟参考图片；以及

基于对应的一个或多个所产生虚拟参考图片对所述相应图片进行解码。

5.根据权利要求4所述的方法，其中产生所述虚拟参考图片包括产生图片，所述图片的每个像素值为与所述CVS相关联的像素值范围的中间值，所述像素值范围为0-255，所述像素值范围的所述中间值为127。

6.根据权利要求1所述的方法，其进一步包括：

避免输出所述一个或多个图片中的所述至少一者中的输出旗标指示了相应图片将输出的一个或多个图片。

7.根据权利要求1所述的方法，其进一步包括：

避免使用所述一个或多个图片中的所述至少一者中的一个或多者作为用于对所述一个或多个图片中除了所述第一图片之外根据所述解码次序且根据与所述CVS相关联的显示次序跟随在所述第一图片之后的至少一者进行解码的参考图片。

8.根据权利要求1所述的方法，其中所述第一图片包括清洁随机存取CRA图片，其中所述CRA图片包括使用帧内预测译码来译码且在不参考任何其它图片的情况下可解码的图片，且其中连同所述CRA图片一起包含在CVS内的根据与所述CVS相关联的解码次序跟随在所述CRA图片之后的一个或多个图片可参考根据所述解码次序在所述CRA图片之前的一个或多个图片来解码。

9.根据权利要求1所述的方法，其中所述IDR图片包括使用帧内预测译码来译码且在不参考任何其它图片的情况下可解码的图片，且其中连同所述IDR图片一起包含在CVS内的根据与所述CVS相关联的解码次序跟随在所述IDR图片之后的所有其它图片是在不参考根据所述解码次序在所述IDR图片之前的任何图片来解码。

10.根据权利要求1所述的方法，其进一步包括：

当所述CVS的所述一个或多个图片不包含与所述第一图片相关联的至少一个引导图片时，对CPB延迟偏移参数集合进行解码。

11.根据权利要求10所述的方法，其中CPB初始延迟参数的所述第一和第二集合以及所述CPB延迟偏移参数集合中的一个或多者包含在与所述第一图片相关联的补充增强信息SEI消息、图片缓冲周期SEI消息和切片标头中的一者中。

12.根据权利要求10所述的方法，其中在所述解码次序上跟随在所述第一图片之后的每一图片的CPB移除时间经移位得更早，如CPB初始延迟参数的所述第一和第二集合以及所述CPB延迟偏移参数集合中的一个或多者所指示。

13.一种用于对视频数据进行解码的装置(14)，所述装置包括：

用于接收包括一个或多个经译码视频序列CVS的装置，每个CVS包括一个或多个图片，其中解码次序内的第一图片为并非瞬时解码刷新IDR图片的随机存取点RAP图片；

用于对经译码图片缓冲器CPB初始延迟参数的第一集合进行解码的装置；

用于当CVS的所述一个或多个图片不包含与所述第一图片相关联的至少一个引导图片时，解码CPB初始延迟参数的第二集合的装置，其中CPB初始延迟参数的所述第二集合不同于CPB初始延迟参数的所述第一集合；以及

用于从CPB初始延迟参数的两个集合中选择一个用于CPB时序参数的导出的装置，其中所述引导图片包括根据所述解码次序跟随所述第一图片之后且根据与所述CVS相关联的显示次序在所述第一图片之前的图片。

14.根据权利要求13所述的装置，其包括用于执行根据权利要求2-12的方法的任一个的装置。