CN104919802A

CN104919802A - 在视频译码中的非嵌套式补充增强信息消息

Info

Publication number: CN104919802A
Application number: CN201380069396.9A
Authority: CN
Inventors: 王益魁; 陈颖; 阿达许·克里许纳·瑞玛苏布雷蒙尼安
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-01-07
Filing date: 2013-12-26
Publication date: 2015-09-16
Anticipated expiration: 2033-12-26
Also published as: EP2941887A1; BR112015015802A2; TWI523492B; KR101776448B1; JP6235042B2; KR20150104158A; BR112015015802B1; TW201440487A; US20140192149A1; JP2016506695A; US9521393B2; CN104919802B; WO2014107396A1

Abstract

一种装置自位流获得非嵌套式补充增强信息SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内。此外，所述装置确定所述非嵌套式SEI消息所适用的所述位流的一层。所述非嵌套式SEI消息适用于以下层：对于所述层而言，所述位流的视频译码层VCL网络抽象层NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符。所述SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符。此外，所述装置部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据。

Description

在视频译码中的非嵌套式补充增强信息消息

本申请案主张2013年1月7日申请的第61/749,786号美国临时专利申请案的权利，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明是关于视频编码及解码。

背景技术

数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能手机”、视频电传会议装置、视频流装置及类似者。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术等。视频装置可通过实施这些视频压缩技术来更有效率地传输、接收、编码、解码及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块。使用相关于在相同图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相关于在相同图片中的相邻块中的参考样本的空间预测或相关于在其它参考图片中的参考样本的时间预测。可将图片称作帧，且可将参考图片称作参考帧。

空间预测或时间预测导致用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的图素差。根据指向形成预测性块的参考样本的块的运动向量来编码帧间译码块，且残余数据指示经译码块与预测性块之间的差。根据帧内译码模式及残余数据来编码帧内译码块。为了进一步压缩，可将残余数据自图素域变换至变换域，从而导致残余系数，可接着量化所述残余系数。可扫描一开始布置成二维阵列的经量化的系数以便产生系数的一维向量，且可应用熵译码以达成甚至更多压缩。

可通过编码视图(不同视角的图)(例如，来自多个透视图)来产生多视图译码位流。已开发了使用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可传输左眼视图及右眼视图以支持3D视频。替代地，一些3D视频译码进程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量，且也含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。

发明内容

一般来说，本发明描述非嵌套式补充增强信息(SEI)在视频译码中的使用。非嵌套式SEI消息为可调式嵌套式SEI消息内不含有的SEI消息。具体言之，本发明描述一种视频处理器，所述视频处理器自包含视频数据的经编码表示的位流获得非嵌套式SEI消息。此外，视频处理器确定非嵌套式SEI消息适用于其中的所述位流的一层。所述非嵌套式SEI消息适用于以下层：对于所述层来说，位流的视频译码层(VCL)网络抽象层(NAL)单元具有等于封装非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符。SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符。视频处理器可部分地基于非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据。

在一个实例中，本发明描述一种处理视频数据的方法，所述方法包括：自包含所述视频数据的经编码表示的位流获得非嵌套式SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；确定所述非嵌套式SEI消息适用于其中的所述位流的一层，其中所述非嵌套式SEI消息适用于以下层：对于所述层来说，所述位流的VCL NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符，且其中所述SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符；及部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据。

在另一实例中，本发明描述一种视频处理装置，所述视频处理装置包括一或多个处理器，所述一或多个处理器经配置以：自包含视频数据的经编码表示的位流获得非嵌套式SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；确定所述非嵌套式SEI消息适用于其中的所述位流的一层，其中所述非嵌套式SEI消息适用于以下层：对于所述层来说，所述位流的VCL NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符，且其中所述SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符；及部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据。

在另一实例中，本发明描述一种视频处理装置，所述视频处理装置包括：用于自包含视频数据的经编码表示的位流获得非嵌套式SEI消息的装置，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；用于确定所述非嵌套式SEI消息适用于其中的所述位流的一层的装置，其中所述非嵌套式SEI消息适用于以下层：对于所述层来说，所述位流的VCL NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符，且其中所述SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符；及用于部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据的装置。

在另一实例中，本发明描述一种计算机可读存储媒体，所述计算机可读存储媒体具有存储于其上的指令，所述指令在执行时配置视频处理装置以：自包含视频数据的经编码表示的位流获得非嵌套式SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；确定所述非嵌套式SEI消息适用于其中的所述位流的一层，其中所述非嵌套式SEI消息适用于以下层：对于所述层来说，所述位流的VCL NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符，且其中所述SEINAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符；及部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据。

本发明的一或多个实例的细节阐述于随附图式及以下描述中。其它特征、目标及优势将自所述描述、所述图式及权利要求书显而易见。

附图说明

图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。

图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。

图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。

图4为说明根据本发明的一或多项技术的视频处理器的实例操作的框图。

图5为说明执行位流一致性测试的一部分的实例操作的流程图。

具体实施方式

视频编码器可产生包含视频数据的经编码表示的位流。所述位流可包括一系列网络抽象层(NAL)单元。NAL单元可为含有所述NAL单元中的数据的类型的指示及含有那数据的字节(呈在必要时穿插有仿真防止位元的原始字节序列有效负载(RBSP)的形式)的语法结构。NAL单元可包含视频译码层(VCL)NAL单元及非VCL NAL单元。VCL NAL单元可包含图片的经译码切片。非VCL NAL单元可封装视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、一或多个补充增强信息(SEI)消息或其它类型的数据。

此外，位流的NAL单元可与位流的不同层相关联。在可调式视频译码(SVC)中，不同于基层的层可被称作“增强层”且可包含改良视频数据的播放质量的数据。在多视图译码及三维视频(3DV)译码中，所述层可包含与不同视图相关联的数据。位流的每一层与不同层识别符相关联。另外，NAL单元可包含时间识别符。操作点为位流的时间层的子集。位流的每一操作点具有层识别符集合(即，nuh_reserved_zero_6bits值集合)及时间识别符。如果NAL单元将所述层识别符集合中的层识别符指定用于操作点且所述NAL单元的时间识别符小于或等于所述操作点的时间识别符，那么所述NAL单元与所述操作点相关联。

如上文所指示，位流可包含封装SEI消息的NAL单元。本文中将封装一或多个SEI消息的NAL单元称作SEI NAL单元。一个类型的SEI消息为可调式嵌套式SEI消息。可调式嵌套式SEI消息为含有一或多个额外SEI消息的SEI消息。本文中将可调式嵌套式SEI消息中不含有的SEI消息称作非嵌套式SEI消息。

某些类型的SEI消息含有仅适用于特定操作点的信息。举例来说，缓冲周期SEI消息、图片时序SEI消息及解码单元SEI消息仅适用于特定操作点。因此，为了使用这些SEI消息中的信息，视频处理器可确定哪些操作点适用于SEI消息。其它类型的SEI消息仅适用于特定层。因此，为了使用这些SEI消息中的信息，视频处理器可确定哪些层适用于SEI消息。

先前视频译码规范未提供关于特定非嵌套式SEI消息所应用的操作点或层的清晰指示。结果，视频解码器可能不能够使用这些非嵌套式SEI消息。因此，将这些非嵌套式SEI消息包含于位流中可能浪费位元。

根据本发明的一或多项技术，视频处理器可确定非嵌套式SEI消息是缓冲图片SEI消息、图片时序SEI消息或是解码单元SEI消息。如果非嵌套式SEI消息为这些三个类型的SEI消息中的一者，那么视频处理器可确定适用于所述非嵌套式SEI消息的操作点。在一个实例中，适用于非嵌套式SEI消息的操作点的所有NAL单元的最高时间识别符等于封装非嵌套式SEI消息的SEI NAL单元的时间识别符。此外，在此实例中，适用于非嵌套式SEI消息的操作点的所有NAL单元的层识别符的集合含有在0至封装非嵌套式SEI消息的SEI NAL单元的层识别符的范围中的所有整数值。

此外，根据本发明的一或多项技术，如果非嵌套式SEI消息为不同于缓冲图片SEI消息、图片时序SEI消息或解码单元SEI消息的SEI消息类型，那么视频译码器可确定非嵌套式SEI消息所适用的所述位流的一层。具体言之，非嵌套式SEI消息可仅应用于以下层：对于所述层来说，位流的VCL NAL单元具有等于封装非嵌套式SEI消息的SEINAL单元的层识别符的层识别符。以此方式，对于非嵌套式SEI消息的类型来说适用的操作点或层得以清晰地指定。

图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”一般地指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码或视频解码。

如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，可将源装置12称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12所产生的经编码视频数据。因此，可将目的地装置14称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。

源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上)计算机、平板计算机、机上盒、电话手机(例如所谓的“智能”手机等)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车内计算机或类似者。

目的地装置14可经由频道16而自源装置12接收经编码视频数据。频道16可包括能够将经编码视频数据自源装置12移动至目的地装置14的一或多个媒体或装置。在一个实例中，频道16可包括使源装置12能够实时直接将经编码视频数据传输至目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议等)来调制经编码视频数据，且可将经调制的视频数据传输至目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个实体传输线等。一或多个通信媒体可形成基于包的网络(例如局域网、广域网或全局网络(例如，因特网)等)的部分。一或多个通信媒体可包含路由器、交换器、基站或促进自源装置12至目的地装置14的通信的其它设备。

在另一实例中，频道16可包含存储由源装置12所产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由盘存取或卡存取来存取所述存储媒体。所述存储媒体可包含多种本地存取的数据存储媒体，例如Blu-ray光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适的数字存储媒体等。

在再一实例中，频道16可包含存储由源装置12所产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输至目的地装置14的服务器类型。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接式存储(NAS)装置及本地盘机。

目的地装置14可经由标准数据连接(例如因特网连接等)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线频道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或两者的组合。经编码视频数据自文件服务器的传输可为流传输、下载传输或两者的组合。

本发明的技术并不限于无线应用或设定。可将所述技术应用于支持多种多媒体应用(例如(例如)经由因特网的空中电视广播、有线电视传输、卫星电视传输、流视频传输等)的视频译码、用于存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流、视频播放、视频广播及/或视频电话等的应用。

图1仅仅为一实例且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据经自本地存储器撷取、经由网络流或类似者。视频编码装置可编码数据且将数据存储至存储器，及/或视频解码装置可自存储器撷取数据且解码数据。在许多实例中，编码及解码由彼此不通信而仅编码至存储器的数据及/或自存储器撷取数据且解码数据的装置来执行。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调制器(调制解调器)及/或传输器。视频源18可包含视频俘获装置(例如，视频摄影机)、含有先前俘获的视频数据的视频文件库、自视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统或这些视频数据源的组合。

视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码视频数据传输至目的地装置14。在其它实例中，经编码视频数据也可存储至存储媒体或文件服务器上以供目的地装置14稍后存取，用于解码及/或播放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由频道16接收经编码视频数据。视频解码器30可解码经编码视频数据。显示装置32可显示经解码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。显示装置32可包括例如以下各者等的多种显示装置：液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30各自可经实施为例如以下各者等的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分地以软件实施，则装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。可将前述(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，所述一或多个编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。

本发明可大体关于视频编码器20将某些信息“用信号传送”至另一装置(例如视频解码器30等)。术语“用信号传送”可大体指语法元素及/或用以解码经压缩视频数据的其它数据的传递。此传递可实时或接近实时地发生。交替地，此传递可在时间跨度中发生，例如可在将经编码位流中的语法元素存储至计算机可读存储媒体(在编码的时候)时发生，所述语法元素接着可由解码装置在存储至此媒体之后的任何时间撷取。

在一些实例中，视频编码器20及视频解码器30根据例如以下各者等的视频压缩标准来操作：ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)(包含所述ITU-T H.264的可调式视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的3DV扩展)。在一些例子中，遵照H.264/AVC的基于MVC的3DV扩展的任何位流始终含有符合H.264/AVC的MVC扩展的子位流。此外，存在产生至H.264/AVC的三维视频(3DV)译码扩展(即，基于AVC的3DV)的正在进行的努力。在其它实例中，视频编码器20及视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual及ITU-T H.264、ISO/IEC Visual来操作。

在其它实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专业团体(VCEG)与ISO/IEC动画专业团体(MPEG)的关于视频译码的联合合作团队(JCT-VC)开发的高效率视频译码(HEVC)来操作。即将来临的HEVC标准的草案(被称作“HEVC工作草案8”)描述于Bross等人的“High Efficiency Video Coding(HEVC)text specificationdraft 8(高效率视频译码(HEVC)文字规范草案8)”(ITU-T SG16 WP3与ISO/IECJTC1/SC29/WG11的关于视频译码的联合合作团队(JCT-VC)，第10次会议，瑞士斯德哥尔摩，2012年7月)中。即将来临的HEVC标准的另一草案(被称作“HEVC工作草案9”)描述于Bross等人的“High Efficiency Video Coding(HEVC)text specification draft 9(高效率视频译码(HEVC)文字规范草案9)”(ITU-T SG16 WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作团队(JCT-VC)，第11次会议，中国上海，2012年10月)中。此外，存在产生用于HEVC的可调式视频译码扩展、多视图译码扩展及3DV扩展的正在进行的努力。可将HEVC的可调式视频译码扩展称作SHEVC。可将HEVC的3DV扩展称作基于HEVC的3DV或HEVC-3DV。

在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。也可将图片称作“帧”。一图片可包含三个样本阵列(表示为S_L、S_Cb及S_Cr)。S_L为亮度样本的二维阵列(即，块)。S_Cb为Cb彩度样本的二维阵列。S_Cr为Cr彩度样本的二维阵列。本文中也可将彩度样本称作“色度”样本。在其它例子中，图片可为单色且可仅包含阵列亮度样本。

为了产生图片的经编码表示，视频编码器20可产生一组译码树型单元(CTU)。所述CTU中的每一者可包括亮度样本的译码树型块、色度样本的两个对应的译码树型块及用以译码所述译码树型块的样本的语法结构。在单色图片或具有三个分开的彩色平面的图片中，CTU可包括单一译码树型块及用以译码所述译码树型块的样本的语法结构。译码树型块可为样本的N×N块。也可将CTU称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC等的其它标准的宏块。然而，CTU未必限于特定大小且可包含一或多个译码单元(CU)。一切片可包含以光栅扫描次序连续地排序的整数数目个CTU。

为了产生经译码CTU，视频编码器20可递归地对CTU的译码树型块执行四分树分割以将所述译码树型块划分成译码块(因此名称为“译码树型单元”)。译码块可为样本的N×N块。CU可包括图片的亮度样本的译码块及色度样本的两个对应的译码块及用以译码所述译码块的样本的语法结构，所述图片具有亮度样本阵列、Cb样本阵列及Cr样本阵列。在单色图片或具有三个分开的彩色平面的图片中，CU可包括单一译码块及用以译码所述译码块的样本的语法结构。

视频编码器20可将CU的译码块分割成一或多个预测块。预测块为对其应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括亮度样本的预测块、色度样本的两个对应的预测块及用以预测所述预测块的语法结构。在单色图片或具有三个分开的彩色平面的图片中，PU可包括单一预测块及用以预测所述预测块的语法结构。视频编码器20可产生用于CU的每一PU的亮度、Cb及Cr预测块的预测性亮度、Cb及Cr块。

视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与所述PU相关联的图片的经解码样本而产生所述PU的预测性块。如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于不同于与所述PU相关联的图片的一或多个图片的经解码样本而产生所述PU的预测性块。

在视频编码器20产生用于CU的一或多个PU的预测性亮度、Cb及Cr块之后，视频编码器20可产生所述CU的亮度残余块。所述CU的亮度残余块中的每一样本指示在所述CU的预测性亮度块中的一者中的亮度样本与在所述CU的原始亮度译码块中的对应的样本之间的差。另外，视频编码器20可产生用于所述CU的Cb残余块。所述CU的Cb残余块中的每一样本可指示在所述CU的预测性Cb块中的一者中的Cb样本与在所述CU的原始Cb译码块中的对应的样本之间的差。视频编码器20也可产生用于所述CU的Cr残余块。所述CU的Cr残余块中的每一样本可指示在所述CU的预测性Cr块中的一者中的Cr样本与在所述CU的原始Cr译码块中的对应的样本之间的差。

此外，视频编码器20可使用四分树分割以将CU的亮度、Cb及Cr残余块分解成一或多个亮度、Cb及Cr变换块。变换块为对其应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应的变换块及用以变换所述变换块样本的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个分开的彩色平面的图片中，TU可包括单一变换块及用以变换所述变换块的样本的语法结构。

视频编码器20可将一或多个变换应用于TU的亮度变换块以产生用于所述TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生用于所述TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生用于所述TU的Cr系数块。

在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化通常指如下的进程：将变换系数量化以可能地减少用以表示所述变换系数的数据的量，从而提供进一步压缩。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化的变换系数的语法元素。举例来说，视频编码器20可对指示经量化的变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。

视频编码器20可输出包含位元序列的位流，所述位元序列形成经译码图片及相关联的数据的表示。所述位流可包括一连串网络抽象层(NAL)单元。NAL单元为含有所述NAL单元中的数据的类型的指示及含有那数据的字节(呈在必要时穿插有仿真防止位元的原始字节序列有效负载(RBSP)的形式)的语法结构。NAL单元中的每一者包含NAL单元标头且封装RBSP。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有封装于NAL单元内的整数数目个字节的语法结构。在一些例子中，RBSP包含零个位。

不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装用于图片参数集(PPS)的RBSP，第二类型的NAL单元可封装用于经译码切片的RBSP，第三类型的NAL单元可封装用于SEI的RBSP，等等。可将封装用于视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相反)的NAL单元称作视频译码层(VCL)NAL单元。

视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以自所述位流获得语法元素。视频解码器30可至少部分地基于自位流获得的语法元素来重建视频数据的图片。重建视频数据的进程可大体与由视频编码器20执行的进程互逆。另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建与当前CU的TU相关联的变换块。视频解码器30可通过将用于当前CU的PU的预测性块的样本添加至当前CU的TU的变换块的对应的样本来重建当前CU的译码块。通过重建用于图片的每一CU的译码块，视频解码器30可重建所述图片。

在多视图译码中，可存在来自不同视点的同一场景的多个视图。术语“存取单元”用以指对应于同一时间事例的图片集合。因此，可使视频数据概念化为随时间的过去而发生的一系列存取单元。“视图分量”可为单一存取单元中的视图的经译码表示。在本发明中，“视图”可指与同一视图识别符相关联的一连串视图分量。视图分量的实例类型包含纹理视图分量及深度视图分量。

多视图译码支持视图间预测。视图间预测类似于HEVC中所使用的帧间预测且可使用相同的语法元素。然而，当视频译码器对当前视频单元(例如PU等)执行视图间预测时，视频编码器20可将在与当前视频单元相同的存取单元中但在不同视图中的图片用作参考图片。相比之下，习知帧间预测仅将不同存取单元中的图片用作参考图片。

在多视图译码中，如果视频解码器(例如，视频解码器30)可在不参考任何其它视图中的图片的情况下解码视图中的图片，则可将所述视图称作“基础视图”。当译码非基础视图中的一者中的图片时，如果图片在与视频译码器当前正译码的图片不同的视图中但在相同的时间事例(即，存取单元)内，那么视频译码器(例如视频编码器20或视频解码器30等)可将所述图片添加至参考图片列表中。与其它帧间预测参考图片一样，视频译码器可将视图间预测参考图片插入于参考图片列表的任何位置处。

视频译码标准指定视频缓冲模型。在H.264/AVC及HEVC中，将缓冲模型称作“假想参考解码器”或“HRD”。在HEVC工作草案8中，HRD描述于附录C中。

HRD描述将缓冲数据以用于解码的方式及缓冲经解码数据以用于输出的方式。举例来说，HRD描述译码图片缓冲器(“CPB”)、解码图片缓冲器(“DPB”)及视频解码程序的操作。CPB为含有按由HRD所指定的解码次序的存取单元的先进先出缓冲器。DPB为持有用于由HRD所指定的参考、输出重新排序或输出延迟的经解码图片的缓冲器。可以数学方式指定CPB及DPB的行为。HRD可直接将约束强加于时序、缓冲器大小及位速率。此外，HRD可间接地将约束强加于各种位流特性及统计数据。

在H.264/AVC及HEVC中，位流一致性及解码器一致性被指定为HRD规范的部分。换言之，HRD模型指定确定位流是否遵照视频译码规范的测试及确定解码器是否遵照视频译码规范的测试。虽然HRD被命名为某种解码器，但视频编码器通常使用HRD来保证位流一致性，而视频解码器则通常无需HRD。

H.264/AVC与HEVC皆指定两个类型的位流或HRD一致性，即，类型I及类型II。类型I位流为对于位流中的所有存取单元来说仅含有VCL NAL单元及填充符数据NAL单元的NAL单元流。类型II位流为对于位流中的所有存取单元来说除VCL NAL单元及填充符数据NAL单元之外也含有以下各者中的至少一者的NAL单元流：不同于填充符数据NAL单元的额外非VCL NAL单元；及自NAL单元流形成字节流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes及trailing_zero_8bits语法元素。

当装置执行确定位流是否遵照视频译码标准的位流一致性测试时，装置可选择位流的操作点。装置可接着确定适用于选定操作点的HRD参数集。装置可使用适用于选定操作点的所述HRD参数集来配置HRD的行为。更明确地说，装置可使用所述适用的HRD参数集来配置HRD的特定分量(例如假想流调度器(HSS)、CPB、解码进程、DPB等等)的行为。随后，HSS可根据特定调度而将位流的经译码视频数据注入至HRD的CPB内。

此外，作为执行位流一致性测试的部分，装置可调用解码CPB中的经译码视频数据的解码进程。所述解码进程可将经解码图片输出至DPB。当装置将数据移动穿过HRD时，装置可确定是否保持满足一组特定约束。举例来说，装置可确定当HRD解码选定操作点的操作点表示时在CPB或DPB中发生溢出条件还是下溢条件。装置可以此方式选择及处理位流的每一操作点。如果无位流的操作点造成违反约束，则装置可确定位流遵照视频译码标准。

H.264/AVC与HEVC皆指定两个类型的解码器一致性，即，输出时序解码器一致性及输出次序解码器一致性。主张与具体配置文件、层及层级的一致性的解码器能够成功地解码遵照视频译码标准(例如HEVC等)的位流一致性要求的所有位流。在本发明中，“配置文件”可指位流语法的子集。“层”及“层级”可指定于每一配置文件内。层的层级可为强加于位流中的语法元素的值的一组指定的约束。这些约束可为对值的简单限制。替代地，约束可呈对值的算术组合(例如，用每秒解码的图片的数目乘图片高度乘图片宽度)的约束的形式。通常，针对较低层所指定的层级比针对较高层所指定的层级更受约束。

当装置执行解码器一致性测试来确定测试中的解码器(DUT)是否遵照视频译码规范时，装置可将遵照视频译码标准的位流提供至HRD及DUT两者。HRD可以上文关于位流一致性测试所描述的方式来处理位流。如果由DUT输出的经解码图片的次序匹配由HRD输出的经解码图片的次序，则装置可确定DUT遵照视频译码标准。此外，如果DUT输出经解码图片所用的时序匹配HRD输出经解码图片所用的时序，那么装置可确定DUT遵照视频译码标准。

在H.264/AVC及HEVC HRD模型中，解码及/或CPB移除可基于存取单元。即，假定HRD一次解码全部存取单元且自CPB移除全部存取单元。此外，在H.264/AVC及HEVC HRD模型中，假定图片解码为瞬时的。视频编码器20可在图片时序SEI消息中用信号传送开始解码存取单元的解码时间。在实际应用中，如果一致的视频解码器严格遵循经用信号传送的开始解码存取单元的解码时间，那么输出特定经解码图片的最早可能时间等于那特定图片的解码时间加上对于解码那特定图片所需的时间。然而，在现实世界中，对于解码图片所需的时间不能等于零。

HRD参数可控制HRD的各种方面。换言之，HRD可依赖于HRD参数。HRD参数可包含初始CPB移除延迟、CPB大小、位速率、初始DPB输出延迟及DPB大小。视频编码器20可在视频参数集(VPS)及/或序列参数集(SPS)中所指定的hrd_parameters()语法结构中用信号传送这些HRD参数。个别VPS及/或SPS可包含用于不同HRD参数集的多个hrd_parameters()语法结构。在一些实例中，视频编码器20可在缓冲周期SEI消息或图片时序SEI消息中用信号传送HRD参数。

如上文所解释，位流的操作点与层识别符集合(即，nuh_reserved_zero_6bits值集合)及时间识别符相关联。操作点表示可包含与操作点相关联的每一NAL单元。操作点表示可具有与原始位流不同的帧速率及/或位速率。此是因为操作点表示可能不包含原始位流的一些图片及/或一些数据。因此，如果在处理原始位流时视频解码器30将以特定速率自CPB及/或DPB移除数据且如果在处理操作点表示时视频解码器30将以相同速率自CPB及/或DPB移除数据，那么视频解码器30可自CPB及/或DPB移除过多或过少数据。因此，视频编码器20可针对不同操作点而用信号传送不同HRD参数集。举例来说，视频编码器20可将包含用于不同操作点的HRD参数的多个hrd_parameters()语法结构包含于VPS中。

下表1为HEVC中的用于hrd_parameters()语法结构的实例语法。

表1—HRD参数

在上表1及本发明的其它语法表的实例中，具有类型描述符ue(v)的语法元素可为使用0阶指数哥伦布(Exp-Golomb)译码(其中首先为左位)编码的可变长度不带正负号整数。在表1及下表的实例中，具有形式为u(n)(其中n为非负整数)的描述符的语法元素为长度为n的不带正负号值。

H.264/AVC与HEVC两者中所支持的SEI机制使视频编码器(例如，视频编码器20)能够将此元数据包含于位流中，所述元数据对于正确解码输出图片的样本值来说并非必需的，但可用于各种其它目的(例如图片输出时序、显示以及损耗检测及隐藏等)。视频编码器20可使用SEI消息将对于正确解码图片的样本值来说并非必需的元数据包含于位流中。然而，视频解码器30或其它装置可将SEI消息中所包含的元数据用于各种其它目的。举例来说，视频解码器30或另一装置可将SEI消息中的元数据用于图片输出时序、图片显示、损耗检测及错误隐藏。

视频编码器20可将一或多个SEI NAL单元包含于存取单元中。换言之，任何数目个SEI NAL单元可与存取单元相关联。此外，每一SEI NAL单元可含有一或多个SEI消息。即，视频编码器可将任何数目个SEI NAL单元包含于存取单元中，且每一SEI NAL单元可含有一或多个SEI消息。SEI NAL单元可包含NAL单元标头及有效负载。SEI NAL单元的NAL单元标头包含至少第一语法元素及第二语法元素。第一语法元素指定SEINAL单元的层识别符。第二语法元素指定SEI NAL单元的时间识别符。

嵌套式SEI消息指可调式嵌套式SEI消息中所含有的SEI消息。非嵌套式SEI消息指可调式嵌套式SEI消息中不含有的SEI消息。SEI NAL单元的有效负载可包括嵌套式SEI消息或非嵌套式SEI消息。

HEVC标准描述各种类型的SEI消息的语法及语义。然而，HEVC标准不描述对SEI消息的处置，因为SEI消息不影响规范的解码进程。在HEVC标准中具有SEI消息的一个原因为实现在使用HEVC的不同系统中相同地解译补充数据。使用HEVC的规范及系统可能需要视频编码器产生某些SEI消息或可定义对特定类型的所接收的SEI消息的具体处置。

下表2列出HEVC中所指定的SEI消息且简短地描述所述SEI消息的用途。

表2—SEI消息的概述

在HEVC工作草案9中，HRD操作需要在缓冲周期SEI消息、图片时序SEI消息中且有时也在解码单元信息SEI消息中用信号传送的参数。

此外，在HEVC工作草案9中，适用于嵌套式SEI消息的操作点、层或子层由可调式嵌套式SEI消息的语义指定。换言之，对于每一SEI消息来说适用的存取单元(也被称作持久性范畴)由SEI消息的语义指定，且对于嵌套式SEI消息来说适用的操作点或层或子层由可调式嵌套式SEI消息的语义指定，且在应用操作点或层或子层内。然而，在HEVC工作草案9中，不清楚哪些操作点、层或子层适用于非嵌套式SEI消息。因此，视频解码器可能不能够使用非嵌套式SEI消息。举例来说，缓冲SEI消息、嵌套式图片时序SEI消息及嵌套式解码单元信息SEI消息可含有HRD参数。为了易于解释，本文中可将这些类型的SEI消息称作“HRD SEI消息类型”。

在HEVC工作草案9中，仅属于所述HRD SEI消息类型的嵌套式SEI消息可用于HRD操作中。相比之下，属于所述HRD SEI消息类型的非嵌套式SEI消息可不用于HRD操作中。即，在HEVC工作草案9中，仅嵌套式缓冲周期SEI消息、图片时序SEI消息及解码单元信息SEI消息可经选择用于HRD操作中，而非嵌套式缓冲周期SEI消息、图片时序SEI消息及解码单元信息SEI消息甚至当存在时仍从未经选择用于HRD操作中。

本发明的技术提供允许每一类型的非嵌套式SEI消息指示适用于非嵌套式SEI消息的操作点、层或子层的设计。举例来说，根据本发明的技术，清晰地指定了对于每一类型的非嵌套式SEI消息来说适用的操作点或层或子层且指定了在HRD操作中对非嵌套式缓冲周期SEI消息、图片时序SEI消息及解码单元信息SEI消息的选择及使用。

装置(例如视频解码器30等)可确定非嵌套式SEI消息适用于其中的一或多个操作点、层或子层的集合。装置可至少部分地基于非嵌套式SEI消息来修改一或多个HRD参数。所述HRD参数可控制视频解码器30解码操作点、层或子层的方式的各种方面。当解码视频数据时，视频解码器30可使用经修改的HRD参数。

根据本发明的技术，仅当SEI消息为嵌套式SEI消息时，所述SEI消息可适用于具有小于含有SEI消息的SEI NAL单元的时间ID的时间ID的层。非嵌套式SEI消息不适用于具有小于含有非嵌套式SEI消息的SEI NAL单元的时间ID的时间ID的层。即，对于待应用于具有小于含有SEI消息的SEI NAL单元的时间位准的时间位准(TemporalId)的层的SEI消息来说，所述SEI消息必须经嵌套。换言之，非嵌套式SEI消息不适用于具有较小TemporalId值的层。

此外，根据本发明的技术，可能需要含有属于不同于HRD SEI消息类型的SEI消息类型(即，不同于缓冲周期SEI消息、图片时序SEI消息及解码单元SEI消息的SEI消息类型)的非嵌套式SEI消息的SEI NAL单元具有与含有所述SEI NAL单元的存取单元相同的时间ID。换言之，需要含有不同于缓冲周期SEI消息、图片时序SEI消息及解码单元信息SEI消息的任何当前指定类型的SEI消息的非嵌套式SEI消息的SEI NAL单元具有与含有所述SEI NAL单元的存取单元的TemporalId相同的TemporalId。

举例来说，payloadType可指定SEI消息的类型。此外，操作点由nuh_reserved_zero_6bits值集合(表示为OpLayerIdSet)及TemporalId值(表示为OpTid)识别。如果payloadType等于0(缓冲周期)、1(图片时序)或130(解码单元信息)，那么非嵌套式SEI消息适用于以下操作点：所述操作点具有等于含有SEI消息的SEI NAL单元的nuh_temporal_id_plus1减去1的OpTid且具有含有在0至含有SEI消息的SEI NAL单元的nuh_reserved_zero_6bits(包含0及nuh_reserved_zero_6bits)的范围中的所有整数值的OpLayerIdSet。nuh_temporal_id_plus1减去1指定SEI NAL单元的时间ID。nuh_reserved_zero_6bits可指定层识别符。因此，非嵌套式SEI消息可适用于一操作点，所述操作点具有等于SEI NAL单元的时间识别符的时间识别符且具有在自0至SEI NAL单元的层识别符的范围中所含有的一组层识别符。

因此，在本发明的一些实例技术中，装置(例如视频编码器20、视频解码器30或另一装置等)可自位流获得非嵌套式SEI消息，其中所述非嵌套式SEI消息为指示HRD操作的初始延迟的缓冲周期SEI消息、指示HRD操作的图片输出时间及图片/子图片移除时间的图片时序SEI消息或指示HRD操作的子图片移除时间的解码单元SEI消息。此外，装置可确定适用于非嵌套式SEI消息的操作点。适用于非嵌套式SEI消息的操作点的所有NAL单元的最高时间识别符等于封装所述非嵌套式SEI消息的SEI NAL单元的时间识别符。适用于非嵌套式SEI消息的操作点的所有NAL单元的层识别符的集合含有在0至封装非嵌套式SEI消息的SEI NAL单元的层识别符的值的范围中的所有整数值。另外，装置可部分地基于第二非嵌套式SEI消息的一或多个语法元素的值来执行关于适用于第二非嵌套式SEI消息的操作点的HRD操作(例如，位流一致性测试、解码器一致性测试等)。

否则，当payloadType等于2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134时，非嵌套式SEI消息可应用于一层，对于所述层来说，VCL NAL单元具有等于含有SEI消息的SEI NAL单元的nuh_reserved_zero_6bits的nuh_reserved_zero_6bits，且含有SEI消息的SEI NAL单元的TemporalId应等于含有所述SEI消息的存取单元的TemporalId。

当payloadType等于2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134时，非嵌套式SEI消息分别为以下各者中的一者：pan-scan(经比例改变及裁切)矩形SEI消息，其包含与以与输出图片的图片高宽比不同的图片高宽比显示相关联的数据；填充符有效负载SEI消息，其包含用于调整位速率以符合具体约束的数据；恢复点SEI消息，其包含用于清除随机存取或逐渐解码再新的信息；场景信息SEI消息，其包含与场景改变及转变相关联的信息；图片快照SEI消息，其包含将相关联的经解码图片标记为视频内容的静态图像快照的指示；渐进式改进分段开始SEI消息，其包含与连续图片的分段开始相关联的信息，所述连续图片表示图片而非移动场景的质量的渐进式改进；渐进式改进分段结束SEI消息，其包含与连续图片的分段结束相关联的信息；胶卷粒纹特性SEI消息，其包含与合成胶卷粒纹效应相关联的信息；后滤波暗示SEI消息，其包含与所建议的后滤波系数相关联的信息或用于后滤波设计的相关信息；色调映射信息SEI消息，其包含与重映射至与在编码中使用假定的色彩空间不同的另一色彩空间相关联的信息；帧打包布置SEI消息，其包含与将立体视频打包至位流内相关联的信息；显示定向SEI消息，其包含指定在显示输出图片时待应用于所述输出图片的翻转及/或旋转的信息；图片结构信息SEI消息，其包含描述位流的时间及帧间预测结构的信息；有效参数集SEI消息，其包含关于有效参数集的信息；时间子层零索引SEI消息，其包含与检测具有等于0的时间识别符的经译码图片何时遗失相关联的信息；或区域再新信息SEI消息，其包含指示非嵌套式SEI消息所应用的切片分段是否属于当前图片的经再新区域的信息。

以此方式，装置(例如视频编码器20、视频解码器30或另一装置等)可自包含视频数据的经编码表示的位流获得非嵌套式SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内。此外，装置可确定非嵌套式SEI消息适用于其中的所述位流的一层，其中所述非嵌套式SEI消息适用于以下层：对于所述层来说，位流的VCL NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符。SEINAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符。视频译码器可部分地基于非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息适用于其中的所述位流的所述层的视频数据。在一些实例中，处理非嵌套式SEI消息适用于其中的所述位流的所述层的视频数据包括部分地基于非嵌套式SEI消息中的一或多个语法元素来解码非嵌套式SEI消息适用于其中的所述位流的所述层的视频数据。

图2为说明可实施本发明的技术的实例视频编码器20的框图。图2经提供系为了解释的目的且不应将图2视为限制如在本发明中广泛地举例说明及描述的技术。为了解释的目的，本发明在HEVC译码的情况下描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。

在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重建单元112、滤波器单元114、解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122及运动补偿单元124。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。

视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。所述CTU中的每一者可与大小相等的亮度译码树型块(CTB)及图片的对应的CTB相关联。作为编码CTU的部分，预测处理单元100可执行四分树分割以将CTU的CTB分割成逐渐更小的块。所述较小的块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子块等等。

视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可在所述CU的一或多个PU当中分割与所述CU相关联的译码块。因此，每一PU可与亮度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，则视频编码器20及视频解码器30可支持2N×2N或N×N的PU大小(对于帧内预测来说)及2N×2N、2N×N、N×2N、N×N或类似者的对称PU大小(对于帧间预测来说)。视频编码器20及视频解码器30也可支持针对2N×nU、2N×nD、nL×2N及nR×2N的PU大小(对于帧间预测来说)的不对称分割。

帧间预测处理单元120可通过对CU的每一PU执行帧间预测来产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。帧间预测处理单元120可取决于CU的PU在I切片、P切片或是B切片中而针对所述PU来执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120不对PU执行帧间预测。

如果PU在P切片中，则运动估计单元122可在参考图片列表(例如，“RefPicList0”)中的参考图片中搜寻PU的参考区域。PU的参考区域可为在参考图片内含有最密切地对应于PU的预测块的样本的区域。运动估计单元122可产生参考索引，所述参考索引指示在参考图片的RefPicList0中含有PU的参考区域的位置。另外，运动估计单元122可产生运动向量，所述运动向量指示在PU的译码块与相关联于参考区域的参考位置之间的空间位移。举例来说，运动向量可为提供自当前图片中的坐标至参考图片中的坐标的偏移的二维向量。运动估计单元122可输出参考索引及运动向量，作为PU的运动信息。运动补偿单元124可基于在由PU的运动向量指示的参考位置处的实际或内插样本而产生PU的预测性块。

如果PU在B切片中，则运动估计单元122可针对所述PU来执行单向预测或双向预测。为针对PU执行单向预测，运动估计单元122可在RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片中搜寻PU的参考区域。运动估计单元122可输出以下各者作为PU的运动信息：参考索引，其指示在参考图片的RefPicList0或RefPicList1中含有参考区域的位置；运动向量，其指示在PU的预测块与相关联于参考区域的参考位置之间的空间位移；及一或多个预测方向指示符，其指示参考图片在RefPicList0或是RefPicList1中。运动补偿单元124可至少部分地基于在由PU的运动向量指示的参考位置处的实际或内插样本而产生PU的预测性块。

为针对PU执行双向帧间预测，运动估计单元122可在RefPicList0中的参考图片中搜寻PU的参考区域且也可在RefPicList1中的参考图片中搜寻PU的另一参考区域。运动估计单元122可产生参考索引，所述参考索引指示在参考图片的RefPicList0及RefPicList1中含有所述参考区域的位置。另外，运动估计单元122可产生运动向量，所述运动向量指示在与所述参考区域相关联的参考位置与PU的预测块之间的空间位移。PU的运动信息可包含参考索引及PU的运动向量。运动补偿单元124可至少部分地基于在由PU的运动向量指示的参考位置处的实际或内插样本而产生PU的预测性块。

帧内预测处理单元126可通过对PU执行帧内预测来产生用于所述PU的预测性数据。用于PU的预测性数据可包含用于PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。

为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生用于PU的多组预测性块。当使用特定帧内预测模式来执行帧内预测时，帧内预测处理单元126可使用来自相邻块的一组特定样本产生用于PU的预测性块。假定用于PU、CU及CTU的自左至右、自顶至底编码次序，相邻PU可在PU的预测块的上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目个帧内预测模式(例如，33个方向帧内预测模式)。在一些实例中，帧内预测模式的数目可取决于PU的预测块的大小。

预测处理单元100可自由帧间预测处理单元120针对CU的PU所产生的预测性数据或由帧内预测处理单元126针对所述PU所产生的预测性数据当中选择用于所述PU的预测性数据。在一些实例中，预测处理单元100基于所述组预测性数据的速率/失真度量来选择用于CU的PU的预测性数据。本文中可将选定预测性数据的预测性块称作选定预测性块。

残余产生单元102可基于CU的亮度、Cb及Cr译码块及所述CU的PU的选定预测性亮度、Cb及Cr块来产生所述CU的亮度、Cb及Cr残余块。举例来说，残余产生单元102可产生CU的残余块使得所述残余块中的每一样本具有等于在CU的译码块中的样本与CU的PU的对应的选定预测性块中的对应的样本之间的差的值。

变换处理单元104可执行四分树分割以将CU的残余块分割成与所述CU的TU相关联的变换块。因此，TU可与亮度变换块及两个对应的色度变换块相关联。CU的TU的亮度及色度变换块的大小及位置可或可不基于所述CU的PU的预测块的大小及位置。

变换处理单元104可通过将一或多个变换应用于CU的每一TU的变换块来产生用于所述TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在这些实例中，可将变换块作为一变换系数块对待。

量化单元106可量化系数块中的变换系数。量化进程可减小与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数舍去成m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与所述CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与所述CU相关联的系数块的量化的程度。量化可能带来信息的损失，因此经量化的变换系数可具有比原始精确度低的精确度。

反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以自所述系数块重建残余块。重建单元112可将经重建的残余块添加至来自由预测处理单元100产生的一或多个预测性块的对应的样本以产生与TU相关联的经重建的变换块。通过以此方式重建用于CU的每一TU的变换块，视频编码器20可重建所述CU的译码块。

滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。在滤波器单元114对经重建的译码块执行一或多个解块操作之后，解码图片缓冲器116可存储所述经重建的译码块。帧间预测处理单元120可使用含有经重建的译码块的参考图片对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用解码图片缓冲器116中的经重建的译码块对在与CU相同的图片中的其它PU执行帧内预测。

熵编码单元118可自视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可自量化单元106接收系数块且可自预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行上下文自适应性可变长度译码(CAVLC)操作、CABAC操作、变量至变量(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率间隔分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。

图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。图3经提供用于解释的目的且图3并非对如广泛地在本发明中举例说明及描述的技术的限制。为了解释的目的，本发明在HEVC译码的情况下描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。

在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化单元154、反变换处理单元156、重建单元158、滤波器单元160及解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

译码图片缓冲器(CPB)151可接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可自CPB 151接收NAL单元且剖析所述NAL单元以自位流获得语法元素。熵解码单元150可熵解码NAL单元中的经熵编码语法元素。预测处理单元152、反量化单元154、反变换处理单元156、重建单元158及滤波器单元160可基于自位流提取的语法元素而产生经解码视频数据。

位流的NAL单元可包含经译码切片NAL单元。作为解码位流的部分，熵解码单元150可提取且熵解码来自经译码切片NAL单元的语法元素。所述所述经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。

除解码来自位流的语法元素之外，视频解码器30也可对CU执行解码操作。通过对CU执行解码操作，视频解码器30可重建CU的译码块。

作为对CU执行解码操作的部分，反量化单元154可反量化(即，解量化)与CU的TU相关联的系数块。反量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，及同样地确定供反量化单元154应用的反量化的程度。即，可通过调整在量化变换系数时所使用的QP值来控制压缩比率(即，用以表示原始序列及被压缩序列的位的数目的比率)。压缩比率也可取决于所使用的熵译码方法。

在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于所述系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡忽南-拉维(Karhunen-Loeve)变换(KLT)、反旋转变换、反方向变换或另一反变换应用于系数块。

如果PU系使用帧内预测编码，那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于空间相邻PU的预测块来产生用于PU的预测性亮度、Cb及Cr块。帧内预测处理单元166可基于自位流解码的一或多个语法元素来确定用于PU的帧内预测模式。

预测处理单元152可基于自位流提取的语法元素来建构第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果PU系使用帧间预测编码，那么熵解码单元150可获得用于所述PU的运动信息。运动补偿单元164可基于PU的运动信息来确定用于PU的一或多个参考区域。运动补偿单元164可基于在用于PU的一或多个参考块处的样本而产生用于PU的预测性亮度、Cb及Cr块。

重建单元158可使用适用的来自与CU的TU相关联的亮度、Cb及Cr变换块及CU的PU的预测性亮度、Cb及Cr块的残余值(即，帧内预测数据或帧间预测数据)重建CU的亮度、Cb及Cr译码块。举例来说，重建单元158可将亮度、Cb及Cr变换块的样本添加至预测性亮度、Cb及Cr块的对应的样本以重建CU的亮度、Cb及Cr译码块。

滤波器单元160可执行解块操作以减少与CU的亮度、Cb及Cr译码块相关联的块伪影。视频解码器30可将CU的亮度、Cb及Cr译码块存储于解码图片缓冲器162中。解码图片缓冲器162可提供用于随后运动补偿、帧内预测及在显示装置(例如图1的显示装置32等)上呈现的参考图片。举例来说，视频解码器30可基于解码图片缓冲器162中的亮度、Cb及Cr块来对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可自位流提取有效亮度系数块的变换系数级别、反量化所述变换系数级别、将变换应用于所述变换系数级别以产生变换块、至少部分地基于所述变换块产生译码块及输出所述译码块以供显示。

在一些实例中，视频处理器(例如视频编码器20、视频解码器30或另一装置等)可执行位流一致性测试以确定位流是否遵照视频译码规范。可将此位流称作BitstreamToDecode或待解码的位流。BitstreamToDecode可与由视频处理器接收的位流相同或为由视频处理器接收的位流的子位流。HEVC工作草案9的子条款C.1描述HEVC的HRD及检查位流及解码器一致性的HRD的用途。具体言之，HEVC工作草案9的子条款C.1指定在位流一致性测试中所应用的一系列有序步骤。根据本发明的一或多项实例技术，如下改变HEVC工作草案9的子条款C.1的描述此系列有序步骤的部分使得可选择非嵌套式缓冲周期SEI消息、图片时序SEI消息及解码单元信息SEI消息以供在HRD操作中使用：

可需要多个测试以用于检查位流的一致性，在下文中将所述位流称作测试中的位流。对于每一测试，以下步骤按所列出的次序适用：

1.选择测试中的操作点(表示为TargetOp)。TargetOp的OpLayerIdSet含有存在于与TargetOp相关联的位流子集中的nuh_reserved_zero_6bits值的集合，所述集合为存在于测试中的位流中的nuh_reserved_zero_6bits值的子集。TargetOp的OpTid等于存在于与TargetOp相关联的位流子集中的最高TemporalId。

2.将TargetDecLayerIdSet设定至TargetOp的OpLayerIdSet，且将HighestTid设定至TargetOp的OpTid，且将BitstreamToDecode设定至与TargetOp相关联的位流子集，即，如HEVC工作草案9的子条款10.1中所指定的子位流提取进程的输出，其中测试中的位流、HighestTid及TargetDecLayerIdSet作为输入。

3.选择适用于TargetOp的hrd_parameters()语法结构及sub_layer_hrd_parameters()语法结构。如果TargetDecLayerIdSet含有存在于测试中的位流中的所有nuh_reserved_zero_6bits值，那么选择在有效序列参数集中(或经由此说明书中未指定的外部装置所提供)的hrd_parameters()语法结构。否则，选择在有效视频参数集中(或经由此说明书中未指定的某一外部装置所提供)的应用于TargetOp的hrd_parameters()语法结构。在选定hrd_parameters()语法结构内，如果BitstreamToDecode为类型I位流，那么选择紧接在条件“if(vcl_hrd_parameters_present_flag)”后的sub_layer_hrd_parameters(HighestTid)语法结构且将变量NalHrdModeFlag设定成等于0；否则(BitstreamToDecode为类型II位流)，选择紧接在条件“if(vcl_hrd_parameters_present_flag)”(在此状况下，将变量NalHrdModeFlag设定成等于0)或条件“if(nal_hrd_parameters_present_flag)”(在此状况下，将变量NalHrdModeFlag设定成等于1)后的sub_layer_hrd_parameters(HighestTid)语法结构。当BitstreamToDecode为类型II位流且NalHrdModeFlag等于0时，将所有非VCL NAL单元(惟填充符数据NAL单元除外)自BitstreamToDecode抛弃，且将剩余位流指派给BitstreamToDecode。

4.将与适用于TargetOp的缓冲周期SEI消息(存在于BitstreamToDecode中或可经由此说明书中未指定的外部装置而获得)相关联的存取单元选择作为HRD初始化点且称作存取单元0。

5.对于自存取单元0开始的在BitstreamToDecode中的每一存取单元来说，选择与所述存取单元相关联且应用于TargetOp的缓冲周期SEI消息(存在于 BitstreamToDecode中或可经由此说明书中未指定的外部装置而获得)，选择与所述存取单元相关联且应用于TargetOp的图片时序SEI消息(存在于 BitstreamToDecode中或可经由此说明书中未指定的外部装置而获得)，且当SubPicCpbFlag等于1且sub_pic_cpb_params_in_pic_timing_sei_flag等于0时，选择与所述存取单元中的解码单元相关联且应用于TargetOp的解码单元信息SEI消息(存在于 BitstreamToDecode中或可经由此说明书中未指定的外部装置而获得)。

6.选择SchedSelIdx的值。选定SchedSelIdx应在0至cpb_cnt_minus1[HighestTid](包含0及cpb_cnt_minus1[HighestTid])的范围中，其中cpb_cnt_minus1[HighestTid]发现于如上文所选择的sub_layer_hrd_parameters(HighestTid)语法结构中。

7.当存取单元0中的经译码图片具有等于CRA_NUT或BLA_W_LP的nal_unit_type且选定缓冲周期SEI消息中的rap_cpb_params_present_flag等于1时，对于选择初始CPB移除延迟及延迟偏移来说，以下各者中的任一者适用。

-取决于如在以上步骤3下所指定的NalHrdModeFlag来选择由initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_offset[SchedSelIdx]所表示的默认初始CPB移除延迟及延迟偏移，将变量DefaultInitCpbParamsFlag设定成等于1。

-取决于如在以上步骤3下所指定的NalHrdModeFlag来选择由initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_offset[SchedSelIdx]所表示的替代性初始CPB移除延迟及延迟偏移，将变量DefaultInitCpbParamsFlag设定成等于0，且将与存取单元0相关联的RASL存取单元自BitstreamToDecode抛弃且仍将剩余位流指派给BitstreamToDecode。

8.当选定hrd_parameters()语法结构中的sub_pic_cpb_params_present_flag等于1时，CPB经调度以在存取单元级别(在所述状况下，将变量SubPicCpbFlag设定成等于0)或在子图片级别(在所述状况下，将变量SubPicCpbFlag设定成等于1)操作。

以上文字的删除线部分指示根据本发明的技术自HEVC工作草案9的子条款C.1移除的文字。如上文所指示，缓冲周期SEI消息指示HRD操作的初始延迟。作为移除了删除线部分的结果，视频处理器可在步骤4中将与适用于TargetOp的缓冲周期SEI消息相关联的存取单元选择作为HRD初始化点，而不管所述缓冲周期SEI消息是否在可调式嵌套式SEI消息中。TargetOp为BitstreamToDecode中的层识别符集合。因此，当非嵌套式缓冲周期SEI消息适用于TargetOp时，视频处理器可将与非嵌套式缓冲周期SEI消息相关联的存取单元选择作为HRD初始化点。视频处理器可在选定存取单元处初始化HRD。也可将HRD初始化点称作存取单元0。HRD初始化点可为在HRD操作期间评估的第一存取单元。

类似地，在步骤5中，视频处理器可选择缓冲周期SEI消息，而不管所述缓冲周期SEI消息是否在可调式嵌套式SEI消息中。此外，在步骤5中，视频处理器可选择图片时序SEI消息，而不管所述图片时序SEI消息是否在可调式嵌套式SEI消息中。此外，在步骤5中，视频处理器可选择解码单元信息SEI消息，而不管所述解码单元信息SEI消息是否在缓冲周期SEI消息中。因此，视频处理器可自位流获得非嵌套式SEI消息，其中所述非嵌套式SEI消息为缓冲周期SEI消息、图片时序SEI消息或解码单元SEI消息。此外，对于待解码的位流中的每一相应存取单元来说，当非嵌套式SEI消息与所述存取单元相关联且非嵌套式SEI消息适用于待解码的位流中的所述层识别符集合时，视频处理器可选择所述非嵌套式SEI消息用于相应存取单元。视频处理器可关于相应存取单元而在HRD操作中使用非嵌套式SEI消息的一或多个语法元素。

如上文所指示，一些类型的非嵌套式SEI消息(例如，缓冲周期SEI消息、图片时序SEI消息、解码单元信息SEI消息等)适用于特定操作点。此外，一些类型的非嵌套式SEI消息适用于特定层。根据本发明的一或多项技术，以下指定对于特定类型的非嵌套式SEI消息来说适用的操作点或层。

视频处理器可自位流获得非嵌套式SEI消息。另外，视频处理器可基于非嵌套式SEI消息的一或多个语法元素来确定非嵌套式SEI消息的有效负载类型变量(例如，“payloadType”)。如果非嵌套式SEI消息的payloadType等于0(即，非嵌套式SEI消息为缓冲周期SEI消息)，那么非嵌套式SEI消息的payloadType等于1(即，非嵌套式SEI消息为图片时序SEI消息)，或非嵌套式SEI消息的payloadType等于130(即，非嵌套式SEI消息为解码单元信息SEI消息)，非嵌套式SEI消息适用于以下操作点：所述操作点具有等于含有非嵌套式SEI消息的SEI NAL单元的nuh_temporal_id_plus1减去1的OpTid且具有含有在0至含有SEI消息的SEI NAL单元的nuh_reserved_zero_6bits(包含0及nuh_reserved_zero_6bits)的范围中的所有整数值的OpLayerIdSet。否则，当非嵌套式SEI消息的payloadType等于2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134时，非嵌套式SEI消息适用于以下层，对于所述层来说，VCL NAL单元具有等于含有SEI消息的SEI NAL单元的nuh_reserved_zero_6bits的nuh_reserved_zero_6bits，且含有SEI消息的SEI NAL单元的TemporalId应等于含有SEI消息的存取单元的TemporalId。在一些实例中，当存在作为嵌套式SEI消息的缓冲周期SEI消息、图片时序SEI消息或解码单元信息SEI消息时，同一SEI消息(具有同样内容)未被同时复制为非嵌套式SEI消息。

根据本发明的其它实例技术，如下指定对于每一类型的非嵌套式SEI消息来说适用的操作点或层。如果非嵌套式SEI消息的payloadType等于0(即，非嵌套式SEI消息为缓冲周期SEI消息)，那么非嵌套式SEI消息的payloadType等于1(即，非嵌套式SEI消息为图片时序SEI消息)，或非嵌套式SEI消息的payloadType等于130(即，非嵌套式SEI消息为解码单元信息SEI消息)，非嵌套式SEI消息适用于以下操作点：所述操作点具有等于含有非嵌套式SEI消息的SEI NAL单元的nuh_temporal_id_plus1减去1的OpTid且具有含有在0至含有SEI消息的SEI NAL单元的nuh_reserved_zero_6bits(包含0及nuh_reserved_zero_6bits)的范围中的所有整数值的OpLayerIdSet。否则，当非嵌套式SEI消息的payloadType等于2、3、6、9、15、16、17、19、22、23、45、47、128、129、131、134时，非嵌套式SEI消息适用于以下层，对于所述层来说，VCL NAL单元具有大于或等于含有SEI消息的SEI NAL单元的nuh_reserved_zero_6bits的nuh_reserved_zero_6bits，且含有SEI消息的SEI NAL单元的TemporalId应等于含有SEI消息的存取单元的TemporalId。对于与同一存取单元中含有SEI消息的SEI NAL单元中的nuh_reserved_zero_6bits的不同值相关联的相同类型的任何两个非嵌套式SEI消息来说，与nuh_reserved_zero_6bits的较大值相关联的非嵌套式SEI消息适用于以下层，对于所述层来说，VCL NAL单元具有大于或等于nuh_reserved_zero_6bits的较大值的nuh_reserved_zero_6bits。在一些实例中，当存在作为嵌套式SEI消息的缓冲周期SEI消息、图片时序SEI消息或解码单元信息SEI消息时，同一SEI消息(具有同样内容)将不被同时复制为非嵌套式SEI消息。

图4为说明根据本发明的一或多项技术的视频处理装置的实例操作200的流程图。在图4的实例中，视频处理器(例如视频编码器20、视频解码器30或另一装置等)可自包含视频数据的经编码表示的位流获得非嵌套式SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内(202)。此外，视频处理器可确定非嵌套式SEI消息适用于其中的所述位流的一层，其中所述非嵌套式SEI消息适用于以下层：对于所述层来说，位流的VCL NAL单元具有等于封装非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符(204)。SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符。另外，视频处理器可部分地基于非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据(206)。

图5为说明执行位流一致性测试的一部分的实例操作250的流程图。在图5的实例中，视频处理器(例如，视频编码器20、视频解码器30或另一装置)可选择测试中的操作点(即，“TargetOp”)(252)。TargetOp的层识别符集(即，“OpLayerIdSet”)可含有存在于与TargetOp相关联的位流子集中的nuh_reserved_zero_6bits值的集合，所述集合为存在于测试中的位流中的nuh_reserved_zero_6bits值的一子集。

此外，视频处理器可设定TargetDecLayerIdSet、HighestTid及BitstreamToDecode(254)。在一些实例中，视频处理器可将TargetDecLayerIdSet设定至TargetOp的OpLayerIdSet。此外，视频处理器可将HighestTid设定至存在于与TargetOp相关联的位流子集中的最高时间识别符。另外，视频处理器可将BitstreamToDecode设定至与TargetOp相关联的位流子集。

接下来，视频处理器可选择适用于TargetOp的hrd_parameters()语法结构及sub_layer_hrd_parameters()语法结构(256)。在一些实例中，如果TargetDecLayerIdSet含有存在于测试中的位流中的所有nuh_reserved_zero_6bits值，那么视频处理器选择在有效序列参数集中(或经由外部装置所提供)的hrd_parameters()语法结构。否则，视频处理器可选择在有效视频参数集中(或经由某一外部装置所提供)的适用于TargetOp的hrd_parameters()语法结构。在选定hrd_parameters()语法结构内，如果BitstreamToDecode为类型I位流，那么视频处理器可选择紧接在条件“if(vcl_hrd_parameters_present_flag)”后的sub_layer_hrd_parameters(HighestTid)语法结构，且视频处理器可将变量NalHrdModeFlag设定成等于0。否则(即，BitstreamToDecode为类型II位流)，视频处理器可选择紧接在条件“if(vcl_hrd_parameters_present_flag)”(在此状况下，将变量NalHrdModeFlag设定成等于0)或条件“if(nal_hrd_parameters_present_flag)”(在此状况下，将变量NalHrdModeFlag设定成等于1)后的sub_layer_hrd_parameters(HighestTid)语法结构。当BitstreamToDecode为类型II位流且NalHrdModeFlag等于0时，视频处理器可将所有非VCL NAL单元(惟填充符数据NAL单元除外)自BitstreamToDecode抛弃，且视频处理器可将剩余位流指派给BitstreamToDecode。

此外，视频处理器可将与适用于TargetOp的缓冲周期SEI消息相关联的存取单元选择作为存取单元0(即，HRD初始化点)(258)。根据本发明的一或多项实例技术，视频处理器可选择缓冲周期SEI消息，而不管所述缓冲周期SEI消息存在于可调式嵌套式SEI消息中的BitstreamToDecode中或是作为非嵌套式缓冲周期SEI消息存在于BitstreamToDecode中。

接下来，对于自存取单元0开始的在BitstreamToDecode中的每一存取单元来说，视频处理器可选择与所述存取单元相关联且适用于TargetOp的缓冲周期SEI消息(260)。根据本发明的一或多项实例技术，视频处理器可选择缓冲周期SEI消息，而不管所述缓冲周期SEI消息是存在于可调式嵌套式SEI消息中的BitstreamToDecode中或是作为非嵌套式缓冲周期SEI消息存在于BitstreamToDecode中。

另外，对于自存取单元0开始的在BitstreamToDecode中的每一存取单元来说，视频处理器可选择与所述存取单元相关联且适用于TargetOp的图片时序SEI消息(262)。根据本发明的一或多项实例技术，视频处理器可选择图片时序SEI消息，而不管所述图片时序SEI消息存在于可调式嵌套式SEI消息中的BitstreamToDecode中或是作为非嵌套式图片时序SEI消息存在于BitstreamToDecode中。

此外，对于自存取单元0开始的在BitstreamToDecode中的每一存取单元来说，当SubPicCpbFlag等于1且sub_pic_cpb_params_in_pic_timing_sei_flag等于0时，视频处理器可选择与所述存取单元中的解码单元相关联且应用于TargetOp的解码单元信息SEI消息(264)。根据本发明的一或多项实例技术，视频处理器可选择解码单元信息SEI消息，而不管所述解码单元信息SEI消息存在于可调式嵌套式SEI消息中的BitstreamToDecode中或是作为非嵌套式解码单元信息SEI消息存在于BitstreamToDecode中。SubPicCpbFlag为指示CPB是否经调度以在存取单元级别或子图片级别操作的变量。sub_pic_cpb_params_in_pic_timing_sei_flag为指示子图片CPB移除延迟参数是否存在于图片时序SEI消息中且解码单元信息SEI消息是否可用的语法元素。

接下来，视频处理器可选择SchedSelIdx的值(266)。选定SchedSelIdx在0至cpb_cnt_minus1[HighestTid](包含0及cpb_cnt_minus1[HighestTid])的范围中，其中cpb_cnt_minus1[HighestTid]被发现于如上文选定的sub_layer_hrd_parameters(HighestTid)语法结构中。cpb_cnt_minus1[]为hrd_parameters()语法结构中的语法元素的阵列。当HighestTid等于i时，cpb_cnt_minus1[i]指示经译码视频序列的位流中的替代性CPB规范的数目。

当存取单元0中的经译码图片具有等于CRA_NUT或BLA_W_LP的nal_unit_type且选定缓冲周期SEI消息中的rap_cpb_params_present_flag等于1时，视频处理器可选择初始CPB移除延迟及延迟偏移(268)。缓冲周期SEI消息可包含initial_cpb_removal_delay[i]语法元素、initial_cpb_removal_offset[i]语法元素及rap_cpb_params_present_flag语法元素。rap_cpb_params_present_flag语法元素指示initial_alt_cpb_removal_delay[i]及initial_alt_cpb_removal_offset[i]语法元素是否存在于缓冲周期SEI消息中。initial_cpb_removal_delay[i]及initial_alt_cpb_removal_delay[i]分别指定针对第i个CPB的默认及替代性初始CPB移除延迟。initial_cpb_removal_offset[i]及initial_alt_cpb_removal_offset[i]分别指定针对第i个CPB的默认及替代性初始CPB移除偏移以指定经译码数据单元至CPB的初始递送时间。

对于选择初始CPB移除延迟及延迟偏移来说，下列中的任一者可适用。首先，视频处理器可取决于如上文所指定的NalHrdModeFlag来选择由initial_cpb_removal_delay[SchedSelIdx]及initial_cpb_removal_offset[SchedSelIdx]所表示的默认初始CPB移除延迟及延迟偏移，将变量DefaultInitCpbParamsFlag设定成等于1。第二，视频处理器可取决于如上文所指定的NalHrdModeFlag来选择由initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_offset[SchedSelIdx]所表示的替代性初始CPB移除延迟及延迟偏移，将变量DefaultInitCpbParamsFlag设定成等于0，且将与存取单元0相关联的随机存取跳过前缘(RASL)存取单元自BitstreamToDecode抛弃且仍将剩余位流指派给BitstreamToDecode。

此外，当选定hrd_parameters()语法结构中的sub_pic_cpb_params_present_flag等于1时，视频处理器可调度CPB以在存取单元级别(在所述状况下，将变量SubPicCpbFlag设定成等于0)或在子图片级别(在所述状况下，将变量SubPicCpbFlag设定成等于1)操作(270)。sub_pic_cpb_params_present_flag为hrd_parameters()语法结构中的语法元素，其指示是否存在子图片CPB移除延迟参数及CPB可在存取单元级别或是子图片级别操作。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施，则所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体来传输且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含促进计算机程序自一处至另一处的传送(例如，根据通信协议)的任何媒体。以此方式，计算机可读媒体大体可对应于(1)非暂时性的有形计算机可读存储媒体；或(2)例如信号或载波等的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以撷取用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

通过实例且非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用以以指令或数据结构的形式来存储所要的代码且可由计算机存取的任何其它媒体。又，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波等)而自网站、服务器或其它远端源传输指令，则将同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波等)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为系有关非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光盘、数字影音光盘(DVD)、软性磁盘及Blu-ray光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范畴内。

可通过例如以下各者等的一或多个处理器来执行指令：一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用，术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内或并入于组合式编码解码器中。又，所述技术可充分地实施于一或多个电路或逻辑元件中。

可将本发明的技术实施于广泛多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述了各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但各种组件、模块或单元未必需要通过不同硬件单元来实现。相反，如上文所描述，各种单元可组合于编码解码器硬件单元中或由互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)结合合适的软件及/或固件来提供。

已描述了各种实例。这些及其它实例在以下权利要求书的范畴内。

Claims

1.一种处理视频数据的方法，所述方法包括：

自包含所述视频数据的经编码表示的位流获得非嵌套式补充增强信息SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；

确定所述非嵌套式SEI消息所适用的所述位流的一层，其中所述非嵌套式SEI消息适用于以下层：对于所述层而言，所述位流的视频译码层VCL网络抽象层NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符，且其中所述SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符；以及

部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据。

2.根据权利要求1所述的方法，其中：

所述SEI NAL单元包含NAL单元标头及有效负载，

所述SEI NAL单元的所述NAL单元标头包含至少第一语法元素及第二语法元素，

所述第一语法元素指定所述SEI NAL单元的所述层识别符，

所述第二语法元素指定所述SEI NAL单元的所述时间识别符，且

所述SEI NAL单元的所述有效负载包含所述非嵌套式SEI消息。

3.根据权利要求1所述的方法，其中所述非嵌套式SEI消息为以下各者中的一者：

pan-scan矩形SEI消息，其包含与以不同于输出图片的图片纵横比的图片纵横比显示相关联的数据，

填充符有效负载SEI消息，其包含用于调整位速率以符合特定约束的数据，

恢复点SEI消息，其包含用于清除随机存取或逐渐解码再新的信息，

场景信息SEI消息，其包含与场景改变及转变相关联的信息，

图片快照SEI消息，其包含将相关联的经解码图片标记为视频内容的静态图像快照的指示，

渐进式改进分段开始SEI消息，其包含与连续图片的分段的开始相关联的信息，所述连续图片表示图片而非移动场景的质量的渐进式改进，

渐进式改进分段结束SEI消息，其包含与连续图片的所述分段的结束相关联的信息，

胶卷粒纹特性SEI消息，其包含与合成胶卷粒纹效应相关联的信息，

后滤波暗示SEI消息，其包含与所建议的后滤波系数相关联的信息或用于后滤波设计的相关信息，

色调映射信息SEI消息，其包含与重映射至不同于在编码中使用或假定的色彩空间的另一色彩空间相关联的信息，

帧打包布置SEI消息，其包含与将立体视频打包至所述位流内相关联的信息，

显示定向SEI消息，其包含指定在显示所述输出图片时待应用于所述输出图片的翻转及/或旋转的信息，

图片结构信息SEI消息，其包含描述所述位流的时间及帧间预测结构的信息，

有效参数集SEI消息，其包含关于有效参数集的信息，

时间子层零索引SEI消息，其包含与检测具有等于0的时间识别符的经译码图片何时遗失相关联的信息，或

区域再新信息SEI消息，其包含指示所述非嵌套式SEI消息所适用的切片分段是否属于当前图片的经再新区域的信息。

4.根据权利要求3所述的方法，其中所述方法进一步包括基于所述非嵌套式SEI消息的一或多个语法元素来确定用于所述非嵌套式SEI消息的有效负载类型变量，其中：

用于所述非嵌套式SEI消息的所述有效负载类型变量指示所述非嵌套式SEI消息的有效负载类型，且

用于所述非嵌套式SEI消息的所述有效负载类型变量等于2、3、6、9、15、16、17、19、22、23、45、47、128、129、131或134。

5.根据权利要求1所述的方法，其中：

所述非嵌套式SEI消息为第一非嵌套式SEI消息，且

所述方法进一步包括：

自所述位流获得第二非嵌套式缓冲周期SEI消息，所述第二非嵌套式缓冲周期SEI消息指示假想参考解码器HRD操作的初始延迟，

当所述第二非嵌套式缓冲周期SEI消息适用于TargetOp时，选择与所述第二非嵌套式缓冲周期SEI消息相关联的存取单元作为HRD初始化点，其中TargetOp为待解码的位流中的层识别符集合，所述待解码的位流为所述位流或所述位流的子位流；以及

在所述选定存取单元处初始化HRD。

6.根据权利要求1所述的方法，其中：

所述非嵌套式SEI消息为第一非嵌套式SEI消息，且

所述方法进一步包括：

自所述位流获得第二非嵌套式SEI消息，所述第二非嵌套式SEI消息为指示HRD操作的初始延迟的缓冲周期SEI消息、指示HRD操作的图片输出时间及图片/子图片移除时间的图片时序SEI消息或指示HRD操作的子图片移除时间的解码单元SEI消息，且

对于待解码的位流中的每一相应存取单元而言：

当所述非嵌套式SEI消息与所述相应存取单元相关联且所述非嵌套式SEI消息适用于所述待解码的位流中的所述层识别符集合时，选择所述非嵌套式SEI消息用于所述存取单元，其中所述待解码的位流为所述位流或所述位流的子位流；以及

关于所述相应存取单元而在HRD操作中使用所述非嵌套式SEI消息的一或多个语法元素。

7.根据权利要求1所述的方法，其中：

所述非嵌套式SEI消息为第一非嵌套式SEI消息，且

所述方法进一步包括：

自所述位流获得第二非嵌套式SEI消息，所述第二非嵌套式SEI消息为指示HRD操作的初始延迟的缓冲周期SEI消息、指示HRD操作的图片输出时间及图片/子图片移除时间的图片时序SEI消息或指示HRD操作的子图片移除时间的解码单元SEI消息；

确定适用于所述第二非嵌套式SEI消息的操作点，

其中适用于所述第二非嵌套式SEI消息的所述操作点的所有NAL单元的最高时间识别符等于封装所述第二非嵌套式SEI消息的SEI NAL单元的时间识别符，且

其中适用于所述第二非嵌套式SEI消息的所述操作点的所有所述NAL单元的层识别符集合含有在0至封装所述第二非嵌套式SEI消息的所述SEI NAL单元的所述层识别符的范围中的所有整数值；以及

部分地基于所述第二非嵌套式SEI消息的一或多个语法元素的值来关于适用于所述第二非嵌套式SEI消息的所述操作点执行HRD操作。

8.一种视频处理装置，其包括一或多个处理器，所述一或多个处理器经配置以：

自包含视频数据的经编码表示的位流获得非嵌套式补充增强信息SEI消息，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；

9.根据权利要求8所述的视频处理装置，其中：

所述SEI NAL单元包含NAL单元标头及有效负载，

所述第一语法元素指定所述SEI NAL单元的所述层识别符，

所述第二语法元素指定所述SEI NAL单元的所述时间识别符，且

所述SEI NAL单元的所述有效负载包含所述非嵌套式SEI消息。

10.根据权利要求8所述的视频处理装置，其中所述非嵌套式SEI消息为以下各者中的一者：

场景信息SEI消息，其包含与场景改变及转变相关联的信息，

色调映射信息SEI消息，其包含不同于重映射至与在编码中使用或假定的色彩空间的另一色彩空间相关联的信息，

有效参数集SEI消息，其包含关于有效参数集的信息，

11.根据权利要求10所述的视频处理装置，其中：

所述一或多个处理器经配置以基于所述非嵌套式SEI消息的一或多个语法元素来确定用于所述非嵌套式SEI消息的有效负载类型变量，其中用于所述非嵌套式SEI消息的所述有效负载类型变量指示所述非嵌套式SEI消息的有效负载类型，且

12.根据权利要求8所述的视频处理装置，其中：

所述非嵌套式SEI消息为第一非嵌套式SEI消息，且

所述一或多个处理器进一步经配置以：

当所述第二非嵌套式缓冲周期SEI消息适用于TargetOp时，选择与所述非嵌套式缓冲周期SEI消息相关联的存取单元作为HRD初始化点，其中TargetOp为待解码的位流中的层识别符集合，所述待解码的位流为所述位流或所述位流的子位流；以及

在所述选定存取单元处初始化HRD。

13.根据权利要求8所述的视频处理装置，其中：

所述非嵌套式SEI消息为第一非嵌套式SEI消息，且

所述一或多个处理器进一步经配置以：

自所述位流获得第二非嵌套式SEI消息，所述第二非嵌套式SEI消息为指示HRD操作的初始延迟的缓冲周期SEI消息、指示HRD操作的图片输出时间及图片/子图片移除时间的图片时序SEI消息或指示HRD操作的子图片移除时间的解码单元SEI消息，以及

对于待解码的位流中的每一相应存取单元而言：

当所述非嵌套式SEI消息与所述相应存取单元相关联且所述非嵌套式SEI消息适用于所述待解码位流中的所述层识别符集合时，选择所述非嵌套式SEI消息用于所述存取单元，其中所述待解码的位流为所述位流或所述位流的子位流；以及

14.根据权利要求8所述的视频处理装置，其中：

所述非嵌套式SEI消息为第一非嵌套式SEI消息，且

所述一或多个处理器进一步经配置以：

确定适用于所述第二非嵌套式SEI消息的操作点，

15.根据权利要求8所述的视频处理装置，其中所述一或多个处理器经配置以部分地基于所述非嵌套式SEI消息中的所述一或多个语法元素来解码所述非嵌套式SEI消息所适用的所述位流的所述层的所述视频数据。

16.一种视频处理装置，其包括：

用于自包含视频数据的经编码表示的位流获得非嵌套式补充增强信息SEI消息的装置，所述非嵌套式SEI消息未嵌套于所述位流中的另一SEI消息内；

用于确定所述非嵌套式SEI消息所适用的所述位流的一层的装置，其中所述非嵌套式SEI消息适用于以下层：对于所述层而言，所述位流的视频译码层VCL网络抽象层NAL单元具有等于封装所述非嵌套式SEI消息的SEI NAL单元的层识别符的层识别符，且其中所述SEI NAL单元的时间识别符等于含有所述SEI NAL单元的存取单元的时间识别符；以及

用于部分地基于所述非嵌套式SEI消息中的一或多个语法元素来处理所述非嵌套式SEI消息所适用的所述位流的所述层的视频数据的装置。

17.根据权利要求16所述的视频处理装置，其中：

所述SEI NAL单元包含NAL单元标头及有效负载，

所述第一语法元素指定所述SEI NAL单元的所述层识别符，

所述第二语法元素指定所述SEI NAL单元的所述时间识别符，且

所述SEI NAL单元的所述有效负载包含所述非嵌套式SEI消息。

18.一种电脑可读存储媒体，其具有存储于其上的指令，所述指令在执行时配置视频处理装置以：

19.根据权利要求18所述的电脑可读存储媒体，其中：

所述SEI NAL单元包含NAL单元标头及有效负载，

所述第一语法元素指定所述SEI NAL单元的所述层识别符，

所述第二语法元素指定所述SEI NAL单元的所述时间识别符，且

所述SEI NAL单元的所述有效负载包含所述非嵌套式SEI消息。