CN104885460B - 在视频译码中具有时间可扩缩性支持的逐渐解码刷新 - Google Patents

Abstract

本发明提供一种解码视频数据的实例方法，其包含：在与图片相关联的消息中接收指示所述图片的经刷新区域的信息、确定所述图片是否包括逐渐解码器刷新GDR集合中的最后图片、确定所述图片是否包括恢复点图片，和响应于确定所述图片包括所述GDR集合中的所述最后图片和所述恢复点图片，确定所述消息指示所述整个图片属于所述图片的所述经刷新区域。

Description

在视频译码中具有时间可扩缩性支持的逐渐解码刷新

本申请案主张2013年1月7日申请的美国临时申请案第61/749,880号的权利，所述临时申请案的全部内容是以引用方式并入本文中。

技术领域

本发明是关于视频译码，且更特定来说，是关于用于根据逐渐解码刷新(GDR)来译码视频的技术。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(personal digital assistant，PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓“智能电话(smart phone)”、视频电传会议装置、视频串流装置，和其类似者。数字视频装置实施视频压缩技术，例如，以下各者中描述的视频压缩技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分的高级视频译码(Advanced Video Coding，AVC)定义的标准；目前在开发中的高效率视频译码(HighEfficiency Video Coding，HEVC)标准；和此等标准的延伸。视频装置可通过实施此等视频压缩技术而较有效率地发射、接收、编码、译码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测，以减少或移除为视频序列所固有的冗余。对于以块为基础的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成视频块，其也可被称作树状结构块(treeblock)、译码单元(coding unit，CU)和/或译码节点(coding node)。图片的经帧内译码(I)切片中的视频块是使用关于同一图片中的相邻块中的参考样本的空间预测予以编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测，或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间预测或时间预测引起用于待译码块的预测性块。残差数据表示原始待译码块与预测性块的间的像素差。根据指向形成预测性块的参考样本块的运动向量以及指示经译码块与预测性块的间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码经帧内译码块。出于进一步压缩起见，可将残差数据从像素域变换到变换域，从而引起残差变换系数，其接着可被量化。可扫描最初以二维数组布置的经量化变换系数以便产生一维变换系数向量，且可应用熵译码以达成更多压缩。

发明内容

大体上，本发明描述用于译码时间可扩缩视频位流而同时支持逐渐解码刷新(GDR)操作的技术。

在一个实例中，一种译码视频数据的方法包含：从经编码视频位流接收多个图片；从所述经编码视频位流接收与所述多个图片中的第一图片相关联的消息中的信息，所述信息指示逐渐解码器刷新(GDR)集合的恢复点图片的图片次序计数(POC)值；当按解码次序在所述第一图片之后的图片所具有的所述POC值等于所述恢复点图片的POC值时将所具有的所述POC值等于所述恢复点图片的所述POC值的所述图片识别为恢复点图片；和当在所述第一图片之后的所述图片中没有任何图片所具有的所述POC值等于所述恢复点图片的所述POC值时将所述图片中所具有的POC值大于所述恢复点图片的所述POC值的一个图片识别为所述恢复点图片。

在另一实例中，一种用于解码视频数据的装置包含：存储器，其经配置以存储经编码视频数据；和视频解码器。在此实例中，所述视频解码器经配置以：接收所述经编码视频数据的多个图片；在与所述多个图片中的第一图片相关联的消息中接收指示逐渐解码器刷新(GDR)集合的恢复点图片的POC值的信息；当按解码次序在所述第一图片之后的图片所具有的所述POC值等于所述恢复点图片的POC值时将所具有的所述POC值等于所述恢复点图片的所述POC值的所述图片识别为恢复点图片；和当在所述第一图片之后的所述图片中没有任何图片所具有的所述POC值等于所述恢复点图片的所述POC值时将所述图片中所具有的POC值大于所述恢复点图片的所述POC值的一个图片识别为所述恢复点图片。

在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使计算装置的处理器：从经编码视频位流接收多个图片；从所述经编码视频位流接收与所述多个图片中的第一图片相关联的消息中的信息，所述信息指示逐渐解码器刷新(GDR)集合的恢复点图片的POC值；当按解码次序在所述第一图片之后的图片所具有的所述POC值等于所述恢复点图片的POC值时将所具有的所述POC值等于所述恢复点图片的所述POC值的所述图片识别为恢复点图片；和当在所述第一图片之后的所述图片中没有任何图片所具有的所述POC值等于所述恢复点图片的所述POC值时将所述图片中所具有的POC值大于所述恢复点图片的所述POC值的一个图片识别为所述恢复点图片。

在另一实例中，一种用于解码视频数据的装置包含：用于从经编码视频位流接收多个图片的装置；用于从所述经编码视频位流接收与所述多个图片中的第一图片相关联的消息中的信息的装置，所述信息指示逐渐解码器刷新(GDR)集合的恢复点图片的POC值；用于当按解码次序在所述第一图片之后的图片所具有的所述POC值等于所述恢复点图片的POC值时将所具有的所述POC值等于所述恢复点图片的所述POC值的所述图片识别为恢复点图片的装置；和用于当在所述第一图片之后的所述图片中没有任何图片所具有的所述POC值等于所述恢复点图片的所述POC值时将所述图片中所具有的POC值大于所述恢复点图片的所述POC值的一个图片识别为所述恢复点图片的装置。

在另一实例中，一种译码视频数据的方法包含：从经编码视频位流接收与图片相关联的消息，所述消息包括指示所述图片的经刷新区域的信息；确定所述图片是否包括逐渐解码器刷新(GDR)集合中的最后图片；确定所述图片是否包括恢复点图片；响应于确定所述图片包括所述GDR集合中的所述最后图片和所述恢复点图片而确定所述消息指示出所述整个图片属于所述图片的所述经刷新区域；和基于所述消息指示出所述整个图片属于所述图片的所述经刷新区域的所述确定而解码所述图片。

在另一实例中，一种用于解码视频数据的装置包含：存储器，其经配置以存储经编码视频数据；和视频译码器。在此实例中，所述视频译码器经配置以：从经编码视频位流接收与所述经编码视频数据的图片相关联的消息，所述消息包括指示所述图片的经刷新区域的信息；确定所述图片是否包括逐渐解码器刷新(GDR)集合中的最后图片；确定所述图片是否包括恢复点图片；响应于确定所述图片包括所述GDR集合中的所述最后图片和所述恢复点图片而确定所述消息指示出所述整个图片属于所述图片的所述经刷新区域；和基于所述消息指示出所述整个图片属于所述图片的所述经刷新区域的所述确定而解码所述图片。

在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使计算装置的处理器：从经编码视频位流接收与图片相关联的消息，所述消息包括指示所述图片的经刷新区域的信息；确定所述图片是否包括逐渐解码器刷新(GDR)集合中的最后图片；确定所述图片是否包括恢复点图片；响应于确定所述图片包括所述GDR集合中的所述最后图片和所述恢复点图片而确定所述消息指示出所述整个图片属于所述图片的所述经刷新区域；和基于所述消息指示出所述整个图片属于所述图片的所述经刷新区域的所述确定而解码所述图片。

在另一实例中，一种用于解码视频数据的装置包含：用于从经编码视频位流接收与图片相关联的消息的装置，所述消息包括指示所述图片的经刷新区域的信息；用于确定所述图片是否包括逐渐解码器刷新(GDR)集合中的最后图片的装置；用于确定所述图片是否包括恢复点图片的装置；用于响应于确定所述图片包括所述GDR集合中的所述最后图片和所述恢复点图片而确定所述消息指示出所述整个图片属于所述图片的所述经刷新区域的装置；和用于基于所述消息指示出所述整个图片属于所述图片的所述经刷新区域的所述确定而解码所述图片的装置。

一或多项实例的细节被陈述于随附图式和以下描述中。其它特征、目标和优势将从所述描述和所述图式以及从权利要求书显而易见。

附图说明

图1为说明可实施本发明所描述的一或多种技术的实例视频编码和译码系统的框图。

图2为说明可实施本发明所描述的一或多种技术的实例视频编码器的框图。

图3为说明可实施本发明所描述的一或多种技术的实例视频解码器的框图。

图4为根据本发明的一或多个方面的说明包含恢复点图片的实例逐渐译码刷新(GDR)集合的概念图。

图5为根据本发明的一或多个方面的说明已归因于时间扩缩而被移除恢复点图片的实例逐渐译码刷新(GDR)集合的概念图。

图6为根据本发明的一或多个方面的说明可由视频解码器和/或其组件执行以译码经编码视频数据的实例过程的流程图。

图7为根据本发明的一或多个方面的说明可由视频解码器和/或其组件执行以译码经编码视频数据的实例过程的流程图。

具体实施方式

大体上，本发明的技术是有关于使用逐渐译码刷新(GDR)来译码视频数据，同时支持经译码视频数据的时间可扩缩性。根据本发明的各种实例，视频译码装置可使用由AVC标准和HEVC标准两者所支持的补充增强信息(supplemental enhancement information，SEI)机制提供的消息，以支持GDR操作，同时也支持时间可扩缩性。以此方式，本发明的技术可使视频译码装置能够充分利用现有硬件、软件和通信基础结构，同时增强以GDR为基础的译码以支持时间可扩缩性。

被称作“HEVC工作草案10”或“WD10”的HEVC标准的最近草案被描述于Bross等人的名为“高效率视频译码(HEVC)文本规范草案10(用于FDIS和最后呼叫)(High efficiencyvideo coding(HEVC)text specification draft 10(for FDIS&Last Call))”的文件JCTVC-L1003v34(2013年1月14日到23日，瑞士日内瓦，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)，第12次会议)中，从2013年6月6日起，所述文件可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/ JCTVC-L1003-v34.zip下载而得。WD10的全部内部特此以引用方式并入。AVC(ITU-T)H.264标准被描述于ITU-T研究团体的且日期为2005年3月的ITU-T建议H.264的“用于一般视听服务的高级视频译码(Advanced Video Coding for generic audiovisual services)”中，其在本文中可被称作H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的延伸。

HEVC的另一最近工作草案(WD)(且在下文中被称作HEVC WD9)可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCT-VC-K1003-v8.zip。HEVC WD9的全部内容(2012年10月10日到19日，中国上海，第11次会议，BROSS等人的名为“高效率视频译码(HEVC)文本规范草案9(High efficiency video coding(HEVC)text specification draft 9)”的文件JCTVC-K1003_v7，第290页)是以引用方式并入本文中。

HEVC WD9描述用以支持使用GDR的视频数据译码的译码操作。GDR可使装置能够译码图片集合，例如，按解码次序布置的图片序列或系列。此图片序列在本文中被称作“GDR图片集合”或“GDR集合”。在周游整个GDR集合后(例如，在到达GDR集合的末端后)，视频译码装置即可随机地存取按解码次序在所述集合之后的一或多个经编码图片。在各种实例中，视频译码装置可正确地或准确地译码GDR集合的最后图片的全部。在此等实例中，GDR集合的第一图片可表示“GDR图片”，且GDR集合中的最后图片可表示“恢复点图片”。恢复点图片又可表示整个图片包含于“经刷新”或“前景”区域中的图片。因此，所述图片遍和GDR集合中的图片系列被逐渐地刷新，直到在恢复点图片处完全地刷新所述图片为止。视频译码装置可使用特定SEI消息(例如，“恢复点”SEI消息和/或“区域刷新信息”SEI消息)来确定GDR集合的界限，以及关于GDR集合的其它信息。

另外，HEVC标准和AVC标准两者支持视频位流的时间可扩缩性。时间可扩缩性可使视频译码装置能够确定可从经编码视频数据的完整位流提取经编码视频数据子集。根据时间可扩缩性而从完整位流提取的此经编码视频数据子集(例如，经编码图片)可被称作“时间子集(temporal subset)”。又，如由AVC标准和HEVC标准支持的时间可扩缩性可使视频译码装置能够确定来自完整位流的多个时间子集，使得各种时间子集包含变化数目个经编码图片。较低或“较粗略(coarser)”时间子集可包含来自完整位流的较少数目个经编码图片，且可表示较低图片速率或帧速率。相反地，较高或“较精细(finer)”时间子集可包含来自完整位流的较大数目个经编码图片，且可表示较高图片速率或帧速率。

经配置以将以GDR为基础的译码的现有实施应用于时间可扩缩位流的视频译码装置可遭遇或呈现关于GDR集合的一或多个潜在不准确度。举例来说，根据GDR的现有实施，包含于恢复点SEI消息中的语法元素可指示按译码次序在GDR图片之后的连续经编码图片的数目，所述连续经编码图片形成GDR集合。因此，在由编码器用信号通知时间子集的例子中，如由恢复点SEI消息的语法元素指示的GDR集合中的连续经编码图片的数目可不准确。举例来说，因为时间子集相比于完整位流或其它较高时间层表示较小数目个经编码图片，所以原始GDR集合的一或多个经编码图片可不在实际上由解码器接收的时间子集中。时间子集可(例如)由接收完整时间集合的中间网络组件提取。中间网络组件接着将经提取时间子集提供到包含解码器的订户端装置。作为另一实例，服务器可提取时间子集或存储多个时间子集以供递送到包含解码器的订户端装置。

指示GDR集合中的图片的数目的语法元素可不经动态地再新以反映经提取时间子集的对应GDR集合中的经编码图片的减少数目。因此，形成用于较高时间层的GDR集合的连续经编码图片的数目与从其提取的较低时间层的对应GDR集合中的连续经编码图片的数目的间可存在失配。举例来说，由恢复点SEI消息指示的恢复点图片可能已在构成较低时间层的时间子集的提取期间被舍弃。在此实例中，所指示的恢复点图片可关于构成由解码器接收的经用信号通知的经编码视频位流的较低时间层“不存在”。结果，归因于在时间子位流提取的状况下的GDR集合中的一或多个图片的不存在，GDR操作可不在解码器侧上适当地起作用。

为了减轻或潜在地消除关于时间可扩缩位流的以GDR为基础的译码的此等不准确度，本发明的技术可使视频译码装置能够识别恢复点图片，而不管恢复点SEI消息中指示的恢复点图片是否存在于实际上由解码器接收的经编码视频位流中。举例来说，视频解码装置可确定经编码视频位流是否包含具有恢复点图片的POC值的经编码图片，其中POC值是在包含于所述位流中的恢复点SEI消息中被指示。如果视频译码装置检测位流中具有恢复点SEI消息中指示的POC值的经编码图片，则视频译码装置可将经检测图片识别为恢复点图片。另外，在此实例中，视频译码装置可确定经识别恢复点图片也形成GDR集合的最后图片。

另一方面，如果实施本文所描述的技术的视频译码装置未检测经接收位流中具有恢复点SEI消息中指示的POC值(即，恢复点图片的POC值)的图片，则视频译码装置可将由解码器接收的所具有的POC值大于恢复点SEI消息中指示的POC值的图片识别为恢复点图片。举例来说，视频译码装置可将恢复点图片识别为位流的按解码次序的第一图片，其所具有的POC值大于恢复点SEI消息中指示的POC值。另外，在此情境中，视频译码装置可将位流中接收且紧接地在经识别恢复点图片之前的图片识别为GDR集合中的最后图片。举例来说，位流的紧接地在经识别恢复点图片之前的图片可为所具有的POC值小于且最接近于经识别恢复点图片的POC值的图片。

换句话说，在此情境中，视频译码装置可将两个不同图片识别为GDR集合中的最后图片和恢复点图片。举例来说，在此情境中，GDR集合中的最后图片和恢复点图片可为包含于经编码视频位流中的按解码次序的两个连续图片。以此方式，本发明的一或多种技术可使视频译码装置能够根据GDR来解码经接收图片集合，同时也支持时间可扩缩视频位流。举例来说，通过将恢复点图片识别为按解码次序在经最初识别图片之后的图片，视频译码装置可选择被完全地刷新的图片，此是因为所述选定图片位于经最初产生位流的经完全刷新图片之后。

图1为说明可利用本发明所描述的技术的实例视频编码和译码系统10的框图。如图1所展示，系统10包含来源装置12，来源装置12产生待在稍后时间由目的地装置14解码的经编码视频数据。来源装置12和目的地装置14可包括广泛范围的装置中任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓“智能”电话的电话手机、所谓“智能”键台、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台，视频串流装置，或其类似者。在一些状况下，来源装置12和目的地装置14可经装备用于无线通信。

目的地装置14可经由链路16而接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从来源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括用以使来源装置12能够将经编码视频数据直接地实时发射到目的地装置14的通信媒体。经编码视频数据是可根据通信标准(例如，无线通信协议)予以调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(radiofrequency，RF)频谱或一或多个物理发射线。通信媒体可形成以封包为基础的网络(例如，局域网、广域网，或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站，或可有用于促进从来源装置12到目的地装置14的通信的任何其它设备。

替代地，可将经编码数据从输出接口22输出到存储装置31。相似地，可由输入接口从存储装置31存取经编码数据。存储装置31可包含多种分布式或本机存取式数据存储媒体中任一者，例如，硬盘、蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在一另外实例中，存储装置31可对应于可保持由来源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由串流或下载而从存储装置31存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将彼经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(networkattached storage，NAS)装置或本机磁盘。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线频道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等等)或两者的组合。经编码视频数据从存储装置31的发射可为串流发射、下载发射或两者的组合。

本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中任一者，例如，空中电视广播、有线电视发射、卫星电视发射、串流视频发射(例如，经由因特网)、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射来支持例如视频串流、视频播放、视频广播和/或视频电话的应用。

在图1的实例中，来源装置12包含视频来源18、视频编码器20和输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在来源装置12中，视频来源18可包含例如以下各者的来源：视频俘获装置，例如，视频摄影机；含有经先前俘获视频的视频存档；用以从视频内容提供商接收视频的视频馈送接口；和/或用于产生计算机图形数据作为来源视频的计算机图形系统；或此等来源的组合。作为一个实例，如果视频来源18为视频摄影机，则来源装置12和目的地装置14可形成所谓摄影机电话或视频电话。然而，本发明所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20编码经俘获、经预俘获或经计算机产生视频。可经由来源装置12的输出接口22将经编码视频数据直接地发射到目的地装置14。也(或替代地)可将经编码视频数据存储到存储装置31上以供目的地装置14或其它装置稍后存取，以用于解码和/或播放。

目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些状况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16而接收经编码视频数据。经由链路16而传达或在存储装置31上提供的经编码视频数据可包含由视频编码器20产生以供视频解码器(例如，视频解码器30)用来解码所述视频数据的多种语法元素。此等语法元素可与在通信媒体上发射、存储于存储媒体上或存储于文件服务器上的经编码视频数据一起被包含。

显示装置32可与目的地装置14集成，或在目的地装置14外部。在一些实例中，目的地装置14可包含集成式显示装置，且也经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经译码视频数据，且可包括多种显示装置中任一者，例如，液晶显示器(liquid crystal display，LCD)、电浆显示器(plasma display)、有机发光二极管(organic light emitting diode，OLED)显示器，或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如，目前在开发中的高效率视频译码(HEVC)标准)而操作，且可符合HEVC测试模型(HEVC Test Model，HM)。替代地，视频编码器20和视频解码器30可根据其它专属或工业标准(例如，ITU-T H.264标准，替代地被称作MPEG-4第10部分的高级视频译码(AVC))或此等标准的延伸而操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。

尽管图1中未图示，但在一些方面中，视频编码器20和视频解码器30各自可与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处理共同数据串流或分离数据串流中的音频和视频两者的编码。在适用时，在一些实例中，MUX-DEMUX单元可符合ITU H.223多任务器协议，或例如用户数据报协议(user datagram protocol，UDP)的其它协议。

视频编码器20和视频解码器30各自可被实施为多种合适编码器电路系统中任一者，例如，一或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门数组(fieldprogrammable gate array，FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件来实施所述技术时，一装置可将用于所述软件的指令存储于合适非时间性计算机可读媒体中，且使用一或多个处理器而以硬件来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中每一者可包含于一或多个编码器或解码器中，所述一或多个编码器或解码器中任一者可被集成为各别装置中的组合式编码器/解码器(CODEC)的部分。

JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型，其被称作HEVC测试模型(HM)。HM推测视频译码装置相对于根据(例如)ITU-T H.264/AVC的现有装置的若干额外能力。举例来说，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。

一般来说，HM的工作模型描述出视频帧或图片可被划分成包含明度样本和色度样本两者的树状结构块或最大译码单元(largest coding unit，LCU)序列。树状结构块具有与H.264标准的宏块相似的目的。切片包含按译码次序的数个连续树状结构块。视频帧或图片可被分割成一或多个切片。每一树状结构块可根据四元树状结构而被分裂成若干译码单元(CU)。举例来说，作为四元树状结构的根节点，树状结构块可被分裂成四个子节点，且每一子节点又可为一父节点且被分裂成另外四个子节点。作为四元树状结构的叶节点，最终未分裂的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树状结构块可被分裂的最大次数，且也可定义译码节点的最小大小。

CU可包含一明度译码块和两个色度译码块。CU可具有关联预测单元(predictionunit，PU)和变换单元(transform unit，TU)。所述PU中每一者可包含一个明度预测块和两个色度预测块，且所述TU中每一者可包含一个明度变换块和两个色度变换块。所述译码块中每一者可被分割成包括被应用相同预测的样本块的一或多个预测块。所述译码块中每一者也可被分割成包括被应用相同变换的样本块的一或多个变换块。

CU的大小通常对应于译码节点的大小，且通常为正方形形状。CU的大小的范围可为8×8像素直到具有64×64像素或更大的最大值的树状结构块的大小。每一CU可定义一或多个PU和一或多个TU。包含于CU中的语法数据可描述(例如)译码块成为一或多个预测块的分割。分割模式可视CU被跳过或直接模式编码、被帧内预测模式编码抑或被帧间预测模式编码而不同。预测块可被分割为正方形或非正方形形状。包含于CU中的语法数据也可描述(例如)根据四元树状结构进行的译码块成为一或多个变换块的分割。变换块可被分割为正方形或非正方形形状。

HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。TU通常是基于针对经分割LCU所定义的给定CU内的PU的大小而被设定大小，但可能并非总是此状况。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用被称为“残差四元树状结构”(residualquad tree，RQT)的四元树状结构将对应于CU的残差样本再分成较小单元。RQT的叶节点可表示TU。可变换与TU相关联的像素差值以产生变换系数，其可被量化。

一般来说，PU包含与预测过程相关的数据。举例来说，当PU被帧内模式编码时，PU可包含描述用于PU的帧内预测模式的数据。作为另一实例，当PU被帧间模式编码时，PU可包含定义用于PU的运动向量的数据。定义用于PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、用于运动向量的分辨率(例如，四分的一像素精确度或八分的一像素精确度)、运动向量所指向的参考图片，和/或用于运动向量的参考图片列表(例如，列表0、列表1或列表C)。

一般来说，TU用于变换过程和量化过程。具有一或多个PU的给定CU也可包含一或多个TU。在预测之后，视频编码器20可根据PU而从由译码节点识别的视频块计算残差值。接着再新译码节点以参考残差值而非原始视频块。残差值包括可被变换成变换系数、被量化且使用所述变换和TU中指定的其它变换信息被扫描以产生用于熵译码的串行化变换系数的像素差值。可再次再新译码节点以参考此等串行化变换系数。本发明通常使用术语“视频块”以是指CU的译码节点。在一些特定状况下，本发明也可使用术语“视频块”以是指树状结构块，即，LCU或CU，其包含译码节点以及PU和TU。

视频序列通常包含视频帧或图片系列。图片群组(group of picture，GOP)通常包括所述视频图片中的一或多者的系列。GOP可在所述GOP的标头中、在所述图片中的一或多者的标头中或在别处包含描述包含于所述GOP中的图片的数目的语法数据。图片的每一切片可包含描述用于各别切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化大小，且其大小可根据指定译码标准而不同。

作为一实例，HM支持以各种PU大小的预测。假定到特定CU的大小为2N×2N，则HM支持以2N×2N或N×N的PU大小的帧内预测，和以2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM也支持用于以2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一方向被分割成25％和75％。CU的对应于25％分割区的部分是通过“n”接着为“上”、“下”、“左”或“右”的指示而指示。因此，举例来说，“2N×nU”是指被水平地分割的2N×2N CU，其中2N×0.5N PU是在顶部且2N×1.5N PU是在底部。

在本发明中，“N×N”和“N乘N”可互换式地用以是指视频块在垂直维度和水平维度方面的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)且在水平方向中具有16个像素(x＝16)。同样地，N×N块通常在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按列和行布置。此外，块未必需要在水平方向中与在垂直方向中具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算被应用由CU的TU指定的变换的残差数据。残差数据可对应于未经编码图片的像素与对应于CU的预测值的间的像素差。视频编码器20可形成用于CU的残差数据，且接着变换所述残差数据以产生变换系数。

在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化通常是指如下过程：量化变换系数以可能地减少用以表示所述系数的数据的量，从而提供进一步压缩。量化过程可减少与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值舍去到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序以扫描经量化变换系数，以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可熵编码所述一维向量，例如，根据上下文自适应性可变长度译码(context adaptive variable length coding，CAVLC)、上下文自适应性二进制算术译码(context adaptive binary arithmetic coding，CABAC)、以语法为基础的上下文自适应性二进制算术译码(syntax-based context-adaptive binaryarithmetic coding，SBAC)、概率区间分割熵(Probability Interval PartitioningEntropy，PIPE)译码，或另一熵编码方法。视频编码器20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用来解码所述视频数据。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派到待发射符号。所述上下文可关于(例如)所述符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射符号来选择可变长度码。可将VLC中的码字建构成使得相对较短码对应于较可能符号，而较长码对应于较不可能符号。以此方式，使用VLC相比于(例如)针对每一待发射符号来使用等长度码字可达成位节省。机率确定可基于指派到符号的上下文。

视频编码器20和视频解码器30中的一者或两者可实施本发明的技术以根据逐渐解码刷新(GDR)来译码视频数据，同时支持时间可扩缩位流。视频编码器20可经配置以或可以其它方式操作以编码图片系列或序列以形成GDR集合。举例来说，视频编码器20和/或视频解码器30可确定GDR集合的每一图片是经由所述图片的各别部分的帧内译码而被逐渐地刷新。随着遍和形成GDR集合的图片系列连续地帧内刷新不同部分，可完全地刷新GDR集合的最后图片(和一或多个后续图片)。又，作为经编码视频位流的部分，视频编码器20可将GDR集合用信号通知到视频解码器30。

视频编码器20和视频解码器30中的一者或两者可将GDR集合识别为从第一GDR图片开始且包含按解码次序在第一GDR图片之后的一或多个图片的图片序列。另外，为了识别GDR集合，视频编码器20和/或视频解码器30可将GDR图片识别为与恢复点SEI消息相关联的图片。举例来说，视频编码器20可产生恢复点SEI消息以包含“recovery_poc_cnt”语法元素。视频编码器20可产生recovery_poc_cnt语法元素以具有指示第一GDR图片的POC值和与同一GDR集合相关联的恢复点图片的POC值的间的差或差量的值。恢复点图片通常将为由视频编码器20预备的原始GDR集合中的最后图片。

视频编码器20也可根据GDR来产生和用信号通知包含关于GDR集合中的图片的经刷新区域和未经刷新区域的信息的区域刷新信息SEI消息。举例来说，视频编码器20可用信号通知关于GDR集合的每一经编码图片的区域刷新信息SEI消息。又，视频解码器30可译码每一区域刷新信息SEI消息以确定对应图片的经刷新区域。举例来说，视频编码器20可在对应于GDR集合的每一图片的AU中用信号通知各别区域刷新信息SEI消息。在各种实例中，视频解码器30可译码对应于GDR集合中的最后图片的区域刷新信息SEI消息以确定整个图片对应于经刷新区域。换句话说，在此等实例中，视频解码器30可基于解码在与由视频编码器20使用的图片相同的AU中用信号通知的区域刷新信息SEI消息而确定GDR集合中的最后图片被“完全地刷新”。下文在表1中说明如HEVC工作草案(例如，“WD9”)中支持的SEI消息的概观。

表1.SEI消息的概观

下文在语法表1中说明如HEVC WD9中支持的用于恢复点SEI消息的语法和语义。

语法表1

下文在语法表2中说明如HEVC WD9中支持的用于区域刷新SEI消息的语法和语义。

语法表2

视频解码器30可基于检测经接收的经编码视频位流中的恢复点SEI消息而检测GDR集合的开始。另外，视频解码器30可将与恢复点SEI消息相关联的经编码图片识别为第一GDR图片。举例来说，恢复点SEI消息可由于包含于与特定图片相同的存取单元(AU)中而与所述图片相关联。又，视频解码器30可将recovery_poc_cnt语法元素的值应用于GDR图片的POC值，以确定恢复点图片的POC值。在通过应用经导出POC值而检测恢复点图片后，视频解码器30即可确定恢复点图片为经完全刷新图片，且确定恢复点图片以及按解码次序在恢复点图片之后的一或多个图片可被正确地或大致正确地解码(例如，帧内解码)。

另外，视频解码器30可解码在位流中用信号通知的一或多个区域刷新信息SEI消息，以获得关于GDR集合中的图片的经刷新区域和未经刷新区域的信息。举例来说，视频解码器30可译码关于GDR集合中的每一图片的分离区域刷新信息SEI消息。作为一实例，视频解码器30可解码包含于包含GDR集合的对应图片的每一AU中的各别区域刷新信息SEI消息。又，视频解码器30可基于根据解码对应于特定图片的区域刷新信息SEI消息所获得的数据而确定特定图片的经刷新区域(和/或相反地，未经刷新区域)。在解码指示出关联图片的全部对应于经刷新区域的区域刷新信息SEI消息后，视频解码器30即可确定关联图片被完全地刷新。举例来说，视频解码器30可确定经完全刷新图片形成GDR集合中的最后图片。基于确定图片为GDR集合中的最后图片，且藉此确定所述图片被完全地刷新，视频解码器30可确定GDR集合中的最后图片以及按译码次序在GDR集合中的最后图片之后的一或多个图片可被正确地或大致正确地解码(例如，帧内解码)。通常，视频解码器30确定由恢复点SEI消息识别的恢复点图片是与同GDR集合中的最后图片相同，如由指示经完全刷新状态的对应区域刷新信息SEI消息所识别。

另外，根据HEVC WD9，视频编码器20和视频解码器30中的一者或两者可支持经编码视频位流的时间可扩缩性。举例来说，视频编码器20和视频解码器30可支持由不同经编码视频位流提供的变化图片速率(或“帧速率”)。举例来说，视频编码器20可用信号通知表示较高时间层的完整经编码视频位流。为了支持低于完整经编码视频位流的时间图片速率，视频解码器30或位于视频编码器20与视频解码器30的间的中间装置(例如，中间网络组件或服务器)可提取完整经编码视频位流的时间子集。在一特定实例中，中间装置可提取包含于完整经编码视频位流中的经编码图片子集，且将经提取子集转送到视频解码器30。换句话说，实际上在视频解码器30处接收的经编码图片子集可包含最初由视频编码器20产生的完整经编码视频位流，或在时间扩缩的状况下，相比于最初由视频编码器20产生的完整经编码视频位流包含至少一较少经编码图片。由视频解码器30接收以支持较低图片速率的经编码图片子集在本文中被称作“时间子集”或“子位流”。

视频解码器30可根据经由经编码视频位流的时间可扩缩性而提供的不同图片速率来接收不同时间子集。在一个实例中，视频解码器30可通过接收和解码最初由视频编码器20用信号通知的完整经编码视频位流的第一时间子集而支持低图片速率。根据此实例，视频解码器30可通过接收和解码第二时间子集而支持中间图片速率，所述第二时间子集相比于第一时间子集包含至少一较多经编码图片，但相比于完整经编码视频位流包含至少一较少经编码图片。在此实例中，视频解码器30可通过接收和解码最初由视频编码器20用信号通知的完整经编码视频位流的全部(例如，经编码图片的完整集合)而支持最高可能图片速率。

然而，在视频解码器30根据HEVC WD9来接收GDR集合作为时间子集的部分的一些例子中，恢复点图片可能已在时间子集的提取期间被舍弃，且未发射到解码器，使得来自经最初编码位流的实际恢复点图片可不存在于由视频解码器30接收的经编码视频位流中。结果，在此等实例中，视频解码器30可不能够通过应用包含于恢复点SEI消息中的recovery_poc_cnt语法元素的值而定位恢复点图片。换句话说，视频解码器30可不能够识别GDR集合的末端处的根据GDR被完全地刷新的图片。结果，在解码器30处的GDR操作可不适当地起作用。

为了减轻或消除上文关于经时间扩缩GDR集合所描述的潜在不准确度，视频解码器30可实施本发明的一或多种技术。在本文所描述的技术的一些实施中，视频解码器30可确定恢复点图片(如由恢复点SEI消息中的recovery_poc_cnt语法元素所识别)是否包含于经接收的经编码视频位流中。如果视频解码器30基于从recovery_poc_cnt语法元素的值计算POC值而确定恢复点图片包含于经编码视频位流中，则视频解码器30可将此图片识别为恢复点图片。此后，解码器30可使用恢复点图片和后续图片作为经完全刷新图片。举例来说，视频解码器30可通过执行随机存取来解码恢复点图片和按解码次序的一或多个后续图片。另外，在此例子中，视频解码器30也可将恢复点图片识别为GDR集合中的最后图片。GDR集合中的最后图片(如由视频解码器30所识别)可在本文中被称作由“lastPicInSet”表示的变数。在lastPicInSet为恢复点SEI消息中识别的恢复点图片的实例中，视频解码器30可确定lastPicInSet是根据GDR被完全地刷新。

另一方面，如果视频解码器30不能够定位具有从recovery_poc_cnt语法元素的值导出的POC值的图片，则视频解码器30可实施本发明的一或多种技术以识别替代恢复点图片。在一些实例中，视频解码器30可将恢复点图片识别为按解码次序的第一图片，其具有大于从recovery_poc_cnt语法元素导出的POC值的POC值。举例来说，视频解码器可通过将recovery_poc_cnt语法元素的值加到第一GDR图片的POC值而导出经识别恢复点图片的POC值。另外，在此等实例中，视频解码器30可确定lastPicInSet为紧接地在经识别恢复点图片之前的图片。举例来说，lastPicInSet可为按解码次序的最后图片，其具有小于从recovery_poc_cnt语法元素导出的POC值的POC值，而恢复点可为按解码次序的第一图片，其具有大于从recovery_poc_cnt语法元素导出的POC值的POC值。因此，在由恢复点SEI消息识别的恢复点图片已在时间扩缩期间被舍弃的实例中，视频解码器30可实施本发明的技术以将按解码次序连续的两个分离图片分别识别为lastPicInSet和恢复点图片。

又，在此实例中，视频解码器30可执行关于按译码次序在GDR集合之后的一或多个图片的随机存取解码。因此，在一种状况下，如果具有恢复点图片的POC值的图片存在于由解码器30接收的位流中，则所述解码器选择彼图片作为恢复点图片和有关GDR集合的最后图片两者。在另一状况下，如果具有恢复点图片的POC值的图片不存在于由解码器30接收的位流中，则所述解码器选择一个图片作为恢复点图片且选择不同图片作为有关GDR集合的最后图片，如上文所论述。在此第二状况下，选定恢复点图片为经接收位流中按解码次序的第一图片，其具有大于从recovery_poc_cnt语法元素导出的POC值的POC值，且GDR集合中的选定最后图片为经接收位流中按解码次序的最后图片，其具有小于从recovery_poc_cnt语法元素导出的POC值的POC值，即，紧接地在选定恢复点图片之前的图片。另外，在此第二状况下，视频解码器30可选择由对应区域刷新信息SEI消息指示未被完全地刷新的图片(例如，包含经刷新区域和未经刷新区域两者的图片)作为GDR集合中的最后图片。

在一些实例中，视频解码器30可关于与GDR集合的lastPicInSet相关联的一或多个区域刷新SEI消息而实施本发明的技术。举例来说，如果视频解码器30确定lastPicInSet也为恢复点图片，则视频解码器30可确定对应于所述图片的区域刷新SEI消息指示出整个图片属于所述图片的经刷新区域。如上文所描述，在各种实例中，如果视频解码器30检测GDR集合中具有用于恢复点图片的POC值的图片，则视频解码器30可确定lastPicInSet也为恢复点图片，如由恢复点SEI消息所指示。

在一个此类实例中，视频解码器30可确定区域刷新SEI消息包含经设定到值1且与包含所述图片的AU的第一切片区段相关联的refreshed_region_flag语法元素。根据此实例，基于用于AU的第一切片区段的refreshed_region_flag语法元素经设定到1，视频解码器30可确定用于AU的剩余切片区段的refreshed_region_flag语法元素也经设定到值1。以此方式，视频解码器30可确定当lastPicInSet也为恢复点图片时，lastPicInSet为经完全刷新图片。

本文所描述的技术的潜在优势为：视频解码器30可支持用于经时间扩缩位流的GDR，同时无需变更现有硬件基础结构。另外，在一些实例中，本文所描述的技术不要求视频编码器20实施关于产生恢复点图片SEI消息抑或区域刷新SEI消息的任何变更。取而代的，视频解码器30可实施用以处理包含于恢复点SEI消息和/或区域刷新SEI消息中的信息以支持关于时间可扩缩位流的GDR的技术。换句话说，在一些实例中，本发明的技术可引入对恢复点SEI消息和/或区域刷新SEI消息的语义的变更，而不引入对此等SEI消息中任一者的语法的任何变更。

以此方式，目的地装置14可为用于解码视频数据的装置的实例，所述装置包括经配置以存储经编码视频数据的存储器，和视频解码器，即，视频解码器30。另外，根据上文所描述的技术，视频解码器30可为经配置以进行以下动作的视频解码器的实例：接收多个图片；在与多个图片中的第一图片相关联的消息中接收指示逐渐解码器刷新(GDR)集合的恢复点图片的POC值的信息；当按解码次序在第一图片之后的图片所具有的POC值等于恢复点图片的POC值时将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片；和当在第一图片之后的图片中没有任何图片所具有的POC值等于恢复点图片的POC值时将所述图片中所具有的POC值大于恢复点图片的POC值的一个图片识别为恢复点图片。

另外，在一些实例中，视频解码器30可经进一步配置以：响应于将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片而将所具有的POC值等于恢复点图片的POC值的图片识别为GDR集合的最后图片；和响应于将所具有的POC值大于恢复点图片的POC值的图片识别为恢复点图片而将所述图片中所具有的POC值小于恢复点图片的POC值的一个图片识别为GDR集合的最后图片。在一些实例中，所具有的POC值小于恢复点图片的POC值的图片的POC值大于第一图片的POC值。在一些实例中，消息包括补充增强信息(SEI)消息。在一个此类实例中，SEI消息包括恢复点SEI消息。

在一些实例中，指示恢复点图片的POC值的信息包括指示第一图片的POC值与恢复点图片的POC值的间的差的信息。在一些实例中，指示恢复点图片的POC值的信息包括恢复点图片的POC值。根据一些实例，视频译码器经进一步配置以根据GDR来译码GDR集合的一或多个图片。根据一个此类实例，视频译码器经进一步配置以执行关于经识别恢复点图片和按解码次序在经识别恢复点图片之后的一或多个图片的随机存取解码。

另外，根据上文所描述的技术，目的地装置可为用于解码视频数据的装置的实例，所述装置包含经配置以存储经编码视频数据的存储器，和视频译码器。在此等实例中，视频解码器30可为经配置以进行以下动作的视频译码器的实例：从经编码视频位流接收与经编码视频数据的图片相关联的消息，所述消息包含指示图片的经刷新区域的信息；确定图片是否包括逐渐解码器刷新(GDR)集合中的最后图片；确定图片是否包括恢复点图片；和响应于确定图片包括GDR集合中的最后图片和恢复点图片而确定消息指示出整个图片属于所述图片的经刷新区域。在一些实例中，消息包括补充增强信息(SEI)消息。在一个此类实例中，SEI消息包括区域刷新SEI消息。

在一些实例中，为了确定消息指示出整个图片属于所述图片的经刷新区域，视频译码器可经配置以确定与区域刷新SEI消息相关联的refreshed_region_flag语法元素具有值1。在一个此类实例中，refreshed_region_flag语法元素是与包含所述图片的存取单元(AU)的第一切片区段相关联，且为了确定整个图片属于经刷新区域，视频译码器经配置以确定不同于AU的第一切片区段的AU的每一切片区段是与对应refreshed_region_flag语法元素相关联。

图2为根据本发明的一或多个方面的说明可实施用于编码视频数据的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干以空间为基础的译码模式中任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干以时间为基础的译码模式中任一者。

如图2所展示，视频编码器20接收待编码视频帧内的当前视频块。在图2的实例中，视频编码器20包含预测处理单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元单元40又包含运动补偿单元44、运动估计单元42和帧内预测单元46，以及分割单元48。出于视频块重新建构起见，视频编码器20也包含反量化单元58、反变换单元60和求和器62。也可包含解块滤波器(图2中未图示)以滤波块边界以从经重新建构视频移除成块性伪影(blockiness artifact)。视需要，解块滤波器通常将滤波求和器62的输出。除了解块滤波器以外，也可使用额外滤波器(回路内或回路后)。出于简洁起见而未展示此等滤波器，但视需要，此等滤波器可滤波求和器62的输出(作为回路内滤波器)。

在编码过程期间，视频编码器20接收待译码视频帧或切片。所述帧或切片可由预测处理单元40划分成多个视频块。运动估计单元42和运动补偿单元44执行经接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地执行经接收视频块相对于与待译码块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以选择用于每一视频数据块的适当译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估而将视频数据块分割成子块。举例来说，分割单元48可最初将一帧或切片分割成若干LCU，且基于速率-失真分析(例如，速率-失真优化)而将所述LCU中每一者分割成若干子CU。预测处理单元40可进一步产生指示LCU成为子CU的分割的四元树状结构数据结构。四元树状结构的叶节点CU可包含一或多个PU和一或多个TU。

预测处理单元40可(例如)基于错误结果而选择所述译码模式中的一者(帧内或帧间)，且将所得经帧内译码块或经帧间译码块提供到求和器50以产生残差块数据并将所得经帧内译码块或经帧间译码块提供到求和器62以重新建构经编码块以用作参考帧。预测处理单元40也将例如运动向量、帧内模式指示符、分割信息和其它此类语法信息的语法元素提供到熵编码单元56。预测处理单元40可使用速率-失真分析来选择一或多个帧间模式。

运动估计单元42和运动补偿单元44可高度地集成，但出于概念目的而被分离地说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计用于视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块的位移，所述预测性块是相对于在所述当前帧(或其它经译码单元)内正被译码的当前块。预测性块为被发现在像素差方面接近地匹配于待译码块的块，所述像素差可由绝对差总和(sum of absolute difference，SAD)、平方差总和(sum of square difference，SSD)或其它差度量确定。在一些实例中，视频编码器20可计算用于存储于参考帧存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分的一像素位置、八分的一像素位置或其它分率像素位置的值。因此，运动估计单元42可执行关于完整像素位置和分率像素位置的运动搜寻，且以分率像素精确度来输出运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置而计算用于所述PU的运动向量。参考图片可选从第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中每一者识别存储于参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉和基于由运动估计单元42确定的运动向量而提取或产生预测性块。再次，在一些实例中，运动估计单元42和运动补偿单元44可功能上集成。在接收用于当前视频块的PU的运动向量后，运动补偿单元44即可在所述参考图片列表中的一者中定位运动向量所指向的预测性块。求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残差视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42执行关于明度译码块的运动估计，且运动补偿单元44针对色度译码块和明度译码块两者来使用基于明度译码块所计算的运动向量。预测处理单元40也可产生与视频块和视频切片相关联的语法元素以供视频解码器30用来解码视频切片的视频块。

作为由运动估计单元42和运动补偿单元44执行的帧间预测(如上文所描述)的替代例，帧内预测单元46可帧内预测当前块。详言的，帧内预测单元46可确定待用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可使用各种帧内预测模式(例如，在分离编码遍次期间)来编码当前块，且帧内预测单元46(或在一些实例中为预测处理单元40)可从经测试模式选择待使用的适当帧内预测模式。

举例来说，帧内预测单元46可使用针对各种经测试帧内预测模式的速率-失真分析而计算速率-失真值，且在所述经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常确定经编码块与经编码以产生所述经编码块的原始未经编码块的间的失真(或误差)的量，以及用以产生所述经编码块的位速率(即，位的数目)。帧内预测单元46可从用于各种经编码块的失真和速率计算比率以确定哪一帧内预测模式展现用于块的最佳速率-失真值。

在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在经发射位流配置数据中包含用于各种块的编码上下文的定义，和将用于所述上下文中每一者的最可能帧内预测模式、帧内预测模式索引表和经修改帧内预测模式索引表的指示，所述位流配置数据可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也被称作码字映射表)。

视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残差视频块。求和器50表示执行此减去运算的组件。变换处理单元52将例如离散余弦变换(discrete cosine transform，DCT)或概念上相似变换的变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上相似于DCT的其它变换。也可使用小波变换、整数变换、子频带变换，或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残差块，从而产生残差变换系数块。变换可将残差信息从像素值域转换到变换域，例如，频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减少与所述系数中的一些或全部相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中，量化单元54接着可执行包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56熵译码经量化变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、以语法为基础的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码，或另一熵译码技术。在以上下文为基础的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行的熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或进行封存以供稍后发射或检索。

反量化单元58和反变换单元60分别应用反量化和反变换以在像素域中重新建构残差块，例如，以供稍后用作参考块。运动补偿单元44可通过将残差块加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用于经重新建构残差块以计算供在运动估计中使用的次整数像素值。求和器62将经重新建构残差块加到由运动补偿单元44产生的运动补偿式预测块，以产生经重新建构视频块以供存储于参考帧存储器64中。经重新建构视频块可由运动估计单元42和运动补偿单元44用作参考块以帧间译码后续视频帧中的块。

视频编码器20的各种组件可经配置以实施本发明的技术中的一或多者以遵照GDR而编码视频数据，同时支持视频位流的时间可扩缩性。举例来说，视频编码器20可实施所述技术中的一或多者以产生和用信号通知一或多个补充增强信息(SEI)消息，使得SEI消息使接收装置(例如，视频解码器或其组件)能够识别GDR集合中的图片。举例来说，接收装置可使用包含于由视频编码器20产生的SEI消息中的数据以识别GDR集合中按译码次序为第一图片的GDR图片、GDR集合的按译码次序的最后图片，和恢复点图片。在一些实例中，接收装置中的解码器可确定GDR集合的最后图片(“lastPicInSet”)是与恢复点图片相同，而在其它实例中，接收装置中的解码器可确定lastPicInSet和恢复点图片为分离图片。在一个实例中，根据本发明的一或多个方面，预测处理单元40可经配置以产生恢复点SEI消息和/或区域刷新信息SEI消息。

视频编码器20可根据HEVC WD 9、HEVC WD10、AVC或其它视频译码标准而被配置有各种特征，以在经编码视频位流中包含后设数据。在各种实例中，视频编码器20可包含解码器不需要用以解码经用信号通知的经编码视频位流之后设数据。作为一些实例，视频编码器20可用信号通知使视频解码器能够确定图片输出时序、确定与一或多个图片相关联的显示信息、检测遗失信息且隐藏和/或修复经检测遗失之后设数据。

另外，视频编码器20可在经编码视频位流中用信号通知的特定存取单元(AU)中产生任何数目个SEI网络抽象层(network abstraction layer，NAL)单元。又，视频编码器20可在特定SEI NAL单元中包含任何数目个SEI消息。作为一实例，根据HEVC WD9，以上表1列出视频编码器20可产生的各种SEI消息，和所列出SEI消息的对应用途/目的。

视频编码器20可经配置以或可以其它方式操作以在经编码视频位流中产生和用信号通知GDR集合。以GDR为基础的编码可使接收装置能够从非帧内图片执行随机存取。另外，根据按照GDR而编码的视频数据，在按解码次序的一或多个图片之后，整个图片区域可在位流的一位置处(例如，在恢复点处)被正确地译码，且此后以显示/输出次序被正确地解码。GDR可提供随机可存取性和增强型错误恢复两者。

如关于图1所描述，举例来说，根据HEVC WD9，GDR集合可包含按解码次序的经编码图片序列。在一些实例中，GDR集合中的经编码图片序列也可根据输出次序布置。视频编码器20可用信号通知恢复点SEI消息以指示GDR集合的开始界限。如上文在语法表1中所说明，作为根据HEVC WD9的实例，视频编码器20可在恢复点SEI消息中包含例如recovery_poc_cnt、exact_match_flag和broken_link_flag的语法元素。根据HEVC WD9，视频编码器20可设定recovery_poc_cnt语法元素的值以表示GDR图片的POC计数与恢复点图片的POC计数的间的差。另外，视频编码器20可在与GDR图片相同的存取单元(AU)中用信号通知恢复点SEI消息。以此方式，视频编码器20可使接收装置能够识别GDR集合的开始界限(例如，第一GDR图片，其包含于与恢复点SEI消息相同的AU中)，和GDR集合的结束界限(例如，通过将recovery_poc_cnt语法元素的值加到GDR图片的POC值以识别恢复点图片)。以此方式，视频编码器20可使接收装置能够利用由GDR提供的一或多个潜在优势，例如，随机可存取性和增强型错误恢复。

另外，视频编码器20可用信号通知关于GDR集合的每一图片的区域刷新信息SEI消息。举例来说，视频编码器20可在包含GDR集合的图片的每一AU中包含一区域刷新信息SEI消息。视频编码器20可产生每一区域刷新信息SEI消息以包含指示对应图片的经刷新区域和/或未经刷新区域的数据。通过以此方式来用信号通知区域刷新信息SEI消息，视频编码器20可使接收装置能够确定根据GDR而刷新的图片的比例。举例来说，视频编码器20可在与区域刷新信息SEI消息所对应的图片相同的AU中用信号通知区域刷新信息SEI消息。通过以此方式来用信号通知区域刷新信息SEI消息，视频编码器20可使接收装置能够确定特定区域刷新信息SEI消息对应于GDR的哪一图片(在此实例中，包含于与区域刷新信息SEI消息相同的AU中的图片)。另外，接收装置可使用包含于由视频编码器20用信号通知的区域刷新信息SEI消息中的数据以识别对应图片的经刷新区域和/或未经刷新区域。

如所描述，视频编码器20和/或其组件可经配置以支持经编码视频位流的时间可扩缩性，例如，根据HEVC WD9。举例来说，视频编码器20可产生完整经编码视频位流，接收装置(例如，解码装置或中间装置)可从所述完整经编码视频位流提取子位流。举例来说，中间装置(例如，串流服务器或媒体感知网络组件(media-aware network element，“MANE”))可从包含于完整经编码视频位流中的经编码图片的完整集合提取经编码图片的时间子集，且将经提取子位流递送到具有视频解码器的订户端装置。在一些实例中，时间子集可表示包含于完整经编码视频位流中的经编码图片的完整集合的真实子集。根据此等实例，完整经编码视频位流可包含时间子集的每一经编码图片，和未包含于时间子集中的至少一额外经编码图片。

为了支持根据时间可扩缩性的各种图片速率，中间装置可经配置以从包含于完整经编码视频位流中的经编码图片的完整集合提取不同图片计数的时间子集。由中间装置提取的每一不同时间子集(例如，为了支持变化图片速率)可表示一可独立译码时间子集或子位流。换句话说，接收从完整经编码视频位流提取的经时间扩缩子位流的视频解码器可在没有任何额外数据(例如，包含于完整经编码视频位流中但不包含于子位流的信息)的情况下译码经编码图片的时间子集。

根据HEVC WD9，由视频编码器20产生的完整经编码视频位流可包含若干时间子层。另外，由视频编码器20产生的每一NAL单元可属于如由对应“TemporalId”值指示的特定子层。举例来说，视频编码器20可将NAL单元的TemporalId的值设定为等于对应“temporal_id_plus1”语法元素的值减1。另外，视频编码器20可确定单一图片的所有VCL NAL单元属于单一子层(即，同一子层)。换句话说，视频编码器20可编码图片，使得经编码图片从身属于对应于与经编码图片相关联的NAL单元的特定子层。

举例来说，根据HEVC WD9，视频编码器20可产生经编码视频位流，使得所述位流的较低子层的解码过程不取决于所述位流的较高子层中的数据。另外，中间装置可通过从完整位流移除与高于特定值的TemporalId值相关联的所有NAL单元而从完整位流产生子位流，完整位流符合HEVC WD9。又，以此方式而产生的子位流从身可表示符合HEVC WD9的位流。视频编码器20和/或其一或多个组件可确保对于完整经编码视频位流和对于其任何给定子层而满足针对关于HEVC WD9的位流一致性的所有条件(例如，缓冲器限定)。

如所描述，在时间扩缩完整经编码视频位流时，中间装置可从完整经编码视频位流提取经编码图片的时间子集。举例来说，时间子集可为完整经编码视频位流中用信号通知的经编码图片的真实子集，且因此，中间装置可从完整经编码位流移除一或多个经编码图片以产生子位流。在实例中，中间装置可舍弃由恢复点SEI消息的recovery_poc_cnt语法元素识别的恢复点图片。然而，在此等实例中，中间装置可未经配置成再新恢复点SEI消息中用信号通知的数据，以反映经最初指示恢复点消息的变更(即，移除)。换句话说，中间装置可潜在地用信号通知包含恢复点SEI消息但不包含对应恢复点图片的时间子集。又，通过传达包含恢复点SEI消息但不包含经识别恢复点图片的时间子集，中间装置可向视频解码器识别不存在于经接收时间子集中的恢复点图片。

为了减轻或消除由包含GDR集合的经编码位流的时间扩缩造成的潜在问题，本发明的技术可使视频解码装置能够处理包含于经用信号通知SEI消息中的数据以遵照GDR，同时支持时间可扩缩性。举例来说，所述技术可引入对与恢复点SEI消息和/或区域刷新信息SEI消息相关联的一或多个语义的变更。下文更详细地描述根据本发明的技术的对与恢复点SEI消息和/或区域刷新信息SEI消息相关联的语义的变更。

图3为根据本发明的一或多个方面的说明可实施用于解码视频数据的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、求和器80和参考图片存储器82。在图2的实例中，视频解码器30包含预测单元71，预测单元71又包含运动补偿单元72和帧内预测单元74。在一些实例中，视频解码器30可执行与关于视频编码器20(图2)所描述的编码遍次大体上互逆的译码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。

在图3所说明的实施中，视频解码器30耦接到网络组件68。在各种实例中，网络组件68可包含或为多种装置的部分，例如，媒体感知网络组件(或“MANE”)、串流服务器或网络头端装置。举例来说，网络组件68可经配置以接收由视频编码器20用信号通知的经编码视频位流，且时间扩缩所述经编码视频位流。在此实例中，网络组件68可将经时间扩缩位流转送到视频解码器30。

作为一个实例，网络组件68可从包含于经接收的经编码视频位流中的经编码图片的完整集合提取经编码图片的时间子集。由网络组件68接收的经编码视频位流可在本文中被称作“完整经编码视频位流”。另外，由网络组件68提取的时间子集可表示包含于完整经编码视频位流中的经编码图片的完整集合的真实子集。换句话说，由网络组件68接收的完整经编码视频位流可包含时间子集的每一经编码图片，和未包含于时间子集中的至少一额外经编码图片。

为了支持根据时间可扩缩性的各种图片速率，网络组件68可经配置以从包含于完整经编码视频位流中的经编码图片的完整集合提取不同图片计数的时间子集。由网络组件68提取的每一不同时间子集(例如，为了支持变化图片速率)可表示一可独立译码时间子集或子位流。换句话说，例如接收由网络组件68提取的经时间扩缩子位流的视频解码器30的装置可在没有任何额外数据(例如，包含于完整经编码视频位流中但不包含于子位流的信息)的情况下译码经编码图片的时间子集。

网络组件68可确定，根据HEVC WD9，由视频编码器20用信号通知的完整经编码视频位流包含若干时间子层。另外，网络组件68可确定由视频编码器20用信号通知的每一NAL单元属于如由对应“TemporalId”值指示的特定子层。举例来说，网络组件68可确定NAL单元的TemporalId的值等于对应“temporal_id_plus1”语法元素的值减1。另外，在此实例中，网络组件68可确定单一图片的所有VCL NAL单元属于单一子层(即，同一子层)。换句话说，网络组件68可确定特定经编码图片从身属于对应于与经编码图片相关联的NAL单元的特定子层。

举例来说，根据HEVC WD9，视频编码器20可产生经编码视频位流，使得所述位流(例如，如由网络组件68所提取)的较低子层的解码过程不取决于所述位流的较高子层中的数据。网络组件68可通过从完整位流移除与高于特定值的TemporalId值相关联的所有NAL单元而从完整位流产生子位流，完整位流符合HEVC WD9。又，以此方式由网络组件68提取的子位流从身可表示符合HEVC WD9的位流。视频编码器20和/或其一或多个组件可确保对于每一子位流而满足针对关于HEVC WD9的位流一致性的所有条件(例如，缓冲器限定)。

如所描述，在时间扩缩完整经编码视频位流时，网络组件68可从完整经编码视频位流提取经编码图片的时间子集。举例来说，时间子集可为完整经编码视频位流中用信号通知的经编码图片的真实子集，且因此，网络组件68可从完整经编码位流移除一或多个经编码图片以产生子位流。在实例中，网络组件68可移除包含于GDR集合中的一或多个经编码图片。在一个此类实例中，网络组件68可舍弃由恢复点SEI消息识别的恢复点图片。

然而，在一个此类实例中，网络组件68可不舍弃形成GDR集合的第一图片的GDR图片。在此实例中，网络组件68可向视频解码器30提供恢复点SEI消息，此是因为恢复点SEI消息可包含于与GDR图片相同的AU中。然而，在此实例中，网络组件68可不将恢复点SEI消息中识别的恢复点图片提供到视频解码器30，此是因为经最初识别恢复点图片在时间扩缩期间被舍弃。又，视频解码器30可接收GDR集合的指示，但可不能够在经接收子位流中定位GDR集合的恢复点图片。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码所述位流以产生经量化系数、运动向量或帧内预测模式指示符，和其它语法元素。熵解码单元70将运动向量和其它语法元素转递到运动补偿单元72。视频解码器30可接收在视频切片层级和/或视频块层级处的语法元素。

当视频切片被译码为经帧内译码(I)切片时，帧内预测单元74可基于经用信号通知帧内预测模式和来自当前帧或图片的经先前解码块的数据而产生用于当前视频切片的视频块的预测数据。当视频帧被译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素而产生用于当前视频切片的视频块的预测性块。所述预测性块是可从所述参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于参考图片存储器82中的参考图片而使用默认建构技术来建构参考帧列表：列表0和列表1。

运动补偿单元72通过剖析运动向量和其它语法元素而确定用于当前视频切片的视频块的预测信息，且使用所述预测信息以产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些经接收语法元素以确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，和用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72也可基于内插滤波器而执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算用于参考块的次整数像素的经内插值。在此状况下，运动补偿单元72可从经接收语法元素确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器以产生预测性块。

反量化单元76反量化(即，解量化)在位流中提供且由熵解码单元70译码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块所计算的量化参数QPY以确定量化程度，且同样地确定应被应用的反量化程度。

反变换单元78将反变换(例如，反DCT、反整数变换或概念上相似反变换过程)应用于变换系数，以便在像素域中产生残差块。

在运动补偿单元72基于运动向量和其它语法元素而产生用于当前视频块的预测性块之后，视频解码器30通过求和来自反变换单元78的残差块与由运动补偿单元72产生的对应预测性块而形成经解码视频块。求和器80表示执行此求和运算的组件。视需要，也可应用解块滤波器以滤波经解码块，以便移除成块性伪影。也可使用其它回路滤波器(在译码回路中抑或在译码回路之后)以使像素转变平滑，或以其它方式改良视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82(也被称作经解码图片缓冲器(decoded picturebuffer，DPB))也存储用于稍后呈现于显示装置(例如，图1的显示装置32)上的经解码视频。

视频解码器30和其各种组件可实施本发明的技术以根据GDR来解码经译码视频序列，同时支持时间可扩缩视频位流。作为一个实例，熵解码单元70可实施本文关于视频解码器30所描述的一或多个功能性。如所描述，视频解码器30可接收由视频编码器用信号通知的经编码视频位流。在各种实例中，视频解码器30可接收完整经编码视频位流或子位流，网络组件68可根据时间可扩缩性而提取完整经编码视频位流或子位流。更具体来说，经时间扩缩子位流可包含从包含于完整经编码视频位流中的经编码图片集合提取的经编码图片子集。由网络组件68根据时间可扩缩性而提取的图片子集可在本文中被称作“时间子集”。在一些实例中，由网络组件68提取的时间子集可表示完整经编码视频位流中的经编码图片的真实子集。换句话说，根据此等实例，完整经编码视频位流可包含时间子集的每一经编码图片，和未包含于时间子集中的至少一额外经编码图片。

另外，根据HEVC WD 9、AVC或其它视频译码标准，视频解码器30可经配置以或可以其它方式操作以译码包含于经接收的经编码视频位流中之后设数据。在各种实例中，根据HEVC WD9，视频解码器30可译码无需用于译码经编码位流中用信号通知的经编码图片之后设数据。在各种实例中，视频解码器30可解码后设数据以确定图片输出时序和与一或多个图片相关联的显示信息中的一或多者。在此等和其它实例中，视频解码器30可解码后设数据以检测遗失信息，且隐藏和/或修复一或多个经检测遗失。

在一些实例中，例如，根据HEVC WD9，视频解码器30可解码经接收的经编码视频位流中用信号通知的特定存取单元(AU)中的一或多个补充增强信息(SEI)网络抽象层(NAL)单元。另外，视频解码器30可解码包含于经接收的经编码视频位流中用信号通知的单一SEINAL单元中的一或多个SEI消息。根据HEVC WD9，以上表1列出视频解码器30可接收和译码(例如，使用熵解码单元70)的各种SEI消息的实例，和所列出SEI消息的对应用途/目的。

另外，视频解码器30可经配置以或可以其它方式操作以译码经接收的经编码视频位流中用信号通知的GDR集合。更具体来说，视频解码器30可根据GDR来译码经接收GDR集合。如关于图1所描述，根据HEVC WD9，GDR集合可包含按解码次序的经编码图片序列。在一些实例中，GDR集合中的经编码图片序列也可根据输出次序布置。在各种实例中，GDR集合的最后图片可表示恢复点图片，其中整个图片属于经刷新区域。

视频解码器30可(例如)通过实施由熵解码单元70提供的一或多个功能性来译码恢复点SEI消息。基于经解码恢复点SEI消息，视频解码器30可检测GDR集合的开始界限，例如，第一GDR图片。在各种实例中，第一GDR图片可为包含于与恢复点SEI消息相同的AU中的经编码图片。如上文在语法表1中所说明，根据HEVC WD9，视频解码器30可解码经用信号通知恢复点SEI消息中的recovery_poc_cnt、exact_match_flag和broken_link_flag语法元素。

根据HEVC WD9，视频解码器30可确定GDR集合继续，直到视频解码器30检测由恢复点SEI消息识别的恢复点图片为止。举例来说，视频解码器30可将经译码recovery_poc_cnt语法元素的值加到GDR图片的POC值，以确定经识别恢复点图片的POC值。另外，视频解码器30可确定以此方式而识别的恢复点图片形成GDR集合的按解码次序的最后图片。GDR集合的最后图片在本文中是由“lastPicInSet”表示。

如所描述，视频解码器30和/或其组件可经配置以(例如)根据HEVC WD9来支持经编码视频位流的时间可扩缩性。举例来说，视频解码器30可接收网络组件68从完整经编码视频位流提取且传达到视频解码器30的子位流。在此实例中，网络组件68可从包含于完整经编码视频位流中的经编码图片的完整集合提取经编码图片的时间子集，且将所述时间子集作为子位流的部分而提供到视频解码器30。举例来说，时间子集可表示包含于完整经编码视频位流中的经编码图片的完整集合的真实子集。在时间子集表示经编码图片的完整集合的真实子集的情境中，完整经编码视频位流可包含用于时间子集的每一经编码图片的数据，和用于未包含于时间子集中的至少一额外经编码图片的数据。

为了支持根据时间可扩缩性的各种时间图片速率，视频解码器30可经配置以接收和解码具有变化图片速率的子位流，例如，网络组件68可从完整经编码视频位流提取的各种子位流。更具体来说，包含具有变化图片计数的时间子集的不同子位流可表示不同图片速率。为了支持时间可扩缩性，视频解码器30可不管图片速率而将任何子位流译码为可独立译码位流。换句话说，视频解码器30可在没有任何额外数据(例如，包含于完整经编码视频位流中但不包含于特定子位流的信息)的情况下译码经编码图片的特定时间子集。

在视频解码器30接收由视频编码装置用信号通知的完整经编码视频位流的实例中，完整经编码视频位流可包含一或多个时间子层。另外，由视频解码器30接收和/或解码的每一NAL单元可属于如由对应“TemporalId”值指示的特定子层。更具体来说，视频解码器30可将NAL单元的TemporalId的值确定为等于经用信号通知对应“temporal_id_plus1”语法元素的值减1。另外，视频解码器30可确定单一图片的所有经用信号通知VCL NAL单元属于单一子层(即，同一子层)。换句话说，视频解码器30可基于经编码图片从身属于对应于与经编码图片相关联的NAL单元的特定子层的确定而译码经编码图片。

举例来说，根据HEVC WD9，视频解码器30可解码经用信号通知的经编码视频位流，使得所述位流的较低子层的解码过程不取决于所述位流的较高子层中的数据。网络组件68可通过从完整位流移除与高于特定值的TemporalId值相关联的所有NAL单元而从完整位流产生子位流。视频编码装置可确保关于完整位流且因此对于网络组件68可从完整位流提取的每一子位流而满足针对关于HEVC WD9的位流一致性的所有条件(例如，缓冲器限定)。又，在一些实例中，视频解码器30可在不对解码过程进行任何变更的情况下和在不必对硬件和/或软件基础结构进行任何变更的情况下译码任何经用信号通知子位流。换句话说，视频解码器30可以对应于译码完整经编码视频位流的方式来译码经用信号通知子位流，同时支持根据HEVC WD9的时间可扩缩性。

如所描述，在时间扩缩完整经编码视频位流时，网络组件68可从完整经编码视频位流提取经编码图片的时间子集。举例来说，时间子集可为完整经编码视频位流中用信号通知的经编码图片的真实子集，且因此，网络组件68可从完整经编码位流移除一或多个经编码图片以产生子位流。在一些实例中，网络组件68可移除由恢复点SEI消息识别的恢复点图片。在此等实例中，视频解码器30可接收识别GDR集合的界限的恢复点SEI消息，但可不接收形成GDR集合的lastPicInSet的恢复点图片。通过解码和应用recovery_poc_cnt语法元素的值，视频解码器30可确定经识别恢复点图片的POC计数，但可不能够在经接收时间子集中定位经识别恢复点图片。

为了减轻或消除由舍弃经识别恢复点图片的GDR集合的时间扩缩造成的潜在问题，视频解码器30和/或其组件(例如，熵解码单元70)可实施本发明的一或多种技术。根据所述技术的一些实施，视频解码器30可解码恢复点SEI消息以获得指示经最初识别恢复点图片的图片次序计数(POC)值的信息。另外，视频解码器30可实施本发明的一或多种技术以确定经接收的经编码位流是否包含具有从恢复点SEI消息获得的POC值的经编码图片。

根据本文所描述的技术，视频解码器30可根据多步骤确定来定义恢复点图片，而非仅仅将恢复点图片定义为具有恢复点SEI消息中识别的POC值的经编码图片。举例来说，如果视频解码器30识别出经接收位流中按解码次序在当前图片(例如，与当前SEI消息相关联的GDR图片)之后且具有等于GDR图片的PicOrderCntVal加recovery_poc_cnt语法元素的值的POC值(“PicOrderCntVal”)的图片(“picA”)，则视频解码器30可将picA识别为恢复点图片。另一方面，如果视频解码器30未识别满足上文所描述的条件的picA，则视频解码器30可将按输出次序紧接地在picA之后的图片识别为恢复点图片。视频解码器30也可确定恢复点图片按解码次序不在第一GDR图片之前(例如，如果第一图片具有小于GDR图片的POC值的POC值，则视频解码器30可不将第一图片识别为恢复点图片)。GDR图片也可在本文中被称作“当前”图片。

另外，根据本发明的一或多个方面，视频解码器30可根据以下多步骤确定来定义gdrPicSet，而非将GDR集合(“gdrPicSet”)定义为从第一GDR图片开始到恢复点图片的图片集合。如果视频解码器30在经接收位流中识别经接收位流(或经译码视频序列)中按解码次序在GDR图片之后且具有等于GDR图片的PicOrderCntVal加恢复点SEI消息中用信号通知的经译码recovery_poc_cnt语法元素的值的PicOrderCntVal的图片，则视频解码器30可将由变量lastPicInSet表示的图片设定为恢复点图片。否则，如果视频解码器30未检测经译码视频序列中满足上文所列出的条件的图片，则视频解码器30可将lastPicInSet设定到按输出次序紧接地在恢复点图片之前的图片。

另外，视频解码器30可确定图片lastPicInSet按解码次序不在GDR图片之前。在此等实例中，视频解码器30可将gdrPicSet设定为按输出次序从第一GDR图片开始且在图片lastPicInSet处结束的图片集合，两个图片皆包含在内。结果，在一些实例中，lastPicInSet中的经刷新区域可或可不涵盖整个图片。举例来说，如果视频解码器30未定位经最初识别恢复点图片，则视频解码器30可将lastPicInSet设定到在经最初识别恢复点图片之前的图片，且因此确定GDR集合的结束界限。又，lastPicInSet可不为完全经刷新图片，此是因为lastPicInSet按解码次序在经最初识别恢复点图片之前。在此等实例中，视频解码器30可将紧接地在经识别lastPicInSet之后的图片识别为关于GDR集合的恢复点图片。

如所描述，在一些实例中，本发明的技术可无需对恢复点SEI消息抑或区域刷新信息SEI消息的现有语法的变更。在各种实例中，所述技术可在WD9中引入对恢复点SEI消息和/或区域刷新信息SEI消息的现有语义的变更。下文描述与恢复点SEI消息相关联的语义，且强调由本文所描述的技术引入到现有语义的变更。

在视频解码器30起始随机存取之后，或在视频编码器20指示经译码视频序列中的中断连结之后，恢复点SEI消息辅助视频解码器30确定解码过程将何时产生用于显示的可接受图片。当视频解码器30按与恢复点SEI消息相关联的译码次序以AU开始译码过程时，按此SEI消息中指定的输出次序在恢复点处或之后的所有经解码图片被指示为内容正确或大致正确。在与恢复点SEI消息相关联的图片处或之前的通过随机存取而产生的经解码图片无需内容正确，直到所指示的恢复点或按输出次序的下一图片为止，且在与恢复点SEI消息相关联的图片处开始的解码过程的操作可含有对在经解码图片缓冲器和/或参考图片存储器82中不可用的图片的参考。

另外，通过使用broken_link_flag语法元素，视频编码器20可使用恢复点SEI消息以向视频解码器30指示可潜在地引起视觉伪影(当被显示时)的位流中的一或多个图片的位置，即使当译码过程按解码次序在前一随机存取点(random access point，RAP)AU的位置处开始时也如此。视频编码器20可使用broken_link_flag语法元素以指示一点的位置，在所述点之后，用于解码一或多个图片的解码过程可造成对图片的参考，尽管所述图片可用于由视频解码器30用于解码过程中，但所述图片不为用于当视频编码器20最初编码位流时用于参考的图片(例如，归因于在位流的产生期间由视频编码器20执行的接合操作)。

在视频解码器30执行随机存取以从与恢复点SEI消息相关联的AU开始译码的实例中，视频解码器30可确定关联图片为位流中的第一图片，且用于导出恢复点图片的PicOrderCntVal的变数prevPicOrderCntLsb和prevPicOrderCntMsb皆经设定为等于0。在视频解码器30确定假设参考解码器(HRD)信息存在于经接收位流中的实例中，视频解码器30可确定缓冲周期SEI消息是与同恢复点SEI消息相关联的AU相关联，以便在随机存取之后建立HRD缓冲器模型的初始化。

由与恢复点SEI消息相关联的图片或由按解码次序在此图片之后的任何图片参考的任何序列或图片参数集合RBSP可在其启动之前的解码过程期间可用于视频解码器30，而不管视频解码器30是否在位流的开头处或以与恢复点SEI消息相关联的AU(按译码次序)开始译码过程。

recovery_poc_cnt语法元素可向视频解码器30指定按输出次序的输出图片的恢复点。如果视频解码器30确定在经译码视频序列中存在按解码次序在当前图片(例如，与当 前SEI消息相关联的图片)之后且具有等于当前图片的PicOrderCntVal加recovery_poc_ cnt的值的PicOrderCntVal的图片picA，则视频解码器30可将图片picA称作恢复点图片；否 则，视频解码器30可将按输出次序紧接地在picA之后的图片称作恢复点图片。视频解码器 30可确定恢复点图片按解码次序不在当前图片之前。视频解码器30可指示出，在恢复点图 片的输出次序位置处开始，按输出次序的所有经解码图片被指示为内容正确或大致正确。视频解码器30可确定recovery_poc_cnt的值是在-MaxPicOrderCntLsb/2到MaxPicOrderCntLsb/2-1的范围内。

exact_match_flag语法元素向视频解码器30指示通过在与恢复点SEI消息相关联的AU处开始解码过程而导出的按输出次序在指定恢复点处或之后的一或多个经解码图片是否将为与将由视频解码器30在经接收位流中之前一RAPAU(如果存在)的位置处开始译码过程而产生的一或多个图片的确切匹配。与exact_match_flag相关联的值0向视频解码器30指示出匹配可不确切，且值1指示出匹配将确切。当exact_match_flag等于1时，位流一致性的要求为：在由视频解码器30通过在与恢复点SEI消息相关联的AU处开始解码过程而导出的按输出次序在指定恢复点处和之后的经解码图片为与将通过在位流中之前一RAPAU(如果存在)的位置处开始译码过程而产生的图片的确切匹配。

当执行随机存取时，视频解码器30可将对不可用图片的所有参考推断为对仅含有帧内译码块且具有由等于(1＜＜(BitDepth_Y-1))的Y、皆等于(1＜＜(BitDepth_C-1))(中阶灰度)的Cb和Cr给出的样本值的图片的参考，而不管exact_match_flag的值。当exact_match_flag等于0时，由视频编码器20在编码过程期间选择恢复点处的近似值的质量。

broken_link_flag语法元素向视频解码器30指示在恢复点SEI消息的位置处的NAL单元串流中的中断连结的存在或不存在，且被指派另外语义如下：如果broken_link_flag等于1，则在装置不应显示按译码次序在与恢复点SEI消息相关联的存取单元处和之后的经解码图片直到按输出次序的指定恢复点为止的程度上，通过视频解码器30在前一RAPAU的位置处开始译码过程而产生的图片可含有不良视觉伪影。否则(例如，视频解码器30检测到broken_link_flag等于0)，不给出关于视觉伪影的任何潜在存在的指示。

在当前图片为中断连结存取(broken link access，BLA)图片的实例中，视频解码器30可检测到broken_link_flag的值等于1。不管broken_link_flag的值，视频解码器30可确定按输出次序在指定恢复点之后的图片被指定为内容正确或大致正确。

下文描述与区域刷新信息SEI消息相关联的语义，且强调由本文所描述的技术在WD9中引入到现有语义的变更。

区域刷新信息SEI消息向视频解码器30指示被应用当前SEI消息的切片区段是否属于当前图片的经刷新区域(如下文所描述)。不为RAPAU且含有恢复点SEI消息的AU在本文中被称作逐渐解码刷新(GDR)AU，且其对应图片被称作GDR图片。对应于所指示恢复点图片的AU在本文中被称作恢复点AU。

视频解码器30可确定，如果在经译码视频序列中存在按解码次序在GDR图片之后 且具有等于GDR图片的PicOrderCntVal加恢复点SEI消息中的recovery_poc_cnt的值的 PicOrderCntVal的图片，则变数lastPicInSet为恢复点图片；否则，lastPicInSet为按输出 次序紧接地在恢复点图片之前的图片。视频解码器30可确定图片lastPicInSet按解码次序 不在GDR图片之前。

视频解码器30可确定gdrPicSet为按输出次序从GDR图片开始到图片 lastPicInSet(GDR图片和图片lastPicInSet包含在内)的图片集合。当视频解码器30开始从GDR AU开始的解码过程时，gdrPicSet的每一图片中的经刷新区域被指示为内容为正确或大致正确的图片区域，且当lastPicInSet为恢复点图片时，lastPicInSet中的经刷新区 域涵盖整个图片。

视频解码器30可确定被应用区域刷新信息SEI消息的切片区段由在含有区域刷新信息SEI消息的SEI NAL单元之后且按译码次序在含有区域刷新信息SEI消息的下一SEINAL单元(如存在)之前的AU内的所有切片区段组成。此等切片区段在本文中被称作与区域刷新信息SEI消息相关联的切片区段。

另外，视频解码器30可确定gdrAuSet为对应于gdrPicSet的存取单元集合。gdrAuSet和对应gdrPicSet在本文中被称作与GDR存取单元中含有的恢复点SEI消息相关联。视频解码器30也可确定区域刷新信息SEI消息不应存在于AU中，除非AU包含于与恢复点SEI消息相关联的gdrAuSet中。另外，视频解码器30可确定，当包含于gdrAuSet中的任何AU含有一或多个区域刷新信息SEI消息时，gdrAuSet中的所有存取单元应含有一或多个区域刷新信息SEI消息。

如果refreshed_region_flag语法元素等于1，则视频解码器30可确定refreshed_region_flag语法元素指示出与当前SEI消息相关联的切片区段属于当前图片中的经刷新区域。如果视频解码器30确定refreshed_region_flag语法元素等于0，则视频解码器30可确定refreshed_region_flag语法元素指示出与当前SEI消息相关联的切片区段可不属于当前图片中的经刷新区域。

在视频解码器30检测到一或多个区域刷新信息SEI消息存在于AU中且AU的按解码次序的第一切片区段不具有关联区域刷新信息SEI消息的例子中，视频解码器30可将用于在第一区域刷新信息SEI消息之前的切片区段的refreshed_region_flag语法元素的值推断为等于0。

当lastPicInSet为恢复点图片，且任何区域刷新SEI消息包含于恢复点存取单元中时，视频解码器30可确定AU的按解码次序的第一切片区段具有关联区域刷新SEI消息，且refreshed_region_flag的值在AU中的所有区域刷新SEI消息中应等于1。在视频解码器30确定一或多个区域刷新信息SEI消息存在于AU中的实例中，视频解码器30可确定图片中的经刷新区域被指定为AU的与具有等于1的refreshed_region_flag的区域刷新信息SEI消息相关联的所有切片区段中的CTU集合。视频解码器30可确定其它切片区段属于图片的未经刷新区域。

位流一致性的要求为：当相依切片区段属于经刷新区域时，按译码次序之前一切片区段也应属于经刷新区域。在实例中，视频解码器30可确定gdrRefreshedSliceSegmentSet为属于gdrPicSet中的经刷新区域的所有切片区段的集合。当视频解码器30确定gdrAuSet含有一或多个区域刷新信息SEI消息时，位流一致性的要求为以下约束皆适用：

●含有任何经刷新区域的包含于对应gdrPicSet中按解码次序的第一图片中的经刷新区域应仅含有以帧内译码模式而译码的译码单元(CU)。

●对于包含于gdrPicSet中的每一图片，应约束gdrRefreshedSliceSegmentSet中的语法元素，使得在gdrRefreshedSliceSegmentSet外的样本或运动向量值不在gdrRefreshedSliceSegmentSet内的任何样本的解码过程中用于帧间预测。

●对于按输出次序在图片lastPicInSet之后的任何图片，应约束所述图片的切片区段中的语法元素，使得在gdrRefreshedSliceSegmentSet外的样本或运动向量值不在所述图片的除了按输出次序在图片lastPicInSet之后的其它图片的解码过程的解码过程中用于帧间预测。

如关于图3所描述，视频解码器30和/或其组件可执行一种译码视频数据的方法，所述方法包含：从经编码视频位流接收多个图片；从经编码视频位流接收与多个图片中的第一图片相关联的消息中的信息，所述信息指示逐渐解码器刷新(GDR)集合的恢复点图片的图片次序计数(POC)值；当按解码次序在第一图片之后的图片所具有的POC值等于恢复点图片的POC值时将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片；和当在第一图片之后的图片中没有任何图片所具有的POC值等于恢复点图片的POC值时将所述图片中所具有的POC值大于恢复点图片的POC值的一个图片识别为恢复点图片。

根据上文关于视频解码器30所描述的方法的一些实例实施，所述方法进一步包含：响应于将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片而将所具有的POC值等于恢复点图片的POC值的图片识别为GDR集合的最后图片；和响应于将所具有的POC值大于恢复点图片的POC值的图片识别为恢复点图片而将所述图片中所具有的POC值小于恢复点图片的POC值的一个图片识别为GDR集合的最后图片。在一些实例实施中，所具有的POC值小于恢复点图片的POC值的图片的POC值大于第一图片的POC值。根据一些实例实施，消息包括补充增强信息(SEI)消息。在一个此类实例实施中，SEI消息包括恢复点SEI消息。

在上文关于视频解码器30所描述的方法的一些实例实施中，指示恢复点图片的POC值的信息包括指示第一图片的POC值与恢复点图片的POC值的间的差的信息。根据一些实例实施，指示恢复点图片的POC值的信息包括恢复点图片的POC值。在一些实例实施中，上文关于视频解码器30所描述的方法进一步包含：根据GDR来译码GDR集合的一或多个图片。根据一个此类实例实施，所述方法进一步包含：执行关于经识别恢复点图片和按解码次序在经识别恢复点图片之后的一或多个图片的随机存取解码。

另外，视频解码器30和/或其组件可执行一种译码视频数据的方法，所述方法包含：从经编码视频位流接收与图片相关联的消息，所述消息包含指示图片的经刷新区域的信息；确定图片是否包括逐渐解码器刷新(GDR)集合中的最后图片；确定图片是否包括恢复点图片；和响应于确定图片包括GDR集合中的最后图片和恢复点图片而确定消息指示出整个图片属于所述图片的经刷新区域。在上文关于视频解码器30所描述的方法的一些实例实施中，消息包括补充增强信息(SEI)消息。在一个此类实例实施中，SEI消息包括区域刷新SEI消息。

在上文关于视频解码器30所描述的方法的一些实例实施中，确定消息指示出整个图片属于所述图片的经刷新区域包括确定与区域刷新SEI消息相关联的refreshed_region_flag语法元素具有值1。在一个此类实例实施中，refreshed_region_flag语法元素是与包含所述图片的存取单元(AU)的第一切片区段相关联，且确定整个图片属于经刷新区域进一步包括确定不同于AU的第一切片区段的AU的每一切片区段是与对应refreshed_region_flag语法元素相关联。

在各种实例中，视频解码器30可包含于例如以下各者的用于译码视频数据的装置中：桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓“智能”电话的电话手机、所谓“智能”键台、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台，视频串流装置，或其类似者。在实例中，用于译码视频数据的此装置可包含集成电路、微处理器和包含视频解码器30的通信装置中的一或多者。

图4为根据本发明的一或多个方面的说明实例逐渐译码刷新(GDR)集合90的概念图，GDR集合90包含第一GDR图片90A、GDR集合图片90B、90C等等，和恢复点图片90N。尽管本文关于GDR集合90所描述的技术可由多种装置执行，但仅出于论述目的简易起见，本文关于图1和3的视频解码器30来描述图5。视频解码器30可检测到包含GDR图片90A的存取单元(AU)也包含恢复点SEI消息。基于检测与GDR图片90A相关联的恢复点SEI消息，视频解码器30可确定GDR图片90A形成经接收的经编码视频位流中用信号通知的GDR集合的第一图片。

另外，视频解码器30可应用包含于恢复点SEI消息中的recovery_poc_cnt语法元素的值以获得恢复点图片90N的POC计数。举例来说，视频解码器30可将recovery_poc_cnt语法元素的值加到GDR图片90A的图片次序计数(POC)值，以获得恢复点图片90N的POC值。在GDR集合90的实例中，视频解码器30可定位具有由视频解码器30从recovery_poc_cnt语法元素导出的POC值的图片，即，恢复点图片90N。举例来说，即使GDR集合90包含于由网络组件68提取的时间子集中，GDR集合仍可包含由恢复点SEI消息识别的恢复点图片90N。换句话说，在GDR集合90的实例中，归因于时间扩缩而未舍弃恢复点图片90N。

基于使用recovery_poc_cnt语法元素的值来检测恢复点图片90N，视频解码器30可实施本发明的技术以确定恢复点图片90N的全部属于经刷新区域，且确定恢复点图片90N为关于GDR集合90的lastPicInSet。

图5为根据本发明的一或多个方面的说明已归因于时间扩缩而被移除恢复点图片94N的实例逐渐译码刷新(GDR)集合94的概念图。GDR集合94包含第一GDR图片94A、GDR集合图片94B、一或多个额外GDR集合图片，和最后GDR集合图片94M。用以标记GDR集合图片的字母不意欲指示GDR集合中的图片的特定数目，而是意欲充当标记。尽管本文关于GDR集合90所描述的技术可由多种装置执行，但仅出于论述目的简易起见，本文关于图1和3的视频解码器30来描述图5。在GDR集合94的实例中，网络组件68可能已在时间扩缩期间舍弃恢复点SEI消息中识别的恢复点图片(例如，SEI识别恢复点图片94N)。以虚线框线来说明SEI识别恢复点图片94N以指示出SEI识别恢复点图片94N存在于较高时间层中，而不存在于由视频解码器30接收的较低时间层中。

在图5的经译码视频序列92的实例中，视频解码器30可使用recovery_poc_cnt以确定恢复点SEI消息将SEI识别恢复点图片94N识别为GDR集合94的恢复点图片。然而，因为已在时间扩缩期间舍弃SEI识别恢复点图片94N，所以视频解码器30可不能够在经接收时间子集中定位SEI识别恢复点图片94N。又，视频解码器30可实施本发明的一或多种技术以支持GDR集合94的以GDR为基础的解码，同时支持时间可扩缩位流。

举例来说，视频解码器30可定位经译码视频序列92的按解码次序的第一图片，其具有大于关于SEI识别恢复点图片94N所导出的POC值的POC值。另外，视频解码器30可实施本文所描述的一或多种技术以将经定位图片识别为关于GDR集合94的恢复点图片。在图5的实例中，视频解码器30可将恢复点图片96识别为经译码视频序列92的第一图片，其具有大于SEI识别恢复点图片94N的POC值的POC值。举例来说，通过将恢复点图片96识别为关于GDR集合94的恢复点图片，视频解码器30可确定恢复点图片96的全部属于用于解码经译码视频序列92中的随机存取和错误恢复的经刷新区域。

另外，视频解码器30可将经译码视频序列92中紧接地在恢复点图片96之前的图片识别为GDR集合94的lastPicInSet。举例来说，响应于不能够在经译码视频序列92中定位SEI识别恢复点图片94N，视频解码器30可实施本发明的技术以将last_picture_in_GDR_set 94M识别为GDR集合94的lastPicInSet。在此实例中，视频解码器30可将在经译码视频序列92内按解码次序连续的两个分离图片识别为关于GDR集合94的lastPicInSet(94M)和恢复点图片(96)。另外，在此实例中，由视频解码器30识别的恢复点图片可不包含于GDR集合94中。图5说明一个实例，在所述实例中，视频解码器30可实施本发明的技术以识别用于GDR集合94的lastPicInSet和恢复点图片，即使归因于时间扩缩而舍弃SEI识别恢复点图片94N也如此。以此方式，图5说明一实例，在所述实例中，视频解码器30可实施本发明的技术以根据如HEVC WD9所描述的GDR来译码GDR集合94，同时支持经编码视频位流的时间可扩缩性。

图6为根据本发明的一或多个方面的说明可由视频解码器30和/或其组件执行以译码经编码视频数据的实例过程100的流程图。当视频解码器30在经接收的经编码视频位流中检测恢复点SEI消息(102)时，过程100可开始。举例来说，视频解码器30可在GDR存取单元中检测恢复点SEI消息，GDR存取单元也包含与经编码GDR图片(例如，GDR集合的第一GDR图片)相关联的数据。基于在GDR存取单元中检测恢复点SEI消息，视频解码器30可确定包含于GDR存取单元中的GDR图片形成GDR集合的第一图片。

另外，视频解码器30可确定恢复点SEI消息中识别的恢复点图片是否包含于经接收的经编码视频位流中(104)。举例来说，视频解码器30可将恢复点SEI消息的recovery_poc_cnt语法元素的值加到GDR图片的POC值，以获得SEI识别恢复点图片的POC值。在一个实例中，视频解码器可使用经导出POC值以周游经接收的经译码视频序列，以确定所述序列的图片是否具有经导出POC值。举例来说，视频解码器30可按解码次序来周游经译码视频序列。以此方式，如果视频解码器30到达具有经导出POC值的图片，则视频解码器30可确定SEI识别恢复点图片包含于经接收的经译码视频序列中。另一方面，在此实例中，如果视频解码器30到达所具有的POC值大于经导出POC值的图片，但尚未定位具有经导出POC值的图片，则视频解码器30可确定SEI识别恢复点图片不包含于经接收的经编码视频位流中。

如果视频解码器30确定SEI识别恢复点图片包含于经接收位流中(104的“是”分支)，则视频解码器可将SEI识别恢复点图片识别为GDR集合中的最后图片(lastPicInSet)和用于GDR集合的恢复点图片两者(106)。在此情境中，视频解码器30可确定lastPicInSet和恢复点图片为相同图片，且确定恢复点图片包含于GDR集合中。

另一方面，如果视频解码器30确定SEI识别恢复点图片不包含于经接收视频位流中(104的“否”分支)，则视频解码器30可将在SEI识别恢复点图片之后的图片识别为用于GDR集合的恢复点图片(108)。举例来说，视频解码器30可将恢复点图片识别为经接收视频位流的按解码次序的第一图片，其具有大于关于SEI识别恢复点图片所导出的POC值的POC值。

另外，在此情境中，视频解码器30可将按解码次序紧接地在经识别恢复点图片之前的经接收的经译码视频序列的图片(即，所具有的POC值小于关于SEI识别恢复点图片所导出的POC值的最后图片)识别为GDR集合的lastPicInSet(110)。在此实例中，视频解码器30可将按解码次序连续的两个分离图片识别为关于GDR集合的lastPicInSet和恢复点图片。另外，在此实例中，视频解码器30可确定lastPicInSet包含于GDR集合中，且确定恢复点图片不包含于GDR集合中。举例来说，视频解码器30可确定恢复点图片为按解码次序在经接收的经编码视频位流中的GDR集合之后的第一图片。

以此方式，视频解码器30可为用于解码译码视频数据的装置的实例，所述装置包含：用于从经编码视频位流接收多个图片的装置；用于从经编码视频位流接收与多个图片中的第一图片相关联的消息中的信息的装置，所述信息指示逐渐解码器刷新(GDR)集合的恢复点图片的POC值；用于当按解码次序在第一图片之后的图片所具有的POC值等于恢复点图片的POC值时将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片的装置；和用于当在第一图片之后的图片中没有任何图片所具有的POC值等于恢复点图片的POC值时将所述图片中所具有的POC值大于恢复点图片的POC值的一个图片识别为恢复点图片的装置。

在一些实例中，所述装置可进一步包含：用于响应于将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片而将所具有的POC值等于恢复点图片的POC值的图片识别为GDR集合的最后图片的装置；和用于响应于将所具有的POC值大于恢复点图片的POC值的图片识别为恢复点图片而将所述图片中所具有的POC值小于恢复点图片的POC值的一个图片识别为GDR集合的最后图片的装置。根据一些实例，所具有的POC值小于恢复点图片的POC值的图片的POC值大于第一图片的POC值。

在一些实例中，消息包括恢复点补充增强信息(SEI)消息。根据一些实例，所具有的POC值小于恢复点图片的POC值的图片的POC值大于第一图片的POC值。根据一些实例，指示恢复点图片的POC值的信息包括指示第一图片的POC值与恢复点图片的POC值的间的差的信息。根据一些实例，指示恢复点图片的POC值的信息包括恢复点图片的POC值。在一些实例中，所述装置可进一步包含：用于执行关于经识别恢复点图片和按解码次序在经识别恢复点图片之后的一或多个图片的随机存取解码的装置。

另外，以此方式，图1的目的地装置14可为计算装置的实例，所述计算装置包含或耦接到计算机可读存储媒体，所述计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使所述计算装置的处理器：从经编码视频位流接收多个图片；从经编码视频位流接收与多个图片中的第一图片相关联的消息中的信息，所述信息指示逐渐解码器刷新(GDR)集合的恢复点图片的POC值；当按解码次序在第一图片之后的图片所具有的POC值等于恢复点图片的POC值时将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片；和当在第一图片之后的图片中没有任何图片所具有的POC值等于恢复点图片的POC值时将所述图片中所具有的POC值大于恢复点图片的POC值的一个图片识别为恢复点图片。

在一些实例中，计算机可读存储媒体可具有存储于其上的指令，所述指令在执行时进一步使计算装置的处理器：响应于将所具有的POC值等于恢复点图片的POC值的图片识别为恢复点图片而将所具有的POC值等于恢复点图片的POC值的图片识别为GDR集合的最后图片；和响应于将所具有的POC值大于恢复点图片的POC值的图片识别为恢复点图片而将所述图片中所具有的POC值小于恢复点图片的POC值的一个图片识别为GDR集合的最后图片。在一些实例中，消息包括恢复点补充增强信息(SEI)消息。根据一些实例，所具有的POC值小于恢复点图片的POC值的图片的POC值大于第一图片的POC值。

在一些实例中，消息包括补充增强信息(SEI)消息。在一个此类实例中，SEI消息包括区域刷新SEI消息。根据一些实例，指示恢复点图片的POC值的信息包括指示第一图片的POC值与恢复点图片的POC值的间的差的信息。根据一些实例，指示恢复点图片的POC值的信息包括恢复点图片的POC值。在一些实例中，计算机可读存储媒体可具有存储于其上的指令，所述指令在执行时进一步使计算装置的处理器：执行关于经识别恢复点图片和按解码次序在经识别恢复点图片之后的一或多个图片的随机存取解码。

图7为根据本发明的一或多个方面的说明可由视频解码器30和/或其组件执行以译码经编码视频数据的实例过程120的流程图。当视频解码器30在经编码视频位流中接收一或多个经编码图片的集合(122)时，过程120可开始。在各种实例中，经编码图片的经接收集合可包含或为GDR集合的部分。

视频解码器30可检测到经接收集合的当前图片为GDR集合的lastPicInSet和恢复点图片两者(124)。作为一个实例，视频解码器30可确定当前图片具有匹配于由经编码视频位流中的经最近接收恢复点SEI消息指示的POC值的POC值。在此实例中，基于当前图片的POC值匹配于经最近接收恢复点SEI消息中指示的POC值，视频解码器30可确定当前图片为GDR集合的lastPicInSet以及恢复点图片两者。

另外，视频解码器30可确定经接收区域刷新SEI消息包含用于包含当前图片的AU的第一切片区段的经设定到值1的refreshed_region_flag(126)。举例来说，视频解码器30可解码与当前图片相关联的区域刷新SEI消息以获得对应于当前图片的每一切片区段的refreshed_region_flag。在一些实例中，视频解码器30可译码区域刷新SEI消息以获得按循序切片次序(即，以解码AU的第一切片开始，接着解码AU的第二切片，等等)的AU的refreshed_region_flags。结果，在循序地获得AU的refreshed_region_flags的实例中，视频解码器30可获得用于第一切片区段的refreshed_region_flag，之后获得用于AU的剩余切片区段的refreshed_region_flags。

基于确定当前图片为lastPicInSet和恢复点图片(124)，且确定用于AU的第一切片的refreshed_region_flag经设定到值1(126)，视频解码器30可确定区域刷新SEI消息包含用于AU的所有剩余切片的经设定到值1的refreshed_region_flags(128)。举例来说，基于AU的第一切片经设定到值1，且基于确定当前图片为lastPicInSet和恢复点图片，视频解码器30可确定当前图片为经完全刷新图片。换句话说，在此实例中，视频解码器30可确定当前图片的全部属于当前图片的经刷新区域。又，基于确定当前图片为经完全刷新图片，视频解码器30可将对应于AU的所有切片的refreshed_region_flags的值推断为经设定到值1。

以此方式，在视频解码器30确定当前图片被完全地刷新的例子中，视频解码器30可实施本发明的技术以确定包含于区域刷新SEI消息中的所有refreshed_region_flags的值(用于包含当前图片的AU)经设定到值1。举例来说，视频解码器可解码用于AU的第一切片的refreshed_region_flag以获得值1。基于用于第一切片的refreshed_region_flag的值具有值1，和当前图片为lastPicInSet和恢复点图片，视频解码器30可将AU的剩余切片的refreshed_region_flags的值推断为具有值1，藉此表示经完全刷新图片。通过在经完全刷新图片的状况下将剩余refreshed_region_flags的值推断为具有值1，视频解码器30可在解码过程中节约计算资源，同时维持关于经完全刷新图片的解码准确度。

以此方式，视频解码器30可为用于解码视频数据的装置的实例，所述装置包含：用于从经编码视频位流接收与图片相关联的消息的装置，所述消息包含指示图片的经刷新区域的信息；用于确定图片是否包括逐渐解码器刷新(GDR)集合中的最后图片的装置；用于确定图片是否包括恢复点图片的装置；用于响应于确定图片包括GDR集合中的最后图片和恢复点图片而确定消息指示出整个图片属于所述图片的经刷新区域的装置；和用于基于消息指示出整个图片属于所述图片的经刷新区域的确定而解码所述图片的装置。在一些实例中，消息包括补充增强信息(SEI)消息。在一个此类实例中，SEI消息包括区域刷新SEI消息。

在一些实例中，用于确定消息指示出整个图片属于所述图片的经刷新区域的装置包含用于确定与区域刷新SEI消息相关联的refreshed_region_flag语法元素具有值1的装置。在一个此类实例中，refreshed_region_flag语法元素是与包含所述图片的存取单元(AU)的第一切片区段相关联，且用于确定整个图片属于经刷新区域的装置进一步包含用于确定不同于AU的第一切片区段的AU的每一切片区段是与对应refreshed_region_flag语法元素相关联的装置。

另外，以此方式，图1的目的地装置14可为计算装置的实例，所述计算装置包含或耦接到计算机可读存储媒体，所述计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使所述计算装置的处理器：从经编码视频位流接收与图片相关联的消息，所述消息包含指示图片的经刷新区域的信息；确定图片是否包括逐渐解码器刷新(GDR)集合中的最后图片；确定图片是否包括恢复点图片；响应于确定图片包括GDR集合中的最后图片和恢复点图片而确定消息指示出整个图片属于所述图片的经刷新区域；和基于消息指示出整个图片属于所述图片的经刷新区域的确定而解码所述图片。在一些实例中，消息包括补充增强信息(SEI)消息。在一个此类实例中，SEI消息包括区域刷新SEI消息。

在一些实例中，使计算装置的处理器确定消息指示出整个图片属于所述图片的经刷新区域的指令包含使计算装置的处理器确定与区域刷新SEI消息相关联的refreshed_region_flag语法元素具有值1的指令。在一个此类实例中，refreshed_region_flag语法元素是与包含所述图片的存取单元(AU)的第一切片区段相关联，且使计算装置的处理器确定整个图片属于经刷新区域的指令进一步包含使计算装置的处理器确定不同于AU的第一切片区段的AU的每一切片区段是与对应refreshed_region_flag语法元素相关联的指令。

在一或多项实例中，所描述功能可以硬件、软件、固件或其任何组合予以实施。如果以软件予以实施，则所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由以硬件为基础的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体的有形媒体的计算机可读存储媒体、各种计算机可读存储装置，或包含促进计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)为非时间性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而非限制，此等计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。又，任何连接可被适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术而从网站、服务器或其它远程来源发射指令，则同轴缆线、光缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它时间性媒体，而是有关于非时间性有形存储媒体。如本文所使用，磁盘和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。

可由例如以下各者的一或多个处理器执行指令：一或多个数字信号处理器(DSP)、一般用途微处理器、专用集成电路(ASIC)、现场可编程逻辑数组(FPGA)，或其它等效集成式或离散逻辑电路系统。因此，如本文所使用，术语“处理器”可指上述结构或适合于实施本文所描述的技术的任何其它结构中任一者。另外，在一些方面中，本文所描述的功能性可提供于经配置用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编码解码器中。又，所述技术可完全地实施于一或多个电路或逻辑组件中。

本发明的技术可实施于各种各样的装置或设别中，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但所述组件、模块或单元未必要求通过不同硬件单元而实现。实情为，如上文所描述，各种单元可组合于编码解码器硬件单元中，或是通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件和/或固件而提供。

各种实例已被描述。此等和其它实例是在以下权利要求书的范围内。

Claims (20)

1.一种解码视频数据的方法，所述方法包括：

从经编码视频位流接收指示恢复点的恢复点补充增强信息SEI消息；

从所述经编码视频位流接收与图片相关联的至少一个区域刷新SEI消息，所述至少一个区域刷新SEI消息包括指示所述图片的经刷新区域的信息，所述信息包括具有1的值的refreshed_region_flag语法元素；

采用包括在指示所述恢复点的恢复点SEI消息中的恢复图片次序计数POC值中的值，确定所述图片是否包括可用于随机存取解码的恢复点图片；

响应于确定所述图片包括可用于随机存取解码的所述恢复点图片，确定所述图片包括图片的逐渐解码器刷新GDR集合中按解码次序的最后图片，以及整个所述图片属于所述图片的所述经刷新区域；和

基于整个所述图片属于所述图片的所述经刷新区域的所述确定解码所述图片。

2.根据权利要求1所述的方法，进一步包括确定所述图片的所述经刷新区域包括与所述至少一个区域刷新SEI消息相关联的存取单元的所有切片区段中的译码树单元CTU集合。

3.根据权利要求1所述的方法，进一步包括：基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定整个所述图片是内容正确或内容近似正确中的一者。

4.根据权利要求1所述的方法，进一步包括：基于所述具有1的值的refreshed_region_flag语法元素，确定与所述至少一个区域刷新SEI消息相关联的切片区段属于所述图片的所述经刷新区域。

5.根据权利要求1所述的方法，进一步包括：基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定与存取单元相关联的每一个区域刷新SEI消息分别包括具有1的值的refreshed_region_flag语法元素，所述存取单元包括所述至少一个区域刷新SEI消息。

6.一种用于解码视频数据的装置，所述装置包括：

存储器，其经配置以存储所述视频数据；和

视频译码器，其经配置以：

从经编码视频位流接收指示恢复点的恢复点补充增强信息SEI消息；

从所述经编码视频位流接收与所述经编码视频位流的图片相关联的至少一个区域刷新SEI消息，所述至少一个区域刷新SEI消息包括指示所述图片的经刷新区域的信息，所述信息包括具有1的值的refreshed_region_flag语法元素；

采用包括在指示所述恢复点的恢复点SEI消息中的恢复图片次序计数POC值中的值，确定所述图片是否包括可用于随机存取解码的恢复点图片；

响应于所述图片包括可用于随机存取解码的所述恢复点图片的所述确定，确定所述图片包括图片的逐渐解码器刷新GDR集合中按解码次序的最后图片，以及整个所述图片属于所述图片的所述经刷新区域；和

基于整个所述图片属于所述图片的所述经刷新区域的所述确定解码所述图片。

7.根据权利要求6所述的装置，其中所述视频译码器进一步经配置以确定所述图片的所述经刷新区域包括与所述至少一个区域刷新SEI消息相关联的存取单元的所有切片区段中的译码树单元CTU集合。

8.根据权利要求6所述的装置，其中所述视频译码器进一步经配置以基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定整个所述图片是内容正确或内容近似正确中的一者。

9.根据权利要求6所述的装置，其中所述视频译码器进一步经配置以基于所述具有1的值的refreshed_region_flag语法元素，确定与所述至少一个区域刷新SEI消息相关联的切片区段属于所述图片的所述经刷新区域。

10.根据权利要求6所述的装置，

其中所述视频译码器进一步经配置以基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定与存取单元相关联的每一个区域刷新SEI消息分别包括具有1的值的refreshed_region_flag语法元素，所述存取单元包括所述至少一个区域刷新SEI消息。

11.一种非易失性计算机可读存储媒体，其具有存储于其上的指令，所述指令在执行时致使视频译码装置的处理器进行以下操作：

从经编码视频位流接收指示恢复点的恢复点补充增强信息SEI消息；

从所述经编码视频位流接收与图片相关联的至少一个区域刷新SEI消息，所述至少一个区域刷新SEI消息包括指示所述图片的经刷新区域的信息，所述信息包括具有1的值的refreshed_region_flag语法元素；

采用包括在指示所述恢复点的恢复点SEI消息中的恢复图片次序计数POC值中的值，确定所述图片是否包括可用于随机存取解码的恢复点图片；

响应于所述图片包括可用于随机存取解码的所述恢复点图片的所述确定，确定所述图片包括图片的逐渐解码器刷新GDR集合中按解码次序的最后图片，以及整个所述图片属于所述图片的所述经刷新区域；和

基于整个所述图片属于所述图片的所述经刷新区域的所述确定解码所述图片。

12.根据权利要求11所述的非易失性计算机可读存储媒体，其具有存储于其上的进一步指令，所述进一步指令在执行时致使所述视频译码装置的处理器确定所述图片的所述经刷新区域包括与所述至少一个区域刷新SEI消息相关联的存取单元的所有切片区段中的译码树单元CTU集合。

13.根据权利要求11所述的非易失性计算机可读存储媒体，其具有存储于其上的进一步指令，所述进一步指令在执行时致使所述视频译码装置的处理器：基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定整个所述图片是内容正确或内容近似正确中的一者。

14.根据权利要求11所述的非易失性计算机可读存储媒体，其具有存储于其上的进一步指令，所述进一步指令在执行时致使所述视频译码装置的处理器：基于所述具有1的值的refreshed_region_flag语法元素，确定与所述至少一个区域刷新SEI消息相关联的切片区段属于所述图片的所述经刷新区域。

15.根据权利要求11所述的非易失性计算机可读存储媒体，其具有存储于其上的进一步指令，所述进一步指令在执行时致使所述视频译码装置的处理器：基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定与存取单元相关联的每一个区域刷新SEI消息分别包括具有1的值的refreshed_region_flag语法元素，所述存取单元包括所述至少一个区域刷新SEI消息。

16.一种用于解码视频数据的装置，所述装置包括：

用于从经编码视频位流接收指示恢复点的恢复点补充增强信息SEI消息的装置；

用于从所述经编码视频位流接收与图片相关联的至少一个区域刷新SEI消息的装置，所述至少一个区域刷新SEI消息包括指示所述图片的经刷新区域的信息，所述信息包括具有1的值的refreshed_region_flag语法元素；

用于采用包括在指示所述恢复点的恢复点SEI消息中的恢复图片次序计数POC值中的值，确定所述图片是否包括可用于随机存取解码的恢复点图片的装置；

用于响应于确定所述图片包括可用于随机存取解码的所述恢复点图片，确定所述图片包括图片的逐渐解码器刷新GDR集合中按解码次序的最后图片，以及整个所述图片属于所述图片的所述经刷新区域的装置；和

用于基于整个所述图片属于所述图片的所述经刷新区域的所述确定解码所述图片的装置。

17.根据权利要求16所述的用于解码视频数据的 装置，进一步包括用于确定所述图片的所述经刷新区域包括与所述至少一个区域刷新SEI消息相关联的存取单元的所有切片区段中的译码树单元CTU集合的装置。

18.根据权利要求16所述的用于解码视频数据的 装置，进一步包括用于基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定整个所述图片是内容正确或内容近似正确中的一者的装置。

19.根据权利要求16所述的用于解码视频数据的 装置，进一步包括用于基于所述具有1的值的refreshed_region_flag语法元素，确定与所述至少一个区域刷新SEI消息相关联的切片区段属于所述图片的所述经刷新区域的装置。

20.根据权利要求16所述的用于解码视频数据的 装置，进一步包括用于基于所述图片既是所述恢复点图片，也是基于所述图片的GDR集合中按解码次序的所述最后图片，确定与存取单元相关联的每一个区域刷新SEI消息分别包括具有1的值的refreshed_region_flag语法元素的装置，所述存取单元包括所述至少一个区域刷新SEI消息。