CN104969555A - 在视频译码中具有时间可扩缩性支持的渐进式改进 - Google Patents

Abstract

本发明提供一种解码视频数据的实例方法，其包含：接收指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数POC值的信息，和基于所述所接收的信息而根据渐进式改进操作解码所述渐进式改进区段中的所述图片中的至少一些。

Description

在视频译码中具有时间可扩缩性支持的渐进式改进

本申请案主张2012年12月30日申请的美国临时申请案第61/747,347号的权利，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码，且更具体地说，涉及用于渐进式改进视频数据的技术。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电传会议装置、视频流式传输装置，和其类似者。数字视频装置实施视频压缩技术，例如描述于由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、目前正开发的高效率视频译码(HEVC)标准，和这些标准的扩展中的那些技术。视频装置可通过实施这些视频压缩技术而较有效率地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测，以减少或去除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割为视频块，其也可被称作树型块、译码单元(CU)和/或译码节点。使用相对于相同图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间预测或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量，和指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以达成更多压缩。

发明内容

大体来说，本发明描述具有时间可扩缩性的用于渐进式改进视频位流中的视频数据的技术。

在一个实例中，一种解码视频数据的方法包含：接收指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息，和基于所述所接收的信息而根据渐进式改进操作解码所述渐进式改进区段中的所述图片中的至少一些。

在另一实例中，一种编码视频数据的方法包含：根据渐进式改进操作编码渐进式改进区段中的多个图片中的至少一些图片，和产生指示经编码位流中的所述渐进式改进区段的最后图片的图片次序计数(POC)值的信息。

在另一实例中，一种用于译码视频数据的装置包含视频译码器，其经配置以进行如下操作：确定指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息，和根据渐进式改进操作译码所述渐进式改进区段中的所述图片中的至少一些。

在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使计算装置的一可编程处理器进行如下操作：确定指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息，和根据渐进式改进操作译码所述渐进式改进区段中的所述图片中的至少一些。

在另一实例中，一种用于译码视频数据的装置包含：用于确定指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息的装置，和用于根据渐进式改进操作译码所述渐进式改进区段中的所述图片中的至少一些的装置。

在随附图式和以下描述中阐述一或多个实例的细节。从所述描述和所述图式和从权利要求书，将显而易见其它特征、目标和优势。

附图说明

图1为说明可实施本发明中所描述的一或多个技术的实例视频编码和解码系统的框图。

图2为说明可实施本发明中所描述的一或多个技术的实例视频编码器的框图。

图3为说明可实施本发明中所描述的一或多个技术的实例视频解码器的框图。

图4为说明实例渐进式改进区段和对应基础图片的概念图。

图5为说明根据本发明的一或多个方面的实例过程的流程图，视频解码器和/或视频解码器的组件可执行所述实例过程以解码具有渐进式改进的经编码视频数据。

图6为说明根据本发明的一或多个方面的实例过程的流程图，视频编码器和/或视频编码器的组件可执行所述实例过程以编码具有渐进式改进的视频数据。

具体实施方式

大体来说，本发明的技术涉及使用渐进式改进来译码视频数据，同时支持经译码视频数据的时间可扩缩性。根据本发明的各种实例，视频译码装置可使用由AVC标准和HEVC标准两者支持的补充增强信息(SEI)机制提供的消息来实现渐进式改进，同时支持时间可扩缩性。以此方式，本发明的技术可提供使得视频译码装置能够利用现存的硬件、软件和通信基础架构，同时增强基于渐进式改进的译码以支持时间可扩缩性的潜在优势。

HEVC标准的最近草案(被称作“HEVC工作草案10”或“WD10”)描述于文件JCTVC-L1003v34中布罗斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案10(针对FDIS和最后通话)(High Efficiency Video Coding(HEVC)Text Specification Draft10(for FDIS&Last Call))”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第12次会议，瑞士日内瓦，2013年1月14日到23日)中，从2013年6月6日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_ Geneva/wg11/JCTVC-L1003-v34.zip下载所述文件。WD10的全部内容特此以引用的方式并入本文中。AVC(ITU-T)H.264标准描述于ITU-T研究小组于2005年3月发布的ITU-T推荐H.264(用于一般视听服务的先进视频译码)中，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4 AVC的扩展。

可从http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCT-VC-K1003-v8.zip获得HEVC的另一最近工作草案(WD)，且下文中其被称作HEVC WD9。HEVC WD9(布罗斯等人的“高效率视频译码(HEVC)文本规范草案9(High efficiencyvideo coding(HEVC)text specification draft 9)”(文件JCTVC-K1003_v7，第11次会议：中国上海，2012年10月10日到19日，第290页))的全部内容以引用的方式并入本文中。

AVC标准和HEVC标准两者都支持使用渐进式改进的视频数据译码。渐进式改进可使得装置能够译码图片的集合，例如以解码次序布置的一连串图片或一系列图片。此一连串图片在本文中被称作“渐进式改进区段”。渐进式改进区段可包含各自表示特定图片(例如，“基础图片”)的经改进版本的两个或两个以上经编码图片。可在质量或例如空间格式的其它特性方面改进图片。大体来说，不可使用基于运动的预测而从基础图片预测渐进式改进区段的经编码图片。视频译码装置可使用特定的SEI消息确定渐进式改进区段的界限，所述SEI消息例如“渐进式改进区段开始”SEI消息和“渐进式改进区段结束”SEI消息。

另外，AVC标准和HEVC标准两者都支持视频位流的时间可扩缩性。时间可扩缩性可使得视频译码装置能够确定可从经编码视频数据的完整位流抽取经编码视频数据的子集。根据时间可扩缩性而从完整位流所抽取的经编码视频数据(例如，经编码图片)的此子集可被称作“时间子集”。又，如由AVC标准和HEVC标准支持的时间可扩缩性可使得视频译码装置能够从完整位流确定多个时间子集，使得各种时间子集包含不同数目的经编码图片。较低或“较粗糙”的时间子集可包含来自完整位流的较小数目的经编码图片，且可表示较低的图片速率或帧速率。相反地，较高或“更精细”的时间子集可包含来自完整位流的较大数目的经编码图片，且可表示较高的图片速率或帧速率。

经配置以将基于渐进式改进的译码的现存实施方案应用于时间可扩缩的位流的视频译码装置可遇到或呈现关于渐进式改进区段的一或多个潜在不准确性。例如，根据渐进式改进的现存实施方案，包含于渐进式改进区段开始SEI消息中的语法元素可指示形成渐进式改进区段的连续经编码图片的数目。

因此，在传信时间子集的情况下，如由SEI消息的语法元素指示的渐进式改进区段中的连续经编码图片的数目可为不准确的。更具体地说，因为时间子集表示相比于完整位流较小数目的经编码图片，所以可缺乏原始渐进式改进区段的一或多个经编码图片。然而，不能动态地更新指示渐进式改进区段中的图片数目的语法元素来反映所抽取时间子集的对应渐进式改进区段中的经编码图片的数目减少。因此，形成位流的渐进式改进区段的连续经编码图片的数目与那个位流的时间子集的对应区段中的连续经编码图片的数目之间可存在失配。

为了缓解或潜在地消除关于时间可扩缩位流的基于渐进式改进的译码的此不准确性，本发明的技术可使得视频译码装置能够使用指示渐进式改进区段的最后经编码图片的图片次序计数(POC)值的信息来确定渐进式改进区段的界限。例如，渐进式改进区段的每一经编码图片可与静态POC值相关联。结果，不管区段是否包含于完整位流的时间子集中，信息(例如，语法元素)都可提供对区段的最后经编码图片的准确识别。在所述技术的一个实施方案中，信息可指示基础图片与渐进式改进区段的最后经编码图片的相应POC值之间的差(或“delta_POC”)。根据所述技术的另一实施方案，信息可指示基础图片与渐进式改进区段的最后经编码图片的相应POC值的相应最低有效位(LSB)之间的差。

图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后待由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能型”电话)、所谓的“智能型”板、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些状况下，源装置12和目的地装置14可经配备以进行无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括用以使源装置12能够将经编码视频数据直接实时地传输到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，并将经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于封包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它装备。

替代性地，可将经编码数据从输出接口22输出到存储装置31。类似地，可由输入接口从存储装置31存取经编码数据。存储装置31可包含多种分散式或本地存取式数据存储媒体中的任一者，例如，硬盘机、Blu-ray光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另外实例中，存储装置31可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据，和将那个经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。经编码视频数据从存储装置31的传输可为流式传输、下载传输或两者的组合。

本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，所述应用例如，空中电视广播、有线电视传输、卫星电视传输、(例如)经由因特网的流式传输视频传输、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些状况下，输出接口22可包含调制器/解调制器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如(例如)摄像机的视频捕获装置、含有先前所捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口，和/或用于产生作为源视频的计算机图形数据的计算机图形系统的源，或这些源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12与目的地装置14可形成所谓的摄像机电话或视频电话。然而，一般来说，本发明中所描述的技术可适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20编码经捕获、经预先捕获或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接传输到目的地装置14。也可(或替代地)将经编码视频数据存储于存储装置31上，以由目的地装置14或其它装置随后存取，以用于解码和/或播放。

目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些状况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置31上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，以供例如视频解码器30的视频解码器在解码视频数据时使用。这些语法元素可与在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。

显示装置32可与目的地装置14集成在一起，或在目的地装置外部。在一些实例中，目的地装置14可包含集成式显示装置，且也经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。大体来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如，目前在开发中的高效率视频译码(HEVC)标准)而操作，且可符合HEVC测试模型(HM)。替代性地，视频编码器20和视频解码器30可根据例如ITU-T H.264标准(替代性地被称作MPEG-4第10部分，先进视频编码(AVC))的其它专有或工业标准，或这些标准的扩展而操作。然而，本发明的技术并不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或独立数据流中的音频和视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。

视频编码器20和视频解码器30可各自实施为各种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当在软件中部分地实施所述技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，两者都可集成为相应装置中的组合式编码器/解码器(编码解码器(CODEC))的部分。

JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型，所述模型被称作HEVC测试模型(HM)。HM假设视频译码装置相对于根据(例如)ITU-T H.264/AVC的现有装置的若干额外能力。例如，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。

大体来说，HM的工作模型描述视频帧或图片可划分成一连串包含明度样本和色度样本两者的树型块或最大译码单元(LCU)。树型块具有与H.264标准的宏块的用途类似的用途。切片包含按译码次序的数个连续树型块。可将视频帧或图片分割成一或多个切片。每一树型块可根据四分树而分裂成译码单元(CU)。例如，树型块(作为四分树的根节点)可分裂成四个子节点，且每一子节点又可为父节点，并分裂成另外四个子节点。最后的未分裂的子节点(作为四分树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数，且也可定义译码节点的最小大小。

CU可包含明度译码块和两个色度译码块。CU可具有相关联的预测单元(PU)和变换单元(TU)。PU中的每一者可包含一个明度预测块和两个色度预测块，且TU中的每一者可包含一个明度变换块和两个色度变换块。译码块中的每一者可分割成一或多个预测块，其包括应用相同预测的样本的块。译码块中的每一者也可分割成一或多个变换块，其包括应用相同变换的样本的块。

CU的大小大体上对应于译码节点的大小，且通常为正方形形状。CU的大小的范围可从8×8像素直到具有最大64×64像素或大于64×64像素的树型块的大小。每一CU可定义一或多个PU和一或多个TU。包含于CU中的语法数据可描述(例如)译码块到一或多个预测块的分割。分割模式可在CU是经跳过或直接模式编码、经帧内预测模式编码抑或经帧间预测模式编码之间不同。预测块可经分割成正方形或非正方形形状。包含于CU中的语法数据也可描述(例如)译码块根据四分树到一或多个变换块的分割。变换块可经分割成正方形或非正方形形状。

HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU定义的给定CU内的PU的大小而设定TU的大小，但可能并非总是如此状况。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用称为“残余四分树”(RQT)的四分树结构而将对应于CU的残余样本再分为较小的单元。RQT的叶节点可表示TU。可变换与TU相关联的像素差值，以产生可被量化的变换系数。

大体来说，PU包含与预测过程相关的数据。例如，当以帧内模式编码PU时，PU可包含描述所述PU的帧内预测模式的数据。作为另一实例，当以帧间模式编码PU时，PU可包含定义所述PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

大体来说，TU用于变换过程和量化过程。具有一或多个PU的给定CU也可包含一或多个TU。在预测之后，视频编码器20可根据PU，从由译码节点识别的视频块计算残余值。接着，更新译码节点以参考残余值而非原始视频块。残余值包括像素差值，可使用TU中所指定的变换和其它变换信息将所述像素差值变换成变换系数，将其量化和扫描，以产生串列化变换系数以用于熵译码。可再次更新译码节点，以参考这些串列化变换系数。本发明通常使用术语“视频块”来指CU的译码节点。在一些具体状况下，本发明也可使用术语“视频块”来指树型块(即，LCU)，或包含一译码节点和若干PU和TU的CU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可在GOP的标头中、图片中的一或多者的标头中或在别处包含描述包含于GOP中的图片数目的语法数据。图片的每一切片可包含描述所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小方面不同。

作为一个实例，HM支持以各种PU大小进行预测。假定特定CU的大小为2N×2N，那么HM支持以2N×2N或N×N的PU大小进行帧内预测，和以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM也支持不对称分割从而以2N×nU、2N×nD、nL×2N和nR×2N的PU大小进行帧间预测。在不对称分割中，未对CU的一个方向进行分割，而将另一方向分割成25％和75％。CU的对应于25％分割区的部分由“n”继之以“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此，例如，“2N×nU”指在水平方向上分割成顶部2N×0.5N PU和底部2N×1.5N PU的2N×2N CU。

在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在垂直维度与水平维度上的像素尺寸，例如，16×16像素或16乘16像素。大体来说，16×16块在垂直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，N×N块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按行和列来布置块中的像素。另外，块未必需要在水平方向上具有与垂直方向上相同数目个像素。例如，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU进行帧内预测性译码或帧间预测性译码之后，视频编码器20可计算残余数据，由CU的TU指定的变换被应用于所述残余数据。残余数据可对应于未经编码图片的像素与对应于CU的预测值之间的像素差。视频编码器20可形成CU的残余数据，且接着变换所述残余数据以产生变换系数。

在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化大体上指如下过程：将变换系数量化以可能地减少用以表示所述系数的数据的量，从而提供进一步压缩。量化过程可减少与系数中的一些或所有相关联的位深度。例如，可在量化期间将n位值降值舍位到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数，以产生可经熵编码的串列化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器20也可熵编码与经编码视频数据相关联的语法元素，以由视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符号。所述上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可构建VLC中的码字使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可达成位节省(与(例如)针对待传输的每一符号使用相等长度码字相比较)。概率确定可基于指派给符号的上下文而进行。

视频编码器20和视频解码器30中的一者或两者可实施本发明的技术，以使用渐进式改进来译码视频数据，同时支持时间可扩缩位流。视频编码器20可经配置或可以其它方式操作以编码一系列或一连串图片，以形成渐进式改进区段。随后，视频编码器20可将渐进式改进区段作为经编码视频位流的部分传信到视频解码器30。

视频编码器20和视频解码器30中的一者或两者可将渐进式改进区段识别为在解码次序上紧接着基础图片的一连串图片。为了识别渐进式改进区段，视频编码器20和/或视频解码器30可确定渐进式改进区段开始SEI消息紧接着基础图片后。另外，未使用运动信息而从基础图片直接或间接地预测渐进式改进区段的图片。在一些实例中，渐进式改进区段的每一图片表示相对于渐进式改进序列中的前一图片的经定义的递增质量改进。

例如，渐进式改进区段的第一图片可表示相比于基础图片的具有经定义的增量的质量改进。又，渐进式改进区段的第二图片可表示相对于渐进式改进区段的第一图片的具有经定义的增量的质量改进。在各种实例中，经定义的增量可贯穿渐进式改进区段而保持相同，或其可在渐进式改进区段内的不同图片转变处发生变化。以此方式，作为整体考虑的渐进式改进区段可表示相对于基础图片的一系列一致的质量改进。

视频编码器20可编码图片，且又可通过将递增的质量改进应用于后面紧接着渐进式改进区段的每一图片的经编码图片而编码渐进式改进区段。另外，视频编码器20可使用一或多个补充增强信息(SEI)消息而传信渐进式改进区段的界限。例如，视频编码器20可(例如)紧接着渐进式改进区段中的第一图片之前，使用“渐进式改进区段开始”SEI消息传信渐进式改进区段的开始界限。类似地，视频编码器20可(例如)紧接着渐进式改进区段中的最后图片之后，使用“渐进式改进区段结束”SEI消息传信渐进式改进区段的结束界限。以下的表1中说明如HEVC工作草案(例如，“WD9”)中所支持的SEI消息的概述。

表1.SEI消息的概述

以下的语法表1中说明如HEVC WD9中所支持的渐进式改进区段开始SEI消息的语法和语义。

语法表1

如所描述，视频编码器20可编码渐进式改进区段开始SEI消息，以指定渐进式改进区段的开端。相对应地，视频解码器30可在解码所接收的经编码视频位流时，解码渐进式改进区段开始SEI消息，并确定经编码渐进式改进区段的开端，以(例如)识别经编码渐进式改进区段中的第一图片。基于视频编码器20根据解码次序传信渐进式改进区段中的连续图片的集合，视频解码器30可按所传信次序解码渐进式改进区段。另外，在一些实例中，视频编码器20可产生并按输出次序传信作为连续经编码图片的集合的渐进式改进区段。在这些实例中，视频解码器30也可按输出次序解码渐进式改进区段。

包含于渐进式改进区段开始SEI消息中的“progressive_refinement_id”语法元素可识别定义渐进式改进区段的连续图片之间的递增质量改进的渐进式改进操作。例如，视频编码器20可将progressive_refinement_id语法元素的值设定为处于以0开始且以(2^32-2)结束的数值范围内(包含所述两值)。更具体地说，视频编码器20可设定progressive_refinement_id语法元素的值，以指示定义渐进式改进区段的连续图片之间的递增质量改进的特定渐进式改进操作。

反过来，视频解码器30可解码渐进式改进区段开始SEI消息，以获得所传信的progressive_refinement_id语法元素的值。另外，视频解码器30可使用progressive_refinement_id语法元素的值，以确定要应用于所传信的经编码基础图片的渐进式改进操作，以解码渐进式改进区段的第一经编码图片。

类似地，视频解码器30可将由progressive_refinement_id语法元素所指示的渐进式改进操作应用于渐进式改进区段的除了渐进式改进区段的最后图片的每一图片。换句话说，视频解码器30可反复地应用由progressive_refinement_id语法元素的值所识别的操作，所述操作以渐进式改进区段的第一图片为开端，并在渐进式改进区段的倒数第二图片处结束。更具体地说，通过将由progressive_refinement_id语法元素的值所识别的改进操作应用于经编码基础图片，和渐进式改进区段的第一经编码图片到倒数第二经编码图片中的每一者，视频解码器30可解码整个渐进式改进区段。

另外，在编码渐进式改进区段开始SEI消息时，视频编码器20可设定num_refinement_steps_minus1语法元素的值，以指示包含于构成渐进式改进区段的经编码图片的经标记集合中的经编码图片的数目。更具体地说，在视频编码器20将num_refinement_steps_minus1语法元素的值设定为非零值的情况下，包含于渐进式改进区段中的经编码图片的数目可等于num_refinement_steps_minus1语法元素的值加上1。

反过来，视频解码器30可使用num_refinement_steps_minus1语法元素的值，以确定解码整个渐进式改进区段所必要的渐进式改进操作的反复应用的数目。更具体地说，视频解码器30可将由progressive_refinement_id语法元素的值所指示的渐进式改进操作应用于基础图片，以解码渐进式改进区段的第一经编码图片。另外，视频解码器30可反复地将相同的渐进式改进操作应用于在解码次序上紧接着基础图片的一系列经编码图片。

更具体地说，视频解码器30可将所识别的渐进式改进操作反复地应用于等于num_refinement_steps_minus1语法元素的值的数目的连续经编码图片。因为num_refinement_steps_minus1语法元素表示比包含于渐进式改进区段中的经编码图片的总数目小1的值，所以视频解码器30可将渐进式改进操作反复地应用于渐进式改进区段的除了渐进式改进区段的最后经编码图片的每一经编码图片。换句话说，视频解码器30可应用由progressive_refinement_id语法元素和num_refinement_steps_minus1语法元素所指示的值，以将相同的渐进式改进操作应用于经编码基础图片，和以渐进式改进区段的第一项为开端并在渐进式改进区段的倒数第二项处结束的一系列经编码图片。

另外，视频编码器20可编码并传信“渐进式改进区段结束”SEI消息，以指定或以其它方式指示渐进式改进区段的结束。在一些实例中，视频编码器20可结合渐进式改进区段的最后经编码图片，或在所述图片之后传信渐进式改进区段结束SEI消息。以下的语法表2中说明如HEVC WD9中所支持的渐进式改进区段结束SEI消息的语法和语义。

语法表2

如上文的语法表2中所展示，视频编码器20可将渐进式改进区段结束SEI消息产生为包含progressive_refinement_id语法元素。更具体地说，视频编码器20可将progressive_refinement_id语法元素的值设定为与当前渐进式改进区段的对应渐进式改进区段开始SEI消息中所指定的progressive_refinement_id语法元素的值相同的值。如所描述，视频编码器20可将progressive_refinement_id语法元素的值设定为处于以0开始且在(2^32-2)处结束的数值范围内(包含所述两值)。

反过来，视频解码器30可解码在经编码视频位流中所接收的经编码渐进式改进区段结束SEI消息，以确定渐进式改进区段的结束界限。明确地说，视频解码器30可基于检测到渐进式改进区段结束SEI消息而确定停止应用渐进式改进操作来解码经编码视频位流中所传信的后续经编码图片。作为一个实例，视频解码器30可确定接在渐进式改进区段之后的第一经编码图片是使用来自经编码视频位流中所传信的前一经编码图片的运动信息来预测的。

另外，根据HEVC WD9，视频编码器20和视频解码器30中的一者或两者可支持经编码视频位流的时间可扩缩性。例如，视频编码器20和视频解码器30可支持由不同经编码视频位流所提供的变化的图片速率(或“帧速率”)。例如，为了支持比完整经编码视频位流低的时间图片速率，视频编码器20可传信完整经编码视频位流的子集。在具体实例中，视频编码器20可传信包含于完整经编码视频位流中的经编码图片的子集。换句话说，相比于完整经编码视频位流，所传信的经编码图片的子集可至少少1个经编码图片。由视频编码器20所传信以支持较低图片速率的经编码图片的子集在本文中被称作“时间子集”或“子位流”。

根据经由经编码视频位流的时间可扩缩性而提供的不同图片速率，视频编码器20可传信不同的时间子集。在一个实例中，视频编码器20可通过传信完整经编码视频位流的第一时间子集而支持较低的图片速率。根据此实例，视频编码器20可通过传信第二时间子集而支持中间图片速率，相比第一时间子集，所述第二时间子集至少多1个经编码图片，但相比完整经编码视频位流至少少1个经编码图片。在此实例中，视频编码器20可通过传信完整经编码视频位流的全部(例如，经编码图片的完整集合)而传信最高可能的图片速率。

然而，在视频编码器20根据HEVC WD9将渐进式改进区段传信为时间子集的部分的情况下，视频编码器20可未经配置以动态地更新包含于渐进式改进区段开始SEI消息中的num_refinement_steps_minus1的值。结果，视频编码器20可潜在地传信包含于经时间扩缩的渐进式改进区段中的经编码图片的不准确计数。更具体地说，在从完整经编码视频位流产生时间子集或子位流时，视频编码器20可从完整位流去除一或多个经编码图片，使得时间子集中的对应于渐进式改进区段的图片的数目小于针对图片的完整集合所提供的图片的数目。

在一些情境下，视频编码器20可去除包含于渐进式改进区段中的一或多个经编码图片。在视频编码器20从渐进式改进区段去除一或多个经编码图片以在时间上扩缩完整位流的情境下，num_refinement_steps_minus1语法元素可表示不正确的值。更具体地说，num_refinement_steps_minus1语法元素的值可指示原始渐进式改进区段中的经编码图片的数目(如完整位流中所表示)减去一。然而，在此情境下，相比完整位流的原始渐进式改进区段，经时间扩缩的渐进式改进区段可包含较少数目的经编码图片。因此，视频编码器可关于经时间扩缩的渐进式改进区段产生并传信具有不正确的值的num_refinement_steps_minus1语法元素。

反过来，视频解码器30可解码经编码渐进式改进开始SEI消息，并由此获得由num_refinement_steps_minus1语法元素所指示的关于经时间扩缩的渐进式改进区段的不正确的值。结果，视频解码器30可将由progressive_refinement_id识别的渐进式改进操作应用于数目超过经时间扩缩的渐进式改进区段中的经编码图片的数目的连续经编码图片。在一些这些实例中，视频解码器30可仅使用渐进式改进操作来解码经编码图片，其中实际上，经编码图片并不表示对基础图片的质量改进，或除例如基于运动的预测的其它修改以外也表示质量改进。

为了缓和或消除上文所描述的关于经时间扩缩的渐进式改进区段的潜在不准确性，视频编码器20和/或视频解码器30可实施本发明的一或多个技术。在本文中所描述的技术的一些实施方案中，不管经编码视频位流为时间子集抑或为完整位流，视频编码器20和视频解码器30都可使用渐进式改进区段的最后项的图片次序计数(POC)值来识别经编码视频位流中的渐进式改进区段的界限。因为经编码图片的POC值可为静态值，所以可不要求视频解码器30基于所传信的经编码图片的数目导出渐进式改进区段的结束界限的POC值。

实情为，根据本文中所描述的技术的一些实施方案，视频解码器30可在解码区段的最后经编码图片时，基于区段的最后经编码图片的POC值检测渐进式改进序列的结束界限。在各种实例中，通过产生并传信指示经编码视频位流中的区段的最后图片的POC值的信息，由视频编码器20所编码的信息可使得视频解码器30能够检测区段的最后经编码图片。

在各种实例中，视频编码器20可实施本发明的一或多个技术，以修改渐进式改进区段开始SEI消息来包含指示渐进式改进区段的最后经编码图片的POC值的信息。在一些实例中，视频编码器20可经配置以在渐进式改进区段开始SEI消息中包含直接或间接地指示渐进式改进区段中的最后经编码图片的POC值的一或多个语法元素。

根据一个此实施方案，视频编码器20可产生指示“差量POC”值的语法，以指示基础图片的POC值与渐进式改进区段的最后图片的POC值之间的差。根据另一此实施方案，视频编码器20可产生指示“差量LSB”值的语法元素，所述值指示基础图片与渐进式改进区段的最后图片的相应最低有效位(LSB)之间的差。

以下的语法表3中描述根据本发明的一或多个方面的渐进式改进区段开始SEI消息的一个实例的语法和语义，视频编码器20可在所述消息中包含差量POC语法元素。

语法表3

在语法表3的实例中，由“pic_order_cnt_delta”表示差量POC语法元素。在视频编码器20传信差量POC语法元素的实施方案中，视频解码器30可使用所传信的差量POC语法元素的值以确定渐进式改进区段的最后经编码图片。更具体地说，视频解码器30可基于检测渐进式改进区段开始SEI消息来检测渐进式改进区段的开端。另外，视频解码器30可将差量POC语法元素的值应用于基础图片的POC值，以获得渐进式改进区段的最后图片的POC值。接下来，视频解码器30可将由progressive_refinement_id语法元素的值指示的渐进式改进操作反复地应用于接在基础图片之后的一系列经编码图片中的每一者，直到视频解码器30检测到区段的最后图片为止。明确地说，视频解码器30可基于如基于差量POC语法元素的值所导出的最后图片的POC值，检测渐进式改进区段的最后图片。

类似地，在视频编码器20传信差量LSB语法元素的实施方案中，视频解码器30可将差量LSB语法元素的值应用于基础图片的POC值的LSB。通过将差量LSB语法元素的值应用于基础图片的POC值的LSB，视频解码器30可获得渐进式改进区段中的最后经编码图片的POC值的LSB。接下来，视频解码器30可使用所获得的渐进式改进区段中的最后经编码图片的POC值的LSB，检测渐进式改进区段的结束界限。

更具体地说，视频解码器30可通过反复地应用所识别的渐进式改进操作而解码构成渐进式改进区段的一系列经编码图片，直到视频解码器30检测到区段的最后经编码图片为止。在使用POC值的LSB检测到渐进式改进区段的最后经编码图片时，视频解码器30可停止根据渐进式改进区段开始SEI消息中所指定的参数(即，由progressive_refinement_id语法元素的值所识别的操作)的解码。

通过实施上文所描述的技术中的一或多者，视频编码器20和视频解码器30中的一者或两者可使用渐进式改进实施视频译码，同时支持经编码视频位流的时间可扩缩性。根据各种实例，不管渐进式改进区段是否经时间扩缩而包含比原始所确定的数目少的图片，视频编码器20和/或视频解码器30都可使用例如POC值的静态信息来确定渐进式改进区段的界限。

以此方式，源装置12和目的地装置14中的一者或两者可为用于译码视频数据的装置的实例，其包括视频译码器，即分别为视频编码器20和视频解码器30。另外，根据上文所描述的技术，视频编码器20和视频解码器30中的一者或两者可为经配置以确定指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息并根据渐进式改进操作而译码渐进式改进区段中的图片中的至少一些的视频译码器的实例。

另外，在一些实例中，所确定的信息包含指示后面紧接着渐进式改进区段的图片的POC值与渐进式改进区段的最后图片的POC值之间的差的差量POC值。在一些实例中，所确定的信息包含指示后面紧接着渐进式改进区段的图片的POC值的LSB与渐进式改进区段的最后图片的POC值的LSB之间的差的最低有效位(LSB)的差量。在一些实例中，所确定的信息包含渐进式改进区段的最后图片的POC值。

根据本文中所描述的技术的一些实施方案，为了确定所述信息，视频编码器20和/或视频解码器30可经配置以至少部分基于包含于经编码位流中的补充增强信息(SEI)消息而确定所述信息。在一个此实例中，SEI消息包括指示渐进式改进区段的开始界限的渐进式改进区段开始SEI消息。

在根据本文中所描述的技术的一些实例中，视频编码器20和/或视频解码器30可经进一步配置以确定在经编码视频位流中经编码图片后面紧接着渐进式改进区段。在一个此实例中，渐进式改进序列中的多个图片中的每一者定义相比于后面紧接着渐进式改进序列的经编码图片的质量改进。

根据本发明的技术的一些实施方案，为了根据渐进式改进操作译码渐进式改进区段中的图片中的至少一些，视频编码器20和/或视频解码器30可经配置以将渐进式改进操作应用于渐进式改进区段中的除了渐进式改进区段中的最后图片的每一图片。在一些实施方案中，视频编码器20和/或视频解码器30可包含集成电路、微处理器，和包括视频编码器20和视频解码器30中的相应一者或两者的通信装置中的至少一者。在一些实例中，视频编码器20可经配置以解码经编码视频数据。

图2为说明可实施根据本发明的一或多个方面的用于编码视频数据的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码和帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的译码模式中的任一者。

如图2中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含预测处理单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为了视频块重构建，视频编码器20也包含反量化单元58、反变换单元60和求和器62。也可包含解块滤波器(图2中未展示)以对块边界滤波从而从经重构建的视频去除方块效应伪影。如果需要，那么解块滤波器将通常对求和器62的输出滤波。除解块滤波器以外，也可使用额外的滤波器(回路内或回路后)。为简洁起见未展示这些滤波器，但如果需要，这些滤波器可对求和器62的输出滤波(作为回路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可由预测处理单元41将帧或切片划分成多个视频块。运动估计单元42和运动补偿单元44执行相对于一或多个参考帧中的一或多个块的对所接收的视频块的帧间预测性译码，以提供时间预测。帧内预测单元46可替代性地执行相对于在与待译码的块相同的帧或切片中的一或多个相邻块的对所接收的视频块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次(例如)以选择用于视频数据的每一块的适当译码模式。

此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。例如，分割单元48可初始地将帧或切片分割成LCU，和基于位率-失真分析(例如，位率-失真优化)而将所述LCU中的每一者分割成子CU。预测处理单元40可进一步产生指示将LCU分割成子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU和一或多个TU。

预测处理单元40可(例如)基于错误结果选择译码模式(帧内或帧间)中的一者，并将所得的经帧内或帧间译码的块提供到求和器50以产生残余块数据，和提供到求和器62以重构建经编码块以便用作参考帧。预测处理单元40也将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此语法信息)提供到熵编码单元56。预测处理单元40可使用位率-失真分析选择一或多个帧间模式。

运动估计单元42和运动补偿单元44可高度集成，但出于概念性目的而分别说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。例如，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块(其关于所述当前帧(或其它经译码单元)内正被译码的当前块)的位移。预测性块为被发现在像素差方面紧密地匹配待译码的块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量予以确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的次整数像素位置的值。例如，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运动估计单元42可执行相对于全像素位置和分率像素位置的运动搜索，且以分率像素精度输出运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置而计算所述PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)选择参考图片，所述列表中的每一者识别存储于参考帧存储器64中的一或多个参考图片。运动估计单元42将经计算运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生所述预测性块。再一次，在一些实例中，运动估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量时，运动补偿单元44可在参考图片列表中的一者中找到运动向量所指向的预测性块。求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值(如下文所论述)来形成残余视频块。大体来说，运动估计单元42执行关于明度译码块的运动估计，且运动补偿单元44将基于明度译码块所计算的运动向量用于色度译码块与明度译码块两者。预测处理单元40也可产生与视频块和视频切片相关联的语法元素，以供视频解码器30用于解码视频切片的视频块。

作为由运动估计单元42和运动补偿单元44执行的帧间预测(如上文所描述)的替代，帧内预测单元46可帧内预测当前块。明确地说，帧内预测单元46可确定将用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，预测处理单元40)可从所测试的模式选择待使用的适当帧内预测模式。

例如，帧内预测单元46可使用对各种经测试的帧内预测模式的位率-失真分析而计算位率-失真值，且在经测试模式当中选择具有最佳位率-失真特性的帧内预测模式。位率-失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量以及用以产生经编码块的位率(即，位数目)。帧内预测单元46可从各种经编码块的失真和位率计算比率，以确定哪一帧内预测模式展现块的最佳位率-失真值。

在选择块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选择的帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选择的帧内预测模式的信息。视频编码器20可在经传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也被称作码字映射表)、各种块的编码上下文的定义，和将用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示。

视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50代表执行此减法运算的(多个)组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换的变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如频域)。变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位率。量化过程可减少与系数中的一些或所有相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代性地，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56熵译码所述经量化的变换系数。例如，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行的熵译码之后，可将经编码位流传输到另一装置(例如，视频解码器30)或经封存以供稍后传输或检索。

反量化单元58和反变换单元60分别应用反量化和反变换，以在像素域中重构建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将所述残余块添加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可对所述经重构建的残余块应用一或多个内插滤波器以计算用于在运动估计中使用的次整数像素值。求和器62将所述经重构建的残余块添加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重构建的视频块以用于存储于参考帧存储器64中。所述经重构建的视频块可由运动估计单元42和运动补偿单元44用作参考块，以帧间译码后续视频帧中的块。

视频编码器20的各种组件可经配置以实施本发明的技术中的一或多者，以使用渐进式改进编码视频数据，同时支持视频位流的时间可扩缩性。例如，视频编码器20可实施技术中的一或多者，以产生并传信补充增强信息(SEI)消息，使得SEI消息使接收装置(例如，视频解码器或其组件)能够确定渐进式改进区段的开始和结束界限，而不管区段是否经时间扩缩而包含较少的经编码图片。在一个实例中，根据本发明的一或多个方面，预测处理单元40可经配置以产生渐进式改进区段开始SEI消息。

根据HEVC WD 9、AVC或其它视频译码标准，视频编码器20可经配置为在经编码视频位流中包含元数据。在各种实例中，视频编码器20可包含元数据，解码器并不需要所述元数据来解码所传信的经编码视频位流。作为一些实例，视频编码器20可传信使得视频解码器能够确定图片输出时序，确定与一或多个图片相关联的显示信息，检测丢失信息并隐藏和/或修复检测到的丢失的元数据。

另外，视频编码器20可在经编码视频位流中所传信的特定存取单元(AU)中产生任何数目个SEI网络抽象层(NAL)单元。视频编码器20又可在特定SEI NAL单元中包含任何数目个SEI消息。根据HEVC WD9，上文的表1列出视频编码器20可产生的各种SEI消息，和所列出的SEI消息的对应使用/用途。

视频编码器20可经配置或可以其它方式进行操作以产生并在经编码视频位流中传信渐进式改进区段。如关于图1所描述，根据HEVC WD9，渐进式改进区段可包含按解码次序的一连串经编码图片。在一些实例中，也可根据输出次序布置渐进式改进区段中的经编码图片序列。明确地说，渐进式改进区段的每一经编码图片可表示相比于在解码次序上后面紧接着渐进式改进区段的经编码图片的递增且累积的质量改进。

视频编码器20可传信渐进式改进区段开始SEI消息，以指示渐进式改进区段的开始界限。如上文的语法表1中所说明，根据HEVC WD9，视频编码器20可在渐进式改进区段开始SEI消息中包含progressive_refinement_id语法元素和num_refinement_steps_minus1语法元素。根据HEVC WD9，视频编码器20可确定渐进式改进区段继续(例如，经编码位流中的每一后续经编码图片仅为相对于前一经编码图片的质量改进)，直到满足一或多个条件为止。例如，视频编码器20可确定渐进式改进区段继续，直到满足如下条件中的一者为止：

-视频编码器20确定新的经译码视频序列的开端。

-视频编码器20确定经编码视频位流的末端。

-视频编码器20确定num_refinement_steps_minus1语法元素的值大于零，且按解码次序的下一切片的POC值(由“pic_order_cnt_lsb”表示)的最低有效位等于以下公式的输出：(currPicOrderCntLsb+num_refinement_steps_minus1+1)％MaxPicOrderCntLsb，其中currPicOrderCntLsb为含有SEI消息的存取单元中的图片的pic_order_cnt_lsb的值。“％”算子表示模运算，其得到整数除法运算的余数的值。

-视频编码器20确定num_refinement_steps_minus1的值等于零，且具有与当前渐进式改进区段开始SEI消息中的progressive_refinement_id值相同的progressive_refinement_id值的渐进式改进区段结束SEI消息经编码。

另外，视频编码器20可通过将SEI NAL单元产生为包含渐进式改进区段开始SEI消息，和产生具有等于零的值的“nuh_reserved_zero_6bits”语法元素，而向解码器指示SEI NAL单元在解码次序上先于当前AU中的第一视频译码层(VCL)NAL单元。视频编码器20可将progressive_refinement_id语法元素的值设定为处于以0开始且在(2^32-2)处结束的数值范围内(包含所述两值)。例如，视频编码器20可将progressive_refinement_id语法元素设定为0到255的范围(包含所述两值)中的值，和512到(2^31-1)的范围(包含所述两值)中的值，以识别与渐进式改进区段相关联的具体渐进式改进操作。换句话说，在上文所描述的范围中的指派到progressive_refinement_id语法元素的任何值可与HEVC WD9中所支持的特定渐进式改进操作相关联。

另一方面，保留属于256到511的范围(包含所述两值)和2^31到(2^32-2)的范围(包含所述两值)的progressive_refinement_id语法元素的值，以供未来由ITU-T和/或ISO/IEC使用。更具体地说，如果视频编码器20将progressive_refinement_id语法元素设定为上文所描述的所保留范围中的一者中的值，那么例如视频解码器的接收位流的装置可略过progressive_refinement_id语法元素。明确地说，为了略过此语法元素，视频解码器可从所接收的经编码视频位流去除progressive_refinement_id语法元素，并舍弃progressive_refinement_id语法元素。

如所描述，视频编码器20和/或其组件可经配置以(例如)根据HEVC WD9来支持经编码视频位流的时间可扩缩性。例如，视频编码器20可产生完整经编码视频位流，例如解码装置或中间装置的接收装置可从其抽取子位流。例如，例如流式传输服务器或媒体感知网络元件(“MANE”)的中间装置可从包含于完整经编码视频位流中的经编码图片的完整集合抽取经编码图片的时间子集。在一些实例中，时间子集可表示包含于完整经编码视频位流中的经编码图片的完整集合的真实子集。根据这些实例，完整经编码视频位流可包含时间子集的每个经编码图片，和并不包含于时间子集中的至少一额外经编码图片。

为了根据时间可扩缩性支持各种图片速率，中间装置可经配置以从包含于完整经编码视频位流中的经编码图片的完整集合抽取具有不同图片计数的时间子集。由中间装置抽取(例如，以支持变化的图片速率)的每一不同时间子集可表示可独立解码的时间子集或子位流。换句话说，接收从完整经编码视频位流抽取的经时间扩缩子位流的视频解码器可在无任何额外数据(例如，包含于完整经编码视频位流中但从子位流排除的信息)的情况下解码经编码图片的时间子集。

根据HEVC WD9，由视频编码器20产生的完整经编码视频位流可包含若干时间子层。另外，由视频编码器20产生的每一NAL单元可属于如由对应“TemporalId”值所指示的具体子层。例如，视频编码器20可将NAL单元的TemporalId的值设定为等于对应“temporal_id_plus1”语法元素的值减去一。另外，视频编码器20可确定单一图片的所有VCL NAL单元属于单一子层(即，相同子层)。换句话说，视频编码器20可编码图片，使得经编码图片自身属于对应于与经编码图片相关联的NAL单元的特定子层。

例如，根据HEVC WD9，视频编码器20可产生经编码视频位流，使得对位流的较低子层的解码过程并不取决于位流的较高子层中的数据。另外，中间装置可通过从符合HEVC WD9的完整位流去除与高于具体值的TemporalId值相关联的所有NAL单元，而从完整位流产生子位流。以此方式产生的子位流自身又可表示符合HEVC WD9的位流。视频编码器20和/或其一或多个组件可确保完整经编码视频位流和其任何给定子层满足关于HEVC WD9的位流符合性的所有条件(例如，缓冲器限制)。

如所描述，在时间扩缩完整经编码视频位流时，中间装置可从完整经编码视频位流抽取经编码图片的时间子集。例如，时间子集可为在完整经编码视频位流中所传信的经编码图片的真实子集，且因此，中间装置可从完整经编码位流去除一或多个经编码图片以产生子位流。在实例中，中间装置可去除包含于渐进式改进区段中的一或多个经编码图片。然而，在这些实例中，中间装置可未经配置以更新在渐进式改进区段开始SEI消息中所传信的数据来反映包含于经时间扩缩渐进式改进区段中的经编码图片的数目改变(即，减少)。换句话说，中间装置可潜在地将num_refinement_steps_minus1语法元素的不正确值传信到接收装置，例如视频解码器。接下来，通过传达num_refinement_steps_minus1语法元素的不正确值，中间装置可使得视频解码器应用渐进式改进操作以解码在经时间扩缩渐进式改进区段的末端之后的图片。

为了缓和或消除对在经编码视频位流中位于渐进式改进区段的末端之后的图片的错误解码，视频编码器20可实施本发明的一或多个技术。根据技术的一些实施方案，视频编码器20可将渐进式改进区段开始SEI消息产生为包含使得视频解码器能够确定渐进式改进区段的最后图片的图片次序计数(POC)值的信息。POC值可表示与经编码视频位流中所传信的特定经编码图片相关联的静态值，且因此，不管时间扩缩如何，其都可识别特定经编码图片。

例如，通过导出渐进式改进区段的最后经编码图片的POC值，接收经编码视频位流的视频解码器可准确地识别最后经编码图片。更具体地说，不管中间装置是否已时间扩缩渐进式改进区段，视频解码器都可识别渐进式改进区段的最后经编码图片。在中间装置时间扩缩渐进式改进区段的实例中，不管中间装置将渐进式改进区段时间扩缩到何程度，视频解码器都可准确地识别渐进式改进区段的最后图片。换句话说，不管中间装置使用时间可扩缩性所产生的图片速率如何，视频解码器都可识别渐进式改进区段的最后经编码图片(即，结束界限)。

根据本文中所描述的技术的各种实施方案，视频编码器20可将渐进式改进区段开始SEI消息产生为包含解码器可用以确定与渐进式改进区段的最后经编码图片相关联的POC值的信息。在一个实施方案中，视频编码器20可将渐进式改进区段开始SEI消息产生为包含指示“差量POC”值的数据。更具体地说，视频编码器20可产生差量POC值，使得差量POC值指示基础图片的POC值与渐进式改进区段的最后经编码图片的POC值之间的差。

接收由视频编码器20产生的经编码视频位流的视频解码器可使用渐进式改进区段开始SEI消息来检测对应渐进式改进区段的开始界限(例如，第一经编码图片)。另外，通过将差量POC值应用于基础图片(例如，按解码次序后面紧接着开始界限的经编码图片)的POC值，视频解码器可确定渐进式改进区段的结束界限(例如，最后经编码图片)。例如，通过将差量POC值应用于基础图片的POC值，视频解码器可导出渐进式改进区段的结束界限的POC值。

如所描述，特定经编码图片的POC值可为与经编码图片相关联的静态值，且可指示经编码图片在解码次序上的位置。通过为解码器提供藉以导出渐进式改进区段的结束界限的POC值的数据，视频编码器20可使得解码器能够确定渐进式改进区段的结束界限，而无关于中间装置是否时间扩缩和以何量值时间扩缩渐进式改进区段。视频编码器20可以“pic_order_cnt_delta”语法元素的形式传信差量POC值，如上文的语法表3中所说明。在各种实例中，视频编码器20可在渐进式改进区段开始SEI消息中，或在与基础图片的相应切片相关联的一或多个切片标头中传信pic_order_cnt_delta语法元素。以此方式，视频编码器20可实施本发明的一或多个技术，以使得解码器能够使用对应渐进式改进操作来解码渐进式改进序列，同时支持经编码视频位流的时间可扩缩性。

根据视频编码器20将渐进式改进区段开始SEI消息产生为包含与渐进式改进区段的结束界限的POC值相关联的数据的一些实施方案，视频编码器20可在渐进式改进区段开始SEI消息中包含最低有效位(LSB)的差量。在这些实施方案中，视频编码器20可产生LSB的差量，以指示基础图片的POC值的LSB值与渐进式改进区段的最后经编码图片的POC值的LSB值之间的差。

视频编码器20又可使得接收经编码视频位流的解码器能够通过将LSB的差量应用于基础图片的POC值的LSB而导出渐进式改进区段的结束界限的POC值。例如，视频编码器20可将渐进式改进区段开始SEI消息产生为包含指示LSB的差量的语法元素，而非“num_refinement_steps_minus1”语法元素。根据一些实施方案，视频编码器20可将语法元素传信为与基础图片的相应切片相关联的一或多个切片标头的部分。

通过包含语法元素以指示LSB的差量，熵编码单元56可使得解码器能够确定渐进式改进区段的结束界限，而无关于中间装置是否时间扩缩和以何量值时间扩缩渐进式改进区段。例如，通过传信LSB的差量，视频编码器20可使得解码器能够导出渐进式改进区段的结束界限的POC值，并由此使用与结束界限相关联的静态值来识别结束界限。以此方式，视频编码器20可实施本发明的一或多个技术，以使得解码器能够使用对应的渐进式改进操作来解码渐进式改进序列，同时支持经编码视频位流的时间可扩缩性。

根据本文中所描述的技术的其它实施方案，视频编码器20可将渐进式改进区段开始SEI消息产生为包含指示连续经编码图片的数目的数据，所述连续经编码图片1)与小于或等于基础图片的TemporalId值的TemporalId值相关联，且2)表示对基础图片的渐进式质量改进。在一些实例中，降低的TemporalId值可指示经编码视频位流中的根据解码次序之前进。例如，渐进式改进区段的第一经编码图片可具有小于基础图片的TemporalId值的TemporalId值。渐进式改进区段的第二经编码图片又可具有小于渐进式改进区段的第一经编码图片的TemporalId的TemporalId值，等等。

基础图片可为包含于当前存取单元中的经编码图片，且基础图片可在解码次序上后面紧接着渐进式改进区段的第一经编码图片。在一些实例中，基础图片也可在输出次序上后面紧接着渐进式改进区段的第一经编码图片。在一些这些实例中，渐进式改进区段可包含在解码次序和输出次序两者上连续的一连串经编码图片。

根据本文中所描述的技术的这些实施方案，视频编码器20可将渐进式改进区段开始SEI消息产生为包含指示连续经编码图片的数目的数据，所述连续经编码图片具有小于基础图片的TemporalId值的TemporalId值，以及表示对基础图片的渐进式质量改进。例如，信息可指示构成渐进式改进区段的序列中的经编码图片的数目。在这些实施方案中，中间装置可确定符合上文所列的条件的连续经编码图片的数目。例如，中间装置可关于从完整经编码视频位流抽取的经编码图片的每一时间子集确定符合所述条件的连续经编码图片的数目。

通过确定符合上文的条件的连续经编码图片的数目，甚至在中间装置时间扩缩渐进式改进区段的情境下，中间装置仍可较准确地确定可从渐进式改进区段获得的经编码图片的数目。中间装置又可传达所确定的连续经编码图片的数目，所述连续经编码图片具有小于基础图片的TemporalId值的TemporalId值，以及表示对基础图片的渐进式质量改进。在各种实例中，视频编码器20可将渐进式改进区段开始SEI消息产生为包含指示所确定的连续经编码图片的数目的语法元素，所述连续经编码图片具有小于基础图片的TemporalId值的TemporalId值，以及表示对基础图片的渐进式质量改进。例如，视频编码器20可将渐进式改进区段开始SEI消息产生为包含指示所确定的数目的语法元素，而非上文的语法表1中所说明的num_refinement_steps_minus1语法元素。在一些实例中，视频编码器20可将指示所确定的数目的语法元素传信为与基础图片的相应切片相关联的一或多个切片标头的部分。

通过传信具有小于基础图片的TemporalId值的TemporalId值且表示对基础图片的渐进式质量改进的连续经编码图片的数目，视频编码器20可为视频解码器提供准确长度的渐进式改进区段。作为一个实例，通过将上文所描述的信息传信为渐进式改进区段开始SEI消息的部分，不管中间装置是否时间扩缩渐进式改进区段，视频编码器20都可为接收解码器提供所述长度的渐进式改进区段。反过来，不管解码器是否时间扩缩或以何量值时间扩缩渐进式改进区段，接收渐进式改进区段开始SEI消息的解码器都可利用包含于渐进式改进区段开始SEI消息中的语法元素来确定渐进式改进区段的长度。以此方式，视频编码器20可实施本发明的一或多个技术以传信连续经编码图片的数目，所述连续经编码图片1)具有小于基础图片的TemporalId的TemporalId值，且2)表示对基础图片的渐进式质量改进，由此使得视频解码装置能够解码渐进式改进区段，同时支持时间可扩缩的视频位流。

如关于图2所描述，视频编码器20和/或其组件可执行编码视频数据的方法，所述方法包含根据渐进式改进操作编码渐进式改进区段中的多个图片中的至少一些图片，并产生指示经编码位流中的渐进式改进区段的最后图片的图片次序计数(POC)值的信息。在上文关于视频编码器20所描述的方法的一些实例实施方案中，所产生的信息包含差量POC值，其指示后面紧接着渐进式改进区段的图片的POC值与渐进式改进区段的最后图片的POC值之间的差。根据上文关于视频编码器20所描述的方法的一些实例实施方案，所产生的信息包含最低有效位(LSB)的差量，其指示后面紧接着渐进式改进区段的图片的POC值的LSB与渐进式改进区段的最后图片的POC值的LSB之间的差。在上文关于视频编码器20所描述的方法的一个实例中，所产生的信息包含渐进式改进区段的最后图片的POC值。

根据上文关于视频编码器20所描述的方法的一些实施方案，产生所述信息包括将所述信息包含于待在经编码视频位流中传信的补充增强信息(SEI)消息中。在一个此实施方案中，SEI消息包括指示渐进式改进区段的开始界限的渐进式改进区段开始SEI消息。根据上文关于视频编码器20所描述的方法的一些实施方案，所述方法可进一步包含在经编码视频位流中确定经编码图片后面紧接着渐进式改进区段。在一个此实施方案中，渐进式改进序列中的每一图片定义相比于后面紧接着渐进式改进序列的经编码图片的质量改进。

在上文关于视频编码器20所描述的方法的一些实例中，所述方法可进一步包括检测渐进式改进区段中的多个图片的最后图片，和停止根据渐进式改进操作的编码。根据上文关于视频编码器20所描述的方法的一些实施方案，根据渐进式改进操作编码渐进式改进区段中的图片中的至少一些包括：将渐进式改进操作应用于渐进式改进区段中的除了渐进式改进区段中的最后图片的每一图片。

在一些实例中，视频编码器20可包含于用于译码视频数据的装置中，例如，桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能型”电话、所谓的“智能型”板)、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在这些或其它实例中，用于译码视频数据的此装置可包含集成电路、微处理器和包含视频编码器20的通信装置中的一或多者。在一些实例中，视频编码器20也可经配置以(例如)经由熵解码经编码视频数据而解码经编码视频数据。

图3为说明可实施根据本发明的一或多个方面的用于解码视频数据的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、求和器80和参考图片存储器82。在图2的实例中，视频解码器30包含预测单元71，其又包含运动补偿单元72和帧内预测单元74。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。

在图3中所说明的实施方案中，视频解码器30耦合到网络元件68。在各种实例中，网络元件68可包含、可为多种装置或可为多种装置的部分，所述装置例如媒体感知网络元件(或“MANE”)、流式传输服务器或网络头端装置。例如，网络元件68可经配置以接收由视频编码器20所传信的经编码视频位流，并对经编码视频位流进行时间扩缩。在此实例中，网络元件68可将经时间扩缩位流转送到视频解码器30。虽然在图3的实例中说明为在视频解码器30外部，但在各种实例中，网络元件68

作为一个实例，网络元件68可从包含于所接收的经编码视频位流中的经编码图片的完整集合抽取经编码图片的时间子集。由网络元件68接收的经编码视频位流在本文中可被称作“完整经编码视频位流”。另外，由网络元件68抽取的时间子集可表示包含于完整经编码视频位流中的经编码图片的完整集合的真实子集。换句话说，由网络元件68接收的完整经编码视频位流可包含时间子集的每个经编码图片，和并不包含于时间子集中的至少一额外经编码图片。

为了根据时间可扩缩性支持各种图片速率，网络元件68可经配置以从包含于完整经编码视频位流中的经编码图片的完整集合抽取具有不同图片计数的时间子集。由网络元件68所抽取(例如，以支持变化的图片速率)的每一不同时间子集可表示可独立解码的时间子集或子位流。换句话说，装置(例如，接收由网络元件68抽取的经时间扩缩子位流的视频解码器30)可在无任何额外数据(例如，包含于完整经编码视频位流中但从子位流排除的信息)的情况下解码经编码图片的时间子集。

网络元件68可确定由视频编码器20根据HEVC WD9所传信的完整经编码视频位流包含若干时间子层。另外，网络元件68可确定由视频编码器20所传信的每一NAL单元属于如由对应“TemporalId”值指示的具体子层。例如，网络元件68可确定NAL单元的TemporalId的值等于对应“temporal_id_plus1”语法元素的值减去一。另外，在此实例中，网络元件68可确定单一图片的所有VCL NAL单元属于单一子层(即，相同子层)。换句话说，网络元件68可确定特定经编码图片自身属于对应于与经编码图片相关联的NAL单元的特定子层。

例如，根据HEVC WD9，视频编码器20可产生经编码视频位流，使得所述位流的较低子层(例如，如由网络元件68抽取)的解码过程并不取决于所述位流的较高子层中的数据。网络元件68可通过从完整位流去除与高于具体值的TemporalId值相关联的所有NAL单元，而从完整位流(其符合HEVC WD9)抽取子位流。由网络元件68以此方式所抽取的子位流自身又可表示符合HEVC WD9的位流。视频编码器20和/或其一或多个组件可确保每一子位流满足关于HEVC WD9的位流符合性的所有条件(例如，缓冲器限制)。

如所描述，在时间扩缩完整经编码视频位流时，网络元件68可从完整经编码视频位流抽取经编码图片的时间子集。例如，时间子集可为在完整经编码视频位流中所传信的经编码图片的真实子集，且因此，网络元件68可从完整经编码位流去除一或多个经编码图片，以产生子位流。在实例中，网络元件68可去除包含于渐进式改进区段中的一或多个经编码图片。

然而，在这些实例中，网络元件68可未经配置以更新在渐进式改进区段开始SEI消息中所传信的数据来反映包含于经时间扩缩渐进式改进区段中的经编码图片的数目改变(即，减少)。换句话说，网络元件68可潜在地将num_refinement_steps_minus1语法元素的不正确值转送到视频解码器30。接下来，通过转送num_refinement_steps_minus1语法元素的不正确值，网络元件68可使得视频解码器30应用渐进式改进操作以解码在经时间扩缩渐进式改进区段的末端之后的图片。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流，以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转递到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级处接收语法元素。

当视频切片经译码为帧内译码(I)切片时，帧内预测单元74可基于所传信的帧内预测模式和来自当前帧或图片的先前经解码块的数据，而产生当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素而产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考图片存储器82中的参考图片，使用默认构建技术来构建参考帧列表，列表0和列表1。

运动补偿单元72通过剖析运动向量和其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息以产生正被解码的当前视频块的预测性块。例如，运动补偿单元72使用一些所接收的语法元素以确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，和用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72也可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元72可从所接收的语法元素确定由视频编码器20使用的内插滤波器，和使用内插滤波器来产生预测性块。

反量化单元76将在位流中所提供且由熵解码单元70解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用由视频解码器30所计算的视频切片中的每一视频块的量化参数QPY，以确定量化程度和(同样地)应应用的反量化的程度。

反变换单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。

在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块之后，视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的(多个)组件。如果需要，也可应用解块滤波器来对经解码块滤波，以便去除方块效应伪影。其它回路滤波器(译码回路中或译码回路后)也可用以使像素转变平滑，或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82也存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。

视频解码器30和其各种组件可实施本发明的技术，以解码渐进式改进区段，同时支持时间可扩缩的视频位流。作为一个实例，熵解码单元70可实施以下关于视频解码器30所描述的一或多个功能性。如所描述，视频解码器30可接收由视频编码器所传信的经编码视频位流。在各种实例中，视频解码器30可接收完整经编码视频位流或网络元件68可根据时间可扩缩性抽取的子位流。更具体地说，经时间扩缩子位流可包含从包含于完整经编码视频位流中的经编码图片的集合抽取的经编码图片的子集。由网络元件68根据时间可扩缩性所抽取的图片子集在本文中可被称作“时间子集”。在一些实例中，由网络元件68所抽取的时间子集可表示完整经编码视频位流中的经编码图片的真实子集。换句话说，根据这些实例，完整经编码视频位流可包含时间子集的每个经编码图片，和并不包含于时间子集中的至少一额外经编码图片。

另外，根据HEVC WD 9、AVC或其它视频译码标准，视频解码器30可经配置或可以其它方式进行操作以解码包含于所接收的经编码视频位流中的元数据。在各种实例中，根据HEVC WD9，视频解码器30可对并非解码经编码位流中所传信的经编码图片所必需的元数据进行解码。在各种实例中，视频解码器30可解码元数据，以确定图片输出时序和与一或多个图片相关联的显示信息中的一或多者。在这些和其它实例中，视频解码器30可解码元数据以检测丢失信息，并隐藏和/或修复一或多个检测到的丢失。

在一些实例中，(例如)根据HEVC WD9，视频解码器30可解码在所接收的经编码视频位流中所传信的特定存取单元(AU)中的一或多个补充增强信息(SEI)网络抽象层(NAL)单元。另外，视频解码器30可解码包含于所接收的经编码视频位流中所传信的单一SEI NAL单元中的一或多个SEI消息。根据HEVC WD9，上文的表1列出视频解码器30可接收并解码(例如，使用熵解码单元70)的各种SEI消息的实例，和所列SEI消息的对应使用/用途。

另外，视频解码器30可经配置或可以其它方式进行操作以解码在所接收的经编码视频位流中所传信的渐进式改进区段。如关于图1所描述，根据HEVC WD9，渐进式改进区段可包含按解码次序的经编码图片序列。在一些实例中，也可根据输出次序布置渐进式改进区段中的经编码图片序列。在各种情境中，渐进式改进区段的每一经编码图片可表示相对于基础图片(例如，按解码次序后面紧接着开始界限的经编码图片)的质量改进。在一个此情境中，渐进式改进区段的每一经编码图片可表示相比于按解码次序后面紧接着渐进式改进区段的经编码图片的递增且累积的质量改进。

视频解码器30可(例如)通过实施由熵解码单元70提供的一或多个功能性来解码渐进式改进区段开始SEI消息。基于经解码的渐进式改进区段开始SEI消息，视频解码器30可检测渐进式改进区段的开始界限。如上文的语法表1中所说明，视频解码器30可根据HEVC WD9解码所传信的渐进式改进区段开始SEI消息中的progressive_refinement_id语法元素和num_refinement_steps_minus1语法元素。根据HEVC WD9，视频解码器30可确定渐进式改进区段继续(例如，经编码位流中的每一后续经编码图片仅为相对于前一经编码图片的质量改进)，直到满足一或多个条件为止。例如，视频解码器30可确定渐进式改进区段继续，直到满足如下条件中的一者为止：

-视频解码器30检测到新的经译码视频序列的开端。

-视频解码器30检测到经编码视频位流的结束。

-视频解码器30确定所传信的num_refinement_steps_minus1语法元素的值大于零，且按解码次序的下一切片的POC值(由“pic_order_cnt_lsb”表示)的最低有效位等于以下公式的结果：(currPicOrderCntLsb+num_refinement_steps_minus1+1)％MaxPicOrderCntLsb，其中currPicOrderCntLsb为含有SEI消息的存取单元中的图片的pic_order_cnt_lsb的值。“％”算子表示模运算，其得到整数除法运算的余数的值。

-视频解码器30确定所传信的num_refinement_steps_minus1的值等于零，且具有与当前渐进式改进区段开始SEI消息中的progressive_refinement_id值相同的progressive_refinement_id值的所传信的渐进式改进区段结束SEI消息经解码。

另外，当所传信的SEI NAL单元包含渐进式改进区段开始SEI消息且包含具有等于零的值的“nuh_reserved_zero_6bits”语法元素时，视频解码器30可确定所传信的SEI NAL单元在解码次序上先于当前AU中的第一VCL NAL单元。在解码渐进式改进区段开始SEI消息时，视频解码器30可确定progressive_refinement_id语法元素的值属于以0开始且在(2^32-2)处结束的数值范围内(包含所述两值)。

例如，如果视频解码器30确定progressive_refinement_id语法元素具有介于0到255的范围(包含所述两值)内的值，和512到(2^31-1)的范围(包含所述两值)内的值，那么视频解码器30可使用检测到的值以识别与渐进式改进区段相关联的具体渐进式改进操作。换句话说，在上文所描述的范围中的指派到progressive_refinement_id语法元素的任何值可与HEVC WD9中所支持的特定渐进式改进操作相关联。如果progressive_refinement_id语法元素具有处在上文所描述的范围中的一者中的值，那么视频解码器30又可使用由progressive_refinement_id语法元素的值所识别的特定渐进式改进操作来解码渐进式改进区段的每一经编码图片。

另一方面，保留属于256到511的范围(包含所述两值)和2^31到(2^32-2)的范围(包含所述两值)的progressive_refinement_id语法元素的值，以供未来由ITU-T和/或ISO/IEC使用。如果视频解码器30检测到progressive_refinement_id语法元素等于上文所描述的所保留的范围中的一者中的值，那么视频解码器30可略过progressive_refinement_id语法元素。明确地说，为了略过此语法元素，视频解码器30可从所接收的经编码视频位流去除progressive_refinement_id语法元素，并舍弃progressive_refinement_id语法元素。

如所描述，(例如)根据HEVC WD9，视频解码器30和/或其组件可经配置以支持经编码视频位流的时间可扩缩性。例如，视频解码器30可接收网络元件68从完整经编码视频位流所抽取并传达到视频解码器30的子位流。在此实例中，网络元件68可从包含于完整经编码视频位流中的经编码图片的完整集合抽取经编码图片的时间子集，并将作为子位流的部分的时间子集提供到视频解码器30。例如，时间子集可表示包含于完整经编码视频位流中的经编码图片的完整集合的真实子集。在时间子集表示经编码图片的完整集合的真实子集的情境下，完整经编码视频位流可包含用于时间子集的每个经编码图片的数据，和用于并不包含于时间子集中的至少一额外经编码图片的数据。

为了根据时间可扩缩性支持各种时间图片速率，视频解码器30可经配置以接收并解码具有变化的图片速率的子位流，例如，网络元件68可从完整经编码视频位流抽取的各种子位流。更具体地说，包含具有变化的图片计数的时间子集的不同子位流可表示不同的图片速率。为了支持时间可扩缩性，不管图片速率如何，视频解码器30可将任何子位流作为可独立解码的位流进行解码。换句话说，视频解码器30可在无任何额外数据(例如，包含于完整经编码视频位流中但从特定子位流排除的信息)的情况下，解码经编码图片的特定时间子集。

在视频解码器30接收由视频编码装置所传信的完整经编码视频位流的实例中，完整经编码视频位流可包含一或多个时间子层。另外，由视频解码器30接收和/或解码的每一NAL单元可属于如由对应“TemporalId”值指示的具体子层。更具体地说，视频解码器30可确定NAL单元的TemporalId的值等于所传信的对应“temporal_id_plus1”语法元素的值减去一。另外，视频解码器30可确定单一图片的所有所传信的VCLNAL单元属于单一子层(即，相同子层)。换句话说，视频解码器30可基于如下确定而解码经编码图片：经编码图片自身属于对应于与经编码图片相关联的NAL单元的特定子层。

例如，根据HEVC WD9，视频解码器30可解码所传信的经编码视频位流，使得位流的较低子层的解码过程并不取决于位流的较高子层中的数据。通过从完整位流去除与高于具体值的TemporalId值相关联的所有NAL单元，网络元件68可从完整位流产生子位流。视频编码装置可确保完整位流满足关于HEVC WD9的位流符合性的所有条件(例如，缓冲器限制)，且因此确保网络元件68可从完整位流抽取的每一子位流也满足所述条件。视频解码器30又可在未对解码过程作出任何改变，且无需对硬件和/或软件基础架构作出任何改变的情况下，解码任何所传信的子位流。换句话说，视频解码器30可以对应于解码完整经编码视频位流的方式解码所传信的子位流，同时根据HEVC WD9支持时间可扩缩性。

如所描述，在时间扩缩完整经编码视频位流时，网络元件68可从完整经编码视频位流抽取经编码图片的时间子集。更具体地说，时间子集可为完整经编码视频位流中所传信的经编码图片的真实子集，且因此，网络元件68可从完整经编码位流去除一或多个经编码图片，以产生子位流。在实例中，网络元件68可去除包含于渐进式改进区段中的一或多个经编码图片。视频解码器30可潜在地接收num_refinement_steps_minus1语法元素的不正确值。通过解码并潜在地应用num_refinement_steps_minus1语法元素的不正确值，视频解码器30可应用渐进式改进操作以解码位于经时间扩缩渐进式改进区段的结束界限之后的图片。

为了缓和或消除对位于经编码视频位流中的渐进式改进区段的末端之后的图片的错误解码，视频解码器30和/或其组件(例如熵解码单元70)可实施本发明的一或多个技术。根据技术的一些实施方案，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示渐进式改进区段的最后图片的图片次序计数(POC)值的信息。POC值可表示与经编码视频位流中所传信的特定经编码图片相关联的静态值，且因此，其可向视频解码器30识别特定经编码图片，而无关于对经编码视频位流的任何时间扩缩。

例如，通过导出渐进式改进区段的最后经编码图片的POC值，视频解码器30可较准确地识别渐进式改进区段的最后经编码图片。更具体地说，不管视频解码器30是否已接收到经时间扩缩渐进式改进区段，视频解码器30都可识别渐进式改进区段的最后经编码图片。在视频解码器30接收到经时间扩缩视频解码器30渐进式改进区段的实例中，不管已将渐进式改进区段时间扩缩到何程度，视频解码器30都可准确地识别渐进式改进区段的最后图片。换句话说，不管所接收的经编码视频位流的图片速率如何，视频解码器30都可识别渐进式改进区段的最后经编码图片(即，结束界限)。

根据本文中所描述的技术的各种实施方案，视频解码器30可解码渐进式改进区段开始SEI消息，以获得视频解码器30可用以确定与渐进式改进区段的最后经编码图片相关联的POC值的信息。在一个实施方案中，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示“差量POC”值的数据。更具体地说，差量POC值可指示基础图片的POC值与渐进式改进区段的最后经编码图片的POC值之间的差。

视频解码器30又可使用渐进式改进区段开始SEI消息检测对应渐进式改进区段的开始界限(例如，第一经编码图片)。另外，视频解码器30可通过将差量POC值应用于基础图片(例如，按解码次序后面紧接着开始界限的经编码图片)的POC值来确定渐进式改进区段的结束界限(例如，最后经编码图片)。例如，通过将差量POC值应用于基础图片的POC值，视频解码器30可导出渐进式改进区段的结束界限的POC值。

如所描述，特定经编码图片的POC值可为与经编码图片相关联的静态值，且可指示经编码图片在解码次序上的位置。通过获得自其导出渐进式改进区段的结束界限的POC值的数据，视频解码器30可确定渐进式改进区段的结束界限，而无关于网络元件68是否时间扩缩和以何量值时间扩缩渐进式改进区段。视频解码器30可解码渐进式改进区段开始SEI消息，以从“pic_order_cnt_delta”语法元素获得差量POC值，如上文的语法表3中所说明。以此方式，视频解码器30可实施本发明的一或多个技术，以使用对应渐进式改进操作来解码渐进式改进序列，同时支持经编码视频位流的时间可扩缩性。

根据视频解码器30解码渐进式改进区段开始SEI消息以获得与渐进式改进区段的结束界限的POC值相关联的数据的一些实施方案，视频解码器30可从经解码的渐进式改进区段开始SEI消息获得最低有效位(LSB)的差量。在这些实施方案中，视频解码器30可使用LSB的差量以确定基础图片的POC值的LSB值与渐进式改进区段的最后经编码图片的POC值的LSB值之间的差。

视频解码器30又可使用LSB的差量以导出渐进式改进区段的结束界限的POC值。更具体地说，视频解码器30可将LSB的差量应用于基础图片的POC值的LSB。在一个实例中，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示LSB的差量的语法元素，而非“num_refinement_steps_minus1”语法元素。

通过获得指示LSB的差量的语法元素，视频解码器30可确定渐进式改进区段的结束界限，而无关于网络元件68是否时间扩缩和以何量值时间扩缩渐进式改进区段。例如，视频解码器30可应用经解码语法元素的值，以导出渐进式改进区段的结束界限的POC值。当解码渐进式改进区段时，视频解码器30可使用所导出的POC值，使用与结束界限相关联的静态值来识别结束界限。以此方式，视频解码器30可实施本发明的一或多个技术，以使用对应渐进式改进操作来解码渐进式改进序列，同时支持经编码视频位流的时间可扩缩性。

根据本文中所描述的技术的其它实施方案，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示连续经编码图片的数目的数据，所述连续经编码图片1)与小于或等于基础图片的TemporalId值的TemporalId值相关联，且2)表示对基础图片的渐进式质量改进。更具体地说，降低的TemporalId值可指示经编码视频位流中的根据解码次序之前进。例如，渐进式改进区段的第一经编码图片可具有小于基础图片的TemporalId值的TemporalId值。渐进式改进区段的第二经编码图片又可具有小于渐进式改进区段的第一经编码图片的TemporalId的TemporalId值，等等。

基础图片可为包含于当前存取单元中的经编码图片，且基础图片可按解码次序后面紧接着渐进式改进区段的第一经编码图片。在一些实例中，基础图片也可按输出次序后面紧接着渐进式改进区段的第一经编码图片。在一些这些实例中，渐进式改进区段可包含在解码次序和输出次序两者上连续的经编码图片序列。

根据本文中所描述的技术的这些实施方案，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示具有小于基础图片的TemporalId值的TemporalId值以及表示对基础图片的渐进式质量改进的连续经编码图片的数目的数据。例如，由视频解码器30获得的信息可指示构成渐进式改进区段的序列中的经编码图片的数目。在这些实施方案中，视频解码器30可从网络元件68接收符合上文所列的条件的连续经编码图片的数目。更具体地说，网络元件68可针对网络元件68从完整经编码视频位流所抽取的经编码图片的每一时间子集分别确定符合所述条件的连续经编码图片的数目。网络元件68又可将符合上文所列的条件的连续经编码图片的数目传达到视频解码器30。

通过应用所接收的符合上文的条件的连续经编码图片的数目，甚至在网络元件68时间扩缩渐进式改进区段的情境下，视频解码器30仍可较准确地确定渐进式改进区段的长度。视频解码器30又可获得作为经编码视频位流的部分的符合所述条件的连续经编码图片的数目，无论经编码视频位流是否表示子位流(例如，表示经编码图片的时间子集)。在各种实例中，视频解码器30可产生渐进式改进区段开始SEI消息以获得指示所确定的符合上文的条件的连续经编码图片的数目的语法元素。例如，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示所确定的数目的语法元素，而非上文的语法表1中所说明的num_refinement_steps_minus1语法元素。

通过获得具有小于基础图片的TemporalId值的TemporalId值且表示对基础图片的渐进式质量改进的连续经编码图片的数目，视频解码器30可较准确地确定渐进式改进区段的长度。另外，作为解码经编码渐进式改进区段开始SEI消息的部分，通过获得上文所描述的信息，视频解码器30可准确地确定渐进式改进区段的长度，而不管网络元件68是否时间扩缩渐进式改进区段。例如，不管网络元件68是否时间扩缩或以何量值时间扩缩渐进式改进区段，视频解码器30可利用从渐进式改进区段开始SEI消息获得的语法元素来确定渐进式改进区段的长度。以此方式，视频解码器30可实施本发明的一或多个技术以确定连续经编码图片的数目，所述连续经编码图片1)具有小于基础图片的TemporalId的TemporalId值，且2)表示对基础图片的渐进式质量改进，由此使得视频解码装置能够解码渐进式改进区段，同时支持时间可扩缩的视频位流。

如关于图3所描述，视频解码器30和/或其组件可执行解码视频数据的方法，所述方法包含：接收指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息；和基于所接收的信息而根据渐进式改进操作解码渐进式改进区段中的图片中的至少一些。在上文关于视频解码器30所描述的方法的一些实例实施方案中，所接收的信息包含差量POC值，其指示后面紧接着渐进式改进区段的图片的POC值与渐进式改进区段的最后图片的POC值之间的差。根据上文关于视频解码器30所描述的方法的一些实例实施方案，所接收的信息包含最低有效位(LSB)的差量，其指示后面紧接着渐进式改进区段的图片的POC值的LSB与渐进式改进区段的最后图片的POC值的LSB之间的差。在上文关于视频解码器30所描述的方法的一个实例中，所接收的信息包含渐进式改进区段的最后图片的POC值。

根据上文关于视频解码器30所描述的方法的一些实施方案，接收所述信息包括接收包含于经编码位流中的补充增强信息(SEI)消息中的信息。在一个此实施方案中，SEI消息包括指示渐进式改进区段的开始界限的渐进式改进区段开始SEI消息。根据上文关于视频解码器30所描述的方法的一些实施方案，所述方法可进一步包含确定在经编码视频位流中经编码图片后面紧接着渐进式改进区段。在一个此实施方案中，渐进式改进序列中的多个图片中的每一者定义相比于后面紧接着渐进式改进序列的经编码图片的质量改进。

在上文关于视频解码器30所描述的方法的一些实例中，所述方法可进一步包括使用所接收的信息检测渐进式改进区段中的多个图片的最后图片，和停止根据渐进式改进操作的解码。根据上文关于视频解码器30所描述的方法的一些实施方案，基于所接收的信息而根据渐进式改进操作解码渐进式改进区段中的图片中的至少一些可包括：将渐进式改进操作应用于渐进式改进区段中的除了渐进式改进区段中的最后图片的每一图片。

在各种实例中，视频解码器30可包含于用于译码视频数据的装置中，例如，桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能型”电话、所谓的“智能型”板)、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在实例中，用于译码视频数据的此装置可包含集成电路、微处理器和包含视频解码器30的通信装置中的一或多者。

图4为说明根据本发明的一或多个方面的实例渐进式改进区段94和对应基础图片92的概念图。更具体地说，图4说明图片序列90，其包含基础图片92和渐进式改进区段94。渐进式改进区段94又包含渐进式改进图片94A到94N。渐进式改进图片94A到94N中的每一者可表示对基础图片92的质量改进。在各种实例中，根据本发明，质量改进可表示就渐进地减少经译码图片与原始图片之间的失真量来说的改进。例如，渐进式改进图片94A到94N中的每一者可包含基础图片92不包含的残余数据。另外，渐进式改进图片94A到94N中的每一者可表示对基础图片92的质量改进，而不表示从基础图片92的任何基于运动的预测。

更具体地说，渐进式改进区段94可表示按连续解码次序的经编码图片序列。在一些实例中，包含于渐进式改进区段94中的经编码图片序列也可呈连续输出次序。另外，渐进式改进区段94可表示由每图片增量定义的相对于基础图片92的持续质量改进。例如，渐进式改进图片94A(其为渐进式改进区段94的第一图片)可表示相对于基础图片82的具有预定义增量的质量改进。渐进式改进图片94B(其为渐进式改进区段94的第二图片)又可表示相对于渐进式改进图片94A的具有预定义增量的质量改进，等等。以此方式，渐进式改进区段94可表示相对于基础图片92的反复质量改进，其中最后经编码图片(渐进式改进图片94N)表示预定义改进增量的所有反复的累积质量改进。

例如，视频解码器30可通过将渐进式改进操作应用于解码次序上的先前图片，而解码渐进式改进区段94。更具体地说，视频解码器30可接收由视频编码器20所传信的作为经编码视频位流的部分的渐进式改进区段开始SEI消息。另外，视频解码器30可解码所接收的渐进式改进区段开始SEI消息，以获得progressive_refinement_id语法元素的值。视频解码器30又可使用所获得的progressive_refinement_id的值来确定用以解码渐进式改进区段94的特定渐进式改进操作。视频解码器30可将所确定的渐进式改进操作应用于基础图片92，和渐进式改进区段94的除了渐进式改进图片94N(即，最后图片)的每一图片。更具体地说，视频解码器30可将渐进式改进操作应用于基础图片92和渐进式改进区段94的直到倒数第二图片的每一图片，而不应用任何运动预测。

另外，视频解码器30可实施本发明的一或多个技术，以解码渐进式改进区段94，同时支持经编码视频位流的时间可扩缩性。例如，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示渐进式改进区段94的最后图片(例如，渐进式改进图片94N)的图片次序计数(POC)值的信息。在经编码视频位流中，渐进式改进区段开始SEI消息可紧接在与基础图片92相关联的经编码数据之后。不管经编码视频位流是否经时间扩缩以提供经减少的图片速率，特定图片的POC值都可指示特定图片在经编码视频位流内的位置。例如，视频解码器30可用经编码图片的所指派POC值来识别图片，而无需依赖于与所接收的经编码视频位流的其它部分相关联的信息。

在一些实例中，视频解码器30可解码与渐进式改进区段94相关联的渐进式改进区段开始SEI消息，以获得指示渐进式改进图片94N的POC值的信息。例如，视频解码器30可解码渐进式改进区段开始SEI消息，以获得包含于SEI消息中的语法元素的值。更具体地说，在此情况下，视频解码器30可从经解码语法元素获得与渐进式改进图片94N相关联的POC值。

视频解码器30又可通过反复地应用由progressive_refinement_id语法元素的值所识别的渐进式改进操作，而解码渐进式改进区段94，直到视频解码器30检测到由对应语法元素所识别的POC值为止。在检测到由渐进式改进区段开始SEI消息的对应语法元素所识别的POC值时，视频解码器30可确定视频解码器30已达到渐进式改进区段94的结束界限(在图4的实例中，其由渐进式改进图片94N表示)。基于确定视频解码器30已达到渐进式改进区段94的结束界限，视频解码器30可停止仅基于由progressive_refinement_id语法元素指示的改进操作而解码位流的经编码图片。

根据本发明的技术的其它实施方案，视频解码器30可解码渐进式改进区段开始SEI消息，以获得delta_POC语法元素。视频解码器30可使用delta_POC语法元素的值，以确定渐进式改进图片94N的结束界限的POC值(其表示渐进式改进区段94的结束界限)。更具体地说，视频解码器30可将delta_POC的值应用于基础图片92的POC值，以确定渐进式改进图片94N的POC值。视频解码器30又可使用渐进式改进图片94N的所确定的POC值，以在解码过程中检测视频解码器30何时达到渐进式改进区段94的结束界限。基于使用delta_POC值确定视频解码器30已达到渐进式改进区段94的结束界限，视频解码器30可停止根据渐进式改进的解码。

在本文中所描述的技术的其它实例实施方案中，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示最低有效位(LSB)的差量的语法元素。在关于经编码视频位流的解码过程期间，视频解码器30可使用LSB的差量值以检测渐进式改进图片94N。更具体地说，视频解码器30可将LSB的差量值应用于基础图片92的POC值的LSB，以导出渐进式改进图片94N(其形成渐进式改进区段94的结束界限)的POC值的LSB。

视频解码器30又可仅通过将由progressive_refinement_id语法元素识别的改进操作应用于基础图片92而解码渐进式改进图片94A，并通过继续应用改进操作而继续按解码次序解码后续图片，直到视频解码器30识别与具有所导出的LSB值的POC值相关联的图片为止。在一个实例中，视频解码器30可通过将改进操作反复地应用于后面紧接着渐进式改进区段94的图片，而解码渐进式改进图片94A到94N中的每一者。在另一实例中，视频解码器30可通过将渐进式改进操作或其变体应用于基础图片92而解码渐进式改进图片94A到94N中的每一者。另外，在经编码视频位流的解码过程中，在检测到具有具所导出的LSB的POC值的图片时，视频解码器30可确定视频解码器30已达到渐进式改进区段94的结束界限(即，渐进式改进图片94N)。基于使用delta_POC值确定视频解码器30已达到渐进式改进区段94的结束界限，视频解码器30可确定视频解码器30已完成渐进式改进区段的解码。

图5为说明根据本发明的一或多个方面的视频解码器30和/或其组件可执行以解码经编码视频数据的实例过程100的流程图。过程100可在视频解码器30识别在经编码视频位流中传信的下一经编码图片时开始(102)。更具体地说，视频解码器30可根据解码次序(和在一些实例中，根据输出次序)检测在经编码视频位流中传信的下一经编码图片。

另外，视频解码器30可确定所识别的经编码图片是否在解码次序上后面紧接着渐进式改进区段(104)。更具体地说，通过确定经编码图片是否后面紧接着渐进式改进区段，视频解码器30可确定经编码图片是否形成渐进式改进区段的基础图片。例如，视频解码器30可通过熵解码经编码图片并确定渐进式改进区段开始SEI消息是否在经编码视频位流中紧接在经编码图片之后，而确定经编码图片是否为基础图片。如果视频解码器30检测到紧接在经编码图片之后的渐进式改进区段开始SEI消息，那么视频解码器30可确定经编码图片形成渐进式改进区段的基础图片。

如果视频解码器30确定最近经解码图片并非渐进式改进区段的基础图片(104的‘否’分支)，那么视频解码器30可识别在经编码视频位流中所传信的按解码次序的下一经编码图片(实际上返回到102)，并继续解码过程。另一方面，如果视频解码器30确定最近经解码图片为渐进式改进区段的基础图片(104的‘是’分支)，那么视频解码器30可检测指示渐进式改进区段的最后经编码图片的POC值的数据(106)。

在各种实施方案中，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示渐进式改进区段的最后经编码图片的POC值的数据。例如，视频解码器30可解码渐进式改进区段开始SEI消息，以获得指示渐进式改进区段的最后经编码图片的POC值的一或多个语法元素。在各种实例中，视频解码器30可使用语法元素以直接抑或间接地确定POC值。更具体地说，语法元素可直接向视频解码器30指示POC值，或可为视频解码器30提供可藉以导出渐进式改进区段中的最后经编码图片的POC值的数据。作为一个实例，视频解码器30可解码指示差量POC值中的一或多者的语法元素，所述差量POC值指示基础图片与渐进式改进区段的最后经编码图片的POC值之间的差。作为另一实例，视频解码器30可解码指示LSB的差量的语法元素，所述LSB的差量指示基础图片与渐进式改进区段的最后经编码图片的POC值的LSB之间的差。

另外，视频解码器30可确定与渐进式改进区段相关联的渐进式改进操作(108)。更具体地说，视频解码器30可解码渐进式改进区段开始SEI消息，以获得progressive_refinement_id语法元素。视频解码器30又可使用progressive_refinement_id语法元素的值，以识别用于解码渐进式改进区段的渐进式改进操作。例如，基于progressive_refinement_id语法元素的值，视频解码器30可通过将残余数据添加到与基础图片92相关联的经解码视频数据，而解码渐进式改进图片94A到94N中的一或多者。

视频解码器30可使用指示渐进式改进区段的最后图片的POC值的数据，和所识别的渐进式改进操作而解码渐进式改进区段(110)。更具体地说，视频解码器30可将所识别的渐进式改进操作反复地应用于基础图片，和按解码次序的每一随后图片，直到视频解码器30检测到与渐进式改进区段的最后经编码图片相关联的POC值(或其LSB)为止。例如，为了反复地应用渐进式改进操作，视频解码器30可确定来自区段的每一相继经编码图片的额外数据，并使用所述额外数据以增加区段的给定图片的位深度。POC可为不受经编码视频位流的时间扩缩影响的静态值。结果，视频解码器30可使用指示POC的数据和所识别的渐进式改进操作以根据如HEVC WD9中所定义的渐进式改进操作来解码渐进式改进区段，同时也支持时间可扩缩的视频位流。

图6为说明根据本发明的一或多个方面的视频编码器20和/或其组件可执行以编码视频数据的实例过程120的流程图。过程120可在视频编码器20形成位流的下一经编码图片时开始(122)。例如，视频编码器20可熵编码所接收的视频数据的下一图片，以形成下一经编码图片。另外，视频编码器20可确定最近经编码图片是否在解码次序上后面紧接着渐进式改进区段(124)。

换句话说，视频编码器20可确定最近经编码图片是否为渐进式改进区段的基础图片。视频编码器20可确定是否在按解码次序紧接在最近经编码图片之后的一连串图片之前插入渐进式改进区段开始SEI消息，以定义关于最近经编码图片的质量改进，而不定义关于最近经编码图片的任何运动预测。如果视频编码器20确定最近经编码图片并非渐进式改进区段的基础图片(124的‘否’分支)，那么视频编码器20可形成待在经编码视频位流中传信的下一经编码图片。

另一方面，如果视频编码器20确定最近经编码图片为渐进式改进区段的基础图片，那么视频编码器20可编码指示渐进式改进区段的最后经编码图片的POC值的数据(126)。例如，视频编码器20可实施本发明的技术，以编码包含视频解码装置可藉以确定渐进式改进区段的最后经编码图片的POC值的信息的渐进式改进区段开始SEI消息。在一个实例中，视频编码器20可包含直接指示渐进式改进区段的最后经编码图片的POC值的数据，例如，呈语法元素的形式。在其它实例中，视频编码器20可包含视频解码装置可使用以导出POC值的数据。

在一些实例中，视频编码器20可在渐进式改进区段开始SEI消息中包含pic_order_cnt_delta语法元素。例如，视频编码器20可产生pic_order_cnt_delta语法元素，以指示基础图片与渐进式改进区段的最后经编码图片的相应POC值之间的差。作为另一实例，视频编码器20可在SEI消息中包含指示LSB的差量的语法元素。在此实例中，视频编码器20可产生LSB的差量，以指示基础图片与渐进式改进区段的最后经编码图片的POC值的相应LSB之间的差。视频编码器20可使得视频解码装置能够使用pic_order_cnt_delta或LSB的差量语法元素中的一者或两者的值来检测渐进式改进区段的结束界限(即，最后经编码图片)。

另外，视频编码器20可基于指示渐进式改进区段的最后经编码图片的POC值的数据，和与渐进式改进区段相关联的渐进式改进操作来编码渐进式改进区段。例如，视频编码器20可通过将渐进式改进操作应用于紧接在前的经编码图片而编码渐进式改进区段的每一图片。基于检测到渐进式改进区段的最后经编码图片的POC值(或其LSB)，视频编码器20可检测渐进式改进区段的结束界限。基于检测到渐进式改进区段的结束界限，视频编码器20可停止仅使用渐进式改进操作而编码后续图片。

视频编码器20可传信经编码视频位流。更具体地说，视频编码器20可传信经编码视频位流，以包含与基础图片，包含上文所描述的语法元素中的一或多者的渐进式改进区段开始SEI消息和渐进式改进区段相关联的数据。在一些实例中，中间装置可(例如)通过时间扩缩完整经编码视频位流而抽取子位流。在这些实例中，因为视频编码器20产生并传信渐进式改进区段开始SEI消息以包含指示渐进式改进区段的结束界限的POC值的数据，所以视频编码器20可为视频解码装置提供藉以解码所述区段的准确数据，而无关于时间扩缩。视频编码器20可实施本发明的技术以编码渐进式改进区段并使得能够解码渐进式改进区段，同时支持经编码视频位流的时间可扩缩性。

以此方式，视频解码器30或视频编码器20中的任一者可为用于译码视频数据的装置的实例，所述装置包含用于确定指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息的装置，和用于根据渐进式改进操作而译码渐进式改进区段中的图片中的至少一些的装置。

另外，以此方式，目的地装置14或源装置12中的任一者可为包含或耦合到计算机可读存储媒体的计算装置的实例，所述计算机可读存储媒体具有存储于其上的指令，所述指令在执行时使得计算装置的可编程处理器进行如下操作：确定指示经编码位流中的渐进式改进区段中的多个图片中的最后图片的图片次序计数(POC)值的信息，和根据渐进式改进操作译码渐进式改进区段中的图片中的至少一些。

在一或多个实例中，可以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件实施，那么功能可作为一或多个指令或程序代码存储于计算机可读媒体上，或经由计算机可读媒体传输，和由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)、各种计算机可读存储装置或通信媒体，通信媒体包含(例如)根据通信协议而促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、程序代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。又，任何连接可适当地称为计算机可读媒体。例如，如果使用同轴电缆、光纤缆线、双绞线、数字用户线(DSL)或无线技术(例如，红外线、无线电和微波)而从网站、服务器或其它远端源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬态媒体，而是针对非瞬态有形存储媒体。如本文中所使用，磁盘和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。上文各者的组合也应包含于计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，本文中所使用的术语“处理器”可指上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编码解码器中。又，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可以广泛多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必要求由不同硬件单元来实现。实情为，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过结合合适的软件和/或固件的互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合来提供所述单元。

已描述各种实例。这些和其它实例在以下权利要求书的范围内。

Claims (37)

1.一种解码视频数据的方法，所述方法包括：

在经编码位流中接收指示渐进式改进区段中的多个图片中的最后图片的图片次序计数POC值的信息；以及

基于所述所接收的信息而根据渐进式改进操作解码所述渐进式改进区段中的所述图片中的至少一些。

2.根据权利要求1所述的方法，其中所述所接收的信息包含差量POC值，其指示后面紧接着所述渐进式改进区段的图片的POC值与所述渐进式改进区段的所述最后图片的所述POC值之间的差。

3.根据权利要求1所述的方法，其中所述所接收的信息包含最低有效位LSB的差量，其指示后面紧接着所述渐进式改进区段的图片的POC值的LSB与所述渐进式改进区段的所述最后图片的POC值的LSB之间的差。

4.根据权利要求1所述的方法，其中所述所接收的信息包含指派到所述渐进式改进区段的所述最后图片的POC值。

5.根据权利要求1所述的方法，其中接收所述信息包括在包含于所述经编码位流中的补充增强信息SEI消息中接收所述信息。

6.根据权利要求5所述的方法，其中所述SEI消息包括指示所述渐进式改进区段的开始界限的渐进式改进区段开始SEI消息。

7.根据权利要求1所述的方法，其进一步包括：

确定经编码视频位流中的后面紧接着所述渐进式改进区段的经编码图片包括关于所述渐进式改进区段的基础图片。

8.根据权利要求7所述的方法，其中渐进式改进序列中的所述多个经编码图片中的每一者定义与所述渐进式改进序列中的后面紧接着所述相应图片的所述经编码图片相比对待译码的图片的质量改进。

9.根据权利要求1所述的方法，其进一步包括：

使用所述所接收的信息，检测所述渐进式改进区段中的所述多个图片中的所述最后图片；以及

停止根据所述渐进式改进操作的解码。

10.根据权利要求1所述的方法，其中基于所述所接收的信息而根据所述渐进式改进操作解码所述渐进式改进区段中的所述图片中的至少一些包括：

将所述渐进式改进操作应用于所述渐进式改进区段中的除了所述渐进式改进区段中的所述最后图片的每一图片。

11.一种编码视频数据的方法，所述方法包括：

根据渐进式改进操作编码渐进式改进区段中的多个图片中的至少一些图片；以及

在经编码位流中产生指示所述渐进式改进区段的最后图片的图片次序计数POC值的信息。

12.根据权利要求11所述的方法，其中所述所产生的信息包含差量POC值，其指示后面紧接着所述渐进式改进区段的图片的POC值与所述渐进式改进区段的所述最后图片的所述POC值之间的差。

13.根据权利要求11所述的方法，其中所述所产生的信息包含最低有效位LSB的差量，其指示后面紧接着所述渐进式改进区段的图片的POC值的LSB与所述渐进式改进区段的所述最后图片的POC值的LSB之间的差。

14.根据权利要求11所述的方法，其中所述所产生的信息包含指派到所述渐进式改进区段的所述最后图片的POC值。

15.根据权利要求11所述的方法，其中产生所述信息包括将所述信息包含于待在所述经编码视频位流中传信的补充增强信息SEI消息中。

16.根据权利要求15所述的方法，其中所述SEI消息包括指示所述渐进式改进区段的开始界限的渐进式改进区段开始SEI消息。

17.根据权利要求11所述的方法，其进一步包括：

确定经编码视频位流中的后面紧接着所述渐进式改进区段的经编码图片包括关于所述渐进式改进区段的基础图片。

18.根据权利要求17所述的方法，其中渐进式改进序列中的所述多个经编码图片中的每一者定义与所述渐进式改进序列中的后面紧接着所述相应图片的所述经编码图片相比对待译码的图片的质量改进。

19.根据权利要求11所述的方法，其进一步包括：

检测所述渐进式改进区段中的所述多个图片中的所述最后图片；以及

停止根据所述渐进式改进操作的编码。

20.根据权利要求11所述的方法，其中根据所述渐进式改进操作编码所述渐进式改进区段中的所述图片中的至少一些包括：

将所述渐进式改进操作应用于所述渐进式改进区段中的除了所述渐进式改进区段中的所述最后图片的每一图片。

21.一种用于译码视频数据的装置，所述装置包括经配置以进行如下操作的视频译码器：

在经编码位流中确定指示渐进式改进区段中的多个图片中的最后图片的图片次序计数POC值的信息；以及

根据渐进式改进操作译码所述渐进式改进区段中的所述图片中的至少一些。

22.根据权利要求21所述的装置，其中所述装置包括以下各者中的至少一者：

集成电路；

微处理器；以及

包括所述视频译码器的通信装置。

23.根据权利要求21所述的装置，其中所述所确定的信息包含差量POC值，其指示后面紧接着所述渐进式改进区段的图片的POC值与所述渐进式改进区段的所述最后图片的所述POC值之间的差。

24.根据权利要求21所述的装置，其中所述所确定的信息包含最低有效位LSB的差量，其指示后面紧接着所述渐进式改进区段的图片的POC值的LSB与所述渐进式改进区段的所述最后图片的POC值的LSB之间的差。

25.根据权利要求21所述的装置，其中所述所确定的信息包含指派到所述渐进式改进区段的所述最后图片的POC值。

26.根据权利要求21所述的装置，其中，为了确定所述信息，所述视频译码器经配置以：

至少部分基于包含于所述经编码位流中的补充增强信息SEI消息而确定所述信息。

27.根据权利要求26所述的装置，其中所述SEI消息包括指示所述渐进式改进区段的开始界限的渐进式改进区段开始SEI消息。

28.根据权利要求21所述的装置，其中所述视频译码器经进一步配置以：

确定经编码视频位流中的后面紧接着所述渐进式改进区段的经编码图片包括关于所述渐进式改进区段的基础图片。

29.根据权利要求28所述的装置，其中渐进式改进序列中的所述多个经编码图片中的每一者定义与所述渐进式改进序列中的后面紧接着所述相应图片的所述经编码图片相比对待译码的图片的质量改进。

30.根据权利要求21所述的装置，其中所述视频译码器经进一步配置以：

使用所述所接收的信息，检测所述渐进式改进区段中的所述多个图片中的所述最后图片；以及

停止根据所述渐进式改进操作的译码。

31.根据权利要求21所述的装置，其中，为了根据所述渐进式改进操作而译码所述渐进式改进区段中的所述图片中的至少一些，所述视频译码器经配置以：

将所述渐进式改进操作应用于所述渐进式改进区段中的除了所述渐进式改进区段中的所述最后图片的每一图片。

32.根据权利要求21所述的装置，其中所述视频译码器包括视频解码器。

33.根据权利要求32所述的装置，其中，所述视频解码器经进一步配置以：

使用所述所接收的信息，检测所述渐进式改进区段中的所述多个图片中的所述最后图片；以及

停止根据所述渐进式改进操作的解码。

34.根据权利要求21所述的装置，其中所述视频译码器包括视频编码器。

35.根据权利要求34所述的装置，其中，为了根据渐进式改进操作而译码所述渐进式改进区段中的所述图片中的至少一些，所述视频编码器经配置以：

在经编码位流中产生指示所述渐进式改进区段的所述最后图片的所述POC值的信息。

36.一种计算机可读存储媒体，其具有存储于其上的指令，所述指令在执行时使计算装置的可编程处理器进行如下操作：

在经编码位流中确定指示渐进式改进区段中的多个图片中的最后图片的图片次序计数POC值的信息；以及

根据渐进式改进操作译码所述渐进式改进区段中的所述图片中的至少一些。

37.一种用于译码视频数据的装置，所述装置包括：

用于在经编码位流中确定指示渐进式改进区段中的多个图片中的最后图片的图片次序计数POC值的信息的装置；以及

用于根据渐进式改进操作译码所述渐进式改进区段中的所述图片中的至少一些的装置。