CN105612751A - 用于基于子层参考预测相依性的层间rps导出的系统和方法 - Google Patents

Abstract

本发明描述用于基于子层参考预测相依性的层间参考图片集导出的系统和方法。本发明中描述的标的物的一个方面提供一种视频编码器，其包括存储器，所述存储器经配置以存储序列中的一或多个当前图片的一或多个直接参考层图片，其中所述一或多个当前图片与当前层相关联，所述当前层与所述一或多个直接参考层相关联。所述视频编码器进一步包括与所述存储器单元通信的处理器。所述存储器单元经配置以设定与当前图片相关联的指示以指示不受限制在层间预测中使用的所述当前图片的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

Description

用于基于子层参考预测相依性的层间RPS导出的系统和方法

技术领域

本发明涉及可缩放视频译码(SVC)的领域。更确切地说，其涉及基于HEVC的SVC(HEVC-SVC)和HEVC扩展。

背景技术

数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如如下所述的各种视频译码标准中描述的那些技术(例如，高效率视频译码(HEVC))。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。

发明内容

本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。附图及以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。

本发明中描述的标的物的一个方面提供一种视频编码器，其包括存储器，所述存储器经配置以存储序列中的一或多个当前图片的一或多个直接参考层图片，其中所述一或多个当前图片与当前层相关联，所述当前层与所述一或多个直接参考层相关联。所述视频编码器进一步包括与所述存储器单元通信的处理器。所述存储器单元经配置以设定与当前图片相关联的指示以指示不受限制在层间预测中使用的所述当前图片的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

本发明中描述的标的物的另一方面提供一种对视频进行编码的方法。所述方法包括存储序列中的一或多个当前图片的一或多个直接参考层图片，其中所述一或多个当前图片与当前层相关联，所述当前层与所述一或多个直接参考层相关联。所述方法进一步包括设定与当前图片相关联的指示以指示不受限制在层间预测中使用的所述当前图片的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

本发明中描述的标的物的另一方面提供一种视频解码器，其包括存储器单元。所述存储器单元经配置以存储一或多个直接参考层图片，其中所述一或多个直接参考层图片中的每一者与一或多个直接参考层的相应直接参考层相关联，其中所述一或多个直接参考层与当前层相关联，且其中所述当前层与当前图片相关联。所述视频解码器进一步包括与所述存储器通信的处理器。所述处理器经配置以基于指示确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

本发明中描述的标的物的另一方面提供一种用于对视频进行解码的方法。所述方法包括存储一或多个直接参考层图片，其中所述一或多个直接参考层图片中的每一者与一或多个直接参考层中的相应直接参考层相关联，其中所述一或多个直接参考层与当前层相关联，且其中所述当前层与当前图片相关联。所述方法进一步包括基于指示确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

附图说明

图1A是说明可利用本发明中描述的层间参考图片集(RPS)导出技术的实例视频编码和解码系统的框图。

图1B是说明可利用本发明中描述的层间参考图片集导出技术的另一实例视频编码和解码系统的框图。

图2是说明可实施本发明中描述的层间参考图片集导出技术的实例视频编码器的框图。

图3是说明可实施本发明中描述的层间参考图片集导出技术的实例视频解码器的框图。

图4说明可经处理以指示层间参考图片集是否包含不受限制在层间预测中使用的全部直接参考层图片的视频信息的实例。

图5说明用于视频编码器的处理器指示层间参考图片集是否包含不受限制在层间预测中使用的全部直接参考层图片的一个方法的流程图。

图6说明可经处理以确定来自一或多个直接参考层图片的有效参考层图片的数目的视频信息的实例。

图7说明用于视频解码器的处理器确定来自一或多个直接参考层图片的有效参考层图片的数目的一个方法的流程图。

具体实施方式

下文结合附图阐述的详细描述既定作为对本发明的示范性实施例的描述，且并不希望表示可以实践本发明的仅有实施例。贯穿此描述所使用的术语“示范性”意指“充当实例、例子或说明”，且未必应解释为比其它示范性实施例优选或有利。具体实施方式出于提供对本发明的示范性实施例的透彻理解而包含特定细节。在一些情况下，以框图形式展示一些装置。

虽然出于解释的简单的目的，将方法展示并描述为一连串动作，但应理解并了解，所述方法不受动作的次序限制，因为根据一或多个方面，一些动作可以不同次序发生及/或与来自本文中展示及描述的其它动作同时发生。例如，所属领域的技术人员将理解并且了解，所述方法可以替代地表示为(例如在一个状态图中的)一系列相关状态或事件。此外，根据一或多个方面，并不需要所有所说明的动作来实施方法。

视频译码标准包含由ITU-TH.261、ISO/IECMPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ISO/IECMPEG-4视觉、ITU-TH.263、ISO/IECMPEG-4视觉和ITU-TH.264(也被称作ISO/IECMPEG-4AVC)界定的那些标准，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展，以及当前在开发的第10部分高级视频译码(AVC)、高效率视频译码(HEVC)和此些标准的扩展。HEVC最近已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。最新HEVC草案规范(“HEVCWD”)从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip可用。对HEVC(MV-HEVC)的多视图扩展和高级HEVC3D视频译码扩展(3D-HEVC)正由JCT-3V开发。此外，对HEVC(SHVC)的可缩放视频译码扩展正由JCT-VC开发。MV-HEVC的最近工作草案(“MV-HEVCWD5”)从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip可用。3D-HEVC的最新工作草案(“3D-HEVCWD1”)从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip可用。此外，SHVC的最近工作草案(“SHVCWD3”)从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip可用。

如上文所描述，视频译码的某些方面(例如，HEVC扩展中)包含导出层间参考图片集以用于当前层中的当前图片的层间预测。举例来说，视频编码器可分析与当前层中的当前图片相关联的参考图片的数目以使得视频编码器可提供可由视频解码器使用的信息，其可允许视频解码器导出用于当前图片和/或当前层的层间参考图片集。举例来说，在视频参数集(VPS)层级，视频编码器可提供指示(例如，设定成“0”或“1”的值的语法元素和/或旗标)，其向视频解码器指示来自当前层的直接参考层的全部图片可以用于(例如，包含在内)参考图片集(RPS)。通过提供某些指示(例如，将某些旗标设定为“0”或“1”的值)，视频编码器可允许(或启用)视频解码器以确定针对相关联视频序列中的全部图片将如何分配存储器且可允许(或启用)视频解码器将图片中的每一者嵌入到参考图片集(RPS)中。

举例来说，MV-HEVCWD5和SHVCWD3的最近工作草案在视频参数集(VPS)中包含具有以下语义的旗标all_ref_layers_active_flag：“等于1的all_ref_layers_active_flag指定对于参考VPS的每一图片，含有所述图片的层的全部直接参考层的参考层图片存在于与所述图片相同的存取单元中，且包含在所述图片的层间参考图片集中。等于0的all_ref_layers_active_flag指定以上限制可以或可不应用。”当视频编码器将all_ref_layers_active_flag设定为“1”的值且向视频解码器用信号表示all_ref_layers_active_flag时，视频解码器可针对相关联图片导出指定层间参考图片集(RPS)中包含的层间参考图片的数目的变量(例如，视频解码器可确定有效参考层图片的数目)。MV-HEVCWD5和SHVCWD3的最近工作草案为此目的包含变量NumActiveRefLayerPics。下文的代码展示在MV-HEVCWD5和SHVCWD3的最近工作草案中如何导出变量NumActiveRefLayerPics：

通过以上述方式使用all_ref_layers_active_flag，在层间RPS的导出期间可节省一些切片层级信令开销。举例来说，在当前层(含有当前图片的层)的直接参考层图片(有时称为参考层图片)中的每一者存在于与当前图片相同的存取单元中且包含在当前图片的层间参考图片集中时，可节省信令开销。直接参考层是可以用于另一层的层间预测的层，例如当前层。直接参考层图片(或参考层图片)是用于当前图片的层间预测且在与当前图片相同的存取单元中的直接参考层中的图片。当VPS中指定的直接参考层图片存在于每一存取单元中、VPS中指定的直接参考层图片全部用于层间预测以及VPS中指定的直接参考层图片全部插入到中当前图片的至少一个参考图片列表中时，此信令开销节省可在多视图视频译码情形中发生。其中此可发生的另一情形是在可缩放视频译码期间，其中常见的是每一增强层具有仅一个直接参考层且直接参考层图片将存在于每一存取单元中且用于层间预测。

然而，上述用于信令和RPS导出的当前HEVC扩展方法具有某些缺点。举例来说，如果至少一个子层中的相关联图片中的任一者受限而不在层间预测中使用，那么当前过程不允许视频编码器如上文所描述为视频解码器提供信令开销节省指示。更具体来说，当相关联图片中的任一者具有大于最大时间识别值(MaxTID)的时间识别值(TID或TemporalID)(例如，max_tid_il_ref_pics_plus1[i])时，MV-HEVCWD5和SHVCWD3的最近工作草案要求将all_ref_layers_active_flag设定成零的值(即，指示要求对于参考VPS的每一图片含有所述图片的层的全部直接参考层的参考层图片存在于与所述图片相同的存取单元中且包含在图片的层间参考图片集中的限制可以或可不应用)。换句话说，对于在0到vps_max_layers_minus1(包含性)的范围内的i的任何值，通过小于或等于参考VPS的译码视频序列(CVS)中的全部视频译码层(VCL)网络抽象层(NAL)单元的TemporalId的最大值的max_tid_il_ref_pics_plus1[i]-1来指示时间子层层间预测限制。这些限制可造成当前方法浪费译码资源(例如，因具有高存储器成本、高信令成本等)且削弱上述旗标和变量的实用性和/或削弱原本可用于优化存储器的任何其它语法元素的实用性。鉴于此些限制，将有益的是例如即使至少一个子层中的相关联图片中的一些受限而不用于层间预测，也允许视频编码器更频繁地为视频解码器提供上述信令开销节省指示。

因此，本发明描述用于层间参考图片集(RPS)导出的技术，其使用与直接参考层图片的某些性质相关的指示和/或确定以确定来自直接参考层图片集合的有效参考层图片的数目。在一个方面中，所描述技术可包括用于基于子层参考预测相依性改善现存层间RPS导出方法的各种方法。举例来说，所述技术可致使(或启用)视频编码器比当前方法更频繁地为视频解码器提供信令开销节省指示。举例来说，改进的方法可集成在例如HEVC扩展中，且应用于可缩放译码、多视图译码(例如，具有或不具有深度)、HEVC的任何其它扩展和/或其它多层视频编解码器。所描述的方法和/或信令机制中的任一者可彼此独立地或组合地应用。

本发明中描述的技术的优点以及其它优点可包含在层间参考图片集合的导出期间减少存储器分配且减少信令成本(例如，索引信令成本)。与MV-HEVCWD5和SHVCWD3中的当前方法相比，本发明中描述的技术还可减少在某些情形期间用于层间RPS的信令的切片标头位。

图1A是说明可利用本发明中描述的层间参考图片集导出技术的实例视频编码和解码系统10的框图。如图1A中所展示，系统10包含源模块12，其产生稍后待由目的地模块14解码的经编码视频数据。在图1A的实例中，源模块12与目的地模块14在分开的装置上，具体来说，源模块12为源模块的部分，并且目的地模块14为目的地装置的部分。然而，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实施中所展示。

再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”垫、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置，或类似物。在一些情况下，源模块12和目的地模块14可经装备以用于无线通信。

目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模块14的通信的设备。

替代地，经编码数据可从输出接口22输出到任选的存储装置31。类似地，可通过输入接口从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地模块14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地模块14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。

在图1A的实例中，源模块12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源模块12中，视频源18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12和目的地模块14可形成所谓的相机电话或视频电话，如图1B的实例中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频数据可经由源模块12的输出接口22直接发射到目的地模块14。经编码视频数据还可(或替代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取以用于解码和/或回放。

目的地模块14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地模块14的输入接口28可经由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的地模块14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在相关方面，图1B展示实例视频编码和解码系统10'，其中源模块12和目的地模块14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如“智能”电话或类似物。装置11可包含与源模块12和目的地模块14操作通信的任选的控制器/处理器模块13。图1B的系统10′可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施方案中，视频处理单元21是单独的单元，如图1B中所说明；然而，在其它实施方案中，视频处理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统10′还可包含任选的跟踪器29，其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独地或联合跟踪器29而执行。图1B的系统10′及其组件另外类似于图1A的系统10及其组件。

如下文更详细地描述，本发明的各方面大体上涉及层间参考图片集导出技术，其使用参考层图片的某些性质的指示以确定来自直接参考层图片的集合的有效参考层图片的数目。本发明的技术可由视频编码器20、视频解码器30和/或处理器/控制器模块13执行。

在一个实例中，视频编码器20和视频解码器30可根据包含HEVC或类似物的视频压缩标准操作。在另一实例中，视频编码器20和视频解码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。然而，本发明的技术不限于任何特定译码标准或技术。

尽管图1A-B中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令来执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。

JCT-VC正在努力开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现有装置的若干额外能力。例如，尽管H.264提供了九个帧内预测编码模式，但HM可提供多达三十三个帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成译码树单元(CTU)序列，也被称作最大译码单元(LCU)，其包含明度和色度样本两者。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的若干连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父代节点且可分裂成另外四个子节点。最后的未经分裂的子节点(作为四叉树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可界定树块可分裂的最大次数，且还可界定译码节点的最小大小。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且形状为正方形。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形形状。

图2是说明可实施本发明中描述的层间参考图片集(RPS)导出技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、存储器64(也可被称作参考图片存储器64)、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60，及求和器62。还可包含解块滤波器72以对块边界进行滤波以将成块效应假象从经重构视频中去除。如图2中所示，视频编码器20还包含额外环路滤波器，包含样本自适应偏移(SAO)滤波器74和任选的自适应环路滤波器(ALF)76。虽然解块滤波器72和SAO滤波器74和任选的ALF76展示为图2中的环路内滤波器，但在一些配置中解块滤波器72、SAO滤波器74和任选的ALF76可实施为环路后滤波器。另外，解块滤波器72和任选的ALF76中的一或多者在本发明的技术的一些实施方案中可省略。确切地说，ALF76将在HEVC的一些实施方案中省略，因为ALF76不存在于HEVC中。

如图2中所示，视频编码器20接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可以分成多个视频块(并且可能分成被称作切片的视频块集合)。预测处理单元41可基于误差结果(例如，译码速率和失真等级)为当前视频块选择分区大小的多个可能的译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46可相对于与待译码当前块在相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测性译码以提供时间压缩。

运动估计单元42可经配置以根据用于视频序列的预定模式来确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指定为预测切片(P切片)、双向预测切片(B切片)或一般化P/B切片(GPB切片)。运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测块的移位。

预测块是被发现在像素差方面与待译码视频块的PU密切匹配的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算出的运动向量。

通过运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精确度的内插)确定的运动向量获取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。像素差值形成用于所述块的残余数据，且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块解码时使用。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测处理单元46可对当前块进行帧内预测。确切地说，帧内预测处理单元46可以确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可例如在单独的编码遍次期间使用各种帧内预测模式对当前块进行编码，且预测处理单元41可从测试模式选择适当帧内预测或帧间预测模式来使用。例如，帧内预测处理单元46可使用速率失真分析计算各种经测试帧内预测模式的速率失真值，并在所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测处理单元46可根据用于各种经编码块的失真和速率来计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在任何情况下，在选择用于块的帧内预测模式之后，预测处理单元41可将指示块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术对指示所选帧内预测模式的信息进行编码。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

在预测处理单元41经由帧间预测抑或帧内预测产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中且应用到变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素值域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位速率。量化过程可以减少与系数中的一些或全部相关联的位深度。可以通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。

在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在由熵编码单元56熵编码之后，经编码位流可发射到视频解码器30，或经存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正译码的当前视频切片的运动向量和其它语法元素进行熵编码。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重构残余块，例如以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重构的残余块以计算子整数像素值用于运动估计。求和器62将经重构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生参考块以用于存储在参考图片存储器64中。

在存储于存储器64中之前，经重构残余块可由一或多个滤波器滤波。如果需要，也可以应用解块滤波器72以对经重构残余块进行滤波以便移除成块假象。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。此环路滤波器的一个实例是SAO滤波器74。参考块可由运动估计单元42和运动补偿单元44用作参考块以对在后一视频帧或图片中的块进行帧间预测。

SAO滤波器74可以改善视频译码质量的方式确定用于SAO滤波的偏移值。改善视频译码质量可例如涉及确定使经重构图像更接近地匹配原始图像的偏移值。视频编码器20可例如使用具有不同偏移值的多个遍次对视频数据进行译码，且选择如基于例如速率失真计算所确定提供合意的译码质量的偏移值以用于包含在经编码位流中。

在一些配置中，SAO滤波器74可经配置以应用一或多种类型的偏移，例如上述边缘偏移。SAO滤波器74还可经常不应用偏移，其可自身被视为第三类型的偏移。SAO滤波器74应用的偏移的类型可显式地或隐式地向视频解码器用信号表示。当应用边缘偏移时，像素可基于边缘信息而分类。

图2的视频编码器20表示视频编码器的实例，其经配置以：确定第一边缘索引，其中所述第一边缘索引包括用于第一周围像素的明度分量的边缘索引；确定第二边缘索引，其中所述第二边缘索引包括用于第二周围像素的明度分量的边缘索引；基于所述第一边缘索引和所述第二边缘索引确定第三边缘索引，其中所述第三边缘索引包括用于当前像素的色度分量的边缘索引；基于所述第三边缘索引选择偏移；以及将所述偏移应用于所述当前像素的所述色度分量。

图3是说明可实施本发明中描述的层间参考图片集(RPS)导出技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、逆量化单元86、逆变换单元88、求和器90和参考图片存储器92。预测处理单元81包含用于帧间预测解码的运动补偿单元82，和用于帧内预测解码的帧内预测处理单元84。在一些实例中，视频解码器30可执行一般与关于图2的视频编码器20描述的编码遍次互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。

当视频切片被译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视帧帧译码为经帧间译码(例如，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生当前视频切片的视频块的预测性块。预测性块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器92中的参考图片使用默认构造技术构造参考帧列表--列表0和列表1。

运动补偿单元82通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收语法元素中的一些确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可以使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

逆量化单元86将在位流中提供且由熵解码单元80解码的经量化变换系数逆量化，即解量化。逆量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的逆量化程度。逆变换处理单元88将逆变换应用于变换系数，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。

在预测处理单元81基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自逆变换处理单元88的残余块与运动补偿单元82产生的对应预测性块求和来形成经解码视频块。求和器90表示可执行此求和运算的一或多个组件。由求和器90形成的经解码视频块接着可由解块滤波器93、SAO滤波器94和任选的ALF95滤波。任选的ALF95表示可从一些实施方案排除的任选的滤波器。应注意ALF95将在HEVC的一些实施方案中省略，因为ALF95不存在于HEVC中。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频用于以后在显示装置(例如图1A-B的显示装置32)上呈现。在相关方面中，SAO滤波器94可经配置以应用与上文所论述的SAO滤波器74相同的滤波(例如，边缘偏移和带偏移)中的一或多者。

图3的视频解码器30表示视频解码器的实例，其经配置以：确定第一边缘索引，其中所述第一边缘索引包括用于第一周围像素的明度分量的边缘索引；确定第二边缘索引，其中所述第二边缘索引包括用于第二周围像素的明度分量的边缘索引；基于所述第一边缘索引和所述第二边缘索引确定第三边缘索引，其中所述第三边缘索引包括用于当前像素的色度分量的边缘索引；基于所述第三边缘索引选择偏移；以及将所述偏移应用于所述当前像素的所述色度分量。

根据本发明的一或多个方面，提供用于层间参考图片集(RPS)导出的技术。所述技术可由系统或例如由图1B的装置10执行。在一些实施方案中，所述技术可由视频编码器20、视频解码器30和/或处理器控制器模块13单独或组合地执行。在一个方面中，所述技术可涉及指示层间参考图片集是否包含不受限制在层间预测中使用的全部直接参考层图片，如结合图4-5进一步所描述。在另一方面，所述技术可涉及确定来自一或多个直接参考层图片的有效参考层图片的数目，如结合图6-7进一步所描述。

图4说明视频信息400的实例，其可经处理以指示层间参考图片集是否包含不受限制在层间预测中使用的全部直接参考层图片(在本文中也被称作“参考图片”或“参考层图片”)。在一个方面中，相对于图4描述的特征中的一或多者可大体上由编码器(例如，图1A、1B和/或2的视频编码器20)执行。在一个实施例中，视频编码器20可将所述指示提供到视频解码器(例如，图1A、1B和/或3的视频解码器30)。在另一实施例中，所述指示可由不同装置指示或确定。相对于图4描述的各种方面可包含在存储器单元(例如，图1A的存储装置34、图2的存储器64等)中。相对于图4描述的各种操作可由处理器(例如，图1A-3中的任何一或多者的源模块、目的地模块、视频编码器和/或视频解码器内的处理器，图1B的处理器/控制器模块13，和/或视频处理单元，例如图1B的视频处理单元21等)执行。视频编码器、视频解码器、存储器单元和/或处理器可彼此通信和/或操作性地连接。

视频序列415包含存取单元(共同称为存取单元420)，其中存取单元420中的每一者可含有一或多个图片。所述图片可与视频参数集(VPS)相关联。VPS指定用于例如视频序列415等视频序列中的全部图片的共同参数。图4的视频序列415说明两个存取单元AU1、AU2；然而，视频序列415可包含任何数目的存取单元420。每一存取单元AU1、AU2可与视频信息的一或多个层425相关联，如基础层BL和三个增强层EL1、EL2和EL3所说明。最低所说明的层或在视频信息400的极底层级的层可为基础层(BL)或参考层(RL)，且在极顶部层级或在视频信息400的最高层级的层可为增强层。“经增强层”可视为与“增强层”同义，且这些术语可互换使用。在此实例中，层BL是基础层且层EL1、EL2和EL3分别是第一、第二和第三增强层。基础层BL与最高增强层EL3之间的层可充当增强层和/或参考层。在此实例中，层EL1、EL2和EL3表示增强层。

举例来说，给定层(例如，第二增强层EL2)可为用于给定层下方(即，前面)的层的增强层，所述给定层例如基础层(例如，基础层BL)或任何介入增强层(例如，第一增强层EL1)。此外，给定层(例如，第二增强层EL2)还可充当用于给定层上方(即，在之后)的增强层(例如，第三增强层EL3)的参考层。基础层(即，具有例如经设定为或等于“1”的层识别(ID)的最低层)与顶部层(或最高层)之间的任何给定层可用作用于通过相对于给定层更高的层的层间预测的参考，且可使用比给定层低的层作为用于层间预测的参考来确定。

当前正处理的层425可被称为“当前层”。在实例说明中，第三增强层EL3表示当前层，但应理解任何层625可处理为当前层且根据本文所描述的实施例中的任一者来处理。当前层可与一或多个直接参考层相关联。如上所提到，直接参考层是可以用于另一层的层间预测的层，例如当前层。在所说明的实例中，第一增强层EL1和基础层BL分别表示当前层EL3的第一和第二直接参考层。第一增强层EL1和基础层BL是当前层的直接参考层，因为它们经确定为可以用于第三增强层的帧间预测的层，所述第三增强层在此实例中是当前层。

层425中的每一者可包括一或多个图片，每一图片与层425中的一者和存取单元AU1、AU2中的一者相关联。与当前层(在此实例中，第三增强层EL3)相关联的图片可共同地称为当前图片405。举例来说，在所说明的实施例中，当前图片405包含位于第一存取单元AU1内的第一当前图片CP1和位于第二存取单元AU2内的第二当前图片CP2。在当前层(例如，第三增强层EL3)的直接参考层(例如，第一增强层EL1和基础层BL)中的图片(例如，图片410A1、410A2、410B1、410B2)可共同地称为直接参考层图片410(或参考层图片410)。举例来说，直接参考层图片410B1是第一直接参考层(在此实例中，第一增强层EL1)和第二存取单元AU2中的图片。此直接参考层图片410B1也可被称作“当前图片2的直接参考层图片1”。作为另一实例，直接参考层图片410A2是第二直接参考层(在此实例中，基础层BL)和第一存取单元AU1中的图片。此直接参考层图片410A1也可被称作“当前图片1的直接参考层图片2”。在当前层的非直接参考层(例如，非直接参考层EL2)中的图片可简单地称为图片408。在所说明的实施例中，图片408包含位于第一存取单元AU1中的图片408A和位于第二存取单元AU2中的第二图片408B。在一个实施例中，处理器(例如，处理器13)可不基于非直接参考层(例如，第二增强层EL2)中的图片408A和408B而考虑或做出任何确定。

直接参考层图片410中的每一者可与相应时间识别号或值或“TID值”(未图示)相关联。在一个方面中，存取单元AU1、AU2中的一者中的图片中的每一者可与相同(即，共同)TID值相关联。举例来说，对于第一存取单元AU1，当前图片CP1、图片408A以及直接参考层图片410A1和410A2两者可与相同TID值相关联。在一些方面中，处理器13可分别确定直接参考层图片410中的每一者的相关联TID值是否小于预定阈值(例如，“最大时间识别值”、“最大时间识别号”或“MaxTID”)。在一些实施例中，MaxTID可与当前层和视频序列415相关联。在所说明的实例中，直接参考层图片410A1与大于或等于MaxTID的TID值相关联，且直接参考层图片410B1与小于MaxTID的TID值相关联。在一个实施例中，MaxTID可为“4”的值，与直接参考层图片410A1(第一存取单元AU1中)相关联的TID值可为“5”，且与直接参考层图片410B1(第二存取单元AU2中)相关联的TID值可为“2”。在一些实施例中，MaxTID可为用于整个视频序列415的恒定值。举例来说，MaxTID可按照视频编码标准针对整个视频序列415保持恒定(例如，HEVC标准的max_tid_il_ref_pics_plus1[i]变量)。在其它实施例中，MaxTID可在视频序列415中的每存取单元AU1、AU2变化。换句话说，每一相应存取单元420可与相应MaxTID相关联。

处理器13可使用直接参考层图片410中的每一者和与当前图片405相关联的每一直接参考层图片的性质确定各种信息。图4的行430、440、450和460说明此信息的一个实施例。举例来说，行430中的值表示与存取单元AU1、AU2相关联的直接参考层图片410。图4进一步说明直接参考层图片410中的每一者(例如，与第一存取单元AU1相关联的直接参考层图片410A1、与第一存取单元AU1相关联的直接参考层图片410A2、与第二存取单元AU2相关联的直接参考层图片410B1以及与第二存取单元AU2相关联的直接参考层图片410B2)与行440和450中的对应条目之间的关联(展示为具有虚线的卵形)，如下文进一步描述。

对于视频序列415的每一存取单元，处理器13可确定存取单元内的直接参考层图片410是否包含在当前图片405的层间参考图片集中。在一个方面中，层间参考图片集还可包含其它图片。举例来说，关于第一存取单元AU1，处理器可确定第一直接参考层图片410A1是否包含在层间参考图片集中以预测CP1。处理器还可确定第二直接参考层图片410A2是否包含在层间参考图片集中以预测CP1。关于第二存取单元AU2，处理器可确定第一直接参考层图片410B1是否包含在层间参考图片集中以预测CP2。处理器还可确定第二直接参考层图片410B2是否包含在层间参考图片集中以预测CP2。这些实例确定的结果在行440中说明。此确定可涉及确定直接参考层图片410中的每一者是否可用于当前图片405中的相关联一者的层间预测。在一些实施例中，处理器13可基于通过利用直接参考层图片410可实现的预测效率的程度而做出此确定。举例来说，如果处理器13确定直接参考层图片410中的一或多者包括与当前图片405中的相关联一者的大于阈值量的相似性等级(例如，基于运动估计，例如(但不限于)特定直接参考层图片与相关联当前图片之间的运动估计的差)，那么处理器13可确定使用直接参考层图片410中的此些一或多者来预测当前图片405中的相关联一者将为高效的(例如，处理器在信令中将利用较少的位)。因此，处理器13可确定直接参考层图片410中的一或多者是否包含在层间参考图片集中。

如行440中所说明，仅直接参考层图片410A2、410B1和410B2包含在层间参考图片集中。替代地，处理器13可确定直接参考层图片410中的一或多者不具有与当前图片405的大于阈值的相似性，以使得使用此些一或多个直接参考层图片410来预测当前图片405中的相关联一者将不是高效的。在此情况下，处理器13可确定直接参考层图片410中的此些者不包含在层间参考图片集中。举例来说，如行440中所说明，直接参考层图片410A1未包含在层间参考图片集中。在一些实施例中，处理器13可针对直接参考层图片410中的每一者执行上述确定，如行440中所示。

处理器13还可确定直接参考层图片410中的每一者是否受限制以免在层间预测中使用。此些确定的结果在行450中说明。在一些实施例中，处理器13可仅分析处理器13先前确定未包含在层间参考图片集中的直接参考层图片410中的图片以确定此些直接参考层图片是否受限制以免在层间预测中使用。举例来说，如行440中所示，仅第一存取单元AU1的第一直接参考层图片410A1先前确定为不包含在层间参考图片集中。因此，在一个实施例中，处理器13仅分析此图片(第一直接参考层图片410A1)以确定其是否受限制以免在层间预测中使用。在另一实施例中，处理器13可确定直接参考层图片410中的每一者是否受限制以免在层间预测中使用，无论处理器13是否已先前确定在层间参考图片集中是否包含此些直接参考层图片410。在另一实施例中，处理器13在确定此些直接参考层图片410是否包含在层间参考图片集中之前确定直接参考层图片410中的一或多者是否受限制以免在层间预测中使用。确定直接参考层图片410中的每一者是否受限制以免在层间预测中使用可基于直接参考层图片410中的每一者是否与大于或等于MaxTID的TID值相关联。在图4的所说明的实例中，处理器13确定第一存取单元A1的第一直接参考层图片410A1受限制以免在层间预测中使用。此确定在行450中表示为“是”。处理器13确定第一存取单元A1的第一直接参考层图片410A1受限制以免在层间预测中使用，因为直接参考层图片410A1与大于或等于MaxTID的TID值相关联(如在第一增强层EL1与第一存取单元AU1的相交点处指示)。在一个实施例中，如上文所描述(但图4中未说明)，因为视频序列415的剩余直接参考层图片410A2、410B1和410B2经确定为包含在层间参考图片集中(如行440中指示)，所以处理器13无需进一步确定此些剩余直接参考层图片410A2、410B1和410B2是否受限制以免在层间预测中使用。因为处理器无需执行此些进一步确定，所以行450中对应于此些进一步确定的值可指示为“N/A”。然而，在所说明的实施例中，处理器13进一步基于其相应TID值中的每一者是否大于或等于MaxTID而确定剩余直接参考层图片410A2、410B1和410B2中的每一者是否受限制以免在层间预测中使用。与剩余直接参考层图片410A2、410B1和410B2相关联的结果在行450中分别提供为“是”、“否”和“否”。因为直接参考层图片410A2与大于或等于MaxTID的TID值相关联，所以处理器13确定直接参考层图片410A2受限制以免在层间预测中使用。类似地，因为直接参考层图片410B1和410B2与不大于或等于MaxTID的TID值相关联，所以处理器13确定直接参考层图片410B1和410B2不受限制在层间预测中使用。

处理器13可确定是否基于直接参考层图片是否包含在层间参考图片集(如行440中所示)和至少未包含在层间参考图片集中的直接参考层图片(例如，直接参考层图片410A1)是否受限制以免在层间预测中使用(如行450中所示)而设定指示。设定成“1”的值的所述指示指定对于参考VPS的每一图片，属于含有所述图片的层的全部直接参考层且不受限制用于层间预测的参考层图片存在于与所述图片相同的存取单元中，且包含在所述图片的层间参考图片集中。设定成“0”的值的所述指示指定以上限制可以或可不应用。处理器13可确定是否针对当前图片405中的每一者(或共同地针对当前层)和/或针对经译码视频序列(CVS)(例如，针对CVS内的全部层)设定所述指示。在一个实施例中，所述指示指示不受限制在层间预测中使用的全部直接参考层图片410(在所说明的实施例中，直接参考层图片410B1和410B2，如行450中指示)是否包含在层间参考图片集中(如行440中指示)。在一个实施例中，处理器13可使用单个指示(例如，包括单个位)针对视频序列415中的全部当前图片405设定所述指示。举例来说，所述指示可为处理器13设定为“1”的值或“0”的值的旗标。在一些实施例中，设定成“1”的值的旗标可指示不受限制在层间预测中使用的全部相关联直接参考层图片410包含在层间参考图片集中，切设定成“0”的值的旗标可指示不受限制在层间预测中使用的全部相关联直接参考层图片410未包含在层间参考图片集中。在一些实施例中，设定成“1”的值的旗标可指示不受限制在层间预测中使用的全部相关联直接参考层图片410包含在层间参考图片集中，且设定成“0”的值的旗标可指示不受限制在层间预测中使用的相关联直接参考层图片410中的至少一者未包含在层间参考图片集中。在一些实施例中，旗标的“0”和“1”的值可提供与上述那些指示相反的指示。

在一些实施例中，所述旗标可在处理器13执行上述确定中的任一者之前初始化为“0”或“1”的值。在一个实施例中，所述旗标可为HEVC相关旗标，例如all_ref_layers_active_flag。在另一实施例中，处理器13可以不同方式做出此指示。举例来说，在替代实施例中，处理器13可针对视频序列415中的当前图片405中的每一者个别地提供此指示。

在图4的所说明的实例中，当前图片405的直接参考层图片410是直接参考层图片410A1、410A2、410B1和410B2(如行430中指示)。直接参考层图片410A2、410B1和410B2包含在层间参考图片集中(如行440中指示)。因为直接参考层图片410中的至少一者(在所说明的实施例中，直接参考层图片410A1)未包含在层间参考图片集中，所以先前方法将确定指示应设定成值“0”。然而，根据本文所描述的各种实施例，处理器可实际上进一步确定此直接参考层图片410A1是否受限制以免在层间预测中使用。在所说明的实例中，如上文所论述，因为直接参考层图片410A1具有大于或等于MaxTID的TID值，所以处理器13可确定直接参考层图片410A1受限制以免在层间预测中使用(如行450中指示)。因此，不受限制在层间预测中使用的用于当前层的全部直接参考层图片410包含在层间参考图片集中。关于第一存取单元AU1中的第一当前图片CP1，处理器可确定属于含有图片(例如，当前图片CP1)的层(例如，当前层，其在此实施例中是第三增强层EL3)的全部直接参考层(例如，基础层BL和第一增强层EL1)且不受限制用于层间预测(例如，不存在此些图片，如行450的左边两个列中指示)的参考层图片(例如，直接参考层图片410A1和410A2)存在于与所述图片相同的存取单元中，且包含在所述图片的层间参考图片集中。在此实施例中，处理器可设定所述指示，因为不存在不受限制在层间预测中使用的直接参考层图片。另外，相对于第二存取单元AU2中的第二当前图片CP2，处理器还可提供指示(例如，行460中的指示)以指示属于含有图片(例如，当前图片CP2)的层(例如，当前层，其在此实施例中是第三增强层EL3)的全部直接参考层(例如，基础层BL和第一增强层EL1)且不受限制用于层间预测(例如，如行450的右边两个列中指示)的参考层图片(例如，直接参考层图片410B1和410B2)存在于与图片(例如，当前图片CP2)相同的存取单元(例如，AU2)中，且包含在图片(例如，第二当前图片CP2)的层间参考图片集中(例如，如行440的右边两个列中指示)。举例来说，处理器可通过将旗标设定为值“1”(如行460中所示)来设定所述指示。换句话说，属于含有所述图片的层的全部直接参考层且不受限制用于层间预测(如通过比较相关联TID值与MaxTID而确定)的直接参考层图片存在于与所述图片相同的存取单元中且可包含在所述图片的层间参考图片集中。在另一实施例中，所述旗标初始化为值“1”，且处理器可当不受限制在层间预测中使用的用于当前层的全部直接参考层图片410包含在层间参考图片集中时避免改变旗标值。举例来说，处理器可改为当不受限制在层间预测中使用的用于当前层的直接参考层图片410中的至少一者未包含在层间参考图片集中时将旗标设定为值“0”。

在另一个实施例中(图4中未描绘)，在与上文所述全部其它都相同的情况下，处理器13可改为确定直接参考层图片410B2未包含在层间参考图片集中。在此所提议的实例中，与直接参考层图片410B2相关联的行440处的条目将改为以“否”填充。在此实施例中，处理器13接着可确定直接参考层图片410B2是否受限制以免在层间预测中使用(此确定的结果在与直接参考层图片410B2相关联的行450处的条目中指示)。因为直接参考层图片410B2具有小于MaxTID的TID值，所以处理器13可确定直接参考层图片410B2不受限制在层间预测中使用(如行450中指示)。因此，不受限制在层间预测中使用的用于当前层的全部直接参考层图片410包含在层间参考图片集中。因此，处理器13可提供指示以指示针对参考VPS的每一图片属于含有所述图片的层的全部直接参考层且不受限制用于层间预测的参考层图片存在于与所述图片相同的存取单元中且包含在所述图片的层间参考图片集中的限制可以或可不适用。此指示可包含将旗标设定为值“0”。因此，在此所提议的实例中，行460处的条目将改为以“0”填充。在一个实施例中，处理器13可将旗标设定为值“0”以指示与当前图片405相关联的直接参考层图片410可包含或可不包含不受限制在层间预测中使用的全部直接参考层图片410。在另一实施例中，处理器可将旗标初始化为具有值“0”。在此实施例中，处理器13可当不受限制在层间预测中使用的用于当前层425A的并非全部直接参考层图片410包含在层间参考图片集中时不修改所述旗标。处理器13可使用任何其它数目的可能考虑和/或确定来确定所述指示的设定。

在一个替代实施例中，即使处理器确定不受限制在层间预测中使用的用于当前层的全部直接参考层图片410包含在层间参考图片集中，在一些情况下，处理器仍可将所述指示设定为“0”的值。举例来说，当处理器确定超过预定数目的直接参考层图片410未包含在层间参考图片集中(即使它们受限制以免在层间预测中使用)时处理器可将所述指示设定为“0”的值。在一个实施例中，所述预定数目可基于预定阈值(例如，百分比)，其可基于编码类型、图片类型、每秒帧值和/或任何其它图片参数而变化。举例来说，如果直接参考层图片410的数目是10，预定阈值是4，且处理器确定10个直接参考层图片410中的5个未包含在层间参考图片集中，那么在一个实施例中，处理器可将所述指示值设定为“0”。

设定所述指示后(如行460处指示)，处理器13接着可启用装置(例如，视频编码器20)以向另一装置(例如，视频解码器30)用信号表示所述指示。视频编码器20还可基于处理器13的各种确定用信号表示其它指示。举例来说，视频编码器20可相对于当前图片405和/或针对视频序列415中的全部当前图片405用信号表示直接参考层图片的数目。在一个方面中，视频编码器20可在切片层级用信号表示指示。在一个方面中，基于这些指示中的一或多者，视频解码器30接着可确定来自直接参考层图片的有效参考层图片的数目以使得视频解码器30可确定包含在层间参考图片集(RPS)中的层间参考图片的数目，如下文相对于图6进一步描述。

在上述当前HEVC扩展方法的上下文中，在一个实施例中，相对于图4描述的技术可用以修改某些HEVC语义以便使视频编码器能够甚至当一些子层的图片不用于层间预测时也将all_ref_layers_active_flag设定为1。在一个实施例中，如果针对不属于那些子层的每一图片，含有所述图片的层的全部直接参考层的参考层图片存在于与所述图片相同的存取单元中且包含在所述图片的层间参考图片集中，那么可启用此特征。举例来说，all_ref_layers_active_flag的新语义定义可包含：“等于1的all_ref_layers_active_flag指定对于参考VPS的每一图片，属于含有所述图片的层的全部直接参考层且不受限制用于层间预测(如由max_tid_il_ref_pics_plus1[i]的值确定)的参考层图片存在于与所述图片相同的存取单元中，且包含在所述图片的层间参考图片集中。等于0的all_ref_layers_active_flag指定以上限制可以或可不应用。”

在替代实施例中，在某些情形中当MaxTID是0时上述旗标可设定成0。对此定义的实例额外语言可包含“当对于在0到vps_max_layers_minus1(包含性)的范围内的i的任何值max_tid_il_ref_pics_plus1[i]等于0时，all_ref_layers_active_flag的值将等于0”。

在另一个替代性实施例中，处理器13可在比可指示MaxTID的存在的任何现存旗标(例如，max_tid_ref_present_flag)更早的位置中用信号表示上述参考层旗标(例如，all_ref_layers_active_flag)。在此实施例中，当参考层旗标经设定(例如，等于1)时，MaxTID存在旗标可不设定(例如，等于0)。

在另一个替代性实施例中，可指示MaxTID的存在的任何现存旗标(例如，max_tid_ref_present_flag)可不存在(例如，或从上述HEVC扩展方法的上下文中的语法移除)。另外，处理器13可在比表示MaxTID值的变量(例如，max_tid_il_ref_pics_plus1[i])更早的位置中用信号表示上述参考层旗标(例如，all_ref_layers_active_flag)。在此实施例中，当参考层旗标经设定(例如，等于1)时，表示MaxTID值的变量可不存在。以下在语法表1中展示此替代实施例的一个实例实施方案：

vps_extension(){	描述符
		…
all_ref_layers_active_flag	u(1)
		if(all_ref_layers_active_flag)
for(i＝0；i<vps_max_layers_minus1；i++)
		max_tid_il_ref_pics_plus1[i]	u(3)
…
		}

表1

在另一实施例中，处理器13可在比可指示MaxTID的存在的任何现存旗标(例如，max_tid_ref_present_flag)更早的位置和比表示MaxTID值的变量(例如，max_tid_il_ref_pics_plus1[i])更早的位置中用信号表示上述参考层旗标(例如，all_ref_layers_active_flag)。在此实施例中，当参考层旗标经设定(例如，等于1)且MaxTID变量存在时，MaxTID变量值可为7。换句话说，MaxTID变量值可等于VPS最大子层变量(例如，vps_max_sub_layers_minus1+1)。

图5说明用于视频编码器(例如，视频编码器20)的处理器(例如，处理器13)如结合图4所描述指示层间参考图片集是否包含不受限制在层间预测中使用的全部直接参考层图片的一个方法的流程图。

方法500在框505处开始。在框510处，处理器13可确定与第一当前图片(例如，图4的第一当前图片CP1)相关联的直接参考层图片(例如，图4的直接参考层图片410A1、410A2)中的每一者是否包含在第一当前图片CP1的层间参考图片集中。所述方法可针对视频序列中的图片中的每一者重复。处理器13可使用上文所描述的方法中的任一者执行此确定。在一些实施例中，处理器13可以另一方式做出此确定。

处理器13可确定(在框510处)与所述当前图片相关联的直接参考层图片中的每一者包含在所述当前图片的层间参考图片集中。在此情况下，在框520处处理器可设定指示，其指示不受限制在层间预测中使用的用于当前层的全部直接参考层图片包含在所述当前图片的层间参考图片集中。在一个方面中，这可对应于图4的行440中的值中的每一者为“是”，无论图4的行450中的值如何。在框520中设定所述指示可因此对应于相对于将旗标设定为“1”的值的所描述方法，如图4的行460中指示。

处理器13可改为确定(在框510处)与所述当前图片相关联的直接参考层图片中的并非每一者包含在所述当前图片的层间参考图片集中。举例来说，如图4中所说明，直接参考层图片410A1未包含在层间参考图片集中。在此情况下，在框530处，处理器可确定未包含在当前图片的层间参考图片集中的与所述当前图片相关联的直接参考层图片中的任一者是否不受限制在层间预测中使用。举例来说，处理器13可使用相对于图4的行450所描述的方法相对于直接参考层图片410A1做出此确定。在一些方面，处理器13可以另一方式做出此确定，如结合图4进一步描述。

处理器可确定(在框530处)未包含在当前图片405的层间参考图片集中的与所述当前图片相关联的直接参考层图片中没有任一者不受限制在层间预测中使用(或未包含在当前图片的层间参考图片集中的与所述当前图片相关联的全部直接参考层图片受限制以免在层间预测中使用)。在此情况下，在框520处处理器可设定指示，其指示不受限制在层间预测中使用的用于当前层的全部直接参考层图片包含在所述当前图片的层间参考图片集中，如上文所论述。

替代地，处理器可改为确定(在框530处)未包含在当前图片405的层间参考图片集中的与所述当前图片相关联的直接参考层图片中的至少一者不受限制在层间预测中使用。在此情况下，随后在框540处，处理器可设定指示，其指示不受限制在层间预测中使用的用于当前层的并非全部直接参考层图片包含在层间参考图片集中。在一个方面中，这可对应于相对于如结合图4所描述将旗标设定为“0”的值的所描述的方法。如上文所论述，在一些实施例中旗标值可初始化为初始化值。在此情况下，如果所述值设定成等于初始化值，那么处理器可不设定旗标值。

所述方法在框550处结束。如上文结合图4所描述，以上过程仅是处理器13可如何确定所述指示的一个实例。

图6说明可经处理以确定来自一或多个直接参考层图片(在本文中也被称作“直接参考图片”、“参考图片”或“参考层图片”)的有效参考层图片的数目的视频信息600的实例。有效参考层图片是当前正使用层间预测处理的参考层中的图片。有效参考层图片对应于用以解码当前图片的特定直接参考层图片。在一个实施例中，参考图片集仅含有有效参考层图片。因此，在一个实施例中，术语“有效参考图片集”和“参考图片集”可互换使用。在一个方面中，相对于图6描述的特征中的一或多者可大体上由解码器(例如，图1A、1B和/或3的视频解码器30)执行。在一个方面中，视频解码器30可从编码器(例如，图1A、1B和/或2的视频编码器20)接收各种指示。在另一实施例中，所述指示可从不同装置接收或可存储于存储器单元(例如，图1A的存储装置34、图3的存储器92等)中。相对于图6描述的其它实施例也可以包含在存储器单元中。相对于图6描述的操作可由处理器(例如，图1A-3中的任何一或多者的源模块、目的地模块、视频编码器和/或视频解码器内的处理器，图1B的处理器/控制器模块13，和/或视频处理单元，例如图1B的视频处理单元21等)执行。视频解码器、视频编码器、存储器单元和/或处理器可彼此通信和/或操作性地连接。

在一个实施例中，在确定来自一或多个直接参考层图片的有效参考层图片的数目(例如，量)之前，视频解码器30可首先确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与当前图片相关联的层间参考图片集中。在一个方面中，层间参考图片集可包括结合图4-5描述的层间参考图片集的全部或一部分。在一个方面中，层间参考图片集还可包含其它图片。在一个实施例中，视频解码器30可基于指示而确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与当前图片相关联的层间参考图片集中。举例来说，所述指示可由视频编码器20设定且存储和/或提供到视频解码器30。在此实例中，所述指示可包括相对于图4的行460描述的指示。在一个实例中，所述指示可为设定成“1”的旗标。在其它实施例中，视频解码器30可以其它方式做出此确定。如相对于图4所描述，视频解码器30还可从视频编码器20或从一些其它源接收所述一或多个直接参考层图片。

视频序列615包含存取单元(共同称为存取单元620)，其中存取单元620中的每一者可含有一或多个图片。图6的视频序列615说明两个存取单元AU1、AU2；然而，视频序列615可包含任何数目的存取单元620。每一存取单元AU1、AU2可与视频信息的一或多个层625相关联，如由基础层BL和三个增强层EL1、EL2和EL3所说明。最低所说明的层或在视频信息600的极底部的层可为基础层(BL)或参考层(RL)，且在极顶部层级或在视频信息600的最高层级的层可为增强层。“经增强层”可视为与“增强层”同义，且这些术语可互换使用。在此实例中，层BL是基础层且层EL1、EL2和EL3分别是第一、第二和第三增强层。基础层BL与最高增强层EL3之间的层可充当增强层和/或参考层。在此实例中，层EL1、EL2和EL3表示增强层。

举例来说，给定层(例如，第二增强层EL2)可为用于给定层下方(即，前面)的层的增强层，所述给定层例如基础层(例如，基础层BL)或任何介入增强层(例如，第一增强层EL1)。此外，给定层(例如，第二增强层EL2)还可充当用于给定层上方(即，在之后)的增强层(例如，第三增强层EL3)的参考层。基础层(即，具有例如经设定为或等于“1”的层识别(ID)的最低层)与顶部层(或最高层)之间的任何给定层可用作用于通过相对于给定层更高的层的层间预测的参考，且可使用比给定层低的层作为用于层间预测的参考来确定。

当前正处理的层625可被称为“当前层”。在实例说明中，第三增强层EL3表示当前层。当前层可与一或多个直接参考层相关联。如上所提到，直接参考层是可以用于另一层的层间预测的层，例如当前层。在所说明的实例中，第一增强层EL1和基础层BL分别表示当前层(例如，在所说明的实施例中是第三增强层EL3)的第一和第二直接参考层。第一增强层EL1和基础层BL是当前层的直接参考层，因为它们经确定为可以用于第三增强层的帧间预测的层，所述第三增强层在此实例中是当前层。

层625中的每一者可包括一或多个图片，每一图片与层625中的一者和存取单元AU1、AU2中的一者相关联。与当前层(在此实例中，第三增强层EL3)相关联的图片可共同地称为当前图片605。举例来说，在所说明的实施例中，当前图片605包含位于第一存取单元AU1内的第一当前图片CP1和位于第二存取单元AU2内的第二当前图片CP2。在当前层(例如，第三增强层EL3)的直接参考层(例如，第一增强层EL1和基础层BL)中的图片(例如，图片610A1、610A2、610B1、610B2)可共同地称为直接参考层图片610(或参考层图片610)。举例来说，直接参考层图片610B1是第一直接参考层(在此实例中，第一增强层EL1)和第二存取单元AU2中的图片。此直接参考层图片610B1也可被称作“当前图片2的直接参考层图片1”。作为另一实例，直接参考层图片610A2是第二直接参考层(在此实例中，基础层BL)和第一存取单元AU1中的图片。此直接参考层图片610A1也可被称作“当前图片1的直接参考层图片2”。在当前层的非直接参考层(例如，非直接参考层EL2)中的图片可简单地称为图片608。在所说明的实施例中，图片608包含位于第一存取单元AU1中的图片608A和位于第二存取单元AU2中的第二图片608B。在一个实施例中，处理器(例如，处理器13)可不基于非直接参考层(例如，第二增强层EL2)中的图片608A和608B而考虑或做出任何确定。

直接参考层图片610中的每一者可与相应时间识别号或值或“TID值”(未图示)相关联。在一个方面中，存取单元AU1、AU2中的一者中的图片中的每一者可与相同(即，共同)TID值相关联。举例来说，对于第一存取单元AU1，当前图片CP1、图片608A以及直接参考层图片610A1和610A2两者可与相同TID值相关联。在一些方面中，处理器13可分别确定直接参考层图片610中的每一者的相关联TID值是否小于预定阈值(例如，“最大时间识别值”、“最大时间识别号”或“MaxTID”)。在一些实施例中，MaxTID可与当前层和视频序列615相关联。在所说明的实例中，直接参考层图片610A1与大于或等于MaxTID的TID值相关联，且直接参考层图片610B1与小于MaxTID的TID值相关联。在一个实施例中，MaxTID可为“4”的值，与直接参考层图片610A1(第一存取单元AU1中)相关联的TID值可为“5”，且与直接参考层图片610B1(第二存取单元AU2中)相关联的TID值可为“2”。在此情况下，直接参考层图片610A1将不会确定为当前图片的有效参考层图片，因为与直接参考层图片610A1相关联的TID值大于或等于MaxTID。然而，在此情况下，直接参考层图片610B1将经确定为当前图片的有效参考层图片，因为与直接参考层图片610B1相关联的TID值不大于或等于MaxTID。在一些实施例中，MaxTID可对于整个视频序列615为恒定值。举例来说，MaxTID可按照视频编码标准对于整个视频序列615保持恒定(例如，HEVC标准的max_tid_il_ref_pics_plus1[i]变量)。在其它实施例中，MaxTID可在视频序列615中的每存取单元AU1、AU2变化。换句话说，每一相应存取单元AU1、AU2可与相应MaxTID相关联。

处理器13可使用直接参考层图片610中的每一者和每一直接参考层图片的相关联当前图片605的性质确定各种信息。图6的行630说明此信息的一个实施例。举例来说，行630中的值表示来自存取单元AU1、AU2中的每一者中的所述一或多个直接参考层图片610的有效参考层图片的数目。

如上文所描述，对于视频序列615的每一存取单元，处理器13可确定来自所述一或多个直接参考层图片610的有效的数目。举例来说，关于第一存取单元AU1，处理器13可确定来自第一存取单元的当前图片的直接参考层图片610A1和610A2的有效参考层图片的数目。在一个实施例中，处理器13可将有效参考层图片的数目确定为等于与小于MaxTID的TID值相关联的直接参考层图片610的数目。关于存取单元AU1，直接参考层图片610A1和610A2两者与大于或等于MaxTID的TID值相关联。因此，处理器13可不将直接参考层图片610A1或610A2计数为有效参考层图片。因此，在存取单元AU1的所说明的实施例中，处理器13可确定来自所述一或多个直接参考层图片610的有效参考层图片的数目等于“0”，如对应于第一存取单元AU1的行630的部分中所示。

关于第二存取单元AU2，处理器13可类似地确定来自第二存取单元的当前图片的直接参考层图片610B1和610B2的有效参考层图片的数目。如上文所描述，在一个实施例中，处理器13可将有效参考层图片的数目确定为等于与小于MaxTID的TID值相关联的直接参考层图片610的数目。关于存取单元AU2，直接参考层图片610B1和610B2两者与小于MaxTID的TID值相关联。因此，处理器13可将直接参考层图片610B1和610B2两者计数为有效参考层图片。因此，在存取单元AU2的所说明的实施例中，处理器13可确定来自所述一或多个直接参考层图片610的有效参考层图片的数目等于“2”，如对应于第二存取单元AU2的行630的部分中所示。

处理器13可使用任何其它数目的可能考虑和/或确定来确定有效参考层图片的数目。在一个替代实施例中，处理器13可确定直接参考层图片610中的哪些不是有效参考层图片(例如，通过确定与大于或等于MaxTID的TID值相关联的直接参考层图片610的数目)且随后基于差值确定有效参考层图片的数目。

确定有效参考层图片的数目后(如行630处指示)，处理器13接着可按照视频解码标准将此确定指示为变量值(例如，HEVC标准的NumActiveRefLayerPics变量)。在一个实施例中，处理器13可界定层间参考图片集(RPS)(例如，“有效参考图片集”或“参考图片集”)以使得其含有相关联有效参考层图片。处理器13接着可基于有效参考层图片中的至少一者使用层间预测解码相关联当前图片605。举例来说，基于上述分析，处理器13可基于有效参考层图片610B1和/或610B2中的一或多者使用层间预测解码AU2中的当前图片605。

在上述当前HEVC扩展方法的上下文中，在一个实施例中，某些HEVC标准变量定义也可以经修改以利用如结合图4所描述的语义修改。举例来说，某些变量定义修改可允许视频解码器30在某些变量(例如，NumActiveRefLayerPics)的导出期间选择性计数图片。即，属于不用于层间预测(例如，如由MaxTID指示，其可为上述变量max_tid_il_ref_pics_plus1)的子层的参考层图片可不包含在层间参考图片集中。举例来说，用于导出NumActiveRefLayerPics的新代码可包含以下内容：

如上文结合图4所描述，本发明中描述的语义修改和方法可致使与当前HEVC扩展方法中相比更频繁地将all_ref_layers_active_flag设定成1。因此，用于导出NumActiveRefLayerPics的以上新代码可致使与当前HEVC扩展方法中相比更频繁地利用代码块中的第一个‘elseif’(例如，因为all_ref_layers_active_flag更频繁地设定成1)。在一个实施例中，代码块中的第一个‘elseif’的参数可表示结合图6-7所描述的方法的一部分。

图7说明用于视频解码器(例如，视频解码器30)的处理器(例如，处理器13)如结合图6所描述确定来自一或多个直接参考层图片的有效参考层图片的数目的一个方法的流程图。

方法700在框705处开始。在框710处，处理器13可确定不受限制在层间预测中使用的全部一或多个直接参考层图片是否包含在与当前图片相关联的层间参考图片集中。在一个方面中，层间参考图片集可包括结合图4-5描述的层间参考图片集的全部或一部分。举例来说，层间参考图片集可包括图6的直接参考层图片610A1、610A2、610B1和610B2中的每一者。在一个实施例中，处理器13可基于由视频编码器(例如，视频编码器20)提供的指示而确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与当前图片相关联的层间参考图片集中，如结合图4-6进一步描述。在其它实施例中，处理器13可使用上文所描述的方法中的任一者做出所述确定。在一些实施例中，处理器13可以另一方式做出所述确定。

处理器13可确定(在框710处)不受限制在层间预测中使用的全部所述一或多个直接参考层图片包含在与所述当前图片相关联的层间参考图片集中。在一个实例中，处理器13可如结合图6所描述基于接收到设定成“1”的旗标而做出此确定。在此情况下，在框720处，处理器13可确定是有效参考层图片的一或多个直接参考层图片的数目。在一个实施例中，是有效参考层图片的一或多个直接参考层图片的数目可等于与小于MaxTID的TID值相关联的直接参考层图片的数目。TID值和MaxTID可为如结合图6所描述的TID值和MaxTID。在一个实施例中，处理器13可针对每一存取单元做出结合框720描述的确定。举例来说，参考图6的AU1，处理器13可确定与小于MaxTID的TID值相关联的直接参考层图片610A1和610A2的数目，且随后单独地确定与小于MaxTID的TID值相关联的直接参考层图片610B1和610B2的数目。如上文所描述，此确定也可以描述为确定来自一或多个直接参考层图片的有效参考层图片的数目。举例来说，此确定可对应于相对于图6的行630描述的确定。所述方法接着可在框730处结束。如上文结合图6所描述，以上过程仅是处理器13可如何做出此确定的一个实例。

处理器13可改为确定(在框710处)不受限制在层间预测中使用的并非全部所述一或多个直接参考层图片包含在与所述当前图片相关联的层间参考图片集中。在一个实例中，处理器13可如结合图6所描述基于接收到设定成“0”的旗标做出此确定。在此情况下，所述方法接着可在框730处结束。如上文结合图6所描述，以上过程仅是处理器13可如何做出此确定的一个实例。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可以包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体总体上可以对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上的组合也应该包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可以在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (28)

1.一种视频编码器，其包括：

存储器单元，其经配置以存储序列中的一或多个当前图片的一或多个直接参考层图片，其中所述一或多个当前图片与当前层相关联，所述当前层与所述一或多个直接参考层相关联；以及

处理器，其与所述存储器单元通信且经配置以设定与当前图片相关联的指示以指示不受限制在层间预测中使用的所述当前图片的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

2.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以基于与所述当前图片相关联的所述指示设定用于所述序列中的所述一或多个当前图片中的每一者的相应指示。

3.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以基于每一相应直接参考层图片是否可用于所述当前图片的层间预测的确定而确定所述相应直接参考层图片是否包含在所述层间参考图片集中。

4.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以当所述一或多个直接参考层图片中的直接参考层图片具有小于预定阈值的时间识别值时确定所述直接参考层图片不受限制在层间预测中使用。

5.根据权利要求4所述的视频编码器，其中所述预定阈值是基于与所述当前层相关联的最大时间识别值。

6.根据权利要求1所述的视频编码器，其中所述指示是旗标。

7.根据权利要求6所述的视频编码器，其中所述处理器进一步经配置以：

基于不受限制在层间预测中使用的所述当前图片的全部所述直接参考层图片包含在与所述当前图片相关联的所述层间参考图片集中的第一确定将所述旗标设定为第一值；以及

基于不受限制在层间预测中使用的所述当前图片的并非全部所述直接参考层图片包含在与所述当前图片相关联的所述层间参考图片集中的第二确定将所述旗标设定为第二值。

8.一种对视频进行编码的方法，所述方法包括：

存储序列中的一或多个当前图片的一或多个直接参考层图片，其中所述一或多个当前图片与当前层相关联，所述当前层与所述一或多个直接参考层相关联；以及

设定与当前图片相关联的指示以指示不受限制在层间预测中使用的所述当前图片的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

9.根据权利要求8所述的方法，其进一步包括基于与所述当前图片相关联的所述指示设定用于所述序列中的所述一或多个当前图片中的每一者的相应指示。

10.根据权利要求8所述的方法，其进一步包括基于每一相应直接参考层图片是否可用于所述当前图片的层间预测的确定而确定所述直接参考层图片是否包含在所述层间参考图片集中。

11.根据权利要求8所述的方法，其进一步包括当所述一或多个直接参考层图片中的直接参考层图片具有小于预定阈值的时间识别值时确定所述直接参考层图片不受限制在层间预测中使用。

12.根据权利要求11所述的方法，其中所述预定阈值是基于与所述当前层相关联的最大时间识别值。

13.根据权利要求8所述的方法，其中所述指示是旗标。

14.根据权利要求13所述的方法，其进一步包括：

基于不受限制在层间预测中使用的所述当前图片的全部所述直接参考层图片包含在与所述当前图片相关联的所述层间参考图片集中的第一确定将所述旗标设定为第一值；以及

基于不受限制在层间预测中使用的所述当前图片的并非全部所述直接参考层图片包含在与所述当前图片相关联的所述层间参考图片集中的第二确定将所述旗标设定为第二值。

15.一种视频解码器，其包括：

存储器单元，其经配置以存储一或多个直接参考层图片，其中所述一或多个直接参考层图片中的每一者与一或多个直接参考层的相应直接参考层相关联，其中所述一或多个直接参考层与当前层相关联，且其中所述当前层与当前图片相关联；以及处理器，其与所述存储器通信且经配置以基于指示确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

16.根据权利要求15所述的视频解码器，其中所述处理器进一步经配置以响应于确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片包含在与所述当前图片相关联的所述层间参考图片集中而确定是有效参考层图片的所述一或多个直接参考层图片的数目。

17.根据权利要求16所述的视频解码器，其中所述处理器经配置以通过识别所述一或多个直接参考层图片中与小于预定阈值的相应时间识别值相关联的直接参考层图片来确定是有效参考层图片的所述一或多个直接参考层图片的所述数目。

18.根据权利要求17所述的视频解码器，其中所述预定阈值是基于与所述当前层相关联的最大时间识别值。

19.根据权利要求16所述的视频解码器，其中所述处理器进一步经配置以使用层间预测和所述直接参考层图片中的至少一者对所述当前图片进行解码。

20.根据权利要求15所述的视频解码器，其中所述指示是旗标。

21.根据权利要求15所述的视频解码器，其中所述处理器进一步经配置以通过确定与所述一或多个直接参考层图片中的直接参考层图片相关联的时间识别值小于预定阈值而确定所述直接参考层图片不受限制在层间预测中使用。

22.一种用于对视频进行解码的方法，所述方法包括：

存储一或多个直接参考层图片，其中所述一或多个直接参考层图片中的每一者与一或多个直接参考层中的相应直接参考层相关联，其中所述一或多个直接参考层与当前层相关联，且其中所述当前层与当前图片相关联；以及

基于指示确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片是否包含在与所述当前图片相关联的层间参考图片集中。

23.根据权利要求22所述的方法，其进一步包括响应于确定不受限制在层间预测中使用的全部所述一或多个直接参考层图片包含在与所述当前图片相关联的所述层间参考图片集中而确定是有效参考层图片的所述一或多个直接参考层图片的数目。

24.根据权利要求23所述的方法，其中确定是有效参考层图片的所述一或多个直接参考层图片的所述数目包括识别所述一或多个直接参考层图片中与小于预定阈值的相应时间识别值相关联的直接参考层图片。

25.根据权利要求24所述的方法，其中所述预定阈值是基于与所述当前层相关联的最大时间识别值。

26.根据权利要求23所述的方法，其进一步包括使用层间预测和所述直接参考层图片中的至少一者对所述当前图片进行解码。

27.根据权利要求22所述的方法，其中所述指示是旗标。

28.根据权利要求22所述的方法，其进一步包括通过确定与所述一或多个直接参考层图片中的直接参考层图片相关联的时间识别值小于预定阈值而确定所述直接参考层图片不受限制在层间预测中使用。