CN105684444A - 用于单独地界定对基于子层的层间预测的相依性的系统和方法 - Google Patents

Abstract

本文中描述用于相对于与第一层相关联的若干增强层中的每一者单独地界定及指示对所述第一层的层间预测相依性的系统和方法。本发明中描述的标的物的一个方面提供视频编码器，其包括存储器单元，所述存储器单元经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片。所述视频编码器进一步包括与所述存储器单元通信的处理器。所述处理器经配置以针对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增强层图片的层间预测的单独指示。

Description

用于单独地界定对基于子层的层间预测的相依性的系统和方法

技术领域

本发明涉及可缩放视频译码(SVC)领域。更具体来说，涉及基于HEVC的SVC(HEVC-SVC)及HEVC扩展。

背景技术

数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如下文所述的各种视频译码标准中描述的那些技术(例如，高效率视频译码(HEVC))。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。

发明内容

准许视频编码器提供第一层及与第一层相关联的若干增强层中的每一者之间的层间预测相依性的单独的独立指示将是有益的。此单独的独立指示可在若干译码场景中(例如，在实时应用场景中)提高译码性能(例如，提供资源权衡灵活性)。

因此，本文中描述以下技术：使用第一层中的图片及/或相关联的增强层中的图片的某些性质相关的指示及/或确定来单独地界定及指示第一层相对于与第一层相关联的若干增强层中的每一者的层间预测相依性。例如，本发明描述以下技术：界定、指示及/或确定第一层中的图片是否可用于第一增强层的层间预测，同时单独地界定、指示及/或确定第一层中的图片是否可用于第二增强层的层间预测。本发明中描述的技术的优点以及其它优点可包含在层间预测期间减少存储器分配且在某些译码场景中允许资源权衡灵活性，例如针对一个层实施轻量解码(例如，单环路解码)，而针对另一层实施高质量解码(例如，多环路解码)。

本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。附图及以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。

本发明中描述的标的物的一个方面提供一种视频编码器，其包括存储器单元，所述存储器单元经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片。所述视频编码器进一步包括与所述存储器单元通信的处理器。所述处理器经配置以针对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增强层图片的层间预测的单独指示。

本发明中描述的标的物的另一方面提供一种编码视频的方法。所述方法包括存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片。所述方法进一步包括针对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增强层图片的层间预测的单独指示。

本发明中描述的标的物的另一方面提供一种包括存储器单元的视频解码器。所述存储器单元经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强图片。所述视频解码器进一步包括与所述存储器单元通信的处理器。所述处理器经配置以针对所述增强层中的每一者基于相应的指示单独地确定所述第一图片是否可用于相应的增强层中的增强层图片的层间预测。

本发明中描述的标的物的另一方面提供一种用于解码视频的方法。所述方法包括存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片。所述方法进一步包括针对所述增强层中的每一者基于相应的指示单独地确定所述第一图片是否可用于相应的增强层中的增强层图片的层间预测。

附图说明

图1A是说明可利用本发明中所描述的单独层间预测相依性界定技术的实例视频编码及解码系统的框图。

图1B是说明可执行本发明中所描述的单独层间预测相依性界定技术的另一实例视频编码和解码系统的框图。

图2是说明可实施本发明中所描述的单独层间预测相依性界定技术的实例视频编码器的框图。

图3是说明可实施本发明中所描述的单独层间预测相依性界定技术的实例视频解码器的框图。

图4是说明多个存取单元的实例的图，每一存取单元具有多个层，每一层具有多个图片。

图5说明供视频编码器的处理器单独地指示第一层相对于一或多个第二层的层间预测相依性的一个方法的流程图。

图6说明供视频解码器的处理器单独地确定第一层与一或多个第二层之间的层间预测相依性的一个方法的流程图。

图7说明编码视频信息的方法的另一实施例。

具体实施方式

下文结合附图阐述的详细描述既定作为对本发明的示范性实施例的描述，且并不希望表示可以实践本发明的仅有实施例。贯穿此描述所使用的术语“示例性”意指“充当实例、例子或说明”，且未必应解释为比其它示例性实施例优选或有利。具体实施方式出于提供对本发明的示例性实施例的透彻理解而包含特定细节。在一些情况下，以框图形式展示一些装置。

虽然出于解释的简单的目的，将方法展示并描述为一连串动作，但应理解并了解，所述方法不受动作的次序限制，因为根据一或多个方面，一些动作可以不同次序发生及/或与来自本文中展示及描述的其它动作同时发生。例如，所属领域的技术人员将理解并且了解，所述方法可以替代地表示为(例如在一个状态图中的)一系列相关状态或事件。此外，根据一或多个方面，并不需要所有所说明的动作来实施方法。

视频译码标准包含由ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ISO/IECMPEG-4Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264(也被称作ISO/IECMPEG-4AVC)界定的标准，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展，以及当前在开发的第10部分高级视频译码(AVC)、高效率视频译码(HEVC)和此些标准的扩展。HEVC最近已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。最新的HEVC草案规范(“HEVCWD”)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip得到。对HEVC(MV-HEVC)的多视图扩展和高级HEVC3D视频译码扩展(3D-HEVC)正由JCT-3V开发。此外，对HEVC的可缩放视频译码扩展(SHVC)正由JCT-VC开发。MV-HEVC的最近工作草案(“MV-HEVCWD5”)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip得到。3D-HEVC的最新工作草案(“3D-HEVCWD1”)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip得到。此外，SHVC的最近工作草案(“SHVCWD3”)可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip得到。

如上文所描述，视频译码的某些方面包含界定第一层中的图片是否可以用于与第一层相关联的所有增强层中的图片的层间预测。举例来说，视频序列可包含存取单元，且存取单元中的每一者可含有一或多个图片。每一存取单元可进一步与一或多个视频信息层(例如，基础层及一或多个增强层)相关联。所述层可各自与设定成或等于值(例如，整数值)的层识别(ID)相关联。在给定层与低于与不同层相关联的层识别(ID)的层识别(ID)相关联时，所述给定层可被称为在所述不同层“之前”或“之下”。相反，在给定层与高于与不同层相关联的层识别(ID)的层识别(ID)相关联时，所述给定层可被称为在所述不同层“之后”或“之上”。举例来说，给定层(例如，一或多个增强层中的一者)可为在给定层前面的层的增强层，例如基础层或任何前面的增强层。例如，视频编码器可分析第一层中的图片以使得其可向视频解码器指示第一层图片是否可用于与第一层相关联的增强层的层间预测。在一些情况下，如果视频编码器指示第一层图片可用于与第一层相关联的增强层的层间预测，那么视频编码器还可指示第一层中的图片可以用于与第一层相关联的增强层的层间预测到什么程度。例如，视频编码器可指示仅与其值小于阈值(例如，时间识别阈值(例如，“TID阈值”、“最大TID”或“MaxTID”)的参数(例如，时间识别值(TID)或“TID值”)相关联的那些图片可以用于与第一层相关联的增强层的层间预测。例如，在视频参数集(VPS)层级处，视频编码器可提供向视频解码器指示来自第一层的图片是否可以用于层间预测与第一层相关联的增强层的指示(例如，设定成0或1的语法元素及/或旗标)。视频编码器接着可提供向视频解码器指示第一层中的图片可以用于与第一层相关联的增强层的层间预测的程度的额外指示(例如，语法元素、旗标，及/或可设定成值的变量)，如上文所描述。通过提供这些指示(例如，设定某些旗标及变量)，视频编码器可允许视频解码器确定是否使用第一层中的图片用于层间预测与第一层相关联的所有增强层中的图片及到什么程度。

例如，MV-HEVCWD5及SHVCWD3的最近工作草案包含具有以下语义的旗标max_tid_ref_present_flag：“max_tid_ref_present_flag等于1指定语法元素max_tid_il_ref_pics_plus1[i]存在。max_tid_ref_present_flag等于0指定语法元素max_tid_il_ref_pics_plus1[i]不存在”。此外，MV-HEVCWD5及SHVCWD3的最近工作草案包含视频参数集(VPS)中的具有以下语义的旗标max_tid_il_ref_pics_plus1：“max_tid_il_ref_pics_plus1[i]等于0指定在CVS内，具有等于layer_id_in_nuh[i]的nuh_layer_id的非IRAP图片不用作层间预测的参考。max_tid_il_ref_pics_plus1[i]大于0指定在CVS内，具有等于layer_id_in_nuh[i]的nuh_layer_id及大于max_tid_il_ref_pics_plus1[i]-1的TemporalId的图片不用作层间预测的参考。在不存在时，推断max_tid_il_ref_pics_plus1[i]等于7”。例如，视频编码器可用信号发送max_tid_ref_present_flag以指示max_tid_il_ref_pics_plus1[i]存在。如果存在，那么视频编码器可在VPS层级处用信号发送max_tid_il_ref_pics_plus1[i](例如，向可由视频解码器存储及/或处理的位流)以指示属于时间子层(例如，[i])的图片是否用于较高层图片(例如，增强层中)的层间预测。例如，在视频编码器将max_tid_il_ref_pics_plus1[i]设定成等于值“0”且将其用信号发送到视频解码器时，视频解码器可确定[i]层中的图片将不用于任何增强层的层间预测。作为另一实例，在视频编码器将max_tid_il_ref_pics_plus1[i]设定成等于大于“0”的值(例如，X)时，视频解码器可确定[i]层中的与大于X-1的TID值相关联的图片将不用于任何增强层的层间预测。视频解码器可使用此信息丢弃(例如，从缓冲器移除)不用于层间预测的那些图片。

通过以上文所描述的方式使用max_tid_ref_present_flag及max_tid_il_ref_pics_plus1[i]，可在各种场景中实现HEVC多层扩展中的译码效率、存储器带宽与计算复杂度之间的一些权衡。例如，在确定第一层中的图片将不用于任何其它较高层时，可丢弃所述图片以节约存储器。

然而，当前的HEVC扩展设计具有某些缺点。例如，如上文所描述的基于max_tid_il_ref_pics_plus1的当前信令需要针对所有较高层的图片启用或停用属于时间子层的图片的层间预测。例如，如果max_tid_il_ref_pics_plus1[i]针对第一层(例如，[i]＝“0”或“层0”)被设定成值“2”，那么层0中的与大于或等于“2”的TID值相关联的图片不可用作任何较高层的层间参考。作为另一实例，如果max_tid_il_ref_pics_plus1[i]针对第一层(例如，[i]＝“0”或“层0”)被设定成值“7”，那么层0中的与大于或等于“7”的TID值相关联的图片不可用作任何较高层的层间参考。换句话说，由于根据HEVC，TID值的最大可能的值是“6”，所以在此实例中，层0中的所有图片可用作较高层的层间参考。

然而，在当前HEVC规范下，例如，不可能指示第一层(例如，层0)中的与某一TID值(例如，值“2”)相关联的图片不可用作一个层(例如，层1)的层间参考(例如，用于层间预测)但可用作不同层(例如，层2)的层间参考。这些限制产生对原本使用轻量解码(例如，单环路解码)可为有益的图片的不必要的解码复杂度要求(例如，需要多环路解码)。例如，随着任何给定层下方的层的数目增加，解码给定层的复杂度可增加(例如，为解码层2，在一些情况下可必需解码层1及层0)。在某些情况下，在译码简单性比图片质量具有更高的优先级时，解码例如层2而不解码层1或层0中的一或多者可更有益。因此，准许视频编码器相对于与第一层相关联的若干增强层中的每一者提供对第一层的层间预测相依性的单独的独立界定将是有益的。此类配置在若干译码场景中(例如，实时应用场景中)可为有益的(例如，提供资源权衡灵活性)。

因此，本发明描述以下技术：使用与第一层中的图片及/或相关联的增强层中的图片的某些性质相关的指示及/或确定来单独地界定(有时被称作独立地界定)相对于与第一层相关联的若干增强层中的每一者的对第一层的层间预测相依性。例如，本发明描述以下技术：界定、指示及/或确定第一层中的图片是否可用于第一增强层的层间预测，同时单独地界定、指示及/或确定第一层中的图片是否可用于第二增强层的层间预测。另外，编码器可经调适以指示图片(例如，与大于TID阈值的TID值相关联的图片)不用于一个层的层间预测但可以用于另一层的层间预测。遵循上文描述的实例，例如，本发明描述用于约束层0中的图片中的一或多者用于层1中的图片的层间预测而不约束层0中的图片中的任一者用于层2中的图片的层间预测的技术。此类实施例提供使轻量解码(例如，单环路解码)用于层1及高质量解码(例如，多环路解码)用于层2的灵活性。在其它实例中，层0中的图片可以如结合图4到6所描述的不同方式被约束或不被约束用于层1、层2及/或任何其它层的层间预测中，如下文所描述。

因此，本文中描述的技术可包含用于改进层间预测相依性信令方法的各种方法，例如与针对所有直接相依层单独地发信号通知子层层间预测相依性的那些方法。例如，所述改进的方法可例如集成在HEVC扩展中，且应用到可缩放译码、多视图译码(例如，具有或不具有深度)及HEVC及/或其它多层视频编解码器的任何其它扩展。所描述的方法中的任一者可彼此独立地或组合地应用。

本发明中描述的技术的优点以及其它优点可包含在层间预测期间减少存储器分配。与MV-HEVCWD5及SHVCWD3中的当前方法相比，本发明中描述的技术还可在某些译码场景中允许资源权衡灵活性，例如针对一个层实施轻量解码(例如，单环路解码)，而针对另一层实施高质量解码(例如，多环路解码)，如上文所描述。

图1A是说明可利用本发明中所描述的单独层间预测相依性界定技术的实例视频编码及解码系统10的框图。如图1A中所示，系统10包含源模块12，其产生在稍后时间由目的地模块14解码的经编码视频数据。在图1A的实例中，源模块12和目的地模块14在单独的装置上，具体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实例中所展示。

再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置，或类似物。在一些情况下，源模块12和目的地模块14可经装备以用于无线通信。

目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模块14的通信的设备。

替代地，经编码数据可从输出接口22输出到任选的存储装置31。类似地，可通过输入接口从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地模块14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地模块14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。

在图1A的实例中，源模块12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源模块12中，视频源18可包含来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12和目的地模块14可形成所谓的相机电话或视频电话，如图1B的实例中所说明。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频数据可经由源模块12的输出接口22直接发射到目的地模块14。经编码视频数据还可(或替代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取以用于解码和/或回放。

目的地模块14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地模块14的输入接口28可经由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置32可与目的地模块14集成或在目的地模块14外部。在一些实例中，目的地模块14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地模块14可为显示装置。一般来说，显示器装置32将经解码视频数据显示给用户，且可包括多种显示器装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示器装置。

在相关方面中，图1B展示实例视频编码和解码系统10′，其中源模块12和目的地模块14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如“智能”电话或类似物。装置11可包含与源模块12和目的地模块14操作性通信的任选的控制器/处理器模块13。图1B的系统10′可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施方案中，视频处理单元21是单独的单元，如图1B中所说明；然而，在其它实施方案中，视频处理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统10′还可包含任选的跟踪器29，其可跟踪视频序列中的所关注对象。待跟踪的对象或兴趣可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独地或联合跟踪器29而执行。图1B的系统10′及其组件另外类似于图1A的系统10及其组件。

如下文更详细地描述，本发明的各方面一般涉及单独地界定相对于与第一层相关联的若干增强层中的每一者对第一层的层间预测相依性。例如，界定、指示及/或确定第一层中的图片是否可用于第一增强层的层间预测，同时单独地界定、指示及/或确定第一层中的图片是否可用于第二增强层的层间预测。本发明的技术可由视频编码器20、视频解码器30及/或处理器/控制器模块13执行。

在一个实例中，视频编码器20和视频解码器30可根据视频压缩标准(包含HEVC或类似者)进行操作。在另一实例中，视频编码器20和视频解码器30可根据其它专有或业界标准进行操作，例如ITU-TH.264标准(其或者被称作MPEG-4第10部分)、高级视频译码(AVC)，或此类标准的扩展。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。然而，本发明的技术不限于任何特定译码标准或技术。

尽管图1A到B中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器以硬件执行所述指令来执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。

JCT-VC正在努力开发HEVC标准。HEVC标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成译码树单元(CTU)序列，也被称作最大译码单元(LCU)，其包含明度和色度样本两者。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的若干连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父代节点且可分裂成另外四个子节点。最后的未经分裂的子节点(作为四叉树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可界定树块可分裂的最大次数，且还可界定译码节点的最小大小。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且形状为正方形。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形形状。

图2是说明可实施本发明中所描述的单独层间预测相依性界定技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、存储器64(也可被称作参考图片存储器64)、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为进行视频块重建构，视频编码器20还包含反量化单元58、反变换处理单元60，和求和器62。还可包含解块滤波器72以对块边界进行滤波以将成块性假影从经重构视频中去除。如图2中所示，视频编码器20还包含额外环路滤波器，包含样本自适应偏移(SAO)滤波器74和任选的自适应环路滤波器(ALF)76。虽然解块滤波器72和SAO滤波器74和任选的ALF76展示为图2中的环路内滤波器，但在一些配置中解块滤波器72、SAO滤波器74和任选的ALF76可实施为环路后滤波器。另外，解块滤波器72和任选的ALF76中的一或多者在本发明的技术的一些实施方案中可省略。确切地说，ALF76将在HEVC的一些实施方案中省略，因为ALF76不存在于HEVC中。

如图2中所示，视频编码器20接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及视频块分割(例如根据LCU及CU的四叉树结构)。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可被划分成多个视频块(并且可能被划分成被称作瓦片的视频块集合)。预测处理单元41可针对当前视频块基于误差结果(例如，译码速率和失真水平)来选择多个可能的译码模式中的一者(其可包含分区大小)，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残差块数据，且提供到求和器62以重构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46相对于在与待译码的当前块相同的帧或切片中的一或多个相邻块执行对当前视频块的帧内预测译码，以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一或多个参考图片中的一或多个预测块执行对当前视频块的帧间预测译码以提供时间压缩。

运动估计单元42可经配置以根据视频序列的预定模式来确定视频切片的帧间预测模式。所述预定模式可将序列中的视频切片指定为经预测切片(P切片)、双向经预测切片(B切片)或通用P/B切片(GPB切片)。运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，运动向量估计视频块的运动。运动向量(例如)可指示当前视频帧内的视频块的PU相对于参考图片内的预测块或图片的移位。

预测块是经发现在像素差异方面紧密地匹配待译码的视频块的PU的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于完整像素位置和分数像素位置的运动搜索，且以分数像素位置输出运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码切片中的视频块的PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择所述参考图片，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于通过运动估计所确定的运动向量获取或产生预测块，可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻定位运动向量在所述参考图片列表中的一者中所指向的预测块。视频编码器20通过从正经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值，而形成残差视频块。像素差值形成块的残差数据，且可包含亮度差分量与色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块中使用。

帧内预测处理单元46可对当前块执行帧内预测，以作为如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案。具体来说，帧内预测处理单元46可确定用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且预测处理单元41可从所测试的模式中选择将使用的适当的帧内预测模式。举例来说，帧内预测处理单元46可使用对各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与曾被编码以产生所述经编码块的原始未经编码块之间的失真(或误差)量，以及用于产生所述经编码块的位速率(即，位数目)。帧内预测处理单元46可根据各种经编码块的失真和速率计算比率，以确定哪一帧内预测模式展现出用于所述块的最佳的速率-失真值。

在任何情况下，在选择了用于块的帧内预测模式之后，预测处理单元41可将指示用于所述块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可根据本发明的技术对指示所述选定帧内预测模式的信息进行编码。视频编码器20可将配置数据包含在所发射的位流中，所述配置数据可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还被称作码字映射表)、各种块的编码上下文的定义，及最可能帧内预测模式的指示、帧内预测模式索引表，及经修改的帧内预测模式索引表，以用于所述上下文中的每一者。

在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残差视频块。残差块中的残差视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52可使用变换(例如，离散余弦变换(DCT)或概念上类似的变换)来将残差视频数据变换为残差变换系数。变换处理单元52可将残差视频数据从像素域转换到变换域(例如，频域)。

变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。

在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在熵编码单元56进行的熵编码之后，可将经编码位流发射到视频解码器30或进行存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正经译码的当前视频切片的运动向量和其它语法元素进行熵编码。

反量化单元58和反变换处理单元60分别应用反量化和反变换以在像素域中重构残差块，以用于稍后用作参考图片的参考块。运动补偿单元44可通过将残差块添加到参考图片列表中的一者内的参考图片中的一者的预测块而计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残差块以计算子整数像素值以在运动估计中使用。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生参考块以供存储在参考图片存储器64中。参考块可由运动估计单元42和运动补偿单元44用作用以对后续视频帧或图片中的块进行帧间预测的参考块。

在存储在存储器64中之前，可通过一或多个滤波器对经重构残差块进行滤波。在需要时，还可应用解块滤波器72对经重构残差块进行滤波以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。此环路滤波器的一个实例是SAO滤波器74。参考块可由运动估计单元42及运动补偿单元44使用作为参考块以对后续视频帧或图片中的块进行帧间预测。

SAO滤波器74可以改善视频译码质量的方式确定SAO滤波的偏移值。改善视频译码质量可例如涉及确定使经重构图像更紧密匹配原始图像的偏移值。视频编码器20可例如以不同偏移值使用多个遍次译码视频数据且选择例如基于速率-失真计算而确定的提供合意的译码质量的偏移值以用于包含在经编码位流中。

在一些配置中，SAO滤波器74可经配置以应用一或多种类型的偏移，例如上文描述的边缘偏移。SAO滤波器74有时还可不应用偏移，其自身可被视为第三类型的偏移。由SAO滤波器74应用的偏移的类型可显式地或隐式地用信号发送到视频解码器。在应用边缘偏移时，可基于边缘信息将像素分类。

图2的视频编码器20表示视频编码器的实例，其经配置以：确定第一边缘索引，其中所述第一边缘索引包括用于第一周围像素的明度分量的边缘索引；确定第二边缘索引，其中所述第二边缘索引包括用于第二周围像素的明度分量的边缘索引；基于所述第一边缘索引和所述第二边缘索引确定第三边缘索引，其中所述第三边缘索引包括用于当前像素的色度分量的边缘索引；基于所述第三边缘索引选择偏移；及将所述偏移应用于所述当前像素的所述色度分量。

图3是说明可实施本发明中所描述的单独层间预测相依性界定技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90及参考图片存储器92。预测处理单元81包含用于帧间预测解码的运动补偿单元82及用于帧内预测解码的帧内预测处理单元84。在一些实例中，视频解码器30可执行一般与相对于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级处接收语法元素。

当将视频切片译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当将视帧帧译码为经帧间译码(例如，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生当前视频切片的视频块的预测块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储于参考图片存储器92中的参考图片使用默认建构技术来建构参考帧列表，列表0和列表1。

运动补偿单元82通过解析运动向量和其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息以产生正经解码的当前视频块的预测块。举例来说，运动补偿单元82使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可从所接收的语法元素来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。

反量化单元86将提供于位流中且由熵解码单元80解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定应应用的量化程度以及同样的反量化程度。反变换处理单元88对变换系数应用反变换，例如，反DCT、反整数变换，或概念上类似的反变换过程，以便在像素域中产生残差块。

在预测处理单元81基于运动向量及其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自反变换处理单元88的残差块与由运动补偿单元82产生的对应预测块进行求和而形成经解码视频块。求和器90表示执行此求和操作的组件。由求和器90形成的经解码视频块接着可由解块滤波器93、SAO滤波器94及任选的ALF95滤波。任选的ALF95表示可从一些实施方案排除的任选的滤波器。应注意，将在HEVC的一些实施方案中省略ALF95，这是因为ALF95不存在于HEVC中。给定帧或图片中的经解码视频块随后存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以供稍后在显示装置(例如图1A到B的显示装置32)上呈现。在相关方面中，SAO滤波器94可经配置以应用与上文所论述的SAO滤波器74相同的滤波(例如，边缘偏移及频带偏移)中的一或多者。

图3的视频解码器30表示视频解码器的实例，其经配置以：确定第一边缘索引，其中所述第一边缘索引包括用于第一周围像素的明度分量的边缘索引；确定第二边缘索引，其中所述第二边缘索引包括用于第二周围像素的明度分量的边缘索引；基于所述第一边缘索引和所述第二边缘索引确定第三边缘索引，其中所述第三边缘索引包括用于当前像素的色度分量的边缘索引；基于所述第三边缘索引选择偏移；及将所述偏移应用于所述当前像素的所述色度分量。

根据本发明的一或多个方面，提供用于相对于与第一层相关联的若干增强层中的每一者单独地(例如，独立地)提供(有时被称作界定、建立、处理及/或确定)对第一层的层间预测相依性的技术。在一些实施例中，处理器经配置以确定(例如，使用指示符)第一层中的图片是否可用于第一增强层的层间预测，同时单独地及独立地确定(例如，使用第二指示符)第一层中的图片是否可用于第二增强层的层间预测。所述技术可由系统或例如由图1B的装置10执行。在一些实施方案中，所述技术可由视频编码器20、视频解码器30及/或处理器控制器模块13单独地或组合地执行。

图4是说明多个存取单元的实例的图400，每一存取单元具有多个层，每一层具有多个图片。一些所述存取单元说明其中已经采用相对于独立增强层对第一层的单独地指示(例如，在视频编码器处)的层间预测相依性的场景。例如，在一些所说明的存取单元中，第一指示符指示来自第一层(例如，层ID＝0)的图片可用于预测来自第一增强层的图片，且第二指示符指示来自第一层的图片不可用于预测来自第二增强层的图片。所述第一和第二指示符作为不同的指示符被独立地用信号发送(例如，它们用信号发送独立的层间预测相依性)。例如，在所说明的图中，提供可用于用信号发送或确定第一层中的图片是否可用于第一增强层的层间预测同时单独地指示(或确定)第一层中的图片是否可用于第二增强层的层间预测的指示。关于任何给定增强层的层间预测是否取决于第一层的所述指示可与关于任何其它给定增强层的层间预测是否取决于第一层的所述指示相同或不同(例如，独立)。在一个方面中，结合图4所描述的特征中的一或多者可一般由编码器(例如，图1B及/或2的视频编码器20)及/或解码器(例如，图1B及/或3的视频解码器30)执行。在一个实施例中，视频编码器20可将相依性指示提供给视频解码器30，使得视频解码器30可执行如下文所描述的各种进一步确定及/或操作。在其它实施例中，可通过一或多个不同装置处理、确定、界定、指示、分析及/或利用所述相依性指示。结合图4所描述的各种方面可包含在存储器单元(例如，图1A的存储装置32、图2的存储器64、图3的存储器92等)中。结合图4所描述的各种操作可由处理器(例如，图1A的处理器13、图1B的处理单元21、图2的预测处理单元41等)执行。视频编码器20、视频解码器30、存储装置32及/或处理器13可彼此通信及/或操作性地连接。

在实例图解说明中，呈现两个场景：(1)“场景A”及(2)“场景B”。每一场景表示其中独立地用信号发送相依性指示的特定集合的存取单元、层及图片。列中的每一者表示视频序列中的存取单元。例如，存取单元420A1到420A5表示场景A的视频序列中的五个存取单元。所述存取单元可共同地被称为存取单元420。在一个实施例中，所述视频序列可包含任何数目的存取单元420。存取单元420A1到420A5中的每一者可含有一或多个图片且可与一或多个层相关联。例如，在场景A中，每一存取单元420A1到A5包含三个层410A、415A1及415A2。每一层含有多个图片，且在每一存取单元中存在一个图片。最低图解说明的层(410A)可被称为基础层、当前层及/或第一层。可存在第一层410A上方或下方的额外层(未描绘)。第一层410A上方的层(415A1及415A2)可被视为第一层410A的增强层。在一些方面中，第一层410A可具有其它增强层(未描绘)。增强层有时可被称作“增强型层”。在所说明的实例中，第一层410A也可被称作“层0”，因为其具有等于“0”的层识别编号。在一些实施例中，处理器13可使用所述层识别编号进行各种确定，如下文进一步描述。在一些实施例中，可通过变量(例如，基于HEVC的变量LayerID)来表示层识别编号。类似地，增强层415A1、415A2可各自具有层识别编号。在所说明的实例中，增强层415A1及415A2分别具有等于1及2的层识别编号，且因此也可分别被称作“层1”及“层2。

如上所述，层(410A、415A1、415A2)中的每一者可包含一或多个图片。因此，每一图片与一个层及一个存取单元相关联。在实例图解说明中，存取单元420中的每一者含有每一层中的一个图片；然而，在其它实例中，每一存取单元420可含有每一层中的一个以上图片。在一个实施例中，与第一层410A相关联的图片可被称为当前图片或“第一图片”。图4中的第一图片包含第一图片430A1、430A2、430A3、430A4及430A5。第一图片430A1、430A2、430A3、430A4及430A5可共同地被称为第一图片430。第一图片430A1在第一层410A及存取单元420A1内。作为另一实例，第一图片430A3是在第一层410A及存取单元420A3内的图片。不是第一层的层中的图片可被称为增强图片。例如，增强图片431A1到A5(统称为增强图片431)位于增强层415A1中，且增强图片432A1到A5(统称为增强图片432)在增强层415A2中。增强图片也可被称作“增强层图片”。例如，增强图片431A2在增强层415A1及存取单元420A2内。作为另一实例，增强图片432A4在增强层415A2及存取单元420A4内。在一个实施例中，定位在与第一图片相同的存取单元内的增强图片431及432中的每一者可为此第一图片的增强图片。例如，增强图片431A3及432A3是第一图片430A3的增强图片。

图片430、431及432中的每一者可与时间识别编号或值(“TID值”)相关联，如在每一场景的左侧上所说明。例如，增强图片431A3与等于“1”的TID值相关联。作为另一实例，增强图片430A2与等于“2”的TID值相关联。如所说明，在存取单元420中的相同一者内的图片430、431及432中的每一者与相同的TID值相关联。在其它实施例中，在存取单元420中的相同一者内的所有图片无需与相同的TID值相关联。在一些实施例中，处理器13可将与图片430、431或432中的一者相关联的TID值与和一对层相关联的阈值(例如，“最大值TID”、“MaxTID”、“TID阈值”或“TID阈值)进行比较，如下文进一步结合图5和6描述。

处理器13可基于图片430中的一者相对于其相关联的增强图片(例如，与图片430中的所述一者相同的存取单元中的增强图片431及/或432)的性质而执行操作，如下文进一步结合图5和6描述。例如，处理器13可单独地指示或确定第一层410A中的图片是否可以用于层间预测增强层415中的一或多者中的图片。换句话说，处理器13可单独地指示或确定增强层415中的每一者是否可使用第一层410用于每一增强层415的层间预测。如果所述指示指示第一层410A中的图片可以用于增强层415中的一者中的图片的层间预测，那么相应的增强层415取决于第一层410A。例如，如上文所描述，处理器13可单独地指示(例如，使用第一指示符)增强层415A1的层间预测是否取决于第一层410A，同时单独地指示(例如，在第二指示符中)增强层415A2的层间预测是否取决于第一层410A。两个单独的、相异的相依性指示可具有相同或不同的值。如果提供额外的增强层(未描绘)，那么处理器13可还针对增强层415中的每一者单独地指示所述额外的增强层是否取决于第一层410。

在所说明的场景A及B中，处理器13已指示第一层410A(场景A中)及410B(场景B)包含可以用于层间预测的图片。例如，增强层415A1及415A2中的每一者取决于第一层410A，且增强层415B1及415B2中的每一者取决于第一层410B。在图片之间延伸的箭头(不具有X)指示第一层410A、410B的图片可用于预测增强层415A1、415A2、415B1、415B2中的一或多者中的图片。在一个实施例中，甚至在增强层415中的一者取决于第一层410中的一者时，第一层410中的一些第一图片430可受约束不可用于层间预测相应的增强图片431、432。此约束由定位在从第一图片410中的受约束的一者指向增强图片431或432中的对应一者的箭头上的X指示。约束使用可基于与当前层410及相关联的增强层415相关联的TID阈值，如下文且结合图5和6进一步描述。在一些实施例中，即使第一图片(例如，第一图片430A5)不受约束用于层间预测其相应的增强图片(例如，增强图片431A5、432A5)，其可仍然不用于层间预测。在此实施例中，没有箭头在第一图片(例如，第一图片430A5)与其相应的增强图片(例如，增强图片431A5、432A5)之间延伸。

在一个实施例中(例如，在所说明的场景A中)，处理器(例如，处理器13)可确定(例如，指示、接收、发送等)可用于确定第一层410A中的图片是否可用于层间预测第一层的第一增强层415A1中的图片的第一TID阈值。处理器可进一步确定用于确定第一层410A中的图片是否可用于层间预测第一层的第二增强层415A2中的图片的第二TID阈值。所述第一和第二TID阈值可彼此相同或不同。

在图4的实施例中，指定第一层对(例如第一层410A及第一增强层415A1)的第一TID阈值。第一TID阈值用于确定第一层410A中的图片是否可以用于第一增强层415A1中的图片的层间预测。提供第二层对(例如第一层410A及第二增强层415A2)的第二TID阈值。所述第二TID阈值用于确定第一层410A中的图片是否可以用于第二增强层415A2中的图片的层间预测。可提供额外层对的额外TID阈值。在场景A的所说明的实施例中，第一TID阈值是值“2”。因此，如结合图5和6进一步描述，第一层410A中的与低于“2”的TID值相关联的图片可以用于第一增强层415A1中的图片的层间预测(例如，它们不被约束用于层间预测)。因此，与TID值“2”(其不低于“2”)相关联的第一图片430A2及430A4分别被约束用于增强图片431A2及431A4的层间预测(每一约束展示为具有X的箭头)。相反，各自与低于“2”的TID值相关联的第一图片430A1(其具有TID值“0”)、430A3(其具有TID值“1”)及430A5(其具有TID值“0”)不被约束用于它们的相应的第一增强层图片431A1、431A3及431A5的层间预测。如上所述，一些被允许的图片可以用于层间预测(如由箭头指示)，而其它图片不可用于层间预测(如通过不存在箭头而指示)。此配置提供对第一增强层图片431A2及431A4实施轻量解码(例如，单环路解码)且对第一增强层图片431A1、431A3及431A5中的一或多者实施高质量解码(例如，多环路解码)的灵活性。此外，在一些实施例中，可以不同方式使用TID阈值。例如，在一些实施例中，指示符可指示第一层410A中的与比可以用于相关联的增强层415中的图片的层间预测的TID阈值小一的TID值相关联的图片中的一或多者。在其它实施例中，所述指示符用于以不同方式分析TID阈值。

此外，在场景A的所说明的实施例中，第二TID阈值可为值“4”。因此，如结合图5和6进一步描述，第一层410A中的与低于4的TID值相关联的图片可以用于第二增强层415A2中的图片的层间预测。因此，各自与低于“4”的TID值相关联的所有第一图片430A1(其具有TID值“0”)、430A2(其具有TID值“2”)、430A3(其具有TID值“1”)、430A4(其具有TID值“2”)及430A5(其TID值“0”)不被约束用于它们的相应的第二增强层图片432A1、432A2、432A3、432A4及432A5的层间预测。如上文所论述，一些不受约束的图片可以用于层间预测(如由箭头指示)，而其它图片不可用于层间预测(如通过不存在箭头而指示)。

在另一个实施例中(例如，所说明的场景B中)，处理器(例如，处理器13)可确定(例如，指示、接收、发送等)可用于确定第一层410B中的图片是否可用于层间预测第一层的第一增强层415B1中的图片的第一TID阈值。处理器可进一步确定用于确定第一层410B中的图片是否可用于层间预测第一层的第二增强层415B2中的图片的第二TID阈值。所述第一和第二TID阈值可彼此相同或不同。

在场景B的所说明的实施例中，第一TID阈值可为值“6”。因此，如结合图5和6进一步描述，第一层410B中的与低于“6”的TID值相关联的图片可以用于第一增强层415B1中的图片的层间预测(例如，它们不被约束用于层间预测)。因此，各自与低于“6”的TID值相关联的所有第一图片430B1(其具有TID值“0”)、430B2(其具有TID值“2”)、430B3(其具有TID值“1”)、430B4(其具有TID值“2”)及430B5(其具有TID值“0”)不被约束用于它们的相应的第二增强层图片431B1、431B2、431B3、431B4及431B5的层间预测。如上文所论述，一些不受约束的图片可以用于层间预测(如由箭头指示)，而其它图片不可用于层间预测(如通过不存在箭头而指示)。

此外，在场景B的所说明的实施例中，第二TID阈值是值“1”。因此，如进一步结合图5和6描述，第一层410B中的与低于“1”的TID值相关联的图片可以用于第二增强层415B2中的图片的层间预测(例如，它们不被约束用于层间预测)。因此，各自与“1”或更高的TID值相关联的第一图片430B2(其具有TID值“2”)、430B3(其具有TID值“1”)及430B4(其具有TID值“2”)分别被约束用于增强图片432B2、432B3及432B4的层间预测(每一约束展示为具有X的箭头)。相反，各自与TID值“0”(其低于值“1”)相关联的第一图片430B1及430B5不被约束用于它们的相应的第一增强层图片431B1及431B5的层间预测。如上文所论述，一些不受约束的图片可以用于层间预测(如由箭头指示)，而其它图片不可用于层间预测(如通过不存在箭头而指示)。

在其它方面中，如上文所描述，处理器13可单独地指示第一层中没有图片可以用于层间预测一或多个第二层(例如，一或多个增强层)的图片。在此实施例中(未描绘)，解码器30可丢弃(例如，从缓冲器移除)此第一层图片。如本文中所描述，丢弃所述第一层图片可在相关联的增强层的层间预测期间节约存储器及处理成本。例如，此配置可允许相对于第一层中的图片对所有相关联的增强图片实施轻量解码(例如，单环路解码)的灵活性。

在上文描述的当前HEVC扩展方法的情形下，在一个实施例中，结合图4描述的技术可用于修改某些HEVC语义以便使得视频编码器能够将max_tid_ref_present_flag设定为等于1以指定语法元素max_tid_il_ref_pics_plus1存在且相对于第二层(例如，第一增强层415A1)与第一层(例如，第一层410A)相关联。例如，max_tid_ref_present_flag旗标的新语义界定可包含：“max_tid_ref_present_flag等于1指定语法元素max_tid_il_ref_pics_plus1[i][j]存在。max_tid_ref_present_flag等于0指定所述语法元素max_tid_il_ref_pics_plus1[i][j]不存在”。在所述新的界定中，[j]索引值可表示第二层(例如，增强层)。

使用max_tid_ref_present_flag的新语义界定，某些其它HEVC语义可经修改以便使得能够针对增强层中的每一者单独地界定第一层中的图片是否可用于相应的增强层中的增强层图片的层间预测。例如，max_tid_il_ref_pics_plus1[i][j]的新语义界定可包含：“max_tid_il_ref_pics_plus1[i][j]等于0指定在CVS内具有等于layer_id_in_nuh[i]的nuh_layer_id的非IRAP图片不用作用于具有等于layer_id_in_nuh[j]的nuh_layer_id的图片的层间预测的参考。max_tid_il_ref_pics_plus1[i][j]大于0指定在CVS内具有等于layer_id_in_nuh[i]的nuh_layer_id及大于max_tid_il_ref_pics_plus1[i][j]-1的TemporalId的图片不用作用于具有等于layer_id_in_nuh[j]的nuh_layer_id的图片的层间预测的参考。在不存在时，推断max_tid_il_ref_pics_plus1[i][j]等于7”。在新界定中，[j]索引值及其相关联的文本可表示第二层(例如，增强层)。在以下语法表1中展示这些新界定的一个实例实施方案，其中表示新的索引值[j]：

表1

此外，在一些实施例中，可基于如上文所描述d[j]索引值的使用而改变其它一般切片片段标头语义。例如，相对于位流，对于在0到某一基于HEVC的变量(例如，NumActiveRefLayerPics-1)的范围内(包括0和NumActiveRefLayerPics-1)的i的每一值，两个条件中的至少一者可为真：(1)max_tid_il_ref_pics_plus1[LayerIdxInVps[RefPicLayerId[i]]][LayerIdxInVps[nuh_layer_id]的值可大于TemporalId；及(2)max_tid_il_ref_pics_plus1[LayerIdxInVps[RefPicLayerId[i]]][LayerIdxInVps[nuh_layer_id]及TemporalId的值两者可等于0且当前存取单元中的具有等于RefPicLayerId[i]的nuh_layer_id的图片可为IRAP图片。

此外，在一些实施例中，子层非参考图片的某些过程(例如，标记过程)在一些情况下对于层间预测可为不必要的。遵循此结果，使用[j]索引值的实例代码可包含：

处理器13、视频编码器20及/或视频解码器30可以若干方式指示、确定、界定、分析及/或利用上述指示及确定。图5和6提供视频编码器20及视频解码器30可分别相对于指示及/或确定分别执行的实例方法的流程图。在其它实施例中，其它装置可执行所描述的方法步骤中的一或多者。

图5说明视频编码器(例如，视频编码器20)的处理器(例如，处理器13)相对于一或多个第二层(例如，图4的增强层415)单独地指示对第一层(例如，图4的第一层410)的层间预测相依性的一个方法的流程图。处理器13可针对第二层中的每一者单独地指示第一层中的图片是否可用于相应的第二层中的图片的层间预测。

方法在框505处开始。在框510处，处理器13可确定是否相对于第二层(例如，第一层的第一增强层415A1)执行对第一层(例如，第一层410A)的层间预测分析。在一个方面中，处理器13可基于处理器13是否具有相对于第二层执行对第一层的层间预测分析(例如，在框550处，如下文所描述)的足够信息(例如，在切片标头中)而作出此确定。作为一个实例，处理器13可在第二层不直接取决于第一层的情况下确定不相对于第二层执行对第一层的层间预测分析。

在框510处，如果处理器13确定不相对于第二层执行对第一层的层间预测分析，那么在框520处，处理器13可发信号通知不针对此第一层/增强层关联执行层间预测分析。在一个实施例中，如果处理器13处理额外层(如下文相对于框530所描述)，那么处理器13可替代地一直等到所述方法结束以为所有层提供单一信号。在一个方面中，处理器13可用信号发送所述指示以作为切片标头中的旗标，例如设定成值“0”的旗标。在一个方面中，所述旗标可为基于HEVC的旗标，例如max_tid_ref_present_flag。在一个方面中，处理器13可将此指示用信号发送到另一装置(例如，图3的视频解码器30)，其可使用所述指示确定变量是否存在且执行进一步的操作，如结合图6所描述。在一个实施例中，处理器13接着可进行到框530，其中其可确定是否相对于第一层(例如，第一层410A)处理额外的增强层(例如，第二增强层415A2)。如果处理器13确定相对于第一层处理额外的增强层，那么方法500可返回到框510且相对于下一第二层(例如，第二增强层415A2)分析第一层(例如，第一层410A)。如果处理器13确定不相对于第一层处理额外的第二层，那么方法500在框590处结束。在其中处理器13一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次的实施例中，处理器13可相应地发信号通知且随后进行到框590。

在框510处，如果处理器13确定相对于正考虑的第二层执行对第一层的层间预测分析，那么在框540处，处理器13可发信号通知对所述第一层/第二层对执行层间预测分析。在一个示范性实施例中，处理器13可替代地一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次。在一个方面中，处理器13可用信号发送所述指示以作为切片标头中的旗标，例如设定成值“1”的旗标。在一个方面中，所述旗标可为基于HEVC的旗标，例如max_tid_ref_present_flag。在一个方面中，处理器13可将此指示用信号发送到另一装置(例如，图3的视频解码器30)，所述装置可使用所述指示确定变量是否存在且执行进一步的操作，如结合图6所描述。

在框550处，处理器13可确定第一层的图片(例如，第一图片430A1到430A5)是否可用于层间预测第二层(例如，第一增强层415A1)的图片。在一个方面中，处理器13可基于第一层中的图片的各种性质、第二层中的图片的各种性质或任何其它数目的因素而作出此确定。一些实例因素可包含：轻权重单环路译码的启用及/或译码复杂度的减小、第一层与所述增强层的图片质量水平相比的图片质量水平等。例如，如果第一层(例如，第一层410A)中的图片与第二层中的图片相差阈值量(例如，基于较粗糙的量化)，那么处理器13可确定第一层中的图片不可用于层间预测第二层(例如，第二增强层415A1)中的相应的图片。

在框550处，如果处理器13确定第一层410A的图片将不用于层间预测第二层的图片，那么在框560处，处理器13可设定变量以使得不能将第一层的图片用于第二层的图片的层间预测。在一个实施例中，所述变量可包括第一索引值(例如，[i])及第二索引值(例如，[j])，其中第一索引值[i]与第一层(例如，第一层410A)相关联且识别第一层，且其中第二索引值[j]与第二层(例如，第一增强层415A1)相关联且识别第二层。在一个实施例中，所述变量可包括设定成“0”的基于HEVC的变量，例如max_tid_il_ref_pics_plus1[i][j]＝0。在一个实例中，处理器13可将变量max_tid_il_ref_pics_plus1[0][1]设定成等于值“0”(例如，以指示与[i]、[j]层对相关联的MaxTID，其中在i＝0时，i对应于第一层410A“层0”，其中j对应于第一增强层415A1“层1”，在j＝1时，等于值“0”)。在此实例中，变量max_tid_il_ref_pics_plus1[0][1]＝0可指示第一层410A中的图片不用作第一增强层415A1中的图片的层间预测的参考。在框580处，处理器13接着可发信号通知此变量(例如，在切片标头中)。另一装置(例如，解码器30)可使用所述变量执行进一步的操作，如结合所图6描述。换句话说，处理器13可指示第一层410A中的图片是可以还是不可以预测一个增强层(例如，第一增强层415A1)中的图片，而不指示第一层410A中的图片是可以还是不可以预测另一增强层(例如，第二增强层415A2)中的图片。即，处理器13可单独地指示第一层410A中的图片是否可用于预测第一增强层415A1中的图片(所述指示可不包含与第二增强层415A2相关的任何指示)且随后可单独地指示第一层410A中的图片是否可用于预测第二增强层415A2中的图片(所述指示可不包含与第一增强层415A1相关的任何指示)。处理器13接着可继续到框530，如上文所描述。在一个实施例中，如果处理器13处理多个层(如在框530处确定)，那么处理器13可替代地一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次。例如，在一个实施例中，如果处理器13处理多个层，那么处理器13可一直等到方法结束以一次发信号通知框520、540及/或580中的一或多者的所有单独的层关联信号。

在框550处，如果处理器13确定第一层的图片可用于层间预测第二层的图片，那么在框570处，处理器13可设定变量以使得能够使用第一层的图片层间预测第二层的图片。在一个实施例中，所述变量可包括第一索引值(例如，[i])及第二索引值(例如，[j])，其中第一索引值[i]与第一层(例如，第一层410A)相关联且识别第一层，且其中第二索引值[j]与第二层(例如，第一增强层415A1)相关联且识别第二层。在一个实施例中，所述变量可包括基于HEVC的变量，例如max_tid_il_ref_pics_plus1[i][j]。在一个实例中，处理器13可将变量max_tid_il_ref_pics_plus1[0][1](其中在i＝0时，i对应于第一层410A“层0”，且其中在j＝1时，j对应于第一增强层415A1“层1”)设定为一值，如下文进一步描述。

在一个实施例中，处理器13可将变量设定为整数值(例如，“0”与“6”之间的整数值)，其可表示TID阈值。作为一个实例，在图片中的每一者(例如，第一层图片430及增强层图片431及432)与特定TID值相关联时，处理器13将变量设定为表示TID阈值的整数值可为有益的。在一个实施例中，此设定可允许处理器13(或不同装置)确定与大于TID阈值的特定TID值相关联的所述图片将不用于层间预测(如下文进一步描述)。在一个实施例中，变量的值可指示第一图片(例如，第一层410A中的第一图片430)可用于第二图片(例如，第一增强层415A1中的图片)的层间预测(如果所述第一图片与小于TID阈值的TID值相关联，如进一步结合图6描述)。为了说明，处理器13可设定变量max_tid_il_ref_pics_plus1[0][1]＝3，其将指示相对于第二层图片(第二增强层图片431A)的第一层图片的TID阈值“3”。在框580处，处理器13接着可发信号通知此变量(例如，在切片标头中)。装置(例如，解码器30)可使用所述变量执行进一步操作，如结合图6所描述。换句话说，处理器13可指示第一层410A中的图片是可以还是不可以预测一个增强层(例如，增强层415A1)中的图片，而不指示第一层410A中的图片是可以还是不可以预测另一增强层(例如，增强层415A2)中的图片。处理器13接着可继续到框530，如上文所描述。在一个实施例中，如果处理器13处理多个层(如在框530处确定)，那么处理器13可替代地一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次。例如，在一个实施例中，如果处理器13处理多个层，那么处理器13可一直等到方法结束以一次发信号通知框520、540及/或580中的一或多者的所有单独的层关联信号。

在另一实施例中，处理器13可不将任何值设为变量。在此实施例中，接着可推断所述变量具有某一值(例如，整数值“7”)。作为一个实例，在图片中的每一者(例如，第一层图片430及增强层图片431及432)与特定TID值相关联且各自用于层间预测时，处理器13不将所述变量设定为整数值(例如，推断所述整数值是“7”)可为有益的。在一个实施例中，此设定可允许处理器13(或不同装置)确定图片中的每一者将用于层间预测，例如，这是因为所述图片中的每一者与可能的TID值相关联(例如，小于“7”的TID值)，如下文进一步描述。在一个实施例中，变量的值可指示第一图片(例如，第一层410A中的第一图片430)可用于第二图片(例如，第一增强层415A1中的图片)的层间预测，如结合图6进一步描述。在框580处，处理器13接着可发信号通知此变量(例如，在切片标头中)。装置(例如，解码器30)可使用所述变量执行进一步操作，如结合图6所描述。处理器13接着可继续到框530，如上文所描述。在一个实施例中，如果处理器13处理多个层(如在框530处确定)，那么处理器13可替代地一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次。例如，在一个实施例中，如果处理器13处理多个层，那么处理器13可一直等到方法结束以一次发信号通知框520、540及/或580中的一或多者的所有单独的层关联信号。

遵循图4的场景A以及结合图5描述的方法，在框510处，处理器13可确定相对于第二层(例如，增强层415A1)执行对第一层(例如，第一层410A)的层间预测分析。处理器13可在框540处例如通过设定及发信号通知等于1的旗标max_tid_ref_present_flag而发信号通知此。在框550处，处理器13接着可确定第一层中的图片可用于层间预测第二层中的图片。因此，在框570处，处理器13可设定变量(例如，max_tid_il_ref_pics_plus1[i][j]变量)以使得能够使用第一层用于第二层的图片的层间预测。在此实例中，处理器13可将变量设定成等于值“2”，使得第一层410A中的与大于或等于值“2”的TID值相关联的图片不可用于层间预测增强层415A1中的图片(如通过具有X的箭头所示)。随后，在框580处，处理器13可参考第一层及第二层415A1发信号通知所述变量。例如，在此情况下，处理器13可发信号通知max_tid_il_ref_pics_plus1[0][1]＝2。随后，在框530处，处理器13可确定处理相对于第一层410A的额外增强层(例如，增强层415A2)，且随后返回到框510。处理器13接着可如上文所描述类似地进行下去，不同之处在于在框570处，处理器13可将变量设定成等于大于2的某一值(例如，3到6)或完全不设定值(例如，暗示值7)。因此，由于第一层410A中的所有图片都与2或以下的TID值相关联，所以第一层410A中的所有图片可以用于层间预测增强层415A2中的图片。随后在框580处，处理器13可参考第一层及第二层发信号通知变量。例如，在此情况下，处理器13可发信号通知max_tid_il_ref_pics_plus1[0][2]＝4。随后，在框530处，处理器13可确定不相对于第一层410A处理任何额外增强层，且随后在框590处结束所述方法。在一个实施例中，如果处理器13处理多个层(如在框530处确定)，那么处理器13可替代地一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次。例如，在一个实施例中，如果处理器13处理多个层，那么处理器13可一直等到方法结束以一次发信号通知框520、540及/或580中的一或多者的所有单独的层关联信号。

遵循图4的场景B以及结合图5描述的方法，在框510处，处理器13可确定相对于增强层415B1执行对第一层410B的层间预测分析。处理器13可在框540处例如通过设定及发信号通知等于值1的旗标max_tid_ref_present_flag而发信号通知此。在一个实施例中，处理器13可一直等到所述方法结束才形成此信号，如上文所描述。在框550处，处理器13接着可确定第一层410B中的图片可用于层间预测增强层415B1中的图片。因此，在框570处，处理器13可设定变量(例如，max_tid_il_ref_pics_plus1[i][j]变量)以使得能够使用第一层410B用于增强层415B1的图片的层间预测。在此实例中，处理器13可将变量设定成等于大于2的某一值(例如，3到6)或完全不设定值(例如，暗示值7)。因此，由于第一层410B中的所有图片都与2或以下的TID值相关联，所以第一层410B中的所有图片可以用于层间预测增强层415B1中的图片。随后在框580处，处理器13可参考第一层410B及增强层415B1发信号通知所述变量。例如，在此情况下，处理器13可发信号通知max_tid_il_ref_pics_plus1[0][1]＝5。随后，在框530处，处理器13可确定相对于第一层410B处理额外的增强层(例如，增强层415B2)，且随后返回到框510。处理器13接着可如上文所描述类似地进行下去，不同之处在于在框570处，处理器13可将变量设定成等于值“1”，使得第一层410B中的与大于或等于1的TID值相关联的图片不可用于层间预测增强层415B2中的图片(如通过具有X的箭头所示)。随后在框580处，处理器13可参考第一层410B及增强层415B2而发信号通知变量。例如，在此情况下，处理器13可发信号通知max_tid_il_ref_pics_plus1[0][2]＝1。随后，在框530处，处理器13可确定不相对于第一层410B处理任何额外增强层，且随后在框590处结束所述方法。在一个实施例中，如果处理器13处理多个层(如在框530处确定)，那么处理器13可替代地一直等到所述方法结束以一次为所有单独的层关联(例如，为第一层与单独的第二层中的每一者的每一单独的层关联)发信号通知一次。例如，在一个实施例中，如果处理器13处理多个层，那么处理器13可一直等到方法结束以一次发信号通知框520、540及/或580中的一或多者的所有单独的层关联信号。

如上文结合图4所描述，以上过程仅是处理器13及/或视频编码器20可如何进行所描述的指示的实例。

图6说明供视频解码器(例如，视频编码器30)的处理器(例如，处理器13)单独地确定第一层(例如，图4的第一层410A)与一或多个第二层(例如，图4的第一和第二增强层415A1及415A2)之间的层间预测相依性的一个方法的流程图，如结合图4所描述。例如，处理器13可针对增强层中的每一者单独地确定(例如，基于相应的指示)第一层中的图片是否可用于相应的增强层中的增强层图片的层间预测。

方法在框605处开始。在框610处，处理器13可确定相对于第二层(例如，增强层415A1)是否存在第一层(例如，第一层410A)的层间预测分析变量(“变量”)。在一个方面中，处理器13可基于可能已从视频编码器(例如，视频编码器20)用信号发送的相应的指示而作出此确定，如结合图4及5所描述。在一个方面中，所述指示可为在切片标头中用信号发送的旗标。例如，所述旗标可为基于HEVC的旗标，例如max_tid_ref_present_flag，如结合图5所描述。

在框610处，处理器13可确定未设定变量(例如，max_tid_ref_present_flag被设定成值“0”)。在此情况下，处理器13接着可进行到框620，其中处理器13可确定是否相对于第一层处理额外的增强层(例如，第二增强层415A2)。如果处理器13确定相对于第一层410A处理额外的增强层，那么方法600可返回到610。然而，在框610处，处理器将分析与其先前分析的第二层不同的第二层(例如，其将分析第二增强层415A2)。如果处理器13确定不相对于第一层410A处理额外的增强层，那么所述方法在框690处结束。

或者，在框610处，处理器13可确定所述变量被设定(例如，如果max_tid_ref_present_flag被设定成1)。在此情况下，处理器13接着可进行到框630且确定所述变量是否使得不能将第一层中的图片用于层间预测第二层(例如，第一增强层415A1)的图片。例如，如结合图5所描述，如果所述变量包括基于HEVC的变量max_tid_il_ref_pics_plus1[i][j]，且所述变量被设定成值“0”，那么处理器13可确定所述变量使得不能将第一层中的图片用于层间预测第二层(例如，第一增强层415A1)的图片。或者，如结合图5所描述，如果所述变量未被设定成值“0”(例如，如果所述变量未被设定或如果所述变量被设定成某一非零值，例如值“1”)，那么处理器13可确定所述变量未使得不能将第一层430A中的图片用于层间预测增强层415A1的图片。

如上文所描述，在框630处，处理器13可确定所述变量使得不能将第一层中的图片用于层间预测第二层(例如，第一增强层415A1)的图片(例如，如果max_tid_il_ref_pics_plus1[0][1]＝0)。换句话说，处理器13可确定第一层中的图片可用于或不可用于预测一个增强层(例如，增强层415A1)中的图片，而不确定第一层410A中的图片是可用于还是不可用于预测另一增强层(例如，增强层415A2)中的图片。在此情况下，处理器13接着可进行到框640，其中其可丢弃(例如，从缓冲器移除)相对于第二层的第一层中的图片。例如，处理器13可丢弃第一层中的相对于第二层被使得不能用于层间预测的图片。如上文所描述，丢弃相关联的第一层图片可在第二层的层间预测期间节约存储器及处理成本。例如，如上文所描述，此配置可允许对增强层实施轻量解码(例如，单环路解码)的灵活性，同时维持对其它增强层(例如，增强层415A2)中的一或多者实施高质量解码(例如，多环路解码)的灵活性。

或者，如上文所描述，在框630处，处理器13可确定所述变量未使得不能将第一层中的图片用于层间预测第二层的图片(例如，如果max_tid_il_ref_pics_plus1[0][1]≠0)。在此情况下，处理器13接着可进行到框650，其中其可确定第一层中的与小于阈值(例如，TID阈值)的TID值相关联的图片可用于层间预测第二层(例如，第一增强层415A1)的图片。例如，处理器13可确定第一层410A中的图片可用于或不可用于预测一个增强层(例如，增强层415A1)中的图片，而不确定第一层410A中的图片是可用于还是不可用于预测另一增强层(例如，增强层415A2)中的图片。如结合图4所描述，虽然一些第一图片430可不被约束用于层间预测它们的相应的增强图片431或432，但处理器13可仍然确定实际上不使用非受约束的图片中的一或多者用于层间预测。例如，处理器13可基于切片标头中的信息作出此确定。

在一个实施例中，所述变量可被设定成整数值(例如，“0”与“6”之间的整数值)，其可表示TID阈值(例如，结合框650描述的TID阈值)。在一个实施例中，变量的值可指示第一图片(例如，第一层410A中的第一图片430)可用于第二图片(例如，第一增强层415A1中的图片)的层间预测(如果所述第一图片与小于TID阈值的TID值相关联，如进一步结合图6描述)。为了说明，处理器13可设定变量max_tid_il_ref_pics_plus1[0][1]＝3，其将指示相对于第二层图片(第二增强层图片431A)的第一层图片的TID阈值“3”。

在另一实施例中，所述变量可不被设定成任何值。如结合图5所描述，在此情况下，接着可推断所述变量具有某一值(例如，整数值“7”)。如上文所描述，在一个实施例中，此设定可允许处理器13(在框650处)确定图片中的每一者将用于层间预测，例如，这是因为所述图片中的每一者与可能的TID值相关联(例如，小于“7”的TID值)。

在框640或框650中的任一者之后，处理器13接着可继续到框620，其中处理器13将与额外的第二层重复所述过程(在框610处)或结束所述方法(在框690处)，如上文所描述。在一个实施例中，在所述方法结束时，视频解码器30接着可进行到基于相关联的当前图片(例如，当前图片430)中的一或多者使用层间预测来解码增强图片(例如，增强图片431及/或432)中的一或多者。在一个方面中，所述一或多个相关联的当前图片可与小于与当前图片及增强层图片相关联的TID阈值的TID值相关联。

遵循图4的场景A以及结合图6描述的方法，处理器13可确定相对于第二层(例如，增强层415A1)存在第一层(例如，第一层410A)的变量。例如，处理器13可确定将max_tid_ref_present_flag设定成1。处理器13接着可进行到框630且确定所述变量未使得不能将第一层中的图片用于层间预测第二层的图片。例如，处理器13可基于确定max_tid_il_ref_pics_plus1[0][1]≠0而作出此确定。因此，处理器13接着可进行到框650且确定第一层中的与小于TID阈值(例如，所述TID阈值可基于max_tid_il_ref_pics_plus1[0][1]的值(如果存在))的TID值相关联的图片可用于层间预测第二层的图片。

在场景A的所说明的实例中，变量可被设定成“2”(例如，max_tid_il_ref_pics_plus1[0][1]＝2)，使得处理器13可确定第一层(例如，第一层410A)中的与大于或等于“2”的TID值相关联的图片不可用于层间预测第二层(例如，增强层415A1)中的图片，如通过具有X的箭头所示。随后，在框620处，处理器13可确定相对于第一层处理额外的第二层(例如，增强层415A2)，且随后返回到框610。处理器13接着可与上文所描述类似地进行，不同之处在于在框650处，变量可被设定成大于“2”的某一值(例如，“3”到“6”的值)或完全不设定变量(例如，暗示值“7”)。例如，在场景A的所说明的实例中，变量max_tid_il_ref_pics_plus1[0][2]可被设定成“4”。因此，由于第一层410A中的所有图片都与4或以下的TID值相关联，所以处理器13可确定第一层中的所有图片可以用于层间预测第二层(例如，增强层415A2)中的图片。随后在框620处，处理器13可确定不相对于第一层处理任何额外层，且随后在框690处结束所述方法。在一个实施例中，在所述方法结束时，视频解码器30接着可进行到基于相关联的当前图片(例如，当前图片430A)中的一或多者使用层间预测来解码增强图片(例如，增强图片431A及/或432A)中的一或多者。在一个方面中，所述一或多个相关联的当前图片可与小于与当前图片及增强层图片相关联的TID阈值的TID值相关联。

遵循图4的场景B以及结合图6描述的方法，处理器13可确定相对于第二层(例如，增强层415B1)存在第一层(例如，第一层410B)的变量。例如，处理器13可确定将max_tid_ref_present_flag设定成1。处理器13接着可进行到框630且确定所述变量未使得不能将第一层中的图片用于层间预测第二层的图片。例如，处理器13可基于确定max_tid_il_ref_pics_plus1[0][1]≠0而作出此确定。因此，处理器13接着可进行到框650且确定第一层中的与小于TID阈值(例如，所述TID阈值可基于max_tid_il_ref_pics_plus1[0][1]的值(如果存在))的TID值相关联的图片可用于层间预测第二层的图片。在场景B的所说明的实例中，变量可被设定成大于“2”的某一值(例如，“3”到“6”的值)或完全不设定变量(例如，暗示值“7”)。例如，在场景B的所说明的实例中，变量max_tid_il_ref_pics_plus1[0][2]可被设定成“5”。因此，由于第一层(例如，第一层410B)中的所有图片都与“5”或以下的TID值相关联，所以处理器13可确定第一层中的所有图片可以用于层间预测第二层(例如，增强层415B2)中的图片。随后在框620处，处理器13可确定相对于第一层处理额外的第二层(例如，增强层415B2)，且随后返回到框610。处理器13接着可如上文所描述类似地进行下去，不同之处在于在框650处，可将变量设定成等于值“1”(例如，max_tid_il_ref_pics_plus1[0][2]＝1)，使得处理器13可确定第一层(例如，第一层410B)中的与大于或等于“1”的TID值相关联的图片不可用于层间预测第二层(例如，增强层415B1)中的图片，如通过具有X的箭头所示。随后在框620处，处理器13可确定不相对于第一层处理任何额外层，且随后在框690处结束所述方法。在一个实施例中，在所述方法结束时，视频解码器30接着可进行到基于相关联的当前图片(例如，当前图片430B)中的一或多者使用层间预测来解码增强图片(例如，增强图片431B及/或432B)中的一或多者。在一个方面中，所述一或多个相关联的当前图片可与小于与当前图片及增强层图片相关联的TID阈值的TID值相关联。

如上文结合图4及5所描述，以上过程仅是处理器13及/或视频解码器30可如何作出所描述的确定的实例。

图7中说明编码视频信息的方法的另一实施例。方法700开始于框710。在框710处，处理器(例如，本文中描述的任何处理器)存储与第一层相关联的第一图片。所述处理器还存储与第一层的多个增强层相关联的增强层图片。例如，在一个实施例中，所述第一层对应于上文描述的第一层410A，且所述多个增强层对应于上文描述的第一和第二增强层415A1及415A2。

在框730处，处理器提供对增强层中的每一者的单独指示。所述指示指示第一图片是否可用于相应的增强层中的增强层图片的层间预测。例如，处理器可提供每一第一层与增强层对的MaxTID值，如上文所描述。在一个实施例中，处理器在具有[i]索引(其中[i]指示第一层的层ID值)及[j]索引(其中[j]指示每一增强层的层ID值)的变量中提供MaxTID值。方法700因此提供处理器指定当前层的每一增强层的不同MaxTID值的能力。方法700在框740处结束。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬时的、有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)来提供。已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种视频编码器，其包括：

存储器单元，其经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片；及

处理器，其与所述存储器单元通信且经配置以针对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增强层图片的层间预测的单独的指示。

2.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以：

基于与所述第一图片相关联的时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测；及

基于所述确定而提供所述指示。

3.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以：

基于与所述第一层及所述相应的增强层相关联的最大时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测；及

基于所述确定而提供所述指示。

4.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以在切片标头中提供所述指示。

5.根据权利要求1所述的视频编码器，其中所述指示是旗标。

6.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以设定变量，所述变量包括与所述第一层相关联的第一索引值及与所述相应的增强层相关联的第二索引值。

7.根据权利要求6所述的视频编码器，其中所述变量进一步包括可变值，且其中所述处理器进一步经配置以在所述第一图片将不用于所述相应的增强层的层间预测的情况下将所述可变值设定为第一值。

8.根据权利要求6所述的视频编码器，其中所述变量进一步包括可变值，且其中所述处理器进一步经配置以在所述第一图片可用于所述相应的增强层的层间预测的情况下将所述可变值设定为与所述第一层及所述相应的增强层相关联的最大时间识别值。

9.一种编码视频的方法，所述方法包括：

存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片；及

针对所述增强层中的每一者提供指示所述第一图片是否可用于相应的增强层中的所述增强层图片的层间预测的单独的指示。

10.根据权利要求9所述的方法，其进一步包括：

基于所述第一图片的时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测；及

基于所述确定而提供所述指示。

11.根据权利要求9所述的方法，其进一步包括：

基于与所述第一层及所述相应的增强层相关联的最大时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测；及

基于所述确定而提供所述指示。

12.根据权利要求9所述的方法，其进一步包括在切片标头中提供所述指示。

13.根据权利要求9所述的方法，其进一步包括设定变量，所述变量包括与所述第一层相关联的第一索引值及与所述相应的增强层相关联的第二索引值。

14.根据权利要求13所述的方法，其中所述变量进一步包括可变值，所述方法进一步包括在所述第一图片将不用于所述相应的增强层的层间预测的情况下将所述可变值设定为第一值。

15.根据权利要求13所述的方法，其中所述变量进一步包括可变值，所述方法进一步包括在所述第一图片可用于所述相应的增强层的层间预测的情况下将所述可变值设定为与所述第一层及所述相应的增强层相关联的最大时间识别值。

16.一种视频解码器，其包括：

存储器单元，其经配置以存储与第一层相关联的第一图片及与多个增强层相关联的增强图片；及

处理器，其与所述存储器单元通信且经配置以针对所述增强层中的每一者基于相应的指示单独地确定所述第一图片是否可用于相应的增强层中的所述增强层图片的层间预测。

17.根据权利要求16所述的视频解码器，其中所述处理器进一步经配置以基于与所述第一图片相关联的时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测。

18.根据权利要求16所述的视频解码器，其中所述处理器进一步经配置以基于与所述第一层及所述相应的增强层相关联的最大时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测。

19.根据权利要求16所述的视频解码器，其中所述处理器进一步经配置以在切片标头中接收所述指示。

20.根据权利要求16所述的视频解码器，其中所述指示是旗标。

21.根据权利要求16所述的视频解码器，其中所述处理器进一步经配置以：

接收变量，所述变量包括与所述第一层相关联的第一索引值及与所述相应的增强层相关联的第二索引值；及

基于所述变量而确定所述第一图片是否可用于所述增强层图片的层间预测。

22.根据权利要求21所述的视频解码器，其中所述变量进一步包括可变值，且其中所述处理器进一步经配置以在所述可变值是第一值的情况下丢弃所述第一图片。

23.根据权利要求21所述的视频解码器，其中所述变量进一步包括可变值，且其中所述处理器进一步经配置以在所述第一图片的时间识别值小于最大时间识别值的情况下确定所述第一图片可用于所述相应的增强层的层间预测，所述最大时间识别值是基于所述可变值。

24.根据权利要求23所述的视频解码器，其中所述处理器进一步经配置以：

确定当前图片具有小于与所述当前图片及所述增强层图片相关联的所述最大时间识别值的时间识别值；及

使用层间预测使用所述当前图片解码所述增强层图片。

25.一种解码视频的方法，所述方法包括：

存储与第一层相关联的第一图片及与多个增强层相关联的增强层图片；及

针对所述增强层中的每一者基于相应的指示单独地确定所述第一图片是否可用于相应的增强层中的增强层图片的层间预测。

26.根据权利要求25所述的方法，其进一步包括基于与所述第一图片相关联的时间识别值而确定所述第一图片是否可用于所述相应的增强层中的所述增强层图片的层间预测。

27.根据权利要求25所述的方法，其进一步包括：

接收变量，所述变量包括与所述第一层相关联的第一索引值及与所述相应的增强层相关联的第二索引值；及

基于所述变量而确定所述第一图片是否可用于所述增强层图片的层间预测。

28.根据权利要求27所述的方法，其中所述变量进一步包括可变值，其中所述方法进一步包括在所述可变值是第一值的情况下丢弃所述第一图片。

29.根据权利要求27所述的方法，其中所述变量进一步包括可变值，其中所述方法进一步包括在所述第一图片的时间识别值小于最大时间识别值的情况下确定所述第一图片可用于所述相应的增强层的层间预测，所述最大时间识别值是基于所述可变值。

30.根据权利要求29所述的方法，其进一步包括：

确定当前图片具有小于与所述当前图片及所述增强层图片相关联的所述最大时间识别值的时间识别值；及

使用层间预测使用所述当前图片解码所述增强层图片。