CN105556967A

CN105556967A - 用于视频信息的可缩放译码的装置和方法

Info

Publication number: CN105556967A
Application number: CN201480039780.9A
Authority: CN
Inventors: 陈建乐; 瓦迪姆·谢廖金; 李想; 克里希纳坎斯·拉帕卡; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-07-22
Filing date: 2014-07-18
Publication date: 2016-05-04
Anticipated expiration: 2034-07-18
Also published as: KR20160034933A; CN105556967B; EP3025499B1; WO2015013137A1; EP3025499A1; CA2917200A1; JP6193494B2; CA2917200C; HUE049817T2; KR102140359B1; BR112016001223A2; ES2795682T3; JP2016531488A; US9560358B2; US20150023419A1; BR112016001223B1

Abstract

一种经配置以对视频信息进行译码的设备包含存储器和与所述存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层RL图片，并且所述增强层包括对应于所述RL图片的增强层EL图片。所述处理器经配置以：通过上取样所述RL图片来产生层间参考图片ILRP，所述ILRP具有与其相关联的单一切片；将所述ILRP的所述单一切片的切片信息设定成等于所述第一切片的切片信息；并使用所述ILRP对所述EL图片的至少一部分进行译码。所述处理器可对所述视频信息进行编码或解码。

Description

用于视频信息的可缩放译码的装置和方法

技术领域

本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码(SVC)或多视图视频译码(MVC，3DV)。

背景技术

数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准和此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可以对残差变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。

发明内容

可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))和一或多个可缩放增强层(EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持(举例来说)较高的空间、时间和/或信噪比(SNR)水平。可相对于先前编码的层定义增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下方的层(例如，基础层或任何插入增强层)的EL，且同时充当在其上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。

在SVC中，可使用从参考层导出的信息对增强层中的当前块进行译码(例如，编码或解码)。举例来说，可使用参考层中的协同定位块的信息(例如，纹理信息或运动信息)对增强层中的当前块进行译码(所使用的术语“协同定位”在本发明中可指另一层中对应于与当前块相同的图像的块，例如，当前被译码的块)。但是，对于例如空间可缩放性的某些可缩放性方案，可需要在将参考层信息用于译码增强层之前对其进行修改。举例来说，可需要在将参考层信息用于译码增强层之前对其进行重新取样(例如，根据参考层与增强层之间的分辨率)。举例来说，在一些实施方案中，参考层图片可经重新取样并插入到增强层图片的参考图片列表中并且用于对增强层图片进行译码。

但是，参考层图片的重新取样可引起所得重新取样图片违反一或多个位流一致性约束。举例来说，参考层图片可划分成多个切片，并且一些实施方案可指示切片边界符合最大译码单元(LCU)边界。但是，在重新取样参考层图片之后，参考层图片的切片边界可不再符合LCU边界。在此情况下，可需要以额外处理和计算能力为代价对重新取样参考层图片中的切片边界进行修改。

因此，通过使用将产生符合位流一致性约束的图片的用于上取样参考层图片的更简单方法，可降低计算复杂度。

本发明的系统、方法和装置各自具有若干创新方面，其中无单一方面单独负责本文所揭示的合乎需要的属性。

一方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以：通过上取样所述RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；将所述ILRP的所述单一切片的切片信息设定成等于第一切片的切片信息；并使用ILRP对EL图片的至少一部分进行译码。所述处理器可对所述视频信息进行编码或解码。

一方面，对视频信息进行译码(例如，编码或解码)的一种方法包括：通过在上取样参考层中具有第一切片和第二切片的参考层(RL)图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；将ILRP的单一切片的切片信息设定成等于第一切片的切片信息；和使用ILRP来对增强层中的增强层(EL)图片的至少一部分进行译码。

一方面，一种非暂时性计算机可读媒体包括在执行时使得设备执行过程的代码。所述过程包含：存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于RL图片的增强层(EL)图片；通过上取样所述RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；将ILRP的单一切片的切片信息设定成等于第一切片的切片信息；和使用ILRP来对EL图片的至少一部分进行译码。

一方面，一种经配置以对视频信息进行译码的视频译码装置包括：用于存储与参考层和增强层相关联的视频信息的装置，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于RL图片的增强层(EL)图片；用于通过上取样RL图片来产生层间参考图片(ILRP)的装置，所述ILRP具有与其相关联的单一切片；用于将ILRP的单一切片的切片信息设定成等于第一切片的切片信息的装置；和用于使用ILRP来对EL图片的至少一部分进行译码的装置。

一方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以：确定第一切片的第一切片信息与第二切片的第二切片信息是否相同；并响应于确定第一切片信息与第二切片信息相同，启用用于对EL图片的至少一部分进行译码的层间运动预测。

一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括：确定参考层(RL)图片的第一切片的第一切片信息与RL图片的第二切片的第二切片信息是否相同；和响应于确定第一切片信息与第二切片信息相同，启用用于对增强层(EL)图片的至少一部分进行译码的层间运动预测。

一方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以：确定第一切片的第一切片信息与第二切片的第二切片信息是否相同；并响应于确定第一切片信息与第二切片信息不相同，禁用用于对EL图片进行译码的层间运动预测。

一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括：确定参考层(RL)图片的第一切片的第一切片信息与RL图片的第二切片的第二切片信息是否相同；和响应于确定第一切片信息与第二切片信息不相同，禁用用于对对应于RL图片的增强层(EL)图片进行译码的层间运动预测。

一方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以：通过上取样所述RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；并确定第一切片的切片类型与第二切片的切片类型是否不同。响应于确定第一切片的切片类型与第二切片的切片类型不同，所述处理器可经进一步配置以：如果第一和第二切片中的至少一者为B切片，那么将ILRP的单一切片的切片类型设定成等于B切片；如果，那么第一和第二切片中的至少一者为P切片并且第一和第二切片均不为B切片，那么将ILRP的单一切片的切片类型设定成等于P切片；并且如果第一和第二切片均为I切片，那么将ILRP的单一切片的切片类型设定成等于I切片。

一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括：通过上取样参考层中具有第一切片和第二切片的参考层(RL)图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；和确定第一切片的切片类型与第二切片的切片类型是否不同。此外，响应于确定第一切片的切片类型与第二切片的切片类型不同，所述方法可进一步包括：如果第一和第二切片中的至少一者为B切片，那么将ILRP的单一切片的切片类型设定成等于B切片；如果第一和第二切片中的至少一者为P切片并且第一和第二切片均不为B切片，那么将ILRP的单一切片的切片类型设定成等于P切片；和如果第一和第二切片均为I切片，那么将ILRP的单一切片的切片类型设定成等于I切片。

一方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。处理器经配置以：通过上取样RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；将ILRP的单一切片的切片信息设定成等于第一切片的切片信息；修改与对应于RL图片的第二切片的ILRP的一部分相关联的运动信息来校正其中的不准确性；并且使用ILRP来对EL图片的至少一部分进行译码。

一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括：通过上取样参考层中具有第一切片和第二切片的参考层(RL)图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；将ILRP的单一切片的切片信息设定成等于第一切片的切片信息；修改与对应于RL图片的第二切片的ILRP的一部分相关联的运动信息来校正其中的不准确性；和使用ILRP来对EL图片的至少一部分进行译码。

附图说明

图1A是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。

图1B是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码系统的框图。

图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3A是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4A和4B说明根据本发明的一个实施例的产生层间参考图片的实例方法。

图5说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。

图6说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。

图7说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。

图8说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。

具体实施方式

本文中描述的某些实施例涉及针对在先进视频编码解码器的上下文中的例如HEVC(高效率视频译码)等的可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。

在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中揭示的实施例可适用于以下标准中的一或多者：ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264(也被称作ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于在某些先前视频译码标准中的预测单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四分树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，例如译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区分裂的基本单元。可认为CU类似于宏块的概念，但其不限定最大大小，且可允许递归分裂成四个相等大小CU以改善内容适应性。可将PU视为帧间/帧内预测的基本单元，且其可在单一PU中含有多个任意形状的分区以有效地对不规则图像模式进行译码。TU可认为是变换的基本单元。可独立于PU来对其定义；但是，其大小可能限于TU所属的CU。块结构如此分离成三个不同概念可允许每一者根据其作用被优化，这可导致改善译码效率。

仅出于说明的目的，用仅包含两个层(例如，比如基础层等较低层，和比如增强层等较高层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层和/或增强层的配置。另外，为了易于解释，参考某些实施例，以下揭示内容包含术语“帧”或“块”。但是，这些术语不意味着限制。举例来说，下文描述的技术可供任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)使用。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有亮度和色度信息。在未压缩的情况下，待从图像编码器传达到图像解码器的信息的数量太过巨大以致不可能实现实时图像发射为了减少待发射的信息的量，已开发出例如JPEG、MPEG和H.263标准等数个不同压缩方法。

视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264(也被称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

另外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。对HEVC草案10的完全引用为Bross等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本说明书草案10”，ITU-TSG16WP3与ISO/IECJTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日至2013年1月23日。对HEVC的多视图扩展(即，MV-HEVC)和对HEVC的可缩放扩展(名为SHVC)也正分别由JCT-3V(3D视频译码扩展开发ITU-T/ISO/IEC联合合作小组)和JCT-VC开发。

下文参考附图更充分地描述新颖系统、设备和方法的各个方面。但是，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围旨在涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围旨在涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化和排列落在本发明的范围内。尽管提及了优选方面之一些益处和优点，但本发明的范围不旨在限于特定益处、用途或目标。而是，本发明的方面旨在广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中进行说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物定义的本发明的范围。

附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等)开始的元件未必暗示所述元件具有特定次序。而是，这些序数词仅用于指代相同或类似类型的不同元件。

视频译码系统

图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。

如图1A中所展示，视频译码系统10包含源模块12，其产生稍后待由目的地模块14解码的经编码视频数据。在图1A的实例中，源模块12与目的地模块14在分开的装置上，具体来说，源模块12为源装置的部分，并且目的地模块14为目的地模块的部分。但是，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实例中所展示。

再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等的电话手持机、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源模块12和目的地模块14可经装备以用于无线通信。

目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模块14的通信的设备。

替代地，经编码数据可从输出接口22输出到任选的存储装置31。类似地，可通过输入接口28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持由源模块12产生的经编码视频的另一中间存储装置。目的地模块14可经由流式传输或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地模块14的任何类型服务器。实例文件服务器包含万维网服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本端磁盘驱动器。目的地模块14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含无线频道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式传输视频发射(例如，HTTP动态自适应流式传输(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。

在图1A的实例中，源模块12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源模块12中，视频源18可包含来源，例如视频俘获装置，例如摄像机，含有先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源模块12和目的地模块14可形成所谓的相机电话或视频电话，如图1B的实例中所说明。但是，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。经编码视频数据可经由源模块12的输出接口22直接发射到目的地模块14。经编码视频数据还可(或替代地)存储到存储装置31上用于稍后由目的地模块14或其它装置存取以用于解码和/或回放。

在图1A的实例中，目的地模块14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地模块14的输入接口28可经由链路16接收经编码视频数据。经由链路16传送或在存储装置31上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30等的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示装置32可与目的地模块14集成在一起或在目的地模块14之外部。在一些实例中，目的地模块14可包含集成显示装置且还可经配置以与外部显示装置介接。在其它实例中，目的地模块14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在相关方面，图1B展示实例视频编码和解码系统10'，其中源模块12和目的地模块14在装置或用户装置11上或为其部分。装置11可为电话手持机，例如“智能”电话或类似者。装置11可包含与源模块12和目的地模块14操作性通信的任选的控制器/处理器模块13。图1B的系统10'可进一步包含视频编码器20与输出接口22之间的视频处理单元21。在一些实施方案中，视频处理单元21是单独的单元，如图1B中所说明；但是，在其它实施方案中，视频处理单元21可实施为视频编码器20和/或处理器/控制器模块13的一部分。系统10'还可包含任选的跟踪器29，其可跟踪视频序列中的所关注对象。待跟踪的关注对象可通过结合本发明的一或多个方面描述的技术来分段。在相关方面中，跟踪可由显示装置32单独或与跟踪器29结合而执行。图1B的系统10'及其组件另外类似于图1A的系统10及其组件。

视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可根据其它专属或业界标准来操作，所述标准例如是ITU-TH.264标准，替代地被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。

尽管图1A和1B的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地在软件中实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编码解码器)的部分。

视频译码过程

如上文简要提及，视频编码器20编码视频数据。视频数据可以包括一或多个图片。图片中的每一者为形成视频的部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。位流可以包含形成视频数据的经译码表示的位序列。位流可包含经译码图片和相关联数据。经译码的图片是图片的经译码表示。

为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、调适参数集和其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或更多个图片的参数。调适参数集(APS)可含有适用于零或更多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。

为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。但是，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。

在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。

作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。

为产生经译码切片，视频编码器250可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(例如，编码)。举例来说，视频编码器20可按如下次序来编码切片的树块：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的树块的每一者。

作为根据光栅扫描次序编码树块的结果，可能已编码在给定树块的上方和左边的树块，但尚未编码在给定树块的下方和右边的树块。因此，当编码给定树块时，视频编码器20可能能够存取通过编码在给定树块的上方和左边的树块而产生的信息。但是，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方和右边的树块而产生的信息。

为产生经译码树块，视频编码器20可对树块的视频块递归地执行四分树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。未分割CU可为其视频块经分割成与其它CU相关联的视频块的CU。未分割CU可为其视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64个像素或更大的树块的视频块的大小(例如，树块的大小)。

视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可对左上CU、右上CU、左下CU和接着右下CU按所述次序进行编码。当视频编码器20对经分割CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着是与右下子块相关联的CU按所述顺序进行编码。

作为根据z扫描次序编码树块的CU的结果，可能已编码在给定CU的上方、左上方、右上方、左边和左下方的CU。尚未对给定CU的右下方的CU进行编码。因此，当对给定CU进行编码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。但是，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其它CU进行编码而产生的信息。

当视频编码器20对未分割CU进行编码时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的预测视频块。

当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本来产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么所述CU为经帧间预测CU。

此外，当视频编码器20使用帧间预测来产生用于PU的经预测视频块时，视频编码器20可产生用于所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的预测视频块。

在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可基于用于CU的PU的预测视频块产生所述CU的残差数据。CU的残差数据可指示用于CU的PU的预测视频块中的样本与CU的原始视频块之间的差。

此外，作为对未分割CU执行编码操作的部分，视频编码器20可对CU的残差数据执行递回四分树分割以将CU的残差数据分割成与CU的变换单元(TU)相关联的一或多个残差数据块(例如，残差视频块)。CU的每一TU可与不同残差视频块相关联。

视频编码器20可对与TU相关联的残差视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化一般是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何对与所述CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应性二进制算术译码(CABAC)操作的熵编码操作应用于这些语法元素中的一些。还可使用例如上下文自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。

由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有对NAL单元中的数据类型的指示和含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体互逆。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行反量化。视频解码器30可对变换系数块执行反变换以重构与CU的TU相关联的残差视频块。在产生经预测视频块并重构残差视频块之后，视频解码器30可基于经预测视频块和残差视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。

视频编码器

图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单一层(例如针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测处理单元100可经配置以执行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包含任选层间预测单元128，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元100(例如，帧间预测单元121和/或帧内预测单元126)执行，在此情况下可省略层间预测单元128。但是，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。但是，本发明的技术可以适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编码解码器。但是，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于多层编码解码器的处理。

视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测以减小或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减小或去除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

在图2A的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126和层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2A的实例中分开来表示。

视频编码器20可以接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。

作为对树块执行编码操作的部分，预测处理单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，以此类推。

与CU相关联的视频块的大小范围可从8×8样本直至最大64×64样本或更大的树块的大小。在本发明中，“N×N”与“N乘N”可互换使用来指代在垂直和水平维度方面的视频块的样本尺寸，例如，16×16个样本或16乘16个样本。一般来说，16×16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，N×N块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树块执行编码操作的部分，预测处理单元100可产生用于所述树块的阶层式四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，则所述根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四分树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地定义，且可取决于所述CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。

视频编码器20可对树块的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。

作为对CU执行编码操作的部分，预测处理单元100可在CU的一或多个PU之间分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N，则视频编码器20和视频解码器30可支持2N×2N或N×N的PU大小，和2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块的侧会合的边界来在CU的PU间分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帧间预测视频块。

切片可为I切片、P切片，或B切片。运动估计单元122和运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。

如果PU在P切片中，那么含有所述PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的紧密程度。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引，以及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以不同精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可将参考索引和运动向量输出为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。

如果PU处于B切片中，那么含有PU的图片可与被称作“列表0”和“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。

此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引是指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。

当运动估计单元122针对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图片的参考索引，以及指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。而是，运动估计单元122可参考另一PU的运动信息用信号发送PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定PU的运动向量。通过在用信号发送第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位用信号发送第二PU的运动信息。

如下文参考图5至8进一步论述，预测处理单元100可经配置以通过执行图5至8中说明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或分开地执行图5至8中说明的方法。

作为对CU执行编码操作的部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片和B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左边，假定对于PU、CU和树块采用从左到右、从上到下的编码次序。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。

预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。

如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可用信号发送用以产生用于PU的预测数据的帧内预测模式，例如，所选帧内预测模式。预测处理单元100可以各种方式用信号发送所选帧内预测模式。举例来说，有可能所选帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生用以指示所选帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元128利用预测方法以减少层间冗余，从而改善译码效率并降低计算资源要求。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动信息。层间残差预测使用基础层的残差来预测增强层的残差。以下更详细地论述层间预测方案中的每一者。

在预测处理单元100选择用于CU的PU的预测数据之后，残差产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残差数据。CU的残差数据可包含对应于CU的视频块中的样本的不同样本分量的2D残差视频块。举例来说，残差数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残差视频块。另外，CU的残差数据可包含对应于CU的PU的预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残差视频块。

预测处理单元100可执行四叉树分割以将CU的残差视频块分割成子块。每一未分割残差视频块可与CU的不同TU相关联。与CU的TU相关联的残差视频块的大小和位置可基于或可不基于与CU的PU相关联的视频块的大小和位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与残差视频块中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。

变换处理单元104可通过将一或多个变换应用到与CU的每一TU相关联的残差视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用到与TU相关联的残差视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向性变换或概念上类似的变换应用到与TU相关联的残差视频块。

在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的变换系数块进行量化。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真量度的树块的经译码表示中的CU相关联时，视频编码器20可用信号发送所述给定QP值与CU相关联。

反量化单元108和反变换单元110可分别将反量化和反变换应用于变换系数块以从变换系数块重构残差视频块。重构单元112可以将经重构的残差视频块添加到来自由预测处理单元100产生的一或多个预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。

在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减小与所述CU相关联的视频块中的成块假象。在执行一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块并且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可以执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。

作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计。在CABAC的上下文中，术语“二进位”用以指代语法元素的二进制化版本的位。

多层视频编码器

图2B是说明可实施根据本发明中描述的方面的技术的多层视频编码器23的实例的框图。视频编码器23可经配置以处理多层视频帧，例如，用于SHVC和多视图译码。此外，视频编码器23可经配置以执行本发明的技术中的任一者或全部。

视频编码器23包含视频编码器20A和视频编码器20B，其中的每一者可经配置为视频编码器20并且可执行上文关于视频编码器20所描述的功能。此外，如再使用参考标号所指示，视频编码器20A和20B可包含系统和子系统中的至少一些作为视频编码器20。虽然将视频编码器23说明为包含两个视频编码器20A和20B，但视频编码器23不受此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器23可针对存取单元中的每一图片或帧包含视频编码器20。举例来说，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帧多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。

除了视频编码器20A和20B外，视频编码器23还可包含再取样单元90。在一些情况下，再取样单元90可上取样所接收视频帧的基础层以(例如)产生增强层。再取样单元90可对与帧的所接收基础层相关联的特定信息进行上取样，但不对其它信息上取样。举例来说，再取样单元90可上取样基础层的空间大小或像素数目，但切片的数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收视频和/或可为任选的。举例来说，在一些情况下，预测处理单元100可执行上取样。在一些实施例中，再取样单元90经配置以对层进行上取样并重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取样，但在一些情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间减小带宽，那么可对帧进行下取样而不是上取样。

再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收的图片信息)进行上取样。可接着将所述经上取样图片提供到较高层编码器(例如，视频编码器20B)的预测处理单元100，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器去除的一个层。在其它情况下，在图2B的层0编码器与层1编码器之间可存在一或多个较高层编码器。

在一些情况下，可省略或绕过再取样单元90。在这些情况下，可直接或在至少不提供到再取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而没有任何再取样。

在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码器的视频数据，随后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在另外其它实施例中，可省略下取样单元94。

如图2B中所说明，视频编码器23可进一步包含多路复用器98或mux。mux98可从视频编码器23输出组合的位流。可通过从视频编码器20A和20B中的每一者取得位流并交替在给定时间输出的位流来产生组合位流。虽然在一些情况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的情况下，两个以上)位流的位，但在许多情况下，不同地组合所述位流。举例来说，可通过一次一个块地交替所选位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。在一些实施例中，可预编程来自mux98的输出流。在其它实施例中，mux98可基于从视频编码器23外部的系统(例如从包含源模块12的源装置上的处理器)接收的控制信号来组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定来自视频编码器23的所要分辨率输出的任何其它因素来产生控制信号。

视频解码器

图3A是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单一层(例如针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元152(例如，运动补偿单元162和/或帧内预测单元164)执行，在此情况下，可省略层间预测单元166。但是，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。但是，本发明的技术可以适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编码解码器。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于多层编码解码器的处理。

在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、反量化单元154、反变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与关于图2A的视频编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。

视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。作为对位流执行剖析操作的结果，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重构单元158和滤波器单元159可执行重构操作，重构操作基于从位流提取的语法元素产生经解码视频数据。

如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEINAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取并熵解码序列参数集、从图片参数集NAL单元提取并熵解码图片参数集、从SEINAL单元提取并熵解码SEI数据等等。

另外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取并熵解码经译码切片。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未分割CU执行剖析操作之后，视频解码器30可对未分割CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残差视频块。

作为对TU执行重构操作的一部分，反量化单元154可对与TU相关联的变换系数块进行反量化(例如，解量化)。反量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的反量化过程的方式来反量化变换系数块。反量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定反量化单元154应用的反量化的程度。

在反量化单元154反量化变换系数块之后，反变换单元156可产生用于与变换系数块相关联的TU的残差视频块。反变换单元156可将反变换应用到变换系数块以便产生所述TU的残差视频块。举例来说，反变换单元156可将反DCT、反整数变换、反卡忽南-拉维(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于变换系数块。在一些实例中，反变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块的反变换。在这些实例中，反变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的用信号发送的变换来确定反变换。在其它实例中，反变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断反变换。在一些实例中，反变换单元156可应用级联的反变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而优化PU的预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生经预测视频块。

如下文参考图5至8进一步论述，所述预测处理单元152可通过执行图5至8中说明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开地执行图5至8中说明的方法。

如果PU是使用帧内预测编码的，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。

如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元166利用预测方法以减少层间冗余，从而改善译码效率并降低计算资源要求。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动信息。层间残差预测使用基础层的残差来预测增强层的残差。以下更详细地论述层间预测方案中的每一者。

重构单元158可使用与CU的TU相关联的残差视频块以及CU的PU的经预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生经预测视频块和残差视频块，并可基于经预测视频块和残差视频块而产生视频块。

在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与所述CU相关联的成块假象。在滤波器单元159执行解块操作以减小与CU相关联的成块假象之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1A或1B的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

多层解码器

图3B是说明可实施根据本发明中描述的方面的技术的多层视频解码器33的实例的框图。视频解码器33可经配置以处理多层视频帧，例如，用于SHVC和多视图译码。此外，视频解码器33可经配置以执行本发明的技术中的任一者或全部。

视频解码器33包含视频解码器30A和视频解码器30B，其中的每一者可经配置为视频解码器30并可执行上文关于视频解码器30所描述的功能。此外，如再使用参考标号所指示，视频解码器30A和30B可包含系统和子系统中的至少一些作为视频解码器30。虽然将视频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不被如此限制并且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的每一图片或帧的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单元中的帧更多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。

除了视频解码器30A和30B之外，视频解码器33还可包含上取样单元92。在一些实施例中，上取样单元92可上取样所接收的视频帧的基础层以产生将添加到用于帧或存取单元的参考图片列表的增强型层。此增强型层可存储在经解码图片缓冲器160中。在一些实施例中，上取样单元92可包含关于图2A的再取样单元90描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层进行上取样并重新组织、重新定义、修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收的视频帧的层上取样和/或下取样的再取样单元。

上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与图片相关联的图片信息)并对所述图片(或所接收的图片信息)上取样。随后可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的预测处理单元152，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器去除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接或在至少不提供到上取样单元92的情况下将来自视频解码器30A的经解码图片缓冲器160的图片提供到视频解码器30B的预测处理单元152。举例来说，如果提供到视频解码器30B的视频数据和来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要上取样。此外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收的参考图片上取样或下取样的再取样单元90。

如图3B中所说明，视频解码器33可进一步包含多路分用器99或demux。demux99可将经编码视频位流分裂为多个位流，其中由demux99输出的每一位流经提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，并且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，图3B的实例中的视频解码器30A和30B)中的每一者之间一次一个位地交替来自在demux99处接收的位流的位，但在许多情况下，不同地划分所述位流。举例来说，可通过一次一个块地交替接收位流的视频解码器而划分所述位流。在另一实例中，可通过到视频解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由demux99对位流的划分。在其它实施例中，demux99可基于从视频解码器33外部的系统(例如从包含目的地模块14的目的地装置上的处理器)接收的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定可由视频解码器33获得的分辨率的任何其它因素而产生控制信号。

仅HLS的基于HEVC的可缩放视频译码

在一些实施方案中(例如，对HEVC的可缩放扩展)，可能需要仅高水平语法(HLS)视频译码。举例来说，仅HLS视频译码可意味着在这些实施方案中不引入块层级或译码单元层级的改变。例如BL内等译码模式无法用于与这些实施方案结合，是因为这些译码模式可涉及对HEVC框架的块层级改变。举例来说，BL内涉及直接存取关于被译码的所述增强层中的当前块协同定位的参考层中的块的纹理信息。

但是，仅可通过获取参考层图片(例如，在例如再取样并将其插入到所述增强层图片的参考图片列表中等任何可用处理之后)来实现HLS视频译码。在所述情况下，插入到参考图片列表中的参考图片可简单地被处理为所述增强层中的另一图片并且可用于帧间预测而不需要对HEVC框架的任何块层级改变。如果所述参考层和增强层具有同一空间分辨率，那么可使用描述在“MV-HEVC工作草案4(JCT3V-D1004)”中的方法，所述方法可在http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v3.zip获得。在所述方法中，插入到所述增强层的参考图片列表中的图片可用作协同定位的图片(例如，导出运动信息的同一层中的图片)以用于TMVP导出而无需额外块层级处理。

帧间预测和TMVP

在帧间预测中，可使用同一层中在时间上相邻的图片的运动信息来预测增强层(EL)图片中的当前块。举例来说，可从协同定位的图片(例如，在同一层中在时间上相邻的图片)中的协同定位块(例如，于在时间上相邻图片中定位于与当前图片中的当前块相同的位置处的块)导出时间运动向量预测符(TMVP)并将其添加到所述EL中的当前块的运动向量(MV)候选列表。

使用TMVP可改善译码效率。举例来说，TMVP可用作当前被译码的块(例如，当前块)的运动向量的预测子，并且代替对当前块的整个运动向量进行译码，可对当前块的运动向量与TMVP之间的运动向量差(MVD)进行译码。

空间可缩放性

就空间可缩放性来说，EL图片具有与参考层(RL)图片不同的空间分辨率。举例来说，EL与RL之间的空间宽高比可为1.5、2.0或其它比率。在此情况下，RL图片可经再取样以使得再取样RL图片匹配EL图片的空间分辨率，随后将再取样RL图片插入到如“SHVC工作草案2”中描述的EL参考列表中，所述工作草案可在http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v3.zip处获得。

为了启用纹理预测和运动预测，可再取样与RL图片相关联的像素和非像素信息(语法、模式和模式参数)。举例来说，可再取样预测模式和例如运动向量、参考索引、帧间方向等运动信息，以使得可允许使用TMVP。除了上文所提及的块层级信息之外，TMVP导出过程还可使用协同定位图片(例如，插入EL的参考图片列表中的经再取样RL图片)的高层级信息，例如其图片类型和参考图片列表信息。

产生层间参考图片(ILRP)

图4A和4B说明使用参考层图片产生层间参考图片的实例方法。如上文所论述，在一些实施方案中，将所产生的层间参考图片添加到所述增强层的参考图片列表并用于对所述增强层图片进行译码。图4A说明参考层图片402，其包含大量切片404A和404B。虽然图4A的实例中展示仅两个切片，但切片的数目不被如此限制并且可为任何任意数目。如图4A中所说明，通过切片边界406识别两个切片404A与404B之间的划分。通过增加切片边界406相比网格线的厚度来与将所述参考层图片402划分成译码单元的网格线区分切片边界406。

切片中的每一者可与切片特定信息和/或切片特定语法信息相关联。所述切片信息可包含在用于每一切片404A和404B的切片标头中或可存储在其它地方并例如经由映射表或其它数据结构而与切片相关联。所述切片信息可包含可与切片相关联的任何类型的信息，例如图片次序计数(POC)值、色彩平面、切片中的第一译码树块的地址、参考图片列表信息等。所述切片信息可由HEVC标准定义。但是，所述切片信息不被如此限制并且可包含其它基于标准的信息和/或可与或可不与特定标准相关联的应用特定信息。

所述参考层图片402可如网格线所指示划分成大量译码单元408或译码树块(CTB)。译码单元可具有不同的像素大小。举例来说，译码单元可为16×16像素或64×64像素。在一些情况下，所述译码单元可被称作最大译码单元(LCU)。切片404A和404B可包含若干LCU。在所描绘的实例中，切片404A包含5个LCU并且切片404B包含11个LCU。虽然将所述参考层图片402的每一块或CTB描绘为等大小的，但在一些实施例中，层402的CTB大小可不同。虽然图4A中说明了参考层图片402，但所述参考层图片402可为任何基础层图片或来自任何其它层的图片。

图4B说明经再取样参考层图片412，其为所述参考层图片402的再取样版本。经再取样参考层图片412也可被称作层间参考图片412。经再取样参考层图片412可表示可包含于所述增强层(或具有比所述参考层高的分辨率的任何其它层)的参考图片列表中的图片。所述经再取样参考层图片412在一些情况下可用于对增强层图片进行译码(例如，编码或解码)。如图4B中所说明，经再取样参考层图片412表示对参考层图片402的2×上取样或并矢上取样。在图4B的实例中，经再取样参考层图片412包括具有与所述参考层图片402的译码单元相同的大小的译码单元418，但经再取样参考层图片412包括数目为所述参考层图片402四倍的译码单元418。在其它实施例中，上取样可包含缩放。举例来说，经再取样参考层图片412内的每一译码单元的长度和宽度可为在应用2×上取样时所述参考层图片402中的每一译码单元的2倍。在其它情况下，经再取样参考层图片412的每一译码单元的大小可与所述参考层图片402中的译码单元相同。在一些情况下，上取样受限于具体比例，例如整数比例(例如，2×、3×、5×等)。在其它情况下，上取样可不受限制并且可包含基于非整数的上取样(例如，1.5×、3.3×等)。此外，虽然本文中的实施例主要使用上取样来描述，但一些实施例可包含下取样(例如，0.5×)。

如图4B中所说明，经再取样参考层图片412包含单一切片414。如本文中所论述，切片414的切片信息可从切片404A、切片404B或两者导出。在一个实施例中，从另一切片“导出”切片信息的过程包括复制所述切片的切片信息。举例来说，切片414可具有与切片404A相同的切片信息。在另一实例中，切片414可具有与切片404B相同的切片信息。在又一实例中，切片404可具有从切片404A导出的一些信息和从切片404B导出的其它信息。由于经再取样参考层图片412具有一个切片414，因此不存在图4B中说明的切片边界。如上文所论述，因为经再取样参考层图片412具有一个切片并且不具有切片边界，消除了对执行额外处理以确保多个切片的位流一致性(例如，光栅扫描次序处理)的需要。

包含在层间参考图片中的数据

举例来说，在一些实施例中，就空间可缩放性来说并不涉及仅HLSHEVC-SVC中的低层级(例如，块层级)处理改变的产生层间参考图片(例如，基于RL图片产生参考图片，所述参考图片用于EL的帧间预测)：(A)上取样RL图片的YUV数据；(B)上取样RL图片的运动参数(例如，运动向量和参考索引)；和(C)导出RL图片的高层级(例如，图片或切片层级)信息。举例来说，所产生层间参考图片(ILRP)可包含从RL图片导出的以下数据：(A)具有与EL图片相同的空间分辨率的经上取样纹理图片；(B)用于每一基本单元(例如，译码单元或预测单元)的运动参数；和(C)高层级(例如，图片或切片层级)信息。

所产生层间参考图片的高层级信息(例如，上文的项目(C))可包含图片POC值、切片分割模式、切片类型、参考图片列表信息和可以用于TMVP导出过程的任何其它高层级信息。所述参考图片列表信息可包含每一参考图片列表中的参考图片数目、所有参考图片的参考图片类型(例如，短期的或长期的)、所有参考图片的参考图片POC值。在一些实施方案中，所述参考图片列表信息可包含以下中的任一者：(1)参考图片列表0中的参考图片的数目，(2)对应于参考图片列表0的每一参考图片索引的参考图片(例如，与参考索引0相关联的参考图片，与参考索引1相关联的参考图片等)，(3)参考图片列表1中的参考图片的数目，和/或(4)对应于参考图片列表1的每一参考图片索引的参考图片。所产生的层间参考图片的一些高层级信息可简单地从RL图片的层间参考图片复制。替代地，所产生的层间参考图片的一些高层级信息可设定为预定义值。例如图片POC值等图片层级信息可直接自相关BL图片复制。但是，例如切片类型和参考列表图片信息等一些其它信息与个别切片相关联(例如，每一切片含有其自身的切片类型和参考图片列表)。将需要在所述切片层级下导出所产生的层间参考图片的这些信息。

在一些实施方案中，在多切片案例中产生层间参考图片的高层级信息时修改经再取样RL图片的切片边界和/或切片定义是基于对应RL图片中的切片分段进行的。举例来说，取决于对应RL图片划分成多个切片的方法和切片边界定位的位置，一些情况下需要修改经再取样RL图片的切片边界以使得所得经再取样RL图片符合可应用的标准和约束。

在MV-HEVC(多视图)或信噪比(SNR)可缩放SVC的情况下，所产生的参考图片的切片信息可直接自对应参考层或参考视图图片复制，因为所产生的参考图片可具有与基础层/基础视图图片相同的切片模式(例如，当不执行空间再取样时)。另一方面，就空间可缩放性来说，切片分割模式导出可通过首先再取样对应RL图片的切片分割模式和随后调整所述切片分割模式以使得所得参考图片符合任何可用的标准或约束(例如，HEVC切片分割规则，例如切片必须含有按光栅扫描次序的一组连续LCU)来进行。

单一切片ILRP

在一些实施例中，在基于可缩放性比率再取样参考层图片来产生层间参考图片时，即使所述参考层图片中已定义多个切片，仍产生单一切片以用于经再取样参考层图片。举例来说，经再取样参考层图片中的译码树块(CTB)与所述单一切片相关联。使用所述参考层图片的一或多个切片的切片信息产生经再取样参考层图片的单一切片的切片信息。举例来说，将经再取样参考层图片的单一切片的切片信息设定成等于参考层图片的切片中的一者的切片信息。在一个实施例中，所述切片信息包含切片类型和参考图片列表。但是，切片信息不限于本文中所描述的切片信息，而是可包含可在切片层级下(例如，在切片标头)中用信号发送或接收的任何参数或变量。

具有不同参考图片列表的切片

如果参考层图片具有多个切片(例如，切片#1和切片#2)并且其具有不同参考图片列表，那么可能存在问题。举例来说，如果再取样参考层图片并产生单一切片用于经再取样参考层图片，并且基于参考层图片的切片#1的切片信息产生单一切片的切片信息，那么经再取样参考层图片中对应于参考层图片的切片#2的块可因为所述经再取样参考层图片的单一切片的参考图片列表不同于参考层图片的切片#2的参考图片列表而具有不再有效的参考索引(例如，用于识别参考图片列表中的图片的值)。在此实例中，经再取样参考层图片的参考图片列表将与参考层图片的切片#1的参考图片列表相同，切片#1的参考图片列表不同于切片#2的参考图片列表。

在一个实例中，切片#1具有三个参考图片，而切片#2具有五个参考图片，并且经再取样参考层图片的单一切片的切片信息是从切片#1的切片信息导出(例如，单一切片的参考图片列表与切片#1的参考图片列表相同)。但是，即使单一切片的参考图片列表具有三个参考图片，对应于切片#2的经再取样参考层图片的一些块也可具有参考索引值3或4。

如上文所描述，产生或导出所产生的层间参考图片的高层级信息(例如，切片分割模式和与每一切片相关联的其它信息)的过程可非常复杂。本申请案的各种实施例可提供一种用于产生或导出切片层级信息的简化过程(例如，通过制止产生经再取样层间参考图片的多个切片或产生经再取样层间参考图片的单一切片)。

方法#1：限定层间运动预测

在参考层图片的切片具有不同切片信息(例如，参考图片列表)时产生的问题的一个解决方案为将层间运动预测限定成参考层图片的多个切片具有相同参考图片列表时的情况。举例来说，在经再取样参考层图片用作用于TMVP导出的协同定位图片时，除非参考层图片中的所有切片具有相同参考图片列表0和相同参考图片1，否则禁用层间运动预测。另外，这种限制还可应用于信噪比(SNR)可缩放性案例，或具体来说应用于在增强层和参考层中具有不同CTB大小的SNR可缩放性案例，如稍后在本申请案中所描述。

图5是说明根据本发明的实施例的用于对视频信息进行译码的方法500的流程图。图5中说明的步骤可由编码器(例如，图2A或图2B中所展示的视频编码器)或本文中所描述的另一组件执行。为方便起见，方法500经描述为由可为(例如)视频编码器的译码器执行。

方法500开始于框501。在框505中，译码器确定参考层图片的切片是否具有相同切片信息。在一个实施例中，切片信息包含与对应切片相关联的参考图片列表。如果译码器确定参考层图片的切片具有相同切片信息，那么译码器在框510中启用层间运动预测。举例来说，术语“启用”除了其原始意义还可意味着允许层间运动预测被所述译码器视为用于对当前块或当前图片进行译码的译码选项中的一者。在另一实例中，术语“启用”可仅意味着制止限定(或禁用)层间运动预测的使用并且未必意味着使用层间运动预测对当前块或当前图片进行译码。可仅仅意味着，如果译码器确定层间运动预测为对当前块或当前图片进行译码的所需方法，那么可如此操作。

另一方面，如果译码器确定参考层图片的切片具有相同切片信息，那么译码器在框515中禁用层间运动预测。通过将层间运动预测限定于参考层图片的切片具有相同切片信息(例如，切片类型、参考图片列表等)的情况，可更流畅地实施单一切片层间参考图片的产生，并且可降低或消除与管理层间参考图片中的多个切片相关联的计算复杂度。方法500在框550处结束。

如上文所论述，图2A的视频编码器20或图2B的视频编码器23的一或多个组件(例如，层间预测单元128)可用于实施本发明中所论述技术中的任一者，例如确定参考层图片的切片是否具有相同切片信息和启用/禁用层间运动预测。

图6是说明根据本发明的另一实施例的用于对视频信息进行译码的方法600的流程图。类似于图5的限制适用于图6的实例，但在这个实例中，实际上由译码器执行层间运动预测。图6中说明的一或多个步骤可由编码器(例如，图2A或图2B中所展示的视频编码器)、解码器(例如，图3A或图3B中所展示的视频解码器)或任何其它组件执行。为方便起见，将方法700描述为由可为编码器、解码器或另一组件的译码器执行。

方法600开始于框601。在框605中，译码器确定参考层图片的切片是否具有相同切片信息。在一个实施例中，切片信息包含与对应切片相关联的参考图片列表。如果译码器确定参考层图片的切片具有相同切片信息，那么所述译码器在框610中通过上取样参考层图片产生具有单一切片的层间参考图片。在框615中，所述译码器将层间参考图片的切片信息设定成等于参考层图片的切片中的一者的切片信息。举例来说，参考层图片的第一切片的切片信息经复制到层间参考图片的单一切片。在框620中，所述译码器使用层间参考图片来对增强层图片(例如，所述增强层中正被译码的当前图片)的至少一部分进行译码(例如，编码或解码)。举例来说，如上文所论述，与层间参考层(例如，参考层图片的经再取样版本)中相对于增强层中的当前块协同定位的块相关联的运动信息可用作时间运动向量预测符(TMVP)。另一方面，如果所述译码器确定参考层图片的切片并不具有相同切片信息，那么方法600在框620处结束。

如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用于实施本发明中论述的技术中的任一者，例如确定参考层图片的切片是否具有相同切片信息、产生层间参考图片、将经再取样参考层图片中的单一切片的切片信息设定成等于参考层图片中的切片中的一者和使用所产生层间参考图片来译码所述增强层。

方法#2：切片信息的修改

替代地，在一个实施例中，为了防止索引值超出范围，参考索引值可经削减到-1至经再取样参考层图片的参考图片列表的最大参考索引值的范围。在一个实施例中，值-1指示在所述特定参考方向(例如，列表0或列表1)上不存在预测。举例来说，单向预测块具有指向单一方向而不是两个方向的运动向量。因此，如果存在两个参考图片列表，那么用于两个方向中的一者的参考索引可为用于单向预测块的-1。

在另一实施例中，在产生经再取样参考层图片之后，修改对应于参考层图片的一切片的块的参考索引值以使得其识别正确参考图片，所述切片具有不同于经再取样参考层图片的单一切片的参考图片列表的参考图片列表。举例来说，切片#1的参考图片列表可为[图片#1、图片#2]，并且切片#2的参考图片列表可为[图片#2、图片#1]。在这种情况下，两个切片的参考图片列表是不同的。但是，在将经再取样参考层图片的单一切片的参考图片列表设定成(例如)切片#1的参考图片列表以用于对应于参考层图片的切片#2的任何块之后，参考索引值0可变成1，并且参考索引值1可变成0来校正由单一切片产生导致的不准确度。

在又一实施例中，通过在时间上缩放所述块的运动向量以使得所述运动向量指向由所述参考索引值和新参考图片列表识别的新参考图片的相关部分来处理参考图片列表的改变。在一个实例中，运动向量可经缩放基于当前图片与原始参考图片之间的时间距离和当前图片与新参考图片之间的时间距离确定的因数。在另一实例中，所述运动向量可基于参考图片的图片次序计数(POC)值进行缩放。

参考图7和8，描述可在参考层图片的切片并不具有相同切片信息的情况下执行的实例译码方法。图7是说明根据本发明的实施例的用于对视频信息进行译码的方法700的流程图。图7中说明的一或多个步骤可由编码器(例如，图2A或图2B中所展示的视频编码器)、解码器(例如，图3A或图3B中所展示的视频解码器)或任何其它组件执行。为方便起见，将方法700描述为由可为编码器、解码器或另一组件的译码器执行。

方法700开始于框701。在框705中，译码器确定参考层图片的切片是否具有相同切片信息。在一个实施例中，切片信息包含与对应切片相关联的参考图片列表。如果译码器确定参考层图片的切片具有相同切片信息，那么所述译码器在框710中通过上取样参考层图片产生具有单一切片的层间参考图片。在框715中，所述译码器将层间参考图片的切片信息设定成等于具有最长参考图片列表的参考层图片的切片中的一者的切片信息。举例来说，切片信息可包含参考图片列表信息，并且参考层图片的第一切片与具有长度5(例如，五个图片)的参考图片列表相关联，并且参考层图片的第二切片与具有长度7(例如，七个图片)的参考图片列表相关联，第二切片的切片信息可经复制到层间参考图片的单一切片。在框720中，所述译码器使用层间参考图片来对增强层图片(例如，所述增强层中正被译码的当前图片)的至少一部分进行译码(例如，编码或解码)。举例来说，如上文所论述，与层间参考层(例如，参考层图片的经再取样版本)中相对于增强层中的当前块协同定位的块相关联的运动信息可用作时间运动向量预测符(TMVP)。另一方面，如果所述译码器确定参考层图片的切片并不具有相同切片信息，那么方法700在框720处结束。

如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用于实施本发明中论述的技术中的任一者，例如确定参考层图片的切片是否具有相同切片信息、产生层间参考图片、将经再取样参考层图片中的单一切片的切片信息设定成等于参考层图片中的切片中具有较长参考图片列表的一者和使用所产生层间参考图片来译码所述增强层。

图8是说明根据本发明的另一实施例的用于对视频信息进行译码的方法800的流程图。虽然图7的实例旨在提供位流约束一致的层间参考层，但图8的实例旨在进一步改善由其所得的译码效率。图8中说明的一或多个步骤可由编码器(例如，图2A或图2B中所展示的视频编码器)、解码器(例如，图3A或图3B中所展示的视频解码器)或任何其它组件执行。为方便起见，将方法700描述为由可为编码器、解码器或另一组件的译码器执行。

方法800开始于框801。在框805中，译码器确定参考层图片的切片是否具有相同切片信息。在一个实施例中，切片信息包含与对应切片相关联的参考图片列表。如果译码器确定参考层图片的切片具有相同切片信息，那么所述译码器在框810中通过上取样参考层图片产生具有单一切片的层间参考图片。在框815中，所述译码器将层间参考图片的切片信息设定成等于参考层图片的切片中的一者的切片信息。举例来说，参考层图片的第一切片的切片信息经复制到层间参考图片的单一切片。在框820中，所述译码器修改与层间参考图片的对应于参考图片的未选切片的一部分相关联的运动信息以校正其中的任何不准确性。举例来说，在此实例中，由于层间参考层的单一切片的切片信息是从参考层图片的第一切片复制的，层间参考图片的对应于参考图片层中的任何其它切片的部分可经历修改过程。如本文所描述，修改过程可包含在时间上缩放所述部分中的运动向量或重新映射参考索引以使得用于所述部分中的参考索引对应于参考图片列表中的正确参考图片。

通过将层间运动预测限定于参考层图片的切片具有相同切片信息(例如，切片类型、参考图片列表等)的情况，可更流畅地实施单一切片层间参考图片的产生，并且可降低或消除与管理层间参考图片中的多个切片相关联的计算复杂度。方法800在框820处结束。

如上文所论述，图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30或图3B的视频解码器33的一或多个组件(例如，层间预测单元128和/或层间预测单元166)可用于实施本发明中论述的技术中的任一者，例如确定参考层图片的切片是否具有相同切片信息、产生层间参考图片、将经再取样参考层图片中的单一切片的切片信息设定成等于参考层图片中的切片中具有较长参考图片列表的一者、修改与层间参考图片相关联的运动信息和使用所产生的层间参考图片来译码增强层。

切片层级信息导出

在一个实施例中，经再取样参考层图片(还被称作层间参考图片)的译码树块(CTB)与产生用于经再取样参考层图片的单一切片相关联。单一切片的切片信息可从对应参考层图片中的任何切片导出。在一个实施例中，将所产生的切片的切片类型和参考图片列表信息设定成等于参考层图片中的特定切片的切片类型和参考图片列表信息。举例来说，所述特定切片可为参考层图片中的第一切片。以下文本可在SHVC工作草案中用作对所述方法的详细实施：

将rsSlice的所述slice_type(num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1)设定成分别等于rlPic的第一切片的slice_type的值：num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。当rsSlice为P或B切片时，对于0至rsSlice的num_ref_idx_l0_active_minus1范围(包含性的)内的i而言，将rsSlice的参考图片列表0中具有索引i的参考图片设定成等于rlPic的第一切片的参考图片列表0中具有索引i的参考图片。当rsSlice为B切片时，对于0至rsSlice的num_ref_idx_l1_active_minus1范围(包含性的)内的i而言，将rsSlice的参考图片列表1中具有索引i的参考图片设定成等于rlPic的第一切片的参考图片列表1中具有索引i的参考图片。

其中，rsPic为经再取样层间参考，rsSlice为rsPic的切片；rlPic为对应参考层图片。

替代实施例

在其它实施例中，即使并非对应参考层图片的所有切片具有相同切片信息(例如，参考图片列表)，仍可执行单一切片层间参考层的产生。在此类实施例中，单一切片的(例如)切片类型可如下经导出：(1)如果对应参考层图片中存在至少一个B切片，那么将经再取样参考层图片的所产生切片的切片类型设定成等于B切片；(2)如果参考层图片中不存在B切片，并且对应参考层图片中存在至少一个P切片，那么将经再取样参考层图片的所产生切片的切片类型设定成等于P切片；以及(3)如果对应参考层图片中既不存在B切片也不存在P切片，那么将经再取样参考层图片的所产生切片的切片类型设定成等于I切片。

同样，在这类实施例中，参考图片列表信息可如下导出：(1)将经再取样参考层图片的所产生切片的指示参考图片列表中参考图片的数目的num_ref_idx_l0_active_minus1设定成等于对应参考层图片中所有切片当中具有最大num_ref_idx_l0_active_minus1值的所述切片；将所产生切片的参考图片列表0设定成等于具有最大num_ref_idx_l0_active_minus1值的同一切片。举例来说，经解码图片缓冲器可具有五个图片，且切片#1可在其参考图片列表中具有两个参考图片，并且切片#2在其参考图片列表中可具有四个参考图片。在这种情况下，切片#2的num_ref_idx_l0_active_minus1较大，因此将产生用于经再取样参考层图片的单一切片的参考图片列表设定成等于参考层图片的切片#2的参考图片列表。

在多个切片具有相同num_ref_idx_l0_active_minus1值的情况下，将经再取样参考层图片的所产生切片的参考图片列表0设定成等于具有最大num_ref_idx_l0_active_minus1值的所有切片当中的具有最小slice_segment_address的切片；(2)将经再取样参考层图片的所产生切片的num_ref_idx_l1_active_minus1设定成等于对应参考层图片中所有切片当中具有最大num_ref_idx_l1_active_minus1值的切片；将经再取样参考层图片的所产生切片的参考图片列表1设定成等于具有最大num_ref_idx_l1_active_minus1值的同一切片。在多个切片具有相同num_ref_idx_l1_active_minus1值的情况下，将所产生切片的参考图片列表1设定成等于具有最大num_ref_idx_l1_active_minus1值的所有切片当中的具有最小slice_segment_address的切片。

规范性编码器约束

如上文所描述，在一些实施方案中，在导出用于当前层(例如，增强层)中的块的TMVP时使用层间参考图片的切片的切片类型和参考图片列表。因此，如果对应参考层图片中的所有切片的切片类型和参考图片列表相同，那么可产生单一切片以用于经再取样参考层图片，并且可从对应参考层中的切片中的任一者导出单一切片的切片信息，因为所述切片的切片信息相同。

因此，在从经再取样参考层图片导出TMVP时，可能需要使参考层图片中的切片的切片信息彼此相同。因此，在一个实施例中，可将限制强加于用于识别协同定位的图片的collocated-ref-idx语法元素上。举例来说，当将经再取样层间参考图片用作用于TMVP导出的协同定位图片时，对应参考层图片中的所有切片将具有相同切片类型、相同参考图片列表0和相同参考图片列表1。如果不满足所述条件中的任一者，那么所述限制可指示此层间参考图片不被用作用于TMVP导出的协同定位图片。

在另一实施例中，限制对于TMVP导出而言可为对应参考层图片中的所有切片将具有相同参考图片列表0和相同参考图片列表1(如果存在)。在此实例中，各切片的切片类型可不同，并且可如上文所描述确定经再取样参考层图片的单一切片的切片类型。如果不满足所述条件，那么限制可指示此层间参考图片不被用作用于TMVP导出的协同定位图片。

信噪比(SNR)可缩放性

就SNR可缩放性来说，参考层和增强层的图片格式信息可相同，并且因此可不需要或可不执行图片再取样过程。在这种情况下，经重构或经解码参考层图片可直接用作增强层的参考图片。当参考层图片和增强层图片的CTB大小不同并且所述参考层图片具有多个切片时，层间参考图片的切片分割边界可不符合CTB边界。因此，可在经重构或经解码参考层图片用作用于TMVP导出的协同定位图片时产生类似问题。因此，在一些实施例中，在启用(或允许执行)层间运动预测之前需要参考层图片的多个切片的切片信息相同的限制还适用于SNR可缩放性的案例。

如上文所描述，可将限制强加于用于识别协同定位图片的collocated_ref_idx语法元素上，所述限制为在层间参考图片(经再取样或未经再取样)用作用于TMVP导出的协同定位图片时，对应参考层图片中的所有切片将具有相同切片类型、相同参考图片列表0和相同参考图片列表1。如果不满足所述条件，那么所述限制可指示此层间参考图片不被用作用于TMVP导出的协同定位图片。在另一实施例中，所述限制仅在参考层图片中存在多个切片并且多个切片的切片类型或参考图片列表不相同且增强层和参考层的CTB大小不同时应用于SNR可缩放性案例。在又一实施例中，所述限制仅在参考层图片中存在多个切片并且多个切片的切片类型或参考图片列表不相同且参考层的CTB大小小于增强层的CTB大小时应用于SNR可缩放性案例。

其它考虑

可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。例如，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示贯穿以上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。

结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于具体应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施方案决策不应被解释为会引起脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。描述为模块或组件的任何特征可一起实施于集成逻辑装置中或分开地实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体和类似物。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传达程序代码并且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、前述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。同时，可以将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件和/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims

1.一种经配置以对视频信息进行译码的设备，所述设备包括：

存储器，其经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层RL图片，并且所述增强层包括对应于所述RL图片的增强层EL图片；和

处理器，其与所述存储器通信，所述处理器经配置以：

通过上取样所述RL图片来产生层间参考图片ILRP，所述ILRP具有与其相关联的单一切片；

将所述ILRP的所述单一切片的切片信息设定成等于所述第一切片的切片信息；和

使用所述ILRP来对所述EL图片的至少一部分进行译码。

2.根据权利要求1所述的设备，其中所述EL图片和所述RL图片位于同一存取单元中。

3.根据权利要求1所述的设备，其中所述单一切片的所述切片信息包括所述单一切片的切片类型和所述单一切片的参考图片列表信息。

4.根据权利要求3所述的设备，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

所述参考图片列表0中的所述参考图片与第一组参考图片索引之间的第一关联；和

参考图片列表1中的参考图片的第二数目；

所述参考图片列表1中的所述参考图片与第二组参考图片索引之间的第二关联。

5.根据权利要求1所述的设备，其中所述设备包括编码器，并且其中所述处理器进一步经配置以编码视频位流中的视频信息。

6.根据权利要求1所述的设备，其中所述设备包括解码器，并且其中所述处理器进一步经配置以解码视频位流中的所述视频信息。

7.根据权利要求1所述的设备，其中所述设备包括选自由以下各者中的一或多者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台以及车载计算机。

8.一种对视频信息进行译码的方法，所述方法包括：

通过上取样参考层中的具有第一切片和第二切片的参考层RL图片来产生层间参考图片ILRP，所述ILRP具有与其相关联的单一切片；

使用所述ILRP来对增强层中的增强层EL图片的至少一部分进行译码。

9.根据权利要求8所述的方法，其中所述EL图片和所述RL图片位于同一存取单元中。

10.根据权利要求8所述的方法，其中所述单一切片的所述切片信息包括所述单一切片的切片类型和所述单一切片的参考图片列表信息。

11.根据权利要求10所述的方法，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

12.一种非暂时性计算机可读媒体，其包括在执行时使设备执行包括以下操作的过程的代码：

存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层RL图片，并且所述增强层包括对应于所述RL图片的增强层EL图片；

使用所述ILRP来对所述EL图片的至少一部分进行译码。

13.根据权利要求12所述的计算机可读媒体，其中所述EL图片和所述RL图片位于同一存取单元中。

14.一种经配置以对视频信息进行译码的视频译码装置，所述视频译码装置包括：

用于存储与参考层和增强层相关联的视频信息的装置，所述参考层包括具有第一切片和第二切片的参考层RL图片，并且所述增强层包括对应于所述RL图片的增强层EL图片；

用于通过上取样所述RL图片来产生层间参考图片ILRP的装置，所述ILRP具有与其相关联的单一切片；

用于使用所述ILRP来对所述EL图片的至少一部分进行译码的装置。

15.根据权利要求14所述的视频译码装置，其中所述EL图片和所述RL图片位于同一存取单元中。

16.一种经配置以对视频信息进行译码的设备，所述设备包括：

处理器，其与所述存储器通信，所述处理器经配置以：

确定所述第一切片的第一切片信息与所述第二切片的第二切片信息是否相同；和

响应于确定所述第一切片信息与所述第二切片信息相同，启用用于对增强层EL图片的至少一部分进行译码的层间运动预测。

17.根据权利要求16所述的设备，其中所述EL图片和所述RL图片位于同一存取单元中。

18.根据权利要求16所述的设备，其中所述第一切片信息包括所述第一切片的切片类型和所述第一切片的参考图片列表信息，并且所述第二切片信息包括所述第二切片的切片类型和所述第二切片的参考图片列表信息。

19.根据权利要求18所述的设备，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

20.根据权利要求16所述的设备，其中所述处理器进一步经配置以：

将所述单一切片的第三切片信息设定成等于所述第一和第二切片信息中的一者；和

使用所述ILRP来对所述EL图片的至少一部分进行译码。

21.根据权利要求16所述的设备，其中所述设备包括编码器，并且其中所述处理器进一步经配置以编码视频位流中的所述视频信息。

22.根据权利要求16所述的设备，其中所述设备包括解码器，并且其中所述处理器进一步经配置以解码视频位流中的所述视频信息。

23.根据权利要求16所述的设备，其中所述设备包括选自由以下各者中的一或多者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台以及车载计算机。

24.一种对视频信息进行译码的方法，所述方法包括：

确定参考层RL图片的第一切片的第一切片信息与所述RL图片的第二切片的第二切片信息是否相同；和

25.根据权利要求24所述的方法，其中所述EL图片和所述RL图片位于同一存取单元中。

26.根据权利要求24所述的方法，其中所述第一切片信息包括所述第一切片的切片类型和所述第一切片的参考图片列表信息，并且所述第二切片信息包括所述第二切片的切片类型和所述第二切片的参考图片列表信息。

27.根据权利要求26所述的方法，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

28.根据权利要求24所述的方法，其进一步包括：

使用所述ILRP来对所述EL图片的至少一部分进行译码。

29.一种经配置以对视频信息进行译码的设备，所述设备包括：

处理器，其与所述存储器通信，所述处理器经配置以：

响应于确定所述第一切片信息与所述第二切片信息不相同，禁用用于对所述EL图片进行译码的层间运动预测。

30.根据权利要求29所述的设备，其中所述EL图片和所述RL图片位于同一存取单元中。

31.根据权利要求29所述的设备，其中所述第一切片信息包括所述第一切片的切片类型和所述第一切片的参考图片列表信息，并且所述第二切片信息包括所述第二切片的切片类型和所述第二切片的参考图片列表信息。

32.根据权利要求31所述的设备，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

33.根据权利要求29所述的设备，其中所述设备包括编码器，并且其中所述处理器进一步经配置以编码视频位流中的所述视频信息。

34.根据权利要求29所述的设备，其中所述设备包括解码器，并且其中所述处理器进一步经配置以解码视频位流中的所述视频信息。

35.根据权利要求29所述的设备，其中所述设备包括选自由以下各者中的一或多者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台以及车载计算机。

36.一种对视频信息进行译码的方法，所述方法包括：

响应于确定所述第一切片信息与所述第二切片信息不相同，禁用用于对对应于所述RL图片的增强层EL图片进行译码的层间运动预测。

37.根据权利要求36所述的方法，其中所述EL图片和所述RL图片位于同一存取单元中。

38.根据权利要求36所述的方法，其中所述第一切片信息包括所述第一切片的切片类型和所述第一切片的参考图片列表信息，并且所述第二切片信息包括所述第二切片的切片类型和所述第二切片的参考图片列表信息。

39.根据权利要求38所述的方法，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

40.一种经配置以对视频信息进行译码的设备，所述设备包括：

处理器，其与所述存储器通信，所述处理器经配置以：

确定所述第一切片的切片类型与所述第二切片的切片类型是否不同；和

响应于确定所述第一切片的所述切片类型与所述第二切片的所述切片类型不同：

如果所述第一和第二切片中的至少一者为B切片，那么将所述ILRP的所述单一切片的切片类型设定成等于B切片；

如果所述第一和第二切片中的至少一者为P切片并且所述第一和第二切片均不为B切片，那么将所述ILRP的所述单一切片的所述切片类型设定成等于P切片；和

如果所述第一和第二切片均为I切片，那么将所述ILRP的所述单一切片的所述切片类型设定成等于I切片。

41.根据权利要求40所述的设备，其中所述EL图片和所述RL图片位于同一存取单元中。

42.根据权利要求40所述的设备，其中所述设备包括编码器，并且其中所述处理器进一步经配置以编码视频位流中的所述视频信息。

43.根据权利要求40所述的设备，其中所述设备包括解码器，并且其中所述处理器进一步经配置以解码视频位流中的所述视频信息。

44.根据权利要求40所述的设备，其中所述设备包括选自由以下各者中的一或多者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台以及车载计算机。

45.一种对视频信息进行译码的方法，所述方法包括：

46.根据权利要求45所述的方法，其中所述EL图片和所述RL图片位于同一存取单元中。

47.一种经配置以对视频信息进行译码的设备，所述设备包括：

处理器，其与所述存储器通信，所述处理器经配置以：

将所述ILRP的所述单一切片的切片信息设定成等于所述第一切片的切片信息；

修改与对应于所述RL图片的所述第二切片的所述ILRP的一部分相关联的运动信息来校正其中的不准确性；和

使用所述ILRP来对所述EL图片的至少一部分进行译码。

48.根据权利要求47所述的设备，其中所述EL图片和所述RL图片位于同一存取单元中。

49.根据权利要求47所述的设备，其中所述单一切片的所述切片信息包括所述单一切片的切片类型和所述单一切片的参考图片列表信息。

50.根据权利要求49所述的设备，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

51.根据权利要求47所述的设备，其中所述运动信息包含第一运动向量和第一参考索引，并且其中修改所述运动信息包括至少部分地基于与所述RL图片的所述第一切片相关联的第一参考图片列表中具有等于所述第一参考索引的参考索引的第一参考图片和与所述RL图片的所述第二切片相关联的第二参考图片列表中具有等于所述第一参考索引的参考索引的第二参考图片在时间上缩放所述第一运动向量。

52.根据权利要求47所述的设备，其中所述运动信息包含运动向量和参考索引，并且其中修改所述运动信息包括修改所述参考索引，以使得所述经修改参考索引识别与所述RL图片的所述第二切片相关联的参考图片列表中具有等于所述经修改参考索引的参考索引的参考图片。

53.根据权利要求47所述的设备，其中所述设备包括编码器，并且其中所述处理器进一步经配置以编码视频位流中的所述视频信息。

54.根据权利要求47所述的设备，其中所述设备包括解码器，并且其中所述处理器进一步经配置以解码视频位流中的所述视频信息。

55.根据权利要求47所述的设备，其中所述设备包括选自由以下各者中的一或多者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台以及车载计算机。

56.一种对视频信息进行译码的方法，所述方法包括：

使用所述ILRP来对对应于所述RL图片的增强层EL图片的至少一部分进行译码。

57.根据权利要求56所述的方法，其中所述EL图片和所述RL图片位于同一存取单元中。

58.根据权利要求56所述的方法，其中所述单一切片的所述切片信息包括所述单一切片的切片类型和所述单一切片的参考图片列表信息。

59.根据权利要求58所述的方法，其中参考图片列表信息包括：

参考图片列表0中的参考图片的第一数目；

参考图片列表1中的参考图片的第二数目；

60.根据权利要求56所述的方法，其中所述运动信息包含第一运动向量和第一参考索引，并且其中修改所述运动信息包括至少部分地基于与所述RL图片的所述第一切片相关联的第一参考图片列表中具有等于所述第一参考索引的参考索引的第一参考图片和与所述RL图片的所述第二切片相关联的第二参考图片列表中具有等于所述第一参考索引的参考索引的第二参考图片在时间上缩放所述第一运动向量。

61.根据权利要求56所述的方法，其中所述运动信息包含运动向量和参考索引，并且其中修改所述运动信息包括修改所述参考索引，以使得所述经修改参考索引识别与所述RL图片的所述第二切片相关联的参考图片列表中具有等于所述经修改参考索引的参考索引的参考图片。