CN105009589A - 用于视频信息的可缩放译码的装置和方法 - Google Patents

Abstract

一种经配置以对视频信息进行译码的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元经配置以存储与参考层RL和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分。所述处理器经配置以确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。所述处理器可对所述视频信息进行编码或解码。

Description

用于视频信息的可缩放译码的装置和方法

技术领域

本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码(SVC)或多视图视频译码(MVC，3DV)。

背景技术

数字视频能力可以并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。

发明内容

可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))及一或多个可缩放增强层(EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持(举例来说)较高的空间、时间和/或信噪比(SNR)水平。可相对于先前编码的层来界定增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下方的层(例如，基础层或任何介入增强层)的EL，且同时充当在其上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。

在SVC中，可以使用基础层中的对应块(例如，对应于与当前块相同的图片部分的块)的信息来预测增强层中的当前块。举例来说，当前块的纹理信息(例如，像素或样本值)或语法信息(例如，例如运动向量的运动信息或例如帧内模式的模式信息)可以基于基础层中的对应块。

然而，举例来说，当经译码帧大小大于装置上可显示的实际帧大小时，或者当基础层是用另一视频标准译码(例如，增强层与HEVC兼容，但基础层不与HEVC兼容)时，基础层的对应块可能位于基础层帧外部。在此类情境中，在经修剪图片外部的基础层部分的信息(例如，基础层图片根据显示器尺寸或一致性修剪窗被修剪)可能不可用于预测增强层中的当前块。

处理基础层信息的此不可用性的一种方式是不允许使用经修剪图片外部(例如，一致性修剪窗外部)的任何信息。然而，在一些情况下，经修剪图片外部的信息可能是可用的(例如，增强层和基础层两者都遵循HEVC设计)。在此些情况下，完全不允许使用经修剪图片外部的信息，可能会导致译码效率降低。因此，通过选择性地赋能使用经修剪图片外部的信息(例如，仅仅在基础层是由符合HEVC的编解码器译码时)，可以改善译码效率。

本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。

在一个实施例中，一种经配置以对视频信息进行译码(例如，编码或解码)的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与参考层(RL)和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分。所述处理器经配置以确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。

在一个实施例中，一种对视频信息进行译码(例如，编码或解码)的方法包括：存储与参考层(RL)和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。

在一个实施例中，一种非暂时性计算机可读媒体包括当经执行时使设备执行过程的代码。所述过程包含：存储与参考层RL和增强层相关联的视频信息，所述RL包括(RL)图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。

在一个实施例中，一种经配置以对视频信息进行译码的视频译码装置包括：用于存储与参考层(RL)和增强层相关联的视频信息的装置，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及用于确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块的装置。

附图说明

图1是说明可利用根据本发明中描述的方面的技术的视频编码及解码系统的实例的框图。

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。

图4是说明基础层和增强层中的多个帧的图。

图5是说明根据本发明的一个实施例的对视频信息进行译码的方法的流程图。

图6是说明根据本发明的一个实施例的对视频信息进行译码的方法的流程图。

具体实施方式

本文中描述的某些实施例涉及在高级视频编解码器的情况下的针对例如HEVC(高效率视频译码)的可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。

在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和有关技术。虽然本文中在HEVC和/或H.264标准的情况下描述某些实施例，但所属领域的一般技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。例如，本文中揭示的实施例可适用于以下标准中的一或多者：ITU-T H.261、ISO/IECMPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

在许多方面，HEVC总体上遵循先前视频译码标准的框架。HEVC中的预测的单元不同于某些先前视频译码标准中的预测单元(例如，宏块)。实际上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块：译码单元(CU)、预测单元(PU)及变换单元(TU)。CU可指区分裂的基本单元。可考虑CU类似于宏块的概念，但其不限制最大大小，且可允许递归分裂成四个相等大小CU以改善内容适应性。可将PU视为帧间/帧内预测的基本单元，且其可在单一PU中含有多个任意形状分区以有效地对不规则图像模式进行译码。可将TU视为变换的基本单元。可独立于PU来对其定义；然而，其大小可能限于TU属于的CU。这样将块结构分成三个不同概念，可允许每一者根据其作用被优化，这样可以使得译码效率得到改善。

仅出于说明的目的，用仅包含两个层(例如，比如基础层等较低层级层，和比如增强层等较高层级层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层和/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术语“帧”或“块”。然而，这些术语不希望是限制性的。举例来说，下文描述的技术可供任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)使用。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有亮度和色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的信息的数量太过巨大以致不可能实现实时图像发射。为了减少待发射的信息的量，已开发出例如JPEG、MPEG及H.263标准等数个不同压缩方法。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。

此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。对HEVC草案10的完全引用为布罗斯(Bross)等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本规范草案10(High Efficiency Video Coding(HEVC)Text Specification Draft 10)”，ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日。

下文参考附图更充分地描述新颖系统、设备和方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。尽管提及了优选方面的一些益处和优点，但本发明的范围并不希望限于特定益处、用途或目标。实际上本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不具有限制性，本发明的范围由所附权利要求书及其等效物界定。

附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”，等)开始的元件未必暗示所述元件具有特定顺序。确切地说，此些序数词仅用于指代相同或类似类型的不同元件。

视频译码系统

图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码及视频解码。

如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。目的地装置14可对由源装置12产生的经编码视频数据进行解码。源装置12和目的地装置14可包括多种多样的装置，包含台式计算机、笔记本(例如，膝上型等)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-car computer)或其类似者。在一些实例中，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可能形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它装备。

在另一实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取所述存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适的数字存储媒体。在另一实例中，信道16可包含文件服务器或存储由源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载而存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站等)、FTP服务器、网络附接存储(NAS)装置，和本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接等)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可以是流式发射、下载发射或两者的组合。

本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式传输视频发射(例如，HTTP动态自适应流式传输(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形系统等来源，或这些来源的组合。

视频编码器20可经配置以对所俘获的、预先俘获的或计算机生成的视频数据进行编码。经编码视频数据可经由源装置12的输出接口22直接发射到目的地装置14。还可将经编码视频数据存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或回放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码视频数据。经编码视频数据可包含由视频编码器20产生的表示视频数据的多种语法元素。所述语法元素可描述块及其它经译码单元(例如，图片群组(GOP))的特性和/或处理。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可以根据其它专有或业界标准来操作，所述标准例如ITU-T H.264标准，替代地被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。

尽管图1的实例中未展示，但视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

同样，图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，或其类似者。编码装置可对数据进行编码且将数据存储到存储器，和/或解码装置可从存储器检索数据且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地将数据编码到存储器和/或从存储器检索数据且对数据进行解码的装置执行编码及解码。

视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施所述技术时，装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。虽然在图1的实例中将视频编码器20和视频解码器30示出为在分开的装置中实施，但是本发明不限于此配置，且视频编码器20和视频解码器30可以在相同装置中实施。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

如上文简要提及，视频编码器20对视频数据进行编码。视频数据可包括一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20对视频数据进行编码时，视频编码器20可以产生位流。位流可包含形成视频数据的经译码表示的一连串位。位流可包含经译码图片及相关联的数据。经译码图片为图片的经译码表示。

为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、自适应参数集和其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或更多个图片的参数。自适应参数集(APS)可含有适用于零个或更多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。

为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等前述标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树块的视频块分割成与CU相关联的像素块(因此名称为“树块”)。

在一些实例中，视频编码器20可将一图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。

作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。

为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描顺序对切片中的树块执行编码操作(即，编码)。举例来说，视频编码器20可按如下顺序来对切片的树块进行编码：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已对切片中的树块的每一者进行了编码为止。

根据光栅扫描顺序对树块进行编码的结果是，可能已经对特定树块的上方及左方的树块进行编码，但尚未对给定树块的下方及右方的树块进行编码。因此，当对给定树块进行编码时，视讯编码器20可能能够存取通过对给定树块的上方和左方的树块进行编码而产生的信息。然而，当对给定树块进行编码时，视频编码器20可能不能够存取通过对给定树块的下方和右方的树块进行编码而产生的信息。

为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。经分割CU可为视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块的形状可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64个像素或更大的树块的视频块的大小(例如，树块的大小)。

视频编码器20可根据z扫描顺序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可对左上CU、右上CU、左下CU和接着右下CU按所述顺序进行编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描顺序对与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着是与右下子块相关联的CU按所述顺序进行编码。

根据z扫描顺序对树块的CU进行编码的结果是，可能已经对给定CU的上方、左上方、右上方、左方的左下方的CU进行编码。尚未对给定CU的右下方的CU进行编码。因此，当对给定CU进行编码时，视频编码器20可能能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。然而，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其他CU进行编码而产生的信息。

当视频编码器20对未分割的CU进行编码时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的经预测视频块。

当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，则CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或多个图片的经解码样本产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，则所述CU为经帧间预测的CU。

此外，当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可产生所述PU的运动信息。PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的经预测视频块。

在视频编码器20产生CU的一或多个PU的经预测视频块之后，视频编码器20可基于CU的所述PU的经预测视频块产生所述CU的残余数据。CU的残余数据可指示CU的PU的经预测视频块中的样本与CU的原始视频块之间的差异。

此外，作为对未分割的CU执行编码操作的一部分，视频编码器20可对CU的残余数据执行递回四叉树分割以将CU的残余数据分割成与CU的变换单元(TU)相关联的一或多个残余数据块(例如，残余视频块)。CU的每一TU可与不同残余视频块相关联。

视频译码器20可对与TU相关联的残余视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可以减小与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何与所述CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20对变换系数块进行量化之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应性二进制算术译码(CABAC)操作等熵编码操作应用于这些语法元素中的一些。还可使用例如内容自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。

由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示和含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与通过视频编码器20执行以产生语法元素的过程大体上相反。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行逆量化。视频解码器30可对变换系数块执行逆变换以重构与CU的TU相关联的残余视频块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块和残余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。

视频编码器

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测单元100可经配置以执行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包括任选层间预测单元128，其经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测单元100(例如，帧间预测单元121和/或帧内预测单元126)执行，在此情况下可省略层间预测单元128。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。

视频编码器20可对视频切片内的视频块执行帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测单元100、残余产生单元102、变换单元104、量化单元106、逆量化单元108、逆变换单元110、重构单元112、滤波单元113、经解码图片缓冲器114及熵编码单元116。预测单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126和层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2的实例中分开来表示。

视频编码器20可以接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(图1)或另一源接收视频数据。视频数据可表示一系列图片。为对视频数据进行编码，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的一部分，视频编码器20可对切片中的树块执行编码操作。

作为对树块执行编码操作的一部分，预测单元100可对树块的视频块执行四叉树分割以将所述视频块划分成越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。

与CU相关联的视频块的大小范围可从8×8个样本直到最大64×64个样本或更大的树块大小。在本发明中，“NxN”及“N乘N”可互换使用来指代在垂直及水平尺寸方面的视频块的样本尺寸，例如，16x16样本或16乘16样本。一般来说，16x16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，N×N块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树块执行编码操作的一部分，预测单元100可产生所述树块的层级式四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测单元100将树块的视频块分割成四个子块，那么根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。例如，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地界定，且可取决于所述CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。

视频编码器20可对树块中的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。

作为对CU执行编码操作的一部分，预测单元100可在CU的一或多个PU之间分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，则视频编码器20及视频解码器30可支持2Nx2N或NxN的PU大小，及2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测单元100可执行几何分割以沿并不按直角与CU的视频块的侧部会合的边界在CU的PU间分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帧间预测视频块。

切片可为I切片、P切片或B切片。运动估计单元122及运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU是经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。

如果PU在P切片中，则含有所述PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引，以及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以变化的精度产生运动向量。举例来说，运动估计单元122可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精度的条件下，参考块值可从整数位置样本值内插在参考图片中。运动估计单元122可输出参考索引及运动向量输出作为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。

如果PU处于B切片中，那么含有PU的图片可与被称作“列表0”及“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。

此外，如果PU在B切片中，则运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1中的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引，以及指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。

当运动估计单元122针对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图片的参考索引和指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息而用信号表示PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在用信号表示第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少位用信号表示第二PU的运动信息。

如下文参看图5和6进一步论述，预测单元100可经配置以通过执行图5和6中说明的方法对PU(或任何其它增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或单独执行图5和6中说明的方法。

作为对CU执行编码操作的一部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片以及B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左方，假定对于PU、CU及树块采用从左到右、从上到下的编码顺序。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。

预测单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测单元100基于预测数据集合的速率/失真度量来选择用于PU的预测数据。

如果预测单元100选择由帧内预测单元126产生的预测数据，那么预测单元100可用信号表示用于产生PU的预测数据的帧内预测模式，例如选定帧内预测模式。预测单元100可以各种方式用信号表示选定帧内预测模式。举例来说，有可能选定帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测单元100可产生用以指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元128利用预测方法减少层间冗余，借此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的位于相同位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。

在预测单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差。另外，CU的残余数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。

预测单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未分割残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可基于或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。

变换单元104可通过将一或多个变换应用于与CU的每一TU相关联的残余视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换单元104可将各种变换应用于与TU相关联的残余视频块。举例来说，变换单元104可将离散余弦变换(DCT)、方向性变换或概念上类似的变换应用于与TU相关联的残余视频块。

在变换单元104产生与TU相关联的变换系数块之后，量化单元106可对所述变换系数块中的变换系数进行量化。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的变换系数块进行量化。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率及失真度量的树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关联。

逆量化单元108和逆变换单元110可分别将逆量化及逆变换应用于变换系数块以从变换系数块重构残余视频块。重构单元112可将经重构残余视频块添加到来自由预测单元100产生的一或多个经预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。

在重构单元112重构CU的视频块之后，滤波单元113可执行解块操作以减少与所述CU相关联的视频块中的成块假象。在执行所述一或多个解块操作之后，滤波单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有所述经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可以执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。

作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计。在CABAC的上下文中，术语“二进制数”用于指语法元素的二进制化版本的位。

视频解码器

图3是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测单元152(例如，运动补偿单元162和/或帧内预测单元164)执行，在此情况下可省略层间预测单元166。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测单元152、逆量化单元154、逆变换单元156、重构单元158、滤波单元159及经解码图片缓冲器160。预测单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与关于图2的视频编码器20描述的编码遍次相反的解码遍次。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。

视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。对位流执行剖析操作的结果是，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测单元152、逆量化单元154、逆变换单元156、重构单元158及滤波单元159可执行重构操作，重构操作基于从位流提取的语法元素产生经解码视频数据。

如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取序列参数集且对序列参数集进行熵解码、从图片参数集NAL单元提取图片参数集且对图片参数集进行熵解码、从SEI NAL单元提取SEI数据且对SEI数据进行熵解码等等。

另外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取经译码切片且对所述经译码切片进行熵解码。经译码切片中的每一者可包含切片标头及切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的一部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未分割CU执行剖析操作之后，视频解码器30可对未分割的CU执行重构操作。为对未分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。

作为对TU执行重构操作的一部分，逆量化单元154可对与TU相关联的变换系数块进行逆量化(例如，解量化)。逆量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的逆量化过程的方式对变换系数块进行逆量化。逆量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应用的逆量化的程度。

在逆量化单元154对变换系数块进行逆量化之后，逆变换单元156可产生用于与变换系数块相关联的TU的残余视频块。逆变换单元156可将逆变换应用于变换系数块以便产生所述TU的残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可以基于来自视频编码器20的信令来确定要应用于变换系数块的逆变换。在此些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元156可应用级联的逆变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而优化PU的经预测视频块。用于将用于以子样本精度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据接收到的语法信息确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。

如以下参考图5和6进一步论述，预测单元152可通过执行图5和6中说明的方法来对PU(或任何其它增强层块或视频单元)进行译码(例如，编码或解码)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开来执行图5和6说明的方法。

如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。

如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，借此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的处于相同位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。

重构单元158可使用与CU的TU相关联的残余视频块以及CU的PU的经预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生经预测视频块及残余视频块，且可基于经预测视频块及残余视频块而产生视频块。

在重构单元158重构CU的视频块之后，滤波单元159可执行解块操作以减少与所述CU相关联的成块假象。在滤波单元159执行解块操作以减少与所述CU相关联的成块假象后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片用于随后运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测。

基础层(或参考层)的经译码帧和实际帧

图4说明增强层400和参考层430的多个帧大小的实例。参考层430可以包含实际帧大小434和经译码帧大小436。实际帧大小434可以由参数集中指定的一致性修剪窗定义或由显示装置的显示器大小定义。因此，实际帧大小434可以表示参考层430中经修剪以配合实际帧大小434的图片的大小。经译码帧大小436可以通过参考层430的最小译码单元(SCU)432的大小确定。如图4中所示，经译码帧大小436可以是SCU 432的整数倍。

如上文所论述，可以使用参考层430中的信息来预测一或多个增强层。此增强层的一个实例是图4中说明的增强层400。与增强层400相关联的帧大小可以包含实际帧大小412和经译码帧大小416。此外，说明了介于实际帧大小412与经译码帧大小416之间的另一帧大小，其表示参考层430的经译码帧大小的经上取样版本436。如图4中所示，经译码帧大小436可以是增强层400的SCU 422的大小的整数倍。

实际帧大小412与经上取样参考层帧大小414之间的区域418可以包含对应于参考层430的区域438的视频块(例如，译码单元)，区域438位于参考层430的实际帧大小434之外。如下文更详细地论述，与区域438相关联的信息可能可用于或者可能不可用于预测增强层400(例如，区域418中的视频块)。如果区域438中的信息可用于预测增强层400，则可以使用此信息来预测区域418中的视频块。如图4中所示，经上取样参考层帧大小414与经译码帧大小416之间的区域420可能在参考层430中没有任何对应区域。

在一些实施方案中，实际帧大小434(例如，经修剪图片，其在本发明中有时用于指代实际帧或实际帧大小)和经译码帧大小436(例如，经解码图片，其在本发明中有时用于指代经译码帧或经译码帧大小)可以是相同的。

在一个实施例中，实际帧大小434(例如，经修剪图片的大小)可以通过输入到译码器(例如，编码器或解码器)的视频数据确定，或者通过译码器或显示装置设置。举例来说，如果译码器将输出的参考层图片是33像素乘33像素，则实际帧大小434将为33像素乘33像素。此外，如果对于参考层430而言最小译码单元是8像素乘8像素，则将使用5个SCU在垂直方向上和水平方向上覆盖实际帧大小(5×8＝40，因为4×8＝32将缺少1个像素)。因此，在这个实例中，经译码帧大小416将为40像素乘40像素。因此，在垂直方向和水平方向两者上，存在在实际帧大小434外部的7像素边缘(例如，阴影区域438)。

经修剪图片外部的参考层位置

在HEVC扩展的一个实施例中，可以使用参考层中的对应块的信息来预测增强层纹理或语法(例如，运动场或帧内模式)。举例来说，这里使用的“对应块”(或子块或像素位置)可指代处于相同位置的块(例如，相对于增强层块处于相同位置的参考层块，这两个块对应于相应层中的图片的相同元素)，相邻块(例如，邻近于处于相同位置的块的一个块)，或通过译码器(例如，编码器或解码器)确定的任何其它块。在一个实施例中，层间纹理预测是指使用参考层纹理信息(例如，像素或样本值)预测增强层纹理信息的过程，且层间语法预测是指使用参考层语法元素(例如，运动向量、参考索引、预测模式等)预测增强层语法元素的过程。举例来说，语法信息可以指非纹理或非像素信息。此外，可使用具有超过一个二进制状态(使得其可以具有除了例如0或1的仅两个值之外的值)的语法元素来进行指示而不是旗标。这里使用的术语“旗标”总体上是指旗标以及此类语法元素。此外，在本发明中，层图片也可被称作层分量。类似地，参考层图片也可被称作参考层分量。

如图4中所说明，在某些情境中，参考层的对应于当前块(例如，增强层中的目前预测的块)的区域可以位于参考层帧外部。在一个实例中，在经译码帧大小大于可能在显示装置上显示的实际帧大小时，可能会发生这种情况。在另一实例中，当增强图片的边界填补大小大于参考层图片的边界填补大小时，可能会发生此情形。参考层和增强层的不同边界填补大小可能是通过特定的编码器设置引入的。这也可能是由于参考层和增强层的不同最小译码单元(SCU)大小。在一些译码方案(例如，HEVC)中，经译码帧大小可以与SCU大小对准(帧大小是SCU的整数倍)，并且因此，如果增强层的SCU大于参考层的SCU，则对于增强层帧的一些部分可能不存在语法信息。如图4中所示，增强层SCU422和参考层SCU 432的不同大小可能使得增强层400的一部分在可从其获得运动信息或像素信息以进行层间预测的参考层430中不具有对应区。在另一实例中，当参考层是根据除了用于增强层的视频标准(例如，HEVC)之外的视频标准(例如，AVC或MPEG2)译码时，可能发生参考层信息的不可用性。

在此些情境中(例如，当对应于增强层中的当前块的参考层块或像素位置位于经修剪图片外部时)，译码器(例如，编码器或解码器)无法存取经修剪图片外部的参考层部分，因为所述部分不是由(举例来说)已经对参考层进行解码的解码器输出的，且因此无法用于预测增强层中的当前块。因此，在一些实施方案中，可以将经修剪图片外部的区域标记为不可供译码器(例如，编码器或解码器)使用，且因此不将所述区域用于对增强层的层间预测(或任何预测)。举例来说，增强层中的当前块可以是基于从参考层中的经修剪图片的经上取样和/或经填补版本(其由解码器输出且因而可用于预测增强层)导出的信息译码(例如，编码或解码)的，或者是基于从经修剪图片内部的另一块导出的信息译码(例如，编码或解码)的。

然而，在某些场景中，即使参考层的对应于增强层中的当前块的区域位于经修剪图片外部，此参考层块的信息也可以用于对当前块的层间预测。举例来说，如果参考层和增强层两者都与HEVC兼容，则完整的经解码图片(例如，图4中的436)可供译码器(例如，编码器或解码器)使用，从而使得译码器可以使用参考层块的信息来预测增强层中的当前块。举例来说，当对当前层图片(例如，增强层图片)进行解码时，经解码参考层图片中的所有区、包含经修剪图片(或一致性修剪窗口)外部的那些区的经解码样本以及相关语法和变量(例如，运动信息)都可供解码过程使用和存取。在另一实例中，即使当参考层不遵循增强层的HEVC设计或译码方案(例如，参考层与AVC兼容，而增强层与HEVC兼容)时，经修剪图片外部的信息仍然可供解码过程使用或存取。在此些场景中，仅仅因为参考层的区域在经修剪图片外部就将所述经修剪图片外部的区域标记成不可使用，可能会导致译码效率降低。因此，通过选择性地赋能对经修剪图片外部的此区域的使用(例如，根据是经修剪图片还是完整的经解码图片可供译码器使用)，可以改善译码效率。

因此，在下面的部分中，描述根据本发明的实例实施例可以如何赋能对经修剪图片外部的信息的使用(例如，指示其可供使用)。

基于参考层编解码器确定经修剪图片外部的信息的可用性

在一些现有译码方案中，参考层编解码器可以是HEVC或H.264/AVC或通用非HEVC编解码器。此外，参数集中可能有指示有待使用的编解码器的旗标。举例来说，视频参数集(VPS)中的旗标可以指示是使用HEVC还是AVC对参考层进行译码。在一个实例中，旗标avc_base_layer_flag可以具有等于1的值，这指示参考层编解码器符合根据ITU-T H.264规范|国际标准ISO/IEC 14496-10的视频译码标准，并且替代地，可以具有等于0的值，这指示参考层编解码器符合HEVC规范。因此，经配置以对增强层进行编码或解码的译码装置可以具有关于相对于参考层是使用AVC还是HEVC的信息。

在一个实施例中，可用于预测增强层的层间预测方法可以取决于参考层编解码器是否符合特定译码方案。特定译码方案可以是任何可以指示经修剪图片外部的参考层信息是否可供使用的预定译码方案。在一个实例中，所述特定译码方案是HEVC。在此实例中，用于对增强层进行译码的层间预测方法可以取决于参考层编解码器是否符合HEVC。举例来说，所述译码器可以使用上文所论述的编解码器信息来检查使用的是哪个参考层编解码器，并且如果参考层编解码器符合HEVC，则译码器(例如，编码器或解码器)可以基于从参考层获得的信息来预测增强层，即使对于增强层的对应于经修剪图片外部的参考层区域的部分(例如，块或译码单元)也是如此。另一方面，如果参考层编解码器不符合HEVC，则译码器(例如，编码器或解码器)可以使用填补来预测增强层的对应于经修剪图片外部的参考层区域的那些部分。

在一个实施例中，使用旗标来用信号表示参考层编解码器是否符合预定义的译码方案。在一个实施例中，可以用信号表示旗标using_cropped_reference_layer_flag来指示是否要使用参考层中的经修剪图片。举例来说，如果旗标的值是1，则可以使用经修剪图片来预测增强层(例如，可能不使用经修剪图片外部的信息)。另一方面，如果旗标的值是0，则可以使用经解码图片来预测增强层。在一个实施例中，一旦确定了可以使用哪个图片(例如，经修剪图片或经解码图片)来预测增强层，就可以执行可能适合于预测增强层的任何上取样和/或填补。

在一个实施例中，旗标using_cropped_reference_layer_flag控制层间纹理预测和层间语法预测两者。在一个实例中，如果旗标的值是1，则对层间纹理预测和层间语法预测两者使用经修剪图片。如果旗标是0，则对层间纹理预测和层间语法预测两者使用经解码图片。

在另一实施例中，针对层间纹理预测和层间语法预测用信号表示分开的旗标。举例来说，可以使用用于层间纹理预测的旗标using_cropped_reference_layer_texture_flag和用于层间语法预测的using_cropped_reference_layer_syntax_flag来指示是否可以基于参考层中的经修剪图片外部的信息来执行层间纹理预测和/或层间语法预测。

通过对于层间纹理预测和层间语法预测使用分开的旗标，可以选择性地执行层间纹理预测或层间语法预测，并且可以改善译码灵活性和/或译码效率。

在一个实施例中，指示是否可对层间纹理和/或语法预测使用参考层的经解码图片的旗标的值可以取决于参考层编解码器。举例来说，如果参考层是根据HEVC规范译码的，则可对层间纹理和语法预测使用完整的经解码图片。在一个实施例中，可以基于参考层编解码器设置和用信号表示一或多个旗标。在另一实施例中，可以跳过用信号表示旗标，并且可以(例如，从参考编解码器)推断旗标的适当值。举例来说，可以使用上文所论述的旗标avc_base_layer_flag来确定参考层编解码器是符合根据ITU-T H.264规范|国际标准ISO/IEC 14496-10的视频译码标准还是符合HEVC规范。

在一个实施例中，如果参考层是用H.264/AVC译码的，则仅可对层间纹理和语法预测使用参考层的经修剪图片。在另一实施例中，如果参考层是用H.264/AVC译码的，则仅可以执行层间纹理预测(例如，仅使用经修剪图片)，并且不可以执行层间语法预测。在一个实施例中，可以跳过用信号表示用于语法预测的旗标，并且可以从另一旗标(例如，avc_base_layer_flag)推断语法旗标值，或者假设语法旗标值被停用(例如，等于0)。

图5是说明根据本发明的实施例的用于对视频信息进行译码的方法500的流程图。图5中说明的步骤可以由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件来执行。为方便起见，将方法500描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。

方法500开始于框501。在框505中，译码器确定增强层中的当前块是否对应于参考层中的经修剪图片(例如，输出区或实际帧)外部的部分。参考层的对应于当前块的部分可以完全在经修剪图片外部或者部分地在经修剪图片外部。如果译码器确定当前块不对应于经修剪图片外部的部分，则方法在框525处结束。另一方面，如果译码器确定当前块对应于经修剪图片外部的部分，则译码器前进到框510。在框510中，译码器确定是否一个条件指示经修剪图片外部的信息可用于预测当前块。在一个实施例中，当参考层是通过符合预定义译码标准(例如，HEVC)的编解码器译码时，满足此条件。在另一实施例中，所述条件可包括指示经修剪图片外部的信息是否可用于预测当前块的旗标。在解码器的实例中，解码器可以检查以寻找已编码到位流中的特殊旗标(例如，在一个实例中，编码器可经配置以用信号表示此旗标，以指示是否可使用经修剪图片外部的信息进行层间预测)。替代地，解码器可以检查现有旗标或参数。类似地，编码器可以在确定是否使用经修剪图片外部的信息时处理特殊旗标，所述特殊旗标指示是否满足所述条件，或者检查现有旗标或参数。编码器或解码器还可检查一个以上旗标或参数(例如，层ID、编解码器类型等)。如果译码器确定满足所述条件，则在框515中译码器可以使用经修剪图片外部的信息来预测增强层中的当前块。在一个实施例中，译码器使用经修剪图片外部的信息来预测当前图片。在另一实施例中，译码器不使用经修剪图片外部的信息来预测当前图片。举例来说，译码器使用由另一参考索引定义的另一参考图片来预测当前块。在另一实例中，译码器可以使用帧内模式来预测当前块。举例来说，译码器可以比较用于当前块的多个不同预测符，并且选择得到最高译码效率(或某个其它性能参数)的一个预测符。在一个实施例中，预测涉及层间纹理预测。在另一实施例中，预测涉及层间语法预测。在又一实施例中，预测涉及层间纹理和语法预测。另一方面，如果译码器确定不满足所述条件，则在框520中，译码器可以不使用参考层的经修剪图片外部的信息来预测当前块。举例来说，译码器可以使用填补来估计经修剪图片外部的样本值，并且基于填补值来预测当前块。在另一实例中，对于对应于经修剪图片外部的位置的当前块不使用层间预测。在另一实例中，可以使用参考层的经修剪图片内部的信息来预测当前块。方法500在框525处结束。

在方法500中，可以去除(例如，不执行)图5中展示的框中的一或多者，和/或所述方法的执行顺序可以切换。举例来说，可以不作为方法500的一部分执行确定当前块是否对应于经修剪图片外部的部分。

如上文所论述，可以使用图2的视频编码器20或图3的视频解码器30的一或多个组件(例如，图2的层间预测单元128和/或图3的层间预测单元166)来实施本发明中论述的技术中的任一者，例如确定是否满足用于基于位于经修剪图片外部的参考层块的信息来预测增强层中的当前块的条件，以及使用(或不使用)参考层的经修剪图片外部的信息来预测当前块。

通过使用旗标来用信号表示是否可以使用经修剪图片外部的参考层部分对增强层进行译码，译码器无需盲目地避免使用经修剪图片外部的信息，并且可以使用此信息来改进译码效率。举例来说，如果旗标指示参考层编解码器符合HEVC规范，则可使用经修剪图片外部的信息。可以使用其它条件来确定经修剪图片外部的信息是否可供使用(例如，如下文所论述的可缩放比率或层ID，或本文中未具体论述但是可以指示经修剪图片外部的信息是否可供译码器使用的任何其它条件)。

在一个实施例中，旗标指示是否可使用经修剪图片外部的信息，并且不指示是否使用或必须使用经修剪图片外部的信息。因此，所述信令方案向译码器(例如，编码器或解码器)提供灵活性，并且即使当旗标指示可使用经修剪图片外部的信息时，译码器(例如，编码器或解码器)也可以使用或可以不使用此信息来预测增强层。

在一个实例中，可使用AVC兼容芯片。此AVC芯片可以仅输出经修剪图片而不输出整个经解码图片。因此，旗标值可以设置成1，从而指示仅经修剪图片可用。在另一实例中，可使用HEVC兼容芯片。HEVC芯片的输出可以包含不止经修剪图片。在此情况下，旗标值可以设置成0，从而指示经修剪图片外部的信息可用于层间预测。替代地，旗标值可以设置成0(例如，如果HEVC芯片是针对单层设计的，并且不期望重新设计芯片)，从而使得不使用经修剪图片外部的信息对增强层进行译码(例如，编码或解码)。因此，通过使用旗标指示是否可使用经修剪图片外部的信息，译码灵活性和/或译码效率得到提高。

基于参考层和增强层的可缩放性比率来确定经修剪图片外部的信息的可用性

在空间可缩放性的情况下，参考层和增强层可以具有不同分辨率，并且在使用参考层图片来预测增强层之前，可能需要对参考层图片进行上取样。因此，这个分辨比率(或可缩放性比率)可以指示是否需要进行上取样以便执行层间预测。

在一个实施例中，可用于对增强层进行译码的层间预测方法可以取决于参考层与增强层之间的可缩放性比率(例如，分辨比率)。在一个实例中，在SNR可缩放性的情况下(例如，其中可缩放性比率是一)可对层间纹理和语法预测使用经解码参考层图片，并且可对空间可缩放性仅使用经修剪图片(或一致性修剪窗)(例如，参考层和增强层具有不同分辨率)。

在一个实施例中，可以用信号表示指示可缩放性比率是否为1的旗标，并且可以基于旗标值来确定层间预测方法。在另一实施例中，可以用信号表示指示可缩放性比率是否大于1的旗标，并且可以基于旗标值来确定层间预测方法。

基于参考层的层ID确定经修剪图片外部的信息的可用性

在一个实施例中，可用于对增强层进行译码的层间预测方法可以取决于参考层是否为不具有其自身的任何参考层的一个基础层。举例来说，此层可以是用最基本的质量水平译码的真正基础层。在一个实施例中，可以用信号表示指示参考层是否为真正基础层的旗标，并且可以基于旗标值来确定可用于对增强层进行译码的层间预测方法。

在一个实施例中，可用于对增强层进行译码的层间预测方法可以取决于参考层的层ID号(例如，nuh_layer_id)。在一个实例中，如果参考层的层ID是0，则参考层是不具有其自身的参考层的基础层。在此实例中，可以用信号表示指示参考层的层ID是否为0的旗标，并且可以基于旗标值来确定可用于对增强层进行译码的层间预测方法。举例来说，如果参考层的层ID是0，则可以使用经修剪图片(或一致性修剪窗)来预测增强层，并且如果参考层的层ID不是0，则可使用经解码的参考层图片进行层间纹理和语法预测。

单个旗标和两个旗标实施方案实例

在一个实施例中，using_cropped_reference_layer_flag等于1表明可对增强层的对应于一致性修剪窗内部的位置的那些部分使用层间纹理和语法预测，并且对增强层的对应于一致性修剪窗外部的位置的那些部分停用层间纹理和语法预测。在一个实施例中，如果旗标等于1，则仍然可对增强层的对应于一致性修剪窗外部的位置的那些部分使用层间纹理和语法预测之一。举例来说，即使旗标等于1，也可以使用层间纹理预测，但不可使用层间语法预测。在另一实例中，即使旗标等于1，也可以使用层间语法预测，但不可以使用层间纹理预测。另一方面，using_cropped_reference_layer_flag等于0表明可使用基于一致性修剪窗外部的信息的层间纹理和语法预测两者来预测增强层。在一个实施例中，如果位流中不存在旗标，则将旗标设置成默认值。在一个实施例中，默认值是0。在另一实施例中，默认值是1。

在一个实施例中，using_cropped_reference_layer_texture_flag等于1表明可对增强层的对应于一致性修剪窗内部的位置的那些部分使用层间纹理预测，并且对增强层的对应于一致性修剪窗外部的位置的那些部分停用层间纹理预测。另一方面，using_cropped_reference_layer_texture_flag等于0表明可使用层间纹理预测来预测增强层。在一个实施例中，如果位流中不存在旗标，则将旗标设置成默认值。在一个实施例中，默认值是0。在另一实施例中，默认值是1。

在一个实施例中，using_cropped_reference_layer_syntax_flag等于1表明可对增强层的对应于一致性修剪窗内部的位置的那些部分使用层间语法预测，并且对增强层的对应于一致性修剪窗外部的位置的那些部分停用层间语法预测。另一方面，using_cropped_reference_layer_syntax_flag等于0表明可使用层间语法预测来预测增强层。在一个实施例中，如果位流中不存在旗标，则将旗标设置成默认值。在一个实施例中，默认值是0。在另一实施例中，默认值是1。

用于层间预测的方法

在一些实施方案中，可以使用一或多个旗标(例如，上文所论述的旗标)来控制可以如何执行一或多种层间预测方法。举例来说，一或多个旗标可以指示对于层间纹理预测，可以对参考层和经上取样的参考层使用修剪和填补，但是对于层间语法预测，可能不填补语法而是可以简单地使用默认值。在一个实施例中，填补可以包含沿水平和垂直方向从经修剪图片复制像素(例如，通过延伸经修剪图片的边界像素)，由此填充经修剪图片外部的不可用的区。在另一实例中，为了预测运动信息，可使用默认运动向量(例如，零运动向量)和参考索引。在一些实施方案中，运动信息可能未展现强空间相关度，尤其是如果运动信息表示具有例如16×16、32×32等的更大大小的像素块。在此些情况下，通过对语法预测使用默认值可以改善译码性能。

在一些实施方案中，如果启用特定旗标(例如，using_cropped_reference_layer_texture_flag)(例如，值为1)，则译码器(例如，编码器或解码器)可以通过上取样和/或填补经修剪图片且使用经上取样/填补的图片来预测增强层的纹理而基于经修剪图片执行层间纹理预测。举例来说，如果参考层与增强层的大小之间的分辨比率具有除1之外的值，则可以执行上取样。可以根据分辨比率执行上取样。

在一个实施例中，可以使用相邻像素来填补经修剪图片(或者如果经解码图片需要填补，则填补经解码图片)。在一个实例中，所述像素填补方法可以与用于内插(例如，运动补偿内插)的像素填补方法相同。

在一个实施例中，可以给经修剪图片外部的参考层部分指派一个默认值。此默认值可以是0(例如，最小值)。在另一实例中，使用1<<(位深度-1)的默认值(例如，中位值)。举例来说，如果增强层(或参考层，如果在任何必需的上取样或移位之前指派了默认值的话)的位深度是10，则默认值可以是1<<(10-1)，其为512。在又另一实例中，使用默认值(1<<位深度)-1(例如，最大值)。举例来说，如果增强层的位深度是10，则默认值可以是(1<<10)-1，其为1023。在另一实施例中，默认值可以设置成任何其它用信号表示或预定义的值。

类似地，可以给经修剪图片外部的参考层部分指派默认值以进行层间语法预测。替代地，可以从经修剪图片内部的部分的语法值推导出经修剪图片外部的那些部分的语法值，并且可使用推导出的语法值来预测增强层的语法值。

图6是说明根据本发明的实施例的用于对视频信息进行译码的方法600的流程图。图6中说明的步骤可以由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，将方法600描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。举例来说，方法600可以说明在不使用经修剪图片外部的信息(例如，图4中的阴影区域438)的情况下预测当前块的实例。然而，本发明的预测技术不受到所述实例的限制，并且可以包含本文中论述的或已知的其它译码方法或技术。

方法600开始于框601。在框605中，译码器从参考层解码器接收经修剪图片。在框610中，译码器对接收到的经修剪图片进行上取样(例如，根据参考层与增强层的大小之间的分辨比率)。在框615中，译码器填补经上取样的经修剪图片(举例来说)以预测参考层的经上取样的经修剪图片外部的样本值。在框620中，译码器使用经填补图片来预测增强层图片。方法600在框640处结束。

如上文所论述，可以使用图2的视频编码器20或图3的视频解码器30的一或多个组件(例如，图2的层间预测单元128和/或图3的层间预测单元166)来实施本发明中论述的技术中的任一者，例如接收参考层解码器输出的经修剪图片，对经修剪图片进行上取样，填补经上取样图片，以及使用经填补图片预测EL中的当前块。

在方法600中，可以去除(例如，不执行)图6中展示的框中的一或多者，和/或所述方法的执行顺序可以切换。虽然是就使用经修剪图片而言描述方法600，但是如果对经解码图片的上取样和/或填补对于预测增强层是适当的，则可使用类似技术来使用经解码图片。

可以在至少一个参数集中、在块层级或组合地用信号表示控制层间纹理和语法预测的一或多个高层级旗标或语法元素，所述参数集(举例来说)例如是视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)、切片标头。如果在多个层级使用此些旗标，则较低层级的信令可以超驰较高层级的信令，并且较高层级的信令可以控制或指示下一较低层级处是否存在信令。替代地，可以在位流中(例如在VPS、SPS、PPS、APS、切片标头)或在块层级用信号表示一或多个默认值。

旗标之间的相依性

如上文所论述，在一些实施方案中，可以使用两个旗标来指示是否使用参考层的经解码图片：一个用于纹理，并且一个用于语法。在一个实施例中，旗标值可以取决于彼此。举例来说，如果纹理旗标指示仅可对层间纹理预测使用参考层的经修剪图片，则语法旗标也可指示仅可对层间语法预测使用经修剪图片。在一个实例中，通过对语法旗标值引入约束条件而实施这种相依性(例如，使得语法旗标值追踪纹理旗标值)。在另一实例中，可以跳过用信号表示语法旗标，并且可以从纹理旗标值推断语法旗标值。在纹理旗标值取决于语法旗标值的情况下，可以使用类似技术。

信令实例#1

在一个实例中，可以在视频参数集(VPS)中用信号表示旗标(例如，vps_ilp_within_conformance_cropping_window_flag)以指示是否可以基于经修剪图片外部的参考层部分来执行层间预测。旗标值等于1可以表明在经译码视频序列内，不允许从nuh_layer_id等于0的参考层分量的一致性修剪窗外部对解码过程中使用的任何语法元素、变量或样本值执行层间预测。举例来说，如果参考层是不具有其自身的任何参考层的基础层，则可能不基于经修剪图片外部的部分执行层间纹理和语法预测。另一方面，旗标值等于0可以表明对层间预测的此限制不适用。

在另一实施例中，只有在VPS中存在由不符合特定译码方案的编解码器对基础层(例如，nuh_layer_id等于0)进行译码的指示的情况下，VPS中才存在用于指示是否可以基于经修剪图片外部的参考层部分执行层间预测的旗标。在一个实施例中，只有在VPS中指示由不符合HEVC规范中指定的设置档的编解码器对基础层进行译码的情况下，才存在所述旗标。

信令实例#2

在一个实施例中，在VPS中用信号表示的旗标指示是否可以基于经修剪图片外部的参考层部分来执行层间预测。旗标值等于1可以表明，在经译码视频序列内，不允许从nuh_layer_id等于0的参考层分量的一致性修剪窗外部对解码过程中使用的任何语法元素、变量或样本值执行层间预测，但是可以用一致性修剪窗外部的经填补样本值执行层间纹理预测。举例来说，如果参考层是不具有其自身的任何参考层的基础层，则可以不基于经修剪图片外部的部分执行层间语法预测，但是可以基于经填补样本值执行层间纹理预测(例如，在对参考层的经修剪图片应用填补之后)。另一方面，旗标值等于0可以表明对层间预测的此限制不适用。

在另一实施例中，只有在VPS中存在基础层(例如，nuh_layer_id等于0)不符合特定译码方案的指示的情况下，VPS中才存在用于指示是否可以基于经修剪图片外部的参考层部分执行层间预测的旗标。在一个实施例中，只有在VPS中指示基础层不符合HEVC规范中指定的设置档的情况下才存在所述旗标。

信令实例#3

在一个实例中，可以使用单个旗标来控制所有参考层。举例来说，所述单个旗标可以指示是否可以基于参考层中的每一个中的经修剪图片外部的部分来执行层间预测。在另一实例中，针对用于对另一层进行译码(例如，编码或解码)的参考层的每一层在VPS中用信号表示旗标(例如，vps_ilp_within_conformance_cropping_window_flag)。下面的语法表中说明此信令的一个实施方案。举例来说，此语法可以添加到VPS语法表。

对于(i＝0；i<vps_max_layers_minus1；i++){
		vps_ilp_within_conformance_cropping_window_flag[i]	u(1)
}

表1.添加到VPS语法表的实例语法

在另一实施例中，只有在VPS中存在基础层(例如，nuh_layer_id等于0)不符合特定译码方案的指示的情况下，VPS中才存在用于指示是否可以基于经修剪图片外部的参考层部分执行层间预测的旗标。在一个实施例中，只有在VPS中指示基础层不符合HEVC规范中指定的设置档的情况下才存在所述旗标。在一个实施例中，用于所有增强层(例如，nuh_layer_id大于0的层)和任何符合特定译码方案的参考层的每一旗标值设置成默认值。在一个实施例中，如果nuh_layer_id大于0，则所述层不是AVC，且因而经解码图片更有可能是可用的。在一个实例中，任何符合HEVC规范中指定的设置档的参考层连同任何增强层都可以使对应旗标值默认地设置成0。

在另一实施例中，仅仅对于基础层(例如，nuh_layer_id等于0)，VPS中存在用于指示是否可以基于经修剪图片外部的参考层部分执行层间预测的旗标。对于nuh_layer_id大于0的任何增强层，旗标值默认地设置成0。

应当认识到，本文所揭示的实施例和实例适用于用于控制视图间预测的MVC和3DV HEVC扩展。可使用类似技术来控制视图间预测，并且加以所属领域的一般技术人员已知的必需的修改。在此些情况下，在以上描述中可以将层间预测理解为视图间预测，并且可以将参考层理解为参考视图。

可使用多种不同技术及技艺中的任一者来表示本文中所揭示的信息及信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。

结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此种功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此些实施决策不应被解释为会导致脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传送程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在某些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(编解码器)中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可以在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件和/或固件组合在一个编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (30)

1.一种经配置以对视频信息进行译码的设备，所述设备包括：

存储器单元，其经配置以存储与参考层RL和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及

处理器，其与所述存储器单元通信，所述处理器经配置以确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。

2.根据权利要求1所述的设备，其中所述处理器进一步经配置以在所述条件指示所述输出区外部的所述信息不可用时避免使用所述输出区外部的所述信息来预测所述当前块。

3.根据权利要求1所述的设备，其中所述处理器进一步经配置以仅仅在所述条件指示所述输出区外部的所述信息可用时使用所述输出区外部的所述信息来预测所述当前块。

4.根据权利要求1所述的设备，其中所述输出区小于所述RL图片。

5.根据权利要求1所述的设备，其中所述设备包括编码器，并且其中所述处理器进一步经配置以使用所述输出区外部的所述信息对所述当前块进行编码。

6.根据权利要求1所述的设备，其中所述设备包括解码器，并且其中所述处理器进一步经配置以使用所述输出区外部的所述信息对所述当前块进行解码。

7.根据权利要求1所述的设备，其中所述设备包括选自由以下各者组成的群组的装置：计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台和车载计算机。

8.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于用于对所述RL进行译码的编解码器来确定所述条件。

9.根据权利要求8所述的设备，其中当用于对所述RL进行译码的所述编解码器为非HEVC编解码器时，所述条件指示所述输出区外部的信息不可用于预测所述增强层中的所述当前块。

10.根据权利要求1所述的设备，其中所述条件包括第一旗标和第二旗标，所述第一旗标指示是否可以使用所述输出区外部的所述信息来预测所述当前块的纹理信息，并且所述第二旗标指示是否可以使用所述输出区外部的所述信息来预测所述当前块的语法信息。

11.根据权利要求10所述的设备，其中所述第二旗标的值取决于所述第一旗标的值。

12.根据权利要求1所述的设备，其中所述条件指示所述RL和所述增强层的高度或宽度是否相同。

13.根据权利要求1所述的设备，其中所述条件指示层ID是否为零。

14.根据权利要求1所述的设备，其中所述条件包括旗标。

15.根据权利要求14所述的设备，其中基于用于对所述参考层进行译码的编解码器来确定所述旗标的值。

16.一种对视频信息进行译码的方法，所述方法包括：

存储与参考层RL和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及

确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。

17.根据权利要求16所述的方法，其进一步包括在所述条件指示所述输出区外部的所述信息不可用时在避免使用所述输出区外部的所述信息的同时预测所述当前块。

18.根据权利要求16所述的方法，其进一步包括仅仅在所述条件指示所述输出区外部的所述信息可用时使用所述输出区外部的所述信息来预测所述当前块。

19.根据权利要求16所述的方法，其中所述输出区小于所述RL图片。

20.根据权利要求16所述的方法，其进一步包括基于用于对所述RL进行译码的编解码器来确定所述条件。

21.根据权利要求20所述的方法，其中当用于对所述RL进行译码的所述编解码器为非HEVC编解码器时，所述条件指示所述输出区外部的所述信息不可用于预测所述增强层中的所述当前块。

22.根据权利要求16所述的方法，其进一步包括：

处理第一旗标，所述第一旗标指示是否可以使用所述输出区外部的所述信息来预测所述当前块的纹理信息；以及

处理第二旗标，所述第二旗标指示是否可以使用所述输出区外部的所述信息来预测所述当前块的语法信息。

23.根据权利要求22所述的方法，其中所述第二旗标的值取决于所述第一旗标的值。

24.根据权利要求16所述的方法，其中所述条件指示所述RL和所述增强层的高度或宽度是否相同。

25.根据权利要求16所述的方法，其中所述条件指示层ID是否为零。

26.根据权利要求16所述的方法，其中所述条件包括旗标，并且基于用于对所述参考层进行译码的编解码器来确定所述旗标的值。

27.一种非暂时性计算机可读媒体，其包括当经执行时使设备执行包括以下操作的过程的代码：

存储与参考层RL和增强层相关联的视频信息，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及

确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块。

28.根据权利要求27所述的媒体，所述过程进一步包括仅仅在所述条件指示所述输出区外部的所述信息可用时使用所述输出区外部的所述信息来预测所述当前块。

29.一种经配置以对视频信息进行译码的视频译码装置，所述视频译码装置包括：

用于存储与参考层RL和增强层相关联的视频信息的装置，所述RL包括RL图片，所述RL图片具有输出区，所述输出区包含所述RL图片的一部分；以及

用于确定是否一个条件指示所述输出区外部的信息可用于预测所述增强层中的当前块的装置。

30.根据权利要求29所述的装置，其进一步包括用于仅仅在所述条件指示所述输出区外部的所述信息可用时使用所述输出区外部的所述信息来预测所述当前块的装置。