CN104798372A - 在视频译码中针对高效率视频译码(hevc)扩展对多个层的低复杂性支持 - Google Patents

Abstract

本发明提供一种译码视频数据的方法，其包含接收与第一层及第二层相关联的视频信息，及确定所述第一层及所述第二层中的至少一者是否为默认层。所述方法可包含在所述第一层及所述第二层均不是所述默认层时，至少部分地限制层间预测。默认层可为基础层或增强层。可接收指示所述层间预测将受到限制的旗标。另外，所述方法可包含确定对于与所述第一层相关联的所述视频信息，是否允许层间预测；及确定对于与所述第二层相关联的所述视频信息，是否部分地允许层间预测，使得运动补偿不与所述第二层视频信息一起使用。

Description

在视频译码中针对高效率视频译码(HEVC)扩展对多个层的低复杂性支持

技术领域

本发明一般来说涉及视频译码及压缩且，明确地说，涉及可扩缩式视频译码(SVC)。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频译码技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分“高级视频译码(AVC)”定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术来发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块，其还可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可将残余变换系数量化。经量化的变换系数最初可布置成二维阵列，且经扫描以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。

发明内容

根据一些实施例，一种经配置以译码视频信息的设备包含处理器及存储器。所述存储器经配置以存储与第一层及第二层相关联的视频信息。处理器与存储器通信。处理器经配置以确定所述第一层及所述第二层中的至少一者是否为默认层，且在所述处理器确定所述第一层及所述第二层均不是所述默认层时，至少部分地限制层间预测。

在一些实施例中，默认层为基础层。在其它实施例中，默认层为层0。在其它实施例中，默认层为增强层。在一些实施例中，可存在一个以上默认层。

在一些实施例中，处理器经进一步配置以接收与视频信息相关联的第一旗标，且在所述第一旗标指示层间预测将受到限制时，确定所述第一层及所述第二中的至少一者是否为默认层。举例来说，可在以下各者中的一或多者中传信所述第一旗标：视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头及补充增强信息(SEI)消息。

在一些实施例中，处理器经进一步配置以在所述处理器确定所述第一层及所述第二层均不是默认层时，及在与第一层相关联的视频信息及与第二层相关联的视频信息在其构造中均不是仅使用受约束帧内预测(CIP)时，限制层间预测。在一些实施例中，处理器经进一步配置以在处理器确定第一层及第二层均不是默认层时，限制运动信息或残余信息的层间预测中的至少一者。

在一些实施例中，所述处理器经进一步配置以确定对于与所述第一层相关联的所述视频信息是否允许层间预测；及确定对于与所述第二层相关联的所述视频信息是否部分地允许层间预测，使得运动补偿不与所述第二层视频信息一起使用。举例来说，处理器可经进一步配置以使用第一层视频信息来预测与当前视频块相关联的纹理信息。另外，处理器可经进一步配置以使用第二层视频信息来预测与当前视频块相关联的运动信息及残余信息中的一或多者。在一些实施例中，设备包括编码器。在一些实施例中，设备包括解码器。另外，设备可包括以下各者中的至少一者：数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话及包括存储器及处理器的视频电话会议装置。

在另一实施例中，一种译码视频信息的方法包含：接收与第一层及第二层相关联的视频信息；确定第一层及第二层中的至少一者是否为默认层；及在第一层及第二层均不是默认层时，至少部分地限制层间预测。

在另一实施例中，一种视频译码设备包含：用于接收与第一层及第二层相关联的视频信息的装置；用于确定第一层及第二层中的至少一者是否为默认层的装置；及用于在第一层及第二层均不是默认层时至少部分地限制层间预测的装置。

在另一实施例中，一种非暂时性计算机可读媒体具有存储于其上的代码，所述代码在经执行时致使设备进行以下操作：接收与第一层及第二层相关联的视频信息；确定第一层及第二层中的至少一者是否为默认层；及在第一层及第二层均不是默认层时，至少部分地限制层间预测。

附图说明

图1为说明可利用根据本发明中所描述的方面的技术的实例视频编码及解码系统的框图。

图2为说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。

图3为说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。

图4为说明根据本发明的方面的三个不同维度上的可扩缩性的框图。

图5为说明根据本发明的方面的可扩缩式视频译码(SVC)位流的实例结构的框图。

图6为说明根据本发明的方面的位流中的实例SVC存取单元的框图。

图7为说明层间预测限制及裕度的概念图。

图8为说明SVC中的多层中的块的实例的概念图。

图9说明根据实施例的用于译码视频数据的实例方法。

图10说明根据另一实施例的用于译码视频数据的方法。

图11为实例视频译码器的功能框图。

具体实施方式

本发明中所描述的技术一般来说涉及可扩缩式视频译码(SVC)及多视图/3D视频译码。举例来说，所述技术可涉及高效率视频译码(HEVC)可扩缩式视频译码(SVC)扩展，且供高效率视频译码(HEVC)可扩缩式视频译码(SVC)扩展使用或在高效率视频译码(HEVC)可扩缩式视频译码(SVC)扩展内使用。在SVC中，可存在多个视频信息层。处于最底部层级或最低层级的层可充当基础层(BL)或参考层(RL)，且处于最顶部的层可充当经增强层(EL)。“经增强层”可被视为与“增强层”同义，且可互换地使用这些术语。BL与EL之间的层可充当EL或BL中的任一者或两者。举例来说，一层可为用于在所述层下方的层(例如，基础层或任何介入增强层)的EL，且还可充当用于在所述层上方的增强层的BL。基础层与顶部层(或最高层)中间的每一层可用作用于较高层的层间预测的参考，且可将较低层用作用于层间预测的参考。

仅出于说明的目的，通过仅包含两个层(例如，例如基础层等较低层级层，及例如经增强层等较高层级层)的实例来描述本发明中所描述的技术。应理解，本发明中描述的实例还可扩展到具有多个基础或参考层及增强层的实例。另外，为易于解释，以下揭示内容主要使用术语“帧”或“块”。然而，这些术语并不意味着为限制性的。举例来说，下文所描述的技术可供例如块(例如，CU、PU、TU、宏块等)、切片、图片等不同视频单元使用。

HEVC的SVC扩展提供多回路方法，使得对于每一层，经重新构造的像素始终可用，而无关于预测模式。另外，可通过将运动补偿应用于预测来预测每一层。通过此方法，当存在两个以上层时，译码(例如，解码、编码)复杂性高，这是由于对于每个层执行运动补偿。

在一些实施例中，提供既支持两个以上层、又提供低译码(例如，解码、编码)复杂性的系统及方法。本文中所描述的技术还基于任何其它译码框架(例如，H.264/AVC)应用于HEVC的多视图或3DV扩展及类似可扩缩式多视图及/或3DV译码情境(由于层还可被视为视图或视图的纹理或深度部分)。

为了在具有两个以上层的视频信息的情况下降低多回路方法的译码复杂性，可限制用于层间预测的运动补偿回路的数目。举例来说，视频译码器或解码器可经配置以防止在某些情形下发生的层间预测。在一些实施例中，视频译码器或解码器可经配置以确定可用于多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目。视频译码器或解码器可基于经运动补偿的层的所确定的最大数目限制当前层中的图片的层间预测。举例来说，在一个实施例中，视频译码器或解码器可接收第一旗标，所述第一旗标指示可用于层间预测的经运动补偿的层的最大数目。在一些实施例中，多个层中的任一者中的图片中的每一者及当前层中的图片可包括存取单元中的图片。视频译码器或解码器可对于存取单元中的每一图片确定经运动补偿的层的最大数目且基于经运动补偿的层的最大数目限制层间预测。

视频译码标准

本文中所描述的某些实施例涉及针对在高级视频编码解码器的上下文中的可扩缩式视频译码(例如，高效率视频译码(HEVC))的层间预测。更具体来说，本发明涉及在HEVC的可扩缩式视频译码(SVC)扩展中的层间预测的改进的执行的系统及方法。在以下描述中，描述涉及某些实施例的H.264/AVC技术；还论述HEVC标准及有关技术。虽然本文中在HEVC及/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中所揭示的系统及方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及TU-T H.264(还被称为ISO/IEC MPEG-4AVC)(包含其可扩缩式视频译码(SVC)及多视图视频译码(MVC)扩展)。

可扩缩式视频译码(SVC)可用以提供质量(还被称作信噪比(SNR))可扩缩性、空间可扩缩性及/或时间可扩缩性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以按第一质量等级显示视频的视频信息，且增强层包含相对于参考层的额外视频信息，使得参考层及增强层一起包含足以按高于第一等级的第二质量等级(例如，较低噪声、较大分辨率、更好帧速率等)显示视频的视频信息。经增强层可具有不同于基础层的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比。换句话说，EL的空间纵横比可等于1.0、1.5或2.0乘以BL的空间纵横比。在一些实例中，EL的比例因数可大于BL的比例因数。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，EL的空间分辨率大于BL的空间分辨率可为有可能的，但并非限制。

在H.264的SVC扩展中，可使用针对SVC提供的不同层来执行当前块的预测。此预测可被称作层间预测。层间预测方法可用于SVC中以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测、层间模式预测及层间残余预测。层间帧内预测使用基础层中的经并置块的重新构造预测增强层中的当前块。层间模式预测使用基础层的运动预测增强层中的运动。层间模式预测基于基础层中的模式预测增强层中的模式。层间残余预测使用基础层的残余来预测增强层的残余。

下文参看随附图式更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应被解释为限于贯穿本发明呈现的任何特定结构或功能。确切地说，提供这些方面，以使得本发明将为透彻的且完整的，且将本发明的范围充分地传达给所属领域的技术人员。基于本文中的教示，所属领域的技术人员应了解，本发明的范围希望涵盖本文中所揭示的新颖系统、设备及方法的任何方面，不管其是独立实施还是与本发明的任何其它方面相组合而实施。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围希望涵盖使用除本文中所阐述的本发明的各种方面之外还含有的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性实践的此设备或方法。应理解，可通过技术方案的一或多个元素来体现本文中所揭示的任何方面。

虽然本文中描述特定方面，但这些方面的许多变化及排列属于本发明的范围内。虽然提及优选方面的一些益处及优点，但本发明的范围并不希望限于特定益处、用途或目标。确切地说，本发明的方面希望广泛适用于不同无线技术、系统配置、网络及传输协议，其中的一些通过实例在各图中及优选方面的以下描述中加以说明。实施方式及图式仅说明本发明而不是限制本发明，本发明的范围是通过所附权利要求书及其等效物来界定。

图1为说明可利用根据本发明中所描述的方面的技术的实例视频编码及解码系统的框图。如图1中所展示，系统10包含源装置12，所述源装置12提供待由目的地装置14在稍后时间解码的经编码视频数据。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，所述广泛范围的装置包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”电话等电话手持机、所谓的“智能型”平板计算机、电视机、摄像机、显示装置、数字媒体播放器、数字游戏控制台、视频流装置或其类似者。此外，在一些实施例中，系统10可实施于单个装置中。举例来说，包含电话手持机的任何此单个装置可包括源装置12及目的地装置14两者以及计算机可读媒体16。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使得源装置12能够将经编码视频数据实时地直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换机、基站或可用以促进从源装置12到目的地装置14的通信的任何其它装备。

在一些实例中，可将经编码数据从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取式数据存储媒体中的任一者，例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接式存储器(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)存取经编码视频数据。此数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。

本发明的技术未必限于无线应用或设置。所述技术可应用于支持例如以下多种多媒体应用中的任一者的视频译码：空中电视广播、有线电视发射、卫星电视发射、例如经由HTTP的动态自适应性流式传输(DASH)等因特网流式视频发射、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实施例中，例如蜂窝式电话等无线通信装置可包括源装置12，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实施例中，例如蜂窝式电话等无线通信装置可包括目的地装置14，目的地装置14包含输入接口28、视频解码器30及显示装置32。举例来说，在一些情况下，单个无线通信装置可包括源装置12及目的地装置14两者。根据本发明，源装置12的视频编码器20可经配置以应用用于译码位流的技术，所述位流包含遵守多个标准或标准扩展的视频数据。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部摄像机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而不是包含集成式显示装置。

图1的所说明系统10仅为一个实例。用于确定用于针对用于当前块的运动向量预测子的候选者列表的候选者的技术可由任何数字视频编码及/或解码装置来执行。虽然一般由视频编码装置执行本发明的技术，但还可由视频编码器/解码器(通常被称作“编码解码器(CODEC)”)执行所述技术。此外，还可由视频预处理器来执行本发明的技术。源装置12及目的地装置14仅为此类译码装置的实例，在所述译码装置中，源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称方式进行操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如，用于视频流式传输、视频播放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获的视频的视频存档及/或从视频内容提供者接收视频的视频馈入接口。作为再一替代例，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经封存视频及计算机产生的视频的组合。在一些情况下，如果视频源18为视频摄像机，那么源装置12及目的地装置14可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一种情况下，所俘获、经预先俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络发射；或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、压缩光盘、数字影音光盘、蓝光光盘或其它计算机可读媒体。举例来说，在源装置12及目的地装置14实施为例如无线手持机等单个装置的一些实施例中，计算机可读媒体16可包含任何存储媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络传输、直接有线通信等将所述经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且生产含有所述经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解成包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的还供视频解码器30使用的语法信息，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据例如目前在开发中的高效率视频译码(HEVC)标准等视频译码标准操作，且可遵守HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据例如替代地被称作MPEG-4第10部分(高级视频译码(AVC))的ITU-T H.264标准或此类标准的扩展等其它专属或行业标准操作。然而，本发明的技术不限于包含(但不限于)上文列出的标准中的任一者的任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置共同数据流或单独数据流中的音频及视频两者的编码。在可适用的情况下，MUX-DEMUX单元可遵守ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20及视频解码器30可各自实施为多种合适的编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(编码解码器(CODEC))的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置(例如，蜂窝式电话)。

JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的被称作HEVC测试模型(HM)的演进模型。HM假设视频译码装置相对于根据(例如)ITU-TH.264/AVC的现有装置的若干额外能力。举例来说，H.264提供九种帧内预测编码模式，而HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述可将视频帧或图片划分成包含明度样本及色度样本两者的一序列树块或最大译码单元(LCU)。位流内的语法数据可定义LCU的大小，就像素的数目来说，LCU为最大译码单元。切片包含按译码次序的许多连续树块。可将视频帧或图片分割成一或多个切片。每一树块可根据四叉树而分裂成译码单元(CU)。一般来说，四叉树数据结构每CU包含一个节点，其中根节点对应于树块。如果将CU分裂成四个子CU，那么对应于所述CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。

所述四叉树数据结构中的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示是否将对应于节点的CU分裂成子CU。可递归地定义用于CU的语法元素，且用于CU的语法元素可取决于CU是否分裂成子CU。如果CU未经进一步分裂，那么其被称作叶CU。在本发明中，即使不存在原始叶CU的显式分裂，叶CU的四个子CU也将被称作叶CU。举例来说，如果16×16大小的CU未经进一步分裂，那么四个8×8子CU也被称作叶CU，尽管16×16CU从未经分裂。

除了CU不具有大小区别之外，CU具有与H.264标准的宏块类似的目的。举例来说，树块可分裂成四个子节点(还被称作子CU)，且每一子节点可又为父节点并分裂成另外四个子节点。被称作四叉树的叶节点的最终未分裂子节点包括译码节点，所述译码节点也被称作叶CU。与经译码位流相关联的语法数据可定义可将树块分裂的最大次数(其被称作最大CU深度)，且还可定义所述译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指在HEVC的上下文中的CU、PU或TU中的任一者，或在其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。

CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8×8个像素直到具有最大64×64个像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可在CU经跳过或经直接模式编码、经帧内预测模式编码抑或经帧间预测模式编码之间不同。PU在形状上可分割成非正方形。与CU相关联的语法数据还可描述(例如)根据四叉树将CU分割成一或多个TU。TU在形状上可为正方形或非正方形(例如，矩形)。

HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU定义的给定CU内的PU的大小设置TU之大小，但情况并非始终如此。TU通常与PU大小相同，或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本再分为更小的单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生可进行量化的变换系数。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索用于PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义用于所述PU的一或多个运动向量的数据。定义用于PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。可使用RQT(还被称作TU四叉树结构)指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成另外的子TU。当TU未进一步分裂时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享同一帧内预测模式。即，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式计算每一叶TU的残余值，作为CU的对应于所述TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与用于同一CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

此外，叶CU的TU还可与被称作残余四叉树(RQT)的相应四叉树数据结构相关联。即，叶CU可包含指示将叶CU分割成TU的方式的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。RQT的未经分裂的TU被称作叶TU。一般来说，除非另有指示，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列视频图片中的一或多者。GOP可在GOP的标头、图片中的一或多者的标头中或在其它处包含描述包含在GOP中的图片的数目的语法数据。图片的每一切片可包含描述用于所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小上不同。

作为实例，HM支持以各种PU大小进行预测。假设特定CU的大小为2N×2N，那么HM支持以2N×2N或N×N的PU大小进行帧内预测，及以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM还支持用于以2N×nU、2N×nD、nL×2N及nR×2N的PU大小进行帧间预测的不对称分割。在不对称分割中，CU的一个方向未经分割，而另一方向分割成25％及75％。CU的对应于25％分割区的部分通过“n”后接续“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此，例如，“2N×nU”是指在水平方向上按顶部2N×0.5N PU及底部2N×1.5N PU分割的2N×2NCU。

在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在垂直尺寸及水平尺寸方面的像素尺寸，例如，16×16个像素或16乘16个像素。一般来说，16×16块在垂直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块可能未必在水平方向上具有与在垂直方向上相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在将(例如)离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换的变换应用于残余视频数据之后在变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换所述TU以产生用于CU的变换系数。

在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化为希望具有其最广泛普通意义的广义术语。在一个实施例中，量化是指以下过程：将变换系数量化以可能地减少用以表示所述系数的数据的量，从而提供进一步压缩。所述量化过程可减少与所述系数中的一些或所有系数相关联的位深度。举例来说，可在量化期间将n位值降值舍位到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计成将较高能量(且因此较低频率)系数置于阵列前部，且将较低能量(且因此较高频率)系数置于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法熵编码所述一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据过程中使用。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指配给待发射的符号。所述上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射的符号选择可变长度码。VLC中的码字可经构造，使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，与(例如)针对待发射的每一符号使用等长度码字相比较来说，使用VLC可实现位节省。概率确定可基于指配给符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将语法数据(例如，基于块的语法数据、基于帧的语法数据及基于GOP的语法数据)发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。

图2为说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，模式选择单元40可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不受如此限制。在一些实例中，本发明中所描述的包含下文关于图9所描述的方法的技术可在视频编码器20的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。

视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的译码模式中的任一者。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图1的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了进行视频块重新构造，视频编码器20还包含反量化单元58、反变换单元60及求和器62。还可包含解块滤波器(图2中未展示)以对块边界进行滤波，以将成块效应伪影从经重新构造的视频去除。在需要时，解块滤波器通常对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(回路内或回路后)。为简洁起见，未展示此类滤波器，但在需要时，此类滤波器可对求和器50的输出进行滤波(作为回路内滤波器)。

在所述编码过程期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码，以提供时间预测。帧内预测单元46可替代地执行所接收视频块相对于与待译码的块相同的帧或切片中的一或多个相邻块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次(例如)以针对视频数据的每一块选择适当译码模式。

此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估将视频数据的块分割成子块。举例来说，分割单元48最初可将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真最优化)将所述LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示LCU到子CU的分割的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可(例如)基于错误结果选择译码模式(帧内或帧间)中的一者，且将所得经帧内或经帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重新构造经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此语法信息)提供到熵编码单元56。

运动估计单元42及运动补偿单元44可高度集成，但为了概念目的而分别加以说明。由运动估计单元42执行的运动估计为产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块为被发现在像素差方面紧密地匹配待译码的块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索，且以分数像素精度输出运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置计算用于所述PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。此外，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到用于当前视频块的PU的运动向量后，运动补偿单元44可将运动向量所指向的预测性块定位于参考图片列表中的一者中。求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42执行相对于明度分量的运动估计，且运动补偿单元44将基于所述明度分量计算的运动向量用于色度分量及明度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块过程中使用。

作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代例，帧内预测单元46可帧内预测或计算当前块，如上文所描述。明确地说，帧内预测单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用对各种所测试帧内预测模式的速率-失真分析计算速率-失真值，且在所测试模式当中选择具有最好的速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或错误)的量，以及用以产生经编码块的位速率(即，位数)。帧内预测单元46可从各种经编码块的失真及速率计算比以确定哪一种帧内预测模式展现块的最好的速率-失真值。

在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在经发射的位流中包含配置数据，其可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码各种块的上下文的定义及用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。

视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将所述变换系数量化以进一步减小位速率。所述量化过程可减小与所述系数中的一些或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56熵译码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或封存以供稍后发射或检索。

反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重新构造残余块，(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重新构造的残余块以计算子整数像素值以供在运动估计中使用。求和器62将经重新构造的残余块加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重新构造的视频块以供存储在参考帧存储器64中。经重新构造的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。

图3为说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的包含下文关于图9描述的方法的技术中的任一者或全部。作为一个实例，运动补偿单元72及/或帧内预测单元74可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不受如此限制。在一些实例中，本发明中所描述的技术可在视频解码器30的各种组件当中共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。

在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。在一些实例中，视频解码器30可执行解码遍次，所述解码遍次一般与关于视频编码器20(图2)所描述的编码遍次互逆。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收经编码视频位流，所述经编码视频位流表示经编码视频切片的视频块及相关联语法元素。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于传信的帧内预测模式及来自当前帧或图片的先前经解码的块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储在参考帧存储器92中的参考图片使用默认构造技术来构造参考帧列表(列表0及列表1)。运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的构造信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元72可从所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。

反量化单元76将提供于位流中且由熵解码单元80解码的经量化的变化系数反量化(例如，解量化)。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QP_Y来确定应应用的量化程度及(同样地)反量化程度。

反变换单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。

在运动补偿单元82基于运动向量及其它语法元素产生用于当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块加总形成经解码的视频块。求和器90表示执行此加总运算的一或多个组件。在需要时，还可应用解块滤波器来对经解码的块进行滤波以便去除成块效应伪影。其它回路滤波器(译码回路内或译码回路后)还可用以使像素转变平滑，或以其它方式改善视频质量。接着将给定帧或图片中的经解码的视频块存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码的视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。

HEVC中的运动补偿

如上文所提及，HEVC为下一代视频译码标准。一般来说，HEVC遵循先前视频译码标准的框架。HEVC的运动补偿回路可保持与H.264/AVC中的运动补偿回路相同，即，当前帧的重新构造等于经解量化的系数r加上时间预测P：

$\hat{I}=r+P---\left(1\right)$

其中P指示P个帧或切片的单向预测，或B个帧或切片的双向预测。

HEVC中运动补偿的单元可能不同于先前视频译码标准中的运动补偿的单元。实际上，先前视频译码标准中的宏块的概念并不存在于HEVC中。实情为，基于一般四叉树方案用高度灵活阶层式结构替换宏块概念。在此方案内，定义三种类型的块，即，译码单元(CU)、预测单元(PU)及变换单元(TU)。CU为区分裂的基本单元。CU类似于宏块的概念，但其并不限制最大大小，且其允许递归地分裂成四个相等大小的CU以改善内容调适性。PU为帧间/帧内预测的基本单元，且其在单个PU中可含有多个任意形状分割区以有效地译码不规则图像图案。TU为变换的基本单元。可独立于PU来定义TU；然而，其大小限于TU所属于的CU。块结构到三个不同概念的此分离允许每一者根据其作用而最优化，此情形导致改善的译码效率。

可扩缩式视频译码

不同维度上的可扩缩性400的实例展示于图4中。在所述实例中，在三个维度402、404、406上实现可扩缩性。在时间维度402上，时间可扩缩性(T)可支持(例如)在7.5Hz、15Hz或30Hz情况下的帧速率。当支持空间可扩缩性(S)404时，实现例如QCIF、CIF及4CIF等不同分辨率。对于每一特定空间分辨率及帧速率，可添加SNR(Q)层406以改善图片质量。来自每一层402、404、406的位流可一起多路传输到单个位流中。一旦视频内容已按此可扩缩式方式编码，便可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求取决于(例如)客户端或发射信道。在图4中所展示的实例中，每一立方体408含有具有相同帧速率(时间层级)、空间分辨率及SNR层的图片。更好的表示可通过在任何维度402、404、406上添加所述立方体408(图片)来实现。当实现两个、三个或甚至三个以上可扩缩性时，支持组合的可扩缩性。

根据SVC规范，具有最低空间410及质量412层的图片与H.264/AVC兼容，且处于最低时间层级414的图片形成时间基础层，所述时间基础层可通过处于较高时间层级的图片来增强。除H.264/AVC兼容层之外，还可添加若干空间及/或SNR增强层以提供空间及/或质量可扩缩性。SNR可扩缩性406还被称作质量可扩缩性。通过与H.264/AVC兼容层相同的时间可扩缩性结构，每一空间404或SNR 406增强层自身可为时间上可扩缩的。对于一个空间或SNR增强层，其所取决于的较低层还被称作所述特定空间或SNR增强层的基础层。

SVC译码结构500的实例展示于图5中。具有最低空间及质量层的图片(层0 502及层1 504中的图片，具有QCIF分辨率)与H.264/AVC兼容。在所述图片当中，如图5的层0 502中所展示，最低时间层级的所述图片形成时间基础层。此时间基础层(层0)502可通过较高时间层级(层1)504的图片来增强。除H.264/AVC兼容层504之外，还可添加若干空间及/或SNR增强层506、508、510以提供空间及/或质量可扩缩性。举例来说，增强层可为具有与层2 506相同的分辨率的CIF表示。在所述实例中，层3 508为SNR增强层。如实例中所展示，通过与H.264/AVC兼容层相同的时间可扩缩性结构，每一空间或SNR增强层自身可为时间上可扩缩的。而且，增强层可增强空间分辨率及帧速率两者。举例来说，层4 510提供4CIF增强层，其进一步将帧速率从15Hz增加到30Hz。

如图6中所展示，同一时间实例中的经译码切片在位流次序上是连续的，且在SVC的上下文中形成一个存取单元600。所述SVC存取单元600接着遵循解码次序，所述解码次序可不同于显示次序且(例如)通过时间预测关系来决定。

图7说明概念图700，所述概念图700说明层间预测限制及裕度的实施例。如所展示，基础层710可对应于层0，增强层720可对应于层1，增强层730可对应于层2，且增强层740可对应于层3。在此实施例中，基础层710可充当默认层。分别在增强层720、730及740与基础层710之间的线750、751及752指示准许视频译码(例如，解码、编码)使用层间预测。增强层730与增强层710之间的线753指示限制、阻止或以其它方式防止视频译码执行层间预测。类似地，增强层740与增强层730之间的线754指示限制、阻止或以其它方式防止视频译码执行层间预测。类似地，增强层740与增强层720之间的线755指示限制、阻止或以其它方式防止视频译码执行层间预测。举例来说，准许视频译码仅在增强层720、730及740与默认层710之间使用层间预测，且在所述层中的一者并不是默认层(例如，两个层均为增强层)时，限制、阻止或以其它方式防止视频译码执行层间预测。

在一些实施例中，层间预测限制可通过位流中的第一旗标来指示，例如，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头或补充增强信息(SEI)消息中。可针对每个增强层来传信此旗标，例如，仅在如HEVC WD9中所指定的网络抽象(NAL)单元标头中的nuh_reserved_zero_6bits大于0时，存在所述旗标。此旗标的值等于1可指示：对于当前层来说，层间预测受到限制，且仅默认层(例如，以上实例中的层0)可用于层间预测。

在一些实施例中，可放松层间预测限制以允许任何不同层之间的层间预测，只要层间预测参考块中的每一者在其构造中仅使用约束帧内预测(CIP)，使得对于层间预测参考块的构造不需要运动补偿。CIP使用情况可通过位流中(例如，VPS、SPS、PPS、切片标头或SEI消息中)的第二旗标来指示，或其可与第一旗标耦合。

可进一步放松层间预测限制以允许运动的层间预测及/或残余的层间预测。每一者可通过单独的旗标来指示，或与先前所描述的旗标中的一或多者耦合及/或彼此耦合。

在另一实施例中，仅任一层可用于层间预测。举例来说，不是在先前实例中使用层0，而是可使用层1来用于层1上方的层(例如，层2及层3)的层间预测。在此类情况下，可禁止对于较低层(例如，层1)的层间预测。

通过层间预测的各种限制，以上方法可被称作层-层级双回路方法。在一个实施例中，可含有多层的位流受限制，使得运动补偿用以解码至多两个层。

在另一实施例中，当一个层被充分允许用于层间预测且需要充分重新构造，且部分地允许另一层用于并不需要运动补偿的层间预测时，可应用以下情形中的任一者。首先，需要充分重新构造的层可仅用以按类似于SVC中IntraBL的方式或通过将经重新构造的(通过包含运动字段增加取样的可能的像素及语法)图片置于当前切片的参考图片列表中来预测当前块的纹理。另外，不需要充分重新构造的层可仅用以预测当前块的运动及/或残余信息。因此，此层中的帧内块可能并不需要如受约束帧内块一样译码。另外，可根据当前层与用于层间预测的层之间的可扩缩性比来缩放或放大运动向量及/或残余信息。而且，如上文关于运动信息所描述，可使用非经充分重新构造的层来预测任何非像素信息。举例来说，来自所述层的帧内模式可用以预测当前块帧内模式。替代地或另外，对于非经充分重新构造的层，可跳过例如SAO、ALF或其它者等层间滤波或将其标记为未使用。可将层间滤波定义(但不限于此定义)为滤波器，所述滤波器参数或系数是基于经重新构造的参考层且使用待译码的层的原始像素数据来导出。可将所述滤波器参数或系数传信到解码器。除层间滤波器之外，还可能跳过例如SAO、ALF或解块滤波器等回路内滤波器或将其标记为未用于未经充分重新构造的参考层。另外，待充分重新构造的层可具有等于0的layer_id。而且，不需要充分重新构造的层可具有最接近但小于当前切片的layer_id的layer_id。举例来说，假设当前层的layer_id为N，那么不需要充分重新构造且仅需要构造运动及残余的层可具有等于N-1的layer_id。

在另一实施例中，不需要充分重新构造的层也不需要重新构造残余。因此，可停用来自此层的层间残余预测，且不需要包含解量化、反变换等的用以导出残余的解码过程。

在另一实施例中，可将层间预测的以上限制一般化以仅在每一存取单元内应用。举例来说，可含有多层的位流可受限制，使得在解码每一存取单元中，将运动补偿用于重新构造存取单元中的至多两个层表示。此方法还可被称作存取单元层级双回路方法。通过层间预测的各种限制，以上方法皆可被称作双回路方法。

在另一实施例中，可将以上方法进一步一般化为层-层级N回路方法，其中N可为2、3、4等，且可含有多层的位流受限制，使得运动补偿用以解码至多N个层。在另一实施例中，可将以上方法进一步一般化为存取单元层级N回路方法，其中N可为2、3、4等，其中可含有多层的位流受限制，使得在解码每一存取单元中，将运动补偿用于存取单元中的至多N个层表示。另外，关于使用层间预测的决策可取决于用以译码先前层的编码解码器。

出于说明的目的，使用仅存在两个层的实例来描述本发明中所描述的技术。一个层可包含较低层级层或参考层，且另一层可包含较高层级层或增强层。举例来说，参考层可包含基础层或关于增强层的时间参考，且增强层可包含相对于参考层的经增强层。应理解，本发明中所描述的实例还扩展到多个增强层。

图8为说明SVC中的多层中的块的实例的概念图。举例来说，图8说明基础层块2及经增强层块4，其可彼此并置，使得基础层块2可位于基础层中对应于经增强层块4在增强层中的位置的位置处。

基础层块2包含子块3A到3H，且经增强层块4包含子块5A到5H。子块3A到3H中的每一者可分别与子块5A到5H中的每一者并置。举例来说，子块3A到3H中的每一者可对应于子块5A到5H中的相应子块。在一些译码器中，来自左上子块(例如，子块3B)的运动信息可用以预测经增强层块4的运动信息。然而，在一些情况下，此子块可能不如其它子块优化。

在一些实施例中，在对基础层运动信息减少取样之前，本发明中所描述的技术将来自基础层或参考层块的运动信息有利地用于经增强层块预测及/或用于预测用于经增强层块的运动信息。另外，本发明中所描述的技术可在基础层块内提供多个子块，所述子块的运动信息可用于经增强层块预测及/或用于预测用于经增强层块的运动信息。

在一些实施例中，技术可包含在将较低层级层用于预测较高层级层(例如，经增强层)之后，对较低层级层(例如，基础层)预测模式信息减少取样，例如运动信息或预测模式。运动信息的减少取样或子取样过程包含减少将被存储的且与特定图片相关联的运动信息的量。举例来说，在HEVC标准中，每个16×16块可具有相异运动信息。举例来说，来自基础层(BL)的原始的未经减少取样的运动信息可用于在预测经增强层(EL)处的经增强层块及/或运动信息中使用。可接着在将运动信息用于预测EL运动信息之后执行基础层运动信息的减少取样。

另外，可对经增强层的预测模式信息减少取样。在一些实施例中，通过使在减少取样中使用的参数或滤波器变化，用于基础层的预测模式信息的减少取样可不同于用于增强层的预测模式信息的减少取样。举例来说，基础层预测模式信息可基于16×16大小块而减少取样，且增强层预测模式信息可基于不同于16×16大小块的块大小而减少取样。

因此，来自基础层的更准确运动信息可用以改善经增强层的经增强层块及/或运动信息的预测。在预测了经增强层之后，对对应的基础层运动信息减少取样以产生基础层的预测信息，所述预测信息满足用于基础层块的压缩标准的一致性要求。明确地说，可能需要基础层可与经增强层独立地解码。在一些实施例中，产生基础层以便与HEVC标准一致，使得可如HEVC单个层译码中般产生基础层。此外，在一些实施例中，存储经减少取样的基础层预测信息以用于参考帧。

在一些实施例中，将基础层的未经减少取样的运动信息用于经增强层译码的优点在于：经并置的基础层块内的其它位置可为相异的，其可实现对于EL运动信息的更好或不同预测。举例来说，不是将左上4×4块用作用于导出经并置块(例如，基础层块2的子块3B)内部的基础层运动信息的位置，而是还可使用经并置的基础层块内的其它4×4块位置。举例来说，可能需要使用在经并置的基础层块2内部的子块中的右上(例如，子块3A)、左下(例如，子块3C)、右下(例如，子块3D)、中心(例如，子块3E、3F、3G、3H中的一者)或另一者中的角落。此外，尽管实例将子块描述为4×4，但本发明的方面扩展到任何其它大小(例如，8×8及16×16)的子块。

在一些实施例中，对应的基础层经并置块中的子块的位置可为固定的，及/或取决于例如以下各者等因素：最大译码单元(LCU)、译码单元(CU)、预测单元(PU)、变换单元(TU)大小、方向间模式、分割模式、运动向量或运动向量差的幅度、参考索引、合并旗标、跳过模式、预测模式、图片内的基础层及经增强层块的物理位置及其类似者。

在一些实施例中，可使用例如平均值、加权平均值、中间值及其类似者等运算或函数联合地从经并置的基础层块内部的两个或两个以上4×4子块位置来导出运动信息。举例来说，如图8中所展示，皆可考虑通过参考数字3A到3H指示的五个位置，且其运动信息的平均值或中间值(例如，运动向量的x及y位移值的平均值或中间值)可在预测经增强层运动信息中用作来自经并置的基础层块的运动信息。

替代地或另外，当来自基础层经并置块的信息用于在译码经增强层中的后续块中的预测时，可应用本发明中所描述的技术。举例来说，基础层的经重新构造的纹理可用作经增强层的预测子(此模式可被称为INTRA_BL或TEXTURE_BL模式)。在此模式下，尽管来自经并置的基础层块的运动信息可能不用于译码经增强层处的当前块，但信息可被继承且用以填充经增强层处的当前块的运动信息，且用于预测经增强层中的后续块的运动信息(例如，用于合并/AMVP列表构造)。所提及技术中的一或多者(包含全部)可适用于从基础层导出运动信息。请注意，INTRA_BL模式在此处是作为一个实例提供。本发明中所描述的技术可应用于其它情境中，例如，残余预测模式或其它预测模式中。

除运动信息之外，本发明中所描述的技术可应用于其它类型的信息(例如，其它非图像信息)，包含帧内预测模式，其中经并置的基础层块的帧内预测模式可被继承且用以预测经增强层块的对应的帧内预测模式。可在LCU/CU/PU层级或标头(例如，切片、序列、图片标头)处传信对应位置。

在一些实施例中，视频编码器可接收较低层级层块的未经减少取样的非图像信息，且执行根据本发明中所描述的一或多个实施例的功能。此外，视频编码器可对基础层块的非图像信息减少取样。

图9说明根据实例实施例的用于译码视频数据的实例方法900，其中可用于层间预测的经运动补偿的层的最大数目为一。在此实例中，可用于层间预测的一个参考层可被称作默认层。在另一实例中，可能存在一个以上默认层。举例来说，方法900可由视频编码器20或视频解码器30的一或多个组件执行。在一些实施例中，其它组件可用以实施本文中所描述的步骤中的一或多者。

在框902处，可从存储器获得或接收关于第一层的视频信息。视频信息可包含来自第一视频层的第一块。

在框904处，可从存储器获得或接收关于第二层的视频信息。视频信息可包含来自第二视频层的第二块。

在框906处，确定第一或第二视频层中的至少一者是否为默认层。举例来说，可确定第一层或第二层中的至少一者是否为基础层或层0。如果确定第一层或第二层中的至少一者为基础层或层0，那么方法900结束。如果确定第一层或第二层中的至少一者并不是基础层或层0，那么方法900继续进行到框908。在框908处，层间预测受到限制。举例来说，方法900可禁止译码装置在层间预测模式中解码或编码第一或第二层视频信息。

图10说明根据实施例的用于译码视频数据的实例方法1000，其中可确定可用于层间预测的经运动补偿的层的任何最大数目。举例来说，方法1000可由视频编码器20或视频解码器30的一或多个组件执行。在一些实施例中，其它组件可用以实施本文中所描述的步骤中的一或多者。

在框1002处，可从存储器获得或接收关于多个层的视频信息。多个层可包含至少一个参考层及至少一个增强层。

在框1004处，可确定可用于所述多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目。举例来说，可接收指示可用于层间预测的经运动补偿的层的最大数目的旗标。

在框1006处，可基于经运动补偿的层的最大数目限制当前层中的图片的层间预测。多个层中的任一者中的图片中的每一者及当前层中的图片可包括存取单元中的图片。举例来说，在一些实施例中，可关于存取单元中的每一图片来处理可用于层间预测的经运动补偿的层的最大数目及基于经运动补偿的层的最大数目的层间预测的限制。

图11为实例视频译码器1100的功能框图。视频译码器1100包含存储模块1102、预测模块1104及限制模块1106。视频编码器20或视频解码器30的一或多个组件(例如)可用以实施存储模块1102、预测模块1104及限制模块1106。在一些实施例中，其它组件可用以实施模块中的一或多者。

存储模块1102可存储来自一或多个视频层的视频信息。预测模块1104可使用层间预测模式来确定预测信息。当出现某些条件时，限制模块1106可限制层间预测。举例来说，当待用于层间预测中的视频信息并不是来自基础层、层0或预定默认层时，限制模块1106可限制层间预测。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可按不同序列执行、可经添加、合并或完全省略(例如，对于实践所述技术来说，并不是所有所描述的动作或事件皆为必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而不是顺序地执行动作或事件。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体进行传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而不是限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存存储器或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接可恰当地被称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为，关于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。而且，所述技术可完全以一或多个电路或逻辑元件来实施。

本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或由互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供各种单元。已描述了各种实例。这些及其它实例在随附权利要求书的范围内。

Claims (34)

1.一种经配置以译码视频信息的设备，其包括：

存储器，其经配置以存储与多个层相关联的视频信息，所述多个层包括至少一个参考层及至少一个增强层；以及

处理器，其与所述存储器通信，所述处理器经配置以：

确定可用于所述多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目；以及

基于经运动补偿的层的所述最大数目限制当前层中的图片的层间预测。

2.根据权利要求1所述的设备，其中所述多个层中的任一者中的所述图片中的每一者及所述当前层中的所述图片包括存取单元中的图片。

3.根据权利要求2所述的设备，其中所述处理器经进一步配置以对于所述存取单元中的每一图片，确定经运动补偿的层的所述最大数目且基于经运动补偿的层的所述最大数目限制层间预测。

4.根据权利要求1所述的设备，其中所述至少一个参考层为层0。

5.根据权利要求1所述的设备，其中所述至少一个增强层还包括参考层。

6.根据权利要求1所述的设备，其中所述处理器经进一步配置以接收指示可用于层间预测的经运动补偿的层的所述最大数目的第一旗标。

7.根据权利要求6所述的设备，其中所述第一旗标是在以下各者中的一或多者中传信：视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头及补充增强信息SEI消息。

8.根据权利要求1所述的设备，其中所述处理器经进一步配置以在所述层间预测参考层中的每一者使用约束帧内预测的情况下，允许所述多个层中的任何两个层之间的层间预测。

9.根据权利要求1所述的设备，其中所述处理器经进一步配置以在所述处理器确定将超过经运动补偿的层的所述最大数目时，限制运动信息或残余信息的层间预测中的至少一者。

10.根据权利要求1所述的设备，其中所述处理器经进一步配置以：确定对于与所述至少一个参考层相关联的所述视频信息，是否允许层间预测；以及

确定对于与所述至少一个增强层相关联的所述视频信息，是否部分地允许层间预测，使得运动补偿不与所述至少一个增强层视频信息一起使用。

11.根据权利要求10所述的设备，其中所述处理器经进一步配置以使用所述至少一个参考层视频信息来预测与当前视频块相关联的纹理信息。

12.根据权利要求10所述的设备，其中所述处理器经进一步配置以使用所述至少一个增强层视频信息来预测与当前视频块相关联的运动信息及残余信息中的一或多者。

13.根据权利要求1所述的设备，其中所述设备包括编码器。

14.根据权利要求1所述的设备，其中所述设备包括解码器。

15.根据权利要求1所述的设备，所述设备进一步包括以下各者中的至少一者：数字电视、数字直播系统、无线广播系统、个人数字助理PDA、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话及包括所述存储器及所述处理器的视频电话会议装置。

16.一种译码视频信息的方法，其包括：

接收与多个层相关联的视频信息，所述多个层包括至少一个参考层及至少一个增强层；

确定可用于所述多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目；以及

基于经运动补偿的层的所述最大数目限制当前层中的图片的层间预测。

17.根据权利要求16所述的方法，其中所述多个层中的任一者中的所述图片中的每一者及所述当前层中的所述图片包括存取单元中的图片。

18.根据权利要求16所述的方法，其进一步包括，对于所述存取单元中的每一图片，确定经运动补偿的层的所述最大数目，且基于经运动补偿的层的所述最大数目限制层间预测。

19.根据权利要求16所述的方法，其中所述至少一个参考层为层0。

20.根据权利要求16所述的方法，其中所述至少一个增强层还包括参考层。

21.根据权利要求16所述的方法，其进一步包括接收指示可用于层间预测的经运动补偿的层的所述最大数目的第一旗标。

22.根据权利要求21所述的方法，其中所述第一旗标是在以下各者中的一或多者中传信：视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头及补充增强信息SEI消息。

23.根据权利要求14所述的方法，其进一步包括在所述层间预测参考层中的每一者使用约束帧内预测的情况下，允许所述多个层中的任何两个层之间的层间预测。

24.根据权利要求16所述的方法，其进一步包括在所述处理器确定将超过经运动补偿的层的所述最大数目时，限制运动信息或残余信息的层间预测中的至少一者。

25.根据权利要求16所述的方法，其进一步包括：

确定对于与所述至少一个参考层相关联的所述视频信息，是否允许层间预测；以及

确定对于与所述至少一个增强层相关联的所述视频信息，是否部分地允许层间预测，使得运动补偿不与所述至少一个增强层视频信息一起使用。

26.根据权利要求25所述的方法，其进一步包括使用所述至少一个参考层视频信息来预测与当前视频块相关联的纹理信息。

27.根据权利要求25所述的方法，其进一步包括使用所述至少一个增强层视频信息来预测与当前视频块相关联的运动信息及残余信息中的一或多者。

28.根据权利要求25所述的方法，其进一步包括将与所述至少一个增强层相关联的layer_id值设置为等于N-1，其中当前切片的切片layer_id具有值N。

29.一种视频译码设备，其包括：

用于接收与多个层相关联的视频信息的装置，所述多个层包括至少一个参考层及至少一个增强层；

用于确定可用于所述多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目的装置；以及

用于基于经运动补偿的层的所述最大数目限制当前层中的图片的层间预测的装置。

30.根据权利要求29所述的视频译码设备，其进一步包括：

用于确定对于与所述至少一个参考层相关联的所述视频信息是否允许层间预测的装置；以及

用于确定对于与所述至少一个增强层相关联的所述视频信息是否部分地允许层间预测以使得运动补偿不与所述至少一个增强层视频信息一起使用的装置。

31.根据权利要求29所述的视频译码设备，其进一步包括：

用于接收指示可用于层间预测的经运动补偿的层的所述最大数目的第一旗标的装置。

32.一种非暂时性计算机可读媒体，其具有存储于其上的代码，所述代码在经执行时致使设备进行以下操作：

接收与多个层相关联的视频信息，所述多个层包括至少一个参考层及至少一个增强层；

确定可用于所述多个层中的任一者中的图片的层间预测的经运动补偿的层的最大数目；以及

基于经运动补偿的层的所述最大数目限制当前层中的图片的层间预测。

33.根据权利要求32所述的非暂时性计算机可读媒体，其进一步具有存储于其上的代码，所述代码在经执行时致使所述设备进行以下操作：

确定对于与所述至少一个参考层相关联的所述视频信息，是否允许层间预测；以及

确定对于与所述至少一个增强层相关联的所述视频信息，是否部分地允许层间预测，使得运动补偿不与所述至少一个增强层视频信息一起使用。

34.根据权利要求32所述的非暂时性计算机可读媒体，其进一步具有存储于其上的代码，所述代码在经执行时致使所述设备接收指示可用于层间预测的经运动补偿的层的所述最大数目的第一旗标。