CN105191310A - 用于视频译码的并行处理 - Google Patents

Abstract

在一个实例中，一种用于对视频数据进行译码的装置包含视频译码器，所述视频译码器经配置以：针对增强层图片的瓦片对指示在所述增强层图片的所述瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码；对对应于所述瓦片数目的所述基础层图片的瓦片进行译码；以及在对所述基础层图片的所述瓦片进行译码之后，与所述基础层图片中的至少一个其它瓦片大体上并行地对所述增强层图片的所述瓦片进行译码。

Description

用于视频译码的并行处理

本申请案主张2013年3月5日申请的第61/773,095号美国临时申请案、2013年4月5日申请的第61/808,734号美国临时申请案以及2013年5月3日申请的第61/819,494号美国临时申请案的权益，以上每一申请案的整个内容特此以引用的方式并入本文。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准，及此些标准的扩展。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生用于待译码块的预测块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，接着可对残余变换系数进行量化。可以扫描起初用二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。

发明内容

一般来说，本发明描述用于视频译码的并行处理的技术。举例来说，本发明描述用于高效率视频译码(HEVC)标准的可缩放扩展中的并行处理的技术，但所述技术可应用于其它视频译码标准和此些标准的扩展，例如多视图HEVC(MV-HEVC)。描述若干实例解决方案用于当对于每一层使用一个以上瓦片时有效地执行跨越层(可包含各种尺寸的可缩放层以及多个视图)的并行处理、上取样、层间滤波、例如层间运动/模式预测等层间语法预测，以及例如textureBl的层间纹理预测、层间残余预测等，且其中每一层可为可缩放层、视图或深度。

在一个实例中，一种对视频数据进行解码的方法包含：当对视频数据的增强层瓦片中的增强层块进行解码时，防止使用从位于同一地点的基础层块的层间纹理预测或层间语法预测对所述增强层块进行解码，其中跨越包含增强层瓦片和基础层块两者的存取单元中的参考层图片中的瓦片边界的层间滤波或参考层滤波经启用；以及当跨越所述参考层图片中的瓦片的边界的层间滤波或参考层滤波经启用时与所述增强层块大体上并行地对所述位于同一地点的基础层块进行解码。

在另一实例中，一种对视频数据进行编码的方法包含：当对视频数据的增强层瓦片中的增强层块进行编码时，防止使用从位于同一地点的基础层块的层间纹理预测或层间语法预测对所述增强层块进行编码，其中跨越包含增强层瓦片和基础层块两者的存取单元中的参考层图片中的瓦片边界的层间滤波或参考层滤波经启用；以及当跨越所述参考层图片中的瓦片的边界的层间滤波或参考层滤波经启用时与所述增强层块大体上并行地对所述位于同一地点的基础层块进行编码。

在另一实例中，一种用于对视频数据进行译码的装置包含视频译码器(例如，视频编码器或视频解码器)，其经配置以：当对视频数据的增强层瓦片中的增强层块进行译码时，防止使用从位于同一地点的基础层块的层间纹理预测或层间语法预测对所述增强层块进行译码，其中跨越包含增强层瓦片和基础层块两者的存取单元中的参考层图片中的瓦片边界的层间滤波或参考层滤波经启用；以及当跨越所述参考层图片中的瓦片的边界的层间滤波或参考层滤波经启用时与所述增强层块大体上并行地对所述位于同一地点的基础层块进行译码。

在另一实例中，一种用于对视频数据进行译码的装置包含：用于当对视频数据的增强层瓦片中的增强层块进行译码时防止使用从位于同一地点的基础层块的层间纹理预测或层间语法预测对所述增强层块进行译码的装置，其中跨越包含增强层瓦片和基础层块两者的存取单元中的参考层图片中的瓦片边界的层间滤波或参考层滤波经启用；以及用于当跨越所述参考层图片中的瓦片的边界的层间滤波或参考层滤波经启用时与所述增强层块大体上并行地对所述位于同一地点的基础层块进行译码的装置。

在另一实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时致使处理器：当对视频数据的增强层瓦片中的增强层块进行译码时，防止使用从位于同一地点的基础层块的层间纹理预测或层间语法预测对所述增强层块进行译码，其中跨越包含增强层瓦片和基础层块两者的存取单元中的参考层图片中的瓦片边界的层间滤波或参考层滤波经启用；以及当跨越所述参考层图片中的瓦片的边界的层间滤波或参考层滤波经启用时与所述增强层块大体上并行地对所述位于同一地点的基础层块进行译码。

在另一个实例中，一种对视频数据进行解码的方法包含对表示是否可使用层间预测预测增强层图片的瓦片的数据进行解码，以及仅当所述数据指示可使用层间预测预测所述瓦片时使用层间预测预测所述瓦片的数据。

在另一个实例中，一种对视频数据进行编码的方法包含对表示是否可使用层间预测预测增强层图片的瓦片的数据进行编码，以及仅当所述数据指示可使用层间预测预测所述瓦片时使用层间预测预测所述瓦片的数据。

在另一个实例中，一种用于对视频数据进行译码的装置包含视频译码器(例如，视频解码器或视频编码器)，其经配置以对表示是否可使用层间预测预测增强层图片的瓦片的数据进行译码，以及仅当所述数据指示可使用层间预测预测所述瓦片时使用层间预测预测所述瓦片的数据。

在另一个实例中，一种对视频数据进行译码的装置包含用于对表示是否可使用层间预测预测增强层图片的瓦片的数据进行译码的装置，以及用于仅当所述数据指示可使用层间预测预测所述瓦片时使用层间预测预测所述瓦片的数据的装置。

在另一个实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时致使处理器对表示是否可使用层间预测预测增强层图片的瓦片的数据进行译码，以及仅当所述数据指示可使用层间预测预测所述瓦片时使用层间预测预测所述瓦片的数据。

在另一个实例中，一种对视频数据进行解码的方法包含：对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行解码；以及至少部分地基于所述语法元素的值而对所述增强层图片样本进行解码。

在另一个实例中，一种对视频数据进行编码的方法包含：对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行编码；以及至少部分地基于所述语法元素的值而对所述增强层图片样本进行编码。

在另一个实例中，一种用于对视频数据进行译码的装置包含视频译码器(例如，视频编码器或视频解码器)，其经配置以：对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行译码；以及至少部分地基于所述语法元素的值而对所述增强层图片样本进行译码。

在另一个实例中，一种用于对视频数据进行译码的装置包含：用于对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行译码的装置；以及用于至少部分地基于所述语法元素的值而对所述增强层图片样本进行译码的装置。

在另一个实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时致使处理器：对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行译码；以及至少部分地基于所述语法元素的值而对所述增强层图片样本进行译码。

在另一个实例中，一种对视频数据进行解码的方法包含：针对增强层图片的瓦片对指示在增强层图片的瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行解码；对对应于所述瓦片数目的基础层图片的瓦片进行解码；以及在对基础层图片的瓦片进行解码之后，对增强层图片的瓦片进行解码。

在另一个实例中，一种对视频数据进行编码的方法包含：针对增强层图片的瓦片对指示在增强层图片的瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行编码；对对应于所述瓦片数目的基础层图片的瓦片进行编码；以及在对基础层图片的瓦片进行编码之后，对增强层图片的瓦片进行编码。

在另一个实例中，一种用于对视频数据进行译码的装置包含视频译码器(例如，视频编码器或视频解码器)，其经配置以：针对增强层图片的瓦片对指示在增强层图片的瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码；对对应于所述瓦片数目的基础层图片的瓦片进行译码；以及在对基础层图片的瓦片进行译码之后，对增强层图片的瓦片进行译码。

在另一个实例中，一种用于对视频数据进行译码的装置包含：用于针对增强层图片的瓦片对指示在增强层图片的瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码的装置；用于对对应于所述瓦片数目的基础层图片的瓦片进行译码的装置；以及用于在对基础层图片的瓦片进行译码之后对增强层图片的瓦片进行译码的装置。

在另一个实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令在执行时致使处理器：针对增强层图片的瓦片对指示在增强层图片的瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码；对对应于所述瓦片数目的基础层图片的瓦片进行译码；以及在对基础层图片的瓦片进行译码之后，对增强层图片的瓦片进行译码。

一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。

附图说明

图1是说明可利用用于并行处理视频数据的技术的实例视频编码和解码系统的框图。

图2为说明可实施用于并行处理视频数据的技术的视频编码器的实例的框图。

图3是说明可实施用于并行处理视频数据的技术的视频解码器的实例的框图。

图4是说明用于可缩放视频译码(SVC)的各种可缩放尺寸的概念图。

图5为说明SVC译码结构的实例的概念图。

图6为说明实例存取单元(AU)的概念图。

图7为说明根据高效率视频译码(HEVC)标准的实例瓦片的概念图。

图8为说明用于波前并行处理(WPP)的波前的概念图。

图9是说明HEVC的SVC扩展(SHVC)解码器中的并行处理的实例的概念图。

图10展示其中一些增强层(EL)样本并不具有对应基础层样本的扩展空间可缩放性的实例。

图11展示其中一些基础层(BL)样本不具有对应增强层样本的扩展空间可缩放性的实例。

图12是说明参考层图片和增强层图片的概念图。

图13是说明具有不同纵横比的实例图片的概念图。

图14是说明具有不同数目的瓦片的增强层图片和参考层图片的概念图。

图15是说明根据本发明的技术的用于启用或停用层间预测的实例方法的流程图。

图16是说明根据本发明的技术的用于当图片具有不同纵横比时并行地对增强层和参考层的图片进行译码的实例方法的流程图。

图17是说明基于增强层图片的瓦片边界是否与参考层图片的瓦片边界对准而对增强层图片进行译码的实例方法的流程图。

图18是说明根据本发明的技术的用于即使当瓦片边界不对准时也与参考层图片并行地对增强层图片的瓦片进行译码的实例方法的流程图。

具体实施方式

视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual及ITU-TH.264(也称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。SVC及MVC的联合草案描述于“用于通用视听服务的高级视频译码(Advancedvideocodingforgenericaudiovisualservices)”(ITU-T推荐H.264，2010年3月)中。

此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC，也被称作ITU-TH.265，描述于以下文献中：ITU-TH.265系列H：视听和多媒体系统，视听服务的基础结构-移动视频的译码，高效率视频译码，2013年4月，其在http://www.itu.int/rec/T-REC-H.265-201304-I/en可用。

下文关于图4到9阐释关于SVC、关于H.264/AVC的SVC扩展及HEVC的SVC扩展两者的某些细节。

多层译码上下文中用于并行处理的现有解决方案可与至少以下问题相关联：

在HEVC扩展中，可存在与同一存取单元或不同存取单元中的不同层有关的较多帧间相依性。举例来说，增强层图片的解码可取决于经解码参考层图片。HEVC的SVC扩展(SHVC)采用多环路可缩放解码框架。在当前SHVC框架中，当前层图片取决于(通过任何类型的层间预测)的所有参考层图片必须经解码以开始解码当前层图片。这可增加用于一些解码系统的某些并行处理架构中的总编解码器延迟。

另外，当并行处理每一层中具有一个以上瓦片的不同层时，用于一些区的上取样、层间滤波或层间语法预测可越过参考层图片中的瓦片边界。由于关于瓦片的并行处理，无法保证沿着瓦片边界的参考层图片中的经重构样本的可用性，使得无法恰当地执行上取样或层间滤波。因此，上取样或层间滤波必须推迟直到整个参考层图片经解码或不同层的并行处理被部分地打破。

此外，K·苏赫林(K.Sühring)等人的“SHVC和MV-HEVC的瓦片边界对准和层间预测约束”(JCTVC-M0464，2013年4月，下文为“JCTVC-M0464”)中描述的瓦片边界对准的规范与至少以下问题相关联。对于扩展空间可缩放性或纵横比可缩放性使用情况情形，增强层样本可能不具有对应基础层样本，且反之亦然。因此，如F·亨利(F.Henry)和S·帕图克斯(S.Pateux)的“波前并行处理”(JCTVC-E196，2011年3月，下文为“JCTVC-E196”)中描述的瓦片边界对准的规范可完全不允许跨越层使用瓦片。图10展示其中增强层样本不具有对应基础层样本的扩展空间可缩放性情形的实例。图11展示其中基础层样本不具有对应增强层样本的扩展空间可缩放性情形的实例。JCTVC-M0464和JCTVC-E196特此以全文引用的方式并入本文。

图10展示其中一些(增强层)EL样本不具有对应基础层样本的实例扩展空间可缩放性。图11展示其中一些(基础层)BL样本不具有对应增强层样本的扩展空间可缩放性的实例。

本发明描述例如HEVC的扩展中的可用以支持并行处理的两个类别的技术。来自这两个类别的技术可单独或独立地使用。所述技术可应用于可缩放视频译码、多视图视频译码(具有或不具有深度)以及对HEVC的其它扩展和其它视频编解码器。第一类别是针对受限层间预测。第二类别是针对信令。下文更详细地阐释来自两个类别的技术的实例。

图1是说明可利用用于并行处理视频数据的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可以根据通信标准(例如，无线通信协议)来调制，并且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。

在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。

目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置的发射可能是流式发射、下载发射或两者的组合。

本发明的技术不一定限于无线应用或环境。所述技术可以应用于视频译码并且支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如动态自适应HTTP串流(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于并行处理视频数据的技术。在其它实例中，源装置和目的地装置可包括其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成显示装置。

图1的说明的系统10只是一个实例。用于并行处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术总体上通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术还可通过视频预处理器执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频流式传输、视频回放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如相机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器20编码所俘获、预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码视频数据，并且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生成含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，其包含描述块及其它经译码单元(例如GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可以根据一种视频译码标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可以根据其它专有或业界标准来操作，所述标准例如ITU-TH.264标准(替代地被称作MPEG-4第10部分高级视频译码(AVC))，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-TH.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用，MUX-DEMUX单元可符合ITUH.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

ITU-TH.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用视听服务的高级视频译码(AdvancedVideoCodingforgenericaudiovisualservices)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频组(JVT)持续致力于扩展H.264/MPEG-4AVC。

视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的部分。

JCT-VC已经开发HEVC标准且正致力于对HEVC标准的可缩放和多视图扩展。所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现有装置的几个额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可划分成包含明度和色度样本两者的一序列树块或最大译码单元(LCU)。位流内的语法数据可以定义LCU的大小，LCU是在像素数目方面的最大译码单元。切片包含呈译码次序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可以根据四叉树而分裂成多个译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一个节点可包括一个分裂旗标，这表明对应于所述节点的所述CU是否分裂成子CU。可以取决于所述CU是否分裂成子CU来递归地定义CU的语法元素。如果CU未经进一步分裂，那么将其称作叶CU。在本发明中，叶CU的4个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也如此。举例来说，如果16x16大小的CU未经进一步分裂，那么尽管16x16CU从未经分裂，四个8x8子CU也将被称作叶CU。

CU具有类似于H.264标准的宏块的用途，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，还被称作叶CU。与经译码位流相关联的语法数据可以定义树块可以分裂的最大次数(被称作最大CU深度)，并且还可定义译码节点的最小大小。所以，位流还可定义最小译码单元(SCU)。本发明使用术语“块”指代HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可以在从8x8像素直到具有最大64x64像素或更大的树块的大小的范围内。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU不进一步分裂时，其可被称为叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。也就是说，总体上应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因而，TU比PU大或小。对于帧内译码，PU可以与相同CU的相对应的叶TU位于同一地点。在一些实例中，叶TU的最大大小可以对应于对应的叶CU的大小。

此外，叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未分裂的RQT的TU被称作叶TU。一般来说，除非另有陈述，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)总体上包括一系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为一实例，HEVC支持各种PU大小的预测。假设特定CU的大小是2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称划分。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％和75％。CU的对应于25％分割区的部分表示成“n”，接着是用“上”、“下”、“左”或“右”指示。因此，例如，“2NxnU”是指经水平分割的2Nx2NCU，其中顶部为2Nx0.5NPU，而底部为2Nx1.5NPU。

在本发明中，“NxN”与“N乘N”可以互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，NxN块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算用于CU的TU的残余数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)变换域中的系数。残余数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化总体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍入到m位值，其中n大于m。

在量化之后，视频编码器可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描顺序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器还20可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可以选择用于待发射的符号的可变长度码。可构造VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。以此方式，使用VLC可以举例来说实现优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派给符号的上下文。

根据本发明的技术，视频编码器20和/或视频解码器30可经配置以实施来自上文所论述的类别中的任一者或两者的技术。也就是说，视频编码器20和/或视频解码器30可经配置以执行来自第一类别(其涉及限制层间预测)和来自第二类别(其涉及信令)的技术。

下文阐释来自第一类别的技术的若干实例。这些技术可单独使用，或与彼此和/或与来自第二类别的技术任意组合而使用。

在第一类别的技术的第一实例中，可对准参考层和增强层的瓦片边界。不失一般性，图9(下文描述)展示4个瓦片用于参考和增强层。在此情况下，视频编码器20和/或视频解码器30可通过4个处理器核心执行译码，所述处理器核心中的每一者专用于瓦片中的相应一者。为了保证所述4个瓦片的并行处理，不允许层间滤波的上取样跨越参考层中的瓦片边界。对于增强瓦片，如果参考层样本属于不对准于此增强瓦片的瓦片，那么参考层位于同一地点的样本被视为不可用。举例来说，在图9中，当进行瓦片E0的上取样或层间滤波时，瓦片B1中的样本被视为不可用。因此，沿着用于上取样或层间滤波的参考层瓦片边界的填补可为必要的。填补指代填充在瓦片边界的另一侧上的像素的值，例如通过将默认值添加到这些像素或延伸沿着瓦片边界的块的值。

换句话说，层间预测可需要某一程度的上取样，其通常利用基础层瓦片的像素以产生用于上取样像素的值以产生较高分辨率预测性瓦片。根据第一类别的此第一实例，当增强层的块对应于基础层中的瓦片边界处的块时，且当上取样将利用跨越瓦片边界的像素时，视频编码器20和/或视频解码器30可实际上将跨越瓦片边界的像素视为不可用，且填补这些像素的值。

类似地，当参考层和增强层的瓦片边界对准时，包含解块和样本自适应偏移(SAO)的环路滤波器不被允许跨越参考层中的瓦片边界来启用并行编码/解码；通过将参考层的loop_filter_across_tiles_enabled_flag限制为零可满足此情况。

类似地，在此第一实例中，不允许层间语法预测跨越参考层中的瓦片边界。作为一实例，在基于BL内的SHVC解决方案中，当位于同一地点的块位于非对准瓦片中时，参考层位于同一地点的合并或AMVP运动候选者可被标记为不可用。作为又一实例，在基于参考索引(仅高级语法)的SHVC解决方案中，在运动字段上取样/映射期间可复位或削减靠近瓦片边界(例如，在预定义数目的像素、CU、PU或类似物内)的区的运动信息。

作为第一类别中的第二实例技术，应用编码器约束以使得增强瓦片中没有CU/PU是从可具有跨越同一存取单元中的参考图片中的瓦片的层间滤波或参考层滤波的位于同一地点的CU/PU经层间纹理预测或层间语法预测。为了指示此情况，可使用视频可用性信息(VUI)旗标，如下文表1中示出，其中斜体文字表示对HEVC的语法的添加：

表1

因此，表1包含额外语法元素inter_layerpred_not_along_tile_boundary_flag。此语法元素的语义可如下经界定：等于1的inter_layerpred_not_along_tile_boundary_flag指示不同层的瓦片边界对准，且当位于同一地点的参考层CU或PU可具有跨越瓦片的层间滤波或参考层滤波时沿着/跨越增强层CU或PU的瓦片边界不允许层间纹理预测。层间滤波还可包含层间SAO、层间上取样、层间环路滤波器等。参考层滤波可包含参考层SAO、参考层环路滤波器等。瓦片边界的对准意指对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的参考层样本(如果可用)将也处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本(如果可用)也将处于同一增强层瓦片内。等于0的语法元素inter_layerpred_not_along_tile_boundary_flag指示对层当中的瓦片配置不存在限制。当位流中不存在inter_layerpred_not_along_tile_boundary_flag时，其将推断为等于0。

或者，此语法元素的语义可如下界定：等于1的inter_layerpred_not_along_tile_boundary_flag指示不同层的瓦片边界对准，且沿着/跨越瓦片边界不允许层间纹理预测和层间语法预测以使得任何增强层瓦片可经解码而无需解码任何非对准基础层瓦片。瓦片边界的对准意指对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的参考层样本(如果可用)也将处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本(如果可用)也将处于同一增强层瓦片内。等于0的语法元素inter_layerpred_not_along_tile_boundary_flag指示对层当中的瓦片配置不存在限制。当位流中不存在inter_layerpred_not_along_tile_boundary_flag时，其将推断为等于0。

或者，所述旗标可在应用于含有具有相似语义的SEI消息的经译码视频序列的SEI消息中用信号表示。

换句话说，当视频编码器20或视频解码器30正对存取单元的增强层瓦片中的增强层块进行译码(例如，编码或解码)时，且当跨越存取单元的参考图片中的瓦片的层间滤波或参考层滤波经启用时，视频编码器20或视频解码器30可防止(例如，停用)使用从参考图片的位于同一地点的基础层块的层间纹理预测或层间语法预测对增强层块的译码。

作为第一类别中的第三实例技术，在扩展空间可缩放性中，参考层和增强层可具有不同图片纵横比，例如对于参考层的4:3和对于增强层的16:9。也就是说，基础层可包含用于产生4:3纵横比视频的充足视频数据，而增强层可包含用于产生16:9纵横比视频的充足视频数据。在此情况下，可存在大的增强层区，其不具有参考层中的对应部分，使得对于这些区(即，位于基础层的4:3纵横比区之外的增强层图片中的区)不可进行层间预测。当这些区(处于基础层的4:3纵横比区之外的增强层图片中)以及可经层间预测的区在不同瓦片中经译码时，可获得层之间的较好并行处理。

为了在位流中指示此情况，可译码新的SEI消息，在实例中名为瓦片层间预测信息SEI消息，具有相对于表2描述的以下语法和语义：

表2

在此实例中，sei_pic_parameter_set_id指定由与瓦片层间预测信息SEI消息相关联的图片参考的PPS的pps_pic_parameter_set的值。sei_pic_parameter_set_id的值应在0到63的范围中(包含性)。

或者，sei_pic_parameter_set_id可经固定长度译码，例如为u(6)而不是经译码为ue(v)。

在此实例中，等于1的non_interlayer_pred_flag[i][j]指示没有纹理或语法的层间预测用于第i瓦片列和第j瓦片行中的瓦片。等于0的non_interlayer_pred_flag[i][j]指示纹理或语法的层间预测可用于第i瓦片列和第j瓦片行中的瓦片。

作为第一类别中的第四实例技术，在韩国仁川的第13次JCTVC会议中，如用于HEVC扩展的JCTVC-M0464中那样已采用瓦片边界对准旗标。以下技术更具体来说涉及用于扩展空间可缩放性和纵横比可缩放性使用情况情形的瓦片边界对准。

在此实例中，如下修改瓦片边界对准旗标的语义，其中前面是“移除”的带括号文字指示从先前定义的删除：等于1的tile_boundaries_aligned_flag指示[移除：“对应基础层图片的所有瓦片边界具有给定增强层中的对应瓦片边界，且增强层中不存在额外瓦片边界。这意味着，”]对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的参考层样本(如果可用)将也处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本(如果可用)也将处于同一增强层瓦片内。等于0的tile_boundaries_aligned_flag指示对在对应增强层与给定参考层之间的瓦片配置不存在限制。

并且，可注意到，对于扩展空间可缩放性情况，与参考层相比增强层中可能存在额外瓦片边界，并且还替代地与增强层相比参考层中可能存在额外瓦片边界。

作为第一类别中的第五实例技术，替代地，对于扩展可缩放性或纵横比可缩放性使用情况，瓦片边界对准旗标可正规地约束于零。在此实例中，以下约束添加到tile_boundaries_aligned_flag：当extended_spatial_scalability_idc大于零时tile_boundaries_aligned_flag应等于零。或者，当用于再取样过程的几何参数中的至少一者具有非零值时tile_boundaries_aligned_flag应等于零。所述几何参数包含scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offset。

第二类别的技术涉及用于并行处理的信令。SHVC采用多环路可缩放解码框架，其中当前层图片取决于(尽管任何类型的层间预测)的所有参考层图片必须经解码以开始解码当前层图片。然而，解码器可并行处理不同层。可有益的是在只要参考层图片的部分区的解码完成时用于增强层的解码器线程就可开始解码。参考层图片的此部分解码可对应于一或多个瓦片。

也可以注意到，较小瓦片可增加并行度，但同时减少译码效率，且反之亦然。因此，对于空间可缩放性情况，增强和参考层图片可能使用不同瓦片结构。在此情况下，可能需要解码器具有界定参考层图片中在开始解码增强层瓦片之前需要解码的瓦片的最大数目的信息，例如以进一步实现总编解码器延迟减少。

在第二类别的第一实例技术中，使用与增强层中的每一瓦片相关联的新语法元素，例如名为max_ref_tile_dec_idc_minus1[i]，视频编码器20可用信号表示且视频解码器30可接收此值。此语法元素的语义可如下：max_ref_tile_dec_idc_minus1[i]加1指示当前层图片的参考层图片中需要在当前瓦片可经解码之前解码的对应瓦片的最大数目。

视频解码器30可基于参考层图片的瓦片扫描次序而导出对应瓦片为连续瓦片。语法元素可在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头、视频可用性信息(VUI)中用信号表示，或作为补充增强信息(SEI)消息或其它语法结构而用信号表示，优选地基于tile_enable_flag而调节，且对于具有等于0的nuh_layer_id的层图片不用信号表示。

在第二类别的第二实例技术(其在第二类别的第一实例技术上扩展)中，使用与增强层中的每一瓦片相关联且用于当前增强层图片取决于的每一参考层图片的新语法元素，例如名为max_ref_tile_dec_idc_minus1[i][j]，视频编码器20可用信号表示且视频解码器30可接收值。此语法元素的语义可如下：max_ref_tile_dec_idc_minus1[i][j]加1指示当前层图片的第j参考层图片中需要在第i当前瓦片可经解码之前解码的对应瓦片的最大数目。

视频解码器30可基于参考层图片的瓦片扫描次序而导出对应瓦片为连续瓦片。所述语法元素可在VPS、SPS、PPS、切片标头、VUI或SEI消息或其它语法结构中用信号表示，优选地基于tile_enable_flag而经调节，且针对具有等于0的nuh_layer_id的层图片不用信号表示。

在第二类别的第三实例技术(其可在第二类别中的第一实例技术上扩展)中，通过在位流中，例如在VPS、SPS、PPS、切片标头、VUI或SEI消息或其它语法结构中明确地用信号表示对应瓦片的瓦片ID也可以指示增强层瓦片的对应瓦片。

在第二类别的第四实例技术(其可在第二类别中的第一和/或第二实例技术上扩展)中，可针对增强层用信号表示参考层处的瓦片扫描过程以启用任意瓦片扫描过程。

第二类别的第五实例技术涉及跨越瓦片边界的层间滤波。类似于HEVC草案中界定的旗标loop_filter_across_tiles_enabled_flag，为了实现跨越来自不同层的瓦片的经改善的并行处理，提出定义具有以下语义的旗标，例如称为interlayer_filter_across_tiles_enabled_flag：等于1的interlayer_filter_across_tiles_enabled_flag指定跨越参考层瓦片边界执行层间滤波操作。等于0的interlayer_filter_across_tiles_enabled_flag指定跨越瓦片边界不执行层间滤波操作。层间滤波操作可包含层间SAO、层间ALF和/或上取样。所述旗标可在VPS、SPS、PPS、切片标头或其它语法结构中用信号表示。

第二类别的第六实例技术涉及跨越瓦片边界的层间预测。在此第六实例技术中，提出定义具有以下语义的旗标，例如称为interlayer_pred_across_tiles_enabled_flag：等于1的interlayer_pred_across_tiles_enabled_flag指定跨越参考层瓦片边界执行层间预测操作。等于0的interlayer_pred_across_tiles_enabled_flag指定跨越瓦片边界不执行层间滤波操作。层间预测可包含纹理、运动、语法或残余的预测。所述旗标可在VPS、SPS、PPS、切片标头或其它语法结构中用信号表示。

本发明还描述涉及基于瓦片的上取样的技术。视频编码器20和/或视频解码器30可经配置以执行本发明的基于瓦片的上取样技术。实际上，沿着和/或跨越瓦片边界不允许上取样可能不是优选的。也就是说，根据本发明的技术，允许沿着和/或跨越瓦片边界的上取样可为优选的。

作为一实例，视频编码器20和视频解码器30可对指示基于瓦片的上取样是否经启用(例如，用于对应增强层)的语法元素(例如，用于一或多个增强层的SPS、PPS或VPS中的旗标)进行译码。举例来说，下文表3中所示的语法可在SPS中用信号表示，其中斜体语法元素表示相对于用于SPS的常规语法的添加：

表3

此语法元素的语义可如下界定：等于0的resampling_filter_across_tiles_enabled_flag指定基于图片的上取样经启用。等于1的Resampling_filter_across_tiles_enabled_flag指定基于瓦片的上取样经启用。

当基于瓦片的上取样经启用时，视频编码器20和视频解码器30可以与上取样过程中的图片边界的方式相同的方式处理瓦片边界。也就是说，在需要当前瓦片外部的像素样本(可在当前图片内部或外部)用于上取样时，视频编码器20和视频解码器30可以从当前瓦片内部的那些像素的像素填补产生像素的值。填补过程可与例如由HEVC针对当前图片外部的像素界定的过程相同。

相似原理也可应用于层间滤波。层间滤波操作可包含层间ALF和/或用于SNR的平滑滤波器及类似物。下文表4表示指示层间滤波操作是否经启用的语法数据的实例，其中斜体文字表示对所提议的标准的先前版本的添加。

表4

此语法元素的语义可如下界定：等于0的inter_layer_filter_across_tiles_enabled_flag指定基于图片的层间滤波经启用。等于1的Inter_layer_filter_across_tiles_enabled_flag指定基于瓦片的层间滤波经启用。当(例如，在SPS中)不存在时，视频解码器30可推断inter_layer_filter_across_tiles_enabled_flag的值等于0。类似于基于瓦片的上取样过程，当基于瓦片的层间滤波经启用时，视频编码器20和视频解码器30可以与层间滤波过程中的图片边界相同的方式处理瓦片边界。

本发明还描述用于在切片和/或瓦片边界周围的SAO和解块滤波器之前使用经重构像素的上取样的技术。在PPS中，等于1的loop_filter_across_tiles_enabled_flag可指定可跨越参考PPS的图片中的瓦片边界执行环路内滤波操作。等于0的Loop_filter_across_tiles_enabled_flag可指定跨越参考PPS的图片中的瓦片边界不执行环路内滤波操作。环路内滤波操作可包含解块滤波器及样本自适应偏移滤波器操作。当不存在时，loop_filter_across_tiles_enabled_flag的值可推断为等于1。

在一些实例中，视频编码器20和视频解码器30可对指示在执行参考层环路滤波过程之前(或之后)是否使用经重构像素执行基于瓦片的上取样的语法元素(例如，用于每一增强层的SPS或VPS中的旗标)进行译码。表5表示可在SPS中用信号表示的指示在参考层环路滤波过程之前是否使用经重构像素执行基于瓦片的上取样的语法数据的实例，其中斜体文字表示本发明所提议的对所提议标准的先前版本的添加。

表5

此语法元素的语义可如下界定：等于0的resampling_filter_before_loop_filter_across_tiles_enabled_flag指定基于瓦片的上取样在参考层环路滤波过程之前使用经重构像素。等于1的Resampling_filter_across_tiles_enabled_flag指定基于瓦片的上取样在参考层环路滤波之后使用经重构像素。当不存在时，视频解码器30可推断resampling_filter_across_tiles_enabled_flag的值等于1。相似原理可应用于层间滤波。同样，除瓦片边界之外或替代于瓦片边界，相似原理可应用于切片边界。术语“子图片单元”可指代切片、瓦片、波前、CTU的行或小于完整图片且包含多个CTU的其它此类单元。因此，上文技术可描述为用于对指示是否在执行参考层环路滤波过程之前使用经重构像素执行基于子图片单元的上取样的数据进行译码的技术。

本发明还描述涉及基于波前并行处理(WPP)的上取样的技术。实际上，对于使用WPP的低延迟应用，沿着/跨越垂直CTU边界不允许上取样(或对于SNR情况的平滑滤波)是不优选的。也就是说，可能需要允许跨越/沿着垂直CTU边界的上取样(或平滑滤波)。作为一个实施方案实例，视频编码器20和视频解码器30可经配置以使用填补来避免当执行层间滤波时使用来自下方和右边CTU的数据。此实施方案仅要求在增强层CTU之前对参考层CTU进行译码。

根据本发明的技术，视频编码器20和视频解码器30可经配置以对指示基于WPP的层间滤波是否经启用的语法元素(例如，用于每一增强层的SPS或VPS中的旗标)进行译码。举例来说，视频编码器20和视频解码器30可根据下文表6对SPS中的语法数据进行译码，其中斜体文字表示本发明所提议的添加。

表6

此语法元素的语义可如下界定：等于0的resampling_filter_across_wpps_enabled_flag指定基于图片的上取样经启用。等于1的resampling_filter_across_wpps_enabled_flag指定基于CTU行的上取样经启用。当不存在时，视频解码器30可推断resampling_filter_across_wpps_enabled_flag的值等于0。

当基于CTU行的上取样经启用时，视频编码器20和视频解码器30可以与上取样过程中的图片边界的方式相同的方式处理CTU行边界。也就是说，在需要当前CTU行外部的像素样本(可在当前图片内部或外部)用于上取样时，视频编码器20和视频解码器30可以从当前CTU行内部的那些像素的像素填补产生像素的值。填补过程可与例如根据HEVC针对当前图片外部的像素界定的过程相同。

视频编码器20可例如在帧标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，及帧语法数据可指示用以对对应帧进行编码的编码/预测模式。

视频编码器20和视频解码器30各自可以经实施为可适用的多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为组合视频编码器/解码器(编解码器)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

图2为说明可实施用于并行处理视频数据的技术的视频编码器20的实例的框图。视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指代若干基于时间的译码模式中的任一者。

如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重构视频移除成块效应假象。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未图示这些滤波器，但是必要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可以划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，以针对每一视频数据块选择一种适当的译码模式。

此外，分割单元48可以基于先前译码遍次中的先前分割方案的评估将视频数据块分割成若干子块。举例来说，分割单元48可起初将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分割信息和其它这些语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可以相对于完整像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量而获取或产生预测块。同样，在一些实例中，运动估计单元42和运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44针对色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的供视频解码器30在解码视频切片的视频块时使用的语法元素。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。明确地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以(例如)在单独的编码编次期间使用各种帧内预测模式来编码当前块，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式指数表及多个经修改的帧内预测模式指数表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测模式指数表及经修改的帧内预测模式指数表的指示以用于所述上下文中的每一者。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示可执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码而论，上下文可以基于相邻块。在由熵编码单元56进行熵译码之后，可以将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58和逆变换单元60分别应用逆量化和逆变换，以重构像素域中的残余块，例如以用于稍后用作参考块。运动补偿单元44可以通过将残余块加到参考图片存储器64中的帧中的一者的预测性块来计算参考块。参考图片存储器64可实施或包含经解码图片缓冲器(DPB)。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残余块以计算子整数像素值用于运动估计。求和器62将经重构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重构的视频块以用于存储于参考图片存储器64中。经重构的视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。

视频编码器20表示可经配置以单独或以任何组合执行本发明的技术中的任一者的视频编码器的实例。举例来说，视频编码器20可经配置以确定参考层图片是否已启用跨越瓦片边界的滤波，且如果是，那么停用从参考层图片的增强层图片的层间预测。另外或替代地，视频编码器20可经配置以编码参考层图片，且大体上并行地对具有较大纵横比的增强层图片进行编码，其中视频编码器20可使用层间预测对增强层图片的重叠部分进行编码且无需使用层间预测对增强层图片的不重叠部分进行编码。另外或替代地，视频编码器20可对指示增强层的瓦片边界是否与参考层图片的瓦片边界对准的语法元素进行编码，且基于所述语法元素对增强层图片进行编码。也就是说，视频编码器20可在瓦片边界不对准的情况下停用层间预测，但在瓦片边界对准的情况下启用层间预测。另外或替代地，视频编码器20可对指示在增强层瓦片可经编码之前待编码的参考层瓦片的数目的一增强层瓦片的语法元素进行编码，且随后在对参考层瓦片的所述数目进行编码之后，对增强层瓦片进行编码。这些各种编码操作中的任一者或全部可与其它编码操作并行执行，其中的限制是用于编码增强层瓦片的用于层间预测的参考层瓦片是在增强层瓦片经编码之前编码。

图3是说明可实施用于并行处理视频数据的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器80。参考图片存储器82可实施或包含经解码图片缓冲器(DPB)。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频块的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧被译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生所述预测性块。视频解码器30可以基于存储在参考图片存储器82中的参考图片使用默认构造技术构造参考帧列表，即列表0及列表1。运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据所接收的语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

逆量化单元76将提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化，即，解量化。逆量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度及同样的逆量化程度的量化参数QP_Y。

逆变换单元78对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块后，视频解码器30通过对来自逆变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。必要时，解块滤波器还可应用于对经解码块进行滤波以便移除成块效应假象。其它环路滤波器(译码环路中或译码环路之后)也可用于使像素转变变平滑或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。

视频解码器30可经配置以单独或以任何组合执行本发明的技术中的任一者或全部。举例来说，视频解码器30可经配置以确定参考层图片是否已启用跨越瓦片边界的滤波，且如果是，那么停用从参考层图片的增强层图片的层间预测。另外或替代地，视频解码器30可经配置以解码参考层图片，且大体上并行地对具有比参考层图片大的纵横比的增强层图片进行解码，其中视频解码器30可使用层间预测对增强层图片的重叠部分进行解码且无需使用层间预测对增强层图片的不重叠部分进行解码。另外或替代地，视频解码器30可对指示增强层的瓦片边界是否与参考层图片的瓦片边界对准的语法元素进行解码，且基于所述语法元素解码增强层图片。也就是说，视频解码器30可在瓦片边界不对准的情况下停用层间预测，但在瓦片边界对准的情况下启用层间预测。另外或替代地，视频解码器30可对指示在增强层瓦片可经解码之前待解码的参考层瓦片的数目的用于增强层瓦片的语法元素进行解码，且随后在对参考层瓦片的所述数目进行解码之后，解码增强层瓦片。这些各种解码操作中的任一者或全部可与其它解码操作并行执行，其中的限制是用于解码增强层瓦片的用于层间预测的参考层瓦片是在增强层瓦片经解码之前解码。

图4是说明用于可缩放视频译码(SVC)的各种可缩放维度的概念图。图4说明SVC的可缩放性结构的实例。确切地说，图4中展示不同维度中的可缩放性的实例。在此实例中，可缩放性在三个维度中启用。在时间维度上，可通过时间可缩放性(T)支持具有7.5Hz、15Hz或30Hz的帧速率。当支持空间可缩放性(S)时，可实现不同分辨率(例如，QCIF、CIF及4CIF)。对于每一特定空间分辨率及帧速率，可添加信噪比SNR(Q)层以改善图片质量。

一旦已以此可缩放方式编码视频内容，便可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求可取决于(例如)客户端或发射信道。在图4中所展示的实例中，每一立方体体积(即，立方体)含有具有相同帧速率(时间层级)、空间分辨率及SNR层的图片。可通过在任何维度上添加那些立方体(图片)来实现更好的表示。当启用两个、三个或甚至更多可缩放性时，可支持组合的可缩放性。

根据SVC规范，具有最低空间及质量层的图片与H.264/AVC相容，且最低时间层级处的图片形成时间基础层，所述时间基础层可使用较高时间层级处的图片来增强。除H.264/AVC相容层之外，可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。SNR可缩放性还被称作质量可缩放性。每一空间或SNR增强层自身可为时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。对于一个空间或SNR增强层，其所取决于的较低层还被称作所述特定空间或SNR增强层的基础层。

图5为说明SVC译码结构的实例的概念图。在此实例中，具有最低空间及质量层的图片(层0及层1中的图片，具有QCIF分辨率)与H.264/AVC兼容。其中，最低时间层级的那些图片形成时间基础层，如图5的层0中所展示。此时间基础层(层0)可使用较高时间层级(例如，层1)的图片来增强。除H.264/AVC相容层之外，可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。举例来说，增强层可为具有与层2相同的分辨率的CIF表示。在此实例中，层3是SNR增强层。如此实例中所展示，每一空间或SNR增强层自身可为在时间上可缩放的，具有与H.264/AVC兼容层相同的时间可缩放性结构。而且，增强层可增强空间空间分辨率及帧速率两者。举例来说，层4提供4CIF增强层，其进一步将帧速率从15Hz增加到30Hz。

图6为说明实例存取单元(AU)的概念图。每一AU包含一或多个切片，其囊封于网络抽象层(NAL)单元内。每一层的每一存取单元可存在零个或零个以上NAL单元。对应于一个存取单元内的一个层的NAL单元的集合可被称作“层组件”。图6的实例描绘对应于图5的层组件的层组件。如图6的实例中所展示，相同时间实例(即，共同AU内)中的经译码切片以位流次序连续且在SVC的上下文中形成一个存取单元。那些SVC存取单元接着遵循解码次序，所述解码次序可不同于显示次序且(例如)是由时间预测关系来决定。

下文描述H.264/AVC的可缩放扩展(高级视频译码)。SVC的一些功能性是从H.264/AVC继承的。相比于先前可缩放标准，下文回顾对H.264/AVC的SVC扩展的最大优点中之一些(即，层间预测及单环路解码)。

H.264/AVC的SVC扩展支持单环路解码。为了保持低复杂性解码器，在SVC中，单循环解码是必选的。在单环路解码的情况下，可使用单个运动补偿环路来解码每一支持的层。为了实现此情况，仅允许针对增强层宏块使用层间帧内预测，对于增强层宏块，位于同一地点的参考层信号经帧内译码。进一步需要使用受约束的帧内预测来译码用以层间预测较高层的所有层。

H.264/AVC的SVC扩展还支持层间预测。SVC引入基于纹理、残余及运动的对空间及SNR可缩放性的层间预测。已将SVC中的空间可缩放性一般化为两个层之间的任何分辨率。可通过粗糙粒度可缩放性(CGS)或中等粒度可缩放性(MGS)来实现SNR可缩放性。在SVC中，两个空间或CGS层属于不同相依性层(由NAL单元标头中的dependency_id指示)，而两个MGS层可在相同的相依性层中。一个相依性层包含具有从0到较高值的quality_id的对应于质量增强层的质量层。在SVC中，利用层间预测方法以减少层间冗余。在以下段落中简要地介绍所述方法。

使用层间帧内预测的译码模式在SVC中被称为“BL内(IntraBL)”模式。以实现单环路解码，仅在作为受约束帧内模式而译码的基础层中具有位于同一地点的宏块(MB)的MB才可使用层间帧内预测模式。受约束帧内模式MB经帧内译码，而不参考来自相邻的经帧间译码MB的任何样本。

如果指示MB使用残余预测，那么用于层间预测的基础层中的位于同一地点的MB必须为帧间MB且其残余可根据空间分辨率而被上取样。增强层与基础层之间的残余差经译码。也就是说，增强层的当前帧的重构等于以下各者的总和：增强层的经解量化的系数r_e、来自增强层的时间预测P_e，及基础层的量化规格化的残余系数r_b。

${\hat{I}}_e=r_e+P_e+r_b---\left(1\right)$

可缩放位于同一地点的基础层运动向量以产生用于增强层中的MB或MB分区的运动向量的预测符。另外，存在一种MB类型(被命名为基础模式)，其针对每一MB发送一个旗标。如果此旗标为真且对应的基础层MB不是帧内，则运动向量、分割模式及参考索引全部从基础层导出。

图7为说明根据高效率视频译码(HEVC)标准的实例瓦片的概念图。HEVC含有用以使编解码器更并行友好的若干提议，包含瓦片及波前并行处理(WPP)。HEVC将瓦片定义为在瓦片的译码树块光栅扫描中连续排序的在一个列及一个行中同时出现的整数数目个译码树块。每一图片划分为瓦片在HEVC中称为分割。图片中的瓦片在图片的瓦片光栅扫描中是连续排序的，如图7中所展示。

可针对整个序列或从图片到图片改变来定义瓦片的数目及瓦片的边界的位置。类似于切片边界，瓦片边界打破剖析和预测相依性，使得可独立地处理瓦片，但环内滤波器(解块和SAO)仍可跨越瓦片边界。HEVC还指定切片与瓦片之间的关系的一些约束。

使用瓦片的一个优点是它们并不需要用于熵解码与运动补偿重构的处理器之间的通信，但如果loop_filter_across_tiles_enabled_flag设定成1则可能需要通信。

与切片相比，瓦片通常具有较好译码效率，因为瓦片允许含有具有潜在比切片高的相关的样本的图片分区形状，并且还因为瓦片减少切片标头开销。

HEVC中的瓦片设计可提供以下益处:1)启用并行处理，以及2)通过允许与切片的使用相比译码树单元(CTU)的改变的解码顺序而改善译码效率，但主要益处是第一个益处。当在单层译码中使用瓦片时，语法元素min_spatial_segmentation_idc可由解码器使用以计算待由一个处理线程处理的明度样本的最大数目，从而假设解码器最大限度地利用并行解码信息。在HEVC中，不同线程之间可存在相同的图片帧间相依性，例如，归因于熵译码同步或跨越瓦片或切片边界的解块滤波。HEVC标准包含鼓励编码器将min_spatial_segmentation_idc的值设定为最高可能值的注解。

图8为说明用于波前并行处理(WPP)的波前的概念图。HEVC界定WPP技术。当WPP经启用时，图片的每一CTU行为分离的分区。然而，与切片及瓦片相比较，无译码相依性在CTU行边界处被破坏。另外，从先前行的第二CTU传播CABAC概率，以进一步减少译码损失。并且，WPP并不改变常规光栅扫描次序。因为相依性未被打断，所以与非并行位流相比较，WPP位流的速率失真损失较小。

当WPP经启用时，高达CTU行的数目的数目个处理器可并行地工作以处理CTU行(或线)。然而，波前相依性并不允许所有CTU行在图片的开始处开始解码。因此，CTU行也无法在图片的结束处同时完成解码。此情形引入并行度效率低下，其在使用较多数目个处理器时变得更显而易见。

图8说明WPP如何并行地处理CTB的行，每一行以在处理上方行的第二CTB之后可用的CABAC概率开始。

类似于H.264/AVC，HEVC将也具有可缩放视频译码扩展，当前称为可缩放高效视频译码(SHVC)，其将至少提供时间可缩放性、SNR可缩放性和空间可缩放性。2012年7月发布了提议书。SHVC工作草案和测试模型的第一版本将在2013年3月可用。

在SHVC中，为了实现层间纹理预测，当参考层的分辨率小于增强层的分辨率时，首先对参考层经重构样本进行上取样。甚至在SNR可缩放性情况下，可在将参考层样本用于层间预测以获得较高译码效率之前对参考层样本进行滤波。当前，可针对整个层图片执行上取样或层间滤波过程，整个层图片也可被称作层组件或简称为图片。

在SHVC中，使用多循环解码结构。解码器可并行处理不同层。为便于并行处理，F·亨利和S·帕图克斯的“波前并行处理”(JCTVC-E196，2011年3月)提出指示所有参考层的瓦片边界与增强层的瓦片边界对准。首先指定不同层的瓦片边界的对准以使得对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的基础层样本也将处于同一基础层瓦片内。

在SHVC中，使用多循环解码结构。解码器可并行处理不同层。为便于并行处理，已提出指示所有参考层的瓦片边界与增强层的瓦片边界对准。下文表7中指定瓦片边界的对准和不同层的对准的语法和语义，其说明对K·苏赫林、R·斯库平、T·斯切尔的“瓦片边界对准的指示”(JCTVC-L0197，2013年1月)和上文所提及的JCTVC-M0464中描述的表的修改，其中斜体文字表示所提议的添加。

表7

语法元素“tile_boundaries_aligned_flag”的语义可如下：等于1的tile_boundaries_aligned_flag指示对应基础层图片的所有瓦片边界在给定增强层中具有对应瓦片边界且增强层中不存在额外瓦片边界。因此，对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的基础层样本也将处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本也将处于同一增强层瓦片内。等于0的语法元素tile_boundaries_aligned_flag指示对在对应增强层与给定参考层之间的瓦片配置不存在限制。

图9是说明SHVC译码器(例如，视频编码器20或视频解码器30)中的并行处理的实例。在SHVC中，增强层可从例如基础层或较低增强层等参考层预测。此外，参考层和增强层的任一或两个图片可划分成瓦片。如图9的实例中示出，参考层中的图片划分成两个瓦片，B0和B1，而增强层中的图片也划分成两个瓦片，E0和E1。虽然在此实例中相同数目的瓦片和瓦片的相同相对位置用于增强层图片和参考层图片，但应理解一般来说，增强层图片可包含与参考层图片相同或不同数目的瓦片。此外，在一些实例中，增强层图片可从两个或两个以上参考层图片预测，所述参考层图片中的任一者或全部可具有相同或不同数目的瓦片。

如下文更详细地描述，视频编码器20和视频解码器30可经配置以当使用参考层图片用于参考来对增强层图片进行译码且其中的任一者或两者分割成瓦片时利用各种限制。下文更详细地阐释的图10到14表示视频编码器20和视频解码器30可以其配置的各种限制中的一些。

图10是说明从参考层图片104预测的实例增强层图片100的概念图。在此实例中，增强层图片100包含瓦片102A到102D，而参考层图片104包含瓦片106A、106B。如由图10中的虚线展示，增强层图片100的瓦片102B对应于参考层图片104的瓦片106A，而增强层图片100的瓦片102C对应于参考层图片104的瓦片106B。

在此实例中，增强层图片100具有不同于参考层图片104的纵横比。举例来说，参考层图片104可具有4:3纵横比，而增强层图片100可具有16:9纵横比。因此，增强层图片100的瓦片102A、102D不具有参考层图片104中的对应瓦片。举例来说，增强层图片100的瓦片102A包含样本108。如由垂直散列指示，样本108并不具有参考层图片104中可用的位于同一地点的参考层(RL)样本。类似地，增强层图片100的瓦片102D的样本114并不具有可用的位于同一地点的RL样本。然而，样本110、112确实具有参考层图片104中可用的位于同一地点的参考层样本(如由交叉影线指示)。确切地说，样本110、112对应于参考层图片104的样本116、118。

以此方式，视频编码器20和视频解码器30可分别相对于瓦片106A、106B使用层间预测对瓦片102B、102C的视频数据进行译码。然而，因为瓦片102A、102D并不具有参考层图片104中的对应部分，所以视频编码器20和视频解码器30可对瓦片102A、102D进行译码而无需使用层间预测，例如使用帧内预测或时间预测。增强层图片100的译码可大体上与参考层图片104的译码并行发生。举例来说，视频译码器(例如，视频编码器20或视频解码器30)可对瓦片106A进行译码，随后大体上与瓦片106B并行地对瓦片102B进行译码。此外，瓦片102A、102D的译码可在对106A、106B进行译码之前、大体上并行地或之后发生，因为瓦片102A、102D并不取决于参考层图片104的数据。

图10说明瓦片102B、102C的瓦片边界可被视为与瓦片106A、106B的瓦片边界对准的实例。在一些实例中，当对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的参考层样本(如果可用)也将处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本(如果可用)也将处于同一增强层瓦片内时，瓦片边界可称为对准的。因为瓦片102A内的任何两个样本将对应于瓦片106A内的位于同一地点的样本，且同样地，瓦片106A内的任何两个样本将对应于瓦片102A内的位于同一地点的样本，所以可将瓦片102A的边界称为与瓦片106A的边界对准。类似地，因为瓦片102B内的任何两个样本将对应于瓦片106B内的位于同一地点的样本，且同样地，瓦片106B内的任何两个样本将对应于瓦片102B内的位于同一地点的样本，所以可将瓦片102B的边界称为与瓦片106B的边界对准。

以此方式，图10描绘其中视频编码器20和视频解码器30可经配置以对包括第一纵横比的基础层图片进行译码(例如，编码或解码)且与所述基础层图片大体上并行地对包括第二纵横比的增强层图片进行译码的实例，其中所述第二纵横比大于第一纵横比，且其中对增强层图片进行译码包括对增强层图片的在由所述第一纵横比定义的区域外部的部分进行译码而无需使用层间预测。

图11是说明其中一些参考层(或基础层)样本并不具有对应增强层样本的扩展空间可缩放性的实例的概念图。确切地说，图11的实例说明增强层图片130和参考层图片136。如此实例中示出，当参考层图片136经空间上取样以用作用于对增强层图片130进行译码的参考图片时，参考层图片136存在并不对应于参考层图片130的部分的区。

更确切地说，参考层图片136包含两个瓦片：瓦片138A和瓦片138B，而增强层图片130包含两个大体上对应瓦片：瓦片132A和瓦片132B。参考层图片136内的虚点线界定分别对应于瓦片132A、132B的区140A、140B。然而，所述虚点线与参考层图片136的外部边界之间的区142A、142B界定并不对应于增强层图片130的实际区的区。也就是说，增强层图片130的边界周围的虚点线界定增强层图片130的外部边界与所述虚点线之间的区134，其并不包含增强层图片130的样本但对应于区142A、142B。

举例来说，图11说明参考层图片136的瓦片138A的两个实例样本：样本144和样本148。因为样本144在区140A的边界内，所以样本144可称为对应于增强层图片130中的瓦片132A的样本152。另一方面，样本148并不对应于增强层图片130的样本；实际上，区142A对应于其中不存在样本的区134内的部分。以此方式，样本148可描述为并不具有对应增强层样本的样本的实例。

类似地，图11说明参考层图片136的瓦片138B的两个实例样本：样本146和样本150。因为样本146在区140A的边界内，所以样本146可称为对应于增强层图片130中的瓦片132B的样本154。另一方面，样本150并不对应于增强层图片130的样本；实际上，区142B对应于其中不存在样本的区134内的部分。以此方式，样本150可描述为并不具有对应增强层样本的样本的另一实例。

以此方式，图11提供其中瓦片138A、138B分别与瓦片132A、132B对准的实例。也就是说，如上文所论述，当对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的参考层样本(如果可用)也将处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本(如果可用)也将处于同一增强层瓦片内时，瓦片可称为“对准的”。也就是说，虽然瓦片138A、138B的边界不严格地分别与瓦片132A、132B的边界对准，但参考层图片136的样本148、150并不对应于可用增强层样本。瓦片132A内的所有样本具有区140A内的对应样本，且同样，瓦片132B内的所有样本具有区140B内的对应样本。类似地，区140A内的所有样本对应于瓦片132A内的样本，且区140B内的所有样本对应于瓦片132B内的样本。因此，瓦片132A、132B可称为分别与瓦片138A、138B对准。

图12是说明参考层图片162和增强层图片160的概念图。增强层图片160和参考层图片162可在同一存取单元中发生(或另外对应于彼此)。增强层图片160分割成瓦片164A、164B和164C，而参考层图片162分割成瓦片168A、168B、168C。另外，图12说明分别在瓦片164B、168B中的实例块166、170。块166可称为对应于块170，因为块166与块170位于同一地点。

根据本发明的某些实例技术，视频编码器20和视频解码器30可经配置以基于各种条件而防止或允许从块170对块166的层间预测。在一个实例中，视频编码器20和视频解码器30可经配置以当跨越参考层图片162中的瓦片的层间滤波和/或参考层滤波经启用时防止使用从块170的层间纹理预测和/或层间语法预测对块166的译码。视频编码器20和视频解码器30可当跨越瓦片边界的层间滤波或参考层滤波针对块170经启用时进一步对指示例如增强层和参考层等各种层的瓦片边界是否对准且指示沿着或跨越瓦片边界是否不允许层间纹理预测和层间语法预测中的至少一者的数据进行译码。

视频编码器20和视频解码器30可另外或替代地对指示不同层之间的瓦片边界(例如，瓦片164、168的边界)是否对准的数据以及指示沿着或跨越瓦片边界是否不允许层间纹理预测和/或层间语法预测的数据进行译码。当沿着或跨越瓦片边界不允许层间纹理预测和层间语法预测时，视频编码器20和视频解码器30可对瓦片的块进行译码而无需对非对准基础层瓦片进行译码。举例来说，如果块177(与块160位于同一地点)在不与块164B对准的瓦片中，那么视频编码器20和视频解码器30可对块160进行译码而无需首先对块177进行译码，并因此可与块177并行地对块160进行译码。

指示沿着或跨越瓦片边界是否不允许层间纹理预测和层间语法预测的数据可包括inter_layerpred_not_along_tile_boundary_flag语法元素，如上文关于表1所阐释。另外或替代地，指示沿着或跨越瓦片边界是否不允许层间纹理预测和层间语法预测的数据可经译码为视频可用性信息(VUI)和/或补充增强信息(SEI)消息的部分。

图13是说明具有不同纵横比的实例图片的概念图。确切地说，在此实例中，增强层图片180具有不同于参考层图片182的纵横比。举例来说，增强层图片180可具有纵横比16x9，而参考层图片182可具有纵横比4:3。16x9的纵横比是大于纵横比4:3的纵横比的实例。在此实例中，增强层图片180分割成四个瓦片，即瓦片184A-184D。参考层图片182分割成瓦片186A、186B。一般来说，瓦片184B可称为对应于瓦片186A，而瓦片184C可称为对应于瓦片186B。

虽然瓦片184A-184D和186A、186B中的每一者包含多个样本，但出于简洁和论述的目的而展示仅某些样本。确切地说，在此实例中，在瓦片184B内图解说明样本188，在瓦片186A内图解说明样本192，且在瓦片184D内图解说明样本190。此外，在此实例中，样本188对应于样本192。也就是说，假定瓦片184B具有与瓦片186A相同的空间分辨率(最初或在空间上取样之后)，则样本188与样本192位于同一地点。此外，如图13中所展示，样本188在同一增强层瓦片——瓦片184B内，且样本192在同一参考层瓦片——瓦片186A内。以此方式，样本188表示处于同一增强层瓦片内的两个增强层图片样本的实例，且样本192表示可用的位于同一地点的参考层样本的实例。相反情况也为真：样本192表示同一参考层瓦片内的两个参考层样本的实例，其中位于同一地点的增强层样本(样本188)可用并且也在同一增强层瓦片(即，瓦片184B)中。此性质对于瓦片184B内的样本和瓦片186A内的位于同一地点的样本的样本对的任何集合均为真。

因此，瓦片184B和186A可称为具有对准的瓦片边界。因此，视频译码器(例如视频编码器20或视频解码器30)可使用样本192作为用于对样本188进行译码(例如，由视频编码器20编码或由视频解码器30解码)的参考样本而执行层间预测。此外，视频编码器20和视频解码器30可与瓦片186B大体上并行地对瓦片184B进行译码，假定视频译码器在对瓦片184B进行译码之前对瓦片186A译码，并且还假定跨越参考层182的瓦片边界、例如跨越瓦片186A与186B之间的边界不执行滤波。

在此实例中，在瓦片184D中展示样本190。然而，因为增强层图片180具有不同于参考层图片182的纵横比，所以不存在对应于参考层图片182中的瓦片184的瓦片。因此，不存在对应于参考层图片182中的样本190(或与其位于同一地点)的可用样本。虽然不存在到增强层图片180的样本190的参考层图片182的对应样本，(且同样，没有对应于瓦片184D的瓦片)，但增强层图片180的瓦片的瓦片边界仍然可经界定为与参考层图片182的瓦片的瓦片边界对准。

因此，当增强层图片180和参考层图片182的瓦片边界对准(如在图13的实例中)时且当跨越参考层图片182的瓦片边界不执行层间纹理预测和参考层滤波时，视频编码器20可对用于语法元素(例如用于inter_layerpred_not_along_tile_boundary_flag)的指示此情况的值进行译码。同样，视频解码器30可对用于语法元素(例如inter_layerpred_not_along_tile_boundary_flag)的值进行解码，所述值指示增强层图片180和参考层图片182的瓦片边界对准且跨越参考层图片182的瓦片边界不执行层间纹理预测和参考层滤波。

因此，视频编码器20和视频解码器30表示经配置以对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行译码(例如，编码或解码)且至少部分地基于所述语法元素的值对增强层图片样本进行译码的视频译码器的实例。

图14是说明具有不同数目的瓦片的增强层图片200和参考层图片202的概念图。在此实例中，增强层图片200包含八个瓦片——瓦片204A-204H，而参考层图片202包含六个瓦片——瓦片206A-206F。因此，增强层瓦片204A-204H的边界不与参考层瓦片206A-206F的边界对准。也就是说，存在瓦片204A-204H中的至少一者的至少两个样本，其中参考层图片202的位于同一地点的样本不在参考层瓦片206A-206F中的相同一者中。同样，存在瓦片206A-206F中的至少一者的至少两个样本，其中增强层图片200的位于同一地点的样本不在增强层瓦片204A-204H中的相同一者中。

然而，即使增强层图片200与参考层图片202的瓦片之间不存在边界对准，视频译码器(例如视频编码器20或视频解码器30)也仍可使用本发明的技术与参考层瓦片206A-206F中的一或多者大体上并行地对增强层瓦片204A-204H中的一或多者进行译码。

确切地说，根据本发明的技术，视频编码器20和视频解码器30可针对瓦片204A-204H中的任一者或全部对用于例如max_ref_tile_dec_idc_minus1[i](其中i对应于瓦片204A-204H的第i瓦片)的语法元素的值进行译码，所述值指示参考层图片202(相对于增强层图片200，其为基础层图片)中的在增强层图片200的对应瓦片可经译码之前待译码的瓦片的数目。确切地说，当所述值以max_ref_tile_dec_idc_minus1[i]的形式表达时，max_ref_tile_dec_idc_minus1[i]的值比参考层图片202中的在增强层图片200的对应瓦片可经译码之前待译码的瓦片的数目小一；因此，视频解码器30可对max_ref_tile_dec_idc_minus1[i]的值加一以确定参考层图片202中待译码的瓦片的实际数目。

举例来说，在图14的实例中，视频编码器20可根据以下表8对max_ref_tile_dec_idc_minus1[i]的值进行译码：

表8

瓦片	i	max_ref_tile_dec_idc_minus1[i]
			204A	0	0
204B	1	1
			204C	2	2
204D	3	2
			204E	4	3
204F	5	4
			204G	6	5
204H	7	5

在此实例中，视频编码器20可对对应于瓦片204A的max_ref_tile_dec_idc_minus1[0]的值0进行译码，因为将1加到值0产生值1。此值又指示在瓦片204A可经译码之前将译码参考层图片202的1个瓦片(即瓦片206A)。图14中可以看出，通过对瓦片206A进行译码，参考层图片202的对应于瓦片204A的所有样本将在译码瓦片206A之后已经译码，并因此视频编码器20可指示在瓦片204A可经译码之前仅瓦片206A待译码。同样，视频解码器30可使用max_ref_tile_dec_idc_minus1[0]的值来确定在瓦片206A已经译码之后，瓦片204A可经译码，例如与瓦片206B-206F中的任一者大体上并行地(或并行地)译码。

而且在此实例中，视频编码器20可对对应于瓦片204B的max_ref_tile_dec_idc_minus1[1]的值1进行译码，因为将1加到值1产生值2。此值又指示瓦片204B可经译码之前参考层图片202的2个瓦片(即瓦片206A、206B)待译码。图14中可以看出，通过对瓦片206A、206B进行译码，参考层图片202的对应于瓦片204B的所有样本将在译码瓦片206B之后已经译码，并因此视频编码器20可指示在瓦片204B可经译码之前瓦片206A、206B待译码。同样，视频解码器30可使用max_ref_tile_dec_idc_minus1[1]的值来确定在瓦片206B已经译码之后，瓦片204B可经译码，例如与瓦片206C-206F中的任一者大体上并行地(或并行地)译码。

此外，在此实例中，视频编码器20可对对应于瓦片204C的max_ref_tile_dec_idc_minus1[2]的值2进行译码，因为将1加到值2产生值3。此值又指示瓦片204C可经译码之前参考层图片202的3个瓦片(即瓦片206A-206C)待译码。类似地，视频编码器20可对对应于瓦片204D的max_ref_tile_dec_idc_minus1[3]的值2进行译码。图14中可以看出，通过对瓦片206A-206C进行译码，参考层图片202的对应于瓦片204C和204D的所有样本将在译码瓦片206C之后已经译码，并因此视频编码器20可指示在瓦片204C、204D可经译码之前瓦片206A-206C待译码。同样，视频解码器30可使用max_ref_tile_dec_idc_minus1[2]和max_ref_tile_dec_idc_minus1[3]的值来确定在瓦片206C已经译码之后，瓦片204C和204D可经译码，例如与瓦片206D-206F中的任一者大体上并行地(或并行地)译码。

此外，在此实例中，视频编码器20可对对应于瓦片204E的max_ref_tile_dec_idc_minus1[4]的值3进行译码，因为将1加到值3产生值4。此值又指示瓦片204B可经译码之前参考层图片202的4个瓦片(即瓦片206A、206B)待译码。图14中可以看出，通过对瓦片206A-206D进行译码，参考层图片202的对应于瓦片204E的所有样本将在译码瓦片206D之后已经译码，并因此视频编码器20可指示在瓦片204E可经译码之前瓦片206A-206D待译码。同样，视频解码器30可使用max_ref_tile_dec_idc_minus1[4]的值来确定在瓦片206D已经译码之后，瓦片204E可经译码，例如与瓦片206E、206F中的任一者大体上并行地(或并行地)译码。

而且在此实例中，视频编码器20可对对应于瓦片204F的max_ref_tile_dec_idc_minus1[5]的值4进行译码，因为将1加到值4产生值5。此值又指示瓦片204F可经译码之前参考层图片202的5个瓦片(即瓦片206A-206E)待译码。图14中可以看出，通过对瓦片206A-206E进行译码，参考层图片202的对应于瓦片204F的所有样本将在译码瓦片206E之后已经译码，并因此视频编码器20可指示在瓦片204F可经译码之前瓦片206A-206E待译码。同样，视频解码器30可使用max_ref_tile_dec_idc_minus1[5]的值来确定在瓦片206E已经译码之后，瓦片204F可经译码，例如与瓦片206F大体上并行地(或并行地)译码。

此外，在此实例中，视频编码器20可对对应于瓦片204G的max_ref_tile_dec_idc_minus1[6]的值5进行译码，因为将1加到值5产生值6。此值又指示在瓦片204G可经译码之前参考层图片202的所有6个瓦片(即瓦片206A-206F)待译码。类似地，视频编码器20可对对应于瓦片204H的max_ref_tile_dec_idc_minus1[7]的值5进行译码。图14中可以看出，通过对瓦片206A-206F进行译码，参考层图片202的对应于瓦片204G和204H的所有样本将在译码瓦片206F之后已经译码，并因此视频编码器20可指示在瓦片204G、204H可经译码之前瓦片206A-206F待译码。同样，视频解码器30可使用max_ref_tile_dec_idc_minus1[6]和max_ref_tile_dec_idc_minus1[7]的值来确定在瓦片206F已经译码之后，瓦片204G和204H可经译码，例如与参考层中的后续图片(即，按译码次序跟随图片202的参考层中的图片)的瓦片大体上并行地(或并行地)译码。

因此，视频编码器20和视频解码器30表示经配置以进行以下操作的视频译码器的实例：针对增强层图片的瓦片对指示基础层图片中在增强层图片的瓦片可经译码之前需要译码的瓦片的数目的数据进行译码，对对应于所述瓦片数目的基础层图片的瓦片进行译码，并且在对基础层图片的瓦片进行译码之后，与基础层图片中的至少一个其它瓦片大体上并行地对增强层图片的瓦片进行译码。

图15是说明根据本发明的技术的用于启用或停用层间预测的实例方法的流程图。图15的方法大体上经描述为由视频译码器来执行。视频译码器可对应于(例如)视频编码器20或视频解码器30或其它此些视频译码装置(例如，视频转码装置)。

初始地，视频译码器可对一或多个相邻参考层瓦片进行译码(250)。也就是说，视频译码器可对参考层图片中的一或多个瓦片的块(例如，CU或PU)进行译码。视频译码器可随后确定跨越瓦片边界的滤波是否经启用(252)。举例来说，当由视频编码器20执行时，视频编码器20可确定是否启用跨越参考层图片的瓦片边界的滤波。视频编码器20还可对指示跨越参考层图片的瓦片边界的滤波是否经启用的语法元素进行编码。另一方面，当由视频解码器30执行时，视频解码器30可从语法元素确定跨越瓦片边界的滤波是否经启用。

跨越瓦片边界的滤波可包含以下任一者或两者：跨越瓦片边界的层间滤波(例如，其中参考层图片是参考跨越瓦片边界的滤波经启用的又一参考层图片译码的)，或参考层滤波，例如解块、整个图片的上取样或使用应用于来自参考层图片的两个或两个以上相异瓦片的像素(也被称作样本)的滤波器的任何其它滤波操作。

在一些实例中，视频译码器可进一步确定不同层的瓦片边界是否对准。举例来说，视频编码器20可确定是否对准瓦片边界且对指示瓦片边界是否对准的语法元素进行编码，而视频解码器30可解码所述语法元素以确定瓦片边界是否对准。同样，视频译码器可对指示沿着或跨越瓦片边界是否不允许层间预测的语法元素进行译码，例如inter_layerpred_not_along_tile_boundary_flag，如上文相对于表1所论述。另外或在替代方案中，此些语法元素可包含在视频可用性信息(VUI)、序列参数集(SPS)、图片参数集(PPS)、视频参数集(VPS)、切片标头、补充增强信息(SEI)消息或类似物中的任一者或全部中。

如果跨越参考层图片的瓦片边界的滤波经启用(252的“是”分支)，那么视频译码器可停用增强层图片的层间预测(254)。视频译码器可随后在不使用层间预测的情况下对增强层图片的块进行译码(256)。层间预测可包含层间纹理预测(例如，明度和/或色度数据的预测)和层间语法预测中的任一者或两者。视频译码器可与参考层图片的块中的任一者并行地对增强层图片的块进行译码，因为当对增强层图片进行译码时参考层图片将实际上不用于参考。因此，虽然图15的实例描绘在对增强层图片的块进行译码之前对相邻参考层瓦片进行译码，但在一些实例中，视频译码器可简单地确定跨越瓦片边界的滤波是否经启用用于参考层图片，且如果是，那么立即开始与参考层图片并行地对增强层图片进行译码。

另一方面，如果跨越参考层图片的瓦片边界的滤波未经启用(252的“否”分支)，那么视频译码器可启用用于增强层图片的层间预测(258)。视频译码器可随后使用层间预测对增强层的块进行译码(260)。确切地说，在已对参考层瓦片中的一或多者进行译码之后，视频译码器可对具有与经译码参考层瓦片对准的边界的增强层图片的瓦片的块进行译码。此外，视频译码器可与参考层图片的后续瓦片并行地对增强层图片的瓦片的块进行译码。

应理解，增强层图片和参考层图片大体上包含在同一存取单元中。也就是说，增强层图片和参考层图片对应于同一输出时间(或显示时间)。

以此方式，图15的方法表示一种方法的实例，包含：当对增强层瓦片中的增强层块进行译码(例如，编码或解码)时，防止使用从位于同一地点的基础层块的层间纹理预测或层间语法预测对所述增强层块进行译码，其中跨越包含增强层瓦片和基础层块两者的存取单元中的参考层图片中的瓦片的层间滤波或参考层滤波经启用；以及当跨越所述参考层图片中的瓦片边界的层间滤波或参考层滤波经启用时与所述增强层块大体上并行地对所述位于同一地点的块进行译码(编码或解码)。在替代例中，当跨越所述参考层图片中的瓦片的边界的层间滤波和参考层滤波未经启用时，所述方法可包含与所述参考层图片的后续瓦片并行地对所述增强层块进行译码(编码或解码)。

图16是说明根据本发明的技术的用于当图片具有不同纵横比时并行地对增强层和参考层的图片进行译码的实例方法的流程图。图16的方法大体上经描述为由视频译码器来执行。视频译码器可对应于(例如)视频编码器20或视频解码器30或其它此些视频译码装置(例如，视频转码装置)。

在此实例中，视频译码器首先对具有第一纵横比的参考层图片的瓦片进行译码(280)。举例来说，参考层图片可具有纵横比4:3。视频译码器可随后确定增强层图片是否具有大于参考层图片的纵横比的期望比率(282)。举例来说，增强层图片可具有纵横比16:9，而参考层图片可具有纵横比4:3。

如果增强层图片具有大于参考层图片的纵横比的纵横比(282的“是”分支)，那么将存在增强层图片的不与参考层图片重叠的至少一些部分(例如，瓦片)。因此，视频译码器可使用层间预测对增强层图片的重叠部分进行译码(284)，且在不使用层间预测的情况下对增强层图片的不重叠部分进行译码(286)。此外，视频译码器可与参考层图片的任何部分并行地对增强层图片的不重叠部分进行译码，而视频译码器可与参考层图片的后续部分并行地对增强层图片的重叠部分进行译码。举例来说，返回参看图13，视频译码器可与参考层图片182的任何部分并行地对瓦片184A、184D进行译码。视频译码器可与瓦片186B并行地对瓦片184B进行译码。

另一方面，如果增强层图片并不具有比参考层图片的纵横比大的纵横比(282的“否”分支)，那么视频译码器可完全使用层间预测对增强层图片进行译码(288)，且可与参考层图片的其它瓦片并行地对增强层图片的某些瓦片进行译码。

以此方式，图16的方法表示一种方法的实例，包含：对包括第一纵横比的基础层图片进行译码(例如，编码或解码)；以及与基础层图片大体上并行地对包括第二纵横比的增强层图片进行译码(例如，编码或解码)，其中所述第二纵横比大于第一纵横比，且其中对增强层图片进行译码包括在不使用层间预测的情况下对增强层图片的在由第一纵横比界定的区域外部的部分进行译码。

图17是说明基于增强层图片的瓦片边界是否与参考层图片的瓦片边界对准而对增强层图片进行译码的实例方法的流程图。图17的方法大体上经描述为由视频译码器来执行。视频译码器可对应于(例如)视频编码器20或视频解码器30或其它此些视频译码装置(例如，视频转码装置)。

在此实例中，视频译码器对一或多个参考层瓦片进行译码(300)。视频译码器随后确定增强层的瓦片边界是否对准(302)。举例来说，视频编码器20可确定是否对准参考层边界，且可对指示瓦片边界是否对准的语法元素(例如tile_boundaries_aligned_flag)的值进行编码，而视频解码器30可例如基于语法元素(例如tile_boundaries_aligned_flag)的值而确定参考层边界是否对准。当对于处于同一增强层瓦片内的任何两个增强层图片样本，位于同一地点的参考层样本(如果可用)也处于同一参考层瓦片内，且对于处于同一参考层瓦片内的任何两个参考层图片样本，位于同一地点的增强层样本(如果可用)也处于同一增强层瓦片内时，增强层图片的瓦片边界可称为与参考层图片的瓦片边界对准。

当增强层图片的瓦片边界不与参考层图片的瓦片边界对准时(302的“否”分支)，视频译码器可停用增强层的层间预测(304)且在不使用层间预测的情况下对增强层图片的瓦片进行译码(306)。此外，视频译码器可与参考层图片的任何部分并行地对增强层图片的瓦片中的任一者或全部进行译码，因为层间预测经停用。

另一方面，当增强层图片的瓦片边界与参考层图片的瓦片边界对准时(302的“是”分支)，视频译码器可启用增强层图片的层间预测(308)且使用层间预测对增强层图片的瓦片进行译码(310)。确切地说，在对参考层图片的瓦片进行译码之后，视频译码器可开始与参考层图片的后续瓦片并行地对增强层图片的对应瓦片进行译码。

如果存在增强层图片的并不对应于参考层图片的瓦片(例如，如上文相对于图16所论述)，那么视频译码器可与参考层图片的任何部分并行地对这些瓦片进行译码。即使当此些瓦片存在时，瓦片边界仍可称为对准的，因为按照上文提供的实例定义，参考层图片中的此些瓦片的“位于同一地点的”样本将不可用。

以此方式，图17的方法表示一种方法的实例，包含：对表示与共同增强层瓦片内的两个相应增强层图片样本位于同一地点的任何两个参考层样本是否必然在共同参考层瓦片内的语法元素的值进行译码(例如，编码或解码)；以及至少部分地基于所述语法元素的值而对增强层图片样本进行译码(例如，编码或解码)。

图18是说明根据本发明的技术的用于即使当瓦片边界不对准时也与参考层图片并行地对增强层图片的瓦片进行译码的实例方法的流程图。图18的方法大体上经描述为由视频译码器来执行。视频译码器可对应于(例如)视频编码器20或视频解码器30或其它此些视频译码装置(例如，视频转码装置)。

视频译码器可确定在对特定增强层瓦片(即，对应增强层图片的瓦片)进行译码之前待译码的参考层瓦片的数目(即，参考层图片中的瓦片的数目)(320)。确切地说，视频译码器可确定针对每一增强层瓦片待译码的参考层瓦片的数目。举例来说，假定译码以光栅扫描次序(左到右，上到下)进行，视频编码器20可确定在特定增强层瓦片可经译码之前，即在参考层瓦片中针对增强层瓦片的所有位于同一地点的样本已经译码之前待译码的参考层瓦片的数目。虽然光栅扫描次序是用于实例的目的，但也可使用其它瓦片扫描次序。视频编码器20可对对应于增强层瓦片的语法元素的值进行编码，例如max_ref_tile_dec_idc_minus1[i]的值，其中i表示以光栅扫描次序的用于增强层瓦片的索引。视频解码器30可对所述语法元素的值进行解码以确定在解码增强层瓦片之前将解码的瓦片的数目。指示待译码参考层瓦片的数目的数据可形成视频参数集(VPS)、序列参数集(SPS)、图片参数集(SPS)、切片标头、视频可用性信息(VUI)和/或补充增强信息(SEI)消息的部分。

视频译码器可随后确定所述数目的参考层瓦片是否已经译码(322)。如果不是(322的“否”分支)，那么视频译码器可对下一参考层瓦片进行译码(326)。视频译码器可继续对参考层瓦片进行译码，直到所确定数目的参考层瓦片已经译码。在所述数目的参考层瓦片已经译码之后(322的“是”分支)，视频译码器可与一或多个参考层瓦片并行地对增强层瓦片进行译码(324)。

以此方式，图18的方法表示一种方法的实例，包含：针对增强层图片的瓦片对指示在增强层图片的瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码(例如，编码或解码)；对对应于所述瓦片数目的基础层图片的瓦片进行译码(例如，编码或解码)；以及在对基础层图片的瓦片进行译码之后，与基础层图片中的至少一个其它瓦片大体上并行地对增强层图片的瓦片进行译码(例如，编码或解码)。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非顺序地执行动作或事件。

在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体通常可以对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。

以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可以提供于经配置用于编码及解码的专用硬件及/或软件模块内，或者并入于组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可以在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适软件和/或固件组合于编码解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (40)

1.一种对视频数据进行解码的方法，所述方法包括：

针对增强层图片的瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的基础层图片中的瓦片的数目的数据进行解码；

对对应于所述瓦片数目的所述基础层图片的瓦片进行解码；以及

在对所述基础层图片的所述瓦片进行解码之后，对所述增强层图片的所述瓦片进行解码。

2.根据权利要求1所述的方法，其中对指示所述瓦片数目的所述数据进行解码包括对指示在所述增强层图片的所述瓦片可经解码之前需要解码的所述基础层图片中的瓦片的最大数目的max_ref_tile_dec_idc_minus1语法元素进行解码。

3.根据权利要求1所述的方法，其中对所述增强层图片的所述瓦片进行解码包括与所述基础层图片中的至少一个其它瓦片并行地对所述增强层图片的所述瓦片进行解码，其中所述至少一个其它瓦片包括除对应于所述瓦片数目的所述瓦片外的瓦片。

4.根据权利要求1所述的方法，其进一步包括基于所述基础层图片的瓦片扫描次序和所述数目导出所述对应瓦片。

5.根据权利要求1所述的方法，其中对所述数据进行解码包括在视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头、视频可用性信息VUI和补充增强信息SEI消息中的至少一者中对所述数据进行解码。

6.根据权利要求1所述的方法，其进一步包括针对所述瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的多个基础层图片中的瓦片的相应数目的数据进行解码。

7.根据权利要求1所述的方法，其中指示所述瓦片数目的所述数据包括用于所述对应瓦片的识别符。

8.根据权利要求1所述的方法，其进一步包括对指示在用于参考层的所述基础层处的瓦片扫描过程的数据进行解码。

9.一种对视频数据进行编码的方法，所述方法包括：

针对增强层图片的瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的基础层图片中的瓦片的数目的数据进行编码；

对对应于所述瓦片数目的所述基础层图片的瓦片进行编码；以及

在对所述基础层图片的所述瓦片进行编码之后，对所述增强层图片的所述瓦片进行编码。

10.根据权利要求9所述的方法，其中对指示所述瓦片数目的所述数据进行编码包括对指示在所述增强层图片的所述瓦片可经解码之前需要解码的所述基础层图片中的瓦片的最大数目的max_ref_tile_dec_idc_minus1语法元素进行编码。

11.根据权利要求9所述的方法，其进一步包括基于所述基础层图片的瓦片扫描次序和所述数目导出所述对应瓦片。

12.根据权利要求9所述的方法，其中对所述数据进行编码包括在视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头、视频可用性信息VUI和补充增强信息SEI消息中的至少一者中对所述数据进行编码。

13.根据权利要求9所述的方法，其进一步包括针对所述瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的多个基础层图片中的瓦片的相应数目的数据进行编码。

14.根据权利要求9所述的方法，其中指示所述瓦片数目的所述数据包括用于所述对应瓦片的识别符。

15.根据权利要求9所述的方法，其进一步包括对指示在用于参考层的所述基础层处的瓦片扫描过程的数据进行编码。

16.一种用于对视频数据进行译码的装置，所述装置包括视频译码器，所述视频译码器经配置以：针对增强层图片的瓦片对指示在所述增强层图片的所述瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码；对对应于所述瓦片数目的所述基础层图片的瓦片进行译码；以及在对所述基础层图片的所述瓦片进行译码之后，对所述增强层图片的所述瓦片进行译码。

17.根据权利要求16所述的装置，其中指示所述瓦片数目的所述数据包括指示在所述增强层图片的所述瓦片可经解码之前需要解码的所述基础层图片中的瓦片的最大数目的max_ref_tile_dec_idc_minus1语法元素。

18.根据权利要求16所述的装置，其中所述视频译码器经配置以与所述基础层图片中的至少一个其它瓦片并行地对所述增强层图片的所述瓦片进行译码，其中所述至少一个其它瓦片包括除对应于所述瓦片数目的所述瓦片外的瓦片。

19.根据权利要求16所述的装置，其中所述视频译码器经配置以基于所述基础层图片的瓦片扫描次序和所述数目导出所述对应瓦片。

20.根据权利要求16所述的装置，其中所述视频译码器经配置以在视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头、视频可用性信息VUI和补充增强信息SEI消息中的至少一者中对所述数据进行译码。

21.根据权利要求16所述的装置，其中所述视频译码器进一步经配置以针对所述瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的多个基础层图片中的瓦片的相应数目的数据进行译码。

22.根据权利要求16所述的装置，其中指示所述瓦片数目的所述数据包括用于所述对应瓦片的识别符。

23.根据权利要求16所述的装置，其中所述视频译码器进一步经配置以对指示在用于参考层的所述基础层处的瓦片扫描过程的数据进行译码。

24.根据权利要求16所述的装置，其中所述视频译码器包括视频编码器或视频解码器中的至少一者。

25.一种用于对视频数据进行译码的装置，所述装置包括：

用于针对增强层图片的瓦片对指示在所述增强层图片的所述瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码的装置；

用于对对应于所述瓦片数目的所述基础层图片的瓦片进行译码的装置；以及

用于在对所述基础层图片的所述瓦片进行译码之后对所述增强层图片的所述瓦片进行译码的装置。

26.根据权利要求25所述的装置，其中所述用于对指示所述瓦片数目的所述数据进行译码的装置包括用于对指示在所述增强层图片的所述瓦片可经解码之前需要解码的所述基础层图片中的瓦片的最大数目的max_ref_tile_dec_idc_minus1语法元素进行译码的装置。

27.根据权利要求25所述的装置，其中所述用于对所述增强层图片的所述瓦片进行译码的装置包括用于与所述基础层图片中的至少一个其它瓦片并行地对所述增强层图片的所述瓦片进行译码的装置，其中所述至少一个其它瓦片包括除对应于所述瓦片数目的所述瓦片外的瓦片。

28.根据权利要求25所述的装置，其进一步包括用于基于所述基础层图片的瓦片扫描次序和所述数目导出所述对应瓦片的装置。

29.根据权利要求25所述的装置，其中所述用于对所述数据进行译码的装置包括用于在视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头、视频可用性信息VUI和补充增强信息SEI消息中的至少一者中对所述数据进行译码的装置。

30.根据权利要求25所述的装置，其进一步包括用于针对所述瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的多个基础层图片中的瓦片的相应数目的数据进行译码的装置。

31.根据权利要求25所述的装置，其中指示所述瓦片数目的所述数据包括用于所述对应瓦片的识别符。

32.根据权利要求25所述的装置，其进一步包括用于对指示在用于参考层的所述基础层处的瓦片扫描过程的数据进行译码的装置。

33.一种计算机可读存储媒体，其具有存储于其上的指令，所述指令在被执行时致使处理器进行以下操作：

针对增强层图片的瓦片对指示在所述增强层图片的所述瓦片可经译码之前需要译码的基础层图片中的瓦片的数目的数据进行译码；

对对应于所述瓦片数目的所述基础层图片的瓦片进行译码；以及

在对所述基础层图片的所述瓦片进行译码之后，对所述增强层图片的所述瓦片进行译码。

34.根据权利要求33所述的计算机可读存储媒体，其中所述致使所述处理器对指示所述瓦片数目的所述数据进行译码的指令包括致使所述处理器对指示在所述增强层图片的所述瓦片可经解码之前需要解码的所述基础层图片中的瓦片的最大数目的max_ref_tile_dec_idc_minus1语法元素进行译码的指令。

35.根据权利要求33所述的计算机可读存储媒体，其中所述致使所述处理器对所述增强层图片的所述瓦片进行译码的指令包括致使所述处理器与所述基础层图片中的至少一个其它瓦片并行地对所述增强层图片的所述瓦片进行译码的指令，其中所述至少一个其它瓦片包括除对应于所述瓦片数目的所述瓦片外的瓦片。

36.根据权利要求33所述的计算机可读存储媒体，其进一步包括致使所述处理器基于所述基础层图片的瓦片扫描次序和所述数目导出所述对应瓦片的指令。

37.根据权利要求33所述的计算机可读存储媒体，其中所述致使所述处理器对所述数据进行译码的指令包括致使所述处理器在视频参数集VPS、序列参数集SPS、图片参数集PPS、切片标头、视频可用性信息VUI和补充增强信息SEI消息中的至少一者中对所述数据进行译码的指令。

38.根据权利要求33所述的计算机可读存储媒体，其进一步包括致使所述处理器针对所述瓦片对指示在所述增强层图片的所述瓦片可经解码之前需要解码的多个基础层图片中的瓦片的相应数目的数据进行译码的指令。

39.根据权利要求33所述的计算机可读存储媒体，其中指示所述瓦片数目的所述数据包括用于所述对应瓦片的识别符。

40.根据权利要求33所述的计算机可读存储媒体，其进一步包括致使所述处理器对指示在用于参考层的所述基础层处的瓦片扫描过程的数据进行译码的指令。