CN105191315A - 在shvc中有条件地调用再取样过程 - Google Patents

Abstract

根据某些方面的用于对视频信息进行译码的设备包含存储器和处理器。所述存储器单元经配置以存储与用于待译码当前图片的层间参考图片相关联的视频信息。所述处理器经配置以：接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样；以及响应于确定对所述层间参考图片进行再取样，对所述层间参考图片进行再取样。

Description

在SHVC中有条件地调用再取样过程

技术领域

本发明涉及视频译码和压缩的领域。具体来说，其涉及可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC以及用于高效率视频译码(HEVC)的SVC，其还被称作可缩放HEVC(SHVC)。其也与3D视频译码相关，例如HEVC的多视图扩展(被称作MV-HEVC)。各种实施例涉及用于改进的层间预测信令及相关过程(例如，层间参考图片集的导出、参考图片列表的导出等)的系统和方法。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，所述视频块还可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。

空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式和残余数据而编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

一般来说，本发明描述与可缩放视频译码(SVC)有关的技术。下文描述的各种技术提供描述用于确定是否对层间参考图片进行再取样的方法和装置。

根据某些方面的用于对视频信息进行译码的设备包含存储器和操作性地耦合到所述存储器的处理器。所述存储器单元经配置以存储与用于待译码当前图片的层间参考图片相关联的视频信息。所述处理器经配置以：接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样；以及响应于确定对所述层间参考图片进行再取样，对所述层间参考图片进行再取样。

在附图及以下描述中陈述一或多个实例的细节，其并不希望限制本文中所描述的发明性概念的完整范围。其它特征、目标和优点将从描述内容和图式以及从权利要求书中显而易见。

附图说明

贯穿所述图式，参考数字可再使用以指示参考元件之间的对应关系。提供图式以说明本文中描述的实例实施例，并且无意限制本发明的范围。

图1是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。

图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。

图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4是说明参考层与增强层之间的图片纵横比可缩放性的实例的图。

图5是说明参考层与增强层之间的图片纵横比可缩放性的另一实例的图。

图6是说明根据本发明的方面的用于调用再取样过程的实例条件的框图。

图7是说明根据本发明的方面的用于确定是否对层间参考图片进行再取样的方法的流程图。

具体实施方式

本发明中描述的技术一般涉及可缩放视频译码(SHVC，SVC)及多视图/3D视频译码(例如，多视图译码加深度，MVC+D)。举例来说，所述技术可与高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC扩展中，可存在多个视频信息层。视频信息的最低层级处的层可充当基础层(BL)或参考层(RL)，且视频信息的最顶部(或最高层)处的层可充当增强层(EL)。“经增强层”有时被称作“增强层”，且这些术语可互换地使用。“基础层”有时被称作“参考层”，且这些术语也可互换地使用。基础层与顶部层之间的所有层可充当额外EL和/或参考层。举例来说，给定层可为用于所述给定层下方(例如，在前面)的层(例如基础层或任何介入增强层)的EL。此外，给定层还可充当用于给定层上方(例如，在之后)的一或多个增强层的RL。基础层(例如，具有例如设定为或等于“1”的层识别(ID)的最低层)与顶部层(或最高层)之间的任何层可用作用于比给定层高的层的层间预测的参考，且可使用比给定层低的层作为用于层间预测的参考。举例来说，可使用比给定层低的层作为用于层间预测的参考来确定给定层。

为简单起见，根据仅两个层来呈现实例：BL及EL；然而，应很好地理解，下文描述的构想及实施例还适用于具有多个层的情况。此外，为了易于解释，常常使用术语“帧”或“块”。然而，这些术语不打算是限制性的。例如，下文描述的技术可与多种视频单元中的任一者使用，视频单元包含但不限于像素、块(例如，CU、PU、TU、宏块等)、切片、帧、图片等。

视频译码

视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual及ITU-TH.264(也被称作ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)及多视图译码加上深度(MVC+D)扩展。最新的HEVC草案规范(且下文中被称作HEVCWD10)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。HEVC的多视图扩展(即MV-HEVC)也正由JCT-3V开发。下文的MV-HEVCWD3(中)的最近工作草案(WD)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip获得。被称为SHVC的对HEVC的可缩放扩展也正由JCT-VC开发。SHVC的最近工作草案(WD)(且在下文被称作SHVCWD1)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1008-v1.zip获得。

在SVC和SHVC中，视频信息可作为多个层提供。在最底部层级处的层可仅充当基础层(BL)，且在最顶部层级处的层可充当增强层(EL)。顶部层与底部层之间的所有层可充当增强层及参考层两者。举例来说，在中间的层可为用于其下方的层的EL，且同时作为用于其上方的层的RL。出于描述的简单性起见，在说明下文描述的技术时，可假设存在两个层：BL及EL。然而，本文中描述的所有技术还适用于具有多个(两个以上)层的情况。

可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频信息，以使得所述参考层及所述增强层一起包含足以在高于所述第一水平的第二质量水平(例如，更少的噪声、更大的分辨率、更好的帧速率等)下显示视频的视频信息。经增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的按比例缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限于)EL的空间分辨率大于BL的空间分辨率。

在涉及用于H.264的SVC扩展或用于H.265的SHVC扩展(如上文所论述)的SVC中，当前块的预测可使用为SVC提供的不同层来执行。此预测可被称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。

概述

在仅高级语法SHVC中，仅在切片或更高层级处允许对语法的改变。举例来说，已提议SHVC高级语法设计，其方式为使得当对当前增强层图片进行译码时来自参考层(例如，具有与当前图片的图片次序计数(POC)值相同的POC值的参考层图片)的位于同一地点的经重构图片(必要时经再取样)可用作层间参考图片。这可允许进行层间预测而无需任何低层级译码过程改变。因此，来自不同层的整个参考图片可需要经上取样或经再取样，因为块层级再取样不可用。来自另一层的参考图片可被称为“层间参考图片”。在层间预测中，当前图片的预测可基于层间参考图片而产生。然而，层间参考图片的仅一部分或区可以用于产生当前图片的预测。所述区可在层间参考图片的经上取样或经再取样版本的方面界定。举例来说，SHVC可使用经按比例缩放参考层偏移，其可为相对于当前图片指示在预测中使用的经上取样或经再取样层间参考图片的区的偏移。下文更详细阐释经按比例缩放参考层偏移。

SHVC工作草案的早期版本仅使用图片大小来确定层间参考图片是否应经再取样。然而，由于层间参考图片(或经上取样或经再取样层间参考图片)的仅一部分(例如，区)可以用于预测当前图片，因此仅考虑图片大小可能不足够。并且，SHVC还可支持位深度可缩放性，例如，参考层和增强层可能具有不同位深度。当参考层和增强层具有相同图片大小但位深度不同时也可能需要调用再取样过程。

为了解决这些和其它问题，本发明中描述的技术界定用于调用层间参考图片的再取样过程的条件，其考虑了经按比例缩放参考层偏移。在一些实施例中，所述条件可基于空间分辨率和经按比例缩放参考层偏移。在其它实施例中，所述条件可基于空间分辨率、色度格式、位深度以及经按比例缩放参考层偏移。通过在确定是否再取样层间参考图片中并入经按比例缩放参考层偏移，所述技术可当层间参考图片的仅一部分用于层间预测时适当地再取样层间参考图片。如果在确定是否再取样层间参考图片中不考虑经按比例缩放参考层偏移，那么在其中层间参考图片应经再取样的情况下可不调用再取样过程(例如，层间参考图片具有相同图片大小，但经按比例缩放参考层偏移指示层间参考图片的仅一部分被使用，且应调用再取样过程以具有正确的层间预测)。考虑经按比例缩放参考层偏移可导致在识别何时应再取样层间参考图片中的改进的准确性，并且因此可得到较好预测结果，因为在预测中可使用适当地经再取样层间参考图片。

下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所陈述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化及排列属于本发明的范围。尽管提及了优选方面的一些益处和优点，但本发明的范围并不希望限于特定益处、用途或目标。实际上本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不具有限制性，本发明的范围由所附权利要求书及其等效物界定。

视频译码系统

图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码和视频解码。

如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可对由源装置12产生的经编码视频数据进行解码。源装置12可经由通信信道16将视频数据提供到目的地装置14，通信信道16可包含计算机可读存储媒体或其它通信信道。源装置12及目的地装置14可包含广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话、所谓的“智能”板)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置，等等。源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由通信信道16接收待解码的经编码视频数据。通信信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。举例来说，通信信道16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可以根据通信标准(例如，无线通信协议)来调制，并且被发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的其它设备。

在一些实施例中，经编码数据可从输出接口22输出到存储装置。在此些实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读存储媒体。例如，目的地装置14可经由磁盘存取或卡存取来存取所述计算机可读存储媒体。类似地，可通过输入接口28从计算机可读存储媒体存取经编码数据。计算机可读存储媒体可包含多种分布式或在本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于储存视频数据的其它数字存储媒体。计算机可读存储媒体可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从计算机可读存储媒体存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从计算机可读存储媒体的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术可应用除无线应用或设定之外的应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频传输(例如动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实施例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。

在图1中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。源装置12的视频编码器20可经配置以应用用于译码包含视频数据(符合多个标准或标准扩展)的位流的技术。在其它实施例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。视频源18可产生基于计算机图形的数据(作为源视频)，或实况视频、所存档视频和计算机产生的视频的组合。在一些实施例中，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。经编码视频信息可通过输出接口22输出到通信信道16，通信信道16可包含计算机可读存储媒体，如上文所论述。

计算机可读存储媒体可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(例如，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。网络服务器(未图示)可从源装置12接收经编码视频数据，且将经编码视频数据提供到目的地装置14(例如经由网络发射)。媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据，且生产含有所述经编码视频数据的光盘。因此，可将通信信道16理解为包含一或多个各种形式的计算机可读存储媒体。

目的地装置14的输入接口28可从通信信道16接收信息。通信信道16的信息可包含由视频编码器20界定的语法信息，所述语法信息可供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包含多种显示元件中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

视频编码器20和视频解码器30可以根据一种视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据其它专属或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-TH.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频或视频两者的编码。如果适用，多路复用器-多路分用器单元可符合ITUH.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输或类似者。编码装置可对数据进行编码且将数据存储到存储器，及/或解码装置可从存储器检索数据且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地将数据编码到存储器及/或从存储器检索数据且对数据进行解码的装置执行编码及解码。

视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如，蜂窝式电话)。

JCT-VC正在致力于开发HEVC标准及其扩展且版本1已结束。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以被划分为包含明度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可以界定LCU的大小，LCU是在像素数目方面的最大译码单元。切片包含按译码顺序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可以根据四叉树而分裂成多个译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果CU分裂成4个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可以提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其表明对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可以递归地来定义，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未分裂。

CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还称为子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可界定树块可分裂的最大次数(被称作最大CU深度)，且还可界定译码节点的最小大小。所以，位流还可界定最小译码单元(SCU)。本发明使用术语“块”指代CU、PU或TU中的任一者(在HEVC的情况下)或类似数据结构(在其它标准的情况下)(例如，在H.264/AVC中的宏块及其子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8x8像素到多达具有最大64x64像素或更大的树块大小的范围内。每一CU可含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用被称为“残余四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU未经进一步分裂时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与同一CU的对应叶TU位于同一地点。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。RQT的未分裂的TU被称作叶TU。一般来说，除非另有陈述，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列的一或多个所述视频图片。GOP可包含在GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，所述语法数据描述GOP中所包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N及nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是另一方向分割成25％及75％。CU的对应于25％分割区的部分表示成“n”，接着是用“上”、“下”、“左”或“右”指示。因此，例如，“2NxnU”是指经水平地分割的2Nx2NCU，其中顶部为2Nx0.5NPU，而底部为2Nx1.5NPU。

在本发明中，“NxN”与“N乘N”可以互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括描述在空间域(也称为像素域)中产生预测像素数据的方法或模式的语法数据，且TU可包括在应用变换之后变换域中的系数，所述变换例如离散正弦变换(DST)、离散余弦变换(DCT)、整数变换、小波变换或与残余视频数据概念上类似的变换。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在用以产生变换系数的任何变换后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被向下舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经过设计以将较高能量(并且因此较低频率)的系数放置在阵列正面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描顺序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据进行解码时使用。

为执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。举例来说，所述上下文可与符号的相邻值是否为非零有关。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造使得相对较短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。(例如)与对待发射的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。

视频编码器

图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频位流的单层(例如针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部，包含但不限于上文及下文相对于图4到6更详细地描述的执行层间预测信令及相关过程的方法。作为一个实例，层间预测单元66(当提供时)可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。图2A的编码器20说明编解码器的单层。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于根据多层编解码器进行处理。

视频编码器20可执行视频切片内的视频块的帧内、帧间和层间预测(有时被称作帧内、帧间或层间译码)。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。层间译码依赖于基于同一视频译码序列内的不同层内的视频的预测。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可以指若干基于时间的译码模式中的任一者。

如图2A中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图2A的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、层间预测单元66和分割单元48。参考帧存储器64可包含经解码图片缓冲器。经解码图片缓冲器是具有其一般含义的广义术语，且在一些实施例中涉及视频编解码器管理的参考帧的数据结构。

为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60，及求和器62。还可包含解块滤波器(图2A中未图示)以便对块边界进行滤波，以从经重构视频移除成块效应假象。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未图示这些滤波器，但是必要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可以划分成多个视频块。运动估计单元42及运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46或者可相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，以为每一视频数据块选择适当的译码模式。

此外，分割单元48可以基于先前译码遍次中的先前分割方案的评估将视频数据块分割成若干子块。举例来说，分割单元48可初始地将帧或切片分割为若干LCU，且基于速率失真分析(例如，速率失真优化等)将LCU中的每一者分割为子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可例如基于误差结果选择译码模式(帧内、帧间或层间预测模式)中的一者，且将所产生的帧内、帧间或层间经译码块提供到求和器50来产生残余块数据并提供到求和器62来重构经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的位移。预测块是经发现在像素差异方面密切地匹配待译码的块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。在一些实例中，视频编码器20可以计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并输出具有分数像素精度的运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。

运动补偿单元44执行的运动补偿可以涉及基于运动估计单元42确定的运动向量来获取或产生预测性块。在一些实例中，运动估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。在一些实施例中，运动估计单元42可相对于明度分量执行运动估计，且运动补偿单元44可针对色度分量和明度分量两者使用基于明度分量计算的运动向量。模式选择单元40可产生与视频块和视频切片相关联的语法元素供视频解码器30在解码视频切片的视频块时使用。

作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测或计算。明确地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可以例如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率-失真值。

在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，和对最可能帧内预测模式、帧内预测模式索引表和修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

视频编码器20可包含层间预测单元66。层间预测单元66经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元66利用预测方法以减少层间冗余，进而提高译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础及增强层具有不同的空间分辨率时，层间预测单元66可执行使用时间按比例缩放功能的空间运动向量按比例缩放及/或层间位置映射，如下文更详细地描述。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残余视频块。求和器50表示可执行此减法运算的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。举例来说，还可使用离散正弦变换(DST)、小波变换、整数变换、子带变换或其它类型的变换。

变换处理单元52可将变换应用于残余块，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化的变换系数的矩阵的扫描。替代性地，熵编码单元56可执行扫描。

在量化后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在由熵编码单元56进行熵译码之后，可以将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块(例如，以供稍后用作参考块)。运动补偿单元44可通过将残余块加到参考帧存储器64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重构的残余块以计算子整数像素值用于运动估计。求和器62将经重构残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重构视频块用于存储在参考帧存储器64中。经重构的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。

多层视频编码器

图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器21的实例的框图。视频编码器21可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。此外，视频编码器21可经配置以执行本发明的技术中的任一者或全部。

视频编码器21包含视频编码器20A及视频编码器20B，其中的每一者可经配置为图2A的视频编码器20且可执行上文相对于视频编码器20所描述的功能。此外，如再使用参考数字所指示，视频编码器20A和20B可包含系统及子系统中的至少一些作为视频编码器20。虽然将视频编码器21说明为包含两个视频编码器20A和20B，但视频编码器21不被如此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器21可包含用于存取单元中的每一图片或帧的视频编码器20。例如，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中视频编码器21可包含比存取单元中的帧更多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。

除了视频编码器20A及20B之外，视频编码器21可包含再取样单元90。在一些情况下，再取样单元90可对所接收的视频帧的基础层进行上取样以例如创建增强层。再取样单元90可对与帧的所接收的基础层相关联的特定信息进行上取样，但不对其它信息进行上取样。例如，再取样单元90可对基础层的空间大小或像素数目进行上取样，但切片的数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。例如，在一些情况下，模式选择单元40可执行上取样。在一些实施例中，再取样单元90经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取样，但在一些情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间减小带宽，那么可对帧进行下取样而不是上取样。再取样单元90还可进一步经配置以执行裁剪及/或填补操作。

再取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信息)进行上取样。随后可将经上取样图片提供到较高层编码器(例如，视频编码器20B)的模式选择单元40，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器移除的一个层。在其它情况下，在图2B的层0编码器与层1编码器之间可存在一或多个较高层编码器。

在一些情况下，可省略或绕过再取样单元90。在此些情况下，来自视频编码器20A的经解码图片缓冲器64的图片可直接提供到视频编码器20B的模式选择单元40，或至少不提供到再取样单元90。例如，如果提供到视频编码器20B的视频数据及来自视频编码器20A的经解码图片缓冲器64的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而没有任何再取样。

在一些实施例中，视频编码器21使用下取样单元94对将提供到较低层编码器的视频数据进行下取样，之后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够对视频数据进行上取样或下取样的再取样单元90。在又其它实施例中，可省略下取样单元94。

如图2B中所说明，视频编码器21可进一步包含多路复用器98或mux。多路复用器98可输出来自视频编码器21的组合位流。通过从视频编码器20A和20B中的每一者取得位流且使在给定时间输出哪一位流进行交替可产生组合位流。虽然在一些情况下，可一次一个位地交替来自两个(或在两个以上视频编码器层的情况下两个以上)位流的位，但在许多情况下，不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。举例来说，针对从视频编码器20A输出的每一块可从视频编码器20B输出两个块。在一些实施例中，可预编程来自多路复用器98的输出流。在其它实施例中，多路复用器98可基于从视频编码器21外部的系统(例如从源装置12上的处理器)接收的控制信号而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定从视频编码器21所要的分辨率输出的任何其它因素而产生控制信号。

视频解码器

图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频位流的单层(例如针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部，包含但不限于上文和下文相对于图4到6更详细地描述的有条件地调用再取样过程和相关过程的方法。作为一个实例，层间预测单元75可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A的解码器30说明编解码器的单层。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于根据多层编解码器进行处理。

在图3A的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、层间预测单元75、逆量化单元76、逆变换单元78、参考帧存储器82及求和器80。在一些实施例中，运动补偿单元72和/或帧内预测单元74可经配置以执行层间预测，在此情况下可省略层间预测单元75。在一些实例中，视频解码器30可执行总体上与关于视频编码器20(图2A)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。参考帧存储器82可包含经解码图片缓冲器。经解码图片缓冲器是具有其一般含义的广义术语，且在一些实施例中涉及视频编解码器管理的参考帧的数据结构。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频块的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于经发信的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生所述预测性块。视频解码器30可以基于存储在参考帧存储器82中的参考图片使用默认构造技术构造参考帧列表--列表0和列表1。运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。

视频解码器30还可包含层间预测单元75。层间预测单元75经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元75利用预测方法以减少层间冗余，借此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。当基础及增强层具有不同的空间分辨率时，可通过层间预测单元75使用时间按比例缩放功能执行空间运动向量按比例缩放及/或层间位置映射，如下文更详细地描述。

逆量化单元76对提供于位流中且由熵解码单元70解码的经量化变换系数进行逆量化，例如，解量化。逆量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度及同样的逆量化程度的量化参数QPY。

逆变换单元78对变换系数应用逆变换，例如逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自逆变换单元78的残余块与由运动补偿单元72产生的相对应的预测性块求和来形成经解码视频块。求和器90表示执行此求和运算的组件。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块效应假象。其它环路滤波器(译码环路中或译码环路之后)也可用于使像素转变变平滑或以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考帧存储器82中，参考帧存储器82存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。

多层解码器

图3B是说明可实施根据本发明中描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。此外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。

视频解码器31包含视频解码器30A及视频解码器30B，其中的每一者可经配置为图3A的视频解码器30且可执行上文相对于视频解码器30所描述的功能。此外，如再使用参考数字所指示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。虽然将视频解码器31说明为包含两个视频解码器30A和30B，但视频解码器31不被如此限制且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器31可包含用于存取单元中的每一图片或帧的视频解码器30。例如，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器31可包含比存取单元中的帧更多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。

除了视频解码器30A及30B之外，视频解码器31还可包含上取样单元92。在一些实施例中，上取样单元92可对所接收的视频帧的基础层进行上取样以产生将添加到用于帧或存取单元的参考图片列表的增强层。此增强层可存储在参考帧存储器82中(例如，其经解码图片缓冲器等中)。在一些实施例中，上取样单元92可包含相对于图2A的再取样单元90所描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对所接收的视频帧的层进行上取样及/或下取样的再取样单元。

上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器82接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信息)进行上取样。随后可将此经上取样的图片提供到较高层解码器(例如，视频解码器30B)的模式选择单元71，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些情况下，可省略或绕过上取样单元92。在此些情况下，来自视频解码器30A的经解码图片缓冲器82的图片可直接提供到视频解码器30B的模式选择单元71，或至少不提供到上取样单元92。例如，如果提供到视频解码器30B的视频数据及来自视频解码器30A的经解码图片缓冲器82的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器82接收的参考图片进行上取样或下取样的再取样单元90。

如图3B中所说明，视频解码器31可进一步包含多路分用器99或demux。多路分用器99可将经编码视频位流分裂为多个位流，其中由多路分用器99输出的每一位流被提供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图3B的实例中的视频解码器30A及30B)中的每一者之间一次一个位地交替来自在多路分用器99处接收的位流的位，但在许多情况下，不同地划分所述位流。例如，可通过一次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由多路分用器99对位流的划分。在其它实施例中，多路分用器99可基于从视频解码器31的外部的系统(例如从目的地装置14上的处理器)接收的控制信号而划分所述位流。可基于来自输入接口28的视频的分辨率或位速率、基于信道16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生控制信号。

图片纵横比(PAR)和图片样本纵横比(PSAR)

图4说明参考层与增强层之间的图片纵横比可缩放性的实例的概念图。在一些实施例中，图片纵横比(PAR)为图片的宽度:高度比率，其中宽度及高度是以相同长度(空间测量)单位测得。图片纵横比可表达为X:Y，其中X为水平宽度，且Y为垂直高度(以任意空间距离单位)。在一些实施例中，图片样本纵横比(PSAR)为图片中的明度样本阵列的列之间的水平距离与行之间的垂直距离之间的比率。图片样本纵横比可表达为h:v，其中h为水平宽度，且v为垂直高度(以任意空间距离单位)。图4说明其中PSAR在参考层与增强层之间相同且参考层为增强层的经裁减版本的实例。明确地说，如图所示，参考层410可包括水平宽度412及垂直高度414。举例来说，水平宽度412可为853个像素，且垂直高度414可为480个像素。增强层420可包括水平宽度422和垂直高度424。举例来说，水平宽度422可为1280个像素且垂直高度424可为720个像素。在此图中，增强层420的空间分辨率为1280x720，且参考层410的空间分辨率为853x480(WVGA)。参考层410及增强层420两者具有为1的PSAR。在此实例中，参考层410及增强层420两者具有16:9的PAR。

图5说明参考层与增强层之间的图片纵横比可缩放性的另一实例的概念图。图5说明其中PSAR在参考层与增强层之间相同且参考层为增强层的经按比例缩放且经裁减版本的实例。明确地说，如图所示，参考层510可包括水平宽度512及垂直高度514。举例来说，水平宽度512可为640个像素，且垂直高度514可为480个像素。增强层520可包括水平宽度522和垂直高度524。举例来说，水平宽度522可为1280个像素且垂直高度524可为720个像素。参考层510可经按比例缩放，且有可能经按比例缩放区的部分用于预测增强层520。在图5中，增强层的空间分辨率是1280x720(PAR16:9)且参考层的空间分辨率是640x480(PAR4:3)，且所述层两者具有为1的PSAR。在图5的所说明的实施例中，增强层520具有与参考层510不同的图片纵横比。

HEVC/SHVC

在SHVC中，经上取样基础层图片的将用于层间预测的区也可以在序列参数集、VPS或切片标头中界定。与界定和/或用信号表示这些区相关的进一步细节可参见2013年3月5日申请的第61/773,102号美国临时申请案和2014年2月28日申请的第14/194,159号美国申请案，以上申请案中的每一者以全文引用的方式并入本文中。以下是SHVC工作草案中用信号表示的语法的实例：

●scaled_ref_layer_left_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的水平偏移。当不存在时，推断seq_scaled_ref_layer_left_offset的值等于0。

●scaled_ref_layer_top_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的垂直偏移。当不存在时，推断seq_scaled_ref_layer_top_offset的值等于0。

●scaled_ref_layer_right_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的水平偏移。当不存在时，推断seq_scaled_ref_layer_right_offset的值等于0。

●scaled_ref_layer_bottom_offset以两个明度样本的单位指定用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的垂直偏移。当不存在时，推断seq_scaled_ref_layer_bottom_offset的值等于0。

仅高级语法(HLS)改变SHVC

为了支持SHVC中的层间预测，参考层图片(当必要时经再取样)可放在增强当前图片的参考图片列表中作为参考图片。在空间可缩放性的情况下，经重构基础层图片可需要经上取样以匹配增强层图片大小。再取样过程可包含如例如上文所提及的2013年3月5日申请的第61/773,102号美国临时申请案和2014年2月28日申请的第14/194,159号美国申请案中所描述的上取样过程以及填补和/或裁剪过程。

在SHVC中有条件地调用再取样过程

在SHVC中，当添加参考层图片(例如，经重构参考层图片)作为当前图片的参考图片列表中的参考图片时，可对经重构参考层图片执行再取样过程(例如，上取样或下取样)以产生具有与当前图片相同大小的层间参考图片。如果再取样过程不是必要的(例如，如果经重构参考层图片与当前图片为相同大小等等)，那么可将经重构参考层图片直接添加到当前图片的参考图片列表。否则，调用经再取样过程以产生新的层间参考图片以添加到当前图片的参考图片列表。

SHVC工作草案的早期版本简单地使用图片大小来确定是否需要调用再取样过程以形成层间参考图片。然而，对于如上文所描述用信号表示的经按比例缩放参考偏移(例如，scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offset)，SHVC工作草案的早期版本中界定的条件不再足够。举例来说，如果当前图片和层间参考图片的图片大小相同(并且因此在当前SHVC工作草案程序下将不采用再取样)，那么如果层间参考图片的仅一区用于层间预测，那么应对层间参考图片的所述区进行再取样，即使当前图片和层间参考图片的图片大小相同也是如此。

根据一些实施例，界定新条件且用作调用再取样过程的“触发器”(基础)。本发明中描述的技术可在确定是否应对层间参考图片进行再取样时考虑经按比例缩放参考层偏移以及空间分辨率。所述再取样过程适当时可包含层间参考图片的上取样、下取样、位移位、裁剪和/或填补。在一些实施例中，所述条件可基于空间分辨率和经按比例缩放参考层偏移。在其它实施例中，所述条件可基于空间分辨率、色度格式、位深度以及经按比例缩放参考层偏移。

如HEVC/SHVC中界定，当前图片的参考图片必须具有与当前图片的空间比率和图片大小相同的空间比率和图片大小。并且在SHVC中，存在层间参考图片的运动向量应当为零的规范性位流符合约束。因此，根据各种实施例，SHVC中的当前图片的层间参考图片应具有以下特征：

●层间参考图片应具有与当前图片相同的空间比率，

●层间参考图片应具有与当前图片相同的图片大小，

●参考层图片和当前图片的位于同一地点的样本应位于相同样本位置处。

如果参考层图片具有所有以上所提到的三个特征，那么可将经重构参考层图片直接添加到当前图片的参考图片列表。否则，调用再取样过程以产生层间参考图片以添加到当前图片的参考图片列表。在一些实施例中，所述技术可界定以使得当不满足以上三个特征中的任一者时对层间参考图片进行再取样的方式调用再取样过程的条件。下文参考图6描述与所述技术相关的某些细节。

图6是说明根据本发明的方面的用于调用再取样过程的实例条件的框图。贯穿本发明所使用的各种术语是具有它们的一般含义的广义术语。另外，在一些实施例中，某些术语涉及以下视频概念。图片可在所述术语用于当前标准(例如，HEVC)中时指代视频图片。偏移可指代两个点、两个线、两个边缘、两个表面、两个区域、两个元件、两个对象(例如，图片等)等之间的距离或差异。在一些实施例中，偏移可指代两个边界之间的间距，例如图6中说明的偏移624。举例来说，左偏移624a是增强层当前图片620的左边界与参考层622的经按比例缩放/经上取样相关区的左边界之间的间距；顶部偏移624b是增强层当前图片620的顶部边界与参考层622的经按比例缩放/经上取样相关区的顶部边界之间的间距；右偏移624c是增强层当前图片620的右边界与参考层622的经按比例缩放/经上取样相关区的右边界之间的间距；以及底部偏移624d是增强层当前图片620的底部边界与参考层622的经按比例缩放/经上取样相关区的左下边界之间的间距。在某些实施例中，偏移可相对于参考点、线、边界等而指定。在图6的实例中，左偏移624a、顶部偏移624b、右偏移624c和底部偏移624d是分别相对于增强层当前图片620的左边界、顶部边界、右边界和底部边界而指定。在一些实施例中，偏移可由坐标指示。举例来说，偏移可使用一或多个坐标的集合界定位置或定位。在一个实例中，偏移可包含水平坐标和垂直坐标。偏移可为正或负的值。

空间可缩放性支持

以下变量可以用于界定调用层间参考图片的再取样过程的条件。根据一些实施例，所述变量可如下界定：

●将变量PicWidthInSamplesL626和PicHeightInSamplesL628设定成以明度样本的单位分别等于当前图片的宽度和高度。

●将变量RefLayerPicWidthInSamplesL616和RefLayerPicHeightInSamplesL618设定成以明度样本的单位分别等于经解码参考层图片的宽度和高度。替代地，将变量RefLayerPicWidthInSamplesL616和RefLayerPicHeightInSamplesL618设定成以明度样本的单位分别等于经裁减经解码参考层图片的宽度和高度。

●将变量ScaledRefLayerLeftOffset624a以明度样本的单位界定为用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的水平偏移。

●将变量ScaledRefLayerTopOffset624b以明度样本的单位界定为用于层间预测的经再取样层图片的左上明度样本与当前图片的左上明度样本之间的垂直偏移。

●将变量ScaledRefLayerRightOffset624c以明度样本的单位界定为用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的水平偏移。

●将变量ScaledRefLayerBottomOffset624d以明度样本的单位界定为用于层间预测的经再取样层图片的右下明度样本与当前图片的右下明度样本之间的垂直偏移。

●变量ScaledRefLayerPicWidthInSamplesL630和ScaledRefLayerPicHeightInSamplesL632如下界定：

-ScaledRefLayerPicWidthInSamplesL＝PicWidthInSamplesL-ScaledRefLayerLeftOffset-ScaledRefLayerRightOffset

-ScaledRefLayerPicHeightInSamplesL＝PicHeightInSamplesL-ScaledRefLayerTopOffset-ScaledRefLayerBottomOffset

ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c和ScaledRefLayerBottomOffset624d可对应于如上文所阐释的scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset和scaled_ref_layer_bottom_offset。

在某些实施例中，可在编码器处在决定增强层图片的哪一区将用作用于参考层图片的输入时确定经按比例缩放参考层偏移。举例来说，编码器接收用于增强层的视频数据输入且选择当前增强层图片的区以译码为对应参考层图片。编码器可设定经按比例缩放参考层偏移的值以界定此区。所述偏移可相对于当前增强层图片。随后，经按比例缩放参考层偏移值可当编码器正基于参考层图片(例如，经重构参考层图片)对当前增强层图片进行编码时可用于编码器。编码器可使用下文指定的条件来确定是否再取样参考层图片(例如，经重构参考层图片)。类似地，解码器可使用下文指定的相同条件来确定是否再取样参考层图片(例如，经重构参考层图片)。

在一个实施例中，用于检查是否调用层间参考图片的再取样过程的条件如下界定：

●如果PicWidthInSamplesL626等于RefLayerPicWidthInSamplesL616且PicHeightInSamplesL628等于RefLayerPicHeightInSamplesL618且ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c和ScaledRefLayerBottomOffset624d的值全部等于0，

-那么不执行再取样过程，例如，将经重构参考层图片直接添加到当前图片的参考图片列表；

●否则，调用再取样过程以产生经再取样层间参考图片。

在此实施例中，如果当前图片的图片大小和层间参考图片的图片大小相同且所有经按比例缩放参考层偏移等于0，那么可将层间参考图片添加到当前图片的参考图片列表而无需再取样层间参考图片。否则，对层间参考图片进行再取样且随后将经再取样层间参考图片添加到当前图片的参考图片列表。通过检查图片大小和经按比例缩放参考层偏移，所述技术可检查当前图片和层间参考图片是否具有相同的空间比率和图片大小。

在另一实施例中，用于检查是否调用层间参考图片的再取样过程的条件如下界定：

●如果ScaledRefLayerPicWidthInSamplesL630等于RefLayerPicWidthInSamplesL616且ScaledRefLayerPicHeightInSamplesL632等于RefLayerPicHeightInSamplesL618且ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c和ScaledRefLayerBottomOffset624d的值全部等于0，

-那么不执行再取样过程，例如，将经重构参考层图片直接添加到当前图片的参考图片列表；

●否则，调用再取样过程以产生经再取样层间参考图片。

在此实施例中，如果当前图片的图片大小和经按比例缩放层间参考图片的图片大小相同且所有经按比例缩放参考层偏移等于0，那么可将层间参考图片添加到当前图片的参考图片列表而无需再取样层间参考图片。否则，对层间参考图片进行再取样且随后将经再取样层间参考图片添加到当前图片的参考图片列表。如上文所阐释，通过检查图片大小和经按比例缩放参考层偏移，所述技术可检查当前图片和层间参考图片是否具有相同的空间比率和图片大小。

对额外可缩放性类型的支持

如上所提到，再取样过程用以产生具有与当前图片相同图片格式的层间参考图片。对于上述空间可缩放性情况，仅考虑空间分辨率。然而，一般图片格式信息包含更多信息，例如图片样本的位深度和色度颜色格式。因此，在当前图片的此信息不同于参考层图片的此信息时可需要调用某一种类的再取样过程。举例来说，参考层的样本值可由8个数据位表示，导致从0到255的值范围；增强层的样本值可由10个数据位表示，导致从0到1023的值范围。作为另一实例，参考层图片可具有YUV420色度颜色格式，且增强层可具有YUV444色度颜色格式。在这些实例中，基于参考层与增强层之间的位深度和/或色度颜色格式的差异，可需要再取样过程以支持SHVC中的位深度可缩放性和色度颜色格式可缩放性。

以下变量可以用于界定调用层间参考图片的再取样过程的条件。根据一些实施例，所述变量可如下界定：

●变量BitDepthY和BitDepthC分别是当前图片的明度分量和色度分量的位深度。

●变量RefLayerBitDepthY和RefLayerBitDepthC分别是层间参考图片的明度分量和色度分量的位深度。

●变量chroma_format_idc是当前图片的色度格式且RefLayer_chroma_format_idc是参考层图片的色度格式。

在一个实施例中，用于检查是否调用层间参考图片的再取样过程的条件如下界定：

●如果PicWidthInSamplesL626等于RefLayerPicWidthInSamplesL616，且PicHeightInSamplesL628等于RefLayerPicHeightInSamplesL618，且ScaledRefLayerLeftOffset624a、ScaledRefLayerTopOffset624b、ScaledRefLayerRightOffset624c和ScaledRefLayerBottomOffset624d的值全部等于0，且BitDepthY等于RefLayerBitDepthY，且BitDepthC等于RefLayerBitDepthC，且chroma_format_idc等于RefLayer_chroma_format_idc，

-那么不执行再取样过程，例如，将经重构参考层图片直接添加到当前图片的参考图片列表；

●否则，调用再取样过程以产生经再取样层间参考图片。

在此实施例中，如果当前图片和层间参考图片的图片大小是相同的，所有经按比例缩放参考层偏移等于0，当前图片和层间参考图片的明度位深度和色度位深度是相同的，且当前图片和层间参考图片的色度格式是相同的，那么可将层间参考图片添加到当前图片的参考图片列表而无需再取样层间参考图片。否则，对层间参考图片进行再取样且随后将经再取样层间参考图片添加到当前图片的参考图片列表。如上文所阐释，通过检查图片大小和经按比例缩放参考层偏移，所述技术可检查当前图片和层间参考图片是否具有相同的空间比率和图片大小。

通过检查明度和色度位深度是否相同且色度格式是否相同，所述技术可当明度和色度位深度和/或色度格式不同时适当地对层间参考图片进行再取样。

确定是否对层间参考图片进行再取样的方法

图7是说明根据本发明的方面的用于确定是否对层间参考图片进行再取样的实例方法的流程图。取决于实施例，过程700可由编码器(例如，如图2A、2B等中所示的编码器)、解码器(例如，如图3A、3B等中所示的解码器)或任何其它组件执行。相对于图3B中的解码器31描述过程700的框，但可通过如上文所提及的其它组件(例如编码器)执行过程700。取决于实施例，解码器31的层1视频解码器30B和/或解码器31的层0解码器30A可执行过程700。另外，相对于图7所描述的所有实施例可单独地或彼此组合地实施。上文例如相对于图6阐释与过程700相关的某些细节。

过程700在框701处开始。解码器31可包含存储器(例如，参考帧存储器82)用于存储与用于待解码当前图片的层间参考图片相关联的视频信息。当前图片可来自当前层，且层间参考图片可来自当前层的参考层。在一些实施例中，当前层称为增强层，且参考层称为基础层。

在框702处，解码器31接收与用于界定用以产生当前图片的预测的层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息。解码器31可在bistream中接收所述信息且对一或多个语法元素进行解码以获得与所述多个层间参考偏移相关的信息。如果与层间参考图片的所述多个层间参考偏移相关的信息不存在于所述位流中，那么解码器31可推断所述多个层间参考偏移中的每一者等于0。举例来说，参考图片可为不需要再取样的一个参考图片和/或参考图片可使用整个层间参考图片来产生当前图片的预测。所述多个层间参考偏移可在层间参考图片的经再取样版本的坐标方面界定。然而，如上文所阐释，某些层间参考图片可能不具有经再取样版本，因为再取样可能不是必要的。在此些情况下，所述多个层间参考偏移可不用信号表示，或推断为0。

所述多个层间参考偏移可包含各自相对于当前图片指定的左偏移、顶部偏移、右偏移和底部偏移。左偏移、顶部偏移、右偏移和底部偏移可分别对应于scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset和scaled_ref_layer_bottom_offset。

在一个实施例中，左偏移是层间参考图片的经再取样版本的左上明度样本与当前图片的左上明度样本之间的水平偏移。顶部偏移是层间参考图片的经再取样版本的左上明度样本与当前图片的左上明度样本之间的垂直偏移。右偏移是层间参考图片的经再取样版本的右下明度样本与当前图片的右下明度样本之间的水平偏移。底部偏移是层间参考图片的经再取样版本的右下明度样本与当前图片的右下明度样本之间的垂直偏移。每一偏移可以明度样本的单位来界定。

在框703处，解码器31至少部分地基于所述多个层间参考偏移而确定是否对层间参考图片进行再取样。解码器31可基于包含所述多个层间参考偏移的各种准则而确定是否对层间参考图片进行再取样。再取样过程可包含对层间参考图片进行上取样、下取样、位移位、裁剪和/或填补或其任何组合。在一些实施例中，解码器31可另外或替代地在确定是否对层间参考图片进行再取样时考虑与层间参考图片的图片格式相关联的一或多个类型信息。图片格式可包含各种类型的信息，包含空间分辨率、色度格式、位深度等。

在某些实施例中，解码器31考虑当前图片和层间参考图片的空间分辨率(或层间参考图片的经上取样或经再取样版本)。在一个实施例中，解码器31通过确定包含以下各项的条件而确定是否对层间参考图片进行再取样：

●当前图片的宽度和层间参考图片的宽度是否相等

●当前图片的高度和层间参考图片的高度是否相等，以及

●左偏移、顶部偏移、右偏移和底部偏移是否各自等于0

如果所有条件为真，那么解码器31确定应不对层间参考图片进行再取样。如果所述条件中的至少一者不为真，那么解码器31确定应对层间参考图片进行再取样。解码器31检查以上条件以便确定是否应对层间参考图片进行再取样。当前图片的宽度、当前图片的高度、层间参考图片的宽度和层间参考图片的高度可以明度样本的单位来界定。

在另一实施例中，解码器31通过确定包含以下各项的条件而确定是否对层间参考图片进行再取样：

●层间参考图片的宽度和层间参考图片的经再取样版本的宽度是否相等，其中层间参考图片的经再取样版本的宽度是通过从当前图片的宽度减去左偏移和右偏移而获得，

●层间参考图片的高度和层间参考图片的经再取样版本的高度是否相等，其中层间参考图片的经再取样版本的高度是通过从当前图片的高度减去顶部偏移和底部偏移而获得，以及

●左偏移、顶部偏移、右偏移和底部偏移是否各自等于0

如果所有条件为真，那么解码器31确定应不对层间参考图片进行再取样。如果所述条件中的至少一者不为真，那么解码器31确定应对层间参考图片进行再取样。解码器31检查以上条件以便确定是否应对层间参考图片进行再取样。当前图片的宽度、当前图片的高度、层间参考图片的经再取样版本的宽度和层间参考图片的经再取样版本的高度可以明度样本的单位来界定。

在一些实施例中，解码器31考虑当前图片和层间参考图片的色度格式和位深度以及当前图片和层间参考图片的空间分辨率(或层间参考图片的经上取样或经再取样版本)。在一个实施例中，解码器31通过确定包含以下各项的条件而确定是否对层间参考图片进行再取样：

●当前图片的宽度和层间参考图片的宽度是否相等

●当前图片的高度和层间参考图片的高度是否相等，

●左偏移、顶部偏移、右偏移和底部偏移是否各自等于0

●当前图片的明度分量的位深度和层间参考图片的明度分量的位深度是否相等

●当前图片的色度分量的位深度和层间参考图片的色度分量的位深度是否相等，以及

●当前图片的色度格式和层间参考图片的色度格式是否相等

如果所有条件为真，那么解码器31确定应不对层间参考图片进行再取样。如果所述条件中的至少一者不为真，那么解码器31确定应对层间参考图片进行再取样。解码器31检查以上条件以便确定是否应对层间参考图片进行再取样。当前图片的宽度、当前图片的高度、层间参考图片的宽度和层间参考图片的高度可以明度样本的单位来界定。

在框704处，解码器31响应于确定应对层间参考图片进行再取样而对层间参考图片进行再取样。举例来说，解码器31的上取样单元92可执行再取样。解码器31可将经再取样层间参考图片添加到当前图片的参考图片列表。如果解码器31确定不应对层间参考图片进行再取样，那么解码器31可将层间参考图片添加到当前图片的参考图片列表而无需再取样层间参考图片。解码器31可基于参考图片列表中的层间参考图片而产生当前图片的预测单元(PU)。解码器31随后可基于预测单元重构当前图片。过程700在框705处结束。

通过检查以上不同实施例中描述的各种条件，解码器31可当需要再取样时适当地对层间参考图片进行再取样。在是否对层间参考图片进行再取样的确定中可考虑所述多个层间参考偏移以使得当在当前图片的预测中使用层间参考图片(或经上取样或经再取样层间参考图片)的仅一区时可对层间参考图片进行再取样。

这些技术可在仅高级语法SHVC中使用。在仅高级语法SHVC中，与所述多个层间参考偏移相关的信息可在切片层级或更高层级处指定。取决于实施例，在过程700中可添加和/或省略框，且取决于实施例，可以不同次序执行过程700的框。

本发明中相对于再取样描述的任何特征和/或实施例可单独地或以其任何组合来实施。举例来说，结合图6描述的任何特征和/或实施例可以与结合图7描述的任何特征和/或实施例的任何组合来实施，且反之亦然。

运动映射过程

如上文所论述，当基础层和增强层的图片格式信息不同时调用再取样过程。当未调用再取样过程时，参考层经重构图片直接用作层间参考图片。然而，即使当参考层图片和当前增强层的图片格式信息相同时，如果经重构参考层图片直接用作用于增强层的参考图片则仍可存在问题。这是因为在参考层图片和增强层图片的译码树块(CTB)大小不同且存在参考层图片中现存的多个切片时，层间参考图片的切片分区可能越过增强层CTB边界。当经重构参考层图片用作位于同一地点的图片以用于时间运动向量预测符(TMVP)导出以启用层间参考图片时这可带来问题。

解决此问题的一个方法是强加层间参考图片无法用作位于同一地点的图片的限制，如2013年7月22日申请的第61/857,165号美国临时申请案和2013年10月14日申请的第61/886,997号美国临时申请案中所描述，以上申请案中的每一者以全文引用的方式并入本文。

在另一实施例中，提议对此情况调用某一再取样过程。再取样过程可包含切片边界调整，或可解决此问题的其它过程，例如2013年7月22日申请的第61/857,227号美国临时申请案中描述的那些过程，所述申请案以全文引用的方式并入本文。

因此，除如上文所界定的条件之外，当参考层图片的CTB大小和当前增强层的CTB大小不同时，以经重构参考层图片作为输入调用再取样过程以产生层间参考图片。

替代地或除如上文所界定的条件之外，当参考层图片的CTB大小和当前增强层的CTB大小不同且存在参考层图片中的多个切片时，以经重构参考层图片作为输入调用再取样过程以产生层间参考图片。

替代地或除如上文所界定的条件之外，当参考层图片的CTB大小和当前增强层的CTB大小不同且存在参考层图片中的多个切片且所述多个切片的切片类型和参考图片列表不相同时，以经重构参考层图片作为输入调用再取样过程以产生层间参考图片。

术语

虽然以上揭示内容已描述特定实施例，但许多变化是可能的。举例来说，如上文所提及，以上技术可应用于3D视频编码。在3D视频的一些实施例中，参考层(例如，基础层)包含足以显示视频的第一视图的视频信息，且增强层包含相对于参考层的额外视频信息以使得参考层和增强层一起包含足以显示视频的第二视图的视频信息。这两个视图可用于产生立体图像。如上文所论述，根据本发明的方面，来自参考层的运动信息可用于在编码或解码增强层中的视频单元时识别额外的隐式假设。此可提供对3D视频位流的更大译码效率。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同序列执行，可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非循序执行动作或事件。

可使用多种不同技术及技艺中的任一者来表示本文中所揭示的信息及信号。举例来说，可以通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任一组合来表示在整个上文描述中可能提及的数据、指令、命令、信息、信号、位、符号及码片。

结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施方案决策不应被解释为会造成脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。此些技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似物。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传送程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(编解码器)中。

本文论述的译码技术可为实例视频编码和解码系统中的实施例。系统包含提供经编码视频数据以在稍后时间由目的地装置解码的源装置。确切地说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置和目的地装置可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置，或类似物。在一些情况下，源装置和目的地装置可经装备以用于无线通信。

目的地装置可经由计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置的通信媒体。经编码视频数据可根据通信标准(例如无线通信协议)加以调制，且发射到目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含可用于促进从源装置到目的地装置的通信的路由器、交换器、基站或任何其它设备。

在一些实例中，经编码数据可从输出接口输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储由源装置产生的经编码视频的另一中间存储装置。目的地装置可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置可经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。这可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可能是流式传输、下载发射或两者的组合。

本发明的技术不一定限于无线应用或设定。所述技术可以应用于视频译码并且支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在一个实例中，源装置包含视频源、视频编码器和输出接口。目的地装置可包含输入接口、视频解码器和显示装置。源装置的视频编码器可经配置以应用本文所揭示的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置可从外部视频源(例如，外部相机)接收视频数据。同样，目的地装置可与外部显示装置介接，而非包含集成显示装置。

以上实例系统仅是一个实例。用于并行处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术总体上由视频编码装置执行，但是所述技术还可由视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术还可由视频预处理器执行。源装置及目的地装置仅为源装置在其中产生经译码视频数据以供发射到目的地装置的此类译码装置的实例。在一些实例中，源装置和目的地装置可以实质上对称方式操作以使得所述装置中的每一者包含视频编码和解码组件。因此，实例系统可支持视频装置之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。

视频源可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源为视频摄像机，那么源装置及目的地装置可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器编码所俘获、预先俘获或计算机产生的视频。经编码视频信息可随后由输出接口输出到计算机可读媒体上。

如所提到，计算机可读媒体可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置接收经编码视频数据，且例如经由网络发射将经编码视频数据提供到目的地装置。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置接收经编码视频数据并且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体可理解为包含各种形式的一或多个计算机可读媒体。

目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的也供视频解码器使用的语法信息，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (37)

1.一种用于对视频信息进行译码的设备，所述设备包括：

存储器，其经配置以存储与用于待译码当前图片的层间参考图片相关联的视频信息；以及

处理器，其操作性地耦合到所述存储器且经配置以：

接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；

至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样；以及

响应于确定对所述层间参考图片进行再取样，对所述层间参考图片进行再取样。

2.根据权利要求1所述的设备，其中：

所述左偏移是所述层间参考图片的所述经再取样版本的左上明度样本与所述当前图片的左上明度样本之间的水平偏移；

所述顶部偏移是所述层间参考图片的所述经再取样版本的所述左上明度样本与所述当前图片的所述左上明度样本之间的垂直偏移；

所述右偏移是所述层间参考图片的所述经再取样版本的右下明度样本与所述当前图片的右下明度样本之间的水平偏移；以及

所述底部偏移是所述层间参考图片的所述经再取样版本的所述右下明度样本与所述当前图片的所述右下明度样本之间的垂直偏移，

其中每一偏移是以明度样本的单位来界定。

3.根据权利要求1所述的设备，其中所述处理器经配置以通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样：

所述当前图片的宽度和所述层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

4.根据权利要求3所述的设备，其中所述处理器经配置以当所述条件全部为真时确定不应对所述层间参考图片进行再取样。

5.根据权利要求3所述的设备，其中所述处理器经配置以当所述条件中的至少一者不为真时确定应对所述层间参考图片进行再取样。

6.根据权利要求1所述的设备，其中所述处理器经配置以通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样：

所述层间参考图片的宽度和所述层间参考图片的所述经再取样版本的宽度是否相等，其中所述层间参考图片的所述经再取样版本的所述宽度是通过从所述当前图片的所述宽度减去所述左偏移和所述右偏移而获得；

所述层间参考图片的高度和所述层间参考图片的所述经再取样版本的高度是否相等，其中所述层间参考图片的所述经再取样版本的所述高度是通过从所述当前图片的所述高度减去所述顶部偏移和所述底部偏移而获得；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

7.根据权利要求6所述的设备，其中所述处理器经配置以当所述条件全部为真时确定不应对所述层间参考图片进行再取样。

8.根据权利要求6所述的设备，其中所述处理器经配置以当所述条件中的至少一者不为真时确定应对所述层间参考图片进行再取样。

9.根据权利要求1所述的设备，其中所述处理器进一步经配置以基于所述多个层间参考偏移和所述层间参考图片的图片格式而确定是否对所述层间参考图片进行再取样，其中所述图片格式包含以下各者中的一或多者：空间分辨率，色度格式，或位深度。

10.根据权利要求1所述的设备，其中所述处理器经配置以通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样：

所述当前图片的宽度和层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0；

所述当前图片的明度分量的位深度和所述层间参考图片的明度分量的位深度是否相等；

所述当前图片的色度分量的位深度和所述层间参考图片的色度分量的位深度是否相等；以及

所述当前图片的色度格式和所述层间参考图片的色度格式是否相等。

11.根据权利要求10所述的设备，其中所述处理器经配置以当所述条件全部为真时确定不应对所述层间参考图片进行再取样。

12.根据权利要求10所述的设备，其中所述处理器经配置以当所述条件中的至少一者不为真时确定应对所述层间参考图片进行再取样。

13.根据权利要求1所述的设备，其中所述处理器经配置以通过执行以下各者中的一或多者而对所述层间参考图片进行再取样：对所述层间参考图片进行上取样、下取样、位移位、裁剪或填补。

14.根据权利要求1所述的设备，其中所述处理器进一步经配置以将所述经再取样层间参考图片添加到所述当前图片的参考图片列表。

15.根据权利要求1所述的设备，其中所述处理器进一步经配置以响应于确定不应对所述层间参考图片进行再取样而将所述层间参考图片添加到所述当前图片的参考图片列表而无需对所述层间参考图片进行再取样。

16.根据权利要求1所述的设备，其中所述设备选自由以下各者中的一或多者组成的群组：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台，和视频流式传输装置。

17.一种对视频信息进行译码的方法，所述方法包括：

存储与用于待译码当前图片的层间参考图片相关联的视频信息；

接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；

至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样；以及

响应于确定再取样应对所述层间参考图片进行再取样，对所述层间参考图片进行再取样。

18.根据权利要求17所述的方法，其中：

所述左偏移是所述层间参考图片的所述经再取样版本的左上明度样本与所述当前图片的左上明度样本之间的水平偏移；

所述顶部偏移是所述层间参考图片的所述经再取样版本的所述左上明度样本与所述当前图片的所述左上明度样本之间的垂直偏移；

所述右偏移是所述层间参考图片的所述经再取样版本的右下明度样本与所述当前图片的右下明度样本之间的水平偏移；以及

所述底部偏移是所述层间参考图片的所述经再取样版本的所述右下明度样本与所述当前图片的所述右下明度样本之间的垂直偏移，

其中每一偏移是以明度样本的单位来界定。

19.根据权利要求17所述的方法，其中所述确定是否对所述层间参考图片进行再取样包括确定包含以下各项的条件：

所述当前图片的宽度和所述层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

20.根据权利要求19所述的方法，其中当所述条件全部为真时确定不应对所述层间参考图片进行再取样。

21.根据权利要求19所述的方法，其中当所述条件中的至少一者不为真时确定应对所述层间参考图片进行再取样。

22.根据权利要求17所述的方法，其中所述确定是否对所述层间参考图片进行再取样包括确定包含以下各项的条件：

层间参考图片的宽度和所述层间参考图片的所述经再取样版本的宽度是否相等，其中所述层间参考图片的所述经再取样版本的所述宽度是通过从所述当前图片的所述宽度减去所述左偏移和所述右偏移而获得；

所述层间参考图片的高度和所述层间参考图片的所述经再取样版本的高度是否相等，其中所述层间参考图片的所述经再取样版本的所述高度是通过从所述当前图片的所述高度减去所述顶部偏移和所述底部偏移而获得；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

23.根据权利要求22所述的方法，其中当所述条件全部为真时确定不应对所述层间参考图片进行再取样。

24.根据权利要求22所述的方法，其中当所述条件中的至少一者不为真时确定应对所述层间参考图片进行再取样。

25.根据权利要求17所述的方法，其中所述确定是否对所述层间参考图片进行再取样是基于所述多个层间参考偏移和所述层间参考图片的图片格式，其中所述图片格式包含以下各者中的一或多者：空间分辨率，色度格式，或位深度。

26.根据权利要求17所述的方法，其中处理器经配置以通过确定包括以下各项的条件而做出是否对所述层间参考图片进行再取样的确定：

所述当前图片的宽度和层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0；

所述当前图片的明度分量的位深度和所述层间参考图片的明度分量的位深度是否相等；

所述当前图片的色度分量的位深度和所述层间参考图片的色度分量的位深度是否相等；以及

所述当前图片的色度格式和所述层间参考图片的色度格式是否相等。

27.根据权利要求26所述的方法，其中当所述条件全部为真时确定不应对所述层间参考图片进行再取样。

28.根据权利要求26所述的方法，其中当所述条件中的至少一者不为真时确定应对所述层间参考图片进行再取样。

29.根据权利要求17所述的方法，其中所述处理器经配置以通过执行以下各者中的一或多者而对所述层间参考图片进行再取样：对所述层间参考图片进行上取样、下取样、位移位、裁剪或填补。

30.一种包括指令的非暂时性计算机可读媒体，所述指令当在包括计算机硬件的处理器上执行时致使所述处理器：

存储与用于待译码当前图片的层间参考图片相关联的视频信息；

接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；

至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样；以及

响应于确定对所述层间参考图片进行再取样，对所述层间参考图片进行再取样。

31.根据权利要求30所述的计算机可读媒体，其进一步包括致使所述处理器通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样的指令：

所述当前图片的宽度和所述层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

32.根据权利要求30所述的计算机可读媒体，其进一步包括致使所述处理器通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样的指令：

所述层间参考图片的宽度和所述层间参考图片的所述经再取样版本的宽度是否相等，其中所述层间参考图片的所述经再取样版本的所述宽度是通过从所述当前图片的所述宽度减去所述左偏移和所述右偏移而获得；

所述层间参考图片的高度和所述层间参考图片的所述经再取样版本的高度是否相等，其中所述层间参考图片的所述经再取样版本的所述高度是通过从所述当前图片的所述高度减去所述顶部偏移和所述底部偏移而获得；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

33.根据权利要求30所述的计算机可读媒体，其进一步包括致使所述处理器通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样的指令：

所述当前图片的宽度和层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0；

所述当前图片的明度分量的位深度和所述层间参考图片的明度分量的位深度是否相等；

所述当前图片的色度分量的位深度和所述层间参考图片的色度分量的位深度是否相等；以及

所述当前图片的色度格式和所述层间参考图片的色度格式是否相等。

34.一种用于对视频信息进行译码的设备，所述设备包括：

用于存储与用于待译码当前图片的层间参考图片相关联的视频信息的装置；

用于接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息的装置，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；以及

用于至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样的装置，所述装置经配置以响应于确定对所述层间参考图片进行再取样而对所述层间参考图片进行再取样。

35.根据权利要求34所述的设备，其中所述用于确定是否对所述层间参考图片进行再取样的装置经配置以通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样：

所述当前图片的宽度和所述层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

36.根据权利要求34所述的设备，其中所述用于确定是否对所述层间参考图片进行再取样的装置经配置以通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样：

所述层间参考图片的宽度和所述层间参考图片的所述经再取样版本的宽度是否相等，其中所述层间参考图片的所述经再取样版本的所述宽度是通过从所述当前图片的所述宽度减去所述左偏移和所述右偏移而获得；

所述层间参考图片的高度和所述层间参考图片的所述经再取样版本的高度是否相等，其中所述层间参考图片的所述经再取样版本的所述高度是通过从所述当前图片的所述高度减去所述顶部偏移和所述底部偏移而获得；以及

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0。

37.根据权利要求34所述的设备，其中所述用于确定是否对所述层间参考图片进行再取样的装置经配置以通过确定包括以下各项的条件而确定是否对所述层间参考图片进行再取样：

所述当前图片的宽度和层间参考图片的宽度是否相等；

所述当前图片的高度和所述层间参考图片的高度是否相等；

所述左偏移、所述顶部偏移、所述右偏移和所述底部偏移是否各自等于0；

所述当前图片的明度分量的位深度和所述层间参考图片的明度分量的位深度是否相等；

所述当前图片的色度分量的位深度和所述层间参考图片的色度分量的位深度是否相等；以及

所述当前图片的色度格式和所述层间参考图片的色度格式是否相等。