CN104620577B

CN104620577B - 在一般化残差预测的框架下的经加权差预测

Info

Publication number: CN104620577B
Application number: CN201380040333.0A
Authority: CN
Inventors: 李想; 克里希纳坎斯·拉帕卡; 陈建乐; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-08-07
Filing date: 2013-08-05
Publication date: 2018-06-26
Anticipated expiration: 2033-08-05
Also published as: EP2883347A1; CN104620577A; US20140044178A1; WO2014025698A1; US9641836B2

Abstract

根据某些方面，一种用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储与参考层相关联的视频信息。所述处理器至少部分基于与所述参考层相关联的重构值及经调整的差预测值来确定当前视频单元的值。所述经调整的差预测值等于当前层的预测与所述参考层的预测之间的差乘以不同于1的加权因子。

Description

在一般化残差预测的框架下的经加权差预测

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所界定的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可涉及参考帧。

空间或时间预测导致对块的预测块进行译码。残差数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残差数据编码的。经帧内译码块是根据帧内译码模式及残差数据来编码。为了实现进一步压缩，可以将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可以对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

一般来说，本发明描述与可缩放视频译码(SVC)相关的技术。在一些实例中，本发明的技术可提供一般化残差预测(GRP)框架。如上文所解释，层间残差预测使用预测当前视频单元中的参考层的残差。在一般化残差预测中，当前视频单元的层间残差预测可基于当前层的残差、当前层的时间预测及参考层的残差。参考层的残差可通过加权因子来调整。加权因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步长、加权索引及加权表。

在一些实例中，一般化残差预测可使用差分像素。举例来说，层间残差预测可基于从参考层及差预测的重构。所述差预测可等于当前层的预测与参考层的预测之间的差且可通过加权因子来调整。

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储参考层的视频信息。所述处理器至少部分基于预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元的值。所述经调整的残差预测值等于从所述参考层的残差预测乘以不同于1的加权因子。

一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储与参考层相关联的视频信息。所述处理器至少部分基于与所述参考层相关联的重构值及经调整的差预测值来确定当前视频单元的值。所述经调整的差预测值等于当前层的预测与所述参考层的预测之间的差乘以不同于1的加权因子。

附图和以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书而显而易见。

附图说明

图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4A和4B是说明根据本发明的方面的一般化残差预测的实例方法的流程图。

图5是说明根据本发明的方面的用于使用单循环解码的一般化残差预测的实例方法的流程图。

图6A及6B是说明根据本发明的方面的用于使用多循环解码的一般化残差预测的实例方法的流程图。

图7是说明根据本发明的方面的用于用信号发送一般化残差预测参数的实例方法的流程图。

图8是说明根据本发明的方面的用于导出一般化残差预测参数的实例方法的流程图。

图9是说明根据本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法的流程图。

图10是说明根据本发明的方面的用于对一般化残差预测中的运动信息进行重新映射、上取样或下取样的实例方法的流程图。

图11是说明根据本发明的方面的用于确定一般化残差预测中的加权因子的实例方法的流程图。

具体实施方式

本发明中描述的技术通常涉及可缩放视频译码(SVC)及3D视频译码。举例来说，所述技术可与高效率视频译码(HEVC)可缩放视频译码(SVC)扩展相关，及供该HEVC SVC扩展使用或在该HEVC SVC扩展内使用。在SVC扩展中，可存在多个视频信息层。在极底层级处的层可充当基层(BL)，且在极顶部的层可充当增强层(EL)。“增强型层”有时被称作“增强层”，且这些术语可互换地使用。所有在中间的层可充当EL或BL，或EL及BL两者。举例来说，在中间的层可为在其下方的层(例如基层或任何介入增强层)的EL，且同时充当在其上方的增强层的BL。

仅出于说明的目的，使用仅包含两个层(例如，较低层级层(例如基础层)及较高层级层(例如增强型层))的实例来描述本发明中描述的技术。应理解，本发明中描述的实例也可扩展到具有多个基础层及增强层的实例。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。截至2012年6月7日，可从http://wg11.sc29.org/jct/doc_end_user/current_document.php？id＝5885/ JCTVC-I1003-v2获得HEVC的最近草案。截至2012年6月7日，可从http://phenix.it- sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下载被称作“HEVC工作草案7”的HEVC标准的另一最近草案。对HEVC工作草案7的完全引用是布洛斯等人的文献HCTVC-I1003“高效率视频译码(HEVC)文本规范草案7(High Efficiency VideoCoding(HEVC)Text Specification Draft 7)”，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。这些参考文献中的每一者以全文引用的方式并入本文中。

可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。增强型层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限制)EL的空间分辨率大于BL的空间分辨率。

在H.264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块的预测。此预测可被称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。

在层间残差预测中，基础层的残差可用于预测增强层中的当前块。可将所述残差界定为对视频单元的时间预测与源视频单元之间的差。在残差预测中，还在预测当前块中考虑基础层的残差。举例来说，可使用从增强层的残差、从增强层的时间预测及从基础层的残差来重构当前块。可根据以下等式重构当前块：

其中(或)表示当前块的重构，r_e表示从增强层的残差，P_e(或P_c)表示从增强层的时间预测，且r_b表示从基础层的残差预测。

为了针对增强层中的宏块(MB)使用层间残差预测，基础层中的位于同一地点的宏块应为帧间MB，且可根据增强层的空间分辨率对位于同一地点的基础层宏块的残差上取样(例如，因为SVC中的层可具有不同的空间分辨率)。在层间残差预测中，增强层的残差与经上取样基础层的残差之间的差可在位流中译码。可基于基础层及增强层的量化步长之间的比率来规格化基础层的残差。

H.264的SVC扩展需要用于运动补偿的单循环解码以便维持解码器的低复杂度。一般来说，如下通过添加当前块的时间预测及残差来执行运动补偿：

其中表示当前帧、r表示残差，且P表示时间预测。在单循环解码中，可使用单一运动补偿循环来解码SVC中的每一支持的层。为了实现此，使用受约束的帧内预测来译码用于对较高层进行层间帧内预测的所有层。在受约束的帧内预测中，在不参考来自相邻经帧间译码MB的任何样本的情况下对帧内模式MB进行帧内译码。另一方面，HEVC允许用于SVC的多循环解码，其中可使用多个运动补偿循环来解码SVC层。举例来说，首先完全解码基础层，且随后解码增强层。

等式(1)中制定的残差预测可为H.264SVC扩展中的有效技术。然而，可在HEVC SVC扩展中进一步提高其性能，尤其在多循环解码用于HEVC SVC扩展中时。

在多循环解码的情况下，可使用差域运动补偿来取代残差预测。在SVC中，可使用像素域译码或差域译码来译码增强层。在像素域译码中，对于非SVC HEVC层，可译码用于增强层像素的输入像素。另一方面，在差域译码中，可译码用于增强层的差值。所述差值可为用于增强层的输入像素与对应的经缩放基础层经重构像素之间的差。此些差值可用于对差域运动补偿的运动补偿中。

对于使用差域的帧间译码，基于增强层参考图片中的对应经预测块样本与经缩放基础层参考图片中的对应经预测块样本之间的差值来确定当前经预测块。所述差值可被称为差预测块。将位于同一地点的基础层经重构样本添加到差预测块以便获得增强层经重构样本。

然而，在层间预测中使用差域运动补偿会引入两组运动估计及运动补偿，因为运动估计及运动补偿常常用于像素域及差域两者。引入两组运动估计及运动补偿可导致较高的缓冲器及计算成本，这对于编码器或解码器来说可能不实际。另外，译码两组运动向量可降低译码效率，因为在两组运动向量具有不同特性且在译码单元(CU)层级处交错时，运动场可变得不规则。此外，差域中的运动估计需要基础层及增强层共享相同运动。此外，差域运动补偿不与单循环解码一起工作，因为两个层之间的差分图片的导出是基于每一层的充分经重构图片。因此，在使用差域运动补偿时在具有两组运动估计及运动补偿中避免冗余将是有利的。而且，在单循环解码中扩展差域运动补偿将是有利的。

本发明中描述的技术可解决与SVC中的层间残差预测及差域运动补偿相关的问题。所述技术可提供一般化残差预测(GRP)框架。如上文所解释，层间残差预测在预测当前视频单元(例如，块或帧)中使用参考层的残差。在一般化残差预测中，当前视频单元的层间残差预测可基于当前层的残差、当前层的时间预测及参考层的残差。参考层的残差可通过加权因子来调整。加权因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步长、加权索引及加权表。

根据本发明的方面的GRP框架可通过并入加权因子而适应各种类型的残差预测。恰当地调整加权因子可导致用于残差预测的显著译码增益。另外，在GRP框架中，可使用不必是传统的残差预测中的基础层的参考层来执行残差预测。举例来说，可从当前增强层导出参考层。在加权因子被设定成1时，GRP还可适应传统的残差预测。GRP框架可与单循环解码及多循环解码两者一起使用。另外，在GRP框架中，差域中的运动估计可不是必需的，且因此，当前层及增强层不必共享用于运动估计的相同运动。GRP框架可适用于许多不同类型的残差预测，且如等式(1)中界定的传统的残差预测及差域运动补偿是使用GRP框架的两种特定情形。所述技术可提高HEVC的可缩放扩展中的运动补偿的性能，且还可适用于HEVC的3D视频译码扩展。

根据某些方面，当前(例如，增强)层的预测与参考(例如，基础)层的预测之间的差值可用作差预测符。在一些实施例中，差值可被称为差分像素。因为增强层及基础层可具有不同的质量目标，所以当前层的时间预测及基础层的运动可不同。在一些情形中，使用差值的重构可更有效及/或产生较好的结果。举例来说，在存在场景改变或切割以使得连续帧可能彼此非常不同时，使用差预测符的重构可为优选的。可将加权因子应用于所述差值。此技术可被称为经加权差预测(WDP)。在一些实施例中，可将WDP实施为对GRP框架的扩展。

下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提及优选方面的一些益处及优点，但本发明的范围无意限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。

图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。如图1中所示，系统10包含源装置12，所述源装置12提供经编码视频数据以在稍后时间由目的地装置14解码。具体来说，源装置12经由计算机可读媒体16将视频数据提供给目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。

在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两者的组合。

本发明的技术不必限于无线应用或环境。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。

图1的所说明的系统10只是一个实例。用于确定当前块的运动向量预测符的候选列表的候选者的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可例如经由网络传输、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生产容纳经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可以根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以界定最大译码单元(LCU，其在像素数目方面为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一节点可包含一分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地界定，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的显式分裂时也是如此。举例来说，如果16×16大小的CU不进一步分裂，那么这四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。

CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以分裂的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代在HEVC的情况下的CU、PU或TU或在其它标准的情况下的类似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以在从8×8像素直到具有最大64×64像素或更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树被分割为一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可以使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未经进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。也就是说，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残差值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的相对应的叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。

此外，叶CU的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。

在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M像素，其中M未必等于N。

在使用CU的PU进行帧内预测或帧间预测译码之后，视频编码器20可以计算CU的TU的残差数据。PU可包括描述产生空间域(还被称作像素域)中的预测性像素数据的方法或模式的语法数据且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后的变换域中的系数。残差数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残差数据的TU，并且接着变换TU以产生用于CU的变换系数。

在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。

在量化之后，视频编码器可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。

为了执行CABAC，视频编码器20可以向待传输的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可建构VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。(例如)与对待传输的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，模式选择单元40可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

在一些实施例中，模式选择单元40、运动估计单元42、运动补偿单元44、帧内预测单元46(或展示或未展示的模式选择单元40的另一组件)，或编码器20的另一组件(展示或未展示)可执行本发明的技术。举例来说，模式选择单元40可接收用于编码的视频数据，可将所述视频数据编码到基础层及对应的一或多个增强层中。编码器20的模式选择单元40、运动估计单元42、运动补偿单元44、帧内预测单元46或另一适当的单元可至少部分基于与参考层相关联的重构值及经调整的差预测值来确定当前视频单元的值。所述经调整的差预测值可等于当前层的预测与所述参考层的预测之间的差乘以不同于1的加权因子。编码器20可编码视频单元且在位流中用信号发送加权因子或加权信息。

视频编码器20可以执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的译码模式中的任一者。

如图2中所示，视频编码器20接收待编码视频帧内的当前视频块。在图1的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵译码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重构视频移除成块性假影。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但是必要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，以便为每一视频数据块选择一种适当的译码模式。

此外，分割单元48可以基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可以将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残差块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵译码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。

由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测块。同样，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可以在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。

作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测或计算。明确地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。

举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。

在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵译码单元56。熵译码单元56可以对指示所选帧内预测模式的信息进行编码。视频编码器20可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的界定，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。

在量化之后，熵译码单元56对经量化的变换系数进行熵译码。举例来说，熵译码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在熵译码单元56的熵译码之后，可以将经编码位流传输到另一装置(例如视频解码器30)，或者将所述视频存档用于以后传输或检索。

反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可以通过将残差块添加到参考帧存储器64的帧中的一者的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重新构造的残差块以计算子整数像素值以用于运动估计。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构参考块以供存储在参考帧存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。

图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元72及/或帧内预测单元74可经配置以执行本发明中描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

在一些实施例中，熵解码单元70、运动补偿单元72、帧内预测单元74或解码器30的另一组件(展示或未展示)可执行本发明的技术。举例来说，熵解码单元70可接收经编码视频位流，所述经编码视频位流可编码与基础层及对应的一或多个增强层相关的数据。运动补偿单元72、帧内预测单元74或解码器30的另一适当的单元可至少部分基于与参考层相关联的重构值及经调整的差预测值来确定当前视频单元的值。所述经调整的差预测值可等于当前层的预测与所述参考层的预测之间的差乘以不同于1的加权因子。解码器30可解码视频单元且在位流中接收加权因子或加权信息。

在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。视频解码器30在一些实例中可执行一般与关于来自图2的视频编码器20所描述的编码回合互逆的解码回合。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可以接收在视频切片层级和/或视频块层级处的语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号发送的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测块。可以从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储于参考帧存储器92中的参考图片使用默认建构技术来建构参考帧列表：列表0及列表1。运动补偿单元72通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据所接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。

反量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数反量化，例如解量化。反量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应该应用的量化程度和同样反量化程度的量化参数QP_Y。

反变换单元78对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残差块。

在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自反变换模块78的残差块与由运动补偿单元72产生的对应预测块求和而形成经解码视频块。求和器90表示可执行此求和运算的组件。必要时，还可应用解块滤波器以对经解码块进行滤波以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考帧存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。

图4A和4B是分别说明用于使用残差像素(例如，)及差分像素(例如，P_c-P_r)的一般化残差预测的实例方法的流程图。本发明中描述的技术可提供一般化残差预测(GRP)框架。如上文所解释，层间残差预测在预测当前视频单元(例如，帧)中使用参考层的残差。在一般化残差预测中，当前视频单元的层间残差预测可基于当前层的残差、当前层的时间预测及参考层的残差。参考层的残差可通过加权因子来调整。可如下界定GRP方案：

其中表示当前帧的重构，r_c表示从当前层的残差预测，P_c表示从相同层的时间预测，r_r表示从参考层的残差预测，且w表示加权因子。

加权因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步长、加权索引及加权表。加权候选者的数目可指示可用于应用于参考层的残差的不同加权因子的数目。加权步长可指示可用的加权因子之间的增量或单位的大小。加权索引可指示可用的加权因子当中的特定加权因子。加权表可包含关于加权因子的信息且可通过加权索引进行存取，类似于查找表。在特定实例中，三个加权因子候选者可为可用的：0.0、0.5及1.0。在此实例中，加权候选者的数目是3，因为三个加权因子候选者是可用的。所述3个加权候选者之间的加权步长是0.5。每一加权候选者可由加权索引识别。加权因子0通过索引0识别，加权因子0.5通过索引1识别，且加权因子1.0通过索引2识别。加权步长及索引可用于导出加权因子，这是因为用信号发送分数可代价较高。

根据本发明的方面的GRP框架可通过并入加权因子而适应各种类型的残差预测。恰当地调整加权因子可导致用于残差预测的显著译码增益。GRP可通过在残差预测中并入用于参考层的加权信息而在减少存储器的量及计算成本的同时提高译码性能。举例来说，由于经加权残差预测更准确，所以GRP可提高译码性能。而且，可(例如)因为通常不使用如在差域运动补偿中的两组运动补偿循环而减少存储器的量及计算成本。另外，在GRP框架中，可使用不必是传统的残差预测中的基础层的参考层来执行残差预测。举例来说，可从当前层的增强层导出参考层。在加权因子被设定成1时，GRP还可适应传统的残差预测。GRP框架可与单循环解码及多循环解码两者一起使用。

相对于差域运动补偿，可在单循环解码中应用GRP框架。如上文所解释，在H.264中，无法在单循环解码情形中采用差域运动补偿，这是因为必须基于每一层的完全经重构图片来计算层之间的差分图片。为了获得差域运动补偿中的差图片，常常使用每一层的完全重构，且对于每一层，可使用一个运动补偿循环来用于完全重构。举例来说，常常使用两个运动补偿循环以具有两个层的完全重构。因此，无法在单循环解码中采用差域运动补偿。相比而言，GRP可支持单循环解码及多循环解码两者。另外，在GRP框架中，差域中的运动估计可不是必需的。因此，当前层及增强层不必共享用于运动估计的相同运动。GRP框架适用于许多不同类型的残差预测，且如等式(1)中界定的传统的残差预测及差域运动补偿是使用GRP框架的两种特定情形。

现将参考图4A解释根据本发明的方面的用于一般化残差预测的实例方法。过程400A可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程400A的步骤，但过程400A可由如上文所提及的其它组件(例如编码器)执行。

在框401A处，解码器30将加权因子应用到从参考层的残差预测。如上文所解释，一般化残差预测(GRP)可将加权因子应用到从参考层的残差。可针对特定情形(例如单循环解码)确定加权因子是最佳的。所述加权因子可包含信息，例如加权候选者的数目、加权步长、加权索引及加权表。

在框402A处，解码器30获得从增强层的残差预测。在框403A处，解码器30获得从增强层的时间预测。

在框404A处，解码器30基于通过加权因子调整的从参考层的残差预测、从增强层的残差预测及从增强层的时间预测来确定当前视频单元。如上文所解释，在GRP中，可根据等式(3)预测当前视频单元。

现将参考图4B解释根据本发明的方面的用于一般化残差预测的实例方法。过程400B可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程400B的步骤，但过程400B可由如上文所提及的其它组件(例如编码器)执行。

在框401B处，解码器30将加权因子应用到差预测。一般化残差预测(GRP)可将加权因子应用到当前或增强层的预测(P_e)与参考或基础层的预测(P_b)之间的差。可针对特定情形(例如单循环解码)确定加权因子是最佳的。所述加权因子可包含信息，例如加权候选者的数目、加权步长、加权索引及加权表。

在框402B处，解码器30获得从增强层的残差预测。在框403B处，解码器30在参考层中获得当前图片的重构。

在框404B处，解码器30基于通过加权因子调整的差预测、从增强层的残差预测及参考层重构来确定当前视频单元。可根据下文论述的等式(5B)来预测当前视频单元。

根据关于图4A及图4B所描述的本发明的方面的用于一般化残差预测的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图4A和4B所描述的所有实施例可单独地或彼此组合地实施。

图5是说明根据本发明的方面的用于使用单循环解码的一般化残差预测的实例方法的流程图。如上文所解释，在单循环解码中，使用一个循环用于增强层的运动补偿。在单循环解码的情形中，得不到基础层的完全重构。因此，基础层的规格化的残差可直接用作基础残差预测符。对于增强层，可如下确定重构

其中r_e及P_e表示增强层的经解量化残差及时间预测，r_b表示规格化的基础层残差预测符(在空间可缩放情况中经上取样)，r_b′表示基础层残差，且Q_e及Q_b分别表示增强层及基础层的量化步长。

现将参考图5解释根据本发明的方面的用于使用单循环解码的一般化残差预测的实例方法。过程500可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程500的步骤，但过程500可由如上文所提及的其它组件(例如编码器)执行。在框501处，解码器30在用于GRP框架的单循环解码中确定用于从参考层的残差预测的加权因子。在框502处，解码器30基于通过加权因子调整的从RL的残差预测、从EL的残差预测及从EL的时间预测来确定当前视频单元。举例来说，如上文关于等式(4)所解释，规格化的基础层残差可用于RL残差预测。根据关于图5所描述的本发明的方面的用于一般化残差预测的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图5所描述的所有实施例可单独地或彼此组合地实施。

图6A及6B是说明根据本发明的方面的用于使用多循环解码的一般化残差预测的实例方法的流程图。如上文所解释，在多循环解码中，使用多个循环用于增强层的运动补偿。在多循环解码的情形中，在编码/解码增强层时可得到基础层的完全重构。因此，先前经译码的增强层及基础层的重构之间的差值(必要时经上取样)可用作残差预测符。对于增强层，可如下确定重构

其中r_e指示增强层中的当前视频单元的经解量化残差，P_e及P_b分别指示增强层及基础层中的当前视频单元的时间预测，且指示基础层中的当前视频单元的完全重构。因为增强层及基础层可具有不同的质量目标，所以时间预测P_e及P_b的运动可不同。

如果基础层及增强层具有相同运动，那么时间预测P_e及P_b的运动是相同的，且可以直接采用等式(5A)。在解码增强层的帧间视频单元时，其增强层及基础层时间预测P_e及P_b两者都可用。基础层重构也可用。因此，可从可如关于图7及8更详细解释用信号发送或导出的经解量化的残差r_e及w获得重构

如果基础层及增强层具有不同运动，那么增强层及基础层时间预测P_e及P_b的运动是不同的，且基础层的残差及增强层的残差可不相关。在此情况下，残差预测可不产生良好结果。为了提高残差预测的性能，可假设增强层及基础层时间预测共享相同的运动。作为假设EL及BL时间预测共享相同运动的补充或替代，可强制将基础层的运动或增强层的运动应用到另一层以产生残差预测符。举例来说，可将增强层时间预测P_e的运动应用到基础层以获取P_b。在此情况下，常常使用两个运动补偿来解码增强层，这是因为可使用P_e的运动产生P_e及P_b两者。

在另一实施例中，当前(例如，增强)层的预测与参考(例如，基础)层的预测之间的差值可用作差预测符。对于增强层，可如下确定重构

其中r_e指示增强层中的当前视频单元的经解量化残差，P_e及P_b分别指示增强层及基础层中的当前视频单元的时间预测，且指示基础层中的当前视频单元的完全重构。因为增强层及基础层可具有不同的质量目标，所以时间预测P_e及P_b的运动可不同。在许多情形中，根据等式(5A)的重构将比根据等式(5B)的重构更有效。然而，在一些情形中，根据等式(5B)的重构将更有效及/或产生更好的结果。举例来说，在存在场景改变或切割以使得连续帧彼此非常不同时，根据等式(5B)的重构是优选的。

在一个实施例中，将不同的加权索引指派给正常的GRP加权因子及WDP加权因子。举例来说，在一个实施例中，在CU层级处允许四个加权索引。加权索引0、1及2指示等式(5A)用于预测计算，其中分别地w＝0、0.5及1。加权索引3指示等式(5B)用于预测计算，且w＝0.5。在另一实施例中，GRP加权因子(例如，等式(5A))全部停用且仅允许WDP加权因子(例如，等式(5B))。本文中关于GRP所描述的所有方法(包含但不限于参数信令/导出方法、加权因子确定方法、相关图片/运动上取样、下取样方法等)还可应用于WDP。

现将参考图6A及图6B解释根据本发明的方面的用于使用多循环解码的一般化残差预测的实例方法。过程600A及过程600B可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件执行。过程600A及过程600B的步骤是相对于图3中的解码器30来描述，但过程600A及过程600B可由如上文所提及的其它组件(例如编码器)执行。

参考图6A，在框601A处，解码器30在用于GRP框架的多循环解码中确定用于从参考层的残差预测的加权因子。在框602A处，解码器30基于通过加权因子调整的从RL的残差预测、从EL的残差预测及从EL的时间预测来确定当前视频单元。举例来说，如上文关于等式(5)所解释，可用于RL残差预测。

参考图6B，在框601B处，解码器30在用于GRP框架的多循环解码中确定用于差预测的加权因子。在框602B处，解码器30基于通过加权因子调整的差预测、从EL的残差预测及RL重构(例如，参考层中的当前图片的完全重构)来确定当前视频单元。举例来说，如上文关于等式(5B)所解释，P_e-P_b(或P_c-P_r)可用于差预测。

根据关于图6A及图6B所描述的本发明的方面的用于使用多循环解码的一般化残差预测的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图6A和6B所描述的所有实施例可单独地或彼此组合地实施。

在一些情形中，残差像素(例如，)及差分像素(例如，P_e-P_b)可扩展超过所分配的或所要的位深度。举例来说，在一些情形中，这些像素可不能够以8或16位表示。此可造成硬件实施方案的复杂化。因此，在一些实施例中，执行修剪以截断残差或差分像素以确保每一者属于所要的范围内，例如(但不限于)8位或16位表示。

图7是说明根据本发明的方面的用于用信号发送一般化残差预测参数的实例方法的流程图。如上文所解释，加权信息可包含加权候选者的数目、加权步长(或加权表)及加权索引。可基于此类加权信息确定加权因子w。加权候选者的数目可由N_w指示。加权步长可由S_w指示，且加权表由W_T指示。加权索引可由i_w指示。在一个实施例中，如下基于加权步长S_w及加权索引i_w导出加权因子w：

w＝S_w·i_w (6)

在另一实施例中，可根据索引i_w从查找表W_T获得w。

可以各种方式用信号发送可包含(但不限于)N_w、S_w、W_T及i_w的加权因子信息。在一些实施例中，可硬译码或用信号发送加权步长S_w或加权表W_T。可在序列层级或图片层级处用信号发送S_w或W_T。可在较低层级(例如CU及PU)处用信号发送加权索引i_w。

在一个实施例中，使用3位量化(S_w可为1/8，2/8，...，8/8)及在序列参数集(SPS)中译码的无正负号的整数指数-哥伦布来表示加权步长S_w。考虑到N_w≥1，(N_w-1)也是在SPS中译码的无正负号的整数指数-哥伦布。加权索引i_w首先使用截断的一元码(其中N_w作为最大数目)二进制化且随后经CABAC译码。在CABAC译码中，第一二进位使用一个上下文被译码，且剩余二进位使用另一上下文被译码。为了译码加权索引i_w，所述上下文可取决于先前经译码的参数。举例来说，在空间上相邻的CU(例如CU的左边及顶部)的i_w可用作当前CU的加权索引i_w的上下文。而且，当前CU的类型(例如当前CU被跳过还是被合并译码)或当前CU的大小可用作上下文。

在其它实施例中，不同的CU模式可具有不同的加权因子信令方法。举例来说，对于跳过及合并模式，可选择并用信号发送三个加权因子(例如w＝0、w＝0.5及w＝1)。对于除跳过及合并模式之外的帧间模式，可选择并用信号发送仅两个加权因子(例如w＝0及w＝1)。或者，对于除跳过及合并模式之外的帧间模式，可应用仅一个固定加权因子。在此情况下，可不使用用于加权因子的额外信令。

现将参考图7解释根据本发明的方面的用于用信号发送一般化残差预测参数的实例方法。过程700可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。过程700的步骤是相对于图2中的编码器20来描述，但过程700可由如上文所提及的其它组件(例如解码器)执行。在框701处，编码器20用信号发送加权步长或加权表。在框702处，编码器20用信号发送加权候选者的数目。在框703处，编码器20用信号发送加权索引。过程700中的步骤可以不同次序执行。举例来说，可在加权步长(或加权表)之前用信号发送加权候选者的数目。根据关于图7所描述的本发明的方面的用于用信号发送一般化残差预测参数的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图7所描述的所有实施例可单独地或彼此组合地实施。

图8是说明根据本发明的方面的用于导出一般化残差预测参数的实例方法的流程图。可如关于图7所解释用信号发送GRP参数。还可从包含在位流中的信息导出GRP参数。可完全或部分从位流中的信息导出GRP参数。在一个实施例中，根据相关的CU大小在CU层级处导出加权步长S_w。在下表中列举加权步长S_w与CU大小之间的实例映射。

CU大小	S_w
		64×64	1/8
32×32	1/4
		16×16	1/2
8×8	1/2

表1-加权步长与CU大小之间的实例映射

在另一实施例中，基于先前经译码的信息(例如CU模式、CU大小及量化)在CU层级处调整加权候选者的最大数目。举例来说，对于小于16×16的CU，可允许仅两个加权候选者(例如)以便节省信令成本。

现将参考图8解释根据本发明的方面的用于导出一般化残差预测参数的实例方法。过程800可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程800的步骤，但过程800可由如上文所提及的其它组件(例如编码器)执行。

在框801处，解码器30从位流获得信息或获得先前经译码的信息以便确定加权信息。举例来说，如上文所解释，GRP参数可基于CU大小。或GRP参数可基于先前经译码的信息，例如CU模式、CU大小及量化。在框802处，解码器30基于在框801处获得的信息来确定用于一般化残差预测的一或多个参数。举例来说，解码器30可基于CU大小来确定加权步长S_w。解码器30还可基于CU大小来确定加权候选者的数目N_w。解码器30还可基于先前经译码的信息(例如CU模式、CU大小及量化)来调整加权信息。根据关于图8所描述的本发明的方面的用于导出一般化残差预测参数的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图8所描述的所有实施例可单独地或彼此组合地实施。

图9是说明根据本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法的流程图。在层间预测过程中，将上取样或下取样滤波过程应用于基础层图片以与增强层的空间纵横比匹配。甚至在基础层及增强层的图片大小相同时也可应用例如平滑滤波器等滤波过程。一般来说使用并硬译码一个固定上取样、下取样及平滑滤波器组。所述过滤器可选自根据分数像素偏移(有时被称作相位)的组，所述分数像素偏移是基于基础层与增强层图片之间的空间纵横比而计算。

在GRP框架中，可应用变型滤波组以提高层间预测性能。可在序列或图片层级处硬译码或用信号发送滤波组。可在较低层级(例如CU及PU)处用信号发送或导出滤波器组索引。可基于加权因子w的值而导出滤波器组索引，或可基于加权索引i_w而导出滤波器组索引。可在序列或图片层级处硬译码或用信号发送滤波组索引与加权因子w之间或滤波组与加权索引i_w之间的导出映射表。

现将参考图9解释根据本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法。过程900可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程900的步骤，但过程900可由如上文所提及的其它组件(例如编码器)执行。

在框901处，解码器30确定是对参考层上取样还是对增强层下取样。在空间可缩放性中，执行此类上取样及下取样以使得可在相同分辨率下执行层间预测。如果在框902处确定将对参考层上取样，那么在框903处，解码器30将参考层上取样到增强层的分辨率。另一方面，如果在框902处确定将对参考层下取样，那么在框904处，解码器30将增强层下取样到参考层的分辨率。在框905处，解码器30将平滑滤波器应用于经上取样或经下取样的图片。即使增强层及参考层图片相同，也可应用平滑滤波器。可恰当地选择平滑滤波器。在框906处，解码器30基于经上取样或经下取样的图片使用GRP确定当前视频单元。

根据关于图9所描述的本发明的方面的用于对一般化残差预测中的层进行上取样或下取样的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图9所描述的所有实施例可单独地或彼此组合地实施。

图10是说明根据本发明的方面的用于对一般化残差预测中的运动信息进行重新映射、上取样或下取样的实例方法的流程图。在一些情况下，在将一个层的运动信息应用于另一层以产生残差预测符时，一个层中可用的参考可能不可用于另一层中。在此情况下，运动重新映射是必需的。在一个实施例中，如果参考仅可用于一个层中，那么将其标记为不可用，以使得此参考将不用于产生所提出的GRP框架中的残差预测符。在另一实施例中，通过相关参考列表的开头处的参考取代不可用的参考，且将运动设定成零运动。

在3D视频译码中，SVC视频数据还包含用于不同视图的视频数据。因为视图可与不同角度相关，所以在不同视图之间可存在视差。如果在3D视频译码的情况下重新映射运动，那么可在重新映射运动中考虑视差向量。

在空间可缩放情况中，可归因于增强层与基础层之间的不同分辨率而对运动向量上取样或下取样。在一个实施例中，运动向量缩放直接基于分辨率。在另一实施例中，可在直接缩放之后应用额外的相移(+1或-1)。可在位流中用信号发送或基于先前经译码的信息(例如PU大小、运动向量、CU深度等)导出所述额外的相移。

现将参考图10解释根据本发明的方面的用于对运动信息进行重新映射、上取样或下取样的实例方法。过程1000可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。相对于图3中的解码器30来描述过程1000的步骤，但过程1000可由如上文所提及的其它组件(例如编码器)执行。在框1001处，如果用于运动信息的参考不可用于层中的一者中，那么在框1002处，解码器30重新映射运动信息。举例来说，如果另一层中的对应参考不可用，那么解码器30可将参考标记为不可用。或解码器30可将所述参考重新映射到相关参考列表中的参考。如果在框1001处，用于运动信息的参考在层中可用于帧间预测，那么解码器30可不执行进一步的处理，如框1003中所展示。在框1004处，如果使用空间SVC，那么在框1005处，解码器30确定是对参考层运动信息上取样还是对增强层运动信息下取样。如果未使用空间可缩放性，那么在框1006处，解码器30可不执行任何进一步处理。在框1007处，如果确定将对参考层运动信息上取样，那么在框1008处，解码器30将参考层运动信息上取样到增强层的分辨率。另一方面，如果在框1007处确定将对增强层运动信息下取样，那么在框1009处，解码器30将增强层运动信息下取样到参考层的分辨率。在框1010处，解码器30使用经上取样或经下取样的图片使用GRP确定当前视频单元。

根据关于图10所描述的本发明的方面的用于对运动信息进行重新映射、上取样或下取样的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图10所描述的所有实施例可单独地或彼此组合地实施。

图11是说明根据本发明的方面的用于确定用于在一般化残差预测中编码的加权因子的实例方法的流程图。所述实例方法可适用于编码器侧优化。在一个实施例中，通过使用每一加权因子候选者检查CU速率-失真成本来确定用于每一CU的最佳加权因子w。将具有最小成本的加权因子选择为用于所述CU的加权因子w。在另一实施例中，通过将增强层时间预测P_e的运动应用于基础层时间预测P_b而导出残差预测符。可如下确定加权因子w：

其中I指示用于增强层的源图片，指示差分块(I-P_e)及的点积的总和。

现将参考图11解释根据本发明的方面的用于确定用于在一般化残差预测中编码的加权因子的实例方法。过程1100可由编码器(例如，如图2中所展示的编码器)、解码器(例如，如图3中所展示的解码器)或任何其它组件来执行。过程1100的步骤是相对于图2中的编码器20来描述，但过程1100可由如上文所提及的其它组件(例如解码器)执行。在框1101处，编码器20通过将EL时间预测的运动应用于BL时间预测而导出EL的残差预测。在框1102处，解码器30基于所导出的残差预测而导出加权因子。根据关于图11所描述的本发明的方面的用于确定用于在一般化残差预测中编码的加权因子的实例方法可实施在各种译码层级处，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)群组、译码单元(CU)、预测单元(PU)群组、预测单元(PU)、块或像素区。另外，关于图11所描述的所有实施例可单独地或彼此组合地实施。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。

在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。

举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘使用激光以光学方式重现数据。上述各者的组合也应包含在计算机可读媒体的范围内。

指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但不必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims

1.一种用于译码视频信息的设备，其包括：

存储器，其经配置以存储与参考层RL和相应的增强层相关联的视频数据；及

处理器，其与所述存储器通信，所述处理器经配置以：

从多个加权因子候选者中选择加权因子，其中经选择的加权因子不同于1；

确定经调整的差预测值，其中所述经调整的差预测值等于所述经选择的加权因子乘以以下二者之间的差：(i)所述增强层中的当前图片的预测和(ii)对应于所述当前图片的所述参考层中的参考层图片的预测；以及

基于(i)指示所述当前图片和所述当前图片的所述预测之间的差的残差值、(ii)所述参考层中的所述参考层图片的重构以及(iii)所述经调整的差预测值的三者之和而确定所述增强层中所述当前图片的重构，其中所述经选择的加权因子从加权步长导出，所述加权步长指示所述多个加权因子候选者中的每一者和与所述经选择的加权因子相关联的加权索引之间的增量大小。

2.根据权利要求1所述的设备，其中所述处理器进一步经配置以在选自包括以下各者的群组的译码层级处应用所述加权因子：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。

3.根据权利要求1所述的设备，其中所述加权因子是基于加权信息来确定。

4.根据权利要求3所述的设备，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目或者加权索引中的一或多者。

5.根据权利要求4所述的设备，其中所述加权信息包括加权索引，且其中所述加权索引指示哪一预测及什么加权因子被用于译码层级。

6.根据权利要求3所述的设备，其中所述加权信息被用信号发送。

7.根据权利要求6所述的设备，其中在选自包括以下各者的群组的译码层级处用信号发送所述加权信息：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。

8.根据权利要求3所述的设备，其中所述加权信息是基于先前经编码或解码的信息导出。

9.根据权利要求8所述的设备，其中所述先前经编码或解码的信息是在译码层级处提供且包括以下各者中的一或多者：量化参数、CU大小、PU大小或者CU译码模式。

10.根据权利要求9所述的设备，其中所述译码层级包括以下各者中的一或多者：序列、帧群组、帧、切片群组、切片、CU群组、CU、PU群组、PU、一或多个块或者像素区。

11.根据权利要求9所述的设备，其中所述CU译码模式是帧间CU或帧内CU。

12.根据权利要求1所述的设备，其中所述处理器进一步经配置以停用一般化残差预测GRP且仅启用经加权差预测WDP。

13.根据权利要求12所述的设备，其中所述处理器进一步经配置以在选自包括以下各者的群组的译码层级处停用GRP并启用WDP：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块或者像素区。

14.根据权利要求1所述的设备，其中所述处理器进一步经配置以在视频信息的位流中用信号发送所述加权因子。

15.根据权利要求1所述的设备，其中所述加权因子包括候选加权因子的数目，候选加权因子的所述数目取决于与所述视频信息相关联的位流中的经译码信息。

16.根据权利要求15所述的设备，其中所述经译码信息包括CU模式、CU大小或者所述位流中的其它先前经译码信息中的一或多者。

17.根据权利要求1所述的设备，其中所述处理器进一步经配置以执行3D视频译码，且其中所述参考层包括多个参考层或参考视图。

18.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过上取样及/或下取样来确定空间可缩放视频译码模式中的所述经调整的差预测值。

19.根据权利要求18所述的设备，其中所述处理器进一步经配置以应用平滑滤波器。

20.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过翘曲及/或视差补偿来确定3D译码模式中的所述经调整的差预测值。

21.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过对与层或视图的所述视频数据相关联的运动信息进行上取样、下取样及/或重新映射来确定所述经调整的差预测值。

22.根据权利要求21所述的设备，其中所述处理器进一步经配置以通过应用运动移位来确定所述经调整的差预测值。

23.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过在一个帧可用于一个层或视图中但不可用于另一对应层或视图中时应用处理来确定所述经调整的差预测值。

24.根据权利要求23所述的设备，其中所述处理包括将所述一个帧标记为不可用或将相关运动设定为零。

25.根据权利要求1所述的设备，其中所述处理器进一步经配置以编码未经编码的视频数据且根据以下关系来确定所述加权因子w：

其中I对应于源图片，P_e对应于增强层时间预测，P_b对应于基础层时间预测，且对应于从所述未经编码的视频数据确定的基础层重构。

26.根据权利要求1所述的设备，其中所述参考层是增强层。

27.根据权利要求1所述的设备，其中所述处理器进一步经配置以修剪残差像素或差分像素导出到预定位深度。

28.根据权利要求27所述的设备，其中所述预定位深度是8位、16位或在8位与16位之间的位深度。

29.根据权利要求1所述的设备，其中所述设备包括以下各者中的一或多者：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、无线通信装置、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台，或者视频流式传输装置。

30.一种译码视频信息的方法，其包括：

存储与参考层RL和相应的增强层相关联的视频数据；

确定经调整的差预测值，其中所述经调整的预测值等于所述经选择的加权因子乘以以下二者之间的差：(i)所述增强层中的当前图片的预测和(ii)对应于所述当前图片的所述参考层中的参考层图片的预测；以及

31.根据权利要求30所述的方法，其进一步包括在选自包括以下各者的群组的译码层级处应用所述加权因子：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。

32.根据权利要求30所述的方法，其中基于加权信息来确定所述加权因子。

33.根据权利要求32所述的方法，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目或者加权索引中的一或多者。

34.根据权利要求33所述的方法，其中所述加权信息包括加权索引，且其中所述加权索引指示哪一预测及什么加权因子被用于译码层级。

35.根据权利要求32所述的方法，其中用信号发送所述加权信息。

36.根据权利要求35所述的方法，其中在选自包括以下各者的群组的译码层级处用信号发送所述加权信息：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。

37.根据权利要求32所述的方法，其中基于先前经编码或解码的信息导出所述加权信息。

38.根据权利要求37所述的方法，其中所述先前经编码或解码的信息是在译码层级处提供且包括以下各者中的一或多者：量化参数、CU大小、PU大小或者CU译码模式。

39.根据权利要求38所述的方法，其中所述译码层级包括以下各者中的一或多者：序列、帧群组、帧、切片群组、切片、CU群组、CU、PU群组、PU、一或多个块或者像素区。

40.根据权利要求39所述的方法，其中所述CU译码模式是帧间CU或帧内CU。

41.根据权利要求30所述的方法，其进一步包括停用一般化残差预测GRP且仅启用经加权差预测WDP。

42.根据权利要求41所述的方法，其中在选自包括以下各者的群组的译码层级处执行所述停用GRP及启用WDP：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。

43.根据权利要求30所述的方法，其进一步包括在视频信息的位流中用信号发送所述加权因子。

44.根据权利要求30所述的方法，其中所述加权因子包括候选加权因子的数目，候选加权因子的所述数目取决于与所述视频信息相关联的位流中的经译码信息。

45.根据权利要求44所述的方法，其中所述经译码信息包括CU模式、CU大小或者所述位流中的其它先前经译码信息中的一或多者。

46.根据权利要求30所述的方法，其进一步包括执行3D视频译码，且其中所述参考层包括多个参考层或参考视图。

47.根据权利要求30所述的方法，其进一步包括通过上取样及/或下取样来确定空间可缩放视频译码模式中的所述经调整的差预测值。

48.根据权利要求47所述的方法，其进一步包括应用平滑滤波器。

49.根据权利要求30所述的方法，其进一步包括通过翘曲及/或视差补偿来确定3D译码模式中的所述经调整的差预测值。

50.根据权利要求30所述的方法，其进一步包括通过对与层或视图的所述视频数据相关联的运动信息进行上取样、下取样及/或重新映射来确定所述经调整的差预测值。

51.根据权利要求50所述的方法，其进一步包括通过应用运动移位来确定所述经调整的差预测值。

52.根据权利要求30所述的方法，其进一步包括通过在一个帧可用于一个层或视图中但不可用于另一对应层或视图中时应用处理来确定所述经调整的差预测值。

53.根据权利要求52所述的方法，其中所述处理包括将所述一个帧标记为不可用或将相关运动设定为零。

54.根据权利要求30所述的方法，其进一步包括编码未经编码的视频数据且根据以下关系来确定所述加权因子w：

55.根据权利要求30所述的方法，其中所述参考层是所述视频信息的增强层。

56.根据权利要求30所述的方法，其进一步包括修剪残差像素或差分像素导出到预定位深度。

57.根据权利要求56所述的方法，其中所述预定位深度是8位、16位或在8位与16位之间的位深度。

58.一种用于译码视频信息的设备，其包括：

用于存储与参考层RL和相应的增强层相关联的视频数据的装置；

用于从多个加权因子候选者中选择加权因子的装置，其中经选择的加权因子不同于1；

用于确定经调整的差预测值的装置，其中所述经调整的预测值等于所述经选择的加权因子乘以以下二者之间的差：(i)所述增强层中的当前图片的预测和(ii)对应于所述当前图片的所述参考层中的参考层图片的预测；以及

用于基于(i)指示所述当前图片和所述当前图片的所述预测之间的差的残差值、(ii)所述参考层中的所述参考层图片的重构以及(iii)所述经调整的差预测值的三者之和而确定所述增强层中所述当前图片的重构的装置，其中所述经选择的加权因子从加权步长导出，所述加权步长指示所述多个加权因子候选者中的每一者和与所述经选择的加权因子相关联的加权索引之间的增量大小。

59.根据权利要求58所述的设备，其中所述加权因子是基于加权信息来确定。

60.根据权利要求59所述的设备，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目或者加权索引中的一或多者。

61.根据权利要求60所述的设备，其中所述加权信息包括加权索引，且其中所述加权索引指示哪一预测及什么加权因子被用于译码层级。

62.根据权利要求58所述的设备，其中进一步包括用于停用一般化残差预测GRP且仅启用经加权差预测WDP的装置。

63.一种存储用于译码视频信息的指令的非暂时性计算机可读媒体，所述指令致使计算机处理器：

存储与参考层RL和相应的增强层相关联的视频数据；

64.根据权利要求63所述的计算机可读媒体，其中所述加权因子是基于加权信息来确定。

65.根据权利要求64所述的计算机可读媒体，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目或者加权索引中的一或多者。

66.根据权利要求65所述的计算机可读媒体，其中所述加权信息包括加权索引，且其中所述加权索引指示哪一预测及什么加权因子被用于译码层级。

67.根据权利要求63所述的计算机可读媒体，其中所述指令进一步致使所述处理器停用一般化残差预测GRP且仅启用经加权差预测WDP。