CN105474646B - 子pu级先进残余预测 - Google Patents

Abstract

译码单元CU的预测单元PU拆分成包含第一子PU和第二子PU的两个或两个以上子PU。获得用于所述第一子PU的第一类型的第一运动向量，且获得用于所述第二子PU的所述第一类型的第二运动向量。获得用于所述第一子PU的第二类型的第三运动向量，且获得用于所述第二子PU的所述第二类型的第四运动向量。所述第二类型不同于所述第一类型。使用所述第一和第三运动向量根据先进残余预测ARP对对应于所述第一子PU的所述CU的第一部分进行译码。使用所述第二和第四运动向量根据ARP对对应于所述第二子PU的所述CU的第二部分进行译码。

Description

子PU级先进残余预测

本申请案主张2013年8月20日申请的第61/868,027号美国临时申请案的权益，其全部内容特此以引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描初始按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

一般来说，本发明描述视频译码技术。特定来说，在一些实例中，所述技术是关于三维(3D)视频内容的译码，所述三维(3D)视频内容可包含纹理视图和/或深度视图。

在一个实例中，一种解码视频数据的方法包括：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述子PU是所述PU的非重叠部分；确定用于第一子PU的第一类型的第一运动向量和用于第二子PU的所述第一类型的第二运动向量；确定用于第一子PU的第二类型的第三运动向量和用于第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)解码对应于第一子PU的CU的第一部分；以及使用第二运动向量和第四运动向量根据ARP解码对应于第二子PU的CU的第二部分。

在一个实例中，一种编码视频数据的方法包括：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述子PU是所述PU的非重叠部分；获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的所述第一类型的第二运动向量；获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)编码对应于第一子PU的CU的第一部分；以及使用第二运动向量和第四运动向量根据ARP编码对应于第二子PU的CU的第二部分。

在一个实例中，一种用于对视频数据译码的装置包括经配置以存储视频数据的存储器，和一或多个处理器。所述一或多个处理器耦合到存储器且经配置以：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述子PU是所述PU的非重叠部分；获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的所述第一类型的第二运动向量；获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)对对应于第一子PU的CU的第一部分译码；以及使用第二运动向量和第四运动向量根据ARP对对应于第二子PU的CU的第二部分译码。

在一个实例中，一种非暂时性计算机可读存储媒体具有存储于其上的指令。所述指令在执行时致使至少一个处理器：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述子PU是所述PU的非重叠部分；获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的所述第一类型的第二运动向量；获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)对对应于第一子PU的CU的第一部分译码；以及使用第二运动向量和第四运动向量根据ARP对对应于第二子PU的CU的第二部分译码。

附图及以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。

附图说明

图1为说明可在视频译码中利用用于深度定向的视图间运动向量预测的技术的实例视频编码和解码系统的框图。

图2为说明可在视频译码中利用用于深度定向的视图间运动向量预测的技术的视频编码器的实例的框图。

图3为说明可在视频译码中利用用于深度定向的视图间运动向量预测的技术的视频解码器的实例的框图。

图4为说明用于对视频数据译码的实例过程的流程图。

图5为说明实例子PU MVC预测模式的概念图。

图6为说明相对于子PU ARP的译码单元(CU)的实例空间相邻者的概念图。

图7为说明子PU ARP的实例预测结构的概念图。

图8为说明当前块、参考块与运动补偿块之间的关系的概念图。

图9为说明用于视图间残余的ARP的概念图。

图10为说明用于视图间残余的基于实例子PU的ARP的概念图。

图11为说明可用作图4的过程的实例的用于编码视频数据的实例过程的流程图。

图12为说明可用作图4的过程的实例的用于解码视频数据的实例过程的流程图。

具体实施方式

本发明描述用于对可包含纹理视图和深度视图的视频内容译码(例如，编码或解码)的各种技术。所述技术在一些方面中可由视频编码器执行。在其它方面中，所述技术可由视频解码器执行。另外，此类方法可在例如转码器、媒体感知网络元件(MANE)或类似者等其它装置中执行。在本发明中，出于说明的目的相对于视频编码器和解码器描述所述技术。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

此外，存在一种视频译码标准，即高效视频译码(HEVC)，其由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。HEVC的一个最近工作草案(WD)(下文中被称作HEVC WD8)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zip获得。HEVC的另一更新近草案在本文中被称作“HEVC文本规范草案10”。

多视图视频译码(MVC)为H.264/先进视频译码(AVC)的扩展。在本发明的以下章节及子段中简要地论述MVC规范。

图1为说明可经配置以实施或以其它方式利用用于子预测单元(PU)级先进残余预测的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，其提供稍后时间将由目的地装置14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括多种多样的装置中的任一者，包含台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网。广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

在一些实例中，经编码数据可从输出接口22输出到存储装置(例如存储装置31)。类似地，可由输入接口28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的地装置14可经由串流或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可能是串流发射、下载发射或其组合。

本发明的技术未必限于无线应用或设定。所述技术可以应用于视频译码以支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如，经由HTTP的动态自适应串流(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流串流、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以执行本文中所描述的用于子PU级先进残余预测的技术。举例来说，视频编码器20可经配置以编码经编码视频位流中的信令信息以准许视频解码器(例如解码器30)使用本文中所描述的用于子PU级先进残余预测的技术解码经编码视频位流。视频解码器30可经配置以执行本文中所描述的用于子PU级先进残余预测的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

以此方式，视频编码器20及视频解码器30中的一或两者可为经配置以执行对视频数据译码的方法的视频译码器的实例，例如下文更详细地论述的图4的方法的实例。

图1的所说明系统10仅为一个实例。本文中所描述的用于子PU级先进残余预测的技术可由任何合适的数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“CODEC”)来执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据用于发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频串流、视频重放、视频广播或视频电话。

源装置12的视频源18可以包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，俘获、预先俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，并且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30可根据例如HEVC标准等视频译码标准操作，且可大体符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专属或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分先进视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未图示，在一些方面中，视频编码器20和视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，则MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中描述的技术可应用于大体符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T推荐H.264，用于一般视听服务的高级视频译码(ITU-TRecommendation H.264，Advanced Video Coding for generic audiovisual services)”中，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中且可在硬件中执行指令从而致使一或多个处理器执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。

HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九个帧内预测编码模式，但HM可提供多达三十三个帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以分成包含明度及色度样本两者的树块或最大译码单元(LCU)的序列。即将来临的HEVC标准还将LCU称为“译码树单元”或CTU。位流内的语法数据可界定LCU的大小，所述LCU是就像素数目来说的最大译码单位。切片包含按译码次序的若干连续树块。视频帧或图片可被分割成一或多个切片。每一树块可以根据四叉树拆分成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一根节点对应于所述树块。如果一个CU拆分成四个子CU，那么对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含拆分旗标，其表明对应于所述节点的所述CU是否拆分成子CU。用于CU的语法元素可以递归地来定义，且可以取决于CU是否拆分成数个子CU。如果CU不进一步拆分，那么将其称为叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确拆分时也是如此。举例来说，如果16x16大小的CU不进一步拆分，那么四个8x8子CU将也被称作叶CU，但16x16CU从未拆分。

CU具有与H.264标准的宏块类似的目的，只是CU不具有大小区别。举例来说，树块可拆分成四个子节点(也称为子CU)，且每一子节点又可为父节点且可拆分成另外四个子节点。最后的未经拆分子节点(被称作四叉树的叶节点)包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可定义树块可拆分的最大次数，被称作最大CU深度，且还可定义译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代HEVC的上下文中的CU、PU或TU中的任一者到如下文更详细地论述的子PU，或其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可以是正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可以包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可以包含定义PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定，如上文所论述。举例来说，拆分旗标可指示叶CU是否拆分成四个变换单元。接着，每一变换单元可进一步拆分成更多个子TU。当TU未进一步拆分时，其可被称作叶TU。总体上，对于帧内译码，所有属于一叶CU的叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的对应叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应的叶CU的大小。

此外，叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于树块(或LCU)。未经拆分的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指代叶CU及叶TU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应的切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可与CU内的译码节点相对应。视频块可具有固定或变化的大小，并且根据指定译码标准可在大小上有所不同。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于在2N×nU、2N×nD、nL×2N及nR×2N的PU大小下的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是将另一方向分割成25％和75％。CU的对应于25％分割区的部分表示成“n”，接着是用“上”、“下”、“左”或“右”指示。因此，例如，“2N×nU”指代经水平分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。

在本发明中，“N×N”与“N乘N”可互换地使用以依据垂直及水平尺寸来指代视频块的像素尺寸，例如，16×16像素或16乘16像素。大体来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块未必需要在水平方向上与在竖直方向上具有相同数目个像素。举例来说，块可包括NxM个像素，其中M未必等于N。

帧间预测大体涉及使用一或多个运动向量预测块(例如，PU)，所述运动向量可包含时间和/或视差运动向量。如下文更详细地描述，先进残余预测(ARP)使用时间运动向量和视差向量或视差运动向量中的至少一者这两者来预测块。更确切地说，ARP技术包含计算对应于PU的CU的一部分的预测符以及计算对应于PU的CU的所述部分的残余预测符，且随后使用所述预测符、所述残余预测符和残余对CU的所述部分译码，其中所述残余表示CU的所述部分与预测符和残余预测符的组合之间的差。此外，残余预测符可通过应用加权因子而修改。

根据本发明的技术，当包含PU的CU使用ARP经译码时，PU可拆分成子PU。根据本发明的技术，子PU可在PU的运动向量(时间运动向量或视差运动向量)针对ARP识别参考块时形成，所述参考块包含具有不同于所述参考块的第二部分的时间运动和/或视差信息的时间运动和/或视差信息的第一部分。举例来说，对于由PU的视差运动向量识别的视图间参考块，视图间参考块可覆盖视图间参考图片的两个或两个以上非重叠块，且所述两个非重叠块可具有相异时间运动信息。相异时间运动信息可指代其中第一部分具有第一组时间运动信息且第二部分具有第二组不同时间运动信息的情形。或者，相异时间运动信息可指代其中第一部分具有第一组时间运动信息且第二部分不具有可用时间运动信息(例如，因为第二部分使用帧内预测经译码或因为第二部分的时间运动信息已损坏)的情形。作为另一实例，时间参考块可覆盖时间参考图片的两个或两个以上非重叠PU，且所述非重叠PU可具有相异视差向量或视差运动向量(或视差运动向量和/或视差信息可能对于两个非重叠块中的一者来说不可用，如上文所论述)。

以此方式，子PU可由具有参看参考块的运动向量(时间或视差)的PU产生，所述参考块具有包含不同于参考块的第二部分的运动/视差信息的运动/视差信息的第一部分。因此，子PU不应解释为与分割成四个N×N PU的2N×2N CU的N×N PU相同(尽管一个子PU的大小可等于2N×2N CU的一个N×N PU的大小)。举例来说，在子PU级使用ARP经预测的PU的子PU将不必包含形成PU自身的语法元素的一部分的经界定运动/视差信息。实际上，使用子PU级ARP经译码的PU的子PU的运动/视差信息可由使用运动向量(不论时间运动向量还是视差运动向量)相对于PU识别的参考块的运动/视差信息产生，例如假定所述参考块的两个或两个以上部分具有不同运动/视差信息。

子PU为PU的包含所述PU的部分但非全部的一部分，其中一个PU拆分(即，分割或划分)为多个子PU，其中每一子PU为所述PU的非重叠部分。每一子PU为针对其对于每一块存在将用于在解码期间定位相应子PU自身的对应/参考块的单独向量的块。对于每一子PU，作出单独确定以确定子PU的对应参考块，子PU可不包括整个PU，即使在小于CU的PU的情况下也如此。举例来说，在2N×2N CU分割为四个N×N PU的情况下，这些N×N PU是PU而非子PU，但N×N PU本身可分割成子PU，其中所述PU的每一子PU为PU的非重叠部分。当CU划分成小于CU的PU时，每一所产生的PU构成一PU；所产生的PU并不构成子PU。再次，这些所产生的PU(即，由于CU的划分)中的每一者可划分成子PU、使得在此情况下存在划分成各自小于CU的PU的CU，每且每一PU划分成各自小于PU的子PU。

在一些实例中，当正针对CU执行ARP时，在编码当前PU的同时，视频编码器20将当前PU拆分为两个或两个以上子PU，其中每一子PU为CU的非重叠部分。随后，对于当前PU的每一子PU，视频编码器20产生第一类型的运动向量。下文更详细地论述第一类型的运动向量的各种实例.然而，简单地说，在一些实例中，第一类型为视差运动向量，如下文更详细地论述。在其它实例中，第一类型为视差向量，如下文更详细地论述。然而，本发明不如此受限制，且可采用其它类型的运动向量，如下文更详细地论述。

在针对当前PU的子PU中的每一者产生第一类型的运动向量之后，视频编码器20随后针对所述子PU中的每一者从由相应第一类型的向量识别的对应块产生第二类型的相应运动向量。下文更详细地论述第二类型的运动向量的各种实例.然而，简单地说，在一些实例中，第二类型为时间运动向量，如下文更详细地论述。然而，本发明不如此受限制，且还可采用各种其它类型的运动向量，如下文更详细地论述。

视频编码器20随后使用与相应子PU相关联的所产生的运动向量根据ARP编码对应于PU的每一子PU的CU的每一部分。

举例来说，在一些实例中，视频编码器20将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得PU的所述两个或两个以上子PU是PU的非重叠部分。在这些实例中的一些实例中，视频编码器20获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的第一类型的第二运动向量。并且，在这些实例中的一些实例中，视频编码器20获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的第二类型的第四运动向量，使得第二类型不同于第一类型。并且，在这些实例中的一些实例中，视频编码器20使用第一运动向量和第三运动向量根据先进残余预测(ARP)编码对应于第一子PU的CU的第一部分。并且，在这些实例中的一些实例中，视频编码器20使用第二运动向量和第四运动向量根据ARP编码对应于第二子PU的CU的第二部分。在一些实例中，第一运动向量和第二运动向量是相同的，而第三和第四运动向量是不同的。在一些其它实例中，第一运动向量和第二运动向量是不同的，而第三和第四运动向量是相同的。在一些实例中，第一或第二类型的运动向量是从其它块而非当前子PU导出。

尽管上文及下文的各种描述描述了某些动作的特定次序，但本发明不如此受限制，且可在本发明的范围和精神内使用所论述的动作的其它合适的次序。举例来说，如上文所论述，在一些实例中，视频编码器针对当前PU中的每一子PU产生第一类型的运动向量，且随后视频编码器针对当前PU的每一子PU产生第二类型的运动向量，且视频编码器使用与每一相应的子PU相关联的所产生的运动向量编码对应于每一子PU的CU的每一部分。然而，在其它实例中，视频编码器20首先针对当前PU的第一子PU产生第一类型的运动向量，且随后视频编码器针对PU的第一子PU产生第二类型的运动向量，且随后视频编码器使用所产生的运动向量根据ARP编码与第一子PU对应的所述CU的所述部分。接下来，视频编码器20针对PU的第二子PU执行类似动作，等等。

在一些实例中，视频解码器30将PU拆分为两个或两个以上PU，其中每一子PU为CU的非重叠部分。随后，对于当前PU的每一子PU，视频解码器30获得第一类型的运动向量。在针对当前PU的子PU中的每一者产生第一类型的运动向量之后，视频解码器30随后针对所述子PU中的每一者产生第二类型的相应运动向量。在一些实例中，运动向量是先前在编码器期间产生的运动向量，且由解码器通过从位流检索而获得。

视频解码器30随后使用与相应子PU相关联的所获得的向量根据ARP解码对应于PU的每一子PU的CU的每一部分。在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换和/或概念上类似的变换)之后在变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在产生变换系数的任何变换操作之后，视频编码器20可执行变换系数的量化。量化大体上指代对变换系数进行量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。例如，n位值可在量化期间被下舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20也可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。

为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造使得相对较短码对应于更有可能符号，而较长码对应于不太可能符号。以此方式，使用VLC可例如实现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指派到符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据和/或基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，且帧语法数据可指示用以对对应帧进行编码的编码/预测模式。

视频编码器20和视频解码器30各自可实施为多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为组合视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置(例如，蜂窝式电话)。

图2为说明可实施或以其它方式利用本文中所描述的用于子PU级先进残余预测的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

如图2中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54和熵译码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为了视频块重建，视频编码器20还包含逆量化单元58、逆变换单元60，和求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重建视频移除成块假影。在需要时，解块滤波器将通常对求和器62的输出滤波。除了解块滤波器外，还可使用额外滤波器(回路中或回路后)。为简洁起见未图示此些滤波器，但是必要时，此些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，以针对每一视频数据块选择适当的译码模式。

此外，分割单元48可基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可初始地将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可基于误差结果选择译码模式中的一者(帧内或帧间)，且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，且提供到求和器62以重建经编码块用作参考帧。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供到熵译码单元56。

运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考帧存储器64中的一个或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算出的运动向量。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来撷取或产生预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。具体来说，帧内预测单元46可确定用于对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码编次期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所测试模式中选择适当的帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率-失真分析计算针对各种测试的帧内预测模式的速率-失真值，且从所述测试的模式当中选择具有最好速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

在针对块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选帧内预测模式的信息提供到熵译码单元56。熵译码单元56可编码指示所选定帧内预测模式的信息。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

视频编码器20通过从正译码原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可以通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵译码单元56对经量化的变换系数进行熵译码。举例来说，熵译码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码而论，上下文可基于相邻块。在由熵译码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重建残余块，例如以供稍后用作参考块。运动补偿单元44可通过将残余块相加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构建的残余块来计算用于在运动估计中使用的子整数像素值。求和器62将经重建的残余块相加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重建的视频块以用于存储于参考帧存储器64中。经重建的视频块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。

图2的视频编码器20表示经配置以执行本发明中描述的各种方法的视频编码器的实例。举例来说，视频编码器20可为经配置以执行对视频数据译码的方法(例如，如下文更详细地论述的图4和/或图11的方法)的视频译码器的实例。

特定来说，在一些实例中，视频编码器20的模式选择单元20评估各种迭代编码遍次以确定编码模式和参数的哪一组合产生最佳速率失真特性。针对CU(或其一部分，例如对应于PU的部分)的这些遍次中的一者包含使用ARP测试CU的译码。视频编码器20通过将CU的每一PU分割为子PU而在子PU级处应用ARP。

在一些实例中，当正针对PU执行ARP时，视频编码器20将当前PU拆分为两个或两个以上子PU，其中每一子PU为CU的非重叠部分。随后，对于每一子PU，运动估计单元42针对PU的子PU中的每一者产生第一类型的运动向量。下文更详细地论述第一类型的运动向量的各种实例。然而，简单来说，在一些实例中，所述第一类型为视差运动向量，如下文更详细地论述。在其它实例中，第一类型为视差向量，如下文更详细地论述。然而，本发明不如此受限制，且可采用其它类型的运动向量，如下文更详细地论述。

视频编码器20随后产生PU的子PU中的每一者的第二类型的运动向量。下文更详细地论述第二类型的运动向量的各种实例。然而，简单来说，在一些实例中，所述第二类型为时间运动向量，如下文更详细地论述。然而，本发明不如此受限制，且还可采用各种其它类型的运动向量，如下文更详细地论述。

视频编码器20随后使用与相应子PU相关联的所产生的运动向量根据ARP编码对应于PU的每一子PU的CU的每一部分。

运动补偿单元44可使用第一运动向量以确定使用ARP经编码的PU的子PU的参考块。此外，运动补偿单元44可使用第二运动向量以确定子PU的对应块，且将第一运动向量施加到所述对应块以确定对应块的参考块。运动补偿单元44可随后将子PU的残余预测符计算为对应块与所述对应块的参考块之间的差。在一些实例中，残余预测符可通过应用加权因子而修改。因此，求和器50可将子PU的残余块计算为对应于子PU的CU的原始部分、子PU的参考块与经加权残余预测符之间的差。再次，应注意，所述第一和第二运动向量可为不同类型的向量。举例来说，第一运动向量可为时间运动向量，且第二运动向量可为视差向量或视差运动向量。或者，第一运动向量可为视差运动向量，且第二运动向量可为时间运动向量。

以此方式，视频编码器20表示包含经配置以存储视频数据的存储器和耦合到存储器的一或多个处理器的装置的实例，所述一或多个处理器经配置以：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得PU的子PU是PU的非重叠部分；获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的第一类型的第二运动向量；获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的第二类型的第四运动向量，使得第二类型不同于第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)对对应于第一子PU的CU的第一部分进行译码；且使用第二运动向量和第四运动向量根据ARP对对应于第二子PU的CU的第二部分进行译码。

图3是说明可在视频译码中实施或以其它方式利用用于子PU级先进残余预测的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82和求和器80。在一些实例中，视频解码器30可执行总体上与相对于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片级及/或视频块级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。预测块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考帧存储器82中的参考图片使用默认建构技术建构参考帧列表--列表0和列表1。运动补偿单元72通过解析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于对视频切片的视频块译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据所接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

逆量化单元76将提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化，即解量化。逆量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度及同样的逆量化程度的量化参数QP_Y。

逆变换单元78将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数以便产生像素域中的残余块。

在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块后，视频解码器30通过对来自逆变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。视需要，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。

在一些实例中，可针对每一CU执行或不执行ARP，其中，在一些实例中，针对将针对其执行ARP的每一CU信令ARP。(在其它实例中，可在除CU级外的某一级信令ARP。)当针对CU执行ARP时，其在子PU级执行。当视频解码器30正解码时，其针对在其中信令ARP的每一CU执行子PU ARP。

在一些实例中，当解码其中已信令执行ARP的CU的PU时，视频解码器30将PU拆分为两个或两个以上PU，其中每一子PU为CU的非重叠部分。随后，对于每一子PU，视频解码器30获得用于PU的子PU中的每一者的第一类型的运动向量。视频解码器30随后获得CU的子PU中的每一者的第二类型的运动向量。在一些实例中，运动向量是先前在编码器期间产生的运动向量，且由解码器通过从位流检索而获得。

视频解码器30随后使用所获得的运动向量根据ARP解码对应于PU的每一子PU的CU的每一部分。

以此方式，视频解码器30表示包含经配置以存储视频数据的存储器和耦合到存储器的一或多个处理器的装置的实例，所述一或多个处理器经配置以：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得PU的子PU是PU的非重叠部分；获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的第一类型的第二运动向量；获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的第二类型的第四运动向量，使得第二类型不同于第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)对对应于第一子PU的CU的第一部分进行译码；且使用第二运动向量和第四运动向量根据ARP对对应于第二子PU的CU的第二部分进行译码。

图4为说明用于对视频数据译码的实例过程(470)的流程图。在一些实例中，图4的过程中执行的动作可由例如视频编码器20或视频解码器30等视频译码器执行，但其它视频译码装置可经配置以执行图4的过程。

在开始块之后，视频译码器将译码单元的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得PU的子PU是PU的非重叠部分(471)。

在框471处，PU可在不同实例中以各种不同方式拆分成两个或两个以上子PU。在一些实例中，PU可拆分成两个大小相等的子PU，其中每一子PU为PU的单独一半。在一些实例中，PU可拆分成四个大小相等的正方形子PU，其中每一子PU为PU的单独四分之一。在一些实例中，子PU的大小各自为至少八个像素乘至少八个像素。然而，本发明不如此受限制，且可采用PU到两个或两个以上子PU的各种其它拆分，包含相对于彼此相等大小的子PU、相对于彼此不相等大小的子PU、正方形子PU、矩形子PU、具有除正方形或矩形形状以外的形状的PU，和/或类似物。

视频译码器接着获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的第一类型的第二运动向量(472)。

在框472处，针对第一子PU获得第一类型的第一运动向量且针对第二子PU获得第一类型的第二运动向量。下文更详细地论述所述第一和第二运动向量的各种实例。然而，简单来说，在一些实例中，所述第一类型为视差运动向量，如下文更详细地论述。在其它实例中，第一类型为视差向量，如下文更详细地论述。然而，本发明不如此受限制，且可采用其它类型的运动向量，如下文更详细地论述。在一些实例中，针对每一子PU获得第一类型的相同运动向量。也就是说，所述第一和第二运动向量可包括相同运动向量。

视频译码器接着获得针对第一子PU获得第二类型的第三运动向量且针对第二子PU确定第二类型的第四运动向量，使得第二类型不同于第一类型(474)。

在框474处，针对第一子PU获得第二类型的第三运动向量，且针对第二子PU获得第二类型的第四运动向量。下文更详细地论述所述第三和第四运动向量的各种实例。然而，简单来说，在一些实例中，所述第二类型为时间运动向量，如下文更详细地论述。然而，本发明不如此受限制，且还可采用各种其它类型的运动向量，如下文更详细地论述。

视频译码器随后使用第一运动向量和第三运动向量根据先进残余预测(ARP)对对应于第一子PU的CU的第一部分译码(491)。视频译码器随后使用第二运动向量和第四运动向量根据ARP对对应于第二子PU的CU的第二部分译码(492)。过程随后前进到返回框，其中恢复其它处理。

图4的过程的一些实例是编码过程。在这些实例中的一些实例中，在框472和474处，通过和/或和/或产生运动向量而获得运动向量，如下文更详细地论述，且在框491和492处，通过编码CU的所述部分而对CU的所述部分译码。图4的过程的其它实例是解码过程。在这些实例中的一些实例中，在框472和474处，通过从位流检索运动向量而获得所述运动向量，且在框491处，通过解码CU的所述部分而对CU的所述部分译码。然而，本发明不如此受限制，且还可采用各种其它实例。

图5为说明实例MVC预测模式的概念图。本文中描述MVC中的视图间预测，其根据本发明在本文中结合ARP在子PU级执行。在图5中展示用于多视图视频译码的实例MVC预测(包含每一视图内的图片间预测及视图间预测两者)结构，其中由箭头指示预测，指向对象使用指出对象用于预测参考。

在MVC中，在从相同存取单元的不同视图(即，具有相同时间例项)俘获的图片当中执行视图间预测以移除视图之间的相关度。以视图间预测译码的图片可添加到其它非基础视图的视图间预测的参考图片列表中。

视图间预测参考图片可以与帧间预测参考图片相同的方式放入参考图片列表的任何位置中。

在多视图视频译码的上下文中，存在两个种类的运动向量。一个是指向时间参考图片的正常运动向量，且对应时间帧间预测是运动补偿预测(MCP)。另一种类型的运动向量为指向不同视图中的图片(即，视图间参考图片)的视差运动向量(DMV)且对应帧间预测为视差补偿预测(DCP)。

描述基于HEVC的3D视频译码标准。当前，VCEG和MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于HEVC的3维视频(3DV)标准，其标准化努力的部分包含基于HEVC的多视图视频编解码器(MV-HEVC)的标准化及用于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于3D-HEVC，可包含且支持用于纹理及深度视图两者的新译码工具，包含译码单元/预测单元级中的那些工具。3D-HEVC的最新软件3D-HTM可从以下链接下载：

[3D-HTM版本7.0]：https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/ tags/HTM-7.0/

3D-HEVC的最新参考软件描述以及工作草案将可获得如下：

Gerhard Tech、Krzysztof Wegner、Ying Chen、Sehoon Yea，“3D-HEVC测试模型4”JCT3V-D1005_spec_v1，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组，第4次会议：韩国仁川，2013年4月20-26日。其可从以下链接下载：

http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/ wg11/JCT3V-D1005-v1.zip

本文中描述基于相邻块的视差向量导出(NBDV)。NBDV用于3D-HEVC中的视差向量导出方法，其针对所有视图使用纹理优先译码次序。在当前3D-HEVC设计中，通过从参考视图的深度图检索深度数据可进一步精炼从NBDV导出的视差向量。

描述NBDV概述。视差向量(DV)用于两个视图之间的位移的估计量。因为相邻块在视频译码中几乎共享相同的运动/视差信息，所以当前块可使用相邻块中的运动向量信息作为良好预测符。沿着此思路，NBDV使用用于估计不同视图中的视差向量的相邻视差信息。

首先界定若干空间和时间相邻块。随后以通过当前块与候选块之间的相关的优先级所确定的预定义次序来检查经界定的空间和/或时间相邻块中的每一者。一旦在候选者中发现视差运动向量(例如，指向视图间参考图片的运动向量)，所述视差运动向量就转换为视差向量且还传回相关联视图阶数索引。利用两组相邻块。一组来自空间相邻块且另一组来自时间相邻块。

描述3D-HEVC中的NBDV。3D-HEVC首先采纳JCT3V-A0097中所提议的(基于)相邻块视差向量(NBDV)方法。包含隐式视差向量，其具有JCTVC-A0126中的简化的NBDV。另外，在JCT3V-B0047中，通过移除存储在经解码图片缓冲器中的隐式视差向量进一步简化NBDV，并且改进了RAP图片选择的译码增益。

JCT3V-A0097:3D-CE5.h：视差向量产生结果，L.Zhang、Y.Chen、M.Karczewicz(高通(Qualcomm))。

JCT3V-A0126:3D-CE5.h：用于基于HEVC的3D视频译码的视差向量导出的简化，J.Sung、M.Koo、S.Yea(LG)。

JCT3V-B0047:3D-CE5.h相关：用于视差向量导出的改进，J.Kang、Y.Chen、L.Zhang、M.Karczewicz(高通)。

JCT3V-D0181:CE2：3D-HEVC中的基于CU的视差向量导出，J.Kang、Y.Chen、L.Zhang、M.Karczewicz(高通)。

根据本发明的技术，可使用ARP对一些图片的块译码。更确切地说，根据这些技术，块的PU可拆分成子PU且使用ARP来译码。举例来说，PU(例如，时间T2处视图S1中的B图片的PU)的视差运动向量可指代时间T2处视图S2的B图片中的视图间参考块。参考块可与两个或两个以上块重叠，所述两个或两个以上块各自具有其自身的相异运动/视差信息。举例来说，视图间参考块的第一部分可具有识别时间T4处视图S2的B图片的时间参考块的时间运动向量，且视图间参考块的第二部分可具有识别时间T4处视图S2的B图片的不同时间参考块的时间运动向量。代替于使用这两个时间运动向量中的仅一者来识别用于视图间参考块的时间参考块，视频译码器(例如，视频编码器20或视频解码器30)可根据ARP使用来自视图间参考块的两组运动/视差信息将PU译码为两个子PU。

图6为说明根据NBDV相对于译码单元(CU)的实例空间相邻者的概念图。在NBDV的一实例中，五个空间相邻块用于视差向量导出，其根据本发明可结合ARP在子PU级在编码和解码中执行。五个空间相邻块为覆盖当前预测单元(PU)的译码单元(CU)的左下方、左侧、右上方、上方和左上方块，由A0、A1、B0、B1和B2表示，如图6中所展示。应注意，其与HEVC中的MERGE/AMVP模式中使用的那些相同.因此，不需要额外存储器存取。

对于检查时间相邻块，首先执行候选图片列表的构造过程。来自当前视图的高达两个参考图片可被视为候选图片。首先将位于同一地点的参考图片插入到候选图片列表中，接着是按参考索引的升序的候选图片的其余部分。当两个参考图片列表中具有相同参考索引的参考图片可用时，位于同一地点的图片的同一参考图片列表中的参考图片在另一参考图片前面。对于候选图片列表中的每一候选图片，确定三个候选区以用于导出时间相邻块。

当以视图间运动预测对块进行译码时，导出视差向量以用于选择不同视图中的对应块。隐式视差向量(IDV或也称为所导出的视差向量)称为视图间运动预测中导出的视差向量。即使块是以运动预测译码的，为了对随后的块进行译码的目的也不会丢弃所导出的视差向量。

在3D-HTM 7.0的当前设计中，NBDV过程按次序检查时间相邻块中的视差运动向量、空间相邻块中的视差运动向量，且随后是IDV。一旦找到视差运动向量或IDV，过程便终止。

描述关于存取深度信息的NBDV的细化(NBDV-R)。当一个视差向量从NBDV过程导出时，通过从参考视图的深度图检索深度数据来进一步细化所述视差向量。所述细化过程包含两个步骤：

a)在例如基础视图等经先前译码参考深度视图中通过所导出的视差向量定位对应深度块；对应深度块的大小与当前PU的大小相同。

b)从对应深度块的四个隅角像素选择一个深度值且将其转换为经细化视差向量的水平分量。视差向量的垂直分量不变。

经细化视差向量用于视图间运动预测，而未经细化视差向量用于视图间残余预测。

本文中描述先进残余预测(ARP)。第4次JCT3V会议采纳施加到具有等于Part_2Nx2N(为简单起见，2Nx2N)的分割模式的CU的先进残余预测(ARP)，如JCT3V-D0177中所提议。

图7为说明先进残余预测(ARP)的实例预测结构的概念图，其根据本发明的方面在子PU级执行。结合图7论述的每一块为子PU块。每一PU拆分成两个或两个以上子PU，其中每一子PU为PU的非重叠部分。图7说明所采用的预测结构。如图7中所展示，以下块在当前块的预测过程期间使用：“Curr”、“Base”、“CurrTRef”和“BaseTRef”。

Curr为当前被译码的块。Base为作为与当前块的图片不同的视图(但与参考块相同时间)的图片中的参考块。Base所处的图片被称作参考视图或基础视图，而Curr所处的图片被称作当前视图。Base从Curr乘视差向量(DV)导出，如下文更详细地论述。图7中展示Curr与Base之间的关系。

举例来说，当前视图和参考/基础视图可为不同视图，例如一个用于左眼且一个用于右眼(同时)。然而，在各种实例中，视图可以各种不同方式而不同。在一些实例中，上文所论述的不同视图为基础深度视图。在其它实例中，不同视图是非基础深度视图。

CurrTRef为块Curr所处于的相同视图中但不同时间的块。CurrTRef使用运动补偿从Curr乘Curr的时间运动向量(TMV)导出。CurrTRef为相对于Curr的运动补偿块。图7中展示Curr与CurrTRef之间的关系。

BaseTRef为与块Base相同的视图中且与CurrTRef相同时间的块。BaseTRef从Base乘Curr的时间运动向量(TMV)导出。BaseTRef以向量TMV+DV从Curr的位置识别。BaseTRef为相对于Base的运动补偿块。图7中展示BaseTRef与Curr、Base和CurrTRef的关系。

在编码期间，计算TMV、DV、残余预测符和加权因子w，且在位流中对其进行编码，如下文更详细地论述。在解码期间，通过从位流检索TMV、DV、残余预测符和w且使用所检索的信息计算最终预测符而计算Curr的最终预测符。

在编码期间，将残余预测符计算为BaseTRef-Base，其中减法运算为应用于像素阵列BaseTRef和Base的每一像素的逐像素减法。另外，在编码期间，计算加权因子w，其中加权因子乘以残余预测符，同时在解码期间计算最终预测符。因此，解码期间计算的当前块的最终预测符通过以下公式给出：CurrTRef+w*(BaseTRef-Base)。

在一些实例中，在ARP中使用三个加权因子，即0、0.5和1。在一些实例中，来自9.0.5和1的产生当前CU的最小速率失真成本的加权因子选定为最终加权因子，且对应加权因子索引(在一些实例中，译码为0、1和2，其分别对应于加权因子0、1和0.5)在位流中在CU级发射。在一些实例中，一个CU中的所有PU预测共享相同加权因子。当加权因子等于0时，ARP不用于当前CU。

以上描述和图7适用于其中应用单向预测的实例。在其它实例中，应用双向预测。在这些实例中，上文所描述的步骤应用于每一参考图片列表。当当前块针对一个参考图片列表使用视图间参考图片(不同视图中)时，可停用残余预测过程。

图8为说明当前块、参考块与运动补偿块之间的关系的概念图，其中每一块为子PU块。利用子PU块的ARP的解码过程描述如下。

首先，获得视差向量(DV)，其中DV指向目标参考视图(V₀)。当前块Curr处于当前视图(V_m)中，而参考视图(V₀)是与V_m不同的视图。在一些实例中，可如当前3D-HEVC中指定而导出DV。随后，在相同存取单元内的参考视图的图片中，对应块Base使用视差向量定位。DV相加到当前块的位置给出参考视图(V₀)中Base的位置。块Base的图片具有参考视图V₀，但具有与当前块的图片相同的POC(图片阶数计数)值，这意味着块Base的图片与块Base是同时的。

接下来，定位BaseTRef。向量TMV+DV相加到当前块的位置给出包含BaseTRef的图片中的BaseTRef的位置。图8中展示当前块、对应块与运动补偿块之间的关系。具有与视图V_m的参考图片相同的POC值的视图V₀中的参考图片选定为对应块的参考图片。

可从位流检索经加权因子和残余块。加权因子(w)应用于残余块(BaseTRef-Base)以获得经加权残余块，且经加权残余块的值相加到经预测样本。也就是说，如上文所论述，计算最终预测符：CurrTRef+w*(BaseTRef-Base)。

经由运动向量缩放的参考图片选择的一个实例可执行如下。在一些实例中，来自参考视图的不同图片可需要经存取以产生对应块的运动补偿块(例如，图7中说明的BaseTRef)。在一些实例中，当前子PU的经解码运动向量朝向固定图片缩放，随后应用上文所论述的过程中的TMV(当加权因子不等于0时)。在JCT3V-D0177中，固定图片被定义为每一参考图片列表(如果其来自相同视图)的第一参考图片。在一些实例中，当经解码运动向量并不指向固定图片时，经解码运动向量首先经缩放且随后用于识别CurrTRef和BaseTRef。用于ARP的此参考图片可被称为目标ARP参考图片。

在一些实例中，运动补偿可使用内插滤波。在一些实例中，在内插过程期间应用双线性滤波器。在一些实例中，可在内插过程期间应用常规8/4抽头滤波器。

在一些实例中，由从NBDV过程传回的视图阶数索引识别参考视图。在一些实例中，当一个参考图片列表中的一个PU的参考图片来自与当前视图不同的视图时，ARP针对此参考图片列表停用。

在一些实例中，可使用视差运动向量(DMV)代替上文所论述的实例中的视差向量(DV)。举例来说，可使用DMV代替用于导出上文所论述的Base和BaseTRef的DV。

在一些实例中，用于视图间残余的ARP执行如下。当当前子PU使用视图间参考图片时，启用视图间残余的预测。当执行用于视图间残余的ARP时，计算不同存取单元内的视图间残余，且随后使用所计算的残余信息预测当前子PU块的视图间残余。

图9为说明用于视图间残余的ARP的概念图。参考块Base为由当前块的视差运动向量(DMV)定位的参考/基础视图中的块。块CurrTRef为具有与当前块相同的视图但具有不同POC的图片中的块，且以距当前块的向量TMV定位。块BaseTRef处于具有与Base相同的视图和与BaseTRef相同的POC的图片中，且以距当前块的向量mvLX+DMV识别。

当前子PU的残余信号的残余预测符可被计算为：CurrTRef-BaseTRef，其中减法指示逐像素减法。

双线性滤波器可用于以与用于时间残余预测的ARP的当前设计类似的方式产生所述三个相对块。

并且，当由Base包含的时间运动向量指向当前子PU的第一可用时间参考图片的不同存取单元中的参考图片时，在一些实例中，其首先经缩放到所述第一可用时间参考图片，且使用所述经缩放运动向量来定位不同存取单元中的两个块。

图9展示经视图间预测的运动向量候选者的导出过程的实例。

在一些实例中，IC(照明补偿)和ARP加权因子信令的联合优化可执行如下。

IC的使用可由旗标指示，即ic_flag，其可在译码单元(CU)级信令，而ARP加权因子在信令时也处于CU级。在一些实例中，当ARP加权因子不等于0时跳过ic_flag的信令，以避免ic_flag的不必要的信令开销。

在一些实例中，当ARP用于视图间残余时，或当使用视差运动向量(DMV)代替DV时，覆盖当前PU的参考块的中心位置的块(CR)用于获得一个时间/视差运动向量。然而，CR的运动信息可能不可用。在一些实例中，当CR的运动信息不可用时停用用于视图间残余的ARP，且用于时间残余的ARP仍使用来自NBDV过程的DV。在一些实例中，当CR的运动信息不可用时，再多检查一个块。在一些实例中，以与时间合并候选者类似的方式界定额外块，即覆盖参考块的右下位置的PU(BR)。在一些实例中，依次检查CR和BR，且当CR中未发现运动向量(具有所要类型的时间或视差)时，使用与BR块相关联的运动信息。

检查额外块的一些实例描述如下。在这些实例中，样本可被定义为如下：当前PU的左上方样本被定义为(x,y)，且当前PU的大小被定义为WxH，当前PU的时间/视差运动向量被定义为：(mv[0],mv[1])；参考块的中心位置被定义为：(xRefPU,yRefPU)，其中xRefPU＝x+W/2+((mv[0]+2)>>2)；以及yRefPU＝y+H/2+((mv[1]+2)>>2)；且参考块的右下位置被定义为：(xRefPU,yRefPU)，其中xRefPU＝x+W+(mv[0]+2)>>2)；以及yRefPU＝y+H+(mv[1]+2)>>2)。

图10为说明用于视图间残余的实例基于子PU的ARP的概念图，其中每一PU划分成四个大小相等的正方形子PU。仅借助于实例展示和描述此实例，因为依据本发明，PU可在不同实例中以多种不同方式划分为两个或两个以上子PU。并且，图10展示正针对PU的一个子PU执行ARP，且展示正针对其执行ARP的子PU的对应向量。尽管图10中未图示，每一其它子PU具有其自身的运动向量集合用于在针对子PU执行ARP时使用。

通过针对时间预测残余和视图间预测残余中的任一者或两者执行ARP，可针对译码单元中的当前预测单元(PU)的多个块维持视差运动向量或时间运动向量的更精细粒度。运动向量的更精细粒度可使当前PU内的每一块能够识别其自身的Base、CurrTRef和BaseTRef。在一些实例中，针对当前PU的每一块产生单独残余。

在一些实例中，可针对整个译码单元(CU)信令ARP，从而指示是否ARP将应用于所述CU。当对针对其信令ARP的CU译码时，CU划分成PU，且每一PU划分成子PU。举例来说，当子PU级ARP应用到视图间残余时，当前PU(例如，图10中的Curr)划分成若干子PU。对于每一给定(第i)子PU，具有参考视图(例如，图10中的Basei)的相同存取单元中的子PU的相同大小的参考块由当前PU(即，图10中的DMV)的视差运动向量识别。如果对应参考块含有一个时间运动向量，那么其用于定位不同存取单元中的两个块(例如，CurrTRefi和BaseTRefi)，且这两个块用于产生残余预测符，如上文更详细地论述。所述两个块由Basei的时间运动信息和DMV识别。

在一些实例中，仅考虑与含有Basei的一个给定位置(例如，中心位置)的预测单元相关联的时间运动向量。在一些实例中，依次检查含有Basei的多个位置(例如，中心和右下)的预测单元，且一旦发现时间运动向量，检查过程就终止。

在其它实例中，首先发现PU级代表性时间运动信息，且其被认为是默认运动信息(如果可用)。当与Basei相关联的一或多个给定位置并不产生可用时间运动信息时，代表性时间运动信息指派到Basei。

在其它实例中，如果未发现时间运动向量，那么应用默认运动信息。在一些实例中，默认运动信息被定义为当前视差运动向量识别的当前PU的参考块所包含的时间运动信息，其中参考块具有与当前PU相同的大小。在一些实例中，默认运动信息被定义为零值运动向量，以及具有当前参考图片列表中的最小索引的时间参考图片的索引。

在应用到视图间残余的子PU级ARP的一些实例中，当前PU的对应区的运动信息(如由DMV识别)可以某一方式存取一次使得存取所述区内部的所有块的运动信息。

当子PU级ARP应用到时间残余时，当前PU划分成若干子PU。对于给定子PU，具有当前视图的不同存取单元中的子PU的相同大小的参考块由当前PU的相同时间运动向量识别。如果子PU的对应参考块含有一个视差运动向量，那么使用所述视差运动向量细化来自NBDV过程的视差向量且识别参考视图中的两个块(Base和BaseTRef)。以其它方式，视差向量(例如，通过利用NBDV导出)被认为是默认向量且用于识别参考视图中的两个块。参考视图中的两个块用于产生残余预测符。

在一些实例中，一或多个子PU的大小可等于8×8像素。在一些实例中，一或多个子PU的大小可大于8×8像素，例如作为非限制性实例：8x16、16x8或16×16像素。在一些实例中，一或多个子PU的大小可取决于当前PU或当前CU的大小。在一些实例中，一或多个子PU的大小并不大于PU。举例来说，如果在给定实例设计中子PU大小为16×16而PU大小仅为8x16，那么在此情况下，当子PU级ARP适用时，对于特定PU，代替于考虑最小处理大小为16×16，针对此PU的最小处理大小仍为8x16。

在其中必需子PU(子CU)大小为(KxL)且PU大小为(M，N)的一个实例中，给定PU内的实际处理大小为(min(K,M)x min(L,N))。

在一些实例中，可在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)或切片标头中信令子PU的大小。

尽管在一些实例中论述2N×2N的分割区大小，其中N为自然数，但在其它实例中，可采用除2N×2N以外的分割区大小。在其它实例中，仅当PU的宽度和高度均等于或大于八个像素时应用ARP。

图11为说明用于编码视频数据的实例过程(1170)的流程图。在一些实例中，图11的过程可由例如视频编码器20等编码器执行。在开始块之后，编码器将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得PU的子PU是PU的非重叠部分(1171)。当称PU被拆分成两个或两个以上子PU时，参考概念拆分，使得与对整个PU执行所有动作相比，对每一单独子PU单独地执行后续动作。

编码器随后针对PU的每一子PU产生视差运动向量(DMV)或视差向量(DV)(1172)。用于产生DV或DMV的过程可与用于在常规运动补偿中产生时间运动向量的过程类似(虽然不同)。然而，不同之处在于，代替于产生表明块已在一个时间处的图片与另一时间处的图片之间移动到何处的向量，DMV或DV展示相同时间两个不同视图之间的块的位置改变，相应地展示不同视图中的块的位置的视差而非随时间的运动。在框1172处使用的过程也不同于常规运动补偿，因为所述块为子PU块。

编码器随后针对PU的每一子PU产生时间运动向量(TMV)(1174)。时间运动向量可经由运动补偿技术产生。

编码器随后针对PU的每一子PU产生残余预测符(1176)。残余预测符表示为：BaseTRef-Base，其中减法运算为BaseTRef与Base之间的逐像素减法运算。“Base”指代与当前块相比以向量DV(或在其中使用视差运动向量而非视差向量的情况下，DMV)识别的对应块，且“BaseTRef”指代与当前块相比以向量DV+TMV(或在其中使用视差运动向量而非视差向量的情况下，DMV+TMV)识别的对应块。

编码器随后针对PU的每一子PU产生加权因子(1177)。在一些实例中，加权因子为0、0.5或1，且通过确定可能加权因子0、0.5或1中的哪一者将导产生最低速率失真成本而产生所述加权因子。在一些实例中，针对整个CU确定一个加权因子，且所述CU的所有经译码部分使用相同加权因子。在其它实例中，可针对CU的每一单独部分计算和存储单独加权因子。

编码器随后根据先进残余预测(ARP)编码对应于PU的每一子PU的CU的部分(1199)。过程随后前进到返回框，其中恢复其它处理。

以此方式，图11的方法表示一方法的实例，所述方法包含：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述子PU是所述PU的非重叠部分；获得用于第一子PU的第一类型的第一运动向量和用于第二子PU的所述第一类型的第二运动向量；获得用于第一子PU的第二类型的第三运动向量和用于第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)编码对应于第一子PU的CU的第一部分；以及使用第二运动向量和第四运动向量根据ARP编码对应于第二子PU的CU的第二部分。

图12为说明用于对视频数据译码的实例过程(1270)的流程图。在一些实例中，图12的过程可由例如视频解码器30或类似者等解码器执行。在开始块之后，解码器将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得PU的子PU是PU的非重叠部分(1271)。

解码器随后获得用于PU的每一子PU的视差运动向量(DMV)或视差向量(DV)(1272)。在一些实例中，通过从位流检索DMV或DV获得DMV或DV。解码器随后定位对应于不同视图中的当前子PU的子PU块(1273)。此使用在框1272处从当前子PU的位置获得的DMV或DV来实现。

解码器随后针对PU的每一子PU产生时间运动向量(MV)(1274)。在一些实例中，通过从位流检索TMV而获得所述TMV。解码器随后在BaseTRef中提供对应的子PU块(1275)。此使用所述当前子PU的位置的DV+TMV(或如果使用视差运动向量而非视差向量，那么DMV+TMV)实现。

解码器随后导出预测符(1278)。此可通过从存储器检索残余预测符和加权因子，将加权因子应用于残余块以获得经加权残余块，以及将经加权残余块的值与经预测样本相加来实现。解码器随后根据先进残余预测(ARP)解码对应于PU的每一子PU的CU的部分(1299)。过程随后进行到返回框，其中恢复其它处理。

以此方式，图12的方法表示一方法的实例，所述方法包含：将译码单元(CU)的预测单元(PU)拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述子PU是所述PU的非重叠部分；确定用于第一子PU的第一类型的第一运动向量和用于第二子PU的所述第一类型的第二运动向量；确定用于第一子PU的第二类型的第三运动向量和用于第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；使用第一运动向量和第三运动向量根据先进残余预测(ARP)解码对应于第一子PU的CU的第一部分；以及使用第二运动向量和第四运动向量根据ARP解码对应于第二子PU的CU的第二部分。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同序列执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可并行地(例如，经由多线程处理、中断处理或多个处理器)而非循序地执行动作或事件。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)或通信媒体，所述通信媒体包含任何促进将计算机程序从一处传送到另一处(例如，根据通信协议)的媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。另外，可以将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (29)

1.一种解码视频数据的方法，所述方法包括：

将译码单元CU的预测单元PU拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述两个或两个以上子PU是所述PU的非重叠部分；

确定用于所述第一子PU的第一类型的第一运动向量和用于所述第二子PU的所述第一类型的第二运动向量；

确定用于所述第一子PU的第二类型的第三运动向量和用于所述第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；

使用所述第一运动向量和所述第三运动向量根据先进残余预测ARP解码对应于所述第一子PU的所述CU的第一部分；以及

使用所述第二运动向量和所述第四运动向量根据ARP解码对应于所述第二子PU的所述CU的第二部分，其中解码所述CU的所述第一部分包含：

使用所述第三运动向量计算所述CU的所述第一部分的第一预测值；

当应用到由所述第一运动向量识别的相应对应块时使用所述相应对应块与由所述第三运动向量识别的视图间参考块之间的差计算所述CU的所述第一部分的第二预测值；以及

使用所述第一预测值和所述第二预测值解码所述CU的所述第一部分。

2.根据权利要求1所述的方法，其中所述第一子PU的大小与所述第二子PU的大小相等。

3.根据权利要求1所述的方法，其中所述第二子PU的大小不同于所述第一子PU的大小。

4.根据权利要求1所述的方法，其中所述第一子PU的大小为八个像素乘八个像素。

5.根据权利要求1所述的方法，其中所述第一子PU的大小为至少八个像素乘至少八个像素。

6.根据权利要求1所述的方法，其中解码所述CU的所述第一部分包含：

在参考视图中的图片中，使用距当前块的所述第一运动向量定位另一图片中的相应对应块；

使用距所述当前块的所述第三运动向量获得当前视图中的第一参考块；

使用所述第一运动向量和所述第三运动向量从所述当前块获得第二参考块；

至少部分地基于所述第一参考块和所述第二参考块获得残余预测符；

获得加权因子；

将所述加权因子应用到所述残余预测符以获得经加权残余块；以及

使用所述经加权残余块和所述相应对应块解码所述CU的所述第一部分。

7.根据权利要求1所述的方法，其中对所述CU的所述部分译码包括：

使用所述第一运动向量计算所述CU的所述第一部分的第一预测值；

当应用到由所述第三运动向量识别的参考块时使用所述参考块与由所述第三运动向量识别的视图间参考块之间的差计算所述CU的所述第一部分的第二预测值；

以及

从所述相应第一预测值和所述相应第二预测值的组合计算所述CU的所述第一部分的实际预测值。

8.根据权利要求1所述的方法，其中所述第一类型包含时间运动向量且所述第二类型包含视差运动向量。

9.根据权利要求1所述的方法，其中所述第一类型包含时间运动向量且所述第二类型包含视差向量。

10.根据权利要求1所述的方法，其中所述第三运动向量和所述第四运动向量包含相同运动向量。

11.根据权利要求1所述的方法，其中在视频参数集VPS中信令所述第一子PU的大小和所述第二子PU的大小。

12.根据权利要求1所述的方法，其中所述第二类型包含时间运动向量。

13.根据权利要求12所述的方法，其中所述第一类型包含视差运动向量。

14.根据权利要求12所述的方法，其中所述第一类型包含视差向量。

15.根据权利要求12所述的方法，其中确定所述第三运动向量包含：

确定所述CU的时间运动向量为默认时间运动向量；以及

当应用到所述CU的至少一个视差运动向量识别的对应块并不具有可用的时间运动信息时，使用所述CU的所述时间运动向量作为所述第三运动向量。

16.一种编码视频数据的方法，所述方法包括：

将译码单元CU的预测单元PU拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述两个或两个以上子PU是所述PU的非重叠部分；

获得用于所述第一子PU的第一类型的第一运动向量和用于所述第二子PU的所述第一类型的第二运动向量；

获得用于所述第一子PU的第二类型的第三运动向量和用于所述第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；

使用所述第一运动向量和所述第三运动向量根据先进残余预测ARP编码对应于所述第一子PU的所述CU的第一部分；以及

使用所述第二运动向量和所述第四运动向量根据ARP编码对应于所述第二子PU的所述CU的第二部分，其中编码所述CU的所述第一部分包含：

使用所述第三运动向量计算所述CU的所述第一部分的第一预测值；

当应用到由所述第一运动向量识别的相应对应块时使用所述相应对应块与由所述第三运动向量识别的视图间参考块之间的差计算所述CU的所述第一部分的第二预测值；以及

使用所述第一预测值和所述第二预测值编码所述CU的所述第一部分。

17.根据权利要求16所述的方法，其中编码所述CU的所述第一部分包含：

使用所述第一运动向量和所述第三运动向量获得所述第一子PU的残余预测符；

获得用于所述第一子PU的加权因子；以及

使用通过将所述加权因子应用到所述残余预测符而获得的经加权残余预测符编码所述第一子PU。

18.根据权利要求16所述的方法，其中所述第一类型包含时间运动向量且所述第二类型包含视差运动向量。

19.根据权利要求16所述的方法，其中所述第一类型包含时间运动向量且所述第二类型包含视差向量。

20.根据权利要求16所述的方法，其中所述第三运动向量和所述第四运动向量包含相同运动向量。

21.根据权利要求16所述的方法，其中所述第二类型包含时间运动向量。

22.根据权利要求21所述的方法，其中所述第一类型包含视差运动向量。

23.根据权利要求21所述的方法，其中所述第一类型包含视差向量。

24.一种用于对视频数据进行译码的装置，所述装置包括：

存储器，其经配置以存储视频数据；以及

一或多个处理器，其耦合到所述存储器且经配置以：

将译码单元CU的预测单元PU拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述两个或两个以上子PU是所述PU的非重叠部分；

获得用于所述第一子PU的第一类型的第一运动向量和用于所述第二子PU的所述第一类型的第二运动向量；

获得用于所述第一子PU的第二类型的第三运动向量和用于所述第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；

使用所述第一运动向量和所述第三运动向量根据先进残余预测ARP对对应于所述第一子PU的所述CU的第一部分进行译码；以及

使用所述第二运动向量和所述第四运动向量根据ARP对对应于所述第二子PU的所述CU的第二部分进行译码，其中译码所述CU的所述第一部分包含：

使用所述第三运动向量计算所述CU的所述第一部分的第一预测值；

当应用到由所述第一运动向量识别的相应对应块时使用所述相应对应块与由所述第三运动向量识别的视图间参考块之间的差计算所述CU的所述第一部分的第二预测值；以及

使用所述第一预测值和所述第二预测值译码所述CU的所述第一部分。

25.根据权利要求24所述的装置，其中所述第一类型包含视差向量或视差运动向量中的至少一者。

26.根据权利要求24所述的装置，其中所述第二类型包含时间运动向量。

27.根据权利要求24所述的装置，其中所述装置为视频编码器，其经配置以编码所述CU的所述第一部分且编码所述CU的所述第二部分。

28.根据权利要求24所述的装置，其中所述装置为视频解码器，其经配置以解码所述CU的所述第一部分且解码所述CU的所述第二部分。

29.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令当执行时致使至少一个处理器：

将译码单元CU的预测单元PU拆分为包含第一子PU和第二子PU的两个或两个以上子PU，使得所述PU的所述两个或两个以上子PU是所述PU的非重叠部分；

获得用于所述第一子PU的第一类型的第一运动向量和用于所述第二子PU的所述第一类型的第二运动向量；

获得用于所述第一子PU的第二类型的第三运动向量和用于所述第二子PU的所述第二类型的第四运动向量，使得所述第二类型不同于所述第一类型；

使用所述第一运动向量和所述第三运动向量根据先进残余预测ARP对对应于所述第一子PU的所述CU的第一部分进行译码；以及

使用所述第二运动向量和所述第四运动向量根据ARP对对应于所述第二子PU的所述CU的第二部分进行译码，其中译码所述CU的所述第一部分包含：

使用所述第三运动向量计算所述CU的所述第一部分的第一预测值；

当应用到由所述第一运动向量识别的相应对应块时使用所述相应对应块与由所述第三运动向量识别的视图间参考块之间的差计算所述CU的所述第一部分的第二预测值；以及

使用所述第一预测值和所述第二预测值译码所述CU的所述第一部分。