CN105075265B - 3d视频译码中针对跳过和直接模式的视差向量导出 - Google Patents

Abstract

一种视频解码器执行基于相邻块的视差向量NBDV导出过程以确定视差向量，或执行NBDV细化NBDV‑R过程以确定所述视差向量。所述视频解码器使用所述视差向量作为当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码所述当前块。此外，视频译码器确定所述当前块的像素值。

Description

3D视频译码中针对跳过和直接模式的视差向量导出

本申请案主张2013年3月19日申请的第61/803,429号美国临时专利申请案的权益，所述临时专利申请案的整个内容以引用的方式并入本文中。

技术领域

本发明涉及视频编码和视频解码。

背景技术

数字视频能力可并入到较宽范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2；MPEG-4；ITU-T H.263；ITU-TH.264/MPEG-4，第10部分；高级视频译码(AVC)、高效视频译码(HEVC)标准以及此类标准的扩展界定的标准中所描述的那些技术，来更高效地发射、接收和存储数字视频信息。

视频压缩技术包含空间预测和/或时间预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频帧或切片分割为若干块。可进一步分割每一块。相对于经帧内译码(I)帧或切片中的相邻块中的参考样本，使用空间预测来编码同一帧或切片中的块。经帧间译码(P或B)帧或切片中的块可相对于同一帧或切片中的相邻块中的参考样本使用空间预测，或相对于其它参考帧中的参考样本使用时间预测。空间或时间预测产生待译码块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。

根据运动向量和残余数据来编码经帧间译码的块，运动向量指向形成预测块的参考样本块，且残余数据指示经译码块与预测块之间的差异。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，其接着可量化。可以特定次序扫描经量化的变换系数，最初布置成二维阵列，以产生变换系数的一维向量来用于熵译码。

发明内容

本发明涉及基于高级编解码器的多视图视频译码和3维(3D)视频译码，包含用3D高级视频译码(AVC)编解码器对两个或两个以上视图的译码。更具体地说，技术与跳过和直接模式的视差向量导出有关。如本文所述，视频解码器可执行基于相邻块的视差向量(NBDV)导出过程来确定视差向量，或执行NBDV细化(NBDV-R)过程来确定视差向量。当在跳过模式或直接模式下译码当前块时，视频解码器使用所述视差向量作为当前块的视差向量，而不对多个视差运动向量使用中值滤波过程。此外，视频解码器确定当前块的像素值。

在一个实例中，本发明描述一种解码视频数据的方法，所述方法包括：执行NBDV导出过程来确定视差向量，或执行NBDV-R过程来确定所述视差向量；使用视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块；以及确定当前块的像素值。

在另一实例中，本发明描述一种编码视频数据的方法，所述方法包括：执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定所述视差向量；使用所述视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块；以及对包含当前块的当前切片的语法元素进行熵编码。

在另一实例中，本发明描述一种装置，其包括：存储器，其存储经解码的视频块；一个或一个以上处理器，其经配置以：执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定视差向量；以及使用所述视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。

在另一实例中，本发明描述一种装置，其包括：用于执行NBDV导出过程以确定视差向量或执行NBDV-R过程以确定视差向量的装置；以及用于使用视差向量作为视频数据的当前块的视差向量而不对多个视差运动向量使用中值滤波过程的装置，其中在跳过模式或直接模式下译码当前块。

在另一实例中，本发明描述一种上面存储有指令的非暂时性计算机可读数据存储媒体，所述指令在被执行时，致使视频译码装置：执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定所述视差向量；且使用所述视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。

在附图和下文的描述中陈述本发明的一个或一个以上实例的细节。将从描述、图式和所附权利要求书中明白其它特征、目标和优点。

附图说明

图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。

图2是说明实例多视图视频译码时间和视图间预测结构的概念图。

图3是说明相对于当前宏块的空间邻域的实例的概念图。

图4是说明基于向后翘曲的基于块的视图综合预测的实例的概念图。

图5是说明相对于3D-HEVC中的当前预测单元的空间运动向量领域的实例的概念图。

图6是说明从参考视图导出深度块以用于基于块的视图综合预测的概念图。

图7是说明可实施本发明中所描述的技术的实例视频编码器的框图。

图8是说明可实施本发明中所描述的技术的实例视频解码器的框图。

图9A是说明根据本发明一个或一个以上技术的视频编码器的实例操作的流程图。

图9B是说明根据本发明一个或一个以上技术的视频解码器的实例操作的流程图。

具体实施方式

H.264/AVC是视频译码标准。相似H.264/AVC中，视频编码器可使用跳过模式或直接模式(即，跳过/直接模式)来编码特定图片的至少一些视频块。当视频编码器使用跳过模式来编码视频块时，视频编码器并不用信号通知所述视频块的运动信息或残余数据。当视频编码器使用直接模式来编码视频块时，视频编码器并不用信号通知视频块的运动信息，而是可用信号通知所述视频块的残余数据。

3D-AVC是用于3维(3D)视频译码的H.264/AVC标准的扩展。在3D-AVC中，图片可与多个视图相关联。每一视图的图片可对应于来自不同相机位置的同一场景。在同一时刻中但在不同视图中的图片之间可能存在相当大的冗余。举例来说，当前图片中的块的运动向量可类似于视图间参考图片(即，在与当前图片相同的时刻中，但在不同视图中的先前经译码图片)中的对应块的运动向量。

在3D-AVC中，视频译码器可确定当前图片中的当前块的视差向量，且可接着使用当前块的视差向量来确定视图间参考图片中的对应块。在3D-AVC的一些版本中，视频译码器使用基于相邻块的视差向量(NBDV)导出过程来确定当前块的视差向量。当视频译码器执行NBDV导出过程时，视频译码器可确定特定相邻块是否具有视差运动向量。如果所述相邻块中的一者具有视差运动向量，那么视频译码器可将相邻块的视差运动向量转换成当前块的视差向量。

然而，如果使用跳过模式或直接模式来编码当前块，且所述相邻块中的一者具有视差运动向量，那么视频译码器搜索额外相邻块以寻找额外视差运动向量。如果所述相邻块中的一个以上具有视差运动向量，那么视频译码器将中值函数(例如，中值滤波过程)应用于视差运动向量。视频译码器可使用所得视差运动向量作为当前块的视差向量。

在3D-AVC的一些版本中，视频译码器可使用对应的深度块，或可使用基于块的视图综合预测(BVSP)来细化未使用跳过模式或直接模式来编码的块的视差向量。然而，如果使用跳过模式或直接模式来编码当前块，那么视频译码器不使用对应的深度块或BVSP来细化当前块的视差向量。使用NBDV导出过程来确定的视差向量的细化在本文可称为NBDV细化过程或NBDV-R过程。

上文所述的用于确定视差向量的过程可能存在若干问题。举例来说，上文所述的过程可导致同一块的不一致的视差向量，取决于以之编码所述块的模式。在另一实例中，上文所述的过程可导致对空间相邻块的不必要检查。在另一实例中，计算多个视差运动向量的中值函数可仅带来边缘译码效率益处，但可增加复杂性。

本发明的技术可解决这些和/或其它问题。在一个实例中，视频译码器可执行NBDV导出过程来确定视差向量，或可执行NBDV-R过程来确定视差向量。此外，视频译码器可使用所确定的视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。此类技术的实施方案可降低视频编码器和/或视频解码器的复杂性。

图1是说明根据本发明中所描述的一个或一个以上实例的实例视频编码和解码系统10的框图如图1中所示，视频编码和解码系统10包含源装置12和目的地装置14。源装置12产生经编码的视频数据。因此，源装置12可称为视频编码装置或视频编码设备。目的地装置14可解码源装置12所产生的经编码的视频数据。因此，目的地装置14可称为视频解码装置或视频解码设备。如本文所使用，术语“视频译码器”在属类上指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”在属类上可指代视频编码或视频解码。因此，源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。

源装置12和目的地装置14经配置以实施多视图译码(MVC)。在MVC中，源装置12和目的地装置14各自译码不同视图的图片。当一起观看不同视图的图片时，观看者感知包含3D体积的图像，而不是限于显示器的2D区域的图像。

如图1中所示，系统10包含源装置12，其产生稍后时间将由目的地装置14解码的经编码的视频数据。源装置12和目的地装置14包括较宽范围的装置中的任何一种，包含无线手持机，例如所谓的“智能”电话、所谓的“智能”平板电脑，或其它此类经配备以用于无线通信的无线装置。源装置12和目的地装置14的额外实例包含但不限于：数字电视、数字直播系统中的装置、无线广播系统中的装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式无线电话、卫星无线电话、视频电话会议装置、视频流式传输装置等。

目的地装置14可接收将经由链路16解码的经编码的视频数据。链路16可包括任何类型的能够将经编码的视频数据从源装置12移到目的地装置14的媒体或装置。在一个实例中，链路16包括通信媒体，以使源装置12能够将经编码的视频数据直接实时发射到目的地装置14。经编码的视频数据可根据通信标准(例如无线通信协议)来调制，并发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线。通信媒体可形成基于包的网络的一部分，例如局域网、广域网或全局网络，例如因特网。通信媒体可包含路由器、交换机、基站，或可对促进从源装置12到目的地装置14的通信有用的任何其它设备。

在一些实例中，输出接口22将经编码数据输出到存储装置34。类似地，输入接口28从存储装置34存取经编码数据。存储装置34的实例包含多种分布式或本地存取数据存储媒体中的任何一种，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或任何其它用于存储经编码的视频数据的合适数字存储媒体。在另一实例中，存储装置34包括文件服务器或另一中间存储装置，其存储源装置12所产生的经编码视频。在这些实例中，目的地装置14例如，经由流式传输或下载，从存储装置34存取所存储的视频数据。文件服务器可任何类型的能够存储经编码的视频数据并将所述经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于服务网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置、本地磁盘驱动器，或用于提供文件的其它装置或系统。目的地装置14可通过任何标准数据连接，包含因特网连接，来存取经编码的视频数据。标准数据连接可包含无线信道(例如，Wi-Fi连接)，有线连接(例如，DSL、电缆调制解调器等)，或两者的适合存取存储在文件服务器上的经编码的视频数据的组合。经编码的视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。

本发明的技术不一定限于无线应用或设定。所述技术可在多种多媒体应用中的任何一种的支持下应用于视频译码，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、对数字视频进行编码以存储在数据存储媒体上，对存储在数据存储媒体上的数字视频进行解码，或其它应用。在一些实例中，系统10经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22包含调制器/解调器(调制解调器)和/或发射器。视频源18包含视频捕获装置(例如，摄像机)、含有先前捕获的视频的视频档案、用以从视频内容提供者接收视频的视频馈送接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统，此类来源的组合，或视频数据的任何其它来源中的一者或一者以上。在其中视频源18为摄像机的一个实例中，源装置12和目的地装置14为所谓的相机电话或视频电话。然而，本发明中所描述的技术一般来说适用于视频译码，且可适用于无线和/或有线应用。

视频编码器20对所捕获的、预捕获的或计算机产生的视频进行编码。源装置12的输出接口22经配置以将经编码的视频数据发射到目的地装置14。经编码的视频数据也可(或替代地)存储到存储装置34上，以供以后由目的地装置14或其它装置存取，用于解码和/或重放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16或从存储装置34接收经编码的视频数据。经由链路16传送或提供于存储装置34上的经编码的视频数据包含多种语法元素，其由视频编码器20产生以供视频解码器(例如视频解码器30)用来解码视频数据。此类语法元素可与在通信媒体上传输、存储在存储媒体上或存储在文件服务器中的经编码的视频数据包含在一起。

显示装置32可与目的地装置14集成，或可在目的地装置14外部。在一些实例中，目的地装置14包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14为显示装置。一般来说，显示装置32向用户显示经解码的视频数据，且包括多种显示装置中的任何一种，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

尽管图1的中未展示，但在一些实例中，视频编码器20和视频解码器30各自与音频编码器和解码器集成，且包含适当的MUX-DEMUX单元，或其它硬件和软件，来处置共用数据流或单独数据流中的音频和视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元符合ITUH.223多路复用器协议，或其它协议，例如用户数据报协议(UDP)。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任何一种，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地在软件中实施时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中，且可在硬件中使用一个或一个以上处理器来执行所述指令，以实施本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的一部分。视频编码器20经配置以根据本发明中所描述的技术来编码视频数据，且视频解码器30经配置以根据本发明中所描述的技术来解码视频数据。

视频编码器20和视频解码器30可根据各种视频译码标准来操作。举例来说，视频编码器20和视频解码器30可根据视频译码标准来操作，例如ITU-TH.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-TH.263、ISO/IEC MPEG-4视觉和ITU-TH.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)、多视图视频译码(MVC)和多视图加深度(MVC+D)扩展。“用于一般视听服务的高级视频译码”，ITU-T建议H.264(2011年6月)中描述H.264/AVC(下文称为“H.264/AVC标准”)。“用于一般视听服务的高级视频译码”，ITU-T建议H.264(2010年3月)中描述MVC的联合草案。

现在，VCEG和MPEG的3D视频译码(JCT-3V)联合合作团队正在开发基于H.264/AVC的3D视频(3DV)标准，即，3D-AVC。3D-AVC包含并支持除MVC所支持的视图间预测之外的新的译码工具。用于3D-AVC的软件(即，3D-ATM)可从http://mpeg3dv.research.nokia.com/svn/mpeg3dv/tags/3DV-ATMv6.2/下载。汉努克塞拉(Hannuksela)等人的“3D-AVC草案文本5”，ITU-T SG 16WP 3和ISO/IEC JTC1/SC29/WG 11的3D视频译码扩展开发联合合作团队，第3次会议，日内瓦，瑞士，2013年1月17日到23日，文献JCT3V-C1002，下文称“JCT3V-C1002”，是3D-AVC的草案文本。自2014年2月28日起，JCT3V-C1002可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1002-v3.zip获得。

在其它实例中，视频编码器20和视频解码器30可根据由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码(JCT-VC)联合合作团队所开发的高效视频译码(HEVC)标准，或其扩展来操作。现在，VCEG和MPEG的3D视频译码联合合作团队(JCT-3C)正在开发基于HEVC的3DV标准，对于所述标准，标准化努力的一部分包含基于HEVC的多视图视频编解码器(MV-HEVC)的标准化，且另一部分包含基于HEVC的3D视频译码(3D-HEVC)的标准化。

为了描述的目的，在H.264/AVC标准及其扩展(例如3D-AVC标准)的上下文中描述视频编码器20和视频解码器30。然而，本发明的技术不限于任何特定译码标准。举例来说，本发明中所描述的技术可由视频编码器/解码器(编解码器)来实施，以用于多视图译码(即，两个或两个以上视图的译码)。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263，且包含3D-HEVC。专有译码技术，例如称为On2 VP6/VP7/VP8的那些技术，也可实施本文所述的技术中的一者或一者以上。

视频编码器20可产生和输出位流。如H.264/AVC标准中所定义，位流可包括形成构成一个或一个以上经译码视频序列的经译码的图片和相关联数据的表示的位序列。经译码的图片是图片的经译码表示。在H.264/AVC中，视频序列通常包含来自视图的一系列视频图片。图片群组(GOP)通常包括一系列一个或一个以上视频图片。GOP可在GOP的标头、GOP的一个或一个以上图片的标头中或别处包含语法数据，其描述包含在GOP中的若干图片。每一经译码的图片可包含描述相应图片的编码模式的图片语法数据。视频编码器20通常对个别视频图片内的视频块操作，以便编码视频数据。

在H.264/AVC中，视频块可对应于宏块、宏块的分区，且可能分区的子块，如H.264/AVC标准中所定义。视频块可具有固定或不同大小，且大小可根据指定译码标准而不同。在一些例子中，本发明可将视频块简称为“块”。每一视频图片可包含多个切片(即，“视频切片”)。每一切片可包含多个块。

H.264/AVC支持视频块的帧内预测和帧间预测。当视频译码器使用帧内预测或帧间预测来译码视频块时，视频译码器可产生视频块的预测块。预测块包括像素值(即，样本)块。当模式内编码(即，帧内预测)视频块时，视频编码器可基于与视频块相同的图片中的其它块的像素值，产生视频块的预测块。在本发明的至少一些实例中，短语“基于”可解释为“至少部分地基于”。此外，当帧内预测视频块时，视频译码器可产生描述视频块的帧内预测模式的数据。

当模式间编码(即，帧间预测)视频块时，视频译码器可基于不同于含有所述视频块的图片的一个或一个以上图片中的块的像素值，产生视频块的预测块。此外，当帧间预测视频块时，视频译码器可确定视频块的一个或一个以上运动向量。举例来说，视频块可包含界定视频块的运动向量的信息。视频块的运动向量可指代参考图片在与视频块相同的视图中的位置，或可指代在另一视图中的参考图片中的位置。在一些实例中，界定块的运动向量的数据描述运动向量的水平分量、运动向量的垂直分量，以及运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)。另外，当帧间预测视频块时，视频块可包含参考索引信息，例如识别运动向量所指向的参考图片的数据，和/或运动向量所应用于的参考图片列表(例如，RefPicList0或RefPicList1)。

H.264/AVC针对亮度分量，支持16x16、8x8或4x4的块大小的帧内预测，且针对色度分量，支持8x8的块大小的帧内预测。H.264/AVC支持各种块大小的帧间预测，例如针对亮度分量为16x16、16x8、8x16、8x8、8x4、4x8和4x4，且针对色度分量为对应的经缩放大小。在本发明中，“NxN”和“N乘N”可互换使用，以依据垂直和水平尺寸来指代块的像素尺寸(例如，16x16像素或16乘16像素)。一般来说，16x16块在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，NxN块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块不一定在水平方向上与在垂直方向上具有相同数目的像素。举例来说，块可包括NxM个像素，其中M不一定等于N。

帧间宏块(MB)是使用帧间预测来译码的宏块。在H.264/AVC中，每一帧间MB可以分割成四种不同方式。

●一个16x16MB分区，

●两个16x8MB分区，

●两个8x16MB分区，以及

●四各8x8MB分区。

一个MB中的不同MB分区针对每一方向可具有不同的参考索引值(即，RefPicList0或RefPicList1)。一般来说，参考索引值指示参考图片列表中的参考图片。因此，视频译码器可基于不同参考图片，针对一帧间MB的不同MB分区产生预测块。当MB未分割成四个8x8MB分区时，MB针对每一方向上的整个MB分区可仅具有一个运动向量。

当将MB分割成四个8x8MB分区时，每一8x8MB分区可进一步分割成子块。存在四种不同方式来将8x8MB分区分割成子块：

●一个8x8子块，

●两个8x4子块，

●两个4x8子块，以及

●四各4x4子块。

每一子块在每一方向上可具有不同的运动向量。B切片时其中允许使用双向帧间预测来编码视频块的切片。使用双向帧间预测编码的视频块具有两个运动向量，其涉及两个不同的参考图片列表中的参考图片。换句话说，B切片中的每一子块可具有RefPicList0运动向量和RefPicList1运动向量。“子块分区”是用来指示如何将8x8MB分区分割成子块的术语。换句话说，将8x8MB分区分割成命名为子块分区的子块。

在H.264/AVC中，在图片的宏块的帧内预测或帧间预测译码之后，视频编码器20可计算宏块的残余数据。残余数据可对应于未编码图片的像素与宏块的对应预测值之间的像素差。在应用任何变换来产生变换系数之后，视频编码器20可执行变换系数的量化。量化通常指代其中使变换系数量化以可能地减少用来表示系数的数据量，从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说，视频编码器20可在量化期间，将n位值向下舍入到m位值，其中n大于m。

在一些实例中，视频编码器20利用预定义扫描次序来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20执行自适应扫描。在一些实例中，在视频编码器20扫描经量化的变换系数以形成一维向量之后，视频编码器20根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器20也可熵编码与经编码的视频数据相关联的语法元素，以供视频解码器30用来解码视频数据。视频编码器20可包含经熵编码的语法元素，以及位流中的其它语法元素。

视频解码器30可实施视频编码器20的技术的逆技术。举例来说，视频解码器30可解码经编码视频位流，且可通过逆量化和逆变换来确定残余块。视频解码器30可将残余块与先前经解码的图片的块求和，以确定图片内的块的像素值。

视频编码器20和视频解码器30可经配置以实施本发明中所描述的技术。举例来说，视频编码器20和视频解码器30可经配置以利用本发明中所描述的技术导出视差向量。术语“视频译码器”可指代视频编码器20或视频解码器30，且术语“译码”可指代编码或解码。在一些实例中，视频解码器30可经配置以实施本发明中所描述的技术，且视频编码器20可不经配置以实施本发明中所描述的技术，或反之亦然。

如上文所指示，MVC是H.264/AVC的扩展。在MVC中，可存在来自不同视点的同一场景的多个视图。在多视图译码的上下文中，术语“存取单元”可指代对应于同一时刻的一组图片。因此，视频数据可概念化为随时间过去而出现的一系列存取单元。

在多视图译码中，位流可具有多个层。所述层中的每一者可对应于不同视图。在多视图译码中，如果视频解码器(例如，视频解码器30)可不参考任何其它视图中的图片而解码所述视图中的图片，那么所述视图可称为“基本视图”。如果视图中的图片的解码取决于一个或一个以上其它视图中的图片的解码，那么所述视图可称为“非基本视图”或“从属视图”。

MVC支持视图间预测以及时间帧间预测。在视图间预测中，视频译码器基于视图间参考图片的样本来确定当前视频块的预测块。视图间参考图片为在与视频译码器当前正译码的图片(即，当前图片)相同的时刻中，但在与当前图片不同的视图中的参考图片。因此，在MVC中，在同一存取单元(即，具有相同时刻)的不同视图中捕获的图片之间执行视图间预测，以去除视图之间的相关性。在时间帧间预测中，视频译码器基于时间参考图片的样本，确定当前视频块的预测块。时间参考图片为在与视频译码器当前正译码的块(即，当前图片)相同的视图中，但在与当前图片不同的时刻中的参考图片。

在多视图视频译码的上下文中，存在两种运动向量。一种运动向量是指向时间参考图片的正常(即，时间)运动向量，且对应的时间帧间预测为经运动补偿的预测(MCP)。另一种的运动向量是指向不同视图中的图片(即，视图间参考图片)的视差运动向量，且对应的帧间预测为经视差补偿的预测(DCP)。可将用视图间预测译码的图片添加到其它非基本视图的视图间预测的参考图片列表中。可以与帧间预测参考图片相同的方式，将视图间预测参考图片放置参考图片列表的任何位置中。

图2是说明实例多视图视频译码时间和视图间预测结构的概念图。换句话说，图2中展示用于多视图视频译码的典型MVC预测(包括每一视图内的图片间预测以及视图间预测)结构。在图2的实例中，预测由箭头指示，指向的对象使用从其指向的对象来进行预测参考。

在图2的实例中，每一正方形对应于一视图分量。在图2的实例中，将存取单元标记为T0…T11，且将视图标记为S0…S7。标记为“I”的正方形为经帧内预测的视图分量。标记为“P”的正方形是经单向帧间预测的视图分量。标记为“B”和“b”的正方向为经双向帧间预测的视图分量。标记为“b”的正方向可使用标记为“B”的正方形作为参考图片。从第一正方形指向第二正方形的箭头指示第一正方形在帧间预测中可用作第二正方形的参考图片。如图2中的垂直箭头所指示，同一存取单元的不同视图中的视图分量可用作参考图片。将存取单元的一个视图分量用作同一存取单元的另一视图分量的参考图片可称为视图间预测。

在多视图和3D视频译码的上下文中，“视图分量”可为单个存取单元中的视图的经译码表示。当视图包含经译码纹理和深度表示两者时，视图分量由纹理视图分量和深度视图分量组成。视图分量可包含纹理视图分量和深度视图分量。因此，每一纹理视图分量可具有对应的深度视图分量。一般来说，纹理视图分量包含视频内容(例如，像素值的亮度和色度分量)，且深度视图分量可指示像素在纹理视图分量内的相对深度。因此，每一视图的多个视频图片可称为纹理视图分量。在本发明中，“视图”可指代与同一视图识别符相关联的视图分量序列。

更具体地说，纹理视图分量(即，纹理图片)可为单个存取单元中的视图的纹理的经译码表示。纹理视图分量包含所显示的实际图像内容。举例来说，纹理视图分量可包含亮度(Y)和色度(Cb和Cr)分量。纹理视图可为与同一视图次序索引值相关联的纹理视图分量序列。视图的视图次序索引可指示视图相对于其它视图的相机位置。

本发明的技术涉及通过译码纹理和深度数据来译码3D视频数据。一般来说，术语“纹理”用来描述图像的亮度(即，明度或“亮度”)值，以及图像的色度(即，色彩或“色度”)值。在一些实例中，纹理图像可包含一组亮度数据，以及两组用于蓝色色调(Cb)和红色色调(Cr)的色度数据。在某些色度取样格式中，例如4:2:2或4:2:0，相对亮度数据对色度数据进行下取样。就是说，色度像素的空间分辨率可低于对应的亮度像素的空间分辨率，例如亮度分辨率的二分之一或四分之一。

深度视图分量(即，深度图片)可为单个存取单元中的视图的深度的经译码表示。深度视图可为与视图次序索引的相同值相关联的深度视图分量序列。深度视图分量可指示像素在其对应的纹理视图分量中的相对深度。作为一个实例，深度视图分量为仅包含亮度值的灰度图像。换句话说，深度视图分量可不传达任何图像内容，而是可提供纹理视图分量中的像素的相对深度的度量。

在一些实例中，深度视图分量中的纯白像素指示其在对应纹理视图分量中的对应像素从观看者的角度来看较近，且深度视图分量中的纯黑像素指示其在对应纹理视图分量中的对应像素从观看者的角度来看较远。黑色与白色之间的各种灰色阴影指示不同的深度等级。举例来说，深度视图分量中的深灰像素可指示其在纹理视图分量中的对应像素比深度视图分量中的浅灰像素远。因为仅需要灰度来识别像素的深度，因此深度视图分量无需包含色度分量，因为深度视图分量的色彩值可不用于任何目的。仅使用亮度值(例如，强度值)来识别深度的深度视图分量是出于说明的目的而提供，且不应被视为具有限制性。在其它实例中，可利用其它技术来指示像素在纹理视图分量中的相对深度。

深度数据通常描述对应纹理数据的深度值。举例来说，深度图像可包含一组深度像素，其各自描述对应纹理数据的深度。视频译码器可使用深度数据来确定对应纹理数据的水平视差。因此，接收纹理和深度数据的装置可显示一个视图(例如，左眼视图)的第一纹理图像，且可使用深度数据，通过使第一图像的像素值偏移基于深度值而确定的水平视差值来修改第一纹理图像，以产生另一视图(例如，右眼视图)的第二纹理图像。一般来说，水平视差(或简称“视差”)描述第一视图中的像素到第二视图中的对应像素的水平空间偏移量，其中所述两个像素对应于与两个视图中所表示的相同对象的相同部分。

在其它实例中，可在垂直于图像平面的维度中为像素界定深度数据，使得相对于为所述图像而界定的零视差平面，界定与给定像素相关联的深度。可使用此深度来形成用于显示给定像素的水平视差，使得给定像素针对左眼和右眼不同地显示，取决于给定像素相对于零视差平面的z维度深度值。零视差平面可针对视频序列的不同部分而变化，且相对于零视差平面的深度的量也可变化。位于零视差平面上的像素可针对左眼和右眼类似地界定。位于零视差平面前面的像素针对左眼和右眼在不同位置中显示(例如，具有水平视差)，以便形成像素在垂直于图像平面的z方向上看起来从图像中出来的感觉。位于零视差平面后面的像素可以轻微模糊显示，以产生深度的轻微感觉，或可针对左眼和右眼在不同位置中显示(例如，具有与位于零视差平面前面的像素的水平视差相反的水平视差)。也可使用许多其它技术来传达或定义图像的深度数据。

对于深度视图分量中的每一像素，纹理视图分量中可存在一个或一个以上对应像素。举例来说，如果深度视图分量和纹理视图分量的空间分辨率是相同的，那么深度视图分量中的每一像素对应于纹理视图分量中的一个像素。如果深度视图分量的空间分辨率小于纹理视图分量的空间分辨率，那么深度视图分量中的每一像素对应于纹理视图分量中的多个像素。深度视图分量中的像素的值可指示纹理视图中的对应一个或一个以上像素的相对深度。

在一些实例中，视频编码器20用信号通知所述视图中的每一者的纹理视图分量和对应深度视图分量的视频数据。视频解码器30可利用纹理视图分量和深度视图分量的视频数据两者来解码视图的视频内容以供显示。显示器(例如，显示装置32)接着显示多视图视频以产生3D视频。

3D-AVC可以基本视图的纹理部分可由H.264/AVC解码器完全解码的方式与H.264/AVC兼容。对于3D-AVC中增强的视图分量，视频译码器(例如，视频编码器20或视频解码器30)可译码(例如，编码或解码)在对应纹理视图分量之前的深度视图分量。此外，视频译码器可基于来自深度视图分量的信息来译码纹理视图分量。因此，3D-AVC可使用称为深度优先译码的译码次序。作为对比，在纹理优先译码次序中，在相应的深度视图分量之前，视频译码器可译码每一纹理视图分量。

在一个实例中，可如下示范3D-AVC中的纹理和深度视图分量的译码次序。在此实例中，T0和D0分别指代基本视图的纹理和深度视图分量。此外，在此实例中，Ti和Di分别指代第i个从属视图的纹理和深度视图分量。在此实例中，视频译码器使用三个视图：

●T0、D0、D1、D2、T1、T2：以纹理优先译码次序译码基本视图(T0和D0)，而以深度优先译码次序译码从属视图。当前在3D-AVC的常见测试条件下使用混合译码次序。

●T0、D0、T1、D1、T2、D2：以纹理优先译码次序译码所有视图分量。

如果为Ti启用视图间预测，那么将参考纹理视图界定为包含视图间参考图片的视图，且将对应的深度视图界定为具有与参考纹理视图的视图次序索引相同的视图次序索引的参考深度视图。

在3D-AVC中，视频译码器可针对正常的帧间预测模式执行基于深度的运动向量预测(D-MVP)。运动向量预测可包含视频块的运动向量的预测。在本发明中，术语“正常”帧间预测模式可指代不同于跳过模式或直接模式的帧间预测模式。D-MVP指代使用当前视图的相关联深度地图数据的运动向量预测方法。归因于3D-AVC中所使用的深度优先译码次序，当前视图的相关联深度地图数据在3D-AVC可用。视频译码器可对附属视图中的纹理视图分量应用D-MVP。

在3D-AVC中，运动向量预测使用相邻块。相邻块以以下次序包含当前块的左边块、上方块、右上块以及左上块视频译码器可仅在其它三个相邻块(即，左边块、上方块和右上块)中的一者不含有运动向量，且因此被视为不可用时，才使用左上块中的运动向量。

如果运动向量具有与待预测的当前运动向量不同的类型，那么将来自相邻块的运动向量视为不可用。举例来说，如果来自相邻块的运动向量为视差运动向量，而待预测的运动向量为时间运动向量，那么将来自相邻块的运动向量视为不可用，或反之亦然。运动向量的类型取决于对应的参考索引。就是说，如果参考索引对应于视图间参考图片，那么运动向量未视差运动向量，且类型为“视差”，且如果参考索引对应于时间参考图片(即，与当前图片相同的视图中的参考图片)，那么运动向量为时间运动向量，且类型为“时间”。

在3D-AVC中，如果所述相邻块中的三个可用，那么视频译码器可将所述三个相邻块中的运动向量用于当前块的运动向量预测。在时间帧间预测中，如果所述三个相邻块的运动向量全部具有相同类型，且全部具有相同参考索引，那么视频译码器可直接使用中值滤波器，如H.264/AVC的部分8.4.1.3.1中所述。下文再现H.264/AVC的部分8.4.1.3.1。

用于中值亮度运动向量预测的8.4.1.3.1导出过程

对此过程的输入为：

-相邻分区mbAddrN\mbPartIdxN\subMbPartIdxN(其中N由A、B或C代替)，

-相邻分区的运动向量mvLXN(其中N由A、B或C代替)，

-相邻分区的参考索引refIdxLXN(其中N由A、B或C代替)，

-当前分区的参考索引refIdxLX。

此过程的输出是运动向量预测mvpLX。

如以下有序步骤所指定，导出变量mvpLX：

1.当两个分区mbAddrB\mbPartIdxB\subMbPartIdxB和mbAddrC\mbPartIdxC\subMbPartIdxC不可用，且mbAddrA\mbPartIdxA\subMbPartIdxA可用时，

mvLXB＝mvLXA (8-207)

mvLXC＝mvLXA (8-208)

refIdxLXB＝refIdxLXA (8-209)

refIdxLXC＝refIdxLXA (8-210)

2.取决于参考索引refIdxLXA、refIdxLXB或refIdxLXC，以下适用：

-如果参考索引refIdxLXA、refIdxLXB或refIdxLXC中的一者且仅一者等于当前分区的参考索引refIdxLX，那么以下适用。令refIdxLXN为等于refIdxLX的参考索引，将运动向量mvLXN指派给运动向量预测mvpLX：

mvpLX＝mvLXN (8-211)

-否则，运动向量预测mvpLX的每一分量由运动向量mvLXA、mvLXB和mvLXC的对应向量分量的中值给出：

mvpLX[0]＝中值(mvLXA[0]，mvLXB[0]，mvLXC[0]) (8-212)

mvpLX[1]＝中值(mvLXA[1]，mvLXB[1]，mvLXC[1]) (8-213)

否则(如果三个相邻块的运动向量属于不同类型，且具有不同的参考索引)，视频译码器可进一步导出运动向量。运动向量可用于确定运动向量预测符。当当前参考图片为视图间参考图片时，视频译码器检查运动向量类型，以及其在相邻块位置中的参考索引。如果运动向量全部具有相同类型和相同参考索引，那么视频译码器应用中值滤波器。如果小于三个相邻块可用，那么视频译码器进一步为不可用块导出运动向量，使得三个相邻块变得可用(即，使得视频译码器识别具有可用视差运动向量的三个相邻块)。

举例来说，如果空间相邻块不含有可用的时间运动向量，那么视频译码器可预测当前块的时间运动向量。视频译码器可通过所导出的视差向量来识别参考视图图片中的当前块的参考块，如本发明的与3D-AVC中的基于块的视图综合预测有关的部分中所描述。如果含有参考块的中心位置的块的运动向量为时间运动向量，那么视频译码器为当前空间相邻块导出含有参考块的中心位置的块的运动向量。如果时间运动向量被视为不可用(例如，参考块为帧内块，或时间运动向量不指向与当前参考图片对准的参考视图中的参考图片)，那么视频译码器将所导出的运动向量设定为零。

如果空间相邻块不含有可用的视差运动向量，且将为当前块预测视差运动向量，那么视频译码器可将为当前块导出的视差向量转换为视差运动向量，如本发明的与3D-AVC中的基于块的视图综合预测有关的部分中所描述。

在3D-AVC中，D-MVP方法并入到H.264/AVC中的常规基于中值函数的运动向量预测中。因此，当空间相邻块中的运动向量可用(或最初不可用，但通过上文所提到的方法变为可用)时，视频译码器可仍将中值函数应用于三个运动向量。然而，所有所述三个运动向量均应属于同一类型。

在许多例子中，视频译码器当前正译码的块(即，当前块)的运动向量类似于视图间参考图片中的对应块的运动向量。因此，在一些实例中，视频译码器可使用对应块的运动向量作为当前块的运动向量的预测符。术语“视图间运动预测”可指代将视图间参考图片中的对应块的运动信息(例如，运动向量)用作视频译码器当前正译码的块的运动信息的预测符。

类似地，视频译码器当前正译码的块的残余数据可类似于视图间参考图片中的对应块的残余数据。因此，在一些实例中，视频译码器可使用对应块的残余数据作为当前块的残余数据的预测符。术语“视图间残余预测”可指代将视图间参考图片中的对应块的残余数据用作视频译码器当前正译码的块的残余数据的预测符。

在3D-AVC中，视频译码器可对使用跳过和直接模式译码的块执行视图间运动预测。当以跳过模式译码视频块(例如MB或MB分区)时，针对所述视频块，不用信号通知任何运动数据或残余数据。举例来说，在H.264/AVC中，跳过的MB为除了MB将解码为“跳过”的指示，不译码任何数据的MB。当使用直接模式来译码视频块时，针对视频块，不译码运动向量。举例来说，在H.264/AVC中，直接预测为针对其不解码运动向量的块(即，MxN样本阵列)的帧间预测。当使用直接模式来译码视频块时，可针对视频块，用信号通知残余数据。换句话说，当使用直接模式来译码视频块时，视频编码器可在位流中包含视频解码器可从中确定所述块的残余数据的数据(例如，语法元素)，但不包含视频解码器可从中确定所述块的运动信息的数据(例如，语法元素)。类似地，当使用直接模式来译码视频块时，视频解码器可从位流获得视频解码器可从中确定所述块的残余数据的数据(例如，语法元素)，但并不从位流获得视频解码器从中确定所述块的运动信息的数据。

如H.264/AVC标准的部分7.3.5和7.4.5中所描述，宏块的macroblock_layer语法结构可包含为宏块指定宏块类型的mb_type语法元素。mb_type语法元素的语义学取决于含有宏块的切片的切片类型。如果切片为P切片，那么宏块类型包含P_Skip类型。当宏块的宏块类型为P_Skip时，针对位流中的宏块不存在进一步的数据。如果切片为B切片，宏块类型包含B_Skip模式和B_Direct_16x16模式(即，B-16x16直接模式)。当宏块的宏块类型为B_Skip，针对位流中的宏块不存在进一步的数据。当宏块的宏块类型为B_Direct_16x16，针对位流中的宏块，不存在运动向量差或参考索引。此外，在直接模式预测的H.264/AVC规范的分条款8.4.1中，当宏块的宏块类型为B_Direct_16x16，在导出过程中将函数MbPartWidth(B_Direct_16x16)和MbPartHeight(B_Direct_16x16)用于运动向量和参考帧索引。

此外，macroblock_layer语法结构可包含一个或一个以上sub_mb_pred语法结构。sub_mb_pred语法结构可包含指定子宏块类型的四个sub_mb_type语法元素。子宏块类型包含B_Direct_8x8模式(即，B-8x8直接模式)。当子宏块的子宏块类型为B_Direct_8x8时，针对位流中的子宏块，不存在运动向量差或参考索引。在直接模式预测的H.264/AVC标准的分条款8.4.1中，在导出过程中，将函数SubMbPartWidth(B_Direct_8x8)和SubMbPartHeight(B_Direct_8x8)用于运动向量和参考帧索引。

明确地说，在3D-AVC中，视频译码器可在P_skip、B_skip、B_Direct_16x16和B_8x8_Direct模式下执行视图间运动预测。在这些模式下，视频译码器可使用视差向量来识别来自相邻块或来自从与当前MB相关联的对应深度块导出的视差向量的参考块。在本发明中别处详述经由深度地图的视差向量导出。

图3是说明相对于当前宏块的空间邻域的实例的概念图。视频译码器检查三个空间相邻块的可用性(即，所述空间相邻块是否具有视差运动向量)。将所述三个空间相邻块界定为：左边4x4块(A)、上方4x4块(B)，右上4x4块(C)。在一些实例中，当C不可用时，C由左上4x4块(D)代替，其在图3中描绘。如果仅一个空间相邻块可用(即，所述空间相邻块含有视差运动向量)，那么此视差运动向量变为视差向量。否则，(即，所述空间相邻块中无一者含有视差运动向量，或所述空间相邻块中的至少两个含有视差运动向量)，那么视频译码器使用从与当前MB相关联的深度块导出的视差向量，作为不含有视差运动向量的块的视差运动向量。在本发明中别处详述3D-AVC中的基于块的视图综合。后来，视频译码器应用中值滤波器来获得视差向量。

视频译码器可使用从以上过程确定的视差向量来确定参考视图图片中的参考块。在参考块内，如果可用，那么将运动向量(即视图间运动向量)设定为等于当前块的运动向量，且相应地导出当前块的参考索引。

如果视图间运动向量不可用(即，基本视图中由视差向量指向的参考块经帧内译码)，那么视频译码器使用常规的基于中值的运动向量预测方案。在此情况下，视频译码器首先导出参考索引，且视频译码器使用本发明的与3D-AVC中针对正常帧间模式的基于深度的运动向量预测(D-MVP)有关的部分中所描述的D-MVP方案，来为当前MB导出运动向量预测。

在3D-AVC中，视频译码器可经由深度地图执行视差向量导出。就是说，视频译码器如何导出视差向量可随着每一低级译码工具而变化，但通常，由于深度优先译码次序，视频译码器使用附属视图的深度数据来进行纹理视图分量译码。3D-AVC中的基于循环中块的视图综合视图间预测(BVSP)和基于深度的运动向量预测(D-MVP)为主要使用从附属帧中的深度地图的深度值转换的视差向量的低级译码工具。在3D-AVC中，视频译码器将从实际深度地图值到距特定视图的视差的转换过程的结果存储在具有相机参数的查找表中。

在3D-AVC的至少一些版本中，视频译码器可使用来自对应深度块的四个隅角的最大深度来执行视差向量导出。举例来说，为了导出深度值，视频译码器首先识别深度视图分量的参考深度块。参考深度块与当前MB/分区/子块位于同一位置/对应于当前MB/分区/子块。视频译码器存取所识别的参考深度块的四个隅角。隅角样本对应于左上、右上、左下和右下深度样本。视频译码器接着通过取四个隅角深度样本的最大值来计算深度值。最后，视频译码器可使用所计算的深度值，从查找表推断视差向量的水平分量，且将视差向量的垂直分量设定为0。

在此方法中，当将MB分为若干分区或子块时，所存取的深度样本的数目增加。举例来说，当将16x16MB分区成四个8x8分区时，待存取的深度样本的数目为16。当将16x16MB分区成十六个4x4分区时，待存取的深度样本的数目为64。

在3D-AVC的一些版本中，视频译码器可使用基于相邻块的视差向量导出(NBDV)导出过程来导出视差向量。在其中视频译码器使用NBDV导出过程的至少一些实例中，视频译码器可执行纹理优先译码。举例来说，视频译码器可在3D-AVC中首先译码视图分量的纹理分量。作为所述译码的一部分，视频译码器可确定纹理分量中的块的视差向量，而不译码视图分量的深度分量。

如本发明的其它实例中所述，视频译码器可使用视差向量作为两个视图之间的视差的估计量。因为相邻块在视频译码中几乎共享相同的运动/视差信息，所以视频译码器可使用与当前块相邻的块(即，相邻块)中的运动向量信息，作为当前块的运动向量信息的良好预测符。遵循此理念，视频译码器可执行NBDV导出过程，其使用相邻视差信息来估计不同视图中的视差向量。

关于3D-AVC的NBDV导出过程界定若干空间和时间相邻块。换句话说，利用两组相邻块。一组来自空间相邻块，且另一组来自时间相邻块。视频译码器可以当前块与候选块之间的相关的优先级决定的预定义次序，检查空间和时间相邻块(即，候选块)中的每一者。一旦视频译码器在候选块中找到视差运动向量(即，指向视图间参考图片的运动向量)，视频译码器就将视差运动向量转换成视差向量。

如2013年2月26日申请的第61/769,716号美国临时申请案(下文称“'716申请案”)、2013年2月27日申请的第61/770,263号美国临时申请案(下文称“'263申请案”)、2013年3月4日申请的第61/772,321号美国临时申请案(下文称“'321申请案”)、2013年3月19日申请的第61/803,384号美国临时申请案(下文称“'384申请案”)以及2013年4月24日申请的第61/815,656号美国临时申请案(下文称“'656申请案”)(其各自的内容以引用的方式并入本文中)中所述，视频译码器可使用MB级NBDV导出过程来为当前MB导出视差向量，且可进一步使用视差向量来进行运动向量预测。一旦视频译码器识别到视差运动向量(即，一旦视频译码器识别到时间或空间相邻块中使用视图间参考图片的一者)，就返回视差运动向量作为当前MB的视差向量。

在2013年2月27日申请的第61/770,268号美国临时申请案(下文称“'268申请案”)(其整个内容以引用的方式并入本文中)中，视频译码器可通过存取对应的深度块来进一步细化从NBDV导出过程导出的视差向量。举例来说，视频译码器可存取(由视差向量识别的)参考视图的深度块的四个隅角的深度值，从所述深度的四个隅角的深度值中选择最大深度值，并将所述最大深度值转换成视差向量。

在'268申请案中，以特定方式针对每一4x4或8x8块利用BVSP，且使用对应的深度块来产生视差运动向量。举例来说，对于每一MB分区，如果以BVSP模式译码所述MB分区(即，从合成参考分量预测)，将针对当前MB分区的每一子区导出一个经细化视差向量。所述子区的大小可由K x K表示(其中K可为8)，当前MB分区内的一个子区相对于当前图片的左上位置可由(x,y)表示，来自NBDV导出过程的所导出的视差向量或在对当前MB执行NBDV导出过程之后的经更新的视差向量可由(DV[0],DV[1])表示，其中DV[0]和DV[1]表示视差向量的水平和垂直分量。从参考深度视图中的四个隅角像素选择一个深度值(D)：

D＝max(D0,D1,D2,D3)

其中功能max(·)返回Di(i为0到3)的最大值，且Di表示位于以下位置处的第i个像素值：

i＝0:((x+(DV[0]>>P))>>reduced_resolution_flage,(y+(DV[1]>>P))>>reduced_resolution_flage)

i＝1:((x+(DV[0]>>P)+K-1)>>reduced_resolution_flage,(y+(DV[1]>>P))>>reduced_resolution_flage)

i＝2:((x+(DV[0]>>P))>>reduced_resolution_flage,(y+(DV[1]>>P)+K-1)>>reduced_resolution_flage)

i＝1:((x+(DV[0]>>P)+K-1)>>reduced_resolution_flage,(y+(DV[1]>>P)+K-1)>>reduced_resolution_flage)

在以上等式中，等于1的reduced_resolution_flage指定视图分量对的深度视图分量具有比相同视图分量对的纹理视图分量的亮度分量低的空间分辨率，且深度视图分量的宽度和高度两者为所有纹理视图分量的宽度和高度的一半。等于0的reduced_resolution_flage指定当存在深度视图分量和纹理视图分量两者时，其具有相同的空间分辨率。P表示当视差向量处于四分之一像素精度时等于2，二分之一像素精度时等于1，且整数像素精度时等于0的视差向量的精度。

或者，可使用max(D0，D3)来选择深度值。在另一替代方案中，可使用参考深度视图中位于同一位置的MB内的其它像素。接着将经细化的视差向量的水平分量从当前MB区内的子区的选定深度值转换。经细化的视差向量的垂直分量总是设定为0。在另一替代方案中，可将经细化视差向量的垂直分量设定为从NBDV导出的视差向量的垂直分量。在一些实例中，K可等于4、2或1。

如'268申请案中进一步描述，类似于视差向量导出过程，视频译码器可使用(由经细化视差向量所识别的)深度块的四个隅角，且视频译码器可选择最大深度值来转换为视差运动向量。举例来说，如'268申请案中所描述，子区的大小可由K x K表示(其中K可为8)，当前MB分区内的一个子区相对于当前图片的左上位置可由(x,y)表示，在不使用当前MB的深度信息的情况下，从NBDV导出的视差向量可由(DV[0]，DV[1])表示，其中DV[0]和DV[1]表示视差向量的水平和垂直分量。一个深度值(D)是选自参考深度视图中的四个隅角像素：

D＝max(D0,D1,D2,D3)

其中功能max(·)返回Di(i为0到3)的最大值，且Di表示位于以下位置处的第i个像素值：

i＝0:((x+(DV[0]>>P))>>reduced_resolution_flage,(y+(DV[1]>>P))>>reduced_resolution_flage

i＝1:((x+(DV[0]>>P)+K-1)>>reduced_resolution_flage,(y+(DV[1]>>P))>>reduced_resolution_flage)

i＝2:((x+(DV[0]>>P))>>reduced_resolution_flage,(y+(DV[1]>>P)+K-1)>>reduced_resolution_flage)

I＝1:((x+(DV[0]>>P)+K-1)>>reduced_resolution_flage,(y+(DV[1]>>P)+K-1)>>reduced_resolution_flage)

此处，等于1的reduced_resolution_flage指定视图分量对的深度视图分量具有比相同视图分量对的纹理视图分量的亮度分量低的空间分辨率，且深度视图分量的宽度和高度两者为所有纹理视图分量的宽度和高度的一半。等于0的reduced_resolution_flage指定当存在深度视图分量和纹理视图分量两者时，其具有相同的空间分辨率。P表示当视差向量处于四分之一像素精度时等于2，二分之一像素精度时等于1，且整数像素精度时等于0的视差向量的精度。在替代实例中，可使用max(D0，D3)来选择深度值。在另一实例中，可使用参考深度视图中位于同一位置的MB内的其它像素。接着可将经更新的视差向量的水平分量从当前MB区内的子区的选定深度值转换。在此实例中，经更新的视差向量的垂直分量可总是设定为0。在另一实例中，经更新的视差向量的垂直分量可设定为从NBDV导出的视差向量的垂直分量。或者，K可等于8、4或2。经更新的视差向量可用于当前MB内的所有分区。

为了简单，'716申请案、'263申请案以及'321申请案中的视差向量导出过程可表示为NBDV导出过程。具有细化的视差向量导出过程，例如'268申请案中所描述的过程，可表示为NBDV-R。因此，当视频译码器执行NBDV-R过程时，且当空间相邻块或时间相邻块使用视图间参考图片时，视频译码器可返回空间相邻块或时间相邻块的视差运动向量作为视差向量。此外，当视频译码器执行NBDV-R过程时，视频译码器可通过存取对应的深度块来细化视差向量。举例来说，当空间相邻块或时间相邻块使用视图间参考图片进行帧间预测时，视频译码器可返回空间相邻块或时间相邻块的视差运动向量作为当前块的视差向量。此外，当视频译码器执行NBDV-R过程时，视频译码器可通过存取对应的深度块来细化当前块的视差向量。

苏(Su)等人的“3DV-CE1.a:Block-based View Synthesis Prediction for 3DV-ATM(3DV-CE1.a：用于3DV-ATM的基于块的视图综合预测)”，ITU-T SG 16WP 3和ISO/IECJTC 1/SC29/WG 11的3D视频译码扩展开发联合合作团队，第七次会议，斯德哥尔摩，瑞典，2012年7月16日到20日，文献JCT3V-A0107，下文称为“JCT3V-A0107”中提出了基于块的视图综合预测(BVSP)。JCT3V-A0107可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/1_Stockholm/wg11/JCT3V-A0107-v1.zip获得。

在BVSP中，可利用以下译码次序：(T0、D0、D1、T1)。纹理分量T0在基本视图中，且T1在用视图综合图片(VSP)译码的从属视图中。深度地图分量D0和D1为与T0和T1相关联的相应深度地图。

图4是说明基于向后翘曲的基于块的视图综合预测的实例的概念图。如图4中所示出，在从属视图T1中，从由基本视图T0的样本值组成的参考区域R(Cb)预测当前经译码块Cb的样本值。经译码样本与参考样本之间的的位移向量40表示为来自与当前译码的纹理邦本相关联的深度地图值的T1与T0之间的所导出的视差向量。

在一些实例中，从深度值到视差向量的转换过程是用以下等式来执行：

在图上的等式(1)和(2)中，Cb为当前正译码的块，j和i为Cb内的局部空间坐标，d(Cb(j,i))为视图1的深度地图图像中的深度地图值，Z为对象的实际深度值，且D为导出到特定视图0的视差向量的水平分量。参数f、b、Znear和Zfar是指定相机设置的参数。明确地说，所使用的焦距(f)、视图1与视图0之间的相机间距(b)以及深度范围(Znear,Zfar)表示深度地图转换的参数。在此实例中，所导出的视差向量的垂直分量总是设定为等于0。在3D-AVC的一些实施方案(例如，3DV-ATM实施方案)中，已针对每个深度地图值(0…255)预计算了等式(1)和(2)，并存储为查找表。

存在关于BVSP的若干实施方案问题。举例来说，一个实施方案问题涉及BVSP块的指示。在此实例中，使用MB等级处的一个旗标来用信号通知是否以常规跳过/直接模式来译码当前MB，或是否以跳过/直接模式来译码当前MB，但从合成参考组件预测当前MB。此外，在此实例中，对于每一MB分区(从16x16到8x8)，使用每一参考图片列表中的参考索引来用信号通知参考图片。当使用BVSP模式来译码分区时，不用信号通知运动向量差异，因为针对经BVSP译码的块，不存在运动向量。当所述旗标或所述参考索引指示合成参考分量时，视频译码器可调用一个分区的预测，如以下描述BVSP的段落中所描述。

与BVSP有关的另一实例实施方案问题涉及预测导出过程。在此实例中，对于其大小由NxM表示的每一MB分区(其中N或M将为8或16)，如果以BVSP模式来译码MB分区，那么视频译码器进一步将所述MB分区分割成大小等于KxK(其中K可为4x4、2x2或1x1)的若干子区。对于每一子区，视频译码器可导出分开导出的视差向量，且可从由视图间参考图片中的所导出的视差向量定位的一个块预测每一子区，例如图4中的R(cb)。在一些常见测试条件下，将K界定为4。在此实例中，不为经BVSP译码的块存储所导出的视差向量，因为不存在使用此类向量的译码工具。

与BVSP有关的另一实例实施方案问题涉及视差向量导出过程。在此实例中，当应用深度优先译码次序时，视频译码器通过转换来自对应的非基本深度视图中的对应深度块的深度值来导出视差向量，如图4中所示。视频译码器通过首先存取来自于KxK子区位于同一位置/对应于KxK子区的深度块的四个隅角深度样本，且接着通过取所述四个所存取的深度样本的最大值，来计算单个深度值。视频译码器稍后使用等式(1)和(2)将所计算的深度值转换成视差向量。当视频译码器应用纹理第一译码次序时，停用BVSP模式，因为当解码非基本纹理视图时，对应的非基本深度视图不可用。

邦(Bang)等人的“3D-CE2.a results on simplification on the disparityvector derivation(关于视差向量导出上的简化的3D-CE2.a结果)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作团队，第3次会议，日内瓦，瑞士，2013年1月17日到23日，文献JCT3V-C0122，下文称为“JCT3V-C0122”中提出简化的视差向量导出方法。在JCT3V-C0122中所提出的方法中，当以不是跳过或直接的帧间预测模式来译码当前MB时，具有当前MB的所有MB分区/子块共享从当前MB的相关联深度块的右下深度样本计算的所导出的视差向量。然而，当以跳过或直接模式译码当前MB时，视频译码器可使用不同的视差向量导出过程(即，存取参考深度块的四个隅角样本)。此外，在BVSP模式下，仍要求视频译码器存取MB分区的每一KxK子区的参考深度块的四个隅角样本。

陈(Chen)等人的“3D-CE2.a related:MB-level depth-to-DV conversion inATM(3D-CE2.a相关：ATM中的MB等级深度到DV转换)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作团队，第3次会议，日内瓦，瑞士，2013年1月17日到23日，文献JCT3V-C0134，下文称为“JCT3V-C0134”提出当以帧间模式译码时，同一MB内的所有分区块，所述视差向量是从来自与当前MB位于同一位置/对应于当前MB的同一参考深度块的四个隅角样本的最大深度值导出。然而，对于BVSP模式，仍需要视频译码器来存取MB分区的每一KxK子区的参考深度块的四个隅角样本。

H.264/AVC中的宏块的概念在HEVC中不存在。相反，基于一般四叉树方案，用非常灵活的分层结构来代替宏块。在此方案内，界定四种类型的块，即，译码树单元(CTU)、译码单元(CU)、预测单元(PU)以及变换单元(TU)。CTU也可称为“树块”或“最大译码单元”(LCU)。所述CTU中的每一者可包括亮度样本的译码树块，色度样本的两个对应译码树块，以及用于译码译码树块的样本的语法结构。在具有三个单独色彩平面的单色图片中，CTU可包括单个译码树块，以及用于译码树块的样本的语法结构。译码树块可为样本的NxN块。

在HEVC中，CU为区分割的基本单元。CU的概念类似于宏块的概念，但CU不限于最大大小，且CU允许递归分割成四个均等大小的CU，以改进内容适应性。PU是帧间/帧内预测的基本单元。在一些实例中，PU可在单个PU中含有多个任意形状的分区，以有效地译码不规则图像图案。TU是变换的基本单元。CU的TU可独立于CU的PU而定义。然而，TU的大小限于TU所属的CU。将块结构分成CU、PU和TU可允许其各自根据其角色而优化，这可导致改进的译码效率。

在HEVC中，视频编码器20可使用合并模式用信号通知PU的运动信息。PU的运动信息可包含PU的运动向量以及PU的参考索引。当视频编码器20在HEVC中使用合并模式来用信号通知当前PU的运动信息时，视频编码器20产生合并候选者列表。合并候选者列表包含一组合并候选者，其指示空间上或时间上与当前PU相邻的PU的运动信息。此外，在合并模式下，视频编码器20可从合并候选者列表选择合并候选者，且可使用选定合并候选者所指示的运动信息作为当前PU的运动信息。视频编码器20可用信号通知选定合并候选者在合并候选者列表中的位置。视频解码器30可从位流获得到候选者列表中的索引(即，候选者列表索引)。另外，视频解码器30可产生相同合并候选者列表，且可基于选定合并候选者的位置的指示，确定选定合并候选者。视频解码器30可接着使用选定合并候选者的运动信息来产生当前PU的预测块。

当前正开发HEVC的3D视频译码扩展(即，3D-HEVC)。泰克(Tech)等人的“3D-HEVCTest Model Description draft 2(3D-HEVC测试模型描述草案2)”，JCT3V-B1005，ITU-TSG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作团队，第2次会议：上海，中国，2012年10月，下文称为“JCT3V-B1005”，提供3D-HEVC的参考软件描述以及工作草案。

类似于3D-AVC，3D-HEVC也使用视差向量的概念。此外，类似于3D-AVC的一些版本，实施3D-HEVC的视频译码器可执行NBDV导出过程以导出视差向量。3D-HEVC首先采用以下文献中所提出的NBDV导出过程：张(Zhang)等人的“3D-CE5.h:Disparity vector generationresults(3D-CE5.h：视差向量产生结果)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合合作团队，第1次会议：斯德哥尔摩，瑞典，2012年7月16日到20日，文献号JCT3V-A0097(下文称为“JCT3V-A0097”)。在以下文献中，隐式视差向量与简化的NBDV包含在一起：宋(Sung)等人的“3D-CE5.h:Simplification of disparity vectorderivation for HEVC-based 3D video coding(3D-CE5.h：基于HEVC的3D视频译码的视差向量导出的简化)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作团队，第1次会议，斯德哥尔摩，瑞典，2012年7月16日到20日，文献号JCTVC-A0126(下文称为“JCTVC-A0126”)。此外，通过去除存储在经解码图片缓冲器中的隐式视差向量，同时还以随机存取点(RAP)图片选择提供改进的译码增益，来进一步简化3D-HEVC中的NBDV导出过程，如以下文献中所描述，康(Kang)等人的“3D-CE5.h related：Improvements for disparity vector derivation(3D-CE5.h有关：对视差向量导出的改进)”ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作团队，第2次会议：上海，中国，2012年10月13号到19号，文献号JCT3V-B0047(下文称为“JCT3V-B0047”)。

类似于3D-AVC的NBDV导出过程，当在3D-HEVC中执行NBDV导出过程时，视频译码器可检查空间相邻块和时间相邻块。在3D-HEVC的一些版本中，视频译码器在NBDV导出过程中使用五个空间相邻块。图5是说明3D-HEVC中相对于当前PU 50的空间运动向量邻域的实例的概念图。空间相邻块是当前PU 50的坐下、左、右上、上和左上块，如A₀、A₁、B₀、B₁或B₂所表示，如图5中所示。3D-HEVC中的NBDV导出过程中所使用的五个空间相邻块与HEVC中的运动向量预测的合并模式中所使用的相同。因此，在3D-HEVC中，视频译码器在NBDV导出过程期间，可能不必要执行额外存储器存取来检索关于空间相邻块的信息。

当视频译码器在3D-HEVC中的NBDV导出过程期间检查时间相邻块时，视频译码器可首先执行构造过程以产生候选图片列表。候选图片列表可包含一个或一个以上候选图片。当产生候选图片列表时，视频译码器可将来自当前视图(即，含有当前图片的视图)的至多达两个参考图片视为候选图片。举例来说，当产生候选图片列表时，视频译码器可首先将所谓的“位于同一位置的参考图片”插入候选图片列表中。视频译码器可基于切片标头中的语法元素(例如，collocated_from_l0_flag语法元素和collocated_ref_idx语法元素)的值来识别位于同一位置的参考图片。视频译码器可接着以参考索引的升序，将额外候选图片插入候选图片列表中。当两个参考图片列表(例如，RefPicList0和RefPicList1)中具有相同参考索引的参考图片可用时，与位于同一位置的图片处于相同参考图片列表中的参考图片在其它参考图片之前。对于候选图片列表中的每一候选图片，视频译码器可确定用于导出时间相邻块的三个候选区。

当以视图间运动预测来译码块时，需要导出视差向量来选择不同视图中的对应块。术语“隐式视差向量”(即，“IDV”或“所导出的视差向量”)可指代为块而导出的视差向量，但不用于所述块的视图间运动预测。因此，即使以时间运动预测来译码(即，使用指示在与当前图片不同的时刻在参考图片中的位置的运动向量来译码)所述块，也不放弃将所导出的视差向量用于译码以下块的目的。

在3D-HEVC(例如，3D-HTM6.0)的NBDV导出过程的一些设计中，视频译码器检查时间相邻块中的视差运动向量、空间相邻块中的视差运动向量，且接着依次检查IDV。一旦视频译码器找到视差运动向量或IDV，视频译码器就可终止NBDV导出过程。

此外，在3D-HEVC的一些版本中，当视频译码器从NBDV导出过程导出视差向量时，视频译码器可通过从参考视图的深度地图检索深度数据，来进一步细化视差向量。在一些实例中，细化过程可包含两个步骤。在第一步骤中，视频译码器可通过先前经译码参考深度视图(例如基础视图)中的所导出的视差向量来定位对应的深度块。对应深度块的大小与当前PU的大小相同。在第二步骤中，视频译码器可从对应深度块的四个隅角像素中选择一个深度值，且可将选定的深度值转换为视差向量的水平分量。视频译码器可将视差向量的垂直分量设定为0。

在3D-HEVC的一些版本中，视频译码器将经细化视差向量用于视图间运动预测，而视频译码器将未经细化的视差向量用于视图间残余预测。另外，如果以向后VSP模式来译码经细化视差向量，那么视频译码器可存储经细化视差向量存储为一个PU的运动向量。

田(Tian)等人的“CE1.h:Backward View Synthesis Prediction usingNeighboring Blocks(CE1.h：使用相邻块的向后视图综合预测)”，ITU-T SG 16WP 3和ISO/IEC JCT 1/SC 29/WG 11的3D视频译码扩展开发联合合作团队，第3次会议，日内瓦，瑞士，2013年1月16日到23日，(下文称为“JCT3V-C0152”)，描述向后翘曲VSP方法。在第三次JCT-3V会议期间，JCT3V-C0152中所提出的向后翘曲VSP方法并采用到3D-HEVC中。JCT3V-C0152的向后翘曲VSP的基本理念与3D-AVC中的基于块的VSP相同。这些两种技术都使用向后翘曲和基于块的VSP来避免发射运动向量差，且使用较精确的运动向量。实施方案细节归因于不同平台而不同。在以下段落中，还使用术语“BVSP”来指示3D-HEVC中的向后翘曲VSP方法。

在3D-HEVC的一些版本中，在常见测试条件下应用纹理第一译码。因此，当解码非基础纹理视图时，对应的非基础深度视图不可用。因此，视频译码器可估计深度信息，且可使用所估计的深度信息来执行BVSP。为了在3D-HEVC中估计块的深度信息，已提出视频译码器将首先从相邻块导出视差向量，且接着使用所导出的视差向量来从参考视图获得深度块。

如上文所描述，3D-HEVC的一些版本(例如，HTM5.1测试模型)包含NBDV导出过程。令(dv_x，dv_y)表示从NBDV导出过程识别的视差向量，且令当前块位置为(block_x，block_y)。在一些提议中，视频译码器取参考视图的深度图像中的(block_x+dv_x，block_y+dv_y)处的深度块。在此类提议中，所取的深度块具有与当前PU相同的大小。视频译码器使用所取的深度块来对当前PU执行向后翘曲。

图6是说明从参考视图导出深度块以执行BVSP预测的概念图。在图6的实例中，视频译码器正译码当前纹理图片60。将当前纹理图片60标记为“附属纹理图片”，因为当前纹理图片60取决于合成的参考纹理图片62换句话说，视频译码器可需要合成参考纹理图片62，以便解码当前纹理图片60。参考纹理图片62和当前纹理图片60在相同的存取单元中，但在不同视图中。

为了合成参考纹理图片62，视频译码器可处理当前纹理图片60的块(即，视频单元)。在图6的实例中，视频译码器正处理当前块64。当视频译码器处理当前块64时，视频译码器可执行NBDV过程，以导出当前块64的视差向量。举例来说，在图6的实例中，视频译码器识别与当前块64相邻的块68的视差向量66。视差向量66的识别展示为图6的步骤1。此外，在图6的实例中，视频译码器基于视差向量66，确定当前块64的视差向量69。举例来说，视差向量69可为视差向量66的复本。复制视差向量66展示为图6的步骤2。

视频译码器可基于当前块64的视差向量69识别参考深度图片72中的参考块70。参考深度图片72、当前纹理图片60和参考纹理图片62可各自在相同存取单元中。参考深度图片72和参考纹理图片62可在相同视图中。视频译码器可基于当前块64的纹理样本值和参考块70的深度样本值，确定参考纹理图片62的纹理样本值。确定纹理样本值的过程可称为向后翘曲。3D-HEVC测试模型3的部分H.8.5.2.2.7描述向后翘曲的过程。向后翘曲展示为图6的步骤3。以此方式，图6说明如何定位来自参考视图的深度块且接着用于BVSP预测的三个步骤。

在3D-HEVC中，如果依序启用BVSP，那么改变用于视图间运动预测的NBDV导出过程，且以粗斜体展示差异：

-对于时间相邻块中的每一者，如果时间相邻块使用视差运动向量，那么返回所述视差运动向量作为视差向量，且用本发明中别处所述的示例性方法中的一者或一者以上来进一步细化所述视差向量。

-对于空间相邻块中的每一者，以下适用：

○对于参考图片列表0或参考图片列表1中的每一者，以下适用：

■如果空间相邻块使用视差运动向量，那么返回视差运动向量作为视差向量，且用本发明中别处所描述的一个或一个以上示例性方法来进一步细化所述视差向量。

■否则，如果空间相邻块使用BVSP模式，那么返回相关联的运动向量作为视差向量。以与本发明中别处所描述的一个或一个以上示例性方法中所述的方式类似的方式来进一步细化视差向量。然而，从对应深度块的不同于四个隅角像素的所有像素选择最大深度值。

-对于空间相邻块中的每一者，如果空间相邻块使用IDV，那么返回IDV作为视差向量，且用本发明中别处所描述的一个或一个以上示例性方法中所描述方法来进一步细化视差向量。

在3D-HEVC中，将引入的BVSP模式视为特殊经帧间译码(即，帧间预测)模式，且视频译码器应维持旗标来指示BVSP模式针对每一PU的用法。然而，不是在位流中用信号通知所述旗标，而是视频译码器可将新的合并候选者(即，BVSP合并候选者)添加到合并候选者列表，且所述旗标取决于经解码的合并候选者索引是否对应于BVSP合并候选者。在一些提议中，如下定义BVSP合并候选者：

●每一参考图片列表的参考图片索引：-1

●每一参考图片列表的运动向量：经细化视差向量

BVSP合并候选者的插入位置可取决于空间相邻块。举例来说，如果以BVSP模式来译码五个空间相邻块(A₀、A₁、B₀、B₁或B₂)(即，相邻块的所维持旗标等于1)，那么视频译码器可将BVSP合并候选者视为对应的空间合并候选者，且可将BVSP合并候选者插入合并候选者列表中。视频译码器可仅将BVSP合并候选者插入到合并候选者列表中一次。否则(即，不以BVSP模式来译码五个空间相邻块中的任何一者)，那么视频译码器可将BVSP合并候选者插入到合并候选者列表，正好在时间合并候选者之前。在组合式双向预测合并候选者导出过程期间，视频译码器可检查额外条件，以避免包含BVSP合并候选者。

此外，在3D-HEVC的至少一些版本中，视频译码器可执行预测导出过程。举例来说，对于每一经BVSP译码的PU(经BVSP译码的PU的大小由NxM表示)，视频译码器可将经BVSP译码的PU进一步分割成具有等于KxK的大小的若干子区(其中K可为4或2)。对于每一子区，视频译码器可导出单独的视差运动向量，且视频译码器可从视图间参考图片中的所导出的视差运动向量所定位的一个块预测每一子区。换句话说，视频译码器可将用于经BVSP译码的PU的运动补偿单元的大小设定为KxK。在一些常见测试条件下，K设定为4。

对于以BVSP模式译码的一个PU内的每一子区(即，4x4块)，视频译码器可首先定位上文所提到的参考深度视图中具有经细化视差向量的对应4x4深度块。其次，视频译码器可选择对应深度块中的十六个深度像素的最大值。第三，视频译码器可将所述最大值转换成视差运动向量的水平分量。视频译码器可将视差运动向量的垂直分量设定为0。

在3D-HEVC中，当应用纹理优先译码次序时，对于每一PU，可在考虑/不考虑参考深度视图中的深度值的情况下，从NBDV导出视差向量。在获得视差向量之后，如果以BVSP模式译码PU，那么视频译码器可进一步细化一个PU的每一4x4子区的视差向量。在一些实例中，细化过程包含两个步骤。在第一步骤中，视频译码器可从参考深度视图中的由所导出的视差向量定位的4x4深度块选择一个最大深度值。在第二步骤中，视频译码器可将深度值转换为经细化视差向量的水平分量，同时使经细化视差向量的垂直分量保持为0。在视频译码器细化一个PU的一个4x4子区的视差向量之后，视频译码器可使用经细化的视差向量来定位参考纹理视图中的块以用于运动补偿。

在一些情况下，第61/769,716号、第61/770,263号、第61/772,321号和第61/770,268号美国临时申请案中描述的NBDV导出过程，在应用于3D-AVC的跳过/直接模式时，可能存在若干问题。举例来说，以跳过/直接模式来译码的块使用作为NBDV结果的函数的视差向量(即，从NBDV导出过程得出的视差向量)，不论是否通过存取深度和空间相邻块来细化。换句话说，首先调用NBDV来导出视差运动向量，其进一步连同空间邻域中可用的视差运动向量来考虑，以获得最终视差向量来存取参考视图。因此，最终可针对不同模式使用不一致的视差向量。在另一实例中，NBDV过程本身以及跳过/直接模式下的过程两者需要检查空间相邻块以找出视差运动向量。此事实可导致不必要地检查空间相邻块多次。在另一实例中，基于多个视差(运动)向量的中值滤波过程来计算使用跳过/直接模式的块的最终视差向量，这可仅带来边缘译码益处，但增加了某些复杂性。

根据本发明中所描述的技术，视频译码器(例如，视频编码器或视频解码器)可经配置以实施所提出的技术，其可简化NBDV和/或3D-AVC中的跳过和直接模式所需的过程。换句话说，为了解决上文所提到的可能问题，提出所述方法来简化NBDV导出过程和/或3D-AVC中的跳过和直接模式所需的过程。

举例来说，当视频译码器执行NBDV导出过程时，代替于首先检查时间相邻块，视频译码器可首先检查空间相邻块。另外，在跳过和直接模式下，因为NBDV，视差向量直接用于当前块，而不进一步检查空间相邻块。在此情况下，视频译码器不使用中值滤波。因此，在此实例中，作为执行NBDV导出过程的一部分，视频译码器可检查视差运动向量的一个或一个以上空间相邻块，且可接着检查视差运动向量的一个或一个以上时间相邻块。当空间或时间相邻块中的一者使用视图间参考图片时，视频译码器可返回所述空间或时间相邻块的视差运动向量。

此外，在一些实例中，当不允许存取深度地图时，视频译码器可总是将跳过/直接模式的视差向量设定为等于NBDV结果。当允许存取深度地图，视频译码器可为跳过/直接模式设定视差向量，作为以下实例中的一者。在第一实例中，视频译码器总是将视差向量设定为NBDV-R过程的视差向量。因此，在此实例中，当允许存取深度地图时，视频译码器可将当前块的视差向量设定为NBDV-R导出过程所确定的视差向量。当不允许存取深度地图时，视频译码器可将当前块的视差向量设定为NBDV过程所确定的视差向量。

在其中允许存取深度地图的第二实例中，如果NBDV导出过程的视差向量是来自空间相邻块，视频译码器将视差向量设定为NBDV过程的视差向量。否则，在此第二实例中，视频译码器将视差向量设定为NBDV-R过程的视差向量。因此，在此实例中，当不允许存取深度地图时，视频译码器可将当前块的视差向量设定为NBDV导出过程所确定的视差向量。此外，在此实例中，当允许存取深度地图，且由NBDV导出过程确定的视差向量是来自空间相邻块时，视频译码器可将当前块的视差向量设定为NBDV导出过程所确定的视差向量。当允许存取深度地图，且NBDV导出过程所确定的视差向量不是来自空间相邻块时，那么视频译码器可将当前块的视差向量设定为NBDV-R过程所确定的视差向量。

在其中允许存取深度地图的第三实例中，视频译码器总是将视差向量设定为NBDV过程的视差向量。因此，在此实例中，当不允许存取深度地图时，视频译码器可将当前块的视差向量设定为NBDV导出过程所确定的视差向量。当允许存取深度地图时，视频译码器可将当前块的视差向量设定为NBDV导出过程所确定的视差向量。

在本发明的一个实例中，'268申请案中所描述的NBDV导出过程不一定改变。然而，对于以跳过/直接模式译码的视频块，仅在NBDV导出过程的视差向量是来自时间相邻块的视差运动向量时，才以某一次序检查空间相邻块。换句话说，在此实例中，如果视频译码器正检查的空间相邻块含有可用的视差运动向量，那么视频译码器将可用的视差运动向量设定为当前块的视差向量。否则(即，针对其所有未找到视差运动向量)，视频译码器使用当前块的NBDV或NBDV-R结果。在此情况下，视频译码器不使用中值滤波。

举例来说，将空间相邻块的检查次序定义为A、B、C和D(A、B、C和D如在NBDV中，且如图3中所示)。一旦视频译码器识别到视差运动向量，视频译码器就选择所述视差运动向量。在另一实例中，当一个以上空间相邻块含有视差运动向量时，视频译码器可以数学函数从可用的空间相邻块导出视差运动向量，且可使用所述所导出的视差运动向量作为当前块的视差向量。

以此方式，当NBDV导出过程所确定的视差向量是来自时间相邻块的视差运动向量时，视频译码器可以特定次序检查空间相邻块。当检查空间相邻块中的一者时，如果空间相邻块含有可用的视差运动向量，那么视频译码器可将所述可用的视差运动向量设定为当前块的视差向量。此外，当所述空间相邻块中无一者含有视差运动向量时，视频译码器可使用NBDV导出过程所确定的视差向量或NBDV-R过程所确定的视差向量，作为当前块的视差向量。在一些例子中，所述特定次序为：左空间相邻块(A)、上空间相邻块(B)、右上空间相邻块(C)和左上空间相邻块(D)。在另一实例中，当所述空间相邻块中的一个以上含有视差运动向量时，视频译码器可用数学函数从空间相邻块的视差运动向量导出视差运动向量，且可使用所述所导出的视差运动向量作为当前块的视差向量。

此外，在本发明的一些实例中，当以跳过/直接模式来译码当前块时，代替于进一步检查空间块，且潜在地利用中值滤波，视频译码器直接使用针对当前块从NBDV或NBDV-R导出的视差向量。在此情况下，视频译码器不使用中值滤波。

因此，根据本发明的一个或一个以上实例技术，视频编码器20可执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定视差向量。在此类实例中，视频编码器20可使用视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。即使潜在地存在具有可用视差运动向量的其它相邻块，视频译码器也不使用中值滤波过程。此外，视频编码器20可对包含当前块的当前切片的至少一些语法元素进行熵编码。

类似地，根据本发明的一个或一个以上实例技术，视频解码器30可执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定视差向量。在此类实例中，视频解码器30可使用视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。此外，视频解码器30可确定当前块的像素值。

图7是说明可实施本发明中所描述的技术的视频编码器的实例的框图。在图7的实例中，视频编码器20可执行切片内的视频块的帧内和帧间译码。举例来说，视频编码器20可执行帧间预测编码或帧内预测编码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测或视图间预测来减少或去除视频序列的邻近帧或图片内的时间冗余或不同视图中的图片之间的冗余。模式内(I模式)可指代若干基于空间的压缩模式中的任一者。帧间模式，例如单向预测(P模式)或双向预测(B模式)，可指代若干基于时间的压缩模式中的任何一种。

在图7的实例中，视频编码器20包含分割单元140、预测处理单元142、参考图片存储器164、求和器150、变换处理单元152、量化处理单元154和熵编码单元156。预测处理单元142包含运动估计单元144、运动补偿单元146和帧内预测单元148。对于视频块重构，视频编码器20还包含逆量化处理单元158、逆变换处理单元160和求和器162。视频编码器20还可包含去块滤波器(图7中未展示)，以对块边缘进行滤波，以去除来自经重构视频的成块假影。如果需要，去块滤波器将通常对求和器162的输出进行滤波。除去块滤波器致亲爱，也可使用额外的循环滤波器(循环中或循环后)。参考图片存储器164是解码图片缓冲器(DPB)的一个实例。

如图7中所示，视频编码器20接收视频数据，且分割单元140将所述数据分割成若干视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及视频块分割(例如，宏块分区以及分区的子块)。视频编码器20通常说明编码待编码的切片内的视频块的组件。所述切片可分为多个视频块(且可能分为称为瓦片的视频块集合)。预测处理单元142可基于错误结果(例如，译码速率和失真水平)，为当前视频块选择多个可能译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元142可将所得的经帧内或帧间译码的块提供给求和器150，以产生残余块数据，且提供给求和器162以重构经编码块，来用作参考图片。

预测处理单元142内的帧内预测单元148可相对于与待译码的当前块相同的帧或切片中的一个或一个以上相邻块执行当前视频块的帧内预测译码，以提供空间压缩。预测处理单元142内的运动估计单元144和运动补偿单元146相对于一个或一个以上参考图片中的一个或一个以上预测块执行当前视频块的帧间预测译码，以提供时间压缩。

运动估计单元144可经配置以根据视频序列的预定图案，为切片确定帧间预测模式。所述预定图案可将序列中的切片指定为P切片或B切片。运动估计单元144和运动补偿单元146可高度集成，但出于概念目的而分开说明。运动估计单元144所执行的运动估计是产生运动向量的过程，其估计视频块的运动。运动向量例如可指示当前视频帧或图片内的视频块相对于参考图片内的预测块的位移。

预测块是发现依据像素差异而与待译码的视频块密切匹配的块，所述像素差异可由绝对差和(SAD)、方差和(SSD)或其它差异量度来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器164中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元144可相对于整个像素位置和分数像素位置执行运动搜索，且输出具有分数像素精度的运动向量。

运动估计单元144通过将视频块的位置与参考图片的预测块的位置进行比较，来计算经帧间译码切片中的视频块的运动向量。参考图片可选自第一参考图片列表(RefPicList0)或第二参考图片列表(RefPicList1)，其中的每一者识别存储在参考图片存储器164中的一个或一个以上参考图片。运动估计单元144将所计算的运动向量发送到熵编码单元156和运动补偿单元146。

运动补偿单元146所执行的运动补偿可涉及基于运动估计所确定的运动向量来取或产生预测块，从而可能将内插执行到子像素精度。在接收到当前视频块的运动向量后，运动补偿单元146可在参考图片列表的一者中定位运动向量所指向的预测块。求和器150可形成残余块，其中像素值指示预测块中的样本与当前视频块中的对应像素值之间的差异。在一些实例中，求和器150通过将预测块的像素值从正译码的当前视频块的对应像素值减去，从而形成像素差异值，来形成残余视频块。像素差异值形式所述块的残余数据，且可包含亮度和色度差异分量两者。求和器150可表示执行此减法运算的组件。运动补偿单元146还可产生与所述视频块和所述切片相关联的语法元素，以供视频解码器30用来解码所述切片的视频块。

帧内预测单元148可对当前块进行帧内预测，作为运动估计单元144和运动补偿单元146所执行的帧间预测的替代方案，如上文所述。明确地说，帧内预测单元148可确定帧内预测模式来用于编码当前块。在一些实例中，帧内预测单元148可例如在分开的编码遍次期间，使用各种帧内预测来编码当前块，且帧内预测单元148(或在一些实例中，模式选择单元)可从测试过的模式中选择适当的帧内预测模式来使用。举例来说，帧内预测单元148可使用对各种测试过的帧内预测的速率失真分析来计算速率失真值，且在测试过的模式之中选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的的失真量(或错误)，以及用来产生所述经编码块的位速率(即，位数)。帧内预测单元148可从各种经编码块的失真和速率计算比率，以确定哪一帧内预测模式对所述块展现最佳速率失真值。

在任何情况下，在为块选择帧内预测模式之后，帧内预测单元148可将指示所述块的选定帧内预测模式的信息提供给熵编码单元156。熵编码单元156可编码指示选定帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，其可包含多个帧内预测模式索引表以及多个经修改的帧内预测模式索引表(也称为码字映射表)、各种块的编码上下文的定义，以及最可能帧内预测模式的指示、帧内预测模式索引表，以及经修改的帧内预测模式索引表，来用于所述上下文中的每一者。

根据本发明的一些技术，预测处理单元142执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定视差向量。此外，预测处理单元142可使用视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。举例来说，预测处理单元142可使用当前块的视差向量来相对于当前块执行视图间运动预测和/或视图间残余预测。

在预测处理单元142经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20形成残余视频块。在一些实例中，求和器150通过将预测块从当前视频块减去来形成残余视频块。变换处理单元152可使用变换，例如离散余弦变换(DCT)或概念上类似的变换，将残余块变换为残余变换系数。变换处理单元152可将残余视频数据从像素域转换到变换域，例如频域。

变换处理单元152可将所得变换系数发送到量化处理单元154。量化处理单元154可量化变换系数以进一步降低位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化处理单元154可接着执行包括经量化的变换系数的矩阵的扫描。或者，熵编码单元156可执行所述扫描。

在量化之后，熵编码单元156可对经量化的变换系数进行熵编码。换句话说，熵编码单元156可对对应于经量化的变换系数的语法元素进行熵编码。在不同实例中，熵编码单元156可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在熵编码单元156进行的熵编码之后，可将经编码位流发射到视频解码器30，或存档供以后发射或由视频解码器30检索。熵编码单元156也可对当前正在译码的切片的运动向量和其它语法元素进行熵编码。举例来说，熵编码单元156可对对应于运动向量的语法元素进行熵编码。

为了执行CABAC，熵编码单元156可将上下文模型内的上下文指派给待发射的符号。举例来说，上下文可与所述符号的相邻值是非零还是零有关。为了执行CAVLC，熵编码单元156可为待发射的符号选择变长码。变长译码(VLC)中的码字可经构造以使得相对较短的代码对应于较可能的符号，而较长的代码对应于较不可能的符号。以此方式，与例如对待发射的每一符号使用等长码字相比，VLC的使用可实现位节省。概率确定可基于指派给所述符号的上下文。

逆量化处理单元158和逆变换处理单元160分别应用逆量化和逆变换，来重构像素域中的残余块，供以后用作参考图片的参考块。运动补偿单元146可通过将残余块添加到参考图片列表的一者内的参考图片中的一者的预测块，来计算参考块。运动补偿单元146还可将一个或一个以上内插滤波器应用于经重构的残余块，以计算用于运动估计中的子整数像素值。求和器162将经重构的残余块添加到运动补偿单元146所产生的经运动补偿的预测块，以产生参考块来存储在参考图片存储器164中。参考块可由运动估计单元144和运动补偿单元146用作参考块来对后续的视频帧或图片中的块进行帧间预测。以此方式，参考图片存储器164为存储视频数据的存储器。

以此方式，视频编码器20是经配置以实施本发明中所描述的一个或一个以上实例技术的视频编码器的实例。举例来说，预测处理单元142可经配置以实施实例技术。在一些实例中，不同于预测处理单元142的单元可实施上文所述的实例。在一些实例中，预测处理单元142连同视频编码器20的一个或一个以上其它单元可实施上文所述的实例。在一些实例中，视频编码器20的处理器或单元(图7中未展示)可单独或结合视频编码器20的其它单元实施上文所述的实例。

图8是说明可实施本发明中所描述的技术的视频解码器30的实例的框图。在图8的实例中，视频解码器30可执行帧间预测解码或帧内预测解码。在图8的实例中，视频解码器30包含熵解码单元170、预测处理单元171、逆量化处理单元176、逆变换处理单元178、求和器180和参考图片存储器182。预测处理单元171包含运动补偿单元172和帧内预测单元174。在一些实例中，视频解码器30执行通常与相对于来自图7的视频编码器20描述的编码遍次互反的解码遍次。参考图片存储器182是经解码图片缓冲器(DPB)的一个实例。

在解码过程期间，视频解码器30接收经编码视频位流，其表示来自视频编码器20的经编码切片和相关联的语法元素的视频块。视频解码器30的熵解码单元170可对位流的特定语法元素进行熵解码，以获得经量化的系数、运动向量和其它语法元素。熵解码单元170可将运动向量和其它语法元素转发到预测处理单元171。视频解码器30可在切片等级和/或视频块等级下接收语法元素。

当将切片译码为经帧内译码(I)切片时，预测处理单元171的帧内预测单元174可基于用信号通知的帧内预测模式以及来自当前帧或图片的先前经解码块的数据，产生所述切片的视频块的预测数据。当将视频帧译码为经帧间译码(即，B或P)切片时，预测处理单元171的运动补偿单元172基于从熵解码单元170接收到的运动向量和其它语法元素，产生当前切片的视频块的预测块。运动补偿单元172可从参考图片列表的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储在参考图片存储器182中的参考图片，使用默认构造技术来构造参考图片列表(RefPicList0和RefPicList1)。

运动补偿单元172可通过处理运动向量和其它语法元素来确定当前切片的视频块的预测信息，且可使用所述预测信息来产生当前正解码的当前视频块的预测块。举例来说，运动补偿单元172使用接收到的语法元素中的一些来确定用以对切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、切片的参考图片列表中的一者或一者以上的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，以及用以解码切片中的视频块的其它信息。

运动补偿单元172还可执行基于内插滤波器的内插。在视频块的编码期间，运动补偿单元172可使用视频编码器20所使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元172可从接收到的语法元素确定视频编码器20所使用的内插滤波器，且可使用内插滤波器来产生预测块。

根据本发明的一些实例，预测处理单元171执行NBDV导出过程来确定视差向量，或执行NBDV-R过程来确定视差向量。此外，预测处理单元171可使用视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程，其中在跳过模式或直接模式下译码当前块。举例来说，预测处理单元171可使用当前块的视差向量来相对于当前块执行视图间运动预测和/或视图间残余预测。

逆量化处理单元176对从位流获得且由熵解码单元170解码的语法元素所提供的经量化的变换系数进行逆量化(即，去量化)。逆量化过程可包含对切片中的每一视频块使用视频编码器20所计算的量化参数，以确定量化程度，且同样地，确定应应用的逆量化的程度。逆变换处理单元178将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便产生像素域中的残余块。

在运动补偿单元172基于运动向量和其它语法元素产生当前视频块的预测块之后，求和器180可形成经解码的视频块。在一些实例中，求和器180可通过将来自逆变换处理单元178的残余块与运动补偿单元172所产生的对应预测块进行求和，来形成经解码的视频块。求和器180表示执行此求和运算的组件。如果需要，那么也可应用去块滤波器来对经解码的块进行滤波，以便去除成块假影。视频解码器30还可使用其它环路滤波器(译码循环中或译码循环之后)来平滑像素过渡，或以其它方式改进视频品质。参考图片存储器182接着将经解码的视频块存储在给定图片中，以进行后续运动补偿。参考图片存储器182还可存储经解码的视频，以供稍后在显示装置，例如图1的显示装置32上呈现。以此方式，参考图片存储器182为存储视频数据的存储器。

以此方式，视频解码器30为经配置以实施本发明中所描述的一个或一个以上实例技术的视频解码器的实例。举例来说，预测处理单元171可经配置以实施实例技术。在一些实例中，不同于预测处理单元171的单元可实施上文所述的实例。在一些实例中，预测处理单元171结合视频解码器30的一个或一个以上其它单元可实施上文所述的实例。在其它实例中，视频解码器30的处理器或单元(图8中未展示)可单独或结合视频解码器30的其它单元，实施上文所述的实例。

图9A是说明根据本发明的一个或一个以上技术的视频编码器20的实例操作的流程图。在图9A的实例中，视频编码器20执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定视差向量(250)。视频编码器20可使用(例如，设定)视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程(252)。在图9A的实例中，在跳过模式或直接模式下译码当前块(例如，视频编码器20在跳过模式或直接模式下编码当前块)。此外，视频编码器20(例如，视频编码器20的熵编码单元156)可对包含所述当前块的当前切片的至少一些语法元素进行熵编码(254)。

图9B是说明根据本发明的一个或一个以上技术的视频解码器30的实例操作的流程图。在图9B的实例中，视频解码器30执行NBDV导出过程以确定视差向量，或执行NBDV-R过程以确定视差向量(280)。视频解码器30可使用(例如，设定)视差向量作为视频数据的当前块的视差向量，而不对多个视差运动向量使用中值滤波过程(282)。在图9B的实例中，在跳过模式或直接模式下译码当前块。此外，视频解码器30(例如，视频解码器30的求和器180)可确定当前块的像素值(284)。

以下段落提供根据本发明的一个或一个以上技术的额外实例。

实例1.根据本文所揭示的实施方案中的任何一者的编码视频数据的方法。

实例2.根据本文所揭示的实施方案中的任何一者的解码视频数据的方法。

实例3.一种上面存储有指令的计算机可读媒体，所述指令在被执行时，实施实例1到实例2的方法中的任何一者。

实例4.一种用于3D-AVC的译码视频数据的方法，所述方法包括：通过针对基于相邻块的视差向量导出(NBDV)，首先检查一个或一个以上空间相邻块而不是时间相邻块，来确定当前块的视差向量。

实例6.实例5的方法，其还包括：在跳过模式和直接模式中的一者或两者下，由于NBDV的结果，直接将视差向量用于当前块，而不进一步检查空间相邻块。

实例7.实例6的方法，其中直接使用视差向量不包括使用中值滤波。

实例8.实例5的方法，其还包括：当不允许存取深度地图时，将用于跳过/直接模式的视差向量设定为等于NBDV结果。

实例9.实例5的方法，其还包括：

当允许存取深度地图时，将用于跳过/直接模式的视差向量设定为以下各项中的至少一者：NBDV-R过程的视差向量；如果NBDV过程的视差向量是来自空间相邻块，那么将其设定为NBDV过程的视差向量，否则将其设定为NBDV-R过程的视差向量；以及NBDV过程的视差向量。

实例10.一种用于3D-AVC的译码视频数据的方法，所述方法包括：在跳过/直接模式期间，仅在NBDV过程的视差向量是来自当前块的时间相邻块的视差运动向量时，以某一次序检查空间相邻块。

实例11.实例10的方法，其还包括：如果正检查的空间相邻块包含可用的视差运动向量，那么将可用的视差运动向量设定为当前块的视差向量；如果从空间相邻块未找到视差运动向量，那么将NBDV或NBDV-R的结果用于当前块。

实例12.实例10的方法，其还包括如果存在包含视差运动向量的一个以上空间相邻块，那么用数学函数从可用运动向量且用于当前块的运动向量导出视差运动向量/视差向量。

实例13.一种用于3D-AVC的译码视频数据的方法，所述方法包括：当使用跳过/直接模式来译码当前块时，直接使用来自NBDV或NBDV-R的视差向量，而不是进一步检查空间块。

实例14.实例5到实例13的任何组合或排列的方法。

实例15.实例5到实例13的任何组合或排列的方法，其中所述方法由视频解码器执行。

实例16.实例5到实例13的任何组合或排列的方法，其中所述方法由视频编码器执行。

实例17.一种视频译码装置包括视频译码器，其经配置以实施实例5到实例14的任何组合或排列的方法。

实例18.实例17的视频译码装置，其中视频译码器包括视频解码器。

实例19.实例17的视频译码装置，其中视频译码器包括视频编码器。

实例20.实例17到实例19中的任何一者的视频译码装置，其中视频译码装置包括以下各项中的至少一者：集成电路；微处理器；以及包含视频译码器的无线通信装置。

实例21.一种设备包括用于实施实例5到实例14中的任何一者的方法的装置。

实例22.一种上面存储有指令的计算机可读存储媒体，所述指令在由用于译码视频数据的装置的处理器执行时，致使所述装置实施实例5到实例14中的任何一者的方法。

实例23.一种用于视频译码的设备，所述设备包括：用于针对基于相邻块的视差向量导出(NBDV)，通过首先检查空间相邻块，而不是时间相邻块，确定当前块的视差向量的装置。

实例24.一张用于视频译码的设备，所述设备包括：用于在跳过/直接模式期间，仅在NBDV过程的视差向量是来自当前块的时间相邻块的视差运动向量时，才以某一次序检查空间相邻块的装置。

实例25.一种用于视频译码的设备，所述设备包括：当以跳过/直接模式译码当前块时，用于直接使用来自NBDV或NBDV-R的视差向量，而不是进一步检查空间块且潜在地利用中值滤波的装置。

实例26.一种设备，其包括：存储指令的存储器；以及一个或一个以上处理器，其在执行所述指令后，经配置以实施实例1到实例13的任何组合或排列的方法。

实例27.实例26的设备，其中所述设备包括视频解码器。

实例28.实例26的设备，其中所述设备包括视频编码器。

将认识到，取决于实施方案，本文所述的方法中的任何一者的某些动作或事件可以不同序列执行，可全部添加、合并或留在一起(例如，不是所有所描述的动作或事件均对于方法的实践是必要的)。此外，在某些实施方案中，可例如通过多线程处理、中断处理或多个处理器来同时执行动作或事件，而不是循序地处理所述动作或事件。

所属领域的技术人员将认识到，结合本文所揭示的方法、系统和设备而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、处理器所执行的计算机软件，或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已大体上依据其功能性描述了各种例示性组件、块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用以及强加于整个系统上的设计限制。熟练的技术人员可针对每一特定应用，以不同方式来实施所描述的功能性，但此类实施决策不应被解释为导致脱离本发明的范围。

此外，本文所揭示的实施方案可用电子装置或电路来实施或执行，例如通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文所述的功能的任何组合。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器的组合、结合DSP核的一个或一个以上微处理器，或任何其它此类配置。

结合本文所揭示的实施方案而描述的方法或算法的步骤可直接在硬件中、在处理器所执行的软件模块中，或在两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息，且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在ASIC中。ASIC可驻存在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻存在用户终端中。

已描述了各种实例。这些和其它实例在所附权利要求的范围内。

Claims (14)

1.一种解码视频数据的方法，所述方法包括：

基于允许对深度地图的存取，确定所述视频数据的当前块的宏块级视差向量，而不对多个视差运动向量使用中值滤波过程，所述当前块为宏块且所述当前块使用P_Skip模式、B_Skip模式、或B-16x16直接模式译码，或所述当前块为8×8模式且所述当前块使用B-8x8直接模式译码，且确定所述当前块的所述视差向量包括执行基于相邻块的视差向量NBDV细化NBDV-R过程，以确定所述当前块的所述视差向量，

所述NBDV-R过程包括执行NBDV导出过程，以确定所述当前块的所述视差向量，以及通过存取所述深度地图中的对应深度块来细化所述当前块的所述视差向量，所述NBDV导出过程包括检查视差运动向量的相邻块，以及将所述视差运动向量转换为所述当前块的所述视差向量，所述视差运动向量是指向视图间参考图片的运动向量；

使用所述当前块的所述视差向量来确定参考视图中的参考块；以及

基于所述参考块来确定所述当前块的像素值。

2.根据权利要求1所述的方法，其中所述当前块为第一块，所述方法还包括：

基于不允许对所述深度地图的存取，将第二块的视差向量设定为所述NBDV过程所确定的视差向量。

3.根据权利要求1所述的方法，

其中执行所述NBDV导出过程包括：检查一个或一个以上空间相邻块以找出视差运动向量，且接着检查一个或一个以上时间相邻块以找出视差运动向量。

4.根据权利要求1所述的方法，所述方法执行于无线通信装置上，其中所述无线通信装置包括：

存储器，其经配置以存储所述视频数据；

处理器，其经配置以执行指令以处理存储在所述存储器中的所述视频数据；

接收器，其经配置以接收包括位序列的位流，所述位序列形成所述视频数据的经译码图片的表示，所述当前块是所述视频数据的经译码图片的块。

5.根据权利要求4所述的方法，其中所述无线通信转置是蜂窝电话且所述位流被所述接收器接收且根据蜂窝通信标准调制。

6.一种编码视频数据的方法，所述方法包括：

基于允许对深度地图的存取，确定所述视频数据的当前块的宏块级视差向量，而不对多个视差运动向量使用中值滤波过程，所述当前块为宏块且所述当前块使用P_Skip模式、B_Skip模式、或B-16x16直接模式译码，或所述当前块为8×8模式且所述当前块使用B-8x8直接模式译码，且确定所述当前块的所述视差向量包括执行基于相邻块的视差向量NBDV细化NBDV-R过程，以确定所述当前块的所述视差向量，

所述NBDV-R过程包括执行NBDV导出过程，以确定所述当前块的所述视差向量，以及通过存取所述深度地图中的对应深度块来细化所述当前块的所述视差向量，所述NBDV导出过程包括检查视差运动向量的相邻块，以及将所述视差运动向量转换为所述当前块的所述视差向量，所述视差运动向量是指向视图间参考图片的运动向量；

使用所述当前块的所述视差向量来确定参考视图中的参考块；以及

使用所述参考块来产生所述当前块的经编码版本。

7.根据权利要求6所述的方法，其中所述当前块为第一块，所述方法还包括：

基于不允许对所述深度地图的存取，将第二块的视差向量设定为所述NBDV过程所确定的视差向量。

8.根据权利要求6所述的方法，

其中执行所述NBDV导出过程包括：检查一个或一个以上空间相邻块以找出视差运动向量，且接着检查一个或一个以上时间相邻块以找出视差运动向量。

9.一种用于译码视频数据的装置，所述装置包括：

存储器，其经配置以存储视频数据的经解码的视频块；以及

一个或一个以上处理器，其经配置以：

基于允许对深度地图的存取，确定所述视频数据的当前块的宏块级视差向量，而不对多个视差运动向量使用中值滤波过程，所述当前块为宏块且所述当前块使用P_Skip模式、B_Skip模式、或B-16x16直接模式译码，或所述当前块为8×8模式且所述当前块使用B-8x8直接模式译码，其中为了确定所述当前块的所述视差向量，所述一个或一个以上处理器执行基于相邻块的视差向量NBDV细化NBDV-R过程，以确定所述当前块的所述视差向量，

所述NBDV-R过程包括执行NBDV导出过程，以确定所述当前块的所述视差向量，以及通过存取所述深度地图中的对应深度块来细化所述当前块的所述视差向量，所述NBDV导出过程包括检查视差运动向量的相邻块，以及将所述视差运动向量转换为所述当前块的所述视差向量，所述视差运动向量是指向视图间参考图片的运动向量；以及

使用所述当前块的所述视差向量来确定参考视图中的参考块；以及

以下步骤的一者或多者：

基于所述参考块确定所述当前块的像素值；或

使用所述参考块来产生所述当前块的经编码版本。

10.根据权利要求9所述的装置，其中所述当前块为第一块，且所述一个或一个以上处理器经配置以：

基于不允许对所述深度地图的存取，将第二块的视差向量设定为所述NBDV过程所确定的视差向量。

11.根据权利要求9所述的装置，

其中作为执行所述NBDV导出过程的一部分，所述一个或一个以上处理器检查一个或一个以上空间相邻块以找出视差运动向量，且接着检查一个或一个以上时间相邻块以找出视差运动向量。

12.根据权利要求9所述的装置，其中所述装置是无线通信装置，所述无线通信装置进一步包括以下各项中的至少一者：

发射器，其经配置以发射包括位序列的位流，所述位序列形成所述视频数据的经译码图片的表示，所述当前块是所述视频数据的经译码图片的块；或

接收器，其经配置以接收所述位流。

13.根据权利要求12所述的装置，其中所述无线通信转置是蜂窝电话且所述位流被所述发射器发射或被所述接收器接收且根据蜂窝通信标准调制。

14.一种用于译码视频数据的装置，所述装置包括：

用于基于允许对深度地图的存取，确定所述视频数据的当前块的宏块级视差向量，而不对多个视差运动向量使用中值滤波过程的装置，所述当前块为宏块且所述当前块使用P_Skip模式、B_Skip模式、或B-16x16直接模式译码，或所述当前块为8×8模式且所述当前块使用B-8x8直接模式译码，且确定所述当前块的所述视差向量包括执行基于相邻块的视差向量NBDV细化NBDV-R过程，以确定所述当前块的所述视差向量，

所述NBDV-R过程包括执行NBDV导出过程，以确定所述当前块的所述视差向量，以及通过存取所述深度地图中的对应深度块来细化所述当前块的所述视差向量，所述NBDV导出过程包括检查视差运动向量的相邻块，以及将所述视差运动向量转换为所述当前块的所述视差向量，所述视差运动向量是指向视图间参考图片的运动向量；以及

用于使用视频数据的所述当前块的所述视差向量来确定参考视图中的参考块的装置；以及

以下装置的一者或多者：

用于基于所述参考块确定所述当前块的像素值的装置；或

用于使用所述参考块来产生所述当前块的经编码版本的装置。