CN103703777A

CN103703777A - 对具有深度范围变化的运动深度图进行译码

Info

Publication number: CN103703777A
Application number: CN201280036089.6A
Authority: CN
Inventors: 陈盈; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-07-22
Filing date: 2012-07-12
Publication date: 2014-04-02
Anticipated expiration: 2032-07-12
Also published as: KR20140043243A; JP6026534B2; CA2842405A1; BR112014001460A2; JP2014526192A; CA2842405C; US9363535B2; US20130022111A1; KR101617970B1; EP2735148A1; BR112014001460B1; WO2013016004A1; CN103703777B

Abstract

本发明描述用于对3D视频块单元进行译码的技术。在一个实例中，视频编码器经配置以：确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围；确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；从所述参考视图分量确定所述当前视图分量的一部分的预测块；基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来预测所述当前视图的所述部分。

Description

对具有深度范围变化的运动深度图进行译码

优先权主张

本申请案涉及2011年7月22日申请的第61/510,753号美国临时申请案且主张所述临时申请案的优先权，所述临时申请案以全文引用的方式并入本文中。

技术领域

本发明涉及视频译码领域，例如，对3维视频数据进行译码。

背景技术

数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、例如无线电电话手持机等无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台等。数字视频装置实施若干视频压缩技术，例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分、高级视频译码(AVC)，从而更高效地发射和接收数字视频。视频压缩技术执行空间预测和时间预测以减少或移除视频序列中所固有的冗余。

视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测编码经帧内译码的(I)帧或切片中的宏块。经帧间译码的(P或B)帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测或关于其它参考帧的时间预测。

在已将视频数据编码之后，可将所述视频数据包化以用于发射或存储。可将所述视频数据组配为符合多种标准中的任一者的视频文件，例如国际标准化组织(ISO)基础媒体文件格式及其扩展形式，例如AVC。

已经作出努力开开发基于H.264/AVC的新视频译码标准。一种此类标准是可缩放视频译码(SVC)标准，其为对H.264/AVC的可缩放扩展。另一标准是多视图视频译码(MVC)，其已变为对H.264/AVC的多视图扩展。在2008年7月德国的汉诺威的第28届JVT会议的JVT-AB204“多视图视频译码联合草案8.0(Joint Draft 8.0on Multiview VideoCoding)”中描述了MVC的联合草案，这在http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip处可以获得。在2009年2月瑞士的日内瓦的第30届JVT会议的JVT-AD007“对ITU-T Rec.H.264|ISO/IEC14496-10高级视频译码的编辑者的草案修订-为ITU-T SG 16AAP达成一致做准备(以整合形式)(Editors′draft revision to ITU-T Rec.H.264|ISO/IEC 14496-10 Advanced VideoCoding-in preparation for ITU-T SG 16 AAP Consent(in integrated form))”中描述了AVC标准的版本，这在http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip处可以获得。此文献将SVC和MVC整合于AVC规格中。

发明内容

一般来说，本发明描述用于支持三维(3D)视频译码和再现的技术。具体来说，本发明的技术涉及对3D视频内容进行译码和解码。本发明的技术包含对纹理信息(例如，亮度或明度数据以及色彩或色度数据)以及用于纹理信息的深度图进行译码。所述深度图可使用与经应用以对纹理信息进行译码的技术类似的技术进行预测性地译码，所述技术例如为帧内预测译码和/或帧间预测译码。使用帧间预测译码技术而译码的深度图在本文中被称作“运动深度图”本发明提出对相对于参考深度图具有深度范围变化的运动深度图进行译码。举例来说，本发明提出基于参考深度视图分量的第一现实世界深度范围与当前深度视图分量的第二现实世界深度范围之间的差来调整预测块的值。举例来说，可根据在运动补偿之后执行的像素值再映射译码过程来调整所预测的深度图的值。

在3D编解码器中，特定时刻中的视频解码的每一视图的视图分量可包含纹理视图分量和深度视图分量。纹理视图分量可包含明度(Y)分量和色度(Cb和Cr)分量，其统称为“纹理信息”或“纹理分量”。明度(亮度)和色度(色彩)分量在本文统称为“纹理”分量。深度视图分量可来自图像的深度图。在3D图像再现中，深度图包含深度值，且可用于从相对于另一视图(例如，包含纹理信息的视图)所提供的观看角度来产生虚拟视图。经译码块单元(在本发明中还被简称为“经译码块”)可对应于ITU-T H.264/AVC(高级视频译码)中的宏块或高效率视频译码(HEVC)的译码单元。

在一个方面中，一种处理视频数据的方法包括：确定对应于参考视图分量的第一深度视图分量的第一现实世界深度范围；以及确定对应于当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测。所述方法还包括从所述参考视图分量确定所述当前视图分量的一部分的预测块。所述方法进一步包括：基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来预测所述当前视图的所述部分。

在另一方面中，一种用于对数据进行编码的装置包括视频译码器，所述视频译码器经配置以：确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围；确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；从所述参考视图分量确定所述当前视图分量的一部分的预测块；基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来预测所述当前视图的所述部分。

在另一方面中，一种计算机可读媒体包括计算机可读存储媒体，所述计算机可读存储媒体具有存储于其上的指令，所述指令在被执行时致使视频译码装置的处理器：确定对应于参考视图分量的第一深度视图分量的第一现实世界深度范围；确定对应于当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；从所述参考视图分量确定所述当前视图分量的一部分的预测块；基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来预测所述当前视图的所述部分。

在另一方面中，提供一种装置，所述装置包括用于确定对应于参考视图分量的第一深度视图分量的第一现实世界深度范围的装置；用于确定对应于当前视图分量的第二深度视图分量的第二现实世界深度范围的装置，其中所述当前视图分量是相对于所述参考视图分量而预测；以及用于从所述参考视图分量确定所述当前视图分量的一部分的预测块的装置。所述装置进一步包括：用于基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值的装置；以及用于基于所述预测块的所述经调整的值来预测所述当前视图的所述部分的装置。

本发明中所描述的技术的各方面可以硬件、软件、固件，或其任何组合来实施。如果以软件来实施，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)或其它等效集成或离散逻辑电路等可涉及一个或一个以上处理器的处理器中执行软件。可最初将包括用以执行所述技术的指令的软件存储于计算机可读媒体中且在处理器中加载并执行。

因此，本发明还预期包括用以致使处理器执行本发明中所描述的多种技术中的任一者的指令的计算机可读媒体。在一些情况下，所述计算机可读媒体可形成计算机程序产品的一部分，可将所述计算机程序产品出售给制造商和/或用于装置中。所述计算机程序产品可包含计算机可读媒体，且在一些情况下，还可包含封装材料。

本发明还可适用于携载信息的电磁信号。举例来说，电磁信号可包括与用于内插参考样本的子整数像素的值的全像素支持相关的信息。

在一些实例中，可从或通过实施本文中所描述的技术的装置来产生或传输信号。在其它实例中，本发明可适用于可在实施本文中所描述的技术的装置处接收的信号。

本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。

附图说明

图1是说明根据本发明的技术的视频编码和解码系统的一个实例的框图。

图2是进一步详细地说明根据本发明的技术的图1的视频编码器的一实例的框图。

图3是根据本发明的技术的用于多视图视频译码的MVC预测结构的一个实例的图。

图4是进一步详细地说明根据本发明的技术的图1的视频解码器的一实例的框图。

图5是说明根据本发明的技术的与本发明一致的视频编码器的实例性操作的流程图。

图6是说明根据本发明的技术的用于调整深度图的运动补偿值的另一实例性译码装置的组件之间的实例性流程的概念图。

具体实施方式

本发明描述在视频编码和解码过程中的至少一者的至少帧间预测阶段期间编码器可应用且解码器可使用的信令技术。所描述的技术涉及三维(“3D”)视频内容的译码。本发明提出对相对于参考深度图具有深度范围变化的运动深度图进行译码。举例来说，本发明提出基于参考深度视图分量的第一现实世界深度范围与当前深度视图分量的第二现实世界深度范围之间的差来调整预测块的值。举例来说，可在运动补偿之后执行像素值再映射译码过程。根据本发明的技术，可应用这些技术对类似于多视图视频译码(MVC)位流的位流进行编码，其中MVC位流的任何或所有视图可进一步包含深度信息。在本发明中，术语“译码”可指编码和/或解码中的任一者或两者。

更具体来说，所述技术涉及接收至少一个具有纹理视图分量和深度视图分量的二维图像。一些纹理视图分量和深度视图分量可一起被编码为单个经译码块或单独的块。可通过深度视图分量和纹理视图分量来界定一图像。

可相对于尤其用于一图像帧或图片的深度范围来界定所述图像帧的深度值。然而，不同帧的深度视图分量可具有不同的深度范围。因此，如果两个不同帧的深度范围不同，那么所述两个帧的两个深度值可对应于不同的现实世界深度值。举例来说，当前视图帧和对应的参考帧可具有相同的深度值。然而，如果当前视图帧及其对应的参考帧具有不同的现实世界深度值，那么相同的深度值对应于不同的现实世界深度值。本文中所描述的技术对运动深度图进行译码以补偿参考视图与当前视图之间的这些深度值差。

基于深度估计和虚拟视图合成的视频转换可用于产生3D图像，例如3D视频、应用。具体来说，可使用场景的虚拟视图来产生场景的3D视图。常规上通过在合成场景的虚拟视图之前估计对象深度值而实现基于场景的现有视图产生所述虚拟视图。深度估计是从立体对或单视场内容估计对象与相机平面之间的绝对或相对距离的过程。深度信息可包含有用于形成三维视频的信息，例如深度图(例如，基于每个像素的深度值)或取景视差图(例如，基于每个像素的水平视差)。深度信息可具有一定范围的现实世界深度值，其被称作深度范围。图片的现实世界深度值可通常参考深度范围来量化，以产生所述图片的深度图。

所估计的深度信息(通用通过灰度级图表示)可用于使用基于深度图像的再现(DIBR)技术来产生任意角度的虚拟视图。与其中多视图序列面临着高效的视图间压缩的挑战的传统三维电视(3DTV)系统相比，基于深度图的系统可通过传输可被高效编码的仅一个或数个视图以及深度图而减少带宽的使用。在将深度图用于视图合成中之前，用于基于深度图的转换中的深度图可为可由终端用户控制的(例如，通过缩放)。可产生具有不同量的感知深度的自定义虚拟视图。而且，可使用单视场视频来执行对深度的估计，其中仅一个视图2D内容可用。

基于块的帧间译码是依赖于时间预测来减少或移除视频序列的连续经译码单元的视频块之间的时间冗余的译码技术。可将帧间译码应用于纹理和深度信息两者。经译码单元可包括视频帧、视频帧的切片、图片群组，或经编码视频块的另一经定义单元。如本文中所使用，术语“帧”和“图片”可互换地使用。对于帧间译码，视频编码器执行运动估计和运动补偿以估计一个或一个以上邻近的经译码单元的视频块之间的运动。通过使用用于运动估计的技术，视频编码器产生运动向量，所述运动向量可指示视频块相对于一个或一个以上参考帧或其它经译码单元中的对应预测视频块的移位。通过使用用于运动补偿的技术，视频编码器可使用运动向量从一个或一个以上参考帧或其它经译码单元产生预测视频块。在运动补偿之后，视频编码器可通过从正被译码的原始视频块减去预测视频块来计算残余视频块。还可使用视图间译码从其它视图的参考视图分量预测纹理和/或深度信息，其中可相对于参考视图分量计算并使用移位向量来形成预测块。

图1是说明可用于实施本发明的技术中的一者或一者以上的视频编码和解码系统10的一个实例的框图。如图1中所示，系统10包括源装置12，所述源装置经由通信信道15将经编码的视频发射到目的装置16。源装置12及目的地装置16可包括广泛范围的装置中的任一者。在一些情况下，源装置12和目的地装置16中的任一者或两者可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可在通信信道15上(在此情况下，通信信道15为无线的)传送视频信息的任何无线装置。然而，涉及对包含纹理信息和深度信息两者的视频数据的块进行译码的本发明的技术不一定受限于无线应用或环境。所述技术还可用于广泛范围的其它环境和装置，包含经由物理电线、光纤或其它物理或无线媒体进行通信的装置。

另外，所述编码或解码技术还可应用于不一定与任何其它装置进行通信的独立装置中。举例来说，视频解码器28可驻留于数字媒体播放器或其它装置中，且经由流式传输、下载或存储媒体接收经编码的视频数据。因此，出于对实例性实施方案的说明的目的来提供源装置12和目的地装置16彼此通信的描绘，且不应视为对本发明中所描述的技术进行限制，所述技术可通常适用于多种环境、应用或实施方案中的视频译码。

在图1的实例中，源装置12可包含视频源20、深度处理单元21、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包含接收器26、调制解调器27、视频解码器28及显示装置30。根据本发明，源装置12的视频编码器22可经配置以应用本发明的技术中的一者或一者以上以作为视频编码过程的部分。类似地，目的地装置16的视频解码器28可经配置以应用本发明的技术中的一者或一者以上以作为视频解码过程的部分。

视频序列通常包含一连串视频帧(还被称作视频图片)。视频编码器22对个别视频帧内的视频块进行操作以便编码视频数据。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧包含一连串一个或一个以上切片。在ITU-TH.264标准中，举例来说，每一切片可包含一连串宏块，所述宏块可布置到子块中。ITU-TH.264标准支持：以用于二维(2D)视频编码的各种块大小进行的帧内预测，例如，针对明度分量的16乘16、8乘8或4乘4以及针对色度分量的8×8；以及以各种块大小进行的帧间预测，例如，针对明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及针对色度分量的对应经缩放大小。视频块可包括像素数据块，或例如在例如离散余弦变换(DCT)或概念上类似的变换过程等变换过程之后的变换系数块。这些技术可扩展到3D视频。

较小的视频块可提供较佳的分辨率，且可用于包含较高细节水平的视频帧的定位。一般来说，宏块和各种子块可被视为视频块。另外，可将切片视为一连串视频块，例如若干宏块和/或若干子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。

通过将来自深度图或取景视差图的深度信息连同用于那个视频帧或切片的相关联的明度和色度分量(即，纹理分量)进行编码，ITU-T H.264的2D宏块可扩展到3D。取景视差映射(还被称作虚拟位移映射或偏移映射)基于在一像素位置处的视图角度和高度图的函数来移位所述像素位置处的纹理分量。视频编码器22可将深度信息编码为单色视频。

为了编码视频块(例如，经译码块)，视频编码器22执行帧内预测或帧间预测以产生一个或一个以上预测块。视频编码器22从将被编码的原始视频块减去预测块以产生残余块。因此，残余块可表示正被译码的块与预测块之间的逐像素差。

视频编码器22还可应用变换、量化和熵译码过程以进一步减小与残余块的通信相关联的位率。变换技术可包括离散余弦变换(DCT)或概念上类似的过程。或者，可使用小波变换、整数变换，或其它类型的变换。在DCT过程中，作为一实例，可将一组像素值转换为可表示频域中的像素值的能量的变换系数。

视频编码器22还可量化变换系数，其可一般涉及减少与对应的变换系数相关联的位数目的过程。量化一般指代其中将系数量化以可能地减少用于表示系数的数据量的过程。在量化之后，可根据熵译码方法执行熵译码。熵译码可包含共同地压缩数据以供输出到位流的一个或一个以上过程，其中经压缩的数据可包含(例如)译码模式、运动信息、经译码块模式和经量化变换系数的序列。熵译码的实例包含(但不限于)上下文自适应可变长度译码(CAVLC)和上下文自适应二进制算术译码(CABAC)。下文关于图2来描述由视频编码器22执行的编码过程的额外细节。

经译码视频块可由可用于创建或识别预测块的预测信息以及可应用于预测块以重新创建原始块的残余数据块表示。所述预测信息可包括用于识别预测数据块的一个或一个以上运动向量。通过使用所述运动向量，视频解码器28可能够重构曾用于对残余块进行译码的预测块。因此，给定一组残余块和一组运动向量(以及可能一些额外语法)，视频解码器28可重构曾最初被编码的视频帧。基于帧间译码的运动估计和运动补偿可在不具有过多的数据损失的情况下实现相对高的压缩量，因为连续的视频帧或其它类型的经译码单元常常是类似的。经编码视频序列可包括残余数据块、运动向量(当被帧间预测编码时)、用于帧内预测的帧内预测模式的指示，以及语法元素。

通过基于深度值范围来补偿或再映射像素值，这些技术可改进编码深度图的过程。另外，本文中所描述的技术可提高运动补偿的效率。可在使用内插的子像素运动补偿之后针对当前视图中的深度值执行再映射。

在一些实例中，视频编码器22和视频解码器28遵照使用块运动补偿的H.264/AVC标准。在块运动补偿(BMC)中，以像素块来分割帧。可从参考帧中的相等大小的块来预测每一块。可不以除了移位到预测块的位置之外的任何方式来变换块。此移位可由运动向量表示。

为了利用相邻块向量之间的冗余(例如，对于由多个块覆盖的单个移动对象)，在一些情况下，可仅在位流中对当前和前一运动向量之间的差进行译码。此求差过程的结果可在数学上类似于能够摇摄的全局运动补偿。熵译码单元(例如，图2中所示的熵译码单元46)可利用围绕零向量的运动向量的所得统计分布来减小输出大小。

可将块移位非整数数目个像素，其可被称作子像素精度。子像素在全整数像素之间，且可通过内插相邻像素而产生。通常，可使用二分之一像素或四分之一像素精度。归因于内插所需的额外处理，子像素精度的计算费用可高于全整数像素精度。此外，在编码器侧上评估更大数目的潜在的源块。

块运动补偿可在块边界处引入不连续性，这被称作成块假影或成块性假影。这些成块假影以人眼可认出的尖锐的水平和垂直边缘的形式出现，且在用于残余帧的变换译码的傅立叶相关变换中产生振铃效果(高频子频带中的大系数)。

块运动补偿将当前帧划分为非重叠的块，且运动向量提供用于检索这些块的所预测值的信息。用于参考的块可能在参考帧(还被称作源帧)中重叠，且因此，不需要一定出现在参考帧内的块边界处。一些视频压缩算法从多片若干不同的先前发射的帧装配当前帧。

还可从未来帧(即，比正被译码的当前帧在时间上晚显示的帧(虽然这些随后显示的帧是在当前帧之前被译码，且因此，在位流本身中更早地提供这些帧的数据))预测帧。可在所预测的帧之前对未来帧进行编码。因此，编码次序不一定与实际帧次序匹配。此些帧通常是从两个方向预测，即从紧接在所预测的帧前面或后面的I帧或P帧来预测。这些双向预测的帧被称为B帧。译码方案可例如为IBBPBBPBBPBB。

参数集可含有序列层级标头信息(在序列参数集SPS中)以及不频繁变化的图片层级标头信息(在图片参数集PPS中)。通过参数集，不需要针对每一序列或图片来重复此不频繁变化的信息，因此译码效率得到提高。此外，参数集的使用实现了对重要标头信息的带外发射，从而避免了需要将冗余发射用于错误弹性。在带外发射中，可在与其它NAL单元不同的信道上发射参数集NAL单元。

再者，图1的所说明的系统10仅是一个实例。可通过支持基于块的预测编码的任何编码装置，或通过支持基于块的预测解码的任何解码装置来执行本发明的各种技术。源装置12及目的地装置16仅为此些译码装置的实例，其中源装置12产生供发射到目的地装置16的经译码视频数据。在一些情况下，装置12和16可以大体上对称的方式操作，以使得装置12和16中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12和16之间的单向或双向视频发射，例如用于视频流式传输、视频回放、视频广播或视频电话。

源装置12的视频源20可包含一个或一个以上视频俘获装置，例如摄像机、含有先前所俘获的视频的视频存档，或来自视频内容提供者的视频馈入。作为另一替代方案，视频源20可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频和/或计算机产生的视频的组合。在一些情况下，如果视频源20是摄像机，那么源装置12和目的地装置16可形成所谓的相机电话或视频电话，或经配置以操纵视频数据的其它移动装置，例如平板计算装置。在每一情况下，视频编码器22可对所俘获、预俘获或计算机产生的视频进行编码。视频源20俘获视图且将视图提供给深度处理单元21。在一些实例中，深度处理单元21是视频编码器22的一部分。

可从由视频源20俘获的视图确定视图中的对象的深度图像。深度处理单元21可经配置以自动计算视图中的对象的深度值。举例来说，深度处理单元21可基于亮度信息来计算对象的深度值。深度处理单元21还可确定视图中的深度值的深度范围。所述深度范围可对应于最小(例如，最近)现实世界深度值到最大(例如，最远)现实世界深度值的范围。如本文中所使用，将深度值表示为d，而将深度范围表示为z_near到z_far。

在一些实例中，深度处理单元21经配置以从用户接收深度信息。在一些实例中，视频源20可以不同角度俘获场景的两个视图，且基于两个视图中的对象之间的视差来计算场景中的对象的深度信息。在各种实例中，视频源20可包括标准的二维相机、提供场景的立体视图的二相机系统、俘获场景的多个视图的相机阵列，或俘获一个视图加深度信息的相机。

深度处理单元21将纹理视图分量和深度视图分量传递给视频编码器22。深度处理单元21还可将视图传递给视频解码器22。深度视图分量可来自视图的深度图图像。深度图图像可包括与将显示的区域(例如，块、切片或帧)相关联的每一像素区的深度值的图。像素区可为单个像素或一个或一个以上像素的群组。深度图的一些实例针对每个像素具有一个深度分量。在具有子像素精度的其它实例中，每个像素存在多个深度分量。可以实质上类似于纹理数据的方式，例如相对于其它先前经译码深度数据而使用帧内预测或帧间预测，来对深度图进行译码。

在一些实例中，估计深度图。当一个以上视图可用时，可使用立体匹配来估计深度图。然而，在2D到3D的转换中，估计深度可更困难。尽管如此，可使用通过各种方法估计的深度图来用于根据基于深度图像的再现(DIBR)的3D再现。

虽然视频源20可提供场景的多个视图，但深度处理单元21可基于所述多个视图来计算深度信息，且源装置12可一般针对场景的每一视图发射一个视图加深度信息。

当视图是数字静态图片时，视频编码器22可经配置以将视图编码为(例如)联合照片专家组(JPEG)图像。当视图是视频数据帧时，视频编码器22可经配置以根据视频译码标准对第一视图进行编码，所述视频译码标准例如为运动图片专家组(MPEG)、国际标准化组织(ISO)/国际电工委员会(IEC)MPEG-1视觉、ISO/IEC MPEG-2视觉、ISO/IECMPEG-4视觉、国际电信联盟(ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-TH.264/MPEG-4、H.264高级视频译码(AVC)、即将到来的高效率视频译码(HEVC)标准(还被称作H.265)，或其它视频编码标准。视频编码器22可包含深度视图分量以及经编码图像以形成一个或一个以上经译码块。视频编码器22将一个或一个以上经译码块传递到发射器24。可在包含信令信息以及经译码块的位流中将经译码块传送到接收器26。

经编码视频信息可包含纹理视图分量和深度视图分量。纹理分量可包含视频信息的明度(luma)和色度(chroma)分量。明度分量一般描述亮度，而色度分量一般描述色调。深度处理单元21可从所俘获的视图的深度图提取深度信息。视频编码器22可将纹理视图分量和深度视图分量编码为经编码视频数据的单个经译码块。同样，视频编码器22可对块进行编码以使得将明度分量的运动或帧内预测模式信息再用于色度分量和深度分量。视频编码器22可相对于当前视图的深度范围与参考视图的深度范围之间的差而再映射当前视图的深度值。

可由调制解调器23根据例如码分多址(CDMA)或另一通信标准等通信标准来调制经译码块，且经由发射器24和通信信道15将经译码块发射到目的地装置16。调制解调器23可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。在一些实例中，不经由通信信道进行发射，源装置12将包含具有纹理分量和深度分量的块的经编码视频数据存储到存储媒体中，所述存储媒体例如为数字视频光盘(DVD)、蓝光光盘、快闪驱动器等。

目的地装置16的接收器26在通信信道15上接收信息，且调制解调器27解调所述信息。与发射器24类似，接收器26可包含经设计以用于接收数据的电路，包含放大器、滤波器及一个或一个以上天线。在一些实例中，发射器24和/或接收器26可并入包含接收和发射电路的单个收发器组件内。调制解调器27可包含各种混频器、滤波器、放大器或经设计以用于信号解调的其它组件。在一些实例中，调制解调器23和27可包含用于执行调制和解调两者的组件。

而且，由视频编码器22执行的视频编码过程可在可包含运动估计和运动补偿的帧间预测编码以及帧内预测编码期间实施本文中所描述的技术中的一者或一者以上。由视频解码器28执行的视频解码过程还可在解码过程的运动补偿阶段期间执行此些技术。

术语“译码器”在本文中用于指代执行视频编码或视频解码的专用计算机装置或设备。术语“译码器”一般指代任何视频编码器、视频解码器，或组合式编码器/解码器(编解码器)。术语“译码”指代编码或解码。术语“经译码块”、“经译码块单元”或“经译码单元”可指代视频帧的任何可独立解码的单元，例如完整的帧、帧的切片、视频数据块，或根据所使用的译码技术界定的另一可独立解码的单元。

显示装置30向用户显示经解码的视频数据，且可包括多种一个或一个以上显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在一些实例中，显示装置30对应于能够进行三维回放的装置。举例来说，显示装置30可包括立体显示器，所述立体显示器与观看者佩戴的眼睛佩戴物结合使用。所述眼睛佩戴物可包括主动式眼镜，在此情况下，显示装置30与主动式眼镜的镜片的交替快门同步地在不同视图的图像之间快速交替。或者，所述眼睛佩戴物可包括被动式眼镜，在此情况下，显示装置30同时显示来自不同视图的图像，且被动式眼镜可包含偏光镜片，所述偏光镜片一般在正交方向上偏光以在不同视图之间进行滤波。

在图1的实例中，通信信道15可包括任一无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道15可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道15通常表示用于将视频数据从源装置12发射到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包含可用于促进从源装置12到目的地装置16的通信的路由器、交换器、基站或任何其它设备。

视频编码器22和视频解码器28可根据例如ITU-T H.264标准(或者被描述为MPEG-4第10部分，高级视频译码(AVC))的视频压缩标准而操作。可由视频编码器22和视频解码器28使用的基于ITU H.264/AVC标准的额外视频压缩标准包含可缩放视频译码(SVC)标准，其为对ITU H.264/AVC标准的可缩放扩展。视频编码器22和视频解码器28可根据其而操作的另一标准包含多视图视频译码(MVC)标准，其为对ITUH.264/AVC标准的多视图扩展。然而，本发明的技术不限于任何特定视频译码标准。

在一些方面中，视频编码器22及视频解码器28可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

视频编码器22及视频解码器28各自可经实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当以软件实施本发明的技术中的任一者或全部时，实施装置可进一步包含用于存储和/或执行用于软件的指令的硬件，例如用于存储指令的存储器以及用于执行指令的一个或一个以上处理单元。视频编码器22和视频解码器28中的每一者可包含在一个或一个以上编码器或解码器中，其任一者可作为提供编码和解码能力的组合式编解码器的部分集成在相应的移动装置、订户装置、广播装置、服务器等中。

当前正在努力开发新的视频译码标准(当前被称作高效视频译码(HEVC))。即将到来的标准还被称作H.265。标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置模型。HM假设优于根据(例如)ITU-T H.264/AVC的装置的视频译码装置的若干能力。举例来说，尽管H.264提供九种帧内预测编码模式，但HM提供多达三十三种帧内预测编码模式。HEVC可经扩展以支持如本文中所描述的切片标头信息技术。

HM将视频数据块称作译码单元(CU)。位流内的语法数据可定义最大译码单元(LCU)，其为在像素数目方面的最大译码单元。一般来说，CU具有与H.264的宏块类似的目的，只不过CU不具有大小区别。根据HM标准，经译码块可为CU。因此，CU可被分裂为若干子CU。一般来说，在本发明中对CU的参考可涉及图片的最大译码单元(LCU)或LCU的子CU。LCU可被分裂成若干子CU，且每一子CU可被分裂成若干子CU。位流的语法数据可定义LCU可被分裂的最大倍数，被称作CU深度。因此，位流还可定义最小译码单元(SCU)。本发明还使用术语“块”来指代CU、预测单元(PU)或变换单元(TU)中的任一者。

LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构每个CU包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于子CU中的一者。所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的CU是否被分裂为子CU。可递归地定义CU的语法元素，且所述语法元素可取决于CU是否被分裂为子CU。

未分裂的CU可包含一个或一个以上预测单元(PU)。一般来说，PU表示对应CU的全部或一部分，且包含用于检索PU的参考样本的数据。举例来说，在对PU进行帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，在对PU进行帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例如，列表0或列表1)。还可将运动向量处理为具有用于纹理视图分量和深度视图分量的不同分辨率。界定PU的CU的数据还可描述(例如)将CU分割为一个或一个以上PU。分割模式在CU未被译码、被帧内预测模式编码还是被帧间预测模式编码之间可不同。

具有一个或一个以上PU的CU还可包含一个或一个以上变换单元(TU)。在使用PU进行预测之后，视频编码器22可计算CU的对应于PU的部分的残余值。可变换、扫描和量化所述残余值。TU不一定受限于PU的大小。因此，TU可比同一CU的对应PU更大或更小。在一些实例中，TU的最大大小可对应于对应CU的大小。

如上文所述，帧内预测包含从一图片的先前经译码CU来预测同一图片的当前CU的PU。更具体来说，视频编码器22可使用特定帧内预测模式来对图片的当前CU进行帧内预测。HM编码器可被配置有多达三十三种帧内预测模式。因此，为了支持方向性帧内预测模式与方向性变换之间的一对一映射，HM编码器和解码器将需要针对每一所支持的变换大小来存储66个矩阵。此外，针对其而支持所有三十三种帧内预测模式的块大小可为相对大的块，例如32×32像素、64×64像素，或更大。

在目的地装置16中，视频解码器28接收经编码视频数据。视频解码器28根据例如CAVLC或CABAC等熵译码方法对例如经译码块等所接收的视频数据进行熵解码，以获得经量化系数。视频解码器28应用反量化(解量化)和反变换功能以在像素域中重构残余块。视频解码器28还基于经编码视频数据中所包含的控制信息或语法信息(例如，译码模式、运动向量、界定滤波器系数的语法等)而产生预测块。视频解码器28可计算预测块与经重构的残余块的总和以产生用于显示的经重构视频块。下文关于图5来描述由视频解码器28执行的实例性解码过程的额外细节。

如本文中所描述，Y可表示明度，Cb和Cr可表示三维YCbCr色彩空间(例如，蓝色和红色色调)的色度的两个不同值，且d可表示深度信息。在一些实例中，每一像素位置可实际上界定用于三维色彩空间的三个像素值以及用于像素位置的深度的一个像素值。在其它实例中，每个色度分量可存在不同数目的明度分量。举例来说，每个深度分量可存在四个明度分量。另外，深度分量和纹理分量可具有不同的分辨率。在此实例中，在纹理视图分量(例如，明度分量)与深度视图分量之间可能不是一对一的关系。此外，不同视图之间的深度值可具有不同深度图像。然而，本发明的技术可为了简单起见而涉及关于一个维度的预测。在关于一个维度上的像素值来描述技术的程度上，类似技术可扩展到其它维度。具体来说，根据本发明的一个方面，视频编码器22和/或视频解码器28可获得像素块，其中像素块包含纹理视图分量和深度视图分量。

在一些实例中，视频编码器22和视频解码器28可在运动补偿期间使用一种或一种以上内插滤波技术。也就是说，视频编码器22和/或视频解码器28可应用内插滤波器来对包括多组全整数像素位置的支持进行滤波。

目的地装置16的视频解码器28可连同包含与纹理视图分量相关的语法信息的额外信息一起接收一个或一个以上经译码块以作为经编码视频位流的部分。视频编码器28可基于经译码块和语法元素来再现视频数据以供3D回放。可在切片标头中用信号发送语法元素。可用信号发送深度视图分量的一些语法元素。可在切片层级中包含旗标，所述旗标指示是否需要再映射来解码当前深度切片。在另一实例中，可在每一参考视图或图片的切片标头中包含不同的旗标，所述旗标指示在运动补偿是来自那个特定参考视图或图片时是否需要再映射。在其它实例中，除了切片层级(例如，在切片标头中)之外，还可在序列层级(例如，在序列参数集(SPS)数据结构中)、图片层级(例如，在图片参数集(PPS)数据结构或帧标头中)或块层级(例如，在块标头中)处用信号发送语法元素。

图2是进一步详细地说明图1的视频编码器22的一实例的方框图。视频编码器22可对具有不同的深度范围的运动深度图进行编码。视频编码器22是在本文被称作“译码器”的专用视频计算机装置或设备的一个实例。如图2中所示，视频编码器22对应于源装置12的视频编码器22。然而，在一个实例中，视频编码器22可对应于不同的装置。在进一步的实例中，其它单元(例如，其它编码器/解码器(CODEC))也可执行与由视频编码器22执行的技术类似的技术。如本文中所使用，提供单元或模块来表示功能性且可以是或可以不是单独的硬件单元、单独的软件功能或甚至单独的过程。

视频编码器22可执行对视频帧内的块的帧内译码或帧间译码，但为了便于说明，在图2中未展示帧内译码组件。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指代基于空间的压缩模式。例如预测(P模式)或双向(B模式)等帧间模式可指代基于时间的压缩模式。本发明的技术在帧间译码和帧内译码期间适用。然而，为了说明的简明和便利，在图2中未说明例如空间预测单元等帧内译码单元。

如图2中所示，视频编码器22接收待编码视频帧内的视频块。举例来说，视频编码器22可接收纹理视图分量和深度视图分量。在图2的实例中，视频编码器22包含预测处理单元32，所述预测处理单元包含运动估计单元(MEU)35和运动补偿单元(MCU)37，以及一个或一个以上内插滤波器39。视频编码器22进一步包含多视图视频加深度(MVD)单元33、存储器34、第一加法器48、变换处理单元38、量化单元40、深度值再映射(再映射)单元41和熵译码单元46。为了视频块重构，视频编码器22还包含反量化单元42、反变换处理单元44、第二加法器51和解块单元43。视频编码器22还包含用于存储数据的存储器34，例如参考帧缓冲器。

解块单元43可为对块边界进行滤波以从经重构的视频移除成块性假影的解块滤波器。如果包含于视频编码器22中，那么解块单元43将通常对第二加法器51的输出进行滤波。解块单元43可确定一个或一个以上纹理分量的解块信息。解块单元43还可确定深度图分量的解块信息。在一些实例中，一个或一个以上纹理分量的解块信息可不同于深度图分量的解块信息。

多视图视频加深度(MVD)单元33接收包括纹理分量和深度信息的一个或一个以上视频块(图2中标记为“视频块”)。MVD单元33向视频编码器22提供对块单元中的深度分量进行编码的功能性。MVD单元33可以使得预测处理单元32能够处理深度信息的格式向预测处理单元32组合地或单独地提供纹理视图分量和深度视图分量。MVD单元33还可确定每一深度视图分量或帧中的深度值的现实世界深度范围。在其它实例中，视频编码器22的每一单元(例如，预测处理单元32、变换处理单元38、量化单元40、熵译码单元46等)包括用以处理除了纹理视图分量之外的深度信息的功能性。

一般来说，视频编码器22可以类似于色度信息的方式对深度信息进行编码，原因在于运动补偿单元37可经配置以在计算一块的深度分量的预测值时会再用针对同一块的明度分量所计算的运动向量。类似地，视频编码器22的帧内预测单元可经配置以在使用帧内预测编码深度分量时使用针对明度分量(即，基于对明度分量的分析)所选择的帧内预测模式。

预测处理单元32可包含运动估计(ME)单元35和运动补偿(MC)单元37。预测处理单元32可预测像素位置的深度信息以及纹理分量。一个或一个以上内插滤波器39(在本文被称作“滤波器39”)可包含于预测处理单元32中且可由ME单元35和MC单元37中的一者或两者调用来执行内插以作为运动估计和/或运动补偿的部分。内插滤波器39可实际上表示用以促进众多不同类型的内插和内插类型的滤波的多个不同滤波器。因此，预测处理单元32可包含多个内插或类内插滤波器。

在编码过程期间，视频编码器22接收将被译码的视频块(图2中标记为“视频块”)，且预测处理单元32执行帧间预测译码以产生预测块(图2中标记为“预测块”)。预测块可包含纹理视图分量和深度视图信息两者。具体来说，ME单元35可执行运动估计来识别存储器34中的预测块，且MC单元37可执行运动补偿来产生预测块。

运动估计通常被视为产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测或参考帧(或其它经译码单元，例如切片)内的预测块相对于当前帧(或其它经译码单元)内将被译码的块的位移。运动向量可具有全整数或子整数像素精度。举例来说，运动向量的水平分量和垂直分量两者可具有相应的全整数分量和子整数分量。参考帧(或帧的部分)可在时间上位于当前视频块所属的视频帧(或视频帧的部分)之前或之后。运动补偿通常被视为从存储器34获取预测块或产生预测块的过程，所述过程可包含基于由运动估计确定的运动向量来内插或以其它方式产生预测数据。

ME单元35通过将视频块与一个或一个以上参考帧(例如，前一和/或后一帧)的参考块进行比较来计算将被译码的视频块的至少一个运动向量。参考帧的数据可存储于存储器34中。ME单元35可执行具有分数像素精度的运动估计，其有时被称作分数像素(fractional pixel)、分数像素(fractional pel)、子整数或子像素运动估计。在分数像素运动估计中，ME单元35可计算指示到除了整数像素位置之外的位置的位移的运动向量。因此，运动向量可具有分数像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度，或其它分数像素精度。以此方式，分数像素运动估计允许预测处理单元32估计具有比整数像素(或全像素)位置高的精度的运动，且因此，预测处理单元32可产生更准确的预测块。分数像素运动估计可允许预测处理单元32以第一分辨率预测深度信息，且以第二分辨率预测纹理分量。举例来说，可将纹理分量预测为全像素精度，而将深度信息预测为二分之一像素精度。在其它实例中，可使用运动向量的其它分辨率来用于深度信息和纹理分量。

ME单元35可调用滤波器39来用于运动估计过程期间的任何必要的内插。在一些实例中，存储器34可存储子整数像素的经内插值，所述经内插值可由(例如)第二求和器51使用滤波器39来计算。举例来说，第二求和器51可将滤波器39应用于将存储于存储器34中的经重构块。

例如具有深度值再映射(“再映射”)单元41的视频编码器22可基于当前深度视图分量的第一现实世界深度范围与参考深度视图分量的第二现实世界深度范围之间的差来执行当前深度视图分量的再映射。再映射单元41可确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围。再映射单元41还可确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，例如，其中当前视图分量是相对于参考视图分量而预测。可从参考视图分量确定当前视图分量的一部分的预测块。可基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值。可基于一函数来调整所述值。可基于所述预测块的所述经调整的值来预测当前视图的所述部分。

在一个实例中，可将含有潜在函数的查找表存储在存储器34中。再映射单元41可咨询所述查找表来选择用于每一深度视图分量或参考视图分量的函数。在一个实例中，所述查找表包含用于8字节深度图的256个值。可通过检查查找表来计算线性函数。可将所述函数应用于所预测块的深度范围值。

一旦预测处理单元32已产生预测块或再映射预测块，视频编码器22便通过从正被译码的原始视频块中减去预测块来形成残余视频块(图2中标记为“残余块”)。此减法可发生在原始视频块中的纹理分量与预测块中的纹理分量之间，以及针对原始视频块中的深度信息或来自预测块中的深度信息的深度图而发生。第一加法器48表示执行此减法运算的组件。

变换处理单元38可对残余块应用变换(例如，离散余弦变换(DCT)或概念上类似的变换)，从而产生包括残余变换块系数的视频块。应理解，变换处理单元38表示将变换应用于视频数据块的残余系数(与如由HEVC定义的CU的TU形成对比)的视频编码器22的组件。也就是说，在图2中所示的实例中，变换处理单元38可为功能块，而不是按照HEVC的“TU”。

变换处理单元38可例如执行概念上类似于DCT的其它变换，例如由H.264标准定义的变换。此些变换可包含(例如)方向性变换(例如，卡胡南-罗孚(Karhunen-Loeve)法则变换)，小波变换、整数变换、子带变换，或其它类型的变换。在任何情况下，变换处理单元38对残余块应用所述变换，从而产生残余变换系数块。变换处理单元38可将相同类型的变换应用于对应的残余块中的纹理分量和深度信息两者。可存在每一纹理和深度分量的单独残余块。所述变换可将残余信息从像素域转换为频域。

量化单元40量化残余变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。量化单元40可量化深度图像译码残余值。在量化之后，熵译码单元46对经量化变换系数进行熵译码。举例来说，熵译码单元46可执行CAVLC、CABAC或另一熵译码方法。

熵译码单元46还可对从预测处理单元32或视频编码器22的其它组件(例如，量化单元40)获得的一个或一个以上运动向量和支持信息进行译码。一个或一个以上预测语法元素可包含译码模式、一个或一个以上运动向量的数据(例如，水平分量和垂直分量、参考列表识别符、列表索引，和/或运动向量分辨率信令信息)、所使用的内插技术的指示、一组滤波器系数、深度图像与明度分量的分辨率的相对分辨率的指示、深度图像译码残余值的量化矩阵、深度图像的解块信息，或与预测块的产生相关联的其它信息。可在序列层级中或在图片层级中提供这些预测语法元素。

所述一个或一个以上语法元素还可包含明度分量与深度分量之间的量化参数(QP)差。可在切片层级处用信号发送QP差。还可在经译码块单元层级处用信号发送其它语法元素，包含深度视图分量的经译码块模式、深度视图分量的增量QP、运动向量差，或与预测块的产生相关联的其它信息。可将运动向量差作为目标运动向量与纹理分量的运动向量之间的增量值，或作为目标运动向量(即，正被译码的块的运动向量)与来自块(例如，CU的PU)的相邻运动向量的预测符之间的增量值而用信号发送。在熵译码单元46进行的熵译码之后，可将经编码视频和语法元素发射到另一装置或加以存档(例如，存档在存储器34中)以用于稍后发射或检索。

反量化单元42和反变换处理单元44分别应用反量化和反变换，以在像素域中重构残余块，(例如)以用于稍后用作参考块。经重构残余块(在图2中标记为“经重构残余块”)可表示提供给变换处理单元38的残余块的经重构版本。归因于量化和反量化操作而导致的细节的损失，经重构残余块可能不同于由第一求和器48产生的残余块。第二求和器51将所述经重构的残余块与由预测处理单元32产生的经运动补偿的预测块相加，以产生用于存储在存储器34中的经重构视频块。可由预测处理单元32将所述经重构视频块用作参考块，所述参考块可用于随后对后续视频帧或后续经译码单元中的块单元进行译码。

以此方式，视频编码器22表示视频编码器的一实例，其经配置以：确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围；确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；从所述参考视图分量确定所述当前视图分量的一部分的预测块；基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来处理所述当前视图的所述部分。

图3是用于多视图视频译码的MVC预测结构的一个实例的图。MVC预测结构包含每一视图内的图片间预测以及视图间预测两者。在图3B中，预测由箭头指示，其中指向对象使用对指对象来用于预测参考。纹理和深度图两者可能够被视图间预测。图3的MVC预测结构可与时间优先解码次序布置结合使用。在时间优先解码次序中，可将每一存取单元界定成含有一个输出时刻处的所有视图的经译码图片。存取单元的解码次序可不等同于输出或显示次序。

在MVC中，视图间预测可受到视差运动补偿支持，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片作为参考图片。对两个视图的译码也可受到MVC支持。MVC编码器可将两个以上视图用作3D视频输入，且MVC解码器可解码多视图表示。具有MVC解码器的再现器可解码具有多个视图的3D视频内容。

在MVC中，相同存取单元(即，具有相同时刻)中的图片可被视图间预测。当对非基础视图中的一者中的图片进行译码时，如果图片处于不同视图中但具有相同时刻，那么可将所述图片添加到参考图片中。可将视图间预测参考图片置于参考图片列表的任何位置中，正如任何帧间预测参考图片一样。

在MVC中，可如同另一视图中的视图分量是帧间预测参考一般实现视图间预测。可在序列参数集(SPS)MVC扩展中用信号发送潜在的视图间参考。可通过参考图片列表建构过程来修改潜在的视图间参考，所述参考图片列表建构过程实现对帧间预测或视图间预测参考的灵活排序。

可使用位流在(例如)图1的源装置12与目的地装置16之间传递多视图视频加深度块单元和语法元素。所述位流可遵照译码标准ITU H.264/AVC，且具体来说，遵循多视图视频译码(MVC)位流结构。也就是说，在一些实例中，所述位流可符合H.264/AVC的MVC扩展。在其它实例中，所述位流可符合HEVC的多视图扩展或另一标准的多视图扩展。在又其它实例中，可使用其它译码标准。

典型的MVC位流次序(解码次序)布置是时间优先译码。将每一存取单元界定为含有一个输出时刻处的所有视图的经译码图片。存取单元的解码次序可等同于或可不等同于输出或显示次序。通常，MVC预测可包含每一视图内的图片间预测以及视图间预测两者。在MVC中，视图间预测可受到视差运动补偿支持，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。

对两个视图的译码受到MVC支持。MVC的一个优点是，MVC编码器可将两个以上视图用作3D视频输入，且MVC解码器可将两个视图解码为多视图表示。因此，具有MVC解码器的再现器可将3D视频内容视为具有多个视图。先前，MVC不处理具有SEI消息(立体信息或空间交错图片)的深度图输入，类似于H.264/AVC。

在H.264/AVC标准中，将网络抽象层(NAL)单元界定为提供“网络友好的”视频表示，从而解决了例如视频电话、存储或流式传输视频等应用。可将NAL单元归类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎且包括块、宏块(MB)和切片层级。其它NAL单元是非VCL NAL单元。

在2D视频编码中，每一NAL单元可含有一个字节的NAL单元标头和不同大小的有效负载。可使用五个位来指定NAL单元类型。三个位可用于nal_ref_idc，其指示在被其它图片(NAL单元)参考方面NAL单元有多重要。举例来说，将nal_ref_idc设定为等于0意味着NAL单元不用于帧间预测。随着H.264/AVC可扩展到包含3D视频编码，例如可缩放视频译码(SVC)标准，NAL标头可类似于2D情形的NAL标头。

NAL单元标头还可用于MVC NAL单元。然而，在MVC中，可保留NAL单元标头结构，除了前缀NAL单元和经MVC译码的切片NAL单元之外。经MVC译码的切片NAL单元可包括四字节标头和NAL单元有效负载，所述NAL单元有效负载可包含例如图1的经译码块8等块单元。MVC NAL单元标头中的语法元素可包含priority_id、temporal_id、anchor_pic_flag、view_id、non_idr_flag以及inter_view_flag。在其它实例中，其它语法元素可包含于MVC NAL单元标头中。

语法元素anchor_pic_flag可指示图片是锚图片还是非锚图片。锚图片以及以输出次序(显示次序)在其后面的所有图片可被正确解码，而不需要以解码次序(即，位流次序)对先前图片进行解码，且因此可用作随机存取点。锚图片和非锚图片可具有不同的相依性，可在序列参数集中用信号发送以上两者。

MVC中所界定的位流结构可通过两个语法元素来表征：view_id和temporal_id。语法元素view_id可指示每一视图的识别符。NAL单元中的此识别符使得能够容易地在解码器处识别NAL单元且快速地存取经解码的视图以进行显示。语法元素temporal_id可指示时间可缩放性分层结构，或间接地指示帧速率。举例来说，包含具有较小的最大temporal_id值的NAL单元的操作点可具有比具有较大的最大temporal_id值的操作点低的帧速率。具有较高的temporal_id值的经译码图片通常取决于视图内的具有较低的temporal_id值的经译码图片，但可不取决于具有较高temporal_id的任何经译码图片。

NAL单元标头中的语法元素view_id和temporal_id可用于位流提取和调适两者。语法元素priority_id可主要用于简单的一路径位流调适过程。语法元素inter_view_flag可指示此NAL单元是否将用于视图间预测不同视图中的另一NAL单元。

MVC还可使用序列参数集(SPS)且包含SPS MVC扩展。参数集用于H.264/AVC中的信令。参数集可含有序列参数集中的序列层级标头信息以及图片参数集PPS中的不频繁变化的图片层级标头信息。通过参数集，不需要始终针对每一序列或图片来重复此不频繁变化的信息，因此译码效率得到提高。此外，参数集的使用实现了对标头信息的带外发射，从而避免需要冗余发射来用于错误弹性。在带外发射的一些实例中，可在与其它NAL单元不同的信道上发射参数集NAL单元。在MVC中，可在SPS MVC扩展中用信号发送视图相依性。可在由SPS MVC扩展指定的范围内进行所有视图间预测。

在一些先前的3D视频编码技术中，以一种方式对内容进行译码，使得在一个或一个以上NAL单元中对色彩分量(例如，在YCbCr色彩空间中)进行译码，而在一个或一个以上单独的NAL单元中对深度图像进行译码。然而，当没有单个NAL单元含有存取单元的纹理和深度图像的经译码样本时，可出现若干问题。举例来说，在3D视频解码器中，预期在对每一帧的纹理和深度图像两者进行解码之后，激活基于深度图和纹理的视图再现以产生虚拟视图。如果以连续方式对存取单元的深度图像的NAL单元和纹理的NAL单元进行译码，视图再现可直到对整个存取单元进行解码时才开始。此可导致增加再现3D视频的时间。

如本文中所描述，可将若干技术添加到现有标准，例如MVC，以便支持3D视频。可将多视图视频加深度(MVD)添加到MVC以用于3D视频处理。3D视频编码技术可向现有的视频标准提供更多的灵活性和可扩展性，例如，以用于流畅地改变视图角度，或基于装置的规格或用户偏好来向后或向前调整收敛或深度感知。还可扩展译码标准以利用深度图来产生3D视频中的虚拟视图。

图4是说明可对以本文中所描述的方式编码的视频序列进行解码的视频解码器28的实例的框图。视频解码器28是在本文被称作“译码器”的专用视频计算机装置或设备的一个实例。如图3中所示，视频解码器28对应于目的地装置16的视频解码器28。然而，在其它实例中，视频解码器28可对应于不同的装置。在进一步的实例中，其它单元(例如，其它编码器/解码器(CODEC))也可执行与视频解码器28类似的技术。

视频解码器28包含熵解码单元52，所述熵解码单元对所接收的位流进行熵解码以产生经量化系数和预测语法元素。位流可包含具有可用于再现3D视频的纹理分量和对应的深度分量的经译码块。所述位流还可包含语法元素。预测语法元素可包含：译码模式、一个或一个以上运动向量、识别所使用的内插技术的信息、在内插滤波中使用的系数和/或与预测块的产生相关联的其它信息。

将例如运动向量数据等预测语法元素转发到预测处理单元55。预测处理单元55可使用所述运动向量数据来产生纹理分量或深度分量的所预测块。预测处理单元55可将纹理分量的所预测块直接提供给求和器64，而预测处理单元55可将深度分量的所预测块提供给再映射单元63。再映射单元63可确定参考帧(或切片)与当前帧(或切片)的现实世界深度范围中的差，且例如使用查找表或本发明中针对调整深度图所预测值所描述的其它技术来相应地调整深度分量的所预测值中的值。以此方式，再映射单元63包括用于基于参考帧或切片的第一现实世界深度范围与正被译码的当前帧或切片的第二现实世界深度范围之间的差来调整预测块的值的单元的实例。

预测处理单元55可以与上文关于视频编码器22的预测处理单元32所详细描述的方式非常相同的方式，基于存储于存储器62中的预测语法元素和一个或一个以上先前经解码的块来产生预测数据。具体来说，预测处理单元55可在运动补偿期间执行本发明的多视图视频加深度技术中的一者或一者以上以产生并入深度分量以及纹理分量的预测块。预测块(以及经译码块)针对深度分量与纹理分量可具有不同的分辨率。举例来说，深度分量可具有四分之一像素精度，而纹理分量具有全整数像素精度。因此，可由视频解码器28在产生预测块的过程中使用本发明的技术中的一者或一者以上。预测处理单元55可包含运动补偿单元，所述运动补偿单元包括用于本发明的内插和类内插滤波技术的滤波器。出于说明的简单和便利起见，在图4中未展示运动补偿组件。这些滤波器可大体上符合预测处理单元32(图2)的内插滤波器39。

反量化单元56将经量化系数反量化，即解量化。反量化过程可为针对H.264解码或针对任何其它解码标准而界定的过程。反变换处理单元58对变换系数应用反变换(例如，反DCT或概念上类似的反变换过程)，以便在像素域中产生残余块。求和器64对残余块与由预测处理单元55产生的对应预测块进行求和以形成由视频编码器22编码的原始块的经重构版本。如果需要的话，还可应用去块滤波器以对经解码块进行滤波，以便移除成块性假影。经解码视频块随后被存储在存储器62中，所述存储器提供用于后续运动补偿的参考块且还产生经解码视频以驱动显示装置(例如，图1的装置28)。

经解码视频数据可用于再现3D视频。3D视频可包括三维虚拟视图。也就是说，可使用视图分量的纹理分量和深度分量来再现(建构)虚拟视图。可使用深度信息来确定视图分量的每一块中的每一像素的水平偏移(水平视差)。还可执行遮挡处置以产生虚拟视图。视频解码器28可将经解码的纹理和深度信息提供给外部单元以用于再现虚拟视图。

以此方式，视频解码器28表示视频解码器的一实例，其经配置以：确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围；确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；从所述参考视图分量确定所述当前视图分量的一部分的预测块；基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来处理所述当前视图的所述部分。

图5是说明与本发明一致的视频译码器的实例性操作的流程图。视频编码器或视频解码器可执行图5的实例性方法。例如视频编码器22等视频译码器确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围(102)。所述视频译码器确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，其中当前视图分量是相对于参考视图分量而预测(104)。现实世界深度范围可由深度相机直接俘获，在内容是从计算机图形的3D模型产生的情况下进行计算，或从例如视差估计等技术来进行估计。

所述视频译码器可从所述参考视图分量确定所述当前视图分量的一部分的预测块(106)。可基于在H.264/AVC、HEVC或其它视频译码标准中所描述的用于确定预测块的技术来确定预测块。

一旦确定了预测块，如果参考视图的深度视图分量的现实世界深度范围不同于当前视图的深度视图分量的现实世界深度范围，那么可能需要调整预测块的深度值。可将参考视图的深度视图分量的现实世界深度范围与当前视图的深度视图分量的现实世界深度范围进行比较以确定它们是否不同。在一些实例中，当所述现实世界深度范围不同时，视频译码器基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值(108)。

可使用经调整的预测块的值对当前视图进行译码。视频译码器基于预测块的经调整的值来预测当前视图的所述部分(110)。

在其中视频译码器是视频编码器的实例中，确定预测块可包括形成预测块。预测当前视图的一部分包括基于预测块的经调整的值对当前视图的所述部分进行译码。在其中视频译码器是视频解码器的另一实例中，确定预测块包括接收预测块，且处理当前视图的所述部分包括基于预测块的经调整的值对当前视图的所述部分进行解码。

可在预测块的例如切片标头等标头中提供旗标，所述旗标指示预测块的值是否曾被调整。标头可为位流中的提供经译码视频块的语法元素的数据。举例来说，熵译码单元46(图2)可提供此类旗标，且熵解码单元52(图4)可解译旗标的值的语义。还可在标头信息中提供旗标，所述旗标指示从参考视图分量确定预测块的值的参考视图分量的一部分是否曾被调整。基于第一现实世界深度范围与第二现实世界深度范围之间的差来调整预测块的值可包含将一函数应用于预测块的值。所述函数可为线性函数。在一些实例中，所述函数包含缩放预测块的深度值且将偏移添加到经缩放的深度值。所述缩放和偏移可与第一深度范围和第二深度范围相关。举例来说，缩放和偏移的量可基于所述第一或第二深度范围值。可基于包括八字节深度图的值的查找表来计算所述函数。

使用现有的译码标准，例如H.264/AVC或HEVC，可将深度图序列用作正常视频序列。在3DV内容中，深度图序列可能与纹理视频序列相关联。深度图图像可通常含有具有已被量化的现实世界z值的图像。举例来说，可将深度图图像量化为(例如)遵循特定公式的8字节，例如：

\frac{1}{z} - \frac{1}{z_{far}} = \frac{d}{255} (\frac{1}{z_{near}} - \frac{1}{z_{far}}) - - - (1)

其中d是范围从0到255的经量化深度，且z是范围从Z_near到z_far的现实世界值。

从现实世界值到8字节深度值的量化可能在帧之间且还可能在视图之间变化，因为z_mear到z_far可改变。因此，当前帧及其参考帧中的相同的深度值可能对应于不同的现实世界深度值。当当前帧和对应的参考帧中的相同的深度值适用于不同的现实世界深度值时，运动补偿效率可能会降低。此外，当前视图帧及其视图间参考帧中的相同的深度值可能对应于不同的现实世界深度值，因此，视图间预测可能不高效。

可逐像素地应用再映射。在其它实例中，可将深度值再映射应用于像素群组。

当在帧层级中存在现实世界深度范围变化时，可应用本文中所描述的技术。可在运动补偿之后引入深度值再映射解码过程。可将再映射假设为线性函数，使得可在已使用内插技术执行的子像素运动补偿之后进行像素值再映射。可将再映射一般化为任何形式的纹理预测，包含被量化为相同的动态范围但不同的照明范围的图片之间的视图间深度预测以及任何纹理预测。在一些实例中，针对帧的每一视频块或其它部分来单独地确定函数，而在其它实例中，可应用单个函数以再映射整个帧。

在一些实例中，可引入查找表，因此，可通过检查映射数据库或查找表来计算将应用于当前深度图的函数。在一个实例中，映射数据库包括8字节深度图的256个值可为可由视频编码器和视频解码器存取的。映射数据库查找表可存储在视频译码器内部，例如存储在视频编码器22的存储器34中，或存储在可由视频译码器存取的外部存储装置中。

与传统的视频译码平台相比，根据本文中所描述的技术而提出一种深度值再映射过程。通过遵循运动补偿块的每一像素的共同函数，可将运动补偿块的每一像素映射到新值。所述技术可适用于基于运动补偿的任何编解码器，因此适用于H.264/AVC和HEVC的潜在扩展。

为了确定线性再映射函数，将具有深度z的像素映射到具有深度范围

的参考图片中的d，且当前图片具有深度范围

需要将d值映射到d¹以用于更准确的预测，其中等式(1)变为：

\frac{1}{z} - \frac{1}{z_{far}^{1}} = \frac{d^{1}}{255} (\frac{1}{z_{near}^{1}} - \frac{1}{z_{far}^{1}}) - - - (2)

将深度范围应用于等式(2)，此导致：

\frac{1}{z} - \frac{1}{z_{far}^{0}} = \frac{d^{0}}{255} (\frac{1}{z_{near}^{0}} - \frac{1}{z_{far}^{0}}) - - - (3)

为了简化等式3，可作出以下标示：

y = \frac{1}{z} - - - (4)

y_{n}^{t} = \frac{1}{z_{near}^{t}} - - - (5)

y_{f}^{t} = \frac{1}{z_{far}^{t}} - - - (6)

其中t＝0、1。

通过6将等式4映射到等式3可实现以下等式7：

d^{1} = d \frac{y_{n}^{0} - y_{f}^{0}}{y_{n}^{1} - y_{f}^{1}} + 255 \frac{y_{f}^{0} - y_{f}^{1}}{y_{n}^{1} - y_{f}^{1}} - - - (7)

应注意：

d^{1} &Element; [d \frac{y_{n}^{0} - y_{f}^{0}}{y_{n}^{1} - y_{f}^{1}}, \frac{y_{f}^{0} - y_{f}^{1}}{y_{n}^{1} - y_{f}^{1}} 255] - - - (8)

定义以下关系：

α = \frac{y_{n}^{0} - y_{f}^{0}}{y_{n}^{1} - y_{f}^{1}} - - - (9)

β = 255 \frac{y_{f}^{0} - y_{f}^{1}}{y_{n}^{1} - y_{f}^{1}} - - - (10)

因此，将等式9和10应用于等式7，等式1的再映射函数变为：

f(d)＝α·d+β (11)

在此实例中，再映射函数是线性函数，因为

f(d_i+d_j)＝f(d_i)+f(d_j) (12)

且

f(a*d)＝a*f(d) (13)

还应注意以下关系：

∑a_if(d_i)＝f(∑a_i·d_i) (14)

等式14指示应用于经再映射的参考图片的子像素运动补偿可在一些实例中等效于首先进行子像素运动补偿，且随后对经补偿的信号应用再映射。可如下说明再映射函数：

f (d) = \frac{\frac{1}{z_{near}^{0}} - \frac{1}{z_{far}^{0}}}{\frac{1}{z_{near}^{1}} - \frac{1}{z_{far}^{1}}} d + 255 \frac{\frac{1}{z_{far}^{0}} - \frac{1}{z_{far}^{1}}}{\frac{1}{z_{near}^{1}} - \frac{1}{z_{far}^{1}}} - - - (15)

在一些实例中，计算每一像素的以上再映射函数可更加复杂，且使用比所需的计算资源多的计算资源。替代地，可使用查找表来替代计算每一像素的再映射函数。所述查找表可对应于参考图片。第n个参考图片具有查找表

假设来自第n个参考图片的经补偿的像素块(大小K×L)是阵列Pre＝{pre_i，j}，0≤i＜K，0≤j＜L。所述再映射过程如下产生最终的预测阵列FPre＝{fpre_i，j}：

应注意，查找表中的一些值可为负或大于255。在此些情况下，可使用16位带正负号的整数来表示所述值。

在具有量化函数的其它实例中，可类似地计算再映射函数。给出两个实例。在第一实例中，z值与d值成比例：

z_{far} - z = \frac{d}{255} (z_{far} - z_{near}) - - - (17)

在等式17的实例中，以下再映射线性函数产生：

f (d) = \frac{z_{far}^{0} - z_{near}^{0}}{z_{far}^{1} - z_{near}^{1}} d + 255 \frac{z_{far}^{1} - z_{far}^{0}}{z_{far}^{1} - z_{near}^{1}} - - - (18)

作为第二实例，z值是d值的查找表，从而意味着以下两个函数针对参考图片作为z₀(d)用信号发送且针对当前图片作为z₁(d)用信号发送。因此，此实例中的再映射如下：

f (d) = z_{1}^{- 1} (z_{0} (d)) - - - (19)

由于z₀(d)和z₁(d)两者都是单调函数，所以z₁的反函数可通过搜索z₁(d)函数来计算。举例来说，在不损失一般性的情况下，可将两个函数假设为单调递减函数。给定范围[0，255]中的任何值d，通过检查对应于z₀(d)的查找表来确定所得的现实世界深度值

举例来说，

可在经译码位流中存在一旗标来指示是否已执行再映射。可在位流中用信号发送所述旗标，且将所述旗标设定为第一值以指示尚未执行再映射，且设定为不同于第一值的第二值来指示已执行再映射。例如depth_remap_enabled_flag等旗标可包含于切片标头中以指示是否启用再映射。举例来说，当此旗标为真时，需要再映射，否则不需要再映射。在一些实例中，不需要再映射，因为，例如，当前帧与任何参考帧之间不存在深度范围变化，或深度范围变化低于可接受的深度范围差的阈值水平。在另一实例中，预测块的切片标头可指示针对切片的一个或一个以上块的译码而启用对预测块的基于深度范围的调整。所述切片可包含当前视图分量。

在其中当前图片需要再映射的一些实例中，可能存在具有与当前图片的深度范围相同或类似的深度范围的参考图片以及不具有相同或类似的深度范围的另一参考图片。因此，当depth_remap_enabled_flag为真时，可在每一参考图片的切片标头中引入旗标。此旗标指示特定参考图片和当前图片是否需要再映射。

图6是说明用于调整深度图的运动补偿值的另一实例性译码装置200的组件之间的实例性流程的概念图。在图6的实例中，译码装置200包含译码器控制202、变换/缩放/量化单元204、缩放/反量化单元206、滤波单元208、帧内预测单元210、运动补偿单元212、深度值再映射单元214、运动估计单元216和熵译码单元220。译码装置200可表示编码装置或解码装置。

译码装置200的与视频编码器22的相对物组件类似命名的组件可在功能性方面大体上与其相符。在此实例中，译码装置200接收输入图像222，所述输入图像是表示对应纹理图像(例如，对应的纹理分量)的若干部分的深度值的深度图。深度值可一般以大体上类似于在没有色度数据的情况下对明度数据的译码的方式进行译码，使得可使用帧内和/或帧间预测对此深度信息进行译码。因此，译码器控制单元202确定用以对输入图像222进行译码的译码模式，例如，帧内或帧间模式。

假设在不损失一般性的情况下，译码器控制单元202选择帧间预测对输入图像222进行编码，运动估计单元216可计算运动向量以用于相对于由参考图像218表示的前一经译码图像的若干部分来预测输入图像222的块，所述参考图像可存储于译码装置200的存储器(未图示)中。运动估计单元216可将所计算的运动向量提供给运动补偿单元212，所述运动补偿单元可使用参考图像218来产生输入图像222的所预测块。输入图像222和参考图像218可具有相应的现实世界深度范围。

根据本发明的技术，运动补偿单元212可将预测块提供给深度值再映射单元214，所述深度值再映射单元还可接收输入图像222和参考图像218的相应的现实世界深度范围的指示。另外，根据这些技术，深度值再映射单元214可基于输入图像222的现实世界深度范围与参考图像218的现实世界深度范围之间的差来调整从运动补偿单元212接收的预测块的值。

深度值再映射单元214可使用本发明的技术中的任一者或全部来调整深度图的所预测块的值。举例来说，深度值再映射单元214可执行线性函数或参考查找表来调整所预测块的值。在一些实例中，深度值再映射单元214(或译码装置200的另一单元)可基于切片和用于预测切片的块的参考帧或切片的现实世界深度范围之间的差在切片标头中提供表示是否需要再映射切片的深度值的指示(例如，旗标)。

当译码器控制单元202选择帧内预测时，帧内预测单元210可计算所预测块。因为帧内预测涉及从同一帧的相邻的先前经译码像素形成所预测块，所以所预测块和参考样本的现实世界深度范围将一般不会不同，因为它们对应于同一参考帧。然而，在同一帧(或切片)内提供不同的深度范围的情况下，也可应用这些技术来调整由帧间预测产生的所预测块的值。

将所预测块(其可已由深度值再映射单元214调整)连同来自输入图像222的对应(即，并置的)块一起提供给求和器226。求和器226计算这些块之间的差以产生残余值，所述残余值由变换/缩放/量化单元204变换、缩放和量化，从而产生经量化变换系数。熵译码单元220可对经量化变换系数以及当前块的运动向量数据或帧内预测模式信息和/或其它语法数据进行熵编码。同样，缩放/反量化/反变换单元206可对经量化变换系数进行反量化、反变换和缩放以再生残余数据。求和器228将经再生的残余数据与所预测块进行组合，所述所预测块再次可已由深度值再映射单元214根据本发明的技术进行调整。滤波单元228可对求和器228的输出进行滤波且将潜在经滤波的输出提供给存储参考图像(例如，参考图像218)的存储器以用作用于随后经译码视频数据的参考。

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对于非暂时的有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一个或一个以上处理器)来提供。

已描述了本发明的各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims

1.一种处理视频数据的方法，所述方法包括：

确定对应于参考视图分量的第一深度视图分量的第一现实世界深度范围；

确定对应于当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；

从所述参考视图分量确定所述当前视图分量的一部分的预测块；

基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及

基于所述预测块的所述经调整的值来预测所述当前视图的所述部分。

2.根据权利要求1所述的方法，其中确定预测块包括形成所述预测块。

3.根据权利要求2所述的方法，其中处理所述当前视图的所述部分包括基于所述预测块的所述经调整的值对所述当前视图的所述部分进行编码。

4.根据权利要求2所述的方法，其中处理所述当前视图的所述部分包括基于所述预测块的所述经调整的值对所述当前视图的所述部分进行解码。

5.根据权利要求2所述的方法，其进一步包括：

在所述预测块的切片标头中指示针对包括所述当前视图分量的切片的一个或一个以上块的译码而启用对所述预测块的基于深度范围的调整。

6.根据权利要求1所述的方法，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值进一步包括：将一函数应用于所述预测块的所述值。

7.根据权利要求6所述的方法，其中应用所述函数包括缩放所述预测块的深度值且将偏移添加到所述经缩放的深度值。

8.根据权利要求7所述的方法，其中所述缩放和所述偏移两者与所述第一深度范围和所述第二深度范围相关。

9.根据权利要求6所述的方法，其进一步包括：

基于包括八字节深度图的值的查找表来确定所述函数。

10.根据权利要求8所述的方法，其中将所述函数应用于所述预测块的所述值进一步包括将所述函数应用于所述预测块中的每一像素，其中将所述函数给定为

f (d) = \frac{z_{far}^{0} - z_{near}^{0}}{z_{far}^{1} - z_{near}^{1}} d + 255 \frac{z_{far}^{1} - z_{far}^{0}}{z_{far}^{1} - z_{near}^{1}} .

11.根据权利要求1所述的方法，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差来调整所述预测块的所述值进一步包括：当所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差超过阈值水平时，调整所述预测块的所述值。

12.根据权利要求1所述的方法，其进一步包括：

对所述参考视图分量执行运动补偿，其中在对所述参考视图分量的所述运动补偿之后执行调整所述预测块的值。

13.一种用于对视频数据进行译码的装置，其包括视频译码器，所述视频译码器经配置以：确定包括参考视图分量的第一深度视图分量的第一现实世界深度范围；确定包括当前视图分量的第二深度视图分量的第二现实世界深度范围，其中所述当前视图分量是相对于所述参考视图分量而预测；从所述参考视图分量确定所述当前视图分量的一部分的预测块；基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值；以及基于所述预测块的所述经调整的值来预测所述当前视图的所述部分。

14.根据权利要求13所述的装置，其中所述视频译码器是视频编码器，其中确定预测块进一步包括形成所述预测块，且其中处理所述当前视图的所述部分进一步包括基于所述预测块的所述经调整的值对所述当前视图的所述部分进行编码。

15.根据权利要求14所述的装置，其中所述视频编码器进一步经配置以在所述预测块的切片标头中指示针对包括所述当前视图分量的切片的一个或一个以上块的译码而启用对所述预测块的基于深度范围的调整。

16.根据权利要求14所述的装置，其中所述视频编码器进一步经配置以在所述参考视图分量的一部分的切片标头中指示从所述参考视图分量确定的所述预测块的所述值已被调整。

17.根据权利要求13所述的装置，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值进一步包括：将一函数应用于所述预测块的所述值。

18.根据权利要求17所述的装置，其中应用所述函数包括缩放所述预测块的深度值且将偏移添加到所述经缩放的深度值。

19.根据权利要求18所述的装置，其中所述缩放和所述偏移两者与所述第一深度范围和所述第二深度范围相关。

20.根据权利要求17所述的装置，其中所述视频译码器进一步经配置以基于包括八字节深度图的值的查找表来确定所述函数。

21.根据权利要求18所述的装置，其中将所述函数应用于所述预测块的所述值进一步包括将所述函数应用于所述预测块中的每一像素，其中将所述函数给定为

f (d) = \frac{z_{far}^{0} - z_{near}^{0}}{z_{far}^{1} - z_{near}^{1}} d + 255 \frac{z_{far}^{1} - z_{far}^{0}}{z_{far}^{1} - z_{near}^{1}} .

22.根据权利要求13所述的装置，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差来调整所述预测块的所述值进一步包括：当所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差超过阈值水平时，调整所述预测块的所述值。

23.根据权利要求13所述的装置，其中所述视频译码器进一步经配置以对所述参考视图分量执行运动补偿，其中在对所述参考视图分量的所述运动补偿之后执行调整所述预测块的值。

24.一种计算机程序产品，其包括其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使视频译码装置的处理器：

25.根据权利要求24所述的计算机程序产品，

其中确定预测块包括形成所述预测块，且

其中处理所述当前视图的所述部分包括基于所述预测块的所述经调整的值对所述当前视图的所述部分进行译码。

26.根据权利要求24所述的计算机程序产品，其中所述指令进一步包括：

27.根据权利要求24所述的计算机程序产品，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值进一步包括：将一函数应用于所述预测块的所述值。

28.根据权利要求27所述的计算机程序产品，其中应用所述函数包括缩放所述预测块的深度值且将偏移添加到所述经缩放的深度值。

29.根据权利要求28所述的计算机程序产品，其中所述缩放和所述偏移两者与所述第一深度范围和所述第二深度范围相关。

30.根据权利要求27所述的计算机程序产品，其中所述指令进一步包括：

基于包括八字节深度图的值的查找表来确定所述函数。

31.根据权利要求24所述的计算机程序产品，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差来调整所述预测块的所述值进一步包括：当所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差超过阈值水平时，调整所述预测块的所述值。

32.一种用于处理视频数据的装置，其包括：

用于确定对应于参考视图分量的第一深度视图分量的第一现实世界深度范围的装置；

用于确定对应于当前视图分量的第二深度视图分量的第二现实世界深度范围的装置，其中所述当前视图分量是相对于所述参考视图分量而预测；

用于从所述参考视图分量确定所述当前视图分量的一部分的预测块的装置；

用于基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值的装置；以及

用于基于所述预测块的所述经调整的值来预测所述当前视图的所述部分的装置。

33.根据权利要求32所述的装置，

其中确定预测块包括形成所述预测块，且

34.根据权利要求33所述的装置，其进一步包括：

用于在所述预测块的切片标头中指示针对包括所述当前视图分量的切片的一个或一个以上块的译码而启用对所述预测块的基于深度范围的调整的装置。

35.根据权利要求32所述的装置，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的差来调整所述预测块的值进一步包括：将一函数应用于所述预测块的所述值。

36.根据权利要求35所述的装置，其中应用所述函数包括缩放所述预测块的深度值且将偏移添加到所述经缩放的深度值。

37.根据权利要求36所述的装置，其中所述缩放和所述偏移两者与所述第一深度范围和所述第二深度范围相关。

38.根据权利要求35所述的装置，其进一步包括：

用于基于包括八字节深度图的值的查找表来确定所述函数的装置。

39.根据权利要求32所述的装置，其进一步包括：

其中将所述函数应用于所述预测块的所述值进一步包括将所述函数应用于所述预测块中的每一像素，其中将所述函数给定为

40.根据权利要求32所述的装置，其中基于所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差来调整所述预测块的所述值进一步包括：当所述第一现实世界深度范围与所述第二现实世界深度范围之间的所述差超过阈值水平时，调整所述预测块的所述值。