CN105144714B - 三维或多视图视频编码或解码的方法及装置 - Google Patents

Abstract

本发明提供了一种使用改进的精致的DV推导过程的三维视频编码或解码的方法及装置。根据本发明的实施例，首先，从附属视图中当前块的时间、空间、或视图间相邻块、或任何其组合确定已推导的DV。接着，当已推导的DV存在并有效时，根据已推导的DV确定精致的DV。当已推导的DV不存在或无效时，根据零DV或默认DV确定精致的DV。已推导的DV、零DV、或默认DV被分别用于定位已编码视图中对应块，且已编码视图的对应深度块被用于确定精致的DV。

Description

三维或多视图视频编码或解码的方法及装置

【相关申请的交叉引用】

本发明主张申请于2013年4月9日，序列号为PCT/CN2013/073971，标题为“DefaultVector for Disparity Vector Derivation for 3D Video Coding”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及三维(three-dimensional，3D)视频编码。特别地，本发明涉及用于3D视频编码中三维编码工具的视差向量推导(disparity vector derivation)。

【背景技术】

三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频(multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维(two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。

通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。因此，多个相机将捕捉对应多个视图的多个视频序列。为了提供更多的视图，需要使用更多的相机来产生具有与视图相关联的大量视频序列的多视图视频。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间或传送带宽。

一个直接方法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列独立且忽视不同视图中的任何关联。这样的编码系统将是非常低效的。为了提高多视图视频编码效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码系统会考虑与多个视图或深度图相关联的视频数据的相关性。标准发展主体，ITU-T视频编码专家组(Video Coding Experts Group，VCEG)的联合视频组以及ISO/IEC运动图片专家组(MovingPicture Experts Group，MPEG)，将H.264/MPEG-4AVC扩展到用于立体以及多视图视频的多视图视频编码(multi-view video coding，MVC)中。

MVC采用时间及空间预测来提高压缩效率。于MVC的发展过程中，提出了一些宏区块等级的编码工具，包括亮度补偿，自适应参考滤波，运动跳过模式，以及视图合成预测(view synthesis prediction)。这些编码工具被提出以利用多个视图之间的冗余。亮度补偿是用于补偿不同视图之间的亮度变化。自适应参考滤波是用于减少由于相机之间的聚焦不匹配而导致的变化。运动跳过模式允许从其他视图推导出当前视图中的运动向量。视图合成预测用于从其他视图预测当前视图的图片。

在基于3D视频编码的HEVC(HEVC based 3D video coding，3D-HTM)的参考软件中，增加了视图间候选来作为运动向量(motion vector，MV)或视差向量(disparityvector，DV)候选以用于视图间、合并及跳过模式，以再使用相邻视图的先前已编码的运动信息。于3D-HTM，用于压缩的基本单元被称为编码单元(coding unit，CU)，其为2Nx2N的方形块。每个CU可以被递归地分为四个更小的CU，直到达到预定义的最小尺寸。每个CU包含一个或多个预测单元(prediction unit，PU)。

为了共享相邻视图的先前已编码的纹理信息，被称为视差补偿预测(Disparity-Compensated Prediction，DCP)的技术已经被包含到3D-HTM以作为运动补偿预测(motion-compensated prediction，MCP)的备选编码工具。MCP指的是使用相同视图的先前已编码图片的图片间预测，而DCP指的是使用相同存取单元(access unit)中其他视图的先前已编码图片的图片间预测。图1为结合了MCP以及DCP的3D视频编码系统的示例的示意图。用于DCP的向量110被称为DV，其模拟用于MCP的MV。图1示出了与MCP相关联的三个MV120、MV130以及MV140。此外，DCP块的DV还可通过视差向量预测(disparity vector predictor，DVP)候选来预测，DVP候选来源于也使用视图间参考图片的相邻块(neighboring block)或时间对应块(temporal collocated block)。于3D-HTM版本3.1中，当推导用于合并/跳过模式的视图间合并候选时，如果对应块的运动信息是不可用的或无效的，则视图间合并候选由DV来替代。

视图间残差预测是用于3D-HTM的另一编码工具。如图2所示，为了共享相邻视图的先前编码的残差信息，当前预测块(即，PU)的残差信号可以由视图间图片中对应块的残差信号来预测。对应块可由相应DV来定位。对应于特定照相机位置的视频图片以及深度图是由视图标识符(即，图2中的V0、V1以及V2)来指示。属于相同照相机位置的所有视频图片以及深度图都与相同viewId(即，视图标识符)相关联。视图标识符用于指定存取单元中的编码顺序，并检测在易出错环境中丢失的视图。存取单元包括对应于相同时刻(timeinstant)的所有视频图片以及深度图。于存取单元中，如果存在viewId等于0的视频图片及相关深度图，则viewId等于0的视频图片及相关深度图首先被编码，接着编码viewId等于1的视频图片及深度图等。viewId等于0(即，图2中的V0)的视图也被称作基础视图或独立视图。基础视图视频图片可以使用不依赖于其他视图的现有的HEVC视频编码器来编码。

如图2所示，对于当前块，运动向量预测(MVP)/视差向量预测(DVP)可以来源于视图间图片中的视图间块。在下文中，视图间图片的视图间块可以简称为视图间块。推导出的候选被称为视图间候选，视图间候选可以是视图间MVP或DVP。根据其它视图的先前已编码运动信息来编码当前块(例如，当前预测单元，PU)的运动信息的编码工具被称为视图间运动参数预测。此外，相邻视图的对应块被称为视图间块，且视图间块是使用来源于当前图片中当前块的深度信息的视差向量来定位。

视图合成预测(View synthesis prediction，VSP)是一种移除来自不同视点的视频信号之间的视图间冗余的技术，其中，合成信号作为参考以预测当前图片。于3D-HEVC测试模型中，存在用于推导视差向量预测的过程。接着，已推导的视差向量被用于提取参考视图的深度图像中的深度块。已提取的深度块将具有与当前预测单元(PU)相同的大小，接着，其被用于对当前PU进行后向扭曲(warping)。此外，扭曲操作可执行于子PU(sub-PU)等级，类似8x4或4x8的块。最大深度值被选出以用于子PU块，且用于扭曲子PU块中的所有像素。VSP技术被应用于纹理图片编码。于当前实现，VSP被增加以作为新的合并候选以供VSP预测使用。以这样的方式，VSP块可以是没有任何残差的跳过块(skipped block)，或具有残差信息编码的合并块。

图2所示的示例对应于从V0(即，基础视图)到V1，然后V2的视图编码顺序。正在被编码的当前图片的当前块位于V2中。根据HTM3.1，即使视图间图片不在当前图片的参考图片列表中，先前被编码视图中参考块的所有MV也可被认为是视图间候选。于图2中，于时间t1，帧210、220以及230分别对应于来自视图V0、V1以及V2视频图片或深度图。块232是当前视图的当前块，且块212以及222分别为视图V0以及V1的当前块。对于视图V0中的当前块212，视差向量216用于定位视图间对应块214。类似地，对于V1中的当前块222，视差向量226用于定位视图间对应块224。根据HTM-3.1，与来自任何已编码视图的视图间对应块相关联的运动向量或视差向量可以被包含于视图间候选中。因此，视图间候选的数量可能会相当大，其需要更多的处理时间及更大的存储空间。希望能开发出一种方法来减少处理时间及存储要求，而不会对BD-rate或其它性能测量方面的系统性能造成显著的影响。

于3DV-HTM版本3.1，视差向量可用作视图间模式的DVP候选或用作合并/跳过模式的合并候选。已推导的视差向量还可用作视图间运动预测以及视图间残差预测的偏置向量。当被用作偏置向量时，如图3A以及图3B所示，视差向量是由空间以及时间相邻块中推导出。根据预定顺序，多个空间以及时间相邻块被确定且空间以及时间相邻块的DV可用性被检查。用于基于相邻(空间以及时间)块的DV推导的编码工具被称为相邻块DV(NeighboringBlock DV，NBDV)。如图3A所示，空间相邻块组包括当前块左下角的对角线位置(即，A0)，当前块的左下方的相邻位置(即，A1)，当前块的左上角的对角线位置(即，B2)，当前块的右上角的对角线位置(即，B0)，以及当前块的右上方的相邻位置(即，B1)。如图3B所示，时间相邻块组包括当前块的中心位置(即，B_CTR)以及时间参考图片中当前块的右下角的对角线位置(即，RB)。作为中心位置的替代，时间参考图片的当前块的其它位置(例如，右下块)也可以被使用。换句话说，与当前块对应的任何块都可以被包含于时间块组中。一旦块被识别为具有DV，检查过程就会被终止。图3A中空间相邻块的示例性搜寻顺序为(A1，B1，B0，A0，B2)。图3B中的时间相邻块的示例性搜寻顺序为(BR，B_CTR)。空间以及时间相邻块与HEVC的视图间模式(AMVP)以及合并模式的空间以及时间相邻块相同。

如果相邻块组(即，图3A以及图3B所示的空间以及时间相邻块)中没有找到DCP编码块，可以从另一编码工具，如：基于视差向量的运动补偿预测(DV-MCP)中获得视差信息。在此情况下，如图4所示，当空间相邻块为MCP编码块，且其运动是由视图间运动预测来预测时，用于视图间运动预测的视差向量表示当前以及视图间参考图片之间的运动对应(motion correspondence)。此类型的运动向量被称作视图间预测运动向量，且块被称作DV-MCP块。图4所示为DV-MCP块的示例，其中，DV-MCP块410的运动信息是从视图间参考图片的对应块420预测。对应块420的位置是由视差向量430指定。使用于DV-MCP块的视差向量表示当前以及视图间参考图片之间的运动对应。对应块420的运动信息422用于预测当前视图中当前块410的运动信息412。

为了指示MCP块是否为DV-MCP编码，且储存用于视图间运动参数预测的视差向量，两个变量用于表示每个块的运动向量信息：

-dvMcpFlag，以及

-dvMcpDisparity。

当dvMcpFlag等于1时，dvMcpDisparity被设置为指示视差向量被用于视图间运动参数预测。于用于视图间模式(AMVP)以及合并候选列表的构造过程中，如果候选是由视图间运动参数预测产生，则候选的dvMcpFlag被设置为1，否则候选被设置为0。来自DV-MCP块的视差向量是以以下顺序被使用：A0，A1，B0，B1，B2，Col(即，对应块，BCTR或RB)。

一种通过从深度图中获取准确的视差向量(于本公开中被称作精致的DV(refinedDV))来增强NBDV的方法被用于当前3D-HEVC。首先，相同存取单元中已编码的深度图的深度块被取回并用作当前块的虚拟深度。用于DV推导的此编码工具被称为深度定向NBDV(DoNBDV)。当以公共测试条件编码视图1以及视图2的纹理时，视图0的深度图已经是可用的。因此，视图1以及视图2的纹理编码可以从视图0的深度图中获益。已估计的视差向量可以从图5所示的虚拟深度中提取。整个流程如下所述：

1.使用已估计的视差向量，其为当前3D-HTM中的NBDV，来定位已编码纹理视图的对应块。

2.使用当前块(编码单元)的已编码视图的对应深度作为虚拟深度。

3.从虚拟深度的最大值提取视图间运动预测的视差向量(即，精致的DV)，其中，虚拟深度是由先前的步骤中取回。

于图5所示的示例中，视图0中的已编码的深度图被用于推导将被编码的视图1中的纹理帧的DV。根据视图0中已编码的深度图的当前块的已估计的视差向量540以及位置520，已编码的深度图的对应深度块530被取回以用于当前块CB510。接着，已取回的块530被用作当前块的虚拟深度块530’以推导DV。虚拟深度块530’的最大值用于提取用于视图间运动预测的视差向量。

于目前基于高级视频编码的3D视频编码(3D video coding based on AdvancedVideo Coding，3D-AVC)中，视差向量(DV)被用于视差补偿预测(DCP)，预测DV且指示视图间对应块以推导视图间候选。

于视图间模式，方向单独的运动向量预测(Direction-Separate Motion VectorPrediction，DS-MVP)是使用于3D-AVC的另一编码工具。方向单独的运动向量预测包括时间以及视图间运动向量预测。如果目标参考图片是时间预测图片，当前块Cb周围的邻近块(例如，图6A所示的A、B、以及C)的时间运动向量被用于运动向量预测的推导。如果时间运动向量是不可用的，则视图间运动向量被使用。视图间运动向量是由对应块推导出，其中对应块是由从深度转换的DV来指示。接着，运动向量预测被推导以作为邻近块A、B、以及C的运动向量的中值(median)。只有当块C不可用时，才使用块D。

与此相反，如果目标参考图片为视图间参考图片，相邻块的视图间运动向量被用于视图间预测。如果视图间运动向量是不可用的，则从相关联的深度块的四个角的深度样本的最大深度值中推导的视差向量被使用。接着，运动向量预测被推导以作为邻近块A、B、以及C的视图间运动向量的中值。

当目标参考图片为视图间参考图片，相邻块的视图间运动向量被用于推导视图间运动向量预测子。于图6B的方框610中，空间相邻块的视图间运动向量是根据相应块的纹理数据被推导。方框660中也提供了与当前块Cb相关联的深度图。于方框620中，检查用于块A、B、以及C的视图间运动向量的可用性。如方框630所示，如果视图间运动向量是不可用的，用于当前块的视差向量被用于取代不可用的视图间运动向量。如方框670所示，视差向量是由相关联的深度块的最大深度值中推导。块A、B、以及C的视图间运动向量的中值被用作为视图间运动向量预测子。现有的MVP过程，如方框640所示，最终MVP是根据视图间MVP或时间MVP的运动向量的中值被推导。如方框650所示，执行基于运动向量预测的运动向量编码。

先前的用于跳过/直接模式的基于MVP候选的推导是用于3D-AVC的另一编码工具。如图7所示，于跳过/直接模式，MVP候选是根据预定义的推导顺序来推导：视图间候选以及由相邻块A、B、以及C(只有当C不可用时，才使用D)推导的三个空间候选的中值。

视图间MV候选的推导也如图7所示。附属视图中当前块710的中央点712及其视差向量被用于寻找基础视图或参考视图中的对应点。此后，基础视图中包括对应点的块的MV被用作当前块的视图间候选。视差向量可以从相邻块(A、B以及C/D)以及中央点的深度值来推导。具体地，如果只有一个相邻块具有视差向量(DV)，则DV被用作视差。否则，接下来，DV被推导以作为邻近块A、B、以及C的DV的中值720。如果DV是不可用的则接着，由深度转换的DV被用于替代。已推导的DV用于定位参考图片730中的对应块740。

如以上所描述的，于3D-HEVC以及3D-AVC中，DV推导都是3D视频编码的关键。希望能有一种提高DV推导的过程，能取得更好的压缩效率或降低计算量。

【发明内容】

本发明揭露了一种使用改进的精致的DV(视差向量)推导过程的三维视频编码或解码的方法以及装置。根据本发明实施例，从一个或多个时间相邻块，一个或多个空间相邻块，一个或多个视图间相邻块，或附属视图的当前块的任何其组合中确定已推导的DV。接着，当已推导的DV存在并有效时，根据已推导的DV确定精致的DV。当已推导的DV不存在或无效时，精致的DV是根据零DV或默认DV来确定。已推导的DV，零DV，或默认DV被分别用于定位已编码视图的对应块，且已编码视图的对应深度块被用于确定精致的DV。默认DV可以从另一视图中已编码的纹理或深度数据或从相同视图的先前已编码图片中推导出。默认DV还可隐式地于使用先前已编码视图间信息的编码器以及解码器推导出，其中，视图间信息包括一个或多个像素值、一个或多个运动向量、或一个或多个视差向量。此外，默认DV可以被明确地并入码流(code bitstream)的序列等级(sequence level，SPS)、视图等级(viewlevel，VPS)、图片等级(picture level，PPS)或切片标头。

本发明的一个方面解决了已推导的DV的简化推导过程。根据现有的方法，已推导的DV是通过检查空间以及时间相邻块中的DCP编码块的DV可用性来确定的。如果没有DCP编码块是可用的，已推导的DV的推导过程再检查空间相邻块中DV-MCP编码块的可用性。于本发明的一个实施例中，跳过对时间相邻块的DCP编码块的可用性的检查。在另一实施例中，当空间以及时间相邻块没有可用的或有效的已推导的DV时，不需要再检查空间相邻块中DV-MCP编码块的可用性，就终止已推导的DV的推导过程。在又一实施例中，时间相邻块的DCP编码块的可用性检查被执行以用于来自两个对应图片中的一个的时间相邻块。在又一实施例中，时间相邻块中的DCP编码块的可用性的检查被执行以用于来自两个对应图片中的一个的时间相邻块，且当空间以及时间相邻块中没有可用的或有效的已推导的DV时，需要再检查空间相邻块中DV-MCP编码块的可用性，就终止已推导的DV的推导过程。本发明的另一方面解决了所述两个对应图片中的一个的确定。

【附图说明】

图1所示为结合DCP作为MCP备选的三维编码的示例。

图2所示为HTM-3.1中使用来自相邻视图的先前编码的信息或残差信息的三维编码的示例。

图3A至3B所示为HTM-3.1中用于推导当前块的视差向量的当前块的相应空间相邻块以及时间相邻块。

图4所示为DV-MCP块的示例，其中，对应块的位置是由视差向量来指定。

图5所示为根据块的虚拟深度进行已估计的视差向量的推导的示例。

图6A-6B所示为3D-AVC中用于视图间模式的DS-MVP的示例。

图7所示为3D-AVC中先前用于跳过/直接模式的MVP候选推导的示例。

图8A所示为根据现有的基于3D编码的HEVC使用的NBVD以及DoNBDV的精致的DV推导的示范性流程图。

图8B所示为本发明的实施例的精致的DV推导的示范性流程图。

图9所示为根据本发明的实施例结合了改进的精致的DV推导的视图间预测编码系统的示范性流程图。

【具体实施方式】

如以上所描述的，视差向量(Disparity Vector，DV)是用于3D-HEVC以及3D-AVC的3D视频编码的关键。如图8A所示，于现存的3D-HEVC中，DV首先是根据NBDV过程被推导。NBDV过程是由图8A中的实线框810来指示。接着，已推导的DV被DoNBDV过程使用以取回参考视图的虚拟深度(即，使用已推导的DV来定位参考深度块)820，且将深度转换为DV 830以便推导精致的DV。当来自NBDV过程的已推导的DV都不可用时，NBDV过程将简单地输出零DV，且DoNBDV过程将不再执行。当没有来自空间或时间相邻块的可用的或有效的已推导的DV时，本发明的实施例使用零向量或默认视差向量来定位参考视图中的参考深度块以推导精致的DV。更具体而言，如图8B所示，当使用NBDV的已推导的DV均不可用或均无效时，零向量840或默认视差向量被用作DoNBDV的输入DV以定位参考视图中的参考深度块，以便推导精致的DV。

默认DV可以从另一视图的已编码的纹理或深度数据或从相同视图中的先前已编码图片中推导出。默认DV还可于使用先前已编码视图间信息的编码器以及解码器隐式地推导出。视图间信息可包含一个或多个像素值、一个或多个运动向量，或一个或多个视差向量。此外，默认DV可以被明确地并入码流(code bitstream)的序列等级(sequence level，SPS)、视图等级(view level，VPS)、图片等级(picture level，PPS)或切片标头。默认DV可以是被推导及应用于切片等级、图片等级、或序列等级以补偿两个视图之间偏置的默认全局DV。

此外，根据本发明，NBDV过程可以被简化。例如，检查时间DCP块的步骤可以被跳过。根据本发明，因为当已推导的DV是不可用或无效时，零向量、默认DV、或默认全局DV可用于推导精致的DV，因此检查时间块以推导已推导的DV的步骤可以被跳过，而不会导致性能上的显著影响。时间块的使用暗示需要存储器来储存且需要带宽来存取时间块。因此，跳过检查时间块的步骤可以节省存储器要求和/或存储器存取带宽。

NBDV过程的另一简化是只检查一个时间对应图片中的时间DCP块。根据本发明，当已推导的DV不可用或无效时，零向量、默认DV、或默认全局DV被用于推导精致的DV，用于检查时间DCP块的对应图片的数量可由两个减少为一个。两个对应图片中的一个可被设置为与由当前纹理块的时间运动向量预测(temporal motion vector predictor，TMVP)使用的对应图片相同。两个对应图片中的一个还可被明确地表示(signaled)。

NBDV过程的又一简化是跳过检查空间DV-MCP块的步骤。根据本发明，当已推导的DV不可用或无效时，零向量、默认DV、或默认全局DV被用于推导精致的DV，检查空间DV-MCP块以推导已推导的DV的步骤可以被跳过以节省存储器存取带宽。

NBDV过程又一简化是跳过检查仅于一个时间对应图片中的时间DCP块的步骤，且跳过检查空间DV-MCP块的步骤。根据本发明，当已推导的DV不可用或无效时，零向量、默认DV、或默认全局DV被用于推导精致的DV，用于检查时间DCP块的对应图片的数量可由两个减少为一个，且检查空间DV-MCP块以推导DV的步骤也可被跳过以节省存储器存取带宽。

如表1所示，本发明的实施例的当来自NBDV过程的已推导的DV都不可用或无效时，DoNBDV过程使用零向量来推导精致的DV的3D/多视图视频编码系统的性能，与基于HTM-6.0的现有系统的性能的比较。性能比较是基于第一列所列出的不同组的测试数据。BD率(BD-rate)差别如视图1(视频1)以及视图2(视频2)中的纹理图片所示。BD率的负值说明本发明具有更好的性能。如表1所示，本发明的实施例的视图1以及视图2中纹理图片的BD率表现出比HTM-6.0的BD率降低了0.2％。第二组性能是仅用于纹理视频的比特率侧脸(视频/视频比特率)、用于纹理视频的总比特率(纹理比特率以及深度比特率)(视频/总比特率)、以及用于已编码与合成视频的总比特率(Coded&synth./总比特率)。如表1所示，与现有的HTM-6.0相比，此组的平均性能也有微小的改进(0.1％)。处理时间(编码时间、解码时间、以及渲染时间)也被比较。如表1所示，编码时间、解码时间、以及渲染时间都有细微的上升(0.9到1.5％)。因此，如以上示例所示，当来自NBDV的已推导的DV均不可用时，与现有的HTM-6.0相比，使用DoNBDV的零向量的系统可以获得细微的性能改进。

表1

本发明的实施例的DoNBDV过程使用零向量来推导精致的DV，且通过跳过检查时间DCP块的步骤来简化NBDV的3D/多视图视频编码系统的性能，与现有的基于HTM-6.0的系统的性能的比较如表2所示。视图1(视频1)以及视图2(视频2)中纹理图片的BD率差别非常小(+0.1％以及-0.1％)。如表2所示，此组的平均性能与现有的HTM-6.0相同。如表2所示，编码时间、解码时间、以及渲染时间有细微上升(0.4至1.2％)。因此，于以上示例中，当来自NBDV的已推导的DV不可用时，使用跳过检查时间DCP块的步骤，并使用DoNBDV的零向量的简化的NBDV的系统能获得与现有的HTM-6.0相同的性能。然而，结合本发明实施例的系统使用更少的存储器空间以及更少的存储器存取带宽。

表2

图9所示为根据本发明的实施例的结合改进的精致的DV推导的三维编码或解码系统的示范性流程图。如步骤910所示，系统接收与对应于附属视图的当前帧的当前块相关联的输入数据。对于编码，与当前块相关联的输入数据对应于与待编码的当前块相关联的原始像素数据、深度数据、残差数据或其它信息(例如，运动向量，视差向量，运动向量差别，或视差向量差别)。对于解码，输入数据对应于待解码的编码块。输入数据可由存储器(例如：计算机存储器、缓冲器(RAM或DRAM)或其它媒体)中取回。输入数据还可从处理器(例如：控制器、中央处理单元、数字信号处理器或能产生输入数据的电子电路)中接收。如步骤920所示，从附属视图中当前块的一个或多个时间相邻块、一个或多个空间相邻块、一个或多个视图间相邻块、或任何其组合中确定已推导的DV(视差向量)。接着，如步骤930所示，当已推导的DV存在且有效时，精致的DV是根据已推导的DV来确定，当已推导的DV不存在或无效时，精致的DV是根据零DV或默认DV来推导，其中，已推导的DV、零DV、或默认DV分别被用于定位已编码的参考视图中的对应块，且其中已编码视图中的对应深度块被用于确定精致的DV。确定精致的DV的实施例是通过转换对应深度块的最大视差，例如，对应深度块的四个角值的最大视差可用于确定精致的DV。如步骤940所示，于确定精致的DV后，根据精致的DV使用至少一个所选择的三维或多视图编码工具，将视图间预测编码或解码应用到输入数据。

根据本发明的实施例，以上所示的流程图旨在说明使用改进的精致的DV过程的视图间预测的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (13)

1.一种三维或多视图视频编码或解码的方法，其特征在于，所述方法包括：

接收与对应于附属视图的当前帧的当前块相关联的输入数据；

从所述附属视图中所述当前块的一个或多个时间相邻块、一个或多个空间相邻块、一个或多个视图间相邻块、或任何其组合中确定已推导的视差向量；

当所述已推导的视差向量存在并有效时，根据所述已推导的视差向量确定对应于所述多视图视频的参考视图的深度块，当所述已推导的视差向量不存在或无效时，根据零视差向量或默认视差向量确定对应于所述多视图视频的参考视图的所述深度块；

基于确定的所述深度块确定精致的视差向量；以及

根据所述精致的视差向量，将视图间预测编码或解码应用到使用至少一个所选择的三维或多视图编码工具的所述输入数据。

2.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述默认视差向量是从另一视图中的已编码的纹理或深度数据中推导，或从相同视图中先前已编码图片中推导。

3.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述默认视差向量于编码器以及解码器处使用先前已编码视图间信息来隐式地推导出，其中，所述视图间信息包括：一个或多个像素值、一个或多个运动向量、或一个或多个视差向量。

4.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述默认视差向量被明确地并入码流的序列等级、视图等级、图片等级或切片标头。

5.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述确定已推导的视差向量的步骤检查所述一个或多个时间相邻块以及所述一个或多个空间相邻块中的视差补偿预测编码块的可用性，且当所述视差补偿预测编码块不可用时，所述确定已推导的视差向量的步骤还检查所述一个或多个空间相邻块中基于视差向量的运动补偿预测编码块的可用性。

6.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述确定已推导的视差向量的步骤检查所述一个或多个空间相邻块的视差补偿预测编码块的可用性并跳过检查所述一个或多个时间相邻块中所述视差补偿预测编码块的所述可用性，且当所述视差补偿预测编码块不可用时，所述确定已推导的视差向量的步骤还检查所述一个或多个空间相邻块中基于视差向量的运动补偿预测编码块的可用性。

7.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述确定已推导的视差向量的步骤检查所述一个或多个时间相邻块以及所述一个或多个空间相邻块中的视差补偿预测编码块的可用性，以及当所述视差补偿预测编码块不可用时，不需再检查所述一个或多个空间相邻块中基于视差向量的运动补偿预测编码块的可用性，就终止所述确定已推导的视差向量的步骤。

8.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述确定已推导的视差向量的步骤检查来自两个对应图片中的一个的所述一个或多个空间相邻块以及所述一个或多个时间相邻块中视差补偿预测编码块的可用性，以及当所述视差补偿预测编码块不可用时，不需再检查所述一个或多个空间相邻块的基于视差向量的运动补偿预测编码块的可用性，就终止所述确定已推导的视差向量的步骤。

9.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述确定已推导的视差向量的步骤检查两个对应图片中的一个的所述一个或多个空间相邻块以及所述一个或多个时间相邻块中的视差补偿预测编码块的可用性，以及当所述视差补偿预测编码块不可用时，所述确定已推导的视差向量的步骤还检查所述一个或多个空间相邻块的基于视差向量的运动补偿预测编码块的可用性。

10.如权利要求9所述的三维或多视图视频编码或解码的方法，其特征在于，所述两个对应图片中的一个被设置为相同于由所述当前块的时间运动向量预测使用的所述对应图片。

11.如权利要求9所述的三维或多视图视频编码或解码的方法，其特征在于，所述两个对应图片中的一个被明确地表示。

12.如权利要求1所述的三维或多视图视频编码或解码的方法，其特征在于，所述所选择的三维或多视图编码工具包括来自一组的一个或多个编码工具成员，包括：

视图间模式/高级运动向量预测以及跳过/合并模式中的视图间运动预测，其中，所述已推导的视差向量用于指示第一参考视图中的第一预测块；

视图间残差预测，其中，所述已推导的视差向量被用于指示第二参考视图的第二预测块；以及

视差向量预测使用用于所述视图间模式/高级运动向量预测以及所述跳过/合并模式中视差补偿预测块的所述已推导的视差向量。

13.一种三维或多视图视频编码或解码的装置，其特征在于，所述装置包括一个或多个电路，其中，所述一个或多个电路被配置为：

接收与对应于附属视图的当前帧的当前块相关联的输入数据；

从所述附属视图的所述当前块的一个或多个时间相邻块、一个或多个空间相邻块、一个或多个视图间相邻块、或任何其组合中确定已推导的视差向量；

当所述已推导的视差向量存在并有效时，根据所述已推导的视差向量确定对应于所述多视图视频的参考视图的深度块，且当所述已推导的视差向量不存在或无效时，根据零视差向量或默认视差向量确定对应于所述多视图视频的参考视图的所述深度块；

基于确定的所述深度块确定精致的视差向量；以及

根据所述精致的视差向量，使用至少一个所选择的三维或多视图编码工具，将视图间预测编码或解码应用到所述输入数据。