CN103621093B - 在三维视频编码系统中的纹理图像处理方法及装置 - Google Patents

Abstract

本发明提供一种在三维视频编码系统中的纹理图像处理方法。该在三维视频编码系统中的纹理图像处理方法包括，取得关于深度图的深度信息，其中深度图与纹理图像有关；以及然后基于取得的深度信息处理纹理图像。本发明所提供的在三维视频编码系统中的纹理图像处理方法，可改善编码效率。

Description

在三维视频编码系统中的纹理图像处理方法及装置

交叉引用

本申请享有2011年6月15日提出的申请号为61/497,441、标题为“Method ofcompressing texture images using depth maps in 3D video coding”的美国临时申请的优先权。上述申请的全文作为本申请的引用基础。

技术领域

本发明有关于视频编码，特别有关于在三维视频编码系统中纹理图像的处理。

背景技术

三维(3D)电视以带给观看者绝妙的观看体验为目的，并于近年来成为技术发展的趋势。目前已开发各种技术以使观看3D电视成为可能。在这些技术中，多视点视频与的其他应用一样是三维电视应用的关键技术。传统的视频是仅提供单一视点的场景的二维(2D)媒体，其中场景的单一视点来自摄影机的透镜。然而，多视点视频能够提供任意视点(viewpoint)的动态场景并提供观看者真实的感受。

通常通过同时使用多个摄影机捕获场景来产生多视点视频，其中适当放置多个摄影机以使得每一个摄影机从一个视点来捕获场景。相应地，多个摄影机可以捕获对应于多个视点的多个视频片段(video sequence)。为了提供更多视点，可以使用更多摄影机以产生具有与视点有关的很多视频片段的多视点视频。相应地，多视点视频将要求用于存储的大的存储空间及/或用于传送的高带宽。因此，已经在应用领域中开发多视点视频编码技术来降低需要的存储空间或传送的带宽。一个简单的途径是仅仅独立地应用传统的视频编码技术至每一个单一的视点视频片段并忽视不同视点之间的任何相关性。为了改善多视点视频编码效率，典型的多视点视频编码通常利用视点间(inter-view)冗余(redundancy)。

在视点间的关联用于在3D视频编码中改善纹理图像(texture image)的编码效率时，在纹理图像和深度图(depth map)之间的关联也很重要。利用纹理图像和深度图之间的关联有益于进一步改善纹理图像处理的编码效率。此外，在现有的高效效率编码标准(例如，H.264/AVC)或新兴的(emerging)高效率视频编码(High Efficiency Video Coding，HEVC)系统的基础上，需要开发改善编码效率的纹理图像处理方案。

发明内容

本发明提出一种在三维视频编码系统中的纹理图像处理方法及装置。根据本发明的实施方式，首先取得关于深度图的深度信息，其中深度图与纹理图像相对应；以及然后基于取得的深度信息处理纹理图像。本发明可以应用于编码器和解码器。深度信息可以包括深度数据和分割信息。可以自包括第一视点的第一压缩深度图的第一比特流解码而取得深度图；或自包括其他视点的第二压缩深度图的第二比特流解码而取得深度图；或自解码的纹理图像取得深度图。深度图和纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的。根据在比特流中与纹理图像有关的标志选择块式交织或图片式交织。进一步地，标志包含于片段、图片、切片、或块中。

本发明的一方面与基于深度图的深度信息分割纹理图像有关。其中纹理图像被分割为多个纹理块，以及其中基于深度图的深度信息分割纹理图像。纹理块为不规则形状或长方形。基于深度图的与第一纹理块对应的第一深度块的深度信息确定是否分割纹理图像的第一纹理块为多个子块。基于深度图的与第一纹理块对应的第一深度块的深度信息确定多个子块的形状。使用标志指示深度图的与第一纹理块对应的第一深度块的深度信息是否用于分割纹理图像的第一纹理块为子块。基于深度图的深度信息确定是否将纹理图像的第一纹理块与纹理图像的第二纹理块合并。

依据本发明另一实施方式，纹理图像被分割为多个纹理块，以及纹理图像的纹理块的运动信息自第二视点中的对应的纹理块的运动信息而取得。基于当前视点的深度图取得对应的纹理块的位置。运动信息包括运动向量、参考图片索引、区域分割、预测方向、和预测模式。依据本发明另一实施方式，基于深度信息分类纹理图像有关的多个运动向量，以确定纹理图像的预测模式。对于通过深度信息指示的在纹理图像中对应于近处的物体的区域选择空间运动向量预测值，以及通过深度信息指示的在纹理图像中对应于远处的物体的区域选择时间或视点间预测的运动向量预测值。

本发明的另一方面与运动向量或运动向量预测值处理有关。依据本发明一实施方式，基于深度信息分类冗余去除纹理图像的多个运动向量预测值。从运动向量预测值候选清单中移除一个或多个多余的候选运动向量预测值；以及在运动向量预测值候选清单中，移除由深度信息指示的、与纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值；或在运动向量预测值候选清单中，将由深度信息指示的，与纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值指定较低的优先权。确定运动模型以取得纹理图像的运动向量，其中运动模型是依据深度图来确定。在纹理图像中对应于远处的物体的区域根据平移模型取得运动向量，以及在纹理图像中对应于近处的物体的区域根据透视模型取得运动向量。依据本发明另一实施方式，基于第二视点中的对应的纹理图像的对应的区域的模式确定纹理图像的第一区域的模式。对应的区域的位置是自第一区域的位置、以及与纹理图像相关的深度图与在另一视点中与对应的纹理图像相关的深度图之间的位置对应关系而取得。模式包括分割、帧间预测/帧内预测模式、以及跳跃模式。

附图说明

图1为根据本发明实施方式的利用深度图的深度信息处理纹理图像的示意图。

图2为将纹理图像和深度图分割为块的示意图。

图3为取得深度信息以用于纹理图像处理的方法的示意图。

图4为根据深度图的区域分割取得对应纹理图像的区域分割的示意图。

图5为利用两个不同视点的两个深度图之间的对应关系来对纹理图像编码的运动向量预测过程的示意图。

具体实施方式

本发明的实施方式提供一种在3D视频编码系统(3D video coding system)中编码和解码纹理图像的方法和装置。根据本发明的实施方式，编码和解码纹理图像利用对应的深度图的信息。使用纹理图像和深度图之间的相关性来改善纹理图像压缩的编码效率。具体来说，根据本发明的实施方式，在三维视频编码系统中的纹理图像处理方法包括：取得关于深度图的深度信息，其中深度图与纹理图像有关；以及基于取得的深度信息编码或解码纹理图像。

根据本发明的一个实施方式，在处理各自的纹理图像之前编码深度图。因此，纹理图像处理可以利用与深度图有关的深度信息(depth information)。深度信息可以包括深度数据(depth data)和分割信息(partition information)。由于典型的编码系统常将深度图分割为多个块(block)或多个区域(region)并以块或区域为基础应用编码进程(encoding process)，因此，分割信息通常产生于深度图的编码进程中。深度图和纹理图像的编码顺序可以为图片式(picture-wise)交织或块式(block-wise)交织。

图1为根据本发明实施方式的利用深度图的深度信息处理纹理图像的示意图。在纹理图像110中的当前纹理块112的处理可以利用来自对应的深度图120的信息。在深度图120中对应于当前纹理块112的深度块122可以被识别(即已知深度块122)。由于在处理纹理图像110中的当前纹理块112之前可获得(available)对应的深度块122的信息，对应的深度块122的深度信息可以用于当前纹理块112的压缩以改善编码效率。虽然图1的实施方式说明深度图中一个对应的深度块用于当前纹理块112的处理，但是只要在处理当前纹理块112之前已知深度图中对应的多个深度块的深度信息，则深度图中该对应的多个深度块也可以用于纹理图像的当前块的处理。此外，若在处理当前纹理块之前已知多个深度图中多个深度块的深度信息的话，本发明也可以利用该多个深度图的多个深度块来实现。

请参考图2，图2为将纹理图像和深度图分割为块的示意图。如图2所示，在典型的视频压缩或处理系统中，通常逐块处理纹理图像和深度图，其中纹理图像被分割为纹理块T1，纹理块T2，纹理块T3，...，和纹理块Tn，以及深度图被分割为深度块D1，深度块D2，深度块D3，...，和深度块Dn，其中n为纹理图像或深度图中的块数目。为了使用深度图的深度信息来处理纹理图像中的纹理块，在压缩当前纹理块之前，用于压缩纹理图像中的纹理块的来自深度图的必要信息需要处于可用状态(available)。根据本发明的实施方式，纹理图像和深度图的处理顺序可以为图片式(picture-wise)交织，即在处理纹理图像之前处理整个深度图。进一步，也可以在处理纹理图像之前处理多个深度图以使得纹理块的压缩可以利用来自多个深度图的信息。根据本发明的另一实施方式，处理顺序也可以为块式(block-wise)交织，即纹理块和深度块以交织方式(interleaved manner)处理。举例来说，处理顺序可以为深度块D1，纹理块T1，深度块D2，纹理块T2，深度块D3，纹理块T3，...，深度块Dn和纹理块Tn。进一步，可以交织多个块，其中该交织方式是以每N个块为基础的。举例来说，若N为4，块式(block-wise)交织处理顺序可以为深度块D1，深度块D2，深度块D3，深度块D4，纹理块T1，纹理块T2，纹理块T3，纹理块T4，深度块D5，深度块D6，深度块D7，深度块D8，纹理块T5，纹理块T6，纹理块T7，纹理块T8，等等。其他块式(block-wise)交织方式也可以被使用。进一步地，在本发明的一实施方式中，根据在比特流中与纹理图像有关的标志(flag)选择块式交织或图片式交织。其中该标志包含于片段级(sequence level)、图片级(picturelevel)、切片级(slice level)、或块级(block level)中。此外，与对应的深度块有关的纹理块的处理可以被延迟。举例来说，当前的纹理块的处理可以利用与当前的纹理块位置相同(co-located)的深度块周围的深度块有关的深度信息。如果这样的话，必须等到需要的深度块变成可用状态时才可处理当前的纹理块。图2所示的纹理块和深度块仅作为范例而使用以说明将纹理图像210分割为多个纹理块以及将深度图220分割为多个深度块。纹理块、深度块可以为不同的尺寸。举例来说，纹理块或深度块可以为正方形(例如4x4，8x8，16x16，32x32或64x64像素的块)、长方形、或延图片的宽的方向延伸的条形(stripe)。纹理块或深度块也可以为不规则形状。

如前所述，本发明的实施方式利用可获得的深度信息以用于处理纹理块。请参考图3，图3为取得深度信息以用于纹理图像处理的方法的示意图。如图3所示，有各种方式取得深度块及相关信息。根据本发明的实施方式，可以自包括当前视点的压缩深度图的比特流解码而取得当前视点的深度图、或自包括其他视点的压缩深度图的比特流解码而取得当前视点的深度图、或自解码的纹理图像取得当前的视点的深度图。具体来说，可以自与当前视点有关的深度比特流(depth bitstream)取得当前视点的深度块及相关信息。深度比特流可以与纹理图像比特流(texture-image bitstream)分离。深度比特流也可以与纹理图像比特流组合形成单一的比特流。如块310(即当前视点深度解码器)所示，可以使用深度解码器解码深度比特流以恢复当前视点的深度块和相关信息，而得到当前的视点的深度图。此外，可以自其他视点的深度图取得当前视点的深度块和相关信息，而得到当前的视点的深度图。如果这样的话，如块320(即其他视点深度解码器)所示，可以使用深度解码器解码比特流以恢复与其他视点的深度块有关的深度信息。即可以自其他视点的深度图取得对应于当前视点的深度图。根据本发明的其他实施方式，可以使用如块330所示的深度图产生(depth map generation)器而自已解码的纹理图像取得当前视点的深度块及相关信息。如果这样的话，可以自与当前视点或其他视点有关的已解码的纹理图像取得对应于当前的视点的深度图。取得的深度图可以存储于深度图参考缓冲器340；深度图参考缓冲器340中存储的深度信息(例如图3所示的深度数据)可供3D视频编码或解码使用；以及与深度图相关的信息与纹理图像比特流(纹理数据)一同被使用以用于如块350(即当前视点纹理图像编码器或解码器)所示的当前视点的纹理图像的编码或解码。根据图3所示的实施方式的取得的深度图可以分别地或共同地用于当前的视点的纹理图像的解码或编码。

根据本发明的一个实施方式，纹理图像的区域分割可以自深度图的区域分割而取得或推断。例如，纹理图像被分割为多个纹理块，其中基于深度图的深度信息分割纹理图像。进一步地，基于深度图的对应的当前深度块的深度信息确定是否分割纹理图像的当前的纹理块为纹理子块。基于深度图的对应的当前深度块的深度信息确定纹理子块的形状。

图4为根据深度图的区域分割取得对应纹理图像的区域分割的示意图。根据深度图的区域分割，纹理图像的纹理块可以划分为具有不规则形状或长方形的纹理子块。举例来说，当前的纹理块410的划分可以由对应的深度块410a决定。根据本发明的实施方式，基于深度图的深度信息确定是否将纹理图像的当前的纹理块与纹理图像的另一个纹理块合并。例如，根据深度块410a是否与它邻近的深度块420a，深度块430a和深度块440a中的一个合并，当前的纹理块410确定是否与它邻近的纹理块420，纹理块430和纹理块440中的一个合并。

在本发明的一个实施例中，可以使用一个标志(flag)来指示纹理图像的区域分割是否自深度图取得，即该标志指示深度图的对应的当前深度块的深度信息是否用于分割纹理图像的当前的纹理块为多个纹理子块。此外，若纹理图像的纹理子块和它邻近的已编码的块具有相似的深度数据，可以合并纹理图像的纹理子块和它邻近的已编码的块，以使得邻近的块的运动信息可以被当前块共享。用于与选择的空间上或时间(temporal)上的邻近的块的合并共享运动信息的方法与高效视频编码测试模型版本3.0(High EfficiencyVideo Coding Test Model Version3.0，HM3.0)中的合并模式相似。可以使用另一个标志指示上述合并是否使能。

图5为利用两个不同视点的两个深度图之间的对应关系来对纹理图像编码的运动向量预测过程的示意图。当前视点(即视点2)的运动信息可以在如图5所示的运动向量预测过程中从另一个视点(即视点1)来预测，即纹理图像的纹理块的运动信息自另一个视点中的对应的纹理块的运动信息而取得，其中纹理图像510为当前的纹理图像，深度图520为当前视点的深度图，纹理图像510a为在另一个视点中对应的纹理图像，以及深度图520a为另一个视点对应的深度图。另一个视点中对应的纹理图像的对应的区域纹理块的位置是依据当前视点的深度图来产生。另一个视点中对应的纹理图像的对应的区域的位置是自当前区域的位置、以及与纹理图像相关的深度图与在另一视点中与对应的纹理图像相关的深度图之间的位置对应关系而取得。若可以确定当前视点中深度图520的深度块522和另一个视点中深度图520a的对应的深度块522a之间相对应(correspondence)，则可以取得在另一个视点中的、与当前的纹理图像510的当前纹理块512对应的纹理块512a，则对应的纹理块512a的运动信息(例如运动向量)可以被应用于当前视点中的当前纹理块512。运动信息包括参考(reference)图片索引(index)，区域分割，预测方向，和预测模式。相似地，对应的纹理块512a的运动向量(motion vector，MV)可以作为当前纹理块512的运动向量预测值(motionvector predictor，MVP)而使用。

深度图也可以用于自适应运动处理。可以利用在纹理图像中近处的物体运动较快的假设而根据深度图将运动向量分类。进一步，编码或解码纹理图像的步骤可以基于深度信息分类纹理图像有关的多个运动向量预测值，以确定纹理图像的预测模式。由于运动视差，近处的物体通常的运动较大，而远处的物体通常运动较小。在包括较大运动的区域中，由于各种原因，空间预测比时间或视点间预测表现(perform)更好。因此，若真实的深度小，即暗示由于物体在近处，运动可能大，并且空间相关性可能较高此时空间运动向量预测值具有较高的优先权。另一方面，若真实的深度大，即暗示由于物体在远处，运动可能小，并且时间或视点间预测(temporal or inter-view prediction)相关性可能较高，此时时间或视点间预测的运动向量预测值具有较高的优先权。即对于通过深度信息指示的在纹理图像中对应于近处的物体的区域选择空间运动向量预测值，以及对于通过深度信息指示的在纹理图像中对应于远处的物体的区域选择时间或视点间预测的运动向量预测值。因此，深度图被用于空间和时间/视点间预测的运动向量预测值的自适应选择可作为深度图的深度信息作用于运动过程的一个举例。

基于深度信息的运动向量分类可以应用于运动向量预测值冗余去除(pruning)过程。根据本发明的实施方式，从运动向量预测值候选清单中移除一个或多个多余的候选运动向量预测值。对于包括远处的物体的纹理块来说，在候选清单中小的运动向量候选具有较高优先权。换句话说，在包括远处的物体的区域中，大的运动向量候选具有较低优先权，或从清单中移除大的运动向量候选。如前所述，由于运动视差，和近处的物体具有相同位移的远处的物体导致较小的运动向量。因此，在包括远处的物体的区域中，不太可能具有较大的运动向量。对于近的物体，小的运动向量(包括0值运动向量)和大的运动向量均可能出现。这些大的运动向量或小的运动向量，可以反映近的物体的真实位移。因此，包括近的物体的区域不优先处理(prioritize)自适应运动分类的候选运动向量预测值。

根据本发明的另一实施方式，确定运动模型以取得纹理图像的运动向量，其中运动模型是依据深度图来确定。近的物体的纹理图像适合于透视模型(perspectivemodels)。另一方面，远的物体的纹理图像适合于平移模型(translational models)。即，在纹理图像中，对应于远处的物体的区域根据平移模型取得运动向量，以及对应于近处的物体的区域根据透视模型取得运动向量。如前所述，由于运动视差，和近处的物体具有相同位移的远处的物体导致较小的运动向量。通常，对于较小运动，简单的平移运动模型工作得更好；对于较大运动，可以使用相对复杂的透视模型。

根据本发明的另一实施方式，当前视点的预测模式可以自另一个视点或其他多个视点的模式来取得，即基于另一个视点中的对应的纹理图像的对应的区域的模式确定当前纹理图像的当前区域的模式。在另一个视点中对应的纹理块可以通过使用深度信息来获得。然后，在另一个视点中对应的纹理块的模式(例如，预测类型、块尺寸、参考图片索引、预测方向、和分割)可以应用于当前的纹理块。预测类型可以包括帧间预测/帧内预测(Inter/Intra)，跳跃(Skip)，合并和直接模式。

由于依据特定应用及其要求的内容，以上描述的内容可以使得本领域技术人员实现本发明。本领域技术人员能够明白描述的上述实施方式的各种修饰，以及本发明的基本原理可以应用于其他实施方式。因此，本发明并不限于上述描述的特定实施方式，而应与上述描述的基本原理和新的特征相一致的最大范围对应。为深入理解本发明，在上述实施方式中，说明了各种具体细节。因而，本领域技术人员可以理解本发明如何实现。

依据以上描述的本发明的内容，在3D视频编码系统中利用深度图编码和解码纹理图像的实施方式可以实现于各种硬件、软件及其组合中。举例来说，本发明的实施方式可以是在视频压缩芯片中的集成电路或在视频压缩软件中执行上述功能的程序代码。本发明的实施方式也可以是在数字信号处理器中执行上述功能的程序代码。本发明也可以包括由计算机处理器、数字信号处理器、微处理器、或现场可编程门阵列执行的一些功能。依据本发明的实施方式，通过执行定义的本发明体现的特定方法的机器可读软件代码或固件代码，这些处理器可以依据本发明被配置为执行特定工作。这些软件代码或固件代码可以采用不同的编程语言和不同格式或样式。这些软件代码也可以被编译以用于不同的目标平台。然而，依据本发明实施方式执行工作的软件代码的不同的代码格式、样式、和语言以及配置编码的其他方式不会脱离本发明的精神和范围。

本发明可以在不脱离其精神和本质特征的情况下以其他特殊形式来实现。以上描述的实施方式仅用于解释本发明，而并非限制本发明。本发明的保护范围应以权利要求界定的范围为准，而不以上述描述的实施方式为限。在与权利要求相等的含义和范围内的所有变化均包括于本发明的保护范围。

Claims (30)

1.一种在三维视频编码系统中的纹理图像处理方法，其特征在于，包括：

取得关于深度图的深度信息的步骤，其中该深度图与纹理图像相对应；以及

基于取得的该深度信息编码或解码该纹理图像的步骤；

其中，该纹理图像被分割为多个纹理块，其中该深度图与该纹理图像对应于第一视点；以及该纹理图像的纹理块的运动信息自第二视点中的对应的纹理块的运动信息而取得，或自该深度图的对应的深度块的运动信息而取得；并且基于该深度图取得该对应的纹理块的位置；

其中，该深度图和该纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的；并根据在比特流中与该纹理图像有关的标志选择该块式交织或该图片式交织；

其中，该基于取得的该深度信息编码或解码该纹理图像的步骤包括：基于该第二视点中的对应的纹理图像的对应的区域的模式确定该纹理图像的第一区域的模式的步骤，该第二视点中对应的纹理图像的对应的区域的位置是依据该第一视点的该深度图来产生。

2.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该深度信息包括深度数据和分割信息。

3.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该取得关于深度图的深度信息的步骤包括：

自包括该第一视点的第一压缩深度图的第一比特流解码而取得该深度图的步骤；或

自包括其他视点的第二压缩深度图的第二比特流解码而取得该深度图的步骤；或

自解码的纹理图像取得该深度图的步骤。

4.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该标志包含于片段级、图片级、切片级、或块级中。

5.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该纹理图像的分割依据该深度图的分割。

6.根据权利要求5所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该多个纹理块为不规则形状或长方形。

7.根据权利要求5所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，基于该深度图的该深度信息分割该纹理图像的当前纹理块。

8.根据权利要求7所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

基于该深度图的与第一纹理块对应的第一深度块的该深度信息确定是否分割该纹理图像的该第一纹理块为多个子块。

9.根据权利要求8所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

基于该深度图的与该第一纹理块对应的该第一深度块的该深度信息确定该多个子块的形状。

10.根据权利要求8所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

使用标志指示该深度图的与该第一纹理块对应的该第一深度块的该深度信息是否用于分割该纹理图像的该第一纹理块为该多个子块。

11.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

基于该深度图的该深度信息确定是否将该纹理图像的第一纹理块与该纹理图像的第二纹理块合并。

12.根据权利要求11所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，使用标志来指示是否使能合并。

13.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该运动信息包括运动向量、参考图片索引、区域分割、预测方向、和预测模式。

14.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该编码或解码该纹理图像的步骤包括：

基于该深度信息分类该纹理图像有关的多个运动向量，以确定该纹理图像的预测模式。

15.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

对于通过该深度信息指示的在该纹理图像中对应于近处的物体的第一区域选择空间运动向量预测值，以及

对于通过该深度信息指示的在该纹理图像中对应于远处的物体的第二区域选择时间或视点间预测的运动向量预测值。

16.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该基于取得的该深度信息编码或解码该纹理图像的步骤包括：

基于该深度信息分类冗余去除该纹理图像的多个运动向量预测值。

17.根据权利要求16所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

从运动向量预测值候选清单中移除一个或多个多余的候选运动向量预测值。

18.根据权利要求16所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

在运动向量预测值候选清单中，移除由该深度信息指示的、与该纹理图像中对应于远处的物体的区域对应的具有大的运动的候选运动向量预测值；或在该运动向量预测值候选清单中，将由该深度信息指示的、与该纹理图像中对应于远处的物体的区域对应的该具有大的运动的候选运动向量预测值指定较低的优先权。

19.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，该基于取得的该深度信息编码或解码该纹理图像的步骤包括：

确定运动模型以取得该纹理图像的运动向量，其中该运动模型是依据该深度图来确定。

20.根据权利要求19所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

在该纹理图像中对应于远处的物体的第一区域根据平移模型取得该运动向量，以及

在该纹理图像中对应于近处的物体的第二区域根据透视模型取得该运动向量。

21.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

该第二视点中对应的纹理图像的对应的区域的位置是自该第一区域的位置、以及与该纹理图像相关的该深度图与在该第二视点中与该对应的纹理图像相关的深度图之间的位置对应关系而取得。

22.根据权利要求1所述的在三维视频编码系统中的纹理图像处理方法，其特征在于，

该模式包括预测类型、块尺寸、参考图片索引、预测方向、和分割。

23.一种在三维视频编码系统中的纹理图像处理装置，其特征在于，包括：

取得关于深度图的深度信息的装置，其中该深度图与纹理图像相对应；以及

基于取得的该深度信息编码或解码该纹理图像的装置；

其中，该纹理图像被分割为纹理块，该深度图与该纹理图像对应于第一视点，以及该纹理图像的纹理块的运动信息自第二视点中的对应的纹理块的运动信息而取得；

其中，该深度图和该纹理图像的编码顺序或解码顺序是基于块式交织或图片式交织的；并根据在比特流中与该纹理图像有关的标志选择该块式交织或该图片式交织；

其中该基于取得的该深度信息编码或解码该纹理图像的装置包括：基于该第二视点中的对应的纹理图像的对应的区域的模式确定该纹理图像的第一区域的模式的装置。

24.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，该深度信息包括深度数据和分割信息。

25.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，该取得关于深度图的深度信息的装置包括：

自包括该第一视点的第一压缩深度图的第一比特流解码而取得该深度图的装置；或

自包括其他视点的第二压缩深度图的第二比特流解码而取得该深度图的装置；或

自解码的纹理图像取得该深度图的装置。

26.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，

该纹理图像的分割依据该深度图的分割。

27.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，

基于该深度图的该深度信息确定是否将该纹理图像的第一纹理块与该纹理图像的第二纹理块合并。

28.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，该编码或解码该纹理图像的装置包括：

基于该深度信息分类该纹理图像有关的多个运动向量，以确定该纹理图像的预测模式。

29.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，该基于取得的该深度信息编码或解码该纹理图像的装置：

基于该深度信息分类冗余去除该纹理图像的多个运动向量预测值。

30.根据权利要求23所述的在三维视频编码系统中的纹理图像处理装置，其特征在于，该基于取得的该深度信息编码或解码该纹理图像的装置包括：

确定运动模型以取得该纹理图像的运动向量，其中该运动模型是依据该深度图来确定。