CN105637875A - 用于解码多视图视频的方法和设备 - Google Patents

Abstract

本发明涉及一种用于解码多视图视频的视频解码设备和方法，并且根据本发明的视频解码设备包括：熵解码单元，该熵解码单元用于熵解码比特流并且输出用于解码深度图片中的当前块所要求的视频信息；存储器，该存储器用于存储当解码当前块时参考的图片；以及预测单元，该预测单元用于通过使用相同视图中的纹理图片的运动信息作为当前块的运动信息推导当前块的预测采样。

Description

用于解码多视图视频的方法和设备

技术领域

本发明涉及视频编译技术，并且更加具体地，涉及3D视频图像编译技术。

背景技术

近年来，对高分辨率和高质量视频的需要已经在各种应用领域中增长。然而，视频数据的分辨率和质量变得越来越高，视频数据的量变得越来越大。

因此，当使用诸如现有的有线或者无线宽带线传输数据或者视频数据被存储在现有的存储介质中时，传输成本及其存储成本增加。高效率的视频压缩技术能够被使用以有效地传输、存储和再生高分辨率和高质量的视频数据。

另一方面，通过处理高分辨率/大容量视频的能力的实现，使用3D视频的数字广播服务已经作为下一代广播服务引起注意。3D视频能够使用多视图信道提供真实感和沉浸感。

3D视频能够在诸如自由视点视频(FVV)、自由视点TV(FTV)、3DTV、监视以及家庭娱乐的各种领域中使用。

不同于单个视图视频，使用多视图的3D视频在具有相同的图片顺序计数POC的视图之间具有高的相关性。因为以多个邻近的相机拍摄相同的场景，即，除视差和微小的照度差值之外，多个视图、多视图视频具有几乎相同的信息，并且因此不同的视图在其间具有高的相关性。

因此，在不同的视图之间的相关性能够被考虑用于编码/解码多视图视频，并且能够获得对于编码和/或解码当前视图的需求的信息。例如，能够参考在不同的视图中的块来预测或者解码在当前的视图中要解码的块。

发明内容

技术问题

本发明提供一种用于基于另一视图的图片重构当前视图的信息的方法和设备。

本发明提供一种用于将纹理视图的运动信息继承到用于深度视图中的当前块的运动信息的方法和设备。

本发明提供一种通过子块单位导出纹理视图的运动信息并且使用被导出的运动信息作为用于深度视图中的当前块的运动信息的方法和设备。

本发明提供一种通过预测块单元或者通过子预测块单元导出纹理视图的运动信息以导出当前块的预测采样的方法和设备。

技术方案

在一个方面中，一种视频解码设备，该视频解码设备解码多视图视频，包括：熵解码单元，该熵解码单元熵解码比特流以输出用于解码深度图片中的当前块所要求的视频信息；存储器，该存储器存储当解码当前块时参考的图片；以及预测单元，该预测单元通过使用相同的视图中的纹理图片的运动信息作为用于当前块的运动信息导出用于当前块的预测采样，其中预测单元决定是否通过子块单元导出纹理图片的运动信息并且基于决定导出用于当前块的运动信息。

在另一方面中，一种解码多视图视频的视频解码方法，包括：熵解码比特流以导出用于解码深度图片中的当前块所要求的视频信息；基于视频信息决定是否通过子块单元从纹理图片导出用于当前块的运动信息；根据决定从纹理图片导出用于当前块的运动信息；以及通过使用运动向量导出用于当前块的预测采样。

有益效果

根据本发明，视图的运动信息被继承到用于深度视图中的当前块的运动信息以有效地编译深度视图。

根据本发明，通过子块单元导出纹理视图的运动信息以被用作用于深度视图中的当前块的运动信息。

根据本发明，通过预测块的单元或者通过子预测块单元导出纹理视图的运动信息以被用作用于深度视图中的当前块的运动信息。

附图说明

图1是示意性地描述3D视频的编码和解码过程的图。

图2是示意性地描述视频编码设备的配置的图。

图3是示意性地描述视频解码设备的配置的图。

图4是示意性地描述视视图间编译的图。

图5示意性地描述使用深度图的多视图编译方法。

图6是示意性地描述DV-MCP块的图。

图7是示意性地描述当前块的邻近块的一个示例的图。

图8是示意性地描述用于从纹理图片推导信息的图。

图9是示意性地描述用于通过MVI推导纹理图片的运动向量的过程的图。

图10是示意性地描述用于通过以子块为单位应用MVI推导运动向量的方法的图。

图11是描述根据本发明的解码设备的操作的流程图。

具体实施方式

如在此处使用的，术语“像素”或者“图像元素”意指组成单个图像的最小单元。术语“采样”可以用作表示特定的像素的值的术语。在这一点上，采样可以指示照度分量的像素值和/或色度分量的像素值。

如在此处使用的，术语“单元”意指用于图像处理和/或在图像中特定的位置的基本单元。单元与诸如“块”、“区域”等等的术语可以互换地使用。通常地，M×N块指的是以M列和N行排列的采样或者变换系数的集合。

在下文中，将参考附图详细地描述本发明的实施例。

图1是示意性地描述3D视频的编码和解码过程的图。

参考图1，3D视频编码器编码视频图片和深度图和相机参数以作为比特流输出。

可以通过相对于对应视频图片(纹理图片)的像素在相机和主题之间的距离信息(深度信息)组成深度图。例如，深度图可以是通过根据比特深度标准化深度信息获得的图片。在这种情况下，可以通过在没有色度表达的情况下记录的深度信息构成深度图。

通常，因为距主题的距离和视差相互成反比例，所以可以通过使用相机参数从深度图的深度信息中推导指示在视图之间的相关性的视差信息。

包括深度图和相机信息以及常规的彩色图片，即，视频图片(纹理图片)的比特流可以通过网络或者存储介质被发送给解码器。

解码器接收比特流以重建视频。当3D视频解码器用作解码器时，3D视频解码器可以从比特流解码视频图片，和深度图和相机参数。可以基于经解码的视频图片、深度图和相机参数合成对于多视图显示所要求的视图。在这种情况下，当使用的显示器是立体显示器时，可以通过使用在重建的多视图当中的两个图片显示3D图片。

当使用立体视频解码器时，立体视频解码器可以从比特流中重建两个图片以在两个眼睛入射。立体显示器可以通过使用视图差异或者在左眼入射的左图片和在右眼入射的右图片之间的视差显示3D图片。当多视图显示器与立体视频解码器一起使用时，可以通过基于两个经重建的图片产生其它的视图显示多视图。

当使用2D解码器时，2D图片被重建以通过2D显示器输出该图片。2D显示器被使用，但是当3D视频解码器或者立体视频解码器用作解码器时，重建的图片中的一个可以通过2D显示器输出。

在图1的配置中，视图合成可以通过解码器或者显示器来执行。此外，解码器和显示器可以是一个设备或者分开的设备。

在图1中，为了容易描述，描述3D视频解码器、立体视频解码器，和2D视频解码器是分开的解码器，但是一个解码设备可以执行所有的3D视频解码、立体视频解码和2D视频解码。此外，3D视频解码设备可以执行3D视频解码，立体视频解码装置可以执行立体视频解码，并且2D视频解码装置可以执行2D视频解码。此外，多视图显示器可以输出2D视频或者立体视频。

图2是示意地描述视频编码设备的配置的图。参考图2，视频编码设备200包括图片分割单元205、预测单元210、减法单元215、变换单元220、量化单元225、重排单元230、熵编码单元235、去量化单元240、反变换单元245、加法单元250、滤波单元255和存储器260。

图片分割单元205可以将输入图片分离为至少一个处理单元块。在这种情况下，处理单元块可以是编译单元块、预测单元块，或者变换单元块。可以根据四树结构从最大编译单元块分离作为编译的单元块的编译单元块。作为从编译单元块分割的块的预测单元块可以是采样预测的单元块。在这种情况下，该预测单元块可以被划分为子块。作为编译单元块的变换单元块可以根据四树结构分离，并且可以是推导变换系数的单元块，或者从变换系数推导残留信号的单元块。

如在此处所使用的，为了说明的方便起见，编译单元块被称为编译块或者编译单元(CU)。预测单元块被称为预测块或者预测单元(PU)。变换单元块被称为变换块或者变换单元(TU)。

预测块或者预测单元可以意指块状的特定区域或者一批预测采样。此外，变换块或者变换单元可以意指块状的特定区域或者一批变换系数或者残留采样。

预测单元210可以执行用于处理目标块(在下文中，被称为当前块)的预测，并且产生包括用于当前块的预测采样的预测块。由预测单元210执行的预测的单元可以是编译块、变换块或者预测块。

该预测单元210可以决定是否内部预测适用于当前块，或者是否中间预测适用于当前块。

在内部预测的情况下，预测单元210可以基于在当前块属于的图片(在下文中，当前图片)中的邻近块像素推导用于当前块的预测采样。在这种情况下，预测单元210可以(i)基于当前块的邻近参考采样的平均值或者插补推导预测采样，或者(ii)相对于在当前块的邻近块当中的预测目标像素基于存在于特定方向的参考采样推导预测采样。为了容易描述，(i)的情形称为非定向模式，并且(ii)的情形称为定向模式。该预测单元210可以通过使用适用于邻近块的预测模式决定适用于当前块的预测模式。

在中间预测的情况下，预测单元210可以基于由在共置图片上的运动向量指定的采样推导用于当前块的预测采样。预测单元10适用跳跃模式、合并模式和MVP模式的任何一个以推导用于当前块的预测采样。在跳过模式和合并模式的情形下，预测单元210可以使用邻近块的运动信息作为当前块的运动信息。在跳跃模式的情况下，与合并模式不同，在预测采样和原始采样之间的差异(残留)没有被发送。在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器(MVP)以推导当前块的运动向量。

在中间预测的情况下，邻近块包括存在于当前图片中的空间邻近块和存在于共置图片中的空间邻近块。该运动信息包括运动向量和共置图片。在跳跃模式和合并模式中，当使用空间邻近块的运动信息时，在共置图片列表上最高的图片可以被用作共置图片。

在编码从属视图的情况下，预测单元210可以执行视图间预测。

预测单元210可以配置包括另一视图的图片的共置图片列表。对于视图间预测，预测单元210可以推导视差向量。与指定与在当前视图中的另一个图片中的当前块相对应的块的运动向量不同，视差向量可以指定在与当前图片相同的接入单元的另一个视图中对应于当前块的块。

预测单元210可以基于视差向量指定在深度视图中的深度块，并且执行合并列表、视图间运动预测、照度补偿(IC)、视图合成等等的配置。

用于当前块的视差向量可以通过使用相机参数从深度值推导，或者从运动向量或者在当前的或者另一视图中的邻近块的视差向量推导。

例如，预测单元210可以将对应于参考视图的空间运动信息的视图间合并候选(IvMC)、对应于视差向量的视图间视差向量候选(IvDC)、通过视差的移位推导的移位的IvMC、从对应于当前块是在深度图上的块情况的纹理推导的纹理合并候选(T)、通过使用视差从纹理合并候选推导的视差导出的合并候选(D)、基于视图合成导出的视图合成预测合并候选(VSP)等等添加到合并候选列表。

在这种情况下，在适用于从属视图的合并候选列表中包括的候选的数目可能受到预先确定的值的限制。

此外，预测单元210可以通过适用视图间运动向量预测基于视差向量预测当前块的运动向量。在这种情况下，预测单元210可以基于在相应的深度块中最大深度值的变换导出视差向量。当通过将视差向量添加到参考视图中的当前块的采样位置指定参考视图中的参考采样的位置时，包括参考采样的块可以用作参考块。预测单元210可以将参考块的运动向量用作候选运动参数或者当前块的运动向量预测器候选，并且将视差向量用作用于视差补偿的预测(DCP)的候选视差向量。

减法单元215产生残留采样，该残留采样是在原始采样和预测采样之间的差。当适用跳跃模式时，减法单元215可以不产生如上所述的残留采样。

变换单元210通过以变换块为单元使用变换残留的采样产生变换系数。量化单元225量化变换系数以产生量化的变换系数。

重排单元230重新排序量化的变换系数。重排单元230可以通过扫描方法以1D向量形状重新排序块状的量化的变换系数。

熵编码单元235可以执行量化的变换系数的熵编码。作为熵编码，可以使用例如包括指数Golomb、上下文自适应可变长编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等等的编码方法。除了量化的变换系数之外，熵编码单元235可以共同地或者分别地编码对于视频重建所要求的信息(例如，语法元素的值等等)。

熵编码的信息可以作为比特流的形式通过网络抽象化层的单元被发送或者存储。

去量化单元240将量化的变换系数去量化以产生变换系数。逆变换单元245将变换系数逆变换以产生残留采样。

加法单元250将残留采样和预测采样相加以重建图片。残留采样和预测采样通过块的单元被彼此相加以产生重建块。在此，加法单元250被描述为单独的部件，但是，加法单元250可以是预测单元210的一部分。

滤波器单元255可以将去块滤波器和/或偏移应用于被重建的图片。通过去块滤波和/或偏移可以校正在重构的图片中的块边界的量化过程或者人工期间的失真。该偏移可以通过采样的单元被适用，并且在去块滤波的处理完成之后被适用。

存储器260可以存储被重建的图片或者对于编码/解码所要求的信息。例如，存储器60可以存储被用于中间预测/视图间预测的图片。在这种情况下，被用于中间预测/视图间预测的图片可以由共置图片集或者共置图片列表来指定。

在此，描述一个编码设备编码独立视图或者从属视图，但是这是为了容易描述并且单独的编码设备被配置用于各个视图或者单独的内部模块(例如，用于各个视图的预测单元)可以被配置用于各个视图。

图3是示意地描述视频解码设备的配置的图。参考图3，视频解码设备300包括熵解码单元310、重排单元320、去量化单元330、逆变换单元340、预测单元350、加法单元360、滤波器单元370和存储器380。

当输入包括视频信息的比特流时，视频解码设备300可以重建视频以对应于其中视频信息由视频编码设备处理的过程。

例如，视频解码设备300可以通过使用在视频编码设备中适用的处理单元执行视频解码。在这种情况下，视频解码的处理单元块可以是编译单元块、预测单元块，或者变换单元块。作为解码的单元块的编译单元块可以根据四树结构从最大编译单元块分离。作为从编译单元块分割的块的预测单元块可以是采样预测的单元块。在这种情况下，预测单元块可以被划分为子块。作为编译单元块的变换单元块可以根据四树结构被分离，并且可以是导出变换系数的单元块或者从变换系数导出残留信号的单元块。

熵解码模块310可以解析比特流并且输出被要求恢复视频或者图片的信息。例如，熵解码模块310可以基于指数Golomb(expotential-Golomb)、CAVLC、CABAC等等解码在比特流中的信息，并且输出用于视频恢复的语法元素值、用于残留的变换系数的量化值。

当多个视图被处理以便于再生3D视频时，可以为每个视图输入比特流。可替选地，关于各自的视图的信息可以在比特流中被复用。在这种情况下，熵解码单元310解复用该比特流以解析用于每个视图的被解复用的比特流。

重排单元320可以以2D块形式重排量化的变换系数。重排单元320可以执行重排以对应于由编码设备执行的系数扫描。

去量化单元330基于(去)量化的参数去量化被量化的变换系数以输出该变换系数。可以从编码装置用信号发送用于导出被量化的参数的信息。

逆变换单元340逆变换该变换系数以导出残留采样。

预测单元350可以执行用于当前块的预测并且产生包括用于当前块的预测采样的预测块。由预测单元350执行的预测的单元可以是编译块、变换块或者预测块。

该预测单元350可以决定是否内部预测适用于当前块或者是否中间预测适用于当前块。在这种情况下，用于决定适用内部预测或者中间预测的单元和用于产生预测采样的单元可以相互不同。另外，用于在中间预测和内部预测中产生预测采样的单元也可以相互不同。

在内部预测的情况下，预测单元350可以基于在当前图片中的邻近块像素导出用于当前块的预测采样。预测单元350可以基于当前块的邻近参考块通过应用定向模式或者非定向模式导出用于当前块的预测采样。在这种情况下，可以通过使用邻近块的内部预测模式决定要应用于当前块的预测模式。

在中间预测的情况下，预测单元350可以基于由共置图片上的运动向量指定的采样导出用于当前块的预测采样。预测单元10应用跳跃模式、合并模式和MVP模式的任何一个以导出用于当前块的预测采样。

在跳跃模式和合并模式的情形下，预测单元350可以使用邻近块的运动信息作为当前块的运动信息。在这种情况下，邻近块可以包括空间邻近块和时间邻近块。

预测单元350可以将合并候选列表配置成可用的邻近块的运动信息，并且由在合并候选列表上的合并索引指示的信息可以用作当前块的运动向量。可以从编码设备用信号发送该合并索引。运动信息包括运动向量和共置图片。在跳跃模式和合并模式中，当使用时间邻近块的运动信息时，在共置图片列表上的最高的图片可以用作共置图片。

在跳跃模式的情况下，不同于合并模式，在预测采样和原始采样之间的差异(残留)没有被发送。

在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器(MVP)以导出当前块的运动向量。在这种情况下，邻近块可以包括空间邻近块和时间邻近块。

在编码从属视图的情况下，预测单元350可以执行视图间预测。在这种情况下，预测单元350可以配置包括另一视图的图片的共置图片列表。

对于视图间预测，预测单元350可以导出视差向量。预测单元350可以基于视差向量指定在深度视图中的深度块，并且执行合并列表、视图间运动预测、照度补偿(IC)、视图合成等等的配置。

用于当前块的视差向量可以通过使用相机参数从深度值导出，或者从在当前或者另一视图中的邻近块的视差向量或者运动向量导出。可以从编码设备用信号发送相机参数。

当合并模式适用于从属视图的当前块时，预测单元350可以将对应于参考视图的时间运动信息的IvDC、对应于视差向量的IvDC、通过视差向量的移位导出的移位IvMC、从对应于当前块是在深度图上块的情形的纹理导出的纹理合并候选(T)、通过使用视差从纹理合并候选导出的视差推导合并候选(D)、基于视图合成导出的视图合成预测合并候选(VSP)等等添加到合并候选列表。

在这种情况下，包括在适用于从属视图的合并候选列表中的候选的数目可能受到预先确定的值的限制。

此外，预测单元350可以通过适用视图间运动向量预测基于视差向量预测当前块的运动向量。在这种情况下，预测单元350可以使用在由视差向量指定的参考视图中的块作为参考块。预测单元350可以使用参考块的运动向量作为候选运动参数或者当前块的运动向量预测器候选并且使用视差向量作为用于DCP的候选视差向量。

加法单元360相加残留采样和预测采样以重建当前块或者当前图片。加法单元360以块为单元相加残留采样和预测采样以重建当前图片。当适用跳跃模式时，因为残留没有被发送，所以预测采样可以变为重建采样。在此，加法单元360被描述为单独的组件，但是加法单元360可以是预测单元350的一部分。

滤波器单元370可以将去块滤波和/或偏移适用于重建的图片。在这种情况下，偏移可以被作为采样单元的偏移被适配地适用。

存储器380可以存储重建的图片或者对于解码所要求的信息。例如，存储器380可以存储被用于中间预测/视图间预测的图片。在这种情况下，被用于中间预测/视图间预测的图片可以由共置图片集或者共置图片列表指定。重建的图片可以用作共置图片。

此外，存储器380可以根据输出顺序输出重建的图片。为了再生3D图片，虽然未图示，输出单元可以显示多个不同的视图。

在图3的示例中，描述了一个解码设备解码独立视图和从属视图，但是这是为了容易描述并且本发明不限于此。例如，每个解码设备可以对于每个视图操作，并且一个解码设备可以在其中包括对应于每个视图的操作单元(例如，预测单元)。

当编译多视图视频时，编码和解码装置可以使用用于属于与当前图片相同的接入单元(AU)的不同的视图的编译的数据来改进用于当前的视图的视频编译的效率。关于此，具有同等的POC(图片顺序计数)的图片可以定义单个AU。POC指的是某个图片的显示顺序。

编码和解码装置可以基于AU单元编译视图，和/或可以基于视图单元编译图片。可以基于预先确定的顺序为视图继续进行编译。要首先编译的视图可以称为基础视图或者独立视图。在编译独立视图之后参考不同的视图要编译的视图可以称为从属视图。此外，在当前的视图是从属视图时，用于当前的视图的编译(编码/解码)要参考的不同的视图可以称为参考视图。

图4示意地图示视图间编译方法。在图4的示例中，基于AU单元执行编译，并且V0是独立视图，以及V1是从属视图。可以通过使用运动向量参考在与当前图片410相同的视图中的另一图片430，例如为在当前图片410中的块A执行中间图片预测。这样的中间图片预测可以称为运动补偿的预测(MCP)。在替选中，可以通过使用视差向量，参考在与当前图片410不同的视图中但是存在于相同的接入单元，即，具有与当前图片410相同的POC的图片420，例如对于在当前图片410中的块B执行中间图片预测。这样的中间图片预测可以称为视差补偿的预测(DCP)。

当编译多视图视频时，除在与包含当前块的当前视图不同的视图中的图片之外中间图片预测可以采用深度图。

图5示意地图示使用深度的多视图编译方法。

参考图5，可以使用深度图510编译(编码/解码)在当前视图中的当前图片500中的块(当前块505)。在这一点上，用于在对应于当前块505的采样515的位置(x，y)的深度图510中的采样520的位置(x，y)的深度值d可以变换为视差向量525。深度值d可以基于在采样像素和相机之间的距离被导出。

编码和解码装置可以将视差向量525添加到采样530的位置(x，y)，从而确定在参考视图中的当前图片540中参考采样535的位置。视差向量可以仅具有x轴分量。因此，视差向量值可以是值(disp，0)。因此，参考采样540的位置(xr，y)可以被确定为是位置(x+disp，y)。

编码和解码装置可以采用用于包括参考像素535的参考块545的运动参数作为用于当前块的候选运动参数。例如，当在参考视图中的参考图片550是用于参考块545的参考图片时，可以从用于当前块505的运动向量560导出用于参考块545的运动向量555。在这一点上，图片565可以是在当前视图中的参考图片。

同时，如上所述，在解码多视图视频中，可以通过使用视差向量参考其他视图的信息。

在编译(编码/解码)从属视图的图片的情况下，当在已经被编译的邻近块当中存在经DCP编译的块时，DCP编译块的视差向量可以被用作视差向量以被应用于当前块。在这样的情况下，从邻近块导出的视差向量，即，经DCP编译的块的视差向量可以被用作用于将视图间运动预测(IVMP)和视图间残留预测(IVRP)应用于当前块的视差向量。

将会首先描述通过IVMP确定当前块的运动向量的情况。在运动向量预测(MVP)或者高级运动预测(AMVP)模式、合并模式或跳跃模式中，当从视图间参考图片中的对应块的运动向量导出的候选作为被应用于当前块的运动向量被选择时，通过MCP编译当前块。

在通过MCP编译的块当中的其中通过IVMP方法预测运动向量的块被称为DV-MCP块。

图6是示意性地描述DV-MCP块的图。在图6中，图示了当前视图的当前图片610中的当前块620被中间预测的情况。

参考图6，从基本视图中的参考图片640的对应块650导出被用于当前块620的中间预测的邻近块630的运动向量MV1。在这样的情况下，通过视差向量DV660指定对应块。作为被用于当前块630的中间预测的候选块，邻近块630的运动向量MV1可以被设置为对应块650的运动向量MV2或者从MV2被导出。

在这样的情况下，基本视图和当前图片610中的参考图片640的POC可以彼此相同。对其应用从另一视图中的对应块650的运动向量MV2预测的运动向量MV1的邻近块630可以被称为DV-MCP块。

编码设备和解码设备可以存储被用于预测DM-MCP块的运动向量的视差向量的信息，并且在导出邻近块的视差向量的过程中使用被存储的信息。

图7是示意性地描述当前块的邻近块的一个示例的图。图7的邻近块是已经被解码的块并且在解码当前块是可接入的。

当前块710的邻近块包括空间邻近块A0、A1、B0、B1、以及B2和空间邻近块col-CTR(col-中心)、和col-RB(col-右下)。基于当前块710的位置指定各自的空间邻近块的位置。

此外，基于与作为参考图片之一的共置图片中的当前块相对应的位置指定各自的时间邻近块的位置。在时间邻近块的情况下，在解码当前图片或者当前片时指定的共置图片中，包括被定位在当前块720的中心处的像素的编译块变成col-CTR。此外，当共置图片中的当前块720的右下像素位置是(x,y)时，包括在(x+1,y+1)的位置处的像素的编译块变成col-RB。在下文中，在本说明书中，为了容易描述，col-CTR可以被表达为CTR并且col-BR可以被表达为BR。

在共置图片中，为了时间视差向量导出可以选择被包括在当前片或者当前图片的参考图片列表中的时间参考图片之一。

解码器可以通过片报头获知共置图片。例如，指示哪个图片要被用作共置图片的信息可以在片报头中被用信号发送。

同时，在通过使用视图间预测重建当前块的情况下，当合并模式被应用于当前块时，通过预测块的单元(例如，PU)或者通过子预测块的单位(例如，子-PU)可以导出预测采样。

例如，当在纹理中存在编码设备和解码设备的预测单元并且在当前片中存在至少一个视图间参考块时，可以基于视差向量指定与当前块相对应的块，并且同时使用对应块在PU级或者子PU级导出预测采样。

当在解码多视图视频中使用合并模式的预测被应用于当前块时，编码设备和解码设备的预测单元可以通过与基本视图相同的方法配置合并候选列表，并且其后，将使用参考视图中的对应块的运动向量的视图间合并候选(IvMC)、视图间视差向量候选(IvDC)、通过移位IvMC和IvDC获取的移位的IvMC和移位的IvDC、以及基于深度导出的视图合成预测(VSP)合并候选添加到合并候选列表。

在下文中，将会示意性地描述组成合并候选列表的合并候选。

首先，类似于在基本视图中使用的合并候选列表导出从空间邻近块可用的运动向量。在这样的情况下，当前块的空间邻近块变成在图7中图示的当前块710的邻近块A0、A1、B0、B1以及B2。

此外，在除了当前视图之外的参考视图中的对应块的信息可以被用作当前块的合并候选。可以通过视差向量指定对应块。可以从对其应用DCP或者MCP的邻近块的运动向量或者视差向量导出视差向量，并且通过修改通过使用深度图导出的运动向量获取的值可以被用作视差向量。为了容易描述，从相邻块导出的视差向量被称为来自于邻近块的视差向量，并且通过使用深度值从NBDV导出的视差向量被称为深度导向的NBDV(DoNBDV)。

编码设备和解码设备的预测单元可以使用当通过视差向量指定的参考块在作为视图间合并候选(IvMC)的参考视图中执行时间运动补偿时所使用的运动向量。即，在参考视图中，应用MCP的块的运动向量可以被用作当前块的运动向量候选。在这样的情况下，作为被用于指定参考块的视差向量，基于当前块导出的NBDV或者DoNBDV可以被使用，并且基于深度图导出的值可以被使用。同时，为了导出IvMC，可以使用在PU级或者子PU级的导出方法。

此外，编码设备和解码设备的预测单元可以使用参考视图中的对应块的视差向量作为视图间视差向量候选(IvDC)。

编码设备和解码设备的预测单元可以将视差向量移位了特定的值，并且其后，导出通过到移位的IvMC(IvMCShift)的移位的视差向量指定的当前块的运动向量。预测单元可以通过使用当前预测块的高度和宽度移位视差向量。例如，在当前块的高度是nPbH并且当前块的宽度是nPbW时，预测单元在x轴方向中将视差向量移位了nPbW*2+2并且在y轴方向中将视差向量移位了nPbH*2+2以导出IvMCShift。当IvMC和IvMCShift彼此不相同时预测单元可以添加IvMCShift作为当前块的合并候选。

编码设备和解码设备的预测单元可以将视差向量移位了特定的值，并且其后，将移位的视差向量(IvDCShift)添加到当前块的合并候选。例如，预测单元可以使用通过将IvDC仅在x轴上移位了预先确定的距离(例如，4)获得的视差向量作为IvDCShift。此外，通过考虑视图合成预测被应用的情况，预测单元可以导出IvDCShift。例如，当视图合成预测可以被执行时预测单元可以将IvDCShift的y分量设置为0。

同时，当基于视图间预测将运动向量添加到合并候选列表时，编码设备和解码设备的预测单元可以基于深度信息的信息导出候选。

例如，预测单元可以基于在视频信号和深度信号之间的相似度应用利用来自于视频信号的运动信息使用的运动参数继承方法(MPI)。在这样的情况下，可以从用于从一个深度PU划分的子Pus的每一个的纹理继承不同的运动向量。当通过MPI应用深度图的块的当前块时，预测单元可以使用从纹理继承的运动向量添加合并候选T和基于T导出的深度厚度D作为合并候选。当D被使用时，预测采样可以被设置为从对应视差向量导出的深度值。

最后，编码设备和解码设备的预测单元可以通过视图合成预测(VSP)添加作为合并候选(VSP)的视差向量。预测单元可以添加用于当前块的作为合并候选的邻近块的视差向量，并且通过使用视差向量基于在深度图上指定的对应块的深度值导出当前块的深度信息。

编码设备和解码设备的预测单元可以通过使用合并候选如下地配置合并候选列表。根据下述顺序合并候选被定位在合并候选列表上。

(1)预测单元将作为MPI候选的T和D添加到合并候选列表。详细地，预测单元确定是否T是可用的，当T是可用的时添加T。预测单元确定是否D是可用的，当D是可用的时添加D。

(2)当T不是可用的，或者作为IvMC是可用的情况T和IvMC相互不同时，预测单元将IvMC插入到紧挨着合并候选列表的D的位置。

(3)当A1是可用时，预测单元将A1添加到合并候选列表。为了防止合并候选的重复，预测单元可以比较已经添加的合并候选和A1之间的采样。当深度是可用的时已经添加的合并候选N可以是T，并且当深度不可用时其可以是IvMC。当A1和N彼此相同时预测单元可以从合并候选排除A1。

(4)当B1可用时，预测单元将B添加到合并候选列表。为了防止合并候选的重复，当B1和先前添加的候选彼此相同时预测单元可以从合并候选排除B1。

(5)当B0可用时，预测单元将B0添加到合并候选列表。

(6)当IvDC可用时，预测单元将IvDC添加到合并候选列表。然而，(i)当A1不可用或者A1和IvDC彼此不同时，(ii)当B1不可用或者B1或者IvDC彼此不同时，并且(iii)当至今添加的合并候选的数目不大于合并候选列表的最大数目时，预测单元可以将IvMC添加到合并候选列表。

(7)当视差向量(在下文中，被称为VSP)被导出到VSP并且至今添加的合并候选的数目不大于合并候选列表的候选的最大数目时，预测单元可以将VSP添加到合并候选列表。在这样的情况下，在附加的编译方法，例如，照度补偿(IC)、高级残留预测(ARP)等等不可用的条件下，预测单元可以将VSP添加到合并候选列表，以便于增加编译效率。

(8)当A0可用并且至今添加的合并候选的数目不大于合并候选列表的候选的最大数目时，预测可以将A0添加到合并候选列表。

(9)当B2可用并且至今添加的合并候选的数目不大于合并候选列表的候选的最大数目时，预测可以将B2添加到合并候选列表。

(10)(i)当IvMCShift可用并且至今添加的合并候选的数目不大于合并候选列表的候选的最大数目时和(ii)当IvMC不可用或者IvMC和IvMCShift彼此不相同时，预测单元可以将IvMCShift添加到合并候选列表。

(11)当IvDCShift可用并且至今添加的合并候选的数目不大于合并候选列表的候选的最大数目时，预测可以将IvDCShift添加到合并候选列表。

如上所述，当通过合并模式要预测的采样与深度相关联时，通过MPI的候选T和D被使用，并且如果不是，则T和D不可以被使用。

同时，当作为IvMC被使用或者VSP可以被应用的情况没有基于深度分割块时，编码设备和解码设备的预测单元可以通过预测块的子块(子预测块)的单元指定运动向量。

例如，当MPI可以被应用时，层间(视图间)预测可以通过子预测块的单元被执行。此外，即使当执行视图合成预测时，预测单元可以通过子预测块的单元导出视差向量。

作为视图间预测的合并候选，当通过子预测块的单位导出运动向量时，通过当前预测块中的子块的单元可以导出运动向量。

当通过子预测块的单位可以指定运动向量时，以视频参数集的扩展水平可以发送用于指定子预测块的大小的信息。此外，当MPI被应用时子预测块的大小可以被单独地用信号发送。

详细地，在编译包括深度图的3D视图中，可以通过参考关于相同时间的纹理图片的编译信息，例如，图片顺序计数(POC)，编译深度图。

因为深度图与相同时间的纹理图片一起被同时拍摄或者从关于相同时间的纹理图片的深度信息产生，所以相同时间的纹理图片和深度图片的相关性非常高。

因此，在编译深度图片中，可以使用已经编译的纹理图片的运动信息或者块分割信息。如上所述，这被称为运动参数继承(MPI)。

图8是示意性地描述用于从纹理图片导出信息的方法的图。

参考图8，对应于当前图片810中的预测块820的子块830的纹理图片840中的块850被指定。在这样的情况下，当前图片810可以是深度图片。

包括对应纹理块850的中心860的预测的运动信息可以被用作子块830的运动信息。例如，当存在覆盖对应块850的两个预测块时，包括中心860的预测块850’的运动信息可以被用作子块830的运动信息。

作为用于从纹理图片继承运动参数的方法之一，可以使用运动向量继承(MVI)。

图9是示意性地描述用于通过MVI导出纹理图片的运动向量的过程的图。

参考图9，可以从在被定位在与深度图片910中的当前块C920相同的位置处的纹理图片930中的对应块C’940继承运动向量。例如，编码设备和解码设备的预测单元导出在对应块C’940的中心处的运动向量Mv950以使用用于当前块920的运动向量Mv960。在这样的情况下，当被定位在与当前块C920相同的位置处的纹理块940是应用内部预测的块时，预测单元没有从纹理块取得运动向量。

图9图示导出在纹理块的中心处的运动信息以将导出的运动信息应用于深度图片的当前块的方法。在这一点上，通过子块单元从与当前块相对应的纹理图片取得运动向量以增加用于当前块的预测的精确度。

例如，编码设备和解码设备的预测单元将纹理图片中的对应块分割成子块并且通过被分割的子块单元取得运动信息以将该运动信息应用于深度图片中的当前块。在这样的情况下，对应块可以是预测块并且子块可以是子预测块或者子PU。

图10是示意性地描述通过子块的单位通过应用MVI导出运动向量的方法的图。

在图10的示例中，描述了用于通过子预测块(子PU)单元从纹理图片导出深度图片的运动向量的方法。

参考图10，可以从纹理图片1030的对应块C’1040中继承深度图片1010中的当前块C1020的运动向量。在这样的情况下，可以通过当前块C1020和对应块C’1040中的子块单元继承运动向量。

当当前块C1020是预测块时，子块C1至C4和C’1至C’4变成子预测块。子预测块(子PU)的大小可以被设置为NxM(N和M是大于0的整数)。

编码设备和解码设备的预测单元可以通过与作为深度块的当前块C1020的相对应的关系基于子块最初地取得运动向量，不论纹理图片中的块分割信息如何。例如，预测单元可以根据对应块C’1040的子块C1’至C4’的大小取得运动向量。

取得运动信息的子PU中的位置可以是子PU的中心。可替选地，运动信息被取得的子PU中的问题可以是子预测块的左上位置。各个子预测块可以通过左上位置被指定。

当在特定的子PU中不存在运动向量时，预测单元可以将对应子PU的运动向量替换成邻近运动向量值。在这样的情况下，邻近运动向量可以是对应子PU的左或者上子PU的运动向量。

可替选地，当在特定的子PU中不存在运动向量时编码设备和解码设备的预测单元可以将预先确定的替代运动向量设置为对应子PU的运动向量。在这样的情况下，替代运动向量可以是通过NBDV或者DoNBDV指示的运动向量。可替选地，预测单元可以将先前导出的运动向量设置为替代运动向量并且连续地更新替代运动向量。

在从与深度块对应纹理块继承运动向量时，预测单元可以决定通过预测块(即，PU单元)或者子预测块(即，子PU单元)的哪个单元从与深度块相对应的纹理块继承运动向量。

例如，可以将指示是否通过PU单元继承运动向量或者是否通过子PU单元继承运动向量的信息从编码设备发送到解码设备。作为示例，可以使用标志用信号发送是否通过PU单位继承运动向量或者通过子PU单元继承运动向量的指示。

解码设备可以基于接收到的信息决定是否通过PU单元或者通过子PU单元继承运动向量。

再次参考图10，当决定通过子PU单元继承运动向量时，预测单元可以取得和使用用于子块C1的C’1的运动向量Mv1、用于子块C2的与C2相对应的C’2的运动向量Mv2、用于子块C3的与C3相对应的C’3的运动向量Mv3、以及用于子块C4的与C4相对应的C’4的运动向量Mv4。

图11是示意性地描述根据本发明的解码设备的操作的流程图。

参考图11，解码设备熵解码比特流以输出对于解码当前块所要求的视频信息(S1110)。视频信息包括对于逆变换/去量化残留所要求的残留和信息、对于产生预测采样所要求的信息、对于将滤波应用于被重构的图片所要求的信息等等以便于解码当前块。例如，在当前块是深度视图中的块时，视频信息可以包括指示是否从纹理图片继承运动信息的信息。此外，当当前块是深度视图中的预测块，即，深度视图中的PU时，视频信息可以包括指示是否通过子预测块(子PU)单元导出当前块的运动信息的信息。指示是否通过子预测块单元导出运动向量的信息指示其中导出运动信息的块的大小，以指示是否通过预测块单元或者子预测块单元导出运动向量。

必要时在视频参数集的水平或者视频参数集的扩展水平发送视频信息。

解码设备可以基于视频信息决定导出用于当前块的运动向量的单元(S1120)。如上所述，视频信息可以包括指示是否通过子预测块单元导出运动向量的运动信息导出单元信息。解码设备可以基于运动信息导出单元信息决定是否通过预测块单元或者通过子块(子预测块)单元导出运动信息。

解码设备可以基于决定导出用于当前块的运动向量(S1130)。当决定通过预测块单元导出运动信息时，深度图片中的当前块的运动信息(例如，运动向量)可以从纹理图片的对应块中被导出。例如，解码设备可以将纹理图片中的对应块的运动向量设置为深度图片中的当前块的运动向量。

当决定通过子预测块单位导出运动信息时，可以从纹理图片中的对应块的子块导出深度图片的当前块的运动信息(例如，运动向量)。例如，解码设备可以将用于纹理图片中的对应块的子块的运动向量设置为用于深度图片中的当前块的子块的运动向量。

解码设备可以通过使用运动向量导出用于当前块的预测采样(S1140)。当通过预测块的单位导出运动向量时，解码设备可以通过使用运动向量通过子块单元导出预测采样。例如，解码设备可以使用在参考图片上的通过子块单元指定的运动向量指示的区域中的采样作为用于当前块(例如，预测块)的子块(例如，子预测块)的预测采样。

当通过预测块单元导出运动向量时，解码设备可以通过使用运动向量通过预测块单元导出预测采样。例如，解码设备可以使用在参考图片上的通过预测块单元指定的运动向量指示的区域中的采样作为当前块(例如，预测块)的预测采样。

当导出预测采样时，解码设备添加预测采样和残留采样以导出重构采样。在编译深度的情况下，解码设备可以省略环路滤波等等以便于减少复杂性。

在图11中，描述了解码，但是在S1120之后的步骤，即，决定是否通过子块单位导出用于深度图的块的运动向量的步骤、通过当前块或者当前块的子块单元导出运动向量的步骤、通过使用运动向量导出预测采样的步骤、以及通过使用步骤驱动重构采样甚至在编码设备中被类似地执行。

然而，编码设备可以通过考虑用于编译的成本决定是否通过子块单位导出运动向量，并且其后，熵编码有关的信息并且将有关信息传输到解码设备。

在前述的被图示的系统中，已经基于作为一系列的步骤或者块的流程图已经描述了方法，但是该方法不限于本发明的步骤的顺序并且任何步骤可以在与前述步骤或者顺序不同或者同时的步骤中出现。前述的示例性实施例包括各个方面的示例。因此，能够进行属于随附的权利要求的本发明的所有的其它的代替、修改、以及变化。

Claims (14)

1.一种解码多视图视频的视频解码设备，所述视频解码设备包括：

熵解码单元，所述熵解码单元熵解码比特流以输出用于解码深度图片中的当前块所要求的视频信息；

存储器，所述存储器存储当解码所述当前块时参考的图片；以及

预测单元，所述预测单元通过使用相同视图中的纹理图片的运动信息作为用于所述当前块的运动信息导出用于所述当前块的预测采样，

其中，所述预测单元决定是否通过子块单元导出所述纹理图片的运动信息，并且基于所述决定导出用于所述当前块的运动信息。

2.根据权利要求1所述的视频解码设备，其中，从所述纹理图片中的所述当前块的对应块导出所述运动信息，所述纹理图片是与所述深度图片相同时间的图片，并且所述对应块是被定位在与所述纹理图片中的所述当前块相同位置处的块。

3.根据权利要求1所述的视频解码设备，其中：

所述视频信息包括指示是否通过所述子块单元导出所述运动信息的指示信息，并且

所述预测单元基于所述指示信息决定是否通过所述子块单元导出所述纹理图片的运动信息。

4.根据权利要求1所述的视频解码设备，其中，所述当前块是预测块。

5.根据权利要求1所述的视频解码设备，其中，当决定通过所述子块单元导出所述纹理图片的运动信息时，所述预测单元通过与所述纹理图片中的所述当前块相对应的块的子块单元导出运动向量。

6.根据权利要求5所述的视频解码设备，其中，所述对应块的子块对应于所述当前块的子块，并且所述预测单元将在所述对应块的子块中导出的运动向量设置为用于所述当前块的子块的运动向量。

7.根据权利要求5所述的视频解码设备，其中，所述对应块的子块对应于所述当前块的子块，并且所述预测单元基于为所述对应块的各个子块导出的运动向量导出用于所述当前块的各个子块的所述预测采样。

8.一种解码多视图视频的视频解码方法，所述视频解码方法包括：

熵解码比特流以导出用于解码深度图片中的当前块所要求的视频信息；

基于所述视频信息决定是否通过子块单元从纹理图片导出用于所述当前块的运动信息；

根据所述决定从所述纹理图片导出用于所述当前块的运动信息；以及

通过使用运动向量导出用于所述当前块的预测采样。

9.根据权利要求8所述的视频解码方法，其中，从纹理图片中的所述当前块的对应块导出所述运动信息，所述纹理图片是与所述深度图片相同时间的图片，并且所述对应块是被定位在与所述纹理图片中的所述当前块相同位置处的块。

10.根据权利要求8所述的视频解码方法，其中：

所述视频信息包括指示是否通过所述子块单元导出所述运动信息的指示信息，并且

在所述决定中，基于所述指示信息决定是否通过所述子块单元导出所述纹理图片的运动信息。

11.根据权利要求8所述的视频解码方法，其中，所述当前块是预测块。

12.根据权利要求8所述的视频解码方法，其中，当决定通过所述子块单元导出所述纹理图片的运动信息时，在所述运动信息的导出中，通过与所述纹理图片中的所述当前块相对应的块的子块单元导出所述运动向量。

13.根据权利要求12所述的视频解码方法，其中：

所述对应块的子块对应于所述当前块的子块，并且

在所述运动信息的导出中，将在所述对应块的子块中导出的运动向量设置为用于所述当前块的子块的运动向量。

14.根据权利要求12所述的视频解码方法，其中：

所述对应块的子块对应于所述当前块的子块，并且

在所述运动信息的导出中，基于为所述对应块的各个子块导出的所述运动向量导出用于所述当前块的各个子块的所述预测采样。