CN105659604A

CN105659604A - 在多视图视频编译中预测视图合成的方法和用于通过使用其构建合并候选列表的方法

Info

Publication number: CN105659604A
Application number: CN201480057174.XA
Authority: CN
Inventors: 金兑燮; 芮世薰; 许镇; 徐廷东; 柳先美; 南廷学
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2013-10-18
Filing date: 2014-10-20
Publication date: 2016-06-08
Anticipated expiration: 2034-10-20
Also published as: JP6545672B2; KR102254599B1; KR20160072102A; US20160295240A1; ES2781561T3; US10070147B2; WO2015057039A1; EP3059970A4; JP2016537869A; EP3059970B1; EP3059970A1; CN105659604B

Abstract

本发明涉及用于在多视图视频编译中通过使用视图合成预测(VSP)等等构建合并候选列表的方法。根据本发明的用于构建合并候选列表的方法包括下述步骤：确定用于当前块的预测模式；当用于当前块的预测模式是合并模式或者跳过模式时从当前块的邻近块导出作为合并候选的运动信息；以及通过使用邻近块的运动信息和从当前块的邻近块导出的深度视差信息来构建合并候选列表。

Description

在多视图视频编译中预测视图合成的方法和用于通过使用其构建合并候选列表的方法

技术领域

本发明涉及视频编译技术，并且更加具体地，涉及3D视频图像编译技术。

背景技术

近年来，对高分辨率和高质量视频的需要已经在各种应用领域中增长。然而，视频数据的分辨率和质量变得越来越高，视频数据的量变得越来越大。

因此，当使用诸如现有的有线或无线宽带线传输数据或者视频数据被存储在现有的存储介质中时，传输成本及其存储成本增加。高效率的视频压缩技术能够被使用以有效地传输、存储和再现高分辨率和高质量的视频数据。

另一方面，通过处理高分辨率/大容量视频的能力的实现，使用3D视频的数字广播服务已经作为下一代广播服务引起注意。3D视频能够使用多视图信道来提供真实感和沉浸感。

3D视频能够在诸如自由视点视频(FVV)、自由视点TV(FTV)、3DTV、监视以及家庭娱乐的各种领域中使用。

不同于单个视图视频，使用多视图的3D视频在具有相同的图片顺序计数POC的视图之间具有高相关性。因为以多个邻近相机拍摄相同的场景，即，除视差和微小的照度(illumination)差异之外，多个视图、多视图视频具有几乎相同的信息，并且因此不同视图在其间具有高相关性。

因此，在不同视图之间的相关性能够被考虑用于编码/解码多视图视频，并且能够获得对于编码和/或解码当前视图的需求的信息。例如，能够参考在不同视图中的块来预测或者解码在当前视图中要解码的块。

发明内容

技术问题

本发明的目的是为了提供导出用于有效地执行视图间预测的合并候选的方法、以及用于构建合并候选列表的方法和装置。

本发明的另一目的是为了提供考虑用于导出每个合并候选的有效条件和在构建合并候选列表中的每个合并候选的可用性方法和装置。

本发明的又一目的是为了提供用于通过当前块的子块执行视差向量的导出和预测以便于使用深度信息有效地解码当前块的方法和装置。

技术方案

根据本发明的实施例，提供一种构建多视图视频中的合并候选列表的方法，该方法包括：确定用于当前块的预测模式；当用于当前块的预测模式是合并模式或者跳过模式(skipmode)时从当前块的邻近块导出作为合并候选的运动信息；以及使用关于邻近块的运动信息和从当前块的邻近块导出的视差信息构建合并候选列表，其中合并候选列表的构建以从当前块的邻近块导出的第一视差信息、从当前块的左块导出的运动信息、从当前块的上块导出的运动信息、从当前块的右上块导出的运动信息、基于第一视差信息使用深度信息导出的第二视差信息、基于视图合成导出的第三视差信息、从当前块的左下块导出的运动信息、以及从当前块的左上块导出的运动信息的顺序来排列合并候选。

根据本发明的另一实施例，提供一种使用视图合成预测通过当前块的子块解码多视图视频的方法，该方法包括：指定与当前预测块相对应的深度块；使用深度块的四个角采样的深度值将当前预测块分割成子块；使用与子块相对应的深度块通过每个子块导出视差向量；以及使用视差向量通过子块导出预测采样。

有益效果

根据本发明，有效地导出用于执行视图间预测的合并候选并且使用合并候选来构建合并候选列表，从而改进编译效率。

根据本发明，考虑到用于导出每个合并候选的有效条件和每个合并候选的可用性来构建合并候选列表，从而改进合并模式或者跳过模式的作用。

根据本发明，通过当前块的子块来执行视差向量的导出和预测，从而改进视图合成预测的效果。

附图说明

图1是示意性地描述3D视频的编码和解码过程的图。

图2是示意性地描述视频编码装置的配置的图。

图3是示意性地描述视频解码装置的配置的图。

图4是示意性地图示视图间编译方法。

图5示意性地图示使用深度图的多视图编译方法。

图6示意性地图示视差向量-运动补偿的预测(DV-MCP)块。

图7示意性地图示当前块的邻近块的示例。

图8示意性地图示构建合并候选列表的示例。

图9示意性地图示当无照度补偿(IC)被应用时构建合并候选列表的方法。

图10示意性地图示当IC被应用时构建合并候选列表的方法。

图11示意性地图示当IC被应用时构建合并候选列表的另一方法。

图12示意性地图示指定相应深度块以便于将视图合成预测(VSP)应用于当前块的方法。

图13示意性地图示通过应用VSP通过子块执行视差补偿预测(DCP)的方法。

图14示意性地图示通过应用VSP通过子块执行DCP的另一方法。

图15示意性地图示通过应用VSP通过子块执行DCP的又一方法。

图16是示意性地图示根据本发明的构建合并候选列表的方法的流程图。

图17是示意性地图示根据本发明的执行VSP的方法的流程图。

具体实施方式

如在此处使用的，术语“像素”或者“图像元素”意指组成单个图像的最小单元。术语“采样”可以用作表示特定的像素的值的术语。在这一点上，采样可以指示照度分量的像素值和/或色度分量的像素值。

如在此处使用的，术语“单元”意指用于图像处理和/或在图像中特定的位置的基本单元。单元与诸如“块”、“区域”等等的术语可以互换地使用。通常地，M×N块指的是以M列和N行排列的采样或者变换系数的集合。

在下文中，将参考附图来详细地描述本发明的实施例。

图1是示意性地描述3D视频的编码和解码过程的图。

参考图1，3D视频编码器编码视频图片和深度图和相机参数以作为比特流输出。

可以通过相对于相应视频图片(纹理图片)的像素在相机和主题之间的距离信息(深度信息)组成深度图。例如，深度图可以是通过根据比特深度标准化深度信息获得的图片。在这种情况下，可以通过在没有色度表达的情况下记录的深度信息构成深度图。

通常，因为距主题的距离和视差相互成反比例，所以可以通过使用相机参数从深度图的深度信息中推导指示在视图之间的相关性的视差信息。

包括深度图和相机信息以及常规的彩色图片，即，视频图片(纹理图片)的比特流可以通过网络或者存储介质被发送给解码器。

解码器接收比特流以重建视频。当3D视频解码器用作解码器时，3D视频解码器可以从比特流解码视频图片、以及深度图和相机参数。可以基于经解码的视频图片、深度图和相机参数合成对于多视图显示所要求的视图。在这种情况下，当使用的显示器是立体显示器时，可以通过使用在重建的多视图当中的两个图片显示3D图片。

当使用立体视频解码器时，立体视频解码器可以从比特流中重建两个图片以在两个眼睛入射。立体显示器可以通过使用视图差异或者在左眼入射的左图片和在右眼入射的右图片之间的视差显示3D图片。当多视图显示器与立体视频解码器一起使用时，可以通过基于两个经重建的图片产生其他视图显示多视图。

当使用2D解码器时，2D图片被重建以通过2D显示器输出该图片。2D显示器被使用，但是当3D视频解码器或者立体视频解码器用作解码器时，重建的图片中的一个可以通过2D显示器输出。

在图1的配置中，视图合成可以通过解码器或者显示器来执行。此外，解码器和显示器可以是一个装置或者单独的装置。

在图1中，为了容易描述，描述3D视频解码器、立体视频解码器和2D视频解码器是单独的解码器，但是一个解码装置可以执行所有的3D视频解码、立体视频解码和2D视频解码。此外，3D视频解码装置可以执行3D视频解码，立体视频解码装置可以执行立体视频解码，以及2D视频解码装置可以执行2D视频解码。此外，多视图显示器可以输出2D视频或者立体视频。

图2是示意地描述视频编码装置的配置的图。参考图2，视频编码装置200包括图片分离单元205、预测单元210、减法单元215、变换单元220、量化单元225、重排单元(reorderingunit)230、熵编码单元235、去量化单元240、反变换单元245、加法单元250、滤波单元255和存储器260。

图片分离单元205可以将输入图片分离为至少一个处理单元块。在这种情况下，处理单元块可以是编译单元块、预测单元块，或者变换单元块。可以根据四叉树(quadtree)结构从最大编译单元块分离作为编译的单元块的编译单元块。作为从编译单元块分割的块的预测单元块可以是采样预测的单元块。在这种情况下，该预测单元块可以被划分为子块。作为编译单元块的变换单元块可以根据四叉树结构分离，并且可以是推导变换系数的单元块，或者从变换系数推导残留信号的单元块。

如在此处所使用的，为了说明的方便起见，编译单元块被称为编译块或者编译单元(CU)。预测单元块被称为预测块或者预测单元(PU)。变换单元块被称为变换块或者变换单元(TU)。

预测块或者预测单元可以意指块状的特定区域或者一批预测采样。此外，变换块或者变换单元可以意指块状的特定区域或者一批变换系数或者残留采样。

预测单元210可以执行用于处理目标块(在下文中，被称为当前块)的预测，并且产生包括用于当前块的预测采样的预测块。由预测单元210执行的预测的单元可以是编译块、变换块或者预测块。

该预测单元210可以决定是否内部预测适用于当前块，或者是否中间预测适用于当前块。

在内部预测的情况下，预测单元210可以基于在当前块属于的图片(在下文中，当前图片)中的邻近块像素推导用于当前块的预测采样。在这种情况下，预测单元210可以(i)基于当前块的邻近参考采样的平均值或者插补推导预测采样，或者(ii)相对于在当前块的邻近块当中的预测目标像素基于存在于特定方向的参考采样推导预测采样。为了容易描述，(i)的情形称为非定向模式，并且(ii)的情形称为定向模式。该预测单元210可以通过使用适用于邻近块的预测模式决定适用于当前块的预测模式。

在中间预测的情况下，预测单元210可以基于由在共置图片上的运动向量指定的采样推导用于当前块的预测采样。预测单元10适用跳过模式、合并模式和MVP模式的任何一个以推导用于当前块的预测采样。在跳过模式和合并模式的情形下，预测单元210可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，在预测采样和原始采样之间的差异(残留)没有被发送。在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器(MVP)以推导当前块的运动向量。

在中间预测的情况下，邻近块包括存在于当前图片中的空间邻近块和存在于共置图片中的空间邻近块。该运动信息包括运动向量和共置图片。在跳过模式和合并模式中，当使用空间邻近块的运动信息时，在共置图片列表上最高的图片可以被用作共置图片。

在编码从属视图的情况下，预测单元210可以执行视图间预测。

预测单元210可以配置包括另一视图的图片的共置图片列表。对于视图间预测，预测单元210可以推导视差向量。与指定与在当前视图中的另一个图片中的当前块相对应的块的运动向量不同，视差向量可以指定在与当前图片相同的接入单元的另一个视图中与当前块相对应的块。

预测单元210可以基于视差向量指定在深度视图中的深度块，并且执行合并列表、视图间运动预测、照度补偿(IC)、视图合成等等的配置。

用于当前块的视差向量可以通过使用相机参数从深度值推导，或者从运动向量或者在当前的或者另一视图中的邻近块的视差向量推导。

例如，预测单元210可以将与参考视图的空间运动信息相对应的视图间合并候选(IvMC)、与视差向量相对应的视图间视差向量候选(IvDC)、通过视差的移位推导的移位的IvMC、从与当前块是在深度图上的块情况相对应的纹理推导的纹理合并候选(T)、通过使用视差从纹理合并候选推导的视差导出的合并候选(D)、基于视图合成导出的视图合成预测合并候选(VSP)等等添加到合并候选列表。

在这种情况下，在适用于从属视图的合并候选列表中包括的候选的数目可能受到预先确定的值的限制。

此外，预测单元210可以通过适用视图间运动向量预测基于视差向量预测当前块的运动向量。在这种情况下，预测单元210可以基于在相应深度块中最大深度值的变换导出视差向量。当通过将视差向量添加到参考视图中的当前块的采样位置指定参考视图中的参考采样的位置时，包括参考采样的块可以用作参考块。预测单元210可以将参考块的运动向量用作候选运动参数或者当前块的运动向量预测器候选，并且将视差向量用作用于视差补偿预测(DCP)的候选视差向量。

减法单元215产生残留采样，该残留采样是在原始采样和预测采样之间的差。当适用跳过模式时，减法单元215可以不产生如上所述的残留采样。

变换单元210通过以变换块为单元使用变换残留的采样产生变换系数。量化单元225量化变换系数以产生量化的变换系数。

重排单元230重新排序量化的变换系数。重排单元230可以通过扫描方法以1D向量形状重新排序块状的量化的变换系数。

熵编码单元235可以执行量化的变换系数的熵编码。作为熵编码，可以使用例如包括指数Golomb、上下文自适应可变长编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等等的编码方法。除了量化的变换系数之外，熵编码单元235可以共同地或者分别地编码对于视频重建所要求的信息(例如，语法元素的值等等)。

熵编码的信息可以作为比特流的形式通过网络抽象化层的单元被发送或者存储。

去量化单元240将量化的变换系数去量化以产生变换系数。逆变换单元245将变换系数逆变换以产生残留采样。

加法单元250将残留采样和预测采样相加以重建图片。残留采样和预测采样通过块的单元被彼此相加以产生重建块。在此，加法单元250被描述为单独的部件，但是，加法单元250可以是预测单元210的一部分。

滤波器单元255可以将去块滤波器和/或偏移应用于被重建的图片。通过去块过滤和/或偏移可以校正在重构的图片中的块边界的量化过程或者人工期间的失真。该偏移可以通过采样的单元被适用，并且在去块滤波的处理完成之后被适用。

存储器260可以存储被重建的图片或者对于编码/解码所要求的信息。例如，存储器60可以存储被用于中间预测/视图间预测的图片。在这种情况下，被用于中间预测/视图间预测的图片可以由共置图片集或者共置图片列表来指定。

在此，描述一个编码装置编码独立视图(independentview)或者从属视图(dependentview)，但是这是为了容易描述并且单独的编码装置被配置用于每个视图或者单独的内部模块(例如，用于每个视图的预测单元)可以被配置用于每个视图。

图3是示意地描述视频解码装置的配置的图。参考图3，视频解码装置300包括熵解码单元310、重排单元320、去量化单元330、逆变换单元340、预测单元350、加法单元360、过滤器单元370和存储器380。

当输入包括视频信息的比特流时，视频解码装置300可以重建视频以对应于其中视频信息由视频编码装置处理的过程。

例如，视频解码装置300可以通过使用在视频编码装置中适用的处理单元执行视频解码。在这种情况下，视频解码的处理单元块可以是编译单元块、预测单元块，或者变换单元块。作为解码的单元块的编译单元块可以根据四叉树结构从最大编译单元块分离。作为从编译单元块分割的块的预测单元块可以是采样预测的单元块。在这种情况下，预测单元块可以被划分为子块。作为编译单元块的变换单元块可以根据四叉树结构被分离，并且可以是导出变换系数的单元块或者从变换系数导出残留信号的单元块。

熵解码模块310可以解析比特流并且输出被要求恢复视频或者图片的信息。例如，熵解码模块310可以基于指数Golomb(expotential-Golomb)、CAVLC、CABAC等等解码在比特流中的信息，并且输出用于视频恢复的语法元素值、用于残留的变换系数的量化值。

当多个视图被处理以便于再现3D视频时，可以为每个视图输入比特流。可替选地，关于各个视图的信息可以在比特流中被复用。在这种情况下，熵解码单元310解复用该比特流以解析用于每个视图的被解复用的比特流。

重排单元320可以以2D块形式重排量化的变换系数。重排单元320可以执行重排以对应于由编码装置执行的系数扫描。

去量化单元330基于(去)量化的参数去量化被量化的变换系数以输出该变换系数。可以从编码装置用信号发送用于导出被量化的参数的信息。

逆变换单元340逆变换该变换系数以导出残留采样。

预测单元350可以执行用于当前块的预测并且产生包括用于当前块的预测采样的预测块。由预测单元350执行的预测的单元可以是编译块、变换块或者预测块。

该预测单元350可以决定是否内部预测适用于当前块或者是否中间预测适用于当前块。在这种情况下，用于决定适用内部预测或者中间预测的单元和用于产生预测采样的单元可以相互不同。另外，用于在中间预测和内部预测中产生预测采样的单元也可以相互不同。

在内部预测的情况下，预测单元350可以基于在当前图片中的邻近块像素导出用于当前块的预测采样。预测单元350可以基于当前块的邻近参考块通过应用定向模式或者非定向模式导出用于当前块的预测采样。在这种情况下，可以通过使用邻近块的内部预测模式决定要应用于当前块的预测模式。

在中间预测的情况下，预测单元350可以基于由共置图片上的运动向量指定的采样导出用于当前块的预测采样。预测单元10应用跳过模式、合并模式和MVP模式的任何一个以导出用于当前块的预测采样。

在跳过模式和合并模式的情形下，预测单元350可以使用邻近块的运动信息作为当前块的运动信息。在这种情况下，邻近块可以包括空间邻近块和时间邻近块。

预测单元350可以将合并候选列表配置成可用邻近块的运动信息，并且由在合并候选列表上的合并索引指示的信息可以用作当前块的运动向量。可以从编码装置用信号发送该合并索引。运动信息包括运动向量和共置图片。在跳过模式和合并模式中，当使用时间邻近块的运动信息时，在共置图片列表上的最高的图片可以用作共置图片。

在跳过模式的情况下，不同于合并模式，在预测采样和原始采样之间的差异(残留)没有被发送。

在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器(MVP)以导出当前块的运动向量。在这种情况下，邻近块可以包括空间邻近块和时间邻近块。

在编码从属视图的情况下，预测单元350可以执行视图间预测。在这种情况下，预测单元350可以配置包括另一视图的图片的共置图片列表。

对于视图间预测，预测单元350可以导出视差向量。预测单元350可以基于视差向量指定在深度视图中的深度块，并且执行合并列表、视图间运动预测、照度补偿(IC)、视图合成等等的配置。

用于当前块的视差向量可以通过使用相机参数从深度值导出，或者从在当前或者另一视图中的邻近块的视差向量或者运动向量导出。可以从编码装置用信号发送相机参数。

当合并模式适用于从属视图的当前块时，预测单元350可以将与参考视图的时间运动信息相对应的IvDC、与视差向量相对应的IvDC、通过视差向量的移位导出的移位IvMC、从与当前块是在深度图上块的情形相对应的纹理导出的纹理合并候选(T)、通过使用视差从纹理合并候选导出的视差推导合并候选(D)、基于视图合成导出的视图合成预测合并候选(VSP)等等添加到合并候选列表。

在这种情况下，包括在适用于从属视图的合并候选列表中的候选的数目可能受到预先确定的值的限制。

此外，预测单元350可以通过适用视图间运动向量预测基于视差向量预测当前块的运动向量。在这种情况下，预测单元350可以使用在由视差向量指定的参考视图中的块作为参考块。预测单元350可以使用参考块的运动向量作为候选运动参数或者当前块的运动向量预测器候选并且使用视差向量作为用于DCP的候选视差向量。

加法单元360相加残留采样和预测采样以重建当前块或者当前图片。加法单元360以块为单元相加残留采样和预测采样以重建当前图片。当适用跳过模式时，因为残留没有被发送，所以预测采样可以变为重建采样。在此，加法单元360被描述为单独的组件，但是加法单元360可以是预测单元350的一部分。

滤波器单元370可以将去块滤波和/或偏移适用于重建的图片。在这种情况下，偏移可以被作为采样单元的偏移被适配地适用。

存储器380可以存储重建的图片或者对于解码所要求的信息。例如，存储器380可以存储被用于中间预测/视图间预测的图片。在这种情况下，被用于中间预测/视图间预测的图片可以由共置图片集或者共置图片列表指定。重建的图片可以用作共置图片。

此外，存储器380可以根据输出顺序输出重建的图片。为了再现3D图片，虽然未图示，输出单元可以显示多个不同视图。

在图3的示例中，描述了一个解码装置解码独立视图和从属视图，但是这是为了容易描述并且本发明不限于此。例如，每个解码装置可以对于每个视图操作，并且一个解码装置可以在其中包括对应于每个视图的操作单元(例如，预测单元)。

当编译多视图视频时，编码和解码设备可以使用用于属于与当前图片相同的接入单元(AU)的不同视图的编译的数据来改进用于当前视图的视频编译的效率。关于此，具有同等的POC(图片顺序计数)的图片可以定义单个AU。POC指的是某个图片的显示顺序。

编码和解码设备可以基于AU单元编译视图，和/或可以基于视图单元编译图片。可以基于预先确定的顺序为视图继续进行编译。要首先编译的视图可以称为基础视图或者独立视图。在编译独立视图之后参考不同视图要编译的视图可以称为从属视图。此外，在当前视图是从属视图时，用于当前视图的编译(编码/解码)要参考的不同视图可以称为参考视图。

图4示意地图示视图间编译方法。在图4的示例中，基于AU单元执行编译，并且V0是独立视图，以及V1是从属视图。可以通过使用运动向量参考在与当前图片410相同的视图中的另一图片430，例如为在当前图片410中的块A执行中间图片预测。这样的中间图片预测可以称为运动补偿的预测(MCP)。在替选中，可以通过使用视差向量，参考在与当前图片410不同的视图中但是存在于相同的接入单元，即，具有与当前图片410相同的POC的图片420，例如对于在当前图片410中的块B执行中间图片预测。这样的中间图片预测可以称为视差补偿预测(DCP)。

当编译多视图视频时，除在与包含当前块的当前视图不同的视图中的图片之外中间图片预测可以采用深度图。

图5示意地图示使用深度的多视图编译方法。

参考图5，可以使用深度图510编译(编码/解码)在当前视图中的当前图片500中的块(当前块505)。在这一点上，用于在与当前块505的采样515的位置(x，y)相对应的深度图510中的采样520的位置(x，y)的深度值d可以变换为视差向量525。深度值d可以基于在采样像素和相机之间的距离被导出。

编码和解码设备可以将视差向量525添加到采样530的位置(x，y)，从而确定在参考视图中的当前图片540中参考采样535的位置。视差向量可以仅具有x轴分量。因此，视差向量值可以是值(disp，0)。因此，参考采样540的位置(xr，y)可以被确定为是位置(x+disp，y)。

编码和解码设备可以采用用于包括参考像素535的参考块545的运动参数作为用于当前块的候选运动参数。例如，当在参考视图中的参考图片550是用于参考块545的参考图片时，可以从用于当前块505的运动向量560导出用于参考块545的运动向量555。在这一点上，图片565可以是在当前视图中的参考图片。

同时，如上所述，在解码多视图视频中，可以使用视差向量参考关于不同视图的信息。

在编译(编码/解码)相关视图的图片的情况下，当在编译的邻近块当中存在DCP编译的块时，DCP编译的块的视差向量可以被用作视差向量以被应用于当前块。在此，从邻近块导出的视差向量，即，DCP编译的块的视差向量可以被用作用于将视图间运动预测(IVMP)和视图间残留预测(IVRP)应用于当前块的视差向量。

首先，将会描述通过IVMP确定当前块的运动向量的情况。当在运动向量预测(MVP)模式、高级运动向量预测(AMVP)模式、合并模式或跳过模式中从视图间参考图片中的相应块的运动向量导出的候选被选择作为应用于当前块的运动向量时，通过MCP编译当前块。

在被MCP编译的块当中的具有通过IVMP预测的运动向量的被称为DV-MCP块。

图6示意性地图示DV-MCP块的图。图6图示当前视图的当前图片610中的当前块620的中间预测。

参考图6，从基本视图中的参考图片640的相应块650导出被用于当前块620的中间预测的邻近块630的运动向量MV1。在此，通过视差向量DV660指定相应块。被用作用于当前块620的中间预测的候选块的邻近块630的运动向量MV1可以被配置有相应块650的运动向量MV2或者从MV2被导出。

在此，基本视图和当前图片610中的参考图片640的POC可以具有相同的POC。应用从不同视图中的相应块650的运动向量MV2预测的运动向量MV1的邻近块630可以被称为DV-MCP块。

编码和解码设备可以存储被用于DM-MCP块的运动向量的预测的视差向量的信息以利用该信息用于导出邻近块的视差向量的过程。

图7示意性地图示当前块的邻近块的示例。图7中的邻近块是已经被解码的块并且在当解码当前块时的时间可接入的。

当前块710的邻近块包括空间邻近块A0、A1、B0、B1、以及B2和空间邻近块col-中心(col-CTR)、和col-右下(col-RB)。基于当前块710的位置指定空间邻近块的位置。

基于在作为一个参考图片的共置图片中的与当前块相对应的位置720指定时间邻近块的位置。在时间块当中，包括位于在当前图片或者当前片被解码时指定的共置图片中的当前块720的中心处的像素的编译块是col-CTR。此外，当共置图片中的当前块720的右下像素位于(x,y)时，包括在(x+1,y+1)的处的像素的编译块是col-RB。在下文中，在本说明书中，为了方便起见，也可以通过CTR和通过BR的col-BR表达col-CTR。

共置图片可以是被包括在当前片或者当前图片的参考图片列表中的时间参考图片当中的为了时间视差向量导出而选择的一个。

通过片报头向解码器指示共置图片。例如，指示哪个图片被用作共置图片的信息可以在片报头中被用信号发送。

同时，在使用视图间预测重建当前块中，当合并模式被应用于当前块时，通过预测块(例如，PU)或者通过子预测块(例如，子-PU)可以导出预测采样。

例如，在当前预测块是在纹理中并且当前片包括至少一个视图间参考块时，编码和解码设备的预测单元可以基于视差向量指定与当前块相对应的块，并且使用相应块在PU级或者子PU级中导出预测采样。

当在解码多视图视频中使用合并模式的预测被应用于当前块时，编码和解码设备的预测单元可以以与用于基本视图相同的方法构建合并候选列表，并且将使用参考视图中的相应块的运动向量的视图间合并候选(IvMC)、使用参考视图中的相应块的视差向量的视图间视差向量候选(IvDC)、通过移位IvMC和IvDC分别获取的移位的IvMC和移位的IvDC、以及基于深度导出的视图合成预测(VSP)合并候选添加到合并候选列表。

在下文中，将会示意性地描述合并候选列表中的合并候选。

首先，以与被用于基本视图的合并候选列表相同的方式从空间邻近块导出可用运动向量。在此，当前块的空间邻近块是在图7中的当前块710的邻近块，A0、A1、B0、B1以及B2。

此外，关于在不同于当前视图的参考视图中的相应块的信息可以被用作用于当前块的合并候选。可以通过视差向量来指定相应块。可以从应用DCP或者MCP的邻近块的运动向量或者视差向量导出视差向量或者是通过修改使用深度图导出的运动向量获取的值。为了方便起见，从相邻块导出的视差向量被称为来自于邻近块视差向量(NBDV)，并且通过使用深度值从NBDV导出的视差向量被称为深度导向的NBDV(DoNBDV)。

编码和解码设备的预测单元可以使用被用于通过视差向量指定的参考块的时间运动补偿的运动向量作为视图间合并候选(IvMC)。即，在参考视图中的应用MCP的块的运动向量可以被用作当前块的运动向量候选。在此，作为被用于指定参考块的视差向量可以是基于当前块的邻近块导出的NBDV或者DoNBDV或者可以是基于深度图导出的值。同时，在PU级或者子PU级中的导出方法可以被用于导出IvMC。

编码和解码设备的预测单元可以使用参考视图中的相应块的视差向量作为视图间视差向量候选(IvDC)。

编码和解码设备的预测单元可以将视差向量移位了特定的值以导出通过移位的视差向量指定的相应块的运动向量作为移位的IvMC(IvMCShift)。预测单元可以通过使用当前预测块的高度和宽度移位视差向量。例如，在当前块的高度是nPbH并且当前块的宽度是nPbW时，预测单元可以在x轴方向中将视差向量移位了nPbW*2+2并且在y轴方向中将视差向量移位了nPbH*2+2以导出IvMCShift。当IvMC和IvMCShift不相同时，预测单元可以添加IvMCShift作为当前块的合并候选。

编码和解码设备的预测单元可以将视差向量移位了特定的值以添加移位的IvDC(IvDCShift)作为用于当前块的合并候选。例如，预测单元可以使用通过仅在x轴上将IvDC移位了预先确定的距离(例如，4)获得的视差向量作为IvDCShift。此外，考虑到VSP被应用，预测单元可以导出IvDCShift。例如，当VSP可用时，预测单元可以将IvDCShift的y分量设置为0。

同时，当基于视图间预测将运动向量添加到合并候选列表时，编码和解码设备的预测单元可以基于关于深度图的信息导出候选。

例如，预测单元可以基于在视频信号和深度信号之间的相似度应用采用来自于视频信号的运动信息的运动参数继承方法(MPI)。在这样的情况下，可以从纹理继承通过从一个深度PU分割的子PU的不同运动向量。在当前块是深度图的块并且MPI被应用时，预测单元可以使用从纹理继承的运动向量添加作为合并候选的合并候选T和基于T导出的深度候选。当D被使用时，预测采样可以被设置为从相应视差向量导出的深度值。

最后，编码和解码设备的预测单元可以通过VSP添加作为合并候选VSP的视差向量。预测单元可以添加作为用于当前块的合并候选的邻近块的视差向量并且通过使用视差向量基于在深度图上指定的相应块的深度值导出关于当前块的深度信息。

编码和解码设备的预测单元可以使用合并候选如下地构建合并候选列表。根据下述顺序合并候选可以被布置在合并候选列表中。

(1)预测单元将作为MPI候选的T和D添加到合并候选列表。具体地，预测单元确定是否T是可用的，并且如果可用则添加T。预测单元确定是否D是可用的，并且如果可用则添加D。

(2)当IvMC可用时，即，当T不可用或者T和IvMC不同的时，预测单元将紧挨着D的IvMC插入在合并候选列表中。

(3)如果A1可用，则预测单元将A1添加到合并候选列表。为了防止合并候选的复制，在等值方面，预测单元可以比较已经添加的合并候选和A1。如果深度被使用，则已经添加的合并候选N可以是T，并且如果没有使用深度，则其可以是IvMC。当A1和N彼此相同时，预测单元可以从合并候选排除A1。

(4)如果B1可用，则预测单元将B1添加到合并候选列表。为了防止合并候选的复制，当B1与先前添加的候选相同时预测单元可以从合并候选排除B1。

(5)如果B0可用，则预测单元可以将B0添加到合并候选列表。

(6)如果IvDC可用，则预测单元可以将IvDC添加到合并候选列表。在此，为了改进编码效率并且避免冗余，(i)当A1不可用或者A1和IvDC不同时，(ii)当B1不可用或者B1或者IvDC不同时，并且(iii)当迄今为止添加的合并候选的数目不超过合并候选列表的最大数目时，预测单元可以将IvMC添加到合并候选列表。

(7)当VSP可用并且迄今为止添加的合并候选的数目没有超过合并候选列表中个候选的最大数目时，预测单元可以将VSP导出的视差向量(在下文中，“VSP”)添加到合并候选列表。在这样的情况下，为了改进编码效率，在例如照度补偿(IC)的附加的编译方法没有被使用的条件下预测单元可以将VSP添加到合并候选列表。因此，当包括IC的附加的编译方法被使用时，可以从下面将会描述的合并候选排除VSP。

(8)当A0是可用的并且迄今为止添加的合并候选的数目不超过合并候选列表中的候选的最大数目时，预测单元可以将A0添加到合并候选列表。

(9)当B2是可用的并且迄今为止添加的合并候选的数目没有超过合并候选列表中的候选的最大数目时，预测单元可以将B2添加到合并候选列表。

(10)(a)当IvMCShift是可用的并且迄今为止添加的合并候选的数目不超过合并候选列表中的候选的最大数目时和(b)当IvMC是不可用的或者IvMC和IvMCShift不相同时，预测单元可以将IvMCShift添加到合并候选列表。

(11)当IvDCShift是可用的并且迄今为止添加的合并候选的数目不超过合并候选列表中的候选的最大数目时，预测单元可以将IvDCShift添加到合并候选列表。

如上所述，当通过合并模式要预测的采样与深度有关时，可以使用通过MPI的候选T和D。否则，T和D可以不被使用。

图8示意性地图示构建合并候选列表的示例。

图8示意性地图示当T和D没有被使用时构建合并候选列表的方法。此外，图8图示构建排除时间候选和组合的候选的合并候选列表的示例。

在此，参考图8，当合并模式或者跳过模式被应用于当前PU以进行重构时，根据下述顺序可以构建合并候选列表。为了描述的方便起见，图示了编码和解码设备的预测单元构建合并候选列表。

(i)预测单元可以使用用于要重构的PU(在下文总，“当前PU”)的DoNBDV指定参考图片中的相应块。预测单元可以从相应块获得运动信息。例如，基于相应块的中心或者左上采样，预测单元可以导出关于相应块的运动信息，作为用于当前PU的合并候选。

(ii)预测单元可以从当前PU的左位置获得运动信息。例如，预测单元可以导出关于在图8中示出的左块L的运动信息作为用于当前PU的合并候选。

(iii)预测单元可以从当前PU的上面的位置获得运动信息。例如，预测单元可以导出关于在图8中示出的上块A的运动信息作为用于当前PU的合并候选。

(iv)预测单元可以从当前PU的右上位置获得运动信息。例如，预测单元可以导出关于在图8中示出的右上块AR的运动信息作为用于当前PU的合并候选。

(v)预测单元可以添加基于当前PU的邻近块导出的视差向量作为合并候选。例如，预测单元可以将用于当前PU的DoNBDV，即，基于当前PU的邻近块导出的视差向量和深度图添加到合并候选列表作为用于当前PU的合并候选(运动信息)。

(vi)预测单元可以添加用于当前UP的VSP作为合并候选。例如，预测单元可以将通过将VSP应用于当前PU(例如，NBDV)导出的视差向量添加到合并候选列表作为用于当前PU的合并候选(运动信息)。

(vii)预测单元可以从当前PU的左下位置获得运动信息。例如，预测单元可以导出关于在图8中示出的左下块BL的运动信息作为用于当前PU的合并候选。

(viii)预测单元从当前PU的左上位置获得运动信息。例如，预测单元可以导出关于在图8中示出的左上块LA的运动信息作为用于当前PU的合并候选。

(ix)预测单元可以通过使用视差向量指定与参考图片中的当前PU相对应的块并且从被指定的块的右下位置导出运动信息。即，预测单元可以移位使用视差向量导出的视图间运动向量并且添加被移位的向量作为合并候选。预测单元可以使用从在图8中示出的相应块的右下块BR导出的运动信息作为合并候选。

(x)预测单元可以通过修改从当前PU的邻近块导出的视差向量获得的运动信息作为合并候选。例如，预测单元可以将当前PU的视差向量移位了预先确定的值以使用移位的视差向量作为合并候选。

同时，在(ix)和(x)中分别导出的移位的运动信息和移位的视差信息可以对应于在(10)和(11)中描述的IvMCShift和IvDCShift。

此外，在(1)至(11)中的在上面应用的合并候选之间的同等的确定也可以被应用于图8中的示例。因此，在被添加到(i)至(x)中的合并候选列表的多条运动信息与先前添加的合并候选之间的等同被确定，并且可以从合并候选中排除等同于这些事先添加的合并候选。

在与(1)至(11)中在上面描述的相同的条件下，基于视图间预测的合并候选，例如，使用深度导出的候选、视差向量的候选、以及使用视差向量导出的候选，可以被包括在合并候选列表中。

当跳过模式被应用时，当前块可以是当前CU，而不是当前PU。

如上所述，当T和M没有被使用时(当要重构的PU不是深度视图的PU时)，预测单元可以通过使用被用于与当前PU邻近的重构的块的运动信息和新的运动信息(基于关于邻近块的运动信息导出的运动信息)构建合并候选列表。

在(i)至(x)中的运动信息可以包括运动向量，并且从DCP块中导出的运动信息可以包括视差向量或者采用与运动向量等同的作为合并候选的视差向量。类似地，当MCP被应用于与当前PU邻近的重构的块时(在MCP块的情况下)，MCP信息(例如，运动向量、参考图片索引等等)可以被包括作为合并候选列表中的合并候选。

即，预测单元可以从当前PU的重构的邻近块获得MCP、DCP、以及VSP信息以构建合并候选列表。

特别地，为了存储关于VSP的运动信息，VSP标志列表可以被用作用于合并候选列表的附加信息。当重构的邻近块是应用VSP的块时，用于块的VSP标志值可以作为1被保存在VSP标志列表中。当重构的邻近块是应用DCP或者MCP的块时，用于块的VSP标志可以作为0被保存在VSP标志列表中。

即，这意指在合并候选列表中存在多个VSP、DCP以及MCP候选，其中在(i)至(x)当中的(v)是通过DCP导出的合并候选。

同时，校正视图之间的照度差的照度补偿(IC)可以被应用于视图间预测。例如，因为在编译视图间编译中相互参考通过同时从不同的视点利用不同相机拍摄的图片，所以取决于相机条件和拍摄环境照度差异可能出现。

因此，在通过参考不同视图导出预测采样的过程中照度差异可能是偏移。以线性补偿形式可以应用IC，其中通过使用基于预先确定的或者用信号发送的值导出的权重因子和偏移可以修改采样值。

在下文中，当在当前图片和参考图片之间的像素分布中存在无关紧要的不同或者在视图或者图片之间的拍摄条件的不同并不非常重要时，IC可以不被应用以避免可能引起的编译效率的复杂性和劣化的增加。

因此，有必要检查如何取决于是否应用IC调节合并候选。

首先，当IC没有被应用于PU以重构(当前块)时，关于与当前块邻近的重构的块的运动信息可以如原样被添加到如上所述的合并候选列表。

即，如在(1)至(11)和(i)至(x)中在上面所描述的，MCP、DCP以及VSP候选可以如原样被添加到合并候选列表。

当IC被应用于PU以重构(当前块)时，从合并候选列表导出通过VSP导出的运动信息。例如，当IC被应用时，可以从合并候选中排除用于使用在相似的条件下获得的深度图片的采样导出纹理图片的采样的VSP。同时，当从与当前块邻近的重构的块导出的运动信息是DCP或者MCP时，导出的MCP和DCP可以以与当没有应用IC时相同的方式被添加到合并候选列表。

因此，当IC被应用时，从合并候选列表排除VSP合并候选。当没有应用IC时，VSP合并候选可以如其被导出而没有修改那样被包括在合并候选列表中。考虑到此，在(7)中已经描述当附加的编译方法，即，IC被应用时，可以从合并候选排除VSP。

另外，当构建合并候选列表时，如果IC被应用，则编码和解码设备的预测单元可以将VSP标志值保存为0，并且将在VSP的应用中导出的邻近块的视差向量作为DCP候选添加到合并候选列表。

图9示意性地图示当没有应用IC时构建合并候选列表的方法。

如上所述，当没有应用IC时，VSP可以如其被导出那样被用作合并候选。因此，如果满足与可用性有关的其他条件则VSP候选可以被包括在合并候选列表910中。

图10示意性地图示当IC被应用时构建合并候选列表的方法。

如上所述，当IC被应用时，VSP没有被用作合并候选。因此，从合并候选列表1010排除VSP候选。

如上所述，当IC被应用时，VSP没有被用没做合并候选。在此，在合并候选列表1110中，构建合并候选列表的预测单元可以包括在VSP过程中导出的视差向量作为DCP候选，替代VSP候选。

虽然图9至图11图示通过包括随机顺序的多个VSP候选和多个DCP候选构建合并候选列表，但是这些示例是为了描述的方便。可替选地，根据(1)至(11)和(i)至(x)可以构建合并候选列表。

正因如此，编码和解码设备的预测单元可以取决于是否IC被应用确定是否将VSP候选添加到合并候选列表。当VSP不能够被添加时，VSP候选从合并候选列表中被排除或者被视为DCP候选以被添加到合并候选列表。

前述的VSP候选是与传统的DCP相似的视图间预测。如上所述，不同于DCP，参考深度图执行VSP。在此，用于参考的深度图可以是已经解码(构建)的深度图。

用于参考的深度图(被重构的深度图)可以是具有与当前图片相同的POC的邻近视图中的深度图或者是当前视图中的先前重构的深度图。

为了描述的方便起见，在下面图示了通过编码和解码设备的预测单元执行VSP。当VSP被应用于PU以重构(当前块)时，预测单元指定与当前块单元相对应的深度块。预测单元可以使用运动向量或者视差向量以指定深度块。在此，被使用的视差向量或者运动向量可以是邻近块的视差向量或者运动向量。

图12示意地图示指定相应深度块以便于将VSP应用于当前块的方法。

参考图12，在深度图1230中指定与当前图片1210中的当前块1220相对应的块1240。在此，当前图片1210是当前视图中的纹理图片。当前图片1210和深度图1230可以是在相同时间处(具有相同的POC)的图片。通过当前块1220参考的深度图1230是在在当前块被编译时完全被编译或者重构的图片。

预测单元可以使用关于通过深度图1230中的运动向量或者视差向量指定的深度块1240的信息通过变形生成虚拟预测块。可替选地，预测单元可以通过使用从深度块1240的深度值转换的视差向量对当前块执行DCP。

为了指定深度块1240，如果深度图1230是相同视图中的图片，则预测单元可以使用运动向量，并且如果深度图1230是不同视图中的图片，则使用视差向量。在此，可以从当前块的邻近块导出视差向量。

如上所述，为了使用VSP执行预测，可以通过参考与当前块相对应的深度块的深度值执行视图间预测。在此，当前块(当前预测块)可以被分割成特定的块，并且编码和解码设备的预测单元可以如下地执行视图间预测。

1)预测单元将当前预测块(当前PU)分割成特定的块(子预测块)。

2)预测单元可以通过被分割的子预测块执行下述过程2-A至2-D。

2-A)预测单元可以指定与每个子预测块相对应的深度块。在此，预测单元可以使用指定与当前预测块相对应的深度块的视差向量和指定与当前预测有关的每个子预测块的位置，以指定与每个子预测块相对应的深度块。

2-B)预测单元可以从与子预测块相对应的深度块提取代表性的深度值。

2-C)预测单元可以将代表性的深度值转换成视差向量。

2-D)预测单元可以使用视差向量通过子预测块执行DCP。

正因如此，预测单元可以将预测块分割成特定的块(子预测块)以应用DCP。

图13示意性地图示通过应用VSP利用子块执行DCP的方法。

参考图13，编码和解码设备的预测单元可以将当前视图中的纹理图片1300中的当前PU1310分割成子块(子预测块)B0、B1、B2、以及B3。

预测单元可以通过视差向量来指定深度图片1320中的相应深度块1330。在此，可以从当前PU的邻近块(例如，DCP块)导出视差向量。

预测单元可以将相应深度块1330分割并指定成与子预测块B0、B1、B2以及B3相对应的子深度块B0’、B1’、B2’、以及B3’。预测单元可以导出子深度块的深度值(代表性的深度值)。预测单元可以转换子深度块的深度值以导出用于各个子预测块的视差向量。

例如，对于子预测块B1，预测单元可以指定相应深度块B’并且基于B1’的深度值导出视差向量MV1350。

预测单元可以使用导出的视差向量通过子预测块执行DCP。例如，预测单元可以使用为子预测块B1导出的视差向量MV1350指定参考图片1340中的参考块B1”1360，并且使用B”1360的采样作为用于子预测块B1的预测采样。

如上所述，通过将当前PU分割成特定的子PU可以执行VSP，其中通过说明性的方法将当前PU如下地分割成子PU。

A)首先，编码和解码设备的预测单元可以分割PU以将(目标PU或者当前PU)重构成8x8像素块单元(即，8x8子PU)。

B)预测单元可以通过8x8像素块单元执行下面的过程B-1至B-4。

B-1)预测单元可以指定与8x8个像素块相对应的深度块。在此，预测单元可以使用指定与当前PU相对应的深度块的视差向量和子PU(8x8个)的大小指定与8x8个块(子PU)中的每个相对应的深度块。

B-2)预测单元可以比较在与8x8个块相对应的深度块的四个顶点处的深度值。

B-3)预测单元可以通过顶点的深度值的比较将8x8个块进一步分割成8x4子块或者两个4x8子块。

B-4)预测单元可以对进一步分割的8x4子块或者4x8子块执行下面的过程B-4-1至B-4-4。

B-4-1)预测单元可以指定与子块(8x4子块或者4x8子块)相对应的深度图(深度块)中的块。

B-4-2)预测单元可以提取与子块相对应的深度块的深度值(代表性的深度值)。

B-4-3)预测单元可以将提取的代表性的深度值转换成视差向量。

B-4-4)预测单元可以使用从代表性的深度值获得的视差向量通过子块(8x4子块或者4x8子块)执行DCP。

正因如此，预测单元可以从8x8子块的基本单元将要重构的PU(当前PU)重新分割成子块(8x4子块或者4x8子块)并且通过子块执行DCP。

图14示意性地图示通过应用VSP通过子块执行DCP的另一方法。图14示意性地图示在A)至B)中在上面描述的VSP的示例。

参考图14，编码和解码设备的预测单元可以将当前PU1410分割成8x8块单元。

预测单元可以指定与当前PU1410相对应的深度块1420。在此，使用从当前PU1410的邻近块导出的视差向量可以指定深度块1420。

预测单元可以指定当前PU中的与8x8块相对应的深度块(子深度块)。

预测单元可以使用子深度块的四个顶点(顶点1、顶点2、顶点3、以及顶点4)的深度值指定附加的分割形式。例如，预测单元可以根据表1确定用于8x8块的附加的分割形式。

[表1]

参考表1，通过比较彼此对角面向的两个顶点的深度值可以确定用于子块的分割方向。

例如，参考图14，当相应深度块中的顶点1(深度[1])的深度值小于顶点4(深度[4])的深度值并且顶点2(深度[2])的深度值小于顶点3(深度[3])的深度值时，在水平方向中当前PU的8x8块可以被分割成两个子块(8x4块)。此外，相应深度块中的顶点1(深度[1])的深度值大于顶点4(深度[4])的深度值并且顶点2(深度[2])的深度值大于顶点3(深度[3])的深度值，在水平方向中当前PU的8x8块也可以被分割成两个子块(8x4块)。在除了上述两种情况之外的其他情况下，在垂直方向中当前PU的8x8块可以被分割成两个子块(4x8块)。

参考图14，在水平方向或者垂直方向中当前PU1430的8x8块可以被分割。图14图示在水平方向中当前PU1430被分割成8x4块1440和1450。

同时，可以考虑通过特定的块单元定义PU以重构(当前PU)的另一方法。具体地，编码和解码设备的预测单元可以比较在与当前PU的四个角相对应的深度块中的深度值以在将当前PU分割成8x8块之前确定用于子PU的分割形式。

在这样的情况下，预测单元可以对当前PU如下地执行VSP。

a)预测单元可以比较在与当前PU相对应的深度块的四个角处的深度值。预测单元可以使用从当前PU的邻近块导出的视差向量指定与当前PU相对应的深度块。

b)预测单元可以通过深度值的比较将当前PU均匀地分割成8x4子块或者4x8子块。例如，在与当前PU相对应的深度块中的左上角处的深度值小于在右下角处的深度值并且在右上角处的深度值小于在左下角处的深度值的第一情况下并且在左上角处的深度值大于在右下角处的深度值并且在右上角处的深度值大于在左下角处的深度值的第二情况下，预测单元可以将当前PU分割成8x4子块(子PU)。在除了第一和第二情况之外的其他情况下，作为在深度块的四个角处的深度值的比较的结果，预测单元可以将当前PU分割成4x8子块(子PU)。

c)预测单元可以通过分割的子块执行下面的过程c-1至c-3。

c-1)预测单元可以指定与子块相对应的深度块。在此，预测单元可以使用子块(4x8或者8x4)的大小指定与深度块中的每个子块(子PU)相对应的深度块。

c-2)预测单元可以将与每个子块相对应的深度块的深度值转换成视差向量。预测单元可以指定与每个子块相对应的深度块的代表性的深度值并且使用代表性的深度值导出视差向量。

c-3)预测单元可以使用导出的视差向量通过子块执行DCP。例如，预测单元可以使用在当前PU的参考视图中的通过子块导出的视差向量指定的参考块的采样导出当前子PU的预测采样。在此，参考块可以是具有与当前PU的参考视图中的当前PU相同的PU的图片。

图15示意性地图示通过应用VSP通过子块执行DCP的又一方法。图15示意性地图示在a)至c)中的在上面描述的VSP的示例。

参考图15，编码和解码设备的预测单元可以指定与当前PU1510相对应的深度块1520。

预测单元可以指定与深度图中的当前UP1510相对应的深度块1520。在此，使用从当前PU1510的邻近块导出的视差向量指定深度块1520。

预测单元可以使用深度块1520的四个角采样(角采样1、角采样2、角采样3、角采样顶点4)的深度值指定子块分割形式。例如，预测单元可以根据表2确定子块分割形式。

[表2]

参考表2，通过比较深度块中的彼此对角面向的两个角采样的深度值可以确定用于当前PU的分割方向。

例如，参考图15，当深度块1520中的角采样1(深度[1])的深度值小于角采样4(深度[4])的深度值并且角采样2(深度[2])的深度值小于角采样3(深度[3])的深度值时，如所示，在水平方向中当前PU1510可以被分割成子块1530，即，8x4子块1530。此外，当深度块1520中的角采样1(深度[1])的深度值小于角采样4(深度[4])的深度值并且角采样2(深度[2])的深度值大于角采样3(深度[3])的深度值时，如所示，在水平方向中当前PU1510也可以被分割成子块1530，即，8x4子块1530。在除了上述两种情况之外的其他情况下，尽管未被示出，但是在垂直方向中当前PU可以被分割成子块，即，4x8子块。

图16是示意性地图示根据本发明的构建合并候选列表的方法的流程图。通过编码和解码设备可以执行在图16中的方法，其中为了方便描述图示了通过编码和解码设备的预测单元执行方法。

参考图16，预测单元可以确定用于当前块的预测模式(S1610)。预测单元可以确定是否将内部预测或者中间预测应用于当前块，并且如果内部预测被应用则确定是否应用跳过模式、合并模式、或者运动向量预测模式。

在解码设备的情况下，可以基于从编码设备用信号发送的信息确定用于当前块的预测模式。

作为确定用于当前块的预测模式的结果，当合并模式或者跳过模式被应用于当前块时，预测单元可以从邻近块导出运动信息作为合并候选(S1620)。运动信息包括运动向量和参考图片索引。

在此，导出的运动信息可以与当合并模式被应用于基本视图时形成合并候选列表的空间候选相同。在构建上述的合并候选列表中，作为合并候选的运动信息与图7中的A1、B1、B0、A0以及B2相同。

预测单元可以使用运动信息和视差信息构建合并候选列表(S1630)。如上所述，运动信息包括运动向量和参考图片索引，并且视差信息可以包括视差向量和参考视图索引。可以使用关于邻近块的信息和/或深度信息导出视差向量并且如有必要可以是被移位的值。

在上面已经描述了构建合并候选和合并候选列表的特定方法。

图17是示意性地图示根据本发明的执行VSP的方法的流程图。可以通过编码和解码设备执行图17中的方法，其中为了方便描述图示了通过编码和解码设备的预测单元执行方法。

参考图17，预测单元可以指定与当前块相对应的深度块(S1710)。当前块可以是预测块，并且使用导出的视差向量在深度图(或者深度图片)上可以指定相应深度块。在此，可以使用关于当前块的邻近块的信息导出被用于指定深度块的视差向量。此外，深度图可以是与包括当前块的当前图片相同的视图中的先前编译(编码/解码的)图片，或者具有与不同视图中的当前图片相同的POC的深度图片。POC是指定图片输出顺序的值。

预测单元可以比较相应深度块中的四个角采样的值(S1720)。预测单元可以比较深度块的左上角采样、左下角采样、右上角采样、以及右下角采样的值。

预测单元可以使用比较深度块的角采样的结果将当前块分割成子块(S1730)。在左上角采样的深度值小于右下角采样的深度值并且右上角采样的深度值小于左下角采样的深度值的(第一)情况下，预测单元可以在水平方向中将当前块分割成子块。在左上角采样大于右下角采样的深度值并且右上角的深度值大于左下角采样的深度值的(第二)情况下，预测单元可以在水平方向中将当前块分割成子块。在除了第一情况和第二情况之外的其他情况下，预测单元可以在垂直方向中将当前块分割成子块。

在此，在水平方向中的子块可以是8x4子PU，并且垂直方向中的子块可以是4x8子PU。

预测单元可以通过子块导出视差向量(S1740)。可以使用深度值和相机参数导出视差向量。预测单元可以通过使用深度块的深度值指定与每个子块相对应的深度块以导出用于每个子块的视差向量。

预测单元可以通过当前块的子块执行预测(S1750)。例如，预测单元可以通过子块通过视差向量对每个子块执行DCP。

在上面已经描述了使用VSP解码当前块的特定方法和特定的VSP方法。

虽然基于包括一系列的步骤或者块的流程图已经描述了在上面提及的示例性系统中的方法，但是本发明不限于步骤的顺序并且可以在除了上述的步骤或者顺序中或者与上述相同的时间执行确定的步骤。上述实施例可以包括各种示例。因此，本发明包括属于随附的权利要求的所有替代、校正和修改。

Claims

1.一种在编译多视图视频中构建合并候选列表的方法，所述方法包括：

确定用于当前块的预测模式；

当用于所述当前块的预测模式是合并模式或者跳过模式时，从所述当前块的邻近块导出作为合并候选的运动信息；以及

使用关于所述邻近块的运动信息和从所述当前块的邻近块导出的视差信息来构建合并候选列表，

其中，所述合并候选列表的构建以从所述当前块的邻近块导出的第一视差信息、从所述当前块的左块导出的运动信息、从所述当前块的上块导出的运动信息、从所述当前块的右上块导出的运动信息、基于所述第一视差信息使用深度信息导出的第二视差信息、基于视图合成导出的第三视差信息、从所述当前块的左下块导出的运动信息、以及从所述当前块的左上块导出的运动信息的顺序来排列合并候选。

2.根据权利要求1所述的方法，其中，所述合并候选列表的构建包括：确定是否照度补偿被应用于所述当前块，以及当照度补偿被应用于所述当前块时从所述合并候选列表排除基于视图合成的第三视差信息。

3.根据权利要求1所述的方法，其中，所述合并候选列表的构建包括：确定是否照度补偿被应用于所述当前块，以及当照度补偿被应用于所述当前块时将基于视图合成的第三视差信息添加到所述合并候选列表作为用于视差补偿预测的视差信息。

4.根据权利要求1所述的方法，其中，所述合并候选列表的构建确定在所述合并候选列表中包括的合并候选的可用性，以及当可用合并候选的数目大于所述合并候选列表中的候选的最大数目时修改所述第一视差信息和所述第二视差信息中的至少一个以将所述一个添加到所述合并候选列表。

5.根据权利要求1所述的方法，其中，通过使用与所述当前块相对应的深度块的四个角采样的深度值将所述当前块分割成子块以及通过使用与所述子块相对应的深度块来通过每个子块导出所述视图合成预测(VSP)候选。

6.根据权利要求5所述的方法，其中，将第一采样视为与所述当前块相对应的深度块的左上角采样，将第二采样视为右上角采样，将第三采样视为左下角采样，以及将第四采样视为右下角采样，当所述第一采样的深度值小于所述第四采样的深度值并且所述第二采样的深度值小于所述第三采样的深度值时，所述当前块的子块是8x4子块。

7.一种通过预测块的子块来解码多视图视频的方法，所述方法包括：

指定与当前预测块相对应的深度块；

使用所述深度块的四个角采样的深度值，将所述当前预测块分割成子块；

使用与所述子块相对应的深度块，通过每个子块导出视差向量；以及

使用所述视差向量，通过所述子块导出预测采样。

8.根据权利要求7所述的方法，其中，所述深度块是深度图片中的块，所述深度图片具有与包括所述当前预测块的图片相同的图片顺序计数(POC)。

9.根据权利要求7所述的方法，其中，所述当前预测块的分割通过比较对角方向中的深度块的四个角采样的深度值来确定所述子块的大小。

10.根据权利要求9所述的方法，其中，将第一采样视为所述深度块的左上角采样，将第二采样视为右上角采样，将第三采样视为左下角采样，以及将第四采样视为右下角采样，在所述第一采样的深度值小于所述第四采样的深度值以及所述第二采样的深度值小于所述第三采样的深度值的第一情况下和在所述第一采样的深度值大于所述第四采样的深度值并且所述第二采样的深度值大于所述第三采样的深度值的第二情况下，在水平方向中所述当前预测块被分割成子块。

11.根据权利要求10所述的方法，其中，在除了所述第一情况和所述第二情况之外的其他情况下，在垂直方向中所述当前预测块被分割成子块。

12.根据权利要求9所述的方法，其中，所述子块是4x8子块或者8x4子块中的任意一个。

13.根据权利要求9所述的方法，其中，将第一采样视为所述深度块的左上角采样，将第二采样视为右上角采样，将第三采样视为左下角采样，以及将第四采样视为右下角采样，

在所述第一采样的深度值小于所述第四采样的深度值并且所述第二采样的深度值小于所述第三采样的深度值的第一情况下和在所述第一采样的深度值大于所述第四采样的深度值并且所述第二采样的深度值大于所述第三采样的深度值的第二情况下，所述当前预测块被分割成8x4子块，以

在除了所述第一情况和所述第二情况之外的其他情况下，所述当前预测块被分割成4x8子块。