CN101084675A - 利用图像拼接来编码和解码多视点视频的方法和设备 - Google Patents

Abstract

提供了一种用于编码和解码多视点视频数据的方法和设备。该编码方法包括：将该多视点视频的每一视点图像分解为重叠区域和非重叠区域，所述重叠区域与其他视点图像重叠，而所述非重叠区域与其他视点图像不重叠；通过组合每一视点图像的所述非重叠区域和中间视点图像，而生成拼接图像；利用第一编码算法对所述拼接图像进行编码；和利用第二编码算法对每一视点图像的重叠区域进行编码。此外，该分解步骤包括以下步骤：基于预定视点图像而估计每一视点图像的差异信息；和利用所估计的差异信息而将每一视点图像分解为所述重叠区域和所述非重叠区域。

Description

利用图像拼接来编码和解码多视点视频的方法和设备

技术领域

本发明涉及用于编码和解码多视点视频数据的方法和设备，并更具体地，涉及用于基于拼接图像利用不同视点之间的相关信息来编码和解码多视点视频数据的方法和设备。

背景技术

一般来说，多视点视频处理技术指的是用于对多个相机同时捕获的多视点视频数据进行压缩、解压缩、合成、和播放的技术。多视点视频处理技术向人提供更逼真的图像和立体效果，结果其开始在各种应用领域中使用。然而，具有一组N个视点图像(N＞＝2)的多视点视频图像集所具有的数据是具有一个视点的现有视频的N倍，结果其信号带宽必须显著大于传统图像处理系统的信号带宽。

考虑到此，基于多视点图像集的每一视点图像具有与其他视点图像重叠的区域(这可被称为“重叠区域”)的事实，已主要开发了利用有关重叠区域的相关信息来压缩图像数据的技术。

一种这样的多视点视频编码技术是通过扩展主要用于对立体视频数据进行编码的MPEG-2 MVP(多视点剖面图)和MPEG-4 TS(时间可伸缩性)编码技术、来对多视点视频数据进行编码，这公开在2003年1月13日提交的名称为“APPARATUS AND METHOD OF COMPRES SING ANDUNCOMPRESSING MULTI-VIEW IMAGE(用于对多视点图像进行压缩和解压缩的设备和方法)”的韩国专利申请第10-2003-0002116号和2003年10月30日提交的名称为“APPARATUS OF ENCODING MULTI-VIEW IMAGE(用于对多视点视频图像进行编码的设备)”的韩国专利申请第10-2003-83285号中。在上述文献所公开的视频编码技术中，使用不同视点之间的差异信息或相关信息、和时间轴上的运动信息或相关信息来执行编码，由此改善压缩效率。然而，存在这样的问题，即不可能仅恢复多视点图像的一部分。另外，当在传输编码流的过程中仅发生一个错误时，该错误影响所有视点的视频图像数据。

发明内容

本发明的目的是提供一种以改善的压缩率来编码/解码多视点视频数据的方法和设备，其中将每一视点图像分解为重叠区域(即具有与其他视点图像的相关信息的区域)和非重叠区域(即不具有与其他视点图像的相关信息的区域)；并利用运动信息和差异信息来对重叠区域进行编码/解码，并仅利用运动信息来对非重叠区域进行编码/解码，这导致更好的压缩率。

另外，本发明的另一目的是提供一种解码方法和设备，其能够通过仅使用所有编码流中的对应流而选择性地仅恢复期望的视点图像，由此改善解码效率。

另外，本发明的另一目的是提供一种编码方法和设备，即使当在传输编码流的过程中发生错误时，其也能使得传输错误的影响最小化。

本发明的一个方面是提供一种用于编码多视点视频数据的方法，包括步骤：将该多视点视频的每一视点图像分解为重叠区域和非重叠区域，所述重叠区域与其他视点图像重叠，而所述非重叠区域与其他视点图像不重叠；通过组合每一视点图像的所述非重叠区域和中间视点图像，而生成拼接图像；利用第一编码算法对所述拼接图像进行编码；和利用第二编码算法对每一视点图像的重叠区域进行编码。此外，所述分解步骤包括以下步骤：基于预定视点图像而估计每一视点图像的差异信息；和利用所估计的差异信息而将每一视点图像分解为所述重叠区域和所述非重叠区域。

可通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界，而生成该拼接图像。

该第一编码算法是运动补偿编码算法，而该第二编码算法是运动和差异补偿编码算法。

在一个实施例中，所述估计差异信息的步骤包括：基于朝向中间视点方向的相邻视点图像，而估计全局差异矢量。在另一实施例中，所述估计差异信息的步骤包括：基于该中间视点图像，而估计全局差异矢量。

所述估计全局差异矢量的步骤包括步骤：通过从每一视点图像的每一块单元中二次抽样一个像素，而降低每一视点图像的尺寸，所述块单元具有预定尺寸；估计所述降低的视点图像中的每一个的初始全局差异值；和估计每一视点图像的边界区域的全局差异矢量，所述边界区域是通过用所述估计的初始全局差异值乘以该二次抽样率而定义的。

本发明的另一方面是提供一种用于解码多视点视频数据的方法。该解码方法包括步骤：利用运动补偿解码算法，而对中间视点图像和该多视点视频的每一视点图像的非重叠区域的编码流进行解码；基于通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界而生成的拼接图像，利用运动和差异补偿解码算法，对每一视点图像的重叠区域的编码流进行解码；和通过组合所解码的每一视点图像的非重叠区域和重叠区域，而恢复该多视点视频。

在另一实施例中，该方法还可包括响应于用户的选择而恢复该多视点视频的特定视点图像的步骤。所述恢复特定视点图像的步骤包括：解码该特定视点图像的非重叠区域的编码流；和利用在该中间视点图像的编码流的报头中包括的切片(slice)地址，而对与该特定视点图像重叠的中间视点图像的一个或多个切片的编码流进行解码。

本发明的另一方面是提供一种用于编码多视点视频数据的设备。该设备包括：区域分解装置，用于将该多视点视频的每一视点图像分解为重叠区域和非重叠区域，所述重叠区域与其他视点图像重叠，而所述非重叠区域与其他视点图像不重叠；图像拼接装置，用于通过组合每一视点图像的所述非重叠区域和中间视点图像，而生成拼接图像；第一编码装置，用于利用第一编码算法对所述拼接图像进行编码；和第二编码装置，用于利用第二编码算法对每一视点图像的重叠区域进行编码。

本发明的另一方面是提供一种用于解码多视点视频数据的设备。该设备包括：用于接收该多视点视频的每一视点图像的编码流的装置，所述每一视点图像被分解为与其他视点图像重叠的重叠区域和与其他视点图像不重叠的非重叠区域；并且所述重叠区域和非重叠区域被分别编码；第一解码装置，利用运动补偿解码算法，而对中间视点图像和该多视点视频的每一视点图像的非重叠区域的编码流进行解码；第二解码装置，基于通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界而生成的拼接图像，利用运动和差异补偿解码算法，对每一视点图像的重叠区域的编码流进行解码；和恢复装置，通过组合所解码的每一视点图像的非重叠区域和重叠区域，而恢复该多视点视频。

附图说明

通过参考附图详细描述其优选实施例，本发明的以上和其他特征和优点对于本领域普通技术人员来说将变得更明显，其中：

图1(a)到(d)是示出了用于获取多视点图像的多视点相机排列的图；

图2示出了根据本发明实施例的视频图像编码设备的方框图；

图3(a)和(b)分别是根据本发明实施例的估计全局差异矢量的两种方案；

图4是根据本发明实施例的全局差异估计器的详细方框图；

图5(a)和(b)是分别示出了在4×4和8×8块单元中进行二次抽样的示例的图；

图6是示出了基于第一和第二视点图像中的初始全局差异矢量的边界区域的示例的图；

图7(a)和7(b)示出了由并列排列的多视点相机获得的多视点图像，其中根据本发明的不同方案将每一多视点图像分解为重叠区域和非重叠区域；

图8(a)和8(b)示出了由按照阵列排列的多视点相机获得的多视点图像，其中根据本发明的不同方案将每一多视点图像分解为重叠区域和非重叠区域；

图9(a)和9(b)示出了来自由并列排列的多视点相机获得的多视点图像的拼接图像的两个不同的示例；

图10(a)和10(b)示出了来自由按照阵列排列的多视点相机获得的多视点图像的拼接图像的两个不同的示例；

图11和12分别示出了位于图9和10所示拼接图像(参考图像)中的每一视点的重叠区域；

图13示出了运动补偿编码器的详细方框图；

图14示出了参考非重叠区域对I-VOP、P-VOP和B-VOP进行运动补偿编码处理的示例；

图15是示出了用于每一视点的重叠区域的基于运动和差异补偿的编码器的方框图；

图16是示出了参考重叠区域对I-VOP、P-VOP和B-VOP进行基于运动和差异补偿的编码的示例的图；

图17(a)示出了在编码中间视点图像时的宏块的扫描顺序；而图17(b)示出了中间视点图像的切片排列；

图18是示出了用于相应视点图像的重叠区域的切片地址的图，该地址将被包括在根据本发明的编码后的中间视点图像流的报头中；

图19是根据本发明实施例的基于拼接图像的多视点视频图像解码设备的方框图；

图20是运动补偿解码器的详细方框图；和

图21是基于运动和差异补偿的解码器的详细方框图。

具体实施方式

通过参考附图进行以下详细描述，本发明的以上特征和优点将显而易见。

现在参考图1(a)到(d)，示出了用于获取多视点视频图像集的多视点相机排列。一般来说，图1(a)所示的排列被称为并列类型，图1(b)所示的排列被称为阵列类型，图1(c)所示的排列被称为会聚类型，而图1(d)所示的排列被称为发散类型。除此之外，可以按照其他方式排列多个相机，并且应该理解，本发明不限于这些特定排列类型。

上述从以各种方式排列的多个相机获得的不同视点图像之间存在的相关信息可被表示为差异信息。术语“差异”指的是两个不同视点图像中相同像素之间的距离，其以像素为单位来表示。所以，基于相机排列的类型，水平轴或垂直轴的差异值可以为“0”。

例如，在并列类型排列的情况下，由于相对于垂直轴的差异值为“0”，所以仅需要估计相对于水平轴的差异值。相反，在阵列类型排列的情况下，应该对于水平轴和垂直轴两者来估计差异值。类似地，在发散类型或会聚类型排列的情况下，应该估计用于水平轴和垂直轴两者的差异值。

在本发明中，参考位于该多视点图像的中间的图像(下面称为“中间视点图像”)，来估计每一多视点图像的差异。下面将描述差异估计方案。

现在参考图2，图2示出了根据本发明一个实施例的视频图像编码设备的方框图。该视频编码设备200包括全局差异估计器210、区域分解器220、图像拼接器230、运动补偿编码器240、以及运动和差异补偿编码器250。

全局差异估计器210对于每一多视点图像集而估计朝向中间视点左边和右边的两个相邻视点图像之间的全局差异矢量。全局差异估计器210接收包括N个视点图像(其中N＞＝2)的多视点图像集，并估计该多视点图像集之中的两个相邻视点图像之间的(N-1)个全局差异矢量。全局差异估计器210对于每一GOP(画面组)上的第一帧估计该全局差异矢量。因此，在一个GOP中，使用相同的全局差异矢量来执行图像分解和图像拼接。

根据本发明的实施例，可基于朝向中间视点左边和右边的其他视点图像，来估计每一视点图像的全局差异矢量。例如，如图3(a)所示，当中间视点图像为第三图像时，可基于该第三视点图像估计第二视点图像的全局差异矢量，并可基于该第二视点图像估计第一视点图像的全局差异矢量。可基于该第三和第四视点图像而类似地估计第四和第五视点图像的全局差异矢量。

作为选择，可基于中间视点图像来估计每一多视点视频图像集的全局差异矢量。如图3(b)所示，当中间视点图像为第三图像时，可基于该第三视点图像来估计第一、第二、第四和第五图像的全局差异矢量。

图4示出了根据本发明实施例的全局差异估计器的详细方框图。如图4所示，全局差异估计器包括二次抽样器410、初始差异估计器420、和基于边界区域的差异估计器430。对于该多视点图像集中的N个视点图像中的每一个，二次抽样器410从视点图像的每一块单元中提取像素，以降低原始图像尺寸。通过经二次抽样降低原始图像尺寸，可降低用于估计初始全局差异矢量的时间和复杂度。图5(a)和5(b)分别示出了在4×4块单元和8×8块单元中进行的二次抽样处理的示例。

对于二次抽样后的N个视点图像中的每一个，初始差异估计器420估计对应的初始全局差异矢量。根据本发明的实施例，可作为以下等式而获得初始全局差异矢量IDV_global。

【等式1】

${\mathrm{IDV}}_{\mathrm{global}}=\underset{{\mathrm{DV}}_i}{\arg \min \hat{E}}\left({\mathrm{DV}}_i\right)$

其中

$E\left({\mathrm{DV}}_i\right)=\underset{l=0}{\overset{{\mathrm{width}}_{\mathrm{sub}}-i}{\mathrm{\Σ}}}\underset{m=0}{\overset{{\mathrm{height}}_{\mathrm{sub}}}{\mathrm{\Σ}}}|I_{\mathrm{cur}}(m,l)-I_{\mathrm{ref}}(m,l+i)|,$

$\hat{E}\left({\mathrm{DV}}_i\right)=\frac{E\left({\mathrm{DV}}_i\right)}{({\mathrm{width}}_{\mathrm{sub}}-i)\left({\mathrm{height}}_{\mathrm{sub}}\right)},$ $i\∈[0,\frac{{\mathrm{width}}_{\mathrm{sub}}}{2}]$

基于边界区域的差异估计器430可对于多视点视频图像集中的每一视点图像的边界区域而估计差异值。可通过将所估计的初始全局差异值乘以二次抽样率而定义该边界区域。

图6是示出了在第一和第二视点图像中基于初始全局差异矢量的边界区域的示例的图。可任意规定边界区域的尺寸。可以以与等式1相同的方式，对于图6中实线所示的边界区域估计该全局差异矢量。

返回参考图2，区域分解器220通过使用相应视点图像的全局差异矢量，而将位于中间视点图像的左、右、上和下的相应视点图像分解为重叠区域和非重叠区域。

如图7(a)和7(b)所示，由并列类型多视点相机排列所捕获的多视点视频图像的每一视点图像可被分解为两部分，即重叠区域和非重叠区域。图7(a)示出了利用图3(a)所示基于朝向中间视点方向的相邻视点图像而估计的全局差异矢量、来分解每一视点图像。如图所示，第一视点图像被分解为非重叠区域和与第二视点图像重叠的重叠区域；第二视点图像被分解为非重叠区域和与第三视点图像(中间视点图像)重叠的重叠区域。第四和第五视点图像可按照类似方式被分解为非重叠区域和重叠区域。在该情况下，第二视点图像和中间视点图像的非重叠区域部分地与第一视点图像的重叠区域相重叠。类似地，第四视点图像的非重叠区域可部分地与第五视点图像的重叠区域相重叠。

此外，图7(b)示出了利用图3(b)所示基于中间视点图像而估计的全局差异矢量、来分解每一视点图像。在该实施例中，由于基于中间视点图像而估计第一视点图像的全局差异矢量，所以第二视点图像仅具有重叠区域，而没有非重叠区域。类似地，由于基于中间视点图像而估计第五视点图像的全局差异矢量，所以第四视点图像仅具有重叠区域，而没有非重叠区域。

图8(a)和8(b)示出了由按照阵列排列的多视点相机获得的多视点视频图像集，其中根据本发明的不同方案将该多视点视频图像集的每一视点图像分解为重叠区域和非重叠区域。具体来说，图8(a)示出了利用基于朝向中间视点图像的相邻视点图像所估计的全局差异矢量来分解每一视点图像；而8(b)示出了利用基于中间视点图像所估计的全局差异矢量来分解每一视点图像。

图像拼接器230通过将相应视点图像的非重叠区域拼接到中间视点图像的边界(即，左、右、上和下边界)而生成拼接图像。当对相应视点图像的重叠区域进行编码时，这样的拼接图像将用作用于获得差异信息的参考图像。

图9(a)和9(b)示出了由并列类型多视点相机所获得的多视点图像所生成的拼接图像的两个不同示例。具体来说，图9(a)和9(b)分别示出了由根据图7(a)和图7(b)分解的多视点图像所生成的拼接图像的示例。

图10(a)和10(b)示出了由阵列类型多视点相机获得的多视点图像所生成的拼接图像的两个不同示例。具体来说，图10(a)和10(b)分别示出了由根据图8(a)和图8(b)分解的视点图像所生成的拼接图像的示例。

图11和12分别示出了位于图9和10所示拼接图像(参考图像)中的每一视点图像的重叠区域。

返回参考图2，运动补偿编码器240对图像拼接器230所生成的拼接图像进行编码。运动补偿编码器240利用例如MPEG-2和MPEG-4编码算法的运动补偿算法对拼接图像进行编码。换言之，如图13所示，可对拼接图像数据执行DCT、量化、以及运动估计/补偿和熵编码处理，以生成编码流。

图14示出了参考非重叠区域对I-VOP、P-VOP和B-VOP进行的运动补偿编码处理的示例。其配置与传统MPEG-2、MPEG-4第2部分和第10部分(AVC)的运动估计和补偿相同。换言之，利用帧内编码对I-VOP进行编码；基于时间轴上先前存在的图像、利用运动估计和补偿编码对P-VOP进行编码；并且基于时间轴上先前和随后存在的图像、利用运动估计和补偿编码对B-VOP进行编码。

另一方面，通过运动和差异补偿编码器250对相应视点图像的重叠区域进行编码。运动和差异补偿编码器250使用能够降低时间和空间冗余的基于运动和差异补偿的编码算法，例如MPEG-2多视点剖面图(MVP)和MPEG-4时间可伸缩性(TS)。图15是示出了用于对每一视点的重叠区域进行编码的运动和差异补偿编码器的图。如图15所示，基于运动和差异补偿的编码执行DCT、量化、运动和差异估计/补偿和熵编码处理，以生成编码流。

图16是示出了参考重叠区域对I-VOP、P-VOP和B-VOP进行的运动和差异补偿编码的示例的图。所述运动和差异补偿编码的结构与传统MPEG-2MVP和MPEG-4 TS(时间可伸缩性)中用于编码增强层的结构相同。换言之，通过使用在同一时间轴上的拼接图像作为参考图像来估计差异矢量，而对I-VOP进行编码；并且通过根据时间轴上先前存在的图像执行运动估计和补偿，并然后使用在同一时间轴上的拼接图像作为参考图像来估计差异矢量，而对P-VOP和B-VOP进行编码。

此外，取决于多视点视频应用模型，用户可请求传输和恢复所有多视点视频图像数据、或仅传输和恢复多视点视频图像数据的某些部分。在需要恢复所有多视点图像的情况下，对拼接图像执行运动补偿编码。然而，当仅需要恢复一部分多视点图像时，应该对相应视点进行编码，从而可将它们彼此区分开来。为了完成这些，根据本发明的实施例，对相应视点的每一非重叠区域执行运动补偿编码。此外，将中间视点图像沿垂直方向划分为多个切片，并基于切片进行编码，从而当对一部分多视点图像进行解码时，可仅解码该中间视点图像中的必须的一个或多个切片。

例如，在从并列类型的多视点相机获得多视点视频图像的情况下，以这样的方式扫描该中间视点图像，使得沿垂直方向交替扫描其宏块(见图17(a))并沿垂直方向逐线地定义这些切片(见图17(b))，从而执行运动补偿编码。中间视点图像和其他视点图像重叠的位置被表示为切片地址，并被插入到中间视点图像的编码流的报头信息中。由此，当对一部分多视点图像进行解码时，可仅解码该中间视点图像中的必须的切片。换言之，当用户意欲仅恢复多视点图像的一部分时，仅需要恢复该中间视点图像的特定区域。

图18是示出了用于相应视点图像的重叠区域的切片地址的图，该地址被包括在根据本发明的编码后的中间视点图像流的报头中。如图18所示，为了恢复第一视点图像，对第一和第二视点的非重叠区域以及从中间视点图像的左端到A1地址的(多个)切片的编码流进行解码。类似地，为了恢复第二视点图像，对第二视点图像的非重叠区域以及从中间视点图像的左端到A2地址的(多个)切片的编码流进行解码。

另外，为了恢复第四视点图像，对第四视点的非重叠区域以及从中间视点图像的A4地址到右端的(多个)切片的编码流进行解码。类似地，为了恢复第五视点图像，对第四和第五视点图像的非重叠区域以及从中间视点图像的A5地址到右端的(多个)切片的编码流进行解码。

图19是根据本发明实施例的使用图像拼接的多视点视频解码设备的方框图。如图19所示，该解码设备包括运动补偿解码器1910、运动和差异补偿解码器1920、以及视点图像发生器1930。运动补偿解码器1910对根据本发明的拼接图像(即，多视点图像的非重叠区域)的编码流进行解码。如图20所示，如MPEG-2和MPEG-4方案中的解码一样，基于运动补偿对拼接图像的编码流进行解码。换言之，接收编码比特流，并执行熵解码、逆量化、IDCT、和运动补偿，以恢复图像。

相反，通过运动和差异补偿解码器1920对相应视点的重叠区域的编码流进行解码。图21示出了运动和差异补偿解码器1920的详细构造。如图21所示，运动和差异补偿解码器1920的结构与MPEG-2 MVP和MPEG-4 TS(时间可伸缩性)中用于解码增强层的结构相同。换言之，接收编码的比特流，并执行熵解码、逆量化、IDCT、以及运动和差异补偿，以恢复图像。

除了将基于运动补偿的解码器1910所恢复的拼接图像用作参考图像来获得差异信息之外，这里示出的运动和差异补偿解码器1920的结构对于本领域普通技术人员来说是公知的，并由此这里将省略其详细描述。

返回参考图19，视点图像发生器1930用于接收非重叠区域和重叠区域的解码数据，以恢复相应视点图像。如以上参考图17所述，当用户希望仅恢复多视点图像的一部分时，根据本发明的解码设备可仅接收期望的视点图像的非重叠区域的编码流和与期望的视点图像重叠的中间视点图像中的必须的(多个)切片的编码流，并对它们进行解码。

根据本发明，将多视点图像数据分解为(与其他视点图像相关的)重叠区域和(与其他视点图像不相关的)非重叠区域，并单独进行编码和解码，由此提供更好的压缩率。

另外，根据本发明，当用户希望恢复多视点图像的期望部分时，仅需要接收和解码编码流的对应部分，从而改善编码流的传输和解码效率。

尽管已参考附图而描述了本发明的示范实施例，但是本发明不限于这些实施例，并且本领域普通技术人员应该理解，可进行各种修改和改变，而不脱离本发明的精神和范围。

Claims (23)

1、一种用于编码多视点视频数据的方法，包括步骤：

将该多视点视频的每一视点图像分解为重叠区域和非重叠区域，所述重叠区域与其他视点图像重叠，而所述非重叠区域与其他视点图像不重叠；

通过组合每一视点图像的所述非重叠区域和中间视点图像，而生成拼接图像；

利用第一编码算法对所述拼接图像进行编码；和

利用第二编码算法对每一视点图像的所述重叠区域进行编码。

2、如权利要求1所述的方法，其中所述分解步骤包括以下步骤：

基于预定视点图像而估计每一视点图像的差异信息；和

利用所估计的差异信息而将每一视点图像分解为所述重叠区域和所述非重叠区域。

3、如权利要求1所述的方法，其中通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界，而生成该拼接图像。

4、如权利要求1所述的方法，其中该第一编码算法是运动补偿编码算法。

5、如权利要求1所述的方法，其中该第二编码算法是运动和差异补偿编码算法。

6、如权利要求2所述的方法，其中所述估计差异信息的步骤包括：基于朝向中间视点方向的相邻视点图像，而估计全局差异矢量。

7、如权利要求2所述的方法，其中所述估计差异信息的步骤包括：基于该中间视点图像，而估计全局差异矢量。

8、如权利要求6或7所述的方法，其中所述估计全局差异矢量的步骤包括步骤：

通过从每一视点图像的每一块单元中二次抽样一个像素，而降低每一视点图像的尺寸，所述块单元具有预定尺寸；

估计所述降低的视点图像中的每一个的初始全局差异值；和

估计每一视点图像的边界区域的全局差异矢量，所述边界区域是通过用所述估计的初始全局差异值乘以该二次抽样率而定义的。

9、如权利要求8所述的方法，其中该预定尺寸的块单元是从4×4和8×8块中选择出来的。

10、如权利要求1所述的方法，其中所述利用第一编码算法对拼接图像进行编码的步骤包括以下步骤：

将该中间视点图像划分为具有期望尺寸的多个切片，并以切片为基础而对所述多个切片中的每一个进行编码；和

以视点为基础，对每一视点图像的非重叠区域进行编码。

11、如权利要求10所述的方法，其中每一视点图像的重叠区域的切片地址被包括在编码后的中间视点图像流的报头中。

12、一种用于解码多视点视频数据的方法，包括步骤：

利用运动补偿解码算法，而对中间视点图像和该多视点视频的每一视点图像的非重叠区域的编码流进行解码；

基于通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界而生成的拼接图像，利用运动和差异补偿解码算法，对每一视点图像的重叠区域的编码流进行解码；和

通过组合所解码的每一视点图像的非重叠区域和重叠区域，而恢复该多视点视频。

13、如权利要求12所述的方法，还包括响应于用户的选择而恢复该多视点视频的特定视点图像的步骤，其中所述恢复特定视点图像的步骤包括：

解码该特定视点图像的非重叠区域的编码流；和

利用在该中间视点图像的编码流的报头中包括的切片地址，而对与该特定视点图像重叠的中间视点图像的一个或多个切片的编码流进行解码。

14、一种用于编码多视点视频数据的设备，包括：

区域分解装置，用于将该多视点视频的每一视点图像分解为重叠区域和非重叠区域，所述重叠区域与其他视点图像重叠，而所述非重叠区域与其他视点图像不重叠；

图像拼接装置，用于通过组合每一视点图像的所述非重叠区域和中间视点图像，而生成拼接图像；

第一编码装置，用于利用第一编码算法对所述拼接图像进行编码；和

第二编码装置，用于利用第二编码算法对每一视点图像的重叠区域进行编码。

15、如权利要求14所述的设备，还包括差异估计装置，用于基于预定视点图像而估计每一视点图像的差异信息；并且其中所述区域分解装置利用所估计的差异信息而将每一视点图像分解为所述重叠区域和所述非重叠区域。

16、如权利要求14所述的设备，其中所述图像拼接装置通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界，而生成所述拼接图像。

17、如权利要求15所述的设备，其中所述差异估计装置基于朝向中间视点方向的相邻视点图像，而估计全局差异矢量。

18、如权利要求15所述的设备，其中所述差异估计装置基于该中间视点图像，而估计全局差异矢量。

19、如权利要求17或18所述的设备，其中所述差异估计装置包括：

二次抽样装置，用于通过从每一视点图像的每一块单元中二次抽样一个像素，而降低每一视点图像的尺寸，所述块单元具有预定尺寸；

初始差异估计装置，用于估计每一降低的视点图像的初始全局差异值；和

基于边界区域的差异估计装置，用于估计每一视点图像的边界区域的全局差异矢量，所述边界区域是通过用所述估计的初始全局差异值乘以该二次抽样率而定义的。

20、如权利要求14所述的设备，其中该第一编码装置包括：

将该中间视点图像划分为具有期望尺寸的多个切片、并以切片为基础而对所述多个切片中的每一个进行编码的装置；和

以视点为基础而对每一视点图像的非重叠区域进行编码的装置。

21、如权利要求20所述的设备，其中每一视点图像的重叠区域的切片地址被包括在编码后的中间视点图像流的报头中。

22、一种用于解码多视点视频数据的设备，包括：

用于接收该多视点视频的每一视点图像的编码流的装置，所述每一视点图像被分解为与其他视点图像重叠的重叠区域和与其他视点图像不重叠的非重叠区域；并且所述重叠区域和非重叠区域被单独编码；

第一解码装置，利用运动补偿解码算法，而对中间视点图像和该多视点视频的每一视点图像的非重叠区域的编码流进行解码；

第二解码装置，基于通过将每一视点图像的非重叠区域拼接到该中间视点图像的边界而生成的拼接图像，利用运动和差异补偿解码算法，对每一视点图像的重叠区域的编码流进行解码；和

恢复装置，通过组合所解码的每一视点图像的非重叠区域和重叠区域，而恢复该多视点视频。

23、如权利要求22所述的设备，其中所述设备能够通过以下操作响应于用户的选择而恢复该多视点视频的特定视点图像：解码该特定视点图像的非重叠区域的编码流；利用在该中间视点图像的编码流的报头中包括的切片地址，而对与该特定视点图像重叠的中间视点图像的一个或多个切片的编码流进行解码；和组合所解码的非重叠区域和所解码的与特定视点图像重叠的中间视点图像的一个或多个切片。

Images