CN103416064A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本技术涉及一种使得能够获得具有高预测精度的预测向量的图像处理设备、图像处理方法和程序。对于景深图像的对象块，所述景深图像的像素值是关于彩色图像中的每个像素视差的景深信息，预测向量生成单元生成对偏差向量进行预测的预测向量，偏差向量表示对象块相对于不同帧的偏差。所述预测向量生成单元使用根据对象块是否是遮挡块而不同的向量预测方法，遮挡块包含在其它帧中没有对应点的遮挡区域。本发明可应用于例如预测向量的生成，预测向量预测在生成预测图像中用作对视差相关的景深图像进行编码或解码的一部分的视差向量。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序，例如涉及这样的图像处理设备、图像处理方法和程序，其能够获得具有高预测准确度的向量作为诸如视差向量的预测向量，视差向量表示特定视点的图像相对于其它视点的图像的视差。

背景技术

用于对诸如3D（三维）图像的多视点图像进行编码的编码方法的示例包括作为AVC（高级视频编码）（H.264/AVC）方法的扩展的MVC（多视点视频编码）方法等。

在MVC方法中，要编码的图像是具有对应于来自被摄体的光的值作为像素值的彩色图像，并且根据需要，通过不仅参考正提及的视点的彩色图像而且参考其它视点的彩色图像，对多视点的彩色图像中的每个进行编码。

更具体地，在MVC方法中，采用多视点的彩色图像中的一个作为基础视角（Base View）图像，并采用其它视点的彩色图像作为从属视角（Dependent View）图像。

通过仅参考基础视角图像对基础视角的彩色图像进行编码，而根据需要，通过不仅参考正提及的从属视角的图像而且参考其它视角的图像，对相依视图的彩色图像进行编码。

更具体地，对于从属视角的彩色图像，根据需要，通过参考其它视角的彩色图像，执行用于生成预测图像的视差预测，并使用该预测图像对相依视图的彩色图像进行编码。

在该情况下，假设视点＃1为基础视角，而其它视点＃2为从属视角。

在MVC方法中，当通过参考视点＃1的彩色图像进行对视点＃2的彩色图像的视差预测、并利用从视差预测获得的预测图像进行编码（预测编码）时，检测视差向量，该视差向量表示视点＃2的彩色图像的编码对象中的对象块相对于视点＃1的彩色图像的视差，该对象块是水平尺寸和垂直尺寸例如为16×16像素的宏块。

另外，在MVC方法中，求得通过预测对象块的视差向量而获得的预测向量，并对作为视差向量与预测向量之间的差的残差向量进行编码。

在MVC方法中，残差向量的编码量随着残差向量更大而趋于增大，所以当残差向量的大小小时，即当预测向量的预测准确度高（预测向量更类似于视差向量）时，可以提高编码效率。

另外，近年来，例如，诸如MPEG3DV方法的规范正被定义为这样的编码方法，该编码方法不仅使用每个视点的每个图像而且使用视差信息图像作为多视点的图像，并对每个视点的彩色图像和每个视点的视差信息图像进行编码，其中视差信息图像具有关于每个视点的彩色图像的每个像素的视差的视差信息作为像素值。

在MPEG3DV方法中，原则上与MVC方法一样对每个视点的彩色图像和每个视点的视差信息图像中的每个进行编码。

在MVC方法中，针对彩色图像，从对象块周围的块的视差向量求得对象块的（视差向量的）预测向量，但是同样地，针对视差信息图像，已经提出了用于求得视差向量的预测向量的方法（例如，参见非专利文献1）。

引用列表

非专利文献

非专利文献1：″Draft Call for Proposals on 3D Video CodingTechnology″,INTERNATIONAL ORGANISATION FORSTANDARDISATION,ORGANISATION INTERNATIONALE DENORMALISATION,ISO/IEC JTC1/SC29/WG11,CODING OFMOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11,MPEG2010/N11679,中国,广州,2010年10月

发明内容

本发明要解决的问题

另外，作为从属视角的视点＃2的视差信息图像可以包括遮挡（occlusion）部分，遮挡部分是由于视差的影响而在作为基础视角的视点＃1的视差信息图像中没有对应点的部分。

在MVC方法中，在遮挡部分中，可以求得低预测准确度的预测向量。

本技术是考虑到这样的情况而做出的，并且允许求得具有高预测准确度的向量作为预测向量。

问题的解决方案

根据本技术的一个方面的图像处理设备或程序是一种图像处理设备或用于使得计算机用作图像处理设备的程序，包括预测向量生成单元，所述预测向量生成单元用于根据向量预测方法生成表示对象块相对于不同于对象块的图片的其它图片的偏差的偏差向量的预测向量，所述对象块是具有关于视差的景深信息作为彩色图像的每个像素的像素值的景深图像中的处理对象，所述向量预测方法根据对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括其它图片中的任意对应点。

根据本技术的一个方面的图像处理方法是一种图像处理方法，包括用于根据向量预测方法生成表示对象块相对于不同于对象块的图片的其它图片的偏差的偏差向量的预测向量的步骤，所述对象块是具有关于视差的景深信息作为彩色图像的每个像素的像素值的景深图像中的处理对象，所述向量预测方法根据对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括其它图片中的任意对应点。

根据本技术的一个方面，根据向量预测方法生成表示对象块相对于不同于对象块的图片的其它图片的偏差的偏差向量的预测向量，所述对象块是具有关于视差的景深信息作为彩色图像的每个像素的像素值的景深图像中的处理对象，所述向量预测方法根据对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括其它图片中的任意对应点。

图像处理设备可以是独立的设备或者可以是构成设备的内部块。

可通过经由传输介质传输程序或者将程序记录到记录介质来提供程序。

发明效果

根据本技术，可以获得具有高预测准确度的预测向量。

附图说明

图1是用于说明用于根据MVC方法求得视差信息图像的视差向量的预测向量的方法的图。

图2是用于说明本技术的概要的图。

图3是用于说明根据邻近预测方法的对象块的预测向量的生成方法的图。

图4是用于说明根据邻近预测方法的对象块的预测向量的生成方法的图。

图5是示出应用本技术的多视点图像编码器的实施例的配置示例的框图。

图6是示出多视点图像生成装置的配置示例的框图，该多视点图像生成装置生成作为多视点图像编码器的编码对象的多视点图像。

图7是用于说明当根据MVC方法在预测编码中生成预测图像时所参考的图片的图。

图8是用于说明根据MVC方法对图片进行编码（和解码）的顺序的图。

图9是示出编码器11的配置示例的框图。

图10是用于说明根据MVC（AVC）方法的宏块类型的图。

图11是用于说明根据MVC（AVC）方法的预测向量的图。

图12A至图12C是用于说明根据MVC（AVC）方法的预测向量的图。

图13是示出编码器22的配置示例的框图。

图14是示出视差预测单元234的配置示例的框图。

图15是说明用于对视点＃2的视差图像D#2进行编码的编码处理的流程图。

图16是说明遮挡检测处理的流程图。

图17A和图17B是用于说明遮挡检测处理的图。

图18是说明视差预测处理的流程图。

图19是说明预测向量生成处理的流程图。

图20是说明预测向量生成处理的流程图。

图21是示出应用本技术的多视点图像解码器的实施例的配置示例的框图。

图22是示出解码器311的配置示例的框图。

图23是示出解码器322的配置示例的框图。

图24是示出视差预测单元464的配置示例的框图。

图25是说明用于对视点＃2的视差图像D#2的编码数据进行解码的解码处理的流程图。

图26是说明视差预测处理的流程图。

图27是示出编码器22的其它配置示例的框图。

图28是示出视差预测单元534的配置示例的框图。

图29是说明视差预测处理的流程图。

图30是说明预测向量生成处理的流程图。

图31是说明预测向量生成处理的流程图。

图32是示出解码器322的其它配置示例的框图。

图33是示出视差预测单元664的配置示例的框图。

图34是说明用于对视点＃2的视差图像D#2的编码数据进行解码的解码处理的流程图。

图35是说明视差预测处理的流程图。

图36是说明预测向量生成处理的流程图。

图37是说明预测向量生成处理的流程图。

图38是示出可被包括在头信息中的预测标志的示例的图。

图39是示出可被包括在头信息中的预测标志的示例的图。

图40是示出可被包括在头信息中的预测标志的示例的图。

图41是说明视差和景深的图。

图42是示出应用本技术的计算机的实施例的配置示例的框图。

图43是示出应用本技术的电视装置的示意性配置的示例的图。

图44是示出应用本技术的便携式电话的示意性配置的示例的图。

图45是示出应用本技术的记录/再现装置的示意性配置的示例的图。

图46是示出应用本技术的图像拍摄装置的示意性配置的示例的图。

具体实施方式

[该说明书中关于景深图像（视差信息图像）的说明]

图41是说明视差和景深的图。

如图41所示，当通过设置在位置C1处的摄像机c1和设置在位置C2处的摄像机c2拍摄被摄体M的彩色图像时，通过下面的表达式（a）定义被摄体M的景深Z，被摄体M的景深Z为在景深方向上离摄像机c1（摄像机c2）的距离。

Z=(L/d)×f  …(a)

应注意，L表示在水平方向上位置C1与位置C2之间的距离（下文被称为摄像机间距离）。d表示通过从由摄像机c1拍摄的彩色图像上的被摄体M的位置在水平方向上离彩色图像的中心的距离u1减去由摄像机c2拍摄的彩色图像上的被摄体M的位置在水平方向上离彩色图像的中心的距离u2而获得的值。更具体地，d表示视差。另外，f表示摄像机c1的焦距。在表达式（a）中，摄像机c1和摄像机c2的焦距相同。

如表达式（a）中所示，可以唯一地转换视差d和景深Z。所以，在该说明书中，表示由摄像机c1和摄像机c2拍摄的两个视点的彩色图像的视差d的图像和表示景深Z的图像被统称为景深图像（视差信息图像）。

应注意，景深图像（视差信息图像）可以是表示视差d或景深Z的图像，并且景深图像（视差信息图像）的像素值可以不是视差d或景深Z自身。例如，可以使用通过对视差d进行归一化获得的值或通过对景深Z的倒数1/Z进行归一化获得的值。

可以根据下面的表达式（b）获得值I，值I是通过以8比特（0至255）对视差d进行归一化而获得的。视差d的归一化比特数不限于8比特。视差d的归一化比特数可以是其它比特数，例如10比特和12比特。

[数值表达式4]

$I=\frac{255\×(d-D_{\min })}{D_{\max }-D_{\min }}\·\·\·\left(b\right)$

在表达式（b）中，D_max为视差d的最大值，D_min为视差d的最小值。最大值D_max和最小值D_min可以以画面为单位来设定，或者可以以多个画面为单位来设定。

可以根据下面的表达式（c）获得值y，值y是通过以8比特（0至255）对景深Z的倒数1/Z进行归一化而获得的。景深Z的倒数1/Z的归一化比特数不限于8比特。景深Z的倒数1/Z的归一化比特数可以为其它比特数，例如10比特和12比特。

[数值表达式5]

$y=255\×\frac{\frac{1}{Z}-\frac{1}{Z_{\mathrm{far}}}}{\frac{1}{Z_{\mathrm{near}}-\frac{1}{Z_{\mathrm{far}}}}}\·\·\·\left(c\right)$

在表达式（c）中，Z_far表示景深Z的最大值，而Z_near表示景深Z的最小值。最大值Z_far和最小值Z_near可以以画面为单位来设定，或者可以以多个画面为单位来设定。

如上所述，在该说明书中，由于可以唯一地转换视差d和景深Z，所以其中通过对视差d进行归一化获得的值I为像素值的图像和其中通过对景深Z的倒数1/Z进行归一化获得的值y为像素值的图像被统称为景深图像（视差信息图像）。在该情况下，景深图像（视差信息图像）的颜色格式为YUV420或YUV400，但是可以为其它颜色格式。

当代替景深图像（视差信息图像）的像素值而考虑值I或值y的信息本身时，则值I或值y被视为景深信息（视差信息）。另外，通过映射值I或值y所获得的被称为景深映射（视差映射）。

下文中，将参考附图说明本技术的实施例，但是在关于实施例的说明之前，将描述根据MVC方法的方法作为预备步骤，根据MVC方法的方法用于在多视点的彩色图像和视差信息图像（景深图像）的编码和解码中获得视差信息图像中的视差向量的预测向量。

[根据MVC方法生成预测向量]

图1是用于说明用于根据MVC方法求得视差信息图像的视差向量的预测向量的方法的图。

如上所述，非专利文献1描述了根据MVC方法求得视差信息图像的视差向量的预测向量。

现在，假设存在多视点的图像，即作为两个视点的彩色图像的视点＃1的彩色图像C#1和不同于视点＃1的视点＃2的彩色图像C#2，以及作为两个视点的视差信息图像的视点＃1的视差信息图像D#1和视点＃2的视差信息图像D#2。

应注意，视差信息图像D#1（在该情况下，i=1、2）是具有关于彩色图像C#i的每个像素的视差的视差信息（景深信息）作为像素值的图像。

在该情况下，求得视差向量的预测向量，视差向量的预测向量在视差预测中使用，以利用视点＃1的视差信息图像D#1和视点＃2的视差信息图像D#2当中的视点＃1的视差信息图像D#1（的图片）作为参考图片，生成视点＃2的视差信息图像D#2的预测图像。

现在，假设具有第t个图片的块（宏块）X是编码（或解码）对象的对象块，其中第t个图片是视点＃2的视差信息图像D#2中的从头开始的第t（时间t）个图片。

在该情况下，具有视差信息图像D#2的对象块的图片，即编码对象的图片，也被称为对象图片。

在MVC方法中，从对象块X周围的块（其在下文中可被称为周围块）中的已经编码（解码）的块（按照光栅扫描的顺序）的视差向量求得视差信息图像D#2的对象块X的（视差向量）的预测向量。

更具体地，在MVC方法中，如图1所示，根据向量预测方法（其在下文中可被称为中值预测方法或中值预测器）求得预测向量，向量预测方法用于求得与对象块X的上侧相接的周围块A、与对象块X的左侧相接的周围块B和与对象块X的右上侧相接的周围块C的视差向量的中值（中央值），作为对象块X的预测向量。

在中值预测方法中，关于x分量和y分量中的每个独立地进行用作对象块X的预测向量的中值的计算。

现在，如图1所示，假设在视差信息图像D#1和D#2中出现背景（的视差信息）和矩形前景（的视差信息），该矩形前景用作在相对于背景更接近于观看者的侧存在的被摄体。

在该情况下，为了简化说明，彩色图像C#1和C#2是使用设置在相同水平面中的两个摄像机、通过使得两个摄像机在垂直于连接两个摄像机的位置的直线的方向上拍摄图像而获得的彩色图像。

另外，视点＃1的彩色图像C#1是通过使得两个摄像机中的位于右侧的一个拍摄被摄体（图像拍摄方向）而获得的彩色图像，而视点＃2的彩色图像C#2是通过使得两个摄像机中的位于左侧的一个拍摄被摄体而获得的彩色图像。

在该情况下，如果前景基本出现在视点＃2的视差信息图像D#2的中央，如图1所示，由于视差的影响，前景相对于视点＃1的视差信息图像D#1中的中央出现在稍左侧。

所以，在视点＃1的视差信息图像D#1中，出现在视点＃2的视差信息图像D#2中的前景的左侧的背景部分被前景覆盖，并且无法被看到。

因此，在视点＃2的视差信息图像D#2中，出现在视差信息图像D#2中所出现的前景的左侧的背景部分（图1中的阴影部分）是遮挡部分，该遮挡部分不具有视点＃1的视差信息图像D#1中的任意对应点。

在该情况下，在视差信息图像D#2中，包括遮挡部分的块（宏块）也被称为遮挡块，而除遮挡块之外的块被称为非遮挡块。

如上所述，当视点＃1的彩色图像C#1为采用两个摄像机中的右摄像机拍摄的彩色图像、并且视点＃2的彩色图像C#2为采用两个摄像机中的左摄像机拍摄的彩色图像时，更具体地，当视点＃1位于右侧并且视点＃2位于左侧时，在视点＃2的视差信息图像D#2中，与前景的左侧相接的背景部分为遮挡部分。所以，遮挡部分的左侧为背景，而遮挡部分的右侧为前景。

在视差信息图像中，像素值为视差信息，所以只要在前景的景深方向上没有大的凹陷/凸起，前景的像素值就基本为相同的值。同样，背景的像素值基本为相同的值。通常，在前景和背景中，景深方向上的位置相对地不同（前景更接近于观看者，而背景位于更深侧），所以像素值相对地不同。

如上所述，在视差信息图像中，前景的像素值是基本相同的值，而背景的像素值也是基本相同的值。

所以，当使用视差信息图像D#1（的图片）作为参考图片并且通过ME（运动估计）检测用作偏差向量的视差向量时，则在大部分情况下，视差向量变为（基本上）如图1所示的零向量，其中，偏差向量表示视差信息图像D#2的块相对于作为参考图片的视差信息图像D#1的偏差。

然而，在视差信息图像D#2的遮挡块中，出现在遮挡块中的背景没有出现在与作为参考图片的视差信息图像D#1中的遮挡块相同的位置处（因为前景出现在那里），所以视差向量没有变为零向量。

更具体地，如图1所示，在视差信息图像D#2的遮挡块中，从遮挡块检测视差信息图像D#1中的、出现在位于与遮挡部分相同位置处的遮挡对应部分的左侧的外部的、表示背景的向量，作为视差向量。

所以，当视差信息图像D#2的遮挡块是对象块时，则如图1所示，对象块X的视差向量可以匹配与对象块X的上侧相接的周围块A的视差向量，但是对象块X的视差向量非常不同于（具有更小的相关度）与对象块X的左侧相接的周围块B和与对象块X的右上侧相接的周围块C的视差向量。

如上所述，在MVC方法中，求得对象块周围的周围块的视差向量的中值作为对象块的（视差向量的）预测向量，所以当与遮挡块的左侧相接的周围块B和与遮挡块的右上侧相接的周围块C的视差向量非常不同于遮挡块的视差向量时，则求得与正被提及的视差向量非常不同的向量作为遮挡块的视差向量的预测向量。

当遮挡块的视差向量的预测向量与正被提及的视差向量非常不同时，更具体地，当预测向量的预测准确度低时，则作为视差向量与预测向量之差的残差向量大，所以在MVC方法中，残差向量的编码量增大，这使编码效率劣化。

因此，特别地，对于遮挡部分，期望使用不同于MVC方法的向量预测方法，从而以高的预测准确度生成预测向量。

在本技术中，采用邻近预测方法作为遮挡部分（遮挡块）的向量预测方法，邻近预测方法用于生成从视点＃2的第二视差信息图像D#2的对象块到与遮挡对应部分的外部相接的邻近部分的向量作为对象块的预测向量，其中遮挡对应部分位于与视点＃1的第一视差信息图像D#1的图片中的遮挡部分相同的位置处。

[本技术的概要]

图2是用于说明本技术的概要的图。

图2与图1相同，并且视点＃1位于右侧，而视点＃2位于左侧，并且在视点＃2的视差信息图像D#2中，与前景的左侧相接的背景部分为遮挡部分。所以，遮挡部分的左侧为背景，而遮挡部分的右侧为前景。

采用本技术，当使用作为与对象图片不同的图片的视点＃1的视差信息图像D#1（的图片）作为参考图片来生成视点＃2的视差信息图像D#2中的处理对象的对象块的视差向量时，则根据对象块是否是包括遮挡部分的遮挡块，而根据不同的向量预测方法生成对象块（的视差向量）的预测向量，其中遮挡部分不具有用作参考图片的视点＃1的视差信息图像D#1中的对应点。

因此，采用本技术，视点＃2的视差信息图像D#2的遮挡部分被检测到。

使用通过将视差信息图像D#1转换为在视点＃2处获得的图像（通过使作为参考图片的视点＃1的视差信息图像D#1变形而获得）而获得的变形视差信息图像D′#1，进行遮挡部分的检测。

更具体地，在视点＃1的视差信息图像D#1的变形处理中，例如，将视差信息图像D#1的每个像素（值）移动对应于每个像素处的视点＃1与视点＃2之间的视差的量，从而生成变形的视差信息图像（变形景深图像）D′#1。

所以，在变形视差信息图像D′#1中，在视差信息图像D#2中出现但是在视差信息图像D#1中未出现的部分没有像素值，即处于如图2所示的所谓的空态（vacant state）。

所以，检测到变形视差信息图像D′#1中的没有像素值的部分（在下文可被称为像素值缺失部分），并检测到视差信息图像D#2中位于与像素值缺失部分相同位置处的部分，从而可以检测到遮挡部分。

采用本技术，当对象块是包括遮挡部分的遮挡块时，根据邻近预测方法生成对象块的预测向量，在邻近预测方法中，生成从对象块到与位于遮挡对应部分的外部的背景相接的邻近部分的向量作为对象块的预测向量，其中遮挡对应部分位于与作为参考图片的视点＃1的第一视差信息图像D#1中的遮挡部分相同的位置处。

所以，采用本技术，例如，通过在水平方向（其中存在视差）上扫描可能是视差信息图像D#2的对象图片中的处理对象的块，在块中检测遮挡部分开始的开始像素S和遮挡部分结束的结束像素E。

在图2中，布置在视差信息图像D#2的对象图片中的水平方向（从左至右的方向）（x方向）上的三个块（宏块）B#1、B#2和B#3为包括遮挡部分的遮挡块。

另外，对于块B#1至块B#3中的每个，检测遮挡部分的开始像素S和结束像素E。

在图2中，块B#1的遮挡部分的开始像素S#1为第8个像素（从块的左侧起），并且块B#1的遮挡部分的结束像素E#1为第16个像素。在块B#2中，开始像素S#2为第1个像素，并且其结束像素E#2为第16个像素。在块B#3中，开始像素S#3为第1个像素，并且其结束像素E#3为第12个像素。

在邻近预测方法中，在作为遮挡块的块B#i（在该情况下，i=1,2,3）中，例如根据表达式（1）求得块B#i的预测向量PMV#i（的x分量）。

PMV#i=PMV#(i-1)-(E#i-S#i+1)

…(1)

在该情况下，根据表达式（1），通过从与对象块B#i的左侧相接的遮挡块B#（i-1）的预测向量PMV#(i-1)减去从遮挡块的开始像素S#i到结束像素E#i的像素数目E#i-S#i+1，求得对象块B#i的预测向量PMV#i。

在表达式（1）中，当与对象块B#i的左侧相接的块B#(i-1)不是遮挡块时，只要涉及表达式（1）的计算，块B#(i-1)的预测向量PMV#（i-1）就为零向量。

在该情况下，为了简化说明，假设视点＃1和视点＃2存在于相同平面中，所以表达式（1）的预测向量PMV#i的y分量为零，并且表达式（1）表示预测向量PMV#i的x分量。

根据表达式（1），生成从对象块B#i到作为相接部分的背景的向量作为对象块B#i的预测向量PMV#i，其中相接部分与视差信息图像D#1的遮挡对应部分的左边界的外侧接触。

图3是用于说明根据邻近预测方法的对象块的预测向量的生成方法的图。

在图3中，如图2中所示，视点＃1位于右侧，而视点＃2位于左侧，并且图3示出当与前景的左侧接触的背景部分是视点＃2的视差信息图像D#2中的遮挡部分时，更具体地，当遮挡部分的左侧是背景并且遮挡部分的右侧是前景时，根据邻近预测方法的遮挡块的预测向量的生成方法。

在该情况下，在图3中，作为包括视差信息图像D#2的遮挡部分的部分的区域R#2被放大，并且视差信息图像D#1中的位于与区域R#2相同位置处的区域R#1被放大并示出。

在图3中，在视差信息图像D#2的对象图片中，布置在水平方向上的任意给定的三个块B#1、B#2和B#3是包括遮挡部分的遮挡块，并且块B#i的开始像素和结束像素分别被表示为S#i和E#i。

当视点＃1位于右侧，而视点＃2位于左侧，并且与视点＃2的视差信息图像D#2中的前景的左侧接触的背景部分为遮挡部分时，则如图2中所示，在邻近预测方法中，根据表达式（1），按照作为编码顺序（解码顺序）的光栅扫描顺序求得作为遮挡块的块B#i的预测向量PMV#i。

在该情况下，根据表达式（1），分别通过表达式PMV#1=-(E#1-S#1+1)表示块B#1的预测向量PMV#1，通过表达式PMV#2=PMV#1-(E#2-S#2+1)表示块B#2的预测向量PMV#2，以及通过表达式PMV#3=PMV#2-(E#3-S#3+1)表示块B#3的预测向量PMV#3。

作为遮挡块的块B#i的预测向量PMV#i中的每个是从对象块B#i到作为邻近部分的背景部分（即，与视差信息图像D#1中的前景的左侧接触的背景部分）的向量，其中，邻近部分与视差信息图像D#1的遮挡对应部分的左边界的外部接触。

图4是用于说明根据邻近预测方法的对象块的预测向量的生成方法的图。

在图4中，视点＃1和视点＃2的位置在水平方向上与图2和图3中的位置相反。

更具体地，在图4中，视点＃1位于左侧，而视点＃2位于右侧，因此图4示出当与前景的右侧接触的背景部分是视点＃2的视差信息图像D#2中的遮挡部分时，更具体地，当遮挡部分的右侧是背景且遮挡部分的左侧是前景时，根据邻近预测方法的遮挡块的预测向量的生成方法。

与图3相同，在图4中，作为包括视差信息图像D#2的遮挡部分的部分的区域R#2被放大，并且视差信息图像D#1中的位于与区域R#2相同位置处的区域R#1被放大并示出。

与图3相同，在图4中，在视差信息图像D#2的对象图片中，布置在水平方向上的任意给定的三个块B#1、B#2和B#3为包括遮挡部分的遮挡块，并且块B#i的开始像素和结束像素分别被表示为S#i和E#i。

当视点＃1位于左侧，而视点＃2位于右侧，并且与视点＃2的视差信息图像D#2中的前景的右侧接触的背景部分为遮挡部分时，则在邻近预测方法中，例如根据表达式（2）求得作为遮挡块的块B#i（在该情况下，i=1，2，3）的预测向量PMV#i。

PMV#i=PMV#(i-1)-(E#(i-1)-S#(i-1)+1)

…(2)

在该情况下，根据表达式（2），通过从与对象块B#i的左侧相接的遮挡块B#（i-1）的预测向量PMV#(i-1)减去从遮挡块的开始像素S#(i-1)到结束像素E#(i-1)的像素数目E#(i-1)-S#(i-1)+1，求得对象块B#i的预测向量PMV#i。

在表达式（2）中，当与对象块B#i的左侧相接的块B#(i-1)不是遮挡块时，则只要涉及到表达式（2）的计算，块B#(i-1)的预测向量PMV#(i-1)就为从以对象块为前部连续布置在水平方向上的遮挡块B#i的开始像素S#i到结束像素E#i的像素数目的总和Σ(E#i-S#i+1)。当以对象块为前部连续布置在水平方向上的遮挡块B#i的数目为N个块、并且将从N个遮挡块中的前部起的第i个遮挡块B#i的开始像素和结束像素分别表示为S#i和E#i时，则总和Σ(E#i-S#i+1)的Σ表示在将i改变为从1到N的整数值的情况下的总和。

在该情况下，为了简化说明，考虑视点＃1和视点＃2存在于相同平面上，所以与表达式（1）相同，表达式（2）的预测向量PMV#i的y分量为零，并且表达式（2）表示预测向量PMV#i的x分量。

根据表达式（2），生成从对象块B#i到作为邻近部分的背景的向量作为对象块B#i的预测向量PMV#i，其中邻近部分与视差信息图像D#1的遮挡对应部分的右边界的外侧接触。

在邻近预测方法中，根据表达式（2），按照作为编码顺序（解码顺序）的光栅扫描顺序求得作为遮挡块的块B#i的预测向量PMV#i。

在该情况下，根据表达式（2），分别通过表达式PMV#1=(E#1-S#1+1)+(E#2-S#2+1)+(E#3-S#3+1)表示块B#1的预测向量PMV#1，通过表达式PMV#2=PMV#1-(E#1-S#1+1)表示块B#2的预测向量PMV#2，以及通过表达式PMV#3=PMV#2-(E#2-S#2+1)表示块B#3的预测向量PMV#3。

作为遮挡块的块B#i的预测向量PMV#i中的每个为从对象块B#i到作为邻近部分的背景部分（即，与视差信息图像D#1中的前景的右侧接触的背景部分）的向量，其中邻近部分与视差信息图像D#1的遮挡对应部分的右边界的外部接触。

如图1所示，在视差信息图像D#2的遮挡块中，从遮挡块检测视差信息图像D#1中的、出现在位于与遮挡部分相同位置处的遮挡对应部分的外部的、表示背景的向量作为视差向量。

另一方面，在邻近预测方法中，如图2至图4所示，生成从对象块B#i到作为邻近部分的背景的向量作为对象块B#i的预测向量PMV#i，其中邻近部分与视差信息图像D#1的遮挡对应部分的边界的外部接触。

所以，根据邻近预测方法，可以获得具有高预测准确度的向量作为遮挡块的预测向量，更具体地，可以获得与视差向量类似的向量作为遮挡块的预测向量，因此残差向量变得更小，这可以提高编码效率。

在邻近预测方法中，基于如下的假设获得具有高预测准确度的预测向量：视差信息图像D#2的遮挡部分的像素值（视差信息）是与同遮挡对应部分接触的背景的像素值（视差信息）基本相同的值，遮挡对应部分位于与作为参考图片的视差信息图像D#1中的遮挡部分相同的位置处，但是在关于视差信息图像的许多情况下基本满足该假设。

[应用本技术的多视点图像编码器的实施例]

图5是示出应用本技术的多视点图像编码器的实施例的配置示例的框图。

图5中的多视点图像编码器例如为用于使用MVC方法对多视点图像进行编码的编码器。在以下说明中，将根据需要省略与MVC方法相同的处理。

多视点图像编码器不限于使用MVC方法的编码器。

在以下说明中，采用视点＃1的彩色图像C＃1和视点＃2的彩色图像C#2、以及视点＃1的视差信息图像D#1和视点＃2的视差信息图像D#2，其中，视点＃1的彩色图像C＃1和视点＃2的彩色图像C#2是用作多视点图像的两个视点＃1和视点＃2的彩色图像，视点＃1的视差信息图像D#1和视点＃2的视差信息图像D#2是两个视点＃1和视点＃2的视差信息图像。

另外，例如，采用视点＃1的彩色图像C#1和视差信息图像D#1作为基础视角图像，而将剩余的视点＃2的彩色图像C#2和视差信息图像D#2视为从属视角图像。

应注意，可以使用三个或更多个视点的彩色图像和视差信息图像作为多视点图像，并且可以采用三个或更多个视点的彩色图像和视差信息图像中的任意给定视点的彩色图像和视差信息图像作为基础视角图像，并且可以将剩余视点的彩色图像和视差信息图像视为从属视角图像。

在图5中，多视点图像编码器包括编码器11、12、21、22，DPB31和多路复用单元32。

编码器11接收视点＃1的彩色图像C#1和视差相关信息（景深相关信息）。

在该情况下，视差相关信息是视差信息的元数据，并且稍后将说明其细节。

编码器11根据需要使用视差相关信息对视点（视角）＃1的彩色图像C#1进行编码，并将作为结果获得的视点＃1的彩色图像C#1的编码数据提供给多路复用单元32。

编码器12接收视点＃2的彩色图像C#2和视差相关信息。

编码器12根据需要使用视差相关信息对视点＃2的彩色图像C#2进行编码，并将作为结果获得的视点＃2的彩色图像C#2的编码数据提供给多路复用单元32。

编码器21接收视点D＃1的彩色图像C#1和视差相关信息。

编码器21根据需要使用视差相关信息对视点＃1的视差信息图像D#1进行编码，并将作为结果获得的视点＃1的视差信息图像D#1的编码数据提供给多路复用单元32。

编码器22接收视点＃2的视差信息图像D#2和视差相关信息。

编码器22根据需要使用视差相关信息对视点＃2的视差信息图像D#2进行编码，并将作为结果获得的视点＃2的视差信息图像D#2的编码数据提供给多路复用单元32。

DPB31临时存储通过使编码器11、12、21和22中的每个对编码对象的图像进行编码并且对图像进行本地解码而获得的图像（解码图像），作为当生成预测图像时所参考的参考图片（的备选）。

更具体地，编码器11、12、21和22中的每个对编码对象的图像执行预测编码。为此，编码器11、12、21和22中的每个对编码对象的图像进行编码，其后执行本地解码，因此获得解码图像，以生成用于预测编码的预测图像。

DPB 31被称为临时存储通过编码器11、12、21和22中的每个获得的解码图像的共享缓冲器，并且编码器11、12、21和22中的每个从存储在DPB 31中的解码图像中选择当对编码对象的图像进行编码时所参考的参考图片。编码器11、12、21和22中的每个使用参考图片生成预测图像，并使用该预测图像对图像进行编码（执行预测编码）。

DPB31被编码器11、12、21和22共享，所以编码器11、12、21和22中的每个不仅可以参考通过其自身获得的解码图像，还可以参考通过其它编码器获得的解码图像。

多路复用单元32对由编码器11、12、21和22提供的编码数据进行多路复用，并输出作为结果获得的多路复用数据。

由多路复用单元32输出的多路复用数据被记录到记录介质（未示出），或经由传输介质（未示出）传输。

[多视点图像生成装置]

图6是示出多视点图像生成装置的配置示例的框图，该多视点图像生成装置生成作为图5中的多视点图像编码器的编码对象的多视点图像。

在多视点图像生成装置中，为了拍摄例如用作多视点的两个视点的图像，两个摄像机41和42被设置在位置处，从而可以拍摄不同视点的彩色图像。

在该情况下，在该实施例中，为了简化说明，摄像机41和42被设置在任意给定水平面上的直线上的不同位置处，使得摄像机41和42的光轴在垂直于直线的方向上。

在图6中，摄像机41被设置在相对于摄像机42的右侧（朝向被摄体）（沿图像拍摄方向），所以摄像机42被设置在摄像机41的左侧。

摄像机41在摄像机41被设置的位置处拍摄被摄体，并输出作为运动图片的彩色图像C#1。

另外，摄像机41采用摄像机42的位置作为参考视点，并输出表示彩色图像C#1中的每个像素相对于参考视点的视差的视差向量d1，其中摄像机42是其它任意给定的摄像机。

摄像机42在摄像机42被设置的位置处拍摄被摄体，并输出作为运动图片的彩色图像C#2。

另外，摄像机42采用摄像机41的位置作为参考视点，并输出表示彩色图像C#2中的每个像素相对于参考视点的视差的视差向量d2，其中摄像机41是其它任意给定的摄像机。

在该情况下，在彩色图像的水平方向被定义为x轴并且垂直方向被定义为y轴的二维平面将被称为彩色图像平面的情况下，摄像机41和42被布置在垂直于彩色图像平面（水平面）的平面上的直线上。所以，视差向量d1和d2是这样的向量，该向量的y分量为零，并且该向量的x分量为对应于例如摄像机41和42在水平方向上的位置关系的值。

下文中，由摄像机41和42输出的视差向量d1和d2将被称为图像拍摄视差向量d1和d2，以与表示通过稍后说明的ME获得的视差的视差向量相区分。

将由摄像机41提供的彩色图像C#1和图像拍摄视差向量d1、以及由摄像机42提供的彩色图像C#2和图像拍摄视差向量d2提供到多视点图像信息生成单元43。

多视点图像信息生成单元43将由摄像机41和42提供的彩色图像C#1原样输出。

另外，多视点图像信息生成单元43从由摄像机41提供的图像拍摄视差向量d1求得关于彩色图像＃1的每个像素的视差的视差信息，并生成和输出具有视差信息作为像素值的视差信息图像D#1。

另外，多视点图像信息生成单元43从由摄像机42提供的图像拍摄视差向量d2求得关于彩色图像＃2的每个像素的视差的视差信息，并生成和输出具有视差信息作为像素值的视差信息图像D#2。

在该情况下，如上所述，视差信息（景深信息）的示例包括作为对应于图像拍摄视差向量的值的视差值（值I）、和通过对表示到被摄体的距离（景深）的景深Z进行归一化而获得的景深值（值y）。

现在，例如，假设视差信息图像（景深图像）的像素值是被表示为8比特的从0到255的整数值。另外，将图像拍摄视差向量（视差）（的x分量）表示为d，并将图像拍摄视差向量（视差）（的x分量）的最大值和最小值（例如，在图片或用作一段内容的运动图片中）分别表示为dmax（Dmax）和dmin（Dmin）。

在该情况下，如上所述，例如使用图像拍摄视差向量（视差）d（的x分量）及其最大值dmax（Dmax）和最小值dmin（Dmin），根据表达式（3）获得视差值ν（值I）。

ν=255×(d-dmin)/(dmax-dmin)

…(3)

应注意，可根据表达式（4）将表达式（3）的视差值ν转换为图像拍摄视差向量d（的x分量）。

d=ν×(dmax-dmin)/255+dmin

…(4)

景深Z表示设置有摄像机41和42的直线与被摄体之间的距离。

对于摄像机41（同样的可应用于摄像机42），在作为被布置在相同直线上的摄像机41与摄像机42之间的距离（到参考视点的距离）的基线长度被表示为L并且摄像机41的焦距被表示为f的情况下，则可以使用图像拍摄视差向量d（d1）（的x分量），根据表达式（5）获得景深Z。

Z=(L/d)×f

…(5)

可以根据表达式（3）至表达式（5）将作为视差信息（景深信息）的视差值ν（值I）和景深Z相互转换，所以视差值ν（值I）和景深Z是等同信息。

在该情况下，在以下说明中，具有视差值ν（值I）作为像素值的视差信息图像（景深图像）将被称为视差图像，并且具有景深值（值y）作为像素值的图像将被称为景深图像。

在以下说明中，例如，将视差图像和景深图像中的视差图像用作视差信息图像（景深图像），但是可替选地，也可以将景深图像用作视差信息图像（景深图像）。

多视点图像信息生成单元43不仅输出上述彩色图像#1和＃2以及视差图像D#1和D#2，而且输出视差相关信息。

更具体地，多视点图像信息生成单元43从外部接收：作为摄像机41和42之间的距离（摄像机41和42中的每个与参考视点之间的距离）的基线长度L、焦距f、以及表示摄像机41和42的位置关系的位置信息。

在该情况下，位置信息例如表示摄像机41和42是否被布置在相对于用作参考视点的摄像机42和41的左侧或右侧。在图6中，位置信息表示摄像机41位于摄像机42的右侧（摄像机42位于摄像机41的左侧）。在该情况下，利用位置信息，可以识别视点＃1位于右侧并且视点＃2位于左侧。

多视点图像信息生成单元43针对由摄像机41提供的图像拍摄视差向量d1和由摄像机41提供的图像拍摄视差向量d2中的每个，检测图像拍摄视差向量d（的x分量）的最大值dmax和最小值dmin。

然后，多视点图像信息生成单元43输出图像拍摄视差向量d的最大值dmax和最小值dmin、基线长度L、焦距f和位置信息作为视差相关信息。

由多视点图像信息生成单元43输出的彩色图像C#1和C#2、视差图像D#1和D#2以及视差相关信息被提供到图5的多视点图像编码器。

在该情况下，为了简化描述，摄像机41和42被布置在垂直于彩色图像平面的相同平面上的直线上，并且图像拍摄视差向量d（d1和d2）是y分量为零的向量，但是摄像机41和42也可以被布置在垂直于彩色图像平面的不同平面上。在该情况下，它是图像拍摄视差向量d的x分量和y分量均为非零的值的向量。

[MVC方法的概要]

图7是用于说明当在根据MVC方法的预测编码中生成预测图像时所参考的图片的图。

现在，假设将作为基础视角图像的视点＃1的图像的图片按照（显示）时间顺序表示为p11、p12、p13...，并且将作为从属视角图像的视点＃2的图像的图片按照时间顺序表示为p21、p22、p23...。

例如，根据需要通过参考例如作为基础视角图片的图片p11和p13对作为基础视角图片的图片p12进行预测编码。

更具体地，可以仅通过参考作为基础视角的其它时间的图片的图片p11和p13进行基础视角图片p12的预测（预测图像生成）。

例如，根据需要通过参考例如作为从属视角图片的图片p21和p23以及其它视角的基础视角图片p12对作为从属视角图片的图片p22进行预测编码。

更具体地，可以通过不仅参考作为从属视角的其它时间的图片的图片p21和p23而且参考作为其它视角的图片的基础视角图片p12进行从属视角图片p22的预测。

在该情况下，通过参考与编码对象的图片相同的视角的图片进行的预测也被称为时间预测，而通过参考与编码对象的图片不同的视角的图片进行的预测也被称为视差预测。

如上所述，在MVC方法中，对于基础视角图片仅可进行时间预测，而对于从属视角图片可以进行时间预测和视差预测。

在MVC方法中，视角与编码对象的图片不同并且在视差预测中被参考的图片必须是与编码对象的图片相同时间的图片。

构成图5的多视点图像编码器的编码器11、12、21和22根据MVC方法执行预测（预测图像生成）。

图8是用于说明根据MVC方法对图片进行编码（和解码）的顺序的图。

与图7相同，假设将作为基础视角图像的视点＃1的图像的图片按照（显示）时间顺序表示为p11、p12、p13...，并将作为从属视角图像的视点＃2的图像的图片按照时间顺序表示为p21、p22、p23...。

现在，为了简化说明，假设当按照时间顺序对每个视角的图片进行编码时，首先对作为基础视角中的第一个的、时间t为1的图片p11进行编码，其后对从属视角中的相同时间（即时间t为1）的图片p21进行编码。

当已经对从属视角的相同时间（即，时间=1）的（全部）图片进行了编码时，对基础视角的后续时间（即时间=2）的图片p12进行编码，其后对从属视角的相同时间（即，时间=2）的图片p22进行编码。

在下面的说明中，按照相同的顺序对基础视角的图片和从属视角的图片进行编码。

构成图5的多视点图像编码器的编码器11、12、21和22根据MVC方法的顺序对图片进行编码。

[编码器11的配置示例]

图9是示出图5的编码器11的配置示例的框图。

图5的编码器12和21也以与编码器11相同的方式被配置，并且例如根据MVC方法对图片进行编码。

在图9中，编码器11包括A/D（模拟/数字）转换单元111、画面排序缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、累积缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、去块滤波器121、画面内预测单元122、帧间预测单元123、和预测图像选择单元124。

A/D转换单元111按照显示顺序连续接收作为编码对象的图像的视点＃1的彩色图像C#1的图片（运动图片）。

当接收到的图片是模拟信号时，A/D转换单元111对模拟信号执行A/D转换，并将其提供给画面排序缓冲器112。

画面排序缓冲器112临时存储由A/D转换单元111提供的图片，并根据预先确定的GOP（图片组）的结构读取图片，从而执行排序以将图片的顺序从显示顺序排序为编码顺序（解码顺序）。

从画面排序缓冲器112读取的图片被提供到计算单元113、画面内预测单元122和帧间预测单元123。

计算单元113从画面排序缓冲器112接收图片，另外从预测图像选择单元124接收由画面内预测单元122或帧间预测单元123生成的预测图像。

计算单元113采用从画面排序缓冲器112读取的图片作为编码对象的对象图片，另外还顺次采用构成对象图片的宏块作为编码对象的对象块。

然后，根据需要，计算单元113计算通过从对象块的像素值减去由预测图像选择单元124提供的预测图像的像素值而获得的相减值，并将其提供到正交变换单元114。

正交变换单元114对由计算单元113提供的对象块（的像素值或通过减去预测图像获得的残差）应用正交变换，例如离散余弦变换和卡亨南-拉维（Karhunen-Loeve）变换，并将作为结果获得的变换系数提供到量化单元115。

量化单元115量化从正交变换单元114提供的变换系数，并将作为结果获得的量化值提供到可变长度编码单元116。

可变长度编码单元116对由量化单元115提供的量化值应用诸如可变长度编码（例如CAVLC（上下文自适应可变长度编码）等）的无损编码和算术编码（例如，CABAC（上下文自适应二进制算术编码）等），并将作为结果获得的编码数据提供到累积缓冲器117。

可变长度编码单元116接收由量化单元115提供的量化值，并且还接收包括在来自画面内预测单元122和帧间预测单元123的编码数据的头部中的头信息。

可变长度编码单元116对由画面内预测单元122和帧间预测单元123提供的头信息进行编码，并将其放到编码数据中。

累积缓冲器117临时存储由可变长度编码单元116提供的编码数据，并以预定数据率输出数据。

从累积缓冲器117输出的编码数据被提供到多路复用单元32（图5）。

通过量化单元115获得的量化值不仅被提供到可变长度编码单元116，而且被提供到逆量化单元118。逆量化单元118、逆正交变换单元119和计算单元120执行本地解码。

更具体地，逆量化单元118将由量化单元115提供的量化值去量化为变换系数，并将其提供到逆正交变换单元119。

逆正交变换单元119对由逆量化单元118提供的变换系数执行逆正交变换，并将其提供到计算单元120。

根据需要，计算单元120将由预测图像选择单元124提供的预测图像的像素值加到由逆正交变换单元119提供的数据，从而获得通过对对象块进行解码（本地解码）获得的解码图像，并将其提供到去块滤波器121。

去块滤波器121对由计算单元120提供的解码图像进行滤波，去除（减少）解码图像中的块噪声，并将其提供到DPB 31（图5）。

在该情况下，DPB 31存储由去块滤波器121提供的解码图像，即由编码器11进行编码并被本地解码的彩色图像C#1的图片，作为当生成用于在时间上稍后执行的预测编码（计算单元113执行预测图像的相减的编码）的预测图像时所参考的参考图片（的备选）。

如图5所示，DPB 31被编码器11、12、21和22共享，所以DPB 31不仅存储由编码器11进行编码并被本地解码的彩色图像C#1的图片，而且存储由编码器12进行编码并被本地解码的彩色图像C#2的图片、由编码器21进行编码并被本地解码的视差图像D#1的图片、以及由编码器22进行编码并被本地解码的视差图像D#2的图片。

应注意，例如针对作为可以是参考图片的参考启用图片的I图片、P图片和Bs图片，利用逆量化单元118、逆正交变换单元119和计算单元120进行本地解码，并且DPB 31存储I图片、P图片和Bs图片的解码图像。

当对象图片是可进行帧内预测（画面内预测）的I图片、P图片或B图片（包括Bs图片）时，画面内预测单元122从DPB 31读取已经本地解码的对象图片部分（解码图像）。然后，画面内预测单元122采用从DPB 31读取的对象图片的解码图像部分作为从画面排序缓冲器112提供的对象图片的对象块的预测图像。

另外，画面内预测单元122求得使用预测图像对对象块进行编码所需要的编码成本，即对对象块相对于预测图像的残差等进行编码所需要的编码成本，并将编码成本和预测图像提供给预测图像选择单元124。

当对象图片是可以进行帧间预测的P图片或B图片（包括Bs图片）时，帧间预测单元123从DPB 31读取在对象图片之前进行编码并被本地解码的一个或更多个图片作为参考图片。

帧间预测单元123还利用使用由画面排序缓冲器112提供的参考图片和对象图片的对象块的ME，检测表示对象块和对应于参考图片中的对象块的对应块（例如，相对于对象块的SAD（绝对差之和）最小的块）的偏差（视差、运动）的视差向量。

在该情况下，当参考图片是与对象图片相同视角（视点）的图片时，则利用使用对象块和参考图片的ME检测到的偏差向量是表示对象块与参考图片之间的运动（时间上的偏差）的运动向量。

在该情况下，当参考图片是与对象图片不同视角的图片时，则利用使用对象块和参考图片的ME检测到的偏差向量是表示对象块与参考图片之间的视差（空间上的偏差）的视差向量。

如上所述，利用ME求得的视差向量也被称为计算视差向量，从而与图6中所示的图像拍摄视差向量相区分。

在该实施例中，为了简化说明，图像拍摄视差向量是y分量为零的向量，但是利用ME检测到的计算视差向量表示对象块与用作参考图片中的与对象块的SAD最小的区域的块（对应块）之间的偏差（位置关系），所以y分量不一定为零。

帧间预测单元123根据对象块的偏差向量对由DPB 31提供的参考图片执行偏差补偿（用于补偿运动偏差的运动补偿、或用于补偿视差偏差的视差补偿），从而生成预测图像。

更具体地，帧间预测单元123获得对应块作为预测图像，对应块是位于根据对象块的偏差向量从参考图片中的对象块的位置移动（偏离）的位置处的块（区域）。

另外，帧间预测单元123求得使用用于每个帧间预测模式的预测图像对对象块进行编码所需要的编码成本，帧间预测模式关于用于生成预测图像的参考图片、稍后说明的宏块类型等而不同。

然后，帧间预测单元123采用编码成本最小的帧间预测模式作为最优帧间预测模式，并将以最优帧间预测模式获得的预测图像和编码成本提供给预测图像选择单元124，其中最优帧间预测模式是最合适的帧间预测模式。

预测图像选择单元124选择由画面内预测单元122和帧间预测单元123提供的预测图像中的编码成本较小的一个，并将其提供给计算单元113和120。

在该情况下，画面内预测单元122将关于帧内预测的信息提供给可变长度编码单元116作为头信息，并且帧间预测单元123将关于帧间预测的信息（关于偏差向量的信息、为参考图片分配的参考索引等）提供给可变长度编码单元116作为头信息。

可变长度编码单元11从由画面内预测单元122和帧间预测单元123提供的头信息中选择用以生成编码成本较小的预测图像的头信息，并将其放在编码数据的头部中。

[宏块类型]

图10是用于说明根据MVC（AVC）方法的宏块类型的图。

宏块是水平尺寸和垂直尺寸例如为16×16像素的块，但是在MVC方法中，在将宏块分割成分块时，可以对每个分块进行ME（和预测图像生成）。

更具体地，在MVC方法中，可以将宏块分割为具有16×16像素、16×8像素、8×16像素或8×8像素中的任一种的分块，可以对每个分块进行ME，并且可以检测偏差向量（运动向量或计算视差向量）。

在MVC方法中，可以将具有8×8像素的分块进一步分割为具有8×8像素、8×4像素、4×8像素或4×4像素中的任一种的子分块，并且可以对每个子分块进行ME，由此可以检测偏差向量（运动向量或计算视差向量）。

宏块类型指示宏块被分割为哪种类型的分块（以及进一步的子分块）。

在帧间预测单元123的帧间预测中（图9），计算每个宏块类型的编码成本作为每个帧间预测模式的编码成本，并且选择编码成本最小的帧间预测模式（宏块类型）作为最优帧间预测模式。

[预测向量（PMV（预测运动向量））]

图11是用于说明根据MVC（AVC）方法的预测向量（PMV）的图。

在帧间预测单元123的帧间预测中（图9），利用ME检测对象块的偏差向量（运动向量或计算视差向量），并使用该偏差向量生成预测图像。

解码器需要偏差向量来对图像进行解码，所以需要对关于偏差向量的信息进行编码并将其放入编码数据中，但是如果将偏差向量按原样进行编码，则偏差向量的编码量增大，这会降低编码效率。

更具体地，在MVC方法中，如图10所示，将宏块分割为具有8×8像素的分块，另外具有8×8像素的分块中的每个可被分割为具有4×4像素的子分块。在该情况下，一个宏块最终被分割为4×4个子分块，所以一个宏块可产生16（=4×4）个偏差向量，如果将这些偏差向量按原样进行编码，则偏差向量的编码量会增大，这会降低编码效率。

为此，在MVC（AVC）方法中，执行向量预测以预测偏差向量，并且对偏差向量相对于作为向量预测的结果获得的预测向量的残差进行编码。

更具体地，假设任意给定的宏块X为编码对象的对象块。为了简化描述，对象块X被分割为具有16×16像素的分块（对象块X按原样被形成为分块）。

如图11所示，当对对象块X进行编码时，使用（按照光栅扫描的顺序）已经编码的宏块中的与对象块X的上侧相接的宏块A的偏差向量mvA、与对象块X的左侧相接的宏块B的偏差向量mvB、以及与对象块X的右上侧相接的宏块C的偏差向量mvC，根据表达式（6）计算对象块X的偏差向量mvX的预测向量PMVX。

PMVX=med(mvA,mvB,mvC)

…(6)

在该情况下，在表达式（6）中，med（）表示括号中的值的中值（中央值）。

当对象块X例如是位于图片右端的宏块时，宏块C的偏差向量mvC无法使用（不可用），并且在这样的情况下，代替偏差向量mvC，使用与对象块X的左上侧相接的宏块D的偏差向量宏块D来计算预测向量PMVX。

针对x分量和y分量中的每个独立地进行根据表达式（6）的预测向量PMVX的计算。

帧间预测单元123（图9）将对象块X的偏差向量mvX与预测向量PMVX之间的差mvX-PMV作为关于对象块X的偏差向量的信息放入头信息中。

图12A至12C是用于进一步说明根据MVC（AVC）方法的预测向量的图。

MVC方法的预测向量的生成方法根据分配给参考图片的参考索引（在下文中可被称为预测参考索引）而不同，其中参考图片用于生成对象块周围的块（宏块）的预测图像。

在该情况下，将说明MVC（AVC）方法的参考图片和参考索引。

在AVC方法中，当生成预测图像时，可以采用多个图片作为参考图片。

然后，利用AVC方法的编解码器，将参考图片在解码（本地解码）之后存储到被称为DPB的缓冲器。

在DPB中，分别将短时间参考的图片标记为短时间参考图片（用于短期参考），将长时间参考的图片标记为长时间参考图片（用于长期参考），以及将不参考的图片标记为非参考图片（不用于参考）。

管理DPB的管理方法包括两种类型，即滑动窗存储器管理方法（滑动窗处理）和自适应存储器管理方法（自适应存储器控制处理）。

在滑动窗存储器管理方法中，根据FIFO（先进先出）方法管理DPB，并且存储在DPB中的图片按照frame_num（帧号）的升序打开（使得成为非参考图片）。

更具体地，在滑动窗存储器管理方法中，将I（帧内）图片、P（预测）图片和作为参考启用B（双向预测）图片的Bs图片作为短时间参考图片存储在DPB中。

然后，在存储了与可在DPB中存储的参考图片（可以作为参考图片的参考图片）一样多的参考图片之后，打开存储在DPB中的短时间参考图片当中的最早（最老）的短时间参考图片。

应注意，当DPB存储长时间参考图片时，存储在DPB中的长时间参考图片不受滑动窗存储器管理方法的影响。更具体地，在滑动窗存储器管理方法中，参考图片中的由FIFO方法管理的参考图片仅为短时间参考图片。

在自适应存储器管理方法中，使用被称为MMCO（存储器管理控制操作）的命令来管理存储在DPB中的图片。

根据MMCO命令，以存储在DPB中的参考图片作为对象，将短时间参考图片设置为非参考图片，并将作为用于管理长时间参考图片的参考索引的长期帧索引分配给短时间参考图片，由此，例如，可以将短时间参考图片设置为长时间参考图片，可以设置长期帧索引的最大值，并且可以将全部参考图片设置为非参考图片。

在AVC方法中，对存储在DPB中的参考图片执行运动补偿，由此进行用于生成预测图像的帧间预测，并且对于B图片（包括Bs图片）的帧间预测，可以使用最多两个参考图片。使用两个参考图片的帧间预测分别被称为L0（列表0）预测和L1（列表1）预测。

对于B图片（包括Bs图片），使用L0预测或L1预测、或L0预测和L1预测二者作为帧间预测。对于P图片，仅使用L0预测作为帧间预测。

在帧间预测中，通过参考列表（参考图片列表）管理用于生成预测图像所参考的参考图片。

在参考列表中，将参考索引分配给存储在DPB中的参考图片，参考索引是用于指定用于生成预测图像所参考的参考图片的索引（参考索引）。

如上所述，当对象图片是P图片时，仅使用L0预测用于P图片的帧间预测，因此仅针对L0预测分配参考索引。

如上所述，当对象图片是B图片（包括Bs图片）时，可以使用L0预测和L1预测二者用于B图片的帧间预测，因此针对L0预测和L1预测两者分配参考索引。

在该情况下，用于L0预测的参考索引也被称为L0索引，而用于L1预测的参考索引也被称为L1索引。

当对象图片是P图片时，在AVC方法的默认模式中分配参考索引（默认值）：将具有较小值的参考索引（L0索引）分配给存储在DPB中的按照解码顺序位于后面的参考图片。

参考索引为零或更大的整数值，并且最小值为零。所以，当对象图片为P图片时，将零分配给紧邻在对象图片之前解码的参考图片作为L0索引。

当对象图片为B图片（包括Bs图片）时，在AVC的默认模式中，按照POC（图片顺序计数）顺序、即显示顺序，将参考索引（L0索引和L1索引）分配给存储在DPB中的参考图片。

更具体地，对于L0预测，按照显示顺序将L0索引分配给时间上在对象图片之前的参考图片，使得参考图片离对象图片越近，向其分配越小的L0索引，其后，按照显示顺序将L0索引分配给时间上在对象图片之后的参考图片，使得参考图片离对象图片越近，向其分配越小的L0索引。

对于L1预测，按照显示顺序将L1索引分配给时间上在对象图片之后的参考图片，使得参考图片离对象图片越近，向其分配越小的L1索引，其后，按照显示顺序将L1索引分配给时间上在对象图片之前的参考图片，使得参考图片离对象图片越近，向其分配越小的L1索引。

在上述AVC方法的默认模式中，分配参考索引（L0索引和L1索引），使得采用短时间参考图片作为对象。在将参考索引分配给短时间参考图片之后，将参考索引分配给长时间参考图片。

所以，在AVC的默认模式中，将具有比短时间参考图片更大的值的参考索引分配给长时间参考图片。

在AVC方法中，根据上述默认方法分配参考索引。可替选地，可以使用被称为参考图片列表重排序的命令（在下文可被称为RPLR命令）进行任意给定的分配处理。

当在使用RPLR命令分配参考索引之后存在未分配参考索引的参考图片时，则根据默认方法将参考索引分配给参考图片。

如图12A至12C所示，在MVC（AVC）方法中，取决于与对象块X的上侧相接的宏块A、与对象块X的左侧相接的宏块B、以及与对象块X的右上侧相接的宏块C中的每个的预测参考索引（分配给用于生成宏块A、B和C中的每个的预测图像的参考图片的参考索引），根据不同方法求得对象块X的偏差向量mvX的预测向量PMVX。

更具体地，现在假设对象块X的预测参考索引ref_idx例如为零。

更具体地，如图12A所示，当与对象块X相接的三个宏块A至C包括预测参考索引ref_idx与对象块X一样为零的一个宏块时，采用该宏块（预测参考索引ref_idx为零的宏块）的偏差向量作为对象块X的偏差向量mvX的预测向量PMVX。

在该情况下，在图12A中，与对象块X相接的三个宏块A至C中仅宏块A为预测参考索引ref_idx为零的宏块，所以采用宏块A的偏差向量mvA作为对象块X（的偏差向量mvX）的预测向量PMVX。

如图12B所示，当与对象块X相接的三个宏块A至C包括预测参考索引ref_idx与对象块X一样为零的两个或更多个宏块时，采用预测参考索引ref_idx为零的两个或更多个宏块的偏差向量的中值作为对象块X的预测向量PMVX。

在该情况下，在图12B，与对象块X相接的三个宏块A至C全部是预测参考索引ref_idx为零的宏块，所以采用宏块A的偏差向量mvA、宏块B的偏差向量mvB和宏块C的偏差向量mvC（mvA、mvB、mvC）的中值med作为对象块X的预测向量PMVX。

如图12所示，当与对象块X相接的三个宏块A至C不包括预测参考索引ref_idx与对象块X一样为零的宏块时，采用零向量作为对象块X的预测向量PMVX。

在该情况下，在图12C中，与对象块X相接的三个宏块A至C不包括预测参考索引ref_idx为零的宏块，采用零向量作为对象块X的预测向量PMVX。

在MVC方法中，当使用分配有零值的参考索引rev_idx的参考图片对对象块进行编码时，可以使对象块成为跳过宏块。

对于跳过宏块，对残差（对象块和预测图像的残差）和关于偏差向量的信息都不进行编码。于是，解码器侧按原样采用预测向量作为跳过宏块的偏差向量，并且采用位于以偏离向量从参考图片中的跳过宏块的位置偏离的位置处的块（对应块）的副本作为跳过宏块的解码结果。

尽管取决于编码器的规格，但是基于例如编码数据的编码量和对象块的编码成本，判定（确定）是否使对象块成为跳过宏块。

[编码器22的配置示例]

图13是示出图5的编码器22的配置示例的框图。

编码器22使用MVC方法对作为编码对象的图像的视点＃2的视差图像D#2进行编码。更具体地，编码器22如图3所示地对作为编码对象的图像的视点＃2的视差图像D#2进行编码。

在图13中，编码器22包括A/D转换单元211、画面排序缓冲器212、计算单元213、正交变换单元214、量化单元215、可变长度编码单元216、累积缓冲器217、逆量化单元218、逆正交变换单元219、计算单元220、去块滤波器221、画面内预测单元222、预测图像选择单元224、变形单元231、变形图片缓冲器232、遮挡检测单元233、以及视差预测单元234。

分别以与图9的编码器11的A/D转换单元111至画面内预测单元122和预测图像选择单元124相同的方式配置A/D转换单元211至画面内预测单元222和预测图像选择单元224，所以根据需要省略关于A/D转换单元211至画面内预测单元222和预测图像选择单元224的说明。

在图13中，DPB 31从去块滤波器221接收解码图像，更具体地，DPB 31接收由编码器22编码并被本地解码的视差图像（在下文中可被称为解码视差图像）D#2的图片，并将其存储为参考图片。

如图5和图9中所示，DPB 31还接收并存储由编码器11编码并被本地解码的彩色图像C#1的图片、由编码器12编码并被本地解码的彩色图像C#2的图片、以及由编码器21编码并被本地解码的视差图像（解码视差图像）D#1的图片。

在编码器22中，不仅使用由去块滤波器221提供的解码视差图像D#2的图片，而且使用通过编码器21获得的解码视差图像D#1，以对作为编码对象的视差图像D#2进行编码，所以图13示出指示将通过编码器21获得的解码视差图像D#1提供到DPB 31的箭头。

变形单元231接收图像拍摄视差向量d（视点＃1的图像拍摄视差向量d1）的最大值dmax和最小值dmin、基线长度L、焦距f、以及位置信息作为视差相关信息（图5）。

变形单元231获得（读取）存储在DPB 31中的解码视差图像D#1和D＃2的图片中的解码视差图像D#1的图片（与对象图片相同时间的图片）。

然后，变形单元231根据需要使用视差相关信息使从DPB 31获得的解码视差图像D#1的图片变形，由此变形单元231生成变形视差图像D′#1的图片，该变形视差图像D′#1是通过将解码视差图像D#1的图片转换为以视点＃2获得的图像（视差图像）而获得的变形图像。

更具体地，变形单元231使用图像拍摄视差向量d的最大值dmax和最小值dmin，根据表达式（4）将作为解码视差图像D#1的图片的每个像素的像素值的视差值ν转换为每个像素的图像拍摄视差向量d（d1）。

在该情况下，当不是视差图像而是景深图像被用作视差信息图像时，使用基线长度L和焦距f，根据表达式（5）将作为景深图像的像素值的景深值的尚未归一化景深Z转换为图像拍摄视差向量d。

变形单元231执行变形处理以根据像素的图像拍摄视差向量d移动解码视差图像D#1的图片的每个像素，由此生成变形视差图像D′#1的图片。

当变形单元231通过使解码视差图像D#1的图片变形生成变形视差图像D′#1的图片时，变形单元231将变形视差图像D′#1的图片提供到变形图片缓冲器232。

在该情况下，提供到变形单元231的视差相关信息还被提供到可变长度编码单元216，并且根据需要将其放入编码数据的头部作为头信息。

代替将视差相关信息放入编码数据的头部，多路复用单元32（图5）可以将该信息与编码数据进行多路复用。

变形图片缓冲器232临时存储由变形单元231提供的变形视差图像D′#1的图片。

在该实施例中，除了DPB 31之外还设置存储变形视差图像D′#1的图片的变形图片缓冲器232，但是可以设置由DPB 31和变形图片缓冲器232共享的一个缓冲器。

如图2所示，遮挡检测单元233检测存储在变形图片缓冲器232中的变形视差图像D′#1的图片（与对象图片时间相同的图片）中的没有像素值的部分（像素值缺失部分）。

另外，遮挡检测单元233检测视差图像D#2的对象图片中的位于与像素值缺失部分相同位置处的部分作为遮挡部分。

于是，如图2所示，遮挡检测单元233在水平方向（其中存在视差）上扫描可以作为视差图像D#2的对象图片中的处理对象的每个块，由此遮挡检测单元233检测遮挡部分开始的开始像素S和遮挡部分结束的结束像素E。

当遮挡检测单元233检测对象图片的每个块的开始像素S和结束像素E时，遮挡检测单元233将开始像素S和结束像素E提供到视差预测单元234作为遮挡信息。

视差预测单元234采用存储在DPB 31中的视点＃1的解码视差图像D#1作为参考图片，并执行对象块的视差预测（生成预测图像）。

更具体地，视差预测单元234采用存储在DPB 31中的解码视差图像D#1的图片作为参考图片，并执行ME，从而获得对象块的计算视差向量。

另外，视差预测单元234执行MC（Motion Compensation）（运动补偿），其中根据对象块的计算视差向量采用存储在DPB 31中的解码视差图像D#1的图片作为参考图片，从而生成对象块的预测图像。

对于每个宏块类型，视差预测单元234计算用于使用预测图像对对象块进行编码（预测编码）所需的编码成本，其中，预测图像是使用视差预测从参考图片获得的。

然后，视差预测单元234选择编码成本最小的宏块类型作为最优帧间预测模式，并将在最优帧间预测模式中生成的预测图像提供给预测图像选择单元224。

另外，视差预测单元234将关于最优帧间预测模式的信息等作为头信息输出到可变长度编码单元216。

如上所述，将参考索引分配给参考图片，并且分配给参考图片的参考索引被选择为对象块的预测参考索引，并被作为多条头信息之一输出到可变长度编码单元216，其中，参考图片是当视差预测单元234生成在最优帧间预测模式中生成的预测图像时所参考的。

另外，视差预测单元234根据需要使用由遮挡检测单元463提供的遮挡信息，并求得对象块（的计算视差向量）的预测向量。然后，视差预测单元234求得残差向量，并将残差向量作为多条头信息之一输出到可变长度编码单元216，其中残差向量是对象块的计算视差向量与预测向量之间的差。

在图13中，为了简化描述，编码器22设置有仅进行帧间预测的视差预测的视差预测单元234。可替选地，与图9的编码器11的帧间预测单元123相同，编码器22也可不仅执行视差预测，而且执行时间预测。

当编码器22执行视差预测和时间预测两者时，将参考索引分配给解码视差图像D#1的图片和解码视差图像D#2的图片（时间与对象图片不同的其它时间图片），其中，解码视差图像D#1的图片是可以在视差预测中参考的参考图片，解码视差图像D#2的图片是可以在时间预测中参考的参考图片。

然后，在编码器22中，例如，分配给参考图片的参考索引被设置为通过对象块的视差预测生成的预测图像，并被形成为多条头信息之一，其中，参考图片是用于生成通过视差预测生成的预测图像和通过时间预测生成的预测图像之一（对象块的编码成本较小的一个）所参考的。

图14是示出图13的视差预测单元234的配置示例的框图。

在图14中，视差预测单元234包括视差检测单元241、视差补偿单元242、预测向量生成单元243、成本函数计算单元244、以及模式选择单元245。

视差检测单元241接收作为存储在DPB 31中的参考图片的解码视差图像D#1的图片，并从画面排序缓冲器212接收编码对象（对象图片）的视差图像D#2的图片。

对于由画面排序缓冲器212提供的对象图片中的对象块，视差检测单元241以与MVC方法相同的方式，使用解码视差图像D#1的图片作为参考图片来执行ME，从而对于每个宏块类型，检测表示对象块与解码视差图像D#1的图片中与对象块的SAD最小的对应块之间的偏差的偏差向量，即表示对象块相对于例如视点＃1的视差的计算视差向量mv。

在该情况下，为了简化描述，在解码视差图像D#1的图片中，采用与对象块的SAD最小的块作为用于求得计算视差向量mv的对应块。可替选地，视差检测单元241可以检测例如对象块的编码成本COST最小的对应块，编码成本COST由表达式COST=D+λR表示（最终，计算视差向量mv）。

在该情况下，在表达式COST=D+λR中，D表示对象块和解码视差图像D#1的图片中的位于以计算偏差向量mv从对象块移动的位置处的块的SAD，λ表示R的权重并且根据对象块的残差（对象块和预测图像的残差）的量化步骤进行设置。

在表达式COST=D+λR中，R表示对应于计算视差向量mv的编码量的值。

在MVC方法中，对计算视差向量mv与其预测向量的残差向量进行编码，所以可以采用对应于残差向量的编码量的值作为值R。

当可以采用对应于残差向量的编码量的值作为值R时，视差检测单元241根据从预测向量生成单元243提供的预测向量信息识别预测向量，并根据预测向量和计算视差向量mv求得残差向量。

当视差检测单元241检测对象块的计算视差向量mv时，视差检测单元241求得残差向量，并将其提供给视差补偿单元242，其中残差向量是计算视差向量mv与从由预测向量生成单元243提供的预测向量信息获得的预测向量之间的差。

视差补偿单元242不仅从视差检测单元241接收计算视差向量mv的残差向量，而且接收作为存储在DPB 31中的参考图片的解码视差图像D#1的图片。

另外，视差补偿单元242从预测向量生成单元243接收预测向量信息。

视差补偿单元242根据由视差检测单元241提供的残差向量和由预测向量生成单元243提供的预测向量信息恢复对象块的计算视差向量mv。

另外，视差补偿单元242采用由DPB 31提供的解码视差图像D#1的图片作为参考图片，并以与MVC方法相同的方式使用对象块的计算视差向量mv执行参考图片的偏差补偿（视差补偿），从而针对每个宏块类型生成对象块的预测图像。

更具体地，视差补偿单元242获得解码视差图像D#1的图片中的的对应块作为预测图像，其中对应块是位于以计算视差向量mv从对象块的位置偏离的位置处的块（区域）。

然后，视差补偿单元242向成本函数计算单元244提供预测图像、由视差检测单元241提供的残差向量、以及分配给用于生成预测图像的参考图片（在该情况下，解码视差图像D#1的图片）的参考索引。

预测向量生成单元243从遮挡检测单元233接收开始像素S和结束像素E作为遮挡信息。

预测向量生成单元243使用由遮挡检测单元233提供的遮挡信息来确定对象块是否是遮挡块。

然后，取决于对象块是否是遮挡块，预测向量生成单元243根据不同向量预测方法生成对象块的预测向量。

更具体地，当对象块是遮挡块时，预测向量生成单元243根据参考图2至图4描述的邻近预测方法生成对象块的预测向量。

当对象块不是遮挡块（非遮挡块）时，预测向量生成单元243根据参考图11至图12描述的MVC方法生成对象块的预测向量。

针对每个宏块类型（图10），预测向量生成单元243生成预测向量，并将预测向量作为预测向量信息提供到视差检测单元241、视差补偿单元242、以及成本函数计算单元244。

成本函数计算单元244从视差补偿单元242接收预测图像、残差向量以及参考索引，并从预测向量生成单元243接收预测向量信息，另外从画面排序单元缓冲器212接收视差图像D#2的对象图片。

针对每个宏块类型（图10），成本函数计算单元244根据用于计算编码成本的预定成本函数，求得对由画面排序缓冲器212提供的对象图片的对象块进行编码所需要的编码成本。

更具体地，成本函数计算单元244求得对应于由视差补偿单元242提供的残差向量的编码量的值MV，并求得对应于由视差补偿单元242提供的参考索引（预测参考索引）的编码量的值IN。

另外，成本函数计算单元244求得作为值D的SAD，该值D对应于对象块相对于由视差补偿单元242提供的预测图像的残差。

然后，成本函数计算单元244采用例如λ1和λ2作为权重，并根据表达式COST=D+λ1×MV+λ2×IN求得每个宏块类型的编码成本COST。

当成本函数计算单元244求得每个宏块类型的编码成本（成本函数值）时，成本函数计算单元244将编码成本和参考索引、预测图像、以及残差向量提供到模式选择单元245。

模式选择单元245从由成本函数计算单元244提供的宏块类型的编码成本中检测作为最小值的最小成本。

另外，模式选择单元245选择获得最小成本的宏块类型作为最优帧间预测模式。

然后，模式选择单元245向可变长度编码单元216提供表示最优帧间预测模式的模式相关信息、最优帧间预测模式的参考索引（预测参考索引）、残差向量等作为头信息。

另外，模式选择单元245向预测图像选择单元224提供最优帧间预测模式的预测图像和编码成本（最小成本）。

应注意，当获得最小成本的参考索引是值为零的参考索引时，模式选择单元245基于例如最小成本等确定是否将对象块编码为跳过宏块。

当模式选择单元245确定将对象块编码为跳过宏块时，最优帧间预测模式为用于将对象块编码为跳过宏块的跳过模式。

图15是说明由图13的编码器22执行的用于对视点＃2的视差图像D#2进行编码的编码处理的流程图。

在步骤S11中，A/D转换单元211对提供到A/D转换单元211的视点＃2的视差图像D#2的图片的模拟信号执行A/D转换，并将其提供到画面排序缓冲器212，以及前进到步骤S12中的处理。

在步骤S12中，画面排序缓冲器212临时存储由A/D转换单元211提供的视差图像D#2的图片，并根据预先确定的GOP结构读取图片，从而执行排序以将图片的顺序从显示顺序排序为编码顺序（解码顺序）。

从画面排序缓冲器212读取的图片被提供到计算单元213、画面内预测单元222以及视差预测单元234，然后，在步骤S12之后执行步骤S13中的处理。

在步骤S13，计算单元213采用由画面排序缓冲器212提供的视差图像D#2的图片作为编码对象的对象图片，另外还顺次采用构成对象图片的宏块作为编码对象的对象块。

然后，根据需要，计算单元213计算对象块的像素值与由预测图像选择单元224提供的预测图像的像素值之间的差（残差），并将其提供到正交变换单元214，然后，在步骤S13之后执行步骤S14中的处理。

在步骤S14，正交变换单元214对由计算单元213提供的对象块应用正交变换，并将作为结果获得的变换系数提供到量化单元215，然后执行步骤S15中的处理。

在步骤S15，量化单元215量化由正交变换单元214提供的变换系数，并将作为结果获得的量化值提供给逆量化单元218和可变长度编码单元216，然后，执行步骤S16中的处理。

在步骤S16，逆量化单元218将由量化单元215提供的量化值去量化为变换系数，并将其提供到逆正交变换单元219，然后，执行步骤S17中的处理。

在步骤S17，逆正交变换单元219对由逆量化单元218提供的变换系数去量化，并将其提供到计算单元220，然后，执行步骤S18中的处理。

在步骤S18中，根据需要，计算单元220将由预测图像选择单元224提供的预测图像的像素值加到由逆正交变换单元219提供的数据，从而获得通过对对象块进行解码（本地解码）获得的解码视差图像D#2。然后，计算单元220将通过对对象块进行本地解码获得的解码视差图像D#2提供到去块滤波器221，然后，在步骤S18之后执行步骤S19中的处理。

在步骤S19，去块滤波器221对由计算单元220提供的解码视差图像D#2进行滤波，并将其提供到DPB 31（图5），然后，执行步骤S20中的处理。

在步骤S20中，DPB 31等待接收通过从对视差图像D#1进行编码的编码器21对视差图像D#1进行编码并对其进行本地解码而获得的解码视差图像D#1，并存储该解码视差图像D#1，然后执行步骤S21中的处理。

在步骤S21，DPB 31存储由去块滤波器221提供的解码视差图像D#2，然后执行步骤S22中的处理。

在步骤S22，变形单元231使存储在DPB 31中的解码视差图像D#1的图片变形，从而生成变形视差图像D′#1的图片，并将其提供到变形图片缓冲器232，然后执行步骤S23中的处理。

在步骤S23，变形图片缓冲器232存储由变形单元231提供的变形视差图像D′#1，然后执行步骤S24中的处理。

在步骤S24，遮挡检测单元233使用存储在变形图片缓冲器232中的变形视差图像D′#1的图片，以执行用于检测视差图像D#2的对象图片的遮挡部分的遮挡检测处理。

然后，遮挡检测单元233向视差预测单元234提供通过遮挡检测处理获得的遮挡信息，然后，在步骤S24之后执行步骤S25中的处理。

在步骤S25，画面内预测单元222对后续对象块执行帧内预测处理（画面内预测处理），后续对象块是变为后续编码的对象的宏块。

更具体地，关于后续对象块，画面内预测单元222执行帧内预测（画面内预测），以根据存储在DPB 31中的解码视差图像D#2的图片生成预测图像（帧内预测的预测图像）。

然后，画面内预测单元222使用帧内预测的预测图像来获得对对象块进行编码所需要的编码成本，并将编码成本和帧内预测的预测图像提供到预测图像选择单元224，然后，在步骤S25之后执行步骤S26中的处理。

在步骤S26，关于后续对象块，视差预测单元234采用存储在DPB31中的解码视差图像D#1的图片作为参考图片，并执行视差预测处理。

更具体地，关于后续对象块，在采用存储在DPB 31中的解码视差图像D#1的图片作为参考图像时，视差预测单元234执行视差预测，从而针对宏块类型等不同的每个帧间预测模式求得计算视差向量、预测向量、预测图像、编码成本等。

另外，视差预测单元234采用编码成本最小的帧间预测模式作为最优帧间预测模式，并将最优帧间预测模式的预测图像以及编码成本提供到预测图像选择单元224，然后，在步骤S26之后执行步骤S27中的处理。

在步骤S27，预测图像选择单元224选择由画面内预测单元222提供的预测图像（帧内预测的预测图像）和由视差预测单元234提供的预测图像（帧间预测的预测图像）中的例如编码成本较小的一个，并将其提供到计算单元213和220，然后，执行步骤S28中的处理。

在该情况下，在后续对象块的编码处理中执行的步骤S13和步骤S18的处理中，使用步骤S27中由预测图像选择单元224选择的预测图像。

画面内预测单元222向可变长度编码单元216提供关于在步骤S25的帧内预测处理中获得的帧内预测的信息作为头信息，并且视差预测单元234向可变长度编码单元216提供关于在步骤S26的视差预测处理中获得的视差预测（帧间预测）的信息（表示最优帧间预测模式的模式相关信息等）作为头信息。

在步骤S28中，可变长度编码单元216对由量化单元215提供的量化值应用可变长度编码，并获得编码数据。

另外，可变长度编码单元216选择由画面内预测单元222和视差预测单元234提供的多条头信息中的由其生成编码成本更小的预测图像的一条头信息，并将其放入编码数据的头部。

然后，可变长度编码单元216将编码数据提供到累积缓冲器217，然后在步骤S28之后执行步骤S29中的处理。

在步骤S29,累积缓冲器217临时存储由可变长度编码单元216提供的编码数据，并以预定数据率输出数据。

从累积缓冲器217输出的编码数据被提供到多路复用单元32（图5）。

编码器22根据需要重复执行上述步骤S11到步骤S29中的处理。

图16是说明由图13的遮挡检测单元233在图15的步骤S24中执行的遮挡检测处理的流程图。

在步骤S31中，如图2所示，遮挡检测单元233检测存储在变形图片缓冲器232中的变形视差图像D′#1的图片中没有像素值的部分（像素值缺失部分）。

另外，遮挡检测单元233检测视差图像D#2中的位于与像素值缺失部分相同位置处的部分作为遮挡部分，然后，在步骤S31之后执行步骤S32中的处理。

在步骤S32，遮挡检测单元233例如针对构成宏块的每条水平线扫描视差图像D#2的对象图片，并在对象图片中检测作为遮挡部分的开始位置和结束位置（在水平方向（x方向）上）的遮挡开始位置SS和遮挡结束位置EE。

更具体地，例如，遮挡检测单元233在x方向（从左至右的方向）上扫描从对象图片的顶部开始的第一条水平线，并在从对象图片的顶部开始的第一列的宏块系列（分片）中，检测遮挡部分开始的像素位置作为遮挡开始位置SS，并检测遮挡部分结束的像素位置作为遮挡结束位置EE。

另外，例如，遮挡检测单元233在x方向（从左至右的方向）上扫描从对象图片的顶部开始的第17（=16×(2-1)+1）条水平线，并在从对象图片的顶部开始的第二列的宏块序列中，检测遮挡部分开始的像素位置作为遮挡开始位置SS，并检测遮挡部分结束的像素位置作为遮挡结束位置EE。

另外，例如，遮挡检测单元233在x方向（从左至右的方向）上扫描从对象图片的顶部开始的第33（=16×(3-1)+1）条水平线，并在从对象图片的顶部开始的第三列的宏块序列中，检测遮挡部分开始的像素位置作为遮挡开始位置SS，并检测遮挡部分结束的像素位置作为遮挡结束位置EE。

同样，在下文中，例如，遮挡检测单元233在x方向（从左至右的方向）上扫描从对象图片的顶部开始的第(16×(k-1)+1)条水平线，并在从对象图片的顶部开始的第k列的宏块序列中，检测遮挡部分开始的像素位置作为遮挡开始位置SS，并检测遮挡部分结束的像素位置作为遮挡结束位置EE。

在该情况下，遮挡开始位置SS和遮挡结束位置EE指示从对象图片的左边（左端）开始的像素数目（从左边开始存在多少个像素）。

当在达到上述对象图片的最下列中的宏块序列的序列中检测遮挡开始位置SS和遮挡结束位置EE时，则在步骤S32之后执行步骤S33中的处理，并且遮挡检测单元233从对象图片中选择例如按照编码顺序尚未被选为关注块的宏块，然后，执行步骤S34中的处理。

在步骤S34，遮挡检测单元233基于遮挡开始位置SS和遮挡结束位置EE识别关注块是否是遮挡块，遮挡开始位置SS和遮挡结束位置EE是在对象图片中关注块所存在的列数中的宏块序列中检测到的，然后，执行步骤S35中的处理。

在步骤S35，遮挡检测单元233确定关注块是否是遮挡块。

在步骤S35，当确定关注块是遮挡块时，随后执行步骤S36中的处理，并且关于作为遮挡块的关注块，遮挡检测单元233检测并存储参考图2至图4说明的遮挡部分开始的开始像素S、和遮挡部分结束的结束像素E，然后，执行步骤S38中的处理。

在步骤S35，当确定关注块不是遮挡块时，随后执行步骤S37中的处理，并且遮挡检测单元233在作为非遮挡块的关注块的（如）开始像素S和结束像素E（的变量）中设置指示非遮挡块的值（例如，不可能是遮挡块的开始像素S和结束像素E的值，例如0或-1），然后，执行步骤S38中的处理。

在步骤S38，遮挡检测单元233确定是否在对象图片中的全部宏块为关注块的情况下获得开始像素S和结束像素E。

在步骤S38中，当确定对象图片中的全部宏块尚未被采用为关注块时，则返回再次执行步骤S33中的处理，并从对象图片中将按照编码顺序尚未被选择为关注块的宏块新选择为关注块，然后重复相同的处理。

在步骤S38，当确定对象图片中的全部宏块已经被采用为关注块时，处理返回。

可以对对象图片执行一次图16的遮挡检测处理。

在图16中，当采用宏块作为最小单位时执行遮挡检测处理，使得对于每个宏块，关于宏块检测遮挡部分开始的开始像素S和遮挡部分结束的结束像素E。可替选地，可以以利用视差预测单元234检测计算视差向量的单位（执行ME的单位）执行遮挡检测处理。

更具体地，在遮挡检测处理中，可以以如图10所示的分块（子分块）为单位执行处理。

在该情况下，执行遮挡检测处理的最小单位是具有4×4像素的分块（子分块）。

图17A和17B是用于说明由遮挡检测单元233（图13）执行的遮挡检测处理（图16）的图。

更具体地，图17A是用于说明如下处理的图，其中，在图16的步骤S34中，遮挡检测单元233基于在关注块所在的列数中的宏块序列中检测到的遮挡开始位置SS和遮挡结束位置EE，识别关注块是否是遮挡块。

图17与图2相同，视点＃1位于右侧，而视点＃2位于左侧，并且在视点＃2的视差图像D#2中，与前景的左侧相接的背景部分为遮挡部分。所以，遮挡部分的左侧为背景，而遮挡部分的右侧为前景。

在图17中，将位于宏块的左端的像素的位置表示为SB，而将位于右端的像素的位置表示为EB。位置SB和EB指示从对象图片的左边（左端）开始的像素数（从左边开始存在多少个像素）。所以，EB-SB+1为16个像素，这是宏块在x方向上的宽度。

如图16所示，遮挡开始位置SS和遮挡结束位置EE指示从对象图片的左边（左端）开始的像素数（从左边开始存在多少个像素）。

所以，当位于宏块的左端的像素的位置SB和位于右端的像素的位置EB满足表达式SB≤SS≤EB≤EE、表达式SS≤SB<EB≤EE、表达式SS≤SB≤EE≤EB和表达式SB≤SS≤SE≤EB中的任意一个时，正被提及的宏块包括遮挡部分。

当位于宏块的左端的像素的位置SB和位于右端的像素的位置EB满足表达式SB≤SS≤EB≤EE、表达式SS≤SB<EB≤EE、表达式SS≤SB≤EE≤EB和表达式SB≤SS≤SE≤EB中的任意一个时，则遮挡检测单元233识别该宏块为遮挡块。

在图17中，块（宏块）B#1、B#2和B#3被识别为是遮挡块。

图17B是示出如下处理的图，其中，在图16的步骤S36中，遮挡检测单元233关于作为遮挡块的宏块检测遮挡部分开始的开始像素S和遮挡部分结束的结束像素E。

在该情况下，关于作为遮挡块的块（宏块）B#i，遮挡部分开始的开始像素S#i和遮挡部分结束的结束像素E#i指示从宏块左侧开始的像素数目（从左侧开始存在多少个像素）。

现在，如图17A所示，作为遮挡块的块B#1、B#2和B#3分别为从对象块左侧开始的第二块、第三块和第四块。

另外，如图17B所示，假设遮挡部分的遮挡开始位置SS是第24个像素，而遮挡结束位置EE是第60个像素。

在该情况下，宏块在x方向上的像素数目为16个像素，所以如图17B所示，块B#1的开始像素S#1和结束像素E#1分别为第8个像素和第16个像素。

另一方面，块B#2的开始像素S#2和结束像素E#2分别为第1个像素和第16个像素，以及块B#3的开始像素S#3和结束像素E#3分别为第1个像素和第12个像素。

图18是说明由图14的视差预测单元234在图15的步骤S26中执行的视差预测处理的流程图。

在步骤S41，预测向量生成单元243根据需要使用由遮挡检测单元233提供的遮挡信息，以执行用于针对每个宏块类型生成对象块的（后续）预测向量的预测向量生成处理（图10）。

然后，预测向量生成单元243将通过预测向量生成处理获得的对象块的预测向量作为预测向量信息提供到视差检测单元241、视差补偿单元242和成本函数计算单元244，然后在步骤S41之后执行步骤S42中的处理。

在步骤S42中，视差预测单元234从DPB 31获得作为参考图片的解码视差图像D#1的图片，并将其提供到视差检测单元241和视差补偿单元242，然后，执行步骤S43中的处理。

在步骤S43，视差检测单元241使用由DPB 31提供的解码视差图像D#1的图片作为参考图片，以对由画面排序缓冲器212提供的对象图片中的（后续）对象块执行ME，从而检测表示对象块相对于视点＃1的视差的计算视差向量mv。

另外，视差检测单元241检测残差向量，并将其提供到视差补偿单元242，残差向量是计算视差向量mv与从由预测向量生成单元243提供的预测向量信息获得的预测向量之间的差，然后，在步骤S43之后执行步骤S43中的处理。

在步骤S43，视差补偿单元242根据由视差检测单元241提供的残差向量和由预测向量生成单元243提供的预测向量信息恢复对象块的计算视差向量mv。

另外，视差补偿单元242使用由DPB 31提供的解码视差图像D#1的图片作为参考图片，以根据对象块的计算视差向量mv执行MC，从而生成对象块的（后续）预测图像。

更具体地，视差补偿单元242获得解码视差图像D#1的图片中的对应块作为预测图像，其中对应块是位于以计算视差向量mv从对象块的位置偏离的位置处的块。

然后，视差补偿单元242向成本函数计算单元244提供预测图像、由视差检测单元241提供的残差向量、以及分配给用于生成预测图像的参考图片（在该情况下，解码视差图像D#1的图片）的参考索引，然后，在步骤S44之后执行步骤S45中的处理。

在步骤S45，针对每个宏块类型（图10），成本函数计算单元244根据预定成本函数求得对由画面排序缓冲器212提供的对象图片的对象块进行编码所需要的编码成本，并将编码成本和由视差补偿单元242提供的参考索引、预测图像和残差向量提供到模式选择单元245，然后，执行步骤S46中的处理。

在步骤S46，模式选择单元245从由成本函数计算单元244提供的宏块类型的编码成本中检测作为最小值的最小成本。

另外，模式选择单元245选择获得最小成本的宏块类型作为最优帧间预测模式，然后，在步骤S46之后执行步骤S47中的处理。

在步骤S47中，模式选择单元245向预测图像选择单元224提供最优帧间预测模式的预测图像和编码成本（最小成本），然后，执行步骤S48中的处理。

在步骤S48中，模式选择单元245向可变长度编码单元216提供表示最优帧间预测模式的模式相关信息、最优帧间预测模式的参考索引（预测参考索引）、最优帧间预测模式的残差向量等作为头信息，并且处理返回。

图19是说明由预测向量生成单元243（图14）在图18的步骤S41中执行的预测向量生成处理的流程图。

如图2和图3所示，图19示出当视点＃1位于右侧且视点＃2位于左侧时的预测向量生成处理，并且在视点＃2的视差图像D#2中，与前景的左侧相接的背景部分为遮挡部分，更具体地，遮挡部分的左侧是背景，且遮挡部分的右侧为前景。

预测向量生成单元243根据提供到变形单元231的位置信息，识别编码器22（图13）的编码对象的视差图像D#2的视点＃2是否位于作为参考图片的视差图像D#1的视点＃1的左侧。

当视点＃2位于视点＃1的左侧时，预测向量生成单元243根据图19的流程图执行预测向量生成处理。

在步骤S61中，预测向量生成单元243从遮挡检测单元233获得用作遮挡信息的、对象图片的每个块的开始像素S和结束像素E，然后，执行步骤S62中的处理。

在步骤S62，预测向量生成单元243基于由遮挡检测单元233提供的遮挡信息确定对象块是否是遮挡块。

在该情况下，如图16所示，遮挡检测单元233在（如）非遮挡块的开始像素S和结束像素E（的变量）中设置指示非遮挡块的值（例如，不可能是遮挡块的开始像素S和结束像素E的值，例如0或-1）。

所以，预测向量生成单元243可以基于用作遮挡信息的、对象块的开始像素S和结束像素E确定对象块是否是遮挡块。

在步骤S62中，当确定对象块不是遮挡块时，更具体地，当确定对象块是非遮挡块时，则随后执行步骤S63中的处理，并且预测向量生成单元243根据MVC方法生成对象块的预测向量PMV，并且处理返回。

在步骤S62，当确定对象块是遮挡块时，随后执行步骤S64中的处理，然后，预测向量生成单元243根据图2和图3所示的邻近预测方法生成作为遮挡块的对象块的预测向量PMV。

更具体地，在步骤S64中，预测向量生成单元243基于遮挡信息确定与作为遮挡块的对象块的左侧相接的块是否是非遮挡块。

在步骤S64中，当确定与对象块左侧相接的块是非遮挡块时，更具体地，当在x方向上扫描对象图片中的对象块的列（分片）且发现遮挡部分从对象块开始时，则随后执行步骤S65中的处理，并且预测向量生成单元243使用对象块的开始像素S和结束像素E作为遮挡信息，以根据与表达式（1）相同的表达式PMV=(-(E-S+1),0)求得（生成）对象块的预测向量PMV，并且处理返回。

在步骤S64，当确定与对象块左侧相接的块不是非遮挡块时，更具体地，当与对象块的左侧相接的块是遮挡块时，则随后执行步骤S66中的处理，并且预测向量生成单元243使用用作遮挡信息的对象块的开始像素S和结束像素E、以及在与对象块的左侧相接的块（遮挡块）中已经求得的预测向量PMVL=(PMVLx,PMVLy)的x分量，根据与表达式（1）相同的表达式PMV=(PMVLx-(E-S+1),0)求得对象块的预测向量PMV，并且处理返回。

在步骤S66，不仅可以根据表达式PMV=(PMVLx-(E-S+1),0)求得对象块的预测向量，而且可以根据例如表达式PMV=(PMVLx-(E-S+1),PMVLy)求得对象块的预测向量。

图20是说明由预测向量生成单元243（图14）在图18的步骤S41中执行的预测向量生成处理的流程图。

与图4所示一样，图20示出当视点＃1位于左侧且视点＃2位于右侧时的预测向量生成处理，并且在视点＃2的视差图像D#2中，与前景的右侧相接的背景部分为遮挡部分，更具体地，遮挡部分的右侧是背景，且遮挡部分的左侧为前景。

预测向量生成单元243根据提供到变形单元231的位置信息，识别编码器22（图13）的编码对象的视差图像D#2的视点＃2是否位于作为参考图片的视差图像D#2的视点＃1的右侧。

当视点＃2位于视点＃1的右侧时，预测向量生成单元243根据图20的流程图执行预测向量生成处理。

在步骤S71中，预测向量生成单元243从遮挡检测单元233获得用作遮挡信息的、对象图片的每个块的开始像素S和结束像素E，然后，执行步骤S72中的处理。

在步骤S72，预测向量生成单元243基于由遮挡检测单元233提供的遮挡信息确定对象块是否是遮挡块。

在步骤S72中，当确定对象块不是遮挡块时，更具体地，当确定对象块是非遮挡块时，则随后执行步骤S73中的处理，并且预测向量生成单元243根据MVC方法生成对象块的预测向量PMV，并且处理返回。

在步骤S72，当确定对象块是遮挡块时，随后执行步骤S74中的处理，然后，预测向量生成单元243根据图4所示的邻近预测方法生成作为遮挡块的对象块的预测向量PMV。

更具体地，在步骤S74中，预测向量生成单元243确定与作为遮挡块的对象块的左侧相接的块是否是非遮挡块。

在步骤S74中，当确定与对象块左侧相接的块是非遮挡块时，更具体地，当在x方向上扫描对象图片中的对象块的列（分片）且发现遮挡部分从对象块开始时，则随后执行步骤S75中的处理，并且预测向量生成单元243根据遮挡信息识别以对象块为前部在x方向上连续布置的遮挡块，然后执行步骤S76中的处理。

在该情况下，从以对象块为前部在x方向上连续布置的遮挡块中的第一个遮挡块开始计数的第i个块将被表示为B#i。以对象块为前部在x方向上连续布置的遮挡块的数目被视为N。

在该情况下，位于以对象块为前部在x方向上连续布置的遮挡块的前部的第一个块（对象块）将被表示为B#1，并且最后一个块将被表示为B#N。

在步骤S76中，预测向量生成单元243使用用作遮挡信息的、以对象块被布置在前部而在x方向上连续布置的遮挡块的全部块B#1至B#N的开始像素S#1至S#N和结束像素E#1至E#N，根据与表达式（2）相同的表达式PMV#1=(Σ(E#i-S#i+1),0)=((E#1-S#1+1)+(E#2-S#2+1)+…+(E#N-S#N+1),0)求得对象块B#1的预测向量PMV#1，并且处理返回。

在步骤S74，当确定与对象块左侧相接的块不是非遮挡块时，更具体地，当与对象块的左侧相接的块是遮挡块时，则随后执行步骤S76中的处理，并且预测向量生成单元243使用用作遮挡信息的与对象块B#i的左侧相接的块B#(i-1)的开始像素S#(i-1)和结束像素E#(i-1)、以及在与对象块的左侧相接的块（遮挡块）中已经求得的预测向量PMV#(i-1)，根据与表达式（2）相同的表达式PMV#i=PMV#(i-1)-((E#(i-1)-S#(i-1)+1),0)求得对象块的预测向量PMV#i，并且处理返回。

[应用本技术的多视点图像解码器的实施例]

图21是示出应用本技术的多视点图像解码器的实施例的配置示例的框图；

图21中的多视点图像解码器例如为用于使用MVC方法对多个视点的图像进行解码的解码器。在以下的说明中，将根据需要省略与MVC方法相同的处理。

多视点图像解码器不限于使用MVC方法的解码器。

图21的多视点图像解码器将由图5的多视点图像编码器输出的多路复用数据解码为作为两个视点＃1和＃2的彩色图像的视点＃1的彩色图像C#1和视点＃2的彩色图像C#2、以及作为两个视点＃1和＃2的视差图像的视点＃1的视差图像D#1和视点＃2的视差图像D#2。

在图21中，多视点图像解码器包括分离单元301，解码器311、312、321、322，以及DPB 331。

经由未示出的记录介质或传输介质将由图5的多视点图像编码器输出的多路复用数据提供到分离单元301。

分离单元301将提供到分离单元301的多路复用数据分离为彩色图像C#1的编码数据、彩色图像C#2的编码数据、视差图像D#1的编码数据以及视差图像D#2的编码数据。

然后，分离单元301将彩色图像C#1的编码数据提供到解码器311、将彩色图像C#2的编码数据提供到解码器312、将视差图像D#1的编码数据提供到解码器321，以及将视差图像D#2的编码数据提供到解码器322。

解码器311对由分离单元301提供的彩色图像C#1的编码数据进行解码，并输出作为结果获得的彩色图像C#1。

解码器312对由分离单元301提供的彩色图像C#2的编码数据进行解码，并输出作为结果获得的彩色图像C#2。

解码器321对由分离单元301提供的视差图像D#1的编码数据进行解码，并输出作为结果获得的视差图像D#1。

解码器322对由分离单元301提供的视差图像D#2的编码数据进行解码，并输出作为结果获得的视差图像D#2。

DPB 331临时存储通过使得解码器311、312、321和322中的每个对解码对象的图像进行解码而获得的、并且已经被解码的图像（解码图像），作为在生成预测图像期间所参考的参考图形的备选。

更具体地，解码器311、312、321和322分别对被图5的编码器11、12、21和22预测编码的图像进行解码。

为了对被预测编码的图像进行解码，需要具有用于预测编码的预测图像，所以为了生成用于预测编码的预测图像，解码器311、312、321和322对解码对象的图像进行解码，然后，使得DPB 331临时存储用于生成预测图像的解码图像。

DPB 331是临时存储通过解码器311、312、321和322获得的、并且已经解码的图像（解码图像）的共享缓冲器，并且解码器311、312、321和322中的每个从存储在DPB 331中的解码图像中选择用于对解码对象的图像进行解码所参考的参考图片，并使用该参考图片生成预测图像。

DPB 331被解码器311、312、321和322共享，所以解码器311、312、321和322中的每个不仅可以参考通过其自身获得的解码图像，而且可以参考通过其它解码器获得的解码图像。

[解码器311的配置示例]

图22是示出图21的解码器311的配置示例的框图。

图21的解码器312和321也与解码器311相同的方式被配置，并且例如根据MVC方法对图像进行编码。

在图22中，解码器311包括：累积缓冲器341、可变长度解码单元342、逆量化单元343、逆正交变换单元344、计算单元345、去块滤波器346、画面排序缓冲器347、D/A转换单元348、画面内预测单元349、帧间预测单元350、以及预测图像选择单元351。

累积缓冲器341从分离单元301接收彩色图像C#1的编码数据（图21）。

累积缓冲器341临时存储提供到累积缓冲器341的编码数据，并将该数据提供到可变长度解码单元342。

可变长度解码单元342利用可变长度解码对由累积缓冲器341提供的编码数据进行解码，从而恢复量化值和头信息。然后，可变长度解码单元342将量化值提供到逆量化单元343，并将头信息提供到画面内预测单元349和帧间预测单元350。

逆量化单元343将由可变长度解码单元342提供的量化值去量化为变换系数，并将变换系数提供到逆正交变换单元344。

逆正交变换单元344对由逆量化单元343提供的变换系数执行逆正交变换，并以宏块单位将其提供到计算单元345。

计算单元345采用由逆正交变换单元344提供的宏块作为解码对象的对象块，并根据需要将由预测图像选择单元351提供的预测图像加到对象块，从而求得解码图像并将其提供到去块滤波器346。

例如，去块滤波器346对由计算单元345提供的解码图像应用与图9的去块滤波器121相同的滤波，并将滤波的解码图像提供到画面排序缓冲器347。

画面排序缓冲器347临时存储和读取来自去块滤波器346的解码图像的图片，从而将图片的顺序排序为原始顺序（显示顺序），并将其提供到D/A（数字/模拟）转换单元348。

当需要将来自画面排序缓冲器347的图片输出为模拟信号时，D/A转换单元348将图片从模拟的转换为数字的，并输出转换的图片。

去块滤波器346从滤波的解码图像中向DPB 331提供作为能够参考图片的I图片、P图片和Bs图片的解码图像。

在该情况下，DPB 331存储由去块滤波器346提供的解码图像的图片、即彩色图像C#1的图片，作为当生成用于在时间上稍后执行的解码的预测图像时所参考的参考图片的（备选）。

如图21所示，DPB 331被解码器311、312、321和322共享，所以DPB 31不仅存储由解码器311解码的彩色图像C#1的图片，而且存储由解码器312解码的彩色图像C#2的图片、由解码器321解码的视差图像D#1的图片、以及由解码器322解码的视差图像D#2的图片。

画面内预测单元349基于由可变长度解码单元342提供的头信息，识别是否使用通过帧内预测（画面内预测）生成的预测图像对对象块进行编码。

当使用通过帧内预测生成的预测图像对对象块进行编码时，画面内预测单元349与图9的画面内预测单元122一样从DPB 331读取来自包括对象块的图片（对象图片）中的已经解码的部分（解码图像）。然后，画面内预测单元349将从DPB 331读取的对象图片中的一些解码图像提供到预测图像选择单元351作为对象块的预测图像。

帧间预测单元350基于由可变长度解码单元342提供的头信息，识别是否使用通过帧间预测生成的预测图像对对象块进行编码。

当使用通过帧间预测生成的预测图像对对象块进行编码时，帧间预测单元350基于由可变长度解码单元342提供的头信息，识别预测参考索引、即分配给用于生成对象块的预测图像的参考图片的参考索

引。

然后，帧间预测单元350从存储在DPB 331中的参考图片中读取预测参考索引被分配给的参考图片作为参考图片。

另外，帧间预测单元350基于由可变长度解码单元342提供的头信息识别用于生成对象块的预测图像的偏差向量（视差向量、运动向量），并与图9的帧间预测单元123一样，通过根据偏差向量执行参考图片的偏差补偿（用于补偿运动偏差的运动补偿或用于补偿视差偏差的视差补偿）来生成预测图像。

更具体地，帧间预测单元350获得如下的块（对应块）作为预测图像，该块（对应块）位于根据对象块的偏差向量从参考图片中的对象块的位置移动（偏离）的位置处。

然后，帧间预测单元350将预测图像提供到预测图像选择单元351。

当预测图像选择单元351从画面内预测单元349接收预测图像时，则预测图像选择单元351选择所接收的预测图像并将其提供到计算单元345。当预测图像选择单元351从帧间预测单元350接收预测图像时，则预测图像选择单元351选择所接收的预测图像并将其提供到计算单元345。

[解码器322的配置示例]

图23是示出图21的解码器322的配置示例的框图。

解码器322利用MVC方法，即以与图13的编码器22执行的本地解码相同的方式，对作为解码对象的视点＃2的视差图像D#2的编码数据进行解码。

在图23中，解码器322包括：累积缓冲器441、可变长度解码单元442、逆量化单元443、逆正交变换单元444、计算单元445、去块滤波器446、画面排序缓冲器447、D/A转换单元448、画面内预测单元449、预测图像选择单元451、变形单元461、变形图片缓冲器462、遮挡检测单元463、以及视差预测单元464。

累积缓冲器441至画面内预测单元449、和预测图像选择单元451分别以与图22中的累积缓冲器341至画面内预测单元349、和预测图像选择单元351相同的方式被配置，从而根据需要省略关于其的说明。

在图23中，DPB 331从去块滤波器446接收解码图像，更具体地，DPB 331接收作为由解码器322解码的视差图像的解码视差图像D#2的图片，并将其存储为可作为参考图片的参考图片。

如图21和图22中所示，DPB 331还接收并存储由解码器311解码的彩色图像C#1的图片、由解码器312解码的彩色图像C#2的图片、以及由解码器321解码的视差图像（解码视差图像）D#1的图片。

然而，在解码器322中，不仅使用由去块滤波器446提供的解码视差图像D#2的图片，而且使用通过解码器321获得的解码视差图像D#1的图片，对作为解码对象的视差图像D#2进行解码，所以图23示出指示将通过解码器321获得的解码视差图像D#1提供到DPB331的箭头。

变形单元461从可变长度解码单元442接收图像拍摄视差向量d（视点＃1的图像拍摄视差向量d1）的最大值dmax和最小值dmin、基线长度L、焦距f、以及位置信息作为视差相关信息。

变形单元461获得（读取）存储在DPB 331中的解码视差图像D#1和D＃2中的解码视差图像D#1的图片。

然后，与图13的变形单元231一样，变形单元461根据需要使用视差相关信息使从DPB 331获得的解码视差图像D#1的图片变形，从而变形单元431生成变形视差图像D′#1的图片，该变形视差图像D′#1为通过将解码视差图像D#1的图片转换为以视点＃2获得的图像（视差图像）而获得的变形图像。

当变形单元461通过使解码视差图像D#1的图片变形生成变形视差图像D′#1的图片时，变形单元461将变形视差图像D′#1的图片提供到变形图片缓冲器462。

变形图片缓冲器462临时存储由变形单元461提供的变形视差图像D′#1的图片。

在该实施例中，除了DPB 331之外还设置存储变形视差图像D′#1的图片的变形图片缓冲器462，但是可以设置由DPB 331和变形图片缓冲器462共享的一个缓冲器。

与图13的遮挡检测单元233一样，遮挡检测单元463检测视差图像D#2的遮挡部分，并将遮挡信息提供到遮挡部分视差预测单元464。

更具体地，如图2所示，遮挡检测单元463检测存储在变形图片缓冲器462中的变形视差图像D′#1的图片（与对象图片时间相同的图片）中的没有像素值的部分（像素值缺失部分）。

另外，遮挡检测单元463检测视差图像D#2的对象图片中的位于与像素值缺失部分相同位置处的部分作为遮挡部分。

然后，遮挡检测单元463在水平方向（其中存在视差）上扫描视差图像D#2的对象图片中的可以作为处理对象的每个块，从而遮挡检测单元463检测遮挡部分开始的开始像素S和遮挡部分结束的结束像素E。

当遮挡检测单元463检测对象图片的每个块的开始像素S和结束像素E时，遮挡检测单元463将开始像素S和结束像素E提供到视差预测单元464作为遮挡信息。

视差预测单元464基于由可变长度解码单元342提供的头信息，识别是否使用通过视差预测（帧间预测）生成的预测图像对对象块进行编码。

当使用通过视差预测生成的预测图像对对象块进行编码时，视差预测单元464基于由可变长度解码单元342提供的头信息，识别（获得）预测参考索引、即分配给用于生成对象块的预测图像的参考图片的参考索引。

然后，视差预测单元464获得用作参考图片的解码视差图像D#1的图片，其中参考图片分配有对象块的预测参考索引并且被存储在DPB 331中。

与图13的视差预测单元234一样，视差预测单元234根据需要使用由遮挡检测单元463提供的遮挡信息，并求得对象块（的计算视差向量）的预测向量。然后，视差预测单元234将预测向量与包括在由可变长度解码单元342提供的头信息中的残差向量相加，从而恢复计算视差向量，该计算视差向量用作用于生成对象块的预测图像的偏差向量。

另外，与图13的视差预测单元234一样，根据对象块的计算视差向量，视差预测单元464根据计算视差向量执行视差预测，从而生成预测图像。

更具体地，视差预测单元464获得如下的块（对应块）作为预测图像，该块（对应块）位于根据对象块的计算视差向量从作为参考图片的解码视差图像D#的图片中的对象块的位置移动（偏离）的位置处。

然后，视差预测单元464将预测图像提供到预测图像选择单元451。

在图23中，为了简化说明，与图13中的编码器22的情况一样，解码器322具有用于执行帧间预测的视差预测的视差预测单元464。然而，当图13的编码器22不仅执行视差预测而且执行时间预测时，解码器322还与编码器22所做的一样执行视差预测和时间预测（由此生成预测图像）。

图24是示出图23的视差预测单元464的配置示例的框图。

在图24中，视差预测单元464包括预测向量生成单元471和视差补偿单元472。

预测向量生成单元471从遮挡检测单元463接收开始像素S和结束像素E作为遮挡信息。

与图14的预测向量生成单元243一样，预测向量生成单元471根据需要使用由遮挡检测单元463提供的遮挡信息，并根据向量预测方法生成对象块的预测向量（最优帧间预测模式的预测向量），其中向量预测方法根据对象块是否是遮挡块而不同。

更具体地，当对象块是遮挡块时，预测向量生成单元471根据邻近预测方法生成预测向量，而当对象块不是遮挡块时，预测向量生成单元471根据MVC方法生成预测向量。

然后，预测向量生成单元471将对象块的预测向量提供到视差补偿单元472。

当预测向量生成单元471根据邻近预测方法生成预测向量时，与图14的预测向量生成单元243相同，需要识别解码器322的解码对象的视差图像D#2的视点＃2是位于作为参考图片的视差图像D#1的视点＃1的左侧还是右侧，但是使用从可变长度解码单元442（图23）提供到变形单元461的位置信息进行该识别。

视差补偿单元472从预测向量生成单元471接收对象块的预测向量，另外，接收包括在由可变长度解码单元442提供的头信息中的对象块的模式相关信息、残差向量和预测参考索引。

另外，视差补偿单元472接收作为存储在DPB 331中的参考图片的解码视差图像D#1的图片。

视差补偿单元472通过将由可变长度解码单元442提供的残差向量和由预测向量生成单元471提供的预测向量相加来恢复对象块的计算视差向量mv。

另外，视差补偿单元472采用存储在DPB 331中的解码视差图像D#1的图片中的分配有由可变长度解码单元442提供的预测参考索引的一个图片作为参考图片，并使用对象块的计算视差向量mv，以与MVC方法相同的方式执行参考图片的偏差补偿（视差补偿），从而关于由可变长度解码单元442提供的模式相关的信息表示的宏块类型生成对象块的预测图像。

更具体地，视差补偿单元472获得解码视差图像D#1的图片中的对应块作为预测图像，该对应块是位于以计算视差向量mv从对象块的位置偏离的位置处的块。

然后，视差补偿单元472将预测图像提供到预测图像选择单元451。

图25是说明由图23的解码器322执行的用于对视点＃2的视差图像D#2的编码数据进行解码的解码处理的流程图。

在步骤S111中，累积缓冲器441存储提供到累积缓冲器441的视点＃2的视差图像D#2的编码数据，然后，执行步骤S112中的处理。

在步骤S112中，可变长度解码单元442通过读取存储在累积缓冲器441中的编码数据并对编码数据应用可变长度解码来恢复量化值和头信息。然后，可变长度解码单元442将量化值提供到逆量化单元443，并将头信息提供到画面内预测单元449和视差预测单元450，然后，执行步骤S113中的处理。

在步骤S113中，逆量化单元443将由可变长度解码单元442提供的量化值去量化为变换系数，并将变换系数提供到逆正交变换单元444，然后，执行步骤S114中的处理。

在步骤S114中，逆正交变换单元444对由逆量化单元443提供的变换系数进行去量化，并以宏块单位将其提供到计算单元445，然后，执行步骤S115中的处理。

在步骤S115中，计算单元445采用由逆正交变换单元444提供的宏块作为解码对象的对象块，并根据需要将由预测图像选择单元451提供的预测图像加到对象块（残差图像），从而求得解码图像。然后，计算单元445将编码图像提供到去块滤波器446，然后在步骤S115之后执行步骤S116中的处理。

在步骤S116中，去块滤波器446对由计算单元445提供的解码图像执行滤波，并将滤波的解码图像（解码视差图像D#2）提供到DPB331和画面排序缓冲器447，然后，执行步骤S117中的处理。

在步骤S117中，DPB 331等待从对视差图像D#1进行解码的解码器321提供的解码视差图像D#1，并存储该解码视差图像D#1，然后执行步骤S118中的处理。

在步骤S118中，DPB 331存储由去块滤波器446提供的解码视差图像D#2，然后执行步骤S119中的处理。

在步骤S119中，变形单元461使存储在DPB 331中的解码视差图像D#1的图片变形，从而生成变形视差图像D′#1的图片，并将其提供到变形图片缓冲器462，然后执行步骤S120中的处理。

在步骤S120中，变形图片缓冲器462存储由变形单元461提供的变形视差图像D′#1的图片，然后执行步骤S121中的处理。

在步骤S121中，遮挡检测单元463使用存储在变形图片缓冲器462中的变形视差图像D′#1的图片，以与图16相同的方式执行用于检测视差图像D#2的对象图片的遮挡部分的遮挡检测处理。

然后，遮挡检测单元233向视差预测单元464提供通过遮挡检测处理获得的遮挡信息，然后，在步骤S121之后执行步骤S122中的处理。

在步骤S122中，画面内预测单元449和视差预测单元464基于从可变长度解码单元442提供的头信息，识别是否使用通过帧内预测（画面内预测）和视差预测（帧间预测）中的任一个生成的预测图像对后续对象块（随后变为解码对象的宏块）进行编码。

然后，当使用通过画面内预测生成的预测图像对后续对象块进行编码时，画面内预测单元449执行帧内预测处理（画面内预测处理）。

更具体地，关于后续对象块，画面内预测单元449执行用于根据存储在DPB 331中的解码视差图像D#2的图片生成预测图像（帧内预测的预测图像）的帧内预测（画面内预测），并将该预测图像提供到预测图像选择单元451，然后，在步骤S122之后执行步骤S123中的处理。

当使用通过视差预测（帧间预测）生成的预测图像对后续对象块进行编码时，视差预测单元464执行视差预测处理（帧间预测处理）。

更具体地，关于后续对象块，视差预测单元464根据需要使用存储在DPB 331中的解码视差图像D#1的图片、包括在由可变长度解码单元442提供的头信息中的模式相关信息、预测参考索引和残差向量、以及由遮挡检测单元463提供的遮挡信息来执行视差预测（视差补偿），从而生成预测图像。

然后，视差预测单元464将预测图像提供到预测图像选择单元451，然后在步骤S122之后执行步骤S123中的处理。

在步骤S123中，预测图像选择单元451选择从提供预测图像的画面内预测单元449和视差预测单元464之一提供的预测图像，并将其提供到计算单元445，然后，执行步骤S124中的处理。

在该情况下，在后续对象块的解码处理中执行的步骤S115的处理中，使用由预测图像选择单元451在步骤S123中选择的预测图像。

在步骤S124中，画面排序缓冲器447临时存储和读取由去块滤波器446提供的解码视差图像D#2，将图片的顺序排序为原始顺序，并将其提供到D/A转换单元448，然后，执行步骤S125中的处理。

在步骤S125中，当需要将来自画面排序缓冲器447的图片输出为模拟信号时，D/A转换单元348将图片从模拟的转换为数字的，并输出转换的图片。

编码器322根据需要重复执行上述步骤S111至步骤S125中的处理。

图26是说明由图24的视差预测单元464在图25的步骤S122中执行的视差预测处理的流程图。

在步骤S131中，预测向量生成单元471根据需要使用由遮挡检测单元463提供的遮挡信息，执行如图19和图20所示的用于生成对象块的（后续）预测向量的预测向量生成处理。

然后，预测向量生成单元471将通过预测向量生成处理获得的对象块的预测向量提供到视差补偿单元472，然后在步骤S131之后执行步骤S132中的处理。

在步骤S132中，视差预测单元464获得包括在由可变长度解码单元442提供的头信息中的模式相关信息、残差向量以及（后续）对象块的预测参考索引，并将其提供到视差补偿单元472，然后，在步骤S132之后执行步骤S133中的处理。

在步骤S132中，视差补偿单元472从DPB 331获得分配有预测参考索引的解码视差图像D#1的图片（与对象图片相同时间的图片）作为参考图片，然后，执行步骤S134中的处理。

在步骤S134中，视差补偿单元472通过将包括在由可变长度解码单元442提供的头信息中的残差向量和由预测向量生成单元471提供的预测向量相加来恢复对象块的计算视差向量mv，然后执行步骤S135中的处理。

在步骤S135中，视差补偿单元472根据对象块的计算视差向量mv对由DPB 331提供的作为参考图片的解码视差图像D#1的图片执行MC，从而生成对象块的预测图像，然后，执行步骤S136中的处理。

更具体地，视差补偿单元472获得解码视差图像D#1的图片中的对应块作为预测图像，该对应块是位于以计算视差向量mv从对象块的位置偏离的位置处的块。

在步骤S136中，视差补偿单元472将预测图像提供到预测图像选择单元451，并且处理返回。

[编码器22的其它配置示例]

图27是示出图5的编码器22的其它配置示例的框图。

在图27中，以相同的附图标记表示对应于图13中的相同部分，并且在以下说明中，根据需要省略关于其的说明。

图27的编码器22与图13中的情况相同之处在于，其具有A/D转换单元211至画面内预测单元222、预测图像选择单元224、变形单元231、变形图片缓冲器232以及遮挡检测单元233。

然而，图27的编码器22不同于图13的情况在于，其具有视差预测单元534而不是视差预测单元234。

如利用表达式（1）和表达式（2）所说明的，图13的视差预测单元234通过邻近预测方法使得从与对象块B#i的左侧相接的遮挡块B#（i-1）的预测向量PMV#（i-1）减去从遮挡块的开始像素S到结束像素E的像素数目E-S+1，从而求得所谓的具有像素单位准确度的向量作为对象块B#i的预测向量PMV#i。与之相比，图27的视差预测单元534使用邻近预测方法从与对象块B#i的左侧相接的遮挡块B#（i-1）的预测向量PMV#(i-1)减去在遮挡块的x方向上的像素数目（在下文可被称为遮挡块的宽度），从而求得所谓的具有遮挡块宽度单位准确度的向量作为对象块B#i的预测向量PMV#i。

另外，视差预测单元534输出预测器标志，该预测器标志是表示用于生成对象块的预测向量的向量预测方法的标志。

所以，相比于由视差预测单元234（图13）求得的预测向量的预测准确度，由视差预测单元534求得的预测向量的预测准确度有点劣化，但是解码器侧可以容易地（不需要使用遮挡检测处理）使用预测器标志生成预测向量。

除了如上所述的视差预测单元534生成具有遮挡块宽度单位准确度的向量作为邻近预测方法的预测向量并输出预测器标志之外，视差预测单元534与图13的视差预测单元234执行相同的处理，其中，预测器标志是指示用于生成预测向量的向量预测方法的标志。

图28是示出图27的视差预测单元534的配置示例的框图。

在图28中，视差预测单元534包括视差检测单元541、视差补偿单元542、预测向量生成单元543、成本函数计算单元544、以及模式选择单元545。

除了视差检测单元541至模式选择单元545中的视差检测单元541、视差补偿单元542、成本函数计算单元544以及模式选择单元545处理预测器标志之外，视差检测单元541、视差补偿单元542、成本函数计算单元544、以及模式选择单元545与图14的视差检测单元241、视差补偿单元242、成本函数计算单元244以及模式选择单元245执行相同的处理。

除了预测向量生成单元543生成遮挡块宽度单位准确度的向量作为邻近预测方法的预测向量并处理预测器标志之外，预测向量生成单元543与图14的预测向量生成单元243执行相同的处理。

更具体地，视差检测单元541接收存储在DPB 31中的作为参考图片的解码视差图像D#1的图片，并从画面排序缓冲器212接收编码对象（对象图片）的视差图像D#2的图片。

对于由画面排序缓冲器212提供的对象图片中的对象块，视差检测单元541以与MVC方法相同的方式使用解码视差图像D#1的图片作为参考图片来执行ME，从而针对每个宏块类型检测对象块的计算视差向量mv。

另外，视差检测单元541检测残差向量，该残差向量是计算视差向量mv与根据由预测向量生成单元543提供的预测向量信息获得的预测向量之间的差。

在该情况下，从预测向量生成单元543向视差检测单元541提供的预测向量信息包括预测向量和表示预测向量的向量预测方法（在该情况下为MVC方法或邻近预测方法）的预测器标志。

视差检测单元541向视差补偿单元542提供残差向量以及包括在预测向量信息中的预测器标志，该预测器标志表示用于求得残差向量的预测向量的向量预测方法。

视差补偿单元542不仅从视差检测单元541接收计算视差向量mv的残差向量和预测器标志，而且接收存储在DPB 31中的作为参考图片的解码视差图像D#1的图片。

另外，视差补偿单元542从预测向量生成单元543接收预测向量信息。

视差补偿单元542根据由视差检测单元541提供的残差向量和由预测向量生成单元543提供的预测向量信息来恢复对象块的计算视差向量mv。

另外，视差补偿单元542采用由DPB 31提供的解码视差图像D#1的图片作为参考图片，并以与MVC方法相同的方式使用对象块的计算视差向量mv来执行参考图片的偏差补偿（视差补偿），从而针对每个宏块类型生成对象块的预测图像。

然后，视差补偿单元542向成本函数计算单元544提供预测图像、由视差检测单元541提供的残差向量和预测器标志、以及分配给用于生成预测图像的参考图片（在该情况下为解码视差图像D#1的图片）的参考索引。

预测向量生成单元543从遮挡检测单元233接收开始像素S和结束像素E作为遮挡信息。

预测向量生成单元543使用由遮挡检测单元233提供的遮挡信息，以确定对象块是否是遮挡块。

然后，当对象块是遮挡块时，预测向量生成单元543根据参考图2至图4描述的邻近预测方法生成对象块的预测向量。

当对象块不是遮挡块（非遮挡块）时，预测向量生成单元543根据参考图11至图12描述的MVC方法生成对象块的预测向量。

预测向量生成单元543生成邻近预测方法的预测向量，预测向量生成单元543生成遮挡块宽度单位准确度的向量。

针对每个宏块类型（图10），预测向量生成单元543生成预测向量，并将预测向量和表示预测向量的向量预测方法的预测器标志作为预测向量信息提供到视差检测单元541、视差补偿单元542、以及成本函数计算单元544。

成本函数计算单元544从视差补偿单元542接收预测图像、残差向量、预测器标志、以及参考索引，并从预测向量生成单元543接收预测向量信息，另外从画面排序单元缓冲器212接收视差图像D#2的对象图片。

针对每个宏块类型（图10），成本函数计算单元544根据例如与由图14的成本函数计算单元244使用的相同的成本函数，求得对由画面排序缓冲器212提供的对象图片的对象块进行编码所需要的编码成本。

当成本函数计算单元544求得每个宏块类型的编码成本（成本函数值）时，成本函数计算单元544将编码成本和参考索引、预测图像、残差向量、以及预测器标志提供到模式选择单元545。

模式选择单元545从由成本函数计算单元544提供的宏块类型的编码成本中检测作为最小值的最小成本。

另外，模式选择单元545选择获得最小成本的宏块类型作为最优帧间预测模式。

然后，模式选择单元545向可变长度编码单元216提供表示最优帧间预测模式的模式相关信息、最优帧间预测模式的参考索引（预测参考索引）、残差向量、预测器标志等作为头信息。

另外，模式选择单元545向预测图像选择单元224提供最优帧间预测模式的预测图像和编码成本（最小成本）。

在上述情况下，由可变长度编码单元216将预测器标志放入编码数据的头部。除了将预测器标志放入编码数据的头部之外，还可以与编码数据分离地提供（传输）预测器标志。

图27的编码器22执行与参考图15所述的相同的编码处理。然而，在图15的步骤S26中，视差预测单元534代替图13的视差预测单元234执行视差预测处理。

图29是说明由图28的视差预测单元534在图15的步骤S26中执行的视差预测处理的流程图。

在步骤S241中，预测向量生成单元543根据需要使用由遮挡检测单元233提供的遮挡信息来执行预测向量生成处理，该预测向量生成处理用于根据MVC方法或邻近预测方法生成每个宏块类型（图10）的对象块的（后续）预测向量。

然而，在邻近预测方法中，预测向量生成单元543求得遮挡块宽度单位准确度的预测向量。

然后，预测向量生成单元543将通过预测向量生成处理获得的对象块的预测向量和表示预测向量的向量预测方法的预测器标志作为预测向量信息提供到视差检测单元541、视差补偿单元542和成本函数计算单元544，然后在步骤S241之后执行步骤S242中的处理。

在步骤S242中，视差预测单元534从DPB 31获得作为参考图片的解码视差图像D#1的图片，并将其提供到视差检测单元541和视差补偿单元542，然后，执行步骤S243中的处理。

在步骤S243中，视差检测单元541使用由DPB 31提供的解码视差图像D#1的图片作为参考图片，对由画面排序缓冲器212提供的对象图片的（后续）对象块执行ME，从而检测表示对象块相对于视点＃1的视差的计算视差向量mv。

另外，视差检测单元541求得作为对象向量的计算视差向量mv与根据由预测向量生成单元543提供的预测向量信息获得的预测向量之间的差的残差向量，并将残差向量和用于求得残差向量的预测向量的预测器标志提供到视差补偿单元542，然后，在步骤S243之后执行步骤S244中的处理。

在步骤S244中，视差补偿单元542根据由视差检测单元541提供的残差向量和由预测向量生成单元543提供的预测向量信息来恢复对象块的计算视差向量mv。

另外，视差补偿单元542使用由DPB 31提供的解码视差图像D#1的图片作为参考图片，以根据对象块的计算视差向量mv执行MC，从而生成对象块的（后续）预测图像。

然后，视差补偿单元542向成本函数计算单元544提供预测图像、由视差检测单元541提供的残差向量和预测器标志、以及分配给用于生成预测图像的参考图片（在该情况下为解码视差图像D#1的图片）的参考索引，然后，在步骤S244之后执行步骤S245中的处理。

在步骤S245中，针对每个宏块类型（图10），成本函数计算单元544根据预定成本函数求得对由画面排序缓冲器212提供的对象图片的对象块进行编码所需要的编码成本，并将编码成本和由视差补偿单元542提供的参考索引、预测图像、残差向量和预测器标志提供到模式选择单元545，然后，执行步骤S246中的处理。

在步骤S246中，模式选择单元545从由成本函数计算单元544提供的宏块类型的编码成本中检测作为最小值的最小成本。

另外，模式选择单元545选择获得最小成本的宏块类型作为最优帧间预测模式，然后，在步骤S246之后执行步骤S247中的处理。

在步骤S247中，模式选择单元545向预测图像选择单元224提供最优帧间预测模式的预测图像和编码成本（最小成本），然后，执行步骤S248中的处理。

在步骤S248中，模式选择单元545向可变长度编码单元216提供表示最优帧间预测模式的模式相关信息、最优帧间预测模式的参考索引（预测参考索引）、残差向量、预测器标志等作为头信息，并且处理返回。

图30是说明由预测向量生成单元543（图28）在图29的步骤S241中执行的预测向量生成处理的流程图。

以与图19相同的方式，图30示出当视点＃1位于右侧且视点＃2位于左侧时的预测向量生成处理，并且在视点＃2的视差信息图像D#2中，与前景的左侧相接的背景部分为遮挡部分，更具体地，遮挡部分的左侧是背景，且遮挡部分的右侧为前景（图3）。

预测向量生成单元543根据提供到变形单元231（图27）的位置信息，识别编码器22（图27）的编码对象的视差图像D#2的视点＃2是否位于作为参考图片的视差图像D#1的视点＃1的左侧。

当视点＃2位于视点＃1的左侧时，预测向量生成单元543根据图30的流程图执行预测向量生成处理。

在步骤S261中，与图19中的步骤S61相同，预测向量生成单元543从遮挡检测单元233获得用作遮挡信息的对象图片的每个块的开始像素S和结束像素E，然后，执行步骤S262中的处理。

在步骤S262中，与图19中的步骤S62相同，预测向量生成单元543基于由遮挡检测单元233提供的遮挡信息确定对象块是否是遮挡块。

在步骤S262中，当确定对象块不是遮挡块时，更具体地，当确定对象块是非遮挡块时，则随后执行步骤S263中的处理，并且预测向量生成单元543根据MVC方法生成对象块的预测向量PMV，并且随后执行步骤S264中的处理。

在步骤S264中，预测向量生成单元543将预测器标志设置为值“MVC方法”，该值“MVC方法”指示预测向量PMV是MVC方法的预测向量，并且处理返回。

在步骤S262中，当确定对象块是遮挡块时，随后执行步骤S265中的处理，然后，预测向量生成单元543根据邻近预测方法生成作为遮挡块的对象块的预测向量PMV。

更具体地，在步骤S265中，预测向量生成单元543基于遮挡信息确定与作为遮挡块的对象块的左侧相接的（编码）块是否是非遮挡块。

在步骤S265中，当确定与对象块左侧相接的块是非遮挡块时，更具体地，当在x方向上扫描对象图片中的对象块的列（分片）且发现遮挡部分从对象块开始时，则随后执行步骤S266中的处理，并且预测向量生成单元543根据表达式PMV=(-BK_SIZE_X,0)，使用遮挡块的宽度（在遮挡块的x方向上的像素数目）BK_SIZE_X求得（生成）用作对象块的预测向量PMV的具有遮挡块宽度单位准确度的预测向量，然后，执行步骤S267中的处理。

在该情况下，在图19的步骤S65中，根据表达式PMV=(-(E-S+1),0)，使用对象块的开始像素S和结束像素E求得具有像素单位准确度的预测向量PMV，而在步骤S266中，代替使用对象块的开始像素S和结束像素E，使用遮挡块的宽度BK_SIZE_X求得具有遮挡块宽度单位准确度的预测向量PMV。

在步骤S267中，预测向量生成单元543将预测器标志设置为值“邻近预测方法”，该值“邻近预测方法”指示预测向量PMV是邻近预测方法的预测向量，然后处理返回。

在步骤S265中，当确定与对象块的左侧相接的块不是非遮挡块时，更具体地，当与对象块的左侧相接的块是遮挡块时，则随后执行步骤S268中的处理，并且，预测向量生成单元543使用遮挡块的宽度BK_SIZE_X代替表达式（1）中的对象块的开始像素S和结束像素E，并使用在与对象块的左侧相接的块（遮挡块）中已经求得的预测向量PMVL=(PMVLx,PMVLy)的x分量，以根据表达式PMV=(PMVLx-BK_SIZE_X,0)求得用作对象块的预测向量PMV的具有遮挡块宽度单位准确度的预测向量，然后，执行步骤S267中的处理。

在步骤S267中，预测向量生成单元543如上所述将预测器标志设置为值“邻近预测方法”，然后处理返回。

在步骤S268中，不仅可以根据表达式PMV=(PMVLx-BK_SIZE_X,0)，而且可以根据例如表达式PMV=(PMVLx-BK_SIZE_X,PMVLy)求得对象块的预测向量。

图31是说明由预测向量生成单元543（图28）在图29的步骤S241中执行的预测向量生成处理的流程图。

以与图20相同的方式，图31示出当视点＃1位于左侧且视点＃2位于右侧时的预测向量生成处理，并且在视点＃2的视差信息图像D#2中，与前景的右侧相接的背景部分为遮挡部分，更具体地，遮挡部分的右侧是背景，且遮挡部分的左侧为前景（图4）。

预测向量生成单元543根据提供到变形单元231的位置信息，识别编码器22（图27）的编码对象的视差图像D#2的视点＃2是否位于作为参考图片的视差图像D#1的视点＃1的右侧。

当视点＃2位于视点＃1的右侧时，预测向量生成单元543根据图31的流程图执行预测向量生成处理。

在步骤S271至步骤S275中，预测向量生成单元543执行与图30中的步骤S261至步骤S265中的处理相同的处理。

然后，在步骤S275中，当确定与对象块左侧相接的块是非遮挡块时，更具体地，当在x方向上扫描对象图片中的对象块的列（分片）且发现遮挡部分从对象块开始时，则随后执行步骤S276中的处理，并且预测向量生成单元543根据遮挡信息识别（检测）以对象块为前部在x方向上连续布置的遮挡块的数目N，然后执行步骤S277中的处理。

在该情况下，当从以对象块为前部在x方向上连续布置的遮挡块中的第一个开始的第i个块被表示为B#i时，以对象块为前部在x方向上连续布置的遮挡块中的第一个块被表示为B#1，并且最后一个块被表示为B#N。

在步骤S277中，预测向量生成单元543使用作为以对象块为前部在x方向上连续布置的遮挡块的N个块B#1至B#N的宽度BK_SIZE_X中的每个的总和N×BK_SIZE_X，以根据表达式PMV#1=(N×BK_SIZE_X,0)求得对象块B#1的预测向量PMV#1，然后，执行步骤S278中的处理。

在该情况下，在图20的步骤S76中，使用遮挡块的开始像素S和结束像素E求得具有像素单位准确度的预测向量PMV＃1，而在步骤S277中，代替使用开始像素S和结束像素E，使用遮挡块的宽度BK_SIZE_X求得具有遮挡块宽度单位准确度的预测向量PMV＃1。

在步骤S278中，与图30的步骤S267一样，预测向量生成单元543将预测器标志设置为值“邻近预测方法”，然后处理返回。

在步骤S275中，当确定与对象块的左侧相接的块不是非遮挡块时，更具体地，当与对象块的左侧相接的块是遮挡块时，则随后执行步骤S279中的处理。在步骤S279中，代替与表达式（2）的对象块B#i的左侧相接的块B#(i-1)的开始像素S#（i-1）和结束像素E#（i-1），预测向量生成单元543使用遮挡块的宽度BK_SIZE_X和已经求得的与对象块（遮挡块）的左侧相接的块的预测向量PMV#(i-1)，以根据表达式PMV#i=PMV#(i-1)-(BK_SIZE_X,0)求得用作对象块的预测向量PMV#i的具有遮挡块宽度单位准确度的预测向量，然后，执行步骤S278中的处理。

在步骤S278中，预测向量生成单元543如上所述将预测器标志设置为值“邻近预测方法”，然后处理返回。

[解码器322的其它配置示例]

图32是示出图21的解码器322的其它配置示例的框图。

更具体地，图32示出当如图27所示配置编码器22时的解码器322的配置示例。

在图32中，以相同的附图标记表示对应于图23中的相同部分，并且在以下说明中，根据需要省略关于其的说明。

图32的解码器322与图23的情况相同之处在于，图32的解码器322包括：累积缓冲器441、可变长度解码单元442、逆量化单元443、逆正交变换单元444、计算单元445、去块滤波器446、画面排序缓冲器447、D/A转换单元448、画面内预测单元449、以及预测图像选择单元451。

然而，图32的解码器322与图23的情况不同之处在于，图32的解码器322不包括变形单元461、变形图片缓冲器462、以及遮挡检测单元463，并且包括视差预测单元664而不是视差预测单元464。

与图13的视差预测单元234相同的方式，图23的视差预测单元464求得MVC方法的预测向量或邻近预测方法的预测向量，并求得像素单位准确度的向量作为邻近预测方法的预测向量。然而，图32的视差预测单元664基于预测器标志获得MVC方法的预测向量或邻近预测方法的预测向量，并求得遮挡块宽度单位准确度的向量作为邻近预测方法的预测向量。

除上述之外，视差预测单元664执行与图23的视差预测单元464相同的处理。

图33是示出图32的视差预测单元664的配置示例的框图。

在图33中，视差预测单元664包括预测向量生成单元771和视差补偿单元472。

所以，视差预测单元664与图24的视差预测单元464相同之处在于，视差预测单元664包括视差补偿单元472，但是与图24的视差预测单元464不同之处在于，视差预测单元664包括预测向量生成单元771而不是预测向量生成单元471。

预测向量生成单元771提供包括在来自可变长度解码单元442的头信息中的预测器标志。

预测向量生成单元771基于预测器标志根据MVC方法或邻近预测方法生成预测向量，并将预测向量提供到视差补偿单元472。

当预测向量生成单元771根据邻近预测方法生成预测向量时，与图28的预测向量生成单元543相同，需要识别解码器322的解码对象的视差图像D#2的视点＃2是位于作为参考图片的视差图像D#1的视点＃1的左侧还是右侧。预测向量生成单元771基于包括在由可变长度解码单元442（图32）获得的头信息中的位置信息，识别解码对象的视差图像D#2的视点＃2是位于作为参考图片的视差图像D#1的视点＃1的左侧还是右侧。

图34是说明由图32的解码器322执行的用于对视点＃2的视差图像D#2的编码数据进行解码的解码处理的流程图。

在步骤S311至步骤S318中，解码器322执行分别与图25的步骤S111至步骤S118相同的处理。

然后，解码器322不执行图25的步骤S119至步骤S121中的处理（与其对应的处理），并且在步骤S319至步骤S322中，解码器322执行分别与图25的步骤S122至步骤S125相同的处理。

然而，在步骤S319中，由视差预测单元664（图33）而不是视差预测单元464（图24）执行视差预测处理（帧间预测处理）。

图35是说明由图33的视差预测单元664在图34的步骤S319中执行的视差预测处理的流程图。

在步骤S331中，视差预测单元664从可变长度解码单元442获得预测器标志，并将预测器标志提供到预测向量生成单元771，然后，执行步骤S332中的处理。

在步骤S332中，预测向量生成单元771以与图28的预测向量生成单元543相同的方式，基于预测器标志根据MVC方法或邻近预测方法执行用于生成对象块的（后续）预测向量的预测向量生成处理。

然后，预测向量生成单元771将通过预测向量生成处理获得的对象块的预测向量提供到视差补偿单元472，然后在步骤S332之后执行步骤S333中的处理。

然后，在步骤S333至步骤S337中，执行分别与图26的步骤S132至步骤S136相同的处理。

图36和图37是说明由预测向量生成单元771（图33）在图35的步骤S332中执行的预测向量生成处理的流程图。

以与图19和图30相同的方式，图36示出图35的步骤S332中的预测向量生成处理，其中视点＃1位于右侧且视点＃2位于左侧，并且在视点＃2的视差图像D#2中，与前景的左侧相接的背景部分为遮挡部分，更具体地，遮挡部分的左侧是背景，且遮挡部分的右侧为前景（图3）。

预测向量生成单元771基于包括在由可变长度解码单元442（图32）获得的头信息中的位置信息，识别解码对象的视差图像D#2的视点＃2是位于作为参考图片的视差图像D#1的视点＃1的左侧还是右侧。

在步骤S411中，预测向量生成单元771确定将对象块的预测器标志设置为值“MVC方法”和值“邻近预测方法”中的哪一个。

在步骤S411中，当确定对象块的预测器标志被设置为值“MVC方法”时，即当对象块是非遮挡块时，随后执行步骤S412中的处理，并且预测向量生成单元771根据MVC方法生成对象块的预测向量PMV，并且处理返回。

在步骤S411中，当确定对象块的预测器标志被设置为值“邻近预测方法”时，即对象块是遮挡块，随后执行步骤S413中的处理，并且预测向量生成单元771确定与作为遮挡块的对象块（解码块）的左侧相接的块的预测器标志被设置为值“MVC方法”和值“邻近预测方法”中的哪一个。

在步骤S413中，当确定与对象块的左侧相接的块的预测器标志被设置为值“MVC方法”时，即与对象块左侧相接的块是非遮挡块，所以当在x方向上扫描对象图片中的对象块的列（分片）并且发现遮挡部分从对象块开始时，则随后执行步骤S414中的处理。在步骤S414中，与图30中的步骤S266一样，预测向量生成单元771使用遮挡块的宽度（在遮挡块的x方向上的像素数目）BK_SIZE_X，以根据表达式PMV=(-BK_SIZE_X,0)求得（生成）用作对象块的预测向量PMV的具有遮挡块宽度单位准确度的预测向量，然后处理返回。

在步骤S413中，当确定与对象块的左侧相接的块的预测器标志被设置为值“邻近预测方法”时，更具体地，当确定与对象块的左侧相接的块是遮挡块时，随后执行步骤S415中的处理。在步骤S415中，与图30中的步骤S268一样，预测向量生成单元771使用遮挡块的宽度BK_SIZE_X和已经求得的与对象块（遮挡块）的左侧相接的块的预测向量PMVL=(PMVLx,PMVLy)的x分量，以根据表达式PMV=(PMVLx-BK_SIZE_X,0)求得用作对象块的预测向量PMV的具有遮挡块宽度单位准确度的预测向量，并且处理返回。

以与图20和图31相同的方式，图37示出图35的步骤S332中的预测向量生成处理，其中视点＃1位于左侧且视点＃2位于右侧，并且在视点＃2的视差图像D#2中，与前景的右侧相接的背景部分为遮挡部分，更具体地，遮挡部分的右侧是背景，且遮挡部分的左侧为前景。

在图37中，在步骤S421至步骤S423中执行分别与图36的步骤S411至步骤S413中执行的处理相同的处理。

然后，在步骤S423中，当确定与对象块的左侧相接的块的预测器标志被设置为值“MVC方法”时，即与对象块左侧相接的块是非遮挡块，所以当在x方向上扫描对象图片中的对象块的列（分片）并且发现遮挡部分从对象块开始时，则随后执行步骤S424中的处理。与图31的步骤S276和步骤S277一样，在步骤S424和步骤S425中，预测向量生成单元771生成邻近预测方法的预测向量。

更具体地，在步骤S424中，预测向量生成单元771基于预测器标志识别以对象块为前部在x方向上连续布置的遮挡块（预测器标志被设置为值“邻近预测方法”的块）的数目N，然后，执行步骤S425中的处理。

在该情况下，当从以对象块为前部在x方向上连续布置的遮挡块中的第一个开始的第i个块被表示为B#i时，以对象块为前部在x方向上连续布置的遮挡块中的第一个块（对象块）被表示为B#1，并且最后一个块被表示为B#N。

在步骤S425中，预测向量生成单元771使用作为以对象块为前部在x方向上连续布置的遮挡块的N个块B#1至B#N的宽度BK_SIZE_X中的每个的总和N×BK_SIZE_X，以根据表达式PMV#1=(N×BK_SIZE_X,0)求得用作对象块B#1的预测向量PMV#1的具有遮挡块宽度单位准确度的预测向量，并且处理返回。

在步骤S423中，当确定与对象块的左侧相接的块的预测器标志被设置为值“邻近预测方法”时，更具体地，当确定与对象块的左侧相接的块是遮挡块时，随后执行步骤S415中的处理。在步骤S426中，预测向量生成单元771使用遮挡块的宽度BK_SIZE_X和已经求得的与对象块（遮挡块）的左侧相接的块的预测向量PMV#(i-1)，以根据表达式PMV#i=PMV#(i-1)-(BK_SIZE_X,0)求得用作对象块的预测向量PMV#i的具有遮挡块宽度单位准确度的预测向量，并且处理返回。

如上所述，在图32的解码器322中，视差预测单元664（图33）可以容易地（不需要使用遮挡检测处理）基于预测器标志生成具有高预测准确度的预测向量。

与图27的编码器22一样，图32的解码器322生成变形视差图像D′#1，并从变形视差图像D′#1求得遮挡信息，并可以以与图28的预测向量生成单元543相同的方式（不使用预测器标志）基于遮挡信息生成预测向量。

图38至图40是示出可包括在头信息中的预测器标志的示例的图。

如图28所示，模式选择单元545将估计器标志放入头信息，并将其提供到可变长度编码单元216。

可变长度编码单元216将头信息放入编码数据的头部。

图38至图40示出在编码数据是MVC（AVC）方法的编码数据的情况下被放入头部的预测器标志。

在该情况下，预测器标志可被设置为使得宏块为最小单位。

预测器标志也可被设置为使得采用通过将对象块分为具有8×8像素或更多像素的分块尺寸获得的宏块类型（8×8像素或更多像素的类型）作为最小单位，即通过将对象块分为具有8×8像素的分块获得的宏块类型（8×8类型）、通过将对象块分为具有16×8像素的分块获得的宏块类型（16×8类型）、以及通过将对象块分为具有8×16像素的分块获得的宏块类型（8×16类型）。

另外，预测器标志也可被设置为使得采用通过将对象块分为尺寸比具有8×8像素的分块更小的分块而获得的宏块类型（小于8×8像素的类型）的分块（子分块）作为最小单位，即具有8×4像素、4×8像素或4×4像素的子分块。

图38是示出被设置为使得采用宏块作为最小单位的预测器标志的图。

更具体地，图38示出MVC方法的mb_pred（mb_type）的语法。

当预测器标志被设置为使得采用宏块为最小单位时，将预测器标志包括在mb_pred（mb_type）中。

在图38中，mv_pred_mode_l0和mv_pred_mode_l1表示预测器标志。

在图38中，mv_pred_mode_l0是当执行L0预测时使用的预测器标志，而mv_pred_mode_l1是当执行L1预测时使用的预测器标志。

图39是示出被设置为使得采用具有8×8像素或更多像素的类型的分块作为最小单位的预测器标志的图。

更具体地，图39示出MVC方法的mb_pred（mb_type）的部分的语法。

当预测器标志被设置为使得采用具有8×8像素或更多像素的类型的分块作为最小单位时，将预测器标志包括在mb_pred（mb_type）中。

在图39中，mv_pred_mode_l0[mbPartIdx]和

mv_pred_mode_l1[mbPartIdx]表示预测器标志。

在图39中，mv_pred_mode_l0[mbPartIdx]是当执行L0预测时使用的预测器标志，而mv_pred_mode_l1[mbPartIdx]是当执行L1预测时使用的预测器标志。

预测器标志mv_pred_mode_l0[mbPartIdx]和

mv_pred_mode_l1[mbPartIdx]的参数mbPartIdx是用于区分具有8×8像素或更多像素的类型的每个分块的索引。

图40是示出被设置为使得采用具有少于8×8像素的类型的分块作为最小单位的预测器标志的图。

更具体地，图40示出MVC方法的sub_mb_pred（mb_type）的部分的语法。

当预测器标志被设置为使得采用具有少于8×8像素的类型的分块作为最小单位时，将预测器标志包括在mb_pred（mb_type）和sub_mb_pred（mb_type）中。

当预测器标志被设置为使得采用具有少于8×8像素的类型的分块作为最小单位时，包括在mb_pred（mb_type）中的预测器标志如图39所示，并且图40示出包括在sub_mb_pred（mb_type）中的预测器标志。

在图40中，mv_pred_mode_l0[mbPartIdx][subMbPartIdx]和mv_pred_mode_l1[mbPartIdx][subMbPartIdx]表示预测器标志。

在图40中，mv_pred_mode_l0[mbPartIdx][subMbPartIdx]是当执行L0预测时使用的预测器标志，而

mv_pred_mode_l1[mbPartIdx][subMbPartIdx]是当执行L1预测时使用的预测器标志。

预测器标志mv_pred_mode_l0[mbPartIdx][subMbPartIdx]和

mv_pred_mode_l1[mbPartIdx][subMbPartIdx]的参数subMbPartIdx是用于区分具有少于8×8像素的类型的每个分块的索引。

在该情况下，当预测器标志被设置为使得采用宏块作为最小单位时，编码数据的头部的数据量（开销（overhead）的数据量）的增加可被减小到最小水平。

另一方面，当预测器标志被设置为使得采用具有少于8×8像素的类型的分块（子分块）作为最小单位时，可针对小尺寸的每个分块控制预测向量，所以可以提高预测准确度。

当预测器标志被设置为使得采用具有8×8像素或更多像素的类型的分块作为最小单位时，抑制了编码数据的头部的数据量，并且可以以在采用宏块作为最小单位的情况和采用具有少于8×8像素的类型的分块作为最小单位的情况之间的水平实现预测准确度。

在以上说明中，使用MVC方法（中值预测方法）作为不同于邻近预测方法的向量预测方法。可替选地，可以使用其它向量预测方法作为不同于邻近预测方法的向量预测方法。

在关于该实施例的说明中，本技术应用于求得计算视差向量的预测向量的情况，其中计算视差向量表示视差图像D#2的对象块相对于与视差图像D#2的对象图片相同时间的视差图像D#1的图片（与对象图片不同的其它图片）的偏差。然而，本技术还可以应用于求得运动向量的预测向量的情况，其中运动向量表示视差图像D#2的对象块相对于与视差图像D#2的对象图片不同时间的视差图像D#1的图片（与对象图片不同的其它图片）的偏差。

更具体地，遮挡部分不仅出现在当采用与视差图像D#2的对象图片相同时间的视差图像D#1的图片作为参考图片时执行视差图像D#2的对象块的视差预测的情况中（在对象图片与参考图片之间存在视差的情况），而且出现在当采用与视差图像D#2的对象图片不同时间的视差图像D#2的图片作为参考图片时执行视差图像D#2的对象块的时间预测的情况中（在对象图片与参考图片之间存在运动的情况），所以本技术也可应用于求得利用时间预测检测到的运动向量的预测向量的情况。

[关于应用本技术的计算机的说明]

随后，上述处理序列可以通过硬件或软件执行。当通过软件执行处理序列时，在通用计算机等中安装构成软件的程序。

图42是示出安装有用于执行上述处理序列的程序的计算机的实施例的示例性配置。

可以将程序预先存储在用作合并到计算机中的记录介质的硬盘805和ROM803中。

可替选地，可将程序存储（记录）到可移除记录介质811中。可将该可移除记录介质811提供为所谓的套装软件。在该情况下，可移除记录介质811的示例包括，例如，软盘、CD-ROM（压缩盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘、半导体存储器等。

可以如上所述将程序从可移除记录介质811安装到计算机。可替选地，可经由通信网络或广播网络将程序下载到计算机，并可以将程序安装到设置在计算机中的硬盘805中。更具体地，例如可以经由用于数字卫星广播的人造卫星将程序从下载站点无线传输到计算机，或者可经由有线、即诸如LAN（局域网）和互联网的网络传输到计算机。

计算机具有CPU（中央处理单元）802。CPU 802通过总线801连接到输入/输出接口810。

当用户操作输入单元807以经由输入/输出接口810向CPU 802输入命令时，CPU 802响应于该命令执行存储在ROM（只读存储器）803中的程序。可替选地，CPU 802将存储在硬盘805中的程序装载到RAM（随机存取存储器）804，并执行该程序。

因此，CPU 802执行根据上述流程图的处理，或者利用上述框图中的配置执行的处理。然后，根据需要，CPU 802经由输入/输出接口810从输出单元806输出处理结果，从通信单元808传输处理结果，或者将处理结果记录到例如硬盘805。

输入单元807由键盘、鼠标、麦克风等构成。输出单元806由LCD（液晶显示器）、扬声器等构成。

在该情况下，在说明书中，由计算机根据程序执行的处理不一定按照根据流程图中所述的顺序的时间序列来执行。换句话说，由计算机根据程序执行的处理包括独立或并行执行的处理（例如，利用对象执行的处理或并行处理）。

可以由一个计算机（处理器）来处理程序，或者可以由多台计算机将程序处理为分布式处理。另外，可以将程序传输到位于远方的计算机并执行。

[电视装置的配置示例]

图43示出应用本技术的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口单元909。另外，电视装置900包括控制单元910和用户接口单元911。

调谐器902调谐到并解码由天线901接收的广播信号中的期望信道，并将获得的编码位流输出到多路解复用器903。

多路解复用器903从编码位流提取作为观看对象的节目的视频和音频的包，并将提取的包的数据输出到解码器904。多路解复用器903还将诸如EPG（电子节目指南）的数据的包提供到控制单元910。当进行扰码时，多路解复用器等执行扰码。

解码器904执行包的解码处理，并将通过解码处理生成的视频数据输出到视频信号处理单元905，并将音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户设置对视频数据执行噪声降低和视频处理。视频信号处理单元905生成例如在显示单元906上显示的节目的视频数据和通过基于由网络提供的应用的处理形成的图像数据。视频信号处理单元905生成用于显示用于允许选择项目的菜单画面等的视频数据，并将视频数据叠加在节目的视频数据上。视频信号处理单元905基于生成的视频数据生成驱动信号，并驱动显示单元906。

显示单元906通过基于由视频信号处理单元905提供的驱动信号驱动显示装置（例如，液晶显示装置等）来显示例如节目的视频。

音频信号处理单元907对音频数据执行诸如噪声降低的预定处理，对已经处理的音频数据执行D/A转换处理和放大处理，并将数据提供到扬声器908，从而输出音频。

外部接口单元909为用于连接外部装置和网络的接口，并交换诸如视频数据和音频数据的数据。

控制单元910连接到用户接口单元911。用户接口单元911由例如操作开关和远程控制信号接收单元构成，并根据用户操作将操作信号提供到控制单元910。

控制单元910由CPU（中央处理单元）、存储器等构成。存储器存储例如由CPU执行的程序、当利用CPU执行处理时需要的各种数据、EPG数据、以及经由网络获得的数据。以诸如在启动电视装置900期间的预定时序，通过CPU读取并执行存储在存储器中的程序。CPU执行程序，从而控制每个单元以使得电视装置900根据用户操作而操作。

电视装置900设置有总线912，总线912用于连接调谐器902、多路解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制部分910。

在如上所述配置的电视装置中，解码器904设置有本申请的图像处理设备（图像处理方法）的功能。所以，可以求得具有高预测准确度的向量作为预测向量。

[便携电话的配置示例]

图44示出应用本技术的便携电话的示意性配置的示例。便携电话920包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、多路解复用器928、记录/再现单元929、显示单元930、以及控制单元931。它们经由总线933相互连接。

通信单元922连接到天线921，并且音频编解码器923连接到扬声器924和麦克风925。另外，控制单元931连接到操作单元932。

便携电话920在诸如音频电话呼叫模式和数据通信模式的各个模式中执行各种操作，例如传输和接收音频信号、传输和接收电子邮件和图像数据、图像拍摄或记录数据。

在音频电话呼叫模式中，通过麦克风925生成的模拟音频信号例如被转换为音频数据并被音频编解码器923压缩，并被提供到通信单元922。通信单元922对音频数据执行例如调制处理和频率转换处理，并生成传输信号。通信单元922将传输信号提供给天线921，并将传输信号发射给基站（未示出）。通信单元922对由天线921接收的接收信号执行例如放大、频率转换处理和放大处理，并将获得的音频数据提供到音频编解码器923。音频编解码器923执行例如音频数据的数据扩展和到模拟音频信号的转换，并将数据输出到扬声器924。

当在数据通信模式中传输邮件时，控制单元931接收通过操作单元932的操作输入的字符数据，并在显示单元930上显示输入字符。控制单元931还基于例如利用操作单元932的用户指令生成邮件数据，并将邮件数据提供给通信单元922。通信单元922对邮件数据执行例如调制处理和频率转换处理，并经天线921发射获得的传输信号。通信单元922对由天线921接收的接收信号执行例如放大、频率转换处理和放大处理，并恢复邮件数据。将邮件数据提供到显示单元930，并且显示邮件的内容。

便携电话920还可以使用记录/再现单元929将接收的邮件数据存储到存储介质中。存储介质是任意给定的可重写存储介质。例如，存储介质可以是诸如RAM和内部闪存的半导体存储器、硬盘或诸如磁盘、磁光盘、光盘、USB存储器或存储卡的可移除介质。

当在数据通信模式中传输图像数据时，由摄像单元926生成的图像数据被提供到图像处理单元927。图像处理单元927执行图像数据的编码处理，并生成编码数据。

多路解复用器928根据预定方法对由图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行多路复用，并将数据提供到通信单元922。通信单元922对多路复用数据执行例如调制处理和频率转换处理，并经天线921发射获得的传输信号。通信单元922对由天线921接收的接收信号执行例如放大、频率转换处理和解调制处理，并恢复多路复用数据。多路复用数据被提供到多路解复用器928。多路解复用器928分离多路复用数据，并将编码数据提供到图像处理单元927，并将音频数据提供到音频编解码器923。图像处理单元927执行编码数据的解码处理，并生成图像数据。将图像数据提供到显示单元930，并显示接收的图像。音频编解码器923将音频数据转换为模拟音频信号，并将模拟音频信号提供到扬声器924以输出所接收的音频。

在如上所述配置的便携电话中，图像处理单元927设置有本申请的图像处理设备（图像处理方法）的功能。所以，可以求得具有高预测准确度的向量作为预测向量。

[记录/再现装置的配置示例]

图45示出应用本技术的记录/再现装置的示意性配置的示例。例如，记录/再现装置940将接收的广播节目的音频数据和视频数据记录到记录介质，并以根据用户指令的时序向用户提供记录的数据。例如，记录/再现装置940可以从其它装置获得音频数据和视频数据，并且可以将其记录到记录介质。另外，记录/再现装置940解码并输出记录在记录介质中的音频数据和视频数据，从而使得可以利用监视器装置等进行图像显示和音频输出。

记录/再现装置940包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示）单元948、控制单元949、以及用户接口单元950。

调谐器941调谐到由天线（未示出）接收的广播信号中的期望信道。调谐器941向选择器946输出通过对期望信道的接收信号进行解调获得的编码位流。

外部接口单元942可以由例如IEEE 1394接口、网络接口单元、USB接口、闪存接口等中的任一个构成。外部接口单元942为用于连接到外部装置、网络、存储卡等的接口，并接收记录的数据，例如视频数据、音频数据等。

在从外部接口单元942提供的视频数据和音频数据未被编码时，编码器943根据预定方法执行编码，并将编码的位流输出到选择器946。

HDD单元944将诸如视频和音频的内容数据、各种程序的其它数据等记录到内部硬盘，并在回放等期间从硬盘读取这些数据。

盘驱动器945向/从装载的光盘记录和再现信号。例如，光盘为DVD盘（DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）、蓝光盘等。

在记录视频和音频期间，选择器946选择来自调谐器941和编码器943中的任一个的编码位流，并将其提供到HDD单元944或盘驱动器945中的任一个。在再现视频和音频期间，选择器946向解码器947提供从HDD单元944或盘驱动器945输出的编码位流。

解码器947执行编码位流的解码处理。解码器947执行解码处理，从而将生成的视频数据提供到OSD单元948。解码器947执行解码处理，从而输出生成的音频数据。

OSD单元948生成用于显示诸如项目选择的菜单画面等的视频数据，并将其叠加在从解码器947输出的视频数据上并且输出。

控制单元949连接到用户接口单元950。用户接口单元950由例如操作开关和远程控制信号接收单元构成，并根据用户操作将操作信号提供到控制单元949。

控制单元949由CPU、存储器等构成。存储器存储例如由CPU执行的程序、当利用CPU执行处理时需要的各种数据。以诸如在记录/再现装置940的启动期间的预定时序，由CPU读取并执行存储在存储器中的程序。CPU执行程序，从而控制每个单元以使得记录/再现装置940根据用户操作而操作。

在如上所述配置的记录/再现装置中，解码器947设置有本申请的图像处理设备（图像处理方法）的功能。从而，可以求得具有高预测准确度的向量作为预测向量。

[图像拍摄装置的配置示例]

图46示出应用本技术的图像拍摄装置的示意性配置的示例。图像拍摄装置960拍摄被摄体的图像，在显示单元上显示被摄体的图像，并将图像数据记录到记录介质。

图像拍摄装置960包括光学块961、图像拍摄单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、以及控制单元970。控制单元970连接到用户接口单元971。另外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接。

光学块961包括例如聚焦透镜和光圈机构。光学块961使得在图像拍摄单元962的图像拍摄表面上形成被摄体的光学图像。图像拍摄单元962包括CCD或CMOS图像传感器，并根据光学图像通过光电转换生成电信号，并将电信号提供到摄像机信号处理单元963。

信号处理部分963对由图像拍摄单元962提供的电信号执行各种摄像机信号处理，例如拐点校正（knee correction）、伽马校正和颜色校正。摄像机信号处理单元963向图像数据处理单元964提供经过了摄像机信号处理的图像数据。

图像数据处理单元964对从摄像机信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964向外部接口单元966和介质驱动器968提供通过执行编码处理生成的编码数据。图像数据处理单元964对由外部接口单元966和介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964向显示单元965提供通过执行解码处理生成的图像数据。图像数据处理单元964执行用于向显示单元965提供从摄像机信号处理单元963提供的图像数据，并将从OSD单元969获得的系数数据叠加在图像数据上，并将数据提供到显示单元965。

OSD单元969生成显示数据，诸如包括符号、字符或数字的菜单画面和按钮，并将显示数据输出到图像数据处理单元964。

外部接口单元966由例如USB输入/输出端子构成，并且在打印图像时，将其连接到打印机。根据需要还将外部接口单元966连接到驱动器，并根据需要装载诸如磁盘、光盘等的可移除介质，并且根据需要安装从可移除介质读取的计算机程序。另外，外部接口单元966包括连接到诸如LAN或互联网的预定网络的网络接口。例如，控制单元970根据来自用户接口单元971的命令从存储单元967读取编码数据，并可以从外部接口单元966将数据提供到经由网络连接的其它装置。控制单元970经由外部接口单元966获得经由网络从其它装置提供的编码数据和图像数据，并可以将数据提供到例如图像数据处理单元964。

由介质驱动器968驱动的记录介质可以是可以读取和写入的任何给定的可移除介质，诸如磁盘、光磁盘、光盘、或半导体存储器。记录介质可以是任何类型的可移除介质，并可以是带装置，或者盘、存储卡。可以理解，记录介质可以是非接触IC卡等。

介质驱动器968和记录介质可以是集成的等，例如，内部硬盘驱动器和SSD（固态驱动器）、介质驱动器968，并且记录介质可由非移动存储介质来配置。

控制单元970由CPU、存储器等构成。存储器存储例如由CPU执行的程序、当利用CPU执行处理时需要的各种数据。以诸如在图像拍摄装置960的启动期间的预定时序，由CPU读取并执行存储在存储器中的程序。CPU执行程序，从而控制每个单元以使得图像拍摄装置960根据用户操作而操作。

在如上所述配置的图像拍摄装置中，图像数据处理单元964设置有本申请的图像处理设备（图像处理方法）的功能。所以，可以求得具有高预测准确度的向量作为预测向量。

更具体地，本技术的实施例不限于上述实施例，并且可以以各种方式改变，只要其落入本技术的主旨中即可。

更具体地，本技术不限于使用MVC的编码和解码。更具体地，可以在使用预测向量对视差信息图像进行编码和解码时应用本技术。

附图标记列表

11,12,21,22 编码器，31 DPB，32 多路复用单元，41,42 摄像机，43 多视点图像信息生成单元，111 A/D转换单元，112 画面排序缓冲器，113 计算单元，114 正交变换单元，115 量化单元，116可变长度编码单元，117 累积缓冲器，118 逆量化单元，119 逆正交变换单元，120 计算单元，121 去块滤波器，122 画面内预测单元，123 帧间预测单元，124 预测图像选择单元，211 A/D 转换单元，212 画面排序缓冲器，213 计算单元，214 正交变换单元，215 量化单元，216可变长度编码单元，217 累积缓冲器，218 逆量化单元，219 逆正交变换单元，220 计算单元，221 去块滤波器，222画面内预测单元，224 预测图像选择单元，231 变形单元，232 变形图片缓冲器，233 遮挡检测单元，234 视差预测单元，241 视差检测单元，242 视差补偿单元，243 预测向量生成单元，244 成本函数计算单元，245 模式选择单元，301 分离单元，311,312,321,322 解码器，331 DPB，341 累积缓冲器，342 可变长度解码单元，343 逆量化单元，344 逆正交变换单元，345 计算单元，346 去块滤波器，347 画面排序单元，348 D/A转换单元，349 画面内预测单元，350帧间预测单元，351 预测图像选择单元，441 累积缓冲器，442 可变长度解码单元，443 逆量化单元，444 逆正交变换单元，445 计算单元，446 去块滤波器，447 画面排序单元，448 D/A转换单元，449画面内预测单元，451 预测图像选择单元，461 变形单元，462 变形图片缓冲器，463 遮挡检测单元，464 视差预测单元，471 预测向量生成单元，472 视差补偿单元，534 视差预测单元，541 视差检测单元，542 视差补偿单元，543 预测向量生成单元，544 成本函数计算单元，545 模式选择单元，664 视差预测单元，771 预测向量生成单元，801 总线，802 CPU，803 ROM，804 RAM，805 硬盘，806输出单元，807 输入单元，808 通信单元，809 驱动器，810 输入/输出接口，811 可移除记录介质

Claims (12)

1.一种图像处理设备，包括：预测向量生成单元，用于根据向量预测方法生成表示对象块相对于不同于所述对象块的图片的其它图片的偏差的偏差向量的预测向量，所述对象块为具有关于视差的景深信息作为彩色图像的每个像素的像素值的景深图像中的处理对象，所述向量预测方法根据所述对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括其它图片中的任意对应点。

2.根据权利要求1所述的图像处理设备，其中所述预测向量生成单元根据向量预测方法生成视差向量的预测向量，所述视差向量为表示在具有关于视差的景深信息作为不同于第一视点的第二视点的彩色图像的每个像素的像素值的所述第二视点的景深图像中的对象块相对于所述第一视点的景深图像的图片的偏差的偏差向量，所述向量预测方法根据所述对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括所述第一视点的景深图像的图片中的任意对应点。

3.根据权利要求2所述的图像处理设备，还包括：

变形单元，用于使所述第一视点的景深图像的图片变形，从而生成通过将所述第一视点的景深图像的图片转换为以所述第二视点获得的图像而获得的变形景深图像的图片；以及

遮挡检测单元，使用所述变形景深图像的图片来检测作为所述对象块的图片的对象图片的遮挡部分。

4.根据权利要求3所述的图像处理设备，其中，当所述对象块是所述遮挡块时，所述预测向量生成单元根据邻近预测方法生成所述对象块的预测向量，所述邻近预测方法生成从所述对象块到与位于与所述第一视点的景深图像的图片中的遮挡部分相同位置处的遮挡对应部分的外部相接的邻近部分的向量，作为所述对象块的预测向量。

5.根据权利要求4所述的图像处理设备，其中，

所述遮挡检测单元在水平方向上扫描所述对象图片中可作为处理对象的每个块，从而检测所述遮挡块开始的开始像素和所述遮挡块结束的结束像素，以及

所述预测向量生成单元在所述邻近预测方法中生成从所述对象块到与所述遮挡对应部分的边界的外部相接的邻近部分的向量作为对象块的预测向量，从所述对象块到与所述遮挡对应部分的边界的外部相接的邻近部分的向量是通过从与所述对象块的左侧相接的所述遮挡块的预测向量减去所述遮挡块的所述开始像素与所述结束像素之间的像素数目而求得的。

6.根据权利要求5所述的图像处理设备，其中，所述预测向量生成单元生成从所述对象块到与所述遮挡对应部分的边界的外部相接的邻近部分的向量作为所述对象块的预测向量，从所述对象块到与所述遮挡对应部分的边界的外部相接的邻近部分的向量是通过从与所述对象块的左侧相接的所述遮挡块的预测向量减去所述对象块的所述开始像素与所述结束像素之间的像素数目而求得的。

7.根据权利要求4所述的图像处理设备，其中，所述预测向量生成单元在所述邻近预测方法中生成从所述对象块到与所述遮挡对应部分的外部相接的邻近部分的向量作为所述对象块的预测向量，从所述对象块到与所述遮挡对应部分的外部相接的邻近部分的向量是通过从与所述对象块的左侧相接的所述遮挡块的预测向量减去所述遮挡块在水平方向上的像素数目而求得的。

8.根据权利要求7所述的图像处理设备，其中，所述预测向量生成单元输出表示所述对象块的预测向量的向量预测方法的预测器标志。

9.根据权利要求4所述的图像处理设备，其中，所述预测向量生成单元获得表示所述对象块的预测向量的向量预测方法的预测器标志，并根据由所述预测器标志表示的向量预测方法生成所述对象块的预测向量。

10.根据权利要求9所述的图像处理设备，其中，当所述预测器标志表示所述邻近预测方法时，所述预测向量生成单元生成从所述对象块到与所述遮挡对应部分的外部相接的邻近部分的向量作为所述对象块的预测向量，从所述对象块到与所述遮挡对应部分的外部相接的邻近部分的向量是通过从与所述对象块的左侧相接的所述遮挡块的预测向量减去所述遮挡块在水平方向上的像素数目而求得的。

11.一种图像处理方法，包括：用于根据向量预测方法生成表示对象块相对于不同于所述对象块的图片的其它图片的偏差的偏差向量的预测向量的步骤，所述对象块为具有关于视差的景深信息作为彩色图像的每个像素的像素值的景深图像中的处理对象，所述向量预测方法根据所述对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括其它图片中的任意对应点。

12.一种程序，用于使得计算机用作：预测向量生成单元，用于根据向量预测方法生成表示对象块相对于不同于所述对象块的图片的其它图片的偏差的偏差向量的预测向量，所述对象块为具有关于视差的景深信息作为彩色图像的每个像素的像素值的景深图像中的处理对象，所述向量预测方法根据所述对象块是否是包括遮挡部分的遮挡块而不同，所述遮挡部分不包括其它图片中的任意对应点。

Images