CN103503459A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103503459A
CN103503459A CN201280019353.5A CN201280019353A CN103503459A CN 103503459 A CN103503459 A CN 103503459A CN 201280019353 A CN201280019353 A CN 201280019353A CN 103503459 A CN103503459 A CN 103503459A
Authority
CN
China
Prior art keywords
image
picture
unit
resolution
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280019353.5A
Other languages
English (en)
Inventor
高桥良知
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103503459A publication Critical patent/CN103503459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及一种图像处理装置和图像处理方法，其中可以提高视差预测的预测效率。参考图像转换单元通过根据在生成待编码图像的预测图像时参考的、与待编码图像不同视点的参考图像和关于待编码图像的解析度的解析度信息控制要对参考图像实施的滤波处理，将参考图像转换为解析度比与待编码图像的横向解析度和纵向解析度比匹配的转换后的参考图像。视差补偿单元通过使用转换后的参考图像执行视差补偿来生成预测图像，并使用该预测图像对待编码图像进行编码。本技术可应用于例如从多个视点拍摄的图像的编码和解码。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法，并涉及使得能够提高在对具有多视点的图像进行编码和解码时所执行的视差预测的预测效率的图像处理装置和图像处理方法。
背景技术
用于对诸如3D（三维）图像的具有多视点的图像进行编码的编码格式的示例包括MVC（多视点视频编码）等，MVC为AVC（高级视频编码）（H.264/AVC）的扩展。
关于MVC，待编码的图像是具有对应于来自被摄体的光的值作为像素值的彩色图像，其中通过参考其它视点的彩色图像和这些视点的彩色图像对多视点的彩色图像中的每个进行编码。
也就是说，关于MVC，采用多视点的彩色图像中的一个视点的彩色图像作为基本视角（Base View）图像，并采用多视点的彩色图像中的其它视点的彩色图像作为非基本视角（Non Base View）图像。
然后，仅参考基本视角彩色图像本身对该基本视角彩色图像进行编码，而除了参考非基本视角彩色图像之外还根据需要参考其它视角的图像对该非基本视角彩色图像进行编码。
也就是说，关于非基本视角彩色图像，根据需要执行视差预测，其中参考其它视角（视点）的彩色图像生成预测图像，并使用该预测图像执行编码。
目前，最近已经提出了一种方法，该方法除了使用每个视点的彩色图像之外，还使用具有关于多视点的彩色图像的每个像素的视差的视差信息（景深信息）作为像素值的视差信息图像（景深图像），并且分别对多视点的彩色图像和多视点的视差信息图像进行编码（例如，参考NPL1）。
引用列表
非专利文献
NPL1:“Draft Call for Proposals on3D Video CodingTechnology”,INTERNATIONAL ORGANISATION FORSTANDARDISATION ORGANISATION INTERNATIONALE DENORMALISATION ISO/IEC JTC1/SC29/WG11CODING OFMOVING PICTURES AND AUDIO,MPEG2010/N11679，中国，广州，2010年10月
发明内容
技术问题
如上所述，关于多视点的图像，可针对特定视点的图像执行视差预测，其中在对特定视点的图像进行编码（和解码）时参考其它视点的图像，因此视差预测的预测效率（预测精度）影响编码效率。
考虑到该情况而做出了本技术，本技术旨在使得能够提高视差预测的预测效率。
问题的解决方案
根据本技术的第一方面的图像处理装置包括：转换单元，被配置为通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要被编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像；补偿单元，被配置为通过使用由所述转换单元转换了的转换后的参考图像执行视差补偿来生成预测图像；以及编码单元，被配置为使用由所述补偿单元生成的预测图像对待编码图像进行编码。
根据本技术的第一方面的图像处理方法包括以下步骤：通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像；通过使用转换后的参考图像执行视差补偿来生成所述预测图像；以及使用所述预测图像对待编码图像进行编码。
关于上述第一方面，通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像。然后，通过使用转换后的参考图像执行视差补偿来生成预测图像，以及使用预测图像对待编码图像进行编码。
根据本技术的第二方面的图像处理装置包括：转换单元，被配置为通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像；补偿单元，被配置为通过使用由所述转换单元转换了的转换后的参考图像执行视差补偿来生成预测图像；以及解码单元，被配置为使用由所述补偿单元生成的预测图像对包括待解码图像的编码流进行解码，在所述编码流中图像已被编码。
根据本技术的第二方面的图像处理方法包括以下步骤：通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像；通过使用转换后的参考图像执行视差补偿来生成所述预测图像；以及使用所述预测图像对包括待解码图像的编码流进行解码，在所述编码流中图像已被编码。
关于上述第二方面，通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像。然后，通过使用转换后的参考图像执行视差补偿来生成预测图像，以及使用预测图像对包括待解码图像的编码流进行解码，在编码流中图像已被编码。
注意，图像处理装置可以是独立的装置，或者可以是构成一个装置的内部块。
另外，可通过使得计算机执行程序来实现图像处理装置，并且程序可通过经由传送介质进行传送或记录在记录介质中来提供。
发明的有益效果
根据本发明，可以提高视差预测的预测效率。
附图说明
图1为图示应用了本技术的发送系统的实施例的配置示例的框图。
图2为图示发送装置11的配置示例的框图。
图3为图示接收装置12的配置示例的框图。
图4为用于描述解析度转换装置21C执行的解析度转换的图。
图5为图示编码装置22C的配置示例的框图。
图6为用于描述当利用MVC预测编码生成预测图像（参考图像）时的图片参考的图。
图7为用于描述利用MVC进行编码（和解码）的图片的顺序的图。
图8为用于描述在编码器41和42处执行的时间预测和视差预测的图。
图9为图示编码器42的配置示例的框图。
图10为描述MVC（AVC）中的宏块类型的图。
图11为描述MVC（AVC）中的预测向量（PMV）的图。
图12为图示帧间预测单元123的配置示例的框图。
图13为图示视差预测单元131的配置示例的框图。
图14为用于描述MVC中的对参考图像中的子像素进行内插的滤波处理的图。
图15为用于描述MVC中的对参考图像中的子像素进行内插的滤波处理的图。
图16为图示参考图像转换单元140的配置示例的框图。
图17为图示解码装置32C的配置示例的框图。
图18为图示解码器212的配置示例的框图。
图19为图示帧间预测单元250的配置示例的框图。
图20为图示视差预测单元261的配置示例的框图。
图21为图示发送单元11的另一个配置示例的框图。
图22为图示接收单元12的另一个配置示例的框图。
图23为用于描述解析度转换装置321C执行的解析度转换和逆解析度转换装置333C执行的逆解析度转换的图。
图24为用于描述发送装置11的处理的流程图。
图25为用于描述接收装置12的处理的流程图。
图26为图示编码装置322C的配置示例的框图。
图27为图示编码器342的配置示例的框图。
图28为用于描述在SEI生成单元351处生成的解析度转换SEI的图。
图29为描述对参数num_views_minus_1、view_id[i]、frame_packing_info[i]和view_id_in_frame[i]设置的值的图。
图30为图示视差预测单元361的配置示例的框图。
图31为图示参考图像转换单元370的配置示例的框图。
图32为用于描述在控制器381的控制之后由压缩单元382进行的压缩的图。
图33为描述由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155进行的滤波处理的图。
图34为用于描述由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155进行的滤波处理的图。
图35为图示在参考图像转换单元370处获得的转换后的参考图像的图。
图36为用于描述编码器342执行的对压缩的彩色图像进行编码的编码处理的流程图。
图37为用于描述视差预测单元361执行的视差预测处理的流程图。
图38为用于描述参考图像转换单元370执行的对参考图像的转换处理的流程图。
图39为图示解码装置332C的配置示例的框图。
图40为图示解码器412的配置示例的框图。
图41为图示视差预测单元461的配置示例的框图。
图42为图示参考图像转换单元471的配置示例的框图。
图43为用于描述解码器412执行的对压缩的彩色图像的编码数据进行解码的解码处理的流程图。
图44为用于描述视差预测单元461执行的视差预测处理的流程图。
图45为用于描述参考图像转换单元471执行的对参考图像的转换处理的流程图。
图46为用于描述解析度转换装置321C执行的解析度转换和逆解析度转换装置333C执行的逆解析度转换的图。
图47为描述对参数num_views_minus_1、view_id[i]、frame_packing_info[i]和view_id_in_frame[i]设置的值的图。
图48为用于描述在控制器381的控制之后由压缩单元382进行的压缩的图。
图49为描述由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155进行的滤波处理的图。
图50为描述由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155进行的滤波处理的图。
图51为图示在参考图像转换单元370处获得的转换后的参考图像的图。
图52为用于描述在已经对压缩的彩色图像进行了并排压缩的情况下的参考图像的转换处理的流程图。
图53为用于描述解析度转换装置321C执行的解析度转换和逆解析度转换装置333C执行的逆解析度转换的图。
图54为图示在解析度转换后的多视点彩色图像是中间视点图像、低解析度左视点图像、以及低解析度右视点图像的情况下的编码装置322C的配置的框图。
图55为图示编码器511的配置示例的框图。
图56为用于描述在SEI生成单元551处生成的解析度转换SEI的图。
图57为描述对参数num_views_minus_1、view_id[i]和resolution_info[i]设置的值的图。
图58为图示视差预测单元561的配置示例的框图。
图59为图示参考图像转换单元570的配置示例的框图。
图60为用于描述编码器511执行的对低解析度左视点彩色图像进行编码的编码处理的流程图。
图61为用于描述视差预测单元561执行的视差预测处理的流程图。
图62为用于描述参考图像转换单元570执行的参考图像转换处理的流程图。
图63为描述控制由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的每个进行的滤波处理的图。
图64为图示在解析度转换后的多视点彩色图像是中间视点图像、低解析度左视点图像、以及低解析度右视点图像的情况下的解码装置332C的配置示例的框图。
图65为图示解码器611的配置示例的框图。
图66为图示视差预测单元661的配置示例的框图。
图67为用于描述解码器611执行的对低解析度左视点彩色图像的编码数据进行解码的解码处理的流程图。
图68为用于描述视差预测单元661执行的视差预测处理的流程图。
图69为用于描述透视和景深的图。
图70为图示已经应用了本技术的计算机的实施例的示意性配置示例的框图。
图71为图示已经应用了本技术的TV的示意性配置示例的图。
图72为图示已经应用了本技术的蜂窝电话的示意性配置示例的图。
图73为图示已经应用了本技术的记录/回放装置的示意性配置示例的图。
图74为图示已经应用了本技术的成像设备的示意性配置示例的图。
具体实施方式
[本说明书中对景深图像（视差信息图像）的描述]
图69为用于描述视差和景深的图。
如图69所示，在通过位于位置C1处的摄像机c1和位于位置C2处的摄像机c2拍摄被摄体M的彩色图像的情况下，以下面的表达式（a）来限定景深Z，该景深Z为在景深方向上从被摄体M到摄像机c1（摄像机c2）的距离。
Z=(L/d)×f...(a)
注意，L为在水平方向上位置C1与位置C2之间的距离（在下文中被称为摄像机间距离）。另外，d为通过从距离u1减去距离u2而获得的值，该距离u2为被摄体M在由摄像机c2拍摄的彩色图像上的位置在水平方向上到彩色图像的中心的距离，该距离u1为被摄体M在由摄像机c1拍摄的彩色图像上的位置在水平方向上到彩色图像的中心的距离。另外，f为摄像机c1的焦距，在表达式（a）的情况下，假设摄像机c1和摄像机c2的焦距相同。
如表达式（a）所示，视差d和景深Z是唯一地可转换的。因此，在本说明书中，表示由摄像机c1和摄像机c2拍摄的两个视点的彩色图像的视差d的图像和表示景深Z的图像将被统称为景深图像（视差信息图像）。
注意，对于景深图像（视差信息图像）来说，表示视差d或景深Z的图像就足够了，并且替代视差d或景深Z本身，可以使用视差d已被归一化的值和景深Z的导数1/Z已被归一化的值作为景深图像（视差信息图像）的像素值。
可以通过如下表达式（b）获得以8位（0至255）对视差d进行归一化的值I。注意，用于视差d的归一化的位数不限于8位，而是可以是其它位数，例如10位、12位等。
[公式4]
I = 255 × ( d - D min ) D max - D min . . . ( b )
注意，在表达式（b）中，Dmax为视差d的最大值，而Dmin为视差d的最小值。最大值Dmax和最小值Dmin可以以单个画面为增量进行设置，或者可以以多个画面为增量进行设置。
可以通过如下表达式（c）获得以8位（0至255）对景深Z的倒数1/Z进行归一化获得的值y。注意，用于景深Z的倒数1/Z的归一化的位数不限于8位，而是可以是其它位数，例如10位、12位等。
[公式5]
y = 255 × 1 Z - 1 Z far 1 Z near - 1 Z far . . . ( c )
注意，在表达式（c）中，Zfar为景深Z的最大值，Znear为景深Z的最小值。最大值Zfar和最小值Znear可以以单个画面为增量进行设置，或者可以以多个画面为增量进行设置。
这里，在本说明书中，考虑视差d和景深Z是唯一地可转换的，具有视差d被归一化的值I作为像素值的图像和具有景深Z的倒数1/Z被归一化的值y作为像素值的图像将被统称为景深图像（视差信息图像）。这里，景深图像（视差信息图像）的颜色格式为YUV420或YUV400，但是也可以是其它颜色格式。
注意，在考虑值I或值y的信息本身而不是景深图像（视差信息图像）的像素值的情况下，值I或值y被视为景深图像信息（视差信息）。另外，映射的值I或值y被视为景深映射。
[应用了本技术的图像处理装置的发送系统的实施例]
图1为图示应用了本技术的发送系统的配置示例的框图。
在图1中，发送系统具有发送装置11和接收装置12。
向发送装置11提供多视点彩色图像和多视点视差信息图像（多视点景深图像）。
这里，多视点彩色图像包括多个视点的彩色图像，并且这些多个视点中的一个预定视点的彩色图像被指定为基本视角图像。除基本视角图像以外的视点的彩色图像被视为非基本视角图像。
多视点视差信息图像包括构成多视点彩色图像的彩色图像的每个视点的视差信息图像、以及例如被指定为基本视角图像的一个预定视点的视差信息图像。以与彩色图像的情况相同的方式，除基本视角图像以外的视点的视差信息图像被视为非基本视角图像。
发送装置11对提供到发送装置11的多视点彩色图像和多视点视差信息图像中的每个进行编码和多路复用，并输出作为结果获得的多路复用的比特流。
从发送装置11输出的多路复用的比特流经由未示出的传送介质被发送，或者被记录在未示出的记录介质中。
经未示出的传送介质或记录介质将从发送装置11输出的多路复用的比特流提供到接收装置12。
接收装置12接收多路复用的比特流并且对多路复用的比特流执行逆多路复用，从而从多路复用的比特流中分离多视点彩色图像的编码数据和多视点视差信息图像的编码数据。
另外，接收装置12对多视点彩色图像的编码数据和多视点视差信息图像的编码数据中的每个进行解码，并输出作为结果获得的多视点彩色图像和多视点视差信息图像。
目前，MPEG3DV正被制定为用于发送作为多个视点的彩色图像的多视点彩色图像和作为多个视点的视差信息图像的多视点视差信息图像的标准，MPEG3DV的主要应用为显示可利用裸眼观看的裸眼3D（三维）图像。
在MPEG3DV中，除两个视点的图像（彩色图像、视差信息图像）之外，还存在关于发送具有例如三个视点或四个视点的大于两个视点的图像的讨论。
关于裸眼3D图像（可以不利用所谓的偏振眼镜观看的3D图像），（图像）视点的数目越多，可以显示的图像的质量越高，并且可以实现的立体效果越强。因此，从图像质量和立体效果的方面来看，优选具有更多数目的视点。
然而，增加视点的数目使得在基带处处理的数据量巨大。
也就是说，在发送例如具有三个视点的彩色图像和视差信息图像的所谓的全HD（高清晰度）解析度图像的情况下，数据量是全HD2D图像（一个视点的图像的数据量）的数据量的六倍。
作为基带发送标准，例如存在HDMI（高清晰度多媒体接口），但是即使最新的HDMI标准仅可以处理等于4K的数据（全HD的四倍），因此在目前的状态下无法在基带处发送三个视点的彩色图像和视差信息图像。
因此，为了在基带处发送三个视点的全HD彩色图像和视差信息图像，需要减少例如基带处的图像的解析度等，以减少多视点彩色图像和多视点视差信息图像的（在基带处的）数据量。
另一方面，利用发送装置11对多视点彩色图像和多视点视差信息图像进行编码，但是编码数据的比特率（因此多路复用的比特流）受到限制，因此在编码中分配到一个视点的图像（彩色图像和视差信息图像）的编码数据的比特量也受到限制。
在进行编码时，在可分配到图像的编码数据的比特量小于基带处的图像的数据量的情况下，诸如块噪声的编码噪声变得显著，因此使通过在接收装置12处进行解码而获得的解码图像的图像质量劣化。
因此，从抑制解码图像的图像质量的劣化的方面来看，也需要减少多视点彩色图像和多视点视差信息图像的（在基带处的）数据量。
因此，发送装置11在减少（基带处的）多视点彩色图像和多视点视差信息图像的数据量之后执行编码。
现在，对于作为视差信息图像的像素值的视差信息，可以使用视差值（值I）或景深值（值y），视差值（值I）表示彩色图像的每个像素中的被摄体与取特定视点作为参考的参考视点之间的视差，景深值（值y）表示到彩色图像的每个像素中的被摄体的距离（景深）。
如果已知在多个视点处拍摄彩色图像的摄像机的位置关系，则视差值与景深值是相互可转换的，因此是等同信息。
在下文中，具有视差值作为像素值的视差信息图像（景深图像）还将被称为视差图像，并且具有景深值作为像素值的视差信息图像（景深图像）还将被称为景深图像。
在下文中，在视差图像和景深图像中，可以将景深图像用于例如视差信息图像，但是也可以将视差图像用于视差信息图像。
[发送装置11的配置示例]
图2为图示图1中的发送装置11的配置示例的框图。
在图12中，发送装置11具有解析度转换装置21C和21D、编码装置22C和22D、以及多路复用装置23。
将多视点彩色图像提供到解析度转换装置21C。
解析度转换装置21C执行解析度转换以将提供到解析度转换装置21C的多视点彩色图像转换为具有比原始解析度更低的解析度的解析度转换后的多视点彩色图像，并将作为结果获得的解析度转换后的多视点彩色图像提供到编码装置22C。
编码装置22C利用例如MVC（MVC为用于发送多视点图像的标准）对从解析度转换装置21C提供的解析度转换后的多视点彩色图像进行编码，并将作为结果获得的编码数据的多视点彩色图像编码数据提供到多路复用装置23。
目前，MVC是AVC的扩展类，并且根据MVC，如上所述，可以针对非基本视角图像执行以视差预测为特征的有效的编码。
另外，关于MVC，基本视角图像是编码AVC兼容的。因此，可利用AVC解码器对已利用MVC对基本视角图像进行了编码的编码数据进行解码。
向解析度转换装置21D提供多视点景深图像，多视点景深图像为每个视点的景深图像，具有构成多视点彩色图像的每个视点的彩色图像的每个像素的景深值作为像素值。
在图2中，解析度转换装置21D和编码装置22D各自对景深图像（多视点景深图像）而不是彩色图像（多视点彩色图像）执行与解析度转换装置21C和解析度转换装置21D相同的处理。
也就是说，解析度转换装置21D执行从提供到解析度转换装置21D的多视点景深图像到低于原始解析度的低解析度的解析度转换后的多视点景深图像的解析度转换，并将其提供到编码装置22D。
编码装置22D利用MVC对从解析度转换装置21D提供的解析度转换后的多视点景深图像进行编码，并将作为结果获得的编码数据的多视点景深图像编码数据提供到多路复用装置23。
多路复用装置23将来自编码装置22C的多视点彩色图像编码数据与来自编码装置22D的多视点景深图像编码数据进行多路复用，并输出作为结果获得的多路复用比特流。
[接收装置12的配置示例]
图3为图示图1中的接收装置12的配置示例的框图。
在图3中，接收装置12具有逆多路复用装置31、解码装置32C和32D、以及解析度逆转换装置33C和33D。
从发送装置11（图2）输出的多路复用比特流被提供到逆多路复用装置31。
逆多路复用装置31接收提供到逆多路复用装置31的多路复用比特流，并执行多路复用比特流的逆多路复用，从而将多路复用比特流分离为多视点彩色图像编码数据和多视点景深图像编码数据。
然后，逆多路复用装置31将多视点彩色图像编码数据提供到解码装置32C，并将多视点景深图像编码数据提供到解码装置32D。
解码装置32C通过MVC对从逆多路复用装置31提供的多视点彩色图像编码数据进行解码，并将作为结果获得的解析度转换后的多视点彩色图像提供到解析度逆转换装置33C。
解析度逆转换装置33C执行解析度逆转换，以将来自解码装置32C的解析度转换后的多视点彩色图像（逆）转换为原始解析度的多视点彩色图像，并输出作为结果获得的多视点彩色图像。
解码装置32D和解析度逆转换装置33D各自对多视点景深图像编码数据（解析度转换后的多视点景深图像）而不是多视点彩色图像编码数据（解析度转换后的多视点彩色图像）执行与解码装置32C和解析度逆转换装置33C相同的处理。
也就是说，解码装置32D通过MVC对从逆多路复用装置31提供的多视点景深图像编码数据进行解码，并将作为结果获得的解析度转换后的多视点景深图像提供到解析度逆转换装置33D。
解析度逆转换装置33D执行从来自解码装置32D的解析度转换后的多视点景深图像到原始解析度的多视点景深图像的解析度逆转换，并输出。
注意，在该实施例中，对景深图像进行与彩色图像相同的处理，因此在下文中将适当省略景深图像的处理。
[解析度转换]
图4为用于描述图2中的解析度转换装置21C执行的解析度转换的图。
注意，在下文中，假设多视点彩色图像（对于多视点景深图像也相同）是三个视点的彩色图像，例如为中间视点彩色图像、左视点彩色图像和右视点彩色图像。
作为彩色图像的三个视点的中间视点彩色图像、左视点图像和右视点图像是通过将三台摄像机置于如下位置并拍摄被摄体而获得的图像：被摄体前方的位置、被摄体左侧面向被摄体的位置、以及被摄体右侧面向被摄体的位置。
因此，中间视点彩色图像是视点位于被摄体前方的图像。另外，左视点图像是视点位于中间视点彩色图像的视点（中间视点）的左侧（左视点）的图像，而右视点图像（右视点）是视点位于中间视点的右侧的图像。
注意，多视点彩色图像（和多视点景深图像）可以为具有两个视点的图像或具有四个或更多个视点的图像。
解析度转换装置21C将作为提供到解析度转换装置21C的多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像原样输出（未执行解析度转换）。
另外，解析度转换装置21C转换多视点彩色图像的剩下的左视点彩色图像和右视点彩色图像，使得这两个视点的图像的解析度为低解析度，并执行压缩以将其组合为相当于一个视点的图像，从而生成输出的压缩彩色图像。
也就是说，解析度转换装置21C将左视点彩色图像和右视点彩色图像中的每个的垂直方向解析度（像素数目）改变为1/2，并对垂直方向解析度（垂直解析度）已经变为1/2的左视点彩色图像和右视点彩色图像进行垂直排列，从而生成相当于一个视点的图像的压缩彩色图像。
现在，关于图4中的压缩彩色图像，左视点彩色图像位于上方，而右视点彩色图像位于下方。
从解析度转换装置21C输出的中间视点彩色图像和压缩彩色图像被提供到编码装置22C作为解析度转换后的多视点彩色图像。
现在，被提供到解析度转换装置21C的多视点彩色图像是中间视点彩色图像、左视点彩色图像和右视点彩色图像的相当于三个视点的图像，但是从解析度转换装置21C输出的解析度转换后的多视点彩色图像是中间视点彩色图像和压缩彩色图像的相当于两个视点的图像，从而减少了基带处的数据量。
现在，在图4中，尽管在构成多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中，左视点彩色图像和右视点彩色图像已经被压缩为相当于一个视点的压缩彩色图像，但是可以对中间视点彩色图像、左视点彩色图像和右视点彩色图像中的任意两个视点的彩色图像执行压缩。
然而，注意，在2D图像将要显示在接收装置12侧的情况下，预测将使用构成多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的中间视点彩色图像。因此，在图4中，未对中间视点彩色图像进行压缩而是将解析度转换为低解析度，从而使得能够以高图像质量显示2D图像。
也就是说，在接收装置12侧，构成多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像的全部用于3D图像的显示，但是对于2D图像的显示，仅使用中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像。因此，在构成多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中，左视点彩色图像和右视点彩色图像在接收装置12侧仅用于3D显示，从而在图4中，对仅用于该3D图像显示的左视点彩色图像和右视点彩色图像进行压缩。
[编码装置22C的配置示例]
图5为图示图2中的编码装置22C的配置示例的框图。
编码装置22C利用MVC对作为来自解析度转换装置21C（图2，图4）的解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像进行编码。
现在，在下文中，除非另外具体说明，将中间视点彩色图像视为基本视角图像，而将其它视点彩色图像（即这里的压缩彩色图像）视为非基本视角图像。
在图5中，编码装置22C具有编码器41、42，以及DPB（解码图片缓冲器）43。
向编码器41提供来自解析度转换装置21C的构成解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的中间视点彩色图像。
编码器41将中间视点彩色图像视为基本视角图像并利用MVC（AVC）进行编码，并输出作为结果获得的中间视点彩色图像的编码数据。
向编码器42提供来自解析度转换装置21C的构成解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的压缩彩色图像。
编码器42将压缩彩色图像视为非基本视角图像并利用MVC进行编码，并输出作为结果获得的压缩彩色图像的编码数据。
注意，从编码器41输出的中间视点彩色图像的编码数据和从编码器42输出的压缩彩色图像的编码数据被提供到多路复用装置23（图2）作为多视点彩色图像编码数据。
DPB43临时存储通过在编码器41和42处对待编码图像进行编码并进行本地解码而获得的本地解码后图像（post-local-decodedimage）（解码图像），作为要在生成预测图像时参考的参考图像（的备选）。
也就是说，编码器41和42执行待编码图像的预测编码。因此，为了生成要用于预测编码的预测图像，编码器41和42对待编码图像进行编码，然后执行本地解码，从而获得解码图像。
DPB43是共享缓冲器，如前所述，用于临时存储在编码器41和42中的每个处获得的解码图像，其中编码器41和42各自从存储在DPB43中的解码图像中选择在对待编码图像进行编码时参考的参考图像。然后，编码器41和42各自利用参考图像生成预测图像，并使用这些预测图像执行图像编码（预测编码）。
在编码器41和42之间共享DPB43，从而编码器41和42除了可以参考在其自身处获得的解码图像之外还可以参考在另一个编码器处获得的解码图像。
然而，注意，编码器41对基本视角图像进行编码，因此仅参考在编码器41处获得的解码图像。
[MVC概要]
图6为用于描述在生成预测图像时参考的图片（参考图像）的图。
将基本视角图像的图片以显示时刻顺序表示为p11、p12、p13...，而将非基本视角图像的图片以显示时刻顺序表示为p21、p22、p23...。
例如，根据需要，参考例如作为基本视角图片的图片p11或p13对作为基本视角图片的图片p12进行预测编码。
也就是说，关于基本视角图片p12，可以通过仅参考作为其它时刻的基本视角图片的图片p11或p13执行预测（预测图像的生成）。
另外，例如，根据需要，参考例如作为非基本视角图片的图片p21或p23、以及还参考作为不同视角的基本视角图片p12，对作为非基本视角图片的图片p22进行预测编码。
也就是说，除了参考作为在其它时刻的非基本视角图片的图片p21或p23之外，非基本视角图片p22还可以参考作为不同视角的图片的基本视角图片p12，并执行预测。
注意，参考（在不同时刻的）与待编码图片相同视点的图片所执行的预测也被称为时间预测，而参考与待编码图片不同视点的图片所执行的预测也被称为视差预测。
如上所述，在MVC中，仅可以对基本视角图片执行时间预测，而可以对非基本视角图片执行时间预测和视差预测。
注意，在MVC中，作为视差预测中的参考的与待编码图片不同视角的图片必须是与待编码图片相同时刻的图片。
图7为描述利用MVC对图片进行编码（和解码）的顺序的图。
以与图6相同的方式，将基本视角图像的图片以显示时刻顺序表示为p11、p12、p13...，而将非基本视角图像的图片以显示时刻顺序表示为p21、p22、p23...。
现在，为了简化说明，假设以显示时刻顺序对每个视角的图片进行编码，首先，对基本视角的在时刻t=1处的第一图片p11进行编码，然后对非基本视角的在相同时刻t=1处的图片p21进行编码。
当在相同时刻t=1处的（全部）图片的编码结束时，对基本视角的在时刻t=2处的下一个图片p12进行编码，然后对非基本视角的在相同时刻t=2处的图片p22进行编码。
之后，以类似的顺序对基本视角图片和非基本视角图片进行编码。
图8为用于描述在图5中的编码器41和42处执行的时间预测和视差预测的图。
注意，在图8中，水平轴表示编码（解码）的时刻。
在作为基本视角图像的中间视点彩色图像的图片的预测编码中，对基本视角图像进行编码的编码器41可参考已经被编码的中间视点彩色图像的另一个图片来执行时间预测。
在作为非基本视角图像的压缩彩色图像的图片的预测编码中，对非基本视角图像进行编码的编码器42可参考已经被编码的压缩彩色图像的另一个图片来执行时间预测，以及可参考中间视点彩色图像的（已经编码的）图片（具有与待编码的压缩彩色图像的图片相同时刻（相同POC（图片顺序计数））的图片）来执行视差预测。
[编码器42的配置示例]
图9为图示图5中的编码器42的配置示例的框图。
在图9中，编码器42包括A/D（模拟/数字）转换单元111、画面重排序缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、去块滤波器121、画面内预测单元122、帧间预测单元123和预测图像选择单元124。
以显示顺序将作为待编码图像（运动图像）的压缩彩色图像图片顺次提供到A/D转换单元111。
在提供到A/D转换单元111的图片是模拟信号的情况下，A/D转换单元111对模拟信号执行A/D转换，并将其提供到画面重排序缓冲器112。
画面重排序缓冲器112临时存储来自A/D转换单元111的图片，并根据预先确定的GOP（图片组）结构读取图片，从而执行重排序以
将图片的顺序从显示顺序重排序为编码顺序（解码顺序）。
从画面重排序缓冲器112读取的图片被提供到计算单元113、画面内预测单元122和帧间预测单元123。
将图片从画面重排序缓冲器112提供到计算单元113，另外，从预测图像选择单元124提供在画面内预测单元122或帧间预测单元123处生成的预测图像。
计算单元113将从画面重排序缓冲器112读取的图片作为要编码的当前图片，并且还顺次将构成当前图片的宏块作为要编码的当前块。
然后，计算单元113根据需要从当前块的像素值减去从预测图像选择单元124提供的预测图像的像素值以计算减法值，并提供到正交变换单元114。
正交变换单元114对来自计算单元113的当前块（的像素值或已经进行了减法的预测图像的残差）进行诸如离散余弦变换或Karhunen-Loéve变换等正交变换，并将作为结果获得的变换系数提供到量化单元115。
量化单元115对从正交变换单元114提供的变换系数进行量化，并将作为结果获得的量化值提供到可变长度编码单元116。
可变长度编码单元116对来自量化单元115的量化值执行诸如可变长度编码（例如CAVLC（内容自适应可变长度编码）等）或算术编码（例如CABAC（内容自适应二进制算术编码）等）的无损编码，并将作为结果获得的编码数据提供到存储缓冲器117。
注意，除了从量化单元115提供到可变长度编码单元116的量化值之外，还从预测图像选择单元124提供要被包括在编码数据的头部的头信息。
可变长度编码单元116对来自预测图像选择单元124的头信息进行编码，并包括在编码数据的头部中。
存储缓冲器117临时存储来自可变长度编码单元116的编码数据，并以预定的数据速率进行输出（发送）。
在量化单元115处获得的量化值被提供到可变长度编码单元116，并且还被提供到逆量化单元118，以及在逆量化单元118、逆正交变换单元119和计算单元120处执行本地解码。
也就是说，逆量化单元118将来自量化单元115的量化值逆量化为变换系数，并提供到逆正交变换单元119。
逆正交变换单元119执行来自逆量化单元118的变换系数的逆正交变换，并提供到计算单元120。
计算单元120根据需要将从预测图像选择单元124提供的预测图像的像素值加到从逆正交变换单元119提供的数据，从而获得当前块已被解码（本地解码）的解码图像，该解码图像被提供到去块滤波器121。
去块滤波器121对来自计算单元120的解码图像执行滤波，从而除去（减少）解码图像中出现的块噪声，并提供到DPB43（图5）。
现在，DPB43存储来自去块滤波器121的解码图像，即在编码器42处编码并本地解码的压缩彩色图像的图片，作为当生成用于后续时间的预测编码（在计算单元113处执行预测图像的减法的编码）的预测图像时参考的参考图像（的备选）。
如图5所示，在编码器41和42之间共享DPB43，从而除了存储在编码器42处编码并本地解码的压缩彩色图像图片之外，还存储在编码器41处编码并本地解码的多视点彩色图像的图片。
注意，例如，由逆量化单元118、逆正交变换单元119和计算单元120对可作为参考图像（参考图片）的可参考的I图片、P图片和Bs图片执行本地解码，并且DPB43存储I图片、P图片和Bs图片的解码图像。
在当前图片是可以被帧内预测（画面内预测）的I图片、P图片或B图片（包括Bs图片）的情况下，画面内预测单元122从DBP43读取已经被本地解码的当前图片的部分（解码图像）。然后，画面内预测单元122将当前图片的解码图像的部分作为从画面重排序缓冲器112提供的当前图片的当前块的预测图像。
另外，画面内预测单元122获得使用预测图像对当前块进行编码所需要的编码成本，即对当前块相对于预测图像的残差等进行编码所需要的编码成本，并将其与预测图像一起提供到预测图像选择单元124。
在当前图片是可以被帧间预测的P图片或B图片（包括Bs图片）的情况下，帧间预测单元123从DPB43读取在当前图片之前已被编码和本地解码的图片作为参考图像。
另外，帧间预测单元123采用ME（运动估计），该ME使用来自画面重排序缓冲器112的当前图片的当前块和参考图像，检测表示当前块与对应于当前块的参考图像中的对应块（例如，使关于当前块的SAD（绝对差之和）等最小化的块）之间的偏差（视差、运动）的偏差向量。
现在，在参考图像是（与当前图片不同时刻的）与当前图片相同视角的图片的情况下，通过ME使用当前块和参考图像检测到的偏差向量将是表示当前块与参考图像之间的运动（时间偏差）的运动向量。
另外，在参考图像是（与当前图片相同时刻的）与当前图片不同视角的图片的情况下，通过ME使用当前块和参考图像检测到的偏差向量将是表示当前块与参考图像之间的视差（空间偏差）的视差向量。
帧间预测单元123通过根据当前块的偏差向量执行偏差补偿（补偿运动偏差的运动补偿，或补偿视差偏差的视差补偿）来生成预测图像，该偏差补偿为来自DPB43的参考图像的MC（运动补偿）。
也就是说，帧间预测单元123根据当前块的偏差向量获得对应块，该对应块为位于已从参考图像中的当前块的位置移动（偏移）的位置处的块（区域）。
另外，帧间预测单元123针对每个帧间预测模式获得使用预测图像对当前块进行编码所需要的编码成本，其中每个帧间预测模式的后述宏块类型不同。
然后，帧间预测单元123将编码成本最小的帧间预测模式作为最优帧间预测模式（最优的帧间预测模式），并将预测图像和在该最优帧间预测模式下获得的编码成本提供到预测图像选择单元124。
现在，基于偏差向量（视差向量、运动向量）生成预测图像还将被称为偏差预测（视差预测、时间预测（运动预测））或偏差补偿（视差补偿、运动补偿）。注意，偏差预测包括根据需要检测偏差向量。
预测图像选择单元124选择来自画面内预测单元122和帧间预测单元123中的每个的预测图像中编码成本较小的一个，并提供到计算单元113和120。
注意，画面内预测单元122将关于帧内预测的信息（预测模式相关信息）提供到预测图像选择单元124，并且帧间预测单元123将关于帧间预测的信息（预测模式相关信息，包括偏差向量的信息和分配给参考图像的参考索引）提供到预测图像选择单元124。
预测图像选择单元124从来自画面内预测单元122和帧间预测单元123中的每个的信息中选择如下信息，通过该信息生成具有较小编码成本的预测图像，并提供到可变长度编码单元116作为头信息。
注意，图5中的编码器41也以与图9中的编码器42相同的方式进行配置。然而，对基本视角图像进行编码的编码器41在帧间预测中仅仅执行时间预测，而不执行视差预测。
[宏块类型]
图10为用于描述MVC（AVC）中的宏块类型的图。
在MVC中，用作当前块的宏块是16×16（水平×垂直）像素块，但是可以将宏块分割为分块，并对每个分块执行ME（和预测图像的生成）。
也就是说，在MVC中，可以进一步将宏块分割为16×16像素、16×8像素、8×16像素或8×8像素中的任意分块，其中对每个分块执行ME以检测偏差向量（运动向量或视差向量）。
另外，在MVC中，可以将8×8像素的分块分割为8×8像素、8×4像素、4×8像素或4×4像素中的任意子分块，其中对每个分块执行ME以检测偏差向量（运动向量或视差向量）。
宏块类型表示宏块要被分割成的分块（或进一步的子分块）的类型。
在帧间预测单元123（图9）的帧间预测中，计算每个宏块类型的编码成本作为每个帧间预测模式的编码成本，其中选择编码成本最小的帧间预测模式（宏块类型）作为最优帧间预测模式。
[预测向量（PMV（预测运动向量））]
图11为用于描述MVC（AVC）中的预测向量（PMV）的图。
在帧间预测单元123（图9）的帧间预测中，通过ME检测当前块的偏差向量（运动向量或视差向量），并使用这些偏差向量生成预测图像。
尽管在解码侧对图像进行解码需要偏差向量，因此偏差向量的信息需要被编码并包括在编码数据中，但是按原样对偏差向量进行编码导致偏差向量的代码量大，这会使编码效率劣化。
也就是说，在MVC中，如图10所示，可以将宏块分割为8×8像素分块，并且可以将8×8像素分块中的每个进一步分割为4×4像素子分块。在该情况下，一个宏块最终被分割为4×4个子分块，这意味着每个宏块可具有16（=4×4）个偏差向量，并且按原样对偏差向量进行编码导致代码量大，从而使编码效率劣化。
因此，在MVC（AVC）中，执行对偏差向量进行预测的向量预测，并对偏差向量相对于通过向量预测获得的预测向量的残差（残差向量）进行编码。
然而，注意，利用MVC生成的预测向量根据分配给参考图像的参考索引（在下文中也被称为用于预测的参考索引）而不同，其中参考图像用于生成在当前块周围的宏块的预测图像。
现在，将描述MVC（AVC）中的参考图像（可用作该参考图像的图片）和参考索引。
在AVC中，当生成预测图像时，可将多个图片作为参考图像。
另外，在AVC编解码器中，在解码（本地解码）之后将参考图像存储在被称为DPB的缓冲器中。
在DPB中，分别将短期参考的图片标记为短期参考图像（用于短期参考），将长期参考的图片标记为长期参考图像（用于长期参考），以及将不参考的图片标记为非参考图像（不用于参考）。
存在两种用于管理DPB的管理方法，其为滑动窗存储器管理方式（滑动窗处理）和自适应存储器管理方式（自适应存储器控制处理）。
在滑动窗存储器管理方式中，通过FIFO（先进先出）方式来管理DPB，并且存储在DPB中的图片以从frame_num小的图片开始的顺序被释放（变成非参考的）。
也就是说，在滑动窗存储器管理方式中，将I（帧内）图片、P（预测）图片和作为可参考B（双向预测）图片的Bs图片存储在DPB中作为短期参考图像。
然后，在DPB存储了DPB所能存储参考图像的全部参考图像（可以成为参考图像）之后，释放存储在DPB中的短期参考图像中的最早（最老）的短期参考图像。
注意，在将长期参考图像存储在DPB中的情况下，滑动窗存储器管理方式不影响存储在DPB中的长期参考图像。也就是说，在滑动窗存储器管理方式中，通过FIFO方式管理的参考图像仅是短期参考图像。
在自适应存储器管理方式中，使用被称为MMCO（存储器管理控制操作）的命令管理存储在DPB中的图片。
关于存储在DPB中的参考图像，MMCO命令使得能够将短期参考图像设置为非参考图像，通过将作为用于管理长期参考图像的参考索引的长期帧索引分配给短期参考图像来将短期参考图像设置为长期参考图像，设置长期帧索引的最大值，将全部参考图像设置为非参考图像等。
在AVC中，对存储在DPB中的参考图像执行运动补偿（偏差补偿），从而执行生成预测图像的帧间预测，并且对于B图片（包括Bs图片）的帧间预测，可以使用相当于两个图片的参考图像的最大值。使用这两个参考图片的参考图像的帧间预测分别被称为L0（列表0）预测和L1（列表1）预测。
关于B图片（包括Bs图片），L0预测或L1预测、或L0预测和L1预测二者用于帧间预测。关于P图片，仅L0预测用于帧间预测。
在帧间预测中，通过参考列表（参考图片列表）来管理参考图像，其中通过参考这些参考图像来生成预测图像。
在参考列表中，将参考索引（Reference Index）分配给存储在DPB中的参考图像（可以成为参考图像的图片），该参考索引为用于指定生成预测图像所参考的参考图像（可以成为参考图像）的索引。
在当前图片是P图片的情况下，对于P图片，仅L0预测用于上述帧间预测，从而仅针对L0预测执行参考索引的分配。
另外，在当前图片是B图片（包括Bs图片）的情况下，对于B图片，L0预测和L1预测两者可用于上述帧间预测，从而针对L0预测和L1预测执行参考索引的分配。
现在，关于L0预测的参考索引也被称为L0索引，而关于L1预测的参考索引也被称为L1索引。
在当前图片是P图片的情况下，在AVC默认模式（默认值）中，对存储在DPB中的在解码顺序中越靠后的参考图像分配值越小的参考索引（L0索引）。
参考索引为大于等于零的整数值，其中零为最小值。因此，在当前图片是P图片的情况下，将零分配给紧接在当前图片之前解码的参考图片作为L0索引。
在当前图片为B图片（包括Bs图片）的情况下，在AVC默认模式中，以POC（图片顺序计数）顺序、即显示顺序将参考索引（L0索引和L1索引）分配给存储在DPB中的参考图像。
也就是说，对于L0预测，参考图像离当前图片越近，分配给按显示顺序在时间上在当前图片之前的参考图像的L0索引的值越小，之后，参考图像离当前图片越近，分配给按显示顺序在时间上在当前图片之后的参考图像的L0索引的值越小。
另外，对于L1预测，参考图像离当前图片越近，分配给按显示顺序在时间上在当前图片之后的参考图像的L1索引的值越小，之后，参考图像离当前图片越近，分配给按显示顺序在时间上在当前图片之前的参考图像的L1索引的值越小。
注意，对于短期参考图像执行利用上述AVC对参考索引（L0索引和L1索引）的默认分配。在将参考索引分配给短期参考图像之后将参考索引分配给长期参考图像。
因此，通过AVC的默认值，向长期参考图像分配大于短期参考图像的值的参考索引。
在AVC中，可以通过上述默认方法执行参考索引的分配，或者可以使用被称为参考图片列表重排序的命令（在下文中也被称为RPLR命令）执行可选的分配。
注意，在使用RPLR命令分配参考索引、并且之后存在未被分配参考索引的参考图像的情况下，通过默认方法向参考图像分配参考索引。
在MVC（AVC）方法中，如图11所示，针对用于预测与当前块X的左侧相邻的宏块A、与当前块X的上侧相邻的宏块B、以及与当前块X的倾斜右上侧相邻的宏块C的每个参考索引（分配给用于生成宏块A、B和C中的每个的预测图像的参考图像的参考索引），不同地获得当前块X的偏差向量mvX的预测向量PMVX。
即，现在假设用于预测当前块X的参考索引ref_idx例如为零。
如图11中的A所示，在与当前块X相邻的三个宏块A至C中仅存在一个用于预测的参考索引ref_idx为零（与当前块X相同）的宏块的情况下，采用这一个宏块（用于预测的参考索引ref_idx为零的宏块）的偏差向量作为当前块X的偏差向量mvX的预测向量PMVX。
此处，注意，在图11中的A中，与当前块X相邻的三个宏块A至C中仅有宏块B具有0值的用于预测的参考索引ref_idx，因此采用宏块A的偏差向量mvB作为当前块X（的偏差向量mvX）的预测向量PMVX。
另外，如图11中的B所示，在与当前块X相邻的三个宏块A至C中存在两个或更多个用于预测的参考索引ref_idx为零（与当前块X相同）的宏块的情况下，采用这两个或更多个用于预测的参考索引ref_idx为零的宏块的偏差向量的中值作为当前块X的预测向量PMVX。
注意，此处，在图11中的B中，与当前块X相邻的全部三个宏块A至C都是用于预测的参考索引ref_idx为零的宏块，因此采用宏块A的偏差向量mvA、宏块B的偏差向量mvB和宏块C的偏差向量mvC的中值med（mvA，mvB，mvC）作为当前块X的预测向量PMVX。注意，针对x分量和y分量分离地（单独地）执行中值med（mvA，mvB，mvC）的计算。
另外，如图11中的C所示，在与当前块X相邻的三个宏块A至C中没有一个用于预测的参考索引ref_idx为零（与当前块X相同）的宏块的情况下，采用零向量作为当前块X的预测向量PMVX。
此处，注意，在图11中的C中，与当前块X相邻的三个宏块A至C中没有宏块具有0值的用于预测的参考索引ref_idx，因此采用零向量作为当前块X的预测向量PMVX。
注意，在MVC（AVC）中，在当前块X的用于预测的参考索引ref_idx为0的情况下，可以将当前块X编码为跳过宏块（跳过模式）。
关于跳过宏块，对对象块的残差和残差向量都不进行编码。在解码时，使用预测向量作为无变化的跳过宏块的偏差向量，并采用位于参考图像中从跳过宏块的位置偏移等于偏差向量（预测向量）的量的位置处的块（当前块）的副本作为跳过宏块的解码结果。
是否采用当前块作为跳过宏块取决于编码器的规格，并基于例如编码数据的代码量、当前块的编码成本等进行决定（判定）。
[帧间预测单元123的配置示例]
图12为图示图9中的编码器42的帧间预测单元123的配置示例的框图。
帧间预测单元123具有视差预测单元131和时间预测单元132。
现在，在图12中，从去块滤波器121向DPB43提供解码图像，即在编码器42处编码并本地解码的压缩彩色图像的图片（在下文中也被称为解码压缩彩色图像），并存储为参考图像（可成为参考图像的图片）。
另外，如图5和图9所述，还将在编码器41处编码并本地解码的多视点彩色图像的图片（在下文中也被称为解码中间视点彩色图像）提供到DPB43并存储。
在编码器42处，除了使用来自去块滤波器121的解码压缩彩色图像的图片外，还使用在编码器41处获得的解码中间视点彩色图像的图片，对待编码的压缩彩色图像进行编码。因此，在图12中，示出图示将在编码器41处获得的解码中间视点彩色图像提供到DPB43的箭头。
从画面重排列缓冲器112向视差预测单元131提供压缩彩色图像的当前图片。
视差预测单元131使用存储在DPB43中的解码中间视点彩色图像的图片（与当前图片相同时刻的图片）作为参考图像，执行来自画面重排列缓冲器112的压缩彩色图像的当前图片的当前块的视差预测，并生成当前块的预测图像。
也就是说，视差预测单元131利用存储在DPB43中的解码中间视点彩色图像的图片作为参考图像执行ME，从而获得当前块的视差向量。
另外，视差预测单元131利用存储在DPB43中的解码中间视点彩色图像的图片作为参考图像执行在当前块的视差向量之后的MC，从而生成当前块的预测图像。
另外，视差预测单元131针对每个宏块类型计算用于使用预测图像对当前块进行编码所需要的编码成本，其中预测图像是通过根据参考图像进行视差预测（预测编码）而获得的。
然后，视差预测单元131选择编码成本最小的宏块类型作为最优帧间预测模式，并将在该最优帧间预测模式下生成的预测图像（视差预测图像）提供到预测图像选择单元124。
另外，视差预测单元131将最优帧间预测模式等的信息提供到预测图像选择单元124作为头信息。
注意，如上所述，参考索引被分配给参考图像，并被提供到预测图像选择单元124作为头信息之一，其中在视差预测单元131处选择分配给在生成预测图像时参考的参考图像的参考索引作为当前块的用于预测的参考索引，其中该预测图像是在最优帧间预测模式下生成的。
从画面重排列缓冲器112向时间预测单元132提供压缩彩色图像的当前图片。
时间预测单元132使用存储在DPB43中的解码压缩彩色图像的图片（与当前图片不同时刻的图片）作为参考，执行来自画面重排列缓冲器112的压缩彩色图像的当前图片的当前块的时间预测，并生成当前块的预测图像。
也就是说，时间预测单元132利用存储在DPB43中的解码解码压缩彩色图像的图片作为参考图像执行ME，从而获得当前块的运动向量。
另外，时间预测单元132利用存储在DPB43中的解码压缩彩色图像的图片作为参考图像执行在当前块的运动向量之后的MC，从而生成当前块的预测图像。
另外，时间预测单元132针对每个宏块类型计算使用预测图像对当前块进行编码所需要的编码成本，其中预测图像是通过根据参考图像进行时间预测（预测编码）而获得的。
然后，时间预测单元132选择编码成本最小的宏块类型作为最优帧间预测模式，并将在该最优帧间预测模式下生成的预测图像（时间预测图像）提供到预测图像选择单元124。
另外，时间预测单元132将最优帧间预测模式等的信息提供到预测图像选择单元124作为头信息。
注意，如上所述，参考索引被分配给参考图像，并被提供到预测图像选择单元124作为头信息之一，其中在时间预测单元132处选择分配给在生成预测图像时参考的参考图像的参考索引作为当前块的用于预测的参考索引，其中该预测图像是在最优帧间预测模式下生成的。
在预测图像选择单元124中，在例如来自画面内预测单元122和构成帧间预测单元123的视差预测单元131和时间预测单元132的预测图像中，选择编码成本最小的预测图像，并提供到计算单元113和120。
现在，在该实施例中，可以假设，例如向在视差预测中参考的参考图像（此处，解码中间视点彩色图像的图片）分配值为1的参考索引，并向在时间预测中参考的参考图像（此处，解码压缩彩色图像的图片）分配值为0的参考索引。
[视差预测单元131的配置示例]
图13为图示图12中的视差预测单元131的配置示例的框图。
在图13中，视差预测单元131具有参考图像转换单元140、视差检测单元141、视差补偿单元142、预测信息缓冲器143、成本函数计算单元144、以及模式选择单元145。
从DPB43向参考图像转换单元140提供解码中间视点彩色图像的图片作为参考图像。
为了在视差预测单元131处以作为子像素预测（精细度小于等于参考图像的像素之间的间隔）的分数精度执行视差预测，参考图像转换单元140对来自DPB43的参考图像进行滤波处理，其中对作为来自DPB43的参考图像的解码中间视点彩色图像的图片进行被称为子像素（Sub pel）的虚拟像素的内插，从而将参考图像转换为具有高解析度（具有大量像素）的参考图像，该具有高解析度（具有大量像素）的参考图像被提供到视差检测单元141和视差补偿单元142。
现在，用于对子像素进行内插的滤波处理以利用MVC如上所述地以分数精度执行视差预测（和时间预测）的滤波器被称为AIF（自适应内插滤波器）。
注意，在参考图像转换单元140处，可以将参考图像原样提供到视差检测单元141和视差补偿单元142，而不进行AIF处的滤波处理。
从参考图像转换单元140向视差检测单元141提供用作参考图像的解码中间视点彩色图像的图片，并从画面重排列缓冲器112向视差检测单元141提供待编码压缩彩色图像的图片（当前图片）。
视差检测单元141使用当前块和作为参考图像的解码中间视点彩色图像的图片执行ME，从而以当前块和解码中间视点彩色图像的图片检测表示相对于当前块的偏差的视差向量mv，这例如最大化了每个宏块类型的编码效率，例如使相对于当前块等的SAD等最小化，该视差向量mv被提供到视差补偿单元142。
从视差检测单元141向视差补偿单元142提供视差向量mv，并且还从参考图像转换单元140向视差补偿单元142提供用作参考图像的解码中间视点彩色图像的图片。
视差补偿单元142使用来自视差检测单元141的当前块的视差向量mv对来自参考图像转换单元140的参考图像执行视差补偿，从而针对每个宏块类型生成当前块的预测图像。
也就是说，视差补偿单元142获得这样的对应块作为预测图像，该对应块是用作参考图像的解码中间视点彩色图像的图片中的从当前块的位置偏移等于视差向量mv的量的块（区域）。
另外，视差补偿单元142根据需要使用当前块周围的已经被编码的宏块的视差向量，从而获得当前块的视差向量mv的预测向量PMV。
另外，视差补偿单元142获得作为当前块的视差向量mv与预测向量PMV之间的差的残差向量。
然后，视差补偿单元142将当前块针对每个预测模式（例如宏块类型）的预测图像与预测模式、当前块的残差向量、以及分配给用于生成预测图像的参考图像（此处，解码中间视点彩色图像的图片）的参考索引相关联，并且提供到预测信息缓冲器143和成本函数计算单元144。
预测信息缓冲器143临时存储来自视差补偿单元142的与预测模式、残差向量和参考索引相关联的预测图像及其预测模式作为预测信息。
从视差补偿单元142向成本函数计算单元144提供与预测模式、残差向量和参考索引相关联的预测图像，并从画面重排列缓冲器112向成本函数计算单元144提供压缩彩色图像的当前图片。
成本函数计算单元144针对用作预测模式的每个宏块类型（图10）计算根据用于计算编码成本的预定成本函数对来自画面重排列缓冲器112的当前图片的当前块进行编码所需要的编码成本。
也就是说，成本函数计算单元144从视差补偿单元142获得对应于残差向量的代码量的值MV，并且还从视差补偿单元142获得对应于参考索引（用于预测的参考索引）的代码量的值IN。
另外，成本函数计算单元144获得关于来自视差补偿单元142的预测图像的SAD，SAD是对应于当前块的残差的代码量的值D。
然后，成本函数计算单元144根据通过例如λ1和λ2进行加权的表达式COST=D+λ1×MV+λ2×IN，获得每个宏块类型的编码成本（成本函数的成本函数值）COST。
当获得每个宏块类型的编码成本（成本函数值）时，成本函数计算单元144将编码成本提供到模式选择单元145。
模式选择单元145从来自成本函数计算单元144的宏块类型的编码成本中检测作为最小值的最小成本。
另外，模式选择单元145选择已经获得最小成本的宏块类型作为最优帧间预测模式。
然后，模式选择单元145从预测信息缓冲器143读取与作为最优帧间预测模式的预测模式、残差向量和参考索引相关联的预测图像，并且与作为最优帧间预测模式的预测模式一起提供到预测图像选择单元124。
现在，从模式选择单元145提供到预测图像选择单元124的预测模式（最优帧间预测模式）、残差向量和参考索引（用于预测的参考索引）是关于帧间预测（此处为视差预测）的预测模式相关信息，并且在预测图像选择单元124处，根据需要将关于该帧间预测的预测模式相关信息提供到可变长度编码单元216作为头信息。
注意，在已经获得最小成本的参考索引为具有0值的参考索引的情况下，在模式选择单元145处，例如基于最小成本等进行关于是否将当前块编码为跳过宏块的确定。
在模式选择单元145处确定将当前块编码为跳过宏块的情况下，将最优帧间预测模式设置为跳过模式，在跳过模式下将当前块编码为跳过宏块。
另外，除了参考图像是解码压缩彩色图像的图片而不是解码中间视点彩色图像的图片之外，图12中的时间预测单元132执行与图13中的视差预测单元131相同的处理。
[利用MVC进行的滤波处理]
图14和15为用于描述在参考图像转换单元140处执行的滤波处理、即利用MVC进行的滤波处理的图，其中利用子像素对参考图像进行内插。
注意，在图14和图15中，圆形符号表示参考图像的原始像素（不是子像素的像素）。
如果假设参考图像的原始像素（在下文中也被称为原始像素）之间的水平和垂直间隔为1，则可以根据使用二维坐标系上的整数的坐标来表示原始像素的位置，在二维坐标系中特定原始像素的位置为原点（0,0）、水平方向为x轴并且垂直方向为y轴，因此原始像素也被称为整数像素。
另外，可通过使用整数的坐标表示的位置也被称为整数位置，并且仅由整数像素构成的图像也被称为整数精度图像。
在MVC中，如图14所示，执行用于通过水平方向上的6抽头（tap）滤波器（AIF）对作为整数精度图像的参考图像中的在水平方向上的连续阵列中的六个整数像素进行滤波的滤波处理（在下文中也被称为水平1/2像素生成滤波处理），以在六个整数像素中的第三和第四整数像素之间的位置生成作为子像素的像素。
现在，通过水平1/2像素生成滤波处理生成（内插）的像素也被称为水平1/2像素。
另外，如图14所示，在MVC中，执行用于通过垂直方向上的6抽头（tap）滤波器（AIF）在水平1/2像素生成滤波处理之后对参考图像中的在垂直方向上的连续阵列中的六个整数像素进行滤波的滤波处理（在下文中也被称为垂直1/2像素生成滤波处理），以在六个整数像素或水平1/2像素中的第三和第四整数像素之间的位置生成作为子像素的像素。
现在，通过垂直1/2像素生成滤波处理生成的像素也被称为垂直1/2像素。
另外，通过对整数精度图像进行水平1/2像素生成滤波处理、然后还进行垂直1/2像素生成滤波处理而获得的图像也被称为1/2精度图像。
在1/2精度图像中，像素之间的水平和垂直间隔是1/2，因此可通过使用包括整数的1/2间隔值的坐标来表示像素的位置。
在使用整数精度图像的情况下的视差预测（检测视差向量并生成预测图像）的精度是整数精度，而在使用1/2精度图像的情况下的视差预测的精度是1/2精度，因此可通过在使用1/2精度图像的情况下的视差预测来提高预测精度。
在MVC中，不仅可以使用诸如上述的1/2精度图像的参考图像执行1/2精度视差预测，而且可以根据1/2精度图像的参考图像生成具有甚至更高精度（解析度）的参考图像，并且该参考图像用于执行具有甚至更高精度的视差预测。
即，在MVC中，如图15所示，执行用于通过水平方向上的2抽头滤波器（AIF）对作为1/2精度图像的参考图像中的水平方向上的连续阵列中的整数像素和水平1/2像素（图15中的位置a处的像素）、或者两个垂直1/2像素（图15中的位置b处的像素）进行滤波的滤波处理（在下文中也被称为水平1/4像素生成滤波处理），以在整数像素和要进行滤波处理的水平1/2像素之间的位置处、或者在两个垂直1/2像素之间的位置c处生成作为子像素的像素。
现在，通过水平1/4像素生成滤波处理生成的像素也被称为水平1/4像素。
另外，在MVC中，如图15所示，执行用于通过垂直方向上的2抽头滤波器（AIF）对作为1/2精度图像的参考图像中的水平方向上的连续阵列中的整数像素和垂直1/2像素（图15中的位置b处的像素）、或者水平1/2像素（图15中的位置a处的像素）和垂直1/2像素（图15中的位置b处的像素）进行滤波的滤波处理（在下文中也被称为垂直1/4像素生成滤波处理），以在整数像素和要进行滤波处理的水平1/2像素之间的位置、或者在水平1/2像素与垂直1/2像素之间的位置d处生成作为子像素的像素。
现在，通过垂直1/4像素生成滤波处理生成的像素也被称为垂直1/4像素。
另外，在MVC中，如图15所示，执行用于通过倾斜方向上的2抽头滤波器（AIF）对作为1/2精度图像的参考图像中的倾斜方向上的连续阵列中的水平1/2像素（图15中的位置a处的像素）和垂直1/2像素（图15中的位置b处的像素）进行滤波的滤波处理（在下文中也被称为水平垂直1/4像素生成滤波处理），以在倾斜方向上的连续阵列中的水平1/2像素与垂直1/2像素之间的位置e处生成作为子像素的像素。
现在，通过水平垂直1/4像素生成滤波处理生成的像素也被称为水平垂直1/4像素。
另外，通过对1/2精度图像进行水平1/4像素生成滤波处理、然后还进行垂直1/4像素生成滤波处理、以及然后进行水平垂直1/4像素生成滤波处理而获得的图像也被称为1/4精度图像。
在1/4精度图像中，像素之间的水平和垂直间隔是1/4，因此可通过使用包括整数的1/4间隔值的坐标来表示像素的位置。
在使用1/4精度图像的参考图像的情况下的视差预测的精度为1/4精度，因此通过在使用1/4精度图像的参考图像的情况下的视差预测可以进一步提高预测精度。
现在，图14为用于描述通过对整数精度图像的参考图像进行水平1/2像素生成滤波处理和垂直1/2像素生成滤波处理来生成1/2精度图像的参考图像的图，而图15为用于描述通过对1/2精度图像的参考图像进行水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理来生成1/4精度图像的参考图像的图。
[参考图像转换单元140的配置示例]
图16为图示图13中的参考图像转换单元140的配置示例的框图。
参考图像转换单元140通过对参考图像进行如图14和图15所示的MVC滤波处理，将整数精度图像的参考图像转换为具有高解析度（具有大量像素）的图像，即1/2精度图像的参考图像或1/4精度图像的参考图像。
在图16中，参考图像转换单元140具有水平1/2像素生成滤波处理单元151、垂直1/2像素生成滤波处理单元152、水平1/4像素生成滤波处理单元153、垂直1/4像素生成滤波处理单元154、以及水平垂直1/4像素生成滤波处理单元155。
从DPB43向水平1/2像素生成滤波处理单元151提供解码中间视点彩色图像（的图片）作为整数精度图像的参考图像。
水平1/2像素生成滤波处理单元151对该整数精度图像的参考图像进行水平1/2像素生成滤波处理，并将水平方向上的像素数目是初始像素数目两倍的参考图像提供到垂直1/2像素生成滤波处理单元152。
垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的参考图像进行垂直1/2像素生成滤波处理，并将水平方向和垂直方向上的像素数目是初始像素数目两倍的参考图像，即1/2精度图像的参考图像（图14）提供到水平1/4像素生成滤波处理单元153。
水平1/4像素生成滤波处理单元153对来自垂直1/2像素生成滤波处理单元152的1/2精度图像的参考图像进行水平1/4像素生成滤波处理，并提供到垂直1/4像素生成滤波处理单元154。
垂直1/4像素生成滤波处理单元154对来自水平1/4像素生成滤波处理单元153的参考图像进行垂直1/4像素生成滤波处理，并提供到水平垂直1/4像素生成滤波处理单元155。
水平垂直1/4像素生成滤波处理单元155对来自垂直1/4像素生成滤波处理单元154的参考图像进行水平垂直1/4像素生成滤波处理，并输出水平方向和垂直方向上的像素数目是初始像素数目四倍的参考图像，即1/4精度图像的参考图像（图15）。
注意，在MVC中，在对参考图像进行像素被内插的滤波处理的情况下，将滤波处理规定为水平方向和垂直方向上的像素数目增加相同的倍数。
因此，在MVC中，可以使用整数精度图像的参考图像、1/2精度图像的参考图像或1/4精度图像的参考图像来执行视差预测（和时间预测）。
因此，在参考图像转换单元140处，存在三种情况：在一种情况下，不执行水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理中的任一个，并将整数精度图像的参考图像原样输出；在一种情况下，仅执行水平1/2像素生成滤波处理和垂直1/2像素生成滤波处理，并将整数精度图像的参考图像转换为1/2精度图像的参考图像；以及在一种情况下，执行水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理中的全部，并将整数精度图像的参考图像转换为1/4精度图像的参考图像。
[解码装置32C的配置示例]
图17为图示图3中的解码装置32C的配置示例的框图。
图17中的解码装置32C利用MVC对来自逆多路复用装置31（图3）的作为多视点彩色图像编码数据的中间视点彩色图像和压缩彩色图像的编码数据进行解码。
在图17中，解码装置32C具有解码器211和212，以及DPB213。
从逆多路复用装置31（图3）向解码器211提供多视点彩色图像编码数据中的作为基本视角图像的中间视点彩色图像的编码数据。
解码器211利用MVC对提供到解码器211的中间视点彩色图像的编码数据进行解码，并输出作为结果获得的中间视点彩色图像。
从逆多路复用装置31（图3）向解码器212提供多视点彩色图像编码数据中的作为非基本视角图像的压缩彩色图像的编码数据。
解码器212对提供到解码器212的压缩彩色图像的编码数据进行解码，并输出作为其结果获得的压缩彩色图像。
现在，将解码器211输出的多视点彩色图像和解码器212输出的压缩彩色图像提供到解析度逆转换装置33C（图3），作为解析度转换后的多视点彩色图像。
DPB213在临时存储通过在解码器211和212中的每个处对待解码图像进行解码而获得的解码后的图像（解码图像），作为要在生成预测图像时参考的参考图像（的备选）。
也就是说，解码器211和212各自对在图5中的编码器41和42处经过预测编码的图像进行解码。
为了对经过预测编码的图像进行解码，需要用于预测编码的预测图像，因此解码器211和212对待解码图像进行解码，之后在DPB213中临时存储用于生成预测图像的解码图像，以生成在预测编码中使用的预测图像。
DPB213是临时存储在解码器211和212中的每个处获得的解码后的图像（解码图像）的共享缓冲器，其中解码器211和212中的每个从存储在DPB213中的解码图像中选择用于对待解码图像进行解码所参考的参考图像，并使用参考图像生成预测图像。
在解码器211和212之间共享DPB213，因此解码器211和212各自除了可以参考从其自身获得的解码图像之外，还可以参考在另一个解码器处获得的解码图像。
然而，注意，解码器211对基本视角图像进行解码，因此仅参考在解码器211处获得的解码图像。
[解码器212的配置示例]
图18为图示图17中的解码器212的配置示例的框图。
在图18中，解码器212具有存储缓冲器241、可变长度解码单元242、逆量化单元243、逆正交变换单元244、计算单元245、去块滤波器246、画面重排列缓冲器247、D/A转换单元248、画面内预测单元249、帧间预测单元250、以及预测图像选择单元251。
从逆多路复用装置31向存储缓冲器241提供构成多视点彩色图像编码数据的中间视点彩色图像和压缩彩色图像的编码数据中的压缩彩色图像的编码数据。
存储缓冲器241临时存储提供到存储缓冲器241的编码数据，并提供到可变长度解码单元242。
可变长度解码单元242对来自存储缓冲器241的编码数据执行可变长度解码，从而恢复量化值和作为头信息的预测模式相关信息。然后，可变长度解码单元242将量化值提供到逆量化单元243，并将头信息（预测模式相关信息）提供到画面内预测单元249和帧间预测单元250。
逆量化单元243将来自可变长度解码单元242的量化值逆量化为变换系数，并提供到逆正交变换单元244。
逆正交变换单元244以宏块为增量执行来自逆量化单元243的变换系数的逆正交变换，并提供到计算单元245。
计算单元245将从逆正交变换单元244提供的宏块作为待解码的当前块，并根据需要将从预测图像选择单元251提供的预测图像加到当前块，从而获得解码图像，解码图像被提供到去块滤波器246。
去块滤波器246例如以与图9中的去块滤波器121相同的方式对来自计算单元245的解码图像进行滤波，并将该滤波后的解码图像提供到画面重排列缓冲器247。
画面重排列缓冲器247临时存储和读取来自去块滤波器246的解码图像的图片，从而将图片的顺序重排列为初始顺序（显示顺序），并提供到D/A（数字/模拟）转换单元248。
在需要将来自画面重排列缓冲器247的图片输出为模拟信号的情况下，D/A转换单元248对图片进行D/A转换并输出。
另外，去块滤波器246将滤波后的解码图像中的作为可参考图片的I图片、P图片和Bs图片的解码图像提供到DPB213。
现在，DPB213存储来自去块滤波器246的解码图像的图片，即压缩彩色图像的图片，作为在生成预测图像时参考的参考图像，以在稍后执行的解码中使用。
如图17所述，在解码器211与212之间共享DPB213，因此DPB213除了存储在解码器212处解码的压缩彩色图像（解码压缩彩色图像）的图片之外，还存储在解码器211处解码的中间视点彩色图像（解码中间视点彩色图像）的图片。
画面内预测单元249基于来自可变长度解码单元242的头信息识别是否已使用通过帧内预测（画面内预测）生成的预测图像对当前块进行了编码。
在已使用通过帧内预测生成的预测图像对当前块进行了编码的情况下，以与图9中的画面内预测单元122相同的方式，画面内预测单元249从DPB213读取包括当前块的图片（当前图片）的已解码部分（解码图像）。然后，画面内预测单元249将从DPB213读取的当前图片的解码图像部分提供到预测图像选择单元251，作为当前块的预测图像。
帧间预测单元250基于来自可变长度解码单元242的头信息识别是否已使用通过帧间预测生成的预测图像对当前块进行了编码。
在已使用通过帧间预测生成的预测图像对当前块进行了编码的情况下，帧间预测单元250基于来自可变长度解码单元242的头信息（预测模式相关信息），识别用于预测的参考索引，即分配给用于生成当前块的预测图像的参考图像的参考索引。
然后，帧间预测单元250从存储在DPB213中的解码压缩彩色图像的图片和解码中间视点彩色图像的图片中读取被分配有用于预测的参考索引的图片作为参考图像。
另外，帧间预测单元250基于来自可变长度解码单元242的头信息识别用于生成当前块的预测图像的偏差向量（视差向量、运动向量），并以与图9中的帧间预测单元123相同的方式，根据偏差向量执行参考图像的偏差补偿（补偿等于移动量的偏移的运动补偿、或补偿等于视差量的偏移的视差补偿），从而生成预测图像。
也就是说，帧间预测单元250根据当前块的偏差向量，获得位于参考图像中从当前块的位置移动（偏移）的位置处的块（当前块）作为预测图像。
然后，帧间预测单元250将预测图像提供到预测图像选择单元251。
在从画面内预测单元249提供预测图像的情况下，预测图像选择单元251选择该预测图像，而在从帧间预测单元250提供预测图像的情况下，选择该预测图像并提供到计算单元245。
[帧间预测单元250的配置示例]
图19为图示图18中的解码器212的帧间预测单元250的配置示例的框图。
在图19中，帧间预测单元250具有参考索引处理单元260、视差预测单元261和时间预测单元262。
现在，在图19中，从去块滤波器246向DPB213提供被存储为参考图像的解码图像，即在解码器212处解码的解码压缩彩色图像的图片。
另外，如参考图17和图18所述，向DPB213提供在解码器211处解码的解码中间视点彩色图像的图片，并且存储该图片。因此，在图19中，图示指示将在解码器211处获得的解码中间视点彩色图像提供到DPB213的箭头。
从可变长度解码单元242向参考索引处理单元260提供作为头信息的预测模式相关信息中的当前块的（用于预测的）参考索引。
参考索引处理单元260从DPB213读取分配有来自可变长度解码单元242的当前块的用于预测的参考索引的解码中间视点彩色图像的图片，并提供到视差预测单元261或时间预测单元262。
现在，如图12所示，在本实施例中，在编码器42处将值1的参考索引分配给作为在视差预测中参考的参考图像的解码中间视点彩色图像的图片，并且将值0的参考索引分配给作为在时间预测中参考的参考图像的解码压缩彩色图像的图片。
因此，可通过当前块的用于预测的参考索引，识别用于生成当前块的预测图像的参考图像是解码中间视点彩色图像的图片还是解码压缩彩色图像的图片，另外，还可以识别在生成当前块的预测图像时偏差预测要执行时间预测和视差预测中的哪个。
在来自可变长度解码单元242的已分配有当前块的用于预测的参考索引的图片为解码中间视点彩色图像的图片的情况下（在用于预测的参考索引为1的情况下），通过视差预测生成当前块的预测图像，因此参考索引处理单元260从DPB213读取已分配有用于预测的参考索引的解码中间视点彩色图像的图片作为参考图像，并将其提供到视差预测单元261。
另外，在来自可变长度解码单元242的已分配有当前块的用于预测的参考索引的图片为解码压缩彩色图像的图片的情况下（在用于预测的参考索引为0的情况下），通过时间预测生成当前块的预测图像，因此参考索引处理单元260从DPB213读取已分配有用于预测的参考索引的解码压缩彩色图像的图片作为参考图像，并将其提供到时间预测单元262。
从可变长度解码单元242向视差预测单元261提供作为头信息的预测模式相关信息。
视差预测单元261基于来自可变长度解码单元242的头信息识别是否使用通过视差预测生成的预测图像对当前块进行了编码。
在使用通过视差预测生成的预测图像对当前块进行了编码的情况下，视差预测单元261基于来自可变长度解码单元242的头信息恢复用于生成当前块的预测图像的视差向量，并以与图12中的视差预测单元131相同的方式，通过根据该视差向量执行视差预测（视差补偿）来生成预测图像。
也就是说，在使用通过视差预测生成的预测图像对当前块进行了编码的情况下，如上所述，从参考索引处理单元260向视差预测单元261提供解码中间视点彩色图像的图片作为参考图像。
根据当前块的偏移向量，视差预测单元261从参考索引处理单元260获取在从用作参考图像的解码中间视点彩色图像的图片中的当前块的位置移动（偏移）的位置处的块（对应块）作为预测图像。
然后，视差预测单元261将预测图像提供到预测图像选择单元251。
从可变长度解码单元242向时间预测单元262提供作为头信息的预测模式相关信息。
时间预测单元262基于来自可变长度解码单元242的头信息识别是否使用通过时间预测生成的预测图像对当前块进行了编码。
在使用通过时间预测生成的预测图像对当前块进行了编码的情况下，时间预测单元262基于来自可变长度解码单元242的头信息恢复用于生成当前块的预测图像的运动向量，并以与图12中的时间预测单元132相同的方式，通过根据该运动向量执行时间预测（运动补偿）来生成预测图像。
也就是说，在使用通过时间预测生成的预测图像对当前块进行了编码的情况下，如上所述，从参考索引处理单元260向时间预测单元262提供解码压缩彩色图像的图片作为参考图像。
根据当前块的偏差向量，时间预测单元262从参考索引处理单元260获取在从用作参考图像的解码压缩彩色图像的图片中的当前块的位置移动（偏移）的位置处的块（对应块）作为预测图像。
然后，时间预测单元262将预测图像提供到预测图像选择单元251。
[视差预测单元261的配置示例]
图20为图示图19中的视差预测单元261的配置示例的框图。
在图20中，视差预测单元261具有参考图像转换单元271和视差补偿单元272。
从参考索引处理单元260向参考图像转换单元271提供用作参考图像的解码中间视点彩色图像的图片。
参考图像转换单元271以与编码器42侧的参考图像转换单元140相同的方式进行配置，并且以与参考图像转换单元140相同的方式转换来自参考索引处理单元260的用作参考图像的解码多视点彩色图像。
也就是说，参考图像转换单元271将来自参考索引处理单元260的参考图像无变化地提供到视差补偿单元272，或者转换为1/2精度图像的参考图像或1/4精度图像的参考图像并提供到视差补偿单元272。
从参考图像转换单元271向视差补偿单元272提供用作参考图像的解码多视点彩色图像，并且还从可变长度解码单元242向视差补偿单元272提供包括在用作头信息的模式相关信息中的预测模式和残差向量。
视差补偿单元272根据需要使用已解码的宏块的视差向量获得当前块的视差向量的预测向量，并将预测向量加到来自可变长度解码单元242的当前块的残差向量，从而恢复当前块的视差向量mv。
另外，视差补偿单元272使用当前块的视差向量mv对来自参考图像转换单元271的用作参考图像的解码中间视点彩色图像的图片执行视差补偿，从而针对来自可变长度解码单元242的预测模式所指示的宏块类型，生成当前块的预测图像。
也就是说，视差补偿单元272获取当前块作为预测图像，该当前块是解码中间视点彩色图像的图片中的在从当前块位置偏移等于视差向量mv的量的位置处的块。
然后，视差补偿单元272将预测图像提供到预测图像选择单元251。
注意，除了参考图像是解码压缩彩色图像的图片而不是解码中间视点彩色图像的图片之外，图19中的时间预测单元132执行与图20中的视差预测单元261相同的处理。
如上所述，在MVC中，除了可以对非基本视角图像执行时间预测之外还可以对非基本视角图像执行视差预测，从而可以提高编码效率。
然而，如上所述，在非基本视角图像是压缩彩色图像、并且在视差预测中参考（可以参考）的基本视角图像是中间视点彩色图像的情况下，可能使视差预测的预测精度（预测效率）劣化。
因此，为了简化说明，现在假设中间视点彩色图像、左视点彩色图像和右视点彩色图像的水平和垂直解析度比（水平像素数目与垂直像素数目的比）为1:1。
例如，如图4所述，压缩彩色图像是相当于一个视点的图像，其中左视点彩色图像和右视点彩色图像中的每个的垂直解析度已变为1/2，并且将解析度已变为1/2的左视点彩色图像和右视点彩色图像垂直排列。
因此，在编码器42（图9）处，待编码的压缩彩色图像（待编码图像）的解析度比与中间视点彩色图像（解码中间视点彩色图像）的解析度比不一致（匹配），中间视点彩色图像是与压缩彩色图像具有不同视点的、在生成压缩彩色图像的预测图像时的视差预测中所参考的参考图像。
也就是说，在压缩彩色图像中，左视点彩色图像和右视点彩色图像中的每个的垂直方向上的解析度（垂直解析度）是初始解析度的1/2，因此作为压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比为2:1。
另一方面，用作参考图像的中间视点彩色图像的解析度比为1:1，并且这与作为压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比2:1不一致。
在压缩彩色图像的解析度比与中间视点彩色图像的解析度比不一致的情况下，即，在作为压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比与用作参考图像的中间视点彩色图像的解析度比不一致的情况下，视差预测的预测精度劣化（在视差预测中生成的预测图像与当前块之间的残差变大），并且编码效率劣化。
[发送装置11的配置示例]
因此，图21为图示图1中的发送装置11的另一个配置示例的框图。
注意，以相同的符号表示与图2中的情况对应的部分，并且将适当省略下文中的描述。
在图21中，发送装置11具有解析度转换装置321C和321D，编码装置322C和322D，以及多路复用装置23。
因此，图21中的发送装置11与图2中的情况相同之处在于具有多路复用装置23，而与图2中的情况不同之处在于设置有解析度转换装置321C和321D以及编码装置322C和322D而不是解析度转换装置21C和21D以及编码装置22C和22D。
将多视点彩色图像提供到解析度转换装置321C。
例如，解析度转换装置321C执行与图2中的解析度转换装置21C和21D中的每个相同的处理。
也就是说，解析度转换装置321C执行解析度转换以将提供到解析度转换装置321C的多视点彩色图像转换为具有比原始解析度更低的低解析度的解析度转换后的多视点彩色图像，并将作为结果获得的解析度转换后的多视点彩色图像提供到编码装置322C。
另外，解析度转换装置321C生成解析度转换信息，并提供到编码装置322C。
现在，解析度转换装置321C生成的解析度转换信息是关于在解析度转换装置321C处执行的从多视点彩色图像到解析度转换后的多视点彩色图像的解析度转换的信息，并包括关于压缩彩色图像（包括左视点彩色图像和右视点彩色图像）和中间视点彩色图像的解析度信息，其中，压缩彩色图像是使用视差预测进行编码的、要在下游编码装置322C处进行编码的图像，中间视点彩色图像是在该待编码图像的视差预测中所参考的、与待编码图像具有不同视点的参考图像。
也就是说，如参考图4所述，在编码装置322C中，对作为在解析度转换装置321C处的解析度转换的结果获得的解析度转换后的多视点彩色图像进行编码，并且要待编码的解析度转换后的多视点彩色图像是中间视点彩色图像和压缩彩色图像。
在中间视点彩色图像和压缩彩色图像中，要使用视差预测进行编码的图像是作为非基本视角图像的压缩彩色图像，而在压缩彩色图像的视差预测中参考的参考图像是中间视点彩色图像。
因此，解析度转换装置321C生成的解析度转换信息包括关于压缩彩色图像和中间视点彩色图像的解析度的信息。
编码装置322C利用对例如MVC（其为用于发送多视点图像的标准）等的标准进行了扩展的扩展格式对从解析度转换装置321C提供的解析度转换后的多视点彩色图像进行编码，并将作为结果获得的编码数据的中间视点彩色图像编码数据提供到多路复用装置23。
注意，对于用作作为编码装置322C的编码格式的扩展格式的基础的标准，除了MVC之外，还可以使用诸如HEVC（高效率视频编码）等的标准，其可以发送多视点的图像，并对在视差预测中参考的参考图像进行滤波处理，在滤波处理中对像素进行内插，从而以像素精度或更低精度（分数精度）执行视差预测（视差校正）。
将多视点彩色图像提供到解析度转换装置321D。
除了对景深图像（多视点景深图像）而不是彩色图像（多视点彩色图像）执行处理之外，解析度转换装置321D和编码装置322D各自执行与解析度转换装置321C和解析度转换装置322C相同的处理。
[接收装置12的配置示例]
图22为图示图1中的接收装置12的另一个配置示例的图。
也就是说，图22图示在如图21所示对图1中的发送装置11进行配置的情况下的图1中的接收装置12的配置示例。
注意，以相同的符号表示与图3中的情况对应的部分，并且适当省略下文中的描述。
在图22中，接收装置12具有逆多路复用装置31、解码装置332C和332D、以及解析度逆转换装置333C和333D。
因此，图22中的接收装置12与图3中的情况相同之处在于具有逆多路复用装置31，而与图3中的情况不同之处在于，设置有解码装置332C和332D以及解析度逆转换装置333C和333D而不是解码装置32C和32D以及解析度逆转换装置33C和33D。
解码装置332C利用扩展格式对从逆多路复用装置31提供的多视点彩色图像编码数据进行解码，并将作为结果获得的解析度转换后的多视点彩色图像和解析度转换信息提供到解析度逆转换装置333C。
解析度逆转换装置333C执行逆解析度转换，以基于来自解码装置332C的解析度转换信息将也来自解码装置332C的解析度转换后的多视点彩色图像（逆）转换为原始解析度，并输出作为结果获得的多视点彩色图像。
除了对来自逆多路复用装置31的多视点景深图像编码数据（解析度转换后的多视点景深图像）而不是多视点彩色图像编码数据（解析度转换后的多视点彩色图像）执行处理之外，解码装置332D和解析度逆转换装置333D各自执行与解码装置332C和解析度逆转换装置333C相同的处理。
[解析度转换和解析度逆转换]
图23为用于描述图21中的解析度转换装置321C（和321D）执行的解析度转换和图22中的解析度逆转换装置333C（和333D）执行的解析度逆转换的图。
以与例如图2中的解析度转换装置21C相同的方式，解析度转换装置321C（图21）将作为提供到解析度转换装置321C的多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像原样输出（未执行解析度转换）。
另外，以与例如图2中的解析度转换装置21C相同的方式，解析度转换装置321C将多视点彩色图像的剩下的左视点彩色图像和右视点彩色图像两者的解析度转换为较低解析度，并通过将其组合为相当于一个视点的图像进行压缩，从而生成并输出压缩彩色图像。
也就是说，解析度转换装置321C将左视点彩色图像和右视点彩色图像中的每个的垂直解析度（像素数目）转换为1/2，并例如将垂直解析度已经成为1/2的左视点彩色图像和右视点彩色图像垂直排列，从而生成作为相当于一个视点的图像的压缩彩色图像。
现在，在图23中的压缩彩色图像中，以与图4中的情况相同的方式，左视点彩色图像位于上侧，而右视点彩色图像位于下侧。
解析度转换装置321C还生成解析度转换信息，该解析度转换信息指示：中间视点彩色图像的解析度未改变，压缩彩色图像是包括左视点彩色图像和右视点彩色图像（其垂直解析度已变为1/2）的、相当于一个视点的图像等。
另一方面，解析度逆转换装置333C（图22）根据提供到解析度逆转换装置333C的解析度转换信息识别：中间视点彩色图像的解析度未改变，压缩彩色图像是左视点彩色图像和右视点彩色图像已被垂直排列的、相当于一个视点的图像等。
然后，解析度逆转换装置333C基于根据解析度转换信息识别的信息将作为提供到解析度逆转换装置333C的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的中间视点彩色图像原样输出。
另外，解析度逆转换装置333C基于解析度转换信息垂直分离作为提供到解析度逆转换装置333C的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的压缩彩色图像。
另外，解析度逆转换装置333C将通过垂直分离压缩彩色图像（其垂直解析度已成为1/2）获得的左视点彩色图像和右视点彩色图像的垂直解析度恢复为原解析度并输出。
注意，多视点彩色图像（和多视点景深图像）可以为四个或更多个视点的图像。在多视点彩色图像是四个或更多个视点的图像的情况下，可以生成两个压缩彩色图像，其中如上所述将垂直解析度已成为1/2的两个视点彩色图像压缩为相当于一个图像（的数据量）。另外，可以生成这样的压缩彩色图像，其中将垂直解析度被降低为1/2以下的三个或更多个视点的图像压缩在相当于一个视点的图像中，或者可以生成这样的压缩彩色图像，其中将水平和垂直解析度已成为低解析度的三个或更多个视点的图像压缩在相当于一个视点的图像中。
[发送装置11的处理]
图24为描述图21中的发送装置11的处理的流程图。
在步骤S11中，解析度转换装置321C对提供到解析度转换装置321C的多视点彩色图像执行解析度转换，并将作为结果获得的作为中间视点彩色图像和压缩彩色图像的解析度转换后的多视点彩色图像提供到编码装置322C。
另外，解析度转换装置321C生成关于解析度转换后的多视点彩色图像的解析度转换信息，将其提供到编码装置322C，并且流程从步骤S11前进到步骤S12。
在步骤S12中，解析度转换装置321D对提供到解析度转换装置321D的多视点景深图像执行解析度转换，并将作为结果获得的作为中间视点彩色图像和压缩景深图像的解析度转换后的多视点景深图像提供到编码装置322D。
另外，解析度转换装置321D生成关于解析度转换后的多视点景深图像的解析度转换信息，将其提供到编码装置322D，并且流程从步骤S12前进到步骤S13。
在步骤S13，编码装置322C根据需要使用来自解析度转换装置321C的解析度转换信息对来自解析度转换装置321C的解析度转换后的多视点彩色图像进行编码，将作为结果获得的编码数据的多视点彩色图像编码数据提供到多路复用装置23，并且流程前进到步骤S14。
在步骤S14，编码装置322D根据需要使用来自解析度转换装置321D的解析度转换信息对来自解析度转换装置321D的解析度转换后的多视点景深图像进行编码，将作为结果获得的编码数据的多视点景深图像编码数据提供到多路复用装置23，并且流程前进到步骤S15。
在步骤S15，多路复用装置23多路复用来自编码装置322C的多视点彩色图像编码数据和来自编码装置322D的多视点景深图像编码数据，并输出作为结果获得的多路复用比特流。
[接收装置12的处理]
图25为用于描述图22中的接收装置12的处理的流程图。
在步骤S21中，逆多路复用装置31对提供到逆多路复用装置31的多路复用比特流执行逆多路复用，从而将多路复用比特流分离为多视点彩色图像编码数据和多视点景深图像编码数据。
然后，逆多路复用装置31将多视点彩色图像编码数据提供到解码装置332C，将多视点景深图像编码数据提供到解码装置332D，并且流程从步骤S21前进到步骤S22。
在步骤S22中，解码装置332C利用扩展格式对来自逆多路复用装置31的多视点彩色图像进行解码，将作为结果获得的解析度转换后的多视点彩色图像和关于解析度转换后的多视点彩色图像的解析度转换信息提供到解析度逆转换装置333C，并且流程前进到步骤S23。
在步骤S23中，解码装置332D利用扩展格式对来自逆多路复用装置31的多视点景深图像进行解码，将作为结果获得的解析度转换后的多视点景深图像和关于解析度转换后的多视点景深图像的解析度转换信息提供到解析度逆转换装置333D，并且流程前进到步骤S24。
在步骤S24中，解析度逆转换装置333C执行解析度逆转换，以基于来自解码装置332C的解析度转换信息将也来自解码装置332C的解析度转换后的多视点彩色图像逆转换为原始解析度的多视点彩色图像，输出作为结果获得的多视点彩色图像，并且流程前进到步骤S25。
在步骤S25中，解析度逆转换装置333D执行解析度逆转换，以基于来自解码装置332D的解析度转换信息将也来自解码装置332D的解析度转换后的多视点景深图像逆转换为原始解析度的多视点景深图像，并输出作为结果获得的多视点景深图像。
[编码装置322C的配置示例]
图26为图示图21中的编码装置322C的配置示例的框图。
注意，以相同的符号表示与图5中的情况对应的部分，并且将适当省略下文中的描述。
在图26中，编码装置322C具有编码器41、DPB43和编码器342。
因此，图26中的编码装置322C与图5中的编码装置22C的相同之处在于具有编码器41和DPB43，而与图5中的编码装置22C的不同之处在于用编码器342替换编码器42。
从解析度转换装置321C向编码器41提供构成解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的中间视点彩色图像。
从解析度转换装置321C向编码器342提供构成解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的压缩彩色图像。
从解析度转换装置321C向编码器342进一步提供解析度转换信息。
如图5所述，编码器41将中间视点彩色图像作为基本视角图像并利用MVC（AVC）进行编码，以及输出作为结果获得的中间视点彩色图像的编码数据。
编码器342基于解析度转换信息将压缩彩色图像作为非基本视角图像并利用扩展格式进行编码，以及输出作为结果获得的压缩彩色图像的编码数据。
将从编码器41输出的中间视点彩色图像的编码数据和从编码器342输出的压缩彩色图像的编码数据提供到多路复用装置23（图21），作为多视点彩色图像编码数据。
现在，在图26中，编码器41和编码器342共享DPB43。
也就是说，编码器41和编码器342执行待编码图像的预测编码。因此，为了生成用于预测编码的预测图像，编码器41和编码器342对待编码图像进行编码，然后执行本地解码，从而获得解码图像。
DPB43临时存储从编码器41和编码器342中的每个获得的解码图像。
编码器41和编码器342各自从存储在DPB43中的解码图像中选择在对待编码图像进行编码时参考的参考图像。然后，编码器41和编码342各自使用参考图像生成预测图像，并使用这些预测图像执行图像编码（预测编码）。
因此，编码器41和编码器342除了可以参考在其自身处获得的解码图像之外，还可以参考在另一个编码器处获得的解码图像。
然而，注意，编码器41对基本视角图像进行编码，因此仅参考在编码器41处获得的解码图像。
[编码器342的配置示例]
图27为图示图26中的编码器342的配置示例的框图。
注意，以相同的符号表示附图中与图9和图12中的情况对应的部分，并且将适当省略下文中的描述。
在图27中，编码器342具有A/D转换单元111、画面重排列缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、去块滤波器121、画面内预测单元122、预测图像选择单元124、SEI（补充增强信息）生成单元351、以及帧间预测单元352。
因此，编码器342与图9中的编码器42的相同之处在于具有A/D转换单元111至画面内预测单元122、和预测图像选择单元124。
然而，注意，编码器342与图9中的编码器42的不同之处在于，新设置有SEI生成单元351，并且设置有帧间预测单元352而不是帧间预测单元123。
从解析度转换装置321C向SEI生成单元351提供关于解析度转换后的多视点彩色图像的解析度转换信息（图21）。
SEI生成单元351根据MVC（AVC）将提供到SEI生成单元351的解析度转换信息的格式转换为SEI格式，并输出作为结果获得的解析度转换SEI。
将SEI生成单元351输出的解析度转换SEI提供到可变长度编码单元116和帧间预测单元352（的视差预测单元361）。
在可变长度编码单元116处，将来自SEI生成单元351的解析度转换SEI包括在编码数据中进行发送。
帧间预测单元352包括时间预测单元132和视差预测单元361。
因此，帧间预测单元352与图12中的帧间预测单元123的相同之处在于具有时间预测单元132，而与图12中的帧间预测单元123的不同之处在于，设置有视差预测单元361而不是视差预测单元131。
从画面重排列缓冲器112向视差预测单元361提供压缩彩色图像的当前图片。
以与图12中的视差预测单元131相同的方式，视差预测单元361使用存储在DPB43中的解码中间视点彩色图像的图片（与当前图片相同时刻的图片）作为参考图像，执行来自画面重排列缓冲器112的压缩彩色图像的当前图片的当前块的视差预测，并生成当前块的预测图像。
然后，视差预测单元361将预测图像与诸如残差向量等的头信息一起提供到预测图像选择单元124。
另外，从SEI生成单元351向视差预测单元361提供解析度转换SEI。
视差预测单元361根据来自SEI生成单元351的解析度转换SEI控制滤波处理，该滤波处理要被施加到在视差预测中用作要参考的参考图像的解码中间视点彩色图像的图片。
也就是说，如上所述，当对参考图像进行像素被内插的滤波处理时，在MVC中，存在这样的规定，即，执行滤波处理使得以相同的倍数增加水平方向和垂直方向上的像素数目，从而在视差预测单元361处，根据来自SEI生成单元351的解析度转换SEI控制要施加到在视差预测中用作要参考的参考图像的解码中间视点彩色图像的图片的滤波处理，从而将参考图像转换为解析度比与待编码压缩彩色图像的图片的水平和垂直解析度比（水平像素数目与垂直像素数目的比）相匹配的转换后的参考图像。
[解析度转换SEI]
图28为用于描述在SEI生成单元351处生成的解析度转换SEI的图。
也就是说，图28为示出用作解析度转换SEI的3dv_view_resolution（payloadSize）的语法（syntax）的示例的图。
用作解析度转换SEI的3dv_view_resolution（payloadSize）具有参数num_views_minus_1、view_id[i]、frame_packing_info[i]和view_id_in_frame[i]。
图29为用于描述对解析度转换SEI的参数num_views_minus_1、view_id[i]、frame_packing_info[i]和view_id_in_frame[i]设置的值的图，该解析度转换SEI是根据关于解析度转换后的多视点彩色图像的解析度转换信息生成的。
参数num_views_minus_1表示通过从构成解析度转换后的多视点彩色图像的视点的数目减1获得的值。
在该实施例中，解析度转换后的多视点彩色图像是两个视点的图像，包括中间视点彩色图像和被压缩为相当于一个视点的图像的具有左视点彩色图像和右视点彩色图像的压缩彩色图像，因此对num_views_minus_1设置num_views_minus_1=2-1=1。
参数view_id[i]指示标识构成解析度转换后的多视点彩色图像的第i+1（i=0,1,...）个图像的索引。
即，例如这里假设，左视点彩色图像是由编号0表示的视点＃0（左视点）的图像，中间视点彩色图像是由编号1表示的视点＃1（中间视点）的图像，以及右视点彩色图像是由编号2表示的视点＃2（右视点）的图像。
另外，假设，在解析度转换装置321C处，关于中间视点彩色图像和压缩彩色图像重新分配表示视点的编号，该中间视点彩色图像和压缩彩色图像构成通过对中间视点彩色图像、左视点彩色图像和右视点彩色图像执行解析度转换获得的解析度转换后的多视点彩色图像，从而对中间视点彩色图像分配表示视点＃1的编号1，而对压缩彩色图像分配表示视点＃0的编号0。
另外，假设，中间视点彩色图像是构成解析度转换后的多视点彩色图像的第1图像（i=0的图像），而压缩彩色图像是构成解析度转换后的多视点彩色图像的第2图像（i=1的图像）。
在该情况下，作为构成解析度转换后的多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像的view_id[0]设置有表示中间视点彩色图像的视点＃1的编号1（view_id[0]=1）。
另外，作为构成解析度转换后的多视点彩色图像的第2（=i+1=1+1）图像的压缩彩色图像的view_id[1]设置有表示压缩彩色图像的视点＃0的编号0（view_id[1]=0）。
参数frame_packing_info[i]表示是否存在构成解析度转换后的多视点彩色图像的第i+1个图像的压缩以及压缩的模式（压缩模式）。
现在，参数frame_packing_info[i]的值为0表示无压缩。
另外，例如参数frame_packing_info[i]的值为1或2表示存在压缩。
参数frame_packing_info[i]的值为1表示上下压缩（Over UnderPacking），其中两个视点的图像中的每个的垂直解析度被降低到1/2，并且对解析度变为1/2的两个视点的图像进行垂直排列，从而形成相当于一个视点（的数据量）的图像。
另外，参数frame_packing_info[i]的值为2表示并排压缩（SideBy Side Packing），其中两个视点的图像中的每个的水平解析度被降低到1/2，并且对解析度变为1/2的两个视点的图像进行水平排列，从而形成相当于一个视点（的数据量）的图像。
在本实施例中，作为构成解析度转换后的多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像未被压缩，因此将中间视点彩色图像的参数frame_packing_info[0]设为值0，从而指示无压缩（frame_packing_info[0]=0）。
另外，在本实施例中，作为构成解析度转换后的多视点彩色图像的第2（=i+1=1+1）图像的压缩彩色图像通过上下压缩被压缩，因此将压缩彩色图像的参数frame_packing_info[1]设为值1，从而指示存在上下压缩（frame_packing_info[1]=1）。
现在，在图28中的解析度转换SEI（3dv_view_resolution(payloadSize)）中，循环for（i=0;<num_views_in_frame_minus_1;i++）的变量num_views_in_frame_minus_1指示通过从构成解析度转换后的多视点彩色图像的第i+1图像中压缩的图像的（视点的）数目减1而获得的值。
因此，在frame_packing_info[i]为0的情况下，构成解析度转换后的多视点彩色图像的第i+1图像未被压缩（一个视点的图像被压缩在第i+1图像中），因此将变量num_views_in_frame_minus_1设为0=1-1。
另外，在frame_packing_info[i]为1或2的情况下，构成解析度转换后的多视点彩色图像的第i+1图像具有被压缩在第i+1图像中的两个视点的图像，因此将变量num_views_in_frame_minus_1设为1=2-1。
参数view_id_in_frame[i]表示标识被压缩在压缩彩色图像中的图像的索引。
现在，参数view_id_in_frame[i]的变量i不同于其它参数view_id[i]和frame_packing_info[i]的变量i，因此将参数view_id_in_frame[i]的变量i表示为j以方便描述，从而将参数view_id_in_frame[i]表示为view_id_in_frame[j]。
仅对构成解析度转换后的多视点彩色图像的、参数frame_packing_info[i]不为0的图像发送参数view_id_in_frame[j]，即仅对压缩彩色图像发送参数view_id_in_frame[j]。
在压缩彩色图像的参数frame_packing_info[i]为1的情况下，即在压缩彩色图像是经过上下压缩（其中两个视点的图像被垂直排列）的图像的情况下，变量j＝0的参数view_id_in_frame[0]表示在压缩彩色图像中的经过上下压缩的图像中标识位于上部的图像的索引，而变量j＝1的参数view_id_in_frame[1]表示在压缩彩色图像中的经过上下压缩的图像中标识位于下部的图像的索引。
另外，在压缩彩色图像的参数frame_packing_info[i]为2的情况下，即在压缩彩色图像是经过并排压缩（其中两个视点的图像的被水平排列）的图像的情况下，变量j＝0的参数view_id_in_frame[0]表示在压缩彩色图像中的经过并排压缩的图像中标识位于左侧的图像的索引，而变量j＝1的参数view_id_in_frame[1]表示在压缩彩色图像中的经过并排压缩的图像中标识位于右侧的图像的索引。
在本实施例中，压缩彩色图像是执行了上下压缩的图像，其中左视点彩色图像位于上部，而右视点彩色图像位于下部，因此将标识位于上方的图像的、变量j=0的参数view_id_in_frame[0]设置为表示左视点彩色图像的视点#0的编号0，而将标识位于下方的图像的、变量j=1的参数view_id_in_frame[1]设置为表示右视点彩色图像的视点#2的编号2。
[视差预测单元131的配置示例]
图30为图示图27中的视差预测单元361的配置示例的框图。
注意，以相同的符号表示附图中的对应于图13中的情况的部分，并且将适当省略下文中的描述。
在图30中，视差预测单元361具有视差检测单元141、视差补偿单元142、预测信息缓冲器143、成本函数计算单元144、模式选择单元145、以及参考图像转换单元370。
因此，图30中的视差预测单元361与图13中的视差预测单元131的相同之处在于具有视差检测单元141至模式选择单元145。
然而，图30中的视差预测单元361与图13中的视差预测单元131的不同之处在于以参考图像转换单元370替换参考图像转换单元140。
从DPB43向参考图像转换单元370提供解码中间视点彩色图像的图片作为参考图像，并且还从SEI生成单元351向参考图像转换单元370提供解析度转换SEI。
参考图像转换单元370根据来自SEI生成单元351的解析度转换SEI，控制要施加到用作要在视差预测中参考的参考图像的解码中间视点彩色图像的图片的滤波处理，从而将参考图像转换为解析度比与待编码的压缩彩色图像的图片的水平和垂直解析度比相匹配的转换后的参考图像，并提供到视差检测单元141和视差补偿单元142。
[参考图像转换单元370的配置示例]
图31为图示图30中的参考图像转换单元370的配置示例的框图。
注意，以相同的符号表示附图中对应于图16中的情况的部分，并且将适当省略下文中的描述。
在图31中，参考图像转换单元370具有水平1/2像素生成滤波处理单元151、垂直1/2像素生成滤波处理单元152、水平1/4像素生成滤波处理单元153、垂直1/4像素生成滤波处理单元154、水平垂直1/4像素生成滤波处理单元155、控制器381、以及压缩单元382。
因此，图31中的参考图像转换单元370与图16中的参考图像转换单元140的相同之处在于具有水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155。
然而，图31中的参考图像转换单元370与图16中的参考图像转换单元140的不同之处在于添加了控制器381和压缩单元382。
将来自SEI生成单元351的解析度转换SEI提供到控制器381。
响应于来自SEI生成单元351的解析度转换SEI，控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的每个的滤波处理和由压缩单元382进行的压缩。
从DPB43向压缩单元382提供解码中间视点彩色图像作为参考图像。
压缩单元382根据控制器381的控制执行压缩以生成对来自DPB43的参考图像及其副本进行垂直或水平排列的压缩参考图像，并且将作为结果获得的压缩参考图像提供到水平1/2像素生成滤波处理单元151。
也就是说，控制器381根据解析度转换SEI（的参数frame_packing_info[i]）识别压缩彩色图像的压缩模式（上下压缩或并排压缩），并控制压缩单元382从而与压缩压缩彩色图像的压缩相同地执行压缩。
压缩单元382根据控制器381的控制，生成来自DPB43的参考图像的副本，并通过执行对参考图像及其副本进行垂直排列的上下压缩、或者对参考图像及其副本进行水平排列的并排压缩来生成压缩参考图像。
注意，压缩单元382对参考图像及其副本执行压缩而不改变参考图像及其副本的解析度。
另外，尽管在图31中在水平1/2像素生成滤波处理单元151的上游设置压缩单元382，但是可以在水平垂直1/4像素生成滤波处理单元155的下游设置压缩单元382，从而通过压缩单元382对水平垂直1/4像素生成滤波处理单元155的输出执行压缩。
图32为用于描述在图31中的控制器381的控制下由压缩单元382进行的压缩的图。
在本实施例中，已经对压缩彩色图像进行了上下压缩，因此控制器381控制压缩单元382从而与压缩彩色图像相同地执行上下压缩。
压缩单元382通过根据控制器381的控制执行上下压缩来生成压缩参考图像，在上下压缩中对用作参考图像的解码中间视点彩色图像及其副本进行垂直排列。
图33和图34为用于描述根据图31中的控制器381的控制由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155进行的滤波处理的图。
注意，在图33和图34中，圆形符号表示参考图像的原始像素（不是子像素的像素）。
假设压缩参考图像的原始像素（原始像素）之间的水平和垂直间隔为1，原始像素是如参考图14和图15所述的位于整数位置处的整数像素，因此压缩参考图像是仅由整数像素构成的整数精度图像。
在通过上下压缩对压缩彩色图像进行了压缩的情况下，控制器381根据解析度转换SEI识别：在压缩彩色图像中，构成压缩彩色图像的左视点彩色图像和右视点彩色图像的垂直解析度已变为（一个视点的彩色图像的）原始解析度的1/2。
在该情况下，控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的垂直1/2像素生成滤波处理单元152以便不执行滤波处理，并控制剩下的水平1/2像素生成滤波处理单元151、水平1/4像素生成滤波处理单元153、垂直1/4像素生成滤波处理单元154以及水平垂直1/4像素生成滤波处理单元155以便执行滤波处理。
因此，水平1/2像素生成滤波处理单元151根据控制器381的控制对来自压缩单元382的作为整数预测图像的压缩参考图像进行垂直1/2像素生成滤波处理。
在该情况下，如图33所示，根据水平1/2像素生成滤波处理，在以整数与1/2的相加值表示x坐标和以整数表示y坐标的坐标位置a处，对用作子像素的像素（水平1/2像素）进行内插。
水平1/2像素生成滤波处理单元151向垂直1/2像素生成滤波处理单元152提供通过水平1/2像素生成滤波处理获得的、在图33中的位置a处对像素（水平1/2像素）进行了内插的图像，即像素之间的水平间隔为1/2且垂直间隔为1的水平1/2精度图像。
现在，构成水平1/2精度图像的垂直布置的参考图像及其副本（下文中也被称为副本参考图像）的解析度比对于二者都是2:1。
在控制器381的控制下，垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的水平1/2精度图像不进行垂直1/2像素生成滤波处理，并无变化地提供到水平1/4像素生成滤波处理单元153。
水平1/4像素生成滤波处理单元153根据控制器381的控制，对来自垂直1/2像素生成滤波处理单元152的水平1/2精度图像进行水平1/4像素生成滤波处理。
在该情况下，如图34所示，未由垂直1/2像素生成滤波处理单元152对要受到水平1/4像素生成滤波处理的来自垂直1/2像素生成滤波处理单元152的图像（水平1/2精度图像）进行垂直1/2像素生成滤波处理，因此根据水平1/4像素生成滤波处理，在以整数与1/4或整数与-1/4的相加值表示x坐标和以整数表示y坐标的坐标位置c处对用作子像素的像素（水平1/4像素）进行内插。
水平1/4像素生成滤波处理单元153向垂直1/4像素生成滤波处理单元154提供通过水平1/4像素生成滤波处理获得的、在图34中的位置c处对像素（水平1/4像素）进行了内插的图像，即像素之间的水平间隔为1/4且垂直间隔为1的图像。
垂直1/4像素生成滤波处理单元154根据控制器381的控制对来自水平1/4像素生成滤波处理单元153的图像进行垂直1/4像素生成滤波处理。
在该情况下，如图34所示，未由垂直1/2像素生成滤波处理单元152对要受到垂直1/4像素生成滤波处理的来自水平1/4像素生成滤波处理单元153的图像进行垂直1/2像素生成滤波处理，因此根据垂直1/4像素生成滤波处理，在以整数或者整数与1/2的相加值表示x坐标和以整数与1/2的相加值表示y坐标的坐标位置d处对用作子像素的像素（垂直1/4像素）进行内插。
垂直1/4像素生成滤波处理单元154向水平垂直1/4像素生成滤波处理单元155提供通过水平1/4像素生成滤波处理获得的、在图34中的位置d处对像素（垂直1/4像素）进行了内插的图像。
水平垂直1/4像素生成滤波处理单元155根据控制器381的控制对来自垂直1/4像素生成滤波处理单元154的图像进行水平垂直1/4像素生成滤波处理。
在该情况下，如图34所示，未由垂直1/2像素生成滤波处理单元152对要受到水平垂直1/4像素生成滤波处理的来自垂直1/4像素生成滤波处理单元154的图像进行垂直1/2像素生成滤波处理，因此根据水平垂直1/4像素生成滤波处理，在以整数与1/4的相加值或者整数与-1/4的相加值表示x坐标和以整数与1/2的相加值表示y坐标的坐标位置e处对用作子像素的像素（水平垂直1/4像素）进行内插。
水平垂直1/4像素生成滤波处理单元155向视差检测单元141和视差补偿单元142提供通过水平垂直1/4像素生成滤波处理获得的、在图34中的位置e处对像素（水平垂直1/4像素）进行了内插的图像，即像素之间的水平间隔为1/4且垂直间隔为1/2的水平1/4垂直1/2精度图像，作为转换后的参考图像。
现在，构成水平1/4垂直1/2精度图像的垂直布置的参考图像和副本参考图像的解析度比对于二者均为2:1。
图35示出通过在参考图像转换单元370（图31）处不执行垂直1/2像素生成滤波处理而执行水平1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理而获得的转换后的参考图像。
如图33和图34所示，在参考图像转换单元370处不执行垂直1/2像素生成滤波处理而执行水平1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理，可以获得水平1/4垂直1/2精度图像作为转换后的参考图像，其中像素之间的水平间隔（水平方向精度）是1/4，且垂直间隔（垂直方向精度）是1/2。
如上所述获得的转换后的参考图像是水平1/4垂直1/2精度图像，其中以与压缩彩色图像相同的方式对用作（原始）参考图像的解码中间视点彩色图像及其副本进行垂直排列。
另一方面，例如如参考图23所述，压缩彩色图像是相当于一个视点的图像，其中左视点彩色图像和右视点彩色图像的垂直解析度分别变为1/2，并且对垂直解析度变为1/2的左视点彩色图像和右视点彩色图像进行垂直排列。
因此，在编码器342（图27）中，待编码的压缩彩色图像（待编码图像）的解析度比与转换后的参考图像的解析度比一致（匹配），其中转换后的参考图像是在视差预测单元361（图30）处的视差预测中生成用于压缩彩色图像的预测图像时所参考的。
也就是说，垂直排列的左视点彩色图像和右视点彩色图像的垂直解析度是初始解析度的1/2，因此构成压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比对于二者均为2:1。
另一方面，垂直排列的解码中间视点彩色图像及其副本的解析度比对于二者也是2:1，这与构成压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比2:1匹配。
如上所述，压缩彩色图像的解析度比和转换后的参考图像的解析度比一致，因此，也就是说，在压缩彩色图像中，对左视点彩色图像和右视点彩色图像进行垂直排列，并且在转换后的参考图像中，以与压缩彩色图像相同的方式对解码中间视点彩色图像及其副本进行垂直排列，另外，因此在压缩彩色图像中垂直排列的左视点彩色图像和右视点彩色图像的解析度比、和在转换后的参考图像中垂直排列的解码中间视点彩色图像及其副本的解析度比各自一致，从而可以提高视差预测的预测精度（在视差预测中生成的预测图像与当前块之间的残差变小），并且可以提高编码效率。
因此，可以防止由于上述解析度转换（多视点彩色图像（和多视点景深图像）的基带数据量减少）导致的在接收装置12处获得的解码图像中的图像质量的劣化。
注意，在图33至图35中，在参考图像转换单元370（图31）处获得水平1/4垂直1/2精度图像（图34）作为转换后的参考图像，但是可以获得水平1/2精度图像（图33）作为转换后的参考图像。
可以通过利用参考图像转换单元370（图31）的控制器381对水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155执行控制来获得水平1/2精度图像，使得在水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中，仅在水平1/2像素生成滤波处理单元151处执行滤波处理，而在垂直1/2像素生成滤波处理单元152至水平垂直1/4像素生成滤波处理单元155处不执行滤波处理。
[压缩彩色图像的编码处理]
图36为用于描述图27中的编码器342执行的对压缩彩色图像进行编码的编码处理的流程图。
在步骤S101中，A/D转换单元111对提供到A/D转换单元111的压缩彩色图像的图片的模拟信号执行A/D转换，提供到画面重排列缓冲器112，并且流程前进到步骤S102。
在步骤S102中，画面重排列缓冲器112临时存储来自A/D转换单元111的中间视点彩色图像的图片，并通过根据预定GOP结构读取图片来执行重排列，在重排列中将图片顺序从显示顺序重排列为编码顺序（解码顺序）。
从画面重排列缓冲器112读取的图片被提供到计算单元113、画面内预测单元122、帧间预测单元352的视差预测单元361、以及时间预测单元132，并且流程从步骤S102前进到步骤S103。
在步骤S103中，计算单元113采用来自画面重排列缓冲器112的中间视点彩色图像的图片作为要编码的当前图片，并且另外，顺次采用构成当前图片的宏块作为要编码的当前块。
然后，计算单元113根据需要计算当前块的像素值与从预测图像选择单元124提供的预测图像的像素值之间的差（残差），提供到正交变换单元114，并且流程从步骤S103前进到步骤S104。
在步骤S104中，正交变换单元114对来自计算单元113的当前块进行正交变换，将作为结果获得的变换系数提供到量化单元115，并且流程前进到步骤S105。
在步骤S105中，量化单元115对从正交变换单元114提供的变换系数执行量化，将作为结果获得的量化值提供到逆量化单元118和可变长度编码单元116，并且流程前进到步骤S106。
在步骤S106中，逆量化单元118将来自量化单元115的量化值逆量化为变换系数，提供到逆正交变换单元119，并且流程前进到步骤S107。
在步骤S107中，逆正交变换单元119执行来自逆量化单元118的变换系数的逆正交变换，提供到计算单元120，并且流程前进到步骤S108。
在步骤S108中，计算单元120根据需要将从预测图像选择单元124提供的预测图像的像素值加到从逆正交变换单元119提供的数据，从而获得当前块已被解码（本地解码）的解码压缩彩色图像。然后，计算单元120将当前块已被本地解码的解码压缩彩色图像提供到去块滤波器121，并且流程从步骤S108前进到步骤S109。
在步骤S109中，去块滤波器121对来自计算单元120的解码压缩彩色图像执行滤波，提供到DPB43，并且流程前进到步骤S110。
在步骤S110中，DPB43等待从对中间视点彩色图像进行编码的编码器41（图26）提供通过对中间视点彩色图像进行编码和本地解码获得的解码中间视点彩色图像，存储解码中间视点彩色图像，并且流程前进到步骤S111。
在步骤S111中，DPB43存储来自去块滤波器121的解码压缩彩色图像，并且流程前进到步骤S112。
在步骤S112中，画面内预测单元122对下一个当前块执行帧内预测处理（画面内预测处理）。
也就是说，画面内预测单元122对下一个当前块执行帧内预测处理（画面内预测处理），以根据存储在DPB43中的解码压缩彩色图像的图片生成预测图像（帧内预测的预测图像）。
然后，画面内预测单元122使用帧内预测的预测图像获得对下一个当前块进行编码所需的编码成本，将该编码成本与头信息（用作头信息的关于帧内预测的信息）和帧内预测的预测图像一起提供到预测图像选择单元124，并且流程从步骤S112前进到步骤S113。
在步骤S113中，时间预测单元132以解码压缩彩色图像的图片作为参考图像执行关于下一个当前块的时间预测处理。
也就是说，时间预测单元132使用存储在DPB43中的解码压缩彩色图像执行关于下一个当前块的时间预测，从而针对具有不同宏块类型等的每个帧间预测模式获得预测图像、编码成本等。
另外，时间预测单元132采用编码成本最小的帧间预测模式作为最优帧间预测模式，将该最优预测模式的预测图像与头信息（用作头信息的关于帧内预测的信息）和编码成本一起提供到预测图像选择单元124，并且流程从步骤S113前进到步骤S114。
在步骤S114中，SEI生成单元351生成如图28和图29所述的解析度转换SEI，将解析度转换SEI提供到可变长度编码单元116和视差预测单元361，并且处理前进到步骤S115。
在步骤S115中，视差预测单元361以解码中间视点彩色图像作为参考图像执行下一个当前块的视差预测处理。
也就是说，视差预测单元361采用存储在DPB43中的解码中间视点彩色图像的图片作为参考图像，并且根据来自SEI生成单元351的解析度转换信息SEI将该参考图像转换为转换后的参考图像。
另外，视差预测单元361使用转换后的参考图像对下一个当前块执行视差预测，从而针对具有不同宏块类型等的每个帧间预测模式获得预测图像、编码成本等。
另外，视差预测单元361采用编码成本最小的帧间预测模式作为最优帧间预测模式，将该最优帧间预测模式的预测图像与头信息（用作头信息的关于帧间预测的信息）和编码成本一起提供到预测图像选择单元124，并且流程从步骤S115前进到步骤S116。
在步骤S116中，预测图像选择单元124从来自画面内预测单元122的预测图像（帧内预测的预测图像）、来自时间预测单元132的预测图像（时间预测图像）、以及来自视差预测单元361的预测图像（视差预测图像）中选择例如编码成本最小的预测图像，并将其提供到计算单元113和220，并且流程前进到步骤S117。
现在，在用于对下一个当前块进行编码的步骤S103和S108的处理中，使用在步骤S116中由预测图像选择单元124选择的预测图像。
另外，预测图像选择单元124从画面内预测单元122、时间预测单元132和视差预测单元361提供的头信息中选择与编码成本最小的预测图像一起提供的头信息，并将其提供到可变长度编码单元116。
在步骤S117中，可变长度编码单元116对来自量化单元115的量化值进行可变长度编码，并获得编码数据。
另外，可变长度编码单元116将来自预测图像选择单元124的头信息和来自SEI生成单元351的解析度转换SEI包括在编码数据的头部中。
然后，可变长度编码单元116将编码数据提供到存储缓冲器117，并且流程从步骤S117前进到步骤S118。
在步骤S118中，存储缓冲器117临时存储来自可变长度编码单元116的编码数据。
以预定发送速率将存储在存储缓冲器117中的编码数据提供（发送）到多路复用装置23（图21）。
在编码器342处根据需要重复执行上述步骤S101至步骤S118的处理。
图37为用于描述图30中的视差预测单元361在图36中的步骤S115中执行的视差预测处理的流程图。
在步骤S131中，参考图像转换单元370接收从SEI生成单元351提供的解析度转换SEI，并且流程前进到步骤S132。
在步骤S132中，参考图像转换单元370接收来自DPB43的用作参考图像的解码中间视点彩色图像的图片，并且流程前进到步骤S133。
在步骤S133中，参考图像转换单元370根据来自SEI生成单元351的解析度转换SEI控制要对来自DPB43的用作参考图像的解码中间视点彩色图像的图片执行的滤波处理，并相应地对参考图像执行转换处理，以将参考图像转换为转换后的参考图像，转换后的参考图像的解析度比与待编码的压缩彩色图像的图片的水平和垂直解析度比匹配。
然后，参考图像转换单元370将通过对参考图像执行转换处理获得的转换后的参考图像提供到视差检测单元141和视差补偿单元142，并且流程从步骤S133前进到步骤S134。
在步骤S134中，视差检测单元141使用从画面重排列缓冲器112提供的当前块、来自参考图像转换单元370的转换后的参考图像来执行ME，从而针对提供到视差补偿单元142的每个宏块类型检测表示当前块相对于转换后的参考图像的偏移的视差向量mv，并且流程前进到步骤S135。
在步骤S135中，视差补偿单元142使用来自视差检测单元141的当前块的视差向量mv对来自参考图像转换单元370的转换后的参考图像执行视差补偿，从而针对每个宏块类型生成当前块的预测图像，并且流程前进到步骤S136。
也就是说，视差补偿单元142获得对应块作为预测图像，该对应块是转换后的参考图像中的从当前块的位置偏移等于视差向量mv的量的块。
在步骤S136中，视差补偿单元142根据需要使用已被编码的当前块周围的宏块的视差向量等，从而获得当前块的视差向量mv的预测向量PMV。
另外，视差补偿单元142获得作为当前块的视差向量mv与预测向量PMV之间的差的残差向量。
然后，视差补偿单元142将当前块针对每个预测模式（例如宏块类型）的预测图像与预测模式、当前块的残差向量、以及分配给用于生成预测图像的参考图像（从而，用作参考图像的解码中间视点彩色图像的图片）的参考索引相关联，并提供到预测信息缓冲器143和成本函数计算单元144，并且流程从步骤S136前进到步骤S137。
在步骤S137中，预测信息缓冲器143临时存储来自视差补偿单元142的与预测模式、残差向量和参考索引关联的预测图像作为预测信息，并且流程前进到步骤S138。
在步骤S138中，成本函数计算单元144通过针对用作预测模式的每个宏块类型计算成本函数，获得对来自画面重排列缓冲器112的当前图片的当前块进行编码所需的编码成本（成本函数值），将其提供到模式选择单元145，并且流程前进到步骤S139。
在步骤S139中，模式选择单元145从来自成本函数计算单元144的针对每个宏块类型的编码成本中检测作为最小值的最小成本。
另外，模式选择单元145选择已经获得最小成本的宏块类型作为最优帧间预测模式。
然后，模式选择单元145从预测信息缓冲器143读取与作为最优帧间预测模式的预测模式、残差向量和参考索引关联的预测图像，提供到预测图像选择单元124作为预测信息，并且处理返回。
图38是用于描述图31中的参考图像转换单元370在图37中的步骤S133中对参考图像执行的转换处理的流程图。
在步骤S151中，控制器381从SEI生成单元351接收解析度转换SEI，并且流程前进到步骤S152。
在步骤S152中，压缩单元382从DPB43接收用作参考图像的解码中间视点彩色图像，并且流程前进到步骤S153。
在步骤S153中，控制器381根据来自SEI生成单元351的解析度转换SEI控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的每个的滤波处理和压缩单元382的压缩，并且相应地，来自DPB43的参考图像被转换为解析度比与待编码的压缩彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像。
也就是说，在步骤S153中，在步骤S153-1，压缩单元382对来自DPB43的参考图像及其副本进行压缩，并生成与待编码的压缩彩色图像具有相同的压缩模式的压缩参考图像。
现在，在本实施例中，压缩单元382对垂直排列的来自DPB43的参考图像及其副本执行压缩（上下压缩）。
压缩单元382将通过压缩获得的压缩参考图像提供到水平1/2像素生成滤波处理单元151，并且流程从步骤S153-1前进到步骤S153-2。
在步骤S153-2中，水平1/2像素生成滤波处理单元151对来自压缩单元382的作为整数精度图像的压缩参考图像进行水平1/2像素生成滤波处理。
从水平1/2像素生成滤波处理单元151向垂直1/2像素生成滤波处理单元152提供作为通过水平1/2像素生成滤波处理获得的图像的水平1/2精度图像（图33），但是在控制器381的控制下，垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的水平1/2精度图像不进行垂直1/2像素生成滤波处理，而是原样提供到水平1/4像素生成滤波处理单元153。
随后，流程从步骤S153-2前进到步骤S153-3，其中水平1/4像素生成滤波处理单元153对来自垂直1/2像素生成滤波处理单元152的水平1/2精度图像进行水平1/4像素生成滤波处理，将作为结果获得的图像提供到垂直1/4像素生成滤波处理单元154，并且流程前进到步骤S153-4。
在步骤S153-4中，垂直1/4像素生成滤波处理单元154对来自水平1/4像素生成滤波处理单元153的图像进行垂直1/4像素生成滤波处理，将作为结果获得的图像提供到水平垂直1/4像素生成滤波处理单元155，并且流程前进到步骤S153-5。
在步骤S153-5中，水平垂直1/4像素生成滤波处理单元155对来自垂直1/4像素生成滤波处理单元154的图像进行水平垂直1/4像素生成滤波处理，并且流程前进到步骤S154。
在步骤S154中，水平垂直1/4像素生成滤波处理单元155将通过水平垂直1/4像素生成滤波处理获得的水平1/4垂直1/2精度图像（图34）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像，并且处理返回。
注意，在图38中的参考图像的转换处理中，可以跳过步骤S153-3至S153-5的处理，其中在步骤S153-2中将通过由水平1/2像素生成滤波处理单元151执行的水平1/2像素生成滤波处理获得的水平1/2精度图像（图33）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像。
[解码装置332C的配置示例]
图39为图示图22中的解码装置332C的配置示例的框图。
注意，以相同的符号表示附图中对应于图17中的情况的部分，并且将适当省略下文中的描述。
在图39中，解码装置332C具有解码器211和412，以及DPB213。
因此，图39中的解码装置332C与图17中的解码装置32C的相同之处在于共享解码器211和DPB213，但是与图17中的解码装置32C的不同之处在于，设置解码器412而不是解码器212。
从逆多路复用装置31（图22）向解码器412提供多视点彩色图像编码数据中的作为非基本视角图像的压缩彩色图像的编码数据。
解码器412以扩展格式对提供到解码器412的压缩彩色图像的编码数据进行解码，并输出作为结果获得的压缩彩色图像。
现在，解码器211通过MVC对多视点彩色图像编码数据中的作为基本视角图像的中间视点彩色图像的编码数据进行解码，并输出中间视点彩色图像。
然后，将解码器211输出的多视点彩色图像和解码器412输出的压缩彩色图像提供到解析度逆转换装置333C（图22）作为解析度转换后的多视点彩色图像。
另外，解码器211和412各自对在图26中的编码器41和342处执行了预测编码的图像进行解码。
为了对经过预测编码的图像进行解码，需要用于预测编码的预测图像，因此解码器211和412对待解码图像进行解码，并且之后在DPB213中临时存储要用于生成预测图像的解码图像，以生成在预测编码中使用的预测图像。
DPB213由解码器211和412共享，并临时存储在解码器211和412中的每个处获得的解码后的图像（解码图像）。
解码器211和412中的每个从存储在DPB213中的解码图像中选择对待解码的图像进行解码要参考的参考图像，并使用参考图像生成预测图像。
因此，在解码器211和412之间共享DPB213，从而解码器211和412各自除了可以参考从其自身获得的解码图像之外，还可以参考在另一个解码器处获得的解码图像。
然而，注意，如上所述，解码器211对基本视角图像进行解码，因此仅参考在解码器211处获得的解码图像。
[解码器412的配置示例]
图40为图示图39中的解码器412的配置示例的框图。
注意，以相同的符号表示附图中对应于图18和图19中的情况的部分，并且将适当省略下文中的描述。
在图40中，解码器412具有：存储缓冲器241、可变长度解码单元242、逆量化单元243、逆正交变换单元244、计算单元245、去块滤波器246、画面重排列缓冲器247、D/A转换单元248、画面内预测单元249、预测图像选择单元251、以及帧间预测单元450。
因此，图40中的解码器412与图18中的解码器212的相同之处在于具有存储缓冲器241至画面内预测单元249和预测图像选择单元251。
然而，图40中的解码器412与图18中的解码器212的不同之处在于，设置帧间预测单元450而不是帧间预测单元250。
帧间预测单元450包括参考索引处理单元260、时间预测单元262和视差预测单元461。
因此，帧间预测单元450与图19中的帧间预测单元250的相同之处在于具有参考索引处理单元260和时间预测单元262，而与图19中的帧间预测单元250的不同之处在于，设置视差预测单元461而不是视差预测单元261（图19）。
在图40的解码器412中，可变长度解码单元242从存储缓冲器241接收包括解析度转换SEI的压缩彩色图像的编码数据，并将包括在该编码数据中的解析度转换SEI提供到视差预测单元461。
另外，可变长度解码单元242将解析度转换SEI提供到解析度逆转换装置333C（图22）作为解析度转换信息。
另外，可变长度解码单元242将包括在编码数据中的头信息（预测模式相关信息）提供到画面内预测单元249、以及构成帧间预测单元450的参考索引处理单元260、时间预测单元262和视差预测单元461。
从可变长度解码单元242向视差预测单元461提供预测模式相关信息和解析度转换SEI，并且还从参考索引处理单元260向视差预测单元461提供用作参考图像的解码中间视点彩色图像的图片。
视差预测单元461以与图27中的视差预测单元361相同的方式，基于来自可变长度解码单元242的解析度转换SEI将来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片转换为转换后的参考图像。
另外，视差预测单元461基于来自可变长度解码单元242的预测模式相关信息恢复用于生成当前块的预测图像的视差向量，并以与图27中的视差预测单元361相同的方式，通过对转换后的参考图像执行视差预测（视差补偿）生成预测图像，并将其提供到预测图像选择单元251。
[视差预测单元461的配置示例]
图41为图示图40中的视差预测单元461的配置示例的框图。
注意，以相同的符号表示附图中对应于图20中的情况的部分，并且将适当省略下文中的描述。
在图41中，视差预测单元461具有视差补偿单元272和参考图像转换单元471。
因此，图41中的视差预测单元461与图20中的视差预测单元261的相同之处在于具有视差补偿单元272，而与图20中的视差预测单元261的不同之处在于，设置参考图像转换单元471而不是参考图像转换单元271。
从参考索引处理单元260向参考图像转换单元471提供解码中间视点彩色图像的图片作为参考图像，还从可变长度解码单元242向参考图像转换单元471提供解析度转换SEI。
参考图像转换单元471以与图30中的参考图像转换单元370相同的方式，根据来自可变长度解码单元242的解析度转换SEI控制要施加到用作在预测处理中要参考的参考图像的解码中间视点彩色图像的图片的滤波处理，并相应地将参考图像转换为解析度比与待解码的压缩彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像，并提供到视差补偿单元272。
[参考图像转换单元471的配置示例]
图42为图示图41中的参考图像转换单元471的配置示例的框图。
在图42中，参考图像转换单元471具有控制器481、压缩单元482、水平1/2像素生成滤波处理单元483、垂直1/2像素生成滤波处理单元484、水平1/4像素生成滤波处理单元485、垂直1/4像素生成滤波处理单元486、以及水平垂直1/4像素生成滤波处理单元487。
控制器481至水平垂直1/4像素生成滤波处理单元487各自执行与控制器381、压缩单元382以及水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155相同的处理。
也就是说，从可变长度解码单元242向控制器481提供解析度转换SEI。
控制器481以与图31中的控制器381相同的方式控制压缩单元482的压缩、以及水平1/2像素生成滤波处理单元483至水平垂直1/4像素生成滤波处理单元487的滤波处理。
从参考索引处理单元260向压缩单元482提供用作参考图像的解码中间视点彩色图像。
压缩单元482根据控制器481的控制执行压缩，以生成对来自参考索引处理单元260的参考图像及其副本进行垂直或水平排列的压缩参考图像，并将作为结果获得的压缩参考图像提供到水平1/2像素生成滤波处理单元483。
也就是说，控制器481根据解析度转换SEI（的参数frame_packing_info[i]）（图28、图29）识别压缩彩色图像的压缩模式（上下压缩或并排压缩），并控制压缩单元482，从而以与压缩彩色图像的压缩相同的方式执行压缩。
压缩单元482根据控制器481的控制，生成来自参考索引处理单元260的参考图像的副本，通过执行对参考图像及其副本进行垂直排列的上下压缩、或者对参考图像及其副本进行水平排列的并排压缩来生成压缩参考图像，并提供到水平1/2像素生成滤波处理单元483。
水平1/2像素生成滤波处理单元483至水平垂直1/4像素生成滤波处理单元487根据控制器481的控制，分别以与图31中的水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155相同的方式执行滤波处理。
作为在水平1/2像素生成滤波处理单元483至水平垂直1/4像素生成滤波处理单元487处的滤波处理的结果获得的转换后的参考图像被提供到视差补偿单元272，并使用转换后的参考图像在视差补偿单元272处执行视差补偿。
[压缩彩色图像的解码处理]
图43为用于描述图40中的解码器412对压缩彩色图像的编码数据进行解码的解码处理的流程图。
在步骤S201中，存储缓冲器241存储提供到存储缓冲器241的压缩彩色图像的编码数据，并且流程前进到步骤S202。
在步骤S202中，可变长度解码单元242读取存储在存储缓冲器241中的编码数据并对其执行可变长度解码，从而恢复量化值、预测模式相关信息和解析度转换SEI。然后，可变长度解码单元242分别将量化值提供到逆量化单元243、将预测模式相关信息提供到画面内预测单元249、参考索引处理单元260、时间预测单元262以及视差预测单元461，并且流程前进到步骤S203。
在步骤S203中，逆量化单元243将来自可变长度解码单元242的量化值逆量化为变换系数，提供到逆正交变换单元244，并且流程前进到步骤S204。
在步骤S204中，逆正交变换单元244对来自逆量化单元243的变换系数进行逆正交变换，以宏块为增量提供到计算单元245，并且流程前进到步骤S205。
在步骤S205中，计算单元245采用来自逆正交变换单元244的宏块作为待解码的当前块（残差图像），并根据需要将从预测图像选择单元251提供的预测图像添加到当前块，从而获得解码图像。然后，计算单元245将解码图像提供到去块滤波器246，并且流程从步骤S205前进到步骤S206。
在步骤S206中，去块滤波器246对来自计算单元245的解码图像执行滤波，将滤波后的解码图像（解码压缩彩色图像）提供到DPB213和画面重排列缓冲器247，并且流程前进到步骤S207。
在步骤S207中，DPB213等待要从用于对多视点彩色图像进行解码的解码器211（图39）提供的解码中间视点彩色图像，存储该解码中间视点彩色图像，并且流程前进到步骤S208。
在步骤S208中，DPB213存储来自去块滤波器246的解码压缩彩色图像，并且流程前进到步骤S209。
在步骤S209中，画面内预测单元249和帧间预测单元450（构成帧间预测单元450的时间预测单元262和视差预测单元461）基于从可变长度解码单元242提供的预测模式相关信息，确定利用帧内预测（画面内预测）和帧间预测中的哪个生成预测图像，该预测图像用于对下一个当前块（下一个被解码的宏块）进行编码。
在步骤S209中确定使用以画面内预测生成的预测图像对下一个当前块进行编码的情况下，流程前进到步骤S210，并且画面内预测单元249执行帧内预测处理（画面内预测处理）。
也就是说，关于下一个当前块，画面内预测单元249执行帧内预测（画面内预测），以根据存储在DPB213中的解码压缩彩色图像的图片生成预测图像（帧内预测的预测图像），将该预测图像提供到预测图像选择单元251，并且流程从步骤S210前进到步骤S215。
另外，在步骤S209中确定使用以帧间预测生成的预测图像对下一个当前块进行编码的情况下，流程前进到步骤S211，其中参考索引处理单元260从DPB213读取解码中间视点彩色图像的图片（其分配有包括在来自可变长度解码单元242的预测模式相关信息中的（用于预测的）参考索引）、或者解码压缩彩色图像的图片，以便被选择为参考图像，并且流程前进到步骤S212。
在步骤S212中，参考索引处理单元260基于包括在从可变长度解码单元242提供的预测模式相关信息中的（用于预测的）参考索引，确定利用视差预测和作为帧内预测格式的时间预测中的哪个生成预测图像，该预测图像用于对下一个当前块进行编码。
在步骤S212中确定使用通过时间预测生成的预测图像对下一个当前块进行编码的情况下，即在分配有来自可变长度解码单元242的（下一个）当前块的用于预测的参考索引的图片是解码压缩彩色图像的图片、且该解码压缩彩色图像的图片在步骤S211中被选择为参考图像的情况下，参考索引处理单元260将解码压缩彩色图像的图片提供到时间预测单元262作为参考图像，并且流程前进到步骤S213。
在步骤S213中，时间预测单元262执行时间预测处理。
也就是说，关于下一个当前块，时间预测单元262使用来自可变长度解码单元242的预测模式相关信息，对来自参考索引处理单元260的用作参考图像的解码压缩彩色图像的图片执行运动补偿，从而生成预测图像，将该预测图像提供到预测图像选择单元251，并且处理从步骤S213前进到步骤S215。
另外，在步骤S212中确定使用通过视差预测生成的预测图像对下一个当前块进行编码的情况下，即在分配有来自可变长度解码单元242的（下一个）当前块的用于预测的参考索引的图片是解码中间视点彩色图像的图片、且该解码中间视点彩色图像的图片在步骤S211中被选择为参考图像的情况下，参考索引处理单元260将解码中间视点彩色图像的图片提供到视差预测单元461作为参考图像，并且流程前进到步骤S214。
在步骤S214中，视差预测单元461执行视差预测处理。
也就是说，视差预测单元461根据来自可变长度解码单元242的解析度转换SEI，将来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片转换为转换后的参考图像。
另外，视差预测单元461使用来自可变长度解码单元242的预测模式相关信息对下一个当前块的转换后的参考图像执行视差补偿，从而生成预测图像，并将该预测图像提供到预测图像选择单元251，并且流程从步骤S214前进到步骤S215。
在步骤S215中，预测图像选择单元251选择来自画面内预测单元249、时间预测单元262和视差预测单元461（其提供预测图像）之一的预测图像，提供到计算单元245，并且流程前进到步骤S216。
现在，在用于对下一个当前块进行解码的步骤S205的处理中使用在步骤S215中由预测图像选择单元251选择的预测图像。
在步骤S216中，画面重排列缓冲器247临时存储和读取来自去块滤波器246的解码压缩彩色图像的图片，从而将图片的顺序重排列为初始顺序，提供到D/A转换单元248，并且流程前进到步骤S217。
在步骤S217中，在需要以模拟信号输出来自画面重排列缓冲器247的图片的情况下，D/A转换单元248对图片执行D/A转换并输出。
在解码器412处，重复执行上述步骤S201至S217的处理。
图44为用于描述图41中的视差预测单元461在图43中的步骤S214中执行的视差预测处理的流程图。
在步骤S231中，参考图像转换单元471接收从可变长度解码单元242提供的解析度转换SEI，并且流程前进到步骤S232。
在步骤S232中，参考图像转换单元471接收来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片，并且流程前进到步骤S233。
在步骤S233中，参考图像转换单元471根据来自可变长度解码单元242的解析度转换SEI，控制要施加到来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片的滤波处理，从而执行参考图像转换处理，以将参考图像转换为解析度比与待解码的压缩彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像。
然后，参考图像转换单元471将通过参考图像转换处理获得的转换后的参考图像提供到视差补偿单元272，并且流程从步骤S233前进到步骤S234。
在步骤S234中，视差补偿单元272从可变长度解码单元242接收包括在预测模式相关信息中的（下一个）当前块的残差向量，并且流程前进到步骤S235。
在步骤S235中，视差补偿单元272使用在当前块周边的已经解码的宏块的视差向量等，获得当前块关于宏块类型的预测向量，该宏块类型由包括在来自可变长度解码单元242的预测模式相关信息中的预测模式（最优帧间预测模式）来指示。
另外，视差补偿单元272将当前块的预测向量与来自可变长度解码单元242的残差向量相加，从而恢复当前块的视差向量mv，并且流程从步骤S235前进到步骤S236。
在步骤S236中，视差补偿单元272使用当前块的视差向量mv对来自参考图像转换单元471的转换后的参考图像执行视差补偿，从而生成当前块的预测图像，提供到预测图像选择单元251，并且流程返回。
图45为用于描述图42中的参考图像转换单元471在图44中的步骤S233中执行的参考图像转换处理的流程图。
在步骤S251至S254中，参考图像转换单元471分别执行与图31中的参考图像转换单元370在图38中的步骤S151至S154中执行的处理相同的处理。
也就是说，在步骤S251中，控制器481从可变长度解码单元242接收解析度转换SEI，并且流程前进到步骤S252。
在步骤S252中，压缩单元482接收来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像，并且流程前进到步骤S253。
在步骤S253中，控制器481根据来自可变长度解码单元242的解析度转换SEI，控制由压缩单元482进行的压缩和水平1/2像素生成滤波处理单元483至水平垂直1/4像素生成滤波处理单元487中的每个的滤波处理，因此来自参考索引处理单元260的参考图像被转换为解析度比与待解码的压缩彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像。
也就是说，在步骤S253中，在步骤S253-1，压缩单元482对来自参考索引处理单元260的参考图像及其副本进行压缩，并生成与待编码的压缩彩色图像具有相同的压缩模式的压缩参考图像。
现在，在本实施例中，压缩单元482执行压缩以生成来自参考索引处理单元260的参考图像及其副本的垂直排列的压缩参考图像。
压缩单元482将通过压缩获得的压缩参考图像提供到水平1/2像素生成滤波处理单元483，并且流程从步骤S253-1前进到步骤S253-2。
在步骤S253-2中，水平1/2像素生成滤波处理单元483对来自压缩单元482的作为整数精度图像的压缩参考图像进行水平1/2像素生成滤波处理。
从水平1/2像素生成滤波处理单元483向垂直1/2像素生成滤波处理单元484提供作为通过水平1/2像素生成滤波处理获得的图像的水平1/2精度图像（图33），但是在控制器481的控制下，垂直1/2像素生成滤波处理单元484对来自水平1/2像素生成滤波处理单元483的水平1/2精度图像不进行垂直1/2像素生成滤波处理，而是原样提供到水平1/4像素生成滤波处理单元485。
随后，流程从步骤S253-2前进到步骤S253-3，其中水平1/4像素生成滤波处理单元485对来自垂直1/2像素生成滤波处理单元484的水平1/2精度图像进行水平1/4像素生成滤波处理，将作为结果获得的图像提供到垂直1/4像素生成滤波处理单元486，并且流程前进到步骤S253-4。
在步骤S253-4中，垂直1/4像素生成滤波处理单元486对来自水平1/4像素生成滤波处理单元485的图像进行垂直1/4像素生成滤波处理，将作为结果获得的图像提供到水平垂直1/4像素生成滤波处理单元487，并且流程前进到步骤S253-5。
在步骤S253-5中，水平垂直1/4像素生成滤波处理单元487对来自垂直1/4像素生成滤波处理单元486的图像进行水平垂直1/4像素生成滤波处理，并且流程前进到步骤S254。
在步骤S254中，水平垂直1/4像素生成滤波处理单元487将通过水平垂直1/4像素生成滤波处理获得的水平1/4垂直1/2精度图像（图34）提供到视差补偿单元272作为转换后的参考图像，并且处理返回。
注意，在图45中的对参考图像的转换处理中，以与图38中的情况相同的方式，可以跳过步骤S253-3至S253-5的处理，其中在步骤S253-2中将通过由水平1/2像素生成滤波处理单元483执行的水平1/2像素生成滤波处理获得的水平1/2精度图像（图33）提供到视差补偿单元272作为转换后的参考图像。
[并排压缩]
虽然在图23中的解析度转换装置321C处执行上下压缩，但是解析度转换装置321C除了执行上下压缩之外，还可以执行如图29所述的并排压缩，以生成多视点彩色图像的基带数据量已经减少的、解析度转换后的多视点彩色图像。
现在，将描述根据权利要求1的图1中的发送系统在解析度转换装置321C处执行并排压缩的情况下与执行上下压缩的情况下不同的处理。
图46为用于描述图21中的解析度转换装置321C（和321D）执行的解析度转换和图22中的解析度逆转换装置333C（和333D）执行的解析度逆转换的图。
也就是说，图46是用于描述在解析度转换装置321C处执行并排压缩的情况下解析度转换装置321C（图21）执行的解析度转换和解析度逆转换装置333C（图22）执行的解析度逆转换的图。
例如以与图2中的解析度转换装置21C相同的方式，在图46中，解析度转换装置321C将作为提供到解析度转换装置321C的多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像原样输出（未执行解析度转换）。
另外，在图46中，关于多视点彩色图像的剩余的左视点彩色图像和右视点彩色图像，解析度转换装置321C将左视点彩色图像和右视点彩色图像的水平解析度（像素数目）转换为1/2，并例如通过将水平解析度已经成为1/2的左视点彩色图像和右视点彩色图像水平排列来进行压缩，从而生成相当于一个视点的图像的压缩彩色图像。
现在，在图46中的压缩彩色图像中，左视点彩色图像位于左侧，而右视点彩色图像位于右侧。
解析度转换装置321C还生成解析度转换信息，该解析度转换信息指示中间视点彩色图像的解析度未改变、压缩彩色图像是左视点彩色图像和右视点彩色图像（其水平解析度已变为1/2）被水平排列的相当于一个视点的图像等。
另一方面，解析度逆转换装置333C根据提供到解析度逆转换装置333C的解析度转换信息识别中间视点彩色图像的解析度未改变、压缩彩色图像是左视点彩色图像和右视点彩色图像已被水平排列的、相当于一个视点的图像等。
然后，解析度逆转换装置333C基于根据解析度转换信息识别的信息，将作为提供到解析度逆转换装置333C的解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的中间视点彩色图像原样输出。
另外，解析度逆转换装置333C基于根据解析度转换信息识别的信息，水平分离作为提供到解析度逆转换装置333C的解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像中的压缩彩色图像。
另外，解析度逆转换装置333C通过内插等将通过水平分离水平解析度已变为1/2的压缩彩色图像而获得的左视点彩色图像和右视点彩色图像的水平解析度恢复为原始解析度并输出。
[解析度转换SEI]
图47是描述在图21中的解析度转换装置321C处执行并排压缩作为图46中描述的解析度转换的情况下，设置到用作解析度转换SEI（图28）的3dv_view_resolution(payloadSize)的参数num_views_minus_1、view_id[i]、frame_packing_info[i]和view_id_in_frame[i]的值的图，该解析度转换SEI是图27中的SEI生成单元351根据从解析度逆转换装置333C输出的解析度转换信息生成的。
以与如图29所述相同的方式，参数num_views_minus_1表示通过从构成解析度转换后的多视点彩色图像的视点的数目减1获得的值，因此在执行图46中的并排压缩的情况下，以与图29中的上下压缩相同的方式，将参数num_views_minus_1设置为num_views_minus_1=2-1=1。
以与如图29所述相同的方式，参数view_id[i]指示识别构成解析度转换后的多视点彩色图像的第i+1（i=0,1,...）图像的索引。
即，例如此处假设，以与图29中的上下压缩相同的方式，左视点彩色图像是由编号0表示的视点＃0的图像，中间视点彩色图像是由编号1表示的视点＃1的图像，以及右视点彩色图像是由编号2表示的视点＃2的图像。
另外，假设，以与图29中的上下压缩相同的方式，例如，在解析度转换装置321C处，关于构成通过对中间视点彩色图像、左视点彩色图像和右视点彩色图像执行解析度转换获得的解析度转换后的多视点彩色图像的中间视点彩色图像和压缩彩色图像重新分配表示视点的编号，从而对中间视点彩色图像分配表示视点＃1的编号1，而对压缩彩色图像分配表示视点＃0的编号0。
另外，假设，以与图29中的上下压缩的情况相同的方式，中间视点彩色图像是构成解析度转换后的多视点彩色图像的第1图像（i=0的图像），并且压缩彩色图像是构成解析度转换后的多视点彩色图像的第2图像（i=1的图像）。
在该情况下，作为构成解析度转换后的多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像的参数view_id[0]具有表示中间视点彩色图像的视点＃1的编号1（view_id[0]=1）。
另外，作为构成解析度转换后的多视点彩色图像的第2（=i+1=1+1）图像的压缩彩色图像的参数view_id[1]具有表示压缩彩色图像的视点＃0的编号0（view_id[1]=0）。
如图29所述，参数frame_packing_info[i]表示是否对构成解析度转换后的多视点彩色图像的第i+1图像进行压缩、以及压缩的模式。
于是，如图29所述，值为0的参数frame_packing_info[i]指示无压缩，值为1的参数frame_packing_info[i]指示存在上下压缩，以及值为2的参数frame_packing_info[i]指示存在并排压缩。
在图47中，作为构成解析度转换后的多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像未被压缩，因此将中间视点彩色图像的参数frame_packing_info[0]设为值0，从而指示无压缩（frame_packing_info[0]=0）。
另外，在图47中，作为构成解析度转换后的多视点彩色图像的第2（=i+1=1+1）图像的压缩彩色图像通过并排压缩被压缩，因此将压缩彩色图像的参数frame_packing_info[1]设为值2，从而指示存在并排压缩（frame_packing_info[1]=2）。
如图29所述，参数view_id_in_frame[j]表示识别在压缩彩色图像中压缩的图像的索引，并仅针对构成解析度转换后的多视点彩色图像的、参数frame_packing_info[i]不为0的图像（即压缩彩色图像）进行发送。
如图29所述，在压缩彩色图像的参数frame_packing_info[i]为1的情况下，即在压缩彩色图像是经过上下压缩（两个视点的图像被垂直排列）的图像的情况下，变量j＝0的参数view_id_in_frame[0]表示标识压缩彩色图像中的经过上下压缩的图像中的、位于上部的图像的索引，而变量j＝1的参数view_id_in_frame[1]表示标识压缩彩色图像中的经过上下压缩的图像中的、位于下部的图像的索引。
另外，如图29所述，在压缩彩色图像的参数frame_packing_info[i]为2的情况下，即在压缩彩色图像是经过并排压缩（两个视点的图像被水平排列）的图像的情况下，变量j＝0的参数view_id_in_frame[0]表示标识压缩彩色图像中的经过水平压缩的图像中的、位于左侧的图像的索引，而变量j＝1的参数view_id_in_frame[1]表示标识压缩彩色图像中的经过并排压缩的图像中的、位于右侧的图像的索引。
在本实施例中，图47中的压缩彩色图像是执行了并排压缩的图像，其中左视点彩色图像位于左侧，而右视点彩色图像位于右侧，因此将表示标识位于左侧的图像的索引的变量j=0的参数view_id_in_frame[0]设置为表示左视点彩色图像的视点#0的编号0，而将表示标识位于右侧的图像的索引的变量j=1的参数view_id_in_frame[1]设置为表示右视点彩色图像的视点#2的编号2。
[在对压缩彩色图像进行并排压缩的情况下的转换后的参考图像]
图48为用于描述在图31中的控制器381的控制下由压缩单元382进行的压缩的图。
也就是说，图48是描述在图27中的SEI生成单元351处生成如图47所述的解析度转换SEI的情况下由压缩单元382（图31）根据控制器381（图31）的控制执行的压缩的图。
控制器381根据从SEI生成单元351提供的、图47中的解析度转换SEI，识别经过了并排压缩的压缩彩色图像。在压缩彩色图像经过了并排压缩的情况下，控制器381控制压缩单元382，从而以与压缩彩色图像相同的方式执行并排压缩。
压缩单元382根据控制器381的控制，通过执行并排压缩来生成压缩参考图像，在并排压缩中将用作参考图像的解码中间视点彩色图像及其副本水平排列。
图49和图50为用于描述由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155根据图31中的控制器381的控制进行的滤波处理的图。
也就是说，图49和图50是描述在图27中的SEI生成单元351处生成如图47所述的解析度转换SEI的情况下由水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155（图31）根据控制器381（图31）的控制执行的滤波处理的图。
注意，在图49和图50中，圆形符号表示压缩参考图像的原始像素（不是子像素的像素）。
假设压缩参考图像的原始像素（原始像素）之间的水平和垂直间隔为1，如图14和图15所述，原始像素是位于整数位置的整数像素，因此压缩参考图像是仅由整数像素构成的整数精度图像。
在通过并排压缩对压缩彩色图像进行了压缩的情况下，控制器381（图31）根据解析度转换SEI识别，在压缩彩色图像中，构成压缩彩色图像的左视点图像和右视点图像的水平解析度已经变为（一个视点图像的）原始解析度的1/2。
在该情况下，控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的水平1/2像素生成滤波处理单元151以便不执行滤波处理，并控制剩下的垂直1/2像素生成滤波处理单元152至水平垂直1/4像素生成滤波处理单元155以便执行滤波处理。
因此，水平1/2像素生成滤波处理单元151遵循控制器381的控制并且对来自压缩单元382的作为整数精度图像的压缩参考图像不进行水平1/2像素生成滤波处理，并无改变地提供到垂直1/2像素生成滤波处理单元152。
垂直1/2像素生成滤波处理单元152根据控制器381的控制，对来自水平1/2像素生成滤波处理单元151的作为整数精度图像的压缩参考图像进行垂直1/2像素生成滤波处理。
在该情况下，如图49所示，根据垂直1/2像素生成滤波处理，在以整数表示x坐标并以整数与1/2的相加值表示y坐标的坐标位置b处对用作子像素的像素（垂直1/2像素）进行内插。
垂直1/2像素生成滤波处理单元152向水平1/4像素生成滤波处理单元153提供通过垂直1/2像素生成滤波处理获得的、在图49中的位置b处对像素（垂直1/2像素）进行了内插的图像，即像素之间的水平间隔为1且垂直间隔为1/2的垂直1/2精度图像。
现在，构成垂直1/2精度图像的水平布置的参考图像及其副本（下文中也被称为副本参考图像）的解析度比对于二者都是1:2。
水平1/4像素生成滤波处理单元153根据控制器381的控制，对来自垂直1/2像素生成滤波处理单元152的垂直1/2精度图像进行水平1/4像素生成滤波处理。
在该情况下，如图50所示，水平1/2像素生成滤波处理单元151对要受到水平1/4像素生成滤波处理的来自垂直1/2像素生成滤波处理单元152的图像（垂直1/2精度图像）不进行水平1/2像素生成滤波处理，因此根据水平1/4像素生成滤波处理，在以整数与1/2的相加值表示x坐标并以整数或整数与1/2的相加值表示y坐标的坐标位置c处对用作子像素的像素（水平1/4像素）进行内插。
水平1/4像素生成滤波处理单元153向垂直1/4像素生成滤波处理单元154提供通过水平1/4像素生成滤波处理获得的、在图50中的位置c处对像素（水平1/4像素）进行了内插的图像，即像素之间的水平间隔为1/2且垂直间隔为1/2的图像。
垂直1/4像素生成滤波处理单元154根据控制器381的控制，对来自水平1/4像素生成滤波处理单元153的图像进行垂直1/4像素生成滤波处理。
在该情况下，如图50所示，水平1/2像素生成滤波处理单元151对要受到垂直1/4像素生成滤波处理的来自水平1/4像素生成滤波处理单元153的图像不进行水平1/2像素生成滤波处理，因此根据垂直1/4像素生成滤波处理，在以整数表示x坐标并以整数与1/4的相加值或者整数与-1/4的相加值表示y坐标的坐标位置d处对用作子像素的像素（垂直1/4像素）进行内插。
垂直1/4像素生成滤波处理单元154向水平垂直1/4像素生成滤波处理单元155提供通过垂直1/4像素生成滤波处理获得的、在图50中的位置d处对像素（垂直1/4像素）进行了内插的图像。
水平垂直1/4像素生成滤波处理单元155根据控制器381的控制，对来自垂直1/4像素生成滤波处理单元154的图像进行水平垂直1/4像素生成滤波处理。
在该情况下，如图50所示，水平1/2像素生成滤波处理单元151对要受到水平垂直1/4像素生成滤波处理的来自垂直1/4像素生成滤波处理单元154的图像不进行水平1/2像素生成滤波处理，因此根据水平垂直1/4像素生成滤波处理，在以整数与1/2的相加值表示x坐标并以整数与1/4的相加值或者整数与-1/4的相加值表示y坐标的坐标位置e处对用作子像素的像素（水平垂直1/4像素）进行内插。
水平垂直1/4像素生成滤波处理单元155向视差检测单元141和视差补偿单元142提供通过水平垂直1/4像素生成滤波处理获得的、在图50中的位置e处对像素（水平垂直1/4像素）进行了内插的图像，即像素之间的水平间隔为1/2且垂直间隔为1/4的水平1/2垂直1/4精度图像，作为转换后的参考图像。
现在，构成作为水平1/2垂直1/4精度图像的转换后的参考图像的、垂直布置的参考图像与副本参考图像的解析度比对于二者为1:2。
图51示出通过在参考图像转换单元370（图31）处不执行水平1/2像素生成滤波处理而执行垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理获得的转换后的参考图像。
如图49和50所示，在参考图像转换单元370处不执行水平1/2像素生成滤波处理而执行垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理以及水平垂直1/4像素生成滤波处理的情况下，可以获得水平1/2垂直1/4精度图像作为转换后的参考图像，其中像素之间的水平间隔（水平方向精度）是1/2，且垂直间隔（垂直方向精度）是1/4。
如上所述获得的转换后的参考图像是水平1/2垂直1/4精度图像，其中用作（原始）参考图像的解码中间视点图像及其副本图像以与压缩彩色图像相同的方式被水平排列。
另一方面，例如如图46所述，通过并排压缩获得的压缩彩色图像是相当于一个视点的图像，其中左视点彩色图像和右视点彩色图像的水平解析度已各自变为1/2，并且对水平解析度已变为1/2的左视点彩色图像和右视点彩色图像进行水平排列。
因此在编码器342（图27）中，待编码的压缩彩色图像（待编码图像）的解析度比与转换后的参考图像的解析度比一致（匹配），其中，在视差预测单元361（图30）处的视差预测中，在生成用于压缩彩色图像的预测图像时参考该转换后的参考图像。
也就是说，水平排列的左视点彩色图像和右视点彩色图像的水平解析度是初始解析度的1/2，因此构成压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比对于二者为1:2。
另一方面，水平排列的解码中间视点彩色图像及其副本的解析度比对于二者也是1:2，这与构成压缩彩色图像的左视点彩色图像和右视点彩色图像的解析度比1:2匹配。
如上所述，压缩彩色图像的解析度比与转换后的参考图像的解析度比一致，也就是说，在压缩彩色图像中，左视点彩色图像和右视点彩色图像被水平排列，并且在转换后的参考图像中，以与压缩彩色图像相同的方式对解码中间视点彩色图像及其副本进行水平排列，并且另外，在压缩图像中水平排列的左视点彩色图像和右视点彩色图像的解析度比与在转换后的参考图像中水平排列的解码中间视点彩色图像及其副本的解析度比彼此一致，从而可以提高视差预测的预测精度（在视差预测中生成的预测图像与当前块之间的残差变小），并且可以提高编码效率。
因此，可以防止由于上述解析度转换（其中多视点彩色图像（和多视点景深图像）的基带数据量减少）导致的在接收装置12处获得的解码图像中的图像质量的劣化。
注意，在图49至图51中，在参考图像转换单元370（图31）处获得水平1/2垂直1/4精度图像（图49）作为转换后的参考图像，然而在并排压缩的情况下，可以获得垂直1/2精度图像（图49）作为转换后的参考图像。
通过利用参考图像转换单元370（图31）的控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155来获得垂直1/2精度图像，从而在水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中，仅在垂直1/2像素生成滤波处理单元152处执行滤波处理，而在水平1/2像素生成滤波处理单元151和水平1/4像素生成滤波处理单元153至水平垂直1/4像素生成滤波处理单元155处不执行垂直1/2像素生成滤波处理。
图52为用于描述在通过并排压缩获得压缩彩色图像的情况下由图31中的参考图像转换单元370在图37中的步骤S133中执行的对参考图像的转换处理的流程图。
在步骤S271中，控制器381从SEI生成单元351接收解析度转换SEI，并且流程前进到步骤S272。
在步骤S272中，压缩单元382接收来自DPB43的用作参考图像的解码中间视点彩色图像，并且流程前进到步骤S273。
在步骤S273中，控制器381根据来自SEI生成单元351的解析度转换SEI，控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的每个的滤波处理和压缩单元382的压缩，并且相应地，来自DPB43的参考图像被转换为解析度比与待编码的压缩彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像。
也就是说，在步骤S273中，在步骤S273-1，压缩单元382对来自DPB43的参考图像及其副本进行压缩，并生成与待编码的压缩彩色图像具有相同压缩模式的压缩参考图像。
现在，在图52中，压缩单元382执行压缩以生成来自DPB43的参考图像及其副本的水平排列的压缩参考图像（并排压缩）。
压缩单元382将通过压缩获得的作为整数精度图像的压缩参考图像提供到水平1/2像素生成滤波处理单元151。
在控制器381的控制下，水平1/2像素生成滤波处理单元151对来自压缩单元382的压缩参考图像不进行水平1/2像素生成滤波处理，而是原样提供到垂直1/2像素生成滤波处理单元152，并且流程从步骤S273-1前进到步骤S273-2。
在步骤S273-2中，垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的作为整数精度图像的压缩参考图像进行垂直1/2像素生成滤波处理，将作为结果获得的垂直1/2精度图像（图49）提供到水平1/4像素生成滤波处理单元153，并且流程前进到步骤S273-3。
随后，流程从步骤S273-2前进到步骤S273-3，其中水平1/4像素生成滤波处理单元153对来自垂直1/2像素生成滤波处理单元152的垂直1/2精度图像进行水平1/4像素生成滤波处理，将作为结果获得的图像提供到垂直1/4像素生成滤波处理单元154，并且流程前进到步骤S273-4。
在步骤S273-4中，垂直1/4像素生成滤波处理单元154对来自水平1/4像素生成滤波处理单元153的图像进行垂直1/4像素生成滤波处理，将作为结果获得的图像提供到水平垂直1/4像素生成滤波处理单元155，并且流程前进到步骤S273-5。
在步骤S273-5中，水平垂直1/4像素生成滤波处理单元155对来自垂直1/4像素生成滤波处理单元154的图像进行水平垂直1/4像素生成滤波处理，并且流程前进到步骤S274。
在步骤S274中，水平垂直1/4像素生成滤波处理单元155将通过水平垂直1/4像素生成滤波处理获得的水平1/2垂直1/4精度图像（图50）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像，并且处理返回。
注意，在图52中的参考图像的转换处理中，可以跳过步骤S273-3至S273-5的处理，其中在步骤S273-2中将通过由垂直1/2像素生成滤波处理单元151执行垂直1/2像素生成滤波处理获得的垂直1/2精度图像（图49）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像。
另外，在对压缩彩色图像进行了并排压缩的情况下，在如图44中的步骤S233一样执行的、图45中的参考图像转换处理的步骤S253中，在解码器39（图39）的参考图像转换单元471（图42）处执行与图27中的步骤S273相同的处理。
[不执行压缩的情况]
在图23和图46中，已经描述了在解析度转换装置321C处将左视点彩色图像和右视点彩色图像的解析度变为低解析度，从而减少基带处的数据量，并且将解析度已降低的左视点彩色图像和右视点彩色图像压缩为相当于一个视点的压缩彩色图像，但是在解析度转换装置321C中，可以设置仅降低左视点彩色图像和右视点彩色图像的解析度，而不执行压缩。
图53为用于描述由图21中的解析度转换装置321C（和321D）执行的解析度转换和由图22中的解析度逆转换装置333C（和333D）执行的逆解析度转换的图。
也就是说，图53是用于描述在解析度转换装置321处仅执行用于减少基带数据量的解析度降低而不执行压缩的情况下由解析度转换装置321C（图21）执行的解析度转换和由解析度逆转换装置333C（图22）执行的逆解析度转换的图。
例如以与图2中的解析度转换装置21C相同的方式，解析度转换装置321C将作为提供到解析度转换装置321C的多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的中间视点彩色图像原样输出（无解析度转换）。
另外，例如以与图2中的解析度转换装置21C相同的方式，解析度转换装置321C关于多视点彩色图像的剩余的左视点彩色图像和右视点彩色图像转换两个视点彩色图像的解析度，并无压缩地输出作为结果获得的低解析度的左视点彩色图像和右视点彩色图像（在下文中也被称为低解析度左视点彩色图像和低解析度右视点彩色图像）。
也就是说，解析度转换装置321C将左视点彩色图像和右视点彩色图像中的每个的垂直解析度（像素数目）变为1/2，并无压缩地输出低解析度左视点彩色图像和低解析度右视点彩色图像，低解析度左视点彩色图像和低解析度右视点彩色图像为垂直方向解析度（垂直解析度）被变为1/2的左视点彩色图像和右视点彩色图像。
由解析度转换装置321C输出的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像被提供到编码装置322C（图21）作为解析度转换后的多视点彩色图像。
现在，解析度转换装置321C可以将左视点彩色图像和右视点彩色图像的水平解析度而不是垂直解析度变为1/2。
解析度转换装置321C还生成这样的解析度转换信息，使得中间视点彩色图像具有原始解析度，而低解析度左视点彩色图像和低解析度右视点彩色图像为垂直解析度（或水平解析度）已变为（原始解析度的）1/2的图像，并将其输出。
另一方面，解析度逆转换装置333C根据提供到解析度逆转换装置333C的解析度转换信息识别这样的指示：中间视点彩色图像具有原始解析度，而低解析度左视点彩色图像和低解析度右视点彩色图像为垂直解析度已变为1/2的图像。
基于根据解析度转换信息识别的信息，解析度逆转换装置333C原样输出作为提供到解析度逆转换装置333C的解析度转换后的多视点彩色图像的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像中的中间视点彩色图像。
另外，基于根据解析度转换信息识别的信息，解析度逆转换装置333C通过内插等将提供到解析度逆转换装置333C的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像中的低解析度左视点彩色图像和低解析度右视点彩色图像的垂直解析度恢复为原始解析度，并输出。
注意，多视点彩色图像（和多视点景深图像）可以为具有四个或更多个视点的图像。
另外，尽管图53图示将作为多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的左视点彩色图像和右视点彩色图像的垂直解析度变为低解析度，但是解析度转换装置321C可以对中间视点彩色图像、左视点彩色图像和右视点彩色图像中的仅一个图像或全部图像执行解析度转换以成为低解析度，并且解析度逆转换装置333C可以执行逆解析度转换，以将解析度转换装置321C处的解析度转换恢复到原始解析度。
[编码装置322C的配置示例]
图54为图示在解析度转换后的多视点彩色图像是如图53所述的中间视点彩色图像、低解析度左视点彩色图像、以及低解析度右视点彩色图像的情况下的、图21中的编码装置322C的配置示例的框图。
注意，以相同的符号表示对应于图26中的情况的部分，并且将适当省略下文中的描述。
在图54中，编码装置322C具有编码器41、DPB43、以及编码器511和512。
因此，图54中的编码装置322C与图26中的情况的相同之处在于具有编码器41和DPB43，而与图26中的编码装置322C的不同之处在于，用编码器511和512替换编码器342。
从解析度转换装置321C向编码器41提供构成解析度转换后的多视点彩色图像的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像中的中间视点彩色图像。
从解析度转换装置321C向编码器511提供构成解析度转换后的多视点彩色图像的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像中的低解析度左视点彩色图像。
从解析度转换装置321C向编码器512提供构成解析度转换后的多视点彩色图像的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像中的低解析度右视点彩色图像。
从解析度转换装置321C还向编码器511和512提供解析度转换信息。
如图5和图26所述，编码器41将中间视点彩色图像视为基本视角图像并通过MVC（AVC）进行编码，并输出作为结果获得的中间视点彩色图像的编码数据。
编码器511基于解析度转换信息将低解析度左视点彩色图像视为非基本视角图像并通过扩展格式进行编码，并输出作为结果获得的低解析度左视点彩色图像的编码数据。
编码器512基于解析度转换信息将低解析度右视点彩色图像视为非基本视角图像并通过扩展格式进行编码，并输出作为结果获得的低解析度右视点彩色图像的编码数据。
现在，除了编码器512的处理对象是低解析度右视点彩色图像而不是低解析度左视点彩色图像之外，编码器512执行与编码器511相同的处理，因此将在下文中适当省略其描述。
从编码器41输出的中间视点彩色图像的编码数据、从编码器511输出的低解析度左视点彩色图像的编码数据、以及从编码器512输出的低解析度右视点彩色图像的编码数据被提供到多路复用装置23（图21）作为多视点彩色图像编码数据。
现在，在图54中，编码器41、511和512共享DPB43。
也就是说，编码器41、511和512执行待编码图像的预测编码。因此，为了生成用于预测编码的预测图像，编码器41、511和512对待编码图像进行编码，然后执行本地解码，从而获得解码图像。
DPB43临时存储从编码器41、511和512中的每个获得的解码图像。
编码器41、511和512各自从存储在DPB43中的解码图像中选择在对待编码图像进行编码时参考的参考图像。然后，编码器41、511和512各自使用参考图像生成预测图像，并使用这些预测图像执行图像编码（预测编码）。
因此，编码器41、511和512中的每个除了可以参考在其自身处获得的解码图像之外，还可以参考在其它编码器处获得的解码图像。
[编码器511的配置示例]
图55为图示图54中的编码器511的配置示例的框图。
注意，以相同的符号表示附图中对应于图27中的情况的部分，并且将适当省略下文中的描述。
在图55中，编码器511具有A/D转换单元111、画面重排列缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、去块滤波器121、画面内预测单元122、预测图像选择单元124、SEI生成单元551、以及帧间预测单元552。
因此，编码器511与图27中的编码器342的相同之处在于具有A/D转换单元111至画面内预测单元122和预测图像选择单元124。
然而，注意，编码器511与图27中的编码器342的不同之处在于，设置SEI生成单元551和帧间预测单元552替换SEI生成单元351和帧间预测单元352。
从解析度转换装置321C向SEI生成单元511提供关于解析度转换后的多视点彩色图像的解析度转换信息（图21）。
SEI生成单元551根据MVC（AVC）将提供到SEI生成单元551的解析度转换信息的格式转换为SEI格式，并输出作为结果获得的解析度转换SEI。
SEI生成单元551输出的解析度转换SEI被提供到可变长度编码单元116和帧间预测单元552（的视差预测单元561）。
在可变长度编码单元116处，来自SEI生成单元551的解析度转换SEI被包括在编码数据中进行发送。
帧间预测单元552具有时间预测单元132和视差预测单元561。
因此，帧间预测单元552与图27中的帧间预测单元352的相同之处在于具有时间预测单元132，而与图27中的帧间预测单元352的不同之处在于，设置视差预测单元561而不是视差预测单元361。
从画面重排列缓冲器112向视差预测单元561提供低解析度左视点彩色图像的当前图片。
以与图27中的视差预测单元361相同的方式，视差预测单元561使用存储在DPB43中的解码中间视点彩色图像的图片（与当前图片相同时刻的图片）作为参考图像，对来自画面重排列缓冲器112的低解析度左视点彩色图像的当前图片的当前块执行视差预测，并生成当前块的预测图像。
然后，视差预测单元561将预测图像与诸如残差向量等的头信息一起提供到预测图像选择单元124。
另外，从SEI生成单元551向视差预测单元561提供解析度转换SEI。
视差预测单元561根据来自SEI生成单元551的解析度转换SEI，控制要施加到用作在视差预测中要参考的参考图像的解码中间视点彩色图像的图片的滤波处理。
也就是说，如上所述，当对参考图像进行像素被内插的滤波处理时，在MVC中存在这样的规定，即执行滤波处理使得以相同的倍数增加水平方向和垂直方向上的像素数目，因此在视差预测单元561处，根据来自SEI生成单元551的解析度转换SEI控制要施加到用作在视差预测中要参考的参考图像的解码中间视点彩色图像的图片的滤波处理，因此将参考图像转换为解析度比与待编码的低解析度左视点彩色图像的图片的水平和垂直解析度比（水平像素数目与垂直像素数目比）匹配的转换后的参考图像。
注意，在已经利用编码器512（图54）（其在当前图片之前对低解析度右视点图像进行编码并本地解码）对与要被编码器511编码的低解析度左视点图像相同时刻的低解析度右视点图像的图片进行编码、并且将作为结果获得的解码低解析度右视点彩色图像的图片存储在DPB43中的情况下，用于对低解析度左视点彩色图像进行编码的编码器511的视差预测单元561除了可以使用中间视点彩色图像的图片之外，还可以使用存储在DPB43中的解码低解析度右视点彩色图像的图片（与当前图片相同时刻的图片）作为参考图像，以用于视差预测。
[解析度转换SEI]
图56为用于描述在图55中的SEI生成单元551处生成的解析度转换SEI的图。
也就是说，图56是图示在解析度转换装置321C如图53所述仅执行解析度减小但不执行压缩的情况下用作解析度转换SEI的3dv_view_resolution(payloadSize)的语法的示例的图。
在图56中，用作解析度转换SEI的3dv_view_resolution(payloadSize)具有参数num_views_minus_1、view_id[i]和resolution_info[i]。
图57为用于描述在SEI生成单元551（图55）处根据关于解析度转换后的多视点彩色图像的解析度转换信息生成的被设置到解析度转换SEI参数num_views_minus_1、view_id[i]和resolution_info[i]的值的图。
以与图29中的情况相同的方式，参数num_views_minus_1表示通过从构成解析度转换后的多视点彩色图像的视点数目减1获得的值。
在图57中，解析度转换后的多视点彩色图像是中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像的三个视点图像，因此将参数num_views_minus_1设置为num_views_minus_1=3-1=2。
以与图29中的情况相同的方式，参数view_id[i]指示标识构成解析度转换后的多视点彩色图像的第i+1（i=0,1,...）图像的索引。
即，例如此处假设，以与图29中的情况相同的方式，左视点彩色图像是由编号0表示的视点＃0的图像，中间视点彩色图像是由编号1表示的视点＃1的图像，以及右视点彩色图像是由编号2表示的视点＃2的图像。
另外，假设，在解析度转换装置321C处，关于构成解析度转换后的多视点彩色图像的中间视点彩色图像、低解析度左视点彩色图像和低解析度右视点彩色图像不重新分配表示视点的编号，其中通过如图29所述对中间视点彩色图像、左视点彩色图像和右视点彩色图像执行解析度转换来获得解析度转换后的多视点彩色图像。
另外，假设，中间视点彩色图像是构成解析度转换后的多视点彩色图像的第1图像（i=0的图像），低解析度左视点彩色图像是构成解析度转换后的多视点彩色图像的第2图像（i=1的图像），以及低解析度右视点彩色图像是构成解析度转换后的多视点彩色图像的第3图像（i=2的图像）。
在该情况下，作为构成解析度转换后的多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像的参数view_id[0]具有表示中间视点彩色图像的视点＃1的编号1（view_id[0]=1）。
另外，作为构成解析度转换后的多视点彩色图像的第2（=i+1=1+1）图像的低解析度左视点彩色图像的参数view_id[1]具有表示低解析度左视点彩色图像的视点＃0的编号0（view_id[1]=0）。
另外，作为构成解析度转换后的多视点彩色图像的第3（=i+1=2+1）图像的低解析度右视点彩色图像的参数view_id[2]具有表示低解析度左视点彩色图像的视点＃2的编号2（view_id[2]=2）。
参数resolution_info[i]表示是否存在构成解析度转换后的多视点彩色图像的第i+1图像的解析度减小以及解析度减小的模式（解析度减小模式）。
此处，参数resolution_info[i]的值为0表示解析度未减小。
另外，参数resolution_info[i]为0以外的其它值，例如1或2，表示解析度被减小。
值为1的参数resolution_info[i]还表示垂直解析度被减小为（原始）解析度的1/2，并且值为2的参数resolution_info[i]表示水平解析度被减小为解析度的1/2。
在图57中，对于作为构成解析度转换后的多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像不减小解析度，因此将中间视点彩色图像的参数resolution_info[0]设为0，从而指示解析度不被减小（resolution_info[0]=0）。
另外，在图57中，对于作为构成解析度转换后的多视点彩色图像的第2（=i+1=1+1）图像的低解析度左视点彩色图像已经将垂直解析度减小为1/2，因此将低解析度左视点彩色图像的参数resolution_info[1]设为1，从而指示垂直解析度已被减小为1/2（resolution_info[1]=1）。
另外，在图57中，对于作为构成解析度转换后的多视点彩色图像的第3（=i+1=2+1）图像的低解析度右视点彩色图像已经将垂直解析度减小为1/2，因此将低解析度右视点彩色图像的参数resolution_info[2]设为1，从而指示垂直解析度已被减小为1/2（resolution_info[2]=1）。
[视差预测单元361的配置示例]
图58为图示图55的视差预测单元561的配置示例的框图。
注意，以相同的符号表示附图中对应于图30中的情况的部分，并且将适当省略下文中的描述。
在图58中，视差预测单元531具有：视差检测单元141、视差补偿单元142、预测信息缓冲器143、成本函数计算单元144、模式选择单元145、以及参考图像转换单元570。
因此，图58中的视差预测单元561与图30中的视差预测单元361的相同之处在于具有视差检测单元141至模式选择单元145。
然而，图58中的视差预测单元561与图30中的视差预测单元361的不同之处在于用参考图像转换单元570替换参考图像转换单元370。
从DPB43向参考图像转换单元570提供解码中间视点彩色图像的图片作为参考图像，并且还从SEI生成单元551向参考图像转换单元570提供解析度转换SEI。
参考图像转换单元570根据来自SEI生成单元551的解析度转换SEI控制要施加到用作在视差预测中要参考的参考图像的解码中间视点彩色图像的图片的滤波处理，因此将参考图像转换为解析度比与待编码的低解析度左视点彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像，并提供到视差检测单元141和视差补偿单元142。
[参考图像转换单元570的配置示例]
图59为图示图58中的参考图像转换单元570的配置示例的框图。
注意，以相同的符号表示附图中对应于图31中的情况的部分，并且将适当省略下文中的描述。
在图59中，参考图像转换单元570具有水平1/2像素生成滤波处理单元151、垂直1/2像素生成滤波处理单元152、水平1/4像素生成滤波处理单元153、垂直1/4像素生成滤波处理单元154、水平垂直1/4像素生成滤波处理单元155、以及控制器381。
因此，图59中的参考图像转换单元570与图31中的参考图像转换单元370的相同之处在于具有水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155和参考图像转换单元370。
然而，图59中的参考图像转换单元570与图31中的参考图像转换单元370的不同之处在于未设置压缩单元382。
在图59中的参考图像转换单元570中，控制器381根据来自SEI生成单元551的解析度转换SEI控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155的滤波处理。
然后，水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155根据控制器381的控制对用作参考图像的从DPB43提供的解码中间视点彩色图像进行滤波处理，并将作为结果获得的转换后的参考图像提供到视差检测单元141和视差补偿单元142。
[低解析度左视点彩色图像的编码处理]
图60为用于描述由图55中的编码器511执行的对低解析度左视点彩色图像进行编码的编码处理的流程图。
在步骤S301至S309中，执行与图36中的步骤S101至S109相同的处理，因此在去块滤波器121处对通过解码（本地解码）低解析度左视点彩色图像的当前块获得的低解析度左视点彩色图像的解码当前块进行滤波，并提供到DPB43。
然后，流程前进到步骤S310，其中DPB43等待从对中间视点彩色图像进行编码的编码器41（图54）提供通过对中间视点彩色图像进行编码和本地解码获得的解码中间视点彩色图像，存储解码中间视点彩色图像，并且流程前进到步骤S311。
在步骤S311中，DPB43存储来自去块滤波器121的解码低解析度左视点彩色图像，并且流程前进到步骤S312。
在步骤S312中，画面内预测单元122对下一个当前块执行帧内预测处理（画面内预测处理）。
也就是说，画面内预测单元122对下一个当前块执行帧内预测处理（画面内预测处理），以根据存储在DPB43中的解码低解析度左视点彩色图像的图片生成预测图像（帧内预测的预测图像）。
然后，画面内预测单元122使用帧内预测的预测图像获得对下一个当前块进行编码所需要的编码成本，将该编码成本与头信息（用作头信息的关于帧内预测的信息）和帧内预测的预测图像一起提供到预测图像选择单元124，并且流程从步骤S312前进到步骤S313。
在步骤S313中，时间预测单元132以解码低解析度左视点彩色图像的图片（在当前图片之前编码和本地解码的图片）作为参考图像，执行关于下一个当前块的时间预测处理。
也就是说，时间预测单元132使用存储在DPB43中的解码低解析度左视点彩色图像执行关于下一个当前块的时间预测，从而针对具有不同宏块类型等的每个帧间预测模式获得预测图像、编码成本等。
另外，时间预测单元132采用编码成本最小的帧间预测模式作为最优帧间预测模式，将该最优预测模式的预测图像与头信息（用作头信息的关于帧内预测的信息）和编码成本一起提供到预测图像选择单元124，并且流程从步骤S313前进到步骤S314。
在步骤S314中，SEI生成单元551生成如图56和图57所述的解析度转换SEI，将该解析度转换SEI提供到可变长度编码单元116和视差预测单元561，并且处理前进到步骤S315。
在步骤S315中，视差预测单元561以解码中间视点彩色图像（在与当前图片相同时刻的图片）作为参考图像，执行下一个当前块的视差预测处理。
也就是说，视差预测单元561采用存储在DPB43中的解码中间视点彩色图像的图片作为参考图像，并且根据来自SEI生成单元551的解析度转换信息SEI将该参考图像转换为转换后的参考图像。
另外，视差预测单元561使用转换后的参考图像对下一个当前块执行视差预测，从而对宏块类型等不同的每个帧间预测模式获得预测图像、编码成本等。
另外，视差预测单元561采用编码成本最小的帧间预测模式作为最优帧间预测模式，将该最优帧间预测模式的预测图像与头信息（用作头信息的关于帧间预测的信息）和编码成本一起提供到预测图像选择单元124，并且流程从步骤S315前进到步骤S316。
在步骤S316中，预测图像选择单元124从来自画面内预测单元122的预测图像（帧内预测的预测图像）、来自时间预测单元132的预测图像（时间预测图像）、以及来自视差预测单元561的预测图像（视差预测图像）中选择例如编码成本最小的预测图像，将其提供到计算单元113和220，并且流程前进到步骤S317。
现在，在用于对下一个当前块进行编码的步骤S303和S308的处理中使用在步骤S316中由预测图像选择单元124选择的预测图像。
另外，预测图像选择单元124在从画面内预测单元122、时间预测单元132和视差预测单元561提供的头信息中选择与编码成本最小的预测图像一起提供的头信息，并提供到可变长度编码单元116。
在步骤S317中，可变长度编码单元116对来自量化单元115的量化值进行可变长度编码，并获得编码数据。
另外，可变长度编码单元116将来自预测图像选择单元124的头信息和来自SEI生成单元551的解析度转换SEI包括在编码数据的头部中。
然后，可变长度编码单元116将编码数据提供到存储缓冲器117，并且流程从步骤S317前进到步骤S318。
在步骤S318中，存储缓冲器117临时存储来自可变长度编码单元116的编码数据。
以预定发送速率将存储在存储缓冲器117中的编码数据提供（发送）到多路复用装置23（图21）。
在编码器511处根据需要重复执行上述步骤S301至S318的处理。
图61为用于描述由图58中的视差预测单元561在图60中的步骤S315中执行的视差预测处理的流程图。
在步骤S331中，参考图像转换单元570接收从SEI生成单元551提供的解析度转换SEI，并且流程前进到步骤S332。
在步骤S332中，参考图像转换单元570接收来自DPB43的用作参考图像的解码中间视点彩色图像的图片，并且流程前进到步骤S333。
在步骤S333中，参考图像转换单元570根据来自SEI生成单元551的解析度转换SEI，控制要对来自DPB43的用作参考图像的解码中间视点彩色图像的图片执行的滤波处理，因此对参考图像执行转换处理，以将参考图像转换为转换后的参考图像，转换后的参考图像的解析度比与待编码的低解析度左视点彩色图像的图片的水平和垂直解析度比匹配。
然后，参考图像转换单元570将通过对参考图像执行转换处理获得的转换后的参考图像提供到视差检测单元141和视差补偿单元142，并且流程从步骤S333前进到步骤S334。
在步骤S334至步骤S340中，执行与图37中的步骤S134至S140中的每个步骤相同的处理。
图62为用于描述由图59中的参考图像转换单元570在图61中的步骤S333中对参考图像执行转换处理的流程图。
现在，为了方便描述，到目前为止已经描述了视差预测单元561（图55）使用解析度未被减小的（解码）中间视点彩色图像作为参考图像对要在编码器511处进行编码的低解析度左视点彩色图像（左视点彩色图像的垂直解析度被减小为1/2解析度）执行视差预测，然而，如图55所示，可以这样设置，其中使用右视点彩色图像的解析度已经被减小的（解码）低解析度右视点彩色图像作为参考图像对要在编码器511处进行编码的低解析度左视点彩色图像执行视差预测。
也就是说，在编码器511中，除了解析度未被减小的多视点彩色图像之外，还可以使用解析度已经与待编码的低解析度左视点彩色图像相同地被减小的低解析度右视点彩色图像作为参考图像，对要在编码器511处进行编码的低解析度左视点彩色图像执行视差预测。
在编码器511中，在采用左视点彩色图像的垂直解析度被减小为1/2解析度的低解析度左视点彩色图像作为待编码的图像、并使用解析度未被减小的中间视点彩色图像作为参考图像对该待编码的图像执行视差预测的情况下，待编码的图像是垂直解析度已变为（原始解析度的）1/2的低解析度图像，并且参考图像是解析度未被减小的图像，因此待编码的图像是具有参考图像的1/2垂直解析度的图像，从而待编码的图像的解析度比与参考图像的解析度比不同。
另一方面，在编码器511中，在采用左视点彩色图像的垂直解析度被减小为1/2解析度的低解析度左视点彩色图像作为待编码的图像、并使用右视点彩色图像的垂直解析度被减小为1/2的低解析度右视点彩色图像作为参考图像对该待编码的图像执行视差预测的情况下，待编码的图像是垂直解析度已变为1/2的低解析度图像，并且参考图像也是垂直解析度已变为1/2的图像，因此待编码的图像的解析度比与参考图像的解析度比一致。
另外，在图54中的编码装置322C中，已经描述了：在编码器41处，将中间视点彩色图像作为基本视角图像进行编码，并且在编码器511和512处，各自将低解析度左视点彩色图像和低解析度右视点彩色图像作为非基本视角图像进行编码，然而可以在编码装置322C处进行这样的设置：替选地，将低解析度左视点彩色图像和低解析度右视点彩色图像中的一个（例如低解析度左视点彩色图像）作为非基本视角图像进行编码，以及在编码器511处，将中间视点彩色图像作为非基本视角图像进行编码，而在编码器512处，将低解析度左视点彩色图像和低解析度右视点彩色图像中的另一个（低解析度右视点彩色图像）作为非基本视角图像进行编码。
在编码器511处，在对作为非基本视角图像的中间视点彩色图像进行编码的情况下，使用左视点彩色图像的垂直解析度被减小为1/2解析度的低解析度左视点彩色图像（或者右视点彩色图像的垂直解析度被减小为1/2解析度的低解析度右视点彩色图像），对解析度未被减小的待编码的中间视点彩色图像执行视差预测。
在编码器511中，在采用解析度未被减小的中间视点彩色图像作为待编码的图像、并使用垂直解析度已经被减小为1/2解析度的低解析度左视点彩色图像作为参考图像的情况下，待编码的图像是解析度未被减小的图像，且参考图像是垂直解析度已经被减小为1/2的低解析度图像，因此待编码的图像是具有参考图像的垂直解析度的两倍垂直解析度的图像，从而待编码的图像的解析度比与参考图像的解析度比不同。
如上所述，关于要在编码器511处进行编码的图像、和用于待编码的图像的视差预测的参考图像，由于待编码的图像为具有参考图像的垂直解析度的1/2的图像或两倍垂直解析度的图像等，因此存在待编码的图像的解析度比与参考图像的解析度比不同的情况，以及待编码的图像的解析度比与参考图像的解析度比匹配的情况。
另外，如图53所述，解析度转换装置321C除了可以将左视点彩色图像和右视点彩色图像的垂直解析度减小为1/2之外，还可以将左视点彩色图像和右视点彩色图像的水平解析度减小为1/2。
图62中的参考图像的转换处理是能够处理以下情况中的任一种的处理：一种情况是由于待编码图像为具有参考图像的垂直解析度的1/2的图像或两倍垂直解析度的图像，因此待编码的图像的解析度比与参考图像的解析度比不同；一种情况是待编码的图像的解析度比与参考图像的解析度比匹配；以及一种情况是已经执行了解析度的减小，以将左视点彩色图像和右视点彩色图像的垂直解析度减小为1/2解析度；以及一种情况是已经执行了解析度的减小，以将左视点彩色图像和右视点彩色图像的水平解析度减小为1/2解析度。
在图62中的参考图像的转换处理中，在步骤S351中，控制器381（图59）从SEI生成单元551接收解析度转换SEI，并且流程前进到步骤S352。
在步骤S352中，水平1/2像素生成滤波处理单元151（图59）接收来自DPB43的用作参考图像的解码中间视点彩色图像，并且流程前进到步骤S353。
在步骤S353中，控制器381根据来自SEI生成单元551的解析度转换SEI，控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的每个的滤波处理，因此来自DPB43的参考图像被转换为解析度比与待编码的图像的图片的水平和垂直解析度比匹配的转换后的参考图像。
也就是说，在步骤S353中，在步骤S361中，控制器381确定要在编码器511处进行编码的图像的resolution_info[i]（图56、图57）与用于视差预测的参考图像（已经被编码并本地解码的解码图像）的resolution_info[j]是否相等。
现在，假设，要在编码器511处进行编码的图像是构成解析度转换后的多视点彩色图像的第i+1图像，而用于视差预测的参考图像是构成解析度转换后的多视点彩色图像的第j(≠i)+1图像（j=0,1,...）。
在步骤S361中，在确定要在编码器511处进行编码的图像的resolution_info[i]与用于视差预测的参考图像的resolution_info[j]相等的情况下，即在待编码的图像和用于视差预测的参考图像都是解析度未被减小的图像、或者都是解析度已经被减小的图像从而待编码的图像的解析度比与参考图像的解析度比一致的情况下，流程前进到步骤S362，之后，在步骤S362至S366中，根据图14和图15所述的MVC对来自DPB43的参考图像进行滤波处理（在水平方向和垂直方向中的每个方向上的像素数目以相同倍数增加的滤波处理）。
也就是说，在步骤S362中，水平1/2像素生成滤波处理单元151对来自DPB43的作为整数精度图像的参考图像进行水平1/2像素生成滤波处理，将作为结果获得的图像提供到垂直1/2像素生成滤波处理单元152，并且流程前进到步骤S363。
在步骤S363中，垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的图像进行垂直1/2像素生成滤波处理，将作为结果获得的1/2精度图像（图14）提供到水平1/4像素生成滤波处理单元153，并且流程前进到步骤S364。
在步骤S364中，水平1/4像素生成滤波处理单元153对来自垂直1/2像素生成滤波处理单元152的1/2精度图像进行水平1/4像素生成滤波处理，将作为结果获得的图像提供到垂直1/4像素生成滤波处理单元154，并且流程前进到步骤S365。
在步骤S365中，垂直1/4像素生成滤波处理单元154对来自水平1/4像素生成滤波处理单元153的图像进行垂直1/4像素生成滤波处理，将作为结果获得的图像提供到水平垂直1/4像素生成滤波处理单元155，并且流程前进到步骤S366。
在步骤S366中，水平垂直1/4像素生成滤波处理单元155对来自垂直1/4像素生成滤波处理单元154的图像进行水平垂直1/4像素生成滤波处理，并且流程前进到步骤S354。
在步骤S354中，水平垂直1/4像素生成滤波处理单元155将通过水平垂直1/4像素生成滤波处理获得的1/4精度图像（图15）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像，并且流程返回。
注意，在图62中的对参考图像的转换处理中确定待编码图像的resolution_info[i]与用于视差预测的参考图像的resolution_info[j]相等的情况下，即在待编码的图像的解析度比与用于视差预测的参考图像的解析度比一致的情况下，可以跳过步骤S362至S366中的步骤S364至S366的滤波处理，以将在步骤S363获得的1/2精度图像提供到视差检测单元141和视差补偿单元142作为转换后的参考图像，或者可以跳过步骤S362至S366的全部处理，以将未改变的参考图像提供到视差检测单元141和视差补偿单元142作为转换后的参考图像。
在步骤S361中确定待编码图像的resolution_info[i]与用于视差预测的参考图像的resolution_info[j]不相等的情况下，即在待编码的图像的解析度比与用于视差预测的参考图像的解析度比不一致的情况下，流程前进到步骤S367，并且控制器381确定要在编码器511处进行编码的图像的resolution_info[i]和用于视差预测的参考图像的resolution_info[j]。
在步骤S367中，在确定待编码图像的resolution_info[i]为1且用于视差预测的参考图像的resolution_info[j]为0，或者待编码图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为2的情况下，流程前进到步骤S368，其中水平1/2像素生成滤波处理单元151对来自DPB43的作为整数精度图像进行水平1/2像素生成滤波处理，并且作为结果获得的水平1/2精度图像（图33）被提供到垂直1/2像素生成滤波处理单元152。
垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的水平1/2精度图像不执行（跳过）垂直1/2像素生成滤波处理，并且原样提供到水平1/4像素生成滤波处理单元153，以及流程从步骤S368前进到步骤S364。
然后，在步骤S364至S366中，与上述情况相同地，对水平1/2精度图像进行水平1/4像素生成滤波处理单元153的水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理单元154的垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理单元155的水平垂直1/4像素生成滤波处理中的每个处理，从而获得水平1/4垂直1/2精度图像（图34）。
然后，流程从步骤S366前进到步骤S354，其中水平垂直1/4像素生成滤波处理单元155将水平1/4垂直1/2精度图像提供到视差检测单元141和视差补偿单元142作为转换后的参考图像，并且流程返回。
也就是说，在待编码图像的resolution_info[i]为1且用于视差预测的参考图像的resolution_info[j]为0的情况下，如图56和57所述，待编码图像是垂直解析度已变为1/2（resolution_info[i]=1）的解析度减小的图像，并且用于视差预测的参考图像是解析度未被减小（resolution_info[j]为0）的图像，因此尽管用于视差预测的参考图像的解析度比为1:1，但是待编码图像的解析度比为2:1。
因此，参考图像转换单元570（图59）将解析度比为1:1的参考图像的要被内插的像素数目的垂直和水平比（在下文中也被称为内插像素比）转换为2:1的水平1/4垂直1/2精度图像，从而获得与待编码图像的内插像素比2:1匹配的转换后的参考图像。
另外，在待编码图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为2的情况下，如图56和57所述，待编码图像是解析度未被减小的图像（resolution_info[i]为0），并且用于视差预测的参考图像是水平解析度已变为1/2（resolution_info[j]为2）的解析度减小图像，因此尽管待编码图像的解析度比为1:1，但是用于视差预测的参考图像的解析度比为1:2。
因此，参考图像转换单元570（图59）将解析度比为1:2的参考图像的内插像素比转换为内插像素比为2:1的水平1/4垂直1/2精度图像，从而获得与待编码图像的内插像素比1:1(=2:2)匹配的转换后的参考图像。
注意，在图62中的参考图像的转换处理的情况下，在待编码图像的resolution_info[i]为1且用于视差预测的参考图像的resolution_info[j]为0的情况下和在待编码图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为2的情况下，可以跳过步骤S362至S366中的步骤S364至S366的滤波处理，以将在步骤S368获得的水平1/2精度图像（图33）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像。
另一方面，在步骤S367中，在确定待编码图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为1，或者待编码图像的resolution_info[i]为2且用于视差预测的参考图像的resolution_info[j]为0的情况下，水平1/2像素生成滤波处理单元151对来自DPB43的作为整数精度图像的参考图像不执行（跳过）水平1/2像素生成滤波处理，并原样提供到垂直1/2像素生成滤波处理单元152，以及流程前进到步骤S369。
在步骤S369中，垂直1/2像素生成滤波处理单元152对来自水平1/2像素生成滤波处理单元151的作为整数精度图像的参考图像执行垂直1/2像素生成滤波处理，并且将作为结果获得的垂直1/2精度图像（图49）提供到水平1/4像素生成滤波处理单元153，以及流程前进到步骤S364。
然后，在步骤S364至S366中，与上述情况相同，对水平1/2精度图像进行水平1/4像素生成滤波处理单元153的水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理单元154的垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理单元155的水平垂直1/4像素生成滤波处理中的每个处理，从而获得水平1/2垂直1/4精度图像（图50）。
然后，流程从步骤S366前进到步骤S354，其中水平垂直1/4像素生成滤波处理单元155将水平1/2垂直1/4精度图像提供到视差检测单元141和视差补偿单元142作为转换后的参考图像，并且流程返回。
也就是说，在待编码图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为1的情况下，如图56和57所述，待编码图像是解析度未被减小的图像（resolution_info[i]为0），并且用于视差预测的参考图像是垂直解析度已变为1/2（resolution_info[j]=1）的解析度减小图像，因此尽管用于视差预测的参考图像的解析度比为1:1，但是待编码图像的解析度比为2:1。
因此，参考图像转换单元570（图59）将解析度比为2:1的参考图像的内插像素比转换为内插像素比为1:2的水平1/2垂直1/4精度图像，从而获得与待编码图像的内插像素比1:1(=2:2)匹配的转换后的参考图像。
另外，在待编码图像的resolution_info[i]为2且用于视差预测的参考图像的resolution_info[j]为0的情况下，如图56和57所述，待编码图像是水平解析度已变为1/2（resolution_info[i]=2）的解析度减小图像，并且用于视差预测的参考图像是解析度未被减小（resolution_info[j]为0）的图像，因此尽管待编码图像的解析度比为1:1，但是用于视差预测的参考图像的解析度比为1:2。
因此，参考图像转换单元570（图59）将解析度比为1:1的参考图像的内插像素比转换为内插像素比为1:2的水平1/2垂直1/4精度图像，从而获得与待编码图像的内插像素比1:2匹配的转换后的参考图像。
注意，在图62中的参考图像的转换处理的情况下，在待编码图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为0的情况下和在待编码图像的resolution_info[i]为2且用于视差预测的参考图像的resolution_info[j]为0的情况下，可以跳过步骤S362至S366中的步骤S364至S366的滤波处理，以将在步骤S369获得的垂直1/2精度图像（图49）提供到视差检测单元141和视差补偿单元142作为转换后的参考图像。
图63为用于描述在由参考图像转换单元570（图59）执行图62中的参考图像转换处理的情况下通过控制器381控制在水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155中的每个单元处进行的滤波处理的图。
在要被编码器511编码的图像（图片）的resolution_info[i]与用于视差预测的参考图像（图片）的resolution_info[j]相等的情况下，即在resolution_info[i]和resolution_info[j]都为0、1或2的情况下，待编码图像的解析度比与用于视差预测的参考图像的解析度比一致，因此控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155以便执行全部滤波处理，例如，水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理，也就是说，如图14和图15所述的根据MVC的滤波处理（用于以相同倍数各自增加水平方向和垂直方向上的像素数目的滤波处理）。
在要在编码器511处进行编码的图像的resolution_info[i]为1且用于视差预测的参考图像的resolution_info[j]为0的情况下，待编码图像的解析度比为2:1，且用于视差预测的参考图像的解析度比为1:1，因此控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155，以便在水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理中，例如仅跳过垂直1/2像素生成滤波处理，而执行其它滤波处理，即以便执行如图33和图34所述的滤波处理，从而将解析度比为1:1的参考图像转换为解析度比与待编码图像的解析度比2:1匹配的转换后的参考图像。
在要在编码器511处进行编码的图像的resolution_info[i]为2且用于视差预测的参考图像的resolution_info[j]为0的情况下，待编码图像的解析度比为1:2，且用于视差预测的参考图像的解析度比为1:1，因此控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155，以便在水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理中，例如仅跳过水平1/2像素生成滤波处理，而执行其它滤波处理，即以便执行如图49和图50所述的滤波处理，从而将解析度比为1:1的参考图像转换为解析度比与待编码图像的解析度比1:2匹配的转换后的参考图像。
在要在编码器511处进行编码的图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为1的情况下，待编码图像的解析度比为1:1，且用于视差预测的参考图像的解析度比为2:1，因此控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155，以便在水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理中，例如仅跳过水平1/2像素生成滤波处理，而执行其它滤波处理，即以便执行如图49和图50所述的滤波处理，从而将解析度比为2:1的参考图像转换为解析度比与待编码图像的解析度比1:1匹配的转换后的参考图像。
在要在编码器511处进行编码的图像的resolution_info[i]为0且用于视差预测的参考图像的resolution_info[j]为2的情况下，待编码图像的解析度比为1:1，且用于视差预测的参考图像的解析度比为1:2，因此控制器381控制水平1/2像素生成滤波处理单元151至水平垂直1/4像素生成滤波处理单元155，以便在水平1/2像素生成滤波处理、垂直1/2像素生成滤波处理、水平1/4像素生成滤波处理、垂直1/4像素生成滤波处理、以及水平垂直1/4像素生成滤波处理中，例如仅跳过垂直1/2像素生成滤波处理，而执行其它滤波处理，即以便执行如图33和图34所述的滤波处理，从而将解析度比为1:2的参考图像转换为解析度比与待编码图像的解析度比1:1匹配的转换后的参考图像。
[解码装置332C的配置示例]
图64为图示在解析度转换后的多视点彩色图像是如图53描述的中间视点彩色图像、低解析度左视点彩色图像、以及低解析度右视点彩色图像的情况下，即在如图54所示地配置编码装置322C（图21）的情况下，图22中的解码装置332C的配置示例的框图。
注意，以相同的符号表示附图中对应于图39中的情况的部分，并且将在下文中适当省略描述。
在图64中，解码装置332C具有解码器211、611和612，以及DPB213。
因此，图64中的解码装置332C与图39中的解码装置332C的相同之处在于共享解码器211和DPB213，而与图39中的解码装置332C的不同之处在于，设置解码器611和612而不是解码器412。
从逆多路复用装置31（图22）向解码器211提供多视点彩色图像编码数据中的作为基本视角图像的中间视点彩色图像的编码数据。
另外，从逆多路复用装置31向解码器611提供多视点彩色图像编码数据中的作为非基本视角图像的低解析度左视点彩色图像的编码数据，并且从逆多路复用装置31向解码器612提供多视点彩色图像编码数据中的作为非基本视角图像的低解析度右视点彩色图像的编码数据。
解码器211以扩展格式对提供到解码器211的中间视点彩色图像的编码数据进行解码，并输出作为结果获得的中间视点彩色图像。
解码器611以扩展格式对提供到解码器611的低解析度左视点彩色图像的编码数据进行解码，并输出作为结果获得的低解析度左视点彩色图像。
解码器612以扩展格式对提供到解码器612的低解析度右视点彩色图像的编码数据进行解码，并输出作为结果获得的低解析度右视点彩色图像。
将由解码器211输出的中间视点彩色图像、由解码器611输出的低解析度左视点彩色图像和由解码器612输出的低解析度右视点彩色图像提供到解析度逆转换装置333C（图22），作为解析度转换后的多视点彩色图像。
另外，解码器211、611和612各自对在图26中的编码器41、511和512处被执行预测编码的图像进行解码。
为了对经过预测编码的图像进行解码，需要用于预测编码的预测图像，因此解码器211、611和612对待解码图像进行解码，并且之后在DPB213中临时存储用于生成预测图像的解码图像，以生成在预测编码中使用的预测图像。
DPB213由解码器211、611和612共享，并临时存储在解码器211、611和612中的每个解码器处获得的解码后的图像（解码图像）。
解码器211、611和612中的每个解码器从存储在DPB213中的解码图像中选择对待解码的图像进行解码所参考的参考图像，并利用参考图像生成预测图像。
因此，在解码器211、611和612之间共享DPB213，从而解码器211、611和612各自除了可以参考在其自身处获得的解码图像之外，还可以参考在另一个解码器处获得的解码图像。
注意，除了处理对象是低解析度左视点彩色图像而不是低解析度右视点彩色图像之外，解码器612执行与解码器611相同的处理，因此将在下文中适当省略描述。
[解码器611的配置示例]
图65为图示图64中的解码器611的配置示例的框图。
注意，以相同的符号表示附图中对应于图40中的情况的部分，并且将在下文中适当省略描述。
在图65中，解码器611具有：存储缓冲器241、可变长度解码单元242、逆量化单元243、逆正交变换单元244、计算单元245、去块滤波器246、画面重排列缓冲器247、D/A转换单元248、画面内预测单元249、预测图像选择单元251、以及帧间预测单元650。
因此，图40中的解码器412与图18中的解码器212的相同之处在于具有存储缓冲器241至画面内预测单元249和预测图像选择单元251。
然而，图65中的解码器611与图40中的解码器611的不同之处在于，设置帧间预测单元650而不是帧间预测单元450。
帧间预测单元650具有参考索引处理单元260、时间预测单元262和视差预测单元661。
因此，帧间预测单元650与图40中的帧间预测单元450的相同之处在于具有参考索引处理单元260和时间预测单元262，而与图40中的帧间预测单元450的不同之处在于，设置视差预测单元661而不是视差预测单元461（图40）。
在图65中的解码器611中，可变长度解码单元242从存储缓冲器241接收包括解析度转换SEI的压缩彩色图像的编码数据，并将包括在编码数据中的解析度转换SEI提供到视差预测单元661。
另外，可变长度解码单元242将解析度转换SEI提供到解析度逆转换装置333C（图22）作为解析度转换信息。
另外，可变长度解码单元242将包括在编码数据中的头信息（预测模式相关信息）提供到画面内预测单元249、以及构成帧间预测单元650的参考索引处理单元260、时间预测单元262和视差预测单元661。
从可变长度解码单元242向视差预测单元661提供预测模式相关信息和解析度转换SEI，并且还从参考索引处理单元260向视差预测单元661提供用作参考图像的解码中间视点彩色图像的图片。
视差预测单元661以与图55中视差预测单元561相同的方式，基于来自可变长度解码单元242的解析度转换SEI，将来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片转换为转换后的参考图像。
另外，视差预测单元661基于来自可变长度解码单元242的预测模式相关信息恢复用于生成当前块的预测图像的视差向量，并以与图55中的视差预测单元561相同的方式，通过对转换后的参考图像执行视差预测（视差补偿）生成预测图像，并将其提供到预测图像选择单元251。
[视差预测单元661的配置示例]
图66为图示图65中的视差预测单元661的配置示例的框图。
注意，以相同的符号表示附图中对应于图41中的情况的部分，并且将在下文中适当省略描述。
在图66中，视差预测单元661具有视差补偿单元272和参考图像转换单元671。
因此，图66中的视差预测单元661与图41中的视差预测单元461的相同之处在于具有视差补偿单元272，而与图41中的视差预测单元461的不同之处在于，设置参考图像转换单元671而不是参考图像转换单元471。
从参考索引处理单元260向参考图像转换单元671提供解码中间视点彩色图像的图片作为参考图像，并且还从可变长度解码单元242向参考图像转换单元671提供解析度转换SEI。
以与图59中的参考图像转换单元570相同的方式配置参考图像转换单元671。
以与图59中的参考图像转换单元570相同的方式，参考图像转换单元671还根据来自可变长度解码单元242的解析度转换SEI，控制要施加到用作在预测处理中要参考的参考图像的解码中间视点彩色图像的图片的滤波处理，因此将参考图像转换为解析度比与待解码的压缩彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像，并提供到视差补偿单元272。
[低解析度左视点彩色图像的解码处理]
图67为用于描述由图65中的解码器611执行的对低解析度左视点彩色图像的编码数据进行解码的解码处理的流程图。
在步骤S401至S406中，执行与图43中的步骤S201至S206相同的处理，由此在去块滤波器246处对低解析度左视点彩色图像的当前块已经被解码的解码低解析度左视点彩色图像进行滤波，并提供到DPB213和画面重排列缓冲器247。
随后，流程前进到步骤S407，其中DPB213等待从用于解码多视点彩色图像的解码器211（图64）提供的解码中间视点彩色图像，存储该解码中间视点彩色图像，并且流程前进到步骤S408。
在步骤S408中，DPB213存储来自去块滤波器246的解码压缩彩色图像，并且流程前进到步骤S409。
在步骤S409中，画面内预测单元249和帧间预测单元650（构成帧间预测单元650的时间预测单元262和视差预测单元461）基于从可变长度解码单元242提供的预测模式相关信息，确定由帧内预测（画面内预测）和帧间预测中的哪个生成预测图像，该预测图像用于对下一个当前块（下一个被解码的宏块）进行编码。
在步骤S409中确定使用由画面内预测生成的预测图像对下一个当前块进行编码的情况下，流程前进到步骤S410，并且画面内预测单元249执行帧内预测处理（画面内预测）。
也就是说，画面内预测单元249执行帧内预测（画面内预测），以根据存储在DPB213中的解码压缩彩色图像的图片生成预测图像（帧内预测的预测图像），将该预测图像提供到预测图像选择单元251，并且流程从步骤S410前进到步骤S415。
另外，在步骤S409中确定使用以帧间预测生成的预测图像对下一个当前块进行编码的情况下，流程前进到步骤S411，其中参考索引处理单元260从DPB213读取解码中间视点彩色图像的图片（其分配有包括在来自可变长度解码单元242的预测模式相关信息中的（用于预测的）参考索引）、或者解码压缩彩色图像的图片作为参考图像，并且流程前进到步骤S412。
在步骤S412中，参考索引处理单元260基于包括在从可变长度解码单元242提供的预测模式相关信息中的（用于预测的）参考索引，确定由作为帧内预测的时间预测和视差预测中的哪个生成预测图像，该预测图像用于对下一个当前块进行编码。
在步骤S412中确定使用以时间预测生成的预测图像对下一个当前块进行编码的情况下，即在已经分配有来自可变长度解码单元242的（下一个）当前块的用于预测的参考索引的图片是低解析度左视点彩色图像的图片、且在步骤S411中选择该解码低解析度左视点彩色图像的图片作为参考图像的情况下，参考索引处理单元260将解码压缩彩色图像的图片提供到时间预测单元262作为参考图像，并且流程前进到步骤S413。
在步骤S413中，时间预测单元262执行时间预测处理（帧间预测处理）。
也就是说，关于下一个当前块，时间预测单元262使用来自可变长度解码单元242的预测模式相关信息，对来自参考索引处理单元260的用作参考图像的解码低解析度左视点彩色图像的图片执行运动补偿，从而生成预测图像，将该预测图像提供到预测图像选择单元251，并且处理从步骤S413前进到步骤S415。
另外，在步骤S412中确定使用以视差预测生成的预测图像对下一个当前块进行编码的情况下，即在已经分配有来自可变长度解码单元242的（下一个）当前块的用于预测的参考索引的图片是解码中间视点彩色图像的图片、且在步骤S411中选择该解码中间视点彩色图像的图片作为参考图像的情况下，参考索引处理单元260将解码中间视点彩色图像提供到视差预测单元461作为参考图像，并且流程前进到步骤S414。
在步骤S414中，视差预测单元461执行视差预测处理（帧间预测处理）。
也就是说，视差预测单元661根据来自可变长度解码单元242的解析度转换SEI，将来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片转换为转换后的参考图像。
另外，视差预测单元661使用来自可变长度解码单元242的预测模式相关信息对下一个当前块的转换后的参考图像执行视差补偿，从而生成预测图像，并将该预测图像提供到预测图像选择单元251，以及流程从步骤S414前进到步骤S415。
然后，在步骤S415至S417中执行与图43中的步骤S215至S217相同的处理。
在解码器611处，重复执行上述步骤S401至S417的处理。
图68为用于描述图66中的视差预测单元661在图67中的步骤S414中执行的视差预测处理的流程图。
在步骤S431中，参考图像转换单元671接收从可变长度解码单元242提供的解析度转换SEI，并且流程前进到步骤S432。
在步骤S432中，参考图像转换单元671接收来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片，并且流程前进到步骤S433。
在步骤S433中，参考图像转换单元671根据来自参考索引处理单元260的参考图像，控制要施加到来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片的滤波处理，由此执行参考图像转换处理，以将参考图像转换为解析度比与待解码的低解析度左视点彩色图像的图片的水平和垂直解析度比匹配的转换后的参考图像。
然后，参考图像转换单元671将通过把参考图像转换为与低解析度左视点彩色图像相同的解析度比而获得的转换后的参考图像提供到视差补偿单元272，并且流程从步骤S433前进到步骤S434。
然后，在步骤S434至S436中执行与图44中的步骤S234至S236相同的处理。
[应用本技术的计算机的描述]
上述系列处理可以通过硬件执行，或者可以通过软件执行。在通过软件执行上述系列处理的情况下，将构成软件的程序安装在通用计算机中。
因此，图70图示计算机的实施例的配置示例，在该计算机中安装有执行上述系列处理的程序。
可以将程序预先存储在内置到计算机中的用作记录介质的硬盘1105或ROM1103中。
可替选地，可将程序存储到可移除记录介质1111中。可以将这样的可移除记录介质1111提供为所谓的封装软件。此处，可移除记录介质1111的示例包括软盘、CD-ROM（压缩盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘、半导体存储器等。
注意，除了如上所述从可移除记录介质1111安装到计算机之外，还可经由通信网络或广播网络将程序下载到计算机并安装到内置硬盘1105中。即，例如可以经由用于数字卫星广播的卫星从下载站点将程序无线发送到计算机，或者经由诸如LAN（局域网）、英特网的网络通过缆线将程序发送到计算机。
计算机具有内置的CPU（中央处理单元）1102，其中输入/输出接口1110经由总线1101与CPU1102连接。
在由用户对输入单元1107等进行操作以经由输入/输出接口1110输入指令时，CPU1102相应地执行存储在ROM（只读存储器）1103中的程序。可替选地，CPU1102将存储在硬盘1105中的程序装载到RAM（随机访问存储器）1104中，并执行该程序。
因此，CPU1102执行根据上述流程图的处理、或者由上述框图的配置执行的处理。然后，CPU1102根据需要例如经由输入/输出接口1110，从输出单元1106输出处理结果，或者从通信单元1108进行发送，或者另外记录在硬盘1105中等等。
注意，输入单元1107由键盘、鼠标、麦克风等构成。另外，输出单元1106由LCD（液晶显示器）和扬声器等构成。
现在，在本说明书中，由计算机根据程序执行的处理不必按照根据流程图中描述的顺序的时间顺序来执行。也就是说，由计算机根据流程图执行的处理包括并行或单独执行的处理（例如并行处理或面向对象的处理）。
另外，可以通过一个计算机（处理器）处理程序，或者可以通过多台计算机以分布的方式处理程序。另外，可将程序传输到远程计算机并通过远程计算机执行。
本技术可应用于在经由诸如有线TV（电视）、英特网和蜂窝电话等的网络介质进行的通信中、或在诸如光盘或磁盘、闪存等的记录介质上的处理中使用的图像处理系统。
另外，注意，上述图像处理系统的至少一部分可以应用于任意选择的电子装置。下面为其示例的描述。
[电视的配置示例]
图71示出已经应用本技术的电视的示意性配置的示例。
电视1900包括天线1901、调谐器1902、多路解复用器1903、解码器1904、图像信号处理单元1905、显示单元1906、音频信号处理单元1907、扬声器1908、以及外部接口单元1909。电视1900还具有控制单元1910、用户界面单元1911等。
调谐器1902根据经由天线1901接收到的广播信号调谐到期望的信道，并且执行解调，以及将获得的编码比特流输出到多路解复用器1903。
多路解复用器1903从编码比特流中提取作为观看节目的图像和音频的包，并将提取的包的数据输出到解码器1904。另外，多路解复用器1903还将诸如EPG（电子节目指南）的数据包提供到控制单元1910。注意，多路解复用器等可在被加扰时执行解扰。
解码器1904执行包解码处理，以及将通过解码处理生成的图像数据输出到图像信号处理单元1905，并将音频数据输出到音频信号处理单元1907。
图像信号处理单元1905根据对图像数据的用户设定执行噪声降低和图像处理。图像信号处理单元1905基于经由网络等提供的应用生成节目的图像数据，以在显示单元1906上根据处理来显示图像数据。另外，图像信号处理单元1905生成用于显示菜单画面等以选择项目等的图像数据，并将其叠加在节目图像数据上。图像信号处理单元1905基于以此方式生成的图像数据来生成驱动信号，并驱动显示单元1906。
显示单元1906被从图像信号处理单元1905提供的驱动信号驱动，并驱动显示装置（例如液晶显示装置）以显示节目的图像等。
音频信号处理单元1907对音频数据进行诸如噪声移除等预定处理，对经处理的音频数据执行D/A转换处理和放大处理，并通过提供到扬声器1908来执行音频输出。
外部接口单元1909是与外部装置或网络连接的接口，并执行诸如图像数据、音频数据等数据的发送/接收。
用户界面单元1911连接到控制单元1910。用户界面单元1911例如由操作开关、远程控制信号接收单元等构成，并将对应于用户操作的操作信号提供到控制单元1910。
控制单元1910由CPU（中央处理单元）、存储器等构成。存储器存储由CPU执行的程序、用于CPU执行处理所需的各种数据、EPG数据、通过网络获取的数据等。在预定时刻，例如启动TV1900时，通过CPU读取并执行存储在存储器中的程序。CPU通过执行程序控制每个部分，使得TV1900的操作对应于用户操作。
TV1900还设置有将调谐器1902、多路解复用器1903、图像信号处理单元1905、音频信号处理单元1907、外部接口单元1909等与控制单元1910连接的总线1912。
利用这样配置的TV1900，解码器1904设置有本技术的功能。
[蜂窝电话的配置示例]
图72为图示应用本技术的蜂窝电话的示意性配置的示例的图。
蜂窝电话1920包括通信单元1922、音频编解码器1923、相机单元1926、图像处理单元1927、多路复用分离单元1928、记录/回放单元1929、显示单元1930、以及控制单元1931。这些单元通过总线1933相互连接。
天线1921连接到通信单元1922，并且扬声器1924和麦克风1925连接到音频编解码器1923。另外，操作单元1932连接到控制单元1931。
蜂窝电话1920以各种操作模式执行各种操作，例如发送和接收音频信号、发送和接收电子邮件或图像数据、对图像成像、记录数据等，操作模式包括语音呼叫模式、数据通信模式等。
在语音呼叫模式中，通过麦克风1925生成的音频信号在音频编解码器1923处被转换为音频数据并进行数据压缩，并提供到通信单元1922。通信单元1922对音频数据执行调制处理和频率转换处理，并生成发送信号。通信单元1922还将发送信号提供到天线1921，以便发送到未示出的基站。通信单元1922还对在天线1921处接收到的接收信号执行放大、频率转换处理、解调处理等，并将获得的音频数据提供到音频编解码器1923。音频编解码器1923对音频数据进行解压缩并转换为模拟音频信号，并输出到扬声器1924。
另外，在数据通信模式中，在执行电子邮件发送的情况下，控制单元1931接收通过在操作单元1932处的操作而输入的字符数据，并在显示单元1930上显示输入的字符。另外，控制单元1931基于在操作单元1932处的用户指令生成电子邮件数据等，并提供到通信单元1922。通信单元1922对电子邮件数据执行调制处理和频率转换处理等，并从天线1921发送获得的发送信号。另外，通信单元1922对在天线1921处接收到的接收信号执行放大、频率转换处理和解调制处理等，并恢复电子邮件数据。该电子邮件数据被提供到显示单元1930，并且显示该电子邮件的内容。
注意，蜂窝电话1920可以在记录/回放单元1929处将接收到的电子邮件数据存储在记录介质中。存储介质可以是任何可重写的存储介质。例如，存储介质可以是诸如RAM或内置闪存的半导体存储器、或硬盘、磁盘、磁光盘、光盘、USB存储器、或存储卡或类似的可移除介质。
在数据通信模式中发送图像数据的情况下，在相机单元1926处生成的图像数据被提供到图像处理单元1927。图像处理单元1927执行图像数据的编码处理，并生成编码数据。
多路复用分离单元1928根据预定格式对在图像处理单元1927处生成的编码数据和从音频编解码器1923提供的音频数据进行多路复用，提供到通信单元1922。通信单元1922对多路复用数据执行调制处理和频率转换处理等，并从天线1921发送获得的发送信号。另外，通信单元1922对在天线1921处接收到的接收信号执行放大、频率转换处理和解调制处理等，并恢复多路复用数据。该多路复用数据被提供到多路复用分离单元1928。多路复用分离单元1928分离多路复用数据，并将编码数据提供到图像处理单元1927，并将音频数据提供到音频编译码器1923。该图像处理单元1927执行编码数据的解码处理，并生成图像数据。该图像数据被提供到显示单元1930，并且显示接收到的图像。音频编解码器1923将音频数据转换为模拟音频信号，并提供到扬声器1924以输出接收到的音频。
利用这样配置的蜂窝电话1920，图像处理单元1927设置有本技术的功能。
[记录/回放装置的配置示例]
图73为图示已经应用本技术的记录/回放装置的示意性配置示例的图。
记录/回放装置1940将接收到的广播节目的音频数据和视频数据记录在例如记录介质中，并在由用户指示的时刻将记录的数据提供给用户。另外，记录/回放装置1940例如可以从其它装置获取音频数据和视频数据，并可以将其记录到记录介质。另外，记录/回放装置1940对记录在记录介质中的音频数据和视频数据进行解码并输出，从而可以在监视器装置等处执行图像显示和音频输出。
记录/回放装置1940包括调谐器1941、外部接口单元1942、编码器1943、HDD（硬盘驱动器）单元1944、盘驱动器1945、选择器1946、解码器1947、OSD（屏幕上显示）单元1948、控制单元1949、以及用户界面单元1950。
调谐器1941调谐到经由未示出的天线接收到的广播信号中的期望信道。调谐器1941向选择器1946输出通过对期望信道的接收信号进行解调而获得的编码比特流。
外部接口单元1942由IEEE1394接口、网络接口单元、USB接口、以及闪存接口等中的至少一个构成。外部接口单元1942是与外部装置或网络、存储卡等连接的接口，并接收要记录的诸如图像数据和音频数据等的数据。
当从外部接口单元1942提供的图像数据和音频数据未被编码时，编码器1943以预定格式执行编码，并将编码比特流输出到选择器1946。
HDD单元1944在内部硬盘中记录图像和音频等的内容数据、各种程序、其它数据等，并在回放等时从硬盘读取这些。
盘驱动器1945执行向安装光盘记录信号并从安装光盘播放信号。该光盘例如为DVD盘（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）或蓝光盘等。
选择器1946在记录图像和音频时选择从调谐器1941或编码器1943输入的编码比特流，并提供到HDD单元1944或盘驱动器1945。另外，选择器1946在回放图像或音频时将从HDD单元1944或盘驱动器1945输出的编码比特流提供到解码器1947。
解码器1947对编码比特流执行解码处理。解码器1947将通过执行解码处理生成的图像数据提供到OSD单元1948。另外，解码器1947输出通过执行解码处理生成的音频数据。
OSD单元1948生成用于显示项目选择等的菜单画面等的图像数据，并在图像数据上叠加来自解码器1947的输出，并输出。
用户界面单元1950连接到控制单元1949。用户界面单元1950由操作开关和远程控制信号接收单元等构成，并且根据用户操作的操作信号被提供到控制单元1949。
控制单元1949由CPU和存储器等构成。存储器存储由CPU执行的程序和由CPU执行处理所需的各种数据。在预定时刻，例如在启动记录/回放装置1940时，通过CPU读取由存储器存储的程序并执行。CPU通过执行程序控制每个部分，使得记录/回放装置1940的操作对应于用户操作。
利用这样配置的记录/回放装置1940，解码器1947设置有本技术的功能。
[成像设备的配置示例]
图74为图示已经应用本技术的成像设备的示意性配置示例的图。
成像设备1960对被摄体成像，并在显示单元上显示被摄体的图像，或将该图像数据记录到记录介质。
成像设备1960包括光学块1961、成像单元1962、相机信号处理单元1963、图像数据处理单元1964、显示单元1965、外部接口单元1966、存储单元1967、介质驱动器1968、OSD单元1969、以及控制单元1970。另外，用户界面单元1971连接到控制单元1970。另外，图像数据处理单元1964、外部接口单元1966、存储单元1967、介质驱动器1968、OSD单元1969、控制单元1970等经由总线1972连接。
光学块1961使用聚焦透镜和光圈机构等构成。光学块1961在成像单元1962的成像表面上对被摄体的光学图像进行成像。成像单元1962具有诸如CCD或CMOS的图像传感器，根据通过光电转换的光图像生成电信号，并提供到信号处理单元1963。
相机信号处理单元1963对从成像单元1962提供的电信号执行各种相机信号处理，例如拐点校正（knee correction）、伽马校正、颜色校正等。相机信号处理单元1963将经过相机信号处理之后的图像数据提供到图像数据处理单元1964。
图像数据处理单元1964对从相机信号处理单元1963提供的图像数据执行编码处理。图像数据处理单元1964将通过执行编码处理生成的编码数据提供到外部接口单元1966或介质驱动器1968。另外，图像数据处理单元1964对从外部接口单元1966和介质驱动器1968提供的编码数据执行解码处理。图像数据处理单元1964将通过执行解码处理生成的图像数据提供到显示单元1965。另外，图像数据处理单元1964对从相机信号处理单元1963提供到显示单元1965的提供图像数据执行处理，并在图像数据上叠加从OSD单元1969获取的用于显示的数据，并提供到显示单元1965。
OSD单元1969生成用于显示的数据，例如由符号、字符和形状形成的菜单画面或按钮等，并输出到图像数据处理单元1964。
外部接口单元1966例如被配置为USB输入/输出端子，并在打印图像时与打印机连接。另外，根据需要将驱动器连接到外部接口单元1966，适当地将诸如磁盘或光盘等的可移除介质安装到驱动器上，并且根据需要安装从可移除介质读取的计算机程序。另外，外部接口1966具有网络接口，该网络接口连接到诸如LAN、因特网等预定网络。控制单元1970例如可以根据来自用户界面单元1971的命令从存储单元1967读取编码数据，并从外部接口单元1966将编码数据提供到经由网络连接的另一个装置。另外，控制单元1970可以通过外部接口单元1966获取经由网络从另一个装置提供的编码数据和图像数据。
例如，由介质驱动器1968驱动的记录介质可以是任何可读取/可写入的可移除介质，例如磁盘、磁光盘、光盘、半导体存储器等。另外，对于记录介质，可移除介质的类型是可选的，并且可以是带装置，或者可以是盘，或者可以是存储卡。当然，记录介质可以为免接触IC卡等。
另外，例如，介质驱动器1968和记录介质可以是集成的，并且由非便携式存储介质构成，例如内置硬盘驱动器或SSD（固态驱动器）等。
控制单元1970由CPU和存储器等构成。存储器存储由CPU执行的程序和CPU执行处理所需的各种数据。在预定时刻，例如在启动成像设备1960时，通过CPU读取存储在存储器中的程序并执行。CPU通过执行程序控制这些部分，使得成像设备1960的操作对应于用户操作。
利用这样配置的成像设备1960，图像数据处理单元1964设置有本技术的功能。
注意，本技术的实施例不限于上述实施例，并且在不偏离本发明主旨的情况下可以进行各种修改。
也就是说，尽管在本发明实施例中进行了这样的配置，其中以MVC控制用于在以分数精度执行视差预测时的滤波处理的滤波器（AIF），从而将参考图像转换为解析度比与待编码图像的解析度比匹配的转换后的参考图像，但是可以为用于转换后的参考图像的转换的滤波器提供专用内插滤波器，并使用该专用内插滤波器对参考图像执行滤波处理，从而转换为转换后的参考图像。
另外，解析度比与待编码图像的解析度比匹配的转换后的参考图像当然包括水平和垂直解析度与待编码图像的解析度匹配的转换后的参考图像。
注意，本技术可以采用下面的配置。
（1）一种图像处理装置，包括：
转换单元，被配置为通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要被编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像；
补偿单元，被配置为通过使用由所述转换单元转换了的转换后的参考图像执行视差补偿来生成预测图像；以及
编码单元，被配置为使用由所述补偿单元生成的预测图像对待编码图像进行编码。
（2）根据（1）所述的图像处理装置，
其中所述转换单元控制在执行像素精度或更低精度的视差补偿时使用的滤波器的滤波处理。
（3）根据（1）或（2）所述的图像处理装置，
其中待编码图像是通过转换两个视点的图像的解析度并且通过组合到相当于一个视点的图像进行压缩而获得的压缩图像；
以及其中，所述解析度信息包括表示在所述压缩图像中如何对两个视点的图像进行压缩的压缩模式；
以及其中，所述转换单元根据所述压缩模式控制所述滤波处理。
（4）根据（3）所述的图像处理装置，
其中待编码图像是垂直方向解析度已变为1/2的两个视点的图像被垂直排列的压缩图像、或者是水平方向解析度已变为1/2的两个视点的图像被水平排列的压缩图像；
以及其中所述转换单元：
通过将所述参考图像及其副本垂直或水平排列来生成压缩参考图像，以及
由对像素进行内插的滤波器对压缩参考图像进行滤波处理，从而获得转换后的参考图像。
（5）根据（1）至（4）中任一项所述的图像处理装置，还包括：
发送单元，被配置为发送所述解析度信息和由所述编码单元编码的编码流。
（6）一种图像处理方法，包括以下步骤：
通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像；
通过使用转换后的参考图像执行视差补偿来生成所述预测图像；以及
使用所述预测图像对待编码图像进行编码。
（7）一种图像处理装置，包括：
转换单元，被配置为通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像；
补偿单元，被配置为通过使用由所述转换单元转换了的转换后的参考图像执行视差补偿来生成预测图像；以及
解码单元，被配置为使用由所述补偿单元生成的预测图像对包括待解码图像的编码流进行解码，在所述编码流中图像已被编码。
（8）根据（7）所述的图像处理装置，
其中所述转换单元控制在执行像素精度或更低精度的视差补偿时使用的滤波器的滤波处理。
（9）根据（7）或（8）所述的图像处理装置，
其中待解码图像是通过转换两个视点的图像的解析度并且通过组合到相当于一个视点的图像进行压缩而获得的压缩图像；
以及其中，所述解析度信息包括表示如何在压缩图像中对两个视点的图像进行压缩的压缩模式；
以及其中，所述转换单元根据所述压缩模式控制所述滤波处理。
（10）根据（9）所述的图像处理装置，
其中待解码图像是垂直方向解析度已变为1/2的两个视点的图像被垂直排列的压缩图像、或者是水平方向解析度已变为1/2的两个视点的图像被水平排列的压缩图像；
以及其中所述转换单元：
通过将所述参考图像及其副本垂直或水平排列来生成压缩参考图像，以及
通过对像素进行内插的滤波器对压缩参考图像进行滤波处理，从而获得转换后的参考图像。
（11）根据（7）至（10）中任一项所述的图像处理装置，还包括：
接收单元，被配置为接收所述解析度信息和所述编码流。
（12）一种图像处理方法，包括以下步骤：
通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像；
通过使用转换后的参考图像执行视差补偿来生成所述预测图像；以及
使用所述预测图像对包括待解码图像的编码流进行解码，在所述编码流中图像已被编码。
附图标记列表
11    发送装置
12    接收装置
21C、21D  解析度转换装置
22C、22D  编码装置
23    多路复用装置
31    逆多路复用装置
32C、32D  解码装置
33C、33D  解析度逆转换装置
41、42  编码器
43    DPB
111   A/D转换单元
112   画面重排列缓冲器
113   计算单元
114   正交变换单元
115   量化单元
116   可变长度编码单元
117   存储缓冲器
118   逆量化单元
119   逆正交变换单元
120   计算单元
121   去块滤波器
122   画面内预测单元
123   帧间预测单元
124   预测图像选择单元
131   视差预测单元
132   时间预测单元
140   参考图像转换单元
141   视差检测单元
142   视差补偿单元
143   预测信息缓冲器
144   成本函数计算单元
145   模式选择单元
151   水平1/2像素生成滤波处理单元
152   垂直1/2像素生成滤波处理单元
153   水平1/4像素生成滤波处理单元
154   垂直1/4像素生成滤波处理单元
155   水平垂直1/4像素生成滤波处理单元
211、212   解码器
213  DPB
241   存储缓冲器
242   可变长度解码单元
243   逆量化单元
244   逆正交变换单元
245   计算单元
246   去块滤波器
247   画面重排列缓冲器
248   D/A转换单元
249   画面内预测单元
250   帧间预测单元
251   SEI生成单元
260   参考索引处理单元
261   视差预测单元
262   时间预测单元
271   参考图像转换单元
272   视差补偿单元
321C、321D  解析度转换装置
322C、322D  编码装置
323   多路复用装置
332C、332D  解码装置
333C、333D  解析度逆转换装置
342   编码器
351   SEI生成单元
352   帧间预测单元
361   视差预测单元
370   参考图像转换单元
381   控制器
382   压缩单元
412   解码器
450   帧间预测单元
461   视差预测单元
471   参考图像转换单元
481   控制器
482   压缩单元
483   水平1/2像素生成滤波处理单元
484   垂直1/2像素生成滤波处理单元
485   水平1/4像素生成滤波处理单元
486   垂直1/4像素生成滤波处理单元
487   水平垂直1/4像素生成滤波处理单元
511、512  编码器
551   SEI生成单元
552   帧间预测单元
561   视差预测单元
570   参考图像转换单元
611、612  解码器
650   帧间预测单元
661   视差预测单元
671   参考图像转换单元
1101  总线
1102  CPU
1103  ROM
1104  RAM
1105  硬盘
1106  输出单元
1107  输入单元
1108  通信单元
1109  驱动器
1110  输入/输出接口
1111  可移除记录介质

Claims (12)

1.一种图像处理装置，包括：
转换单元，被配置为通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要被编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像；
补偿单元，被配置为通过使用由所述转换单元转换了的转换后的参考图像执行视差补偿来生成预测图像；以及
编码单元，被配置为使用由所述补偿单元生成的预测图像对待编码图像进行编码。
2.根据权利要求1所述的图像处理装置，
其中所述转换单元控制在执行像素精度或更低精度的视差补偿时使用的滤波器的滤波处理。
3.根据权利要求2所述的图像处理装置，
其中待编码图像是通过转换两个视点的图像的解析度并且通过组合到相当于一个视点的图像进行压缩而获得的压缩图像；
以及其中，所述解析度信息包括表示在所述压缩图像中如何对两个视点的图像进行压缩的压缩模式；
以及其中，所述转换单元根据所述压缩模式控制所述滤波处理。
4.根据权利要求3所述的图像处理装置，
其中待编码图像是垂直方向解析度已变为1/2的两个视点的图像被垂直排列的压缩图像、或者是水平方向解析度已变为1/2的两个视点的图像被水平排列的压缩图像；
以及其中所述转换单元：
通过将所述参考图像及其副本垂直或水平排列来生成压缩参考图像，以及
由对像素进行内插的滤波器对压缩参考图像进行滤波处理，从而获得转换后的参考图像。
5.根据权利要求2所述的图像处理装置，还包括：
发送单元，被配置为发送所述解析度信息和由所述编码单元编码的编码流。
6.一种图像处理方法，包括以下步骤：
通过根据参考图像和关于待编码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待编码图像不同视点的、在生成要编码的待编码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待编码图像的水平和垂直解析度比一致的转换后的参考图像；
通过使用转换后的参考图像执行视差补偿来生成所述预测图像；以及
使用所述预测图像对待编码图像进行编码。
7.一种图像处理装置，包括：
转换单元，被配置为通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像；
补偿单元，被配置为通过使用由所述转换单元转换了的转换后的参考图像执行视差补偿来生成预测图像；以及
解码单元，被配置为使用由所述补偿单元生成的预测图像对包括待解码图像的编码流进行解码，在所述编码流中图像已被编码。
8.根据权利要求7所述的图像处理装置，
其中所述转换单元控制在执行像素精度或更低精度的视差补偿时使用的滤波器的滤波处理。
9.根据权利要求8所述的图像处理装置，
其中待解码图像是通过转换两个视点的图像的解析度并且通过组合到相当于一个视点的图像进行压缩而获得的压缩图像；
以及其中，所述解析度信息包括表示如何在压缩图像中对两个视点的图像进行压缩的压缩模式；
以及其中，所述转换单元根据所述压缩模式控制所述滤波处理。
10.根据权利要求9所述的图像处理装置，
其中待解码图像是垂直方向解析度已变为1/2的两个视点的图像被垂直排列的压缩图像、或者是水平方向解析度已变为1/2的两个视点的图像被水平排列的压缩图像；
以及其中所述转换单元：
通过将所述参考图像及其副本垂直或水平排列来生成压缩参考图像，以及
通过对像素进行内插的滤波器对压缩参考图像进行滤波处理，从而获得转换后的参考图像。
11.根据权利要求8所述的图像处理装置，还包括：
接收单元，被配置为接收所述解析度信息和所述编码流。
12.一种图像处理方法，包括以下步骤：
通过根据参考图像和关于待解码图像的解析度的解析度信息控制施加到参考图像的滤波处理，转换具有与待解码图像不同视点的、在生成要解码的待解码图像的预测图像时参考的参考图像，从而将参考图像转换为解析度比与待解码图像的水平和垂直解析度比一致的转换后的参考图像；
通过使用转换后的参考图像执行视差补偿来生成所述预测图像；以及
使用所述预测图像对包括待解码图像的编码流进行解码，在所述编码流中图像已被编码。
CN201280019353.5A 2011-04-28 2012-04-19 图像处理装置和图像处理方法 Pending CN103503459A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-101798 2011-04-28
JP2011101798 2011-04-28
PCT/JP2012/060616 WO2012147622A1 (ja) 2011-04-28 2012-04-19 画像処理装置、及び、画像処理方法

Publications (1)

Publication Number Publication Date
CN103503459A true CN103503459A (zh) 2014-01-08

Family

ID=47072142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280019353.5A Pending CN103503459A (zh) 2011-04-28 2012-04-19 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20140036033A1 (zh)
JP (1) JPWO2012147622A1 (zh)
CN (1) CN103503459A (zh)
WO (1) WO2012147622A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107646194A (zh) * 2015-05-21 2018-01-30 华为技术有限公司 用于视频运动补偿的装置和方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
TWI503788B (zh) * 2013-10-02 2015-10-11 Jar Ferr Yang 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
BR112016012417B1 (pt) 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
US10743031B2 (en) 2013-12-27 2020-08-11 Hfi Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
CN110225345B (zh) 2013-12-27 2022-07-19 寰发股份有限公司 用于主颜色索引图编码的方法及装置
WO2015096812A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
CN105850132B (zh) * 2014-01-07 2019-10-22 联发科技股份有限公司 编解码视频数据块的方法和装置
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
US20180213201A1 (en) * 2015-07-21 2018-07-26 Heptagon Micro Optics Pte. Ltd. Generating a disparity map based on stereo images of a scene
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
US10142613B2 (en) * 2015-09-03 2018-11-27 Kabushiki Kaisha Toshiba Image processing apparatus, image processing system, and image processing method
CN106448550B (zh) * 2016-12-27 2020-01-10 福州海天微电子科技有限公司 一种led屏幕参数自动识别方法及装置
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) * 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US20220360771A1 (en) * 2019-09-23 2022-11-10 Interdigital Vc Holdings France, Sas Prediction for video encoding and decoding using external reference
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11477483B2 (en) 2020-01-08 2022-10-18 Apple Inc. Video-based point cloud compression with variable patch scaling
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371584A (zh) * 2006-01-09 2009-02-18 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
US20100217785A1 (en) * 2007-10-10 2010-08-26 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
JP2010232878A (ja) * 2009-03-26 2010-10-14 Toshiba Corp ステレオ画像符号化方法、及び、ステレオ画像復号化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
JP5017181B2 (ja) * 2008-06-03 2012-09-05 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371584A (zh) * 2006-01-09 2009-02-18 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
US20100217785A1 (en) * 2007-10-10 2010-08-26 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
JP2010232878A (ja) * 2009-03-26 2010-10-14 Toshiba Corp ステレオ画像符号化方法、及び、ステレオ画像復号化方法
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107646194A (zh) * 2015-05-21 2018-01-30 华为技术有限公司 用于视频运动补偿的装置和方法
US10536716B2 (en) 2015-05-21 2020-01-14 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation

Also Published As

Publication number Publication date
JPWO2012147622A1 (ja) 2014-07-28
WO2012147622A1 (ja) 2012-11-01
US20140036033A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
CN103503459A (zh) 图像处理装置和图像处理方法
AU2019203367B2 (en) Decoding device and decoding method, and encoding device and encoding method
CN103563387A (zh) 图像处理设备和图像处理方法
TWI577175B (zh) Image processing apparatus and method, recording medium, and program
CN111434111B (zh) 基于量化参数推导的图像编码设备及其方法
CN103416064A (zh) 图像处理设备、图像处理方法和程序
WO2012147621A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
CN103430549A (zh) 图像处理装置、图像处理方法和程序
CN102450010A (zh) 定向内插和数据后处理
CN111247805B (zh) 在图像编码系统中基于以子块为单元进行的运动预测的图像解码方法和设备
CN103748881A (zh) 图像处理设备和图像处理方法
CN103202019A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN104601976A (zh) 图像处理装置和图像处理方法
AU2015328955A1 (en) Depth picture coding method and device in video coding
CN103548355A (zh) 图像处理装置及方法
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20140198847A1 (en) Encoding device, encoding method, decoding device, and decoding method
CN104969556A (zh) 处理视频信号的方法和设备
CN118525508A (zh) 图像编码/解码方法和装置及存储比特流的记录介质
TWI545935B (zh) Encoding apparatus and an encoding method, a decoding apparatus and decoding method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140108