CN103563387A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN103563387A
CN103563387A CN201280025508.6A CN201280025508A CN103563387A CN 103563387 A CN103563387 A CN 103563387A CN 201280025508 A CN201280025508 A CN 201280025508A CN 103563387 A CN103563387 A CN 103563387A
Authority
CN
China
Prior art keywords
image
picture
unit
coloured image
packing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280025508.6A
Other languages
English (en)
Inventor
高桥良知
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103563387A publication Critical patent/CN103563387A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技术涉及一种能够借其提高视差预测的预测效率的图像处理设备和图像处理方法。分辨率转换设备通过根据对要被编码的待编码图像进行编码时的预定编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像。编码设备通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像，并且使用该预测图像，以该预定编码模式对待编码图像进行编码。本技术可以应用于例如对具有多个视点的图像进行编码和解码。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种图像处理设备和图像处理方法，并且涉及一种能够提高在对具有多个视点的图像进行编码和解码时进行的视差预测的预测效率的图像处理设备和图像处理方法。
背景技术
对诸如3D（三维）图像等具有多个视点的图像进行编码的编码格式的示例包括作为AVC（高级视频编码）（H.264/AVC）的扩展的MVC（多视点视频编码）等。
根据MVC，待编码图像是以与来自被摄对象的光相对应的值作为像素值的彩色图像，通过参考具有那些需要的视点的彩色图像以及具有其它视点的彩色图像，对具有多个视点的每个彩色图像进行编码。
也就是说，根据MVC，在具有多视点的彩色图像中，一个视点的彩色图像被用作基本视图（Base View）图像，而其它视点的彩色图像被用作非基本视图（Non Base View）图像。
然后，只参考基本视图彩色图像本身来对该基本视图彩色图像进行编码，而除了参考非基本视图的彩色图像之外还按需要参考其它视图的图像来对非基本视图彩色图像进行编码。
也就是说，对于非基本视图彩色图像，按照需要进行视差预测，在该视差预测中，参考另一视图（视点）的彩色图像来生成预测图像，并且使用该预测图像来进行编码。
目前，最近，针对具有多视点的图像提出了这样的方法：该方法除了采用每个视点的彩色图像之外，还采用将与各视点的彩色图像的每个像素的视差相关的视差信息（深度信息）作为其像素值的视差信息图像（深度图像），并且分别地对各视点的彩色图像和各视点的视差信息图像进行编码（例如，参见NPL1）。
引用列表
非专利文献
NPL1：“Draft Call for Proposals on3D Video Coding Technology”，INTERNATIONAL ORGANISATION FOR STANDARDISATIONORGANISATION INTERNATIONALE DE NORMALISATION ISO/IECJTC1/SC29/WG11CODING OF MOVING PICTURES AND AUDIO,MPEG2010/N11679Guangzhou,China,October2010
发明内容
技术问题
如上所述，对于具有多个视点的图像，在对其进行编码（和解码）时可以参考另一个视点的图像而对某个视点的图像进行视差预测，所以视差预测的预测效率（预测精度）影响编码效率。
鉴于此情况形成了本技术，本技术致力于能够提高视差预测的预测效率。
问题的解决方案
根据本技术的第一方面的图像处理设备包括：转换单元，被配置为通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；补偿单元，被配置为通过利用由转换单元转换的打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及编码单元，被配置为使用由补偿单元生成的预测图像，以编码模式对待编码图像进行编码。
根据本技术的第一方面的图像处理方法包括步骤：通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码。
通过上述的第一方面，通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码。
根据本技术的第二方面的图像处理设备，包括：补偿单元，被配置为通过进行视差补偿来生成要被解码的待解码图像的预测图像，预测图像用于对通过以下步骤获得的编码流进行解码：通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码；解码单元，被配置为使用由补偿单元生成的预测图像，以编码模式对编码流进行解码；以及逆转换单元，被配置为在通过由解码单元对编码流进行解码而获得的待解码图像是打包图像的情况下，通过遵循打包模式进行分离，将打包图像逆转换为原始的具有两个或更多视点的图像。
根据本技术的第二方面的图像处理方法包括步骤：通过进行视差补偿来生成要被解码的待解码图像的预测图像，预测图像用于对通过以下步骤获得的编码流进行解码：通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码；使用预测图像，以编码模式对编码流进行解码；以及在通过对编码流进行解码而获得的待解码图像是打包图像的情况下，通过遵循打包模式进行分离，将打包图像逆转换为原始的具有两个或更多视点的图像。
通过上述的第二方面，通过进行视差补偿来生成要被解码的待解码图像的预测图像，预测图像用于对通过以下步骤获得的编码流进行解码：通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；通过利用打包图像作为待编码图像或者参考图像进行视差补偿，来生成待编码图像的预测图像；以及使用预测图像，以编码模式对待编码图像进行编码；使用预测图像，以编码模式对编码流进行解码；以及在通过对编码流进行解码而获得的待解码图像是打包图像的情况下，通过遵循打包模式进行分离，将打包图像逆转换为原始的具有两个或更多视点的图像。
请注意：该图像处理设备可以是独立设备，或者可以是配置一个设备的内部模块。
此外，可以通过使计算机执行程序来实现该图像处理设备，并且可以通过经由传输介质的传输来提供该程序或者可以将该程序记录在记录介质中。
发明的有益效果
根据本发明，可以提高视差预测的预测效率。
附图说明
图1是例示应用本技术的传输系统的实施例的配置示例的框图。
图2是例示传输设备11的配置示例的框图。
图3是例示接收设备12的配置示例的框图。
图4是用于描述分辨率转换设备21C进行的分辨率转换的图。
图5是例示编码设备22C的配置示例的框图。
图6是用于描述当使用MVC预测编码生成预测图像（参考图像）时的图片引用的图。
图7是用于描述通过MVC对图片进行编码（和解码）的顺序的图。
图8是用于描述编码器41和42处的时间预测和视差预测的图。
图9是例示编码器42的配置示例的框图。
图10用于描述MVC（AVC）中的宏块类型的图。
图11是用于描述MVC（AVC）中的预测矢量（PMV）的图。
图12是例示帧间预测单元123的配置示例的框图。
图13是例示视差预测单元131的配置示例的框图。
图14是例示解码设备32C的配置示例的框图。
图15是例示解码器212的配置示例的框图。
图16是例示帧间预测单元250的配置示例的框图。
图17是例示视差预测单元261的配置示例的框图。
图18是例示传输设备11的另一配置示例的框图。
图19是例示接收设备12的另一配置示例的框图。
图20是用于描述分辨率转换设备321C进行的分辨率转换以及逆分辨率转换设备333C进行的逆分辨率转换的图。
图21是用于描述传输设备11的处理的流程图。
图22是用于描述接收设备12的处理的流程图。
图23是例示编码设备322C的配置示例的框图。
图24是例示编码器342的配置示例的框图。
图25是用于描述在SEI生成单元351处生成的分辨率转换SEI的图。
图26是描述给参数num_views_minus_1、view_id[i]、fame_packing_info[i]、frame_field_coding和view_id_in_frame[i]设定的值的图。
图27是用于描述由视差预测单元131对打包彩色图像的图片（场）进行的视差预测的图。
图28是用于描述编码器342对打包彩色图像进行编码的编码处理的流程图。
图29是用于描述视差预测单元131进行的视差预测处理的流程图。
图30是例示解码设备332C的配置示例的框图。
图31是例示解码器412的配置示例的框图。
图32是用于描述解码器412对打包彩色图像的编码数据进行解码的解码处理的流程图。
图33是用于描述视差预测单元261进行的视差预测的流程图。
图34是例示编码设备322C的另一个配置示例的框图。
图35例示编码器542的配置示例的框图。
图36是用于描述由视差预测单元131对中间视点彩色图像的图片（场）进行的视差预测的图。
图37是用于描述编码器542对打包彩色图像进行编码的编码处理的流程图。
图38是用于描述视差预测单元131进行的视差预测处理的流程图。
图39是例示解码设备332C的配置示例的框图。
图40是例示解码器612的配置示例的框图。
图41是用于描述解码器612对中间视点彩色图像的编码数据进行解码的解码处理的流程图。
图42是用于描述视差预测单元261进行的视差预测处理的流程图。
图43例示传输设备11的又一个配置示例的框图。
图44是例示编码设备722C的配置示例的框图。
图45是例示编码器842的配置示例的框图。
图46是用于描述透视和深度的图。
图47是例示应用本技术的计算机的实施例的配置示例的框图。
图48是例示应用本技术的电视的示意性配置示例的图。
图49是例示应用本技术的移动电话的示意性配置示例的图。
图50是例示应用本技术的记录/再现设备的示意性配置示例的图。
图51是例示应用本技术的成像设备的示意性配置示例的图。
具体实施方式
[深度图像（本说明书中的视差信息图像）的描述]
图46是用于描述视差和深度的图。
如图46中所示，在由位于位置C1处的照相机c1和位于位置C2处的照相机c2来拍摄被摄对象M的彩色图像的情况下，作为在由照相机c1（照相机c2）的深度方向上距被摄对象M的距离的深度Z由下面的表达式（a）定义。
Z=(L/d)×f…(a)
请注意：L是位置C1与位置C2在水平方向上的距离（下文中称为照相机间距离）。此外，d是通过从距离u1减去距离u2而获得的值，即视差，其中，距离u1是由照相机c1拍摄的彩色图像上的被摄对象M的位置在水平方向上距彩色图像的中心的距离，距离u2是由照相机c2拍摄的彩色图像上的被摄对象M的位置在水平方向上距彩色图像的中心的距离。此外，f是照相机c1的焦距，表达式（a）假设照相机c1和照相机c2的焦距相同。
如表达式（a）所示，视差d和深度Z可唯一地变化。因此，根据本说明书，表示由照相机c1和照相机c2拍摄的双视点彩色图像的视差d的图像以及表示深度Z的图像将被统称为深度图像（视差信息图像）。
请注意：深度图像（视差信息图像）足以成为表示视差d或者深度Z的图像，并且视差d被归一化的值、深度Z的倒数1/Z被归一化的值等可以用于深度图像（视差信息图像）的像素值，而不是视差d或者深度Z本身用于深度图像（视差信息图像）的像素值。
可以通过下述表达式（b）获得视差d以8位（0到255）归一化的值I。请注意：用于归一化视差d的位数并不限于8位，可以是其它位数，诸如10位、12位等。
[数学式4]
I = 255 × ( d - D min ) D max - D min . . . ( b )
请注意：在表达式（b）中，Dmax是视差d的最大值，Dmin是视差d的最小值。最大值Dmax和最小值Dmin可以以单画面为单位设置，或者可以以多画面为单位设置。
此外，可以通过下述表达式（c）获得以8位（0到255）对深度Z的倒数1/Z进行归一化而获得的值y。请注意：用于归一化深度Z的倒数1/Z的位数并不限于8位，可以是其它数量的位，诸如10位、12位等。
[数学式.5]
y = 255 × 1 Z - 1 Z far 1 Z near - 1 Z far . . . ( c )
请注意：在表达式（c）中，Zfar是深度Z的最大值，Znear是深度Z的最小值。最大值Zfar和最小值Znear可以以单画面为单位设置，或者可以以多画面为单位设置。
根据本说明书，考虑到视差d和深度Z可唯一地变化，将视差d已被归一化的值I作为其像素值的图像、以及将深度Z的倒数1/Z已归一化的值y作为其像素值的图像将被统称为深度图像（视差信息图像）。这里，假设深度图像（视差信息图像）的彩色格式是YUV420或者YUV400，但是可以是其它的彩色格式。
请注意：在关注值I或值y本身的信息而不是深度图像（视差信息图像）的像素值时，值I或者值y被当作是深度信息（视差信息）。另外，映射的值I或者值y被当作是深度映射。
[应用本技术的图像处理设备的传输系统的实施例]
图1是例示应用本技术的传输系统的实施例的配置示例的框图。
在图1中，传输系统具有传输设备11和接收设备12。
给传输设备11提供多视点彩色图像和多视点视差信息图像（多视点深度图像）。
这里，多视点彩色图像包括多个视点的彩色图像，并且这些多个视点中的一个预定视点的彩色图像被指定为基本视图图像。除了该基本视图图像之外的视点的彩色图像被处理为非基本视图图像。
多视点视差信息图像包括配置多视点彩色图像的彩色图像的每个视点的视差信息图像，其中例如一个预定视点的视差信息图像被指定为基本视图图像。以与彩色图像的情况相同的方式，除了基本视图图像之外的视点的视差信息图像被处理为非基本视图图像。
传输设备11将给其提供的多视点视差信息图像和多视点彩色图像中的每一个进行编码和多路复用，并且输出作为结果而获得的多路复用位流。
从传输设备11输出的多路复用位流经由未示出的传输介质传输，并且被记录在未示出的记录介质中。
将从传输设备11输出的多路复用位流经由未示出的传输介质或者记录介质提供给接收设备12。
接收设备12接收多路复用位流，并且对多路复用位流进行逆多路复用，由此将多视点彩色图像的编码数据与多视点视差信息图像的编码数据从多路复用位流中分离出来。
此外，接收设备12对多视点彩色图像的编码数据与多视点视差信息图像的编码数据中的每一个进行解码，并且输出作为结果而获得的多视点彩色图像和多视点视差信息图像。
目前，MPEG3DV——其主要应用是可以用裸眼进行观看的裸眼3D（3维）图像的显示——被整理成用于对例如作为具有多个视点的彩色图像的多视点彩色图像和作为具有多个视点的视差信息图像的多视点视差信息图像进行传输的标准。
根据MPEG3DV，除了传输两个视点的图像（彩色图像、视差信息图像），还讨论了传输具有大于两个视点的例如三个视点或者四个视点的图像。
根据裸眼3D图像（不需要所谓的偏光眼镜就能够观看的3D图像）显示，视点（图像）的数量越大，可以显示的图像的质量越高，并且可以形成的立体效果越强。因此，从图像质量和立体效果的角度来说，优选的是具有更大数量的视点。
然而，增加视点的数量使得在基带处理的数据量极大。
也就是说，例如在传输具有三个视点的彩色图像和视差信息图像的所谓全HD（高清晰度）分辨率图像的情况下，其数据量是全HD二维图像的数据量（具有一个视点的图像的数据量）的六倍。
存在例如作为基带传输标准的HDMI（高清晰度多媒体接口），但是即使是最新的HDMI标准也只能处理相当于4K（全HD的四倍）的数据量，所以在当前状态下不能在基带处传输具有三个视点的彩色图像和视差信息图像。
因此，为了在基带处传输具有三个视点的彩色图像和视差信息图像，需要例如减小在基带处的图像的分辨率等，以减少多视点彩色图像和多视点视差信息图像的数据量（在基带处）。
另一方面，虽然使用传输设备11将多视点彩色图像和多视点视差信息图像进行编码，但是传输设备11输出的多路复用位流的位率是受限的，所以在编码中分配给具有一个视点的图像（彩色图像和视差信息图像）的编码数据的位量也是受限的。
当编码时，在可以分配给图像的编码数据的位量小于基带处的图像的数据量的情况下，诸如块噪声的编码噪声变得显著，并且因此，通过在接收设备12处进行解码而获得的解码图像的图像质量劣化。
因此，也需要从抑制解码图像的图像质量的劣化的角度来减少多视点彩色图像和多视点视差信息图像的数据量（在基带处）。
因此，传输设备11在减少了多视点彩色图像和多视点视差信息图像的数据量（在基带处）之后进行编码。
现在，对于作为视差信息图像的像素值的视差信息，可以使用表示彩色图像的每个像素中的被摄对象与以某个视点作为参考的参考视点之间的视差的视差值（值I），或者可以使用表示距彩色图像的每个像素中的被摄对象的距离（深度）的深度值（值y）。
如果在多个视点处拍摄彩色图像的照相机的位置关系是已知的，则视差值和深度值可以互相转换，因此视差值和深度值是等同的信息。
在下文中，将视差值作为像素值的视差信息图像（深度图像）也被称为视差图像，而将深度值作为像素值的视差信息图像（深度图像）也被称为深度图像。
在下文中，在视差图像和深度图像中，例如将深度图像用于视差信息图像，但是也可以将视差图像用于视差信息图像。
[传输设备11的配置示例]
图2是例示图1中的传输设备11的配置示例的框图。
在图2中，传输设备11具有分辨率转换设备21C和21D、编码设备22C和22D，以及多路复用设备23。
将多视点彩色图像提供给分辨率转换设备21C。
分辨率转换设备21C进行分辨率转换以将提供给其的多视点彩色图像转换为具有比原分辨率更低的分辨率的分辨率转换多视点彩色图像，并且将作为结果而获得的分辨率转换多视点彩色图像提供给编码设备22C。
编码设备22C对例如使用作为用于多个视点的图像进行传输的标准的MVC从分辨率转换设备21C提供的分辨率转换多视点彩色图像进行编码，并且将作为结果而获得的编码数据的多视点彩色图像编码数据提供给多路复用设备23。
目前，MVC是AVC的扩展轮廓，根据MVC，如上所述可以对非基本视图图像进行以视差预测为特征的高效编码。
此外，使用MVC对基本视图图像进行可兼容AVC的编码。因此，可以使用AVC解码器对以MVC编码的基本视图图像的编码数据进行解码。
给分辨率转换设备21D提供这样的多视点深度图像：该多视点深度图像是将构成多视点彩色图像的每个视点的彩色图像的每个像素的深度值作为像素值的每个视点的深度图像。
在图2中，分辨率转换设备21D和编码设备22D均对深度图像（多视点深度图像）而不是彩色图像（多视点彩色图像）作为待处理的对象进行与分辨率转换设备21C和编码设备22C相同的处理。
也就是说，分辨率转换设备21D进行分辨率转换以将提供给其的多视点深度图像转换为具有比原分辨率更低的分辨率的分辨率转换多视点深度图像，并且将其提供给编码设备22D。
编码设备22D使用MVC对从分辨率转换设备21D提供的分辨率转换多视点深度图像进行编码，并且将作为结果而获得的编码数据的多视点深度图像编码数据提供给多路复用设备23。
多路复用设备23将来自编码设备22C的多视点彩色图像编码数据与来自编码设备22D的多视点深度图像编码数据进行多路复用，并且输出作为结果而获得的多路复用位流。
[接收设备12的配置示例]
图3是例示图1中的接收设备12的配置示例的框图。
在图3中，接收设备12具有逆多路复用设备31、解码设备32C和32D，以及分辨率逆转换设备33C和33D。
将从传输设备11（图2）输出的多路复用位流提供给逆多路复用设备31。
逆多路复用设备31接收提供给其的多路复用位流，并且对多路复用位流进行逆多路复用，由此将多路复用位流分离成多视点彩色图像编码数据和多视点深度图像编码数据。
然后，逆多路复用设备31给解码设备32C提供多视点彩色图像编码数据，给解码设备32D提供多视点深度图像编码数据。
解码设备32C通过MVC对从逆多路复用设备31提供的多视点彩色图像编码数据进行解码，并且将作为结果获得的分辨率转换多视点彩色图像提供给分辨率逆转换设备33C。
分辨率逆转换设备33C进行分辨率逆转换以将来自解码设备32C的分辨率转换多视点彩色图像（逆）转换为原分辨率的多视点彩色图像，并且输出作为结果获得的多视点彩色图像。
解码设备32D和分辨率逆转换设备33D均将多视点深度图像编码数据（分辨率转换多视点深度图像）而不是多视点彩色图像编码数据（分辨率转换多视点彩色图像）作为待处理的对象进行与解码设备32C和分辨率逆转换设备33C相同的处理。
也就是说，解码设备32D通过MVC对从逆多路复用设备31提供的多视点深度图像编码数据进行解码，并且将作为结果获得的分辨率转换多视点深度图像提供给分辨率逆转换设备33D。
分辨率逆转换设备33D进行分辨率逆转换以将来自解码设备32D的分辨率转换多视点深度图像逆转换为原分辨率的多视点深度图像，并且输出。
请注意：根据本实施例，对深度图像的处理与对彩色图像的处理相同，所以在下文中将适当地省略对深度图像的处理的描述。
[分辨率转换]
图4是用于描述图2中的分辨率转换设备21C进行的分辨率转换的图。
请注意：在下文中，假设多视点彩色图像（对多视点深度图像也是相同）是具有三个视点的彩色图像，即例如中间视点彩色图像、左视点彩色图像和右视点彩色图像。
作为彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像的三个视点是通过将三个照相机放置在被摄对象的前面的位置、面对被摄对象的被摄对象左边的位置和面对被摄对象的被摄对象右边的位置处并且拍摄该被摄对象而获得的图像。
因此，中间视点彩色图像是具有被摄对象的前面位置的视点的图像。此外，左视点彩色图像是中间视点彩色图像的视点（中间视点）的左边的位置的视点（左视点）的图像，而右视点彩色图像是中间视点的右边的位置的视点（右视点）的图像。
请注意：多视点彩色图像（以及多视点深度图像）可以是具有两个视点的图像，或者是具有四个或更多视点的图像。
分辨率转换设备21C将提供给其的多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像按照原样输出（不进行分辨率转换）。
此外，分辨率转换设备21C将多视点彩色图像中剩余的左视点彩色图像和右视点彩色图像进行转换，使得这两个视点的图像的分辨率是低分辨率，并且进行打包，即将它们合并为相当于一个视点的图像，由此生成被输出的打包彩色图像。
也就是说，分辨率转换设备21C将左视点彩色图像和右视点彩色图像中的每一个的垂直方向分辨率（像素的数量）改变到1/2，并且将垂直方向分辨率（像素的数量）成为1/2的左视点彩色图像和右视点彩色图像进行垂直排列，由此生成相当于一个视点的图像的打包彩色图像。
现在，对于图4中的打包彩色图像，左视点彩色图像被放置在上方，而右视点彩色图像被放置在下方。
将从分辨率转换设备21C输出的中间视点彩色图像和打包彩色图像作为分辨率转换多视点彩色图像提供给编码设备22C。
现在，虽然提供给分辨率转换设备21C的多视点彩色图像是中间视点彩色图像、左视点彩色图像和右视点彩色图像的相当于三个视点的图像，但是从分辨率转换设备21C输出的分辨率转换多视点彩色图像是中间视点彩色图像和打包彩色图像的相当于两个视点的图像，所以减少了在基带处的数据量。
现在，虽然在图4中，在配置多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中，将左视点彩色图像和右视点彩色图像打包为相当于一个视点的打包彩色图像，但是该打包可以对中间视点彩色图像、左视点彩色图像和右视点彩色图像中的任意两个视点的彩色图像进行。
然而请注意：在接收设备12侧要显示2D图像的情况下，预计在构成多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中，将使用中间视点彩色图像。因此，在图4中，不对中间视点彩色图像进行分辨率被转换为低分辨率的打包，以使得能够以高的图像质量来显示2D图像。
也就是说，在接收设备12侧，配置多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的所有彩色图像都用于显示3D图像，而对于2D图像的显示，只使用中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像。因此，在构成多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中，在接收设备12侧处，左视点彩色图像和右视点彩色图像只用于3D图像显示。所以，在图4中，将只用于3D图像显示的左视点彩色图像和右视点彩色图像进行打包。
[编码设备22C的配置示例]
图5是例示图2中编码设备22C的配置示例的框图。
图5中的编码设备22C通过MVC将来自分辨率转换设备21C（图2、图4）的作为分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像进行编码。
现在，在下文中，除非特别声明，否则将中间视点彩色图像用作基本视图图像，而将其它视点图像，即此处的打包彩色图像处理为非基本视图图像。
在图5中，编码设备22C具有编码器41、编码器42，以及DPB（编码图片缓冲器）43。
从分辨率转换设备21C给编码器41提供构成分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像中的中间视点彩色图像。
编码器41将中间视点彩色图像作为基本视图图像并且通过MVC（AVC）进行编码，并且输出作为结果获得的中间视点彩色图像的编码数据。
从分辨率转换设备21C给编码器42提供构成分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像中的打包彩色图像。
编码器42将打包彩色图像作为非基本视图图像并且通过MVC进行编码，并且输出作为结果获得的打包彩色图像的编码数据。
请注意：将从编码器41输出的中间视点彩色图像的编码数据和从编码器42输出的打包彩色图像的编码数据作为多视点彩色图像编码数据提供给多路复用设备23（图2）。
DPB43临时地存储通过将编码器41和编码器42中的每一个处的待编码图像进行编码并进行局部解码而获得的后-局部-解码图像（解码图像），作为待在生成预测图像时参考的参考图像（的候选）。
也就是说，编码器41和42对待编码图像进行预测编码。因此，为了生成要用于预测编码的预测图像，编码器41和42将待编码图像进行编码并且之后进行局部解码，由此获得解码图像。
DPB43是共享的缓冲器，如果有的话，用于临时地存储在编码器41和42中的每个编码器处获得的解码图像，编码器41和42均从DPB43中存储的解码图像中选择在对图像进行编码时参考的参考图像以进行编码。然后，编码器41和编码器42均使用参考图像生成预测图像，并且使用这些预测图像来进行图像编码（预测编码）。
DPB43是在编码器41和编码器42之间共享的，所以编码器41和编码器42中的每个编码器除了可以参考在其自身处获得的解码图像，也可以参考在另一个编码器处获得的解码图像。
然而请注意：编码器41对基本视图图像进行编码，因此只参考在编码器41处获得的解码图像。
[MVC概述]
图6是用于描述在MVC预测编码中，当生成预测图像时参考的图片（参考图像）的图。
将基本视图图像的图片表达为按照显示时间点的顺序的p11、p12、p13、…，而将非基本视图图像的图片表达为按照显示时间点的顺序的p21、p22、p23、…。
例如，按照需要通过例如参考作为基本视图图片的图片p11或者图片p13来对作为基本视图图片的图片p12进行预测编码。
也就是说，针对基本视图图片p12，可以通过仅参考在其它显示时间点处的基本视图图片的图片p11或图片p13来进行预测（生成预测图像）。
此外，例如，通过参考非基本视图图片的图片p21或者图片p23以及按照需要进一步参考作为不同视图的基本视图图片p12，而对作为非基本视图图片的图片p22进行预测编码。
也就是说，非基本视图图片p22除了可以参考在其它显示时间点处的作为p22的非基本视图图片的图片p21或图片p22，还可以参考作为不同视图的图片的基本视图图片p12，并且进行预测。
请注意：通过参考与待编码的图片相同的视图的图片（在不同的显示时间点）进行的预测也被称为时间预测，而通过参考与待编码的图片不同的视图的图片进行的预测也被称为视差预测。
如上所述，根据MVC，只可以对基本视图图片进行时间预测，而可以对非基本视图图片进行时间预测和视差预测。
请注意：根据MVC，在视差预测中参考的与待编码的图片的视图不同的图片必须是与待编码的图片的时间点相同的图片。
图7是描述以MVC对图片进行编码（和解码）的顺序的图。
以与图6相同的方式，将基本视图图像的图片表达成按照显示时间点的顺序的p11、p12、p13、…，而将非基本视图图像的图片表达成按照显示时间点的顺序的p21、p22、p23、…。
现在，为了简化描述，假设以显示时间点的顺序对每个视图的图片进行编码。首先，对基本视图的在时间点t=1处的第一图片p11进行编码，接下来对非基本视图的在时间点t=1处的图片p21进行编码。
当对在同一时间点t=1处的（所有）非基本视图图片的编码完成时，对基本视图的在时间点t=2处的下一个图片p12进行编码，接下来对非基本视图的在时间点t=2处的图片p22进行编码。
在下文中，以类似的顺序对基本视图图片和非基本视图图片进行编码。
图8是用于描述在图5的编码器41和编码器42处进行的时间预测和视差预测的图。
请注意：在图8中，水平轴表示编码（解码）的时间点。
在对作为基本视图图像的中间视点彩色图像的图片进行预测编码时，对基本视图图像进行编码的编码器41可以进行时间预测，在时间预测中，参考中间视点彩色图像的已经被编码的另一个图片。
在对作为非基本视图图像的打包彩色图像的图片进行预测编码时，对非基本视图图像进行编码的编码器42可以进行时间预测，在时间预测中，参考已经被编码的打包彩色图像的另一个图片；并且可以进行视差预测，该视差预测参考中间视点彩色图像的（已经编码的）图片（该图片具有与待编码的打包彩色图像的图片相同的时间点（相同POC（图片顺序计数）））。
[编码器42的配置示例]
图9是例示图5中的编码器42的配置示例的框图。
在图9中，编码器42具有A/D（模拟/数字）转换单元111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、解块滤波器121、画面内预测单元122、帧间预测单元123以及预测图像选择单元124。
将作为待编码图像（运动图像）的打包彩色图像图片按照显示顺序顺序地提供给A/D转换单元111。
在提供给其的图片是模拟信号的情况下，A/D转换单元111对模拟信号进行A/D转换，并且提供给画面重排缓冲器112。
画面重排缓冲器112临时地存储来自A/D转换单元111的图片，并且根据预先确定的GOP（图片组）结构来读出图片，由此进行将图片的顺序从显示顺序重排为编码顺序（解码顺序）的重排。
将从画面重排缓冲器112读出的图片提供给计算单元113、画面内预测单元122和帧间预测单元123。
将图片从画面重排缓冲器112提供给计算单元113，并且也将在画面内预测单元122处或者帧间预测单元处生成的预测图像提供给预测图像选择单元124。
计算单元113将从画面重排缓冲器112读出的图片当作待编码的当前图片，并且进一步顺序地将构成当前图片的宏块当作待编码的当前块。
然后，计算单元113按照需要计算从当前块的像素值中减去从预测图像选择单元124提供的预测图像的像素值所得的减法值，并且提供给正交变换单元114。
正交变换单元114对来自计算单元113的当前块（的像素值、或者预测图像被减的残差）进行诸如离散余弦变换或者卡洛南-洛伊（Karhunen–Loève）变换等的正交变换，并且将作为结果获得的变换系数提供给量化单元115。
量化单元115将从正交变换单元114提供的变换系数进行量化，并且将作为结果获得的量化值提供给可变长度编码单元116。
可变长度编码单元116对来自量化单元115的量化值进行无损编码，诸如可变长度编码（例如，CAVLC（上下文自适应可变长度编码）等）或者算术编码（例如，CABAC（上下文自适应二进制算术编码）等），并且将作为结果获得的编码数据提供给存储缓冲器117。
请注意：除了从量化单元115提供给可变长度编码单元116的量化值之外，还从预测图像选择单元给可变长度编码单元116提供了要包括在编码数据的报头中的报头信息。
可变长度编码单元116对来自预测图像选择单元124的报头信息进行编码，并且将其包括在编码数据的报头中。
存储缓冲器117临时地存储来自可变长度编码单元116的编码数据，并且以预定的数据速率进行输出（传输）。
将在量化单元115处获得的量化值提供给可变长度编码单元116，并且也提供给逆量化单元118，并且在逆量化单元118、逆正交变换单元119和计算单元120处进行局部解码。
也就是说，逆量化单元118将来自量化单元115的量化值进行逆量化为变换系数，并且提供给逆正交变换单元119。
逆正交变换单元119对来自逆量化单元118的变换系数进行逆正交变换，并且提供给计算单元120。
计算单元120按照需要将从预测图像选择单元的124提供的预测图像的像素值加到从逆正交变换单元119提供的数据，由此获得当前块已被解码（局部解码）的解码图像，提供给解块滤波器121。
解块滤波器121对来自计算单元120的解码图像进行滤波，由此去除（减少）出现在解码图像中的块噪声，并且提供给DPB43（图5）。
现在，DPB43存储来自解块滤波器121的解码图像，即在编码器42处编码的并且被局部解码的打包彩色图像的图片，作为当生成要用于稍后时间的预测编码（在计算单元113处进行预测图像的减去的编码）的预测图像时参考的参考图像（的候选）。
如结合图5所述，DPB43在编码器41和42之间共享，所以除了存储在编码器42处编码并局部解码的打包彩色图像图片，还存储了在编码器41处编码并局部解码的中间视点彩色图像的图片。
请注意：由逆量化单元118、逆正交变换单元119和计算单元120进行的局部解码是对例如可以作为参考图像（参考图片）的可参考的I图片、P图片和Bs图片进行的，并且DPB43存储I图片、P图片和Bs图片的解码图像。
在当前图片是可以被帧内预测（画面内预测）的I图片、P图片或者B图片（包括Bs图片）的情况下，画面内预测单元122从DPB43中读出当前图片的已经被局部解码的部分（解码图像）。然后，画面内预测单元122将从DPB43读出的当前图片的解码图像的部分当作从画面重排缓冲器112提供的当前图片的当前块的预测图像。
此外，画面内预测单元122获得使用预测图像对当前块进行编码所需的编码成本，即对当前块关于预测图像等的残差进行编码所需的编码成本，并且将其连同预测图像提供给预测图像选择单元124。
在当前图片是能够帧间预测的P图片或者B图片（包括Bs图片）的情况下，帧间预测单元123从DPB43中读取出在当前图片前已被编码且局部解码的图片作为参考图像。
此外，帧间预测单元123使用来自画面重排缓冲器112的当前图片的当前块和参考图像采用ME（运动估计）来检测表示当前块与对应于当前块的参考图像中的对应块（例如，关于当前块最小化SAD（绝对差之和）等的块）之间的移位（视差、运动）的移位矢量。
现在，在参考图像是与当前图片相同视图（与当前图片不同的时间点）的图片的情况下，使用当前块和参考图像通过ME检测的移位矢量是表示当前块与参考图像之间的运动（时间移位）的运动矢量。
此外，在参考图像是与当前图片不同视图（与当前图片相同的时间点）的图片的情况下，使用当前块和参考图像通过ME检测的移位矢量是表示当前块与参考图像之间的视差（空间移位）的视差矢量。
帧间预测单元123通过根据当前块的移位矢量对来自DPB43的参考图像进行作为MC（运动补偿）的移位补偿（补偿运动移位的运动补偿或者补偿视差移位的视差补偿）来生成预测图像。
也就是说，帧间预测单元123根据当前块的移位矢量获得这样的对应块作为预测图像：该对应块是从参考图像中的当前块的位置移动（移位）到的位置处的块（区域）。
此外，帧间预测单元123针对稍后描述的宏块类型不同的每个帧间预测模式，获得使用预测图像对当前块进行编码所需的编码成本。
然后，帧间预测单元123将编码成本最小的帧间预测模式当作作为最佳的帧间预测模式的最佳帧间预测模式，并且将预测图像和最佳帧间预测模式中的获得的编码成本提供给预测图像选择单元124。
现在，基于移位矢量（视差矢量、运动矢量）生成预测图像也被称为移位预测（视差预测、时间预测（运动预测））或者移位补偿（视差补偿、运动补偿）。请注意：移位预测包括按照需要检测移位矢量。
预测图像选择单元124从来自画面内预测单元122和帧间预测单元123的每一个中的预测图像中选择编码成本较小的一个预测图像，并提供给计算单元113和120。
请注意：画面内预测单元122将与帧内预测相关的信息（预测模式相关信息）提供给预测图像选择单元124，并且帧间预测单元123将与帧间预测相关的信息（包括移位矢量和分配给参考图像的参考索引等的信息的预测模式相关信息）提供给预测图像选择单元124。
预测图像选择单元124从来自画面内预测单元122和帧间预测单元123中的每一个的信息中选择已生成了具有较小编码成本的预测图像的信息，并且作为报头信息提供给可变长度编码单元116。
请注意：同样以与图9中的编码器42相同的方式配置图5中的编码器41。然而，对基本视图图像进行编码的编码器41只进行帧间预测中的时间预测，而不进行视差预测。
[宏块类型]
图10是用于描述MVC（AVC）中的宏块类型的图。
根据MVC，用作当前块的宏块是水平×垂直的16像素×16像素块，但是宏块可以被分成几个分块，并且可以在每个分块上进行ME（并且生成预测图像）。
也就是说，根据MVC，宏块还可以被划分为16像素×16像素，16像素×8像素，8像素×16像素，8像素×8像素中的任何分块，在每个分块上进行ME以检测移位矢量（运动矢量或者视差矢量）。
此外，根据MVC，8像素×8像素的分块可以被划分为8像素×8像素，8像素×4像素，4像素×8像素，4像素×4像素中的任何子分块，在每个分块上进行ME以检测移位矢量（运动矢量或者视差矢量）。
宏块类型表示宏块要被划分为哪种分块（或者子分块）。
通过帧间预测单元123（图9）的帧间预测，计算每个宏块类型的编码成本作为每个帧间预测模式的编码成本。例如，将其编码成本是最小的帧间预测模式（宏块类型）选择为最佳帧间预测模式。
[预测矢量（PMV，预测运动矢量）]
图11是用于描述根据MVC（AVC）的预测矢量（PMV）的图。
通过帧间预测单元123（图9）的帧间预测，通过ME检测当前块的移位矢量（运动矢量或者视差矢量），并且使用这些移位矢量生成预测图像。
虽然在解码侧需要移位矢量来对图像进行解码，并且因此需要将移位矢量的信息进行编码且包含在编码数据中，但是对移位矢量按照原样进行编码会导致移位矢量的大的码量，可能使编码效率劣化。
也就是说，如根据图10所述，根据MVC，宏块可以被划分为8像素×8像素的分块，并且每个8像素×8像素的分块还可以被划分为4像素×4像素的子分块。在此情况下，一个宏块最终被划分为4像素×4像素的子分块，意味着每个宏块可以具有16（=4×4）个移位矢量，并且对这些移位矢量按照原样进行编码导致大的码量，使编码效率劣化。
因此，根据MVC（AVC），进行对预测移位矢量的矢量预测，并且对移位矢量关于通过矢量预测获得的预测矢量的残差（残差矢量）进行编码。
然而请注意：通过MVC生成的预测矢量根据分配给用于生成当前块的外围的宏块的预测图像的参考图像的参考索引（在下文中也称为预测的参考索引）而不同。
现在，将描述参考索引和MVC（AVC）中的参考图像（可以用作参考图像的图片）。
根据AVC，当生成预测图像时可以将多个图片当作参考图像。
此外，通过AVC编解码器，在解码（局部解码）之后，参考图像被存储在称为DPB的缓冲器中。
利用DPB，短期参考的图片均被标记为短期参考图像（用于短期参考），长期参考的图片均被标记为长期参考图像（用于长期参考），此外没有参考的图片均被标记为未被参考的图像（没有用于参考）。
有两种用于管理DPB的管理方法，分别是滑窗存储器管理格式（滑窗处理）和自适应存储器管理格式（自适应存储器控制处理）。
根据滑窗存储器管理格式，通过FIFO（先进先出）来管理DPB，并且按照顺序从frame_num（帧_数目）小的图片来释放（变成未被参考）在DPB中存储的图片。
也就是说，通过滑窗存储器管理格式，I（Intra，帧间）图片，P（Predictive，预测）图片和作为可参考B（Bi-directional Predictive，双向预测）图片的Bs图片被存储在DPB中作为短期参考图像。
然后，当DPB已经存储了其能够存储的所有参考图像（可以变成的参考图像）之后，释放在DPB中存储的短期参考图像中的最早（最老）的短期参考图像。
请注意：在DPB中存储长期参考图像的情况下，滑窗存储器管理格式不影响在DPB中存储的长期参考图像。也就是说，根据滑窗存储器管理格式，利用FIFO格式管理的参考图像只是短期参考图像。
利用自适应存储器管理格式，使用称为MMCO（存储器管理控制操作）的命令来管理在DPB中存储的图片。
MMCO命令使得能够针对在DPB中存储的参考图像：将短期参考图像设定为未被参考的图像；通过将作为用于管理长期参考图像的参考索引的长期帧索引分配给短期参考图像，而将短期参考图像设定为长期参考图像；设定长期帧索引的最大值；将所有参考图像设定为未被参考的图像等。
利用AVC，对在DPB中存储的参考图像进行运动补偿（移位补偿），由此进行在其中生成预测图像的帧间预测，并且最大相当于两个图片的参考图像可以被用于B图片（包括Bs图片）的帧间预测。使用这两个图片的参考图像的帧间预测的分别称为L0（列表0）预测和L1（列表1）预测。
针对B图片（包括Bs图片），L0预测或者L1预测，或者L0预测与L1预测两者被用于帧间预测。针对P图片，只有L0预测用于帧间预测。
在帧间预测中，通过参考列表（参考图片列表）来管理生成预测图像要参考的参考图像。
利用参考列表，将作为用于指定生成预测图像要参考的参考图像（能够变成参考图像的参考图像）的索引的参考索引（Reference Index）分配给在DPB中存储的参考图像（可以变成参考图像的图片）。
在当前图片是P图片的情况下，只有L0预测与P图片用于上述的帧间预测，所以只针对L0预测来分配参考索引。
此外，在当前图片是B图片（包括Bs）的情况下，L0预测和L1预测两者可以与B图片用于上述帧间预测，所以针对L0预测和L1预测分配参考索引。
现在，针对L0预测的参考索引也被称为L0索引，而针对L1预测的参考索引也被称为L1索引。
在当前图片是P图片的情况下，参考图像的按照解码顺序的AVC缺省位置（缺省值）越靠后，给在DPB中存储的参考图像分配的参考索引（L0索引）的号码越小。
参考索引是0或大于0的整数值，0是最小值。因此，在当前图片是P图片的情况下，0被分配给紧挨当前图片前面被解码的参考图像，作为L0索引。
在当前图片是B图片（包括Bs图片）的情况下，使用AVC缺省，将参考索引（L0索引和L1索引）按照POC（图片顺序计数）顺序即按照显示顺序分配给在DPB中存储的参考图像。
也就是说，针对L0预测，参考图像与当前图片越近，则分配给按照显示顺序时间上在当前图片之前的参考图像的L0索引的值越小，并且之后，参考图像与当前图片越近，则分配给按照显示顺序时间上在当前图片之后的参考图像的L0索引的值越小。
此外，针对L1预测，参考图像与当前图片越近，则分配给按照显示顺序时间上在当前图片之后的参考图像的L1索引的值越小，并且之后，参考图像与当前图像越近，则分配给按照显示顺序时间上在当前图片之前的参考图像的L1索引的值越小。
请注意：上述根据AVC对参考索引（L0索引和L1索引）的缺省分配是针对短期参考图像进行的。在给短期参考图像分配参考索引之后，给长期参考图像分配参考索引。
因此，通过AVC的缺省，给长期参考图像分配的参考索引具有比短期参考图像更大的值。
根据AVC，可以通过上述的缺省方法来进行分配参考索引，或者可以使用被称为参考图片列表重新排序的命令（在下文中也称为RPLR命令）来进行可选的分配。
请注意：在使用RPLR命令来分配参考索引且之后存在没有被分配参考索引的参考图像的情况下，通过缺省方法来给该参考图像分配参考索引。
如图11所示，通过MVC（AVC），针对用于对邻近当前块X的左边的宏块A、邻近当前块X的上方的宏块B和邻近当前块X的斜右上方的宏块C进行预测的每个参考索引（给用于生成宏块A、B和C中的每个宏块的预测图像的参考图像分配的参考索引），而不同地获得了当前块X的移位矢量mvX的预测矢量PMVX。
也就是说，假设用于预测当前块X的参考索引ref_idx是例如0。
如图11中的A所示，在邻近当前块X的三个宏块A至C中只有一个宏块的用于预测的参考索引ref_idx是0的情况下，与当前块X相同地，将该一个宏块（用于预测的参考索引ref_idx是0的宏块）的移位矢量当作是当前块X的移位矢量的mvX的预测矢量PMVX。
请注意：在此处参照图11的A，在邻近当前块X的三个宏块A至C中只有宏块B的用于预测的参考索引ref_idx是0，因此，宏块A的移位矢量mvB被当作是当前块X（的移位矢量mvX）的预测矢量PMVX。
此外，如图11中的B所示，在邻近当前块X的三个宏块A至C中有两个或更多个宏块的用于预测的参考索引ref_idx是0的情况下，与当前块X相同地，将用于预测的参考索引ref_idx是0的该两个或更多个宏块的移位矢量的中值当作是当前块X的预测矢量PMVX。
请注意：在此处参照图11中的B，所有的邻近当前块X的三个宏块A至C都是用于预测的参考索引ref_idx是0的宏块，因此，将宏块A的移位矢量mvA、宏块B的移位矢量mvB和宏块C的移位矢量mvC中的中值med(mvA,mvB,mvC)当作是当前块X的预测矢量PMVX。请注意：针对x分量和y分量分别地（独立地）来计算中值med(mvA,mvB,mvC)。
此外，如图11中的C所示，在邻近当前块X的三个宏块A至C中没有一个宏块的用于预测的参考索引ref_idx是0的情况下，与当前块X相同地，将0矢量当作是当前块X的预测矢量PMVX。
请注意：在此处参照图11的C，在邻近当前块X的三个宏块A至C中没有一个宏块的用于预测的参考索引ref_idx是0，将0矢量当作是当前块X的预测矢量PMVX。
请注意：根据MVC（AVC），在用于预测当前块X的参考索引ref_idx是0的情况下，可以将当前块X作为跳过宏块来进行编码（跳过模式）。
对于跳过宏块，既不对对象块的残差进行编码也不对残差矢量进行编码。在解码时，采用预测矢量作为未进行改变的跳过宏块的移位矢量，并且将在参考图像中的从跳过宏块的位置移动了相当于移位矢量（预测矢量）的量的位置处的块（当前块）的拷贝当作是跳过宏块的解码结果。
是否将当前块当作是跳过宏块取决于编码器的规格，并且基于例如编码数据的码量、当前块的编码成本等来决定（确定）。
[帧间预测单元123的配置示例]
图12是例示图9中的编码器42的帧间预测单元123的配置示例的框图。
帧间预测单元123具有视差预测单元131和时间预测单元132。
现在，在图12中，从解块滤波器121给DPB43提供解码图像，即在编码器42处编码且被局部解码的并且作为参考图像（可以变成参考图像的图片）而存储的打包彩色图像（在下文中也被称为解码打包彩色图像）的图片。
此外，如参照图5和图9所述，也将在编码器41处编码且被局部解码的多视点彩色图像（在下文中也称为解码中间视点彩色图像）的图片提供给DPB43并且进行存储。
在编码器42处，除了使用来自解块滤波片121的解码打包彩色图像的图片之外，还使用在编码器41处获得的解码中间视点彩色图像的图片来对待编码的打包彩色图像进行编码。因此，在图12中，示出例示将在编码器41处获得的解码中间视点彩色图像提供给DPB43的箭头。
从画面重排缓冲器112给视差预测单元131提供打包彩色图像的当前图片。
视差预测单元131使用在DPB43中存储的解码中间视点彩色图像的图片（与当前图片相同时间点的图片）作为参考图像，对来自画面重排缓冲器112的打包彩色图像的当前图片的当前块进行视差预测，并且生成当前块的预测图像。
也就是说，视差预测单元131使用在DPB43中存储的解码中间视点彩色图像的图片作为参考图像进行ME，由此获得当前块的视差矢量。
此外，视差预测单元131遵循当前块的视差矢量，使用DPB43中存储的解码中间视点彩色图像的图片作为参考图像进行MC，由此生成当前块的预测图像。
此外，视差预测单元131针对每个宏块类型，使用根据参考图像通过视差预测（预测编码）而获得的预测图像，来计算对当前块进行编码所需要的编码成本。
然后，视差预测单元131选择编码成本最小的宏块类型作为最佳帧间预测模式，并且将在此最佳帧间预测模式中生成的预测图像（视差预测图像）提供给预测图像选择单元124。
另外，视差预测单与131将最佳帧间预测模式的信息等作为报头信息提供给预测图像选择单元124。
请注意：如上所述，参考索引被分配给参考图像，将在生成在视差预测单元131处选择的最佳帧间预测模式中生成的预测图像时参考的参考图像的分配的参考索引作为用于预测当前块的参考索引，并且作为报头信息之一提供给预测图像选择单元124。
从画面重排缓冲器112给时间预测单元132提供打包彩色图像的当前图片。
时间预测单元132使用在DPB43中存储的解码打包彩色图像的图片（与当前图片不同时间点的图片）作为参考，对来自画面重排缓冲器112的打包彩色图像的当前图片的当前块进行时间预测，并且生成当前块的预测图像。
也就是说，时间预测单元132使用在DPB43中存储的解码打包彩色图像的图片作为参考图像进行ME，由此获得当前块的运动矢量。
此外，时间预测单元132遵循当前块的运动矢量，使用DPB43中存储的解码打包彩色图像的图片作为参考图像进行MC，由此生成当前块的预测图像。
此外，时间预测单元132针对每个宏块类型，使用根据参考图像的时间预测（预测编码）而获得的预测图像，来计算用于对当前块进行编码所需要的编码成本。
然后，时间预测单元132选择编码成本最小的宏块类型作为最佳帧间预测模式，并且将在此最佳帧间预测模式中生成的预测图像（时间预测图像）提供给预测图像选择单元124。
此外，时间预测单元132将最佳帧间预测模式的信息等作为报头信息提供给预测图像选择单元124。
请注意：如上所述，参考索引被分配给参考图像，将在生成在时间预测单元132处选择的最佳帧间预测模式中生成的预测图像时参考的参考图像的分配的参考索引作为用于预测当前块的参考索引，并且作为报头信息之一提供给预测图像选择单元124。
在预测图像选择单元124处，在来自画面内预测单元122以及来自构成帧间预测单元123的视差预测单元131和时间预测单元132的预测图像中，选择例如编码成本最小的预测图像，并且提供给计算单元113和计算单元120。
现在，根据本实施例，例如假设将值为1的参考索引分配给在视差预测中参考的参考图像（此处是解码中间视点彩色图像的图片），并且将值为0的参考索引分配给在时间预测中参考的参考图像（此处是解码打包彩色图像的图片）。
[视差预测单元131的配置示例]
图13是例示图12中的视差预测单元131的配置示例的框图。
在图13中，视差预测单元131具有视差检测单元141、视差补偿单元142、预测信息缓冲器143、成本函数计算单元144和模式选择单元145。
将用作参考图像的解码中间视点彩色图像的图片从DPB43提供给视差检测单元141，还将待编码的打包彩色图像的图片（当前图片）从画面重排缓冲器112提供给视差检测单元141。
视差检测单元141使用当前块和作为参考图像的解码中间视点彩色图像的图片来进行ME，由此在当前块和解码中间视点彩色图像的图片处检测表示关于当前块的移位的视差矢量mv，该视差矢量mv针对每个宏块类型关于当前块最大化编码效率，诸如使SAD最小等，并且视差检测单元141将视差矢量mv提供给视差补偿单元142。
从视差检测单元141将视差矢量mv提供给视差补偿单元142，此外，从DPB43将用作参考图像的解码中间视点彩色图像的图片提供给视差补偿单元142。
视差补偿单元142使用来自视差检测单元141的当前块的视差矢量mv对来自DPB43的参考图像进行视差补偿，由此针对每个宏块类型生成当前块的预测图像。
也就是说，视差补偿单元142获得这样的对应块作为预测图像：该对应块是作为参考图像的解码中间视点彩色图像的图片中的从当前块的位置被移位了与视差矢量mv相当的量的块（区域）。
此外，视差补偿单元142按照需要使用当前块周围的已经被编码的宏块的视差矢量，由此获得当前块的视差矢量mv的预测矢量PMV。
此外，视差补偿单元142获得作为当前块的视差矢量mv与预测矢量PMV之间的差的残差矢量。
然后，视差补偿单元142将诸如宏块类型的每个预测模式的当前块的预测图像与预测模式，连同当前块的残差矢量和分配给用于生成预测图像的参考图像（此处是解码中间视点彩色图像的图片）的参考索引，进行关联，并且提供给预测信息缓冲器143和成本函数计算单元144。
预测信息缓冲器143临时地存储来自视差补偿单元142的与预测模式关联的预测图像、残差矢量和参考索引，以及其预测模式，作为预测信息。
从视差补偿单元142给成本函数计算单元144提供与预测模式关联的预测图像、残差矢量和参考索引，并且从画面重排缓冲器112给成本函数计算单元144提供打包彩色图像的当前图片。
成本函数计算单元144针对用做预测模式的每个宏块类型（图10），遵循用于计算编码成本的预定成本函数，计算对来自画面重排缓冲器112的当前图片的当前块进行编码所需的编码成本。
也就是说，成本函数计算单元144获得与来自视差补偿单元142的残差矢量的码量相对应的值MV，并且还获得与来自视差补偿单元142的参考索引（用于预测的参考索引）的码量相对应的值IN。
此外，成本函数计算单元144针对来自视差补偿单元142的预测图像，获得作为与当前块的残差的码量相对应的值D的SAD。
然后，成本函数计算单元144遵循例如由λ1和λ2进行加权的表达式COST=D+λ1×MV+λ2×IN，针对每个宏块类型获得编码成本（成本函数的成本函数值）COST。
当获得每个宏块类型的编码成本（成本函数值）时，成本函数计算单元144将编码成本提供给模式选择单元145。
模式选择单元145从来自成本函数计算单元144的每个宏块类型的编码成本中检测作为最小值的最小成本。
此外，模式选择单元145选择已获得具有最小成本的宏块类型作为最佳帧间预测模式。
然后，模式选择单元145从预测信息缓冲器143中读出与作为最佳帧间预测模式的预测模式关联的预测图像、残差矢量和参考索引，并且连同作为最佳帧间预测模式的预测模式提供给预测图像选择单元124。
现在，从模式选择单元145提供给预测图像选择单元124的预测模式（最佳帧间预测模式）、残差矢量和参考索引（用于预测的参考索引）是与帧间预测（在此处是视差预测）相关的预测模式相关信息，并且，在预测图像选择单元124处，按照需要将与此帧间预测相关的预测模式相关信息提供给可变长度编码单元116（图9）作为报头信息。
请注意：除了参考图像是解码打包彩色图像的图片而不是解码中间视点彩色图像的图片外，图12中的时间预测单元132进行与图13中的视差预测单元131相同的处理。
[解码设备32C的配置示例]
图14是例示图3中的解码设备32C的配置示例的框图。
图14中的解码设备32C通过MVC对作为来自逆多路复用设备31（图3）的多视点彩色图像编码数据的中间视点彩色图像以及打包彩色图像的编码数据进行解码。
在图14中，解码设备32C具有解码器211和212，以及DPB213。
给解码器211提供来自逆多路复用设备31（图3）的多视点彩色图像编码数据中的作为基本视图图像的中间视点彩色图像的编码数据。
解码器211通过MVC对给其提供的中间视点彩色图像的编码数据进行解码，并且输出作为结果获得的中间视点彩色图像。
给解码器212提供来自逆多路复用设备31（图3）的多视点彩色图像编码数据中的作为非基本视图图像的打包彩色图像的编码数据。
解码器212通过MVC对给其提供的打包彩色图像的编码数据进行解码，并且输出作为结果获得的打包彩色图像。
现在，将解码器211输出的多视点彩色图像和解码器212输出的打包彩色图像作为分辨率转换多视点彩色图像提供给分辨率逆转换设备33C（图3）。
DPB213临时地存储通过在解码器211和解码器212中的每个解码器处对待解码图像进行解码而获得的解码后的图像（解码图像），作为在生成预测图像时参考的参考图像（的候选）。
也就是说，解码器211和212均对图5中的编码器41和编码器42处经过预测编码的图像进行解码。
为了对经过预测编码的图像进行解码，需要用于预测编码的预测图像，因此解码器211和解码器212对待解码图像进行解码，并且之后在DPB213中临时地存储待用于生成预测图像的解码图像，以生成在预测编码中使用的预测图像。
DPB213是共享的缓冲器，用于临时地存储在解码器211和解码器212中的每个解码器处获得的解码后的图像（解码图像），解码器211和解码器212中的每个解码器从在DPB213中存储的解码图像中选择在对待解码图像进行解码时参考的参考图像，并且使用参考图像生成预测图像。
DPB213在解码器211和解码器212之间共享，所以解码器211和解码器212均可以除了参考由其自身获得的解码图像，还可以参考在另一个解码器处获得的解码图像。
然而，请注意：解码器211对基本视图图像进行解码，所以只参考在解码器211处获得的解码图像。
[解码器212的配置示例]
图15是例示图14中的解码器212的配置示例的框图。
在图15中，解码器212具有存储缓冲器241、可变长度解码单元242、逆量化单元243、逆正交变换单元244、计算单元245、解块滤波器246、画面重排缓冲器247、D/A转换单元248、画面内预测单元249、帧间预测单元250和预测图像选择单元251。
从逆多路复用设备31给存储缓冲器241提供构成多视点彩色图像编码数据的中间视点彩色图像和打包彩色图像的编码数据中的打包彩色图像的编码数据。
存储缓冲器241临时地存储给其提供的编码数据，并且提供给可变长度解码单元242。
可变长度解码单元242对来自存储缓冲器241中的编码数据进行可变长度解码，由此恢复作为报头信息的预测模式相关信息和量化值。然后，可变长度解码单元242将量化值提供给逆量化单元243，并且将报头信息（预测模式相关信息）提供给画面内预测单元249和帧间预测单元250。
逆量化单元243将来自可变长度解码单元242的量化值逆量化为变换系数，并且提供给逆正交变换单元244。
逆正交变换单元244以宏块为单位对来自逆量化单元243的变化系数进行逆正交变换，并且提供给计算单元245。
计算单元245将从逆正交变换单元244提供的宏块当作待解码的当前块，并且按照需要将从预测图像选择单元251提供的预测图像加到当前块，由此获得提供给解块滤波器246的解码图像。
解块滤波器246以与例如图9中的解块滤波器121相同的方式对来自计算单元245的解码图像进行滤波，并且将该滤波后的解码图像提供给画面重排缓冲器247。
画面重排缓冲器247临时地对来自解块滤波器246的解码图像的图片进行存储和读取，由此以原始顺序（显示顺序）将图片的顺序重排，并且提供给D/A（数字/模拟）转换单元248。
在来自画面重排缓冲器247的图片需要被输出为模拟信号的情况下，D/A转换单元248对图片进行D/A转换并且输出。
此外，解块滤波器246将滤波之后的解码图像中的作为可以参考的图片的I图片、P图片和Bs图片的解码图像提供给DPB213。
现在，DPB213存储来自解块滤波器246的解码图像的图片，即打包彩色图像的图片，作为在生成预测图像时参考的参考图像，以用于后面时间进行的解码。
如参照图14所述，DPB213在解码器211和解码器212之间共享，并且因此DPB213除了存储在解码器212处解码的打包彩色图像（解码打包彩色图像）的图片之外，还存储在解码器211处解码的中间视点彩色图像（解码中间视点彩色图像）的图片。
画面内预测单元249基于来自可变长度解码单元242的报头信息，来识别是否已经使用由帧内预测（画面内预测）生成的预测图像对当前块进行编码。
在已经使用由帧内预测生成的预测图像对当前块进行编码的情况下，以与图9中的画面内预测单元122相同的方式，画面内预测单元249从DPB213中读出包括当前块的图片（当前图片）的已解码部分（解码图像）。然后，画面内预测单元249将已从DPB213中读出的当前图片中的解码图像的部分作为当前块的预测图像提供给预测图像选择单元251。
帧间预测单元250基于来自可变长度解码单元242的报头信息，来识别是否已经使用通过帧间预测生成的预测图像对当前块进行编码。
在已经使用通过帧间预测生成的预测图像对当前块进行编码的情况下，帧间预测单元250基于来自可变长度解码单元242的报头信息（预测模式相关信息），识别用于预测的参考索引，即分配给用于生成当前块的预测图像的参考图像的参考索引。
然后，帧间预测单元250从在DPB213中存储的解码打包彩色图像的图片和解码中间视点彩色图像的图片中读出已经分配了该用于预测的参考索引的图片作为参考图像。
另外，帧间预测单元250基于来自可变长度解码单元242的报头信息，识别用于生成当前块的预测图像的移位矢量（视差矢量、运动矢量），并且以与图9中的帧间预测单元123相同的方式，遵循移位矢量对参考图像进行移位补偿（补偿与移动的量相当的移位的运动补偿，或者对相当于视差量的移位进行补偿的视差补偿），由此生成预测图像。
也就是说，帧间预测单元250根据当前块的移位矢量获取从参考图像中当前块的位置移动（移位）后的位置处的块（当前块），作为预测图像。
然后，帧间预测图像250将预测图像提供给预测图像选择单元251。
在从画面内预测单元249提供预测图像的情况下，预测图像选择单元251选择该预测图像，而在从帧间预测单元250提供预测图像的情况下，预测图像选择单元251选择该预测图像，并且提供给计算单元245。
[帧间预测单元250的配置示例]
图16是例示图15中的解码器212的帧间预测单元250的配置示例的框图。
在图16中，帧间预测单元250具有参考索引处理单元260、视差预测单元261和时间预测单元262。
现在，在图16中，从解块滤波器246给DPB213提供解码图像，即在解码器212处解码的解码打包彩色图像的图片，并且作为参考图像进行存储。
此外，如参照图14和图15所述，给DPB213提供了在解码器211处解码的解码中间视点彩色图像的图片，并且对其进行存储。因此，在图16中，例示指示在解码器211处获得的解码中间视点彩色图像被提供给DPB213的箭头。
给参考索引处理单元260提供作为来自可变长度解码单元242的报头信息的预测模式相关信息中的当前块的参考索引（用于预测）。
参考索引处理单元260从DPB213中读出为其分配了来自可变长度解码单元242的当前块的用于预测的参考索引的解码中间视点彩色图像或者解码打包彩色图像的图片，并且提供给视差预测单元261或者时间预测单元262。
现在，根据本实施例，在编码器42处将值为1的参考索引分配给作为视差预测中参考的参考图像的解码中间视点彩色图像的图片，而将值为0的参考索引分配给作为时间预测中参考的参考图像的解码打包彩色图像的图片，如参照图12所述。
因此，可以通过当前块的用于预测的参考索引来识别要用于生成当前块的预测图像的参考图像是解码中间视点彩色图像的图片还是解码打包彩色图像的图片。另外，也可以识别当生成当前块的预测图像时进行的移位预测是时间预测和视差预测中的哪一个。
在来自可变长度解码单元242的被分配了当前块的用于预测的参考索引的图片是解码中间视点彩色图像的图片的情况下（在用于预测的参考索引是1的情况下），是通过视差预测生成当前块的预测图像，所以参考索引处理单元260从DPB213中读出分配了用于预测的参考索引的解码中间视点彩色图像的图片（参考索引匹配的图片）作为参考图像，并且将参考图像提供给视差预测单元261。
此外，在来自可变长度解码单元242的被分配了当前块的用于预测的参考索引的图片是解码打包彩色图像的图片的情况下（在用于预测的参考索引是0的情况下），通过时间预测生成当前块的预测图像，所以参考索引处理单元260从DPB213读出分配了用于预测的参考索引的解码打包彩色图像的图片（参考索引匹配的图片），作为来自DPB213的参考图像，并且将其提供给时间预测单元262。
从可变长度解码单元242给视差预测单元261提供作为报头信息的预测模式相关信息。
视差预测单元261基于来自可变长度解码单元242的报头信息识别是否使用由视差预测生成的预测图像对当前块进行了编码。
在使用利用视差预测生成的预测图像对当前块进行了编码的情况下，视差预测单元261基于来自可变长度解码单元242的报头信息恢复用于生成当前块的预测图像的视差矢量，并且以与图12的视差预测单元131相同的方式，通过根据该视差矢量进行视差预测（视差补偿）来生成预测图像。
也就是说，在使用由视差预测生成的预测图像对当前块进行了编码的情况下，从参考索引处理单元260给视差预测单元261提供解码中间视点彩色图像的图片作为参考图像，如上所述。
视差预测单元261根据当前块的移位矢量，在从来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片中的当前块的位置移动（移位）后的位置处获取块（对应块），作为预测图像。
然后，视差预测单元261将该预测图像提供给预测图像选择单元251。
从可变长度解码单元242给时间预测单元262提供作为报头信息的预测模式相关信息。
时间预测单元262基于来自可变长度解码单元242的报头信息，识别是否使用通过时间预测生成的预测图像对当前块进行了编码。
在利用时间预测生成的预测图像对当前块进行了编码的情况下，时间预测单元262基于来自可变长度解码单元242的报头信息，恢复用于生成当前块的预测图像的运动矢量，并且以与图12中的时间预测单元132相同的方式，通过根据此运行矢量进行时间预测（运动补偿）来生成预测图像。
也就是说，在使用通过时间预测生成的预测图像对当前块进行了编码的情况下，从参考索引处理单元260给时间预测单元262提供解码打包彩色图像的图片作为参考图像，如上所述。
时间预测单元262根据当前块的移位矢量，在从来自参考索引处理单元260的用作参考图像的解码打包彩色图像的图片中的当前块的位置移动（移位）后的位置处获取块（对应块），作为预测图像。
然后，时间预测单元262将该预测图像提供给预测图像选择单元251。
[视差预测单元261的配置示例]
图17是例示图16中的视差预测单元261的配置示例的框图。
在图17中，视差预测单元261具有视差补偿单元272。
从参考索引处理单元260给视差补偿单元272提供用作参考图像的解码中间视点彩色图像的图片，并且从可变长度编码单元242给视差补偿单元272提供用作报头信息的模式相关信息中包括的预测模式和残差矢量。
视差补偿单元272按照需要使用已经解码的宏块的视差矢量获得当前块的视差矢量的预测矢量，并且将预测矢量加到来自可变长度解码单元242的当前块的残差矢量，由此恢复当前块的视差矢量mv。
另外，视差补偿单元272使用当前块的视差矢量mv，对来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片进行视差补偿，由此针对来自可变长度解码单元242的预测模式所指示的宏块类型来生成当前块的预测图像。
也就是说，视差补偿单元272获取这样的当前块作为预测图像：该当前块是解码中间视点彩色图像的图片中的从当前块位置位移了与视差矢量mv相当的量的位置处的块。
然后，视差补偿单元272将预测图像提供给预测图像选择单元251。
请注意：除了参考图像是解码打包彩色图像的图片而不是解码中间视点彩色图像的图片之外，图16中的时间预测单元262进行了与图17中的视差预测单元261相同的处理。
如上所述，根据MVC，除了对非基本视图图像进行时间预测，还可以对非基本视图图像进行视差预测，所以可以提高编码效率。
然而，如上所述，在非基本视图图像是打包彩色图像且在视差预测中参考（可以参考）的基本视图图像是中间视点彩色图的情况下，可能降低视差预测的预测精度（预测效率）。
因此，为了简化描述，现在假设中间视点彩色图像、左视点彩色图像和右视点彩色图像的水平分辨率和垂直分辨率比（水平像素的数量与垂直像素的数量的比）是1:1。
例如参照图4所述，打包彩色图像是相当于一个视点的图像，其中，左视点彩色图像和右视点彩色图像中的每一个的垂直分辨率已经成为1/2，并且分辨率已经成为1/2的左视点彩色图像和右视点彩色图像被垂直排列。
因此，在编码器42（图9）处，要编码的打包彩色图像（待编码图像）的分辨率比，与生成该打包彩色图像的预测图像时的视差预测中参考的作为与打包彩色图像不同视点的参考图像的中间视点彩色图像（解码中间视点彩色图像）的分辨率比不一致（不匹配）。
也就是说，对于打包彩色图像，左视点彩色图像和右视点彩色图像中的每一个的垂直方向的分辨率（垂直分辨率）是原始分辨率的1/2，因此，作为打包彩色图像的左视点彩色图像和右视点彩色图像的分辨率比是2:1。
另一方面，用作参考图像的中间视点彩色图像的分辨率比是1:1，而这与作为打包彩色图像的左视点彩色图像和右视点彩色图像的分辨率比2:1不一致。
在打包彩色图像的分辨率比与中间视点彩色图像的分辨率比不一致的情况下，即在作为打包彩色图像的左视点彩色图像和右视点彩色图像的分辨率比与作为参考图像的中间视点彩色图像的分辨率比不一致的情况下，降低了视差预测的预测精度（在视差预测中生成的预测图像与当前块之间的残差变大），并且降低了编码效率。
[传输设备11的配置示例]
因此，图18是例示图1中传输设备11的另一个配置示例的框图。
请注意：使用相同的附图标记表示与图2中的情况对应的部分，并且在下文中将适当地省略描述。
在图18中，传输设备11具有分辨率转换设备321C和321D、编码设备322C和322D，以及多路复用设备23。
因此，图18中的传输设备11在具有多路复用设备23方面与图2的情况相同，而与图2的情况不同之处在于设置了分辨率转换设备321C和321D以及编码设备322C和322D，来替代分辨率转换设备21C和21D以及编码设备22C和22D。
给分辨率转换设备321C提供多视点彩色图像。
例如，分辨率转换设备321C进行与图2中的分辨率转换设备21C相同的处理。
也就是说，分辨率转换设备321C进行这样的分辨率转换：将给其提供的多视点彩色图像的转换为具有比原始分辨率低的分辨率的分辨率转换多视点彩色图像，并且将作为结果获得的分辨率转换多视点彩色图像提供给编码设备322C。
另外，分辨率转换设备321C生成分辨率转换信息，并且提供给编码设备322C。
现在，分辨率转换设备321C生成的分辨率转换信息是与在分辨率转换设备321C处进行的将多视点彩色图像转换为分辨率转换多视点彩色图像的分辨率转换相关的信息，并且包括与作为待使用视差预测进行编码的、在下流编码设备322C处的待编码图像的打包彩色图像（构成打包彩色图像的左视点彩色图像和右视点彩色图像）相关的分辨率信息，以及包括与对待编码图像进行视差预测中参考的、与待编码图像不同视点的参考图像的中间视点彩色图像相关的分辨率信息。
也就是说，通过编码器设备322C，作为在分辨率转换设备321C处的分辨率转换的结果获得的分辨率转换多视点彩色图像被编码，并且待编码的分辨率转换多视点彩色图像是中间视点彩色图像和打包彩色图像，如参照图4所述。
在中间视点彩色图像和打包彩色图像中，待使用视差预测进行编码的图像是作为非基本视图图像的打包彩色图像，而在对打包彩色图像的视差预测中参考的参考图像是中间视点彩色图像。
因此，分辨率转换设备321C生成的分辨率转换信息包括与打包彩色图和中间视点彩色图像的分辨率相关的信息。
编码设备322C使用这样的扩展格式对从分辨率转换设备321C提供的分辨率转换多视点彩色图像进行编码：在该扩展格式中，例如对诸如作为对多个视点的图像进行传输的标准的MVC等标准进行了扩展。并且将作为其结果而获得的编码数据的多视点彩色图像编码数据提供给多路复用设备23。
请注意：对于用作作为编码设备322C的编码格式的扩展格式的基础的标准，除了可以采用MVC，还可以采用可以传输具有多个视点的图像的诸如HEVC（高效视频编码）等的标准。
给分辨率转换设备321D提供多视点彩色图像。
除了对深度图像（多视点深度图像）而不是彩色图像（多视点彩色图像）进行处理之外，分辨率转换设备321D和编码设备322D均与分辨率转换设备321C和编码设备322C进行相同的处理。
[接收设备12的配置示例]
图19是例示图1中的接收设备12的另一配置示例的图。
也就是说，图19例示在图1中的传输设备11被如图18中所示那样配置的情况下，图1中的接收设备12的配置示例。
请注意：使用相同的附图标记表示与图3的情况相对应的部分，并且在下文中将适当地省略描述。
在图19中，接收设备12具有逆多路复用设备31、解码设备332C和332D、以及分辨率逆转换设备333C和333D。
因此，图19中的接收设备12在具有逆多路复用设备23方面与图3的情况相同，与图3的情况不同之处在于设置了解码设备332C和332D以及分辨率逆转换设备333C和333D，来替代解码设备32C和32D以及分辨率逆转换设备33C和33D。
解码设备332C使用扩展格式对从逆多路复用设备31提供的多视点彩色图像编码数据进行解码，并且将作为其结果获得的分辨率转换多视点彩色图像和分辨率转换信息提供给分辨率逆转换设备333C。
分辨率逆转换设备333C基于同样来自解码设备332C的分辨率转换信息，进行逆分辨率转换以将来自解码设备332C的分辨率转换多视点彩色图像（逆）转换为原始分辨率，并且输出作为其结果获得的多视点彩色图像。
除了对来自逆多路复用设备31的多视点深度图像编码数据（分辨率转换多视点深度图像）而不是对多视点彩色图像编码数据（分辨率转换多视点彩色图像）进行处理之外，解码设备332D和分辨率逆转换设备333D均进行与解码设备332C和分辨率逆转换设备333C相同的处理。
[分辨率转换和分辨率逆转换]
图20是用于描述图18中的分辨率转换设备321C（和321D）进行的分辨率转换以及图19中的分辨率逆转换设备333C（和333D）进行的分辨率逆转换的图。
与例如图2中的分辨率转换设备21C相同的方式，分辨率转换设备321C（图18）将作为给其提供的多视点彩色图像的中间视点彩色图像、左视点彩色图像和右视点彩色图像中的例如中间视点彩色图像按照原样输出（不进行分辨率转换）。
此外，分辨率转换设备321C将多视点彩色图像中剩下的左视点彩色图像和右视点彩色图像的分辨率转换为较低分辨率，并且通过将其合并成相当于一个视点的图像来进行打包，由此生成并且输出打包彩色图像。
也就是说，分辨率转换设备321C将左视点彩色图像（的帧）和右视点彩色图像（的帧）中的每一个的垂直分辨率（像素数）例如转换为1/2，并且例如将垂直分辨率均变成1/2的左视点彩色图像和右视点彩色图像中的每一个的行（水平的行）垂直地排列，由此生成作为相当于一个视点的图像（的帧）的打包彩色图像。
现在，在图20中，在分辨率转换设备321C处，通过从左视点彩色图像中仅提取作为左视点彩色图像的奇数行和偶数行之一的例如奇数行来使左视点彩色图像的垂直分辨率成为（原来的）1/2。
另外，在分辨率转换设备321C处，通过从右视点彩色图像中仅提取作为右视点彩色图像的奇数行和偶数行之一的例如偶数行来使右视点彩色图像的垂直分辨率成为1/2。
然后，分辨率转换设备321C将垂直分辨率被变成1/2（原左视点彩色图像的奇数行）的左视点彩色图像的行（在下文中也被称为左视点行）作为上部场（奇数行的场）的行进行放置，并且将垂直分辨率被变成1/2（原右视点彩色图像的偶数行）的右视点彩色图像的行（在下文中也被称为右视点行）作为下部场（偶数行的场）的行进行放置，由此生成打包彩色图像（的帧）。
现在，虽然在图20中采用左视点行作为打包彩色图像的奇数行并采用右视点行作为打包彩色图像的偶数行，但是也可以采用右视点行作为打包彩色图像的奇数行并采用左视点行作为打包彩色图像的偶数行。
此外，分辨率转换设备321C可以仅提取左视点彩色图像的偶数行并使垂直分辨率成为1/2。另外，可以以相同方式提取右视点彩色图像的奇数行以使垂直分辨率成为1/2。
分辨率转换设备321C还生成这样的分辨率转换信息：该分辨率转换信息指示：中间视点彩色图像的分辨率没有变化；打包彩色图像是这样的相当于一个视点的图像，在该图像中，左视点彩色图像的左视点行和右视点彩色图像的右视点行（垂直分辨率已变成1/2）交替排列；等。
另一方面，分辨率逆转换设备333C（图19）从给其提供的分辨率转换信息中识别出：中间视点彩色图像的分辨率没有变化；打包彩色图像是这样的相当于一个视点的图像，在该图像中，左视点彩色图像的左视点行和右视点彩色图像的右视点行交替排列；等。
然后，分辨率逆转换设备333C基于从分辨率转换信息中识别的信息，将作为给其提供的多视点彩色图像的中间视点彩色图像和打包彩色图像中的中间视点彩色图像按照原样输出。
此外，分辨率逆转换设备333C基于从分辨率转换信息中识别的信息，将作为给其提供的多视点彩色图像的中间视点彩色图像和打包彩色图像中的打包彩色图像分离为作为上部场的行的奇数行和作为下部场的行的偶数行。
另外，分辨率逆转换设备333C通过插值等将通过分离到垂直分辨率被变成1/2的打包彩色图像的奇数行和偶数行而获得的左视点彩色图像和右视点彩色图像的垂直分辨率恢复到原始分辨率，并且进行输出。
请注意：多视点彩色图像（和多视点深度图像）可以是具有4个或更多视点的图像。在多视点彩色图像是具有4个或更多个视点的图像的情况下，可以生成两个或更多这样的打包彩色图像：在该打包彩色图像中，垂直分辨率被变成1/2的二视点彩色图像如上所述被打包为相当于一个图像（的数据量）。此外，可以生成这样的打包彩色图像：在该打包彩色图像中，按顺序重复地排列垂直分辨率被变成1/K的K个视点的行的图像，使得被打包为相当于一个视点的图像。
[传输设备11的处理]
图21是用于描述图18中的传输设备11的处理的流程图。
在步骤S11中，分辨率转换设备321C对提供给其的多视点彩色图像进行分辨率转换，并且将作为其结果而获得的是中间视点彩色图像和打包彩色图像的分辨率转换多视点彩色图像提供给编码设备322C。
另外，分辨率转换设备321C生成与该分辨率转换多视点彩色图像相关的分辨率转换信息，将该信息提供给编码设备322C，并且该流程从步骤S11前进到步骤S12。
在步骤S12中，分辨率转换设备321D对提供给其的多视点深度图像进行分辨率转换，并且将作为其结果而获得的作为中间视点深度图像和打包深度图像的分辨率转换多视点深度图像提供给编码设备322D。
另外，分辨率转换设备321D生成与该分辨率转换多视点深度图像相关的分辨率转换信息，将该信息提供给编码设备322D，并且该流程从步骤S12前进到步骤S13。
在步骤S13中，编码设备322C按照需要使用来自分辨率转换设备321C的分辨率转换信息，以扩展的格式对来自分辨率转换设备321C的分辨率转换多视点彩色图像进行编码，将作为其结果获得的作为编码数据的多视点彩色图像编码数据提供给多路复用设备23，流程前进到步骤S14。
在步骤S14中，编码设备322D按照需要使用来自分辨率转换设备321D的分辨率转换信息，以扩展的格式对来自分辨率转换设备321D的分辨率转换多视点深度图像进行编码，将作为其结果获得的作为编码数据的多视点深度图像编码数据提供给多路复用设备23，流程前进到步骤S15。
在步骤S15中，多路复用设备23对来自编码设备322C的多视点彩色图像编码数据和来自编码设备322D的多视点深度图像编码数据进行多路复用，并且输出作为其结果而获得的多路复用位流。
[接收设备12的处理]
图22是用于描述图19中的接收设备12的处理的流程图。
在步骤S21中，逆多路复用设备31对给其提供的多路复用位流进行逆多路复用，由此将多路复用位流分离为多视点彩色图像编码数据和多视点深度图像编码数据。
然后，逆多路复用设备31将多视点彩色图像编码数据提供给解码设备332C，将多视点深度图像编码数据提供给解码设备322D，流程从步骤S21前进到步骤S22。
在步骤S22中，解码设备332C以扩展的格式对来自多路复用设备31的多视点彩色图像编码数据进行解码，将作为其结果获得的分辨率转换多视点彩色图像和关于该分辨率转换多视点彩色图像的分辨率转换信息提供给分辨率逆转换设备333C，流程前进到步骤S23。
在步骤S23中，解码设备332D以扩展的格式对来自逆多路复用设备31的多视点深度图像编码数据进行解码，将作为其结果获得的分辨率转换多视点深度图像和关于该分辨率转换多视点深度图像的分辨率转换信息提供给分辨率逆转换设备333D，流程前进到步骤S24。
在步骤S24中，分辨率逆转换设备333C基于同样来自解码设备的332C的分辨率转换信息，进行分辨率逆转换以将来自解码设备332C的分辨率转换多视点彩色图像逆转换为原始分辨率的多视点彩色图像，并且输出作为其结果而获得的多视点彩色图像，流程前进到步骤S25。
在步骤S25中，分辨率逆转换设备333D基于同样来自解码设备的332D的分辨率转换信息，进行分辨率逆转换以将来自解码设备332D的分辨率转换多视点深度图像逆转换为原始分辨率的多视点深度图像，并且输出作为其结果而获得的多视点深度图像。
[编码设备322C的配置示例]
图23是例示图18中的编码设备322C的配置示例的框图。
请注意：使用相同附图标记表示与图5的情况对应的部分，并且在下文中适当地省略了描述。
在图23中，编码设备322C具有编码器341和编码器342，以及DPB43。
因此，图23中的编码设备322C在具有DPB43方面与图5中的编码设备22C相同，而与图5中的编码设备22C不同之处在于由编码器341和编码器342替代了编码器41和编码器42。
从分辨率转换设备321C给编码器341提供配置分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像中的中间视点彩色图像（的帧）。
从分辨率转换设备321C给编码器342提供配置分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像中的打包彩色图像（的帧）。
此外，从分辨率转换设备321C给编码器341和编码器342提供分辨率转换信息。
编码器341如同图5中的编码器41那样，将中间视点彩色图像作为基本视图图像，并且通过由扩展MVC（AVC）而来的扩展格式进行编码，并且输出作为其结果获得的中间视点彩色图像的编码数据。
编码器342如同图5中的编码器42那样，将打包彩色图像作为非基本视图图像，并且通过扩展格式进行编码，并且输出作为其结果获得的打包彩色图像的编码数据。
编码器341和342如上所述以扩展格式进行编码，基于来自分辨率转换设备321C的分辨率转换信息来设置在以一场作为一个图片来进行编码的场编码格式以及以一帧作为一个图片来进行编码的帧编码格式中，哪一个编码格式将被采用作为编码格式。
现在，AVC规定当具有片段报头存在于同一存取单元中的关系时，field_pic_flag（场_图片_标志）和bottom_field_flag（下部_场_标志）必须都是同一值，并且因此，根据AVC被扩展的MVC，基本视图图像和非基本视图图像之间编码模式需要是相同的。
根据MVC被扩展的扩展格式，基本视图图像和非基本视图图像之间的编码模式不必是相同的，但是在本实施例中，基本视图图像和非基本视图图像之间的编码模式将是相同的，以实现与扩展格式的原始标准（在此处是MVC）的兼容。
因此，对于编码器341和编码器342，当将一个的编码格式设定为场编码模式时，将另一个的编码模式也设定为场编码模式；当将一个的编码格式设定为帧编码模式时，将另一个的编码模式也设定为帧编码模式。
将从编码器341输出的中间视点彩色图像的编码数据和从编码器342输出的打包彩色图像的编码数据作为多视点彩色图像编码数据提供给多路复用设备23（图18）。
现在，在图23中，DPB43由编码器341和342共享。
也就是说，编码器341和342以与使用MVC相同的方式来对待编码图像进行预测编码。因此，为了生成待用于预测编码的预测图像，编码器341和编码器342对待编码图像进行编码，并且在此后进行局部解码，由此获得解码图像。
DPB43临时地存储从编码器341和编码器342中的每一个获得的解码图像。
编码器341和编码器342均从在DPB43中存储的解码图像中选择在对待编码图像进行编码时参考的参考图像。然后，编码器341和编码器342均使用参考图像生成预测图像，并使用这些预测图像来进行图像编码（预测编码）。
因此，编码器341和编码器342除了可以参考在其自身处获得的解码图像，还可以参考在另一个编码器处获得的解码图像。
然而请注意：如上所述，编码器341对基本视图图像进行编码，因此只参考在编码器341处获得的解码图像。
[编码器342的配置示例]
图24是例示图23中的编码器342的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图9和图12中对应的部分，并且在下文中适当地省略了描述。
在图24中，编码器342具有A/D转换单元111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、解块滤波器121、画面内预测单元122、帧间预测单元123、预测图像选择单元124、SEI（补充增强信息）生成单元351以及结构转换单元352。
因此，编码器342与图9中的编码器42具有相同的A/D转换单元111至预测图像选择单元124。
然而请注意：编码器342与图9中的编码器42的不同之处在于新设置了SEI生成单元351和结构转换单元352。
从分辨率转换设备321C（图18）给SEI生成单元351提供与分辨率转换多视点彩色图像相关的分辨率转换信息。
SEI生成单元351根据MVC（AVC）将提供给其的分辨率转换信息的格式转换为SEI格式，并且输出作为其结果获得的分辨率转换SEI。
SEI生成单元351输出的分辨率转换SEI被提供给可变长度编码单元116。
在可变长度编码单元116处，将来自SEI生成单元351的分辨率转换SEI包含在编码数据中进行传输。
结构转换单元352被设置在画面重排缓冲器112的输出侧，因此将图片从画面重排缓冲器112提供给结构转换单元352。
另外，从分辨率转换设备321C（图18）给结构转换单元352提供与分辨率转换多视点彩色图像相关的分辨率转换信息。
基于来自分辨率转换设备321C的分辨率转换信息，结构转换单元352将编码模式设置为场编码模式或者帧编码模式，并且基于该编码模式对来自画面重排缓冲器112的图片的（扫描格式的）结构进行转换。
也就是说，在来自画面重排缓冲器112的图片是帧（结构）的情况下，结构转换单元352基于编码模式将来自画面重排缓冲器112的用作图片的帧作为一个图片按照原样进行输出，或者将来自画面重排缓冲器112的用作图片的帧转换为上部场和下部场，并且将每个场作为一个图片输出。
此外，在来自画面重排缓冲器112的图片是场（结构）的情况下，结构转换单元352基于编码模式将来自画面重排缓冲器112的用作图片的场作为一个图片按照原样进行输出，或者将来自画面重排缓冲器112的用作图片的连贯的上部场和下部场转换为帧，并且将该帧作为一个图片进行输出。
此外，将从结构转换单元352输出的图片提供给计算单元113、画面内预测单元122和帧间预测单元123。
请注意：也以与图24中的编码器342相同的方式来配置图23中的编码器341。然而，请注意：对基本视图图像进行编码的编码器341不进行由帧间预测单元123进行的帧间预测中的视差预测，而只进行时间预测。因此，可以在不设置视差预测单元131的情况下来配置帧间预测单元123。
除了不进行视差预测外，对基本视图图像进行编码的编码器341执行与对非基本视图图像进行编码的编码器342相同的处理，因此，在下文中给出了对编码器342的描述，而适当地省略了对编码器341的描述。
[分辨率转换SEI]
图25是用于描述图24中的SEI生成单元351处生成的分辨率转换SEI的图。
也就是说，图25是例示用作分辨率转换SEI的3dv_view_resolution(payloadSize)（3dv_视图_分辨率(有效载荷大小)）的语法（语法）的示例的图。
用作分辨率转换SEI的3dv_view_resolution(payloadSize)具有参数：num_views_minus_1（数量_视图_减_1）、view_id[i]（视图_id[i]）、frame_packing_info[i]（帧_打包_信息[i]）、frame_field_coding（帧_场_编码）和view_id_in_frame[i]（视图_id_in_帧[i]）。
图26是用于描述在SEI生成单元351（图24）处给根据与分辨率转换多视点彩色图像相关的分辨率转换信息而生成的分辨率转换SEI的参数num_views_minus_1、view_id[i]、frame_packing_info[i]、frame_field_coding和view_id_in_frame[i]赋值的图。
参数num_views_minus_1表示通过构成分辨率转换多视点彩色图像的视点的数量减去1而获得的值。
根据本实施例，分辨率转换多视点彩色图像是两个视点的图像，分别是中间视点彩色图像和将左视点彩色图像与右视点彩色图像打包成相当于一个视点的图像的打包彩色图像，所以将参数num_views_minus_1=2-1=1赋值给num_views_minus_1。
参数view_id[i]指示标识构成分辨率转换多视点彩色图像的第i+1(i=0,1,…)个图像的索引。
也就是说，在这里假设左视点彩色图像是由No.0表示的视点#0（左视点）的图像，中间视点彩色图像是由No.1表示的视点#1（中间视点）的图像，右视点彩色图像是由No.2表示的视点#2（右视点）的图像。
此外，假设在分辨率转换设备321C处，针对构成了通过对中间视点彩色图像、左视点彩色图像和右视点彩色图像进行分辨率转换而获得的分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像，重新分配了表示视点的号码，使得例如给中间视点彩色图像分配了表示视点#1的No.1，而给打包彩色图像分配了表示视点#0的No.0。
另外，假设中间视点彩色图像是配置分辨率转换多视点彩色图像的第一图像（i=0的图像），而打包彩色图像是配置分辨率转换多视点彩色图像的第二图像（i=1的图像）。
在此情况下，作为配置分辨率转换多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像的参数view_id[0]被设置为表示中间视点彩色图像的视点#1的No.1（view_id[0]=1）。
此外，作为配置分辨率转换多视点彩色图像的第2（=i+1=1+1）图像的打包彩色图像的参数view_id[1]被设置为表示打包彩色图像的视点#0的No.0（view_id[1]=0）。
参数frame_packing_info[i]表示是否有构成分辨率转换多视点彩色图像的第i+1个图像的打包，以及打包的模式（打包模式）。
现在，值为0的frame_packing_info[i]指示没有打包。
此外，值为1的frame_packing_info[i]指示有打包。
值为1的参数frame_packing_info[i]指示交织打包，在交织打包中，两个视点的图像中的每一个的垂直分辨率被降低到1/2，并且分辨率被降低到1/2的左视点彩色图像和右视点彩色图像的行被交替排列，从而在相当于一个视点（数据量）的图像中打包。
根据本实施例，没有对作为配置分辨率转换多视点彩色图像的第1（=i+1=0+1）图像的中间视点彩色图像进行打包，所以给中间视点彩色图像的参数frame_packing_info[i]设定值0，指示没有打包。
此外，根据本实施例，通过交织打包对作为配置分辨率转换多视点彩色图像的第2（=i+1=1+1）个图像的打包彩色图像进行了打包，所以给打包彩色图像的参数frame_packing_info[i]设定值1，指示有交织打包（frame_packing_info[i]=1），即分辨率被降低到1/2的左视点彩色图像和右视点彩色图像的行被交替排列的打包模式。
现在，在图25中的分辨率转换SEI（3dv_view_resolution(payloadSize)）中，在循环for（i=0;<num_views_in_frame_1;i++）中的变量num_views_in_frame_1指示通过从配置分辨率转换多视点彩色图像的第i+1个图像中被打包的图像的数量（视点的数量）减去1而获得的值。
因此，在参数frame_packing_info[i]为0的情况下，没有对配置分辨率转换多视点彩色图像的第i+1个图像进行打包（在第i+1个图像中打包了一个视点的图像），所以变量num_views_in_frame_1被设定为0=1-1。
此外，在参数frame_packing_info[i]为1的情况下，配置分辨率转换多视点彩色图像的第i+1个图像具有在第i+1个图像中打包的两个视点的图像，所以变量num_views_in_frame_1被设定为1=2-1。
在图像的参数frame_packing_info[i]不为0（frame_packing_info[i]！=0）的情况下，即在配置分辨率转换多视点彩色图像的第i+1个图像被打包的情况下，传输与第i+1个图像相关的参数frame_field_coding，并且该参数frame_field_coding表示第i+1个图像的编码模式。
在参数frame_packing_info[i]是1的图像（第i+1个图像）的编码模式是帧编码模式的情况下，参数frame_field_coding被设定为例如表示帧编码模式的0；而在参数frame_packing_info[i]是1的图像的编码模式是场编码模式的情况下，参数frame_field_coding被设定为例如表示场编码模式的1。
此处，根据本实施例，参数frame_packing_info[i]不是0的图像是参数frame_packing_info[i]是1的图像，并且被交织打包。
另一方面，结构转换单元352基于分辨率转换信息识别在分辨率转换多视点彩色图像中是否包括经过交织打包的打包彩色图像。
在分辨率转换多视点彩色图像中包括经过交织打包的打包彩色图像的情况下，结构转换单元352将编码模式设置为例如场编码模式；而在分辨率转换多视点彩色图像中不包括经过交织打包的打包彩色图像的情况下，结构转换单元352将编码模式设置为例如帧编码模式或者场编码模式。
因此，在分辨率转换多视点彩色图像中包括经过交织打包的打包彩色图像的情况下，结构转换单元352总是设置为场编码模式，所以给经过交织打包的打包彩色图像总是设定为表示场编码模式的1，即给只针对参数frame_packing_info[i]是1的图像传输的参数frame_field_coding总是设定为表示场编码模式的1。
因此，根据本实施例，总是将只针对参数frame_packing_info[i]是1的图像传输的参数frame_field_coding设定为表示场编码模式的1。因此，可以根据参数frame_packing_info[i]唯一地识别出参数frame_field_coding，并且因此参数frame_packing_info[i]可以取代参数frame_field_coding，从而不需要在作为分辨率转换SEI的3dv_view_resolution(payloadSize)中包括参数frame_field_coding。
请注意：在分辨率转换多视点彩色图像中包括经过交织打包的打包彩色图像的情况下，可以采用帧编码模式而不是采用场编码模式作为对打包彩色图像进行编码的编码模式。
也就是说，对打包彩色图像进行编码的编码模式可以例如以图片为单位在场编码模式与帧编码模式之间切换。在此情况下，根据编码模式将表示场编码模式的1或者表示帧编码模式的0设定到参数frame_field_coding。
参数view_id_in_frame[i]表示标识在打包彩色图像中打包的图像的索引。
现在，参数view_id_in_frame[i]的变元i与其它参数view_id[i]和frame_packing_info[i]的变元i不同，所以为了便于描述将参数view_id_in_frame[i]的变元i表示成j，并且因此将参数view_id_in_frame[i]表示成view_id_in_frame[j]。
与传输参数frame_field_coding方式相同，只针对参数frame_packing_info[i]不为0的配置了分辨率转换多视点彩色图像的图像，即只针对打包彩色图像来传输参数view_id_in_frame[j]。
在打包彩色图像的参数frame_packing_info[i]为1的情况下，即在打包彩色图像是经过两个视点的图像的行交替排列的交织打包的图像的情况下，变元j=0的参数view_id_in_frame[i]表示：标识打包彩色图像中的经过交织打包的图像中的其各行位于奇数行（上部场行）的图像的索引。而变元j=1的参数view_id_in_frame[i]表示：标识在打包彩色图像中的经过交织打包的图像中的其各行位于偶数行（下部场行）的图像的索引。
根据本实施例，打包彩色图像是进行了这样的交织打包的图像：在该交织打包中，分别将左视点彩色图像（的奇数行）排列在打包彩色图像的上部场中，而将右视点彩色图像的（偶数行）排列在打包彩色图像的下部场中，所以将表示左视点彩色图像的视点#0的No.0设定到在打包彩色图像中经过交织打包的图像中的表示标识其行被设定到上部场的图像的索引的变元j=0的参数view_id_in_frame[0]，并且将表示右视点彩色图像的视点#2的No.2设定到表示标识其行被设定到下部场的图像的索引的变元j=1的参数view_id_in_frame[1]。
图27是用于描述在图24的视差预测单元131处进行的对打包彩色图像的图片（场）的视差预测的图。
如图26中所示，在编码器342（图24）处，在分辨率转换多视点彩色图像中包括经过交织打包的打包彩色图像的情况下，结构转换单元352将编码模式设置为场编码模式。
在将编码模式设置为场编码模式的情况下，当从画面重排缓冲器112给结构转换单元352提供作为打包彩色图像的图片的帧时，结构转换单元352将该帧转换为上部场和下部场，并且将每个场作为图片提供给计算单元113、画面内预测单元122和帧间预测单元123。
在此情况下，编码器342以当前图片的顺序，对作为打包彩色图像的图片的场（上部场、下部场）进行处理。
因此，在帧间预测单元123（图24）的视差预测单元131处，使用在DPB43中存储的解码中间视点彩色图像的图片（与当前图片同一时间点的图片）作为参考图像来对作为打包彩色图像的图片的场（的当前块）进行视差预测。
现在，根据本实施例，如参照图23所述，在编码器341和编码器342之一的编码模式被设置为场编码模式的情况下，将另一个编码器的编码模式也设置为场编码模式。
因此，在编码器342处将编码模式设定为场编码模式的情况下，在编码器341处也将编码模式设定为场编码模式。则在编码器341处以与编码器342相同的方式，将作为基本视图图像的中间视点图像的帧转换为场（上部场和下部场），并且将这些场作为图片进行编码。
因此，在编码器341处，对作为解码中间视点彩色图像的图片的场进行编码和局部解码，并且将作为结果而获得的作为解码中间视点彩色图像的图片的场提供给DPB43并进行存储。
然后，在视差预测单元131处，使用在DPB43中存储的用作解码中间视点彩色图像的图片的场作为参考图像，对来自结构转换单元352的用作打包彩色图像的当前图片的场（的当前块）进行视差预测。
也就是说，使用编码器342（图24），在结构转换单元352处将待编码的打包彩色图像的帧转换为由左视点彩色图像的帧的奇数行（左视点行）所配置的上部场和由右视点彩色图像的帧的偶数行（右视点行）所配置的下部场，并且进行处理。
另一方面，以与使用编码器342相同的方式使用编码器341，将待编码的中间视点彩色图像的帧转换为由该帧的奇数行配置的上部场和由偶数行配置的下部场，并且进行处理。
在DPB43处，将通过在编码器341的处理而获得的解码中间视点彩色图像的场（上部场和下部场）作为待用作视差预测的参考图像的图片进行存储。
因此，在视差预测单元131处，使用在DPB43中存储的解码中间视点彩色图像的场作为参考图像，对用作打包彩色图像的当前图片的场进行视差预测。
也就是说，使用在DPB43中存储的解码中间视点彩色图像（与当前图片同一时间点处）的上部场作为参考图像来对用作打包彩色图像的当前图片的上部场进行视差预测。此外，使用在DPB43中存储的解码中间视点彩色图像（与当前图片同一时间点处）的下部场作为参考图像来对用作打包彩色图像的当前图片的下部场进行视差预测。
因此，用作当前图片的打包彩色图像的场的分辨率比、与用作在视差预测单元131处的视差预测中生成打包彩色图像的预测图像时参考的参考图像的图片的解码中间视点彩色图像的场的分辨率比一致（匹配）。
也就是说，构成待编码的打包彩色图像的上部场和下部场的左视点彩色图像和右视点彩色图像中的每一个的垂直分辨率是原来的分辨率的1/2，因此，形成打包彩色图像的上部场和下部场的左视点彩色图像和右视点彩色图像的分辨率比均是2:1。
另一方面，参考图像是解码中间视点彩色图的场（上部场和下部场），并且分辨率比是2:1，与构成打包彩色图像的上部场和下部场的左视点彩色图像和右视点彩色图像的分辨率比2:1匹配。
如上所述，用作打包彩色图像的当前图片的场（上部场和下部场）的分辨率比和中间视点彩色图像的场的分辨率比一致，所以可以提高视差预测的预测精度（视差预测中生成的预测图像与当前块之间的残差变小），并且可以提高编码效率。
因此，可以防止由于从上述多视点彩色图像（和多视点深度图像）减少基带数据量的分辨率转换而使得在接收设备12处获得的解码图像的图像质量劣化。
[打包彩色图像的编码处理]
图28是用于描述图24中的编码器342对打包彩色图像进行编码的编码处理的流程图。
在步骤S101中，A/D转换单元111对给其提供的用做打包彩色图像的图片的帧的模拟信号进行A/D转换，提供给画面重排缓冲器112，流程前进到步骤S102。
在步骤S102中，画面重排缓冲器112临时地存储来自A/D转换单元111的用作打包彩色图像的图片的帧，并且通过根据预定的GOP结构读取图片来进行将图片的顺序从显示顺序重排成编码顺序（解码顺序）的重排。
将从画面重排缓冲器112读取出的用作图片的帧提供给结构转换单元352，流程从步骤S102前进到步骤S103。
在步骤S103中，SEI生成单元351根据从分辨率转换设备321C（图18）提供的分辨率转换信息，生成参照图25和图26所描述的分辨率转换SEI，提供给可变长度编码单元116，流程前进到步骤S104。
在步骤S104中，结构转换单元352基于从分辨率转换设备321C（图18）提供的分辨率转换信息，将编码模式设置为场编码模式。
另外，根据编码模式被设置为场编码模式，结构转换单元352将来自画面重排缓冲器112的用作打包彩色图像的图片的帧转换为上部场和下部场两个场，提供给计算单元113、画面内预测单元122以及帧间预测单元123的视差预测单元131和时间预测单元132，流程从步骤S104前进到S105。
在步骤S105中，计算单元113将来自结构转换单元352的用作打包彩色图像的图片的场当作是待编码的当前图片，进一步地，顺序地将配置当前图片的宏块当作要编码的当前块。
然后，计算单元133按照需要计算当前块的像素值与从预测图像选择单元124提供的预测图像的像素值之间的差，提供给正交变换单元114，流程从步骤S105前进到步骤S106。
在步骤S106中，正交变换单元114使来自计算单元113的当前块经过正交变换，将作为结果获得的变换系数提供给量化单元115，流程前进到步骤S107。
在步骤S107中，量化单元115对从正交变换单元114提供的变换系数进行量化，将作为结果获得的量化值提供给逆量化单元118和可变长度编码单元116，流程前进到S108。
在步骤S108中，逆量化单元118将来自量化单元115的量化值逆量化为变换系数，提供给逆正交变换单元119，流程前进到步骤S109。
在步骤S109中，逆正交变换单元119对来自逆量化单元118的变换系数进行逆正交变换，提供给计算单元120，流程前进到步骤S110。
在步骤S110中，计算单元120按照需要将从预测图像选择单元124提供的预测图像的像素值加到从逆正交变换单元119提供的数据，由此获得当前块已被解码（局部解码）的解码打包彩色图像。然后，计算单元120将当前块已被局部解码的解码打包彩色图像提供给解块滤波器121，流程从步骤S110前进到步骤S111。
在步骤S111中，解块滤波器121对来自计算单元120的解码打包彩色图像进行滤波，提供给DPB43，流程前进到步骤S112。
在步骤S112中，DPB43从对中间视点彩色图像进行编码的编码器341（图23）等候通过对中间视点彩色图像进行编码和局部解码获得的解码中间视点彩色图像，存储该解码中间视点彩色图像，流程前进到步骤S113。
如上所述，除了不进行视差预测外，编码器341进行与编码器342相同的编码处理，即，以将中间视点彩色图像的场当作图片的场编码模式进行编码。因此，在DPB43中存储了解码中间视点彩色图像的场。
在步骤S113中，DPB43存储来自解块滤波器121的解码打包彩色图像的场，流程前进到步骤S114。
在步骤S114中，画面内预测单元122进行下一个当前块的帧内预测处理（画面内预测处理）。
也就是说，画面内预测单元122进行帧内预测处理（画面内预测处理），以根据在DPB43中存储的解码打包彩色图像的图片的场来生成下一个当前块的预测图像（帧内预测的预测图像）。
然后，画面内预测单元122使用帧内预测的预测图像来获得对下一个当前块进行编码的编码成本，将其连同报头信息（用作报头信息的与帧内预测相关的信息）和帧内预测的预测图像提供给预测图像选择单元124，流程从步骤S114前进到步骤S115。
在步骤S115中，时间预测单元132将用作解码打包彩色图像的图片的场作为参考图像，针对下一个当前块进行时间预测处理。
也就是说，时间预测单元132使用在DPB43中存储的用作解码打包彩色图像的图片的场来针对下一个当前块进行时间预测，由此针对具有不同宏块类型等的每个帧间预测模式来获得预测图像、编码成本等。
另外，时间预测单元132将编码成本最小的帧间预测模式作为最佳帧间预测模式，将该最佳预测模式的预测图像连同报头信息（用作报头信息的与帧内预测相关的信息）和编码成本提供给预测图像选择单元124，流程从步骤S115前进到步骤S116。
在步骤S116中，视差预测单元131将用作解码打包彩色图像的图片的场作为参考图像，对下一个当前块进行视差预测处理。
也就是说，视差预测单元131使用在DPB43中存储的用作解码中间视点彩色图像的图片的场来针对下一个当前块进行视差预测，由此针对其宏块类型等不同的每个帧间预测模式来获得预测图像、编码成本等。
另外，视差预测单元131将编码成本最小的帧间预测模式作为最佳帧间预测模式，将该最佳预测模式的预测图像连同报头信息（用作报头信息的与帧间预测相关的信息）和编码成本提供给预测图像选择单元124，流程从步骤S116前进到步骤S117。
在步骤S117中，预测图像选择单元124从来自画面内预测单元122的预测图像（帧内预测的预测图像）、来自时间预测单元132的预测图像（时间预测图像）和来自视差预测单元131的预测图像（视差预测图像）中选择例如编码成本最小的预测图像，将其提供给计算单元113和计算单元220，流程前进到步骤S118。
现在，将在步骤S117中由预测图像选择单元124选择的预测图像用于步骤S105和S110的处理中，以对下一个当前块进行编码。
此外，预测图像选择单元124从提供自画面内预测单元122、时间预测单元132和视差预测单元131的报头信息中，选择与编码成本最小的预测图像一起提供的报头信息，并且提供给可变长度编码单元116。
在步骤S118中，可变长度编码单元116使来自量化单元115的量化值经过可变长度编码，并且获得编码数据。
另外，可变长度编码单元116将来自预测图像选择单元124的报头信息和来自SEI生成单元351的分辨率转换SEI包含在编码数据的报头中。
然后，可变长度编码单元116将编码数据提供给存储缓冲器117，流程从步骤S118前进到步骤S119。
在步骤S119中，存储缓冲器117临时地存储来自可变长度编码单元116的编码数据。
将在存储缓冲器117处存储的编码数据以预定的传输速率提供（传输）给多路复用设备23（图18）。
在编码器342处适当地重复执行上述步骤S101到步骤S119的处理。
图29是用于描述在图28中的步骤S116中由视差预测单元131（图13）进行的视差预测处理的流程图。
在步骤S131中，在视差预测单元131（图13）处，视差检测单元141和视差补偿单元142接收来自DPB43的用作解码中间视点彩色图像的图片的场作为参考图像，流程前进到步骤S132。
在步骤S132中，视差检测单元141通过使用从结构转换单元352（图24）提供的打包彩色图像的当前块和来自DPB43的用作参考图像的解码中间视点彩色图像的场进行ME，由此针对每个宏块类型检测表示当前块相对于转换的参考图像的移位的视差矢量mv，提供给视差补偿单元142，流程前进到步骤S133。
在步骤S133中，视差补偿单元142使用来自视差检测单元141的当前块的视差矢量mv，对来自DPB43的用作参考图像的解码中间视点彩色图像的场进行视差补偿，由此针对每个宏块类型生成当前块的预测图像，流程前进到步骤S134。
也就是说，视差补偿单元142获得这样的对应块作为预测图像：该对应块是用作参考图像的解码中间视点彩色图像的场中的被从当前块的位置移位了相当于视差矢量mv的量的块（区域）。
在步骤S134中，视差补偿单元142按照需要使用当前块周围的已经被编码的宏块的视差矢量等，由此获得当前块的视差矢量mv的预测矢量PMV。
另外，视差补偿单元142获得这样的残差矢量：该残差矢量是当前块的视差矢量mv与预测矢量PMV之间的差。
然后，视差补偿单元142将诸如宏块类型的每个预测模式的当前块的预测图像与预测模式连同当前块的残差矢量和分配给用于生成预测图像的参考图像（解码中间视点彩色图像的场）的参考索引进行关联，并且提供给预测信息缓冲器143和成本函数计算单元144，流程从步骤S134前进到步骤S135。
在步骤S135中，预测信息缓冲器143将来自视差补偿单元142的与预测模型关联的预测图像、残差矢量和参考索引作为预测信息进行临时地存储，流程前进到步骤S136。
在步骤S136中，成本函数计算单元144针对用作预测模式的每个宏块类型，通过计算成本函数来获得对来自结构转换单元352（图24）的当前图像的当前块进行编码所需的编码成本（成本函数值），将其提供给模式选择单元145，流程前进到步骤S137。
在步骤S137中，模式选择单元145从来自成本计算单元144的每个预测模式的编码成本中检测作为最小值的最小成本。
另外，模式选择单元145选择已经获得最小成本的预测模式作为最佳帧间预测模式。
然后，流程从步骤S137前进到步骤S138，在步骤S138中，模式选择单元145从预测信息缓冲器143中读取出与作为最佳帧间预测模式的预测模式关联的预测图像、残差矢量和参考索引，作为预测信息提供给预测图像选择单元124，该处理返回。
[解码设备332C的配置示例]
图30是例示图19中的解码设备332C的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图14中的情况对应的部分，并且在下文中将适当地省略描述。
在图30中，解码设备332C具有解码器411和解码器412，以及DPB213。
因此，图30中的解码设备332C在共享DPB213方面与图14中的解码设备32C相同，但是与图14中的解码设备32C不同之处在于设置了解码器411和解码器412替代解码器211和解码器212。
从逆多路复用设备31（图19）给解码器411提供多视点彩色图像编码数据中的作为基本视图图像的中间视点彩色图像的编码数据。
解码器411以扩展格式对提供给其的中间视点彩色图像的编码数据进行解码，并且输出作为结果获得的中间视点彩色图像。
从逆多路复用设备31（图19）给解码器412提供多视点彩色图像编码数据中的作为非基本视图图像的打包彩色图像的编码数据。
解码器412以扩展格式对提供给其的打包彩色图像的编码数据进行解码，并且输出作为结果获得的打包彩色图像。
然后，将解码器411输出的中间视点彩色图像和解码器412输出的打包彩色图像作为分辨率转换多视点彩色图像提供给分辨率逆转换设备333C（图19）。
此外，解码器411和解码器412均对在图23中的编码器341和编码器342处经过了预测编码的图像进行解码。
为了对经过预测编码的图像进行解码，需要用于预测编码的预测图像，所以解码器411和解码器412对待解码图像进行解码，之后临时地将待用于生成预测图像的解码图像存储在DPB213中，以生成在预测编码中使用的预测图像。
DPB213由解码器411和解码器412共享，并且临时地存储在解码器411和解码器412中的每个解码器处获得的解码之后的图像（解码图像）。
解码器411和解码器412中的每个解码器从在DPB213中存储的解码图像中选择对待解码图像进行解码所参考的参考图像，并且使用该参考图像生成预测图像。
因为DPB213在解码器411和解码器412之间共享，所以解码器411和解码器412均可以除了参考从其自身获得的解码图像之外，还可以参考在另一个解码器处获得的解码图像。
然而请注意：解码器411对基本视图图像进行解码，所以只参考在解码器411处获得的解码图像（不进行视差预测）。
[解码器412的配置示例]
图31是例示图30中的解码器412的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图15和图16对应的部分，并且在下文中适当地省略了对应部分的描述。
在图31中，解码器412具有存储缓冲器241、可变长度解码单元242、逆量化单元243、逆正交变换单元244、计算单元245、解块滤波器246、画面重排缓冲器247、D/A转换单元248、画面内预测单元249、帧间预测单元250、预测图像选择单元251和结构逆转换单元451。
因此，图31中的解码器412与图15中的解码器212在具有存储缓冲器241至预测图像选择单元251方面是相同的。
然而，图31中的解码器412与图15中的解码器的不同之处在于新设置了结构逆转换单元451。
使用图31中的解码器412，可变长度解码单元242从存储缓冲器241接收包括分辨率转换SEI的打包彩色图像的编码数据，并且将在编码数据中包括的分辨率转换SEI作为分辨率转换信息提供给分辨率逆转换设备333C（图19）。
此外，可变长度解码单元242将分辨率转换SEI提供给结构逆转换单元451。
结构逆转换单元451被设置在解块滤波器246的输出侧，因此从可变长度解码单元242给结构逆转换单元451提供分辨率转换SEI，此外，从解块滤波器246给结构逆转换单元451提供滤波之后的解码图像（解码打包彩色图像）。
结构逆转换单元451基于来自解块滤波器246的分辨率转换SEI，对来自解块滤波器246的解码打包彩色图像进行这样的逆转换：该逆转换是对在图24中的结构转换单元352处进行的转换的逆。
根据本实施例，图24中的结构转换单元352已将打包彩色图像的帧转换为打包彩色图像的场（上部场和下部场），因此，从解块滤波器246将场作为解码打包彩色图像的图片提供给结构逆转换单元451。
当从解块滤波器246提供了配置解码打包彩色图像的帧的上部场和下部场时，结构逆转换单元451将上部场和下部场的行交替地排列，由此（重新）建立帧，并提供给画面重排缓冲器247。
请注意：同样与图31中的解码器相同的方式配置图30中的解码器411。然而请注意：使用对基本视图图像进行解码的解码器411，在帧间预测中不进行视差预测，而只进行时间预测。因此，可以在不设置进行视差预测的视差预测单元261的情况下来配置解码器411。
除了不进行视差预测外，对基本视图图像进行解码的解码器411进行与对非基本视图图像进行解码的解码器412相同的处理，所以在下文中将描述解码器412，而适当地省略对解码器411的描述。
[打包彩色图像的解码处理]
图32是用于描述图31中的解码器412对打包彩色图像的编码数据进行解码的解码处理的流程图。
在步骤S201中，存储缓冲器241对提供给其的打包彩色图像的编码数据进行存储，流程前进到步骤S202。
在步骤S202中，可变长度编码单元242读取出在存储缓冲器241中存储的编码数据并对其进行可变长度解码，由此恢复量化值、预测模式相关信息和分辨率转换SEI。然后，可变长度解码单元242分别将量化值提供给逆量化单元243；将预测模式相关信息提供给画面内预测单元249和帧间预测单元250中的参考索引处理单元260、视差预测单元261和时间预测单元262；并且将分辨率转换SEI提供给结构逆转换单元451和分辨率逆转换设备333C（图19），流程前进到步骤S203。
在步骤S203中，逆量化单元243将来自可变长度解码单元242的量化值逆量化为变换系数，提供给逆正交变换单元244，流程前进到步骤S204。
在步骤S204中，逆正交变换单元244对来自逆量化单元243的变换系数进行逆正交变换，以宏块为单位提供给计算单元245，流程前进到步骤S205。
在步骤S205中，计算单元245将来自逆正交变换单元244的宏块当作待解码的当前块（残差图像），并且按照需要将从预测图像选择单元251提供的预测图像加到当前块，由此获得解码图像。然后计算单元245将解码图像提供给解块滤波器246，流程从步骤S205前进到步骤S206。
在步骤S206中，解块滤波器246对来自计算单元245的解码图像进行滤波，将滤波后的解码图像（解码打包彩色图像）提供给DPB213和结构逆转换单元451，流程前进到步骤S207。
在步骤S207中，DPB213等待要从对中间视点彩色图像进行解码的解码器411提供的解码中间视点彩色图像，存储该解码中间视点彩色图像，流程前进到步骤S208。
在步骤S208中，DPB213存储来自解块滤波器246的解码打包彩色图像，流程前进到步骤S209。
现在，通过图23的编码器211，中间视点彩色图像的场被作为当前图片进行编码，而通过编码器212，打包彩色图像的场被作为当前图片进行编码。
因此，在对中间视点彩色图像的编码数据进行解码的解码器411处，中间视点彩色图像的场被作为当前图片进行解码。以相同的方式，在对打包彩色图像的编码数据进行解码的解码器412处，打包彩色图像的场被作为当前图片进行解码。
因此，DPB213以场（结构）在其中存储了解码中间视点彩色图像和解码打包彩色图像。
在步骤S209中，画面内预测单元249和（时间预测单元261与视差预测单元262构成的）帧间预测单元250基于从可变长度解码单元242提供的预测模式相关信息，确定生成预测图像所使用的帧内预测（画面内预测）和帧间预测中哪一个预测用于了对下一个当前块（下一个被解码的宏块）进行编码。
然后，在步骤S209中确定使用以画面内预测生成的预测图像对下一个当前块进行了编码的情况下，流程前进到步骤S210，并且画面内预测单元249进行帧内预测处理（画面内预测处理）。
也就是说，画面内预测单元249针对下一个当前块进行帧内预测（画面内预测），以根据在DPB213中存储的解码打包彩色图像生成预测图像（帧内预测的预测图像），将该预测图像提供给预测图像选择单元251，流程从步骤S210前进到步骤S215。
此外，在步骤S209中确定使用以帧间预测生成的预测图像对下一个当前块进行了编码的情况下，流程前进到步骤S211，在步骤S211中，参考索引处理单元260从DPB213中读出已给其分配了在来自可变长度编码单元242的预测模式相关信息中包含的用于预测的参考索引（匹配的参考索引）的用作解码中间视点彩色图像的图片的场，或者读取出解码打包彩色图像的图片，以被选择为参考图像，流程前进到步骤S212。
在步骤S212中，参考索引处理单元260基于从可变长度编码单元242提供的预测模式相关信息中包含的用于预测的参考索引，确定生成预测图像使用的作为帧内预测的格式的时间预测和视差预测中的哪一个预测用于了对下一个当前块进行编码。
在步骤S212中确定使用由时间预测生成的预测图像来对下一个当前块进行了编码的情况下，即在针对来自可变长度解码单元242的（下一个）当前块分配了用于预测的参考索引的图片是解码打包彩色图像的图片，且在步骤S211中将该解码打包彩色图像的图片选择为参考图像的情况下，参考索引处理单元260将该解码打包彩色图像的图片提供给时间预测单元262作为参考图像，流程前进到步骤S213。
在步骤S213中，时间预测单元262进行时间预测处理。
也就是说，针对下一个当前块，时间预测单元262使用来自可变长度解码单元242的预测模式相关信息，对来自参考索引处理单元260的用作参考图像的解码打包彩色图像的图片进行运动补偿，由此生成预测图像，将该预测图像提供给预测图像选择单元251，处理从步骤S213前进到步骤S215。
此外，在步骤S212中确定使用由视差预测生成的预测图像来对下一个当前块进行了编码的情况下，即在针对来自可变长度解码单元242的（下一个）当前块分配了用于预测的参考索引的图片是用作解码中间视点彩色图像的图片的场，且在步骤S211中将该用作解码中间视点彩色图像的图片的场选择为参考图像的情况下，参考索引处理单元260将该用作解码中间视点彩色图像的图片的场提供给视差预测单元261作为参考图像，流程前进到步骤S214。
在步骤S214中，视差预测单元261进行视差预测处理。
也就是说，针对下一个当前块，视差预测单元261使用来自可变长度解码单元242的预测模式相关信息，对用作参考图像的用作解码中间视点彩色图像的图片的场进行视差补偿，将其预测信息提供给预测图像选择单元251，处理从步骤S214前进到步骤S215。
在步骤S215中，预测图像选择单元251从提供预测图像的画面内预测单元249、时间预测单元262和视差预测单元261之一选择预测图像，提供给计算单元245，流程前进到步骤S216。
现在，在步骤S215中由预测图像选择单元251选择的预测图像被用于对下一个当前块进行解码的步骤205中的处理。
在步骤S216中，在从解块滤波器246已经给结构逆转换单元451提供了配置帧的解码打包彩色图像的上部场和下部场的解码打包彩色图像的情况下，结构逆转换单元451基于来自可变长度解码单元242的分辨率转换SEI，将上部场和下部场逆转换为帧，提供给画面重排缓冲器247，流程前进到步骤S217。
在步骤S217中，画面重排缓冲器247临时地存储来自结构逆转换单元451的用作解码打包彩色图像的图片的帧并且进行读取，由此将图片的顺序重排成原始顺序，提供给D/A转换单元248，流程前进到步骤S218。
在步骤S218中，在需要从画面重排缓冲器247将图片输出为模拟信号的情况下，D/A转换单元248对图片进行D/A转换并且输出。
在解码器412处，重复地进行以上步骤S201至步骤S218的处理。
图33是用于描述视差预测单元261（图17）在图32中的步骤S214中进行的视差预测处理的流程图。
在步骤S231中，在视差预测单元261（图17）处，视差补偿单元272从参考索引处理单元260接收用作参考图像的用作解码中间视点彩色图像的图片的场，流程前进到步骤S232。
在步骤S232中，视差补偿单元272从可变长度解码单元242接收在预测模式相关信息中包括的（下一个）当前块的残差矢量，流程前进到步骤S233。
在步骤S233中，视差补偿单元272使用当前块周围的已被解码的宏块的视差矢量等来获得当前块针对在来自可变长度解码单元242的预测模式相关信息中包括的预测模式（最佳帧间预测模式）所指示的宏块类型的预测矢量。
另外，视差补偿单元272将当前块的预测矢量与来自可变长度解码单元的残差矢量相加，由此恢复当前块的视差矢量mv，流程从步骤S233前进到步骤S234。
在步骤S234中，视差补偿单元272使用打包彩色图像的当前块的视差矢量mv，通过对来自参考索引处理单元260的用作参考图像的用作解码中间视点彩色图像的图片的场进行视差补偿，来生成当前块的预测图像，提供给预测图像选择单元251，流程返回。
[编码设备322C的其它配置示例]
图34是例示图18中的编码设备322C的另一个配置示例的框图。
请注意：使用相同的附图标记表示与图23中的情况对应的部分，并且在下文中适当地省略了描述。
在图34中，编码设备322C具有编码器541和编码器542，以及DPB43。
因此，图34中的编码设备322C在具有DPB43方面与图23中的情况相同，而与图23中的编码设备322C不同之处在于由编码器541和编码器542替代了编码器341和编码器342。
现在，在打包彩色图像的分辨率比与中间视点彩色图像的分辨率比不匹配的情况下，不仅在使用中间视点彩色图像作为参考图像对作为编码对象的打包彩色图像进行视差预测的情况下会降低视差预测的视差精度（视差预测中生成的预测图像与当前块之间的残差变大）并且编码效率变差，此外在使用打包彩色图像作为参考图像对作为编码对象的中间视点彩色图像进行视差预测的情况下也会降低视差预测的视差精度并且编码效率变差。
虽然图23例示将中间视点彩色图像作为基本视图图像进行编码且将打包彩色图像作为非基本视图图像进行编码，但是图34例示在对基本视图图像进行编码的编码器541处将打包彩色图像作为基本视图图像进行编码，且在对非基本视图图像进行编码的编码器542处将中间视点彩色图像作为非基本视图图像进行编码。
也就是说，从分辨率转换设备321C给编码器541提供构成分辨率转换多视点彩色图像的多视点彩色图像和打包彩色图像中的打包彩色图像（的帧）。
从分辨率转换设备321C给编码器542提供构成分辨率转换多视点彩色图像的中间点彩色图像和打包彩色图像中的中间视点彩色图像（的帧）。
另外，从分辨率转换单元321C给编码器541和编码器542提供分辨率转换信息。
编码器541对给其提供的作为基本视图图像的打包彩色图像进行与图23中的编码器341相同的编码，并且输出作为结果获得的打包彩色图像的编码数据。
编码器542对给其提供的作为非基本视图图像的中间视点彩色图像进行与图23中的编码器342相同的编码，并且输出作为结果获得的中间视点彩色图像的编码数据。
现在，除了编码的对象不是中间视点彩色图像而是打包彩色图像外，编码器541执行与图23中的编码器341相同的处理。除了编码的对象不是打包彩色图像而是中间视点彩色图像外，编码器542执行与图23中的编码器342相同的处理。
因此，在编码器541和编码器542处，以与图23中的编码器341和编码器342相同的方式，将编码模式设置为场编码模式或者帧编码模式，该编码模式的设置是基于来自分辨率转换设备321C的分辨率转换信息而进行的。
将编码器541输出的打包彩色图像的编码数据和编码器542输出的中间视点彩色图像的编码数据作为多视点彩色图像编码数据提供给多路复用设备23（图18）。
请注意：与图23中的编码器341和编码器342类似地，编码器541和编码器542以与使用MVC相同的方式对待编码图像进行预测编码，从而生成待用于对其预测编码的预测图像，对待编码图像进行编码并且之后进行局部解码，并获得解码图像。
DPB43是在编码器541和编码器542之间共享的，并且临时地存储了在编码器541和编码器542中的每个编码器处获得的解码图像。
编码器541和编码器542均从在DPB43中存储的解码图像中选择对待编码图像进行编码时参考的参考图像。编码器541和编码器542均使用参考图像来生成预测图像，并且使用预测图像对图像进行编码（预测编码）。
因此，编码器541和编码器542均不仅可以参考在其自身处获得的解码图像，此外可以参考在另一个编码器处获得的解码图像。
然而请注意：如上所述编码器541对基本视图图像进行编码，因此只参考在编码器541处获得的解码图像。
[编码器542的配置示例]
图35是例示图34中的编码器542的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图24中对应的部分，并且在下文中适当地省略了描述。
在图35中，编码器542具有A/D转换单元111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、解块滤波器121、画面内预测单元122、帧间预测单元123、预测图像选择单元124、SEI生成单元351以及结构转换单元352。
因此，与图24中的编码器342相同的方式配置编码器542。
然而，编码器542与图24中的编码器342的不同之处在于编码的对象是中间视点彩色图像而不是打包彩色图像。
因此，在编码器542处，由视差预测单元131使用作为其它视点的图像的打包彩色图像作为参考图像，对作为编码对象的中间视点彩色图像进行视差预测。
也就是说，在图35中，DPB43存储从解块滤波器121提供的在编码器542处被编码且被局部解码的用作非基本视图图像的解码中间视点彩色图像，并且还存储了从编码器541提供的在编码器541处被编码且被局部解码的用作基本视图图像的解码打包彩色图像。
然后，视差预测单元131使用在DPB43中存储的解码打包彩色图像作为参考图像，对作为编码对象的中间视点彩色图像进行视差预测。
请注意：与图35中的编码器542相同的方式配置图34中的编码器541。然而请注意：对基本视图图像进行编码的编码器541在帧间预测中不进行视差预测，而只进行时间预测。因此，可以在不设置进行视差预测的视差预测单元131的情况下来配置编码器541。
除了不进行视差预测外，对基本视图图像进行编码的编码器541与对非基本视图图像进行编码的编码器542进行相同的处理，所以在下文中，将描述编码器542，而适当地省略对编码器541的描述。
图36是用于描述在图35中的视差预测单元131处进行的对中间视点彩色图像的图片（场）进行视差预测的图。
如图36所示，在分辨率转换多视点彩色图像中包括经过交织打包的打包彩色图像的情况下，编码器542（图35）的结构转换单元352将编码模式设置为场编码模式。
在将编码模式设置为场编码模式的情况下，当从画面重排缓冲器112给结构转换单元352提供用作图片的帧时，结构转换单元352将该帧转换为上部场和下部场，并且将每个场作为图片提供给计算单元113、画面内预测单元122和帧间预测单元123。
也就是说，在编码器542处（图35），由画面重排缓冲器112给结构转换单元352提供了用作待编码的中间视点彩色图像的图片的帧。
结构转换单元352将来自画面重排缓冲器112的用作中间视点彩色图像的图片的帧转换为上部场和下部场，并且将每个场作为图片提供给计算单元113、画面内预测单元122和帧间预测单元123。
在此情况下，在编码器542处，将用作中间视点彩色图像的图片的场（上部场和下部场）作为当前图片顺序地进行处理。
因此，在帧间预测单元123（图35）的视差预测单元131处，使用在DPB43中存储的解码打包彩色图像的图片（与当前块相同时间点的图片）作为参考图像来对用作为中间视点彩色图像的图片的场（的当前块）进行视差预测。
现在，以与编码器341和编码器342（图23）相同的方式，在编码器541与编码器542中的一个编码器的编码模式设置为场编码模式的情况下，将另一个编码器的编码模式也设置为场编码模式。
因此，在编码器542处将编码模式设置为场编码模式的情况下，在编码器541处也将编码模式设置为场编码模式。在编码器541处，将作为基本视图图像的打包彩色图像的帧转换为场（上部场和下部场），并且将这些场作为图片进行编码。
因此，在编码器541处对用作解码打包彩色图像的图片的场进行编码和局部解码，并且将由此获得的作为解码打包彩色图像的图片的场提供给DPB43并且进行存储。
然后，在视差预测单元131处，使用在DPB43中存储的作为解码打包彩色图像的图片的场作为参考图像，对来自结构转换单元352的用作中间视点彩色图像的当前图片的场（的当前块）进行视差预测。
也就是说，在编码器542（图35）处，结构转换单元352将待编码的中间视点彩色图像的帧转换为由该帧的奇数行配置的上部场和由偶数行配置的下部场，并且进行处理。
另一方面，以与编码器542相同的方式，在编码器541处也是将待编码的打包彩色图像的帧转换为由左视点彩色图像的帧的奇数行（左视点行）配置的上部场和由右视点彩色图像的帧的偶数行（右视点行）配置的下部场，并且进行处理。
然后，DPB43将通过在编码器541处的处理获得的解码打包彩色图像的场（上部场、下部场）作为用于视差预测的参考图像的图片进行存储。
因此，在视差预测单元131处，使用在DPB43中存储的解码打包彩色图像的场作为参考图像对用作中间视点彩色图像的当前图片的场进行视差预测。
也就是说，使用在DPB43中存储的解码打包彩色图像的上部场（与当前图片同一时间点处的场）作为参考图像对用作中间视点彩色图像的当前图片的上部场进行视差预测。此外，使用在DPB43中存储的解码打包彩色图像的下部场（与当前图片同一时间点处的场）作为参考图像对用作中间视点彩色图像的当前图片的下部场进行视差预测。
因此，用作当前图片的中间视点彩色图像的场的分辨率比与用作在视差预测单元131处生成打包彩色图像的预测图像时参考的参考图像的图片的解码打包彩色图像的场的分辨率比一致（匹配）。
也就是说，待编码的中间视点彩色图像的上部场和下部场中的每一个的分辨率比是2:1。
另一方面，针对参考图像，配置解码打包彩色图像的上部场和下部场的左视点彩色图像和右视点彩色图像的垂直分辨率均是原来的1/2，因此用作解码打包彩色图像的上部场和下部场的左视点彩色图像和右视点彩色图像的分辨率比是2:1。
因此，配置解码打包彩色图像的上部场合下部场的左视点彩色图像和右视点彩色图像中的每一个的分辨率比、与待编码的中间视点彩色图像的上部场和下部场中的每一个的分辨率比一致，都是2:1。
因此，用作中间视点彩色图像的当前图片的场（上部场和下部场）的分辨率比与用作参考图像的解码打包彩色图像的场的分辨率比一致，所以可以提高视差预测的预测精度（在视差预测中生成的预测图像与当前块之间的残差变小），并且可以提高编码效率。
因此，可以防止由于减少在多视点彩色图像（和多视点深度图像）的基带的数据量的分辨率转换而导致在接收设备12处获得的解码图像的图像质量劣化。
[中间视点彩色图像的编码处理]
图37是用于描述图35中的编码器542对中间视点彩色图像进行编码的编码处理的流程图。
在步骤S301至步骤S319中，除了编码的对象是中间视点彩色图像而不是打包彩色图像，因此进而使用打包彩色图像作为参考图像对待编码的中间视点彩色图像进行视差预测外，编码器542进行与图28中的步骤S101至步骤S119相同的处理。
也就是说，在步骤S301中，A/D转换单元111对给其提供的用做中间视点彩色图像的图片的帧的模拟信号进行A/D转换，提供给画面重排缓冲器112，流程前进到步骤S302。
在步骤S302中，画面重排缓冲器112临时地存储来自A/D转换单元111的用作中间视点彩色图像的图片的帧，并且根据预先确定的GOP结构读取图片，从而进行将图片的顺序从显示顺序重排成编码顺序（解码顺序）的重排。
将作为从画面重排缓冲器112读取出的图片的帧提供给结构转换单元352，流程从步骤S302前进到步骤S303。
在步骤S303中，SEI生成单元351根据从分辨率转换设备321C（图18）提供的分辨率转换信息，生成参照图25和图26所描述的分辨率转换SEI，提供给可变长度编码单元116，流程前进到步骤S304。
在步骤S304中，结构转换单元352基于从分辨率转换设备321C（图18）提供的分辨率转换信息，将编码模式设置为场编码模式。
另外，当将编码模式设置为场编码模式时，结构转换单元352将来自画面重排缓冲器112的用作中间视点彩色图像的图片的帧转换为上部场和下部场两个场，提供给计算单元113、画面内预测单元122以及帧间预测单元123的视差预测单元131和时间预测单元132，流程从步骤S304前进到S305。
在步骤S305中，计算单元113将来自结构转换单元352的用作中间视点彩色图像的图片的场当作是待编码的当前图片，进一步地，顺序地将配置当前图片的宏块当作是待编码的当前块。
然后，计算单元133需要计算当前块的像素值与从预测图像选择单元124提供的预测图像的像素值之间的差，提供给正交变换单元114，流程从步骤S305前进到步骤S306。
在步骤S306中，正交变换单元114使来自计算单元113的当前块经过正交变换，将作为结果获得的变换系数提供给量化单元115，流程前进到步骤S307。
在步骤S307中，量化单元115对从正交变换单元114提供的变换系数进行量化，将作为结果获得的量化值提供给逆量化单元118和可变长度编码单元116，流程前进到S308。
在步骤S308中，逆量化单元118将来自量化单元115的量化值逆量化为变换系数，提供给逆正交变换单元119，流程前进到步骤S309。
在步骤S309中，逆正交变换单元119对来自逆量化单元118的变换系数进行逆正交变换，提供给计算单元120，流程前进到步骤S310。
在步骤S310中，计算单元120按照需要将从预测图像选择单元124提供的预测图像的像素值加上从逆正交变换单元119提供的数据，由此获得当前块已被解码（局部解码）的解码中间视点彩色图像。然后，计算单元120将当前块已被局部解码的解码中间视点彩色图像提供给解块滤波器121，流程从步骤S310前进到步骤S311。
在步骤S311中，解块滤波器121对来自计算单元120的解码中间视点彩色图像进行滤波，提供给DPB43，流程前进到步骤S312。
在步骤S312中，DPB43从对打包彩色图像进行编码的编码器541（图34）等候通过对打包彩色图像进行编码和局部解码的获得解码打包彩色图像，存储该解码打包彩色图像，流程前进到步骤S313。
如上所述，除了不进行视差预测外，编码器541进行与编码器542相同的编码处理，即，以将打包彩色图像的场当作图片的场编码模式进行编码。因此，DPB43存储由左视点彩色图像的奇数行配置的上部场和由右视点彩色图像的偶数行配置的下部场。
在步骤S313中，DPB43存储来自解块滤波器121的解码中间视点彩色图像（的场），流程前进到步骤S314。
在步骤S314中，画面内预测单元122进行下一个当前块的帧内预测处理（画面内预测处理）。
也就是说，画面内预测单元122进行帧内预测处理（画面内预测处理），以根据在DPB43中存储的用作解码中间视点彩色图像的图片的场来生成下一个当前块的预测图像（帧内预测的预测图像）。
然后，画面内预测单元122使用帧内预测的预测图像来获得对下一个当前块进行编码的编码成本，将其连同报头信息（用作报头信息的与帧内预测相关的信息）和帧内预测的预测图像提供给预测图像选择单元124，流程从步骤S314前进到步骤S315。
在步骤S315中，时间预测单元132将用作解码中间视点彩色图像的图片的场作为参考图像，针对下一个当前块进行时间预测处理。
也就是说，时间预测单元132使用在DPB43中存储的用作解码中间视点彩色图像的图片的场来针对下一个当前块进行时间预测，由此针对具有不同宏块类型等的每个帧间预测模式来获得预测图像、编码成本等。
另外，时间预测单元132将编码成本最小的帧间预测模式作为最佳帧间预测模式，将该最佳预测模式的预测图像连同报头信息（用作报头信息的与帧间预测相关的信息）和编码成本提供给预测图像选择单元124，流程从步骤S315前进到步骤S316。
在步骤S316中，视差预测单元131将用作解码打包彩色图像的图片的场作为参考图像，对下一个当前块进行视差预测处理。
也就是说，视差预测单元131使用在DPB43中存储的用作解码打包彩色图像的图片的场来对下一个当前块进行视差预测，由此针对其宏块类型等不同的每个帧间预测模式来获得预测图像、编码成本等。
另外，视差预测单元131将编码成本最小的帧间预测模式作为最佳帧间预测模式，将该最佳预测模式的预测图像连同报头信息（用作报头信息的与帧间预测相关的信息）和编码成本提供给预测图像选择单元124，流程从步骤S316前进到步骤S317。
在步骤S317中，预测图像选择单元124从来自画面内预测单元122的预测图像（帧内预测的预测图像）、来自时间预测单元132的预测图像（时间预测图像）和来自视差预测单元131的预测图像（视差预测图像）中选择例如编码成本最小的预测图像，将其提供给计算单元113和计算单元220，流程前进到步骤S318。
现在，将在步骤S317中由预测图像选择单元124选择的预测图像用于步骤S305和步骤S310的处理中，以对下一个当前块进行编码。
此外，预测图像选择单元124从提供自画面内预测单元122、时间预测单元132和视差预测单元131的报头信息中，选择与编码成本最小的预测图像一起提供的报头信息，并且提供给可变长度编码单元116。
在步骤S318中，可变长度编码单元116使来自量化单元115的量化值经过可变长度编码，并且获得编码数据。
另外，可变长度编码单元116将来自预测图像选择单元124的报头信息和来自SEI生成单元351的分辨率转换SEI包含在编码数据的报头中。
然后，可变长度编码单元116将编码数据提供给存储缓冲器117，流程从步骤S318前进到步骤S319。
在步骤S319中，存储缓冲器117临时地存储来自可变长度编码单元116的编码数据。
将在存储缓冲器117处存储的编码数据以预定的传输速率提供（传输）给多路复用设备23（图18）。
在编码器542处适当地重复执行上述步骤S301到S319的处理。
图38是用于描述编码器542的视差预测单元131（图13）在图37中的步骤S316中对中间视点彩色图像进行的视差预测处理的流程图。
在编码器542的视差预测单元131处，除了编码的对象是中间视点彩色图像而不是打包彩色图像，并且将作为编码对象的中间视点彩色图像的视差预测用做打包彩色图像的参考图像之外，在步骤S331至步骤S338中执行与图29中的步骤S131至步骤S138相同的处理。
也就是说，在步骤S331中，在视差预测单元131（图13）处，视差检测单元141和视差补偿单元142接收来自DPB43的用作解码打包彩色图像的图片的场作为参考图像，流程前进到步骤S332。
在步骤S332中，视差检测单元141使用从结构转换单元352（图35）提供的用作中间视点彩色图像的当前块的场的当前块和来自DPB43的用作参考图像的解码打包彩色图像的场，进行ME，由此针对每个宏块类型检测表示当前块相对于参考图像的视差的视差矢量mv，提供给视差补偿单元142，流程前进到步骤S333。
在步骤S333中，视差补偿单元142使用来自视差检测单元141的当前块的视差矢量mv，对来自DPB43的用作参考图像的解码打包彩色图像的场进行视差补偿，由此针对每个宏块类型生成当前块的预测图像，流程前进到步骤S334。
也就是说，视差补偿单元142获得在这样的对应块作为预测图像：该对应块是用作参考图像的解码打包彩色图像的场中的被从当前块的位置移位了相当于视差矢量mv的量的块（区域）。
在步骤S334中，视差补偿单元142按照需要使用当前块周围的已经被编码的宏块的视差矢量等，由此获得当前块的视差矢量mv的预测矢量PMV。
另外，视差补偿单元142获得这样的残差矢量：该残差矢量是当前块的视差矢量mv与预测矢量PMV之间的差。
然后，视差补偿单元142将诸如宏块类型的每个预测模式的当前块的预测图像与预测模式，连同当前块的残差矢量和分配给用于生成预测图像的参考图像（解码打包彩色图像的场）的参考索引，进行关联，并且提供给预测信息缓冲器143和成本函数计算单元144，流程从步骤S334前进到步骤S335。
在步骤S335中，预测信息缓冲器143临时地存储来自视差补偿单元142的与预测模型关联的预测图像、残差矢量和参考索引作为预测信息，流程前进到步骤S336。
在步骤S336中，成本函数计算单元144针对用作预测模式的每个宏块类型，通过计算成本函数来获得对来自结构转换单元352（图35）的当前图像的当前块进行编码所需的编码成本（成本函数值），将其提供给模式选择单元145，流程前进到步骤S337。
在步骤S337中，模式选择单元145从来自成本计算单元144的每个宏块类型的编码成本中检测作为最小值的最小成本。
另外，模式选择单元145选择已经获得的具有最小成本的宏块类型作为最佳帧间预测模式。
然后，流程从步骤S337前进到步骤S338，在步骤S338中，模式选择单元145从预测信息缓冲器143中读取出与作为最佳帧间预测模式的预测模式关联的预测图像、残差矢量和参考索引，以及作为最佳帧间预测模式的预测模式，提供给预测图像选择单元124，该处理返回。
[解码设备332C的另一个配置示例]
图39是例示图19中的解码设备332C的配置示例的框图。
也就是说，图39是例示在如图34配置编码器设备322C的情况下的解码设备332C的配置示例的框图。
请注意：使用相同的附图标记表示图39中与图30中的情况对应部分，并且在下文中适当地省略了描述。
在图39中，解码设备332C具有解码器611和解码器612，以及DPB213。
因此，图39中的解码设备332C在具有DPB213方面与图30中的情况相同，但是与图30中的情况不同之处在于设置了解码器611和解码器612替代解码器411和解码器412。
图30与图39的差别在于：在图30中，解码器411将中间视点彩色图像作为基本视图图像进行处理，并且解码器412将打包彩色图像作为非基本视图图像进行处理；而在图39中，解码器611将打包彩色图像作为基本视图图像进行处理，并且解码器612将中间视点彩色图像作为非基本视图图像进行处理。
从逆多路复用设备31（图19）给解码器611提供多视点彩色图像编码数据中的打包彩色图像的编码数据。
解码器611以与图30中的解码器411相同的方式，对给其提供的作为基本视图图像的编码数据的打包彩色图像的编码数据进行解码，并且输出作为结果获得的打包彩色图像。
从逆多路复用设备31（图19）给解码器612提供多视点彩色图像编码数据中的中间视点彩色图像的编码数据。
解码器612以与图30中的解码器412相同的方式，对给其提供的作为非基本视图图像的编码数据的中间视点彩色图像的编码数据进行解码，并且输出作为结果获得的中间视点彩色图像。
然后，将解码器611输出的打包彩色图像和解码器612输出的中间视点彩色图像作为分辨率转换多视点彩色图像提供给分辨率逆转换设备333C（图19）。
现在，解码器611和解码器612以与图30中的解码器411和解码器412相同的方式，对预测编码图像进行解码。并且为了生成在预测编码中使用的预测图像，在对待解码图像进行解码之后，在DPB213中临时地存储待用于生成预测图像的解码后的图像。
DPB213由解码器611和解码器612共享，并且临时地存储在解码器611和解码器612中的每一个处获得的解码之后的图像（解码图像）。
解码器611和解码器612中的每一个从在DPB213中存储的解码图像中选择对待解码图像进行解码所参考的参考图像，并且使用该参考图像生成预测图像。
因为DPB213在解码器611和解码器612之间共享，所以解码器611和解码器612均可以除了参考从其自身获得的解码图像，还可以参考在另一个解码器处获得的解码图像。
然而请注意：解码器611对基本视图图像进行解码，所以只参考在解码器611处获得的解码图像（不进行视差预测）。
[解码器612的配置示例]
图40是例示图39中的解码器612的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图31对应的部分，并且在下文中适当地省略了对应部分的描述。
在图40中，解码器612具有存储缓冲器241、可变长度解码单元242、逆量化单元243、逆正交变换单元244、计算单元245、解块滤波器246、画面重排缓冲器247、D/A转换单元248、画面内预测单元249、帧间预测单元250、预测图像选择单元251和结构逆转换单元451。
因此，以与图31中的解码器412相同的方法配置了图40中的解码器612。
然而，解码器612与图31中的解码器412不同之处在于解码的对象是中间视点彩色图像而不是打包彩色图像。
因此，利用解码器612，使用作为另外视点的图像的打包彩色图像作为参考图像，在视差预测单元261处对待解码的中间视点彩色图像进行视差预测。
也就是说，在图40中，DPB213存储从解块滤波器246提供的在解码器612处进行解码的用作非基本视图图像的解码中间视点彩色图像，并且存储从解码器611提供的在解码器611处进行解码的用作基本视图图像的解码打包彩色图像。
然后，视差预测单元261使用在DPB213中存储的解码打包彩色图像作为参考图像，对待解码的中间视点彩色图像进行视差预测。
请注意：同样以与图40中解码器612相同的方式配置了图39中的解码器611。然而请注意：使用对基本视图进行解码的解码器611，在帧间预测中不进行视差预测，而只进行时间预测。因此，可以在不设置进行视差预测的视差预测单元261的情况下来配置解码器611。
除了不进行视差预测外，对基本视图图像进行解码的解码器611进行与对非基本视图图像进行解码的解码器612基本相同的处理，所以在下文中将描述解码器612，而适当地省略对解码器611的描述。
[中间视点彩色图像的解码处理]
图41是用于描述图40中的解码器612对中间视点彩色图像的编码数据进行解码的解码处理的流程图。
除了解码的对象是中间视点彩色图像而不是打包彩色图像，进而以打包彩色图像作为参考图像对待解码的中间视点彩色图像进行视差预测以外，使用解码器612在步骤S401至步骤S418中进行与图32中的步骤S201至步骤S218相同的处理。
也就是说，在步骤S401中，存储缓冲器241对提供给其的中间视点彩色图像的编码数据进行存储，处理前进到步骤S402。
在步骤S402中，可变长度编码单元242读出在存储缓冲器241中存储的编码数据并进行可变长度编码，由此恢复预测模式相关信息和分辨率转换SEI。然后，可变长度编码单元242分别将量化值提供给逆量化单元243；将预测模式相关信息提供给画面内预测单元249和帧间预测单元250的参考索引处理单元260、视差预测单元261和时间预测单元262；并且将分辨率转换SEI提供给结构逆转换单元451和分辨率逆转换设备333C（图19），流程前进到步骤S403。
在步骤S403中，逆量化单元243将来自可变长度解码单元242的量化值逆量化为变换系数，提供给逆正交变换单元244，流程前进到步骤S404。
在步骤S404中，逆正交变换单元244对来自逆量化单元243的变换系数进行逆正交变换，以宏块为单位提供给计算单元245，流程前进到步骤S405。
在步骤S405中，计算单元245将来自逆正交变换单元244的宏块当作待解码的当前块（残差图像），并且按照需要将从预测图像选择单元251提供的预测图像加到当前块，由此获得解码图像。然后计算单元245将解码图像提供给解块滤波器246，流程从步骤S405前进到步骤S406。
在步骤S406中，解块滤波器246对来自计算单元245的解码图像进行滤波，将滤波后的解码图像（解码中间视点彩色图像）提供给DPB213和结构逆转换单元451，流程前进到步骤S407。
在步骤S407中，DPB213等待要从对打包彩色图像进行解码的解码器611（图39）提供的解码打包彩色图像，存储该解码打包彩色图像，流程前进到步骤S408。
在步骤S408中，DPB213存储来自解块滤波器246的解码中间视点彩色图像，流程前进到步骤S409。
现在，使用图34的编码器541将打包彩色图像的场作为当前图片进行编码，而使用编码器542将中间视点彩色图像的场作为当前图片进行编码。
因此，在对打包彩色图像的编码数据进行解码的解码器611处，打包彩色图像的场被作为当前图片进行解码。以相同的方式，在对中间视点彩色图像的编码数据进行解码的解码器612处，中间视点彩色图像的场被作为当前图片进行解码。
因此，DPB213以场（结构）在其中存储了解码打包彩色图像和解码中间视点彩色图像。
在步骤S409中，画面内预测单元249和（时间预测单元262与视差预测单元261构成的）帧间预测单元250基于从可变长度解码单元242提供的预测模式相关信息，确定生成预测图像所使用的帧内预测（画面内预测）和帧间预测中哪一个预测方法预测用于了对下一个当前块（待下一个被解码的宏块）进行编码。
在步骤S409中确定使用以画面内预测生成的预测图像对下一个当前块进行了编码的情况下，流程前进到步骤S410，并且画面内预测单元249进行帧内预测处理（画面内预测）。
也就是说，画面内预测单元249针对下一个当前块进行帧内预测（画面内预测），以根据在DPB213中存储的解码中间视点彩色图像生成预测图像（帧内预测的预测图像），将该预测图像提供给预测图像选择单元251，流程从步骤S410前进到步骤S415。
此外，在步骤S409中确定使用以帧间预测生成的预测图像对下一个当前块进行了编码的情况下，流程前进到步骤S411，在步骤S411中，参考索引处理单元260从DPB213中读出已给其分配了在来自可变长度解码单元242的预测模式相关信息中包含的用于预测的参考索引的用作解码打包彩色图像的图片的场，或者读出用作解码中间视点彩色图像的图片的场作为参考图像，流程前进到步骤S412。
在步骤S412中，参考索引处理单元260基于从可变长度解码单元242提供的预测模式相关信息中包含的用于预测的参考索引，确定生成预测图像使用的作为帧内预测的时间预测和视差预测中的哪一个预测方法用于了对下一个当前块进行编码。
在步骤S412中确定使用由时间预测生成的预测图像来对下一个当前块进行了编码的情况下，即在针对来自可变长度解码单元242的（下一个）当前块分配了用于预测的参考索引的图片是解码中间视点彩色图像的图片，且在步骤S411中将该解码中间视点彩色图像的图片选择为参考图像的情况下，参考索引处理单元260将该解码中间视点彩色图像的图片提供给时间预测单元262作为参考图像，流程前进到步骤S413。
在步骤S413中，时间预测单元262进行时间预测处理。
也就是说，针对下一个当前块，时间预测单元262使用来自可变长度解码单元242的预测模式相关信息，对来自参考索引处理单元260的用作参考图像的解码中间视点彩色图像的图片进行运动补偿，由此生成预测图像，将该预测图像提供给预测图像选择单元251，处理从步骤S413前进到步骤S415。
此外，在步骤S412中确定使用由视差预测生成的预测图像来对下一个当前块进行了编码的情况下，即在针对来自可变长度解码单元242的（下一个）当前块分配了用于预测的参考索引的图片是用作解码打包彩色图像的图片的场，且在步骤S411中将该用作解码打包彩色图像的图片的场选择为参考图像的情况下，参考索引处理单元260将该用作解码打包彩色图像的图片的场提供给视差预测单元261作为参考图像，流程前进到步骤S414。
在步骤S414中，视差预测单元261进行视差预测处理。
也就是说，视差预测单元261使用来自可变长度解码单元242的预测模式相关信息，对用作下一个当前块的参考图像的用作解码打包彩色图像的图片的场进行视差补偿，以生成预测图像，并将预测图像提供给预测图像选择单元251，流程从步骤S414前进到步骤S415。
在步骤S415中，预测图像选择单元251从提供了预测图像的画面内预测单元249、时间预测单元262和视差预测单元261之一选择预测图像，提供给计算单元245，流程前进到步骤S416。
在步骤S415中由预测图像选择单元251选择的预测图像被用于对下一个当前块进行解码的步骤405中的处理。
在步骤S416中，在从解块滤波器246已经给结构逆转换单元451提供了构成帧的解码中间视点彩色图像的上部场和下部场的情况下，结构逆转换单元451基于来自可变长度解码单元的分辨率转换SEI，对上部场和下部场进行逆转换为帧，提供给画面重排缓冲器247，流程前进到步骤S417。
在步骤S417中，画面重排缓冲器247临时地存储来自结构逆转换单元451的用作解码打包彩色图像的图片的帧并且进行读取，由此将图片的顺序重排成原始顺序，提供给D/A转换单元248，流程前进到步骤S418。
在步骤S418中，在需要从画面重排缓冲器247将图片输出成模拟信号的情况下，D/A转换单元248对图片进行D/A转换并且输出。
在解码器612处，重复地进行以上步骤S401至步骤S418的处理。
图42是用于描述视差预测单元261（图17）在图41中的步骤S414中进行的视差预测处理的流程图。
在步骤S431至步骤S434中，除了解码的对象是中间视点彩色图像而不是打包彩色图像，并且将打包彩色图像用作参考图像对待解码的中间视点彩色图像进行视差预测之外，解码器612的视差预测单元261进行与图33中的步骤S231至步骤S234的处理相同的处理。
在步骤S431中，在视差预测单元261（图17）处，视差补偿单元272从参考索引处理单元260接收用作参考图像的用作解码打包彩色图像的图片的场，流程前进到步骤S432。
在步骤S432中，视差补偿单元272从可变长度解码单元242接收在预测模式相关信息中包括的（下一个）当前块的残差矢量，流程前进到步骤S433。
在步骤S433中，视差补偿单元272使用用作中间视点彩色图像的图片的场的当前块周围的已被编码的宏块的视差矢量等来获得当前块针对在来自可变长度解码单元242的预测模式相关信息中包括的预测模式（最佳帧间预测模式）所指示的宏块类型的预测矢量。
另外，视差补偿单元272将当前块的预测矢量与来自可变长度解码单元的残差矢量相加，由此恢复出当前块的视差矢量mv，流程从步骤S433前进到步骤S434。
在步骤S434中，视差补偿单元272使用当前块的视差矢量，通过对来自参考索引处理单元260的用作参考图像的用作解码打包彩色图像的的图片的场进行视差补偿，来生成当前块的预测图像，提供给预测图像选择单元251，流程返回。
[传输设备11的配置示例]
图43是例示图1中的传输设备11的另一个配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图18中的情况对应的部分，并且在下文中适当地省略了描述。
在图43中，传输设备11包括分辨率转换设备721C和分辨率转换设备721D、编码设备722C和编码设备722D，以及多路复用设备23。
因此，图43中的传输设备11在具有多路复用设备23方面与图18中的情况相同，与图18的情况不同之处在于设置了分辨率转换设备721C和分辨率转换设备721D以及编码设备722C和编码设备722D替代分辨率转换设备321C和分辨率转换设备321D以及编码设备322C和编码设备322D。
给分辨率转换设备721C提供多视点彩色图像。
例如，分辨率转换设备721C进行与图18中的分辨率转换设备321C相同的处理。
也就是说，分辨率转换设备721C进行下述分辨率转换：将给其提供的多视点彩色图像的转换为具有比原始分辨率更低的分辨率的分辨率转换多视点彩色图像，并且将作为其结果获得的分辨率转换多视点彩色图像提供给编码设备722C。
另外，分辨率转换设备721C生成分辨率转换信息，并且提供给编码设备722C。
现在，从编码设备722C给分辨率转换设备721C提供编码模式，该编码模式表示场编码模式或者帧编码模式。
分辨率转换设备721C根据从编码设备722C提供的编码模式，决定对在给其提供的多视点彩色图像中包括的左视点彩色图像和右视点彩色图像进行打包的打包模式。
也就是说，在从编码设备722C提供的编码模式是场编码模式的情况下，分辨率转换设备721C将隔行打包模式（在下文中也称为隔行型式）决定为对在多视点彩色图像中包括的左视点彩色图像和右视点彩色图像进行打包的打包模式。
现在，打包模式与参照图25和图26所述的参数frame_packing_info[i]对应。
当决定了打包模式时，分辨率转换设备721C遵循该打包模式将在多视点彩色图像中包括的左视点彩色图像和右视点彩色图像进行打包，并且将作为结果获得的包括打包彩色图像的分辨率转换多视点彩色图像提供给编码设备722C。
除了将编码模式提供给分辨率转换设备721C外，编码设备722C进行与图18中的编码设备322C相同的处理。
也就是说，编码设备722C以扩展格式将从分辨率转换设备721C提供的分辨率转换多视点彩色图像进行编码，并且将作为结果获得的多视点彩色图像编码数据提供给多路复用设备23。
给分辨率转换设备721D提供多视点深度图像。
除了处理的被摄对象是深度图像（多视点深度图像）而不是彩色图像（多视点彩色图像）外，分辨率转换设备721D和编码设备722D进行与分辨率转换设备721C和编码设备722C相同的处理。
请注意：可以将在图43中的传输设备11处获得的多路复用位流在图19中的接收设备12处解码成多视点彩色图像和多视点深度图像。
[编码器722C的配置示例]
图44是例示图43中的编码设备722C的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图23中的情况对应的部分，并且在下文中适当地省略了描述。
在图44中，编码设备722C具有编码器841和编码器842，以及DPB43。
因此，图44中的编码设备722C在具有DPB43方面与图23中的编码器设备322C相同，而与图23中的编码设备322C不同之处在于由编码器841和编码器842替代了编码器341和编码器342。
从分辨率转换设备721C给编码器841提供配置了分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像中的中间视点彩色图像（的帧）。
从分辨率转换设备721C给编码器842提供配置了分辨率转换多视点彩色图像的中间视点彩色图像和打包彩色图像中的打包彩色图像（的帧）。
此外，从分辨率转换设备721C给编码器841和编码器842提供分辨率转换信息。
编码器841如同图23中的编码器341那样，将中间视点彩色图像作为基本视图图像进行编码，并且输出作为其结果获得的中间视点彩色图像的编码数据。
编码器842如同图23中的编码器342那样，将打包视点彩色图像作为非基本视图图像进行编码，并且输出作为其结果获得的打包彩色图像的编码数据。
编码器841（和编码器842）根据例如用户操作等将编码模式设置为场编码模式或者帧编码模式（或者根据编码成本，设置场编码模式和帧编码模式中的编码成本较小的一个），并且以该编码模式进行编码。
此外，当设置编码模式时，编码器842将编码模式提供给分辨率转换设备721C。
现在，如参照图43所述，当从编码设备722C的编码器842提供了编码模式时，分辨率转换设备721C根据该编码模式决定对多视点彩色图像中包括的左视点彩色图像和右视点彩色图像进行打包的打包模式。
将从编码器841输出的中间视点彩色图像的编码数据和从编码器842输出的打包彩色图像的编码数据作为多视点彩色图像编码数据提供给多路复用设备23（图43）。
现在，在图44中，由编码器841和842共享DPB43。
也就是说，编码器841和编码器842以使用MVC相同的方式来对待编码图像进行预测编码。因此，为了生成待用于预测编码的预测图像，编码器841和编码器842对待编码图像进行编码，并且在此后进行局部解码，由此获得解码图像。
DPB43临时地存储从编码器841和编码器842中的每个编码器获得的解码图像。
编码器841和编码器842均从在DPB43中存储的解码图像中选择在对待编码图像进行编码时参考的参考图像。然后，编码器841和编码器842均能使用参考图像生成预测图像，并使用这些预测图像来进行图像编码（预测编码）。
因此，编码器841和编码器842除了可以参考在其自身处获得的解码图像，还可以参考在另一个编码器处获得的解码图像。
然而请注意：如上所述，编码器841对基本视图图像进行编码，因此只参考在编码器841处获得的解码图像。
[编码器842的配置示例]
图45是例示图44中的编码器342的配置示例的框图。
请注意：使用相同的附图标记表示该附图中与图24中的情况对应的部分，并且在下文中适当地省略了描述。
在图45中，编码器342具有A/D转换单元111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、可变长度编码单元116、存储缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、解块滤波器121、画面内预测单元122、帧间预测单元123、预测图像选择单元124、SEI生成单元351以及结构转换单元852。
因此，编码器842与图24中的编码器342具有相同的A/D转换单元111至预测图像选择单元124以及SEI生成单元351。
然而请注意：编码器842与图24中的编码器342的不同之处在于设置了结构转换单元852替代结构转换单元352。
结构转换单元852被设置在画面重排缓冲器112的输出侧，并且进行与图24中的结构转换单元352相同的处理。
然而请注意：图24结构转换单元352基于来自分辨率转换设备321C（图18）的分辨率转换信息将编码模式设置为场编码模式或者帧编码模式，但是图45中的分辨率转换单元852根据用户操作等而不是来自分辨率转换设备721C（图43）的分辨率转换信息来设置编码模式，并且将此编码模式提供给分辨率转换设备721C。
如参照图43所述，在分辨率转换设备721C处，根据从（编码设备722C的）编码器842提供的编码模式来决定打包模式，并且遵循该打包模式将在多视点彩色图像中包括的左视点彩色图像和右视点彩色图像进行打包。
[对应用本技术的计算机的描述]
上述各个系列的处理可以通过硬件来进行也可以通过软件来进行。当通过软件来进行各个系列的处理时，构成该软件的程序被安装在通用计算机等上。
因此，图47例示在其上安装了进行上述各个系列的处理的程序的计算机的实施例的配置的示例。
可以将程序预先记录在作为嵌入到计算机中的记录介质的硬盘1105或ROM1103中。
或者，可以将程序存储在可移动介质1111中。这种可移动介质1111可以作为所谓的套装软件来提供。可移动介质1111的示例包括：软盘、光盘只读存储器（CD-ROM）、磁光（MO）盘、数字化视频光盘（DVD）、磁盘和半导体存储器。
请注意：除了如上所述将程序从可移动介质1111安装在计算机上之外，还可以通过通信网络或广播网络将程序下载到计算机上并安装在嵌入式硬盘1105中。换言之，例如，可以从下载站点经由用于数字卫星广播的人造卫星通过无线方式将程序发送到计算机，或经由网络例如局域网（LAN）或因特网通过有线方式将程序发送到计算机。
计算机嵌入有中央处理单元（CPU）1102，输入/输出接口1110通过总线1101连接到CPU1102。
当用户通过对输入单元1107的操作经由输入/输出接口1110输入指令时，CPU1102执行存储在ROM1103中的程序。可替换地，CPU1102将存储在硬盘1105中的程序加载到随机存取存储器（RAM）1104中，并执行该程序。
因此，CPU1102根据上述的流程图或由框图的上述的配置进行的处理来执行处理。如果必要，例如，CPU1102经由输入/输出接口1110从输出单元1106输出处理结果，或将处理结果从通信单元1108记录到存储硬盘1105。
请注意：输入单元1107包括键盘、鼠标、麦克风等。此外，输出单元1106包括液晶显示器（LCD）或扬声器等。
在本说明书中，计算机根据程序进行的处理不一定以根据流程图中描述的顺序的时间序列来执行。换言之，计算机根据程序进行的处理包括并行进行或单独进行的处理（例如，并行处理或面向被摄对象的处理）。
此外，程序可以由一台计算机执行，或可以由分布式的多台计算机执行。此外，可以将程序发送到远程计算机并在远程计算机处执行。
可以将本技术应用到当通过网络介质例如有线电视、因特网和移动电话等进行通信时或当对存储介质例如光盘、磁盘和快擦写存储器进行处理时使用的图像处理系统。
此外请注意：可以将上述图像处理系统的至少一部分应用到任意选择的电子设备。将在下面描述示例。
[电视设备的配置示例]
图48例示应用本技术的电视设备的示意性配置的示例。
电视设备1900包括：天线1901、调谐器1902、多路解复用器1903、解码器1904、图像信号处理单元1905、显示单元1906、音频信号处理单元1907、扬声器1908和外部接口单元1909。电视设备1900还包括：控制单元1910和用户接口单元1911等。
调谐器1902从在天线1901中接收的广播波信号选择期望的频道，进行解调，并将获得的编码位流输出给多路解复用器1903。
多路解复用器1903从编码位流提取待观看的节目的视频或音频分组，并将提取的分组数据输出给解码器1904。此外，多路解复用器1903给控制单元1910提供数据分组例如电子节目指南（EPG）等。请注意：当进行扰频时，多路解复用器等可以进行解扰。
解码器1904对分组进行解码处理，将通过解码处理而生成的图像数据输出给图像信号处理单元1905，并将音频数据输出给音频信号处理单元1907。
图像信号处理单元1905从图像数据去除噪声，或根据用户设置对图像数据进行图像处理。图像信号处理单元1905生成在显示单元1906中待显示的节目的图像数据，或通过基于经由网络提供的应用进行处理来生成图像数据。此外，图像信号处理单元1905生成用于显示菜单画面例如条目选择等的图像数据，并将其叠加到节目的图像数据上。图像信号处理单元1905基于以这种方式生成的图像数据来生成驱动信号，并驱动显示单元1906。
显示单元1906基于来自图像信号处理单元1905的驱动信号，通过驱动显示设备（例如，液晶显示设备等）来显示节目的图像等。
音频信号处理单元1907对音频数据进行预定的处理例如噪声去除等，对经处理的音频数据进行D/A转换处理和放大处理，并将音频数据提供给扬声器1908以输出音频。
外部接口单元1909是用于连接到外部设备或网络的接口，进行图像数据或音频数据的数据发送/接收。
用户接口单元1911连接到控制单元1910。用户接口单元1911包括操作开关、遥控信号接收单元等，并根据用户操作给控制单元1910提供操作信号。
使用中央处理单元（CPU）和存储器等配置控制单元1910。存储器存储由CPU执行的程序、当CPU进行处理时所需的各种数据、EPG数据、通过网络获得的数据等。在预定的时间例如电视设备1900启动时由CPU对存储在存储器中的程序进行读取和执行。通过执行程序，CPU控制每个单元以使得根据用户操作来操作电视设备1900。
在电视设备1900还设置了总线1912，用于将控制单元1910与调谐器1902、多路解复用器1903、图像信号处理单元1905、音频信号处理单元1907和外部接口单元1909连接起来。
在如上配置的TV1900中，在解码器1904中提供本技术的功能。
[移动电话的配置示例]
图49是例示应用本技术的移动电话的示意性配置的示例的图。
移动电话1920包括：通信单元1922、音频编解码器1923、摄像机单元1926、图像处理单元1927、多路分离单元1928、记录/再现单元1929、显示单元1930和控制单元1931。这些组成部分通过总线1933而相互连接。
此外，天线1921连接到通信单元1922，扬声器1924和麦克风1925连接到音频编解码器1923。此外，操作单元1932连接到控制单元1931。
移动电话1920以各种模式例如语音呼叫模式或数据通信模式进行各种操作，例如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像成像或数据记录。
在语音呼叫模式中，音频编解码器1923将由麦克风1925生成的音频信号转换为音频数据并且进行数据压缩，并将音频数据提供给通信单元1922。通信单元1922对音频数据进行调制处理和频率转换处理等，并生成发送信号。此外，通信单元1922将发送信号提供给天线1921，并将发送信号发送给没有示出的基站。此外，通信单元1922对在天线1921中接收的接收信号进行放大、频率转换处理和解调处理等，并给音频编解码器1923提供获得的音频数据。音频编解码器1923对音频数据进行数据解压并且将其转换为模拟音频信号，并将结果数据或信号输出给扬声器1924。
此外，在数据通信模式中，当发送电子邮件时，控制单元1931接收通过对操作单元1932的操作而输入的字符数据，并将输入的字符显示在显示单元1930上。此外，控制单元1931基于操作单元1932中的用户指令生成电子邮件数据，并给通信单元1922提供电子邮件数据。通信单元1922对电子邮件数据进行调制处理和频率转换处理等，并将获得的发送信号传输给天线1921。此外，通信单元1922对在天线1921中接收的接收信号进行放大、频率转换处理和解调处理等，并恢复电子邮件数据。将电子邮件数据提供给显示单元1930以显示电子邮件的内容。
请注意：移动电话1920通过记录/再现单元1929可以在记录介质中存储接收的电子邮件数据。记录介质可以是任何可重写的存储介质。例如，存储介质是可移动介质例如半导体存储器例如RAM或内部快擦写存储器、硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡或者类似可移动介质。
当以数据通信模式传输图像数据时，在摄像机单元1926中生成的图像数据被提供给图像处理单元1927。图像处理单元1927进行图像数据的编码处理，并生成编码数据。
多路分离单元1928根据预定的方案对在图像处理单元1927中生成的编码数据和从音频编解码器1923提供的音频数据进行多路复用，并给通信单元1922提供经多路复用的数据。通信单元1922对经多路复用的数据进行调制处理和频率转换处理等，并将获得的传输信号传输给天线1921。此外，通信单元1922对在天线1921中接收的接收信号进行放大和频率转换处理和解调处理等，并恢复多路复用的数据。多路复用数据被提供给多路分离单元1928。多路分离单元1928对多路复用数据进行分离，给图像处理单元1927提供编码数据，并给音频编解码器1923提供音频数据。图像处理单元1927对图像数据进行解码处理，并生成图像数据。图像数据被提供给显示单元1930以显示接收的图像的内容。音频编解码器1923将音频数据转换为模拟音频信号，并将模拟音频信号提供给扬声器1924以输出接收的音频。
在如上配置的移动电话中，在图像处理单元1927中提供有本技术的功能。
[记录/再现设备的配置示例]
图50是例示应用本技术的记录/再现设备的示意性配置示例的图。
例如，记录/再现设备1940将接收的广播节目的音频数据和视频数据记录在记录介质中，并根据用户指令在某一时间为用户提供记录的数据。此外，例如，记录/再现设备1940也可以从其它设备获得音频数据或视频数据，并将音频数据或视频数据记录在记录介质中。此外，例如记录/再现设备1940通过对记录在记录介质中的音频数据或视频数据进行解码并输出解码的音频数据或视频数据来在监控设备等中进行图像显示或音频输出。
记录/再现设备1940包括：调谐器1941、外部接口单元1942、编码器1943、硬盘驱动（HDD）单元1944、盘驱动器1945、选择器1946、解码器1947、屏幕显示（OSD）单元1948、控制单元1949和用户接口单元1950。
调谐器1941从没有示出的天线中接收的广播信号选择期望的频道。调谐器1941将通过对期望的频道的接收信号进行解调而获得的编码位流输出给选择器1946。
外部接口单元1942配置有IEEE1394接口、网络接口单元、USB接口和快擦写存储器接口等中的至少一个。外部接口单元1942是用于连接外部设备或网络、存储卡等的接口，并对待记录的图像数据或音频数据等进行数据接收。
当从外部接口单元1942提供的图像数据或音频数据没有编码时，编码器1943以预定的格式进行编码，并将编码位流输出给选择器1946。
HDD单元1944将内容数据例如图像或音频、各种节目或其它数据记录在内部硬盘中，并在再现的时候从对应的硬盘读取这些内容数据。
盘驱动器1945针对安装的光盘进行信号的记录和再现。光盘的示例包括：DVD盘（DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）或蓝光光盘等。
在记录图像或音频的时候，选择器1946从调谐器1941或编码器1943选择编码位流，并将编码位流提供给HDD单元1944或盘驱动器1945。此外，在再现图像或音频的时候，选择器1946给解码器1947提供从HDD单元1944或盘驱动器1945输出的编码位流。
解码器1947对编码位流进行解码处理。解码器1947给OSD单元1948提供通过进行解码处理而生成的图像数据。此外，解码器1947输出通过进行解码处理而生成的音频数据。
OSD单元1948生成用于显示菜单画面例如条目选择的图像数据，并将图像数据叠加到从解码器1947输出的图像数据上，并且输出图像数据。
用户接口单元1950连接到控制单元1949。用户接口单元1950包括：操作开关或远程控制信号接收单元等，并根据用户操作给控制单元1949提供操作信号。
使用CPU或存储器等来配置控制单元1949。存储器存储由CPU执行的程序或当CPU进行处理时所需的各种数据。在预定的时间例如记录/再现设备1940启动时由CPU对存储在存储器中的程序进行读取并执行。通过执行程序，CPU控制每个单元以使得根据用户操作对记录/再现设备1940进行操作。
在如上配置的记录/再现设备中，在解码器1947中提供有本技术的功能。
[成像设备的配置示例]
图51是例示应用本技术的成像设备的示意性配置示例的图。
成像设备1960对被摄对象进行成像，在显示单元上显示被摄对象的图像，或将被摄对象的图像记录在记录介质中作为图像数据。
成像设备1960包括：光学块1961、成像单元1962、摄像机信号处理单元1963、图像数据处理单元1964、显示单元1965、外部接口单元1966、存储器单元1967、介质驱动器1968、OSD单元1969和控制单元1970。此外，用户接口单元1971连接到控制单元1970。此外，图像数据处理单元1964、外部接口单元1966、存储器单元1967、介质驱动器1968、OSD单元1969和控制单元1970通过总线1972连接。
使用聚焦透镜或光圈机构等配置光学块1961。光学块1961在成像单元1962的成像平面上形成被摄对象的光学图像。使用CCD或CMOS图像传感器配置为像单元1962，成像单元1962根据光学图像通过光电转换来生成电信号，并将电信号提供给摄像机信号处理单元1963。
摄像机信号处理单元1963针对从成像单元1962提供的电信号，进行各种摄像机信号处理例如拐点校正器、灰度校正或色彩校正。摄像机信号处理单元1963给图像数据处理单元1964提供对其进行摄像机信号处理后的图像数据。
图像数据处理单元1964对从摄像机信号处理单元1963提供的图像数据进行编码处理。图像数据处理单元1964给外部接口单元1966或介质驱动器1968提供通过进行编码处理而生成的编码数据。此外，图像数据处理单元1964对从外部接口单元1966或介质驱动器1968提供的编码数据进行解码处理。图像数据处理单元1964给显示单元1965提供通过进行解码处理而生成的图像数据。此外，图像数据处理单元1964给显示单元1965提供从摄像机信号处理单元1963提供的图像数据，并且在图像数据上叠加从OSD单元1969获得的用于显示的数据，提供给显示单元1965。
OSD单元1969生成用于显示的数据例如以符号、字符或形状形式的菜单画面或图标等，并将数据输出给图像数据处理单元1964。
例如，外部接口单元1966包括USB输入/输出端口，并在打印图像时连接到打印机。此外，如果必要，将驱动器连接到外部接口单元1966，并适当地在驱动器上安装可移动介质例如磁盘或光盘等。并且，如果必要，对从可移动介质读取出的计算机程序进行安装。此外，外部接口单元1966包括连接到预定网络例如LAN或因特网等的网络接口。例如，控制单元1970可以根据来自用户接口单元1971的指令从存储器单元1967读取编码数据，并将编码数据从外部接口单元1966提供给通过网络连接的其它设备。此外，控制单元1970可以经由外部接口单元1966获得通过网络从其它设备提供的编码数据或图像数据，并将编码数据或图像数据提供给图像数据处理单元1964。
例如，由介质驱动器1968驱动的记录介质可以是任何可读/可写的可移动介质例如磁盘、磁光盘或半导体存储器等。此外，对于记录介质，可移动介质的类型是可选的，可以是磁带设备、或者可以是盘或可以是存储卡。当然，介质驱动器1968也可以是非接触式IC卡等。
此外，介质驱动器1968和记录介质可以被集成，例如，可以由非便携式记录介质例如内部磁盘驱动器或固态驱动器（SSD）等进行配置。
使用CPU或存储器等配置控制单元1970。存储器存储由CPU执行的程序或当CPU进行处理时所需的各种数据。在预定的时间例如成像设备1960启动时由CPU对存储在存储器中的程序进行读取并执行。通过执行程序，CPU控制每个单元以使得根据用户操作对成像设备1960进行操作。
在上述配置的成像设备1960中，在图像数据处理单元1964中提供有本技术的功能。
请注意：本技术的实施例不限于上述实施例，可以在不脱离本技术的本质的情况下做出各种修改。
也就是说，虽然在本实施例中做出了下述安排，其中，以MVC控制在以十进制预测进行视差预测时用于进行滤波处理的滤波器（AIF），由此将参考图像转换为分辨率比与待编码图像的分辨率比匹配的转换参考图像，但是也可以给用于对转换参考图像进行转换的滤波器设置专用内插滤波器，并且使用该专用内插滤波器对参考图像进行滤波处理，由此转换为转换参考图像。
此外，分辨率比与待编码图像的分辨率比匹配的转换参考图像当然包括水平分辨率和垂直分辨率与待编码图像的分辨率匹配的转换参考图像。
请注意：本技术也可以被配置为如下。
[1]一种图像处理设备，包括：
转换单元，被配置为通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
补偿单元，被配置为通过利用由所述转换单元转换的所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
编码单元，被配置为使用由所述补偿单元生成的所述预测图像，以所述编码模式对所述待编码图像进行编码。
[2]根据[1]所述的图像处理设备，其中，在所述编码模式是场编码模式的情况下，所述转换单元将所述具有两个视点的图像转换为这样的打包图像：在所述打包图像中，垂直方向上的分辨率被变为1/2的所述具有两个视点的图像的各行被交替地排列。
[3]根据[1]或[2]所述的图像处理设备，还包括：
决定单元，被配置为根据所述编码模式来决定所述打包模式。
[4]根据[1]至[3]中任一项所述的图像处理设备，还包括：
传输单元，所述传输单元被配置为将表示所述打包模式的信息和由所述编码单元编码的编码流进行传输。
[5]一种图像处理方法，包括步骤：
通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
使用所述预测图像，以所述编码模式对所述待编码图像进行编码。
[6]一种图像处理设备，包括：
补偿单元，被配置为通过进行视差补偿来生成要被解码的待解码图像的预测图像，所述预测图像用于对通过以下步骤获得的编码流进行解码：
通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
使用所述预测图像，以所述编码模式对所述待编码图像进行编码；
解码单元，被配置为使用由所述补偿单元生成的所述预测图像，以所述编码模式对所述编码流进行解码；以及
逆转换单元，被配置为在通过由所述解码单元对所述编码流进行解码而获得的所述待解码图像是打包图像的情况下，通过遵循所述打包模式进行分离，将所述打包图像逆转换为原始的具有两个或更多视点的图像。
[7]根据[6]所述的图像处理设备，其中，在所述编码模式是场编码模式的情况下：
所述打包图像是这样的相当于一个视点的图像：在所述相当于一个视点的图像中，垂直方向上的分辨率被变为1/2的所述具有两个视点的图像的各行被交替地排列；
并且其中，所述逆转换单元将所述打包图像逆转换为原始的具有两个视点的图像。
[8]根据[6]或[7]所述的图像处理设备，还包括：
接收单元，被配置为接收表示所述打包模式的信息和由所述编码单元编码的所述编码流。
[9]一种图像处理方法，包括步骤：
通过进行视差补偿来生成要被解码的待解码图像的预测图像，所述预测图像用于对通过以下步骤获得的编码流进行解码：
通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
使用所述预测图像，以所述编码模式对所述待编码图像进行编码；
使用所述预测图像，以所述编码模式对所述编码流进行解码；以及
在通过对所述编码流进行解码而获得的所述待解码图像是打包图像的情况下，通过遵循所述打包模式进行分离，将所述打包图像逆转换为原始的具有两个或更多视点的图像。
附图标记列表
11  传输设备
12  接收设备
21C、21D  分辨率转换设备
22C、22D  编码设备
23  多路复用设备
31  逆多路复用设备
32C、32D  解码设备
33C、33D  分辨率逆转换设备
41、42  编码器
43  DPB
111  A/D转换单元
112  画面重排缓冲器
113  计算单元
114  正交变换单元
115  量化单元
116  可变长度编码单元
117  存储缓冲器
118  逆量化单元
119  逆正交变换单元
120  计算单元
121  解块滤波器
122  画面内预测单元
123  帧间预测单元
124  预测图像选择单元
131  视差预测单元
132  时间预测单元
141 视差检测单元
142  视差补偿单元
143  预测信息缓冲器
144  成本函数计算单元
145  模式选择单元
211、212  解码器
213  DPB
241  存储缓冲器
242  可变长度解码单元
243  逆量化单元
244  逆正交变换单元
245  计算单元
246  解块滤波器
247  画面重排单元
248  D/A转换单元
249  画面内预测单元
250  帧间预测单元
251  预测图像选择单元
260  参考索引处理单元
261  视差预测单元
262  时间预测单元
272  视差补偿单元
321C、321D  分辨率转换设备
322C、322D  编码设备
323  多路复用设备
332C、332D  解码设备
333C、333D  分辨率逆转换设备
341、342  编码器
351  SEI生成单元
352  结构转换单元
411、412  解码器
451  结构逆转换单元
541、542  编码器
611、612  解码器
721C、721D  分辨率转换设备
722C、722D  编码设备
841、842  编码器
852  结构转换单元
1101  总线
1102  CPU
1103  ROM
1104  RAM
1105  硬盘
1106  输出单元
1107  输入单元
1108  通信单元
1109  驱动器
1110  输入/输出接口
1111  可移动记录介质

Claims (9)

1.一种图像处理设备，包括：
转换单元，被配置为通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
补偿单元，被配置为通过利用由所述转换单元转换的所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
编码单元，被配置为使用由所述补偿单元生成的所述预测图像，以所述编码模式对所述待编码图像进行编码。
2.根据权利要求1所述的图像处理设备，其中，在所述编码模式是场编码模式的情况下，所述转换单元将所述具有两个视点的图像转换为这样的打包图像：在所述打包图像中，垂直方向上的分辨率被变为1/2的所述具有两个视点的图像的各行被交替地排列。
3.根据权利要求2所述的图像处理设备，还包括：
决定单元，被配置为根据所述编码模式来决定所述打包模式。
4.根据权利要求2所述的图像处理设备，还包括：
传输单元，被配置为传输表示所述打包模式的信息和由所述编码单元编码的编码流。
5.一种图像处理方法，包括步骤：
通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
使用所述预测图像，以所述编码模式对所述待编码图像进行编码。
6.一种图像处理设备，包括：
补偿单元，被配置为通过进行视差补偿来生成要被解码的待解码图像的预测图像，所述预测图像用于对通过以下步骤获得的编码流进行解码：
通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
使用所述预测图像，以所述编码模式对所述待编码图像进行编码；
解码单元，被配置为使用由所述补偿单元生成的所述预测图像，以所述编码模式对所述编码流进行解码；以及
逆转换单元，被配置为在通过由所述解码单元对所述编码流进行解码而获得的所述待解码图像是打包图像的情况下，通过遵循所述打包模式进行分离，将所述打包图像逆转换为原始的具有两个或更多视点的图像。
7.根据权利要求6所述的图像处理设备，其中，在所述编码模式是场编码模式的情况下：
所述打包图像是这样的相当于一个视点的图像：在所述相当于一个视点的图像中，垂直方向上的分辨率被变为1/2的所述具有两个视点的图像的各行被交替地排列；
并且其中，所述逆转换单元将所述打包图像逆转换为原始的具有两个视点的图像。
8.根据权利要求7所述的图像处理设备，还包括：
接收单元，被配置为接收表示所述打包模式的信息和由所述编码单元编码的所述编码流。
9.一种图像处理方法，包括步骤：
通过进行视差补偿来生成要被解码的待解码图像的预测图像，所述预测图像用于对通过以下步骤获得的编码流进行解码：
通过根据对要被编码的待编码图像进行编码时的编码模式，遵循将具有两个或更多视点的图像打包为相当于一个视点的图像的打包模式进行打包，来将具有三个或更多视点的图像中的具有两个或更多视点的图像转换为打包图像；
通过利用所述打包图像作为所述待编码图像或者参考图像进行视差补偿，来生成所述待编码图像的预测图像；以及
使用所述预测图像，以所述编码模式对所述待编码图像进行编码；
使用所述预测图像，以所述编码模式对所述编码流进行解码；以及
在通过对所述编码流进行解码而获得的所述待解码图像是打包图像的情况下，通过遵循所述打包模式进行分离，将所述打包图像逆转换为原始的具有两个或更多视点的图像。
CN201280025508.6A 2011-05-16 2012-05-01 图像处理设备和图像处理方法 Pending CN103563387A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-109800 2011-05-16
JP2011109800 2011-05-16
PCT/JP2012/061521 WO2012157443A1 (ja) 2011-05-16 2012-05-01 画像処理装置、及び、画像処理方法

Publications (1)

Publication Number Publication Date
CN103563387A true CN103563387A (zh) 2014-02-05

Family

ID=47176778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280025508.6A Pending CN103563387A (zh) 2011-05-16 2012-05-01 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US20140085418A1 (zh)
JP (1) JPWO2012157443A1 (zh)
CN (1) CN103563387A (zh)
WO (1) WO2012157443A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040787A (zh) * 2017-03-30 2017-08-11 宁波大学 一种基于视觉感知的3d‑hevc帧间信息隐藏方法
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013023302A2 (pt) 2011-03-18 2016-12-20 Sony Corp aparelho e método de processamento de imagem
CN107071476B (zh) 2011-06-30 2020-12-08 索尼公司 图像解码设备和图像解码方法
CA2842150A1 (en) 2011-08-31 2013-03-07 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
WO2015064402A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 画像処理装置および方法
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10785486B2 (en) * 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
CA3171803A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
KR102576630B1 (ko) 2015-12-10 2023-09-08 삼성전자주식회사 디코더의 동작 방법, 및 상기 디코더를 포함하는 어플리케이션 프로세서의 동작 방법
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
KR20200011305A (ko) * 2018-07-24 2020-02-03 삼성전자주식회사 영상을 전송하는 방법 및 장치, 영상을 수신하는 방법 및 장치
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2003319416A (ja) * 2002-04-25 2003-11-07 Sharp Corp 立体画像符号化装置および立体画像復号装置
CN101166271A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 一种多视点视频编码中的视点差估计/补偿方法
US20100134493A1 (en) * 2008-12-03 2010-06-03 Samsung Electronics Co., Ltd. Apparatus and method for compensating for crosstalk between views in three dimensional (3D) display apparatus
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法
JP2010130690A (ja) * 2008-11-28 2010-06-10 Korea Electronics Telecommun 多視点映像送受信装置及びその方法
WO2011008065A2 (en) * 2009-07-17 2011-01-20 Samsung Electronics Co., Ltd. Method and apparatus for multi-view video coding and decoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
JP2011519227A (ja) * 2008-04-25 2011-06-30 トムソン ライセンシング 奥行き信号の符号化
US8750632B2 (en) * 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
RU2689191C2 (ru) * 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
KR20110057629A (ko) * 2009-11-24 2011-06-01 엘지전자 주식회사 Ｕｉ 제공 방법 및 디지털 방송 수신기
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
US20110199469A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C Detection and display of stereo images
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
JPWO2012029886A1 (ja) * 2010-09-03 2013-10-31 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2003319416A (ja) * 2002-04-25 2003-11-07 Sharp Corp 立体画像符号化装置および立体画像復号装置
CN101166271A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 一种多视点视频编码中的视点差估计/补偿方法
JP2010130690A (ja) * 2008-11-28 2010-06-10 Korea Electronics Telecommun 多視点映像送受信装置及びその方法
US20100134493A1 (en) * 2008-12-03 2010-06-03 Samsung Electronics Co., Ltd. Apparatus and method for compensating for crosstalk between views in three dimensional (3D) display apparatus
WO2011008065A2 (en) * 2009-07-17 2011-01-20 Samsung Electronics Co., Ltd. Method and apparatus for multi-view video coding and decoding
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李淳,马力妮: "《多视点视频编码技术研究》", 《计算机与现代化》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040787A (zh) * 2017-03-30 2017-08-11 宁波大学 一种基于视觉感知的3d‑hevc帧间信息隐藏方法
CN107040787B (zh) * 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法
CN115442580B (zh) * 2022-08-17 2024-03-26 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Also Published As

Publication number Publication date
WO2012157443A1 (ja) 2012-11-22
US20140085418A1 (en) 2014-03-27
JPWO2012157443A1 (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
CN103563387A (zh) 图像处理设备和图像处理方法
CN103503459A (zh) 图像处理装置和图像处理方法
AU2017204240B2 (en) Decoding device and decoding method, and encoding device and encoding method
US9350972B2 (en) Encoding device and encoding method, and decoding device and decoding method
US9445092B2 (en) Image processing apparatus, image processing method, and program
CN111434111B (zh) 基于量化参数推导的图像编码设备及其方法
US9105076B2 (en) Image processing apparatus, image processing method, and program
CN103430549A (zh) 图像处理装置、图像处理方法和程序
CN104662909A (zh) 用于3d视频的视图间运动预测
CA2952793C (en) Depth picture coding method and device in video coding
US20170310994A1 (en) 3d video coding method and device
CN104601976A (zh) 图像处理装置和图像处理方法
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20140198847A1 (en) Encoding device, encoding method, decoding device, and decoding method
US10397611B2 (en) Method and device for encoding/decoding 3D video
CN104969556A (zh) 处理视频信号的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140205

WD01 Invention patent application deemed withdrawn after publication