CN103069816A - 编码装置、编码方法、解码装置和解码方法 - Google Patents

Abstract

本技术涉及编码装置、编码方法、解码装置和解码方法，它们能够抑制信息量而不降低在对多视点图像进行编码的情况下确保兼容性时使用的视点的图像的图像质量。兼容编码器通过对作为兼容图像的图像A1进行编码，产生兼容流。图像转换单元降低作为辅助图像的图像B1和C1的分辨率。辅助编码器通过对分辨率被降低的辅助图像进行编码，产生辅助图像的编码流。多路复用单元发送辅助图像的兼容流和编码流。本技术可以应用于例如对多视点模式的3D图像进行编码的编码装置。

Description

编码装置、编码方法、解码装置和解码方法

技术领域

本技术涉及编码装置、编码方法、解码装置和解码方法，并且更具体地，涉及能够抑制信息量而没有使尤其当在对多视点图像进行编码的情况下确保兼容性时使用的视点的图像的图像质量劣化的编码装置、编码方法、解码装置和解码方法。

背景技术

当前，作为3D图像观看模式，通常，存在以下模式（下文中，被称为双视点模式）：通过配戴眼镜看到交替显示的两个视点图像，其中左眼快门在显示两个视点图像中的一个图像时打开并且右眼快门在显示另一个图像时打开，

然而，在这种双视点的模式下，观众除了购买3D显示装置之外还需要购买眼镜，因此，观众的购买意愿降低。另外，因为观众需要配戴观看用的眼镜，所以这样使观众感到麻烦。因此，对下述观看模式（下文中，被称为多视点图像）的需求增加，在该观看模式下，可以在不配戴眼镜的情况下观看3D图像。

在多视点模式下，显示多视点图像，使得对于每个视点，可视角度是不同的，并且观众通过用左眼和右眼看任意两个视点的图像，可以在不配戴眼镜的情况下观看3D图像。

例如，提供多视点观看模式的显示装置基于双视点模式下的两个视点的图像，产生多视点模式下的多视点图像，并且显示所产生的多视点图像。更具体地，显示装置使用图像视差估计技术（深度估计）获取双视点模式下的两个视点图像的视差（深度）。然后，显示装置使用两个视点的图像之间的视差和合成技术（视图合成），利用多视点图像产生技术（视图产生）产生与对应于双视点模式下的两个视点的图像的视点相邻的多视点图像的合成图像，并且显示所合成的图像。

现有的编码模式包括高级视频编码（AVC）模式和多视点视频编码（MVC）模式。

图1是示出根据AVC模式对2D图像进行编码并且对编码图像进行解码的图像处理系统的例子的图示。

图1中示出的图像处理系统10是由成像单元11、AVC编码器12和AVC解码器13构成。

图像处理系统10的成像单元11拍摄预定视点的图像A并且将所拍摄的图像供应到AVC编码器12。AVC编码器12根据AVC模式对从成像单元11供应的图像A进行编码，并且将经编码的图像供应到AVC解码器13。AVC解码器13根据与AVC模式对应的模式，对AVC编码器12供应的编码之后的图像A进行解码。AVC解码器13输出被作为解码处理的结果而获取的图像A，从而显示图像。以此方式，观众可以看到2D图像。

图2是示出根据AVC模式对两个视点的图像进行编码并且对图像进行解码的图像处理系统的例子的图示。

图2中示出的图像处理系统20由成像单元21A、成像单元21B、AVC编码器22和AVC解码器23构成。

成像单元21A拍摄预定视点的图像A，将图像的分辨率减半，并且将所得的图像供应到AVC编码器22，作为画面的左半部图像。另外，成像单元21B拍摄与图像A的视点不同的视点的图像B，将图像的分辨率减半，并且将所得的图像供应到AVC编码器22，作为画面的右半部图像。AVC编码器22根据AVC模式对左半部由分辨率被减半的图像A（下文中，被称为半分辨率图像A）构成并且右半部由分辨率被减半的图像B（下文中，被称为半分辨率图像B）的图像进行编码，并且将经编码的图像供应到AVC解码器23。

AVC解码器23根据与AVC模式对应的模式，对AVC编码器22供应的编码之后的图像进行解码。AVC解码器23输出被作为解码处理的结果而获取的图像，并且交替地显示半分辨率图像A和B。此时，例如，观众配戴眼镜使眼镜的左眼快门在显示半分辨率图像A时打开并且使眼镜的右眼快门在显示半分辨率图像B时打开，只用左眼观看半分辨率图像A并且只用右眼观看半分辨率图像B。以此方式，观众可以看到3D图像。

图3是示出根据MVC模式对两个视点的图像进行编码并且对经编码的图像进行解码的图像处理系统的图示。

图3中示出的图像处理系统30由成像单元31A、成像单元31B、MVC编码器32和MVC解码器33构成。

成像单元31A拍摄预定视点的图像A并且将所拍摄的图像供应到MVC编码器32。另外，成像单元31B拍摄与图像A的视点不同的视点的图像B并且将所拍摄的图像供应到MVC编码器32。MVC编码器32根据AVC模式将成像单元31A供应的图像A编码为基础图像（base image），并且根据MVC模式将成像单元31B供应的图像B解码为从属图像（dependent image）。MVC编码器32将编码之后的图像A和B供应到MVC解码器33。

MVC解码器33根据对应于MVC模式的模式，对MVC编码器32供应的编码之后的图像A和B进行解码。MVC解码器33输出作为解码处理的结果而获取的图像A和B并且交替地显示图像。此时，例如，观众配戴眼镜使眼镜的左眼快门在显示图像A时打开并且使眼镜的右眼快门在显示图像B时打开，只用左眼观看图像A并且只用右眼观看图像B。以此方式，观众可以看到3D图像。

图4是示出通过根据MVC模式对两个视点的图像进行编码来产生多视点的图像以及对该图像进行解码的图像处理系统的例子的图示。

图4中示出的图像处理系统40由成像单元31A和31B、MVC编码器32、MVC解码器33、视差检测单元41和图像产生单元42构成。在图4中，为与图3中示出的构造相同的构造分配相同的附图标记，并且将适当地不给出对其的描述。

被作为MVC解码器33执行的解码结果而获取的图像A和B被供应到图像处理系统40的视差检测单元41。视差检测单元41使用图像A和B检测图像A和B的每个像素的视差。视差检测单元41产生代表图像A的每个像素的视差的视差图像A'和代表图像B的每个像素的视差的视差图像B'，并且将所产生的视差图像供应到图像产生单元42。图像产生单元42通过使用作为MVC解码器33执行的解码结果而获取的图像A和B和图像产生单元42供应的视差图像A'和B'，产生数量对应于显示装置（附图中未示出）的多视点的图像。然后，图像产生单元42将所产生的每个视点的图像的分辨率转换成分辨率的“1/视点数量”，合成图像，并且输出合成的图像以进行显示。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众可以通过用他的左眼和右眼看任意两个视点的图像，在没有佩戴眼镜的情况下观看3D图像。

同时，已经设想到用于对多视点图像进行编码的模式（例如，参见专利文献1）。

引用列表

专利文献

专利文献1：日本专利申请特开平No.2008-182669

发明内容

本发明要解决的问题

然而，还没有以下用于对多视点图像进行编码的模式，该模式抑制信息量，而不降低当确保兼容性时使用的视点的图像（例如，一个视点的图像或两个视点的图像）的图像质量。

已经在考虑到这类情形的情况下设计出本技术，并且可以抑制信息量，而不降低在对多视点图像进行编码的情况下确保兼容性时使用的视点的图像的图像质量。

解决问题的方法

根据本技术的第一个方面，提供了一种编码装置，所述编码装置包括：兼容图像编码单元，所述兼容图像编码单元通过根据多视点图像指定兼容图像并且对指定的兼容图像进行编码来产生第一编码流；图像转换单元，所述图像转换单元降低当由兼容图像产生多视点图像时使用的辅助图像的分辨率；辅助图像编码单元，所述辅助图像编码单元通过对分辨率被所述图像转换单元降低的辅助图像进行编码来产生第二编码流；以及发送单元，所述发送单元发送由所述兼容图像编码单元产生的第一编码流和由所述辅助图像编码单元产生的第二编码流。

根据本技术的第一个方面的编码方法对应于根据本技术的第一个方面的编码装置。

在本技术的第一个方面中，指定多视点图像中的兼容图像，通过对指定的兼容流进行编码来产生第一编码流，降低当根据兼容图像产生多视点图像时使用的辅助图像的分辨率，对分辨率被降低的辅助图像进行编码，产生第二编码流，并且发送第一编码流和第二编码流。

根据本发明的第二个方面，提供了一种解码装置，所述解码装置包括：接收单元，所述接收单元接收第一编码流和第二编码流，所述第一编码流是作为对根据多视点图像指定的兼容图像进行编码的结果而获取的，所述第二编码流是作为降低当由所述兼容图像产生多视点图像时使用的辅助图像的分辨率并且对分辨率被降低的辅助图像进行编码的结果而获取的；兼容图像解码单元，所述兼容图像解码单元对所述接收单元接收的第一编码流进行解码；辅助图像解码单元，所述辅助图像解码单元对所述接收单元接收的第二编码流进行解码；以及图像转换单元，所述图像转换单元增大作为由所述辅助图像解码单元进行解码的结果而获取的分辨率被降低的辅助图像的分辨率。

根据本技术的第二个方面的解码方法对应于根据本技术的第二个方面的解码装置。

在本技术的第二个方面中，接收第一编码流和第二编码流，所述第一编码流是作为对多视点图像中指定的兼容图像进行编码的结果而获取的，所述第二编码流是作为当降低由所述兼容图像产生所述多视点图像时使用的辅助图像的分辨率并且对所述辅助图像进行编码的结果而获取的，对第一编码流进行解码，对第二编码流进行解码，并且增大作为解码的结果而获取的分辨率被降低的辅助图像的分辨率。

另外，根据第一个方面的编码装置和根据第二个方面的解码装置可以通过致使计算机执行程序来实现。

此外，可以提供由计算机执行以实现根据第一个方面的编码装置和根据第二个方面的解码装置的程序，通过经由发送介质发送所述程序或者将所述程序记录在记录介质上。

本发明的效果

根据本技术的第一个方面，可以抑制信息量，而不降低当在对多视点图像进行编码的情况下确保兼容性时使用的视点的图像的图像质量。

另外，根据本技术的第二个方面，可以对被编码以抑制信息量而不降低当确保兼容性时使用的视点的图像的图像质量的多视点图像进行解码。

附图说明

图1是示出根据AVC模式对2D图像进行编码并且对经编码的图像进行解码的图像处理系统的例子的图示。

图2是示出根据AVC模式对两个视点的图像进行编码并且对经编码的图像进行解码的图像处理系统的例子的图示。

图3是示出根据MVC模式对两个视点的图像进行编码并且对经编码的图像进行解码的图像处理系统的例子的图示。

图4是示出通过根据MVC模式对两个视点的图像进行编码来产生多视点的图像并且对经编码的图像进行解码的图像处理系统的例子的图示。

图5是示出根据本技术的第一实施方式的编码装置的构造例子的框图。

图6是示出对兼容信息和视差图像信息的描述的例子的图示。

图7是示出对兼容信息的描述的详细例子的图示。

图8是示出对视差图像信息的描述的详细例子的图示。

图9是示出对视点间距离信息的描述的例子的图示。

图10是示出通过图5中示出的编码装置执行的编码处理的流程图。

图11是示出通过图5中示出的编码装置执行的编码处理的流程图。

图12是示出与图5中示出的编码装置对应的解码装置的构造例子的图示。

图13是示出通过图12中示出的解码装置执行的解码处理的流程图。

图14是示出根据本技术的第二实施方式的编码装置的构造例子的框图。

图15是示出由图14中示出的编码装置执行的编码处理的流程图。

图16是示出由图14中示出的编码装置执行的编码处理的流程图。

图17是示出与图14中示出的编码装置对应的解码装置的构造例子的图示。

图18是示出由图17中示出的解码装置执行的解码处理的流程图。

图19是示出根据本技术的第三实施方式的编码装置的构造例子的框图。

图20是示出由图19中示出的编码装置执行的编码处理的流程图。

图21是示出由图19中示出的编码装置执行的编码处理的流程图。

图22是示出与图19中示出的编码装置对应的解码装置的构造例子的图示。

图23是示出由图22中示出的解码装置执行的解码处理的流程图。

图24是示出对兼容信息和视差图像信息的描述的另一个例子的图示。

图25是示出对兼容信息的描述的另一个详细例子的图示。

图26是示出对视差图像信息的描述的另一个详细例子的图示。

图27是示出对视点间距离信息的描述的另一个例子的图示。

图28是示出根据本技术的第四实施方式的编码装置的构造例子的框图。

图29是示出对视差图像信息的描述的又一个例子的图示。

图30是示出由图28中示出的编码装置执行的编码处理的流程图。

图31是示出由图28中示出的编码装置执行的编码处理的流程图。

图32是示出与图28中示出的编码装置对应的解码装置的构造例子的图示。

图33是示出由图32中示出的解码装置执行的解码处理的流程图。

图34是示出对视差图像信息的描述的再一个例子的图示。

图35是示出根据本技术的第五实施方式的编码装置的构造例子的框图。

图36是示出对视差图像信息的描述的详细例子的图示。

图37是示出对视差图像信息的描述的详细例子的图示。

图38是示出由图35中示出的编码装置执行的编码处理的流程图。

图39是示出由图35中示出的编码装置执行的编码处理的流程图。

图40是示出与图35中示出的编码装置对应的解码装置的构造例子的图示。

图41是示出由图40中示出的解码装置执行的解码处理的流程图。

图42是示出根据本技术的第六实施方式的编码装置的构造例子的框图。

图43是示出由图42中示出的编码装置执行的编码处理的流程图。

图44是示出由图42中示出的编码装置执行的编码处理的流程图。

图45是示出与图42中示出的编码装置对应的解码装置的构造例子的图示。

图46是示出由图45中示出的解码装置执行的解码处理的流程图。

图47是示出编码目标的多路复用形式的例子的图示。

图48是示出根据多路复用产生的效果的特征的图示。

图49是示出编码目标的多路复用模式的另一个例子的图示。

图50是示出编码目标的多路复用模式的又一个例子的图示。

图51是示出根据本技术的第七实施方式的编码装置的构造例子的框图。

图52是示出由图51中示出的编码装置执行的编码处理的流程图。

图53是示出由图51中示出的编码装置执行的编码处理的流程图。

图54是示出由图51中示出的编码装置执行的编码处理的流程图。

图55是示出由图54中示出的编码装置执行的编码处理的流程图。

图56是示出比特流的构造例子的图示。

图57是示出对根据图56中示出的视差图像的3DV模式对子集SPS的描述的例子的图示。

图58是示出对图57中示出的视差图像的扩展信息的描述的例子的图示。

图59是示出对图57中示出的视差图像的VUI扩展信息的描述的例子的图示。

图60是示出对根据3DV模式的经编码的数据的NAL头部的描述的例子的图示。

图61是示出对图60中示出的视差图像头部扩展信息的描述的例子的图示。

图62是示出对根据图56中示出的3DV模式的SEI的描述的例子的图示。

图63是示出比特流的另一个构造例子的图示。

图64是对图63中示出的图像的根据3DV模式的子集SPS的描述的例子的图示。

图65是示出在3DV模式是与HEVC模式兼容的模式的情况下比特流的构造例子的图示。

图66是示出对图65中示出的SPS的描述的例子的图示。

图67是示出对图66中示出的子集SPS的描述的例子的图示。

图68是示出对图67中示出的子集SPS的VUI信息的描述的例子的图示。

图69是示出对根据图65中示出的3DV模式的SEI的描述的例子的图示。

图70是示出根据实施方式的计算机的构造例子的图示。

图71是示出根据本技术的电视设备的示意性构造的图示。

图72是示出根据本技术的蜂窝电话的示意性构造的图示。

图73是根据本技术的记录和再现装置的示意性构造的图示。

图74是根据本技术的成像装置的示意性构造的图示。

具体实施方式

<第一实施方式>

[根据第一实施方式的编码装置的构造例子]

图5是示出根据本技术的第一实施方式的编码装置的构造例子的框图。

图5中示出的编码装置50由成像单元51A至51C、图像转换单元52、视差图像产生单元53、图像信息产生单元54、兼容信息产生单元55、视点间距离信息产生单元56、视差图像信息产生单元57、编码器58和多路复用单元59构成。

编码装置50根据现有的编码模式将多视点图像中包括的一个视点的图像编码为2D图像，从而确保与对2D图像进行编码的现有编码装置的兼容性。

下文中，在多视点图像之中，以现有编码模式被编码以确保与现有编码装置的兼容性的图像将被称为兼容图像，并且用于使用兼容图像产生比兼容图像的视点数量多的视点的图像将被称为辅助图像。

在编码装置50中，成像单元51A拍摄预定视点的HD（高清晰度）图像作为图像A1并且将所拍摄的图像供应到图像转换单元52、视差图像产生单元53和视点间距离信息产生单元56。成像单元51B拍摄与图像A1的视点不同的视点的HD图像作为图像B1，成像单元51B所处的位置在水平方向上与成像单元51A分离距离Δd1_AB，并且成像单元51B将所拍摄的图像供应到图像转换单元52、视差图像产生单元53和视点间距离信息产生单元56。成像单元51C拍摄与图像A1和B1的视点不同的视点的HD图像作为图像C1，成像单元51C所处的位置在与成像单元51B相对的水平方向上与成像单元51A分离距离Δd1_AC，并且成像单元51C将所拍摄的图像供应到图像转换单元52、视差图像产生单元53和视点间距离信息产生单元56。

与图像B1和C1对应的视点是可以被识别为3D图像的图像的视点之中的位于外侧的视点。以此方式，对应于编码装置50的解码装置可以通过使用图像A1至C1对比图像B1和C1的视点位于更内侧的视点的图像进行内插，产生多视点图像。结果，与其中使用位于内侧的视点的图像对位于外侧的视点的图像进行内插的情况相比，可以以更高的精度产生多视点图像。距离Δd1_AB和Δd1_AC可以被构造成每次是固定的或者变化的。

图像转换单元52确定成像单元51A供应的图像A1为兼容图像，该成像单元51A在水平方向上的位置位于成像单元51A至51C之中的内侧。图像转换单元52将指定图像A1的信息作为兼容图像供应到兼容信息产生单元55。然后，图像转换单元52直接将作为兼容图像的图像A1供应到编码器58。

另外，图像转换单元52将除了图像A1之外的图像B1和C1设置为辅助图像并且根据预定的多路复用模式多路复用图像B1和C1。更具体地，例如，在多路复用模式是并排模式的情况下，图像转换单元52（图像转换单元）将图像B1和C1中的每个图像的分辨率减半。然后，图像转换单元52（多路复用单元）多路复用分辨率被减半的图像B1（下文中，被称为半分辨率图像B1）和分辨率被减半的图像C1（下文中，被称为半分辨率图像C1），使得半分辨率图像B1变成画面的左半部图像，并且半分辨率图像C1变成画面的右半部图像。图像转换单元52将作为多路复用处理的结果而获取的多路复用图像供应到编码器58并且将代表辅助图像的多路复用模式的信息供应到图像信息产生单元54。

视差图像产生单元53使用成像单元51A至51C供应的图像A1至C1，检测图像A1至C1的每个像素的视差。视差图像产生单元53产生视差图像A1'，视差图像A1'代表作为兼容图像的图像A1的每个像素的视差，并且视差图像产生单元53直接将所产生的视差图像供应到编码器58。另外，视差图像产生单元53（多路复用单元）产生视差图像B1'和视差图像C1'，视差图像B1'代表作为辅助图像的图像B1的每个像素的视差，视差图像C1'代表作为辅助图像的图像C1的每个像素的视差，并且视差图像产生单元53根据预定的多路复用模式多路复用所产生的视差图像。视差图像产生单元53将作为多路复用的处理结果而获取的多路复用图像供应到编码器58。另外，视差图像产生单元53将代表辅助图像的视差图像的多路复用模式的信息供应到视差图像信息产生单元57。

图像信息产生单元54基于图像转换单元52供应的信息，产生代表辅助图像的多路复用模式等的信息作为图像信息，该图像信息是与兼容图像和辅助图像相关的信息，并且图像信息产生单元54将所产生的图像信息供应到编码器58。

兼容信息产生单元55基于图像转换单元52供应的信息，产生指定兼容图像、兼容模式等的信息作为兼容信息，该兼容信息是与兼容性相关的信息，并且兼容信息产生单元55将所产生的兼容信息供应到编码器58。

这里，兼容模式是代表对兼容图像进行编码的方法的模式。作为兼容模式的例子，存在单一模式、帧打包模式和立体模式，单一模式代表其中根据AVC模式对一个视点的兼容图像进行编码的编码方法，帧打包模式代表其中根据AVC模式对两个视点的兼容图像进行多路复用和编码的编码方法，立体模式代表其中根据MVC模式对两个视点的兼容图像进行编码的编码方法。

视点间距离信息产生单元56使用成像单元51A至51C供应的图像A1至C1，检测图像A1至C1之中的两个图像之间的每个视点间距离（下文中，被称为视点间距离）。例如，视点间距离信息产生单元56检测水平方向上的成像单元51A和51B之间的距离Δd1_AB和水平方向上的成像单元51A和51C之间的距离Δd1_AC作为视点间距离。视点间距离信息产生单元56产生代表视点间距离等的信息作为视点间距离信息，该信息是与视点间距离信息相关的信息，并且视点间距离信息产生单元56将所产生的视点间距离信息供应到编码器58。

视差图像信息产生单元57基于视差图像产生单眼53供应的信息，产生代表辅助图像的视差图像的多路复用模式等的信息作为视差图像信息，该信息是与视差图像相关的信息，并且视差图像信息产生单元57将所产生的视差图像信息供应到编码器58。

编码器58由兼容编码器61和辅助编码器62构成。兼容编码器61（兼容图像编码单元）指定图像A1，根据现有的AVC模式对图像A1进行编码，向经编码的图像添加各种信息，并且将作为其结果而获取的编码流作为兼容流（第一编码流）供应到多路复用单元59，所述图像A1是图像转换单元52供应的辅助图像和兼容图像的多路复用图像之中的兼容图像。

辅助编码器62（辅助图像编码单元和视差图像编码单元）根据预定模式，对图像转换单元52供应的辅助图像的多路复用图像和视差图像产生单元53供应的兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像进行编码。作为辅助编码器62采用的编码模式，可以使用AVC模式、MVC模式、MPEG2（运动图像专家组第2阶段）等。

另外，辅助编码器62向作为编码处理的结果而获取的编码图像（第二流和视差编码流）添加图像信息产生单元54供应的图像信息、兼容信息产生单元55供应的兼容信息、视点间距离信息产生单元56供应的视点间距离信息、视差图像信息产生单元57供应的视差图像信息等，从而产生编码流。辅助编码器62将编码流作为辅助流供应到多路复用单元59。

多路复用单元59由兼容编码器61供应的兼容流和辅助编码器62供应的辅助流分别产生TS（传输流），并且多路复用所产生的TS。多路复用单元59（发送单元）发送作为多路复用处理的结果而获取的多路复用流。

[对辅助流中包括的信息的描述的例子]

图6至图8是对在使用AVC模式或MVC模式作为编码模式的情况下辅助流中包括的兼容信息和视差图像信息的描述的例子的图示。

如图6中所示，兼容信息（3DV_view_structure）和视差图像信息（depth_map_structure）被布置在辅助流中包括的SEI（补充增强信息）中。

作为兼容信息（3DV_view_structure），如图7中所示，描述作为编码目标的图像的视点（视图）的数量（num_of_views）、兼容模式、指定兼容图像的信息（compatible_view）等。

另外，作为视差图像信息（depth_map_structure），如图8中所示，描述视差图像（深度图）的数量（num_of_depth_map）、代表视差图像是否被多路复用的标志（is_frame_packing）、视差图像的多路复用系统（frame_packing_mode）、指定被多路复用的视差图像的信息（comb_frame_packing_views）等。作为多路复用模式，存在并排模式（SBS）、上下模式（TOB）等。这里，上下模式是其中将被多路复用的两个图像之中的一个图像设置为画面的上部图像并且将另一个图像设置为画面的下部图像的模式。

图像信息与视差图像信息类似，不同之处在于，图像信息是除了视差图像之外的辅助图像和兼容图像的信息，因此未在图中示出。

图9是示出对在使用AVC模式或MVC模式作为编码模式的情况下辅助流中包括的视点间距离信息的描述的例子的图示。

如图9中所示，与兼容信息、视差图像信息和图像信息类似，视点间距离信息（3DV_view_info）被布置在辅助流中所包括的SEI中。

作为视点间距离信息（3DV_view_info），如图9中所示，描述作为编码目标的图像的视点的数量（num_of_views）、检测到的视点间距离的数量（num_of_view_distance）、对应于视点间距离的两个图像的组合（view[0,1]）的组合、对应于该组合的视点间距离（view_distance[view_distance_id]）等。

[对编码装置处理的描述]

图10和图11是示出由图5中示出的编码装置50执行的编码处理的流程图。例如，当从成像单元51A至51C输出图像A1至C1时开始这个编码处理。

在图10中示出的步骤S11中，视点间距离信息产生单元56使用成像单元51A至51C供应的图像A1至C1，检测距离Δd1_AB和Δd1_AC作为视点间距离。

在步骤S12中，视点间距离信息产生单元56产生代表步骤S11中检测到的视点间距离等的信息作为视点间距离信息，并且将所产生的视点间距离信息输入到编码器58。

在步骤S13中，图像转换单元52确定成像单元51A供应的图像A1为兼容图像并且确定辅助图像的多路复用模式，该成像单元51A在水平方向上的位置位于成像单元51A至51C之中的内侧。图像转换单元52将指定图像A1作为兼容图像的信息供应到兼容信息产生单元55，并且将辅助图像的多路复用模式供应到图像信息产生单元54。

在步骤S14中，兼容信息产生单元55基于图像转换单元52供应的信息，产生指定图像A1作为兼容图像、指定单一模式作为兼容模式等等的信息作为兼容信息，并且将所产生的兼容信息输入到编码器58。

在步骤S15中，图像信息产生单元54基于图像转换单元52供应的信息产生代表辅助图像的多路复用模式等的信息作为图像信息，并且将所产生的图像信息输入到编码器58。

在步骤S16中，图像转换单元52将除了图像A1之外的图像B1和C1设置为辅助图像并且基于步骤S13中确定的辅助图像的多路复用模式多路复用辅助图像，从而获取辅助图像的多路复用图像。

在步骤S17中，图像转换单元52将作为兼容图像的图像A1以及辅助图像的多路复用图像输入到编码器58。

在图11中示出的步骤S18中，视差图像产生单元53使用成像单元51A至51C供应的图像A1至C1检测图像A1至C1的每个像素的视差并且产生视差图像A1'至C1'。

在步骤S19中，视差图像产生单元53确定辅助图像的视差图像的多路复用模式并且将代表多路复用模式的信息供应到视差图像信息产生单元57。

在步骤S20中，视差图像信息产生单元57基于视差图像产生单元53供应的信息产生代表辅助图像的视差图像的多路复用模式等的信息作为视差图像信息，并且将所产生的视差图像信息输入到编码器58。

在步骤S21中，视差图像产生单元53基于步骤S19中确定的辅助图像的视差图像的多路复用模式多路复用辅助图像的视差图像，从而获取辅助图像的视差图像的多路复用图像。

在步骤S22中，视差图像产生单元53将兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像输入到编码器58。

在步骤S23中，编码器58的兼容编码器61根据现有的AVC模式对图像转换单元52供应的作为兼容图像的图像A1进行编码，并且将作为此结果而获取的编码流作为兼容流供应到多路复用单元59。

在步骤S24中，辅助编码器62根据预定模式，对图像转换单元52供应的辅助图像的多路复用图像、视差图像产生单元53供应的兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像进行编码。

在步骤S25中，辅助编码器62向作为通过步骤S24的处理进行的编码处理的结果而获取的编码图像添加图像信息产生单元54供应的图像信息、兼容信息产生单元55供应的兼容信息、视点间距离信息产生单元56供应的视点间距离信息、视差图像信息产生单元57供应的视差图像信息等，从而产生编码流。辅助编码器62将编码流作为辅助流供应到多路复用单元59。

在步骤S26中，多路复用单元59根据兼容编码器61供应的兼容流以及根据辅助编码器62供应的辅助流分别产生TS，多路复用所产生的TS，并且发送所得的流。然后，处理终止。

如上，因为编码装置50在多视点图像中包括的一个视点的图像被设置为兼容图像的情况下根据现有编码模式执行编码，所以可以确保与对2D图像进行编码的现有编码装置的兼容性。换句话讲，编码装置50可以根据与现有编码模式兼容的模式，对多视点图像执行编码。

另外，因为编码装置50对三个视点的图像A1至C1进行编码，所以对应于编码装置50的解码装置可以由三个视点的图像A1至C1产生多视点图像。以此方式，根据解码装置，与由两个视点的图像产生多视点图像的情况相比，可以产生的图像的视点不受限制，并且可以产生具有相对高精度的多视点图像。

此外，因为编码装置50在降低辅助图像的分辨率的情况下对图像进行编码，所以与不降低分辨率的情况下执行编码的情况相比，编码处理和解码处理的处理成本可以降低。例如，在对两个视点的辅助图像进行编码而不降低其分辨率的情况下，在编码处理和解码处理的处理成本与针对两个HD图像进行的编码处理和解码处理的处理成本相同时，由编码装置50执行的对两个视点的辅助图像进行的编码处理的处理成本与针对一个HD图像进行的编码处理或解码处理的处理成本相同。结果，可以防止解码装置执行的解码处理的性能大大影响多视点图像的图像质量。

此外，当多视点图像被合成时，如随后将描述的，对应于编码装置50的解码装置以多视点图像的视点数量的倒数为比率降低分辨率，由此，编码装置50执行降低辅助图像的分辨率的处理没有影响合成之后的多视点图像的图像质量。

另外，因为编码装置50以减半的辅助图像的分辨率进行编码并且在辅助图像的分辨率被减半的同时对辅助图像的视差图像进行编码，所以编码目标的信息量可以被构造成大致与AVC模式的4HD图像（1080i×4）的量。

这里，综合考虑到处理速度、相对于显示多视点图像的当前显示装置的功耗、发送数据速率、发送带宽、存储器的带宽、存储器存取速度等的处理性能和依据此的解码装置，充当可以由解码装置处理的信息量的值被视为是与MVC模式的当前状态下的HD图像对应的量的二倍，也就是说，与AVC模式下的4HD图像对应的量。因此，可以通过合理方法，以合理的处理成本实现对应于编码装置50的解码装置，该编码装置50的编码目标的信息量大约是与AVC模式中的4个HD图像（1080i×4）对应的量。

另外，根据编码装置50，编码目标的信息量减少成与AVC模式中大约4个HD图像（1080i×4）对应的量，因此，编码装置可以容易地作为BD或具有有限可用带宽的广播应用来操作。

此外，因为编码装置50产生视差图像并且在视差图像被包括在编码流中的同时发送视差图像，对应于编码装置50的解码装置不需要产生用于产生多视点图像的视差图像，因此解码装置的处理负载可以减小。结果，解码装置的成本可以降低。另外，可以防止解码装置的视差检测性能大大影响多视点图像的图像质量。

考虑到如上所述的显示装置和解码装置的情形，本技术的主要目的是，通过在考虑到有效处理成本和合理实现技术的情况下在受到限制的前提下使用各种类型的信息如兼容信息，高效产生图像质量提高的多视点图像同时确保与现有格式的兼容性。

[解码装置的构造例子]

图12是示出解码装置的构造例子的图示，该解码装置对从图5中示出的编码装置50发送的多路复用流进行解码。

图12中示出的解码装置120由分离单元121、解码器122、图像信息获取单元123、视点间距离信息获取单元124、视差图像信息获取单元125、兼容信息获取单元126和图像产生单元127构成。解码装置120对编码装置50发送的多路复用流进行解码，产生一个视点的图像或多个视点的图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置120的分离单元121（接收单元）接收编码装置50发送的多路复用流并且分离各个TS。分离单元121从分离的TS中提取兼容流和辅助流，并且将所提取的流供应到解码器122。

解码器122由兼容解码器131和辅助解码器132构成。解码器122的兼容解码器131（兼容图像解码单元）基于用于指定辅助解码器132供应的兼容流的信息，识别分离单元121供应的兼容流和辅助流之中的兼容流。兼容解码器131根据与AVC模式对应的模式，对兼容流中包括的经编码的兼容图像进行解码，并且将作为其结果而获取的图像A1供应到图像产生单元127。

辅助解码器132基于分离单元121供应的辅助流中包括的兼容信息，将用于指定兼容流的信息供应到兼容解码器131。辅助解码器132基于兼容信息，识别分离单元121供应的兼容流和辅助流之中的辅助流。辅助解码器132（辅助图像解码单元）根据与图5中示出的辅助编码器62对应的模式，对分离单元121供应的辅助流中包括的被编码的辅助图像的多路复用图像、兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像进行解码。

辅助解码器132将作为解码处理的结果而获取的辅助图像的多路复用图像、兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像供应到图像产生单元127。另外，辅助解码器132将辅助流中包括的图像信息供应到图像信息获取单元123并且将视点间距离信息供应到视点间距离信息获取单元124。此外，辅助解码器132将辅助流中包括的视差图像信息供应到视差图像信息获取单元125并且将兼容信息供应到兼容信息获取单元126。

图像信息获取单元123获取辅助解码器132供应的图像信息并且将所获取的图像信息供应到图像产生单元127。视点间距离信息获取单元124获取辅助解码器132供应的视点间距离信息并且将所获取的视点间距离信息供应到图像产生单元127。

视差图像信息获取单元125获取辅助解码器132供应的视差图像信息并且将所获取的视差图像信息供应到图像产生单元127。兼容信息获取单元126获取辅助解码器132供应的兼容信息并且将所获取的兼容信息供应到图像产生单元127。

图像产生单元127根据观众供应的指令输出图像，并且在图中未示出的显示装置上显示图像。更具体地，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，根据观众显示多视点模式的3D图像的指令，图像产生单元127通过使用兼容图像、辅助图像的多路复用图像、兼容图像的视差图像和辅助图像的视差图像的多路复用图像，产生与图中未示出的显示装置对应的三个或更多个视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更具体地，图像产生单元127（分离单元）基于代表视差图像信息获取单元125供应的视差图像信息中包括的辅助图像的视差图像的多路复用模式的信息，将每个辅助图像的视差图像与辅助图像的视差图像的多路复用图像分离。另外，图像产生单元127基于代表图像信息获取单元123供应的图像信息中包括的辅助图像的多路复用模式的信息，将每个辅助图像与辅助图像的多路复用图像分离。

此外，图像产生单元127确定将基于视点间距离信息和与图中未示出的显示装置对应的视点的数量而产生的多视点图像的每个视点的位置。然后，图像产生单元127产生每个视点的图像，视点的位置是通过使用兼容图像、每个辅助图像、兼容图像的视差图像和每个辅助图像的视差图像确定的。然后，图像产生单元127将所产生的每个视点的图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，合成图像，并且在图中未示出的显示装置上显示所合成的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众通过用左眼和右眼看任意两个视点的图像，可以在不配戴眼镜的情况下观看3D图像。

另外，根据用户显示2D图像的指令，图像产生单元127输出图像A1即解码器122的兼容解码器131供应的兼容图像，从而在图中未示出的显示装置上显示图像。因此，观众可以看到2D图像。

[对解码装置处理的描述]

图13是示出由图12中示出的解码装置120执行的解码处理的流程图。例如，当从图5中示出的编码装置50发送的多路复用流被输入到解码装置120时，开始这个解码处理。

在图13中示出的步骤S31中，解码装置120的分离单元121接收编码装置50发送的多路复用流并且分离各TS。分离单元121从分离的TS中提取兼容流和辅助流，并且将所提取的流供应到解码器122。解码器122的辅助解码器132基于分离单元121供应的辅助流中包括的兼容信息，将用于指定兼容流的信息供应到兼容解码器131。

在步骤S32中，兼容解码器131基于用于指定辅助解码器132供应的兼容流的信息，识别分离单元121供应的兼容流和辅助流之中的兼容流。

在步骤S33中，兼容解码器131根据与AVC模式对应的模式，对兼容流中包括的兼容图像进行解码，并且将作为解码处理结果而获取的图像A1供应到图像产生单元127。

在步骤S34中，图像产生单元127判定观众是否已进行显示2D图像的指令。在步骤S34中判定观众还没有进行显示2D图像的指令的情况下，换句话说，在观众已经进行显示多视点模式的3D图像的指令的情况下，辅助解码器132基于兼容信息，识别分离单元121供应的兼容流和辅助流之中的辅助流。

在步骤S35中，辅助解码器132根据与图5中示出的辅助编码器62对应的模式，对辅助流中包括的被编码的辅助图像的多路复用图像、兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像进行解码。辅助解码器132将作为解码处理的结果而获取的辅助图像的多路复用图像、兼容图像的视差图像A1'和辅助图像的视差图像的多路复用图像供应到图像产生单元127。另外，辅助解码器132将辅助流中包括的图像信息供应到图像信息获取单元123并且将视点间距离信息供应到视点间距离信息获取单元124。此外，辅助解码器132将辅助流中包括的视差图像信息供应到视差图像信息获取单元125并且将兼容信息供应到兼容信息获取单元126。

在步骤S36中，图像信息获取单元123获取辅助解码器132供应的图像信息并且将图像信息输入到图像产生单元127。在步骤S37中，视点间距离信息获取单元124获取辅助解码器132供应的视点间距离信息并且将视点间距离信息输入到图像产生单元127。

在步骤S38中，视差图像信息获取单元125获取辅助解码器132供应的视差图像信息并且将视差图像信息输入到图像产生单元127。在步骤S39中，兼容信息获取单元126获取辅助解码器132供应的兼容信息并且将兼容信息输入到图像产生单元127。

在步骤S40中，图像产生单元127确定将基于视点间距离信息获取单元124供应的视点间距离信息和与图中未示出的显示装置对应的视点的数量而产生多视点图像的每个视点的位置。例如，在视点间距离信息中包括的视点间距离短的情况下，图像产生单元127还确定位于图像B1和C1的视点外侧的视点的位置为将产生的多视点3D图像的视点的位置。另一方面，在视点间距离信息中包括的视点间距离长的情况下，图像产生单元127只确定位于图像B1和C1内侧的视点的位置作为将产生的多视点3D图像的视点的位置。

在步骤S41中，图像产生单元127基于步骤S40中确定的每个视点的位置、图像信息获取单元123供应的图像信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，通过使用兼容图像、辅助图像的多路复用图像、兼容图像的视差图像和辅助图像的视差图像的多路复用图像，产生视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

在步骤S42中，图像产生单元127将步骤S41中产生的每个视点的图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，并且基于视点的位置，合成在转换之后的每个视点的图像。

在步骤S43中，图像产生单元127将通过步骤S42的处理而获取的合成之后的多视点图像输出到图中未示出的显示装置，从而显示多视点图像，使得对于每个视点，视角是不同的。然后，处理终止。

另一方面，在步骤S34中判定观众已经进行显示2D图像的指令的情况下，在步骤S44中，图像产生单元127将图像A1即兼容解码器131供应的兼容图像输出到图中未示出的显示装置，从而显示图像。然后，处理终止。

在只能对与解码装置120兼容的兼容流进行解码的解码装置中，忽略辅助流的TS，并且只执行步骤S33和S44的处理。

如上，解码装置120可以对由编码装置50根据与现有模式兼容的模式编码的兼容流和辅助流进行解码。

另外，因为解码装置120使用一个视点的兼容图像和两个视点的辅助图像产生多视点图像，所以编码装置50可以除了现有成像单元51A之外还仅准备两个成像单元51B和51C作为产生多视点图像的成像单元，现有成像单元51A拍摄一个视点的兼容图像。因此，安装用于产生多视点图像的成像单元的步骤可以用简单方式以低成本执行。

<第二实施方式>

[根据第二实施方式的编码装置的构造例子]

图14是示出根据本技术的第二实施方式的编码装置的构造例子的框图。

在图14中示出的构造中，为与图5中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图14中示出的编码装置140的构造与图5中示出的构造的主要不同在于，设置成像单元141A至141D、图像转换单元142、视差图像产生单元143、视点间距离信息产生单元144和编码器145来替代成像单元51A至51C、图像转换单元52、视差图像产生单元53、视点间距离信息产生单元56和编码器58。

编码装置140在多视点图像之中的两个视点的图像被设置为兼容图像的情况下根据AVC模式执行编码，从而确保与对双视点模式的3D图像进行编码的现有编码装置的兼容性。

更具体地，编码装置140的成像单元141A拍摄预定视点的HD图像作为图像A2并且将所拍摄的图像供应到图像转换单元142、视差图像产生单元143和视点间距离信息产生单元144。成像单元141B拍摄与图像A2的视点不同的视点的HD图像作为图像B2，成像单元141B所处的位置在水平方向上与成像单元141A分离距离Δd2_AB，并且成像单元141B将所拍摄的图像供应到图像转换单元142、视差图像产生单元143和视点间距离信息产生单元144。

成像单元141C拍摄与图像A2和B2的视点不同的视点的HD图像作为图像C2，成像单元141C所处的位置在与成像单元141A相对的水平方向上与成像单元141B分离距离Δd2_BC，并且成像单元141C将所拍摄的图像供应到图像转换单元142、视差图像产生单元143和视点间距离信息产生单元144。成像单元141D拍摄与图像A2至C2的视点不同的视点的HD图像作为图像D2，成像单元141D所处的位置在与成像单元141B相对的水平方向上与成像单元141A分离距离Δd2_AD，并且成像单元141D将所拍摄的图像供应到图像转换单元142、视差图像产生单元143和视点间距离信息产生单元144。

与图像C2和D2对应的视点是可以被识别为3D图像的图像的视点之中的位于外侧的视点。以此方式，对应于编码装置140的解码装置可以通过使用图像A2至D2对比图像C2和D2的视点位于更内侧的视点的图像进行内插，产生多视点图像。结果，与其中使用位于内侧的视点的图像对位于外侧的视点的图像进行内插的情况相比，可以以更高的精度产生多视点图像。距离Δd2_AB、Δd2_BC和Δd2_AD可以被构造成每次是固定的或者变化的。

图像转换单元142确定成像单元141A供应的图像A2和成像单元141B供应的图像B2为兼容图像，该成像单元51A在水平方向上的位置位于成像单元141A至141D之中的内侧。然后，图像转换单元142根据预定的多路复用模式多路复用作为兼容图像的图像A2和B2，并且将多路复用的图像供应到编码器145。另外，图像转换单元142将指定图像A2和B2为兼容图像的信息供应到兼容信息产生单元55。

另外，图像转换单元142将除了图像A2和B2之外的图像C2和D2设置为辅助图像并且根据预定的多路复用模式多路复用图像C2和D2。图像转换单元142将作为多路复用处理的结果而获取的多路复用图像供应到编码器145。图像转换单元142将代表兼容图像和辅助图像的多路复用模式的信息供应到图像信息产生单元54。

视差图像产生单元143使用成像单元141A至141D供应的图像A2至D2，检测图像A2至D2的每个像素的视差。视差图像产生单元143产生代表作为兼容图像的图像A2的每个像素的视差的视差图像A2'和代表图像B2的每个像素的视差的视差图像B2'，并且根据预定的多路复用模式多路复用视差图像A2'和B2'。视差图像产生单元143将作为此结果而获取的多路复用图像供应到编码器145。

另外，视差图像产生单元143产生代表作为辅助图像的图像C2的每个像素的视差的视差图像C2'和代表作为辅助图像的图像D2的每个像素的视差的视差图像D2'，并且根据预定的多路复用模式多路复用视差图像C2'和D2'。视差图像产生单元143将作为此结果而获取的多路复用图像供应到编码器145。视差图像产生单元143将代表兼容图像和辅助图像的视差图像的多路复用模式的信息供应到视差图像信息产生单元57。

视点间距离信息产生单元144使用成像单元141A至141D供应的图像A2至D2，检测图像A2至D2之间的每个视点间距离。例如，视点间距离信息产生单元144检测水平方向上的成像单元141A和141B之间的距离Δd2_AB、水平方向上的成像单元141B和141C之间的距离Δd2_BC和水平方向上的成像单元141A和141D之间的距离Δd2_AD作为视点间距离。视点间距离信息产生单元144产生代表视点间距离等的信息作为视点间距离信息，并且将所产生的视点间距离信息供应到编码器145。

编码器145由兼容编码器151和辅助编码器152构成。兼容编码器151指定图像转换单元142供应的兼容图像的多路复用图像和辅助图像的多路复用图像之中的兼容图像的多路复用图像，根据现有的AVC模式对兼容图像的多路复用图像进行编码，向其添加各种类型的信息，并且将所获取的所得的编码流作为兼容流供应到多路复用单元59。

辅助编码器152根据预定模式，对图像转换单元142供应的辅助图像的多路复用图像和视差图像产生单元143供应的兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像进行编码。作为辅助编码器152采用的编码模式，例如，可以使用AVC模式、MVC模式等。

另外，辅助编码器152向作为编码处理的结果而获取的编码图像添加图像信息产生单元54供应的图像信息、兼容信息产生单元55供应的兼容信息、视点间距离信息产生单元144供应的视点间距离信息、视差图像信息产生单元57供应的视差图像信息等，从而产生编码流。辅助编码器152将编码流作为辅助流供应到多路复用单元59。

[对编码装置处理的描述]

图15和图16代表示出由图14中示出的编码装置140执行的编码处理的流程图。例如，当从成像单元141A至141D输出图像A2至D2时开始这个编码处理。

在图15中示出的步骤S51中，视点间距离信息产生单元144使用成像单元141A至141D供应的图像A2至D2，检测距离Δd2_AB、Δd2_BC和Δd2_AD作为视点间距离。

在步骤S52中，视点间距离信息产生单元144产生代表步骤S51中检测到的视点间距离等的信息作为视点间距离信息，并且将所产生的视点间距离信息输入到编码器145。

在步骤S53中，图像转换单元142确定成像单元141A供应的图像A2和成像单元141B供应的图像B2为兼容图像并且确定兼容图像和辅助图像的多路复用模式，该成像单元141A在水平方向上的位置位于成像单元141A至141D之中的内侧。图像转换单元142将指定图像A2和B2作为兼容图像的信息供应到兼容信息产生单元55，并且将兼容图像和辅助图像的多路复用模式供应到图像信息产生单元54。

在步骤S54中，兼容信息产生单元55基于图像转换单元142供应的信息，产生指定图像A2和B2作为兼容图像、指定帧打包模式作为兼容模式等等的信息作为兼容信息，并且将所产生的兼容信息输入到编码器145。

在步骤S55中，图像转换单元142基于步骤S53中确定的兼容图像的多路复用模式，多路复用作为兼容图像的图像A2和B2，并且将多路复用图像供应到编码器145。

在步骤S56中，图像信息产生单元54基于图像转换单元142供应的信息，产生代表兼容图像和辅助图像的多路复用模式等的信息作为图像信息，并且将所产生的图像信息输入到编码器145。

在步骤S57中，图像转换单元142将除了图像A2和B2之外的图像C2和D2设置为辅助图像，并且基于步骤S53中确定的辅助图像的多路复用模式多路复用辅助图像，从而获取辅助图像的多路复用图像。

在步骤S58中，图像转换单元142将兼容图像的多路复用图像和辅助图像的多路复用图像输入到编码器145。

在图16中示出的步骤S59中，视差图像产生单元143使用成像单元141A至141D供应的图像A2至D2检测图像A2至D2的每个像素的视差并且产生视差图像A2'至D2'。

在步骤S60中，视差图像产生单元143确定兼容图像的视差图像和辅助图像的视差图像的多路复用模式并且将代表多路复用模式的信息供应到视差图像信息产生单元57。

在步骤S61中，视差图像信息产生单元57基于视差图像产生单元143供应的信息，产生代表兼容图像的视差图像和辅助图像的视差图像的多路复用模式等的信息作为视差图像信息，并且将所产生的视差图像信息输入到编码器145。

在步骤S62中，视差图像产生单元143基于步骤S60中确定的兼容图像的视差图像的多路复用模式，多路复用兼容图像的视差图像A2'和B2'，并且基于辅助图像的视差图像的多路复用模式，多路复用辅助图像的视差图像C2'和D2'。

在步骤S63中，视差图像产生单元143将作为步骤S62中示出的多路复用处理的结果而获取的兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像输入到编码器145。

在步骤S64中，编码器145的兼容编码器151根据现有的AVC模式对图像转换单元142供应的兼容图像的多路复用图像进行编码，并且将作为此结果而获取的编码流作为兼容流供应到多路复用单元59。

在步骤S65中，辅助编码器152根据预定模式，对图像转换单元142供应的辅助图像的多路复用图像和视差图像产生单元53供应的兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像进行编码。然后，处理前进至步骤S66。

步骤S66和S67的处理与图11中示出的步骤S25和S26的处理相同，因此将不再给出对其的描述。

如上，因为编码装置140根据现有编码模式将多视点图像之中的两个视点的图像编码为兼容图像，所以可以确保与对双视点模式的3D图像进行编码的现有编码装置的兼容性。

另外，因为编码装置140对四个视点的图像A2至D2进行编码，所以对应于编码装置140的解码装置可以由四个视点的图像A2至D2产生多视点图像。以此方式，根据该解码装置，与其中由两个视点的图像产生多视点图像的情况相比，可以产生的图像的视点不受限制，并且可以产生具有相对高精度的多视点图像。

[解码装置的构造例子]

图17是示出解码装置的构造例子的图示，该解码装置对图14中示出的编码装置140发送的多路复用流进行解码。

在图17中示出的构造中，为与图12中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图17中示出的解码装置170的构造与图12中示出的构造的主要不同在于，设置图像产生单元171来替代图像产生单元127。解码装置170通过对编码装置140发送的多路复用流进行解码，产生两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置170的图像产生单元171根据观众提供的显示指令来输出图像，从而在显示装置（未示出）上显示图像。当更详细描述时，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，根据观众显示多视点模式的3D图像的指令，图像产生单元171通过使用兼容图像的多路复用图像、辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像，产生与显示装置（未示出）对应的三个或更多个视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更具体地，图像产生单元171基于代表视差图像信息获取单元125供应的视差图像信息中包括的辅助图像的视差图像的多路复用模式的信息，将每个辅助图像的视差图像与辅助图像的视差图像的多路复用图像分离。另外，图像产生单元171基于代表视差图像信息中包括的兼容图像的视差图像的多路复用模式的信息，将每个兼容图像的视差图像与兼容图像的视差图像的多路复用图像分离。

此外，图像产生单元171基于代表图像信息获取单元123供应的图像信息中包括的辅助图像的多路复用模式的信息，将每个辅助图像与辅助图像的多路复用图像分离。另外，图像产生单元171基于代表图像信息中包括的兼容图像的多路复用模式的信息，将每个兼容图像与兼容图像的多路复用图像分离。

此外，图像产生单元171基于视点间距离信息和与图中未示出的显示装置对应的视点的数量确定所要产生的多视点图像的每个视点的位置。然后，图像产生单元171产生每个视点的图像，每个视点的位置是通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像确定的。然后，图像产生单元171将所产生的多视点图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，合成图像，并且在图中未示出的显示装置上显示所合成的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众通过用左眼和右眼看任意两个视点的图像，可以在不配戴眼镜的情况下观看3D图像。

另外，图像产生单元171根据观众提供的显示双视点模式的3D图像的指令，基于图像信息获取单元123供应的图像信息，将解码器122供应的兼容图像的多路复用图像分成图像A2和B2，图像A2和B2的分辨率是兼容图像的分辨率的一半。然后，图像产生单元171交替地输出分辨率是兼容图像的分辨率的一半的分离的图像A2和B2，从而在图中未示出的显示装置上显示分离的图像。此时，观众通过配戴眼镜可以观看3D图像，该眼镜使得在显示图像A2时打开左眼快门和右眼快门中的一个并且在显示图像B2时打开另一个，从而观看在显示装置上交替显示的图像A2和B2，

[对解码装置处理的描述]

图18是示出图17中示出的解码装置170执行的解码处理的流程图。例如，当图14中示出的编码装置140发送的多路复用流被输入到解码装置170时，开始这个解码处理。

图18中示出的步骤S81至S83的处理与图13中示出的步骤S31至S33的处理相同，因此将不再给出对其的描述。

在步骤S83的处理之后，在步骤S84中，图像产生单元171判定观众是否已经进行显示双视点模式的3D图像的指令。在步骤S84中判定观众还没有进行显示双视点模式的3D图像的指令的情况下，换句话讲，在已经进行显示多视点模式的3D图像的指令的情况下，处理前进至步骤S85。步骤S85至S93的处理与图13中示出的步骤S35至S43的处理相同，因此将不再给出对其的描述。

另一方面，在步骤S84中判定观众已经进行显示双视点模式的3D图像的指令的情况下，处理前进至步骤S94。

在步骤S94中，图像产生单元171基于代表图像信息获取单元123供应的图像信息中包括的兼容图像的多路复用模式的信息，分离作为兼容解码器131执行的解码处理的结果而获取的兼容图像的多路复用图像。

在步骤S95中，图像产生单元171将作为兼容图像的图像A2和B2交替输出到图中未示出的显示装置，从而显示图像，图像A2和B2的分辨率是分离的兼容图像的分辨率的一半。然后，处理终止。

另外，在可以只对与解码装置170兼容的兼容流进行解码的解码装置中，忽略辅助流的TS，并且只执行S83、S94和S95的处理。然而，在这种情况下，在步骤S94的处理中，不是基于图像信息中包括的兼容图像的多路复用模式而是基于预先确定的兼容图像的多路复用模式，分离兼容图像的多路复用图像。

如上，解码装置170可以根据与现有模式兼容的模式，对被编码装置140编码的兼容流和辅助流进行解码。

另外，因为解码装置170使用两个视点的兼容图像和两个视点的辅助图像产生多视点图像，除了拍摄两个视点的兼容图像的现有成像单元141A和141B之外，所以编码装置140可以只准备两个成像单元141C和141D作为产生多视点图像的成像单元。因此，安装用于产生多视点图像的成像单元的步骤可以用简单方式以低成本执行。

<第三实施方式>

[根据第三实施方式的编码装置的构造例子]

图19是示出根据本技术的第三实施方式的编码装置的构造例子的框图。

在图19中示出的构造中，为与图5或图14中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图19中示出的编码装置180的构造与图14中示出的构造的主要不同在于，设置图像转换单元181和编码器182来替代图像转换单元142和编码器145。编码装置180通过根据MVC模式将多视点图像之中的两个视点的图像编码为兼容图像来确保与对双视点模式的3D图像进行编码的现有编码装置的兼容性。

更具体地，与图14中示出的图像转换单元142类似，编码装置180的图像转换单元181确定成像单元141A供应的图像A2和成像单元141B供应的图像B2为兼容图像，该成像单元141A在水平方向上的位置位于成像单元141A至141D之中的内侧。然后，图像转换单元181直接将作为兼容图像的图像A2和B2供应到编码器182。另外，与图像转换单元142类似，图像转换单元181将指定图像A2和B2为兼容图像的信息供应到兼容信息产生单元55。

另外，与图像转换单元142类似，图像转换单元181将除了图像A2和B2之外的图像C2和D2设置为辅助图像并且根据预定的多路复用模式多路复用辅助图像。图像转换单元181将作为多路复用处理的结果而获取的多路复用图像供应到编码器182，并且将代表辅助图像的多路复用模式的信息供应到图像信息产生单元54。

编码器182由兼容编码器191和辅助编码器152构成。编码器182的兼容编码器191指定图像转换单元142供应的兼容图像和辅助图像的多路复用图像之中的兼容图像，并且根据现有的AVC模式将兼容图像之中的图像A2编码为基础图像，并且根据现有的MVC模式将图像B2编码为从属图像。兼容编码器191通过向作为编码处理的结果而获取的编码图像添加各种类型的信息来产生编码流，并且将编码流作为兼容流供应到多路复用单元59。

[对编码装置处理的描述]

图20和图21是示出由图19中示出的编码装置180执行的编码处理的流程图。例如，当从成像单元141A至141D输出图像A2至D2时开始这个编码处理。

图20中示出的步骤S111和S112的处理与图15中示出的步骤S51和S52的处理相同，因此将不再给出对其的描述。

在步骤S112的处理之后，在步骤S113中，图像转换单元181确定成像单元141A供应的图像A2和成像单元141B供应的图像B2为兼容图像并且确定辅助图像的多路复用模式，该成像单元141A在水平方向上的位置位于成像单元141A至141D之中的内侧。图像转换单元181将指定图像A2和B2为兼容图像的信息供应到兼容信息产生单元55，并且将辅助图像的多路复用模式供应到图像信息产生单元54。然后，处理前进至步骤S114。

步骤S114至S117的处理与图10中示出的步骤S14至S17的处理相同，因此将不再给出对其的描述。步骤S118至S122的处理与图16中示出的步骤S59至S63的处理相同，因此将不再给出对其的描述。

在步骤S122的处理之后，在步骤S123中，编码器182的兼容编码器191根据现有的AVC模式将图像转换单元181供应的兼容图像之中的图像A2编码为基础图像，并且根据现有的MVC模式将图像B2编码为从属图像。兼容编码器191通过向作为编码处理的结果而获取的编码图像添加各种类型的信息来产生编码流，并且将编码流作为兼容流供应到多路复用单元59。然后，处理前进至步骤S124。

步骤S124至S126的处理与图16中示出的步骤S65至S67的处理相同，因此将不再给出对其的描述。

如上，因为编码装置180根据现有编码模式将多视点图像之中的两个视点的图像编码为兼容图像，所以可以确保与对双视点模式的3D图像进行编码的现有编码装置的兼容性。

[解码装置的构造例子]

图22是示出解码装置的构造例子的图示，该解码装置对图19中示出的编码装置180发送的多路复用流进行解码。

在图22中示出的构造中，为与图12中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图22中示出的解码装置200的构造与图12中示出的构造的主要不同在于，设置解码器201和图像产生单元202来替代解码器122和图像产生单元127。解码装置200通过对编码装置180发送的多路复用流进行解码，产生两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置200的解码器201由兼容解码器211和辅助解码器132构成。与图12中示出的兼容解码器131类似，解码器201的兼容解码器211基于用于指定辅助解码器132供应的兼容流的信息，识别分离单元121供应的兼容流和辅助流之中的兼容流。兼容解码器211根据与MVC模式对应的模式，对兼容流中包括的经编码的兼容图像进行解码，并且将作为解码处理的结果而获取的图像A2和B2供应到图像产生单元202。

图像产生单元202根据观众提供的显示指令来输出图像，从而在图中未示出的显示装置上显示图像。当更详细描述时，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，根据观众显示多视点模式的3D图像的指令，图像产生单元202通过使用兼容图像、辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像，产生与图中未示出的显示装置对应的三个或更多个视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更具体地，图像产生单元202基于代表视差图像信息获取单元125供应的视差图像信息中包括的辅助图像的视差图像的多路复用模式的信息，将每个辅助图像的视差图像与辅助图像的视差图像的多路复用图像分离。另外，图像产生单元202基于代表视差图像信息中包括的兼容图像的视差图像的多路复用模式的信息，将每个兼容图像的视差图像与兼容图像的视差图像的多路复用图像分离。

此外，图像产生单元202基于代表图像信息获取单元123供应的图像信息中包括的辅助图像的多路复用模式的信息，将每个辅助图像与辅助图像的多路复用图像分离。另外，图像产生单元202确定将基于视点间距离信息和与图中未示出的显示装置对应的视点的数量而产生的多视点图像的每个视点的位置。然后，图像产生单元202产生每个视点的图像，图像的位置是通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像确定的。然后，与图像产生单元127类似，图像产生单元202将所产生的多视点图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，合成经转换的图像，并且在图中未示出的显示装置上显示所合成的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众通过用左眼和右眼看任意两个视点的图像，可以在不配戴眼镜的情况下观看3D图像。

另外，图像产生单元202根据观众提供的显示双视点模式的3D图像的指令，交替地输出解码器122供应的作为兼容图像的图像A2和B2，从而在图中未示出的显示装置上显示图像。此时，观众通过配戴眼镜使左眼快门和右眼快门中的一个在显示图像A2时打开并且使另一个在显示图像B2时打开并且观看交替显示在显示装置上的图像A2和B2，可以观看3D图像。

[对解码装置处理的描述]

图23是示出由图22中示出的解码装置200执行的解码处理的流程图。例如，当图19中示出的编码装置180发送的多路复用流被输入到解码装置200时，开始这个解码处理。

步骤S141至S153的处理与图18中示出的步骤S81至S93的处理相同，因此将不再给出对其的描述。

在步骤S144中判定观众已经进行显示双视点模式的3D图像的指令的情况下，处理前进至步骤S154。在步骤S154中，图像产生单元202将作为兼容解码器211执行的解码处理的结果而获取的兼容图像的图像A2和B2交替输出到图中未示出的显示装置，从而显示图像。

在只能对与解码装置200兼容的兼容流进行解码的解码装置中，忽略辅助流的TS，并且只执行步骤S143和S154的处理。

如上，解码装置200可以对编码装置180根据与现有模式兼容的模式编码的兼容流和辅助流进行解码。

<兼容信息、视差图像信息、图像信息和视点间距离信息的另一个布置例子>

在上述描述中，尽管兼容信息、视差图像信息、图像信息、视点间距离信息已经被描述为被包括在辅助流中，但是上述信息可以被包括在TS中。在这种情况下，例如，兼容信息、视差图像信息、图像信息和视点间距离信息被用辅助流的TS的包内的PMT（节目映射表）或SIT（选择信息表）的描述符描述。

图24至图26是示出在用PMT的描述符描述兼容信息、视差图像信息、图像信息和视点间距离信息的情况下对兼容信息和视差图像信息的描述的例子的图示。

如图24中所示，在用PMT的描述符描述兼容信息和视差图像信息的情况下，其中布置有兼容信息的描述符（3DV_view_structure_descriptor）和其中布置有视差图像信息的描述符（depth_map_structure_descriptor）被设置为PMT的描述符。

在图25中示出的描述符（3DV_view_structure_descriptor）中，在描述符标签（descriptor_tag）和描述符长度（descriptor_length）之后，作为编码目标的图像的视点的数量（num_of_views）、兼容模式（compatible_mode）、指定兼容图像的信息（compatible_view）等被描述为兼容信息。

另外，在描述符（depth_map_structure_descriptor）中，如图26中所示，在描述符标签和描述符长度之后，视差图像的数量（num_of_depth_map）、代表视差图像是否被多路复用的标签（is_frame_packing）、视差图像的多路复用模式（frame_packing_mode）、指定被多路复用的视差图像的信息（comb_frame_packing_views）等被描述为视差图像信息。

另外，图像信息与视差图像信息相同，除了图像信息不是视差图像的信息，而是兼容图像和辅助图像的信息，因此在图中未示出图像信息。

图27是示出在用PMT的描述符描述兼容信息、视差图像信息、图像信息和视点间距离信息的情况下对视点间距离信息的描述的例子的图示。

如图27中所示，在用PMT的描述符描述视点间距离信息的情况下，其中布置有视点间距离信息的描述符（3DV_view_info_descriptor）被设置为PMT的描述符。

在描述符（3DV_view_info_descriptor）中，在描述符标签和描述符长度之后，作为编码目标的图像的视点的数量（num_of_views）、检测到的视点间距离的数量（num_of_view_distance）、与视点间距离对应的两个图像的组合（view[0,1]）、与该组合对应的视点间距离（view_distance[view_distance_id]）等被描述为视点间距离信息。

例如，根据本技术的解码装置可以应用于显示装置或再现装置，如，电视接收器。

可以组合根据第一实施方式至第三实施方式的编码装置和解码装置。在这种情况下，解码装置根据兼容信息中包括的兼容模式，选择兼容解码器。

另外，在第一实施方式至第三实施方式中，尽管辅助图像和视差图像的分辨率降低并且图像被多路复用，但是在不多路复用图像的情况下，可以只降低其分辨率。此外，视差图像的分辨率可以不降低。

另外，图像信息、视点间距离信息、视差图像信息和兼容信息可以在没有被编码的情况下在与编码流的系统不同的系统中发送。此外，图像信息、视点间距离信息、视差图像信息和兼容信息可以被编码并且在与编码流的系统不同的系统中发送。

另外，图像信息、视点间距离信息、视差图像信息和兼容信息可以在不被编码的情况下在不同于编码流的上述区域之外的区域（头部、用户数据等）中描述，并且可以被编码并且在编码流的区域中进行描述。此外，图像信息、视点间距离信息、视差图像信息和兼容信息可以被作为除了编码流之外的辅助信息来发送。

<第四实施方式>

[根据第四实施方式的编码装置的构造例子]

图28是示出根据本技术的第四实施方式的编码装置的构造例子的框图。

在图28中示出的构造中，为与图5中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图28中示出的编码装置300的构造与图5中示出的构造的主要不同在于，布置图像转换单元301、视差图像产生单元302、图像信息产生单元303、视差图像信息产生单元304和编码器305来替代图像转换单元52、视差图像产生单元53、图像信息产生单元54、视差图像信息产生单元57和编码器58。

编码装置300在不多路复用图像的情况下对分辨率降低的辅助图像和辅助图像的视差图像进行编码，并且发送代表对辅助图像和辅助图像的视差图像进行编码时的分辨率不同于兼容图像等的分辨率的信息。

更具体地，与图5中示出的图像转换单元52类似，编码装置300的图像转换单元301确定成像单元51A供应的图像A1为兼容图像。与图像转换单元52类似，图像转换单元301将指定图像A1为兼容图像的信息供应到兼容信息产生单元55。然后，与图像转换单元52类似，图像转换单元301直接将作为兼容图像的图像A1供应到编码器305。

另外，图像转换单元301将除了图像A1之外的图像B1和C1设置为辅助图像并且将其水平方向上的分辨率减半。然后，图像转换单元301将作为其结果而获取的半分辨率图像B1和半分辨率图像C1供应到编码器305。另外，图像转换单元301将代表辅助图像的分辨率的转换模式的信息和代表编码时辅助图像的分辨率不同于兼容图像的分辨率的信息供应到图像信息产生单元303。

与图5中示出的视差图像产生单元53类似，视差图像产生单元302使用成像单元51A至51C供应的图像A1至C1，检测图像A1至C1的每个像素的视差。与视差图像产生单元53类似，视差图像产生单元302产生视差图像A1'，并且直接将所产生的视差图像供应到编码器305。另外，视差图像产生单元302产生视差图像B1'和C1'，并且将其在水平方向上的分辨率减半。视差图像产生单元302将分辨率减半的视差图像B1'（下文中，被称为半分辨率图像B1'）和C1'（下文中，被称为半分辨率图像C1'）供应到编码器305。另外，视差图像产生单元302将代表辅助图像的视差图像的分辨率的转换模式的信息和代表对辅助图像的视差图像进行编码时的分辨率不同于兼容图像的分辨率的信息供应到视差图像信息产生单元304。

图像信息产生单元303（设置单元）基于图像转换单元301供应的信息，产生代表辅助图像的分辨率的转换模式的信息、代表编码时的辅助图像的分辨率是否不同于兼容图像的分辨率等的信息（辅助图像分辨率识别信息）作为图像信息。图像信息产生单元303将图像信息供应到编码器305。

视差图像信息产生单元304基于视差图像产生单元302供应的信息，产生代表辅助图像的视差图像的分辨率的转换模式的信息、代表编码时的视差图像的分辨率是否不同于兼容图像的分辨率等的信息（辅助视差图像转换模式信息）作为视差图像信息。视差图像信息产生单元304将视差图像信息供应到编码器305。

编码器305由兼容编码器61和辅助编码器311构成。辅助编码器311根据预定模式，对图像转换单元301供应的半分辨率图像B1和半分辨率图像C1和视差图像产生单元302供应的兼容图像的视差图像A1'、半分辨率图像B1'和半分辨率图像C1'进行编码。作为辅助编码器311采用的编码模式，可以使用AVC模式、MVC模式、与MPEG2兼容的模式等。

另外，与图5中示出的辅助编码器62类似，辅助编码器311向作为编码处理的结果而获取的编码图像添加图像信息产生单元303供应的图像信息、兼容信息产生单元55供应的兼容信息、视点间距离信息产生单元56供应的视点间距离信息、视差图像信息产生单元304供应的视差图像信息等，从而产生编码流。辅助编码器311将编码流作为辅助流供应到多路复用单元59。

[对视差图像信息的描述的例子]

图29是示出在使用与AVC模式或MVC模式兼容的模式作为编码模式的情况下图28中示出的编码装置300中的辅助流中包括的视差图像信息的描述的例子的图示。

如图29中所示，作为视差图像信息（depth_map_structure），描述视差图像的数量（num_of_depth_map）、代表视差图像是否被多路复用的标签（is_frame_packing）、视差图像的分辨率的转换模式（decimation_mode）、指定分辨率降低的视差图像的信息（comb_decimated_views）、编码分辨率标签（is_decimated）（辅助视差图像分辨率识别信息）等，编码分辨率标签是代表编码时的分辨率是否不同于兼容图像的分辨率的标签。作为分辨率的转换模式，存在水平半模式、垂直半模式、水平-垂直1/4模式等，在水平半模式中水平方向上的分辨率被减半，在垂直半模式中垂直方向上的分辨率被减半，在水平-垂直1/4模式中水平方向上的分辨率和垂直方向上的分辨率被减半等。

另外，在编码装置300中，图像信息与视差图像信息相同，不同之处在于，图像信息不是视差图像的信息，而是兼容图像和辅助图像的信息，因此将不再对其给出描述。

[对编码装置处理的描述]

图30和图31是示出由图28中示出的编码装置300执行的编码处理的流程图。例如，当从成像单元51A至51C输出图像A1至C1时开始这个编码处理。

图30和图31中示出的编码处理与图10和图11中示出的编码处理相似，不同之处在于，确定分辨率的转换模式而非多路复用模式，并且辅助图像和辅助图像的视差图像没有被多路复用。

更具体地，图30中的步骤S211和S212的处理与图10中示出的步骤S11和S12的处理相同，并且，在步骤S213中，图像转换单元301确定成像单元51A供应的图像A1为兼容图像并且确定辅助图像的分辨率的转换模式。图像转换单元301将指定图像A1为兼容图像的信息供应到兼容信息产生单元55并且将辅助图像的分辨率的转换模式供应到图像信息产生单元303。另外，图像转换单元301确定辅助图像没有被多路复用并且将代表编码时辅助图像的分辨率不同于兼容图像的分辨率的信息供应到图像信息产生单元303。

步骤S214和S215的处理与图10中示出的步骤S14和S15的处理相同，并且，在步骤S216中，图像转换单元301在除了图像A1之外的图像B1和C1被设置为辅助图像的情况下基于步骤S213中确定的辅助图像的分辨率的转换模式，降低辅助图像的分辨率。在步骤S217中，图像转换单元301将作为兼容图像的图像A1和分辨率被降低的辅助图像输入到编码器305。

图31中示出的步骤S218的处理与图11中示出的步骤S18的处理相同，并且在步骤S219中，视差图像产生单元302确定辅助图像的视差图像的分辨率的转换模式，并且将代表转换模式的信息供应到视差图像信息产生单元304。另外，视差图像产生单元302确定辅助图像的视差图像没有被多路复用，并且将代表编码时辅助图像的视差图像的分辨率不同于兼容图像的分辨率的信息供应到视差图像信息产生单元304。

步骤S220的处理与图11中示出的步骤S20的处理相同，并且在步骤S221中，视差图像产生单元302基于步骤S219中确定的辅助图像的视差图像的分辨率的转换模式，降低辅助图像的视差图像的分辨率。在步骤S222中，视差图像产生单元302将分辨率被降低的辅助图像的视差图像和兼容图像的视差图像A1'输入到编码器305。

步骤S223至S226的处理与图11中示出的步骤S23至S26的处理相同。

如上，因为辅助图像和视差图像的分辨率被降低，所以编码装置300可以抑制编码结果的信息量而不提高压缩率。结果，可以防止由于压缩率提高而导致压缩应变效应增加而使图像质量劣化。另外，因为兼容图像没有被降低，所以可以保持兼容图像的图像质量为高图像质量。这类似地应用于编码装置50、140和180。

[解码装置的构造例子]

图32是示出解码装置的构造例子的图示，该解码装置对图28中示出的编码装置300发送的多路复用流进行解码。

在图32中示出的构造中，为与图12中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图32中示出的解码装置320的构造与图12中示出的构造的主要不同在于，设置解码器321和图像产生单元322来替代解码器122和图像产生单元127。解码装置320对编码装置300发送的多路复用流进行解码，产生一个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置320的解码器321由兼容解码器131和辅助解码器331构成。与图12中示出的辅助解码器132类似，辅助解码器331基于分离单元121供应的辅助流中包括的兼容信息，将用于指定兼容流的信息供应到兼容解码器131。与辅助解码器132类似，辅助解码器331基于兼容信息，识别分离单元121供应的兼容流和辅助流之中的辅助流。

辅助解码器331基于辅助流中包括的图像信息和视差图像信息，根据与图28中示出的辅助编码器311对应的模式，将作为辅助流中包括的经编码的辅助图像的半分辨率图像B1和半分辨率图像C1、兼容图像的视差图像A1'、以及半分辨率图像B1'和半分辨率图像C1'解码为辅助图像的视差图像。

辅助解码器331将作为解码处理的结果而获取的分辨率被降低的辅助图像和兼容图像的视差图像A1'和分辨率被降低的辅助图像的视差图像供应到图像产生单元322。另外，与辅助解码器132类似，辅助解码器331将辅助流中包括的图像信息供应到图像信息获取单元123并且将视点间距离信息供应到视点间距离信息获取单元124。此外，与辅助解码器132类似，辅助解码器331将辅助流中包括的视差图像信息供应到视差图像信息获取单元125并且将兼容信息供应到兼容信息获取单元126。

图像产生单元322根据观众发出的显示指令输出图像，从而在图中未示出的显示装置上显示图像。更具体地，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，根据观众显示多视点模式的3D图像的指令，图像产生单元322通过使用兼容图像、分辨率被降低的辅助图像、兼容图像的视差图像和分辨率被降低的辅助图像的视差图像，产生与图中未示出的显示装置对应的三个或更多个视点的图像，每个图像的分辨率与兼容图像的分辨率相同。

当更详细描述时，图像产生单元322（图像转换单元）基于分辨率的转换模式和代表编码时视差图像的分辨率不同于视差图像信息获取单元125供应的视差图像信息中包括的兼容图像的分辨率的信息，通过增大已经被降低的辅助图像的视差图像的分辨率，获取分辨率与兼容图像的分辨率相同的辅助图像的视差图像。另外，图像产生单元322基于分辨率的转换模式和代表编码时辅助图像的分辨率不同于图像信息获取单元123供应的图像信息中包括的兼容图像的分辨率的信息，通过增大已经被降低的辅助图像的分辨率，获取分辨率与兼容图像的分辨率相同的辅助图像。

此外，图像产生单元322基于与图中未示出的显示装置对应的视点的数量和视点间距离信息确定要产生的多视点图像的每个视点的位置。然后，图像产生单元322通过使用兼容图像、分辨率与兼容图像的分辨率相同的每个辅助图像、兼容图像的视差图像和每个辅助图像的视差图像产生位置被确定的每个视点的图像。然后，图像产生单元322将所产生的每个视点的图像的分辨率转换成作为兼容图像的分辨率的“1/视点数量”的分辨率，合成经转换的图像，并且在图中未示出的显示装置上显示所得的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众可以通过用他的左眼和右眼看任意两个视点的图像，在没有佩戴眼镜的情况下观看3D图像。

另外，图像产生单元322根据观众提供的显示2D图像的指令，输出图像A1即解码器321的兼容解码器131供应的兼容图像，从而在图中未示出的显示装置上显示图像。因此，观众可以观看2D图像。

[对解码装置处理的描述]

图33是示出由图32中示出的解码装置320执行的解码处理的流程图。例如，当图28中示出的编码装置300发送的多路复用流被输入到解码装置320时，开始这个解码处理。

图33中示出的解码处理与图13中示出的解码处理相似，不同之处在于，基于辅助流中包括的图像信息和视差信息，对辅助图像和视差图像进行解码，并且基于图像信息和视差图像信息，增大辅助图像和辅助图像的视差图像的分辨率。

更具体地，图33中示出的步骤S231至S234的处理与图13中示出的步骤S31至S34的处理相同，并且在步骤S235中，辅助解码器331基于辅助流中包括的图像信息和视差图像信息，根据与图28中示出的辅助编码器311对应的模式，对辅助流中包括的经编码的辅助图像、兼容图像的视差图像A1'和辅助图像的视差图像进行解码。

更具体地，在图像信息中包括的经编码的分辨率标签是代表编码时的分辨率不同于兼容图像的分辨率的标签，辅助解码器331基于分辨率的转换模式设置编码目标的分辨率。例如，在分辨率的转换模式是水平半模式的情况下，作为兼容图像在水平方向上的分辨率的一半的分辨率被设置为编码目标的分辨率。另一方面，在图像信息中包括的经编码的分辨率标签是代表编码时的分辨率没有不同于兼容图像的分辨率的标签的情况下，辅助解码器331将编码目标的分辨率设置成与兼容图像的分辨率相同的分辨率。类似地，辅助解码器331基于视差图像信息中包括的经编码的分辨率标签，设置编码目标的分辨率。

辅助解码器331基于所设置的编码目标的分辨率，对辅助图像、兼容图像的视差图像A1'和辅助图像的视差图像进行解码。辅助解码器331将作为解码结果而获取的辅助图像、兼容图像的视差图像A1'和分辨率被降低的辅助图像的视差图像供应到图像产生单元322。另外，辅助解码器331将辅助流中包括的图像信息供应到图像信息获取单元123并且将视点间距离信息供应到视点间距离信息获取单元124。此外，辅助解码器331将辅助流中包括的视差图像信息供应到视差图像信息获取单元125并且将兼容信息供应到兼容信息获取单元126。

步骤S236至S239的处理与图13中示出的步骤S36至S39的处理相同，并且在步骤S240中，图像产生单元322基于分辨率的转换模式和代表编码时辅助图像的分辨率是否不同于图像信息获取单元123供应的图像信息中包括的兼容图像的分辨率的信息，增大已经被降低的辅助图像的分辨率，从而获取分辨率与兼容图像的分辨率相同的辅助图像。

在步骤S241中，图像产生单元322基于分辨率的转换模式和代表编码时辅助图像的视差图像的分辨率是否不同于视差图像信息获取单元125供应的视差图像信息中包括的兼容图像的分辨率的信息，增大已经被降低的辅助图像的视差图像的分辨率，从而获取分辨率与兼容图像的分辨率相同的辅助图像的视差图像。

步骤S242的处理与图13中示出的步骤S40的处理相同，并且在步骤S243中，图像产生单元322基于步骤S242中确定的每个视点的位置、兼容信息获取单元126供应的兼容信息等，通过使用兼容图像、分辨率与兼容图像的分辨率相同的辅助图像、兼容图像的视差图像和辅助图像的视差图像，产生分辨率与兼容图像的分辨率相同的每个视点的图像。

步骤S244至S246的处理与图13中示出的步骤S42至S44的处理相同。

在只能解码与解码装置320兼容的兼容流的解码装置中，忽略辅助流的TS，并且只执行步骤S233和S246的处理。

如上，解码装置320可以对由编码装置300根据与现有模式兼容的模式编码的兼容流和辅助流进行解码。

[视差图像信息的布置的另一个例子]

在上述的描述中，在第四实施方式中，尽管与第一实施方式至第三实施方式类似地，兼容信息、视差图像信息、图像信息和视点间距离信息被包括在辅助流中，这种信息可以被包括在TS中。在这种情况下，例如，用辅助流的TS的包中包括的PMT或SIT的描述符，描述兼容信息、视差图像信息、图像信息和视点间距离信息。

图34是示出在用PMT的描述符描述兼容信息、视差图像信息、图像信息和视点间距离信息的情况下其中布置有视差图像信息的描述符（depth_map_structure_descriptor）的描述的例子的图示。

如图34中所示，在描述符（depth_map_structure_descriptor）中，在描述符标签和描述符长度之后，视差图像的数量（num_of_depth_map）、代表视差图像是否被多路复用的标签（is_frame_packing）、视差图像的分辨率的转换模式（decimation_mode）、指定分辨率已经被降低的视差图像的信息（comb_decimated_views）、经编码的分辨率标签（is_decimated）等被描述为视差图像信息。

在第四实施方式中，尽管辅助图像和辅助图像的视差图像没有被多路复用，但是图像可以被多路复用。在这种情况下，在图像信息和视差图像信息中，包括代表多路复用模式的信息和指定多路复用视差图像的信息。然后，解码装置320基于图像信息和视差图像信息，分离作为解码处理的结果而获取的辅助图像和辅助图像的视差图像，增大被分离的辅助图像和视差图像的分辨率，并且使用所得的图像产生每个视点的图像。

在第四实施方式中，尽管类似地根据第一实施方式，经编码的分辨率标签等被包括在图像信息和视差图像信息中，但是根据第二实施方式和第三实施方式，经编码的分辨率标签等也可以被包括在图像信息和视差图像信息中。另外，在第四实施方式中，尽管当产生每个视点的图像时辅助图像和辅助图像的视差图像的分辨率增大，但是在产生每个视点的图像时执行的转换分辨率的步骤可以是增大或减小分辨率的转换步骤，只要该转换步骤是使得用于产生处理的所有图像都具有相同分辨率的转换步骤。另外，在第一实施方式至第三实施方式中，与第四实施方式类似地，当产生每个视点的图像时转换分辨率。在第一实施方式至第三实施方式中，尽管与第四实施方式类似地，产生分辨率是兼容图像的分辨率的一半的每个视点的图像，但是可以产生分辨率与兼容图像的分辨率相同的每个视点的图像。

<第五实施方式>

[根据第五实施方式的编码装置的构造例子]

图35是示出根据本技术的第五实施方式的编码装置的构造例子的框图。

在图35中示出的构造中，为与图14中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图35中示出的编码装置440的构造与图14中示出的构造的主要不同在于，布置视差图像产生单元441和编码器442来替代视差图像产生单元143和编码器145。编码装置440没有在空间方向上多路复用兼容图像的视差图像，但是在时间方向上多路复用兼容图像的视差图像，并且对多路复用的视差图像进行编码。

更具体地，编码装置440的视差图像产生单元441使用成像单元141A至141D供应的图像A2至D2，检测图像A2至D2的每个像素的视差。视差图像产生单元441基于检测结果，产生作为兼容图像的图像A2的视差图像A2'和图像B2的视差图像B2'和作为辅助图像的图像C2的视差图像C2'和图像D2的视差图像D2'。

另外，与图14中示出的视差图像产生单元143类似，视差图像产生单元441根据预定的多路复用模式在空间方向上多路复用视差图像C2'和D2'。另外，视差图像产生单元441在时间方向上多路复用视差图像A2'和B2'和辅助图像的视差图像的多路复用图像。视差图像产生单元441将作为此结果而获取的多路复用图像作为时间多路复用图像供应到编码器442，在所述多路复用图像中，在一帧的时间内存在对应于一帧的视差图像A2'和B2'和辅助图像的视差图像的多路复用图像。

另外，视差图像产生单元441将代表作为兼容图像和辅助图像的视差图像的多路复用模式的辅助图像的视差图像的多路复用模式和时间方向上的多路复用模式（下文中，被称为帧顺序模式）的信息供应到视差图像信息产生单元57。

编码器442由兼容编码器151和辅助编码器451构成。编码器442的辅助编码器451根据3DV模式对图像转换单元142供应的辅助图像的多路复用图像和视差图像产生单元441供应的时间多路复用图像进行编码。这里，3DV模式是用于根据与AVC模式或MVC模式兼容的多视点的模式对显示图像进行编码的模式。辅助编码器451将作为编码处理的结果而获取的编码流作为辅助流供应到多路复用单元443。

多路复用单元443通过使用兼容编码器151供应的兼容流、辅助编码器451供应的辅助流、图像信息产生单元54供应的图像信息、兼容信息产生单元55供应的兼容信息、视点间距离信息产生单元56供应的视点间距离信息、视差图像信息产生单元57产生的视差图像信息等，产生TS。多路复用单元443多路复用所产生的TS并且发送作为多路复用处理的结果而获取的多路复用流。

下文中，图像信息、兼容信息、视点间距离信息和视差图像信息将被统称为辅助信息。

[对视差图像信息的描述的例子]

图36是示出用PMT的描述符描述辅助信息的情况下图35中示出的编码装置440中的视差图像信息的描述的例子的图示。

如图36中所示，在其中布置有视差图像信息的描述符（depth_map_structure_descriptor）中，与图25的情况类似，在描述符标签（descriptor_tag）和描述符长度（descriptor_length）之后，描述视差图像信息。另外，与图25的情况类似，视差图像的数量（num_of_depth_map）、代表视差图像是否被多路复用的标签（is_frame_packing）、视差图像的多路复用模式（frame_packing_mode）、指定被多路复用的视差图像的信息（comb_frame_packing_views）等被描述为视差图像信息。然而，作为视差模式的多路复用模式，不仅描述并排模式（SBS）或上下模式（TOB），而且还描述帧顺序模式。

在图35中示出的编码装置440中，尽管辅助信息被包括在TS中，但是辅助信息可以被包括在辅助流中。

图37是示出在辅助信息被包括在辅助流中的情况下辅助流中包括的视差图像信息的描述的例子的图示。

在这种情况下，如图6中所示，视差图像信息（depth_map_structure）例如被布置在辅助流中包括的SEI中。

另外，如图37中所示，视差图像（depth map）的数量（num_of_depth_map）、代表视差图像是否被多路复用的标签（is_frame_packing）、视差图像的多路复用系统（frame_packing_mode）、指定被多路复用的视差图像的信息（comb_frame_packing_views）等被描述为视差图像信息（depth_map_structure）。然而，作为多路复用模式，与图36的情况类似，不仅描述并排模式（SBS）或上下模式（TOB），而且还描述帧顺序模式。

尽管在图中未示出，但是除了图像信息不是视差图像而是兼容图像和辅助图像的信息之外，图像信息与视差图像信息相同。

[对编码装置处理的描述]

图38和图39是示出由图35中示出的编码装置440执行的编码处理的流程图。例如，当从成像单元141A至141D输出图像A2至D2时开始这个编码处理。

图38和图39中示出的步骤S451至S455的处理与图15和图16中示出的步骤S51至S55的处理相同，因此将不再给出对其的描述。

在步骤S456中，图像信息产生单元54基于图像转换单元142供应的信息，产生代表兼容图像和辅助图像的多路复用模式等的信息作为图像信息，并且将所产生的图像信息输入到多路复用单元443。然后，处理前进至步骤S457。

步骤S457至S459的处理与图15和图16中示出的步骤S57至S59的处理相同，因此将不再给出对其的描述。

在图39中示出的步骤S460中，视差图像产生单元441确定辅助图像的视差图像的多路复用模式和兼容图像的视差图像和辅助图像的视差图像的多路复用图像的多路复用模式，并且将代表多路复用模式的信息供应到视差图像信息产生单元57。

在步骤S461中，视差图像信息产生单元57基于视差图像产生单元441供应的信息，产生代表辅助图像的视差图像的多路复用模式和兼容图像的视差图像和辅助图像的视差图像的多路复用图像的多路复用模式等的信息作为视差图像信息，并且将所产生的视差图像信息输入到多路复用单元443。

在步骤S462中，视差图像产生单元441基于步骤S460中确定的多路复用模式，在空间方向上多路复用辅助图像的视差图像C2'和D2'，并且在时间方向上多路复用兼容图像的视差图像A2'和B2'和辅助图像的视差图像的多路复用图像。

在步骤S463中，视差图像产生单元441将作为步骤S462的多路复用处理的结果而获取的时间多路复用图像输入到编码器442。

在步骤S464中，编码器442的兼容编码器151根据现有的AVC模式，对图像转换单元142供应的兼容图像的多路复用图像进行编码，并且将作为此结果而获取的编码流作为兼容流供应到多路复用单元443。

在步骤S465中，辅助编码器451根据3DV模式，对图像转换单元142供应的辅助图像的多路复用图像和视差图像产生单元441供应的时间多路复用图像进行编码。辅助编码器451将作为编码处理的结果而获取的编码流作为辅助流供应到多路复用单元443。

在步骤S466中，多路复用单元443由兼容编码器151供应的兼容流和辅助编码451供应的辅助流和辅助信息产生TS，对TS执行多路复用处理，并且发送作为此结果而获取的多路复用流。这个多路复用流例如被记录在BD等上或者被作为广播流发送。然后，处理终止。

[解码装置的构造例子]

图40是示出解码装置的构造例子的图示，该解码装置对图35中示出的编码装置440发送的多路复用流进行解码。

在图40中示出的构造中，为与图17中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图40中示出的解码装置460的构造与图17中示出的构造的主要不同在于，设置分离单元461、解码器462和图像产生单元463来替代分离单元121、解码器122和图像产生单元171。解码装置460通过对编码装置440发送的多路复用流进行解码，产生两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置460的分离单元461接收编码装置440发送的多路复用流并且分离各TS。分离单元461从分离的TS中提取兼容流和辅助流并且将所提取的流供应到解码器462。另外，分离单元461提取TS中包括的辅助信息，将辅助信息中包括的图像信息供应到图像信息获取单元123，并且将视点距离信息供应到视点间距离信息获取单元124。此外，分离单元461将辅助信息中包括的视差图像信息供应到视差图像信息获取单元125并且将兼容信息供应到兼容信息获取单元126和解码器462。

解码器462由兼容解码器471和辅助解码器472构成。解码器462的兼容解码器471基于分离单元461供应的兼容信息，识别分离单元461供应的兼容流和辅助流之中的兼容流。兼容解码器471根据与AVC模式对应的模式，对兼容流中包括的经编码的兼容图像进行解码，并且将作为解码处理的结果而获取的兼容图像的多路复用图像供应到图像产生单元463。

辅助解码器472基于分离单元461供应的兼容信息，识别分离单元461供应的兼容流和辅助流之中的辅助流。辅助解码器472根据与图35中示出的辅助编码器451对应的模式，对分离单元461供应的辅助流中包括的被编码的辅助图像的多路复用图像和时间多路复用图像进行解码。辅助解码器472将作为解码处理的结果而获取的辅助图像的多路复用图像和时间多路复用图像供应到图像产生单元463。

图像产生单元463根据观众提供的指令输出图像并且在图中未示出的显示装置上显示图像。当更详细描述时，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，根据观众显示多视点模式的3D图像的指令，图像产生单元463通过使用兼容图像的多路复用图像、辅助图像的多路复用图像和时间多路复用图像，产生与图中未示出的显示装置对应的三个或更多个视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更详细地描述，图像产生单元463基于代表帧顺序模式为视差图像信息获取单元125供应的视差图像信息中包括的兼容图像的视差图像和辅助图像的视差图像的多路复用图像的多路复用模式的信息，将作为兼容图像的视差图像的视差图像A2'和B2'和辅助图像的视差图像的多路复用图像与时间多路复用图像分离。然后，图像产生单元463基于视差图像信息中包括的辅助图像的视差图像的多路复用模式，将视差图像C2'和D2'与辅助图像的视差图像的多路复用图像分离。

另外，与图17中示出的图像产生单元171类似，图像产生单元463基于代表图像信息获取单元123供应的图像信息中包括的辅助图像的多路复用模式的信息，将每个辅助图像与辅助图像的多路复用图像分离。此外，与图像产生单元171类似，图像产生单元463基于代表图像信息中包括的兼容图像的多路复用模式的信息，将每个兼容图像与兼容图像的多路复用图像分离。

此外，与图像产生单元171类似，图像产生单元463基于视点间距离信息和与图中未示出的显示装置对应的视点数量确定要产生的多视点图像的每个视点的位置。然后，与图像产生单元171类似，图像产生单元463通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像产生位置被确定的每个视点的图像。然后，与图像产生单元171类似，图像产生单元463将所产生的多视点图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，合成图像，并且在图中未示出的显示装置上显示所合成的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众可以通过用他的左眼和右眼看任意两个视点的图像，从而在没有佩戴眼镜的情况下观看3D图像。

另外，与图像产生单元171类似，图像产生单元463根据观众提供的显示双视点模式的3D图像的指令，基于图像信息获取单元123供应的图像信息，将解码器462供应的兼容图像的多路复用图像分离成分辨率是兼容图像的分辨率的一半的图像A2和B2。然后，与图像产生单元171类似，图像产生单元463交替地输出分辨率是兼容图像的分辨率的一半的图像A2和B2，从而在图中未示出的显示装置上显示分离的图像。此时，观众通过配戴眼镜使左眼快门和右眼快门中的一个在显示图像A2时打开并且使另一个在显示图像B2时打开并且观看交替显示在显示装置上的图像A2和B2，可以观看3D图像。

[对解码处理的描述]

图41是示出由图40中示出的解码装置460执行的解码处理的流程图。例如，当图35中示出的编码装置440发送的多路复用流被输入到解码装置460时开始这个解码处理。

在图41中示出的步骤S471中，解码装置460的分离单元461接收编码装置50发送的多路复用流并且分离各TS。分离单元461将分离的TS中包括的兼容流和辅助流供应到解码器462。另外，分离单元461提取TS中包括的辅助信息，将辅助信息中包括的图像信息供应到图像信息获取单元123，并且将视点距离信息供应到视点间距离信息获取单元124。此外，分离单元461将辅助信息中包括的视差图像信息供应到视差图像信息获取单元125并且将兼容信息供应到兼容信息获取单元126和解码器462。

在步骤S472中，兼容解码器471基于分离单元461供应的兼容信息，识别分离单元461供应的兼容流和辅助流之中的兼容流。

在步骤S473中，兼容解码器471根据与AVC模式对应的模式，对兼容流中包括的兼容图像进行解码，并且将作为解码处理的结果而获取的兼容图像的多路复用图像供应到图像产生单元463。

在步骤S474中，图像产生单元463判定观众是否已发出显示双视点模式的3D图像的指令。在步骤S474中判定观众还没有进行显示双视点模式的3D图像的指令的情况下，换句话讲，在已经发出显示多视点模式的3D图像的指令的情况下，辅助解码器472基于兼容信息，识别分离单元461供应的兼容流和辅助流之中的辅助流。

然后，在步骤S475中，辅助解码器472从辅助流中提取被编码的辅助图像的多路复用图像和时间多路复用图像，并且根据与图2中示出的辅助编码器62对应的模式，对所提取的多路复用图像进行解码。辅助解码器472将作为解码处理的结果而获取的辅助图像的多路复用图像和时间多路复用图像供应到图像产生单元127，并且处理前进至步骤S476。

在步骤S476中，图像信息获取单元123获取分离单元461供应的图像信息并且将所获取的图像信息输入到图像产生单元463。在步骤S477中，视点间距离信息获取单元124获取分离单元461供应的视点间距离信息并且将所获取的视点间距离信息输入到图像产生单元463。

在步骤S478中，视差图像信息获取单元125获取分离单元461供应的视差图像信息并且将所获取的视差图像信息输入到图像产生单元463。在步骤S479中，兼容信息获取单元126获取分离单元461供应的兼容信息并且将所获取的兼容信息输入到图像产生单元463。

在步骤S480中，图像产生单元463基于视点间距离信息获取单元124供应的视点间距离信息和与图中未示出的显示装置对应的视点数量确定将产生的多视点图像的每个视点的位置。

在步骤S481中，图像产生单元463基于步骤S480中确定的每个视点的位置、图像信息获取单元123供应的图像信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，通过使用兼容图像的多路复用图像、辅助图像的多路复用图像和时间多路复用图像，产生视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

步骤S482和S483与图18中示出的步骤S92和S93相同，因此将不再给出对其的描述。

在步骤S474中判定观众已经发出显示双视点模式的3D图像的指令的情况下，在步骤S484中，图像信息获取单元123获取分离单元461供应的图像信息并且将所获取的图像信息输入到图像产生单元463。

步骤S485和S486的处理与图18中示出的步骤S94和S95的处理相同，因此将不再给出对其的描述。

另外，在只能对与解码装置460兼容的兼容流进行解码的解码装置中，忽略辅助流，并且只执行步骤S473、S484和S485的处理。然而，在这种情况下，在步骤S484的处理中，基于预先确定的多路复用模式，分离兼容图像的多路复用图像。

<第六实施方式>

[根据第六实施方式的编码装置的构造例子]

图42是示出根据本技术的第六实施方式的编码装置的构造例子的框图。

在图42中示出的构造中，为与图35中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图42中示出的编码装置480的构造与图35中示出的构造的主要不同在于，设置视差图像产生单元481、编码器482和视差图像信息产生单元483来替代视差图像产生单元143、编码器145和视差图像信息产生单元57。编码装置480对示出兼容图像共同的视差值的共同视差图像和辅助图像的共同视差图像进行解码。

更具体地，编码装置480的视差图像产生单元481使用成像单元141A至141D供应的图像A2至D2，检测图像A2和B2之间的每个像素的视差和图像C2和D2之间的每个像素的视差。视差图像产生单元481产生由代表图像A2和B2之间的每个像素的视差的视差值形成的视差图像作为兼容图像的共同视差图像AB2'，并且将所产生的共同视差图像供应到编码器482。另外，视差图像产生单元481产生由代表图像C2和D2之间的每个像素的视差的视差值形成的视差图像作为辅助图像的共同视差图像CD2'，并且将所产生的共同视差图像供应到编码器482。

此外，视差图像产生单元481将代表兼容图像和辅助图像的视差图像是共同视差图像的信息供应到视差图像信息产生单元483。

编码器482由兼容编码器151和辅助编码器491构成。辅助编码器491根据3DV模式，对图像转换单元142供应的辅助图像的多路复用图像和视差图像产生单元481供应的兼容图像的共同视差图像AB2'和辅助图像的共同视差图像CD2'进行编码。辅助编码器491将作为此结果而获取的编码流作为辅助流供应到多路复用单元443。

视差图像信息产生单元483基于视差图像产生单元53供应的信息，产生代表兼容图像和辅助图像的视差图像是共同视差图像等的信息作为视差图像信息，并且将所产生的视差图像信息供应到多路复用单元443。

[对编码装置处理的描述]

图43和图44代表示出由图42中示出的编码装置480执行的编码处理的流程图。例如，当从成像单元141A至141D输出图像A2至D2时开始这个编码处理。

图43中示出的步骤S491至S498的处理与图38中示出的步骤S451至S458的处理相同，因此将不再给出对其的描述。

在图44中示出的步骤S499中，视差图像产生单元481使用成像单元141A至141D供应的图像A2至D2，检测图像A2和B2之间的每个像素的视差和图像C2和D2之间的每个像素的视差。然后，视差图像产生单元481产生由代表图像A2和B2之间的每个像素的视差的视差值形成的共同视差图像AB2'和由代表图像C2和D2之间的每个像素的视差的视差值形成的共同视差图像CD2'。

在步骤S500中，视差图像信息产生单元483基于视差图像产生单元481供应的信息，产生代表兼容图像和辅助图像的视差图像是共同视差图像等的信息作为视差图像信息，并且将所产生的视差图像信息供应到多路复用单元443。

在步骤S501中，视差图像产生单元481将步骤S499中产生的辅助图像的共同视差图像CD2'和兼容图像的共同视差图像AB2'输入到编码器482。

在步骤S502中，编码器482的兼容编码器151根据现有的AVC模式，对图像转换单元142供应的兼容图像的多路复用图像进行编码，并且将作为此结果而获取的编码流作为兼容流供应到多路复用单元443。

在步骤S503中，辅助编码器491根据3DV模式，对图像转换单元142供应的辅助图像的多路复用图像和视差图像产生单元481供应的兼容图像的共同视差图像和辅助图像的共同视差图像进行编码。辅助编码器491将作为该编码处理的结果而获取的编码流作为辅助流供应到多路复用单元443。

在步骤S504中，多路复用单元443根据兼容编码器151供应的兼容流和辅助编码器491供应的辅助流和辅助信息产生TS，对其执行多路复用处理，并且发送作为此结果而获取的多路复用流。例如，这个多路复用流被记录在BD等上或者被作为广播流发送。然后，处理终止。

[解码装置的构造例子]

图45是示出解码装置的构造例子的图示，该解码装置对图42中示出的编码装置480发送的多路复用流进行解码。

在图45中示出的构造中，为与图40中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图45中示出的解码装置500的构造与图40中示出的构造的主要不同在于，设置解码器501和图像产生单元502来替代解码器122和图像产生单元171。解码装置500通过对编码装置480发送的多路复用流进行解码来产生两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置500的解码器501由兼容解码器471和辅助解码器511构成。解码器501的辅助解码器511基于分离单元461供应的兼容信息，识别分离单元461供应的兼容流和辅助流之中的兼容流。另外，辅助解码器511根据与图42中示出的辅助编码器491对应的模式，对辅助流中包括的辅助图像的多路复用图像、兼容图像的共同视差图像AB2'和辅助图像的共同视差图像CD2'进行解码。辅助解码器511将作为解码处理的结果而获取的辅助图像的多路复用图像和共同视差图像AB2'和CD2'供应到图像产生单元502。

图像产生单元502根据观众提供的指令来输出图像，并且在图中未示出的显示装置上显示图像。当更详细描述时，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息等，根据观众显示多视点模式的3D图像的指令，图像产生单元502通过使用兼容图像的多路复用图像、辅助图像的多路复用图像和共同视差图像AB2'和CD2'，产生与图中未示出的显示装置对应的三个或更多个视点的图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更详细地描述，图像产生单元502基于视差图像信息获取单元125供应的视差图像信息中包括的代表兼容图像和辅助图像的视差图像是共同视差图像的信息，保持共同视差图像AB2'和CD2'不变。

另外，与图17中示出的图像产生单元171类似，图像产生单元502基于代表图像信息获取单元123供应的图像信息中包括的辅助图像的多路复用模式的信息，将每个辅助图像与辅助图像的多路复用图像分离。此外，与图像产生单元171类似，图像产生单元502基于代表图像信息中包括的兼容图像的多路复用模式的信息，将每个兼容图像与兼容图像的多路复用图像分离。

此外，与图像产生单元171类似，图像产生单元502基于视点间距离信息和与图中未示出的显示装置对应的视点数量确定将产生的多视点图像的每个视点的位置。然后，图像产生单元502产生每个视点的图像，各个视点的位置是通过使用每个兼容图像、每个辅助图像、共同视差图像AB2'和共同视差图像CD2'确定的。然后，与图像产生单元171类似，图像产生单元502将所产生的多视点图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，合成图像，并且在图中未示出的显示装置上显示所合成的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众通过用左眼和右眼看任意两个视点的图像，可以在不配戴眼镜的情况下观看3D图像。

另外，与图像产生单元171类似，图像产生单元502根据观众提供的显示双视点模式的3D图像的指令，基于图像信息获取单元123供应的图像信息，将解码器501供应的兼容图像的多路复用图像分成分辨率是兼容图像的分辨率的一半的图像A2和B2。然后，与图像产生单元171类似，图像产生单元502交替地输出分辨率是兼容图像的分辨率的一半的分离的图像A2和B2，从而在图中未示出的显示装置上显示分离的图像。此时，观众通过配戴眼镜使得在显示图像A2时打开左眼快门和右眼快门中的一个并且在显示图像B2时打开另一个，从而观看在显示装置上交替显示的图像A2和B2，可以观看3D图像。

[对解码装置处理的描述]

图46是示出由图45中示出的解码装置500执行的解码处理的流程图。例如，当图42中示出的编码装置480发送的多路复用流被输入到解码装置500时，开始这个解码处理。

图46中示出的步骤S511至S514的处理与图41中示出的步骤S471至S474的处理类似，因此将不再给出对其的描述。

在步骤S515中，辅助解码器511提取被编码的辅助图像的多路复用图像、兼容图像的共同视差图像AB2'和辅助图像的共同视差图像CD2'，并且根据与图42中示出的辅助编码器491对应的模式，对所提取的图像进行解码。辅助解码器511将作为解码处理的结果而获取的辅助图像的多路复用图像、共同视差图像AB2'和共同视差图像CD2'供应到图像产生单元502。

步骤S516至S520的处理与图41中示出的步骤S476至S480的处理类似，因此将不再给出对其的描述。

在步骤S520的处理之后，在步骤S521中，基于步骤S519中确定的每个视点的位置、图像信息获取单元123供应的图像信息、视差图像信息获取单元125供应的视差图像信息和兼容信息获取单元126供应的兼容信息等，图像产生单元502通过使用兼容图像、辅助图像的多路复用图像、共同视差图像AB2'和共同视差图像CD2'，产生每个视点的图像，图像的分辨率是兼容图像或辅助图像的分辨率的一半。

步骤S522至S526的处理与图41中示出的步骤S482至S486的处理类似，因此将不再给出对其的描述。

尽管与编码装置140类似，编码装置440和480对两个视点的兼容图像进行多路复用和编码，但是与图19中示出的编码装置180类似，编码装置440和480可以在不对两个视点的兼容图像进行多路复用的情况下对它们进行编码。另外，与图5中示出的编码装置50类似，编码装置440和480可以对一个视点的兼容图像进行编码。

另外，编码装置140和180可以在不对兼容图像和辅助图像的视差图像进行多路复用的情况下对上述视差图像进行编码。此外，编码装置50可以在不对辅助图像的视差图像进行多路复用的情况下对上述的视差图像进行编码。

<编码目标的多路复用形式的例子>

图47是示出在兼容图像的视点数量是2并且辅助图像的视点数量是2的情况下编码目标的多路复用形式的例子的图示。

如图47的（1）中所示，图14中示出的编码装置140在空间方向上多路复用作为兼容图像的图像A2和B2，并且根据AVC模式对多路复用图像进行编码。另外，编码装置140在空间方向上多路复用作为辅助图像的图像C2和D2、作为兼容图像的视差图像的视差图像A2'和B2'和作为辅助图像的视差图像的视差图像C2'和D2'，并且根据与MVC模式兼容的3DV模式，对多路复用图像进行编码。

此外，如图47的（2）中所示，编码装置140可以根据与MVC模式兼容的3DV模式，对视差图像A2'至D2'进行编码，而没有多路复用视差图像。另外，如图47的（3）中所示，图42中示出的编码装置480可以对共同视差图像AB2'进行编码，而不是对作为兼容图像的视差图像的视差图像A2'和B2'进行编码，并且对共同视差图像CD2'进行编码，而不是对作为辅助图像的视差图像的视差图像C2'和D2'进行编码。

此外，如图47的（4）中所示，图35中示出的编码装置440根据帧顺序模式，多路复用视差图像A2'和B2'和辅助图像的视差图像的多路复用图像，而没有在空间方向上多路复用作为兼容图像的视差图像的视差图像A2'和B2'，并且根据与MVC模式兼容的3DV模式，对多路复用图像进行编码。

如图47的（5）中所示，图19中示出的编码装置180根据AVC模式对图像A2进行编码，并且根据MVC模式对在图像A2被设置为基础视图的情况下的图像B2进行编码，而没有多路复用作为兼容图像的图像A2和B2。另外，编码装置180在空间方向上对作为辅助图像的图像C2和D2，作为兼容图像的视差图像的视差图像A2'和B2'和作为辅助图像的视差图像的视差图像C2'和D2'进行编码，并且根据与MVC模式兼容的3DV模式，对所得的多路复用图像进行编码。

另外，如图47的（6）中所示，编码装置180可以根据与MVC模式兼容的3DV模式对视差图像A2'至D2'进行编码，而没有对其进行多路复用。此外，如图47的（7）中所示，与编码装置480类似，编码装置180可以对共同视差图像AB2'而非视差图像A2'和B2'进行编码并且对共同视差图像CD2'而非视差图像C2'和D2'进行编码。

此外，如图47的（8）中所示，与编码装置440类似，编码装置180可以根据帧顺序模式多路复用视差图像A2'和B2'和辅助图像的视差图像的多路复用图像，并且根据与MVC模式兼容的3DV模式对所得的多路复用图像进行编码，而没有在空间方向上多路复用视差图像A2'和B2'。

图48是示出以图47的（1）至（8）中示出的多路复用形式进行多路复用的效果的特征的图示。

在图48中表示的表格中，布置效果“兼容性”、“图像质量”和“数据量”这些项，并且表示图47的（1）至（8）中示出的多路复用形式的各项的效果的程度。在图48中表示的表格中，圆形代表存在效果，并且双圆形代表显著效果。

在使用图47的（1）中示出的多路复用形式执行多路复用的情况下，兼容图像的多路复用模式和编码模式与现有模式的多路复用模式和编码模式相同，由此确保兼容性。另外，因为视差图像（与兼容图像类似地）被在空间方向上多路复用，所以例如可以使用解码装置侧准备的用于分离兼容图像的分离单元来分离视差图像。因此，确保在解码装置侧可以分离视差图像。因此，在这种情况下，对兼容性存在显著效果，并且对应于图48中示出的“兼容性”项描述双圆形。

在使用图47的（2）中示出的多路复用形式执行多路复用的情况下，兼容图像的多路复用模式和编码模式与现有模式的多路复用模式和编码模式相同，由此确保兼容性。另外，因为视差图像的分辨率与图像被多路复用之前的分辨率相同，所以精度高。结果，在解码装置中，使用视差图像产生的预定视点的图像的精度提高。因此，在这种情况下，对使用视差图像产生的图像的兼容性和图像质量存在效果，因此，对应于图48中表示的“兼容性”和“图像质量”项描述圆形。

在使用图47的（3）中示出的多路复用形式执行多路复用的情况下，兼容图像的多路复用模式和编码模式与现有模式的多路复用模式和编码模式相同，由此确保兼容性。另外，均具有与多路复用之前图像的分辨率相同的分辨率的兼容图像和辅助图像的视差图像的数据量减小成两个视点的视差图像的数据量。因此，在这种情况下，因为对兼容性和数据量存在效果，所以对应于图48中表示的“兼容性”和“数据量”项描述圆形。

在使用图47的（4）中示出的多路复用形式执行多路复用的情况下，兼容图像的多路复用模式和编码模式与现有模式的多路复用模式和编码模式相同，由此确保兼容性。另外，因为视差图像被在时间方向上多路复用，所以每次视差图像的数据量小于图47的（3）的情况的数据量，由此可以发送的数据量增大。因此，即使没有用于发送与多路复用之前的图像具有相同分辨率的视差图像的发送带宽的空间，也可以发送分辨率与多路复用之前的图像的分辨率相同的视差图像，由此将使用视差图像在解码装置中产生的预定视点的图像的精度提高。因此，在这种情况下，对使用视差图像产生的图像的兼容性和图像质量存在效果，并且对数据量存在显著效果。因此，对应于图48中示出的“兼容性”和“图像质量”项描述圆形，并且对应于“数据量”项描述双圆形。

例如，当用于广播的图像、与广播兼容的IP（互联网协议）、ATSC（高级电视制式委员会）2.0规范等、作为聚合广播的下一代广播或者互联网递送应用被设置为编码目标时，执行使用图47的（1）至（4）中示出的多路复用形式进行的多路复用处理。

在使用图47的（5）中示出的多路复用形式执行多路复用的情况下，兼容图像的多路复用模式和编码模式与现有模式的多路复用模式和编码模式相同，由此确保兼容性。另外，因为每个视差图像的分辨率是图像的分辨率的一半，所以兼容图像和辅助图像的视差图像的数据量减少至两个视点的视差图像的数据量。因此，在这种情况下，对兼容性和数据量存在效果，所以对应于图48中表示的“兼容性”和“数据量”项描述圆形。

在使用图47的（6）中示出的多路复用形式执行多路复用的情况下，与图47的（2）的情况类似，确保兼容性并且使用视差图像在解码装置中产生的预定视点的图像的精度提高。因此，在这种情况下，对使用视差图像产生的图像的兼容性和图像质量存在效果，对应于图48中示出的“兼容性”和“数据量”项描述圆形。

在使用图47的（7）中示出的多路复用形式执行多路复用的情况下，与图47的（3）的情况类似，确保兼容性并且视差图像的数据量减少。因此，在这种情况下，对兼容性和数据量存在效果，并且对应于图48中示出的“兼容性”和“数据量”项描述圆形。

在使用图47的（8）中示出的多路复用形式执行多路复用的情况下，与图47的（4）的情况类似，确保兼容性。另外，与图47的（4）的情况类似，每次视差图像的数据量少于图47的（7）的情况的数据量，结果，使用视差图像在解码装置中产生的预定视点的图像的精度提高。因此，在这种情况下，对使用视差图像产生的图像的兼容性和图像质量存在效果，并且对数据量存在显著效果。因此，对应于图48中示出的“兼容性”和“图像质量”项描述圆形，并且对应于“数据量”描述双圆形。

例如，当用于BD、广播、下一代广播或者互联网递送的应用的图像被设置为编码目标时，执行使用图47的（5）、（7）和（8）中示出的多路复用形式进行的多路复用处理。另外，例如当用于BD、下一代广播或者互联网递送的应用的图像被设置为编码目标时，执行使用图47的（6）中示出的多路复用形式进行的多路复用处理。

图49是示出在兼容图像的视点数量是1并且辅助图像的视点数量是2的情况下编码目标的多路复用形式的例子的图示。

如图49的（1）中所示，图5中示出的编码装置50根据AVC模式对作为兼容图像的图像A1进行编码。另外，编码装置50在时间方向上多路复用作为辅助图像的图像B1和C1和作为辅助图像的视差图像的视差图像B1'和C1'。然后，编码装置50根据与MVC模式兼容的3DV模式，对作为兼容图像的视差图像的视差图像A1'、辅助图像的多路复用图像和辅助图像的视差图像的多路复用图像进行编码。

如图49的（2）中所示，编码装置50可以根据与MVC模式兼容的3DV模式，对视差图像A1'至C1'进行编码，而没有多路复用视差图像。另外，如图49的（3）中所示，与编码装置480类似，编码装置50可以对作为辅助图像的图像B和C的共同视差图像BC1'进行编码，而不是对辅助图像的视差图像的多路复用图像进行编码。

另外，如图49的（4）中所示，与编码装置440类似，编码装置50可以根据帧顺序模式，多路复用视差图像A1'至C1'，并且根据与MVC模式兼容的3DV模式，对所得的多路复用图像进行编码，而没有在空间方向上多路复用视差图像B1'和C1'。

使用图49的（1）至（4）中示出的多路复用形式进行的多路复用处理的效果和使用多路复用形式执行多路复用处理时的编码目标与使用图47的（5）至（8）中示出的多路复用形式进行的多路复用处理的效果和编码目标相同。然而，在使用图49的（1）中示出的多路复用形式进行的多路复用处理中，因为兼容图像的视差图像的分辨率与兼容图像的分辨率相同，所以这个多路复用处理带来的减少视差图像的数据量的效果是仅仅针对辅助图像的视差图像的效果。

图50是示出在兼容图像的视点数量是2并且辅助图像的视点数量是0的情况下，编码目标的多路复用形式的例子的图示。

在兼容图像的视点数量是2并且辅助图像的视点数量是0的情况下，如图50的（1）中所示，与图14中示出的编码装置140的情况类似，作为兼容图像的图像A2和B2在空间方向上被多路复用并且根据AVC模式被编码。另外，作为兼容图像的视差图像的视差图像A2'和B2'被在空间方向上多路复用并且根据与AVC模式兼容的3DV模式被编码。

如图50的（2）中所示，视差图像A2'和B2'可以根据与MVC模式兼容的3DV模式被编码而不被多路复用。另外，如图50的（3）中所示，与编码装置480的情况类似，可以对共同视差图像AB2'而非视差图像A2'和B2'进行编码。

此外，如图50的（4）中所示，与编码装置440的情况类似，视差图像A2'和B2'可以按帧顺序模式被多路复用和编码，而不在时间方向上被多路复用。

另外，如图50的（5）中所示，与编码装置180的情况类似，可以进行构造，使得根据AVC模式对图像A2进行编码，并且用MVC模式对图像B2进行编码，而没有多路复用作为兼容图像的图像A2和B2，在MVC模式下，图像A2被设置为基础视图。

在这种情况下，如图50的（6）中所示，与图50的（2）的情况类似，视差图像可以被编码而没有被多路复用，或者，如图50的（7）中所示，与图50的（3）的情况类似，共同视差图像AB2'可以被编码。另外，如图50的（8）中所示，与图50的（4）的情况类似，兼容图像的视差图像可以根据帧顺序模式被多路复用并且被编码。

另外，使用图49的（1）至（8）中示出的多路复用形式进行的多路复用处理的效果和使用多路复用形式执行多路复用处理时的编码目标与使用图47的（1）至（8）中示出的多路复用形式进行的多路复用处理的效果和编码目标相同。

在上述的描述中，虽然根据帧顺序模式被多路复用的视差图像的分辨率已经被描述为与多路复用处理之前图像的分辨率相同，但是分辨率可以低于多路复用处理之前图像的分辨率。另外，与视差图像类似，辅助图像还可以根据帧顺序模式被多路复用。

此外，在上述的描述中，虽然代表图像的多路复用模式的信息和代表视差图像的多路复用模式的信息已经被描述成在编码装置中被发送，但是用于识别图47、图49和图50中示出的多路复用形式的信息可以被发送。

另外，编码装置可以发送用于识别与作为编码目标的图像对应的应用的标签。

<第七实施方式>

[根据第七实施方式的编码装置的构造例子]

图51是示出根据本技术的第七实施方式的编码装置的构造例子的框图。

在图51中示出的构造中，为与图35中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图51中示出的编码装置520的构造与图35中示出的构造的主要不同在于，设置编码器523和发送单元524来替代编码器145和多路复用单元443，并且新布置多路复用单元521和多路复用信息产生单元522。

编码装置520根据帧顺序模式，多路复用兼容图像的多路复用图像、辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像，并且对所得的多路复用图像进行编码。

更具体地，编码装置520的多路复用单元521根据帧顺序模式，多路复用作为由图像转换单元142执行的多路复用处理的结果而获取的兼容图像和辅助图像的多路复用图像和作为由视差图像产生单元143执行的多路复用处理的结果而获取的兼容图像和辅助图像的视差图像的多路复用图像。

然后，多路复用单元521在一帧的时间内供应多路复用图像，在该多路复用图像中，可以作为多路复用处理的结果而获取的兼容图像的多路复用图像、兼容图像的视差图像的多路复用图像、辅助图像的多路复用图像和辅助图像的视差图像的多路复用图像被作为时间方向多路复用图像顺序供给编码器523。

另外，多路复用单元521将代表兼容图像和辅助图像的多路复用图像以及兼容图像和辅助图像的视差图像的多路复用图像根据帧顺序模式被多路复用并且代表时间多路复用图像中的图像布置次序的信息供应到多路复用信息产生单元522和编码器523。

基于多路复用单元521供应的信息，多路复用信息产生单元522产生作为与多路复用兼容图像和辅助图像以及兼容图像和辅助图像的视差图像相关的整体多路复用信息的信息等，并且将所产生的整体多路复用信息供应到发送单元524。

编码器523由兼容编码器531和辅助编码器532构成。编码器523基于多路复用单元521供应的信息，指定多路复用单元521供应的时间多路复用图像中包括的兼容图像的多路复用图像，并且将兼容图像的多路复用图像供应到兼容编码器531。另外，编码器523基于多路复用单元521供应的信息，将时间多路复用图像中包括的辅助图像的多路复用图像以及兼容图像和辅助图像的视差图像的多路复用图像供应到辅助编码器532。

编码器523的兼容编码器531根据现有AVC模式对时间多路复用图像中包括的兼容图像的多路复用图像进行编码。辅助编码器532根据3DV模式，对时间多路复用图像中包括的辅助图像的多路复用图像以及兼容图像和辅助图像的视差图像的多路复用图像进行编码。此时，通过参照兼容图像的多路复用图像对辅助图像的多路复用图像进行编码，并且通过参照兼容图像的视差图像的多路复用图像对辅助图像的视差图像的多路复用图像进行编码。

编码器523将根据作为兼容编码器531或辅助编码器532执行的编码处理的结果而获取的时间多路复用图像的经编码的数据形成的比特流供应到发送单元524。

发送单元524使用编码器523供应的比特流、图像信息产生单元54供应的图像信息、兼容信息产生单元55供应的兼容信息、视点间距离信息产生单元144供应的视点间距离信息、视差图像信息产生单元57供应的视差图像信息、多路复用信息产生单元522供应的整体多路复用信息等，产生TS。多路复用单元443发送所产生的TS。

[对编码装置处理的描述]

图52和图53是示出由图51中示出的编码装置520执行的编码处理的流程图。例如，当从成像单元141A至141D输出图像A2至D2时开始这个编码处理。

图52中示出的步骤S531至S537的处理与图38中示出的步骤S452至S457的处理相同，因此将不再给出对其的描述。

在步骤S537的处理之后，在步骤S538中，图像转换单元142将兼容图像的多路复用图像和辅助图像的多路复用图像输入到多路复用单元521，并且处理前进至图53中示出的步骤S539。

图53中示出的步骤S539至S542的处理与图39中示出的步骤S459至S462的处理相同，因此将不再给出对其的描述。

在步骤S543的处理之后，在步骤S544中，多路复用单元521根据帧顺序模式，多路复用作为由图像转换单元142执行的多路复用处理的结果而获取的兼容图像和辅助图像的多路复用图像和作为由视差图像产生单元143执行的多路复用处理的结果而获取的兼容图像和辅助图像的视差图像的多路复用图像。多路复用单元521将作为多路复用处理的结果而获取的多路复用图像作为时间方向多路复用图像供应到编码器523。

另外，多路复用单元521将代表兼容图像和辅助图像的多路复用图像和视差图像的多路复用图像根据帧顺序模式被多路复用并且代表时间多路复用图像中的图像布置次序的信息供应到多路复用信息产生单元522和编码器523。

在步骤S545中，基于多路复用单元521供应的信息，多路复用信息产生单元522产生作为整体多路复用信息的信息等并且将所产生的整体多路复用信息供应到发送单元524。

在步骤S546中，兼容编码器531根据现有AVC模式，对由编码器523基于多路复用单元521供应的信息而输入的时间多路复用图像中包括的兼容图像的多路复用图像进行编码。

在步骤S547中，辅助编码器532根据3DV模式，对由编码器523基于多路复用单元521供应的信息而输入的时间多路复用图像中包括的辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像进行编码。编码器523将由作为步骤S546和S547的编码处理的结果而获取的时间多路复用图像的经编码的数据形成的比特流供应到发送单元524。

在步骤S548中，发送单元524根据编码器523供应的比特流、辅助信息和多路复用信息产生单元522供应的整体多路复用信息产生TS，并且发送所产生的TS。这个TS例如被记录在BD等上或者被作为广播流发送。然后，处理终止。

如上，编码装置520根据兼容图像的多路复用图像、辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像的经编码的数据产生一个比特流。因此，包括只能对一个比特流进行解码的解码器的解码装置，可以对编码装置520产生的比特流进行解码。

在上述的描述中，虽然兼容图像的视差图像、辅助图像和辅助图像的视差图像已经被描述成根据与兼容图像的编码模式兼容的3DV模式被编码，但是图像可以根据与兼容图像的编码模式不兼容的MPEG2（运动图像专家组第2阶段）被编码。

[解码装置的构造例子]

图54是示出解码装置的构造例子的图示，该解码装置对图51中示出的编码装置520发送的TS进行解码。

在图54中示出的构造中，为与图40中示出的构造相同的构造分配相同的附图标记。将适当地不做出重复描述。

图54中示出的解码装置540的构造与图40中示出的构造的主要不同在于，设置接收单元541、解码器542和图像产生单元544来替代分离单元121、解码器122和图像产生单元171，并且新布置多路复用信息获取单元543。解码装置540对编码装置520发送的TS中包括的时间多路复用图像的比特流进行解码，产生两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所产生的图像。

更具体地，解码装置540的接收单元541接收编码装置520发送的TS。接收单元541提取TS中包括的时间多路复用图像的比特流并且将比特流供应到解码器542。另外，接收单元541提取TS中包括的辅助信息并且将辅助信息中包括的图像信息供应到图像信息获取单元123，并且将视点距离信息供应到视点间距离信息获取单元124。此外，接收单元541将辅助信息中包括的视差图像信息供应到视差图像信息获取单元125，并且将兼容信息供应到兼容信息获取单元126和解码器501。另外，接收单元541提取TS中包括的整体多路复用信息并且将所提取的整体多路复用信息供应到多路复用信息获取单元543。

解码器542由兼容解码器551和辅助解码器552构成。解码器542的兼容解码器551基于分离单元461供应的兼容信息，从接收单元541供应的比特流中提取兼容图像的多路复用图像的经编码的数据。兼容解码器551根据与AVC模式对应的模式，对所提取的兼容图像的多路复用图像的经编码的数据进行解码，并且将经解码的数据供应到图像产生单元544。

辅助解码器552基于分离单元461供应的兼容信息，从接收单元541供应的比特流中提取辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像。辅助解码器552根据与图51中示出的辅助编码器532的编码模式对应的模式，对被提取的辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像的经编码的数据进行解码，并且将经解码的数据供应到图像产生单元544。

多路复用信息获取单元543获取接收单元541供应的整体多路复用信息并且将所获取的整体多路复用信息供应到图像产生单元544。

图像产生单元544根据观众的显示指令输出图像，从而在图中未示出的显示装置上显示图像。更具体地，根据观众的显示多视点系统的3D图像的指令，基于图像信息获取单元123供应的图像信息、视点间距离信息获取单元124供应的视点间距离信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息、多路复用信息获取单元543供应的整体多路复用信息等，通过使用兼容图像的多路复用图像、辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像，产生与图中未示出的显示装置对应的三个或更多个视点的3D图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更详细地描述，图像产生单元544基于多路复用信息获取单元543供应的整体多路复用信息，识别辅助解码器552供应的辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像。另外，与图17中示出的图像产生单元171类似，图像产生单元544基于代表视差图像信息获取单元125供应的视差图像信息中包括的辅助图像的视差图像的多路复用模式的信息，将每个辅助图像的视差图像与辅助图像的视差图像的多路复用图像分离。此外，与图像产生单元171类似，图像产生单元544基于代表视差图像信息中包括的兼容图像的视差图像的多路复用模式的信息，将每个兼容图像的视差图像与兼容图像的视差图像的多路复用图像分离。

此外，与图像产生单元171类似，图像产生单元544基于代表图像信息获取单元123供应的图像信息中包括的辅助图像的多路复用模式的信息，将每个辅助图像与辅助图像的多路复用图像分离。另外，与图像产生单元171类似，图像产生单元544基于代表图像信息中包括的兼容图像的多路复用模式的信息，将每个兼容图像与兼容图像的多路复用图像分离。

另外，与图像产生单元171类似，图像产生单元544基于视点间距离信息和与图中未示出的显示装置对应的视点的数量确定将产生的多视点图像的每个视点的位置。然后，与图像产生单元171类似，图像产生单元544产生每个视点的图像，各个视点的位置是通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像确定的。然后，图像产生单元544将所产生的多视点图像的分辨率转换成作为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，合成经转换的图像，并且在图中未示出的显示装置上显示所合成的图像。

此时，显示合成之后的多视点图像，使得对于每个视点，视角是不同的，并且观众通过用左眼和右眼看任意两个视点的图像，可以在不配戴眼镜的情况下观看3D图像。

另外，与图像产生单元171类似，图像产生单元544根据观众提供的显示双视点模式的3D图像的指令，基于图像信息获取单元123供应的图像信息，将解码器542供应的兼容图像的多路复用图像分离成图像A2和B2，图像A2和B2的分辨率是兼容图像的分辨率的一半。然后，与图像产生单元171类似，图像产生单元544交替地输出分辨率是兼容图像的分辨率的一半的分离的图像A2和B2，从而在图中未示出的显示装置上显示分离的图像。此时，观众通过配戴眼镜使得在显示图像A2时打开左眼快门和右眼快门中的一个并且在显示图像B2时打开另一个，从而观看在显示装置上交替显示的图像A2和B2，可以观看3D图像。

[对解码装置处理的描述]

图55是示出由图54中示出的解码装置540执行的解码处理的流程图。例如，当图51中示出的编码装置520发送的TS被输入到解码装置540时，开始这个解码处理。

在图55中示出的步骤S551中，解码装置540的接收单元541接收编码装置520发送的TS。接收单元541提取TS中包括的比特流并且将所提取的比特流供应到解码器542。另外，接收单元541提取TS中包括的辅助信息，将辅助信息中包括的图像信息供应到图像信息获取单元123，并且将视点距离信息供应到视点间距离信息获取单元124。此外，接收单元541将辅助信息中包括的视差图像信息供应到视差图像信息获取单元125，并且将兼容信息供应到兼容信息获取单元126。另外，接收单元541提取TS中包括的整体多路复用信息并且将所提取的整体多路复用信息供应到多路复用信息获取单元543。

在步骤S552中，与图41中示出的步骤S474的处理类似，图像产生单元544判定观众是否已发出显示双视点模式的3D图像的指令。在步骤S552中判定观众还没有发出显示双视点模式的3D图像的指令的情况下，换句话讲，在已经发出显示多视点模式的3D图像的指令的情况下，处理前进至步骤S553。

在步骤S553中，解码器542的兼容解码器551基于接收单元541供应的兼容信息，从比特流中提取兼容图像的多路复用图像的经编码的数据，并且按照与AVC模式对应的模式对所提取的经编码的数据进行解码。然后，兼容解码器551将作为解码处理的结果而获取的兼容图像的多路复用图像供应到图像产生单元544。

在步骤S554中，辅助解码器552基于接收单元541供应的兼容信息，从比特流中提取辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像的经编码的数据，并且按照与图51中示出的辅助编码器532对应的模式对所提取的经编码的数据进行解码。辅助解码器552将作为解码处理的结果而获取的辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像供应到图像产生单元544，并且处理前进至步骤S555。

步骤S555至S558的处理与图41中示出的步骤S476至S479的处理相同，并且将不再给出对其的描述。

在步骤S558的处理之后，在步骤S559中，多路复用信息获取单元543获取接收单元541供应的整体多路复用信息并且将所获取的整体多路复用信息输入到图像产生单元544。

在步骤S560中，与图41中示出的步骤S480的处理类似，图像产生单元544基于视点间距离信息获取单元124供应的视点间距离信息和与图中未示出的显示装置对应的视点数量确定将产生的多视点图像的每个视点的位置。

在步骤S561中，图像产生单元544基于步骤S560中确定的每个视点的位置、图像信息获取单元123供应的图像信息、视差图像信息获取单元125供应的视差图像信息、兼容信息获取单元126供应的兼容信息、多路复用信息获取单元543供应的整体多路复用信息等，通过使用兼容图像的多路复用图像、辅助图像的多路复用图像和兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像，产生每个视点的图像，图像的分辨率是兼容图像或辅助图像的分辨率的一半。然后，处理前进至步骤S562。

步骤S562和S563的处理与图41中示出的步骤S482和S483的处理相同，并且将不再给出对其的描述。

在步骤S552中判定观众已经发出显示双视点模式的3D图像的指令的情况下，在步骤S564中，兼容解码器551基于接收单元541供应的兼容信息，从比特流中提取兼容图像的多路复用图像的经编码的数据，并且根据与AVC模式对应的模式对所提取的经编码的数据进行解码。然后，兼容解码器551将作为解码处理的结果而获取的兼容图像的多路复用图像供应到图像产生单元544。

步骤S565至S567的处理与图41中示出的步骤S484至S486的处理相同，并且将不再给出对其的描述。

另外，在只能对与解码装置540兼容的兼容图像进行解码的解码装置中，忽略除了可以被处理的兼容图像的经编码的数据之外的经编码的数据，并且执行步骤S564、S566和S567的处理。然而，在这种情况下，在步骤S566的处理中，根据预先确定的多路复用模式，分离兼容图像的多路复用图像。

如上，解码装置540可以对由兼容图像的多路复用图像、辅助图像的多路复用图像、兼容图像的视差图像的多路复用图像和辅助图像的视差图像的多路复用图像产生的一个比特流进行解码。

<根据这个实施方式的比特流>

[比特流的构造例子]

图56是示出根据这个实施方式产生的以访问单元为单位的比特流（编码流）的构造例子的图示。

在图56中示出的例子中，兼容图像是1920×1080个像素的L图像和R图像，并且辅助图像是1920×1080个像素的O图像。另外，L视差图像、R视差图像和O视差图像的尺寸是960×1080个像素。此外，L图像根据AVC模式被编码、R图像根据MVC模式被编码，并且O图像、L视差图像、R视差图像和O视差图像根据3DV模式被编码。另外，L图像、R图像、O图像、L视差图像、R视差图像和O视差图像的视图ID（view ID）分别是0、1、2、3、4和5。这里，视图ID是对于每个视点的图像和视差图像唯一的ID。

如图56中所示，在以访问单元为单位的比特流中，例如，访问单元分隔符（AUD）、序列参数集（SPS）、根据针对图像的MVC模式的子集SPS（子集SPS1）、根据针对视差图像的3DV模式的子集SPS（子集SPS2）、图像参数集（PPS）、根据AVC模式的SEI、根据MVC模式的SEI、根据3DV模式的SEI和经编码的数据的网络提取层（NAL）单元被依次从头布置。

访问单元分隔符的NAL单元是代表访问单元的边界的NAL单元。SPS的NAL单元是包括代表根据AVC模式定义的概要之中的L图像的概要的profile_idc（在图56中示出的例子中，100）的SPS的NAL单元。图像的子集SPS的NAL单元是包括代表根据MVC模式定义的概要之中的R图像和O图像的概要的profile_idc（在图56中示出的例子中，128）的子集SPS的NAL单元。视差图像的子集SPS的NAL单元是代表根据3DV模式被定义为视差图像的概要的概要之中的L视差图像、R视差图像和O视差图像的概要的profile_idc（在图56中示出的例子中，138）的子集SPS的NAL单元。

根据AVC模式的SEI的NAL单元是L图像的SEI的NAL单元。根据MVC模式的SEI的NAL单元是L图像或R图像的SEI的NAL单元。3DV模式的SEI的NAL单元是L图像、R图像、O图像、L视差图像、R视差图像或O视差图像的SEI的NAL单元。

作为经编码的数据的NAL单元，依次从头布置以下各项的NAL单元：L图像的经编码的数据、分隔符（MVC DD）、R图像的经编码的数据、分隔符（3DV DD）、O图像的经编码的数据、分隔符（3DV DD）、L视差图像的经编码的数据、分隔符（3DV DD）、R视差图像的经编码的数据、分隔符（3DV DD）、O视差图像的经编码的数据。

在L图像的经编码的数据的NAL单元中，添加NAL头部，该NAL头部包括1或5作为代表根据AVC模式的画面的NAL单元的类型。另外，分隔符（MVC DD）的NAL单元是代表MVC模式的经编码的数据的头的NAL单元。在R图像的经编码的数据的NAL单元中，添加NAL头部，该NAL头部包括代表根据MVC模式的经编码的数据的20作为NAL单元的类型。另外，分隔符（3DV DD）的NAL单元是代表3DV模式的经编码的数据的头的NAL单元。此外，在O图像、L视差图像、R视差图像和O视差图像的经编码的数据的NAL单元中，添加NAL头部，该NAL头部包括代表根据3DV模式的经编码的数据的21作为NAL单元的类型。

[对根据针对视差图像的3DV模式的子集SPS的描述的例子]

图57是示出对根据图56中示出的视差图像的3DV模式的子集SPS的描述的例子的图示。

如图57中所示，在根据视差图像的3DV模式的子集SPS中，描述包括代表L视差图像、R视差图像和O视差图像的概要的profile_idc（在图57中示出的例子中，138）和根据3DV模式定义的每个profile_idc的信息的SPS（seq_parameter_set_data）。

更具体地，在视差图像的3DV模式的子集SPS中，作为profile_idc是138时的信息，描述视差图像的扩展信息（seq_parameter_set_depth_extension）、代表视差图像的VUI扩展信息是否被包括等的视差图像的VUI信息标签（depth_vui_parameters_present_flag）。另外，在视差图像的VUI信息标签代表包括视差图像的VUI扩展信息的情况下，还描述视差图像的VUI扩展信息（depth_vui_parameters__extension）。

另外，在解码处理中引用视差图像的3DV模式的子集SPS的情况下，换句话讲，在L视差图像、R视差图像和O视差图像被解码的情况下，与IDR画面被解码的情况类似，重置参考图像。

图58是示出对图57中示出的视差图像的扩展信息的描述的例子的图示。

如图58中所示，与MVC模式的子集SPS内的扩展信息（seq_parameter_set_mvc_extension）类似，视差图像的扩展信息是通过所述的信息和与每个视差图像对应的图像的视图ID（ref_view_id）形成的。

在图58中，与MVC模式的子集SPS内的扩展信息类似，所述的信息被扩展并且被包括在视差图像的扩展信息中，因此，可以针对每个视差图像，一起描述每个视差视图的视图ID（view_id）和与每个视差图像对应的图像的视图ID。换句话讲，描述代表视差图像的数量的信息（num_views_minus1），并且可以根据与所述数量一样多的次数，进行读取视差图像的视图ID和与每个视差图像对应的图像的视图ID的描述。

与之相比，与MVC模式的子集SPS内的扩展信息类似，在所述的信息没有被扩展并且被包括在视差图像的扩展信息中的情况下，除了视差图像的扩展信息之外，还描述代表视差图像的数量的信息，并且需要根据与所述数量一样多的次数进行读取与视差图像对应的图像的视图ID的描述。结果，对代表视差图像的数量的信息的描述和对根据与所述数量一样多的次数读取信息的描述彼此重叠。

因此，如图58中所示，在所述的信息被扩展并且被包括在视差图像的扩展信息的情况下，与MVC模式的子集SPS内的扩展信息类似，与信息没有被扩展并且被包括在视差图像的扩展信息中的情况相比，视差图像的扩展信息的数据量可以减少。

图59是示出对图57中示出的视差图像的VUI扩展信息的描述的例子的图示。

如图59中所示，除了以下几点之外，按照MVC模式的VUI扩展信息（mvc_vui_parameters__extension）相同的方式，描述视差图像的VUI扩展信息。换句话讲，在视差图像的VUI信息中，对于视差图像的每个像素，包括代表是否包括表示与视差图像对应的图像的位置的类型的位置类型的位置类型标签（depth_loc_info_present_flag）和代表是否包括表示分辨率转换之前视差图像的尺寸的转换前尺寸信息标签（video_src_info_present_flag）。另外，在包括表示位置类型的位置类型标签的情况下，视差图像的VUI信息中还包括位置类型，并且在包括表示转换前尺寸信息的转换前尺寸信息标签的情况下，在视差图像的VUI信息中还包括转换前尺寸信息。

位置类型由顶部场位置类型（depth_sample_loc_type_top_field）和底部场位置类型（depth_sample_loc_type_bottom_field）形成。与MVC模式的VUI扩展信息中包括的顶部场位置类型（chroma_sample_loc_type_top_field）和底部场位置类型（chroma_sample_loc_type_bottom_field）类似地，描述顶部场位置类型和底部场位置类型。

另外，转换前尺寸信息由代表在水平方向上的分辨率转换之前视差图像的宏块数量的信息（pic_width_in_mbs_minus1）、代表垂直方向上的宏块数量的信息（pic_height_in_mbs_minus1）、代表是否包括表示高宽比的形状信息的高宽比标签（aspect_ratio_info_present_flag）等构成。在高宽比标签代表包括形状信息的情况下，在转换前尺寸信息中还包括形状信息。

形状信息由高宽比ID（aspect_ratio_idc）等形成，该高宽比ID是对高宽比唯一的ID。这些高宽比ID不仅被分配到预先定义的高宽比，而且被分配到没有定义的所有高宽比。在形状信息中包括的高宽比ID是被赋予没有被定义的所有高宽比的高宽比ID（Extended_SAR）的情况下，形状信息中还包括水平方向和垂直方向上的分辨率转换之前视差图像的高宽比的值（sar_width andsar_height）。

[对3DV模式的经编码的数据的NAL头部的描述的例子]

图60是示出对根据3DV模式（包括21作为NAL单元的类型）的经编码的数据的NAL单元的NAL头部的描述的例子的图示。

如图60中所示，在根据3DV模式的经编码的数据的NAL头部中，作为NAL单元的类型是21时的信息，描述代表是否包括视差图像头部扩展信息等的视差图像头部扩展信息标签（depth_extension_flag）。这里，在根据3DV模式的视差图像的经编码的数据的NAL头部中还描述视差图像头部扩展信息。

在视差图像头部扩展信息标签代表包括视差图像头部扩展信息的情况下，在3DV模式的经编码的数据的NAL头部中，还描述视差图像头部扩展信息（nal_unit_header_depth_extension）。另一方面，在视差图像头部扩展信息标签代表不包括视差图像头部扩展信息的情况下，在3DV模式的经编码的数据的NAL头部中，还描述MVC模式头部扩展信息（nal_unit_header_mvc_extension）。

图61是示出对图60中示出的视差图像头部扩展信息的描述的例子的图示。

如图61中所示，除了包括与视差图像对应的图像的视图ID（ref_view_id）之外，视差图像头部扩展信息被构造成与MVC模式头部扩展信息相同。

[对根据3DV模式的SEI的描述的例子]

图62是示出对根据图56中示出的3DV模式的SEI的描述的例子的图示。

如图62中所示，在根据3DV模式的SEI中，与根据MVC模式的SEI类似，描述SEI的消息。

换句话讲，在根据3DV模式的SEI中，描述代表是否指定操作点的操作点标签（operation_point_flag），并且在操作点标签代表没有指定操作点的情况下，描述代表SEI的消息是否适于访问单元内的所有图像和视差图像的所有组分标签（all_view_components_in_au_flag）。另一方面，在所有组分标签代表SEI的消息不适于访问单元内的所有图像和视差图像的情况下，描述适用SEI的消息的图像和视差图像的视图ID（sei_view_id）和视图ID的数量（num_view_components_minus1）。

另一方面，在操作点标签代表指定操作点的情况下，在适用SEI的消息的操作点之中，描述作为适用目标的图像和视差图像的视图ID（sei_op_view_id）和操作点的数量（sei_op_temporal_id）。然后，描述SEI的消息（sei_rbsp）。另外，在根据3DV模式的SEI中，可以描述SEI的多个消息。

在图56中示出的例子中，尽管假设R图像和O图像的概要是相同的，但是R图像和O图像的概要可以互不相同。

[比特流的另一个构造例子]

图63是示出在图56中示出的R图像和O图像的概要互不相同的情况下以访问单元为单位的比特流的构造例子的图示。

图63中示出的比特流的构造与图56中示出的比特流的构造的不同之处在于，布置除了根据图像的MVC模式的子集SPS和根据视差图像的3DV模式的子集SPS之外的根据图像的3DV模式的子集SPS。

根据图像的MVC模式的子集SPS的NAL单元（子集SPS1）是包括代表以MVC模式定义的概要之中的R图像的概要的profile_idc（在图63中示出的例子中，128）的子集SPS的NAL单元。根据图像的3DV模式的子集SPS（子集SPS2）的NAL单元是代表以3DV模式被定义为图像的概要的概要之中的O图像的概要的profile_idc（在图63中示出的例子中，148）的子集SPS的NAL单元。视差图像的子集SPS（子集SPS3）的NAL单元是代表以3DV模式被定义为视差图像的概要的概要之中的L视差图像、R视差图像和O视差图像的概要的profile_idc（在图63中示出的例子中，138）的子集SPS的NAL单元。

[对根据图像的3DV模式的子集SPS的描述的例子]

图64是示出对根据图63中示出的图像的3DV模式的子集SPS的描述的例子的图示。

如图64中所示，在根据图像的3DV模式的子集SPS中，描述包括代表图像O的概要的profile_idc（在图64中示出的例子中，148）和以3DV模式定义的每个profile_idc的信息的SPS（seq_parameter_set_data）。

更具体地，在根据图像的3DV模式的子集SPS中，与作为profile_idc是148时的信息的根据MVC模式的子集SPS类似，描述根据MVC模式的扩展信息seq_parameter_set_mvc_extension和代表是否包括根据MVC模式的VUI扩展信息的根据MVC模式的VUI信息标签（mvc_vui_parameters_present_flag）等。另外，在根据MVC模式的VUI信息标签代表包括根据MVC模式的VUI扩展信息的情况下，还描述根据MVC模式的VUI扩展信息（mvc_vui_parameters_extension）。此外，作为当profile_idc是138时的信息，描述与图57中示出的信息类似的信息。

这里，3DV模式可以是根据与除了AVC模式和MVC模式之外的HEVC（高效视频编码）模式兼容的多视点模式对显示图像进行编码的模式。如下将描述这种情况的比特流。在这个说明书中，假设HEVC模式是基于HEVC工作草案：Thomas Wiegand、Woo-jinHan、Benjamin Bross、Jens-Rainer Ohm、Gary J.Sullivian于2011年5月20日写的“WD3:Working Draft3of High-Efficiency VideoCoding”（WD3:高效视频编码的工作草案3），JCTVc-E603_d5（第5版）。

[在3DV模式是与HEVC模式兼容的模式的情况下的比特流]

[比特流的构造例子]

图65是示出在3DV模式是与HEVC模式兼容的模式的情况下以访问单元为单位的比特流的构造例子的图示。

在图65中示出的例子中，假设如图56中示出的例子中的L视点图像、R视点图像和O视点图像是编码目标，L图像根据AVC模式被编码，并且L视点图像、R视点图像和O视点图像根据3DV模式被编码。

图65中示出的比特流与图56中示出的比特流的不同之处在于，根据图像的3DV模式的子集SPS（子集SPS1）和根据视差图像的3DV模式的子集SPS（子集SPS2）可以被描述在SPS内，并且包括类型互不相同的NAL单元的NAL头部被添加到根据HEVC模式的SEI和根据3DV模式的SEI的NAL单元。

在图65中示出的比特流中，根据图像的3DV模式的子集SPS和根据视差图像的3DV模式的子集SPS可以只在SPS内被描述，可以被描述成与SPS分离，或者可以在SPS内被描述并且被描述成与SPS分离。这里，根据图像的3DV模式的子集SPS和与SPS分离的根据视差图像的3DV模式的子集SPS的描述与BD标准兼容并且适于其中根据HEVC模式的经编码的数据和根据3DV模式的经编码的数据被作为互不相同的ES（基本流）产生。

在图65中示出的比特流中，因为被添加到根据HEVC模式的SEI的NAL单元和根据3DV模式的SEI的NAL单元的NAL头部中包括的NAL单元的类型互不相同，所以可以在解码处理中容易地提取根据HEVC模式的SEI或根据3DV模式的SEI的NAL单元。

[对SPS的描述的例子]

图66是示出对图65中示出的SPS的描述的例子的图示。

对图66中示出的SPS的描述与对根据HEVC模式的SPS的描述相同，除了描述代表是否包括子集SPS的信息的子集SPS信息标签（subset_seq_present_flag）并且在子集SPS信息标签代表包括子集SPS的信息的情况下描述符集SPS的信息之外。

如图66中所示，子集SPS的信息包括子集SPS的数量（num_subset_seq）和代表是否包括子集SPS的子集SPS标签（subset_seq_info_present_flag）。另外，在子集SPS标签代表包括子集SPS的情况下，在子集SPS的信息中还包括子集SPS（subset_seq_parameter_set_data）。

如上，因为子集SPS的数量被描述为子集SPS的信息，所以可以通过只在解码处理中读取对SPS的描述来识别是否存在子集SPS。另外，因为描述了子集SPS标签，所以可以与SPS分离的描述子集SPS，而不在SPS内进行描述，由此可以防止对子集SPS的描述的重复。

[对子集SPS的描述的例子]

图67是示出对图66中示出的子集SPS的描述的例子的图示。

除了描述适用子集SPS的图像、视差图像的视图ID的数量（num_subset_seq_views）、代表子集SPS的适用目标是否是视差图像的视差图像标签（depth_extension_flag）和代表适用子集SPS时SPS是否无效的无效标签（seq_param_override_flag）之外，对图67中示出的子集SPS的描述与对根据HEVC模式的SPS的描述相同。

在视差图像标签代表子集SPS的适用目标是视差图像的情况下，在子集SPS内描述与作为适用目标的视差图像对应的图像的视图ID（ref_view_id）。另外，在无效标签代表在适用子集SPS时SPS无效的情况下，与SPS类似，在子集SPS中描述代表概要等的信息（subset_seq_profile_idc）。

在对子集SPS的描述之中，作为与对SPS的描述类似的描述，例如，存在代表适用的图像和视差图像是否被修剪的信息（subset_seq_frame_cropping_flag）、代表是否包括VUI信息（subset_seq_vui_parameters）的VUI信息标签（subset_seq_vui_parameters_present_flag）等。在VUI信息标签代表包括VUI信息的情况下，与SPS类似，还描述VUI信息。另一方面，在VUI信息标签代表不包括VUI信息的情况下，与SPS类似，没有描述VUI信息。在这种情况下，SPS的VUI信息被适用作VUI信息。

[对子集SPS的VUI信息的描述的例子]

图68是示出对图67中示出的子集SPS的VUI信息的描述的例子的图示。

除了描述代表是否包括作为适用目标的转换前尺寸信息的转换前尺寸信息标签（video_src_info_present_flag）之外，对图68中示出的子集SPS的VUI信息的描述与对根据HEVC模式的SPS的VUI信息的描述相同。

在转换前尺寸信息标签代表包括适用目标的转换前尺寸信息的情况下，在图68中示出的VUI信息中描述转换前尺寸信息。换句话讲，描述代表水平方向上的分辨率转换之前适用目标的宏块数量的信息（src_pic_width_in_mbs_minus1）、代表垂直方向上的宏块数量的信息（src_pic_height_in_mbs_minus1）、代表是否包括代表高宽比的形状信息的高宽比标签（src_aspect_ratio_info_present_flag）等。

在高宽比标签代表包括形状信息的情况下，在转换前尺寸信息中还包括由高宽比ID（src_aspect_ratio_idc）等形成的形状信息。在形状信息中包括的高宽比ID是被赋予没有被定义的所有高宽比的高宽比ID（Extended_SAR）的情况下，在形状信息中还包括水平方向和垂直方向上的分辨率转换之前适用目标的高宽比的值（sar_widthand sar_height）。

另外，在图68中示出的子集SPS的VUI信息中，可以描述与SPS的VUI信息的点不同的点。在这种情况下，对于在子集SPS的VUI信息中没有描述的信息，应用SPS的VUI信息中包括的信息。

[对SEI的描述的例子]

图69是示出对根据图65中示出的3DV模式的SEI的描述的例子的图示。

除了描述SEI消息的类型（nesting_type）、所有组分标签（all_view_components_in_au_flag）等之外，对根据图69中示出的3DV模式的SEI的描述与对SEI消息的类型的SEI消息的描述相同。

作为SEI消息的类型，存在根据MVC模式的SEI消息、根据3DV模式的SEI消息、用户定义的SEI消息等。在所有组分标签代表没有执行被适用于访问单元内的所有图像和视差图像的情况下，适用SEI消息的图像和视差图像的视图ID的数量（num_view_components_minus1）和与所述数量对应的视图ID（nesting_sei_view_id）还在根据3DV模式的SEI中被描述。

<第八实施方式>

[对应用本技术的计算机的描述]

接着，可以用硬件或软件执行上述的一系列处理。在用软件执行这一系列处理的情况下，构成软件的程序被安装到通用计算机等。

图70示出根据实施方式的计算机的构造例子，该计算机安装有执行这一系列处理的程序。

程序可以被记录在预先构建在计算机或ROM（只读存储器）802中的作为记录介质的存储单元808中。

另选地，程序可以被存储（记录）在可移动介质811上。这种可移动介质811可以被设置为所谓的套装软件。这里，可移动介质811的例子包括柔性盘、压缩盘只读存储器（CD-ROM）、磁光（MO）盘、数字通用盘（DVD）、磁盘和半导体存储器。

除了通过驱动810将程序从上述可移动介质811安装到计算机上之外，程序可以通过通信网络或广播网络被下载到计算机中，并且被安装到其内构建的存储单元808上。换句话讲，程序可以按无线方式例如通过用于数字卫星广播的卫星从下载站点发送到计算机，或者按无线方式通过网络如局域网（LAN）或互联网发送到计算机。

计算机包括其内的CPU（中央处理单元）801，并且输入/输出接口805通过总线804连接到CPU801。

当通过操作输入单元806用户经由输入/输出接口805输入指令时，CPU801根据该指令执行ROM802中存储的程序。另选地，CPU801将存储单元808中存储的程序加载到RAM（随机存取存储器）803中并且执行程序。

因此，CPU801根据上述的流程图或通过上述框图的构造执行的处理来进行处理。然后，CPU801例如通过输入/输出接口805从输出单元807输出处理结果，从通信单元809发送处理结果，或者根据需要将处理结果记录在存储单元808中。

这里，输入单元806由键盘、鼠标、麦克风等构成。另外，输出单元807由LCD（液晶显示器）、扬声器等构成。

这里，在本说明中，由计算机根据程序执行的处理不需要一定根据流程图中描述的顺序按时序来执行。换句话讲，计算机根据程序执行的处理包括以并行方式或者以独立方式执行的处理（例如，并行处理或使用对象的处理）。

另外，程序可以由一个计算机（处理器）执行或者可以按分布式由多个计算机处理。此外，程序可以被发送到远程计算机并且被执行。

本技术可以应用于当通过网络介质如卫星广播、有线TV（电视）、互联网或者蜂窝电话接收数据时，或者在存储介质如光盘、磁盘或闪存存储器上处理数据时使用的编码装置和解码装置。

另外，上述的编码装置和解码装置可以应用于任意的电子设备。下文中，将描述其例子。

<第九实施方式>

[电视设备的构造例子]

图71示出作为例子的根据本技术的电视设备的示意性构造。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。另外，电视设备900包括控制单元910、用户接口单元911等。

调谐器902从天线901接收的广播信号之中选择所需的频道，对对应的广播信号进行解调，并且将所获取的经解码的比特流输出到解复用器903。

解复用器903从经解码的比特流中提取作为观看目标的节目的视频和音频的包，并且将所提取的包的数据输出到解码器904。另外，解复用器903将数据包如EPG（电子节目指南）供应到控制单元910。此外，在进行了加扰的情况中，由解复用器消除加扰。

解码器904执行包的解码处理，将解码处理产生的视频数据输出到视频信号处理单元905，并且将音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户的设置，针对视频数据执行噪声消除或视频处理。视频信号处理单元905产生将在显示单元906上显示的节目的视频数据、通过基于通过网络供应的应用程序的处理获取的图像数据等。另外，视频信号处理单元905产生用于显示项选择的菜单画面等的视频数据，并且将所产生的视频数据叠加在节目的视频数据上。视频信号处理单元905基于如上产生的视频数据产生驱动信号并且驱动显示单元906。

显示单元906基于视频信号处理单元905供应的驱动信号，驱动显示装置（例如，液晶显示装置等），从而显示节目等的视频。

音频信号处理单元907执行预定处理如对音频数据的噪声消除，对处理之后的音频数据执行D/A转换处理或放大处理，并且将所得的音频数据供应到扬声器908，从而执行音频输出处理。

外部接口单元909是用于与外部装置或网络连接的接口，并且执行对视频数据、音频数据等的数据发送或数据接收。

用户接口单元911连接到控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号供应到控制单元910。

控制单元910由CPU（中央处理单元）、存储器等构成。存储器存储各种数据、EPG数据、通过网络获取的数据等，这些数据是CPU执行的程序或CPU用于执行处理所必须的。CPU在预定时刻比如在电视设备900启动时读取和执行存储器中存储的程序。CPU控制每个单元，以使电视设备900能够通过执行程序来执行根据用户的操作的操作。

另外，在电视设备900中，总线912被设置成将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等与控制单元910彼此连接。

在如上构造的电视设备中，根据这个应用的解码装置（解码方法）的功能被布置在解码器904中。因此，可以根据与现有模式兼容的模式对多视点图像进行解码。

<第十实施方式>

[蜂窝电话的构造例子]

图72示出根据本技术的蜂窝电话的示意性构造。蜂窝电话920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931。它们通过总线933互连。

另外，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。

蜂窝电话920以各种模式如语音通话模式和数据通信模式执行各种操作，如，对音频信号的发送和接收、对电子邮件或图像数据的发送和接收、图像拍摄和数据记录。

在语音通话模式下，麦克风925产生的音频信号被转换成音频数据并且被音频编解码器923压缩，并且所得的音频数据被供应到通信单元922。通信单元922针对音频数据执行调制处理、频率转换处理等，从而产生发送信号。另外，通信单元922将发送信号供应到天线921，从而将发送信号发送到图中未示出的基站。此外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，并且将所获取的音频数据供应到音频编解码器923。音频编解码器923对音频数据执行数据解压，将音频数据转换成模拟音频信号，并且将音频信号输出到扬声器924。

在数据通信模式下，在执行邮件发送的情况下，控制单元931接收通过操作单元932的操作而输入的字符数据，并且在显示单元930上显示输入的字符。另外，控制单元931基于操作单元932供应的用户指令等产生邮件数据，并且将所产生的邮件数据供应到通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并且从天线921发送获取的发送信号。另外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复邮件数据。这个邮件数据被供应到显示单元930，由此邮件的内容得以显示。

另外，蜂窝电话920可以通过使用记录/再现单元929将接收到的邮件数据记录在存储介质上。存储介质是任意的可重写存储介质。例如，存储介质是半导体存储器如RAM或内置型闪存存储器或者可移动介质如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。

在以数据通信模式发送图像数据的情况下，相机单元926产生的图像数据被供应到图像处理单元927。图像处理单元927对图像数据执行编码处理，从而产生经编码的数据。

解复用单元928以预定模式多路复用图像处理单元927产生的经编码的数据和音频编解码器923供应的音频数据，并且将多路复用的数据供应到通信单元922。通信单元922对多路复用数据执行调制处理、频率转换处理等，并且从天线921发送获取的发送信号。另外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复多路复用的数据。这个多路复用的数据被供应到解复用单元928。解复用单元928对该多路复用的数据进行解复用，将经编码的数据供应到图像处理单元927，并且将音频数据供应到音频编解码器923。图像处理单元927对经编码的数据进行解码，从而产生图像数据。这个图像数据被供应到显示单元930，并且显示接收到的图像。音频编解码器923将音频数据转换成模拟音频信号，并且将模拟音频信号供应到扬声器924，从而输出接收到的音频。

在如上构造的蜂窝电话装置中，根据这个应用的解码装置（解码方法）的功能被布置在图像处理单元927中。因此，在图像数据的通信处理中，当通过对编码流进行解码而产生经解码的图像数据时，可以根据与现有模式兼容的模式，对多视点图像进行解码。

<第十一实施方式>

[记录和再现装置的构造例子]

图73示出根据本技术的记录和再现装置的示意性构造。例如，记录和再现装置940将接收到的广播节目的音频数据和视频数据记录到记录介质上，并且在根据用户指令的定时将所记录的数据供应到用户。另外，例如，记录和再现装置940可以从另一个装置获取音频数据和视频数据并且将数据记录到记录介质上。此外，记录和再现装置940对记录介质上记录的音频数据和视频数据进行解码并且将其输出，由此可以执行监视器装置等中的图像显示或音频输出。

记录和再现装置940包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动）单元944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示）单元948、控制单元949和用户接口单元950。

调谐器941从图中未示出的天线接收的广播信号之中选择所需的频道。调谐器941将通过解调所需频道的接收信号而获取的经编码的比特流输出到选择器946。

外部接口单元942由IEEE1394接口、网络接口单元、USB接口、闪存存储器接口等中的至少一个构成。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口，并且对将被记录的视频数据、音频数据等执行数据接收。

当外部接口单元942供应的视频数据和音频数据没有被编码时，编码器943根据预定模式对数据进行编码并且将经编码的比特流输出到选择器946。

HDD单元944将内容数据如视频和音频、各种节目和其它数据记录在内置硬盘上并且在再现数据等时从硬盘读取数据。

盘驱动945对安装的光盘执行信号记录和信号再现。光盘的例子包括DVD盘（DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）、蓝光盘等。

选择器946在记录视频或音频时选择调谐器941或编码器943供应的经编码的比特流之一，并且将经编码的比特流供应到HDD单元944和盘驱动945中的一个。另外，选择器946在再现视频或音频时，将HDD单元944或盘驱动945输出的经编码的比特流供应到解码器947。

解码器947对经编码的比特流执行解码处理。解码器947将通过执行解码处理而产生的视频数据供应到OSD单元948。另外，解码器947输出通过执行解码处理而产生的音频数据。

OSD单元948产生用于显示项选择等的菜单屏幕的视频数据，并且输出所产生的视频数据同时将其叠加在解码器947输出的视频数据上。

用户接口单元950连接到控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等构成并且将根据用户操作的操作信号供应到控制单元949。

控制单元949由CPU、存储器等构成。存储器存储CPU执行的程序或CPU用于执行处理所必须的各种类型的数据。CPU在预定时刻比如在记录和再现装置940启动时读取和执行存储在存储器中的程序。CPU控制每个单元，使得记录和再现装置940通过执行所述程序，根据用户操作执行操作。

在如上构造的记录和再现装置中，根据这个应用的编码装置（编码方法）的功能被布置在编码器943中。因此，当通过对编码流进行解码而产生经解码的图像数据时，可以根据与现有模式兼容的模式对多视点图像进行编码。

<第十二实施方式>

[成像设备的构造例子]

图74是示出根据本技术的成像设备的示意性构造的图示。成像设备960对被摄体进行成像，在显示单元上显示被摄体的图像或者将图像作为图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储单元967、介质驱动器968、OSD单元969和控制单元970。另外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972连接起来。

通过使用聚焦透镜、光阑机构等构成光学块961。光学块961在成像单元962的成像面上形成被摄体的光学图像。通过使用CCD或CMOS图像传感器构成成像单元962，成像单元962通过光电转换产生与光学图像一致的电信号，并且将电信号供应到相机信号处理单元963。

相机信号处理单元963对成像单元962供应的电信号执行各种相机信号处理，如，拐点校正、伽玛校正和颜色校正。相机信号处理单元963将相机信号处理之后的图像数据供应到图像数据处理单元964。

图像数据处理单元964对相机信号处理单元963供应的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理而产生的经编码的数据供应到外部接口单元966或介质驱动器968。另外，图像数据处理单元964对外部接口单元966或介质驱动器968供应的经编码的数据执行解码处理。图像数据处理单元964将通过执行解码处理而产生的图像数据供应到显示单元965。另外，在被叠加在图像数据上的同时，图像数据处理单元964将通过把相机信号处理单元963供应的图像数据供应到显示单元965的处理而获取或者从OSD单元969获取的显示数据供应到显示单元965。

OSD单元969产生由符号、字符或图形形成的菜单屏幕、图标等的显示数据，并且将显示数据输出到图像数据处理单元964.

外部接口单元966例如由USB输入/输出端子等构成并且在打印图像的情况下连接到打印机。另外，驱动器在必要时连接到外部接口单元966，适当地在其内安装可移动介质如磁盘或光盘，并且在必要时安装从可移动介质读取的计算机程序。另外，外部接口单元966包括与预定网络如LAN或互联网连接的网络接口。例如，根据用户接口单元971供应的指令，控制单元970可以从存储单元967读取经编码的数据并且将经编码的数据从外部接口单元966供应到通过网络连接的另一个装置。另外，控制单元970可以通过外部接口单元96获取另一个装置通过网络供应的经编码的数据或图像数据，并且将数据供应到图像数据处理单元964。

作为由介质驱动器968驱动的记录介质，例如，使用任意的可读和可写可移动介质如磁盘、磁光盘、光盘或半导体存储器。另外，作为可移动介质的记录介质的类型是任意的并且可以是带型装置、盘型装置或存储卡。此外，记录介质可以是非接触式IC卡等。

另外，介质驱动器968和记录介质可以被整合在一起并且由非便携式记录介质如内置型硬盘驱动器或SSD（固态驱动器）构成。

控制单元970由CPU、存储器等构成。存储器存储CPU执行的程序或CPU用于执行处理所必须的各种类型的数据。CPU在预定时刻比如在成像设备960启动时读取和执行存储在存储器中的程序。CPU控制每个单元，使得成像设备960通过执行所述程序，根据用户操作执行操作。

在如上构造的成像设备中，根据这个应用的解码装置（解码方法）的功能被布置在图像数据处理单元964中。因此，当对存储单元967、记录介质等中记录的经编码的数据进行解码而产生经解码的图像数据时，可以根据与现有模式兼容的模式对多视点图像进行解码。

另外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的构思的范围内，可以对实施方式进行各种变化。

附图标记列表

50编码装置

52图像转换单元

53视差图像产生单元

55兼容信息产生单元

56视点间距离信息产生单元

59多路复用单元

61兼容编码器

62辅助编码器

120解码装置

121分离单元

127图像产生单元

131兼容解码器

132辅助解码器

140编码装置

142图像转换单元

143视差图像产生单元

144视点间距离信息产生单元

151兼容编码器

152辅助编码器

170解码装置

171图像产生单元

180编码装置

181图像转换单元

191兼容编码器

200解码装置

202图像产生单元

211兼容解码器

Claims (18)

1.一种编码装置，包括：

兼容图像编码单元，所述兼容图像编码单元通过根据多视点图像指定兼容图像并且对指定的兼容图像进行编码来产生第一编码流；

图像转换单元，所述图像转换单元降低当由兼容图像产生多视点图像时使用的辅助图像的分辨率；

辅助图像编码单元，所述辅助图像编码单元通过对分辨率被所述图像转换单元降低的辅助图像进行编码来产生第二编码流；以及

发送单元，所述发送单元发送由所述兼容图像编码单元产生的第一编码流和由所述辅助图像编码单元产生的第二编码流。

2.根据权利要求1所述的编码装置，还包括设置单元，所述设置单元设置辅助图像分辨率标识信息，所述辅助图像分辨率标识信息标识辅助图像在编码时的分辨率不同于兼容图像的分辨率，

其中，所述发送单元发送由所述设置单元设置的辅助图像分辨率标识信息。

3.根据权利要求2所述的编码装置，其中，

所述设置单元设置辅助图像转换模式信息，所述辅助图像转换模式信息代表所述辅助图像的分辨率的转换模式，并且

所述发送单元发送由所述设置单元设置的辅助图像转换模式信息。

4.根据权利要求1所述的编码装置，还包括视差图像编码单元，所述视差图像编码单元对代表所述辅助图像的视差的辅助视差图像进行编码，

其中，所述图像转换单元降低所述辅助视差图像的分辨率，并且

所述视差图像编码单元对分辨率被所述图像转换单元降低的辅助视差图像进行编码。

5.根据权利要求4所述的编码装置，还包括设置单元，所述设置单元设置辅助视差图像分辨率标识信息，所述辅助视差图像分辨率标识信息标识所述辅助视差图像在编码时的分辨率不同于所述兼容图像的分辨率，

其中，所述发送单元发送由所述设置单元设置的辅助视差图像分辨率标识信息。

6.根据权利要求5所述的编码装置，其中，

所述设置单元设置辅助视差图像转换模式信息，所述辅助视差图像转换模式信息代表所述辅助视差图像的分辨率的转换模式，并且

所述发送单元发送由所述设置单元设置的辅助视差图像转换模式信息。

7.根据权利要求4所述的编码装置，还包括：

多路复用单元，所述多路复用单元多路复用分辨率被所述图像转换单元降低的辅助视差图像；以及

设置单元，所述设置单元设置辅助视差图像多路复用模式信息，所述辅助视差图像多路复用模式信息代表辅助视差图像的多路复用模式，

其中，所述视差图像编码单元对被所述多路复用单元多路复用的辅助视差图像进行编码，并且

所述发送单元发送由所述设置单元设置的辅助视差图像多路复用模式信息。

8.根据权利要求2所述的编码装置，

其中，所述图像转换单元多路复用分辨率被降低的辅助图像，

所述设置单元设置辅助图像多路复用模式信息，所述辅助图像多路复用模式信息代表所述辅助图像的多路复用模式，

所述辅助图像编码单元对被所述图像转换单元多路复用的辅助图像进行编码，并且

所述发送单元发送由所述设置单元设置的辅助图像多路复用模式信息。

9.一种由编码装置执行的编码方法，所述编码方法包括：

兼容图像编码步骤，通过根据多视点图像指定兼容图像并且对指定的兼容图像进行编码来产生第一编码流；

图像转换步骤，降低当由兼容图像产生多视点图像时使用的辅助图像的分辨率；

辅助图像编码步骤，通过对在所述图像转换步骤的处理中分辨率被降低的辅助图像进行编码来产生第二编码流；以及

发送步骤，发送在所述兼容图像编码步骤的处理中产生的第一编码流和在所述辅助图像编码步骤的处理中产生的第二编码流。

10.一种解码装置，包括：

接收单元，所述接收单元接收第一编码流和第二编码流，所述第一编码流是作为对根据多视点图像指定的兼容图像进行编码的结果而获取的，所述第二编码流是作为降低当由所述兼容图像产生多视点图像时使用的辅助图像的分辨率并且对分辨率被降低的辅助图像进行编码的结果而获取的；

兼容图像解码单元，所述兼容图像解码单元对所述接收单元接收的第一编码流进行解码；

辅助图像解码单元，所述辅助图像解码单元对所述接收单元接收的第二编码流进行解码；以及

图像转换单元，所述图像转换单元增大作为由所述辅助图像解码单元进行解码的结果而获取的分辨率被降低的辅助图像的分辨率。

11.根据权利要求10所述的解码装置，

其中，所述接收单元接收辅助图像分辨率标识信息，所述辅助图像分辨率标识信息标识辅助图像在编码时的分辨率不同于兼容图像的分辨率，并且

所述图像转换单元基于所述接收单元接收的所述辅助图像分辨率标识信息，增大分辨率被降低的辅助图像的分辨率。

12.根据权利要求11所述的解码装置，

其中，所述接收单元接收辅助图像转换模式信息，所述辅助图像转换模式信息代表辅助图像的分辨率的转换模式，并且

所述图像转换单元基于所述接收单元接收的辅助图像转换模式信息，增大分辨率被降低的辅助图像的分辨率。

13.根据权利要求10所述的解码装置，还包括视差图像解码单元，所述视差图像解码单元对作为降低代表辅助图像的视差的辅助视差图像的分辨率并且对分辨率被降低的辅助视差图像进行编码的结果而获取的视差编码流进行解码，

其中，所述接收单元接收视差编码流，并且

所述图像转换单元增大作为由所述视差图像解码单元进行解码的结果而获取的分辨率被降低的辅助视差图像的分辨率。

14.根据权利要求13所述的解码装置，

其中，所述接收单元接收辅助视差图像分辨率标识信息，所述辅助视差图像分辨率标识信息标识辅助视差图像在编码时的分辨率不同于兼容图像的分辨率，并且

所述图像转换单元基于所述接收单元接收的所述辅助视差图像分辨率标识信息，增大分辨率被降低的辅助视差图像的分辨率。

15.根据权利要求14所述的解码装置，

其中，所述接收单元接收辅助视差图像转换模式信息，所述辅助视差图像转换模式信息代表辅助视差图像的分辨率的转换模式，并且

所述图像转换单元基于所述接收单元接收的所述辅助视差图像转换模式信息，增大分辨率被降低的辅助视差图像的分辨率。

16.根据权利要求13所述的解码装置，还包括分离单元，所述分离单元分离被多路复用的辅助视差图像，

其中，所示视差编码流是作为对分辨率被降低的被多路复用的辅助视差图像进行编码的结果而获取的，

所述接收单元接收辅助视差图像多路复用模式信息，所述辅助视差图像多路复用模式信息代表辅助视差图像的多路复用模式，

所述分离单元基于所述接收单元接收的所述辅助视差图像多路复用模式信息，分离作为由所述视差图像解码单元进行解码的结果而获取的分辨率被降低的被多路复用的辅助视差图像，并且

所述图像转换单元增大作为由所述分离单元进行分离的结果而获取的分辨率被降低的辅助视差图像的分辨率。

17.根据权利要求11所述的解码装置，

其中，所述第二编码流是作为对分辨率被降低的被多路复用的辅助图像进行编码的结果而获取的，

所述接收单元接收辅助图像多路复用模式信息，所述辅助图像多路复用模式信息代表辅助图像的多路复用模式，

所述分离单元基于所述接收单元接收的辅助图像多路复用模式信息，分离作为由所述辅助图像解码单元进行解码的结果而获取的分辨率被降低的被多路复用的辅助图像，并且

所述图像转换单元增大作为由所述分离单元进行分离的结果而获取的分辨率被降低的辅助图像的分辨率。

18.一种由解码装置执行的解码方法，所述解码方法包括：

接收步骤，接收第一编码流和第二编码流，所述第一编码流是作为对根据多视点图像指定的兼容图像进行编码的结果而获取的，所述第二编码流是作为降低当由兼容图像产生多视点图像时使用的辅助图像的分辨率并且对分辨率被降低的辅助图像进行编码的结果而获取的；

兼容图像解码步骤，对所述接收步骤的处理中接收的第一编码流进行解码；

辅助图像解码步骤，对所述接收步骤的处理中接收的第二编码流进行解码；以及

图像转换步骤，增大作为在所述辅助图像解码步骤的处理中进行解码的结果而获取的分辨率被降低的辅助图像的分辨率。

Images