CN105939469A - 编码装置和编码方法以及解码装置和解码方法 - Google Patents

Abstract

本发明涉及一种能够根据与现有模式兼容的模式对多视点图像进行编码和解码的编码装置和编码方法以及解码装置和解码方法。兼容编码器通过以访问单元为单位对作为兼容图像的图像(A1)进行编码来生成兼容流。辅助编码器通过以访问单元为单位对是根据兼容图像生成多视点图像时使用的辅助图像的图像(B1，C1)的复用图像进行编码来生成辅助图像的复用图像的编码流。复用单元对兼容流、表示单元的边界的3DV表示定界符以及辅助图像的复用图像的编码流进行发送。本技术可以应用于例如对多视点模式的3D图像进行编码的编码装置。

Description

编码装置和编码方法以及解码装置和解码方法

本申请为于2013年2月22日提交、申请号为201180040905.6、发明名称为“编码装置和编码方法以及解码装置和解码方法”的中国专利申请的分案申请。所述母案申请的国际申请日为2011年8月31日，优先权日为2010年9月3日，国际申请号为PCT/JP2011/069841。

技术领域

本技术涉及编码装置、编码方法、解码装置以及解码方法，更具体地，涉及能够根据与现有模式兼容的模式对多视点图像进行编码和解码的编码装置、编码方法、解码装置以及解码方法。

背景技术

目前，作为3D图像观看模式，通常存在其中通过佩戴下述眼镜来观看交替显示的双视点图像的模式(下文中，称为双视点模式)，其中该眼镜的左眼快门在显示双视点图像中的一个图像时打开而其右眼快门在显示双视点图像中的另一个图像时打开。

然而，在这种双视点模式中，除3D图像显示装置之外观看者还需购买眼镜，因此降低了观看者的购买意愿。另外，由于观看者需要佩戴眼镜才能观看，这使观看者感到苦恼。因此，不用佩戴眼镜也可以观看3D图像的观看模式(在下文中，称为多视点模式)的需求日益增大。

在多视点模式中，显示多视点图像使得每个视点的可视角度都不同，于是，在不佩戴眼镜的情况下用左眼和右眼来观看任意两个视点的图像的观看者可以看到3D图像。

提供多视点模式的观看的显示装置例如基于用于双视点模式的两个视点的图像生成用于多视点模式的多视点图像并且显示所生成的多视点图像。更具体地，显示装置使用图像视差估计技术(深度估计)来获取用于双视点模式的双视点图像的视差(深度)。然后，显示装置使用多视点图像生成技术(视图生成)来生成与用于双视点模式的两个视点的图像对应的视点相邻的多视点图像的合成图像并且显示该合成图像，其中，多视点图像生成技术使用合成技术(视图合成)以及两个视点的图像之间的视差。

现有编码模式包括高级视频编码(AVC)模式和多视图视频编码(MVC)模式。

图1是示出以MVC模式对双视点图像进行编码并且对所编码的图像进行复用的编码装置的示例的图。

图1中示出的编码装置10由成像单元11A、成像单元11B、MVC编码器12以及复用单元13配置而成。

成像单元11A捕捉预定视点的图像A并且将所捕捉的图像提供给MVC编码器12。另外，成像单元11B捕捉与图像A的视点不同的视点的图像B并且将所捕捉的图像提供给MVC编码器12。MVC编码器12根据MVC模式在由成像单元11A提供的图像A被设定为基础图像并且由成像单元11B提供的图像B被设定为依赖图像的情况下进行编码。MVC编码器12将编码后的图像A和图像B提供给复用单元13。复用单元13基于编码后的图像A生成第一TS(传送流)(在下文中，称为TS1)，基于编码后的图像B生成第二TS(在下文中，称为TS2)，并且对TS1和TS2进行复用。

由解码装置对复用后的TS1和TS2进行分离，并且根据与MVC模式对应的模式对编码后的图像A和编码后的图像B进行解码。然后，由于解码而获取的图像A和图像B被交替地显示。此时，观看者例如佩戴上其左眼快门在显示图像A时打开而其右眼快门在显示图像B时打开的眼镜，只使用左眼来观看图像A并只使用右眼来观看图像B。这样，观看者就可以看到3D图像。在想要显示2D图像的情况下，只显示图像A就可以了。

与此同时，还设计出了对多视点图像进行编码的模式(例如，见专利文件1)。

引用列表

专利文件

专利文件1：日本公开特开第2008-182669号

发明内容

本发明将要解决的问题

然而，未考虑对多视点图像进行编码和解码的、与用于两个或更少的视点的图像的现有模式有兼容性的模式。

鉴于这种情况，构思出本技术，其使得能够根据与现有模式兼容的模式对多视点图像进行编码和解码。

问题的解决方案

根据本技术的第一方面的编码装置包括：兼容图像编码单元，用于通过从多视点图像中指定兼容图像并以访问单元为单位对所指定的兼容图像进行编码来生成第一编码流；辅助图像编码单元，用于通过以访问单元为单位对当根据兼容图像生成多视点图像时使用的辅助图像进行编码来生成第二编码流；设定单元，用于对表示单元的边界的边界信息进行设定；以及发送单元，用于发送由兼容图像编码单元生成的第一编码流、由设定单元设定的边界信息以及由辅助图像编码单元编码的第二编码流。

根据本技术的第一方面的编码方法对应于根据本技术的第一方面的编码装置。

在本技术的第一方面中，通过从多视点图像中指定兼容图像并以访问单元为单位对所指定的兼容图像进行编码来生成第一编码流；通过以访问单元为单位对当根据兼容图像生成多视点图像时使用的辅助图像进行编码来生成第二编码流；对表示单元的边界的边界信息进行设定，并且发送第一编码流、边界信息以及第二编码流。

根据本技术的第二方面的解码装置包括：分离单元，用于接收由于以访问单元为单位对从多视点图像中指定的兼容图像进行编码而获取的第一编码流、表示单元的边界的边界信息、以及由于以访问单元为单位对当根据兼容图像生成多视点图像时使用的辅助图像进行编码而获取的第二编码流，并且基于边界信息来分离第一编码流和第二编码流；兼容图像解码单元，用于对通过分离单元分离的第一编码流进行解码；以及辅助图像解码单元，用于对通过分离单元分离的第二编码流进行解码。

根据本技术的第二方面的解码方法对应于根据本技术的第二方面的解码装置。

在本技术的第二方面中，接收由于以访问单元为单位对从多视点图像中指定的兼容图像进行编码而获取的第一编码流、表示单元的边界的边界信息以及由于以访问单元为单位对当根据兼容图像生成多视点图像时所使用的辅助图像进行编码而获取的第二编码流，并且基于边界信息来分离第一编码流和第二编码流；对分离的第一编码流进行解码，并且对分离的第二编码流进行解码。

另外，可以通过使计算机执行程序来实现根据第一方面的编码装置和根据第二方面的解码装置。

此外，可以提供由计算机执行以实现根据第一方面的编码装置和根据第二方面的解码装置的程序，同时程序可以在通过传输介质被发送或被记录在记录介质上。

本发明的效果

根据本技术的第一方面，可以用具有与现有模式的兼容性的模式对多视点图像进行编码。

另外，根据本技术的第二方面，可以用具有与现有模式的兼容性的模式对经编码的多视点图像进行解码。

附图说明

图1是示出传统的编码装置的示例的图。

图2是示出根据本技术的第一实施例的编码装置的配置示例的框图。

图3是示出由图2中所示的复用单元生成的TS的配置示例的图。

图4是示出图3中所示的TS2的详细的配置示例的图。

图5是示出对TS1和TS2进行复用的方法的示例的图。

图6是示出由图2中所示的编码装置执行的编码处理的流程图。

图7是示出由图2中所示的编码装置执行的编码处理的流程图。

图8是示出与图2中所示的编码装置对应的解码装置的配置示例的图。

图9是示出由图8中所示的解码装置执行的解码处理的流程图。

图10是示出由图2中所示的复用单元生成的TS的另一配置示例的图。

图11是示出图10中所示的TS2的详细的配置示例的图。

图12是示出图10中所示的TS3的详细示例的图。

图13是示出由图8中所示的解码装置执行的另一解码处理的流程图。

图14是示出根据本技术的第二实施例的编码装置的配置示例的框图。

图15是示出由图14中所示的复用单元生成的TS的配置示例的图。

图16是示出由图14中所示的编码装置执行的编码处理的流程图。

图17是示出由图14中所示的编码装置执行的编码处理的流程图。

图18是示出与图14中所示的编码装置对应的解码装置的配置示例的图。

图19是示出由图18中所示的解码装置执行的解码处理的流程图。

图20是示出由图14中所示的复用单元生成的TS的另一配置示例的图。

图21是示出由图18中所示的解码装置执行的另一解码处理的流程图。

图22是示出根据本技术的第三实施例的编码装置的配置示例的框图。

图23是示出由图22中所示的复用单元生成的TS的第一配置示例的图。

图24是示出由图22中所示的编码装置执行的编码处理的流程图。

图25是示出由图22中所示的编码装置执行的编码处理的流程图。

图26是示出与图22中所示的编码装置对应的解码装置的配置示例的图。

图27是示出由图26中所示的解码装置执行的解码处理的流程图。

图28是示出由图22中所示的复用单元生成的TS的第二配置示例的图。

图29是示出对图28中所示的TS1至TS3进行复用的方法的示例的图。

图30是示出由图26中所示的解码装置执行的第二解码处理的流程图。

图31是示出由图22中所示的复用单元生成的TS的第三配置示例的图。

图32是示出由图26中所示的解码装置200执行的第三解码处理的流程图。

图33是示出根据本技术的第四实施例的编码装置的配置示例的框图。

图34是示出由图33中所示的复用单元生成的TS的配置示例的图。

图35是示出图34中所示的TS2的详细配置示例的图。

图36是示出与图33中所示的编码装置对应的解码装置的配置示例的图。

图37是示出根据本技术的第五实施例的编码装置的配置示例的框图。

图38是示出图37中所示的编码处理单元的配置示例的图。

图39是示出由图38中所示的编码单元执行的编码处理中的参考关系的图。

图40是示出NAL(网络抽象层)单元的配置示例的图。

图41是示出比特流的配置示例的图。

图42是示出根据3DV(3D视频)模式的SEI(补充增强信息)的配置示例的图。

图43是示出视差信息的描述的示例的图。

图44是示出由图37中所示的编码装置执行的多视点编码处理的流程图。

图45是示出图44中表示的步骤S257的详细编码处理的流程图。

图46是示出与图37中所示的编码装置对应的根据AVC模式的解码装置的配置示例的框图。

图47是示出由图46中所示的解码装置执行的解码处理的流程图。

图48是示出与图37中所示的编码装置对应的根据MVC模式的解码装置的配置示例的框图。

图49是示出由图48中所示的解码装置执行的解码处理的流程图。

图50是示出与图37中所示的编码装置对应的根据3DV模式的解码装置的配置示例的框图。

图51是示出由图50所示的解码装置360执行的解码处理的流程图。

图52是示出作为解码目标的编码数据的图。

图53是示出根据本技术的第六实施例的编码装置的配置示例的框图。

图54是示出图53中所示的编码处理单元的配置示例的框图。

图55是示出NAL单元的配置示例的图。

图56是示出比特流的配置示例的图。

图57是示出由图53中所示的编码装置执行的多视点编码处理的流程图。

图58是示出图57中表示的步骤S369的详细的编码处理的流程图。

图59是示出与图53中所示的编码装置对应的根据3DV模式的解码装置的配置示例的框图。

图60是示出由图59中所示的解码装置执行的解码处理的流程图。

图61是示出视差信息的描述的示例的图。

图62是示出根据本技术的第七实施例的编码装置的配置示例的框图。

图63是示出兼容性信息和视差图像信息的描述的示例的图。

图64是示出图63中所示的视差图像信息的详细描述的示例的图。

图65是示出包括于辅助流中的兼容性信息和视差图像信息的描述的示例的图。

图66是示出图65中所示的视差图像信息的详细描述的示例的图。

图67是示出由图62中所示的编码装置执行的编码处理的流程图。

图68是示出由图62中所示的编码装置执行的编码处理的流程图。

图69是示出与图62中所示的编码装置对应的解码装置的配置示例的图。

图70是示出由图69中所示的解码装置执行的解码处理的流程图。

图71是示出根据本技术的第八实施例的编码装置的配置示例的框图。

图72是示出由图71中所示的编码装置执行的编码处理的流程图。

图73是示出由图71中所示的编码装置执行的编码处理的流程图。

图74是示出与图71中所示的编码装置对应的解码装置的配置示例的图。

图75是示出由图74中所示的解码装置执行的解码处理的流程图。

图76是示出编码目标的复用模型的示例的图。

图77是示出复用的效果的特征的图。

图78是示出编码目标的复用模型的另一示例的图。

图79是示出编码目标的复用模型的又一示例的图。

图80是示出根据本技术的第九实施例的编码装置的配置示例的框图。

图81是示出由图80中所示的编码装置执行的编码处理的流程图。

图82是示出由图80中所示的编码装置执行的编码处理的流程图。

图83是示出与图80中所示的编码装置对应的解码装置的配置示例的图。

图84是示出由图83中所示的解码装置执行的解码处理的流程图。

图85是比特流的另一配置示例。

图86是示出根据用于图85中所示的视差图像的3DV模式的子集SPS(序列参数集)的描述的示例的图。

图87是示出图86中所示的视差图像的扩展信息的描述的示例的图。

图88是示出图86中所示的视差图像的VUI(视频可用性信息)扩展信息的描述的示例的图。

图89是示出根据3DV模式的编码数据的NAL报头的描述的示例的图。

图90是示出图89中所示的视差图像报头扩展信息的描述的示例的图。

图91是示出根据图85中所示的3DV模式的SEI的描述的示例的图。

图92是示出比特流的又一配置示例的图。

图93是示出根据图92中所示的图像的3DV模式的子集SPS的描述的示例的图。

图94是示出在3DV模式是符合HEVC模式的模式的情况下的比特流的配置示例的图。

图95是示出图94中所示的SPS的描述的示例的图。

图96是示出图95中所示的子集SPS的描述的示例的图。

图97是示出图96中所示的子集SPS的VUI信息的描述的示例的图。

图98是示出根据图94中所示的3DV模式的SEI的描述的示例的图。

图99是示出根据实施例的计算机的配置示例的图。

图100是示出根据本技术的电视设备的示意性配置的图。

图101是示出根据本技术的蜂窝电话的示意性配置的图。

图102是示出根据本技术的记录和再现装置的示意性配置的图。

图103是示出根据本技术的成像设备的示意性配置的图。

具体实施方式

<第一实施例>

[根据实施例的编码装置的配置示例]

图2是示出根据本技术的第一实施例的编码装置的配置示例的框图。

图2中所示的编码装置50是由下述单元配置而成：成像单元51A至成像单元51C、图像转换单元52、视差图像生成单元53、图像信息生成单元54、兼容性信息生成单元55、视点间距离信息生成单元56、视差图像信息生成单元57、编码器58以及复用单元59。

编码装置50根据现有编码模式通过对用作2D图像的多视点图像中的一个视点的图像进行编码来独立地生成各TS，从而确保与对2D图像进行编码的现有编码装置的兼容性。

在下文中，在多视点图像中，以现有编码模式被编码以确保与现有编码装置的兼容性的图像将被称为兼容图像，而这样的图像将被称为辅助图像：其被用于通过使用兼容图像来生成多于兼容图像的视点数目的视点的图像。

在编码装置50中，成像单元51A捕捉预定视点的HD(高清晰度)图像作为图像A1并将所捕捉的图像提供给图像转换单元52、视差图像生成单元53以及视点间距离信息生成单元56。成像单元51B在水平方向上与成像单元51A相隔距离Δd1_AB、深度方向上具有距对象同样距离的位置处捕捉与图像A1的视点不同的视点的HD图像作为图像B1，并将所捕捉的图像提供给图像转换单元52、视差图像生成单元53以及视点间距离信息生成单元56。成像单元51C在与成像单元51B相反的水平方向上与成像单元51A相隔距离Δd1_AC的位置处捕捉与图像A1和图像B1的视点都不同的视点的HD图像作为图像C1，并将所捕捉的图像提供给图像转换单元52、视差图像生成单元53以及视点间距离信息生成单元56。

对应于图像B1和图像C1的视点是位于可以被识别为3D图像的图像的视点中的外侧的视点。这样，与编码装置50对应的解码装置可以通过使用图像A1至图像C1对位于图像B1的视点和图像C1的视点的更内侧的视点的图像进行内插来生成多视点图像。因此，可以生成这样的多视点图像：其精度高于其中通过使用位于内侧的视点的图像来对位于外侧的视点的图像进行内插的情况下的精度。距离Δd1_AB和Δd1_AC可以被配置为固定的或者每次都改变。

图像转换单元52将在水平方向上的位置位于成像单元51A至成像单元51C中内侧的成像单元51A提供的图像A1确定为兼容图像。图像转换单元52将指定图像A1为兼容图像的信息提供给兼容性信息生成单元55。然后，图像转换单元52将作为兼容图像的图像A1直接提供给编码器58。

另外，图像转换单元52将除图像A1之外的图像B1和图像C1设定为辅助图像，并且根据预定的复用模式对图像B1和图像C1进行复用。更具体地，例如，在复用模式为并排模式的情况下，图像转换单元52将图像B1和图像C1中的每个图像的分辨率减半。然后，图像转换单元52对其分辨率减半的图像B1(在下文中，称为半分辨率图像B1)和其分辨率减半的图像C1(在下文中，称为半分辨率图像C1)进行复用，以使得半分辨率图像B1变为屏幕的左半图像而半分辨率图像C1变为屏幕的右半图像。图像转换单元52将由于复用处理而获取的复用图像提供给编码器58并且将表示辅助图像的复用模式的信息提供给图像信息生成单元54。

视差图像生成单元53使用从成像单元51A至成像单元51C提供的图像A1至图像C1来检测图像A1至图像C1中的每个像素的视差。视差图像生成单元53生成表示作为兼容图像的图像A1中的每个像素的视差的视差图像A1＇并将所生成的视差图像直接提供给编码器58。另外，视差图像生成单元53生成表示作为辅助图像的图像B1中的每个像素的视差的视差图像B1＇以及表示作为辅助图像的图像C1中的每个像素的视差的视差图像C1＇，并且根据预定的复用模式对所生成的视差图像进行复用。视差图像生成单元53将由于复用处理而获取的复用图像提供给编码器58。另外，视差图像生成单元53将表示辅助图像的视差图像的复用模式的信息提供给视差图像信息生成单元57。

图像信息生成单元54基于从图像转换单元52提供的信息来生成表示辅助图像的复用模式等的信息作为图像信息(其是关于兼容图像和辅助图像的信息)，并且将所生成的图像信息提供给复用单元59。

兼容性信息生成单元55基于从图像转换单元52提供的信息来生成指定兼容图像、兼容模式等的信息作为兼容性信息(其是关于兼容性的信息的)，并将所生成的兼容性信息提供给复用单元59。

这里，兼容模式是表示对兼容图像进行编码的方法的模式。作为兼容模式的示例，有：单模式，该单模式表示根据AVC模式对一个视点的兼容图像进行编码的编码方法；帧打包模式(frame packing mode)，该帧打包模式表示对两个视点的兼容图像进行复用并且根据AVC模式对所述兼容图像进行编码的编码方法；以及立体模式，该立体模式表示根据MVC模式对两个视点的兼容图像进行编码的编码方法。

视点间距离信息生成单元56通过使用由成像单元51A至成像单元51C提供的图像A1至图像C1来检测图像A1至图像C1中之间的每个视点间距离(在下文中，称为视点间距离)。例如，视点间距离信息生成单元56检测成像单元51A与成像单元51B之间在水平方向上的距离Δd1_AB以及成像单元51A与成像单元51C之间在水平方向上的距离Δd1_AC作为视点间距离。视点间距离信息生成单元56生成表示视点间距离等的信息作为是视点间距离信息(其是关于视点间距离信息的信息)，并且将所生成的视点间距离信息提供给复用单元59。

视差图像信息生成单元57基于从视差图像生成单元53提供的信息来生成表示辅助图像的视差图像的复用模式等的信息作为是视差图像信息(其是关于视差图像的信息)，并将所生成的视差图像信息提供给复用单元59。

编码器58由兼容编码器61和辅助编码器62配置而成。兼容编码器61(兼容图像编码单元)从由图像转换单元52提供的兼容图像和辅助图像的复用图像中指定作为兼容图像的图像A1，并根据现有的AVC模式以访问单元为单位对图像A1进行编码。兼容编码器61将由于编码而获取的编码流提供给复用单元59作为兼容流(第一编码流)。

辅助编码器62(辅助图像编码单元)根据预定的模式、以访问单元为单位对从图像转换单元52提供的辅助图像的复用图像以及从视差图像生成单元53提供的兼容图像的视差图像A1＇和辅助图像的视差图像的复用图像进行编码。辅助编码器62将由于编码而获取的编码流(第二编码流、第一视差编码流以及第二视差编码流)提供给复用单元59作为辅助流。可以将AVC模式、MVC模式、MPEG2(运动图像专家组第二阶段)等用作为由辅助编码器62采用的编码模式。

复用单元59(设定单元以及发送单元)使用下述信息来生成TS：从兼容编码器61提供的兼容流、从辅助编码器62提供的辅助流、从图像信息生成单元54提供的图像信息、从兼容性信息生成单元55提供的兼容性信息、从视点间距离信息生成单元56提供的视点间距离信息、从视差图像信息生成单元57提供的视差图像信息等。复用单元59对所生成的TS进行复用并且发送由此而获取的复用流。

在下文中，图像信息、兼容性信息、视点间距离信息以及视差图像信息将被统称为辅助信息。

[TS的配置示例]

图3是示出由图2中所示的复用单元59生成的TS的配置示例的图。

在图3中所示的示例中，由复用单元59根据兼容流来生成TS1。另外，根据包括经编码的辅助图像的复用图像、兼容图像的视差图像A1＇以及辅助图像的视差图像的复用图像的辅助流和辅助信息来生成TS2。

在图3中所示的示例中，因为兼容流和除兼容流之外的流存储在互不相同的TS中，所以不需要减小兼容流的信息量。因此，兼容图像的图像质量可以配置为与根据现有的AVC方法被编码的2D图像的图像质量相同。

图4是示出图3中所示的TS2的详细的配置示例的图。

如图4的A至图4的C中所示，在图3所示的TS2中，数据以单元为单位布置，并且，在每个单元的头部处插入了表示单元的分隔(边界)的定界符(Del)(边界信息)。

在图4的A中所示的示例中，以访问单元(其为解码单元)为单位布置的下述信息被分别布置在每个单元中作为数据，所述信息为：经编码的辅助图像的复用图像(B1+C1)和辅助图像的复用图像的辅助信息(AuxInf)、经编码的兼容图像的视差图像(A1＇)和兼容图像的视差图像的辅助信息、或经编码的辅助图像的视差图像的复用图像(B1＇+C1＇)和辅助图像的视差图像的复用图像的辅助信息。

这种情况下，接收TS2的解码装置可以通过以单元为单位提取数据的方式来对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行独立地提取。因此，例如在解码装置只使用兼容图像和兼容图像的视差图像来生成多视点图像的情况下，可以容易地提取用于生成多视点图像的图像。另外，由于辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像中的每个图像与其辅助信息布置在同一单元中，因此可以以容易的方式对每个单元中布置的图像进行独立地处理。

在图4的B中所示的示例中，以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像、辅助图像的视差图像的复用图像以及辅助信息一起布置在每个单元中。这种情况下，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像、辅助图像的视差图像的复用图像以及辅助信息一起进行提取。

在图4的C中所示的示例中，以访问单元为单位布置的经编码的辅助图像的复用图像和辅助图像的复用图像的辅助信息，或者经编码的兼容图像的视差图像、辅助图像的视差图像的复用图像以及兼容图像的视差图像的和辅助图像的视差图像的辅助信息被布置在每个单元中。

这种情况下，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、以及兼容图像的视差图像和辅助图像的视差图像的复用图像进行独立地提取。因此，例如，在其中用于图像的解码器和用于视差图像的解码器分离地装备在解码装置中的情况下，可以将数据高效地提供给每个解码器。此外，可以由解码装置以容易的方式独立地处理图像和视差图像。

[复用方法的描述]

图5是示出对TS1和TS2进行复用的方法的示例的图。

如图5中所示，通过以访问单元为单位从头部开始按照TS2和TS1的顺序布置来对TS1和TS2进行复用。另外，表示包括除兼容流之外的信息的TS头部的3DV表示定界符(边界信息)被设定并添加至TS2的报头。换句话说，3DV表示定界符被布置在特定访问单元的TS2与前一访问单元的TS1之间的边界上。因此，与编码装置50对应的解码装置可以通过提取从特定3DV表示定界符至下一3DV表示定界符的数据而很容易地识别兼容流和与兼容流同步的辅助流以及辅助图像。

[编码装置的处理的描述]

图6和图7是示出由图2中所示的编码装置50执行的编码处理的流程图。此编码处理例如在图像A1至图像C1从成像单元51A至成像单元51C输出时开始。

在图6中所示的步骤S11中，视点间距离信息生成单元56使用由成像单元51A至成像单元51C提供的图像A1至图像C1来检测距离Δd1_AB和Δd1_AC作为视点间距离。

在步骤S12中，视点间距离信息生成单元56生成表示在步骤S11中检测到的视点间距离等的信息作为视点间距离信息，并将所生成的视点间距离信息输入到复用单元59。

在步骤S13中，图像转换单元52将由成像单元51A提供的图像A1确定为兼容图像并且确定辅助图像的复用模式，所述成像单元51A在水平方向上的位置位于成像单元51A至成像单元51C中的内侧。图像转换单元52将指定图像A1为兼容图像的信息提供给兼容性信息生成单元55并将辅助图像的复用模式提供给图像信息生成单元54。

在步骤S14中，兼容性信息生成单元55基于由图像转换单元52提供的信息生成指定图像A1为兼容图像、单模式为兼容模式等的信息作为兼容信息，并将所生成的兼容性信息输入到复用单元59。

在步骤S15中，图像信息生成单元54基于从图像转换单元52提供的信息生成表示辅助图像的复用模式等的信息作为图像信息，并将所生成的图像信息输入到复用单元59。

在步骤S16中，图像转换单元52将除图像A1之外的图像B1和图像C1设定为辅助图像并且基于在步骤S13中确定的辅助图像的复用模式对辅助图像进行复用，从而获取辅助图像的复用图像。

在步骤S17中，图像转换单元52将作为兼容图像的图像A1和辅助图像的复用图像输入到编码器58。

在图7中所示的步骤S18中，视差图像生成单元53使用由成像单元51A至成像单元51C提供的图像A1至图像C1来检测图像A1至图像C1的每个像素的视差，并且生成视差图像A1＇至视差图像C1＇。

在步骤S19中，视差图像生成单元53确定辅助图像的视差图像的复用模式并将表示复用模式的信息提供给视差图像信息生成单元57。

在步骤S20中，视差图像信息生成单元57基于从视差图像生成单元53提供的信息生成表示辅助图像的视差图像的复用模式等的信息作为视差图像信息，并将所生成的视差图像信息输入到复用单元59。

在步骤S21中，视差图像生成单元53基于步骤S19中确定的辅助图像的视差图像的复用模式来对辅助图像的视差图像进行复用，从而获取辅助图像的视差图像的复用图像。

在步骤S22中，视差图像生成单元53将兼容图像的视差图像A1＇和辅助图像的视差图像的复用图像输入到编码器58。

在步骤S23中，编码器58的兼容编码器61根据现有的AVC模式对作为由图像转换单元52提供的兼容图像的图像A1进行编码，并将由于编码而获取的编码流提供给复用单元59作为兼容流。

在步骤S24中，辅助编码器62根据预定的模式对由图像转换单元52提供的辅助图像的复用图像以及由视差图像生成单元53提供的兼容图像的视差图像A1＇和辅助图像的视差图像的复用图像进行编码。辅助编码器62将由于编码处理而获取的编码流作为辅助流提供给复用单元59。

在步骤S25中，复用单元59根据从兼容编码器61提供的兼容流生成TS1，根据从辅助编码器62提供的辅助流和辅助信息生成TS2，执行复用处理并且发送由于复用而获取的复用流。此复用流例如被记录在BD(蓝光(注册商标)盘)等上或作为广播流进行发送。然后，该处理结束。

如上所述，由于编码装置50使用存储在互不相同的TS中的兼容流以及辅助流和辅助信息来执行复用处理，因此可以确保与在复用处理中对现有2D图像进行编码的编码装置的兼容性。换句话说，编码装置50可以根据与现有模式有兼容性的模式对多视点图像执行复用处理。

另外，由于编码装置50根据现有编码模式对多视点图像中的作为兼容图像的一个视点的图像进行编码，因此可以确保与在编码处理中对2D图像进行编码的现有编码装置的兼容性。换句话说，编码装置50可以根据与现有编码模式有兼容性的模式对多视点图像进行编码。

此外，由于编码装置50对三个视点的图像A1至C1进行编码，因此与编码装置50对应的解码装置可以根据三个视点的图像A1至C1生成多视点图像。这样，与根据两个视点的图像生成多视点图像的情况相比，根据该解码装置，可以生成的图像的视点不受限制，并且可以生成具有相对高的精度的多视点图像。

另外，由于编码装置50在辅助图像的分辨率降低的情况下对图像进行编码，所以编码处理和解码处理的处理开销低于在分辨率不降低的情况下进行编码的情况。例如，在不降低其分辨率来对两个视点的辅助图像进行编码的情况下，虽然编码处理和解码处理的处理开销与对两个HD图像的编码处理和解码处理的处理开销相同，但是由编码装置50执行的对两个视点的辅助图像的编码处理的处理开销与对一个HD图像的编码处理或解码处理的处理开销相同。因此，可以防止由解码装置执行的解码处理的性能对多视点图像的图像质量造成很大的影响。

此外，当合成多视点图像时，如稍后所述的那样，与编码装置50对应的解码装置以多视点图像的视点数目的倒数的比率来降低分辨率，由此由编码装置50执行的使辅助图像的分辨率降低不会影响合成后的多视点图像的图像质量。

另外，由于编码装置50在辅助图像的分辨率减半的情况下执行编码，并且在辅助图像的视差图像的分辨率减半的同时对辅助图像的视差图像进行编码，因此可以将编码目标的信息量配置为大约对应于AVC模式下4个HD图像(1080i x 4)的信息量。

这里，综合考虑显示多视点图像的当前显示装置和根据其的解码装置的处理速度、有关于电力开销的处理性能、发送数据速率、发送带宽、存储器的带宽、存储器访问速度等，足够作为可以由解码装置处理的信息量的值被认为约是对应于当前状态下的MVC模式的HD图像的信息量的两倍，即，对应于AVC模式下的4个HD图像的信息量。因此，可以通过合理的方法以合理的处理开销来实现与编码装置50对应的解码装置(解码方法)，所述编码装置的编码目标的信息量约对应于AVC模式下4个HD图像(1080i x 4)的信息量。

另外，根据编码装置50，编码目标的信息量被减小至对应于AVC模式下约4个HD图像(1080i x 4)的信息量，因此，可以很容易地将编码装置作为具有可用带宽的限制的BD或广播应用来操作。

此外，因为编码装置50生成视差图像并在视差图像包括在编码流中的同时发送视差图像，所以与编码装置50对应的解码装置不需要生成用于生成多视点图像的视差图像，因此，可以减小解码装置的处理负荷。从而可以减小解码装置的制造开销。另外，可以防止解码装置的视差检测性能对多视点图像的图像质量造成很大的影响。

[解码装置的配置示例]

图8是示出对从图2中所示的编码装置50发送的复用流进行解码的解码装置的配置示例的图。

图8中所示的解码装置120由下述单元配置而成：分离单元121、解码器122、图像信息获取单元123、视点间距离信息获取单元124、视差图像信息获取单元125、兼容性信息获取单元126以及图像生成单元127。解码装置120对从编码装置50发送的复用流进行分离和解码，生成一个视点的图像或多视点图像，并且将所生成的图像显示在显示装置(图中未示出)上。

更具体地，解码装置120的分离单元121(分离单元)接收从编码装置50发送的复用流并且分离每个TS。分离单元121对包括于TS中的兼容流和包括于TS中的辅助流进行提取并且将所提取的流提供给解码器122。另外，分离单元121对包括于TS中的辅助信息进行提取，将包括于辅助信息中的图像信息提供给图像信息获取单元123，以及将视点间距离信息提供给视点间距离信息获取单元124。此外，分离单元121将包括于辅助信息中的视差图像信息提供给视差图像信息获取单元125并且将兼容性信息提供给兼容性信息获取单元126。

解码器122由兼容解码器131和辅助解码器132配置而成。解码器122的兼容解码器131(兼容图像解码单元)根据与AVC模式对应的模式对包括于由分离单元121提供的兼容流中的经编码的兼容图像进行解码，并将解码后的兼容图像提供给图像生成单元127。

辅助解码器132(辅助图像解码单元)根据与图2中所示的辅助编码器62对应的模式对下述图像进行解码：包括于从分离单元121提供的辅助流中的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像。辅助解码器132将由于解码处理而获取的辅助图像的复用图像、兼容图像的视差图像A＇以及辅助图像的视差图像的复用图像提供给图像生成单元127。

图像信息获取单元123获取从分离单元121提供的图像信息并将所获取的图像信息提供给图像生成单元127。视点间距离信息获取单元124获取从分离单元121提供的视点间距离信息并将所获取的视点间距离信息提供给图像生成单元127。

视差图像信息获取单元125获取从分离单元121提供的视差图像信息并将所获取的视差图像信息提供给图像生成单元127。兼容性信息获取单元126获取从分离单元121提供的兼容性信息并将所获取的兼容性信息提供给图像生成单元127。

图像生成单元127根据由观看者提供的指令输出图像并将图像显示在显示装置(图中未示出)上。更具体地，图像生成单元127(生成单元)根据观看者的用于显示多视点的3D图像的指令、基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像，来生成与显示装置(图中未示出)对应的三个或更多个视点的图像，每个图像的分辨率为兼容图像或辅助图像的分辨率的一半。

更具体地，图像生成单元127基于下述信息从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像，该信息表示从视差图像信息获取单元125提供的视差图像信息中包括的辅助图像的视差图像的复用模式。此外，图像生成单元127基于下述信息从辅助图像的复用图像中分离每个辅助图像，该信息表示从图像信息获取单元123提供的图像信息中包括的辅助图像的复用模式。

此外，图像生成单元127基于视点间距离信息和与显示装置(图中未示出)对应的视点的数目来确定将要生成的多视点图像的每个视点的位置。然后，图像生成单元127通过使用兼容图像、每个辅助图像、兼容图像的视差图像以及每个辅助图像的视差图像来生成其位置被确定的每个视点的图像。然后，图像生成单元127将所生成的每个视点的图像的分辨率转换成是兼容图像或辅助图像的分辨率的“1/视点的数目”的分辨率，合成所述图像，并且将合成的图像显示在显示装置(图中未示出)上。

此时，对合成后的多视点图像进行显示以使得每个视点的视角都不同，从而观看者可以不用佩戴眼镜而通过使用其左眼和右眼看任意两个视点的图像的方式来观看3D图像。

另外，图像生成单元127根据观看者的用于显示2D图像的指令来输出作为由解码器122的兼容解码器131提供的兼容图像的图像A1，从而将图像显示在显示装置(图中未示出)上。于是，观看者可以观看2D图像。

[解码装置的处理的描述]

图9是示出由图8中所示的解码装置120执行的解码处理的流程图。此解码处理例如在从图2中所示的编码装置50发送的复用流被输入到解码装置120时开始。

在图9中所示的步骤S31中，解码装置120的图像生成单元127确定观看者是否已经做出用于显示2D图像的指令。在其中在步骤S31中确定观看者没有做出用于显示2D图像的指令的情况下，换句话说，在观看者做出用于显示多视点模式的3D图像的指令的情况下，处理进行到步骤S32。

在步骤S32中，分离单元121接收从编码装置50发送的复用流并从复用流中分离TS1和TS2。分离单元121通过参照定界符等对包括于TS1中的兼容流和包括于TS2中的辅助流进行提取并且将所提取的流提供给解码器122。而且，分离单元121参照定界符等对包括于TS2中的辅助信息进行提取，将包括于辅助信息中的图像信息提供给图像信息获取单元123并且将视点间距离信息提供给视点间距离信息获取单元124。另外，分离单元121将包括于辅助信息中的视差图像信息提供给视差图像获取单元125并将兼容性信息提供给兼容性信息获取单元126。

在步骤S33中，解码器122的兼容解码器131从由分离单元121提供的兼容流中提取经编码的兼容图像并根据与AVC模式对应的模式对兼容图像进行解码。然后兼容解码器131将由于解码处理而获取的图像A1提供给图像生成单元127。

在步骤S34中，辅助解码器132从辅助流中提取经编码的辅助图像的复用图像、兼容图像的视差图像A＇以及辅助图像的视差图像的复用图像，并且根据与图2中所示的辅助编码器62对应的模式对所提取的图像进行解码。辅助解码器132将由于解码处理而获取的辅助图像的复用图像、兼容图像的视差图像A＇以及辅助图像的视差图像的复用图像提供给图像生成单元127。

在步骤S35中，图像信息获取单元123获取从分离单元121提供的图像信息并将图像信息输入到图像生成单元127。在步骤S36中，视点间距离信息获取单元124获取从分离单元121提供的视点间距离信息并将视点间距离信息提供给图像生成单元127。

在步骤S37中，视差图像信息获取单元125获取从分离单元121提供的视差图像信息并将视差图像信息输入到图像生成单元127。在步骤S38中，兼容性获取单元126获取从分离单元121提供的兼容性信息并将兼容性信息提供给图像生成单元127。

在步骤S39中，图像生成单元127基于从视点间距离信息获取单元124提供的视点间距离信息以及与显示装置(图中未示出)对应的视点的数目来确定将要生成的多视点图像的每个视点的位置。例如，在其中视点间距离信息中包括的视点间距离短的情况下，图像生成单元127还将位于图像B1和C1的视点的外侧的视点的位置确定为将要生成的多视点3D图像的视点的位置。另一方面，在视点间距离信息中包括的视点间距离长的情况下，图像生成单元127只将位于图像B1的视点和图像C1内侧的视点的位置确定为将要生成的多视点3D图像的视点的位置。

在步骤S40中，图像生成单元127基于步骤S39中确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像来生成视点的图像，每个图像的分辨率为兼容图像或辅助图像的分辨率的一半。

在步骤S41中，图像生成单元127将在步骤S40中生成的每个视点的图像的分辨率转换成是兼容图像或辅助图像的分辨率的“1/视点的数目”的分辨率并且基于视点的位置对转换后的每个视点的图像进行合成。

在步骤S42中，图像生成单元127将通过步骤S41的处理而获取的合成后的多视点图像输出到显示装置(图中未示出)，由此显示多视点图像以使得每个视点的视角都不同。然后，解码处理结束。

另一方面，在其中在步骤S31中确定观看者已经做出了用于显示2D图像的指令的情况下，在步骤S43中分离单元121从复用流中分离TS1。更具体地，分离单元121从复用流中获取除TS2之外的TS1，该TS1添加有3DV表示定界符NAL单元。然后，分离单元121通过参照定界符等对包括于TS1中的兼容流进行提取并且将所提取的流提供给解码器122。

在步骤S44中，解码器122的兼容解码器131从由分离单元121提供的兼容流中提取经编码的兼容图像，并且根据与AVC模式对应的模式对经编码的兼容图像进行解码。兼容解码器131将作为由于解码处理而获取的兼容图像的图像A提供给图像生成单元127。

在步骤S45中，图像生成单元127将作为由兼容解码器131提供的兼容图像的图像A1提供给显示装置(图中未示出)，从而显示图像。然后处理结束。

在只可以对与解码装置120有兼容性的兼容流进行解码的解码装置中，忽略了添加有3DV表示定界符NAL单元的TS2，并且执行步骤S44和步骤S45的处理。

如上所述，解码装置120可以分离由编码装置50根据与现有模式有兼容性的模式所复用的复用流。而且，解码装置120可以对由编码装置50根据与现有模式有兼容性而且要求相对低的处理开销的模式所编码的兼容流和辅助流进行解码。

此外，因为解码装置120使用一个视点的兼容图像和两个视点的辅助图像来生成多视点图像，所以除了捕捉一个视点的兼容图像的现有成像单元51A外，编码装置50可以只装备两个成像单元51B和51C作为生成多视点图像的成像单元。因此，用于生成多视点图像的成像单元的安装可以以容易的低开销的方式来进行。

[TS的另一配置示例]

图10是示出由图2中所示的复用单元59生成的TS的另一配置示例的图。

在图10中所示的示例中，复用单元59生成了三个TS，并且辅助流和辅助信息包括于互不相同的TS中。更具体地，根据兼容流生成TS1，根据辅助流生成TS2并且根据辅助信息生成TS3。

在图10中所示的示例中，只根据信息量相对小的辅助信息来独立地生成TS3。因此，执行其中对可以同时处理的TS的数量有限制的应用(例如BD应用)的解码装置可以通过预加载其信息量相对小的TS3来彼此同步地再现TS1和TS2。

另外，在根据辅助流形成的TS2的头部处和根据辅助信息形成的TS3的头部处，以与其中辅助流和辅助信息包括于同一TS的情况类似的方式布置图5中所示的3DV表示定界符。

图11是示出图10中所示的TS2的详细的配置示例的图。

如图11的A至图11的C中所示，数据以单元为单位布置在图10中所示的TS2中，并且，在每个单元的报头处插入表示单元的分隔的定界符。

在图11的A中所示的示例中，经编码的辅助图像的复用图像(B+C)、兼容图像的视差图像(A＇)或辅助图像的视差图像的复用图像(B＇+C＇)以访问单元为单位分别布置在每个单元中作为数据。

这种情况下，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行独立地提取。因此，例如，在解码装置只使用兼容图像和兼容图像的视差图像来生成多视点图像的情况下，可以很容易地提取用于生成多视点图像的图像。

在图11的B中所示的示例中，经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像以访问单元为单位一起布置在每个单元中。这种情况下，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像一起进行提取。

在图11的C中所示的示例中，经编码的辅助图像的复用图像、或者经编码的兼容图像的视差图像和辅助图像的视差图像的复用图像以访问单元为单位一起布置在每个单元中。

这种情况下，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、以及兼容图像的视差图像和辅助图像的视差图像的复用图像进行独立地提取。因此，例如，在用于图像的解码器和用于视差图像的解码器分离地装备在解码装置中的情况下，可以将数据高效地提供给每个解码器。此外，可以由解码装置以容易的方式独立地处理图像和视差图像。

图12是示出图10中所示的TS3的详细的配置示例的图。

如图12的A至图12的D中所示，在图10所示的TS3中，数据以单元为单位布置，并且，在每个单元的头部处插入表示单元的分隔的定界符。

在图12的A中所示的示例中，辅助图像的复用图像的辅助信息(辅助信息(B+C))、兼容图像的视差图像的辅助信息(辅助信息(A＇))或辅助图像的视差图像的复用图像的辅助信息(辅助信息(B＇+C＇))以访问单元为单位布置在每个单元中作为数据。

这种情况下，接收TS3的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的辅助图像的复用图像的辅助信息、兼容图像的视差图像的辅助信息以及辅助图像的视差图像的复用图像的辅助信息进行独立地提取。因此，可以以容易的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行独立地处理。

在图12的B中所示的示例中，以访问单元为单位布置的辅助图像的复用图像的、兼容图像的视差图像的以及辅助图像的视差图像的复用图像的辅助信息(辅助信息(B+C，A＇，B＇+C＇))都一起布置在每个单元中。这种情况下，接收TS3的解码装置可以通过以单元为单位提取数据的方式将以访问单元为单位布置的辅助图像的复用图像的、兼容图像的视差图像的以及辅助图像的视差图像的复用图像的辅助信息一起进行提取。

在图12的C中所示的示例中，辅助图像的复用图像的辅助信息(辅助信息(B+C))，或者，兼容图像的视差图像的和辅助图像的视差图像的复用图像的辅助信息(辅助信息(A＇，B＇+C＇))以访问单元为单位布置在每个单元中。

这种情况下，接收TS3的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的辅助图像的复用图像的辅助信息、兼容图像的视差图像的和辅助图像的视差图像的复用图像的辅助信息进行独立地提取。因此，例如，在用于图像的解码器和用于视差图像的解码器分离地装备在解码装置中的情况下，可以以与解码结果同步的方式高效地提供辅助信息。

在图12的D中所示的示例中，对应于预定时间(例如两小时)的辅助图像的复用图像的辅助信息(辅助信息(All B+C))、兼容图像的视差图像的辅助信息(辅助信息(All A＇))以及辅助图像的视差图像的复用图像的辅助信息(辅助信息(All B＇+C＇))布置在每个单元中。这种情况下，当对辅助信息进行预加载时，接收TS3的解码装置可以通过以单元为单位提取数据的方式将对应于预定时间的辅助图像的复用图像的辅助信息、兼容图像的视差图像的辅助信息以及辅助图像的视差图像的复用图像的辅助信息分别进行提取并保持。

[另一编码处理的描述]

除了在图7中所示的步骤S25中根据兼容流生成TS1、根据辅助流生成TS2、根据辅助信息生成TS3并且执行复用之外，在其中生成具有参照图10至图12描述的配置的各TS的情况下由编码装置50执行的编码处理与图6和图7中所示的编码处理相同。因而，不再呈现该编码处理的描述。

[另一解码处理的描述]

图13是示出在复用流中复用的TS的配置为参照图10至图12所描述的配置的情况下由图8中所示的解码装置120执行的解码处理的流程图。此解码处理例如在从图2中所示的编码装置50发送的复用流被输入到解码装置120时开始。

在图13中所示的步骤S51中，解码装置120的图像生成单元127确定观看者是否已经做出用于显示2D图像的指令。当确定在步骤S51中观看者没有做出用于显示2D图像的指令的情况下，换句话说，在观看者做出用于显示多视点模式的3D图像的指令的情况下，解码处理行进到步骤S52。

在步骤S52中，分离单元121获取从编码装置50发送的复用流并从复用流中分离TS3。然后，分离单元121通过参照定界符等来提取包括于TS3中的辅助信息，将包括于辅助信息中的图像信息提供给图像信息获取单元123用于保持该图像信息，并且将视点间距离信息提供给视点间距离信息获取单元124用于保持视点间距离信息。而且，分离单元121将包括于辅助信息中的视差图像信息提供给视差图像信息获取单元125用于保持视差图像信息，并且将兼容性信息提供给兼容性信息获取单元126用于保持兼容性信息。然后，解码处理行进到步骤S53。

步骤S53至步骤S66的处理与图9中所示的步骤S32至步骤S45的处理相似，因而，不再对这些步骤进行描述。

在只对与解码装置120有兼容性的兼容流进行解码的解码装置中，忽略了TS2和TS3，并且执行步骤S65和步骤S66的处理。

<第二实施例>

[根据第二实施例的编码装置的配置示例]

图14是示出根据本技术的第二实施例的编码装置的配置示例的框图。

在图14中所示的配置中，与图2中所示的配置相同的配置被分配了相同的附图标记。适当地将不再呈现重复的描述。

图14中所示的编码装置140的配置与图2中所示的配置的不同之处主要在于：设置了成像单元141A至成像单元141D、图像转换单元142、视差图像生成单元143、视点间距离信息生成单元144以及编码器145来替代成像单元51A至成像单元51C、图像转换单元52、视差图像生成单元53、视点间距离信息生成单元56以及编码器58。

编码装置140通过根据AVC模式对用作兼容图像的多视点图像中的两个视点的图像进行编码来独立地生成TS，从而确保与根据AVC模式对双视点模式的3D图像进行编码的现有编码装置的兼容性。

更具体地，编码装置140的成像单元141A捕捉预定视点的HD图像作为图像A2，并且将所捕捉的图像提供给图像转换单元142、视差图像生成单元143以及视点间距离信息生成单元144。成像单元141B在水平方向上与成像单元141A相隔距离Δd2_AB的位置处捕捉与图像A2的视点不同的视点的HD图像作为图像B2，并且将所捕捉的图像提供给图像转换单元142、视差图像生成单元143以及视点间距离信息生成单元144。

成像单元141C在与成像单元141A相反的水平方向上与成像单元141B相隔距离Δd2_BC的位置处捕捉与图像A2和图像B2的视点都不同的视点的HD图像作为图像C2，并且将所捕捉的图像提供给图像转换单元142、视差图像生成单元143以及视点间距离信息生成单元144。成像单元141D在与成像单元141B相反的水平方向上与成像单元141A相隔距离Δd2_AD的位置处捕捉与图像A2至图像C2的视点都不同的视点的HD图像作为图像D2，并且将所捕捉的图像提供给图像转换单元142、视差图像生成单元143以及视点间距离信息生成单元144。

对应于图像C2和图像D2的视点是位于可以被识别为3D图像的图像的视点中的外侧的视点。这样，与编码装置140对应的解码装置可以通过使用图像A2至图像D2对位于比图像C2的视点和图像D2的视点更内侧的视点的图像进行内插来生成多视点图像。因此，可以生成这样的多视点图像，该多视点图像的精度高于其中通过使用位于内侧的视点的图像对位于外侧的视点的图像进行内插的情况下的精度。距离Δd2_AB、Δd2_BC和Δd2_AD可以被配置为固定的或者每次都改变。

图像转换单元142将从在水平方向的位置位于成像单元141A至成像单元141D中的内侧的成像单元141A提供的图像A2和成像单元141B提供的图像B2确定为兼容图像。然后，图像转换单元142根据预定的复用模式对作为兼容图像的图像A2和图像B2进行复用，并将所复用的图像提供给编码器145。而且，图像转换单元142将指定图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55。

另外，图像转换单元142将除图像A2和图像B2之外的图像C2和图像D2设定为辅助图像并且根据预定的复用模式对图像C2和图像D2进行复用。图像转换单元142将由于复用处理而获取的复用图像提供给编码器145。图像转换单元142将表示兼容图像的和辅助图像的复用模式的信息提供给图像信息生成单元54。

视差图像生成单元143使用从成像单元141A至成像单元141D提供的图像A2至图像D2来检测图像A2至图像D2中的每个像素的视差。视差图像生成单元143生成表示作为兼容图像的图像A2中的每个像素的视差的视差图像A2＇和表示图像B2中的每个像素的视差的视差图像B2＇，并且根据预定的复用模式对视差图像A2＇和视差图像B2＇进行复用。视差图像生成单元143将由于复用而获取的复用图像提供给编码器145。

另外，视差图像生成单元143生成表示作为辅助图像的图像C2中的每个像素的视差的视差图像C2＇和表示作为辅助图像的图像D2中的每个像素的视差的视差图像D2＇，并且根据预定的复用模式对视差图像C2＇和视差图像D2＇进行复用。视差图像生成单元143将由于复用而获取的复用图像提供给编码器145。视差图像生成单元143将表示兼容图像和辅助图像的视差图像的复用模式的信息提供给视差图像信息生成单元57。

视点间距离信息生成单元144使用由成像单元141A至成像单元141D提供的图像A2至图像D2来检测图像A2至图像D2之间的每个视点间距离。例如，视点间距离信息生成单元144检测成像单元141A与成像单元141B之间在水平方向上的距离Δd2_AB、成像单元141B与成像单元141C之间在水平方向上的距离Δd2_BC以及成像单元141A与成像单元141D之间在水平方向上的距离Δd2_AD作为视点间距离。视点间距离信息生成单元144生成表示视点间距离等的信息作为视点间距离信息并且将所生成的视点间距离信息提供给复用单元59。

编码器145由兼容编码器151和辅助编码器152配置而成。兼容编码器151从由图像转换单元142提供的兼容图像的复用图像和辅助图像的复用图像中指定兼容图像的复用图像，并且根据现有AVC模式以访问单元为单位对兼容图像的复用图像进行编码。编码器145将由于编码而获取的编码流提供给复用单元59作为兼容流。

辅助编码器152根据预定的模式以访问单元为单位对从图像转换单元142提供的辅助图像的复用图像和从视差图像生成单元143提供的兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像进行编码。辅助编码器152将由于编码而获取的编码流作为辅助流提供给复用单元59。可以将例如AVC模式、MVC模式等用作为由辅助编码器152采用的编码模式。

[TS的配置示例]

图15是示出由图14所示的复用单元59生成的TS的配置示例的图。

在图15中所示的示例中，在复用单元59中，根据兼容流生成TS1并且根据辅助流和辅助信息生成TS2。

虽然在图中未示出，但是除布置了兼容图像的视差图像的复用图像而不是兼容图像的视差图像之外，图15中所示的TS2的配置与参照图4描述的配置相同。

[编码装置的处理的描述]

图16和图17表示示出由图14中所示的编码装置140执行的编码处理的流程图。此编码处理例如在图像A2至图像D2从成像单元141A至成像单元141D输出时开始。

在图16中所示的步骤S71中，视点间距离信息生成单元144使用从成像单元141A至成像单元141D提供的图像A2至图像D2来检测距离Δd2_AB、Δd2_BC和Δd2_AD作为视点间距离。

在步骤S72中，视点间距离信息生成单元144生成表示在步骤S71中检测到的视点间距离等的信息作为视点间距离信息，并且将所生成的视点间距离信息输入到复用单元59。

在步骤S73中，图像转换单元142将从在水平方向上的位置位于成像单元141A至成像单元141D中的内侧的成像单元141A提供的图像A2以及由成像单元141B提供的图像B2确定为兼容图像，并且确定兼容图像和辅助图像的复用模式。图像转换单元142将指定图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55，并且将兼容图像的复用模式和辅助图像的复用模式提供给图像信息生成单元54。

在步骤S74中，兼容性信息生成单元55基于从图像转换单元142提供的信息生成指定图像A2和图像B2为兼容图像、指定帧打包模式为兼容模式等的信息作为兼容性信息，并且将所生成的兼容性信息输入到复用单元59。

在步骤S75中，图像转换单元142基于步骤S73中确定的兼容图像的复用模式对作为兼容图像的图像A2和图像B2进行复用并将复用图像提供给编码器145。

在步骤S76中，图像信息生成单元54基于从图像转换单元142提供的信息来生成表示兼容图像和辅助图像的复用模式等的信息作为图像信息，并将所生成的图像信息输入到复用单元59。

在步骤S77中，图像转换单元142将除图像A2和图像B2之外的图像C2和图像D2设定为辅助图像，并基于在步骤S73中确定的辅助图像的复用模式对辅助图像进行复用，从而获取辅助图像的复用图像。

在步骤S78中，图像转换单元142将兼容图像的复用图像和辅助图像的复用图像输入到编码器145。

在图17中所示的步骤S79中，视差图像生成单元143使用从成像单元141A至成像单元141D提供的图像A2至图像D2来检测图像A2至图像D2中的每个像素的视差，并且生成视差图像A2＇至视差图像D2＇。

在步骤S80中，视差图像生成单元143确定兼容图像的视差图像和辅助图像的视差图像的复用模式，并将表示复用模式的信息提供给视差图像信息生成单元57。

在步骤S81中，视差图像信息生成单元57基于由视差图像生成单元143提供的信息来生成表示兼容图像的视差图像和辅助图像的视差图像的复用模式等的信息作为视差图像信息，并且将所生成的视差图像信息输入到复用单元59。

在步骤S82中，视差图像生成单元143基于步骤S80中确定的兼容图像的视差图像的复用模式对兼容图像的视差图像A2＇和B2＇进行复用，并且基于辅助图像的视差图像的复用模式对辅助图像的视差图像C2＇和D2＇进行复用。

在步骤S83中，视差图像生成单元143将由于步骤S82中所示的复用处理而获取的兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像输入到编码器145。

在步骤S84中，编码器145的兼容编码器151根据现有的AVC模式对从图像转换单元142提供的兼容图像的复用图像进行编码，并将由于编码而获取的编码流提供给复用单元59作为兼容流。

在步骤S85中，辅助编码器152根据预定的模式对从图像转换单元142提供的辅助图像的复用图像和从视差图像生成单元143提供的兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像进行编码。辅助编码器152将由于编码处理而获取的编码流作为辅助流提供给复用单元59。

在步骤S86中，复用单元59根据从兼容编码器151提供的兼容流生成TS1，根据从辅助编码器152提供的辅助流和辅助信息生成TS2、执行复用处理，并发送由于复用而获取的复用流。此复用流例如被记录在BD等上或作为广播流进行发送。然后处理结束。

如上所述，由于编码装置140使用存储在互不相同的TS中的兼容流以及辅助流和辅助信息来进行复用处理，从而可以确保与在复用处理中根据AVC模式对双视点模式的3D图像进行编码的现有编码装置的兼容性。换句话说，编码装置140可以根据与现有模式有兼容性的模式对多视点图像执行复用处理。

另外，因为编码装置140根据现有编码模式对多视点图像中的作为兼容图像的两个视点的图像进行编码，所以可以确保与编码处理中对双视点模式的3D图像进行编码的现有编码装置的兼容性。

此外，因为编码装置140对四个视点的图像A2至D2进行编码，所以与编码装置140对应的解码装置可以根据四个视点的图像A2至D2来生成多视点图像。这样，与其中根据两个视点的图像生成多视点图像的情况相比，根据解码装置，可以生成的图像的视点不受限制，并且可以生成具有相对高的精度的多视点图像。

[解码装置的配置示例]

图18是示出对从图14中所示的编码装置140发送的复用流进行解码的解码装置的配置示例的图。

在图18中所示的配置中，与图8中所示的配置相同的配置被分配了相同的附图标记。适当地将不再呈现重复的描述

图18中所示的解码装置170的配置与图8中所示的配置的不同之处主要在于：设置了图像生成单元171而不是图像生成单元127。解码装置170通过对从编码装置140发送的复用流进行解码来生成两个视点的图像或多视点图像，并将所生成的图像显示显示装置(图中未示出)上。

更具体地，解码装置170的图像生成单元171根据由观看者提供的显示指令来输出图像，从而将图像显示在显示装置(未示出)上。当更详细地描述时，图像生成单元171根据观看者的用于显示多视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等,通过使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像来生成与显示装置(未示出)对应的三个或更多个视点的图像，每个图像的分辨率为兼容图像或辅助图像的分辨率的一半。

更具体地，图像生成单元171基于下述信息从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像，该信息表示从视差图像信息获取单元125提供的视差图像信息中包括的辅助图像的视差图像的复用模式。此外，图像生成单元171基于下述信息从兼容图像的视差图像的复用图像中分离每个兼容图像的视差图像，该信息表示包括在视差图像信息中的兼容图像的视差图像的复用模式。

此外，图像生成单元171基于下述信息从辅助图像的复用图像中分离每个辅助图像，该信息表示从图像信息获取单元123提供的图像信息中包括的辅助图像的复用模式。另外，图像生成单元171基于下述信息从兼容图像的复用图像中分离每个兼容图像，该信息表示图像信息中包括的兼容图像的复用模式。

此外，图像生成单元171基于视点间距离信息和与显示装置(图中未示出)对应的视点数目来确定将要生成的多视点图像的每个视点的位置。然后，图像生成单元171通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像以及每个辅助图像的视差图像来生成其位置被确定的每个视点的图像。然后，图像生成单元171将所生成的多视点图像的分辨率转换成是兼容图像或辅助图像的分辨率的“1/视点的数目”的分辨率，对图像进行合成并且将所合成的图像显示在显示装置(图中未示出)上。

此时，对合成后的多视点图像进行显示以使得每个视点的视角不同，从而观看者可以不用佩戴眼镜而通过使用其左眼和右眼看任意两个视点的图像的方式来观看3D图像。

另外，图像生成单元171根据由观看者提供的用于显示双视点模式的3D图像的指令、基于由图像信息获取单元123提供的图像信息将从解码器122提供的兼容图像的复用图像分离为其分辨率为兼容图像的分辨率的一半的图像A2和图像B2。然后，图像生成单元171交替地输出其分辨率为兼容图像的分辨率的一半的图像A2和图像B2，从而将分离的图像显示在显示装置(图中未示出)上。此时，观看者可以通过佩戴下述眼镜并观看在显示装置上交替地显示的图像A2和图像B2来观看3D图像，在该眼镜中在显示图像A2时左眼快门和右眼快门中之一打开而在显示图像B2时另一快门打开。

[解码装置的处理的描述]

图19是示出由图18中所示的解码装置170执行的解码处理的流程图。此解码处理例如在从图14中所示的编码装置140发送的复用流被输入到解码装置170时开始。

在图19中所示的步骤S91中，解码装置170的分离单元121接收从编码装置50发送的复用流，并且从复用流中分离TS1和TS2。分离单元121通过参照定界符等来提取包括于TS1中的兼容流和包括于TS2中的辅助流，并且将所提取的流提供给解码器122。而且，分离单元121通过参考定界符等来提取包括于TS2中的辅助信息、将包括于辅助信息中的图像信息提供给图像信息获取单元123并且将视点间距离信息提供给视点间距离信息获取单元124。另外，分离单元121将包括于辅助信息中的视差图像信息提供给视差图像信息获取单元125并且将兼容性信息提供给兼容性信息获取单元126。

在步骤S92中，图像生成单元171确定观看者是否已经做出用于显示双视点模式的3D图像的指令。在其中在步骤S92中确定观看者没有做出用于显示双视点模式的3D图像的指令的情况下，换句话说，在做出用于显示多视点模式的3D图像的指令的情况下，处理行进到步骤S93。

除兼容图像为兼容图像的复用图像且兼容图像的视差图像为兼容图像的视差图像的复用图像之外，步骤S93至步骤S102的处理与图9中所示的步骤S33至步骤S42的处理相同，因而不再对这些步骤进行描述。

另一方面，在于步骤S92中确定观看者已经做出用于显示双视点模式的3D图像的指令的情况下，处理行进到步骤S103。

在步骤S103中，解码器122的兼容解码器131从由分离单元121提供的兼容流中提取经编码的兼容图像的复用图像并且根据对应于AVC模式的模式对经编码的兼容图像的复用图像进行解码。兼容解码器131将由于解码处理而获取的兼容图像的复用图像提供给图像生成单元171。

在步骤S104中，图像信息获取单元123将从分离单元121提供的图像信息提供给图像生成单元171。

在步骤S105中，图像生成单元171基于下述信息对由于兼容解码器131执行的解码处理而获取的兼容图像的复用图像进行分离，所述信息表示由图像信息获取单元123提供的图像信息中包括的兼容图像的复用模式。

在步骤S106中，图像生成单元171将其分辨率为分离后的兼容图像的分辨率的一半的图像A2和图像B2交替地输出给显示装置(图中未示出)，由此显示图像。然后，处理结束。

另外，在可以只对与解码装置170有兼容性的兼容流进行解码的解码装置中，忽略了附有3DV表示定界符NAL单元的TS2，并且执行步骤S103、S105和S106的处理。然而，这种情况下，在步骤S105的处理中，基于预先确定的复用模式对兼容图像的复用图像进行分离。

如上所述，解码装置170可以根据与现有模式有兼容性的模式对由编码装置140所复用的复用流进行分离。另外，解码装置170可以对由根据与现有模式有兼容性的、处理开销相对低的模式的编码装置140编码的兼容流和辅助流进行解码。

另外，因为解码装置170使用两个视点的兼容图像和两个视点的辅助图像来生成多视点图像，所以除捕捉两个视点的兼容图像的现有的成像单元141A和成像单元141B之外编码装置可以只装备两个成像单元141C和141D作为用于生成多视点图像的成像单元。因此，可以容易地以低开销对生成多视点图像的成像单元进行安装。

[TS的另一配置示例]

图20是示出由图14中所示的复用单元59生成的各TS的另一配置示例的图。

在图20中所示的示例中，复用单元59生成了三个TS，并且辅助流和辅助信息包括于互不相同的TS中。更具体地，根据兼容流生成TS1，根据辅助流生成TS2并且根据辅助信息生成TS3。

在图20中所示的示例中，只根据其信息量相对小的辅助信息来独立地生成TS3。因此，执行其中对可以同时处理的TS的数量有限制的应用(例如BD应用)的解码装置可以通过预加载其信息量相对小的TS3来彼此同步地再现TS1和TS2。

另外，虽然图中未示出，但是除了布置了兼容图像的视差图像的复用图像而不是兼容图像的视差图像之外，图20中所示的TS2的配置与参照图11描述的配置相同。此外，除了对兼容图像的视差图像的复用图像的辅助信息而不是对兼容图像的视差图像的辅助信息进行布置之外，TS3的配置与参照图12描述的配置相同。

[另一编码处理的描述]

在其中生成具有参照图20描述的配置的TS的情况下，除了在图17中所示的步骤S86中根据兼容流生成TS1、根据辅助流生成TS2、根据辅助信息生成TS3并且执行复用之外，由编码装置140执行的编码处理与图16和图17中所示的编码处理相同，因而，不再对该处理进行描述。

[另一解码处理的描述]

图21是示出了由图18中所示的解码装置170在被复用在复用流中的TS的配置是参照图20所描述的配置的情况下执行的解码处理的流程图。该解码处理例如在由图14中所示的编码装置140发送的复用流被输入到解码装置170时开始。

在图21中所示的步骤S111中，解码装置170的分离单元121获取由编码装置140发送的复用流并且从复用流中分离TS3。然后，分离单元121通过参考定界符等提取包括在TS3中的辅助信息。另外，分离单元121将包括在辅助信息中的图像信息提供给图像信息获取单元123用于保持该图像信息，并且将视点间距离信息提供给视点间距离信息获取单元124用于保持视点间距离信息。此外，分离单元121将包括在辅助信息中的视差图像信息提供给视差图像信息获取单元125用于保持视差图像信息，并且将兼容性信息提供给兼容性信息获取单元126用于保持兼容性信息。然后，处理行进到步骤S112。

在步骤S112中，图像生成单元127确定观看者是否已经做出用于显示双视点模式的3D图像的指令。在其中在S112中确定了观看者没有做出用于显示双视点模式的3D图像的指令的情况下，换句话说，在其中做出用于显示多视点模式的3D图像的指令的情况下，处理行进到步骤S113。

在步骤S113中，分离单元121从复用流中分离TS1和TS2。分离单元121通过参考定界符等来提取包括在TS1中的兼容流以及包括在TS2中的辅助流，并且将所提取的流提供给解码器122。然后，处理行进到步骤S114。

步骤S114至步骤S123的处理与图19中所示的步骤S93至步骤S102的处理相同，因此将不对其进行描述。

另一方面，在其中在S112中确定观看者已经做出了用于显示双视点模式的3D图像的指令的情况下，在步骤S124中分离单元121从复用流中分离TS1。然后，分离单元121通过参考定界符等将包括在TS1中的兼容流提供给解码器122，并且处理行进到步骤S125。

步骤S125至步骤S128的处理与图19中所示的步骤S103至步骤S106的处理相同，因此将不对进行描述。

<第三实施例>

[根据第三实施例的编码装置的配置示例]

图22是示出了根据本技术的第三实施例的编码装置的配置示例的框图。

在图22中所示的配置中，与图2或图14中所示的配置相同的配置被分配了相同的附图标记。适当地将不再呈现重复的描。

图22中所示的编码装置180的配置与图14中所示的配置的不同之处主要在于：设置有图像转换单元181和编码器182而不是图像转换单元142和编码器145。编码装置180通过根据MVC模式对多视点图像中作为兼容图像的两个视点的图像编码编码并且将图像一起存储在一个TS中或将图像存储在针对每个视点而不同的TS中，从而确保与根据MVC模式对双视点的3D图像进行编码的现有编码装置的兼容性。

更具体地，类似于图14中所示的图像转换单元142，编码装置180的图像转换单元181将由其在水平方向上的位置位于成像单元141A至成像单元141D的内侧的成像单元141A所提供的图像A2和由成像单元141B提供的图像B2确定为兼容图像。然后图像转换单元181将作为兼容图像的图像A2和图像B2直接提供给编码器182。另外，类似于图像转换单元142，图像转换单元181将指定图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55。

另外，类似于图像转换单元142，图像转换单元181将除了图像A2和图像B2之外的图像C2和图像D2设定为辅助图像，并且根据预定的复用模式对辅助图像进行复用。图像转换单元181将由于复用处理而获取的复用图像提供给编码器182，并且将表示辅助图像的复用模式的信息提供给图像信息生成单元54。

编码器182由兼容编码器191和辅助编码器152配置而成。编码器182的兼容编码器191从由图像转换单元181提供的兼容图像和辅助图像的复用图像中指定兼容图像，并且根据现有的AVC模式以访问单元为单位将兼容图像中的图像A2编码为基本图像，并且根据现有的MVC模式以访问单元为单位将图像B2编码为相关图像(dependent image)。兼容编码器191将由于编码而获取的编码流提供给复用单元59作为兼容流。

[TS的第一配置示例]

图23是示出了由图22中所示的复用单元59生成的TS的第一配置示例的图。

在图23所示出的示例中，在复用单元59中，TS1是根据包括在兼容流中的编码后的图像A2所生成，并且TS2是根据编码后的图像B2、辅助流以及辅助信息所生成。

[编码装置的处理的描述]

图24和图25是示出了由图22中所示的编码装置180执行的编码处理的流程图。该编码处理例如在图像A2至图像D2从成像单元141A至成像单元141D输出时开始。

图24中所示的步骤S131和步骤S132的处理与图16所示出的步骤S71和步骤S72的处理相同，因此将不对其进行描述。

在步骤S132的处理之后，在步骤S133中，图像转换单元181将从在水平方向上位于成像单元141A至成像单元141D的内侧的位置的成像单元141A提供的图像A2和成像单元141B提供的图像B2确定为兼容图像，并且确定辅助图像的复用模式。图像转换单元181将指定图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55，并且将辅助图像的复用模式提供给图像信息生成单元54。然后，处理行进到步骤S134。

步骤S134至步骤S137的处理与图6中所示的步骤S14至步骤S17的处理相同，因此将不对其进行描述。步骤S138至步骤S142的处理与图17中所示的步骤S79至步骤S83的处理相同，因此将不对其进行描述。

步骤S142的处理之后，在步骤S143中，编码器182的兼容编码器191根据现有的AVC模式将从图像转换单元181提供的兼容图像中的图像A2编码为基本图像，并且根据现有的MVC模式将图像B2编码为相关图像。兼容编码器191将由于所述编码处理而获取的编码流提供给复用单元59作为兼容流。

在步骤S144中，辅助编码器152根据预定的模式对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元53提供的兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像进行编码。辅助编码器152将由于编码处理而获取的编码流提供给复用单元59作为辅助流。

在步骤S145中，复用单元59根据包括在兼容流中的编码后的图像A来生成TS1，根据编码后的图像B、辅助流以及辅助信息来生成TS2，执行复用处理，并且发送由于复用而获取的复用流。该复用流例如被记录在BD等上或者被作为广播流发送。然后，处理结束。

如上，编码装置180使用存储在互不相同的TS中的编码后的兼容图像之一和其他图像执行复用，从而因此，可以确保与在复用中根据MVC模式将双视点模式的3D图像编码并且将图像存储在两个TS中的现有的编码装置的兼容性。

另外，由于编码装置180根据现有的编码模式将多视点图像中的两个视点的图像编码为兼容图像，因此可以确保在对双视点模式的3D图像进行编码的编码中与现有编码装置的兼容性。

[解码装置的配置示例]

图26是示出了对由图22中所示的编码装置180发送的复用流进行解码的解码装置的配置示例的图。

在图26中所示的配置中，与图18中所示的配置相同的配置被分配了相同的附图标记。适当地将不再呈现重复的描。

图26中所示的解码装置200的配置与图18中所示的配置的不同之处主要在于：设置有解码器201以及图像生成单元202而不是解码器122以及图像生成单元171。解码装置200通过对从编码装置180发送的复用流进行解码来生成一个视点的图像、两个视点的图像或多视点的图像，并且将所生成的图像显示在显示装置上(图中未示出)。

更具体地，解码装置200的解码器201由兼容解码器211和辅助解码器132配置而成。解码器201的兼容解码器211根据与MVC模式对应的模式对包括在从分离单元121提供的兼容流中的经编码的兼容图像进行解码，并且将经解码的兼容图像提供给图像生成单元202。

图像生成单元202根据由观看者提供的显示指令对图像进行输出，从而将图像显示在显示装置(图中未示出)上。更具体地，图像生成单元202根据观看者的用于显示多视点的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息以及从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像来生成与显示装置(图中未示出)对应的三个视点或更多个视点的图像，每个图像的分辨率为兼容图像或辅助图像的分辨率的一半。

更具体地，图像生成单元202基于包括在从视差图像信息获取单元125提供的视差图像信息中的表示辅助图像的视差图像的复用模式的信息，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像。另外，图像生成单元202基于包括在视差图像信息中的表示兼容图像的视差图像的复用模式的信息，从兼容图像的视差图像的复用图像中分离出每个兼容图像的视差图像。

此外，图像生成单元202基于包括在从图像信息获取单元123提供的图像信息中的表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离出每个辅助图像。另外，图像生成单元202基于视点间距离信息和与显示装置(图中未示出)对应的视点的数目确定待生成的多视点图像的视点的位置。然后，图像生成单元202使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像以及每个辅助图像的视差图像生成其位置被确定的每个视点的图像。然后，类似于图像生成单元127，图像生成单元202将所生成的多视点图像的分辨率转换成兼容图像或辅助图像的分辨率的“1/视点数目”的分辨率，合成转换后的图像，从而将合成后的图像显示在显示装置(图中未示出)上。

此时，对合成之后的多视点图像进行显示以使得每个视点的视角都不同，从而观看者可以在不佩戴眼镜的情况下通过使用他/她的左眼和右眼看任意两个视点的图像来观看3D图像。

另外，图像生成单元202根据由观看者提供的用于显示双视点模式的3D图像的指令，交替地输出作为从解码器201提供的兼容图像的图像A2和图像B2，从而将图像显示在显示装置(图中未示出)上。此时，观看者可以通过戴下述眼镜并且观看交替地显示在显示装置上的图像A2和图像B2来观看3D图像，该眼镜中在显示图像A2时左眼快门和右眼快门之一打开而在显示图像B2时左眼快门和右眼快门中的另一个快门打开。

此外，图像生成单元202根据由观看者提供的用于显示2D图像的指令输出从解码器122提供的兼容图像中的图像A2，从而将图像显示在显示装置(图中未示出)上。因此，观看者可以观看2D图像。

[解码装置的处理的描述]

图27是示出了由图26中所示的解码装置200执行的解码处理的流程图。该解码处理例如在由图22中所示的编码装置180发送的复用流被输入到解码装置200时开始。

在图27中所示的步骤S151中，解码装置200的图像生成单元202确定观看者是否已经做出用于显示2D图像的指令。在于步骤S151中确定观看者已经做出用于显示2D图像的指令的情况下，处理行进到步骤S152。

在步骤S152中，分离单元121接收从编码装置180发送的复用流，并且从复用流中分离TS1。然后，分离单元121通过参考定界符等来提取包括在TS1中的一部分兼容流，并且将所提取的流提供给解码器201。

在步骤S153中，解码器201的兼容解码器211从由分离单元121提供的一部分兼容流提取作为经编码的兼容图像中的基本图像的图像A2，并且根据对应于AVC模式的模式来对所提取的图像进行解码。兼容解码器211将由于解码处理而获取的图像A2提供给图像生成单元202。

在步骤S154中，图像生成单元202将由兼容解码器211提供的图像A2输出给显示装置(图中未示出)，从而显示该图像。然后，处理结束。

另一方面，在于步骤S151中确定观看者没有做出用于显示2D图像的指令的情况下，在步骤S155中，分离单元121从复用流中分离TS1和TS2。然后，分离单元121通过参考定界符等提取包括在TS1中的一部分兼容流，并且将所提取的流提供给解码器122。另外，分离单元121提取包括在TS2中的另一部分兼容流和辅助流，并且将所提取的流提供给解码器122。另外，分离单元121通过参考定界符等提取包括在TS2中的辅助信息，并且将包括在辅助信息中的图像信息提供给图像信息获取单元123，以及将视点间距离信息提供给视点间距离信息获取单元124。此外，分离单元121将包括在辅助信息中的视差图像信息提供给视差图像信息获取单元125，并且将兼容性信息提供给兼容性信息获取单元126。

在步骤S156中，图像生成单元202确定观看者是否已经做出用于显示双视点模式的3D图像的指令。在于步骤S156中确定观看者已经做出用于显示双视点模式的3D图像的指令的情况下，处理行进到步骤S157。

在步骤S157中，解码器122的兼容解码器211从由分离单元121提供的兼容流中提取经编码的兼容图像，并且对所提取的兼容图像进行解码。更具体地，兼容解码器211从由分离单元121提供的一部分兼容流提取经编码的图像A，并且从另一部分兼容流提取经编码的图像B。然后，兼容解码器211根据与AVC模式对应的模式将作为经编码的基本图像的经编码的图像A进行解码，并且根据与MVC模式对应的模式将作为经编码的相关图像的经编码的图像B进行解码。兼容解码器211将由于解码处理而获取的作为兼容图像的图像A和图像B提供给图像生成单元202。

在步骤S158中，图像生成单元202交替地输出从兼容解码器211提供的兼容图像中的图像A1和图像B1，从而将图像A1和图像B1显示在显示装置(图中未示出)上。然后，处理结束。

另一方面，在其中在步骤S156中确定观看者没有做出用于显示双视点模式的3D图像的指令的情况下，换句话说，在观看者做出用于显示多视点模式的3D图像的指令的情况下，处理行进到步骤S159。

在步骤S159中，类似于步骤S157的处理，兼容解码器211从由分离单元121提供的兼容流中提取经编码的兼容图像，并且根据与MVC模式对应的模式对所提取的兼容图像进行解码。兼容解码器211将由于解码处理而获取的作为兼容图像的图像A和图像B提供给图像生成单元202。

在步骤S160中，辅助解码器132从辅助流中提取经编码的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像，并且根据与图22中所示的辅助编码器152的模式对应的模式对所提取的图像进行解码。辅助解码器132将由于解码处理而获取的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像提供给图像生成单元202。

除了兼容图像的视差图像为兼容图像的视差图像的复用图像之外，步骤S161至步骤S168的处理与图9中所示的步骤S35至步骤S42的处理相同，因此将不对其进行描述。

在可以仅对与解码装置200有兼容性的兼容流进行解码的解码装置中，包括在TS2中的辅助流和辅助信息被忽略，并且执行步骤S151至步骤S155、步骤S157和步骤S158的处理。

如上，解码装置200可以对由编码装置180根据与现有的模式有兼容性的模式所复用的复用流进行分离。另外，解码装置200可以对由编码装置180根据与现有模式有兼容性的并且需要相对低的处理开销的模式进行编码的兼容流和辅助流进行解码。

[TS的第二配置示例]

图28是示出了由图22中所示的复用单元59所生成的TS的第二配置示例的图。

在图28中所示的示例中，由复用单元59生成三个TS，并且作为包括在兼容流中的经编码的兼容图像之一的图像B2以及辅助流和辅助信息来包括在互不相同的TS中。更具体地，根据作为包括在兼容流中的经编码的兼容图像中之一的图像A2生成TS1，根据另外的图像B2生成TS2，并且根据辅助流和辅助信息生成TS3。

在图28中所示的示例中，由于包括在兼容流中的解码之后的图像A1和B2中的每个图像分别被存储在一个TS中，所以不需要减少兼容流的信息的量。因此，兼容图像的图像质量可以被配置成与根据现有的MVC模式进行编码的两个视点的图像的图像质量相同。

[复用方法的描述]

图29是对图28中所示的TS1至TS3进行复用的方法的示例的图。

如图29中所示，通过以访问单元为单位从报头开始以TS3、TS1和TS2的顺序布置来对TS1至TS3进行复用。另外，表示包括除了兼容流之外的信息的TS报头的3DV表示定界符被添加到TS3的报头。换句话说，3DV表示定界符被布置在特定访问单元的TS3与前一访问单元的TS2之间的边界上。因此，解码装置200可以通过提取从特定的3DV表示定界符到下一个3DV表示定界符的数据很容易地识别兼容流以及与其同步的辅助流和辅助图像。

[第二编码处理的描述]

在其中TS具有参照图28所描述的配置的情况下，除了在图25中所示的步骤S145中根据包括在兼容流中的编码之后的图像A生成TS1、并且根据编码之后的图像B生成TS2、并且根据辅助流和辅助信息生成TS3之外，由编码装置180执行的编码处理与参照图24与图25描述的编码处理相同，因此将不对其进行描述。

[第二解码处理的描述]

图30是示出了其中被复用在复用流中的TS的配置是参照图28所描述的配置的情况下由图26中所示的解码装置200执行的解码处理的流程图。该解码处理例如在由参照图22所示的编码装置180发送的复用流被输入到解码装置200时开始。

图30中所示的步骤S181至步骤S184的处理与图27所示出的步骤S151至步骤S154的处理相同，因此将不对其进行描述。

在于步骤S181中确定观看者没有做出用于显示2D图像的指令的情况下，类似于图27中所示的步骤S156的处理，在步骤S185中，图像生成单元202确定观看者是否已经做出用于显示双视点模式的3D图像的指令。在其中在步骤S185中确定了观看者已经做出用于显示双视点模式的3D图像的指令的情况下，处理行进到步骤S186。

在步骤S186中，类似于图27中所示的步骤S155的处理，分离单元121从复用流中分离TS1和TS2。然后，分离单元121提取包括在TS1中的一部分兼容流以及包括在TS2中的一部分兼容流，并且将所提取的部分提供给解码器122。然后，处理行进到步骤S187。

步骤S187和步骤S188的处理与图27所示出的步骤S157和步骤S158的处理相同，因此将不对其进行描述。

另一方面，在于步骤S185中确定观看者没有做出用于显示双视点模式的3D图像的指令的情况下，换句话说，在确定观看者做出用于显示多视点模式的3D图像的指令的情况下，处理行进到步骤S189。

在步骤S189中，分离单元121从复用流中分离出TS3。然后，分离单元121通过参考定界符等来提取包括在TS3中的辅助信息，将包括在辅助信息中的图像信息提供给图像信息获取单元123用于保持该图像信息，并且将视点间距离信息提供给视点间距离信息获取单元124用于保持视点间距离信息。另外，分离单元121将包括在辅助信息中的视差图像信息提供给视差图像信息获取单元125用于保持视差图像信息，并且将兼容性信息提供给兼容性信息获取单元126用于保持兼容性信息。此外，分离单元121通过参考定界符等来提取包括在TS3中的辅助流，并且将所提取的辅助流提供给解码器122。

在步骤S190中，类似于步骤S186的处理，分离单元121从复用流中分离TS1和TS2。然后，分离单元121提取包括在TS1中的一部分兼容流和包括在TS2中的其他部分兼容流，并且将所提取的部分提供给解码器122。

步骤S191至步骤S200的处理与图27中所示的步骤S159至步骤S168的处理相同，因此将不对其进行描述。

在可以仅对与解码装置200有兼容性的兼容流进行解码的解码装置中，TS3被忽略，并且执行步骤S181至步骤S188的处理。

如上，解码装置200可以对由编码装置180根据与现有的模式有兼容性的模式所复用的复用流进行分离。

[TS的第三配置示例]

图31是示出了由图22中所示的复用单元59生成的TS的第三配置示例的图。

在图31中所示的示例中，由复用单元59生成三个TS，并且兼容流、辅助流和辅助信息包括在互不相同的TS中。更具体地，根据兼容流生成TS1，根据辅助流生成TS2，并且根据辅助信息生成TS3。

在图31中所示的示例中，TS3仅由其信息的量相对小的辅助信息来独立地生成。因此，执行其中对可以被同时处理的TS的数目有限制的应用(例如BD应用)的解码装置可以通过预加载其信息的量相对小的TS3来彼此同步地再现TS1和TS2。

另外，在图31中所示的示例中，由于兼容流被存储在与存储有辅助流和辅助信息的TS不同的TS中，因此编码装置可以通过从另外的装置下载它们来获取辅助流和辅助信息，并且在兼容流被生成之后生成复用流。

另外，由于兼容流被存储在一个TS中，因此编码装置180可以确保与下述编码装置的兼容性，该编码装置在复用中根据MVC模式对现有的双视点模式的3D图像进行编码并且将经编码的图像存储在一个TS中。

[第三编码处理的描述]

在TS具有参照图31所描述的配置的情况下，除了在图25所示出的步骤S145中TS1根据兼容流生成、TS2根据辅助流生成并且TS3根据辅助信息生成之外，由编码装置180执行的编码处理与参照图24和图25所描述的编码处理相同，因此将不对其进行描述。

[第三解码处理的描述]

图32是示出了在被复用在复用流中的TS的配置是参照图31所描述的配置的情况下，由图26所示出的解码装置200执行的解码处理的流程图。该解码处理例如在由图22所示的编码装置180发送的复用流被输入到解码装置200时开始。

在图32所示出的步骤S211中，类似于图27所示出的步骤S151的处理，解码装置200的图像生成单元202确定观看者是否已经做出用于显示2D图像的指令。在其中在步骤S211中确定观看者已经做出用于显示2D图像的指令的情况下，处理进行到步骤S212。

在步骤S212中，分离单元121接收由编码装置180发送的复用流，并且从复用流中分离TS1。然后，分离单元121提取包括在TS1中的兼容流，并且将所提取的兼容流提供给解码装置201。

在步骤S213中，解码器201的兼容解码器211从由分离单元121提供的兼容流中提取经编码的兼容图像，并且根据与MVC模式对应的模式对经编码的兼容图像进行解码。兼容解码器211将由于解码处理而获取的图像A2提供给图像生成单元202。

在步骤S214中，类似于图15中所示步骤S154的处理，图像生成单元202将由兼容解码器211提供的图像A2输出给显示装置(图中未示出)，从而显示该图像。然后，处理结束。

另一方面，在其中在步骤S211中确定观看者没有做出用于显示2D图像的指令的情况下，在步骤S215中，图像生成单元202确定观看者是否已经做出用于显示双视点模式的3D图像的指令。在其中在步骤S215中确定了观看者已经做出用于显示双视点模式的3D图像的指令的情况下，处理进行到步骤S216。

在步骤S216中，分离单元121从复用流中分离出TS1。然后，分离单元121提取包括在TS1中的兼容流，并且将所提取的兼容流提供给解码器122。

在步骤S217中，解码装置122的兼容解码器211从由分离单元121所提供的兼容流中提取经编码的兼容图像，并且根据与MVC模式对应的模式对经编码的兼容图像进行解码。兼容解码器211将由于解码处理而获取的作为兼容图像的图像A和图像B提供给图像生成单元202。

在步骤S218中，图像生成单元202交替地输出由兼容解码器211提供的兼容图像中的图像A1和图像B1，从而将图像A1和图像B1显示显示装置(图中未示出)上。然后，处理结束。

另一方面，在其中在步骤S215中确定观看者未做出用于显示双视点模式的3D图像的指令的情况下，换句话说，在其中观看者做出用于显示多视点模式的3D图像的指令的情况下，处理行进到步骤S219。

在步骤S219中，分离单元121从由编码装置180输出的复用流中分离TS3。然后，分离单元121通过参考定界符等来提取包括在TS3中的辅助信息，并且将包括在辅助信息中的图像信息提供给图像信息获取单元123用于保持图像信息，并且将视点间距离信息提供给视点间距离信息获取单元124用于保持视点间距离信息。另外，分离单元121将包括在辅助信息中的视差图像信息提供给视差图像信息获取单元125用于保持视差图像信息，并且将兼容性信息提供给兼容性信息获取单元126用于保持兼容性信息。

在步骤S220中，分离单元121从由编码装置180输出的复用流中分离TS1和TS2。然后，分离单元121将包括在TS1中的兼容流以及包括在TS2中的辅助流提供给解码器122。

在步骤S221中，解码器122的兼容解码器211从由分离单元121提供的兼容流中提取经编码的兼容图像，并且根据与MVC模式对应的模式对经编码的兼容图像进行解码。兼容解码器211将由于解码处理而获取的作为兼容图像的图像A和图像B提供给图像生成单元202。然后，处理行进到步骤S222。

步骤S222至步骤S230的处理与图30所示的步骤S192至步骤S200的处理相同，因此将不对其进行描述。

在以上的描述中，虽然解码装置使用定界符来分离出TS，但在其中每个TS的PID(进程标识符)都具有定值的情况下可以使用PID来对TS进行分离。在这样的情况下，由于可以仅对兼容流进行解码的解码装置不能识别除了其中包括兼容流的TS的PID之外的任何PID，因此解码装置将除了该TS之外的TS忽略。

另外，辅助信息可以被配置成是经编码的。

<第四实施例>

[根据第四实施例的编码装置的配置示例]

图33是示出了根据本技术的第四实施例的编码装置的配置示例的框图。

在图33中所示的配置中，与图2中所示的配置相同的配置被分配了相同的附图标记。适当地将不再呈现重复的描。

图33中所示的编码装置230的配置与图2中所示的配置的不同之处主要在于：设置有成像单元231-1至成像单元231-N(在此，N是二的倍数，即四个或更多个)、图像转换单元232、视差图像生成单元233以及视点间距离信息生成单元234，而不是成像单元51B和成像单元51C、图像转换单元52、视差图像生成单元53以及视点间距离信息生成单元56。编码装置230将多视点图像中的一个视点的图像设定为兼容图像，将剩余N视点的图像设定为辅助图像，并且对图像进行编码。

更具体地，在编码装置230中，成像单元231-1至成像单元231-N沿水平方向顺序地排列，成像单元51A设置在其中心处。在此，成像单元231-1与成像单元231-2之间的距离、成像单元231-2与成像单元231-3之间的距离、…以及成像单元231-(N-1)与成像单元231-N之间的距离为距离Δd1₁,Δd1₂,…,Δd1_N-1。

成像单元231-1至成像单元231-N捕捉与图像A1的视点不同的视点的HD(高清晰度)图像作为图像P1至PN，并且将所捕捉的图像提供给图像转换单元232、视差图像生成单元233以及视点间距离信息生成单元234。在下文中，在成像单元231-1至成像单元231-N不需要特别地彼此区分的情况下，成像单元将被统称为成像单元231。类似地，图像P1至图像PN将被称为图像P。

对应于图像P的视点是位于可以被识别为3D图像的图像的视点中的外侧的视点。因此，与编码装置230对应的解码装置可以通过使用图像A1和图像P对位于图像P的视点的内侧的视点的图像进行内插来生成多视点图像。因此，可以生成这样的多视点图像：其精度比其中在使用位于内侧的视点的图像来对位于外侧的视点的图像进行内插的情况下的精度高。距离Δd1₁至距离Δd1_N-1可以为固定的或者每次都改变。

图像转换单元232将在水平方向上的位置位于成像单元51A以及成像单元231中的内侧的成像单元51A提供的图像A1确定为兼容图像。图像转换单元232将指定图像A1为兼容图像的信息提供给兼容性信息生成单元55。然后，图像转换单元232将作为兼容图像的图像A1直接提供给编码器58。

另外，图像转换单元232将除图像A1之外的图像P设定为辅助图像，并且根据预定的复用模式对图像进行复用。更具体地，例如，在复用模式为并排模式的情况下，图像转换单元232将图像P的分辨率减半。然后，图像转换单元232对其分辨率减半的图像P1、图像P3、…、图像P(N-1)(下文中称为半分辨率奇图像)以及其分辨率减半的图像P2、图像P4、…、PN(下文中称为半分辨率偶图像)进行复用，使得半分辨率奇图像是屏幕的左半部的图像，并且半分辨率偶图像是屏幕的右半部的图像。图像转换单元232将由于复用处理而获取的复用图像提供给编码器58，并且将表示辅助图像的复用模式的信息提供给图像信息生成单元54。

视差图像生成单元233使用从成像单元51A提供的图像A1以及从成像单元231提供的图像P来检测图像A1和图像P的每个像素的视差。视差图像生成单元233生成作为兼容图像的图像A1的视差图像A1＇，并且将所生成视差图像直接提供给编码器58。另外，视差图像生成单元233生成作为辅助图像的图像P1至图像PN的视差图像P1＇至PN＇，并且类似于图像转换单元232，根据预定的复用模式对视差图像进行复用。视差图像生成单元233将由于复用而获取的复用图像提供给解码器58。视差图像生成单元233将表示辅助图像的视差图像的复用模式的信息提供给视差图像信息生成单元57。

下文中，在视差图像P1＇至视差图像PN＇不需要特别地彼此区分的情况下，视差图像将被统称为视差图像P＇。

视点间距离信息生成单元234使用从成像单元51A提供的图像A1以及从成像单元231提供的图像P对图像A1和图像P之间的视点间距离进行检测。例如，视点间距离信息生成单元234检测成像单元231-1与成像单元231-2之间在水平方向上的距离Δd1₁、…、以及成像单元231-(N-1)与成像单元231-N之间在水平方向上的距离Δd1_N-1作为视点间距离。视点间距离信息生成单元234生成表示视点间距离等的信息作为视点间距离信息，并且将视点间距离信息提供给复用单元59。

[TS的配置示例]

图34是示出了图33中所示的由复用单元59所生成的TS的配置示例的图。

在图34中所示的示例中，TS1由复用单元59根据兼容流生成。另外，TS2根据包括作为经编码的辅助图像的图像P的复用图像、兼容图像的视差图像A＇和辅助图像的视差图像P＇的复用图像的辅助流以及辅助信息生成。

在图34中所示的示例中，类似于图3中所示的情况，由于兼容流以及除了兼容流之外的流被存储在互不相同的TS中，所以不需要减少兼容流的信息的量。因此，兼容图像的图像质量可以被配置成等同于根据现有的AVC方法被编码的2D图像的图像质量。

图35是示出了图34中所示的TS2的详细的配置示例的图。

如图35的A至图35的C中所示，在图34所示的TS2中，数据以单元为单位布置，并且在每个单元的报头处插入了定界符(Del)。

在图35的A中所示的示例中，以访问单元(其为解码单元)为单位布置的下述信息分别布置在每个单元中作为数据，所述信息为：经编码的辅助图像的复用图像(P1+P2,…,P(N-1)+PN)和辅助图像的复用图像的辅助信息(Aux Inf)、经编码的兼容图像的视差图像(A1＇)和兼容图像的视差图像的辅助信息、或经编码的辅助图像的视差图像的复用图像(P1＇+P2＇,…,P(N-1)＇+PN＇)和辅助图像的视差图像的复用图像的辅助信息。

在这样的情况下，类似于图4的A中所示的情况，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行独立地提取。因此，例如在解码装置只使用兼容图像和兼容图像的视差图像来生成多视点图像的情况下，可以容易地提取用于生成多视点图像的图像。另外，由于辅助图像的复用图像、兼容图像的视差图像和辅助图像的视差图像的复用图像中的每个图像与图像的辅助信息布置在同一单元中，因此可以以容易的方式对每个单元中布置的图像进行独立地处理。

在图35的B中所示的示例中，以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像、辅助图像的视差图像的复用图像以及辅助信息一起布置在每个单元中。在这样的情况下，类似于图4的B的情况，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像、辅助图像的视差图像的复用图像以及辅助信息一起进行提取。

在图35的C中所示的示例中，以访问单元为单位布置的经编码的辅助图像的复用图像和辅助图像的复用图像的辅助信息，或者经编码的兼容图像的视差图像、辅助图像的视差图像的复用图像以及兼容图像的视差图像的和辅助图像的视差图像的辅助信息被布置在每个单元中。

在这样的情况下，类似于图4的C中所示的情况，接收TS2的解码装置可以通过以单元为单位提取数据的方式对以访问单元为单位布置的经编码的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行独立地提取。因此，例如在用于图像的解码器和用于视差图像的解码器被分离地设置在解码装置中的情况下，可以将数据高效地提供给各个解码器。另外，在解码装置中，可以以容易的方式独立地处理图像和视差图像。

除了辅助图像的视点的数目不是两个而是N个，由图33中所示的编码装置230所执行的编码处理与图6和图7中所示的编码处理相同，因此将不对其进行描述。

如上，编码装置230使用存储在互不相同的TS中的兼容流、辅助流以及兼容性信息来执行复用，因此可以确保与在复用中对2D图像进行编码的现有编码装置的兼容性。

另外，由于编码装置230根据现有的编码模式对多视点图像中的作为兼容图像的一个视点的图像进行编码，因此可以确保与在编码处理中对2D图像进行编码的现有的编码装置的兼容性。换句话说，编码装置230可以根据与现有的编码模式有兼容性的模式对多视点图像进行编码。

此外，由于编码装置230对N+1视点的图像A1和图像P进行编码，因此与编码装置230对应的解码装置可以根据N+1视点的图像A1和图像P生成多视点图像。以这种方式，根据解码装置，与根据两个视点的图像来生成多视点图像的情况相比，可以生成的图像的视点不受限制，并且可以生成具有相对高的精度的多视点图像。

另外，由于编码装置230在辅助图像的分辨率降低的情况下对图像进行编码，因此编码处理与解码处理的处理开销低于不降低分辨率而执行编码的情况。

[解码装置的配置示例]

图36是示出了对由图33中所示的编码装置230所发送的复用流进行解码的解码装置的配置示例的图。

在图36中所示的配置中，与图8中所示的配置相同的配置被分配了相同的附图标记。适当地将不再重复的描述。

图36中所示的解码装置260的配置与图8中所示的配置的不同之处主要在于：设置有解码器261以及图像生成单元262而不是解码器122以及图像生成单元127。解码装置260通过对从编码装置230发送的复用流进行分离并且解码来生成一个视点的或多视点图像，并且将图像显示在显示装置(图中未示出)上。

图36中所示的解码装置260的解码器261是由兼容解码器131以及辅助解码器271配置而成。解码器261的辅助解码器271(辅助图像解码单元)根据与图33中所示的辅助编码器62的模式对应的模式，对包括在从分离单元121所提供的辅助流中的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行解码。辅助解码器271将由于解码处理而获取的作为辅助图像的图像P的复用图像、兼容图像的视差图像A＇以及作为辅助图像的视差图像的视差图像P＇的复用图像提供给图像生成单元262。

图像生成单元262根据由观看者提供的显示指令来输出图像，并且将图像显示显示装置(图中未示出)上。更具体地，图像生成单元262(生成单元)根据观看者用于显示多视点的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用作为兼容图像的图像A、作为辅助图像的图像P的复用图像、兼容图像的视差图像A＇以及辅助图像的视差图像P＇的复用图像来生成与显示装置(图中未示出)对应的三个或更多个视点的图像，每个图像的分辨率为兼容图像或辅助图像的分辨率的一半。

当更详细地描述时，图像生成单元262基于下述信息从辅助图像的视差图像P1＇的复用图像中分离出每个辅助图像的视差图像P＇，该信息表示从视差图像信息获取单元125提供的视差图像信息中包括的辅助图像的视差图像的复用模式。另外，图像生成单元262基于下述信息从作为辅助图像的图像P的复用图像中分离出每个图像P，该信息表示从图像信息获取单元123提供的图像信息中包括的辅助图像的复用模式的信息。

此外，图像生成单元262基于视点间距离信息以及与显示装置(图中未示出)对应的视点的数目来确定将要生成的多视点图像的每个视点的位置。然后，图像生成单元262通过使用兼容图像、每个辅助图像、兼容图像的视差图像以及每个辅助图像的视差图像来生成其位置被确定的每个视点的图像。然后，图像生成单元262将所生成的每个视点的图像的分辨率转换成是兼容图像或辅助图像的分辨率的“1/视点的数目”的分辨率，对图像进行合成，并且将所合成的图像显示在显示装置(图中未示出)上。

此时，对合成后的多视点图像进行显示以使得每个视点的视角不同，从而观看者可以在不佩戴眼镜的情况下通过使用他的左眼和右眼看任意两个视点的图像来观看3D图像。

另外，图像生成单元262根据观看者用于显示2D图像的指令来输出由解码器261的兼容解码器131提供的作为兼容图像的图像A1，从而将图像显示在显示装置(图中未示出)上。因此，观看者可以观看2D图像。

除了辅助图像是N视点的图像P之外，由图36中所示的解码装置260所执行的解码处理与图9中所示的解码处理相同，因此将不对其进行描述。

如上，解码装置260可以将由编码装置230根据与现有模式有兼容性的模式进行复用的复用流进行分离。另外，解码装置260可以对由编码装置230根据与现有模式有兼容性并且需要相对低的处理开销的模式所编码的兼容流和辅助流进行解码。

<第五实施例>

[根据第五实施例的编码装置的配置示例]

图37是示出了根据本技术的第五实施例的编码装置的配置示例的框图。

图37中所示的编码装置290由图像转换处理单元291、视差信息生成单元292、编码处理单元293以及发送单元294配置而成。编码装置290根据AVC模式对两个视点的兼容图像中之一进行编码，根据MVC模式对另一个进行编码，并且根据3DV模式对一个视点的辅助图像、兼容图像的视差图像以及辅助图像的视差图像进行编码。在此，3DV模式是用于根据符合AVC模式或MVC模式的多个视点的模式对显示图像进行编码的模式。

更具体地，由L图像(其是双视点模式中作为一个视点的兼容图像的左眼图像)以及L图像的视差图像(下文中称为L视差图像)形成的L视点图像被输入到编码装置290。另外，由R图像(其是双视点模式中作为另一个视点的兼容图像的右眼图像)以及R图像的视差图像(下文中称为R视差图像)形成的R视点图像被输入到编码装置290。此外，由作为辅助图像的O图像以及O图像的视差图像(下文中称为O视差图像)形成的O视点图像被输入到编码装置290。在此，假定：L视点图像、R视点图像以及O视点图像的分辨率相同。

编码装置290的图像转换处理单元291通过对O图像以及O视差图像(其用于配置输入到编码装置290的O视点图像)执行分辨率降低处理、如滤波处理来降低分辨率。图像转换处理单元291将分辨率降低处理之后的O视点图像提供给编码处理单元293。另外，图像转换处理单元291生成表示在分辨率降低处理等中使用的滤波器的类型等的信息作为辅助图像低分辨率转换信息(其是与辅助图像的分辨率降低处理有关的信息)，并且将所生成的辅助图像低分辨率转换信息提供给发送单元294。

视差信息生成单元292(设定单元)基于在捕捉图像时L图像、R图像以及O图像的信息等生成视差信息(其是与L视差图像、R视差图像以及O视差图像有关的信息)，并且将所生成的视差信息提供给编码处理单元293。

编码处理单元293根据AVC模式对输入到编码装置290的L视点图像中包括的L图像进行编码。另外，编码处理单元293根据MVC模式在L图像设定为基本视图(基本图像)和R图像设定为非基本视图(相关图像)的情况下对R视点图像中包括的R图像进行编码。

另外，编码处理单元293根据3DV模式对L视差图像、R视点图像以及由图像转换处理单元291所提供的分辨力降低处理之后的O视点图像进行编码。此时，在其中分辨率降低处理之后的O视点图像被编码情况下，编码处理单元293针对要被参照的L视点图像以及R视点图像执行分辨率降低处理如滤波处理，并且使用由于分辨率降低处理而获取的其分辨率与O视点图像的分辨率相同的L视点图像以及R视点图像作为参考图像。

编码处理单元293根据由于编码处理而获取的L视点图像、R视点图像和O视点图像的编码数据以及从视差信息生成单元292提供的视差信息来生成比特流，并且将比特流提供给发送单元294。另外，编码处理单元293在生成O视点图像的参考图像等时生成表示在分辨率降低处理中使用的滤波器的类型的信息参考图像低分辨率转换信息(其是与参考图像的分辨率降低处理有关的信息)，并且将所生成的参考图像低分辨率转换信息提供给发送单元294。

发送单元294根据从图像转换处理单元291提供的辅助图像低分辨率转换信息以及由编码处理单元293提供的比特流和参考图像低分辨率转换信息生成TS，并且发送所生成的TS。

[编码处理单元的配置示例]

图38是示出了图37中所示的编码处理单元293的配置示例的图。

图38中所示的编码处理单元293由编码单元301、附加信息生成单元302、添加单元303以及比特流生成单元304配置而成。

编码处理单元293的编码单元301由兼容编码单元311以及辅助编码单元312配置而成。编码单元301的兼容编码单元311根据AVC模式对作为兼容图像的L图像和R图像中的L图像进行编码。另外，兼容编码单元311根据MVC模式在L图像被设定为基本视图并且R图像被设定为非基本视图的情况下对R图像进行编码。兼容编码单元311将由于编码处理而获取的L图像和R图像的编码数据提供给添加单元303。

辅助编码单元312根据3DV模式对作为兼容图像的视差图像的L视差图像和R视差图像、作为辅助图像的O图像以及作为辅助图像的视差图像的O视差图像进行编码。更具体地，辅助编码单元312根据3DV模式在将L图像和R图像用作参考图像的情况下对O图像进行编码。此时，辅助编码单元312针对要被参照的L图像和R图像执行分辨率降低处理，从而将L图像和R图像的分辨率降低到与O图像的分辨率相同。然后，辅助编码单元312通过参考分辨率降低处理之后的L图像和R图像对O图像进行编码。

另外，辅助编码单元312根据3DV模式在不参考除了同一视点的视差图像之外的任何图像的情况下对L视差图像进行编码，并且根据3DV模式通过参考L视差图像对R视差图像进行编码。此外，辅助编码单元312根据3DV模式通过参考L视差图像和R视差图像对分辨率降低处理之后的O视差图像进行编码。此时，辅助编码单元312通过分辨率降低处理将被参考的L视差图像和R视差图像的分辨率降低到与O视差图像的分辨率相同，并且对分辨率降低处理之后的L视差图像和R视差图像进行参考。

辅助编码单元312将由于编码处理而获取的L视差图像、R视差图像以及O视点图像的编码数据提供给添加单元303。另外，辅助编码单元312在生成O视点图像的参考图像等时生成表示在分辨率降低处理中使用的滤波器的类型的信息作为参考图像低分辨率转换信息，并且将所生成的参考图像低分辨率转换信息提供给图37中所示的发送单元294。

附加信息生成单元302生成L图像的SPS(序列参数集)的信息以及L视差图像、R视点图像和O视点图像的子集SPS的信息。另外，附加信息生成单元302生成L图像、R图像以及O图像的SEI(补充增强信息)的信息。此外，附加信息生成单元302生成包括由图37中所示的视差信息生成单元292提供的L视差图像的视差信息的L视差图像的SEI信息、包括R视差图像的视差信息的R视差图像的SEI的信息、以及包括O视差图像的视差信息的O视差图像的SEI的信息。附加信息生成单元302将L图像的SPS和SEI的信息以及L视差图像、R视点图像和O视点图像的子集SPS和SEI的信息提供给添加单元303。

添加单元303将包括表示AVC模式的图片的类型为NAL(网络抽象层)单元的类型的信息的NAL报头添加到从兼容编码单元311提供的L图像的编码数据，从而生成NAL单元。另外，添加单元303将包括表示MVC模式的编码数据为NAL单元的类型的信息的NAL报头添加到从兼容编码单元311提供的R图像的编码数据，从而生成NAL单元。

另外，添加单元303将包括表示3DV模式的编码数据为NAL单元类型的信息并且包括表示图像不是视差图像的视差标志的NAL报头添加到从辅助编码单元312提供的O图像的编码数据，从而生成NAL单元。此外，添加单元303将包括表示3DV模式的编码数据为NAL单元的类型的信息并且包括与表示视差图像的视差标志(视差识别信息)有关的信息、与相应图像有关的信息等的NAL报头添加到由辅助编码单元312提供的L视差图像、R视差图像以及O视差图像的编码数据，从而生成NAL单元。

此外，添加单元303将表示信息为NAL单元的类型的NAL报头添加到从附加信息生成单元302提供的L图像的SPS和SEI的信息以及L视差图像、R视点图像和O视点图像的子集SPS和SEI的信息，从而生成NAL单元。添加单元303将如上所述生成的NAL单元提供给比特流生成单元304。

比特流生成单元304通过对从添加单元303提供的NAL单元以预定的顺序进行布置来生成比特流，并且将所生成的比特流提供给图37中所示的发送单元294。

[编码的描述]

图39是示出了由图38中所示的编码单元301执行的编码处理中的参考关系的图。

如图39中所示的，兼容编码单元311根据AVC模式对L图像进行编码。另外，兼容编码单元311根据MVC模式在L图像被设定为基本视图并且R图像被设定为非基本视图的情况下来对R图像进行编码。此外，辅助编码单元312根据3DV模式通过参考分辨率降低处理之后的L图像和R图像来对分辨率降低处理之后的O图像进行编码。

另外，如图39所示，辅助编码单元312根据3DV模式在不参考除了同一视点的视差图像之外的任何图像的情况下，对L视差图像进行编码，并且根据3DV模式通过参考L视差图像来对R视差图像进行编码。此外，辅助编码单元312根据3DV模式通过参考分辨率降低处理之后的L视差图像和R视差图像来对分辨率降低处理之后的O视差图像进行编码。

[NAL单元的配置示例]

图40是示出了包括在由图38中所示的编码处理单元293生成的比特流中的L视点图像、R视点图像以及O视点图像的编码数据的NAL单元的配置示例的图。

如图40的A中所示，例如在根据现有的AVC模式对L图像进行编码并且根据MVC模式在L图像被设定为基本视图下对L视差图像、R视点图像以及O视点图像进行编码的情况下，L图像的编码数据的NAL单元由包括表示L图像的AVC模式的图片的类型为NAL单元的类型的信息的NAL报头以及L图像的编码数据配置而成。

另外，R图像、O图像、L视差图像、R视差图像以及O视差图像中的每个的编码数据的NAL单元由包括表示MVC的编码数据为NAL单元的类型(NAL单元类型)的信息的NAL报头以及编码数据配置而成。因此，根据MVC模式编码的R图像、O图像、L视差图像、R视差图像以及O视差图像的编码数据的NAL单元的NAL报头是相同的。

因此，对比特流进行解码的解码装置不能识别R图像、O图像、L视差图像、R视差图像以及O视差图像的NAL单元。从而，现有的MVC模式的解码装置不能仅对必要的R图像的NAL单元进行提取并且解码，而是要执行不必要的解码处理。

与此相对，如图40的B中所示，在由编码处理单元293执行的编码处理中，在O图像、L视差图像、R视差图像以及O视差图像的NAL单元的NAL报头中，表示3DV模式的编码数据的信息被包括以作为NAL单元的类型，并且视差标志(is_depth)被包括以作为扩展信息(nal_unit_header_3dv_extension)。

更具体地，在O图像的NAL单元的NAL报头中，包括了表示图像不是视差图像的为“0”的视差标志。因此，解码装置可以识别O图像。另外，在L视差图像、R视差图像以及O视差图像的NAL单元的NAL报头中，包括了表示视差图像的为“1”的视差标志。因此，解码装置可以识别L视差图像、R视差图像以及O视差图像。

此外，在L视差图像、R视差图像以及O视差图像的NAL单元的NAL报头中，包括了与相应的图像(兼容图像和辅助图像)有关的信息作为扩展信息。作为与相应的图像的有关信息，有指定相应图像的视点的数目(num_cor_view_id)以及相应图像的视点的信息(cor_view_id)(兼容图像识别信息或辅助图像识别信息)。

在此，L视差图像是一个视点的L图像的视差图像，R视差图像是一个视点的R图像的视差图像，并且O视差图像是一个视点的O图像的视差图像。在图40中所示的示例中，指定L图像的视点的信息是“0”，指定R图像的视点的信息是“1”，并且指定O图像的视点的信息是“2”。

因此，包括在L视差图像的NAL单元的NAL报头中的与相应的图像有关的信息是作为相应的图像的视点的数目的“1”以及作为指定相应的图像的视点的信息的“0”。另外，包括在R视差图像的NAL单元的NAL报头中的与相应的图像有关的信息是作为相应的图像的视点的数目的“1”以及作为指定相应的图像的视点的信息“1”。此外，包括在O视差图像的NAL单元的NAL报头中的与相应的图像有关的信息是作为相应的图像的视点的数目“1”以及作为指定相应的图像的视点的信息“2”。

如上，通过包括与相应的图像有关的信息作为扩展信息，可以分别识别L视差图像、R视差图像以及O视差图像。另外，由于指定与视差图像对应的图像的信息(其表示视差图像与图像之间的对应关系)未包括在图像的NAL报头中而是包括在视差图像的NAL报头中，因此可以保持兼容图像的NAL单元的兼容性。

另外，作为兼容图像的L图像的NAL单元的类型是表示AVC模式的图片的信息，并且R图像的NAL单元的类型是表示MVC模式的编码数据的信息。因此，表示3DV模式的编码数据的NAL单元的类型可以被描述为表示除了兼容图像之外的信息的报头的信息，换句话说，表示除了兼容图像之外的信息的边界的边界信息。

[比特流的配置示例]

图41是示出了由图38中所示的比特流生成单元304生成的比特流的配置示例的图。

如图41的A中所示，根据AVC模式编码的L图像的比特流由L图像的AVC模式的SPS的信息的NAL单元、L图像的AVC模式的SEI的信息的NAL单元以及L图像的编码数据(L颜色)的NAL单元配置而成。

另外，如图41的B中所示，根据MVC模式编码的R图像的比特流由R图像的MVC模式的子集SPS(Subset SPS)的信息的NAL单元、R图像的MVC模式的SEI的信息的NAL单元以及R图像的编码数据(R颜色)的NAL单元配置而成。

如图41的C中所示，根据3DV模式编码的O图像的比特流由O图像的3DV模式的子集SPS的信息的NAL单元、O图像的3DV模式的SEI的信息的NAL单元以及O图像的编码数据(O颜色)的NAL单元配置而成。

如图41的D中所示，根据3DV模式编码的L视差图像的比特流由L视差图像的3DV模式的子集SPS的信息的NAL单元、包括L视差图像的视差信息(3DV_view_synthesis_info)的3DV模式的SEI的信息的NAL单元以及L视差图像的编码数据(L深度)的NAL单元配置而成。

如图41的E中所示，根据3DV模式编码的R视差图像的比特流由R视差图像的3DV模式的子集SPS的信息的NAL单元、包括R视差图像的视差信息的3DV模式的SEI的信息的NAL单元、R视差图像的编码数据(R深度)的NAL单元配置而成。

虽然未在图中示出，但是类似于R视差图像的比特流，根据3DV模式编码的O视差图像的比特流由O视差图像的3DV模式的子集SPS的信息的NAL单元、包括O视差图像的视差信息的3DV模式的SEI的信息的NAL单元以及O视差图像的编码数据的NAL单元配置而成。

如上，由于视差信息包括在3DV模式的SEI中，所以与3DV模式不对应的解码装置不必然需要处理视差信息。

[3DV模式的SEI的配置示例]

图42是示出了3DV模式的SEI的配置示例的图。

如图42中所示，在3DV模式的SEI中，包括了视差信息(3DV_view_synthesis_info)。

图43是示出了视差信息(3DV_view_synthesis_info)的描述的示例的图。

如图43中所示，作为视差信息，描述了表示视差图像的每个像素值是表示视差的视差值(视差)还是表示与视差对应的对象的深度(Depth)的深度值的视差类型(depth_type)。

另外，作为视差信息，描述了表示视差图像的每个像素值是否在预定的范围(例如0至255的范围)内被归一化的归一化标志(is_normalized)(归一化识别信息)。

此外，在视差图像的每个像素值是深度值的情况下，对于所有的视点共同的深度值的最大值(z_near)以及深度值的最小值(z_far)被描述为视差信息。另一方面，在视差图像的每个像素值是视差值的情况下，描述了针对每个视点的视差值的最大值(max_disp)以及视差值的最小值(min_disp)。

另外，作为视差信息，描述了捕捉与视差图像对应的图像的相机的拍摄模式(camera_mode)。作为拍摄模式，有平行拍摄模式(1D平行模式)以及具有辐射的拍摄模式(普通模式)，在平行拍摄模式中执行拍摄使得各个相机与对象之间在深度方向上的距离相同，在具有辐射的拍摄模式中，在相机被布置在从对象起的辐射方向上的情况下执行拍摄。

另外，描述了表示图像的对应关系信息(interval_view_id)作为视差信息，根据该对应关系信息，对应于视差图像的图像的视差是由视差图像表示的视差。此外，描述了对应于视差图像的图像的视点的数目(num_cor_view_id)以及对图像进行指定的信息(cor_vie_id)作为视差信息。

另外，作为视差信息，描述了捕捉对应于视差图像的图像的相机的参数(camera_parameters)。相机的参数由内部参数和外部参数配置而成。内部参数由相机在水平方向上的对于所有视点共同的焦距以及作为图像中心的主点(换句话说，透镜在水平方向上的光学中心的位置)形成。在水平方向上的主点的位置对于每个视点可能不同。另外，外部参数是定义相机在水平方向上的位置的参数。

[编码装置的处理的描述]

图44是示出了由图37中所示的编码装置290执行的多视点编码处理的流程图。该多视点图像编码处理例如在L视点图像、R视点图像以及O视点图像被作为编码目标输入到编码装置290时开始。

在图44中所示的步骤S251中，编码装置290的编码处理单元293获取被输入到编码装置290的L视点图像。在步骤S252中，编码处理单元293获取被输入到编码装置290的R视点图像。在步骤S253中，图像转换处理单元291获取被输入到编码装置290的O视点图像。

在步骤S254中，图像转换处理单元291针对O视点的图像中的O图像以及O视差图像执行分辨率降低处理。图像转换处理单元291将分辨率降低处理之后的O视点的图像提供给编码处理单元293。

在步骤S255中，图像转换处理单元291生成表示在步骤S254的分辨率降低处理中使用的滤波器的类型的信息等作为辅助图像低分辨率转换信息，并且将所生成的辅助图像低分辨率转换信息提供给发送单元294。

在步骤S256中，视差信息生成单元292基于在捕捉图像时的L图像、R图像以及O图像的信息等生成L视差图像、R视差图像以及O视差图像的视差信息，并且将所生成的视差信息提供给编码处理单元293。

在步骤S257中，编码处理单元293执行编码处理，其中L视点图像、R视点图像以及从图像转换处理单元291提供的分辨率降低处理之后的O视点图像被编码。该编码处理将参照随后描述的图45被详细描述。

在步骤S258中，发送单元294根据从图像转换处理单元291提供的辅助图像低分辨率转换信息以及由编码处理单元293提供的参考图像低分辨率转换信息和比特流来生成TS，并且将TS发送。然后，处理结束。

图45是示出了图44中所示的步骤S257的详细的编码处理的流程图。

在图45中所示的步骤S270中，编码处理单元293的编码单元301(图38)对L视点图像、R视点图像以及分辨率降低处理之后的O视点图像进行编码。更具体地，编码单元301的兼容编码单元311根据AVC模式对L图像进行编码，并且根据MVC模式对R图像进行编码。另外，辅助编码单元312根据3DV模式对L视差图像、R视差图像以及分辨率降低处理之后的O视点图像进行编码。编码单元301将由于编码处理而获取的L视点图像、R视点图像以及O视点图像的编码数据提供给添加单元303。

在步骤S271中，辅助编码单元312生成参考图像低分辨率转换信息，并且将所生成的参考图像低分辨率转换信息提供给图37中所示的发送单元294。

在步骤S272中，附加信息生成单元302使用从图37中所示的视差信息生成单元292提供的视差信息来生成L图像的SEI和SPS的信息以及L视差图像、R视点图像和O视点图像的子集SPS和SEI的信息，并且将所生成的信息提供给添加单元303。

在步骤S273中，添加单元303将包括表示AVC模式的图片类型的NAL单元类型的NAL报头添加到从兼容编码单元311提供的L图像的编码数据，从而生成NAL单元。添加单元303将所生成的L图像的编码数据的NAL单元提供给比特流生成单元304。

在步骤S274中，添加单元303将包括表示MVC模式的编码数据的NAL单元的类型的NAL报头添加到从兼容编码单元311提供的R图像的编码数据，从而生成NAL单元。添加单元303将所生成的R图像的编码数据的NAL单元提供给比特流生成单元304。

在步骤S275中，添加单元303将包括表示3DV模式的编码数据的NAL单元的类型以及表示图像不是视差图像的视差标志的NAL报头添加到从辅助编码单元312提供的O图像的编码数据，从而生成NAL单元。添加单元303将所生成的O图像的编码数据的NAL单元提供给比特流生成单元304。

在步骤S276中，添加单元303分别将包括表示3DV模式的编码数据的NAL单元的类型、表示视差图像的视差标志以及与相应的图像有关的信息的NAL报头添加到由辅助编码单元312提供的L视差图像、R视差图像以及O视差图像的编码数据，从而生成NAL单元。添加单元303将所生成的L视差图像、R视差图像以及O视差图像的编码数据的NAL单元提供给比特流生成单元304。

在步骤S277中，添加单元303分别将包括表示相应信息的NAL单元类型的NAL报头添加到从附加信息生成单元302提供的L图像的SPS和SEI的信息以及L视差图像、R视点图像和O视点图像的子集SPS和SEI的信息，从而生成NAL单元。添加单元303将所生成的L图像的SPS和SEI的信息和L视差图像、R视点图像以及O视点图像的子集SPS和SEI的信息的NAL单元提供给比特流生成单元304。

在步骤S278中，比特流生成单元304通过对由添加单元303提供的NAL单元以预定的顺序进行布置来生成比特流，并且将所生成的比特流提供给图37中所示的发送单元294。然后，处理返回到图44中所示的步骤S257，并且处理行进到步骤S258。

如上，编码装置290根据现有的编码模式对兼容图像进行编码，并且将包括表示3DV模式的编码数据的NAL单元类型的NAL报头添加到作为辅助图像的O图像的编码数据。因此，由于仅与现有的编码模式对应的解码装置可以仅提取可以基于NAL报头被解码的兼容图像的编码数据并且根据与现有的编码模式对应的模式对所提取的数据进行解码，可以指出的是：编码装置290根据与现有的模式有兼容性的模式执行编码。因此例如用于与AVC模式、MVC模式以及3DV模式对应的应用的数据可以被一起编码并且广播。

[根据AVC模式的解码装置的配置示例]

图46是示出了对由图37所示出的编码装置290所发送的比特流进行解码的根据AVC模式解码装置的配置示例的框图。

图46中所示的解码装置320由接收单元321、分离单元322以及AVC解码单元323配置而成，并且对包括在由编码装置290所发送的比特流中的L图像的编码数据进行解码。

解码装置320的接收单元321接收由图37中所示的编码装置290发送的TS，并且将包括在TS中的比特流提供给分离单元322。

分离单元322基于NAL报头从由接收单元321提供的比特流中分离L图像的SPS和SEI和编码数据的NAL单元以及除了以上所描述的NAL单元之外的NAL单元。

更具体地，分离单元322从比特流中提取L图像的编码数据的NAL单元(包括NAL报头中的表示AVC模式的图片的类型的NAL单元类型)、L图像的SPS的NAL单元(包括NAL报头中的表示AVC模式的SPS的NAL单元类型)、以及L图像的SEI的NAL单元(包括NAL报头中的表示AVC模式的SEI的NAL单元类型)。分离单元322将SPS的信息和SEI的信息以及作为包括在分离的NAL单元中数据的L图像的编码数据与表示数据是SPS的信息、SEI的信息以及编码数据中之一的类型信息一起提供给AVC解码单元323。在此，类型信息基于相应的NAL单元的类型被生成。

AVC解码单元323基于由分离单元322提供的类型信息来保持与表示SPS的信息和SEI的信息的类型信息对应地提供的SPS和SEI的信息。AVC解码单元323根据与AVC模式对应的模式、基于被保持的SPS和SEI的信息对与表示编码数据的类型信息一起从分离单元322提供的L图像的编码数据进行解码。AVC解码单元323将由于解码处理而获取的L图像输出到显示装置(图中未示出)上，从而对L图像进行显示。因此，观看者可以观看2D图像。

[根据AVC模式的解码装置的描述]

图47是示出了由图46中所示的解码装置320所执行的解码处理的流程图。该解码处理例如在由图37中所示的编码装置290发送TS时开始。

在图47中所示的步骤S291中，解码装置320的接收单元321接收从编码装置290发送的TS。接收单元321将包括在TS中的比特流提供给分离单元322。随后的步骤S292至步骤S297的处理针对配置比特流的每个NAL单元来执行。

在步骤S292中，分离单元322确定包括在NAL单元的NAL报头中的NAL的类型是否是AVC模式的类型。换句话说，分离单元322确定NAL单元的类型是否表示根据AVC模式的图片的类型、SPS或SEI的信息。

在其中在步骤S292中NAL单元的类型被确定为AVC模式的类型的情况下，处理行进到步骤S293。在步骤S293中，分离单元322将包括在NAL单元中的L图像的数据(换句话说，SPS的信息、SEI的信息或L图像的编码数据)与类型信息一起输入到AVC解码单元323。

在步骤S294中，AVC解码单元323基于与由分离单元322提供的L图像的数据对应的类型信息确定数据是否是L图像的编码数据。在其中在步骤S294中确定是L图像的编码数据被的情况下，在步骤S295中AVC解码单元323根据与AVC模式对应的模式、基于保持的SPS和SEI的信息对L图像的编码数据进行解码。

在步骤S296中，AVC解码单元323将由于解码处理而获取的L图像输出给显示装置(图中未示出)上，从而对L图像进行显示。然后，处理结束。

另一方面，在其中在步骤S294中确定了数据不是L图像的编码数据、换句话说由分离单元322所提供的L图像的数据是L图像的SPS或SEI的信息的情况下，处理行进到步骤S297。

在步骤S297中，AVC解码单元323保持由分离单元322提供的L图像的SEI或SPS的信息，从而处理结束。

另外，在其中在步骤S292中NAL单元的类型确定不是AVC模式的类型的情况下，NAL单元不被提供给AVC解码单元323，从而处理结束。

如上所述，解码装置320基于NAL报头从比特流中将作为可以由解码装置320解码的兼容图像的L图像的SPS、SEI以及编码数据的NAL单元以及除了上述NAL单元之外的NAL单元分离出来，并且根据与现有的AVC模式对应的模式仅对包括在所分离的NAL单元中的编码数据进行解码。因此，解码装置320可以对由于编码装置290执行的与现有的模式有兼容性的编码处理而获取的比特流进行解码。

[根据MVC模式的解码装置的配置示例]

图48是示出了对由图37中所示的编码装置290所发送的比特流进行解码的根据MVC模式解码装置的配置示例的框图。

在图48中所示的配置中，与图46中所示的配置相同的配置被分配了相同的附图标记。适当地将不再重复描述。

图48中所示的解码装置320的配置与图46中所示的配置的不同之处主要在于：设置有分离单元341和MVC解码单元343而不是分离单元322和AVC解码单元323。解码装置320对包括在由编码装置290所发送的比特流中的L图像以及R图像的编码数据进行解码。

更具体地，解码装置320的分离单元341基于NAL报头从由接收单元321提供的比特流中对L图像的SPS、R图像的子集SPS以及SEI的NAL单元、L图像和R图像的编码数据的NAL单元以及除了以上所描述的NAL单元之外的NAL单元进行分离。

当更详细地描述时，类似于图46中所示的分离单元322，分离单元341从比特流中提取L图像的编码数据、SPS以及SEI的NAL单元。另外，分离单元341从比特流中提取R图像的编码数据的NAL单元(包括NAL报头中的表示MVC模式的编码数据的NAL单元类型)、R图像的子集SPS的NAL单元(包括NAL报头中的表示MVC模式的子集SPS的NAL单元类型)、以及R图像的SEI的NAL单元(包括NAL报头中的表示MVC模式的SEI的NAL单元类型)。

分离单元341将作为被包括在所分离的NAL单元中的L图像的SPS、R图像的子集SPS和SEI以及L图像和R图像的编码数据与数据的类型信息一起提供给MVC解码单元342。

MVC解码单元342基于由分离单元341提供的类型信息保持L图像和R图像的SEI、L图像的SPS以及R图像的子集SPS的信息。类似于图46中所示的AVC解码单元323，MVC解码单元342根据与AVC模式对应的模式、基于被保持的L图像的SEI和SPS的信息对从分离单元341提供的L图像的编码数据进行解码。

MVC解码单元342根据与MVC模式对应的模式、基于被保持的R图像的SEI和子集SPS的信息对与表示R图像的编码数据的类型信息一起从分离单元341提供的R图像的编码数据进行解码，其中L图像被设定为基本视图并且R图像被设定为非基本视图。MVC解码单元342交替地将由于解码处理而获取的L图像和R图像输出到显示装置(图中未示出)上，从而对L图像和R图像进行显示。

此时，观看者可以通过佩戴其左眼快门在显示L图像时打开、右眼快门在显示R图像时打开的眼镜并且观看被交替显示在显示装置上的L图像和R图像来观看3D图像。

[根据MVC模式的解码装置的处理的描述]

图49是示出了由在图48中所示的解码装置340执行的解码处理的流程图。该解码处理例如在由图37中所示的编码装置290发送TS时开始。

在图49中所示的步骤S311中，解码装置340的接收单元321接收从编码装置290发送的TS。接收单元321将包括在TS中的比特流提供给分离单元341。随后的步骤S312至步骤S317的处理针对配置比特流的每个NAL单元来执行。

在步骤S312中，分离单元341确定包括在NAL单元的NAL报头中的NAL单元的类型是否是AVC模式的类型或MVC模式的类型。换句话说，分离单元341确定NAL单元的类型是否是表示根据AVC模式的图片、SPS或SEI的信息或者表示根据MVC模式的编码数据、子集SPS或SEI的信息。

在其中在步骤S312中NAL单元的类型被确定为AVC模式的类型或MVC模式的类型的情况下，处理行进到步骤S313。在步骤S313中，分离单元341将包括在NAL单元中的L图像或R图像的数据(换句话说，L图像的SPS的信息、SEI的信息或编码数据或者R图像的子集SPS的信息、SEI信息或编码数据)与类型信息一起输入到MVC解码单元342。

在步骤S314中，MVC解码单元342基于类型信息确定从分离单元341提供的数据是否是L图像的编码数据还是R图像的编码数据。在其中在步骤S314中确定了是L图像的编码数据或R图像的编码数据的情况下，在步骤S315中，MVC解码单元342基于被保持的SPS或子集SPS和SEI的信息对L图像或R图像的编码数据进行解码。

在步骤S316中，MVC解码单元342将由于解码处理而获取的L图像或R图像输出到显示装置(图中未示出)上，以对图像进行显示，从而处理结束。

另一方面，在其中在步骤S314中确定了数据不是L图像或R图像的编码数据(换句话说，从分离单元341提供的数据是L图像的SPS或SEI的信息或是R图像的子集SPS或SEI的信息)的情况下，该处理行进到步骤S317。

在步骤S317中，MVC解码单元342保持从分离单元34所提供的L图像的SEI或SPS的信息或者R图像的子集SPS或SEI的信息，从而处理结束。

另外，在其中在步骤S312中确定NAL单元的类型不是AVC模式的类型或MVC模式的类型的情况下，NAL单元不被提供给MVC解码单元342，从而处理结束。

如上所述，解码装置340基于NAL报头从比特流中分离作为可以由解码装置340解码的兼容图像的L图像的SPS、SEI和编码数据的NAL单元、R图像的子集SPS、SEI和编码数据的NAL单元、以及除了以上所描述的NAL单元之外的NAL单元，并且根据与现有的AVC模式或MVC模式对应的模式仅对包括在所分离的NAL单元中的编码数据进行解码。因此，解码装置340可以对由于由编码装置290执行的与现有模式有兼容性的编码处理而获取的比特流进行解码。

[根据3DV模式的解码装置的配置示例]

图50是示出了对由图37中所示的编码装置290发送的比特流进行解码的根据3DV模式的解码装置的配置示例的框图。

图50中所示的解码装置360由接收单元361、分离单元362、3DV解码单元363、低分辨率图像逆转换处理单元364以及图像生成单元365配置而成。解码装置360对包括在由编码装置290发送的比特流中的L视点图像、R视点图像以及O视点图像进行解码。

更具体地，解码装置360的接收单元361接收由图37中所示的编码装置290所发送的TS。接收单元361将包括在TS中的比特流提供给分离单元362，将参考图像低分辨率转换信息提供给3DV解码单元363，并且将辅助图像低分辨率转换信息提供给低分辨率图像逆转换处理单元364。

分离单元362基于NAL报头从由接收单元361提供的比特流中分离出每个NAL单元。更详细地描述，类似于图48中所示的分离单元341，分离单元362从比特流中提取L图像的编码数据、SPS以及SEI的NAL单元。另外，类似于分离单元341，分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。

而且，分离单元362提取L视差图像、R视差图像和O视点图像的编码数据的的NAL单元、包括NAL报头中的表示3DV模式的编码数据的NAL单元类型。另外，分离单元362提取L视差图像、R视差图像和O视点图像的子集SPS以及L视差图像、R视差图像和O视点图像的SEI的NAL单元、包括在NAL报头中的表示3DV模式的子集SPS和SEI的NAL单元类型。

另外，分离单元362还基于包括在NAL报头中的扩展信息来分离L视差图像、R视差图像和O视点图像的编码数据的NAL报头。更具体地，分离单元362提取这样的NAL单元作为O视差图像的编码数据的NAL单元：其作为扩展信息的视差标志表示图像不是视差图像的NAL单元。另外，分离单元362提取这样的NAL单元作为L视差图像的编码数据的NAL单元：其作为扩展信息的视差标志表示图像是视差图像并且其信息指定相应图像的视点的数量为一且指定L图像作为指定相应的图像的视点的信息。类似地，分离单元362提取R视差图像的编码数据的NAL单元和O视差图像的编码数据的NAL单元。

分离单元362将作为包括在分离的NAL单元中的数据的L图像的SPS的信息，L视差图像、R视点图像和O视点图像的子集SPS的信息，、以及SEI和L视点图像、R视点图像和O视点图像的编码数据的信息与数据的类型信息一起提供给3DV解码单元363。

3DV解码单元363基于从分离单元362提供的类型信息来保持L图像的SPS和SEI的信息以及L视差图像、R视点图像和O视点图像的子集SPS和SEI的信息。与图48示出的MVC解码单元342类似，3DV解码单元363根据与AVC模式对应的模式基于保持的L图像的SEI和SPS的信息对从分离单元362提供的L图像的编码数据进行解码。另外，与MVC解码单元342类似，3DV解码单元363根据与MVC模式对应的模式基于保持的R图像的SEI和子集SPS的信息对从分离单元362提供的R图像的编码数据进行解码。

另外，3DV解码单元363根据与3DV模式对应的模式，基于保持的O图像的SEI和子集SPS的信息、通过参考L图像和R图像对与表示O图像的编码数据的类型信息一起从分离单元362提供的O图像的编码数据进行解码。此时，3DV解码单元363基于从接收单元361提供的参考图像低分辨率转换信息对参考的L图像和R图像进行分辨率降低处理，并参考分辨率降低处理后的L图像和R图像。

而且，3DV解码单元363在除了同一视点的视差图像外不参考任何图像的情况下，根据与3DV模式对应的模式并且基于保持的L视差图像的SEI和子集SPS的信息，对与表示L视差图像的编码数据的类型信息一起从分离单元362提供的L视差图像的编码数据进行解码。另外，3DV解码单元363根据与3DV模式对应的模式并且基于保持的R视差图像的SEI和子集SPS的信息，通过参考L视差图像对与表示R视差图像的编码数据的类型信息一起从分离单元362提供的R视差图像的编码数据进行解码。

而且，3DV解码单元363根据与3DV模式对应的模式并且基于保持的O视差图像的SEI和子集SPS的信息，通过参考L视差图像和R视差图像对与表示O视差图像的编码数据的类型信息一起从分离单元362提供的O视差图像的编码数据进行解码。此时，3DV解码单元363基于从接收单元361提供的参考图像低分辨率转换信息对参考的L视差图像和R视差图像进行分辨率降低处理，并参考分辨率降低处理后的L视差图像和R视差图像。

3DV解码单元363将由于解码处理而获取的L视点图像和R视点图像提供给图像生成单元365。另外，3DV解码单元363将由于解码处理而获取的O视点图像提供给低分辨率图像逆转换处理单元364。而且，3DV解码单元363将包括在保持的L视差图像、R视差图像和O视差图像的SEI中的视差信息提供给图像生成单元365。

低分辨率图像逆转换处理单元364基于从接收单元361提供的辅助图像低分辨率转换信息来进行分辨率提高处理，其例如是与由图37示出的图像转换处理单元291对从3DV解码单元363提供的配置O视点图像的O图像和O视差图像进行的分辨率降低处理对应滤波处理。这样，O视点图像的分辨率变得与L视点图像和R视点图像的分辨率相同。低分辨率图像逆转换处理单元364将分辨率提高处理后的O视点图像提供给图像生成单元365。

图像生成单元365根据需要基于从3DV解码单元363提供的L视差图像的视差信息对从3DV解码单元363提供的L视差图像进行转换。

例如，在其中包括在L视差图像的视差信息中的视差类型表示视差图像的每个像素值是深度值且表示可以由图像生成单元365处理的视差的值是视差值的情况下，图像生成单元365将L视差图像的每个像素值转换成视差值。

另外，在其中包括在L视差图像的视差信息中的归一化标志是表示每个像素值没有被归一化的值且表示可以由图像生成单元365处理的视差的值是归一化后的值的情况下，图像生成单元365将L视差图像的每个像素值归一化，从而将其转化成归一化后的值。

而且，在其中包括在L视差图像的视差信息中的拍摄模式是辐射拍摄模式且可以由图像生成单元365处理的视差图像是在并行拍摄模式中捕捉的图像的视差图像的情况下，图像生成单元365将L视差图像转换成在并行拍摄模式中捕捉的L图像的视差图像。

与L视差图像类似，图像生成单元365根据需要基于R视差图像的视差信息来转换R视差图像且基于O视差图像的视差信息来转换O视差图像。

图像生成单元365基于转换后的L视差图像、R视差图像和O视差图像、包括在L图像、R图像、O图像以及视差信息中的深度值的最大值和最小值或视差值的最大值和最小值、以及对应的相关信息来生成与显示装置(图中未示出)对应的视点的数量为三或更多的图像。然后，图像生成单元365将所生成的每个视点的图像的分辨率转换成兼容图像或辅助图像的分辨率的“1/视点的数量”，合成图像并将合成的图像输出给显示装置(图中未示出)以显示图像。

此时，对合成后的多视点图像进行显示使得每个视点的视角是不同的，观看者可以在不佩戴眼镜的情况下通过使用他的左眼和右眼看任意两个视点的图像来观看3D图像。

[根据3DV模式的解码装置的处理的描述]

图51是示出了由图50示出的解码装置360进行的解码处理的流程图。例如，当从图37示出的编码装置290发送TS时该解码处理开始。

在图51示出的S331步骤中，解码装置340的接收单元361接收从编码装置290发送的TS。接收单元361将包括在TS中的比特流提供给分离单元362，将参考图像低分辨率转换信息提供给3DV解码单元363，以及将辅助图像低分辨率转换信息提供给低分辨率图像逆转换处理单元364。后续步骤S332至步骤S342的处理针对配置比特流的每个NAL单元进行。

在步骤S332中，分离单元362基于NAL单元的NAL报头来分离每个NAL单元，并将包括在NAL单元中的L视点图像、R视点图像或分辨率降低处理后的O视点图像的数据与类型信息一起提供给3DV解码单元363。

在步骤S333中，3DV解码单元363基于类型信息来确定与类型信息一起从分离单元362提供的数据是否是L视点图像、R视点图像还是分辨率降低处理后的O视点图像的编码数据。在步骤S333中在确定数据是L视点图像、R视点图像或O视点图像的编码数据的情况下，处理进行至步骤S334。

在步骤S334中，3DV解码单元363基于保持的SPS、子集SPS或SEI的信息对L视点图像、R视点图像或分辨率降低处理后的O视点图像的编码数据进行解码。

在步骤S335中，3DV解码单元363基于类型信息来确定由于解码处理而获取的图像是否是分辨率降低处理后的O图像或O视差图像。在其中在步骤S335中确定由于解码处理而获取的图像是分辨率降低处理后的O图像或O视差图像的情况下，3DV解码单元363将O图像或O视差图像提供给低分辨率图像逆转换处理单元364。

在步骤S336中，低分辨率图像逆转换处理单元364基于从接收单元361提供的辅助图像低分辨率转换信息对从3DV解码单元363提供的分辨率降低处理后的O图像或O视差图像进行分辨率提高处理。这样，O图像或O视差图像的分辨率与L视点图像和R视点图像的分辨率变得相同。

在步骤S337中，低分辨率图像逆转换处理单元364将分辨率提高处理后的O图像或O视差图像输出到图像生成单元365，处理结束。

另一方面，在其中在步骤S335中确定由于解码处理而获取的图像不是分辨率降低处理后的O图像或O视差图像、换言之由于解码处理而获取的图像是L图像、L视差图像、R图像或R视差图像的情况下，处理行进至步骤S338。

在步骤S338中，3DV解码单元363将由于解码处理而获取的L图像、L视差图像、R图像或R视差图像输出到图像生成单元365，处理结束。

另外，在其中在步骤S333中确定数据不是L视点图像、R视点图像或O视点图像的编码数据、也就是说从分离单元362提供的数据是SPS、子集SPS或SEI的信息的情况下，处理进行至步骤S339。

在步骤S339中，3DV解码单元363保持从分离单元362提供的SPS、子集SPS或SEI的信息。

在步骤S340中，3DV解码单元363确定在步骤S339中保持的数据是否是SEI的信息。在确定在步骤S340中保持的数据是SEI的信息的情况下，处理进行至步骤S341。

在步骤S341中，3DV解码单元363确定在步骤S339中保持的SEI的信息中是否有视差信息。在确定在步骤S341、步骤S342中有视差信息的情况下，3DV解码单元363从SEI的信息提取视差信息，并将提取的视差信息输出到图像生成单元365，处理结束。

另一方面，在确定在步骤S340中保持的数据不是SEI的信息的情况下或确定在步骤S341中没有视差信息的情况下，处理结束。

如上所述，解码装置360基于NAL报头从比特流分离每个NAL单元。然后，解码装置360根据与现有AVC模式或MVC模式对应的模式对包括在分离的NAL单元中的兼容图像的编码数据进行解码，并根据与3DV模式对应的模式对辅助图像和视差图像的编码数据进行解码。因此，解码装置340可以根据与现有模式有兼容性的模式对由于由编码装置290的编码处理而获取的比特流进行解码。

[作为解码目标的编码数据的描述]

图52是示出了下述编码数据的图，该编码数据是图46示出的解码装置320、图48示出的解码装置340和图50示出的解码装置360的解码目标。

在图52示出的示例中，假定以图39示出的参考关系来编码的比特流从编码装置290发送。

在这种情况下，如图52所示，解码装置320根据与AVC模式对应的模式仅对在其NAL单元类型(nal_unit_type)是表示AVC模式的图片类型的信息(在图52示出的示例中，1或5)的L图像的NAL单元中包括的编码数据(编码片)进行解码。

同时，如图52所示，与解码装置320类似，解码装置340根据与于AVC模式对应的模式对在L图像的NAL单元中包括的编码数据进行解码。另外，解码装置340以L图像作为基本视图且R图像作为非基本视图根据与MVC模式对应的模式对在其的NAL单元类型是表示MVC模式的编码数据的信息(在图52示出的示例中，20)的R图像的NAL单元中包括的编码数据进行解码。

而且，如图52所示，与解码装置320和解码装置340类似，解码装置360根据与AVC模式对应的模式对在L图像的NAL单元中包括的编码数据进行解码。另外，与解码装置340类似，解码装置360以L图像作为基本视图且R图像作为非基本视图根据与MVC模式对应的模式对在R图像的NAL单元中包括的编码数据进行解码。

解码装置360通过参考分辨率降低处理后的L图像和R图像、根据与3DV模式对应的模式，对在其NAL单元类型是表示3DV模式的编码数据的信息(在图52示出的示例中，21)并且其扩展信息(nal_unit_header_3dv_extension)是表示图像不是视差图像的视差标志(is_depth＝0)的、分辨率降低处理后的O图像的NAL单元中包括的编码数据进行解码。

另外，解码装置360在除了同一视点的视差图像外不参考任何图像的情况下，根据与3DV模式对应的模式，对在其NAL单元类型是表示3DV模式的编码数据的信息且其扩展信息是指定L图像作为指定与表示视差图像的视差标志(is_depth＝1)对应的图像的信息(cor_view_id＝0)的、L视差图像的NAL单元中包括的编码数据进行解码。

而且，解码装置360通过参考L视差图像根据与3DV模式对应的模式，对在其NAL单元类型是表示3DV模式的编码数据的信息且其扩展信息是指定R图像作为指定与表示视差图像的视差标志对应的图像的信息(cor_view_id＝1)的、R视差图像的NAL单元中包括的编码数据进行解码。

另外，解码装置360通过参考分辨率降低处理后的L视差图像和R视差图像根据与3DV模式对应的模式、对在其NAL单元类型是表示3DV模式的编码数据的信息且其扩展信息是指定O图像作为指定与表示视差图像的视差标志对应的图像的信息(cor_view_id＝2)的、分辨率降低处理后的O视差图像的NAL单元中包括的编码数据进行解码。

<第六实施例>

[根据第六实施例的编码装置的配置示例]

图53是示出了根据本技术的第六实施例的编码装置的配置示例的框图。

图53示出的编码装置380由复用处理单元381、复用处理单元382、视差信息生成单元383、编码处理单元384和发送单元385配置成。在编码装置380中，兼容图像是L图像和R图像，辅助图像是N(这里，N是2的倍数)个视点的O1图像至ON图像。编码装置380对兼容图像的视差图像、每两个视点的辅助图像和辅助图像的视差图像进行复用、然后编码。

更具体地，将输入到编码装置380的L视点图像中的L视差图像和R视点图像中的R视差图像输入到编码装置380的复用处理单元381。复用处理单元381根据预定的复用模式对L视差图像和R视差图像进行复用。

更具体地，例如，在复用模式是并排模式的情况下，复用处理单元381将L视差图像和R视差图像中的每个的分辨率减半。然后，复用处理单元381对其分辨率被减半的L视差图像和R视差图像进行复用以使得其分辨率被减半的L视差图像变成屏幕的左半图像，且其分辨率被减半的R视差图像变成屏幕的右半图像。另外，例如，在复用模式是顶部和底部模式的情况下，复用处理单元381对其分辨率被减半的L视差图像和R视差图像进行复用以使得其分辨率被减半的L视差图像变成屏幕的上半图像，且其分辨率被减半的R视差图像变成屏幕的下半图像。

复用处理单元381将由于复用处理而获取的复用图像提供给编码处理单元384作为兼容视差图像。另外，复用处理单元381生成表示L视差图像和R视差图像(其为兼容图像的视差图像)的的复用模式的兼容复用信息，并将生成的兼容复用信息提供给发送单元385。

向复用处理单元382输入被输入到编码装置380的由O1图像和作为O1图像的视差图像的O1视差图像形成的O1视点图像、……、以及由ON图像和作为ON图像的视差图像的ON视差图像形成的ON视点图像。复用处理单元382根据预定的复用模式分别对O1图像和O2图像、O3图像和O4图像、……、以及O(N-1)图像和ON图像进行复用。然后，复用处理单元382将由于该复用处理而获取的复用图像提供给编码处理单元384作为辅助复用图像。

类似地，复用处理单元382根据预定的复用模式分别对O1视差图像和O2视差图像、O3视差图像和O4视差图像、……、以及O(N-1)视差图像和ON视差图像进行复用。然后，复用处理单元382将由于该复用处理而获取的复用图像提供给编码处理单元384作为辅助视差复用图像。另外，复用处理单元382生成信息的辅助复用信息(其是表示作为辅助图像的O1图像至ON图像以及作为辅助图像的视差图像的O1视差图像至ON视差图像的复用模式)，并将生成的辅助复用信息提供给发送单元385。

在下文中，在O1视点图像至ON视点图像不需要特别地彼此区分的情况下，O1视点图像至ON视点图像将统称为O多视点图像。类似地，O1图像至ON图像将被称为O多图像，O1视差图像至ON视差图像将被作为O多视差图像。

视差信息生成单元383基于在捕捉L图像、R图像和O多图像时获取的信息来生成L视差图像、R视差图像和O多视差图像的视差信息，并将生成的视差信息提供给编码处理单元384。

与图37示出的编码处理单元293类似，编码处理单元384根据AVC模式对包括在被输入到编码装置380的L视点图像中的L图像进行编码。另外，与编码处理单元293类似，编码处理单元384根据MVC模式在将L图像设定为基本视图且R图像设定为非基本视图的情况下对包括在被输入到编码装置380的R视点图像中的R图像进行编码。

而且，编码处理单元384根据3DV模式、通过参考L图像和R图像对从复用处理单元382提供的辅助复用图像进行编码。同时，编码处理单元384复制被参考的L图像和R图像，根据与辅助复用图像的复用模式相同的复用模式进行复用，并参考由于复用处理而获取的复用图像。

另外，编码处理单元384在除了同一视点的兼容复用图像外不参考任何图像的情况下，根据3DV模式对从复用处理单元381提供的兼容复用图像进行编码。而且，编码处理单元384根据3DV模式对从复用处理单元382提供的辅助视差复用图像进行编码。

编码处理单元384根据由于编码处理而获取的L图像、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的编码数据和从视差信息生成单元383提供的视差信息生成比特流，并将生成的比特流提供给发送单元385。另外，编码处理单元384在生成兼容复用图像的参考图像时生成表示复用模式的信息的参考图像复用信息，并将生成的参考图像复用信息提供给发送单元385。

发送单元385根据从复用处理单元381提供的兼容复用信息、从复用处理单元382提供的辅助复用信息和从编码处理单元384提供的比特流和参考图像复用信息生成TS，并对生成的TS进行发送。

[编码处理单元的配置示例]

图54是示出了图53示出的编码处理单元384的配置示例的框图。

在图54示出的配置中，将相同的附图标记分配给与图38示出的配置相同的配置。适当地将不再呈现重复的描述。

图54示出的编码处理单元384的配置与图38示出的配置的不同之处主要在于：设置有编码单元401、附加信息生成单元402和添加单元403，而不是设置有编码单元301、附加信息生成单元302和添加单元303。

编码处理单元384的编码单元401由兼容编码单元311和辅助编码单元411配置成。编码单元401的辅助编码单元411根据3DV模式对兼容复用图像、辅助复用图像和辅助视差复用图像进行编码。辅助编码单元411将由于编码处理而获取的兼容复用图像、辅助复用图像和辅助视差复用图像的编码数据提供给添加单元403。另外，编码单元401生成参考图像复用信息并将生成的参考图像复用信息提供给图53示出的发送单元385。

附加信息生成单元402生成L图像的SPS的信息和R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS的信息。另外，附加信息生成单元402生成L图像、R图像和辅助复用图像的SEI的信息。而且，附加信息生成单元402生成包括从图53示出的视差信息生成单元383提供的L视差图像和R视差图像的视差信息的、兼容复用图像的SEI的信息。

另外，附加信息生成单元402生成包括用于配置从视差信息生成单元383提供的辅助视差复用图像的两个视点的O多视差图像的视差信息的、辅助视差复用图像的SEI的信息。附加信息生成单元402将L图像的SPS的信息，R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS的信息、以及L图像、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的SEI的信息提供给添加单元403。

与图38示出的添加单元303类似，添加单元403将包括表示AVC模式的图片类型为NAL单元类型的信息的NAL报头添加至由于由兼容编码单元311进行的编码处理而获取的L图像的编码数据，从而生成NAL单元。另外，与添加单元303类似，添加单元403将包括表示MVC模式的编码数据为NAL单元类型的信息的NAL报头添加至由于由兼容编码单元311进行的编码处理而获取的R图像的编码数据，从而生成NAL单元。

另外，添加单元403将包括表示3DV模式的编码数据为NAL单元类型的信息且包括表示图像不是视差图像的视差标志的NAL报头添加至从辅助编码单元411提供的辅助复用图像的编码数据，从而生成NAL单元。而且，添加单元403分别将包括表示3DV模式的编码数据为NAL单元类型的信息且包括与与表示视差图像的视差标志对应的图像有关的信息的NAL报头添加至从辅助编码单元411提供的兼容复用图像和辅助视差复用图像的编码数据，从而生成NAL单元。

另外，添加单元403将表示信息为NAL单元类型的NAL报头分别添加至从附加信息生成单元402提供的L图像的SPS的信息、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS的信息、以及L图像、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的SEI的信息，从而生成NAL单元。添加单元403将上述生成的NAL单元提供给比特流生成单元304。

[NAL单元的配置示例]

图55是示出了在由图53示出的编码处理单元384生成的比特流中的L图像、R图像、辅助复用图像、兼容复用图像和辅助视差复用图像的编码数据的NAL单元的配置示例的图。

如图55所示，L图像的编码数据和R图像的编码数据的NAL单元与图40示出的示例的NAL单元相同，所以将不对其进行描述。

如图55所示，在由编码处理单元384进行的编码处理中，在辅助复用图像的NAL单元的NAL报头中包括有表示3DV模式的编码数据为NAL单元的类型的信息，且还包括有表示图像不是视差图像的为“0”的视差标志作为扩展信息。因此，辅助复用图像可以由解码装置来识别。

另外，在兼容复用图像和每个辅助视差复用图像的NAL单元的NAL报头中，包括有表示视差图像的为“1”视差标志。因此，兼容复用图像和辅助视差复用图像可以由解码装置来识别。

而且，在兼容复用图像和每个辅助视差复用图像的NAL单元的NAL报头中，包括与相应的图像有关的信息作为扩展信息。这里，兼容复用图像是两个视点的L图像和R图像的视差图像，每个辅助视差复用图像是两个视点的O多图像的视差图像。在图55示出的示例中，指定L图像的视点的信息是0，指定R图像的视点的信息是1，并且指定与辅助视差复用图像对应的两个视点的O多图像的视点的信息是2和3。

因此，与相应的图像有关的包括在兼容复用图像的NAL单元的NAL报头中的信息是：2，其是相应的图像的视点的数量；以及0和1，其为指定相应的图像的视点的信息。另外，与相应的图像有关的包括在辅助视差复用图像的NAL单元的NAL报头中的信息是：2，其是相应的图像的视点的数量；以及2和3，其是指定相应的图像的视点的信息。

如上所述，由于包括了与相应的图像有关的信息作为扩展信息，因此兼容复用图像和每个辅助视差复用图像可以被分别识别。

[比特流的配置示例]

图56是示出了由图54示出的比特流生成单元304生成的比特流的配置示例的图。

图56中A示出的L图像的比特流和图56中B示出的R图像的比特流与图41中A示出的L图像的比特流和图41中B示出的R图像的比特流相同，因此，将不对其进行描述。

如图56中C所示，根据3DV模式编码的辅助复用图像的比特流由辅助复用图像的3DV模式的子集SPS的信息的NAL单元、辅助复用图像的3DV模式的SEI的信息的NAL单元以及辅助复用图像的编码数据的NAL单元配置成。

如图56中D所示，根据3DV模式编码的兼容复用图像的比特流由兼容复用图像的3DV模式的子集SPS的信息的NAL单元、3DV模式的SEI的信息(其包括兼容复用图像的视差信息)的NAL单元和兼容复用图像的编码数据的NAL单元配置成。

如图56中E所示，根据3DV模式编码的辅助视差复用图像的比特流由辅助视差复用图像的3DV模式的子集SPS的信息的NAL单元、3DV模式的SEI的信息(包括辅助视差复用图像的视差信息)的NAL单元和辅助视差复用图像的编码数据的NAL单元配置成。

如上所述，由于视差信息包括在3DV模式的SEI中，所以不根据3DV模式的解码装置不必然需要对视差信息进行处理。

[编码装置的处理的描述]

图57是示出了由图53示出的编码装置380进行的多视点编码处理的流程图。例如，当L视点图像、R视点图像和O多视点图像被输入到编码装置380作为编码目标时，该多视点图像编码处理开始。

在图57示出的步骤S361中，编码装置380的编码处理单元384获取在被输入到编码装置380的L视点图像中包括的L图像，且复用处理单元382获取L视差图像。

在步骤S362中，编码处理单元384获取在被输入到编码装置380的R视点图像中包括的R图像，复用处理单元382获取R视差图像。在步骤S363中，复用处理单元382获取被输入到编码装置380的O多视点图像。

在步骤S364中，复用处理单元381根据预定的复用模式对在步骤S361中获取的L视差图像和在步骤S362中获取的R视差图像进行复用，并将由于复用处理而获取的复用图像提供给编码处理单元384作为兼容视差图像。在步骤S365中，复用处理单元381生成兼容复用信息，并将生成的兼容复用信息提供给发送单元385。

在步骤S366中，复用处理单元382根据预定的复用模式针对每两个视点对配置O多视点图像的O多图像和O多视差图像进行复用。复用处理单元382将由于复用处理而获取作为辅助复用图像的O多图像的复用图像和作为辅助视差复用图像的O多视差图像的复用图像提供给编码处理单元384。

在步骤S367中，复用处理单元382生成辅助复用信息，并将生成的辅助复用信息提供给发送单元385。

在步骤S368中，视差信息生成单元383基于在捕捉L图像、R图像和O多图像等时获取的信息来生成L视差图像、R视差图像和O多视差图像的视差信息，并将生成的视差信息提供给编码处理单元384。

在步骤S369中，编码处理单元384进行编码处理，其中，对L图像、R图像和从复用处理单元381提供的兼容复用图像以及从复用处理单元382提供的辅助复用图像和辅助视差复用图像进行编码。该编码处理将参考后续待描述的图58而进行详细描述。

在步骤S370中，发送单元385根据从复用处理单元381提供的兼容复用信息、从复用处理单元382提供的辅助复用信息、以及从编码处理单元384提供的参考图像复用信息和比特流生成TS，并发送生成的TS。然后，处理结束。

图58是示出了图57示出的步骤S369的详细的编码处理的流程图。

在图58示出的步骤S390中，编码处理单元384的编码单元401(图54)对L图像、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像进行编码。更具体地，编码单元401的兼容编码单元311根据AVC模式对L图像进行编码且根据MVC模式对R图像进行编码。另外，辅助编码单元411根据3DV模式对兼容复用图像、辅助复用图像和辅助视差复用图像进行编码。编码单元401将由于编码处理而获取的L图像、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的编码数据提供给添加单元403。

在步骤S391中，辅助编码单元411生成参考图像复用信息，并将生成的参考图像复用信息提供给图53示出的发送单元385。

在步骤S392中，附加信息生成单元402通过使用从图53示出的视差信息生成单元383提供的视差信息来生成L图像的SPS和SEI的信息、以及R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS和SEI的信息，并将生成的信息提供给添加单元303。

步骤S393和步骤S394的处理与图45示出的步骤S273和步骤S274的处理相同，因此，将不对其进行描述。

在步骤S394的处理后，在步骤S395中，添加单元403将包括表示根据3DV模式的编码数据的NAL单元类型以及表示图像不是视差图像的视差标志的NAL报头添加至从辅助编码单元411提供的辅助复用图像的编码数据，从而生成NAL单元。添加单元403将生成的辅助复用图像的编码数据的NAL单元提供给比特流生成单元304。

在步骤S396中，添加单元403将包括表示根据3DV模式的编码数据的NAL单元类型、表示视差图像的视差标志以及与相应的图像有关的信息的NAL报头分别添加至从辅助编码单元411提供的兼容复用图像的编码数据和辅助视差复用图像的编码数据，从而生成NAL单元。添加单元403将生成的兼容复用图像和辅助视差复用图像的编码数据的NAL单元提供给比特流生成单元304。

在步骤S397中，添加单元403将包括表示相应的信息的NAL单元类型的NAL报头分别添加至从附加信息生成单元402提供的L图像的SPS和SEI的信息以及R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS和SEI的信息，从而生成NAL单元。添加单元403将生成的L图像的SPS和SEI以及R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS和SEI的NAL单元提供给比特流生成单元304。

在步骤S398中，与图45示出的步骤S278的处理类似，比特流生成单元304以预定的顺序对从添加单元403提供的NAL单元进行布置，从而生成比特流。然后，比特流生成单元304将比特流提供给图53示出的发送单元385，并且处理返回到图57示出的步骤S369。因此，处理进行至步骤S370。

如上所述，编码装置380根据现有编码模式对兼容图像进行编码，并将包括表示根据3DV模式的编码数据的NAL单元类型的NAL报头添加至作为辅助图像的O多图像的编码数据。因此，由于仅与现有编码模式对应的解码装置可以仅提取可以基于NAL报头被解码的兼容图像的编码数据，并根据与现有编码模式对应的模式对提取的数据进行解码，因此可以说明：编码装置380根据与现有模式有兼容性的模式进行编码。

尽管上述的编码装置290和编码装置380除了相同视点的视差图像外没有参考任何图像而对兼容图像的视差图像进行编码，但可以通过另外地参考相同视点的图像来进行编码。

另外，尽管编码装置380被描述为直接对兼容图像进行编码，但兼容图像也可以被复用然后被编码。

[根据3DV模式的解码装置的配置示例]

图59是示出了根据3DV模式对从图53示出的编码装置380发送的比特流进行解码的解码装置的配置示例的框图。

图59示出的解码装置420由接收单元421、分离单元422、3DV解码单元423、分离单元424、分离单元425和图像生成单元426配置成。解码装置420对包括在从编码装置380发送的比特流中的L图像、R图像、辅助复用图像、兼容复用图像和辅助视差复用图像的编码数据进行解码。

更具体地，解码装置420的接收单元421接收从图53示出的编码装置380发送的TS。接收单元421将包括在TS中的比特流提供给分离单元422并将参考图像复用信息提供给3DV解码单元423。另外，接收单元421将包括在TS中的兼容复用信息提供给分离单元424并将辅助复用信息提供给分离单元425。

分离单元422基于NAL报头对从接收单元421提供的比特流中的每个NAL单元进行分离。当更详细地描述时，与图50示出的分离单元362类似，分离单元422从比特流提取L图像的编码数据、SPS和SEI的NAL单元。另外，与分离单元362类似，分离单元422从比特流提取R图像的编码数据、子集SPS和SEI的NAL单元。

而且，分离单元422提取兼容复用图像、辅助复用图像和辅助视差复用图像的的编码数据的NAL单元、包括NAL报头中的表示根据3DV的编码数据的的NAL单元类型。另外，分离单元422提取兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS以及兼容复用图像、辅助复用图像和辅助视差复用图像的SEI的的NAL单元、包括NAL报头中的表示根据3DV的子集SPS和SEI的NAL单元类型。

而且，分离单元422还基于包括在NAL报头中的扩展信息对辅助复用图像、兼容复用图像和辅助视差复用图像的编码数据的NAL报头进行分离。更具体地，分离单元422提取其扩展信息是表示图像不是视差图像的视差标志的NAL单元作为辅助复用图像的编码数据的NAL单元。另外，分离单元422提取其扩展信息是表示视差图像的视差标志、其相应图像的视点的数目是2且其信息指定L图像和R图像作为指定相应图像的视点的信息的NAL单元作为兼容复用图像的编码数据的NAL单元。类似地，分离单元422提取辅助视差复用图像的编码数据的NAL单元。

分离单元422将作为包括在分离的NAL单元中的数据的L图像的SPS的信息、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS的信息、以及L图像、R图像、辅助复用图像、兼容复用图像和辅助视差复用图像的SEI和编码数据的信息与数据的类型信息一起提供给3DV解码单元423。

3DV解码单元423基于从分离单元422提供的类型信息来保持L图像的SPS、R图像、兼容复用图像、辅助复用图像和辅助视差复用图像的子集SPS、以及L图像、R图像、辅助复用图像、兼容复用图像和辅助视差复用图像的SEI的信息。

与图50示出的3DV解码单元363类似，3DV解码单元423根据与AVC模式对应的模式、基于保持的L图像的SEI和SPS的信息对从分离单元422提供的L图像的编码数据进行解码。另外，与3DV解码单元363类似，3DV解码单元423根据与MVC模式对应的模式、基于保持的R图像的SEI和子集SPS的信息对从分离单元422提供的R图像的编码数据进行解码。

而且，3DV解码单元423根据与3DV模式对应的模式、基于保持的辅助复用图像的SEI和子集SPS的信息，通过参考L图像和R图像对与表示辅助复用图像的编码数据的类型信息一起从分离单元422提供的辅助复用图像的编码数据进行解码。此时，3DV解码单元423基于从接收单元421提供的参考图像复用信息对参考的L图像和R图像进行复制和复用，并参考由于复用处理而获取的复用图像。

而且，3DV解码单元423在除了同一视点的视差图像外不参考任何图像的情况下，根据与3DV模式对应的模式、基于保持的兼容复用图像的SEI和子集SPS的信息，对与表示兼容复用图像的编码数据的类型信息一起从分离单元422提供的兼容复用图像的编码数据进行解码。

另外，3DV解码单元423根据与3DV模式对应的模式、基于保持的辅助视差复用图像的SEI和子集SPS的信息，通过参考兼容复用图像对与表示辅助视差复用图像的编码数据的类型信息一起从分离单元422提供的辅助视差复用图像的编码数据进行解码。

3DV解码单元423将由于解码处理而获取的L图像和R图像提供给图像生成单元426，将兼容复用图像提供给分离单元424，以及将辅助复用图像和辅助视差复用图像提供给分离单元425。另外，3DV解码单元423将包括在保持的兼容复用图像和辅助视差复用图像中的视差信息提供给图像生成单元426。

分离单元424基于从接收单元421提供的兼容复用信息对其分辨率与从3DV解码单元423提供的来自兼容复用图像的L图像和R图像的分辨率相同的L视差图像和R视差图像进行分离。更具体地，分离单元424对其分辨率被减半的来自兼容复用图像的L视差图像和R视差图像进行分离，并针对L视差图像和R视差图像进行分辨率提高处理，从而获取分辨率与L图像和R图像的分辨率相同的L视差图像和R视差图像。分离单元424将L视差图像和R视差图像提供给图像生成单元426。

与分离单元424类似，分离单元425将O多图像从由3DV解码单元423提供的辅助复用图像中分离，并基于从接收单元421提供的辅助图像复用信息来将O多视差图像从辅助视差复用图像中分离。分离单元425将由于其而获取的O多视点图像提供给图像生成单元426。

与图50示出的图像生成单元365类似，图像生成单元426按照需要基于从3DV解码单元423提供的视差信息对从分离单元424提供的L视差图像和R视差图像以及从分离单元425提供的O多视差图像进行转换。

图像生成单元426基于转换后的L视差图像、R视差图像和O多视差图像、L图像、R图像和O多视点图像、包括在视差信息中的深度值的最大值和最小值或视差值的最大值和最小值、以及对应关系信息来生成与显示装置(图中未示出)对应且视点的数目为三或更多的图像。然后，图像生成单元426将所生成的每个视点的图像的分辨率转换成兼容图像或辅助图像的分辨率的“1/视点的数目”，合成图像并将合成的图像显示显示装置(图中未示出)上。

此时，对合成后的多视点图像进行显示使得每个视点的视角是不同的，观看者可以在不佩戴眼镜的情况下通过使用他的左眼和右眼看任意两个视点的图像来观看3D图像。

[根据3DV模式的解码装置的处理的描述]

图60是示出了由图59示出的解码装置420进行的解码处理的流程图。例如，当从图53示出的编码装置380发送TS时该解码处理开始。

在图60示出的S411步骤中，解码装置340的接收单元421接收从编码装置380发送的TS。接收单元421将包括在TS中的比特流提供给分离单元422，并且将参考图像复用信息提供给3DV解码单元423。另外，接收单元421将包括在TS中的兼容复用信息提供给分离单元424，且将辅助复用信息提供给分离单元425。后续步骤S412至步骤S428的处理针对配置比特流的每个NAL单元进行。

在步骤S412中，分离单元422基于NAL单元的NAL报头来分离每个NAL单元，并将包括在NAL单元中的L图像以及R图像、辅助复用图像、兼容复用图像或辅助视差复用图像的数据与类型信息一起输入到3DV解码单元423。

在步骤S413中，3DV解码单元423基于从分离单元422提供的类型信息来确定与类型信息一起输入的数据是否是L图像、R图像、辅助复用图像、兼容复用图像或辅助视差复用图像的编码数据。在步骤S413中在确定数据是L图像、R图像、辅助复用图像、兼容复用图像或辅助视差复用图像的编码数据的情况下，处理进行至步骤S414。

在步骤S414中，3DV解码单元423基于保持的SPS、子集SPS或SEI的信息对L图像、R图像、辅助复用图像、兼容复用图像或辅助视差复用图像的编码数据进行解码。

在步骤S415中，3DV解码单元423基于类型信息来确定由于解码处理而获取的图像是否是兼容复用图像。在步骤S415中在确定由于解码处理而获取的图像是兼容复用图像的情况下，3DV解码单元423将兼容复用图像提供给分离单元424。

在步骤S416中，分离单元424基于从接收单元421提供的兼容复用信息将从3DV解码单元423提供的兼容复用图像分离成其分辨率与L图像和R图像的分辨率相同的L视差图像和R视差图像。分离单元424将L视差图像和R视差图像提供给图像生成单元426。

在步骤S417中，分离单元424将L视差图像和R视差图像输出给图像生成单元426，处理结束。

另一方面，在其中在步骤S415中确定由于解码处理而获取的图像不是兼容复用图像的情况下，3DV解码单元423基于步骤S418中的类型信息来确定由于解码处理而获取的图像是否是辅助复用图像。

在其中在步骤S418中在确定由于解码处理而获取的图像是辅助复用图像的情况下，3DV解码单元423将辅助复用图像提供给分离单元425，处理进行至步骤S419。

在步骤S419中，分离单元425基于从接收单元421提供的辅助复用信息将从3DV解码单元423提供的辅助复用图像分离成其分辨率与L图像和R图像的分辨率相同的两个视点的O多图像。分离单元425将两个视点的O多图像提供给图像生成单元426。

在步骤S420中，分离单元425将两个视点的O多图像输出给图像生成单元426，处理结束。

在其中在步骤S418中在确定由于解码处理而获取的图像不是辅助复用图像的情况下，3DV解码单元423基于步骤S421中的类型信息来确定由于解码处理而获取的图像是否是辅助视差复用图像。

在其中在步骤S421中确定由于解码处理而获取的图像是辅助视差复用图像的情况下，3DV解码单元423将辅助视差复用图像提供给分离单元425，处理进行至步骤S422。

在步骤S422中，分离单元425基于辅助复用信息将从3DV解码单元423提供的辅助视差复用信息分离成其分辨率与L图像和R图像的分辨率相同的两个视点的O多视差图像。分离单元425将两个视点的O多视差图像提供给图像生成单元426。

在步骤S423中，分离单元424将两个视点的O多视差图像输出给图像生成单元426，处理结束。

另一方面，在其中在步骤S421中确定由于解码处理而获取的图像不是辅助视差复用图像的情况下，就是说，在由于解码处理而获取的图像是L图像或R图像的情况下，处理进行至步骤S424。

在步骤S424中，3DV解码单元423将由于解码处理而获取的L图像或R图像输出给图像生成单元426，处理结束。

另一方面，在其中在步骤S413中确定数据不是L图像、R图像、辅助复用图像、兼容复用图像或辅助视差复用图像的编码数据的情况下，换言之，在其中从分离单元422提供的数据是SPS、子集SPS或SEI的信息的情况下，处理进行至步骤S425。

步骤S425至步骤S428的处理与图51示出的步骤S339至步骤S342的处理相同，因此，将不对其进行描述。

如上所述，解码装置420基于NAL报头将比特流分离成每个NAL单元。然后，解码装置420根据与现有AVC模式或MVC模式对应的模式对包括在分离的NAL单元中的兼容图像的编码数据进行解码，并根据与3DV模式对应的模式对辅助图像和视差图像的数据进行解码。因此，解码装置420可以对由于与使用编码装置380的现有模式有兼容性的编码处理而获取的比特流进行解码。

尽管图中没有示出，但对由图53示出的编码装置380生成的比特流进行解码的根据AVC模式的解码装置和根据MVC模式的解码装置与图46示出的解码装置320和图48示出的解码装置340相同。

[视差信息的另一个布置示例]

在上面呈现的描述中，尽管描述了包括在SEI中的视差信息，但视差信息还可以被包括在TS中。例如，在这样的情况下，以TS内的PMT(程序映射表)或SIT(选择信息表)的描述符来描述视差信息。

图61是示出了在以PMT的描述符来描述视差信息的情况下视差信息的描述示例的图。

如图61所示，在以PMT的描述符来描述视差信息的情况下，其中布置有视差信息的描述符(3DV_view_synthesis_descriptor)被设置为PMT的描述符。在该描述符中描述了图43示出的视差信息(3DV_view_synthesis_info)。

另外，视差信息可以包括在SEI和TS内部的PMT和SIT中。而且，不在NAL报头中而在TS内部的PMT、SIT、SEI等中描述扩展信息。

而且，当辅助图像低分辨率转换信息、兼容复用信息和辅助复用信息被包括在SEI等中时，可以发送这些信息。

另外，在上面呈现的描述中，描述了要被添加至编码数据的扩展信息，该扩展信息可以与图像数据(或比特流)分开发送(记录)。而且，扩展信息可以连接至图像数据(或比特流)。

在本实施例中，如下所示地定义了“连接”。“连接”表示一种状态：在该状态中图像数据(或比特流)和扩展信息相互链接。作为连接目标的图像数据和扩展信息可以通过互不相同的发送线路进行发送。另外，作为连接目标的图像数据(或比特流)和扩展信息可以记录在互不相同的记录介质(或相同记录介质的互不相同的区域)上。而且，例如，链接图像数据(或比特流)和扩展信息的单位可以是编码处理单位(一帧、多帧等)。

另外，尽管描述了编码装置290和编码装置380分别生成一个TS，但是以除了辅助信息由辅助图像低分辨率转换信息和参考图像低分辨率转换信息代替外与图2示出的编码装置50、图14示出的编码装置140、图22示出的编码装置180和图33示出的编码装置230相同的方式可以生成多个TS。

<第七实施例>

[根据第七实施例的编码装置的配置示例]

图62是示出了根据本技术的第七实施例的编码装置的配置示例的框图。

在图62示出的配置中，将相同的附图标记分配给与图14示出的配置相同的配置。适当地将不再呈现重复的描述。

图62示出的编码装置440的配置与图14示出的配置的不同之处主要在于：设置有视差图像生成单元441和编码器442而不是视差图像生成单元143和编码器145。编码装置440在空间方向上不对兼容图像的视差图像进行复用但在时间方向上对兼容图像的视差图像进行复用，并对经复用的视差图像进行编码。

更具体地，编码装置440的视差图像生成单元441使用从成像单元141A至成像单元141D提供的图像A2至图像D2对图像A2至图像D2的每个像素的视差进行检测。视差图像生成单元441基于检测结果生成图像A2的视差图像A2＇和图像B2的视差图像B2＇以及C2的视差图像C2＇和图像D2的视差图像D2＇，其中图像A2和图像B2是兼容图像，图像C2和图像D2是辅助图像。

另外，与图14示出的视差图像生成单元143类似，视差图像生成单元441根据预定的复用模式在空间方向上对视差图像C2＇和D2＇进行复用。而且，视差图像生成单元441在时间方向上对视差图像A2＇和B2＇以及辅助图像的视差图像的复用图像进行复用。视差图像生成单元441将由于该复用而获取的复用图像提供给编码器442作为时分复用图像，在复用图像中对应于一帧的视差图像A2＇和B2＇以及辅助图像的视差图像的复用图像存在于一帧时间内。

另外，视差图像生成单元441将表示辅助图像的视差图像的复用模式和在时间方向上的复用模式(在下文中，称为帧序列模式)的信息作为兼容图像和辅助图像的视差图像的复用模式提供给视差图像信息生成单元57。

编码器442由兼容编码器151和辅助编码器451配置成。编码器442的辅助编码器451根据3DV模式以访问单元为单位对从图像转换单元142提供的辅助图像的复用图像和从视差图像生成单元441提供的时分复用图像进行编码。辅助编码器451将由于编码而获取的编码流提供给复用单元59作为辅助流。

[辅助信息的描述的示例]

图63是示出了在以PMT的描述符来描述辅助信息的情况下兼容性信息和视差图像信息的描述的示例的图。

如图63所示，在以PMT的描述符来描述辅助信息的情况下，在其中布置兼容性信息的描述符(3DV_view_structure_descriptor)和在其中布置视差图像信息的描述符(depth_map_structure_descriptor)等被设置为PMT的描述符。

在图64示出的描述符(depth_map_structure_descriptor)中，在描述符标志(descriptor_tag)和描述符长度(descriptor_length)后面的视差图像的数量(num_of_depth_map)、表示视差图像是否是经复用的标志(is_frame_packing)、视差图像的复用模式(frame_packing_mode)、指定经复用的视差图像的信息(comb_frame_packing_views)等被描述为视差图像信息。

另外，作为复用模式的示例，有并排模式(SBS)、顶部和底部模式(TOB)和帧序列模式。

在本说明书中，尽管辅助信息被配置成包括在TS中，但辅助信息还可以包括在辅助流中。

图65和图66是示出了在辅助流包括辅助信息的情况下包括在辅助流中的兼容性信息和视差图像信息的描述的示例的图。

如图65所示，例如，兼容性信息(3DV_view_structure)和视差图像信息(depth_map_structure)被布置在包括于辅助流中的SEI(补充增强信息)中。

如图66所示，，描述了视差图像(深度图)的数量(num_of_depth_map)、表示视差图像是否是经复用的标志(is_frame_packing)、视差图像的复用模式(frame_packing_mode)、指定经复用的视差图像的信息(comb_frame_packing_views)等作为视差图像信息(depth_map_structure)。

尽管图中没有示出，但除了图像信息不是视差图像而是兼容图像和辅助图像的信息外，图像信息与视差图像信息相同。

[编码装置的处理的描述]

图67和图68是示出了由图62示出的编码装置440进行的编码处理的流程图。例如，该编码过程在从成像单元141A至成像单元141D输出图像A2至图像D2时开始。

图67和图68示出的步骤S451至步骤S459的处理与图16和图17示出的步骤S71至步骤S79的处理相同，因此，将不对其进行描述。

在图68示出的步骤S460中，视差图像生成单元441确定辅助图像的视差图像的复用模式以及兼容图像的视差图像和辅助图像的视差图像的复用图像的复用模式，并将表示复用模式的信息提供给视差图像信息生成单元57。

在步骤S461中，视差图像信息生成单元57基于从视差图像生成单元441提供的信息生成作为视差图像信息的表示辅助图像的视差图像的复用模式以及兼容图像的视差图像和辅助图像的视差图像的复用图像的复用模式的信息等，并将生成的视差图像信息输入到复用单元59。

在步骤S462中，视差图像生成单元441基于在步骤S460中确定的复用模式，在空间方向上对辅助图像的视差图像C2＇和D2＇进行复用且在时间方向上对兼容图像的视差图像A2＇和B2＇以及辅助图像的视差图像的复用图像进行复用。

在步骤S463中，视差图像生成单元441将由于步骤S462的复用处理而获取的时分复用图像输入到编码器442。

在步骤S464中，编码器442的兼容编码器151根据现有AVC模式对从图像转换单元142提供的兼容图像的复用图像进行编码，并将由于编码而获取的编码流提供给复用单元59作为兼容流。

在步骤S465中，辅助编码器451根据3DV模式对从图像转换单元142提供的辅助图像的复用图像和从视差图像生成单元441提供的时分复用图像进行编码。辅助编码器451将由于编码处理而获取的编码流提供给复用单元59作为辅助流。

在步骤S466中，与图17示出的步骤S86的处理类似，复用单元59从兼容解码器151提供的兼容流生成TS1，从辅助解码器451提供的辅助流和辅助信息生成TS2，进行复用处理，并发送由于复用而获取的经复用的流。例如，该经复用的流被记录在BD等中或作为广播流而被发送。然后，处理结束。

[解码装置的配置示例]

图69是示出了对从图62示出的解码装置440发送的经复用的流进行解码的解码装置的配置示例的图。

在图69示出的配置中，将相同的附图标记分配给与图18示出的配置相同的配置。适当地将不再呈现重复的描述。

图69示出的解码装置460的配置与图18示出的配置的不同之处主要在于：设置有解码器461和图像生成单元462，而不是解码器122和图像生成单元171。解码装置460通过对由编码装置440发送的经复用的流进行解码来生成两个视点的图像或多视点图像，并将生成的图像显示在显示装置(图中未示出)上。

更具体地，解码装置460的解码器461由兼容解码器131和辅助解码器471配置成。解码器461的辅助解码器471根据对应于图62示出的辅助编码器451的模式，对包括在从分离单元121提供的辅助流中的辅助图像的复用图像和时分复用图像进行解码。辅助解码器471将由于解码处理而获取的辅助图像的复用图像和时分复用图像提供给图像生成单元462。

图像生成单元462根据观看者提供的指令输出图像，并将图像显示在显示装置(图中未示出)上。当进行更详细的描述时，图像生成单元462根据观看者的用于显示多视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像的复用图像、辅助图像的复用图像和时分复用图像生成与显示装置(图中未示出)对应的三个或更多个视点的图像，每个图像分辨率是兼容图像或辅助图像的分辨率的一半。

更详细地，图像生成单元462基于将帧序列模式表示为包括在从视差图像信息获取单元125提供的视差图像信息中的、兼容图像的视差图像和辅助图像的视差图像的复用图像的复用模式的信息，将作为兼容图像的视差图像视差图像A2＇和B2＇和辅助图像的视差图像的复用图像从时分复用图像中分离。然后，图像生成单元462基于包括在视差图像信息中的辅助图像的视差图像的复用模式将视差图像C2＇和视差图像D2＇从辅助图像的视差图像的复用图像分离。

另外，与图18示出的图像生成单元171类似，图像生成单元462基于表示包括在从图像信息获取单元123提供的图像信息中的辅助图像的复用模式的信息，将每个辅助图像从辅助图像的复用图像中分离。而且，与图像生成单元171类似，图像生成单元462基于表示包括在图像信息中的兼容图像的复用模式的信息将每个兼容图像从兼容图像的复用图像的分离。

而且，与图像生成单元171类似，图像生成单元462基于视点间距离信息和对应于显示装置(图中未示出)的视点的数目，确定待生成的多视点图像的每个视点的位置。然后，与图像生成单元171类似，图像生成单元462通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像来生成其位置被确定的每个视点的图像。然后，与图像生成单元171类似，图像生成单元462将生成的多视点图像的分辨率转换成兼容图像或辅助图像的分辨率的“1/视点的数目”，合成图像，并将合成的图像显示在图中没有示出的显示装置上。

此时，对合成后的多视点图像进行显示使得每个视点的视角是不同的，观看者可以在不佩戴眼镜的情况下通过使用他的左眼和右眼看任意两个视点的图像来观看3D图像。

另外，与图像生成单元171类似，图像生成单元462根据来自于观看者的用于显示双视点模式的3D图像的指令、基于从图像信息获取单元123提供的图像信息，将从解码器461提供的兼容图像的复用图像分离成其分辨率是兼容图像的分辨率的一半的图像A2和图像B2。然后，与图像生成单元171类似，图像生成单元462交替地输出其分辨率是兼容图像的分辨率的一半的经分离的图像A2和图像B2，从而，将经分离的图像显示在显示装置(图中未示出)上。此时，观看者可以通过戴下述眼镜并观看在显示装置上交替显示的图像A2和图像B2来观看3D图像，该眼镜中在显示图像A2时左眼快门和右眼快门中之一打开而在在显示图像B2时另一个快门打开。

[解码处理的描述]

图70是示出了由图69示出的解码装置460进行的解码处理的流程图。例如，该解码处理在从图62示出的编码装置440发送的经复用的流被输入到解码装置460时开始。

图70示出的步骤S471至步骤S473的处理类似于图19示出的步骤S91至步骤S93的处理，因此，将不对其进行描述。

在步骤S474中，辅助解码器471从辅助流提取经编码的辅助图像的复用图像和时分复用图像，并根据对应于图2示出的辅助编码器62的模式对提取的复用图像进行解码。辅助解码器471将由于解码处理而获取的辅助图像的复用图像和时分复用图像提供给图像生成单元127，处理进行至步骤S475。

步骤S475至步骤S479的处理类似于图19示出的步骤S95至步骤S99的处理，因此，其描述将不予呈现。

在步骤S480中，图像生成单元462通过使用兼容图像的复用图像、辅助图像的复用图像和时分复用图像基于步骤S479中确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等生成其分辨率是兼容图像或辅助图像的分辨率的一半的每个视点的图像。

步骤S481至步骤S486的处理类似于图19示出的步骤S101至步骤S106的处理，因此，将不对其进行描述。

在只对与解码装置460有兼容性的兼容流进行解码的解码装置中，忽略了添加有3DV表示定界符NAL单元的TS2，进行步骤S483、步骤S485和步骤S486的处理。然而，在这种情况下，在步骤S485的处理中，基于预先确定的复用模式将兼容图像的复用图像分离。

<第八实施例>

[根据第八实施例的编码装置的配置示例]

图71是示出了根据本技术的第八实施例的编码装置的配置示例的框图。

在图71示出的配置中，将相同的附图标记分配给与图14示出的配置相同的配置。适当地将不将不对其进行重复描述。

图71示出的编码装置480的配置与图14示出的配置的不同之处主要在于：设置有视差图像生成单元480、编码器482和视差图像信息生成单元483，而不是视差图像生成单元143、编码器145和视差图像信息生成单元57。编码装置480对显示视差值为兼容图像共用的公共视差图像和辅助图像的公共视差图像进行编码。

更具体地，编码装置480的视差图像生成单元481使用从成像单元141A至成像单元141D提供的图像A2至图像D2对图像A2和图像B2之间的每个像素的视差以及图像C2和图像D2之间的每个像素的视差进行检测。视差图像生成单元481生成由表示图像A2和B2之间的每个像素的视差值形成的视差图像作为兼容图像的公共视差图像AB2＇，并将生成的公共视差图像提供给编码器482。另外，视差图像生成单元481生成由表示图像C2和D2之间的每个像素的视差值形成的视差图像作为辅助图像的公共视差图像CD2＇，并将生成的公共视差图像提供给编码器482。

而且，视差图像生成单元481将表示兼容图像和辅助图像的视差图像是公共视差图像的信息提供给视差图像信息生成单元483。

编码器482由兼容编码器151和辅助编码器491配置成。辅助编码器491根据3DV模式以访问单元为单位对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元481提供的兼容图像的公共视差图像AB2＇和辅助图像的公共视差图像CD2＇进行编码。辅助编码器491将由于编码而获取的编码流提供给复用单元59作为辅助流。

视差图像信息生成单元483基于从视差图像生成单元53提供的信息生成表示兼容图像和辅助图像的视差图像是公共视差图像等的信息作为视差图像信息，并将生成的视差图像信息提供给复用单元59。

[编码装置的处理的描述]

图72和图73是示出了由图71示出的编码装置480进行的编码处理的流程图。例如，该编码处理当从成像单元141A至成像单元141D输出图像A2至图像D2时开始。

图72示出的步骤S491至步骤S498的处理类似于图16示出的步骤S71至步骤S78的处理，因此，将不对其进行描述。

在图73示出的步骤S499中，视差图像生成单元481使用从成像单元141A至成像单元141D提供的图像A2至图像D2对图像A2和B2之间的每个像素的视差以及图像C2和D2之间的每个像素的视差进行检测。然后，视差图像生成单元481生成公共视差图像AB2＇和公共视差图像CD2＇，其中公共视差图像AB2＇由表示图像A2和B2之间的每个像素的视差值形成，公共视差图像CD2＇由表示图像C2和图像D2之间的每个像素的视差值形成。

在步骤S500中，视差图像信息生成单元483基于从视差图像生成单元481提供的信息生成表示兼容图像和辅助图像的视差图像是公共视差图像的信息等作为视差图像信息，并将生成的视差图像信息输入到复用单元59。

在步骤S501中，视差图像生成单元481将步骤S499中生成的辅助图像的公共视差图像CD2＇和兼容图像的公共视差图像AB2＇输入到编码器482。

在步骤S502中，编码器482的兼容编码器151根据现有AVC模式对从图像转换单元142提供的兼容图像的复用图像进行编码，并将由于编码而获取的编码流提供给复用单元59作为兼容流。

在步骤S503中，辅助编码器491根据3DV模式对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元481提供的兼容图像的公共视差图像和辅助图像的公共视差图像进行编码。辅助编码器491将由于编码处理而获取的编码流提供给复用单元59作为辅助流。

在步骤S504中，复用单元59根据从兼容编码器151提供的兼容流生成TS1，根据从辅助编码器491提供的辅助流和辅助信息生成TS2，进行复用处理，以及发送由于复用而获取的经复用的流。例如，该复用的流被记录在BD等中或作为广播流而被发送。然后，处理结束。

[解码装置的配置示例]

图74是示出了对从图71示出的编码装置480发送的经复用的流进行解码的解码装置的配置示例的图。

在图74示出的配置中，将相同的附图标记分配给与图18示出的配置相同的配置。适当地将不再呈现重复的描述。

图74示出的解码装置500的配置与图18示出的配置的主要的不同之处在于：设置有解码器501和图像生成单元502，而不是解码器122和图像生成单元171。解码装置500通过对从编码装置480发送的经复用的流进行解码来生成两个视点的图像或多视点图像，并将生成的图像显示显示装置(图中未示出)上。

更具体地，解码装置500的解码器501由兼容解码器131和辅助解码器511配置成。解码器501的辅助解码器511根据对应于图71示出的辅助编码器491的模式对包括在从分离单元121提供的辅助流中的辅助图像的复用图像、兼容图像的公共视差图像AB2＇和辅助图像的公共视差图像CD2＇进行解码。辅助解码器511将由于解码处理而获取的辅助图像的复用图像、公共视差图像AB2＇和CD2＇提供给图像生成单元502。

图像生成单元502根据观看者提供的指令输出图像，并将图像显示在显示装置(图中未示出)上。当进行更详细的描述时，图像生成单元502根据观看者的用于显示多视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像的复用图像、辅助图像的复用图像、公共视差图像AB2＇和公共视差图像CD2＇生成与显示装置(图中未示出)对应的三个或更多个视点的图像，每个图像的分辨率为兼容图像或辅助图像的分辨率的一半。

进行更详细的描述，图像生成单元502基于表示兼容图像和辅助图像的视差图像是包括在从视差图像信息获取单元125提供的视差图像信息中的公共视差图像的信息来保持公共视差图像AB2＇和公共视差图像CD2＇不被改变。

另外，与图18示出的图像生成单元171类似，图像生成单元502基于包括在从图像信息获取单元123提供的图像信息中的辅助图像的复用模式的信息将每个辅助图像从辅助图像的复用图像中分离。而且，与图像生成单元171类似，图像生成单元502基于表示包括在图像信息中的兼容图像的复用模式的信息，将从兼容图像的复用图像中分离。

而且，与图像生成单元171类似，图像生成单元502基于视点间距离信息和对应于显示装置(图中未示出)的视点的数量确定待生成的多视点图像的每个视点的位置。然后，图像生成单元502通过使用每个兼容图像、每个辅助图像、公共视差图像AB2＇和公共视差图像CD2＇来生成其位置被确定的每个视点的图像。然后，与图像生成单元171类似，图像生成单元502将生成的多视点图像的分辨率转换成兼容图像或辅助图像的分辨率的“1/视点的数目”，合成图像并将合成的图像显示在显示装置(图中未示出)上。

此时，对合成后的多视点图像进行显示使得每个视点的视角是不同的，观看者可以在不佩戴眼镜的情况下通过使用他的左眼和右眼看任意两个视点的图像来观看3D图像。

另外，与图像生成单元171类似，图像生成单元502根据由观看者提供的用于显示双视点模式的3D图像的指令、基于从图像信息获取单元123提供的图像信息，将从解码器501提供的兼容图像的复用图像分离成其分辨率是兼容图像的分辨率的一半的图像A2和B2。然后，与图像生成单元171类似，图像生成单元502交替输出其分辨率是兼容图像的分辨率的一半的经分离的图像A2和B2，从而在显示装置(图中未示出)上显示经分离的图像。此时，观看者可以通过佩戴下述眼镜并观看在显示装置上交替显示的图像A2和图像B2来观看3D图像，在该眼镜中在显示图像A2时左眼快门和右眼快门中之一打开而在显示图像B2时另一个快门打开。

[解码装置的处理的描述]

图75是示出了由图74示出的解码装置500进行的解码处理的流程图。例如，该解码处理在从图71示出的编码装置480发送的经复用的流输入到解码装置500时开始。

图75示出的步骤S511至步骤S513的处理类似于图19示出的步骤S91至步骤S93的处理，因此，将不对其进行描述。

在步骤S514中，辅助解码器511提取辅助图像的经编码的复用图像、兼容图像的公共视差图像AB2＇和辅助图像的公共视差图像CD2＇，并根据对应于图71示出的辅助编码器491的模式对提取的图像进行解码。辅助解码器511将由于解码处理而获取的辅助图像的复用图像、公共视差图像AB2＇和公共视差图像CD2＇提供给图像生成单元502。

步骤S515至步骤S519的处理类似于图19示出的步骤S95至步骤S99的处理，因此，将不对其进行描述。

在步骤S519的处理后，在步骤S520中，图像生成单元502基于在步骤S519中确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息和从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、公共视差图像AB2＇和公共视差图像CD2＇生成其分辨率是兼容图像或辅助图像的分辨率的一半的每个视点的图像。

步骤S521至步骤S526的处理类似于图19示出的步骤S101至步骤S106的处理，因此，将不对其进行描述。

尽管编码装置440和编码装置480以类似于编码装置140的方式对两个视点的兼容图像进行复用和编码，但编码装置440和480还可以以类似于图22示出的编码装置180的方式对两个视点的兼容图像进行编码而不对其进行复用。另外，编码装置440和480可以以类似于图2示出的编码装置50的方式对一个视点的兼容图像进行编码。

另外，编码装置140和180可以对兼容图像和辅助图像的视差图像进行编码而不对上述视差图像进行复用。而且，编码装置50可以对辅助图像的视差图像进行编码而不对上述视差图像进行复用。

<编码目标的复用模式的示例>

图76是示出了在兼容图像的视点的数目是二且辅助图像的视点的数目是二的情况下编码目标的复用模型的示例的图。

如图76中的(1)所示，图14示出的编码装置140在空间方向上对作为兼容图像的图像A2和图像B2进行复用，并根据AVC模式对复用图像进行编码。另外，编码装置140在空间方向上对作为辅助图像的图像C2和D2、作为兼容图像的视差图像的视差图像A2＇和B2＇、作为辅助图像的视差图像的视差图像C2＇和D2＇进行复用，并根据符合MVC模式的3DV模式对复用图像进行编码。

而且，如图76中的(2)所示，编码装置140可以不对视差图像A2＇至D2＇进行复用的情况下根据符合MVC模式的3DV模式对视差图像A2＇至D2＇进行编码。另外，如图76中的(3)所示，图71示出的编码装置480可以对公共视差图像AB2＇进行编码而不是对作为兼容图像的视差图像的视差图像A2＇和B2＇进行编码，并对公共视差图像CD2＇进行编码而不是对作为辅助图像的视差图像的视差图像C2＇和D2＇进行编码。

而且，如图76中的(4)所示，图62示出的编码装置440不在空间方向上对作为兼容图像的视差图像的视差图像A2＇和B2＇进行复用而根据帧序列模式对视差图像A2＇和B2＇以及辅助图像的视差图像的复用图像进行复用，并根据符合MVC模式的3DV模式对复用图像进行编码。

如图76中的(5)所示，图22示出的编码装置180根据AVC模式对图像A2进行编码，并在不对作为兼容图像的图像A2和B2进行复用的情况下根据MVC模式在将图像A2设定为基本视图的情况下对图像B2进行编码。另外，编码装置180在空间方向上对作为辅助图像的图像C2和图像D2、兼容图像的视差图像A2＇和B2＇、以及辅助图像的视差图像C2＇和D2＇进行编码，并根据符合MVC模式的3DV模式对所得到的复用图像进行编码。

另外，如图76中的(6)所示，编码装置180可以根据符合MVC模式的3DV模式对视差图像A2＇至D2＇进行编码而不对其进行复用。而且，如图76中的(7)所示，与编码装置480类似，编码装置180可以对公共视差图像AB2＇进行编码而不是对视差图像A2＇和B2＇进行编码，并对公共视差图像CD2＇进行编码而不是对视差图像C2＇和D2＇进行编码。

而且，如图76中的(8)所示，与编码装置440类似，编码装置180可以根据帧序列模式对视差图像A2＇、视差图像B2＇以及辅助图像的视差图像的复用图像进行复用，并在不空间方向上对视差图像A2＇和视差图像B2＇在进行复用下根据符合MVC模式的3DV模式对所得到的复用图像进行编码。

图77是示出了在图76的(1)至(8)中示出的复用模型中的复用的效果特征的图。

在图77示出的表格中，布置了效果项“兼容性”、“图像质量”和“数据量”，并表示了图76的(1)至(8)中示出的复用模型的各项的效果的程度。在图77示出的表格中，圆圈表示有效果，双圆圈表示有显著的效果。

在使用图76中的(1)示出的复用模型进行复用的情况下，兼容图像的复用模式和编码模式与现有模式的相同，因此，确保了兼容性。另外，例如，由于与兼容图像类似地在空间方向上对视差图像进行复用，所以可以使用分离单元对视差图像进行分离，该分离单元装备在解码装置侧用于对兼容图像进行分离。从而，确保了可以在解码装置侧对视差图像进行分离。因此，在这种情况下，在兼容性方面有显著的效果，双圆圈根据图77示出的“兼容性”项来描述。

在使用图76中的(2)中示出的复用模型执行复用的情况下，兼容图像的复用模式和编码模式与现有模式的相同,因此确保了兼容性。此外，由于视差图像的分辨率与复用之前的图像的分辨率相同，所以精确度高。结果，在解码装置中，提高了使用视差图像生成的预定视点的图像的精确度。因此，在这种情况下，对使用视差图像生成的图像的兼容性和图像质量有影响，相应地，描述的圆与在图77中表示的项目“兼容性”和“图像质量”相一致。

在使用图76中的(3)示出的复用模型执行复用的情况下，兼容图像的复用模式和编码模式与现有模式中的复用模式和编码模式相同，因此确保了兼容性。此外，其每一个具有与被复用之前的图像的分辨率相同分辨率的兼容图像和辅助图像的视差图像的数据量减少至两个视点的视差图像的数据量。因此，在这种情况下，由于对兼容性和数据量有影响，描述的圆与在图77中表示的项目“兼容性”和“数据量”相一致。

在使用图76中的(4)示出的复用模型执行复用的情况下，兼容图像的复用模式和编码模式与现有模式的相同，因此确保了兼容性。此外，由于在时间方向上对视差图像进行复用，因此视差图像的数据量在每个时刻小于图76中的(3)的情况下的数据量，从而可以发送的数据量增加。因此，即使在用于发送具有与被复用前的图像相同分辨率的视差图像的发送带宽没有空间的情况下，也可以发送分辨率与被复用前的图像的分辨率相同的视差图像，因此要使用视差图像在解码装置中生成的预定视点的图像的精确度被提高了。因此，在这种情况下，对使用视差图像生成的图像的兼容性和图像质量有影响，并且对数据量有显著影响。因此，描述的圆与在图77中表示的项目“兼容性”和“图像质量”相一致，以及描述的圆环与“数据量”相一致。

例如当图像用于广播时执行使用在图76的(1)至(4)中示出的复用模型的复用处理，IP(网际协议)符合广播、ATSC(美国高级电视业务顾问委员会)2.0规范等，作为聚集广播或互联网传递的下一代广播被设定为编码目标。

在使用图76的(5)中示出的复用模型执行复用的情况下，兼容图像的复用模式和编码模式与现有模式的相同，因此，确保了兼容性。此外，由于每个视差图像的分辨率是所述图像的分辨率的一半，所以兼容图像和辅助图像的视差图像的数据量减少至两个视点的视差图像的数据量。因此，在这种情况下，对兼容性和数据量有影响，描述的圆与在图77中表示的项目“兼容性”和“数据量”相一致。

在使用图76中的(6)示出的复用模型执行复用的情况下，与图76中(2)的情况相似，确保了兼容性，使用视差图像在解码装置中生成的预定视点的图像的精确度被提高了。因此，在这种情况下，对使用视差图像生成的图像的兼容性和图像质量有影响，描述的圆与在图77中表示的项目“兼容性”和“图像质量”相一致。

在使用图76中的(7)示出的复用模型执行复用的情况下，与图76中(3)的情况相似，确保了兼容性，视差图像的数据量减少。因此，在这种情况下，对兼容性和数据量有影响，描述的圆与在图77中表示的项目“兼容性”和“数据量”相一致。

在使用图76中的(8)示出的复用模型执行复用的情况下，与图76中的(4)的情况相似，确保了兼容性。此外，与图76中(4)的情况相似，视差图像的数据量在每个时刻小于在图76中的(7)的情况下的数据量，因此，提高了使用视差图像生成的预定视点的图像的精确度。因此，在这种情况下，对使用视差图像生成的图像的兼容性和图像质量有影响，并且对数据量有显著影响。因此，描述的圆与在图77中表示的项目“兼容性”和“图像质量”相一致，以及描述的圆环与“数据量”相一致。

例如当图像用于针对BD的应用时，执行使用在图76中的(5)、(7)和(8)示出的复用模型的复用处理，广播、下一代广播或互联网传递被设定为编码目标。此外，例如当图像用于针对BD的应用时，执行使用在图76中的(6)示出的复用模型的复用处理，下一代广播或互联网传递被设定为编码目标。

图78是示出了在兼容图像的视点数量为一个并且辅助图像的视点数量为两个的情况下的编码目标的复用模型的示例的示意图。

如图78中的(1)所示，在图2中所示的编码装置50根据AVC模式对作为兼容图像的图像A1进行编码。此外，编码装置50对作为辅助图像的图像B1和C1以及作为辅助图像的视差图像的视差图像B1＇和C1＇在时间方向上进行复用。然后，编码装置50根据符合MVC模式的3DV模式对作为兼容图像的视差图像的视差图像A1＇、辅助图像的复用图像、以及辅助图像的视差图像的复用图像进行编码。

如图78中的(2)所示，编码装置50可以根据符合MVC模式的3DV模式对视差图像A1＇至C1＇进行编码而不对所述视差图像进行复用。此外，如图78中的(3)所示，与编码装置480相似，编码装置50可以对作为辅助图像的图像B和C的公共视差图像BC1＇而不是辅助图像的视差图像的复用图像进行编码。

此外，如图78中的(4)所示，与编码装置440相似，编码装置50可以根据帧顺序模式对视差图像A1＇至C1＇进行复用，以及根据符合MVC模式的3DV模式对由此生成的复用图像进行编码而不在空间方向上对视差图像B1＇和C1＇进行复用。

使用在图78中的(1)至(4)中示出的复用模型的复用处理的效果和在执行使用复用模型的复用处理时的编码目标与使用在图76中的(5)至(8)示出的复用模型的复用处理的效果和编码目标相同。然而，在使用在图78的(1)中示出的复用模型的复用处理中，兼容图像的视差图像的分辨率与兼容图像的分辨率相同，并且作为该复用处理的效果的视差图像的数据量的减少是仅针对辅助图像的视差图像的效果。

图79是示出了在兼容图像的视点数目为两个并且辅助图像的视点数目为零的情况下的编码目标的复用模型的示例的示意图。

如图79中的(1)所示，在兼容目标的视点图像的数目为两个并且辅助图像的视点数目为零的情况下，与在图14中示出的编码装置140的情况相似，作为兼容图像的图像A2和B2在空间方向上被复用并且根据AVC模式对其进行编码。此外，作为兼容图像的视差图像的视差图像A2＇和B2＇在空间方向上被复用并且根据符合AVC模式的3DV模式对其进行编码。

如图79中的(2)所示，视差图像A2＇和B2＇可以根据符合MVC模式的3DV模式进行编码而不被复用。此外，如在图79中的(3)所示，与编码装置480的情况相似，可以对公共视差图像AB2＇而不是视差图像A2＇和B2＇进行编码。

另外，如图79的(4)所示，与编码装置440的情况相似，视差图像A2＇和B2＇可以被在帧序列模式下进行复用以及编码而不在时间方向上被复用。

此外，如图79中的(5)所示，与编码装置180相似，可以进行配置使得，根据AVC模式对图像A2进行编码，以及使用MVC模式对图像B2进行编码而不对作为兼容图像的图像A2和B2进行复用，在MVC模式下图像A2被设定作为基本视图。

在这种情况下，如图79中的(6)所示，与图79中的(2)的情况相似，视差图像可以被编码而不被复用，或者如图79中的(7)所示，与图79中的(3)的情况相似，可以对公共视差图像AB2＇进行编码。此外，如图79中的(8)所示，与图79所示的(4)的情况相似，可以根据帧序列模型对兼容图像的视差图像进行复用并且编码。

此外，使用在图78中的(1)至(8)示出的复用模型的复用处理的效果和在使用复用模型执行复用处理时的编码目标与使用在图76中的(1)至(8)中示出的复用模型的复用处理的效果和编码目标相同。

在以上呈现的描述中，尽管根据帧顺序模式被复用的视差图像的分辨率已经描述为与被复用处理前图像的分辨率相同，但是其分辨率也可以低于被复用处理前图像的分辨率。此外，与视差图像相似，也可以根据帧顺序模式对辅助图像进行复用。

另外，在以上呈现的描述中，尽管已经描述了在编码装置中发送表示图像的复用模式的信息和表示视差图像的复用模式的信息，但是可以发送用于识别在图76、78及79中示出的复用模型的信息。

此外，编码装置可以发送用于识别对应于作为编码目标的图像的应用的标志。

<第九实施例>

[根据第九实施例的编码装置的配置示例]

图80是示出了根据本技术的第九实施例的编码装置的配置示例的框图。

在图80所示的配置中，将相同的附图标记分配给与图14所示的配置相同的配置。适当起见将不再呈现重复的描述。

在图80中所示的编码装置520的配置与在图14中所示的配置的主要区别在于设置了编码器523和发送单元524而不是编码器145和复用单元59，并新布置了复用单元521和复用信息生成单元522。

编码装置520根据帧序列模式对兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像进行复用，并且对由此生成的复用图像进行编码。

更加具体地，编码装置520的复用单元521根据帧序列模式对由于由图像转换单元142执行的复用处理而获取的兼容图像和辅助图像的复用图像以及由于由视差图像生成单元143执行的复用处理而获取的兼容图像和辅助图像的视差图像的复用图像进行复用。

然后，复用单元521提供如下复用图像：其中可以由于复用处理而获取的兼容图像的复用图像、兼容图像的视差图像的复用图像、辅助图像的复用图像以及辅助图像的视差图像的复用图像被作为时间方向复用图像在一帧时间内按顺序呈现给编码器523。

此外，复用单元521向复用信息生成单元522和编码器523提供如下信息：该信息表示根据帧序列模式被复用的兼容图像和辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像以及表示时分复用图像中的图像布置顺序。

复用信息生成单元522基于由复用单元521提供的信息来生成信息等作为与兼容图像和辅助图像以及兼容图像和辅助图像的视差图像的复用相关的全部复用信息，并且将所生成的全部复用信息提供给发送单元524。

通过兼容编码器531和辅助编码器532来配置编码器523。编码器523基于由复用单元521提供的信息指定包括在由复用单元521提供的时分复用图像中的兼容图像的复用图像并将兼容图像的复用图像提供给兼容编码器531。此外，编码器523基于由复用单元521提供的信息向辅助编码器531提供包括在时分复用图像中的辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像。

编码器523的兼容编码器531根据现有的AVC模式、以访问单元为单位对时分复用图像中包括的兼容图像的复用图像进行编码。辅助编码器532根据3DV模式、以访问单元为单位对时分复用图像中包括的辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像进行编码。在此时，通过参考兼容图像的复用图像对辅助图像的复用图像进行编码，通过参考兼容图像的视差图像的复用图像对辅助图像的视差图像的复用图像进行编码。

编码器523向发送单元524提供如下比特流：其根据由于由兼容编码器531或辅助编码器532执行的编码处理而获取的时分复用图像的编码数据来形成。

发送单元524使用如下信息生成TS：由编码器523提供的比特流、由图像信息生成单元54提供的图像信息、由兼容性信息生成单元55提供的兼容性信息、由视点间距离信息生成单元144提供的视点间距离信息、由视差图像信息生成单元57提供的视差图像信息以及由复用信息生成单元522提供的全部复用信息等。复用单元59发送所生成的TS。

[编码装置的处理的描述]

图81和图82表示示出了由在图80中所示的编码装置520执行的编码处理的流程图。该编码处理例如在图像A2至D2从成像单元141A至141D输出时开始。

在图81中示出的步骤S531至S537的处理与在图16中示出的步骤S71至S77的处理相同，因此将不对其进行描述。

在步骤S537的处理之后，在步骤S538中，图像转换单元142将兼容图像的复用图像和辅助图像的复用图像输入到复用单元521，并且处理进行到在图82中示出的步骤S539。

在图82中示出的步骤S539至S542的处理与在图17中示出的步骤S79至S82的处理相同，因此将不对其进行描述。

在步骤S543的处理之后，在步骤S544中，复用单元521根据帧序列模式对由于由图像转换单元142执行的复用处理而获取的兼容图像和辅助图像的复用图像以及由于由视差图像生成单元143执行的复用处理而获取的兼容图像和辅助图像的视差图像的复用图像进行复用。复用单元521向编码器523提供由于复用处理而获取的复用图像作为时间方向复用图像。

此外，复用单元521向复用信息生成单元522和编码器523提供如下信息：其表示根据帧序列模式被复用的兼容图像和辅助图像的复用图像以及视差图像的复用图像并且表示时分复用图像中的图像布置顺序。

在步骤S545中，复用信息生成单元522基于从复用单元521提供的信息来生成作为全部复用信息的信息等并且将所生成的全部复用信息提供给发送单元524。

在步骤S546中，兼容编码器531根据现有的AVC模式、基于由复用单元521提供的信息，对包括在输入到编码器523的时分复用图像中的兼容图像的复用图像进行编码。

在步骤S547中，辅助编码器532基于由复用单元521提供的信息根据3DV模式对如下图像进行编码：包括在由编码器523输入的时分复用图像中的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像。编码器523向发送单元524提供如下比特流：其根据由于步骤S546和S547编码处理而获取的时分复用图像的编码数据来形成。

在步骤S548中，发送单元524根据由编码器523提供的比特流、辅助信息以及由复用信息生成单元522提供的全部复用信息来生成TS，并发送所生成的TS。该TS例如被记录在BD等上或被作为广播流来发送。然后，处理结束。

如上，编码装置520根据兼容图像的复用图像的编码数据、辅助图像的复用图像的编码数据、兼容图像的视差图像的复用图像的编码数据以及辅助图像的视差图像的复用图像的编码数据来生成一个比特流。因此，包括仅可以解码一个比特流的解码器的解码装置可以对由编码装置520生成的比特流进行解码。

在以上呈现的描述中，尽管已经描述了根据符合兼容图像的编码模式的3DV模式编码的兼容图像的视差图像、辅助图像以及辅助图像的视差图像，但是也可以根据不符合兼容图像的编码模式的MEPG2(活动图像专家组阶段2)等对该图像进行编码。

[解码装置的配置示例]

图83是示出了对由在图80中示出的编码装置520发送的TS进行解码的解码装置的配置示例的示意图。

在图83示出的配置中，将相同的附图标志分配给与在图18所示的配置相同的配置。适当地将不再呈现重复的描述。

在图83中示出的解码装置540的配置与在图18中示出的配置的主要区别在于：设置了接收单元541、解码器542以及图像生成单元544而不是分离单元121、解码器122以及图像生成单元171，并且新布置了复用信息获取单元543。解码装置540对包括在由编码装置520发送的TS中的时分复用图像的比特流进行解码，生成两个视点的图像或多视点图像，以及在显示设备(图中未示出)上显示所生成的图像。

更加具体地，解码装置540的接收单元541接收由编码装置520发送的TS。接收单元541提取包括在TS中的时分复用图像的比特流并将该比特流提供给解码器542。此外，接收单元541提取包括在TS中的辅助信息并将包括在辅助信息中的图像信息提供给图像信息获取单元123以及将视点间距离信息提供给视点间距离信息获取单元124。另外，接收单元541将包括在辅助信息中的视差图像信息提供给视差图像信息获取单元125以及将兼容性信息提供给兼容性信息获取单元126。此外，接收单元541提取包括在TS中的全部复用信息并且将所提取的全部复用信息提供给复用信息获取单元543。

通过兼容解码器551和辅助解码器552来配置解码器542。解码器542的兼容解码器551根据对应于AVC模式的模式对包括在由接收单元541提供的比特流中的兼容图像的复用图像的编码数据进行解码，并且将解码数据提供给图像生成单元544。

辅助解码器552根据对应于在图80中所示的辅助编码器532的解码模式的模式，对如下编码数据进行解码：包括在由接收单元541提供的比特流中的辅助图像的复用图像的编码数据、兼容图像的视差图像的复用图像的编码数据以及辅助图像的视差图像的复用图像的编码数据。辅助解码器552向图像生成单元544提供如下图像：由于解码处理而获取的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像。

复用信息获取单元543获取由接收单元541提供的全部复用信息并将所获取的全部复用信息提供给图像生成单元544。

图像生成单元544根据观察者的显示指令来输出图像，从而在显示设备(图中未示出)上显示图像。更加具体地，图像生成单元544根据观察者的用于显示多视点系统的3D图像的指令，基于由图像信息获取单元123提供的图像信息、由视点间距离信息获取单元124提供的视点间距离信息、由视差图像信息获取单元125提供的视差图像信息、由兼容性信息获取单元126提供的兼容性信息以及由复用信息获取单元543提供的全部复用信息等，通过使用如下图像来生成与显示设备(图中未示出)对应的三个视点或更多个视点的图像：兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像，每个图像的分辨率是兼容图像或辅助图像的分辨率的一半。

更加详细地描述，图像生成单元544基于由复用信息获取单元543提供的全部复用信息来识别由辅助解码器552提供的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像。此外，与在图18中所示的图像生成单元171相似，图像生成单元544基于表示辅助图像的视差图像的复用模式的信息(其包括在由视差图像信息获取单元125提供的视差图像信息中)，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像，。另外，与图像生成单元171相似，图像生成单元544基于包括在视差图像信息中的表示兼容图像的视差图像的复用模式的信息，从兼容图像的视差图像的复用图像中分离每个兼容图像的视差图像。

另外，与图像生成单元171相似，图像生成单元544基于表示辅助图像的复用模式的信息(其包括在由图像信息获取单元123提供的图像信息中)，从辅助图像的复用图像中分离每个辅助图像。此外，与图像生成单元171相似，图像生成单元544基于包括在图像信息中的表示兼容图像的复用模式的信息，从兼容图像的复用图像中分离每个兼容图像。

此外，与图像生成单元171相似，图像生成单元544基于视点间距离信息和对应于显示设备(图中未示出)的视点数目来确定要生成的多视点图像的每个视点的位置。然后，与图像生成单元171相似，图像生成单元544通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像以及每个辅助图像的视差图像来生成其位置被确定的每个视点的图像。然后，图像生成单元544将所生成的多视点图像的分辨率转换为兼容图像或辅助图像的分辨率的“视点数目分之一”，合成所转换的图像以及在显示设备(图中未示出)上显示所合成的图像。

在此时，在合成后的多视点图像被显示使得针对每个视点观察角度均不同，观察者可以在不佩戴眼镜的情况下通过使用他的左眼和右眼看任意两个视点的图像来观看3D图像。

此外，与图像生成单元171相似，图像生成单元544根据由观察者提供的用于显示双视点模式的3D图像的指令、基于由图像信息获取单元123提供的图像信息来从由解码器542提供的兼容图像的复用图像分离分辨率是兼容图像的分辨率一半的图像A2和B2。然后，与图像生成单元171相似，图像生成单元544交替输出其分辨率是兼容图像的分辨率一半的所分离的图像A2和B2，从而在显示设备(图中未示出)上显示所分离的图像。在此时，观察者可以通过佩戴眼镜并观察在显示设备上交替显示的图像A2和B2来观察3D图像，在所述眼镜中在显示图像A2时左眼快门和右眼快门之一是打开的而在显示图像B2时另一个快门是打开的。

[解码装置的处理的描述]

图84是示出了由在图83中所示的解码装置540执行的解码处理的流程图。该解码处理例如当由在图80中所示的编码装置520发送的TS被输入到解码装置540时开始。

在图84所示的步骤S551中，解码装置540的接收单元541接收由解码装置520发送的TS。接收单元541提取包括在TS中的比特流并将所提取的比特流提供给解码器542。此外，接收单元541提取包括在所述TS中的辅助信息并将包括在所述辅助信息中的图像信息提供给图像信息获取单元123，以及将视点间距离信息提供给视点间距离信息获取单元124。另外，接收单元541将包括在所述辅助信息中的视差图像信息提供给视差图像信息获取单元125以及将兼容性信息提供给兼容性信息获取单元126。此外，接收单元541提取包括在TS中的全部复用信息并将所提取的全部复用信息提供给复用信息获取单元543。

在步骤S552中，与在图19中所示的步骤S92的处理相似，图像生成单元544确定观察者是否做出了用于显示双视点模式的3D图像的指令。在步骤S552中在确定观察者未做出用于显示双视点模式的3D图像的指令的情况下，换句话说，在做出了用于显示多视点的3D图像的指令的情况下，所述处理行进到步骤S553。

在步骤S553中，解码器542的兼容解码器551从由接收单元541提供的比特流中提取兼容图像的复用图像的编码数据并对所提取的编码数据在对应于AVC模式的模式下进行编码。然后，兼容解码器551将由于解码处理而获取的兼容图像的复用图像提供给图像生成单元544。

在步骤S554中，辅助解码器552从由接收单元541提供的比特流中提取辅助图像的复用图像的编码数据、兼容图像的视差图像的复用图像的编码数据以及辅助图像的视差图像的复用图像的编码数据，并对所提取的编码数据在对应于在图80中示出的辅助解码器532的模式下进行解码。辅助解码器552向图像生成单元544提供如下复用图像：由于解码处理而获取的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像，所述处理进行到步骤S555。

步骤S555至S558的处理与在图19中示出的步骤S95至S98的处理相同，因此将不对其进行描述。

在步骤S558的处理后，在步骤S559中，复用信息获取单元543获取由接收单元541提供的全部复用信息并将所获取的全部复用信息输入到图像生成单元544中。

在步骤S560中，与在图19中示出的步骤S99的处理相似，图像生成单元544基于从视点间距离信息获取单元124提供的视点间距离信息和对应于在显示设备(图中未示出)的视点的数目来确定要生成的多视点图像的每个视点的位置。

在步骤S561中，图像生成单元544基于在步骤S560中确定的每个视点的位置、由图像信息获取单元123提供的图像信息、由视差图像信息获取单元125提供的视差图像信息、由兼容性信息获取单元126提供的兼容性信息、由复用信息获取单元543提供的全部复用信息等，通过使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像来生成每个视点的图像，所述每个视点的图像的分辨率是兼容图像或辅助图像的分辨率的一半。然后，所述处理行进到步骤S562。

步骤S562至步骤S567的处理与在图19中示出的步骤S101至S106的处理相同，因此将不对其进行描述。然而，在步骤S564的处理中，兼容解码器551不是从兼容流而是从由接收单元541提供的比特流中来提取兼容图像的复用图像。

此外，在仅可以对与解码装置540有兼容性的兼容图像进行解码的解码装置中，除了可以被处理的兼容图像的编码数据之外的编码数据被忽略，并且执行步骤S564、S566及S567的处理。然而，在这样的情况下，在步骤S566的处理中，根据提前确定的复用模式来分离兼容图像的复用图像。

如上，解码装置540可以对由兼容图像的复用图像的编码数据、辅助图像的复用图像的编码数据、兼容图像的视差图像的复用图像的编码数据以及辅助图像的视差图像的复用图像的编码数据生成的一个比特流进行解码。

<根据第五实施例的比特流的另一个示例>

[比特流的另一个配置示例]

图85是示出了根据第五实施例以访问单元为单位生成的比特流的另一个配置示例的示意图。

在图85示出的示例中，兼容图像为1920×1080像素的L图像和R图像，辅助图像为1920×1080像素的O图像。此外，L视差图像、R视差图像以及O视差图像的尺寸为960×1080像素。另外，根据AVC模式对L图像进行编码，根据MVC模式对R图像进行编码，以及根据3DV模式对O图像、L视差图像、R视差图像、O视差图像进行编码。此外，L图像、R图像、O图像、L视差图像、R视差图像、O视差图像的视图ID分别为0、1、2、3、4和5。在此，视图ID为唯一对应于每个视点的图像和视差图像的ID。

如图85所示，在以访问单元为单位的比特流中，例如从头部按顺序设定根据MVC模式用于图像的访问单元定界符(AUD)、SPS、子集SPS(子集SPS 1)，根据3DV模式用于视差图像的子集SPS(子集SPS 2)，根据AVC模式的PPS、SEI，根据MVC模式的SEI，根据3DV模式的SEI以及编码数据的NAL单元。

访问单元定界符的NAL单元是表示访问单元边界的NAL单元。SPS的NAL单元是包括profile_idc(在图85中示出的示例中的100)的SPS的NAL单元，该profile_idc表示根据AVC模式定义的属性中L图像的属性。用于图像的子集SPS的NAL单元是包括profile_idc(在图85中示出的示例中的128)的子集SPS的NAL单元，该profile_idc表示表示根据MVC模式定义的属性中R图像和O图像的属性的。用于视差图像的子集SPS的NAL单元是包括profile_idc(在图85的示例中的138)的子集SPS的NAL单元，该profile_idc表示根据3DV模式定义的用于视差图像的属性中L视差图像、R视差图像和O视差图像的属性。

根据AVC模式的SEI的NAL单元是L图像的SEI的NAL单元。根据MVC模式的SEI的NAL单元是L图像或R图像的SEI的NAL单元。3DV模式的SEI的NAL单元是L图像、R图像、O图像、L视差图像、R视差图像或O视差图像的SEI的NAL单元。

作为编码数据的NAL单元，从头开始按顺序布置L图像的编码数据的NAL单元、定界符(MVC DD)的NAL单元、R图像的编码数据的NAL单元、定界符(3DV DD)的NAL单元、O图像的编码数据的NAL单元、定界符(3DV DD)的NAL单元、L视差图像的编码数据的NAL单元、定界符(3DV DD)的NAL单元、R视差图像的编码数据的NAL单元、定界符(3DV DD)的NAL单元、O视差图像的编码数据的NAL单元。

在L图像的编码数据的NAL中，添加包括1或5作为NAL单元类型的NAL报头。此外，定界符(MVC DD)的NAL单元是表示MVC模式的编码数据的头部的NAL单元。在R图像的编码数据的NAL单元中，添加包括20作为NAL单元类型的NAL报头。此外，定界符(3DVDD)的NAL单元是表示3DV模式的编码数据的头部的NAL单元。另外，在O图像、L视差图像、R视差图像、O视差图像的编码数据的NAL单元中，添加包括21作为NAL单元类型的NAL报头。

[根据3DV模式的用于视差图像的子集SPS的描述的示例]

图86是示出了在图85中所示根据3DV模式用于视差图像的子集SPS的描述示例的示意图。

如图86所示，在3DV模式的用于视差图像的子集SPS中，描述了包括表示L视差图像、R视差图像以及O视差图像的属性的profile_idc(在图86中示出的示例中的138)的SPS(seq_parameter_set_data)以及根据3DV模式定义的关于每个profile_idc的信息。

更加具体地，在用于视差图像的3DV的子集SPS中，描述了当profile_idc为138时的信息、用于视差图像的扩展信息(seq_parameter_set_depth_extension)、用于视差图像的表示是否包括用于视差图像的VUI扩展信息的VUI信息标志(depth_vui_parameters_present_flag)等。此外，在用于视差图像的VUI信息标志表示包括用于视差图像的VUI扩展信息的情况下，还描述了用于视差图像的VUI扩展信息(depth_vui_parameters_extension)。

此外，在解码处理中参考用于视差图像的3DV模式的子集SPS的情况下，换句话说，在L视差图像、R视差图像以及O视差图像被解码的情况下，与IDR图像被解码的情况相似，对参考图像进行重置。

图87是示出了描述用于在图86中示出的视差图像的扩展信息的示例的示意图。

如图87所示，与在MVC模式的子集SPS内的扩展信息(seq_parameter_set_mvc_extension)相似，根据描述的信息和对应于每个视差图像的图像的视图ID(ref_view_id)来形成用于视差图像的扩展信息。

在图87中，与在MVC模式的子集SPS内的扩展信息相似，所描述的信息被扩展并被包括在用于视差图像的扩展信息中。因此，可以针对每个视差图像来对每个视差视图的视图ID(view_id)和对应于每个视差图像的图像的视图ID一起进行描述。换句话说，描述了表示视差图像的数目的信息(num_views_minus1)，可以进行与所述数目相同多次的用于读出视差图像的视图ID和对应于视差图像的图像的视图ID的描述。

与此相对，类似于MVC模式的子集SPS内的扩展信息，在所描述的信息未被扩展并且被包括在用于视差图像的扩展信息中的情况下，除了用于视差图像的扩展信息之外，还描述了表示视差图像的数目的信息，需要对用于读出对应于视差图像的图像的视图ID进行与该数目相同多次的描述。结果是，表示视差图像的数目的信息的描述与对用于读出所述信息所进行的与该数目相同多次的描述彼此交迭。

因此，如图87所示，与在MVC模式的子集SPS内的扩展信息相似，在所描述的信息被扩展并且被包括在用于视差图像的扩展信息中的情况下，用于视差图像的扩展信息的数据量可以小于在该信息未被扩展并且被包括在用于视差图像的扩展信息中的情况下的数据量。

图88是示出了在图86中所示用于的视差图像的VUI扩展信息的描述示例的示意图。

如图88所示，除以下点之外，以与MVC模式的VUI扩展信息(mvc_vui_parameters_extension)相同的方式来描述用于视差图像的VUI扩展信息。换句话说，在针对视差图像的VUI信息中，对于视差图像的每个像素，包括以下信息：用于表示是否包括位置类型(其表示对应于视差图像的图像的位置的类型)的位置类型标志(depth_loc_info_present_flag)以及用于表示是否包括转换前尺寸信息(其表示在分辨率转换前的视差图像的尺寸)的转换前尺寸信息标志(video_src_info_present_flag)。此外，在位置类型标志表示包括位置类型的情况下，该位置类型还被包括在用于视差图像的VUI信息中，在转换前尺寸信息标志表示包括转换前尺寸信息的情况下，该转换前尺寸信息还被包括在用于视差图像的VUI信息中。

位置类型由顶场位置类型(depth_sample_loc_type_top_field)和底场位置类型(depth_sample_loc_type_bottom_field)来形成的。与包括在MVC模式的VUI扩展信息中的顶场位置类型(chroma_sample_loc_type_top_field)和底场位置类型(chroma_sample_loc_type_bottom_field)相似地来描述顶场位置类型和底场位置类型。

此外，通过如下信息来配置转换前尺寸信息：表示沿水平方向的分辨率转换前的视差图像的宏块的数目的信息(pic_width_in_mbs_minus1)、表示沿竖直方向的宏块的数目的信息(pic_height_in_mbs_minus1)、表示是否包括表示高宽比的高宽信息的高宽比标志(aspect_ratio_info_present_flag)等。在包括表示高宽信息的高宽比标志的情况下，高宽信息也包括在转换前尺寸信息中。

高宽比信息通过作为唯一对应于高宽比的ID的高宽比ID(aspect_ratio_idc)等来形成。高宽比ID不仅被分配给预先定义的高宽比而且被分配给未定义的所有高宽比。在包括在高宽信息中的高宽比ID是给予未定义的所有高宽比的高宽比ID(Extended_SAR)的情况下，沿水平方向和竖直方向的分辨率转换前的视差图像的高宽比的值(sar_width和sar_height)也包括在高宽信息中。

[3DV模式的编码数据的NAL报头的描述示例]

图89是示出了根据3DV模式的编码数据的NAL单元的NAL报头的描述示例的示意图，在3DV模式下包括21作为NAL单元的类型。

如图89所示，在根据3DV模式的编码数据的NAL报头中，描述了表示是否包括视差图像报头扩展信息的视差图像报头扩展信息标志(depth_extension_flag)等作为NAL单元的类型为21时的信息。在此，在3DV模式的视差图像的编码数据的NAL报头中描述了视差图像报头扩展信息，该视差图像报头扩展信息标志与上述视差标志相似。

在视差图像报头扩展信息标志表示包括了视差图像报头扩展信息的情况下，在3DV模式的编码数据的NAL报头中，还描述了视差图像报头扩展信息(nal_unit_header_depth_extension)。另一方面，在视差图像报头扩展信息标志表示未包括视差图像报头扩展信息的的情况下，在3DV模式的编码数据的NAL报头中，还描述了MVC模式报头扩展信息(nal_unit_header_mvc_extension)。

图90是示出了在图89中所示的视差图像报头扩展信息的描述示例的示意图。

如图90所示，除了包括对应于视差图像的图像的视图ID(ref_view_id)之外，视差图像报头扩展信息被配置成与MVC模式报头扩展信息相同。

[根据3DV模式的SEI的描述的示例]

图91是示出了根据在图85中所示的3DV模式的SEI的描述示例的示意图。

如图91所示，在根据3DV模式的SEI中，与根据MVC模式的SEI类似，描述了SEI的消息。

换句话说，在根据3DV模式的SEI中，描述了表示是否指定了操作点的操作点标志(operation_point_flag)，在操作点标志表示未指定操作点的情况下，描述了表示SEI的消息是否适应于访问单元内的所有图像和视差图像的所有分量标志(all_view_components_in_au_flag)。另一方面，在所有分量标志表示SEI的消息不适应在访问单元内的所有图像和视差图像的情况下，描述了SEI的消息所适应的图像和视差图像的视图ID的数目(num_view_components_minusl)和视图ID(sei_view_id)。

另一方面，在操作点标志表示指定了操作点的情况下，除了SEI的消息适应的操作点，还描述了作为适应目标的图像和视差图像的视图ID(sei_op_view_id)以及操作点的数目(sei_op_temporal_id)。然后，描述了SEI的消息(sei_rbsp)。此外，在根据3DV模式的SEI中，可以描述多个SEI的消息。描述了上述视差信息等作为SEI的消息。

在图85所示的示例中，尽管假设R图像和O图像的属性相同，但是R图像和O图像的属性可以互不相同。

[比特流的又一个配置示例]

图92是示出了在图85中所示的R图像和O图像的属性互不相同的情况下以访问单元为单位的比特流的配置示例的图。

在图92中所示的比特流的配置与在图85中所示的比特流的配置的区别在于：除了根据MVC模式用于图像的子集SPS和根据3DV模式用于视差图像的子集SPS之外还设定了根据3DV模式用于图像的子集SPS。

根据MVC模式用于图像的子集SPS的NAL单元(子集SPS1)是包括profile_idc(图92所示的示例中的128)的子集SPS的NAL单元，该profile_idc表示在MVC模式下定义的属性中R图像的属性。根据3DV模式用于图像的子集SPS(子集SPS 2)的NAL单元是包括profile_idc(图92的示例中所示的148)的子集SPS的NAL单元，该profile_idc表示在3DV模式下定义的用于图像的属性的O图像的属性。用于视差图像的子集SPS(子集SPS 3)的NAL单元是包括profile_idc(图92的示例中所示的138)的子集SPS的NAL单元，该profile_idc表示在3DV模式下定义的用于视差图像的属性中L视差图像、R视差图像以及O视差图像的属性。

[根据3DV模式用于图像的子集SPS的描述的示例]

图93是示出了根据3DV模式用于图92中所示的图像的子集SPS的描述示例的示意图。

如图93所示，在根据3DV模式用于图像的子集SPS中，描述了包括profile_idc(图93所示的示例中的148)的SPS(seq_parameter_set_data)，其表示在3DV模式下定义的图像O的属性和关于每个profile_idc的信息。

更加具体地，在根据3DV模式用于图像的子集SPS中，与作为当profile_idc为148时的信息的根据MVC模式的子集SPS相似，描述了根据MVC模式的扩展信息(seq_parameter_set_mvc_extension)、根据MVC模式的表示是否包括根据MVC模式的VUI扩展信息的VUI信息标志(mvc_vui_parameters_present_flag)等。此外，在根据MVC模式的VUI信息标志表示包括根据MVC模式的VUI扩展信息的情况下，还描述了根据MVC模式的VUI扩展信息(mvc_vui_parameters_extension)。另外，描述了与在图86中所示的信息相似的信息作为当profile_idc为138时的信息。

在第五实施例中，尽管假设3DV模式是用于对根据符合AVC模式或MVC模式的多视点模式的显示图像进行编码的模式，但是3DV模式可以是用于对根据符合HEVC(高效率视频编码)模式的多视点模式的显示图像进行编码的模式。以下将描述这种情况下的比特流。在本说明书中，假设HEVC模式是基于如下HEVC工作草案的：由Thomas Wiegand、Woo-jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J.Sullivian在2011年5月20日编写的“WD 3:Working Draft 3of High-EfficiencyVideo Coding”,JCTVc-E603_d5(第5版)。

<在3DV模式为符合HEVC模式的模式情况下的比特流>

[比特流的配置示例]

图94是示出了在3DV模式为符合HEVC模式的模式的情况下以访问单元为单位的比特流的配置示例的示意图。

在图94所示的示例中，假设如在图85所示的示例中的L视点图像、R视点图像以及O视点图像是编码目标，根据AVC模式对L图像进行编码，根据3DV模式对L视差图像、R视点图像以及O视点图像进行编码。

在图94中所示的比特流与在图85中所示的比特流的区别在于可以在SPS内描述根据3DV模式用于图像的子集SPS(子集SPS 1)和根据3DV模式用于视差图像的子集SPS(子集SPS 2)，并且将包括互不相同类型的NAL单元的NAL报头添加至根据HEVC模式的SEI和根据3DV模式的SEI的NAL单元中。

在图94所示的比特流中，根据3DV模式用于图像的子集SPS和根据3DV模式用于视差图像的子集SPS可以仅在SPS内进行描述，可以与SPS分开进行描述，或可以在SPS中进行描述以及与SPS分开进行描述。在此，与SPS分开的根据3DV模式用于图像的子集SPS和根据3DV模式用于视差图像的子集SPS的描述符合BD标准并且适于如下情况：根据HEVC模式的编码数据和根据3DV模式的编码数据被生成为互不相同的ES(基本流)。

在图94所示的比特流中，由于包括在被添加至根据HEVC模式的SEI的NAL单元和根据3DV模式的SEI的NAL单元中的NAL报头中的NAL单元类型互不相同，所以在解码处理中可以容易地提取出根据HEVC模式的SEI的NAL单元或者根据3DV模式的SEI的NAL单元。

[SPS的描述的示例]

图95是示出了在图94中所示的SPS的描述示例的示意图。

在图95中所示的SPS的描述与根据HEVC模式的SPS的描述相同，在所示HEVC模式下描述了表示是否包括子集SPS的信息的子集SPS信息标志(subset_seq_present_flag),以及在子集SPS信息标志表示包括子集SPS信息的情况下描述了子集SPS的信息。

如图95所示，子集SPS的信息包括子集SPS的数目(num_subset_seq)和表示是否包括子集SPS的子集SPS标志(subset_seq_info_present_flag)。此外，在子集SPS标志表示包括子集SPS的情况下，子集SPS(subset_seq_parameter_set_data)也包括在子集SPS的信息中。

如上，由于将子集SPS的数目作为子集SPS的信息来描述，可以仅通过在解码处理中读出SPS的描述就可以确定是否存在子集SPS。此外，由于描述了子集SPS标志，所以可以与SPS分开来描述子集SPS而不需要在所述SPS内进行描述，从而可以防止子集SPS的重复描述。

[子集SPS的描述的示例]

图96是示出了描述在图95中所示的子集SPS的示例的示意图。

除了子集SPS适应的图像外，在图96中所示的子集SPS的描述与根据HEVC模式的SPS的描述相同，描述了视差图像的视图ID的数目(num_subset_seq_views)，表示子集SPS的适应对象是否是视差图像的视差图像标志(depth_extension_flag)以及当适应子集SPS时表示SPS是否无效的无效标志(seq_param_override_flag)。

在视差图像标志表示子集SPS的适应目标为视差图像的情况下，在子集SPS中描述了对应于是适应目标的视差图像的图像的视图ID(ref_view_id)。此外，在无效标志表示当适应子集SPS时SPS无效的情况下，与SPS相似，在子集SPS中描述了表示属性的信息(subset_seq_profile_idc)等。

在子集SPS的描述中，作为与所述SPS的描述相似的描述，例如，存在如下信息：表示适应图像和视差图像是否被裁剪的信息(subset_seq_frame_cropping_flag)，表示是否包括VUI信息(subset_seq_vui_parameters)的VUI信息标志(subset_seq_vui_parameters_present_flag)等。在VUI信息标志表示包括VUI信息的情况下，与SPS相似，还描述了VUI信息。另一方面，在VUI信息标志表示不包括VUI信息的情况下，与SPS相似，未描述VUI信息。在这种情况下，SPS的VUI信息被适应为所述VUI信息。

[子集SPS的VUI信息的描述的示例]

图97是示出了在图96所示的子集SPS的VUI信息的描述示例的示意图。

在图97中所示的子集SPS的VUI信息的描述除了如下区别之外与根据HEVC模式的SPS的VUI信息的描述相同：描述了表示是否包括作为适应目标的转换前尺寸信息的转换前尺寸信息标志(video_src_info_present_flag)。

在转换前尺寸信息标志表示包括适应目标的转换前尺寸信息的情况下，在图97所示的VUI信息中描述了转换前尺寸信息。换句话说，描述了表示沿水平方向的分辨率转换前的适应目标的宏块的数目的信息(src_pic_width_in_mbs_minus1)，表示沿竖直方向宏块的数目的信息(src_pic_height_in_mbs_minus1)以及表示是否包括表示高宽比的高宽信息的高宽比标志(src_aspect_ratio_info_present_flag)等。

在高宽比标志表示包括高宽信息的情况下，在转换前尺寸信息中还包括由高宽比ID(src_aspect_ratio_idc)等形成的高宽信息。在包括在高宽信息中的高宽比ID是给予未定义的所有高宽比的高宽比ID(Extended_SAR)的情况下，在所述高宽信息中还包括沿水平方向和竖直方向的分辨率转换前的适应目标的高宽比的值(sar_width和sar_height)。

此外，在图97所示的子集SPS的VUI信息中，可以描述与SPS的VUI信息中的点不同的点。在这种情况下，针对在子集SPS的VUI信息中未描述的信息，可以应用包括在所述SPS的VUI信息中的信息。

[SEI的描述的示例]

图98是示出了在图94中所示的根据3DV模式的SEI的描述示例的示意图。

在图98中所示的根据3DV模式的SEI的描述除了如下区别之外与SEI消息类型的SEI消息的描述相同：描述了SEI消息的类型(nesting_type)、所有分量标志(all_view_components_in_au_flag)等。

作为SEI消息的类型，有根据MVC模式的SEI消息、根据3DV模式的SEI消息以及由用户定义的SEI消息等。在所有分量标志表示未执行对在访问单元内的所有图像和视差图像的适应的情况下，在根据3DV模式的SEI中还描述了所述SEI消息适应的图像和视差图像的视图ID的数目(num_view_components_minus1)以及对应于所述数目的视图ID(nesting_sei_view_id)。

在此，根据除了第五实施例之外的实施例的比特流(编码流)还可以通过参照图85至图98所示的比特流来相似地生成。

<第十实施例>

[应用本技术的计算机的描述]

接下来，通过硬件或软件来执行上述的一系列处理。在通过软件执行一系列处理的情况下，将配置该软件的程序安装至通用计算机等中。

图99示出了根据实施例的安装了用于执行上述一系列处理的程序的计算机的配置示例。

程序可以提前记录在作为构建在计算机上的记录介质的存储单元608或ROM(只读存储器)602中，该存储单元608。

可替换地，程序可以被存储(记录)在可移动介质611上。这样的可移动介质611可以被设置为所谓的封装软件。在此，可移动介质611的示例包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、磁盘以及半导体存储器。

此外，代替上述通过驱动610从可移动介质611向计算机安装程序，程序可以通过通信网络或广播网络被下载并安装在构建在计算机中的存储单元608中。换句话说，程序可以例如从通过用于数字卫星广播的卫星的下载地点以无线方式发送至计算机，或通过网络(例如局域网(LAN)或因特网)以有线方式发送至计算机。

计算机中包括CPU(中央处理单元)601并且输入/输出接口605通过数据总线604连接至CPU 601。

当用户通过操作输入单元606经由输入/输出接口605输入指令时，CPU 601根据所述指令执行存储在ROM 602中的程序。可替换地，CPU601将存储在存储单元608中的程序下载至RAM(随机存取存储器)603中并执行所述程序。

因此，CPU 601执行根据上述流程图的处理或通过上述框图的配置执行的处理。然后，CPU 601例如通过输入/输出接口605从输出单元607输出处理结果，从通信单元609发送处理结果或当需要时将处理结果记录在存储单元608中。

在此，通过键盘、鼠标、麦克风等来配置输入单元606。此外，通过LCD(液晶显示器)、扬声器等来配置输出单元607。

在此，在本说明书中，由计算机根据程序执行的处理不必然需要根据流程图中描述的顺序按时间序列来执行。换句话说，由计算机根据程序执行的处理包括以并行方式或独立方式执行的处理(例如，并行处理或使用目标的处理)。

此外，所述程序可以由一个计算机(处理器)来处理或由多个计算机以分布式的方式来处理。另外，所述程序可以被发送至远程计算机并被执行。

本技术可以应用于当通过网络介质(例如卫星广播、电缆TV(电视)、因特网或便携式电话)接收数据或在存储介质(例如光盘、磁盘或闪存)上处理数据时使用的编码装置和解码装置。

此外，上述编码装置和解码装置可以被应用于任何电子设备。以下，将描述其示例。

<第十一实施例>

[电视设备的配置示例]

图100示出了根据本技术的电视设备的示意性配置。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部接口单元909。此外，电视设备900包括控制单元910、用户接口单元911等。

调谐器902根据通过天线901接收到的广播信号中来选择期望的信道，对对应的广播信号进行调制并将获取的解码比特流输出给解复用器903。

解复用器903从解码比特流提取作为查看目标的程序的视频和音频包，并将所提取的包的数据输出给解码器904。此外，解复用器903向控制单元910提供数据包、例如EPG(电子节目菜单)。另外，在执行扰频的情况下，由解复用器取消扰频。

解码器904执行包的解码处理，并将由解码处理生成的视频数据输出给视频信号处理单元905，将音频数据输出给音频信号处理单元907。

视频信号处理单元905根据针对视频数据的用户设定来执行去噪或视频处理。视频信号处理单元905生成要在显示单元906上显示的程序的视频数据、通过基于经由网络提供的应用的处理而获取的图像数据等。此外，视频信号处理单元905生成用于显示项目选择的菜单屏幕等的视频数据，并将所生成的视频数据添加到程序的视频数据上。视频信号处理单元905基于如上生成的视频数据生成驱动信号并驱动显示单元906。

显示单元906基于从视频信号处理单元905提供的驱动信号来驱动显示设备(例如液晶显示设备等)，从而显示程序的视频等。

音频信号处理单元907执行预定的处理、例如针对音频数据的去噪，执行D/A转换处理或针对处理后的音频数据的放大处理，以及将由此得到的音频数据提供给扬声器908，从而执行音频输出处理。

外部接口单元909是如下接口：其用于与外部设备或网络连接并执行视频数据、音频数据等的数据发送或数据接收。

用户接口单元911连接至控制单元910。用户接口单元911通过操作开关、遥控信号接收单元等来配置并根据用户操作将操作信号提供给控制单元910。

控制单元910由CPU(中央处理单元)、存储器等配置而成。存储器存储对由CPU执行的程序或执行处理的CPU而言必要的各种数据、EPG数据、通过网络获取的数据等。由CPU在预定定时例如启动电视设备900时读出并执行存储在存储器中的程序。CPU控制每个单元以使得电视设备900能够通过执行程序来根据用户操作执行操作。

此外，在电视设备900中，设置总线912使得调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等与控制单元910相互连接。

在如上配置的电视设备中，在解复用器903和解码器904中来设定根据所述应用解码装置(解码方法)的功能。因此，在具有与现有模式的兼容性的模式下被复用的多视点图像可以被分离。

<第十二实施例>

[蜂窝电话的配置示例]

图101示出了根据本技术的蜂窝电话的示意性配置。蜂窝电话920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930以及控制单元931。这些元件通过总线933互联。

此外，天线921连接至通信单元922，扬声器924和麦克风925连接至音频编解码器923。另外，操作单元932连接至控制单元931。

蜂窝电话920执行各种操作，例如发送和接收音频信号、发送和接收电子邮件或图像数据，捕捉图像以及以各种方式(例如语音电话模式和数据通信模式)来记录数据。

在语音电话模式下，由麦克风925生成的音频信号被转换为音频数据并被音频编解码器923进行压缩，并且由此生成的音频数据被提供给通信单元922。通信单元922针对音频数据执行调制处理、变频处理等，从而生成发送信号。此外，通信单元922将发送信号提供给天线921，从而将发送信号发送至基站(图中未示出)。另外，通信单元922针对由天线921接收到的接收信号执行放大处理、变频处理、解调处理等并将所获取的音频数据提供给音频编解码器923。音频编解码器923对音频数据执行数据解压缩，将音频数据转换为模拟音频信号，以及将音频信号输出给扬声器924。

在数据通信模式下，在执行邮件发送的情况下，控制单元931接收由操作单元932的操作输入的字符数据并在显示单元930上显示所输入的字符。此外，控制单元931基于由操作单元932提供的用户指令等来生成邮件数据并将所生成的邮件数据提供给通信单元922。通信单元922针对邮件数据执行调制处理、变频处理等并将所获取的发送信号通过天线921进行发送。此外，通信单元922针对由天线921接收到的接收信号执行放大处理、变频处理、解调制处理等，从而恢复所述邮件数据。邮件数据被提供给显示单元930，从而显示邮件的内容。

此外，蜂窝电话920可以通过使用记录/再现单元929在存储介质上记录所接收的邮件数据。存储介质为任意可重写的存储介质。例如，存储介质为半导体存储器(例如RAM或内置式闪存)或可移动介质(例如硬盘、磁盘、磁光盘、光盘、USB存储器)或存储卡。

在数据通信模式下发送图像数据的情况下，由相机单元926生成的图像数据被提供给图像处理单元927。图像处理单元927对所述图像数据执行编码处理，从而生成编码数据。

解复用单元928在预定模式下对由图像处理单元927生成的编码数据和由音频编解码器923提供的音频数据进行复用并将复用数据提供给通信单元922。通信单元922对复用数据执行调制处理、变频处理等并将所获取的发送信号从天线921发送。此外，通信单元922针对由天线921接收到的接收信号执行放大处理、变频处理、解调制处理等，从而恢复复用数据。将复用数据提供给解复用单元928。解复用单元928对复用数据进行解复用，将编码数据提供给图像处理单元927以及将音频数据提供给音频编解码器923。图像处理单元927对编码数据进行解码，从而生成图像数据。该图像数据被提供给显示单元930，从而显示所接收的图像。音频编解码器923将音频数据转换为模拟音频信号并将该模拟音频信号提供给扬声器924，从而输出所接收的音频。

在如上配置的蜂窝电话设备中，在图像处理单元927和解复用单元928中设定根据所述应用的解码装置(解码方法)的功能。因此，在图像数据的通信中，根据与现有模式具有兼容性的模式被复用的多视点图像可以被分离。

<第十三实施例>

[记录和再现装置的配置示例]

图102示出了根据本技术的记录和再现装置的示意性配置。记录和再现装置940例如在记录介质上记录接收到的广播程序中的音频数据和视频数据并根据用户指令的定时将所记录的数据提供给用户。此外，记录和再现装置940例如可以从另一装置获取音频数据和视频数据并在记录介质上记录数据。另外，记录和再现装置940对记录在记录介质上的音频数据和视频数据进行解码并输出，从而可以在显示器装置等中执行图像显示或音频输出。

记录和再现设备940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动)单元944、盘驱动器945、选择器946、解码器947、OSD(同屏显示)单元948、控制单元949以及用户接口单元950。

调谐器941从通过天线(图中未示出)接收到的广播信号中来选择期望的信道。调谐器941将通过调制期望的信道的接收信号而获取的编码比特流输出给选择器946。

外部接口单元942被配置为IEEE 1394接口、网络接口单元、USB接口、闪存接口等中的至少之一。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口并执行对要记录的视频数据、音频数据等的数据接收。

当从外部接口单元942提供的视频数据和音频数据未被编码时，编码器943根据预定模式对数据进行编码，复用编码比特流并将复用的编码比特流输出给选择器946。

HDD单元944记录内容数据(例如视频数据和音频数据)、各种程序以及在内置式硬盘上的其他数据并当再现所述数据等时从硬盘读出所述数据。

盘驱动器945针对安装的光盘执行信号记录和信号再现。光盘的示例包括DVD盘(DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光光盘等。

选择器946在记录视频或音频时选择由调谐器941或编码器943提供的编码比特流之一并将该编码比特流提供给HDD单元944和盘驱动器945之一。此外，选择器946在再现视频或音频时将由HDD单元944或盘驱动器945输出的编码比特流提供给解码器947。

解码器947对编码比特流执行解码处理。解码器947将由执行解码处理生成的视频数据提供给OSD单元948。此外，解码器947输出由执行解码处理生成的音频数据。

OSD单元948生成用于显示项目选择等的菜单屏幕的视频数据并在其被添加到在由解码器947输出的视频数据上时输出所生成的视频数据。

用户接口单元950连接至控制单元949。用户接口单元950由操作开关、遥控信号接收单元等来配置并将根据用户操作的操作信号提供给控制单元949。

控制单元949通过CPU、存储器等来配置。存储器存储对由CPU执行的程序或执行处理的CPU而言必要的各种数据。由CPU在预定定时(例如启动记录和再现设备940时)读出并执行存储在存储器中的程序。CPU控制每个单元使得记录和再现设备940通过执行程序来根据用户操作进行操作。

在如上配置的记录和再现设备中，在编码器943中根据所述应用来设定编码装置(编码方法)的功能。因此，可以根据具有与现有模式的兼容性的模式来复用多视点图像。

<第十四实施例>

[成像设备的配置示例]

图103示出了根据本技术的成像设备的示意性配置。成像设备960对对象进行成像，在显示单元上显示对象的图像或将所述图像作为图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969以及控制单元970。此外，用户接口单元971连接至控制单元970。另外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等通过数据总线972进行连接。

光学块961通过使用聚焦透镜、快门机构等来配置。光学块961在成像单元962的成像面上形成对象的光学图像。成像单元962通过使用CCD或CMOS图像传感器来配置，根据光学图像通过光电转换生成电信号，并将该电信号提供给相机信号处理单元963。

相机信号处理单元963执行各种相机信号处理，例如针对由成像单元962提供的电信号的拐点校正(knee correction)、伽马校正以及颜色校正。相机信号处理单元963将相机信号处理后的图像数据提供给图像数据处理单元964。

图像数据处理单元964针对从相机信号处理单元963提供的图像数据进行编码处理和复用处理。图像数据处理单元964将通过执行编码处理和复用处理而生成的编码数据提供给外部接口单元966或介质驱动器968。此外，图像数据处理单元964针对从外部接口单元966或介质驱动器968提供的编码数据执行分离处理和解码处理。图像数据处理单元964将通过执行分离处理和解码处理而生成的图像数据提供给显示单元965。此外，图像数据处理单元964将通过由相机信号处理单元963提供的图像数据提供给显示单元965的处理而获取的显示数据或从OSD单元969获取的显示数据提供给显示单元965同时将其叠加到图像数据上。

OSD单元969生成由符号、字符或图来形成的菜单屏幕、图标等的显示数据并将显示数据输出到图像数据处理单元964。

外部接口单元966例如通过USB输入/输出端等来配置并在打印图像的情况下连接至打印机。此外，必要时将驱动器连接至外部接口单元966，在其中适当安装可移动介质(例如磁盘或光盘)以及必要时安装从可移动介质上读取的计算机程序。此外，外部接口单元966包括连接至预定网络(例如LAN或因特网)的网络接口。控制单元970例如可以根据从用户接口单元971提供的指令来从存储器单元967读取编码数据并将来自外部接口单元966的编码数据提供给通过网络连接的另外的设备。此外，控制单元970可以通过外部接口单元966获取由另外的设备通过网络提供的编码数据或图像数据并将数据提供给图像数据处理单元964。

，例如使用任意可读并可写的可移动介质(例如磁盘、磁光盘、光盘)或半导体存储器作为通过介质驱动器968来驱动的记录介质。此外，作为可移动介质的记录介质的类型是任意的并且可以为磁带设备、磁盘设备或存储卡。另外，记录介质可以为非接触式IC卡等。

此外，介质驱动器968和记录介质可以被集成在一起并通过非便携式记录介质来配置(例如内置式硬盘或SSD(固态硬盘)。

控制单元970通过CPU、存储器等来配置。存储器存储对由CPU执行的程序或执行处理的CPU而言必要的各种数据。由CPU在预定定时(例如启动图像设备960时)读出并执行存储在存储器中的程序。CPU控制每个单元使得成像设备960通过执行程序来执行根据用户操作的操作。

在如上配置的成像设备中，在图像数据处理单元964中根据所述应用来设定解码装置(解码方法)的功能。因此，当通过对记录在存储器单元967、记录介质等中的编码数据进行解码来生成解码图像数据时，根据具有与现有模式兼容性的模式被复用的多视点图像可以被分离。

此外，本技术的实施例并不限制于上述实施例，在不脱离本技术的构思的范围内可以进行各种变化。

附图标记列表列表

50 编码装置

59 复用单元

61 兼容编码器

62 辅助编码器

120 解码装置

121 分离单元

127 图像生成单元

131 兼容解码器

132 辅助解码器

140 编码装置

151 兼容编码器

152 辅助编码器

170 解码装置

171 图像生成单元

180 编码装置

191 兼容编码器

200 解码装置

202 图像生成单元

211 兼容解码器

Claims (10)

1.一种解码装置，其特征在于，包括：

解码单元，其对将多个视点的图像和视差图像复用后的复用图像进行编码而得到的编码流进行解码，生成所述复用图像；以及

分离单元，其从通过所述解码单元生成的复用图像分离所述多个视点的图像和所述视差图像。

2.根据权利要求1所述的解码装置，其特征在于，

所述解码单元接收表示所述编码流和复用方式的复用方式信息以及所述编码流，

所述分离单元根据所述复用方式信息来分离所述多个视点的图像和所述视差图像。

3.根据权利要求1所述的解码装置，其特征在于，

所述解码单元接收表示所述多个视点的图像的复用方式的信息和表示所述视差图像的复用方式的信息，

所述分离单元根据表示所述多个视点的图像的复用方式的信息和表示所述视差图像的复用方式的信息来分离所述多个视点的图像和所述视差图像。

4.根据权利要求2所述的解码装置，其特征在于，

所述解码单元接收确定视点数的视点数信息，

所述分离单元根据所述视点数信息来分离所述多个视点的图像。

5.根据权利要求2所述的解码装置，其特征在于，

所述解码单元接收识别是所述视差图像的视差识别信息，

所述分离单元根据所述视差识别信息来分离所述多个视点的图像。

6.根据权利要求2所述的解码装置，其特征在于，

所述复用图像通过转换与所述多个视点的图像对应的所述视差图像的分辨率而被复用。

7.根据权利要求6所述的解码装置，其特征在于，

所述复用图像进行转换了所述多个视点的图像的分辨率的复用。

8.根据权利要求6所述的解码装置，其特征在于，

所述解码单元接收识别转换所述视差图像的分辨率时的转换方式的分辨率转换识别信息，

还包括根据所述分辨率转换识别信息转换由所述分离单元分离的所述视差图像的分辨率的转换单元。

9.根据权利要求8所述的解码装置，其特征在于，

所述解码单元接收识别转换所述多个视点的图像的分辨率时的转换方式的分辨率转换识别信息，

所述转换单元根据所述分辨率转换识别信息转换由所述分离单元分离的所述视差图像的分辨率。

10.一种解码方法，其特征在于，包括：

对将多个视点的图像和视差图像复用后的复用图像进行编码而得到的编码流进行解码，生成所述复用图像；以及

从生成的复用图像分离所述多个视点的图像和所述视差图像。