CN103081480A - 图像处理装置和方法 - Google Patents

Abstract

本发明涉及一种用于正确传送用来生成多视图图像的格式的图像数据的图像处理装置和方法。再生装置的模式确定单元通过参考要用于生成多视点图像的3D图像数据的格式来确定兼容模式，该兼容模式表示与图像数据格式的兼容性。3D信息生成单元生成表示所确定的兼容模式的兼容性信息作为3D信息。通信单元将3D图像数据和3D信息传送到显示装置。显示装置的通信单元接收由再生装置发送的3D图像数据，并接收作为3D信息的兼容性信息。模式确定单元根据3D信息确定3D图像数据的兼容模式。基于所确定的兼容模式，同步控制单元控制3D图像数据的处理的同步。本发明的技术可以应用于例如图像处理装置中。

Description

图像处理装置和方法

技术领域

本技术涉及图像处理装置和方法，更具体地，涉及用于正确传送能够生成多视图图像的格式的图像数据的图像处理装置和方法。

背景技术

作为视频内容，允许通过使用视差进行立体观看的3D（3维）图像已经越来越普遍。

作为用于观看该种3D图像的流行的技术，存在一种技术，通过该技术用户看到交替显示的两个视点的图像。在观看两个视点的图像时，用户配戴眼镜，该眼镜当两个视点的图像中的一个被显示时打开用于左眼的遮光器，并且当两个视点的图像中的另一个被显示时打开用于右眼的遮光器（下文中称为二视图技术）。

专利文献1中公开了一种示例方法，该示例方法对用于允许立体观看的3D图像数据或多视点的图像数据进行编码和解码。

近年来，存在对于在没有用于立体观看的眼镜的情况下立体观看3D图像的技术（下文中称为多视图技术）的日益增加的需求。在多视图技术的情况下，为了显示3D图像，产生并显示多视图图像。观看者能够在没有用于立体观看的眼镜的情况下观看适合他/她的位置（视点）的图像。

引用列表

专利文献

专利文献1：日本专利申请公开No.2008-182669

发明内容

要由本发明解决的问题

如同其他类型的图像一样，存在该种3D图像在装置之间传送的很多情况。例如，未压缩的3D图像可以从蓝光播放器（再生装置）等传送到数字电视监视器（显示装置）等。

然而，已经存在仅用于二视点3D图像的传送方法，并且还没有提出用于传送多视点3D图像的方法。

因此，如果通过用于二视点3D图像的现有传送方法传送该种多视点3D图像，则不能执行正确传送。

考虑到这些情况研发出了本技术，并且本技术的目的是允许该种能够生成多视点图像的格式的图像数据的正确传送。

解决问题的技术方案

本技术的一个方面是一种图像处理装置，包括：模式确定单元，被配置用于通过参考要用于生成多视点图像的立体视觉图像数据的格式来确定兼容模式，所述兼容模式表示与图像数据格式的兼容性；生成单元，被配置用于生成兼容性信息作为3D信息，所述兼容性信息表示由所述模式确定单元确定的所述兼容模式；及传送单元，被配置用于将所述立体视觉图像数据和由所述生成单元生成的所述3D信息传送到所述立体视觉图像数据的传送目的地。

所述生成单元可以生成格式信息作为所述3D信息，所述格式信息表示所述立体视觉图像数据的格式。

所述生成单元可以生成图像复用信息和视差图像复用信息作为所述3D信息，所述图像复用信息表示用于所述立体视觉图像数据中的图像数据的复用技术，所述视差图像复用信息表示用于所述立体视觉图像数据中的视差图像数据的复用技术。

所述生成单元可以生成识别信息作为所述3D信息，所述识别信息用于识别所述立体视觉图像数据中的图像数据的复用式样或所述立体视觉图像数据中的视差图像数据的复用式样。

所述传送单元可以将所述3D信息写入HDMI（高清晰多媒体接口）标准的VSIFPC（供应商特定的信息帧包内容）中，并传送所述3D信息。

所述传送单元可以将所述3D信息写入到所述VSIFPC的区域中的空闲空间中，并传送所述3D信息，所述VSIFPC的区域被设计用于使得与3D图像数据有关的信息被写入到该区域中。

所述兼容模式的示例可以包括表示与现有的二维图像数据的兼容性的单一兼容模式、表示与现有的帧封装3D图像数据的兼容性的帧封装兼容模式以及表示与现有的立体视觉3D图像数据的兼容性的立体视觉兼容模式。

所述传送单元使用等同于垂直同步信号的多个周期的有效视频区间来传送所述立体视觉图像数据的一帧数据。

所述的图像处理装置进一步包括：区间设置单元，被配置用于对所述垂直同步信号设置不规则周期。所述传送单元可以使用等同于由所述区间设置单元设置的多个周期的有效视频区间来传送所述立体视觉图像数据的一帧数据。

图像处理装置进一步包括：性能信息获取单元，被配置用于从所述立体视觉图像数据的传送目的地处的装置获取性能信息，所述性能信息表示所述装置的处理性能；及同步设置单元，被配置用于基于通过由所述性能信息获取单元获取的所述性能信息表示的所述装置的处理性能，设置用于所述立体视觉图像数据的同步方法。所述生成单元生成同步信息作为3D信息，所述同步信息表示由所述同步设置单元设置的所述同步方法。

本发明的一个方面还是一种要由图像处理装置执行的图像处理方法，该方法包括：通过参考要用于生成多视点图像的立体视觉图像数据的格式来确定兼容模式，所述兼容模式表示与图像数据格式的兼容性，所述确定由模式确定单元执行；生成兼容性信息作为3D信息，所述兼容性信息表示由所述模式确定单元确定的兼容模式，所述生成由生成单元执行；及将所述立体视觉图像数据和由所述生成单元生成的所述3D信息传送到所述立体视觉图像数据的传送目的地，所述传送由传送单元执行。

本发明的另一方面是一种图像处理装置，包括：接收单元，被配置用于接收要用于生成多视点图像的立体视觉图像数据，以及接收兼容模式作为3D信息，所述兼容模式表示所述立体视觉图像数据的格式与图像数据格式的兼容性；模式确定单元，被配置用于基于由所述接收单元接收到的所述3D信息，确定由所述接收单元接收到的所述立体视觉图像数据的所述兼容模式；及同步控制单元，被配置用于基于由所述模式确定单元确定的所述兼容模式，控制对于由所述接收单元接收到的所述立体视觉图像数据的处理的同步。

所述接收单元可以接收格式信息作为所述3D信息，所述格式信息表示所述立体视觉图像数据的格式。

所述接收单元可以生成图像复用信息和视差图像复用信息作为所述3D信息，所述图像复用信息表示用于所述立体视觉图像数据中的图像数据的复用技术，所述视差图像复用信息表示用于所述立体视觉图像数据中的视差图像数据的复用技术。

所述接收单元可以接收识别信息作为所述3D信息，所述识别信息用于识别所述立体视觉图像数据中的图像数据的复用式样或所述立体视觉图像数据中的视差图像数据的复用式样。

所述接收单元可以接收所述3D信息，所述3D信息被写入到HDMI（高清晰多媒体接口）标准的VSIFPC（供应商特定的信息帧包内容）中并被传送。

所述接收单元可以接收所述3D信息，所述3D信息被写入到所述VSIFPC的区域中的空闲空间中并被传送，所述VSIFPC的区域被设计用于使得与3D图像数据有关的信息被写入到该区域中。

所述兼容模式的示例可以包括表示与现有的二维图像数据的兼容性的单一兼容模式、表示与现有的帧封装3D图像数据的兼容性的帧封装兼容模式以及表示与现有的立体视觉3D图像数据的兼容性的立体视觉兼容模式。

所述接收单元可以接收使用等同于垂直同步信号的多个周期的有效视频区间传送的所述立体视觉图像数据的一帧数据。

所述接收单元可以接收使用等同于所述垂直同步信号的多个周期的有效视频区间传送的所述立体视觉图像数据的一帧数据，所述垂直同步信号的周期是不规则的。

图像处理装置可以进一步包括：性能信息提供单元，被配置用于将表示所述图像处理装置的处理性能的性能信息提供给作为所述立体视觉图像数据的传送器的装置。

本技术的另一方面还是一种要由图像处理装置执行的图像处理方法，该方法包括：接收要用于生成多视点图像的立体视觉图像数据，以及接收兼容模式，所述兼容模式表示所述立体视觉图像数据的格式与图像数据格式的兼容性，所述接收由接收单元执行；基于由所述接收单元接收的所述3D信息，确定由所述接收单元接收到的所述立体视觉图像数据的所述兼容模式，所述确定由模式确定单元执行；及基于由所述模式确定单元确定的所述兼容模式，控制对于由所述接收单元接收到的所述立体视觉图像数据的处理的同步，所述控制由同步控制单元执行。

在本技术的另一方面，要用于生成多视点图像的立体视觉图像数据的格式被参考，并且表示与图像数据格式的兼容性的兼容模式被确定。表示兼容模式的兼容性信息被生成作为3D信息，并且立体视觉图像数据和3D信息被传送到立体视觉图像数据的传送目的地。

在本技术的另一方面，要用于生成多视点图像的立体视觉图像数据被接收，并且表示立体视觉图像数据的格式与图像数据格式的兼容性的兼容模式也被接收作为3D信息。基于接收到的3D信息，立体视觉图像数据的兼容模式被确定。基于兼容模式，控制立体视觉图像数据的处理的同步。本发明的效果

根据本技术，能够执行通信。尤其是，能够正确传送该种能够生成多视点图像的格式的图像数据。

附图说明

图1是示出3D图像系统的编码装置的典型示例结构的框图。

图2是示出与图1中所示的3D图像系统的编码装置对应的解码装置的典型示例结构的框图。

图3是示出3D图像系统的编码装置的另一示例结构的框图。

图4是示出与图3中所示的3D图像系统的编码装置对应的解码装置的典型示例结构的框图。

图5是示出3D图像系统的编码装置的又一示例结构的框图。

图6是示出与图5中所示的3D图像系统的编码装置对应的解码装置的典型示例结构的框图。

图7是示出应用了本技术的传送系统的典型示例结构的框图。

图8是示出图7中所示的再生装置的典型示例结构的框图。

图9是示出图7中所示的显示装置的典型示例结构的框图。

图10是示出HDMI传送系统的典型示例结构的框图。

图11是示出供应商特定的信息帧包内容（Vendor Specific infoFramePacket Contents）的示例结构的示意图。

图12是用于说明3D_Structure的示例扩展的示意图。

图13是用于说明现有的图像传送的示例的示意图。

图14是用于说明应用了本技术的图像传送的示例的示意图。

图15是用于说明应用了本技术的图像传送的另一示例的示意图。

图16是用于说明应用了本技术的图像传送的又一示例的示意图。

图17是用于说明应用了本技术的图像传送的又一示例的示意图。

图18是用于说明应用了本技术的图像传送的又一示例的示意图。

图19是用于说明应用了本技术的图像传送的又一示例的示意图。

图20是用于说明应用了本技术的图像传送的又一示例的示意图。

图21是用于说明发送处理流程的示例的流程图。

图22是用于说明接收处理流程的示例的流程图。

图23是用于示出E-EDID数据的示例结构的示意图。

图24是用于示出供应商特定的数据块（Vendor-Specific Data Block）的示例结构的示意图。

图25是用于说明3D_Structure_ALL_X的示例扩展的示意图。

图26是用于说明3D_Structure_X的示例扩展的示意图。

图27是示出图7中所示的再生装置的另一示例结构的框图。

图28是示出图7中所示的显示装置的另一示例结构的框图。

图29是用于说明发送处理流程的另一示例的流程图。

图30是用于说明接收处理流程的另一示例的流程图。

图31是示出3D图像系统的编码装置的另一示例结构的框图。

图32是示出兼容性信息和视差图像信息的示例描述的示意图。

图33是示出在图32中所示的视差图像信息的示例具体描述的示意图。

图34是示出辅助流中的兼容性信息和视差图像信息的示例描述的示意图。

图35是示出图34中所示的视差图像信息的示例具体描述的示意图。

图36是用于说明由图31中所示的编码装置进行的编码操作的流程

图37是用于说明由图31中所示的编码装置进行的编码操作的流程图。

图38是示出与图31中所示的编码装置对应的解码装置的示例结构的示意图。

图39是用于说明由图38中所示的解码装置进行的解码操作的流程图。

图40是示出3D图像系统的编码装置的又一示例结构的框图。

图41是用于说明由图40中所示的编码装置进行的编码操作的流程图。

图42是用于说明由图40中所示的编码装置进行的编码操作的流程图。

图43是示出与图40中所示的编码装置对应的解码装置的示例结构的示意图。

图44是用于说明由图43中所示的解码装置进行的解码操作的流程图。

图45是示出用于要被编码的对象的复用式样的示例的示意图。

图46是示出复用的效果特性的示意图。

图47是示出用于要被编码的对象的复用式样的另一示例的示意图。

图48是示出用于要被编码的对象的复用式样的又一示例的示意图。

图49是示出3D图像系统的编码装置的又一示例结构的框图。

图50是用于说明由图49中所示的编码装置进行的编码操作的流程图。

图51是用于说明由图49中所示的编码装置进行的编码操作的流程图。

图52是示出与图49中所示的编码装置对应的解码装置的示例结构的示意图。

图53是用于说明由图52中所示的解码装置进行的解码操作的流程图。

图54是示出比特流的示例结构的示意图。

图55是示出图54中所示的用于视差图像的3DV技术的SPS子集的示例描述的示意图。

图56是示出图55中所示的用于视差图像的拓展信息的示例描述的示意图。

图57是示出图55中所示的用于视差图像的VUI拓展信息的示例描述的示意图。

图58是示出3DV编码数据的NAL报头的示例描述的示意图。

图59是示出图58中所示的用于视差图像的报头拓展信息的示例描述的示意图。

图60是示出图54中所示的用于3DV技术的SEI的示例描述的示意图。

图61是示出比特流的另一示例结构的示意图。

图62是示出用于图61中所示图像的3DV技术的SPS子集的示例描述的示意图。

图63是示出在3DV技术适应HEVC技术的情况下的比特流的示例结构的示意图。

图64是示出图63中所示的SPS的示例描述的示意图。

图65是示出图64中所示的SPS子集的示例描述的示意图。

图66是示出图65中所示的SPS子集中的VUI信息的示例描述的示意图。

图67是示出图63中所示的3DV技术的SEI的示例描述的示意图。

图68是示出应用了本技术的计算机的典型示例结构的框图。

图69是示意性地示出应用了本技术的电视设备的结构的示意图。

图70是示意性地示出应用了本技术的便携式电话装置的结构的示意图。

图71是示意性地示出应用了本技术的记录/再生装置的结构的示意图。

图72是示意性地示出应用了本技术的成像装置的结构的示意图。

具体实施方式

下面是对用于执行本技术的模式（下文称为实施例）的描述。以下面的顺序进行说明：1.第一实施例（传送系统）2.第二实施例（传送系统）3.第三实施例（传送系统）4.第四实施例（传送系统）5.第五实施例（传送系统）6.实施例中的比特流7.在3DV格式适应HEVC格式的情况下的比特流8.第六实施例（计算机）9.第七实施例（电视设备）10.第八实施例（便携式电话装置）11.第九实施例（记录/再生装置）12.第十实施例（成像装置）

<1.第一实施例>

[3D图像系统的示例]

首先，系统处理允许通过使用图像之间的视差进行立体观看的立体图像（3D图像）。下面描述的3D图像系统是通过生成和显示多视点图像来处理多视点格式的3D图像的系统。在3D图像的情况下，用户能够用肉眼（在没有用于立体观看的眼镜的情况下）立体地观看图像。

下文中，多视点3D图像格式（以此格式生成并显示多视点图像）将被称为3DV。这里，3DV是适应AVC、MVC、下文描述的HEVC（高效视频编码）等的格式（技术）。

在3DV格式中，当3D图像数据被传送时在发送侧对多视点格式的3D图像数据进行编码，并且在接收侧对编码后的数据进行解码。3DV格式具有与现有的其他图像格式的兼容性。

即，在3DV格式中，作为3D图像形成的多视点图像包括要通过现有的编码技术编码的图像（以确保与现有的编码装置的兼容性）以及其他图像。在下面，要通过现有的编码技术编码的各个图像将被称为兼容图像，并且其他图像将被称为辅助图像，该其他图像用于他国使用兼容图像来生成各自具有比各个兼容图像的视点数量更大数量的视点的图像。

下面，将描述数据传送的示例。

[编码装置的结构示例]

首先，描述以该种能够确保与现有的2D图像的兼容性的格式（单一兼容模式）传送3D图像的示例。

图1是示出3D图像系统的编码装置的典型示例结构的框图。图1中所示的编码装置50是3D图像系统的发送侧上的装置，并且以单一兼容模式对3D图像进行编码。

如图1所示，在编码装置50中，成像单元51A捕获预定视点的HD（高解析度）图像作为图像A1，并将图像A1提供给图像转换单元52、视差图像生成单元53及视点间距离信息生成单元56。在水平方向上距离成像单元51A为Δd1_AB的位置上，成像单元51B捕获与图像A1的视点不同的视点的HD图像作为图像B1，并将图像B1提供给图像转换单元52、视差图像生成单元53及视点间距离信息生成单元56。在与成像单元51B相反的水平方向上距离成像单元51A为Δd1_AC的位置上，成像单元51C捕获与图像A1和图像B1的视点不同的视点的HD图像作为图像C1，并将图像C1提供给图像转换单元52、视差图像生成单元53及视点间距离信息生成单元56。

下面，与图像B1和图像C1对应的视点是能够被理解为3D图像的图像的视点当中的外侧视点。因此，使用图像A1到C1，与编码装置50对应的解码装置能够通过对与图像B1和图像C1的视点相比位于更内侧的视点的图像进行插值来生成多视图图像。作为结果，与在通过使用内侧视点图像对外侧视点图像进行插值（外推）的情况相比，能够以更高的精度生成多视图图像。

与编码装置50对应的解码装置当然可以对与图像B1和图像C1的视点相比位于更外面的视点图像进行插值（外推）。并且，距离Δd1_AB和Δd1_AC可以是恒定的或可以是随时间而改变的。

因为图像A1是由成像单元51A到51C中的、水平方向上的成像单元51A提供的，所以图像转换单元52确定图像A1是兼容图像。图像转换单元52将表示图像A1为兼容图像的信息提供给兼容性信息生成单元55。图像转换单元52将作为兼容图像的图像A1按原样提供给编码器58。

图像转换单元52还确定图像B1和图像C1是辅助图像，并通过预定复用技术将除了图像A1之外的这些图像进行复用。例如，如图1所示，图像转换单元52将图像B1和图像C1的水平分辨率降低一半（下文称为1/2分辨率图像B1和1/2分辨率图像C1），并在水平方向上布置具有减半的分辨率的图像B1和图像C1，以获得一帧的原始图像大小。

图像转换单元52将作为复用的结果获得的复合图像提供给编码器58，并将表示用于辅助图像的复用技术的信息提供给图像信息生成单元54。

使用由成像单元51A到51C提供的图像A1到C1，视差图像生成单元53（视差图像生成单元）检测图像A1到C1的各个像素的视差。视差图像生成单元53生成表示作为兼容图像的图像A1的各个像素的视差的视差图像A1’，并将视差图像A1’直接提供给编码器58。

视差图像生成单元53还生成表示图像B1的各个像素的视差的视差图像B1’作为辅助图像，以及表示图像C的各个像素的视差的视差图像C1’作为辅助图像。通过与用于对图像B1和图像C1进行复用的方法相同的方法（肩并肩技术（Side By Side technique））来对视差图像B1’和C1’进行复用。视差图像生成单元53将所产生的复合图像提供给编码器58。视差图像生成单元53将表示用于辅助图像的视差图像的复用技术的信息提供给视差图像信息生成单元57。

基于从图像转换单元52提供的信息，图像信息生成单元54生成表示用于辅助图像的复用技术的信息等作为关于兼容图像和辅助图像的图像信息，并将该图像信息提供给编码器58。

基于从图像转换单元52提供的信息，兼容性信息生成单元55（生成单元）生成表示兼容图像和兼容模式的信息作为关于兼容性的兼容性信息，并将该兼容性信息提供给编码器58。

应该注意，兼容模式是表示用于兼容图像的编码方法或复用方法（或表示是否要执行复用、复用技术的类型等）的模式。例如，兼容模式可以是表示用于通过AVC技术对单个视点的兼容图像进行编码的编码方法的单一模式、表示用于将两个视点的兼容图像进行复用并通过AVC技术对经复用后的图像进行编码的帧封装模式、表示用于通过MVC技术对两个视点的兼容图像进行编码的编码方法的立体模式，等等。

使用从成像单元51A到51C提供的图像A1到C1，视点间距离信息生成单元56（视点间距离信息生成单元）检测图像A1到C1当中的两个图像之间的各自距离（下文称为视点间距离）。例如，视点间距离信息生成单元56检测是水平方向上成像单元51A和成像单元51B之间的距离Δd1_AB以及水平方向上成像单元51A和成像单元51B之间的距离Δd1_AC的视点间距离。视点间距离信息生成单元56生成表示视点间距离等的信息作为关于视点间距离的视点间距离信息，并将视点间距离信息提供给编码器58。

基于从视差图像生成单元53提供的信息，视差图像信息生成单元57生成表示用于辅助图像的视差图像的复用技术等的信息作为关于视差图像的视差图像信息，并将该视差图像信息提供给编码器58。

编码器58由兼容编码器61和辅助编码器62形成。兼容编码器61（兼容图像编码单元）通过现有的AVC技术对作为从图像转换单元52提供的兼容图像的图像A1进行编码，并对编码后的图像添加各种信息。所产生的编码流作为兼容流被提供给复用单元59。

辅助编码器62（辅助图像编码单元）通过预定技术对来自图像转换单元52的辅助图像的复用图像以及来自视差图像生成单元53的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行编码。由辅助编码器62使用的编码技术可以是AVC技术、MVC技术、EPEG2（活动图像专家组2）技术，等等。

辅助编码器62还通过将来自图像信息生成单元54的图像信息、来自兼容性信息生成单元55的兼容性信息、来自视点间距离信息生成单元56的视点间距离信息、来自视差图像信息生成单元57的视差图像信息等添加到作为编码的结果获得的编码图像中，来生成编码流。辅助编码器62将编码流作为辅助流提供给复用单元59。

复用单元59从由兼容编码器61提供的兼容流和由辅助编码器62提供的辅助流生成TS（传输流），并将TS进行复用。复用单元59（传送单元）发送作为复用的结果获得的复用流。

[解码装置的示例结构]

图2是示出对于从图1中所示的编码装置50发送的复用流进行解码的（单一兼容模式的）解码装置的示例结构的示意图。

图2中所示的解码装置120包括分离单元121、解码器122、图像信息获取单元123、视点间距离信息获取单元124、视差图像信息获取单元125、兼容性信息获取单元126及图像生成单元127。解码装置120对从编码装置50传送的复用流进行解码，产生单视图图像或多视图图像，并使显示装置（未示出）显示所产生的图像。

具体地，解码装置120的分离单元121（接收单元）接收从编码装置50传送的复用流，并将TS彼此分离。分离单元121从分离后的TS中提取兼容流和辅助流，并将所提取的流提供给解码器122。

解码器122由兼容解码器131和辅助解码器132组成。基于从辅助解码器132提供的用于识别兼容流的信息，解码器122的兼容解码器131（兼容图像解码单元）从由分离单元121提供的辅助流中辨别出兼容流。兼容解码器131通过与AVC技术对应的技术对兼容流中包括的编码后的兼容图像进行解码，并将所产生的图像A1提供给图像生成单元127。

基于在从分离单元121提供的辅助流中包括的兼容性信息，辅助解码器132将用于识别兼容流的信息提供给兼容解码器131。基于该兼容性信息，辅助解码器132识别从分离单元121提供的兼容流和辅助流中的辅助流。辅助解码器132（辅助图像解码单元）通过与图5中所示的辅助编码器62对应的技术对编码后的辅助图像的复用图像、兼容图像的视差图像A’及辅助图像的视差图像的复用图像（这些图像被包括在从分离单元121提供的辅助流中）进行解码。

辅助解码器132将作为解码的结果获得的辅助图像的复用图像、兼容图像的视差图像A’及辅助图像的视差图像的复用图像提供给图像生成单元127。并且，辅助解码器132将在辅助流中包括的图像信息提供给图像信息获取单元123，并将视点间距离信息提供给视点间距离信息获取单元124。此外，辅助解码器132将在辅助流中包括的视差图像信息提供给视差图像信息获取单元125，并将兼容性信息提供给兼容性信息获取单元126。

图像信息获取单元123获取从辅助解码器132提供的图像信息，并将该图像信息提供给图像生成单元127。视点间距离信息获取单元124获取从辅助解码器132提供的视点间距离信息，并将该视点间距离信息提供给图像生成单元127。

视差图像信息获取单元125获取从辅助解码器132提供的视差图像信息，并将该视差图像信息提供给图像生成单元127。兼容性信息获取单元126获取从辅助解码器132提供的兼容性信息，并将该兼容性信息提供给图像生成单元127。

根据来自观看者的显示指令，图像生成单元127输出图像，并使显示装置（未示出）显示该图像。具体地，根据来自观看者的多视图3D图像显示指令，图像生成单元127（生成单元）基于来自图像信息获取单元123的图像信息、来自视点间距离信息获取单元124的视点间距离信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像、辅助图像的复用图像、兼容图像的视差图像及辅助图像的视差图像的复用图像，来生成与显示装置（未示出）对应的三个或更多个视点的并具有兼容图像和辅助图像的分辨率的一半分辨率的图像。

更具体地，基于被包括在来自视差图像信息获取单元125的视差图像信息中的并且表示用于辅助图像的视差图像的复用技术的信息，图像生成单元127从辅助图像的视差图像（其已经通过例如肩并肩技术被复用）的复用图像中分离出辅助图像中的每一个的视差图像。并且，基于在来自图像信息获取单元123的图像信息中包括的并表示用于辅助图像的复用技术的信息，图像生成单元127从辅助图像（其已经通过例如肩并肩技术被复用）的复用图像中分离出辅助图像中的每一个。

此外，基于与显示装置（未示出）对应的视点的数量和视点间距离信息，图像生成单元127确定要生成的多视图图像的视点中的每一个视点的位置。使用兼容图像、各个辅助图像、兼容图像的视差图像及各个辅助图像的视差图像，图像生成单元127生成具有确定位置的各个视点的图像。图像生成单元127然后将所生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并将所生成的图像进行组合。所产生的图像被显示在显示装置（未示出）上。

在这一点上，以可视角在各个视点改变的方式显示组合之后的多视图图像，并且观看者能够在不戴眼镜的情况下通过用双眼看任意两个视点的图像来观看3D图像。

并且，根据来自观看者的2D图像显示指令，图像生成单元127输出图像A1作为从解码器122的兼容解码器131提供的兼容图像，并使显示装置（未示出）显示图像A1。这使得观看者能够观看2D图像。

[编码装置的示例结构]

下面，描述以用于确保与现有的帧封装3D图像的兼容性的格式（帧封装兼容模式）传送3D图像的示例。

图3是示出应用了本技术的编码装置的另一示例结构的框图。在图3所示的结构中，通过与图1中的相同的附图标记表示与图1中的相同的部件。已经进行的说明将不再重复。除了以帧封装兼容模式从四个图像生成一组兼容图像和一组辅助图像之外，图3中所示的编码装置140基本上与图1中所示的编码装置50相同。与辅助图像相同，兼容图像也通过例如肩并肩技术被复用。

图3中所示的编码装置140的结构与图5中所示的结构的区别主要在于成像单元51A到51C、图像转换单元52、视差图像生成单元53、视点间距离信息生成单元56及编码器58由成像单元141A到141D、图像转换单元142、视差图像生成单元143、视点间距离信息生成单元144及编码器145代替。

编码装置140确定在大量视点的图像当中的两个视点的图像为兼容图像，并通过AVC技术对兼容图像进行编码，以确保与以现有的二视图格式对3D图像进行编码的编码装置的兼容性。

具体地，编码装置140的成像单元141A捕获预定视点的HD图像作为图像A2，并将图像A2提供给图像转换单元142、视差图像生成单元143及视点间距离信息生成单元144。在水平方向上距离成像单元51A为Δd2_AB的位置上，成像单元141B捕获与图像A2的不同的视点的HD图像作为图像B2，并将图像B2提供给图像转换单元142、视差图像生成单元143及视点间距离信息生成单元144。

在与成像单元141A相反的水平方向上距离成像单元141B为Δd2_BC的位置上，成像单元141C捕获与图像A2和图像B2的视点不同的视点的HD图像作为图像C2，并将图像C2提供给图像转换单元142、视差图像生成单元143及视点间距离信息生成单元144。在与成像单元141B相反的水平方向上距离成像单元141A为Δd2_AD的位置上，成像单元141D捕获与图像A2和图像C2的视点不同的视点的HD图像作为图像D2，并将图像D2提供给图像转换单元142、视差图像生成单元143及视点间距离信息生成单元144。

下面，与图像C2和图像D2对应的视点是能够被理解为3D图像的图像的视点当中的外侧视点。因此，使用图像A2到D2，与编码装置140对应的解码装置能够通过对与图像C2和图像D2的视点相比位于更内侧的视点的图像进行插值来生成多视图图像。作为结果，与在通过使用内侧视点的图像对外侧视点的图像进行插值的情况相比，能够以更高的精度生成多视图图像。

由于图像A2和图像B2由成像单元141A和成像单元141B（它们位于水平方向上成像单元141A到141D中的较内侧的位置）提供，因此图像转换单元142确定图像A2和图像B2为兼容图像。图像转换单元142通过预定的复用技术将图像A2和图像B2复用为兼容图像，并将复用图像提供给编码器145。

例如，如图3所示，图像转换单元142通过肩并肩技术将图像A2和图像B2进行复用。图像转换单元142还将表示图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55。

图像转换单元142还确定图像C2和图像D2为辅助图像，并通过预定的复用技术将除了图像A2和图像B2之外的这些图像进行复用。例如，图像转换单元142还可以通过肩并肩技术将图像C2和图像D2进行复用。

图像转换单元142将作为复用的结果获得的复用图像提供给编码器145。图像转换单元142将表示用于兼容图像和辅助图像的复用技术的信息提供给图像信息生成单元54。

使用从成像单元141A到141D提供的图像A2到D2，视差图像生成单元143检测图像A2到D2的各个像素的视差。视差图像生成单元143生成表示作为兼容图像的图像A2的各个像素的视差的视差图像A2’和表示作为兼容图像的图像B2的各个像素的视差的视差图像B2’，并通过预定的复用技术将这些视差图像进行复用。例如，视差图像生成单元143通过肩并肩技术将视差图像A2’和视差图像B2’进行复用。视差图像生成单元143将所产生的复用图像提供给编码器145。

视差图像生成单元143还生成表示作为辅助图像的图像C2的各个像素的视差的视差图像C2’，以及表示作为辅助图像的图像D2的各个像素的视差的视差图像D2’，并通过预定的复用技术对这些视差图像进行复用。例如，视差图像生成单元143通过肩并肩技术对视差图像C2’和视差图像D2’进行复用。视差图像生成单元143将所产生的复合图像提供给编码器145。视差图像生成单元143视差图像生成单元53将表示用于兼容图像和辅助图像的视差图像的复用技术的信息提供给视差图像信息生成单元57。

使用从成像单元141A到141D提供的图像A2到D2，视点间距离信息生成单元144检测图像A2到D2中的视点间距离。例如，视点间距离信息生成单元144检测为水平方向上成像单元141A和成像单元141B之间的距离Δd2_AB、水平方向上成像单元141B和成像单元141C之间的距离Δd2_BC及水平方向上成像单元141A和成像单元141D之间的距离Δd2_AD的视点间距离距离。视点间距离信息生成单元144生成表示视点间距离等的信息作为视点间距离信息，并将该视点间距离信息提供给编码器145。

编码器145由兼容编码器151和辅助编码器152组成。兼容编码器151通过现有的AVC技术对从转换单元142提供的兼容图像的复用图像进行编码，并将各种信息添加到编码后的图像中。所产生的编码流被作为兼容流提供给复用单元59。

辅助编码器152通过预定的技术对来自图像转换单元142的辅助图像的复用图像以及来自视差图像生成单元143的兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像进行编码。由辅助编码器152使用的编码技术可以是AVC技术、MVC技术，等等。

辅助编码器152还通过将来自图像信息生成单元54的图像信息、来自兼容性信息生成单元55的兼容性信息、来自视点间距离信息生成单元144的视点间距离信息、来自视差图像信息生成单元57的视差图像信息等等添加到作为编码的结果获得的编码图像中，来生成编码流。辅助编码器152将编码流作为辅助流提供给复用单元59。

[解码装置的示例结构]

图4是示出对于从图3中所示的编码装置140发送的复用流进行解码的（帧封装兼容模式的）解码装置的示例结构的示意图。在图4所示的结构中，通过与图2中的相同的附图标记表示与图2中的相同的部件。已经进行的说明将不再重复。

图4中所示的解码装置170的结构与图2中所示的结构的区别主要在于用图像生成单元171替换了图像生成单元127。解码装置170对从编码装置140传送的帧封装兼容模式的复用流进行解码，并使显示装置（未示出）显示所生成的图像。

具体地，根据来自观看者的显示指令，解码装置170的图像生成单元171输出图像，并使显示装置（未示出）显示该图像。具体地，根据来自观看者的多视图3D图像显示指令，图像生成单元171基于来自图像信息获取单元123的图像信息、来自视点间距离信息获取单元124的视点间距离信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像及辅助图像的视差图像的复用图像，来生成关于与显示装置（未示出）对应的三个或更多个视点的并具有兼容图像和辅助图像的分辨率的一半分辨率的图像。

更具体地，基于被包括在来自视差图像信息获取单元125的视差图像信息中的并且表示用于辅助图像的视差图像的复用技术信息，图像生成单元171从辅助图像的视差图像的复用图像中分离出辅助图像中的每个的视差图像。在辅助图像的视差图像已经通过例如肩并肩技术被复用的情况下，图像生成单元171将该视差图像分离为肩并肩摆放的两个图像。

并且，基于被包括在视差图像信息中的并且表示用于兼容图像的视差图像的复用技术的信息，图像生成单元171从兼容图像的视差图像的复用图像中分离出兼容图像中的每个的视差图像。在兼容图像的视差图像已经通过例如肩并肩技术被复用的情况下，图像生成单元171将该视差图像分离为肩并肩摆放的两个图像。

并且，基于被包括在来自图像信息获取单元123的图像信息中的并且表示用于辅助图像的复用技术的信息，图像生成单元171从辅助图像的复用图像中分离出辅助图像中的每一个。在辅助图像已经通过例如肩并肩技术被复用的情况下，图像生成单元171将该辅助图像分离为肩并肩摆放的两个图像。

并且，基于被包括在该图像信息中的并且表示用于兼容图像的复用技术的信息，图像生成单元171从兼容图像的复用图像中分离出兼容图像中的每一个。在兼容图像已经通过例如肩并肩技术被复用的情况下，图像生成单元171将该兼容图像分离为肩并肩摆放的两个图像。

并且，基于与显示装置（未示出）对应的视点的数量和视点间距离信息，图像生成单元171确定要生成的多视图图像的视点中的每一个视点的位置。使用各个兼容图像、各个辅助图像、各个兼容图像的视差图像及各个辅助图像的视差图像，图像生成单元171生成具有确定的位置的各个视点的图像。图像生成单元171然后将所生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并将所生成的图像进行组合。所产生的图像被显示在显示装置（未示出）上。

在这一点上，以可视角在各个视点上改变的方式显示组合之后的多视图图像，并且观看者能够在不戴眼镜的情况下通过用双眼看任意两个视点的图像来观看3D图像。

根据来自观看者的二视图3D图像显示指令，图像生成单元171基于来自图像信息获取单元123的图像信息将从解码器122提供的兼容图像的复用图像分离为具有兼容图像的分辨率的一半分辨率的图像A2和图像B2。图像生成单元171交替地输出具有所分离的兼容图像的分辨率的一半分辨率的图像A2和图像B2，并使显示装置（未示出）显示这些图像。在这一点上，观看者配戴眼镜，该眼镜在图像A2被显示时打开用于左眼的遮光器和用于右眼的遮光器中的一个，在图像B2被显示时打开遮光器中的另一个。在配戴眼镜的情况下，观看者看到在显示装置上交替显示的图像A2和图像B2。以此方式，观看者可以观看3D图像。

在图3和图4所示的示例中，可以代替肩并肩技术，通过TAB（上下并列）（也称为上下叠加（TOB（Top Over Bottom）））技术来对兼容图像、辅助图像及兼容图像和辅助图像的视差图像进行复用。

TAB（上下并列）技术是用于将要被复用的两个图像的垂直分辨率减半、在垂直方向上布置具有减半的分辨率的两个图像并实现一个帧的原始图像大小的复用技术。

[编码装置的示例结构]

下面，描述以用于确保与现有立体3D图像的兼容性的格式（立体视觉兼容格式）传送3D图像的示例。在现有的立体视觉3D图像的情况下，交替显示形成视差的用于左眼的图像和用于右眼的图像。

图5是示出应用了本技术的编码装置的另一示例结构的框图。在图5所示的结构中，由与图1中的相同的附图标记表示与图1中的相同的部件。已经进行的说明将不再重复。除了以立体视觉兼容模式从四个图像生成两个兼容图像和一组辅助图像之外，图5中所示的编码装置140基本上与图1中所示的编码装置50相同。兼容图像不被复用，并且辅助图像通过例如肩并肩技术被复用。

图5中所示的编码装置180的结构与图3中所示的结构的区别主要在于用图像转换单元181和编码器182替换了图像转换单元142和编码器145。编码装置180确定在大量视点的图像当中的两个视点的图像为兼容图像，并通过AVC技术对兼容图像进行编码，以确保与以现有的二视图格式对3D图像进行编码的编码装置的兼容性。

具体地，与图14所示的图像转换单元142相同，由于图像A2和图像B2由成像单元141A和成像单元141B（它们位于在水平方向上成像单元141A到141D中的较内侧的位置）提供，因此编码装置180的图像转换单元181确定图像A2和图像B2。例如，图像A2是用于左眼的图像，图像B2是用于右眼的图像。

图像转换单元181然后将图像A1和图像A2作为兼容图像直接提供给编码器182（没有对兼容图像进行复用）。与图像转换单元142相同，图像转换单元181还将表示图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55。

与图像转换单元142相同，图像转换单元181还确定图像C2和图像D2为辅助图像，并通过预定的复用技术将除了图像A2和图像B2之外的这些图像进行复用。例如，图像转换单元142还可以通过肩并肩技术将图像C2和图像D2进行复用。

图像转换单元181将作为复用的结果获得的复用图像提供给编码器182，并将表示用于辅助图像的复用技术的信息提供给图像信息生成单元54。

编码器182由兼容编码器191和辅助编码器152组成。编码器182的兼容编码器191确定从图像转换单元181提供的兼容图像的图像A2为基础图像，并通过现有的AVC技术对基础图像进行编码。编码器182确定图像B2为附属图像，并通过现有的AVC技术对附属图像进行编码。兼容编码器191通过将各种信息添加到所产生的编码图像来生成编码流，并将编码流作为兼容流提供给复用单元59。

应该注意，以与在图3所示的编码装置140的情况下的相同的方式生成视差信息。

[解码装置的示例结构]

图6是示出对从图5所示的编码装置180传送的复用流进行解码的（帧封装兼容模式）解码装置的示例结构的示意图。在图6所示的结构中，由与图4中的相同的附图标记表示与图4中的相同的部件。已经进行的说明将不再重复。

图6中所示的解码装置200的结构与图2中所示的结构的区别主要在于以解码器201和图像生成单元202代替解码器122和图像生成单元127。解码装置200对从编码装置180传送的复用流进行解码，生成二视图图像或多视图图像，并使显示装置（未示出）显示所生成的图像。

具体地，与图2所示的兼容解码器131相同，基于辅助解码器132提供的并且用于识别兼容流的信息，解码器201的兼容解码器211从由分离单元121提供的辅助流中辨别出兼容流。兼容解码器211通过与MVC技术对应的技术对在兼容流中包括的编码兼容图像进行解码，并将所产生的图像A2和B2提供给图像生成单元202。

根据来自观看者的显示指令，图像生成单元202输出图像，并使显示装置（未示出）显示该图像。具体地，根据来自观看者的多视图3D图像显示指令，图像生成单元202基于来自图像信息获取单元123的图像信息、来自视点间距离信息获取单元124的视点间距离信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像、辅助图像的复用图像、兼容图像的视差图像的复用图像及辅助图像的视差图像的复用图像，来生成关于与显示装置（未示出）对应的三个或更多个视点的并具有兼容图像和辅助图像的分辨率的一半分辨率的图像。

更具体地，基于被包括在来自视差图像信息获取单元125的视差图像信息中的并且表示用于辅助图像的视差图像的复用技术的信息，图像生成单元202从辅助图像的视差图像的复用图像中分离出每一个辅助图像的视差图像。在辅助图像的视差图像已经通过例如肩并肩技术被复用的情况下，图像生成单元202将辅助图像的视差图像分离为肩并肩摆放的两个图像。

并且，基于被包括在视差图像信息中的并且表示用于兼容图像的视差图像的复用技术的信息，图像生成单元202从兼容图像的视差图像的复用图像中分离出每个兼容图像的视差图像。在兼容图像的视差图像已经通过例如肩并肩技术被复用的情况下，图像生成单元202将兼容图像的视差图像分离为肩并肩摆放的两个图像。

并且，基于被包括在来自图像信息获取单元123的图像信息中的并且表示用于辅助图像的复用技术的信息，图像生成单元202从辅助图像的复用图像中分离出辅助图像中的每一个。在兼容图像已经通过例如肩并肩技术被复用的情况下，图像生成单元202将兼容图像分离为肩并肩摆放的两个图像。

并且，基于与显示装置（未示出）对应的视点的数量和视点间距离信息，图像生成单元202确定要生成的多视图图像的视点中的每一个视点的位置。使用各个兼容图像、各个辅助图像、各个兼容图像的视差图像及各个辅助图像的视差图像，图像生成单元202生成具有确定的位置的各个视点的图像。与图像生成单元127相同，图像生成单元202然后将所生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并将所生成的图像进行组合。所产生的图像被显示在显示装置（未示出）上。

在这一点上，以可视角在各个视点上改变的方式显示组合之后的多视图图像，并且观看者能够在不戴眼镜的情况下通过用双眼看任意两个视点的图像来观看3D图像。

并且，根据来自观看者的二视图3D图像显示指令，图像生成单元202交替地输出作为从解码器122提供的兼容图像的图像A2和图像B2，并使显示装置（未示出）显示这些图像。在这一点上，观看者配戴眼镜，该眼镜在图像A2被显示时打开用于左眼的遮光器和用于右眼的遮光器中的一个，在图像B2被显示时打开遮光器中的另一个。在配戴眼镜的情况下，观看者看到在显示装置上交替显示的图像A2和图像B2。以此方式，观看者可以观看3D图像。

[基带数据传输]

在上述图2所示的解码装置120中，虚线L1的左侧（分离单元121和解码器122）被设计为再生装置，虚线L1的右侧（图像生成单元127）被设计为显示装置。

例如，再生装置可以是对在记录介质上记录的3D图像数据进行读取和再生的播放器或记录器（具有播放功能）。并且，再生装置可以是从外部获得3D图像数据并将所获得的图像数据进行再生的网络装置，例如机顶盒等。显示装置可以是CRT显示器、LCD、有机EL显示器、投影仪等。

在此情况下，兼容图像、辅助图像及这些图像的视差图像需要作为基带数据从再生装置传输到显示装置。

同样适用于图4中所示的解码装置170的情况。虚线L2的左侧的结构是再生装置，右侧的结构是显示装置。在此情况下，兼容图像、辅助图像及这些图像的视差图像需要作为基带数据在再生装置和显示装置之间传输。

同样适用于图6中所示的解码装置200的情况。虚线L3的左侧的结构是再生装置，右侧的结构是显示装置。在此情况下，兼容图像、辅助图像及这些图像的视差图像需要作为基带数据在再生装置和显示装置之间传输。

存在用于例如再生装置和显示装置等视听装置之间的通信的许多标准。然而，不存在用于以适应参考图1到图6描述的3DV格式的3D图像格式在视听装置之间传输数据的基带传输方法。

例如，存在HDMI（高清晰多媒体接口）作为连接数字装置的接口

HDMI是用于数字器具的接口，并且是通过对DVI（数字视频接口）进行修改而开发出来的，DVI是用于PC（个人计算机）和显示器之间的连接的标准。HDMI是通过对DVI增加语音传送功能、版权保护功能（用于防止数字内容等的未授权复制的功能）及色差传送功能而对于视听器具开发的。HDMI1.0规范于2002年12月完成。

HDMI具有在图像和声音质量不恶化的情况下传输未压缩的数字声音和视频的优点。HDMI当前基于具有全高清（full-spec high definition）的功能（全高清：分辨率为垂直线1920像素以及水平线1080像素）。由于未压缩的视频和声音可以从播放器转移到电视装置，因此不需要准备例如解码器等专用芯片或软件。HDMI还具有用于使所连接的装置相互识别的智能功能。

并且，视频、音频及控制信号通过单个线缆传送。因此，能够有利地简化视听装置中的配线。由于控制信号等也能够被传送，因此视听装置之间的协调是容易的。

HDMI当前与例如帧封装和立体视觉格式等现有的3D图像格式兼容。

然而，如上所述，3DV格式数据包括在现有的3D图像格式中没有指明的信息。因此，存在这样的可能性：即使根据HDMI标准，3DV格式数据也不能被正确传送。

[传输系统的结构]

为此，下面描述以3DV格式在再生装置和显示装置之间的（编码后的）3D图像数据传输。

图7是示出应用了本技术的传输系统的典型示例结构的框图。图7中所示的传输系统300是以如上所述的3DV格式传送解码后的3D图像数据的系统。

如图7所示，传输系统300包括再生装置301和显示装置302，再生装置301和显示装置302以能够执行数据传输的方式通过HDMI线缆303连接。

再生装置301将从记录介质读取的或从其它装置获得的3D图像数据进行再生，并经由HDMI线缆303将数据提供给显示装置302。再生装置301具有在上述解码装置中的虚线L1到L3之一的左侧中的结构（用于兼容图像、辅助图像及这些图像的视差图像的结构）。

显示装置302通过从再生装置301经由HDMI线缆303传送的3D图像数据生成用于显示的多视图图像，并显示该多视图图像。显示装置302具有在上述解码装置中的虚线L1到L3之一的右侧中的结构（用于兼容图像、辅助图像及这些图像的视差图像的结构）。

在传输系统300中，根据HDMI标准3D图像数据从再生装置301经由HDMI线缆303传送到显示装置302。

[再生装置的结构]

图8是示出在再生装置301中的数据传输中涉及的部分的典型示例结构的示意图，其是根据HDMI标准的数据传输中的发送端装置。

如图8所示，再生装置301包括解码器311、模式确定单元312、3D信息生成单元313及通信单元314。

解码器311对编码后的3D图像数据进行解码，并将基带3D图像数据提供给模式确定单元312和通信单元314。

模式确定单元312检验所提供的3D图像数据的结构（格式），并确定3D图像数据的模式是否是单一兼容模式、帧封装（肩并肩）兼容模式、帧封装（上下并列）兼容模式或立体视图兼容模式。确定结果被提供给3D信息生成单元313。

3D信息生成单元313生成3D信息，该3D信息包括表示3D图像数据是3DV格式的图像数据的信息以及表示由模式确定单元312确定的与兼容性相关的模式的信息。3D信息被插入到要被传输的3D图像数据的预定部分。例如，3D信息生成单元313扩展HDMI标准的VSIFPC（供应商特定的信息帧包内容），并在其中保存3D信息。

通信单元314根据HDMI标准来执行与显示装置302的通信。例如，通信单元314将从解码器311提供的3D图像数据传输到显示装置302。

[显示装置的结构]

图9是示出显示装置302中涉及数据传输的部件的典型示例结构的示意图，其是根据HDMI标准的数据传输中的接收端装置。

如图9所示，显示装置302包括通信单元321、模式确定单元322、同步设置单元323、同步控制单元324、图像生成单元325及显示单元326。

通信单元321根据HDMI标准执行与再生装置301的通信。例如，通信单元321接收从再生装置301发送的3D图像数据，并将接收到的数据提供给模式确定单元322和图像生成单元325。

模式确定单元322参考在通信单元321提供的3D图像数据中包括的3D图像信息，并确定该3D图像数据的模式。例如，模式确定单元322确定3D图像数据的模式是否是单一兼容模式、帧封装（肩并肩）兼容模式、封装（上下并列）兼容模式或立体视觉兼容模式。同步设置单元323被通知确定结果。

同步设置单元323根据所确定的模式设置同步方法。根据由同步设置单元323设置的同步方法，同步控制单元324将同步信号提供给图像生成单元325和显示单元326，以控制图像生成单元325和显示单元326的操作定时。

使用经由通信单元321提供的3D图像数据（兼容图像、辅助图像及这些图像的视差图像），图像生成单元325生成具有多个视点的显示多视图图像，该显示多视图图像由用户等指明或可以由显示单元326处理。该多视图图像被提供给显示单元326，显示单元326然后显示该多视图图像。

显示单元326包括例如CRT显示器或LCD等显示器，并显示由图像生成单元325向各个视点提供的显示多视图图像。

[HDMI数据传输]

下面，描述再生装置301的通信单元314（HDMI发送单元）和显示装置302的通信单元321（HDMI接收单元）。图10是示出通信单元314和通信单元321的特定示例结构的框图。

在有效图像区间（下文在合适的地方也称为有效视频区间）中（该有效图像区间是通过从预定数量的垂直同步信号的区间中减去水平消隐区间和垂直消隐区间计算出的时间区间），用作HDMI发送单元的通信单元314通过信道将与一个屏幕的图像的未压缩像素数据对应的差动信号单向地发送到用作HDMI接收单元的通信单元321。在水平消隐区间或垂直消隐区间中，通信单元314也通过信道将与伴随有至少图像、控制数据、其它辅助数据等的音频数据对应的差动信号单向地发送到通信单元。

即，通信单元314包括HDMI发送器331。HDMI发送器331将编码数据转换为对应的差动信号，并且经由HDMI线缆通过信道（其是三个TMDS信道#0、#1及#2）将该差动信号单向并连续地发送到连接到HDMI发送器331的通信单元321。

并且，HDMI发送器331将伴随有编码数据以及必需的控制数据、其它辅助数据等的音频数据转换为对应的差动信号，并且经由HDMI线缆303通过三个TMDS信道#0、#1及#2将该差动信号单向并连续地发送到连接到HDMI发送器331的通信单元321。

此外，HDMI发送器331经由HDMI线缆303通过TMDS时钟信道将与通过三个TMDS信道#0、#1及#2发送的像素数据同步的像素时钟发送到连接到HDMI发送器331的通信单元321。这里，在一个TMDS信道#i（i=0，1，2）中，例如在像素时钟中的一个时钟中发送10比特数据。

在有效视频区间中，通信单元321接收与由通信单元314通过信道单向发送的像素数据对应的差动信号。在水平消隐区间或垂直消隐区间中，通信单元321还接收与由通信单元314通过信道单向发送的音频数据和控制数据对应的差动信号。

即，通信单元321包括HDMI接收器332。通过TMDS信道#0、#1及#2，HDMI接收器321接收与像素数据对应的差动信号和与音频数据和控制数据对应的差动信号，该与像素数据对应的差动信号和与音频数据和控制数据对应的差动信号由连接到HDMI接收器332的通信单元314经由HDMI线缆单向发送并且与也由通信单元314通过TMDS时钟信道发送的像素时钟同步。

由通信单元314和通信单元321组成的HDMI系统中的传输信道包括例如DDC（显示数据信道）333和CEC线334等传输信道，以及用作用于将编码数据和音频数据与像素时钟同步地从通信单元314单向并连续地发送到通信单元324的三个TMDS信道#0到#2以及用作用于传送像素时钟的传输信道的TMDS时钟信道。

DDC333由被包括在HDMI线缆303中的两个信号线（未示出）构成，并且DDC333由通信单元314使用以经由HDMI线缆303从连接到DDC333的通信单元321读取E-EDID。

即，通信单元321不仅包括HDMI接收器332而且包括保存了E-EDID的EDID ROM（只读存储器）335，E-EDID是关于通信单元321的执行（配置/性能）的执行信息。通过DDC333，通信单元314经由HDMI线缆303从连接到其上的通信单元321读取通信单元321的E-EDID。基于该E-EDID，通信单元314识别包括通信单元321的电子装置可兼容的图像格式，例如RGB、YCbCr4:4:4、YCbCr4:2:2或YCbCr4:2:0等。

CEC线334由被包括在HDMI线缆303中的一个信号线（未示出）构成，并且用于在通信单元314和通信单元321之间的控制数据的双向通信。

HDMI线缆303还包括连接到被称为HPD（热插拔检测）的引脚的线336。电源装置可以使用线336以检测与转接器装置（sink device）的连接。HDMI线缆303还包括用于从电源装置向转接器装置提供电力的线337。HDMI线缆303进一步包括用于扩展的保留线338。

[3D信息描述]

在上述HDMI标准数据传输中，3D信息生成单元313例如如图11所示将HDMI标准的供应商特定的信息帧包内容进行扩展，并且写入表示模式的3D信息。

图11所示的供应商特定的信息帧包内容是与数据一起从发送端发送到接收端的信息，并且表示哪种数据现在正被发送。接收端装置可以通过参考该供应商特定的信息帧包内容来容易地识别哪种数据现在正被发送。

如图11所示，供应商特定的信息帧包内容的阴影部分是用于关于3D图像数据的信息的描述的域（3D_Structure（3D_结构））。3D信息生成单元313扩展该区域（3D_Structure）的值，并写入3D信息。

例如，如图12A所示，如“0000”、“0110”、“0111”、“1000”或“1001”等值可被一般地设置在3D_Structure域中。例如，如图12A所示，3D信息生成单元313使用3D_Structure的空间（保留）以设置值“1010”作为表示3DV格式的值。

只是接收端上的模式确定单元322必需预先知道值“1010”表示3DV格式。例如，在模式确定单元322已经参考供应商特定的信息帧包内容的3D_Structure并且已经确定该值为“1010”的情况下，模式确定单元322可以识别要发送的图像数据是3DV格式。

并且例如，如图12B所示，可以允许指定各个模式的3DV格式。在图12B所示的示例情况下，值“1010”被指派为单一兼容模式，值“1011”被指派为帧封装（肩并肩）兼容模式，值“1100”被指派为帧封装（上下并列）兼容模式，值“1101”被指派为立体视觉兼容模式。

3D信息生成单元313在供应商特定的信息帧包内容的3D_Structure中设置与模式确定单元312确定的模式对应的值。在预先知道这些值的情况下，模式确定单元322可以在数据接收时通过参考3D_Structure容易地确定各个模式。

[同步方法扩展]

在HDMI数据传输中，如图13所示，一般在有效视频区间中传输一帧的图像数据，该有效视频区间相当于一个周期的水平同步信号351和一个周期的垂直同步信号352。

例如，当传输3D图像数据时，通信单元314根据各个模式扩展该种同步方法。

例如，如图14所示，在单一兼容模式的情况下，兼容图像、辅助图像及这些图像的视差图像被传输，并且因此，总共4帧的数据需要被传输作为一帧的3D图像数据。

因此，例如，如图14所示，通信单元314可以在相当于一个周期的水平同步信号351和一个周期的垂直同步信号352的有效视频区间中传输这4帧的数据。

可选择地，如图15所示，通信单元314可以在这4帧数据的传输中使用相当于两个周期的垂直同步信号的有效视频区间。使用相当于三个或更多个周期的垂直同步信号的有效视频区间当然是可以的。然而，为了保持正确的同步，再生装置301和显示装置302都需要预先知道在要被用于1帧3D图像数据的传输的有效视频区间中需要多少个周期的垂直同步信号。

由于在相当于垂直同步信号的多个周期的有效视频区间中传输1帧3D图像数据，因此可以容易执行高级的传输控制。例如，在仅仅部分信息被传输的情况下，数据传输在其它周期中暂停。

在帧封装（肩并肩）兼容模式的情况下，例如，如图16所示，兼容图像、辅助图像及这些图像的视差图像被传输，并且因此，总共4帧的数据需要被传输作为一帧的3D图像数据。

因此，例如，如图16所示，通信单元314可以在相当于水平同步信号的一个周期和垂直同步信号的一个周期的有效视频区间中传输这4帧的数据。与上述单一兼容模式的情况相同，在帧封装（肩并肩）兼容模式的情况下，1帧的3D图像数据当然可以通过使用相当于垂直同步信号的多个周期的有效视频区间来传输。

在帧封装（上下并列）兼容模式的情况下，例如，如图17所示，兼容图像、辅助图像及这些图像的视差图像被传输，并且因此，总共4帧的数据需要被传输作为一帧的3D图像数据。

因此，例如，如图17所示，通信单元314可以在相当于水平同步信号的一个周期和垂直同步信号的一个周期的有效视频区间中传输这4帧的数据。与上述单一兼容模式的情况相同，在帧封装（上下并列）兼容模式的情况下，1帧的3D图像数据当然可以通过使用相当于垂直同步信号的多个周期的有效视频区间来传输。

在立体视觉兼容模式的情况下，例如，如图18所示，兼容图像、辅助图像及这些图像的视差图像被传输，并且因此，总共4帧的数据需要被传输作为一帧的3D图像数据。

因此，例如，如图18所示，通信单元314可以在相当于水平同步信号的一个周期和垂直同步信号的一个周期的有效视频区间中传输这4帧的数据。

根据当前HDMI标准（1.4版本），具有4K×4K的分辨率或更高分辨率的图像数据不能在相当于垂直同步信号的一个周期的有效视频区间中被传输。然而，可以扩展该限制以使得5K×2K的图像数据可以在相当于垂直同步信号的一个周期的有效视频区间中被传输。

图19示出在该情况下的立体视觉兼容模式传输的示例。以该方式，具有比在图18所示的示例情况下的分辨率更高分辨率的视差信息能够被传输。因此，在用于显示的图像中，可以以更高的精度创建深度的感觉。

与上述单一兼容模式的情况相同，在立体视觉兼容模式的情况下，1帧的3D图像数据当然可以通过使用相当于垂直同步信号的多个周期的有效视频区间来传输。

此外，例如，如图20所示，垂直同步信号的周期（频率）可以不是恒定的而是不规则的。在图20所示的示例情况下，垂直同步信号的第一周期具有相当于2K的长度，第二周期具有相当于1K的长度（是第一周期的长度的一半），第三周期具有相当于2K的长度（与第一周期相同）。

如上所述，垂直同步信号的频率适当地改变到适于要被传输的3D图像数据的结构的频率。以此方式，可以容易地执行更先进的传递控制。例如，在仅仅传输兼容性信息的情况下，第二周期和第三周期的数据传输暂停。

在垂直同步信号具有不规则周期的情况下的周期样式当然不受限，并且除了图20所示的示例之外的任意样式可以被使用。使用具有不规则周期的垂直同步信号的方法还可以被应用于立体视觉兼容模式。

[传输处理流程]

现在描述要在上述3D图像数据传输中执行的各种处理。

参考图21所示的流程图，描述要由图8中所示的再生装置301执行的传输处理的示例流程。

当发送处理开始时，再生装置301的模式确定单元312在步骤S101确定要被传输的流（3D图像数据）的模式。在步骤S102，基于步骤S101的确定结构，3D信息生成单元313生成表示流的模式的3D信息。

在步骤S103，通信单元314将在步骤S103中生成的3D信息传输到显示装置302。在步骤S104，通信单元304将该流传输到显示装置302。

通过执行以上处理，再生装置301可以将包括要被传输的3D图像数据的模式的3D信息提供给接收端的显示装置302。因此，再生装置301可以正确地传送例如上述3DV格式等格式（以此格式可以生成多视图图像）的图像数据。

[接收处理流程]

现在参考图22中所示的流程图，描述要由图9所示的显示装置302执行的接收处理的示例流程。

当接收处理开始时，显示装置302的通信单元321在步骤S121接收由再生装置301传输的3D信息。在步骤S122，模式确定单元322参考该3D信息，并确定要传输的流（3D图像数据）的模式。

在步骤S123，基于步骤S122的模式确定结果，同步设置单元323设置例如上述参考图14到20描述的同步方法。在步骤S124，根据在步骤S123设置的同步方法，同步控制单元324控制图像生成单元325和显示单元326的同步。

在步骤S125，通信单元321接收由再生装置301传输的流（3D图像数据）。在步骤S126，图像生成单元325使用在步骤S125接收到的3D图像数据来生成用于显示的多视图图像。

在步骤S127，显示单元326显示通过步骤S126中的过程生成的、用于显示的多视图图像。

通过执行以上处理，显示装置302可以接收所传输的3D图像数据以及包括3D图像数据的模式的3D信息。此外，显示装置302容易根据3D信息确定3D图像数据的模式，并能够根据该模式设置适当的同步方法。因此，显示装置302可以正确地传送例如上述3DV格式等格式（以此格式可以生成多视图图像）的图像数据。

虽然以上已经描述了根据HDMI标准的数据传输，但是可以根据除了HDMI标准之外的传输标准来执行数据传输。

并且，在上述示例中，再生装置301用作3D图像数据的数据传输中的发送端的装置，并且显示装置302用作接收端的装置。然而，任意种类的装置可以用作发送端的装置和接收端的装置，只要它们能够发送和接收3D图像数据。

<2.第二实施例>

[E-EDID扩展]

在上述实施例中，将关于3D图像数据的模式的3D信息与3D图像数据一起传输，从而实现3DV数据传输。本发明不限于此，例如，在3D图像数据传输开始之前，关于接收端的显示装置兼容的模式的信息可以提供给发送端的再生装置301。

以此，再生装置301获得关于显示装置302的性能的信息，并且基于该信息，再生装置301能够设置3D图像数据的模式。即，再生装置301能够以更适当的方式发送3D图像数据。

通过HDMI线缆303，再生装置301的通信单元314（HDMI发送单元）经由DDC（显示数据信道）从显示装置302的通信单元321（HDMI接收单元）读取通信单元321的E-EDID（增强型扩充显示器识别数据）。该E-EDID包括关于显示装置302的性能的信息，例如在显示装置302中可以处理的分辨率、解码延迟时间、比特深度及帧率等。

图23示出E-EDID的示例数据结构。该E-EDID由基本块和扩展块构成。在基本块的顶部，提供由“E-EDID1.3基本结构”表示并在E-EDID1.3标准中指明的数据，紧接着是由“优选定时”表示并用于维持与现有的EDID的兼容性的定时信息，并且由“第二定时”表示的定时信息用于维持与现有的EDID的兼容性，并且该定时信息与“优选定时”不同。

在基本块中，“第二定时”之后顺序地跟随有由“监视器名称”代表并表示显示装置的名称的信息，以及由“监视器范围限制”代表并表示能够在画面比例为4:3或16:9的情况下显示的像素数量的信息。

在扩展块的顶部，提供由“扬声器分配”代表并涉及右侧和左侧扬声器的信息，之后顺序地跟随有：由“短视频（VIDEO SHORT）”代表并包括可显示图像大小（分辨率）、帧率、表示是属于交错类型还是渐进类型的信息、关于画面比例的信息等的数据，由“短音频（AUDIO SHORT）”代表并包括关于可再生音频编码译码器格式、采样频率、截止带、编码译码器比特的数量等信息的数据，以及由“扬声器分配”代表并涉及右侧和左侧扬声器的信息。

在扩展块中，“扬声器分配”之后跟随有：由“供应商特定”代表并对各个制造商唯一定义的数据，由“第三定时”代表并用于维持与现有的EDID的兼容性的定时信息，以及由“第四定时”代表并用于维持与现有的EDID的兼容性的定时信息。

图24示出在图23中所示的有阴影的特定供应商区域（特定供应商数据块）中的数据的示例结构。在该特定供应商区域中，提供了分别为1字节块的第0个到第N个块。

在特定供应商区域中的第13个块之后的块中，扩展保留区域，并且关于显示装置302兼容的3D格式的信息被写入。使用保留区域，显示装置302扩展特定供应商数据块中的3D_Structure_ALL_X、3D_Structure_X以及3D_Detaile_X，并定义3DV流和垂直同步信号的单位和周期。

例如，可以如图25中所示的表格中那样扩展3D_Structure_ALL_X的值，并且各个模式可以被分配给第9个到第13个块。

并且，可以如图12中所示的表格中那样扩展3D_Structure_X的值，另外，可以如图26中所示的表格中那样扩展3D_Detaile_X的值。在其中可以定义使用相当于垂直同步信号、具有不规则周期的垂直同步信号等的多个周期的有效视频区间的一帧3D图像数据的传输。

[再生装置的结构]

图27是示出在以上情况下的再生装置301的典型示例结构的框图。如图27所示，在该情况下的再生装置301包括接收端信息获取单元411和同步设置单元412以及图8中所示的部件。

在3D图像数据的传输开始之前，接收端信息获取单元411经由通信单元314获取接收端信息，接收端信息由显示装置302提供并表示接收端装置的性能。例如，接收端信息获取单元411接收图23中所示的E-EDID数据作为接收端信息。如上所述，如图24所示扩展该E-EDID数据的供应商特定的数据块，如图25和26中所示的表格来扩展3D_Structure_ALL_X、3D_Structure_X、3D_Detaile_X等的值，从而表示可以由显示装置302处理的模式。

在获取接收端信息之后，接收端信息获取单元411将接收端信息提供给同步设置单元412。根据由接收端信息获取单元411获取的接收端信息和由模式确定单元312确定的模式，同步设置单元412设置可由显示装置302执行的同步方法，并对3D信息生成单元313通知该同步方法。

3D信息生成单元313生成表示由同步设置单元412设置的同步方法的3D信息，并将该3D信息插入到3D图像数据中。

[显示装置的结构]

图28是示出在以上情况下显示装置302的典型示例够的框图。如图28所示，该情况下的显示装置302包括接收端信息提供单元421以及图9中所示的部件。

例如，接收端信息提供单元421保存图23中所示的E-EDID。在3D图像数据的传输开始之前，接收端信息提供单元421经由通信单元321将E-EDID作为谈判信息（negotiation information）传输到发送端的再生装置301。

如图10中所示的EDID ROM335，接收端信息提供单元421可以形成在通信单元321内部。

[传输处理流程]

现在参考图29中所示的流程图，描述要由图27所示的再生装置301执行的发送处理的示例流程。

当发送处理开始时，接收端信息获取单元411在步骤S201获取接收端信息。在步骤S202，模式确定单元312确定要被传输的流（3D图像数据）的模式。

在步骤S203，基于在步骤S201中获取的接收端信息和在步骤S202中确定的流的模式，同步设置单元412设置可由显示装置302执行的并与流的模式兼容的同步方法。

在步骤S204，3D信息生成单元313生成表示在步骤S203中设置的同步方法的3D信息。在步骤S205，通信单元314将在步骤S204中生成的3D信息传输到显示装置302。在步骤S206，通信单元314还将流传输到显示装置302。

通过执行以上处理，再生装置301可以根据显示装置302的性能设置同步方法，并且可以将关于该方法的3D信息提供给显示装置302。因此，再生装置301可以正确地传输例如上述3DV格式等格式（以此格式可以生成多视图图像）的图像数据。

[接收处理流程]

现在参考图30中所示的流程图，描述要由图28所示的显示装置302执行的接收处理的示例流程。

当接收处理开始时，显示装置302的接收端信息提供单元421在步骤S221经由通信单元321将接收信息提供给再生装置301。

在步骤S222，通信单元321从再生装置301接收3D信息。在步骤S223，模式确定单元322参考该3D信息，并确定要传输的流（3D图像数据）的模式。

在步骤S224，基于步骤S223的模式确定结果，同步设置单元323设置同步方法。在步骤S225，根据在步骤S224设置的同步方法，同步控制单元324控制图像生成单元325和显示单元326的同步。

在步骤S226，通信单元321接收由再生装置301传输的流（3D图像数据）。在步骤S227，图像生成单元325使用在步骤S226中接收的3D图像数据来生成用于显示的多视图图像。

在步骤S228，显示单元326显示通过步骤S227中的过程生成的、用于显示的多视图图像。

通过执行以上处理，显示装置302可以将表示其处理性能的接收端信息提供给发送端的再生装置301，并可以使再生装置301根据显示装置302的性能设置同步方法。显示装置302可以正确地设置该同步方法。因此，显示装置302可以正确地传送以例如上述3DV格式等格式（以此格式可以生成多视图图像）图像数据。

虽然以上已经描述的根据HDMI标准的数据传输，但是可以根据除了HDMI标准之外的传输标准来执行数据传输。

并且，在上述示例中，再生装置301用作3D图像数据的数据传输中的发送端的装置，并且显示装置302用作接收端的装置。然而，任意种类的装置可以用作发送端的装置和接收端的装置，只要它们能够发送和接收3D图像数据。

<3.第三实施例>

[编码装置的示例结构]

图31是示出在应用了本技术的传输系统的第三实施例中对所传输的3D图像进行编码的编码装置的示例结构的框图。

在图31所示的结构中，由与图3中的相同的附图标记来表示与图3中的相同的部件。已经做出的说明将不再重复。

图31中所示的编码装置440的结构与图3中所示的结构的区别主要在于视差图像生成单元143、编码器145及复用单元59由视差图像生成单元441、编码器442及复用单元443代替。编码装置440通过在时间方向上（而不是空间方向上）对兼容图像的视差图像进行复用来执行编码。

具体地，使用由成像单元141A到141D提供的图像A2到D2，编码装置440的视差图像生成单元441检测图像A2到D2的各个像素的视差。基于检测结果，视差图像生成单元441生成作为兼容图像的图像A2的视差图像A2’、作为兼容图像的图像B2的视差图像B2’、作为辅助图像的图像C2的视差图像C2’及作为辅助图像的图像D2的视差图像D2’。

与图3所示的视差图像生成单元143相同，视差图像生成单元441也通过预定复用技术在空间方向上对视差图像C2’和视差图像D2’进行复用。此外，视差图像生成单元441在时间方向上对视差图像A2’、视差图像B2’以及辅助图像的视差图像的复用图像进行复用。视差图像生成单元441将所产生的复用图像作为时间复用图像提供给编码器442。在时间复用图像中，1帧的视差图像A2’、视差图像B2’以及辅助图像的视差图像的复用图像存在于1帧时间中。

并且，视差图像生成单元441将表示用于辅助图像的视差图像的复用技术和用于在时间方向上对图像进行复用的技术（下文称为帧顺序技术）（这些技术作为用于兼容图像和辅助图像的视差图像的复用技术）的信息提供给视差图像生成单元57。

编码器442由兼容编码器151和辅助编码器451组成。编码器442的辅助编码器451通过3DV技术对来自图像转换单元142的辅助图像的复用图像以及来自视差图像生成单元441的时间复用图像进行编码。辅助编码器451将所产生的编码流作为辅助流提供给复用单元443。

复用单元443使用来自兼容编码器451的辅助流、来自图像信息生成单元54的图像信息、来自兼容信息生成单元55的兼容信息、来自视点间距离信息生成单元56的视点间距离信息、来自视差图像信息生成单元57的视差图像信息等，来生成TS。复用单元443对所生成的TS进行复用，并将所产生的复用流进行传送。

下面，图像信息、兼容性信息、视点间距离信息及视差图像信息将被统称为辅助信息。

[辅助信息的示例描述]

图32是示出在辅助信息被写入PMT描述符的情况下兼容性信息和视差图像信息的示例描述的示意图。

如图32所示，在辅助信息被写入PMT描述符的情况下，设置了兼容性信息的描述符（3DV_view_structure_descriptor）、设置了视差图像信息的描述符（depth_map_structure_descriptor）等被提供作为PMT描述符。

如图33所示，在描述符（depth_map_structure_descriptor）中，描述符标签（descriptor_tag）和描述符长度（descriptor_length）之后跟随有作为视差图像信息写入的视差图像的数量（num_of_depth_map）、表示视差图像是否被复用的标记（is_frame_packing）、用于视差图像的复用技术（frame_packing_mode）、指明复用视差图像的信息（comb_frame_packing_views）等。

复用技术可以是肩并肩（SBS）技术、上下并列（TOB）技术、帧顺序技术等。

虽然在编码装置440中辅助信息被包括在TS中，但是辅助信息也可以被包括在辅助流中。

图34和35是示出在辅助信息被包括在辅助流中的情况下辅助流中的兼容性信息和视差图像信息的示例描述的示意图。

例如，如图34所示，兼容性信息（3DV_view_structure）和视差图像信息（depth_map_structure）被设置在辅助流中的SEI（补充增强信息）中。

作为视差图像信息（depth_map_structure），如图35所示，视差图像（深度图（depth map））的数量（num_of_depth_map）、表示视差图像是否被复用的标记（is_frame_packing）、用于视差图像的复用技术（frame_packing_mode）及指明复用视差图像的信息（comb_frame_packing_views）等被写入。

虽然图中未示出，但是除了该图像信息是关于兼容图像和辅助图像的信息，而不是关于视差图像的信息之外，该图像信息与视差图像信息相同。[编码装置的操作的描述]

图36和37是用于说明由图31所示的编码装置440执行的编码操作的流程图。例如，当图像A2到D2从成像单元141A到141D输出时，该编码操作开始。

在图36中的步骤S451，视点间距离信息生成单元144使用由成像单元141A到141D提供的图像A2到D2，检测作为视点间距离的距离Δd2_AB、距离Δd2_BC及距离Δd2_AD。

在步骤S452，视点间距离信息生成单元144生成表示在步骤S451中检测到的视点间距离等的信息作为视点间距离信息，并将该视点间距离信息提供给复用单元443。

在步骤S453，因为图像A2和图像B2是由成像单元141A和成像单元141B（成像单元141A和成像单元141B位于成像单元141A到141D当中在水平方向上的较里面的位置）提供的，所以图像转换单元142确定图像A2和图像B2为兼容图像。图像转换单元142还确定用于兼容图像和辅助图像的复用技术。图像转换单元142将指明142图像A2和图像B2为兼容图像的信息提供给兼容性信息生成单元55，并将用于兼容图像和辅助图像的复用技术提供给图像信息生成单元54。

在步骤S454，基于由图像转换单元142提供的信息，兼容信息生成单元55生成包括指明图像A2和图像B2为兼容图像、帧封装模式为兼容模式等的信息的兼容性信息，并将该兼容性信息输入到复用单元443。

在步骤S455，基于在步骤S453确定的、用于兼容图像的复用技术，图像转换单元142将作为兼容图像的图像A2和图像B2进行复用，并将复用图像提供给编码器442。

在步骤S456，基于由图像转换单元142提供的信息，图像信息生成单元54生成表示用于兼容图像和辅助图像等的复用技术的信息作为图像信息，并将该图像信息提供给复用单元443。

在步骤S457，图像转换单元142确定图像C2和图像D2为除了图像A2和图像B2之外的辅助图像，基于在步骤S453中确定的、用于辅助图像的复用技术对该辅助图像进行复用，以获得该辅助图像的复用图像。

在步骤S458，图像转换单元142将兼容图像的复用图像和辅助图像的复用图像输入到编码器442。

在图37的步骤S459，使用由成像单元141A到141D提供的图像A2到D2，视差图像生成单元441检测图像A2到D2的各个像素的视差，并生成视差图像A2’到D2’。

在步骤S460，视差图像生成单元441确定用于辅助图像的视差图像的复用技术以及用于兼容图像的视差图像和辅助图像的视差图像的复用图像的复用技术，并将表示复用技术的信息提供给视差图像信息生成单元57。

在步骤S461，基于由视差图像生成单元441提供的信息，视差图像信息生成单元57生成表示用于辅助图像的视差图像的复用技术以及用于兼容图像的视差图像和辅助图像的视差图像的复用图像的复用技术的信息作为视差图像信息，并将视差图像信息输入到复用单元443。

在步骤S462，基于在步骤S460确定的复用技术，视差图像生成单元441在空间方向上将辅助图像的视差图像C2’和视差图像D2’进行复用，并在时间方向上将兼容图像的视差图像A2’和视差图像B2’以及辅助图像的视差图像的复用图像进行复用。

在步骤S463，视差图像生成单元441将作为在步骤S462中的复用的结果而获得的时间复用图像输入到编码器442。

在步骤S464，编码器442的兼容编码器151通过现有的AVC技术对由图像转换单元142提供的兼容图像的复用图像进行编码，并对编码后的图像增加各种信息。所产生的编码流作为兼容流被提供给复用单元443。

在步骤S465，辅助编码器451通过3DV技术对来自图像转换单元142的辅助图像的复用图像和来自视差图像生成单元441的时间复用图像进行编码。辅助编码器451将作为编码的结果而获得的编码流作为辅助流提供给复用单元443。

在步骤S466，复用单元443通过由兼容编码器154提供的兼容流、由辅助编码器451提供的辅助流及辅助信息来生成TS，并对TS进行复用。所产生的复用流然后被传送。例如，该复用流被记录在BD等中，或作为用于广播的流而被传送。然后操作结束。

[解码装置的示例结构]

图38是示出对于从图31中所示的编码装置440发送的复用流进行解码的解码装置的示例结构的示意图。

在图38所示的结构中，由与图4中的相同的附图标记来表示与图4中的相同的部件。已经做出的说明将不再重复。

图38中所示的解码装置460的结构与图4中所示的结构的区别主要在于由解码器462和图像生成单元463代替分离单元121、解码器122和图像生成单元171。解码装置460对从编码装置440传送的复用流进行解码，产生二视图图像或多视图图像，并使显示装置（未示出）显示所产生的图像。

具体地，解码装置460的分离单元461接收从编码装置440传送的复用流，并将TS彼此分离。分离单元461提取在TS中包括的兼容流和在TS中包括的辅助流，并将所提取的流提供给解码器462。分离单元461还提取在TS中包括的辅助信息，将辅助信息中的图像信息提供给图像信息获取单元123，并将视点间距离信息提供给视点间距离信息获取单元124。此外，分离单元461将辅助信息中的视差图像信息提供给视差图像信息获取单元125，并将兼容性信息提供给兼容性信息获取单元126。

解码器462由兼容解码器131和辅助解码器471组成。解码器462的辅助解码器471通过与图31中所示的辅助编码器451对应的技术，对由分离单元461提供的辅助流中包括的辅助图像的复用图像和时间复用图像进行解码。辅助解码器471将作为解码的结果而获得的辅助图像的复用图像和时间复用图像提供给图像生成单元463。

根据来自观看者的显示指令，图像生成单元463输出图像，并使显示装置（未示出）显示该图像。具体地，根据来自观看者的多视图3D图像显示指令，图像生成单元463基于来自图像信息获取单元123的图像信息、来自视点间距离信息获取单元124的视点间距离信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像的复用图像、辅助图像的复用图像及时间复用图像，来生成关于与显示装置（未示出）对应的三个或更多个视点的并具有兼容图像和辅助图像的分辨率的一半分辨率的图像。

更具体地，基于被包括在来自视差图像信息获取单元125的视差图像信息中的并且表示帧顺序技术为用于兼容图像的视差图像和辅助图像的视差图像的复用图像的复用技术的信息，图像生成单元463从时间复用图像中分离出是兼容图像的视差图像的视差图像A2’和视差图像B2’以及辅助图像的视差图像的复用图像。基于在视差图像信息中包括的并表示用于辅助图像的视差图像的复用技术的信息，图像生成单元463从辅助图像的视差图像的复用图像中分离出视差图像C2’和视差图像D2’。

此外，与图4中所示的图像生成单元171相同，基于被包括在来自图像信息获取单元123的图像信息中的并且表示用于辅助图像的复用技术的信息，图像生成单元463从辅助图像的复用图像中分离出辅助图像中的每一个。并且，与图像生成单元171相同，基于被包括在该图像信息中的并且表示用于兼容图像的复用技术的信息，图像生成单元463从兼容图像的复用图像中分离出兼容图像中的每一个。

此外，与图像生成单元171相同，基于与显示装置（未示出）对应的视点的数量和视点间距离信息，图像生成单元463确定要生成的多视图图像的视点中的每一个视点的位置。与图像生成单元171相同，使用各个兼容图像、各个辅助图像、各个兼容图像的视差图像及各个辅助图像的视差图像，图像生成单元463生成具有确定位置的各个视点的图像。与图像生成单元171相同，图像生成单元463然后将所生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并将所生成的图像进行组合。所产生的图像被显示在显示装置（未示出）上。

在这一点上，以可视角在各个视点改变的方式显示组合之后的多视图图像，并且观看者能够在不戴眼镜的情况下通过用双眼看任意两个视点的图像来观看3D图像。

与图像生成单元171相同，根据来自观看者的二视图3D图像显示指令，图像生成单元463基于来自图像信息获取单元123的图像信息将由解码器462提供的兼容图像的复用图像分离为具有兼容图像的分辨率的一半分辨率的图像A2和图像B2。与图像生成单元171相同，图像生成单元463交替地输出具有被分离的兼容图像的分辨率的一半分辨率的图像A2和图像B2，并使显示装置（未示出）显示这些图像。在这一点上，观看者配戴眼镜，该眼镜在图像A2被显示时打开用于左眼的遮光器和用于右眼的遮光器中的一个，在图像B2被显示时打开遮光器中的另一个。在配戴眼镜的情况下，观看者看到在显示装置上交替显示的图像A2和图像B2。以此方式，观看者可以观看3D图像。

[解码操作的描述]

图39是用于说明由图38所示的解码装置460执行的解码操作的流程图。例如，当由图31中所示的编码装置440传输的复用流被输入到解码装置460时，解码操作开始。

在图39的步骤S471，解码装置460的分离单元461获取由编码装置50传输的复用流，并将该复用流分离成各个TS。分离单元461提取在该TS中包括的兼容流和辅助流，并将提取出的流提供给解码器462。分离单元461还提取在该TS中包括的辅助信息，将辅助信息中的图像信息提供给图像信息获取单元123，并将视点间距离信息提供给视点间距离信息获取单元124。此外，分离单元461将辅助信息中的视差图像信息提供给视差图像信息获取单元125，并将兼容性信息提供给兼容性信息获取单元126。

在步骤S472，图像生成单元463确定二视图3D图像显示指令是否已经由观看者发出。如果在步骤S472确定二视图3D图像显示指令还没有由观看者发出，或多视图3D图像显示指令已经被发出，则操作前进到步骤S473。

在步骤S473，解码器462的兼容解码器131从由分离单元461提供的兼容流中提取编码后的兼容图像，并通过与AVC技术对应的技术对该兼容图像进行解码。兼容解码器131将作为解码的结果获得的图像A1提供给图像生成单元463。

在步骤S474，辅助解码器471从辅助流中提取辅助图像的编码后的复用图像和时间复用图像，并通过与图31所示的辅助编码器451对应的技术对辅助图像的复用图像和时间复用图像进行解码。辅助解码器471将作为解码的结果获得的辅助图像的复用图像和时间复用图像提供到图像生成单元127，并且操作前进到步骤S475。

在步骤S475，图像信息获取单元123获取由分离单元461提供的图像信息，并将该图像信息输入到图像生成单元463。在步骤S476，视点间距离信息获取单元124获取由分离单元461提供的视点间距离信息，并将该视点间距离信息提供给图像生成单元463。

在步骤S477，视差图像信息获取单元125获取由分离单元461提供的视差图像信息，并将该视差图像信息输入到图像生成单元463。在步骤S478，兼容性信息获取单元126获取由分离单元461提供的兼容性信息，并将该兼容性信息输入到图像生成单元463。

在步骤S479，基于与显示装置（未示出）对应的视点的数量和来自视点间距离信息获取单元124的视点间距离信息，图像生成单元463确定要生成的多视图图像的视点中的每一个视点的位置。

在步骤S480，图像生成单元463基于在步骤S479确定的各个视点的位置、来自图像信息获取单元123的图像信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像的复用图像、辅助图像的复用图像以及时间复用图像，来生成各个视点的图像，该图像具有兼容图像和辅助图像的分辨率的一半分辨率。

在步骤S481，图像生成单元463将在步骤S480中生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并在转换之后，基于视点的位置，将各个视点的图像进行组合。

在步骤S482，图像生成单元463将通过步骤S481中的组合处理获得的多视图图像输出到显示装置（未示出），并使显示装置显示该多视图图像，从而可视角在各个视点上改变。然后操作结束。

另一方面，如果在步骤472确定二视图3D图像显示指令已经由观看者发出，则操作前进到步骤S483。

在步骤S483，解码器462的兼容解码器131从由分离单元461提供的兼容流中提取兼容图像的编码后的复用图像，并通过与AVC技术对应的技术对该复用图像进行解码。兼容解码器131将作为解码的结果获得的兼容图像的复用图像提供给图像生成单元463。

在步骤S484，图像信息获取单元123获取由分离单元461提供的图像信息，并将该图像信息输入到图像生成单元463。

在步骤S485，基于被包括在由图像信息获取单元123提供的图像信息中的并且表示用于兼容图像的复用技术的信息，图像生成单元463分离作为由兼容解码器131解码的结果获得的兼容图像的复用图像。

在步骤S486，图像生成单元463将具有所分离的兼容图像的分辨率的一半分辨率的图像A2和图像B2交替地输出到显示装置，并使显示装置（未示出）显示这些图像。然后操作结束。

在仅能对具有与解码装置460的兼容性的兼容流进行解码的解码装置中，忽略辅助流，并执行步骤S483、S485及S486的过程。然而，在该情况下，在步骤S485的过程中，基于预先确定的复用技术，分离出兼容图像的复用图像。

[基带数据传输]

在上述图38所示的解码装置460中，如果虚线L4的左侧（分离单元461和解码器462）被设计为再生装置，虚线L3的右侧（图像生成单元463）被设计为显示装置。则该再生装置和该显示装置分别具有与上述再生装置301和再生装置302的结构相同的结构。

<4.第四实施例>

[编码装置的示例结构]

图40是示出在应用了本技术的传输系统的第四实施例中对所传输的3D图像进行编码的编码装置的示例结构的框图。

在图40所示的结构中，由与图31中的相同的附图标记来表示与图31中的相同的部件。已经做出的说明将不再重复。

图40中所示的编码装置480的结构与图31中所示的结构的区别主要在于视差图像生成单元143、编码器145及视差图像信息生成单元57由视差图像生成单元481、编码器482及视差图像信息生成单元483代替。编码装置480对于表示对于兼容图像公共的视差值的公共视差图像和辅助图像的公共视差图像进行编码。

具体地，使用由成像单元141A到141D提供的图像A2到D2，编码装置480的视差图像生成单元481检测图像A2和图像B2之间的各个像素的视差以及图像C2和图像D2之间的各个像素的视差。视差图像生成单元481生成由代表在图像A2和图像B2之间的各个像素的视差的视差值构成的视差图像，并将该视差图像作为兼容图像的公共视差图像AB2’提供给编码器482。视差图像生成单元481生成还生成由代表在图像C2和图像D2之间的各个像素的视差的视差值构成的视差图像，并将该视差图像作为辅助图像的公共视差图像CD2’提供给编码器482。

视差图像生成单元481将表示兼容图像和辅助图像的视差图像是公共视差图像的信息提供给视差图像信息生成单元483。

编码器482由兼容编码器151和辅助编码器491组成。辅助编码器491通过3DV技术对来自图像转换单元142的辅助图像的复用图像、以及来自视差图像生成单元481的兼容图像的公共视差图像AB2’和辅助图像的公共视差图像CD2’进行编码。辅助编码器491将所产生的编码流作为辅助流提供给复用单元443。

基于由视差图像生成单元53提供的信息，视差图像信息生成单元483生成表示兼容图像和辅助图像的视差图像是公共视差图像等的信息作为视差图像信息，并将该视差图像信息提供给复用单元443。

[编码装置的操作的描述]

图41和42是用于说明由图40所示的编码装置480执行的编码操作的流程图。例如，当图像A2到D2从成像单元141A到141D输出时，该编码操作开始。

图41中的步骤S491到S498中的过程与图36中的步骤S451到S458中的过程相同，因此，这里不再重复它们的说明。

在图42中的步骤S499，使用由成像单元141A到141D提供的图像A2到D2，视差图像生成单元481检测图像A2和图像B2之间的各个像素的视差以及图像C2和图像D2之间的各个像素的视差。视差图像生成单元481然后生成由代表在图像A2和图像B2之间的各个像素的视差的视差值构成的公共视差图像AB2’，以及由代表在图像C2和图像D2之间的各个像素的视差的视差值构成的公共视差图像CD2’。

在步骤S500，基于由视差图像生成单元481提供的信息，视差图像信息生成单元483生成表示兼容图像和辅助图像的视差图像是公共视差图像等的信息作为视差图像信息，并将该视差图像信息输入到复用单元443。

在步骤S501，视差图像生成单元481将在步骤S499中生成的辅助图像的公共视差图像CD2’和兼容图像的公共视差图像AB2’输入到编码器482。

在步骤S502，编码器482的兼容编码器151通过现有的AVC技术对由图像转换单元142提供的兼容图像的复用图像进行编码，并将所产生的编码流作为兼容流提供给复用单元443。

在步骤S503，辅助编码器491通过3DV技术对来自图像转换单元142的辅助图像的复用图像、以及来自视差图像生成单元481的兼容图像的公共视差图像和辅助图像的公共视差图像进行编码。辅助编码器491将作为编码的结果获得的编码流作为辅助流提供给复用单元443。

在步骤S504，复用单元443通过由兼容编码器151提供的兼容流、由辅助编码器491提供的辅助流以及辅助信息生成TS，并对TS进行复用。所产生的复用流然后被传送。例如，该复用流被记录在BD等中，或作为用于广播的流而被传送。然后操作结束。

[解码装置的示例结构]

图43是示出对于从图40中所示的编码装置480发送的复用流进行解码的解码装置的示例结构的示意图。

在图43所示的结构中，由与图38中的相同的附图标记来表示与图38中的相同的部件。已经做出的说明将不再重复。

图43中所示的解码装置500的结构与图38中所示的结构的区别主要在于由解码器501和图像生成单元502代替解码器122和图像生成单元171。解码装置500对从编码装置480传送的复用流进行解码，生成二视图图像或多视图图像，并使显示装置（未示出）显示所生成的图像。

具体地，解码装置500的解码器501由兼容解码器131和辅助解码器511组成。解码器501的辅助解码器511通过与图40所示的辅助编码器491对应的技术，对被包括在由分离单元461提供的辅助流中的辅助图像的复用图像、兼容图像的公共视差图像AB2’和辅助图像的公共视差图像CD2’进行解码。辅助解码器511将作为解码的结果获得的辅助图像的复用图像、公共视差图像AB2’和公共视差图像CD2’提供给图像生成单元502。

根据来自观看者的显示指令，图像生成单元502输出图像，并使显示装置（未示出）显示该图像。具体地，根据来自观看者的多视图3D图像显示指令，图像生成单元502基于来自图像信息获取单元123的图像信息、来自视点间距离信息获取单元124的视点间距离信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像的复用图像、辅助图像的复用图像、公共视差图像AB2’和公共视差图像CD2’，来生成关于与显示装置（未示出）对应的三个或更多个视点的并具有兼容图像和辅助图像的分辨率的一半分辨率的图像。

更具体地，基于被包括在来自视差图像信息获取单元125的视差图像信息中的并且表示兼容图像和辅助图像的视差图像是公共视差图像的信息，图像生成单元502按原样保持公共视差图像AB2’和公共视差图像CD2’。

此外，与图3中所示的图像生成单元171相同，基于被包括在来自图像信息获取单元123的图像信息中的并且表示用于辅助图像的复用技术的信息，图像生成单元502从辅助图像的复用图像中分离出辅助图像中的每一个。并且，与图像生成单元171相同，基于被包括在该图像信息中的并且表示用于兼容图像的复用技术的信息，图像生成单元502从兼容图像的复用图像中分离出兼容图像中的每一个。

此外，与图像生成单元171相同，基于与显示装置（未示出）对应的视点的数量和视点间距离信息，图像生成单元502确定要生成的多视图图像的视点中的每一个视点的位置。使用各个兼容图像、各个辅助图像、公共视差图像AB2’和公共视差图像CD2’，图像生成单元502生成具有确定位置的各个视点的图像。与图像生成单元171相同，图像生成单元502然后将所生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并将所生成的图像进行组合。所产生的图像然后被显示在显示装置（未示出）上。

在这一点上，以可视角在各个视点改变的方式显示组合之后的多视图图像，并且观看者能够在不戴眼镜的情况下通过用双眼看任意两个视点的图像来观看3D图像。标记列表

与图像生成单元171相同，根据来自观看者的二视图3D图像显示指令，图像生成单元502基于来自图像信息获取单元123的图像信息将由解码器501提供的兼容图像的复用图像分离为具有兼容图像的分辨率的一半分辨率的图像A2和图像B2。与图像生成单元171相同，图像生成单元502交替地输出具有被分离的兼容图像的分辨率的一半分辨率的图像A2和图像B2，并使显示装置（未示出）显示这些图像。在这一点上，观看者配戴眼镜，该眼镜在图像A2被显示时打开用于左眼的遮光器和用于右眼的遮光器中的一个，在图像B2被显示时打开遮光器中的另一个。在配戴眼镜的情况下，观看者看到在显示装置上交替显示的图像A2和图像B2。以此方式，观看者可以观看3D图像。

[解码装置的操作的描述]

图44是用于说明由图43所示的解码装置500执行的解码操作的流程图。例如，当由图40中所示的编码装置480传输的复用流被输入到解码装置500时，解码操作开始。

图44中的步骤S511到S513中的过程与图39中的步骤S471到S473中的过程相同，因此，这里不再重复它们的说明。

在步骤S514，辅助解码器511从辅助流中提取辅助图像的编码后的复用图像、兼容图像的编码后的公共视差图像AB2’和辅助图像的编码后的公共视差图像CD2’，并通过与图40中所示的辅助编码器491中使用的编码技术对应的技术对所提取的图像进行解码。辅助解码器511将作为解码的结果获得的辅助图像的复用图像、公共视差图像AB2’和公共视差图像CD2’提供给图像生成单元502。

步骤S515到S519中的过程与图39中的步骤S475到S479中的过程相同，因此，这里不再重复它们的说明。

在步骤S519中的过程之后，图像生成单元502在步骤S520基于在步骤S519中确定的各个视点的位置、来自图像信息获取单元123的图像信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息等，使用兼容图像、辅助图像的复用图像、公共视差图像AB2’和公共视差图像CD2’，来生成各个视点的、具有兼容图像和辅助图像的分辨率的一半分辨率的图像。

步骤S521到S526中的过程与图39中的步骤S481到S486中的过程相同，因此，这里不再重复它们的说明。

[基带数据传输]

在上述图43所示的解码装置500中，如果虚线L5的左侧（分离单元461和解码器501）被设计为再生装置，虚线L3的右侧（图像生成单元502）被设计为显示装置。则该再生装置和该显示装置分别具有与上述再生装置301和再生装置302的结构相同的结构。

与编码装置140相同，编码装置440和编码装置480在将两个视点的兼容图像复用之后对这些兼容图像进行编码。然而，与图5中所示的编码装置180相同，编码装置440和编码装置480可以在不对该兼容图像进行复用的情况下对两个视点的兼容图像进行编码。并且，与图1中所示的编码装置50相同，编码装置440和编码装置480可以对一个视点的兼容图像进行编码。

并且，编码装置140和编码装置180可以在不对兼容图像和辅助图像的视差图像进行复用的情况下对这些视差图像进行编码。并且，编码装置50可以在不对辅助图像的视差图像进行复用的情况下对这些视差图像进行编码。

<用于待编码对象的复用式样的示例>

图45是示出在兼容图像视点的数量为2并且辅助图像视点的数量为2的情况下用于待编码的对象的复用式样的示例的示意图。

如图45中的（1）所示，图3所示的编码装置140在空间方向上将作为兼容图像的图像A2和图像B2进行复用，并且通过AVC技术对这些图像进行编码。编码装置140还在空间方向上对作为辅助图像的图像C2和图像C2、作为兼容图像的视差图像的视差图像A2’和视差图像B2’以及作为辅助图像的视差图像的视差图像C2’和视差图像D2’进行复用，并通过适应MVC技术的3DV技术对这些复用图像进行编码。

如图45中的（2）所示，编码装置140不对视差图像A2’到D2’进行复用，并且通过适应MVC技术的3DV技术对这些视差图像进行编码。此外，如图45中的（3）所示，图40所示的编码装置480对公共视差图像AB2’（而不是视差图像A2’和视差图像B2’）进行编码，并且对公共视差图像CD2’（而不是视差图像C2’和视差图像D2’）进行编码。

并且，如图45中的（4）所示，图31所示的编码装置440不在空间方向上对作为兼容图像的视差图像的视差图像A2’和视差图像B2’进行复用，而是通过帧顺序技术对视差图像A2’、视差图像B2’以及辅助图像的视差图像的复用图像进行复用，然后通过适应MVC技术的3DV技术对这些复用图像进行编码。

此外，如图45中的（5）所示，图5所示的编码装置180不对作为兼容图像的图像A2和图像B2进行复用，而是通过AVC技术对图像A2进行编码，并且使用图像A2作为基础视图通过MVC技术对图像B2进行编码。编码装置180还在空间方向上对作为辅助图像的图像C2和图像D2、作为兼容图像的视差图像的视差图像A2’和视差图像B2’以及作为辅助图像的视差图像的视差图像C2’和视差图像D2’进行复用，并通过适应MVC技术的3DV技术对这些复用图像进行编码。

如图45中的（6）所示，编码装置180不对视差图像A2’到D2’进行复用，并且通过适应MVC技术的3DV技术对这些视差图像进行编码。与编码装置480相同，如图45中的（7）所示，编码装置180可以对公共视差图像AB2’（而不是视差图像A2’和视差图像B2’）进行编码，并且对公共视差图像CD2’（而不是视差图像C2’和视差图像D2’）进行编码。

此外，与编码装置440相同，如图45中的（8）所示，编码装置180可以不在空间方向上对视差图像A2’和视差图像B2’进行复用，而是可以通过帧顺序技术对视差图像A2’、视差图像B2’以及辅助图像的视差图像的复用图像进行复用，并通过适应MVC技术的3DV技术对这些复用图像进行编码。

图46是示出使用图45中的（1）到（8）所示的复用式样的复用效果的特性的示意图。

在图46中的表格中，提供效果项“兼容性”、“图像质量”及“数据量”来表示在图45中的（1）到（8）所示的复用式样中的各项的效果等级。应该注意，在图46中的表格中，单圆圈代表“良好”，双圆圈代表“优秀”。

在以图45中的（1）所示的复用式样执行复用的情况下，用于兼容图像的复用技术和编码技术与现有技术相同，并且兼容性是可靠的。并且，由于与兼容图像相同在空间方向上对视差图像进行复用，因此可以通过使用例如在解码装置侧准备好的并且用于分离兼容图像的分离单元来分离视差图像。因此，保证了在解码装置侧的视差图像的分离。从而，该情况在兼容性方面特别有效，并且双圆圈被置入图46中的“兼容性”栏中。

在以图45中的（2）所示的复用式样执行复用的情况下，用于兼容图像的复用技术和编码技术也与现有技术相同，并且兼容性是可靠的。并且，由于视差图像的分辨率与预复用图像的分辨率相同，因此达到了高精度。作为结果，在解码装置中通过使用视差图像生成的预定视点的图像的精度增加。因此，该情况在通过使用视差图像生成的图像的图像质量以及兼容性方面是有效的。从而，单圆圈被置入图46中的“兼容性”和“图像质量”栏中。

在以图45中的（3）所示的复用式样执行复用的情况下，用于兼容图像的复用技术和编码技术也与现有技术相同，并且兼容性是可靠的。并且，兼容图像和辅助图像的视差图像（该视差图像的分辨率与预复用图像的分辨率相同）的数据量被减少为两个视点的视差图像的数据量。因此，该情况在兼容性以及数据量方面是有效的。从而，单圆圈被置入图46中的“兼容性”和“数据量”栏中。

在以图45中的（4）所示的复用式样执行复用的情况下，用于兼容图像的复用技术和编码技术也与现有技术相同，并且兼容性是可靠的。并且，由于视差图像是在时间方向上复用的，因此视差图像每次的数据量变得比图45中的情况（3）的更小，并且可传送的数据量增加。因此，即使在传输带没有宽到足以传送具有与预复用图像相同的分辨率的视差图像的情况下，具有与预复用图像相同的分辨率的视差图像也可以被传送。因此，在解码装置中通过使用视差图像生成的预定视点的图像的精度变得更高。该情况在通过使用视差图像生成的图像的图像质量以及兼容性方面是有效的，并且在数据量方面是特别有效的。从而，单圆圈被置入图46中的“兼容性”和“图像质量”栏中，并且双圆圈被置入图46中的“数据量”栏中。

当对例如用于广播电视网络（broadcasting）（例如，与适应ATSC（高级电视系统委员会）2.0标准等的IP（互联网协议）联合的下一代广播电视网络）的图像、或用于经由互联网分配的图像应用执行编码时，以图45中的（1）到（4）中所示的复用式样执行复用。

此外，在以图45中的（5）所示的复用式样执行复用的情况下，用于兼容图像的复用技术和编码技术与现有技术相同，并且兼容性是可靠的。并且，由于各个视差图像的分辨率是该图像的分辨率的一半，因此兼容图像和辅助图像的视差图像的数据量被减少为两个视点的视差图像的数据量。因此，该情况在兼容性以及数据量方面是有效的。从而，单圆圈被置入图46中的“兼容性”和“数据量”栏中。

在以图45中的（6）所示的复用式样执行复用的情况下，与图45中的（2）相同，兼容性是可靠的，并且在解码装置中通过使用视差图像生成的预定视点的图像的精度增加。因此，该情况在通过使用视差图像生成的图像的图像质量以及兼容性方面是有效的。从而，单圆圈被置入图46中的“兼容性”和“图像质量”栏中。

在以图45中的（7）所示的复用式样执行复用的情况下，与图45中的（3）相同，兼容性是可靠的，并且视差图像的数据量减少。因此，因此，该情况在兼容性以及数据量方面是有效的，从而，单圆圈被置入图46中的“兼容性”和“数据量”栏中。

在以图45中的（8）所示的复用式样执行复用的情况下，与图45中的（4）相同，兼容性是可靠的。并且与图45中的（4）相同，视差图像每次的数据量减少比图45中的情况（7）的更小。作为结果，在解码装置中通过使用视差图像生成的预定视点的图像的精度变得更高。因此，通过使用视差图像生成的预定视点的图像的精度在解码装置中变得更高。该情况在通过使用视差图像生成的图像的图像质量以及兼容性方面是有效的，并且在数据量方面是特别有效的。从而，单圆圈被置入图46中的“兼容性”和“图像质量”栏中，并且双圆圈被置入图46中的“数据量”栏中。

当例如对用于BD、广播电视网络、下一代广播电视网络或经由互联网分配的应用的图像执行编码时执行在图45中的（5）、（7）及（8）中所示的复用式样的复用。此外，当例如对例如用于BD、下一代广播电视网络或经由互联网分配的应用的图像执行编码时执行在图45中的（6）中所示的复用式样的复用。

图47是示出用于要在兼容图像视点的数量是1并且辅助图像视点的数量是2的情况下被编码的对象的复用式样的示例的示意图。

如图47中（1）所示，图1中所示的编码装置50通过AVC技术对作为兼容图像的图像A1进行编码。编码装置50还在时间方向上对作为辅助图像的图像B1和图像C1以及作为辅助图像的视差图像的视差图像B1’和视差图像C1’进行复用。编码装置50还通过适应MVC技术的3DV技术对作为兼容图像的视差图像的视差图像A1’、辅助图像的复用图像以及辅助图像的视差图像的复用图像进行复用。

如图47中的（2）所示，编码装置50可以不对视差图像A1’到C1’进行复用，并且可以通过适应MVC技术的3DV技术对这些视差图像进行编码。并且，如图47中的（3）所示，与编码装置480相同，编码装置50可以对作为辅助图像的图像C和图像B的公共视差图像BC1’（替代辅助图像的视差图像的复用图像）进行编码。

此外，如图47中的（4）所示，编码装置50可以不在空间方向上对视差图像B1’和视差图像C1’进行复用，而是可以通过帧顺序技术对视差图像A1’到C1’进行复用，并通过适应MVC技术的3DV技术对复用图像进行编码（与编码装置440相同）。

以图47中的（1）到（4）所示的复用式样进行复用的效果和当以这些复用式样执行复用时要被编码的对象分别与以图45中的（5）到（8）所示的复用式样进行复用的效果以及以图45中的（5）到（8）所示的复用式样编码的对象相同。然而，在以图47中的（1）所示的复用式样进行复用时，兼容图像的视差图像的分辨率与兼容图像的分辨率相同，因此，仅辅助图像的视差图像的数据量能够通过复用的优点而被有效减少。

图48是示出用于要在兼容图像视点的数量是2并且辅助图像视点的数量是0的情况下被编码的对象的复用式样的示例的示意图。

在兼容图像视点的数量是2并且辅助图像视点的数量是0的情况下，在如图48中的（1）所示的空间方向上对作为兼容图像的图像A2和图像B2进行复用，通过与图3中所示的编码装置140的情况相同，通过AVC技术对该图像A2和图像B2进行编码。此外，在空间方向上对作为兼容图像的视差图像的视差图像A2’和视差图像B2’进行复用，并通过适应MVC技术的3DV技术对该视差图像A2’和视差图像B2’进行编码。

如图48中的（2）所示，可以不对视差图像A2’和视差图像B2’进行复用，而是可以通过适应MVC技术的3DV技术视差图像A2’和视差图像B2’进行编码。并且，如图48中的（3）所示，与编码装置480的情况相同，可以对公共视差图像AB2’（替代视差图像A2’和视差图像B2’进）进行编码。

此外，如图48中的（4）所示，与编码装置440的情况相同，可以不在时间方向上对视差图像A2’和视差图像B2’进行复用，而是可以通过帧顺序技术对视差图像A2’和视差图像B2’进行复用，并且然后对视差图像A2’和视差图像B2’进行编码。

此外，如图48中的（5）所示，与编码装置180的情况相同，可以不对作为兼容图像的图像A2和图像B2进行复用，而是可以通过AVC技术对图像A2进行编码，并且通过MVC技术使用图像A2作为基本视图对图像B2进行编码。

在该情况下，如图48中的（6）所示可以不对视差图像进行复用，而是可以如图48中的（2）所示对视差图像进行编码。并且如图48中的（7）所示，可以对公共视差图像AB2’进行编码（与图48中的（3）相同）。并且，如图48中的（8）所示，可以通过帧顺序技术对兼容图像的视差图像进行复用，然后对该图像进行编码（与图48中的（4）相同）。

以图47中的（1）到（8）所示的复用式样进行复用的效果和要当以这些复用式样执行复用时被编码的对象分别与以图45中的（1）到（8）所示的复用式样进行复用的效果以及要以图45中的（1）到（8）所示的复用式样被编码的对象相同。

在上述示例中，通过帧顺序技术复用的视差图像的分辨率与预复用图像的分辨率相同。然而，这些视差图像的分辨率可以小于预复用图像的分辨率。并且，与视差图像相同，辅助图像可以通过帧顺序技术而被复用。

此外，在上述示例中，表示用于图像的复用技术的信息和表示用于视差图像的复用技术的信息可以在编码装置中传送。无论如何，用于识别图45、47和48中所示的复用式样的信息可以被传送。

并且，编码装置可以传送用于识别适于要被编码的图像的应用的标志。

<5.第五实施例>

[编码装置的示例结构]

图49是示出在应用了本技术的传输系统的第五实施例中对所传输的3D图像进行编码的编码装置的示例结构的框图。

在图49所示的结构中，由与图3中的相同的附图标记来表示与图3中的相同的部件。已经做出的说明将不再重复。

图49中所示的编码装置520的结构与图3中所示的结构的区别主要在于编码器145及复用单元443由编码器523和发送单元524代替，并且复用单元521和复用单元522被增加。

编码装置520通过帧顺序技术进行复用，然后对所生成的复用图像进行编码。

具体地，编码装置520的复用单元521通过帧顺序技术对通过图像转换单元142执行的复用的结果而获得的兼容图像和辅助图像的复用图像、以及通过视差图像生成单元143执行的复用的结果而获得的兼容图像和辅助图像的视差图像的复用图像进行复用。

复用单元521然后将作为复用的结果而获得的复用图像作为时间方向复用图像提供给编码器523。在该时间方向复用图像中，兼容图像的复用图像、兼容图像的视差图像的复用图像、辅助图像的复用图像以及辅助图像的视差图像的复用图像顺序地存在于一帧时间中。

复用单元521还将信息提供给复用信息生成单元522和编码器523。该信息表示兼容图像和辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像通过帧顺序技术被复用，并且还表示在时间复用图像中图像的相继顺序。

基于由复用单元521提供的信息，复用信息生成单元522生成信息等作为关于对兼容图像和辅助图像进行的复用以及对兼容图像和辅助图像的视差图像进行的复用的总复用信息。总复用信息被提供给发送单元524。

编码器523由兼容编码器531和辅助编码器532组成。基于由复用单元521提供的信息，编码器523将由复用单元521提供的时间复用图像中的兼容图像的复用图像提供给兼容编码器531。基于由复用单元521提供的信息，编码器523还将该时间复用图像中的辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像提供给辅助编码器532。

编码器523的兼容编码器531通过现有的AVC技术对时间复用图像中的兼容图像的复用图像进行编码。辅助编码器532通过3DV技术对时间复用图像中的辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像进行编码。在这一点上，通过参考兼容图像的复用图像对辅助图像的复用图像进行编码，并且通过参考兼容图像的视差图像的复用图像对辅助图像的视差图像的复用图像进行编码。

编码器523将比特流提供给发送单元524。比特流由作为通过兼容编码器531或辅助编码器532执行的编码的结果而获得的时间复用图像的编码数据构成。

使用由编码器523提供的比特流、来自图像信息生成单元54的图像信息、来自兼容信息生成单元55的兼容性信息、来自视点间距离信息生成单元144的视点间距离信息、来自视差图像信息生成单元57的视差图像信息、来自复用信息生成单元522的总复用信息等等，发送单元524生成TS。复用单元443然后发送所生成的TS。

[编码装置的操作的描述]

图50和51是用于说明由图49所示的编码装置520执行的编码操作的流程图。例如，当图像A2到D2从成像单元141A到141D输出时，该编码操作开始。

图50中的步骤S531到S537的过程与图36中的步骤S451到S457的过程相同，因此，这里不再重复其说明。

在步骤S537的处理之后，图像转换单元142在步骤S538将兼容图像的复用图像和辅助图像的复用图像输入到复用单元521，并且操作前进到图51中的步骤S539。

在图51中的步骤S539中，使用由成像单元141A到141D提供的图像A2到D2，视差图像生成单元143检测图像A2到D2的各个像素的视差，并生成视差图像A2’到D2’。

在步骤S540，视差图像生成单元143确定用于兼容图像的视差图像和辅助图像的视差图像的复用技术，并将表示该复用技术的信息提供给视差图像信息生成单元57。

在步骤S541，基于由视差图像生成单元143提供的信息，视差图像信息生成单元57生成表示用于兼容图像的视差图像和辅助图像的视差图像的复用技术等的信息作为视差图像信息，并将该视差图像信息输入到发送单元524。

在步骤S542，基于在步骤S540确定的用于兼容图像的视差图像的复用技术，视差图像生成单元143将兼容图像的视差图像A2’和视差图像B2’进行复用。并且，基于用于辅助图像的视差图像的复用技术，视差图像生成单元143将辅助图像的视差图像C2’和视差图像D2’进行复用。

在步骤S543中的处理之后，复用单元521在步骤S544通过帧顺序技术将作为通过图像转换单元142执行的复用的结果而获得的兼容图像和辅助图像的复用图像以及作为通过视差图像生成单元143执行的复用的结果而获得的兼容图像和辅助图像的视差图像的复用图像进行复用。复用单元521将作为复用的结果而获得的复用图像作为时间方向复用图像提供给编码器523。

复用单元521还将信息提供给复用信息生成单元522和编码器523。该信息表示兼容图像和辅助图像的复用图像以及视差图像的复用图像是通过帧顺序技术被复用的，并且还表示在时间复用图像中的图像的相继顺序。

在步骤S545，基于由复用单元521提供的信息，复用信息生成单元522生成信息等作为总复用信息，并将该总复用信息输入到发送单元524。

在步骤S546，兼容编码器531通过现有的AVC技术对编码器523基于来自复用单元521的信息而输入的时间复用图像中的兼容图像的复用图像进行编码。

在步骤S547，辅助编码器532通过3DV技术对编码器523基于来自复用单元521的信息而输入的时间复用图像中的辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像进行编码。编码器523将由作为在步骤S546和S547的编码结果而获得的时间复用图像的编码数据构成的比特流提供给发送单元524。

在步骤S548，发送单元524通过来自编码器523的比特流、辅助信息以及来自复用信息生成单元522的总复用信息生成TS，并且发送该TS。该TS可以被记录在BD等中，或可以作为用于广播的流而被传送。然后操作结束。

如上所述，编码装置520通过兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像生成一个比特流。因此，在包括仅能够对一个比特流进行解码的解码器的解码装置中，能够对由编码装置520生成的比特流进行解码。

在上述示例中，通过适应用于兼容图像的编码技术的3DV技术对兼容图像的视差图像、辅助图像以及辅助图像的视差图像进行编码。然而，这些图像可以通过不适应用于兼容图像的编码技术的MPEG2（运动图片专家组-2）等进行编码。

[解码装置的示例结构]

图52是示出对于从图49中所示的编码装置520发送的TS进行解码的解码装置的示例结构的示意图。

在图52所示的结构中，通过与图4中的相同的附图标记表示与图4中的相同的部件。已经进行的说明将不再重复。

图52中所示的解码装置540的结构与图4中所示的结构的区别主要在于用接收单元541、解码器542及图像生成单元544替换了分离单元121、解码器122及图像生成单元171，并且添加了复用信息获取单元543。解码装置540对在从编码装置520传送的TS中包括的时间复用图像的比特流进行解码，生成二视图图像或多视图图像，并使显示装置（未示出）显示所生成的图像。

具体地，解码装置540的接收单元541接收从编码装置520发送的TS。接收单元541提取在该TS中包括的时间复用图像的比特流，并将该比特流提供给解码器542。接收单元541还提取在该TS中包括的辅助信息，将辅助信息中的图像信息提供给图像信息获取单元123，并将视点间距离信息提供给视点间距离信息获取单元124。此外，接收单元541将辅助信息中的视差图像信息提供给视差图像信息获取单元125，并将兼容性信息提供给兼容性信息获取单元126。接收单元541还提取在TS中包括的总复用信息，并将总复用信息提供给复用信息获取单元543。

解码器542由兼容解码器551和辅助解码器552组成。通过与AVC技术对应的技术，解码器542的兼容解码器551对在由接收单元提供的比特流中包括的兼容图像的复用图像的编码数据进行解码，并将解码后的图像提供给图像生成单元544。

通过与图49中所示的辅助编码器532中的编码器对应的技术，辅助解码器552对在由接收单元541提供的比特流中包括的辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像的编码数据进行解码。辅助解码器552作为解码的结果而获得的辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像提供给图像生成单元544。

复用信息获取单元543获取由接收单元541提供的总复用信息，并将该总复用信息提供给图像生成单元544。

根据来自观看者的显示指令，图像生成单元544输出图像，并使显示装置（未示出）显示该图像。具体地，根据来自观看者的多视图3D图像显示指令，图像生成单元544基于来自图像信息获取单元123的图像信息、来自视点间距离信息获取单元124的视点间距离信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息、来自复用信息获取单元543的总复用信息等，使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像及辅助图像的视差图像的复用图像，来生成与显示装置（未示出）对应的三个或更多个视点的图像。

更具体地，基于来自复用信息获取单元543的总复用信息，图像生成单元544识别由辅助解码器552提供的辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像。与图4中所示图像生成单元171相同，基于被包括在来自视差图像信息获取单元125的视差图像信息中的并表示用于辅助图像的视差图像的复用技术的信息，图像生成单元544从辅助图像的视差图像的复用图像中分离出辅助图像中的每个的视差图像。与图像生成单元171相同，基于被包括在视差图像信息中的并表示用于兼容图像的视差图像的复用技术的信息，图像生成单元544还从兼容图像的视差图像的复用图像中分离出兼容图像中的每个的视差图像。

此外，与图像生成单元171相同，基于被包括在来自图像信息获取单元123的图像信息中的并表示用于辅助图像的复用技术的信息，图像生成单元544从辅助图像的复用图像中分离出辅助图像中的每一个。与图像生成单元171相同，基于被包括在图像信息中的并表示用于兼容图像的复用技术的信息，图像生成单元544还从兼容图像的复用图像中分离出辅助兼容图像中的每一个。

与图像生成单元171相同，基于与显示装置（未示出）对应的视点的数量和视点间距离信息，图像生成单元544还确定要生成的多视图图像的视点中的每一个视点的位置。与图像生成单元171相同，使用各个兼容图像、各个辅助图像、各个兼容图像的视差图像及各个辅助图像的视差图像，图像生成单元544生成具有所确定的位置的各个视点的图像。图像生成单元544然后将所生成的各个视点的图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量计算出的分辨率，并将所生成的图像进行组合。所产生的图像被显示在显示装置（未示出）上。

在这一点上，以可视角在各个视点上改变的方式显示组合之后的多视图图像，并且观看者能够在不戴眼镜的情况下通过用双眼看任意两个视点的图像来观看3D图像。

与图像生成单元171相同，根据来自观看者的二视图3D图像显示指令，图像生成单元544基于来自图像信息获取单元123的图像信息将从解码器542提供的兼容图像的复用图像分离为具有兼容图像的分辨率的一半分辨率的图像A2和图像B2。与图像生成单元171相同，图像生成单元544交替地输出具有所分离的兼容图像的分辨率的一半分辨率的图像A2和图像B2，并使显示装置（未示出）显示这些图像。在这一点上，观看者配戴眼镜，该眼镜在图像A2被显示时打开用于左眼的遮光器和用于右眼的遮光器中的一个，在图像B2被显示时打开遮光器中的另一个。在配戴眼镜的情况下，观看者看到在显示装置上交替显示的图像A2和图像B2。以此方式，观看者可以观看3D图像。

[解码装置的操作的描述]

图53是用于说明由图52所示的解码装置540执行的解码操作的流程图。例如，当由图49中所示的编码装置520传输的TS被输入到解码装置540时，解码操作开始。

在图53的步骤S551中，解码装置540的接收单元541接收从编码装置520发送的TS。接收单元541提取在该TS中包括的比特流，并将该比特流提供给解码器542。接收单元541还提取在该TS中包括的辅助信息，将辅助信息中的图像信息提供给图像信息获取单元123，并将视点间距离信息提供给视点间距离信息获取单元124。此外，接收单元541将辅助信息中的视差图像信息提供给视差图像信息获取单元125，并将兼容性信息提供给兼容性信息获取单元126。接收单元541还提取在TS中包括的总复用信息，并将总复用信息提供给复用信息获取单元543。

在步骤S552中，图像生成单元544确定是否已经接收到来自观看者的二视图3D图像显示指令。如果在步骤S552中确定观看者没有发出二视图3D图像显示指令或已经发出了多视图3D图像显示指令，则操作前进到步骤S553。

在步骤S553中，解码器542的兼容解码器551从由接收单元541提供的比特流中提取兼容图像的编码数据，并通过与AVC技术对应的技术对所提取的数据进行解码。兼容解码器551然后将作为解码的结果而获得的兼容图像的复用图像提供给图像生成单元544。

在步骤S554，辅助解码器552从由接收单元541提供的比特流中提取辅助图像的复用图像、兼容图像的视差图像的的复用图像以及辅助图像的视差图像的的复用图像的编码数据，并通过与图49所示的辅助编码器532对应的技术对所提取的数据进行解码。辅助解码器552将作为解码的结果而获得的辅助图像的复用图像、兼容图像的视差图像的的复用图像以及辅助图像的视差图像的的复用图像提供给图像生成单元544。操作然后进入到步骤S555。

步骤S555到S558中的过程与图39中的步骤S475到S478中的过程相同，因此，这里不再重复它们的说明。

在步骤S558中的处理之后，复用信息获取单元543在步骤S559中获取由接收单元541提供的总复用信息，并将该总复用信息输入到图像生成单元544。

在步骤S560，基于来自视点间距离信息获取单元124的视点间距离信息以及与显示装置（未示出）对应的视点的数量，图像生成单元544确定要生成的多视图图像的视点中的每一个视点的位置。

在步骤S561，图像生成单元544基于在步骤S560中确定的各个视点的位置、来自图像信息获取单元123的图像信息、来自视差图像信息获取单元125的视差图像信息、来自兼容性信息获取单元126的兼容性信息、来自复用信息获取单元544的总复用信息等，使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像及辅助图像的视差图像的复用图像，来生成各个视点的、具有兼容图像和辅助图像的分辨率的一半分辨率的图像。操作然后进入步骤S562。

步骤S562到S567中的过程与图39中的步骤S481到S486中的过程相同，因此，这里不再重复它们的说明。然而，在步骤S564的处理中，兼容解码器重551从由接收单元541提供的比特流（替代兼容流）中提取兼容图像的复用图像。

在仅能对具有与解码装置540的兼容性的兼容图像进行解码的解码装置中，除了可处理的兼容图像的编码数据之外的编码数据被忽略，并且执行步骤S564、S566及S567中的处理。然而，在该情况下，在步骤S566的处理中，基于预先确定的复用技术，将兼容图像的复用图像分离。

如上所述，解码装置540能够对通过兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像生成的一个比特流进行解码。

[基带数据传输]

在上述图52所示的解码装置540中，如果虚线L5的左侧（接收单元541和解码器542）被设计为再生装置，虚线L5的右侧（图像生成单元544）被设计为显示装置。则该再生装置和该显示装置分别具有与上述再生装置301和再生装置302的结构相同的结构。

<6.本实施例中的比特流>

[比特流的示例结构]

图54是示出在本实施例中生成的访问单元比特流（编码流）的示例结构的示意图。

在图54中所示的示例中，兼容图像是1920×1080像素的图像L和图像R，辅助图像是1920×1080像素的图像O。视差图像L、视差图像R及视差图像O大小为960×1080。此外，通过AVC技术对图像L编码，通过MVC技术对图像R编码，通过3DV技术对图像O、视差图像L、视差图像R及视差图像O编码。图像L、图像R、图像O、视差图像L、视差图像R及视差图像O的视图ID分别是0、1、2、3、4和5。应该注意，每一个视图ID是对于视点的图像或视差图像唯一的ID。

如图54所示，访问单元比特流按顺序包括访问单元分隔符（AUD）、SES（序列参数集）、用于图像的MVC技术的SPS子集（SPS子集1）、用于视差图像的3DV技术的SPS子集（SPS子集2）、PPS（图片参数集）、AVC技术的SEI、MVC技术的SEI、3DV技术的SEI及NAL（网络提取层）。

访问单元分隔符的NAL单元是代表访问单元的分界线的NAL单元。SPS的NAL单元是包括代表在由AVC技术定义的类（profile）当中的图像L的类的“profile_idc”（图54所示的示例中的100）的SPS的NAL单元。用于图像的SPS子集的NAL单元是包括代表在由MVC技术定义的类当中的图像R和图像O的类的“profile_idc”（图54所示的示例中的128）的SPS的NAL单元。用于视差图像的SPS子集的NAL单元是包括代表在由3DV技术定义作为用于视差图像的类的类当中的视差图像L、视差图像R和视差图像O的类的“profile_idc”（图54所示的示例中的138）的SPS的NAL单元。

AVC技术的SEI的NAL单元是图像L的SEI的NAL单元。MVC技术的SEI的NAL单元是图像L和图像R的SEI的NAL单元。3DV技术的SEI的NAL单元是图像L、图像R、图像O、视差图像L、视差图像R及视差图像O的SEI的NAL单元。

编码数据的NAL单元按顺序包括图像L的编码数据、分隔符（MVCDD）、图像R的编码数据、分隔符（3DV DD）、图像O的编码数据、分隔符（3DV DD）、视差图像L的编码数据、分隔符（3DV DD）、视差图像R的编码数据、分隔符（3DV DD）、视差图像O的编码数据。

包括1或5作为NAL单元的类型的NAL报头（其代表AVC图画）被附接到图像L的编码数据的NAL单元。分隔符（MVC DD）的NAL单元是代表MVC编码数据的顶部（top）的NAL单元。包括20作为NAL单元的类型的NAL报头（其代表MVC编码数据）被附加到图像R的编码数据的NAL单元。分隔符（3DV DD）的NAL单元是代表3DV编码数据的顶部的NAL单元。包括21作为NAL单元的类型的NAL报头（其代表3DV编码数据）被附加到图像O、视差图像L、视差图像R及视差图像O的编码数据的NAL单元。

[用于视差图像的3DV技术的SPS子集的示例描述]

图55是示出图54所示的用于视差图像的3DV技术的SPS子集的示例描述的示意图。

如图55所示，用于视差图像的3DV技术的SPS子集包括：包括代表视差图像L、视差图像R和视差图像O的类的“profile_idc”（图55所示的示例中的138）以及关于由3DV技术定义的各个“profile_idc”的信息的SPS（seq_parameter_set_data）。

具体地，用于视差图像的3DV技术的SPS子集包括用于视差图像的扩展信息（seq_parameter_set_depth_extension）、表示是否包括用于视差图像的VUI扩展信息的用于视差图像的VUI信息标志（depth_vui_parameters_present_flag）等，作为当“profile_idc”是138时示出的信息。在用于视差图像的VUI信息标志表示用于视差图像的VUI扩展信息被包括的情况下，用于视差图像的VUI扩展信息（depth_vui_parameters__extension）也被写入。

当用于视差图像的3DV技术的SPS子集在解码时被参考的情况下或在视差图像L、视差图像R和视差图像O被解码的情况下，在与对IDR图画解码的同时，重置（reset）参考图像。

图56是示出在图55中所示的用于视差图像的扩展信息的示例描述的示意图。

如图56所示，用于视差图像的扩展信息包括被写入的如同MVC技术的SPS子集中的扩展信息（seq_parameter_set_mvc_extension）的信息以及与各个视差图像对应的图像的视图ID（ref_view_id）。

在图56中，被写入的如同MVC技术的SPS子集中的扩展信息的信息被扩展并且包括在用于视差图像的扩展信息中。因此，对于各个视差图像，可以将各个视差图像的视图ID（view_id）和与各个视差图像对应的图像的视图ID共同写入。即，写入表示视差图像的数量的信息（num_views_minus1），并且提供描述能够，以使得与在该信息中表示的数量相同的视差图像的数量的视图ID以及与视差图像对应的图像的视图ID被读出。

另一方面，在被写入的如同MVC技术的SPS子集中的扩展信息的信息没有被扩展而是包括在用于视差图像的扩展信息中的情况下，将表示视差图像的数量的信息与用于视差图像的扩展信息一起写入，并且需要提供描述，以使得和与在该信息中表示的数量相同的视差图像的数量的视图ID对应的图像的视图ID能够被读出。作为结果，表示用于视差图像的数量的信息的描述和用于读出关于与在该信息中表示的数量相同的视差图像的数量的信息的描述重叠。

因此，在被写入的如同MVC技术的SPS子集中的扩展信息的信息被扩展并且包括在用于视差图像的扩展信息中的情况下，如图56所示，用于视差图像的扩展信息的数据量可以比在该信息没有被扩展而是被包括在用于视差图像的扩展信息中的情况下更小。

图57是示出图55中所示的用于视差图像的VUI扩展信息的示例描述的示意图。

如图57所示，除了下列各点之外，写入如同MVC技术的VUI扩展信息（mvc_vui_parameters__extension）的用于视差图像的VUI扩展信息。对于各个视差图像的各个像素，用于视差图像的VUI信息包括表示是否包括表示与视差图像对应的图像中的位置的类型的位置类型的位置类型标志（depth_loc_info_present_flag）以及表示是否包括在分辨率转换之前视差图像的大小的预转换大小信息的预转换大小信息标志（video_src_info_present_flag）。在位置类型标志表示位置类型被包括的情况下，用于视差图像的VUI信息也包括位置类型。在位预转换大小信息标志表示预转换大小信息被包括的情况下，用于视差图像的VUI信息也包括预转换大小信息。

位置类型由顶部域位置类型（depth_sample_loc_type_top_field）和底部域位置类型（depth_sample_loc_type_bottom_field）构成。写入如同在MVC技术的VUI扩展信息中包括的顶部域位置类型（chroma_sample_loc_type_top_field）和底部域位置类型（chroma_sample_loc_type_bottom_field）的顶部域和底部域位置类型。

预转换大小信息由表示在分辨率转换之前在视差图像的横向上的宏块的数量的信息（pic_width_in_mbs_minus1）和表示在垂直方向上的宏块的数量的信息（pic_height_in_mbs_minus1）、表示指示画面比例的画面信息是否被包括的画面比例标志（aspect_ratio_info_present_flag）等构成。在画面比例标志表示画面信息被包括的情况下，预转换大小信息也包括画面信息。

画面信息由画面比例ID（aspect_ratio_idc）等构成，画面比例ID是对于画面比例唯一的ID。画面比例ID被分配给预定的画面比例，并且还被分配给所有未定义的画面比例。在画面信息中包括的画面比例ID是对所有未定义的画面比例分配的画面比例ID（Extended_SAR）的情况下，画面信息还包括在分辨率转换之前在视差图像的横向上的画面比例的值（sar_width）和在视差图像的垂直方向上的画面比例的值（sar_height）。[3DV编码数据的NAL报头的示例描述]

图58是示出包括21作为NAL单元类型的3DV编码数据的NAL单元的NAL报头的示例描述的示意图。

如图58所示，作为当NAL单元类型是21时所示的信息，3DV编码数据的NAL报头包括用于视差图像的报头扩展信息标志（depth_extension_fla），该报头扩展信息标志表示用于视差图像的报头扩展信息是否被包括。这里，用于视差图像的报头扩展信息被写入视差图像的3DV编码数据的NAL报头中。

在用于视差图像的报头扩展信息标志表示用于视差图像的报头扩展信息被包括的情况下，3DV编码数据的NAL报头还包括用于视差图像的报头扩展信息（nal_unit_header_depth_extension）。在用于视差图像的报头扩展信息标志表示用于视差图像的报头扩展信息没有被包括的情况下，编码数据的NAL报头还包括用于MVC技术的报头扩展信息（nal_unit_header_mvc_extension）。

图59是示出图58中所示的用于视差图像的报头扩展信息的示例描述的示意图。

如图59所示，除了包括与视差图像对应的图像的视图ID（ref_view_id）之外，该用于视差图像的报头扩展信息与用于MVC技术的报头扩展信息相同。

[3DV技术的SEI的示例描述]

图60是示出图54中所示的3DV技术的SEI的示例描述的示意图。

如图60所示，与MVC技术的SEI相同，3DV技术的SEI包括SEI消息。

即，3DV技术的SEI包括表示是否指示操作点的操作点标志（operation_point_flag），以及在操作点标志表示操作点将不被指示的情况下表示是否将SEI消息应用到访问单元中的所有图像和视差图像的总组分标志（all_view_components_in_au_flag）。并且，在总组分标志表示SEI消息将被应用到访问单元中的并非所有图像和视差图像的情况下，要被应用SEI消息的图像和视差图像的视图ID的数量（num_view_components_minus1）以及这些图像和视差图像的的视图ID（sei_view_id）被写入。

另一方面，在操作点标志表示操作点将被指示的情况下，该操作点当中要被应用SEI消息的图像和视差图像的视图ID（sei_op_view_id）以及该操作点的数量（sei_op_temporal_id）被写入。然后，SEI消息（sei_rbsp）被写入。在3DV技术的SEI中可以包括两个或更多个SEI消息。

在图54所示的示例中，图像R和图像O的类相同。然而，这些类可以互不相同。

[比特流的另一示例结构]

图61是示出在在图54中图像R和图像O的类互不相同的情况下访问单元比特流的示例结构的示意图。

图61中所示的比特流的结构与图54中所示的比特流的结构的区别在于提供了用于图像的3DV技术的SPS子集以及用于图像的MVC技术的SPS子集和用于视差图像的3DV技术的SPS子集。

用于图像的MVC技术的SPS子集（SPS子集1）的NAL单元是包括代表在由MVC技术定义的类当中的图像R的类的“profile_idc”（图61所示的示例中的128）的SPS子集的NAL单元。用于图像的3DV技术的SPS子集（SPS子集2）的NAL单元是包括代表在由3DV技术定义为用于图像的类的类当中的图像O的类的“profile_idc”（图61所示的示例中的148）的SPS子集的NAL单元。用于视差图像的SPS子集（SPS子集3）的NAL单元是包括代表在由3DV技术定义为用于视差图像的类的类当中的视差图像L、视差图像R及视差图像O的类的“profile_idc”（图61所示的示例中的138）的SPS子集的NAL单元。

[用于图像的3DV技术的SPS子集的示例描述]

图62是示出图61所示的用于图像的3DV技术的SPS子集的示例描述的示意图。

如图62所示，用于图像的3DV技术的SPS子集包括：包括代表视差图像O的类的“profile_idc”（图62所示的示例中的148）以及关于由3DV技术定义的各个“profile_idc”的信息的SPS（seq_parameter_set_data）。

具体地，与MVC技术的SPS子集相同，作为当“profile_idc”是148时示出的信息，用于图像的3DV技术的SPS子集包括MVC技术的扩展信息（seq_parameter_set_mvc_extension）以及表示MVC技术的VUI扩展信息是否被包括的MVC技术VUI信息标志（mvc_vui_parameters_present_flag）。在MVC技术VUI信息标志表示MVC技术的VUI扩展信息被包括时，MVC技术的VUI扩展信息（mvc_vui_parameters__extension）也被写入。作为当profile_idc”是138时示出的信息，与图55中的相同的信息被写入。

替代AVC技术或MVC技术，3DV技术可以是用于通过适应HEVC技术的多视图技术对用于显示的图像进行编码的技术。下面将描述该情况下的比特流。在本说明书中，HEVC技术是基于JCTVC（关于视频编解码的联合协作小组（Joint Collaborative Team on Video Coding）)的HEVC工作草案（Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-RainerOhm,and Gary J.Sullivian,"WD3:Working Draft3of High-EfficiencyVideo Coding",JCTVc-E603_d5(version5),May20,2011）中的描述。

<7.在3DV技术适应HEVC技术情况下的比特流>

[比特流的示例结构]

图63是示出在3DV技术适应HEVC技术情况下访问单元比特流的示例结构的示意图。

在图63中所示的示例中，视点图像L、视点图像R及视点图像O与图54中所示的示例中的相同。通过AVC技术对图像L编码，并且通过3DV技术对视差图像L、视点图像R及视点图像O编码。

图63中所示的比特流与图54中所示的比特流的区别在于用于图像的3DV技术的子集（SPS子集1）和用于视差图像的3DV技术的子集（SPS子集2）可以被写入SPS中，并且包括互相不同的NAL单元类型的NAL报头被附接到HEVC技术的SEI和3DV技术的SEI的NAL单元。

在图63中所示的比特流中，用于图像的3DV技术的SPS子集和用于视差图像的3DV技术的SPS子集可以仅被写入SPS中，或可以与SPS分开地写入，或可以在SPS中并且与SPS分开地写入。在HEVC编码数据和3DV编码数据被生成作为适应BC标准的不同的ES（基本码流）的情况下，优选与SPS分开地写入用于图像的3DV技术的SPS子集和用于视差图像的3DV技术的SPS子集。

并且，在图63中所示的比特流中，HEVC技术的SEI的NAL单元和在被附接到3DV技术的SEI的NAL单元的NAL报头中包括的NAL单元互相属于不同的类型。因此，能够在解码时容易地提取HEVC技术的SEI和3DV技术的SEI的NAL单元。

[SPS的示例描述]

图64是示出图63中所示的SPS的示例描述的示意图。

除了表示SPS子集信息是否被包括的SPS子集信息标志（subset_seq_present_flag）之外，图64中所示的SPS描述与HEVC技术的SPS描述相同，并且在SPS子集信息标志表示SPS子集信息被包括的情况下，SPS子集信息被写入。

如图64所示，SPS子集信息包括SPS子集的数量（num_subset_seq）和表示SPS子集是否被包括的SPS子集标志（subset_seq_info_present_flag）。在SPS子集标志表示SPS子集被包括的情况下，SPS子集信息还包括SPS子集（subset_seq_parameter_set_data）。

如上所述，SPS子集的数量被写入作为SPS子集信息。因此，可以简单地通过在解码时读取SPS描述来识别SPS子集是否存在。而且，由于SPS子集标志被写入，因此SPS子集不被写入到SPS中，而是可以与SPS分开写入。因此，可以防止SPS子集描述的重叠。

[SPS子集的示例描述]

图65是示出图64中所示的SPS子集的示例描述的示意图。

除了SPS子集描述包括被应用了SPS子集的图像和视差图像的视图ID的数量（um_subset_seq_views）、表示SPS子集是否被应用到视差图像的视差图像标志（depth_extension_flag）及表示在应用SPS子集时SPS是否被重载（overridden）的重载标志（seq_param_override_flag）之外，图65中所示的SPS子集描述与HEVC技术的SPS描述相同。

在视差图像标志表示SPS子集被应用到视差图像的情况下，SPS子集包括与目标（subject）视差图像对应的图像的视图ID（ref_view_id）。在重载标志表示在应用SPS子集时SPS被重载的情况下，与SPS相同，SPS子集包括表示类的信息（subset_seq_profile_idc）。

并且，例如，在SPS子集描述中，与SPS描述中的项目相同的项目包括表示被应用了SPS子集的图像和视差图像是否被分割的信息（subset_seq_frame_cropping_flag）以及表示VUI信息是否被包括的VUI信息标志（subset_seq_vui_parameters_present_flag）。在VUI信息标志表示VUI信息被包括的情况下，VUI信息（subset_seq_vui_parameters）也被写入例如SPS中。另一方面，在VUI信息标志表示VUI信息不被包括的情况下，VUI信息不被写入例如SPS中。在该情况下，SPS中的VUI信息被用作VUI信息。

[子集中的VUI信息的示例描述]

图66是示出图65所示的SPS子集中的VUI信息的示例描述的示意图。

除了表示关于目标图像的预转换大小信息的预转换大小信息标志（video_src_info_present_flag）被写入之外，图66中所示的SPS子集中的VUI信息描述与HEVC技术的SPS中的VUI信息描述相同。

在预转换大小信息标志表示目标图像的预转换大小信息被包括的情况下，预转换大小信息被写入到图66中所示的VUI信息中。即，表示在分辨率转换之前目标图像的横向上的宏块的数量的信息（src_pic_width_in_mbs_minus1）和表示在垂直方向上的宏块的数量的信息（src_pic_height_in_mbs_minus1）、表示指示画面比例的画面信息是否被包括的画面比例标志（src_aspect_ratio_info_present_flag）等被写入。

在画面比例标志表示画面信息被包括的情况下，预转换大小信息还包括由画面比例ID（src_aspect_ratio_idc）等构成的画面信息。在画面信息中包括的画面比例ID是对所有未定义的画面比例分配的画面比例ID（Extended_SAR）的情况下，画面信息还包括在分辨率转换之前画面比例中的视差图像的横向上的值（sar_width）和目标图像的垂直方向上的值（sar_height）。

可选地，仅写入图66中所示的SPS子集的VUI信息与SPS的VUI信息的不同部分。在该情况下，SPS的VUI信息中包括的信息被用于替代未被写到SPS子集的VUI信息中的信息。

[SEI的示例描述]

图67是示出在图63中所示的3DV技术的SEI的示例描述的示意图。

除了SEI消息的类型（nesting_type）、总组分标志（all_view_components_in_au_flag）等被写入之外，图67中所示的3DV技术的SEI描述与SEI消息类型的SEI消息描述相同。

SEI消息的类型可以是MVC SEI消息、3DV SEI消息、由用户定义的SEI消息等。在总组分标志表示SEI消息并非被应用到访问单元中的所有图像和视差图像的情况下，被应用了SEI消息的图像和视差图像的视图ID的数量（num_view_components_minus1）和这些图像和视差图像的视图ID（nesting_sei_view_id）也被写入3DV技术的SEI中。

基于解码后的3D图像数据，上述再生装置301可以生成包括图像信息、兼容性信息、视点间距离信息、视差图像信息、用于识别图像的复用式样的信息、用于识别视差图像的复用式样的信息等的3D信息。

<8.第六实施例>

[计算机]

上述一系列操作可以由硬件执行或可以由软件执行。在该情况下，操作可以例如由如图68中所示的计算机实现。

在图68中，计算机600的CPU（中央处理单元）601根据在ROM（只读存储器）602中保存的程序或从存储单元613载入到RAM（随机访问存储器）603中的程序来执行各种操作。必要时，CPU601执行各种操作等必需的数据也被保存在RAM603中。

CPU601、ROM602及RAM603经由总线604被互相连接。输入/输出接口610也被连接到总线604。

输入/输出接口610具有连接到其上的下列部件：由键盘、鼠标等构成的输入单元611；由例如CRT（阴极射线管）或LCD（液晶显示器）等显示器以及扬声器构成的输出单元612；由硬盘等构成的存储单元613；以及，由调制解调器构成的通信单元614。通信单元614经由包括互联网的网络执行通信。

必要时，驱动615还连接到输入/输出接口610，并且例如磁盘、光盘、磁光盘或半导体存储器等可移动介质621被适当地安装到驱动上。必要时，从该种可移动介质盘读取的计算机程序被安装到存储单元613中。

在上述一系列操作由软件执行的情况下，从网络或记录介质安装构成软件的程序。

如图68所示，该记录介质由已经记录了程序的可移动介质621构成，可移动介质621被分布来对与装置分离的用户递送程序，可移动介质例如是磁盘（包括软盘）、光盘（包括CD-ROM（光盘只读存储器）或DVD（数字视频光盘））、磁光盘（包括MD（迷你光盘））或半导体存储器。可选择地，记录介质可以由具有所记录的程序的ROM602或在存储单元613中包括的硬盘构成。在向用户递送之前，提前将该种记录介质并入到装置中。

要由计算机执行的程序可以是用于根据在本说明书中描述的时序按时间顺序执行处理的程序，或用于并行地或必要时（例如响应于呼叫等）执行处理的程序。

在本说明书中，在要被记录在记录介质中的程序中写下的步骤包括要被并行或互相独立地执行的操作（如果不必要按照时间顺序）、以及要根据本文描述的时序按时间顺序执行的操作。

<9.第七实施例>

[电视设备的示例结构]

图69示意性地示出被应用了本技术的电视设备的示例结构。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908及外部接口单元909。电视设备900还包括控制单元910、用户接口单元911等。

调谐器902从在天线901处接收的广播电波信号中选择所期望的信道。所产生的编码比特流被输出到解复用器903。

解复用器903从编码比特流中提取要被观看的影像（show）的视频和音频包，并将所提取的包的数据输出到解码器904。解复用器903还将例如EPG（电子节目向导）等数据包提供给控制单元910。在加密被执行的情况下，解复用器等取消加密。

解码器904执行数据包解码，并将通过解码操作生成的视频数据输出到视频信号处理单元905，并将通过解码操作生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户设置使视频数据受到噪声去除和视频处理等。视频信号处理单元905基于经由网络提供的应用通过操作生成要在显示单元906上显示的影像，或生成图像数据等。视频信号处理单元905还生成用于显示用于项目选择的菜单屏幕等的视频数据并且在影像的视频数据上叠加所生成的视频数据。基于以此方式生成的视频数据，视频信号处理单元905生成驱动信号来驱动显示单元906。

基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示装置（例如，液晶显示元件）以显示影像的视频。

音频信号处理单元907使音频数据受到例如噪声去除等预定处理，并对处理后的音频数据执行D/A转换操作和放大操作。所产生的音频数据被作为音频输出提供给扬声器908。

外部接口单元909是用于与外部装置或网络连接的接口，并且外部接口单元909根据HDMI标准等发送例如视频数据和音频数据等数据或接收该种数据。

用户接口单元911连接到控制单元910。用户接口单元911由操作开关、遥控信号接收单元等构成，并且用户接口单元911将根据用户操作的操作信号提供给控制单元910。

控制单元910由CPU（中央处理单元）、存储器等构成。存储器保存要由CPU执行的程序、CPU执行操作必需的各种数据、EPG数据、经由网络获得的数据等。CPU在预定的时刻（例如启动电视设备900时）读取并执行在存储器中保存的程序。CPU执行程序以控制各个部件，以使得电视设备900根据用户操作进行操作。

在电视设备900中，提供总线912以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910。

在具有该种结构的电视设备中，本发明的图像处理装置（图像处理方法）的功能被设置在外部I/F单元909中。因此，能够正确传送该种用于生成多视图图像的格式的图像数据。

<10.第八实施例>

[便携式电话装置的示例结构]

图70示意性地示出被应用了本技术的便携式电话装置的示例结构。便携式电话装置920包括通信单元922、音频编解码器923、照相机单元926、图像处理单元927、解复用单元928、记录/再生单元929、显示单元930及控制单元931。这些部件经由总线933互相连接。

并且，天线921被连接通信单元922，并且扬声器924和麦克风925被连接到音频编解码器923。此外，操作单元932被连接到控制单元931。

便携式电话装置920以例如音频通信模式和数据通信模式等各种模式执行各种操作，例如发送和接收音频信号、发送和接收电子邮件及图像数据、图像捕捉及数据记录。

在音频通信模式中，在麦克风925中生成的音频信号被转换为音频数据，并且该数据在音频编解码器923中被压缩。压缩后的数据被提供给通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成传送信号。通信单元922还将传送信号提供给天线921，并且该传送信号被传送到基站（未示出）。通信单元922还将在天线921处接收的信号进行放大，并执行频率转换操作、解调制操作等。所产生的音频数据被提供给音频编解码器923。音频编解码器923将音频数据解压缩，并将该音频数据转换为要被输出到扬声器924的模拟音频数据。

在以数据通信模式执行邮件传送的情况下，控制单元931接收通过操作单元932的操作输入的文本数据，并且该输入文本被显示在显示单元930上。根据通过操作单元932的用户指令等，控制单元931生成邮件数据并将该邮件数据提供给通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并从天线921将所产生的传送信号进行发送。通信单元922还对在天线921处接收的信号进行放大，并执行频率转换操作、解调制操作等，以恢复邮件数据。该邮件数据被提供给显示单元930，并且邮件内容被显示。

便携式电话装置920可以使记录/再生单元929将所接收到的邮件数据保存到存储介质中。存储介质是可改写存储介质。例如，存储介质可以是：例如RAM或内部快闪存储器等半导体存储器，硬盘，或磁盘、磁光盘、光盘、USB存储器或存储器卡等可移动介质。

在图像数据以数据通信模式传送的情况下，在照相机单元926处生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据执行编码操作以生成编码数据。

解复用单元928通过预定技术对在图像处理单元927处生成的编码数据和由音频编解码器923提供的音频数据进行复用，并将复用数据提供给通信单元922。通信单元922对复用数据执行调制操作、频率转换操作等，并从天线921将所产生的传送信号进行发送。通信单元922还将在天线921处接收到的信号进行放大，并执行频率转换操作、解调制操作等，以恢复复用数据。复用数据被提供给解复用单元928。解复用单元928将复用数据进行分割，并将编码数据提供给图像处理单元927，将音频数据提供给音频编解码器923。

图像处理单元927对编码数据执行解码操作以生成图像数据。图像处理单元927还将图像数据提供给显示单元930以显示所接收到的图像，或根据HDMI标准等将图像数据进行传送。音频编解码器923将音频数据转换为模拟音频信号，并将模拟音频信号提供给扬声器924，以使得所接收到的声音被输出。

在具有该种结构的便携式电话装置中，本发明的图像处理装置（图像处理方法）的功能被设置在图像处理单元927中。因此，能够正确传送该种用于生成多视图图像的格式的图像数据。

<11.第九实施例>

[记录/再生装置的示例结构]

图71示意性地示出被应用了本技术的记录/再生装置的示例结构。记录/再生装置940例如在记录介质上记录所接收到广播影像的音频数据和视频数据，并且在根据来自用户的指令的时刻将所记录的数据提供给用户。记录/再生装置940还可以例如从其它装置获得音频数据和视频数据，并在记录介质上记录该数据。此外，记录/再生装置940对在记录介质上记录的音频数据和视频数据进行解码并将其输出，以使得监视器装置等可以显示图像并输出声音。

记录/再生装置940包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动）单元944、盘驱动945、选择器946、解码器947、OSD（在屏显示）单元948、控制单元949及用户接口单元950。

调谐器941从在天线（未示出）处接收的广播信号中选择所期望的信道。调谐器941对接收到的期望的信道的信号进行解调制，并将所产生的编码比特流输出到选择器946。

外部接口单元942由IEEE1394接口、网络接口单元、USB接口、快闪存储器接口、HDMI等中的至少一个构成。外部接口单元942是用于与外部装置、网络、存储器卡等连接的接口，并且外部接口单元942接收例如要被记录的音频数据和视频数据等数据。

编码器943对由外部接口单元942提供的并且未被编码的音频数据和视频数据执行预定编码，并且将编码比特流输出到选择器946。

HDD单元944在外部硬盘上记录例如视频和声音等内容数据、各种程序、其它数据等，并在进行再生等时从硬盘中读出数据。

盘驱动945在安装的光盘上执行信号记录和再生。光盘例如可以是DVD盘（例如DVD-Video（DVD影碟）、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光盘。

选择器946在视频和音频记录时从调谐器941或编码器943中选择编码比特流，并将编码比特流提供给HDD单元944或盘驱动945。选择器946还在视频和音频再生时将从HDD单元944或盘驱动945输出的编码比特流提供给解码器947。

解码器947对编码比特流提供执行解码操作。解码器947将通过执行解码而生成的视频数据提供给OSD单元948。解码器947还将通过执行解码而生成的音频数据进行输出。

OSD单元948生成用于显示用于项目选择的菜单屏幕等的视频数据，并且在从解码器947输出的视频数据上叠加该视频数据。

用户接口单元950连接到控制单元949。用户接口单元950由操作开关、遥控信号接收单元等构成，并且用户接口单元950将根据用户操作的操作信号提供给控制单元949。

控制单元949由CPU、存储器等构成。存储器保存要由CPU执行的程序以及CPU执行操作必需的各种数据。CPU在预定的时刻（例如启动记录/再生装置940时）读取并执行在存储器中保存的程序。CPU执行程序以控制各个部件，以使得记录/再生装置940根据用户操作进行操作。

在具有该种结构的记录/再生装置中，本发明的图像处理装置（图像处理方法）的功能被设置在外部I/F单元942中。因此，能够正确传送该种用于生成多视图图像的格式的图像数据。

<12.第十实施例>

[成像装置的示例结构]

图72示意性地示出被应用了本技术的成像装置的示例结构。成像装置960捕获对象的图像，并使显示单元显示对象的图像或在记录介质中记录该图像作为图像数据。

成像装置960包括光学块961、成像单元962、照相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动968、OSD单元969及控制单元970。用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动968、OSD单元969及控制单元970等经由总线972连接。

光学块961由变焦镜头、光圈等构成。光学块961在成像单元962的成像表面上形成对象（object）的光学图像。成像单元962（由CCD或CMOS图像传感器构成）根据光学图像通过光电转换生成电信号，并将电信号提供给照相机信号处理单元963。

照相机信号处理单元963对由成像单元962提供的电信号执行各种照相机信号处理，例如拐点校正（knee correction）、伽马校正及颜色校正等。照相机信号处理单元963将受到照相机信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对由照相机信号处理单元963提供的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作生成的编码数据提供给外部接口单元966和介质驱动968。图像数据处理单元964还对由外部接口单元966和介质驱动968提供的编码数据执行解码操作。图像数据处理单元964将通过执行解码操作而生成的图像数据提供给显示单元965。图像数据处理单元964还执行将由照相机信号处理单元963提供的图像数据提供给显示单元965的操作，或在该图像数据上叠加从OSD单元969获得的显示数据并将该图像数据提供给显示单元965。

OSD单元969生成由符号、字符、或图形、或例如图标等显示数据构成的菜单屏幕，并将该种数据输出到图像数据处理单元964。

外部接口单元966例如由USB输入/输出端或HDMI输入/输出端构成，并且当图像打印被执行时外部接口单元966连接到打印机。必要时，驱动也连接到外部接口单元966，并且例如磁盘或光盘等可移动介质被适当地安装在驱动上。必要时，安装从该种可移动盘中读出的计算机程序。此外，外部接口单元966包括连接到例如LAN或互联网等预定网络的网络接口。控制单元970例如根据来自用户接口单元971的指令从存储器单元967中读出编码数据，并且控制单元970可以将编码数据从外部接口单元966提供给经由互联网连接到其上的另一装置。控制单元970还可以经由外部接口单元966获得由另一装置经由网络提供的编码数据或图像数据，并将编码数据或图像数据提供给图像数据处理单元964。

要由介质驱动968驱动的记录介质可以是可读/写可移动盘，例如磁盘、磁光盘、光盘或半导体存储器。记录介质可以是任意类型的可移动介质，并且可以是磁带装置、盘或存储器卡。记录介质当然可以是非接触式IC卡等。

可选择地，介质驱动968和记录介质可以被集成，并且可以由例如内部硬盘驱动或SSD（固态驱动）等稳定的存储介质构成。

控制单元970由CPU、存储器等构成。存储器保存要由CPU执行的程序、CPU执行操作必需的各种数据等。CPU在预定的时刻（例如启动成像装置960时）读取并执行在存储器中保存的程序。CPU执行程序以控制各个部件，以使得成像装置960根据用户操作进行操作。

在具有该种结构的成像装置中，本发明的图像处理装置（图像处理方法）的功能被设置在外部I/F单元966中。因此，能够正确传送该种用于生成多视图图像的格式的图像数据。

在本说明书中，系统表示由多于一个的装置构成的整个设备。

并且，在上述示例中，作为一个装置（或一个处理单元）描述的任意结构可以被分割为两个或更多个装置（或处理单元）。相反地，作为两个或更多个装置（或处理单元）描述的任意结构可以被合并以形成一个装置（或一个处理单元）。并且，当然可以对任意装置（或任意处理单元）的结构增加除了上述结构之外的结构。此外，只要整个系统的结构和功能保持相同，则装置（或处理单元）的结构的一部分可以被并入到另一装置（或另一处理单元）。即，本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下，可以进行各种修改。

附图标记列表

300传输系统、301再生装置、302显示装置、303HDMI线缆、311解码器、312模式确定单元、3133D信息生成单元、314通信单元、321通信单元、322模式确定单元、323同步设置单元、324同步控制单元、325图像生成单元、326显示单元、411接收端信息获取单元、412同步设置单元、421接收端信息提供单元

Claims (22)

1.一种图像处理装置，包括：

模式确定单元，被配置用于通过参考要用于生成多视点图像的立体视觉图像数据的格式来确定兼容模式，所述兼容模式表示与图像数据格式的兼容性；

生成单元，被配置用于生成兼容性信息作为3D信息，所述兼容性信息表示由所述模式确定单元确定的所述兼容模式；及

传送单元，被配置用于将所述立体视觉图像数据和由所述生成单元生成的所述3D信息传送到所述立体视觉图像数据的传送目的地。

2.根据权利要求1所述的图像处理装置，其中，所述生成单元生成格式信息作为所述3D信息，所述格式信息表示所述立体视觉图像数据的格式。

3.根据权利要求2所述的图像处理装置，其中，所述生成单元生成图像复用信息和视差图像复用信息作为所述3D信息，所述图像复用信息表示用于所述立体视觉图像数据中的图像数据的复用技术，所述视差图像复用信息表示用于所述立体视觉图像数据中的视差图像数据的复用技术。

4.根据权利要求2所述的图像处理装置，其中，所述生成单元生成识别信息作为所述3D信息，所述识别信息用于识别所述立体视觉图像数据中的图像数据的复用式样或所述立体视觉图像数据中的视差图像数据的复用式样。

5.根据权利要求2所述的图像处理装置，其中，所述传送单元将所述3D信息写入HDMI（高清晰多媒体接口）标准的VSIFPC（供应商特定的信息帧包内容）中，并传送所述3D信息。

6.根据权利要求5所述的图像处理装置，其中，所述传送单元将所述3D信息写入到所述VSIFPC的区域中的空闲空间中，并传送所述3D信息，所述VSIFPC的区域被设计用于使得与3D图像数据有关的信息被写入到该区域中。

7.根据权利要求2所述的图像处理装置，其中，所述兼容模式包括表示与现有的二维图像数据的兼容性的单一兼容模式、表示与现有的帧封装3D图像数据的兼容性的帧封装兼容模式以及表示与现有的立体视觉3D图像数据的兼容性的立体视觉兼容模式。

8.根据权利要求1所述的图像处理装置，其中，所述传送单元使用等同于垂直同步信号的多个周期的有效视频区间来传送所述立体视觉图像数据的一帧数据。

9.根据权利要求8所述的图像处理装置，进一步包括：

区间设置单元，被配置用于对所述垂直同步信号设置不规则周期，

其中，所述传送单元使用等同于由所述区间设置单元设置的多个周期的有效视频区间来传送所述立体视觉图像数据的一帧数据。

10.根据权利要求1所述的图像处理装置，进一步包括：

性能信息获取单元，被配置用于从所述立体视觉图像数据的传送目的地处的装置获取性能信息，所述性能信息表示所述装置的处理性能；及

同步设置单元，被配置用于基于通过由所述性能信息获取单元获取的所述性能信息表示的所述装置的处理性能，设置用于所述立体视觉图像数据的同步方法，

其中，所述生成单元生成同步信息作为3D信息，所述同步信息表示由所述同步设置单元设置的所述同步方法。

11.一种要由图像处理装置执行的图像处理方法，包括：

通过参考要用于生成多视点图像的立体视觉图像数据的格式来确定兼容模式，所述兼容模式表示与图像数据格式的兼容性，所述确定由模式确定单元执行；

生成兼容性信息作为3D信息，所述兼容性信息表示由所述模式确定单元确定的兼容模式，所述生成由生成单元执行；及

将所述立体视觉图像数据和由所述生成单元生成的所述3D信息传送到所述立体视觉图像数据的传送目的地，所述传送由传送单元执行。

12.一种图像处理装置，包括：

接收单元，被配置用于接收要用于生成多视点图像的立体视觉图像数据，以及接收兼容模式作为3D信息，所述兼容模式表示所述立体视觉图像数据的格式与图像数据格式的兼容性；

模式确定单元，被配置用于基于由所述接收单元接收到的所述3D信息，确定由所述接收单元接收到的所述立体视觉图像数据的所述兼容模式；及

同步控制单元，被配置用于基于由所述模式确定单元确定的所述兼容模式，控制对于由所述接收单元接收到的所述立体视觉图像数据的处理的同步。

13.根据权利要求12所述的图像处理装置，其中，所述接收单元接收格式信息作为所述3D信息，所述格式信息表示所述立体视觉图像数据的格式。

14.根据权利要求13所述的图像处理装置，其中，所述接收单元接收图像复用信息和视差图像复用信息作为所述3D信息，所述图像复用信息表示用于所述立体视觉图像数据中的图像数据的复用技术，所述视差图像复用信息表示用于所述立体视觉图像数据中的视差图像数据的复用技术。

15.根据权利要求13所述的图像处理装置，其中，所述接收单元接收识别信息作为所述3D信息，所述识别信息用于识别所述立体视觉图像数据中的图像数据的复用式样或所述立体视觉图像数据中的视差图像数据的复用式样。

16.根据权利要求13所述的图像处理装置，其中，所述接收单元接收所述3D信息，所述3D信息被写入到HDMI（高清晰多媒体接口）标准的VSIFPC（供应商特定的信息帧包内容）中并被传送。

17.根据权利要求16所述的图像处理装置，其中，所述接收单元接收所述3D信息，所述3D信息被写入到所述VSIFPC的区域中的空闲空间中并被传送，所述VSIFPC的区域被设计用于使得与3D图像数据有关的信息被写入到该区域中。

18.根据权利要求13所述的图像处理装置，其中，所述兼容模式包括表示与现有的二维图像数据的兼容性的单一兼容模式、表示与现有的帧封装3D图像数据的兼容性的帧封装兼容模式以及表示与现有的立体视觉3D图像数据的兼容性的立体视觉兼容模式。

19.根据权利要求12所述的图像处理装置，其中，所述接收单元接收使用等同于垂直同步信号的多个周期的有效视频区间传送的所述立体视觉图像数据的一帧数据。

20.根据权利要求19所述的图像处理装置，其中，所述接收单元接收使用等同于所述垂直同步信号的多个周期的有效视频区间传送的所述立体视觉图像数据的一帧数据，所述垂直同步信号的周期是不规则的。

21.根据权利要求12所述的图像处理装置，进一步包括：

性能信息提供单元，被配置用于将表示所述图像处理装置的处理性能的性能信息提供给作为所述立体视觉图像数据的传送器的装置。

22.一种要由图像处理装置执行的图像处理方法，包括：

接收要用于生成多视点图像的立体视觉图像数据，以及接收兼容模式，所述兼容模式表示所述立体视觉图像数据的格式与图像数据格式的兼容性，所述接收由接收单元执行；

基于由所述接收单元接收的所述3D信息，确定由所述接收单元接收到的所述立体视觉图像数据的所述兼容模式，所述确定由模式确定单元执行；及

基于由所述模式确定单元确定的所述兼容模式，控制对于由所述接收单元接收到的所述立体视觉图像数据的处理的同步，所述控制由同步控制单元执行。

Images