CN103081479A - 编码装置、编码方法、解码装置和解码方法 - Google Patents

编码装置、编码方法、解码装置和解码方法 Download PDF

Info

Publication number
CN103081479A
CN103081479A CN2011800407455A CN201180040745A CN103081479A CN 103081479 A CN103081479 A CN 103081479A CN 2011800407455 A CN2011800407455 A CN 2011800407455A CN 201180040745 A CN201180040745 A CN 201180040745A CN 103081479 A CN103081479 A CN 103081479A
Authority
CN
China
Prior art keywords
image
anaglyph
information
unit
compatible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800407455A
Other languages
English (en)
Inventor
服部忍
高桥良知
米满润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103081479A publication Critical patent/CN103081479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

本发明涉及一种编码装置、编码方法、解码装置和解码方法，其使用与当前方法兼容的方法来实现对多视点图像的编码和解码。兼容编码器对作为兼容图像的图像（A1）进行编码并生成兼容流。图像转换器对作为辅助图像的图像（B1）和图像（C1）的分辨率进行转换。辅助编码器对分辨率已被转换的辅助图像进行编码并且生成编码辅助图像流。兼容性数据生成单元生成将图像（A1）指定作为兼容图像的数据作为兼容性数据。复用单元传送兼容流、编码辅助图像流和兼容数据。本发明可以应用于例如对多视点3D图像进行编码的编码装置。

Description

编码装置、编码方法、解码装置和解码方法
技术领域
本技术涉及一种编码装置、编码方法、解码装置和解码方法，更具体地，涉及一种能够根据与现有模式兼容的模式对多视点图像进行编码和解码的编码装置、编码方法、解码装置和解码方法。
背景技术
当前，作为3D图像观看模式，一般地，存在通过佩戴在显示两视点图像中的一个图像时左眼快门打开并且在显示另一图像时右眼快门打开的眼镜而看到交替显示的两视点图像的模式（下文中称为两视点模式）。
然而，在这样的两视点模式下，除了3D图像显示装置之外，观看者还需要购买眼镜，因此，观看者的购买意愿下降。另外，由于观看者需要佩戴用于观看的眼镜，因此这使得观看者烦恼。因此，对于可以在不佩戴眼镜的情况下观看3D图像的观看模式（下文中称为多视点模式）的需求增加。
在多视点模式下，多视点图像被显示为使得可观看角度对于每个视点是不同的，并且用左眼和右眼观看任意两个视点的图像的观看者可以看到3D图像而无需佩戴眼镜。
提供多视点模式的观看的显示装置例如基于用于两视点模式的两个视点的图像而生成用于多视点模式的多视点图像，并且显示所生成的多视点图像。更具体地，显示装置使用图像视差估计技术（深度估计）来获取用于两视点模式的两视点图像的视差（深度）。然后，显示装置使用利用两个视点的图像之间的视差的多视点图像生成技术（视图生成）和合成技术（视图合成）来生成邻近于与用于两视点模式的两个视点的图像对应的视点的多视点图像的合成图像，并且显示该合成图像。
现有编码模式包括高级视频编码（AVC）模式和多视图视频编码（MVC）模式。
图1是示出根据AVC模式对2D图像进行编码并且对编码图像进行解码的图像处理系统的示例的图。
图1所示的图像处理系统10由成像单元11、AVC编码器12和AVC解码器13构成。
图像处理系统10的成像单元11捕获预定视点的图像A并且将所捕获的图像提供到AVC编码器12。AVC编码器12根据AVC模式对从成像单元11提供的图像A进行编码并且将编码图像提供到AVC解码器13。AVC解码器13根据与AVC模式对应的模式对从AVC编码器12提供的编码后的图像A进行解码。AVC解码器13输出作为解码处理的结果而获取的图像A，从而显示该图像。以此方式，观看者可以看到2D图像。
图2是示出根据AVC模式对两个视点的图像进行编码并且对该图像进行解码的图像处理系统的示例的图。
图2所示的图像处理系统20由成像单元21A、成像单元21B、AVC编码器22和AVC解码器23构成。
成像单元21A捕获预定视点的图像A，将该图像的分辨率减半，并且将所得到的图像作为画面的左半部分图像提供到AVC编码器22。另外，成像单元21B捕获与图像A的视点不同的视点的图像B，将该图像的分辨率减半，并且将所得到的图像作为画面的右半部分图像提供到AVC编码器22。AVC编码器22根据AVC模式对左半部分由分辨率已被减半的图像A（下文中称为1/2分辨率图像A）构成而右半部分由分辨率已被减半的图像B（下文中称为1/2分辨率图像B）构成的图像进行编码，并且将编码图像提供到AVC解码器23。
AVC解码器23根据与AVC模式对应的模式对从AVC编码器22提供的编码后的图像进行解码。AVC解码器23输出作为解码处理的结果而获取的图像并且交替地显示1/2分辨率图像A和B。此时，观看者例如佩戴在显示1/2分辨率图像A时左眼快门打开并且在显示1/2分辨率图像B时右眼快门打开的眼镜，仅用左眼观看1/2分辨率图像A，并且仅用右眼观看1/2分辨率图像B。以此方式，观看者可以看到3D图像。
图3是示出根据MVC模式对两个视点的图像进行编码并且对编码图像进行解码的图像处理系统的图。
图3所示的图像处理系统30由成像单元31A、成像单元31B、MVC编码器32和MVC解码器33构成。
成像单元31A捕获预定视点的图像A并且将所捕获的图像提供到MVC编码器32。另外，成像单元31B捕获与图像A的视点不同的视点的图像B，并且将所捕获的图像提供到MVC编码器32。MVC编码器32根据AVC模式对从成像单元31A提供的作为基本图像的图像A进行编码，并且根据MVC模式对从成像单元31B提供的作为从属图像（dependent image）的图像B进行编码。MVC编码器32将编码后的图像A和B提供到MVC解码器33。
MVC解码器33根据与MVC模式对应的模式对从MVC编码器32提供的编码后的图像A和B进行解码。MVC解码器33输出作为解码处理的结果而获取的图像A和B，并且交替地显示这些图像。此时，观看者例如佩戴在显示图像A时左眼快门打开并且在显示图像B时右眼快门打开的眼镜，仅用左眼观看图像A，并且仅用右眼观看图像B。以此方式，观看者可以看到3D图像。
图4是示出通过根据MVC模式对两个视点的图像进行编码并且对图像进行解码来生成多视点图像的图像处理系统的示例的图。
图4所示的图像处理系统40由成像单元31A和31B、MVC编码器32、MVC解码器33、视差检测单元41和图像生成单元42构成。在图4中，相同的附图标记被赋予与图3所示的配置相同的配置，并且将适当地省略其描述。
作为由MVC解码器33执行的解码的结果而获取的图像A和B被提供到图像处理系统40的视差检测单元41。视差检测单元41使用图像A和B检测图像A和B的每个像素的视差。视差检测单元41生成表示图像A的每个像素的视差的视差图像A’和表示图像B的每个像素的视差的视差图像B’，并且将所生成的视差图像提供到图像生成单元42。图像生成单元42通过使用作为MVC解码器33执行的解码的结果而获取的图像A和B以及从图像生成单元42提供的视差图像A’和B’来生成数量与图中未示出的显示装置对应的多视点的图像。然后，图像生成单元42将所生成的每个视点的图像的分辨率转换成分辨率的“1/视点数量”，对图像进行合成，并且输出合成图像以进行显示。
此时，合成之后的多视点图像被显示为使得观看角度对于每个视点是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像而无需佩戴眼镜。
同时，还已想出了用于对多视点图像进行编码的模式（例如，参见专利文献1）。
引用列表
专利文献
专利文献1：日本专利申请早期公开第2008-182669号
发明内容
本发明要解决的问题
然而，没有与用于两个以下视点的图像的现有编码模式具有兼容性的、用于对多视点图像进行编码的模式。
本技术是鉴于这样的情形而发明的并且实现了以与现有模式具有兼容性的模式对多视点图像进行编码和解码。
问题的解决方案
根据本技术的第一方面，提供了一种编码装置，其包括：兼容图像编码单元，通过在多视点图像之中指定兼容图像并对所指定的兼容图像进行编码来生成第一编码流；图像转换单元，对在从兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换；辅助图像编码单元，通过对经图像转换单元转换的辅助图像进行编码来生成第二编码流；设置单元，设置指定兼容图像的兼容图像指定信息；以及传送单元，传送兼容图像编码单元生成的第一编码流、辅助图像编码单元生成的第二编码流以及设置单元设置的兼容图像指定信息。
根据本技术的第一方面的编码方法对应于根据本技术的第一方面的编码装置。
在本技术的第一方面，通过在多视点图像之中指定兼容图像并对所指定的兼容图像进行编码来生成第一编码流，通过对在从兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换并且对分辨率经转换的辅助图像进行编码来生成第二编码流，设置指定兼容图像的兼容图像指定信息，以及传送第一编码流、第二编码流和兼容图像指定信息。
根据本技术的第二方面，提供了一种解码装置，其包括：接收单元，接收作为对在多视点图像之中指定的兼容图像进行编码的结果而获取的第一编码流、作为对在从兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换并对辅助图像进行编码的结果而获取的第二编码流、以及指定兼容图像的兼容图像指定信息；兼容图像解码单元，基于兼容图像指定信息识别第一编码流并且对第一编码流进行解码；辅助图像解码单元，对第二编码流进行解码；以及图像转换单元，对作为辅助图像解码单元进行解码的结果而获取的、分辨率经转换的辅助图像的分辨率进行转换。
根据本技术的第二方面的解码方法对应于根据本技术的第二方面的解码装置。
在本技术的第二方面，接收作为对在多视点图像之中指定的兼容图像进行编码的结果而获取的第一编码流、作为对在从兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换并对辅助图像进行编码的结果而获取的第二编码流、以及指定兼容图像的兼容图像指定信息，基于兼容图像指定信息识别第一编码流，对第一编码流进行解码，对第二编码流进行解码，并且对作为解码的结果而获取的、分辨率经转换的辅助图像的分辨率进行转换。
另外，可通过使得计算机执行程序来实现根据第一方面的编码装置和根据第二方面的解码装置。
此外，由计算机执行以便实现根据第一方面的编码装置和根据第二方面的解码装置的程序可在通过传送介质来传送或者记录在记录介质上的情况下来提供。
本发明的效果
根据本技术的第一方面，可以以与现有模式具有兼容性的模式对多视点图像进行编码。
另外，根据本技术的第二方面，可以以与现有模式具有兼容性的模式对多视点图像进行解码。
附图说明
图1是示出根据AVC模式对2D图像进行编码并且对编码图像进行解码的图像处理系统的示例的图。
图2是示出根据AVC模式对两个视点的图像进行编码并且对编码图像进行解码的图像处理系统的示例的图。
图3是示出根据MVC模式对两个视点的图像进行编码并且对编码图像进行解码的图像处理系统的示例的图。
图4是示出通过根据MVC模式对两个视点的图像进行编码并且对编码图像进行解码来生成多视点图像的图像处理系统的示例的图。
图5是示出根据本技术的第一实施例的编码装置的配置示例的框图。
图6是示出兼容性信息和视差图像信息的描述示例的图。
图7是示出兼容性信息的详细描述示例的图。
图8是示出视差图像信息的详细描述示例的图。
图9是示出视点间距离信息的描述示例的图。
图10是示出图5所示的编码装置执行的编码处理的流程图。
图11是示出图5所示的编码装置执行的编码处理的流程图。
图12是示出与图5所示的编码装置对应的解码装置的配置示例的图。
图13是示出图12所示的解码装置执行的解码处理的流程图。
图14是示出根据本技术的第二实施例的编码装置的配置示例的框图。
图15是示出图14所示的编码装置执行的编码处理的流程图。
图16是示出图14所示的编码装置执行的编码处理的流程图。
图17是示出与图14所示的编码装置对应的解码装置的配置示例的图。
图18是示出图17所示的解码装置执行的解码处理的流程图。
图19是示出根据本技术的第三实施例的编码装置的配置示例的框图。
图20是示出图19所示的编码装置执行的编码处理的流程图。
图21是示出图19所示的编码装置执行的编码处理的流程图。
图22是示出与图19所示的编码装置对应的解码装置的配置示例的图。
图23是示出图22所示的解码装置执行的解码处理的流程图。
图24是示出兼容性信息和视差图像信息的另一描述示例的图。
图25是示出兼容性信息的另一详细描述示例的图。
图26是示出视差图像信息的另一详细描述示例的图。
图27是示出视点间距离信息的另一描述示例的图。
图28是示出根据本技术的第四实施例的编码装置的配置示例的框图。
图29是示出视差图像信息的又一描述示例的图。
图30是示出图28所示的编码装置执行的编码处理的流程图。
图31是示出图28所示的编码装置执行的编码处理的流程图。
图32是示出与图28所示的编码装置对应的解码装置的配置示例的图。
图33是示出图32所示的解码装置执行的解码处理的流程图。
图34是示出视差图像信息的又一描述示例的图。
图35是示出根据本技术的第五实施例的编码装置的配置示例的框图。
图36是示出视差图像信息的详细描述示例的图。
图37是示出视差图像信息的详细描述示例的图。
图38是示出图35所示的编码装置执行的编码处理的流程图。
图39是示出图35所示的编码装置执行的编码处理的流程图。
图40是示出与图35所示的编码装置对应的解码装置的配置示例的图。
图41是示出图40所示的解码装置执行的解码处理的流程图。
图42是示出根据本技术的第六实施例的编码装置的配置示例的框图。
图43是示出图42所示的编码装置执行的编码处理的流程图。
图44是示出图42所示的编码装置执行的编码处理的流程图。
图45是示出与图42所示的编码装置对应的解码装置的配置示例的图。
图46是示出图45所示的解码装置执行的解码处理的流程图。
图47是示出编码目标的复用图案的示例的图。
图48是示出根据复用的效果的特征的图。
图49是示出编码目标的复用图案的其它示例的图。
图50是示出编码目标的复用图案的另外其它示例的图。
图51是示出根据本技术的第七实施例的编码装置的配置示例的框图。
图52是示出图51所示的编码装置执行的编码处理的流程图。
图53是示出图51所示的编码装置执行的编码处理的流程图。
图54是示出图51所示的编码装置执行的编码处理的流程图。
图55是示出图54所示的编码装置执行的编码处理的流程图。
图56是示出比特流的配置示例的图。
图57是示出图56所示的用于视差图像的根据3DV模式的子集SPS（Subset SPS）的描述示例的图。
图58是示出图57所示的用于视差图像的扩展信息的描述示例的图。
图59是示出图57所示的用于视差图像的VUI扩展信息的描述示例的图。
图60是示出根据3DV模式的编码数据的NAL报头的描述示例的图。
图61是示出图60所示的视差图像报头扩展信息的描述示例的图。
图62是示出图56所示的根据3DV模式的SEI的描述示例的图。
图63是示出比特流的另一配置示例的图。
图64是示出图63所示的用于图像的根据3DV模式的子集SPS的描述示例的图。
图65是示出3DV模式是与HEVC模式相符的模式的情况下的比特流的配置示例的图。
图66是示出图65所示的SPS的描述示例的图。
图67是示出图66所示的子集SPS的描述示例的图。
图68是示出图67所示的子集SPS的VUI信息的描述示例的图。
图69是示出图65所示的根据3DV模式的SEI的描述示例的图。
图70是示出根据实施例的计算机的配置示例的图。
图71是示出根据本技术的电视机设备的示意性配置的图。
图72是示出根据本技术的便携式电话（celluar phone）的示意性配置的图。
图73是示出根据本技术的记录和再现装置的示意性配置的图。
图74是示出根据本技术的成像设备的示意性配置的图。
具体实施方式
<第一实施例>
[根据第一实施例的编码装置的配置示例]
图5是示出根据本技术的第一实施例的编码装置的配置示例的框图。
图5所示的编码装置50由成像单元51A至51C、图像转换单元52、视差图像生成单元53、图像信息生成单元54、兼容性信息生成单元55、视点间距离信息生成单元56、视差图像信息生成单元57、编码器58和复用单元59构成。
编码装置50根据现有编码模式对作为2D图像的多视点图像中所包括的一个视点的图像进行编码，从而确保与对2D图像进行编码的现有编码装置的兼容性。
在下文中，在多视点图像之中，以现有编码模式进行编码以便确保与现有编码装置的兼容性的图像将被称为兼容图像，并且用于使用兼容图像生成视点比兼容图像的视点数量多的图像的图像将被称为辅助图像。
在编码装置50中，成像单元51A捕获预定视点的HD（高清）图像作为图像A1，并且将所捕获的图像提供到图像转换单元52、视差图像生成单元53和视点间距离信息生成单元56。成像单元51B在与成像单元51A在水平方向上隔开距离Δd1AB的位置处捕获与图像A1的视点不同的视点的HD图像作为图像B1，并且将所捕获的图像提供到图像转换单元52、视差图像生成单元53和视点间距离信息生成单元56。成像单元51C在与成像单元51A在水平方向上隔开距离Δd1AC的、与成像单元51B相对的位置处捕获与图像A1和B1的视点不同的视点的HD图像作为图像C1，并且将所捕获的图像提供到图像转换单元52、视差图像生成单元53和视点间距离信息生成单元56。
与图像B1和C1对应的视点是可以被识别为3D图像的图像的视点之中的位于外侧的视点。以此方式，与编码装置50对应的解码装置可以通过使用图像A1至C1对位于比图像B1和C1的视点更远的内侧的视点的图像进行内插来生成多视点图像。结果，与使用位于内侧的视点的图像对位于外侧的视点的图像进行内插的情况相比，可以以更高精度来生成多视点图像。距离Δd1AB和Δd1AC可被配置为固定的或者每次均改变。
图像转换单元52将从成像单元51A至51C之中在水平方向上的位置位于内侧的成像单元51A提供的图像A1确定为兼容图像。图像转换单元52把将图像A1指定为兼容图像的信息提供到兼容性信息生成单元55。然后，图像转换单元52直接将作为兼容图像的图像A1提供到编码器58。
另外，图像转换单元52将除图像A1之外的图像B1和C1设置为辅助图像，并且根据预定复用模式对图像B1和C1进行复用。更具体地，例如，在复用模式是并排模式的情况下，图像转换单元52（图像转换单元）将图像B1和C1中的每一个的分辨率减半。然后，图像转换单元52（复用单元）对分辨率已减半的图像B1（下文中称为1/2分辨率图像B1）和分辨率已被减半的图像C1（下文中称为1/2分辨率图像C1）进行复用，以使得1/2分辨率图像B1变成画面的左半部分图像，并且1/2分辨率图像C1变成画面的右半部分图像。图像转换单元52将作为复用处理的结果而获取的复用图像提供到编码器58，并且将表示辅助图像的复用模式的信息提供到图像信息生成单元54。
视差图像生成单元53使用从成像单元51A至51C提供的图像A1至C1来检测图像A1至C1的每个像素的视差。视差图像生成单元53生成表示作为兼容图像的图像A1的每个像素的视差的视差图像A1’，并且将所生成的视差图像提供到编码器58。另外，视差图像生成单元53（复用单元）生成表示作为辅助图像的图像B1的每个像素的视差的视差图像B1’和表示作为辅助图像的图像C1的每个像素的视差的视差图像C1’，并且根据预定复用模式对所生成的视差图像进行复用。视差图像生成单元53将作为复用处理的结果而获取的复用图像提供到编码器58。另外，视差图像生成单元53将表示辅助图像的视差图像的复用模式的信息提供到视差图像信息生成单元57。
图像信息生成单元54基于从图像转换单元52提供的信息，生成表示辅助图像的复用模式的信息等作为图像信息，并且将所生成的图像信息提供到编码器58，其中该图像信息是与兼容图像和辅助图像相关的信息。
兼容性信息生成单元55（设置单元）基于从图像转换单元52提供的信息，生成指定兼容图像、兼容模式等的信息作为兼容性信息，并且将所生成的兼容性信息提供到编码器58，其中该兼容性信息是与兼容性相关的信息。
这里，兼容模式是表示对兼容图像进行编码的方法的模式。作为兼容模式的示例，存在表示根据AVC模式对一个视点的兼容图像进行编码的编码方法的单一模式（mono mode）、表示根据AVC模式对两个视点的兼容图像进行复用和编码的编码方法的帧打包模式（frame packing mode）以及表示根据MVC模式对两个视点的兼容图像进行编码的编码方法的立体模式。
视点间距离信息生成单元56（设置单元）使用从成像单元51A至51C提供的图像A1至C1来检测图像A1至C1之中的两个图像之间的各视点间的距离（下文中称为视点间距离）。例如，视点间距离信息生成单元56检测成像单元51A和51B之间的水平方向上的距离Δd1AB和成像单元51A和51C之间的水平方向上的距离Δd1AC作为视点间距离。视点间距离信息生成单元56生成表示视点间距离的信息等作为视点间距离信息，并且将所生成的视点间距离信息提供到编码器58，其中该视点间距离信息是与视点间距离相关的信息。
视差图像信息生成单元57基于从视差图像生成单元53提供的信息，生成表示辅助图像的视差图像的复用模式的信息等作为视差图像信息，并且将所生成的视差图像信息提供到编码器58，其中该视差图像信息是与视差图像相关的信息。
编码器58由兼容编码器61和辅助编码器62构成。兼容编码器61（兼容图像编码单元）根据从图像转换单元52提供的兼容图像和辅助图像的复用图像指定作为兼容图像的图像A1，根据现有AVC模式对图像A1进行编码，将各种信息添加到编码图像，并且将作为其结果而获取的编码流作为兼容流（第一编码流）提供到复用单元59。
辅助编码器62（辅助图像编码单元和视差图像编码单元）根据预定模式对从图像转换单元52提供的辅助图像的复用图像以及从视差图像生成单元53提供的兼容图像的视差图像A1’与辅助图像的视差图像的复用图像进行编码。作为辅助编码器62采用的编码模式，可以使用AVC模式、MVC模式、MPEG2（运动图像专家组阶段2）等。
另外，辅助编码器62将从图像信息生成单元54提供的图像信息、从兼容性信息生成单元55提供的兼容性信息、从视点间距离信息生成单元56提供的视点间距离信息、从视差图像信息生成单元57提供的视差图像信息等添加到作为编码处理的结果而获取的编码图像（第二流、第一视差编码流和第二视差编码流），从而生成编码流。辅助编码器62将编码流作为辅助流提供到复用单元59。
复用单元59分别根据从兼容编码器61提供的兼容流和从辅助编码器62提供的辅助流生成TS（传输流），并且对所生成的TS进行复用。复用单元59（传送单元）传送作为复用处理的结果而获取的复用流。
[辅助流中包括的信息的描述示例]
图6至8是示出在使用AVC模式或MVC模式作为编码模式的情况下辅助流所包括的兼容性信息和视差图像信息的描述示例的图。
如图6所示，兼容性信息（3DV_view_structure）和视差图像信息（depth_map_structure）布置在辅助流所包括的SEI（补充增强信息）中。
作为兼容性信息（3DV_view_structure），如图7所示，描述了作为编码目标的图像的视点（视图）的数量（num_of_views）、兼容模式、指定兼容图像的信息（compatible_view）等。
另外，作为视差图像信息（depth_map_structure），如图8所示，描述了视差图像（depth map）的数量（num_of_depth_map）、表示视差图像是否被复用的标志（is_frame_packing）、视差图像的复用系统（frame_packing_mode）、指定被复用的视差图像的信息（comb_frame_packing_views）等。作为复用模式，存在并排模式（SBS）、上下模式（top-and-bottom mode，TOB）等。这里，上下模式是要复用的两个图像之中的一个图像被设置作为屏幕的上部图像并且另一图像被设置作为屏幕的下部图像的模式。
除了图像信息是兼容图像和辅助图像的信息而不是视差图像的信息之外，图像信息与视差图像信息类似，因此在图中未示出。
图9是示出在使用AVC模式或MVC模式作为编码模式的情况下辅助流中包括的视点间距离信息的描述示例的图。
如图9所示，与兼容性信息、视差图像信息和图像信息类似，视点间距离信息（3DV_view_info）布置在辅助流中所包括的SEI中。
作为视点间距离信息（3DV_view_info），如图9所示，描述了作为编码目标的图像的视点的数量（num_of_views）、所检测的视点间距离的数量（num_of_view_distance）、与视点间距离对应的两个图像的组合（view[0,1]）、与该组合对应的视点间距离（view_distance[view_distance_id]）等。
[编码装置的处理的描述]
图10和11是示出图5所示的编码装置50执行的编码处理的流程图。该编码处理例如在从成像单元51A至51C输出图像A1至C1时开始。
在图10所示的步骤S11中，视点间距离信息生成单元56使用从成像单元51A至51C提供的图像A1至C1来检测距离Δd1AB和Δd1AC作为视点间距离。
在步骤S12中，视点间距离信息生成单元56生成表示在步骤S11中检测的视点间距离的信息等作为视点间距离信息，并且将所生成的视点间距离信息输入到编码器58。
在步骤S13中，图像转换单元52将从成像单元51A至51C之中在水平方向上的位置位于内侧的成像单元51A提供的图像A1确定为兼容图像并且确定辅助图像的复用模式。图像转换单元52把将图像A1指定为兼容图像的信息提供到兼容性信息生成单元55，并且将辅助图像的复用模式提供到图像信息生成单元54。
在步骤S14中，兼容性信息生成单元55基于从图像转换单元52提供的信息生成将图像A1指定为兼容图像的信息、作为兼容模式的单一模式等作为兼容图像，并且将所生成的兼容性信息输入到编码器58。
在步骤S15中，图像信息生成单元54基于从图像转换单元52提供的信息而生成表示辅助图像的复用模式的信息等作为图像信息，并且将所生成的图像信息输入到编码器58。
在步骤S16中，图像转换单元52将除图像A1之外的图像B1和C1设置为辅助图像，并且基于在步骤S13中确定的辅助图像的复用模式对辅助图像进行复用，从而获取辅助图像的复用图像。
在步骤S17中，图像转换单元52将作为兼容图像的图像A1与辅助图像的复用图像输入到编码器58。
在图11所示的步骤S18中，视差图像生成单元53使用从成像单元51A至51C提供的图像A1至C1来检测图像A1至C1的每个像素的视差，并且生成视差图像A1’至C1’。
在步骤S19中，视差图像生成单元53确定辅助图像的视差图像的复用模式，并且将表示复用模式的信息提供到视差图像信息生成单元57。
在步骤S20中，视差图像信息生成单元57基于从视差图像生成单元53提供的信息而生成表示辅助图像的视差图像的复用模式的信息等作为视差图像信息，并且将所生成的视差图像信息输入到编码器58。
在步骤S21中，视差图像生成单元53基于在步骤S19中确定的辅助图像的视差图像的复用模式而对辅助图像的视差图像进行复用，从而获取辅助图像的视差图像的复用图像。
在步骤S22中，视差图像生成单元53将兼容图像的视差图像A1’和辅助图像的视差图像的复用图像输入到编码器58。
在步骤S23中，编码器58的兼容编码器61根据现有的AVC模式对从图像转换单元52提供的作为兼容图像的图像A1进行编码，并且将作为其结果而获取的编码流作为兼容流提供到复用单元59。
在步骤S24中，辅助编码器62根据预定模式，对从图像转换单元52提供的辅助图像的复用图像、从视差图像生成单元53提供的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行编码。
在步骤S25中，辅助编码器62将从图像信息生成单元54提供的图像信息、从兼容性信息生成单元55提供的兼容性信息、从视点间距离信息生成单元56提供的视点间距离信息、从视差图像信息生成单元57提供的视差图像信息等添加到作为通过步骤S24的处理进行的编码处理的结果而获取的编码图像，从而生成编码流。辅助编码器62将编码流作为辅助流提供到复用单元59。
在步骤S26中，复用单元59分别根据从兼容编码器61提供的兼容流和从辅助编码器62提供的辅助流生成TS，对所生成的TS进行复用，并且传送所得到的流。然后，处理结束。
如上所述，由于编码装置50在多视点图像中包括的一个视点的图像被设置为兼容图像的情况下根据现有编码模式执行编码，因此可以确保与对2D图像进行编码的现有编码装置的兼容性。换言之，编码装置50可以根据与现有编码模式具有兼容性的模式对多视点图像执行编码。
另外，由于编码装置50对三个视点的图像A1至C1进行编码，因此与编码装置50对应的解码装置可以从三个视点的图像A1至C1生成多视点图像。以此方式，根据该解码装置，与从两个视点的图像生成多视点图像的情况相比，可以生成的图像的视点不受限制，并且可以生成具有相对高精度的多视点图像。
此外，由于编码装置50在辅助图像的分辨率降低的情况下对图像进行编码，因此与在不降低分辨率的情况下执行编码的情况相比，编码处理和解码处理的处理成本可以较低。例如，在对两个视点的辅助图像进行编码而不降低其分辨率的情况下，尽管编码处理和解码处理的处理成本与对于两个HD图像的编码处理和解码处理的处理成本相同，但是由编码装置50执行的对于两个视点的辅助图像的编码处理的处理成本与对于一个HD图像的编码处理或解码处理的处理成本相同。结果，可以防止解码装置执行的解码处理的性能极大地影响多视点图像的图像质量。
此外，当如稍后将描述的那样合成多视点图像时，与编码装置50对应的解码装置以多视点图像的视点数量的倒数的比率降低分辨率，由此编码装置50执行的降低辅助图像的分辨率不会影响合成之后的多视点图像的图像质量。
另外，由于编码装置50在辅助图像的分辨率被减半的情况下执行编码并且在被减半的情况下对辅助图像的视差图像进行编码，因此编码目标的信息量可以被配置成大约为与AVC模式中的4个HD图像（1080i×4）对应的量。
这里，全面地考虑显示多视点图像的当前显示装置和与其相应的解码装置的处理速度、相对于功耗的处理性能、传送数据速率、传送带宽、存储器的带宽、存储器存取速度等，作为解码装置可以处理的信息量的适当值被认为是与MVC模式的当前状态下的HD图像对应的量的大约两倍，即，与AVC模式中的4个HD图像对应的量。因此，与编码目标的信息量大约是与AVC模式中的4个HD图像（1080i×4）对应的量的编码装置50对应的解码装置（解码方法）可以通过合理的方法以合理的处理成本来实现。
另外，根据编码装置50，编码目标的信息量被减小到与AVC模式中的大约4个HD图像（1080i×4）对应的量，因此，编码装置可以容易地作为具有可用带宽的限制的BD或广播应用来操作。
此外，由于编码装置50生成视差图像并且在视差图像包括在编码流的情况下传送视差图像，因此与编码装置50对应的解码装置不需要生成用于生成多视点图像的视差图像，相应地，可以减少解码装置的处理负荷。结果，可以降低解码装置的成本。另外，可以防止解码装置的视差检测性能极大地影响多视点图像的图像质量。
考虑到如上所述的显示装置和解码装置的状况，本技术的主要目的是在考虑到有效处理成本和合理实现技术的前提下，通过使用各种信息（诸如兼容性信息）来高效地实现具有改进的图像质量的多视点图像的生成，同时确保与现有格式的兼容性。
[解码装置的配置示例]
图12是示出对从图5所示的编码装置50传送的复用流进行解码的解码装置的配置示例的图。
图12所示的解码装置120由分离单元121、解码器122、图像信息获取单元123、视点间距离信息获取单元124、视差图像信息获取单元125、兼容性信息获取单元126和图像生成单元127构成。解码装置120对从编码装置50传送的复用流进行解码，生成一个视点的图像或多个视点的图像，并且在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置120的分离单元121（接收单元）接收从编码装置50传送的复用流并且分离每个TS。分离单元121从所分离的TS提取兼容流和辅助流，并且将所提取的流提供到解码器122。
解码器122由兼容解码器131和辅助解码器132构成。解码器122的兼容解码器131（兼容图像解码单元）基于从辅助解码器132提供的用于指定兼容流的信息，在从分离单元121提供的兼容流和辅助流之中识别兼容流。兼容解码器131根据与AVC模式对应的模式对兼容流中包括的编码后的兼容图像进行解码，并且将作为其结果而获取的图像A1提供到图像生成单元127。
辅助解码器132基于从分离单元121提供的辅助流中包括的兼容性信息来将用于指定兼容流的信息提供到兼容解码器131。辅助解码器132基于兼容性信息而在从分离单元121提供的兼容流和辅助流之中识别辅助流。辅助解码器132（辅助图像解码单元）根据与图5所示的辅助编码器62对应的模式，对从分离单元121提供的辅助流中包括的被编码的辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行解码。
辅助解码器132将作为解码处理的结果而获取的辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像提供到图像生成单元127。另外，辅助解码器132将辅助流中包括的图像信息提供到图像信息获取单元123，并且将视点间距离信息提供到视点间距离信息获取单元124。此外，辅助解码器132将辅助流中包括的视差图像信息提供到视差图像信息获取单元125，并且将兼容性信息提供到兼容性信息获取单元126。
图像信息获取单元123获取从辅助解码器132提供的图像信息并将所获取的图像信息提供到图像生成单元127。视点间距离信息获取单元124获取从辅助解码器132提供的视点间距离信息，并且将所获取的视点间距离信息提供到图像生成单元127。
视差图像信息获取单元125获取从辅助解码器132提供的视差图像信息，并且将所获取的视差图像信息提供到图像生成单元127。兼容性信息获取单元126获取从辅助解码器132提供的兼容性信息并将所获取的兼容性信息提供到图像生成单元127。
图像生成单元127根据从观看者提供的指令输出图像，并且在图中未示出的显示装置上显示该图像。更具体地，图像生成单元127（生成单元）根据观看者的用于显示多视点的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像和辅助图像的视差图像的复用图像来生成与图中未示出的显示装置对应的三个以上视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
更具体地，图像生成单元127（分离单元）基于从视差图像信息获取单元125提供的视差图像信息中包括的、表示辅助图像的视差图像的复用模式的信息，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像。另外，图像生成单元127基于从图像信息获取单元123提供的图像信息中包括的、表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离每个辅助图像。
此外，图像生成单元127基于视点间距离信息和与图中未示出的显示装置对应的视点数量，确定要生成的多视点图像的每个视点的位置。然后，图像生成单元127通过使用兼容图像、每个辅助图像、兼容图像的视差图像和每个辅助图像的视差图像，生成位置被确定的每个视点的图像。然后，图像生成单元127将所生成的每个视点的图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，对图像进行合成，并且在图中未示出的显示装置上显示合成图像。
此时，合成之后的多视点图像被显示为使得观看角度对于每个视点是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像而无需佩戴眼镜。
另外，图像生成单元127根据观看者的用于显示2D图像的指令而输出从解码器122的兼容解码器131提供的作为兼容图像的图像A1，从而在图中未示出的显示装置上显示该图像。因此，观看者可以观看2D图像。
[解码装置的处理的描述]
图13是示出图12所示的解码装置120执行的解码处理的流程图。该解码处理例如在从图5所示的编码装置50传送的复用流被输入到解码装置120时开始。
在图13所示的步骤S31中，解码装置120的分离单元121接收从编码装置50传送的复用流并且分离每个TS。分离单元121从所分离的TS提取兼容流和辅助流，并且将所提取的流提供到解码器122。解码器122的辅助解码器132基于从分离单元121提供的辅助流中包括的兼容性信息来将用于指定兼容流的信息提供到兼容解码器131。
在步骤S32中，兼容解码器131基于从辅助解码器132提供的用于指定兼容流的信息，在从分离单元121提供的兼容流和辅助流之中识别兼容流。
在步骤S33中，兼容解码器131根据与AVC模式对应的模式对兼容流中包括的兼容图像进行解码，并且将作为解码处理的结果而获取的图像A1提供到图像生成单元127。
在步骤S34中，图像生成单元127确定观看者是否作出了用于显示2D图像的指令。在步骤S34中确定观看者尚未作出用于显示2D图像的指令的情况下，也就是说，在观看者作出了用于显示多视点模式的3D图像的指令的情况下，辅助解码器132基于兼容性信息在从分离单元121提供的兼容流和辅助流之中识别辅助流。
在步骤S35中，辅助解码器132根据与图5所示的辅助编码器62对应的模式，对辅助流中包括的被编码的辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行解码。辅助解码器132将作为解码处理的结果而获取的辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像提供到图像生成单元127。另外，辅助解码器132将辅助流中包括的图像信息提供到图像信息获取单元123，并且将视点间距离信息提供到视点间距离信息获取单元124。此外，辅助解码器132将辅助流中包括的视差图像信息提供到视差图像信息获取单元25，并且将兼容性信息提供到兼容性信息获取单元126。
在步骤S36中，图像信息获取单元123获取从辅助解码器132提供的图像信息并且将图像信息输入到图像生成单元127。在步骤S37中，视点间距离信息获取单元124获取从辅助解码器132提供的视点间距离信息，并且将视点间距离信息输入到图像生成单元127。
在步骤S38中，视差图像信息获取单元125获取从辅助解码器132提供的视差图像信息，并且将视差图像信息输入到图像生成单元127。在步骤S39中，兼容性信息获取单元126获取从辅助解码器132提供的兼容性信息，并且将兼容性信息输入到图像生成单元127。
在步骤S40中，图像生成单元127基于从视点间距离信息获取单元124提供的视点间距离信息和与图中未示出的显示装置对应的视点数量，确定要生成的多视点图像的每个视点的位置。例如，在视点间距离信息中包括的视点间距离较短的情况下，图像生成单元127还将位于图像B1和C1的视点的外侧的视点的位置确定为要生成的多视点3D图像的视点的位置。另一方面，在视点间距离信息中包括的视点间距离较长的情况下，图像生成单元127仅将位于图像B1和C1的内侧的视点的位置确定为要生成的多视点3D图像的视点的位置。
在步骤S41中，图像生成单元127基于在步骤S40中所确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像和辅助图像的视差图像的复用图像来生成每一个均具有为兼容图像或辅助图像的分辨率的一半的分辨率的视点的图像。
在步骤S42中，图像生成单元127将在步骤S41中所生成的每个视点的图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，并且基于视点的位置对转换后的各视点的图像进行合成。
在步骤S43中，图像生成单元127将通过步骤S42的处理所获取的合成后的多视点图像输出到图中未示出的显示装置，从而显示多视点图像以使得观看角度对于每个视点而言是不同的。然后，处理结束。
另一方面，在步骤S34中确定观看者作出了用于显示2D图像的指令的情况下，在步骤S44中，图像生成单元127将作为从兼容解码器131提供的兼容图像的图像A1输出到图中未示出的显示装置，从而显示该图像。然后，处理结束。
在仅可以对与解码装置120具有兼容性的兼容流进行解码的解码装置中，忽略辅助流的TS，并且仅执行步骤S33和S44的处理。
如上所述，解码装置120可以对由编码装置50根据与现有模式具有兼容性的模式所编码的兼容流和辅助流进行解码。
另外，由于解码装置120使用一个视点的兼容图像和两个视点的辅助图像来生成多视点图像，因此编码装置50可除了捕获一个视点图像的兼容图像的现有成像单元51A之外仅准备两个成像单元51B和51C作为生成多视点图像的成像单元。因此，可以以低成本、以容易的方式执行用于生成多视点图像的成像单元的安装。
<第二实施例>
[根据第二实施例的编码装置的配置示例]
图14是示出根据本技术的第二实施例的编码装置的配置示例的框图。
在图14所示的配置中，相同的附图标记被赋予与图5所示的配置相同的配置。将适当地省略重复描述。
图14所示的编码装置140的配置与图5所示的配置的主要不同之处在于，替代成像单元51A至51C、图像转换单元52、视差图像生成单元53、视点间距离信息生成单元56和编码器58，设置了成像单元141A至141D、图像转换单元142、视差图像生成单元143、视点间距离信息生成单元144和编码器145。
编码装置140在多视点图像之中的两个视点的图像被设置为兼容图像的情况下根据AVC模式执行编码，从而确保与对两个视点模式的3D图像进行编码的现有编码装置的兼容性。
更具体地，编码装置140的成像单元141A捕获预定视点的HD图像作为图像A2，并且将所捕获的图像提供到图像转换单元142、视差图像生成单元143和视点间距离信息生成单元144。成像单元141B在与成像单元141A在水平方向上隔开距离Δd2AB的位置处捕获与图像A2的视点不同的视点的HD图像作为图像B2，并且将所捕获的图像提供到图像转换单元142、视差图像生成单元143和视点间距离信息生成单元144。
成像单元141C在与成像单元141B在水平方向上隔开距离Δd2BC的、与成像单元141A相对的位置处捕获与图像A2和B2的视点不同的视点的HD图像作为图像C2，并且将所捕获的图像提供到图像转换单元142、视差图像生成单元143和视点间距离信息生成单元144。成像单元141D在与成像单元141A在水平方向上隔开距离Δd2AD的、与成像单元141B相对的位置处捕获与图像A2至C2的视点不同的视点的HD图像作为图像D2，并且将所捕获的图像提供到图像转换单元142、视差图像生成单元143和视点间距离信息生成单元144。
与图像C2和D2对应的视点是可以被识别为3D图像的图像的视点之中的位于外侧的视点。以此方式，与编码装置140对应的解码装置可以通过使用图像A2至D2对相比于图像C2和D2的视点位于更远的内侧的视点的图像进行内插来生成多视点图像。结果，与使用位于内侧的视点的图像来对位于外侧的视点的图像进行内插的情况相比，可以以更高的精度来生成多视点图像。距离Δd2AB、Δd2BC和Δd2AD可被配置成为固定的或者每次均改变。
图像转换单元142将从成像单元141A至141D之中的在水平方向上的位置位于内侧的成像单元141A提供的图像A2和从成像单元141B提供的图像B2确定为兼容图像。然后，图像转换单元142根据预定复用模式对作为兼容图像的图像A2和B2进行复用，并且将复用图像提供到编码器145。另外，图像转换单元142把将图像A2和B2指定为兼容图像的信息提供到兼容性信息生成单元55。
另外，图像转换单元142将除图像A2和B2之外的图像C2和D2设置为辅助图像，并且根据预定复用模式对图像C2和D2进行复用。图像转换单元142将作为复用处理的结果而获取的复用图像提供到编码器145。图像转换单元142将表示兼容图像和辅助图像的复用模式的信息提供到图像信息生成单元54。
视差图像生成单元143使用从成像单元141A至141D提供的图像A2至D2来检测图像A2至D2的每个像素的视差。视差图像生成单元143生成表示作为兼容图像的图像A2的每个像素的视差的视差图像A2’和表示图像B2的每个像素的视差的视差图像B2’，并且根据预定复用模式对视差图像A2’和B2’进行复用。视差图像生成单元143将作为其结果而获取的复用图像提供到编码器145。
另外，视差图像生成单元143生成表示作为辅助图像的图像C2的每个像素的视差的视差图像C2’和表示作为辅助图像的图像D2的每个像素的视差的视差图像D2’，并且根据预定复用模式对视差图像C2’和D2’进行复用。视差图像生成单元143将作为其结果而获取的复用图像提供到编码器145。视差图像生成单元143将表示兼容图像和辅助图像的视差图像的复用模式的信息提供到视差图像信息生成单元57。
视点间距离信息生成单元144使用从成像单元141A至141D提供的图像A2至D2来检测图像A2至D2之间的各视点间距离。例如，视点间距离信息生成单元144检测成像单元141A和141B之间的水平方向上的距离Δd2AB、成像单元141B和141C之间的水平方向上的距离Δd2BC以及成像单元141A和141D之间的水平方向上的距离Δd2AD作为视点间距离。视点间距离信息生成单元144生成表示视点间距离的信息等作为视点间距离信息，并且将所生成的视点间距离信息提供到编码器145。
编码器145由兼容编码器151和辅助编码器152构成。兼容编码器151在从图像转换单元142提供的兼容图像的复用图像和辅助图像的复用图像之中指定兼容图像的复用图像，根据现有的AVC模式对兼容图像的复用图像进行编码，向其添加各种信息，并且将所获取的作为结果得到的编码流作为兼容流提供到复用单元59。
辅助编码器152根据预定模式对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元143提供的兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像进行编码。作为辅助编码器152采用的编码模式，例如，可以使用AVC模式、MVC模式等。
另外，辅助编码器152将从图像信息生成单元54提供的图像信息、从兼容性信息生成单元55提供的兼容性信息、从视点间距离信息生成单元144提供的视点间距离信息、从视差图像信息生成单元57提供的视差图像信息等添加到作为编码处理的结果而获取的编码图像，从而生成编码流。辅助编码器152将编码流作为辅助流提供到复用单元59。
[编码装置的处理的描述]
图15和16是示出图14所示的编码装置140执行的编码处理的流程图。该编码处理例如在从成像单元141A至141D输出图像A2至D2时开始。
在图15所示的步骤S51中，视点间距离信息生成单元144使用从成像单元141A至141D提供的图像A2至D2来检测距离Δd2AB、Δd2BC和Δd2AD作为视点间距离。
在步骤S52中，视点间距离信息生成单元144生成表示在步骤S51中检测到的视点间距离的信息等作为视点间距离信息，并且将所生成的视点间距离信息输入到编码器145。
在步骤S53中，图像转换单元142将从成像单元141A至141D之中的在水平方向上的位置位于内侧的成像单元141A提供的图像A2和从成像单元141B提供的图像B2确定为兼容图像，并且确定兼容图像和辅助图像的复用模式。图像转换单元142把将图像A2和B2指定为兼容图像的信息提供到兼容性信息生成单元55，并且将兼容图像和辅助图像的复用模式提供到图像信息生成单元54。
在步骤S54中，兼容性信息生成单元55基于从图像转换单元142提供的信息而生成将图像A2和B2指定为兼容图像的信息、作为兼容模式的帧打包模式等作为兼容性信息，并且将所生成的兼容性信息输入到编码器145。
在步骤S55中，图像转换单元142基于在步骤S53中确定的兼容图像的复用模式对作为兼容图像的图像A2和B2进行复用，并且将复用图像提供到编码器145。
在步骤S56中，图像信息生成单元54基于从图像转换单元142提供的信息而生成表示兼容图像和辅助图像的复用模式的信息等作为图像信息，并且将所生成的图像信息输入到编码器145。
在步骤S57中，图像转换单元142将除图像A2和B2之外的图像C2和D2设置为辅助图像，并且基于在步骤S53中确定的辅助图像的复用模式对辅助图像进行复用，从而获取辅助图像的复用图像。
在步骤S58中，图像转换单元142将兼容图像的复用图像和辅助图像的复用图像输入到编码器145。
在图16所示的步骤S59中，视差图像生成单元143使用从成像单元141A至141D提供的图像A2至D2来检测图像A2至D2的每个像素的视差，并且生成视差图像A2’至D2’。
在步骤S60中，视差图像生成单元143确定兼容图像的视差图像和辅助图像的视差图像的复用模式，并且将表示复用模式的信息提供到视差图像信息生成单元57。
在步骤S61中，视差图像信息生成单元57基于从视差图像生成单元143提供的信息而生成表示兼容图像的视差图像和辅助图像的视差图像的复用模式的信息等作为视差图像信息，并且将所生成的视差图像信息输入到编码器145。
在步骤S62中，视差图像生成单元143基于在步骤S60中所确定的兼容图像的视差图像的复用模式而对兼容图像的视差图像A2’和B2’进行复用，并且基于辅助图像的视差图像的复用模式而对辅助图像的视差图像C2’和D2’进行复用。
在步骤S63中，视差图像生成单元143将作为在步骤S62中所示的复用处理的结果而获取的兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像输入到编码器145。
在步骤S64中，编码器145的兼容编码器151根据现有的AVC模式对从转换单元142提供的兼容图像的复用图像进行编码，并且将作为其结果而获取的编码流作为兼容流提供到复用单元59。
在步骤S65中，辅助编码器152根据预定模式对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元53提供的兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像进行编码。然后，处理进行到步骤S66。
步骤S66和S67的处理与图11所示的步骤S25和S26的处理相同，因此，将省略对其的描述。
如上所述，由于编码装置140根据现有的编码模式对多视点图像之中作为兼容图像的两个视点的图像进行编码，因此可以确保与对两视点模式的3D图像进行编码的现有编码装置的兼容性。
另外，由于编码装置140对四个视点的图像A2至D2进行编码，因此与编码装置140对应的解码装置可以从四个视点的图像A2至D2生成多视点图像。以此方式，根据解码装置，与从两个视点的图像生成多视点图像的情况相比，可以生成的图像的视点不受限制，并且可以生成具有相对高精度的多视点图像。
[解码装置的配置示例]
图17是示出对从图14所示的编码装置140传送的复用流进行解码的解码装置的配置示例的图。
在图17所示的配置中，相同的附图标记被赋予与图12所示的配置相同的配置。在适当时将省略重复描述。
图17所示的解码装置170的配置与图12所示的配置的主要不同之处在于，替代图像生成单元127而设置了图像生成单元171。解码装置170通过对从编码装置140传送的复用流进行解码来生成两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置170的图像生成单元171根据从观看者提供的显示指令而输出图像，从而在显示装置（未示出）上显示图像。当更具体地描述时，图像生成单元171根据观看者的用于显示多视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像来生成与显示装置（未示出）对应的三个以上视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
更具体地，图像生成单元171基于从视差图像信息获取单元125提供的视差图像信息中包括的、表示辅助图像的视差图像的复用模式的信息，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像。另外，图像生成单元171基于视差图像信息中包括的、表示兼容图像的视差图像的复用模式的信息，从兼容图像的视差图像的复用图像中分离每个兼容图像的视差图像。
此外，图像生成单元171基于从图像信息获取单元123提供的图像信息中包括的、表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离各辅助图像。另外，图像生成单元171基于图像信息中包括的、表示兼容图像的复用模式的信息，从兼容图像的复用图像中分离各兼容图像。
此外，图像生成单元171基于视点间距离信息和与图中未示出的显示装置对应的视点数量，确定要生成的多视点图像的每个视点的位置。然后，图像生成单元171通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像，生成位置被确定的每个视点的图像。然后，图像生成单元171将所生成的多视点图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，对图像进行合成，并且在未示出的显示装置上显示合成图像。
此时，合成后的多视点图像被显示为使得观看角度对于每个视点而言是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像而无需佩戴眼镜。
另外，图像生成单元171根据从观看者提供的用于显示两视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息，将从解码器122提供的兼容图像的复用图像分离成分辨率为兼容图像的分辨率的一半的图像A2和B2。然后，图像生成单元171交替地输出分辨率为兼容图像的分辨率的一半的分离后的图像A2和B2，从而在图中未示出的显示装置上显示分离后的图像。此时，观看者可以通过佩戴在显示图像A2时左眼快门和右眼快门之一打开并且在显示图像B2时另一快门打开的眼镜并且观看交替地显示在显示装置上的图像A2和B2来观看3D图像。
[解码装置的处理的描述]
图18是示出图17所示的解码装置170执行的解码处理的流程图。该解码处理例如在从图14所示的编码装置140传送的复用流输入到解码装置170时开始。
图18所示的步骤S81至S83的处理与图13所示的步骤S31至S33的处理相同，因此将不省略对其的描述。
在步骤S83的处理之后，在步骤S84中，图像生成单元171确定观看者是否作出了用于显示两视点模式的3D图像的指令。在步骤S84中确定观看者尚未作出用于显示两视点模式的3D图像的指令的情况下，也就是说，在作出了用于显示多视点模式的3D图像的指令的情况下，处理进行到步骤S85。步骤S85至S93的处理与图13所示的步骤S35至S43的处理相同，因此将省略对其的描述。
另一方面，在步骤S84中确定观看者作出了用于显示两视点模式的3D图像的指令的情况下，处理进行到步骤S94。
在步骤S94中，图像生成单元171基于从图像信息获取单元123提供的图像信息中包括的、表示兼容图像的复用模式的信息，分离作为由兼容解码器131执行的解码处理的结果而获取的兼容图像的复用图像。
在步骤S95中，图像生成单元171将作为兼容图像的、分辨率为分离后的兼容图像的分辨率的一半的图像A2和B2交替地输出到图中未示出的显示装置，从而显示图像。然后，处理结束。
另外，在仅可以对与解码装置170具有兼容性的兼容流进行解码的解码装置中，忽略辅助流的TS，并且仅执行步骤S83、S94和S95的处理。然而，在这样的情况下，在步骤S94的处理中，不是基于图像信息中包括的兼容图像的复用模式而是基于预先确定的兼容图像的复用模式来分离兼容图像的复用图像。
如上所述，解码装置170可以对由编码装置140根据与现有模式具有兼容性的模式所编码的兼容流和辅助流进行解码。
另外，由于解码装置170使用两个视点的兼容图像和两个视点的辅助图像来生成多视点图像，因此编码装置140可除捕获两个视点的兼容图像的现有成像单元141A和141B之外仅准备两个成像单元141C和141D，作为用于生成多视点图像的成像单元。因此，可以以低成本容易地执行用于生成多视点图像的成像单元的安装。
<第三实施例>
[根据第三实施例的编码装置的配置示例]
图19是示出根据本技术的第三实施例的编码装置的配置示例的框图。
在图19所示的配置中，相同的附图标记被赋予与图5或14所示的配置相同的配置。将适当地省略重复描述。
图19所示的编码装置180的配置与图14所示的配置的主要不同之处在于，替代图像转换单元142和编码器145，布置了图像转换单元181和编码器182。编码装置180通过根据MVC模式将多视点图像之中的两个视点的图像编码为兼容图像，确保了与对两视点模式的3D图像进行编码的现有编码装置的兼容性。
更具体地，与图14所示的图像转换单元142类似，编码装置180的图像转换单元181将从成像单元141A至141D中的、在水平方向上的位置位于内侧的成像单元141A提供的图像A2和从成像单元141B提供的图像B2确定为兼容图像。然后，图像转换单元181将作为兼容图像的图像A2和B2直接提供到编码器182。另外，与图像转换单元142类似，图像转换单元181把将图像A2和B2指定为兼容图像的信息提供到兼容性信息生成单元55。
另外，与图像转换单元142类似，图像转换单元181将除图像A2和B2之外的图像C2和D2设置为辅助图像，并且根据预定复用模式对辅助图像进行复用。图像转换单元181将作为复用处理的结果而获取的复用图像提供到编码器182，并且将表示辅助图像的复用模式的信息提供到图像信息生成单元54。
编码器182由兼容编码器191和辅助编码器152构成。编码器182的兼容编码器191在从图像转换单元181提供的兼容图像和辅助图像的复用图像当中指定兼容图像并根据现有的AVC模式对兼容图像之中作为基本图像的图像A2进行编码，并且根据现有的MVC模式对作为从属图像的图像B2进行编码。兼容编码器191通过将各种信息添加到作为编码处理的结果而获取的编码图像来生成编码流，并且将编码流作为兼容流提供到复用单元59。
[编码装置的处理的描述]
图20和21是示出由图19所示的编码装置180执行的编码处理的流程图。该编码处理例如在图像A2至D2从成像单元141A至141D输出时开始。
图20所示的步骤S111和S112的处理与图15所示的步骤S51和S52的处理相同，因此将省略对其的描述。
在步骤S112的处理之后，在步骤S113中，图像转换单元181将从成像单元141A至141D之中的、在水平方向上的位置位于内侧的成像单元141A提供的图像A2和从成像单元141B提供的图像B2确定为兼容图像，并且确定辅助图像的复用模式。图像转换单元181把将图像A2和B2指定为兼容图像的信息提供到兼容性信息生成单元55，并且将辅助图像的复用模式提供到图像信息生成单元54。然后，处理进行到步骤S114。
步骤S114至S117的处理与图10所示的步骤S14至S17的处理相同，因此将省略对其的描述。步骤S118至S122的处理与图16所示的步骤S59至S63的处理相同，因此将省略对其的描述。
在步骤S122的处理之后，在步骤S123中，编码器182的兼容编码器191根据现有的AVC模式对从图像转换单元181提供的兼容图像之中作为基本图像的图像A2进行编码，并且根据现有的MVC模式对作为从属图像的图像B2进行编码。兼容编码器191通过将各种信息添加到作为编码处理的结果而获取的编码图像来生成编码流，并且将编码流作为兼容流提供到复用单元59。然后，处理进行到步骤S124。
步骤S124至S126的处理与图16所示的步骤S65至S67的处理相同，因此将省略对其的描述。
如上所述，由于编码装置180根据现有的编码模式对多视点图像之中作为兼容图像的两个视点的图像进行编码，因此可以确保与对两视点模式的3D图像进行编码的现有编码装置的兼容性。
[解码装置的配置示例]
图22是示出对从图19所示的编码装置180传送的复用流进行解码的解码装置的配置示例的图。
在图22所示的配置中，相同的附图标记被赋予与图12所示的配置相同的配置。将适当地省略重复描述。
图22所示的解码装置200的配置与图12所示的配置的主要不同之处在于，替代解码器122和图像生成单元127，布置了解码器201和图像生成单元202。解码装置200通过对从编码装置180传送的复用流进行解码来生成两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置200的解码器201由兼容解码器211和辅助解码器132构成。与图12所示的兼容解码器131类似，解码器201的兼容解码器211基于从辅助解码器132提供的用于指定兼容流的信息，在从分离单元121提供的兼容流和辅助流之中识别兼容流。兼容解码器211根据与MVC模式对应的模式对兼容流中包括的编码后的兼容图像进行解码，并且将作为解码处理的结果而获取的图像A2和B2提供到图像生成单元202。
图像生成单元202根据从观看者提供的显示指令而输出图像，从而在图中未示出的显示装置上显示图像。更详细地描述，图像生成单元202根据观看者的用于显示多视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像来生成与图中未示出的显示装置对应的三个以上视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
更具体地，图像生成单元202基于从视差图像信息获取单元125提供的视差图像信息中包括的、表示辅助图像的视差图像的复用模式的信息，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像。另外，图像生成单元202基于视差图像信息中包括的、表示兼容图像的视差图像的复用模式的信息，从兼容图像的视差图像的复用图像中分离每个兼容图像的视差图像。
此外，图像生成单元202基于从图像信息获取单元123提供的图像信息中包括的、表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离各辅助图像。另外，图像生成单元202基于视点间距离信息和与图中未示出的显示装置对应的视点数量，确定要生成的多视点图像的视点的位置。然后，图像生成单元202通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像来生成位置被确定的每个视点的图像。然后，与图像生成单元127类似，图像生成单元202将所生成的多视点图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，对转换后的图像进行合成，并且在图中未示出的显示装置上显示合成图像。
此时，合成后的多视点图像被显示为使得观看角度对于每个视点是不同的，并且观看者可以通过利用他的/她的左眼和右眼看任意两个视点的图像来观看3D图像而无需佩戴眼镜。
另外，图像生成单元202根据从观看者提供的用于显示两视点模式的3D图像的指令，交替地输出从解码器122提供的作为兼容图像的图像A2和B2，从而在图中未示出的显示装置上显示图像。此时，观看者可以通过佩戴在显示图像A2时左眼快门和右眼快门中的一个打开并在显示图像B2时另一快门打开的眼镜并观看交替地显示在显示装置上的图像A2和B2来观看3D图像。
[解码装置的处理的描述]
图23是示出由图22所示的解码装置200执行的解码处理的流程图。该解码处理例如在从图19所示的编码装置180传送的复用流被输入到解码装置200时开始。
图23中所示的步骤S141至S153的处理与图18中所示的步骤S81至S93的处理，因而，将省略对其的描述。
在步骤S144中确定观看者作出了用于显示两视点模式的3D图像的指令的情况下，处理进行至步骤S154。在步骤S154中，图像生成单元202将图像A2和B2交替地输出到图中未示出的显示装置，从而显示这些图像，其中图像A2和B2是作为兼容解码器211执行的解码处理的结果而获取的兼容图像。
在仅可以对与解码装置200具有兼容性的兼容流进行解码的解码装置中，忽视辅助流的TS，并且仅执行步骤S143和S154的处理。
如上所述，解码装置200可以对由编码装置180根据与现有模式具有兼容性的模式编码的兼容流和辅助流进行解码。
<兼容性信息、视差图像信息、图像信息和视点间距离信息的其他布置信息>
在以上给出的描述中，尽管已描述兼容性信息、视差图像信息、图像信息和视点间距离信息包括在辅助流中，但是上述信息也可包括在TS中。在这样的情况下，例如，在辅助流的TS的分组（packet）内的PMT（节目映射表）或SIT（选择信息表）的描述符中描述了兼容性信息、视差图像信息、图像信息和视点间距离信息。
图24至图26是示出在PMT的描述符中描述了兼容性信息、视差图像信息、图像信息和视点间距离信息的情况下对兼容性信息和视差图像信息的描述示例的图。
如图24所示，在PMT的描述符中描述了兼容性信息和视差图像信息的情况下，作为PMT的描述符，设置了布置有兼容性信息的描述符（3DV_view_structure_descriptor）和布置有视差图像信息的描述符（depth_map_structure_descriptor）。
在描述符（3DV_view_structure_descriptor）中，如图25所示，在描述符标记（descriptor_tag）和描述符长度（descriptor_length）之后，作为兼容性信息，描述了作为编码目标的图像的视点数量（num_of_views）、兼容模式（compatible_mode）、指定兼容图像的信息（compatible_view）。
另外，在描述符（depth_map_structure_descriptor）中，如图26所示，在描述符标记和描述符长度之后，视差图像的数量（num_of_depth_map）、表示视差图像是否被复用的标志（is_frame_packing）、视差图像的复用模式（frame_packing_mode）、指定被复用的视差图像的信息（comb_frame_packing_views）等被描述为视差图像信息。
另外，除了图像信息不是视差图像的信息而是兼容图像和辅助图像的信息之外，图像信息与视差图像信息相同，因而，在图中并未示出。
图27是示出在PMT的描述符中描述了兼容性信息、视差图像信息、图像信息和视点间距离信息的情况下对视点间距离信息的描述示例的图。
如图27所示，在PMT的描述符中描述了视点间距离信息的情况下，作为PMT的描述符，设置了布置有视点间距离信息的描述符（3DV_view_info_descriptor）。
在描述符（3DV_view_info_descriptor）中，在描述符标记和描述符长度之后，作为视点间距离信息，描述了作为编码目标的图像的视点数量（num_of_views）、所检测的视点间距离的数量（num_of_view_distance）、对应于视点间距离的两个图像的组合（view[0,1]）、对应于该组合的视点间距离（view_distance[view_distance_id]）等。
例如，根据本技术的解码装置可以应用于显示装置或再现装置，诸如电视接收器。
可组合根据第一至第三实施例的编码装置和解码装置。在这样的情况下，解码装置根据兼容性信息中包括的兼容模式来选择兼容解码器。
另外，在第一至第三实施例中，尽管降低了辅助图像和视差图像的分辨率并且对这些图像进行复用，但是可在不对这些图像进行复用的情况下降低其分辨率。此外，可以不降低视差图像的分辨率。
另外，可在与编码流的系统不同的系统中传送图像信息、视点间距离信息、视差图像信息和兼容性信息而不对这些信息编码。此外，可在与编码流的系统不同的系统中对图像信息、视点间距离信息、视差图像信息和兼容性信息进行编码并传送。
另外，可在除上述编码流的区域以外的区域（报头、用户数据等）中描述图像信息、视点间距离信息、视差图像信息和兼容性信息而不对其编码，并且可在编码流的预定区域中对图像信息、视点间距离信息、视差图像信息和兼容性信息进行编码和描述。此外，可将图像信息、视点间距离信息、视差图像信息和兼容性信息作为与编码流不同的辅助信息来传送。
<第四实施例>
[根据第四实施例的编码装置的配置示例]
图28是示出根据本技术的第四实施例的编码装置的配置示例的框图。
在图28所示的配置中，相同的附图标记被赋予与图5所示的配置相同的配置。将适当地省略重复描述。
图28所示的编码装置300的配置与图5所示的配置的主要不同之处在于，替代图像转换单元52、视差图像生成单元53、图像信息生成单元54和视差图像信息生成单元57，布置了图像转换单元301、视差图像生成单元302、图像信息生成单元303和视差图像信息生成单元304。
编码装置300在不将与复用有关的信息而是将与分辨率降低处理有关的信息包括在图像信息和视差图像信息中的情况下传送图像信息和视差图像信息。
更具体地，类似于图5所示的图像转换单元52，编码装置300的图像转换单元301将从成像单元51A提供的图像A1确定为兼容图像。类似于图像转换单元52，图像转换单元301把将图像A1指定为兼容图像的信息提供到兼容性信息生成单元55。然后，类似于图像转换单元52，图像转换单元301直接将作为兼容图像的图像A1提供到编码器58。
另外，图像转换单元301将除图像A1以外的图像B1和C1设置为辅助图像，根据水平1/2模式降低图像的分辨率，并且对图像进行复用，从而获取分辨率与兼容图像的分辨率相同的复用图像。这里，水平1/2模式是将水平方向上的分辨率设置为兼容图像的分辨率的一半的模式。图像转换单元301将辅助图像的复用图像提供到编码器58，并且将表示辅助图像的分辨率的转换模式的信息提供到图像信息生成单元303。
类似于图5所示的视差图像生成单元53，视差图像生成单元302通过使用从成像单元51A至51C提供的图像A1至C1来检测图像A1至C1的每个像素的视差。类似于视差图像生成单元53，视差图像生成单元302生成视差图像A1’并将所生成的视差图像直接提供到编码器58。另外，视差图像生成单元302生成视差图像B1’和C1’，并根据水平1/2模式降低视差图像的分辨率。然后，视差图像生成单元302对分辨率被降低的视差图像B1’和C1’进行复用，从而获取分辨率与兼容图像相同的复用图像。视差图像生成单元302将作为其结果所获取的复用图像提供到编码器58，并将表示辅助图像的视差图像的分辨率的转换模式的信息提供到视差图像生成单元304。
图像信息生成单元303基于从图像转换单元301提供的信息来生成表示辅助图像的分辨率的转换模式的信息等作为图像信息。图像信息生成单元303将图像信息提供到编码器58。
视差图像信息生成单元304基于从视差图像生成单元302提供的信息来生成表示辅助图像的视差图像的分辨率的转换模式的信息等作为视差图像信息。视差图像信息生成单元304将视差图像信息提供到编码器58。[视差图像信息的描述示例]
图29是示出图28所示的编码装置300中的、在将与AVC模式或MVC模式相符的模式用作编码模式的情况下的辅助流中所包括的视差图像信息的描述示例的图。
如图29所示，作为视差图像信息（depth_map_structure），描述了视差图像的数量（num_of_depth_map）、表示视差图像的分辨率是否已被降低的低分辨率标志（is_decimated）、视差图像的分辨率的转换模式（decimation_mode）（转换模式信息）、指定分辨率已被降低的视差图像的信息（comb_decimated_views）等。作为分辨率转换模式，除了水平1/2模式外，还存在垂直方向上的分辨率减半的垂直1/2模式、水平方向上的分辨率和垂直方向上的分辨率减半的水平垂直1/4模式等。
另外，在编码装置300中，除图像信息不是视差图像的信息而是兼容图像和辅助图像的信息以外，图像信息与视差图像信息相同，因而，将省略对其的描述。
[编码装置的处理的描述]
图30和图31是示出由图28所示的编码装置300执行的编码处理的流程图。该编码处理例如在从成像单元51A至51C输出图像A1至C1时开始。
除了替代复用模式而确定分辨率转换模式、并且包括转换模式的与分辨率降低处理有关的信息包括在图像信息和视差图像信息中以外，图30和图31所示的编码处理与图10和图11所示的编码处理相同。
更具体地，图30中所示的步骤S211和S212的处理与图10中所示的步骤S11和步骤S12的处理相同，并且在步骤S213中，图像转换单元301将从成像单元51A提供的图像A1确定为兼容图像，并且确定辅助图像的分辨率的转换模式。图像转换单元301把将图像A1指定为兼容图像的信息提供到兼容性信息生成单元55，并且将辅助图像的分辨率的转换模式提供到图像信息生成单元303。
步骤S214和S215的处理与图10中所示的步骤S14和S15的处理相同。在步骤S216中，图像转换单元301将除了图像A1外的图像B1和C1设置为辅助图像，并且基于在步骤S213中确定的辅助图像的分辨率的转换模式来降低辅助图像的分辨率并对所得到的辅助图像进行复用。
步骤S217和S218（图31）的处理与步骤S17和S18（图11）的处理，并且在步骤S219中，视差图像生成单元302确定辅助图像的视差图像的分辨率的转换模式，并将表示转换模式的信息提供到视差图像信息生成单元304。
步骤S220（图31）的处理与图11中所示的步骤S20的处理相同，并且在步骤S221中，视差图像生成单元302基于在步骤S219中确定的辅助图像的视差图像的分辨率的转换模式来降低辅助图像的视差图像的分辨率，并且对所得到的视差图像进行复用。
步骤S222和S226的处理与图11中所示的步骤S22至S26的处理相同。
如上所述，由于编码装置300降低了辅助图像和视差图像的分辨率，因此可以抑制编码结果的信息量而不提高兼容图像的压缩率。结果，防止了对兼容图像的压缩应变效果由于压缩率的提高而增大，从而可以将兼容图像的图像质量保持为较高。这类似地适用于编码装置50、140和180。
[解码装置的配置示例]
图32是示出对图28中所示的编码装置300传送的复用流进行解码的解码装置的配置示例的图。
在图32所示的配置中，相同的附图标记被赋予与图12所示的配置相同的配置。将适当地省略重复描述。
图32所示的解码装置320的配置与图12所示的配置的主要不同之处在于，替代图像生成单元127，设置了图像生成单元321。解码装置320对从编码装置300传送的复用流进行解码，并且生成一个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置320的图像生成单元321根据观看者作出的指令来输出图像，从而在图中未示出的显示装置上显示图像。更具体地，图像生成单元321根据观看者的用于显示多视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、兼容图像的视差图像的复用图像和辅助图像的视差图像的复用图像来生成与图中未示出的显示装置相对应的三个以上视点的图像，每个图像均具有与兼容图像或辅助图像的分辨率相同的分辨率。
详细描述，图像生成单元321（分离单元和图像转换单元）基于从视差图像信息获取单元125提供的视差图像信息中包括的分辨率的转换模式，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像并提高其分辨率。结果，图像生成单元321获取具有与兼容图像的分辨率相同的分辨率的每个辅助图像的视差图像。另外，图像生成单元321基于从图像信息获取单元123提供的图像信息中包括的分辨率的转换模式，从辅助图像的复用图像中分离每个辅助图像，提高其分辨率，并且获取具有与兼容图像的分辨率相同的分辨率的每个辅助图像。
此外，图像生成单元321基于视点间距离信息和与图中未示出的显示装置相对应的视点数量来确定要生成的多视点图像的每个视点的位置。然后，图像生成单元321通过使用兼容图像、分辨率与兼容图像的分辨率相同的每个辅助图像、兼容图像的视差图像和每个辅助图像的视差图像来生成位置被确定的每个视点的图像。然后，图像生成单元321将所生成的每个视点的图像的分辨率转换成为辅助图像的兼容图像的分辨率的“1/视点数量”的分辨率，对转换后的图像进行合成，并且在图中未示出的显示装置上显示所得到的图像。
此时，合成后的多视点图像被显示成使得观看角度对于每个视点而言是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像，而不用戴眼镜。
另外，图像生成单元321根据从观看者提供的用于显示2D图像的指令来输出作为从解码器122的兼容解码器131提供的兼容图像的图像A1，从而在图中未示出的显示装置上显示图像。因此，观看者可以观看2D图像。
[解码装置的处理描述]
图33是示出由图32所示的解码装置320执行的解码处理的流程图。该解码处理例如在从图28所示的编码装置300传送的复用流输入到解码装置320时开始。
除了基于包括在辅助流中的图像信息和视差图像信息来提高辅助图像的分辨率和辅助图像的视差图像的分辨率外，图33所示的解码处理与图13所示的解码处理相同。
更具体地，图33中所示的步骤S231至S239的处理与图13所示的步骤S31至S39的处理相同，并且在步骤S240中，图像生成单元321基于从图像信息获取单元123提供的图像信息中包括的分辨率的转换模式来分离辅助图像的复用图像，并提高分离后的辅助图像的分辨率。以此方式，图像生成单元321获取作为分辨率与兼容图像相同的辅助图像的图像B1和C1。
在步骤S241中，图像生成单元321基于从视差图像信息获取单元125提供的视差图像信息中包括的分辨率的转换模式来分离辅助图像的视差图像的复用图像，并提供分离后的复用图像的分辨率。以此方式，图像生成单元321获取作为分辨率与兼容图像相同的辅助图像的视差图像的图像B1’和C1’。
步骤S242的处理与图13中所示的步骤S40的处理相同，并且在步骤S243中，图像生成单元321基于在步骤S242中确定的每个视点的位置、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、分辨率与兼容图像的分辨率相同的辅助图像、兼容图像的视差图像和辅助图像的视差图像来生成分辨率与兼容图像或辅助图像的分辨率相同的每个视点的图像。
步骤S244至S246的处理与图13中所示的步骤S42至S44的处理相同。
在仅可以对与解码装置320具有兼容性的兼容流进行解码的解码装置中，忽视辅助流的TS，并且仅执行步骤S233和S246的处理。
如上所述，解码装置320可以对由编码装置300根据与现有模式具有兼容性的模式编码的兼容流和辅助流进行解码。
[视差图像信息的布置的另一示例]
在以上给出的描述中，在第四实施例中，尽管兼容性信息、视差图像信息、图像信息和视点间距离信息包括在辅助流中，但是类似于第一至第三实施例，这样的信息也可包括在TS中。在这样的情况下，例如，在包括在辅助流的TS的分组中的PMT或SIT的描述符中，描述了兼容性信息、视差图像信息、图像信息和视点间距离信息。
图34是示出在PMT的描述符中描述了兼容性信息、视差图像信息、图像信息和视点间距离信息的情况下对布置有视差图像信息的描述符（depth_map_structure_descriptor）的描述示例的图。
如图34所示，在描述符（depth_map_structure_descriptor）中，在描述符标记和描述符长度之后，作为视差图像信息，描述了视差图像的数量（num_of_depth_map）、低分辨率标志（is_decimated）、视差图像的分辨率的转换模式（decimation_mode）、指定分辨率已降低的视差图像的信息（comb_decimated_views）等。
在第四实施例中，尽管在根据第一实施例的图像信息和视差图像信息中不包括与复用有关的信息而是包括与分辨率降低有关的信息，但是在根据第二和第三实施例的图像信息和视差图像中，也可以不包括与复用有关的信息而是包括与分辨率降低有关的信息。
<第五实施例>
[根据第五实施例的编码装置的配置示例]
图35是示出根据本技术的第五实施例的编码装置的配置示例的框图。
在图35所示的配置中，相同的附图标记被赋予与图14所示的配置相同的配置。将适当地省略重复描述。
图35所示的编码装置440的配置与图14所示的配置的主要不同之处在于，替代视差图像生成单元143和编码器145，布置了视差图像生成单元441和编码器442。编码装置440不是在空间方向上对兼容图像的视差图像进行复用而是在时间方向上对兼容图像的视差图像进行复用，并且对复用后的视差图像进行编码。
更具体地，编码装置440的视差图像生成单元441使用从成像单元141A至141D提供的图像A2至D2来检测图像A2至D2的每个像素的视差。视差图像生成单元441基于检测结果生成作为兼容图像的、图像A2的视差图像A2’和图像B2的视差图像B2’以及作为辅助图像的、图像C2的视差图像C2’和图像D2的视差图像D2’。
另外，类似于图14所示的视差图像生成单元143，视差图像生成单元441根据预定的复用模式来在空间方向上对视差图像C2’和D2’进行复用。另外，视差图像生成单元441（复用单元）在时间方向上对视差图像A2’和B2’以及辅助图像的视差图像的复用图像进行复用。视差图像生成单元441将作为其结果所获取的、在一帧时间内对应于一帧的视差图像A2’和B2’以及辅助图像的视差图像的复用图像存在的复用图像作为时间复用图像提供到编码器442。
另外，视差图像生成单元441将表示辅助图像的视差图像的复用模式以及作为兼容图像和辅助图像的视差图像的复用模式的在时间方向上的复用模式（下文中，称为帧序列模式）的信息提供到视差图像信息生成单元57。
编码器442由兼容编码器151和辅助编码器451构成。编码器442的辅助编码器451根据3DV模式对从图像转换单元142提供的辅助图像的复用图像和从视差图像生成单元441提供的时间复用图像进行编码。这里，3DV模式是用于根据与AVC模式或MVC模式相符的多视点模式来对显示图像进行编码的模式。辅助编码器451将作为编码处理的结果而获取的编码流作为辅助流提供到复用单元443。
复用单元443通过使用从兼容编码器151提供的兼容流、从辅助编码器451提供的辅助流、从图像信息生成单元54提供的图像信息、从兼容性信息生成单元55提供的兼容性信息、从视点间距离信息生成单元56提供的视点间距离信息、从视差图像信息生成单元57提供的视差图像信息等来生成TS。复用单元443对所生成的TS进行复用，并且传送作为复用处理的结果而获取的复用流。
下文中，将图像信息、兼容性信息、视点间距离信息和视差图像信息统称为辅助信息。
[视差图像信息的描述示例]
图36是示出图35所示的编码装置中的、在PMT的描述符中描述了辅助信息的情况下的对视差图像信息的描述示例的图。
如图36所示，在布置有视差图像信息的描述符（depth_map_structure_descriptior）的中，类似于图25的情况，在描述符标记（descriptor_tag）和描述符长度（descriptor_length）之后，描述了视差图像信息。另外，作为视差图像信息，类似于图25的情况，描述了视差图像的数量（num_of_depth_map）、表示视差图像是否被复用的标志（is_frame_packing）、视差图像的复用模式（frame_packing_mode）、指定被复用的视差图像的信息（comb_frame_packing_view）等。然而，作为视差模式的复用模式，不仅描述了并排模式（SBS）或上下模式（TOB），而且描述了帧序列模式。
在图35所示的编码装置440中，尽管辅助信息包括在TS中，但是辅助信息也可包括在辅助流中。
图37是示出在辅助信息包括在辅助流中的情况下的对包括在辅助流中的视差图像信息的描述示例的图。
在这样的情况下，如图6所示，视差图像信息（depth_map_structure）例如布置在辅助流中所包括的SEI中。
另外，作为视差图像信息（depth_map_structure），如图37所示，描述了视差图像（深度图）的数量（num_of_depth_map）、表示视差图像是否被复用的标志（is_frame_packing）、视差图像的复用系统（frame_packing_mode）、指定被复用的视差图像的信息（comb_frame_packing_views）等。然而，作为复用模式，类似于图36的情况，不仅描述了并排模式（SBS）或上下模式（TOB），而且描述了帧序列模式。
尽管图中未示出，但是除了图像信息不是视差图像而是兼容图像和辅助图像的信息以外，图像信息与视差图像信息相同。
[编码装置的处理的描述]
图38和图39是示出由图35所示的编码装置440执行的编码处理的流程图。该编码处理例如在从成像单元141A至141D输出图像A2至D2时开始。
图38和图39中所示的步骤S451至S455的处理与图15和图16中所示的步骤S51至S55的处理相同，因而，将省略对其的描述。
在步骤S456中，图像信息生成单元54基于从图像转换单元142提供的信息来生成表示兼容图像和辅助图像的复用模式的信息等作为图像信息，并且将所生成的图像信息输入到复用单元443。然后，处理进行至步骤S457。
步骤S457至S459的处理与图15和图16中所示的步骤S57至S59的处理相同，从而，将省略对其的描述。
在图39所示的步骤S460中，视差图像生成单元441确定辅助图像的视差图像的复用模式以及兼容图像的视差图像和辅助图像的视差图像的复用图像的复用模式，并将表示这些复用模式的信息提供到视差图像信息生成单元57。
在步骤S461中，视差图像信息生成单元57基于从视差图像生成单元441提供的信息来生成表示辅助图像的视差图像的复用模式以及兼容图像的视差图像和辅助图像的视差图像的复用图像的复用模式的信息等作为视差图像信息，并将所生成的视差图像信息输入到复用单元443。
在步骤S462中，视差图像生成单元441基于在步骤S460中确定的复用模式，在空间方向上对辅助图像的视差图像C2’和D2’的进行复用，并在时间方向上对兼容图像的视差图像A2’和B2’以及辅助图像的视差图像的复用图像进行复用。
在步骤S463中，视差图像生成单元441将作为步骤S462的复用处理的结果而获取的时间复用图像输入到编码器442。
在步骤S464中，编码器442的兼容编码器151根据现有的AVC模式来对从图像转换单元142提供的兼容图像的复用图像进行编码，并且将作为其结果所获取的编码流作为兼容流提供到复用单元443。
在步骤S465中，辅助编码器451根据3DV模式来对从图像转换单元142提供的辅助图像的复用图像和从视差图像生成单元提供的时间复用图像进行编码。辅助编码器451将作为编码处理的结果而获取的编码流作为辅助流提供到复用单元443。
在步骤S466中，复用单元443根据从兼容编码器151提供的兼容流以及从辅助编码器451提供的辅助流和辅助信息来生成TS，对其执行复用处理，并传送作为其结果所获取的复用流。该复用流例如记录在BD等上或者作为广播流来传送。然后，处理结束。
[解码装置的配置示例]
图40是示出对从图35所示的编码装置440传送的复用流进行解码的解码装置的配置示例的图。
在图40所示的配置中，相同的附图标记被赋予与图17所示的配置相同的配置。将适当地省略重复描述。
图40所示的解码装置460的配置与图17所示的配置的主要不同之处在于，替代分离单元121、解码器122和图像生成单元171，设置了分离单元461、解码器462和图像生成单元463。解码装置460通过对从编码装置440传送的复用流进行解码来生成两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置460的分离单元461接收从编码装置440传送的复用流，并分离各TS。分离单元461从分离后的TS中提取兼容流和辅助流，并将所提取的流提供到解码器462。另外，分离单元461提取包括在TS中的辅助信息，将包括在辅助信息中的图像信息提供到图像信息获取单元123，并将视点距离信息提供到视点间距离信息获取单元124。此外，分离单元461将包括在辅助信息中的视差图像信息提供到视差图像信息获取单元125，并将兼容性信息提供到兼容性信息获取单元126和解码器462。
解码器462由兼容解码器471和辅助解码器472构成。解码器462的兼容解码器471基于从分离单元461提供的兼容性信息来识别从分离单元461提供的兼容流和辅助流之中的兼容流。兼容解码器471根据对应于AVC模式的模式来对包括在兼容流中的编码后的兼容图像进行解码，并且将作为解码处理的结果而获取的兼容图像的复用图像提供到图像生成单元463。
辅助解码器472基于从分离单元461提供的兼容性信息来识别从分离单元461提供的兼容流和辅助流之中的辅助流。辅助解码器472根据与图35所示的辅助编码器451对应的模式，对从分离单元提供的辅助流中包括的、被编码的辅助图像的复用图像和时间复用图像的进行解码。辅助解码器472将作为解码处理的结果而获取的辅助图像的复用图像和时间复用图像提供到图像生成单元463。
图像生成单元463根据从观看者提供的指令输出图像并在图中未示出的显示装置上显示该图像。更详细地描述，图像生成单元463根据观看者的用于显示多视点图像的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像的复用图像、辅助图像的复用图像和时间复用图像来生成与图中未示出的显示装置对应的三个以上视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
更详细地描述，图像生成单元463（分离单元）基于从视差图像信息获取单元125提供的视差图像信息中包括的、表示作为兼容图像的视差图像和辅助图像的视差图像的复用图像的复用模式的帧序列模式的信息，从时间复用图像中分离作为兼容图像的视差图像的视差图像A2’和B2’以及辅助图像的视差图像的复用图像。然后，图像生成单元463基于视差图像信息中包括的辅助图像的视差图像的复用模式，从辅助图像的视差图像的复用图像中分离视差图像C2’和D2’。
另外，类似于图17所示的图像生成单元171，图像生成单元463基于从图像信息获取单元123提供的图像信息中包括的表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离每个辅助图像。此外，类似于图像生成单元171，图像生成单元463基于表示图像信息中包括的兼容图像的复用模式的信息，从兼容图像的复用图像中分离每个兼容图像。
此外，类似于图像生成单元171，图像生成单元463基于视点间距离信息和与图中未示出的显示装置对应的视点数量来确定要生成的多视点图像的每个视点的位置。然后，类似于图像生成单元171，图像生成单元463通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像来生成位置被确定的每个视点的图像。然后，类似于图像生成单元171，图像生成单元463将所生成的多视点图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，对这些图像进行合成，并在图中未示出的显示装置上显示合成图像。
此时，合成后的多视点图像被显示成使得观看角度对于每个视点而言是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像，而无需戴眼镜。
另外，类似于图像生成单元171，图像生成单元463根据从观看者提供的用于显示两视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息来将从解码器462提供的兼容图像的复用图像分离成分辨率为兼容图像的分辨率的一半的图像A2和B2。然后，类似于图像生成单元171，图像生成单元463交替地输出分辨率为兼容图像的分辨率的一半的分离后的图像A2和B2，从而在图中未示出的显示装置上显示分离后的图像。此时，观看者可以通过佩戴在显示图像A2时左眼快门和右眼快门中的一个打开而在显示图像B2时另一个打开的眼镜并观看在显示装置上交替显示的图像A2和B2来观看3D图像。
[解码处理的描述]
图41是示出由图40所示的解码装置460执行的解码处理的流程图。该解码处理例如在从图35所示的编码装置440传送的复用流输入到解码装置460时开始。
在图41所示的步骤S471中，解码装置460的分离单元461接收从编码装置50传送的复用流并分离每个TS。分离单元461将包括在所分离的TS中的兼容流和辅助流提供到解码器462。另外，分离单元461提取TS中包括的辅助信息，将辅助信息中包括的图像信息提供到图像信息获取单元123，并将视点距离信息提供到视点间距离信息获取单元124。此外，分离单元461将辅助信息中包括的视差图像信息提供到视差图像信息获取单元125，并将兼容性信息提供到兼容性信息获取单元126和解码器462。
在步骤S472中，兼容解码器471基于从分离单元461提供的兼容性信息来识别从分离单元461提供的兼容流和辅助流之中的兼容流。
在步骤S473中，兼容解码器471根据对应于AVC模式的模式来对兼容流中包括的兼容图像进行解码，并将作为解码处理的结果而获取的兼容图像的复用图像提供到图像生成单元463。
在步骤S474中，图像生成单元463确定用户是否作出了用于显示两视点模式的3D图像的指令。在步骤S474中确定观看者尚未作出用于显示双视点模式的3D图像的指令的情况下，也就是说，在作出了用于显示多视点模式的3D图像的指令的情况下，辅助解码器472基于兼容性信息来识别从分离单元461提供的兼容流和辅助流之中的辅助流。
然后，在步骤S475中，辅助解码器472从辅助流中提取被编码的、辅助图像的复用图像和时间复用图像，并且根据对应于图2所示的辅助编码器62的模式来对所提取的复用图像进行解码。辅助解码器472将作为解码处理的结果而获取的辅助图像的复用图像和时间复用图像提供到图像生成单元127，并且处理进行至步骤S476。
在步骤S476中，图像信息获取单元123获取从分离单元461提供的图像信息并将所获取的图像信息输入到图像生成单元463。在步骤S477中，视点间距离信息获取单元124获取从分离单元461提供的视点间距离信息，并将所获取的视点间距离信息输入到图像生成单元463。
在步骤S478中，视差图像信息获取单元125获取从分离单元461提供的视差图像信息，并将所获取的视差图像信息输入到图像生成单元463。在步骤S479中，兼容性信息获取单元126获取从分离单元461提供的兼容性信息，并将所获取的兼容性信息输入到图像生成单元463。
在步骤S480中，图像生成单元463基于从视点间距离信息获取单元124提供的视点间距离信息和与图中未示出的显示装置对应的视点数量，确定要生成的多视点图像的每个视点的位置。
在步骤S481中，图像生成单元463基于在步骤S480中所确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像的复用图像、辅助图像的复用图像和时间复用图像来生成各视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
步骤S482和S483与图18所示的步骤S92和S93相同，因此，将省略对其的描述。
在步骤S474中确定观看者作出了用于显示两视点模式的3D图像的指令的情况下，图像信息获取单元123获取从分离单元461提供的图像信息，并将所获取的图像信息输入到图像生成单元463。
步骤S485和S486的处理与图18中所示的步骤S94和S95的处理相同，因而，将省略对其的描述。
另外，在仅可以对与解码装置460具有兼容性的兼容流进行解码的解码装置中，忽视辅助流，并且仅执行步骤S473、S484和S485的处理。然后，在这种情况下，在步骤S484的处理中，基于预先确定的复用模式分离兼容图像的复用图像。
<第六实施例>
[根据第六实施例的编码装置的配置示例]
图42是示出根据本技术的第六实施例的编码装置的配置示例的框图。
在图42所示的配置中，相同的附图标记被赋予与图35所示的配置相同的配置。将适当地省略重复描述。
图42所示的编码装置480的配置与图35所示的配置的主要不同之处在于，替代视差图像生成单元143、编码器145和视差图像信息生成单元57，设置了视差图像生成单元481、编码器482和视差图像信息生成单元483。编码装置480对表示为兼容图像和辅助图像的共有视差图像所共有的视差值的共有视差图像进行编码。
更具体地，编码装置480的视差图像生成单元481使用从成像单元141A至141D提供的图像A2至D2来检测图像A2与B2之间的每个像素的视差和图像C2与D2之间的每个像素的视差。视差图像生成单元481生成由表示图像A2与B2之间的每个像素的视差的视差值组成的视差图像作为兼容图像的共有视差图像AB2’，并将所生成的共有视差图像提供到编码器482。另外，视差图像生成单元481生成由表示图像C2与D2之间的每个像素的视差的视差值组成的视差图像作为辅助图像的共有视差图像CD2’，并将所生成的共有视差图像提供到编码器482。
此外，视差图像生成单元481将表示兼容图像和辅助图像的视差图像是共有视差图像的信息提供到视差图像信息生成单元483。
编码器482由兼容编码器151和辅助编码器491构成。辅助编码器491根据3DV模式，对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元481提供的兼容图像的共有视差图像AB’和辅助图像的共有视差图像CD2’进行编码。辅助编码器491将作为其结果所获取的编码流作为辅助流提供到复用单元443。
视差图像信息生成单元483基于从视差图像生成单元53提供的信息来生成表示兼容图像和辅助图像的视差图像是共有视差图像的信息等作为视差图像信息，并将所生成的视差图像信息提供到复用单元443。
[编码装置的处理描述]
图43和图44示出由图42所示的编码装置480执行的编码处理的流程图。该编码处理例如在从成像单元141A至141D输出图像A2至D2时开始。
图43中所示的步骤S491至S498的处理类似于图38中所示的步骤S451至S458的处理，因而，将省略对其的描述。
在图44所示的步骤S499中，视差图像生成单元481使用从成像单元141A至141D提供的图像A2至D2来检测图像A2与B2之间的每个像素的视差和图像C2与D2之间的每个像素的视差。然后，视差图像生成单元481生成由表示图像A2与B2之间的每个像素的视差的视差值构成的共有视差图像AB2’以及由表示图像C2与D2之间的每个像素的视差的视差值组成的共有视差图像CD2’。
在步骤S500中，视差图像信息生成单元483基于从视差图像生成单元481提供的信息来生成表示兼容图像和辅助图像的视差图像是共有视差图像的信息等作为视差图像信息，并将所生成的视差图像信息输入到复用单元443。
在步骤S501中，视差图像生成单元481将在步骤S499中生成的、辅助图像的共有视差图像CD2’和兼容图像的共有视差图像AB2’输入到编码器482。
在步骤S502中，编码器482的兼容编码器151根据现有的AVC模式来对从图像转换单元142提供的兼容图像的复用图像进行编码，并将作为其结果所获取的编码流作为兼容流提供到复用单元443。
在步骤S503中，辅助编码器491根据3DV模式来对从图像转换单元142提供的辅助图像的复用图像以及从视差图像生成单元481提供的兼容图像的共有视差图像和辅助图像的共有视差图像进行编码。辅助编码器491将作为编码处理的结果而获取的编码流作为辅助流提供到复用单元443。
在步骤S504中，复用单元443根据从兼容编码器151提供的兼容流以及从辅助编码器491提供的辅助流和辅助信息来生成TS，对TS执行复用处理，并传送作为其结果而获取的复用流。该复用流例如记录在BD等上或者作为广播流来传送。然后，处理结束。
[解码装置的配置示例]
图45是示出对从图42所示的编码装置48传送的复用流进行解码的解码装置的配置示例的图。
在图45所示的配置中，相同的附图标记被赋予与图40所示的配置相同的配置。将适当地省略重复描述。
图45所示的解码装置500的配置与图40所示的配置的主要不同之处在于，替代解码器122和图像生成单元171，设置了解码器501和图像生成单元502。解码装置500通过对从编码装置480传送的复用流进行解码来生成两个视点的图像或多视点图像，并在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置500的解码器501由兼容解码器471和辅助解码器511构成。解码器501的辅助解码器511基于从分离单元461提供的兼容性信息来识别从分离单元461提供的兼容流和辅助流之中的兼容流。另外，辅助解码器511根据与图42所示的辅助编码器491对应的模式来对辅助流中包括的辅助图像的复用图像、兼容图像的共有视差图像AB2’和辅助图像的共有视差图像CD2’进行解码。辅助解码器511将作为解码处理的结果而获取的辅助图像的复用图像以及共有视差图像AB2’和CD2’提供到图像生成单元502。
图像生成单元502根据从观看者提供的指令来输出图像并在图中未示出的显示装置上显示该图像。当更详细地描述时，图像生成单元502根据观看者的用于显示多视点模式的3D图像的指令、基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像的复用图像、辅助图像的复用图像以及共有视差图像AB2’和CD2’来生成与图中未示出的显示装置对应的三个以上视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
更详细地描述，图像生成单元502基于表示兼容图像和辅助图像的视差图像是从视差图像信息获取单元125提供的视差图像信息中包括的共有视差图像的信息来保持共有视差图像AB2’和CD2’而不进行改变。
另外，类似于图17所示的图像生成单元171，图像生成单元502基于从图像信息获取单元123提供的图像信息中包括的、表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离每个辅助图像。此外，类似于图像生成单元171，图像生成单元502基于图像信息中包括的表示兼容图像的复用模式的信息，从兼容图像的复用图像中分离每个兼容图像。
此外，类似于图像生成单元171，图像生成单元502基于视点间距离信息和与图中未示出的显示装置对应的视点数量来确定要生成的多视点图像的每个视点的位置。然后，图像生成单元502通过使用每个兼容图像、每个辅助图像、共有视差图像AB2’和共有视差图像CD2’来生成位置被确定的每个视点的图像。然后，类似于图像生成单元171，图像生成单元502将所生成的多视点图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，对这些图像进行合成，并且在图中未示出的显示装置上显示合成图像。
此时，合成后的多视点图像被显示成使得观看角度对于每个视点而言是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像，而无需佩戴眼镜。
另外，类似于图像生成单元171，图像生成单元502根据从观看者提供的用于显示两视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息来将从解码器501提供的兼容图像的复用图像分离成分辨率为兼容图像的分辨率的一半的图像A2和B2。然后，类似于图像生成单元171，图像生成单元502交替地输出分辨率为兼容图像的分辨率的一半的分离后的图像A2和B2，从而在图中未示出的显示装置上显示分离后的图像。此时，观看者可以通过佩戴在显示图像A2时左眼快门和右眼快门中的一个打开而在显示图像B2时另一个打开的眼镜并观看在显示装置上交替地显示的图像A2和B2来观看3D图像。
[解码装置的处理描述]
图46是示出由图45所示的解码装置500执行的解码处理的流程图。该解码处理例如在从图42所示的编码装置480传送的复用流输入到解码装置500时开始。
图46所示的步骤S511至S514的处理类似于图41所示的步骤S471至S474的处理，因而，将省略对其的描述。
在步骤S515中，辅助解码器511提取被编码的、辅助图像的复用图像、兼容图像的共有视差图像AB2’和辅助图像的共有视差图像CD2’，并且根据与图42所示的辅助编码器491对应的模式来对所提取的图像进行解码。辅助解码器511将作为解码处理的结果而获取的辅助图像的复用图像、共有视差图像AB2’和共有视差图像CD2’提供到图像生成单元502。
步骤S516至S520的处理类似于图41所示的步骤S476至S480的处理，因而，省略对其的描述。
在步骤S520的处理之后，在步骤S521中，图像生成单元502基于在步骤S519中确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息和从兼容性信息获取单元126提供的兼容性信息等，通过使用兼容图像、辅助图像的复用图像、共有视差图像AB2’和共有视差图像CD2’来生成分辨率为兼容图像或辅助图像的分辨率的一半的每个视点的图像。
步骤S522至S526的处理类似于图41所示的步骤S482至S486的处理，因而，将省略对其的描述。
尽管类似于编码装置140，编码装置440和480对两个视点的兼容图像进行复用和编码，但是类似于图19所示的编码装置180，编码装置440和480可对两个视点的兼容图像进行编码而不对其进行复用。另外，类似于图5所示的编码装置50，编码装置440和480可对一个视点的兼容图像进行编码。
另外，编码装置140和180可对兼容图像和辅助图像的视差图像进行编码而不对上述视差图像进行复用。此外，编码装置50可对辅助图像的视差图像进行编码而不对上述视差图像进行复用。
<编码目标的复用图案的示例>
图47是示出在兼容图像的视点数量为两个且辅助图像的视点数量为两个的情况下的编码目标的复用图案的示例的图。
如图47的（1）中所示，图14所示的编码装置140在空间方向上对作为兼容图像的图像A2和B2进行复用，并根据AVC模式对复用图像进行编码。另外，编码装置140在空间方向上对作为辅助图像的图像C2和D2、作为兼容图像的视差图像的视差图像A2’和B2’以及作为辅助图像的视差图像的视差图像C2’和D2’进行复用，并且根据与MVC模式相符的3DV模式对复用图像进行编码。
此外，如图47的（2）中所示，编码装置140可根据与MVC模式相符的3DV模式来对视差图像A2’至D2’进行编码，而不对视差图像进行复用。另外，如图47的（3）中所示，图42所示的编码装置480可对共有视差图像AB2’进行编码而不是作为兼容图像的视差图像的视差图像A2’和B2’，并且对共有视差图像CD2’进行编码而不是作为辅助图像的视差图像的视差图像C2’和D2’。
此外，如图47的（4）中所示，图35所示的编码装置440根据帧序列模式来在空间方向上对视差图像A2’和B2’以及辅助图像的视差图像的复用图像进行复用，而不对作为兼容图像的视差图像的视差图像A2’和B2’进行复用，并且根据与MVC模式相符的3DV模式对复用图像进行编码。
如图47的（5）中所示，图19所示的编码装置180根据AVC模式来对图像A2进行编码，并且在图像A2被设置为基本视图的情况下根据MVC模式来对图像B2进行编码，而不对作为兼容图像的图像A2和B2进行复用。另外，编码装置180在空间方向上对作为辅助图像的图像C2和D2、作为兼容图像的视差图像的视差图像A2’和B2’、以及作为辅助图像的视差图像的视差图像C2’和D2’进行编码，并且根据与MVC模式相符的3DV模式对所得到的复用图像进行编码。
另外，如图47的（6）中所示，编码装置180可根据与MVC模式相符的3DV模式对视差图像A2’至D2’进行编码而不对其进行复用。此外，如图47的（7）中所示，类似于编码装置480，编码装置180可对共有视差图像AB2’进行编码而不是视差图像A2’和B2’，并且对共有视差图像CD2’进行编码而不是视差图像C2’和D2’。
此外，如图47的（8）中所示，类似于编码装置440，编码装置180可根据帧序列模式来对视差图像A2’和B2’以及辅助图像的视差图像的复用图像进行复用，并且根据与MVC模式相符的3DV模式来对所得到的复用图像进行编码，而不在空间方向上对视差图像A2’和B2’进行复用。
另外，复用图案不限于图47所示的示例。例如，可根据帧序列模式进一步对辅助图像的复用图像、兼容图像的视差图像和辅助图像的视差图像的复用图像进行复用。
图48是示出以图47的（1）至（8）中所示的复用图案进行复用的效果的特征的图。
在图48所示的表中，布置了效果项目“兼容性”、“图像质量”和“数据量”，并且表示了关于图47的（1）至（8）中所示的复用图案的各项目的效果的程度。在图48所表示的表中，圆圈表示存在效果，而双圆圈表示显著的效果。
在使用图47的（1）中所示的复用图案来执行复用的情况下，兼容图像的复用模式和编码模式与现有模式相同，从而确保了兼容性。另外，由于类似于兼容图像，例如在空间方向上对视差图像进行复用，因此可以使用在解码装置侧准备的、分离兼容图像的分离单元来分离视差图像。相应地，确保了可以在解码装置侧分离视差图像。因此，在这种情况下，存在对兼容性的显著效果，并且与图48所示的项目“兼容性”相对应地描述了双圆圈。
在使用图47的（2）中所示的复用图案来进行复用的情况下，兼容图像的复用模式和兼容模式与现有模式相同，从而确保了兼容性。另外，由于视差图像的分辨率与被复用之前的图像的分辨率相同，因此精确度高。结果，在解码装置中，改善了使用视差图像生成的预定视点的图像的精确度。因此，在这种情况下，对使用视差图像生成的图像的兼容性和图像质量存在效果，相应地，与图48中所表示的项目“兼容性”和“图像质量”相对应地描述圆圈。
在使用图47的（3）中所示的复用图案来进行复用的情况下，兼容图像的复用模式和编码模式与现有模式相同，从而确保了兼容性。另外，每一个均具有与被复用之前的图像的分辨率相同的分辨率的兼容图像和辅助图像的视差图像的数据量减小为两个视点的视差图像的数据量。相应地，在这种情况下，由于对兼容性和数据量存在效果，因此与图48中所示的项目“兼容性”和“数据量”相对应地描述圆圈。
在使用图47的（4）中所示的复用图案来进行复用的情况下，兼容图像的复用模式和编码模式与现有模式相同，从而确保了兼容性。另外，由于在时间方向上对视差图像进行复用，因此在每个时间处的视差图像的数据量小于图47的（3）的情况的数据量，从而可以传送的数据量增加。相应地，即使在不存在用于传送分辨率与复用之前的图像相同的视差图像的传送带宽的余裕（room）的情况下，可以传送分辨率与复用之前的图像的分辨率相同的视差图像，从而改善了在解码装置中使用视差图像生成的预定视点的图像的精确度。相应地，在这种情况下，对使用视差图像生成的图像的兼容性和图像质量存在效果，并且对数据量存在显著效果。因此，与图48中所示的项目“兼容性”和“图像质量”相对应地描述圆圈，并且与“数据量”相对应地描述双圆圈。
使用图47的（1）至（4）中所示的复用图案来执行复用处理，例如，在用于广播、与广播相符的IP（互联网协议）、ATSC（高级电视制式委员会）2.0规范等、作为融合广播的下一代广播或互联网传递应用的图像被设置为编码目标时。
在使用图47的（5）中所示的复用图案来进行复用的情况下，兼容图像的复用模式和编码模式与现有模式相同，从而确保了兼容性。另外，由于每个视差图像分辨率为图像的分辨率的一半，因此兼容图像和辅助图像的视差图像的数据量减少为两个视点的视差图像的数据量。相应地，在这种情况下，对兼容性和数据量存在效果，并且与图48中所示的项目“兼容性”和“数据量”相对应地描述圆圈。
在使用图47的（6）中所示的复用图案来进行复用的情况下，类似于图47的（2）的情况，确保了兼容性，并且改善了在解码装置中使用视差图像来生成的预定视点的图像的精确度。相应地，在这种情况下，对使用视差图像来生成的图像的兼容性和图像质量存在效果，并且与图48中所示的项目“兼容性”和“图像质量”相对应地描述圆圈。
在使用图47的（7）中所示的复用图案来进行复用的情况下，类似于图47的（3）的情况，确保了兼容性，并且视差图像的数据量减少。相应地，在这种情况下，对兼容性和数据量存在效果，并且与图48中所示的项目“兼容性”和“数据量”相对应地描述圆圈。
在使用图47的（8）中所示的复用图案来进行复用的情况下，类似于图47的（4）的情况，确保了兼容性。另外，类似于图47的（4）的情况，在每个时间处的视差图像的数据量小于图47的（7）的情况的数据量，结果，改善了在解码装置中使用视差图像来生成的预定视点的图像的精确度。相应地，在这种情况下，对使用视差图像来生成的图像的兼容性和图像质量存在效果，并且对数据量具有显著效果。因此，与图48中所示的项目“兼容性”和“图像质量”相对应地描述圆圈，并且与“数据量”相对应地描述双圆圈。
使用图47的（5）、（7）和（8）中所示的复用图案来执行复用处理，例如，在用于BD、广播、下一代广播或互联网传递的应用的图像被设置为编码目标时。另外，使用图47的（6）中所示的复用图案来执行复用处理，例如，在用于BD、下一代广播或互联网传递的应用的图像被设置为编码目标时。
图49是示出在兼容图像的视点数量为一个且辅助图像的视点数量为两个的情况下的、编码目标的复用图案的示例的图。
如图49的（1）中所示，图5所示的编码装置50根据AVC模式来对作为兼容图像的图像A1进行编码。另外，编码装置50在时间方向上对作为辅助图像的图像B1和C1以及作为辅助图像的视差图像的视差图像B1’和C1’进行复用。然后，编码装置50根据与MVC模式相符的3DV模式来对作为兼容图像的视差图像的视差图像A1’、辅助图像的复用图像以及辅助图像的视差图像的复用图像进行编码。
如图49的（2）中所示，编码装置50可根据与MVC模式相符的3DV模式对视差图像A1’至C1’进行编码，而不对视差图像进行复用。另外，如图49的（3）中所示，类似于编码装置480，编码装置50可对作为辅助图像的图像B和C的共有视差图像BC1’进行编码而不是辅助图像的视差图像的复用图像。
另外，如图49的（4）所示，类似于编码装置440，编码装置50可根据帧序列模式对视差图像A1’至C1’进行复用，并且根据与MVC模式相符的3DV模式来对所得到的复用图像进行编码，而无需在空间方向上对视差图像B1’和C1’进行复用。
使用图49的（1）至（4）中所示的复用图案的复用处理的效果和在使用这些复用图案执行复用处理时的编码目标与使用图47的（5）至（8）中所示的复用图案的复用处理的效果和编码目标相同。然而，在使用图49的（1）中所示的复用图案的复用处理中，由于兼容图像的视差图像的分辨率与兼容图像的分辨率相同，因此作为该复用处理的效果的、视差图像的数据量的减少是仅对于辅助图像的视差图像的效果。
图50是示出在兼容图像的视点数量为两个且辅助图像的视点数量为零的情况下的、编码目标的复用图案的示例的图。
在兼容图像的视点数量为两个且辅助图像的视点数量为零的情况下，如图50的（1）中所示，类似于图14所示的编码装置140的情况，在空间方向上对作为兼容图像的图像A2和B2进行复用并且根据AVC模式对其进行编码。另外，在空间方向上对作为兼容图像的视差图像的视差图像A2’和B2’进行复用并根据与AVC模式相符的3DV模式来对其进行编码。
如图50的（2）中所示，可根据与MVC模式相符的3DV模式对视差图像A2’和B2’进行编码而不对其进行复用。另外，如图50的（3）中所示，类似于编码装置480的情况，替代视差图像A2’和B2’，可对共有视差图像AB2’进行编码。
此外，如图50的（4）所示，类似于编码装置440的情况，可以帧序列模式对视差图像A2’和B2’进行复用并对其进行编码，而不在时间方向上对其进行复用。
另外，如图50的（5）中所示，类似于编码装置180的情况，其可被配置成使得根据AVC模式对图像A2进行编码，并以将图像A2设置为基本视图的MVC模式对图像B2进行编码，而不对作为兼容图像的图像A2和B2进行复用。
在这种情况下，如图50的（6）中所示，类似于图50的（2）的情况，可对视差图像进行编码而不对其进行复用，或者如图50的（7）所示，类似于图50的（3）的情况，可对共有视差图像AB2’进行编码。另外，如图50的（8）中所示，类似于图50中所示的（4）的情况，可根据帧序列模式对兼容图像的视差图像进行复用并对其进行编码。
另外，使用图49的（1）至（8）中所示的复用图案的复用处理的效果和在使用这些复用图案执行复用处理时的编码目标与使用图47的（1）至（8）中所示的复用图案的复用处理的效果和编码目标相同。
在以上给出的描述中，尽管描述了根据帧序列模式来复用的视差图像的分辨率与复用处理之前的图像的分辨率相同，但是分辨率可低于复用处理之前的图像的分辨率。另外，类似于视差图像，还可根据帧序列模式对辅助图像进行复用。
此外，在以上给出的描述中，尽管描述了在编码装置中传送表示图像的复用模式的信息和表示视差图像的复用模式的信息，但是可传送用于识别图47、图49和图50中所示的复用图案的信息。
另外，编码装置可传送用于识别与作为编码目标的图像对应的应用的标志。
<第七实施例>
[根据第七实施例的编码装置的配置示例]
图51是示出根据本技术的第七实施例的编码装置的配置示例的框图。
在图51所示的配置中，相同的附图标记被赋予与图35所示的配置相同的配置。将适当地省略重复描述。
图51所示的编码装置520的配置与图35所示的配置的主要不同之处在于，替代编码器145和复用单元443，设置了编码器523和传送单元524，并且新设置了复用单元521和复用信息生成单元522。
编码装置520根据帧序列模式对兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像、以及辅助图像的视差图像的复用图像进行复用，并对所得到的复用图像进行编码。
更具体地，编码装置520的复用单元521根据帧序列模式，对作为图像转换单元142执行的复用处理的结果而获取的兼容图像与辅助图像的复用图像以及作为视差图像生成单元143执行的复用处理的结果而获取的兼容图像与辅助图像的视差图像的复用图像进行复用。
然后，复用单元521将如下复用图像作为时间方向复用图像提供到编码器523，在该复用图像中，在一帧时间内可以作为复用处理的结果而获取的兼容图像的复用图像、兼容图像的视差图像的复用图像、辅助图像的复用图像和辅助图像的视差图像的复用图像可以顺序地存在。
另外，复用单元521将如下信息提供到复用信息生成单元522和编码器523，该信息表示根据帧序列模式对兼容图像与辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像进行复用且表示时间复用图像内的图像的布置顺序。
复用信息生成单元522基于从复用单元521提供的信息，生成该信息等作为与对兼容图像和辅助图像以及兼容图像和辅助图像的视差图像的复用的全体复用信息，并将所生成的全体复用信息提供到传送单元524。
编码器523由兼容编码器531和辅助编码器532构成，编码器523基于从复用单元521提供的信息来指定从复用单元521提供的时间复用图像中包括的兼容图像的复用图像，并且将兼容图像的复用图像提供到兼容编码器531。另外，编码器523基于从复用单元521提供的信息，将时间复用图像中包括的辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像提供到辅助编码器532。
编码器523的兼容编码器531根据现有的AVC模式对时间复用图像中包括的兼容图像的复用图像进行编码。辅助编码器532根据3DV模式对时间复用图像中包括的辅助图像的复用图像以及兼容图像和辅助图像的视差图像的复用图像进行编码。此时，通过参考兼容图像的复用图像来对辅助图像的复用图像进行编码，并且通过参考兼容图像的视差图像的复用图像来对辅助图像的视差图像的复用图像进行编码。
编码器523将由作为兼容编码器531或辅助编码器532执行的编码处理的结果而获取的时间复用图像的编码数据组成的比特流提供到传送单元524.。
传送单元524使用从编码器523提供的比特流、从图像信息生成单元54提供的图像信息、从兼容性信息生成单元55提供的兼容性信息、从视点间距离信息生成单元144提供的视点间距离信息、从视差图像信息生成单元57提供的视差图像信息、从复用信息生成单元522提供的全体复用信息等来生成TS。复用单元443传送所生成的TS。
[编码装置的处理的描述]
图52和图53是示出由图51所示的编码装置520执行的编码处理的流程图。该编码处理例如在从成像单元141A至141D输出图像A2至D2时开始。
图52中所示的步骤S531至S537的处理与图38中所示的步骤S451至S457的处理相同，因而将省略对其的描述。
在步骤S537的处理之后，在步骤S538中，图像转换单元142将兼容图像的复用图像和辅助图像的复用图像输入到复用单元521，并且处理进行至图53中所示的步骤S539。
图53中所示的步骤S539至S542的处理与图39中所示的步骤S459至S462的处理相同，因而，将省略对其的描述。
在步骤S543的处理之后，在步骤S544中，复用单元521根据帧序列模式，对作为由图像转换单元142执行的复用处理的结果而获取的兼容图像和辅助图像的复用图像以及作为由视差图像生成单元143执行的复用处理的结果而获取的兼容图像和辅助图像的视差图像的复用图像进行复用。复用单元521将作为复用处理的结果而获取的复用图像作为时间方向复用图像提供到编码器523。
另外，复用单元521将表示根据帧序列模式对兼容图像和辅助图像的复用图像以及视差图像的复用图像进行复用且表示时间复用图像内的图像的布置顺序的信息提供到复用信息生成单元522和编码器523。
在步骤S545中，复用信息生成单元522基于从复用单元521提供的信息，生成该信息等作为全体复用信息，并将所生成的全体复用信息提供到传送单元524。
在步骤S546中，兼容编码器531根据现有的AVC模式，对编码器523基于从复用单元521提供的信息而输入的、时间复用图像中包括的兼容图像的复用图像进行编码。
在步骤S547中，辅助编码器532根据3DV模式，对编码器523基于从复用单元521提供的信息而输入的、时间复用图像中包括的辅助图像的复用图像、兼容图像的视差图像的复用图像、以及辅助图像的视差图像的复用图像进行编码。编码器523将由作为步骤S546和S547的编码处理的结果而获取的时间复用图像的编码数据组成的比特流提供到传送单元524。
在步骤S548中，传送单元524根据从编码器523提供的比特流、辅助信息以及从复用信息生成单元522提供的全体复用信息来生成TS，并传送所生成的TS。该TS例如记录在BD等上或者作为广播流来传送。然后，处理结束。
如上所述，编码装置520根据兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像的编码数据来生成一个比特流。相应地，包括可以仅对一个比特流进行解码的解码器的解码装置可以对由编码装置520生成的比特流进行解码。
在以上给出的描述中，尽管描述了根据与兼容图像的编码模式相符的3DV模式来对兼容图像的视差图像、辅助图像以及辅助图像的视差图像进行编码，但是可根据与兼容图像的编码模式不相符的MPEG2（运动图像专家组阶段2）等来对这些图像进行编码。
[解码装置的配置示例]
图54是示出对从图51所示的编码装置520传送的TS进行解码的解码装置的配置示例的图。
在图54所示的配置中，相同的附图标记被赋予与图40所示的配置相同的配置。将适当地省略重复描述。
图54所示的解码装置540的配置与图40所示的配置的主要不同之处在于，替代分离单元121、解码器122和图像生成单元171，设置了接收单元541、解码器542和图像生成单元544，并且新设置了复用信息获取单元543。解码装置540对从编码装置520传送的TS中包括的时间复用图像的比特流进行解码，生成两个视点的图像或多视点图像，并且在图中未示出的显示装置上显示所生成的图像。
更具体地，解码装置540的接收单元541接收从编码装置520传送的TS。接收单元541提取TS中包括的时间复用图像的比特流并将该比特流提供到解码器542。另外，接收单元541提取TS中包括的辅助信息，并且将辅助信息中包括的图像信息提供到图像信息获取单元123并将视点距离信息提供到视点间距离信息获取单元124。此外，接收单元541将辅助信息中包括的视差图像信息提供到视差图像信息获取单元125，并且将兼容性信息提供到兼容性信息获取单元126和解码器501。另外，接收单元541提取TS中包括的全体复用信息，并将所提取的全体复用信息提供到复用信息获取单元543。
解码器542由兼容解码器551和辅助解码器552构成。解码器542的兼容解码器551基于从分离单元461提供的兼容性信息，从自接收单元541提供的比特流中提取兼容图像的复用图像的编码数据。兼容解码器551根据与AVC模式对应的模式来对所提取的兼容图像的复用图像的编码数据进行解码，并将解码后的数据提供到图像生成单元544。
辅助解码器552基于从分离单元461提供的兼容性信息，从自接收单元541提供的比特流中提取辅助图像的复用图像、兼容图像的视差图像的复用图像、以及辅助图像的视差图像的复用图像的编码数据。辅助解码器552根据与图51所示的辅助编码器532的解码模式对应的模式，对所提取的辅助图像的复用图像、兼容图像的视差图像的复用图像、以及辅助图像的视差图像的复用图像的编码数据进行解码，并将解码后的数据提供到图像生成单元544。
复用信息获取单元543获取从接收单元541提供的全体复用信息，并将所获取的全体复用信息提供到图像生成单元544。
图像生成单元544根据观看者的显示指令来输出图像，从而在图中未示出的显示装置上显示图像。更具体地，图像生成单元544根据观看者的用于显示多视点系统的3D图像的指令，基于从图像信息获取单元123提供的图像信息、从视点间距离信息获取单元124提供的视点间距离信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息、从复用信息获取单元543提供的全体复用信息等，通过使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像来生成与图中未示出的显示装置对应的三个以上视点的图像，每个图像均具有为兼容图像或辅助图像的分辨率的一半的分辨率。
更详细描述，图像生成单元544基于从复用信息获取单元543提供的全体复用信息，识别从辅助解码器552提供的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像。另外，类似于图17所示的图像生成单元171，图像生成单元544基于从视差图像信息获取单元125提供的视差图像信息中包括的、表示辅助图像的视差图像的复用模式的信息，从辅助图像的视差图像的复用图像中分离每个辅助图像的视差图像。此外，类似于图像生成单元171，图像生成单元544基于视差图像信息中包括的、表示兼容图像的视差图像的复用模式的信息，从兼容图像的视差图像的复用图像中分离每个兼容图像的视差图像。
此外，类似于图像生成单元171，图像生成单元544基于从图像信息获取单元123提供的图像信息中包括的、表示辅助图像的复用模式的信息，从辅助图像的复用图像中分离每个辅助图像。另外，类似于图像生成单元171，图像生成单元544基于图像信息中包括的、表示兼容图像的复用模式的信息，从兼容图像的复用图像中分离每个兼容图像。
另外，类似于图像生成单元171，图像生成单元544基于视点间距离信息和与图中未示出的显示装置对应的视点数量，确定要生成的多视点图像的每个视点的位置。然后，类似于图像生成单元171，图像生成单元544通过使用每个兼容图像、每个辅助图像、每个兼容图像的视差图像和每个辅助图像的视差图像来生成位置被确定的每个视点的图像。然后，图像生成单元544将所生成的多视点图像的分辨率转换成为兼容图像或辅助图像的分辨率的“1/视点数量”的分辨率，对转换后的图像进行合成，并在图中未示出的显示装置上显示合成图像。
此时，合成后的多视点图像被显示成使得观看角度对于每个视点而言是不同的，并且观看者可以通过用他的左眼和右眼看任意两个视点的图像来观看3D图像，而无需佩戴眼镜。
另外，类似于图像生成单元171，图像生成单元544根据从观看者提供的用于显示两视点模式的3D图像的指令，基于从图像信息获取单元123提供的图像信息来将从解码器542提供的兼容图像的复用图像分离成分辨率为兼容图像的分辨率的一半的图像A2和B2。然后，类似于图像生成单元171，图像生成单元544交替地输出分辨率为兼容图像的分辨率的一半的分离后的图像A2和B2，从而在图中未示出的显示装置上显示分离后的图像。此时，观看者可以通过佩戴在显示图像A2时左眼快门和右眼快门中的一个打开而在显示图像B2时另一个打开的眼镜并观看在显示装置上交替地显示的图像A2和B2，来观看3D图像。
[解码装置的处理的描述]
图55是示出由图54所示的解码装置540执行的解码处理的流程图。该解码处理例如在从图51所示的编码装置520传送的TS输入到解码装置540时开始。
在图55所示的步骤S551中，解码装置540的接收单元541接收从编码装置520传送的TS。接收单元541提取TS中包括的比特流，并将所提取的比特流提供到解码器542。另外，接收单元541提取TS中包括的辅助信息，将辅助信息中包括的图像信息提供到图像信息获取单元123，并将视点距离信息提供到视点间距离信息获取单元124。此外，接收单元541将辅助信息中包括的视差图像信息提供到视差图像信息获取单元125，并将兼容性信息提供到兼容性信息获取单元126。另外，接收单元541提取TS中包括的全体复用信息，并将所提取的全体复用信息提供到复用信息获取单元543。
在步骤S552中，类似于图41中所示的步骤S474的处理，图像生成单元544确定观看者是否作出了用于显示双视点模式的3D图像的指令。在步骤S552中确定观看者尚未作出用于显示双视点模式的3D图像的指令的情况下，也就是说，在作出了用于显示多视点模式的3D图像的指令的情况下，处理进行至步骤S553。
在步骤S553中，解码器542的兼容解码器551基于从接收单元541提供的兼容性信息来从比特流中提取兼容图像的复用图像的编码数据，并且以与AVC模式相对应的模式对所提取的编码数据进行解码。然后，兼容解码器551将作为解码处理的结果而获取的兼容图像的复用图像提供到图像生成单元544。
在步骤S554中，辅助解码器552基于从接收单元541提供的兼容性信息，从比特流中提取辅助图像的复用图像、兼容图像的视差图像的复用图像、以及辅助图像的视差图像的复用图像的编码数据，并且以与图51所示的辅助编码器532对应的模式对所提取的编码数据进行解码。辅助解码器552将作为解码处理的结果所获取的辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像提供到图像生成单元544，并且处理进行到步骤S555。
步骤S555至S558的处理与图41中所示的步骤S476至S479的处理相同，因而，将省略对其的描述。
在步骤S558的处理之后，在步骤S559中，复用信息获取单元543获取从接收单元541提供的全体复用信息，并将所获取的全体复用信息输入到图像生成单元544。
在步骤S560中，类似于图41中所示的步骤S480的处理，图像生成单元544基于从视点间距离信息获取单元124提供的视点间距离信息和与图中未示出的显示装置相对应的视点数量，确定要生成的多视点图像的每个视点的位置。
在步骤S561中，图像生成单元544基于在步骤S560中所确定的每个视点的位置、从图像信息获取单元123提供的图像信息、从视差图像信息获取单元125提供的视差图像信息、从兼容性信息获取单元126提供的兼容性信息、从复用信息获取单元543提供的全体复用信息等，通过使用兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像来生成分辨率为兼容图像或辅助图像的分辨率的一半的每个视点的图像。然后，处理进行至步骤S562。
步骤S562和S563的处理与图41中的步骤S482和S483的处理相同，因而，将省略对其的描述。
在步骤S552中确定观看者作出了用于显示两视点模式的3D图像的指令的情况下，兼容解码器551基于从接收单元541提供的兼容性信息来从比特流中提取兼容图像的复用图像的编码数据，并且根据与AVC模式对应的模式对所提取的编码数据进行解码。然后，兼容解码器551将作为解码处理的结果而获取的兼容图像的复用图像提供到图像生成单元544。
步骤S565至S567的处理与图41中所示的步骤S484至S486的处理相同，因而，将省略对其的描述。
另外，在可以仅对与解码装置540具有兼容性的兼容图像进行解码的解码装置中，忽视除了可以处理的兼容图像的编码数据外的编码数据，并且执行步骤S564、S566和S567的处理。然而，在这样的情况下，在步骤S566的处理中，根据预先确定的复用模式来分离兼容图像的复用图像。
如上所述，解码装置540可以对根据兼容图像的复用图像、辅助图像的复用图像、兼容图像的视差图像的复用图像以及辅助图像的视差图像的复用图像的编码数据生成的一个比特流进行解码。
<根据该实施例的比特流>
[比特流的配置示例]
图56是示出根据该实施例生成的以访问单位为单位的比特流（编码流）的配置示例的图。
在图56所示的示例中，兼容图像是1920×1080像素的L图像和R图像，以及辅助图像是1920×1080像素的O图像。另外，L视差图像、R视差图像和O视差图像的大小是960×1080像素。此外，根据AVC模式对L图像进行编码，根据MVC模式对R图像进行编码，以及根据3DV模式对O图像、L视差图像和R视差图像和O视差图像进行编码。另外，L图像、R图像、O图像、L视差图像、R视差图像和O视差图像的视图ID分别为0、1、2、3、4和5。这里，视图ID是每个视点的图像和视差图像所特有的ID。
如图56所示，在以访问单位为单位的比特流中，例如，访问单位定界符（AUD）、SPS（序列参数集）、用于图像的根据MVC模式的子集SPS（Subset SPS1）、用于视差图像的根据3DV模式的子集SPS（SubsetSPS2）、PPS（画面参数集）、根据AVC模式的SEI、根据MVC模式的SEI、根据3DV模式的SEI以及编码数据的NAL（网络抽象层）单位从开头按顺序布置。
访问单位定界符的NAL单位是表示访问单位的边界的NAL单位。SPS的NAL单位是包括表示在根据AVC模式定义的轮廓之中的L图像的轮廓的profile_idec（在图56所示的示例中为100）的SPS的NAL单位。用于图像的子集SPS的NAL单位是包括表示根据MVC模式定义的轮廓之中的R图像和O图像的轮廓的profile_idc（在图56所示的示例中为128）的子集SPS的NAL单位。用于视差图像的子集SPS的NAL单位是包括表示根据3DV模式被定义为用于视差图像的轮廓之中的、L视差图像、R视差图像和O视差图像的轮廓的profile_idc（在图56的示例中为138）的子集SPS的NAL单位。
根据AVC模式的SEI的NAL单位是L图像的SEI的NAL单位。根据MVC模式的SEI的NAL单位是L图像和R图像的SEI的NAL单位。3DV模式的SEI的NAL单位是L图像、R图像、O图像、L视差图像、R视差图像或O视差图像的SEI的NAL单位。
作为编码数据的NAL单位，L图像的编码数据、定界符（MVC DD）、R图像的编码数据、定界符（3DV DD）、O图像的编码数据、定界符（3DVDD）、L视差图像的编码数据、定界符（3DV DD）、R视差图像的编码数据、定界符（3DV DD）、O视差图像的编码数据的NAL单位从开头起按顺序布置。
在L图像的编码数据的NAL单位中，添加了包括表示根据AVC模式的画面的1或5作为NAL单位的类型的NAL报头。另外，定界符（MVCDD）的NAL单位是表示MVC模式的编码数据的开头的NAL单位。在R图像的编码数据的NAL单位中，添加了包括表示根据MVC模式的编码数据的20作为NAL单位的类型的NAL报头。另外，定界符（3DV DD）的NAL单位是表示3DV模式的编码数据的开头的NAL单位。此外，在O图像、L视差图像、R视差图像和O视差图像的NAL单位中，添加了包括表示根据3DV模式的编码数据的21作为NAL单位的类型的NAL报头。
[根据用于视差图像的3DV模式的子集SPS的描述示例]
图57是示出图56所示的用于视差图像的根据3DV模式的子集SPS的描述示例的图。
如图57所示，在用于视差图像的根据3DV模式的子集SPS中，描述了包括表示L视差图像、R视差图像和O视差图像的轮廓的profile_idc（在图57所示的示例中为138）的SPS（seq_parameter_set_data）以及根据3DV模式定义的关于每个profile_idc的信息。
更具体地，在用于视差图像的3DV模式的子集SPS中，作为在profile_idc为138时的信息，描述了用于视差图像的扩展信息（seq_parameter_set_depth_extension）、表示是否包括用于视差图像的VUI扩展信息的用于视差图像的VUI信息标志（depth_vui_parameters_present_flag）。另外，在用于视差图像的VUI信息标志表示包括用于视差图像的VUI扩展信息的情况下，也描述了用于视差图像的VUI扩展信息（depth_vui_parameters_extension）。
另外，在解码处理中参考用于视差图像的3DV模式的子集SPS的情况下，也就是说，在对L视差图像、R视差图像和O视差图像进行解码的情况下，类似于对IDR画面进行解码的情况，重设参考图像。
图58是示出图57中所示的用于视差图像的扩展信息的描述示例的图。
如图58所示，类似于MVC模式的子集SPS内的扩展信息（seq_parameter_set_mvc_extension），用于视差信息的扩展信息由所描述的信息和与每个视差图像相对应的图像的视图ID（ref_view_id）组成。
在图58中，类似于在MVC模式的子集SPS内的扩展信息，所描述的信息被扩展并包括在用于视差图像的扩展信息中。相应地，可以针对每个视差图像来一起描述每个视差图像的视图ID（view_id）和与每个视差图像相对应的图像的视图ID。也就是说，描述了表示视差图像的数量的信息（num_views_minus1），并且可以进行用于读出视差图像的视图ID和与视差图像对应的图像的视图ID的描述与该数量一样多的次数。
与此相反，类似于MVC模式的子集SPS内的扩展信息，在所描述的信息不被扩展且包括在用于视差图像的扩展信息中的情况下，除了用于视差图像的扩展信息外，描述了表示视差图像的数量的信息，并且需要进行用于读出与视差图像对应的图像的视图ID的描述与该数量一样多的次数。结果，表示视差图像的数量的信息的描述和次数与该数量一样多的用于读出信息的描述彼此重复。
相应地，如图58所示，在所描述的信息被扩展且包括在用于视差图像的扩展信息中的情况下，类似于MVC模式的子集SPS内的扩展信息，用于视差图像的扩展信息的数据量可以小于信息没有被扩展且包括在用于视差图像的扩展信息中的情况的数据量。
图59是示出图57中所示的用于视差图像的VUI扩展信息的描述示例的图。
如图59所示，除了以下各点外，以与MVC模式的VUI扩展信息（mvc_vui_parameters__extension）相同的方式描述用于视差图像的VUI扩展信息。也就是说，在用于视差图像的VUI信息中，对于视差图像的每个像素，包括了表示是否包括表示与视差图像对应的图像的位置的类型的位置类型的位置类型标志（depth_loc_info_present_flag）以及表示是否包括表示分辨率转换之前的视差图像的大小的转换前大小信息的转换前大小信息标志（video_src_info_present_flag）。另外，在位置类型标志表示包括位置类型的情况下，位置类型也包括在用于视差图像的VUI信息中，而在转换前大小信息标志表示包括转换前大小信息的情况下，转换前大小信息也包括在用于视差图像的VUI信息中。
位置类型由顶场位置类型（depth_sample_loc_type_top_field）和底场位置类型（depth_sample_loc_type_bottom_field）组成。类似于MVC模式的VUI扩展信息中包括的顶场位置信息（chroma_sample_loc_type_top_field）和底场位置类型（chroma_sample_loc_type_bottom_field），描述了顶场位置类型和底场位置类型。
另外，转换前大小信息由表示水平方向上的分辨率转换前的视差图像的宏块数量的信息（pic_width_in_mbs_minus1）、表示垂直方向上的宏块数量的信息（pic_height_in_mbs_minus1）、表示是否包括表示纵横比的纵横信息的纵横比标志（aspect_ratio_info_present_flag）等构成。在纵横比标志表示包括了纵横信息的情况下，纵横信息也包括在转换前大小信息中。
纵横信息由作为纵横比所特有的ID的纵横比ID（aspect_ratio_idc）等组成。该纵横比ID不仅被分配给预先定义的纵横比而且被分配给未定义的所有纵横比。在包括在纵横信息中的纵横比ID是被赋予未定义的所有纵横比的纵横比ID（Extended_SAR）的情况下，在水平方向和垂直方向上的分辨率转换前的视差图像的纵横比的值（sar_width和sar_height）也包括在纵横信息中。
[3DV模式的编码数据的NAL报头的描述示例]
图60是示出包括21作为NAL单位的类型的、根据3DV模式的编码数据的NAL单位的NAL报头的描述示例的图。
如图60所示，在根据3DV模式的编码数据的NAL报头中，作为在NAL单位的类型为21时的信息，描述了表示是否包括视差图像报头扩展信息的视差图像报头扩展信息标志（depth_extension_flag）等。这里，在根据3DV模式的视差图像的编码数据的NAL报头中也描述了视差图像报头扩展信息。
在视差图像报头扩展信息标志表示包括了视差图像报头扩展信息的情况下，在3DV模式的编码数据的NAL报头中，也描述了视差图像报头扩展信息（nal_unit_header_depth_extension）。另一方面，在视差图像报头扩展信息标志表示不包括视差图像报头扩展信息的情况下，在3DV模式的编码数据的NAL报头中，也描述了MVC模式报头扩展信息（nal_unit_header_mvc_extension）。
图61是示出图60所示的视差图像报头扩展信息的描述示例的图。
如图61所示，视差图像报头扩展信息被配置成除了包括与视差图像对应的图像的视图ID（ref_view_id）外与MVC模式报头信息相同。
[根据3DV模式的SEI的描述示例]
图62是示出图56所示的根据3DV模式的SEI的描述示例的图。
如图62所示，类似于根据MVC模式的SEI，在根据3DV模式的SEI中，描述了SEI的消息。
也就是说，在根据3DV模式的SEI中，描述了表示是否指定了操作点的操作点标志（operation_point_flag），并且在操作点标志表示尚未指定操作点的情况下，描述了表示是否将SEI的消息适应于访问单位内的所有图像和视差图像的全成分标志（all_view_components_in_au_flag）。另一方面，在全成分标志表示不将SEI的消息适应于访问单位内的所有图像和视差图像的情况下，描述了SEI的消息所适应的图像和视差图像的视图ID数量（num_view_components_minus1)）和视图ID（sei_view_id）。
另一方面，在操作点标志表示指定了操作点的情况下，在SEI的消息所适应的操作点之中，描述了作为适应目标的图像和视差图像的视图ID（sei_op_view_id）以及操作点的数量（sei_op_temporal_id）。然后，描述了SEI的消息（sei_rbsp）。另外，在根据3DV模式的SEI中，可以描述SEI的多个消息。
在图56所示的示例中，尽管假设R图像和O图像的轮廓相同，但是R图像和O图像的轮廓可以彼此不同。
[比特流的另一配置示例]
图63是示出在图56所示的R图像和O图像的轮廓彼此不同的情况下的、以访问单位为单位的比特流的配置示例的图。
图63所示的比特流的配置与图56所示的比特流的配置不同之处在于，布置了除了用于图像的根据MVC模式的子集SPS和用于视差图像的根据3DV模式的子集SPS外的用于图像的根据3DV模式的子集SPS。
用于图像的根据MVC模式的子集SPS的NAL单位（Subset SPS1）是包括表示以MVC模式定义的轮廓之中的R图像的轮廓的profile_idc（在图63所示的示例中为128）的子集SPS的NAL单位。用于图像的根据3DV模式的子集SPS（Subset SPS2）的NAL单位是包括表示在以3DV模式定义为用于图像的轮廓的轮廓之中的O图像的轮廓的profile_idc（在图63所示的示例中为148）的子集SPS的NAL单位。用于视差图像的子集SPS（Subset SPS3）的NAL单位是包括表示在以3DV模式定义为用于视差图像的轮廓的轮廓之中的L视差图像、R视差图像和O视差图像的轮廓的profile_idc（在图63所示的示例中为138）的子集SPS的NAL单位。
[根据用于图像的3DV模式的子集SPS的描述示例]
图64是示出图63中所示的用于图像的根据3DV模式的子集SPS的描述示例的图。
如图64所示，在用于图像的根据3DV模式的子集SPS中，描述了包括表示图像O的轮廓的profile_idc（在图64所示的示例中为148）的SPS（seq_parameter_set_data）和以3DV模式定义的关于每个profile_idc的信息。
更具体地，在用于图像的根据3DV模式的子集SPS中，类似于根据MVC模式的子集SPS，作为在profile_idc为148时的信息，描述了根据MVC模式的扩展信息（seq_parameter_set_mvc_extension）、表示是否包括根据MVC模式的VUI扩展信息的根据MVC模式的VUI信息标志（mvc_vui_parameters_present_flag）等。另外，在根据MVC模式的VUI信息标志表示包括根据MVC模式的VUI扩展信息的情况下，还描述了根据MVC模式的VUI扩展信息（mvc_vui_parameters_extension）。此外，作为了在profile_idc为138时的信息，描述了与图57所示的信息类似的信息。
这里，3DV模式可以是用于根据与不同于AVC模式和MVC模式的HEVC（高效率视频编码）模式相符的多视点模式对显示图像进行编码的模式。这样的情况的比特流将描述如下。在本说明书中，假设HEVC模式基于HEVC工作草案：Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivian,“WD3:Working Draft3 ofHigh-Efficiency Video Coding”,JCTVc-E603_d5(version5),于2011年5月20日撰写。
<在3DV模式是与HEVC模式相符的模式的情况下的比特流>
[比特流的配置示例]
图65是示出在3DV模式是与HEVC模式相符的模式下的、以访问单位为单位的比特流的配置示例的图。
在图65所示的示例中，假设如在图56所示的示例中的L视点图像、R视点图像和O视点图像是编码目标，则根据AVC模式对L图像进行编码，并且根据3DV模式对L视点图像、R视点图像和O视点图像进行编码。
图65所示的比特流与图56所示的比特流的不同之处在于，可以在SPS内描述用于图像的根据3DV模式的子集SPS（Subset SPS1）和用于视差图像的根据3DV模式的子集SPS（Subset SPS2），并且包括NAL单位的相互不同的类型的NAL报头被添加到根据HEVC模式的SEI和根据3DV模式的SEI的NAL单位中。
在图65所示的比特流中，用于图像的根据3DV模式的子集SPS和用于视差图像的根据3DV模式的子集SPS可仅在SPS内描述，可与SPS分开地描述，或者可在SPS中描述并与SPS与分开地描述。这里，用于图像的根据3DV模式的子集SPS和与SPS分开的用于视差图像的根据3DV模式的子集SPS的描述与BD标准相符，并且适合于生成根据HEVC模式的编码数据和根据3DV模式的编码数据来作为彼此不同的ES（基本流）的情况。
在图65所示的比特流中，由于添加到根据HEVC模式的SEI的NAL单位和根据3DV模式的SEI的NAL单位的NAL报头中包括的NAL单位的类型彼此不同，因此，可以在解码处理中容易地提取根据HEVC模式的SEI或根据3DV模式的SEI的NAL单位。
[SPS的描述示例]
图66是示出图65所示的SPS的描述示例的图。
除了描述了表示是否包括子集SPS的信息的子集SPS信息标志（subset_seq_present_flag），以及在子集SPS信息标志表示包括子集SPS的信息的情况下描述了子集SPS的信息之外，图66所示的SPS的描述与与根据HEVC模式的SPS的描述相同。
如图66所示，子集SPS的信息包括子集SPS的数量（num_subset_seq）以及表示是否包括子集SPS的子集SPS标志（subset_seq_info_present_flag）。另外，在子集SPS标志表示包括子集SPS的情况下，子集SPS（subset_seq_parameter_set_data）也包括在子集SPS的信息中。
如上所述，由于子集SPS的数量被描述作为子集SPS的信息，因此，可以通过在解码处理中仅读出SPS的描述来识别是否存在子集SPS。另外，由于描述了子集SPS标志，因此，子集SPS可以与SPS分开地描述而不在SPS内描述，从而可以防止对子集SPS的描述的重复。
[子集SPS的描述示例]
图67是示出图66所示的子集SPS的描述示例的图。
除了描述了子集SPS所适应的图像、视差图像的视图ID的数量（num_subset_seq_views）、表示子集SPS的适应目标是否为视差图像的视差图像标志（depth_extension_flag）、以及表示在适应子集SPS时SPS是否无效的无效标志（seq_param_override_flag）之外，图67所示的子集SPS的描述与根据HEVC模式的SPS的描述相同。
在视差图像标志表示子集SPS的适应目标是视差图像的情况下，在子集SPS中描述了与作为适应目标的视差图像对应的图像的视图ID（ref_view_id）。另外，在无效标志表示在适应子集SPS时SPS无效的情况下，在子集SPS中描述了表示轮廓等的信息（subset_seq_profile_idc）。
在子集SPS的描述之中，作为与SPS的描述类似的描述，例如，存在表示适应的图像和视差图像是否被裁剪的信息（subset_seq_frame_cropping_flag）、表示是否包括VUI信息（subset_seq_vui_parameters）的VUI信息标志（subset_seq_vui_parameters_present_flag）等。在VUI信息标志表示包括VUI信息的情况下，类似于SPS，也描述了VUI信息。另一方面，在VUI信息标志表示不包括VUI信息的情况下，类似于SPS，没有描述VUI信息。在这样的情况下，作为VUI信息，SPS的VUI信息被适应。
[子集SPS的VUI信息的描述示例]
图68是示出图67所示的子集SPS的VUI信息的描述示例的图。
除了描述了表示是否包括作为适应目标的转换前大小信息的转换前大小信息标志（video_src_info_present_flag）外，图68所示的子集SPS的VUI信息的描述与根据HEVC模式的SPS的VUI信息的描述相同。
在转换前大小信息标志表示包括适应目标的转换前大小信息的情况下，在图68所示的VUI信息中描述转换前大小信息。也就是说，描述了表示水平方向上的分辨率转换前的适应目标的宏块数量的信息（src_pic_width_in_mbs_minus1）、表示垂直方向上的宏块数量的信息（src_pic_height_in_mbs_minus1）、表示是否包括表示纵横比的纵横信息的纵横比标志（src_aspect_ratio_info_present_flag）等。
在纵横比标志表示包括纵横信息的情况下，由纵横比ID（src_aspect_ratio_idc）等组成的纵横信息也包括在转换前大小信息中。在包括在纵横信息中的纵横比ID是赋予未被定义的所有纵横比的纵横比ID（Extended_SAR）的情况下，水平方向和垂直方向上的分辨率转换前的适应目标的纵横比的值（sar_width和sar_height）也包括在纵横信息中。
另外，在图68所示的子集SPS的VUI信息中，可描述不同于SPS的VUI信息的要点。在这样的情况下，对于在子集SPS的VUI信息中没有描述的信息，SPS的VUI信息中包括的信息适用。
[SEI的描述示例]
图69是示出图65所示的根据3DV模式的SEI的描述示例的图。
除了描述了SEI消息的类型（nesting_type）、全成分标志（all_view_components_in_au_flag）等以外，图69所示的根据3DV模式的SEI的描述与SEI消息的类型的SEI消息的描述相同。
作为SEI消息的类型，存在根据MVC模式的SEI消息、根据3DV模式的SEI消息、用户定义的SEI消息等。在全成分标志表示不适应访问单位内的所有图像和视差图像的情况下，在根据3DV模式的SEI中也描述了SEI消息所适应的图像和视差图像的视图ID的数量（num_view_components_minus1）和与该数量对应的视图ID（nesting_sei_view_id）。
<第八实施例>
[应用了本技术的计算机的描述]
接下来，上述的一系列处理可由硬件或软件来执行。在这系列处理由软件执行的情况下，构成软件的程序安装于通用计算机等。
图70示出根据实施例的安装了执行上述系列处理的程序的计算机的配置示例。
程序可预先记录在内置于计算机中的作为记录介质的存储单元808或ROM（只读存储器）802中。
替选地，程序可存储（记录）在可移动介质811上。这样的可移动介质811可作为所谓的封装软件来提供。这里，可移动介质811的示例包括软盘、致密盘只读存储器（CD-ROM）、磁光（MO）盘、数字通用盘（DVD）、磁盘和半导体存储器。
除了通过驱动器810将程序从如上所述的可移动介质811安装在计算机上以外，还可将程序通过通信网络或广播网络下载到计算机中并安装于内置于其中的存储单元808中。也就是说，可将程序例如从下载站点通过用于数字卫星广播的卫星以无线方式传送到计算机或者通过诸如局域网（LAN）或互联网的网络以有线方式传送到计算机。
计算机包括在其中的CPU（中央处理单元）801，并且输入/输出接口805通过总线804连接至CPU801。
当通过操作输入单元806，从用户通过输入/输出接口805输入指令时，CPU801根据指令执行存储在ROM802中的程序。替选地，CPU801将存储在存储单元808中的程序加载到RAM（随机存取存储器）803中并执行该程序。
相应地，CPU801执行根据上述流程图的处理或通过上述框图的配置执行的处理。然后，CPU801例如通过输入/输出接口805从输出单元807输出处理结果，从通信单元809传送处理结果，或者按照需要将处理结果记录在存储单元808中。
这里，输入单元806由键盘、鼠标、麦克风等构成。另外，输出单元807由LCD（液晶显示器）、扬声器等构成。
这里，在该说明书中，计算机根据程序执行的处理不必一定根据流程图中所述的顺序、按时序执行。也就是说，计算机根据程序执行的处理包括以并行方式或以单独方式执行的处理（例如，并行处理或使用对象的处理）。
另外，程序可由一台计算机（处理器）来处理或者可由多台计算机以分布方式来处理。此外，程序可传送至远程计算机并被执行。
本技术可以应用于在通过诸如卫星广播、有线TV（电视机）、互联网或便携式电话接收数据或者在诸如光盘、磁盘或闪存的存储介质上处理数据时所使用的编码装置和解码装置。
另外，上述的编码装置和解码装置可以应用于任意电子设备。下文中，将描述其示例。
<第九实施例>
[电视机设备的配置示例]
图71示出作为示例的根据本技术的电视机设备的示意性配置。电视机设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。另外，电视机设备900包括控制单元910、用户接口单元911等。
调谐器902从由天线901接收到的广播信号当中选择期望频道，对相应的广播信号进行解调，并且将所获取的编码比特流输出到解复用器903。
解复用器903从编码比特流中提取作为观看目标的节目的视频和音频的分组，并将所提取的分组的数据输出到解码器904。另外，解复用器903将诸如EPG（电子节目指南）的数据的分组提供到控制单元910。此外，在执行加扰的情况下，通过解复用器取消加扰。
解码器904执行分组的解码处理，将通过解码处理而生成的视频数据输出到视频信号处理单元905，并且将音频数据输出到音频信号处理单元907。
视频信号处理单元905根据用户对视频数据的设置来执行噪声消除或视频处理。视频信号处理单元905生成要显示在显示单元906上的节目的视频数据、通过基于通过网络提供的应用的处理而获取的图像数据等。另外，视频信号处理单元905生成用于显示项目选择等的菜单屏幕的视频数据，并将所生成的视频数据叠加在节目的视频数据上。视频信号处理单元905基于如上所述的所生成的视频数据来生成驱动信号，并且驱动显示单元906。
显示单元906基于从视频信号处理单元905提供的驱动信号来驱动显示装置（例如，液晶显示装置等），从而显示节目的视频等。
音频信号处理单元907对音频数据执行诸如噪声消除的预定处理，对处理后的音频数据执行D/A转换处理或放大处理，并且将所得到的音频数据提供到扬声器908，从而执行音频输出处理。
外部接口单元909是用于与外部装置或网络连接的接口，并且对视频数据、音频数据等执行数据发送或数据接收。
用户接口单元911连接至控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等构成，并且将根据用户的操作的操作信号提供到控制单元910。
控制单元910由CPU（中央处理单元）、存储器等构成。存储器存储CPU执行的程序或者CPU执行处理所需的各种数据、EPG数据、通过网络获取的数据等。存储在存储器中的程序由CPU在诸如电视机设备900启动的预定定时读出并执行。CPU控制每个单元以使得电视机设备900能够通过执行程序来根据用户的操作执行操作。
另外，在电视机设备900中，总线912被设置为将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等与控制单元910彼此连接。
在如上所配置的电视机设备中，根据该应用的解码装置（解码方法）的功能设置在解码器904中。相应地，可以根据与现有模式具有兼容性的模式来对多视点图像进行解码。
<第十实施例>
[便携式电话的配置示例]
图72示出根据本技术的便携式电话的示意性配置。便携式电话920包括通信单元922、音频编解码器923、摄像单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931。这些都通过总线933来互连。
另外，天线921连接至通信单元922，并且扬声器924和麦克风925连接至音频编解码器923。此外，操作单元923连接至控制单元931。
便携式电话920在诸如语音电话模式和数据通信模式的各种模式下执行各种操作，诸如音频信号的发送和接收、电子邮件或图像数据的发送和接收、图像捕获以及数据记录。
在语音电话模式下，麦克风925生成的音频信号被转换成音频数据并被音频编解码器923压缩，并且所得到的音频数据被提供到通信单元922。通信单元922对音频数据执行调制处理、频率转换处理等，从而生成发送信号。另外，通信单元922将发送信号提供到天线921，从而将发送信号发送至图中未示出的基站。此外，通信单元922对由天线921接收到的接收信号执行放大处理、频率转换处理、解调处理等，并将所获取的音频数据提供到音频编解码器923。音频编解码器923对音频数据执行数据解压缩，将音频数据转换成模拟音频信号，并将音频信号输出到扬声器924。
在数据通信模式下，在执行邮件发送的情况下，控制单元931接收通过操作单元932的操作而输入的字符数据，并在显示单元930上显示所输入的字符。另外，控制单元931基于从操作单元932提供的用户指令等来生成邮件数据，并且将所生成的邮件数据提供到通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并从天线921发送获取的发送信号。另外，通信单元922对天线921接收到的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复邮件数据。该邮件数据被提供到显示单元930，从而显示邮件的内容。
另外，便携式电话920可通过使用记录/再现单元929来将所接收到的邮件数据记录在存储介质上。该存储介质是任意的可写入存储介质。例如，存储介质是半导体存储器（诸如，RAM或内置型闪存）或者可移动介质（诸如，硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡）。
在数据通信模式下发送图像数据的情况下，摄像单元926生成的图像数据被提供到图像处理单元927。图像处理单元927对图像数据执行编码处理，从而生成编码数据。
解调单元928在预定模式下对图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行复用，并将复用数据提供到通信单元922。通信单元922对复用数据执行调制处理、频率转换处理等，并从天线921发送获取的发送信号。另外，通信单元922对天线921接收到的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复复用数据。该复用数据被提供到解复用单元928。解复用单元928对复用数据进行解复用，将编码数据提供到图像处理单元927，并将音频数据提供到音频编解码器923。图像处理单元927对编码数据进行解码，从而生成图像数据。该图像数据被提供到显示单元930，并显示所接收到的图像。音频编解码器923将音频数据转换成模拟音频信号，并将模拟音频信号提供到扬声器924，从而输出所接收到的音频。
在如上配置的便携式电话中，根据该应用的解码装置（解码方法）的功能被设置在图像处理单元927中。相应地，在图像数据的通信中，当通过对编码流进行解码来生成解码后的图像数据时，可以根据与现有模式具有兼容性的模式来对多视点图像进行解码。
<第十一实施例>
[记录和再现装置的配置示例]
图73示出根据本技术的记录和再现装置的示意性配置。记录和再现装置940例如将接收到的广播节目的音频数据和视频数据记录在记录介质上，并且在根据用户指令的定时将所记录的数据提供到用户。另外，记录和再现装置940例如可从另一装置获取音频数据和视频数据，并将数据记录在记录介质上。此外，记录和再现装置940对记录在记录介质上的音频数据和视频数据进行解码并输出，从而可以在监视器装置等中执行图像显示或音频输出。
记录和再现装置940包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、磁盘驱动器945、选择器946、解码器947、OSD（屏幕上显示）单元948、控制单元949和用户接口单元950。
调谐器941从图中未示出的天线接收到的广播信号当中选择期望频道。调谐器941将通过对期望频道的接收信号进行解调而获取的编码比特流输出到选择器946。
外部接口单元942被配置为IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少一个。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口，并且对要记录的视频数据、音频数据等执行数据接收。
当不对从外部接口单元942提供的视频数据和音频数据进行编码时，编码器943根据预定模式对数据进行编码，并将编码比特流输出到选择器946。
HDD单元944将诸如视频和音频的内容数据、各种程序和其他数据记录在内置硬盘上，并在再现数据等时从硬盘读出数据。
磁盘驱动器945执行对所安装的光盘的信号记录和信号再现。光盘的示例包括DVD盘（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）、蓝光盘等。
选择器946在记录视频或音频时选择从调谐器941或编码器943提供的编码比特流之一，并将该编码比特流提供到HDD单元944和磁盘驱动器945之一。另外，选择器946在再现视频或音频时将从HDD单元944或磁盘驱动器945输出的编码比特流提供到解码器947。
解码器947对编码比特流执行解码处理。解码器947将通过执行解码处理而生成的视频数据提供到OSD单元948。另外，解码器947输出通过执行解码处理而生成的音频数据。
OSD单元948生成用于显示项目选择等的菜单屏幕的视频数据，并将所生成的视频数据在将其叠加在从解码器947输出的视频数据上的同时输出。
用户接口单元950连接至控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等构成，并将根据用户的操作的操作信号提供到控制单元949。
控制单元949由CPU、存储器等构成。存储器存储由CPU执行的程序或CPU执行处理所需的各种数据。存储在存储器中的程序由CPU在诸如记录和再现装置940启动的预定定时读出并执行。CPU控制每个单元以使得记录和再现装置940通过执行程序来执行与用户的操作相应的操作。
在如上配置的记录和再现装置中，根据该应用的编码装置（编码方法）的功能配置在编码器943中。相应地，当通过对编码流进行解码来生成解码后的图像数据时，可以根据与现有模式具有兼容性的模式来对多视点图像进行编码。
<第十二实施例>
[成像设备的配置示例]
图74是示出根据本技术的成像设备的示意性配置的图。成像设备960使对象成像，在显示单元上显示对象的图像或者将该图像作为图像数据记录在记录介质上。
成像设备960包括光学块961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储单元967、介质驱动器968、OSD单元989和控制单元970。另外，用户接口单元971连接至控制单元970。此外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972相连。
光学块961是通过使用聚焦透镜、光圈机构等来构成的。光学块961在成像单元962的成像面上形成对象的光学图像。成像单元962是通过使用CCD或CMOS图像传感器来配置的，通过光电转换来根据光学图像生成电信号，并将电信号提供到摄像装置信号处理单元963。
摄像装置信号处理单元963对从成像单元962提供的电信号执行各种摄像装置信号处理，诸如膝盖校正、伽马校正和颜色校正。摄像装置信号处理单元963将摄像装置信号处理后的图像数据提供到图像数据处理单元964。
图像数据处理单元964对从摄像装置信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理而生成的编码数据提供到外部接口单元966或介质驱动器968。另外，图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理而生成的图像数据提供到显示单元965。另外，图像数据处理单元964将通过将从摄像装置信号处理单元963提供的图像数据提供到显示单元965的处理而获取的或者从OSD单元969获取的显示数据在将其叠加在图像数据上的同时提供到显示单元965。
OSD单元969生成由符号、字符或图形组成的菜单屏幕、图标等的显示数据，并将显示数据输出到图像数据处理单元964。
外部接口单元966例如由USB输入/输出端子等来构成，并且在打印图像的情况下连接至打印机。另外，驱动器在必要时连接至外部接口单元966，诸如磁盘或光盘的可移动介质适当地安装在其中，并且从可移动介质读取的计算机程序在必要时被安装。另外，外部接口单元966包括连接至诸如LAN或互联网的预定网络的网络接口。控制单元970可以例如根据从用户接口单元971提供的指令来从存储单元967读取编码数据，并将编码数据从外部接口单元966提供到通过网络连接的另一装置。另外，控制单元970可以通过外部接口单元966获取通过网络从另一装置提供的编码数据或图像数据，并将该数据提供到图像数据处理单元964。
作为由介质驱动器968驱动的记录介质，例如，使用了任意可读写的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。另外，作为可移动介质的记录介质的类型是任意的，并且可以是磁带装置、磁盘装置或存储卡。此外，记录介质可以是非接触式IC卡等。
另外，介质驱动器968和记录介质可被集成在一起，并由诸如内置型硬盘驱动器或SSD（固态驱动器）的非便携式记录介质构成。
控制单元970由CPU、存储器等构成。存储器存储CPU执行的程序或CPU执行处理所需的各种数据。存储在存储器中的程序由CPU在诸如成像设备960启动的预定定时读出并执行。CPU控制每个单元以使得成像设备960通过执行程序来执行与用户的操作相应的操作。
在如上配置的成像设备中，根据本应用的解码装置（解码方法）的功能设置在图像数据处理单元964中。相应地，当通过对记录在存储单元967、记录介质等中的编码数据进行解码来生成解码后的图像数据时，可以根据与现有模式具有兼容性的模式来对多视点图像进行解码。
另外，本技术的实施例不限于上述实施例，并且可以在不背离本技术的构思的范围内进行各种改变。
附图标记
50  编码装置
52  图像转换单元
53  视差图像生成单元
55  兼容性信息生成单元
56  视点间距离信息生成单元
59  复用单元
61  兼容编码器
62  辅助编码器
120 解码装置
121 分离单元
127 图像生成单元
131 兼容解码器
132 辅助解码器
140 编码装置
142 图像转换单元
143 视差图像生成单元
144 视点间距离信息生成单元
151 兼容编码器
152 辅助编码器
170 解码装置
171 图像生成单元
180 编码装置
181 图像转换单元
191 兼容编码器
200 解码装置
202 图像生成单元
211 兼容解码器

Claims (26)

1.一种编码装置，包括：
兼容图像编码单元，通过在多视点图像之中指定兼容图像并对所指定的兼容图像进行编码来生成第一编码流；
图像转换单元，对在从所述兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换；
辅助图像编码单元，通过对所述图像转换单元转换的所述辅助图像进行编码来生成第二编码流；
设置单元，设置指定所述兼容图像的兼容图像指定信息；以及
传送单元，传送所述兼容图像编码单元生成的所述第一编码流、所述辅助图像编码单元生成的所述第二编码流以及所述设置单元设置的所述兼容图像指定信息。
2.根据权利要求1所述的编码装置，还包括：视差图像编码单元，通过对作为所述兼容图像的视差图像的兼容视差图像进行编码来生成第一视差编码流，并且通过对作为所述辅助图像的视差图像的辅助视差图像进行编码来生成第二视差编码流，
其中，所述传送单元传送所述视差图像编码单元生成的所述第一视差编码流和所述第二视差编码流。
3.根据权利要求2所述的编码装置，
其中，所述图像转换单元转换所述辅助视差图像的分辨率，以及
所述视差图像编码单元对分辨率经所述图像转换单元转换的所述辅助视差图像进行编码。
4.根据权利要求3所述的编码装置，还包括：复用单元，对分辨率经所述图像转换单元转换的所述辅助视差图像进行复用，
其中，所述设置单元设置表示所述辅助视差图像的复用模式的复用模式信息，
所述视差图像编码单元对经所述复用单元复用后的所述辅助视差图像进行编码，以及
所述传送单元传送所述设置单元设置的所述复用模式信息。
5.根据权利要求3所述的编码装置，
其中，所述设置单元设置表示所述辅助视差图像的分辨率的转换模式的转换模式信息，以及
所述传送单元传送所述设置单元设置的所述转换模式信息。
6.根据权利要求3所述的编码装置，还包括：复用单元，在时间方向上对所述兼容视差图像进行复用，
其中，所述设置单元设置表示所述兼容视差图像的复用模式的复用模式信息，
所述视差图像编码单元对经所述复用单元在所述时间方向上复用后的所述兼容视差图像进行编码，以及
所述传送单元传送所述设置单元设置的所述复用模式信息。
7.根据权利要求6所述的编码装置，
其中，所述复用单元在空间方向上对所述辅助视差图像进行复用，
所述设置单元设置所述兼容视差图像和所述辅助视差图像的所述复用模式信息，
所述视差图像编码单元对经所述复用单元在所述时间方向上复用后的所述兼容视差图像和在所述空间方向上复用后的所述辅助视差图像进行编码，以及
所述传送单元传送所述设置单元设置的所述复用模式信息。
8.根据权利要求2所述的编码装置，其中，所述兼容视差图像是为所述兼容图像共有的视差图像。
9.根据权利要求2所述的编码装置，还包括：复用单元，在时间方向上对所述辅助图像和所述兼容视差图像进行复用，
其中，所述设置单元设置表示所述复用单元的复用模式的复用模式信息，
所述辅助图像编码单元对经所述复用单元复用后的所述辅助图像进行编码，
所述视差图像编码单元对经所述复用单元复用后的所述兼容视差图像进行编码，以及
所述传送单元传送所述设置单元设置的所述复用模式信息。
10.根据权利要求1所述的编码装置，其中，所述设置单元设置表示所述兼容图像和所述辅助图像的视点之间的距离的距离信息，以及
所述传送单元传送所述设置单元设置的所述距离信息。
11.根据权利要求1所述的编码装置，
其中，所述图像转换单元对分辨率经转换的所述辅助图像进行复用，
所述设置单元设置表示所述辅助图像的复用模式的辅助图像复用模式信息，
所述辅助图像编码单元对经所述图像转换单元复用后的所述辅助图像进行编码，以及
所述传送单元传送所述设置单元设置的所述辅助图像复用模式信息。
12.根据权利要求11所述的编码装置，
其中，所述设置单元设置表示所述辅助图像的分辨率的转换模式的辅助图像分辨率转换模式信息，以及
所述传送单元传送所述设置单元设置的所述辅助图像分辨率转换模式信息。
13.一种由编码装置执行的编码方法，所述编码方法包括：
兼容图像编码步骤，通过在多视点图像之中指定兼容图像并对所指定的兼容图像进行编码来生成第一编码流；
图像转换步骤，转换在从所述兼容图像生成多视点图像时所使用的辅助图像的分辨率；
辅助图像编码步骤，通过对在所述图像转换步骤的处理中转换的所述辅助图像进行编码来生成第二编码流；
设置步骤，设置指定所述兼容图像的兼容图像指定信息；以及
传送步骤，传送在所述兼容图像编码步骤的处理中生成的所述第一编码流、在所述辅助图像编码步骤的处理中生成的所述第二编码流以及在所述设置步骤的处理中设置的所述兼容图像指定信息。
14.一种解码装置，包括：
接收单元，接收作为对在多视点图像之中指定的兼容图像进行编码的结果而获取的第一编码流、作为对在从所述兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换并对所述辅助图像进行编码的结果而获取的第二编码流以及指定所述兼容图像的兼容图像指定信息；
兼容图像解码单元，基于所述兼容图像指定信息识别所述第一编码流并对所述第一编码流进行解码；
辅助图像解码单元，对所述第二编码流进行解码；以及
图像转换单元，对作为所述辅助图像解码单元进行解码的结果而获取的、分辨率经转换的所述辅助图像的分辨率进行转换。
15.根据权利要求14所述的解码装置，还包括：视差图像解码单元，对作为对兼容视差图像进行编码的结果而获取的第一视差编码流和作为对辅助视差图像进行编码的结果而获取的第二视差编码流进行解码，所述兼容视差图像是所述兼容图像的视差图像，并且所述辅助视差图像是所述辅助图像的视差图像，
其中，所述接收单元接收所述第一视差编码流和所述第二视差编码流。
16.根据权利要求15所述的解码装置，
其中，所述第二视差编码流是作为对分辨率经转换的所述辅助视差图像进行编码的结果而获取的，以及
所述图像转换单元对作为所述视差图像解码单元进行解码的结果而获取的、分辨率经转换的所述辅助视差图像的分辨率进行转换。
17.根据权利要求16所述的解码装置，还包括：分离单元，分离复用后的所述辅助视差图像，
其中，所述第二视差编码流是作为对分辨率经转换且被复用的所述辅助视差图像进行编码的结果而获取的，
所述接收单元接收表示所述辅助视差图像的复用模式的复用模式信息，
所述分离单元基于所述接收单元接收到的所述复用模式信息，对作为所述视差图像解码单元进行解码的结果而获取的、分辨率经转换且被复用的所述辅助视差图像进行分离，以及
所述图像转换单元将作为所述分离单元进行分离的结果而获取的、分辨率经转换的所述辅助视差图像的分辨率进行转换。
18.根据权利要求16所述的解码装置，
其中，所述接收单元接收表示所述辅助视差图像的分辨率的转换模式的转换模式信息，以及
所述图像转换单元基于所述接收单元接收到的所述转换模式信息，对分辨率经转换的所述辅助视差图像的分辨率进行转换。
19.根据权利要求16所述的解码装置，还包括：分离单元，分离在时间方向上复用的所述兼容视差图像，
其中，所述第一视差编码流是作为对在所述时间方向上复用的所述兼容视差图像进行编码的结果而获取的，
所述接收单元接收表示所述兼容视差图像的复用模式的复用模式信息，以及
所述分离单元基于所述接收单元接收到的所述复用模式信息，对作为所述视差图像解码单元进行解码的结果而获取的、在所述时间方向上复用的所述兼容视差图像进行分离。
20.根据权利要求19所述的解码装置，
其中，所述第二视差编码流是作为对分辨率经转换的、在空间方向上复用的所述辅助视差图像进行编码的结果而获取的，
所述接收单元接收所述兼容视差图像和所述辅助视差图像的复用模式信息，
所述分离单元对在所述时间方向上复用的所述兼容视差图像进行分离，并且对分辨率经转换的、在所述空间方向上复用的所述辅助视差图像进行分离，其中所述兼容视差图像是作为所述视差图像解码单元基于所述接收单元接收到的所述兼容视差图像的复用模式信息进行解码的结果而获取的，所述辅助视差图像是作为所述视差图像解码单元基于所述接收单元接收到的所述辅助视差图像的复用模式信息进行解码的结果而获取的，以及
所述图像转换单元将所述分离单元分离的、分辨率经转换的所述辅助视差图像的分辨率进行转换。
21.根据权利要求15所述的解码装置，其中，所述兼容视差图像是为所述兼容图像共有的视差图像。
22.根据权利要求15所述的解码装置，还包括：分离单元，分离在时间方向上复用的所述辅助图像和所述兼容视差图像，
其中，所述第二编码流是作为对在所述时间方向上复用的、分辨率经转换的所述辅助图像进行编码的结果而获取的，
所述第一视差编码流是作为对在所述时间方向上复用的所述兼容视差图像进行编码的结果而获取的，
所述接收单元接收表示所述辅助图像和所述兼容视差图像的复用模式的复用模式信息，
所述分离单元基于所述复用模式信息对分辨率经转换的、在所述时间方向上复用的且作为所述辅助图像解码单元进行解码的结果而获取的所述辅助图像进行分离，并且对在所述时间方向上复用的且作为所述视差图像解码单元进行解码的结果而获取的所述兼容视差图像进行分离，以及
所述图像转换单元对分辨率经转换的、由所述分离单元分离的所述辅助图像的分辨率进行转换。
23.根据权利要求14所述的解码装置，还包括：生成单元，使用作为所述兼容图像解码单元进行解码的结果而获取的所述兼容图像和分辨率经所述图像转换单元转换的所述辅助图像来生成所述多视点图像，
其中，所述接收单元接收表示所述兼容图像和所述辅助图像的视点之间的距离的距离信息，以及
所述生成单元通过使用所述兼容图像、所述辅助图像以及所述接收单元接收到的所述距离信息来生成所述多视点图像。
24.根据权利要求14所述的解码装置，还包括：分离单元，对复用后的辅助图像进行分离，
其中，所述第二编码流是作为对分辨率经转换的所述复用后的辅助图像进行编码的结果而获取的，
所述接收单元接收表示所述辅助图像的复用模式的辅助图像复用模式信息，
所述分离单元对分辨率经转换的、作为所述辅助图像解码单元基于所述接收单元接收到的所述辅助图像复用模式信息进行解码的结果而获取的所述复用后的辅助图像进行分离，以及
所述图像转换单元对分辨率经转换的、由所述分离单元分离的所述辅助图像的分辨率进行转换。
25.根据权利要求24所述的解码装置，
其中，所述接收单元接收表示所述辅助图像的分辨率的转换模式的辅助图像分辨率转换模式信息，以及
所述图像转换单元基于所述接收单元接收到的所述辅助图像分辨率转换模式信息来对分辨率经转换的所述辅助图像的分辨率进行转换。
26.一种由解码装置执行的解码方法，所述解码方法包括：
接收步骤，接收作为对从多视点图像中指定的兼容图像进行编码的结果而获取的第一编码流、作为对在从所述兼容图像生成多视点图像时所使用的辅助图像的分辨率进行转换并对所述辅助图像进行编码的结果而获取的第二编码流以及指定所述兼容图像的兼容图像指定信息；
兼容图像解码步骤，基于所述兼容图像指定信息识别所述第一编码流，并对所述第一编码流进行解码；
辅助图像解码步骤，对所述第二编码流进行解码；以及
图像转换步骤，对作为在所述辅助图像解码步骤的处理中进行解码的结果而获取的、分辨率经转换的所述辅助图像的分辨率进行转换。
CN2011800407455A 2010-09-03 2011-08-31 编码装置、编码方法、解码装置和解码方法 Pending CN103081479A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2010198350 2010-09-03
JP2010-198350 2010-09-03
JP2010-228276 2010-10-08
JP2010228276 2010-10-08
JP2011-131676 2011-06-13
JP2011131676 2011-06-13
PCT/JP2011/069840 WO2012029883A1 (ja) 2010-09-03 2011-08-31 符号化装置および符号化方法、並びに復号装置および復号方法

Publications (1)

Publication Number Publication Date
CN103081479A true CN103081479A (zh) 2013-05-01

Family

ID=45772960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800407455A Pending CN103081479A (zh) 2010-09-03 2011-08-31 编码装置、编码方法、解码装置和解码方法

Country Status (11)

Country Link
US (1) US9762884B2 (zh)
EP (1) EP2613537A4 (zh)
JP (1) JPWO2012029883A1 (zh)
KR (1) KR20130108263A (zh)
CN (1) CN103081479A (zh)
AU (1) AU2011296953A1 (zh)
BR (1) BR112013004454A2 (zh)
CA (1) CA2806846A1 (zh)
MX (1) MX2013002136A (zh)
RU (1) RU2013108077A (zh)
WO (1) WO2012029883A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075253A (zh) * 2014-02-21 2015-11-18 Lg电子株式会社 用于处理3维广播信号的方法和设备
CN106105236A (zh) * 2014-02-21 2016-11-09 Lg 电子株式会社 广播信号发射设备和广播信号接收设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
EP2833634A4 (en) * 2012-03-30 2015-11-04 Sony Corp IMAGE PROCESSING DEVICE AND METHOD, AND RECORDING MEDIUM
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
US20150373354A1 (en) * 2013-01-07 2015-12-24 Samsung Electronics Co., Ltd. Method and device for encoding/decoding image so that image is compatible with multiple codecs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
EP2059053A2 (en) * 2007-10-19 2009-05-13 Gwangju Institute of Science and Technology Method and device for generating depth image using reference image, method for encoding/decoding depth image, and encoder or decoder for the same
CN101669370A (zh) * 2007-04-25 2010-03-10 汤姆逊许可证公司 具有下采样参考图片的视角间预测
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0870473A (ja) * 1994-08-29 1996-03-12 Nippon Telegr & Teleph Corp <Ntt> 距離情報を用いた立体画像の通信方式
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
KR100977193B1 (ko) * 2002-04-25 2010-08-20 샤프 가부시키가이샤 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100827242B1 (ko) * 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치
CN101491079A (zh) * 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101362941B1 (ko) 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
EP2135454A4 (en) * 2007-03-02 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
EP2130374A4 (en) * 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
KR20100014553A (ko) * 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
CN104702960B (zh) * 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display
US9025933B2 (en) 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
HUE026534T2 (en) * 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
KR20130108260A (ko) * 2010-09-03 2013-10-02 소니 주식회사 화상 처리 장치 및 방법
MX2013002135A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
EP2613531A4 (en) * 2010-09-03 2014-08-06 Sony Corp DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
RU2013137458A (ru) * 2011-02-18 2015-02-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
CN103354997A (zh) * 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
CN101669370A (zh) * 2007-04-25 2010-03-10 汤姆逊许可证公司 具有下采样参考图片的视角间预测
EP2059053A2 (en) * 2007-10-19 2009-05-13 Gwangju Institute of Science and Technology Method and device for generating depth image using reference image, method for encoding/decoding depth image, and encoder or decoder for the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075253A (zh) * 2014-02-21 2015-11-18 Lg电子株式会社 用于处理3维广播信号的方法和设备
CN106105236A (zh) * 2014-02-21 2016-11-09 Lg 电子株式会社 广播信号发射设备和广播信号接收设备

Also Published As

Publication number Publication date
WO2012029883A1 (ja) 2012-03-08
JPWO2012029883A1 (ja) 2013-10-31
US20130142247A1 (en) 2013-06-06
MX2013002136A (es) 2013-04-03
US9762884B2 (en) 2017-09-12
BR112013004454A2 (pt) 2016-06-07
RU2013108077A (ru) 2014-08-27
KR20130108263A (ko) 2013-10-02
AU2011296953A2 (en) 2013-04-04
AU2011296953A1 (en) 2013-03-14
CA2806846A1 (en) 2012-03-08
EP2613537A1 (en) 2013-07-10
EP2613537A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
CN103069816A (zh) 编码装置、编码方法、解码装置和解码方法
CN103081479A (zh) 编码装置、编码方法、解码装置和解码方法
US9615079B2 (en) Image processing apparatus and image processing method
CN103098465B (zh) 编码装置和编码方法以及解码装置和解码方法
CN103081480A (zh) 图像处理装置和方法
CN103202019A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN103354997A (zh) 图像处理设备和图像处理方法
JP2012186781A (ja) 画像処理装置および画像処理方法
CN103348685A (zh) 图像处理装置和图像处理方法
JP2016195456A (ja) 復号装置、復号方法、プログラム、および記録媒体
TW201524200A (zh) 解碼裝置及解碼方法、以及編碼裝置及編碼方法
US20140078255A1 (en) Reproduction device, reproduction method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130501