CN102754444A

CN102754444A - 图像处理装置、信息记录介质、图像处理方法和程序

Info

Publication number: CN102754444A
Application number: CN2010800633165A
Authority: CN
Inventors: 胜股充; 平林光浩
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-01-08
Filing date: 2010-11-11
Publication date: 2012-10-24
Also published as: RU2012127413A; US20120288208A1; WO2011083625A1; JP2011142585A; EP2523460A1; BR112012016307A2

Abstract

公开便于查询MP4文件的管理信息并验证包括但不限于三维图像数据是否包括在MP4文件中的三维图像信息的配置。该配置以MP4文件的管理信息的形式在简档盒子或AV编解码盒子中记录三维图像识别信息，包括但不限于关于三维图像数据是否包括在MP4文件中的三维图像识别信息或便于诸如三维图像的记录方法的判定（assessment）的三维图像细节信息。因此，通过查询记录在MP4文件的管理信息内的三维图像管理信息，试图获得并播放MP4文件的装置将能够验证三维图像是否包括在存储于MP4文件中的图像数据中以及由此而包括的任何这样的三维图像的格式，将能够确定是否可以播放图像数据，并且将能够流畅地执行适合于各种三维图像格式的解码和播放处理。

Description

图像处理装置、信息记录介质、图像处理方法和程序

技术领域

本发明涉及图像处理装置、信息记录介质、图像处理方法和程序。更具体地说，本发明涉及进行关于三维图像（3D图像）显示的图像记录和再现的图像处理装置、信息记录介质、图像处理方法和程序。

背景技术

为了产生能够有立体感地观察的所谓三维图像（也称为3D图像或立体图像）的图像，需要从不同视点拍摄的图像，即，左眼图像和右眼图像。可以使用从不同视点拍摄的这些图像来显示三维图像。

在三维图像（3D图像）显示方法方面存在各种方法。例如，存在对应于在其中使用偏振片（polarizing filter）、滤色镜等分开由左眼和右眼观察的图像的被动式眼镜方法的显示方法，对应于在其中对左眼和右眼随时间交替地分开由正在左和右交替地开关的液晶快门观察的图像的主动式眼镜方法的显示方法，等等。在任何一种显示方法中，都使用左眼图像和右眼图像。

在关于介质的记录处理期间或在数据传输期间，根据各种编码（压缩）格式编码由相机拍摄的诸如静止图像和运动图像之类的不限于三维图像（3D图像）的图像数据。即，以减少了的数据量进行记录或传输。

在编码格式方面，例如，存在各种标准，诸如规定静止图像编码格式的JPEG和以大体上的运动图像作为目标的编码格式的MPEG。例如，在专利文献1（日本未审专利申请公开No.2004-334833）的图10中，描述了用于记录三维静止图像的处理的格式示例。

迄今为止，诸如HD（High Definition，高清晰度）图像之类的高精度图像的使用正在蓬勃发展，并且使用具有高压缩率的编码方法。作为编码数据的贮存文件格式的一种方法，存在MP4文件格式（ISO/IEC 14496-14）（以下称为MP4）。

MP4是MPEG（Moving Picture Experts Group，运动图像专家组）4格式中的压缩运动图像数据的贮存文件格式。MP4是在ISO/IEC14496中规定的标准。MP4是这样一种格式：在其中能够存储各种格式诸如MPEG-2和MPEG-1的运动图像、诸如AAC和MP3的音频和诸如JPEG和PNG的静止图像，而不仅能够存储MPEG-4格式的运动图像。

按这种方式，能够在MP4文件中存储各种格式的编码数据，并且在MP4中设置在其中关于存储在MP4文件中的编码数据的格式和类型记录管理信息的区域。在进行编码数据的解码处理的情况下，执行MP4文件中的管理信息的确认处理。

然而，在当前MP4格式的管理信息规范中，存在这样的问题：没有规定用于区分存储于MP4文件的图像是三维（3D）图像还是二维（2D）图像的信息的存储区域。

试图从记录介质读出并再现MP4文件的装置或经由通信手段接收MP4文件并试图进行再现的装置不能从MP4文件的管理信息识别贮存图像是三维（3D）图像还是二维（2D）图像。因此，除非图像被实际获得并分析或再现，否则不可能掌握它是三维图像数据还是二维图像数据。结果，例如，出现这样的问题：三维图像数据错误地显示在不具有三维图像显示功能的显示装置中。

此外，如上所述，在三维图像显示方法方面存在各种方法，很多再现装置和显示装置具有可以进行与方法的仅仅一部分对应的图像再现或显示的配置。因此，仅仅利用根据当前MP4格式的管理信息，可能不能确认其是否为能够在该装置本身上再现或显示的三维图像。

即，存在这样的问题：仅仅利用根据当前MP4文件的管理信息，而不通过获得图像数据或实际执行再现或显示处理来确认数据配置，可能不能确认其是否为能够由该装置本身处理的数据。

引用列表

专利文献

PTL1：日本未审专利申请公开No.2004-334833

发明内容

技术问题

本发明例如考虑了上述问题，并且三维图像数据包括在存储于MP4文件中的图像数据中或者诸如三维图像方法之类的三维图像管理信息根据MP4格式记录在文件的管理信息中。由于这种配置，目的是提供图像处理装置、信息记录介质、图像处理方法和程序，在其中由于可以在从MP4文件中获得实际数据之前掌握贮存数据是三维图像还是二维图像，并且还可以在再现装置或显示装置中确认三维图像方法等，能够通过防止错误再现处理或显示处理而执行正确再现处理。

问题的解决方案

本发明的第一个方面提供一种图像处理装置，其具有：编码部分，其执行图像数据编码处理；以及文件生成部分，其生成包括编码部分生成的编码数据和该编码数据的管理信息的编码数据贮存文件，其中该文件生成部分进行在其中在管理信息中记录指示三维图像数据是否包括在存储于文件的图像数据中的三维图像识别信息的文件的生成处理。

而且，在本发明的图像处理装置的实施例中，该文件生成部分生成在其中在管理信息中记录三维图像识别信息的文件，以便可以识别（a）至（c）之一，其中：

（a）存储于文件中的图像数据仅仅是三维图像数据，

（b）存储于文件中的图像数据仅仅是二维图像数据，以及

（c）存储于文件中的图像数据是三维图像数据与二维图像数据的混合数据。

而且，在本发明的图像处理装置的实施例中，该文件生成部分具有在其中执行MP4文件的生成的配置，并且生成在MP4文件的简档盒子（profile box）中记录该三维图像识别信息的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成部分在三维图像数据包括在文件贮存图像数据中的情况下，生成在管理信息中包括能够识别三维图像方法的三维图像细节信息的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成部分记录作为三维图像细节信息来识别文件贮存图像数据是根据方法（a）至（c）中的哪一种的三维图像数据的信息，其中：

（a）帧顺序（frame sequential）方法，

（b）并排（side by side）方法，以及

（c）上下（top and bottom）方法。

而且，在本发明的图像处理装置的实施例中，该文件生成部分具有执行MP4文件的生成的配置，并且生成在MP4文件的AV编解码盒子中记录三维图像细节信息的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成部分生成设置在MP4文件的AV编解码盒子的下层中记录三维图像细节信息的方案信息盒子的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成部分生成被记录以便存在第一方案信息盒子和第二方案信息盒子的分级的文件，在第一方案信息盒子中在MP4文件的AV编解码盒子的下层中记录三维图像细节信息，而在第二方案信息盒子中记录对应于存储于MP4文件的图像数据并且不同于该三维图像细节信息的数据配置信息。

而且，在本发明的图像处理装置的实施例中，该文件生成部分执行在其中以作为存储于MP4文件的图像数据的扇区数据的轨道单位或样本单位的扇区数据单位记录三维图像细节信息的处理。

而且，本发明的第二方面提供一种图像处理装置，其具有：文件分析部分，其分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；解码部分，其执行图像数据解码处理；以及控制部分，其执行数据处理控制，其中该文件分析部分获得记录在管理信息中的三维图像管理信息，而该控制部分通过使用该三维图像管理信息确定在设备自身中再现的可能性并且进行在其中在确定了再现是否可行之后开始在解码部分中的图像数据的解码处理的控制。

而且，在本发明的图像处理装置的实施例中，该编码数据贮存文件是MP4文件，并且该文件分析部分获得记录在MP4文件的简档盒子中的三维图像管理信息并识别（a）至（c）之一，其中：

（a）存储于文件中的图像数据仅仅是三维图像数据，

（b）存储于文件中的图像数据仅仅是二维图像数据，以及

而且，在本发明的图像处理装置的实施例中，该编码数据贮存文件是MP4文件，并且该文件分析部分获得记录在MP4文件的AV编解码盒子中的三维图像管理信息并进行关于包括在文件贮存图像数据中的三维数据的记录方法识别处理。

而且，在本发明的图像处理装置的实施例中，该文件分析部分获得记录在MP4文件的AV编解码盒子中的三维图像管理信息并识别包括在文件贮存图像数据中的三维图像数据的方法。

而且，在本发明的图像处理装置的实施例中，该文件分析部分获得记录在MP4文件的AV编解码盒子中的三维图像管理信息并识别包括在文件贮存图像数据中的三维图像数据是根据方法（a）至（c）中的哪一种的三维图像数据，其中：

（a）帧顺序方法，

（b）并排方法，以及

（c）上下方法。

而且，本发明的第三方面提供一种信息记录介质，在其中记录包括图像数据的编码数据和该编码数据的管理信息的MP4文件，其中该管理信息包括指示三维图像数据是否包括在图像数据中的三维图像管理信息，并且通过在读出和再现MP4文件的装置中参考该三维图像管理信息，可确定在设备自身中再现的可能性。

而且，本发明的第四方面提供一种在图像处理装置中执行的图像处理方法，其中包括：编码处理步骤，由编码部分执行图像数据编码处理；以及文件生成步骤，由文件生成部分生成包括由编码部分生成的编码数据和该编码数据的管理信息的编码数据贮存文件，并且该文件生成步骤进行生成在其中在管理信息中记录指示三维图像数据是否包括在存储于文件的图像数据中的三维图像识别信息的文件的处理。

而且，本发明的第五方面提供一种在图像处理装置中执行的图像处理方法，其中包括：文件分析步骤，用文件分析部分分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件并获得记录在管理信息中的三维图像管理信息；以及控制步骤，使用控制部分通过应用该三维图像管理信息来确定在设备自身中再现的可能性并在确定再现可行之后控制在解码部分中图像数据的解码处理的开始。

而且，本发明的第六方面提供一种在图像处理装置中执行图像处理的程序，其中包括：编码处理步骤，由编码部分执行图像数据编码处理；以及文件生成步骤，由文件生成部分生成包括由编码部分生成的编码数据和该编码数据的管理信息的编码数据贮存文件，并且该文件生成步骤进行生成在其中在管理信息中记录示出三维图像数据是否包括在存储于文件的图像数据中的三维图像识别信息的文件的处理。

而且，本发明的第七方面提供一种在图像处理装置中执行图像处理的程序，其中包括：文件分析步骤，用文件分析部分分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件并获得记录在管理信息中的三维图像管理信息；以及控制步骤，由控制部分通过应用该三维图像管理信息来确定在设备自身中再现的可能性并在确定再现可行之后控制在解码部分中图像数据的解码处理的开始。

这里，例如，本发明的程序是能够使用关于可以执行各种程序代码的信息处理装置或计算机系统的计算机可读格式提供的记录介质和通信介质提供的程序。通过以计算机可读格式提供诸如此类的程序，在信息处理装置和计算机系统中实现根据该程序的处理。

通过基于后面要描述的本发明的实施例和伴随的附图的详细描述使得本发明进一步的其他目的、特征和益处变清楚。这里，本说明书中的系统是多个装置的逻辑集合配置，而不限于配置的每一个装置处于同一外壳内。

本发明的效果

根据本发明的实施例的配置，存在这样的配置：在简档盒子或AV编解码盒子中作为MP4文件的管理信息来记录诸如三维图像识别信息（其涉及三维图像数据是否包括在MP4文件中）或三维图像细节信息（其能够区分三维图像的记录方法等）之类的三维图像管理信息。因此，试图获得并再现MP4文件的装置通过参考记录在MP4文件的管理信息中的三维图像管理信息，能够确认三维图像是否包括在存储于MP4文件中的图像数据中以及其方法，能够确定再现的可能性，并且能够流畅地执行适合于每一种三维图像方法的解码和再现处理。

附图说明

图1是图示MP4文件格式的基本配置的简图。

图2是图示在MP4文件的简档盒子（uuid（PROF））中记录三维图像识别信息的示例的简图。

图3是图示在记录在MP4文件的简档盒子（uuid（PROF））中的三维图像识别信息中设置标记的具体示例的简图。

图4是图示在MP4文件的AV编解码盒子（avc1）中记录三维图像识别信息的示例的简图。

图5是图示根据帧顺序（FS：Frame Sequential）方法的数据恢复处理和再现处理方法的简图。

图6是图示根据并排（SbS：Side By Side）方法的数据恢复处理和再现处理方法的简图。

图7是图示根据上下（T&B：Top & Bottom）方法的数据恢复处理和再现处理方法的简图。

图8是图示将帧配置信息的数据设置为记录在设置在AV编解码盒子中的立体视频信息盒子中的三维图像细节信息的示例的简图。

图9是图示将帧配置信息的数据设置为记录在设置在AV编解码盒子中的立体视频信息盒子中的三维图像细节信息的示例的简图。

图10是图示利用规定为MP4文件的AV编解码盒子的扩展配置的方案信息盒子（sinf）记录三维图像识别信息的示例的简图。

图11是图示利用规定为MP4文件的AV编解码盒子的扩展配置的方案信息盒子（sinf）记录三维图像识别信息的示例的简图。

图12是图示描述由本发明的图像处理装置执行的图像数据的记录处理序列的流程的简图。

图13是图示描述由本发明的图像处理装置执行的图像数据的再现处理序列的流程的简图。

图14是图示本发明的图像处理装置中的配置示例的简图。

具体实施方式

以下将参考附图描述本发明的图像处理装置、信息记录介质、图像处理方法和程序。该描述将以以下条目顺序进行：

1．MP4文件格式的基本配置

2．在MP4文件的管理信息中记录三维图像管理信息的配置

2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的示例（示例1）

2B．（2）在AV编解码盒子（avc1）中记录三维图像细节信息的示例（示例2）

2C．（3）利用规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录三维图像细节识别信息的示例（示例3）

3．由信息处理装置执行的图像处理序列

4．本发明的信息处理装置的配置示例

[1.MP4文件格式的基本配置]

首先，将参考图1描述当前MP4文件格式的基本配置。如上所述，MP4是MPEG（Moving Picture Experts Group，运动图像专家组）4格式的编码数据的贮存文件格式并且在ISO/IEC14496中规定。MP4具有这样一种功能：在其中能够存储各种格式的图像和音频数据并且不仅仅是MPEG-4格式的运动图像，而且还有诸如MPEG-2和MPEG-1运动图像、诸如AAC和MP3的音频以及诸如JPEG和PNG的静止图像。

在ISO/IEC14496中规定的MP4文件格式具有面向对象的数据结构。每个对象称为一个盒子（box）。图1是图示在其中存储了一般由图像和音频数据形成的AV（音频视频）数据的MP4文件100的配置示例的简图。如图1所示，该MP4文件100具有以下每一个盒子。存在以下盒子：

（1）文件类型盒子（ftyp）101，

（2）简档（profile）盒子（uuid（PROF））102，

（3）电影盒子（moov）103，以及

（4）实际数据盒子（mdat）104。

（1）文件类型盒子（ftyp）101包括文件类型的记录信息。

（2）简档盒子（uuid（PROF））102例如记录诸如帧速率之类的文件信息。

（3）电影盒子（moov）103记录贮存数据的管理信息（元数据）。

（4）实际数据盒子（mdat）104记录诸如已经编码（压缩）了的图像和音频数据之类的实际数据。

作为实际再现目标的图像数据和音频数据存储于（4）实际数据盒子（mdat）104中。（1）至（3）（即，文件类型盒子（ftyp）101、（2）简档盒子（uuid（PROF））102和（3）电影盒子（moov）103）的各个信息段盒子存储诸如实际数据的搜索信息和分类信息之类的管理信息。这里，在分类信息中包括应用到存储于实际数据盒子（mdat）104的实际数据的解码处理（扩展处理）等的信息。此外，在实际数据被编码的情况下，还包括应用于其解码处理等的信息。

这里，在电影盒子（moov）103中，以作为存储于实际数据盒子（mdat）104的实际数据的数据扇区（section）的轨道单位记录管理数据（元数据）。

例如，该轨道是对应于图像数据的视频轨道、对应于音频数据的音频轨道等。这里，也可以设置对应于日语的第一音频轨道，对应于英语的第二音频轨道，等等。此外，也可以设置被分段的诸如对应于不同图像的第一视频轨道和第二视频轨道之类的轨道。

这里，在图1中所示的电影盒子（moov）103中，示出了在其中存储对应于一个轨道（视频轨道）的元数据的仅仅一个轨道盒子111，但其示出了轨道盒子的典型示例。实际上，根据轨道数量在电影盒子（moov）103中存储具有与图1所示的轨道盒子111的格式相同的格式的盒子。

在轨道盒子111中记录对应于设置为实际数据的扇区区域的以轨道为单元的数据的元数据。

在轨道盒子111中存储样本描述盒子（stsd）112以及在其下层中的AV编解码盒子（avc1）113。

轨道被进一步分段的区域是样本，并且一个轨道设置有一个或多个样本。

即，使用一个或多个轨道构成实际数据，并且进一步使用一个或多个样本构成一个轨道。

在图1中，在轨道盒子111中示出了一个样本描述盒子（stsd）112。在轨道盒子中需要存在一个样本描述盒子（stsd）。

样本描述盒子（stsd）112的下层盒子是AV编解码盒子（avc1）113，并且对应于样本的实际数据的编解码细节信息（即，作为实际数据的组成部分的样本的解码和再现处理所需要的细节信息（编解码信息））记录在AV编解码盒子（avc1）113中。这里，不仅可以在AV编解码盒子（avc1）113中记录涉及MP4的解码处理的信息，而且可以记录例如涉及编码格式的信息。

从诸如DVD之类的介质读出并再现MP4文件的装置或者经由通信手段接收MP4文件并进行再现的装置，读取具有如图1中所示的配置的MP4文件的管理信息，即，存储于文件类型盒子（ftyp）101、简档盒子（uuid（PROF））和电影盒子（moov）103中的至少任何一个中的管理信息，并且确认存储于实际数据盒子（mdat）104的实际数据的细节。通过使用管理信息确认处理以轨道或样本为单元获得的详细编解码信息来根据该信息执行解码处理。可以使用诸如此类的处理进行MP4数据的解码和再现处理。

然而，如上所述，在当前MP4文件格式的管理信息中未规定存储区分存储于MP4文件的图像是三维（3D）图像还是二维（2D）图像的信息的区域。

因此，试图从记录介质读出并再现MP4文件的装置或者经由通信手段接收MP4文件并试图进行再现的装置不能掌握MP4文件的贮存数据是三维图像数据还是二维图像数据，除非实际获得并分析或再现该图像。结果，例如，出现这样的现象：在其中三维图像数据错误地显示在不具有三维图像显示功能的显示装置中。此外，如上所述，仅仅利用管理信息可能不能确认其是否为能够由该装置本身再现或显示的三维图像。

在按这种方式使用当前MP4格式的情况下，存在这样的问题：在存储于MP4文件的图像是三维图像的情况下，可能不能确认出其是否为能够由该装置本身处理的数据，除非由从实际数据盒子（mdat）104实际获得的图像数据构成数据配置，或者实际地执行再现或显示处理。

[2．在MP4文件的管理信息中记录三维图像管理信息的配置]

以下作为解决上述问题的配置来描述在MP4文件的管理信息中记录关于三维图像的管理信息的多个示例。

以下顺序描述三个示例：

（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的示例（示例1），

（2）在AV编解码盒子（avc1）中记录三维图像细节信息的示例（示例2），和

（3）在规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）中记录三维图像细节识别信息的示例（示例3）。

这里，每个示例都能够甚至作为独立配置来执行，但也能够是通过组合来使用的多个示例的配置。

[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的示例（示例1）]

首先，将参考图2描述在简档盒子（uuid（PROF））中记录三维图像识别信息的示例。

图2是图示包括于在该示例中提出的简档盒子（uuid（PROF））中的视频管理标记（video_attribute_flag）的高16位（0001h至0010h）的配置的简图。这里，（h）具有作为十六进制数的指示符的含义。

在如图2中所示的视频管理标记（video_attribute_flag）的高16位中，该数据的前一半（0001h至0004h）是已经在现有MP4中规定了的字段，并且例如规定为以下数据区域。

存在应用到MP4的解码的信息

0001h：IDR（Instantaneous Decoder Refresh，即时解码器刷新）帧间隔信息，以及

0002h：关于恢复点SEI消息的存在或缺失的信息。

0004h向前是保留区域。

在本示例中，关于存储于MP4文件的实际数据盒子（mdat）（参考图1）中的图像数据是否包括三维图像的信息存储于该视频管理标记（video_attribute_flag）的高16位（0001h至0010h）的后一半中。

具体说，如图2所示地存储以下三维图像识别信息：

0008h：立体视频标记201，以及

0010h：混合立体视频标记202。

这些标记中的每一个都设置为三维图像识别信息。

将参考图3描述每个标记的值的具体内容。

作为存储于MP4文件的图像数据的格式，如图3所示，存在三种模式。

存在三种模式：

（a）存储于MP4文件的图像数据全是三维图像数据（立体图像），

（b）存储于MP4文件的图像数据全是二维图像数据，以及

（c）存储于MP4文件的图像数据是三维图像数据（立体图像）和二维图像数据的混合数据。

在存储于MP4文件的所有图像数据中包括三维图像的情况下，设置立体视频标记201以便位值等于一，当不包括时位值等于零。

因此，如图3所示，仅仅在（a）的情况下该位值等于一，其中

（a）存储于MP4文件的图像数据全是三维图像数据（立体图像）。

此外，在（b）和（c）的情况下该位值等于零，其中

（b）存储于MP4文件的图像数据全是二维图像数据，以及

（c）存储于MP4文件的图像数据是三维图像（立体图像）和二维图像的混合数据。

另一方面，在存储于MP4文件的图像数据是三维图像和二维图像的混合数据的情况下，设置混合视频标记202以便位值等于一，否则该位值等于零。

因此，如图3中所示，仅仅（c）的情况下该位值等于一，其中

此外，在（a）和（b）的情况下该位值等于零，其中

（a）存储于MP4文件的图像数据全是三维图像数据（立体图像），以及

（b）存储于MP4文件的图像数据全是二维图像数据。

由于标记的设置，以下数据识别成为可能。

（情况1）

在立体视频标记等于一并且混合立体视频标记等于零的情况下，确定

（情况2）

在立体视频标记等于零并且混合立体视频标记等于零的情况下，确定

（b）存储于MP4文件的图像数据全是二维图像数据。

（情况3）

在立体视频标记等于零并且混合立体视频标记等于一的情况下，确定

按这种方式，由于本示例的配置，仅仅通过确认提供在MP4文件的简档盒子（uuid（PROF））的视频管理标记（video_attribute_flag）中的立体视频标记201和混合立体视频标记202的标记的设置，就可以获得存储于MP4文件的图像数据的三维图像信息。具体说，可以确认存储于MP4文件的图像数据是以下哪种类型。可以区分以下每一种类型：

（类型a）仅仅由三维图像构成，

（类型b）仅仅由二维图像构成，以及

（类型c）三维图像和二维图像的混合数据。

这里，关于在图3中所示的位值的设置值是一个示例，可以设置相反的位值，并且可以是位值被设置成使得可以识别上述每一种类型的各种设置。

试图从记录介质读出并再现MP4文件的装置或经由通信手段接收MP4文件并试图进行再现的装置，能够通过在从MP4文件的实际数据盒子（mdat）中实际获得图像之前，确认设置在简档盒子（uuid（PROF））中的立体视频标记201和混合立体视频标记202的标记的设置，来获得存储于MP4文件的图像数据的三维图像信息。因此，例如，可以防止三维图像数据错误地显示在不具有三维图像显示功能的显示装置中的现象。

[2B．（2）在AV编解码盒子（avc1）中记录三维图像细节信息的示例（示例2）]

接下来，将参考图4描述在AV编解码盒子（avc1）中记录三维图像细节信息的示例。

这里，像之前参考图1所述，AV编解码盒子（avc1）是设置在比样本描述盒子（stsd）更低的层级中的盒子，而该样本描述盒子（stsd）进一步处于比在电影盒子（moov）的下层中的轨道盒子111更低的层级中。

如上所述，AV编解码盒子（avc1）是在其中记录作为存储于实际数据盒子（mdat）中的实际数据分段成的数据扇区的样本的编解码信息等的盒子。

这里，在这种情况下包括于轨道的所有样本的编解码信息设置到AV编解码盒子（avc1）。可以设置一个或多个AV编解码盒子（avc1）到样本描述盒子（stsd）的下层。然而，在内容相同的情况下，不需要多个设置。即，不需要样本和AV编解码盒子的数量匹配，并且即使样本数量是多个，也可以设置AV编解码盒子是一个。

在示例2中，三维图像细节信息记录在AV编解码盒子（avc1）中。图4示出了根据本示例的AV编解码盒子（avc1）的数据配置示例。

图4中所示的数据区域301的信息是已经在现有MP4文件格式中规定了的编解码信息贮存区域。以下每个信息盒子设置在数据区域301中。

MP4编码数据解码处理所需要的信息（即，编解码信息）记录在这些盒子中：

AVCConfigurationBox

MPEG4 Bit Rate Box

MPEG4ExtentionDescriptorBox

所述编解码信息共同用于二维图像和三维图像。

在本示例中，除了这些现有的编解码信息盒子之外，还如图4所示地添加了

立体视频信息盒子（立体视频描述盒子）302。

在立体视频信息盒子302中，记录关于三维图像是否包括在存储于MP4文件的实际数据盒子（mdat）（参考图1）的图像数据中的信息以及在包括三维图像的情况下相关于三维图像数据的细节信息。例如，在细节信息中，包括三维图像的显示方法信息等。

如上所述，在三维图像（3D图像）方面存在各种方法。例如，存在对应于在其中使用偏振片和滤色镜等分开由左眼和右眼每一个观察的图像的被动式眼镜方法的方法、对应于在其中对左眼和右眼随时间交替地分开由正在左和右交替地开关的液晶快门观察的图像的主动式眼镜方法的方法，等等。例如，根据每一种显示方法，存储于MP4文件的记录数据的记录方法也是不同的。

在立体视频信息盒子302中，存储于MP4文件的实际数据盒子（mdat）（参考图1）中的图像数据也包括关于对应于任意一种方法的记录数据的信息。

这里，例如，作为三维图像数据的记录方法，存在

帧顺序方法（Frame Sequential），

并排方法（Side by Side），以及

上下方法（Top & Bottom）。

帧顺序（Frame Sequential）方法是像L，R，L，R，...一样交替记录左眼图像（L图像）和右眼图像（R图像）的帧的方法。

并排方法（Side by Side）是通过将一帧图像分开为左和右部分来记录LR图像的方法。

上下方法（Top & Bottom）是通过将一帧图像分开为上和下部分来记录LR图像的方法。

诸如用于三维图像的再现与显示处理的图像记录方法之类的三维图像细节信息记录在立体视频信息盒子302中。

经由记录介质或通信介质等获得MP4文件并试图进行再现的装置能够通过在从MP4文件的实际数据盒子（mdat）实际获得图像之前，获得在AV编解码盒子（avc1）中设置的立体视频信息盒子302的三维图像信息，来获得应用于三维图像的再现与显示处理的细节信息，诸如关于哪种记录方法和显示方法对应于MP4文件的贮存数据的三维图像数据的数据。

因此，例如，可以防止三维图像数据错误地显示在不具有三维图像显示功能的显示装置中的现象。此外，由于可以确认其是否是可以在装置本身上再现或显示的三维图像，所以可以通过在已经进行了是否为装置本身能够处理的数据的确认之后，取回MP4文件的贮存数据，来开始解码和再现处理，并且可以消除不必要的处理的执行。

作为关于AV编解码盒子（avc1）的三维图像细节信息的记录格式，各种设置都是可能的，但以下将描述一个示例。

在规定先进视频编码的ISO/IEC14496（MPEG4-AVC）中，构成每一个再现图像帧的帧配置信息（Frame Packing Arrangement SEI）已经规定为正常编解码信息。

以下，描述的三维图像细节信息的记录格式的一个示例是使用与现有帧配置信息（Frame Packing Arrangement SEI）实质上相同的格式的示例。

以下将描述作为记录在立体视频信息盒子302中的三维图像细节信息的示例的帧配置信息（Frame Packing Arrangement SEI）的具体数据设置示例。

这里，在以下示例中，将描述对应于不同三维图像的记录方法的以下三维图像记录方法：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]，

即，帧配置信息的设置示例。

在三维图像信息的设置示例的描述之前，首先以下将参考图5至图7描述三维图像的数据恢复处理和再现处理方法。

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

图5是描述根据（a）帧顺序[FS：Frame Sequential]方法的数据恢复处理和再现处理方法的简图。

在图5中，示出了作为MP4的解码结果获得的解码图像帧321和显示图像帧322。

在帧顺序方法中，左眼图像（L图像）和右眼图像（R图像）像LRLRLR…一样交替地记录。因此，从MP4解码结果获得的图像用作用于显示图像帧322的L图像和R图像。

图6是描述根据（b）并排[SbS：Side by Side]方法的数据恢复处理和再现处理方法的简图。

在图6中，示出了以下图像的图像数据：

MP4解码结果图像331，

拆分的L图像（帧0）332，

拆分的R图像（帧1）333，

显示L图像（帧0）334，以及

显示R图像（帧1）335。

在并排[SbS：Side by Side]方法中，如在MP4解码结果图像331中所示，左眼图像（L图像）和右眼图像（R图像）存储于将一个图像帧划分为左和右部分的区域中。

首先，通过执行拆分处理以从该图像生成拆分的L图像（帧0）332和拆分的R图像（帧1）333。而且，通过执行扩展处理（上转换）生成显示L图像（帧0）334和显示R图像（帧1）335。

按这种方式，将帧0和帧1设置为图像帧的一个单元。

图7是描述根据（c）上下[T&B：Top & Bottom]方法的数据恢复处理和再现处理方法的简图。

在图7中，示出了以下图像数据：

MP4解码结果图像341，

拆分的L图像（帧0）342，

拆分的R图像（帧1）343，

显示L图像（帧0）344，以及

显示R图像（帧1）345。

在上下[T&B：Top & Bottom]方法中，如在MP4解码结果图像341中所示，左眼图像（L图像）和右眼图像（R图像）存储于将一个图像帧划分为上和下部分的区域中。

首先，通过执行拆分处理以从该图像生成拆分的L图像（帧0）342和拆分的R图像（帧1）343。而且，通过执行扩展处理（上转换）以生成显示L图像（帧0）344和显示R图像（帧1）345。

同样在上下方法中，将帧0和帧1设置为图像帧的一个单元。

按这种方式，需要在执行三维图像的再现与显示的装置中根据三维图像的方法进行处理。在本示例的配置中，用于识别存储于MP4文件的图像是根据哪种方法的三维图像的细节信息记录在立体视频信息盒子302中，作为帧配置信息（Frame Packing Arrangement SEI）。

将参考图8和图9描述设置作为记录在设置在AV编解码盒子中的立体视频信息盒子302中的三维图像细节信息的帧配置信息的数据的示例。

图8和图9是图示在存储于MP4文件的三维图像对应于以下三种类型的情况下设置数据的示例的简图。

其是对应于以下每一种方法的帧配置信息（Frame Packing ArrangementSEI）的数据的设置示例：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

以下，将作为图8中所示的三维图像细节信息描述帧配置信息的每一个数据。

在帧封装布置取消标记（frame_packing_arrangement_cancel_flag）的标记等于一的情况下，其指示不使用帧配置信息。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，设置为零以指示在帧顺序方法[FS]、并排方法[SbS]或上下方法[T&B]中的任何一种方法中帧配置信息的使用。这里，[0b]中的（b）具有作为二进制的指示符的含义。

在梅花形采样标记（quincux_sampling_flag）的标记等于一的情况下，它指示图像帧的采样点被设置成3×3像素的五个点。

这个标记主要用作在解码处理中指示采样位置的信息。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序方法[FS]、并排方法[SbS]或上下方法[T&B]中的任何一种方法中将该标记设置成零。

内容图示类型（content_interpretation_type）例如取0至2中的每个值作为字段值，并且记录如下内容解释类型：

在不存在帧相关的情况下具有设置值零，

在用于帧0为左眼帧而帧1为右眼帧的三维（立体）图像的帧配置信息的情况下具有设置值一，以及

在用于帧0为右眼帧而帧1为左眼帧的三维（立体）图像的帧配置信息的情况下具有设置值二。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序方法[FS]、并排方法[SbS]或上下方法[T&B]中的任何一种方法中将该标记设置成一。

空翻标记（spatial_fliping_flag）和已空翻标记（frame0_flipped_flag）这些标记存储关于该帧是否在图像帧的配置方向（例如是水平方向或垂直方向）上连续构成的信息。

这些标记的设置用于确定二维图像的上转换（扩展处理）的格式。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，不使用这些标记，并且将这些标记设置成零。

字段察看标记（field_views_flag）记录关于帧交错处理的格式的信息。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，不使用该标记，并且将该标记的值设置成零。

帧封装布置保留字节（frame_packing_arrangement_reserved_byte）、帧封装布置重复字节（frame_packing_arrangement_repetition_period）和帧封装布置扩展字节（frame_packing_arrangement_extension_flag）是保留、重复数据和扩展数据的记录字段。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，不使用这些标记，并且将这些标记的值设置成零。

图9也是图示对应于如下方法的以下三维图像记录类型的每一种方法的帧配置（Frame Packing Arrangement SEI）信息的数据的设置示例的简图：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

在帧配置类型（frame_packing_arrangement_type）字段中设置依赖于三维图像的类型而不同的值。

例如，再现装置能够基于以下字段的设置值

（a）帧顺序方法[FS]=000101b（5），

（b）并排方法[SbS]＝0000011b（3），以及

（c）上下方法[T&B]＝0000100b（4）

来识别存储于轨道中的三维图像是哪种方法的三维图像数据。即，可以识别存储于该轨道中的三维图像是帧顺序方法[FS]、并排方法[SbS]和上下方法[T&B]之中的哪一种方法的三维图像数据。

当前帧是帧0的标记（current_frame_is_frame0_flag）的字段中记录关于作为MP4解码的结果获得的当前帧是否为对应于帧0的帧的信息。

在以L图像、R图像、L图像、R图像的帧的重复记录三维图像的[（a）帧顺序方法[FS]]的情况下，需要以作为解码的结果而获得的帧单元识别其是左眼图像（L图像）还是右眼图像（R图像）。

因此，例如，在（a）帧顺序方法[FS]的情况下，在该字段中设置

右眼图像（R图像）等于零，和

左眼图像（L图像）等于一。

如参考图6和图7所述，在（b）并排方法[SbS]和（c）上下方法[T&B]的其他格式下，由于当左眼图像（L图像=帧0）和右眼图像（R图像=帧1）两者基于作为MP4解码的结果而获得的帧而生成时，不需要关于MP4解码结果的识别处理，因此将这个字段的值设置为0。

在要在设置了帧0和1的帧之间参考相互帧（mutual frame）的情况下，帧0自包含标记（frame0_self_contained_flag）和帧1自包含标记（frame1_self_contained_flag）这些标记的值被设置为1。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序方法[FS]、并排方法[SbS]或上下方法[T&B]中的任何一种方法中都不需要该信息，并且该标记的值设置成零。

存在数据字段：帧0格栅位置X（frame0_grid_position_x）、帧0格栅位置Y（frame0_grid_position_y）、帧1格栅位置X（frame1_grid_position_x）和帧1格栅位置Y（frame1_grid_position_y），用于指示在图像帧配置处理期间参考的像素位置。

在作为记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序方法[FS]中其是N/A（无效值），而在并排方法[SbS]和上下方法[T&B]中将该标记的值设置成零。

例如，如参考图6和图7所述，在并排方法[SbS]和上下方法[T&B]中将所有标记值设置成零。这指示对于帧0和1，基准位置设置在由（X，Y）=（0，0）指定的左上边缘处的坐标位置上。

如参考图8和图9所述，在立体视频信息盒子302中的帧配置（FramePacking Arrangement SEI）信息中设置对应于以下每一种方法的帧配置信息（Frame Packing Arrangement SEI）的设置值：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

执行三维图像的再现与显示的装置能够通过参考立体视频信息盒子302中的三维图像细节信息，识别存储于MP4文件的图像是根据哪种方法的三维图像。

即，例如，如参考图8和图9所述，可以通过参考帧配置信息（FramePacking Arrangement SEI）的设置值来识别存储于MP4文件的图像是根据哪种方法的三维图像，并且可以通过执行对应于贮存图像的方法的解码处理来生成、再现与显示正确的三维图像显示数据。

因此，例如，可以防止三维图像数据错误地显示在不具有三维图像显示功能的显示装置中的现象。

此外，可以事先知道是否根据能够在装置本身中执行的三维图像显示处理记录数据，可以仅仅在确定在装置本身中的处理可行的情况下、通过获得存储于实际数据盒子（mdat）104（参考图1）中的实际数据来开始编码处理等，并且可以防止执行不必要的处理的现象。

这里，在上述示例中，已经描述了根据以下每一种方法记录三维图像细节信息的示例：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]，

但可以存在根据其他方法记录信息的配置。此外，可以存在以其他格式创建三维图像细节信息并将其记录在AV编解码盒子（avc1）中的配置，而不限于如参考图8和图9所述的帧配置信息（Frame PackingArrangement SEI）。

[2C．（3）利用规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录三维图像细节识别信息的示例（示例3）]

接下来，以下将参考图10描述利用规定为MP4文件的AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录三维图像细节信息的示例。

这里，如之前参考图1所述，AV编解码盒子（avc1）是设置在比样本描述盒子（stsd）更低的层级中的盒子，而该样本描述盒子（stsd）进一步处于比在电影盒子（moov）的下层中的轨道盒子111更低的层级中。

如之前所述，AV编解码盒子（avc1）是在其中记录作为存储于实际数据盒子（mdat）中的实际数据分段成的数据扇区的样本的编解码信息等的盒子。

这里，在这种情况下包括于轨道中的所有样本的编解码信息设置到AV编解码盒子（avc1）。可以向样本描述盒子（stsd）的下层设置一个或多个AV编解码盒子（avc1）。然而，在内容相同的情况下，不需要多个设置。即，不需要样本与AV编解码盒子的数量匹配，并且即使样本数量是多个，也可以设置AV编解码盒子是一个。

在示例3中，以与示例2同样的方式，将三维图像细节信息记录在AV编解码盒子（avc1）中。然而，在该示例3中，利用规定为MP4文件的AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）来记录三维图像细节信息。

在规定MP4的文件格式的ISO/IEC14496中，在MP4文件的贮存数据记录为任何类型的转换数据（诸如存储于例如被存储为编码数据的MP4的数据）的情况下，方案信息盒子（sinf）规定为用于记录关于该数据的数据配置信息的区域。例如，在MP4文件的贮存数据被记录为已经编码的转换数据的情况下，方案信息盒子（sinf）规定为用于记录编码格式信息的区域。

这里，在规定MP4文件格式的ISO/IEC14496的当前规范中，规定存储数据配置信息的方案信息盒子（sinf）以便可以被设置到AV编解码盒子（avc1）的下层之一。

例如，在MP4存储数据是编码数据的情况下，可以通过参考设置在AV编解码盒子（avc1）中的方案信息盒子（sinf）来获得该编码数据的解码需要的信息。

在本示例中，使用方案信息盒子。即，关于三维（立体）图像定义了存储数据配置信息的方案信息盒子。

将参考图10描述在方案信息盒子（sinf）中存储关于三维（立体）图像的数据配置信息（即，三维图像细节信息）的示例。

图10示出了以下的数据配置：

（a）MP4文件400，

（b）AV编解码盒子（avc1）401，以及

（c）包括三维图像信息方案信息盒子410的AV编解码盒子405。

例如，在三维图像不包括于该MP4文件400中的情况下，不设置记录三维图像细节信息的方案信息盒子（sinf），并且MP4文件中的AV编解码盒子（avc1）例如是仅仅具有如图10（b）中所示的AV编解码盒子（avc1）401的数据配置，即，存储AVC数据配置信息的AVC数据配置信息盒子[AVCConfigurationBox]402。在AVC数据配置信息盒子[AVCConfigurationBox]402中记录MP4数据恢复处理需要的编解码信息。

在三维图像包括于该MP4文件中的情况下，将如图10（b）中所示的AV编解码盒子（avc1）401设置为包括如在图10（c）中所示的三维图像信息方案信息盒子410的AV编解码盒子405。

这里，与不包括如在图10（b）中所示的三维图像信息方案信息盒子的AV编解码盒子（avc1）401的盒子名称等效的代码（4CC：四字符代码）是[avc1]。

然而，包括如在图10（c）中所示的三维图像信息方案信息盒子410的AV编解码盒子405将与该盒子名称等效的代码（4CC：四字符代码）改变到指示包括涉及立体视频数据的信息的[stev]。即，可以从该盒子名称（4CC）识别包括三维图像信息方案信息盒子410的AV编解码盒子405。这里，盒子名称（4CC）对应于AV编解码盒子405的文件名称，并且再现装置能够从该文件名称识别包括三维图像信息方案信息盒子的AV编解码盒子。

三维图像信息方案信息盒子410具有以下每一个盒子：

格式信息盒子（frma）411，

方案类型盒子（SchemeTypeBox）412，以及

方案细节信息盒子（SchemeInformationBox）413。

在记录了格式信息（即，例如存在根据AVC格式的数据）的情况下，格式信息盒子（frma）411记录诸如

data_format=′avc 1′

之类的格式信息。

在该方案类型盒子（SchemeTypeBox）412中，记录指示方案信息盒子410的类型的信息。在该示例中，由于方案信息盒子410是在其中存储三维图像的细节信息的方案信息盒子，所以在方案类型盒子（SchemeTypeBox）412中记录指示存在存储三维图像细节信息的方案信息盒子的类型信息。

在方案细节信息盒子（SchemeInformationBox）413中，记录关于三维图像的具体细节信息。存储于方案细节信息盒子（SchemeInformationBox）413中的三维图像细节信息包括在与之前在示例2中描述了的帧配置信息（FramePacking Arrangement SEI）相同方式的信息。记录在执行三维图像的再现与显示处理时需要的信息。

具体说，例如，记录对应于以下每一种方法的三维图像细节信息：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

执行三维图像的再现与显示的装置能够通过从设置为AV编解码盒子（avc1）的下层（lower level）信息的三维图像信息方案信息盒子410的方案细节信息盒子（SchemeInformationBox）413中获得三维图像细节信息，来识别存储于MP4文件的图像是根据哪种方法的三维图像。该再现装置能够通过参考三维图像信息方案信息盒子410的方案细节信息盒子（SchemeInformationBox）413的贮存信息，执行对应于贮存图像的方法的解码处理，来生成、再现与显示正确的三维图像显示数据。

接下来，将参考图11描述在存储于MP4文件的实际数据盒子（mdat）中的数据是三维图像数据而且还是编码数据的情况下的方案信息盒子的使用配置。

在图11中示出了以下的数据配置：

（c）包括三维图像信息方案信息盒子410的AV编解码盒子405，以及

（d）具有通过分层三维图像信息方案信息盒子410作为嵌套（nest）而设置的编码信息方案信息盒子420的AV编解码盒子407。

数据（c）是具有与图10（c）的数据相同的配置的AV编解码盒子405。

在存储于MP4文件的实际数据盒子中的数据是三维图像数据而且被编码了的情况下，在再现装置中不仅需要第一数据配置信息（三维图像细节信息）而且还需要第二数据配置信息（编码信息）。

在如图11中所示的示例中，存在将各个数据配置信息段设置为各自方案信息盒子、分层并记录的配置。

在如图11中所示的示例中，通过进行分层（嵌套状态）在AV编解码盒子中存储多个方案信息盒子（sinf）。

即，如在图11（d）中所示的AV编解码盒子（encv）407所示，通过进行分层，即，设置在嵌套状态，在AV编解码盒子中存储以下两个方案信息盒子：

（1）存储关于三维（立体）图像的数据配置信息（三维图像细节信息）的第一方案信息盒子（sinf）410，以及

（2）存储关于编码处理的数据配置信息（编码格式信息）的第二方案信息盒子（sinf）420。

在本实施例中，如在图11（d）中所示，存储关于三维（立体）图像的数据配置信息（三维图像细节信息）的第一方案信息盒子（sinf）410是设置在相对于存储关于编码处理的数据配置信息（编码格式信息）的第二方案信息盒子（sinf）420的格式信息盒子（frma）的下层中的盒子。

这里，与不包括如在图10（b）中所示的三维图像信息方案信息盒子的AV编解码盒子（avc1）401的盒子名称等效的代码（4CC：四字符代码）是[avc1]，而包括如在图11（c）中所示的三维图像信息方案信息盒子410的AV编解码盒子405将与该盒子名称等效的代码（4CC：四字符代码）改变到指示包含涉及立体视频数据的信息的[stev]。

而且，具有拥有如在图11（d）中所示的三维图像信息方案信息盒子410作为嵌套的编码信息方案信息盒子420的AV编解码盒子407设置与该盒子名称等效的代码（4CC：四字符代码），作为指示包含涉及编码视频数据的信息的[encv]。由此，可以从盒子名称（4CC）识别包括编码信息方案信息盒子420的AV编解码盒子405。

关于三维（立体）图像的数据配置信息（三维图像细节信息）存储于第一方案信息盒子（sinf）410中。

该第一方案信息盒子（sinf）410具有与之前参考图10描述了的盒子相同的盒子，即，具有以下每个盒子：

格式信息盒子（frma）411，

方案类型盒子（SchemeTypeBox）412，以及

方案细节信息盒子（SchemeInformationBox）413。

data_format=′avc 1′

之类的格式信息。

在该方案类型盒子（SchemeTypeBox）412中，记录指示方案信息盒子410的类型的信息。在该示例中，由于方案信息盒子410是在其中存储三维图像的细节信息的方案信息盒子，所以在方案类型盒子（SchemeTypeBox）412中记录指示存在存储三维图像的细节信息的方案信息盒子的类型信息。

在方案细节信息盒子（SchemeInformationBox）413中，记录关于三维图像的具体细节信息。存储于方案细节信息盒子（SchemeInformationBox）413中的三维图像细节信息包括在与之前在示例2中描述了的帧配置信息（FramePacking Arrangement SEI）相同方式的信息。

即，例如，记录对应于以下每一种方法的三维图像细节信息：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

再现装置可以参考存储于第一方案信息盒子（sinf）410中的三维图像细节信息，来获得存储于MP4文件的实际数据盒子（mdat）中的三维图像的细节信息。

此外，关于编码处理的数据配置信息（编码格式信息）存储于第二方案信息盒子（sinf）420中。

第二方案信息盒子（sinf）420具有以下每一个盒子：

格式信息盒子（frma）421，

方案类型盒子（SchemeTypeBox）422，以及

方案细节信息盒子（SchemeInformationBox）423。

格式信息盒子（frma）421保持作为低层中的数据（即，作为嵌套状态）存储关于三维（立体）图像的数据配置信息（三维图像细节信息）的第一方案信息盒子（sinf）410。

而且，记录格式信息。在这个示例中，作为指示存储关于三维（立体）图像的数据配置信息（三维图像细节信息）的第一方案信息盒子（sinf）410的格式数据，记录以下格式信息：

data_format=′stev′

在该方案类型盒子（SchemeTypeBox）422中记录指示方案信息盒子420的类型的信息。在这个示例中，由于方案信息盒子420是在其中存储关于编码处理的细节信息的方案信息盒子，所以在方案类型盒子（SchemeTypeBox）422中记录指示存在存储详细编码信息的方案信息盒子的信息。

在方案细节信息盒子（SchemeInformationBox）423中，记录关于编码处理的具体细节信息。存储于方案细节信息盒子（SchemeInformationBox）423中的编码信息记录在再现装置中的编码数据的解码需要的信息。

该再现装置能够参考存储于第二方案信息盒子（sinf）420中的编码格式信息，来获得存储于MP4文件的实际数据盒子（mdat）中的数据的编码处理需要的信息。

在进行再现处理和显示处理的情况下，在需要不同数据配置信息（即，诸如三维图像信息或编码信息之类的不同数据配置信息）的情况下，如图11（d）所示地设置对应于每一段数据配置信息的方案信息盒子，并且像分层配置（嵌套）那样将其记录在AV编解码盒子中。

通过进行诸如此类的数据配置信息记录处理，可以从AV编解码盒子获得存储于MP4文件的实际数据的再现与显示处理需要的所有信息。

这里，参考图11所描述的示例是通过进行分层（设置在嵌套状态）来在AV编解码盒子中存储以下两个方案信息盒子的示例：

（2）存储关于编码处理的数据配置信息（编码格式信息）的第二方案信息盒子（sinf）420，

即，对应于两个不同数据配置信息段的方案信息盒子。

除此而外，可以关于涉及存储于MP4文件的实际数据的各种数据配置信息来设置被设置在多层（例如，三层或更多层）中的多方案信息盒子。通过利用在本示例中所示的方案信息盒子的分层（嵌套）配置，可以设置在再现与显示处理期间需要的各种数据配置信息和数据转换信息并将它们记录为管理信息。

该再现装置能够通过获得该管理信息段来不出错地再现与显示存储于MP4文件中的实际数据。

[3．由信息处理装置执行的图像处理序列]

接下来，将参考在图12和图13中所示的流程图描述本发明的实施例的图像处理装置执行的图像处理序列。

图12是描述图像数据的记录处理序列的流程图。

图13是描述图像数据的再现处理序列的流程图。

首先，将参考图12中所示的流程图描述图像数据的记录处理序列。

在执行例如成像图像并将其记录在记录介质中的处理的、诸如相机之类的成像装置中执行根据如在图12中所示的流程图的处理。例如，它是在提供在成像装置中的、诸如CPU之类的控制部分的控制下执行的处理。

将描述在图12中所示的流程中的每一个步骤的处理。

在步骤S101，确定例如打算使用成像处理获得并且记录在记录介质中的数据是否包括三维图像数据。

在该三维图像数据包括于在步骤S101中打算记录到介质中的数据中的情况下，步骤S101的确定“是”，并且该处理前进到步骤S102。

在步骤S102，将三维图像识别信息记录在MP4文件的简档盒子中。

这种处理是对应于之前描述的[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的示例（示例1）]的处理。即，该处理是参考图2和图3描述了的处理。

根据打算记录为参考图2描述了的以下标记的数据的类型来设置图3中所示的标记的值，即，以下每一个标记的值：

立体视频标记201，以及

混合立体视频标记202。

接下来，在步骤S103，确定打算记录的三维图像数据的方法。这里，在该流程中，存在识别A、B和C三种类型的示例。例如，它们对应于之前在示例2和示例3中描述了的以下三种类型。它们对应于以下每一种方法：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

在步骤S103中的确定确定方法A的情况下，该处理前进到步骤S 104并且将对应于方法A的三维图像细节信息记录在MP4文件的AV编解码盒子中。

此外，在步骤S103中的确定确定方法B的情况下，该处理前进到步骤S105并且将对应于方法B的三维图像细节信息记录在MP4文件的AV编解码盒子中。

此外，在步骤S103中的确定确定方法C的情况下，该处理前进到步骤S106并且将对应于方法C的三维图像细节信息记录在MP4文件的AV编解码盒子中。

步骤S104到S106的处理对应于之前描述的示例2或示例3。

即，这些处理对应于[2B．（2）在AV编解码盒子（avc1）中记录三维图像细节信息的示例（示例2）]或[2C．（3）利用规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录三维图像细节识别信息的示例（示例3）]的处理。

这里，可以存在执行示例2的处理或示例3的处理之一的配置，也可以存在执行这两者的配置。

这里，如参考图1所述，AV编解码盒子是存储编解码信息的、设置在比样本描述盒子（stsd）更低的层中的盒子，而该样本描述盒子（stsd）进一步处于比在电影盒子（moov）的下层中的轨道盒子更低的层中。

如参考图4至图9所述，在示例2的处理中，立体视频信息盒子302（参考图4）设置在AV编解码盒子中，并且这里，例如，帧配置信息记录为参考图8和图9描述了的三维图像细节信息。如参考图8和图9所述，根据三维图像的方法记录不同数据。

此外，在进行示例3的处理的情况下，如参考图10和图11所述，通过在方案信息盒子中进行设置来在方案信息盒子中记录三维图像细节信息。同样在这种情况下，根据三维图像的方法记录不同数据。

在步骤S104至S106的处理结束之后，该处理前进到步骤S107，完成MP4文件，并且关于介质执行记录处理。

这里，在步骤S101中确定所获得数据不包括三维图像数据的情况下，步骤S101中的确定确定“否”并且该处理前进到步骤S110。在步骤S110，将该二维图像识别信息记录在MP4文件的简档盒子中。

该处理是对应于之前描述了的[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的示例（示例1）]的处理。即，该处理是参考图2和图3所述的处理。即，指示打算记录的数据是二维图像数据的这些标记的值被设置成在图2中所示的以下每一个标记的值：

立体视频标记201，以及

混合立体视频标记202。

之后，该处理前进到步骤S107，完成MP4文件，并且关于介质执行记录处理。

这里，作为关于记录介质的数据记录处理中的MP4文件的创建处理的示例描述了图12中所示的流程，但只要用与MP4文件作为通信数据生成的情况相同的处理序列进行MP4文件的创建处理就足够了。

此外，图12中所示的流程描述了读出上述示例1的简档盒子的三维图像识别信息和示例2或示例3中的AV编解码盒子的三维图像细节信息两者的设置示例，但可以存在进行仅仅读出和使用示例1的简档盒子的三维图像识别信息的处理的配置，也可以存在进行仅仅读出和使用示例2或示例3中的AV编解码盒子的三维图像细节信息的处理的配置。

接下来，将参考在图13中所示的流程图描述图像数据的再现处理序列。

例如，根据在图13中所示的流程图的处理在执行关于例如从记录介质读出的MP4文件或作为通信数据接收到的MP4文件的处理的再现装置中执行。例如，其是在提供在再现装置的诸如CPU之类的控制部分的控制下执行的处理。

将描述在图13中所示的流程图中的每个步骤的处理。

首先，在步骤S201，读出MP4文件的简档盒子（PROF）中的信息。

该处理是对应于之前描述了的[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的示例（示例1）]的处理。即，该处理是像参考图2和图3所述那样读出MP4文件的简档盒子（PROF）的信息的处理。

具体说，读出在图2中所示的以下标记，即，以下每一个标记的值：

立体视频标记201，以及

混合立体视频标记202。

接下来，如之前参考图3所述，可以使用这些标记的设置值识别以下数据。

（情况1）

（情况2）

在立体视频标记等于零并且混合立体视频标记也等于零的情况下，确定

（b）存储于MP4文件的图像数据全是二维图像数据。

（情况3）

在通过在步骤S201中作为简档盒子的三维图像识别信息读出标记而在步骤S202中确定不包括三维图像数据的情况下，该处理前进到步骤S210并且从MP4文件获得二维图像数据并且进行再现与显示。

另一方面，在步骤S202中确定包括三维图像数据的情况下，该处理前进到步骤S203。

在步骤S203中获得MP4文件的AV编解码盒子中的信息。

该处理对应于上述的[2B．（2）在AV编解码盒子（avc1）中记录三维图像细节信息的示例（示例2）]或[2C．（3）利用规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录三维图像细节识别信息的示例（示例3）]的记录数据的处理。

例如，在如图4至图9地进行与示例2对应的三维信息记录处理的情况下，立体视频信息盒子302（参考图4）设置在AV编解码盒子中，并且这里，例如，帧配置信息记录为参考图8和图9描述了的三维图像细节信息。在步骤S203，从立体视频信息盒子302（参考图4）中读出该三维图像细节信息。

例如，通过作为例如参考图8和图9描述了的三维图像细节信息读出的帧配置信息的设置值，可以识别打算记录的数据是根据以下哪种方法的数据：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

此外，在进行对应于示例3的三维信息记录处理的情况下，如参考图10和图11那样将方案信息盒子记录为AV编解码盒子的下层数据并且从方案信息盒子读出三维图像细节信息。

可以通过至少获得根据示例2和示例3中的任何方法中的哪一种记录的三维图像细节信息，来确认打算再现的数据的三维图像方法。由于该确认，执行步骤S204的方法确定处理。即，基于从AV编解码盒子中获得的三维图像细节信息，在步骤S204确定打算再现的数据是方法A、B或C中的哪一种。

在确定三维图像数据对应于方法A的情况下，该处理前进到步骤S205，进行对应于方法A的图像的解码（解码和恢复处理），并且执行再现与显示处理。

在确定三维图像数据对应于方法B的情况下，该处理前进到步骤S206，进行对应于方法B的图像的解码（解码和恢复处理），并且执行再现与显示处理。

在确定三维图像数据对应于方法C的情况下，该处理前进到步骤S207，进行对应于方法C的图像的解码（解码和恢复处理），并且执行再现与显示处理。

按这种方式，通过进行根据本发明的处理，图像处理装置能够在三维图像数据包括在该数据中的情况下，作为MP4文件中的管理信息，从简档盒子和AV编解码盒子中，关于记录和再现方法获得三维图像是否包括于存储于MP4文件的数据中。

因此，可以在通过获得MP4文件的实际数据来执行分析或再现处理之前确认该数据是否为能够由装置本身再现的三维图像数据，并且可以仅仅在确定该数据再现可行的情况下获得实际数据并且根据依据该方法的处理执行正确的解码和再现处理。

这里，在图13中所示的流程中，已经描述了生成MP4文件的示例，在该示例中，示例1的简档盒子中的三维图像识别信息以及示例2和示例3的AV编解码盒子中的三维图像细节信息都记录在上述示例1至示例3中描述了的MP4文件中，但可以存在进行仅仅记录示例1的简档盒子中的三维图像识别信息的处理的配置，也可以存在进行仅仅记录示例2和示例3的AV编解码盒子中的三维图像细节信息的处理的配置。

[4．本发明的信息处理装置的配置示例]

接下来，将参考图14描述本发明的图像处理装置的配置示例。图14示出了作为本发明的图像处理装置的实施例的成像装置500的配置示例。成像装置500具有应用于三维图像显示的从不同视点成像图像的功能，并且具有可以通过用户设置模式来在二维图像和三维图像的成像之间切换的配置。

例如，成像部分501具有设置在不同位置的多个镜头部分，并且是可以同时从不同视点成像图像的配置。当设置在三维图像成像模式时，输入经由多个镜头部分成像的图像。当设置在二维图像成像模式时，仅仅输入经由一个镜头部分成像的图像。

图像信号处理部分502执行成像图像数据诸如白平衡之类的信号处理。

数据编码部分503生成MP4文件。在所输入的数据是三维图像的情况下，在预处理部分511中根据每一个方法执行预处理。具体说，例如，根据参考图5至图7所述的每一个方法，即，以下的方法：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]，

从成像图像生成用于MP4解码的图像。

例如，在根据在图6中所示的并排方法[SbS]生成记录数据的情况下，成像图像是对应于示出在图6的右边的显示L图像（帧0）334和显示R图像（帧1）335的两个图像，并且通过应用这些图像生成对应于示出在图6的左边的MP4解码结果图像331的图像帧。

通过将该数据输入到编码部分512来执行根据MP4格式的编码处理（编码）。而且，文件生成部分513通过执行之前在示例1至示例33中已经描述了的、关于三维图像识别信息的简档盒子的记录处理、关于三维图像细节信息的AV编解码盒子的记录处理等，来生成MP4文件。

文件生成部分513生成作为包括使用编码部分512生成的图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件的MP4文件。

文件生成部分513在生成MP4文件时，记录指示存储于该文件中的图像数据是否包括三维图像数据的三维图像识别信息在MP4文件的简档盒子中。

在MP4文件的简档盒子中记录三维图像识别信息的处理对应于之前参考示例1描述了的处理。

此外，在三维图像数据包括于文件贮存图像数据中的情况下，该文件生成部分513在AV编解码盒子中记录关于三维图像的方法的识别是否可行的三维图像细节信息。

在AV编解码盒子中记录三维图像细节信息的处理对应于之前参考示例2和示例3描述了的处理。

例如，在执行了对应于示例3的处理的情况下，该文件生成部分513生成包括数据配置信息的方案信息盒子（在其中以数据处理的类别为单元设置在编码数据的再现处理期间要应用到数据处理的信息），并且生成以分层的类别为单元用多个方案信息盒子记录在管理信息中的文件。

这里，文件生成部分513进行以作为存储于MP4文件的图像数据的扇区数据的轨道单位或样本单位的扇区数据单位记录三维图像细节信息的处理。

在数据编码部分503中生成的MP4文件提供到记录部分504并记录在诸如闪存、HDD或DVD之类的记录介质530中。

作为替代，在数据编码部分503中生成的MP4文件提供到通信部分505，并通过将其分成数据包（packet）来进行传输处理。

这里，包括图像数据的编码数据和该编码数据的管理信息的MP4文件使用数据记录处理记录在记录介质530中。包括于该MP4文件中的管理信息包括指示图像数据是否包括三维图像数据的三维图像识别信息和关于是否可以识别三维图像的方法的三维图像细节信息。因此，从记录介质530读出MP4文件并实施再现的装置可以参考管理信息确定在装置本身上再现的可能性。

例如，包括具有如之前所述的示例3的方案信息盒子的分层配置的管理信息的该MP4文件记录在记录介质530中。即，记录在记录介质530中的MP4文件的管理信息是在其中分层并记录以数据处理的类别为单元设置在编码数据的再现处理期间应用到数据处理的信息的数据配置信息。通过顺序获得已经分层的数据配置信息，以这种方式从作为信息记录介质的记录介质530读出和实施再现MP4文件的装置，能够通过应用已经获得的数据配置信息来执行多种不同类别的数据处理。

接下来，将描述记录在记录介质530中的MP4文件或经由通信部分505接收到的MP4文件的再现处理。经由再现部分506读出记录在诸如闪存、HDD或DVD之类的记录介质530中的MP4文件并且提供到数据解码部分507。按照同样的方式，经由通信部分505接收到的MP4文件也提供到数据解码部分507。

首先，数据解码部分507的文件分析部分521获得接收到的MP4文件的管理信息，即，记录在之前参考图1描述了的文件类型盒子（ftyp）、简档盒子（uuid（PROF））和电影盒子（moov）这些盒子中的每一个中的管理信息。

如之前参考示例1所述，指示存储于MP4文件的实际数据盒子（mdat）中的图像数据是否包括三维图像的三维图像信息记录在简档盒子（uuid（PROF））中。这是参考图2和图3描述了的信息。

此外，如参考示例2和示例3所述，三维图像细节信息（即，在存储于MP4文件的实际数据盒子（mdat）中的图像数据是三维图像数据的情况下，涉及三维图像数据的记录和再现方法的细节信息）记录在作为电影盒子（moov）的下层的AV编解码盒子中。这是参考图4至图11描述了的信息。例如，在进行使用在示例2和示例3的配置的MP4文件的分析的情况下，文件分析部分521例如以作为存储于MP4文件的图像数据的扇区数据的轨道单位或样本单位的扇区数据单位获得信息。

数据解码部分507的文件分析部分521通过分析MP4文件中的管理信息，在包括三维图像的情况下，关于方法来确认存储于MP4文件的实际数据盒子（mdat）中的图像数据是否包括三维图像。

之后，将该MP4文件与确认信息一起提供到解码部分522。这里，在从文件分析部分521的MP4文件分析结果确定MP4文件的贮存数据不对应于能够在成像装置500中再现的方法的情况下，不执行后续处理，即，解码处理等。在控制部分570中根据存储于存储器571中的程序执行这种处理控制。控制部分570通过应用MP4文件的三维图像管理信息来确定在装置本身上再现的可能性，并在确定再现可行之后进行开始解码部分522中的图像数据的解码处理的控制。

在基于文件分析部分521的MP4文件分析结果确定MP4文件的贮存数据对应于能够在成像装置500再现的方法的情况下，在解码部分522中开始MP4数据的解码处理。而且，将三维图像方法信息和解码结果提供到显示信息生成部分523。

显示信息生成部分523根据依赖于三维图像方法信息（即，MP4文件贮存数据是否例如对应于以下所述的方法之一）的每一种方法来执行图像的解码处理（参考图5至图7）。

根据以下每一种方法生成左眼图像（L图像）和右眼图像（R图像）：

（a）帧顺序方法[FS]，

（b）并排方法[SbS]，以及

（c）上下方法[T&B]。

将数据解码部分507生成的显示图像提供到显示部分550并进行图像显示。

这里，显示信息生成部分523由执行各种类别的数据处理的数据处理部分（诸如进行应用于三维图像显示的左眼图像和右眼图像的生成的数据处理部分，以及例如，执行编码数据的解码处理的数据处理部分）构成。显示信息生成部分523由执行多种不同类别的数据处理（其在存储于MP4文件的图像数据的再现处理期间执行）的数据处理部分构成。

在使用包括具有如之前所述的示例3中分层的方案信息盒子的管理信息的MP4文件的处理中，文件分析部分521获得MP4文件的管理信息的分层数据配置信息，并且解码部分522和显示信息生成部分523通过应用包括于来自由文件分析部分521获得的以类别为单元的数据配置信息的方案信息盒子的信息，来执行多种不同类别的数据处理。

这里，在控制部分570中控制每一个配置部分的处理。控制部分580根据事先存储于存储器571中的程序执行对成像处理数据记录处理、通信数据生成、数据接收和传输处理、数据再现处理、显示处理等的控制。在数据记录或数据传输处理期间，根据之前参考图12的流程图描述了的处理序列执行处理控制，而在数据再现处理期间，根据之前参考图13的流程图描述了的处理序列执行处理控制。

以上，已经在参考具体示例的同时详细分析了本发明。然而，本领域技术人员应该清楚，在不脱离本发明的构思的范围内，对这些事例的各种修改和替换都是可行的。即，已经以示范形式公开了本发明并且这不解释为限制。为了确定本发明的构思，请参考权利要求书的范围。

此外，在该说明书中描述的一系列处理能够用硬件或软件或者两者的复合配置来执行。在使用软件执行这些处理的情况下，通过在具有内置专用硬件的计算机的存储器中安装以处理序列记录的程序来执行该处理，或者通过在能够执行各种处理的通用计算机中安装程序来执行该处理。例如，能够事先在记录介质中记录程序。除了从记录介质安装到计算机上之外，还可以经由诸如LAN（局域网）或因特网之类的网络接收程序并将其安装到诸如内置硬盘之类的记录介质。

这里，不仅可以根据该描述按时间顺序方式执行在说明书中描述的各种处理，而且可以根据执行处理的装置的处理能力或按照需要并行或独立地执行在说明书中描述的各种处理。此外，该说明书中的系统是多个装置的逻辑集合配置，而不限制处于同一外壳内的配置的每一个装置。

工业应用性

如上所述，根据本发明的实施例，存在这样的配置：在其中在MP4文件的简档盒子或AV编解码盒子中作为管理信息记录三维图像管理信息（诸如涉及三维图像数据是否包括在MP4文件中的三维图像识别信息和能够识别三维图像的记录方法等的三维图像细节信息）。因此，获得MP4文件并且试图实施再现的装置能够通过参考记录在MP4文件的管理信息中的三维图像管理信息来确认存储于MP4文件的图像数据是否包括三维图像而且还有其方法，能够确认再现的可能性，并且能够流畅地执行适合每一种三维图像方法的解码和再现处理。

附图标记清单

100 MP4文件

101 文件类型盒子（ftyp）

102 简档盒子（uuid（prof））

103 电影盒子（moov）

104 实际数据盒子（mdat）

111 轨道盒子（trak）

112 样本描述盒子（stsd）

113 AV编解码盒子

201 立体视频标记

202 混合立体视频标记

301 数据区域

302 立体视频信息盒子（立体视频描述盒子）

321 解码图像帧

322 显示图像帧

331 MP4解码结果图像

332 拆分的L图像（帧0）

333 拆分的R图像（帧1）

334 显示L图像（帧0）

335 显示R图像（帧1）

341 MP4解码结果图像

342 拆分的L图像（帧0）

343 拆分的R图像（帧1）

344 显示L图像（帧0）

345 显示R图像（帧1）

400 MP4文件

401 AV编解码盒子（avc1）

402 AVC数据配置信息盒子[AVCConfigurationBox]

405 AV编解码盒子

407 AV编解码盒子（encv）

410 三维图像信息方案信息盒子

411 格式信息盒子（frma）

412 方案类型盒子（SchemeTypeBox）

413 方案细节信息盒子（SchemeInformationBox）

420 编码信息方案信息盒子

421 格式信息盒子（frma）

422 方案类型盒子（SchemeTypeBox）

423 方案细节信息盒子（SchemeInformationBox）

500 成像装置

501 成像部分

502 图像信号处理部分

503 数据编码部分

504 记录部分

505 通信部分

506 再现部分

507 数据解码部分

511 预处理部分

512 编码部分

513 文件生成部分

521 文件分析部分

522 解码部分

523 显示信息生成部分

530 记录介质

550 显示部分

570 控制部分

571 存储器

Claims

1.一种图像处理装置，包括：

编码部分，其执行图像数据编码处理；以及

文件生成部分，其生成包括编码部分生成的编码数据和该编码数据的管理信息的编码数据贮存文件，

其中该文件生成部分进行在其中在管理信息中记录指示三维图像数据是否包括在存储于文件的图像数据中的三维图像识别信息的文件的生成处理。

2.根据权利要求1的图像处理装置，

其中该文件生成部分生成在其中在管理信息中记录三维图像识别信息的文件，以便能够识别（a）至（c）之一，其中：

（a）存储于文件中的图像数据仅仅是三维图像数据，

（b）存储于文件中的图像数据仅仅是二维图像数据，以及

3.根据权利要求1或2的图像处理装置，

其中该文件生成部分具有在其中执行MP4文件的生成的配置，并且生成在MP4文件的简档盒子中记录该三维图像识别信息的文件。

4.根据权利要求1至3之一的图像处理装置，

其中该文件生成部分在三维图像数据包括在文件贮存图像数据中的情况下，生成在管理信息中包括能够识别三维图像方法的三维图像细节信息的文件。

5.根据权利要求4的图像处理装置，

其中该文件生成部分记录作为三维图像细节信息来识别文件贮存图像数据是根据方法（a）至（c）中的哪一种的三维图像数据的信息，其中：

（a）帧顺序方法，

（b）并排方法，以及

（c）上下方法。

6.根据权利要求4或5的图像处理装置，

其中该文件生成部分具有执行MP4文件的生成的配置，并且生成在MP4文件的AV编解码盒子中记录三维图像细节信息的文件。

7.根据权利要求6的图像处理装置，

其中该文件生成部分生成设置在MP4文件的AV编解码盒子的下层中记录三维图像细节信息的方案信息盒子的文件。

8.根据权利要求7的图像处理装置，

其中该文件生成部分生成被记录以便存在第一方案信息盒子和第二方案信息盒子的分级的文件，在第一方案信息盒子中在MP4文件的AV编解码盒子的下层中记录三维图像细节信息，而在第二方案信息盒子中记录对应于存储于MP4文件的图像数据并且不同于该三维图像细节信息的数据配置信息。

9.根据权利要求6至8之一的图像处理装置，

其中该文件生成部分执行在其中以作为存储于MP4文件的图像数据的扇区数据的轨道单位或样本单位的扇区数据单位记录三维图像细节信息的处理。

10.一种图像处理装置，包括：

文件分析部分，其分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；

解码部分，其执行图像数据解码处理；以及

控制部分，其执行数据处理控制，

其中该文件分析部分获得记录在管理信息中的三维图像管理信息，而

该控制部分通过使用该三维图像管理信息确定在设备自身中再现的可能性并且进行在其中在确定了再现是否可行之后开始在解码部分中的图像数据的解码处理的控制。

11.根据权利要求10的图像处理装置，

其中该编码数据贮存文件是MP4文件，并且

该文件分析部分获得记录在MP4文件的简档盒子中的三维图像管理信息并识别（a）至（c）之一，其中：

（a）存储于文件中的图像数据仅仅是三维图像数据，

（b）存储于文件中的图像数据仅仅是二维图像数据，以及

12.根据权利要求10或11的图像处理装置，

其中该编码数据贮存文件是MP4文件，并且

该文件分析部分获得记录在MP4文件的AV编解码盒子中的三维图像管理信息并进行关于包括在文件贮存图像数据中的三维数据的记录方法识别处理。

13.根据权利要求12的图像处理装置，

其中该文件分析部分获得记录在MP4文件的AV编解码盒子中的三维图像管理信息并识别包括在文件贮存图像数据中的三维图像数据的方法。

14.根据权利要求13的图像处理装置，

其中该文件分析部分获得记录在MP4文件的AV编解码盒子中的三维图像管理信息并识别包括在文件贮存图像数据中的三维图像数据是根据方法（a）至（c）中的哪一种的三维图像数据，其中：

（a）帧顺序方法，

（b）并排方法，以及

（c）上下方法。

15.一种信息记录介质，在其中记录包括图像数据的编码数据和该编码数据的管理信息的MP4文件，

其中该管理信息包括指示三维图像数据是否包括在图像数据中的三维图像管理信息，并且

通过在读出和再现MP4文件的装置中参考该三维图像管理信息，可确定在设备自身中再现的可能性。

16.一种图像处理方法，其在图像处理装置中执行，包括：

编码处理步骤，由编码部分执行图像数据编码处理；以及

文件生成步骤，由文件生成部分生成包括由编码部分生成的编码数据和该编码数据的管理信息的编码数据贮存文件，

其中该文件生成步骤进行生成在其中在管理信息中记录指示三维图像数据是否包括在存储于文件的图像数据中的三维图像识别信息的文件的处理。

17.一种图像处理方法，其在图像处理装置中执行，包括：

文件分析步骤，用文件分析部分分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件并获得记录在管理信息中的三维图像管理信息；以及

控制步骤，使用控制部分通过应用该三维图像管理信息来确定在设备自身中再现的可能性并在确定再现可行之后控制在解码部分中图像数据的解码处理的开始。

18.一种在图像处理装置中执行图像处理的程序，包括：

编码处理步骤，由编码部分执行图像数据编码处理；以及

其中该文件生成步骤进行生成在其中在管理信息中记录示出三维图像数据是否包括在存储于文件的图像数据中的三维图像识别信息的文件的处理。

19.一种在图像处理装置中执行图像处理的程序，包括：

控制步骤，由控制部分通过应用该三维图像管理信息来确定在设备自身中再现的可能性并在确定再现可行之后控制在解码部分中图像数据的解码处理的开始。