CN113014930A - 信息处理设备、信息处理方法和计算机可读记录介质 - Google Patents

Abstract

本公开内容涉及信息处理设备、信息处理方法和计算机可读记录介质。信息处理设备包括处理器，其基于文件中的深度表示信息，根据包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值的深度图像，生成所述深度信息。所述文件是通过下述方式生成的：对通过对所述深度图像进行编码而获得的编码流进行采样和布置；对具有关于所述深度图像的相同深度表示信息的所述编码流的样本进行分组；以及在所述文件中描述每个组的深度表示信息。在所述文件中，每个组的所述编码流的样本被布置在第一轨道中，并且每个组的深度表示信息被采样并布置为不同于所述第一轨道的第二轨道的样本。

Description

信息处理设备、信息处理方法和计算机可读记录介质

本申请是申请日为2016年12月28日、申请号为201680078248.7(国际阶段申请号为PCT/JP2016/089038)、发明名称为“信息处理装置和信息处理方法”的发明专利申请的分案申请。

技术领域

本公开内容涉及信息处理设备和信息处理方法，并且更具体地涉及使得能够有效描述ISO基本媒体文件格式的文件中的深度表示信息的信息处理设备和信息处理方法。

背景技术

近年来，因特网上的流服务的主流是过顶视频(over the top video,OTT-V)。运动图像专家组阶段——通过HTTP的动态自适应流(MPEG-DASH)作为这种基本技术开始普及(例如参见非专利文献1)。

在MPEG-DASH中，分发服务器针对一个运动图像内容来准备具有不同屏幕大小和编码速率的运动图像数据组，并且再现终端根据传输路径的状况来请求具有最佳屏幕大小和编码速率的运动图像数据组，从而实现自适应流分发。

同时，作为用于实现立体视觉的技术，存在这样的技术：使用纹理图像和以纹理图像的预定单位区域来表示对象在深度方向上的位置的深度信息。通过将深度信息量化为预定比特数的值(例如，从0到255的值)作为像素值，可以将深度信息编码为深度图像。

对纹理图像和深度图像二者进行编码的方法的示例包括多视点视频加深度(MVD)方法(ISO/IEC 14496-10)和高效视频编码多视点扩展(MV-HEVC)方法(ISO/IEC 23008-2)。

利用这些编码方法，可以将关于深度图像的深度表示信息例如深度图像的类型、量化之前的深度信息的最大值和最小值等作为补充增强信息(SEI)包括在基本流中。

因此，当再现纹理图像和深度图像的基本流时，从基本流中提取深度表示信息，并且对包括在基本流中的纹理图像和深度图像的编码数据进行解码。然后，基于深度表示信息，根据作为解码的结果获得的深度图像来生成深度信息，并且通过使用深度信息和作为解码的结果获得的纹理图像来实现立体视觉。

目前，针对将通过MVD方法或MV-HEVC方法编码的基本流存储在ISO基本媒体文件格式的文件(下文中称为MP4文件)中的方法，研究了ISO/IEC 14496-15。

此处，由于根据深度图像生成深度信息的处理和实现立体视觉的处理可以独立于解码处理来执行，因此假定这些处理在除解码器之外的处理单元中执行。因此，期望将深度表示信息与基本流分开存储在MP4文件中。

然而，在存储有通过MVD方法编码的基本流的MP4文件中，指示深度图像的基本流是否包括在该基本流的轨道(track)中的信息(下文中称为深度存在/不存在信息)在基本流外部的样本条目中描述，但是深度表示信息未被描述。

此外，在存储有通过高级视频编码(AVC)方法或高效视频编码(HEVC)方法编码的深度图像的基本流的MP4文件中，深度存在/不存在信息在基本流外部的轨道参考中描述，但是深度表示信息未被描述。

因此，即使在根据深度图像生成深度信息的处理和实现立体视觉的处理在除解码器之外的处理单元中执行的情况下，该处理单元也需要从MP4文件中提取基本流并从基本流中提取深度表示信息，这使处理复杂化。

另一方面，在存储有通过MV-HEVC方法编码的基本流的MP4文件中，不仅深度存在/不存在信息，而且作为针对MV-HEVC方法的配置信息的深度表示信息在基本流外部的样本条目中描述。

因此，在根据深度图像生成深度信息的处理和实现立体视觉的处理在除解码器之外的处理单元中执行的情况下，该处理单元仅需要直接从MP4文件中提取深度表示信息并且不需要提取基本流。

引用列表

非专利文献

非专利文献1：MPEG-Dynamic Adaptive Streaming over HTTP(DASH)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

发明内容

本发明要解决的问题

然而，在样本条目中以块为单位来描述深度表示信息，在样本条目中，描述了对作为连续样本组的块的单元进行解码所需的信息。因此，每当深度表示信息和解码所需的信息中的至少一个在块之间不同时，生成新的样本条目。结果，冗余地描述了未改变的深度表示信息或解码所需的信息，并且深度表示信息的描述效率较差。

鉴于这样的情况而做出了本公开内容，并且本公开内容使得能够有效描述MP4文件中的深度表示信息。

解决问题的技术方案

根据本公开内容的第一方面的一种信息处理设备包括：文件生成单元，其对通过对深度图像进行编码而获得的编码流进行采样和布置，该深度图像包括通过对表示每个像素在每个像素的深度方向上的位置的深度信息进行量化而获得的像素值，并且文件生成单元对具有关于深度图像的相同深度表示信息的样本进行分组，并且生成其中描述每个组的深度表示信息的文件。

根据本公开内容的第一方面的一种信息处理方法与根据本公开内容的第一方面的信息处理设备兼容。

在本公开内容的第一方面中，对通过对深度图像进行编码而获得的编码流进行采样和布置，该深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，以及对具有关于深度图像的相同深度表示信息的样本进行分组，并生成其中描述每个组的深度表示信息的文件。

根据本公开内容的第二方面的一种信息处理设备包括：深度信息生成单元，其对通过对深度图像进行编码而获得的编码流进行采样和布置，该深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，并且深度信息生成单元对具有关于深度图像的相同深度表示信息的样本进行分组，并基于其中描述每个组的深度表示信息的文件中的深度表示信息，根据深度图像来生成深度信息。

根据本公开内容的第二方面的一种信息处理方法与根据本公开内容的第二方面的信息处理设备兼容。

在本公开内容的第二方面中，对通过对深度图像进行编码而获得的编码流进行采样和布置，该深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，以及对具有关于深度图像的相同深度表示信息的样本进行分组，并且基于其中描述每个组的深度表示信息的文件中的深度表示信息，根据深度图像来生成深度信息。

注意，根据第一方面的信息处理设备和根据第二方面的信息处理设备可以通过使计算机执行程序来实现。

此外，为了实现根据第一方面的信息处理设备和根据第二方面的信息处理设备，要由计算机执行的程序可以经由传输介质传输或记录在待提供的记录介质上。

根据第一方面的信息处理设备和根据本公开内容的第二方面的信息处理设备可以是独立的设备或者可以是构成一个设备的内部块。

本发明的效果

根据本公开内容的第一方面，可以生成文件。此外，根据本公开内容的第一方面，可以有效地描述MP4文件中的深度表示信息。

根据本公开内容的第二方面，可以再现文件。此外，根据本公开内容的第一方面，可以再现其中有效描述深度表示信息的MP4文件。

注意，本文描述的效果不一定是限制性的，并且可以产生本公开内容中描述的效果中的任一个效果。

附图说明

图1是示出应用本公开内容的根据第一实施方式的信息处理系统的配置示例的框图。

图2是示出图1中的文件生成设备的配置示例的框图。

图3是示出MP4文件的结构的图。

图4是示出moov盒(box)的结构的图。

图5是示出moof盒的结构的图。

图6是用于说明样本组的图。

图7是示出sgpd盒的详细结构示例的图。

图8是示出VisualSampleGroupEntry的第一结构示例的图。

图9是示出图8中的描述的内容的图。

图10是示出图9中的scheme_uri的值的示例的图。

图11是示出深度表示信息的第一结构示例的图。

图12是示出深度表示信息的第二结构示例的图。

图13是示出图11中的depth_repreationation_type的值的示例的图。

图14是示出sbgp盒的详细结构示例的图。

图15是示出VisualSampleGroupEntry的第二结构示例的图。

图16是示出图15中的描述的内容的图。

图17是示出depth_scheme_type的值的示例的图。

图18是示出VisualSampleGroupEntry的第三结构示例的图。

图19是示出sbgp盒的group_type_parameter的值的示例的图。

图20是用于说明文件生成设备的文件生成处理的流程图。

图21是示出图1中的再现设备的配置示例的框图。

图22是用于说明再现设备的解码处理的流程图。

图23是用于说明再现设备的深度信息生成处理的流程图。

图24是用于说明深度表示信息的替选布置方法的图。

图25是示出第一替选布置方法中的avcC盒的结构示例的图。

图26是示出图25中的DEPI盒的第一结构示例的图。

图27是示出图25中的DEPI盒的第二结构示例的图。

图28是示出第二替选布置方法中的VisualSampleEntry的结构示例的图。

图29是示出第四替选布置方法中的DEPI盒的结构示例的图。

图30是示出第二实施方式中的VisualSampleGroupEntry的第一结构示例的图。

图31是示出第二实施方式中的sbgp盒的第一结构示例的图。

图32是用于说明在图31中的sbgp盒中描述的信息的图。

图33是用于说明第二实施方式中的深度信息生成处理的流程图。

图34是示出第二实施方式中的VisualSampleGroupEntry的第二结构示例的图。

图35是示出第二实施方式中的sbgp盒的第二结构示例的图。

图36是示出第三实施方式中的moov盒和mdat盒的结构示例的图。

图37是示出tref盒的结构例的图。

图38是示出DepthRepresentasionSampleEntry的结构示例的图。

图39是示出图38中的DepthRepresentationConfigurationBox的第一结构示例的图。

图40是示出图38中的DepthRepresentationConfigurationBox的第二结构示例的图。

图41是用于说明第三实施方式中的深度信息生成处理的流程图。

图42是示出第四实施方式中的moov盒和mdat盒的结构示例的图。

图43是示出stsd盒中的depth_representation_type的描述方法的示例的图。

图44是用于说明第四实施方式中的深度信息生成处理的流程图。

图45是示出第五实施方式中的moov盒和mdat盒的结构示例的图。

图46是用于说明应用本公开内容的第六实施方式中的信息处理系统的概况的图。

图47是示出计算机的硬件的配置示例的框图。

具体实施方式

在下文中，将描述用于实现本公开内容的模式(在下文中被称为实施方式)。请注意，将按照以下顺序给出描述。

1.第一实施方式：信息处理系统(图1至图29)

2.第二实施方式：信息处理系统(图30至图35)

3.第三实施方式：信息处理系统(图36至图41)

4.第四实施方式：信息处理系统(图42至图44)

5.第五实施方式：信息处理系统(图45)

6.第六实施方式：信息处理系统(图46)

7.第七实施方式：计算机(图47)

<第一实施方式>

(根据第一实施方式的信息处理系统的配置示例)

图1是示出应用本公开内容的根据第一实施方式的信息处理系统的配置示例的框图。

图1中的信息处理系统10配置有文件生成设备11、记录介质12、再现设备13以及显示设备14。信息处理系统10生成MP4文件，将MP4文件记录在记录介质12上并再现MP4文件，其中，MP4文件存储有深度表示信息和通过MVD方法或MV-HEVC方法编码的基本流。

具体地，信息处理系统10的文件生成设备11通过将运动图像内容的纹理图像的预定单位区域用作像素来将每个像素的深度信息量化为0到255的值，并生成包括作为结果获得的像素值的深度图像。文件生成设备11通过MVD方法或MV-HEVC方法对纹理图像和深度图像进行编码并且生成基本流。文件生成设备11对基本流进行采样和布置，以及对具有相同深度表示信息的样本进行分组并生成MP4文件，在MP4文件中，描述在每个组的深度表示信息中的彼此不同的深度表示信息。文件生成设备11将所生成的MP4文件提供至记录介质12以进行记录。

记录介质12记录从文件生成设备11提供的MP4文件。

再现设备13读出记录在记录介质12上的MP4文件。再现设备13从MP4文件中提取每个样本的基本流，并且通过MVD方法或MV-HEVC方法对基本流进行解码。再现设备13还从MP4文件中提取每个组的深度表示信息。再现设备13基于与作为解码结果获得的深度图像对应的组的深度表示信息，根据深度图像来生成深度信息。再现设备13基于深度信息和作为解码结果获得的纹理图像来生成实现立体视觉的三维图像，并且将该三维图像提供至显示设备14。

显示设备14显示从再现设备13提供的三维图像。

(文件生成设备的配置示例)

图2是示出图1中的文件生成设备11的配置示例的框图。

图2中的文件生成设备11配置有获取单元31、预处理单元32、编码单元33、文件生成单元34以及记录控制单元35。

当纹理图像的预定单位区域是像素时，文件生成设备11的获取单元31从外部获取运动图像内容的纹理图像以及每个像素的深度信息，并将纹理图像和深度信息提供至预处理单元32。获取单元31还从外部获取深度表示信息并将深度表示信息提供至预处理单元32和文件生成单元34。

基于从获取单元31提供的深度表示信息，预处理单元32将每个像素的深度信息量化为0到255的值，并且生成包括作为结果获得的像素值的深度图像。预处理单元32将深度图像、纹理图像和深度表示信息提供至编码单元33。

编码单元33配置有纹理图像编码单元41和深度图像编码单元42。纹理图像编码单元41通过MVD方法或MV-HEVC方法对从预处理单元32提供的纹理图像进行编码。纹理图像编码单元41将在编码时解码的纹理图像提供至深度图像编码单元42。

深度图像编码单元42利用从纹理图像编码单元41提供的纹理图像作为参考图像的候选，通过MVD方法或MV-HEVC方法对从预处理单元32提供的深度图像进行编码。

编码单元33将基本流(编码流)提供至文件生成单元34，该基本流包括由纹理图像编码单元41编码的纹理图像和由深度图像编码单元42编码的深度图像，并且该基本流包括作为SEI的深度表示信息。

文件生成单元34对从编码单元33提供的基本流进行采样和布置，以及对具有相同深度表示信息的连续样本进行分组并生成MP4文件，在MP4文件中，描述在每个组的深度表示信息中的彼此不同的深度表示信息。文件生成单元34将MP4文件提供至记录控制单元35。

记录控制单元35将从文件生成单元34提供的MP4文件提供至图1中的记录介质12以进行记录。

(MP4文件的结构)

图3是示出MP4文件的结构的图。

如图3所示，MP4文件的结构是盒结构。在图3的示例中，MP4文件具有片段电影(Fragment Movie)结构。因此，在图3的MP4文件中，按顺序布置ftyp盒(FileTypeBox)、moov盒(MovieBox)和mdat盒(MediaDataBox)以及一个或更多个moof盒(MovieFragmentBox)和mdat盒。

ftyp盒是指示MP4文件的开始的盒，并且其中描述了用于标识文件格式等的信息。在moov盒中，描述关于所有时间样本的样本的信息(下文中称为样本信息)等。在mdat盒中，对样本进行布置。在moof盒中，描述每个任意时间的样本信息等。

注意，可以根据需要在MP4文件中布置其中描述关于随机访问的信息的mfra盒(MovieFragmentRandomAccessBox)。

(moov盒的结构)

图4是示出moov盒的结构的图。

如图4所示，moov盒配置有MovieHeaderBox和一个或更多个trak盒(TrackBox)。在MovieHeaderBox中，描述指定运动图像内容的时间轴的信息等。

trak盒以轨道为单位布置，并且其中描述关于相应轨道的信息。例如，在trak盒中，布置有stbl盒(SampleTableBox)，在stbl盒中，描述关于分配有相应轨道的所有时间样本的样本信息。

在stbl盒中，使用被称为样本组的技术。被称为样本组的技术是对具有共有样本信息的连续样本进行分组并且仅描述每个组的样本信息中的彼此不同的样本信息的技术。利用这种技术，可以防止冗余地描述相同的样本信息。因此，在关于多个样本的样本信息相同的情况下，可以有效地描述样本信息。

(moof盒的结构)

图5是示出moof盒的结构的图。

如图5所示，moof盒配置有MovieFragmentHeaderBox和一个或更多个traf盒(TrackFragmentBox)。在MovieFragmentHeaderBox中，描述按顺序分配给moof盒的序列号等。

traf盒以轨道为单位布置，并且在traf盒中描述关于分配有相应轨道的任意时间的样本的样本信息。与stbl盒类似，在traf盒中使用被称为样本组的技术。

(对样本组的说明)

图6是用于说明样本组的图。

如图6所示，使用被称为样本组的技术的盒包括sgpd盒(SampleGroupDescriptionBox)和sbgp盒(SampleToGroupBox)。

sgpd盒是对具有共有样本信息的样本进行分组并且描述每个组的样本信息的盒。sbgp盒是描述用于指定每个组的样本的信息(下文中称为样本指定信息)的盒。

在sgpd盒(组信息盒)中，描述grouping_type、entry_count、GroupEntry等。sgpd盒的grouping_type指示作为对相应组进行分组的基础的样本信息的类型，并且entry_count指示在每个组的样本信息中的彼此不同的样本信息的数量。另外，GroupEntry是在每个组的样本信息中的彼此不同的样本信息，并且其中仅描述entry_count。GroupEntry的结构取决于grouping_type而不同。

在sbgp盒(组盒)中，描述grouping_type、entry_count、sample_count、group_description_index等。sbgp盒的grouping_type指示作为对相应组进行分组的基础的样本信息的类型，并且entry_count指示组的数量。

sample_count是每个组的样本指定信息，并且指示每个组的连续样本的数量。在sample_count中仅描述entry_count，并且所有sample_count的总和是与包括sgpd盒的盒(例如，trak盒和traf盒)对应的样本的数量(例如，轨道的样本总数)。group_description_index是用于指定作为每个组的样本信息的GroupEntry的信息。

在图6的示例中，具有相同grouping_type的sbgp盒和sgpd盒的entry_count分别是6和4。因此，组的数量是6个，并且在六个组的样本信息中彼此不同的样本信息的数量是四个。然后，在sgpd盒中描述了四个GroupEntry。

此外，从sbgp盒的开头开始的第一sample_count[1]到第六sample_count[6]依次为1、2、1、1、1、2。因此，从开始起的第一个组到第六个组中的样本的数量依次为1、2、1、1、1、2。

也就是说，从开始起的第一个样本(sample[1])被划分为从开始起的第一个组，并且从开始起的第二个样本和第三个样本(sample[2]和sample[3])被划分为从开始起的第二个组。另外，从开始起的第四个样本(sample[4])被划分为从开始起的第三个组，并且从开始起的第五个样本(sample[5])被划分为从开始起的第四个组。从开始起的第六个样本(sample[6])被划分为从开始起的第五个组，并且从开始起的第七个样本和第八个样本(sample[7]和sample[8])被划分为从开始起的第六个组。

此外，从开始起的第一个group_description_index[1]到第六个group_description_index[6]依次为1、3、2、0、4、1。因此，关于被划分为从开始起的第一个组的从开始起的第一个样本的样本信息是从开始起的第一个GroupEntry。另外，被划分为从开始起的第二个组的从开始起的第二个样本和第三个样本所共有的样本信息是从开始起的第三个GroupEntry。

此外，关于被划分为从开始起的第三个组的从开始起的第四个样本的样本信息是从开始起的第二个GroupEntry。另外，不存在被划分为从开始起的第五个组的从开始起的第四个样本信息。

另外，关于被划分为从开始起的第五个组的从开始起的第六个样本的样本信息是从开始起的第四个GroupEntry。另外，被划分为从开始起的第六个组的从开始起的第七个样本和第八个样本所共有的样本信息是从开始起的第一个GroupEntry。

(sgpd盒的详细结构示例)

图7是示出sgpd盒的详细结构示例的图。

如图7所示，在sgpd盒中描述grouping_type和entry_count。另外，在与运动图像的轨道对应的sgpd盒中，作为运动图像的轨道的样本信息的VisualSampleGroupEntry被描述为GroupEntry。VisualSampleGroupEntry的结构取决于grouping_type而不同。

(VisualSampleGroupEntry的第一结构示例)

图8是示出在grouping_type是DEPI的情况下的VisualSampleGroupEntry的第一结构示例的图，其中，DEPI指示作为分组的基础的样本信息是深度表示信息。

图8中的VisualSampleGroupEntry包括scheme_uri、length以及depth_representation_information。

如图9所示，图8中的scheme_uri是指示深度表示信息的结构的信息。length是指示深度表示信息的长度的信息。depth_representation_information是作为样本信息的深度表示信息。

(scheme_uri的值的示例)

图10是示出图9中的scheme_uri的值的示例的图。

如图10所示，例如，存在urn：mpeg：14496：10：depth_representation_information：2015和urn：mpeg：23008：2：depth_representation_information：2015作为scheme_uri的值。

urn:mpeg:14496:10:depth_representation_information:2015是指示深度表示信息的结构与ISO/IEC 14496-10的深度表示信息SEI消息的结构相同的值。

另外，urn：mpeg：23008：2：depth_representation_information：2015是指示深度表示信息的结构与ISO/IEC 23008-2的深度表示信息SEI消息的结构相同的值。

如上所述，在指示深度表示信息的结构的信息被描述为scheme_uri的情况下，可以仅通过设置scheme_uri的值来指示除当前定义的结构之外的结构。因此，可以容易地扩展深度表示信息的结构。

(深度表示信息的结构示例)

图11是示出在深度表示信息的结构与ISO/IEC 14496-10的深度表示信息SEI消息的结构相同的情况下的深度表示信息的结构示例的图。

图11中的深度表示信息包括指示深度图像的类型的depth_representation_type以及表示深度信息的最小值和最大值的信息。图11中的表示深度信息的最小值和最大值的信息是：表示深度信息的最小值的ZNearSign、ZNearExp、ZNearMantissa和ZNearManLen(DMinSign、DMinExp、DMinMantissa和DMinManLen)，表示最大值的ZFarSign、ZFarExp、ZFarMantissa和ZFarManLen(DMaxSign、DMaxExp、DMaxMantissa和DMaxManLen)，或者作为在深度信息的最小值和最大值前面的指定深度图像的信息的common_z_axis_reference_view和z_axis_reference_view(disparity_reference_view)相同。

图12是示出在深度表示信息的结构与ISO/IEC 23008-2的深度表示信息SEI消息的结构相同的情况下的深度表示信息的结构示例的图。

图12中的深度表示信息包括指示深度图像的类型的depth_representation_type以及表示深度信息的最小值和最大值的信息。图12中的表示深度信息的最小值和最大值的信息是：表示深度信息的最小值的ZNearSign、ZNearExp、ZNearMantissa和ZNearManLen(DMinSign、DMinExp、DMinMantissa和DMinManLen)，表示最大值的ZFarSign、ZFarExp、ZFarMantissa和ZFarManLen(DMaxSign、DMaxExp、DMaxMantissa和DMaxManLen)，或者在深度信息是表示视差的信息的情况下，作为在深度信息的最小值和最大值前面的指定深度图像的信息的disparity_ref_view_id相同。

如图11和图12所示，在深度表示信息的结构与ISO/IEC 14496-10的深度表示信息SEI消息的结构相同的情况下和在深度表示信息的结构与ISO/IEC 23008-2的深度表示信息SEI消息的结构相同的情况下，深度表示信息的结构不同。

(depth_representation_type的值的示例)

图13是示出图11中的depth_repreationation_type的值的示例的图。

如图13所示，在图11中的depth_repreationation_type的值为0的情况下，depth_representation_type指示深度图像是具有像素值的图像，该像素值是通过将深度信息均匀量化为0到255的值而获得的值，该深度信息是表示对象在深度方向上的位置的深度z的倒数。

另外，在depth_representation_type的值为1的情况下，depth_representation_type指示深度图像是具有像素值的图像，该像素值是通过将作为视差的深度信息均匀量化为0到255的值而获得的值。注意，视差可以被唯一地转换成表示对象在深度方向上的位置的深度z。因此，可以说，视差是表示对象在深度方向上的深度信息。

在depth_representation_type的值为2的情况下，depth_representation_type指示深度图像是具有像素值的图像，该像素值是通过将作为深度z的深度信息均匀地量化为0到255的值而获得的值。

在depth_representation_type的值为3的情况下，depth_representation_type指示深度图像是具有像素值的图像，该像素值是通过使用非线性函数将作为视差的深度信息量化为0到255的值而获得的值。

(sbgp盒的详细结构示例)

图14是示出sbgp盒的详细结构示例的图。

如图14所示，sbgp盒包括grouping_type、grouping_type_parameter，grouping_type_parameter是由grouping_type、entry_count、sample_count和group_description_index指示的样本信息的参数。

(VisualSampleGroupEntry的第二结构示例)

图15是示出在grouping_type是DEPI的情况下的VisualSampleGroupEntry的第二结构示例的图。

图15中的VisualSampleGroupEntry的结构与图8中的结构的不同之处在于：指示深度表示信息的结构的信息被描述为字段而不是scheme_uri。

具体地，在图15的VisualSampleGroupEntry中，depth_scheme_type被描述为字段而不是scheme_uri。如图16所示，depth_scheme_type是指示深度表示信息的结构的信息，并且是16比特的固定长度的信息。

(depth_scheme_type的值的示例)

图17是示出depth_scheme_type的值的示例的图。

如图17所示，在depth_scheme_type的值是0x0000的情况下，depth_scheme_type指示深度表示信息的结构与ISO/IEC 14496-10的深度表示信息SEI消息的结构相同。

另外，在depth_scheme_type的值是0x0001的情况下，depth_scheme_type指示深度表示信息的结构与ISO/IEC 23008-2的深度表示信息SEI消息的结构相同。

此外，在depth_scheme_type中，0x0100至0xFFFF被分配为指示不同于当前定义的结构的结构的值。因此，通过仅将0x0100至0xFFFF中的任何一个值设置为depth_scheme_type，可以指示该结构是不同于当前定义的结构。因此，可以容易地扩展深度表示信息的结构。

(VisualSampleGroupEntry的第三结构示例)

图18是示出在grouping_type是DEPI的情况下的VisualSampleGroupEntry的第三结构示例的图。

图18中的VisualSampleGroupEntry的结构与图8中的结构的不同之处在于：没有描述指示深度表示信息的结构的信息。具体地，图18中的VisualSampleGroupEntry包括scheme_uri和长度。

(group_type_parameter的值的示例)

图19是示出在VisualSampleGroupEntry的结构是图18中的结构的情况下的sbgp盒中的group_type_parameter的值的示例的图。

在VisualSampleGroupEntry的结构是图18中的结构的情况下，如图19所示，通过使用sbgp盒的group_type_parameter来描述深度表示信息的结构。也就是说，在sbgp盒中将group_type_parameter描述为指示深度表示信息的结构的信息。

具体地，在group_type_parameter的值为0x0000的情况下，group_type_parameter指示深度表示信息的结构与ISO/IEC 14496-10的深度表示信息SEI消息的结构相同。

另外，在group_type_parameter的值为0x0001的情况下，group_type_parameter指示深度表示信息的结构与ISO/IEC 23008-2的深度表示信息SEI消息的结构相同。

此外，在group_type_parameter中，0x0100至0xFFFF被分配为指示不同于当前定义的结构的结构的值。因此，通过仅将0x0100至0xFFFF的值中的任何一个设置为group_type_parameter，可以指示该结构是不同于当前定义的结构。因此，可以容易地扩展深度表示信息的结构。

(对文件生成设备的处理的说明)

图20是用于说明图2中的文件生成设备11的文件生成处理的流程图。

在图20的步骤S11中，文件生成设备11的获取单元31从外部获取运动图像内容的纹理图像、关于每个像素的深度信息和深度表示信息。获取单元31将纹理图像和关于每个像素的深度信息提供至预处理单元32，并将深度表示信息提供至预处理单元32和文件生成单元34。

在步骤S12中，预处理单元32基于深度表示信息将关于每个像素的深度信息量化为从0到255的值，并且将这些值设置为深度图像的像素值，以根据深度信息来生成深度图像。预处理单元32将深度图像、纹理图像和深度表示信息提供至编码单元33。

在步骤S13中，编码单元33的纹理图像编码单元41通过MVD方法或MV-HEVC方法对从预处理单元32提供的纹理图像进行编码。纹理图像编码单元41将在编码时解码的纹理图像提供至深度图像编码单元42。

在步骤S14中，深度图像编码单元42利用从纹理图像编码单元41提供的纹理图像作为参考图像的候选，通过MVD方法或MV-HEVC方法对从预处理单元32提供的深度图像进行编码。编码单元33将包括由纹理图像编码单元41编码的纹理图像、由深度图像编码单元42编码的深度图像以及深度表示信息的基本流提供至文件生成单元34。

在步骤S15中，文件生成单元34对基本流进行采样和布置，以及生成MP4文件，在MP4文件中，grouping_type是DEPI的sbgp盒和sgpd盒被布置在stbl盒和traf盒中。文件生成单元34将MP4文件提供至记录控制单元35。

在步骤S16中，记录控制单元35将从文件生成单元34提供的MP4文件提供至图1中的记录介质12以进行记录。然后，处理结束。

如上所述，文件生成设备11生成其中在基本流外部描述深度表示信息的MP4文件。因此，再现设备13可以直接从MP4文件提取深度表示信息，并且不需要从MP4文件中提取基本流并且进一步从基本流提取深度表示信息。结果，有助于再现设备13的处理。

此外，文件生成设备11对具有相同深度表示信息的样本进行分组，并且仅在MP4文件中描述在每个组的深度表示信息中彼此不同的深度表示信息。因此，可以防止在MP4文件中冗余地描述相同的深度表示信息并且可以有效地描述深度表示信息。结果，可以减小MP4文件中的整个深度表示信息的大小。

(再现设备的配置示例)

图21是示出图1中的再现设备13的配置示例的框图。

图21中的再现设备13配置有再现控制单元61、分析单元62、解码单元63以及显示生成单元64。

再现设备13的再现控制单元61从记录在记录介质12上的MP4文件中提取当前再现样本，并将该样本提供至分析单元62。再现控制单元61还从MP4文件提取包括当前再现样本的轨道的、grouping_type是DEPI的sbgp盒和sgpd盒，并将这些盒提供至分析单元62。

分析单元62将从再现控制单元61提供的样本提供至解码单元63。在当前再现样本是深度图像的基本流的情况下，分析单元62还基于sbgp盒和sgpd盒来识别指示关于当前再现样本的深度表示信息的结构的信息以及深度表示信息。

具体地，分析单元62基于sbgp盒的sample_count来识别当前再现样本的组。然后，在由当前再现样本的组中的group_description_index指定的sgpd盒中的VisualGroupEntry的结构是图8中的结构的情况下，分析单元62将VisualGroupEntry的scheme_uri识别为指示信息深度表示的结构的信息。

另一方面，在由当前再现样本的组中的group_description_index指定的sgpd盒中的VisualGroupEntry的结构是图15中的结构的情况下，分析单元62将VisualGroupEntry的depth_scheme_type识别为指示深度表示信息的结构的信息。

另外，在由当前再现样本的组中的group_description_index指定的sgpd盒中的VisualGroupEntry的结构是图18中的结构的情况下，分析单元62将sbgp盒中的grouping_type_parameter识别为指示深度表示信息的结构的信息。

分析单元62还根据由当前再现样本的组中的group_description_index指定的sgpd盒中的VisualGroupEntry来识别深度表示信息(depth_representation_information)。分析单元62将识别到的指示深度表示信息的结构的信息和深度表示信息提供至显示生成单元64。

解码单元63配置有纹理图像解码单元71和深度图像解码单元72。在从分析单元62提供的当前再现样本是纹理图像的基本流的情况下，解码单元63的纹理图像解码单元71通过MVD方法或MV-HEVC方法对该基本流进行解码。纹理图像解码单元71将解码后的纹理图像提供至显示生成单元64和深度图像解码单元72。

在从分析单元62提供的当前再现样本是纹理图像的基本流的情况下，深度图像解码单元72根据需要利用从纹理图像解码单元71提供的纹理图像作为参考图像，通过MVD方法或MV-HEVC方法对该基本流进行解码。深度图像解码单元72将作为解码结果而获得的深度图像提供至显示生成单元64。

显示生成单元64配置有深度信息生成单元81和合成单元82。显示生成单元64的深度信息生成单元81基于来自分析单元62的指示深度表示信息的结构的信息以及深度表示信息对来自深度图像解码单元72的深度图像进行去量化，并且生成深度信息。

具体地，在指示深度表示信息的结构的信息是指示可以由自身识别的结构的信息的情况下，深度信息生成单元81分析深度表示信息的结构并且识别深度图像的类型以及深度信息的最小值和最大值。深度信息生成单元81基于深度图像的类型以及深度信息的最小值和最大值来对深度图像进行去量化，并且生成深度信息。然后，深度信息生成单元81将深度信息和深度图像的类型提供至合成单元82。

在从深度信息生成单元81提供了深度信息的情况下，合成单元82基于深度图像的类型，根据纹理图像和深度信息来生成3D图像，并将3D图像提供至图1中的显示设备14。另一方面，在未从深度信息生成单元81提供深度信息的情况下，合成单元82将纹理图像直接提供至显示设备14。

(对再现设备的处理的说明)

图22是用于说明在作为深度图像的基本流的样本当前要被再现时图21中的再现设备13的解码处理的流程图。

在图22的步骤S31中，再现控制单元61从记录在记录介质12上的MP4文件中提取当前再现样本，并且经由分析单元62将样本提供至解码单元63。

在步骤S32中，解码单元63的深度图像解码单元72根据需要利用从纹理图像解码单元71提供的纹理图像作为参考图像，通过MVD方法或MV-HEVC方法对当前再现样本进行解码。深度图像解码单元72将作为解码结果而获得的深度图像提供至深度信息生成单元81，并且处理结束。

图23是用于说明在作为深度图像的基本流的样本当前要被再现时再现设备13的深度信息生成处理的流程图。

在图23的步骤S51中，再现设备13的再现控制单元61从MP4文件提取包括当前再现样本的轨道的、grouping_type是DEPI的sbgp盒和sgpd盒，并且将这些盒提供至分析单元62。

在步骤S52中，分析单元62基于sbgp盒和sgpd盒来识别指示关于当前再现样本的深度表示信息的结构的信息以及深度表示信息。分析单元62将识别到的指示深度表示信息的结构的信息以及深度表示信息提供至深度信息生成单元81。

在步骤S53中，深度信息生成单元81确定来自分析单元62的深度表示信息的结构是否是可以由其自身识别的结构。在步骤S53中确定深度表示信息的结构是可以由自身识别的结构的情况下，处理进行至步骤S54。

在步骤S54中，深度信息生成单元81根据深度表示信息来识别深度图像的类型以及深度信息的最小值和最大值。

在步骤S55中，深度信息生成单元81确定是否通过图22的步骤S32中的处理从深度图像解码单元72提供了深度图像。在步骤S55中确定未提供深度图像的情况下，深度信息生成单元81等待直到深度图像被提供。

另一方面，在步骤S55中确定提供了深度图像的情况下，在步骤S56中，深度信息生成单元81基于深度图像的类型以及深度信息的最小值和最大值来对深度图像进行去量化，并根据深度图像来生成深度信息。然后，深度信息生成单元81将深度信息和深度图像的类型提供至合成单元82。

同时，在步骤S53中确定深度表示信息的结构不是可以由其自身识别的结构的情况下，处理结束。

注意，深度信息生成单元81可以在图23的步骤S54中的处理之后确定深度图像的类型是否是可以由其自身处理的类型。在这种情况下，在确定深度图像的类型是可以由其自身处理的类型的情况下，处理进行至步骤S55。在确定深度图像的类型不是可以由其自身处理的类型的情况下，处理结束。

如上所述，再现设备13可以再现由文件生成设备11生成的MP4文件。再现设备13还可以基于MP4文件中的深度表示信息，根据深度图像来生成深度信息。

注意，在上面的描述中，深度表示信息被布置在stbl盒和traf盒中，但是布置有深度表示信息的盒不限于stbl盒和traf盒。

另外，代替MVC方法和MV-HEVC方法，对纹理图像和深度图像的编码方法可以是AVC方法或HEVC方法。

(对深度表示信息的替选布置方法的说明)

图24是用于说明深度表示信息的替选布置方法的图。

更具体地，图24是示出在通过AVC方法编码纹理图像和深度图像的情况下的MP4文件的盒的层级结构的图。盒越靠近右边，层级越低。例如，trak盒是层级低于moov盒的盒并且是布置在moov盒中的盒。另外，ftyp盒和moov盒是相同层级的盒。

此外，图24中的星号指示在通过替选布置方法将深度表示信息布置在MP4文件的条目流外部的情况下深度表示信息被布置的位置。

如图24所示，深度表示信息的第一替选布置方法是将DEPI盒(DepthRepresentationInformationbox)添加到trak盒的下层的avcC盒(AVCConfigurationBox)的方法，其中，DEPI盒在不使用被称为样本组的技术的情况下描述深度表示信息。avcC盒是其中描述关于通过AVC方法编码的样本的配置信息的盒。

深度表示信息的第二替选布置方法是将DEPI盒添加到VisualSampleEntry的方法，其中VisualSampleEntry是通过AVC方法编码的样本的SampleEntry的基础，并且被包括在trak盒的下层的avc1盒中。

深度表示信息的第三替选布置方法是将DEPI盒添加到schi盒(SchemeInformationBox)的方法，其中schi盒指示rinf盒(RestrictedSchemeInformationBox)的下层的后处理的内容，rinf盒描述用于trak盒的下层的后处理的信息。由于深度表示信息是用于作为在解码处理之后的后处理的深度信息生成处理的信息，因此可以通过在schi盒中描述信息来提高便利性。

深度表示信息的第四替选布置方法是将DEPI盒添加到trak盒的下层的udta盒(UserDataBox)的方法。

在第一替选布置方法至第四替选布置方法中，由于深度表示信息在基本流的外部被描述，因此再现设备13不需要从基本流提取深度表示信息。因此，有助于再现设备13的处理。

注意，虽然在图24的示例中深度表示信息被布置在moov盒中，但是深度表示信息可以被布置在moof盒中。

(对第一替选布置方法的说明)

图25是示出在通过第一替选布置方法布置深度表示信息的情况下的avcC盒的结构示例的图。

图25中的avcC盒包括以块(chunk)为单位的配置信息和DEPI盒(DepthRepresentationInformationBox)。每当在avcC盒中描述的信息在块之间不同时，新生成avcC盒。通过使用Sample_description_index将avcC盒和块相关联，Sample_description_index是用于参考来自stbl盒中的SampleToChunkBox的样本条目的信息。

图26是示出图25中的DEPI盒的第一结构示例的图。

图26中的DEPI盒包括scheme_uri、length以及depth_representation_information。也就是说，该DEPI盒是图8中的VisualSampleGroupEntry的盒结构。

图27是示出图25中的DEPI盒的第二结构示例的图。

图27中的DEPI盒包括depth_scheme_type、length以及depth_representation_information。也就是说，该DEPI盒是图15中的VisualSampleGroupEntry的盒结构。

在第一替选布置方法中，由于DEPI盒被布置在取决于编码方法的avcC盒中，因此需要将其中描述每种编码方法的配置信息的盒扩展为能够布置DEPI盒。

注意，可以在其中描述HEVC方法和MV-HEVC方法的配置信息的盒中已描述深度表示信息。然而，不能描述具有不同于当前定义的结构的结构的深度表示信息。

另一方面，在第一替选布置方法中，通过将scheme_uri或depth_scheme_type设置为指示不同于当前定义的深度表示信息的结构的结构的值，可以描述具有该结构的深度表示信息。

(对第二替选布置方法的说明)

图28是示出在通过第二替选布置方法布置深度表示信息的情况下VisualSampleEntry的结构示例的图。

在图28的VisualSampleEntry中，布置有DEPI盒。该DEPI盒的结构与图26或图27中的结构相同。类似于avcC盒，每当在盒中描述的信息在块之间不同时，新生成包括具有基于VisualSampleEntry的结构的每种编码方法的SampleEntry的盒(在编码方法是AVC方法的情况下的avc1盒)。通过使用Sample_description_index来关联该盒(例如，avc1盒)和块，Sample_description_index是用于参考来自stbl盒中的Sample to Chunk box的样本条目的信息。

在第二替选布置方法中，由于DEPI盒被布置在VisualSampleEntry中，其中VisualSampleEntry是每种编码方法的SampleEntry的基础并且不依赖于编码方法，因此不需要针对每种编码方法进行扩展。

另外，在通过第三替选布置方法布置深度表示信息的情况下的在schi盒中布置的DEPI盒的结构与图26或图27中的结构相同。通过包括DEPI盒，schi盒指示后处理是深度信息生成处理并且指示该深度信息生成处理所需的深度表示信息。

类似于avcC盒，每当在schi盒中描述的信息在块之间不同时，新生成schi盒。通过使用Sample_description_index将schi盒和块相关联，Sample_description_index是用于参考来自stbl盒中的SampleToChunkBox的样本条目的信息。

在第三替选布置方法中，由于DEPI盒被布置在不依赖于编码方法的schi盒中，因此不需要针对每种编码方法进行扩展。

如上所述，在第一替选布置方法至第三替选布置方法中，DEPI盒被布置在每当所描述的信息在块之间不同时生成的盒(avcC盒、avc1盒、schi盒等)中。因此，文件生成单元34不对具有相同深度表示信息的样本进行分组，而是针对每个块在MP4文件中描述深度表示信息，在每个块中，在布置有DEPI盒的盒中描述的信息不同。

(对第四替选布置方法的说明)

图29是示出在通过第四替选布置方法布置深度表示信息的情况下的在udta盒中布置的DEPI盒的结构示例的图。

在图29的DEPI盒中，描述了entry_count和scheme_uri，并且描述了对于entry_count的sample_count、length以及depth_repreationation_information。

也就是说，在第四替选布置方法中，文件生成单元34对具有相同深度表示信息的连续样本进行分组。然后，文件生成单元34在DEPI盒中描述指示这些组的数目的entry_count。

此外，文件生成单元34在DEPI盒中描述作为每个组的样本指定信息的sample_count、指示深度表示信息的长度的length以及作为深度表示信息的depth_repreationation_information。此外，文件生成单元34在DEPI盒中描述指示深度表示信息的结构的scheme_uri。其中如上所述描述信息的DEPI盒被布置在MP4文件中。

如上所述，在第四替选布置方法中，具有相同深度表示信息的样本被分组，并且每个组的深度表示信息在MP4文件中描述。因此，可以抑制冗余地描述相同深度表示信息，并且可以有效地描述深度表示信息。结果，可以减小MP4文件中的整个深度表示信息的大小。

此外，在第四替选布置方法中，由于DEPI盒被布置在不依赖于编码方法的udta盒中，因此不需要针对每种编码方法进行扩展。

注意，虽然在图29的示例中指示深度表示信息的结构的信息被描述为scheme_uri，但是可以如图15的情况那样被描述为字段。

<第二实施方式>

(VisualSampleGroupEntry的第一结构示例)

除了在MP4文件中描述的深度表示信息的结构本身是包括在深度图像的基本流中的深度表示信息的SEI的NAL单元的结构之外，应用本公开内容的根据第二实施方式的信息处理系统的配置与图1中的配置相同。

也就是说，在第二实施方式中，在VisualSampleGroupEntry中描述的深度表示信息的结构本身是包括深度图像的基本流的深度表示信息的SEI(深度表示信息SEI消息)的NAL单元的结构。因此，在第二实施方式中，定义了直接存储有通过ISO/IEC 14496-10或ISO/IEC 23008-2定义的NAL单元的VisualSampleGroupEntry。

图30是示出这种VisualSampleGroupEntry的结构示例的图。

图30中的VisualSampleGroupEntry的grouping_type是指示作为分组的基础的样本信息是NAL单元的nalg。另外，图30中的VisualSampleGroupEntry包括通过ISO/IEC14496-10或ISO/IEC 23008-2定义的NAL单元(NAL_unit)。

在第二实施方式中，图30中的VisualSampleGroupEntry在sgpd盒中描述，VisualSampleGroupEntry包括深度图像的基本流的深度表示信息的SEI的NAL单元。

此外，在第二实施方式中，定义了sbgp盒，其中sbgp盒的grouping_type是nalg并且sbgp盒对应于其中描述了图30中的VisualSampleGroupEntry的sgpd盒。

(sbgp盒的第一结构示例)

图31是示出其grouping_type是nalg的sbgp盒的结构示例的图。

除了nalg被描述为grouping_type并且grouping_type_parameter被替换为闲置区域(reserved)、NAL_unit_type和NAL_unit_type_information之外，图31中的结构与图14中的结构相同。

如图32所示，NAL_unit_type是表示由grouping_type“nalg”指示为样本信息的NAL单元的类型的信息，并且例如类似地被定义为通过ISO/IEC 14496-10或ISO/IEC23008-2定义的NAL_unit_type。

另外，NAL_unit_type_information是标识在由NAL_unit_type表示的类型的NAL单元中的由grouping_type“nalg”指示为样本信息的NAL单元的信息。例如，在NAL单元的类型是SEI的NAL单元的类型的情况下，存在可以存储在NAL单元中的多种类型的SEI。因此，在这种情况下，描述NAL_unit_type_information以根据可以存储在NAL单元中的SEI的类型来识别存储在由grouping_type“nalg”指示为样本信息的NAL单元中的SEI的类型。

如上所述，通过在sbgp盒中描述NAL_unit_type和NAL_unit_type_information，再现设备13可以将NAL单元的类型识别为用于对样本进行分组的样本信息。因此，可以基于样本信息中的任何类型的NAL单元对样本进行分组。

在第二实施方式中，在纹理图像和深度图像的编码方法是MVD方法的情况下，表示SEI的NAL单元的类型的6被描述为NAL_unit_type。然后，作为包括深度表示信息的SEI的payloadType的50被描述为NAL_unit_type_information。

此外，在对纹理图像和深度图像的编码方法是MV-HEVC方法的情况下，表示PREFIXSEI的NAL单元的类型的39被描述为NAL_unit_type。然后，作为包括深度表示信息的SEI的payloadType的177被描述为NAL_unit_type_information。

(对信息处理系统的处理的说明)

除了在MP4文件中描述的深度表示信息的结构本身是包括在深度图像的基本流中的深度表示信息的SEI的NAL单元的结构之外，第二实施方式中的文件生成设备11的文件生成处理与图20中的文件生成处理相同。另外，第二实施方式中的再现设备13的解码处理与图22中的解码处理相同。因此，在下文中，将描述在作为深度图像的基本流的样本当前要被再现时的第二实施方式中的再现设备13的深度信息生成处理。

图33是用于说明该深度信息生成处理的流程图。

在图33的步骤S71中，再现设备13的再现控制单元61从MP4文件中提取包括当前再现样本的轨道的、grouping_type为nalg的sbgp盒和sgpd盒，并将这些盒提供至分析单元62。

在步骤S72中，分析单元62基于sbgp盒和sgpd盒来识别包括关于当前再现样本的深度表示信息的SEI的NAL单元。具体地，分析单元62基于图31中的sbgp盒的NAL_unit_type和NAL_unit_type_information来选择包括深度表示信息的SEI的NAL单元的sbgp盒。分析单元62基于所选择的sbgp盒的sample_count来识别当前再现样本的组。然后，分析单元62根据图30中的包括在由该组的group_description_index指定的sgpd盒中的VisualGroupEntry来识别NAL单元。分析单元62将识别到的具有深度表示信息的SEI的NAL单元提供至深度信息生成单元81。

在步骤S73中，深度信息生成单元81根据从分析单元62提供的包括深度表示信息的SEI(图11或12)的NAL单元来识别深度图像的类型以及深度信息的最小值和最大值。

由于步骤S74和S75中的处理与图23中的步骤S55和S56中的处理类似，因此将省略其描述。

注意，深度信息生成单元81可以在图33中的步骤S73中的处理之后确定深度图像的类型是否是可以由其自身处理的类型。在这种情况下，在确定深度图像的类型是可以由其自身处理的类型的情况下，处理进行至步骤S74。在确定深度图像的类型不是可以由其自身处理的类型的情况下，处理结束。

此外，在第二实施方式中，在MP4文件中描述的深度表示信息的结构本身可以是包括在深度图像的基本流中的深度表示信息的SEI的结构。在这种情况下，定义了直接存储有通过ISO/IEC 14496-10或ISO/IEC 23008-2定义的SEI的VisualSampleGroupEntry，并且定义了与其中描述该VisualSampleGroupEntry的sgpd盒对应的sbgp盒。

(VisualSampleGroupEntry的第二结构示例)

图34是示出直接存储有通过ISO/IEC 14496-10或ISO/IEC 23008-2定义的SEI的VisualSampleGroupEntry的结构示例的图。

图34中的VisualSampleGroupEntry的grouping_type是指示作为分组的基础的样本信息是SEI的seim。另外，图34中的VisualSampleGroupEntry包括通过ISO/IEC 14496-10或ISO/IEC 23008-2定义的SEI(sei_message)。

在第二实施方式中，在sgpd盒中描述图34中的包括深度图像的基本流中的深度表示信息的SEI的VisualSampleGroupEntry。

(sbgp盒的第二结构示例)

图35是示出sbgp盒的详细结构示例的图，sbgp盒的grouping_type是seim，并且sbgp盒与其中描述了图34中的VisualSampleGroupEntry的sgpd盒对应。

除了将seim描述为grouping_type并且将grouping_type_parameter替换为闲置区域(reserved)和payloadType之外，图35中的结构与图14中的结构相同。

payloadType是标识由grouping_type“seim”指示作为样本信息的SEI的类型的信息，并且payloadType例如被类似地定义为通过ISO/IEC14496-10或ISO/IEC 23008-2定义的payloadType。

如上所述，通过在sbgp盒中描述payloadType，再现设备13可以将SEI的类型识别为用于对样本进行分组的样本信息。因此，可以基于样本信息中的任何类型的SEI对样本进行分组。

在第二实施方式中，在对纹理图像和深度图像的编码方法是MVD方法的情况下，作为包括深度表示信息的SEI的payloadType的50被描述为payloadType。此外，在对纹理图像和深度图像的编码方法是MV-HEVC方法的情况下，作为包括深度表示信息的SEI的payloadType的177被描述为payloadType。

除了在MP4文件中描述的深度表示信息的结构本身是包括在深度图像的基本流中的深度表示信息的SEI的结构之外，在MP4文件中描述的深度表示信息的结构本身是包括在深度图像的基本流中的深度表示信息的SEI的结构的情况下的文件生成处理类似于图20中的文件生成处理。另外，解码处理与图22中的解码处理相同。

此外，除了所提取的sbgp盒和sgpd盒的grouping_type是seim并且将深度表示信息的SEI的NAL单元替换为深度表示信息的SEI之外，在作为深度图像的基本流的样本当前要被再现时的深度信息生成处理类似于图33中的深度信息生成处理。

如上所述，在第二实施方式中，类似于第一实施方式，在MP4文件中的基本流的外部描述深度表示信息，从而有助于再现设备13的处理。

另外，在第二实施方式中，类似于第一实施方式，对具有相同深度表示信息的样本进行分组，并且仅在MP4文件中描述每个组的深度表示信息中的彼此不同的深度表示信息。因此，可以减小MP4文件中的整个深度表示信息的大小。

<第三实施方式>

(moov盒和mdat盒的结构示例)

除了关于深度图像的基本流的每个样本的深度表示信息被存储在与MP4文件中的深度图像的基本流的轨道不同的轨道的样本中之外，应用本公开内容的根据第三实施方式的信息处理系统的配置与图1中的信息处理系统10的配置相同。

也就是说，在第一实施方式中，深度图像的基本流的轨道与深度表示信息的轨道相同。具体地，深度表示信息被描述为深度图像的基本流的轨道的样本信息，并且深度图像的基本流作为样本布置。另一方面，在第三实施方式中，深度图像的基本流的轨道与深度表示信息的轨道不同。

图36是示出第三实施方式中的MP4文件的moov盒和mdat盒的结构示例的图。

注意，在图36中仅示出了与深度图像的基本流的轨道和深度表示信息的轨道有关的结构。这同样适用于稍后描述的图45。

如图36所示，在moov盒中，布置有深度图像的基本流的轨道(深度轨道)的trak盒和深度表示信息的轨道(深度元数据轨道)的trak盒。

在深度表示信息的轨道的trak盒的tref盒(轨道参考盒)中，分配给深度图像的基本流的轨道的轨道ID被描述为用于指定将由该轨道参考的轨道的轨道ID。另外，在stsd盒(样本描述盒)中，描述深度表示信息的轨道的所有样本的DepthRepresentasionSampleEntry的表。

在mdat盒中，将深度图像的基本流(深度流)以样本为单位布置为深度图像的基本流的轨道的基本流。同样在mdat盒中，深度表示信息被采样并且以样本为单位布置为深度表示信息的轨道的定时元数据。注意，深度表示信息的轨道的样本的时间是深度图像的基本流的轨道的一个或更多个样本的时间。也就是说，深度图像的基本流的轨道中的具有相同深度表示信息的一个或更多个连续样本被分组。然后，在构成每个组的一个或更多个样本的时间处，将每个组的深度表示信息布置为该深度表示信息的轨道的样本。

(tref盒的结构示例)

图37是示出tref盒的结构示例的图。

如图37所示，在tref盒中布置trackReferenceTypeBox。在trackReferenceTypeBox中，指定指示与要被参考的轨道的关系的类型的reference_type，并且描述分配给要被参考的轨道的轨道ID(track_IDs)。

深度表示信息是深度图像的基本流的元数据。因此，在深度表示信息的轨道的tref盒中，指示与要参考的轨道的关系是要参考的轨道的元数据的“cdsc”被指定为reference_type。同样在深度表示信息的轨道的tref盒中，描述分配给深度图像的基本流的轨道的轨道ID。

(DepthRepresentasionSampleEntry的结构示例)

图38是示出在图36的stsd盒中描述的DepthRepresentasionSampleEntry的结构示例的图。

如图38所示，DepthRepresentationConfigurationBox被布置在DepthRepresentasionSampleEntry中。

(DepthRepresentationConfigurationBox的第一结构示例)

图39是示出图38中的DepthRepresentationConfigurationBox的第一结构示例的图。

图13中的depth_representation_type以及sample_structure_type_uri在图39中的DepthRepresentationConfigurationBox中描述。sample_structure_type_uri是指示存储在样本中的深度表示信息的结构的值，并且例如被类似地设置为图10中的scheme_uri的值。

(DepthRepresentationConfigurationBox的第二结构示例)

图40是示出图38中的DepthRepresentationConfigurationBox的第二结构示例的图。

图40中的DepthRepresentationConfigurationBox的结构与图39中的结构的不同之处在于描述sample_structure_type而不是sample_structure_type_uri。

sample_structure_type是指示深度表示信息的结构的16比特的固定长度的信息，并且例如与图17中的depth_scheme_type类似地进行设置。

(对信息处理系统的处理的说明)

除了关于深度图像的基本流的每个样本的深度表示信息被存储在与MP4文件中的深度图像的基本流的轨道不同的轨道的样本中之外，第三实施方式中的文件生成设备11的文件生成处理与图20中的文件生成处理相同。另外，第三实施方式中的再现设备13的解码处理与图22中的解码处理相同。因此，在下文中，将描述在作为深度图像的基本流的样本当前要被再现时的第三实施方式中的再现设备13的深度信息生成处理。

图41是用于说明该深度信息生成处理的流程图。

在图41中的步骤S91中，再现设备13的再现控制单元61从MP4文件中提取与当前再现样本对应的DepthRepresentasionSampleEntry。具体地，再现控制单元61在MP4文件中描述深度图像的基本流的轨道的轨道ID，并且从trak盒的stsd盒中提取与当前再现样本对应的深度表示信息的样本的DepthRepresentasionSampleEntry，该trak盒包括指定“cdsc”作为reference_type的tref盒。再现控制单元61将所提取的DepthRepresentasionSampleEntry提供至分析单元62。

在步骤S92中，分析单元62根据与当前再现样本对应的DepthRepresentasionSampleEntry来识别指示深度表示信息的结构的信息。

具体地，在包括在DepthRepresentasionSampleEntry中的DepthRepresentationConfigurationBox的结构是图39中的结构的情况下，分析单元62将sample_structure_type_uri识别为指示深度表示信息的结构的信息。另外，在包括在DepthRepresentasionSampleEntry中的DepthRepresentationConfigurationBox的结构是图40中的结构的情况下，分析单元62将sample_structure_type识别为指示深度表示信息的结构的信息。分析单元62将识别到的指示深度表示信息的结构的信息以及深度表示信息提供至深度信息生成单元81。

在步骤S93中，深度信息生成单元81确定由从分析单元62提供的信息指示的深度表示信息的结构是否是可以由其自身识别的结构。在步骤S93中在确定深度表示信息的结构是可以由其自身识别的结构的情况下，处理进行至步骤S94。

在步骤S94中，再现控制单元61从MP4文件中提取与当前再现样本对应的深度表示信息的样本，并且经由分析单元62将该深度表示信息提供至深度信息生成单元81。

由于步骤S95至S97中的处理与图23中的步骤S54至S56中的处理类似，因此将省略其描述。

另一方面，在步骤S93中在确定深度表示信息的结构不是可以由其自身识别的结构的情况下，处理结束。

注意，深度信息生成单元81可以在图41中的步骤S95中的处理之后确定深度图像的类型是否是可以由其自身处理的类型。在这种情况下，在确定深度图像的类型是可以由其自身处理的类型的情况下，处理进行至步骤S96。在确定深度图像的类型不是可以由其自身处理的类型的情况下，处理结束。

此外，在第三实施方式中，类似于第二实施方式，深度表示信息的结构本身可以是包括在深度图像的基本流中的深度表示信息的SEI的NAL单元的结构或者SEI的结构。

如上所述，在第三实施方式中，类似于第一实施方式，在MP4文件中的基本流的外部描述深度表示信息，从而有助于再现设备13的处理。另外，在第三实施方式中，对具有深度图像的基本流的轨道的相同深度表示信息的连续样本进行分组，并且在MP4文件中描述每个组的深度表示信息。因此，可以抑制在MP4文件中冗余地描述相同的深度表示信息并且可以有效地描述深度表示信息。结果，可以减小MP4文件中的整个深度表示信息的大小。

<第四实施方式>

(moov盒和mdat盒的结构示例)

除了depth_representation_type也被布置在stsd盒中之外，应用本公开内容的根据第四实施方式的信息处理系统的配置与图1中的信息处理系统10的配置相同。

图42是示出第四实施方式中的MP4文件中的moov盒和mdat盒的结构示例的图。

注意，在图42中仅示出了与深度图像的基本流的轨道有关的结构。

如图42所示，在moov盒中，布置深度图像的基本流的轨道(深度轨道)的trak盒。除了在stsd盒中描述depth_representation_type并且在该trak盒中布置stsd盒、sbgp盒、sgpd盒等之外，该trak盒与第一实施方式中的trak盒类似。

在mdat盒中，将深度图像的基本流(深度流)以样本为单位布置为深度图像的基本流的轨道的基本流。

(对stsd盒中的depth_representation_type的描述方法)

图43是示出对stsd盒中的depth_representation_type的描述方法的示例的图。

在图43的示例中，通过AVC方法对深度图像进行编码，并且MP4文件中的盒的层级结构具有图24中的层级结构。

在这种情况下，在第一种描述方法中，stsd盒的下层的avcC盒的结构与图25中的结构相同。另外，在布置在avcC盒中的DepthRepresentationInformationBox中，如图43所示那样描述图13中的depth_repreationation_type。

注意，虽然未示出，但是在对深度图像的编码方法是HEVC方法、MVD方法、MV-HEVC方法等的情况下，类似于图43中的情况，在其中描述每种编码方法的配置信息的盒中描述图13中的depth_repreation_type。

如上所述，通过在与配置信息相同的盒中描述depth_representation_type，再现设备13可以确定是否可以在处理配置信息的定时处通过使用depth_representation_type来生成深度信息。

可替选地，可以在stsd盒的下层的VisualSampleEntry中描述depth_representation_type。在这种情况下，VisualSampleEntry的结构与图28中的结构相同，并且布置在VisualSampleEntry中的DepthRepresentationInformationBox的结构与图43中的结构相同。在VisualSampleEntry中描述depth_representation_type的情况下，仅扩展VisualSampleEntry以使得能够描述depth_representation_type，并且不像在与配置信息相同的盒中描述的情况，不需要针对每种编码方法进行扩展。

此外，可以在指示stsd盒的下层的后处理的内容的schi盒中描述depth_representation_type。由于depth_representation_type是用于作为解码处理之后的后处理的深度信息生成处理的信息，因此可以通过在schi盒中描述信息来提高便利性。此外，与在VisualSampleEntry中描述depth_representation_type的情况类似，仅扩展schi盒以使得能够描述depth_representation_type。

(对信息处理系统的处理的说明)

除了depth_representation_type也被布置在MP4文件中的stsd盒中之外，第四实施方式中的文件生成设备11的文件生成处理类似于图20中的文件生成处理。此外，第四实施方式中的再现设备13的解码处理与图22中的解码处理相同。因此，在下文中，将描述在作为深度图像的基本流的样本当前要被再现时第四实施方式中的再现设备13的深度信息生成处理。

图44是用于说明该深度信息生成处理的流程图。

在图44的步骤S111中，再现设备13的再现控制单元61从MP4文件中提取包括当前再现样本的轨道的stsd盒，并将该盒提供至分析单元62。

在步骤S112中，分析单元62根据stsd盒中的depth_representation_type来识别深度图像的类型，并将该类型提供至深度信息生成单元81。在步骤S113中，深度信息生成单元81确定深度图像的类型是否是可以由其自身处理的类型。

在步骤S113中确定深度图像的类型是可以由其自身处理的类型的情况下，深度信息生成单元81判定能够生成深度信息，并且处理进行至步骤S114。由于步骤S114至S119中的处理与图23中的步骤S51至S56中的处理类似，因此将省略其描述。

另一方面，在步骤S113中确定深度图像的类型不是可以由其自身处理的类型的情况下，深度信息生成单元81判定不能生成深度信息，并且处理结束。

如上所述，在第四实施方式中，对于深度表示信息中的每个样本而言较不可能变化的并且用于判断是否可以生成深度信息的depth_representation_type被布置在stsd盒中。因此，再现设备13可以通过仅使用stsd盒来判断是否可以生成深度信息。

也就是说，再现设备13不需要执行以下复杂处理：根据sbgp盒来识别当前再现样本的组，并且根据sgpd盒来识别该组的depth_representation_type以判断是否可以生成深度信息。结果，再现设备13可以有效地执行深度信息生成处理。

此外，对于表示深度信息的最小值和最大值的信息(该信息对于深度表示信息的每个样本而言很可能发生变化)，对具有相同信息的样本进行分组，并且仅在MP4文件中描述在每个组的样本的共有信息中的彼此不同的信息。因此，可以防止在MP4文件中冗余地描述表示相同深度信息的最小值和最大值的信息，并且可以有效地描述表示深度信息的最小值和最大值的信息。结果，可以减小MP4文件中的表示深度信息的最小值和最大值的整个信息的大小。

此外，在第四实施方式中，类似于第一实施方式，在MP4文件中的基本流的外部描述深度表示信息，从而有助于再现设备13的处理。

注意，在第四实施方式中，类似于第二实施方式，深度表示信息的结构本身可以是包括在深度图像的基本流中的深度表示信息的SEI的NAL单元的结构或SEI的结构。

此外，还可以在stsd盒中描述指示深度表示信息的结构的信息以及depth_representation_type。此外，在sgpd盒中，可以不布置在stsd盒中描述的depth_representation_type和指示深度表示信息的结构的信息。

<第五实施方式>

(moov盒和mdat盒的结构示例)

除了与第四实施方式类似地depth_representation_type也被布置在深度图像的基本流的轨道的stsd盒中之外，应用本公开内容的根据第五实施方式的信息处理系统的配置与第三实施方式中的配置相同。

图45是示出第五实施方式中的MP4文件中的moov盒和mdat盒的结构示例的图。

图45中的moov盒和mdat盒的结构与图36中的结构的不同之处在于：在布置在moov盒中的深度图像的基本流的轨道(深度轨道)的trak盒中的stsd盒中描述depth_representation_type。对stsd盒中的depth_representation_type的描述方法类似于第四实施方式中的描述方法。

除了depth_representation_type也被布置在深度图像的基本流的轨道的stsd盒中之外，第五实施方式中的文件生成设备11的文件生成处理与第三实施方式中的文件生成处理相同。另外，第五实施方式中的再现设备13的解码处理与图22中的解码处理相同。

此外，除了图44中的步骤S111至S113中的处理在步骤S91中的处理之前执行之外，在作为深度图像的基本流的样本当前要被再现时第五实施方式中的再现设备13的深度信息生成处理与图41中的深度信息生成处理相同。

如上所述，由于第五实施方式是第三实施方式和第四实施方式的组合，因此第五实施方式具有第三实施方式和第四实施方式二者的效果。

<第六实施方式>

(根据第六实施方式的信息处理系统的配置示例)

图46是用于说明应用本公开内容的第六实施方式中的信息处理系统的概况的图。

图46中的信息处理系统100通过经由因特网103连接网络服务器102和运动图像再现终端104而构成，网络服务器102与文件生成设备101连接。

在信息处理系统100中，网络服务器102将由文件生成设备101生成的运动图像内容的文件以MPEG-DASH分发至运动图像再现终端104。

具体地，文件生成设备101(信息处理设备)的配置与第一实施方式到第五实施方式中的文件生成设备11的配置类似，除了：以多种编码速率执行编码，针对每种编码速率以片段为单位生成MP4文件，生成管理MP4文件等的媒体呈现描述(MPD)文件，以及将MP4文件、MPD文件记录在网络服务器102上而不是记录介质12上。片段是从几秒到大约数十秒的时间单位。

注意，虽然在图46的示例中以多种编码速率来执行编码，但是编码可以在不同于多种编码速率的条件(例如，图像的大小等)下执行。另外，不同条件的数量可以是两个或更多个。文件生成设备101将MP4文件和MPD文件上传至网络服务器102。

网络服务器102存储从文件生成设备101上传的MP4文件和MPD文件。在图46的示例中，存在三种编码速率，并且针对三种编码速率中的每一种来存储每个片段的MP4文件。响应于来自运动图像再现终端104的请求，网络服务器102将所存储的MP4文件和MPD文件传输至运动图像再现终端104。

运动图像再现终端104(信息处理设备)运行用于控制流数据的软件(下文中称为控制软件)121、运动图像再现软件122、用于访问超文本传输协议(HTTP)的客户端软件(下文中称为访问软件)123等。

控制软件121是控制从网络服务器102流式传输的数据的软件。具体地，控制软件121使运动图像再现终端104从网络服务器102获取MPD文件。

控制软件121还基于MPD文件以及表示由运动图像再现软件122指定的当前再现的时间等的当前再现信息来命令访问软件123发出对当前再现MP4文件的样本或盒的传输请求。

运动图像再现软件122是再现从网络服务器102获取到的样本的软件。除了提取记录在网络服务器102上而不是记录介质12上的样本或盒之外，运动图像再现软件执行与第一实施方式到第五实施方式中的再现设备13的处理类似的处理。

具体地，运动图像再现软件122通过指定当前再现信息到控制软件121来控制运动图像再现终端104，并且类似于再现控制单元61，从MP4文件中提取当前再现样本、sbgp盒和sgpd盒。另外，与分析单元62、解码单元63和显示生成单元64类似，运动图像再现软件122对当前再现样本进行解码，将作为解码结果而获得的深度图像转换为深度信息，并生成3D图像。

访问软件123是通过使用HTTP来控制经由因特网103与网络服务器102的通信的软件。具体地，响应于来自控制软件121的命令，访问软件123使运动图像再现终端104传输对当前再现MP4的样本或盒的传输请求。另外，响应于该传输请求，访问软件123使运动图像再现终端104开始接收从网络服务器102传输的样本或盒。

<第七实施方式>

(对应用本公开内容的计算机的说明)

上述一系列处理可以由硬件来执行，或者可以由软件来执行。在一系列处理由软件执行的情况下，构成该软件的程序被安装在计算机中。此处，计算机包括并入有专用硬件的计算机，例如能够通过安装各种程序来执行各种功能的通用个人计算机。

图47是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在计算机200中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204彼此连接。

总线204还连接至输入/输出接口205。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接至输入/输出接口205。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质211。

在如上所述配置的计算机200中，CPU 201例如经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中，并执行程序，从而执行上述一系列的处理。

由计算机200(CPU 201)执行的程序可以例如被记录在作为要提供的封装介质等的可移除介质211上。此外，可以经由诸如局域网、因特网、数字卫星广播等的有线或无线传输介质来提供程序。

在计算机200中，可以通过将可移除介质211附接至驱动器210，经由输入/输出接口205将程序安装在存储单元208中。此外，程序可以被通信单元209经由有线或无线传输介质接收并安装在存储单元208中。此外，程序可以被预先安装在ROM 202或存储单元208中。

注意，由计算机200执行的程序可以是其中根据本说明书中描述的顺序以时间序列执行处理的程序，或者可以是其中并行执行处理或在必要的定时例如在进行调用时执行处理的程序。

此外，在本说明书中，系统意指一组多个构成元件(设备、模块(部件)等)，并且所有构成元件是否处于同一壳体中并不重要。因此，容置在分开的壳体中并且经由网络连接的多个设备以及其中多个模块容纳在一个壳体中的一个设备都是系统。

注意，本说明书中描述的效果仅是示例并且并非限制性的，并且可以提供其他效果。

此外，本公开内容的实施方式不限于上述实施方式，并且可以在不偏离本公开内容的主旨的范围内做出各种修改。

注意，本公开内容还可以采用以下配置。

(1)一种信息处理设备，包括：

文件生成单元，其对通过对深度图像进行编码而获得的编码流进行采样和布置，所述深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，并且所述文件生成单元对具有关于所述深度图像的相同深度表示信息的样本进行分组，并且生成其中描述每个组的深度表示信息的文件。

(2)根据(1)所述的信息处理设备，其中：

所述文件生成单元被配置成在所述文件中布置组信息盒和组盒，其中，所述组信息盒描述每个组的深度表示信息中的彼此不同的深度表示信息，所述组盒描述指定每个组的样本的信息以及指定所述深度表示信息的信息。

(3)根据(2)所述的信息处理设备，其中：

所述文件生成单元被配置成将指示所述深度表示信息的结构的信息描述为所述组信息盒的schem_uri。

(4)根据(2)所述的信息处理设备，其中：

所述文件生成单元被配置成将指示所述深度表示信息的结构的信息描述为所述组信息盒的字段。

(5)根据(2)所述的信息处理设备，其中：

所述文件生成单元被配置成在所述组盒中描述指示所述深度表示信息的结构的信息。

(6)根据(1)所述的信息处理设备，其中：

所述文件生成单元被配置成在所述文件中布置描述以下信息的盒：指定每个组的样本的信息以及所述深度表示信息。

(7)根据(1)所述的信息处理设备，其中：

所述文件生成单元被配置成对每个组的深度表示信息进行采样，并且在所述文件中将每个组的深度表示信息布置为与所述编码流的样本不同的轨道的样本。

(8)根据(7)所述的信息处理设备，其中：

所述文件生成单元被配置成在所述文件中描述将所述编码流的轨道指定为由所述深度表示信息的轨道所参考的轨道的信息。

(9)根据(1)至(8)中任一项所述的信息处理设备，其中：

所述深度表示信息包括指示所述深度图像的类型的信息。

(10)根据(1)至(8)中任一项所述的信息处理设备，其中：

所述深度表示信息包括所述深度信息的最小值和最大值。

(11)根据(10)所述的信息处理设备，其中：

所述文件生成单元被配置成在所述文件中描述指示所述深度图像的类型的信息。

(12)根据(1)至(11)中任一项所述的信息处理设备，其中：

所述深度表示信息的结构是包括所述编码流的深度表示信息的补充增强信息(SEI)或者所述SEI的网络抽象层(NAL)单元的结构。

(13)一种信息处理方法，包括：

文件生成步骤，其中，信息处理设备对通过对深度图像进行编码而获得的编码流进行采样和布置，所述深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，并且所述信息处理设备对具有关于所述深度图像的相同深度表示信息的样本进行分组，并生成其中描述每个组的深度表示信息的文件。

(14)一种信息处理设备，包括：

深度信息生成单元，其对通过对深度图像进行编码而获得的编码流进行采样和布置，所述深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，并且所述深度信息生成单元对具有关于所述深度图像的相同深度表示信息的样本进行分组，并且基于其中描述每个组的深度表示信息的文件中的所述深度表示信息，根据所述深度图像来生成所述深度信息。

(15)根据(14)所述的信息处理设备，其中，在所述文件中布置有组信息盒和组盒，其中，所述组信息盒描述每个组的深度表示信息中的彼此不同的深度表示信息，所述组盒描述指定每个组的样本的信息以及指定所述深度表示信息的信息。

(16)根据(15)所述的信息处理设备，其中，在所述文件中将指示所述深度表示信息的结构的信息描述为所述组信息盒的schem_uri。

(17)根据(15)所述的信息处理设备，其中，在所述文件中将指示所述深度表示信息的结构的信息描述为所述组信息盒的字段。

(18)根据(15)所述的信息处理设备，其中，在所述文件中，在所述组盒中描述指示所述深度表示信息的结构的信息。

(19)根据(14)所述的信息处理设备，其中，在所述文件中布置描述以下信息的盒：指定每个组的样本的信息以及所述深度表示信息。

(20)根据(14)所述的信息处理设备，其中，每个组的深度表示信息被采样并且被布置为与所述编码流的样本不同的轨道的样本。

(21)根据(20)所述的信息处理设备，其中，在所述文件中描述将所述编码流的轨道指定为由所述深度表示信息的轨道所参考的轨道的信息。

(22)根据(14)至(21)中任一项所述的信息处理设备，其中：

所述深度表示信息包括指示所述深度图像的类型的信息。

(23)根据(14)至(21)中任一项所述的信息处理设备，其中：

所述深度表示信息包括所述深度信息的最小值和最大值。

(24)根据(23)所述的信息处理设备，其中：

所述文件包括指示所述深度图像的类型的信息。

(25)根据(14)至(24)中任一项所述的信息处理设备，其中：

所述深度表示信息的结构是包括所述编码流的所述深度表示信息的补充增强信息(SEI)或者所述SEI的网络抽象层(NAL)单元的结构。

(26)一种信息处理方法，包括深度信息生成步骤，

其中，信息处理设备对通过对深度图像进行编码而获得的编码流进行采样和布置，所述深度图像包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值，并且所述信息处理设备对具有关于所述深度图像的相同深度表示信息的样本进行分组，并且基于其中描述每个组的深度表示信息的文件中的所述深度表示信息，根据所述深度图像来生成所述深度信息。

附图标记列表

11 文件生成设备

13 再现设备

34 文件生成单元

81 深度信息生成单元

101 文件生成设备

104 运动图像再现终端

122 运动图像再现软件。

Claims (13)

1.一种信息处理设备，包括：

处理器，其基于文件中的深度表示信息，根据包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值的深度图像，生成所述深度信息，其中，所述文件是通过下述方式生成的：对通过对所述深度图像进行编码而获得的编码流进行采样和布置；对具有关于所述深度图像的相同深度表示信息的所述编码流的样本进行分组；以及在所述文件中描述每个组的深度表示信息，

其中，在所述文件中，每个组的所述编码流的样本被布置在第一轨道中，并且每个组的深度表示信息被采样并布置为不同于所述第一轨道的第二轨道的样本。

2.根据权利要求1所述的信息处理设备，其中：

在所述文件中，布置有组信息盒和组盒，其中，所述组信息盒描述每个组的深度表示信息中的彼此不同的深度表示信息，所述组盒描述指定每个组的所述编码流的样本的信息以及指定所述深度表示信息的信息。

3.根据权利要求2所述的信息处理设备，其中：

在所述文件中，指示所述深度表示信息的结构的信息被描述为所述组信息盒的scheme_uri。

4.根据权利要求2所述的信息处理设备，其中：

在所述文件中，指示所述深度表示信息的结构的信息被描述为所述组信息盒的字段。

5.根据权利要求2所述的信息处理设备，其中：

在所述文件中，在所述组盒中描述了指示所述深度表示信息的结构的信息。

6.根据权利要求1所述的信息处理设备，其中：

在所述文件中，布置有描述以下信息的盒：指定每个组的所述编码流的样本的信息以及所述深度表示信息。

7.根据权利要求1所述的信息处理设备，其中：

在所述文件中，描述了指定所述编码流的第一轨道的信息，作为由所述深度表示信息的第二轨道所参考的轨道。

8.根据权利要求1至7中任一项所述的信息处理设备，其中：

所述深度表示信息包括指示所述深度图像的类型的信息。

9.根据权利要求1至7中任一项所述的信息处理设备，其中：

所述深度表示信息包括所述深度信息的最小值和最大值。

10.根据权利要求9所述的信息处理设备，其中：

所述文件包括指示所述深度图像的类型的信息。

11.根据权利要求1至7中任一项所述的信息处理设备，其中：

所述深度表示信息的结构是包括所述编码流的所述深度表示信息的补充增强信息或者所述补充增强信息的网络抽象层单元的结构。

12.一种信息处理方法，包括：

基于文件中的深度表示信息，根据包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值的深度图像，生成所述深度信息，其中，所述文件是通过下述方式生成的：对通过对所述深度图像进行编码而获得的编码流进行采样和布置；对具有关于所述深度图像的相同深度表示信息的所述编码流的样本进行分组；以及在所述文件中描述每个组的深度表示信息，

其中，在所述文件中，每个组的所述编码流的样本被布置在第一轨道中，并且每个组的深度表示信息被采样并布置为不同于所述第一轨道的第二轨道的样本。

13.一种记录有程序的计算机可读记录介质，所述程序用于使信息处理设备执行信息处理方法，所述信息处理方法包括：

基于文件中的深度表示信息，根据包括通过对表示每个像素在深度方向上的位置的深度信息进行量化而获得的像素值的深度图像，生成所述深度信息，其中，所述文件是通过下述方式生成的：对通过对所述深度图像进行编码而获得的编码流进行采样和布置；对具有关于所述深度图像的相同深度表示信息的所述编码流的样本进行分组；以及在所述文件中描述每个组的深度表示信息，

其中，在所述文件中，每个组的所述编码流的样本被布置在第一轨道中，并且每个组的深度表示信息被采样并布置为不同于所述第一轨道的第二轨道的样本。

Images