CN113574902A - 信息处理装置、信息处理方法、再现处理装置和再现处理方法 - Google Patents

Abstract

提供了可以为用户提供高自由度的视听体验的信息处理装置、信息处理方法、再现处理装置和再现处理方法。数据输入单元获取被配置为包括多个三维对象的单个空间三维对象的三维空间数据。预处理单元生成用于识别三维空间中包括的特定三维对象的三维对象指定信息。文件生成单元生成包括三维空间数据以及由预处理单元生成的三维对象指定信息的文件。

Description

信息处理装置、信息处理方法、再现处理装置和再现处理方法

技术领域

本公开涉及信息处理装置、信息处理方法、再现处理装置和再现处理方法。

背景技术

在当前的视频分发中，用于电影等的分发的称为二维视频的二维内容的分发是主流。此外，因特网上的各个站点上还提供了使得能够在所有方向上环顾的360度视频的分发。360度视频也称为3自由度(DoF)视频。对于二维视频和3DoF视频两者，基本上二维编码的内容被分发并显示在客户端装置上。

另一方面，已经提出了6DoF内容的分发作为具有甚至更大自由度的视频。通过在三维空间中自由选择视线方向，可以在所有方向上环顾6DoF内容，此外，可以通过自由选择视点位置来自由选择空间中的位置。6DoF内容是表示三维空间中的三维对象并且允许在再现期间自由设置视点方向和视点位置的三维内容。6DoF内容表达具有一个或多个三维对象的三维空间。在下文中，三维对象被称为3D对象。

更具体地，通过以下描述的方法，6DoF内容每次使用三维对象来表达三维空间。一种方法是基于对象的表达方法，该方法使用用于每个对象(例如人或物)的三维对象来表达三维空间。此外，另一种方法是基于空间的表达方法，该方法将整个对象空间表达为一个三维对象，而不生成用于每个对象(例如人或物)的三维对象。

在基于实况体育和音乐的6DoF内容的实时流传输中，使用基于空间的表达方法有助于内容制作，并且使客户端装置的处理成本保持较低。然后，在使用基于空间的表达方法的情况下，可以减小端到端延迟。

作为分发6DoF内容的方法，例如，存在配置具有多个三维对象的三维空间并且以多个对象流进行传播的方法。当通过这样的方法分发6DoF内容时，例如，存在使用称为场景描述的描述方法的技术。作为场景描述，存在使用具有树分层结构的图(被称为场景图)来表达场景并且以二进制格式或文本格式来表达场景图的技术。

引用列表

非专利文献

非专利文献1：“ISO/IEC 14496-12:2015”，信息技术。视听对象的编码。第12部分：ISO基本媒体文件格式，2015-12

发明内容

本发明要解决的问题

然而，在使用基于空间的表达方法的6DoF内容的情况下，难以识别对象，并且用户确定观看体验的自由度很小。

因此，本公开提供了可以为用户提供高自由度的观看体验的信息处理装置、信息处理方法、再现处理装置和再现处理方法。

问题的解决方案

根据本公开，在构成具有作为单个三维对象的多个对象的三维空间的空间三维对象中，预处理单元生成用于识别三维空间中包括的特定对象的对象指定信息。文件生成单元生成包括空间三维对象的数据和对象指定信息的文件。

附图说明

图1是分发系统的示例的系统配置图。

图2是文件生成装置的框图。

图3是指示根据第一实施方式的三维对象指定信息的存储状态的图。

图4是指示对象元数据节点的语法的示例的图。

图5是示出在扩展了现有节点并且存储三维对象指定信息的情况下的语法的示例的图。

图6是客户端装置的框图。

图7是根据第一实施方式的由文件生成装置进行的文件生成处理的流程图。

图8是根据第一实施方式的由客户端装置执行的再现处理的流程图。

图9是指示在以用户描述格式存储三维对象指定信息的情况下的语法的示例的图。

图10是指示在以唯一格式存储三维对象指定信息的情况下的语法的示例的图。

图11是示出第一实施方式的变形例(2-1)中的用于存储指示三维对象指定信息的数据的框的示例的图。

图12是指示Matroska媒体容器的格式的图。

图13是指示第一实施方式的变形例(2-2)中的存储指示三维对象指定信息的数据的示例以及语法的示例的图。

图14是指示第一实施方式的变形例(2-3)中的存储指示三维对象指定信息的数据的示例的图。

图15是指示根据第一实施方式的变形例(3-1)的AdaptationSet的语法的示例的图。

图16是指示第一实施方式的变形例(3-2)中的MDP的语法的示例的图。

图17是指示包括高清晰度三维对象信息的场景图的节点的语法的示例的图。

图18是指示如下语法的示例的图，该语法将清晰度与高清晰度三维对象一起指示。

图19是指示在以用户描述格式存储高清晰度三维对象指定信息的情况下的语法的示例的图。

图20是指示在以用户描述格式将清晰度与高清晰度三维对象一起存储的情况下的语法的示例的图。

图21是指示在以唯一格式存储高清晰度三维对象指定信息的情况下的语法的示例的图。

图22是指示在以唯一格式将清晰度与高清晰度三维对象一起存储的情况下的语法的示例的图。

图23是示出第二实施方式的变形例(2-1)中的用于存储指示高清晰度三维对象指定信息的数据的框的示例的图。

图24是指示根据第二实施方式的变形例(3-1)的AdaptationSet的语法的示例的图。

图25是示出根据第二实施方式的变形例(4)的扩展场景描述的图。

图26是指示在使用高清晰度差分三维对象的情况下的ISOBMFF文件的示例的图。

图27是指示在使用基本三维对象的情况下的ISOBMFF文件的示例的图。

图28是指示第二实施方式的变形例(7-1)中的场景图的示例的图。

图29是指示扩展的Switch节点的语法的示例的图。

图30是指示ContentsStructureBox的语法的示例的图。

图31是指示IncludingObjectMetadata节点的语法的示例的图。

图32是指示IncludingObjectMetadata的示例的图。

图33是指示IncludingObjectBox的示例的图。

图34是指示在每个配置中包括的每个三维对象的三维对象指定信息被存储在MPD的AdaptationSet中的情况下的状态的图。

图35是指示在AdaptationSet中存储的每个配置中包括的每个三维对象的三维对象指定信息的语法的示例的图。

图36是指示在划分每个配置的场景描述的情况下的场景图的图。

图37是指示关注对象信息的节点的语法的示例的图。

图38是指示将关注度(noticeability)与关注对象信息一起示出的语法的示例的图。

图39是指示在以用户描述格式存储关注对象信息的情况下的语法的示例的图。

图40是指示在以用户描述格式将关注度与关注对象信息一起示出的情况下的语法的示例的图。

图41是指示在以唯一格式存储关注对象信息的情况下的语法的示例的图。

图42是指示在以唯一格式将关注度与关注对象信息一起示出的情况下的语法的示例的图。

图43是示出第三实施方式的变形例(2-1)中的用于存储指示关注对象信息的数据的框的示例的图。

图44是指示用于存储关注对象信息的MPD的语法的示例的图。

具体实施方式

下面将基于附图详细描述本公开的实施方式。注意，在下面的每个实施方式中，相同的部分由相同的附图标记表示，并且将省略重复的描述。注意，本技术中公开的范围不限于实施方式的内容，而是还包括在提交时已知的以下非专利文献中描述的内容。

非专利文献1：(如上所述)

非专利文献2：“ISO/IEC 14496-11:2015”，信息技术。视听对象的编码。第11部分：Sene description and application engine，2015-11

非专利文献3：“ISO/IEC 23009-1:2014”，信息技术。HTTP(DASH)上的动态自适应流传输，第1部分：Media presentation description and segment formats，2014-15

非专利文献4：“ISO/IEC 23009-1:2014”，信息技术。HTTP(DASH)上的动态自适应流传输，第1部分：修订2：Spatial relationship description generalized URLparameters and other extensions，2014-05

非专利文献5：“ISO/IEC 21000-22:2016”，信息技术-多媒体框架(MPEG-21)-第22部分：User Description，2016-11

即，在上述非专利文献中描述的内容也通过引用并入本说明书中。即，上述非专利文献中描述的内容也是确定支持要求的基础。例如，即使在本发明的详细描述中没有直接描述非专利文献1中描述的文件结构、在非专利文献2中描述的场景描述中使用的结构/术语以及在非专利文献3中描述的MPEG-DASH标准中使用的术语的情况下，它们也在本技术的公开范围内并且满足权利要求的支持要求。此外，例如，类似地关于诸如解析、语法和语义的技术术语，即使在本发明的详细描述中没有直接描述的情况下，它们也在本技术的公开范围内并且满足权利要求的支持要求。

此外，将根据以下示出的项目的顺序来描述本公开。

1.第一实施方式

1.1-1第一实施方式的变形例(1-1)

1.1-2第一实施方式的变形例(1-2)

1.2-1第一实施方式的变形例(2-1)

1.2-2第一实施方式的变形例(2-2)

1.2-3第一实施方式的变形例(2-3)

1.3-1第一实施方式的变形例(3-1)

1.3-2第一实施方式的变形例(3-2)

2.第二实施方式

2.1-1第二实施方式的变形例(1-1)

2.1-2第二实施方式的变形例(1-2)

2.2-1第二实施方式的变形例(2-1)

2.2-2第二实施方式的变形例(2-2)

2.3-1第二实施方式的变形例(3-1)

2.3-2第二实施方式的变形例(3-2)

2.4第二实施方式的变形例(4)

2.5第二实施方式的变形例(5)

2.6第二实施方式的变形例(6)

2.7-1第二实施方式的变形例(7-1)

2.7-2第二实施方式的变形例(7-2)

3.第三实施方式

3.1-1第三实施方式的变形例(1-1)

3.1-2第三实施方式的变形例(1-2)

3.2-1第三实施方式的变形例(2-1)

3.2-2第三实施方式的变形例(2-2)

3.3-1第三实施方式的变形例(3-1)

3.3-2第三实施方式的变形例(3-2)

(1.第一实施方式)

如上所述，基于空间的表达方法对于基于实况体育和音乐的6DoF内容是有效的。然而，在使用基于空间的表达方法的情况下，难以识别6DoF内容中包括的每个对象，并且用户确定观看体验的自由度很小。具体地，与基于对象的表达方法相比，基于对象的表达方法具有下述限制。在自由选择视点的观看中，客户端装置难以自动跟踪和观看由用户指定的对象。此外，难以在客户端装置上显示对象的位置以辅助用户的观看。而且，难以以高质量方式仅显示用户指定的对象。此外，在诸如感兴趣区域(ROI)的指定观看中，难以向用户显示内容创建者意图的关注对象或者使用户跟踪和观看该关注对象，此外，难以以高质量方式仅显示这样的对象。因此，提供了以下描述的信息处理装置和再现处理装置。

[根据第一实施方式的系统的配置]

图1是分发系统的示例的系统配置图。分发系统100包括作为信息处理装置的文件生成装置1、作为再现处理装置的客户端装置2以及Web服务器3。文件生成装置1、客户端装置2和Web服务器3连接到网络4。然后，文件生成装置1、客户端装置2和Web服务器3可以经由网络4彼此通信。这里，尽管在图1中挨个示出了装置，但是分发系统100可以包括多个文件生成装置1和多个客户端装置2。

文件生成装置1生成6DoF内容。文件生成装置1将所生成的6DoF内容上传到Web服务器3。这里，在本实施方式中，将描述Web服务器3向客户端装置2提供6DoF内容的配置，但是分发系统100还可以采用另一种配置。例如，可以是如下配置：文件生成装置1包括Web服务器3的功能，将生成的6DoF内容存储在其自己的装置中，并且将生成的6DoF内容提供给客户端装置2。

Web服务器3保存从文件生成装置1上传的6DoF内容。然后，Web服务器3根据来自客户端装置2的请求提供指定的6DoF内容。

客户端装置2向Web服务器3发送6DoF内容发送请求。然后，客户端装置2从Web服务器3获取由发送请求指定的6DoF内容。然后，客户端装置2对6DoF内容进行解码，生成视频，并且在诸如监视器的显示装置上显示视频。

在此，将描述6DoF内容。6DoF内容表达具有一个或更多个三维对象的三维空间。使用作为6DoF内容的局部坐标系的归一化边界框(Bounding Box)中的坐标系来表达3D对象，并且将3D对象压缩并且编码为比特流(bitstream)。场景描述用于将该比特流布置在三维空间中。

该场景描述有多种标准。基本上，每次由具有称为场景图的树分层结构的图来表达显示每个3D对象的场景，并且该场景图以二进制格式或文本格式来表达。这里，场景图是空间显示控制信息，并且通过以节点为配置单位定义关于3D对象的显示的信息并且分层地组合多个节点来进行配置。节点包括用于将一个坐标系转换为另一个坐标系的坐标转换信息的节点、用于3D对象的位置信息和尺寸信息的节点以及用于对3D对象和音频数据的访问信息的节点。

注意，在下文中，6DoF内容包括作为空间显示控制信息的场景描述数据以及多个3D对象的媒体数据(例如，表达为3D对象的网格数据和纹理数据的组合)。此外，6DoF内容可以包括音频数据。诸如点云的其他格式也可以应用于3D对象的媒体数据。此外，场景描述数据应符合MPEG-4场景描述(ISO/IEC 14496-11)。

当场景图以场景的二进制格式(BIFS)的格式被二值化时，获得MPEG-4场景描述数据。可以通过使用预定算法将该场景图转换为BIFS。此外，通过以ISO基础媒体文件格式(ISOBMFF)存储，可以每次指定场景，并且可以表达其位置和大小变化的3D对象。

[根据第一实施方式的文件生成装置的配置]

接下来，将描述文件生成装置1的细节。图2是文件生成装置的框图。如图2所示，作为信息处理装置的文件生成装置1包括生成处理单元10和控制单元11。控制单元11执行与生成处理单元10的控制有关的处理。例如，控制单元11对例如生成处理单元10的每个单元的操作定时执行可理解的控制。生成处理单元10包括数据输入单元101、预处理单元102、编码单元103、文件生成单元104和发送单元105。

数据输入单元101接收用于生成三维对象的原始信息、元信息等的输入。数据输入单元101将获取的原始信息输出到预处理单元102。数据输入单元101接收数据输入。数据输入单元101接收的数据包括诸如3D对象和3D对象的布置信息的元数据。数据输入单元101将获取的数据输出到预处理单元102。

预处理单元102从数据输入单元101接收包括诸如3D对象以及3D对象的布置信息的元数据的数据的输入。然后，预处理单元102基于所获取的数据来确定比特流配置，并且使用每个3D对象的元数据以及对比特流的访问信息生成场景图。此外，元数据包括控制信息，例如使用哪种类型的编解码器进行压缩。

预处理单元102生成用于指定三维空间中的三维对象的三维对象指定信息。即使在时间发生了变化时，三维对象指定信息也包括用于确定相同三维对象的识别信息、三维对象的空间位置信息、三维对象的详细信息等。该三维对象指定信息对应于“对象指定信息”的示例。

在此，根据本实施方式的预处理单元102以场景描述格式存储三维对象指定信息。图3是指示根据第一实施方式的三维对象指定信息的存储状态的图。例如，预处理单元102定义用于显示识别信息、三维对象的位置信息以及三维对象的详细信息的新对象元数据节点31，如图3所示。然后，预处理单元102生成场景图30，该场景图30在使用Group节点作为某个时间处的三维对象指定信息的根的同时，将每个三维对象的对象元数据节点31作为子节点。在这种情况下，预处理单元102将指示每个三维对象的三维对象指定信息的每个对象元数据节点31设置为Group节点的子节点。

图4是指示对象元数据节点的语法的示例的图。例如，预处理单元102使用图4中所示的语法生成对象元数据节点31。在图4中所示的语法中，centerPoint是指示坐标(x，y，z)的值，坐标(x，y，z)指示三维对象的中心。此外，bboxSize是指示三维对象的外接盒的值，并且由与围绕centerPoint的每个轴平行的长度指示。在使用centerPoint并且不使用bboxSize的情况下，即，在省略了bboxSize时，bboxSize被设置为(-1，-1，-1)。id是三维对象的识别信息，并且在本实施方式中由数值指示。description是显示三维对象的详细信息的字符串。

尽管上面已经描述了定义新节点的情况，但是预处理单元102还可以扩展现有节点以存储三维对象指定信息。图5是示出在扩展现有节点并且存储三维对象指定信息的情况下的语法的示例的图。例如，预处理单元102使用在图5中指示为exposedField的Transform节点中的现有bboxCenter字段和bboxSize字段来指示三维对象的位置。此外，预处理单元102通过扩展Transform节点中的字段来实现三维对象的识别信息和详细信息的存储。在图4所示的语法中，id是三维对象的识别信息，并且由数值指示。此外，noShapeFlag指示在子节点中不存在指示三维对象的形状的数据，即仅存在位置信息。此外，description是指示三维对象的详细信息的字符串。此外，尽管在此描述了扩展Transform节点的情况，但是也可以扩展另一节点并且存储三维对象指定信息。

此外，在上文中，三维对象的外接盒用于指示三维对象的位置，但是预处理单元102可以通过诸如外接球体或外接圆柱体的实体来指示三维对象的位置。另外，预处理单元102可以存储三维对象的形状信息本身。

预处理单元102将三维对象和所生成的场景图输出到编码单元103。此外，预处理单元102将元数据输出到文件生成单元104。

编码单元103从预处理单元102接收三维对象和场景图的输入。然后，编码单元103对三维对象进行编码并且生成比特流。此外，编码单元103对获取的场景图进行编码并且生成场景描述。之后，编码单元103将所生成的比特流和场景描述输出至文件生成单元104。

文件生成单元104从编码单元103接收比特流和场景描述的输入。此外，文件生成单元104从预处理单元102接收元数据的输入。然后，文件生成单元104通过针对每个片段将获取的比特流存储在ISOBMFF文件中来创建文件，并且生成比特流的分段文件。此外，文件生成单元104通过针对每个片段将场景描述的数据存储在ISOBMFF文件中来创建文件，并且生成场景描述的分段文件。

此外，文件生成单元104基于从预处理单元102获取的数据来生成媒体呈现描述(MPD)文件。MPD文件存储诸如媒体类型、运动图像和音频分段文件信息的6DoF内容的元信息。

发送单元105从文件生成单元104获取比特流的分段文件、静态场景描述和动态场景描述，并且将它们发送并上传到Web服务器3。

[根据第一实施方式的客户端装置的配置]

图6是客户端装置的框图。如图6所示，客户端装置2包括再现处理单元20和控制单元21。控制单元21控制再现处理单元20的每个单元的操作。例如，控制单元21全面地控制再现处理单元20的每个单元的操作的定时。再现处理单元20包括文件获取单元201、测量单元202、文件处理单元203、解码处理单元204、显示控制单元205、显示信息生成单元206和显示单元207。

文件获取单元201从Web服务器3获取与要再现的6DoF内容对应的MPD文件。然后，文件获取单元201基于MPD文件来获取要再现的6DoF内容的场景描述的信息。

文件获取单元201通过访问Web服务器3来获取其中存储了要显示的6DoF内容的场景描述的ISOBMFF文件。然后，文件获取单元201将其中存储了场景描述的ISOBMFF文件输出到文件处理单元203。

此外，文件获取单元201从文件处理单元203获取由文件处理单元203选择的比特流的信息。然后，文件获取单元201访问Web服务器3并且获取所选择的比特流的分段文件。之后，文件获取单元201将所获取的比特流的分段文件输出到文件处理单元203。

测量单元202测量客户端装置2与WEB服务器之间的传输路径的传输频带。然后，测量单元202将传输频带的测量结果输出到文件处理单元203。

文件处理单元203从文件获取单元201接收与要再现的6DoF内容对应的MPD文件的输入。然后，文件处理单元203解析所获取的MPD文件，并且获取要再现的6DoF内容的场景描述。此外，文件处理单元203还识别用于自适应分发的多个数据。例如，在其中切换了比特率的自适应分发的情况下，获取与每个比特率对应的比特流的分段文件的信息。在这种情况下，文件处理单元203将要再现的6DoF内容的场景描述的信息输出到文件获取单元201。

文件处理单元203从文件获取单元201接收其中存储了场景描述的ISOBMFF文件的输入。文件处理单元203解析所获取的ISOBMFF文件。然后，文件处理单元203获取坐标转换信息、三维对象的布置信息和访问信息以及三维对象指定信息。

此外，文件处理单元203从测量单元202接收对传输频带的测量结果的输入。然后，文件处理单元203基于场景描述的解析结果以及指示从测量单元202获取的传输频带的信息等来选择要再现的比特流的分段文件。然后，文件处理单元203将所选择的比特流的分段文件的信息输出到文件获取单元201。这时，通过改变根据传输频带选择的比特流的分段文件，实现了根据比特率的自适应分布。

此后，文件处理单元203从文件获取单元201接收所选择的比特流的分段文件的输入。然后，文件处理单元203从所获取的比特流的分段文件中提取比特流的数据，并且将该数据输出到解码处理单元204。此外，文件处理单元203通过使用所获取的三维对象指定信息来获取关于三维对象是否存在的信息，并且将该信息输出到显示控制单元205。

解码处理单元204从文件处理单元203接收比特流数据的输入。然后，解码处理单元204对所获取的比特流数据执行解码处理。之后，解码处理单元204将解码的比特流数据输出到显示信息生成单元206。

显示控制单元205从未示出的输入装置接收关于操作者的视点位置和视线方向的信息的输入。然后，显示控制单元205将所获取的关于视点位置和视点方向的信息输出到显示信息生成单元206。

此外，显示控制单元205从文件处理单元203接收关于存在哪种类型的三维对象的信息的输入。操作者还可以通过使用输入装置输入指示关注的三维对象的指定信息来代替视点位置和视线信息。显示控制单元205获取指示由操作者指定的关注的三维对象的指定信息。然后，例如，在进行跟踪三维对象的观看的情况下，显示控制单元205将关于视点位置和视点方向的信息输出到显示信息生成单元206以随着时间的推移跟踪由指定信息指定的三维对象。因此，例如，可以显示跟踪由操作者指定的三维对象的图像。此外，例如，在显示三维对象的位置的情况下，显示控制单元205生成用于从6DoF内容中指定所指定的三维对象的信息。

显示信息生成单元206接收场景描述、解码的比特流数据以及关于视点位置和视点方向的获取的信息，并且生成显示信息。显示信息生成单元206的细节将在下面描述。

从解码处理单元204接收比特流的数据的输入。然后，显示信息生成单元206基于场景描述，将三维对象(其为所获取的比特流数据)布置在三维空间中。此外，显示信息生成单元206从显示控制单元205接收关于操作者的视点位置和视线方向的信息的输入。然后，显示信息生成单元206根据视点位置和视线方向呈现布置在三维空间中的三维对象，并且生成显示图像。之后，显示信息生成单元206将所生成的显示图像提供给显示单元207。

此外，例如，在显示三维对象的位置的情况下，显示信息生成单元206从6DoF内容获取用于指定从显示控制单元205获取的指定三维对象的信息。然后，显示信息生成单元206将显示通过使用获取的信息指定的三维对象的位置的信息添加到显示图像。

显示单元207包括诸如监视器的显示装置。显示单元207接收由显示信息生成单元206生成的显示图像的输入。然后，显示单元207使显示装置显示所获取的显示图像。

[根据第一实施方式的文件生成过程]

文件生成装置1生成场景图，该场景图是场景构成信息，其指示包括三维空间中的三维对象的6DoF内容的场景的构成。接下来，参照图7，将详细描述根据第一实施方式的文件生成装置1进行的文件生成处理的流程。图7是根据第一实施方式的由文件生成装置进行的文件生成处理的流程图。

预处理单元102生成三维对象指定信息(步骤S1)。在本实施方式中，预处理单元102生成以场景描述格式存储的三维对象指定信息。

然后，预处理单元102生成包括三维对象指定信息的数据(步骤S2)。

接下来，编码单元103对包括三维对象指定信息的数据进行编码以生成三维对象的比特流(步骤S3)。此外，编码单元103对所获取的场景图进行编码并且生成场景描述。

接下来，文件生成单元104针对每个片段将所获取的比特流存储在ISOBMFF文件中，并且生成比特流的分段文件。此外，文件生成单元104针对每个片段将场景描述的数据存储在ISOBMFF文件中，并且生成场景描述的分段文件(步骤S4)。

发送单元105将由文件生成单元104生成的分段文件输出到Web服务器3(步骤S5)。

[根据第一实施方式的再现处理过程]

接下来，将参照图8描述由根据本实施方式的客户端装置2执行的再现处理的流程。图8是由根据第一实施方式的客户端装置执行的再现处理的流程图。

文件获取单元201从Web服务器3获取与要再现的6DoF内容对应的MPD文件(步骤S11)

文件处理单元203解析MPD文件并且执行分析处理(步骤S12)。然后，文件处理单元203基于分析结果来指定要再现的6DoF内容的场景描述。

然后，文件获取单元201获取由文件处理单元203指定的场景描述。文件处理单元203解析由文件获取单元201获取的场景描述。因此，文件处理单元203获取三维对象指定信息(步骤S13)。

然后，文件处理单元203从所获取的三维对象指定信息中指定现有三维对象(步骤S14)。文件处理单元203将关于存在哪种类型的三维对象的信息输出到显示控制单元205。

此外，文件处理单元203基于解析结果来获取与要再现的6DoF内容对应的比特流的分段文件(步骤S15)。解码处理单元204对比特流的分段文件执行解码处理。之后，解码处理单元204将比特流数据输出到显示信息生成单元206。

显示控制单元205将关于视点位置和视线方向的输入信息或者从关注的三维对象的指定信息获得的关于视点位置和视线方向的信息输出到显示信息生成单元206。显示信息生成单元206通过使用从显示控制单元205获取的关于视点位置和视线方向的信息，执行呈现三维对象并且添加位置信息的观看处理，以生成显示图像，并且使显示单元207显示该显示图像(步骤S16)。

如上所述，根据本实施方式的文件生成装置使用基于空间的表达方法生成用于指定6DoF内容中包括的三维对象的三维对象指定信息，并且将三维对象指定信息存储在6DoF内容中。因此，客户端装置可以使用基于空间的表达方法来指定6DoF内容中包括的三维对象。即，在根据本实施方式的分发系统中，可以提供如下观看，该观看自动跟踪由操作者选择的三维对象并且显示三维对象的位置以辅助操作者的观看。因此，可以为用户提供高自由度的观看体验。

[1.1-1第一实施方式的变形例(1-1)]

在第一实施方式中，三维对象指定信息以场景描述格式存储，但是在本变形例中，三维对象指定信息以用户描述格式(其是与第一实施方式不同的MPEG-21标准)存储。下面将描述根据本变形例的文件生成装置1的预处理单元102存储三维对象指定信息的细节。

根据本变形例的预处理单元102生成指示三维对象指定信息的用户silkription格式的文件，该文件是与场景描述不同的文件。即，预处理单元102将三维对象指定信息存储在用户描述中。图9是指示在以用户描述格式存储三维对象指定信息的情况下的语法的示例的图。

例如，预处理单元102添加指示图9所示的三维对象指定信息的XML模式(schema)。预处理单元102将三维对象指定信息作为用户描述的一条属性信息存储在XML模式中。在这种情况下，预处理单元102定义指示三维对象的位置信息和详细信息的新的服务描述的类型。

在图9中，id是三维对象的识别信息，并且由数值指示。此外，centerPointX、centerPointY和centerPointZ是指示坐标(x，y，z)的值，坐标(x，y，z)指示三维对象的中心点。bboxSizeX、bboxSizeY和bboxSizeZ是指示三维对象的外接盒的值，并且由与围绕centerPoint的每个轴平行的长度指示。description是示出三维对象的详细信息的字符串。

在上文中，预处理单元102使用三维对象的外接盒来指示三维对象的位置，但是预处理单元102可以通过诸如外接球或外接圆柱的实体来指示三维对象的位置。另外，预处理单元102可以存储三维对象的形状信息本身。

[1.1-2第一实施方式的变形例(1-2)]

在本变形例中，三维对象指定信息以与第一实施方式不同的唯一格式存储。下面将描述根据本变形例的文件生成装置1的预处理单元102存储三维对象指定信息的细节。

预处理单元102以不同于场景描述和用户描述的唯一格式存储三维对象指定信息。即，预处理单元102将三维对象指定信息存储在唯一描述中。图10是指示在以唯一格式存储三维对象指定信息的情况下的语法的示例的图。

例如，如在图10中所示的语法中，预处理单元102定义对象元数据结构，并且指示要写入到所定义的对象元数据结构中的三维对象的识别信息、位置信息和详细信息。

在图10中，num_of_objects是指示三维对象的数量的值。object_id是三维对象的识别信息，并且由数值指示。此外，centerPointX、centerPointY和centerPointZ是指示表示三维对象的中心点的坐标(x，y，z)的值，并且由24位的整数部分和8位的小数部分指示。bboxSizeX、bboxSizeY和bboxSizeZ是指示三维对象的外接盒的值，并且由与围绕centerPoint的每个轴平行的长度指示。bboxSizeX、bboxSizeY和bboxSizeZ也由24位的整数部分和8位的小数部分指示。description是示出三维对象的详细信息的字符串。

此外，在上文中，三维对象的外接盒用于指示三维对象的位置，但是预处理单元102可以通过诸如外接球或外接圆柱的实体来指示三维对象的位置。另外，预处理单元102可以存储三维对象的形状信息本身。

[1.2-1第一实施方式的变形例(2-1)]

接下来，将描述存储指示三维对象指定信息的数据的方法。在本变形例中，将描述三维对象指定信息不以时间为单位变化的情况。换句话说，三维对象指定信息不以时间为单位变化的情况是三维对象的位置信息不改变的情况。

根据本变形例的文件生成装置1将指示三维对象指定信息的数据存储在新定义的框(box)中。下面将描述根据本变形例的存储指示三维对象指定信息的数据的文件的生成。这里，将描述使用指示以场景描述格式指示的三维对象指定信息的数据的情况。然而，在使用用户描述格式的情况下或者在使用唯一格式的情况下，也可以通过类似的方法来生成存储指示三维对象指定信息的数据的文件。

图11是示出第一实施方式的变形例(2-1)中的用于存储指示三维对象指定信息的数据的框的示例的图。根据本变形例的文件生成单元104新定义了图11所示的StaticObjectMetadataBox。文件生成单元104将StaticObjectMetadataBox存储在三维对象的场景描述轨道、网格轨道或纹理轨道中的任何轨道的样本条目中。特别地，场景描述轨道是在再现处理的初始阶段由客户端装置2获取的文件。因此，通过将指示三维对象指定信息的数据包括在场景描述轨道中，可以在再现处理的初始阶段获取三维对象指定信息，使得具有可以快速执行与三维对象有关的处理的优点。

此外，文件生成单元104可以将指示三维对象指定信息的数据存储在MetaBox中。例如，文件生成单元104可以通过在ItemInfoEntry中将item_type设置为“obmt”来将StaticObjectMatadata存储在ItemData中。在这种情况下，文件生成单元104可以将ItemProperty扩展到ItemProperty(‘somd’)并且存储StaticObjectMetadata。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用图12所示的Matroska媒体容器(Matroska Media Container)(http://www.matroska.org/)进行发送的情况下，也可以发送指示三维对象指定信息的数据。图12是指示Matroska媒体容器的格式的图。在这种情况下，文件生成单元104将SceneDescriptionObjectMetadata元素新存储在TrackEntry元素中。此时，文件生成单元104将Element Type设置为二进制，并且将SceneDescriptionObjectMetadata()作为二进制数据存储为EBML数据。

[1.2-2第一实施方式的变形例(2-2)]

在本变形例中，将描述在三维对象指定信息以时间为单位变化的情况下存储指示三维对象指定信息的数据的方法。换句话说，三维对象指定信息以时间为单位变化的情况是位置信息改变使得三维对象移动的情况。

根据本变形例的文件生成装置1定义新的Timed元数据，并且将指示三维对象指定信息的数据存储在样本条目中。下面将描述根据本变形例的存储指示三维对象指定信息的数据的文件的生成。这里，将描述使用指示以场景描述格式指示的三维对象指定信息的数据的情况。然而，在使用用户描述格式的情况下或者在使用唯一格式的情况下，也可以通过类似的方法来生成存储指示三维对象指定信息的数据的文件。

图13是指示第一实施方式的变形例(2-2)中的存储指示三维对象指定信息的数据的示例以及语法的示例的图。文件生成单元104创建用于存储场景描述的元数据文件，该场景描述示出了作为与现有文件不同的文件的图13中所示的三维对象指定信息。然后，如语法32所示，文件生成单元104重新定义ObjectMetadataSampleEntry('obmt')，并且将指示三维对象指定信息的场景描述存储在MetadataSampleEntry中。在这种情况下，文件生成单元104针对语法33指示的每个时间将三维对象指定信息存储在样本中。

此外，在将三维对象的网格数据和纹理数据与三维对象指定信息一起存储在一个ISOBMFF文件的轨道中的情况下，文件生成单元104如下所述地存储信息。例如，文件生成单元104以reference Type＝‘cdsc’存储三维对象的网格数据轨道的ID，这就将TrackReference Box存储在三维对象指定信息轨道中。尽管cdsc是现有的存储区域，但是文件生成单元104可以更改为指示新关系的另一个值，例如为三维对象的位置信息提供轨道。

在此，在将每次改变的三维对象指定信息和每次都不改变的三维对象指定信息混合的情况下，文件生成单元104将StaticObjectMetadata布置在ObjectmetadataSmapleEntry中。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用Matroska媒体容器进行发送的情况下，也可以发送指示三维对象指定信息的数据。在那种情况下，文件生成单元104可以通过将图13的样本设置为Matroska媒体容器的簇块的数据结构来发送三维对象指定信息。在那种情况下，文件生成单元104在TrackEntry元素中包括的TrackType元素中新定义元数据＝19，并且在CodecID元素中新指定M_OBMT。

[1.2-3第一实施方式的变形例(2-3)]

在本变形例中，将描述在三维对象指定信息以时间为单位变化的情况下存储指示三维对象指定信息的数据的另一种方法。根据本变形例的文件生成装置1以ISOBMFF存储指示三维对象指定信息的数据。下面将描述根据本变形例的存储指示三维对象指定信息的数据的文件的生成。这里，将描述使用指示以场景描述格式指示的三维对象指定信息的数据的情况。

文件生成单元104在场景描述文件的场景描述中存储三维对象指定信息。图14是指示第一实施方式的变形例(2-3)中的存储指示三维对象指定信息的数据的示例的图。如图14所示，文件生成单元104将Group节点放置在根处，并且将原始6DoF内容的场景图34和存储三维对象指定信息的场景图35设置为子节点。

这里，客户端装置2在再现6DoF内容的情况下执行场景描述文件的获取。因此，在根据本变形例的存储指示三维对象指定信息的数据的方法中，不使用三维对象指定信息的客户端装置2获取不需要的三维对象指定信息，并且可能浪费传输频带。

[1.3-1第一实施方式的变形例(3-1)]

在本变形例中，将描述在三维对象指定信息不以时间为单位变化的情况下使用MPD示出三维对象指定信息的方法。根据本变形例的文件生成装置1通过与场景描述或三维对象对应的AdaptationSet来指示三维对象指定信息。下面将描述根据本变形例的使用MPD示出三维对象指定信息的方法。

图15是指示根据第一实施方式的变形例(3-1)的AdaptationSet的语法的示例的图。MPD是存储指示6DoF内容中包括哪种类型的数据的信息的文件。然后，在MPD保存的AdaptationSet中，分别示出场景描述、网格数据和纹理数据。

如图15所示，文件生成单元104通过使用AdaptationSet中的SupplementalProperty来指示表示三维对象指定信息的数据。SupplementalProperty是指示AdaptationSet的内容的信息。文件生成单元104使用SupplementalProperty来新定义schemeIdUri＝“StaticObjectMetadata”，并且通过其子元素的SOM：meta来指示每个三维对象的识别信息。

在图15中，id是三维对象的识别信息，并且由数值指示。centerPointX、centerPointY和centerPointZ是指示坐标(x，y，z)的值，坐标(x，y，z)指示三维对象的中心点。bboxSizeX、bboxSizeY和bboxSizeZ是指示三维对象的外接盒的值，并且由与围绕centerPoint的每个轴平行的长度指示。在不使用并且省略外接盒的情况下，将bboxSizeX、bboxSizeY和bboxSizeZ设置为(-1，-1，-1)。description是显示三维对象的详细信息的字符串。

这里，三维对象的识别信息可以被存储在场景描述或者三维对象的网格数据或纹理数据的AdaptationSet中。此外，尽管这里已经描述了在AdaptationSet中存储的情况，但是文件生成单元104还可以在MPD的Period中存储三维对象的识别信息。

[1.3-2第一实施方式的变形例(3-2)]

在本变形例中，将描述在三维对象指定信息以时间为单位变化的情况下使用MPD指示表示三维对象指定信息的数据的方法。根据本变形例的文件生成装置1使用MPD将存储有三维对象指定信息的Timed元数据与场景描述或三维对象相关联。下面将描述在本变形例中使用MPD的三维对象指定信息的关联。

图16是指示第一实施方式的变形例(3-2)中的MDP的语法的示例的图。如图16所示，文件生成单元104指定三维对象指定信息的AdaptationSet中的AdaptationSet@codecs中的“obmt”，并且指示其为Timed元数据格式的三维对象指定信息。然后，文件生成单元104指示Representation@association中包括三维对象的场景描述的Representation@id。此外，文件生成单元104将Representation@associationType设置为“cdsc”，“cdsc”与在第一实施方式的变形例(2-2)中指定的存储Track Reference Box的reference Type相同。

另外，文件生成单元104可以清楚地指示场景描述数据包括三维对象指定信息的情况，如在第一实施方式的变形例(2-3)中那样。例如，文件生成单元104可以通过在场景描述的AdaptationSet中存储<SupplementalPropertyschemeIDUri＝“IncludeObjectMetadata”>来清楚地指示三维对象指定信息被包括在场景描述数据中。

根据本变形例的文件生成装置生成用于存储三维对象指定信息的文件，并且通过以上每个变形例中描述的方法将文件提供给客户端装置。因此，客户端装置可以获取三维对象指定信息，并且可以向用户提供高自由度的观看体验。

此外，在以上描述中，尽管已经使用MPEG-4场景描述进行了描述，但是即使在使用另一场景描述的情况下，也可以应用存储三维对象指定信息的方法。

(2.第二实施方式)

在通过使用基于空间的方法来提供6DoF内容的情况下，当无法识别对象时，即使操作者想要聚焦于特定对象并且以高质量观看该对象，也难以提供指定对象的高质量图像。因此，根据本实施方式的文件生成装置提供通过使特定三维对象具有高清晰度而获得的视频。下面将描述用于特定三维对象的高清晰度方法。图2的框图还指示了根据本实施方式的文件生成装置。

文件生成装置1的预处理单元102生成一个基于空间的三维对象，该三维对象包括整个6DoF内容，在该6DoF内容中使特定三维对象具有高清晰度。然后，预处理单元102针对每个所生成的基于空间的三维对象，生成指示高清晰度三维对象的高清晰度三维对象指定信息。

下面将描述高清晰度三维对象指定信息的生成的细节。根据本实施方式的预处理单元102以场景描述格式存储高清晰度三维对象指定信息。图17是指示包括高清晰度三维对象信息的场景图的节点的语法的示例的图。如图17所示，预处理单元102通过使用由三维对象指定信息指示的识别信息来显示高清晰度三维对象。预处理单元102将高精度三维对象的ID枚举为图17中的ids。通过这种方式，预处理单元102将HighLODObject(其为高清晰度三维对象指定信息的节点)存储在场景图中。

此外，如图18所示，预处理单元102可以通过quality的数值来指示三维对象的清晰度。图18是将指示清晰度的语法的示例与高清晰度三维对象一起指示的图。如图18中的quality那样，由数值以在ids中枚举的识别信息的顺序指示每个三维对象的清晰度。例如，定义quality的值，使得值越小，清晰度就越高。

另外，预处理单元102可以类似于第一实施方式那样，以如图4所示的场景描述格式存储三维对象指定信息，并且向三维对象指定信息添加highLODflag以指示其为高清晰度。

如上所述，根据本实施方式的文件生成装置生成通过使包括在6DoF内容中的特定三维对象具有高清晰度而获得的基于空间的三维对象，并且生成指示针对每个基于空间的三维对象的高清晰度三维对象的高清晰度三维对象指定信息。通过获取高清晰度三维对象指定信息，客户端装置可以获取通过使特定三维对象具有高清晰度而获得的基于空间的三维对象，并且将该基于空间的三维对象提供给操作者。即，操作者可以观看通过使指定的三维对象具有高清晰度而获得的视频，并且可以以更高的自由度享受观看。

[2.1-1第二实施方式的变形例(1-1)]

根据本变形例的预处理单元102生成图9所示的Visual3DObjectInfo，并且以用户描述格式存储三维对象指定信息。此外，预处理单元102以用户描述格式存储高清晰度三维对象指定信息。即，预处理单元102在用户描述中存储高清晰度三维对象指定信息。图19是指示在以用户描述格式存储高清晰度三维对象指定信息的情况下的语法的示例的图。

如图19所示，预处理单元102添加XML模式，使得可以将其指定为用户描述的一条属性信息。在图19中，id是高清晰度三维对象的识别信息，并且由数值指示。对于该id，使用图9中Visual3DObjectInfo中示出的id。

此外，预处理单元102可以如图20所示通过quality的数值来指示清晰度。图20指示在以用户描述格式将清晰度与高清晰度三维对象一起存储的情况下的语法的示例。三维对象的清晰度在图20中用quality的数值指示。例如，定义quality的值，使得值越小，清晰度就越高。

另外，预处理单元102可以将highLODflag添加到图9所示的Visual3DObjectInfo，以指示由Visual3DObjectInfo指定的三维对象具有高清晰度。

[2.1-2第二实施方式的变形例(1-2)]

根据本变形例的预处理单元102生成图10所示的Objectmetadata，并且以唯一格式存储三维对象指定信息。此外，预处理单元102以唯一格式存储高清晰度三维对象指定信息。即，预处理单元102在唯一描述中存储高清晰度三维对象指定信息。图21是指示在以唯一格式存储高清晰度三维对象指定信息的情况下的语法的示例的图。

如图21所示，预处理单元102新定义了HighQualityObject结构。然后，预处理单元102将高清晰度三维对象指定信息存储在HighQualityObject结构中。在图21中，num_object指示高清晰度三维对象的数量。此外，High_LOD_object_id是高清晰度三维对象的识别信息，并且由数值指示。对于该id，使用图10中objectmetadata中示出的object_id。

此外，预处理单元102可以通过quality的数值来指示三维对象的清晰度，如图22所示。图22是指示在以唯一格式将清晰度与高清晰度三维对象一起存储的情况下的语法的示例的图。预处理单元102在图22中的LOD_value中指示三维对象的清晰度。例如，定义LOD_value的值，使得值越小，清晰度就越高。

另外，预处理单元102可以将highLODflag添加到图10所示的objectmetadata，以指示由objectmetadata指定的三维对象具有高清晰度。

[2.2-1第二实施方式的变形例(2-1)]

在本变形例中，将描述在高清晰度三维对象指定信息不以时间为单位变化的情况下存储指示高清晰度三维对象指定信息的数据的方法。这里，将描述使用指示以场景描述格式指示的高清晰度三维对象指定信息的数据的情况。然而，在使用用户描述格式的情况下或在使用唯一格式的情况下，可以通过类似的方法来生成存储指示高清晰度三维对象指定信息的数据的文件。

图23是示出第二实施方式的变形例(2-1)中的用于存储指示高清晰度三维对象指定信息的数据的框的示例的图。根据本变形例的文件生成单元104新定义了图23中所示的StaticHighLODObjectBox。文件生成单元104将StaticHighLODObjectBox存储在三维对象的场景描述轨道、网格轨道或纹理轨道中的任何轨道的样本条目中。

此外，文件生成单元104可以将指示高清晰度三维对象指定信息的数据存储在MetaBox中。例如，文件生成单元104可以通过在ItemInfoEntry中将item_type设置为“obmt”来将StaticHighLODObjectBox存储在ItemData中。在这种情况下，文件生成单元104可以将ItemProperty扩展到ItemPropery(‘shlo’)并且存储StaticHighLODObjectBox。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用图12所示的Matroska媒体容器执行发送的情况下，也可以发送指示高清晰度三维对象指定信息的数据。在这种情况下，文件生成单元104将SceneDescriptionHighLODObject元素新存储在Track Entry元素中。此时，文件生成单元104将Element Type设置为二进制，并且将SceneDescriptionHighLODObject()作为二进制数据存储为EBML数据。

[2.2-2第二实施方式的变形例(2-2)]

在本变形例中，将描述在三维对象指定信息以时间为单位变化的情况下存储指示高清晰度三维对象指定信息的数据的方法。

这里，类似于第一实施方式的变形例(2-2)，文件生成单元104创建用于存储场景描述(其示出了图13中所示的三维对象指定信息)的元数据文件作为与现有文件不同的文件。

然后，文件生成单元104在元数据文件的样本中与三维对象指定信息同时存储高清晰度三维对象指定信息。在同时存储的情况下，文件生成单元104可以生成文件，使得可以分别访问三维对象指定信息和高清晰度三维对象指定信息。此外，文件生成单元104可以具有其中在三维对象指定信息中包括高清晰度三维对象指定信息的结构。

作为另一种方法，文件生成单元104可以为高清晰度三维对象指定信息定义新的Timed元数据，并且在其中存储高清晰度三维对象指定信息。在这种情况下，文件生成单元104将新定义的Timed元数据中的MetadataSampleEntry扩展到新的HighLODObjectSampleEntry(‘hobm’)。此外，文件生成单元104将高清晰度三维对象指定信息存储在样本中。在这种情况下，文件生成单元104可以将Track Reference Box存储在高清晰度三维对象指定信息轨道中，并且使用reference_type＝'cdsc'来登记三维对象指定信息的id，以示出与ObjectMetadata的Timed元数据的object_id的关系。cdsc是现有值，但可以用指示新关系的另一个值替换。

此外，在以时间为单位变化的高清晰度三维对象指定信息和不以时间为单位变化的高清晰度三维对象指定信息被混合的情况下，针对不以时间为单位变化的高清晰度三维对象指定信息，文件生成单元104将图23的StaticHighLODObjectBox布置在高清晰度三维对象指定信息轨道或者对象指定轨道中。

[2.3-1第二实施方式的变形例(3-1)]

在本变形例中，将描述在三维对象指定信息不以时间为单位变化的情况下使用MPD显示高清晰度三维对象指定信息的方法。

图24是指示根据第二实施方式的变形例(3-1)的AdaptationSet的语法的示例的图。如图24所示，文件生成单元104通过使用AdaptationSet中的SupplementalProperty来指示表示高清晰度三维对象指定信息的数据。文件生成单元104使用SupplementalProperty来新定义schemeIdUri＝“StaticHighLOCObject”，并且通过其子元素存储指示包括三维对象指定信息(其包括识别信息)的数据的信息以及高清晰度三维对象的识别信息。在图24中，id是三维对象的识别信息，并且由数值指示。此外，objectMetadata指示包括三维对象指定信息的Representation@id。

此外，文件生成单元104可以通过将quality与高清晰度三维对象的识别信息一起使用来将指示三维对象的清晰度的信息存储在AdaptationSet中。

[2.3-2第二实施方式的变形例(3-2)]

在本变形例中，将描述在三维对象指定信息以时间为单位变化的情况下使用MPD指示表示三维对象指定信息的数据的方法。根据本变形例的文件生成装置1的文件生成单元104在三维对象指定信息的AdaptationSet中的AdaptationSet@codecs中指定“hobm”，并且指示它是Timed元数据格式的高清晰度三维对象指定信息。然后，文件生成单元104在Representation@associationId中指示包括高清晰度三维对象的场景描述的Representation@id。此外，文件生成单元104将Representation@associationType设置为“cdsc”，这与在第二实施方式的变形例(2-2)中指定的存储Track Reference Box的reference Type相同。

[2.4第二实施方式的变形例(4)]

在本变形例中，扩展了场景描述，使得可以从场景描述中获取指示高清晰度三维对象的访问信息。图25是示出根据第二实施方式的变形例(4)的扩展场景描述的图。

根据本变形例的文件生成装置1的文件生成单元104将包括访问信息的BitWrapper节点扩展到三维对象的网格数据，并且提供用于存储多条Adaptation@id的字段，如语法36所示。此外，文件生成单元104将包括访问信息的MovieTexture节点扩展到三维对象的纹理数据，并且提供用于存储多条Adaptation@id的字段，如语法37所示。图25中的AdaptatioSetIdSelection通过AdaptationSet@id指示包括三维对象的网格数据或纹理数据的多条AdaptationSet。因此，客户端装置2可以从场景描述访问指示高清晰度三维对象指定信息的AdaptationSet。

作为另一种方法，文件生成单元104可以在场景描述中的url的url查询参数中指示多条AdaptationSet@id。

[2.5第二实施方式的变形例(5)]

在上文中，生成了通过使特定三维对象具有高清晰度而获得的一个基于空间的三维对象。在那种情况下，当在6DoF内容的生成中存在要具有高清晰度的许多三维对象时，针对每个三维对象创建基于空间的三维对象，这将增加生成成本以及服务器上的数据量。因此，为了降低生成成本和服务器上的数据量，优选地采用以下描述的方法。

在本变形例中，使用高清晰度差分三维对象(其为仅包括用于使特定三维对象具有高清晰度的差分信息的三维对象)来生成通过使特定三维对象具有高清晰度而获得的视频。图26是指示在使用高清晰度差分三维对象的情况下ISOBMFF文件的示例的图。

文件生成单元104为图26中所示的整个三维空间生成基于空间的三维对象38。此外，文件生成单元104生成高清晰度差分三维对象39，该高清晰度差分三维对象39指示整个三维空间的基于空间的三维对象与通过使特定三维对象具有高清晰度而获得的基于空间的三维对象之间的差异。可以独立地再现基于空间的三维对象38，但是与基于空间的三维对象38作为一组来再现高清晰度差分三维对象39。

具体地，文件生成单元104在生成高清晰度差分三维对象时在Track ReferenceBox中定义新的reference_type＝'dfbs'，并且指示作为差异来源的基于空间的三维对象38的轨道。此外，文件生成单元104通过在高清晰度差分三维对象中的RestrictedSchemeInfoBox的SchemeTypeBox中新登记scheme_Type＝“3odf”来指示其为差分数据。此外，文件生成单元104可以将第二实施方式的变形例(2-1)和(2-2)中指示的高清晰度三维对象指定信息存储在高清晰度差分三维对象的轨道中。

此外，在这种情况下，文件生成单元104通过下述方法在MPD中存储指示高清晰度差分三维对象的信息。例如，文件生成单元104将高清晰度差分三维对象的AdaptationSet@codecs设置为“resv.3dof.xxxx”(xxxx指示对三维对象进行编码的编解码器)以指示其为高清晰度差分三维对象。此外，文件生成单元104使用高清晰度差分三维对象的Representation@dependencyid来指示作为差异来源的基于空间的三维对象的Representation@id。另外，可以通过使用第二实施方式的变形例(3-1)和(3-2)的语法，通过高清晰度差分对象的AdaptationSet来显示高清晰度三维对象。

客户端装置2获取基于空间的三维对象和高清晰度差分三维对象，并且对对象进行解码和呈现，以生成通过使特定三维对象具有高清晰度而获得的三维对象。

注意，在通过使用图12所示的Matroska媒体容器执行发送的情况下，文件生成单元104将Base3DObjectTrackID元素新存储在用于高清晰度的高清晰度差分三维对象的Track Entry元素中。此时，文件生成单元104将Element Type设置为unsigned int，并且将作为差异来源的基于空间的三维对象的轨道的TrackNumber存储为EBML数据。

以这种方式，通过使用用于高清晰度的差分三维对象数据，可以减少服务器上的数据量。此外，通过获取多条差分数据，可以使多个三维对象具有高清晰度，并且可以提高操作者的观看自由度。

[2.6第二实施方式的变形例(6)]

在本变形例中，从指示整个6DoF内容的基于空间的三维对象中排除特定三维对象而获得的基本三维对象以及指示高清晰度特定三维对象的高清晰度三维对象用于生成通过使特定三维对象具有高清晰度而获得的视频。图27是指示在使用基本三维对象的情况下ISOBMFF文件的示例的图。

如图27所示，文件生成单元104生成其中在整个目标三维空间中不存在特定三维对象的基本三维对象41。此外，文件生成单元104生成通过使特定三维对象具有高清晰度而获得的高清晰度三维对象42。在这种情况下，基本三维对象41和高清晰度三维对象42被再现为一组。

文件生成单元104将基本三维对象41的轨道视为基本轨道，在基本三维对象41的Track Reference Box中新定义reference_type＝'3dom'，并且指示用于再现的三维对象的列表。然后，文件生成单元104从对包括基本轨道的文件的场景描述中执行对三维对象文件的访问信息。

此外，文件生成单元104在基本三维对象41和高清晰度三维对象42的两个轨道中存储指示整个目标三维空间包括多个三维对象的信息。例如，文件生成单元104在两个轨道的RestrictedSchemeInfoBox的SchemeTypeBox中存储新定义的scheme_type＝“3osp”以指示其为数据的一部分。此外，文件生成单元104在高清晰度三维对象42的轨道中的TrackReference Box中新定义reference_type＝“3dos”，并且指示整个三维空间的基本轨道。注意，第二实施方式的变形例(2-2)的语法可以用于高清晰度三维对象42的轨道。

此外，在这种情况下，文件生成单元104通过下述方法在MPD中存储指示高清晰度差分三维对象的信息。例如，文件生成单元104将高清晰度差分三维对象的AdaptationSet@codecs设置为“resv.3dof.xxxx”(xxxx指示对三维对象进行编码的编解码器)，以指示整个目标三维空间包括多个三维对象。此外，文件生成单元104使用作为目标三维空间的基础的基本三维对象的Representation@dependencyId来指示用于呈现的所有其他高清晰度三维对象的Representation@id。此外，文件生成单元104使用高清晰度三维对象的Representation@dependencyId来指示作为基础的基本三维对象的Representation@id。

客户端装置2获取基本三维对象和高清晰度三维对象，并且对对象进行解码和呈现，以生成通过使特定三维对象具有高清晰度而获得的三维对象。

注意，在通过使用图12所示的Matroska媒体容器执行发送的情况下，文件生成单元104将required3DObjectTrackID元素新存储在作为基础的基本三维对象的Track Entry元素中。此时，文件生成单元104将Element Type设置为unsigned int，并且将在轨道中不存在的三维对象的轨道的所有TrackNumber存储为EBML数据。此外，文件生成单元104将Base3DObjectTrackID元素新存储在不是基础的高清晰度三维对象的Track Entry元素中。此时，文件生成单元104将Element Type设置为unsigned int，并且将作为基础的基本三维对象的轨道的TrackNumber存储为EBML数据。

这样，通过使用当从目标三维空间中排除要使得具有高清晰度的三维对象时获得的三维对象和高清晰度三维对象，可以减少服务器上的数据量。此外，通过使用高清晰度三维对象的多条数据，可以使多个三维对象具有高清晰度，并且可以提高操作者观看的自由度。

[2.7-1第二实施方式的变形例(7-1)]

在第二实施方式的变形例(5)和第二实施方式的变形例(6)中，使用高清晰度三维对象，并且在这种情况下，文件生成装置提供目标三维空间中包括的每个三维对象的三维对象指定信息，以使得能够通过根据多个配置使特定三维对象具有高清晰度来选择用于观看的配置。在本变形例中，将描述在一个场景描述中存储多个配置的情况。在本变形例中，将每个配置中包括的三维对象的三维对象指定信息存储在场景描述中。

图28是指示第二实施方式的变形例(7-1)中的场景图的示例的图。在这种情况下，文件生成单元104例如如图28所示指示场景描述中每个三维对象中包括的三维指定信息。具体地，文件生成单元104通过将不同的高清晰度三维对象的配置并排布置为Switch节点43的子节点，从而在一个场景描述中描述多个配置。

此外，如图29所示，文件生成单元104扩展Swithc节点43，并且为每个配置中包括的每个三维对象指示三维对象指定信息。图29是指示扩展的Switch节点的语法的示例的图。图29中的ContentStruct指示针对配置中包括的每个三维对象的三维对象指定信息。文件生成单元104使用ContentStruct中的「“，”」来分别指示配置中的每个三维对象。此外，文件生成单元104将整个场景的三维对象指定信息的识别信息用作用于指定包括在三维对象中的三维对象的三维对象指定信息。在三维对象指定信息包括多条识别信息的情况下，文件生成单元104使用「“”」来分别指示每个识别信息。此外，文件生成单元104将节点的顺序设置为指示配置的Group节点的子节点的顺序。

例如，文件生成单元104将ContentStruct的值设置为“1，2 3 4”和“2，1 3 4”。在这种情况下，ContentStruct的值指示第一配置包括两个三维对象，一个三维对象包括“1”，另一个三维对象包括“2，3，4”。

将描述客户端装置2的处理。客户端装置2例如从操作者接收要使得具有高清晰度的三维对象的指定。替选地，客户端装置2从操作者的观看情况中选择要使得具有高清晰度的三维对象。例如，客户端装置2选择通过视线确定得到的操作者最关注的三维对象、最接近视点位置的三维对象等。然后，客户端装置2从整个场景的三维对象指定信息中指定所选择的三维对象。

接下来，客户端装置2使用所指定的三维对象的信息来分析场景描述文件。然后，客户端装置2选择以下配置，在该配置中，使得通过使用场景图的Switch节点的三维对象指定信息选择的三维对象具有高清晰度。接下来，客户端装置2根据来自所选择的配置的场景图中引用的MPD的AdaptationSet以高质量显示所选择的三维对象，并且选择AdaptationSet，使得其他三维对象的质量较低。

因此，操作者可以根据多个配置观看其中使得特定三维对象具有高清晰度的视频。即使在配置的内容随时间动态变化的情况下，也可以实现上述配置。此外，客户端装置2可以在不切换场景描述文件的情况下切换配置。

在上文中，将每个配置中包括的每个三维对象的三维对象指定信息存储在Swithc节点43中，但是存储位置不限于此。例如，文件生成单元104可以将图30所示的ContentsStructureBox布置在场景描述的ISOBMFF文件的样本条目中，并且针对包括在其中的每个配置中的每个三维对象存储三维对象指定信息。图30是指示ContentsStructureBox的语法的示例的图。

在图30中，num_contentStruct指示所包括的配置的数量。此外，num_3Dobject指示所包括的三维对象的数量。此外，num_includesObject指示三维对象中包括的对象的数量。ingclusion_object_id指示包括在三维对象中的三维对象指定信息。该值由在整个场景的三维对象指定信息中使用的识别信息指示。在这种情况下，文件生成单元104相对于作为根的Switch节点，以与子节点的顺序相同的顺序描述关于每个配置的信息。

在这种情况下，客户端装置2从整个场景的三维对象指定信息中指定要使得具有高清晰度的三维对象。接下来，客户端装置2在分析场景描述文件时从样本条目获取ContentStructBox，并且通过使用指定的三维对象指定信息来确定要使用的配置。接下来，客户端装置2分析场景图并且选择在Switch节点中确定的配置。

以这种方式，通过将包括在每个配置中的每个三维对象的三维对象指定信息存储在场景描述的ISOBMFF文件中，可以在配置不随时间变化的情况下减少冗余信息。

另外，作为存储在场景描述的ISOBMFF文件中的方法，文件生成单元104可以新定义图31中所示的IncludingObjectMetadata节点，并且将该节点布置为每个三维对象的Transform节点的子节点。图31是指示IncludingObjectMetadata节点的语法的示例的图。然而，其中布置有IncludingObjectMetadata节点的节点不限于Transform节点，而可以是另一个节点的子节点，只要该节点是指示单个三维对象的节点即可。

在这种情况下，客户端装置2从整个场景的三维对象指定信息中指定使得要具有高清晰度的三维对象。接下来，当分析场景描述文件时，客户端装置2还分析Switch节点下方的场景图，获取三维对象指定信息，并且选择要使用的配置。以这种方式，即使在配置的内容随时间动态变化的情况下，也可以实现使用新定义的IncludingObjectMetadata节点来存储每个配置的三维对象指定信息的配置。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用图12所示的Matroska媒体容器进行发送的情况下，也可以存储每个配置的三维对象指定信息。在这种情况下，文件生成单元104将6DoFContentStruct元素新存储在Track Entry元素中。此时，文件生成单元104将Element Type设置为二进制并且将图30所示的ContentStruct()作为二进制数据存储为EBML数据。

另外，可以将包括在每个配置中的每个三维对象的三维对象指定信息的存储位置设置为另一位置。例如，文件生成单元104在每个三维对象的AdaptationSet的SuplementalProperty中存储用于每个三维对象的三维对象指定信息，作为图32中所示的IncludingObjectMetadata。图32是指示IncludingObjectMetadata的示例的图。在图32中，objectMetadata指示包括三维对象指定信息的Representation@id。ids指示在三维对象中包括的三维对象指定信息。对于ids的值，使用包括在整个场景的三维对象指定信息中的识别信息。

此外，例如，文件生成单元104可以在每个三维对象的ISOBMFF的样本条目中存储用于每个三维对象的三维对象指定信息，作为如图33中所示的IncludingObjectBox。图33是指示IncludingObjectBox的示例的图。在图33中，num_includesObject指示三维对象中包括的对象的数量。includes_object_id指示三维对象中包括的三维对象指定信息。对于includes_object_id的值，使用包括在整个场景的三维对象指定信息中的识别信息。

在使用上述的IncludingObjectMetadata节点或IncludingObjectBox的情况下，客户端装置2执行对场景描述的分析以及对要参考的三维对象的AdaptationSet或者文件的分析，以用于选择配置。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用图12所示的Matroska媒体容器执行发送的情况下，也可以存储每个配置的三维对象指定信息。在这种情况下，文件生成单元104将IncludingObject元素新存储在Track Entry元素中。此时，文件生成单元104将Element Type设置为二进制，并且将图33所示的IncludingObject()作为二进制数据存储为EBML数据。

在此，可以组合使用第二实施方式的变形例(7-1)中描述的用于存储每个配置中包括的每个三维对象的三维对象指定信息的方法中的一些或全部。

[2.7-2第二实施方式的变形例(7-2)]

在本变形例中，将每个配置中包括的每个三维对象的三维对象指定信息存储在MPD的AdaptationSet中。同样在这种情况下，多个配置被存储在一个场景描述中。

如图34所示，根据本变形例的文件生成单元104将每个配置中包括的每个三维对象的三维对象指定信息存储在MPD的场景描述的AdaptationSet 46中。图34是指示在每个配置中包括的每个三维对象的三维对象指定信息被存储在MPD的AdaptationSet中的情况下的状态的图。

在这种情况下，文件生成单元104通过使用图35中所示的语法来存储包括在每个配置中的每个三维对象的三维对象指定信息。图35是指示存储在AdaptationSet中的每个配置中包括的每个三维对象的三维对象指定信息的语法的示例的图。在图35中，OM指示对要参考的三维对象指定信息的访问信息。objectMetadata指示包括三维对象指定信息的Representation@id。3DObject指示配置中包括的三维对象。ids指示三维对象的三维对象指定信息。对于ids的值，使用包括在整个场景的三维对象指定信息中的识别信息。在ids的值包括多个对象的情况下，用空格分隔。6DoFContentStructDescription是按照场景描述中Switch节点下布置的节点顺序描述的。3DObject元素按照Group节点的子节点的顺序进行描述。

将描述在这种情况下由客户端装置2执行的处理。客户端装置2从整个场景的三维对象指定信息中指定使得要以高清晰度来显示的三维对象。接下来，客户端装置2从AdaptationSet中的每个三维对象的三维对象指定信息中选择所指定的三维对象具有高清晰度的配置。接下来，客户端装置2从场景描述的场景图中提取所选择的配置。然后，客户端装置2从与所提取的配置对应的MPD中的AdaptationSet中选择quality。

以此方式，通过将针对每个配置中包括的每个三维对象的三维对象指定信息存储在MPD的AdaptationSet中，客户端装置2可以确定所使用的配置是否被包括在场景描述中而无需获取场景描述。因此，在所使用的配置不被包括在场景描述中的情况下，客户端装置2可以不分析场景描述，并且可以减少不必要的处理的执行。此外，客户端装置2可以在不切换场景描述文件的情况下切换配置。此外，在配置不随时间变化的情况下，可以减少冗余信息。

此外，还可以将根据本变形例的场景描述与第二实施方式的变形例(7-1)的场景描述结合使用。

此外，如图36所示，文件生成单元104可以将三维对象的具有不同配置的场景设置为场景描述47和48，以具有其中提供了不同文件的文件配置。图36是指示在划分每个配置的场景描述的情况下的场景图的图。在这种情况下，文件生成单元104将用于选择配置的每个三维对象的三维对象指定信息存储在与场景描述47和48对应的AdaptationSet中。在这种情况下，文件生成单元104可以使用图35中所示的语法存储三维对象指定信息。

在这种情况下，客户端装置2从整个场景的三维对象指定信息中指定要使得以高质量显示的三维对象。接下来，客户端装置2使用针对多个场景描述的AdaptationSet中存储的每个三维对象的三维对象指定信息，选择其中所指定的三维对象具有高清晰度的配置。接下来，客户端装置2分析所选择的配置的场景描述。然后，客户端装置2从与所分析的场景描述对应的MPD中的AdaptationSet中选择quality。

通过以这种方式针对每个配置分离场景描述，客户端装置2可以在不获取场景描述的情况下指定包括要使用的配置的场景描述。客户端装置2可以不分析不包括要使用的配置的场景描述，并且可以减少不必要的处理。此外，与存储在MPD的AdaptationSet中的情况相比，可以减少不必要的场景图的获取。此外，在配置不随时间变化的情况下，可以减少冗余信息。此外，客户端装置2可以在不切换场景描述文件的情况下切换配置。

此外，尽管这里描述了使用MPD的AdaptationSet的情况，但是在针对每个配置划分场景描述的情况下，也可以将包括在每个配置中的三维对象的三维对象指定信息存储在另一个位置中。例如，文件生成单元104还可以通过使用在每个配置的场景描述的样本条目中的图30的ContentStructBox来存储包括在每个配置中的三维对象的三维对象指定信息。在这种情况下，客户端装置2不能通过MPD确定配置，但是可以通过获取每个场景描述文件来获取配置中包括的三维对象的三维对象指定信息。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用图12所示的Matroska媒体容器执行发送的情况下，也可以存储每个配置的三维对象指定信息。在这种情况下，文件生成单元104将6DoFContentStruct元素新存储在Track Entry元素中。此时，文件生成单元104将Element Type设置为二进制并且将图30所示的ContentSturuct()作为二进制数据存储为EBML数据。

此外，在以上描述中，尽管已经使用MPEG-4场景描述进行了描述，但是即使在使用另一场景描述的情况下，也可以应用存储高清晰度三维对象指定信息的方法。

(3.第三实施方式)

在通过使用基于空间的方法来提供6DoF内容的情况下，除非可以识别出对象，否则难以向用户显示内容创建者意图的关注的三维对象。因此，根据本实施方式的文件生成装置向用户提供与内容创建者意图的关注的三维对象有关的信息作为关注对象信息。下面将描述提供关注对象信息的方法。图2的框图还指示了根据本实施方式的文件生成装置。

预处理单元102通过使用三维对象指定信息的识别信息以场景描述格式存储关注对象信息。

例如，预处理单元102新定义包括由图37中所示的语法指示的filed的节点，并且将用于确定三维对象的识别信息存储为关注对象信息。图37是指示关注对象信息的节点的语法的示例的图。预处理单元102在图37中以ids枚举关注的三维对象的识别信息。以这种方式，预处理单元102使用关注对象信息的NoticeableObject节点生成场景图。

此外，预处理单元102可以通过如图38所示的level的数值来指示关注度。图38是指示与关注对象信息一起示出关注度的语法的示例的图。在图38中，level以ids字段的存储顺序通过数值指示每个三维对象的关注度。例如，level的值被定义为使得数值越小，关注度就越高。

这里，在本实施方式中，关注对象信息被存储在新指定的节点中，但是预处理单元102可以将filed和NoticeableObjectFlag新添加到另一节点以指示其为关注对象。

[3.1-1第三实施方式的变形例(1-1)]

根据本变形例的预处理单元102以用户描述格式存储关注对象信息。即，预处理单元102在用户描述中存储关注对象信息。下面将描述以用户描述格式存储关注对象信息的方法的细节。

预处理单元102通过使用图9所示的Visual3DObjectInfo以用户描述格式存储三维对象指定信息。此外，预处理单元102添加指示如图39所示的关注对象信息的XML模式。图39是指示在以用户描述格式存储关注对象信息的情况下的语法的示例的图。预处理单元102在XML模式中将特定对象信息存储为用户描述的一条属性信息。在图39中由elementname＝“id”指示的信息指示了关注的三维对象的识别信息。对于id的值，使用Visual3DObjectInfo中使用的标识符。

此外，预处理单元102可以通过在图40中设置element name＝“level”来添加关注度的值。图40是指示在以用户描述格式将关注度与关注对象信息一起示出的情况下的语法的示例的图。level信息通过数值指示三维对象的关注度。例如，level的值被定义为使得值越小，关注度就越高。

作为以用户描述格式存储关注对象信息的方法，预处理单元102还可以向Visual3DObjectInfo添加指示其为关注对象的NoticeableObjectFlag和新元素。

[3.1-2第三实施方式的变形例(1-2)]

根据本变形例的预处理单元102以唯一格式存储关注对象信息。即，预处理单元102以唯一描述存储关注对象信息。下面将描述以唯一格式存储关注对象信息的方法的细节。

预处理单元102定义图10所示的ObjectMetadata结构，并且将三维对象指定信息存储在其ObjectMetadata中。此外，如图41所示，预处理单元102定义了NoticeableObject结构，并且将关注对象信息存储在其NoticeableObject中。图41是指示在以唯一格式存储关注对象信息的情况下的语法的示例的图。在图41中，num_of_object_id指示三维对象的数量。此外，noticeable_object_id指示关注的三维对象，其值使用ObjectMetadata中的object_id。

此外，预处理单元102可以添加如图42所示的关注度的值。图42是指示在除了唯一格式的关注对象信息之外还显示关注度的情况下的语法的示例的图。例如，定义图42中的level值，使得该值越小，关注度就越高。

作为以唯一格式存储关注对象信息的方法，预处理单元102还可以向ObjectMetadata添加指示其为关注对象的NoticeableObjectFlag和新元素。

此外，在第三实施方式及其变形例(1-1)和(1-2)中，预处理单元102可以根据使用由内容创建者指定的关注对象信息的方法来配置6DoF内容的数据。例如，在内容创建者指定定义改变的情况下，预处理单元102可以向用户提供信息，该信息建议通过相对于另一三维对象改变清晰度来再现由关注对象信息指定的三维对象。

[3.2-1第三实施方式的变形例(2-1)]

接下来，将描述存储指示关注对象信息的数据的方法。在本变形例中，将描述在关注对象信息不以时间为单位变化的情况下以ISOBMFF存储关注对象信息的情况。

根据本变形例的文件生成单元104在关注对象不以时间为单位变化的情况下，以ISOBMFF存储关注对象信息。这里，将描述使用指示以场景描述格式指示的关注对象指定信息的数据的情况。然而，在使用用户描述格式的情况下或者在使用唯一格式的情况下，可以通过类似的方法来生成存储指示关注对象指定信息的数据的文件。

文件生成单元104定义用于存储关注对象信息的新框，并且在样本条目中固定地执行存储。图43是示出第三实施方式的变形例(2-1)中的用于存储指示关注对象信息的数据的框的示例的图。文件生成单元104在场景描述的轨道或者三维对象指定信息的轨道的样本条目中存储图43的StaticNoticeableObjectBox。

作为在三维对象指定信息不以时间为单位变化的情况下以ISOBMFF存储关注对象信息的方法，文件生成单元104可以将关注对象信息存储在MetaBox中。例如，文件生成单元104通过在MetaBox的ItemInfoEntry中将item_type设置为“obmt”来将StaticNoticeableObjectBox存储在ItemData中。另外，文件生成单元104可以扩展MetaBox的ItemProperty，并且将StaticNoticeableObjectBox存储为ItemProper(‘noob’)。

上面已经描述了以ISOBMFF存储的情况。然而，即使在使用图12所示的Matroska媒体容器执行发送的情况下，也可以发送指示高清晰度三维对象指定信息的数据。在这种情况下，文件生成单元104将StaticNoticeableObjectStruct元素新存储在Track Entry元素中。此时，文件生成单元104将Element Type设置为二进制，并且将StaticNoticeableObjectStruct()作为二进制数据存储为EBML数据。

[3.2-2第三实施方式的变形例(2-2)]

在本变形例中，将描述在关注对象信息以时间为单位变化的情况下以ISOBMFF存储关注对象信息的情况。根据本变形例的文件生成单元104在关注对象以时间为单位变化的情况下以ISOBMFF存储关注对象信息。

文件生成单元104创建用于存储场景描述的元数据文件，该场景描述示出了图13中所示的三维对象指定信息，作为与现有文件不同的文件。

然后，文件生成单元104将关注对象信息与三维对象指定信息同时存储在元数据文件的样本中。在同时存储的情况下，文件生成单元104可以生成文件，使得可以分别访问三维对象指定信息和关注的三维对象信息。此外，文件生成单元104可以具有其中三维对象指定信息包括在关注的三维对象信息中的结构。

作为另一种方法，文件生成单元104可以为关注的三维对象信息定义新的Timed元数据，并且将关注的三维对象信息存储在其中。在这种情况下，文件生成单元104将新定义的Timed元数据中的MetadataSampleEntry扩展到新的NoticeableObjectSampleEntry(nobm’)。此外，文件生成单元104在样本中存储关注的三维对象信息。在这种情况下，文件生成单元104可以将Track Reference Box存储在关注的三维对象信息轨道中，并且用reference_type＝'cdsc'登记三维对象指定信息的id，以显示与ObjectMetadata的Timed元数据的object_id的关系。cdsc是现有值，但可以用指示新关系的另一个值替换。

此外，在以时间为单位变化的关注对象信息和不以时间为单位变化的关注对象信息被混合的情况下，文件生成单元104在关注对象信息的轨道中或者关于不以时间为单位变化的关注对象信息的对象指定轨道中布置图43的StaticNoticeableObjectBox。

[3.3-1第三实施方式的变形例(3-1)]

接下来，将描述在MPD中存储关注对象信息或者关注对象信息的访问信息的情况。根据本变形例的文件生成单元104在关注对象不以时间为单位变化的情况下，将关注对象信息存储在三维对象的场景描述或AdaptationSet中。

图44是指示用于存储关注对象信息的MPD的语法的示例的图。例如，如图44所示，文件生成单元104通过使用三维对象的AdaptationSet中的SupplementalProperty来存储关注对象信息。文件生成单元104新定义shemeIdUri＝“StaticNoticeableObject”。然后，文件生成单元104在其中存储指示包括三维对象的识别信息和关注对象信息的对象指定信息的信息。在图43中，objectMetadata指示包括对象指定信息的Representation@id。此外，id指示关注的三维对象的识别信息，并且对于其值，使用包括在三维对象指定信息中的识别信息。

此外，文件生成单元104可以将用数值表示的关注度与关注对象信息一起存储在图43所示的StaticNoticeableObjectDescription中。

[3.3-2第三实施方式的变形例(3-2)]

描述了根据本变形例的文件生成单元104在关注对象以时间为单位变化的情况下将关注对象信息存储到MPD。

文件生成单元104新定义存储关注对象信息的Timed元数据。此外，文件生成单元104将关注对象信息的Timed元数据与同关注对象信息的Timed元数据有关的场景描述或三维对象相关联。

此外，在以上描述中，尽管已经使用MPEG-4场景描述进行了描述，但是即使在使用另一场景描述的情况下，也可以应用存储关注对象信息的方法。

尽管上面已经描述了本公开的实施方式，但是本公开的技术范围不限于上述实施方式，并且在不脱离本公开的要旨的情况下可以进行各种改变。此外，可以适当地组合不同实施方式和变型例的组成部分。

注意，本说明书中描述的效果仅是说明性的而不是限制性的，并且可以提供其他效果。

注意，本技术可以采用以下描述的配置。

(1)一种信息处理装置，包括：

预处理单元，其生成对象指定信息，所述对象指定信息用于在空间三维对象中识别三维空间中包括的特定对象，所述空间三维对象将多个对象作为单个三维对象来构成所述三维空间；以及

文件生成单元，其生成包括所述对象指定信息和所述空间三维对象的数据的文件。

(2)根据(1)所述的信息处理装置，其中，所述对象指定信息包括同一对象的识别信息、位置信息和详细信息。

(3)根据(2)所述的信息处理装置，其中，所述预处理单元将所述对象指定信息存储在场景描述中的节点、用户描述或唯一描述中的任何一个中。

(4)根据(3)所述的信息处理装置，其中，所述文件生成单元以ISO基础媒体文件格式(ISOBMFF)或者媒体呈现描述(MPD)的场景描述或与所述特定对象对应的AdaptationSet中的任何一者或两者存储其中由所述预处理单元存储所述对象指定信息的描述或者对所述描述的访问信息。

(5)根据(3)所述的信息处理装置，其中，在所述特定对象的位置信息随时间变化的情况下，所述文件生成单元生成以下场景描述作为场景描述文件，在所述场景描述中，由所述预处理单元将所述对象指定信息与所述空间三维对象的位置信息同时存储。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，所述预处理单元生成高清晰度对象指定信息，所述高清晰度对象指定信息包括用于指定所述对象中的具有高清晰度的高清晰度对象的信息以及所述高清晰度对象的清晰度。

(7)根据(6)所述的信息处理装置，其中，所述预处理单元将所述高清晰度对象指定信息存储在场景描述、用户描述或唯一描述中的任何一个中。

(8)根据(7)所述的信息处理装置，其中，所述文件生成单元以ISOBMFF或者MPD的AdaptationSet中的任意一者或两者存储其中由所述预处理单元存储所述高清晰度对象指定信息的描述或者对所述描述的访问信息。

(9)根据(6)所述的信息处理装置，其中，所述预处理单元生成用于使所述高清晰度对象具有高清晰度的差分数据，并且生成用于指定所述差分数据的信息。

(10)根据(6)所述的信息处理装置，其中，所述预处理单元从所述三维空间中生成所述高清晰度对象的高清晰度数据以及从所述三维空间中排除所述高清晰度对象的基本数据，并且生成用于指定所述高清晰度数据和所述基本数据的信息。

(11)根据(6)所述的信息处理装置，其中，所述预处理单元生成用于指定包括在所述三维对象中包括的每个对象中的部分对象的信息，并且以场景描述或者MPD的AdaptationSet中的任何一者或两者存储用于指定每个对象中包括的所述部分对象的信息。

(12)根据(1)至(11)中任一项所述的信息处理装置，其中，所述预处理单元生成关注对象信息，所述关注对象信息包括所述对象中的特定关注对象的识别信息以及所述关注对象的关注度信息。

(13)根据(12)所述的信息处理装置，其中，所述预处理单元将所述关注对象信息存储在场景描述、用户描述或唯一描述中的任何一个中。

(14)根据(13)所述的信息处理装置，其中，所述文件生成单元以ISOBMFF或者MPD的AdaptationSet中的任何一者或两者存储其中由所述预处理单元存储所述关注对象信息的描述或者对所述描述的访问信息。

(15)一种信息处理方法，使计算机执行以下操作：

生成用于在空间三维对象中识别三维空间中包括的特定对象的对象指定信息，所述空间三维对象将多个对象作为单个三维对象来构成所述三维空间。

(16)一种再现处理装置，包括：

接收单元，其接收文件，所述文件包括空间三维对象的内容以及用于识别包括在所述空间三维对象中的特定对象的对象指定信息，所述空间三维对象将多个对象作为单个三维对象来构成三维空间；

信息处理单元，其从由所述接收单元接收的文件中获取所述对象指定信息，并且基于所获取的对象指定信息从所述空间三维对象中指定所述特定对象；以及

再现单元，其基于所述信息处理单元的指定结果来再现所述内容。

(17)一种再现处理方法，使计算机执行以下处理：

接收文件，所述文件包括空间三维对象的内容以及用于识别包括在所述空间三维对象中的特定对象的对象指定信息，所述空间三维对象将多个对象作为单个三维对象来构成三维空间；

从所接收的文件中获取所述对象指定信息；

基于所获取的对象指定信息从所述三维空间中指定所述特定对象；以及

基于指定结果来再现所述内容。

附图标记列表

1 文件生成装置

2 客户端装置

3 Web服务器

4 网络

10 生成处理单元

11 控制单元

20 再现处理单元

21 控制单元

101 数据输入单元

102 预处理单元

103 编码单元

104 文件生成单元

105 发送单元

201 文件获取单元

202 测量单元

203 文件处理单元

204 解码处理单元

205 显示控制单元

206 显示信息生成单元

207 显示单元

Claims (17)

1.一种信息处理装置，包括：

预处理单元，其生成对象指定信息，所述对象指定信息用于在空间三维对象中识别三维空间中包括的特定对象，所述空间三维对象将多个对象作为单个三维对象来构成所述三维空间；以及

文件生成单元，其生成包括所述对象指定信息和所述空间三维对象的数据的文件。

2.根据权利要求1所述的信息处理装置，其中，所述对象指定信息包括同一对象的识别信息、位置信息和详细信息。

3.根据权利要求2所述的信息处理装置，其中，所述预处理单元将所述对象指定信息存储在场景描述中的节点、用户描述或唯一描述中的任何一个中。

4.根据权利要求3所述的信息处理装置，其中，所述文件生成单元以ISO基础媒体文件格式(ISOBMFF)或者媒体呈现描述(MPD)的场景描述或与所述特定对象对应的AdaptationSet中的任何一者或两者存储其中由所述预处理单元存储所述对象指定信息的描述或者对所述描述的访问信息。

5.根据权利要求3所述的信息处理装置，其中，在所述特定对象的位置信息随时间变化的情况下，所述文件生成单元生成以下场景描述作为场景描述文件，在所述场景描述中，由所述预处理单元将所述对象指定信息与所述空间三维对象的位置信息同时存储。

6.根据权利要求1所述的信息处理装置，其中，所述预处理单元生成高清晰度对象指定信息，所述高清晰度对象指定信息包括用于指定所述对象中的具有高清晰度的高清晰度对象的信息以及所述高清晰度对象的清晰度。

7.根据权利要求6所述的信息处理装置，其中，所述预处理单元将所述高清晰度对象指定信息存储在场景描述、用户描述或唯一描述中的任何一个中。

8.根据权利要求7所述的信息处理装置，其中，所述文件生成单元以ISOBMFF或者MPD的AdaptationSet中的任意一者或两者存储其中由所述预处理单元存储所述高清晰度对象指定信息的描述或者对所述描述的访问信息。

9.根据权利要求6所述的信息处理装置，其中，所述预处理单元生成用于使所述高清晰度对象具有高清晰度的差分数据，并且生成用于指定所述差分数据的信息。

10.根据权利要求6所述的信息处理装置，其中，所述预处理单元生成所述高清晰度对象的高清晰度数据以及从所述三维空间中排除所述高清晰度对象的基本数据，并且生成用于指定所述高清晰度数据和所述基本数据的信息。

11.根据权利要求6所述的信息处理装置，其中，所述预处理单元生成用于指定包括在所述三维对象中包括的每个对象中的部分对象的信息，并且以场景描述或者MPD的AdaptationSet中的任何一者或两者存储用于指定包括在每个对象中的所述部分对象的信息。

12.根据权利要求1所述的信息处理装置，其中，所述预处理单元生成关注对象信息，所述关注对象信息包括所述对象中的特定关注对象的识别信息以及所述关注对象的关注度信息。

13.根据权利要求12所述的信息处理装置，其中，所述预处理单元将所述关注对象信息存储在场景描述、用户描述或唯一描述中的任何一个中。

14.根据权利要求13所述的信息处理装置，其中，所述文件生成单元以ISOBMFF或者MPD的AdaptationSet中的任何一者或两者存储其中由所述预处理单元存储所述关注对象信息的描述或者对所述描述的访问信息。

15.一种信息处理方法，使计算机执行以下操作：

生成用于在空间三维对象中识别三维空间中包括的特定对象的对象指定信息，所述空间三维对象将多个对象作为单个三维对象来构成所述三维空间。

16.一种再现处理装置，包括：

接收单元，其接收文件，所述文件包括空间三维对象的内容以及用于识别包括在所述空间三维对象中的特定对象的对象指定信息，所述空间三维对象将多个对象作为单个三维对象来构成三维空间；

信息处理单元，其从由所述接收单元接收的文件中获取所述对象指定信息，并且基于所获取的对象指定信息从所述空间三维对象中指定所述特定对象；以及

再现单元，其基于所述信息处理单元的指定结果来再现所述内容。

17.一种再现处理方法，使计算机执行以下处理：

接收文件，所述文件包括空间三维对象的内容以及用于识别包括在所述空间三维对象中的特定对象的对象指定信息，所述空间三维对象将多个对象作为单个三维对象来构成三维空间；

从所接收的文件中获取所述对象指定信息；

基于所获取的对象指定信息从所述三维空间中指定所述特定对象；以及

基于指定结果来再现所述内容。

Images