CN111567057A - 信息处理装置和方法 - Google Patents

Abstract

本公开内容涉及使得能够更容易地选择子图片流的信息处理装置和方法。根据本公开内容，对通过将整体图片划分为多个子图片并且对这些子图片进行编码而获得的基于子图片的图像编码数据进行管理。创建用于控制图像编码数据的分发的控制文件，该控制文件包括与每个图片区域的布置信息不同的关于整体图片中与子图片对应的区域的信息。本公开内容能够应用于例如信息处理装置、图像处理装置、图像编码装置、文件创建装置、文件发送装置、分发装置、文件接收装置、图像解码装置或者再现装置。

Description

信息处理装置和方法

技术领域

本公开内容涉及信息处理装置和方法，并且特别地涉及能够更容易地选择子图片流的信息处理装置和方法。

背景技术

过去，存在已知的基于HTTP(超文本传输协议)的自适应内容分发技术的标准，包括MPEG-DASH(通过HTTP的运动图像专家组动态自适应流)(参见例如非专利文献1和非专利文献2)。

此外，MPEG-DASH的文件格式包括ISOBMFF(国际标准化组织基本媒体文件格式)，包括用于运动图像压缩的国际标准化技术"MPEG-4(运动图像专家组4)"的文件容器规范(参见例如非专利文献3)。

顺便提及，已经设计出使用MPEG-DASH来进行包括映射到平面图像的三维结构图像的全向图像(也称为投影平面图像)的分发；与所谓的全向视频的情况一样，三维结构图像包括沿水平方向360度四处延伸并且沿竖直方向180度四处延伸并且被投影在三维结构上的图像。例如，可以通过将三维结构图像映射到单个平面并且将包括被映射到平面的三维结构图像的投影平面图像进行分发来应用MPEG-DASH。还有一种建议是，在上述情况下，将全向视频的投影平面图像(也被称为整体图片)划分成多个子图片，然后将其存储在多个轨道(track)中。注意，对子图片的显示区域的识别需要进行以下处理，包括：首先，基于子图片划分信息由子图片构造整体图片，然后，基于逐区域打包信息对经受逐区域打包的整体图片进行重新布置(参见例如非专利文献4)。

引用列表

非专利文献

非专利文献1

"Information technology.Dynamic adaptive streaming over HTTP(DASH).Part 1:Media presentation description and segment formats,"ISO/IEC23009-1,2014/05

非专利文献2

"Information technology.Dynamic adaptive streaming over HTTP(DASH).Part 1:Media presentation description and segment formats AMENDMENT2:Spatialrelationship description,generalized URL parameters and other extensions,"ISO/IEC 23009-1:2014/Amd 2:2015,2015/07

非专利文献3

"Information technology-Coding of audio-visual objects-Part 12:ISObase media file format,"ISO/IEC 14496-12,2005-10-01

非专利文献4

Ye-Kui Wang,Youngkwon Lim,"MPEG#120OMAF meeting agenda and minutes,"ISO/IEC JTC1/SC29/WG11 MPEG2017/M41823,October2017,Macau,China

发明内容

技术问题

然而，在目前提出的方法中，在将图像划分为子图片的情况下，是在子图片合成框下的逐区域打包框中用信号传送指示每个图片区域的尺寸和位置已经改变的布置信息(关于未被划分的整体图片的逐区域打包信息)。因此，在选择并再现子图片轨道的情况下，为了识别投影图片上子图片轨道的显示区域，需要对子图片合成框进行解析以将逐区域打包信息与子图片划分信息区分开。与不是子图片轨道的轨道的选择和再现相比，这种选择和再现可能增加处理的负荷。

鉴于这些情况，本公开内容的目的是允许更容易地选择子图片流。

问题的解决方案

根据本技术的一个方面的信息处理装置是下述信息处理装置，其包括文件生成部，该文件生成部被配置成生成控制文件，该控制文件管理多个子图片中的每个子图片的图像编码数据，多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且该控制文件包括与整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，该控制文件用于控制图像编码数据的分发。

根据本技术的一个方面的信息处理方法是下述信息处理方法，该方法包括生成控制文件，该控制文件管理多个子图片中的每个子图片的图像编码数据，多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且该控制文件包括与整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，该控制文件用于控制图像编码数据的分发。

根据本技术的另一方面的信息处理装置是下述信息处理装置，包括：文件获取部，其被配置成获取控制文件，该控制文件管理多个子图片中的每个子图片的图像编码数据，多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且该控制文件包括与整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，该控制文件用于控制图像编码数据的分发；以及图像处理部，其被配置成基于由文件获取部获取的控制文件中包括的区域相关信息来选择图像编码数据的流。

根据本技术的另一方面的信息处理方法是下述信息处理方法，包括：获取控制文件，该控制文件管理多个子图片中的每个子图片的图像编码数据，多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且该控制文件包括与整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，该控制文件用于控制图像编码数据的分发；以及基于所获取的控制文件中包括的区域相关信息来选择图像编码数据的流。

在根据本技术的一个方面的信息处理装置和方法中，生成控制文件，该控制文件管理多个子图片中的每个子图片的图像编码数据，多个子图片中的每个子图片由整体图片划分而成并且然后被编码，该控制文件包括与整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，该控制文件用于控制图像编码数据的分发。

在根据本技术的另一方面的信息处理装置和方法中，获取控制文件，该控制文件管理多个子图片中的每个子图片的图像编码数据，多个子图片中的每个子图片由整体图片划分而成并且然后被编码，该控制文件包括与整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，该控制文件用于控制图像编码数据的分发；以及基于所获取的控制文件中包括的区域相关信息来选择图像编码数据的流。

发明的有益效果

根据本公开内容，可以对信息进行处理。特别地，能够更容易地选择子图片流。

附图说明

[图1]图1是示出ISOBMFF子图片轨道的框(Box)层次结构的示例的图。

[图2]图2是示出不是ISOBMFF子图片轨道的轨道的框层次结构的示例的图。

[图3]图3是示出子图片合成框的语法的示例的图。

[图4]图4是示出子图片区域框的语法的示例的图。

[图5]图5是示出子图片区域框中定义的字段的语义的示例的图。

[图6]图6是示出逐区域打包框的语法的示例的图。

[图7]图7是示出逐区域打包结构体的语法的示例的图。

[图8]图8是示出逐区域打包结构体中定义的字段的语义的示例的图。

[图9]图9是示出RectRegionPacking的语法的示例的图。

[图10]图10是示出RectRegionPacking中定义的字段的语义的示例的图。

[图11]图11是示出文件生成装置的主要配置示例的框图。

[图12]图12是示出客户端装置的主要配置示例的框图。

[图13]图13是示出显示区域信息的示例的图。

[图14]图14是示出上传处理的过程的示例的流程图。

[图15]图15是示出内容再现处理的过程的示例的流程图。

[图16]图16是示出2D覆盖信息框的语法的示例的图。

[图17]图17是示出2D覆盖信息框中定义的字段的语义的示例的图。

[图18]图18是示出显示区域信息的示例的图。

[图19]图19是示出包括非连续区域的子图片的示例的图。

[图20]图20是示出2D覆盖信息框的语法的示例的图。

[图21]图21是示出在这种情况下添加的字段的语义的示例的图。

[图22]图22是示出逐区域打包结构体的语法的示例的图。

[图23]图23是示出在这种情况下添加的字段的语义的示例的图。

[图24]图24是示出RectProjectedRegion的语法的示例的图。

[图25]图25是示出RectProjectedRegion中定义的字段的语义的示例的图。

[图26]图26是示出逐区域打包结构体的语法的示例的图。

[图27]图27是示出RectRegionPacking的语法的示例的图。

[图28]图28是示出覆盖信息框的语法的示例的图。

[图29]图29是示出覆盖信息框中定义的字段的语义的示例的图。

[图30]图30是示出球形偏移投影SEI消息的语法的示例的图。

[图31]图31是示出在球形偏移投影SEI消息中定义的字段的语义的示例的图。

[图32]图32是示出2D覆盖信息样本条目的语法的示例的图。

[图33]图33是示出2D覆盖信息样本的语法的示例的图。

[图34]图34是示出样本表框的示例的图。

[图35]图35是示出2D覆盖信息样本组条目的语法的示例的图。

[图36]图36是示出上传处理的过程的示例的流程图。

[图37]图37是示出内容再现处理的过程的示例的流程图。

[图38]图38是示出2D覆盖信息描述符的属性值的示例的图。

[图39]图39是示出2D覆盖信息描述符的属性值的示例的图。

[图40]图40是示出数据类型的示例的图。

[图41]图41是示出逐区域打包描述符的属性值的示例的图。

[图42]图42是示出逐区域打包描述符的属性值的示例的图。

[图43]图43是示出内容覆盖描述符的属性值的示例的图。

[图44]图44是接续图43示出内容覆盖描述符的属性值的示例的图。

[图45]图45是示出数据类型的示例的图。

[图46]图46是接续图45示出数据类型的示例的图。

[图47]图47是接续图46示出数据类型的示例的图。

[图48]图48是示出划分为子图片的示例的图。

[图49]图49是示出划分为子图片的示例的图。

[图50]图50是示出划分为子图片的示例的图。

[图51]图51是示出上传处理的过程的示例的流程图。

[图52]图52是示出内容再现处理的过程的示例的流程图。

[图53]图53是示出原始立体视频框的语法的示例的图。

[图54]图54是示出在原始立体视频框中定义的字段的语义的示例的图。

[图55]图55是示出针对显示尺寸的信号的示例的图。

[图56]图56是示出像素纵横比框的语法的示例的图。

[图57]图57是示出在像素纵横比框中定义的字段的语义的示例的图。

[图58]图58是示出显示时间的像素纵横比的信号传送的示例的图。

[图59]图59是示出原始方案信息框的语法的示例的图。

[图60]图60是示出2D覆盖信息框的语法的示例的图。

[图61]图61是示出2D覆盖信息框中定义的字段的语义的示例的图。

[图62]图62是示出stereo_presentation_suitable的信号传送的图。

[图63]图63是示出轨道立体视频框的语法的示例的图。

[图64]图64是示出2D覆盖信息框的语法的示例的图。

[图65]图65是示出2D覆盖信息框中定义的字段的语义的示例的图。

[图66]图66是示出view_idc的信号传送的示例的图。

[图67]图67是示出上传处理的过程的示例的流程图。

[图68]图68是示出内容再现处理的过程的示例的流程图。

[图69]图69是示出2D覆盖信息描述符的属性值的示例的图。

[图70]图70是接续图69示出2D覆盖信息描述符的属性值的示例的图。

[图71]图71是示出数据类型的示例的图。

[图72]图72是示出计算机的主要配置示例的框图。

[图73]图73是示出子图片合成框的语法的示例的图。

[图74]图74是示出补充特性的语法的示例的图。

具体实施方式

将描述本公开内容的实施方式(在下文中称为实施方式)。按以下顺序进行描述。

1.与子图片有关的信息的信号传送

2.第一实施方式(子图片的显示区域的信号传送和ISOBMFF扩展)

3.第二实施方式(子图片的显示区域的信号传送和MPD扩展)

4.第三实施方式(关于整体图片的立体信息的信号传送和ISOBMFF扩展)

5.第四实施方式(关于整体图片的立体信息的信号传送和MPD扩展)

6.补充特征

<1.与子图片有关的信息的信号传送>

<支持技术内容和术语的文献等>

本技术中公开的范围不仅包括实施方式中描述的内容，而且包括在提交本申请时公知的以下非专利文献中描述的内容。

非专利文献1：(如上所述)

非专利文献2：(如上所述)

非专利文献3：(如上所述)

非专利文献4：(如上所述)

换言之，上述非专利文献中描述的内容是确定支持要求的基础。例如，即使在实施方式不包括对术语的直接描述的情况下，诸如解析、语法和语义的技术术语在本技术的公开内容的范围内，并且满足对权利要求的支持要求。

<MPEG-DASH>

过去，存在用于基于HTTP(超文本传输协议)的自适应内容分发技术的已知标准，其包括例如非专利文献1和非专利文献2中描述的MPEG-DASH(通过HTTP的运动图像专家组动态自适应流)。

MPEG-DASH例如允许使用HTTP来根据网络频带的变化以最佳比特率再现视频，HTTP对应于与用来从网站下载因特网网页的通信协议类似的通信协议。

该标准允许更容易地开发用于运动图像分发服务的基础设施和用于运动图像再现客户端的技术。特别地，对于参与分发服务的运营商而言，这些标准有利于提高运动图像分发服务与运动图像再现客户端之间的兼容性，并且还有助于对现有内容资源的利用，而且预计会有效地促进市场增长。

MPEG-DASH主要包括两种技术设计，包括针对用来管理运动图像和音频文件的描述元数据的被称为MPD(媒体呈现描述)的清单文件规范的标准，以及针对用于实际传送运动图像内容的被称为分段格式的文件格式的操作标准。

例如，如非专利文献3中所述，MPEG-DASH的文件格式包括ISOBMFF(国际标准化组织基本媒体文件格式)，其包括用于运动图像压缩的国际标准技术“MPEG-4(运动图像专家组4)”的文件容器规范。ISOBMFF包括用于满足MPEG-DASH要求的附加扩展，作为针对ISO/IEC(国际标准化组织/国际电工委员会)14496-12的扩展规范。

<使用MPEG-DASH的全向视频的分发>

顺便提及，投影平面图像包括映射到平面图像的三维结构图像；与所谓的全向视频的情况一样，三维结构图像包括沿水平方向360度四处延伸并且沿竖直方向180度四处延伸并且被投影在三维结构上的图像。例如，通过在视点周围的三维结构上呈现从该视点观看到的周边图像(全向视频)以提供三维结构图像，可以自然地表达出视点周围的图像，或者可以从三维结构图像容易地生成期望的视线方向上的图像。

近年来，已经设计出使用MPEG-DASH来分发投影平面图像(全向视频等)。例如，如非专利文献4所述，可以通过将三维结构图像映射到单个平面并且分发具有映射到该平面的三维结构图像的投影平面图像来应用MPEG-DASH。

用于在三维结构上投影并映射到平面的方法(这些方法也称为投影格式)例如包括ERP(等距柱状投影)和CMP(立方体映射投影)。例如，在ERP中，沿水平方向360度四处延伸并且沿竖直方向180度四处延伸并且被投影在三维结构上的图像被映射到单个平面，使得球形三维结构的纬度方向和经度方向彼此正交。另外，在CMP中，例如，沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像被投影到三维结构的表面上，并且三维结构的表面被展开并被映射到单个平面，使得这些表面以预定顺序布置。

其上被投影并映射有全向视频的投影平面图像也被称为投影图片。换言之，投影图片是指针对每个投影格式确定的并且表示全向视频的二维图像(二维图片)。

对于非专利文献4中描述的MPEG-I Part2全向媒体格式(ISO/IEC23090-2)FDIS(最终草案国际标准)(下文中称为OMAF)，已经讨论了一种技术，其中一个全向视频的投影平面图像(也称为整体图片)被划分成多个子图片，这些子图片存储在多个轨道中。

例如，存在这样的使用情况，其中，为各个特定的视场区域配置与视场对应的子图片轨道，并且其中，客户端根据该客户端的视场区域选择并再现这些子图片轨道中的任何子图片轨道。

<ISOBMFF文件的框层次结构>

图1中的框层次结构11表示用来将全向视频形成为子图片轨道的ISOBMFF文件的框层次结构的示例。

如框层次结构11所示，在这种情况下，有关整体图片的信息存储在轨道组框下。例如，子图片合成框(spco)存储用于子图片轨道的分组并且指示例如该图片是否已被划分为子图片的信息。另外，在子图片合成框下，形成有诸如子图片区域框(sprg)，逐区域打包框(rwpk)和立体视频框(stvi)的框。

子图片区域框存储指示例如划分成子图片的方式的子图片划分信息。此外，逐区域打包框存储关于未划分的整体图片的逐区域打包信息。另外，立体视频框存储关于整体图片的立体显示(立体显示)的信息(立体信息)。立体信息包括指示例如立体显示图像的类型(例如并排或上下)的信息。

此外，在媒体框(mdia)下的媒体信息框(minf)下的样本表框(stbl)下的样本描述框(stsd)下的限制样本条目(resv)(样本条目的类型)下的限制方案信息框(rinf)下的方案信息框(schi)下，形成有诸如投影全向视频框(povd)和立体视频框(stvi)的框。

投影全向视频框存储与全向视频相关联的元数据。立体视频框存储关于框所对应的子图片的立体信息。

图2中的框层次结构12表示ISOBMFF文件的框层次结构的示例，其中全向视频未被形成为子图片轨道。

如框层次结构12所示，在这种情况下，不形成轨道组框，而是在投影全向视频框下形成逐区域打包框。

换句话说，在将全向视频形成为子图片的情况下，仅针对子图片合成框用信号传送指示布置信息的逐区域打包框，布置信息指示每个图片区域的尺寸和位置已经改变，并且该逐区域打包框包括关于未被划分的整体图片的逐区域打包信息。相比之下，在不将全向视频形成为子图片的情况下，在投影全向视频框中用信号传送逐区域打包框，并且该逐区域打包框包括关于存储在轨道中的图片的逐区域打包信息。在下文中将包括子图片合成框的轨道称为子图片轨道。

<子图片轨道的选择>

因此，根据轨道是子图片轨道还是未被划分为子图片的普通轨道，客户端识别轨道中的图像的投影平面图像(投影图片)上的显示区域所需的处理有所不同。例如，在选择并再现子图片轨道的情况下，为了识别投影图片上的子图片轨道的显示区域，需要对子图片合成框进行解析以识别逐区域打包信息和子图片划分信息。相比之下，在选择和再现不是子图片轨道的轨道的情况下，不必进行该处理。

图3中的语法21表示子图片合成框的语法的示例。如语法21所示，在子图片合成框中设置了子图片区域框和逐区域打包框。

图4中的语法22表示了子图片区域框的语法的示例。如语法22所示，在子图片区域框中定义了诸如track_x、track_y、track_width、track_height、composition_width和composition_height的字段。

图5中的语义23表示了子图片区域框中的字段的语义的示例。如语义23所示，track_x指示轨道中存储的子图片在整体图片上的水平位置。track_y指示轨道中存储的子图片在整体图片上的竖直位置。track_width指示轨道中存储的子图片的宽度。track_height指示轨道中存储的子图片的高度。composition_width指示整体图片的宽度。composition_height指示整体图片的高度。

图6中的语法24指示逐区域打包框的语法的示例。如语法24所示，在逐区域打包框中设置逐区域打包结构体。

图7中的语法25表示逐区域打包结构体的语法的示例。如语法25所示，在逐区域打包结构体中设置了诸如composition_picture_matching_flag、num_regions、proj_picture_width、proj_picture_height、packed_picture_width、packed_picture_height、guard_band_flag[i]、packing_type[i]和GuardBand(i)的字段。

图8中的语义26表示在逐区域打包结构体中定义的字段的语义的示例。如语义26所示，composition_picture_matching_flag是在图片为立体图片的情况下指示是否对左眼的视图(左视图)和右眼的视图(右视图)应用相同的逐区域打包的标志信息。例如，该字段的值为0表示图片是单视点的(单视点视图)或者对左视图和右视图应用不同的打包。该字段的值为1表示对左视图和右视图应用相同的打包。

此外，num_regions指示打包区域的数量。proj_picture_width指示投影图片的宽度。proj_picture_height指示投影图片的高度。packed_picture_width指示打包图片(经受逐区域打包的图片)的宽度。packed_picture_height指示打包图片的高度。

另外，guard_band_flag[i]是指示是否存在保护带的标志信息。例如，该字段的值为0表示在打包区域中不存在保护带，而该字段的值为1表示在打包区域中存在保护带。packing_type[i]指示打包区域的形状。例如，该字段的值为0表示打包区域为矩形。GuardBand(i)是关于区域的周边的保护带信息。

另外，如语法25所示，在逐区域打包结构体中还设置有RectRegionPacking。图9中的语法27表示RectRegionPacking中的语法的示例。如语法27所示，在RectRegionPacking中设置了诸如proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、proj_reg_left[i]、transform_type[i]、packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]的字段。

图10中的语义28表示RectRegionPacking中定义的字段的语义的示例。如语义28所示，proj_reg_width[i]指示与逐区域打包的应用源对应的投影区域的宽度。proj_reg_height[i]指示与逐区域打包的应用源对应的投影区域的高度。proj_reg_top[i]指示与逐区域打包的应用源对应的投影区域的竖直位置。proj_reg_left[i]指示与逐区域打包的应用源对应的投影区域的水平位置。transform_type[i]指示打包区域的旋转或镜像。packed_reg_width[i]指示通过逐区域打包重新布置的打包区域的宽度。packed_reg_height[i]指示通过逐区域打包重新布置的打包区域的高度。packed_reg_top[i]指示通过逐区域打包重新布置的打包区域的竖直位置。packed_reg_left[i]指示通过逐区域打包重新布置的打包区域的水平位置。

换句话说，例如，在客户端根据用户的视场选择子图片轨道的情况下，需要对这些信息进行解析，因此，与选择和再现不是子图片轨道的轨道相比，这种选择可能会增大对应处理的负荷。

<立体信息的识别>

另外，在立体全向视频的整体图片被划分为子图片的情况下，在子图片合成框中用信号传送指示关于整体图片的立体信息(整体图片是哪种类型的立体显示图像等)的立体视频框，并且在轨道中的样本条目的方案信息框下用信号传送指示关于子图片的立体信息(子图片是哪种类型的立体显示图像等)的立体视频框。相比之下，在整体图片未被划分为子图片的情况下，仅在方案信息框下用信号传送立体视频框，并且该立体视频框包括与存储在轨道中的图片有关的立体信息。

因此，根据轨道是子图片轨道还是未被划分为子图片的普通轨道，客户端识别与轨道有关的立体信息所需的处理有所不同。例如，在整体图片是立体图像(立体图像)的情况下，由划分产生的子图片轨道包括L视图和R视图，但是在一些情况下，帧打包布置不是上下的或并排的。

因此，在识别出这种子图片是否能够立体显示的情况下，需要进行以下处理，涉及对子图片合成框进行解析、识别逐区域打包信息和子图片划分信息、以及识别立体信息。相比之下，在选择和再现不是子图片轨道的轨道的情况下，不必进行该处理。

换句话说，例如，在客户端根据该客户端的立体显示能力来选择子图片轨道的情况下，与选择和再现不是子图片轨道的轨道相比，这种选择可能会增大对应处理的负荷。

已经描述了ISOBMFF文件中的子图片轨道的选择。然而，在MPD文件中，子图片是作为适应集(Adaptation Set)而被管理。出于与上述原因类似的原因，在MPD文件中对表示子图片的适应集的选择可能会增大处理负荷。换句话说，无论使用ISOBMFF文件还是MPD文件，关于流的选择的负荷都可能增大。

<子图片的显示区域的信号传送>

因此，在整体图片被划分为子图片的情况下，用信号传送关于子图片显示区域的信息(其被提供至内容再现侧)。显示区域表示整体图片中的区域。具体地，与子图片显示区域有关的信息是与整体图片中对应于子图片的区域(换言之，整体图片的该部分图像对应于子图片)有关的区域相关信息。该信息指示例如与子图片对应的区域的位置、尺寸、形状等。表示区域的方法是可选的，例如，可以用坐标等表示区域的范围。

这使得对内容进行再现的客户端能够基于上述信息获知子图片将被显示在全向视频中的何处。

此时，用信号传送与子图片显示区域有关的信息作为针对每个子图片的信息。这使客户端可以容易地获得此信息。因此，客户端能够容易地选择期望的子图片的流。例如，在根据用户的视场选择流的情况下，客户端能够容易地选择与视场方向或范围对应的适当的流。

<关于被划分成子图片的整体图片的立体信息的信号传送>

另外，用信号传送立体信息，该立体信息包括与被划分成子图片的整体图片的立体显示相关的信息。这使得再现内容的客户端能够容易地获知整体图片是否是立体图像(立体图像)，并且在整体图片是立体图像的情况下，能够获知立体图像的类型。因此，客户端可以容易地获知在子图片中包括什么图像(例如，子图片中包括的图像对应于什么类型的立体图像(或单视点图像(单个视点图像))的哪个部分)。

因此，客户端可以容易地选择期望的流。例如，在根据客户端的能力选择流的情况下，客户端可以根据客户端的能力容易地选择适当的流。

<文件生成装置>

现在，将描述提供与子图片相关的信号传送的装置的配置。图11是示出根据应用本技术的信息处理装置的一方面的文件生成装置的配置的示例的框图。图11中示出的文件生成装置100是生成ISOBMFF文件(分段文件)或MPD文件的装置。例如，文件生成装置100实现非专利文献1至非专利文献4中描述的技术，并且使用符合MPEG-DASH的方法来生成包括流的ISOBMFF文件或与用于控制流的分发的控制文件对应的MPD文件，并且经由网络将该文件上传(发送)至分发该文件的服务器。

注意，图11示出了诸如处理部和数据流的主要部件，但未示出文件生成装置的所有部件。换句话说，在文件生成装置100中，可以存在图11中未示为块的处理部，或者可以存在图11中未示为箭头的处理或数据流。

如图11所示，文件生成装置100包括控制部101、存储器102和文件生成部103。

控制部101控制文件生成装置100作为整体的操作。例如，控制部101控制并使得文件生成部103生成ISOBMFF文件或MPD文件，并且上传所生成的ISOBMFF文件或MPD文件。控制部101利用存储器102执行与这样的控制相关的处理。例如，控制部101将期望的程序等加载到存储器102中，并且执行该程序以执行与如上所述的控制相关的处理。

文件生成部103根据控制部101的控制，执行与ISOBMFF文件或MPD文件的生成和上传(发送)相关的处理。如图11所示，文件生成部103包括数据输入部111、数据编码和生成部112、MPD文件生成部113、记录部114和上传部115。

数据输入部111执行与数据输入的接收相关的处理。例如，数据输入部111接收例如诸如生成纹理和网格所需的图像以及生成MPD文件所需的元数据的数据。另外，数据输入部111将所接收的数据馈送至数据编码和生成部112以及MPD文件生成部113。

数据编码和生成部112执行与数据的编码和文件的生成相关的处理。例如，数据编码和生成部112基于从数据输入部111馈送的诸如图像的数据生成纹理、网格等的流。另外，数据编码和生成部112生成存储所生成的流的ISOBMFF文件。另外，数据编码和生成部112将生成的ISOBMFF文件馈送至记录部114。

如图11所示，数据编码和生成部112包括预处理部121、编码部122和分段文件生成部123。

预处理部121对诸如非编码图像的数据执行处理。例如，预处理部121基于从数据输入部111馈送的诸如图像的数据生成纹理或网格的流。另外，例如，预处理部121将生成的流提供给编码部122。

编码部122执行与流的编码相关的处理。例如，编码部122对从预处理部121馈送的流进行编码。另外，例如，编码部122将通过编码部122进行编码得到的编码数据馈送至分段文件生成部123。

分段文件生成部123执行与分段文件的生成相关的处理。例如，基于从数据输入部111馈送的元数据等，分段文件生成部123将从编码部122馈送的编码数据形成以段为单位的文件(生成分段文件)。另外，例如，作为与分段文件的生成相关的处理，分段文件生成部123将如上所述生成的ISOBMFF文件馈送至记录部114。例如，分段文件生成部123生成ISOBMFF文件作为分段文件，并且将生成的ISOBMFF文件馈送至记录部114。

MPD文件生成部113执行与MPD文件的生成相关的处理。例如，MPD文件生成部113基于从数据输入部111馈送的元数据等生成MPD文件。另外，例如，MPD文件生成部113将所生成的MPD文件馈送至记录部114。注意，MPD文件生成部113可以从分段文件生成部123获取生成MPD文件所需的元数据等。

记录部114包括任何记录介质，例如硬盘或半导体存储器，并且执行与例如数据的记录相关的处理。例如，记录部114记录从MPD文件生成部113馈送的MPD文件。另外，例如，记录部114记录从分段文件生成部123馈送的分段文件(例如，ISOBMFF文件)。

上传部115执行与文件的上传(发送)相关的处理。例如，上传部115读取在记录部114中记录的MPD文件。另外，例如，上传部115经由网络等将所读取的MPD文件上传(发送)至向客户端等分发MPD文件的服务器(未示出)。

另外，例如，上传部115读取在记录部114中记录的分段文件(例如，ISOBMFF文件)。另外，例如，上传部115经由网络等将读取的分段文件上传(发送)至向客户端等分发分段文件的服务器(未示出)。

换句话说，上传部115用作将MPD文件或分段文件(例如，ISOBMFF文件)发送至服务器的通信部。注意，来自上传部115的MPD文件的目的地可以与来自上传部115的分段文件(例如，ISOBMFF文件)的目的地相同或不同。另外，在此处描述的示例中，文件生成装置100用作将MPD文件或分段文件(例如，ISOBMFF文件)上传至向客户端分发文件的服务器的装置。然而，文件生成装置100可以用作服务器。在这种情况下，仅需要文件生成装置100的上传部115经由网络向客户端分发MPD文件或分段文件(例如，ISOBMFF文件)。

<客户端装置>

图12是示出根据应用本技术的信息处理装置的一方面的客户端装置的配置的示例的框图。图12中示出的客户端装置200是获取MPD文件或分段文件(例如，ISOBMFF文件)并且基于该文件再现内容的装置。例如，客户端装置200实现非专利文献1至非专利文献4中描述的技术，以使用符合MPEG-DASH的方法从服务器(或上述文件生成装置100)获取分段文件并且再现包括在分段文件中的流(内容)。此时，客户端装置200可以从服务器(或上述文件生成装置100)获取MPD文件，利用MPD文件选择期望的分段文件，并且从服务器获取分段文件。

注意，图12示出了诸如处理部和数据流的主要部件，但未示出客户端装置的所有部件。换句话说，在客户端装置200中，可以存在图12中未示为块的处理部，或者可以存在图12中未示为箭头的处理或数据流。

如图12所示，客户端装置200包括控制部201、存储器202和再现处理部203。

控制部201控制客户端装置200作为整体的操作。例如，控制部201控制并使得再现处理部203从服务器获取MPD文件或分段文件(例如，ISOBMFF文件)或者再现包括在分段文件中的流(内容)。控制部201利用存储器202执行与这样的控制相关的处理。例如，控制部201将期望的程序等加载到存储器202中，并且执行该程序以执行与如上所述的控制相关的处理。

再现处理部203根据控制部201的控制执行与分段文件中包括的流(内容)的再现相关的处理。如图12所示，再现处理部203包括测量部211、MPD文件获取部212、MPD文件处理部213、分段文件获取部214、显示控制部215、数据分析和解码部216以及显示部217。

测量部211执行与测量相关的处理。例如，测量部211测量客户端装置200与服务器之间的网络的传输频带。另外，例如，测量部211将相应的测量结果馈送至MPD文件处理部213。

MPD文件获取部212执行与MPD文件的获取相关的处理。例如，MPD文件获取部212经由网络从服务器获取对应于期望内容(要再现的内容)的MPD文件。另外，例如，MPD文件获取部212将获取的MPD文件馈送至MPD文件处理部213。

MPD文件处理部213基于MPD文件执行处理。例如，MPD文件处理部213基于从MPD文件获取部212馈送的MPD文件选择要获取的流。另外，例如，MPD文件处理部213将相应的选择结果馈送至分段文件获取部214。注意，要获取的流的选择涉及适当地利用来自测量部211的测量结果以及从显示控制部215馈送的与用户的视点位置和视线方向相关的信息。

分段文件获取部214执行与分段文件(例如，ISOBMFF文件)的获取相关的处理。例如，分段文件获取部214经由网络从服务器获取存储再现期望内容所需的流的分段文件。另外，例如，分段文件获取部214将获取的分段文件馈送至数据分析和解码部216。

注意，分段文件获取部214从其获取分段文件(例如，ISOBMFF文件)的服务器可以与MPD文件获取部212从其获取MPD文件的服务器相同或不同。另外，分段文件获取部214可以基于从MPD文件处理部213馈送的流的选择结果来获取分段文件。换句话说，分段文件获取部214可以从服务器获取存储基于MPD文件等选择的流的分段文件。

显示控制部215执行与内容再现(显示)的控制相关的处理。例如，显示控制部215获取观看和收听内容的用户的视点位置和视线方向的检测结果。例如，显示控制部215将所获取的检测结果(关于用户的视点位置和视线方向的信息)馈送至MPD文件处理部213以及数据分析和解码部216。

数据分析和解码部216执行与例如数据的分析或解码相关的处理。例如，数据分析和解码部216处理从分段文件获取部214馈送的ISOBMFF文件以生成内容的显示图像。另外，数据分析和解码部216将关于显示图像的数据馈送至显示部217。

如图12所示，数据分析和解码部216包括分段文件处理部221、解码部222和显示信息生成部223。

分段文件处理部221对分段文件(例如，ISOBMFF文件)执行处理。例如，分段文件处理部221从由分段文件获取部214馈送的ISOBMFF文件中提取期望流的编码数据。另外，例如，分段文件处理部221将提取的编码数据馈送至解码部222。

注意，分段文件处理部221可以基于从显示控制部215馈送的、与用户的视点位置和视线方向相关的信息或者由测量部211测量的传输频带来选择流，并且从分段文件中提取流的编码数据。

解码部222执行与解码相关的处理。例如，解码部222对从分段文件处理部221馈送的编码数据进行解码。另外，例如，解码部222将通过解码部222进行解码得到的流馈送至显示信息生成部223。

显示信息生成部223执行与显示图像的数据的生成相关的处理。例如，显示信息生成部223基于从显示控制部215馈送的、与用户的视点位置和视线方向相关的信息以及从解码部222馈送的流，生成与用户的视点位置和视线方向对应的显示图像的数据。另外，例如，显示信息生成部223将生成的显示图像的数据馈送至显示部217。

显示部217包括任何显示设备，例如，包括液晶显示面板等的显示器或投影仪，并且使用显示设备执行与图像显示相关的处理。例如，显示部217基于从显示信息生成部223馈送的数据执行内容再现，例如图像显示。

<2.第一实施方式>

<ISOBMFF中关于子图片的显示区域信息的信号传送>

可以在与分段文件对应的ISOBMFF文件中用信号传送与子图片显示区域相关的上述信息。

换句话说，可以生成文件，该文件包括与对应于存储的子图片的整体图片中的区域相关的区域相关信息，作为与每个图片区域的布置信息不同的信息，并且还包括由子图片的编码产生的图像编码数据。

例如，在用作信息处理装置的文件生成装置100中，分段文件生成部123用作生成文件的文件生成部，该文件包括与对应于所存储的子图片的整体图片中的区域相关的区域相关信息，作为与每个图片区域的布置信息不同的信息，并且还包括由子图片的编码产生的图像编码数据。换句话说，信息处理装置(例如，文件生成装置100)可以包括文件生成部(例如，分段文件生成部123)。

因此，如上所述，客户端可以基于上述信息容易地选择流。

注意，在ISOBMFF文件中，将流作为轨道进行管理。换句话说，在ISOBMFF文件的情况下，轨道的选择导致流的选择。

另外，上述图片可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。全向视频是视点周围的所有方向的图像(即，从视点观看的周边图像)。通过将全向视频渲染到三维结构中，该全向视频可以被形成为沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像。如上所述，通过将三维结构图像映射到单个平面以形成投影平面图像，能够进行应用MPEG-DASH的流分发控制。换句话说，即使在文件生成装置100使用这样的投影平面图像的全部或一部分作为整体图片并将整体图片划分为子图片的情况下，也可以如上所述地应用本技术。注意，即使在投影平面图像的一部分被用作整体图片的情况下，也用信号传送与整体投影平面图像中的子图片的显示区域相关的信息。

例如，如图13所示，通过Cubemap(立方体映射)投影将沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像投影在三维结构(立方体)上，以生成三维结构图像301。另外，通过预定方法将三维结构图像301映射到单个平面以生成投影平面图像(投影图片)302。文件生成装置100将投影平面图像302划分为子图片(子图片303至308)，并且生成其中子图片被存储在不同轨道中的ISOBMFF文件。

此时，如箭头311所示，文件生成装置100在ISOBMFF文件中用信号传送指示哪个子图片对应于整体图片(投影平面图像302)的哪个部分的信息(显示区域信息)。

因此，即使在分发全向视频的情况下，客户端也可以基于如上所述的信息容易地选择流。

注意，区域相关信息(显示区域信息)可以作为每个子图片的信息被包括在ISOBMFF文件中。这使得客户端能够简单地通过参考子图片轨道中的信息来容易地获知整体图片的哪个部分对应于子图片。

<上传处理过程>

将参考图14中的流程图描述在上述情况下由图11中的文件生成装置100执行的上传处理的过程的示例。

当开始上传处理时，在步骤S101中，文件生成装置100的数据输入部111获取图像和元数据。

在步骤S102中，分段文件生成部123生成ISOBMFF文件，该ISOBMFF文件包括与投影图片中的显示区域有关的显示区域信息作为每个子图片的信息。

在步骤S103中，将通过步骤S102中的处理生成的ISOBMFF文件记录在记录部114中。

在步骤S104中，上传部115从记录部114读取在步骤S103中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。

当步骤S104中的处理结束时，上传处理结束。

在如上所述执行的上传处理中，文件生成装置100可以生成ISOBMFF文件，该文件包括与投影图片中的显示区域有关的显示区域信息作为每个子图片的信息。

因此，客户端可以基于上述信息容易地选择和再现与用户的视场等对应的适当的流。

<ISOBMFF中用信号传送的子图片显示区域信息的利用>

另外，可以通过利用在ISOBMFF文件中用信号传送的与子图片显示区域相关的信息来执行流的选择和再现。

换句话说，可以获取文件，该文件包括与对应于所存储的子图片的整体图片中的区域相关的区域相关信息，作为与每个图片区域的布置信息不同的信息，并且还包括由子图片的编码产生的图像编码数据，并且可以基于包括在所获取的文件中的区域相关信息来选择图像编码数据的流。

例如，在用作信息处理装置的客户端装置200中，分段文件获取部214用作获取文件的文件获取部，该文件包括与对应于所存储的子图片的整体图片中的区域相关的区域相关信息，作为与每个图片区域的布置信息不同的信息，并且还包括由子图片的编码产生的图像编码数据，并且数据分析和解码部216可以用作图像处理部，其基于由文件获取部获取的文件中包括的区域相关信息来选择图像编码数据的流。换句话说，信息处理装置(例如，客户端装置200)可以包括文件获取部(例如，分段文件获取部214)和图像处理部(例如，数据分析和解码部216)。

这使得客户端装置200能够更容易地选择流。

注意，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，即使在客户端装置200使用投影平面图像的全部或一部分作为整体图片、将整体图片划分成形成流的子图片并再现该图像的情况下，也可以如上所述应用本技术。

另外，区域相关信息(显示区域信息)可以作为每个子图片的信息被包括在ISOBMFF文件中。这使得客户端装置200能够简单地通过参考子图片轨道中的信息来容易地获知整体图片的哪个部分对应于子图片。

<内容再现处理的过程>

将参考图15中的流程图描述在上述情况下由客户端装置200执行的内容再现处理的过程的示例。

当内容再现处理开始时，在步骤S121中，客户端装置200的分段文件获取部214获取ISOBMFF文件，该ISOBMFF文件包括关于投影图片中的显示区域的显示区域信息，作为每个子图片的信息。

在步骤S122中，显示控制部215获取用户的视点位置(和视线方向)的测量结果。

在步骤S123中，测量部211测量服务器与客户端装置200之间的网络的传输带宽。

在步骤S124中，分段文件处理部221基于关于投影图片中的子图片的显示区域的显示区域信息，选择与客户端装置200的用户的视场对应的子图片轨道。

在步骤S125中，分段文件处理部221从在步骤S121中获取的ISOBMFF文件中提取在步骤S124中选择的轨道中的流的编码数据。

在步骤S126中，解码部222对在步骤S125中提取的流的编码数据进行解码。

在步骤S127中，显示信息生成部223再现从在步骤S126中进行解码得到的流(内容)。更具体地，显示信息生成部223从流中生成显示图像的数据，并且将该数据馈送至显示部217以用于显示。

当步骤S127中的处理结束时，内容再现处理结束。

如上所述执行的内容再现处理使得客户端装置200能够利用包括在ISOBMFF文件中的关于子图片显示区域的信息来更容易地选择流。例如，基于该信息，客户端装置200可以容易地选择与用户的视场对应的适当的流。

<2D覆盖信息框中的定义>

如上所述，文件生成装置100的分段文件生成部123新定义指示显示的投影图片的哪一部分对应于每个子图片的关于子图片的显示区域信息，并且用信号传送轨道中的显示区域信息。换句话说，分段文件生成部123将关于子图片的显示区域信息定义为每个子图片的信息。

例如，分段文件生成部123将2D覆盖信息框定义为关于子图片的显示区域信息，并且将2D覆盖信息框作为与逐区域打包框不同的框进行信号传送。例如，分段文件生成部123针对方案信息框中的2D覆盖信息框定义2D覆盖信息框。例如，分段文件生成部123针对方案信息框下方的投影全向视频框中的2D覆盖信息框定义2D覆盖信息框。另外，分段文件生成部123可以在其他框中定义用于分段文件生成部123的2D覆盖信息框。

换句话说，关于子图片的显示区域信息(与对应于存储在轨道中的子图片的整体图片中的区域相关的区域相关信息)可以存储在ISOBMFF文件中的方案信息框中，该方案信息框与逐区域打包框不同，或者可以存储在与逐区域打包框不同并且位于方案信息框下方的层中的框中。

这使得客户端装置200能够在不对子图片合成框进行解析的情况下容易地选择和再现子图片轨道。

注意，即使在存储在每个轨道中的图片不是子图片或者不存在逐区域打包框(该图片不进行逐区域打包)的情况下，2D覆盖信息框也可以用于用信号传送显示区域信息。

图16中的语法331表示2D覆盖信息框的语法的示例。如语法331中所示，在2D覆盖信息框中设置诸如proj_picture_width、proj_picture_height、proj_reg_width、proj_reg_height、proj_reg_top和proj_reg_left的字段。

图17中的语义332表示在2D覆盖信息框中定义的字段的语义的示例。如语义332中所示，proj_picture_width指示投影图片的宽度，并且proj_picture_height指示投影图片的高度。proj_reg_width指示与轨道中的图片对应的投影图片上的区域的宽度。proj_reg_height指示与轨道中的图片对应的投影图片上的区域的高度。proj_reg_top指示与轨道中的图片对应的投影图片上的区域的竖直坐标。proj_reg_left表示与轨道中的图片对应的投影图片上的区域的水平坐标。

换句话说，在2D覆盖信息框中定义了如图18中所示的各种信息。

注意，字段可以表示为实际的像素数目，或者proj_reg_width、proj_reg_height、proj_reg_top和proj_reg_left可以表示为相对于proj_picture_width和proj_picture_height的相对值。将每个字段表示为实际的像素数目在根据客户端的显示器的分辨率选择轨道时是有用的。

通过参考如上所述配置的用于子图片轨道的2D覆盖信息框，客户端装置200可以在不对子图片合成框进行解析的情况下容易地识别子图片轨道的显示区域。因此，客户端装置200可以例如根据用户的视场容易地选择子图片轨道。注意，客户端装置200可以通过类似的处理来选择不是子图片轨道的轨道。

替选地，在图3的语法21中所示的子图片合成框中，可以如图73中的语法1001中所示附加地定义identical_to_proj_pic_flag字段，以指示整体图片是否与投影图片相同，并且在图4的语法22中所示的子图片合成框可以指示在整体图片与投影图片相同的情况下关于子图片轨道的显示区域信息。对于identical_to_proj_pic_flag字段的值，值0指示整体图片与投影图片不同，而值1指示整体图片与投影图片相同。

此时，在identical_to_proj_pic_flag字段为1的情况下，整体图片还未进行逐区域打包处理，并且图5中的语义23中所示的track_x、track_y、track_width、track_height、composition_width和composition_height字段的语义分别与图17中的语义332中所示的2D覆盖信息框中的proj_reg_left、proj_reg_top、proj_reg_width、proj_reg_height、proj_picture_width和proj_picture_height字段相同。

注意，可以在子图片区域框或任何其他框中附加地定义identical_to_proj_pic_flag字段。替选地，特定框的存在与否可以指示整体图片是否与投影图片相同。

另外，子图片合成框和对应于全框(FullBox)扩展的其他框共有的24位标志中的1位可以用于指示整体图片是否与投影图片相同。

<子图片包括非连续区域的情况>

注意，如图19所示，图16中的语法331未能处理子图片包括非连续区域的情况。在图19的示例中，投影图片351被划分成子图片352至子图片355。在这种情况下，子图片352包括三维结构图像中的左平面和右平面(左平面和右平面彼此相邻)。在投影图片351中，左平面和右平面彼此不连续。另外，子图片353包括三维结构图像中的顶部平面和底部平面(顶部平面和底部平面彼此相邻)。在投影图片351中，顶部平面和底部平面彼此不连续。

图16中的语法331可以在投影图片中指定仅一个可调整尺寸的区域，并且因此不能如上所述指定多个非连续区域。

因此，可以允许在2D覆盖信息框中指定多个区域，并且可以允许在投影图片中指定多个非连续区域。

图20中的语法371表示在这种情况下2D覆盖信息框的语法的示例。如语法371中所示，在这种情况下，将num_regions字段添加到已定义的字段。图21中的语义372表示在这种情况下2D覆盖信息框中的已添加字段的语义的示例。如语义372所示，num_regions指示包括在子图片中的投影图片上的区域的数目。

换句话说，在这种情况下，针对投影图片的每个区域，num_regions字段用于(独立地)定义图17所示的2D覆盖信息框中的字段。因此，可以指定投影图片的多个区域。这使得能够用信号传送投影图片的非连续显示区域。

注意，在子图片合成框中用信号传送2D覆盖信息框的情况下，可以用信号传送整体图片(投影图片)中的显示区域。

另外，在轨道中的投影全向视频框中不存在2D覆盖信息框的情况下，这可以指示轨道存储360度全向视频。类似地，在子图片合成框中不存在2D覆盖信息框的情况下，这可以指示包括子图片轨道的整体图片是360度全向视频。

<逐区域打包框的扩展>

可以将在OMAF中定义的逐区域打包框中的逐区域打包结构体进行扩展以用信号传送投影图片的哪个显示区域对应于轨道中的子图片。在子图片轨道中的样本条目中，逐区域打包框的信号传送位置在投影全向视频框的下方。注意，可以将逐区域打包框用信号传送给任何其他位置。

例如，新定义了标志，该标志用信号传送关于子图片的显示区域信息，还新定义了矩形投影区域结构，该结构用信号传送关于子图片的显示区域信息，并且在逐区域打包结构体中用信号传送显示区域信息。注意，即使在存储在轨道中的图片不是子图片的情况下，也可以使用逐区域打包结构体来用信号传送显示区域信息。

图22中的语法373表示上述情况下逐区域打包结构体的语法的示例。如语法373中所示，在这种情况下，将2D_conversion_flag字段添加到在逐区域打包结构体中定义的字段。图23中的语义374表示在这种情况下在逐区域打包结构体中附加地定义的字段的语义的示例。如语义374所示，2D_coverage_flag是指示是否仅用信号传送投影图片上的显示区域的标志信息。例如，具有值0的字段指示要用信号传送逐区域打包信息。另外，具有值1的字段指示要用信号传送投影图片上的显示区域。

注意，在这种情况下，针对逐区域打包结构体还定义了RectProjetedRegion。图24中的语法375指示RectProjetedRegion的语法的示例。如语法375所示，在RectProjedRegion中定义了诸如proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]和proj_reg_left[i]的字段。

图25中的语义376表示RectProjetedRegion中定义的字段的语法的示例。如语义376所示，proj_reg_width指示与轨道中的图片对应的投影图片上的区域的宽度。proj_reg_height指示与轨道中的图片对应的投影图片上的区域的高度。proj_reg_top指示与轨道中的图片对应的投影图片上的区域的竖直坐标。proj_reg_left指示与轨道中的图片对应的投影图片上的区域的水平坐标。

注意，上述字段可以由实际的像素数目来指示，或者proj_reg_width、proj_reg_height、proj_reg_top和proj_reg_left可以由相对于在逐区域打包结构体中用信号传送的proj_picture_width和proj_picture_height的相对值来指示。

另外，可以扩展逐矩形打包结构体，使得当2D_coverage_flag＝＝1时，仅用信号传送投影图片中的显示区域信息。

图26中的语法377表示上述情况下逐矩形打包结构体的语法的示例。图27中的句法378是示出在这种情况下在逐矩形打包结构体中设置的RectRegionPacking的语法的示例的图。

<覆盖信息框的扩展>

可以将指示在OMAF中定义的球面上的轨道的显示区域的覆盖信息框进行扩展，以使得投影图片上的显示区域能够由新定义的2D内容覆盖结构体进行信号传送。

换句话说，关于子图片的显示区域信息(与对应于轨道中存储的子图片的整体图片中的区域相关的区域相关信息)可以存储在指示球面上的轨道的显示区域的覆盖信息框中。

图28中的语法379表示扩展的覆盖信息框的语法的示例。如语法379中所示，在这种情况下，在覆盖信息框中定义2D_coverage_flag、ContentCoverageStruct()和2DContentCoverageStruct()。

图29中的语义380表示上述字段的语义的示例。如语义380中所示，2D_coverage_flag是用信号传送显示区域信息的类型的标志信息。该值为0指示用信号传送球面显示区域信息，该值为1指示用信号传送投影图片上的显示区域。ContentCoverageStruct()用信号传送投影图片上的轨道的显示区域。2DConentCoverageStruct()用信号传送球面上的轨道的显示区域。2D内容覆盖结构体中的字段与图20的情况下的2D覆盖信息框中的字段类似。

注意，可以扩展内容覆盖结构体以用信号传送除了球面显示区域之外的投影图片上的显示区域。

<在子图片划分方法动态地变化的情况下的信号传送>

已经描述了在子图片划分方法不动态地变化的情况下的信号传送。另一方面，在划分方法动态地变化的情况下，与投影图片中的子图片的显示区域有关的显示区域信息动态地变化。上述示例不能处理这种情况。

因此，下面将描述附加信号传送的示例，附加信号传送用于用信号传送与子图片的显示区域有关的动态变化的显示区域信息。注意，用信号传送的信息与如上所述(例如，图16)在2D覆盖信息框中用信号传送的信息相同。

<补充增强信息(SEI)消息>

对于HEVC或AVC，可以新定义2D覆盖信息SEI消息，并且可以以访问单元为单位用信号传送与在流中动态变化的子图片有关的显示区域信息。

换句话说，可以将关于子图片的显示区域信息(与对应于存储在轨道中的子图片的整体图片中的区域相关的区域相关信息)存储在ISOBMFF文件中的补充增强信息消息中。

图30中的语法381表示在上述情况下的2D覆盖信息SEI消息的语法的示例。如语法381所示，在2D覆盖信息SEI消息中设置了以下内容：2D_coverage_information_cancel_flag、2D_coverage_information_persistence_flag、2D_coverage_informationreserved_zero_6bits、proj_picture_width,proj_picture_height、num_regions、proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]、proj_reg_left[i]等。

图31中的语义382表示在2D覆盖信息SEI消息中定义的字段的语义的示例。如语义382中所示，2D_coverage_information_cancel_flag是与2D_coverage_information的取消相关的标志信息。该值为1则取消在输出顺序之前的SEI的持续应用。此外，该值为0则用信号传送2D覆盖信息。

2D_coverage_information_persitence_flag是与SEI的应用范围相关的标志信息。该值为0时则仅将SEI信息应用于包括SEI的图片。另外，该值为1则继续SEI的应用，直到开始新的编码视频序列或到达流的结尾。

2D_coverage_information_reserved_zero_6bits用0填充。proj_picture_width指示投影图片的宽度。proj_picture_height指示投影图片的高度。num_regions指示投影图片上的区域数目。proj_reg_width指示与流对应的投影图片上的区域的宽度。proj_reg_height指示与流对应的投影图片上的区域的高度。proj_reg_top指示与流对应的投影图片上的区域的竖直坐标。proj_reg_left指示与流对应的投影图片上的区域的水平坐标。

注意，上述字段中的每一个可以由实际像素数目指示，或者proj_reg_width、proj_reg_height、proj_reg_top和proj_reg_left可以由相对于proj_picture_width和proj_picture_height的相对值指示。

<定时元数据>

另外，与存储按时间顺序变化的元数据的流对应的定时元数据的机制可以用于新定义2D覆盖信息定时元数据，并且可以用信号传送在参考流内动态地变化的关于子图片的显示区域信息。作为与2D覆盖信息定时元数据相关联的轨道的轨道参考类型，使用例如“2dco”。

换句话说，可以将关于子图片的显示区域信息(与对应于存储在轨道中的子图片的整体图片中的区域相关的区域相关信息)存储在ISOBMFF文件中的定时元数据中。

定时元数据的使用使得客户端能够在不对子图片流进行解码的情况下识别动态地变化的显示区域，并且将显示区域用作从流中进行选择的参考。

图32中的语法383表示2D覆盖信息样本条目的语法的示例。图33中的语法384表示2D覆盖信息样本的语法的示例。

在2D覆盖信息样本条目中，用信号传送通常在流内不变的proj_picture_width和proj_picture_height。注意，在流内变化的情况下，可以在2DCoverageInformationSample中用信号传送proj_picture_width和proj_picture_height。

注意，在2D覆盖信息样本条目和2D覆盖信息样本中的字段的语义与图17和图21中的语义类似。

<样本组>

通过使用被称为样本组并且与以样本为单位关联元信息的机制对应的工具，可以以样本为单位用信号传送在流内动态地变化的关于子图片的显示区域信息。

如图34所示，在样本表框的样本组描述框中用信号传送其中描述了元信息的样本组作为组条目，并且样本组经由样本到组框与样本相关联。

如图34所示，样本到组框的grouping_type指示要关联的样本组描述框的grouping_type。对于1个条目，用信号传送sample_count和group_description_index，group_description_index指示要关联的组条目的索引，并且sample_count指示属于组条目的样本数目。

例如，可以新定义2D覆盖信息样本组条目，并且可以将在流内动态地变化的关于子图片的显示区域信息存储在2D覆盖信息样本条目中。

换句话说，可以将关于子图片的显示区域信息(与对应于存储在轨道中的子图片的整体图片中的区域相关的区域相关信息)存储在ISOBMFF文件中的样本组条目中。

图35中的语法391表示2D覆盖信息样本组条目的语法的示例。如上所述，在样本组描述框中用信号传送样本组条目，并且样本到组框将样本与样本组条目相关联。grouping_type为‘2cgp’。

注意，2D覆盖信息样本组条目中的字段的语义类似于图16和图21中的语义。

注意，即使在存储在轨道中的图片不是子图片的情况下，也可以使用上述三个示例(补充增强信息(SEI)消息、定时元数据、样本组)作为用于动态地变化的显示区域信息的信号。

另外，在投影图片上的子图片的显示区域如上所述动态地变化的情况下，在投影全向视频框中用信号传送的2D覆盖信息框的信息可以包括流的显示区域的初始值。

另外，可以在2D覆盖信息框或任何其他框中用信号传送指示投影图片中的子图片的显示区域在流内动态地变化的标志。该信息使得客户端能够容易地识别流包括动态地变化的显示区域。

<3.第二实施方式>

<在MPD文件中用信号传送与子图片的显示区域相关的信息>

可以使用MPD文件来用信号传送与子图片的显示区域相关的信息。换句话说，为了使得客户端能够根据用户的视场选择和再现参考子图片的适应集，关于投影图片上的子图片的显示区域的显示区域信息可以在MPD文件中被新定义并且在适应集中用信号传送。

换句话说，可以生成控制文件，该控制文件管理多个子图片中的每一个的图像编码数据，多个子图片中的每一个由整体图片划分而成并且然后被编码，控制文件包括与整体图片中的与子图片对应的区域相关的区域相关信息，作为不同于每个图片区域的布置信息的信息，控制文件用于控制图像编码数据的分发。

例如，在用作信息处理装置的文件生成装置100中，MPD文件生成部113可以用作生成控制文件的文件生成部，该控制文件管理多个子图片中的每一个的图像编码数据，多个子图片中的每一个由整体图片划分而成并且然后被编码，控制文件包括与整体图片中的与子图片对应的区域相关的区域相关信息，作为不同于每个图片区域的布置信息的信息，控制文件用于控制图像编码数据的分发。换句话说，信息处理装置(例如，文件生成装置100)可以包括文件生成部(例如，MPD文件生成部113)。

如上所述，这使得客户端能够基于该信息更容易地选择流。

注意，在MPD文件中，每个流的元数据均作为适应集或表示(Representation)来管理。换句话说，在使用MPD文件的情况下，通过选择适应集或表示来选择流。

另外，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，在文件生成装置100使用这样的投影平面图像的全部或一部分作为整体图片并且将整体图片划分为子图片的情况下，可以如上所述地应用本技术。

因此，即使在分发全向视频的情况下，如上所述，客户端也可以基于该信息更容易地选择流。

注意，该区域相关信息(显示区域信息)可以作为每个子图片的信息被包括在MPD文件中。这使得客户端能够通过参考适应集所参考的关于子图片的信息容易地获知整体图片的哪个部分与子图片对应。

<上传处理的过程>

将参考图36中的流程图描述在上述情况下由图11中的文件生成装置100执行的上传处理的过程的示例。

当上传处理开始时，在步骤S201中，文件生成装置100的数据输入部111获取图像和元数据。

在步骤S202中，分段文件生成部123生成图像的分段文件。

在步骤S203中，MPD文件生成部113生成MPD文件，该MPD文件包括关于投影图片中的显示区域的显示区域信息作为每个子图片的信息。

在步骤S204中，记录部114记录通过步骤S202中的处理生成的分段文件。另外，通过步骤S203中的处理生成的MPD文件被记录在记录部114中。

在步骤S205中，上传部115从记录部114读取在步骤S204中记录的分段文件并且将分段文件上传至服务器。另外，上传部115从记录部114读取在步骤S204中记录的MPD文件并且将MPD文件上传至服务器。

当步骤S204中的处理结束时，上传处理结束。

如上所述执行的上传处理使得文件生成装置100能够生成MPD文件，MPD文件包括关于投影图片中的显示区域的显示区域信息作为每个子图片的信息。

因此，客户端可以基于显示区域信息更容易地选择和再现例如与用户的视场对应的适当的流。

<与子图片的显示区域相关并且在MPD文件中用信号传送的信息的利用>

另外，与子图片的显示区域相关并且在MPD文件中用信号传送的信息可以用于选择流。

换句话说，可以获取控制文件，该控制文件管理多个子图片中的每一个的图像编码数据，多个子图片中的每一个由整体图片划分而成并且然后被编码，并且该控制文件包括与整体图片中的与子图片对应的区域相关的区域相关信息，作为不同于每个图片区域的布置信息的信息，控制文件用于控制图像编码数据的分发，并且可以基于获取的控制文件中包括的区域相关信息来选择图像编码数据的流。

例如，在用作信息处理装置的客户端装置200中，MPD文件获取部212可以用作获取控制文件的控制文件获取部，该控制文件管理多个子图片中的每一个的图像编码数据，多个子图片中的每一个由整体图片划分而成并且然后被编码，并且该控制文件包括与整体图片中的与子图片对应的区域相关的区域相关信息，作为不同于每个图片区域的布置信息的信息，控制文件用于控制图像编码数据的分发，并且MPD文件处理部213可以用作图像处理部，其基于由文件获取部获取的控制文件中包括的区域相关信息来选择图像编码数据的流。换句话说，信息处理装置(例如，客户端装置200)可以包括文件获取部(例如，MPD文件获取部212)和图像处理部(例如，MPD文件处理部213)。

这使得客户端装置200能够容易地选择流。

注意，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，即使在客户端装置200使用投影平面图像的全部或一部分作为整体图片、将整体图片划分成形成流的子图片并再现该图像的情况下，也可以如上所述应用本技术。

另外，区域相关信息(显示区域信息)可以作为每个子图片的信息包括在MPD文件中。这使得客户端装置200能够简单地通过参考适应集所参考的关于子图片的信息来容易地得知整体图片的哪个部分与子图片对应。

<内容再现处理的过程>

将参考图37中的流程图描述在上述情况下由客户端装置200执行的内容再现处理的过程的示例。

在内容再现处理开始时，在步骤S221中，客户端装置200的MPD文件获取部212获取MPD文件，MPD文件包括关于投影图片中的显示区域的显示区域信息作为每个子图片的信息。

在步骤S222中，显示控制部215获取用户的视点位置(和视线方向)的测量结果。

在步骤S223中，测量部211测量服务器与客户端装置200之间的网络的传输带宽。

在步骤S224中，MPD文件处理部213基于关于投影图片中的子图片的显示区域的显示区域信息，选择参考与客户端装置200的用户的视场对应的子图片的适应集。

在步骤S225中，MPD文件处理部213从在步骤S224中选择的适应集选择与用户的视点位置和视线方向对应的表示、客户端与服务器之间的网络的传输带宽等。

在步骤S226中，分段文件获取部214获取与在步骤S225中选择的表示对应的分段文件。

在步骤S227中，分段文件处理部221从在步骤S226中获取的分段文件提取编码数据。

在步骤S228中，解码部222对在步骤S227中提取的流的编码数据进行解码。

在步骤S229中，显示信息生成部223再现从在步骤S228中的解码得到的流(内容)。更具体地，显示信息生成部223从流中生成显示图像的数据，并且将显示图像的数据馈送至显示部217，以使显示部217对显示图像进行显示。

当步骤S229中的处理结束时，内容再现处理结束。

如上所述执行的内容再现处理使得客户端装置200能够利用MPD文件中包括的关于子图片显示区域的信息来更容易地选择流。例如，基于该信息，客户端装置200可以容易地选择与用户的视场对应的适当的流。

<由2D覆盖信息描述符进行的定义>

如上所述，文件生成装置100的MPD文件生成部113新定义并且用信号传送关于子图片的显示区域信息，显示区域信息指示显示的投影图片的哪个部分与适应集所参考的子图片对应。换句话说，MPD文件生成部113将关于子图片的显示区域信息定义为每个子图片的信息。

例如，MPD文件生成部113将2D覆盖信息描述符定义为关于子图片的显示区域信息，并且用信号传送2D覆盖信息描述符作为与逐区域打包描述符不同的描述符。例如，MPD文件生成部113将@schemeIdUri＝“urn:mpeg:mpegI:omaf:2017:2dco”处的补充特性定义为2D覆盖信息描述符。注意，MPD文件生成部113可以使用相同的schemeIdUri的必要特性来定义2D覆盖信息描述符。

换句话说，可以针对每个适应集来管理每个子图片的图像编码数据，可以将每个图片区域的布置信息存储在逐区域打包描述符中，并且关于子图片的显示区域信息(与对应于适应集所参考的子图片的整体图片中的区域相关的区域相关信息)可以在MPD文件中的补充特性或必要特性中定义。

注意，不支持必要特性的schemeIdUri的DASH客户端需要忽略其中写入了特性的适应集(其也可以替选地是表示等)。另外，不支持补充特性的schemeIdUri的DASH客户端可能忽略该属性值并且利用适应集(其可以替选地是表示等)。

注意，2D覆盖信息描述符不仅可以存在于适应集中，还可以存在于MPD或表示中。另外，即使在适应集所参考的图片不是子图片或者适应集所参考的图片没有经受逐区域打包处理的情况下，2D覆盖信息描述符也是可适用的。

图38中的属性值411表示2D覆盖信息描述符的属性值的示例。如属性值411所示，omaf:@proj_picture_width具有数据类型xs:unsignedInt，并且指示投影图片的宽度。omaf:@proj_picture_height具有数据类型xs:unsignedInt并且指示投影图片的高度。omaf:@proj_reg_width具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的宽度。omaf:@proj_reg_height具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的高度。omaf:@proj_reg_top具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的竖直坐标。omaf:@proj_reg_left具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的水平坐标。

上述属性值中的每一个可以由实际像素数目指示，或者omaf:@proj_reg_width、omaf:@proj_reg_height、omaf:@proj_reg_top和omaf:@proj_reg_left可以由相对于omaf:@proj_picture_width和omaf:@proj_picture_height的相对值指示。

另外，可以在MPD文件中的补充特性或必要特性中定义指示整体图片与投影图片相同的信息。例如，MPD文件生成部113将在图74中示出的@schemeIdUri＝“urn:mpegI:omaf:2017:prid”处的补充特性定义为投影图片相同描述符。例如，在适应集中该描述符的存在指示包括适应集所参考的子图片的整体图片没有经受逐区域打包处理并且与投影图片相同。

此时，可以例如由指示从整体图片的划分得到的两个或更多个区域(这些区域被独立地编码)中的每一个的显示区域的MPEG-DASH SRD(空间关系描述)表示其中存在投影图片相同描述符的适应集所参考的子图片的显示区域。尽管未示出，但是SRD指示子图片划分信息，该子图片划分信息指示例如与图4中的语法22中示出的子图片区域框的情况相同的划分子图片的方式。

此时，尽管未示出，但在其中存在投影图片相同描述符的适应集中，与SRD的属性值对应的object_x、object_y、object_width、object_height、total_width和total_height的语义与对应于图38中的属性值441中示出的2D覆盖信息描述符的属性值的omaf:@proj_reg_left、omaf:@proj_reg_top、omaf:@proj_reg_width、omaf:@proj_reg_height、omaf:@proj_picture_width和omaf:@proj_picture_height的语义相同。

注意，投影图片相同描述符不仅可以存在于适应集中，还可以存在于MPD或表示中，并且指示整体图片与投影图片相同的信息可以由任何其他描述符、元素或属性来定义。

<子图片包括非连续区域的情况>

注意，在上述示例中，在子图片包括投影图片上的非连续区域的情况下，无法用信号传送显示区域信息。因此，可以使得2D覆盖信息描述符能够处理子图片包括投影图片上的非连续区域的情况。

图39中的属性值412表示上述情况下的2D覆盖信息描述符的属性值的示例。如属性值412所示，twoDCoverage是具有数据类型omaf:twoDCoverageType的容器元素。twoDCoverage@proj_picture_width具有数据类型xs:unsignedInt并且指示投影图片的宽度。twoDCoverage@proj_picture_height具有数据类型xs:unsignedInt并且指示投影图片的高度。

twoDCoverage.twoDCoverageInfo具有数据类型omaf:twoDCoverageInfoType并且指示表示关于投影图片上的区域的区域信息的元素。可以用信号传送多个属性值。twoDCoverage.twoDCoverageInfo@proj_reg_width具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的宽度。twoDCoverage.twoDCoverageInfo@proj_reg_height具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的高度。

twoDCoverage.twoDCoverageInfo@proj_reg_top具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的竖直坐标。twoDCoverage.twoDCoverageInfo@proj_reg_left具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的水平坐标。

图40中的数据类型413表示2D覆盖信息描述符的数据类型的定义的示例。

如上所述，启用对投影图片上的多个区域的信号传送允许对投影图片上的非连续显示区域进行信号传送。

<逐区域打包描述符的扩展>

可以对在OMAF中定义的逐区域打包描述符进行扩展以用信号传送关于适应集所参考的子图片在投影图片上的显示区域的显示区域信息。

图41中的属性值414表示基于图38中的属性值411的信号传送扩展的逐区域打包描述符的属性值的示例。数据类型类似于图40中的数据类型。

如属性值414中所示，omaf:@packing_type具有数据类型omaf:OptionallistofUnsignedByte，并且指示逐区域打包的打包类型。该属性值为0指示矩形区域的打包。

omaf:@proj_picture_width具有数据类型xs:unsignedInt并且指示投影图片的宽度。omaf:@proj_picture_height具有数据类型xs:unsignedInt并且指示投影图片的高度。omaf:@proj_reg_width具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的宽度。omaf:@proj_reg_height具有数据类型xs:unsignedInt并且指示与适应集所参考的图像对应的投影图像上的区域的高度。

omaf:@proj_reg_top具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的竖直坐标。omaf:@proj_reg_left具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的水平坐标。

上述属性值中的每一个可以由实际像素数目指示，或者omaf:@proj_reg_width、omaf:@proj_reg_height、omaf:@proj_reg_top和omaf:@proj_reg_left可以由相对于omaf:@proj_picture_width和omaf:@proj_picture_height的相对值指示。

图42中的属性值415表示基于图39中的属性值412的信号传送而扩展的逐区域打包描述符的属性值(即，处理包括非连续区域的情况的逐区域打包描述符的属性值)的示例。数据类型类似于图40中的数据类型。

如属性值415所示，omaf:@packing_type具有数据类型omaf:OptionallistofUnsignedByte，并且指示逐区域打包的打包类型。该属性值为0指示矩形区域的打包。

twoDCoverge是具有数据类型omaf:twoDCoverageType的容器元素。twoDCoverage@proj_picture_width具有数据类型xs:unsignedInt并且指示投影图片的宽度。twoDCoverage@proj_picture_height具有数据类型xs:unsignedInt并且指示投影图片的高度。twoDCoverage.twoDCoverageInfo具有数据类型omaf:twoDCoverageInfoType并且指示表示关于投影图片上的区域的区域信息的元素。可以用信号传送多个属性值。

twoDCoverage.twoDCoverageInfo@proj_reg_width具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的宽度。twoDCoverage.twoDCoverageInfo@proj_reg_height具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的高度。

twoDCoverage.twoDCoverageInfo@proj_reg_top具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的竖直坐标。twoDCoverage.twoDCoverageInfo@proj_reg_left具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的水平坐标。

<内容覆盖描述符的扩展>

另外，可以扩展在OMAF中定义并且指示适应集在球面上的显示区域的内容覆盖描述符，以使得能够用信号传送投影图片上的显示区域。

换句话说，可以针对每个适应集管理每个子图片的图像编码数据，每个图片区域的布置信息可以是逐区域打包描述符，并且可以在MPD文件中的覆盖信息描述符中定义关于子图片的显示区域信息(与对应于适应集所参考的子图片的整体图片中的区域相关的区域相关信息)，指示球面上的适应集的显示区域。

图43中的属性值416和图44中的属性值417表示扩展的内容覆盖描述符的属性值的示例。在对内容覆盖描述符进行扩展的情况下，与上述扩展ISOBMFF文件中的内容覆盖描述符的情况类似，2D_coverage_flag属性用于在投影图片上的球面区域的信号传送与显示区域的信号传送之间切换。

如属性值416中所示，cc是具有omaf:CCType的容器元素。cc@2D_converage_flag是具有数据类型xs:boolean并且指示显示区域是在球面上还是在投影图片上定义的标志信息。该属性值为0指示在球面上进行定义，该值为1指示在投影图片上进行定义。

cc.sphericalCoverage是具有数据类型omaf：sphericalCoverageType的用于球面显示区域信息的容器元素。该元素仅在cc@2D_coverage_flag＝0时存在。cc.sphericalCoverage@shape_type具有数据类型xs:unsignedByte，并且指示球面区域的形状。该属性值为0指示该区域被四个大圆包围。另外，该属性值为1指示该区域由两个方位圆和两个仰角包围。

cc.sphericalCoverage@view_idc_presence_flag是具有数据类型xs:boolean并且指示view_idc属性是否存在的的标志信息。该属性值为0指示view_idc属性不存在，而该属性值为1指示view_idc属性存在。

cc.sphericalCoverage@default_view_idc具有数据类型omaf:ViewType，并且指示所有区域共有的视图。例如，该属性值为0指示包括在子图片中的所有区域具有视图类型(view_idc)单视点视图。另外，该属性值为1指示子图片中包括的所有区域具有视图类型(view_idc)左视图。另外，该属性值为2指示包括在子图片中的所有区域具有视图类型(view_idc)右视图。另外，该属性值为3指示包括在子图片中的所有区域具有视图类型(view_idc)立体视图。当cc@view_idc_presence_flag＝0时，属性值不可避免地存在。另外，当cc@view_idc_presence_flag＝1时，禁止该属性存在。

cc.sphericalCoverage.coverageInfo是具有数据类型omaf:coverageInfoType并且指示球面区域信息的元素。可以用信号传送多个元素。

cc.sphericalCoverage.coverageInfo@view_idc具有数据类型omaf:ViewType，并且指示每个区域的视图。例如，该属性值为0指示该属性值所对应的区域具有视图类型(view_idc)单视点视图。另外，该属性值为1指示该属性值所对应的区域具有视图类型(view_idc)左视图。另外，该属性值为2指示该属性值所对应的区域具有视图类型(view_idc)右视图。另外，该属性值为3指示该属性值所对应的区域具有视图类型(view_idc)立体视图。当cc@view_idc_presence_flag＝0时，禁止该属性值存在。当cc@view_idc_presence_flag＝1时，该属性不可避免地存在。

cc.sphericalCoverage.coverageInfo@center_azimuth具有数据类型omaf:Range1并且指示球面显示区域中心的方位。cc.SpericalCoverage.coverageInfo@center_elavation具有数据类型omaf:Range2并且指示球面显示区域中心的仰角。cc.SpericalCoverage.coverageInfo@center_tilt具有数据类型omaf:Range1并且指示球面显示区域中心的倾斜角。cc.SpericalCoverage.coverageInfo@azimuth_range具有数据类型omaf:HRange并且指示球面显示区域中心的方位范围。cc.SpericalCoverage.coverageInfo@elevation_range具有数据类型omaf:VRange并且指示球面显示区域中心的仰角范围。

cc.twoDCoverge是用于关于投影图片上的显示区域的显示区域信息的容器元素，其具有数据类型omaf:twoDCoverageType。容器元素仅在cc@2D_coverage_flag＝1时存在。

cc.twoDCoverage@proj_picture_width具有数据类型xs:unsignedInt并且指示投影图片的宽度。cc.twoDCoverage@proj_picture_height具有数据类型xs:unsignedInt并且指示投影图片的高度。cc.twoDCoverage.twoDCoverageInfo是具有数据类型omaf:twoDCoverageInfoType并且指示关于投影图片上的区域的区域信息的元素。可以用信号传送多个元素。

cc.twoDCoverage.twoDCoverageInfo@proj_reg_width具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的宽度。cc.twoDCoverage.twoDCoverageInfo@proj_reg_height具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的高度。

cc.twoDCoverage.twoDCoverageInfo@proj_reg_top具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的竖直坐标。cc.twoDCoverage.twoDCoverageInfo@proj_reg_left具有数据类型xs:unsignedInt并且指示与适应集所参考的图片对应的投影图片上的区域的水平坐标。

图45中的数据类型418、图46中的数据类型419和图47中的数据类型420是扩展的内容覆盖描述符的数据类型的定义的示例。

<在子图片划分方法动态地变化的情况下的信号传送>

注意，在投影图片中的显示区域在流内动态变化的情况下，除了上述信号传送之外，可以在2D覆盖信息描述符、逐区域打包描述符和内容覆盖描述符处用信号传送附加标志，以指示在流内显示区域动态地变化。

<4.第三实施方式>

<用信号传送立体信息>

如以上在<1.与子图片有关的信息的信号传送>中的<立体信息识别>中所述，在将立体全向视频的整体图片划分成子图片的情况下，在子图片合成框下方用信号传送的立体视频框中用信号传送关于整体图片的立体信息，并且在样本条目中的方案信息框下方的立体视频框中用信号传送关于子图片的立体信息。

例如，在整体图片是立体图像的情况下，以下三个模式是可生成的子图片的变型。

图48是示出了划分成子图片的第一模式的一个方面的示例的图。在这种情况下，投影图片(整体图片)431被划分成子图片432至437。投影图片431包括并排的立体图像。子图片432至437中的每个子图片包括左视图及右视图，左视图及右视图为投影图片431上的相同显示区域并且对应于诸如可以在立体视频框中用信号传送的上下的或并排的帧打包布置。

图49是示出了划分成子图片的第二模式的一个方面的示例的图。在这种情况下，投影图片(整体图片)441被划分成子图片442至446。投影图片441包括并排的立体图像。子图片442至446中的每个子图片包括左视图以及右视图，但是视图的显示区域与投影图片441的显示区域不匹配。子图片中的每个子图片不对应于诸如可以在立体视频框中用信号传送的上下的或并排的帧打包布置。

图50是示出了划分成子图片的第三模式的一个方面的示例的图。在这种情况下，投影图片(整体图片)451被划分成子图片452和子图片453。投影图片451包括并排的立体图像。子图片452为仅包括左视图的单视点图片。子图片453为仅包含右视图的单视点图片。

在第一模式中，在子图片轨道的样本条目/rinf/schi中用信号传送立体视频框以用信号传送适当的帧打包布置信息。例如，在图48中，用信号传送并排。注意，可以用信号传送关于整体图片的帧打包布置信息，而不是关于子图片的帧打包布置信息。

在第二模式中，在样本条目/rinf/schi中不用信号传送立体视频框。因此，客户端可能无法识别子图片是单视点图片还是子图片包括左视图及右视图，但是诸如上下的或并排的帧打包布置信息不应用于子图片。

在第三模式中，在样本条目/rinf/schi中不用信号传送立体视频框。因此，客户端可能无法识别未划分的整体图片是单视点图片还是立体图像。在渲染期间是否需要放大根据未划分的整体图片是单视点图片还是立体图像而变化，并且因此，不能识别可能妨碍客户端执行适当的渲染。

例如，如图50所示，对于整体图片是并排立体图像并且仅包括左视图的子图片，渲染需要在水平方向上按比例放大两倍。相反，在整体图片是单视点图片的情况下，该处理是不必要的。

<在ISOBMFF中用信号传送关于将被划分成子图片的整体图片的立体信息>

因此，可以在与分段文件对应的ISOBMFF文件中执行包括与要被划分成子图片的整体图片的立体显示有关的信息的立体信息。

换句话说，在一个轨道上存储多个子图片中的每个子图片的图像数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，并且可以生成包括立体信息的文件，该立体信息包括与整体图片的立体显示有关的信息。

例如，在用作信息处理装置的文件生成装置100中，分段文件生成部123可以用作文件生成部，其在每个轨道中存储关于多个子图片之一的图像数据，其中该多个子图片之一由整体图片划分而成并且然后被编码，文件生成部生成包括立体信息的文件，该立体信息包括与整体图片的立体显示有关的信息。换句话说，信息处理装置(例如，文件生成装置100)可以包括文件生成部(例如，分段文件生成部123)。

这允许客户端基于如上所述的信息更容易地选择流。

另外，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，在文件生成装置100使用投影平面图像的全部或一部分作为整体图片并且将整体图片划分成子图片的情况下，可以如上所述地应用本技术。

即使在分发全向视频的情况下，这也允许客户端基于如上所述的信息更容易地选择流。

注意，关于整体图片的立体信息可以作为用于每个子图片的信息被包括在ISOBMFF文件中。这允许客户端简单地通过参考关于子图片轨道的信息来容易地获知关于整体图片的立体信息(例如，图像是否是整体图片立体图像以及立体图像是什么类型)。

<上传处理的过程>

将参考图51中的流程图描述在上述情况下由图11中的文件生成装置100执行的上传处理的过程的示例。

当开始上传处理时，在步骤S301中，文件生成装置100的数据输入部111获取图像和元数据。

在步骤S302中，分段文件生成部123生成ISOBMFF文件，ISOBMFF文件包括关于整体图片(投影图片)的立体信息，作为每个子图片的信息。

在步骤S303中，将通过步骤S302中的处理生成的ISOBMFF文件记录在记录部114中。

在步骤S304中，上传部115从记录部114读取在步骤S303中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。

当步骤S304中的处理结束时，上传处理结束。

通过执行如上所述的上传处理，文件生成装置100可以生成ISOBMFF文件，ISOBMFF文件包括关于投影图片的立体信息作为每个子图片的信息。

因此，基于该信息，客户端可以更容易地选择和再现与客户端的能力相对应的适当的流。

<利用关于要被划分成子图片的整体图片的立体信息，其中在ISOBMFF中用信号传送该信息>

另外，可以利用关于要被划分成子图片的整体图片的立体信息来选择和再现流，其中在ISOBMFF文件中用信号传送该信息。

换句话说，可以在一个轨道中存储多个子图片中的每个子图片的图像数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，可以获取包括立体信息的文件，该立体信息包括与整体图片的立体显示有关的信息，并且基于包括在所获取的文件中的立体信息，可以选择图像编码数据的流。

例如，在与信息处理装置相对应的客户端装置200中，分段文件获取部214用作文件获取部，其在每个轨道中存储用于多个子图片中的每个子图片的图像数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，文件获取部获取包括立体信息的文件，该立体信息包括与整体图片的立体显示有关的信息，并且数据分析和解码部216可以用作图像处理部，其基于通过文件获取部获取的文件中包括的立体信息来选择图像编码数据的流。换句话说，信息处理装置(例如，客户端装置200)可以包括文件获取部(例如，分段文件获取部214)以及图像处理部(例如，数据分析和解码部216)。

这允许客户端装置200更容易地选择流。

注意，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，在客户端装置200使用投影平面图像的全部或一部分作为整体图片、将整体图片划分成子图片以获取子图片的流、并且再现该流的情况下，可以如上所述地应用本技术。

另外，关于整体图片的立体信息可以作为用于每个子图片的信息被包括在ISOBMFF文件中。这允许客户端装置200简单地通过参考关于子图片轨道的信息来容易地获知关于整体图片的立体信息(例如，图像是否是整体图片立体图像以及立体图像是什么类型)。

<内容再现处理的过程>

将参考图52中的流程图描述在上述情况下由客户端装置200执行的内容再现处理的过程的示例。

当开始内容再现处理时，在步骤S321中，客户端装置200的分段文件获取部214获取ISOBMFF文件，ISOBMFF文件包括关于整体图片(投影图片)的立体信息作为每个子图片的信息。

在步骤S322中，显示控制部215获取用户的视点位置(和视线方向)的测量结果。

在步骤S323中，测量部211测量服务器和客户端装置200之间的网络的传输带宽。

在步骤S324中，分段文件处理部221确定客户端装置200是否执行了立体再现(或者客户端装置200是否具有进行立体再现的能力)。在确定客户端装置200执行立体再现(或者具有执行立体再现的能力)的情况下，处理进行到步骤S325。

在步骤S325中，分段文件处理部221将可立体显示的子图片轨道设置为选择候选。此时，通过参考在步骤S321中获取的ISOBMFF文件中包括的关于整体图片的立体信息，分段文件处理部221可以在选择候选中包括没有应用第二模式的帧打包布置的可立体显示的子图片轨道(例如，图49中的子图片445和子图片446)。当步骤S325中的处理结束时，处理进行到步骤S327。

另外，在步骤S324中，在确定客户端装置200不执行立体再现(或确定不具有执行立体再现的能力)的情况下，处理进行到步骤S326。

在步骤S326中，分段文件处理部221基于例如在步骤S321中获取的ISOBMFF文件中包括的关于整体图片的立体信息，将包括单视点图片的子图片轨道设置为选择候选。此时，通过参考在步骤S321中获取的ISOBMFF文件中包括的关于整体图片的立体信息，分段文件处理部221可以获知第三模式中的子图片轨道(例如，图50中的子图片452或子图片453)在渲染期间需要在水平方向上按比例放大两倍。当步骤S326中的处理结束时，处理进行到步骤S327。

在步骤S327中，分段文件处理部221从在步骤S325或步骤S326中设置的候选中选择与客户端装置200的用户的视场相对应的子图片轨道。

在步骤S328中，分段文件处理部221从在步骤S321中获取的ISOBMFF文件中提取在步骤S327中选择的子图片轨道中的流的编码数据。

在步骤S329中，解码部222对在步骤S328中提取的流的编码数据进行解码。

在步骤S330中，显示信息生成部223再现从步骤S329中的解码得到的流(内容)。更具体地说，显示信息生成部223从流中生成显示图像的数据，并且将数据馈送至显示部217，以使显示部217对显示图像进行显示。

当步骤S330中的处理结束时，内容再现处理结束。

通过执行如上所述的内容再现处理，客户端装置200可以利用关于要被划分成子图片的整体图片的立体信息更容易地选择流，该立体信息被包括在ISOBMFF文件中。例如，基于该信息，客户端装置200可以更容易地选择和再现与例如客户端装置200的能力相对应的适当的流。

<在样本条目中用信号传送关于整体图片的立体信息>

例如，在未划分的整体图片是立体图像的情况下，文件生成装置100的分段文件生成部123可以在子图片轨道中的样本条目中用信号传送关于整体图片的立体信息。

例如，关于整体图片的立体信息可以存储在ISOBMFF文件中的方案信息框下方的层中的框中或者在样本条目下方的方案信息框中。

<原始立体视频框>

例如，为了用信号传送关于未划分的整体图片的立体信息，文件生成装置100的分段文件生成部123可以新定义原始立体视频框，并且用信号传送子图片轨道中的样本条目的方案信息框(schi)下方的框。换句话说，原始立体视频框可以存储关于未划分的整体图片的立体信息。

注意，原始立体视频框的位置是可选的，并且不限于上述方案信息框。另外，在原始立体视频框中用信号传送的信息类似于在立体视频框中用信号传送的信息。

图53中的语法461表示原始立体视频框的语法的示例。如语法461所示，在原始立体视频框中定义了诸如single_view_allowed、stereo_scheme、length和stereo_indication_type的字段。

图54中的语义462表示在原始立体视频框中定义的字段的语义的示例。如语义462所示，single_view_allowed是指示允许的视图的类型的信息。例如，值为0的该字段指示内容旨在仅在支持立体的显示器上显示。另外，值为1的该字段指示允许内容在单视点显示器上显示右视图。另外，值为2的该字段指示允许内容在单视点显示器上显示左视图。

stereo_scheme是与帧打包方法有关的信息。例如，值为1的该字段指示帧打包方法符合ISO/IEC 14496-10中的帧打包布置SEI。另外，值为2的该字段指示帧打包方法符合ISO/IEC 13818-2的Annex.L。此外，值为3的该字段指示帧打包方法符合ISO/IEC 23000-11中的帧/服务兼容和2D/3D混合服务。

length指示stereo_indication_type的字节长度。另外，stereo_indication_type指示符合stereo_scheme的帧打包方法。

通过参考原始立体视频框和2D覆盖信息框，客户端装置200的分段文件处理部221可以获取关于整体图片的立体信息。然后，基于该信息，在没有在子图片轨道中的样本条目中用信号传送立体视频框的情况下，分段文件处理部221可以容易地识别子图片是单视点的还是子图片包括左视图和右视图，但是在不解析子图片合成框的情况下，在立体视频框中用信号传送的帧打包布置没有被应用于子图片。换句话说，如轨道不是子图片轨道的情况，可以仅从存储在样本条目中的信息来识别立体信息。

换句话说，在不解析子图片合成框的情况下，客户端装置200可以独立地选择和再现子图片轨道。

<显示尺寸的信号传送>

此外，可以以存储由立体的整体图片的划分而产生的单视点子图片(作为单视点图片的子图片)的子图片轨道的轨道报头的宽度和高度，用信号传送基于用于整体图片的帧打包布置而按比例放大的显示尺寸。

换句话说，ISOBMFF文件可以包括与子图片的显示尺寸有关的信息。

这方面的示例在图55示出。如图55所示，从立体图像的整体图片生成的子图片471和子图片472包括在水平方向上按比例缩小的不同区域中的图像。因此，在显示(渲染)时需要在水平方向上按比例放大。因此，用于显示时间的图像473的显示尺寸被用信号传送为轨道报头的宽度和高度。这允许客户端装置200适当地渲染单视点子图片。

注意，在ISOBMFF中定义的用信号传送用于显示时间的像素纵横比信息的像素纵横比框((pasp)的信号传送，可以在虚拟样本条目中用信号传送，而不是以轨道报头的宽度和高度用信号传送。这也允许产生与上述以轨道报头的宽度和高度进行信号传送的效果类似的效果。

图56中的语法481表示像素纵横比框的语法的示例。如语法481中所示，在像素纵横比框中定义了字段，例如，hSpacing和vSpacing。

图57中的语义482表示在像素纵横比框中定义的字段的语义的示例。如语义482中所示，hSpacing和vSpacing是指示相对像素高度和相对像素宽度的信息。在渲染期间，基于该信息，将像素宽度乘以vSpace/hSpace用于显示。

这方面的示例如图58所示。图58中所示的子图片491和子图片492是从立体图像的整体图片生成的子图片，并且每个子图片包括在水平方向上按比例缩小的不同区域中的图像。因此，通过用信号传送hSpace＝1和vSpace＝2，当例如显示(渲染)子图片491时，客户端装置200可以执行像素宽度加倍的渲染，从而以类似于图像493的适当的纵横比来显示图像。换句话说，客户端装置200可以适当地渲染单视点子图片(包括单视点图像的子图片)。

<原始方案信息框>

另外，原始方案信息框可以在子图片轨道中的样本条目的限制方案信息框(rinf)下方新定义，并且关于未划分的整体图片的立体信息可以在框中用信号传送。注意，定义原始方案信息框的位置是可选的，并且不限于上述rinf。

图59中的语法501表示上述情况中的原始方案信息框的语法的示例。如语法501中所示，例如，在原始方案信息框中定义了scheme_specific_data。

在scheme_specific_data中用信号传送关于还没有被划分成子图片的整体图片的信息。例如，在整体图片为立体的情况下，可以用信号传送包括关于整体图片的立体信息的立体视频框。这允许客户端装置200在不解析子图片合成框的情况下独立地选择和再现子图片轨道。

注意，不仅立体视频框而且与整体图片有关的后处理信息都可以在scheme_specific_data(例如，逐区域打包框)中用信号传送。

<便于选择子图片轨道的附加信息>

此外，2D覆盖信息框可以被扩展以用信号传送便于轨道选择的立体相关信息。

例如，可以将stereo_presentation_suitable_flag添加到2D覆盖信息框，以用信号传送子图片轨道是否是可立体显示的。通过参考该信息，客户端装置200可以在不基于第三实施方式中的上述与整体图片有关的立体信息以及第一实施方式中定义的2D覆盖信息框中用信号传送的与投影的图片上的区域有关的区域信息执行识别是否能够进行立体显示的处理的情况下，识别是否能够进行立体显示。

换句话说，ISOBMFF文件还可以包括子立体信息，该子立体信息包括与每个子图片的立体显示有关的信息。

图60中的语法502表示上述情况下的2D覆盖信息框的示例。如语法502中所示，在这种情况下，进一步定义了stereo_presentation_suitable(stereo_presentation_suitable被添加到已定义字段)。

图61中的语义503表示所添加的字段的语义的示例。如语义503中所示，stereo_presentation_suitable是与轨道中的图片的立体显示有关的信息。值为0的该字段指示轨道中的图片是单视点的，或者图片包括L视图和R视图，但是不是可立体显示的。值为1的该字段指示轨道中的图片的一些区域是可立体显示的。值为2的该字段指示轨道中的图片的所有区域都是可立体显示的。

图62是示出stereo_presentation_suitable的信号传送的示例的图。例如，如图62的上侧所示，由包括并排立体图像的整体图片(投影图片)511的划分产生的子图片512至子图片517每个都包括左视图和右视图，并且是可立体显示的。因此，为子图片设置streo_presentation_suitable＝2。

相反，如图62的下侧所示，由包括并排立体图像的整体图片(投影的图片)521的划分产生的子图片522至子图片526每个都包括左视图和右视图。然而，子图片522至子图片524不是可立体显示的。因此，为子图片设置streo_presentation_suitable＝0。

另外，对于子图片525和子图片526，子图片的一些区域是可立体显示的。因此，为子图片设置streo_presentation_suitable＝1。

注意，利用单独的框(存储信息的专用框)，指示图片是否是可立体显示的信息——例如，新定义的轨道立体视频框——可以在子图片轨道的schi下方用信号传送该信息。

图63中的语法531表示上述情况下的轨道立体视频框的语法的示例。

另外，第一实施方式的上述矩形投影区域结构或子图片轨道中的样本条目的投影全向视频框下方用信号传送的逐区域打包框可以被扩展以用信号传送stereo_presentation_suitable_flag。另外，可以在任何其它框中用信号传送stereo_presentation_suitable_flag。

此外，在禁用立体显示的情况下，可以使用轨道报头框的track_not_intended_for_presentation_alone标志来用信号传送不期望子图片的独立再现。

注意，上述各种类型的信息可应用于存储在轨道中的图片不是子图片的情况。

<视图信息的信号传送>

另外，2D覆盖信息框可以被扩展以另外用信号传送用于投影图片上的子图片的显示区域的视图信息。通过参考该信息，在不执行根据第三实施方式中的上述与整体图片有关的立体信息以及在第三实施方式中定义的2D覆盖信息框中用信号传送的与投影的图片上的区域有关的区域信息识别每个区域的视图信息的处理的情况下，客户端装置200可以容易地识别出子图片是单视点图像还是子图片包括L视图和R视图。

换句话说，ISOBMFF文件还可以包括指示子图片的视图类型的视图信息。

图64中的语法532是示出在上述情况下的2D覆盖信息框的语法的示例的图。如语法532所示，在这种情况下，在2D覆盖信息框中另外定义了诸如view_idc_presence_flag、default_view_idc和view_idc的字段。

图65中的语义533表示在2D覆盖信息框中另外定义的字段的语义的示例。如语义533所示，view_idc_presence_flag指示在每个区域中是否存在单独的view_idc。例如，值为0的该字段指示在每个区域中不存在单独的view_idc。另外，值为1的该字段指示在每个区域中存在单独的view_idc。

换句话说，ISOBMFF文件还可以包括指示是否存在每个区域的视图信息的信息。

default_view_idc指示所有区域共有的视图。例如，值为0的该字段指示子图片中的所有区域对应于单视点视图。另外，值为1的该字段指示子图片中的所有区域对应于左视图。另外，值为2的该字段指示子图片中的所有区域对应于右视图。另外，值为3的该字段指示子图片中的所有区域对应于立体视图。

view_idc指示每个区域的视图。例如，值为0的该字段指示该区域对应于单视点视图。另外，值为1的该字段指示该区域对应于左视图。另外，值为2的该字段指示该区域对应于右视图。另外，值为3的该字段指示该区域对应于立体视图。另外，在该字段不存在的情况下，default_view_idc指示每个区域的视图指示。

换句话说，视图信息可以是包括在子图片中的每个区域的信息。

图66是示出其中用信号传送view_idc的一个方面的示例的图。如图66所示，在并排的整体图片541被划分成诸如子图片542和子图片543的子图片的情况下，为子图片中的每个子图片设置view_idc＝3。

相反，在整体图片541被划分成诸如子图片544和子图片545的子图片的情况下，为子图片544设置view_idc＝1，并且为子图片545设置view_idc＝2。

注意，即使在存储在轨道中的图片不是子图片的情况下，也可以应用上述类型的附加信息。

类似地，在第一实施方式中定义的逐区域打包框和矩形投影区域结构可以被扩展以用信号传送视图信息。

<5.第四实施方式>

<在MPD文件中用信号传送关于将被划分成子图片的整体图片的立体信息>

可以在MPD文件中用信号传送如上所述的与将被划分成子图片的整体图片有关的立体信息。换句话说，为了使客户端能够根据客户端的能力，例如，在MPD文件中选择和再现参考子图片的适应集，关于将被划分成子图片的整体图片的立体信息可以在适应集中用信号传送并且被新定义。

换句话说，可以生成控制文件，该控制文件对于每个适应集管理多个子图片中的每个子图片的图像编码数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，并且控制文件包括立体信息，该立体信息包括与适应集的立体显示有关的信息，控制文件用于控制图像编码数据的分发。

例如，在用作信息处理装置的文件生成装置100中，MPD文件生成部113可以用作生成控制文件的文件生成部，该控制文件为每个适应集管理多个子图片中的每个子图片的图像编码数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，并且控制文件包括立体信息，该立体信息包括与适应集的立体显示有关的信息，控制文件用于控制图像编码数据的分发。换句话说，信息处理装置(例如，文件生成装置100)可以包括文件生成部(例如，MPD文件生成部113)。

这允许客户端基于如上所述的信息更容易地选择流。

另外，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，在文件生成装置100使用投影平面图像的全部或一部分作为整体图片并且将整体图片划分成子图片的情况下，可以如上所述地应用本技术。

即使在分发全向视频的情况下，这也允许客户端基于如上所述的信息更容易地选择流。

注意，区域相关信息(显示区域信息)可以作为每个子图片的信息包括在MPD文件中。这允许客户端简单地通过参考与适应集所参考的子图片有关的信息，容易地获知整体图片的哪个部分对应于子图片。

<上传处理的过程>

将参考图67中的流程图描述在上述情况下由图11中的文件生成装置100执行的上传处理的过程的示例。

当开始上传处理时，在步骤S401中，文件生成装置100的数据输入部111获取图像和元数据。

在步骤S402中，分段文件生成部123生成图像的分段文件。

在步骤S403中，MPD文件生成部113生成包括与整体图片(投影图片)有关的立体信息的MPD文件，作为每个子图片的信息。

在步骤S404中，将通过步骤S402中的处理生成的分段文件记录在记录部114中。另外，将通过步骤S403中的处理生成的MPD文件记录在记录部114中。

在步骤S405中，上传部115从记录部114读取在步骤S404中记录的分段文件，并且将分段文件上传到服务器。另外，上传部115从记录部114读取在步骤S404中记录的MPD文件，并且将MPD文件上传到服务器。

当步骤S404中的处理结束时，上传处理结束。

通过执行如上所述的上传处理，文件生成装置100可以生成包括与整体图片有关的立体信息作为每个子图片的信息的MPD文件。

因此，基于显示区域信息，客户端可以更容易地选择和再现例如与客户端装置200的能力相对应的适当的流。

<利用与将被划分成子图片的整体图片有关的立体信息，在MPD文件中用信号传送立体信息>

另外，可以利用与将被划分成子图片的整体图片有关的立体信息来选择流，在MPD文件中用信号传送立体信息。

换句话说，可以获取控制文件，该控制文件针对每个适应集管理多个子图片中的每个子图片的图像编码数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，并且控制文件包括立体信息，该立体信息包括与适应集的立体显示有关的信息，控制文件用于控制图像编码数据的分发。然后，可以基于所获取的控制文件中包括的立体信息来执行图像编码数据流的选择。

例如，在用作信息处理装置的客户端装置200中，MPD文件获取部212可以用作文件获取部，其对每个适应集管理多个子图片中的每个子图片的图像编码数据，其中整体图片被划分成该多个子图片并且然后对该多个子图片进行编码，并且获取控制文件，该控制文件用于控制图像编码数据的分发并且包括立体信息，该立体信息包括与适应集的立体显示有关的信息，并且MPD文件处理部213可以用作图像处理部，其基于所获取的控制文件中包括的立体信息来选择图像编码数据的流。换句话说，信息处理装置(例如，客户端装置200)可以包括文件获取部(例如，MPD文件获取部212)以及图像处理部(例如，MPD文件处理部213)。

这允许客户端装置200更容易地选择流。

注意，上述图片(整体图片)可以是全向视频(从沿水平方向360度四处延伸并且沿竖直方向180度四处延伸的图像的投影和映射得到的投影平面图像)的全部或一部分。换句话说，在客户端装置200使用投影平面图像的全部或一部分作为整体图片、将整体图片划分成子图片以获取子图片的流、并且再现该流的情况下，可以如上所述应用本技术。

另外，区域相关信息(显示区域信息)可以作为每个子图片的信息包括在MPD文件中。这允许客户端装置200简单地通过参考与适应集所参考的子图片有关的信息，容易地获知整体图片的哪个部分对应于子图片。

<内容再现处理的过程>

将参考图68中的流程图描述在上述情况下由客户端装置200执行的内容再现处理的过程的示例。

当内容再现处理开始时，在步骤S421中，客户端装置200的MPD文件获取部212获取MPD文件，MPD文件包括与整体图片(投影图片)有关的立体信息作为每个子图片的信息。

在步骤S422中，显示控制部215获取用户的视点位置(和视线方向)的测量结果。

在步骤S423中，测量部211测量服务器与客户装置200之间的网络的传输带宽。

在步骤S424中，MPD文件处理部213确定客户端装置200是否执行立体再现(或者客户端装置200是否具有执行立体再现的能力)。在确定客户端装置200执行立体再现(或具有执行立体再现的能力)的情况下，处理进行到步骤S425。

在步骤S425中，MPD文件处理部213将参考可立体显示的子图片的适应集设置为选择候选。此时，通过参考在步骤S421中获取的MPD文件中包括的关于整体图片的立体信息，MPD文件处理部213可以在选择候选中包括适应集可立体显示的子图片，其中没有应用第二模式中的帧打包布置(例如，图49中的子图片445和子图片446)。当步骤S425中的处理结束时，处理进行到步骤S427。

另外，在步骤S424中，在确定客户端装置200不执行立体再现(或确定不具有立体再现功能)的情况下，处理进行到步骤S426。

在步骤S426中，MPD文件处理部213基于例如在步骤S421中获取的MPD文件中包括的关于整体图片的立体信息，将参考包括单视点图片的子图片的适应集设置为选择候选。此时，通过参考在步骤S421中获取的MPD文件中包括的关于整体图片的立体信息，MPD文件处理部213可以获知第三模式中的子图片(例如，图50中的子图片452或子图片453)在渲染期间需要在水平方向上进行两倍放大。当步骤S426中的处理结束时，处理进行到步骤S427。

在步骤S427中，MPD文件处理部213从在步骤S425或步骤S426中设置的候选中选择参考与客户端装置200的用户的视场相对应的子图片的适应集。

在步骤S428中，MPD文件处理部213从在步骤S424中选择的适应集中选择与用户的视点位置和视线方向、客户端与服务器之间的网络的传输带宽等相对应的表示。

在步骤S429中，分段文件获取部214获取与在步骤S428中选择的表示相对应的分段文件。

在步骤S430中，分段文件处理部221从在步骤S429中获取的分段文件中提取编码数据。

在步骤S431中，解码部222对在步骤S430中提取的流的编码数据进行解码。

在步骤S432中，显示信息生成部223再现从步骤S431中的解码得到的流(内容)。更具体地说，显示信息生成部223从流中生成显示图像的数据，并且将显示图像的数据馈送至显示部217，以使显示部217对显示图像进行显示。

当步骤S432中的处理结束时，内容再现处理结束。

通过执行如上所述的内容再现处理，客户端装置200可以利用包括在MPD文件中的关于子图片的显示区域的信息来更容易地选择流。例如，基于该信息，客户端装置200可以更容易地选择和再现与例如客户端装置200的能力相对应的适当的流。

<在MPD文件中用信号传送立体信息的细节>

例如，如第三实施方式中所描述的，2D覆盖信息描述符可以被扩展以用信号传送stereo_presentation_suitable字段和视图信息。

换句话说，MPD文件还可以包括指示子图片的视图类型的视图信息。

另外，视图信息可以是包括在子图片中的区域中的每个区域的信息。

此外，MPD文件还可以包括指示视图信息是否针对每个区域存在的信息。

图69中的属性值551和图70中的属性值552表示扩展的2D覆盖信息描述符的属性值的示例。如属性值551和属性值552所示，twoDCoverage是数据类型为omaf:twoDCoverageType的容器元素。twoDCoverage@stereo_presentation_suitable的数据类型为omaf:StereoPresentationType，并且指示适应集是否是可立体显示的。例如，该属性值为0指示适应集所参考的图片是单视点的或者不是可立体显示的。另外，该属性值为1指示适应集所参考的图片的一些区域是可立体显示的。另外，该属性值为2指示图片的所有区域都是可立体显示的。

twoDCoverage@view_idc_presence_flag的数据类型为xs:boolean，并且指示在每个区域中是否存在单独的view_idc。例如，该属性值为0指示在每个区域中不存在单独的view_idc。另外，该属性值为1指示在每个区域中存在单独的view_idc。twoDCoverage@default_view_idc的数据类型为omaf:ViewType，并且指示所有区域共有的视图。例如，该属性值为0指示单视点视图，该属性值为1表示左视图，该属性值为2指示右视图，并且该属性值为3指示立体视图。注意，当twoDCoverage@view_idc_presence_flag＝0时，该属性不可避免地存在。另外，当twoDCoverage@view_idc_presence_flag＝1时，禁止该属性存在。

twoDCoverage@proj_picture_width的数据类型为xs:unsignedInt，并且指示投影图片的宽度。twoDCoverage@proj_picture_height的数据类型为xs:unsignedInt，并且指示投影图片的高度。twoDCoverage.twoDCoverageInfo是数据类型为omaf:twoDCoverageInfoType的元素，并且指示关于投影图片上的区域的区域信息。可以用信号传送多个信号。

twoDCoverage.twoDCoverageInfo@view_idc的数据类型为omaf:ViewType，并且指示每个区域的视图。例如，该属性值为0指示单视点视图，该属性值为1指示左视图，该属性值为2指示右视图，并且该属性值为3指示立体视图。注意，当twoDCoverage@view_idc_presence_flag＝0时，禁止该属性存在。另外，当twoDCoverage@view_idc_presence_flag＝1时，该属性不可避免地存在。

twoDCoverage.twoDCoverageInfo@proj_reg_width的数据类型为xs：unsignedInt，并且指示与适应集所参考的图片相对应的投影图片上的区域的宽度。twoDCoverage.twoDCoverageInfo@proj_reg_height的数据类型为xs：unsignedInt，并且指示与适应集所参考的图片相对应的投影图片上的区域的高度。

twoDCoverage.twoDCoverageInfo@proj_reg_top的数据类型为xs：unsignedInt，并且指示与适应集所参考的图片相对应的投影图片上的区域的竖直坐标。twoDCoverage.twoDCoverageInfo@proj_reg_left的数据类型为xs：unsignedInt，并且指示与适应集所参考的图片相对应的投影图片上的区域的水平坐标。

图71中的数据类型553指示在这种情况下数据类型的定义的示例。

注意，在第二实施方式中描述的扩展的逐区域打包描述符和内容覆盖描述符可以被进一步扩展以用信号传送stereo_presentation_suitable和视图信息。另外，任何其它描述符可以用于用信号传送这些类型的信息。

<6.补充特征>

<计算机>

可以使上述一系列处理步骤由硬件或软件执行。在通过软件执行一系列处理步骤的情况下，将包括在软件中的程序安装在计算机中。此处，计算机包括集成在专用硬件中的计算机，或者例如可以通过安装各种程序来执行各种功能的通用个人计算机。

图72是示出根据程序执行上述一系列处理步骤的计算机的硬件的配置示例的框图。

在图72所示的计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903和总线904连接在一起。

总线904还连接至输入/输出接口910。输入/输出接口910与输入部911、输出部912、存储部913、通信部914和驱动器915连接。

输入部911包括例如键盘、鼠标、麦克风、触摸板以及输入端子。输出部912包括例如显示器、扬声器以及输出端子。存储部913包括例如硬盘、RAM盘以及非易失性存储器。通信部914包括例如网络接口。驱动器915驱动可移除介质921，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 901经由输入/输出接口910和总线904将例如存储在存储部913中的程序加载到RAM 903中，并且执行程序以执行上述一系列处理步骤。RAM903还适当地存储例如执行由CPU 901执行的处理的各个步骤所需的数据。

由计算机(CPU 901)执行的程序可以例如被记录在作为封装介质应用的可移除介质921中。在这种情况下，可移动介质921被安装在驱动器915中，使得程序能够经由输入/输出接口910被安装在存储部913中。

另外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在那种情况下，可以通过通信部914来接收程序并且将其安装在存储部913中。

另外，可以将程序预先安装在ROM 902或存储部913中。

<应用本技术的对象>

已经描述了将本技术应用于ISOBMFF文件或MPD文件的情况。然而，本技术不限于这些示例，并且可以应用于符合任何标准并且用于分发具有映射到单个平面的三维结构图像的投影平面图像的流的文件。换句话说，除非各种类型的处理的规范(诸如分发控制、文件格式以及编码和解码方案)与本技术不一致，否则这些规范都是可选的。另外，除非省略内容与本技术不一致，否则可以省略上述处理步骤及上述规范中的一些处理步骤及规范。

另外，以上已经将文件生成装置100和客户端装置200描述为本技术的应用示例。然而，本技术可以应用于任何配置。

例如，本技术可以应用于各种类型的电子设备，诸如用于卫星广播、有线广播(诸如有线电视)、因特网上的分发、以及通过蜂窝通信向终端的分发的发射机和接收机(例如，电视接收机和蜂窝电话)，或者在诸如光盘、磁盘和闪存的介质中记录图像并且从存储介质(例如，硬盘记录器和摄像装置)再现图像的装置。

另外，例如，本技术可以实现为装置的部分配置，诸如用作系统LSI(大规模集成)的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者包括添加了任何其它功能的单元的设备(例如，视频设备)。

另外，本技术可以应用于包括多个装置的网络系统。例如，本技术可以被实现为云计算，其中多个装置经由网络共享并且共同地执行处理。例如，本技术可以在云服务中实现，其中与图像(运动图像)有关的服务被提供给任何终端，例如计算机、AV(视听)设备、个人数字助理、IoT(物联网)设备。

注意，本文所使用的系统是指多个部件(装置、模块(部分)等)的集合，而不管所有部件是否都存在于同一外壳中。因此，容纳在不同壳体中并且经由网络连接在一起的多个装置和包括容纳在一个壳体中的多个模块的一个装置均是系统。

<可应用本技术的领域和目的>

应用本技术的系统、装置、处理部等可以用于任何领域，例如，运输、医疗护理、犯罪预防、农业、畜牧业、采矿、化妆品、工厂、家用电器、气象以及自然监测。另外，系统、装置、处理部等可以用于任何目的。

例如，本技术可以应用于用于提供观看和收听内容等的系统和设备。另外，例如，本技术可以应用于用于诸如交通状况的监视和自动操作控制的运输目的的系统和设备。此外，例如，本技术可以应用于用于安全目的的系统和设备。另外，例如，本技术可以应用于用于机器等的自动控制的目的的系统和设备。此外，例如，本技术可以应用于用于农业和畜牧业的目的的系统和设备。另外，本技术可以应用于监视诸如火山、森林和海洋以及野生动物等的自然状态的系统和设备。此外，例如，本技术可以应用于用于运动的目的的系统和设备。

<其他特征>

注意，本文中使用的“标志”是指用于标识多个状态的信息，并且不仅包括用来标识真(1)或假(0)两种状态的信息，而且包括使得能够标识三个或更多个状态的信息。因此，“标志”可以采用例如1/0两个值或者采用三个或更多个值。换句话说，“标志”中包括的位数是可选的，并且该位数可以是一位或更多位。另外，假定标识信息(包括标志)不仅为在比特流中包括该标识信息的形式，而且还有在比特流中包括关于标识信息与特定参考信息的差异的差异信息的形式。因此，本文中使用的“标志”和“标识信息”不仅包括信息，还包括与相对于参考信息的差异有关的差异信息。

此外，可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(元数据等)，只要该信息与编码数据相关联即可。本文中使用的术语“相关联”是指例如当对一个数据进行处理时会使另一数据可用(使其可链接)。换句话说，彼此相关联的数据可以被集成为一个数据或被用作单独的数据。例如，可以在与在其上传送编码数据(图像)的传送线路不同的传送线路上传送与编码数据(图像)相关联的信息。另外，与编码数据(图像)相关联的信息可以被记录在与记录有编码数据(图像)的记录介质不同的记录介质中(或者被记录在同一记录介质的与记录有编码数据(图像)的记录区域不同的记录区域中)。注意，这种“关联”可以对应于数据的一部分而不是整个数据。例如，图像可以以任何单位(例如多个帧、一个帧或帧内的一部分)与对应于该图像的信息相关联。

注意，本文中使用的术语“合成”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“接入”和“插入”指将多个对象集成为一个对象，例如，将编码数据和元数据集成为一个数据，并且是指用于上述“关联”的方法。

另外，本技术的实施方式不限于上述实施方式，并且不脱离本技术的精神的情况下可以对这些实施方式进行各种改变。

例如，被描述为一个装置(或一个处理部)的配置可以被划分为多个装置(或多个处理部)。相反，被描述为多个装置(多个处理部)的配置可以被集成为一个装置(或一个处理部)。另外，对于每个装置(或每个处理部)的配置，显然可以添加除上述配置之外的配置。此外，一个装置(或一个处理部)的一部分配置可以包括在另一装置(或另一处理部)的配置中，只要系统的配置和操作总体上保持基本相同即可。

另外，例如，上述程序可以在任何装置中执行。在那种情况下，只要该装置包括所需的功能(功能块等)并且能够获得所需的信息就足够了。

另外，例如，一个流程图中的每个步骤可以由一个装置执行或者由多个装置分担。此外，在一个步骤包括多个处理的情况下，多个处理可以由一个装置执行或由多个装置分担。换句话说，一个步骤中包括的多个处理可以被执行为多个处理步骤。相反，被描述为多个步骤的处理可以被整合为一个步骤来执行。

另外，例如，由计算机执行的程序可以被配置成使得描述程序的处理步骤按照本文中描述的顺序以时间顺序执行，或者在所需的定时(例如，调用处理的定时)并行或单独地执行。换句话说，可以以与上述顺序不同的顺序执行处理步骤。此外，描述程序的处理步骤可以与另一程序的处理并行执行或组合执行。

另外，例如，可以独立且单独地实现与本技术有关的多种技术，除非该实现与本技术不一致。显然，可以将任何多种本技术一起实现。例如，在任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部结合实现。另外，上述任何本技术的一部分或全部可以与以上未描述的另一技术一起实现。

注意，本技术可以采用以下配置。

(1)

一种信息处理装置，包括：

文件生成部，其被配置成生成文件，所述文件包括与整体图片中对应于所存储的子图片的区域相关的区域相关信息，作为与图片区域中的每个图片区域的布置信息不同的信息，并且所述文件还包括由对所述子图片进行编码而产生的图像编码数据。

(2)

根据(1)所述的信息处理装置，其中，

所述图片包括全向视频。

(3)

根据(1)或(2)所述的信息处理装置，其中，

所述区域相关信息被包括在所述文件中作为所述子图片中的每个子图片的信息。

(4)

根据(3)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，

所述图片区域中的每个图片区域的布置信息包括在逐区域打包框中用信号传送的信息，并且

所述区域相关信息被存储在所述ISOBMFF文件中不同于所述逐区域打包框的方案信息框中，或者被存储在不同于所述逐区域打包框并且位于所述方案信息框下方的层中的框中。

(5)

根据(3)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息被存储在覆盖信息框中，所述覆盖信息框指示球面上轨道的显示区域。

(6)

根据(1)至(5)中任一项所述的信息处理装置，其中，

所述区域相关信息在流中动态地变化。

(7)

根据(6)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息存储在补充增强信息消息中。

(8)

根据(6)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息存储在定时元数据中。

(9)

根据(6)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息存储在样本组条目中。

(10)

一种信息处理方法，包括：

生成文件，所述文件包括与整体图片中对应于所存储的子图片的区域相关的区域相关信息，作为与图片区域中的每个图片区域的布置信息不同的信息，并且所述文件还包括由对所述子图片进行编码而产生的图像编码数据。

(11)

一种信息处理装置，包括：

文件获取部，其被配置成获取文件，所述文件包括与整体图片中对应于所存储的子图片的区域相关的区域相关信息，作为与图片区域中的每个图片区域的布置信息不同的信息，并且所述文件还包括由对所述子图片进行编码而产生的图像编码数据；以及

图像处理部，其被配置成基于由所述文件获取部获取的文件中包括的所述区域相关信息来选择所述图像编码数据的流。

(12)

根据(11)所述的信息处理装置，其中，

所述图片包括全向视频。

(13)

根据(11)或(12)所述的信息处理装置，其中

所述区域相关信息被包括在所述文件中作为所述子图片中的每个子图片的信息。

(14)

根据(13)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息被存储在所述ISOBMFF文件中的方案信息框中或者被存储在所述方案信息框下方的层中的框中。

(15)

根据(13)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息被存储在覆盖信息框中，所述覆盖信息框指示球面上轨道的显示区域。

(16)

根据(11)至(15)中任一项所述的信息处理装置，其中，

所述区域相关信息在流中动态地变化。

(17)

根据(16)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息被存储在补充增强信息消息中。

(18)

根据(16)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息被存储在定时元数据中。

(19)

根据(16)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述区域相关信息被存储在样本组条目中。

(20)

一种信息处理方法，包括：

获取文件，所述文件包括与整体图片中对应于所存储的子图片的区域相关的区域相关信息，作为与图片区域中的每个图片区域的布置信息不同的信息，并且所述文件还包括由对所述子图片进行编码而产生的图像编码数据；以及

基于所获取的文件中包括的所述区域相关信息来选择所述图像编码数据的流。

(21)

一种信息处理装置，包括：

文件生成部，其被配置成生成文件，所述文件在每个轨道中存储多个子图片中的每个子图片的图像数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述文件包括立体信息，所述立体信息包括与所述整体图片的立体显示有关的信息。

(22)

根据(21)所述的信息处理装置，其中，

所述图片包括全向视频。

(23)

根据(21)或(22)所述的信息处理装置，其中，

所述立体信息被包括在所述文件中作为所述子图片中的每个子图片的信息。

(24)

根据(23)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述立体信息被存储在所述ISOBMFF文件中的方案信息框中或者被存储在所述方案信息框下方的层中的框中。

(25)

根据(21)至(24)中任一项所述的信息处理装置，其中，

所述文件还包括与所述子图片的显示尺寸有关的信息。

(26)

根据(21)至(25)中任一项所述的信息处理装置，其中，

所述文件还包括子立体信息，所述子立体信息包括与所述子图片中的每个子图片的立体显示有关的信息。

(27)

根据(21)至(26)中任一项所述的信息处理装置，其中，

所述文件还包括指示所述子图片的视图类型的视图信息。

(28)

根据(27)所述的信息处理装置，其中，

所述视图信息包括在所述子图片中包括的区域中的每个区域的信息。

(29)

根据(28)所述的信息处理装置，其中，

所述文件还包括指示所述视图信息是否存在于所述区域的每个区域中的信息。

(30)

一种信息处理方法，包括：

生成文件，所述文件在每个轨道中存储多个子图片中的每个子图片的图像数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述文件包括立体信息，所述立体信息包括与所述整体图片的立体显示有关的信息。

(31)

一种信息处理装置，包括：

文件获取部，其被配置成获取文件，所述文件在每个轨道中存储多个子图片中的每个子图片的图像数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述文件包括立体信息，所述立体信息包括与所述整体图片的立体显示有关的信息；以及

图像处理部，其被配置成基于由所述文件获取部获取的文件中包括的所述立体信息来选择所述图像编码数据的流。

(32)

根据(31)所述的信息处理装置，其中，

所述图片包括全向视频。

(33)

根据(31)或(32)所述的信息处理装置，其中，

所述立体信息被包括在所述文件中作为所述子图片中的每个子图片的信息。

(34)

根据(33)所述的信息处理装置，其中，

所述文件包括ISOBMFF(国际标准化组织基本媒体文件格式)文件，并且

所述立体信息被存储在所述ISOBMFF文件中的方案信息框中或者被存储在所述方案信息框下方的层中的框中。

(35)

根据(31)至(34)中任一项所述的信息处理装置，其中，

所述文件还包括与所述子图片的显示尺寸有关的信息。

(36)

根据(31)至(35)中任一项所述的信息处理装置，其中，

所述文件还包括子立体信息，所述子立体信息包括与所述子图片中的每个子图片的立体显示有关的信息。

(37)

根据(31)至(36)中任一项所述的信息处理装置，其中，

所述文件还包括指示所述子图片的视图类型的视图信息。

(38)

根据(37)所述的信息处理装置，其中，

所述视图信息包括在所述子图片中包括的区域中的每个区域的信息。

(39)

根据(38)所述的信息处理装置，其中，

所述文件还包括指示所述视图信息是否存在于所述区域的每个区域中的信息。

(40)

一种信息处理方法，包括：

获取文件，所述文件在每个轨道中存储多个子图片中的每个子图片的图像数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述文件包括立体信息，所述立体信息包括与所述整体图片的立体显示有关的信息；以及

基于所获取的文件中包括的所述立体信息来选择所述图像编码数据的流。

(41)

一种信息处理装置，包括：

文件生成部，其被配置成生成控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与整体图片中对应于子图片的区域有关的区域相关信息，作为不同于图片区域中每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发。

(42)

根据(41)所述的信息处理装置，其中，

所述图片包括全向视频。

(43)

根据(41)或(42)所述的信息处理装置，其中，

所述区域相关信息被包括在所述控制文件中作为所述子图片中的每个子图片的信息。

(44)

根据(43)所述的信息处理装置，其中，

所述控制文件包括MPD(媒体呈现描述)文件，

针对每个适应集管理所述子图片中的每个子图片的图像编码数据，

所述图片区域中的每个图片区域的布置信息被存储在逐区域打包描述符中，并且

所述区域相关信息被定义在所述MPD文件中的补充特性或必要特性中。

(45)

根据(43)所述的信息处理装置，其中，

所述控制文件包括MPD(媒体呈现描述)文件，

针对每个适应集管理所述子图片中的每个子图片的图像编码数据，

所述图片区域中的每个图片区域的布置信息被存储在逐区域打包描述符中，并且

所述区域相关信息被定义在所述MPD文件中的内容覆盖描述中。

(46)

一种信息处理方法，包括：

生成控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与整体图片中对应于子图片的区域有关的区域相关信息，作为不同于图片区域中每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发。

(51)

一种信息处理装置，包括：

文件获取部，其被配置成获取控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与整体图片中对应于子图片的区域有关的区域相关信息，作为不同于图片区域中每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发；以及

图像处理部，其被配置成基于由所述文件获取部获取的控制文件中包括的所述区域相关信息来选择所述图像编码数据的流。

(52)

根据(51)所述的信息处理装置，其中，

所述图片包括全向视频。

(53)

根据(51)或(52)所述的信息处理装置，其中，

所述区域相关信息被包括在所述控制文件中作为所述子图片中的每个子图片的信息。

(54)

根据(53)所述的信息处理装置，其中，

所述控制文件包括MPD(媒体呈现描述)文件，

针对每个适应集管理所述子图片中的每个子图片的图像编码数据，

所述图片区域中的每个图片区域的布置信息被存储在逐区域打包描述符中，并且

所述区域相关信息被定义在所述MPD文件中的补充特性或必要特性中。

(55)

根据(53)所述的信息处理装置，其中，

所述控制文件包括MPD(媒体呈现描述)文件，

针对每个适应集管理所述子图片中的每个子图片的图像编码数据，

所述图片区域中的每个图片区域的布置信息被存储在逐区域打包描述符中，并且

所述区域相关信息被定义在所述MPD文件中的内容覆盖描述中。

(56)

一种信息处理方法，包括：

获取控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与整体图片中对应于子图片的区域有关的区域相关信息，作为不同于图片区域中每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发；以及

基于所获取的控制文件中包括的所述区域相关信息来选择所述图像编码数据的流。

(61)

一种信息处理装置，包括：

文件生成部，其被配置成生成控制文件，所述控制文件针对每个适应集管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述适应集的立体显示有关的立体信息，所述控制文件用于控制所述图像编码数据的分发。

(62)

根据(61)所述的信息处理装置，其中，

所述图片包括全向视频。

(63)

根据(61)或(62)所述的信息处理装置，其中，

所述控制文件还包括指示所述子图片的视图类型的视图信息。

(64)

根据(63)所述的信息处理装置，其中，

所述视图信息包括在所述子图片中包括的区域中的每个区域的信息。

(65)

根据(63)或(64)所述的信息处理装置，其中，

所述控制文件还包括指示所述视图信息是否存在于所述区域的每个区域中的信息。

(66)

根据(63)至(65)中任一项所述的信息处理装置，其中，

所述控制文件还包括指示所述适应集是否能够立体显示的信息。

(67)

一种信息处理方法，包括：

生成控制文件，所述控制文件针对每个适应集管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述适应集的立体显示有关的立体信息，所述控制文件用于控制所述图像编码数据的分发。

(71)

一种信息处理装置，包括：

文件获取部，其被配置成获取控制文件，所述控制文件针对每个适应集管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述适应集的立体显示有关的立体信息，所述控制文件用于控制所述图像编码数据的分发；以及

图像处理部，其被配置成基于由所述文件获取部获取的控制文件中包括的所述立体信息来选择所述图像编码数据的流。

(72)

根据(71)所述的信息处理装置，其中，

所述图片包括全向视频。

(73)

根据(71)或(72)所述的信息处理装置，其中

所述控制文件还包括指示所述子图片的视图类型的视图信息。

(74)

根据(73)所述的信息处理装置，其中，

所述视图信息包括在所述子图片中包括的区域中的每个区域的信息。

(75)

根据(73)或(74)所述的信息处理装置，其中，

所述控制文件还包括指示所述视图信息是否存在于所述区域的每个区域中的信息。

(76)

根据(73)至(75)中任一项所述的信息处理装置，其中，

所述控制文件还包括指示所述适应集是否能够立体显示的信息。

(77)

一种信息处理方法，包括：

获取控制文件，所述控制文件针对每个适应集管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述适应集的立体显示有关的立体信息，所述控制文件用于控制所述图像编码数据的分发；以及

基于所获取的控制文件中包括的所述立体信息来选择所述图像编码数据的流。

附图标记列表

100文件生成装置，101控制部，102存储器，103文件生成部，111数据输入部，112数据编码和生成部，113MPD文件生成部，114存储部，115上传部，121预处理部，122编码部，123分段文件生成部，200客户端装置，201控制部，202存储器，203再现处理部，211测量部，212MPD文件获取部，213MPD文件处理部，214分段文件获取部，215显示控制部，216数据分析和解码部，217显示部，221分段文件处理部，222解码部，223显示信息生成部，900计算机

Claims (20)

1.一种信息处理装置，包括：

文件生成部，其被配置成生成控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发。

2.根据权利要求1所述的信息处理装置，其中，

所述整体图片包括全向视频。

3.根据权利要求1所述的信息处理装置，其中，

所述区域相关信息被包括在所述控制文件中，作为针对所述子图片中的每个子图片的信息。

4.根据权利要求3所述的信息处理装置，其中，

所述控制文件包括MPD(媒体呈现描述)文件，

针对每个适应集管理所述子图片中的每个子图片的图像编码数据，

所述图片区域中的每个图片区域的布置信息被存储在逐区域打包描述符中，并且

所述区域相关信息被定义在所述MPD文件中的补充特性或必要特性中。

5.根据权利要求1所述的信息处理装置，其中，

所述控制文件还包括立体信息，所述立体信息包括与适应集的立体显示有关的信息。

6.根据权利要求5所述的信息处理装置，其中，

所述整体图片包括全向视频。

7.根据权利要求1所述的信息处理装置，其中，

所述控制文件还包括指示所述子图片的视图类型的视图信息。

8.根据权利要求7所述的信息处理装置，其中，

所述视图信息包括针对在所述子图片中包括的区域中的每个区域的信息。

9.根据权利要求8所述的信息处理装置，其中，

所述控制文件还包括指示针对所述区域中的每个区域是否存在所述视图信息的信息。

10.根据权利要求7中任一项所述的信息处理装置，其中，

所述控制文件还包括指示适应集是否能够立体显示的信息。

11.一种信息处理方法，包括：

生成控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发。

12.一种信息处理装置，包括：

文件获取部，其被配置成获取控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发；以及

图像处理部，其被配置成基于由所述文件获取部获取的控制文件中包括的所述区域相关信息来选择所述图像编码数据的流。

13.根据权利要求12所述的信息处理装置，其中，

所述整体图片包括全向视频。

14.根据权利要求12所述的信息处理装置，其中，

所述区域相关信息被包括在所述控制文件中，作为针对所述子图片中的每个子图片的信息。

15.根据权利要求14所述的信息处理装置，其中，

所述控制文件包括MPD(媒体呈现描述)文件，

针对每个适应集管理所述子图片中的每个子图片的图像编码数据，

所述图片区域中的每个图片区域的布置信息被存储在逐区域打包描述符中，并且

所述区域相关信息被定义在所述MPD文件中的补充特性或必要特性中。

16.根据权利要求12所述的信息处理装置，其中，

所述控制文件还包括立体信息，所述立体信息包括与适应集的立体显示有关的信息。

17.根据权利要求16所述的信息处理装置，其中，

所述整体图片包括全向视频。

18.根据权利要求12所述的信息处理装置，其中，

所述控制文件还包括指示所述子图片的视图类型的视图信息。

19.根据权利要求18中任一项所述的信息处理装置，其中，

所述控制文件还包括指示适应集是否能够立体显示的信息。

20.一种信息处理方法，包括：

获取控制文件，所述控制文件管理多个子图片中的每个子图片的图像编码数据，所述多个子图片中的每个子图片由整体图片划分而成并且然后被编码，并且所述控制文件包括与所述整体图片中的对应于子图片的区域有关的区域相关信息，作为不同于图片区域中的每个图片区域的布置信息的信息，所述控制文件用于控制所述图像编码数据的分发；以及

基于所获取的控制文件中包括的所述区域相关信息来选择所述图像编码数据的流。

Images