CN109076262B - 文件生成装置和文件生成方法以及再现装置和再现方法 - Google Patents

文件生成装置和文件生成方法以及再现装置和再现方法 Download PDF

Info

Publication number
CN109076262B
CN109076262B CN201780028140.1A CN201780028140A CN109076262B CN 109076262 B CN109076262 B CN 109076262B CN 201780028140 A CN201780028140 A CN 201780028140A CN 109076262 B CN109076262 B CN 109076262B
Authority
CN
China
Prior art keywords
image
information
file
section
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780028140.1A
Other languages
English (en)
Other versions
CN109076262A (zh
Inventor
胜股充
平林光浩
浜田俊也
泉伸明
高桥辽平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202210579940.5A priority Critical patent/CN115118952B/zh
Publication of CN109076262A publication Critical patent/CN109076262A/zh
Application granted granted Critical
Publication of CN109076262B publication Critical patent/CN109076262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及利用其可以识别在全向图像的生成中使用的图像的文件生成装置和文件生成方法以及再现装置和再现方法。MPD文件生成单元设置用于识别在全向图像的生成中使用的拍摄图像的识别信息，全向图像通过将拍摄图像映射到三维模型来生成。本公开内容可以应用于例如生成使用运动图像专家组相位动态自适应流(MPEG‑DASH)通过HTTP递送的全向图像的区间文件的文件生成装置等。

Description

文件生成装置和文件生成方法以及再现装置和再现方法
技术领域
本公开内容涉及文件生成装置、文件生成方法、再现装置和再现方法，并且特别地，涉及能够识别用于生成全向图像的图像的文件生成装置、文件生成方法、再现装置和再现方法。
背景技术
已知一种记录装置，其通过根据由多相机捕获的图像将具有水平方向上的360度视野和垂直方向上的180度视野的图像映射到2D图像(平面图像)上来生成全向图像，对全向图像进行编码，以及记录编码的全向图像(参见例如PTL 1)。
这样的记录装置采用使用等角投影(equirectangular projection)、立方映射等的方法作为全向图像生成方法。在全向图像生成方法是使用等角投影的方法的情况下，全向图像是当捕获图像被映射到球面上时获得的等角投影的球体的图像。此外，在全向图像生成方法是立方映射的情况下，全向图像是当捕获图像被映射到立方体的面上时获得的立方体的展开计划(development plan)的图像。
同时，已知MPEG-DASH(基于HTTP的运动图像专家组相位动态自适应流)作为运动视频内容流送方案。在MPEG-DASH中，管理运动视频内容的编码流的管理文件从递送服务器传送至终端装置，并且终端装置基于管理文件选择要再现的编码流并且像递送服务器发出请求。
[引用列表]
[专利文献]
[PTL 1]JP 2006-14174A
发明内容
[技术问题]
然而，在根据MPEG-DASH从递送服务器向终端装置递送全向图像的编码流的情况下，没有考虑设置用于识别用以生成全向图像的捕获图像的识别信息。因此，终端装置尚不能识别用于生成全向图像的捕获图像，并且无法基于捕获图像选择要再现的全向图像。
鉴于这些情况实现了本公开内容，并且本公开内容的目的是使得可以识别用于生成全向图像的图像。
[对问题的解决方案]
根据本公开内容的第一方面的文件生成装置是一种包括设置部的文件生成装置，该设置部设置用于识别用以生成全向图像的捕获图像的识别信息，全向图像是通过将捕获图像映射到3D模型上而生成的，其中，设置部设置在再现装置将全向图像映射到3D模型上时使用的映射信息。
根据本公开内容的第一方面的文件生成方法对应于根据本公开内容的第一方面的文件生成装置。
根据本公开内容的第一方面，设置用于识别用以生成通过将捕获图像映射到3D模型上而生成的全向图像的捕获图像的识别信息，以及设置在再现装置将全向图像映射到3D模型上时使用的映射信息。
根据本公开内容的第二方面的再现装置是包括选择部的再现装置，该选择部基于识别信息选择要再现和通过将捕获图像映射到3D模型上而生成的全向图像，识别信息用于识别用以生成全向图像的捕获图像，其中，使用针对将全向图像映射到3D模型上而设置的映射信息来执行映射，将识别信息设置给通过将全向图像投影到绘图面上而生成的捕获图像，将包含关于绘图面的信息的绘图面信息设置给捕获图像，并且绘图面信息包含绘图面的位置和视角。
根据本公开内容的第二方面的再现方法对应于根据本公开内容的第二方面的再现装置。
根据本公开内容的第二方面，基于识别信息来选择要再现和通过将捕获图像映射到3D模型上而生成的全向图像，识别信息用于识别用以生成全向图像的捕获图像，以及，使用针对将全向图像映射到3D模型上而设置的映射信息来执行映射。另外，将识别信息设置给通过将全向图像投影到绘图面上而生成的捕获图像，将包含关于绘图面的信息的绘图面信息设置给捕获图像，并且绘图面信息包含绘图面的位置和视角。
注意，可以通过使计算机执行程序来实现根据第一方面的文件生成装置和根据第二方面的再现装置。
另外，为了实现根据第一方面的文件生成装置和根据第二方面的再现装置，可以通过经由传输介质传输或者以记录介质记录来提供使得要由计算机执行的程序。
[本发明的有益效果]
根据本公开内容的第一方面，可以生成文件。另外，根据本公开内容的第一方面，可以生成文件，使得可以识别用于生成全向图像的捕获图像。
根据本公开内容的第二方面，可以选择文件。另外，根据本公开内容的第二方面，可以识别用于生成全向图像的捕获图像。
注意，效果并不总是限于这里描述的那些，而是可以是本公开内容中描述的任何效果。
附图说明
[图1]图1是示出本公开内容所应用于的递送系统的第一实施方式的配置的示例的框图。
[图2]图2是示出图1的生成装置的配置的示例的框图。
[图3]图3是示出作为3D模型的立方体的透视图。
[图4]图4是示出通过立方映射生成的全向图像的示例的图。
[图5]图5是示出作为3D模型的球体的透视图。
[图6]图6是示出通过使用等角投影的方法生成的全向图像的示例的图。
[图7]图7是示出通过图2的MPD文件生成部生成的MPD文件的示例的图。
[图8]图8是ID、X、Y和λ的说明性图。
[图9]图9是映射信息的说明性图。
[图10]图10是描述由图2的生成装置执行的文件生成处理的流程图。
[图11]图11是示出图1的再现装置的配置的示例的框图。
[图12]图12是描述由图11的再现装置执行的再现处理的流程图。
[图13]图13是示出根据本公开内容所应用于的递送系统的第二实施方式的生成装置的配置的示例的框图。
[图14]图14是示出由图13的MPD文件生成部生成的MPD文件的第一示例的图。
[图15]图15描述由图13的生成装置执行的文件生成处理的流程图。
[图16]图16是示出根据本公开内容所应用于的递送系统的第二实施方式的再现装置的配置的示例的框图。
[图17]图17是描述由图16的再现装置执行的再现处理的流程图。
[图18]图18是示出由图13的MPD文件生成部生成的MPD文件的第二示例的图。
[图19]图19是示出由图13的MPD文件生成部生成的MPD文件的第三示例的图。
[图20]图20是示出由图13的MPD文件生成部生成的MPD文件的第四示例的图。
[图21]图21是示出类型信息的示例的图。
[图22]图22是示出由图13的MPD文件生成部生成的MPD文件的第五示例的图。
[图23]图23是示出根据本公开内容所应用于的递送系统的第三实施方式的生成装置的配置的示例的框图。
[图24]图24是示出二维平面信息的配置的示例的图。
[图25]图25是二维平面信息的说明图。
[图26]图26是示出18个二维平面的示例的图。
[图27]图27是示出与图26的18个二维平面有关的二维平面信息的示例的图。
[图28]图28是对角线视角的说明图。
[图29]图29是设置每个高分辨率图像的SRD的方法的说明图。
[图30]图30是示出由图23的MPD文件生成部生成的MPD文件的第一示例的图。
[图31]图31是描述由图23的生成装置执行的文件生成处理的流程图。
[图32]图32是示出根据本公开内容所应用于的递送系统的第三实施方式的再现装置的配置的示例的框图。
[图33]图33是由图32的映射处理部进行的映射的说明图。
[图34]图34是描述由图32的再现装置执行的再现处理的流程图。
[图35]图35是示出由图23的MPD文件生成装置生成的MPD文件的第二示例的图。
[图36]图36是示出关于6个公共图像的二维平面信息的图。
[图37]图37是示出由图23的MPD文件生成部生成的MPD文件的第三示例的图。
[图38]图38是示出由图23的MPD文件生成部生成的MPD文件的第四示例的图。
[图39]图39是示出根据第四实施方式的二维平面信息的配置的示例的图。
[图40]图40是在FOV_flag为0的情况下绘图面的说明图。
[图41]图41是示出描述图39的二维信息的MPD文件的第一示例的图。
[图42]图42是示出描述图39的二维信息的MPD文件的第二示例的图。
[图43]图43是示出描述图39的二维信息的MPD文件的第二示例的修改的图。
[图44]图44是示出立方流的3D模型的示例的透视图。
[图45]图45是示出通过展开3D模型的面的SRD信息的示例的图。
[图46]图46是示出绘图面信息的示例的图。
[图47]图47是示出描述图39的二维信息的MPD文件的第三示例的图。
[图48]图48是示出本公开内容所应用于的生成装置的第五实施方式的配置的示例的框图。
[图49]图49是设置关于图像的各种信息的方法的说明图。
[图50]图50是示出第一方法中的hvcC框的配置的示例的图。
[图51]图51是示出第一方法中的scri框的配置的示例的图。
[图52]图52是示出第一方法中的tref框的配置的示例的图。
[图53]图53是示出第二方法中的Visual Sample Entry的配置的示例的图。
[图54]图54是示出第三方法中的schi框的配置的示例的图。
[图55]图55是样本组的说明图。
[图56]图56是示出第四方法中的Spherical Coordinate Region Info Entry的配置的示例的图。
[图57]图57是示出第四方法中的Spherical Coordinate Region Info Entry的配置的另一示例的图。
[图58]图58是示出第四方法中的scri框的配置的示例的图。
[图59]图59是示出第五方法中的分区间文件的配置的示例的图。
[图60]图60是示出第五方法中的SphericalCoordinateRegionInfoSample的配置的示例的图。
[图61]图61是示出第五方法中的Spherical Coordinate Region Info SampleEntry的配置的示例的图。
[图62]图62是示出第五方法中的Spherical Coordinate Region InfoConfiguration Box框的配置的示例的图。
[图63]图63是示出第五方法中的SphericalCoordinateRegionInfoSample的配置的另一示例的图。
[图64]图64是示出第五方法中的SphericalCoordinateRegionInfoSample的配置的又一示例的图。
[图65]图65是示出第五方法中的Spherical Coordinate Region InfoConfiguration Box的配置的另一示例的图。
[图66]图66是示出第五方法中的SphericalCoordinateRegionInfoSample的配置的又一示例的图。
[图67]图67是描述由图48的生成装置执行的文件生成处理的流程图。
[图68]图68是示出根据本公开内容所应用于的递送系统的第五实施方式的再现装置的配置的示例的框图。
[图69]图69是描述由图68的再现装置执行的再现处理的流程图。
[图70]图70是示出计算机硬件的配置的示例的框图。
具体实施方式
以下将描述用于执行本公开内容的模式(下文中，称为“实施方式”)。注意，将按以下顺序给出描述。
1.第一实施方式：递送系统(图1至图12)
2.第二实施方式：递送系统(图13至图22)
3.第三实施方式：递送系统(图23至图38)
4.第四实施方式：传送系统(图39至图47)
5.第五实施方式：递送系统(图48至图69)
6.第六实施方式：计算机(图70)
<第一实施方式>
(递送系统的第一实施方式的配置示例)
图1是示出本公开所应用于的递送系统的第一实施方式的配置的示例的框图。
图1的递送系统10包括：拍摄装置11、生成装置12、递送服务器13、再现装置14和头戴式显示器15。递送系统10根据由拍摄装置11捕获的捕获图像生成全向图像并且使用全向图像在观看者的视野范围内显示显示图像。
具体地，递送系统10中的拍摄装置11包括六个相机11A-1至11A-6和麦克风11B。在不需要特别区分相机11A-1至11A-6的情况下，相机在下文中统称为“相机11A”。
每个相机11A捕获动态图像，并且麦克风11B获取周围声音。递送系统10将由相机11A捕获的作为六个方向上的移动图像的捕获图像和由麦克风11B获取的声音作为运动视频内容提供给生成装置12。注意，拍摄装置11中提供的相机的数量可以不是六个，只要数量等于或大于2即可。
生成装置12通过使用等角投影的方法、根据从拍摄装置11提供的捕获图像生成全向图像，以等于或高于1的比特率对全向图像进行编码，并生成处于每个比特率的等角投影流。另外，生成装置12通过立方映射、根据捕获的图像生成全向图像，以等于或高于1的比特率对全向图像进行编码，并且生成处于每个比特率的立方流。此外，生成装置12对从拍摄装置11提供的声音进行编码并且生成音频流。
生成装置12存档处于每个比特率的等角投影流，处于每个比特率的立方流，以及被称为约十秒钟的“区间”的时间单位的音频流。生成装置12将由于存档而生成的区间文件上传到递送服务器13。
虽然本文中假设等角投影流和立方流的比特率等于或高于1，但是可以假设除比特率之外的条件(例如，图像尺寸)等于或高于1。
另外，生成装置12生成管理运动视频内容的区间文件的MPD(媒体呈现描述)文件，并将MPD文件上传到递送服务器13。
递送服务器13存储从生成装置12上传的区间文件和MPD文件。递送服务器13响应于来自再现装置14的请求将存储的区间文件或存储的MPD文件传输至再现装置14。
再现装置14向递送服务器13发出MPD文件的请求，并且接收响应于该请求而传输到再现装置14的MPD文件。另外，再现装置14发出对通过全向图像生成方法生成的全向图像的区间文件的请求，并且接收响应于该请求而传输的区间文件，其中，全向图像生成方法对应于可以由再现装置14基于MPD文件执行的映射。再现装置14对包含在接收的区间文件中的等角投影流或立方流进行解码。再现装置14通过将作为解码结果获得的全向图像映射到3D模型上来生成3D模型图像。
另外，再现装置14包括相机14A并且捕获附至头戴式显示器15的标记15A的图像。然后，再现装置14基于捕获的标记15A的图像来检测3D模型的坐标系中观看位置。此外，再现装置14从头戴式显示器15接收头戴式显示器15中的陀螺仪传感器15B的检测结果。再现装置14基于陀螺仪传感器15B的检测结果来确定观看者在3D模型的坐标系中的视线方向。再现装置14基于观看位置和视线方向确定位于3D模型内的观看者的视野范围。
再现装置14以观看位置作为焦点对3D模型图像执行到观看者的视野范围上的透视投影，从而在观看者的视野范围内生成图像作为显示图像。再现装置14将显示图像提供给头戴式显示器15。
头戴式显示器15穿戴在观看者的头部上并显示从再现装置14提供的显示图像。由相机14A拍摄的标记15A被附至头戴式显示器15。因此，观看者可以通过在头戴式显示器15穿戴在头部上的情况下进行移动来指定观看位置。另外，头戴式显示器15包括陀螺仪传感器15B，并且陀螺仪传感器15B对角速度的检测结果被传输到再现装置14。因此，观看者可以通过旋转其上穿戴有头戴式显示器15的头部来指定视线方向。
(生成装置的配置的示例)
图2是示出图1的生成装置12的配置的示例的框图。
图2的生成装置12包括：拼接处理部21、映射处理部22、编码器23、映射处理部24、编码器25、音频获取部26、编码器27、区间文件生成部28、MPD文件生成部29以及上传部30。
拼接处理部21执行拼接处理，拼接处理用于使从图1的相机11A提供的六个方向上的捕获图像的颜色和亮度一致、消除重叠并且连接捕获图像。拼接处理部21在拼接处理之后以帧为单位将捕获图像提供给映射处理部22和映射处理部24。
映射处理部22通过立方映射根据从拼接处理部21提供的捕获图像生成全向图像。具体地，映射处理部22将拼接处理之后的捕获图像作为纹理映射到立方体上，并生成立方体的展开计划的图像作为全向图像。映射处理部22将全向图像提供给编码器23。注意，可以集成拼接处理部21和映射处理部22。
编码器23以等于或高于1的比特率对从映射处理部22提供的全向图像进行编码，并生成立方流。编码器23将处于每个比特率的立方流提供给区间文件生成部28。
映射处理部24通过使用等角投影的方法根据从拼接处理部21提供的捕获图像生成全向图像。具体地，映射处理部24将拼接处理之后的捕获图像作为纹理映射到球体上，并通过等角投影生成球体图像作为全向图像。映射处理部24将全向图像提供给编码器25。注意，可以集成拼接处理部21和映射处理部24。
编码器25以等于或高于1的比特率对从映射处理部24提供的全向图像进行编码，并生成等角投影流。编码器25将处于每个比特率的等角投影流提供给区间文件生成部28。
音频获取部26获取从图1的麦克风11B提供的声音，并将声音提供给编码器27。编码器27对从音频获取部26提供的声音进行编码并生成音频流。编码器27将音频流提供给区间文件生成部28。
区间文件生成部28以区间为单位将处于每个比特率的等角投影流、处于每个比特率的立方流、以及音频流进行存档。区间文件生成部28将作为存档的结果而创建的区间文件提供给上传部30。
MPD文件生成部29生成MPD文件。具体地，对于等角投影流和立方流的每个区间文件，MPD文件生成部29(设置部)针对MPD文件设置ID等，作为用于识别用以生成与区间文件相对应的全向图像的捕获图像的识别信息。
另外，对于等角投影流和立方流的每个区间文件，MPD文件生成部29根据需要针对MPD文件设置与区间文件相对应的映射信息。
映射信息是在将全向图像映射到3D模型上时使用的信息，使得在拼接处理之后的每个捕获图像内的预定位置处的参考图像可以以预定倾角(以下称为“参考倾角”)被映射到3D模型的参考位置处。在本文中，映射信息包括全向图像内参考图像的位置和全向图像在参考位置处的旋转角度，其中，旋转角度用于将3D模型上参考图像的倾角设置为在将全向图像映射到3D模型上使得参考图像被映射到参考位置处时的参考倾角。注意，参考位置是例如在观看位置是3D模型的中心的情况下对应于预定视线方向的3D模型上的位置。
换句话说，由于映射处理部22和映射处理部24各自执行投影，因此映射到捕获图像上的参考位置上的捕获图像的位置和倾角通常在映射处理部22与映射处理部24之间不同。因此，在这种情况下，MPD文件生成部29设置映射信息。由此，再现装置14可以基于映射信息以参考倾角将参考图像映射到参考位置上，而不管全向图像生成方法如何。MPD文件生成部29将MPD文件提供给上传部30。
上传部30将从区间文件生成部28提供的区间文件和从MPD文件生成部29提供的MPD文件上传到图1的递送服务器13。
(立方映射的描述)
图3是示出作为3D模型的立方体的透视图，其中，捕获图像通过由图2的映射处理部22执行的立方映射被映射到该3D模型上。
如图3所示，在由映射处理部22执行的立方映射中，从拼接处理部21提供的捕获图像被映射到立方体40的六个面41到46上。
在本说明书中，假设穿过立方体40的中心O并且与面41和面42正交的轴是x轴，与面43和面44正交的轴是y轴，以及与面45和面46正交的轴是z轴。另外，当中心O和面41至面46之间的距离均假设为r时，x＝r的面41也被适当地称为“+x面41”，并且x＝-r的面42也被适当地称为“-x face 42”。同样地，y＝r的面43、y＝-r的面44、z＝r的面45和z＝-r的面46也分别被适当地称为“+y面43”、“-y面44”、“+z面45”和“-z面46”。
+x面41面向-x面42，+y面43面向-y面44，+z面45面向-z面46。
图4是示出通过由图2的映射处理部22执行的立方映射生成的全向图像的示例的图。
如图4所示，通过立方映射生成的全向图像50是立方体40的展开计划的图像。具体地，全向图像50是以下图像：该图像使得-x面42的图像52、+z面45的图像55、+x面41的图像51、-z面46的图像56按照从左起的顺序设置在中心处，+y面43的图像53设置在图像55上，并且-y面44的图像54设置在图像55下方。
在本说明书中，假设全向图像50的水平尺寸是4096个像素，其竖直尺寸是3072个像素，并且图像51至图像56的水平尺寸和竖直尺寸都是1024个像素。
(使用等角投影的方法的描述)
图5是示出作为3D模型的球体的透视图，其中，捕获图像通过使用等角投影并且由图2的映射处理部24执行的方法被映射到该3D模型上。
如图5所示，利用通过映射处理部24进行的使用等角投影的方法，从拼接处理部21提供的捕获图像被映射到球体70的面上。球体70的面可以分成例如尺寸和形状相同的八个面71至78。
在本说明书中，假设穿过球体70的中心O并且穿过面71和面72的中心的轴是A轴，穿过面73和面74的中心的轴是B轴，穿过面75和面76的中心的轴是C轴，以及穿过面77和面78的中心的轴是D轴。另外，当中心O与面71至面78之间的距离均假设为r时，A＝r的面71也被适当地称为“+A面71”，并且A＝-r的面72也被适当地称为“-A面72”。同样地，B＝r的面73、B＝-r的面74、C＝r的面75、C＝-r的面76、D＝r的面77以及D＝-r的面78也分别被适当地称为“+B面73”、“-B面74”、“+C面75”、“-C面76”、“+D面77”以及“-D面78”。
+A面71面向-A面72，+B面73面向-B面74，+C面75面向-C面76，以及+D面77面向-D面78。
图6是示出通过使用等角投影并由图2的映射处理部24执行的方法生成的全向图像的示例的图。
如图6所示，通过使用等角投影的方法生成的全向图像90是通过等角投影的球体70的图像。因此，全向图像90的横坐标(水平坐标)和纵坐标(竖直坐标)对应于球体70是地球的情况下的经度和纬度。
具体地，全向图像90是以下图像：该图像使得+A面71的图像91、+B面73的图像93、+C面75的图像95和+D面77的图像97按照从左上起的顺序被设置，-C面76的图像96、-D面78的图像98、-A面72的图像92和-B面74的图像94按照从左下起的顺序被设置。
在本说明书中，假设全向图像90的水平尺寸是1920个像素，并且其竖直尺寸是960个像素。
(MPD文件的示例)
图7是示出由图2的MPD文件生成部29生成的MPD文件的示例的图。
在MPD文件中，诸如关于区间文件的编码方案、编码比特率和图像分辨率的信息被分层并以XML格式描述。
具体地，MPD文件分层地包含诸如时段(Period)元素、自适应集(AdaptationSet)元素、表示(Representation)元素和区间信息(SegmentInfo)元素之类的元素。
在MPD文件中，与由MPD文件本身管理的区间文件相对应的运动视频内容被按照预定时间范围(例如，按照节目、CM(Commercial)等)进行划分。针对每个划分的运动视频内容描述每个时段元素。时段元素具有诸如运动视频内容的节目的再现开始时钟时间(诸如一组同步图像数据或音频数据之类的数据)的信息。
自适应集元素包含在每个时段元素中，并且每个自适应集元素通过媒体类型、属性等对与时段元素对应的运动视频内容的表示元素进行分组。每个自适应集元素具有运动视频内容所共有的与包含在一个组中的表示元素相对应的媒体类型、属性等。
表示元素包含在对表示元素进行分组的每个自适应集元素中，并且针对与作为上层的时段元素对应的运动视频内容中的媒体类型和属性相同的运动视频内容的每个区间文件组来描述表示元素。每个表示元素具有对应于该表示元素的区间文件组所共有的属性、URL(统一资源定位符)等。
每个区间信息元素包含在每个表示元素中，并且具有关于与表示元素对应的区间文件组中的每个区间文件的信息。
在图7的示例中，在与时段元素对应的时间范围中的等角投影流、立方流和音频流中每一个的区间文件被分类为一个组。因此，在图7的MPD文件中，时段元素包含三个自适应集元素。
从顶部开始的第一自适应集元素是对应于等角投影流的区间文件的元素，第二自适应集元素是对应于立方流的区间文件的元素。由于两个自适应集元素是与全向图像的区间文件相对应的元素，因此这些元素被类似地配置。
具体地，第一自适应集元素和第二自适应集元素中的每一个具有相应全向图像的水平尺寸宽度和竖直尺寸高度。如上所述，全向图像90的对应于等角投影流的水平尺寸是1920个像素，并且其竖直尺寸是960个像素。因此，如图7所示，第一自适应集元素的尺寸宽度是1920个像素，并且其尺寸高度是960个像素。另外，全向图像50的对应于立方流的水平尺寸是4096个像素，并且其竖直尺寸是3072个像素。因此，如图7所示，第二自适应集元素的尺寸宽度为4096个像素，并且其尺寸高度为3072个像素。
此外，第一自适应集元素和第二自适应集元素中的每一个都具有“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””，其是通过值(value)来指示与此自适应集元素对应的全向图像生成方法的SupplementalProperty(补充性质)。
由于第一自适应集元素是对应于等角投影流的区间文件的元素，因此对应于第一自适应集元素的全向图像生成方法是使用等角投影的方法。因此，如图7所示，第一自适应集元素中的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是指示使用等角投影的方法的“equirectangular”。
由于第二自适应集元素是对应于立方流的区间文件的元素，因此对应于第二自适应集元素的全向图像生成方法是立方映射。因此，如图7所示，第二自适应集元素中的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是指示立方映射的“cube”。
此外，第一自适应集元素和第二自适应集元素中的每一个都具有“SupplementalProperty schemeIdUri＝“rn：mpeg：dash：original_source_id：2016””，其是通过值来指示与用于生成对应于该自适应集元素的全向图像的捕获图像有关的识别信息和映射信息。
在图7的示例中，ID和“X，Y，λ”被设置为“SupplementalProperty schemeIdUri＝“urn：mpeg：dash：original_source_id：2016””的值。如图8所示，ID是关于用于生成全向图像的捕获图像的识别信息。另外，X是关于全向图像的映射信息中的全向图像内的参考图像的位置的X坐标，以及Y是映射信息中的全向图像内的参考图像的位置的Y坐标。此外，λ是映射信息中的旋转角度。
由于用于生成全向图像50的捕获图像和用于生成与第一自适应集元素和第二自适应集元素对应的全向图像90的捕获图像是相同的，因此识别信息具有相同的值(在图7的示例中为1)。另外，在图7的示例中，对应于等角投影流的全向图像90内参考图像的位置坐标是(960，480)，并且旋转角度是0度。在图7中描绘的示例中，“I”被添加到存储识别信息的块的顶部，并且“B”被添加到存储映射信息的块的顶部。另外，块中的各条信息用逗号(,)分隔，并且块用空格分隔。因此，第一自适应集元素的“SupplementalProperty schemeIdUri＝“urn：mpeg：dash：original_source_id：2016””的值是“I1 B960,480,0。”换句话说，在这种情况下，“I1”中的“1”是识别信息，并且“B960,480,0”中的“960”是X坐标，其中“480”是Y坐标，并且其中“0”是旋转角度。
另外，在图7的示例，对应于立方流的全向图像50内的参考图像的位置坐标是(1530,1524)，并且旋转角度是0度。因此，第二自适应集元素中的“SupplementalPropertyschemeIdUri＝“urn：mpeg：dash：original_source_id：2016””的值是“I1 B1530,1524,0。”换句话说，在这种情况下，“I1”中的“1”是识别信息，并且“B1530,1524,0”中的“1530”是X坐标，其中“1524”是Y坐标，并且其中“0”是旋转角度。
在图7的示例中，在第一自适应集元素和第二自适应集元素中的每一个中描述映射信息，这是因为参考图像没有以生成全向图像50和全向图像90中的每一个时的参考倾角被映射到3D模型的参考位置上。在以参考倾角进行映射的情况下，不描述映射信息。
从顶部开始的第三自适应集元素是对应于音频流的区间文件的元素。
另外，在图7的示例中，每个自适应集元素包含一个表示元素。例如，在从顶部开始的第一自适应集元素到第三自适应集元素的表示元素中，分别描述了“equirectangular.mp4”、“cube.mp4”和“audio.mp4”作为URL(BaseURL)，URL(BaseURL)形成与表示元素对应的区间文件的基础。注意，图7省略了对区间信息元素的描述。
如前所述，在MPD文件中，设置了通过值指示全向图像生成方法的SupplementalProperty，以及通过值指示识别信息和映射信息的SupplementalProperty。
因此，再现装置14可以基于MPD文件从被设置相同的识别信息的区间文件中选择通过与可以由再现装置14执行的映射相对应的生成方法生成的全向图像的区间文件，作为要再现的区间文件。
另外，再现装置14可以通过使用映射信息映射与要再现的区间文件相对应的全向图像来将参考图像以参考倾角映射到3D模型的参考位置上。
注意，可以不在SupplementalProperty上，而是在EssentialProperty(基本性质)中描述识别信息和映射信息。在SupplementalProperty中描述识别信息和映射信息的情况下，不能理解该SupplementalProperty的再现装置可以使用关于MPD文件的除了该SupplementalProperty之外的信息。另一方面，在EssentialProperty中描述识别信息和映射信息的情况下，不能理解该EssentialProperty的再现装置不能使用关于包括该EssentialProperty的元素的所有信息。
另外，识别信息和映射信息可以包含在诸如除了自适应集元素之外的表示元素的元素中。
(映射信息的描述)
图9是关于等角投影流的区间文件的映射信息的说明图。
如图9所示，关于等角投影流的区间文件的映射信息包含通过使用等角投影的方法生成的全向图像90内的参考图像的位置111的坐标。
另外，关于等角投影流的区间文件的映射信息包含旋转角度λ，该旋转角度λ是全向图像90绕连接球体70上的位置与球体70的中心O的直线(假设为轴)沿逆时针方向的旋转角度，该逆时针方向是将球体70上的参考图像的倾角设置成在将全向图像90映射到球体70上使得位置111可以被映射到参考位置上时的参考倾角所必需的，并且由箭头112来指示。
注意，映射信息可以是欧拉角(α，β，γ)或四元数(q0，q1，q2，q3)，其指示在将全向图像映射到3D模型上使得参考图像可以以参考倾角被映射到参考位置上时全向图像的旋转角度。
在映射信息是欧拉角(α，β，γ)的情况下，再现装置14按原样将全向图像映射到3D模型上，并且然后基于欧拉角(α，β，γ)在3D模型上将映射的全向图像旋转三次。
具体地，首先，再现装置14基于欧拉角(α，β，γ)将映射到3D模型上的全向图像围绕y轴旋转欧拉角α。接下来，再现装置14将围绕y轴旋转了欧拉角α的全向图像围绕x轴旋转欧拉角β。最后，再现装置14将围绕x轴旋转了欧拉角β的全向图像围绕z轴旋转欧拉角γ。由此，在旋转三次之后映射到3D模型的参考位置上的全向图像成为处于参考倾角的参考图像。
虽然本文描述了全向图像按y轴、x轴和z轴的顺序旋转，但旋转顺序不限于该顺序。在映射信息是欧拉角(α，β，γ)的情况下，指示旋转顺序的参数可以包含在映射信息中。
另外，在映射信息是四元数(q0，q1，q2，q3)(四元数)的情况下，再现装置14按原样将全向图像映射到3D模型上，并且然后基于四元数(q0，q1，q2，q3)将映射的全向图像在3D模型上旋转一次。
(由生成装置执行的处理的描述)
图10是描述由图2的生成装置12执行的文件生成处理的流程图。
在图10的步骤S11中，拼接处理部21对从图1的相机11A提供的六个方向上的捕获图像执行拼接处理。拼接处理部21将作为拼接处理的结果获得的以帧为单位的捕获图像提供给映射处理部22和映射处理部24。
在步骤S12中，映射处理部22根据从拼接处理部21提供的捕获图像通过立方映射生成全向图像50，并将全向图像50提供给编码器23。
在步骤S13中，编码器23对从映射处理部22提供的并且通过立方映射以等于或高于1的比特率生成的全向图像50进行编码，并生成立方流。编码器23将处于每个比特率的立方流提供给区间文件生成部28。
在步骤S14中，映射处理部24通过使用等角投影的方法根据从拼接处理部21提供的捕获图像生成全向图像90，并将全向图像90提供给编码器25。
在步骤S15中，编码器25对从映射处理部24提供的并且通过使用等角投影的方法以等于或高于1的比特率生成的全向图像90进行编码，并生成等角投影流。编码器25将处于每个比特率的等角投影流提供给区间文件生成部28。
在步骤S16中，编码器27对经由音频获取部26从图1的麦克风11B获取的声音进行编码，并生成音频流。编码器27将音频流提供给区间文件生成部28。
在步骤S17中，区间文件生成部28以区间为单位将处于每个比特率的等角投影流、处于每个比特率的立方流和音频流存档，并生成区间文件。区间文件生成部28将区间文件提供给上传部30。
在步骤S18中，MPD文件生成部29将同一ID设置为与所有等角投影流和所有立方流的区间文件有关的识别信息。
在步骤S19中，MPD文件生成部29确定通过映射处理部22和映射处理部24映射到3D模型的参考位置上的捕获图像是否为处于参考倾角的参考图像。
在步骤S19中确定通过映射处理部22或映射处理部24中的至少之一映射到参考位置上的捕获图像不是处于参考倾角的参考图像的情况下，处理进行到步骤S20。
在步骤S20中，MPD文件生成部29生成包含识别信息和映射信息的MPD文件。具体地，MPD文件生成部29针对MPD文件中的与等角投影流和立方流相对应的自适应集元素设置在步骤S18中设置的识别信息。另外，MPD文件生成部29还针对与通过由映射处理部22或映射处理部24中的至少一个根据以下3D模型执行的映射所生成的全向图像对应的自适应集元素设置映射信息，其中，针对该3D模型投影到参考位置上的捕获图像不是处于参考倾角的参考图像。MPD文件生成部29将生成的MPD文件提供给上传部30，并且处理进行到步骤S22。
另一方面，在步骤S19中确定通过映射处理部22和映射处理部24二者投影到参考位置上的捕获图像是处于参考倾角的参考图像的情况下，处理进行到步骤S21。
在步骤S21中，MPD文件生成部29生成包含与等角投影流和立方流相对应的自适应集元素并且包含在步骤S18中设置的识别信息的MPD文件。MPD文件生成部29将生成的MPD文件提供给上传部30，并且处理进行到步骤S22。
在步骤S22中，上传部30将从区间文件生成部28提供的区间文件和从MPD文件生成部29提供的MPD文件上传到图1的递送服务器13，并且处理结束。
(再现装置的配置的示例)
图11是示出图1的再现装置14的配置的示例的框图。
图11的再现装置14包括：相机14A、MPD获取部220、MPD处理部221、区间文件获取部222、解码器223、映射处理部226、绘图部227、接收部228和视线检测部229。
再现装置14中的MPD获取部220向图1的递送服务器13发出MPD文件的请求，并获取MPD文件。MPD获取部220将获取的MPD文件提供给MPD处理部221。
MPD处理部221分析从MPD获取部220提供的MPD文件。具体地，MPD处理部221(选择部)将在每个自适应集元素中包含的“SupplementalProperty schemeIdUri＝“urn：mpeg：dash：original_source_id：2016””的值中I被分配给的值识别为识别信息。另外，MPD处理部221基于关于每个自适应集元素的识别信息选择包含预定识别信息的自适应集元素。例如，在MPD文件的配置是图7的配置的情况下，MPD处理部221选择包含识别信息1的第一自适应集元素和第二自适应集元素。
此外，MPD处理部221从包含预定识别信息的作为要再现的自适应集元素的自适应集元素中选择包含与由映射处理部226进行的映射的方案对应的全向图像生成方法的自适应集元素。
在图11的示例中，由映射处理部226进行的映射的方案是用于使用立方体作为3D模型执行映射的方案，如稍后所述。因此，MPD处理部221选择包含用于使用立方体作为3D模型来执行映射的立方映射作为全向图像生成方法的自适应集元素，作为要再现的自适应集元素。换句话说，MPD处理部221选择其中“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值为“cube”的自适应集元素。
MPD处理部221从所选择的自适应集元素中的表示元素获取诸如在再现时钟时间处的区间文件的URL的信息，并将该信息提供给区间文件获取部222。此外，在所选择自适应集元素包含映射信息的情况下，MPD处理部221将映射信息提供给映射处理部226。
区间文件获取部222基于URL向递送服务器13发出通过从MPD处理部221提供的URL识别的区间文件的请求，并获取区间文件。区间文件获取部222将包含在所获取的区间文件中的立方流提供给解码器223。
解码器223对从区间文件获取部222提供的立方流进行解码，并生成全向图像50。解码器223将所生成的全向图像50提供给映射处理部226。
在MPD处理部221提供映射信息的情况下，映射处理部226基于映射信息将从解码器223提供的全向图像内的参考图像设置在参考位置处，将全向图像50旋转旋转角度，并且将全向图像50映射到立方体40的面41至面46上作为纹理。
另一方面，在MPD处理部221不提供映射信息的情况下，映射处理部226将全向图像50映射到立方体40的面41至面46上作为按照原样的纹理。映射处理部226将作为映射的结果而获得的3D模型图像提供给绘图部227。
绘图部227在从视线检测部229提供的观看位置作为焦点的情况下执行从映射处理部226提供的3D模型图像到观看者的视野范围上的透视投影，从而生成在观看者的视野范围中的图像作为显示图像。绘图部227将显示图像提供给头戴式显示器15。
接收部228从头戴式显示器15接收图1的陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测部229。
视线检测部229基于从接收部228提供的陀螺仪传感器15B的检测结果，确定3D模型的坐标系中观看者的视线方向。此外，视线检测部229从相机14A获取标记15A的捕获图像，并基于捕获图像检测3D模型的坐标系中的观看位置。视线检测部229基于3D模型的坐标系中的观看位置和视线方向，确定3D模型的坐标系中观看者的视野范围。视线检测部229将观看者的视野范围和观看位置提供给绘图部227。
注意，通过映射处理部226进行的映射的方案可以是使用球体作为3D模型的映射方案。
在这种情况下，MPD处理部221选择包含用于使用球体作为3D模型执行映射的使用等角投影的方法作为等角图像生成方法的自适应集元素，作为要再现的自适应集元素。换句话说，MPD处理部221选择其中“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值为“equirectangular”的自适应集元素作为要再现的自适应集元素。作为结果，区间文件获取部222获取等距投影流的区间文件。
(由再现装置执行的处理)
图12是描述由图11的再现装置14执行的再现处理的流程图。
在图12的步骤S31中，再现装置14中的MPD获取部220向图1的递送服务器13发出MPD文件的请求，并获取MPD文件。MPD获取部220将获取的MPD文件提供给MPD处理部221。
在步骤S32中，MPD处理部221将在MPD文件的每个自适应集元素中包含的“SupplementalProperty schemeIdUri＝“urn：mpeg：dash：original_source_id：2016””的值中I被分配给的值识别为识别信息。
在步骤S33中，MPD处理部221从关于每个自适应集元素的识别信息中选择预定识别信息作为关于要再现的全向图像的识别信息。
在步骤S34中，MPD处理部221从MPD文件获取要再现的全向图像50的立方流的区间文件的URL。具体地，MPD处理部221从MPD文件中描述的并且包含关于要再现的正向图像的识别信息和作为全向图像生成方法的立方映射的自适应集元素中的表示元素中获取在再现时钟时间处区间文件的URL。MPD处理部221将获取的URL提供给区间文件获取部222。
在步骤S35中，区间文件获取部222基于从MPD处理部221提供的URL向递送服务器13发出对通过URL识别的区间文件的请求，并获取区间文件。区间文件获取部222将包含在所获取的区间文件中的立方流提供给解码器223。
在步骤S36中，解码器223对从区间文件获取部222提供的立方流进行解码，并生成全向图像50。解码器223将所生成的全向图像50提供给映射处理部226。
在步骤S37中，接收部228从头戴式显示器15接收陀螺仪传感器15B的检测结果，并将检测结果提供给视线检测部229。
在步骤S38中，视线检测部229基于从接收部228提供的陀螺仪传感器15B的检测结果，确定3D模型的坐标系中观看者的视线方向。
在步骤S39中，相机14A捕获标记15A的图像并将图像提供给视线检测部229。在步骤S40中，视线检测部229基于从相机14A提供的捕获的标记15A的图像检测3D模型的坐标系中的观看位置。
在步骤S41中，视线检测部229基于3D模型的坐标系中的观看位置和视线方向确定观看者的视野范围。视线检测部229将观看者的视野范围和观看位置提供给绘图部227。
在步骤S42中，MPD处理部221确定包含关于要再现的全向图像的识别信息和作为全向图像生成方法的立方映射的自适应集元素是否包含映射信息。
在步骤S42中确定自适应集元素包含映射信息的情况下，MPD处理部221将映射信息提供给映射处理部226，并且处理进行到步骤S43。
在步骤S43中，映射处理部226基于映射信息将从解码器223提供的全向图像50映射到立方体40的面41至面46上作为纹理。映射到立方体40的参考位置上的全向图像50由此成为处于参考倾角的参考图像。映射处理部226将作为映射的结果获得的3D模型图像提供给绘图部227，并且处理进行到步骤S45。
另一方面，在步骤S42中确定自适应集元素不包含映射信息的情况下，映射处理部226在步骤S44中将全向图像50映射到立方体40的面41至面46上作为纹理。
在自适应集元素不包含映射信息的情况下，对应于自适应集元素的全向图像50是以下的全向图像50：针对该全向图像50，仅通过将全向图像映射到立方体40上，处于参考倾角的参考图像被映射到立方体40的参考位置上。因此，通过步骤S44中的处理，处于参考倾角的参考图像被映射到立方体40的参考位置上。映射处理部226将作为映射的结果而获得的3D模型图像提供给绘图部227，并且处理进行到步骤S45。
在步骤S45中，绘图部227在从视线检测部229提供的观看位置作为焦点的情况下执行从映射处理部226提供的3D模型图像到观看者的视野范围上的透视投影，从而生成在观看者的视野范围内的图像作为显示图像。
在步骤S46中，绘图部227将显示图像传输至图1的头戴式显示器15以在其上显示显示图像，并且处理结束。
如前所述，生成装置12针对MPD文件设置识别信息。因此，再现装置14可以基于识别信息识别用于生成全向图像的捕获图像。作为结果，再现装置14可以从根据相同的捕获图像生成的全向图像中选择适当的全向图像作为要再现的对象。
另外，生成装置12通过多种生成方法生成全向图像；因此，可以增加能够再现由生成装置12生成的全向图像的再现装置的数量。
注意，在第一实施方式中，可以无论在生成全向图像时参考图像是否以参考倾角被映射到3D模型的参考位置上均不在MPD文件中描述映射信息。
<第二实施方式>
(生成装置的配置的示例)
除了生成装置和再现装置的配置之外，本公开内容所应用于的递送系统的第二实施方式的配置与图1的递送系统10的配置相同。因此，下面将仅描述生成装置和再现装置。
图13是示出根据本公开内容所应用于的递送系统的第二实施方式的生成装置的配置的示例的框图。
在图13中描绘的配置中，与图2中的配置相同的那些配置通过相同的附图标记来指示。将根据情况省略重复描述。
图13的生成装置250与图2的生成装置12在配置上不同之处在于：编码器254-1至254-6、编码器252、区间文件生成部255和MPD文件生成部256分别被提供作为对编码器23、编码器25、区间文件生成部28和MPD文件生成部29的替选并且新提供了分辨率减小部251和划分部253。
生成装置250使通过使用等角投影的方法生成的全向图像90的分辨率降低以对所得到的全向图像90进行编码并且分离通过立方映射生成的全向图像50以对分离的图像进行编码。
具体地，生成装置250中的分辨率降低部251通过在水平方向和竖直方向上二等分全向图像90的分辨率使从映射处理部24提供的全向图像90的分辨率降低并且生成低分辨率图像。分辨率降低部251将低分辨率图像提供给编码器252。
编码器252以等于或高于1的比特率对从分辨率降低部251提供的低分辨率图像进行编码并且生成低分辨率流。编码器252将低分辨率流提供给区间文件生成部255。
划分部253将从映射处理部22提供的全向图像50划分成六个面41至46的图像51至56。划分部253将图像51至56作为高分辨率图像提供给编码器254-1至254-6。
编码器254-1至254-6以等于或高于1的比特率对从划分部253提供的高分辨率图像进行编码。编码器254-1至254-6将作为编码结果生成的面41至46的高分辨率流提供给区间文件生成部255。
区间文件生成部255对每个比特率的低分辨率流、每个比特率的面41至46的高分辨率流以及以区间为单位的音频流进行存档。区间文件生成部255将作为存档结果生成的区间文件提供给上传部30。
MPD文件生成部256生成MPD文件。具体地，对于低分辨率流和高分辨率流的每个区间文件，MPD文件生成部256针对MPD文件设置ID等，作为用于识别与区间文件对应的捕获图像的识别信息。
此外，对于低分辨率流和高分辨率流的每个区间文件，MPD文件生成部256根据需要针对MPD文件设置与区间文件对应的映射信息。MPD文件生成部256将MPD文件提供给上传部30。
(MPD文件的第一示例)
图14是示出由图13的MPD文件生成部256生成的MPD文件的第一示例的图。
在图14的示例中，低分辨率流和面41至46的高分辨率流以及与每个时段(Period)元素对应的时间范围中的音频流中的每一个的区间文件被分类成一个组。因此，在图14的MPD文件中，时段元素包含八个自适应集(AdaptationSet)元素。此外，在图14的示例中，与全向图像50和90有关的识别信息以及映射信息与图7的示例中的与全向图像50和90有关的识别信息和映射信息是相同的。
从顶部起的第一个自适应集元素是与低分辨率流的区间文件对应的元素。该自适应集元素与图7的第一自适应元素是相同的，除了水平尺寸宽度、竖直尺寸高度和“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值以外。
换言之，与第一个自适应集元素对应的图像不是由映射处理部24生成的全向图像90，而是低分辨率图像。此外，低分辨率图像的水平分辨率和竖直分辨率分别是全向图像90的水平分辨率和竖直分辨率的一半。因此，第一自适应元素的水平尺寸宽度是960(＝1920/2)个像素和第一自适应元素的竖直尺寸高度是480(＝960/2)个像素。
此外，用于生成低分辨率图像的捕获图像是用于生成全像图像90的捕获图像，并且作为识别信息的捕获图像的ID是“1”。然而，在图14的示例中，与低分辨率图像有关的映射信息是低分辨率图像内的参考图像的位置的坐标(480,240)以及0度的旋转角度。因此，“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值为“I1B480,240,0”。换言之，在图14的情况下，与图7的情况类似，“I”被添加到将识别信息存储在值中的块的顶部，并且“B”被添加到存储映射信息的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。
从顶部起的第二个自适应集元素至第七个自适应集元素分别是与面41至46的高分辨率流的区间文件对应的元素。该自适应集元素与图7的第二自适应元素是相同的，除了水平尺寸宽度、竖直尺寸高度以及新包括的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014””以外。
换言之，与从顶部起的第二个自适应集元素至第七个自适应集元素对应的图像不是由映射处理部22生成的全向图像50而是图像51至56。因此，第二个自适应集元素至第七个自适应集元素的水平尺寸宽度和竖直尺寸高度是1024个像素，这是图像51至56的水平方向和垂直方向中的每一个方向上的像素数。
此外，从顶部起的第二个自适应集元素至第七个自适应集元素各自具有作为指示与自适应元素对应的图像是通过划分运动视频内容的图像获得的图像的SRD(空间关系描述)的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014””。
“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014””的值是被source_id、object_x、object_y、object_width、object_height、total_width、total_height以及spatial_set_id。
“source_id”是识别被划分成与该自适应集元素对应的图像之前的图像(本文中为全向图像50)的ID。此外，“object_x”和“object_y”分别是被划分成与该自适应集元素对应的图像之前的图像(本文中为全向图像50)上的图像的左上位置的水平方向和竖直方向上的坐标。“object_width”和“object_height”分别是与该自适应集元素对应的图像的水平尺寸和竖直尺寸。此外，“total_width”和“total_height”是被划分成与该A自适应集元素对应的图像之前的图像(本文中为全向图像50)的水平尺寸和竖直尺寸。“spatial_set_id”是用于识别与该自适应集元素对应的图像的划分层级的ID。在图14的示例中，全向图像50的ID是0。
因此，由从顶部起的与图像51至56对应的第二个自适应集元素至第七个自适应集元素拥有的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014””的值分别是“0,2048,1024,1024,1024,4096,3072,0”、“0,0,1024,1024,1024,1024,4096,3072,0”、“0,1024,0,1024,1024,4096,3072,0”、“0,1024,2048,1024,1024,4096,3072,0”、“0,1024,1024,1024,1024,4096,3072,0”和“0,3072,1024,1024,1024,4096,3072,0”。
在图14的示例中，由于在生成全向图像50至90时没有以参考倾角将参考图像映射到3D模型的参考位置上，因此在每个自适应集元素中描述映射信息。然而，在以参考倾角进行映射的情况下，不描述映射信息。
从顶部起的第八自适应集元素是与音频流的区间文件对应的元素。
此外，在图14的示例中，每个自适应集元素包含一个表示(Representation)元素。在从顶部起的第一个自适应集元素至第八自适应集元素中的表示元素中，例如，“equirectangular.mp4”，“cube1.mp4”至“cube6.mp4”和“audio.mp4”分别被描述为与表示元素对应的区间文件的BaseURL。注意，图14省略了对区间信息元素的描述。
(由生成装置执行的处理的描述)
图15是描述由图13的生成装置250执行的文件生成处理的流程图。
在图15的步骤S61中，拼接处理部21针对每个帧对从图1中的相机11A提供的六个方向上的捕获图像执行拼接处理。拼接处理部21将作为拼接处理的结果获得的以帧单位的捕获图像提供给映射处理部22和映射处理部24。
在步骤S62中，映射处理部24通过使用等角投影的方法根据从拼接处理部21提供的捕获图像来生成全向图像90并且将全向图像90提供给分辨率降低部251。
在步骤S63中，分辨率降低部251使从映射处理部24提供的全向图像90的分辨率降低并且生成低分辨率图像。分辨率降低部251将低分辨率图像提供给编码器252。
在步骤S64中，编码器252对从分辨率降低部251提供的低分辨率图像进行编码并且生成低分辨率流。编码器252将低分辨率流提供给区间文件生成部255。
在步骤S65中，映射处理部22通过立方映射根据从拼接处理部21提供的捕获图像来生成全向图像50并且将全向图像50提供给划分部253。
在步骤S66中，划分部253将从映射处理部22提供的全向图像50划分成六个面41至46的图像51至56。划分部253分别将图像51至56作为高分辨率图像提供给编码器254-1至254-6。
在步骤S67中，编码器254-1至254-6对面41至46的高分辨率图像进行编码以生成高分辨率流并且将高分辨率流提供给区间文件生成部255。
在步骤S68中，编码器27对经由音频获取部26从图1的麦克风11B获取的声音进行编码并且生成音频流。编码器27将音频流提供给区间文件生成部255。
在步骤S69中，区间文件生成部255对每个比特率的低分辨率流、每个比特率的面41至46的高分辨率流以及以区间为单位的音频流进行存档并且生成区间文件。区间文件生成部255将区间文件提供给上传部30。
由于步骤S70至S74的处理与图10的步骤S18至S22的处理类似，因此将省略描述。
(再现装置的配置的示例)
图16是示出了根据应用了本公开内容的递送系统的第二实施方式的再现装置的配置的示例的框图。
在图16中所描绘的配置中，用相同的附图标记来表示与图11的配置相同的配置。适当时，将省略重复描述。
图16的再现装置270与图11的再现装置14在配置上的不同之处在于：MPD处理部271、区间文件获取部272、解码器273和274、映射处理部275和视线检测部276被提供作为MPD处理部221、区间文件获取部222、解码器223、映射处理部226和视线检测部229的替选。再现装置270从与从观看者的视线方向上的观看位置延伸的视线对应的面的高分辨率图像以及低分辨率图像生成显示图像。
再现装置270中的MPD处理部271分析从MPD获取部220提供的MPD文件。具体地，与图11的MPD处理部221类似，MPD处理部271识别与每个自适应集元素有关的识别信息并且选择包含预定识别信息的自适应集元素。例如，在MPD文件的配置是图14的配置的情况下，MPD处理部271选择从顶部起的包含识别信息为1的第一个自适应集元素至第七个自适应集元素。
此外，MPD处理部271从包含预定识别信息的所选择的自适应集元素之中选择低分辨率图像的自适应集元素(在图14的示例中不包含SRD的自适应集元素)作为要再现的低分辨率图像的自适应集元素。例如，在MPD文件的配置是图14的配置的情况下，MPD处理部271选择第一个自适应集元素。
此外，MPD处理部271从包含预定识别信息的所选择的自适应集元素之中选择高分辨率图像的自适应集元素(在图14的示例中各自包含SRD的自适应集元素)。例如，在MPD文件的配置是图14的配置的情况下，MPD处理部271选择第二个自适应集元素至第七个自适应集元素。
然后，MPD处理部271基于所选择的面信息和SRD从高分辨率图像的自适应集元素之中选择由从视线检测部276提供的选择面信息(稍后将详细描述)指示的选择面的自适应集元素作为要再现的高分辨率图像的自适应集元素。
具体地，MPD处理部271从图像51至56之中选择具有以下值的自适应集元素作为要再现的高分辨率图像的自适应集元素，该值指示全向图像50上的与由选择面信息指示的选择面对应的图像的位置。注意，所选择的面信息是指示作为选择面的面41至46之中的与观看者的视线对应的一个面的信息。
该MPD处理部271从要再现的低分辨率图像和高分辨率图像的自适应集元素中的表示元素获取再现时钟时间处的诸如区间文件的URL等的信息并且将该信息提供给区间文件获取部272。此外，在要再现的低分辨率图像和高分辨率图像的自适应集元素包含映射信息的情况下，MPD处理部271将映射信息提供给映射处理部275。
区间文件获取部272基于URL向递送服务器13发出由从MPD处理部271提供的URL识别的区间文件的请求并且获取区间文件。区间文件获取部272将包含在获取的区间文件中的一个低分辨率流提供给解码器273并且将一个高分辨率流提供给解码器274。
解码器273对从区间文件获取部272提供的所述一个低分辨率流进行解码以生成低分辨率图像并且将低分辨率图像提供给映射处理部275。
解码器274对从区间文件获取部272提供的所述一个高分辨率流进行解码以生成高分辨率图像并且将高分辨率图像提供给映射处理部275。
在MPD处理部271提供与低分辨率图像有关的映射信息的情况下，映射处理部275基于该映射信息将低分辨率图像中的参考图像设置在参考位置处，使低分辨率图像旋转旋转角度λ并且将低分辨率图像作为纹理映射到球体70的面71至76上。另一方面，在MPD处理部271不提供映射信息的情况下，映射处理部275将低分辨率图像原样地作为纹理映射到球体70的面71至76上。
注意，映射处理部275可以将包含经历透视投影的区域的低分辨率图像的仅一部分映射到由视线检测部276确定的观看者的视野范围上而没有映射整个低分辨率图像。
此外，映射处理部275基于从视线检测部276提供的选择面信息将选择面作为3D模型设置在球体70内。在MPD处理部271提供与高分辨率图像有关的映射信息的情况下，映射处理部275基于该映射信息将高分辨率图像的参考图像设置在参考位置处，使高分辨率图像旋转旋转角度并且将高分辨率图像作为纹理映射到在球体70内设置的选择面上。另一方面，在MPD处理部271不提供映射信息的情况下，映射处理部275将高分辨率图像原样地作为纹理映射到在球体70内设置的选择面上。
此外，映射处理部275将纹理被映射到球体70和选择面上的3D模型图像提供给绘图部227。
视线检测部276基于从接收部228提供的陀螺仪传感器15B的检测结果来确定3D模型的坐标系中的观看者的视线方向。此外，视线检测部276从相机14A获取标记15A的捕获图像并且基于捕获图像来检测观看位置。
视线检测部276基于三维模型的坐标系中的观看位置和视线方向将在面41至46之中通过中心的法线最接近观看者的视线的一个面确定为选择面。视线检测部276将所选择的面信息提供给MPD处理部271和映射处理部275。
此外，视线检测部276基于3D模型的坐标系中的观看位置和视线方向来确定3D模型的坐标系中的观看者的视野范围。视线检测部276将观看者的视野范围和观看位置提供给绘图部227。
(由再现装置执行的处理)
图17是描述由图16的生成装置270执行的再现处理的流程图。
由于图17的从步骤S81至S83的处理与图12的从步骤S31至S33的处理类似，因此将省略描述。
在步骤S84中，MPD处理部271从MPD文件获取要再现的低分辨率流的区间文件的URL。具体地，MPD处理部271从在MPD文件中描述并且包含在步骤S83中选择的识别信息的低分辨率图像的自适应集元素中的表示元素中获取再现时钟时间处的区间文件的URL。MPD处理部271将获取的URL提供给区间文件获取部272。
由于从步骤S85至S88的处理与图12的步骤S37至S40的处理类似，因此将省略描述。
在步骤S89中，视线检测部276基于观看位置和视线方向来确定选择面和观看者的视野范围。视线检测部276将观看者的视野范围和观看位置提供给绘图部227。此外，视线检测部276将所选择的面信息提供给MPD处理部271和映射处理部275。映射处理部275基于所选择的面信息将选择面作为3D模型设置在球体70内。
在步骤S90中，MPD处理部271从MPD文件获取要再现的高分辨率流的区间文件的URL。具体地，MPD处理部271从在MPD文件中描述并且包含在步骤S83中选择的识别信息以及指示全向图像50上的与由所选择的面信息通过该值指示的选择面对应的高分辨率图像的位置的SRD的自适应集元素中的表示元素获取再现时钟时间处的区间文件的URL。MPD处理部271将获取的URL提供给区间文件获取部272。
在步骤S91中，区间文件获取部272基于从MPD处理部271提供的URL向递送服务器13发出由URL识别的区间文件的请求并且获取区间文件。区间文件获取部222将包含在获取的区间文件中的低分辨率流提供给解码器273并且将高分辨率流提供给解码器274。
在步骤S92中，解码器274对从区间文件获取部272提供的高分辨率流进行解码以生成高分辨率图像并且将高分辨率图像提供给映射处理部275。
在步骤S93中，解码器273对从区间文件获取部272提供的低分辨率流进行解码以生成低分辨率图像并且将低分辨率图像提供给映射处理部275。
在步骤S94中，MPD处理部271确定要再现的低分辨率流的自适应集元素是否包含映射信息。在步骤S94中确定自适应集元素包含映射信息的情况下，MPD处理部271将映射信息提供给映射处理部275，并且处理转至步骤S95。
在步骤S95中，映射处理部275基于与从MPD处理部271提供的低分辨率流有关的映射信息将解码器273提供的低分辨率图像作为纹理映射到球体70的面41至46上。然后，处理转至步骤S97。
另一方面，在步骤S94中确定自适应集元素不包含映射信息的情况下，处理转至步骤S96。在步骤S96中，映射处理部275将从解码器273提供的低分辨率图像原样地作为纹理映射在球体70的面41至46上。然后，处理转至步骤S97。
在步骤S97中，MPD处理部271确定要再现的高分辨率流的自适应集元素是否包含映射信息。在步骤S97中确定自适应集元素包含映射信息的情况下，MPD处理部271将映射信息提供给映射处理部275，并且处理转至步骤S98。
在步骤S98中，映射处理部275基于与高分辨率流有关的映射信息将高分辨率图像作为纹理映射到在球体70内设置的选择面上。映射处理部275将纹理被映射到球体70和选择面上的3D模型图像提供给绘图部227，并且处理转至步骤S100。
另一方面，在步骤S97中确定自适应集元素不包含映射信息的情况下，处理转至步骤S99。在步骤S99中，映射处理部275将高分辨率图像原样地作为纹理映射到在球体70内设置的选择面。映射处理部275将纹理被映射到球体70和选择面上的3D模型图像提供给绘图部227，并且处理转至步骤S100。
由于步骤S100和S101中的处理与图12的步骤S45和S46中的处理类似，因此将省略描述。
如到目前为止所描述的，生成装置250针对MPD文件设置识别信息。因此，再现装置270可以将与相同的识别信息对应的低分辨率图像和高分辨率图像设置为基于识别信息同时再现的图像。
此外，生成装置250针对MPD文件设置映射信息。因此，再现装置270基于映射信息映射低分辨率图像和高分辨率图像，从而使得可以使映射到参考位置的低分辨率图像和高分辨率图像成为具有参考倾角的参考图像。因此，可以以高准确度以交叠的方式将低分辨率图像和高分辨率图像映射到相同的球70中。
此外，再现装置270仅获取面41至46之中的与观看者的视线对应的一个选择面的高分辨率流。因此，与获取所有面41至46的高分辨率流的情况相比，可以减少生成装置250与再现装置270之间的传输量。
此外，再现装置270使用与观看者的视线对应的选择面的高分辨率图像和所有面71至78的低分辨率图像来生成3D模型图像。因此，可以从高分辨率图像生成观看者的视野范围内的显示图像并且最终提高显示图像的图像质量。此外，即使在用于透视投影在观看者的视野范围上的3D模型图像的区域包含除了高分辨率图像以外的区域的情况下以及在观看者的视野范围突然改变的情况下，可以使用低分辨率图像来生成显示图像。
(MPD文件的第二示例)
图18是示出由图13的MPD文件生成部256生成的MPD文件的第二示例的图。
图18的MPD文件的描述与图14的MPD文件的描述不同之处在于：识别信息和映射信息被设置为不是“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值，而是“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值。
具体地，包含在全向图像的自适应集元素中的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是全向图像生成方法、ID和“X，Y，λ”。
因此，包含在从顶部起的第一个自适应集元素中的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是“equirectangular I1 B480,240,0”。此外，包含在从顶部起的第二个自适应集元素至第七个自适应集元素中的每一个中的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是“cube I1 B1530,1524,0”。在这种情况下，与图7的情况类似，“I”被添加到存储识别信息的块的顶部，并且“B”被添加到将映射信息存储在值中的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。注意，没有任何东西被添加到存储全向图像生成方法的块的顶部。
此外，在从顶部起的第一个自适应集元素至第七个自适应集元素中没有描述“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””。
(MPD文件的第三示例)
图19是示出由图13的MPD文件生成部256生成的MPD文件的第三示例的图。
图19的MPD文件的描述与图14的MPD文件的描述不同之处在于：映射信息被设置为不是“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值，而是“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值。
具体地，包含在全向图像的自适应集元素中的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是全向图像生成方法和映射信息。
因此，包含在从顶部起的第一个自适应集元素中的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是“equirectangular B480,240,0”。此外，包含在从顶部起的第二个自适应集元素至第七个自适应集元素中的每一个中的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值是“cube B1530,1524,0”。在这种情况下，与图7的情况类似，“B”被添加到将识别信息存储在值中的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。注意，没有任何东西被添加到存储全向图像生成方法的块的顶部。
此外，“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是ID。换言之，每个第一个自适应集元素至第七个自适应集元素中的每一个中的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是“I1”。在这种情况下，与图7的情况类似，“I”被添加到将识别信息存储在值中的块的顶部。
在图19的示例中，由于识别信息与映射信息不同由SupplementalProperty的值来指示，识别信息可以很容易在与映射不同的处理中使用。
(MPD文件的第四示例)
图20是示出由图13的MPD文件生成部256生成的MPD文件的第四示例的图。
图20的MPD文件的描述与图14中的MPD文件的描述不同之处在于：新描述了指示映射信息的类型的该类型信息。
换言之，上面已经描述了映射信息是坐标(X，Y)和旋转角度λ。然而，如上所述，映射信息可以是欧拉(Euler)角(α,β,γ)或四元数(q0,q1,q2,q3)。
因此，在图20的示例中，指示映射信息是坐标(X，Y)、旋转角度λ、欧拉角(α，β，γ)和(q0，q1，q2，q3)中的任何一个的信息被描述为类型信息。
具体地，类型信息被设置在在“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””中的“original_source_id”与“2016”之间。
如图21所描绘的，在映射信息指示坐标(X，Y)、旋转角度λ的情况下，类型信息(type)是“2dxy-3dr”，并且在映射信息指示欧拉角(α，β，γ)的情况下，该类型信息是“yxz-欧拉”。此外，在该映射信息指示四元数(q0,q1,q2,q3)的情况下，类型信息是“四元数”。
在图20的示例中，映射信息是坐标(X，Y)和旋转角度λ。因此，包含在从顶部起的第一个自适应集元素中并且值为“I1 B480,240,0”的SupplementalProperty是“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2dxy-3dr:2016””。
此外，包含在从顶部起的第二个自适应集元素到第七个自适应集元素中并且值为“I1 B1530,1524,0”的SupplementalProperty是“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2dxy-3dr:2016””。注意，在图20的情况下，与图7的情况类似，“I”被添加到存储识别信息的块的顶部，并且“B”被添加到将映射信息存储在值中的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。
(MPD文件的第五示例)
图22是示出由图13的MPD文件生成部256生成的MPD文件的第五示例的图。
图22的MPD文件的描述与图20的MPD文件的描述不同之处在于：类型信息被设置成“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值。
具体地，包含在全向图像的自适应集元素中的“SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是ID和“类型信息X,Y,λ”。
因此，包含在从顶部起的第一个自适应集元素中的“SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是“I1B2dxy-3dr,480,240,0”。此外，包含在从顶部起的第二个自适应集元素值第七个自适应集元素中的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是“I1B2dxy-3dr,1530,1524,0”。换言之，在图20的情况下，与图7的情况类似，“I”被添加到将识别信息存储在值中的块的顶部，并且“B”被添加到存储映射信息的块的顶部。在这种情况下，在这种情况下，“B”被添加到存储在存储映射信息的块的顶部中的类型信息。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。
如到目前为止所描述的，在图20和图22的示例中，针对MPD文件设置类型信息。因此，MPD文件生成部256可以从多种类型之中选择针对MPD文件设置的映射信息的类型。此外，即使在MPD文件生成部256选择映射信息的类型的情况下，再现装置270可以通过类型信息识别映射信息的类型。因此，再现装置270可以基于映射信息准确地执行映射。
注意，在第一实施方式的MPD文件中，与图18的情况类似，识别信息和映射信息可以被设置成“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值。此外，在第一实施方式的MPD文件中，与图19的情况类似，映射信息可以被设置成“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值。此外，在第一实施方式的MPD文件中，与图20和图22的情况类似，映射信息的类型可以被描述。
<第三实施方式>
(再现装置的配置的示例)
除了生成装置和再现装置的配置以外，应用本公开内容的递送系统的第三实施例的配置与图1的递送系统10的配置相同。因此，在下文中仅描述生成装置和再现装置。
图23是示出根据应用了本公开内容的递送系统的第三实施方式的生成装置的配置的示例的框图。
在图23中所描绘的配置中，用相同的附图标记来表示与图13的配置相同的配置。适当时，将省略重复描述。
图23的生成装置300与图13的生成装置250在配置上不同之处在于：透视投影部302-1至302-18、编码器303-1至303-18以及区间文件生成部304被提供作为划分部253、编码器254-1至254-6以及区间文件生成部255的替选并且新提供了设置部301，并且未提供映射处理部22。
生成装置300通过将通过等角投影生成的全向图像映射到球体70上并且执行将全向图像透视投影到18个二维平面上来生成18个高分辨率图像。
具体地，装置300的设置部301将指示二维平面的位置、倾角和尺寸的二维平面信息设置为与18个视线方向中的每个方向上的绘图面。设置部301将每条二维平面信息提供给透视投影部302-1至302-18。
透视投影部302-1至302-18中的每一个将由映射处理部24生成的全向图像90映射到球体70上。透视投影部302-1至302-18中的每一个通过以下来生成图像(透视投影图像)：以球体70的中心作为焦点，将映射到球体70上的全向图像透视投影到由从设置部301提供的二维平面信息指示的二维平面上。生成的图像由此成为观看从球体70的中心O朝向预定的视线方向映射到球体70上的全向图像90的图像。透视投影部302-1至302-8将生成的图像分别提供给编码器303-1至303-18作为高分辨率图像。
编码器303-1至303-18以等于或高于1的比特率对从透视投影部302-1至302-18提供的高分辨率图像进行编码。编码器303-1至303-18将作为编码结果生成的二维平面的高分辨率流提供给区间文件生成部304。
在不需要特别区分透视投影部302-1至302-18的情况下，透视投影部在下文中统称为“透视投影部302”。同样，编码器303-1至303-18将统称为“编码器303”。
区间文件生成部304对每个比特率的低分辨率流、每个比特率的各个二维平面的高分辨率流以及以区间为单位的音频流进行存档。区间文件生成部304将作为存档结果生成的区间文件提供给上传部30。
(二维平面信息的配置的示例)
图24是二维平面信息的配置的示例的图。
如图24所描绘的，二维平面信息包括方位角、仰角、旋转角度、横向视角和纵向视角。方位角和仰角是指示二维平面的位置的信息，并且旋转角度是指示二维平面的倾角的信息。此外，横向视角和纵向视角是指示二维平面的尺寸的信息。
具体地，如图25所描绘的，方位角和仰角分别是在连接作为三维模型的球体70的中心O与二维平面311的中心C和球体70在水平方向(图25中的箭头a的方向)和竖直方向(图25中的箭头b的方向)上的参考点B的线之间形成的角度。此外，如在图25所描绘的，当连接中心C与中心O的线假定为轴时，旋转角度是二维平面311在旋转方向(图25中的箭头c的方向)上的角度。注意，通过从参考点B起以方位角、仰角和旋转角度的顺序移动位置来设置二维平面的中心C的位置从基准点B的位置。此外，该旋转角度的正方向例如是逆时针。
如图25所描绘的，横向视角是在连接二维平面311的两个横向端部的中点s、q与中心O的线之间形成的角度qos。此外，如在图25所描绘的，纵向视角是在连接二维平面311的两个纵向端部的中点p、r与中心O的线之间形成的角度por。
注意，二维平面311被设置成使得穿过球体70的中心O和二维平面311的中心C的线用作法线。当中心O被假定为观看位置时，该法线位于与二维平面311对应的高分辨率图像的视线方向上。
(二维平面的示例)
图26是示出由图23的设置部301设置的18个二维平面的示例的图，并且图27是示出与18个二维平面有关的二维平面信息的示例的图。
如图26所示，设置单元301设置具有线321-1、321-2、321-4、321-5、321-7、321-9、321-11、321-12、321-14、321-15、321-16和321-18的12个二维平面，这些线连接以球体70的中心O为中心设置在球体70内的立方体320的12个边的中点与中心O并且用作法线。
此外，设置部301设置具有线321-3、321-6、321-8、321-10、321-13和321-17的六个二维平面，这些线连接立方体320的六个面的中心与中心O并且用作法线。
在这种情况下，如图27所描绘的，与具有用作通过18个二维平面的中心的法线的线321-1至321-18的18个二维平面有关的二维平面信息中的方位角按顺序分别是-135、-90、-90、-90、-45、0、0、0、0、0、45、90、90、90、135、180、180和180。此外，仰角按顺序分别是0、45、0、-45、0、90、45、0、-45、-90、0、45、0、-45、0、45、0和-45。
此外，在图27的示例中，所有18个二维平面的旋转角度设置成0度，和横向视角和纵向视角被设置成90度。
18个二维平面中的相邻二维平面如上面所描述的那样被设置成彼此交叠。因此，映射到球体70的相同区域的全向图像存在于相邻二维平面的高分辨率图像中。
注意，指示每个二维平面的尺寸的信息不一定是横向视角和纵向视角，而是可以是对角线视角。如图28所描绘的，对角线视角是在连接二维平面325的对角线的两个顶点b(a)和d(c)与球体70的中心O的线之间形成的角度bod(aoc)。
与信息是对角线视角的情况相比，在指示二维平面的尺寸的信息是横向视角和纵向视角的情况下，观看该信息的人员容易地理解该二维平面的尺寸。另一方面，与信息是横向视角和纵向视角的情况相比，在指示二维平面的尺寸的信息是对角线视角的情况下，也可能由于参数数量较少而减小信息的量。
(设置高分辨率图像的SRD的方法的描述)
图29是由图23的MPD区间文件生成部256设置每个高分辨率图像的SRD的方法的说明图。
在图29的示例中，透视投影部302-i(其中i＝1，2，...，18)执行将全向图像透视投影到由图27的从顶部起的第i个二维平面信息指示的二维平面上，从而生成高分辨率图像331-i。
在这种情况下，如图29所描绘的，MPD文件生成部256在一个虚拟全向图像332上布置高分辨率图像331-1至331-18并且假设高分辨率图像331-1至331-18是通过划分虚拟全向图像332获得的划分图像设置高分辨率图像331-1至331-18的SRD。在不需要特别区分高分辨率图像331-1至331-18的情况下，高分辨率图像在下文中统称为“高分辨率图像331”。
在第三实施方式中，虚拟全向图像332的尺寸是8192个像素×5120个像素，并且每个高分辨率图像331的尺寸是1024个像素×1024个像素，如图29所描绘的那样。
(MPD文件的第一示例)
图30是示出由图23的MPD文件生成部256生成的MPD文件的第一示例的图。
在图30的示例中，低分辨率流、高分辨率图像331的高分辨率流以及与每个时段元素对应的时间范围中的音频流中的每一个的区间文件被分类成一个组。因此，在图30的MPD文件中，时段元素包含20个自适应集元素。
由于从顶部起的与低分辨率流的区间文件对应的第一个自适应集元素与图14的相同，因此将省略描述产品。
从顶部起的第二个自适应集元素至第19个自适应集元素分别是与高分辨率图像331的高分辨率流的区间文件对应的元素。这些自适应集元素中的每一个与图14的第二个自适应集元素相同，除了全向图像生成方法、设置成SRD的值的信息、表示元素和映射信息以外。
具体地，与第二个自适应集元素至第19个自适应集元素对应的全向图像是虚拟全向图像332。因此，指示生成虚拟全向图像332的方法的“cube-ex”被设置成由第二个自适应集元素至第19个自适应集元素中的每一个拥有的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值作为全向图像生成方法。
注意，在第三实施方式中，18个二维平面具有构成立方体的六个面并且虚拟全向图像332包含由立方映射生成的全向图像。因此，生成虚拟全向图像332的方法在本文中被限定为立方映射扩展方法，并且指示立方映射扩展的信息被描述为“cube-ex”；然而，指示生成虚拟全向图像332的方法的信息不限于该信息。
此外，识别作为被划分成高分辨率图像331之前的图像的虚拟全向图像332的ID被设置成由第二个自适应集元素至第19个自适应集元素中的每一个拥有的SRD中的source_id。在图30的示例中，该ID是0。
此外，与虚拟全向图像332上的第二个自适应集元素对应的高分辨率图像331-1的左上位置的坐标是(0,2048)。因此，针对由第二个自适应集元素拥有的SRD中的object_x和object_y分别设置0和2048。
同样，针对由第三自适应集元素至第19个自适应集元素拥有的SRD中的object_x分别设置1024、1024、1024、2048、3072、3072、3072、3072、3072、4096、5120、5120、5120、6144、7168、7168和7168。此外，针对由第三自适应集元素至第19个自适应集元素拥有的SRD中的object_y分别设置1024、2048、3072、2048、0、1024、2048、3072、4096、2048、1024、2048、3072、2048、1024、2048和3072。
此外，与第二个自适应集元素至第19个自适应集元素对应的高分辨率图像331的水平尺寸和竖直尺寸都是1024个像素。因此，针对由第二个自适应集元素至第19个自适应集元素拥有的SRD中的所有object_width和object_height设置1024。
此外，在划分成与第二个自适应集元素至第19个自适应集元素对应的高分辨率图像331之前的虚拟全向图像332的水平尺寸是8192个像素，并且其竖直尺寸是5120个像素。因此，针对由第二个自适应集元素至第19个自适应集元素拥有的SRD中的所有total_width设置8192，并且针对其中的所有total_height设置5120。
此外，与第二个自适应集元素至第19个自适应集元素对应的每个高分辨率图像331是通过将虚拟全向图像332划分一次获得的图像。因此，针对由第二个自适应集元素至第19个自适应集元素拥有的SRD中的spatial_set_id设置0。在图30的示例中，映射信息中的坐标(X，Y)是(2554,3572)。在图30的情况下，与图7的情况类似，“I”被添加到将识别信息存储在值中的块的顶部，并且“B”被添加到存储有映射信息的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。
此外，在图30的示例中，从顶部起的第二个自适应集元素至第19个自适应集元素中的每一个包含一个表示元素。在从顶部起的第二个自适应集元素至第19个自适应集元素中的表示元素中“equirectangular.mp4”，“cube1.mp4”至“cube18.mp4”分别被描述为与表示元素对应的区间文件的BaseURL。
由于从顶部起的第20个自适应集元素对应于音频流的区间文件并且与图14的从顶部起的第八个自适应集元素是相同的，因此将省略其描述。注意，图30省略了对区间信息元素的描述。
(由生成装置执行的处理的描述)
图31是描述由图23的生成装置300执行的文件生成处理的流程图。
由于图31的从步骤S121至S124的处理与图15的从步骤S6至S64的处理类似，因此将省略描述。
在步骤S125中，设置部301设置与18个视线方向321-1至321-18对应的二维平面信息。设置部301将二维平面信息中的每一个提供给每个透视投影部302。
在步骤S126中，每个透视投影部302将由映射处理部24生成的全向图像90映射到球体70上并且执行将被映射到球体70上的全向图像90透视投影到由二维平面信息指示的二维平面上，从而生成高分辨率图像331。透视投影部302将高分辨率图像331提供给编码器303。
在步骤S127中，每个编码器303以等于或高于1的比特率对从透视投影部302提供的高分辨率图像进行编码。编码器303将作为编码结果生成的二维平面的高分辨率流提供给区间文件生成部304。
在步骤S128中，编码器27对经由音频获取部26从图1的麦克风11B获取的声音进行编码并且生成音频流。编码器27将音频流提供给区间文件生成部304。
在步骤S129中，区间文件生成部304对每个比特率的低分辨率流、每个比特率的二维平面的高分辨率流以及以区间为单位的音频流进行存档并且生成区间文件。区间文件生成部304将区间文件提供给上传部30。
由于从步骤S130至S134的处理与图15的从步骤S70至S74的处理类似，因此将省略描述。
(再现装置的配置的示例)
图32是示出根据应用了本公开内容的递送系统的第三实施方式的再现装置的配置的示例的框图。
在图32中所描绘的配置中，用相同的附图标记来表示与图16的配置相同的配置。适当时，将省略重复描述。
图32的再现装置340与图16的再现装置270在配置上的不同之处在于：MPD处理部341、映射处理部342和视线检测部343被提供为MPD处理部271、映射处理部275和视线检测部276的替选。再现装置340从与从观看者的视线对应的二维平面的高分辨率图像以及低分辨率图像生成显示图像。
具体地，再现装置340中的MPD处理部341分析从MPD获取部220提供的MPD文件。具体地，与图16的MPD处理部271类似，MPD处理部341识别与每个自适应集元素有关的识别信息并且选择包含预定识别信息的自适应集元素。例如，在MPD文件的配置是图30的配置的情况下，MPD处理部选择从顶部起的包含识别信息为1的第一个自适应集元素至第19个自适应集元素。
此外，MPD处理部341从包含预定识别信息的所选择的自适应集元素之中选择低分辨率图像的自适应集元素(在图30的示例中不包含SRD的自适应集元素)作为要再现的低分辨率图像的自适应集元素。例如，在MPD文件的配置是图30的配置的情况下，MPD处理部341选择第一个自适应集元素。
此外，MPD处理部341从包含预定识别信息的所选择的自适应集元素之中选择高分辨率图像的自适应集元素(在例如图30的示例中各自包含SRD的自适应集元素)。例如，在MPD文件的配置是图30的配置的情况下，MPD处理部选择第二个自适应集元素至第19个自适应集元素。
然后，MPD处理部341基于所选择的二维平面信息和SRD从高分辨率图像的自适应集元素之中选择由从视线检测部343提供的选择的二维平面信息(稍后将详细描述)指示的选择的二维平面的自适应集元素作为要再现的高分辨率图像的自适应集元素。
具体地，MPD处理部341预先在虚拟全向图像332上保留指示每个二维平面与二维平面的高分辨率图像的位置之间的对应关系的对应信息。MPD处理部341基于对应信息识别虚拟全向图像332上的与由所选择的二维平面信息指示的选择的二维平面对应的位置。MPD处理部341选择具有由object_x和object_y指示的位置的自适应集元素作为要再现的高分辨率图像的自适应集元素。注意，所选择的二维平面信息是指示与观看者的视线对应的作为18个二维平面之中的所选择的二维平面的一个二维平面的信息。
该MPD处理部341从要再现的低分辨率图像和高分辨率图像的自适应集元素中的表示元素获取再现时钟时间处的诸如区间文件的URL等的信息并且将该信息提供给区间文件获取部272。此外，在要再现的低分辨率图像和高分辨率图像的自适应集元素包含映射信息的情况下，MPD处理部341将映射信息提供给映射处理部342。
在MPD处理部341提供与低分辨率图像有关的映射信息的情况下，映射处理部342基于该映射信息将低分辨率图像中的参考图像设置在参考位置处，使低分辨率图像旋转旋转角度λ并且将低分辨率图像作为纹理映射到球体70的面71至76上。另一方面，在MPD处理部341不提供映射信息的情况下，映射处理部342将低分辨率图像原样地作为纹理映射到球体70的面71至76上。
注意，映射处理部342可以将包含经历透视投影的区域的低分辨率图像的仅一部分映射到由视线检测部343确定的观看者的视野范围上而没有映射整个低分辨率图像。
此外，映射处理部342基于从视线检测部343提供的所选择的二维平面信息将所选择的二维平面设置在作为3D模型的球体70内。在MPD处理部341提供与高分辨率图像有关的映射信息的情况下，映射处理部342基于该映射信息将高分辨率图像的参考图像设置在参考位置处，使高分辨率图像旋转旋转角度并且将高分辨率图像作为纹理映射到在球体70内设置的所选择二维平面上。另一方面，在MPD处理部341不提供与高分辨率图像有关的映射信息的情况下，映射处理部342将高分辨率图像原样地作为纹理映射到在球体70内设置的选择的二维平面上。
此外，映射处理部342将纹理被映射到球体70和选择的二维平面上的3D模型图像提供给绘图部227。
视线检测部343基于从接收部228提供的陀螺仪传感器15B的检测结果来确定3D模型的坐标系中的观看者的视线方向。此外，视线检测部343从相机14A获取标记15A的捕获图像并且基于捕获图像来检测观看位置。
与图23的设置部301类似，视线检测部343设置与18个二维平面有关的二维平面信息。视线检测部343基于3D模型的坐标系中的观看位置和视线方向以及二维平面信息将在18个二维平面之中穿过其中心的法线最靠近观看者的视线的一个二维平面确定作为所选择的二维平面。视线检测部343将所选择的二维平面信息提供给MPD处理部341和映射处理部342。
此外，视线检测部343基于3D模型的坐标系中的观看位置和视线方向来确定3D模型的坐标系中的观看者的视野范围。视线检测部343将观看者的视野范围和观看位置提供给绘图部227。
(映射的描述)
图33是由图32的映射处理部342进行的映射的说明图。
在图33的示例中，观看位置是球体70的中心O。在这种情况下，具有以下线的二维平面363被选择为所选择的二维平面，该线与方位角和仰角、与水平方向和竖直方向上的角度最接近的旋转角度以及从形成在视线361与连接参考位置和中心O的线之间的视线方向上的中心O延伸的视线361的旋转角度对应，并且该线从作为穿过二维平面363的中心的法线的箭头的方向362上的中心O延伸。
因此，映射处理部363将二维平面设置在球体70内作为3D模型。此外，映射处理部342将低分辨率图像371映射到用作3D模型的球体70上作为纹理并且将作为纹理的高分辨率图像372映射到二维平面363上作为3D模型。
如上所述，二维平面363被设置在球体70内。因此，在从存在低分辨率图像371和高分辨率图像372二者的方向在二维平面363内的视野范围上执行透视投影的情况下，绘图部227可以与低分辨率图像371相比优先使用高分辨率图像372。
(由再现装置执行的处理)
图34是描述由图32的生成装置340执行的再现处理的流程图。
由于图34的从步骤S141至S148的处理与图17的从步骤S81至S88的处理类似，因此将省略描述。
在步骤S149中，视线检测部343基于3D模型的坐标系中的观看位置和视线方向以及二维平面信息将在18个二维平面之中穿过二维平面的中心的法线最靠近观看者的视线的一个二维平面确定作为所选择的二维平面。视线检测部343将所选择的二维平面信息提供给MPD处理部341和映射处理部342。
在步骤S150中，视线检测部343基于3D模型的坐标系中的观看位置和视线方向来确定3D模型的坐标系中的观看者的视野范围。视线检测部343将观看者的视野范围和观看位置提供给绘图部227。
在步骤S151中，MPD处理部341从MPD文件获取要再现的高分辨率流的区间文件的URL。具体地，MPD处理部341从在MPD文件中描述并且包含在步骤S143中选择的识别信息以及指示虚拟全向图像332上的与由所选择的二维平面信息通过该值指示的选择的二维平面对应的高分辨率图像331的位置的SRD的自适应集元素中的表示元素获取再现时钟时间处的区间文件的URL。MPD处理部341将获取的URL提供给区间文件获取部272。
由于从步骤S152至S157的处理与图17的步骤S91至S96的处理类似，因此将省略描述。
在步骤S158中，映射处理部342基于从视线检测部343提供的所选择的二维平面信息将所选择的二维平面作为3D模型设置在球体70内。
在步骤S159中，MPD处理部341确定要再现的高分辨率流的自适应集元素是否包含映射信息。在步骤S159中确定自适应集元素包含映射信息的情况下，MPD处理部341将映射信息提供给映射处理部342，并且处理转至步骤S160。
在步骤S160中，映射处理部342基于与高分辨率流有关的映射信息将高分辨率图像作为纹理映射到在步骤S158中设置的所选择的二维平面上。映射处理部342将纹理被映射到球体70和选择的二维平面上的3D模型图像提供给绘图部227，并且处理转至步骤S162。
另一方面，在步骤S159中确定自适应集元素不包含映射信息的情况下，处理转至步骤S161。在步骤S161中，映射处理部342将高分辨率图像原样地作为纹理映射到在步骤S158中设置的选择的二维平面。映射处理部342将纹理被映射到球体70和选择的二维平面上的3D模型图像提供给绘图部227，并且处理转至步骤S162。
由于步骤S162和S163中的处理与图17的步骤S100和S101中的处理类似，因此将省略描述。
注意，在上述描述中，生成装置300生成设置有高分辨率图像331的虚拟全向图像332，并且再现装置340保留对应信息，从而使得生成装置300能够使用SRD向再现装置340通知与每个高分辨率图像331有关的二维平面信息。然而，生成装置300可以在不使用SRD的情况下向再现装置340通知二维平面信息本身。
(MPD文件的第二示例)
图35是示出这种情况下的MPD文件的示例的图。
除了从顶部起的第二个自适应集元素至第19个自适应集元素各自都不包含通过值和SRD指示全向图像生成方法的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””以外，图35的MPD文件与图30的MPD文件相同，但描述了通过值指示二维平面信息的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””，除了“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值以外
具体地，ID、spatial_set_id、方位角、仰角、旋转角度、横向视角、纵向视角、整个横向视角和整个纵向视角被设定成图41的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值。ID是识别3D模型的ID，在该3D模型上映射了用于生成高分辨率图像的全向图像。方位角是二维平面信息中的方位角。
与例如对应于从顶部起的第二个自适应集元素的高分辨率图像331-1对应的二维平面信息中的方位角、仰角、旋转角度、横向视角和纵向视角分别是-135、0、0、90和90，如图24所描绘的那样。因此，由从顶部起的第二自适应集元素拥有的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值是“I0 D-135,0,0,90,90”。
同样地，由从顶部起的第三个自适应集元素至第19个自适应集元素拥有的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值分别是“I0 D-90,45,0,90,90,”、“I0 D-90,0,0,90,90,”、“I0D-90,-45,0,90,90,”、“I0 D-45,0,0,90,90,”、“I0 D0,90,0,90,90,”“I0D0,45,0,90,90,”、“I0 D0,0,0,90,90,”、“I0 D0,-45,0,90,90,”“I0D0,-90,0,90,90,”、“I0D45,0,0,90,90,”、“I0 D90,45,0,90,90,”“I0D90,0,0,90,90,”、“I0 D90,-45,0,90,90,”、“I0 D135,0,0,90,90,”、“I0D180,45,0,90,90,”、“I0 D180,0,0,90,90,”和“I0 D180,-45,0,90,90”。换言之，在图35的情况下，与图7的情况类似，“I”被添加到将识别信息存储在值中的块的顶部，并且“D”被添加到存储有映射信息等的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。
此外，在MPD文件中描述了二维平面信息本身的情况下，映射信息不能由全向图像内的参考图像的位置的坐标(X，Y)和旋转角度λ来表示。因此，在图35的示例中，映射信息由欧拉角表示。在图35的示例中，低分辨率图像的欧拉角(α，β，γ)是(0,0,0)，并且每个高分辨率图像331的欧拉角(α，β，γ)是(1,0,0)。此外，在图35的示例中，类型信息也被描述了。
因此，在图35的MPD文件中，由从顶部起的第一个自适应集元素拥有的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是“I1 Byxz-euler,0,0,0”。此外，由从顶部起的第二个自适应集元素支第19个自适应集元素拥有的“SupplementalProperty schemeIdUri＝“urn:mpeg:dash:original_source_id:2016””的值是“I1 Byxz-euler,1,0,0”。换言之，在这种情况下，类型信息被存储在存储该映射信息的块的顶部中并且“B”被添加至该块的顶部。
如到目前为止所描述的，在在MPD文件中描述二维平面信息本身的情况下，生成装置300不需要将高分辨率图像331设置在虚拟全向图像332上或者再现装置340不需要预先保留对应信息。因此，用于设置二维平面的自由度增加。
因此，可以按如下设置二维平面。对于倾向于引起更多注意力的向前方向，将每个二维平面的纵向视角和横向视角设置为90度，并且方位角、仰角和旋转角度被设置成使得相邻的二维平面之间的距离形成45度。对于倾向于引起较少注意力的向上方向或向后方向，每个二维平面的纵向视角和横向视角被设置为等于或大于90度。对于倾向于引起最少注意力的向下方向，不设置二维平面。可替选地，可以根据捕获图像的内容改变倾向于引起更多注意力的方向。
在第三实施方式中，通过透视投影到二维平面上生成每个高分辨率图像。可替选地，可以通过立体投影、等距投影等生成高分辨率图像。在这种情况下，针对MPD文件设置指示在生成高分辨率图像时投影到二维平面上的方案的信息。
具体地，图35的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””中的“Perspective”例如被改变成指示投影类型而不是透视投影的信息。可替选地，在MPD文件中描述了通过值指示表示绘画平面和投影类型的信息的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016””作为图35的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的替选。虽然在前一种情况下由schemeIdUri指示表示投影类型的信息，但是在后一种情况下由该值指示信息。
在后一种情况下，ID和指示投影型以及方位角、仰角、旋转角度、横向视角和纵向视角的信息被设置成“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016””的值。
指示作为投影类型的透视投影信息是例如“Perspective”，指示立体投影的信息是例如“stereographic”，指示等距投影的信息例如是“equidistant”。
此外，由于18个二维平面包含构成第三实施方式中的立方体的六个面，所以18个高分辨率图像包含六个面41至46的图像51至56。因此，可以以如下方式设置MPD文件：第二实施方式中的再现装置270可以再现在18个高分辨率图像之中作为六个面41至46的图像51至56的高分辨率图像(在下文中，称为“公共图像”)。
(与共同图像有关的二维平面信息的描述)
图36是示出与图27的二维平面信息中的六个共同图像有关的二维平面信息的图。
如图36所示，与六个共同图像有关的二维平面信息是用于方位角和仰角是不在图27的二维平面信息内的-90和0、0和90、0和0、0的-90、90和0以及180和0。换句话说，六个共同图像是高分辨率图像331-3、331-6、331-8、331-10、331-13和331-17。
(MPD文件的第三示例)
图37是示出MPD文件集的部分的示例的图使得图16的再现装置270可以使用公共图像作为通过划分由立方映射生成的全向图像而获得的高分辨率图像。
图37仅示出了作为不在MPD文件中的公共图像的高分辨率图像331-3的自适应集元素。
在图37的MPD文件中，高分辨率图像331-3的高分辨率流的区间文件被分类成两组。因此，在图37的MPD文件中，两个自适应集元素被描述成与高分辨率图像331-3对应。
在第一自适应集元素中，在将高分辨率图像331-3假设为面42的图像52的同时描述了各种信息。具体地，除了在Representation元素中描述的BaseURL以外第一自适应集元素与从图14顶部起的第三自适应集元素相同。
换句话说，与第一自适应集元素对应的高分辨率图像是在18个高分辨率图像331-1至331-18中的高分辨率图像331-3。因此，作为第一自适应集元素中的表示元素的BaseURL，在从图30的顶部起的第四自适应集元素内的表示元素中“cube3.mp4”被描述为BaseURL。
此外，在第二自适应集元素中，在将高分辨率图像331-3假设为使线321-3作为通过其中心的法线的二维平面的高分辨率图像的同时描述了各种信息。具体地，除了设置为SRD的source_id的值以外第二自适应集元素与从图30的顶部起的第四自适应集元素相同。
换句话说，虽然在将高分辨率图像331-3假设为面42的图像52时划分之前的图像是全向图像50，但是在将高分辨率图像331-3假设为使线321-3作为通过其中心的法线的二维平面的高分辨率图像时划分之前的图像是虚拟全向图像332。因此，除了作为第一自适应集元素的“source_id”的0之外的1被设置至第二自适应集元素的“source_id”。
如图38所示，第二自适应集元素可以与从图35的顶部起的第四自适应集元素相同。此外，尽管未示出，但是高分辨率图像331-6、331-8、331-10、331-13和331-17的自适应集元素与高分辨率图像331-3的自适应集元素类似地描述。
在生成装置300生成图37或图38的MPD文件的情况下，第二实施方式中的再现装置270仅将具有“cube”的自适应集元素提取为指示全向图像生成方法的信息。此外，再现装置270从与所提取的自适应集元素对应的六个面41至46中选择与视线对应的一个面，并且使用选择面的高分辨率图像和低分辨率图像来生成显示图像。
另一方面，在生成装置300生成图37的MPD文件的情况下，第三实施方式中的再现装置340仅将具有“cube-ex”的自适应集元素提取为指示全向图像生成方法的信息。此外，在生成装置300生成图38的MPD文件的情况下，再现装置340仅提取具有“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016”.”的自适应集元素。此外，再现装置340从与所提取的自适应集元素对应的18个二维平面中选择与视线对应的一个面，并且使用选择面的高分辨率图像和低分辨率图像来生成显示图像。
注意，在第三实施方式中，捕获在与二维平面信息对应的拍摄方向、倾角和视角下的捕获图像使得可以将所捕获的图像本身用作高分辨率图像。在该情况下，生成装置300不需要执行透视投影。
此外，虽然在第三实施方式中从相同的全向图像生成低分辨率图像和高分辨率图像，但是可以使用不同的全向图像生成方法来生成低分辨率图像和高分辨率图像。此外，在从相同的全向图像生成低分辨率图像和高分辨率图像的情况下，不必描述映射信息。
<第四实施方式>
(二维平面信息的配置示例)
除了二维平面信息的配置以外本公开内容所应用于的递送系统的第四实施方式的配置与第三实施方式的配置相同。因此，在下文中仅描述二维平面信息。
图39是示出指示第四实施方式中的二维平面信息的绘图面信息的配置示例的图。
图39的绘图面信息的配置与图24的配置的不同之处在于：绘图面信息新包含FOV_flag、整个横向视角、整个纵向视角和spatial_set_id。
FOV_flag(面类型信息)是指示与包含该FOV_flag的信息对应的绘图面(视场)是球体还是二维平面的标志。在绘图面信息指示二维平面信息的情况下，FOV_flag是指示绘图面是二维平面的1。
类似于二维平面信息的情况，在绘图面是球体的情况下，例如在使用等角投影生成的全向图像的部分被生成为高分辨率图像的情况下FOV_flag可以进行指示绘图面的信息的配置。换句话说，改变FOV_flag使得容易地将包含该FOV_flag的信息改变成二维平面信息或将球体指示为绘图面的信息。包含在将球体指示为绘图面的信息中的FOV_flag是指示绘图面是球体的0。
再现装置340可以通过FOV_flag识别与该FOV_flag对应的高分辨率图像是通过透视投影到二维平面上生成的图像还是通过透视投影到球体上生成的图像。
在FOV_flag是1的情况下，整个横向视角和整个纵向视角分别是属于由包含该整个横向视角和该整个纵向视角的二维平面信息指示的二维平面组(稍后将详细描述)的整个二维平面的横向方向上的视角和纵向方向上的视角。对于FOV_flag是0的情况也是如此。随后，将描述FOV_flag是1的情况；然而，除非另有说明否则对于FOV_flag是0的情况也是如此。
再现装置340可以仅通过使用整个横向视角和整个纵向视角分析与属于该组的一个二维平面有关的二维平面信息来识别可以由与该组对应的高分辨率图像表示的视场范围。因此，可以防止不必要地搜索与不能由高分辨率图像表示的视场范围有关的二维平面信息。在属于该组的二维平面配置诸如球体或立方体的三维对象的情况下，整个横向视角是360度并且整个纵向视角是180度。
spatial_set_id是组的唯一ID并且指示由包含该spatial_set_id的二维平面信息所指示的二维平面所属的组。二维平面通过例如横向视角、纵向视角、二维平面的类型或分辨率来分组。
在通过横向视角对二维平面进行分组的情况下，二维平面例如通过相同的横向视角来分组。由于诸如头戴式显示器15的显示装置取决于显示装置的类型在显示视角方面不同，因此适于显示的二维平面的横向视角取决于显示装置的类型而不同。因此，期望再现装置340可以容易地识别与适于头戴式显示器15的显示的横向视角有关的二维平面信息。
在二维平面通过相同的横向视角来分组的情况下，再现装置340可以容易地将与和适于头戴式显示器15的显示的横向视角对应的组有关的二维平面信息识别为与适于头戴式显示器15的显示的横向视角有关的二维平面信息。对于纵向视角与对于横向视角是一样如此。
此外，在二维平面通过二维平面的类型来分组的情况下，二维平面例如通过每个二维平面是否是由立方映射生成的全向图像的绘图面并且配置立方体的六个面中的任何一个来分组。在该情况下，在图26所述的18个二维平面中的配置立方体的六个面被分类到一个组中，而其他平面被分类到其他组中。
(FOV_flag的描述)
图40是FOV_flag是0的情况下的绘图面的说明图。
在FOV_flag是0的情况下，高分辨率图像是被映射到如图40的A所示的球体70的表面的部分区域391上的捕获图像，即通过使用如图40的B所示的等角投影生成的全向图像90的部分图像392。
在该情况下，部分图像392的绘图面的横向视角，即区域391的横向视角是包含球体70的中心O的水平平面中的区域391的角度poq，并且其纵向视角是垂直于包含中心O的水平平面的竖直平面中的区域391的角度aob。在图40的示例中，角度poq和角度aob是30度。
另一方面，在FOV_flag是1的情况下，高分辨率图像的绘图面是二维平面。因此，横向视角是图25中描绘的角度qos并且纵向视角是图25中描绘的角度por。
(MPD文件的第一示例)
图41是示出描述图39的二维信息的MPD文件的第一示例的图。
图41的MPD文件与图35的MPD文件的不同之处在于：在投影类型是透视投影的情况下spatial_set_id、整个横向视角和整个纵向视角被新设置成作为指示通过值指示二维平面信息的schemeIdUri的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值。
具体地，ID、spatial_set_id、方位角、仰角、旋转角度、横向视角、纵向视角、整个横向视角和整个纵向视角被设置成图41的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值。
此外，在图41的示例中，与高分辨率图像331-1至331-18对应的二维平面全部被分类到相同的组中并且ID“1”被分配给组。此外，与高分辨率图像331-1至331-18对应的18个二维平面包含配置立方体40的六个面41至46。因此，整个18个二维平面的整个横向视角和整个纵向视角分别是360度和180度。
因此，由从顶部起的第二自适应集元素拥有的“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值是“I0，1D-135，0，0，90，90，360，180”。
此外，由从顶部起的第三自适应集元素至第19自适应集元素拥有的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值分别是“I0，1D-90，45，0，90，90，360，180，”“I0，1D-90，0，0，90，90，360，180，”“I0，1D-90，-45，0，90，90，360，180，”“I0，1D-45，0，0，90，90，360，180，”“I0，1D0，90，0，90，90，360，180，”“I0，1D0，45，0，90，90，360，180，”“I0，1D0，0，0，90，90，360，180，”“I0，1D0，-45，0，90，90，360，180，”“I0，1D0，-90，0，90，90，360，180，”“I0，1D45，0，0，90，90，360，180，”“I0，1D90，45，0，90，90，360，180，”“I0，1D90，0，0，90，90，360，180，”“I0，1D90，-45，0，90，90，360，180，”“I0，1D135，0，0，90，90，360，180，”“I0，1D180，45，0，90，90，360，180，”“I0，1D180，0，0，90，90，360，180，”以及“I0，1D180，-45，0，90，90，360，180，”。换句话说，在图35的这种情况下，类似于图7的情况，“I”被添加至将标识信息存储在值中的块的顶部。注意，“D”被添加至存储数据的块的顶部。此外，块中的每条信息用逗号(，)分隔并且块用空格分隔。
注意，在投影类型是透视投影的情况下“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””是schemeIdUri；因此，在描述该schemeIdUri的情况下绘图面总是二维平面。因此，虽然FOV_flag未被设置为图41的示例中的值，但是可以将FOV_flag设置为值。
此外，类似于第三实施方式，可以将除了透视投影之外的方案用作投影类型。在该情况下，“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的“Perspective”被改变成指示投影类型(例如“立体”或“等距”)的其他信息。
注意，投影类型可以由值指示。在该情况下，作为“SupplementalPropertyschemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016”.”的替选在MPD文件中描述了指示通过值指示绘图面和投影类型的信息的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016””。此外，ID、spatial_set_id、指示投影类型的信息、FOV_flag、方位角、仰角、旋转角度、横向视角、纵向视角、整个横向视角以及整个纵向视角被设置为其值。
因此，在投影类型是例如透视投影的情况下，从图41的顶部起的第二自适应集元素拥有的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””是“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016””并且其值是“I0，1Pperspective D1，-135，0，0，90，90，360，180”。注意，在该情况下，“P”被添加到存储投影类型的块的顶部。
如前所述，在通过值指示投影类型的情况下，可以仅通过改变值来处理投影类型的扩展。因此，与通过schemeIdUri指示投影类型的情况相比易于处理投影类型的扩展。此外，在通过值指示投影类型的情况下，指示通过值指示绘图面的信息的schemeIdUri对于所有投影类型是共同的；因此，不可能通过该方案的描述确定绘图面是球体还是二维平面。因此，在该情况下，FOV_flag被设置成值。
此外，在第四实施方式中，类似于第三实施方式，MPD文件可以以再现装置270可以再现共同图像的方式设置。
(MPD文件的第二示例)
图42是示出在该情况下的MPD文件的部分的示例的图。
图42的MPD文件与图38的MPD文件的不同之处在于：在第二自适应集元素中的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””的值与从图41的顶部起的第四自适应集元素相同。
此外，在第四实施方式中，绘图面信息可以与全向视频生成方法和MPD文件中的SRD信息一起描述。
图43是示出在该情况下的MPD文件的部分的示例的图。在图43中，全向视频生成方法被设置成在自适应集元素中的每一个中的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015””的值。
此外，ID、spatial_set_id、FOV_flag、方位角、仰角、旋转角度、横向视角、纵向视角、整个横向视角以及整个纵向视角被设置成在自适应集元素中的每一个中作为绘图面信息的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016””的值。由于可以从全向视频生成方法确定方案因此没有设置投影类型；然而，可以设置投影类型。
此外，在第二自适应集元素至第四自适应集元素的每一个中SRD信息被设置成“SupplementalProperty schemeIdUri＝“urn：mpeg：dash：srd：2014””的值。
注意，在每个自适应集元素中将绘图面信息与SRD信息一起描述的情况下可以省略上述绘图面信息中的ID、spatial_set_id、整个横向视角和整个纵向视角。此外，在每个自适应集元素中描述的绘图面信息是包含映射信息的信息的情况下可以省略对映射信息的描述。
图44是示出由图43中描绘的MPD文件设置的立方流的3D模型的示例的透视图。在该情况下，捕获图像被映射到立方体的六个面(划分1至6)。与这些面的展开有关的SRD信息例如是如图45所描绘的。此外，绘图面信息例如是如图46所描绘的。
此外，在第四实施方式中，可以在MPD文件中描述以米为单位将球体70的半径指示为全向图像的3D模型的距离信息。
(MPD文件的第三示例)
图47是示出在该情况下的MPD文件的部分的绘图。
图47的MPD文件与图41的MPD文件的不同之处在于：在每个自适应集元素中新描述通过值指示距离信息的“SupplementalProperty schemeIdUri＝http://xmlns.sony.net/metadata/mpeg/dash/360VR/sphere_radius/2016”。
在图41的示例中，球体70的半径是十米。因此，在从图41的顶部起的第二自适应集元素至第19自适应集元素的中的每一个中将10设置成“SupplementalPropertyschemeIdUri＝http://xmlns.sony.net/metadata/mpeg/dash/360VR/sphere_radius/2016”的值。
注意，距离信息可以不仅包含指示球体70本身的半径的信息还包含指示球体70的半径是无限的“inf”或者指示球体70的半径是未知的“und”。在距离信息是“und”的情况下，球体70的半径由再现装置340估计。此外，距离信息的单位可以不同于米。
在第一实施方式至第三实施方式中，类似于第四实施方式，可以在MPD文件中描述球体70的半径。
如前所述，在MPD文件中描述球体70的半径使得再现装置14(270，340)可以向观看者提供具有适当深度感的显示图像。
换句话说，诸如头戴式显示器15的显示装置可以显示双眼的单独图像。因此，再现装置14(270，340)通过例如将显示图像向右和向左移位预定距离来显示用于左眼的显示图像和用于右眼的显示图像并且在头戴式显示器15上显示显示图像，从而可以产生显示图像的深度感。在用于左眼的显示图像与用于右眼的显示图像之间的大位移的情况下，观看者识别出显示图像中的对象在前侧，并且在小位移的情况下，观看者识别出对象在背侧。
然而，再现装置14(270，340)不能掌握用于左眼的显示图像与用于右眼的显示图像之间的适当位移量。因此，生成装置12(250，300)描述MPD文件中的球体70的半径。从而再现装置14(270，340)可以基于球体70的半径计算用于左眼的显示图像与用于右眼的显示图像之间的适当位移量。结果，可以向观看者提供具有适当深度感的显示图像。
虽然在第一实施方式至第四实施方式中使用了用空格和字母表来划界值中的值的方法和用逗号划界值的方法，但是可以仅使用用逗号划界值的方法。
在该情况下，例如，“ID、投影、FOV_flag、方位角、仰角、旋转角度、横向视角、纵向视角、整个横向视角、整个纵向视角、spatial_set_id”例如被设置成“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016”.”的值
因此，在投影类型是例如透视投影的情况下，从图41的顶部起的第二自适应集元素拥有的“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016””是“SupplementalProperty schemeIdUri＝“http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016””并且其值是“0，Pperspective，1，-135，0，0，90，90，360，180，1”。
<第五实施方式>
<生成装置的配置的示例>
本公开内容所应用于的递送系统的第五实施方式与第四实施方式的不同之处在于：针对区间文件设置在第四实施方式中针对MPD文件设置的与图像(低分辨率图像，高分辨率图像)有关的各种信息。因此，在下文中适当地省略除了由生成装置和再现装置执行的处理之外的处理的描述。
图48是示出本公开内容被应用的生成装置的第五实施方式的配置的示例的框图。
在图48所示的配置中，通过相同的附图标记表示与图23中的配置相同的配置。在适当时，将省略重复描述。
图48的生成装置400在配置上与图23的生成装置300的不同之处在于：作为区间文件生成部304和MPD文件生成部256的替选提供了区间文件生成部401和MPD文件生成部402。
区间文件生成部401根据MP4文件格式针对每个比特率和每个区间存档每个二维平面的低分辨率流、高分辨率流和音频流，并且生成区间文件。
具体地，区间文件生成部401针对每个比特率和每个区间在预定时间单元将每个区间文件中的每个二维平面的低分辨率流和高分辨率流和的音频流设置为样本。此外，区间文件生成部401(设置部)针对区间文件设置与和布置在区间文件中的样本对应的图像有关的各种信息。区间文件生成部401将区间文件提供给上传部30。
MPD文件生成部402生成MPD文件。与第四实施方式不同，未针对MPD文件设置与图像有关的各种信息。MPD文件生成部402将MPD文件提供给上传部30。
在第五实施方式中，假设图像编码方案是HEVC(高效视频编码)。
(与图像有关的各种信息的设置方法的描述)
图49是通过图48的区间文件生成部401设置与图像有关的各种信息的方法的说明图。
区间文件是MP4文件格式的文件并且具有图49所示的框结构。在图49中，四个字母表示框的名称并且名称的横向位置表示具有名称的框的层。层是向右下方的。
如图49所示，通过图48的区间文件生成部401设置与图像有关的各种信息的方法的示例包括第一方法至第五方法。
具体地，在与图像有关的各种信息在跟踪内不改变的情况下，在跟踪单元中设置与图像有关的各种信息通过第一方法至第三方法中的任何一个。
利用第一方法，针对hvcC框(HEVC配置框)设置与图像有关的各种信息，该框是作为比提供在比moov框更低的层上每个跟踪的trak框更低的层上的图像编码方案的HEVC的配置框。
利用第二方法，针对包含在比trak框更低的层上的stsd框中的HEVC图像的视觉样本条目(hev1框)设置与图像有关的各种信息。
利用第三方法，针对在比rinf框(限制方案信息框)更低的层上的schi框设置与图像有关的各种信息，该rinf框存储在比trak框更低的层上的解码之后的处理所需的信息。
此外，在与图像有关的各种信息的至少部分在跟踪内改变的情况下，与图像有关的各种信息通过第四方法或第五方法来设置。
利用第四方法，通过使用sbgp框(SampleToGroupBox)和sgpd(SampleGroupDescriptionBox)框的称为样本组的方法在样本单元中设置至少与图像有关的各种信息中的在跟踪内改变的信息。
利用第五方法，在样本单元中将至少在与图像有关的各种信息中的在跟踪内改变的信息被设置为分配给与图像有关的各种信息的跟踪的样本中的定时元数据。
(第一方法)
图50是示出在图48的区间文件生成部401利用第一方法设置与图像有关的各种信息的情况下的hvcC框的配置的示例的图。
如图50所示，在区间文件生成部401利用第一方法设置与图像有关的各种信息的情况下，hvcC框被扩展成包括包含与跟踪单元中的图像有关的各种信息的scri框(球坐标区域信息框)。
在第五实施方式中，由于图像编码方案是HEVC因此扩展了hvcC框。然而，在图像编码方案是除HEVC之外的方案的情况下，不是hvcC框而是编码方案的配置框被扩展成包括scri框。
图51是示出scri框的配置的示例的图。
如图51所示，针对scri框设置与图像有关的各种信息。具体地，指示在生成高分辨率图像时投影到二维平面上的类型的信息被设置为projection_type。
用作与用于生成全向图像的捕获图像有关的标识信息的ID被设置为id。设置FOV_flag。配置二维平面信息的方位角被设置为object_yaw，仰角被设置为object_pitch，旋转角度被设置为object_roll，横向视角被设置为object_width，并且纵向视角被设置为object_height。
此外，整个横向视角被设置为total_width并且整个纵向视角被设置为total_height。注意，在360度的整个横向视角的情况下可以省略total_width，并且在180度的整个纵向视角的情况下可以省略total_height。此外，距离信息被设置为sphere_radius并且设置spatial_set_id。在spatial_set_id是0的情况下，可以不设置spatial_set_id。
注意，与有相同id被设置的scri框对应的跟踪被设置的低分辨率图像和高分辨率图像可以被映射到相同的3D模型上。
此外，即使在将不同跟踪分配给属于由相同spatial_set_id指示的组的多个高分辨率图像的情况下，整个横向视角和整个纵向视角也被设置为total_width和total_height。换句话说，在该情况下，与分配给多个跟踪并且属于由相同的spatial_set_id指示的组的多个高分辨率图像对应的整个二维平面的横向方向上的视角和纵向方向上的视角被设置为total_width和total_height。
[在将多个跟踪分配给作为与用于生成全向图像的捕获图像有关的识别信息的ID相同的多个图像(低分辨率图像和高分辨率图像)的情况下，区间文件生成部401可以对ID相同的跟踪分组而不针对scri框设置ID作为id。
在该情况下，如图52所示，使用比trak框更低的层上的tref框(跟踪参考框)来分组作为与用于生成全向图像的捕获图像有关的识别信息的ID相同的跟踪。
具体地，指示作为与用于生成全向图像的捕获图像有关的识别信息的ID相同的“spid”被设置为reference_type，该reference_type指示在指示包含在tref框中的跟踪的参考关系的跟踪参考类型框中的参考关系的类型。此外，在reference_type是“spid”的跟踪参考类型框中，与该跟踪参考类型框对应的跟踪的ID和作为与用于生成全向图像的捕获图像有关的识别信息的ID相同的另一跟踪的ID被设置为作为要参考的跟踪的跟踪ID的track_IDs。
同样，在将多个跟踪分配给spatial_set_id相同的多个高分辨率图像的情况下，区间文件生成部401可以分组spatial_set_id相同的跟踪而不针对scri框设置spatial_set_id。在该情况下，reference_type是指示spatial_set_id相同的“spsi”。
(第二方法的描述)
图53是示出在图48的区间文件生成部401利用第二方法设置与图像有关的各种信息的情况下的视觉样本条目的配置的示例的图。
如图53所示，在区间文件生成部401利用第二方法设置与图像有关的各种信息的情况下，作为图像的样本条目的Visual Sample Entry被扩展成包括图51的scri框。因此，利用第二方法，扩展成包括scri框的框不会随图像编码方案而改变。
在第五实施方式中，由于图像编码方案是HEVC，因此与图像有关的各种信息被设置的视觉样本条目是用于HEVC图像的视觉样本条目(hev1框)。
(第三方法的描述)
图54是示出在图48的区间文件生成部401利用第三方法设置与图像有关的各种信息的情况下的schi框的配置的示例的图。
如图54所示，在区间文件生成部401利用第三方法设置与图像有关的各种信息的情况下，schi框被扩展成包括图51的scri框。表示在与扩展的schi框的层相同的层上的schm框(方案类型框)中使用存储在schi框中的信息解码之后的处理类型的scheme_type被设置成指示映射处理的“scri”。
利用第三方法，扩展成包括scri框的框不会随图像编码方案而改变。
利用第二方法和第三方法，类似于第一方法，区间文件生成部401可以使用tref框对具有相同的与作为用于生成全向图像的捕获图像有关的标识信息的ID或相同的spatial_set_id的跟踪分组而无需设置id或spatial_set_id。
如前所述，利用第一方法至第三方法，与图像有关的各种信息被设置在比每个跟踪提供的trak框更低的层上。因此，在与图像有关的各种信息在跟踪内不改变的情况下，信息可以在跟踪单元中有效地设置。
(第三方法的描述)
图55是示出样本组的说明图。
如图55所示，称为样本组的方法使用sgpd框和sbgp框。
sgpd框是用于对具有作为与样本有关信息的共同样本信息的连续样本进行分组并且用于描述与每个组有关的样本信息的框。sbgp框是用于描述识别每个组中的样本的信息(下文中，称为“样本识别信息”)的框。
在sgpd框中，描述了grouping_type、entry_count、GroupEntry等。在sgpd框中，grouping_type指示形成用于分组到对应组中的基础的样本信息的类型，并且entry_count指示在每个组中的样本信息中彼此不同的样本信息的数目。此外，GroupEntry是在每个组中的样本信息中彼此不同的样本信息并且由entry_count指示的数目描述。GroupEntry的结构取决于grouping_type而变化。
在sbgp框中，描述了grouping_type，entry_count，sample_count，group_description_index等。在sbgp框中，grouping_type指示形成用于分组到对应组中的基础的样本信息的类型，并且entry_count指示组的数目。
sample_count是与每个组有关的样本识别信息并且指示每个组中的连续样本的数目。sample_count通过由entry_count指示的数目描述，并且全部sample_count的总和是与sgpd框对应的跟踪的全部样本的数目。group_description_index是识别作为与每个组有关的样本信息的GroupEntry的信息。
在图55的示例中，grouping_type相同的sbgp框的entry_count和sgpd框的entry_count分别是6和4。因此，组的数目是六个并且与六个组中的每一个有关的样本信息中的彼此不同的样本信息的数目是四个。此外，在sgpd框中描述了四个GroupEntry。
此外，从sbgp框中的顶部起的第一sample_count[1]至第六sample_count[6]依次是1，2，1，1，1和2。因此，从顶部起的第一组至第六组的样本数目依次为1，2，1，1，1和2。
换句话说，从顶部起的第一样本(sample[1])被分类到从顶部起的第一组中并且从顶部起的第二样本和第三样本(sample[2]，sample[3])被分类到从顶部起的第二组中。此外，从顶部起的第四样本(sample[4])被分类到从顶部起的第三组中并且从顶部起的第五样本(sample[5])被分类到从顶部起的第四组中。从顶部起的第六样本(sample[6])被分类到从顶部起的第五组中并且从顶部起的第七样本和第八样本(sample[7]，sample[8])被分类到从顶部起的第六组中。
此外，从顶部起的第一group_description_index[1]至第六group_description_index[6]依次为1，3，2，0，4和1。因此，被分类到从顶部起的第一组中的与从顶部起的第一样本有关的样本信息是从顶部起的第一GroupEntry。此外，与被分类到从顶部起的第二组中的第二样本和第三样本共同的样本信息是从顶部起的第三GroupEntry。
此外，被分类到从顶部起的第三组中的与从顶部起的第四样本有关的样本信息是从顶部起的第二GroupEntry。此外，不存在被分类到从顶部起的第五组中的与从顶部起的第四样本有关的样品信息。
此外，被分类到从顶部起的第五组中的与从顶部起的第六样本有关的样本信息是从顶部起的第四GroupEntry。此外，被分类到从顶部起的第六组中的与从顶部起的第七样本和第八样本有关的样本信息是从顶部起的第一GroupEntry。
在区间文件生成部401利用第四方法设置与图像有关的各种信息的情况下，使用上述样本组将与样本单元中的图像有关的各种信息设置为样本信息。
具体地，具有“scri”的grouping_type的图56的sbgp框被设置成与球坐标区域信息条目被布置为GroupEntry并且具有“scri”的grouping_type的sgpd框对应。图56的球坐标区域信息条目是VisualSampleGroupEntry的扩展以包括与样本单元中的图像有关的各种信息。
换句话说，利用第四方法，具有与样本单元中的图像有关的共同各种信息的连续样本被分类到每个组中。此外，针对布置在具有“scri”的grouping_type的sgpd框中作为GroupEntry的图56的球坐标区域信息条目设置在与每组的样本单元中的图像有关的各种信息中的彼此不同的信息。此外，针对具有“scri”的grouping_type的sbgp框设置指示与每个组有关的样本识别信息的sample_count。由此可以将与样本单元中的图像有关的各种信息设置给每个区间文件。
尽管可以利用上述第四方法在样本单元中设置与图像有关的全部各种信息，但是可以在样本单元中仅设置与图像有关的各种信息中的跟踪内改变的信息。
图57是示出在该情况下球坐标区域信息条目的配置的示例的图。
在图57的示例中，与图像有关的各种信息中的object_yaw、object_pitch、object_roll、object_width和object_height是在跟踪内改变的信息。
在该情况下，如图57所示，针对球坐标区域信息条目仅设置object_yaw、object_pitch、object_roll、object_width和object_height。
此外，在该情况下，利用与第一方法至第三方法类似的方法针对包括在hvcC框中的scri框、hev1框或schi框设置在与图像有关的各种信息中的跟踪内没有改变的信息。此时的scri框是如图58所示的。图58的scri框的配置与图51的配置的不同之处在于：没有设置object_yaw、object_pitch、object_roll、object_width和object_height。
注意，与第一方法至第三方法类似，id或spatial_set_id相同的跟踪可以被分组而不针对scri框设置在跟踪内没有改变的信息中的id或spatial_set_id。
如前所述，在使用样本组仅设置与图像有关的各种信息中的跟踪内改变的信息的情况下，与使用样本组设置与图像有关的全部各种信息的情况相比可以减小区间文件的数据量。
虽然在图57和图58的示例中假设在与图像有关的各种信息中的跟踪内改变的信息是object_yaw、object_pitch、object_roll、object_width和object_height，但是可以设置任意信息。
(第五方法的描述)
图59是示出在图48的区间文件生成部401利用第五方法设置与图像有关的各种信息的情况下的区间文件的配置的示例的图。
如图59所示，利用第五方法，与图像跟踪不同的元数据跟踪(球坐标区域信息跟踪)被分配给与图像有关的各种信息。与样本单元中的图像有关的各种信息(球坐标区域信息)被设置为用于分配的跟踪的定时元数据的样本。
此外，具有指示图像与图像有关的各种信息之间的关系的“scri”的reference_type的跟踪参考类型框被设置成球坐标区域信息跟踪中的tref框。对于该跟踪参考类型框，用于与和该跟踪参考类型框对应的跟踪中的图像有关的各种信息的球坐标区域信息跟踪的ID被设置为track_IDs。
图60是示出作为与样本单元中的图像有关的各种信息被布置的定时元数据的样本的SphericalCoordinateRegionInfoSample的配置的示例的图。
如图60所示，与样本单元中的图像有关的各种信息被设置成SphericalCoordinateRegionInfoSample。
注意，仅在信息不同于与先前样本的样本单元中的图像有关的各种信息的情况下可以将与样本的样本单元中的图像有关的各种信息设置为SphericalCoordinateRegionInfoSample而不将全部信息设置为SphericalCoordinateRegionInfoSample。
在该情况下，针对SphericalCoordinateRegionInfoSample设置与样本单元中的图像有关的各种信息的方法的示例包括两个方法，即，整个信息设置方法和部分信息设置方法。
整个信息设置方法是在与样本单元中的图像有关的各种信息中的至少一个与先前样本不同的情况下将与样本单元中的图像有关的全部各种信息设置给SphericalCoordinateRegionInfoSample的方法。
具体地，如图61所示，利用整个信息设置方法，作为用于包括在球坐标区域信息跟踪trak中的trak框的更低层上的stsd框中的与图像有关的各种信息的元数据样本条目的球坐标区域信息样本条目包括球坐标区域信息配置框。此外，如图62所示，与样本单元中的图像有关的各种信息的默认值(default_projection_type，default_id，default_FOV_flag，default_object_yaw，default_object_pitch，default_object_roll，default_object_width，default_object_height，default_total_width，default_total_height，default_sphere_radius和default_spatial_set_id)被设置给球坐标区域信息配置框。
虽然本文中描述了与样本单元中的图像有关的各种信息的默认值被包含在球坐标区域信息跟踪中的stsd框中，但是默认值可以被包括在图像跟踪中的stsd框中。利用参照图50和图51描述的第一方法除了与跟踪单元中的图像有关的各种信息被与样本单元中的图像有关各种信息的默认值替换以外hvcC框在该情况下与hvcC框相同。
此外，利用整个信息设置方法，SphericalCoordinateRegionInfoSample是如图63所示的。图63的SphericalCoordinateRegionInfoSample与图60的SphericalCoordinateRegionInfoSample的不同之处在于：设置了指示该样本是否与和样本单元中的图像有关的各种信息中的至少一个信息中的先前样本不同的一个比特的update_flag，并且不同之处在于：响应于update_flag设置与样本单元中的图像有关的全部各种信息。
update_flag在与该update_flag对应的样本与和样本单元中的图像有关的各种信息中的至少一个信息中的先前样本不同的情况下是1并且在与该update_flag对应的样本与先前样本完全相同的情况下是0。注意，在与update_flag对应的样本是第一样本的情况下，与先前样本的样本单元中的图像有关的各种信息是与样本单元中的图像有关的各种信息的默认值。
在update_flag是1的情况下，与该样本的样本单元中的图像有关的各种信息被设置给SphericalCoordinateRegionInfoSample。另一方面，在update_flag是0的情况下，与该样本单元中的图像有关的各种信息不被设置给SphericalCoordinateRegionInfoSample。
此外，部分信息设置方法是在样本不同于与样本单元中图像有关的各种信息中的至少一个信息中的先前样本的情况下，仅将不同信息设置给SphericalCoordinateRegionInfoSample的方法。
具体地，类似于整个信息设置方法，利用部分信息设置方法设置与样本单元中的图像有关的各种信息的默认值。此外，SphericalCoordinateRegionInfoSample是如图64所示的。图64的SphericalCoordinateRegionInfoSample与图60的SphericalCoordinateRegionInfoSample的不同之处在于：设置了指示该样本是否与和样本单元中的图像有关的各种信息中的每一个信息中的先前样本不同的16比特的update_flag，并且不同之处在于：响应于每个信息的update_flag设置与样本单元中的图像有关的各种信息。
换句话说，与样本单元中的图像有关的各种信息中的每一个信息被分配给update_flag的每个比特。在每条信息不同于与该update_flag对应的样本的先前样本的情况下，分配给该信息的比特是1，并且在每条信息与和该update_flag对应的样本的先前样本相同的情况下，比特是0。注意，在与update_flag对应的样本是第一样本的情况下，与先前样本的样本单元中的图像有关的各种信息是与样本单元中的图像有关的各种信息的默认值。
在图64的示例中，update_flag的比特按照从与图像有关的各种信息中的至少重要比特、projection_type，id，FOV_flag，object_yaw，object_pitch，object_roll，object_width，object_height，total_width，total_height，sphere_radius和spatial_set_id的顺序分配。
因此，在16比特的update_flag例如是0000 0000 0000 0001b的情况下，仅与该update_flag对应的样本的projection_type被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0000 0000 0010b的情况下，仅与该update_flag对应的样本的id被设置给SphericalCoordinateRegionInfoSample。
此外，在update_flag是0000 0000 0000 0100b的情况下，仅与该update_flag对应的样本的FOV_flag被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0000 0000 1000b的情况下，仅与该update_flag对应的样本的object_yaw被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0000 0001 0000b的情况下，仅与该update_flag对应的样本的object_pitch被设置给SphericalCoordinateRegionInfoSample。
在update_flag是0000 0000 0010 0000b的情况下，仅与该update_flag对应的样本的object_roll被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0000 0100 0000b的情况下，仅与该update_flag对应的样本的object_width被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0000 1000 0000b的情况下，仅与该update_flag对应的样本的object_height被设置给SphericalCoordinateRegionInfoSample。
此外，在update_flag是0000 0001 0000 0000b的情况下，仅与该update_flag对应的样本的total_width被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0010 0000 0000b的情况下，仅与该update_flag对应的样本的total_height被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 0100 00000000b的情况下，仅与该update_flag对应的样本的sphere_radius被设置给SphericalCoordinateRegionInfoSample。在update_flag是0000 1000 0000 0000b的情况下，仅与该update_flag对应的样本的spatial_set_id被设置给SphericalCoordinateRegionInfoSample。
此外，在样本与先前样本的不同之处仅在于与图像有关的各种信息中的projection_type和FOV_flag中的情况下，0x0005(0000 0000 0000 0101b)被设置为update_flag。在该情况下，仅该样本的projection_type和FOV_flag被设置给SphericalCoordinateRegionInfoSample。
如前所述，仅在样本与样本单元的不同仅在于与图像有关的各种信息中的至少一个中信息的情况下与样本单元中的图像有关的各种信息被设置给SphericalCoordinateRegionInfoSample。在该情况下，在改变与样本单元中的图像有关的各种信息的频率低时可以减小区间文件的数据量。
此外，利用部分信息设置方法，仅与样本单元中的图像有关的各种信息中的与先前样本不同的信息被设置给SphericalCoordinateRegionInfoSample；因此，与整个信息设置方法相比可以减小区间文件的数据量。
尽管可以利用上述第五方法在样本单元中设置与图像有关的全部各种信息，但是可以在样本单元中仅设置与样本单元中的图像有关的各种信息中的跟踪内改变的信息。
图65是示出在该情况下的球坐标区域信息配置框的配置的示例的图，并且图66是示出在该情况下的SphericalCoordinateRegionInfoSample的配置的示例的图。
在图65和图66的示例中，可以在样本单元中设置作为与在样本单元中的图像有关的各种信息中的跟踪内改变的信息的object_yaw、object_pitch、object_roll、object_width和object_height。
在该情况下，如图65所示，在跟踪单元中将在与图像有关的各种信息中的跟踪内没有改变的projection_type、id、FOV_flag、total_width、total_height、sphere_radius和spatial_set_id设置给包括在比球坐标区域信息跟踪中的trak框更低的层上的stsd框中的球坐标区域信息配置框。
此外，如图66所示，在样本单元中将在与图像有关的各种信息中的跟踪内改变的object_yaw、object_pitch、object_roll、object_width和object_height设置给SphericalCoordinateRegionInfoSample。
注意，可以将在与图像有关的各种类型信息中跟踪内没有改变的projection_type、id、FOV_flag、total_width、total_height、sphere_radius和spatial_set_id包括在图像跟踪中的stsd框中。hvcC块的配置在该情况下与利用参照图50和图51描述的第一方法的hvcC块的不同之处在于：未设置object_yaw、object_pitch、object_roll、object_width和object_height。
此外，与第一方法至第三方法类似，id或spatial_set_id相同的跟踪可以被分组而不将在跟踪内没有改变的信息中的id或spatial_set_id设置给scri框。
如前所述，在将仅与图像有关的各种信息中的跟踪内改变的信息设置给SphericalCoordinateRegionInfoSample的情况下，与将与图像有关的全部各种类型信息设置给SphericalCoordinateRegionInfoSample的情况相比可以减小区间文件的数据量。
虽然在图65和图66的示例中假设在与图像有关的各种信息中的跟踪内改变的信息是object_yaw、object_pitch、object_roll、object_width和object_height，但是可以设置任意信息。
如前所述，利用第四方法或第五方法，至少在与图像有关的各种信息中的跟踪内改变的信息被设置给样本单元中的区间文件。因此，即使在与图像有关的各种信息中的至少一部分信息在跟踪内改变的情况下，也可以将信息设置给区间文件。
(由生成装置执行的处理的描述)
图67是示出由图48的生成装置400执行的文件生成处理的流程图。
由于从图67的步骤S201至S208的处理与从图31的步骤S121至S128的处理类似，因此将省略描述。
在步骤S209中，区间文件生成部401为每个比特率和每个区间存档每个二维平面的低分辨率流、高分辨率流和音频流，并且利用第一方法至第五方法中的任何一个生成用于与图像有关的各种信息中的每一个信息的区间文件。
在步骤S210中，MPD文件生成部402生成MPD文件。
在步骤S211中，上传部30将从区间文件生成部401提供的区间文件和从MPD文件生成部402提供的MPD文件上传至图1的递送服务器13，并且处理结束。
(再现装置的配置示例)
图68是示出根据本公开内容被应用的递送系统的第五实施方式的再现装置的配置的示例的框图。
在图68所示的配置中，用相同的附图标记表示与图32的配置相同的配置。在适当时，将省略重复描述。
图68的再现装置430在配置上与图32的再现装置340的不同之处在于：作为MPD处理部341、区间文件获取部272和映射处理部342的替选提供MPD处理部431、区间文件获取部432和映射处理部433。
具体地，在再现装置430中的MPD处理部431分析从MPD获取部220提供的MPD文件，并且以预定比特率在再现时钟时间处获取诸如区间文件的URL的信息。MPD处理部431将获取的URL提供给区间文件获取部432。
区间文件获取部432基于URL向递送服务器13发出由从MPD处理部431提供的URL识别的区间文件的请求并且获取区间文件。区间文件获取部432提供来自所获取的区间文件的与图像(低分辨率图像和高分辨率图像)有关的各种信息。区间文件获取部432在所获取的与图像有关的各种信息中选择与预定id对应的样本。
区间文件获取部432将选择样本中的作为与图像有关的各种信息的二维平面信息等未被设置的样本设置为要再现的低分辨率图像的样本。区间文件获取部432将设置在要再现的低分辨率图像的样本中的一个低分辨率流提供给解码器273。
此外，区间文件获取部432将选择样本中的作为与图像有关的各种信息的二维平面信息等还被设置的样本识别为为高分辨率图像的样本。
此外，区间文件获取部432基于由视线检测部343生成的所选择的二维平面信息和与高分辨率图像的样本对应的source_id、object_x、object_y、object_width、object_height、total_width、total_height、spatial_set_id等将来自高分辨率图像的样本中的与所选择的二维平面对应的样本选择为要再现的高分辨率图像的样本。区间文件获取部432将设置在要再现的高分辨率图像的样本中的一个高分辨率流提供给解码器274。
映射处理部433将从解码器273提供的低分辨率图像作为纹理映射到球体70的面71至面76上。
注意，映射处理部433可以仅将包含经过透视投影的区域的低分辨率图像的部分映射到由视线检测部343确定的观看者的视场范围上而不映射整个低分辨率图像。
此外，映射处理部433基于从视线检测部343提供的所选择的二维平面信息将球体70内的所选择的二维平面设置为3D模型。映射处理部433将高分辨率图像作为纹理映射到设置在球体70内的所选择的二维平面上。此外，映射处理部433将纹理被映射到球体70和所选择的二维平面上的3D模型图像提供给绘图部227。
(由再现装置执行的处理)
图69是描述由图68的再现装置430执行的再现处理的流程图。
在图69的步骤S231中，再现装置430中的MPD获取部220向图1的递送服务器13发出MPD文件的请求并且获取MPD文件。MPD获取部220将获取的MPD文件提供给MPD处理部431。
在步骤S232中，MPD处理部431分析从MPD获取部220提供的MPD文件，并且以预定比特率在再现时钟时间处获取诸如区间文件的URL的信息。MPD处理部431将获取的URL提供给区间文件获取部432。
在步骤S233中，区间文件获取部432基于URL向由递送服务器13发出由从MPD处理部431提供的URL识别的区间文件的请求，并且获取区间文件。
在步骤S234中，区间文件获取部432从所获取的区间文件中获取与图像有关的各种信息。
在步骤S235中，区间文件获取部432将从与在步骤S234中获取的图像有关的各种信息中的id中的预定id选择为要再现的全向图像的id。此外，区间文件获取部432选择被设置所选择的ID的样本。
在步骤S236中，区间文件获取部432将选择样本中的作为与图像有关的各种信息的二维平面信息等未被设置的样本设置为为要再现的低分辨率图像的样本，并且从区间文件中获取设置在样本中的一个低分辨率流。区间文件获取部432将获取的一个低分辨率流提供给解码器273。
由于从步骤S237至S242的处理与从图34的步骤S145至S150的处理类似，因此将省略描述。
在步骤S243中，区间文件获取部432将选择样本中的作为与图像有关的各种信息的二维平面信息等还被设置的样本识别为高分辨率图像的样本。此外，区间文件获取部432基于由视线检测部343生成的所选择的二维平面信息和与高分辨率图像的样本对应的source_id、object_x、object_y、object_width、object_height、total_width、total_height、spatial_set_id等将来自高分辨率图像的样本中的与所选择的二维平面对应的样本选择为要再现的高分辨率图像的样本。区间文件获取部432将设置在要再现的高分辨率图像的样本中的一个高分辨率流提供给解码器274。
在步骤S244中，区间文件获取部432从区间文件中获取设置在步骤S243中选择的要再现的高分辨率图像的样本中的一个高分辨率流并且将高分辨率流提供给解码器274。
由于步骤S245和S246中的处理与图34的步骤S153和S154中的处理类似，因此将省略描述。
在步骤S247中，映射处理部433将从解码器273提供的低分辨率图像作为纹理映射到球体70的面71至76上。
在步骤S248中，映射处理部433基于从视线检测部343提供的所选择的二维平面信息将球体70内的所选择的二维平面设置为3D模型。
在步骤S249中，映射处理部433将从解码器274提供的高分辨率图像作为纹理映射到在步骤S248中设置的所选择的二维平面上。映射处理部433将纹理被映射到球体70和所选择的二维平面上的3D模型图像提供给绘图部227。
步骤S250和S251中的处理与图34的步骤S162和S163中的处理类似。
如前所述，生成装置400将与图像有关的各种信息设置给区间文件。因此，可以在MP4层中实现与第四实施方式的效果类似的效果。
此外，生成装置400将与图像有关的各种信息设置给管理区间文件的样本moov框更低的层，或者设置给具有与图像跟踪的参考关系的跟踪样本。因此，可以在低分辨率流或高分辨率流的解码之前将各种信息识别为样本。
因此，再现装置400设置与跟踪单元或样本单元中的图像有关的各种信息。因此，再现装置430可以识别与跟踪单元或样本单元中的图像有关的各种信息。因此，再现装置430可以基于与跟踪单元或样本单元中的图像有关的各种信息和所选择的二维平面信息容易地选择要再现的跟踪单元中的样本或样本单元中的样本。
虽然在第四实施方式中被设置给MPD文件的与图像有关的各种信息被设置给第五实施方式中的区间文件，但是可以将与在第一实施方式至第三实施方式中设置给MPD文件的与图像有关的各种信息设置给区间文件。此外，可以组合以上描述的全部第一实施方式至第五实施方式，并且可以将与图像有关的各种信息设置给例如区间文件和MPD文件两者。
此外，与图像有关的各种信息可以包含映射信息。在与图像有关的各种信息包含映射信息的情况下，映射处理部433与映射处理部433类似地基于映射信息执行映射。
<第六实施方式>
(本公开内容被应用的计算机的描述)
以上描述的一系列处理可以由硬件执行或由软件执行。在通过软件执行一系列处理的情况下，配置软件的程序被安装到计算机中。此处，计算机的类型包括结合到专用硬件中的计算机、能够通过将各种程序安装到计算机中来执行各种功能的计算机例如通用个人计算机等。
图70是示出通过程序执行上面描述的一系列处理的计算机的硬件的配置的示例的框图。
在计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904相互连接。
输入/输出接口905也连接至总线904。输入部906、输出部907、存储部908、通信部909以及驱动器910被连接至输入/输出接口905。
输入部906包括键盘、鼠标、麦克风等。输出部907包括显示器、扬声器等。存储部908包括硬盘、非易失性存储器等。通信部909包括网络接口等。驱动器910驱动可移除介质911例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机900中，CPU 901经由输入/输出接口905和总线904将存储在例如存储部908中的程序加载至RAM 903，并且执行该程序，从而以上描述的一系列处理被执行。
可以通过例如将程序记载在用作套装介质等的可移除介质911中来提供由计算机900(CPU 901)执行的程序。可替选地，可以经由有线或无线传输介质例如局域网、因特网或数字卫星服务来提供程序。
在计算机900中，可以通过将可移除介质911附接至驱动器910来经由输入/输出接口905将程序安装到存储部908中。可替选地，程序可以经由有线或无线传输介质由通信部909接收并且被安装到存储部908中。在另一替选方式中，程序可以预先安装到ROM 902或存储部908中。
由计算机900执行的程序可以是用于按照本说明书中描述的次序按时间顺序执行处理的程序，或者可以是用于并行执行处理或者在必要时刻例如调用时刻处执行处理的程序。
此外，本说明书中无论全部组成元素是否设置在相同的壳体中，系统都意为多个组成元素(装置、模块(部件)等)的集合。因此，容置在不同壳体中并且经由网络彼此连接的多个装置和多个模块被容置在一个壳体中的一个装置均是“系统”。
此外，本说明书中描述的效果仅作为示例给出，并且效果不限于本说明书中描述的那些，而是可以包含其他效果。
此外，本公开内容的实施方式不限于上面描述的实施方式并且在不背离本技术的精神的情况下可以作出各种变化。
注意，本公开内容可以如下配置。
(1)一种文件生成装置，包括：
区间文件生成单元，其被配置成生成设置用于将全向图像映射到3D模型的映射信息的文件，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
(2)根据(1)所述的文件生成装置，还包括：
设置部，其被配置成设置绘图面信息，
其中，所述绘图面信息包括面类型信息，其指示绘图面是二维平面或者球体表面，被提供作为关于所述3D模式的要被绘图的表面的信息。
(3)根据(2)所述的文件生成装置，其中，
所述绘图面信息包括与所述绘图面对应的角度信息。
(4)根据(3)所述的文件生成装置，其中，
所述角度信息包括方位角、仰角、旋转角度、横向视角和纵向视角。
(5)根据(4)所述的文件生成装置，其中，
所述绘图面被分组，并且
所述绘图面信息还包括指示所述绘图面所属的组的信息和关于属于该组的全部绘图面构成的整个二维平面的角度的信息。
(6)根据(5)所述的文件生成装置，其中，
所述区间文件生成单元被配置成将所述3D模型的半径的信息设置到所述文件中。
(7)一种文件生成装置，包括：
媒体呈现描述文件生成单元，被配置成生成媒体呈现描述文件，其设置用于将全向图像映射到3D模型的映射信息，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
(8)根据(7)所述的文件生成装置，还包括：
设置部，其被配置成设置绘图面信息，
其中，所述绘图面信息包括面类型信息，其指示绘图面是二维平面或者球体表面，被提供作为关于所述3D模式的要被绘图的表面的信息。
(9)根据(8)所述的文件生成装置，其中，
所述绘图面信息包括与所述绘图面对应的角度信息。
(10)根据(9)所述的文件生成装置，其中，
所述角度信息包括方位角、仰角、旋转角度、横向视角和纵向视角。
(11)根据(10)所述的文件生成装置，其中，
所述绘图面被分组，并且
所述绘图面信息还包括指示所述绘图面所属的组的信息和关于属于该组的全部绘图面构成的整个二维平面的角度的信息。
(12)根据(11)所述的文件生成装置，其中，
所述文件生成单元被配置成将所述3D模型的半径的信息设置到所述文件中。
(13)一种文件生成方法，包括：
生成区间文件，其设置用于将全向图像映射到3D模型的映射信息，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
(14)一种文件生成方法，包括：
生成媒体呈现描述文件，其设置用于将全向图像映射到3D模型的映射信息，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
[附图标记列表]
12：生成装置
14：再现装置
29：MPD文件生成部
40：立方体
41至46：面
50：全向图像
70：球体
90：全向图像
221：MPD处理部
250：生成装置
256：MPD文件生成部
270：再现装置
271：MPD处理部
300：生成装置
331-1至331-18：高分辨率图像
340：再现装置
341：MPD处理部
400：生成装置
401：区间文件生成部
430：再现装置
431：MPD处理部

Claims (14)

1.一种文件生成装置，包括：
区间文件生成单元，其被配置成生成设置用于将利用图像、通过使用等角投影的方法或立方映射而生成的全向图像映射到3D模型的映射信息的文件，
其中，在将立方映射用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的立方体，并且在将使用等角投影的方法用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的球体，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
2.根据权利要求1所述的文件生成装置，还包括：
设置部，其被配置成设置绘图面信息，
其中，所述绘图面信息包括面类型信息，其指示绘图面是二维平面或者球体表面，被提供作为关于所述3D模式的要被绘图的表面的信息。
3.根据权利要求2所述的文件生成装置，其中，
所述绘图面信息包括与所述绘图面对应的角度信息。
4.根据权利要求3所述的文件生成装置，其中，
所述角度信息包括方位角、仰角、旋转角度、横向视角和纵向视角。
5.根据权利要求4所述的文件生成装置，其中，
所述绘图面被分组，并且
所述绘图面信息还包括指示所述绘图面所属的组的信息和关于属于该组的全部绘图面构成的整个二维平面的角度的信息。
6.根据权利要求5所述的文件生成装置，其中，
所述区间文件生成单元被配置成将所述3D模型的半径的信息设置到所述文件中。
7.一种文件生成装置，包括：
媒体呈现描述文件生成单元，被配置成生成媒体呈现描述文件，其设置用于将利用图像、通过使用等角投影的方法或立方映射而生成的全向图像映射到3D模型的映射信息，
其中，在将立方映射用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的立方体，并且在将使用等角投影的方法用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的球体，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
8.根据权利要求7所述的文件生成装置，还包括：
设置部，其被配置成设置绘图面信息，
其中，所述绘图面信息包括面类型信息，其指示绘图面是二维平面或者球体表面，被提供作为关于所述3D模式的要被绘图的表面的信息。
9.根据权利要求8所述的文件生成装置，其中，
所述绘图面信息包括与所述绘图面对应的角度信息。
10.根据权利要求9所述的文件生成装置，其中，
所述角度信息包括方位角、仰角、旋转角度、横向视角和纵向视角。
11.根据权利要求10所述的文件生成装置，其中，
所述绘图面被分组，并且
所述绘图面信息还包括指示所述绘图面所属的组的信息和关于属于该组的全部绘图面构成的整个二维平面的角度的信息。
12.根据权利要求11所述的文件生成装置，其中，
所述文件生成单元被配置成将所述3D模型的半径的信息设置到所述文件中。
13.一种文件生成方法，包括：
生成区间文件，其设置用于将利用图像、通过使用等角投影的方法或立方映射而生成的全向图像映射到3D模型的映射信息，
其中，在将立方映射用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的立方体，并且在将使用等角投影的方法用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的球体，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
14.一种文件生成方法，包括：
生成媒体呈现描述文件，其设置用于将利用图像、通过使用等角投影的方法或立方映射而生成的全向图像映射到3D模型的映射信息，
其中，在将立方映射用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的立方体，并且在将使用等角投影的方法用作生成所述全向图像的方法的情况下，所述3D模型对应于所述图像被映射到其上的球体，
其中，所述映射信息包括所述全向图像在所述3D模型的参考位置处的旋转角度信息以及参考图像在所述全向图像中的位置，其用于针对所述参考位置旋转和映射所述参考图像，以及
其中，所述3D模型的参考位置是在观看者的观看位置是所述3D模型的中心的情况下对应于所述观看者的预定视线方向的所述3D模型上的位置。
CN201780028140.1A 2016-05-13 2017-05-12 文件生成装置和文件生成方法以及再现装置和再现方法 Active CN109076262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210579940.5A CN115118952B (zh) 2016-05-13 2017-05-12 信息处理装置和信息处理方法以及再现装置和再现方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2016097361 2016-05-13
JP2016-097361 2016-05-13
JP2016-162433 2016-08-23
JP2016162433 2016-08-23
JP2016220619 2016-11-11
JP2016-220619 2016-11-11
PCT/JP2017/017963 WO2017195881A1 (ja) 2016-05-13 2017-05-12 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210579940.5A Division CN115118952B (zh) 2016-05-13 2017-05-12 信息处理装置和信息处理方法以及再现装置和再现方法

Publications (2)

Publication Number Publication Date
CN109076262A CN109076262A (zh) 2018-12-21
CN109076262B true CN109076262B (zh) 2022-07-12

Family

ID=60267120

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780028140.1A Active CN109076262B (zh) 2016-05-13 2017-05-12 文件生成装置和文件生成方法以及再现装置和再现方法
CN202210579940.5A Active CN115118952B (zh) 2016-05-13 2017-05-12 信息处理装置和信息处理方法以及再现装置和再现方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210579940.5A Active CN115118952B (zh) 2016-05-13 2017-05-12 信息处理装置和信息处理方法以及再现装置和再现方法

Country Status (5)

Country Link
US (1) US20190200096A1 (zh)
EP (2) EP3627844A1 (zh)
JP (2) JP7014156B2 (zh)
CN (2) CN109076262B (zh)
WO (1) WO2017195881A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
CN109691094B (zh) 2016-08-25 2021-10-22 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN106412582B (zh) * 2016-10-21 2019-01-29 北京大学深圳研究生院 全景视频感兴趣区域的描述方法和编码方法
US10848737B2 (en) * 2017-09-26 2020-11-24 Lg Electronics Inc. Overlay processing method in 360 video system, and device thereof
WO2019139052A1 (en) * 2018-01-10 2019-07-18 Sharp Kabushiki Kaisha Systems and methods for signaling source information for virtual reality applications
US11341976B2 (en) 2018-02-07 2022-05-24 Sony Corporation Transmission apparatus, transmission method, processing apparatus, and processing method
US11481961B2 (en) * 2018-10-02 2022-10-25 Sony Corporation Information processing apparatus and information processing method
US11568574B1 (en) 2021-08-18 2023-01-31 Varjo Technologies Oy Foveation-based image encoding and decoding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491403A (zh) * 2001-10-29 2004-04-21 ���ṫ˾ 非平面图像的图像处理装置、图像处理方法、存储介质及计算机程序
CN101480041A (zh) * 2006-06-30 2009-07-08 微软公司 用于全景照相机系统的参数校准
CN101770342A (zh) * 2009-01-05 2010-07-07 索尼公司 显示控制设备、显示控制方法和程序
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
FR2988964A1 (fr) * 2012-03-30 2013-10-04 France Telecom Technique de distribution d'un contenu video de type immersif
CN103458180A (zh) * 2012-05-31 2013-12-18 株式会社理光 通信终端、显示方法以及计算机程序产品

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3112790B2 (ja) * 1994-01-26 2000-11-27 シャープ株式会社 仮想現実装置
JP4363151B2 (ja) * 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
JP4403421B2 (ja) * 2006-08-17 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
JP4992597B2 (ja) * 2007-08-02 2012-08-08 株式会社ニコン 撮像装置およびプログラム
US20090282365A1 (en) * 2007-02-06 2009-11-12 Nikon Corporation Image processing apparatus, image reproducing apparatus, imaging apparatus and program recording medium
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
JP5250598B2 (ja) * 2010-10-05 2013-07-31 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
JP5909055B2 (ja) * 2011-06-13 2016-04-26 株式会社東芝 画像処理システム、装置、方法及びプログラム
CN110035300A (zh) * 2013-07-19 2019-07-19 索尼公司 信息处理装置和方法
EP3162075B1 (en) * 2014-06-27 2020-04-08 Koninklijke KPN N.V. Hevc-tiled video streaming
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN105430263A (zh) * 2015-11-24 2016-03-23 努比亚技术有限公司 长曝光全景图像拍摄装置和方法
US10880535B2 (en) * 2016-02-17 2020-12-29 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491403A (zh) * 2001-10-29 2004-04-21 ���ṫ˾ 非平面图像的图像处理装置、图像处理方法、存储介质及计算机程序
CN101480041A (zh) * 2006-06-30 2009-07-08 微软公司 用于全景照相机系统的参数校准
CN101770342A (zh) * 2009-01-05 2010-07-07 索尼公司 显示控制设备、显示控制方法和程序
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
FR2988964A1 (fr) * 2012-03-30 2013-10-04 France Telecom Technique de distribution d'un contenu video de type immersif
CN103458180A (zh) * 2012-05-31 2013-12-18 株式会社理光 通信终端、显示方法以及计算机程序产品

Also Published As

Publication number Publication date
CN115118952A (zh) 2022-09-27
EP3457706A4 (en) 2019-03-20
JP2022036289A (ja) 2022-03-04
US20190200096A1 (en) 2019-06-27
WO2017195881A1 (ja) 2017-11-16
JPWO2017195881A1 (ja) 2019-03-22
EP3627844A1 (en) 2020-03-25
JP7014156B2 (ja) 2022-02-03
JP7218824B2 (ja) 2023-02-07
EP3457706A1 (en) 2019-03-20
CN109076262A (zh) 2018-12-21
CN115118952B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN109076262B (zh) 文件生成装置和文件生成方法以及再现装置和再现方法
CN110100435B (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
US11037601B2 (en) Spherical video editing
CN109565610B (zh) 处理全向视频的方法、装置以及存储介质
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
WO2019202207A1 (en) Processing video patches for three-dimensional content
JP7218826B2 (ja) 再生装置および画像生成方法
JP2021502033A (ja) ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム
TWI672947B (zh) 用於推導複合軌的方法和裝置
US10390007B1 (en) Method and system for panoramic 3D video capture and display
JP6860485B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2019118026A (ja) 情報処理装置、情報処理方法、及びプログラム
TWI785458B (zh) 用於編碼/解碼沉浸式媒體的視訊資料的方法和裝置
CN113852829A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
TW201921919A (zh) 影像處理裝置及檔案生成裝置
TW201921918A (zh) 影像處理裝置及檔案生成裝置
CN114095737A (zh) 点云媒体文件封装方法、装置、设备及存储介质
JP2022541908A (ja) ボリュメトリックビデオコンテンツを配信するための方法および装置
CN114556962B (zh) 多视点视频处理方法和装置
EP4394718A1 (en) Media file encapsulation method and device, media file decapsulation method and device, and storage medium
Zollmann et al. Localisation and Tracking of Stationary Users for Extended Reality Lewis Baker

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant