CN111543063A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN111543063A
CN111543063A CN201880085259.7A CN201880085259A CN111543063A CN 111543063 A CN111543063 A CN 111543063A CN 201880085259 A CN201880085259 A CN 201880085259A CN 111543063 A CN111543063 A CN 111543063A
Authority
CN
China
Prior art keywords
projection
image
file
extension
information associated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880085259.7A
Other languages
English (en)
Inventor
高桥辽平
平林光浩
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111543063A publication Critical patent/CN111543063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开内容涉及能够更容易地提供具有更高质量并且可以抑制编码效率退化的图像的信息处理装置和方法。根据本公开内容，创建包括关于作为用于将投影成具有立体结构的立体结构图像映射到单个平面上的投影方法的扩展方法的投影扩展的信息的文件。本公开内容适用于例如信息处理装置、图像处理装置、图像编码装置、文件创建装置、文件发送装置、分发装置、文件接收装置、图像解码装置或再现装置。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和方法，并且具体地涉及能够在减少编码效率下降的同时更容易地提供更高质量的图像的信息处理装置和方法。
背景技术
传统上，存在MPEG-DASH(运动图像专家组-通过HTTP(超文本传输协议)的动态自适应流传输)作为根据HTTP协议的自适应内容分发技术的标准化规范(例如，参见非专利文献1)。
此外，作为这样的MPEG-DASH的文件格式，已经存在ISOBMFF(国际标准化组织基础媒体文件格式)，其是运动图像压缩国际标准技术“MPEG-4(运动图像专家组-4)的文件容器规范”(例如，参见非专利文献2)。
同时，存在通过将三维结构图像映射到平面图像上而产生的所谓全向视频的全向图像(也称为投影平面图像)，所述三维结构图像是在水平方向360度环绕并且在竖直方向180度环绕的图像并且被投影到三维结构上。近年来，已经考虑使用MPEG-DASH来分发三维结构图像。例如，通过将三维结构图像映射到单个平面上并且将三维结构图像分发为通过将三维结构图像映射到该平面上而产生的投影平面图像来使MPEG-DASH适用于三维结构图像(例如，参见非专利文献3)。
在非专利文献3中描述的MPEG-I部分2全向媒体格式(ISO/IEC23090-2)FDIS(国际标准草案)(下文中也称为OMAF)中，存在被采用为这样的投影方法(也称为投影格式)的两种方法，即ERP(等量矩形投影)和CMP(立方体贴图投影)。
引用列表
非专利文献
非专利文献1
“Information technology.Dynamic adaptive streaming over HTTP(DASH).Part 1：Media presentation description and segment formats,AMENDMENT 4：Segment Independent SAP Signalling(SISSI),MPD chaining,MPD reset and otherextensions”,ISO/IEC23009-1:2014/PDAM4,ISO/IEC JTC1/SC29/WG11,2015年10月23日
非专利文献2
“Information technology-Coding of audio-visual objects-Part 12:ISObase media file format”,ISO/IEC 14496-12,2005年10月1日
非专利文献3
“Information technology-Coded representation of immersive media(MPEG-I)-Part 2：Omnidirectional media format”,ISO/IEC FDIS23090-12:201x(E),ISO/IECJTC 1/SC 29/WG 11,2017年12月11日
发明内容
技术问题
然而，上述投影方法中的每一个没有特别地具有用于改善图像质量的机制，并且因此就图像质量而言，不被认为是极好的投影格式。例如，在近来的全向视频分发中已经考虑了全向视频中的特定方向上的图像质量提高(也称为视口相关的图像质量提高)以通过有效利用带宽来优化用户体验。然而，前述投影格式不满足视口相关的图像质量提高。
因此，当试图进行图像质量提高时，需要增加整个投影平面图像的图像质量。在这样的情况下，带宽可以被压缩。此外，在试图通过有效利用带宽来在减少编码效率下降的同时实现图像质量提高以优化用户体验的情况下，需要采用具有上述视口相关的特性的新投影格式。然而，采用这样类型的投影格式可能对创造工作流程或客户端实现具有相当大的影响。因此，这样类型的投影格式难以引入市场，并且因此难以实际使用。
考虑到上述情况而开发了本公开内容，并且本公开内容在减少编码效率下降的同时更容易提供更高质量的图像。
问题的解决方案
根据本技术的一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
根据本技术的一方面的信息处理方法涉及如下信息处理方法，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
根据本技术的另一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
根据本技术的另一方面的信息处理方法涉及如下信息处理方法，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
根据本技术的又一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
根据本技术的又一方面的信息处理方法涉及如下信息处理方法，其生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
根据本技术的又一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
根据本技术的又一方面的信息处理方法涉及如下信息处理方法，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
根据本技术的又一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对所述投影平面图像进行编码而获得的。
根据本技术的又一方面的信息处理方法涉及如下信息处理方法，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到所述平面上而产生的，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对所述投影平面图像进行编码而获得的。
根据本技术的一方面的信息处理装置和方法生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
根据本技术的另一方面的信息处理装置和方法生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到所述平面上而产生的。
根据本技术的又一方面的信息处理装置和方法生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
根据本技术的又一方面的信息处理装置和方法生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
根据本技术的又一方面的信息处理装置和方法生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对所述投影平面图像进行编码而获得的。
本发明的有益效果
根据本公开内容，可实现信息处理。具体地，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
附图说明
图1是描绘投影格式的示例的图。
图2是描绘投影扩展的示例的图。
图3是描绘偏心球面映射的状态的示例的图。
图4是描绘文件生成装置的主要配置示例的框图。
图5是客户端装置的主要配置示例的框图。
图6是说明上传处理的流程的示例的流程图。
图7是说明内容再现处理的流程的示例的流程图。
图8是描绘ISOBMEF的盒层状结构的示例的图。
图9是描绘投影全向视频盒的语法的示例的图。
图10是描绘投影增强盒的语法的示例的图。
图11是描绘enhancement_type的语法的示例的图。
图12是描绘投影格式盒的语法的示例的图。
图13是描绘投影格式结构的语法的示例的图。
图14是描绘projection_type的语义的示例的图。
图15是描绘enhancement_type的语义的示例的图。
图16是描绘projection_type的语义的示例的图。
图17是描绘enhancement_type的语义的示例的图。
图18是描绘投影全向视频盒的语法的示例的图。
图19是描绘偏移球面投影盒的语法的示例的图。
图20是描绘投影格式结构的语法的示例的图。
图21是说明上传处理的流程的示例的流程图。
图22是说明内容再现处理的流程的示例的流程图。
图23是描绘投影增强描述符的属性值的示例的图。
图24是描绘数据类型的示例的图。
图25是描绘基本属性的示例的图。
图26是描绘投影格式描述符的属性值的示例的图。
图27是描绘投影增强描述符的属性值的示例的图。
图28是描绘投影格式描述符的属性值的示例的图。
图29是说明上传处理的流程的示例的流程图。
图30是说明内容再现处理的流程的示例的流程图。
图31是描绘Projection_Enhancement_Box(投影增强盒)的语法的示例的图。
图32是描绘添加字段的语义的示例的图。
图33是描绘球面偏移投影SEI消息的语法的示例的图。
图34是描绘球面偏移投影SEI消息的字段的语义的示例的图。
图35是描绘偏移样本条目的语法的示例的图。
图36是描绘偏移样本的语法的示例的图。
图37是描绘样本表盒的示例的图。
图38是描绘偏移球面投影样本组条目的语法的示例的图。
图39是说明上传处理的流程的示例的流程图。
图40是说明内容再现处理的流程的示例的流程图。
图41是说明上传处理的流程的示例的流程图。
图42是说明内容再现处理的流程的示例的流程图。
图43是说明上传处理的流程的示例的流程图。
图44是说明内容再现处理的流程的示例的流程图。
图45是说明上传处理的流程的示例的流程图。
图46是说明内容再现处理的流程的示例的流程图。
图47是描绘质量排名区域的示例的图。
图48是描绘球形区域质量排名盒的语法的示例的图。
图49是描绘2D区域质量排名盒的语法的示例的图。
图50是描绘质量排名区域的示例的图。
图51是描绘球形区域质量排名盒的语法的示例的图。
图52是描绘添加字段的语义的示例的图。
图53是描绘质量排名区域的示例的图。
图54是描绘球形区域质量排名盒的语法的示例的图。
图55是描绘添加字段的语义的示例的图。
图56是描绘质量排名区域的示例的图。
图57是描绘球形区域质量排名盒的语法的示例的图。
图58是描绘添加字段的语义的示例的图。
图59是说明上传处理的流程的示例的流程图。
图60是说明内容再现处理的流程的示例的流程图。
图61是说明上传处理的流程的示例的流程图。
图62是说明内容再现处理的流程的示例的流程图。
图63是描绘投影全向视频盒的语法的示例的图。
图64是描绘质量强调视口信息盒的语法的示例的图。
图65是描绘添加字段的语义的示例的图。
图66是说明上传处理的流程的示例的流程图。
图67是说明内容再现处理的流程的示例的流程图。
图68是描绘质量增强视口信息描述符的属性值的示例的图。
图69是描绘数据类型的示例的图。
图70是描绘投影增强盒的语法的示例的图。
图71是描绘推荐视口信息盒的语法的示例的图。
图72是描绘添加字段的语义的示例的图。
图73是描绘全向视频的轨道与推荐视口定时元数据的轨道之间的关联的状态的示例的图。
图74是描绘推荐视口信息描述符的属性值的示例的图。
图75是描绘数据类型的示例的图。
图76是描绘MPD的语法的示例的图。
图77是描绘投影增强盒的语法的示例的图。
图78是描绘计算机的主要配置示例的框图。
具体实施方式
以下将描述用于执行本公开内容的模式(在下文中称为实施方式)。注意，将按以下顺序进行描述。
1.用信令通知与投影扩展相关联的信息
2.第一实施方式(ISOBMFF的扩展)
3.第二实施方式(MPD的扩展)
4.第三实施方式(偏心球面映射流分发)
5.附加说明
<1.用信令通知与投影扩展相关联的信息>
<支持技术内容和技术术语的参考等>
根据本技术公开的范围不仅覆盖在实施方式中描述的内容，还覆盖在提交本申请时公知的下列非专利文献中描述的内容。
非专利文献1：(如上所述)
非专利文献2：(如上所述)
非专利文献3：(如上所述)
因此，上述非专利文献中描述的内容也被认为是用于确定支持要求的依据。例如，假设诸如解析、语法和语义的技术术语也被包括在根据本技术公开的范围中，并且即使在实施方式中没有呈现术语的直接描述的情况下也满足权利要求的支持要求。
<MPEG-DASH>
传统上，如非专利文献1所述，例如，存在MPEG-DASH(运动图像专家组-通过HTTP(超文本传输协议)的动态自适应流传输)作为根据HTTP协议的自适应内容分发技术的标准化规范。
例如，这样的MPEG-DASH可以通过使用HTTP根据网络频带的改变来以最佳比特率实现视频再现，HTTP是与用于从网站下载因特网的网页的协议类似的通信协议。
该标准规范还有助于用于运动分发服务和用于运动图像再现客户端的基础设施的技术开发。特别是对于处理分发服务的商业运营商，该标准规范不仅提供了增强运动图像分发服务与运动图像再现客户端之间的兼容性的优点，而且提供了容易地利用现有内容资产的优点，并且因此，有望促进市场增长。
MPEG-DASH主要包括两个技术项目，即，限定其中描述了用于管理运动图像和音频文件的元数据的被称为MPD(媒体呈现描述)的清单文件规范的标准，以及用于实际发送运动图像内容的被称为段格式的文件格式的操作标准。
如非专利文献2中所述，这样类型的文件格式的示例是与运动图像压缩国际标准技术“MPEG-4(运动图像专家组-4)”的文件容器规范对应的ISOBMFF(国际标准化组织基础媒体文件格式)”。用于满足MPEG-DASH要求的功能扩展作为ISO/IEC(国际标准化组织/国际电工委员会)14496-12的扩展规范被添加到ISOBMFF。
<使用MPEG-DASH分发全向视频>
同时，存在作为在水平方向上360度环绕并且在竖直方向180度环绕的图像并且被投影在三维结构上的三维结构图像，例如所谓的全向视频。例如，通过将从视点观察的外围图像渲染到视点周围的三维结构中以形成三维结构图像，可以更自然地表达环绕视点的外围图像，或者可以容易地形成从三维结构图像开始的期望视线方向上的图像。
近年来，已经考虑使用MPEG-DASH来分发三维结构图像。例如，如非专利文献3所述，通过将三维结构图像映射到单个平面上，并且将三维结构图像分发为通过将三维结构图像映射到该平面上而产生的投影平面图像来使MPEG-DASH适用于三维结构图像。
在非专利文献3中描述的MPEG-I部分2全向媒体格式(ISO/IEC23090-2)FDIS(国际标准草案)(下文中也称为OMAF)中已经采用两种方法即ERP(等量矩形投影)和CMP(立方体贴图投影)作为这样的投影方法(也称为投影格式)。
在图1的上部中描绘的ERP的情况下，投影在左部中描绘的球面三维结构上的三维结构图像以如下方式被映射到右部中描绘的单个平面上，该方式使得三维结构的纬度方向和经度方向以直角彼此交叉。
在图1的下部中描绘的CMP的情况下，投影在左部中描绘的立方体上的三维结构图像的各个面被显影，并且以预定顺序被映射到右部中描绘的单个平面上。
通过以上述方式将在水平方向上360度环绕并且在竖直方向上180度环绕的图像投影和映射而产生的投影平面图像也被称为投影图片。因此，投影图片是表示全向视频的二维图像(二维图片)并且针对每个投影格式来确定。
<全向视频分发中的视口相关的图像质量提高>
上述ERP和CMP中的每一个在市场上得到广泛支持。然而，投影方法中的每一个没有特别地具有用于改善图像质量的机制，并且因此就图像质量而言，不被认为是极好的投影格式。例如，在近来的全向视频分发中已经考虑了全向视频中的特定方向上的图像质量提高(也称为视口相关的图像质量提高)，以通过有效利用带宽来优化用户体验。然而，前述投影格式不满足视口相关的图像质量提高。
因此，在试图减少编码效率下降的同时提高图像质量以通过有效利用带宽来优化用户体验的情况下，需要采用具有上述视口相关的特性的新投影格式。然而，采用这样类型的格式可能对创造工作流程或客户端实现具有相当大的影响。因此，这样类型的投影格式可能难以引入市场，并且因此难以实际使用。
<提供与投影扩展相关联的信息>
因此，尝试用信令通知(为内容再现侧提供)与作为投影方法的扩展方法的投影扩展相关联的信息，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
以这样的方式，投影格式中的每种投影格式变得能够满足视口相关的图像质量提高，而不需要由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现。因此，可以在减少编码效率下降的同时更容易地提供更高质量的图像。
<投影扩展类型>
接下来将描述作为投影方法的扩展方法的投影扩展的类型(投影格式)示例。投影扩展类型的示例包括EAC(等角立方体贴图)。如图2所示，EAC是在投影到立方体表面期间使像素布置的角度相等的映射方法。以这样的方式，在显示期间，像素以相等间隔被布置在球面上。因此，EAC提供了这样的优点，即，切换视场时的图像质量变化变得比CMP中的变化更平滑，CMP使像素布置在投影面上的间隔相等。EAC是应用于CMP的投影扩展。
投影扩展类型的示例还包括偏心球面映射。如图3所示，偏心球面映射是通过归一化投影结构来产生球面，并且应用当从偏移位置观看球面上的像素时出现的非均匀像素布置的映射方法。以这样的方式，可实现视口相关的图像质量提高。偏心球面映射适用于ERP和CMP两者。此外，偏心球面映射适用于EAC，并且也适用于其他投影格式。
<与投影扩展相关联的信息>
接下来将描述要用信令通知的与投影扩展相关联的信息(包括在文件中并且提供给客户端)的示例。上述与投影扩展相关联的信息可以是对于客户端正确地处理应用了投影扩展的流(下文中也称为投影扩展流)有用的任何信息。例如，可以用信令通知下面的信息作为与投影扩展相关联的信息。
(A)是否应用了投影扩展
(B)如果应用了投影扩展则应用了哪种扩展方法
(C)用于由客户端正确渲染投影扩展流的信息
通过用信令通知信息(A)，基于内容再现侧上的用信令通知的信息(A)可容易地识别是否将投影扩展应用于流。因此，可以在内容再现侧根据内容再现侧上的与投影扩展相关联的能力进行流的选择，即是否应用了投影扩展的选择。
此外，通过用信令通知信息(B)，基于内容再现侧上的用信令通知的信息(B)可容易地识别应用于流的投影扩展类型。因此，可以在内容再现侧根据内容再现侧上的与投影扩展相关联的能力进行流的选择，即投影扩展类型的选择。
此外，通过用信令通知信息(C)，基于内容再现侧上的用信令通知的信息(B)可容易地识别渲染应用了投影扩展的流的图像所必需的信息。因此，可以在内容再现侧上根据内容再现侧上的与投影扩展相关联的能力进行流的选择，即，带有投影扩展的处理内容的选择。此外，可实现对所选择的流的图像的正确渲染。
更具体地，例如，能够处理应用了投影扩展的流的客户端可以选择应用了投影扩展的流，而不能处理这样的流的客户端可以选择未应用投影扩展的流。因此，客户端之间的兼容性是安全的。
<文件生成装置>
接下来将描述执行与投影扩展相关联的信令的装置的配置。图4是描绘作为应用本技术的信息处理装置的一个模式的文件生成装置的配置的示例的框图。图4中描绘的文件生成装置100是生成ISOBMFF文件(段文件)和MPD文件的装置。例如，结合非专利文献1至非专利文献3中描述的技术的文件生成装置100通过符合MPEG-DASH的方法生成包括流和MPD文件的ISOBMFF文件作为用于流分发控制的控制文件，并且将文件上传(发送)至经由网络分发文件的服务器。
注意，图4描绘了主要处理单元、数据流等，并且不一定描绘了全部。更具体地，在文件生成装置100中可以存在图4中未被描绘为块的处理单元，或者图4中未被描绘为箭头的处理或数据流，等等。
如图4所示，文件生成装置100包括控制单元101、存储器102和文件生成单元103。
控制单元101控制文件生成装置100的整体操作。例如，控制单元101通过控制文件生成单元103来生成ISOBMFF文件和MPD文件，并且上传所生成的ISOBMFF文件和MPD文件。控制单元101使用存储器102执行与控制相关联的处理。例如，控制单元101通过将期望的程序等加载到存储器102中并且执行所加载的程序等来执行与控制相关联的上述处理。
文件生成单元103在控制单元101的控制下执行与ISOBMFF文件和MPD文件的生成和上传(发送)相关联的处理。如图4所示，文件生成单元103包括数据输入单元111、数据编码和生成单元112、MPD文件生成单元113、记录单元114和上传单元115。
数据输入单元111执行与数据输入的接收相关联的处理。例如，数据输入单元111接收诸如生成纹理或网格所必需的图像、生成MPD文件所必需的元数据等的数据的输入。此外，数据输入单元111将接收到的数据提供给数据编码和生成单元112以及MPD文件生成单元113。
数据编码和生成单元112执行与数据编码和文件生成相关联的处理。例如，数据编码和生成单元112基于诸如从数据输入单元111提供的图像的数据生成诸如纹理和网格的流。此外，数据编码和生成单元112生成用于存储所生成的流的ISOBMFF文件。此外，数据编码和生成单元112将所生成的ISOBMFF文件提供给记录单元114。
如图4所示，数据编码和生成单元112包括预处理单元121、编码单元122和段文件生成单元123。
预处理单元121对诸如编码前的图像的数据执行处理。例如，预处理单元121基于诸如从数据输入单元111提供的图像的数据生成诸如纹理和网格的流。此外，例如，预处理单元121将所生成的流提供给编码单元122。
编码单元122执行与流的编码相关联的处理。例如，编码单元122对从预处理单元121提供的流进行编码。此外，例如，编码单元122将通过编码获得的编码数据提供给段文件生成单元123。
数据段文件生成单元123执行与段文件的生成相关联的处理。例如，段文件生成单元123基于从数据输入单元111提供的元数据等将从编码单元122提供的编码数据转换为以段为单位的文件(生成段文件)。此外，例如，作为与段文件的生成相关联的处理，段文件生成单元123将以上述方式生成的ISOBMFF文件提供给记录单元114。例如，段文件生成单元123将ISOBMFF文件生成为段文件，并且将所生成的ISOBMFF文件提供给记录单元114。
MPD文件生成单元113执行与MPD文件的生成相关联的处理。例如，MPD文件生成单元113基于从数据输入单元111提供的元数据等生成MPD文件。此外，例如，MPD文件生成单元113将所生成的MPD文件提供给记录单元114。注意，MPD文件生成单元113可以从段文件生成单元123获取生成MPD文件所必需的元数据等。
例如，记录单元114包括诸如硬盘和半导体存储器的任何类型的记录介质，并且执行与数据的记录等相关联的处理。例如，记录单元114记录从MPD文件生成单元113提供的MPD文件。此外，例如，记录单元114记录从段文件生成单元123提供的段文件(例如，ISOBMFF文件)。
上传单元115执行与文件的上传(发送)相关联的处理。例如，上传单元115读出记录在记录单元114中的MPD文件。此外，例如，上传单元115经由网络等将读出的MPD文件上传(发送)至服务器(未示出)，该服务器将MPD文件分发至客户端等。
此外，例如，上传单元115读出记录在记录单元114中的段文件(例如，ISOBMFF文件)。此外，例如，上传单元115经由网络等将读出的段文件上传(发送)至服务器(未示出)，该服务器将段文件分发至客户端等。
因此，上传单元115用作将MPD文件和段文件(例如，ISOBMFF文件)发送至服务器的通信单元。注意，由上传单元115各自发送的MPD文件的目的地和段文件(例如，ISOBMFF文件)的目的地可以彼此相同或者可以彼此不同。此外，本文中描述的是文件生成装置100用作将MPD文件和段文件(例如，ISOBMFF文件)上传至服务器以将文件分发至客户端的装置的示例。然而，文件生成装置100可以用作服务器。在这样的情况下，文件生成装置100的上传单元115经由网络将MPD文件和段文件(例如，ISOBMFF文件)分发至客户端就足够了。
<客户端装置>
图5是描绘根据应用本技术的信息处理装置的一个模式的客户端装置的配置的示例的框图。图5中描述的客户端装置200是获取MPD文件和段文件(例如，ISOBMFF文件)并且基于这些文件再现内容的装置。例如，结合了非专利文献1至非专利文献3中描述的技术的客户端装置200通过符合MPEG-DASH的方法从服务器(或上述文件生成装置100)获取段文件，并且再现段文件中包括的流(内容)。此时，客户端装置200可以从服务器(或上述文件生成装置100)获取MPD文件，使用MPD文件选择期望的段文件，并且从服务器获取所选择的段文件。
注意，图5描绘了主要处理单元、数据流等，并且不一定描绘了全部。更具体地，在客户端装置200中可以存在图5中未被描绘为块的处理单元，或者图5中未被描绘为箭头的处理或数据流，等等。
如图5所示，客户端装置200包括控制单元201、存储器202以及再现处理单元203。
控制单元201控制客户端装置200的整体操作。例如，控制单元201从服务器获取MPD文件和段文件(例如，ISOBMFF文件)，并且通过控制再现处理单元203来再现段文件中包括的流(内容)。控制单元201使用存储器202执行与控制相关联的处理。例如，控制单元201通过将期望的程序等加载到存储器202中并且执行所加载的程序等来执行与上述控制相关联的处理。
再现处理单元203在控制单元201的控制下执行与段文件中包括的流(内容)的再现相关联的处理。如图5所示，再现处理单元203包括测量单元211、MPD文件获取单元212、MPD文件处理单元213、段文件获取单元214、显示控制单元215、数据分析和解码单元216和显示单元217。
测量单元211执行与测量相关联的处理。例如，测量单元211测量客户端装置200与服务器之间的网络的传输频带。此外，例如，测量单元211将通过测量获得的结果提供给MPD文件处理单元213。
例如，MPD文件获取单元212执行与MPD文件的获取相关联的处理。例如，MPD文件获取单元212经由网络从服务器获取与期望的内容(要再现的内容)对应的MPD文件。此外，例如，MPD文件获取单元212将所获取的MPD文件提供给MPD文件处理单元213。
MPD文件处理单元213基于MPD文件执行处理。例如，MPD文件处理单元213基于从MPD文件获取单元212提供的MPD文件选择要获取的流。此外，例如，MPD文件处理单元213将选择结果提供给段文件获取单元214。注意，还通过适当地使用从测量单元211提供的测量结果以及从显示控制单元215提供的与用户的视点位置和视线方向相关联的信息来选择要获取的流。
段文件获取单元214执行与段文件(例如，ISOBMFF文件)的获取相关联的处理。例如，段文件获取单元214经由网络从服务器获取存储再现期望的内容所必需的流的段文件。此外，例如，段文件获取单元214将所获取的段文件提供给数据分析和解码单元216。
注意，段文件获取单元214从其获取段文件(例如，ISOBMFF文件)的服务器与MPD文件获取单元212从其获取MPD文件的服务器可以相同或者可以不同。此外，段文件获取单元214可以基于从MPD文件处理单元213提供的流的选择结果来获取段文件。更具体地，段文件获取单元214可以从服务器获取存储基于MPD文件等选择的流的段文件。
显示控制单元215执行与内容再现(显示)的控制相关联的处理。例如，显示控制单元215获取关于观看或收听内容的用户的视点位置或视线方向的检测结果。此外，例如，显示控制单元215将所获取的检测结果(与用户的视点位置或视线方向相关联的信息)提供给MPD文件处理单元213或数据分析和解码单元216。
数据分析和解码单元216执行与数据分析和解码等相关联的处理。例如，数据分析和解码单元216处理从段文件获取单元214提供的ISOBMFF文件，并且生成内容的显示图像。此外，数据分析和解码单元216将指示显示图像的数据提供给显示单元217。
如图5所示，数据分析和解码单元216包括段文件处理单元221、解码单元222和显示信息生成单元223。
段文件处理单元221对段文件(例如，ISOBMFF文件)执行处理。例如，段文件处理单元221从由段文件获取单元214提供的ISOBMFF文件中提取期望流的编码数据。此外，例如，段文件处理单元221将所提取的编码数据提供给解码单元222。
注意，段文件处理单元221可以基于从显示控制单元215提供的与用户的视点位置或视线方向相关联的信息、由测量单元211测量的传输频带等来选择流，并且从对应的段文件中提取所选择的流的编码数据。
解码单元222执行与解码相关联的处理。例如，解码单元222对从段文件处理单元221提供的编码数据进行解码。此外，例如，解码单元222将通过解码获得的流提供给显示信息生成单元223。
显示信息生成单元223执行与指示显示图像的数据的生成相关联的处理。例如，显示信息生成单元223基于从显示控制单元215提供的与用户的视点位置和视线方向相关联的信息以及从解码单元222提供的流生成指示与用户的视点位置和视线方向对应的显示图像的数据。此外，例如，显示信息生成单元223将所生成的并且指示显示图像的数据提供给显示单元217。
显示单元217包括诸如各自具有例如液晶显示面板等的显示器和投影仪的任何类型的显示设备，并且执行与使用显示设备进行的图像显示相关联的处理。例如，显示单元217基于从显示信息生成单元223提供的数据执行诸如图像显示的内容再现。
<2.第一实施方式>
<使用ISOBMFF用信令通知与投影扩展相关联的信息>
可以使用作为段文件的ISOBMFF文件来执行用信令通知上述与投影扩展相关联的信息。
更具体地，可以生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的这样的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
例如，作为信息处理装置的文件生成装置100的段文件生成单元123可以用作文件生成单元，该文件生成单元生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。更具体地，信息处理装置(例如，文件生成装置100)可以包括文件生成单元(例如，段文件生成单元123)。
注意，ISOBMFF文件中的流被作为轨道来管理。因此，在使用ISOBMFF文件的情况下，通过选择轨道来选择流。
<上传处理的流程>
将参照图6中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S101中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S102中，段文件生成单元123生成包括与投影扩展相关联的信息的ISOBMFF文件。
在步骤S103中，记录单元114记录通过步骤S102中的处理生成的ISOBMFF文件。
在步骤S104中，上传单元115从记录单元114读出在步骤S103中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。
在步骤S104中的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100可以生成包括与投影扩展相关联的信息的ISOBMFF文件。
因此，客户端可以基于与投影扩展相关联的信息来适当地获取与其自身能力对应的流并且对该流进行渲染。更具体地，例如，能够处理应用了投影扩展的流的客户端可以选择应用了投影扩展的流，而不能处理这样的流的客户端可以选择未应用投影扩展的流。因此，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在ISOBMFF中用信令通知的与投影扩展相关联的信息的使用>
此外，可以使用在ISOBMFF文件中用信令通知的与投影扩展相关联的信息来执行流的选择和渲染。
更具体地说，允许获取包括与作为投影方法的扩展方法的投影扩展相关联的信息以及图像编码数据的文件，并且基于所获取的文件中包括的与投影扩展相关联的信息来选择图像编码数据的流，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像使通过由应用了投影扩展的投影方法将三维结构图像映射到该平面上而产生的。
例如，作为信息处理装置的客户端装置200的段文件获取单元214可以用作文件获取单元，其获取包括与作为投影方法的扩展方法的投影扩展相关联的信息以及图像编码数据的文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。此外，数据分析和解码单元216可以用作图像处理单元，其基于由文件获取单元获取的文件中包括的与投影扩展相关联的信息来选择图像编码数据的流。因此，信息处理装置(例如，客户端装置200)可以包括文件获取单元(例如，段文件获取单元214)和图像处理单元(例如，数据分析和解码单元216)。
<内容再现处理的流程>
将参照图7中的流程图描述在前述情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S121中，客户端装置200的段文件获取单元214获取包括与投影扩展相关联的信息的ISOBMFF文件。
在步骤S122中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S123中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S124中，段文件处理单元221将使用由客户端装置200处理的投影格式的轨道指定为选择候选。
在步骤S125中，段文件处理单元221确定客户端装置200是否处理扩展投影。在确定客户端装置200处理扩展投影的情况下，处理进行到步骤S126。
在步骤S126中，段文件处理单元221选择与用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等对应的轨道。此时，段文件处理单元221从由客户端装置200处理的扩展类型的轨道和在步骤S124中设置的选择候选中的未应用投影扩展的轨道中选择期望的轨道。在步骤S126中的处理完成之后，处理进行到步骤S128。
此外，在步骤S125中确定客户端装置200不处理扩展投影的情况下，处理进行到步骤S127。
在步骤S127中，段文件处理单元221选择与用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等对应的轨道。此时，段文件处理单元221从在步骤S124中设置的选择候选中未应用投影扩展的轨道中选择期望的轨道。在完成步骤S127中的处理之后，处理进行到步骤S128。
更具体地，段文件处理单元221基于ISOBMFF文件中包括的与投影扩展相关联的信息将与客户端装置200的功能(能力)对应的轨道指定为候选，并且从该候选中选择期望的轨道。
在步骤S128中，段文件处理单元221从在步骤S121中获取的ISOBMFF文件中提取在步骤S126或步骤S127中选择的轨道的流的编码数据。
在步骤S129中，解码单元222对在步骤S128中提取的流的编码数据进行解码。
在步骤S130中，显示信息生成单元223再现通过步骤S129中的解码获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S130中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用与ISOBMFF文件中包括的与投影扩展相关联的信息来再现ISOBMFF文件中包括的流(与流对应的内容)。
因此，客户端装置200能够基于与投影扩展相关联的信息来适当地获取与其自身能力对应的流并且对该流进行渲染。更具体地，例如，能够处理应用了投影扩展的流的客户端可以选择应用了投影扩展的流，而不能处理这样的流的客户端可以选择未应用投影扩展的流。因此，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<与投影扩展相关联的信息的细节>
注意，与投影扩展相关联的信息可以包括指示是否应用了投影扩展的信息(信息(A))。例如，文件生成装置100的段文件生成单元123可以提供具有与投影扩展相关联并且包括指示是否应用了投影扩展的信息(信息(A))的信息的ISOBMFF文件。此外，例如，客户端装置200的数据分析和解码单元216可以基于ISOBMFF文件中包括的与投影扩展相关联的信息中的指示是否应用了投影扩展的信息(信息(A))来识别是否应用了投影扩展，并且基于识别的结果来选择流。
此外，与投影扩展相关联的信息可以包括指示要应用的投影扩展类型的信息(信息(B))。例如，文件生成装置100的段文件生成单元123可以提供具有与投影扩展相关联并且包括指示要应用的投影扩展类型的信息(信息(B))的信息的ISOBMFF文件。此外，例如，客户端装置200的数据分析和解码单元216可以基于ISOBMFF文件中包括的与投影扩展相关联的信息中的指示要应用的投影扩展类型的信息(信息(B))来识别要应用的投影扩展类型，并且基于识别的结果来选择流。
注意，由该信息指示的投影扩展类型可以包括上述EAC。此外，由该信息指示的投影扩展类型可以包括上述偏心球面映射。
此外，与投影扩展相关联的信息可以包括渲染到三维结构中所必需的信息(信息(C))。例如，文件生成装置100的段文件生成单元123可以提供具有与投影扩展相关联并且包括渲染到三维结构中所必需的信息(信息(C))的信息的ISOBMFF文件。此外，例如，客户端装置200的数据分析和解码单元216可以使用ISOBMFF文件中包括的与投影扩展相关联的信息中的渲染到三维结构中所必需的信息(信息(C))来选择流，并且将从所选择的流中获得的图像渲染到三维结构中。
客户端能够通过用信令通知上述与投影扩展相关联的信息来适当地获取并渲染投影扩展流。因此，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<投影方法>
接下来将描述用于将三维结构图像映射到单个平面上的投影方法的示例，该三维结构图像是在水平方向上360度环绕并且在竖直方向上180度环绕的图像并且被投影在三维结构上。可以采用任何方法用于投影方法。例如，投影方法可以包括上述的ERP。此外，投影方法可以包括上述的CMP。
<文件配置>
在ISOBMFF文件中，流被作为轨道来管理，而元数据被存储在具有层状结构的盒中。图8是描绘ISOBMFF文件的盒层状结构的示例的图。如图8所示，存储与对应轨道相关联的元数据的轨道盒(trak)定义在电影盒(moov)下方。各个轨道的元数据被存储在以轨道盒中包括的层状结构另外提供的各种盒中。
上述与投影扩展相关联的信息可以被包括在如此形成为图像编码数据的每个流的信息的文件中。例如，文件生成单元可以生成包括与投影扩展相关联的信息作为用于图像编码数据的每个流的信息的文件，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，在OMAF的ISOBMFF文件中，与投影扩展相关联的信息可以被存储在用信令通知的投影全向视频盒(povd)中，投影全向视频盒(povd)位于方案信息盒(schi)下方，方案信息盒(schi)位于受限方案信息盒(rinf)下方，受限方案信息盒(rinf)位于样本条目下方。
例如，可以在上述投影全向视频盒(povd)中定义新的投影增强盒，并且与投影扩展相关联的信息可以被存储在该盒中。
图9中描绘的语法301指示投影全向视频盒(povd)的语法的示例。在应用了投影扩展的情况下，如语法301中所示，在投影全向视频盒(povd)中定义存储与所应用的投影扩展相关联的信息的投影增强盒。
图10中描绘的语法302指示投影增强盒的语法的示例。如语法302中所示，在投影增强盒中定义了指示所应用的扩展类型的enhancement_type字段。
图11中描绘的语义303指示enhancement_type字段的语义的示例。在这样的情况下，enhancement_type＝＝0指示应用偏心球面映射。此外，enhancement_type＝＝1指示应用EAC。此外，enhancement_type＝＝2指示应用EAC和偏心球面映射。在ERP被用作这样的示例中的投影方法的情况下，注意，EAC不允许被用作投影扩展类型。因此，enhancement_type不允许具有值1和2。
此外，如语法302所示，在第三行以及随后行中的“if”语句中针对每种扩展类型(针对enhancementn_type的每个值)存储渲染所必需的信息。
如上所述，在轨道中(在投影全向视频盒(povd)中)存在投影增强盒指示投影扩展被应用于轨道的流。因此，投影增强盒的存在或不存在对应于指示是否应用了投影扩展的信息(上述信息(A))。
换句话说，与投影扩展相关联的信息可以包括投影增强盒，其被存储在投影全向视频盒中并且通过表明该盒的存在来指示应用了投影扩展。
此外，在投影增强盒中定义的enhancement_type字段是指示哪种投影扩展被应用于对应流的信息(上述信息(B))。换句话说，与投影扩展相关联的信息可以包括存储在投影增强盒中并且指示所应用的投影扩展类型的enhancement_type。
此外，针对投影增强盒中的enhancement_type值的每个值定义的信息是渲染所必需的并且针对每种扩展类型用信令通知的信息(上述信息(C))。换句话说，与投影扩展相关联的信息可以针对每种投影扩展类型包括存储在投影增强盒中的渲染到三维结构中所必需的信息。
以这样的方式，客户端装置200能够识别是否应用了投影扩展，并且基于投影增强盒的存在和不存在和enhancement_type的值来识别所应用的扩展类型。此外，客户端装置200能够基于针对每个enhancement_type定义的信息来获得渲染所必需的信息。因此，客户端装置200可以根据其自身的能力来选择轨道。
因此，客户端装置200因而能够适当地获取投影扩展流并且对这些流进行渲染。换句话说，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。因此，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
注意，如语法301(图9)所示，在投影全向视频盒(povd)中也定义了投影格式盒。图12中描绘的语法304指示投影格式盒的语法的示例。如语法304中所示，在投影增强盒中定义了投影格式结构。
图13中描述的语法305指示投影格式结构的语法的示例。如语法305中所示，在投影格式结构中定义了指示所应用的投影方法(对应的流所采用的投影格式)的projection_type字段。例如，通过projection_type用信令通知采用ERP和CMP中哪个等。
<投影增强盒的其他示例>
注意，投影增强盒的位置不限于投影全向视频盒下方的位置。例如，可以在诸如样本条目的另一盒下方用信令通知投影增强盒。
即使在这样的情况下，客户端装置200也可以类似地识别是否应用了投影扩展，并且基于投影增强盒的存在或不存在以及enhancement_type的值来识别所应用的扩展类型。此外，客户端装置200可以基于针对每个enhancement_type定义的信息来获得渲染所必需的信息。因此，客户端装置200能够根据其自身的能力来选择轨道。
<projection_type和enhancement_type的其他示例>
此外，例如，可以在OMAF中已经指定的投影格式盒中的投影格式结构中包括的projection_type字段中将流作为投影扩展流来用信令通知，而可以在投影增强盒的enhancement_type字段中用信令通知投影格式和扩展类型。
图14中的语义306指示在这样的情况下projection_type的语义的示例。如语义306中所示，在这样的情况下，projection_type＝＝0指示ERP被应用为投影方法(投影格式)。此外，projection_type＝＝1指示CMP被应用为投影方法(投影格式)。此外，projection_type＝＝2指示应用了投影扩展。
图15中的语义307指示在这样的情况下enhancement_type的语义的示例。如语义307中所示，在这样的情况下enhancement_type＝＝0指示ERP被应用为投影方法(投影格式)以及偏心球面映射被应用为投影扩展类型。此外，在这样的情况下enhancement_type＝＝1指示CMP被应用为投影方法(投影格式)以及偏心球面映射被应用为投影扩展类型。此外，enhancement_type＝＝2指示EAC被应用为投影扩展类型。此外，enhancement_type＝＝3指示EAC和偏心球面映射被应用为投影扩展类型(应用EAC和偏心球面映射的组合)。
在这样的情况下，客户端装置200还能够识别是否应用了投影扩展，并且基于投影增强盒的存在或不存在以及enhancement_type的值来识别所应用的类型。此外，客户端装置200能够基于针对每个enhancement_type定义的信息来获得渲染所必需的信息。因此，客户端装置200可以根据其自身的能力来选择轨道。
在进一步的修改中，在除了扩展类型之外的附加信息对于渲染是不必要的情况下，可以在投影格式盒中的投影格式结构中包括的projection_type字段中用信令通知类型，并且可以在投影增强盒的enhancement_type中仅用信令通知需要除了扩展类型之外的附加信息的类型。
图16中的语义308指示在这样的情况下projection_type的语义的示例。如语义308中所示，在这样的情况下projection_type＝＝0指示ERP被应用为投影方法(投影格式)。此外，projection_type＝＝1指示CMP被应用为投影方法(投影格式)。然而，projection_type＝＝2指示不需要用于渲染的附加信息的EAC被应用为投影扩展类型。
图17中的语义309指示在这样的情况下enhancement_type的语义的示例。如语义309中所示，在这样的情况下enhancement_type＝＝0指示需要用于渲染的附加信息的偏心球面映射被应用为投影扩展类型。
在这样的情况下，客户端装置200能够类似地识别是否应用了投影扩展，并且基于projection_type字段和enhancement_type字段的值来识别所应用的扩展类型。此外，客户端装置200能够基于针对每个enhancement_type定义的信息来获得渲染所必需的信息。因此，客户端装置200可以根据其自身的能力来选择轨道。
<专用于投影扩展类型的盒>
代替使用上述投影增强盒，可以在每种扩展类型的投影全向视频盒(POVD)下方用信令通知单独的盒(专用于所应用的扩展类型的盒)。
换句话说，与投影扩展相关联的信息可以包括存储在ISOBMFF文件中并且专用于投影扩展类型的盒。
图18中描绘的语法310是在所应用的投影扩展类型是偏心球面映射的情况下投影全向视频盒的语法的示例。在这样的情况下，如语法310所示，在投影全向视频盒下方新定义偏移球面投影盒。偏移球面投影盒是专用于偏心球面映射的盒。
图19中描绘的语法311指示偏移球面投影盒的语法的示例。如语法311中所示，在偏移球面投影盒中用信令通知渲染所必需的信息。
在这样的情况下，客户端装置200能够通过在投影全向视频盒下方定义的偏移球面投影盒的存在来识别出应用了投影扩展以及所应用的投影扩展类型是偏心球面映射。此外，客户端装置200能够基于在偏移球面投影盒中定义的信息来获得渲染所必需的信息。因此，客户端装置200可以根据其自身的能力来选择轨道。
在这样的情况下，类似于上文，还可以在存储在投影格式盒中的投影格式结构中用信令通知指示应用于投影扩展流的扩展类型的enhancement_type。在这样的情况下enhancement_type的语义类似于图11的语义。
此外，在除了扩展类型之外的附加信息对于渲染是不必要的情况下，可以仅用信令通知enhancement_type，而不需用信令通知专用于所应用的扩展类型的盒(针对每种扩展类型的单独的盒)。
图20中描绘的语法312指示在这样的情况下投影格式结构的语法的示例。如语法312中所示，在这样的情况下，将enhancement_type与projection_type一起定义在投影格式结构中。
在这样的情况下，偏移球面投影盒在轨道中存在指示偏心球面映射被应用于对应轨道的流。在其他投影扩展类型的情况下，类似地设置专用于每种投影扩展类型的盒。此外，enhancement_type字段指示哪种投影扩展类型被应用于对应的流。
客户端装置200能够通过以下根据客户端装置200的能力选择轨道：识别每个投影扩展方法的单独的盒的存在以及是否参考enhancement_type的值应用了投影扩展，以及如果应用了投影扩展则识别投影扩展类型。
注意，在这样的情况下上传处理的流程也类似于参照图6的流程图描述的情况的上传处理的流程。此外，在这样的情况下的内容再现处理的流程也类似于参照图7的流程图描述的情况的内容再现处理的流程。
注意，用于每种投影扩展方法的单独的盒诸如偏移球面投影盒的位置不限于投影全向视频盒下方的位置。例如，可以在诸如样本条目的另一盒下方用信令通知用于每种投影扩展方法的单独的盒。
<3.第二实施方式>
<使用MPD文件用信令通知与投影扩展相关联的信息>
可以在MPD文件中用信令通知上述与投影扩展相关联的信息。
更具体地，允许生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的MPD文件生成单元113可以用作文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。换句话说，信息处理装置(例如，文件生成装置100)可以包括文件生成单元(例如，MPD文件生成单元113)。
注意，将MPD文件中的每个流的元数据作为自适应集或表示来管理。因此，在使用MPD文件的情况下，通过选择自适应集或表示来选择流。
<上传处理的流程>
将参照图21中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S151中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S152中，段文件生成单元123生成与图像对应的段文件。
在步骤S153中，MPD文件生成单元113生成包括与在步骤S151中获取的图像和元数据(以及在步骤S152中生成的段文件)对应且与投影扩展相关联的信息的MPD文件。
在步骤S154中，记录单元114记录通过步骤S153中的处理生成的MPD文件和通过步骤S152中的处理生成的段文件。
在步骤S155中，上传单元115从记录单元114读出在步骤S154中记录的MPD文件和段文件，并且将这些文件上传至服务器。
在步骤S155中的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100能够生成包括与投影扩展相关联的信息的MPD文件。
因此，客户端能够适当地获取与其自身能力对应的段文件(流)，并且基于与投影扩展相关联的信息对段文件进行渲染。换句话说，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。因此，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在MPD文件中用信令通知的与投影扩展相关联的信息的使用>
此外，可以使用在MPD文件中用信令通知的与投影扩展相关联的信息来选择流。
更具体地，允许获取包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，并且基于所获取的控制文件中包括的与投影扩展相关联的信息来选择图像编码数据的流，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的客户端装置200的MPD文件获取单元212可以用作文件获取单元，其获取包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。此外，MPD文件处理单元213可以用作图像处理单元，其基于由文件获取单元获取的控制文件中包括的与投影扩展相关联的信息来选择图像编码数据流。因此，信息处理装置(例如，客户端装置200)可以包括文件获取单元(例如，MPD文件获取单元212)和图像处理单元(例如，MPD文件处理单元213)。
<内容再现处理的流程>
将参照图22中的流程图描述在前述情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S171中，客户端装置200的MPD文件获取单元212获取包括与投影扩展相关联的信息的MPD文件。
在步骤S172中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S173中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S174中，MPD文件处理单元213将使用由客户端装置200处理的投影格式的自适应集指定为选择候选。
在步骤S175中，MPD文件处理单元213确定客户端装置200是否处理扩展投影。在确定客户端装置200处理扩展投影的情况下，处理进行到步骤S176。
在步骤S176中，MPD文件处理单元213选择与用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等对应的自适应集。此时，MPD文件处理单元213从由客户端装置200处理的扩展类型的自适应集和在步骤S174中设置的选择候选中未应用投影扩展的自适应集中选择期望的自适应集。在步骤S176中的处理完成之后，处理进行到步骤S178。
此外，在步骤S175中确定客户端装置200不处理扩展投影的情况下，处理进行到步骤S177。
在步骤S177中，MPD文件处理单元213选择与用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等对应的自适应集。此时，MPD文件处理单元213从在步骤S174中设置的选择候选中未应用投影扩展的自适应集中选择期望的自适应集。在步骤S177中处理完成之后，处理进行到步骤S178。
更具体地，MPD文件处理单元213基于在MPD文件中包括的与投影扩展相关联的信息，将与客户端装置200的功能(能力)对应的自适应集指定为候选，并且从该候选中选择期望的自适应集。
在步骤S178中，MPD文件处理单元213从在步骤S176或步骤S177中选择的自适应集中选择与用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等对应的表示。
在步骤S179中，段文件获取单元214获取与在步骤S178中选择的表示对应的段文件。
在步骤S180中，段文件处理单元221从在步骤S179中获取的段文件中提取编码数据。
在步骤S181中，解码单元222对在步骤S180中提取的流的编码数据进行解码。
在步骤S182中，显示信息生成单元223再现通过步骤S181中的解码获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S182中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用在MPD文件中包括的与投影扩展相关联的信息来再现段文件中包括的流(与流对应的内容)。
因此，客户端装置200能够适当地获取与其自身能力对应的流并且基于与投影扩展相关联的信息对这些流进行渲染。换句话说，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。因此，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<与投影扩展相关联的信息的细节>
注意，类似于第一实施方式的情况，与投影扩展相关联的信息可以包括指示是否应用了投影扩展的信息(信息(A))。例如，文件生成装置100的MPD文件生成单元113可以提供具有与投影扩展相关联并且包括指示是否应用了投影扩展的信息(信息(A))的信息的MPD文件。此外，例如，客户端装置200的MPD文件处理单元213可以基于MPD文件中包括的与投影扩展相关联的信息中的指示是否应用了投影扩展的信息(信息(A))来识别是否应用了投影扩展，并且基于识别的结果来选择流。
此外，类似于第一实施方式的情况，与投影扩展相关联的信息可以包括指示要应用的投影扩展类型的信息(信息(B))。例如，文件生成装置100的MPD文件生成单元113可以提供具有与投影扩展相关联并且包括指示要应用的投影扩展类型的信息(信息(B))的信息的ISOBMFF文件。此外，例如，客户端装置200的MPD文件处理单元213可以基于MPD文件中包括的与投影扩展相关联的信息中的指示要应用的投影扩展类型的信息(信息(B))来识别要应用的投影扩展类型，并且基于识别的结果来选择流。
注意，与第一实施方式的情况类似，由该信息指示的投影扩展类型可以包括上述EAC。此外，由该信息指示的投影扩展类型可以包括上述偏心球面映射。
此外，类似于第一实施方式，与投影扩展相关联的信息可以包括渲染到三维结构中所必需的信息(信息(C))。例如，文件生成装置100的MPD文件生成单元113可以提供具有与投影扩展相关联并且包括渲染到三维结构中所必需的信息(信息(C))的信息的MPD文件。此外，例如，客户端装置200的MPD文件处理单元213可以使用MPD文件中包括的与投影扩展相关联的信息中的渲染到三维结构中所必需的信息(信息(C))来选择流。此外，数据分析和解码单元216可以使用渲染到三维结构中所必需的信息(信息(C))来执行渲染。
客户端能够通过用信令通知上述与投影扩展相关联的信息来适当地获取并渲染投影扩展流。换句话说，该投影格式能够在确保客户端之间的兼容性的同时满足视口相关的图像质量提高。因此，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<投影方法>
接下来将描述用于将三维结构图像映射到单个平面上的投影方法的示例，该三维结构图像是在水平方向上360度环绕并且在竖直方向180度环绕的图像并且被投影在三维结构上。可以采用任何方法用于投影方法。例如，投影方法可以包括上述ERP。此外，投影方法可以包括上述CMP。
<通过投影增强描述符用信令通知>
与第一实施方式类似，在在MPD文件中用信令通知与投影扩展相关联的信息的情况下，可以包括与投影扩展相关联的信息作为用于图像编码数据的每个流的信息。例如，文件生成单元可以生成包括与投影扩展相关联的信息作为用于图像编码数据的每个流的信息的控制文件。
例如，在MPD文件中，@schemIdUri＝urn:mpeg:mpegi:omaf:2017:prep”的基本属性(Essential Property)被新定义为投影增强描述符。注意，可以使用相同SchemeIdUri的补充属性(Supplemental Property)。
注意，不处理基本属性的schemeIdUri的DASH客户端需要忽略写入该属性的自适应集(或表示等)。此外，不处理补充属性的SchemeIdUri的DASH客户端可以使用自适应集(或表示等)而忽略属性值。
此外，例如，允许投影增强描述符在MPD级别、自适应集级别或表示级别下出现。
图23中描绘的属性值331是投影增强描述符的属性值。属性值omaf；@enhancement_type的值0指示应用偏心球面映射。此外，属性值的值1指示应用EAC。
图24中的数据类型332指示在投影增强描述符中定义的数据类型的示例。
例如，在自适应集是通过在应用偏心球面映射的状态下将投影扩展应用于CMP而获得的EAC流的情况下，在自适应集中用信令通知图25中描绘的描述符。图25中描绘的语法333指示基本属性的语法的示例。
更具体地，与投影扩展相关联的信息可以包括omaf:@enhancement_type，其是指示所应用的投影扩展类型的属性值并且对应于MPD文件中定义的投影增强描述符。
描述符在自适应集中的存在指示投影扩展被应用于由自适应集(信息(A))引用的视频流，并且表明由enhancement_type应用的扩展类型(信息(B))。
客户端装置200能够基于投影增强描述符的存在或不存在和enhancement_type的值来识别是否应用了投影扩展以及所应用的扩展类型，并且根据客户端装置200的能力选择自适应集。
此外，可以在投影格式描述符的投影类型(projection_type)字段中用信令通知作为投影扩展流的流，而可以在投影增强描述符的enhancement_type中用信令通知投影格式和扩展类型。
更具体地，与投影扩展相关联的信息还可以包括omaf:@projection_type，其是在MPD文件中定义的投影格式描述符中包括的指示是否应用了投影扩展的属性值。
在@schemeIdUri＝“urn:mpeg:mpegi:omaf:2017:pf.”的基本属性中用信令通知投影格式描述符。图26中的属性值334指示描述符的扩展属性值的示例。
例如，投影方法中的每一个可以由任何值指示。属性值omaf:projection_type的值0可以指示所应用的投影方法是ERP。此外，属性值omaf:@projection_type的值1可以指示所应用的投影方法是CMP。此外，属性值omaf:projection_type的值2可以指示应用了投影扩展。
此外，图27描绘了在这样的情况下投影增强描述符的enhancement_type的示例。图27中描绘的属性值335指示描述符的属性值的示例。
每种类型可以由任何值来指示。例如，属性值omaf:@enhancement_type的值0可以指示所应用的投影扩展类型包括ERP和偏心球面映射。此外，属性值omaf:@enhancement_type的值1可以指示所应用的投影扩展类型包括CMP和偏心球面映射。此外，属性值omaf:@enhancement_type的值2可以指示所应用的投影扩展类型是EAC。此外，属性值omaf:@enhancement_type的值3可以指示所应用的投影扩展类型包括EAC和偏心球面映射。
注意，上述示例是将在DASH分发期间由客户端在选择流时信息不是必需的纳入考虑而不用信令通知渲染所必需的除了扩展类型之外的附加信息(信息(C))的情况。然而，可以执行用信令通知附加信息(信息(C))。
<专用于投影扩展类型的描述符>
代替使用上述投影增强描述符，可以针对每种扩展类型用信令通知单独的描述符(专用于所应用的扩展类型的描述符)。
例如，在应用偏心球面映射的投影扩展流的情况下，@schemeIdUri＝“urn:mpeg:mpegi:omaf:2017:ofsp”的基本属性被新定义为偏移球面投影描述符。类似于上述投影增强描述符的情况，在这样的情况下可以使用相同SchemeIdUri的补充属性。
注意，类似于上述投影增强描述符的情况，允许偏移球面投影描述符在MPD级别、自适应集级别或表示级别下出现。
此外，类似于图28中描绘的属性值336的情况，可以在OMAF中定义的投影格式描述符中用信令通知作为指示应用于投影扩展流的扩展类型的属性值的增强类型(enhancement_type)。
每种类型可以由任何值来指示。例如，属性值omaf:@enhancement_type的值0可以指示所应用的投影扩展类型是偏心球面映射。此外，属性值omaf:@enhancement_type的值1可以指示所应用的投影扩展类型是EAC。
以上述方式，客户端装置200能够基于投影扩展方法中的每一种的单独的描述符的存在或不存在和enhancement_type的值来识别是否应用了投影扩展以及所应用的扩展类型，并且根据客户端装置200的能力选择自适应集。
注意，上述示例是将在DASH分发期间在由客户端选择流时信息不是必需的纳入考虑而不用信令通知渲染所必需的除了扩展类型之外的附加信息(信息(C))的情况。然而，可以执行用信令通知附加信息(信息(C))。
<4.第三实施方式>
<偏心球面映射流分发>
接下来将描述用于分发对其应用偏心球面映射作为投影扩展方法之一的流(也称为偏心球面映射流)的信令的示例。
<在ISOBMFF文件中用信令通知与渲染相关联的信息>
在ISOBMFF文件包括应用了投影扩展的流的情况下，也可以用信令通知对应于投影扩展的与渲染相关联的信息。与渲染相关联的信息包括在将图像渲染到三维结构中时使用的信息。例如，与渲染相关联的信息可以包括与图像投影到三维结构的偏移相关联的信息。例如，包括偏心球面映射流的ISOBMFF文件可以包括与偏心球面映射的偏移相关联的信息。
更具体地，可以生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，该投影方法用于将通过将图像投影在三维结构上而产生的三维结构图像映射到单个平面上。
例如，作为信息处理装置的文件生成装置100的段文件生成单元123可以用作文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，该投影方法用于将通过将该图像投影在三维结构上而产生的三维结构图像映射到单个平面上。因此，信息处理装置(例如，文件生成装置100)可以包括文件生成单元(例如，段文件生成单元123)。
<上传处理的流程>
将参照图29中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S201中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S202中，段文件生成单元123生成包括对应于投影扩展方法的与渲染相关联的信息的ISOBMFF文件。
在步骤S203中，渲染单元114记录在步骤S202中生成的ISOBMFF文件。
在步骤S204中，上传单元115从记录单元114读出在步骤S203中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。
在步骤S204中的处理完成之后，上传处理结束。
通过执行上述上传处理，文件生成装置100可以生成包括对应于投影扩展方法的与渲染相关联的信息的ISOBMFF文件。
因此，客户端可以通过使用与渲染相关联的信息来将应用了投影扩展的流的图像适当地且容易地渲染到三维结构中。因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在ISOBMFF中用信令通知的与渲染相关联的信息的使用>
此外，可以使用在ISOBMF文件中用信令通知的与渲染相关联的信息来执行渲染。例如，在ISOBMFF文件包括偏心球面映射流的情况下，可以使用在ISOBMFF文件中用信令通知的与偏心球面映射的偏移相关联的信息来执行渲染。
更具体地，允许获取包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息以及图像编码数据的文件，并且基于在所获取的文件中包括的与偏移相关联的信息来将由图像编码数据获得的投影平面图像渲染到三维结构中，该投影方法用于将通过将该图像投影在三维结构上而产生的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的段文件获取单元214可以用作文件获取单元，其获取包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息以及图像编码数据的文件，该投影方法用于将通过将图像投影在三维结构上而产生的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。此外，数据分析和解码单元216也可以用作图像处理单元，其基于所获取的文件中包括的与该偏移相关联的信息来将由图像编码数据获得的投影平面图像渲染为三维结构。因此，信息处理装置(例如，客户端装置200)可以包括文件获取单元(例如，段文件获取单元214)和图像处理单元(例如，数据分析和解码单元216)。
<内容再现处理的流程>
将参照图30中的流程图描述在前述情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S221中，客户端装置200的段文件获取单元214获取包括对应于投影扩展方法的与渲染相关联的信息的ISOBMFF文件。
在步骤S222中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S223中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S224中，段文件处理单元221选择与用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等对应的轨道。
在步骤S225中，段文件处理单元221从在步骤S221中获取的ISOBMFF文件中提取在步骤S224中选择的轨道的流的编码数据。
在步骤S226中，解码单元222对在步骤S225中提取的流的编码数据进行解码。
在步骤S227中，显示信息生成单元223使用ISOBMFF文件中包括的与渲染相关联的信息来再现通过步骤S226中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S227中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用ISOBMFF文件中包括的对应于投影扩展方法的与渲染相关联的信息来再现在ISOBMFF文件中包括的流(与流对应的内容)。
因此，客户端装置200能够通过使用与渲染相关联的信息来将应用了投影扩展的流的图像适当地且容易地渲染为三维结构。因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<与渲染相关联的信息的细节>
与渲染相关联的信息中包括的与投影的偏移相关联的信息可以包括与偏移方向相关联的信息和与偏移大小相关联的信息。例如，文件生成装置100的段文件生成单元123可以提供具有与偏移方向相关联的信息和与偏移大小相关联的信息的ISOBMFF文件。此外，例如，客户端装置200的数据分析和解码单元216可以基于各自包括在ISOBMFF文件中的与偏移方向相关联的信息和与偏移大小相关联的信息来执行渲染。
例如，在ISOBMFF文件包括偏心球面映射流的情况下，ISOBMFF文件可以包括与偏心球面映射的偏移方向和偏移大小相关联的信息。
此外，上述与偏移方向相关联的信息可以包括与偏移方向的方位角相关联的信息和与偏移方向的仰角相关联的信息。例如，与偏心球面映射的偏移方向相关联的信息可以包括与偏心球面映射的偏移方向的方位角相关联的信息和与偏心球面映射的偏移方向的仰角相关联的信息。
注意，在图像编码数据流中，与偏移相关联的信息的每个值可以是固定的。
在这样的情况下，与偏移相关联的信息可以作为用于图像编码数据的每个流的信息被包括在ISOBMFF文件中。
例如，可以在第一实施方式中描述的投影增强盒中用信令通知这样的信息项目。图31中描绘的语法351指示在这样的情况下投影增强盒的语法的示例。如语法351中所示，针对每个enhancement_type定义诸如offset_azimuth、offset_height和offset_value的字段。
图32中的语义352指示所添加的字段的语义的示例。
如语义352中所示，offset_azimuth是指示偏心球面映射的偏移方向的方位角的信息。例如，信息的值的范围为-180*216至180*216-1。此外，offset_elevation是指示偏移方向的仰角的信息。例如，信息的值的范围为-90*216至90*216-1。此外，offset_value是指示偏移的值的信息。例如，以2-32为单位用信令通知该值。此外，该值的范围为0至2-32-1。
因此，与偏移相关联的信息可以包括各自被存储在ISOBMFF文件的投影全向视频盒中的投影增强盒中的指示偏移方向的方位角的offset_azimuth、指示偏移方向的仰角的offset_elevation，以及指示偏移大小的offset_value。
客户端装置200能够通过从投影格式盒中识别原始投影格式并且还参考在投影增强盒中用信令通知的偏移方向和偏移值来适当地渲染偏心球面映射流。
注意，在第一实施方式中描述的偏心球面映射流所特有的偏移球面投影盒的情况下，也可以用信令通知类似的字段。
此外，虽然本文已经描述了用信令通知一种类型的偏移方向和偏移值的示例，但是方向和值的数目可以是任何数目。可以用信令通知多个偏移方向和偏移值以指示多个偏移被应用于一个偏心球面映射流。
至此已描述了ISOBMFF文件的轨道的样本条目中的信令。根据该方法，针对偏心球面映射流可以用信令通知渲染所必需的信息，在该偏心球面映射流中流中的与渲染相关联的信息，例如偏移方向和偏移值是不可改变的，即，图像质量提高方向不改变。因此，客户端能够适当地执行渲染。
<与渲染相关联的信息的动态变化>
注意，与渲染相关联的信息(偏移方向、偏移值等)可以在流中动态地变化。在这样的情况下，仅使用轨道的样本条目中的信息信令难以处理信息。将描述用于处理的添加的信令的示例。
<SEI(补充增强信息)消息>
用于HEVC(高效视频编码)以及AVC(高级视频编码)的SEI(补充增强信息)消息可以被扩展以处理在流中动态变化的与渲染相关联的信息。
例如，可以新定义球面偏移投影SEI消息，并且可以将在流中动态变化的与渲染相关联的信息(例如，偏移方向和偏移值)存储在所定义的消息中。例如，在球面偏移投影SEI消息中以存取单元为单位用信令通知与渲染相关联的信息。
图33中描绘的语法353指示球面偏移投影SEI消息的语法的示例。此外，图34中的语义354指示字段的语义的示例。
在附图中，offset_projection_cancel_flag是指示是否取消与偏移相关联的信息的标志。每个状态可以由任何值来指示。例如，在标志具有值1的情况下，可以取消按输出顺序连续应用在前SEI。此外，在标志具有值0的情况下，可以用信令通知偏移信息。
在附图中，offset_projection_cancel_flag是控制SEI的应用范围的标志。每个状态可以由任何值来指示。例如，在标志具有值0的情况下，与SEI相关联的信息可以仅应用于包括SEI的图片。此外，在标志具有值1的情况下，可以继续SEI的应用直到开始新的编码视频序列或到达流的末尾为止。
在附图中，offset_projection_reserved_zero_6bits用0填充。
在附图中，offset_azimuth是指示偏移方向的方位角的信息。例如，以2-16度为单位用信令通知该值。例如，该值的范围是从-180*216至180*216-1。
在附图中，offset_elevation是指示偏移方向的仰角的信息。例如，以2-16度为单位用信令通知该值。例如，该值的范围是从-90*216至90*216-1。
在附图中，offset_value是指示偏移值的信息。例如，以2-32为单位用信令通知该值。例如，该值的范围是从0至2-32-1。
<定时元数据>
可以使用定时元数据的机制，定时元数据为存储按时间序列可改变的元数据的流。例如，可以重新定义偏移定时元数据，并且可以将在流中动态变化的与渲染相关联的信息(例如，偏移方向和偏移值)存储在所定义的元数据中。例如，在偏移定时元数据中以样本为单位用信令通知与渲染相关联的信息。以这样的方式，可以用信令通知各自在要参考的偏心球面映射流中可动态变化的偏移方向和偏移值。
此时，注意，“ofsp”可以用于例如与存储与偏移定时元数据相关联的偏心球面映射流的轨道对应的轨道参考类型。
通过使用定时元数据，客户端能够预先识别图像质量提高方向，并且将该方向指定为选择流的参考，而无需获取和解码偏心球面映射流。
图35中描绘的语法355指示在这样的情况下的偏移样本条目的语法的示例。图36所示的语法356指示在这样的情况下的偏移样本的语法的示例。注意，偏移样本中每个字段的语义类似于图32的语义。
<样本组>
可以使用称为样本组的工具以样本为单位将在流中可动态变化的与渲染相关联的各个信息片段(例如，偏移方向和偏移值)彼此相关联，样本组在ISOBMFF文件中被定义为用于以样本为单位关联各个元信息片段的系统。
如图37描述的，在作为组条目的样本表盒的样本组描述盒中用信令通知描述元信息的样本组，并且通过样本至组盒将样本组与样本相关联。
如图37中所示，“样本至组盒”的分组类型(grouping_type)指示相关联的样本组描述盒的grouping_type。每一条目(1个条目)用信令通知样本计数(sample_count)和组描述索引(group_description_index)。group_description_index指示相关联的组条目的索引，而sample_count指示属于该组条目的样本数目。
例如，可以重新定义偏移球面投影样本组条目，并且可以将在流中动态变化的与渲染相关联的信息(例如，偏移方向和偏移值)存储在所定义的条目中。
图38中的语法371指示偏移球面投影样本组条目的语法的示例。在这样的情况下，grouping_type是“ofgp”。偏移球面投影样本组条目中每个字段的语义与图32的语义相似。
以这样的方式，可以用信令通知各自在要参考的偏心球面映射流中可动态变化的偏移方向和偏移值。
注意，例如在用信令通知如上所述的可动态变化的偏移方向和偏移值的情况下，针对初始图片用信令通知在投影增强盒中用信令通知的用于渲染偏心球形映射流的信息。
此外，可以在投影增强盒或其他盒中用信令通知指示偏移方向和偏移值在流中可动态变化的标志。换句话说，与偏移相关联的信息可以包括指示与偏移相关联的信息在流中是否动态变化的信息。通过参考该信息，客户端装置200能够容易地将流识别为图像质量提高方向动态变化的偏心球面映射流。
<在MPD文件中用信令通知与渲染相关联的信息>
如在第二实施方式中所述，在在MPD文件中用信令通知与投影扩展相关联的信息的情况下，可以类似地用信令通知对应于投影扩展的与渲染相关联的信息。与渲染相关联的信息包括在将图像渲染到三维结构中时使用的信息。例如，与渲染相关联的信息可以包括与图像投影到三维结构的偏移相关联的信息。例如，在用于控制偏心球面映射流的分配的MPD文件的情况下，与偏心球面映射的偏移相关联的信息(例如，偏移方向和偏移值)可以被包括在MPD文件中。
此外，作为与偏移相关联的信息，可以用信令通知指示与偏移相关联的信息在流中动态变化的标志。在这样的情况下，在投影增强描述符或偏移球面投影描述符中用信令通知标志就足够了。以这样的方式，能够产生类似于上述ISOBMFF文件的效果的效果。
更具体地，允许生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的MPD文件生成单元113可以用作文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。更具体地，信息处理装置(例如，文件生成装置100)可以包括文件生成单元(例如，MPD文件生成单元113)。
<上传处理的流程>
将参照图39中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S241中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S242中，段文件获取单元123生成在步骤S241中获取的图像的段文件。
在步骤S243中，MPD文件生成单元113生成包括对应于投影扩展的与渲染相关联的信息的MPD文件。例如，在生成与偏心球形映射流对应的MPD文件的情况下，MPD文件生成单元113生成包括对应于偏心球面映射的与渲染相关联的信息的MPD文件。
在步骤S244中，记录单元114记录通过步骤S242中的处理生成的段文件。此外，记录单元114记录通过步骤S243中的处理生成的MPD文件。
在步骤S245中，上传单元115从记录单元114读出在步骤S244中记录的MPD文件，并且将该MPD文件上传至服务器。此外，上传单元115从记录单元114读出在步骤S244中记录的段文件，并且将该段文件上传至服务器。
在步骤S245中的处理完成之后，上传处理结束。
通过执行上述上传处理，文件生成装置100能够生成包括对应于投影扩展方法的与渲染相关联的信息的MPD文件。
因此，客户端能够容易地选择可再现的流并且通过使用与渲染相关联的信息来将应用了投影扩展的流的图像适当地渲染到三维结构中。因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在MPD文件中用信令通知的与渲染相关联的信息的使用>
此外，可以使用在MPD文件中用信令通知的与渲染相关联的信息来执行流选择和渲染。例如，在MPD文件控制偏心球面映射流的分发的情况下，可以使用在MPD文件中用信令通知的与偏心球面映射的偏移相关联的信息来执行分发请求流的选择和渲染。
更具体地，允许获取包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的控制文件作为用于控制图像编码数据的分发的控制文件，并且基于所获取的文件中包括的与偏移相关联的信息将通过图像编码数据获得的投影平面图像渲染到三维结构中，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的MPD文件获取单元212可以用作文件获取单元，其获取包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息以及图像编码数据的文件，该投影方法用于将通过将图像投影在三维结构上而产生的三维结构图像映射到单个平面上，图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。此外，数据分析和解码单元216可以用作图像处理单元，该图像处理单元基于所获取的文件中包括的与偏移相关联的信息来将通过图像编码数据获得的投影平面图像渲染到三维结构中。因此，信息处理装置(例如，客户端装置200)可以包括文件获取单元(例如，MPD文件获取单元212)和图像处理单元(例如，数据分析和解码单元216)。
<内容再现处理的流程>
将参照图40中的流程图描述在前述情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S261中，客户端装置200的MPD文件获取单元212获取包括对应于投影扩展方法的与渲染相关联的信息的MPD文件。
在步骤S262中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S263中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S264中，MPD文件处理单元213基于在步骤S261中获取的MPD文件(特别是基于例如MPD文件中包括的对应于投影扩展方法的与渲染相关联的信息)选择自适应集或表示。
在步骤S265中，段文件获取单元214获取包括在步骤S264中选择的自适应集或表示的段文件。
在步骤S266中，段文件处理单元221从在步骤S265中获取的段文件中提取编码数据。
在步骤S267中，解码单元222对在步骤S266中提取的流的编码数据进行解码。
在步骤S268中，显示信息生成单元223使用MPD文件中包括的与渲染相关联的信息来再现通过步骤S226中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S268中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用MPD文件中包括的对应于投影扩展方法的与渲染相关联的信息来再现在MPD文件控制下分发的流(与流对应的内容)。
因此，客户端装置200能够通过使用与渲染相关联的信息将应用了投影扩展的流的图像适当地且容易地渲染到三维结构中。因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在ISOBMFF文件中用信令通知与流选择相关联的信息>
尽管上面已经描述了用信令通知与渲染相关联的信息，但是在ISOBMFF文件包括应用了投影扩展的流的情况下也可以用信令通知对应于投影扩展的与流的选择相关联的信息。与流的选择相关联的信息包括在选择要再现的内容的流时使用的信息。例如，与流相关联的信息可以包括与通过由应用了投影扩展的投影方法将作为投影在三维结构上的图像的三维结构图像映射到单个平面上而产生的投影平面图像(投影图片)的图像质量相关联的信息。例如，在ISOBMFF文件包括偏心球面映射流的情况下，与通过偏心球面映射而映射到平面上的投影平面图像(投影图片)的图像质量相关联的信息可以被包括在ISOBMFF文件中。
更具体地，允许生成包括对应于作为投影方法的扩展方法的投影扩展的与投影平面图像的图像质量相关联的信息的文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的MPD文件生成单元113可以用作文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的与投影平面图像的图像质量相关联的信息的文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，该投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。因此，信息处理装置(例如，文件生成装置100)可以包括文件生成单元(例如，MPD文件生成单元113)。
<上传处理的流程>
将参照图41中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S281中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S282中，段文件生成单元123生成包括对应于投影扩展方法的与流的选择相关联的信息的ISOBMFF文件。
在步骤S283中，记录单元114记录通过步骤S282中的处理生成的ISOBMFF文件。
在步骤S284中，上传单元115从记录单元114读出在步骤S283中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。
在步骤S284中的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100能够生成包括对应于投影扩展方法的与流的选择相关联的信息的ISOBMFF文件。
因此，客户端能够通过使用与流选择相关联的信息来更容易地选择应用了投影扩展的流。例如，客户端能够更容易地选择和再现用于用户视场的具有高图像质量的图像。
因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在ISOBMFF中用信令通知的与流的选择相关联的信息的使用>
此外，可以使用在ISOBMFF文件中用信令通知的与流的选择相关联的信息来选择流。例如，在ISOBMFF文件包括偏心球面映射流的情况下，可以使用在ISOBMFF文件中用信令通知的与通过偏心球面映射将三维结构图像映射到平面上而产生的投影平面图像(投影图片)的图像质量相关联的信息来执行渲染。
更具体地，允许获取包括与投影平面图像的图像质量相关联的信息以及图像编码数据的文件，并且基于所获取的文件中包括的与投影平面图像的图像质量相关联的信息来选择图像编码数据的流，该投影平面图像是通过由应用了与作为投影方法的扩展方法的投影扩展对应的投影扩展的投影方法将三维结构图像映射到单个平面上而产生的，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到平面上，该图像编码数据地对投影平面图像进行编码而获得的。
例如，作为信息处理装置的文件生成装置100的段文件生成单元214可以用作文件获取单元，其获取包括与投影平面图像的图像质量相关联的信息以及图像编码数据的文件，该投影平面图像是通过由应用与作为投影方法的扩展方法的投影扩展对应的投影扩展的投影方法将三维结构图像映射到单个平面上而产生的，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到平面上，该图像编码数据是对投影平面图像进行编码而获得的。此外，数据分析和解码单元216可以用作图像处理单元，其基于由文件获取单元获取的文件中包括的与投影平面图像的图像质量相关联的信息来选择图像编码数据的流。因此，信息处理装置(例如，客户端装置200)可以包括文件获取单元(例如，段文件获取单元214)和图像处理单元(例如，数据分析和解码单元216)。
<内容再现处理的流程>
将参照图42中的流程图描述在前述情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S301中，客户端装置200的段文件获取单元214获取包括对应于投影扩展方法的与流的选择相关联的信息的ISOBMFF文件。
在步骤S302中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S303中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S304中，段文件处理单元221基于在步骤S301中获取的ISOBMFF文件中包括的与流的选择相关联的信息、用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等选择对于客户端的视场具有高图像质量的轨道。
在步骤S305中，段文件处理单元221从在步骤S301中获取的ISOBMFF文件中提取在步骤S304中选择的轨道的流的编码数据。
在步骤S306中，解码单元222对在步骤S305中提取的流的编码数据进行解码。
在步骤S307中，显示信息生成单元223再现通过步骤S306中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S307中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用ISOBMFF文件中包括的对应于投影扩展方法的与流的选择相关联的信息更容易地选择更合适的流。例如，客户端装置200能够更容易地选择并再现对于用户视场具有高图像质量的图像。
因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在ISOBMFF文件中用信令通知与流选择相关联的信息>
如在第二实施方式中所述，在在MPD文件中用信令通知与投影扩展相关联的信息的情况下，可以类似地用信令通知对应于投影扩展的与流的选择相关联的信息。
与流的选择相关联的信息包括在选择要再现的内容的流时使用的信息。例如，与流相关联的信息可以包括与投影平面图像(投影图片)的图像质量相关联的信息，投影平面图像使通过由应用了投影扩展的投影方法将作为投影在三维结构上的图像的三维结构图像映射到单个平面上而产生的。例如，在MPD文件控制偏心球面映射流的分发的情况下，与通过偏心球面映射而映射到平面上的投影平面图像(投影图片)的图像质量相关联的信息可以被包括在MPD文件中。
更具体地，允许生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，图像编码数据是对投影平面图像进行编码而获得的，该投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的MPD文件生成单元113可以用作文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息文件作为用于图像编码数据的分发控制的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到平单个面上，图像编码数据是对投影平面图像进行编码而获得的，投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。因此，信息处理装置(例如，文件生成装置100)可以包括文件生成单元(例如，MPD文件生成单元113)。
<上传处理的流程>
将参照图43中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S321中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S322中，段文件生成单元123生成在步骤S321中获取的图像的段文件。
在步骤S323中，MPD文件生成单元113生成包括对应于投影扩展方法的与流的选择相关联的信息的MPD文件。例如，在生成与偏心球面映射流对应的MPD文件的情况下，MPD文件生成单元113生成包括对应于偏心球面映射的与渲染相关联的信息的MPD文件。
在步骤S324中，记录单元114记录通过步骤S322中的处理生成的段文件。此外，记录单元114记录通过步骤S323中的处理生成的MPD文件。
在步骤S325中，上传单元115从记录单元114读出在步骤S324中记录的MPD文件，并且将该MPD文件上传至服务器。此外，上传单元115从记录单元114读出在步骤S324中记录的段文件，并且将该段文件上传至服务器。
在步骤S325中的处理完成之后，上传处理结束。
通过执行上述上传处理，文件生成装置100能够生成包括对应于投影扩展方法的与流的选择相关联的信息的MPD文件。
因此，客户端能够通过使用与流选择相关联的信息来更容易地选择更合适的流。例如，客户端能够更容易地选择并再现用于用户视场的具有高图像质量的图像。
因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<在MPD文件中用信令通知的与渲染相关联的信息的使用>
此外，可以使用在MPD文件中用信令通知的与流的选择相关联的信息来选择流。例如，在MPD文件控制偏心球面映射流的分发的情况下，可以使用MPD文件中用信令通知的与通过偏心球面映射而映射到平面上的投影平面图像(投影图片)的图像质量相关联的信息来选择分发请求流。
更具体地，允许获取包括对应于作为投影方法的扩展方法的投影扩展、与投影平面图像的图像质量相关联的信息的控制文件作为用于控制图像编码数据的分发的控制文件，并且基于所获取的控制文件中包括的与投影平面图像的图像质量相关联的信息来选择图像编码数据的流，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，图像编码数据是对投影平面图像进行编码而获得的，该投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。
例如，作为信息处理装置的文件生成装置100的MPD文件生成单元212可以用作文件获取单元，其获取包括对应于作为投影方法的扩展方法的投影扩展、与投影平面图像的图像质量相关联的信息的控制文件作为用于控制图像编码数据的分发的控制文件，该投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，图像编码数据是对投影平面图像进行编码而获得的，该投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。此外，MPD文件处理单元213可以用作图像处理单元，其基于由文件获取单元获取的控制文件中包括的与投影平面图像的图像质量相关联的信息来选择图像编码数据的流。因此，信息处理装置(例如，客户端装置200)可以包括文件获取单元(例如，MPD文件获取单元212)和图像处理单元(例如，MPD文件处理单元213)。
<内容再现处理的流程>
将参照图44中的流程图描述在前述情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S341中，客户端装置200的MPD文件获取单元212获取包括对应于投影扩展方法的与流的选择相关联的信息的MPD文件。
在步骤S342中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S343中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S344中，MPD文件处理单元213基于在步骤S341中获取的MPD文件中包括的与流的选择相关联的信息、用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等选择对于用户的视场具有高图像质量的自适应集。
在步骤S345中，MPD文件处理单元213还从在步骤S344中选择的自适应集中选择期望表示。
在步骤S346中，段文件获取单元214获取包括在步骤S344和S345中选择的自适应集或表示的段文件。
在步骤S347中，段文件处理单元221从在步骤S346中获取的段文件中提取编码数据。
在步骤S348中，解码单元222对在步骤S347中提取的流的编码数据进行解码。
在步骤S349中，显示信息生成单元223再现通过步骤S348中的解码而获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S349中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用ISOBMFF文件中包括的对应于投影扩展方法的与流的选择相关联的信息更容易地选择更合适的流。例如，客户端装置200能够更容易地选择并再现对于用户视场具有高图像质量的图像。
因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<偏心球面映射流>
存在两种类型的偏心球面映射流，即，其中图像质量提高方向在流中不变的静态偏心球面映射流和其中图像质量提高方向在流中可改变的动态偏心球面映射流。选择流所必需的信息针对每个流而不同。
<静态偏心球面映射流>
在静态偏心球面映射流的情况下，可以通过获取并渲染对于在客户端的用户视场改变之后的视场方向具有高图像质量的流来将高图像质量视频不断地呈现给观看和收听视频的用户(向用户提供)。在这样的情况下，例如，通过用信令通知流的每个区域的质量排名，可实现根据客户端的用户视场的改变进行的流切换。
<动态偏心球面映射流>
在动态偏心球形映射流的情况下，例如，高图像质量方向根据观看和收听统计上最频繁的方向或特定字符的移动而动态地变化。在这种情况下，假设不根据客户端的用户视场执行流切换。因此，例如，通过在流中用信令通知图像质量提高区域的属性，可在再现开始时根据用户偏好来实现客户端的流选择。本文中图像质量提高区域的属性的示例包括统计上用户最频繁观看的区域、特定角色和导演剪辑。
<在ISOBMFF文件中用信令通知质量排名>
在上述两种类型的流中，首先将描述静态偏心球面映射流。可以鉴于偏移方向和偏移值进行偏心球面映射流之间的质量比较。注意，该方法不适用于与和偏心球形映射流不同的流进行质量比较。
通过使用OMAF中定义的质量排名作为常见的图像质量索引，不仅可实现在偏心球形映射流之间进行切换，还可实现在应用另一投影扩展或视口相关的图像质量提高处理(例如，区域式打包)的流之间进行质量比较以及基于质量比较的流切换。
因此，与质量排名相关联的信息可以被包括在与投影平面图像的图像质量相关联的信息中，该投影平面图像是通过由应用与上述投影扩展对应的投影扩展的投影方法将作为投影在三维结构上的图像的三维结构图像映射到单个平面上而产生的。例如，文件生成装置100的段文件生成单元123可以提供具有与投影平面图像的图像质量相关联并且包括与质量排名相关联的信息的信息的ISOBMFF文件。此外，例如，客户端装置200的数据分析和解码单元216可以基于ISOBMFF文件中包括的与投影平面图像的图像质量相关联的信息中包括的与质量排名相关联的信息来选择流。
通过以上述方式使用与质量排名相关联的信息，客户端可以更容易地选择更高质量的图像，并且将所选择的图像提供给用户。换句话说，可根据客户端的视场选择对于视场区域具有高图像质量并且应用偏心球面映射的流。以这样的方式，客户端的用户视场区域恒定地保持高图像质量，因此可以改善用户体验。
<上传处理的流程>
将参照图45中的流程图描述在前述情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S361中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S362中，段文件生成单元123生成包括与质量排名相关联的信息的ISOBMFF文件。
在步骤S363中，记录单元114记录通过步骤S362中的处理生成的ISOBMFF文件。
在步骤S364中，上传单元115从记录单元114读出在步骤S363中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。
在步骤S364中的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100能够生成包括与质量排名相关联的信息的ISOBMFF文件。
因此，客户端能够通过使用与质量排名相关联的信息来更容易地选择应用了投影扩展方法的更高质量的图像的流。换句话说，可以更容易地向用户提供更高质量的图像。因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<内容再现处理的流程>
接下来将参照图46中的流程图描述在再现包括如上所述的与质量排名相关联的信息的ISOBMFF文件的内容的情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S381中，客户端装置200的段文件获取单元214获取包括对应于投影扩展方法的与质量排名相关联的信息的ISOBMFF文件。
在步骤S382中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S383中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S384中，段文件处理单元221基于在步骤S381中获取的ISOBMFF文件中包括的与质量排名相关联的信息、用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等来选择对于客户端装置200的用户视场具有高图像质量的轨道。
在步骤S385中，段文件处理单元221从在步骤S381中获取的ISOBMFF文件中提取在步骤S384中选择的轨道的流的编码数据。
在步骤S386中，解码单元222对在步骤S385中提取的流的编码数据进行解码。
在步骤S387中，显示信息生成单元223再现通过步骤S386中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S387中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用ISOBMFF文件中包括的对应于投影扩展方法的与质量排名相关联的信息来选择并再现更高质量的图像的轨道。
因此，客户端装置200能够通过使用与质量排名相关联的信息来更容易地选择应用了投影扩展方法的更高质量的图像的流，并且向用户提供流的图像(更高质量的图像)。
换句话说，可根据客户端装置200的用户视场选择对于视场区域具有高图像质量并且应用偏心球面映射的流。以这样的方式，由于客户端装置200的用户视场区域始终保持高图像质量，因此能够改善用户体验。
因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<嵌套质量排名区域的信令>
偏心球面映射具有如下特性，该特性使得图像质量在从最高图像质量至最低图像质量的方向上平滑地改变。因此，图47中描述的嵌套区域(具有嵌套结构的区域)的质量排名的信令是有效的。同时，假设用信令通知质量排名的每个区域(以下也称为质量排名区域)的质量基本上是固定的，并且较小的质量排名值指示较高的图像质量。
在图47中所示的图像400中建立质量排名区域401至质量排名区域403。质量排名区域401被包含在质量排名区域402中，而质量排名区域402被包含在质量排名区域403中。因此，质量排名区域401至403具有嵌套结构(嵌套区域)。
在图47的示例的情况下，针对质量排名区域401设置质量排名值“1”。此外，针对质量排名区域402设置质量排名值“2”。此外，针对质量排名区域403设置质量排名值“3”。因此，在这些区域中，质量排名区域401的图像具有最高图像质量，而质量排名区域403的图像具有最低图像质量。注意，区域404是没有设置质量排名值的其余区域。
如上所述针对每个嵌套区域设置的质量排名值可以用作上述与质量排名相关联的信息。更具体地，与质量排名相关的信息可以包括与嵌套结构的每个区域的质量排名相关联的信息。
<用于用信令通知质量排名的盒>
OMAF将球形区域质量排名盒和2D区域质量排名盒定义为质量排名，该球形区域质量排名盒用信令通知球面中的区域的质量排名，该2D区域质量排名盒用信令通知二维矩形区域的质量排名。
图48中描绘的语法421指示球形区域质量排名盒的语法的示例。此外，图49中描绘的语法422指示2D区域质量排名盒的语法的示例。
球形区域质量排名盒和2D区域质量排名盒中的每一个中包括的质量排名区域的数目是由num_regions指示的数目。此外，在每个区域中用信令通知quality_ranking。在球形区域质量排名盒中，在球形区域结构中用信令通知球面上的质量排名区域。在2D区域质量排名盒中，在left_offset、top_offset、region_width和region_height中用信令通知二维矩形质量排名区域。在这样的情况下，remaining_area_flag用于用信令通知整个区域的除了用信令通知的质量排名区域之外的质量排名。
可以在每个盒中用信令通知与嵌套结构的每个区域的质量排名相关联的信息。换句话说，与质量排名相关联的信息可以包括球形区域质量排名盒。此外，与质量排名相关联的信息可以包括2D区域质量排名盒。
本文中定义了将质量排名区域[i]的质量排名应用于在从质量排名区域[i]中去除与质量排名区域[i]交叠的所有质量排名区域[j](i>j)之后剩余的区域。根据该定义来用信令通知嵌套质量排名区域。更具体地，在图47所示的图像400的情况下，质量排名区域401至403被定义为如图50所示那样成形的区域。
<与质量排名区域之间的交叠相关联的信息>
此外，在客户端识别出在质量排名区域之间存在交叠的特定质量排名区域的情况下，需要执行识别存在或不存在与该区域交叠的区域的处理，并且如果存在交叠区域，则去除该交叠区域。另一方面，在不存在交叠区域的情况下，不需要这些处理。更具体地，当总是执行前述处理时，可能不必要地增加在没有交叠区域的情况下施加的处理负荷。
因此，可以使用标志来阐明质量排名区域之间的交叠区域的存在或不存在。更具体地，上述与质量排名相关联的信息可以包括与质量排名区域之间的交叠相关联的信息。例如，可以包括指示整个图像的质量排名区域之间存在或不存在交叠的信息。此外，例如，可以包括指示在与信息对应的质量排名区域与不同质量排名区域之间存在或不存在交叠的信息。使用这样的信息消除了由客户端执行的用于从包括不交叠区域的区域中去除交叠区域的处理的必要性(允许省略处理)。因此，可以提高由客户端执行的处理的效率。
图51中描绘的语法423指示在这样的情况下球形区域质量排名盒的语法的示例。此外，图52中的语义424指示添加到该盒的字段的语义的示例。
在这样的情况下，overlapped_region_presence_flag是指示整个图像的质量排名区域之间存在或不存在交叠的信息。每个状态可以由任何值来指示。例如，字段的值0可以指示在所有质量排名区域中不存在交叠区域。此外，字段的值1可以指示在质量排名区域之间存在任何交叠区域。因此，在这样的情况下，在overlapped_region_presence_flag为0的情况下，针对图像内的所有质量排名区域不需要用于去除交叠区域的处理。换句话说，仅在overlapped_region_presence_flag为1的情况下，针对每个质量排名区域检查用于去除交叠区域的处理的必要性就足够了。
此外，overlapped_region_flag是指示在对应于该信息的质量排名区域与不同质量排名区域之间存在或不存在交叠的信息。例如，如图53所示，针对每个质量排名区域设置overlapped_region_flag。
每个状态可以由任何值来指示。例如，字段的值0可以指示不同的区域(i＝y，y<x)在对应的区域(i＝x)上不交叠。此外，字段的值1可以指示不同的区域(i＝y，y<x)在对应的区域(i＝x)上交叠。因此，在这样的情况下，对于其中overlapped_region_presence_flag为0的区域，不需要用于去除交叠区域的处理。换句话说，仅对overlapped_region_presence_flag为1的区域执行用于去除交叠区域的处理就足够了。
以这样的方式，可以抑制施加在客户端处理上的处理负荷的不必要的增加。
此外，当不同区域在特定质量排名区域上交叠时，可以阐明哪个区域交叠。例如，上述与质量排名相关联的信息可以包括指示与对应于该信息的区域交叠的其他区域的数目的信息。此外，例如，上述与质量排名相关联的信息可以包括指示与对应于该信息的区域交叠的其他区域的信息。使用这样的信息还可以有助于由客户端执行的用于识别除了交叠区域之外的质量排名区域的处理。
图54中描绘的语法425指示在这样的情况下球形区域质量排名盒的语法的示例。此外，图55中的语义426指示添加到该盒的字段的语义的示例。
在这样的情况下，如图56所示，num_overlapped_regions是针对每个质量排名区域设置的信息。该信息的值指示在设置num_overlapped_regions的质量排名区域上交叠的不同质量排名区域的数目。
此外，如图56所示，overlapped_region_index是针对每个质量排名区域设置的信息。信息的值指示在设置overlapped_region_index的质量排名区域(对应区域)上交叠的质量排名区域的索引。因此，字段的值指示哪个质量排名区域交叠在对应区域上。在不存在交叠区域的情况下，可以省略字段。换句话说，省略该字段指示不存在交叠区域。
与对应的质量排名区域交叠的区域的索引可参照overlapped_region_index来识别。在这样的情况下，消除了检查所有质量排名区域的必要性，因此还可以有助于由客户端执行的用于识别除了交叠区域之外的质量排名区域的处理。
虽然上面已经描述了球形区域质量排名盒的示例，但是这样的扩展也适用于2D区域质量排名盒。
<用信令通知仅最高图像质量排名和最低图像质量排名>
偏心球面映射具有如下特性，该特性使得图像质量在从最高图像质量至最低图像质量的方向上平滑地改变。因此，如果用信令通知最高图像质量的质量排名或最低图像质量的质量排名，则可以根据用信令通知的最高图像质量和最低图像质量的质量排名来估计没有用信令通知质量排名的区域的质量排名。
因此，可以用信令通知仅最高图像质量的质量排名和最低图像质量的质量排名，同时可以省略用信令通知其他图像质量的质量排名。更具体地，上述与质量排名相关联的信息可以包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。在这样的情况下，客户端可以基于仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息来估计其他质量排名。
此外，此时，可以通过标志来阐明用信令通知仅最高图像质量的质量排名和最低图像质量的质量排名的状态。更具体地，上述与质量排名相关联的信息还可以包括指示是否包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。
例如，可以在扩展球形区域排名盒的情况下由标志来阐明用信令通知仅最高图像质量的质量排名和最低图像质量的质量排名的状态。图57中描绘的语法427指示在这样的情况下球形区域质量排名盒的语法的示例。此外，图58中的语义428指示添加到该盒的字段的语义的示例。
在这样的情况下，min_max_only_flag是指示是否包含仅与最高图像质量的质量排名和最低图像质量的质量排名对应的信息。字段的值1指示在盒中用信令通知的质量排名仅是最高图像质量的质量排名和最低图像质量的质量排名。此外，在这样的情况(min_max_only_flag＝1的情况)下，上述num_regions的值是2。
虽然上面已经描述球形区域质量排名盒的示例，但是这样的扩展也可应用于2D区域质量排名盒。
此外，代替使用上述两种类型的盒，可以新定义专用于用信令通知最高图像质量的质量排名和最低图像质量的质量排名的盒。
<用信令通知仅最高图像质量的质量排名>
偏心球面映射在特定一个方向上增加图像质量。在这样的情况下，如果最高图像质量区域是仅可识别的，则流选择是可实现的。因此，可以用信令通知仅最高图像质量的质量排名，同时可以省略用信令通知其他图像质量的质量排名。
例如，上述与质量排名相关联的信息可以包括仅与最高图像质量的质量排名相关联的信息。此外，与质量排名相关联的信息还可以包括下述质量排名，所述质量排名具有指示没有定义对应区域的质量排名的值。
以这样的方式，由于客户端不需要识别多个质量排名区域，因此能够简化处理。此外，内容生成侧不需要计算多个区域的质量，并且对于多个区域执行用信令通知，因此能够简化处理。
例如，通过定义“具有quality_ranking的特定值的区域是没有定义质量排名的区域，并且具有quality_ranking值的区域具有比具有除了球形区域质量排名盒的语义中的对应的quality_ranking值之外的quality_ranking的任何区域的图像质量更低的质量”可实现用信令通知仅最高图像质量的质量排名。例如，定义quality_ranking＝0的区域是没有定义质量排名的区域并且具有比具有除了该值之外的quality_ranking的任何区域的图像质量更低的质量就足够了。
此时，通过用信令通知最高图像质量区域的质量排名，并且用信令通知没有定义图像质量的其他区域(quality_ranking＝0)，可实现用信令通知仅最高图像质量的质量排名。因此，语法的改变是不必要的。
不言而喻，这样的语义的扩展也适用于2D区域质量排名盒。
此外，代替使用球形区域质量排名盒和2D区域质量排名盒，可以新定义专用于用信令通知仅最高图像质量的质量排名的盒。
<在MPD文件中用信令通知质量排名>
在如第二实施方式中所述的在MPD文件中用信令通知与投影扩展相关联的信息的情况下，与上述ISOBMFF文件的情况类似地，可通过使用OMAF中定义的质量排名来不仅实现偏心球面映射流之间的切换，还实现应用另一投影扩展或视口相关的图像质量提高处理(例如，区域式打包)的流之间的质量比较，以及基于质量比较的流切换。
因此，与质量排名相关联的信息可以被包括在与投影平面图像的图像质量相关联的信息中，该投影平面图像是通过由应用与上述投影扩展对应的投影扩展的投影方法将作为投影在三维结构上的图像的三维结构图像映射到单个平面上而产生的。例如，文件生成装置100的MPD文件生成单元113可以提供具有与投影平面图像的图像质量相关联并且包括质量排名的信息的MPD文件。此外，例如，客户端装置200的MPD文件处理单元213可以基于在MPD文件中包括的与投影平面图像的图像质量相关联的信息中包括的与质量排名相关联的信息来选择流。
通过以上述方式使用与质量排名相关联的信息，客户端能够更容易地选择更高质量的图像，并且将所选择的图像提供给用户。
<上传处理的流程>
将参照图59中的流程图描述在这样的情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S401中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S402中，段文件生成单元123生成图像的段文件。
在步骤S403中，MPD文件生成单元113生成包括与质量排名相关联的信息的MPD文件。
在步骤S404中，记录单元114记录通过步骤S403中的处理生成的MPD文件。此外，记录单元114记录通过步骤S402中的处理生成的段文件。
在步骤S405中，上传单元115从记录单元114读出在步骤S404中记录的MPD文件，并且将该MPD文件上传至服务器。此外，上传单元115从记录单元114读出在步骤S404中记录的MPD文件，并且将该MPD文件上传至服务器。
在步骤S405中的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100能够生成包括与质量排名相关联的信息的MPD文件。
因此，客户端能够通过使用与质量排名相关联的信息来更容易地选择应用了投影扩展方法的更高质量图像的流。换句话说，能够更容易地向用户提供更高质量的图像。因此，该投影格式能够在不必由于采用新的投影格式等而改变相当大的创造工作流程程或客户端实现的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<内容再现处理的流程>
接下来将参照图60中的流程图描述在再现包括如上所述的与质量排名相关联的信息的MPD文件的内容的情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S421中，客户端装置200的MPD文件获取单元212获取包括对应于投影扩展方法的与质量排名相关联的信息的MPD文件。
在步骤S422中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S423中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S424中，MPD文件处理单元213基于在步骤S421中获取的MPD文件中包括的与质量排名相关联的信息、用户的视点位置和视线、客户端与服务器之间的网络的传输带宽等选择对于客户端装置200的用户视场具有高图像质量的自适应集。
在步骤S425中，MPD文件处理单元213从在步骤S424中选择的自适应集中选择期望表示。
在步骤S426中，段文件获取单元214获取包括在步骤S424和S425中选择的自适应集和表示的段文件。
在步骤S427中，段文件处理单元221从在步骤S426中获取的段文件中提取编码数据。
在步骤S428中，解码单元222对在步骤S427中提取的流的编码数据进行解码。
在步骤S429中，显示信息生成单元223再现通过步骤S428中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S429中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用MPD文件中包括的对应于投影扩展方法的与质量排名相关联的信息选择并再现更高质量图像的自适应集。
因此，客户端装置200能够通过使用与质量排名相关联的信息来更容易地选择应用了投影扩展方法的更高质量图像的流，并且向用户提供流的图像(更高质量的图像)。
因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<用信令通知嵌套质量排名区域>
在在MPD文件中用信令通知质量排名的情况下，与如上所述在ISOBMFF文件中用信令通知质量排名的情况类似，针对每个嵌套区域设置的质量排名值可以用作与质量排名相关联的信息。更具体地，与质量排名相关联的信息可以包括与嵌套结构的每个区域的质量排名相关联的信息。
<用信令通知质量排名的描述符>
OMAF还将球面区域式的质量排名描述符和2D区域式的质量排名描述符分别定义为与球形区域质量排名盒和2D区域质量排名盒对应的DASH MPD描述符。
可以在每个描述符中用信令通知与嵌套结构的每个区域的质量排名相关联的信息。换句话说，与质量排名相关联的信息可以包括球面区域式质量排名描述符。此外，与质量排名相关联的信息可以包括2D区域式质量排名描述符。
<与质量排名区域之间的交叠相关联的信息>
在在MPD文件中用信令通知与质量排名相关联的信息的情况下，与上述ISOBMFF文件的情况类似，可以使用标志来阐明质量排名区域之间存在或不存在交叠区域。更具体地，上述与质量排名相关联的信息可以包括与质量排名区域之间的交叠相关联的信息。例如，可以包括指示整个图像的质量排名区域之间存在或不存在交叠的信息。此外，例如，可以包括指示在与信息对应的质量排名区域与不同质量排名区域之间存在或不存在交叠的信息。使用这样的信息消除了客户端执行的用于从不包括交叠区域的区域中去除交叠区域的处理的必要性(允许省略处理)。因此，可以提高由客户端执行的处理的效率。
此外，当不同区域在特定质量排名区域上交叠时，可以阐明哪个区域交叠。例如，上述与质量排名相关联的信息可以包括指示在对应于该信息的区域上交叠的其他区域的数目的信息。此外，例如，上述与质量排名相关联的信息可以包括指示与对应于该信息的区域交叠的其他区域的信息。使用这样的信息还有助于由客户端执行的用于识别除了交叠区域之外的质量排名区域的处理。
更具体地，例如，可以将overlapped_region_presence_flag属性、overlapped_region_flag属性、num_overlapped_regions属性、overlapped_region_index属性等添加到上述描述符中。
与上述overlapped_region_presence_flag类似地，overlapped_region_presence_flag属性是指示整个图像的质量排名区域之间存在或不存在交叠的信息。在这样的情况下的语义类似于overlapped_region_presence_flag的语义。
类似于上述overlapped_region_flag，overlapped_region_flag属性是指示在与信息对应的质量排名区域与不同质量排名区域之间存在或不存在交叠的信息。在这样的情况下的语义类似于overlapped_region_flag的语义。
与上述num_overlapped_regions类似地，num_overlapped_regions属性是针对每个质量排名区域设置的信息。该信息的值指示在设置对应的num_overlapped_regions属性的质量排名区域上交叠的不同质量排名区域的数目。在这样的情况下的语义类似于num_overlapped_regions的语义。
与上述overlapped_region_index类似，overlapped_region_index属性是针对每个质量排名区域设置的信息。信息的值指示在设置对应的overlapped_region_index属性的质量排名区域(对应的区域)上交叠的质量排名区域的索引。因此，字段的值指示哪个质量排名区域交叠在对应区域上。在这样的情况下的语义类似于num_overlapped_regions的语义。
因此，在DASH下基于质量排名信息选择自适应集时，也可以产生与上述ISOBMFF文件情况的有益效果类似的有益效果。
<用信令通知仅最高图像质量和最低图像质量的质量排名>
在MPD文件的情况下，可以用信令通知仅最高图像质量的质量排名和最低图像质量的质量排名，并且可以与ISOBMFF文件的上述情况类似地省略用信令通知其他图像质量的质量排名。更具体地，上述与质量排名相关联的信息可以包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。在这样的情况下，客户端可以基于仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息来估计其他质量排名。
此外，此时，可以通过标志来阐明用信令通知仅最高图像质量的质量排名和最低图像质量的质量排名的状态。更具体地，上述与质量排名相关联的信息还可以包括指示是否包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。
例如，min_max_only_flag属性可以被添加到上述球面区域式质量排名描述符和2D区域式质量排名描述符。与上述min_max_only_flag类似地，min_max_only_flag属性是指示是否包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。在这样的情况下的语义类似于min_max_only_flag的语义。该配置是适用的，因为在DASH下基于质量排名信息选择自适应集时也产生与轨道选择的情况的有益效果类似的有益效果。
注意，可以新定义用于用信令通知仅最高图像质量的质量排名和最低图像质量的质量排名的描述符。
<用信令通知仅最高图像质量的质量排名>
在MPD文件的情况下，可以用信令通知仅最高图像质量的质量排名，并且可以与ISOBMFF文件的上述情况类似地省略用信令通知其他图像质量的质量排名。
例如，上述与质量排名相关联的信息可以包括仅与最高图像质量的质量排名相关联的信息。此外，与质量排名相关联的信息还可以包括具有指示没有定义对应的区域的质量排名的值的质量排名。
以这样的方式，由于客户端不需要识别多个质量排名区域，因此能够简化处理。此外，内容生成侧不需要计算质量并且对于多个区域执行用信令通知，因此能够简化处理。
注意，可以新定义用于用信令通知仅最高图像质量的质量排名的描述符。
<ISOBMFF文件中的图像质量提高区域的属性信令>
接下来将描述其中图像质量提高区域在流中动态地变化的动态偏心球面映射流。随后，在图像质量提高区域在流中动态变化的情况下，可通过用信令通知图像质量提高区域的属性来实现根据用户偏好进行的流选择。
例如，与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息可以被包括在ISOBMFF文件中包括的与投影平面图像的图像质量相关联的信息中，该投影平面图像是通过由应用与上述投影扩展对应的投影扩展的投影方法将作为投影在三维结构上的图像的三维结构图像映射到单个平面上而产生的。
例如，文件生成装置100的段文件生成单元123可以提供具有与投影平面图像的图像质量相关联并且包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息的信息的ISOBMFF文件。此外，例如，客户端装置200的数据分析和解码单元216可以基于在ISOBMFF文件中包括的与投影平面图像的图像质量相关联的信息中的、与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息来选择流。
通过使用上述与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息，可根据用户偏好选择应用对于期望区域提供高图像质量的偏心球面映射的流。以这样的方式，用户能够观看和收听期望区域的具有高图像质量的流，因此能够改善用户体验。
<上传处理的流程>
将参照图61中的流程图描述在这样的情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S441中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S442中，段文件生成单元123生成包括与每个轨道的图像质量提高区域的属性相关联的信息的ISOBMFF文件。
在步骤S443中，记录单元114记录通过步骤S442中的处理生成的ISOBMFF文件。
在步骤S444中，上传单元115从记录单元114读出在步骤S443中记录的ISOBMFF文件，并且将该ISOBMFF文件上传至服务器。
在步骤S444的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100能够生成包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息的ISOBMFF文件。
因此，客户端能够通过使用“与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息”来更容易地选择应用了投影扩展方法的更高质量图像的流。换句话说，可以更容易地向用户提供更高质量的图像。因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<内容再现处理的流程>
接下来将参照图62中的流程图描述在再现包括如上所述的与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息的ISOBMFF文件的内容的情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S461中，客户端装置200的段文件获取单元214获取包括与每个轨道的图像质量提高区域相关联的信息的ISOBMFF文件。
在步骤S462中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S463中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S464中，段文件处理单元221基于在步骤S461中获取的ISOBMFF文件中包括的与图像质量提高区域的属性相关联的信息识别并显示每个轨道的图像质量提高区域的属性，并且根据基于该显示输入的用户偏好选择轨道。
在步骤S465中，段文件处理单元221从在步骤S461中获取的ISOBMFF文件中提取在步骤S464中选择的轨道的流的编码数据。
在步骤S466中，解码单元222对在步骤S465中提取的流的编码数据进行解码。
在步骤S467中，显示信息生成单元223再现通过步骤S466中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S467中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用ISOBMFF文件中包括的对应于投影扩展方法的与图像质量提高区域的属性相关联的信息来选择并再现更高质量图像的轨道。
因此，通过使用与图像质量提高区域的属性相关联的信息，客户端装置200允许用户更容易地观看和收听对于期望区域具有高图像质量的流，因此能够改善用户体验。
因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<作为添加到视频流的信息的信号>
例如，可以在ISOBMFF文件的投影全向视频盒中将质量强调视口信息盒新定义为“与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息”。
图63中描绘的语法441指示投影全向视频盒的语法的示例。在从语法441(投影全向视频盒的语法)的顶部起的第三行中定义了质量强调视口信息盒。
图64中描绘的语法442指示质量强调视口信息盒的语法的示例。图65中的语义443指示添加到质量强调视口信息盒的字段的语义的示例。
例如，viewport_type是指示图像质量提高区域的属性的信息。每个属性可以由任何值指示。例如，字段的值0可以指示导演的剪辑。此外，字段的值1可以指示用户最频繁观看和收听的区域。此外，字段的值2可以指示特定表演者的追随。此外，字段值240至255可以各自指示针对每个应用确定的类型。
此外，例如，viewport_description是将字符串定义为与viewport_type相关联的辅助信息的信息。
例如，在针对导演的剪辑具有高图像质量的全向视频作为要由用户观看和收听的视频的情况下，客户端装置200选择并再现viewport_type＝0的轨道就足够了。在这样的情况下，例如，viewport_type＝0时的电影导演的名称和viewport_type＝2时的表演者的名称在viewport_description中用信令通知，并且用于显示流选择画面等。
如上所述，“与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息”可以包括viewport_type，其指示图像质量提高区域的属性并且被存储在ISOBMFF文件的投影全向视频盒中的质量强调视口信息盒中。
<投影增强盒的扩展>
注意，可以利用在第一实施方式中描述的ISOBMFF文件的投影增强盒的扩展来用信令通知与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。
图66中描绘的语法444指示在这样的情况下投影增强盒的语法的示例。
注意，该配置不仅适用于偏心球面映射流，而且还适用于在不同流中动态变化的视口相关的图像质量提高。
<作为添加到定时元数据的信息的信号>
可以将指示全向视频的图像质量提高区域与推荐视口之间的匹配的标志添加到推荐视口定时元数据。通过根据推荐视口定时元数据而不管客户端的视场改变来显示推荐视口，可恒定地实现图像质量提高区域的显示。注意，通过基于轨道参考的参考关系来将推荐视口定时元数据的轨道和全向视频的轨道彼此相关联。
注意，该配置不仅适用于偏心球面映射流，而且还适用于在不同流中动态变化的视口相关的图像质量提高。
为了用信令通知这样的标志，可以扩展OMAF中定义的推荐视口信息盒(RcvpInfoBox)。在推荐视口定时元数据的样本条目中用信令通知RvcpInfoBox。
更具体地，“与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息”可以包括存储在ISOBMFF文件的推荐视口定时元数据的RcvpInfoBox中并且指示对应的高图像质量提高区域与对应于推荐属性的区域是否彼此匹配的标志信息。
图67中描绘的语法445指示RcvpInfoBox的语法的示例。此外，图68中的语义446指示添加到RcvInfoBox的字段的语义的示例。
在这样的情况下，quality_emphasized_region_matching_flag是指示图像质量提高区域与对应于推荐属性的区域是否彼此匹配的标志。字段的值“1”指示相关联的全向视频的图像质量提高区域与推荐视口之间的匹配。
注意，在不用信令通知如图69中所示的quality_emphasized_region_matching_flag的情况下，在定时元数据中用信令通知的推荐视口与全向视频的图像质量提高区域之间的匹配可以由将推荐视口定时元数据的轨道与全向视频的轨道相关联的轨道参考中的特定参考类型来指示。例如，在参考reference_type＝“empr”的情况下，指示推荐视口与全向视频的高图像质量提高区域之间的匹配。
此外，允许用信令通知指示在与存储全向视频的轨道相关联的推荐视口定时元数据中用信令通知的推荐视口是否与全向视频的图像质量提高区域匹配的标志。图70中描绘的语法461指示投影增强盒的语法的示例。如语法461所示，允许针对投影增强盒设置recommended_viewport_matching_flag，其是指示在与存储全向视频的轨道相关联的推荐视口定时元数据中用信令通知的推荐视口是否与全向视频的图像质量提高区域匹配的标志。这样的recommended_viewport_matching_flag的值“1”指示推荐视口与全向视频的图像质量提高区域之间的匹配。
<MPD文件中的图像质量提高区域的属性信令>
在如第二实施方式所述的在MPD文件中用信令通知与投影扩展相关联的信息的情况下，与上述ISOBMFF文件类似，通过用信令通知图像质量提高区域的属性可从图像质量提高区域动态变化的流中选择与用户偏好对应的流。
例如，与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息可以被包括在MPD文件中包括的与投影平面图像的图像质量相关联的信息中，该投影平面图像是通过由应用与上述投影扩展对应的投影扩展的投影方法将作为投影在三维结构上的图像的三维结构图像映射到单个平面上而产生的。
例如，文件生成装置100的MPD文件生成单元113可以提供具有与投影平面图像的图像质量相关联并且包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息的信息的MPD文件。此外，例如，客户端装置200的MPD文件处理单元213可以基于MPD文件中包括的与投影平面图像的图像质量相关联的信息中的、与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息来选择流。
通过使用上述与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息，可根据用户偏好选择对于期望区域具有高图像质量并且应用偏心球面映射的流。以这样的方式，用户能够观看和收听对于期望区域具有高图像质量的流，因此能够改善用户体验。
<上传处理的流程>
将参照图71中的流程图描述在这样的情况下由图4中的文件生成装置100执行的上传处理的流程的示例。
响应于上传处理的开始，在步骤S481中，文件生成装置100的数据输入单元111获取图像和元数据。
在步骤S482中，段文件生成单元123生成图像的段文件。
在步骤S483中，MPD文件生成单元113生成包括与每个自适应集的图像质量提高区域的属性相关联的信息的MPD文件。
在步骤S484中，记录单元114记录通过步骤S483中的处理生成的MPD文件。此外，记录单元114记录通过步骤S482中的处理生成的段文件。
在步骤S485中，上传单元115从记录单元114读出在步骤S484中记录的MPD文件，并且将该MPD文件上传至服务器。此外，上传单元115从记录单元114读出在步骤S484中记录的段文件，并且将段文件上传至服务器。
在步骤S485中的处理完成之后，上传处理结束。
通过以上述方式执行上传处理，文件生成装置100能够生成包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息的MPD文件。
因此，客户端能够通过使用“与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息”来更容易地选择应用了投影扩展方法的更高质量图像的流。换句话说，可以更容易地向用户提供更高质量的图像。因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<内容再现处理的流程>
接下来将参照图72中的流程图描述在再现包括如上所述的与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息的MPD文件的内容的情况下由客户端装置200执行的内容再现处理的流程的示例。
响应于内容再现处理的开始，在步骤S501中，客户端装置200的MPD文件获取单元212获取包括与每个自适应集的图像质量提高区域相关联的信息的MPD文件。
在步骤S502中，显示控制单元215获取用户的视点位置(和视线方向)的测量结果。
在步骤S503中，测量单元211测量服务器与客户端装置200之间的网络的传输带宽。
在步骤S504中，MPD文件处理单元213基于步骤S501中获取的MPD文件中包括的与图像质量提高区域的属性相关联的信息来识别并显示每个自适应集的图像质量提高区域的属性，并且根据基于该显示输入的用户偏好来选择自适应集。
在步骤S505中，MPD文件处理单元213从在步骤S504中选择的自适应集中选择期望表示。
在步骤S506中，段文件获取单元214获取包括在步骤S504和S505中选择的自适应集和表示的段文件。
在步骤S507中，段文件处理单元221从在步骤S506中获取的段文件中提取编码数据。
在步骤S508中，解码单元222对在步骤S507中提取的流的编码数据进行解码。
在步骤S509中，显示信息生成单元223再现通过步骤S508中的解码所获取的流(内容)。更具体地，显示信息生成单元223根据流生成指示显示图像的数据，并且将所生成的数据提供给显示单元217以允许显示该数据。
在步骤S509中的处理完成之后，内容再现处理结束。
通过以上述方式执行内容再现处理，客户端装置200能够使用MPD文件中包括的对应于投影扩展方法的与图像质量提高区域的属性相关联的信息来选择并再现更高质量图像的自适应集。
因此，通过使用与图像质量提高区域的属性相关联的信息，客户端装置200允许用户更容易地观看和收听对于期望区域具有高图像质量的流，因此能够改善用户体验。
因此，该投影格式能够在不必由于采用新的投影格式等而进行相当大的规范改变的情况下满足视口相关的图像质量提高。换句话说，能够在减少编码效率下降的同时更容易地提供更高质量的图像。
<作为添加到视频流的信息的信号>
例如，可以在MPD文件中将质量强调视口信息描述符新定义为在在MPD文件中用信令通知的情况下的“与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息”。
例如，@schemIdUri＝“urn:mpeg:mpegi:omaf:2017:qevi”可以被定义为质量强调视口信息描述符。此外，可以使用相同schemeIdUri的基本属性。注意，例如，质量强调视口信息描述符不限于上述示例，而是还可以在自适应集级别或表示级别下出现。
图73中的属性值471指示质量强调视口信息描述符的属性值的示例。在这样的情况下，在属性值471中指示的omaf:@viewport_type具有xs:unsignedByte的数据类型，并且指示图像质量提高区域的属性。
每个属性可以由任何值指示。例如，属性值的值0可以指示导演的剪辑。此外，属性值的值1可以指示用户最频繁观看和收听的区域。此外，属性值的值2可以指示特定表演者的追随。此外，例如，属性值的值240至255可以分别指示针对每个应用确定的类型。
此外，由属性值471指示的omaf:@viewport_description具有xs:string的数据类型，并且指示作为viewport_type的补充信息的字符串。
图74中的数据类型472指示在这样的情况下数据类型的定义的示例。
更具体地，与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息可以包括omaf:@viewport_type作为在MPD文件中定义的质量强调视口信息描述符中描述的指示图像质量提高区域的属性值。
<投影增强文件盒的扩展>
注意，可以利用投影增强描述符的扩展来用信令通知与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。
注意，该配置不仅适用于偏心球面映射流，还适用于在不同流中动态变化的视口相关的图像质量提高。
<作为添加到定时元数据的信息的信号>
此外，允许新定义推荐视口信息描述符，并且用信令通知指示全向视频的图像质量提高区域的属性与推荐视口之间以及图像质量提高区域与推荐视口之间的匹配或不匹配的标志。
在这样的情况下，将@schemIdUri＝“urn:mpeg:mpegi:omaf:2017:rvif”定义为投影增强描述符。此外，可以使用相同schemeIdUri的基本属性。注意，描述符不限于上述示例，而是还可以在自适应集级别或表示级别下出现。
此外，推荐视口定时元数据的表示和全向视频的表示通过@associationId和@associationType彼此关联。
图75中描绘的属性值473指示推荐视口信息描述符的属性值的示例。在这样的情况下，omaf:@viewport_type具有xs:unsignedByte的数据类型，并且对应于指示推荐视口类型的属性值。
每种类型可以由任何值来指示。例如，属性值的值0可以指示导演的剪辑。此外，属性值的值1可以指示用户最频繁观看和收听的区域。此外，属性值的值3可以指示特定表演者的追随。此外，属性值的值240至255可以各自指示针对每个应用确定的类型。
此外，omaf:@viewport_description具有xs:string的数据类型，并且对应于指示作为viewport_type的补充信息的字符串的属性值。
此外，omaf:@quality_emphasized_region_matching_flag具有xs:boolean的数据类型，并且对应于指示全向视频的图像质量提高区域与推荐视口之间的匹配的属性值。例如，属性值的值1可以指示全向视频的相关联的图像质量提高区域与推荐视口之间的匹配。
更具体地，与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息可以包括omaf:@quality_emphasized_region_matching_flag，其是在MPD文件中定义的推荐视口信息描述符中描述并且指示图像质量提高区域和与推荐属性对应的区域是否彼此匹配的属性值。
注意，图76中的数据类型474指示在这样的情况下数据类型的定义的示例。
客户端可以从描述符中识别相关联的流的图像质量提高区域的属性以选择流。
注意，特定的@associationType可以指示在不用信令通知omaf:@quality_emphasized_region_matching_flag情况下在推荐视口定时元数据的表示与全向视频的表示之间通过@associationId和@associationType相关联时在定时元数据中用信令通知的推荐视口与全向视频的图像质量提高区域之间的匹配。例如，假设在通过@associationType＝“empr”进行相关联的情况下指示推荐视口与全向视频的高图像质量提高区域之间的匹配。图77中的MPD 475指示这样的情况下的MPD的示例。
注意，允许设置recommended_viewport_matching_flag，其是利用投影增强描述符的扩展指示在与存储全向视频的轨道相关联的推荐视口定时元数据中用信令通知的推荐视口与全向视频的图像质量提高区域是否相匹配的标志。
尽管到目前为止已经描述在内容再现侧确定图像质量提高区域的示例，但是客户端装置200可以将偏好信息(例如，特定字符)发送到分发流的服务器以允许服务器动态地编码并分发对于客户端期望的目标具有高图像质量的流。
<5.附加说明>
<计算机>
以上描述的一系列处理可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下，将软件中包括的程序安装在计算机中。本文中计算机的示例包括并入在专用硬件中的计算机，以及能够在计算机中安装的各种程序的控制下执行各种功能的通用个人计算机等。
图78是描绘在程序的控制下执行上述一系列处理的计算机的硬件的配置示例的框图。
在图78所示的计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903通过总线904彼此连接。
输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
例如，输入单元911包括键盘、鼠标、麦克风、触摸板、输入端子等。例如，输出单元912包括显示器、扬声器、输出终端等。例如，存储单元913包括硬盘、RAM盘、非易失性存储器等。例如，通信单元914包括通信接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘和半导体存储器。
根据如上配置的计算机，CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中，并且例如执行该程序以执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所必需的数据等。
例如，允许将由计算机(CPU 901)执行的程序记录在作为要应用的封装介质等的可移除介质921中。在这样的情况下，允许经由输入/输出接口910将程序从附接至驱动器915的可移除介质921安装到存储单元913中。
此外，允许经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。在这样的情况下，允许程序被通信单元914接收并且被安装在存储单元913中。
替选地，允许将程序预先安装在ROM 902和存储单元913中。
<本技术的应用条目>
尽管以上描述了本技术应用于ISOBMFF文件或MPD文件的情况，但是本技术的应用示例不限于这些示例。本技术适用于用于分发通过应用投影扩展将三维结构图像映射到单个平面上而产生的投影平面图像的流的任何规范的文件。换句话说，在与上述本技术一致的范围内，可以采用分发控制、文件格式和诸如编码和解码系统的各种处理的任何规范。此外，在与上述本技术一致的范围内，可以省略上述处理和规范的一部分。
此外，尽管以上已经将文件生成装置100和客户端装置200描述为本技术的应用示例，但是本技术适用于任何配置。
例如，本技术适用于各种电子设备，例如，卫星广播、有线广播(例如有线电视)、经由因特网的分发、通过蜂窝通信向终端的分发等的发射机和接收机(例如，电视接收机和蜂窝电话)，或者用于在诸如光盘、磁盘和闪速存储器的介质中记录图像以及用于从存储介质再现图像的装置(例如，硬盘记录器和摄像机)。
此外，例如，本技术也允许被实现为包括在诸如作为系统LSI(大规模集成)等的处理器(例如，视频处理器)、包括多个处理器等的模块(例如，视频模块)、包括多个模块等的单元(例如，视频单元)以及包括添加到单元的其他功能的设备(例如，视频设备)的装置中的一部分。
此外，例如，本技术适用于包括多个装置的网络系统。例如，本技术还可以被实施为其中处理由多个装置经由网络共享并且由装置彼此协作地执行的云计算。例如，本技术可以在用于向诸如计算机、AV(视听)设备、移动信息处理终端或IoT(物联网)设备的任何终端提供与图像(运动图像)相关联的服务的云服务中实施。
注意，本说明书中的系统是指多个构成要素(装置、模块(部件)等)的组装。所有构成要素是否被容置在同一壳体中并不重要。因此，存储在不同壳体中并且经由网络彼此连接的多个装置和将多个模块存储在一个壳体中的一个装置两者都是系统。
<本技术适用于的领域和预期用途>
应用本技术的系统、装置、处理单元等可用于任何领域，例如交通、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、气象和自然监测。此外，应用的预期用途可以是任何用途。
例如，本技术适用于提供欣赏内容等的系统和设备。此外，例如，本技术适用于为诸如交通状况的监视和自主驾驶控制的交通用途而提供的系统和设备。此外，例如，本技术适用于提供安全的系统和设备。此外，例如，本技术适用于实现机器等的自动控制的系统和设备。此外，例如，本技术适用于用于农业和畜牧业的系统和设备。此外，本技术适用于用于监视诸如火山、森林和海洋的自然以及野生动物的状态的系统和设备。此外，例如，本技术适用于用于体育的系统和设备。
<其他>
注意，本说明书中的“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)和假(0)两个状态的信息，而且还包括能够标识三个或更多个状态的信息。因此，“标志”的值可以是两个值1和0，或者三个或更多个值。换句话说，“标志”可以包括任意数目的位，即，1位或多个位。此外，假设标识信息(包括标志)不仅被包括在比特流中，而且还被配置成使得指示标识信息与作为参考的特定信息之间的差异的信息被包括在比特流中。因此，本说明书中的“标志”和“标识信息”不仅各自指代信息本身，而且还包含指示与参考信息的差异的信息。
此外，与编码数据(比特流)相关联的各种信息(元数据等)可以以任何形式被发送或记录，只要进行与编码数据相关联即可。本文中的术语“关联”是指例如在处理一个数据时其他数据的可用性(关联)。换句话说，彼此相关联的各个数据片段可以被组装为一个数据，或者可以作为单个数据片段处理。例如，可以在与编码数据(图像)的传输路径不同的传输路径上发送与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质(或相同记录介质的不同记录区域)中。注意，可以针对数据中的一部分而不是整个数据执行“关联”。例如，图像与对应于图像的信息可以在诸如多个帧、一个帧或帧的一部分的任意单元中彼此相关联。
注意，本说明书中的诸如“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“合并”、“放入”和“插入”的术语均表示将多个事物组合成一个，例如将编码数据和元数据组合成一个数据，并且指示上述“关联”的一种方法。
此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主题的情况下以各种方式进行修改。
例如，包括本文中描述的一个装置(或处理单元)的配置可以被划分成多个装置(或处理单元)。相反，包括上述多个装置(或处理单元)的配置可以被组装到一个装置(或处理单元)中。此外，不言而喻，除了上述那些配置之外的配置可以被添加到各个装置(或处理单元)的配置。此外，某一装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中，只要装置的配置和操作作为整个系统基本上相同即可。
此外，例如，上述程序可以由任何装置执行。在这样的情况下，装置具有必要的功能(功能块等)并且获取必要的信息就足够了。
此外，例如，一个流程图的各个步骤可以由一个装置执行，或者由多个装置共享和执行。此外，在一个步骤包括多个处理的情况下，多个处理可以由一个装置执行或者由多个装置共享和执行。换句话说，一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，被描述为多个步骤的处理可以被组合和执行为一个步骤。
此外，例如，可以执行由计算机执行的程序使得以本说明书中描述的顺序按时间序列执行描述该程序的步骤的处理，或者可以在必要的时序诸如调用的情况并行地或单独地执行。换句话说，只要不产生不一致，各个步骤的处理可以以与上述顺序不同的顺序执行。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合地被执行。
此外，例如，只要不产生不一致性，与本技术相关联的多个技术中的每一个可以作为一个单元独立地执行。不言而喻，任何数目的多于一个的本技术可以彼此组合使用。例如，在实施方式中的任何一个中描述的本技术的一部分或全部可以与任何其他实施方式中描述的本技术的一部分或全部组合实现。此外，任何上述本技术的一部分或全部可以与以上未描述的不同技术组合使用。
注意，本技术允许具有以下配置。
(1)一种信息处理装置，包括：
文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(2)根据(1)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括指示是否应用了所述投影扩展的信息。
(3)根据(1)或(2)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括指示所应用的投影扩展的类型的信息。
(4)根据(3)所述的信息处理装置，其中，所述投影扩展的类型包括EAC(等角立方体贴图)。
(5)根据(3)或(4)所述的信息处理装置，其中，所述投影扩展的类型包括偏心球面映射。
(6)根据(1)至(5)中任一项所述的信息处理装置，其中，与所述投影扩展相关联的信息包括渲染到所述三维结构中所必需的信息。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，所述投影方法包括ERP(等量矩形投影)。
(8)根据(1)至(7)中任一项所述的信息处理装置，其中，所述投影方法包括CMP(立方体贴图投影)。
(9)根据(1)至(8)中任一项所述的信息处理装置，其中，所述文件生成单元生成包括与所述投影扩展相关联的信息作为所述图像编码数据的每个流的信息的文件。
(10)根据(9)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述投影扩展相关联的信息被存储在所述ISOBMFF文件的投影全向视频盒中。
(11)根据(10)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括Projection_Enhancement_Box(投影增强盒)，其被存储在投影全向视频盒中并且通过表明所述投影增强盒的存在来指示应用了所述投影扩展。
(12)根据(11)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括enhancement_type，其被存储在所述Projection_Enhancement_Box中并且指示所应用的投影扩展的类型。
(13)根据(12)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括存储在所述Projection_Enhancement_Box中并且针对所述投影扩展的每种类型渲染到所述三维结构中所必需的信息。
(14)根据(9)至(13)中任一项所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述投影扩展的信息包括存储在所述ISOBMFF文件中并且专用于所述投影扩展的类型的盒。
(15)一种信息处理方法，包括：
生成包括与作为投影方法的扩展方法的投影扩展相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(21)一种信息处理装置，包括：
文件获取单元，其获取包括与作为投影方法的扩展方法的投影扩展相关联的信息以及图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
图像处理单元，其基于由所述文件获取单元获取的文件中包括的与所述投影扩展相关联的信息来选择所述图像编码数据的流。
(22)根据(21)所述的信息处理装置，其中，
与所述投影扩展相关联的信息包括指示是否应用了所述投影扩展的信息，并且
所述图像处理单元被配置成基于指示是否应用了所述投影扩展的信息来识别是否应用了所述投影扩展，并且基于所述标识的结果来选择流。
(23)根据(21)或(22)所述的信息处理装置，其中，
与所述投影扩展相关联的信息包括指示所应用的投影扩展的类型的信息，并且
所述图像处理单元被配置成基于指示所述投影扩展的类型的信息来识别所应用的投影扩展的类型，并且基于所述识别的结果来选择流。
(24)根据(23)所述的信息处理装置，其中，所述投影扩展的类型包括EAC(等角立方体贴图)。
(25)根据(23)或(24)所述的信息处理装置，其中，所述投影扩展的类型包括偏心球面映射。
(26)根据(21)至(25)中任一项所述的信息处理装置，其中，
与所述投影扩展相关联的信息包括渲染到所述三维结构中所必需的信息，并且
所述图像处理单元使用渲染到所述三维结构中所必需的信息将从所选择的流中获得的图像渲染到所述三维结构中。
(27)根据(21)至(26)中任一项所述的信息处理装置，其中，所述投影方法包括ERP(等量矩形投影)。
(28)根据(21)至(27)中任一项所述的信息处理装置，其中，所述投影方法包括CMP(立方体贴图投影)。
(29)根据(21)至(28)中任一项所述的信息处理装置，其中，所述文件包括与所述投影扩展相关联的信息作为所述图像编码数据的每个流的信息。
(30)根据(29)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述投影扩展相关联的信息被存储在所述ISOBMFF文件的投影全向视频盒中。
(31)根据(30)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括Projection_Enhancement_Box(投影增强盒)，其被存储在投影全向视频盒中并且通过表明所述投影增强盒的存在来指示应用了所述投影扩展。
(32)根据(31)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括enhancement_type，其被存储在所述Projection_Enhancement_Box中并且指示所应用的投影扩展的类型。
(33)根据(32)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括存储在所述Projection_Enhancement_Box中并且针对所述投影扩展中的每种类型渲染到所述三维结构中所必需的信息。
(34)根据(29)至(33)中任一项所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述投影扩展的信息包括存储在所述ISOBMFF文件中并且专用于所述投影扩展的类型的盒。
(35)一种信息处理方法，包括：
获取包括与作为投影方法的扩展方法的投影扩展相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的，以及
基于所获取的文件中包括的与所述投影扩展相关联的信息来选择所述图像编码数据的流。
(41)一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到所述单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像通过使用应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(42)根据(41)所述的信息处理装置，其中，与所述图像质量相关联的信息包括与质量排名相关联的信息。
(43)根据(42)所述的信息处理装置，其中，与质量排名相关联的信息包括与嵌套结构的每个区域的质量排名相关联的信息。
(44)根据(43)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与质量排名相关联的信息包括Sphere_Region_Quality_Ranking_Box(球形区域质量排名盒)。
(45)根据(43)或(44)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述质量排名相关联的信息包括2D_Quality_Ranking_Box。
(46)根据(43)至(45)中任一项所述的信息处理装置，其中，与所述质量排名相关联的信息包括与区域之间的交叠相关联的信息。
(47)根据(46)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示整个图像的区域之间存在或不存在交叠的信息
(48)根据(46)或(47)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与所述信息对应的区域与其他区域之间存在或不存在交叠的信息。
(49)根据(46)至(48)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的数目的信息
(50)根据(46)至(49)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的信息。
(51)根据(42)所述的信息处理装置，其中，与所述质量排名相关联的信息包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。
(52)根据(51)所述的信息处理装置，其中，与所述质量排名相关联的信息还包括指示是否包括仅与所述最高图像质量的质量排名和所述最低图像质量的质量排名相关联的信息的信息。
(53)根据(42)所述的信息处理装置，其中，
与所述质量排名相关联的信息包括：
仅与最高图像质量的质量排名相关联的信息，以及
具有指示未定义对应区域的质量排名的值的质量排名。
(54)根据(41)至(53)中任一项所述的信息处理装置，其中，与所述图像质量相关联的信息包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。
(55)根据(54)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述图像质量提高区域相关联的信息包括viewport_type，其指示所述图像质量提高区域的属性并且被存储在所述ISOBMFF文件的投影全向视频盒中的质量强调视口信息盒中。
(56)根据(54)或(55)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
所述图像质量提高区域相关联的信息包括标志信息，其被存储在所述ISOBMFF的推荐视口定时元数据的RcvpInfoBox中，并且指示所述图像质量提高区域与对应于推荐属性的区域是否彼此相匹配。
(57)根据(54)至(56)中任一项所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述图像质量提高区域相关联的信息包括reference_type，其被包括在将推荐视口定时元数据的轨道与全向视频的轨道相关联的轨道参考中，并且具有指示定时元数据中用信令通知的推荐视口与所述全向视频的图像质量提高区域之间的匹配的预定值。
(58)根据(41)至(57)中任一项所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(59)一种信息处理方法，包括：
生成包括对应于作为所述投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到所述单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(61)一种信息处理装置，包括：
文件获取单元，其获取包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
图像处理单元，其基于由所述文件获取单元获取的文件中包括的与所述投影平面图像的图像质量相关联的信息来选择所述图像编码数据的流。
(62)根据(61)所述的信息处理装置，其中，
与所述图像质量相关联的信息包括与质量排名相关联的信息，并且
所述图像处理单元被配置成基于与所述质量排名相关联的信息来选择流。
(63)根据(62)所述的信息处理装置，其中，与所述质量排名相关联的信息包括与嵌套结构的每个区域的质量排名相关联的信息。
(64)根据(63)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述质量排名相关联的信息包括Sphere_Region_Quality_Ranking_Box(球形区域质量排名盒)。
(65)根据(63)或(64)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述质量排名相关联的信息包括2D_Region_Quality_Ranking_Box(2D区域质量排名盒)。
(66)根据(63)至(65)中任一项所述的信息处理装置，其中，
与所述质量排名相关联的信息包括与区域之间的交叠相关联的信息，并且
所述图像处理单元基于与区域的交叠相关联的信息来选择流。
(67)根据(66)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示整个图像的区域之间存在或不存在交叠的信息
(68)根据(66)或(67)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与所述信息对应的区域与其他区域之间存在或不存在交叠的信息。
(69)根据(66)至(68)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的数目的信息。
(70)根据(66)至(69)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的信息。
(71)根据(62)中任一项所述的信息处理装置，其中，与所述质量排名相关联的信息包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。
(72)根据(71)所述的信息处理装置，其中，与所述质量排名相关联的信息还包括指示是否包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息的信息。
(73)根据(62)所述的信息处理装置，其中，
与所述质量排名相关联的信息包括：
与最高图像质量的质量排名相关联的信息，以及
具有指示未定义对应区域的质量排名的值的质量排名。
(74)根据(61)至(73)中任一项所述的信息处理装置，其中，
与所述图像质量相关联的信息包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息，并且
所述图像处理单元被配置成基于与所述图像质量提高区域相关联的信息来选择流。
(75)根据(74)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述图像质量提高区域相关联的信息包括viewport_type，其指示所述图像质量提高区域的属性并且被存储在所述ISOBMFF文件的投影全向视频盒中的质量强调视口信息盒中。
(76)根据(74)或(75)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
所述图像质量提高区域相关联的信息包括标志信息，其被存储在所述ISOBMFF的推荐视口定时元数据的RcvpInfoBox中，并且指示所述图像质量提高区域与对应于推荐属性的区域是否彼此相匹配
(77)根据(74)至(76)中任一项所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述图像质量提高区域相关联的信息包括reference_type，其被包括在将推荐视口定时元数据的轨道与全向视频的轨道相关联的轨道参考中，并且具有指示定时元数据中用信令通知的推荐视口与所述全向视频的图像质量提高区域之间的匹配的预定值。
(78)根据(61)至(77)中任一项所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(79)一种信息处理方法，包括：
获取包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据对所述投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
基于所获取的文件中包括的与所述投影平面图像相关联的信息来选择所述图像编码数据的流。
(81)一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与图像投影到三维结构的偏移相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(82)根据(81)所述的信息处理装置，其中，与所述偏移相关联的信息包括与所述偏移的方向相关联的信息和与所述偏移的大小相关联的信息。
(83)根据(82)所述的信息处理装置，其中，与所述偏移的方向相关联的信息包括与所述偏移的方向的方位角相关联的信息和与所述偏移的方向的仰角相关联的信息。
(84)根据(81)至(83)中任一项所述的信息处理装置，其中，与所述偏移相关联的信息在所述图像编码数据的流中是固定的。
(85)根据(84)所述的信息处理装置，其中，所述文件生成单元生成包括与所述偏移相关联的信息作为所述图像编码数据的每个流的信息的文件。
(86)根据(85)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息包括各自被存储在所述ISOBMFF文件的投影全向视频盒中的投影增强盒中的指示所述偏移的方向的方位角的offset_azimuth、指示所述偏移的方向的仰角的offset_elevation，以及指示所述偏移的大小的offset_value。
(87)根据(81)至(83)中任一项所述的信息处理装置，其中，与所述偏移相关联的信息在所述图像编码数据的流中动态地变化。
(88)根据(87)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息被存储在补充增强信息消息中。
(89)根据(87)或(88)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息被存储在定时元数据中。
(90)根据(87)至(89)中任一项所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息被存储在样本组条目中。
(91)根据(87)至(90)中任一项所述的信息处理装置，其中，与所述偏移相关联的信息包括指示与所述偏移相关联的信息是否在所述流中动态地变化。
(92)根据(81)至(91)中任一项所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(93)一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(101)一种信息处理装置，包括：
文件获取单元，其获取包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
图像处理单元，其基于由所述文件获取单元获取的文件中包括的与所述偏移相关联的信息来渲染从所述图像编码数据中获取的所述投影平面图像。
(102)根据(101)所述的信息处理装置，其中，
与所述偏移相关联的信息包括与所述偏移的方向相关联的信息和与所述偏移的大小相关联的信息，并且
所述图像处理单元基于与所述偏移的方向相关联的信息和与所述偏移的大小相关联的信息来执行渲染。
(103)根据(102)所述的信息处理装置，其中，与所述偏移的方向相关联的信息包括与所述偏移的方向的方位角相关联的信息和与所述偏移的方向的仰角相关联的信息。
(104)根据权利要求(101)至(103)中任一项所述的信息处理装置，其中，与所述偏移相关联的信息在所述图像编码数据的流中是固定的。
(105)根据(104)所述的信息处理装置，其中，所述文件包括与所述偏移相关联的信息作为用于所述图像编码数据的每个流的信息。
(106)根据(105)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息包括各自被存储在所述ISOBMFF文件的投影全向视频盒的投影增强盒中的指示所述偏移的方向的方位角的offset_azimuth、指示所述偏移的方向的仰角的offset_elevation，以及指示所述偏移的大小的offset_value。
(107)根据101)至(103)中任一项所述的信息处理装置，其中，与所述偏移相关联的信息在所述图像编码数据的流中动态地变化。
(108)根据(107)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息被存储在补充增强信息消息中。
(109)根据(107)或(108)所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息被存储在定时元数据中。
(110)根据(107)至(109)中任一项所述的信息处理装置，其中，
所述文件是ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述偏移相关联的信息被存储在样本组条目中。
(111)根据(107)至(110)中任一项所述的信息处理装置，其中，与所述偏移相关联的信息包括指示与所述偏移相关联的信息是否在所述流中动态地变化的信息。
(112)根据(101)至(111)中任一项所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(113)一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息并且包括图像编码数据的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
基于所获取的文件中包括的与所述偏移相关联的信息来将从所述图像编码数据中获取的所述投影平面图像渲染到三维机构中。
(121)一种信息处理装置，包括：
文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(122)根据(121)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括指示是否应用了所述投影扩展的信息。
(123)根据(121)或(122)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括指示所应用的投影扩展的类型的信息。
(124)根据(123)所述的信息处理装置，其中，所述投影扩展的类型包括EAC(等角立方体贴图)。
(125)根据(123)或(124)所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(126)根据(121)至(125)中任一项所述的信息处理装置，其中，与所述投影扩展相关联的信息包括渲染到所述三维结构中所必需的信息。
(127)根据(121)至(126)中任一项所述的信息处理装置，其中，所述投影方法包括ERP(等量矩形投影)。
(128)根据(121)至(127)中任一项所述的信息处理装置，其中，所述投影方法包括CMP(立方体贴图投影)。
(129)根据(121)至(128)中任一项所述的信息处理装置，其中，所述文件生成单元生成包括与所述投影扩展相关联的信息作为用于所述图像编码数据的每个流的信息的控制文件。
(130)根据(129)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述投影扩展相关联的信息包括omaf:@enhancement_type，其是指示所应用的投影扩展的类型的属性值并且被包括在所述MPD文件中定义的投影增强描述符中。
(131)根据(130)所述的信息处理装置，其中，与所述投影扩展相关联的信息还包括omaf:@projection_type，其是指示是否应用了所述投影扩展的属性值并且被包括在所述MPD文件中定义的投影格式描述符中。
(132)一种信息处理方法，包括：
生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(141)一种信息处理装置，包括：
文件获取单元，其获取包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
图像处理单元，其基于由所述文件获取单元获取的所述控制文件中包括的与所述投影扩展相关联的信息来选择所述图像编码数据的流。
(142)根据(141)所述的信息处理装置，其中，
与所述投影扩展相关联的信息包括指示是否应用了所述投影扩展的信息，并且
所述图像处理单元被配置成基于指示是否应用了所述投影扩展的信息来识别是否应用了所述投影扩展，并且基于所述标识的结果来选择流。
(143)根据(141)或(142)所述的信息处理装置，其中，
与所述投影扩展相关联的信息包括指示所应用的投影扩展的类型的信息，并且
所述图像处理单元被配置成基于指示所述投影扩展的类型的信息来识别所述投影扩展的类型，并且基于所述识别的结果来选择流。
(144)根据(143)所述的信息处理装置，其中，所述投影扩展的类型包括EAC(等角立方体贴图)。
(145)根据(143)或(144)所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(146)根据(141)至(145)中任一项所述的信息处理装置，其中，
与所述投影扩展相关联的信息包括渲染到所述三维结构中所必需的信息，并且
所述图像处理单元使用渲染到所述三维结构中所必需的信息将从所选择的流中获得的图像渲染到所述三维结构中。
(147)根据(141)至(146)中任一项所述的信息处理装置，其中，所述投影方法包括ERP(等量矩形投影)。
(148)根据(141)至(147)中任一项所述的信息处理装置，其中，所述投影方法包括CMP(立方体贴图投影)。
(149)根据(141)至(148)中任一项所述的信息处理装置，其中所述控制文件包括与所述投影扩展相关联的信息作为所述图像编码数据的每个流的信息。
(150)根据(149)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述投影扩展相关联的信息包括omaf:@enhancement_type，其是指示所应用的投影扩展类型的属性值，并且被包括在所述MPD文件中定义的投影增强描述符中。
(151)根据(150)所述的信息处理装置，其中，与所述投影扩展相关联的信息包括omaf:@projection_type，其是指示是否应用了所述投影扩展的属性值并且被包括在所述MPD文件中定义的投影格式描述符中
(152)一种信息处理方法，包括：
获取包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的，以及
基于所获取的控制文件中包括的与所述投影扩展相关联的信息来选择所述图像编码数据的流。
(161)一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(162)根据(161)所述的信息处理装置，其中，与所述图像质量相关联的信息包括与质量排名相关联的信息。
(163)根据(162)所述的信息处理装置，其中，与所述质量排名相关联的信息包括与嵌套结构的每个区域的质量排名相关联的信息。
(164)根据(163)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述质量排名相关联的信息包括球面区域式质量排名描述符。
(165)根据(163)或(164)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述质量排名相关联的信息包括2D区域式质量排名描述符。
(166)根据(163)至(165)中任一项所述的信息处理装置，其中，与所述质量排名相关联的信息包括与区域之间的交叠相关联的信息。
(167)根据(166)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示整个图像的区域之间存在或不存在交叠的信息。
(168)根据(166)或(167)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与所述信息对应的区域与其他区域之间存在或不存在交叠的信息。
(169)根据(166)至(168)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的数目的信息。
(170)根据(166)至(169)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的信息。
(171)根据(162)所述的信息处理装置，其中，与所述质量排名相关联的信息包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。
(172)根据(171)所述的信息处理装置，其中，与所述质量排名相关联的信息还包括指示是否包括仅与所述最高图像质量的质量排名和所述最低图像质量的质量排名相关联的信息的信息。
(173)根据(162)所述的信息处理装置，其中，
与所述质量排名相关联的信息包括：
仅与最高图像质量的质量排名相关联的信息，以及
具有指示未定义对应区域的质量排名的值的质量排名。
(174)根据(161)至(173)中任一项所述的信息处理装置，其中，与所述图像质量相关联的信息包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。
(175)根据(174)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述图像质量提高区域相关联的信息包括omaf:@viewport_type，其是指示所述图像质量提高区域的属性的属性值并且被包括在所述MPD文件中定义的质量强调视口信息描述符中。
(176)根据(174)或(175)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述图像质量提高区域相关联的信息包括omaf:@quality_emphasized_region_matching_flag，其是指示所述图像质量提高区域与对应于推荐属性的区域是否彼此匹配的属性值，并且被包括在所述MPD文件中定义的推荐视口信息描述符中。
(177)根据(174)至(176)中任一项所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述图像质量提高区域相关联的信息包括@associationType，其具有指示在推荐视口定时元数据的表示与全向视频的表示之间通过@associationtId和@associationType相关联时在定时元数据中用信令通知的推荐视口与所述全向视频的图像质量提高区域之间的匹配的预定值。
(178)根据(161)至(177)中任一项所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(179)一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
(181)一种信息处理装置，包括：
文件获取单元，其获取包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的，以及
图像处理单元，其基于由所述文件获取单元获取的所述控制文件中包括的与所述投影平面图像的图像质量相关联的信息来选择所述图像编码数据的流。
(182)根据(181)所述的信息处理装置，其中，
与所述图像质量相关联的信息包括与质量排名相关联的信息，并且
所述图像处理单元基于与所述质量排名相关联的信息来选择流。
(183)根据(182)所述的信息处理装置，其中，与所述质量排名相关联的信息包括与嵌套结构的每个区域的质量排名相关联的信息。
(184)根据(183)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述质量排名相关联的信息包括球面区域式质量排名描述符。
(185)根据(183)或(184)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述质量排名相关联的信息包括2D区域式质量排名描述符。
(186)根据(183)至(185)中任一项所述的信息处理装置，其中，与所述质量排名相关联的信息包括与区域之间的交叠相关联的信息。
(187)根据(186)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示整个图像的区域之间存在或不存在交叠的信息。
(188)根据(186)或(187)所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与所述信息对应的区域与其他区域之间存在或不存在交叠的信息。
(189)根据(186)至(188)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的数目的信息。
(190)根据(186)至(189)中任一项所述的信息处理装置，其中，与区域之间的交叠相关联的信息包括指示与对应于所述信息的区域交叠的其他区域的信息。
(191)根据(182)所述的信息处理装置，其中，与所述质量排名相关联的信息包括仅与最高图像质量的质量排名和最低图像质量的质量排名相关联的信息。
(192)根据(191)所述的信息处理装置，其中，与所述质量排名相关联的信息还包括指示是否包括仅与所述最高图像质量的质量排名和所述最低图像质量的质量排名相关联的信息的信息。
(193)根据(182)所述的信息处理装置，其中，
与所述质量排名相关联的信息包括：
仅与最高图像质量的质量排名相关联的信息，以及
具有指示未定义对应区域的质量排名的值的质量排名。
(194)根据(181)至(193)中任一项所述的信息处理装置，其中，
与所述图像质量相关联的信息包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息，并且
所述图像处理单元基于与所述图像质量提高区域相关联的信息来选择流。
(195)根据(194)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述图像质量提高区域相关联的信息包括omaf:@viewport_type，其是指示所述图像质量提高区域的属性的属性值并且被包括在所述MPD文件中定义的质量强调视口信息描述符中。
(196)根据(194)或(195)所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述图像质量提高区域相关联的信息包括omaf:@quality_emphasized_region_matching_flag，其是指示所述图像质量提高区域与对应于推荐属性的区域是否彼此匹配的属性值并且被包括在所述MPD文件中定义的推荐视口信息描述符中。
(197)根据(194)至(196)中任一项所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述图像质量提高区域相关联的信息包括@associationType，其具有指示在推荐视口定时元数据的表示与全向视频的表示之间通过@associationtId和@associationType相关联时在定时元数据中用信令通知的推荐视口与所述全向视频的图像质量提高区域之间的匹配的预定值。
(198)根据(181)至(196)中任一项所述的信息处理装置，其中，所述投影扩展的类型是偏心球面映射。
(199)一种信息处理方法，包括：
获取包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的；以及
基于所获取的控制文件中包括的与所述投影平面图像的图像质量相关联的信息来选择所述图像编码数据的流。
附图标记列表
100文件生成装置，101控制单元，102存储器，103文件生成单元，111数据输入单元，112数据编码和生成单元，113MPD文件生成单元，114记录单元，115上传单元，121预处理单元，122编码单元，123段文件生成单元，200客户端装置，201控制单元，202存储器，203再现处理单元，211测量单元，212MPD文件获取单元，213MPD文件处理单元，214段文件获取单元，215显示控制单元，216数据分析和解码单元，217显示单元，221段文件处理单元，222解码单元，223显示信息生成单元，900计算机。

Claims (20)

1.一种信息处理装置，包括：
文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
2.根据权利要求1所述的信息处理装置，其中，与所述投影扩展相关联的信息包括以下中的一个或更多个：指示是否应用了所述投影扩展的信息、指示所应用的投影扩展的类型的信息以及渲染到所述三维结构中所必需的信息。
3.根据权利要求1或2所述的信息处理装置，其中，所述文件生成单元生成包括与所述投影扩展相关联的信息作为图像编码数据的每个流的信息的文件，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
4.根据权利要求3所述的信息处理装置，其中，
所述文件包括ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述投影扩展相关联的信息被存储在所述ISOBMFF文件的投影全向视频盒中。
5.一种信息处理方法，包括：
生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。
6.一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
7.根据权利要求6所述的信息处理装置，其中，与所述图像质量相关联的信息包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。
8.根据权利要求7所述的信息处理装置，其中，
所述文件包括ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述图像质量提高区域相关联的信息包括以下中的一个或更多个：
viewport_type，其指示所述图像质量提高区域的属性并且被存储在所述ISOBMFF文件的投影全向视频盒中的质量强调视口信息盒中，
标志信息，其被存储在所述ISOBMFF文件的推荐视口定时元数据的RcvpInfoBox中，并且指示所述图像质量提高区域与对应于推荐属性的区域是否彼此匹配，以及
reference_type，其被包括在将推荐视口定时元数据的轨道与全向视频的轨道相关联的轨道参考中，并且具有指示在定时元数据中用信令通知的推荐视口与全向视频的图像质量提高区域之间的匹配的预定值。
9.一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
10.一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在所述三维结构上的图像的三维结构图像映射到单个平面上。
11.一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的、与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在所述三维结构上的图像的三维结构图像映射到单个平面上。
12.一种信息处理装置，包括：
文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
13.根据权利要求12所述的信息处理装置，其中，与所述投影扩展相关联的信息包括以下中的一个或更多个：指示是否应用所述投影扩展的信息、指示所应用的投影扩展的类型的信息以及渲染到所述三维结构中所必需的信息。
14.根据权利要求12或13所述的信息处理装置，其中，所述文件生成单元生成包括与所述投影扩展相关联的信息作为所述图像编码数据的每个流的信息的所述控制文件。
15.根据权利要求14所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，并且
与所述投影扩展相关联的信息包括omaf:@enhancement_type，其是指示所应用的所述投影扩展的类型的属性值并且被包括在所述MPD文件中定义的投影增强描述符中。
16.一种信息处理方法，包括：
生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。
17.一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对所述投影平面图像进行编码而获得的。
18.根据权利要求17所述的信息处理装置，其中，与所述图像质量相关联的信息至少包括与质量排名相关联的信息、或者与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。
19.根据权利要求18所述的信息处理装置，其中，
所述控制文件是MPD(媒体呈现描述)文件，
与所述质量排名相关联的信息包括以下中的至少一个：
指示在整个图像的区域之间存在或不存在交叠的信息，或者
指示在对应于所述信息的区域与其他区域之间存在或不存在交叠的信息，以及
与所述图像质量提高区域相关联的信息包括以下中的一个或更多个：
omaf:@viewport_type，其是指示所述图像质量提高区域的属性的属性值并且被包括在所述MPD文件中定义的质量强调视口信息描述符中，
omaf:@quality_emphasized_region_matching_flag，其是指示所述图像质量提高区域与对应于推荐属性的区域是否彼此匹配的属性值，并且被包括在所述MPD文件中定义的推荐视口信息描述符中，以及
@associationtype，其具有指示在推荐视口定时元数据的表示与全向视频的表示之间通过@associationtId和@associationtype相关联时在定时元数据中用信令通知的推荐视口与所述全向视频的图像质量提高区域之间的匹配的预定值。
20.一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对所述投影平面图像进行编码而获得的。
CN201880085259.7A 2018-01-12 2018-12-28 信息处理装置和方法 Pending CN111543063A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-003727 2018-01-12
JP2018003727 2018-01-12
PCT/JP2018/048422 WO2019138927A1 (ja) 2018-01-12 2018-12-28 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN111543063A true CN111543063A (zh) 2020-08-14

Family

ID=67219021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085259.7A Pending CN111543063A (zh) 2018-01-12 2018-12-28 信息处理装置和方法

Country Status (7)

Country Link
US (1) US20200342568A1 (zh)
EP (1) EP3739899A4 (zh)
JP (1) JPWO2019138927A1 (zh)
KR (1) KR20200108420A (zh)
CN (1) CN111543063A (zh)
TW (1) TW201939964A (zh)
WO (1) WO2019138927A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102277287B1 (ko) * 2016-05-26 2021-07-15 브이아이디 스케일, 인크. 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Also Published As

Publication number Publication date
JPWO2019138927A1 (ja) 2020-12-24
EP3739899A1 (en) 2020-11-18
US20200342568A1 (en) 2020-10-29
WO2019138927A1 (ja) 2019-07-18
KR20200108420A (ko) 2020-09-18
TW201939964A (zh) 2019-10-01
EP3739899A4 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
US11115641B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
US10991066B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
US12088862B2 (en) Method, device, and computer program for transmitting media content
US11729366B2 (en) Information processing apparatus and method
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
US20230360678A1 (en) Data processing method and storage medium
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
JP2019125865A (ja) 情報処理装置および方法
US20210092374A1 (en) Information processing apparatus and method
CN111543063A (zh) 信息处理装置和方法
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
WO2023058258A1 (ja) 画像処理システム、並びに、画像処理装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200814