CN107851425B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN107851425B
CN107851425B CN201680044107.3A CN201680044107A CN107851425B CN 107851425 B CN107851425 B CN 107851425B CN 201680044107 A CN201680044107 A CN 201680044107A CN 107851425 B CN107851425 B CN 107851425B
Authority
CN
China
Prior art keywords
display
information
scheme
image
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680044107.3A
Other languages
English (en)
Other versions
CN107851425A (zh
Inventor
胜股充
筱原隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Interactive Entertainment Inc
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Corp filed Critical Sony Interactive Entertainment Inc
Publication of CN107851425A publication Critical patent/CN107851425A/zh
Application granted granted Critical
Publication of CN107851425B publication Critical patent/CN107851425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种信息处理设备，具有：显示单元，能够选择性地显示不同方向的图像；以及数据处理单元，用于执行图像显示控制，其中数据处理单元通过应用与设备对应的并记录在图像显示控制信息中的图像显示方法来执行图像显示处理。图像显示控制信息对执行图像显示处理的信息处理设备的每种类型按照类型指定最佳显示方法，并且数据处理单元通过使用与和自身设备的类型相匹配的类型对应的显示方法执行图像显示处理。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序，并且更具体地，涉及在可以观察诸如全天球影像、全方位影像或全景影像等多方向影像的影像显示配置中，使在显示单元上显示的影像的显示方案能够按照最佳的方案(例如由内容制作者推荐的显示方案)来显示的信息处理设备、信息处理方法和程序。
背景技术
近年来，已经开发了能够拍摄诸如全天球影像、全方位影像或全景影像等多方向影像的成像设备。其中在PC、平板终端、便携式终端、头戴式显示器(HMD)等的显示单元上显示使用这种成像设备所拍摄的影像并且由用户选择的影像或者根据用户的朝向自动选择的影像可以被观察的系统已被广泛使用。
例如，在PC等中，可以从外部服务器获取或者可以从记录介质读取外围360°的全方位影像的映像(动态影像)数据，而显示在显示设备上。用户可以选择任何方向的影像，并在显示设备上显示该影像，可以自由地改变视点，并可以观察如动态影像、静态图像等的影像。
在PC、平板电脑终端或便携式终端的显示单元上显示的影像可以由用户通过鼠标操作或在触摸板上的滑动处理、轻拂处理等使观察方向移动来显示，使得用户可以容易地欣赏多方向影像。
在头戴式显示器(HMD)上显示影像的情况下，根据安装在HMD上并检测头部的运动或方向的传感器的信息，可以显示与用户头部的方向相符的影像。因此，用户可以体验到仿佛自己处在HMD的显示单元上显示的影像中一样的感觉。
全天球影像、全方位影像或全景影像经过从拍摄的多方向影像中仅剪出部分影像并在显示设备的显示单元上显示部分影像的处理。
涉及影像剪切的显示处理有多种不同的方案。
例如，有透视投影方案(perspective scheme)、鱼眼(广角)显示方案等。
另外，作为现有技术中公开了通过影像处理来改变显示范围的处理的技术，有专利文献1(JP 2014-127001A)。
通常，执行预定显示方案的应用程序(程序)被存储在显示设备，例如，PC、便携式终端、HMD等的显示设备中，并且按照根据应用程序(app)选择的显示方案来执行显示处理。
然而，由每个app选择的显示方案不一定与内容制作者的意图相匹配，即，实现如内容制作者意图看到的影像的显示方案。
当使用与内容制作者所假定的显示方案不同的显示方案来执行影像显示时，出现用户(观察者)不能观察到内容制作者“希望看到的影像”的问题。
现有技术文献
专利文献
专利文献1：JP 2014-127001A
发明内容
技术问题
本公开内容鉴于例如上述问题而完成，并且提供了能够在响应于用户的操纵或操作而输出诸如全方位影像的多方向影像的影像显示设备中，选择并执行最佳的显示方案，例如将影像显示为内容制造者希望看到的那样的显示方案的信息处理设备、信息处理方法和程序。
解决问题的技术方案
本公开内容的第一个方面是一种信息处理设备，包括：显示单元，被配置为能够选择性地显示多方向影像；以及数据处理单元，被配置为对输出给显示单元的影像执行影像显示控制。数据处理单元获取关于输出影像数据的影像显示控制信息，应用记录在影像显示控制信息中的影像显示方案，并执行影像显示处理。
此外，本公开内容的第二方面是一种数据传送服务器，包括：数据处理单元，被配置为生成以下文件，该文件存储被配置为使得可选择地显示多方向影像的影像数据和影像显示控制信息，该影像显示控制信息是关于影像数据的影像显示控制信息，并且根据执行影像显示的设备类型来定义影像显示方案；以及通信单元，被配置为发送由数据处理单元生成的文件。
此外，本公开内容的第三方面是一种信息记录介质，其存储有：配置为使得多方向影像是被可选择地显示的影像数据；以及影像显示控制信息，该影像显示控制信息是关于影像数据的影像显示控制信息，并且根据执行影像显示的设备类型来定义影像显示方案。信息记录介质被配置为能够使得再现从信息记录介质读取的数据的再现设备应用在影像显示控制信息中记录的对应于与自身设备的类型相匹配的设备类型的影像显示方案并且执行影像显示。
此外，本公开内容的第四方面是一种在信息处理设备中执行影像显示控制的信息处理方法。信息处理设备包括被配置为能够选择性地显示多方向影像的显示单元以及被配置为对被输出到显示单元的影像执行影像显示控制的数据处理单元，并且数据处理单元获取关于输出影像数据的影像显示控制信息，应用记录在影像显示控制信息中的影像显示方案，并且执行影像显示处理。
此外，本公开内容的第五方面是使信息处理设备执行影像显示控制的程序。信息处理设备包括被配置为能够选择性地显示多方向影像的显示单元以及被配置为对输出到显示单元的影像执行影像显示控制的数据处理单元，并且该程序使数据处理单元获取关于输出影像数据的影像显示控制信息，应用记录在影像显示控制信息中的影像显示方案，并执行影像显示处理。
注意，例如，根据本公开内容的程序是以计算机可读格式提供给能够执行各种程序代码的信息处理设备或计算机系统的程序，该程序可以由存储介质或通信介质提供。通过提供这样的计算机可读格式的程序，在信息处理设备或计算机系统上实现对应于程序的处理。
本公开内容的其他目的、特征和优点将通过基于下文中描述的本公开内容的实施方式和附图的更详细的描述来阐明。注意，在本说明书中，术语“系统”是指多个设备的逻辑集合配置，并且配置中的各个设备不限于在同一个外壳内。
发明的有益效果
在根据本公开内容的实施方式的配置中，可以实现能够在全景影像显示处理时应用与显示设备相对应的最佳显示方案并且执行显示处理的设备和方法。
具体地，在包括能够选择性地显示多方向影像的显示单元和执行影像显示控制的数据处理单元的信息处理设备中，数据处理单元应用在影像显示控制中记录的设备对应的影像显示方案信息并执行影像显示处理。影像显示控制信息定义了对于执行影像显示处理的每种类型的信息处理设备最佳的基于类型的显示方案。数据处理单元应用与和自身设备的类型匹配的类型相关联的显示方案，并执行影像显示处理。
利用该配置，可以实现在全景影像显示处理时能够应用与显示设备相对应的最佳显示方案并且执行显示处理的设备和方法。
注意，在本说明书中描述的有益效果仅仅是为了示例而非限制性的，并且可以有额外的有益效果。
附图说明
[图1]是示出了信息处理设备中的影像显示处理和音频输出处理的示例的说明图。
[图2]是示出了信息处理设备中的影像显示处理和音频输出处理的示例的说明图。
[图3]是示出了透视投影方案和鱼眼(广角)显示方案的说明图。
[图4]是示出了信息处理设备的数据提供处理的配置的说明图。
[图5]是示出了ISO基础媒体文件格式的说明图。
[图6]是示出了ISO基础媒体文件格式的说明图。
[图7]是示出了MP4文件中的影像显示控制信息的记录示例的说明图。
[图8]是示出了设备类型设定示例的说明图。
[图9]是示出了显示方案设定示例的说明图。
[图10]是示出了显示区域对角角度的示例的说明图。
[图11]是示出了显示区域对角角度的示例的说明图。
[图12]是示出了MP4文件中的影像显示控制信息的记录区域的示例的说明图。
[图13]是示出了影像显示控制信息从MP4文件中的读取以及影像显示控制处理的执行顺序的说明性流程图的示图。
[图14]是示出了影像显示控制信息从MP4文件中的读取以及影像显示控制处理的执行顺序的说明性流程图的示图。
[图15]是示出了用于信息处理设备的数据提供处理的配置的说明图。
[图16]是示出了MPD文件的说明图。
[图17]是示出了MPD文件的说明图。
[图18]是示出了记录在MPD文件中的影像显示控制信息的说明图。
[图19]是示出了影像显示控制信息从MPD文件中的读取和影像显示控制处理的执行顺序的说明性流程图的示图。
[图20]是示出了影像显示控制信息从MPD文件中的读取和影像显示控制处理的执行顺序的说明性流程图的示图。
[图21]是示出了信息处理设备的硬件配置示例的说明图。
具体实施方式
在下文中，将参照附图描述本公开内容的信息处理设备、信息处理方法和程序的细节。请注意，下面将介绍这些项目。
1.影像显示处理的概述
2.选择指定的影像显示方案并执行影像显示处理的配置的概述
3.(第一实施方式)在MP4文件中定义要在设备中使用的影像显示方案的实施方式
3-1.(第一影像显示控制信息记录示例)在MP4文件中以内容为单位记录显示方案指定信息的记录示例
3-2.(第二影像显示控制信息记录示例)在MP4文件中以显示设备为单位记录显示方案指定信息的记录示例
3-3.(第三影像显示控制信息记录示例)在MP4文件中记录其中用于限制用户可以选择的方案的显示方案指定信息的记录示例
4.使用在MP4文件中记录的影像显示控制信息的影像显示控制处理序列
5.(第二实施方式)在MPD中记录影像显示控制信息的实施方式
6.使用在MPD文件中记录的影像显示控制信息的影像显示控制处理序列
7.信息处理设备的硬件配置示例
8.本公开内容的构成的总结
[1.影像显示处理的概述]
首先，将参考图1和后面的附图来描述能够在显示单元上显示诸如全天球影像、全方位影像或全景影像的多方向影像的设备中的影像显示处理的概述。
如上所述，近年来，已经开发了能够拍摄诸如全天球影像、全方位影像或全景影像等多个方向的影像的成像设备。其中将使用这种成像设备拍摄的影像显示在PC、平板终端、便携式终端、头戴式显示器(HMD)等的显示单元上并且能够观察由用户所选择的任何方向的影像的系统已被广泛使用。
例如，可以从外部服务器获取或者可以从记录介质中读取外围360°全方位影像的映像(动态影像)数据而显示在用户的PC等上的显示设备上。用户可以从自服务器或记录介质获取的影像数据中选择任何方向的影像，在显示设备上显示该影像，并自由地改变视点的同时观察映像(动态影像)或静态图像。
图1是示出了在便携式终端的显示单元上选择并显示多方向影像的示例的说明图。
在图1中所示的影像数据10是全景影像。将水平方向360°的影像设定为一张影像数据。
当影像数据的中心部被假设为用户(观察者)的正面方向(例如，0度＝北)的影像时，影像数据10的左端是该用户(观察者)背面方向(-180度＝南)上的影像，并且影像数据10的右端也是该用户(观察者)的背面方向(+180度＝南)上的影像。
影像数据10的左端和右端是在相同位置处的影像。
另外，在全天球影像或全方位影像(即，360度全景影像)的情况下，对于垂直方向拍摄180°的影像，包括垂直和水平所有方向上的影像。
在以下实施方式中，将描述使用水平方向上的360°全景影像的示例。然而，根据本公开内容的配置也可以应用于使用了全天球影像或全方位影像的情况。本公开内容的配置可以应用于其中可以选择性地显示多方向影像的设备。
假设在以下描述中的全景影像包括水平方向上的360°全景影像，诸如全天球影像或全方位影像的360°全景影像，以及其中通过影像移动可以显示多方向影像的所有影像。
在图1的下部中，示出了作为用户的信息处理设备的示例的便携式终端20。
在便携式终端20的显示单元上可以显示影像数据10的一部分的区域中的影像，例如由用户选择的任何区域中的影像。
左侧的便携式终端20上的显示影像A是在影像数据10中的部分区域的影像区间a1至a2的部分区间的区域影像。
右侧的便携式终端20上的显示影像B是影像数据10中的部分区域的影像区间b1至b2的部分区间的区域影像。
用户可以通过用他或她的手指在被配置为触摸面板的显示单元上通过滑动处理等来移动显示影像，从而能够显示任何区域的影像。
而且，便携式终端20包括扬声器25，使得可以输出与显示影像一起记录的音频数据。
图2示出了使用头戴式显示器(HMD)30显示全景影像的示例。
在头戴式显示器(HMD)30上显示影像的情况下，根据安装在HMD上并检测头部的运动或方向的传感器的信息，根据用户头部的方向显示影像。通过影像显示控制，用户可以体验到仿佛自己在HMD的显示单元上显示的影像中一样的感觉。
当佩戴HMD 30的用户面向左侧时的影像是显示影像P。
当佩戴HMD 30的用户面向右侧时的影像是显示影像Q。
佩戴HMD 30的用户可以通过改变他或她的身体(头部)的方向(朝向)来观察周边的360°影像。
而且，头戴式显示器(HMD)30还包括扬声器35，使得可以输出与显示影像一起记录的音频数据。
[2.选择指定的影像显示方案并执行影像显示处理的配置的概述]
当参照图1和图2描述全景影像时，在显示单元上显示全天球影像、全方位影像等，执行从多方向拍摄的影像剪出部分影像并显示该部分影像的处理。
涉及影像剪切的显示处理有多种不同的方案。
例如，这些方案大致分为以下方案：
透视投影方案；和
鱼眼(广角)显示方案。
如在图3(a)中所示，透视投影方案是使用某个中心点O作为参考点将投影的拍摄影像ABCD转换成显示影像XYZW的方案。鱼眼(广角)显示方案是应用了鱼眼镜头的影像投影转换方案。如在图3(b)中所示，鱼眼显示方案是以虚拟球面的中心点O为基准点将影像投影到虚拟球面并将所投影的影像转换为显示平面影像的方案。
此外，作为应用了鱼眼镜头的投影转换方案，存在例如立体投影、等距离投影、等立体角投影和正投影的各种方案。
通常，执行预定显示方案的应用程序(程序)被存储在显示设备中，例如，PC、便携式终端、HMD等的显示设备中，并且根据按照应用程序(app)选择的显示方案来执行显示处理。
然而，由每个app选择的显示方案不一定与内容制作者的意图相匹配，即，实现内容制作者希望看到的影像的显示方案。
当使用与内容制作者所假设的显示方案不同的显示方案来执行影像显示时，出现用户(观察者)不能观察到内容制作者“希望看到的影像”的问题。
下面将描述用于解决该问题的根据本公开内容的配置。
以下要描述的根据本公开内容的信息处理设备能够在响应于用户的操纵或操作而输出诸如全方位影像的多方向影像的影像显示处理时，选择并执行最佳显示方案，例如，显示如内容制造者希望看到的影像的显示方案。
首先，将描述由根据本公开内容的信息处理设备执行的处理的概述。
作为在显示单元上显示参照图1和图2描述的全景影像、全天球影像、全方位影像等的信息处理设备，存在以下类型的信息处理设备(设备类型)，例如：
(a)通过用户操作(鼠标、触摸板操作、滑动或远程控制)来移动和改变显示影像的设备；
(a1)PC；
(a2)平板终端；
(a3)便携式终端；以及
(a4)TV
(b)根据来自检测传感器的诸如用户(观察者)或设备(显示设备)的运动或朝向等检测信息来移动和改变显示影像的设备；
(b1)外部无法看见的沉浸式头戴式显示器(HMD)；
(b2)外部也能透视的眼镜型头戴式显示器(HMD)；以及
(b3)诸如移动设备的便携式终端(屏幕可以通过运动传感器而移动的设备)。
当全景影像、全天球影像、全方位影像等被显示在各种信息处理设备的显示单元上时，信息处理设备的数据处理单元读取对应于影像而设定的元数据，应用在元数据中指定的显示方案，并执行显示处理。
作为记录在元数据中的指定方案，存在以下方案，例如：
(1)在不转换的情况下显示整体的无转换全显示方案；
(2)透视投影方案；
(3)用两只鱼眼显示整个360°的方案；
(4)鱼眼(广角)显示(立体投影，stereographic)方案；
(5)鱼眼(广角)显示(等距离投影，equidistant)方案；
(6)鱼眼(广角)显示(等立体角投影，wquisolid angle)方案；
(7)鱼眼(广角)显示(正投影，orthographic)方案；以及
(8)用于允许信息处理设备或用户指定而不限制显示方案的设定。
例如，(1)至(8)的一个指定信息被记录为与影像对应的元数据，并与影像一起被提供给信息处理设备。
信息处理设备在影像显示时参考与显示影像相关联的元数据，根据记录在元数据中的指定方案来执行显示处理。
另外，元数据被记录在例如以下文件之一中：
(1)定义为AV内容的存储文件的MP4文件；和
(2)作为构成在MPEG-DASH标准中定义的信令数据(元数据)的一个清单文件的媒体呈现描述(MPD)文件。
元数据被存储在MP4文件或MPD文件中，以被提供给执行影像显示的用户设备(信息处理设备)。
下面将依次描述两个实施方式。
(第一实施方式)在MP4文件中定义要在设备中使用的影像显示方案的实施方式
(第二实施方式)在MPD文件中定义要在设备中使用的影像显示方案的实施方式
[3.(第一实施方式)在MP4文件中定义要在设备中使用的影像显示方案的实施方式]
首先，将描述在MP4文件中定义要在设备中使用的影像显示方案的实施方式作为第一实施方式。
图4是示出了根据第一实施方式的根据本公开内容执行影像显示控制的信息处理设备70以及向信息处理设备70提供包括影像和音频数据的内容的服务器50和介质60的示图。
例如，将全天球影像、全方位影像、全景影像等的影像数据和音频数据从在图4中所示的服务器50提供给信息处理设备70。可选地，将影像数据和音频数据从在图4中所示的介质60提供给信息处理设备70。
例如，服务器50包括广播台等的广播服务器51和其他数据传送服务器52。
内容通过诸如因特网等网络或广播波被传送到信息处理设备70。
信息处理设备70经由诸如因特网等网络或广播波接收从服务器50发送的内容并且再现该内容。
另外，介质60包括安装在信息处理设备上的各种介质，诸如光盘、闪存和硬盘。
信息处理设备70读取记录在介质上的内容并再现内容。
例如，再现内容的信息处理设备是TV 71、PC 72、便携式终端73、头戴式显示器(HMD)74等，并且是包括影像显示单元和音频输出单元(扬声器)的设备。
从服务器50或介质60提供给信息处理设备70的内容是包括影像数据和音频数据的内容，该内容被配置为使得诸如全天球影像、全方位影像或全景影像的多方向影像可以被选择性显示。
例如，内容被存储在要提供的MP4文件81中。
MP4文件81是根据ISO基础媒体文件格式记录数据的文件。
例如，ISO基础媒体文件格式是根据ISO/IEC 14496-12定义的数据格式，并且例如是适合于闪存等上的记录数据或者经由网络或广播波的传输数据文件中的存储数据的数据格式。
例如，当作为诸如影像、音频和字幕的内容配置数据的编码数据或与数据有关的元数据(属性信息)被记录在记录介质上时，使用ISO基础媒体文件格式。而且，ISO基础媒体文件格式也被用作通过网络或广播波传输的数据的数据存储格式。
近年来，许多便携式终端具有能够再现根据ISO基础媒体文件格式记录的MP4数据的再现应用程序。在内容被记录在便携式终端的介质上的情况下，在许多情况下存在用MP4格式进行记录的请求。
将参照图5和图6来描述ISO基础媒体文件格式的概述。
图5示出了根据ISO/IEC 14496-12定义的ISO基础媒体文件格式的示例。
在图5中示出的MP4文件是根据ISO基础媒体文件格式在记录或再现数据的处理中被设置为一个处理单位的文件。
在MP4文件中，以盒(box)为单位执行区域设置，并且以盒为单位定义的数据被存储在每个盒中。
每个盒具有盒大小(box-size)，盒类型(box-type)和盒数据(box-data)的区域。
盒的数据长度(字节大小)被记录在盒大小(box-size)中。
存储在盒中的数据类型被记录在盒类型(box-type)中。
由盒类型指示的类型的数据记录在盒数据(box-data)中。
在图5中所示的MP4文件中，设置下列类型的盒：
moov盒(电影盒)；
trak盒(轨道盒)；和
mdat盒(实际数据盒)。
上面的盒被设定。
作为再现对象数据的实际数据(例如影像、音频和字幕)被存储在mdat盒中。
另外，诸如关于存储在mdat盒中的数据的属性信息或再现控制信息等的元数据被存储在moov盒中的trak盒中。
moov盒是被设置为在MP4文件的mdat盒中存储的数据的元数据(再现控制信息或属性信息)的存储区域的盒。
在moov盒中，设置一个或多个trak盒。例如，可以通过诸如影像、音频和字幕的数据的类型来设置trak盒，并存储每种数据的元数据。
将参照图6来描述MP4文件中的数据存储配置的示例。如上所述，在MP4文件中设置以下盒：
moov盒；
trak盒；以及
mdat盒。
上面的盒被设置。
例如，在mdat盒中存储以下数据：
(a)影像；
(b)音频；以及
(c)字幕。
具有ISO基础媒体文件格式的数据部分，即mdat盒的存储数据被分成用作基本数据单元的样本。
在一个mdat盒中，存储相同种类的数据样本的集合，例如仅有影像样本的集合，仅有音频样本的集合或仅有字幕样本的集合。
moov盒是存储在MP4文件的mdat盒中的数据的元数据(再现控制信息或属性信息)的存储区域。
在moov盒中，设置一个或多个trak盒。例如，可以通过诸如影像、音频和字幕的数据的类型来设置trak盒，并存储每种数据的元数据。
在图6中示出的trak(Video)盒是存储关于影像数据的属性信息或控制信息的影像对应的元数据存储盒。
trak(Audio)盒是存储关于音频数据的属性信息或控制信息的影像对应的元数据存储盒。
trak(Subtitle)盒是存储关于字幕数据的属性信息或控制信息的影像对应的元数据存储盒。
而且，在存储在MP4文件中的再现数据包括多个不同的影像数据(例如，2K影像和4K影像)的情况下，以影像类型为单位的控制信息可以被记录在trak(Video)盒中。
另外，在存储在MP4文件中的音频数据包括多个不同的音频数据(例如，日语音频和英语音频)的情况下，根据音频的类型的以音频声道为单位的个别控制信息可以记录在trak(Audio)盒中。
另外，同样对于BGM、旁白、被摄物(物件)音频等，也可以在trak(Audio)盒中记录以音频声道为单位(还包括音频输出物件)的个别控制信息。
接下来，将参照图7来描述记录在trak(Video)盒中的与影像相对应的特定控制信息记录示例。
在图7中所示的影像显示控制信息是供给信息处理设备70的影像显示控制信息，该信息处理设备在显示单元上显示被配置为使得诸如全景影像的多方向影像可被选择性地显示的影像数据。
具体地，影像显示控制信息是用于在存储在MP4文件中的影像数据(全景影像、全天球影像、全方位影像等)的影像显示时决定在以下显示方案中要执行的显示方案的控制信息：
(1)在不转换的情况下显示整体的无转换全显示方案；
(2)透视投影方案；
(3)用两只鱼眼显示整个360°的方案；
(4)鱼眼(广角)显示(立体投影，stereographic)方案；
(5)鱼眼(广角)显示(等距离投影，equidistant)方案；
(6)鱼眼(广角)显示(等立体角投影，wquisolid angle)方案；
(7)鱼眼(广角)显示(正投影，orthographic)方案；以及
(8)用于允许信息处理设备或用户指定而不限制显示方案的设定。
例如，影像显示控制信息是用于决定根据方案(1)至(8)中的哪一个执行影像显示的控制信息。
记录在trak(Video)盒中的控制信息被记录为在图7中所示的数据。
即，例如，控制信息被记录为以下数据。
Figure BDA0001560210360000151
Figure BDA0001560210360000161
在图7中以及以上所描述的用于指定影像显示方案的控制信息包括：
(a)基于设备类型的指定信息90；和
(b)用户选择允许信息96。
信息(a)和(b)被包括。
基于设备类型的指定信息90是其中记录了根据设备类型(诸如PC或头戴式显示器(HMD))的显示方案的指定信息的区域。
基于设备类型的指定信息90是其中重复记录了以一种或多种设备类型为单位的显示方案的循环区域。
例如，通过例如在第一循环中记录用于PC和平板终端的指定显示方案并且将用于HMD的指定显示方案记录为第二循环，来记录根据每种设备类型的显示方案的指定信息。
基于设备类型的指定信息90内的“作为显示方案指定对象的设备类型(device_type)92”中记录的设备类型标识符对应于的设备被请求应用在基于设备类型的指定信息90的记录区域中指定的显示方案并执行影像显示。
用户选择允许信息96是在基于设备类别指定信息90内的“用户选择允许标志93(user_selection_flag)”的设定是用于允许用户选择的设定值的情况下使用的并且记录了用户可以进行自由选择的显示方案的区域。
在“用户选择允许标志93(user_selection_flag)”的设定是用于允许用户选择的设定值的情况下，用户可以自由地决定记录在用户选择允许信息96中的选项中的显示方案。
下面将描述在图7中所示的影像显示方案控制信息的记录数据的细节。
如在图7中所示，在图7中所示的控制数据中的数据“device_count”是“设备区分数(循环数)91”。也就是说，数据“device_count”是记录在基于设备类型的指定信息90中的“设备区分数(循环数)91”。
设备类型是执行影像显示的信息处理设备的类型，并且相当于PC、HMD等的种类。
例如，基于设备类型的指定信息90被假定为包括以下两个循环：
(第一循环)用于PC和平板终端的指定显示方案；和
(第二循环)用于HMD的指定显示方案。
以这种方式，在记录了两个循环的情况下，“设备区分数(循环数)(device_count)91”为2。
另外，如在图7中所示，在图7中所示的控制数据中的数据“device_type”是“作为显示方案指定对象的设备类型92”。
将参照图8描述设备类型设定值与设备类型之间的对应关系的具体示例。
如在图8中所示，设备类型与设备类型设定值之间的对应关系如下：
设备类型设定值＝0：没有设备指定：在所有设备中可用(在一起写入除0以外的其他值的情况下，在与一起写入的设定值对应的设备以外的设备中可用)。
设备类型设定值＝1：沉浸式头戴式显示器(HMD)[只能观察HMD显示单元的显示影像的HMD]。
设备类型设定值＝2：眼镜式头戴式显示器(HMD)[不仅可以观察HMD显示单元的显示影像，而且还可以观察到透过HMD的外景的HMD]。
设备类型设定值＝3：用户屏幕操纵式设备，用其能够由用户通过屏幕操纵(鼠标或触摸操纵等)使影像移动，[PC、平板终端、便携式终端等]；以及
设备类型设定值＝4：用户运动操纵式设备，用其能够由用户通过设备运动操纵(摇动设备等的运动操纵)使影像移动，[平板终端、便携式终端等]。
例如，在其中基于设备类型指定信息90的第一循环是用于HMD的指定显示方案的情况下，设备类型设定值＝1或2被设置为第一循环的“作为显示方案指定对象的设备类型(设备类型)92”。
对应于设备类型设定值＝1或2的HMD被要求应用下面记录的显示方案并执行显示处理。
同样，在图8中所示的对应关系的设定是一个示例。与在图8中所示的对应关系不同的设定也是可能的，并且也可以实现其中设定值被设定用于除了在图8中所示的设备类型以外的设备的配置。
如在图7中所示的，在图7中所示的控制数据中的数据“user_selection_flag”是“用户选择允许标志93”。
这是表示用户是否可以选择显示方案的标志。例如，有以下标志设定：
用户选择允许标志＝1；以及
用户选择允许标志＝0。
在用户选择允许标志＝1的情况下，可执行由用户从在图7中示出的以下数据记录区域中设定的显示方案以及显示区域对角角度中选出的设定的显示处理：
“用户可选择显示方案(user_projection_type)96”；和
“用户可选择显示区域对角角度(user_diagonal_angle)97”。
如在图7中所示，在图7中所示的控制数据中的数据“projection_type”是“指定显示方案94”。
将参照图9描述指定显示方案(projection_type)的设定值与显示方案之间的对应关系的具体示例。
如在图9中所示，指定显示方案(projection_type)的设定值与显示方案之间的对应关系如下：
指定显示方案设定值＝0：无指定[可以使用在信息处理设备(显示设备)侧确定的显示方案]；
指定显示方案设定值＝1：影像无变化显示(不执行影像转换)；
指定显示方案设定值＝2：透视投影方案；
指定显示方案设定值＝3：使用两个鱼眼的360°影像全显示方案；
指定显示方案设定值＝4：鱼眼(广角)显示方案[＝立体投影显示方案]；
指定显示方案设定值＝5：鱼眼(广角)显示方案[＝等距离投影显示方案]；
指定显示方案设定值＝6：鱼眼(广角)显示方案[＝等立体角投影显示方案]；和
指定显示方案设定值＝7：鱼眼(广角)显示方案[＝正投影显示方案]。
同样，在图9中所示的设定是一个示例。与在图9中所示的设定不同的设定同样是可能的。另外，也可以实现其中设定值被设置用于除了在图9中所示的显示方案以外的显示方铵的配置。
如在图7中所示，在图7中所示的控制数据中的数据“diagonal_angle”是“显示区域对角角度95”。
显示区域对角角度(diagonal_angle)是定义了在图8中所示的显示方案(c)2：透视投影方案到(h)7：鱼眼(广角)显示方案中所定义的显示区域对角角度的区域。
在执行其中在图8中所示的显示方案(c)2：透视投影方案到(h)7：鱼眼(广角)显示方案的情况下，需要指定显示区域对角角度，并记录指定的角度信息。
在图10中示出了透视投影方案中的对角角度(角度BOD)的示例，并且在图11中示出了鱼眼(广角)方案中的对角角度(角度BOD)的示例。
在图7中所示的控制数据中的数据“user_projection_type”是如在图7中所示的“用户可选择显示方案97”。
另外，在图7中所示的控制数据中的数据“user_diagonal_angle”是在如图7中所示的“用户可选择显示区域对角角度98”。
如上所述，用户选择允许信息96是在其中基于设备类型指定信息90中的“用户选择允许标志93(user_selection_flag)”的设定是允许用户选择的设定值的情况下使用的以及其中记录用户可自由选择的显示方案的区域。
在“用户选择允许标志93(user_selection_flag)”的设定是允许用户选择的设定值的情况下，用户可以自由地决定在用户选择允许信息96的“用户可选择显示方案97”中记录的显示方案选项中的显示方案。
类似地，用户可以自由地确定录在“用户可选择显示区域对角角度98”中记的显示区域对角角度选项中的显示区域对角角度。
在图7中所示的影像显示控制信息被记录在trak盒中，该trak盒是与上面参考图5和图6描述的MP4文件的与影像相对应的控制信息(元数据)记录区域。
在作为影像显示控制信息记录区域的trak盒中，可以记录各种控制信息。
将参考图12描述其中记录了在图7中所示的影像显示控制信息的trak盒中设置的记录位置的一个示例。
(第一控制信息存储示例)
将描述图12中所示的第一控制信息存储示例。
在图12中所示的示例是其中将影像显示控制信息(Projection Type)记录盒设定为将用户数据存储在trak盒中的用户数据(udta)盒中的下位盒的示例，该track盒是MP4文件的影像显示控制信息存储盒。
在图7中所示的控制信息被记录在图12中所示的影像显示控制信息(ProjectionType)记录盒上。
例如，在MP4文件81中，可以将影像显示控制信息记录在参照图12描述的元数据记录区域中。
在下文中，将依次描述以下三个记录示例作为MP4文件中的特定控制信息记录示例：
(第一影像显示控制信息记录示例)以内容为单位的显示方案指定信息被记录在MP4文件中；
(第二影像显示控制信息记录示例)以显示设备为单位的显示方案指定信息被记录在MP4文件中；以及
(第三影像显示控制信息记录示例)用于限制用户可以选择的方案的显示方案指定信息被记录在MP4文件中。
在下文中，将描述每个影像显示控制信息记录示例。
[3-1.(第一影像显示控制信息记录示例)在MP4文件中以内容为单位记录显示方案指定信息的记录示例]
首先，将以内容为单位将显示方案指定信息记录在MP4文件中的记录示例将被描述为第一影像显示控制信息记录示例。
在以内容为单位的显示方案指定信息被记录在MP4文件中的情况下，如下执行MP4文件的记录数据的设定：
设备分区数(循环数)(device_count)＝1；并且
设备类型(device_type)＝0(无指定)。
该设定被执行。
此外，在图7中所示的影像显示控制信息的记录数据中的“基于设备类型的指定信息90”的记录区域中设置一个循环，并且在所有设备中记录一种共同的记录方案。
图9中所示的设定值中的一个被记录在图7中所示的控制数据中的“指定显示方案(投影类型)94”中。
即：
指定显示方案设定值＝0：无指定[可以使用在信息处理设备(显示设备)侧确定的显示方案]；
指定显示方案设定值＝1：影像无变化显示(不执行影像转换)；
指定显示方案设定值＝2：透视投影方案；
指定显示方案设定值＝3：使用两个鱼眼的360°影像全显示方案；
指定显示方案设定值＝4：鱼眼(广角)显示方案[＝立体投影显示方案]；
指定显示方案设定值＝5：鱼眼(广角)显示方案[＝等距离投影显示方案]；
指定显示方案设定值＝6：鱼眼(广角)显示方案[＝等立体角投影显示方案]；以及
指定显示方案设定值＝7：鱼眼(广角)显示方案[＝正投影显示方案]。
其中一个设定值被记录下来。
此外，如有必要，在图7所示的控制数据中的“显示区域对角角度(diagonal_angle)95”中记录指定的显示区域对角角度数据。
执行影像显示的诸如PC或HMD的显示设备(信息处理设备)解释影像显示控制信息，执行指定的显示方案，并且执行影像显示处理。
[3-2.(第二影像显示控制信息记录示例)在MP4文件中以显示设备为单位记录显示方案指定信息的记录示例]
接着，将描述其中以显示设备为单位的显示方案指定信息被记录在MP4文件中的记录示例作为第二影像显示控制信息记录示例。
在以显示设备为单位将显示方案指定信息记录在MP4文件中的情况下，如下执行MP4文件的记录数据的设定，例如：
设备区分数(循环数)(device_count)＝2。
在基于设备类型的指定信息中设置以下两个循环：
设备类型(device_type)＝1(HMD)；和
设备类型(device_type)＝0(无指定)。
该设定被执行。
在基于设备类型的指定信息的第一循环中，记录对应于设备类型(device_type)＝1(HMD)的记录方案指定信息。
在图9中所示的设定值中的一个被记录在图7中所示的控制数据中的“指定显示方案(projection_type)94”中。
此外，如有必要，在图7中所示的控制数据中的“显示区域对角角度(diagonal_angle)95”中记录指定的显示区域对角角度数据。
此外，在基于设备类型的指定信息的第二循环中，记录对应于设备类型(device_type)＝0(没有指定)的记录方案指定信息。
图9中所示的设定值中的一个被记录在图7中所示的控制数据中的“指定显示方案(投影类型)94”中。
此外，如有必要，在图7中所示的控制数据中的“显示区域对角角度(diagonal_angle)95”中记录指定的显示区域对角角度数据。
在执行影像显示的显示设备(信息处理设备)是HMD的情况下，显示设备根据在基于设备类型的指定信息的第一循环中记录的指定方案，即以下指定数据来执行影像显示处理：
“指定显示方案(projection_type)94”；和
“显示区域对角角度(diagonal_angle)95”。
在执行影像显示的显示设备(信息处理设备)是除HMD之外的设备的情况下，显示设备根据在基于设备类型的指定信息的第二循环中记录的指定方案，即以下指定数据来执行影像显示处理：
“指定显示方案(projection_type)94”；和
“显示区域对角角度(diagonal_angle)95”。
[3-3.(第三影像显示控制信息记录示例)其中限制可以由用户选择的用于方案的显示方案指定信息被记录在MP4文件中的记录示例]
接下来，将描述将用于限制用户可选择的方案的显示方案指定信息被记录在MP4文件中的记录示例作为第三影像显示控制信息记录示例。
在用于限制用户可以选择的方案的显示方案指定信息被记录在MP4文件中的情况下，例如，如下执行MP4文件的记录数据的设定。
基于设备类型的指定信息90中的“用户选择允许标志93(user_selection_flag)”被设置为用于允许用户选择的设定值：
用户选择允许标志＝1。
此外，用户可以选择的方案等被记录在用户选择允许信息96中。
在下面的数据记录区域中记录要被允许的显示方案、显示区域对角角度等：
“用户可选择显示方案(user_projection_type)97”；和
“用户可选择显示区域对角角度(user_diagonal_angle)98”。
执行影像显示的显示设备(信息处理设备)应用由用户从记录在以下区域中的方案和角度选择的方案和角度，并执行影像显示处理：
“用户可选择显示方案(user_projection_type)97”；和
“用户可选择显示区域对角角度(user_diagonal_angle)98”。
[4.使用在MP4文件中记录的影像显示控制信息的影像显示控制处理顺序]
接下来，将描述由信息处理设备执行的影像显示控制处理序列，即其中使用了记录在MP4文件中的影像显示控制信息的影像显示控制处理序列。
在图13和图14中所示的流程图是说明在作为用户设备的信息处理设备70中执行的影像显示控制处理序列的说明性流程图。
信息处理设备70包括显示单元(显示器)和音频输出单元(扬声器)。
信息处理设备70是例如TV、PC、便携式终端、头戴式显示器(HMD)等。
例如，信息处理设备70从在图4中所示的服务器50或介质60获取MP4文件并且再现记录在MP4文件中的内容。
再现内容是包括可以观察诸如全天球影像、全方位影像或全景影像等多方向影像的影像，并且包括与影像一起被再现的音频信息的内容。
影像数据和音频数据被存储在MP4文件中，并且对应于影像数据和音频数据的控制信息也被进一步存储在MP4文件中。
影像显示控制信息包括上面参照图7描述的控制信息。
将参考在图13和图14中所示的流程图来描述在信息处理设备70中执行的处理序列。
而且，在信息处理设备70中执行在图13和图14中所示的流程图中的处理。信息处理设备70包括数据处理单元，该数据处理单元包括具有程序执行功能的CPU，并且每个处理都是在数据处理单元的控制下被执行。而且，稍后将描述信息处理设备70的硬件配置示例。
将描述在图13和图14中所示的流程的每个步骤的处理。
(步骤S101)
在步骤S101中，信息处理设备的数据处理单元获取MP4文件。
(步骤S102)
随后，在步骤S102中，信息处理设备的数据处理单元从所获取的MP4文件获取影像显示控制信息。
例如，影像显示控制信息是参考图7描述的影像显示控制信息。
(步骤S103)
随后，在步骤S103中，信息处理设备的数据处理单元从在步骤S102中获取的影像显示控制信息中获取基于设备类型的指定信息。
基于设备类型的指定信息是参照图7描述的基于设备类型的指定信息90。
如以上参照图7所述的，基于设备类型的指定信息90是其中记录了根据诸如PC或头戴式显示器(HMD)的设备的类型的显示方案的指定信息的区域。
基于设备类型的指定信息90是重复记录以一种或多种设备类型为单位的显示方案的循环区域。
例如，通过例如在第一循环中记录用于PC和平板终端的指定显示方案并且将用于HMD的指定显示方案记录为第二循环来记录根据每种设备类型的显示方案的指定信息。
(步骤S104)
随后，在步骤S104中，信息处理设备的数据处理单元选择其中记录在基于设备类型的指定信息中的设备类型(device_type)的设定值与本设备的设备类型相匹配的数据记录区域(循环)。
(步骤S105)
随后，在步骤S105中，信息处理设备的数据处理单元确定在步骤S104中选择的基于设备类型的指定信息中的循环中记录的用户选择允许标记(user_selection_flag)的设定值是否指示用户可选择设定。
在用户可选择设定的情况下，处理进入步骤S201。
在用户不可选择设定的情况下，处理进行到步骤S106。
(步骤S106)
在步骤S104中选择的基于设备类型的指定信息中的循环中记录的用户选择允许标记(user_selection_flag)的设定值是用户不可选择的设定的情况下，执行步骤S106的处理。
在步骤S106中，信息处理设备的数据处理单元根据在基于设备类型的指定信息中的选择循环中记录的以下(a)和(b)的指定来执行影像显示处理：
(a)指定显示方案(projection_type)；和
(b)显示区域对角角度(diagonal_angle)。
(步骤S201)
相反，在步骤S104中选择的基于设备类型的指定信息中的循环中所记录的用户选择允许标记(user_selection_flag)的设定值是用户可选的设定的情况下，执行步骤S201的处理。
在步骤S201中，信息处理设备的数据处理单元获取记录在用户选择允许信息区域中的以下数据，并在显示单元上显示允许方案和允许角度信息：
(a)“用户可选择显示方案(user_projection_type)”；和
(b)“用户可选择显示区域对角角度(user_diagonal_angle)”。
也就是说，用于选择期望的方案和角度的UI被呈现给用户。
(步骤S202)
随后，信息处理设备的数据处理单元输入用户的输入信息，即用户所期望的显示方案和显示区域角度信息。
(步骤S203)
随后，信息处理设备的数据处理单元应用用户的输入信息，即，根据用户期望的显示方案和显示区域角度信息所选择的方案和角度，并且执行影像显示处理。
[5.(第二实施方式)在MPD中记录影像显示控制信息的实施方式]
接下来，将描述将影像显示控制信息记录在MPD中的实施方式作为第二实施方式。
图15是说明了根据第二实施方式的根据本公开内容执行影像显示控制的信息处理设备70，以及向信息处理设备70提供包括影像和音频数据的内容的服务器50和介质60的示图。
从图4中所示的服务器50发送或者从介质60读取全天球影像、全方位影像、全景影像等的影像数据和音频数据，而提供给信息处理设备70。
例如，服务器50包括广播站等的广播服务器51和其他数据传送服务器52，并且经由诸如因特网的网络或广播波将各种数据发送到信息处理设备70。
信息处理设备70经由诸如因特网的网络或广播波接收从服务器50发送的数据并且再现该数据。
介质60是安装在信息处理设备上的任何各种介质，诸如光盘、闪存和硬盘。
信息处理设备70读取记录在介质上的数据并再现该数据。
例如，再现内容的信息处理设备是TV 71、PC 72、便携式终端73、头戴式显示器(HMD)74等，并且是包括影像显示单元和音频输出单元(扬声器)的设备。
从服务器50或介质60提供给信息处理设备70的内容是包括影像数据和音频数据的内容，该内容被配置为使得诸如全天球影像、全方位影像或全景影像的多方向影像可以被选择性显示。
例如，与上述第一实施方式中一样，该内容被存储在待提供的MP4文件81中。
例如，在上述第一实施方式中，参考图7描述的影像显示控制信息已被记录在作为MP4文件的元数据的存储区域的trak盒中。
在第二实施方式中，关于存储在图15中所示的MP4文件81中的影像数据的影像显示控制信息，被存储在与MP4文件81不同的MPD文件82中而提供给信息处理设备70。
媒体呈现描述[MPD]文件82是构成作为与流传送内容有关的标准的MPEG-DASH标准中定义的信令数据(元数据)的一个清单文件。
MPD文件82是用于描述作为运动图像或音频文件的管理信息的元数据的清单文件。
第二实施方式是其中关于存储在MP4文件81中的影像数据的影像显示控制信息被记录在MPD文件82中的实施方式。
例如，在MPD文件82中，可以以作为通过分割特定内容的再现时间而形成的时间区间的时间段为单位来记录各种控制数据。
将参照图16和图17来描述MPD文件的配置示例。
图16是示出了MPD格式的示例的示图。
如在图16中所示，对于影像或音频的每个流，MPD可以用以下各种定义范围单元来描述诸如属性或控制信息之类的信息：
(1)定义时间轴上的区间的时间段(Period)；
(2)定义影像、音频等的数据类型的适应集(AdaptatiobSet)；
(3)定义影像、音频等的下位分段数据的类型的表述(Representation)；和
(4)用作以影像或音频的片段(AV片段)为单位的信息记录区域的片段信息(SegmentInfo)。
图17是示出与记录在MPD中的AV片段对应的信息(控制信息、管理信息、属性信息等)的时间序列展开的示图。
假设时间从左到右流逝。例如，时间轴对应于信息处理设备中的AV内容的再现时间。
对应于AV片段的各种信息被记录在MPD中。另外，例如，在MPD文件82从服务器50被提供给信息处理设备70的情况下，MPD作为信令数据早于存储AV片段(其是再现对象实际数据)的MP4文件81而被传送。
信息处理设备70可以分析MPD并获取存储有作为再现对象实际数据的AV片段的MP4文件81的访问信息或编解码器信息，并且可以对存储在MP4文件81中的AV片段进行再现准备。
如参考图16所述的，MPD被配置为在以下分级设定下记录关于AV片段的诸如属性信息或控制信息的元数据(信令数据)：
(1)时间段(Period)；
(2)适应集(AdaptatiobSet)；
(3)表述(Reprsentation)；以及
(4)片段信息(SegmentInfo)。
图17是按时间轴和数据的种类示出了记录区域的元数据的发展。
例如，在图17中，示出了时间段1(Period(1))和时间段2(Period(2))这2个时间段，并且在时间段1(Period(1))中示出了以下3个适应集(AdaptationSet)：
(V11)作为影像对应的信息记录区域的适应集V11(AdaptatiobSet(V11))；
(A11)作为日语音频对应的信息记录区域的适应集A11(AdaptatiobSet(A11))；和
(A12)作为英语音频对应的信息记录区域的适应集A12(AdaptatiobSet(A12))。
(V11)作为影像对应的信息记录区域的适应集V11(AdaptatiobSet(V11))包括以下两个表述(Representation)作为以具有不同属性的流为单位的信息记录区域：
(V111)作为低比特率影像对应的信息记录区域的表述(V111)(Representation(V111))。
(V112)作为高比特率影像对应的信息记录区域的表述(V112)(Representation(V112))。
类似地，(A11)作为日语音频对应的信息记录区域的适应集A11(AdaptatiobSet(A11))包括以下表述：
(A111)作为日语音频对应的信息记录区域的表述A(111)(Representation(A111))。
类似地，(A12)作为英语音频对应的信息记录区域的适应集A12(AdaptatiobSet(A12))包括以下表述：
(A121)作为英语音频对应的信息记录区域的表述(A121)(Representation(A121))。
此外，每个表述(Representation)被配置为使得信息可以以片段为单位被记录。
例如，在时刻t1时选择并再现高比特率影像和日语音频的信息处理设备(客户端)从MPD选择并获取有关作为再现对象的高比特率影像和日本音频的信息。
作为选择对象的MPD的记录信息是图中所示的片段区域201和202的信息。
以这种方式，接收设备从自发送设备作为信令数据而发送的MPD中仅选择与作为本设备的再现对象的数据(片段)相对应的信息，来参考该信息。
这样，在MPD中，可以以时间为单位记录数据种类以及段对应的信息。
下面将描述的第二实施方式是其中作为再现对象数据的影像或音频数据(AV片段)被存储在图15中所示的MP4文件81中，并且关于存储在MP4文件81中的影像或音频数据(AV片段)的控制信息被存储在MPD文件82中的实施方式。
在全景影像等的影像显示控制信息被记录在MPD中的情况下，在作为MPD的组成元素的作用元素(role element)中准备新的描述符。对应于影像控制信息的URI被假定为例如“http://foo.bar/scheme/DefaultProjectionType”和“http://foo.bar/scheme/UserProjectionType”。
在MPD中，指定显示态样被记录在以下两个区分(a)和(b)中的每一个中：
(a)记录在再现影像时自动选择作为默认显示方案(DefaultProjectionType)的显示格式；和
(b)记录用户可以选择作为用户显示方案(UserProjectionType)的显示格式。
在MPD中，记录在两个分区的每一个中指定的记录方案信息。
在每个区分中，在假定要记录的指定值(Value)是以下逗号分隔的值的情况下：
设定值(value)＝(x，y，z)，
x＝设备类型(device_type)；
y＝指定显示方案(projection_type)；并且
z＝显示区域对角角度(diagonal_angle)被设定。
(x，y，z)中设置的值如下所示：
上面参考图8描述的值被设置在x＝设备类型(device_type)中，也就是：
设备类型设定值＝0：没有设备指定：在所有设备中可用(在写入除0以外的其他值的情况下，在与设定值对应的设备以外的设备中可用)；
设备类型设定值＝1：沉浸式头戴式显示器(HMD)[使用其仅可以观察到HMD显示单元的显示影像的HMD]；
设备类型设定值＝2：眼镜型头戴式显示器(HMD)[不仅可以观察到HMD显示单元的显示影像，而且还可以观察到透过HMD的外景的HMD；
设备类型设定值＝3：用户屏幕操纵型设备，用其可以由用户通过屏幕操纵(鼠标或触摸操纵等)移动影像[PC、平板终端、便携式终端等)]；以及
设备类型设定值＝4：用户运动操纵型设备，其中可以由用户通过设备移动操纵(摇动设备等的运动操纵)来移动影像[平板终端、便携式终端等]。
在x＝设备类型(device_type)中设定值(0到4)中的一个值。
上面参考图9描述的值被设置在y＝指定显示方案(projection_type)中。即：
指定显示方案设定值＝0：无指定[可以使用在信息处理设备(display device)侧确定的显示方案]；
指定显示方案设定值＝1：无变化显示影像(不执行影像转换)；
指定显示方案设定值＝2：透视投影方案；
指定显示方案设定值＝3：使用两个鱼眼的360°影像全显示方案；
指定显示方案设定值＝4：鱼眼(广角)显示方案[＝立体投影显示方案]；
指定显示方案设定值＝5：鱼眼(广角)显示方案[＝等距离投影显示方案]；
指定显示方案设定值＝6：鱼眼(广角)显示方案[＝等立体角投影显示方案]；和
指定显示方案设定值＝7：鱼眼(广角)显示方案[＝正投影显示方案]。
在y＝指定显示方案(projection_type)中设定值(0到7)中的一个值。
在z＝显示区域对角角度(diagonal_angle)中，记录有在图8中示出的显示方案(c)2：透视投影方案到(h)7：鱼眼(广角)显示方案中定义的显示区域对角角度。
例如，记录诸如180或120的角度信息。
在图18中示出了在将影像显示控制信息记录在MPD中的情况下的XML数据的示例，并描述如下：
Figure BDA0001560210360000331
Figure BDA0001560210360000341
如在图18中所示，在MPD中记录有作为多个记录元素的元素(作用元素)。例如，每个元素是其中记录关于特定设备类型指定的显示方案和显示区域角度信息的元素。
以下设定值被记录在每个元素中。
在设定值被假定为以下的情况下：
设定值(value)＝(x，y，z)，
x＝设备类型(device_type)251；
y＝指定显示方案(projection_type)252；和
z＝显示区域对角角度(diagonal_angle)253被设定。
例如，第一个元素设置如下：
设定值(value)＝(x，y，z)＝(1，2，120)。
该元素记录下列指定信息。
x＝设备类型(device_type)＝1：
如从在图8中所示的表格可以理解的那样，x＝1是定义用于HMD的显示方案的元素：
设备类型设定值＝1：浸入式头戴式显示器(HMD)[只能观察到HMD显示单元的显示影像的HMD]。
y＝指定显示方案(projection_type)＝2：
如从在图9中所示的表格可以理解的那样，y＝2是透视投影方案的指定信息：
指定显示方案设定值＝2：透视投影方案。
z＝显示区域对角角度(diagonal_angle)＝120：
这是应用于透视投影方案的显示区域对角角度的指定信息，并且是其中显示区域对角角度被设置为120度的指定信息。
在显示设备的类型是沉浸式头戴式显示器(HMD)的情况下，HMD根据元素记录信息应用透视投影方案，并且将显示区域对角角度设置为180度，并且执行显示处理。
而且，在图18的示例中，记录与以下设定值有关的三个元素：
设备类型设定值＝1：沉浸式头戴式显示器(HMD)[只能观察到HMD显示单元的显示影像的HMD]：
设定值(value)＝(x，y，z)＝(1，2，120)。
设定值(value)＝(x，y，z)＝(1，4，180)；和
设定值(value)＝(x，y，z)＝(1，5，180)。
记录三个设定值。
例如，设定值的具体使用方面如下。
例如，在默认显示方案(DefaultProjectionType)的情况下使用以下值：
设定值(value)＝(x，y，z)＝(1，2，120)。
另外，在用户显示方案(UserProjectionType)的情况下使用以下值：
设定值(值)＝(x，y，z)＝(1，4，180)；和
设定值(值)＝(x，y，z)＝(1，5，180)。
以这种方式，记录针对相同设备类型的多个设定值的情况意味着可以从设定中自由选择和应用一个设定。
在该示例的情况下，可以从设备类型设定值＝1：沉浸式头戴式显示器(HMD)[只能观察到HMD显示单元的显示影像的HMD]中的以下三个设定中选择和使用任何设定。
(设定1)
y＝指定显示方案(projection_type)＝2：透视投影方案；和
z＝显示区域对角角度(diagonal_angle)＝120。
(设定2)
y＝指定显示方案(projection_type)＝4：鱼眼(广角)显示方案[＝立体投影显示方案]；以及
z＝显示区域对角角度(diagonal_angle)＝180。
(设定3)
y＝指定显示方案(projection_type)＝5：鱼眼(广角)显示方案[＝等距离投影显示方案]；和
z＝显示区域对角角度(diagonal_angle)＝180。
可以从设备类型设定值＝1：沉浸式头戴式显示器(HMD)[使用其仅可以观察到HMD显示单元的显示影像的HMD]的前述三个设定中选择和使用任何设定。
[6.其中使用记录在MPD文件中的影像显示控制信息的影像显示控制处理序列]
接下来，将描述由信息处理设备执行的影像显示控制处理序列，即其中用记录在MPD文件中的影像显示控制信息的影像显示控制处理序列。
在图19和图20中所示的流程图是示出在作为用户设备的信息处理设备70中执行的影像显示控制处理序列的说明性流程图。
信息处理设备70包括显示单元(显示器)和音频输出单元(扬声器)。
例如，信息处理设备70是TV、PC、便携式终端、头戴式显示器(HMD)等。
例如，信息处理设备70从在图4中所示的服务器50或介质60获取MPD文件并再现记录在MPD文件中的内容。
再现内容是包括其中可以观察到诸如全天球影像、全方位影像或全景影像的多方向影像的影像，并且包括与影像一起被再现的音频信息的内容。
影像数据和音频数据被存储在MP4文件中，并且对应于影像数据和音频数据的控制信息被进一步存储在MPD文件中。
将参考在图19和图20中所示的流程图描述在信息处理设备70中执行的处理序列。
而且，在信息处理设备70中执行在图19和图20中所示的流程图中的处理。信息处理设备70包括数据处理单元，该数据处理单元包括具有程序执行功能的CPU，并且每个处理在数据处理单元的控制下被执行。而且，稍后将描述信息处理设备70的硬件配置示例。
将描述在图19和图20中所示的流程的每个步骤的处理。
(步骤S301)
在步骤S301中，信息处理设备的数据处理单元获取MPD文件。
(步骤S302)
随后，在步骤S302中，信息处理设备的数据处理单元从所获取的MPD文件中获取影像显示控制信息。
例如，影像显示控制信息是参考图18描述的影像显示控制信息。
(步骤S303)
随后，在步骤S303中，信息处理设备的数据处理单元从在步骤S302中获取的影像显示控制信息中获取影像显示控制信息记录元素(作用元素)。
影像显示控制信息记录元素是参照图18描述的作用元素。
如以上参照图18所述的，多个作用元素均记录在MPD中，例如其中记录了特定的设备类别中指定的显示方案和显示区域角度信息的元素。
也就是说，以下设定值被记录在每个元素中：
在设定值(value)＝(x，y，z)的情况下，记录下列设定值：
x＝设备类型(device_type)251；
y＝指定显示方案(projection_type)252；和
z＝显示区域对角角度(diagonal_angle)253。
参照图8所述的设定值被设置在x＝设备类型(device_type)251。即：
设备类型设定值＝0：没有设备指定：在所有设备中可用(在写入除0以外的其他值的情况下，在与设定值对应的设备以外的设备中可用)。
设备类型设定值＝1：沉浸式头戴式显示器(HMD)[使用其仅可以观察到HMD显示单元的显示影像的HMD]。
设备类型设定值＝2：眼镜型头戴式显示器(HMD)[不仅可以观察到HMD显示单元的显示影像，而且还可以观察到通过HMD传输的外景的HMD。
设备类型设定值＝3：用户屏幕操纵型设备，用其可以由用户通过屏幕操纵(鼠标或触摸操纵等)移动影像[PC、平板终端、便携式终端等)]；以及
设备类型设定值＝4：用户运动操纵型设备，其中可以由用户通过设备移动操纵(摇动设备等的运动操纵)来移动影像[平板终端、便携式终端等]。
在x＝设备类型(device_type)中设定值(0到4)中的一个值。
参考图9描述的值被设置在y＝指定显示方案(projection_type)中。即：
指定显示方案设定值＝0：无指定[可以使用在信息处理设备(display device)侧确定的显示方案]；
指定显示方案设定值＝1：影像无变化显示(不执行影像转换)；
指定显示方案设定值＝2：透视投影方案；
指定显示方案设定值＝3：使用两个鱼眼的360°影像全显示方案；
指定显示方案设定值＝4：鱼眼(广角)显示方案[＝立体投影显示方案]；
指定显示方案设定值＝5：鱼眼(广角)显示方案[＝等距离投影显示方案]；
指定显示方案设定值＝6：鱼眼(广角)显示方案[＝等立体角投影显示方案]；和
指定显示方案设定值＝7：鱼眼(广角)显示方案[＝正投影显示方案]。
在y＝指定显示方案(projection_type)中设定有值(0到7)中的一个值。
在z＝显示区域对角角度(diagonal_angle)中，在图8中所示的显示方案(c)2：透视投影方案到(h)7：鱼眼(广角)显示方案中定义的显示区域对角角度被记录。例如，记录诸如180或120的角度信息。
在步骤S303中，读取其中记录了设定值(x，y，z)的元素。
(步骤S304)
随后，在步骤S304中，信息处理设备的数据处理单元选择其中在每个元素中记录的设定值(x，y，z)中的设备类型标识符(x)与本设备的设备类型相匹配的元素。
(步骤S305)
随后，在步骤S305中，信息处理设备的数据处理单元确定关于在步骤S304中选择的与本设备的设备类型匹配的元素是否存在允许用户选择的用户显示方案(UserProjectionType)的指定。
在存在用于允许用户选择的用户显示方案(UserProjectionType)的指定的情况下，处理进行到步骤S401。
在没有允许用户选择的用户显示方案(UserProjectionType)的指定的情况下，处理进行到步骤S306。
(步骤S306)
在关于在步骤S304中选择的并且匹配特有设备的设备类型的元素仅有默认设置的默认显示方案(DefaultProjectionType)的指定情况下，执行步骤S306的处理。
在步骤S306中，信息处理设备的数据处理单元获取记录在默认显示方案(DefaultProjectionType)的元素中的设定值，即在设定值(value)＝(x，y，z)中的y和z的值，并根据所获取的数据执行影像显示处理。即，根据(y)和(z)的以下指定来执行影像显示处理：
(y)＝指定显示方案(projection_type)；和
(z)＝显示区域对角角度(diagonal_angle)。
(步骤S401)
相反，在步骤S304中选择的并且与本设备的设备类型匹配的元素的数目是两个或更多的情况下，执行步骤S401的处理。
在步骤S401中，信息处理设备的数据处理单元获取记录在多个选择的元素中的设定值，即设定值(value)＝(x，y，z)中的y和z的值以及在显示单元上显示这些值。也就是说，信息处理设备的数据处理单元获取以下数据，并在显示单元上显示允许方案和允许角度信息：
(y)“用户可选择的显示方案(user_projection_type)”；和
(z)“用户可选择的显示区域对角角度(user_diagonal_angle)”。
也就是说，用于选择期望的方案和角度的UI被呈现给用户。
而且，在用户选择时，默认显示方案(DefaultProjectionType)和用户显示方案(UserProjectionType)被设置为显示，使得用户可以选择任一方案。
(步骤S402)
随后，信息处理设备的数据处理单元输入用户的输入信息，即用户所期望的显示方案和显示区域角度信息。
(步骤S403)
随后，信息处理设备的数据处理单元应用用户的输入信息，即，根据用户期望的显示方案以及显示区域角度信息选择的方案和角度，并且执行影像显示处理。
[7.信息处理设备的硬件配置示例]
接下来，将参照图21描述根据上述实施方式执行处理的信息处理设备和服务器的硬件配置示例。
图21中所示的硬件是在图4和图15中所示的信息处理设备(用户设备)70的硬件配置的示例，即，执行影像再现和音频输出的信息处理设备(用户设备)70。
另外，图21中所示的硬件也是在图4和图15中所示的服务器50的硬件配置的示例，即，执行产生存储影像数据、音频数据和上述影像显示控制信息的文件并将该文件发送到信息处理设备(用户设备)70的处理的服务器50。
中央处理单元(CPU)301用作根据存储在只读存储器(ROM)302或存储单元308中的程序执行各种处理的数据处理单元。例如，CPU 301根据与在上述实施方式中描述的序列执行处理。随机存取存储器(RAM)303存储由CPU 301执行的数据或程序。CPU 301、ROM 302和RAM 303通过总线304相互连接。
CPU 301经由总线304连接到输入输出接口305。输入单元306、显示单元307以及音频输出单元321连接到输入输出接口305，输入单元包括各种开关、键盘、鼠标、麦克风等中的任何一个，显示单元包括显示器、扬声器等。CPU 301响应于从输入单元306输入的指令执行各种处理，并将处理结果输出到例如显示单元307和音频输出单元321。
例如，连接到输入输出接口305的存储单元308包括硬盘，并且存储由CPU 301执行的各种数据或程序。通信单元309用作经由网络(例如互联网或局域网)进行数据通信的收发器单元，并且还用作广播波与外部设备通信的收发器单元。
连接到输入输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘的可移动介质311或诸如存储卡的半导体存储器以执行数据记录或读取。
而且，数据编码或解码可以作为用作数据处理单元的CPU 301的处理来执行，但是可以包括用作执行编码处理或解码处理的专用硬件的编解码器。
[8.本公开内容的配置总结]
上文因此参考具体实施方式提供了本公开内容的实施方式的详细解释。然而，显而易见的是，本领域技术人员可以对这些实施方式进行修改和替换而不背离本公开内容的主旨。换句话说，本公开内容通过示例的方式被公开，不应该以限制的方式来解释。应该考虑权利要求来确定本公开内容的要点。
另外，本技术也可以如下配置。
(1)一种信息处理设备，包括：
显示单元，被配置为能够选择性地显示多方向影像；以及
数据处理单元，被配置为对被输出到显示单元的影像执行影像显示控制，
其中，数据处理单元获取关于输出影像数据的影像显示控制信息，应用记录在影像显示控制信息中的影像显示方案，并且执行影像显示处理。
(2)根据(1)所述的信息处理设备，
其中，影像显示控制信息是定义与执行影像显示处理的每种类型的信息处理设备相对应的基于类型的显示方案的信息，并且
数据处理单元应用与自身设备的类型匹配的类型的基于类型的显示方案并执行影像显示处理。
(3)根据(1)或(2)所述的信息处理设备，
其中，影像显示控制信息至少包括透视投影方案和鱼眼(广角)显示方案之一作为影像显示方案的指定信息，以及
数据处理单元根据指定信息应用显示方案并执行影像显示处理。
(4)根据(1)至(3)中任一项所述的信息处理设备，
其中，影像显示控制信息包括以下显示方案之一作为影像显示方案的指定信息：
立体投影方案的鱼眼(广角)显示方案；
等距离投影方案的鱼眼(广角)显示方案；
等立体角投影方案的鱼眼(广角)显示方案；和
正投影方案的鱼眼(广角)显示方案，并且
数据处理单元根据指定信息应用显示方案并执行影像显示处理。
(5)根据(1)至(4)中任一项所述的信息处理设备，
其中，影像显示控制信息包括影像显示区域对角角度信息，并且
数据处理单元根据在影像显示控制信息中记录的影像显示区域对角角度信息来决定显示区域对角角度并执行影像显示处理。
(6)根据(1)至(5)中任一项所述的信息处理设备，
其中，影像显示控制信息包括关于用户可选择的影像显示方案的记录信息，以及
数据处理单元：
在显示单元上显示用户可选择的影像显示方案，以及
根据用户选择信息的输入来应用被选择的显示方案并执行影像显示处理。
(7)根据(1)至(6)中任一项所述的信息处理设备，
其中，影像显示控制信息包括关于用户可选择的影像显示区域对角角度信息的记录信息，并且
数据处理单元：
在显示单元上显示用户可选择的影像显示区域对角角度信息，
根据用户选择信息的输入来应用被选择的影像显示区域对角角度并执行影像显示处理。
(8)根据(1)至(7)中任一项所述的信息处理设备，
其中，影像显示控制信息被存储在MP4文件中，并且
数据处理单元从MP4文件获取关于输出影像数据的影像显示控制信息，并根据从MP4文件获取的影像显示控制信息执行影像显示处理。
(9)根据(8)所述的信息处理设备，
其中，影像显示控制信息被存储在MP4文件的trak盒中，并且
数据处理单元从MP4文件的trak盒中获取关于输出影像数据的影像显示控制信息。
(10)根据(1)至(7)中任一项所述的信息处理设备，
其中，影像显示控制信息被存储在媒体呈现描述(MPD)文件中，并且
数据处理单元从MPD文件获取关于输出影像数据的影像显示控制信息，并根据从MPD文件获取的影像显示控制信息执行影像显示处理。
(11)根据(10)所述的信息处理设备，
其中，影像显示控制信息被记录为在媒体呈现描述(MPD)文件中设定的影像显示控制信息记录元素中的基于设备类型的信息，并且
数据处理单元从MPD文件的影像显示控制信息记录元件中选择其中记录了与自身设备的设备类型相匹配的设备类型信息的元素，并且应用记录在所选择的元素中的影像显示方案，并且执行影像显示处理。
(12)一种数据传送服务器，包括：
数据处理单元，被配置为生成以下文件，该文件存储有被配置为使得可选择地显示多方向影像的影像数据以及影像显示控制信息，该影像显示控制信息是关于影像数据的影像显示控制信息，并且根据执行影像显示的设备类型定义影像显示方案；以及
通信单元，被配置为发送由数据处理单元生成的文件。
(13)一种信息记录介质，存储有：
配置为使得多方向影像可选择地显示的影像数据；以及
影像显示控制信息，该影像显示控制信息是关于影像数据的影像显示控制信息，并根据执行影像显示的设备类型来定义影像显示方案，
其中，该信息记录介质被配置为能够使得再现从信息记录介质读取的数据的再现设备应用在影像显示控制信息记录中的对应于与自身设备的类型相对应的设备类型的影像显示方案并执行影像显示。
(14)一种在信息处理设备中执行影像显示控制的信息处理方法，
其中，信息处理设备包括：
显示单元，被配置为能够选择性地显示多方向影像；以及
数据处理单元，被配置为对输出到显示单元的影像执行影像显示控制；并且
数据处理单元获取关于输出影像数据的影像显示控制信息，应用记录在影像显示控制信息中的影像显示方案，并且执行影像显示处理。
(15)一种使信息处理设备执行影像显示控制的程序，
其中信息处理设备包括：
显示单元，被配置为能够选择性地显示多方向影像；以及
数据处理单元，被配置为对输出到显示单元的影像执行影像显示控制，并且
该程序使得数据处理单元获取关于输出影像数据的影像显示控制信息，应用记录在影像显示控制信息中的影像显示方案，并且执行影像显示处理。
另外，本说明书中描述的一系列处理可以通过硬件、软件或硬件和软件的组合配置来执行。在通过软件执行处理的情况下，记录处理序列的程序可以被安装在嵌入专用硬件中的计算机的存储器中而执行，或者程序可以被安装在能够执行各种各样的处理的通用计算机而执行。例如，该程序可以被预先记录在记录介质上。除了从记录介质安装在计算机上之外，还可以通过诸如局域网(LAN)或因特网的网络来接收程序，并且可以将其安装在诸如内置硬盘的记录介质上。
而且，本说明书中描述的各种处理可以如上所述按时间顺序执行，并且还可以根据执行处理的设备的处理能力或根据需要并行或个别地执行。注意，在本说明书中，术语“系统”是指多个设备的逻辑集合配置，并且配置的各个设备不限于在同一个外壳内。
工业适用性
如上所述，在根据本公开内容的实施方式的配置中，可以实现能够在全景影像显示处理时应用与显示设备相对应的最佳显示方案并且执行显示处理的设备和方法。
具体地，在包括能够选择性地显示多方向影像的显示单元和执行影像显示控制的数据处理单元的信息处理设备中，数据处理单元应用记录在影像显示控制中的设备对应影像显示方案信息并执行影像显示处理。影像显示控制信息定义了对于执行影像显示处理的每种类型的信息处理设备最佳的基于类型的显示方案。数据处理单元应用与和自身的设备的类型匹配的类型相关联的显示方案，并执行影像显示处理。
利用该配置，可以在全景影像显示处理时实现能够应用与显示设备相对应的最佳显示方案并且执行显示处理的设备和方法。
参考符号列表
10 影像数据
20 便携式终端
25 扬声器
30 头戴式显示器(HMD)
35 扬声器
50 服务器
51 广播服务器
52 数据传送服务器
60 介质
70 信息处理设备
71 TV
72 PC
73 便携式终端
74 头戴式显示器(HMD)
81 MP4文件
82 MPD文件
301 CPU
302 ROM
303 RAM
304 总线
305 输入输出接口
306 输入单元
307 显示单元
308 存储单元
309 通信单元
310 驱动器
311 可移动介质
321 音频输出单元

Claims (13)

1.一种信息处理设备，包括：
显示单元，被配置为能够选择性地显示多方向影像；以及
数据处理单元，被配置为对输出给所述显示单元的影像执行影像显示控制，
其中，所述数据处理单元获取关于输出影像数据的影像显示控制信息，应用在所述影像显示控制信息中记录的影像显示方案，并且执行影像显示处理，
其中，所述影像显示控制信息至少包括：透视投影方案和鱼眼显示方案之一作为影像显示方案的指定信息，以及
所述数据处理单元根据所述指定信息应用显示方案并且执行所述影像显示处理，
其中，所述影像显示控制信息是定义与执行所述影像显示处理的信息处理设备的每种类型对应的基于类型的显示方案的信息，并且
所述数据处理单元应用与自身设备的类型相匹配的类型的所述基于类型的显示方案并且执行所述影像显示处理。
2.根据权利要求1所述的信息处理设备，
其中，所述影像显示控制信息包括以下显示方案之一作为影像显示方案的指定信息：
立体投影方案的鱼眼显示方案；
等距离投影方案的鱼眼显示方案；
等立体角投影方案的鱼眼显示方案；和
正投影方案的鱼眼显示方案，并且
所述数据处理单元根据所述指定信息应用显示方案并且执行所述影像显示处理。
3.根据权利要求1所述的信息处理设备，
其中，所述影像显示控制信息包括影像显示区域对角角度信息，并且
所述数据处理单元根据在所述影像显示控制信息中记录的所述影像显示区域对角角度信息来决定显示区域对角角度并且执行所述影像显示处理。
4.根据权利要求1所述的信息处理设备，
其中，所述影像显示控制信息包括关于用户可选择的影像显示方案的记录信息，以及
所述数据处理单元：
在所述显示单元上显示所述用户可选择的影像显示方案，以及
根据用户选择信息的输入来应用被选择的显示方案并且执行所述影像显示处理。
5.根据权利要求1所述的信息处理设备，
其中，所述影像显示控制信息包括关于用户可选择的影像显示区域对角角度信息的记录信息，并且
所述数据处理单元：
在所述显示单元上显示所述用户可选择的影像显示区域对角角度信息，以及
根据用户选择信息的输入来应用被选择的影像显示区域对角角度并且执行所述影像显示处理。
6.根据权利要求1所述的信息处理设备，
其中，所述影像显示控制信息存储在MP4文件中，并且
所述数据处理单元从所述MP4文件中获取关于所述输出影像数据的所述影像显示控制信息，并且根据从所述MP4文件中获取的所述影像显示控制信息来执行所述影像显示处理。
7.根据权利要求6所述的信息处理设备，
其中，所述影像显示控制信息存储在所述MP4文件的trak盒中，并且
所述数据处理单元从所述MP4文件的所述trak盒中获取关于所述输出影像数据的所述影像显示控制信息。
8.根据权利要求1所述的信息处理设备，
其中，所述影像显示控制信息存储在媒体呈现描述(MPD)文件中，并且
所述数据处理单元从所述媒体呈现描述文件中获取关于所述输出影像数据的所述影像显示控制信息，并且根据从所述媒体呈现描述文件中获取的所述影像显示控制信息来执行所述影像显示处理。
9.根据权利要求8所述的信息处理设备，
其中，所述影像显示控制信息被记录为在所述媒体呈现描述(MPD)文件中设定的影像显示控制信息记录元素之中的基于设备类型的信息，并且
所述数据处理单元从所述媒体呈现描述文件的所述影像显示控制信息记录元素中选择记录有与自身设备的设备类型相匹配的设备类型信息的元素，并且应用在所选择的元素中记录的影像显示方案并执行所述影像显示处理。
10.一种数据传送服务器，包括：
数据处理单元，被配置为生成存储有影像数据和影像显示控制信息的文件，所述影像数据被配置为使得可选择地显示多方向影像，所述影像显示控制信息是关于所述影像数据的影像显示控制信息并且根据执行影像显示的设备类型来定义影像显示方案；以及
通信单元，被配置为发送由所述数据处理单元生成的所述文件，
其中，所述影像显示控制信息至少包括：透视投影方案和鱼眼显示方案之一作为影像显示方案的指定信息，以及
所述数据处理单元根据所述指定信息应用显示方案并且执行所述影像显示处理，
其中，所述影像显示控制信息是定义与执行所述影像显示处理的信息处理设备的每种类型对应的基于类型的显示方案的信息，并且
所述数据处理单元应用与自身设备的类型相匹配的类型的所述基于类型的显示方案并且执行所述影像显示处理。
11.一种信息记录介质，存储有：
影像数据，被配置为使得可选择地显示多方向影像；以及
影像显示控制信息，所述影像显示控制信息是关于所述影像数据的影像显示控制信息，并根据执行影像显示的设备类型来定义影像显示方案，
其中，所述信息记录介质被配置为能够使得对从所述信息记录介质读取的数据进行再现的再现设备应用在所述影像显示控制信息中记录的、与和自身设备的类型匹配的设备类型对应的所述影像显示方案并且执行影像显示，
其中，所述影像显示控制信息至少包括：透视投影方案和鱼眼显示方案之一作为影像显示方案的指定信息，以及
所述数据处理单元根据所述指定信息应用显示方案并且执行所述影像显示处理，
其中，所述影像显示控制信息是定义与执行所述影像显示处理的信息处理设备的每种类型对应的基于类型的显示方案的信息。
12.一种在信息处理设备中执行影像显示控制的信息处理方法，
其中，所述信息处理设备包括：
显示单元，被配置为能够选择性地显示多方向影像，以及
数据处理单元，被配置为对输出到所述显示单元的影像执行所述影像显示控制，并且
所述数据处理单元获取关于输出影像数据的影像显示控制信息，应用在所述影像显示控制信息中记录的影像显示方案，并且执行影像显示处理，
其中，所述影像显示控制信息至少包括：透视投影方案和鱼眼显示方案之一作为影像显示方案的指定信息，以及
所述数据处理单元根据所述指定信息应用显示方案并且执行所述影像显示处理，
其中，所述影像显示控制信息是定义与执行所述影像显示处理的信息处理设备的每种类型对应的基于类型的显示方案的信息，并且
所述数据处理单元应用与自身设备的类型相匹配的类型的所述基于类型的显示方案并且执行所述影像显示处理。
13.一种使信息处理设备执行影像显示控制的程序，
其中，所述信息处理设备包括：
显示单元，被配置为能够选择性地显示多方向影像，以及
数据处理单元，被配置为对输出到所述显示单元的影像执行所述影像显示控制，并且
所述程序使得所述数据处理单元：获取关于输出影像数据的影像显示控制信息，应用在所述影像显示控制信息中记录的影像显示方案，并且执行影像显示处理，
其中，所述影像显示控制信息至少包括：透视投影方案和鱼眼显示方案之一作为影像显示方案的指定信息，以及
所述数据处理单元根据所述指定信息应用显示方案并且执行所述影像显示处理，
其中，所述影像显示控制信息是定义与执行所述影像显示处理的信息处理设备的每种类型对应的基于类型的显示方案的信息，并且
所述数据处理单元应用与自身设备的类型相匹配的类型的所述基于类型的显示方案并且执行所述影像显示处理。
CN201680044107.3A 2015-08-05 2016-06-27 信息处理设备、信息处理方法和程序 Active CN107851425B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-155239 2015-08-05
JP2015155239 2015-08-05
PCT/JP2016/069008 WO2017022363A1 (ja) 2015-08-05 2016-06-27 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN107851425A CN107851425A (zh) 2018-03-27
CN107851425B true CN107851425B (zh) 2022-01-18

Family

ID=57942861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680044107.3A Active CN107851425B (zh) 2015-08-05 2016-06-27 信息处理设备、信息处理方法和程序

Country Status (6)

Country Link
US (1) US10511767B2 (zh)
EP (1) EP3316247B1 (zh)
JP (1) JP6860485B2 (zh)
CN (1) CN107851425B (zh)
TW (1) TWI716418B (zh)
WO (1) WO2017022363A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574881B (zh) * 2017-03-07 2020-08-25 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
EP3603083A4 (en) * 2017-03-26 2020-12-16 SHARP Kabushiki Kaisha INFORMATION SIGNALING SYSTEMS AND METHODS FOR VIRTUAL REALITY APPLICATIONS
KR102330164B1 (ko) * 2017-06-08 2021-11-24 엘지전자 주식회사 디지털 사이니지 및 그 동작 방법
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
CN108965859B (zh) * 2018-07-09 2020-05-22 歌尔科技有限公司 投影方式识别方法、视频播放方法、装置及电子设备
WO2020071112A1 (ja) 2018-10-02 2020-04-09 ソニー株式会社 情報処理装置および情報処理方法
CN115552904A (zh) * 2020-05-15 2022-12-30 Oppo广东移动通信有限公司 信息处理方法及编码器、解码器、存储介质设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002097584A2 (en) * 2001-05-31 2002-12-05 Hyperspace Communications, Inc. Adaptive video server
KR20050000956A (ko) * 2003-06-25 2005-01-06 엘지전자 주식회사 비디오 포맷 변환 장치
JP4756876B2 (ja) * 2004-06-09 2011-08-24 キヤノン株式会社 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体
JP2006180022A (ja) * 2004-12-21 2006-07-06 Konica Minolta Holdings Inc 画像処理システム
JP3968665B2 (ja) * 2005-03-22 2007-08-29 ソニー株式会社 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
CN101021669A (zh) * 2006-02-13 2007-08-22 耿忠 全视场成像与显示方法与系统
CN101136022A (zh) * 2006-09-01 2008-03-05 李筑 资源信息的全景制作和展示系统
JP2010062695A (ja) * 2008-09-02 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5245963B2 (ja) * 2009-03-19 2013-07-24 大日本印刷株式会社 画像変換装置
JP5299214B2 (ja) * 2009-10-20 2013-09-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2011142586A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US8667164B2 (en) * 2010-04-26 2014-03-04 Samsung Electronics Co., Ltd. Method and apparatus for playing live content
JP2011254239A (ja) * 2010-06-01 2011-12-15 Sony Corp 記録装置、再生装置、記録再生システム、記録媒体およびプログラム
WO2013009651A1 (en) * 2011-07-12 2013-01-17 Dolby Laboratories Licensing Corporation Method of adapting a source image content to a target display
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
CN102724386A (zh) * 2012-05-18 2012-10-10 浙江捷尚视觉科技有限公司 一种实时视频智能系统及其处理方法
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
TWI530179B (zh) * 2012-07-09 2016-04-11 Yi-Xian Dai The method and apparatus for controlling the lens signal by means of a handheld device
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN104125478A (zh) * 2013-04-28 2014-10-29 腾讯科技（深圳）有限公司 一种跨平台视频播放的方法、装置和系统
TWI514320B (zh) * 2013-09-11 2015-12-21 Univ Nat Yunlin Sci & Tech Panoramic image splicing method based on variable seam line

Also Published As

Publication number Publication date
CN107851425A (zh) 2018-03-27
JPWO2017022363A1 (ja) 2018-06-07
JP6860485B2 (ja) 2021-04-14
US10511767B2 (en) 2019-12-17
EP3316247A4 (en) 2018-12-26
EP3316247A1 (en) 2018-05-02
US20180198979A1 (en) 2018-07-12
EP3316247B1 (en) 2022-03-30
WO2017022363A1 (ja) 2017-02-09
TW201714163A (zh) 2017-04-16
TWI716418B (zh) 2021-01-21

Similar Documents

Publication Publication Date Title
CN107851425B (zh) 信息处理设备、信息处理方法和程序
US11651752B2 (en) Method and apparatus for signaling user interactions on overlay and grouping overlays to background for omnidirectional content
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
US11272159B2 (en) Method and device for transmitting stereo media content
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
CN109257587B (zh) 一种编解码视频数据的方法及装置
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
CN102484735A (zh) 用于视频图像的变速再现的方法和设备
GB2506911A (en) Streaming data corresponding to divided image portions (tiles) via a description file including spatial and URL data
CN102984560A (zh) 从断点处播放视频的方法和设备
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
CN107925838B (zh) 信息处理装置、信息处理方法和程序
CN114223211A (zh) 信息处理装置和信息处理方法
JP7314929B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
JP2021064822A (ja) 通信装置、通信装置の制御方法およびプログラム
WO2021140956A1 (ja) 情報処理装置および方法
KR20190007804A (ko) 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
WO2021181202A1 (en) System, method, and computer program for generating volumetric video
JP2022044835A (ja) 画像処理装置およびファイル生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant