CN107637082A - 信息处理装置以及信息处理方法 - Google Patents

信息处理装置以及信息处理方法 Download PDF

Info

Publication number
CN107637082A
CN107637082A CN201680032810.2A CN201680032810A CN107637082A CN 107637082 A CN107637082 A CN 107637082A CN 201680032810 A CN201680032810 A CN 201680032810A CN 107637082 A CN107637082 A CN 107637082A
Authority
CN
China
Prior art keywords
image
picture
encoding stream
file
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680032810.2A
Other languages
English (en)
Other versions
CN107637082B (zh
Inventor
平林光浩
矢崎阳
矢崎阳一
泉伸明
胜股充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107637082A publication Critical patent/CN107637082A/zh
Application granted granted Critical
Publication of CN107637082B publication Critical patent/CN107637082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21815—Source of audio or video content, e.g. local disk arrays comprising local storage units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种信息处理装置和信息处理方法，其能够可靠地识别与编码流对应的分割图像在画面上的位置或包括多个分割图像的图像的画面上的位置。延伸到画面外的位置被配置成包括与编码流对应的左端图像和右端图像的端图像在画面上的位置。例如，本发明可以被应用于信息处理系统中的文件生成设备，该文件生成设备以符合MPEG‑DASH的方式将作为视频内容的图像的天球图像的编码流传递给视频回放终端。

Description

信息处理装置以及信息处理方法
技术领域
本发明内容涉及信息处理装置以及信息处理方法，并且更具体地涉及下述信息处理装置以及信息处理方法：其能够可靠地识别多个分割图像所组成的图像在画面上的位置或与编码流对应的分割图像在画面上的位置。
背景技术
近年，OTT-V(Over The Top Video，“过顶”视频)已经成为因特网上的流媒体服务中的主流。已开始广泛用作OTT-V的基础技术的一种技术是MPEG-DASH(在HTTP(超文本传输协议)上的运动图像专家组相位动态自适应流媒体)(例如，参见NPL 1)。
根据MPEG-DASH，分发服务器针对一个运动图像内容提供具有不同的比特率的编码流，并且回放终端需要具有最佳比特率的编码流，从而实现自适应流媒体分发。
MPEG-DASH SRD(空间关系描述)扩展限定了下述SRD：该SRD指示运动图像内容的图像所被分成的一个或多个单独的编码区域在画面上的位置(例如，参见NPL2和NPL3)。使用用于选择性地获取具有所需比特率的编码流的比特率自适应方法，SRD使得能够实现用于选择性地获取所需区域的图像的编码流的空间自适应的ROI(感兴趣区域)功能。
运动图像内容的图像不仅包括由单个摄像装置通过视场角捕获的图像，而且还包括全天球图像以及水平地围绕360°度捕获的全景图像，其中，在全天球图像中，水平地围绕360°或垂直地围绕180°捕获的图像被映射到2D(二维)图像(平面图像)上。例如，如果全天球图像要被水平地分割成三个或更多个区域并且这些区域要被编码，则由于两个水平端部处的区域呈现连续的图像，所以它们可以被编码为一个图像。
然而，由于两个端部处的区域在画面上的位置是离散的，所以要被编码的对象在画面上存在多个位置。因此，根据MPEG-DASH，不能使用SRD描述两个端部处的区域在画面上的位置。换言之，SRD无法描述与编码流对应的多个分割图像所组成的图像在画面上的位置。
根据SRD，各个区域在画面上的位置和与编码流对应的图像上的位置被描述为彼此相同。因此，如果各个区域在画面上的位置和与编码流对应的图像上的位置彼此不同，则不能使用SRD来描述各个区域在画面上的位置。换言之，如果组成图像的各个分割图像在画面上的位置和与编码流对应的图像上的位置彼此不同，则SRD无法描述各个分割图像在画面上的位置。
引用列表
专利文献
[NPL 1]
MPEG-DASH(HTTP上的动态自适应流媒体)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
[NPL 2]
“Text of ISO/IEC 23009-1:2014FDAM 2Spatial Relationship Description,Generalized URL parameters and other extensions,”N15217,MPEG111,日内瓦,2015年2月
[NPL 3]
“WD of ISO/IEC 23009-32nd edition AMD 1DASHImplementationGuidelines,”N14629,MPEG109,札幌,2014年7月
发明内容
技术问题
因此，所期望的是，可靠地描述多个分割图像所组成的图像在画面上的位置或与编码流对应的分割图像在画面上的位置，以便它们可以被识别。
本公开内容是在上述情况下进行的，并且旨在可靠地识别多个分割图像所组成的图像在画面上的位置或与编码流对应的分割图像在画面上的位置。
解决问题的方案
根据本公开内容的第一方面的信息处理装置是下述信息处理装置，其包括设置部，该设置部将突出在画面的外侧的位置设置成与编码流对应的多个分割图像所组成的图像在画面上的位置。
根据本公开内容的第一方面的信息处理方法与根据本公开内容的第一方面的信息处理装置相对应。
根据被公开内容的第一方面，突出在画面的外侧的位置被设置成与编码流对应多个分割图像组成的图像在画面上的位置。
根据本公开内容的第二方面的信息处理装置是下述信息处理装置，其包括配置器，该配置器基于被设置为与编码流对应的多个分割图像所组成的图像在画面上的位置的、突出在画面的外侧的位置，将通过对编码流进行解码而获得的图像配置在画面上。
根据本公开内容的第二方面的信息处理方法与根据本公开内容的第二方面的信息处理装置相对应。
根据被公开内容的第二方面，基于被设置为与编码流对应的多个分割图像所组成的图像在画面上的位置的、突出在画面的外侧的位置，将通过对编码流进行解码而获得的图像配置在画面上。
根据本公开内容的第三方面的信息处理装置是下述信息处理装置，其包括设置部，该设置部将与编码流对应的多个分割图像所组成的图像的各个分割图像在画面上的位置与分割图像在该图像上的位置相关联地设置。
根据本公开内容的第三方面的信息处理方法与根据本公开内容的第三方面的信息处理装置相对应。
根据本公开内容的第三方面，将与编码流对应的多个分割图像所组成的图像的各个分割图像在画面上的位置与分割图像在该图像上的位置相关联地设置。
根据本公开内容的第四方面的信息处理装置是下述信息处理装置，其包括配置器，该配置器基于同与编码流对应的多个分割图像所组成的图像上的位置相关联地设置的、该图像的各个分割图像在画面上的位置，将通过对编码流进行解码而获得的该图像的各个分割图像配置在画面上。
根据本公开内容的第四方面的信息处理方法与根据本公开内容的第四方面的信息处理装置相对应。
根据本公开内容的第四方面，基于同与编码流对应的多个分割图像所组成的图像上的位置相关联地设置的、该图像的各个分割图像在画面上的位置，将通过对编码流进行解码而获得的该图像的各个分割图像配置在画面上。
根据上述第一至第四方面的信息处理装置可以在当计算机执行程序时通过计算机来实现。
为了实现根据上述第一至第四方面的信息处理装置，要通过计算机执行的程序可以通过经由传输介质传输或被记录在记录介质上来提供。
本发明的有益效果
根据本公开内容的第一方面，可以设置信息。根据本公开内容的第一方面，可以设置信息以使得能够可靠地识别与编码流对应的多个分割图像所组成的图像在画面上的位置。
根据本公开内容的第二方面，可以获取信息。根据本公开内容的第二方面，可以可靠地识别与编码流对应的多个分割图像所组成的图像在画面上的位置。
根据本公开内容的第三方面，可以设置信息。根据本公开内容的第三方面，可以设置信息以使得能够可靠地识别与编码流对应的图像的分割图像在画面上的位置。
根据本公开内容的第四方面，可以获取信息。根据本公开内容的第四方面，可以可靠地识别与编码流对应的图像的分割图像在画面上的位置。
上述益处在本质上并不一定是限制性的，但本公开内容中描述的任何益处都是适用的。
附图说明
图1是示出了应用了本公开内容的信息处理系统的第一实施方式的配置示例的框图。
图2是示出了图1中示出的文件生成装置的图像文件生成器的配置示例的框图。
图3是说明全天球图像的编码流的图。
图4是说明第一实施方式中的SRD的定义的示例的图。
图5是说明第一实施方式中的SRD的定义的另一示例的图。
图6是示出了在MPD(媒体呈现描述)文件中描述的端图像的SRD的图。
图7是说明SRD的定义的示例的图。
图8是说明第一实施方式中的MPD文件的示例的图。
图9是图2中示出的图像文件生成器的编码处理的流程图。
图10是示出了由图1中示出的运动图像回放终端实现的流媒体播放器的配置示例的框图。
图11是图10中示出的流媒体播放器的回放处理的流程图。
图12是示出了在应用了本公开内容的信息处理系统的第二实施方式中的端图像的图像文件的片段(segment)结构的示例的图。
图13是示出了图12中的块区域组条目(Tile Region Group Entry)的示例的图。
图14是示出了第二实施方式中的MPD文件的示例的图。
图15是示出了轨道结构的示例的图。
图16是示出了第二实施方式中的leva框的另一示例的图。
图17是示出了第二实施方式中的MPD文件的另一示例的图。
图18是示出了应用了本公开内容的信息处理系统的第三实施方式的配置示例的框图。
图19是示出了图18中示出的文件生成装置的配置示例的框图。
图20是示出了拼接图像的示例的图。
图21是示出了第三实施方式中的sgpd框和leva框的示例的图。
图22是示出了第三实施方式中的MPD文件的第一示例的图。
图23是示出了第三实施方式中的MPD文件的第二示例的图。
图24是示出了配置有缩略图像的画面的示例的图。
图25是图19中所示的文件生成装置的文件生成处理的流程图。
图26是示出了由图18中所示的运动图像回放终端实现的流媒体播放器的配置示例的框图。
图27是说明图26中所示的流媒体播放器的回放处理的概要的图。
图28是图26中所示的流媒体播放器的回放处理的流程图。
图29是示出了计算机的硬件的配置示例的框图。
具体实施方式
下面将描述用于实施本公开内容的模式(下文中被称为“实施方式”)。将以下列顺序给出描述。
1.第一实施方式：信息处理系统(图1至图11)；
2.第二实施方式：信息处理系统(图12至图17)；
3.第三实施方式：信息处理系统(图18至图28)；
4.第四实施方式：计算机(图29)。
<第一实施方式>
(信息处理系统的第一实施方式的配置示例)
图1是示出了应用了本公开内容的信息处理系统的第一实施方式的配置示例的框图。
图1中示出的信息处理系统10包括被连接到文件生成装置11的Web服务器12、以及运动图像回放终端14，Web服务器12和运动图像回放终端14通过因特网13彼此连接。
在信息处理系统10中，Web服务器12根据等同于MPEG-DASH的处理，将作为运动图像内容的图像的全天球图像的编码流分发到运动图像回放终端14。
在本说明书中，全天球图像是指根据球体的等距圆柱投影的图像，其中，水平地围绕360°或垂直地围绕180°捕获的图像(下文中被称为“全向图像”)被映射到球面上。然而，全天球图像可以是表示展开的立方体的图像，其中全向图像被映射到立方体上。
信息处理系统10的文件生成装置11(信息处理装置)对低分辨率全天球图像进行编码，以生成低分辨率编码流。文件生成装置11还对从高分辨率全天球图像的分割的图像独立地进行编码，以生成各个分割图像的高分辨率编码流。文件生成装置11通过将低分辨率编码流和高分辨率编码流各自按照从几秒到十秒的范围的被称为“片段”的时间单位转换成文件来生成图像文件。文件生成装置11将生成的图像文件上传到Web服务器12。
文件生成装置11(设置部)还生成用于管理图像文件等的MPD文件(管理文件)。文件生成装置11将MPD文件上传到Web服务器12。
Web服务器12存储从文件生成装置11上传的图像文件和MPD文件。响应于来自运动图像回放终端14的请求，Web服务器12将已存储于其中的图像文件、MPD文件等发送到运动图像回放终端14。
运动图像回放终端14执行用于控制流媒体数据的软件21(下文中被称为“控制软件”)、运动图像回放软件22和用于访问HTTP(超文本传输协议)的客户端软件23(下文中被称为“访问软件”)等。
控制软件21是用于控制来自Web服务器12的数据流媒体的软件。特别地，控制软件21使得运动图像回放终端14能够从Web服务器12获取MPD文件。
基于MPD文件，控制软件21命令访问软件23发送请求，该请求用于发送由运动图像回放软件22指定要被播放的编码流。
运动图像回放软件22是用于播放从Web服务器12获取的编码流的软件。特别地，运动图像回放软件22向控制软件21指示要被播放的编码流。另外，当运动图像回放软件22接收到已开始从访问软件23接收流的通知时，运动图像回放软件22将由运动图像回放终端14接收的编码流解码成图像数据。运动图像回放软件22对解码的图像数据进行组合，并且输出组合的图像数据。
访问软件23是控制使用HTTP通过因特网13进行的与Web服务器12的通信的软件。特别地，响应于来自控制软件21的指令，访问软件23控制运动图像回放终端14以发送请求，该请求用于发送被包括在图像文件中的要被播放的编码流。访问软件23还控制运动图像回放终端14以开始接收响应于请求而从Web服务器12发送的编码流，并且将已开始接收流的通知提供给运动图像回放软件22。
(图像文件生成器的配置示例)
图2是示出了图1中所示的文件生成装置11的用于生成图像文件的图像文件生成器的配置示例的框图。
如图2所示，图像文件生成器150包括拼接处理器151、映射处理器152、分辨率降低器153、编码器154、分割器155、编码器156-1至156-4、存储装置157和生成器158。
拼接处理器151使从未示出的多个摄像装置提供的全向图像的颜色和亮度均衡，并且在移除重叠的同时对它们进行接合。拼接处理器151将作为结果获得的全向图像提供给映射处理器152。
映射处理器152将从拼接处理器151提供的全向图像映射到球体上，从而生成全天球图像。映射处理器152将全天球图像提供给分辨率降低器153和分割器155。拼接处理器151和映射处理器152可以彼此集成。
分辨率降低器153将从映射处理器152提供的全天球图像的水平分辨率和垂直分辨率减小至一半，从而降低图像的分辨率，并且生成低分辨率全天球图像。分辨率降低器153将低分辨率全天球图像提供给编码器154。
编码器154根据编码处理(例如，AVC(高级视频编码)、HEVC(高效率视频编码)等)对从分辨率降低器153提供的低分辨率全天球图像进行编码，从而生成低分辨率编码流。编码器154将低分辨率编码流提供给存储装置157，存储装置157将提供的低分辨率编码流记录于其中。
分割器155将作为高分辨率全天球图像从映射处理器152提供的全天球图像垂直地分成三个区域，并且将中心区域水平地分成三个区域，使得在中心处没有边界。例如，分割器155对五个分割区域之中的上部区域和下部区域的分辨率进行降低，使得水平分辨率被减少至一半。
分割器155将表示分辨率被降低的上部区域的低分辨率上部图像提供给编码器156-1，并且将表示分辨率被降低的下部区域的低分辨率下部图像提供给编码器156-2。
分割器155将中心区域的左端区域的左端部和中心区域的右端区域的右端部进行组合，从而生成端图像。分割器155将端图像提供给编码器156-3。分割器155还将中心区域的中心部分作为中心图像提供给编码器156-4。
编码器156-1至156-4根据编码处理(例如，AVC、HEVC等)对从分割器155提供的低分辨率上部图像、低分辨率下部图像、端图像和中心图像进行编码。编码器156-1至156-4将由此生成的编码流作为高分辨率流提供给存储装置157，存储装置157将提供的高分辨率流记录于其中。
存储装置157将从编码器154提供的单个低分辨率编码流和从编码器156-1至156-4提供的四个高分辨率编码流记录于其中。
生成器158读取来自存储装置157的单个低分辨率编码流和四个高分辨率编码流，并且将这些编码流中的每个编码流各自按照片段转换成文件。生成器158将由此生成的图像文件传送至图1所示的Web服务器12。
(全天球图像的编码流的描述)
图3是说明全天球图像的编码流的图。
如果如图3所示，全天球图像170的分辨率是4k(3840像素×2160像素)，则如图3的A处所示，低分辨率全天球图像161的水平分辨率是1920像素(即是全天球图像170的水平分辨率的一半)，并且低分辨率全天球图像161的垂直分辨率是1080像素(即是全天球图像170的垂直分辨率的一半)。对低分辨的全天球图像161按原样进行编码，从而生成单个低分辨率编码流。
如图3的B处所示，全天球图像170被垂直地分成三个区域，并且其中心区域被水平地分成三个区域，使得在中心O处没有边界。结果是，全天球图像170被分成作为3840像素×540像素的上部区域的上部图像171、作为3840像素×540像素的下部区域的下部图像172以及3840像素×1080像素的中心区域。3840像素×1080像素的中心区域被分成作为960像素×1080像素的左端区域的左端图像173-1、作为960像素×1080像素的右端区域的右端图像173-2以及作为1920像素×1080像素的中心区域的中心图像174。
上部图像171和下部图像172将它们的水平分辨率减小至一半，从而生成低分辨率上部图像和低分辨率下部图像。由于全天球图像是水平且垂直地360度伸展的图像，因此面对彼此的左端图像173-1和右端图像173-2实际是连续的图像。将左端图像173-1的左端部和右端图像173-2的右端部进行组合，从而生成端图像。对低分辨率上部图像、低分辨率下部图像、端图像和中心图像174彼此独立地进行编码，从而生成四个高分辨率编码流。
通常，全天球图像170被生成为使得全天球图像170的下述正面是处于全天球图像170的中心O，全天球图像170的该正面处于天球图像170上位于视线的标准方向中的视野的中心的位置处。
根据通过时域运动补偿来压缩信息的编码处理(例如，AVC、HEVC等)，当主体在画面上移动时，压缩失真的出现在帧之间传播，同时保持特定的形状。然而，如果画面被分割，并且分割图像被彼此独立地编码，则由于运动补偿不会跨边界进行，所以压缩失真趋向于增加。结果是，解码的分割图像所组成的运动图像具有在其中产生的条纹，其中，压缩失真的出现在分割图像之间的边界处变化。已知该现象在AVC片(slice)或HEVC块(tile)之间发生。因此，在已被解码的低分辨率上部图像、低分辨率下部图像、端图像以及中心图像174之间的边界处，图像质量很可能劣化。
因此，全天球图像170被分成使得在用户极有可能看见的全天球图像170的中心O处没有边界。结果是，图像质量在用户极有可能看见的中心O处不会劣化，从而使得在已被解码的全天球图像170中任何图像质量劣化都不显眼。
对左端图像173-1和右端图像173-2彼此组合且进行编码。因此，如果端图像和中心图像174的面积相同，则从需要显示全天球图像的给定观察点观察的全天球图像的最大高分辨率编码流是与观察点无关的、低分辨率上部图像和低分辨率下部图像中的任一个以及端图像和中心图像174中的任一个的两个高分辨率编码流。因此，要被运动图像回放终端14解码的高分辨率流的数量也是相同的而与观察点无关。
(第一实施方式中的SRD的定义的描述)
图4是说明第一实施方式中的SRD的定义的示例的图。
SRD是指可以在MPD文件中描述的信息，并且表示下述信息：该信息指示运动图像内容的图像所被分成的一个或多个单独编码的区域在画面上的位置。
特别地，将SRD给出为<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2015”value＝“source_id,object_x,object_y,object_width,object_height,total_width,total_height,spatial_set_id”/>。
“source_id”是指与SRD相对应的运动图像内容的ID(标识符)。“object_x”和“object_y”分别指与SRD相对应的区域的左上角在画面上的水平坐标和垂直坐标。“object_width”和“object_height”分别指与SRD相对应的区域的水平尺寸和垂直尺寸。“total_width”和“total_height”分别指配置有与SRD相对应的区域的画面的水平尺寸和垂直尺寸。“spatial_set_id”是指配置有与SRD相对应的区域的画面的ID。
如图4所示，根据本实施方式中的SRD的定义，如果运动图像内容的图像是全景的图像(全景图像)或全天球图像(天球动态)，则“object_x”和“object_width”之和可以超过“total_width”，并且“object_y”和“object_height”之和可以超过“total_height”。
可以在MPD文件中描述用于指示运动图像内容的图像是全景的图像(全景图像)或全天球图像(天球动态)的信息。在这种情况下，在图5中示出本实施方式中的SRD的定义。
(端图像的SRD的描述)
图6是示出了在MPD文件中描述的端图像的SRD的图。
如参考图4在上面描述的，根据第一实施方式中的SRD，如果运动图像内容的图像是全天球图像，则“object_x”和“object_width”之和可以超过“total_width”。
因此，例如，文件生成装置11将左端图像173-1在画面180上的位置设置到右端图像173-2的右侧。如图6所示，左端图像173-1在画面180上的位置目前突出在画面180的外侧。然而，组成端图像173的右端图像173-2和左端图像173-1在画面180上的位置被呈现为连续的。因此，文件生成装置11可以使用SRD描述端图像173在画面180上的位置。
特别地，文件生成装置11将右端图像173-2的左上角在画面180上的位置的水平坐标和垂直坐标分别描述为端图像173的SRD的“object_x”和“object_y”。文件生成装置11还将端图像173的水平尺寸和垂直尺寸分别描述为端图像173的SRD的“object_width”和“object_height”。
文件生成装置11还将画面180的水平尺寸和垂直尺寸分别描述为端图像173的SRD的“total_width”和“total_height”。文件生成装置因此将突出在画面180的外侧的位置设置为端图像173在画面180上的位置。
相反地，如果如图7所示，SRD的定义被限制为使得“object_x”和“object_width”之和等于或小于“total_width”以及“object_y”和“object_height”之和等于或小于“total_height”，即是，如果与SRD相对应的区域在画面上的位置被禁止突出在画面的外侧，则左端图像173-1在画面180上的位置不能被设置到右端图像173-2的右侧。
因此，组成端图像173的右端图像173-2和左端图像173-1在画面180上的位置不是连续的，并且需要描述右端图像173-2和左端图像173-1两者在画面180上的位置作为端图像173在画面180上的位置。结果，不能通过SRD来描述端图像173在画面180上的位置。
(MPD文件的示例)
图8是说明由图1中所示的文件生成装置11生成的MPD文件的示例的图。
如图8所示，在MPD文件中，“AdaptationSet”是按照编码流描述的。每个“AdaptationSet”具有本文所描述的相对应的区域的SRD和本文所描述的“Representation”。“Representation”具有本文所描述的相对应的编码流的图像文件的信息(例如，URL(统一资源定位符))。
特别地，图8中的第一“AdaptationSet”是全天球图像170的低分辨率全天球图像161的低分辨率编码流的“AdaptationSet”。因此，第一“AdaptationSet”具有表示本文所描述的低分辨率全天球图像161的SRD的<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,0,1920,1080,1920,1080,1”/>。第一“AdaptationSet”的“Representation”具有本文所描述的低分辨率编码流的图像文件的URL“stream1.mp4”。
图8中的第二“AdaptationSet”是全天球图像170的低分辨率上部图像的高分辨率编码流的“AdaptationSet”。因此，第二“AdaptationSet”具有表示本文所描述的低分辨率上部图像的SRD的<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,0,3840,540,3840,2160,2”/>。第二“AdaptationSet”的“Representation”具有本文所描述的低分辨率上部图像的高分辨率编码流的图像文件的URL“stream2.mp4”。
图8中的第三“AdaptationSet”是全天球图像170的中心图像174的高分辨率编码流的“AdaptationSet”。因此，第三“AdaptationSet”具有表示本文所描述的中心图像174的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,960,540,1920,1080,3840,2160,2”/>。第三“AdaptationSet”的“Representation”具有本文所描述的中心图像174的高分辨率编码流的图像文件的URL“stream3.mp4”。
图8中的第四“AdaptationSet”是全天球图像170的低分辨率下部图像的高分辨率编码流的“AdaptationSet”。因此，第四“AdaptationSet”具有表示本文所描述的低分辨率下部图像的SRD的<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,1620,3840,540,3840,2160,2”/>。第四“AdaptationSet”的“Representation”具有本文所描述的低分辨率下部图像的高分辨率编码流的图像文件的URL“stream4.mp4”。
图8中的第五“AdaptationSet”是全天球图像170的端图像173的高分辨率编码流的“AdaptationSet”。因此，第五“AdaptationSet”具有表示本文所描述的端图像173的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,2880,540,1920,1080,3840,2160,2”/>。第五“AdaptationSet”的“Representation”具有本文所描述的端图像173的高分辨率编码流的图像文件的URL“stream5.mp4”。
(图像文件生成器的处理的描述)
图9是图2中所示的图像文件生成器150的编码处理的流程图。
在图9中所示的步骤S11中，拼接处理器151使从未示出的多个摄像装置提供的全向图像的颜色和亮度均衡，并且在移除重叠的同时对它们进行接合。拼接处理器151将作为结果获得的全向图像提供给映射处理器152。
在步骤S12中，映射处理器152从由拼接处理器151提供的全向图像生成全天球图像170，并且将全天球图像170提供给分辨率降低器153和分割器155。
在步骤S13中，分辨率降低器153降低从映射处理器152提供的全天球图像170的分辨率，从而生成低分辨率全天球图像161。分辨率降低器153将低分辨率全天球图像161提供给编码器154。
在步骤S14中，编码器154对从分辨率降低器153提供的低分辨率全天球图像161进行编码，从而生成低分辨率编码流。编码器154将低分辨率编码流提供给存储装置157。
在步骤S15中，分割器155将从映射处理器152提供的全天球图像170分成上部图像171、下部图像172、左端图像173-1、右端图像173-2和中心图像174。分割器155将中心图像174提供给编码器156-4。
在步骤S16中，分割器155对上部图像171和下部图像172的分辨率进行降低，使得它们的水平分辨率被减少至一半。分割器155将作为结果获得的低分辨率上部图像提供给编码器156-1，并且还将表示分辨率被降低的下部区域的低分辨率下部图像提供给编码器156-2。
在步骤S17中，分割器155将左端图像173-1的左端部与右端图像173-2的右端部进行组合，从而生成端图像173。分割器155将端图像173提供给编码器156-3。
在步骤S18中，编码器156-1至156-4对从分割器155提供的低分辨率上部图像、低分辨率下部图像、端图像173和中心图像174分别进行编码。编码器156-1至156-4将作为结果生成的编码流作为高分辨率流提供给存储装置157。
在步骤S19中，存储装置157将从编码器154提供的单个低分辨率编码流和从编码器156-1至156-4提供的四个高分辨率编码流记录于其中。
在步骤S20中，生成器158读取来自存储装置157的单个低分辨率编码流和四个高分辨率编码流，并且将这些编码流中的每一个各自转换成按照片段的文件，从而生成图像文件。生成器158将图像文件传送至图1所示的Web服务器12。编码处理现在结束。
(运动图像回放终端的功能配置示例)
图10是示出了在图1中所示的运动图像回放终端14执行控制软件21、运动图像回放软件22和访问软件23时由运动图像回放终端14实现的流媒体播放器的配置示例的框图。
图10中所示的流媒体播放器190包括MPD获取器191、MPD处理器192、图像文件获取器193、解码器194-1至194-3、配置器195、渲染器196和视线检测器197。
流媒体播放器190的MPD获取器191从Web服务器12获取MPD文件，并且将MPD文件提供给MPD处理器192。
基于从视线检测器197提供的用户的视线方向，MPD处理器192选择上部图像171、下部图像172、端图像173和中心图像174中的两个作为可能被包括在用户的视野中的选择图像。特别地，当全天球图像170被映射到球面上时，MPD处理器192选择当存在于球体内的用户沿视线方向看时可能被包括在用户的视野中的、上部图像171和下部图像172中的一个以及端图像173和中心图像174中的一个作为选择图像。
MPD处理器192从由MPD获取器191提供的MPD文件提取信息，例如要被播放的片段中的选择图像和低分辨率全天球图像161的图像文件的URL，并且将提取的信息提供给图像文件获取器193。MPD处理器192还从MPD文件提取要被播放的片段中的选择图像和低分辨率全天球图像161的SRD，并且将提取的SRD提供到配置器195。
图像文件获取器193向Web服务器12请求由从MPD处理器192提供的URL所指定的图像文件的编码流，然后获取编码流。图像文件获取器193将获取的低分辨率编码流提供给解码器194-1。图像文件获取器193还将其中一个选择图像的高分辨率编码流提供给解码器194-2，并且将另一个选择图像的高分辨率编码流提供给解码器194-3。
解码器194-1根据与编码处理(例如，AVC、HEVC等)相对应的处理对从图像文件获取器193提供的低分辨率编码流进行解码，并且将作为解码处理的结果获得的低分辨率全天球图像161提供给配置器195。
解码器194-2和194-3根据与编码处理(例如，AVC、HEVC等)相对应的处理对从图像文件获取器193提供的选择图像的高分辨率编码流进行解码。解码器194-2和194-3随后将作为解码处理的结果获得的选择图像提供给配置器195。
配置器195基于从MPD处理器192提供的SRD而将从解码器194-1提供的低分辨率全天球图像161配置在画面上。此后，配置器195基于SRD将从解码器194-2和194-3提供的选择图像叠置在已经配置了低分辨率全天球图像161的画面上。
特别地，配置有由SRD指示的低分辨率全天球图像161的画面的水平尺寸和垂直尺寸是配置有选择图像的画面的水平尺寸和垂直尺寸的一半。因此，配置器195将配置有低分辨率全天球图像161的画面的水平尺寸和垂直尺寸增加两倍，并且将选择图像叠置于其上。配置器195将叠置了选择图像的画面映射到球体上，并且将作为结果获得的球形图像提供给渲染器196。
渲染器196将从配置器195提供的球形图像投影到从视线检测器197提供的用户的视野上，从而在用户的视野中生成图像。渲染器196随后控制未示出的显示设备，以将生成图像作为显示图像进行显示。
视线检测器197检测用户的视线方向。例如，可以通过基于用户佩戴的设备的倾斜度的检测方法来检测用户的视线方向。视线检测器197将检测到的用户的视线方向提供给MPD处理器192。
视线检测器197还检测用户的位置。例如，可以通过基于被添加到用户佩戴的设备的标记等的捕获图像的检测方法来检测用户的位置。视线检测器197基于检测到的用户的位置和视线向量来确定用户的视野，并且将确定的用户的视野提供给渲染器196。
(运动图像回放终端的处理的描述)
图11是图10中示出的流媒体播放器190的回放处理的流程图。
在图11中所示的步骤S41中，流媒体播放器190的MPD获取器191从Web服务器12获取MPD文件，并且将获取的MPD文件提供到MPD处理器192。
在步骤S42中，基于从视线检测器197提供的用户的视线，MPD处理器192选择上部图像171、下部图像172、端图像173和中心图像174中的两个作为可能被包括在用户的视野中的选择图像。
在步骤S43中，MPD处理器192从由MPD获取器191提供的MPD文件提取信息，例如要被播放的片段中的选择图像和低分辨率全天球图像161的图像文件的URL，并且将提取的信息提供给图像文件获取器193。
在步骤S44中，MPD处理器192从MPD文件提取要被播放的片段中的选择图像和低分辨率全天球图像161的SRD，并且将提取的SRD提供给配置器195。
在步骤S45中，图像文件获取器193向Web服务器12请求由从MPD处理器192提供的URL所指定的图像文件的编码流，并且获取编码流。图像文件获取器193将获取的低分辨率编码流提供给解码器194-1。图像文件获取器193还将其中一个选择图像的高分辨率编码流提供给解码器194-2，并且将另一个选择图像的高分辨率编码流提供给解码器194-3。
在步骤S46中，解码器194-1对从图像文件获取器193提供的低分辨率编码流进行解码，并且将作为解码处理的结果获得的低分辨率全天球图像161提供给配置器195。
在步骤S47中，解码器194-2和194-3对从图像文件获取器193提供的选择图像的高分辨率编码流进行解码，并且将作为解码处理的结果获得的选择图像提供给配置器195。
在S48中，配置器195基于从MPD处理器192提供的SRD而将从解码器194-1提供的低分辨率全天球图像161配置在画面上。此后，配置器195将从解码器194-2和194-3提供的选择图像叠置在画面上。配置器195将叠置了选择图像的画面映射到球体上，并且将作为结果获得的球形图像提供给渲染器196。
在步骤S49中，渲染器196将从配置器195提供的球形图像投影到从视线检测器194提供的用户的视野上，从而生成要显示的图像。渲染器196随后控制未示出的显示设备，以将生成图像作为显示图像进行显示。回放处理现在结束。
<第二实施方式>
(端图像的图像文件的片段结构的示例)
根据应用了本公开内容的图像处理系统的第二实施方式，针对端图像173的编码流之中的左端图像173-1的编码流和右端图像173-2的编码流设置不同的级别(level)(下文将详细描述)。结果，如果SRD如图7中所示的定义，则可以使用SRD来描述左端图像173-1和右端图像173-2在画面180上的位置。
特别地，除了由文件生成装置11生成的端图像173的图像文件的片段结构以及MPD文件之外，应用了本公开内容的图像处理系统的第二实施方式与第一实施方式相同，因此，下面将仅描述端图像173的图像文件的片段结构和MPD文件。
图12是示出了应用了本公开内容的信息处理系统的第二实施方式中的端图像173的图像文件的片段结构的示例的图。
如图12所示，在端图像173的图像文件中，初始片段包括ftyp框和moov框。moov框包括配置在其中的stbl框和mvex框。
stbl框包括配置在其中的sgpd框等，其中，依次描述用于指示作为端图像173的一部分的左端图像173-1在端图像173上的位置的块区域组条目(Tile Region Group Entry)以及用于指示右端图像173-2在端图像173上的位置的块区域组条目。块区域组条目通过HEVC文件格式的HEVC块轨道(Tile Track)被标准化。
mvex框包括配置在其中的leva框等，其中，1被设置为用于与第一块区域组条目相对应的左端图像173-1的级别，并且2被设置为用于与第二块区域组条目相对应的右端图像173-2的级别。
通过依次描述与第一块区域组条目相对应的级别的信息和与第二块区域组条目相对应的级别的信息，leva框将1设置为用于左端图像173-1的级别，并且将2设置为用于右端图像173-2的级别。当从MPD文件指定编码流的一部分时，该级别用作索引。
leva框具有作为每个级别的信息的在本文中描述的assignment_type(分配类型)，其指示要被设置级别的对象是否是被配置在多个轨道上的编码流。在图12所示的示例中，端图像173的编码流被配置在一个轨道上。因此，assignment_type被设置成0，其指示要被设置级别的对象不是被配置在多个轨道上的编码流。
leva框还具有作为每个级别的信息的与本文描述的级别相对应的块区域组条目的类型。在图12所示的示例中，表示在sgpd框中描述的块区域组条目的类型的“trif”被描述作为每个级别的信息。例如，leva框的细节在2012七月第四版的ISO/IEC 14496-12ISO基础媒体文件格式中被描述。
媒体片段包括一个或多个子片段，子片段包括sidx框、ssix框和成对的moof框和mdat框。sidx框具有配置在其中的用于指示每个子片段在图像文件中的位置的位置信息。ssix框包括配置在mdat框中的各个级别的编码流的位置信息。
按照期望的时间长度来设置子片段。mdat框具有以期望的时间长度一起配置在其中的编码流，并且moof框具有配置在其中的这些编码流的管理信息。
(块区域组条目的示例)
图13是示出了图12中的块区域组条目的示例的图。
块区域组条目在其中依次描述块区域组条目的ID、对应区域的左上角在与编码流相对应的图像上的水平坐标和垂直坐标、以及与编码流相对应的图像的水平尺寸和垂直尺寸。
如图13所示，端图像173由下述图像组成：960像素×1080像素的右端图像173-2以及其左端部与右端图像173-2的右端部组合的960像素×1080像素的左端图像173-1。因此，左端图像173-1的块区域组条目由(1,960,0,960,1080)表示，并且右端图像173-2的块区域组条目由(2,0,0,960,1080)表示。
(MPD文件的示例)
图14是示出了MPD文件的示例的图。
除了作为端图像173的高分辨率编码流的“AdaptationSet”的第五“AdaptationSet”之外，图14中所示的MPD文件与图8中所示的MPD文件相同。因此，下面将仅描述第五“AdaptationSet”。
图14中所示的第五“AdaptationSet”不具有本文描述的端图像173的SRD，但具有本文描述的“Representation”。“Representation”具有本文描述的端图像173的高分辨率编码流的图像文件的URL“stream5.mp4”。由于针对端图像173的编码流设置了级别，因此可以在“Representation”中描述每个级别的“SubRepresentation”。
因此，级别“1”的“SubRepresentaion”具有表示本文描述的左端图像173-1的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,2880,540,960,1080,3840,2160,2”/>。因此，与由与级别“1”相对应的块区域组条目所指示的左端图像173-1在端图像173上的位置相关联地设置左端图像173-1的SRD。
级别“2”的“SubRepresentation”具有表示本文描述的右端图像173-2的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,540,960,1080,3840,2160,2”/>。因此，与由与级别“2”相对应的块区域组条目所指示的右端图像173-2在端图像173上的位置相关联地设置右端图像173-2的SRD。
根据第二实施方式，如上所述，针对左端图像173-1和右端图像173-2设置不同的级别。因此，组成与编码流相对应的端图像173的左端图像173-1和右端图像173-2在画面180上的位置可以由SRD来描述。
基于在MPD文件中设置的级别“1”的SRD，流媒体播放器190将左端图像173-1配置在画面180上解码的端图像173的与级别“1”相对应的块区域组条目所指示的位置中。基于在MPD文件中设置的级别“2”的SRD，流媒体播放器190还将右端图像173-2配置在画面180上解码的端图像173的与级别“2”相对应的块区域组条目所指示的位置中。
根据第二实施方式，端图像173的编码流被配置在一个轨道上。然而，如果根据HEVC处理将左端图像173-1和右端图像173-2编码为不同的块，则它们的各自的片数据可以被配置在不同的轨道上。
(轨道结构的示例)
图15是示出轨道结构的示例的图，其中左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上。
如图15所示，如果左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上，则三个轨道被配置在端图像173的图像文件中。
每个轨道的轨道框具有被配置在其中的轨道参考(Track Reference)。轨道参考表示相应的轨道与另一轨道的参考关系。特别地，轨道参考表示在与相应的轨道有参考关系的另一轨道中固有的ID(下文中被称为“轨道ID”)。每个轨道的样本由样本条目(SampleEntry)管理。
轨道ID为1的轨道是基础轨道，其不包括端图像173的编码流的片数据。特别地，基础轨道的样本具有被配置在其中的端图像173的编码流的参数集，该参数集包括VPS(视频参数集)、SPS(序列参数集)、SEI(补充增强信息)、PPS(图像参数集)等。基础轨道的样本还具有被配置在其中作为子样本的、以除了基础轨道之外的其他轨道的样本为单位的提取器。提取器包括提取器的类型、以及用于指示对应轨道的样本在文件中的位置及其尺寸的信息。
轨道ID为2的轨道是包括作为样本的、端图像173的编码流的左端图像173-1的片数据的轨道。轨道ID为3的轨道是包括作为样本的、端图像173的编码流的右端图像173-2的片数据的轨道。
(leva框的示例)
在左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上的情况下，除了leva框之外，端图像173的图像文件的片段结构与图12中所示的片段结构相同。因此下面将仅描述leva框。
图16是示出了在左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上的情况下端图像173的图像文件的leva框的示例的图。
如图16所示，在左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上的情况下，端图像173的图像文件的leva框具有针对具有轨道ID“1”至“3”的轨道依次设置的级别“1”至“3”。
图16中所示的leva框具有针对下述轨道的本文描述的轨道ID，作为各个级别的信息：这些轨道包括被设置了级别的端图像173中的区域的片数据。在图16中所示的示例中，轨道ID“1”、“2”和“3”被分别描述为级别“1”、“2”和“3”的信息。
在图16中，作为要被设置级别的对象的端图像173的编码流的片数据被配置在多个轨道上。因此，被包括在每个级别的级别信息中的assignment_type是2或3，其指示要被设置级别的对象是被配置在多个轨道上的编码流。
此外，在图16中，不存在与级别“1”相对应的块区域组条目。因此，被包括在级别“1”的信息中的块区域条目的类型是指示不存在块区域组条目的grouping_type(分组类型)“0”。相较之下，与级别“2”和“3”相对应的块区域组条目是被包括在sgpd框中的块区域组条目。因此，被包括在级别“2”和“3”的信息中的块区域组条目的类型是“trif”，其是被包括在sgpd框中的块区域组条目的类型。
(MPD文件的另一示例)
图17是示出了MPD文件的示例的图，其中，左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上。
除了第五“AdaptationSet”的每个“SubRepresentation”的元素之外，图17中示出的MPD文件与图14中示出的MPD文件相同。
特别地，在图17所示的MPD文件中，第五“AdaptationSet”的第一“SubRepresentation”是级别“2”的“SubRepresentation”。因此，级别“2”被描述为“SubRepresentation”的元素。
与级别“2”相对应的轨道ID“2”的轨道具有对轨道ID“1”的基本轨道的依赖关系。因此，被描述为“SubRepresentation”的元素的、用于表示与依赖关系中的轨道相对应的级别的依赖级别(dependencyLevel)被设置为“1”。
与级别“2”相对应的轨道ID“2”的轨道是HEVC块轨道。因此，被描述为“SubRepresentation”的元素的、用于表示编码类型的codecs被设置为指示HEVC块轨道的“hvt1.1.2.H93.B0”。
在图17所示的MPD文件中，第五“AdaptationSet”的第二“SubRepresentation”是级别“3”的“SubRepresentation”。因此，级别“3”被描述为“SubRepresentation”的元素。
与级别“3”相对应的轨道ID“3”的轨道具有对轨道ID“1”的基本轨道的依赖关系。因此，被描述为“SubRepresentation”的元素的依赖级别(dependencyLevel)被设置为“1”。
与级别“3”相对应的轨道ID“3”的轨道是HEVC块轨道。因此，被描述为“SubRepresentation”的元素的codecs被设置为“hvt1.1.2.H93.B0”。
如上所述，如果左端图像173-1和右端图像173-2被编码成不同的块，则图10中所示的解码器194-2或解码器194-3可以对左端图像173-1和右端图像173-2彼此独立地进行解码。如果左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上，则可以获取左端图像173-1和右端图像173-2的片数据中的任意一个。因此，MPD处理器192可以仅选择左端图像173-1和右端图像173-2中的一个作为选择图像。
在上述描述中，被编码为不同的块的左端图像173-1和右端图像173-2的片数据被配置在不同的轨道上。然而，它们可以被配置在一个轨道上。
在第一和第二实施方式中，运动图像内容的图像表示全天球图像。然而，其可以是全景图像。
<第三实施方式>
(信息处理系统的第三实施方式的配置示例)
图18是示出了应用了本公开内容的信息处理系统的第三实施方式的配置示例的框图。
在图18中示出的配置细节当中，与图1中所示的配置细节相同的那些配置细节由相同的附图标记表示。将根据需要省略冗余的描述。
图18中所示的信息处理系统210的配置与图1中所示的信息处理系统10的配置的不同之处在于，设置文件生成装置211来替代文件生成装置11。
在信息处理系统210中，Web服务器12根据等同于MPEG-DASH的处理，将作为运动图像内容的图像的拼接图像的编码流分发给运动图像回放终端14。拼接图像是指由多个广播节目的运动图像的缩略图组成的图像。
信息处理系统210的文件生成装置211以多个编码率(比特率)对拼接图像进行编码，从而生成编码流。文件生成装置211通过下述方式来生成图像文件：以对应的编码率将编码流转换成各自按照从几秒到十秒的范围的被称为“片段”的时间单位的文件。文件生成装置211将生成的图像文件上传到Web服务器12。
文件生成装置211(设置部)还生成用于管理图像文件等的MPD文件(管理文件)。文件生成装置211将MPD文件上传到Web服务器12。
(文件生成装置的配置示例)
图19是示出了图18中所示的文件生成装置211的配置示例的框图。
图19中所示的文件生成装置211包括编码处理器231、图像文件生成器323、MPD生成器233和服务器上传处理器234。
文件生成装置211的编码处理器231以多个编码率对作为运动图像内容的图像的拼接图像进行编码，从而生成编码流。编码处理器231将各个编码率的编码流提供给图像文件生成器232。
图像文件生成器232将从编码处理器231提供的各个编码率的编码流转换成各自按照片段的文件，从而生成图像文件。图像文件生成器232将生成的图像文件提供给MPD生成器233。
MPD生成器233确定用于存储从图像文件生成器232提供的图像文件的Web服务器12的URL等。MPD生成器233随后生成包含图像文件的URL等的MPD文件。MPD生成器233将生成的MPD文件和图像文件提供给服务器上传处理器234。
服务器上传处理器234将从MPD生成器233提供的图像文件和MPD文件上传到图18中所示的Web服务器12。
(拼接图像的示例)
图20是示出了拼接图像的示例的图。
在图20中示出的示例中，拼接图像250由左上缩略图像251、右上缩略图像252、左下缩略图像253和右下缩略图像254组成。拼接图像250具有2k(1920像素×1080像素)的分辨率，并且所有的缩略图像251至254都具有960像素×540像素的分辨率。
(sgpd框和leva框的示例)
除了sgpd框和leva框，由文件生成装置211生成的图20中所示的拼接图像250的图像文件的片段结构与图12中所示的片段结构相同。因此，下面将仅描述sgpd框和leva框。
图21是示出了图20中所示的拼接图像250的图像文件的sgpd框和leva框的示例的图。
由于拼接图像250由四个缩略图像251至254组成，所以如图21所示，在拼接图像250的图像文件的sgpd框中描述四个块区域组条目。
在图21中描述的示例中，第一块区域组条目与缩略图像251相对应，并且为(1，0，0，960，540)。第二块区域组条目与缩略图像252相对应，并且为(2，960，0，960，540)。第三块区域组条目与缩略图像253相对应，并且为(3，0，540，960，540)。第四块区域组条目与缩略图像254相对应，并且为(4，960，540，960，540)。
leva框具有与从与第一块区域组条目相对应的级别的信息起依次在其中描述的与各个块区域组条目相对应的级别的信息。针对缩略图像251的级别被设置为1，针对缩略图像252的级别被设置为2，针对缩略图像253的级别被设置为3，并且针对缩略图像254的级别被设置为4。
被描述为每个级别的信息的assignment_type被设置为0，并且块区域组条目的类型被设置为“trif”，其表示在sgpd框中描述的块区域组条目的类型。
(MPD文件的第一示例)
图22是示出了与由图18中所示的文件生成装置211生成的拼接图像250的图像文件相对应的MPD文件的第一示例的图。
如图22中所示，在MPD文件中，按照编码流描述“AdaptationSet”。每个“AdaptationSet”都具有本文描述的“Representation”，并且“Representation”具有本文描述的拼接图像250的编码流的图像文件的URL“stream.mp4”。由于针对拼接图像250的编码流设置了级别，所以可以在“Representation”中描述每个级别的“SubRepresentation”。
因此，级别“1”的“SubeRepresentation”具有表示本文描述的缩略图像251的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,0,960,540,1920,1080”/>。因此，与由与级别“1”相对应的块区域组条目所指示的缩略图像251在拼接图像250上的位置相关联地设置缩略图像251的SRD。
级别“2”的“SubeRepresentation”具有表示本文描述的缩略图像252的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,960,0,960,540,1920,1080”/>。因此，与由与级别“2”相对应的块区域组条目所指示的缩略图像252在拼接图像250上的位置相关联地设置缩略图像252的SRD。
级别“3”的“SubeRepresentation”具有表示本文描述的缩略图像253的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,540,960,540,1920,1080”/>。因此，与由与级别“3”相对应的块区域组条目所指示的缩略图像253在拼接图像250上的位置相关联地设置缩略图像253的SRD。
级别“4”的“SubeRepresentation”具有表示本文描述的缩略图像254的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,960,540,960,540,1920,1080”/>。因此，与由与级别“4”相对应的块区域组条目所指示的缩略图像254在拼接图像250上的位置相关联地设置缩略图像254的SRD。
如上所述，在图22中所示的MPD文件中，由块区域组条目指示的拼接图像250的水平尺寸和垂直尺寸与由SRD指示的画面的水平尺寸和垂直尺寸相同。由与每个级别相对应的块区域组条目指示的拼接图像250上的水平坐标和垂直坐标和由与该级别相对应的SRD指示的画面上的水平位置和垂直位置相同。因此，当生成图22中所示的MPD文件时，配置有基于SRD而被解码的缩略图像251至254的画面与拼接图像250相同。
每个级别的“SubRepresentation”还具有与本文描述的级别的缩略图像251至254相对应的运动图像的URL。特别地，级别“1”的“SubRepresentation”具有与本文描述的缩略图像251相对应的运动图像的URL“http://example.com/a_service/my.mpd”。级别“2”的“SubRepresentation”具有与本文描述的缩略图像252相对应的运动图像的URL“http://example.com/b_service/my.mpd”。
级别“3”的“SubRepresentation”具有与本文描述的缩略图像253相对应的运动图像的URL“http://example.com/c_service/my.mpd”。级别“4”的“SubRepresentation”具有与本文描述的缩略图像254相对应的运动图像的URL“http://example.com/d_service/my.mpd”。
(MPD文件的第二示例)
图23是示出了与由图18所示的文件生成装置211生成的拼接图像250的图像文件相对应的MPD文件的第二示例的图。
图23中所示的MPD文件仅就每个级别的“SubRepresentation”中描述的SRD而言与图22中所示的MPD文件有所不同。
特别地，在图23中所示的MPD文件中，级别“3”的“SubRepresentation”具有表示本文描述的缩略图像253的SRD的<SupplementalProperty schemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,0,960,540,1920,1080”/>。
级别“4”的“SubRepresentation”具有表示本文描述的缩略图像254的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,960,0,960,540,1920,1080”/>。
级别“1”的“SubRepresentation”具有表示本文描述的缩略图像251的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,0,540,960,540,1920,1080”/>。
级别“2”的“SubRepresentation”具有表示本文描述的缩略图像252的SRD的<SupplementalPropertyschemeIdUri＝“urn:mpeg:dash:srd:2014”value＝“1,960,540,960,540,1920,1080”/>。
如上所述，在图23中示出的MPD文件中，与图22中示出的MPD文件一样，由块区域组条目指示的拼接图像250的水平尺寸和垂直尺寸与由SRD指示的画面的水平尺寸和垂直尺寸相同。
然而，由与每个级别相对应的块区域组条目指示的拼接图像250上的水平坐标和垂直坐标不同于由与该级别相对应的SRD指示的画面上的水平位置和垂直位置。因此，当生成图23中所示的MPD文件时，配置有基于SRD而被解码的缩略图像251至254的画面与拼接图像250不同。
(配置有缩略图像的画面的示例)
图24是示出了配置有基于图23中所示的MPD文件中描述的SRD而被解码的缩略图像251至254的画面的示例的图。
图23中所示的MPD文件中描述的缩略图像251的SRD指示的是，缩略图像251的左上角在1920像素×1080像素的画面270上的坐标是(0,540)。因此，如图24中所示，缩略图像251被配置在画面270的左下区域中。
缩略图像252的SRD指示的是，缩略图像252的左上角在画面270上的坐标是(960,540)。因此，如图24中所示，缩略图像252被配置在画面270的右下区域中。
缩略图像253的SRD指示的是，缩略图像253的左上角在1920像素×1080像素的画面270上的坐标是(0,0)。因此，如图24中所示，缩略图像253被配置在画面270的左上区域中。
缩略图像254的SRD指示的是，缩略图像254的左上角在画面270上的坐标是(960,0)。因此，如图24中所示，缩略图像254被配置在画面270的右上区域中。
如上所述，使用图23中所示的MPD文件，缩略图像251至254的布局可以从要被编码的拼接图像250中的布局变成这些缩略图像被显示时的画面270中的布局。
(文件生成装置的处理的描述)
图25是图19中所示的文件生成装置211的文件生成处理的流程图。
在图25中示出的步骤S191中，编码处理器231以多个编码率对作为运动图像内容的图像的拼接图像进行编码，从而生成编码流。编码处理器231将各个编码率的编码流提供给图像文件生成器232。
在步骤S192中，图像文件生成器232将从编码处理器231提供的各个编码率的编码流各自按照片段转换成文件，从而生成图像文件。图像文件生成器232将生成的图像文件提供给MPD生成器233。
在步骤S193中，MPD生成器233生成包含图像文件的URL等的MPD文件。MPD生成器233将生成的MPD文件和图像文件提供给服务器上传处理器234。
在步骤S194中，服务器上传处理器234将从MPD生成器233提供的图像文件和MPD文件上传到Web服务器12。处理现在结束。
(运动图像回放终端的功能配置示例)
图26是示出了在图18中所示的运动图像回放终端14执行控制软件21、运动图像回放软件22和访问软件23时由运动图像回放终端14实现的流媒体播放器的配置示例的框图。
在图26中所示的配置细节当中，与图10中所示的配置细节相同的那些配置细节由相同的附图标记表示。将根据需要省略冗余的描述。
图26中所示的流媒体播放器290包括MPD获取器191、MPD处理器292、图像文件获取器293、解码器294、显示控制器295、接受器296和运动图像获取器297。
流媒体播放器290的MPD处理器292从由MPD获取器191提供的MPD文件提取要被播放的片段的图像文件的信息(例如，URL等)，并且将提取的信息提供给图像文件获取器293。MPD处理器292还将MPD文件提供给运动图像获取器297。MPD处理器292从MPD文件提取要被播放的片段的拼接图像的分割图像的SRD，并且将提取的SRD提供给显示控制器295。
图像文件获取器293向Web服务器12请求从MPD处理器292提供的URL所指定的图像文件的编码流，并且获取编码流。图像文件获取器293将获取的编码流提供给解码器294。
解码器294对从图像文件获取器293提供的编码流进行解码。解码器294将作为解码处理的结果获得的拼接图像提供给显示控制器295。
显示控制器295(配置器)基于从MPD处理器292提供的SRD而将从解码器294提供的拼接图像的分割图像配置在画面上。显示控制器295将光标叠置于配置有分割图像的画面上，并且将分割图像与叠置的光标一起提供给对其进行显示的未示出的显示设备。
响应于从接受器296提供的放大画面的给定区域的指令，显示控制器295将配置有拼接图像的画面中的、仅包括该区域中所包含的缩略图像的部分拼接图像的尺寸放大为直到画面的尺寸。显示控制器295将光标叠置于配置有放大的部分拼接图像的画面中的给定缩略图像上，并且将缩略图像与叠置的光标一起提供给对其进行显示的未示出的显示设备。
显示控制器295将与正被显示的缩略图像之一相对应的、从运动图像获取器297提供的运动图像提供给用于显示所提供的运动图像的未示出的显示设备。
接受器296接受来自用户等的指令，并且将指令提供给运动图像获取器297或显示控制器295。
响应于从接受器296提供的关于位置的指令，运动图像获取器297从由MPD处理器292提供的MPD文件获取与该位置相对应的运动图像的URL。运动图像获取器297基于获取的URL从Web服务器12等获取运动图像，并且将获取的运动图像提供给显示控制器295。
(回放处理的概要)
图27是说明图26中所示的流媒体播放器290的回放处理的概要的图。
如图27的左侧部分所示，显示控制器295将光标312放在组成被配置在画面中的拼接图像310的4×4缩略图像311中的给定缩略图像311上，并且控制未示出的显示设备显示该给定缩略图像311。
此时，用户在看见具有叠置于其上的光标312的拼接图像310的画面时，给出放大期望区域的指令。在图27中所示的示例中，用户给出放大处于配置有拼接图像310的画面的右上区域中的2×2缩略图像311的区域的指令。
响应于放大指令，显示控制器295将配置有拼接图像310的画面中仅由2×2缩略图像311组成的部分拼接图像313的尺寸放大为直到画面的尺寸。随后，如图27的中心部分所示，显示控制器295将光标314叠置在配置有放大的部分拼接图像313的画面中的给定缩略图像311上，并且控制未示出的显示设备以显示缩略图像311。
此时，用户将光标314移动到期望的缩略图像311，并且在其上进行指示光标314的位置的动作(例如，双击等)。在图27中所示的示例中，用户指示了右上缩略图像311的位置。
响应于用户的指令，运动图像获取器297从MPD文件获取与下述SRD相对应的运动图像的URL作为与所指示的位置相对应的运动图像的URL，该SRD指示与所指示的部分拼接图像313上的位置相对应的拼接图像310在画面上的位置。随后，基于获取的URL，运动图像获取器297从Web服务器12等获取运动图像315，然后将获取的运动图像315提供给显示控制器295。如图27的右侧部分所示，显示控制器295控制未示出的显示设备以显示运动图像315。
(运动图像回放终端的处理的描述)
图28是图26中所示的流媒体播放器290的回放处理的流程图。
在图28所示的步骤S211中，流媒体播放器290的MPD获取器191从Web服务器12获取MPD文件，并且将获取的MPD文件提供给MPD处理器292。
在步骤S212中，MPD处理器292从由MPD获取器191提供的MPD文件提取要被播放的片段的图像文件的信息(例如，URL等)，并且将提取的信息提供给图像文件获取器293。MPD处理器292还将MPD文件提供给运动图像获取器297。MPD处理器292从MPD文件提取要被播放的片段的拼接图像的分割图像的SRD，并且将提取的SRD提供给显示控制器295。
在步骤S213中，图像文件获取器293向Web服务器12请求从MPD处理器292提供的URL所指定的图像文件的编码流，并且获取编码流。图像文件获取器293将获取的编码流提供给解码器294。
在步骤S214中，解码器294对从图像文件获取器293提供的编码流进行解码。解码器294将作为解码处理的结果获得的拼接图像提供给显示控制器295。
在步骤S215中，显示控制器295基于从MPD处理器292提供的SRD而将来自解码器294的拼接图像的分割图像配置在画面上，将光标等叠置于画面上，并且将分割图像与叠置的光标一起提供给对其进行显示的未示出的显示设备。
在步骤S216中，接受器296确定其是否已接受到来自用户的放大画面的给定区域的指令。如果接受器296在步骤S216中确定其没有接受到来自用户的放大画面的给定区域的指令，则接受器296等待，直到其接受到放大画面的给定区域的指令为止。
如果接受器296在步骤S216中确定其已接受到来自用户的放大画面的给定区域的指令，则接受器269将放大指令提供给显示控制器295。在步骤S217中，响应于从接受器296提供的放大指令，显示控制器295将配置有拼接图像的画面中的、仅包括被指示要放大的区域中所包含的缩略图像的部分拼接图像的尺寸放大为直到画面的尺寸。
在步骤S218中，显示控制器295将光标等叠置于配置有放大的部分拼接图像的画面中的给定缩略图像上，将缩略图像与叠置的光标一起提供给对其进行显示的未示出的显示设备。此时，用户将光标移动到期望的缩略图像，并且在其上进行指示光标在画面上的位置的动作(例如，双击等)。
在步骤S219中，接受器296确定其是否已接受到来自用户的针对画面上的位置的指令。如果接受器296在步骤S219中确定其没有接受到针对画面上的位置的指令，则接受器296等待，直到其接受到针对画面上的位置的指令为止。
如果接受器296在步骤S219中确定其已接受到针对画面上的位置的指令，则接受器296将指令提供给运动图像获取器297。在步骤S220中，响应于来自接受器296的指令，运动图像获取器297从由MPD处理器292提供的MPD文件获取与指示的位置相对应的运动图像的URL。
在步骤S221中，运动图像获取器297基于获取的URL从Web服务器12等获取运动图像，并且将获取的运动图像提供给显示控制器295。
在步骤S222中，显示控制器295将从运动图像获取器297提供的运动图像提供给对其进行显示的未示出的显示设备。处理现在结束。
在第三实施方式中，在已经显示拼接图像之后显示部分拼接图像，并且由用户指示部分拼接图像上的位置。然而，部分拼接图像可以不被显示，并且可以直接由用户指示拼接图像上的位置。
<第四实施方式>
(应用了本公开内容的计算机的描述)
上述处理序列可以是硬件实现或软件实现的。如果处理序列是软件实现的，则软件程序被安装于计算机中。计算机可以是能够通过安装各种程序来执行各种功能的通用个人计算机或并入专用硬件中的计算机。
图29是示出了基于程序执行上述处理序列的计算机的硬件的配置示例的框图。
计算机900包括通过总线904彼此连接的CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903。
输入/输出接口905被连接至总线904。存在连接至输入/输出接口905的输入单元906、输出单元907、存储单元908、通信单元909和驱动器910。
输入单元906包括键盘、鼠标和麦克风等。输出单元907包括显示器和扬声器等。存储单元908包括硬盘和非易失性存储器等。通信单元909包括网络接口等。驱动器910作用于可移动介质911(例如，磁盘、光盘、磁光盘、半导体存储器等)。
在如此构造的计算机900中，例如，CPU 901通过输入/输出接口905和总线904将存储在存储单元908中的程序加载到RAM 903中，并且执行程序，以进行上述处理。
例如，由计算机900(CPU 901)运行的程序可以作为封装介质等被记录在可移动介质911上，并且由可移动介质911提供。还可以通过有线或无线传输介质(例如，局域网、因特网或数字卫星广播)来提供程序。
在计算机900中，当可移动介质911被插入到驱动器910中时，程序可以通过输入/输出接口905被安装在存储单元908中。程序还可以通过有线或无线传输介质被通信单元909接收，并且被安装在存储单元908中。程序可以替选地被预安装在ROM 902或存储单元908中。
由计算机900执行的程序可以是以上述序列按时间顺序进行处理的程序，或者可以是彼此并行地进行处理或在如被调用时的必要定时进行处理的程序。
在本说明书中，术语“系统”意味着部件(装置、模块(部)等)的集合，并且所有部件是否存在于同一个外壳中并不重要。因此，被容纳于每个外壳中且通过网络连接的多个装置以及具有被容纳于一个外壳中的多个模块的单个装置均可称为系统。
在本说明书中在上面提及的益处仅为示例性的而非限制性的，并且不排除其他益处。
本公开内容的实施方式并不限制于上述实施方式，并且可以不偏离本公开内容的范围地在其中进行各种变化。
可以按下列配置呈现本公开内容：
(1)一种信息处理装置，包括：
设置部，其将突出在画面的外侧的位置设置为与编码流对应的多个分割图像所组成的图像在画面上的位置。
(2)根据(1)所述的信息处理装置，其中，多个分割图像是构成全天球图像或全景图像的一部分的对置的端部的图像。
(3)根据(1)或(2)所述的信息处理装置，其中，设置部在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
(4)一种信息处理方法，包括：
设置步骤，其在信息处理装置中将突出在画面的外侧的位置设置为与编码流对应的多个分割图像所组成的图像在画面上的位置。
(5)一种信息处理装置，包括：
配置器，其基于被设置为与编码流对应的多个分割图像所组成的图像在画面上的位置的、突出在画面的外侧的位置，将通过对编码流进行解码而获得的图像配置在画面上。
(6)根据(5)所述的信息处理装置，其中，多个分割图像是构成全天球图像或全景图像的一部分的对置的端部的图像。
(7)根据(5)或(6)所述的信息处理装置，其中，在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
(8)一种信息处理方法，包括：
配置步骤，其在信息处理装置中基于被设置为与编码流对应的多个分割图像所组成的图像在画面上的位置的、突出在画面的外侧的位置，将通过对编码流进行解码而获得的图像配置在画面上。
(9)一种信息处理装置包括：
设置部，其将与编码流对应的多个分割图像所组成的图像的各个分割图像在画面上的位置与分割图像在该图像上的位置相关联地设置。
(10)根据(9)所述的信息处理装置，其中，该图像是全天球图像或全景图像的一部分或拼接图像。
(11)根据(9)或(10)所述的信息处理装置，其中，编码流是表示被编码为不同的块的各个分割图像的编码流。
(12)根据(9)至(11)中任一项的信息处理装置，其中，设置部在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
(13)一种信息处理方法，包括：
设置步骤，其在信息处理装置中将与编码流对应的多个分割图像所组成的图像的各个分割图像在画面上的位置与分割图像在该图像上的位置相关联地设置。
(14)一种信息处理装置包括：
配置器，其基于同与编码流对应的多个分割图像所组成的图像上的位置相关联地设置的、该图像的各个分割图像在画面上的位置，将通过对编码流进行解码而获得的该图像的各个分割图像配置在画面上。
(15)根据(14)所述的信息处理装置，其中，该图像是全天球图像或全景图像的一部分或拼接图像。
(16)根据(14)或(15)所述的信息处理装置，其中，编码流是表示被编码成不同的块的各个分割图像的编码流。
(17)根据(14)至(16)中任一项所述的信息处理装置，其中，在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
(18)一种信息处理方法，包括：
配置步骤，其在信息处理装置中基于同与编码流对应的多个分割图像所组成的图像上的位置相关联地设置的、该图像的各个分割图像在画面上的位置，将通过对编码流进行解码而获得的该图像的各个分割图像配置在画面上。
附图标记列表
11文件生成装置，14运动图像回放终端，170全天球图像，173-1左端图像，173-2右端图像，180画面，195配置器，211文件生成装置，250拼接图像，251至254缩略图像。

Claims (18)

1.一种信息处理装置，包括：
设置部，其将突出在画面的外侧的位置设置为与编码流对应的多个分割图像所组成的图像在画面上的位置。
2.根据权利要求1所述的信息处理装置，其中，多个分割图像是构成全天球图像或全景图像的一部分的对置的端部的图像。
3.根据权利要求1所述的信息处理装置，其中，设置部在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
4.一种信息处理方法，包括：
设置步骤，其在信息处理装置中将突出在画面的外侧的位置设置为与编码流对应的多个分割图像所组成的图像在画面上的位置。
5.一种信息处理装置，包括：
配置器，其基于被设置为与编码流对应的多个分割图像所组成的图像在画面上的位置的、突出在画面的外侧的位置，将通过对编码流进行解码而获得的图像配置在画面上。
6.根据权利要求5所述的信息处理装置，其中，多个分割图像是构成全天球图像或全景图像的一部分的对置的端部的图像。
7.根据权利要求5所述的信息处理装置，其中，在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
8.一种信息处理方法，包括：
配置步骤，其在信息处理装置中基于被设置为与编码流对应的多个分割图像所组成的图像在画面上的位置的、突出在画面的外侧的位置，将通过对编码流进行解码而获得的图像配置在画面上。
9.一种信息处理装置包括：
设置部，其将与编码流对应的多个分割图像所组成的图像的各个分割图像在画面上的位置与分割图像在该图像上的位置相关联地设置。
10.根据权利要求9所述的信息处理装置，其中，该图像是全天球图像或全景图像的一部分或拼接图像。
11.根据权利要求9所述的信息处理装置，其中，编码流是表示被编码为不同的块的各个分割图像的编码流。
12.根据权利要求9的信息处理装置，其中，设置部在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
13.一种信息处理方法，包括：
设置步骤，其在信息处理装置中将与编码流对应的多个分割图像所组成的图像的各个分割图像在画面上的位置与分割图像在该图像上的位置相关联地设置。
14.一种信息处理装置包括：
配置器，其基于同与编码流对应的多个分割图像所组成的图像上的位置相关联地设置的、该图像的各个分割图像在画面上的位置，将通过对编码流进行解码而获得的该图像的各个分割图像配置在画面上。
15.根据权利要求14所述的信息处理装置，其中，该图像是全天球图像或全景图像的一部分或拼接图像。
16.根据权利要求14所述的信息处理装置，其中，编码流是表示被编码成不同的块的各个分割图像的编码流。
17.根据权利要求14所述的信息处理装置，其中，在用于管理编码流的文件的管理文件中设置图像在画面上的位置。
18.一种信息处理方法，包括：
配置步骤，其在信息处理装置中基于同与编码流对应的多个分割图像所组成的图像上的位置相关联地设置的、该图像的各个分割图像在画面上的位置，将通过对编码流进行解码而获得的该图像的各个分割图像配置在画面上。
CN201680032810.2A 2015-06-12 2016-05-30 信息处理装置以及信息处理方法 Active CN107637082B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015119360 2015-06-12
JP2015-119360 2015-06-12
PCT/JP2016/065865 WO2016199607A1 (ja) 2015-06-12 2016-05-30 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
CN107637082A true CN107637082A (zh) 2018-01-26
CN107637082B CN107637082B (zh) 2021-03-12

Family

ID=57503950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032810.2A Active CN107637082B (zh) 2015-06-12 2016-05-30 信息处理装置以及信息处理方法

Country Status (9)

Country Link
US (2) US10313728B2 (zh)
EP (1) EP3310061A4 (zh)
JP (1) JP6807032B2 (zh)
KR (1) KR20180018522A (zh)
CN (1) CN107637082B (zh)
CA (1) CA2985329A1 (zh)
MX (2) MX2017015340A (zh)
RU (1) RU2718118C2 (zh)
WO (1) WO2016199607A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186272A1 (ja) * 2017-04-04 2018-10-11 シャープ株式会社 再生装置、生成装置、再生システム、プログラム、記録媒体及び再生方法
GB2563865A (en) * 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
US11184420B2 (en) 2020-01-06 2021-11-23 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11228796B2 (en) * 2020-01-07 2022-01-18 Tencent America LLC Pattern addressing for session-based dash operations
US11520848B2 (en) * 2021-01-06 2022-12-06 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11895172B2 (en) * 2021-04-21 2024-02-06 Tencent America LLC Session-based description URL customization using the session-based DASH operations

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN102209241A (zh) * 2011-05-25 2011-10-05 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
CN103141079A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN103155538A (zh) * 2010-10-05 2013-06-12 索尼电脑娱乐公司 图像显示装置及图像显示方法
CN103561261A (zh) * 2013-10-12 2014-02-05 重庆邮电大学 基于视觉注意的全景可定位视频编码方法
CN103905761A (zh) * 2012-12-26 2014-07-02 株式会社理光 图像处理系统和图像处理方法
CN104365083A (zh) * 2012-06-06 2015-02-18 索尼公司 图像处理装置、图像处理方法以及程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
BRPI0709260A2 (pt) * 2006-03-31 2011-06-28 Koninkl Philips Electronics Nv método para renderizar conteúdo de imagem, aplicativo incorporado em um meio legìvel por computador, processador para renderizar conteúdo de imagem, sinal de imagem auxiliar, e, método para gerar dados auxiliares para exibir elementos em um mostrador secundário em uma vizinhança de um mostrador primário
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN103141079A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN103155538A (zh) * 2010-10-05 2013-06-12 索尼电脑娱乐公司 图像显示装置及图像显示方法
CN102209241A (zh) * 2011-05-25 2011-10-05 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
CN104365083A (zh) * 2012-06-06 2015-02-18 索尼公司 图像处理装置、图像处理方法以及程序
CN103905761A (zh) * 2012-12-26 2014-07-02 株式会社理光 图像处理系统和图像处理方法
CN103561261A (zh) * 2013-10-12 2014-02-05 重庆邮电大学 基于视觉注意的全景可定位视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRANCK DENOUAL等: "Interactive ROI streaming with DASH", 《MPEG2013/M29232 INCHEON》 *

Also Published As

Publication number Publication date
CN107637082B (zh) 2021-03-12
CA2985329A1 (en) 2016-12-15
RU2718118C2 (ru) 2020-03-30
US10757463B2 (en) 2020-08-25
US10313728B2 (en) 2019-06-04
RU2017142308A3 (zh) 2019-06-14
EP3310061A1 (en) 2018-04-18
JPWO2016199607A1 (ja) 2018-03-29
US20190222881A1 (en) 2019-07-18
JP6807032B2 (ja) 2021-01-06
EP3310061A4 (en) 2018-12-12
MX2020002592A (es) 2020-10-22
WO2016199607A1 (ja) 2016-12-15
KR20180018522A (ko) 2018-02-21
US20180098107A1 (en) 2018-04-05
MX2017015340A (es) 2018-04-11
RU2017142308A (ru) 2019-06-05

Similar Documents

Publication Publication Date Title
CN107637082A (zh) 信息处理装置以及信息处理方法
US11272159B2 (en) Method and device for transmitting stereo media content
US10880535B2 (en) Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
CN108271044B (zh) 一种信息的处理方法及装置
CN108965929B (zh) 一种视频信息的呈现方法、呈现视频信息的客户端和装置
CN107683607A (zh) 信息处理设备和信息处理方法
CN109691123A (zh) 用于受控观察点和取向选择视听内容的方法和装置
US10965928B2 (en) Method for 360 video processing based on multiple viewpoints and apparatus therefor
CN111727605B (zh) 用于发送和接收关于多个视点的元数据的方法及设备
EP3804342A1 (en) Method, device, and computer program for transmitting media content
CN109587478A (zh) 一种媒体信息的处理方法及装置
CN107710768A (zh) 信息处理设备和信息处理方法
JP2020520161A (ja) 領域（ｒｅｇｉｏｎ）ベースの３６０度ビデオを送信する方法、領域ベースの３６０度ビデオを受信する方法、領域ベースの３６０度ビデオ送信装置、領域ベースの３６０度ビデオ受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant