CN113574899A - 信息处理装置、信息处理方法、再现处理装置和再现处理方法 - Google Patents

信息处理装置、信息处理方法、再现处理装置和再现处理方法 Download PDF

Info

Publication number
CN113574899A
CN113574899A CN202080020933.0A CN202080020933A CN113574899A CN 113574899 A CN113574899 A CN 113574899A CN 202080020933 A CN202080020933 A CN 202080020933A CN 113574899 A CN113574899 A CN 113574899A
Authority
CN
China
Prior art keywords
viewport
information
ring group
ring
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080020933.0A
Other languages
English (en)
Inventor
山岸靖明
高林和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113574899A publication Critical patent/CN113574899A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供一种减少提供内容时的处理负荷的信息处理装置、信息处理方法、再现处理装置以及再现处理方法。MPD生成单元生成按单位区域划分的图像的MPD。元数据生成单元基于指示与MPD和基准视线方向中心对应的每个预定优先级的视线方向的视口信息,通过将与由每个视口信息指定的每个优先级的规定区域对应的适配集进行分组,并且将与按单位区域确定的规定区域的每个周边区域对应的适配集分组,来生成每个视口环,通过基于基准视线方向中心而将视口环进行分组,来生成视口环组,并且通过列出多个视口环组的信息,来生成视口环组列表。

Description

信息处理装置、信息处理方法、再现处理装置和再现处理方法
技术领域
本发明涉及信息处理装置、信息处理方法、再现处理装置和再现处理方法。
背景技术
近年来,存在如下担忧:由于已迅速普及的移动装置上的流式观看,云上的处理负荷增加。响应于这样的担忧,作为减轻云上的处理负荷的措施之一,注意力集中在通过使用利用网络的边缘计算、分布并且布置在网络的边缘处的计算、存储资源等对流式服务的负荷的分发。执行边缘计算的边缘服务器响应于来自客户端装置的请求而从作为布置在云的中心部分中的中心云中的信息提供者的源服务器获取数据,并且将数据提供给客户端装置。
此处,存在如下限制:边缘计算中的单个边缘服务器的各种资源小于云的中心部分中的中心云的资源。因此,存在资源的布置、选择等变得复杂的可能性,这导致管理成本的增加。因此,随着诸如所谓的4K和8K的高清晰度内容以及针对全天球高清晰度内容的流式服务在将来变得更普及,需要建立一种用于高效地操作各种资源并高效地利用这样的边缘计算中的传输频带的机制。
基于这样的请求,已经进行了关于如何在传输中提供诸如虚拟现实(VR)流的内容数据的讨论,这考虑了减少不必要的数据获取和优化视口。基于这样的讨论,出于改善VR流式体验的目的,已经提出了以较小的单位准备和提供数据的技术。
例如,出于改善视口图像质量的目的,准备了同时针对尽可能多的视口优化的数据。例如,对于水平方向上的+/-105度和垂直方向上的+/-90度的视点区域,准备了视线方向逐渐偏移的水平方向上的+/-65度和垂直方向上的+/-50度的5×5个单位视口,以用于平滑的视口转变。
引文列表
非专利文献
非专利文献1:“ISO/IEC 23090-2”,工作草案4——信息技术——沉浸式媒体的编码表示——第2部分:全向媒体格式
非专利文献2:“ISO/IEC 23009-1”,信息技术——HTTP(DASH)上的动态自适应流传输——第1部分:媒体表示描述和格式
发明内容
本发明要解决的问题
然而,在如以上所描述的那样精细地设置视口的情况下,仅从客户端装置请求的与视口对应的数据中选择要获取的数据对于边缘处的服务器而言是繁琐且困难的处理。然后,在分别获取每个细分数据的情况下,生成大量获取请求,这增加了处理开销。
因此,本公开内容的目的是提供减轻提供内容时的处理负荷的信息处理装置、信息处理方法、再现处理装置和再现处理方法。
问题的解决方案
根据本公开内容,媒体呈现描述(MPD)生成单元生成按单位区域划分的图像的MPD。元数据生成单元通过基于由MPD生成单元生成的MPD以及指示与基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息,将与由每个视口信息指定的优先级中的每一个的预定区域对应的适配集(AdaptationSet)分组并且将与按单位区域确定的预定区域的每个周围区域对应的适配集分组,来生成视口环中的每一个,通过基于基准视线方向的中心将视口环分组来生成视口环组,并且通过列出关于多个视口环组的信息来生成视口环组列表。
附图说明
图1是分发系统的示例的系统配置图。
图2是用于示出全天球图像的示例的图。
图3是示出一个重要性级别的视口环组的图。
图4是示出两个重要性级别的视口环组的图。
图5是示出三个重要性级别的视口环组的图。
图6是用于示出通过使用差异来表示三个重要性级别的视口环的情况的图。
图7是示出在通过使用差异来表示由三个重要性级别的视口环构成的视口环组的情况下的语法的示例的图。
图8是示出在通过使用差异来表示包括两个重要性级别的左侧的视口环的视口环组的情况下的语法的示例的图。
图9是示出在通过使用差异来表示包括两个重要性级别的右侧的视口环的视口环组的情况下的语法的示例的图。
图10是示出在通过使用差异来包括表示两个重要性级别的左侧、中心和右侧的视口环的视口环组的情况下的语法的示例的图。
图11是示出不能将覆盖范围的边界表达为恒定角度的整数倍的情况的图。
图12是示出在不能将覆盖范围的边界表达为恒定角度的整数倍的情况下的指示视口环组的语法的示例的图。
图13是示出可以将覆盖范围的边界表达为恒定角度的整数倍的情况的图。
图14是示出在可以将覆盖范围的边界表达为恒定角度的整数倍的情况下的指示视口环组的语法的示例的图。
图15是根据第一实施方式的使用视口环的内容分发处理的序列图。
图16是根据第二实施方式的使用视口环的内容分发处理的序列图。
图17是示出根据第三实施方式的分段数据获取处理的序列图。
图18是示出根据第三实施方式的对分段数据集请求的响应的示例的图。
图19是示出根据第三实施方式的修改示例(1)的分段数据获取处理的序列图。
图20是示出根据第三实施方式的修改示例(2)的分段数据获取处理的序列图。
图21是示出根据第三实施方式的修改示例(3)的分段数据获取处理的序列图。
图22是根据第三实施方式和第三实施方式的每个修改例的使用视口环的内容分发处理的序列图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的实施方式。注意,在以下每个实施方式中,相同的部分由相同的附图标记表示,并且将省略重复的描述。注意,本技术中公开的范围不限于实施方式的内容,而是还包括在提交时已知的以下非专利文献中描述的内容。
非专利文献1:(以上所描述的)
非专利文献2:(以上所描述的)
非专利文献3:“ISO/IEC 14496-12:2015”,信息技术.视听对象的编码,第12部分
非专利文件4:“ISO/IEC 23090-8”,工作草案4-信息技术——信息技术——沉浸式媒体的编码表示——第8部分:用于网络媒体处理的接口
在上述非专利文献中描述的内容也通过引用并入本文。即,上述非专利文献中描述的内容也是确定支持要求的基础。例如,即使在本发明的详细描述中没有直接描述在非专利文献1中描述的“文件结构”中使用的术语和在非专利文献2中描述的MPEG-DASH标准的情况下,这些术语也包括在本技术的公开内容的范围内,并且满足权利要求的支持要求。此外,以类似的方式,即使在本发明的详细描述中未直接描述诸如解析、语法和语义的技术术语的情况下,这样的技术术语也包括在本技术的公开内容的范围内,并且满足权利要求的支持要求。
此外,将按照以下描述的项的顺序来描述本公开内容。
1.第一实施方式
2.第二实施方式
3.第三实施方式
3.1第三实施方式的修改例(1)
3.2第三实施方式的修改例(2)
3.3第三实施方式的修改例(3)
(1.第一实施方式)
源服务器生成用于分发诸如6DoF内容的视频内容数据的分段数据和媒体演示描述(MPD)文件。分段数据是其中内容通过时间的单位划分的文件。MPD文件存储适配集,该适配集包含媒体类型、运动图像和声音的份段数据的再现时间、地址信息等。在观看流等的情况下,客户端装置发送对要使用的内容的发送请求。之后,将MPD文件发送至客户端装置。客户端装置分析MPD文件,选择要使用的内容流,并且做出获取请求。一个流包含在再现该流时使用的多个适配集。
出于提高视口图像质量的目的,准备了同时针对尽可能多的视口优化的数据。此外,一个视口可以由一个适配集构成。然而,在那种情况下,难以以细粒度优先地获取和呈现最小区域的数据。因此,通常情况是,一个视口由尽可能多的适配集构成。因此,存在随着视口数量的增加适配集的数量呈指数增加的可能性。
在这样的环境中,在从上游获取与特定视口对应的数据的情况下,客户端装置解析MPD中的大量适配集,并且然后向边缘服务器发送请求以从源服务器获取与大量适配集对应的数据。以这种方式,由客户端装置执行的处理变得繁琐,并且存在内容获取处理中的开销可能增加的可能性。
此外,为了迅速响应来自客户端装置的请求,边缘服务器执行预取,在该预取中,预先从源服务器获取与由客户端装置指定的视口对应的数据。然而,在执行预取的情况下,边缘服务器解析在由客户端装置的下属组处理的单个MPD中的大量的适配集,并且然后从源服务器获取与来自客户端装置的视口信息对应的数据。以这种方式,同样在边缘服务器中,处理也以类似的方式变得繁琐,并且存在内容获取处理中的开销可能增加的可能性。
此外,在发送请求时尽可能地减少不必要的数据需要客户端装置发送针对与通过细分内容数据获得的数据对应的适配集中的每一个的获取请求。因此,存在内容获取处理中的开销可能进一步增加的可能性。
[根据第一实施方式的系统配置]
图1是分发系统的示例的系统配置图。分发系统100包括源服务器1、边缘服务器2和客户端装置3。源服务器1和边缘服务器2经由作为第一网络的核心网络连接。客户端装置3和边缘服务器2通过诸如局域网的第二网络连接。
源服务器1生成视频内容和MPD文件的分段数据。此外,源服务器1生成用于再现内容的元数据,并将元数据添加到MPD文件。该元数据包含用于标识一组视口的视口组元数据。然后,源服务器1在边缘服务器2可以访问分段文件和MPD文件的状态下存储分段文件和MPD文件。
边缘服务器2缓存可能由客户端装置3使用的MPD文件。此后,边缘服务器2从客户端装置3接收内容获取请求,并且将指定的内容的MPD文件发送至客户端装置3。此时,如果要提供的MPD文件已被缓存在边缘服务器2中,则边缘服务器2提供MPD文件。如果未缓存MPD文件,则边缘服务器2向源服务器发送获取请求以获取要使用的MPD文件,并且将该MPD文件提供给客户端装置3。此后,边缘服务器2根据视点移动从客户端装置3接收视口度量,并且根据所获取的视图度量来识别可能使用的分段数据。然后,边缘服务器2从源服务器1获取所识别的分段数据,并且预取分段数据。之后,边缘服务器2从客户端装置3接收分段数据获取请求,并且将所请求的分段数据发送至客户端装置3。
客户端装置3向边缘服务器2发送获取要使用的6DoF内容的请求。响应于该请求,客户端装置3从边缘服务器2接收MPD文件。此后,客户端装置3从MPD文件中识别要使用的流,并且通过使用包含在流中的适配集来获取并再现全天球分段数据。此后,客户端装置3检测视线的移动,并且根据视线的移动获取并再现分段数据。
[源服务器配置]
接下来,将描述源服务器1的细节。如图1所示,源服务器1具有分段处理单元11、元数据生成单元12和web服务器13。
分段处理单元11具有数据生成单元111和MPD生成单元112。分段处理单元11接收源信息的输入,该源信息的输入用于生成包含三维对象、元信息等的内容。
数据生成单元111根据源信息确定比特流配置,并且通过使用关于对内容的比特流的访问的信息来生成场景图形。然后,数据生成单元111通过例如对比特流或场景描述执行编码处理并将编码后的比特流或场景描述以ISO基础媒体文件格式(ISOBMFF)存储来生成分段数据。然后,数据生成单元111将所生成的分段数据上传至web服务器13。
MPD生成单元112基于关于三维对象的再现时间的信息和关于对对比特流的访问的信息,根据源信息创建适配集,并且使用所创建的适配集来生成MPD文件。然后,MPD生成单元112将生成的MPD文件输出至元数据生成单元12。
元数据生成单元12从MPD生成单元112接收MPD文件的输入。元数据生成单元12生成元数据,例如关于对每个MPD文件的适配集的访问的信息。
此外,元数据生成单元12具有视口环组元数据生成单元121。视口环组元数据生成单元121基于存储在MPD文件中的信息来生成视口环和视口环组信息。视口环是关于指示预先设置的视线方向(视口)的视口以及与围绕视线方向(视口)的每个区域的一个对应的适配集组的信息。此外,视口环组是包含视口汇集的信息,该视口汇集被分层,使得区域从每个视口的中心扩展到周围。然后,元数据生成单元12生成视口环组列表,在该视口环组列表中列出了关于视口环和视口环组的信息。
下面将描述视口环和视口环组的细节。图2是用于示出全天球图像的示例的图。
全天球图像401对应于传送至围绕中心的立方空间的每个表面的视频,并且是通过将从中心观看的视频划分为六个部分获得的视频。在全天球图像401中,纸的上部中心的图像411对应于视线方向上的图像。然后,视线方向图像402是包括视线方向上的图像411和全天球图像401中的图像411周围的90度范围的图像。视线方向图像402的视口的中心对应于“基准视线方向的中心”的示例。
从全天球图像401延伸到视线方向图像402的箭头表示对应的侧面。图像411是包括视口的中心的图像,并且对应于图像421。图像412是向左多达90度的图像,并且对应于图像422。图像413是向下多达90度的图像,并且对应于图像423。图像414是向上多达90度的图像,并且对应于图像425。图像415是向右多达90度的图像,并且对应于图像424。
在视线方向图像402中,预先分配了根据重要性的区域451至453。由虚线包围的区域451是靠近视口的中心的区域,并且是高重要性的区域。由长短交替的虚线包围的区域452是中等重要性的区域,其距视口的中心一定距离。由交替的一长两短虚线包围的区域453是远离视口的中心且接近视场的极限的低重要性的区域。根据重要性指示区域451至453的信息对应于“视口信息”的示例。
全天球图像401被划分成作为单位区域的瓦片450,并且以立方体图(cube map)格式表示。瓦片布置403表示在视线方向图像402由瓦片450划分的情况下每个瓦片450的布置状态。在视线方向图像402中,包括在区域451至453中的每一个中的瓦片450是可见的。
瓦片布置404是示出在将全天球图像401划分成瓦片的情况下,包括在视线方向图像402中的每个瓦片450被布置在何处的图像。瓦片布置403和瓦片布置404中的每个瓦片450被编号,并且具有相同编号的瓦片450表示相同的瓦片450。传送至瓦片450的区域的图像被称为子图片。一个瓦片450中的图像由一个适配集表示。在下文中,将使用图2中的图像作为示例来描述视口环。
首先,将描述由一个重要性级别的视口环构成视口环组的情况。在不需要将视口环分类为级别的情况下,视口环组元数据生成单元121使用由一个重要性级别构成的视口环组。
在这种情况下,视口环组元数据生成单元121根据针对高重要性的区域的视线角度的变化来生成视口环。关于以视口的中心为中心的高重要性区域,视口环组元数据生成单元121针对按单位区域确定的周围区域生成视口环。图3是示出一个重要性级别的视口环组的图。例如,视口环组元数据生成单元121生成图3所示的视口环501至505。
视口环503是包含适配集的汇集(collection)的信息,该适配集的汇集表示从视线方向图像402的视口的中心起在上下45度和左右45度的范围内的瓦片450。即,视口环503表示视线方向图像402中的高重要性区域中包括的瓦片450的适配集的集合(set)。包括在视口环503中的瓦片450表示与视线方向图像402中的图像513对应的图像。
视口环502是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下45度的范围内的瓦片450以及从向左移动63.5度的位置到向右移动26.5度的位置的范围内的瓦片450。即,视口环502表示在视口的中心处于从视线方向图像402中的视口的中心起向左偏移26.5度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。包括在视口环502中的瓦片450表示与视线方向图像402中的图像512对应的图像。
视口环501是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下45度的范围内的瓦片450以及从向左移动90度的位置到向右移动0度的位置的范围内的瓦片450。即,视口环501表示在视口的中心处于从视线方向图像402中的视口的中心起向左偏移45度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。包括在视口环501中的瓦片450表示与视线方向图像402中的图像511对应的图像。
视口环504是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下45度的范围内的瓦片450以及从向左移动26.5度的位置到向右移动63.5度的位置的范围内的瓦片450。即,视口环502表示在视口的中心处于从视线方向图像402中的视口的中心起向右偏移26.5度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。包括在视口环504中的瓦片450表示与视线方向图像402中的图像514对应的图像。
视口环505是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下45度的范围内的瓦片450以及从向左移动0度的位置到向右移动90度的位置的范围内的瓦片450。即,视口环501表示在视口的中心处于从视线方向图像402中的视口的中心起向右偏移45度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。包括在视口环505中的瓦片450表示与视线方向图像402中的图像515对应的图像。
图3示出了视线方向向左和向右偏移的情况下的视口环,并且同样适用于视线方向向上和向下偏移的情况。此外,视口的中心偏移的角度不限于该角度。
接下来,将描述由两个重要性级别的视口环构成视口环组的情况。在视口环被加权并且分类成两个级别的情况下,视口环组元数据生成单元121使用由两个重要性级别构成的视口环组。视口环组元数据生成单元121假设视口环组中包括的视口环中的一个级别比另一级别重要。
在这种情况下,视口环组元数据生成单元121根据针对以下两个区域的视线角度生成视口环:高重要性区域和中等重要性区域。图4是示出两个重要性级别的视口环组的图。例如,视口环组元数据生成单元121生成图4所示的视口环521至526。
视口环523是包含适配集的汇集(collection)的信息,该适配集的汇集表示从视线方向图像402的视口的中心起在上下45度和左右45度的范围内的瓦片450。即,视口环523表示视线方向图像402中的高重要性区域中包括的瓦片450的适配集的集合(set)。
此外,视口环524是包含适配集的汇集的信息,该适配集的汇集表示从视线方向图像402的视口的中心起在上下63.5度和左右63.5度的范围内的瓦片450。即,视口环524表示视线方向图像402中的中等重要性区域中包括的瓦片450的适配集的集合。包括在视口环524中的瓦片450表示与视线方向图像402中的图像532对应的图像。
视口环521是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下45度的范围内的瓦片450以及从向左移动63.5度的位置到向右移动26.5度的位置的范围内的瓦片450。即,视口环521表示在视口的中心处于从视线方向图像402中的视口的中心起向左偏移26.5度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。即,视口环521表示在视口的中心处于从视线方向图像402中的视口的中心起向左偏移26.5度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。
此外,视口环522是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下63.5度的范围内的瓦片450以及从向左移动90度的位置到向右移动45度的位置的范围内的瓦片450。即,视口环522表示在视口的中心处于从视线方向图像402中的视口的中心起向左偏移26.度的方向上的情况下,包括在中等重要性区域中的瓦片450的适配集的集合。包括在视口环522中的瓦片450表示与视线方向图像402中的图像531对应的图像。
视口环525是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下45度的范围内的瓦片450以及从向左移动26.5度的位置到向右移动63.5度的位置的范围内的瓦片450。即,视口环525表示在视口的中心处于从视线方向图像402中的视口的中心起向右偏移26.5度的方向上的情况下,包括在高重要性区域中的瓦片450的适配集的集合。
此外,视口环526是包含适配集的汇集,该适配集的汇集表示从视线方向图像402中的视口的中心起上下63.5度的范围内的瓦片450以及从向左移动45度的位置到向右移动90度的位置的范围内的瓦片450。即,视口环526表示在视口的中心处于从视线方向图像402中的视口的中心起向右偏移26.度的方向上的情况下,包括在中等重要性区域中的瓦片450的适配集的集合。包括在视口环526中的瓦片450表示与视线方向图像402中的图像533对应的图像。
相同级别的视口环包括相同数量的瓦片450。即,视口环522、524和526包括相同数量的瓦片450。图4示出了视线方向向左和向右偏移的情况下的视口环,并且同样适用于视线方向向上和向下偏移的情况。此外,视口的中心偏移的角度不限于该角度。
接下来,将描述由三个重要性级别的视口环构成视口环组的情况。在视口环被加权并且分类成三个级别的情况下,视口环组元数据生成单元121使用由三个重要性级别构成的视口环组。视口环组元数据生成单元121将三个不同的重要性级别中的一个分配给包括在视口环组中的三个级别的视口环中的每个。
在这种情况下,视口环组元数据生成单元121根据针对以下三个区域的视线角度生成视口环:高重要性区域、中等重要性区域和低重要性区域。图5是示出三个重要性级别的视口环组的图。例如,视口环组元数据生成单元121生成图5所示的视口环541至543。
视口环541是包含适配集的汇集(collection)的信息,该适配集的汇集表示从视线方向图像402的视口的中心起在上下45度和左右45度的范围内的瓦片450。即,视口环541表示视线方向图像402中的高重要性区域中包括的瓦片450的适配集的集合(set)。
此外,视口环542是包含适配集的汇集的信息,该适配集的汇集表示从视线方向图像402的视口的中心起在上下63.5度和左右63.5度的范围内的瓦片450。即,视口环542表示视线方向图像402中的中等重要性区域中包括的瓦片450的适配集的集合。
此外,视口环543是包含适配集的汇集的信息,该适配集的汇集表示从视线方向图像402的视口的中心起在上下90度和左右90度的范围内的瓦片450。即,视口环543表示视线方向图像402中的低重要性区域中包括的瓦片450的适配集的集合。包括在视口环543中的瓦片450表示与视线方向图像402中的图像551对应的图像。
图5示出了视线方向图像402的视口的中心在视线方向上并且视口环组元数据生成单元121还生成其中视线以图3和图4中的方式类似的方式移动的视口环的情况的示例。
此外,视口环组元数据生成单元121可以通过使用差异来表示每个级别的每个视口环。图6是用于示出通过使用差异来表示三个重要性级别的视口环的情况的图。
以类似于图5的方式,将描述创建视线方向图像402中的高重要性区域的视口环541、中等重要性区域的视口环542和低重要性区域的视口环543。
在这种情况下,视口环组元数据生成单元121针对视口环541包括表示在该区域中包括的所有瓦片450的适配集。接下来,对于视口环542,视口环组元数据生成单元121生成差异视口环561,该差异视口环561是相对于视口环541在顶部侧的差异。以类似的方式,视口环组元数据生成单元121生成作为右侧的差异的差异视口环562、作为底部侧的差异的差异视口环563以及作为左侧的差异的差异视口环564。此处,如在面向纸平面的方向上观看的顶部、底部、左和右用于表达。然后,视口环组元数据生成单元121通过将差异视口环561至564添加到视口环541来表示视口环542。
此外,对于视口环543,视口环组元数据生成单元121生成差异视口环571,该差异视口环571是相对于视口环542在顶部侧的差异。以类似的方式,视口环组元数据生成单元121生成作为右侧的差异的差异视口环572、作为底部侧的差异的差异视口环573以及作为左侧的差异的差异视口环574。然后,视口环组元数据生成单元121通过将差异视口环561至564和571至574添加到视口环541来表示视口环543。
例如,视口环组元数据生成单元121将高重要性设置为级别0,将中等重要性设置为级别1,并且将低重要性设置为级别2。然后,视口环组元数据生成单元121如在语法581中那样表示视口环541连同重要性。此外,如语法582中那样,视口环组元数据生成单元121通过使用相对于视口环541的位置和重要性来表示差异视口环561,该差异视口环573是视口环542的顶部侧的差异。此外,如语法583中那样,视口环组元数据生成单元121通过使用相对于视口环541的位置和重要性来表示差异视口环573,该差异视口环573是视口环543的底部侧的差异。
以这种方式,视口环组元数据生成单元121可以通过使用视口环之间的差异来表示重要性上不同的每个视口环。通过使用差异来表达每个视口环使得可以避免在客户端装置3中重复获取适配集。
图7是示出在通过使用差异来表示由三个重要性级别的视口环构成的视口环组的情况下的语法的示例的图。视口环组元数据生成单元121使用图7所示的语法来生成MPD文件,该MPD文件表示由三个重要性级别的视口环构成的视口环组。
图7中的行601表示在不同视线方向中的每个方向上的高重要性区域的视口环,其包括图6中的视口环541。此外,行602表示每个不同的视线方向上的中等重要性区域与高重要性区域之间的差异,其包括图6中的视口环542与视口环541之间的差异。行611表示在不同的视线方向中的每个方向上相对于高重要性区域在左侧的差异视口环,其包括图6中的差异视口环564。行612表示在不同视线方向中的每个方向上相对于高重要性区域在顶部侧的差异视口环,其包括图6中的差异视口环561。行613表示在不同视线方向中的每个方向上相对于高重要性区域在右侧的差异视口环,其包括图6中的差异视口环562。行614表示在不同的视线方向中的每个方向上相对于高重要性区域在左侧的差异视口环,其包括图6中的差异视口环563。
此外,行603表示每个不同的视线方向上的低重要性区域与中等重要性区域之间的差异,其包括图6中的视口环543与视口环542之间的差异。行615表示在不同视线方向中的每个方向上相对于中等重要性区域在左侧的差异视口环,其包括图6中的差异视口环574。行616表示在不同视线方向中的每个方向上相对于中等重要性区域在顶部侧的差异视口环,其包括图6中的差异视口环571。行617表示在不同视线方向中的每个方向上相对于中等重要性区域在右侧的差异视口环,其包括图6中的差异视口环572。行618表示在不同视线方向中的每个方向上相对于中等重要性区域在底部侧的差异视口环,其包括图6中的差异视口环573。
接下来,将描述在使用两个重要性级别的情况下的MPD文件的语法。图8是示出在通过使用差异来表示包括两个重要性级别的左侧的视口环的视口环组的情况下的语法的示例的图。视口环组元数据生成单元121使用图8所示的语法来生成表示视口环组的MPD文件,该视口环组是两个重要性级别的视环并且包括图4的左侧的视口环522。
图8中的行606表示在不同视线方向中的每个方向上的高重要性区域的视口环,其包括图4中的视口环521。此外,行607表示每个不同的视线方向上的中等重要性区域与高重要性区域之间的差异,其包括图4中的视口环521与视口环522之间的差异。行631表示在不同视线方向中的每个方向上相对于中等重要性区域在左侧的差异视口环,其包括图4中的具有编号01-03、01-07、01-11和01-15的瓦片450。行632表示在不同视线方向中的每个方向上相对于中等重要性区域在顶部侧的差异视口环,其包括图4中的编号06-04、06-08、06-12、06-15和06-16。行633表示在不同视线方向中的每个方向上相对于中等重要性区域在右侧的差异视口环,其包括图4中的编号02-04、02-08、02-12和02-16。行634表示在不同视线方向中的每个方向上相对于中等重要性区域在底部侧的差异视口环,其包括图4中的编号04-01、04-05、04-09、04-13和04-14。
此外,图9是示出在通过使用差异来表示包括两个重要性级别的右侧的视口环的视口环组的情况下的语法的示例的图。视口环组元数据生成单元121使用图9所示的语法来生成表示视口环组的MPD文件,该视口环组是两个重要性级别的视环并且包括图4的右侧的视口环526。
图9中的行604表示在不同视线方向中的每个方向上的高重要性区域的视口环,其包括图4中的视口环525。此外,行605表示每个不同的视线方向上的中等重要性区域与高重要性区域之间的差异,其包括图4中的视口环526与视口环525之间的差异。行621表示在不同视线方向中的每个方向上相对于中等重要性区域在左侧的差异视口环,其包括图4中的具有编号02-01、02-05、02-09和02-13的瓦片450。行622表示在不同视线方向中的每个方向上相对于中等重要性区域在顶部侧的差异视口环,其包括图4中的编号06-03、06-04、06-08、06-12和06-16。行623表示在不同视线方向中的每个方向上相对于中等重要性区域在右侧的差异视口环,其包括图4中的编号03-02、03-06、03-10和03-14。行624表示在不同视线方向中的每个方向上相对于中等重要性区域在左侧的差异视口环,其包括图4中的编号04-01、04-02、04-05、04-09和04-13。
此外,图10是示出在通过使用差异来表示包括两个重要性级别的左侧、中心和右侧的视口环的视口环组的情况下的语法的示例的图。在视线方向从视口的中心偏移的视口环被集合为一组的情况下,视口环组元数据生成单元121以一种语法集体地描述视线方向如图10所示的那样偏移的位置处的视口环。这允许视口环组元数据生成单元121将在视线方向偏移的情况下的视口环集合为一组。
接下来,将描述视口环组列表。视口环组元数据生成单元121通过使用从MPD生成单元112获取的MPD文件、确定的视口环和视口环组信息来生成视口环组列表。然后,在本实施方式中,视口环组元数据生成单元121将视口环组列表存储在MPD文件中。然而,视口环组列表的存储位置不限于此,并且视口环组元数据生成单元121可以将视口环组列表存储为独立文件而不将其存储在MPD文件中。
将描述在视口环中包括的适配集的覆盖范围的边界不能表达为恒定角度的整数倍的情况。图11是示出不能将覆盖范围的边界表达为恒定角度的整数倍的情况的图。图11中的视线箭头651指示朝向视口的中心的视线方向。在不能将适配集的覆盖范围的边界表达为恒定角度的整数倍的情况下,视线箭头651之间的角度彼此不同。因此,视口环组元数据生成单元121在视口环组列表中存储视线已从视口的中心水平移动的角度652作为每个视口环组的视点角度。
图12是示出在不能将覆盖范围的边界表达为恒定角度的整数倍的情况下的指示视口环组的语法的示例的图。在视口环中包括的适配集的覆盖范围的边界不能表达为恒定角度的整数倍的情况下,视口环组元数据生成单元121限定视口环组列表结构,如图12所示的语法中那样。
在图12中,vpCenterRotations表示从视线方向朝向每个视口环组的视口的中心的水平移动角度。具体地,对于左方向和右方向中的每一个,相对于视口的中心的角度表达为-45度、-26.5度、0度、26.5度和45度。此外,vpCenterRotations的下一行中的OMAFAttributes是可选参数。在存在要使用的任何OMAF属性(例如,内容覆盖范围信息(CC)、投影类型或打包类型)的情况下,可以利用该参数添加这样的信息。
此外,视口环组列表具有以下视口环组元素。此处,将描述视口的中心在水平方向上转动的情况,即不存在仰角的变化的情况作为示例。在图12中,id是全局唯一视口环组标识符,并且例如由统一资源定位符(URL)表示。
vpRangeElevation是指示要在向上向下方向上从视口的中心对称覆盖的角度的参数。vpRangeLeft和vpRangeRight是分别指示要在左方向和右方向上从视口的中心覆盖的角度的参数。vpRangeRight的下一行中的OMAFAttributes是可选参数。在存在要使用的任何OMAF属性(例如,CC、投影类型或打包类型)的情况下,可以利用该参数添加这样的信息。下一行的AdaptatinList是在指示视口环的重要性的级别值为0的情况下出现的参数,其中列出了在vpRing中包括的AdaptationSetID。
此外,视口环组列表具有以下视口环元素。视口环组元数据生成单元121描述在指示视口环的重要性的级别的值不是0并且视口环由差异表示的情况下的分割元素。TopBottomLeftRight指定顶部、底部、左或右。然而,在TopBottomLeftRight中没有指定的情况下,这意味着对顶部、底部、左和右中的全部集体地使用相同的值。下一行的AdaptatioList列出了对应分割中包括的AdatptationSetID。
将描述在视口环中包括的适配集的覆盖范围的边界可以表达为恒定角度的整数倍的情况。图13是示出可以将覆盖范围的边界表达为恒定角度的整数倍的情况的图。图13中的视线箭头653指示朝向视口的中心的视线方向。在适配集的覆盖范围的边界可以表达为恒定角度的整数倍的情况下,视线箭头651之间的角度654相同。因此,视口环组元数据生成单元121在视口环组列表中存储与从视口的中心起水平偏移的相等角度654有关的信息和与指示角度范围的角度655有关的信息。
图14是示出在可以将覆盖范围的边界表达为恒定角度的整数倍的情况下的指示视口环组的语法的示例的图。在视口环中包括的适配集的覆盖范围的边界可以表达为恒定角度的整数倍的情况下,视口环组元数据生成单元121限定视口环组列表结构,如图14所示的语法中那样。
在图14中,vpCenterRotationStep和vpCenterRotationRange是表示朝向每个视口环组的视口的中心的转变单位的角度和视线方向的转变范围的角度的参数。具体地,转变单位以规则的间隔表示,例如以15度或45度的水平增量表示。此外,转变范围被表达为“从左的度数到右的度数”。此外,vpCenterRotationRange的下一行中的OMAFAttributes是可选参数。在存在要使用的任何OMAF属性(例如,CC、投影类型或打包类型)的情况下,可以利用该参数添加这样的信息。
此外,视口环组列表具有视口环组元素和视口环元素。视口组元素和视口环元素类似于不能将覆盖范围的边界表达为恒定角度的整数倍的情况下的视口组元素和视口环元素。
视口环组元数据生成单元121将以上述结构限定的视口组列表存储在MPD文件中,并且将其输出至边缘服务器2或客户端装置3。
[边缘服务器的配置]
返回至图1,将描述边缘服务器2。边缘服务器2具有DASH感知网络元件(DANE)21。DANE 21是web服务器。DANE 21从客户端装置3接收数据获取请求,从源服务器1的web服务器13获取诸如MPD的内容的分段数据,并且将分段数据提供给客户端装置3。
此外,边缘服务器2的获取处理单元201从客户端装置3接收视口度量。此后,获取处理单元201基于视口度量来确认视线的移动,识别可能要请求的数据,并且从web服务器13预取内容的分段数据。在已经通过预取预先读取从客户端装置3请求的分段数据的情况下,DANE 21将已经保留的分段数据发送至客户端装置3。
[客户端装置的配置]
当从用户接收到请求时,客户端装置3向边缘服务器2的DANE 21发送获取要使用的内容的请求。此后,客户端装置3获取与要使用的内容对应的MPD文件。然后,客户端装置3分析所获取的MPD文件,获取要显示的全天球图像的分段数据,并且将分段数据输出至解码单元32。
此外,数据获取单元31检测视线的移动,生成指示视口的视口度量,并且将视口度量发送至DANE 21。此外,数据获取单元31分析存储在MPD文件中的视口环组列表,并且获取对应的分段数据。此后,数据获取单元31将获取的分段数据输出至解码单元32。
解码单元32从数据获取单元31接收要再现的内容的分段数据的输入。然后,解码单元32对所获取的分段数据进行解码。此后,解码单元32将解码的数据输出至视图生成单元33。
视图生成单元33从解码单元32接收解码数据的输入。然后,视图生成单元33通过渲染三维模型数据并且使用关于视点位置和视线方向的信息添加所获取的数据的位置信息来生成用于显示的图像,并且使显示单元34显示该图像。显示单元34是诸如监测器的显示装置。
[根据第一实施方式的内容分发过程]
接下来,参照图15,将描述在根据本实施方式的分发系统100中的使用视口环的内容分发处理的流程。图15是根据第一实施方式的使用视口环的内容分发处理的序列图。
源服务器1的分段处理单元11获取内容的源数据并生成分段数据。然后,分段处理单元11将所生成的分段数据传送至web服务器13(步骤S1)。web服务器13获取、存储和保留分段数据。
此外,分段处理单元11基于内容的源数据生成MPD文件(步骤S2)。此外,分段处理单元11生成诸如位置信息和编解码器信息的元数据,并且将元数据存储在MPD文件中。然后,分段处理单元11将所生成的MPD文件输出至元数据生成单元12。
元数据生成单元12从分段处理单元11获取MPD文件(步骤S3)。
然后,元数据生成单元12通过使用MPD文件中的自适应集合,使用为每个内容指定的重要性层的数量、视点转变时的视线方向的角度等来生成视口环组列表(步骤S4)。
然后,元数据生成单元12将所生成的视口环组列表存储在MPD文件中。此后,元数据生成单元12将包含视口环组列表的MPD文件传送至web服务器13(步骤S5)。web服务器13存储并保留包含视口环组列表的MPD文件。
边缘服务器2的DANE 21从web服务器13获取并且缓存包含视口环组列表的MPD文件(步骤S6)。
客户端装置3从用户接收内容观看请求,并且从DANE 21获取与要使用的内容对应的MPD文件(步骤S7)。然后,客户端装置3分析所获取的MPD文件,并且识别被指定为内容的全天球图像的分段数据。
此后,客户端装置3从DANE 21获取并再现所识别的全天球图像的分段数据(步骤S8)。
客户装置3在全天球图像的再现期间检测用户的视点的移动。然后,客户端装置3基于检测到的视点的移动来分析MPD文件,获取视口环组,并且识别与视线方向对应的分段数据。然后,客户端装置3经由DANE 21从web服务器13获取并且再现所识别的分段数据,从而向用户提供内容的视频(步骤S9)。
如上所述,根据本实施方式及其每个修改示例的源服务器生成视口环组,该视口环组指示与视线方向对应的数据组,并且将视口环组提供给客户端装置。在再现内容的情况下,客户端装置使用视口环组来识别要获取的数据集。在这种情况下,客户端装置可以识别要获取的数据集,而无需分析大量的适配集,并且这减少了处理负荷。此外,可以减少由客户端装置发送至边缘服务器的用于获取适配集的请求的数量,并且在这方面,也可以减轻处理负荷。
(2.第二实施方式)
接下来,将描述第二实施方式。根据本实施方式的分发系统也由图1中的框图来表示。在本实施方式中,将描述由边缘服务器2进行的预取的细节。
边缘服务器2的获取处理单元201从客户端装置3接收视口度量。此外,获取处理单元201从源服务器1的视口环组元数据生成单元121接收存储有视口环组列表的文件。然后,获取处理单元201获取视口环组列表。此外,获取处理单元201通过使用关于客户端装置3的能力的信息以及关于已经做出的请求和响应的信息来识别由客户端装置3使用的视口环组。例如,获取处理单元201通过使用关于客户端装置3的能力的信息以及关于已经做出的请求和响应的信息来确定可以使用的重要性层的数量。
此后,获取处理单元201使用视口度量来确认用户的视线的移动。然后,获取处理单元201根视线的移动,基于视口环组来识别可能要请求的数据,并且从web服务器13中预取内容的分段数据。
[根据第二实施方式的内容分发过程]
接下来,参照图16,将描述在根据本实施方式的分发系统100中的使用视口环的内容分发处理的流程。图16是根据第二实施方式的使用视口环的内容分发处理的序列图。
源服务器1的分段处理单元11获取内容的源数据并生成分段数据。然后,分段处理单元11将所生成的分段数据传送至web服务器13(步骤S21)。web服务器13获取、存储和保留分段数据。
此外,分段处理单元11基于内容的源数据生成MPD文件(步骤S22)。然后,分段处理单元11将所生成的MPD文件输出至元数据生成单元12。
元数据生成单元12从分段处理单元11获取MPD文件(步骤S23)。
然后,元数据生成单元12通过使用MPD文件中的适配集,使用为每个内容指定的重要性层的数量、视点转变时的视线方向的角度等来生成视口环组列表(步骤S24)。
然后,元数据生成单元12将所生成的视口环组列表存储在MPD文件中。此外,元数据生成单元12生成诸如位置信息和编解码器信息的元数据,并且将元数据存储在MPD文件中。此后,元数据生成单元12将包含视口环组列表的MPD文件传送至web服务器13(步骤S25)。web服务器13存储并保留包含视口环组列表的MPD文件。
边缘服务器2的DANE 21从web服务器13获取并且缓存包含视口环组列表的MPD文件(步骤S26)。
客户端装置3从用户接收内容观看请求,并且从DANE 21获取与要使用的内容对应的MPD文件(步骤S27)。然后,客户端装置3分析所获取的MPD文件,并且识别被指定为内容的全天球图像的分段数据。
此后,客户端装置3从DANE 21获取并再现所识别的全天球图像的分段数据(步骤S28)。
客户装置3在全天球图像的再现期间检测用户的视点的移动。然后,客户端装置3基于检测到的视点移动来生成指示视线方向的视口度量。此后,客户端装置3将所生成的视口度量发送至DANE 21(步骤S29)。
DANE 21从客户端装置3接收根据视点移动的视口度量。然后,DANE 21使用视口度量来确认视点的移动。此外,DANE 21分析MPD文件以获取视口环组。然后,DANE 21根据视点的移动使用视口环组来确定要获取的分段数据。此后,DANE 21从web服务器13预取所确定的分段组(步骤S30)。
客户端装置3识别与用户的视线方向对应的分段数据。然后,客户端装置3从DANE21获取并且再现所识别的分段数据,从而向用户提供内容的视频(步骤S31)。
如上所述,根据本实施方式的边缘服务器的DANE使用视口环组来识别要预取的分段数据。在这种情况下,DANE可以识别与视口度量对应的数据,而无需分析由下属客户端处理的单个MPD中的大量适配集。因此,可以减轻DANE在预取中的处理负荷,并且可以迅速执行预取。
(3.第三实施方式)
接下来,将描述第三实施方式。根据本实施方式的分发系统也由图1中的框图来表示。在本实施方式中,将描述由客户端装置进行的数据获取的细节。
图17是示出根据第三实施方式的分段数据获取处理的序列图。根据本实施方式的客户端装置3的数据获取单元31向DANE 21发送分段数据集请求,以请求要再现的数据集,该分段数据集请求是指定要获取的分段数据组的超文本传输协议(HTTP)请求(步骤S41)。
例如,数据获取单元31向DANE 21发送由图17中的语法701指示的分段数据请求。语法701中的SegmentUrl将包含在适配集中的一个分段的URL存储在视口环组中。此外,语法701中的mpdurl存储要使用的MPD的URL。此外,语法701存储由客户端装置3指定的视口环组元数据。以这种方式,在特定时间处的分段请求中,数据获取单元31将视口环组指定为用于识别要获取的分段数据集的URL参数。因此,数据获取单元31指示DANE 21集体地返回由在时间轴上与在分段数据集请求中指定的分段对准的视口组指定的适配集组中的分段组作为多部分响应。
DANE 21从客户端装置3的数据获取单元31接收指定要获取的分段数据组的分段数据集请求。然后,DANE 21返回与在分段数据集请求中指定的视口环组元数据对应的数据集(步骤S42),并且处理请求-响应事务。
例如,DANE 21将多部分响应702发送至客户端装置3。DANE 21在多部分响应702的根部分中存储在分段数据集请求中指定的视口环组元数据。此外,DANE 21在多部分响应702的对应部分中存储视口环组中的适配集中包含的每个分段。
在这种情况下,整个多部分响应702对应于原子响应的单位。因此,在正常接收到多部分响应702的全部的情况下,客户端装置3可以缓冲并且使其对应用可用。通过接收该多部分响应,客户端装置3可以在一个事物中一次获取所有数据。
图18是示出根据第三实施方式的对分段数据集请求的响应的示例的图。DANE 21生成如图18所示的多部分响应。DANE 21在多部分响应的响应体中注册针对多部分的每个部分的分段体。此外,DANE 21将关于在分段数据集请求中指定的视口环组的信息复制到根部分,使得可以确定其中包括针对每个部分注册的分段体的数据的适配集。
如上所述,根据本实施方式的客户端装置指定视口环组,并且请求获取分段数据。然后,DANE将通过指定的视口环组指定的适配集的分段组集体地发送至客户端装置。因此,可以在一个事物中一次发送和接收所有数据,并且简化客户端装置与DANE之间的通信。
[3.1第三实施方式的修改示例(1)]
根据本修改示例的客户端装置3的数据获取单元31发送分段数据集请求,以允许DANE 21侧确定要发送的分段数据组。图19是示出根据第三实施方式的修改示例(1)的分段数据获取处理的序列图。
数据获取单元31将分段数据集请求发送至DANE 21,该分段数据集请求是由语法703指示的HTTP请求(步骤S43)。语法703中的SegmentUrl在视口环组中存储适配集中包含的一个分段的URL。此外,语法703中的mpdurl存储要使用的MPD的URL。
此外,数据获取单元31存储作为指示可以基于DANE 21侧的选择准则而集体地返回分段数据作为响应的标志的ture,作为用于识别要在语法703中获取的分段数据集的URL参数。
DANE 21接收分段数据集请求。然后,DANE 21确定目标视口环组。然后,DANE 21将与确定的范围内的视口环组元数据对应的分段数据集返回至客户端装置3(步骤S44),并且处理请求-响应事务。
DANE 21确定例如要从在时间轴上与所请求的分段数据对准的视口环组中选择的视口环组。然后,DANE 21将所选择的视口环组的适配集组作为多部分响应704集体地发送至客户端装置3。
DANE 21在多部分响应704的根部中列出所选择的视口环组。此外,DANE 21针对多部分响应704的每个部分顺序地存储在所列出的视口组中的每一个的适配集中包括的分段。
在这种情况下,整个多部分响应704对应于原子响应的单位。因此,在正常接收到多部分响应704的全部的情况下,客户端装置3可以缓冲并且使其对应用可用。
[3.2第三实施方式的修改示例(2)]
图20是示出根据第三实施方式的修改示例(2)的分段数据获取处理的序列图。根据本本修改示例的客户端装置3的数据获取单元31将作为由语法705指示的HTTP请求的分段数据集请求发送至DANE 21(步骤S51)。
语法705中的SegmentUrl在视口环组中存储适配集中包含的一个分段的URL。此外,语法705中的pushUrl存储推送目的地地址。在这种情况下,推送目的地地址是客户端装置3的地址。此外,在特定时间处的分段请求中,数据获取单元31将视口环组指定为用于识别要获取的分段数据集的URL参数。因此,客户端装置3指示DANE 21通过推送传输返回由在时间轴上与在分段数据集请求中指定的分段对准的视口环组指定的适配集组。
当DANE 21从客户端装置3接收到分段数据集请求时,DANE 21将在分段数据集请求中指定的视口环组元数据本身返回至客户端装置3作为第一推送响应(步骤S52),并且处理请求-响应事务。
此后,DANE 21使用HTTP POST 706将指定的视口环组中的第一分段作为随后的推送响应推送至客户端装置3(步骤S53)。HTTP POST 706的体将第一分段存储在视口环组中。
DANE 21将HTTP POST 706发送至分段数据集请求中指定的postUrl。在HTTP POST706的头部中,注册有包含要存储的分段的视口环组的标识符、目标MPD的URL和视口环组中的适配集的标识符。
出于指示哪个分段存储在要发送至客户端装置3的单独的HTTP POST体中的目的,DANE 21引入单独的请求的扩展HTTP头部“X-vprgSgmntPush-mdpUrl”和“X-vprgSgmntPush-AdaptationSetID”,扩展HTTP头部中的每一个存储目标MPD的URL和目标适配集的标识符。在如下的语法705的<pushAddress>中描述HTTP POST被发送至的客户端装置3的地址。例如,<pushAddress>被描述为pushUrl=“为HTTP POST抛出的HTTP地址”或pushDescriptionUrl=“诸如会话描述协议(SDP)的地址”。在使用pushDescriptionUrl的情况下,由该URL获取的会话描述是FLUTE(/ROUTE)的SDP(/S-TSID)。
在这种情况下,HTTP POST 706对应于原子响应的单位。因此,当正常接收到HTTPPOST 706时,客户端装置3可以缓冲并且使其对于应用可用。
接下来,DANE 21使用HTTP POST 707将指定的视口环组中的第二分段作为随后的推送响应推送至客户端装置3(步骤S54)。在与HTTP POST 706的结构类似的结构中描述了HTTP POST 707。
HTTP POST 707也是原子响应的单元,并且当正常接收到HTTP POST 707时,客户端装置3可以缓冲并使其对应用可用。
以类似的方式,DANE 21重复发送分段数据集响应,直到包括在指定的的视口环组中的所有分段被发送。
在这种情况下,由于客户端装置3可以在发送一个分段时使用分段数据,因此可以缩短直到再现的时间。
[3.3第三实施方式的修改示例(3)]
图21是示出根据第三实施方式的修改示例(3)的分段数据获取处理的序列图。根据本本修改示例的客户端装置3的数据获取单元31将由语法708指示的分段数据集请求发送至DANE 21(步骤S55)。
语法708中的SegmentUrl在视口环组中存储适配集中包含的一个分段的URL。此外,语法708中的pushUrl存储推送目的地地址。在这种情况下,推送目的地地址是客户端装置3的地址。
此外,数据获取单元31存储作为指示可以基于DANE 21侧的选择准则而集体地返回分段数据作为响应的标志的ture,作为用于识别要在语法708中获取的分段数据集的URL参数。
DANE 21接收分段数据集请求。然后,DANE 21确定要使用的视口环组。例如,DANE21确定要从在时间轴上与所请求的分段数据对准的视口环组中选择的视口环组。然后,DANE 21将所确定的范围内的视口环组元数据本身返回至客户端装置3作为第一推送响应(步骤S56),并且处理请求-响应事务。
此后,DANE 21使用HTTP POST 709将所选择的视口环组中的一个的第一分段推送至客户端装置3,作为随后的推送响应(步骤S57)。HTTP POST 709的体将第一分段存储在所选择的视口环组之一中。
DANE 21将HTTP POST 709发送至分段数据集请求中指定的postUrl。在HTTP POST709的头部中,注册有包含要存储的分段的视口环组的标识符、目标MPD的URL和视口环组中的适配集的标识符。
出于指示哪个分段存储在要发送至客户端装置3的单独的HTTP POST体中的目的,DANE 21引入单独的请求的扩展HTTP头部“X-vprgSgmntPush-mdpUrl”和“X-vprgSgmntPush-AdaptationSetID”,扩展HTTP头部中的每一个存储目标MPD的URL和目标适配集的标识符。在如下的语法708的<pushAddress>中描述HTTP POST被发送至的客户端装置3的地址。例如,<pushAddress>被描述为pushUrl=“为HTTP POST抛出的HTTP地址”或pushDescriptionUrl=“诸如会话描述协议(SDP)的地址”。在使用pushDescriptionUrl的情况下,由该URL获取的会话描述是FLUTE(/ROUTE)的SDP(/S-TSID)。
在这种情况下,HTTP POST 709对应于原子响应的单位。因此,当正常接收到HTTPPOST 709时,客户端装置3可以缓冲并且使其对于应用可用。
接下来,DANE 21使用HTTP POST 710将所选择的视口环组之一中的第二分段推送至客户端装置3,作为随后的推送响应(步骤S58)。在与HTTP POST 709的结构类似的结构中描述了HTTP POST 710。
HTTP POST 710也是原子响应的单元,并且当正常接收到HTTP POST 710时,客户端装置3可以缓冲并使其对应用可用。
以类似的方式,DANE 21重复发送分段数据集响应,直到包括在所选择的视口环组中的每一个的所有分段被发送。
在这种情况下,由于客户端装置3可以在发送一个分段时使用分段数据,因此可以缩短直到再现的时间。
接下来,参照图22,将描述在根据第三实施方式和每个修改示例的分发系统100中的使用视口环的内容分发处理的流程。图22是根据第三实施方式和第三实施方式的每个修改例的使用视口环的内容分发处理的序列图。
源服务器1的分段处理单元11获取内容的源数据并且生成分段数据。然后,分段处理单元11将所生成的分段数据传送至web服务器13(步骤S61)。web服务器13获取、存储和保留分段数据。
此外,分段处理单元11基于内容的源数据生成MPD文件(步骤S62)。此外,分段处理单元11生成诸如位置信息和编解码器信息的元数据,并且将元数据存储在MPD文件中。然后,分段处理单元11将所生成的MPD文件输出至元数据生成单元12。
元数据生成单元12从分段处理单元11获取MPD文件(步骤S63)。
然后,元数据生成单元12通过使用MPD文件中的适配集,使用为每个内容指定的重要性层的数量、视点转变时的视线方向的角度等来生成视口环组列表(步骤S64)。
然后,元数据生成单元12将所生成的视口环组列表存储在MPD文件中。此后,元数据生成单元12将包含视口环组列表的MPD文件传送至web服务器13(步骤S65)。web服务器13存储并保留包含视口环组列表的MPD文件。
边缘服务器2的DANE 21从web服务器13获取并且缓存包含视口环组列表的MPD文件(步骤S66)。
客户端装置3从用户接收内容观看请求,并且从DANE 21获取与要使用的内容对应的MPD文件(步骤S67)。然后,客户端装置3分析所获取的MPD文件,并且识别被指定为内容的全天球图像的分段数据。
此后,客户端装置3从DANE 21获取并再现所识别的全天球图像的分段数据(步骤S68)。
客户装置3在全天球图像的再现期间检测用户的视点的移动。然后,客户端装置3基于检测到的视点移动来生成指示视线方向的视口度量。此后,客户端装置3将所生成的视口度量发送至DANE 21(步骤S69)。
DANE 21从客户端装置3接收根据视点移动的视口度量。然后,DANE 21使用视口度量来确认视点的移动。此外,DANE 21分析MPD文件以获取视口环组。然后,DANE 21根据视点的移动使用视口环组来确定要获取的分段数据。此后,DANE 21从web服务器13预取所确定的分段组(步骤S70)。
客户端装置3分析视口环组列表,并且使用分析结果来识别与用户的视线方向对应的分段数据(步骤S71)。
接下来,客户端装置3使用与所识别的分段数据对应的视口环组来生成分段数据集请求,并且将所生成的分段数据集请求发送至DANE 21(步骤S72)。对于该分段数据集请求,使用在第三实施方式或每个修改示例中描述的每个分段数据集请求。
DANE 21从客户端装置3接收分段数据集请求。然后,DANE 21将从分段数据集请求中识别的分段数据发送至客户端装置3(步骤S73)。此时,DANE 21返回在第三实施方式或每个修改示例中描述的响应。
客户装置3从DANE 21获取并且再现分段数据,从而向用户提供内容的视频(步骤S74)。
尽管以上描述了本公开内容的实施方式,但是本公开内容的技术范围不限于上述实施方式,并且在不脱离本公开内容的要旨的情况下可以进行各种改变。此外,可以适当地组合不同实施方式和修改示例中的部件。
注意,本文描述的效果仅是示例性的,并且不旨在是限制性的,并且可以获得其他效果。
注意,本技术还可以具有以下配置。
(1)一种信息处理装置,包括:
媒体呈现描述生成单元,所述媒体呈现描述生成单元生成按单位区域划分的图像的媒体呈现描述;以及
元数据生成单元,所述元数据生成单元通过基于由所述媒体呈现描述生成单元生成的所述媒体呈现描述以及指示与基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息,将与由每个所述视口信息指定的优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组,来生成视口环中的每一个,通过基于所述基准视线方向的中心将所述视口环分组来生成视口环组,并且通过列出关于多个所述视口环组的信息来生成视口环组列表。
(2)根据注释(1)所述的信息处理装置,其中,所述元数据生成单元经由第一网络将所述视口环组列表发送至边缘服务器。
(3)根据注释(1)或(2)所述的信息处理装置,其中,在由属于预定视口环组的所述视口环中的每一个指定的适配集的覆盖范围的边界相对于所述基准视线方向的中心的角度不是恒定角度的整数倍的情况下,所述元数据生成单元在所述视口环组列表中存储所述视口环中的每一个中的视线方向的中心在水平方向上相对于所述基准视线方向的中心的视点角度。
(4)根据注释(1)至(3)中任一项所述的信息处理装置,其中,在由所述视口环指定的适配集的覆盖范围的边界相对于所述基准视线方向的中心的角度被表达为恒定角度的整数倍的情况下,所述元数据生成单元在所述视口环组列表中存储关于所述恒定角度的信息以及关于所述视口环中的每一个中的所述视线方向的范围的信息。
(5)一种使计算机执行以下处理的信息处理方法,所述处理包括:
生成按单位区域划分的图像的媒体呈现描述;
通过基于由所述媒体呈现描述生成单元生成的所述媒体呈现描述以及指示与基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息,将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组,来生成视口环中的每一个;
通过基于所述基准视线方向的中心将所述视口环分组来生成视口环组;以及
通过列出关于多个视口环组的信息来生成视口环组列表。
(6)一种信息处理装置,包括:获取处理单元,所述获取处理单元:接收列出关于多个视口环组的信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及经由第二网络从客户端装置获取客户端视口信息,然后基于所述视口环组列表和所述客户视口信息预先获取分段数据。
(7)一种使计算机执行以下处理的信息处理方法,所述处理包括:
接收列出关于多个视口环组的信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及
经由第二网络从客户端装置获取客户端视口信息,然后基于所述视口环组列表和所述客户视口信息预先获取分段数据。
(8)一种再现处理装置,包括:数据获取单元,所述数据获取单元:经由第二网络从边缘服务器接收列出关于多个视口环组中的每个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及基于所述视口环组列表,向所述边缘服务器发送HTTP请求,所述HTTP请求包括用于请求配置并且返回多个分段数据作为多部分响应的多部分响应请求信息,所述多个分段数据构成由所述视口环组列表指定的多个经分组的适配集。
(9)根据注释(8)所述的再现处理装置,其中,所述多部分响应请求信息包括关于是否基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息。
(10)根据注释(9)所述的再现处理装置,其中,在不基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,将指示所述视口环组中的选择的视口环组的视口环组信息的附加参数添加至关于对所述分段数据的访问的信息。
(11)根据注释(10)所述的再现处理装置,其中,在来自所述边缘服务器对所述HTTP请求的所述多部分响应中,包含在所述HTTP请求中的所述视口环组信息被存储在根部分中,并且通过由所述数据获取单元选择的所述视口环组指定的每个适配集的分段数据被存储在除所述根部分之外的部分中。
(12)根据注释(9)所述的再现处理装置,其中,在基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,将指示用于允许基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息的附加参数添加至关于对所述分段数据的访问的信息。
(13)根据注释(12)所述的再现处理装置,其中,在来自所述边缘服务器对所述HTTP请求的所述多部分响应中,由所述边缘服务器选择的所述视口环组的视口环组信息被存储在根部分中,并且通过由所述边缘服务器选择的所述视口环组指定的每个适配集的所述分段数据被存储在除所述根部分之外的部分中。
(14)一种使计算机执行以下处理的再现处理方法,所述处理包括:
经由第二网络从边缘服务器接收列出关于多个视口环组中的每个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及
基于所述视口环组列表,向所述边缘服务器发送HTTP请求,所述HTTP请求包括用于请求配置并且返回多个分段数据作为多部分响应的多部分响应请求信息,所述多个分段数据构成由所述视口环组列表指定的多个经分组的适配集。
(15)一种再现处理装置,包括:数据获取单元,所述数据获取单元:经由第二网络从边缘服务器接收列出关于多个视口环组中的每个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及基于所述视口环组列表,向所述边缘服务器发送HTTP请求,作为针对构成由所述视口环组信息指定的多个适配集的多个分段数据中的每一个的推送响应,所述HTTP请求包括用于请求返回所述多个分段数据的推送响应请求信息。
(16)根据注释(15)所述的再现处理装置,其中,所述多部分响应请求信息包括关于是否基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息。
(17)根据注释(16)所述的再现处理装置,其中,在不基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,将指示用于允许推送发送的信息、推送地址以及与所述视口环组中的选择的视口环组对应的视口环组信息的附加参数添加至关于对所述分段数据的访问的信息。
(18)根据注释(17)所述的再现处理装置,其中,包括在所述HTTP请求中的所述视口环组信息被存储在来自所述边缘服务器对所述HTTP请求的第一推送响应中,并且通过由所述数据获取单元选择的所述视口环组指定的每个适配集的分段数据被存储在随后的推送响应中的对应推送响应中。
(19)根据注释(15)所述的再现处理装置,其中,在基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,向关于对所述分段数据的访问的信息,将指示用于允许推送发送的信息、推送地址以及用于允许基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息的附加参数添加至关于对所述分段数据的访问的信息。
(20)根据注释(19)所述的再现处理装置,其中,由所述边缘服务器选择的所述视口环组的视口环组信息被存储在来自所述边缘服务器对所述HTTP请求的第一推送响应中,并且通过由所述边缘服务器选择的所述视口环组指定的每个适配集的分段数据被存储在随后的推送响应中的相应的推送响应中。
(21)一种使计算机执行以下处理的再现处理方法,所述处理包括:
经由第二网络从边缘服务器接收列出关于多个视口环组中的每个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及
基于所述视口环组列表,向所述边缘服务器发送HTTP请求,作为针对构成由所述视口环组信息指定的多个适配集的多个分段数据中的每一个的推送响应,所述HTTP请求包括用于请求返回所述多个分段数据的推送响应请求信息。
附图标记列表
1 源服务器
2 边缘服务器
3 客户端装置
11 分段处理单元
12 元数据生成单元
13 Web服务器
21 DANE
31 数据获取单元
32 解码单元
33 视图生成单元
34 显示单元
100 分发系统
111 数据生成单元
112 MPD生成单元
121 视口环组元数据生成单元
201 获取处理单元

Claims (21)

1.一种信息处理装置,其包括:
媒体呈现描述生成单元,所述媒体呈现描述生成单元生成按单位区域划分的图像的媒体呈现描述;以及
元数据生成单元,所述元数据生成单元通过基于由所述媒体呈现描述生成单元生成的所述媒体呈现描述以及指示与基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息,将与由每个所述视口信息指定的优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组,来生成视口环中的每一个,通过基于所述基准视线方向的中心将所述视口环分组来生成视口环组,并且通过列出关于多个所述视口环组的信息来生成视口环组列表。
2.根据权利要求1所述的信息处理装置,其中,所述元数据生成单元经由第一网络将所述视口环组列表发送至边缘服务器。
3.根据权利要求1所述的信息处理装置,其中,在由属于预定视口环组的所述视口环中的每一个指定的适配集的覆盖范围的边界相对于所述基准视线方向的中心的角度不是恒定角度的整数倍的情况下,所述元数据生成单元在所述视口环组列表中存储所述视口环中的每一个中的视线方向的中心在水平方向上相对于所述基准视线方向的中心的视点角度。
4.根据权利要求1所述的信息处理装置,其中,在由所述视口环指定的适配集的覆盖范围的边界相对于所述基准视线方向的中心的角度被表达为恒定角度的整数倍的情况下,所述元数据生成单元在所述视口环组列表中存储关于所述恒定角度的信息以及关于所述视口环中的每一个中的所述视线方向的范围的信息。
5.一种使计算机执行处理的信息处理方法,所述处理包括:
生成按单位区域划分的图像的媒体呈现描述;
通过基于所生成的媒体呈现描述以及指示与基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息,将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组,来生成视口环中的每一个;
通过基于所述基准视线方向的中心将所述视口环分组来生成视口环组;以及
通过列出关于多个所述视口环组的信息来生成视口环组列表。
6.一种信息处理装置,包括:获取处理单元,所述获取处理单元:接收列出关于多个视口环组的信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及经由第二网络从客户端装置获取客户端视口信息,然后基于所述视口环组列表和所述客户视口信息预先获取分段数据。
7.一种使计算机执行处理的信息处理方法,所述处理包括:
接收列出关于多个视口环组的信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及
经由第二网络从客户端装置获取客户端视口信息,然后基于所述视口环组列表和所述客户视口信息预先获取分段数据。
8.一种再现处理装置,包括:数据获取单元,所述数据获取单元:经由第二网络从边缘服务器接收列出关于多个视口环组中的每一个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及基于所述视口环组列表,向所述边缘服务器发送HTTP请求,所述HTTP请求包括用于请求配置并且返回多个分段数据作为多部分响应的多部分响应请求信息,所述多个分段数据构成由所述视口环组列表指定的多个经分组的适配集。
9.根据权利要求8所述的再现处理装置,其中,所述多部分响应请求信息包括关于是否基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息。
10.根据权利要求9所述的再现处理装置,其中,在不基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,将指示所述视口环组中的选择的视口环组的视口环组信息的附加参数添加至关于对所述分段数据的访问的信息。
11.根据权利要求10所述的再现处理装置,其中,在来自所述边缘服务器对所述HTTP请求的所述多部分响应中,包含在所述HTTP请求中的所述视口环组信息被存储在根部分中,并且通过由所述数据获取单元选择的所述视口环组指定的每个适配集的分段数据被存储在除所述根部分之外的部分中。
12.根据权利要求9所述的再现处理装置,其中,在基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,将指示用于允许基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息的附加参数添加至关于对所述分段数据的访问的信息。
13.根据权利要求12所述的再现处理装置,其中,在来自所述边缘服务器对所述HTTP请求的所述多部分响应中,由所述边缘服务器选择的所述视口环组的视口环组信息被存储在根部分中,并且通过由所述边缘服务器选择的所述视口环组指定的每个适配集的所述分段数据被存储在除所述根部分之外的部分中。
14.一种使计算机执行处理的再现处理方法,所述处理包括:
经由第二网络从边缘服务器接收列出关于多个视口环组中的每个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及
基于所述视口环组列表,向所述边缘服务器发送HTTP请求,所述HTTP请求包括用于请求配置并且返回多个分段数据作为多部分响应的多部分响应请求信息,所述多个分段数据构成由所述视口环组列表指定的多个经分组的适配集。
15.一种再现处理装置,包括:数据获取单元,所述数据获取单元:经由第二网络从边缘服务器接收列出关于多个视口环组中的每一个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及基于所述视口环组列表,向所述边缘服务器发送HTTP请求,作为针对构成由所述视口环组信息指定的多个适配集的多个分段数据中的每一个的推送响应,所述HTTP请求包括用于请求返回所述多个分段数据的推送响应请求信息。
16.根据权利要求15所述的再现处理装置,其中,所述推送响应请求信息包括关于是否基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息。
17.根据权利要求16所述的再现处理装置,其中,在不基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,将指示用于允许推送发送的信息、推送地址以及与所述视口环组中的选择的视口环组对应的视口环组信息的附加参数添加至关于对所述分段数据的访问的信息。
18.根据权利要求17所述的再现处理装置,其中,包括在所述HTTP请求中的所述视口环组信息被存储在来自所述边缘服务器对所述HTTP请求的第一推送响应中,并且通过由所述数据获取单元选择的所述视口环组指定的每个适配集的分段数据被存储在随后的推送响应中的对应推送响应中。
19.根据权利要求15所述的再现处理装置,其中,在基于所述边缘服务器的选择准则而集体地返回所述分段数据的情况下,所述数据获取单元生成具有新请求URL的HTTP请求,其中,向关于对所述分段数据的访问的信息,将指示用于允许推送发送的信息、推送地址以及用于允许基于所述边缘服务器的选择准则而集体地返回所述分段数据的信息的附加参数添加至关于对所述分段数据的访问的信息。
20.根据权利要求19所述的再现处理装置,其中,由所述边缘服务器选择的所述视口环组的视口环组信息被存储在来自所述边缘服务器对所述HTTP请求的第一推送响应中,并且通过由所述边缘服务器选择的所述视口环组指定的每个适配集的分段数据被存储在随后的推送响应中的相应的推送响应中。
21.一种使计算机执行处理的再现处理方法,所述处理包括:
经由第二网络从边缘服务器接收列出关于多个视口环组中的每个视口环组的信息作为视口环组信息的视口环组列表,其中,根据基准视线方向的中心,将基于按单位区域划分的图像的媒体呈现描述和指示与所述基准视线方向的中心对应的预先确定的优先级中的每一个的视线方向的视口信息、通过将与由每个所述视口信息指定的所述优先级中的每一个的预定区域对应的适配集分组并且将与按所述单位区域确定的所述预定区域的每个周围区域对应的适配集分组而生成的视口环进行分组;以及
基于所述视口环组列表,向所述边缘服务器发送HTTP请求,作为针对构成由所述视口环组信息指定的多个适配集的多个分段数据中的每一个的推送响应,所述HTTP请求包括用于请求返回所述多个分段数据的推送响应请求信息。
CN202080020933.0A 2019-03-20 2020-01-31 信息处理装置、信息处理方法、再现处理装置和再现处理方法 Withdrawn CN113574899A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962821027P 2019-03-20 2019-03-20
US62/821,027 2019-03-20
PCT/JP2020/003742 WO2020189051A1 (ja) 2019-03-20 2020-01-31 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Publications (1)

Publication Number Publication Date
CN113574899A true CN113574899A (zh) 2021-10-29

Family

ID=72519202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080020933.0A Withdrawn CN113574899A (zh) 2019-03-20 2020-01-31 信息处理装置、信息处理方法、再现处理装置和再现处理方法

Country Status (3)

Country Link
US (1) US20220150552A1 (zh)
CN (1) CN113574899A (zh)
WO (1) WO2020189051A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11729243B2 (en) * 2019-09-20 2023-08-15 Intel Corporation Dash-based streaming of point cloud content based on recommended viewports
KR20220012740A (ko) * 2020-07-23 2022-02-04 삼성전자주식회사 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202117B2 (en) * 2017-07-03 2021-12-14 Telefonaktiebolaget Lm Ericsson (Publ) Methods for personalized 360 video delivery

Also Published As

Publication number Publication date
WO2020189051A1 (ja) 2020-09-24
US20220150552A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN109600674B (zh) 非线性媒体的基于客户端的自适应流式传输
CN109804635B (zh) 在定时媒体数据流式传输期间改进渲染显示的方法和设备
US11451838B2 (en) Method for adaptive streaming of media
WO2019202207A1 (en) Processing video patches for three-dimensional content
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
KR20190008325A (ko) 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램
CN107888993B (zh) 一种视频数据的处理方法及装置
WO2020043126A1 (zh) 视频数据的处理,传输方法及装置,视频数据的处理系统
KR20230112147A (ko) 고품질의 경험을 위한 오디오 메시지들의 효율적인전달 및 사용을 위한 방법 및 장치
CN108111899A (zh) 视频传输方法、客户端、服务器
CN115225937B (zh) 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
WO2015198725A1 (ja) 通信装置、通信方法、及びプログラム
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
US11967153B2 (en) Information processing apparatus, reproduction processing apparatus, and information processing method
CN111869223A (zh) 沉浸式媒体的视场角度量
JP2018019143A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
CN113574899A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
JP7396267B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20220031560A (ko) 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법
JP7314929B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230224512A1 (en) System and method of server-side dynamic adaptation for split rendering
CN111263191A (zh) 视频数据的处理方法、装置、相关设备及存储介质
US20220239994A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
JP2021033354A (ja) 通信装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211029

WW01 Invention patent application withdrawn after publication