CN109644286A - 分发装置、分发方法、接收装置、接收方法、程序和内容分发系统 - Google Patents

分发装置、分发方法、接收装置、接收方法、程序和内容分发系统 Download PDF

Info

Publication number
CN109644286A
CN109644286A CN201780051300.4A CN201780051300A CN109644286A CN 109644286 A CN109644286 A CN 109644286A CN 201780051300 A CN201780051300 A CN 201780051300A CN 109644286 A CN109644286 A CN 109644286A
Authority
CN
China
Prior art keywords
roi
distribution
unit
file
segmental file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780051300.4A
Other languages
English (en)
Other versions
CN109644286B (zh
Inventor
山岸靖明
高林和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109644286A publication Critical patent/CN109644286A/zh
Application granted granted Critical
Publication of CN109644286B publication Critical patent/CN109644286B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/20Arrangements for broadcast or distribution of identical information via plural systems
    • H04H20/24Arrangements for distribution of identical information via broadcast system and non-broadcast system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • H04H20/93Arrangements characterised by the broadcast information itself which locates resources of other pieces of information, e.g. URL [Uniform Resource Locator]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/42Arrangements for resource management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本技术涉及一种分发装置、分发方法、接收装置、接收方法、程序和内容分发系统,其使得能够发送由广播分发或网络分发中的至少一个分发的视频的ROI标识符的信令。根据本技术的第一方面的分发装置包括分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件,分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧,以及通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。例如,本技术可以应用于使用DASH的流分发。

Description

分发装置、分发方法、接收装置、接收方法、程序和内容分发 系统
技术领域
本技术涉及分发装置、分发方法、接收装置、接收方法、程序和内容分发系统,并且更具体地,涉及分发装置、分发方法、接收装置、接收方法、程序和内容分发系统,适合于通过广播分发具有高优先级(例如,被更多用户观看的可能性高)的图像区域,并且通过点播分发其他图像区域。
背景技术
随着例如IPTV的因特网流中的标准化运动,通过HTTP流、实况流等应用于视频点播(VoD)流的方法的标准化正在执行,特别地,由ISO/IEC/MPEG D标准化的基于HTTP的动态自适应流(DASH)已引起关注(例如,参见非专利文献1)。
作为DASH的使用情况,考虑将成像空间划分为多个矩形区域,并将每个矩形区域中的每个视频分发给DASH的AdaptationSet以提供自由视点流服务。
在通过组合广播分发和点播分发(在下文中也称为网络分发)来实现自由视点流服务的情况下,如果通过广播分发来提供具有被多个终端用户(接收装置的用户)共同观看的可能性高的视频流,并且通过网络分发来提供具有被多个用户共同观看的可能性低的视频流,则可以实现分发资源的有效使用。
这里,被许多用户共同观看的可能性高的视频是整个成像范围的视频、由广播站等指定的ROI(关注区域)的区域(包括一个或多个相邻矩形区域)的视频等。同时,被许多用户共同观看的可能性低并且可以被特定用户使用的视频是在另一矩形区域等中的视频。
根据自由视点流服务,用户可以通过指定任意矩形区域(或多个相邻矩形区域)来仅观看成像空间中的感兴趣区域中的动态图像。
引文列表
非专利文献
非专利文献1:“Realizing uninterrupted moving image distribution withexisting web server”,Mitsuhiro Hirabayashi,NIKKEIELECTRONICS2012.3.19
发明内容
本发明要解决的问题
顺便提及,在采用ATSC 3.0(美国下一代数字电视标准)中的DASH来实现上述自由视点流服务的情况下,如果分发模式信息指示通过广播分发和网络分发中的哪一个来分发每个矩形区域中的视频,并且在广播信令级别识别每个矩形区域中的视频的ROI标识符(指示视频属于哪个ROI的信息),则该识别可以用作分配广播分发资源(带宽、接收栈中的计算处理等)的优先级指标。
然而,目前还没有建立用于信号化这些ROI标识符的方法。
本技术是针对这种情形而提出的,并且旨在使得能够信号化视频的ROI标识符,以通过广播分发或网络分发中的至少一个来分发。
问题的解决方法
根据本技术的第一方面的分发装置包括,分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧;以及通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
通知单元还可以将指示通过网络分发和广播分发中的哪一个来分发分段文件的分发模式信息,作为与分段文件相关的属性信息通知给接收侧。
通知单元可以在以DASH定义的MPD中描述与分段文件相关的属性信息,并将属性信息通知给接收侧。
在以DASH定义的MPD中使用SegmentTemplate的情况下,通知单元可以以USD描述与分段文件相关的属性信息,并将属性信息通知接收侧。
在以DASH定义的MPD中使用SegmentTemplate的情况下,通知单元可以以EFDT描述与分段文件相关的属性信息,并将属性信息通知给接收侧。
在以DASH定义的MPD中使用SegmentTemplate的情况下,通知单元可以在实体报头中描述与分段文件相关的属性信息,并将属性信息通知接收侧。
一个或多个ROI可以被设置为成像范围。
分发单元可以通过网络分发分发分别对应于区域的视频流的所有分段文件,并通过广播分发分发对应于ROI中包括的区域的分段文件。
根据本技术的第一方面的分发方法包括,通过分发装置,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件的分段归档单元;通过网络分发或广播分发中的至少一个,将每个区域的视频流的分段文件提供给接收侧的分发步骤;以及在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧的通知步骤,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
根据本技术的第一方面的程序使计算机用作,分段归档单元,该分段归档单元被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧;以及通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
在本技术的第一方面中,将通过对划分为多个区域的成像范围进行成像而获得的每个区域的视频流制成分段文件,通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧,并且在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
根据本技术的第二方面的接收装置包括,分析单元,被配置为在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取和分析与对应于ROI中包括的区域的视频流的分段文件相关的属性信息以及包括用于标识至少所属ROI的ROI标识符的属性信息;请求单元,被配置为基于属性信息的分析结果来请求对应于预定ROI标识符的分段文件;获取单元,被配置为通过网络分发或广播分发获取对应于预定ROI标识符的所请求的分段文件;以及再现单元,被配置为再现所获取的分段文件。
请求单元可以向用户请求对应于由操作指定的ROI标识符的分段文件。
请求单元可以请求对应于由操作所指定的ROI标识符的分段文件,以在屏幕上指定对象。
请求单元可以请求对应于由操作指定的ROI标识符的分段文件,来选择对象的元数据。
属性信息还可以包括指示通过网络分发和广播分发中的哪一个来分发分段文件的分发模式信息,并且获取单元可以基于分发模式信息通过网络分发或广播分发来获取对应于预定ROI标识符的所请求的分段文件。
可以由分析单元使用SAND消息将属性信息的分析结果通知给请求单元。
根据本技术的第二方面的接收方法包括,通过接收装置,在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取和分析与对应于ROI中包括的区域的视频流的分段文件相关的属性信息以及包括用于标识至少所属ROI的ROI标识符的属性信息的分析步骤;基于属性信息的分析结果,请求对应于预定ROI标识符的分段文件的请求步骤;通过网络分发或广播分发获取对应于预定ROI标识符的所请求的分段文件的获取步骤;以及再现所获取的分段文件的再现步骤。
根据本技术的第二方面的程序使计算机用作,分析单元,被配置为在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取和分析与对应于ROI中包括的区域的视频流的分段文件相关的属性信息以及包括用于标识至少所属ROI的ROI标识符的属性信息;请求单元,被配置为基于属性信息的分析结果来请求对应于预定ROI标识符的分段文件;获取单元,被配置为通过网络分发或广播分发获取对应于预定ROI标识符的所请求的分段文件;以及再现单元,被配置为再现所获取的分段文件。
在本技术的第二方面中,分析属性信息,基于属性信息的分析结果请求对应于预定ROI标识符的分段文件,经由网络分发或广播分发获取对应于预定ROI标识符的所请求的分段文件,并再现所获取的分段文件。
根据本技术的第三方面的内容分发系统包括分发装置和接收装置。分发装置包括,分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧;以及通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。此外,接收装置包括,分析单元,被配置为分析来自分发装置的通知中给出的属性信息;请求单元,被配置为基于属性信息的分析结果来请求对应于预定ROI标识符的分段文件;获取单元,被配置为通过网络分发或广播分发获取对应于预定ROI标识符的所请求的分段文件;以及再现单元,被配置为再现所获取的分段文件。
在本技术的第三方面中,通过分发装置,将通过对划分为多个区域的成像范围进行成像而获得的每个区域的视频流制成分段文件,通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧,并且在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。此外,通过接收装置,分析来自分发装置的通知中给出的属性信息,基于属性信息的分析结果请求对应于预定ROI标识符的分段文件,经由网络分发或广播分发获取对应于预定ROI标识符的所请求的分段文件,并且再现所获取的分段文件。
本发明的效果
根据本技术的第一方面,可以信号化由广播分发或网络分发中的至少一个分发的视频的ROI标识符。
根据本技术的第二方面,可以获取和再现属于特定ROI的区域的分段文件。
根据本技术的第三方面,可以信号化由广播分发或网络分发中的至少一个分发的视频的ROI标识符发信号,可以在接收侧再现属于特定ROI的区域的分段文件。
附图说明
[图1]是示出内容分发系统的配置示例的框图。
[图2]是示出MPD的数据结构的图。
[图3]是示出representation的示例的图。
[图4]是示出MPD中的时段和下层的分层结构的图。
[图5]是示出在时间轴上布置MPD的结构的状态的图。
[图6]是示出内容分发系统的更详细配置示例的框图。
[图7]是示出应用本技术的客户端设备的配置示例的框图。
[图8]是用于描述PER消息的图。
[图9]是用于描述ResourceStatus的元素的图。
[图10]是示出基于ROUTE/DASH的堆栈的图。
[图11]是用于描述与使用ROUTE协议的情况相对应的客户端侧上的操作的图。
[图12]是示出整个成像空间、矩形区域和区域之间的关系的图。
[图13]是示出整个成像空间、矩形区域和区域之间的关系的图。
[图14]是示出对应于图11所示的ROI的移动的通过广播分发分发的分段的改变状态的图。
[图15]是示出整个图像被划分为四个矩形区域的情况的图。
[图16]是示出对应于图14的分段的广播分发和ROI标识符的并用的存在或不存在的图。
[图17]是示出对应于图16的MPD-SRD表达式的图。
[图18]是示出整个图像以及矩形区域在整个图像中的位置和分辨率的图。
[图19]是示出MPD的扩展位置的图。
[图20]是示出MPD的扩展位置的图。
[图21]是示出与扩展MPD相对应的服务信令传输会话和组件文件传输会话的配置的图。
[图22]是示出分发模式信息和ROI标识符存储在MPD中的情况下的操作序列的图。
[图23]是示出使用SegmentTemplate重写的MPD-SRD表达式的图。
[图24]是用于描述图23中的MPD-SRD表达式的图。
[图25]是示出USD的扩展位置的图。
[图26]是示出对应于扩展USD的服务信令传输会话和组件文件传输会话的配置的图。
[图27]是示出存储分发模式信息和ROI标识符的ResourceStatus消息的具体示例的图。
[图28]是示出分发模式信息和ROI标识符存储在USD中的情况下的操作序列的图。
[图29]是示出EFDT的扩展位置的图。
[图30]是示出对应于扩展EFDT的服务信令传输会话和组件文件传输会话的配置的图。
[图31]是示出分发模式信息和ROI标识符存储在EFDT中的情况下的操作序列的图。
[图32]是示出对应于扩展实体报头的服务信令传输会话和组件文件传输会话的配置的图。
[图33]是示出分发模式信息和ROI标识符存储在实体报头中的情况下的操作序列的图。
[图34]是示出在客户端设备中使用ROI标识符的示例的图。
[图35]是示出通用计算机的配置示例的框图。
具体实施方式
在下文中,将参考附图详细描述用于实现本技术的最佳模式(以下称为实施方式)。注意,说明将按以下顺序给出。
1.<采用DASH的内容分发系统的配置示例>
2.<应用本技术的客户端设备的配置示例>
3.<PER消息>
4.<在MPD中存储分发模式信息和ROI标识符的情况>
5.<使用针对MPD的SegmentTemplate的情况处理>
6.<在USD中存储分发模式信息和ROI标识符的情况>
7.<EFDT的扩展>
8.<实体报头的扩展>
9.<客户端设备中ROI标识符的使用示例>
<DASH的概述>
首先,将描述DASH的概要。图1示出了采用DASH的内容分发系统的配置示例。图1中左侧所示的HTTP服务器上的媒体呈现是内容分发侧,并且图1中右侧所示的HTTP流客户端是内容接收侧,并且接收和再现所接收的内容流并将内容呈现给用户。
在分发侧的HTTP服务器上的媒体呈现可以准备和提供多个流,该多个流具有同一内容的contents,并且其中根据例如地面数字广播或卫星广播的广播网、例如因特网的双向通信网络以及例如3GPP或LTE-eMBMS的移动电话通信网络(已经成为过去)的通信环境,以及接收侧的能力和状态来改变图像质量、视角大小等。
此外,HTTP服务器上的媒体呈现可以准备和提供同一contents的整个成像区域的视频的多个流或通过划分成像区域获得的多个矩形区域的视频的多个流,换句话说,属于同一contents但内容不同的视频,其中图像质量、视角大小等根据路径的通信环境以及接收侧的能力和状态而改变。
同时,接收侧上的HTTP流客户端可以根据路径的通信环境以及由分发侧准备的多个流的接收侧的能力、状态等来选择、获取和再现最优流。
以这种方式,在DASH中,被称为媒体呈现描述(MPD)的元数据从内容的分发侧提供给接收侧,使得接收侧可以自适应地选择和获得流。
在MPD中,描述了分块流(例如音频/视频/字幕的媒体数据)的地址(url信息)。接收侧可以访问作为内容的供应源的预定服务器,并且可以基于url信息来获取和再现HTTP分发的流数据。
注意,可能发生的情况是,接收侧的HTTP流客户端请求作为内容供应源的相同服务器提供相同流的数量远远大于分发侧的HTTP流客户端。在这种情况下,如果每次根据来自每个HTTP流客户端的供应发送相同的流,则通信效率较差。因此,在某些情况下,在因特网等上提供所谓的代理服务器。
图2示出了作为要从内容的分发侧提供给接收侧的元数据的MPD的数据结构。
在MPD中,关于内容的信息被划分为每个时段。在每个时段中,AdaptationSet用于对多个representation进行分组,该多个representation包括关于具有同一内容且具有例如比特率的不同流属性的同步流数据的信息,其中图像质量、视角大小、语言等被改变。在该representation中,存储关于通过进一步的时间划分时段获得的分段的信息。
注意,时段是内容的时间间隔的单位。分段是时间上细分的时段的单位,并且内容流以分段为单位被归档到分段文件中。
每个分段文件由一个URL(+字节范围)指定。分段是representation的一部分,并且一个representation由以下内容之一配置:
(1)一个或多个SegmentList
(2)一个SegmentTemplate
(3)一个或多个BaseURL,并且最多一个SegmentBase(在本例中不包括SegmentList和SegmentTemplate)
图3示出了对应于上述(1)至(3)的representation的示例。
如图3中的A所示,在一个representation中仅有一个媒体分段的情况下使用上述(3)中的SegmentBase。在这种情况下,初始化信息的字节串和随机接入点(RAP)的字节串包含在文件的前834个字节(由SegmentBase的indexRange描述)内。
如图3中的B所示,上述(1)中的SegmentList由按再现顺序排列的多个SegmentURL构成。SegmentURL由分段文件的URL(+文件中的字节范围)表示。安排在SegmentList开头的初始化对安排初始化信息的文件(InitSegment)给出一个指令。
当基于SegmentTemplate自动生成SegmentURL时(典型的用例是实时流),使用上述(2)中的SegmentTemplate。换句话说,接收侧动态地替换包括在SegmentTemplate中描述的SegmentURL的模板中的预定参数。通过使用SegmentTemplate,可以使MPD的大小非常小。
例如,在使用如图3中的C所示的SegmentTemplate的情况下,用以StartNumber指示的值作为初始值递增1的值替换作为ReplacementParameter的$Number$,由此生成如图3中的D所示的SegmentURL。
图4示出了MPD中的时段和下层的分层结构。注意,MPD是以例如XML格式描述的。在时段的下层中,描述了用于对作为流的选择范围的representation组进行分组的信息的AdaptationSet。在AdaptationSet的下层中,描述包括指示动态图像和声音的比特率、视角大小、语言等的信息的representation。在representation的下层中,描述了与动态图像和声音的分段相关的信息的segmentinfo。在segmentinfo的下层中,描述了指示例如数据压缩方法的初始化信息的初始化分段和指示以动态图像和声音的分段为单位的数据供应源的媒体分段。
接收侧基于MPD的时段中包括的representation的属性来选择最优的接收和再现的Reproduction,从所选择的representation的头部分段获取初始化分段并确定数据压缩方法等,然后可以请求、获取和再现之后的分段。
图5示出了其中MPD的结构在时间轴上布置的状态。从图5可以清楚地看出,具有包括在同一AdaptationSet中的不同流属性的representation的分段被同步。
如上所述,同一内容的整个成像区域的视频和通过将成像区域划分为多个部分而获得的每个矩形区域的视频流属于不同的AdaptationSet。然而,即使在这种情况下,包括在不同AdaptationSet中的representation的分段也是同步的。
接下来,图6示出了采用DASH的内容分发系统的更详细的配置示例。
图6中的DASH服务器、web服务器和广播服务器对应于图1中HTTP服务器上的媒体呈现。此外,图6中的DASH客户端对应于图1中的HTTP流客户端。
DASH客户端可以经由因特网上形成的内容分发网络(CDN)访问DASH服务器和web服务器。CDN设置有DASH缓存服务器(代理服务器)。
DASH服务器生成MPD并将MPD传送到广播服务器,并生成流的分段文件并将分段文件传送到web服务器。此外,DASH服务器响应于来自DASH客户端的HTTP请求,经由内容分发网络(CDN)通过网络分发来分发所生成的MPD。web服务器响应于来自DASH客户端的HTTP请求,经由CDN通过网络分发来分发分段文件,DASH客户端已经通过参考MPD选择了流的获取源。广播服务器通过广播分发来分发MPD。此外,广播服务器通过广播分发来分发分段文件。
DASH缓存服务器监视CDN并临时缓存经由CDN分发到DASH客户端的分段文件。然后,在请求所缓存的分段文件的HTTP请求从DASH客户端发送到web服务器的情况下,DASH缓存服务器代表web服务器将所缓存的分段文件作为请求源分发到MPD客户端。
注意,DASH缓存服务器不仅可以临时缓存流的分段文件,还可以临时缓存MPD,并且可以代表DASH服务器将所缓存的MPD作为请求源提供给DASH客户端。此外,DASH缓存服务器能够接收并缓存MPD和通过广播分发分发的分段文件。
通过在CDN上提供DASH缓存服务器,内容分发系统可以提高HTTP流对大多数DASH客户端的分发效率。
<应用本技术的客户端设备的配置示例>
接下来,图7示出了在ATSC 3.0中采用DASH并且实现自由视点流服务的情况下,接收侧的客户端设备的配置示例。
客户端设备100也可以应用于在ATSC 3.0以外的标准中采用DASH来实现流分发服务的情况。
客户端设备(3.0客户端(具有ATSC 3.0PHY/MAC))100被假定为内置在例如电视接收机、录像机或机顶盒中,机顶盒安装在一般房屋中或安装在例如汽车的移动体中。
客户端设备100包括广播接收单元(客户端ATSC中间件)110、通信单元(以太网/WiFi等)120、代理服务器单元(客户端本地HTTP代理服务器)130和DASH客户端单元(3.0DASH客户端)140。
广播接收单元110执行经由例如地面数字广播或卫星广播的广播网络11接收从广播机10(对应于图6中的广播服务器)分发的MPD、流的分段文件、SLS文件等的处理。
广播接收单元110包括,接收广播波的调谐器单元111,从广播波提取分段文件的分段检索器112,从广播波提取低级信令(LLS)文件的LLS信令检索器113,以及分析LLS文件的LLS信令解析器114。此外,广播接收单元110包括从广播波中提取服务层信令(SLS)文件的SLS信令检索器115和分析SLS文件的SLS信令解析器116。
通信单元120执行请求(发送HTTP请求)广播机10(对应于图6中的DASH服务器和web服务器)发送MPD、流的分段文件、SLS文件并响应于该请求经由在例如因特网的双向通信网络中形成的CDN 12接收MPD和HTTP分发的分段文件的处理。
代理服务器单元130包括缓存经由广播网络11接收的各种文件的代理缓存131、缓存经由CDN 12接收的各种文件的代理缓存132、处理来自DASH客户端单元140的请求的广播/宽带地址解析器133。
广播/宽带地址解析器133响应于来自DASH客户端单元140的请求执行提供缓存在代理缓存131或132中的MPD和分段文件的处理。
此外,广播/宽带地址解析器133使用PER消息执行通过广播接收单元110和通信单元120将指示分段文件的接收状态等的供应可用性信息通知给DASH客户端单元140的处理。
此外,广播/宽带地址解析器133使用PER消息执行将广播分发并用信息通知给DASH客户端单元140的处理,广播分发并用信息指示是否通过广播分发与网络分发一起分发每个分段文件,以及指示在每个分段文件属于ROI的情况下的所属ROI的ROI标识符。下面将描述PER消息的细节。
DASH客户端单元140包括请求和获取MPD的MPD检索器141、分析MPD的MPD解析器142、通过参考MPD请求和获取分段文件的分段检索器143以及从分段文件提取和分析MP4数据的MP4解析器144。此外,DASH客户端单元140包括解码MP4数据的解码器145和呈现解码结果的呈现器146。
DASH客户端单元140在例如安装在客户端设备100中的浏览器上实现。然而,DASH客户端单元140不仅可以被实现为浏览器应用程序,还可以被实现为本机应用程序。DASH客户端单元140执行获取由广播接收单元110或通信单元120经由代理服务器单元130接收的MPD、分段文件、SLS文件等的处理,并呈现流和控制应用程序,从而在后续阶段(未示出)将流的视频和声音输出到监视器。
注意,DASH客户端单元140不仅可以安装在客户端设备100中,而且可以安装在经由LAN 20连接到客户端设备100的客户端设备200中。假定客户端设备200是例如智能手机、平板电脑等。
客户端设备200中的DASH客户端单元140经由LAN 20连接到客户端设备100,并且可以执行获取由广播接收单元110或通信单元120经由客户端设备100的代理服务器单元130接收的MPD、分段文件、SLS文件等的处理,以及呈现流和控制应用程序,从而在后续阶段(未示出)将流的视频和声音输出到监视器。
注意,尽管未示出,但是具有其中从客户端设备100省略DASH客户端单元140的配置的电源设备可以连接到LAN 20。在这种情况下,客户端设备100和200还可以请求供应设备来供应MPD、分段文件等。
如上所述,客户端设备100中的DASH客户端单元140和客户端设备200中的DASH客户端单元140总是经由代理服务器单元130获取各种文件。因此,DASH客户端单元140可以实现所谓的网络透明性,其中不需要知道经由广播网络11的广播分发和经由CDN 12的网络分发之间的区别,其中通过CDN 12分发要获取的各种文件。因此,DASH客户端单元140的可移植性增加,并且因此DASH客户端单元140可以安装到不能接收广播的设备。
接下来,将详细描述代理服务器单元130。当从DASH客户端单元140请求获取各种文件时(接收到HTTP请求),代理服务器单元130确定广播/宽带地址解析器133经由广播网络11和CDN 12中的哪一个来获取各种文件。从广播接收单元110的SLS信令解析器116提供作为用于确定的材料的信息。
广播接收单元110的SLS信令解析器116请求SLS信令检索器115获取作为ATSC 3.0的信令元数据的USBD/USD、S-TSID等。SLS信令检索器115从调谐器单元(ATSC 3.0PHY/MAC)111接收到的广播信号中提取SLS LCT分组携带的信令元数据。
此外,SLS信令解析器116从分段文件的获取请求中包括的url获取信令元数据,并且获取用于获取目标分段文件的广播分发地址信息。如果发现目标分段文件将在将来由广播分发来分发或者已经分发,则SLS信令解析器116从广播流获取其中存储目标分段文件的分段LCT分组,并且基于广播分发地址信息扩展代理服务器单元130的代理缓存131内的分段LCT分组。此后,代理服务器单元130将分段文件作为对HTTP请求的响应返回给DASH客户端单元140。
如果所请求的分段文件的url不存在于信令元数据中,则代理服务器单元130经由通信单元120获取分段文件,并在代理缓存132中扩展所获取的分段文件。此后,代理服务器单元130将分段文件作为对HTTP请求的响应返回给DASH客户端单元140。
<PER消息>
接下来,将描述PER消息。通过扩展下面将要描述的PER消息来存储供应可用性信息、广播分发并用信息和ROI标识符。
图8是用于描述PER消息的图。PER消息是DASH感知网络元件(DANE)300通知DASH客户端400的消息。
这里,DANE 300对应于图7所示的DASH客户端设备100的代理服务器单元130。DASH客户端400对应于DASH客户端设备100的DASH客户端单元140。
在DASH中,一种称为SAND的协议的定义正在被研究。SAND是用于交换和提供各种类型的实时网络环境(分发资源)信息的协议,实时网络环境(分发资源)信息可以从由网络运营商管理的DASH分发组件组提供,以有效地操作DASH。
在SAND中,PER被定义为从DANE 300提供给DASH客户端400的消息(PER消息)的消息协议。此外,状态被定义为从DASH客户端400提供给DANE 300的消息(状态消息)的消息协议。注意,在下文中,PER消息或状态消息也称为SAND消息。
在PER中,定义了一个名为ResourceStatus的消息和一个名为DaneResourceStatus的消息,作为与ResourceStatus类似的消息。
图9是用于描述ResourceStatus的元素的图。在本实施方式中,扩展ResourceStatus的status元素,使得可以存储供应可用性信息,并且代理服务器单元130将该扩展通知给DASH客户端单元140。
此外,扩展ResourceStatus的reason元素,使得可以存储广播分发并用信息和ROI标识符,并且代理服务器单元130将该扩展通知给DASH客户端单元140。Reason元素可以进一步描述由ROI标识符指示的ROI序列的元数据(例如,ROI序列所跟随并与之一起移动的玩家的名称等)。注意,由ROI标识符指示的ROI序列的元数据经由广播分发或网络分发被提供给客户端设备100。
已经接收到ResourceStatus的DASH客户端400可以基于该ResourceStatus选择下一个要请求的DASH分段文件。注意,由于在ResourceStatus中描述了有效时段,所以DASH客户端400可以认为内容在ResourceStatus的有效时段内是有效的。
<单向传输(ROUTE)协议上的实时对象传递>
接下来,将描述ROUTE协议。在ATSC 3.0中,基于IP的传输协议栈的标准化工作正在进行,并且基于MPEG-DASH文件格式的文件(ISO-BMFF文件或MP4文件)使用通过单向传输扩展文件传输(FLUTE)获得的ROUTE协议进行传送,该文件正在成为OTT分发中的主流。
通过使用该ROUTE协议,可以传送DASH的分段的MP4(分段的MP4文件)文件序列、作为DASH的控制元文件的MPD、各种类型的信令(通过扩展3GPP-MBMS-USD(用户服务描述)获得的ATSC版本的USD、作为ROUTE协议的控制元数据的S-TSID等)。
图10示出了基于ROUTE/DASH的堆栈。ROUTE协议是基于FLUTE的协议,描述FLUTE中传送控制参数的元数据文件称为文件分发表(FIT),并且与FDT相对应的ROUTE中的控制元数据称为基于服务的传输会话实例描述(S-TSID)(实际上S-TSID/../EFDT是最接近的)。
S-TSID描述关于在特定服务(对应于广播信道)内传送的所有服务组件(视频/音频/数据组件流——都被实现为文件传送会话)的传送控制元数据。S-TSID本身也作为服务信令会话在ROUTE会话中传送。
此外,尽管S-TSID是在一个服务内传送的组件文件会话的信令元数据,但是S-TSID准备称为服务列表(SLT)的信令元数据作为引导元数据,用于解析其中传送S-TSID本身的每个服务的服务信令元数据传送会话的地址(服务引导地址),并且由与UDP/IP上的服务不同的特殊目的地IP地址/目的地端口传送。
图11是用于描述与使用ROUTE协议的情况相对应的客户端侧上的操作的图。
在首先获取SLT之后,客户端设备110从服务引导地址获取期望服务的服务信令(服务级别信令),获取配置服务的服务组件本身,并执行呈现。
<自由视点流服务>
接下来,将再次描述根据本实施方式的内容分发系统可以实现的自由视点流服务。
图12和图13是示出整个成像空间510被划分为多个矩形区域511的情况的示例的图。
在图12和图13的情况下,整个成像空间510被划分为36个矩形区域511。注意,图12和图13中的(1,1)等指示矩形区域511在整个成像空间510中的布置。这里,在整个成像空间510的中央部设置有分别包括多个矩形区域511(在图12和图13的情况下为4个)的区域512A至512D。
例如,在要分发的内容是足球比赛的情况下,包括观众座位的整个体育场场馆被设置到整个成像空间510,并且体育场的场地(地面)被设置到区域512A至512D。此外,当球513在比赛期间移动时,移动之后的区域被设置为ROI 514,并且如图13中的A至图13中的C所示地改变。
在图12和图13所示的情况下,区域512A至512D的每个视频被分发给一个AdaptationSet,并且每个矩形区域511的每个视频被分发给DASH的AdaptationSet。然后,通过广播分发来分发与各个区域512A至512D的视频相对应的分段以及与ROI 514的视频相对应的分段,其中,ROI 514的视频具有被许多用户共同观看的高可能性。然后,与其它矩形区域511的视频相对应的分段通过网络分发来分发。注意,考虑到不能接收广播分发的用户和广播分发的省略(接收错误),属于所有AdaptationSet的分段也由网络分发来分发。
图14示出了分别对应于区域512A至512D的视频的分段和分别对应于矩形区域511的分段是通过广播分发(图14中的彩色分段)还是通过网络分发(图14中的无色分段)来分发。注意,图14中的上行、中行和下行分别对应于图13中的A、图13中的B和图13中的C。
例如,由于图13的A中的ROI 514包括四个矩形区域511(2,1、2,2、3,1和3,2),因此,如图14的上行所示,通过广播分发来分发分别对应于区域512A至512D的视频的分段和分别对应于四个矩形区域511(2,1、2,2、3,1和3,2)的视频的分段。
类似地,由于图13中的B中的ROI 514包括四个矩形区域511(3,2、3,3、4,2和4,3),因此,如图14中的中行所示,通过广播分发来分发分别对应于区域512A至512D的视频的分段和分别对应于四个矩形区域511(3,2、3,3、4,2和4,3)的视频的分段。
注意,在图13所示的示例中,仅设置球513之后的一个ROI。然而,例如,可以设置多个ROI,例如在主要玩家移动之后的ROI。注意,不需要通过广播分发来分发所有ROI,并且可以存在根据用户观看的可能性由网络分发来分发的ROI。
注意,尽管未示出,自由视点流服务也可以应用于例如将虚拟现实(VR)中经常使用的等距圆柱形图像映射到空间关系描述(SRD)的情况。
接下来,图15示出了其中将整个屏幕(或成像范围中的预定区域)划分为四个矩形区域的示例。在下文中,为了描述的简单,如图15所示,将描述其中整个屏幕被划分为四个矩形区域并且ROI由一个矩形区域配置,并且整个屏幕和四个矩形区域的各个视频被分配给DASH的AdaptationSet且被分发的情况作为示例。
在图15的示例中,AdaptationSet.1.T是整个屏幕的视频流,并且AdaptationSet.1-1.t到AdaptationSet.1-4.t是左上、右上、左下和右下矩形区域的相应视频流。注意,t是表示时间序列的参数。
此外,在图15的示例中,roiId1和roiId2这两个系统被设置为ROI。roiId1从AdaptationSet.1-1.1转换到AdaptationSet.1-2.2,并进一步转换到AdaptationSet.1-3.3。roiId2从AdaptationSet.1-3.1转换到AdaptationSet.1-2.2并进一步转换到AdaptationSet.1-2.3。
假设在ROI的两个系统中,roiId1具有比roiId2更高的关注度,并且属于roiId1的所有分段用于广播分发并用,而属于roiId2的所有分段仅用于网络分发。
AdaptationSet.1下的所有分段用于其中执行网络分发和广播分发的广播分发并用,并且分配用于网络分发的URL(例如,被描述为具有前缀“bb”的url),并且分配用于广播分发的URL(例如,被描述为具有前缀“bc”的url)。
仅在AdaptationSet由广播分发分发的情况下,才将用于网络分发的url和用于广播分发的url分配给AdaptationSet.1-1至AdaptationSet.1-4下的分段。在不执行广播分发的情况下(换句话说,仅在网络分发的情况下),仅分配用于网络分发的url。
此外,在每个分段属于ROI的情况下,适当地分配用于标识ROI序列的ROI标识符。
图16示出了AdaptationSet.1.t下的分段(例如,Segment.1.1等)和AdaptationSet.1-1.t至AdaptationSet.1-4.t下的分段(例如,Segment.1-1.1等)的广播分发并用和ROI标识符的存在/不存在。
例如,在Segment.1-1.1等下描述的url(bbSeg.1-1.1)表示Segment.1-1.1通过网络分发来分发。此外,url(bcSeg.1-1.1)表示Segment.1-1.1由广播分发来分发。此外,RoiIdentifier(roiId1)表示Segment.1-1.1属于roiId1的ROI系统。
例如,虽然在对应于整个屏幕的左上矩形区域的AdaptationSet.1-1.t中,t=1处的Segment.1-1.1属于roiId1并且因此被用于广播分发并用(执行广播分发和网络分发),但t=2和t=3处的Segment.1-1.2和Segment.1-1.3不属于ROI序列并且因此仅执行网络分发。
此外,例如,虽然在对应于整个屏幕的右上矩形区域的AdaptationSet.1-2.t中,t=1处的Segment.1-2.1不属于ROI序列并且因此仅执行网络分发,但t=2处的Segment.1-2.2属于roiId1和roiId2,并且因此被用于广播分发并用。
此外,例如,在对应于整个屏幕的左下矩形区域的AdaptationSet.1-3.t中,t=1处的Segment.1-3.1属于roiId2,但是在假定关注度低的情况下,仅执行网络分发。
如上所述,为了描述指示通过广播分发和网络分发中的哪一个将每个分段分发到MPD的分发模式信息,向作为AdaptationSet元素的子元素的baseURL元素描述添加到AdaptationSet下的每个分段的url的url前缀。
例如,在AdaptationSet/baseURL=“http://a.com/bc”的情况下,以及在AdaptationSet/representation/SegmentList/SegmentURL@media=“/segment11.mp4”被描述为属于AdaptationSet的预定分段的情况下,该分段的url是“http://a.com/bc/segment11.mp4”。
同时,由于ROI标识符不能以当前MPD中的分段为单位来描述,因此有必要扩展MPD。具体地,roiId元素被添加到SegmentURL的属性中,以便可以描述每个分段的ROI标识符。例如,<SegmentURL roiId="roiId1">指示分段的ROI标识符是“roiId1”。
如上所述,如果可以在MPD中描述以分段为单位的分发模式信息和ROI标识符,则考虑到广播分发和网络分发之间的差异,客户端设备100可以通过获取和分析MPD来获取分段文件。
因此,例如,在想要查看整个屏幕的用户的设备中,按SegmentUrl的bcSeg.1.1、bcSeg.1.2和bcSeg.1.3的顺序获取分段序列。此外,例如,在想要查看roiId=“roiId1”的用户的设备中,按bcSeg.1-1.1、bcSeg.1-2.2和bcSeg.1-3.3的顺序获取分段序列。类似地,在想要查看roiId=“roiId2”的用户的设备中,按bbSeg.1-3.1、bcSeg.1-2.2和bbSeg.1-2.3的顺序获取分段序列。
注意,在MPD中,在针对相同分段描述用于广播分发的url和用于网络分发的url(换句话说,该分段用于广播分发并用)的情况下,客户端设备100根据客户端设备100自身的接收状态等来确定是通过广播分发接收该分段还是通过网络分发接收该分段。
<存储用于MPD的分发模式信息和ROI标识符的情况>
图17示出了对应于图15和图16所示示例中的t=1的定时的MPD-SRD表达式。图18示出了整个图像以及矩形区域在整个图像中的位置和分辨率。
MPD-SRD中从<AdaptationSet id="1"...>到对应</AdaptationSet>的描述对应于图18中的A中斜线所示的整个屏幕。从<AdaptationSet id="1-1"...>到对应</AdaptationSet>的描述对应于图18中的B中斜线所示的整个屏幕的左上角矩形区域。这里描述的roiId=“roiId1”等是MPD的扩展部。
从<AdaptationSet id="1-3"...>到对应</AdaptationSet>的描述对应于图18中的C中斜线所示的整个屏幕的左下角矩形区域。从<AdaptationSet id=“1-4”...>到对应</AdaptationSet>的描述对应于图18中的D中斜线所示的整个屏幕的右上矩形区域。
图19和图20示出了处于特定扩展位置的MPD,以便描述ROI标识符。
如图19和图20所示,用于描述ROI标识符的roiId元素被添加到MPD/period/AdaptationSet/representation/SegmentList/SegmentURL的属性中。
接下来,图21示出了对应于扩展MPD的服务信令传输会话和组件文件传输会话的配置。
图21中的A所示的服务信令会话是用于传送作为服务层的信令XML分段的SLS的传输会话。图21中的B所示的组件文件会话是用于传送每个动态图像/声音/字幕/应用/配置服务的各种数据的传输会话。SLS中描述了组件会话的详细流属性,并且还描述了用于获取流的地址。
在ROUTE文件传送中,基于UDP/IP上的LCT分组的TSI来标识会话,并且通过LCT分组的TOI来标识会话内要传送的每个文件对象。
在图21中的A的示例中,包括USD和S-TSID的sls-bundle文件在由TSI=“sls-tsi”标识的服务信令会话中被传送。sls-bundel文件本身用文件URL=“slsid-url”和TOI=“0”标识,并且文件中存储的USD文件和S-TSID文件分别用文件URL=“usd-url”和“stsid-url”标识。(在LCT层中重新配置文件需要一组TSI和TOI,并且sls-bundle文件本身由TOI=“0”重新配置。因此,存储在sls-bundle文件中的USD和S-TSID文件不需要TOI(这在ROUTE中称为PackageMode的文件传送)。每个服务属性在针对USD的userServiceDescription(USBD/USD)中描述。
userServiceDescription有一个sTSIDUri属性来存储S-TSID文件的url(“stsid-url”)。组件的属性在S-TSID中的S-TSID/RS/LS/srcFlow中描述。
图21中的A的示例示出了S-TSID包括一个组件,在用TSI=“av-tsi”标识的会话中传送配置组件的文件组,在其中描述会话的文件组的属性的EFDT在与文件组相同的会话中传送,并且用URL=“efdt-url”标识EFDT。在同一会话中传送的一个文件在TSI=“av-tsi”标识的会话中传送的EFDT中进行了描述,并且该文件使用文件URL=“bcSeg.1-1.1”标识,并且可以通过使用TOI=“segmentFile-toi”收集LCT数据包来重新配置该文件。分段的内容存储在重新配置的文件中,该文件由文件URL=“bcSeg.1-1.1”标识。
因此,当客户端设备100的DASH客户端单元140发出具有预定分段URL的分段获取请求时,已经接收到该请求的代理服务器单元130从经由ATSC 3.0中间件110的信令检索器113和信令解析器114获取并分析的SLS信令分段和EFDT获取并重新配置期望的文件,并且将重新配置的文件作为响应返回给DASH客户端单元140。
同时,在从网络分发获取相同文件的情况下,向图21中的C所示的SegmentFile(文件URL"bbSeg.1-1.1")发出HTTP请求,并且获取响应于HTTP请求而提供的文件。
接下来,图22示出了在MPD中存储分发模式信息和ROI标识符的情况下的操作序列。
在分发侧,DASH服务器生成其中针对每个分段描述分发模式信息并且适当地存储ROI标识符的MPD,并且将MPD传送到广播服务器。此外,DASH服务器生成内容流的分段文件,并将分段文件传送到web服务器,并且还将分段文件的用于广播分发并用的分段文件传送到广播服务器。
MPD被传送到的广播服务器生成SLS文件,并通过广播分发经由广播网络分发所生成的SLS文件和所传送的MPD。此外,广播服务器通过ROUTE的FileMode中的广播分发来分发从DASH服务器传送的内容流的分段文件。
在接收侧的客户端设备100中,广播接收单元110接收由广播分发分发的MPD和SLS文件。此后,当DASH客户端单元140请求广播接收单元110提供MPD时,广播接收单元110响应于该请求将MPD提供给DASH客户端单元140。注意,在广播接收单元110不接收由广播分发分发的MPD的情况下,通信单元120可以向DASH服务器发出HTTP请求并获取由网络分发分发的MPD。
DASH客户端单元140可以基于MPD中描述的ROI标识符等来选择所请求的分段。在DASH客户端单元140基于MPD请求通过网络分发来分发分段的情况下,通信单元120向web服务器发出请求该分段的HTTP请求,接收从web服务器提供(网络分发)的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
此外,在DASH客户端单元140基于MPD请求通过广播分发分发分段的情况下,广播接收单元11接收通过广播分发分发的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
终止在MPD中存储分发模式信息和ROI标识符的情况下的操作序列的描述。
<使用针对MPD的SegmentTemplate的情况的处理>
顺便提及,在使用DASH进行分发(例如现场广播)的情况下,如果SegmentUrl被列在SegmentList中,则MPD的数据大小变得非常大(假设在ATSC 3.0等的情况下仅该分段的时间是大约0.5秒)。因此,在正常情况下,SegmentTemplate用于MPD。
图23是其中使用SegmentTemplate重写图17所示的MPD-SRD表达式的图。图24是图23中的MPD-SRD表达式的可视化。注意,图24中的虚线帧和单点划线帧中的SegmentUrl和ROI标识符表示不能由图23中的MPD-SRD表达式描述的部分。
通过使用针对MPD的SegmentTemplate,可以大大减小MPD的数据大小。注意,由于相同的生成规则以时段为单位应用于SegmentTemplate,因此不能为每个分段描述不同的属性(在这种情况下,分发模式信息和ROI标识符)。
从图24和图16之间的比较可以清楚地看出,在使用SegmentTemplate的情况下,不可能为某一分段指定广播分发url和网络分发url,而只指定在相同时段下按时间序列排列的分段序列中的其他分段的网络分发url。此外,不可能仅为特定分段指定ROI标识符。
因此,在将SegmentTemplate用于MPD的情况下,需要将不能针对各个分段指定的分发模式信息和ROI标识符存储到MPD以外的某处,并且向接收侧发送分发模式信息和ROI标识符的信号。
<在USD中存储分发模式信息和ROI标识符的情况>
接下来,将描述扩展SLS信令的USD并用信号化每个分段的分发模式信息和ROI标识符的方法。
每个分段的分发模式信息可以用传统的USD信号化。
USD与MPD相关联,并且当bundleDescriptionROUTE/userServiceDescription/deliveryMethod/broadcast AppService/basePattern(广播分发的url匹配模式)或.../unicastAppService/basePattern(网络分发的url匹配模式)中列出的部分(或全部)url与分段的url匹配时,由广播分发经由广播网络的ROUTE分发分段,或由网络分发经由CDN分发分段。
此外,可以使用分组在bundleDescriptionROUTE/userServiceDescription/deliveryMethod/appService/identicalContent中的一组url来指示由广播分发所分发的分段和由网络分发所分发的分段是相同的。
图25示出了在特定扩展位置处的USD,以便存储ROI标识符。如图25所示,对于ROI标识符(roiId),扩展每个分段的basePattern的属性以存储ROI标识符。
图26示出了对应于扩展USD的服务信令传输会话和组件文件传输会话的配置。
在图26的示例中,在broadcastAppService/basePattern中描述了“bcSeg.1-1.1”,其中在USD的userServiceDescription/deliveryMethod下描述了广播分发url的匹配模式,并且将“roiId1”描述为ROI标识符。同时,在unicastAppService/basePattern中描述“bbSeg.1-1.1”,其中描述了网络分发url的匹配模式,并且将“roiId1”描述为ROI标识符。这意味着,在广播分发和网络分发两者中,相同的ROI标识符被分配给某个分段。然后,可以通过按deliveryMethod/appService/identicalContent分组来指示相同的分段组。
这里,在basePattern中描述的匹配模式中,通常描述MPD中描述的baseURL或SegmentURL的一部分(例如,“http://a.com/bc”等)。然而,在描述每个分段的匹配模式的情况下,描述整个SegmentURL(直到可以唯一地解析SegmentURL的部分)。因此,在每个分段的ROI改变的情况下,每个分段的URL粒度变得等于USD的更新粒度。
在客户端设备100中获取分段而不跟踪ROI序列的情况下,当DASH客户端单元140向代理服务器单元130通知SegmentURL=“bbSeg.1-1.1”(网络分发url)的HTTP请求时,该通知被传递到广播接收单元110,并且广播接收单元110在USD中搜索bbSeg.1-1.1并且发现对应的广播分发url“bcSeg.1-1.1”是组件文件会话上的url时,广播接收单元110从广播流获取分段文件并将分段文件提供给DASH客户端单元140。
另一方面,在通过跟踪ROI序列获取分段的情况下,需要将指示广播接收单元110通过分析USD获得的分段属于哪个ROI序列的信息通知DASH客户端单元140。对于该通知,使用参照图8等描述的DASH的SAND消息。
具体地,如上所述,使广播分发并用信息和ROI标识符能够存储在SAND的ResourceStatus消息的ResourceStatus/Reason元素中。但是,在当前定义中,任意字符串都应该能够在reason元素中描述为提示信息。但是,对于应该描述哪种信息没有详细的定义(没有关于数据结构和语义的定义)。
因此,作为数据结构,提出了使一组SchemeIdUri(必需的)和value(可选的)能够被存储,从而可以存储任意的接收状态元数据。在SchemeIdUri中指定用于标识指示接收状态的数据的内容的URI,并且使得能够在该value中写入在URI中定义的值的内容。
例如,指示广播分发并用的URN“urn:atsc:BroadcastDelivery”被定义为SchemeIdUri,并且此外,“urn:atsc:roiValue”被定义为用于存储ROI标识符的方案,并且ROI标识符被存储在value属性中。
图27示出了存储广播分发并用信息和ROI标识符的ResourceStatus message消息的具体示例。如图27中的A所示,在ResourceStatus消息中描述了baseURL元素、status元素和reason元素。注意,如图27中的B所示,分发模式信息和ROI标识符在reason元素中被描述为处于base64编码状态的字符串。
接下来,图28示出了在USD中存储分发模式信息和ROI标识符的情况下的操作序列。
在分发侧,DASH服务器使用SegmentTemplate生成MPD,并将MPD传送到广播服务器。此外,DASH服务器生成内容流的分段文件,并将分段文件传送到web服务器,并且还将分段文件的用于广播分发并用的分段文件传送到广播服务器。
MPD被传送到的广播服务器生成包括存储分发模式信息和ROI标识符的USD的SLS文件,并通过广播分发经由广播网络分发所生成的SLS文件和所传送的MPD。此外,广播服务器通过ROUTE的FileMode中的广播分发来分发从DASH服务器传送的内容流的分段文件。
在接收侧的客户端设备100中,广播接收单元110接收由广播分发分发的MPD和SLS文件。此后,当DASH客户端单元140请求广播接收单元110提供MPD时,广播接收单元110响应于该请求将MPD提供给DASH客户端单元140。注意,在广播接收单元110不接收由广播分发分发的MPD的情况下,通信单元120可以向DASH服务器发出HTTP请求并获取由网络分发分发的MPD。
向其提供MPD的DASH客户端单元140基于SegmentTemplate通过恢复完整的Segment URL来再生MPD。
此外,广播接收单元110分析USD,确定每个分段的分发模式信息和ROI标识符,并将确定结果通知代理服务器单元130。代理服务器单元130生成存储分段的分发模式信息和ROI标识符的ResourceStatus消息,并将ResourceStatus消息通知给DASH客户端单元140。
DASH客户端单元140可以基于MPD和ResourceStatus消息中描述的ROI标识符等来选择所请求的分段。在DASH客户端单元140请求通过网络分发来分发分段的情况下,通信单元120向web服务器发出请求该分段的HTTP请求,接收从web服务器提供(网络分发)的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
此外,在DASH客户端单元140请求通过广播分发来分发分段的情况下,广播接收单元11接收通过广播分发分发的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
终止在USD中存储分发模式信息和ROI标识符的情况下的操作序列的描述。
顺便提及,在如上所述使用USD将每个分段的分发模式信息和ROI标识符信号化的情况下,当根据分段粒度(以分段为单位)改变分段是否用于广播分发并用时,需要在每次改变时更新UDS。但是,最初引入USD是为了通知在整个服务(信道)中没有更改的属性,并且不假定需要频繁更新的操作(但不禁止此类操作)。因此,对于不使用USD执行类似信令的两种方法,提出了以下方法(1)和(2)。
(1)在ROUTE的传送模式为FileMode的情况下,扩展EFDT以存储ROI标识符。
(2)在ROUTE的传送模式是不使用EFDT的EntityMode的情况下,扩展实体报头以存储用于标识同一内容的url和ROI标识符。
<EFDT扩展>
可以使用S-TSID的EFDT(信令分段的一部分(分段),其可以与在每个组件文件会话上描述的文件组一起传送)来将每个分段的分发模式信息和ROI标识符信号化。
图29示出了在特定扩展位置处的EFDT以便存储ROI标识符。如图29所示,RoiId和Identical-Content-Location并行添加在efdtType/routesls:FDTParameters/File/atributes/Content-Location属性中。
图30示出了对应于扩展EFDT的服务信令传输会话和组件文件传输会话的配置。
如图30所示,在从与用于生成分段的源的MPD相关联USD的bundleDescriptionROUTE/userServiceDescription@sTSIDUri引用的S-TSID分段的S-TSID/RS/LS/srcFlow/EFDT引用的组件文件会话中的EFDT中,在用于描述分段文件的文件URL的Content-Location属性中添加的Identical-Content-Location中描述网络分发url(在图30的情况下为bbSeg.1-1.1),并且在RoiId中描述ROI描述符(在图30的情况下为“roiid1”)。
在这种情况下,与使用扩展USD的情况类似,在不跟踪客户端设备100中的ROI序列的情况下获取分段时,当DASH客户端单元140向代理服务器单元130通知SegmentURL=“bbSeg.1-1.1”(网络分发url)的HTTP请求时,该通知被传递到广播接收单元110,并且广播接收单元110在EFDT中搜索bbSeg.1-1.1并且发现对应的广播分发url“bcSeg.1-1.1”是组件文件会话上的url时,广播接收单元110从广播流获取分段文件并将分段文件提供给DASH客户端单元140。
另一方面,在通过跟踪ROI序列获取分段时,需要将指示广播接收单元110通过分析EFDT获得的分段属于哪个ROI序列的信息通知给DASH客户端单元140。对于该通知,使用上述DASH等的SAND消息。
接下来,图31示出了在EFDT中存储分发模式信息和ROI标识符的情况下的操作序列。
在分发侧,DASH服务器使用SegmentTemplate生成MPD,并将MPD传送到广播服务器。此外,DASH服务器生成内容流的分段文件,并将分段文件传送到web服务器,并且还将分段文件的用于广播分发并用的分段文件传送到广播服务器。
MPD被传送到的广播服务器生成包括存储分发模式信息和ROI标识符的EFDT的SLS文件,并通过广播分发经由广播网络分发所生成的SLS文件和所传送的MPD。此外,广播服务器通过ROUTE的FileMode中的广播分发来分发从DASH服务器传送的内容流的分段文件。
在接收侧的客户端设备100中,广播接收单元110接收由广播分发分发的MPD和SLS文件。当DASH客户端单元140请求广播接收单元110提供MPD时,广播接收单元110响应于该请求将MPD提供给DASH客户端单元140。注意,在广播接收单元110不接收由广播分发分发的MPD的情况下,通信单元120可以向DASH服务器发出HTTP请求并获取由网络分发分发的MPD。
向其提供MPD的DASH客户端单元140基于SegmentTemplate通过恢复完整的Segment URL来再生MPD。
此外,广播接收单元110分析EFDT,确定每个分段的分发模式信息和ROI标识符,并将确定结果通知代理服务器单元130。代理服务器单元130生成存储分段的分发模式信息和ROI标识符的ResourceStatus消息,并将ResourceStatus消息通知给DASH客户端单元140。
DASH客户端单元140可以基于MPD和ResourceStatus消息中描述的ROI标识符等来选择所请求的分段。在DASH客户端单元140请求通过网络分发来分发分段的情况下,通信单元120向web服务器发出请求该分段的HTTP请求,接收从web服务器提供(网络分发)的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
此外,在DASH客户端单元140请求通过广播分发分发分段的情况下,广播接收单元11接收通过广播分发分发的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
终止在EFDT中存储分发模式信息和ROI标识符的情况下的操作序列的描述。
<实体报头的扩展>
在组件文件会话期间,在EntityMode中传送每个分段的分发模式信息和ROI标识符的文件,并扩展实体报头,由此可以将分发模式信息和ROI标识符信号化。
图32示出了对应于扩展实体报头的服务信令传输会话和组件文件传输会话的配置。
如图32所示,在从与作为生成分段的源的MPD相关联的USD的bundleDescriptionROUTE/userServiceDescription@sTSIDUri引用的S-TSID分段的S-TSID/RS/LS@tsi引用的组件文件会话中流动的分段文件的实体报头中提供Identical-Content-Locatio元素和ROI-id元素,并且在Identical-Content-Location中描述网络分发url(在图32的情况下为bbSeg.1-1.1),并且在ROI-id中描述ROI标识符(在图32的情况下为roiid1)。
在这种情况下,类似于使用扩展USD或扩展EFDT的情况,在不跟踪客户端设备100中的ROI序列的情况下获取分段时,当DASH客户端单元140向代理服务器单元130通知SegmentURL=“bbSeg.1-1.1”(网络分发url)的HTTP请求时,该通知被传递到广播接收单元110,并且广播接收单元110基于bbSeg.1-1.1从广播流获取的EntityMode分发的文件组的实体报头中发现“bbSeg.1-1.1”作为对应于bbSeg.1-1.1的广播分发url是组件文件会话上的url,广播接收单元110从广播流获取分段文件并将分段文件提供给DASH客户端单元140。
另一方面,在通过跟踪ROI序列来获取分段时,需要将指示广播接收单元110通过分析实体报头而获得的分段属于哪个ROI序列的信息通知给DASH客户端单元140。对于该通知,使用上述DASH等的SAND消息。
接下来,图32示出了在实体报头中存储分发模式信息和ROI标识符的情况下的操作序列。
在分发侧,DASH服务器使用SegmentTemplate生成MPD,并将MPD传送到广播服务器。此外,DASH服务器生成存储分发模式信息和ROI标识符的实体报头,并生成内容流的分段文件,并将分段文件传送到web服务器,并且还将分段文件的用于广播分发并用的分段文件传送到广播服务器。
MPD被传送到的广播服务器生成SLS文件,并通过广播分发经由广播网络分发所生成的SLS文件和所传送的MPD。此外,广播服务器以ROUTE的EntityMode分发通过广播分发从DASH服务器传送的内容流的分段文件。
在接收侧的客户端设备100中,广播接收单元110接收由广播分发分发的MPD和SLS文件。当DASH客户端单元140请求广播接收单元110提供MPD时,广播接收单元110响应于该请求将MPD提供给DASH客户端单元140。注意,在广播接收单元110不接收由广播分发分发的MPD的情况下,通信单元120可以向DASH服务器发出HTTP请求并获取由网络分发分发的MPD。
向其提供MPD的DASH客户端单元140基于SegmentTemplate通过恢复完整的Segment URL来再生MPD。
此外,广播接收单元110分析实体报头,确定每个分段的分发模式信息和ROI标识符,并将确定结果通知代理服务器单元130。代理服务器单元130生成存储分段的分发模式信息和ROI标识符的ResourceStatus消息,并将ResourceStatus消息通知给DASH客户端单元140。
DASH客户端单元140可以基于MPD和ResourceStatus消息中描述的ROI标识符等来选择所请求的分段。在DASH客户端单元140请求通过网络分发来分发分段的情况下,通信单元120向web服务器发出请求该分段的HTTP请求,接收从web服务器提供(网络分发)的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
此外,在DASH客户端单元140请求通过广播分发分发分段的情况下,广播接收单元11接收通过广播分发分发的分段,并将该分段提供给DASH客户端单元140。DASH客户端单元140再现所提供的分段。
终止在实体报头中存储分发模式信息和ROI标识符的情况下的操作序列的描述。
<在客户端设备100中使用ROI标识符的示例>
如上所述,在提供对应于每个ROI序列的元数据的情况下,客户端设备100可以使用用于U/I的元数据。图34示出了ROI标识符和对应于每个ROI序列的元数据的使用示例。
图34中的A示出了其中当在屏幕600上显示设置了ROI的人601时,相应元数据(人名等)的显示区域602与人601一起移动并显示的使用示例。在该使用示例中,例如,在用户指定包括人601X的区域603X的情况下,可以以人601X为中心放大屏幕600的视频,或者切换到设置为人601X的ROI的视频。
图34中的B示出了其中当在屏幕600上显示设置了ROI的人601时,在屏幕600的端部集中显示元数据(人名等)的显示区域602的使用示例。在该使用示例中,例如,在用户选择与人601Y相对应的元数据的显示区域602Y的情况下,可以强调屏幕600上的人601Y(在图34中的B的显示示例中,在人601Y周围显示以闪烁方式显示的帧605),以人601Y为中心放大,或者切换到设置为人601Y的ROI的视频。
<其他实施方式>
顺便提及,上述一系列处理可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下,在计算机中安装配置软件的程序。这里,计算机的示例包括并入专用硬件中的计算机,以及能够通过例如安装各种程序来执行各种功能的通用个人计算机等。
图35是示出通过程序执行上述系列处理的计算机的硬件的配置示例的框图。
在计算机1100中,中央处理单元(CPU)1101、只读存储器(ROM)112和随机存取存储器(RAM)1103通过总线1104相互连接。
此外,输入/输出接口1105连接到总线1104。输入单元1106、输出单元1107、存储单元1108、通信单元1109和驱动器1110连接到输入/输出接口1105。
输入单元1106包括键盘、鼠标、麦克风等。输出单元1107包括显示器、扬声器等。存储单元1108包括硬盘、非易失性存储器等。通信单元1109包括网络接口等。驱动器1110驱动例如磁盘、光盘、磁光盘或半导体存储器的可移除介质1111。
在如上所述配置的计算机1100中,CPU 1101将例如存储在存储单元1108中的程序加载到RAM 1103中,并且经由输入/输出接口1105和总线1104执行该程序,由此执行上述系列的处理。
由计算机1100(CPU 1101)执行的程序例如可以作为封装介质等记录在可移除介质1111上,并且被提供。此外,可以经由例如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机1100中,可移除介质1111附接到驱动器1110,由此程序可以经由输入/输出接口1105安装在存储单元1108中。此外,通信单元1109可以经由有线或无线传输介质接收程序,并将其安装在存储单元1108中。除了上述方法之外,程序可以预先安装在ROM 1102或存储单元1108中。
注意,由计算机1100执行的程序可以是按照本说明书中描述的顺序按时间顺序处理的程序,或者可以是并行执行的程序或在例如进行调用时的必要定时处执行的程序。
注意,本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的要旨的情况下进行各种修改。
本技术还可以具有以下配置。
(1)
一种分发装置,包括:
分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;
分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧;以及
通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
(2)
根据(1)的分发装置,其中,
通知单元还将指示通过网络分发和广播分发中的哪一个来分发分段文件的分发模式信息,作为与分段文件相关的属性信息通知给接收侧。
(3)
根据(1)或(2)的分发装置,其中,
通知单元在以DASH定义的MPD中描述与分段文件相关的属性信息,并将属性信息通知给接收侧。
(4)
根据(1)或(2)的分发装置,其中,
在以DASH定义的MPD中使用SegmentTemplate的情况下,通知单元以USD描述与分段文件相关的属性信息,并将属性信息通知给接收侧。
(5)
根据(1)或(2)的分发装置,其中,
在以DASH定义的MPD中使用SegmentTemplate的情况下,通知单元以EFDT描述与分段文件相关的属性信息,并将属性信息通知给接收侧。
(6)
根据(1)或(2)的分发装置,其中,
在以DASH定义的MPD中使用SegmentTemplate的情况下,通知单元在实体报头中描述与分段文件相关的属性信息,并将属性信息通知给接收侧。
(7)
根据(1)至(6)中任一项的分发装置,其中,
一个或多个ROI被设置为成像范围。
(8)
根据(1)至(7)中任一项的分发装置,其中
分发单元通过网络分发分发分别对应于区域的视频流的所有分段文件,并通过广播分发分发对应于ROI中包括的区域的分段文件。
(9)
一种通过分发装置的分发方法,该分发方法包括:
通过分发装置,
分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;
分发步骤,通过网络分发或广播分发中的至少一个,将每个区域的视频流的分段文件提供给接收侧;以及
通知步骤,在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
(10)
一种程序,使计算机用作:
分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;
分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧;以及
通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息。
(11)
一种接收装置,包括:
分析单元,被配置为在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取和分析与对应于ROI中包括的区域的视频流的分段文件相关的属性信息以及包括用于标识至少所属ROI的ROI标识符的属性信息;
请求单元,被配置为基于属性信息的分析结果来请求与预定ROI标识符相对应的分段文件;
获取单元,被配置为通过网络分发或广播分发获取与预定ROI标识符相对应的所请求的分段文件;以及
再现单元,被配置为再现所获取的分段文件。
(12)
根据(11)的接收装置,其中,
请求单元向用户请求与由操作指定的ROI标识符相对应的分段文件。
(13)
根据(12)的接收装置,其中,
请求单元请求与由操作指定的ROI标识符相对应的分段文件,以在屏幕上指定对象。
(14)
根据(12)的接收装置,其中,
请求单元请求与由操作指定的ROI标识符相对应的分段文件,来选择对象的元数据。
(15)
根据(11)至(14)中任一项的接收装置,其中,
属性信息还包括指示通过网络分发和广播分发中的哪一个来分发分段文件的分发模式信息,以及
获取单元基于分发模式信息通过网络分发或广播分发获取与预定ROI标识符相对应的所请求的分段文件。
(16)
根据(11)至(15)中任一项的接收装置,其中,
由分析单元使用SAND消息将属性信息的分析结果通知给请求单元。
(17)
一种通过接收装置的接收方法,该接收方法包括:
通过接收装置,
分析步骤,在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取和分析与对应于ROI中包括的区域的视频流的分段文件相关的属性信息以及包括用于标识至少所属ROI的ROI标识符的属性信息;
请求步骤,基于属性信息的分析结果,请求与预定ROI标识符相对应的分段文件;
获取步骤,通过网络分发或广播分发获取与预定ROI标识符相对应的所请求的分段文件;以及
再现步骤,再现所获取的分段文件。
(18)
一种程序,使计算机用作:
分析单元,被配置为在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取和分析与对应于ROI中包括的区域的视频流的分段文件相关的属性信息以及包括用于标识至少所属ROI的ROI标识符的属性信息;
请求单元,被配置为基于属性信息的分析结果来请求与预定ROI标识符相对应的分段文件;
获取单元,被配置为通过网络分发或广播分发获取与预定ROI标识符相对应的所请求的分段文件;以及
再现单元,被配置为再现所获取的分段文件。
(19)
一种内容分发系统,包括分发装置和接收装置,
分发装置包括:
分段归档单元,被配置为使通过将划分为多个区域的成像范围成像而获得的每个区域的视频流制成分段文件;
分发单元,被配置为通过网络分发或广播分发中的至少一个将每个区域的视频流的分段文件提供给接收侧;以及
通知单元,被配置为在包括一个或多个区域的ROI被设置为成像范围的情况下,将ROI标识符通知给接收侧,ROI标识符用于将所属ROI标识为与对应于ROI中包括的区域的分段文件相关的属性信息,以及
接收装置,包括:
分析单元,被配置为分析来自分发装置的通知中给出的属性信息;
请求单元,被配置为基于属性信息的分析结果来请求与预定ROI标识符相对应的分段文件;
获取单元,被配置为通过网络分发或广播分发获取与预定ROI标识符相对应的所请求的分段文件;以及
再现单元,被配置为再现所获取的分段文件。
参考符号列表
10 广播机
11 广播网络
12 CDN
20 局域网
100 客户端设备
110 广播接收单元
120 通信单元
130 代理服务器单元
140 DASH客户端单元
300 DANE
400 DASH客户端
514 ROI
1100 计算机
1101 CPU。

Claims (19)

1.一种分发装置,包括:
分段归档单元,被配置为使通过将划分为多个区域的成像范围进行成像而获得的每个所述区域的视频流制成分段文件;
分发单元,被配置为通过网络分发和广播分发中的至少一个将每个所述区域的视频流的所述分段文件提供给接收侧;以及
通知单元,被配置为在包括一个或多个所述区域的ROI被设置为所述成像范围的情况下,将用于标识所属的所述ROI的ROI标识符作为与对应于形成所述ROI的所述区域的所述分段文件相关的属性信息通知给所述接收侧。
2.根据权利要求1所述的分发装置,其中,
所述通知单元还将指示通过所述网络分发和所述广播分发中的哪一个来分发所述分段文件的分发模式信息作为与所述分段文件相关的所述属性信息通知给所述接收侧。
3.根据权利要求2所述的分发装置,其中,
所述通知单元在以DASH定义的MPD中描述与所述分段文件相关的所述属性信息,并将所述属性信息通知给所述接收侧。
4.根据权利要求2所述的分发装置,其中,
在以DASH定义的MPD中使用SegmentTemplate的情况下,所述通知单元在USD中描述与所述分段文件相关的所述属性信息,并将所述属性信息通知给所述接收侧。
5.根据权利要求2所述的分发装置,其中,
在以DASH定义的MPD中使用SegmentTemplate的情况下,所述通知单元在EFDT中描述与所述分段文件相关的所述属性信息,并将所述属性信息通知给所述接收侧。
6.根据权利要求2所述的分发装置,其中,
在以DASH定义的MPD中使用SegmentTemplate的情况下,所述通知单元在实体报头中描述与所述分段文件相关的所述属性信息,并将所述属性信息通知给所述接收侧。
7.根据权利要求2所述的分发装置,其中,
一个或多个所述ROI被设置为所述成像范围。
8.根据权利要求2所述的分发装置,其中,
所述分发单元通过所述网络分发来分发分别对应于所述区域的所述视频流的所有分段文件,并通过所述广播分发来分发对应于形成所述ROI的所述区域的所述分段文件。
9.一种分发装置的分发方法,所述分发方法包括:
通过所述分发装置,
分段归档单元,被配置为使通过将划分为多个区域的成像范围进行成像而获得的每个所述区域的视频流制成分段文件;
分发步骤,通过网络分发和广播分发中的至少一个,将每个所述区域的所述视频流的所述分段文件提供给接收侧;以及
通知步骤,在包括一个或多个所述区域的ROI被设置为所述成像范围的情况下,将用于标识所属的所述ROI的ROI标识符作为与对应于形成所述ROI的所述区域的所述分段文件相关的属性信息通知给所述接收侧。
10.一种程序,使计算机用作:
分段归档单元,被配置为使通过将划分为多个区域的成像范围进行成像而获得的每个所述区域的视频流制成分段文件;
分发单元,被配置为通过网络分发和广播分发中的至少一个将每个所述区域的所述视频流的所述分段文件提供给接收侧;以及
通知单元,被配置为在包括一个或多个所述区域的ROI被设置为所述成像范围的情况下,将用于标识所属的所述ROI的ROI标识符作为与对应于形成所述ROI的所述区域的所述分段文件相关的属性信息通知给所述接收侧。
11.一种接收装置,包括:
分析单元,被配置为在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下获取并分析与对应于形成所述ROI的所述区域的视频流的分段文件相关的属性信息和包括用于至少标识所属的所述ROI的ROI标识符的所述属性信息;
请求单元,被配置为基于所述属性信息的分析结果来请求对应于预定ROI标识符的所述分段文件;
获取单元,被配置为通过网络分发或广播分发来获取对应于所述预定ROI标识符的所请求的所述分段文件;以及
再现单元,被配置为再现所获取的所述分段文件。
12.根据权利要求11所述的接收装置,其中,
所述请求单元请求对应于由来自用户的操作所指定的ROI标识符的所述分段文件。
13.根据权利要求12所述的接收装置,其中,
所述请求单元请求对应于由指定屏幕上的对象的操作所指定的ROI标识符的所述分段文件。
14.根据权利要求13所述的接收装置,其中,
所述请求单元请求对应于由选择对象的元数据的操作所指定的ROI标识符的所述分段文件。
15.根据权利要求12所述的接收装置,其中,
所述属性信息还包括指示通过所述网络分发和所述广播分发中的哪一个来分发所述分段文件的分发模式信息,以及
所述获取单元基于所述分发模式信息通过所述网络分发或所述广播分发来获取所请求的对应于所述预定ROI标识符的分段文件。
16.根据权利要求12所述的接收装置,其中,
使用SAND消息将通过所述分析单元获得的所述属性信息的所述分析结果通知给所述请求单元。
17.一种接收装置的接收方法,所述接收方法包括:
通过所述接收装置执行的,
分析步骤,在包括一个或多个区域的ROI被设置于划分为多个区域的成像范围的情况下,获取和分析与对应于形成所述ROI的所述区域的视频流的分段文件相关的属性信息和包括用于至少标识所属的所述ROI的ROI标识符的所述属性信息;
请求步骤,基于所述属性信息的分析结果请求对应于预定ROI标识符的所述分段文件;
获取步骤,通过网络分发或广播分发获取所请求的对应于所述预定ROI标识符的分段文件;以及
再现步骤,再现所获取的所述分段文件。
18.一种程序,使计算机用作:
分析单元,被配置为在包括一个或多个区域的ROI被设置为划分为多个区域的成像范围的情况下,获取并分析与对应于形成所述ROI的所述区域的视频流的分段文件相关的属性信息和包括用于至少标识所属的所述ROI的ROI标识符的所述属性信息;
请求单元,被配置为基于所述属性信息的分析结果来请求对应于预定ROI标识符的所述分段文件;
获取单元,被配置为通过网络分发或广播分发获取所请求的对应于所述预定ROI标识符的分段文件;以及
再现单元,被配置为再现所获取的所述分段文件。
19.一种内容分发系统,包括分发装置和接收装置,
所述分发装置包括:
分段归档单元,被配置为使通过将划分为多个区域的成像范围进行成像而获得的每个所述区域的视频流制成分段文件;
分发单元,被配置为通过网络分发和广播分发中的至少一个将每个所述区域的视频流的所述分段文件提供给接收侧;以及
通知单元,被配置为在包括一个或多个所述区域的ROI被设置为所述成像范围的情况下,将用于标识所属的所述ROI的ROI标识符作为与对应于形成所述ROI的所述区域的所述分段文件相关的属性信息通知给所述接收侧,以及
所述接收装置,包括:
分析单元,被配置为分析从所述分发装置通知的所述属性信息;
请求单元,被配置为基于所述属性信息的分析结果来请求对应于预定ROI标识符的所述分段文件;
获取单元,被配置为通过网络分发或广播分发获取所请求的对应于所述预定ROI标识符的分段文件;以及
再现单元,被配置为再现所获取的分段文件。
CN201780051300.4A 2016-08-30 2017-08-17 分发装置和方法、接收装置和方法、介质和内容分发系统 Expired - Fee Related CN109644286B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016167607 2016-08-30
JP2016-167607 2016-08-30
PCT/JP2017/029488 WO2018043134A1 (ja) 2016-08-30 2017-08-17 配信装置、配信方法、受信装置、受信方法、プログラム、およびコンテンツ配信システム

Publications (2)

Publication Number Publication Date
CN109644286A true CN109644286A (zh) 2019-04-16
CN109644286B CN109644286B (zh) 2021-08-17

Family

ID=61300582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051300.4A Expired - Fee Related CN109644286B (zh) 2016-08-30 2017-08-17 分发装置和方法、接收装置和方法、介质和内容分发系统

Country Status (8)

Country Link
US (2) US10750243B2 (zh)
EP (1) EP3509310B1 (zh)
JP (1) JPWO2018043134A1 (zh)
KR (1) KR102376204B1 (zh)
CN (1) CN109644286B (zh)
CA (1) CA3034585A1 (zh)
MX (1) MX2019002296A (zh)
WO (1) WO2018043134A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131515B (zh) * 2019-12-31 2022-07-15 武汉市烽视威科技有限公司 一种cdn边缘注入分发方法及系统
US11765428B2 (en) * 2021-04-07 2023-09-19 Idomoo Ltd System and method to adapting video size
EP4138401A1 (en) * 2021-08-17 2023-02-22 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN114500846B (zh) * 2022-02-12 2024-04-02 北京蜂巢世纪科技有限公司 现场活动观看视角切换方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219569A (zh) * 2013-05-29 2014-12-17 西斯维尔科技有限公司 用于处理从多个分发平台可接收的视频内容的视频接收装置及其方法
WO2015060349A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示制御装置、配信装置、表示制御方法、および表示制御システム
WO2015198725A1 (ja) * 2014-06-23 2015-12-30 キヤノン株式会社 通信装置、通信方法、及びプログラム
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
CN105340289A (zh) * 2013-08-29 2016-02-17 松下电器(美国)知识产权公司 发送方法、接收方法、发送装置及接收装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139130B (zh) * 2012-10-12 2022-09-20 佳能株式会社 流传输数据的方法、发送和接收视频数据的方法和设备
CN111954029B (zh) * 2015-01-29 2022-08-16 Lg 电子株式会社 广播信号发送和接收设备及广播信号发送和接收方法
CA3013111C (en) * 2016-02-02 2022-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scene section and region of interest handling in video streaming

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219569A (zh) * 2013-05-29 2014-12-17 西斯维尔科技有限公司 用于处理从多个分发平台可接收的视频内容的视频接收装置及其方法
CN105340289A (zh) * 2013-08-29 2016-02-17 松下电器(美国)知识产权公司 发送方法、接收方法、发送装置及接收装置
WO2015060349A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示制御装置、配信装置、表示制御方法、および表示制御システム
WO2015198725A1 (ja) * 2014-06-23 2015-12-30 キヤノン株式会社 通信装置、通信方法、及びプログラム
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Also Published As

Publication number Publication date
KR20190042568A (ko) 2019-04-24
US20190182550A1 (en) 2019-06-13
US11252478B2 (en) 2022-02-15
EP3509310B1 (en) 2020-09-30
CA3034585A1 (en) 2018-03-08
EP3509310A1 (en) 2019-07-10
WO2018043134A1 (ja) 2018-03-08
CN109644286B (zh) 2021-08-17
KR102376204B1 (ko) 2022-03-21
US20200351559A1 (en) 2020-11-05
MX2019002296A (es) 2019-07-04
US10750243B2 (en) 2020-08-18
JPWO2018043134A1 (ja) 2019-06-24
EP3509310A4 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
US11252478B2 (en) Distribution device, distribution method, reception device, reception method, program, and content distribution system
CN104396263A (zh) 用于流式媒体内容的实时复用变换的方法和系统
JP6519586B2 (ja) 受信装置、受信方法、送信装置、及び、送信方法
US12120365B2 (en) Reception device, reception method, transmission device, and transmission method
US20150348236A1 (en) Method and system for video stream personalization
CN107534793A (zh) 接收装置、传输装置以及数据处理方法
JPWO2018079295A1 (ja) 情報処理装置、及び、情報処理方法
CN106105239B (zh) 发送设备、发送方法、接收设备、接收方法和程序
CN105284118B (zh) 内容供应装置、内容供应方法、程序存储介质、终端装置和内容供应系统
CN105493513B (zh) 内容提供设备、方法、终端设备、系统以及存储介质
KR102533674B1 (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
KR102319932B1 (ko) 수신 장치 및 수신 방법, 재생 장치 및 재생 방법, 공급 장치 및 공급 방법, 그리고 프로그램
Nikić et al. System for DASH support verification in HbbTV environment
WO2018012315A1 (ja) 情報処理装置、及び、情報処理方法
KR20210025508A (ko) Atsc 3.0 기반의 방송 콘텐츠 전송 장치 및 방법과, 방송 콘텐츠 수신 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210817