CN107534792B - 接收设备、发送设备以及数据处理方法 - Google Patents

接收设备、发送设备以及数据处理方法 Download PDF

Info

Publication number
CN107534792B
CN107534792B CN201680023166.2A CN201680023166A CN107534792B CN 107534792 B CN107534792 B CN 107534792B CN 201680023166 A CN201680023166 A CN 201680023166A CN 107534792 B CN107534792 B CN 107534792B
Authority
CN
China
Prior art keywords
data
event
application
application control
control message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680023166.2A
Other languages
English (en)
Other versions
CN107534792A (zh
Inventor
山岸靖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107534792A publication Critical patent/CN107534792A/zh
Application granted granted Critical
Publication of CN107534792B publication Critical patent/CN107534792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • H04H20/91Arrangements characterised by the broadcast information itself broadcasting computer programmes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/25Arrangements for updating broadcast information or broadcast-related information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173End-user applications, e.g. Web browser, game
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Communication Control (AREA)

Abstract

本发明实现了一种使能够使用应用控制消息而可靠地执行应用控制的配置。发送装置将事件通知数据发送至接收装置,在事件通知数据中,应用控制消息(ACM)被存储为事件数据。接收装置的应用控制单元执行基于在事件通知消息中存储为事件数据的ACM的应用控制。事件通知数据存储在用作信令数据的MPD中或用作用于AV内容的发送数据的段中,并且接收装置可以通过从MPD或段获取ACM而执行快速应用控制。

Description

接收设备、发送设备以及数据处理方法
技术领域
本公开涉及一种接收设备、发送设备以及数据处理方法。更具体地,本公开涉及一种例如通过广播波或网络执行数据的接收或发送的接收设备和发送设备、以及对应于通信数据的数据处理方法。
背景技术
OTT(过顶(Over The Top))可用作数据分发方法,无论各个电信运营商的服务形式如何,都能够通过此方法分发图像数据、声音数据等的内容。通过OTT的分发内容被称为OTT内容,并且其中利用了OTT的图像(视频)数据的分发服务被称为OTT视频或OTT-V(过顶视频)。
根据OTT-V,DASH(通过HTTP的动态自适应流)标准可用作数据流分发标准。DASH是与使用基于HTTP(超文本传输协议)的流协议的自适应(adaptive)流分发有关的标准。
在自适应(adaptive)流中,为了允许通过变成数据分发目的地的各个客户端再现内容,广播站等的内容分发服务器产生描述多个比特率的视频内容的段文件和段文件的属性信息或URL的清单文件,并且将产生的清单文件提供给客户端。
客户端将从服务器获取清单文件,根据拥有设备的显示单元的尺寸或可用通信频带来选择最佳比特率内容,并且接收和再现所选择的内容。也可以响应于网络频带的变化而执行比特率的动态变化,并且客户端侧可以根据实时情形可切换地接收最佳内容,并且实现减少了视频中断的发生的视频内容的再现。注意,例如,在PTL 1(JP 2011-87103 A)中描述了自适应(adaptive)流。
正在积极开展对使用通过广播波等的单向通信、或双向通信、或通过网络(诸如互联网)的单向通信从广播站或某些其他发送设备(诸如内容服务器等)接收内容(诸如广播节目)并且将该内容发送至接收设备(诸如电视机、PC(个人电脑)、或便携式终端)的系统的开发和标准化。
注意,作为公开用于通过广播波和网络实现数据分发的技术的现有技术文献,例如,PTL 2(JP 2014-057227A)是可用的。
作为与通过广播波和网络的数据分发系统有关的标准,目前正在进行ATSC(高级电视系统委员会)3.0的标准化。
在ATSC3.0中,正在研究这样一种配置,其中,将用于执行ATSC3.0广播的接收处理等的中间件整合到具有整合在其中的ATSC3.0兼容的物理层(ATSC-PHY)的广播分发装置(安装调谐器的装置)中,使得接收包括用于ATSC广播的控制信息等的信令数据,以允许基于信令数据的各种控制。
具体地,正在研究这样一种配置,其中,利用互联网等(即实际上,客户端应用)上所使用的应用程序,基于信令数据的控制可以实现广播内容的输出处理或者利用由广播波等提供的各种应用的数据处理。
例如,将ATSC3.0兼容的物理层(ATSC-PHY)和ATSC3.0广播接收中间件整合到安装在家中或热点处并且接收广播服务的服务器(除了用于专用的服务器、PC、TV(电视)机、平板电脑、智能电话等之外,还有其他的)中。
一旦接收ATSC3.0广播服务之后,服务器通过网络(家庭网络或热点处的LAN/Wi-Fi(无线保真)等)将广播接收数据传输至用户设备(PC、TV机、平板电脑、智能电话等)。
输入有通过服务器传输的广播接收数据的用户设备利用在用户设备的再现控制单元或应用控制单元上操作的应用(例如,ATSC3.0 DASH客户端应用),可以执行由广播分发的广播内容或各种应用的再现。
以这种形式,执行包括ATSC3.0广播服务的控制信息的信令数据的分析等的中间件,变成可以在信令数据的接收定时执行即时分析处理的终端装置。因此,作为不从信令数据的接收定时引起延迟的即时处理,出现用户设备的再现控制单元或应用控制单元在后续级不能根据通过广播波等发送的信令数据的分析结果而执行处理的这种情况。
然而,通过中间件处理的信令数据有时包括应用控制消息。
该消息是为控制由应用控制单元在后续级执行的应用而使用的消息,并且存在如果不能参考应用控制消息,则应用控制单元不能执行正确的应用控制的问题。
引用列表
专利文献
专利文献1:JP 2011-87103 A
专利文献2:JP 2014-057227 A
发明内容
发明要解决的问题
鉴于例如上述的这些问题而做出了本公开,并且本公开的目的是提供一种实现下列配置的接收设备、发送设备以及数据处理方法,通过该配置,当应用控制消息等包括在通过ATSC3.0广播接收中间件接收的信令数据中时,确定将应用控制消息等输出至应用控制单元。
解决问题的方案
本公开的第一方面是接收设备,包括:通信单元,被配置为接收事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;以及应用控制单元,被配置为基于在事件通知消息中存储为事件数据的应用控制消息执行应用控制。
进一步地,本公开的第二方面是接收设备,包括:通信单元,被配置为接收应用控制消息;中间件,被配置为生成事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;数据处理单元,被配置为从事件通知数据获取应用控制消息并且将应用控制消息输出至应用控制单元;以及应用控制单元,被配置为基于应用控制消息执行应用控制。
进一步地,本公开的第三方面是发送设备,发送设备包括被配置为发送事件通知数据的通信单元,在事件通知数据中,应用控制消息被存储为事件数据。
进一步地,本公开的第四方面是由接收设备执行的数据处理方法,包括:由通信单元接收事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;并且由应用控制单元基于在事件通知消息中存储为事件数据的应用控制消息,执行应用控制。
进一步地,本公开的第五方面是由接收设备执行的数据处理方法,包括:由通信单元接收应用控制消息;由中间件生成事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;由数据处理单元从事件通知数据获取应用控制消息并且将应用控制消息输出至应用控制单元;以及由应用控制单元基于应用控制消息执行应用控制。
进一步地,本公开的第六方面是由发送设备执行的数据处理方法,包括:由通信单元发送事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据。
从基于下文描述的本公开的实例的更为详细的描述和所附附图中,本公开的以上目标和其他目标、特征以及优点将变得更为显而易见。应注意,本文中的术语“系统”是多个设备的逻辑累加配置,并不限于其中将组件设备容纳在同一壳体中的系统。
发明的有利效果
根据本公开的一种实例的配置,实现了以下配置,通过该配置确定可以执行应用了应用控制消息的应用控制。
具体地,发送设备将事件通知数据发送至接收设备,在事件通知数据中,应用控制消息(ACM)被存储为事件数据。接收设备的应用控制单元基于在事件通知消息中存储为事件数据的ACM而执行应用控制。事件通知数据存储在作为信令数据的MPD中或作为用于发送AV(视听)内容的数据的段中,并且接收设备可以从MPD或段中获取ACM并且执行快速应用控制。
通过刚刚描述的配置,可以实现一种配置,通过该配置确定可以执行应用了应用控制消息的应用控制。
应注意,本文中描述的有利效果是说明性的并且不受限制,并且可以存在额外的效果。
附图说明
[图1]是示出执行本公开的处理的通信系统的配置的实例的示图。
[图2]是示出发送设备的发送数据的示图。
[图3]是描述发送设备与接收设备的协议栈的实例的示图。
[图4]是示出ROUTE/FLUTE协议栈的示图。
[图5]是示出接收设备的配置的实例的示图。
[图6]是示出接收设备的配置的实例的示图。
[图7]是示出MPD的配置的实例的示图。
[图8]是示出MPD的配置的实例的示图。
[图9]是示出事件通知MPD的配置的实例的示图。
[图10]是示出MPD的使用序列的实例的示图。
[图11]是示出事件信息的生成、发送以及使用序列的示图。
[图12]是示出要存储事件信息的段的配置的示图。
[图13]是示出存储有事件信息的段中的数据配置的实例的示图。
[图14]是示出事件信息的生成、发送以及使用序列的示图。
[图15]是示出应用控制消息(ACM)的配置的实例的示图。
[图16]是示出存储有应用控制消息(ACM)的MPD的实例的示图。
[图17]是示出存储在MPD中的应用控制消息(ACM)的实例的示图。
[图18]是示出存储有应用控制消息(ACM)的段(MP4中规定的emsg框)的实例的示图。
[图19]是示出应用控制消息(ACM)的生成、发送以及使用序列的示图。
[图20]是示出应用控制消息(ACM)的另一生成、发送以及使用序列的示图。
[图21]是示出应用控制消息(ACM)的又一生成、发送以及使用序列的示图。
[图22]是示出应用控制消息(ACM)的又一生成、发送以及使用序列的示图。
[图23]是示出作为通信设备的发送设备和接收设备的配置的实例的示图。
[图24]是示出作为通信设备的发送设备和接收设备的硬件配置的实例的示图。
具体实施方式
在下文中,参考附图描述本公开的接收设备、发送设备、以及数据处理方法的细节。应注意,描述根据下列项给出。
1.通信系统的配置的实例
2.数据通信协议FLUTE和ROUTE
3.由发送设备和接收设备执行的通信处理的实例
4.接收设备的配置的实例和处理的实例
5.应用控制消息的传输处理
6.事件通知配置
6-1.MPD应用事件通知方法(=MPD事件)
6-2.段应用事件通知方法(=带内事件信令)
7.应用控制消息的通知处理
7-1.使用事件通知机制的应用控制消息通知配置的概述
7-2.应用有MPD应用事件通知方法(=MPD事件)的应用控制消息的通知配置
7-3.应用有段应用事件通知方法(=带内事件信令)的应用控制消息的通知配置
8.应用控制消息(ACM)的通知和使用序列
8-1.应用有MPD应用事件通知方法(=MPD事件)的应用控制消息的发送和使用序列
8-2.应用有段应用事件通知方法(=带内事件信令)的应用控制消息的发送和使用序列
9.使用了未安装调谐器的接收设备的处理的实例
9-1.应用有MPD应用事件通知方法(=MPD事件)的应用控制消息的发送和使用序列
9-2.应用有段应用事件通知方法(=带内事件信令)的应用控制消息的发送和使用序列
10.发送设备与接收设备的配置的实例
11.本公开的配置的总结
1.通信系统的配置的实例
首先,参考图1描述执行本公开的处理的通信系统的配置的实例。
如图1中描述的,通信系统10包括:发送设备20,即发送诸如图像数据、声音数据等的内容的通信设备;安装了调谐器的接收设备30,即通过广播波或网络接收从发送设备20发送的内容的通信设备;以及未安装调谐器的接收设备40,通过安装了调谐器的接收设备30和网络接收从发送设备20发送的内容。
具体地,例如,发送设备20是提供诸如广播站21、数据分发服务器22等的内容的设备。
安装了调谐器的接收设备30是包括用于接收广播波的调谐器的接收设备。例如,安装了调谐器的接收设备30是客户端设备、或通用的家庭服务器、安装在公共设施中的中继服务器等。具体地,例如,安装了调谐器的接收设备30是中继服务器(包括家庭服务器等)31、电视机32、PC33、便携式终端34等。
另一方面,未安装调谐器的接收设备40是不包括用于接收广播波的调谐器的接收设备。具体地,未安装调谐器的接收设备40是PC 41、便携式终端42等。
发送设备20与安装了调谐器的接收设备30之间的数据通信,被执行为使用通过网络(诸如互联网)的双向通信或单向通信与通过广播波等的单向通信中的至少一者或两者的通信。
例如,根据DASH(MPEG(运动图片专家组)-DASH)标准(即自适应(adaptive)流技术的标准)执行从发送设备20至安装了调谐器的接收设备30的内容发送。
应注意,DASH(通过HTTP的动态自适应流)标准是与自适应(adaptive)流分发有关的标准,在自适应流分发中,使用如上所述的基于HTTP(超文本传输协议)的流协议。
MPEG-DASH标准包括下列两个标准:
(a)与用于描述作为视频或音频文件的管理信息的元数据的清单文件(MPD:媒体呈现描述)有关的标准;以及
(b)与用于视频内容发送的文件格式(段格式)有关的标准。
根据上述MPEG-DASH标准执行从发送设备20至安装了调谐器的接收设备30的内容分发。
通过网络(在家中,通过家庭网络(LAN/Wi-Fi等),但是在热点处,通过Wi-Fi等)将通过安装了调谐器的接收设备30接收的内容传输至未安装调谐器的接收设备40。
安装了调谐器的接收设备30和未安装调谐器的接收设备40可以执行从发送设备20发送的内容的再现。
发送设备20将内容数据编码并且生成包括编码数据及编码数据的元数据的数据文件。例如,根据MPEG中规定的MP4文件格式执行编码处理。应注意,当发送设备20生成MP4格式的数据文件时,编码数据的文件被称为“mdat”,并且元数据被称为“moov”、“moof”等。
例如,通过发送设备20提供至安装了调谐器的接收设备30的内容是音乐数据、电影的视频数据、电视节目、视频、照片、文档、图片、或者游戏的插图或各种数据、以及软件。
参考图2描述发送设备20的发送数据。
如图2中示出的,当粗略划分时,根据MPEG-DASH标准执行数据发送的发送设备20执行下面给出的多种类型的数据的发送。
(a)信令数据50
(b)AV段60
(c)其他数据(ESG、NRT内容等)70。
AV段60包括要由接收设备再现的图像(视频)或声音(音频)数据,即例如,从广播站提供的节目内容等。例如,AV段60包括上面所述的MP4编码数据(mdat)和元数据(moov、moof)。应注意,AV段也被称为DASH段。
同时,信令数据50包括各种控制信息,诸如,节目时间表信息(例如节目表)、节目获取所必需的地址信息(URL(统一资源定位符)等)、内容的再现处理所必需的信息(例如,从编解码器信息配置的指南信息(编码方法等))、应用控制信息等。
在接收其中存储有变成再现目标的节目内容的AV段60之前,安装了调谐器的接收设备30必须接收信令数据50。
例如,信令数据50作为XML(可扩展标记语言)格式的数据从发送设备20发送。
信令数据被不时地、反复地发送。例如,信令数据在每隔100毫秒之后频繁且反复地发送。
这旨在使得接收设备(客户端)可以随时即时地获取信令数据。
客户端(接收设备)可以基于可以接收的信令数据,随时毫无延迟地执行用于节目内容的接收和再现所必需的处理(诸如获取用于访问必需的节目内容的地址)或执行编解码器设置处理。
例如,其他数据70包括ESG(电子服务指南)、NRT内容等。
ESG是电子服务指南(Electronic Service Guide)并且例如是诸如节目表的指南信息。
NRT内容是非实时类型的内容。
例如,NRT内容包括在安装了调谐器的接收设备30(即,客户端)的浏览器上执行的各种应用文件以及运动图像、静止图像等的数据文件。
在图2中示出并且在下面给出了数据,即,例如,根据数据通信协议:FLUTE(单向文件传输)发送
(a)信令数据50
(b)AV段60
(c)其他数据(ESG、NRT内容等)70。
2.数据通信协议FLUTE和ROUTE
数据通信协议:FLUTE(单向文件传输)是用于执行通过多播发送的内容的会话管理的协议。
例如,由作为发送设备的服务器侧生成的文件(通过URL和版本识别)根据FLUTE协议被发送至作为接收设备的客户端。
例如,安装了调谐器的接收设备(客户端)30将接收文件的URL和版本以及文件以彼此具有关联关系的方式累加到存储单元(客户端缓存)中。
认为与其他文件具有相同的URL但是具有不同的版本的文件在其实质上已更新。虽然FLUTE协议仅执行单向文件传输控制并且不具有客户端对文件的选择性过滤功能,但是如果客户端侧使用与文件链接的元数据来选择性地使用由FLUTE控制其传输的文件,则可以实现选择性过滤并且执行反映用户偏好的本地缓存的配置和更新管理。
应注意,不仅可以将元数据扩展并且整合到FLUTE协议中,而且也可以通过诸如ESG(电子服务指南)的协议单独描述元数据。
应注意,FLUTE初始被指定为多播中的文件传输协议。FLUTE从FDT与用于称为ALC(异步分层编码)的可扩展文件对象的多播协议的组合来配置,具体来说是作为多播协议的构件块的LCT(分层编码传输)或FEC(前向纠错)组件。
尽管针对主要用于异步文件传输的使用对象开发了常规的FLUTE,但是目前,ATSC(高级电视系统委员会)(即,用于数据分发系统的规范化组织)正在通过广播波和网络执行使易于将FLUTE也应用于广播直播流的扩展。该FLUTE的扩展规范被称为ROUTE(通过单向传输的实时对象传送)。
作为通过广播波和网络的数据分发系统的标准之一,作为目前正在进行标准化的标准的ATSC(高级电视系统委员会)3.0是可用的。该ATSC3.0规定了采用用于发送信令数据、ESG、异步文件、同步类型流等的ROUTE而不是常规FLUTE协议的栈配置。
3.由发送设备和接收设备执行的通信处理的实例
现在,描述由发送设备和接收设备执行的通信处理的实例。
图3是描述发送设备和接收设备的协议栈的实例的示图。
图3中描述的实例具有用于执行通信数据的以下两个处理的两个协议栈:
(a)广播(包括多播)通信(例如,广播类型数据分发);以及
(b)单播(宽带)通信(例如,HTTP类型的P2P(点到点)通信)。
图3中的左侧描述了对应于(a)广播通信(例如,广播类型数据分发)的协议栈。
图3中的右侧描述了对应于(b)单播(宽带)通信(例如,HTTP类型的P2P通信)的协议栈。
图3中左侧指示的对应于(a)广播通信(例如,广播类型数据分发)的协议栈按从最低层开始的顺序具有以下层:
(1)广播物理层(广播PHY);
(2)IP(互联网协议)多播层(IP多播);
(3)UDP(用户数据报协议)层;
(4)ROUTE(=扩展型FLUTE)层;
(5)ESG、NRT内容、DASH(ISO(国际标准化组织)BMFF(基媒体文件格式))、以及视频/音频/CC(隐藏式字幕);以及
(6)应用层(应用(HTML5(超文本标记语言的第五版)))。
应注意,信令(Signaling)层被设置为(2)IP多播层(IP多播)的上层。
信令层是应用于上文参考图2描述的信令数据50的发送和接收的层。信令数据包括节目时间表信息(诸如节目表)、节目获取所必需的地址信息(URL等)、内容的再现处理所必需的信息、例如从编解码器信息(编码方法等)形成的指南信息、控制信息等。
信令数据是包括要由接收设备(客户端)接收和再现的AV段的访问信息与指南信息、以及用于接收之后的处理(诸如解码处理)所必需的控制信息的数据,并且信令数据是从发送设备不时反复发送的数据。
根据信息存在各种信令数据。具体地,信令数据包括USD(用户服务描述(UserService Description)),即以服务为单位的信令数据。
USD包括各种控制信息。作为代表性的控制信息,作为具有清单文件的信令数据的MPD(媒体呈现描述(Media Presentation Description))是可用的,其中在清单文件中存储有各种指南信息和与内容(AV段)对应的控制信息。
各种信令数据是接收设备(客户端)用于接收、从发送设备发送的AV段或应用(应用程序)的再现处理和控制处理所必需的数据,并且例如针对不同的类别被单独设置为文件(元文件)并且从发送设备发送。
应注意,未来新协议中的使用许可层(未来扩展能力)被设置为(1)广播物理层(广播PHY)的上层。
(1)广播物理层(广播PHY)是从控制例如用于执行广播通信的广播系统的通信单元的通信控制单元配置的物理层。
(2)IP多播层(IP多播)是用于根据IP多播执行数据发送和接收处理的层。
(3)UDP层是用于UDP数据包的生成和分析处理层。
(4)ROUTE层是用于根据作为扩展型FLUTE协议的ROUTE协议执行传输数据的存储或提取的层。
与FLUTE相似,Route是被称为ALC的可扩展文件对象的多播协议,并且具体包括作为协议的构件块的LCT或FEC组件的组合。
图4描述了与ROUTE和FLUTE有关的协议栈。
(5)ESG、NRT内容、DASH(ISO BMFF)、以及视频/音频/CC是根据ROUTE协议发送的数据。
根据DASH标准的广播分发服务被称为MBMS(多媒体广播多播服务)。作为用于通过LTE(长期演进)有效实现该MBMS的方法,可以使用eMBMS(演进的多媒体广播多播服务)。
MBMS和eMBMS是广播分发服务,并且是通过公共承载体将相同数据(例如,电影内容)全部一次分发至多个用户终端(UE)(即位于指定区域中的接收设备)的服务。通过根据MBMS或eMBMS的广播分发,能够同时将相同内容提供至位于分发服务提供区域中的诸如智能电话、PC、或电视机的大量接收设备。
MBMS和eMBMS根据传输协议ROUTE或FLUTE规定了用于根据3GPP(第三代合作伙伴项目)文件格式(ISO-BMFF文件或MP4文件)下载文件的处理。
上文参考图2描述的并且在下面给出的数据,即,
(a)信令数据50,
(b)AV段60;以及
(c)其他数据(ESG、NRT内容等)70,在大多数情况下根据ROUTE协议或FLUTE协议发送。
(5)ESG、NRT内容、DASH(ISO BMFF)、以及视频/音频/CC是根据ROUTE协议传输的数据。
ESG是电子服务指南(Electronic Service Guide)并且例如是诸如节目表的指南信息。
NRT内容是非实时类型的内容。
如上所述,NRT内容包括例如在接收设备(即,客户端)的浏览器上执行的各种应用文件、以及运动图片、静止图片等的数据文件。
视频/音频/CC是变成再现目标的实际数据,诸如根据DASH标准分发的视频和音频等。
(6)应用层(应用(HTML5))是用于执行要根据ROUTE协议传输的数据的生成或分析、各种数据的输出控制等的应用层,并且执行应用了例如HTML5的数据生成、分析、输出处理等。
另一方面,图3中右侧示出的并且对应于(b)单播(宽带)通信(例如,HTTP类型的P2P通信)的协议栈按从最低层开始的顺序具有以下层:
(1)宽带物理层(宽带PHY);
(2)IP单播层(IP单播);
(3)TCP(传输控制协议)层;
(4)HTTP层;
(5)ESG、信令、NRT内容、DASH(ISO BMFF)、以及视频/音频/CC;以及
(6)应用层(应用(HTML5))。
(1)广播物理层(广播PHY)是从控制例如用于执行宽带通信的网络卡的通信单元的通信控制单元(诸如装置驱动器)配置的物理层。
(2)IP单播层(IP单播)是用于执行IP单播发送和接收处理的层。
(3)HTTP层是用于HTTTP数据包的生成和分析处理层。
该上层具有与图3中左侧的(a)广播通信(例如,广播类型的数据分发)的栈配置相似的栈配置。
应注意,发送设备(服务器)20和安装了调谐器的接收设备(客户端)30根据以下用于图3中的两个处理系统的两个通信协议栈中的至少一个来执行处理,即,
(a)广播通信(或广播类型的数据分发);以及
(b)单播(宽带)通信(例如,HTTP类型的P2P通信)。
同时,未安装调谐器的接收设备(客户端)40根据用于图3中右侧的处理系统的通信协议栈,即,
(b)单播(宽带)通信(例如,HTTP类型的P2P通信)执行通信处理,作为与安装了调谐器的接收设备(客户端)30的通信处理。
在图3描述的协议栈中,不仅可以在ROUTE(FLUTE)的控制文件中而且还可以在描述文件传输会话的信令(Signaling)数据中,描述要根据ROUTE(FLUTE)进行多播传输的文件组的属性(包括作为各个文件的标识符的URL的属性)。也可以通过ESG(也可以应用于对末端用户的表示应用)描述文件传输会话的进一步详细属性。
如上所述,作为与通过广播波和网络的数据分发系统有关的标准之一,进行ATSC(高级电视系统委员会)3.0的标准化。
在ATSC3.0中的基于IP传输栈的标准化中,已经提出了根据从FLUTE(单向文件传输)扩展的ROUTE(通过单向传输的实时对象传送)协议,传输基于MPEG-DASH(ISO-BMFF文件或MP4文件)的文件格式的文件的方法,并且将该方法建立为标准候选方法。
通过应用ROUTE协议,可以传输作为用于广播分发的信令数据的DASH标准的片段式MP4(fragmented MP4)文件序列、作为DASH标准的控制信息(信令数据)存储元文件的MPD(媒体呈现描述)、USBD(用户服务包描述)/USD、S-TSID(基于服务的传输会话描述)等。
如上所述,ROUTE协议是基于FLUTE的协议。描述FLUTE中的传输控制参数的元数据文件被称为FDT(文件传送表),并且描述ROUTE中的传输控制参数的元数据文件被称为S-TSID(基于服务的传输会话描述)。S-TSID是FDT的超集并且包括FDT。
作为ATSC3.0服务层的信令数据(SLS:服务层信令)而提出的USBD/USD、S-TSID、MPD等全部通过ROUTE会话传输。
4.接收设备的配置的实例和处理的实例
现在,参考图5描述安装了调谐器的接收设备(客户端A)30和未安装调谐器的接收设备(客户端B)40的配置的实例和处理的实例。
广播服务器21通过广播波或网络发送包括广播内容等的AV段、信令数据、以及通过广播发送的其他数据。
尽管图5中未描述,但是数据分发服务器22(即,广播服务器21之外的发送设备)也通过广播波或网络发送包括广播内容等的AV段、信令数据、以及通过广播发送的其他数据。
如图5中描述的,安装了调谐器的接收设备30包括中间件110、HTTP代理服务器120、再现控制单元(DASH客户端)131、输出控制单元132、以及应用控制单元140。
中间件110接收并且分析广播服务器21的提供数据。
中间件110包括通信单元(PHY/MAC(介质访问控制))111、用于获取信令数据的信令获取单元112、用于分析信令数据的信令分析单元113、以及用于获取信令数据、视频、音频等的节目内容数据、诸如应用等的NRT内容等的数据文件的段获取单元114。
进一步地,中间件110包括用于执行将事件信息插入到存储信令数据或AV数据的段中的处理的事件插入单元115,其中事件信息包括广播节目或发送数据的变化、细节等的通知信息、与由接收设备执行的应用有关的信息、接收设备中所必需的处理的信息等。
事件信息是被传送至接收设备的信息,例如,节目表的变化、广播内容的数据形式的变化、以及在接收设备中再现广播内容时所执行的处理、用于请求执行一些处理的信息等。
中间件110进一步包括用于获取应用文件的应用文件获取单元116,其中,用于由接收设备执行的各种应用(应用程序)存储在应用文件中。
应用是用于执行例如在棒球直播等情况下要与广播节目或球员信息以叠加关系显示的天气信息或新闻信息的各种信息显示的应用。
作为应用的具体实例,例如,可以使用下列应用:
在广播内容是包括旅游景点的指南视频的内容的情况下,用于显示要与广播内容以叠加关系显示的地图信息、酒店信息等的应用;
在广播内容是棒球直播的情况下,用于显示每个球员关于击球率、本垒打数量等的成绩信息的应用;以及
用于使用双向通信向观众显示测验或问卷并且从观众收集答案的应用。
除此之外,可以使用诸如根据用户提供的广告显示的各种应用。
通过中间件110接收的数据存储在代理服务器120的缓存单元(代理缓存)121中。代理服务器120进一步通过网络将从数据分发服务器22获取的数据存储到缓存单元(代理缓存)122中。
代理服务器120将来自输出控制单元132的数据请求输入至地址解析单元123,并且从缓存单元(代理缓存)121或122或者从外部获取所请求的数据并且然后提供所请求的数据。
再现控制单元(DASH客户端)131执行根据DASH(MPEG-DASH)标准发送的内容的再现控制。
如上所述,MPEG-DASH标准包括以下两个标准:
(a)与用于描述作为视频或音频文件的管理信息的元数据的清单文件(MPD:媒体呈现描述)有关的标准;以及
(b)与用于视频内容发送的文件格式(段格式)有关的标准。
根据上述MPEG-DASH标准执行从发送设备20到安装了调谐器的接收设备30的内容分发。
例如,内容作为例如根据MPEG中规定的MP4文件格式的预定单元的划分数据的段来发送,并且再现控制单元(DASH客户端)131指清单文件(MPD)并且执行用于获取其中存储有再现目标内容的段的处理等。
输出控制单元132从由再现控制单元131获取的段中提取编码的内容、对编码的内容进行解码、并且将解码的内容输出至诸如显示单元的输出单元。
应用控制单元140执行天气预报、新闻、在棒球直播时的球员信息、旅游节目中的地图信息和酒店信息、以及用于执行测验或问卷处理等的各种应用、以及诸如应用的开始、结束等的应用控制的获取。
进一步地,图5中描述的未安装调谐器的接收设备(客户端B)40通过诸如以太网(注册商标)或Wi-Fi的网络而耦接至安装了调谐器的接收设备(客户端A)30并且与安装了调谐器的接收设备(客户端A)30执行通信。
未安装调谐器的接收设备(客户端B)40通过安装了调谐器的接收设备(客户端A)30从广播服务器21或数据分发服务器22接收由安装了调谐器的接收设备(客户端A)30所接收的内容数据等并且执行内容再现。
图5中描述的未安装调谐器的接收设备(客户端B)40包括再现控制单元(DASH客户端)151、输出控制单元152、以及应用控制单元160。
刚刚提及的组件和功能与上文结合安装了调谐器的接收设备(客户端A)30所描述的再现控制单元(DASH客户端)131、输出控制单元132、以及应用控制单元140的组件和功能相似。
图6是描述安装了调谐器的接收设备(客户端A)具有的再现控制单元(DASH客户端)131和输出控制单元132、以及未安装调谐器的接收设备(客户端B)40具有的再现控制单元(DASH客户端)151和输出控制单元152的详细配置的示图。
安装了调谐器的接收设备(客户端A)30的再现控制单元(DASH客户端)131包括MPD获取单元201、MPD分析单元202、段获取单元203、段(MP4)分析单元204、以及事件提取单元205。
如上所述,再现控制单元(DASH客户端)131执行根据DASH(MPEG-DASH)标准发送的内容的再现控制。
MPD获取单元201获取清单文件(MPD:媒体呈现描述),即,视频或音频文件的管理信息描述文件。
从广播服务器21或数据分发服务器22提供MPD并且在其存储到代理服务器120之后通过再现控制单元131获取MPD。
MPD分析单元202对由MPD获取单元201接收的MPD的描述实质进行分析并且将获取与再现目标数据对应的段所必需的信息等提供至段获取单元203。
进一步地,当MPD包括应用控制消息(ACM:应用控制消息)时,MPD分析单元202将MPD输出至事件提取单元205。
事件提取单元205将记录在MPD中的应用控制消息(ACM)输出至应用控制单元140。
尽管诸如旅游节目中的酒店指南信息的显示应用、关于测验或问卷的应用的各种应用可以用作上文所述的应用,但是如果不在具体广播内容中的确定定时执行,这些应用不具备任何意义。相应地,应用控制单元140必须根据提前规定的定时执行用于应用的获取、应用的执行、应用的结束等的控制。
所描述的类型的信息记录在应用控制消息(ACM:应用控制消息)中,并且应用控制单元140通过再现控制单元131的事件提取单元205接收应用控制消息(ACM)。
应用控制消息(ACM)记录在作为信令数据的MPD中或段中,并且如果应用控制消息(ACM)包括在MPD中或段中,则再现控制单元131执行用于将应用控制消息(ACM)输出至应用控制单元140的处理。
下面详细描述该处理。
段获取单元203根据MPD分析单元202的MPD分析结果执行与再现目标数据对应的段的获取。
段是根据包括AV数据的内容发送的文件格式(段格式)设置的预定单元数据。
段分析单元204从由段获取单元203获取的段中获取编码图像数据、编码声音数据等,并且将获取的数据输出至输出控制单元132的解码单元(解码器)211。
进一步地,如果段包括应用控制消息(ACM:应用控制消息),则段分析单元204将段输出至事件提取单元205。
事件提取单元205将记录在段中的应用控制消息(ACM)输出至应用控制单元140。
下文中描述该处理的细节。
事件提取单元205执行存储在MPD或段中的事件信息的提取并且将所提取的事件信息中包括的应用控制消息输出至应用控制单元140。
应用控制消息是与通过应用控制单元140确定为控制目标的应用有关的控制信息。
该应用控制消息作为事件信息存储在MPD或段中。
应注意,下文中描述该具体配置。
安装了调谐器的接收设备(客户端A)30的输出控制单元132包括解码单元(解码器)211和输出单元(渲染器)212。
解码单元(解码器)211执行从段分析单元204提供的编码图像数据与编码声音数据的解码处理(解码)。
输出单元212将解码的图像数据和解码的声音数据输出至输出单元(显示单元、扬声器)。
应注意,未安装调谐器的接收设备(客户端B)40的再现控制单元(DASH客户端)151包括MPD获取单元251、MPD分析单元252、段获取单元253、段(MP4)分析单元254、以及事件提取单元255。
进一步地,输出控制单元152包括解码单元(解码器)261和输出单元(渲染器)262。
要执行的组件和处理与安装了调谐器的接收设备(客户端A)30的组件和处理相似。
应注意,通过安装了调谐器的接收设备(客户端A)30的代理服务器120和网络将MPD和段输入至未安装调谐器的接收设备(客户端B)40的再现控制单元(DASH客户端)151。
同时,通过安装了调谐器的接收设备(客户端A)30的代理服务器120和网络将应用文件输入至未安装调谐器的接收设备(客户端B)40的再现控制单元160。
安装了调谐器的接收设备(客户端A)30的再现控制单元(DASH客户端)131和未安装调谐器的接收设备(客户端B)40的再现控制单元(DASH客户端)151是ATSC3.0客户端应用(3.0DASH客户端)的执行单元。
在被整合到ATSC3.0广播接收客户端设备中的浏览器上执行ATSC3.0客户端应用。可替代地,有时ATSC3.0客户端应用不仅作为浏览器应用执行,而且还作为本机应用执行。
通过再现控制单元(DASH客户端)131和151执行的ATSC3.0客户端应用包括ATSC3.0 DASH客户端应用(3.0DASH客户端)和ATSC3.0流伴随应用(3.0应用)等。
再现控制单元(DASH客户端)131和151的ATSC3.0客户端应用与输出控制单元132和152通过网络执行由中间件(客户端本地ATSC中间件)110接收的数据和由代理服务器(客户端本地HTTP代理服务器)120接收的数据的处理。
输入通过中间件110或代理服务器120获取的其中存储有信令数据的DASH-MPD文件或DASH段(segment)文件、其他一般应用文件、以及SLS(服务水平信令)文件,以执行流或应用控制的渲染。
根据该模型,从由再现控制单元(DASH客户端)131和151执行的ATSC3.0客户端应用或者由应用控制单元160执行的应用可以看出,因为通过代理服务器120毫无故障地访问外界,所以应用忽略关于通过广播或通过网络(提供网络透明性)获取文件组的区别,并且因此,可以提高应用的可移植性。
相应地,不一定必须整合仅专门用于广播的应用,并且应用可以被整合成使得其没有广播和互联网的选择性使用。
如果通过再现控制单元(DASH客户端)131和151执行的ATSC3.0客户端应用请求(HTTP请求)获取DASH-MPD文件、DASH段(segment)文件、一些其他一般应用文件或信令数据文件,则代理服务器120接收请求并且执行地址解析单元(广播/宽带地址解析器)123是通过广播接收栈获取所请求的文件还是通过网络获取所请求的文件的判定。
从信令分析单元(SLS信令解析器)113提供变成判定配置文件的信息。信令分析单元(SLS信令解析器)113将对于作为ATSC3.0的信令元的USBD/USD、S-TSID等的获取请求发布给信令获取单元(SLS信令取回器)112。
信令获取单元(SLS信令取回器)112提取由SLS LCT数据包携带的信令元,即,通过通信单元(ATSC调谐器:ATSC3.0 PHY/MAC)111广播接收。
信令分析单元(SLS信令解析器)113从对于应用部分的获取请求中包括的url提取信令元并且对用于获取变成目标的文件的广播分发地址信息进行解析。如果认识到目标文件要(已经)被广播分发,则信令分析单元113基于广播分发的地址信息从广播流获取存储所需文件的LCT数据包并且将获取的LCT数据包部署至缓存(代理缓存)单元121和122中。代理服务器120将文件(作为HTTP响应)返回至再现控制单元131或应用控制单元140。如果用于应用部分的获取请求中包括的url没有包括在信令元中,则代理服务器120通过普通网栈获取文件。
5.应用控制消息的传输处理
如上文所述,在目前正在开发的ATSC3.0中,正在开发这样一种模型,其中中间件(ATSC3.0广播接收中间件)110被整合到整合有ATSC3.0兼容的物理层(ATSC-PHY)的安装了调谐器的接收设备30中,以对信令数据(ASTC广播信令)进行分析。
具体地,正在开发这样一种模型,其中将中间件110设置成使得终端装置能够在信令数据的接收定时执行中间分析处理并且并不对再现控制单元(DASH客户端)生成用于信令数据的中间分析负荷。通过这种设置,可以利用互联网上原本使用的DASH客户端应用实现ATSC广播的接收和再现。
这种模型使得也可以将通过安装了调谐器的接收设备30接收的广播内容或网络接收内容发送至未安装调谐器的接收设备40,因此,通过未安装调谐器的接收设备40的再现控制单元151执行的ATSC3.0 DASH客户端应用的处理而执行内容再现。
例如,安装了调谐器的接收设备30是安装在公共空间(热点)中的中继服务器、安装在家中的家庭服务器、PC等,并且是整合了能够接收广播波的调谐器的接收设备。
通过网络(在家中,通过家庭网络(LAN/Wi-Fi等),在热点中,通过Wi-Fi等)将安装了调谐器的接收设备30的接收数据传输至未安装调谐器的接收设备40。
未安装调谐器的接收设备40执行再现控制单元151中的ATSC3.0DASH客户端应用,以执行内容再现。
在本公开的配置中,通过安装了调谐器的接收设备(客户端A)30的中间件110执行诸如通过ATSC3.0广播服务提供的信令数据的分析的处理。
如果信令信息包括应用控制消息(ACM),安装了调谐器的接收设备(客户端A)30则在接收定时尽可能快地将应用控制消息(ACM)提供至使用此消息的接收设备。
具体请求其通知的应用控制消息(ACM)是对于与广播AV流等同步控制AV流伴随应用的应用控制消息(ATSC触发器、HbbTV-AIT(混合式广播宽带TV应用信息表)等)。
同样,如果需要尽可能与流同步的消息通知,则请求将应用控制消息(ACM)快速地输出至接收设备30和40各自的应用控制单元140或160。
通常,再现控制单元(DASH客户端)131和151被整合成使得接连执行包括具有图像、声音的AV数据的内容的段(DASH段)的获取。如果一旦开始流再现,再现控制单元(DASH客户端)131和151则连续执行HTTP获取/再现处理。
将提供段(诸如AV段的DASH段)的服务器称为DASH服务器。
具体地,DASH服务器是广播服务器21或数据分发服务器22。
进一步地,安装了调谐器的接收设备(客户端A)30的代理服务器120也是DASH服务器。
安装了调谐器的接收设备30和未安装调谐器的接收设备40的再现控制单元131和151使用牵引式(Pull type)通信会话(通常耦接至DASH服务器)连续执行段获取,并且执行广播节目的内容再现等。
在该段获取会话处理中,如果与通过应用控制单元140控制的应用(例如,用于执行天气信息或新闻信息、测验或问卷处理等的显示的应用)有关的应用控制消息到达,则必须将事件通知或应用控制消息本身立即通知给应用控制单元140。
本公开的配置提出了这样一种配置,即,扩展DASH中规定的事件(Event)通知机制、提取应用控制消息、并且将应用控制消息输出至应用控制单元。
在本公开的处理中,例如,可以将通过中间件(ATSC3.0广播接收中间件)110获取的应用控制消息插入到流会话中。
相应地,可以将应用控制消息与流同步传输至例如不包括通信单元111或中间件110的未安装调谐器的接收设备(客户端B)40。
通过网络(在家中,通过家庭网络(LAN/Wi-Fi等),在热点处,通过Wi-Fi等)连接至安装了调谐器的接收设备(客户端A)30(具有整合到其中的通信单元111和中间件110)的未安装调谐器的接收设备(客户端B)40可以接收与流同步的应用控制消息并且在不打开AV段发送会话的不同新应用消息会话的情况下及时执行应用控制。
6.事件通知配置
现在,描述DASH标准中规定的事件通知配置。
在DASH标准中,定义了称为DASH事件(DASH Event)的事件通知机制。
事件通知机制是一种用于执行各种事件信息的通知的机制,诸如,广播节目或发送数据的变化、细节等的通知信息、关于在接收设备中执行的应用的信息、被传送至接收设备的信息、或接收设备所必需的处理的信息等。
在DASH标准中,规定了下列两种不同的事件通知方法作为事件通知机制:
(a)MPD应用事件通知方法(=MPD事件);以及
(b)段应用事件通知方法(=带内事件信令)。
上面规定了两种不同的事件通知方法。
在下文中,接连描述了两种事件通知方法的细节。
6-1.MPD应用事件通知方法(=MPD事件)
MPD应用事件通知方法(=MPD事件)是使用MPD(媒体呈现描述)通知事件的方法,MPD是在DASH标准中规定的一条信令数据。
MPD应用事件通知方法(=MPD事件)能够以MPD中定义的周期(Period)为单位添加事件元素,具体地,诸如事件类型、指示事件实质的事件流(EventStream)等的元素。
根据MPD应用事件通知方法(=MPD事件),可以以使用MPD的周期(Period)为单位将事件处理所必需的信息提供至客户端。
具体地,在MPD应用事件通知方法(=MPD事件)中,可以在MPD中描述
(a)诸如各种事件的激活(开始/执行/激活)定时的事件调度表;
(b)要由客户端(接收设备)在每个定时处理的事件处理;以及
(c)一旦执行事件,要被传递至在客户端上操作的应用的数据等。
图7是示出MPD格式的示图。
对于图像和声音的各个流,MPD具有能够描述以下列各个指定范围为单位的属性等信息和控制信息的配置:
(1)规定时间轴上的间隔的周期(Period);
(2)规定诸如图像或声音的数据类型等的自适应(Adaptation);
(3)规定图像类型、声音类型等的表示(Representation);以及
(4)变成以图像或声音的段(AV段)为单位的信息记录区域的段信息(SegmentInfo)。
图8是示出对应于记录在MPD(控制信息、管理信息、属性信息等)中的AV段以时间序列扩展的信息的示图。
假设时间从左至右流逝。该时间轴对应于例如接收设备中的AV内容的再现时间周期。
与AV段对应的各种信息记录在MPD中。应注意,MPD是信令数据的一部分并且例如先于AV段被发送。
如上所述,能够以下文参考图7给出的数据为单位将信息记录到MPD中:
(1)规定时间轴上的间隔的周期(Period);
(2)规定诸如图像或声音的数据类型等的自适应(Adaptation);
(3)规定图像类型、声音类型等的表示(Representation);以及
(4)变成以图像或声音的段(AV段)为单位的信息记录区域的段信息(SegmentInfo)。
图8是描述用于各个数据类型的在时间轴的展开状态下的数据区域的示图。
在图8中,描述了下列两种自适应(Adaptation):
(V)自适应V,即,与图像对应的信息记录区域(Adaptation(V));以及
(A)自适应A,即,与声音对应的信息记录区域(Adaptation(A))。
(V)自适应V,即,与图像对应的信息记录区域(Adaptation(V))具有下列两种表示(Representation)作为以具有彼此不同的属性的流为单位的信息记录区域:
(V1)表示(V1),即,与低比特率图像对应的信息记录区域(Representation(V1));以及
(V2)表示(V2),即,与高比特率图像对应的信息记录区域(Representation(V2))。
同样,(A)自适应A,即,与声音对应的信息记录区域(Adaptation(A))具有下列两种表示(Representation)作为以具有彼此不同的属性的流为单位的信息记录区域:
(A1)表示(A1),即对应于日语讲话的信息记录区域(Representation(A1));以及
(A2)表示(A2),即,对应于英语讲话的信息记录区域(Representation(A2))。
进一步地,每种表示(Representation)均被配置成使得可以记录对应于再现时间轴的周期和以段为单位的信息。
例如,一旦周期1的段(11)再现,选择高比特率图像和日语讲话的再现设备(客户端)则将选择关于再现目标的高比特率图像和日语讲话的信息并且从MPD中获取信息。
选择目标的MPD的记录信息是图8描述的段区域301和302中的信息。
同样,接收设备仅从通过发送设备作为信令数据发送的MPD中选择与成为已有设备的再现目标的数据(段)对应的信息并且仅参考此信息。
以这种方式,可以将以时间为单位的数据类型和对应段的信息记录到MPD中。
例如,还能够将用于通知接收设备(客户端)各种处理请求的事件通知记录到MPD中。
图9是示出MPD的描述的实例的示图,其中,应用使用MPD的事件通知,即,MPD应用事件通知方法(=MPD事件)。
例如,包括事件信息的MPD具有下列描述。
Figure GDA0002754000540000261
Figure GDA0002754000540000271
描述了上述MPD中的数据的实质。
<MPD availabilityStartTime=”2011-12-25T12:30:00
该数据记录区域是用于与此MPD中记录的数据对应的第一周期的开始时间信息的记录区域。例如,使用UTC时间(坐标通用时间)作为时间信息。
<Period startTime=’0’>
该数据记录记录区域是周期开始时间信息记录区域。
记录了与MPD中规定的开始时间(MPD/@availabilityStartTime)的偏移时间周期。
<EventStream schemeIdUri=’urn:xxx’timescale=’1000’>
该数据记录记录区域是指示事件类型和时标信息的事件流指定信息(designation information)的记录区域。
通过“EventStream schemeIdUri=’urn:xxx’”和可选的”EventStream/@value”,定义事件的类型等。
进一步地,“timescale=’1000’”指示接下来记录的呈现时间(presentationTime)的单位时间周期是1/1000秒。
<Event presentationTime=’0’duration=’1000’>event data 1</Event>
该数据记录记录区域是事件数据的记录区域和事件的诸如激活(执行开始等)时间、持续时间等的事件调度数据的记录区域。
事件数据包括用于执行事件所必需的实际数据、元数据、命令数据、数据的访问信息等。
进一步地,记录事件的激活(执行开始等)时间和持续时间。
该实例表明由事件数据1指定的事件在激活(激活/执行)时间=0时继续1000个单位时间周期。
<Event presentationTime=’1000’duration=’4000’>event data 2</Event>
该数据记录记录区域也是事件数据的记录区域和事件的诸如激活(执行开始等)时间、持续时间等事件调度数据的记录区域。
事件数据包括用于执行事件所必需的实际数据、元数据、命令数据等、数据的访问信息等。
进一步地,记录了事件的激活(执行开始等)时间和持续时间。
该实例表明由事件数据2指定的事件在激活(激活/执行)时间=1000时持续4000个单位时间周期。
下列数据记录记录区域
<AdaptationSet>
<Representation/>
<Representation/>
是关于各个数据类型的记录信息的数据记录区域。
以这种方式,在使用MPD的事件通知中,即,在MPD应用事件通知方法(MPD事件)中,
由EventStream/@schemeIdUri(和可选的EventStream/@value)属性定义事件的类型;并且
可以将事件数据(即,用于执行事件所必需的实际数据、元数据、命令数据等)、数据的访问信息等添加到EventStream/Event factor的内容部分中。
应注意,通过“EventStream/@schemeIdUri”属性(在图9的实例中,为(urn:xxx))的值指定(定义)被存储为以MPD/Period/EventStream/Event开始的数据元素的“事件数据”的(待存储)格式。
应注意,仅在发出MPD之前可以最后确定的MPD中规定的周期实质的情况下,可以应用MPD应用事件通知方法(MPD事件)。
图10是示出通过接收设备执行的MPD的分析处理(解析)的程序的示图。
在图10中,描述了下列各图:
(1)MPD;
(2)周期单位信息;
(3)表示单位信息;以及
(4)段单位信息。
接收AV段并且执行AV内容的再现处理的接收设备(客户端)在接收AV段之前获取提前接收的信令数据中包括的MPD并且从MPD获取与要由已有设备再现的数据对应的信息。
首先,接收设备(客户端)从(1)图10描述的MPD中选择(2)周期单位信息,在周期单位信息中记录了与AV段再现时间周期对应的具体周期的信息。
进一步地,再现设备(客户端)选择与通过已有设备(客户端)再现的数据类型对应的再现单位信息并且进一步选择与再现目标段对应的(4)段单位信息。
接收设备(客户端)参考(4)段单位信息中记录的数据,以获取变成再现目标的AV段或者获取AV段再现所必需的各种信息。
如果接收的MPD的段单位信息中记录了事件信息,接收设备(客户端)则根据已记录的事件信息执行指定事件的激活(诸如,执行、开始的事件激活处理)等。
参考图11描述事件插入执行设备310和事件执行设备320的处理的配置和实例,事件插入执行设备310执行记录了事件信息的MPD的生成(或获取)和输出,并且事件执行设备320接收事件记录MPD并且根据MPD记录的事件信息执行处理。
在图11中,在左侧描述了执行记录有事件信息的MPD的生成(或获取)和输出的事件插入执行设备310。
进一步地,在图11中的右侧,描述了接收输入至其的MPD(其中记录有事件信息)并且根据MPD中记录的事件信息执行处理(事件激活)的事件执行设备320。
具体地,事件插入执行设备310是发送诸如MPD或AV段的广播服务器21或数据分发服务器22,或者是接收诸如接收设备中的MPD或AV段的信令数据并且将接收的信令数据或AV段输出至接收设备的再现控制单元131的接收设备中的中间件110(图5和图6中描述的中间件110)。
具体地,在图11的右侧描述的事件执行设备320是接收作为输入至其的诸如MPD的信令数据或AV段并且执行内容再现处理的接收设备的再现控制单元(图5和图6中描述的再现控制单元131和151)。
描述了通过事件插入执行设备310执行的处理。
事件插入执行设备310包括数据输出单元(DASH服务器)311和事件处理单元(事件服务器312)。
应注意,这些服务器功能是由发送MPD的信令数据或AV段的广播服务器21和数据分发服务器22、以及再现设备的中间件110(图5和图6中描述的中间件110)提供的功能。
在下文中,针对每个处理步骤描述通过事件插入执行设备310执行的处理。
(步骤S11)
首先,在步骤S11,事件插入执行设备310的数据输出单元(DASH服务器)311生成或获取作为信令数据的MPD和包括配置再现内容的AV数据的段。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则执行用于生成或获取MPD或段的处理。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则执行用于从接收数据获取MPD或段的处理。
(步骤S12)
然后,在步骤S12,事件插入执行设备310的事件处理单元(事件服务器)312获得或获取事件信息。
事件信息是用于通知或请求接收设备执行某些处理的信息,诸如,节目表的变化、广播内容的数据形式变化、或者在接收设备中再现广播内容时要执行的处理。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则执行用于生成或获取事件信息的处理。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则执行用于从接收数据获取事件信息的处理。
(步骤S13)
然后,在步骤S13,事件插入执行设备310的数据输出单元(DASH服务器)311执行将事件信息插入到作为信令数据的MPD中。
通过此处理,生成上面参考图9描述的记录了事件信息的MPD。
在图9描述的记录了事件信息的MPD中,如上文所述,记录事件的类型和实质、事件的激活(activation)时间、持续时间等。
接收设备变得可以根据MPD中记录的事件信息执行用于在指定时间激活(例如,执行)指定事件并且使事件继续指定的持续时间的处理或类似处理。
(步骤S14)
然后,在步骤S14,事件插入执行设备310的数据输出单元(DASH服务器)311发送(输出)记录了事件信息的MPD,其中,事件信息在MPD中记录为信令数据。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则通过广播波或网络发送记录了事件信息的MPD。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则将记录了事件信息的MPD输出至代理服务器或再现控制单元。
(步骤S15和S16)
然后,在步骤S15和S16,事件插入执行设备310的数据输出单元(DASH服务器)311发送(输出)存储有AV内容等的段。
在步骤S16之后,连续执行段发送。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则通过广播波或网络发送段。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则将段输出至代理服务器或再现控制单元。
现在,描述在图11的右侧描述的通过事件执行设备320执行的处理。
具体地,事件执行设备320是接收作为输入至其的诸如MPD的信令数据或AV段并且执行内容再现处理的接收设备的再现控制单元(图5和图6中描述的再现控制单元131或151)。
通过事件执行设备320执行的并且在图11中示出的处理是通过接收设备的再现控制单元131或151执行的处理。
应注意,在图11中,再现控制单元被描述成使得根据要执行处理的类型以处理类型为单位进行分割。
具体地,两个处理单元包括作为对应于事件的处理执行单元的再现控制单元(事件客户端)321和执行应用MPD或AV段的内容再现处理的再现控制单元(DASH客户端)322。
(步骤S21)
首先,在步骤S21,事件执行设备320的再现控制单元(DASH客户端)322对事件插入执行设备310执行关于作为信令数据的MPD的获取请求。
(步骤S22)
然后,在步骤S22,事件执行设备320的再现控制单元(DASH客户端)322从由事件插入执行设备310获取的MPD中获取事件信息。
应注意,假设此处获取的MPD是记录了事件信息的MPD,即,图9中描述的事件信息MPD。
在记录了事件信息的MPD中,记录了事件的类型和实质、激活(诸如,激活、执行、停止等)时间、持续时间信息等。
接收设备可以根据MPD中记录的事件信息执行用于在指定时间激活(例如,执行)指定事件并且使事件继续指定的持续时间的处理或类似处理。
(步骤S23)
然后,在步骤S23,事件执行设备320的再现控制单元(事件客户端)321根据从MPD获取的事件信息执行用于事件应用的调度处理。
如上所述,在记录了事件信息的MPD中,记录了事件的类型和实质、事件的激活(activation)时间、持续时间信息等,并且事件执行设备320的再现控制单元(事件客户端)321参考各种类型的信息执行用于事件执行的调度处理。
(步骤S24)
然后,在步骤S24,事件执行设备320的再现控制单元(DASH客户端)322向事件插入执行设备310执行关于段的获取请求。
(步骤S25)
然后,在步骤S25,事件执行设备320的再现控制单元(DASH客户端)322从在步骤S24获取的段中获取AV内容等并且执行再现处理。
(步骤S26)
然后,在步骤S26,事件执行设备320的再现控制单元(事件客户端)321根据从MPD获取的事件信息执行计划的事件的应用处理,即,事件激活(事件执行、开始等)处理。
(步骤S27至S29)
步骤S27至S29的处理是与步骤S24至S26相似的处理。
将连续执行上述处理的序列。
以这种方式,接收设备(客户端)能够根据MPD中记录的事件信息执行各种事件以及用于接收和再现AV段的处理。
6-2.段应用事件通知方法(=带内事件信令)
现在,描述段应用事件通知方法(=带内事件信令),即,DASH标准中规定的其他事件通知方法。
段应用事件通知方法(=带内事件信令)是将事件信息记录到段(DASH段)中并且将段提供至接收设备的方法,其中,段中存储了AV内容等。
如上文所述,图1中描述的发送设备20将内容数据编码、生成包括编码数据和编码数据的元数据的数据文件、并且发送数据文件。例如,根据MPEG中规定的MP4文件格式执行编码处理。应注意,当发送设备20生成MP4格式的数据文件时,编码数据的文件被称为“mdat”,并且元数据被称为“moov”、“moof”等。
例如,通过发送设备20提供的内容是诸如音乐数据、电影的视频数据、电视节目、视频、照片、文档、图片和插图、游戏以及软件等各种数据。
参考图12描述根据DASH标准执行内容流分发时能够利用的DASH段的配置实例。Dash段被划分成两种类型,包括:
(a)初始化段(Initialization Segment);以及
(b)媒体段(Media Segment)(=AV段)。
初始化段(Initialization Segment)是存储用于在安装了调谐器的接收设备30中执行诸如解码器的设置等的内容再现所必需的设置信息的初始化数据的段。
(b)媒体段(Media Segment)(=AV段)是存储变成再现目标的编码内容(AV内容)的段。
如图12中描述的,(a)初始化段包括下列的各种信息:
(a1)包括段的文件类型信息等的报头信息(dash);以及
(a2)包括诸如媒体数据(mdat)(即,要由媒体段发送的编码内容)的编解码器(编码形式)信息等的初始化信息的元数据(moov)。
同时,(b)媒体段包括如图12中描述的下列各种信息:
(b1)包括段的文件类型信息等的报头信息(msdh);
(b2)存储在媒体段中的多个子段(Sub-Segment)之间的边界信息、以及指示媒体数据(mdat)(即,媒体段中存储的编码内容等)的随机访问点的访问信息(sidx);以及
(b3)多个子段(Sub-Segment)。
进一步地,多个子段(Sub-Segment)包括一个或多个片段(Fragment)。
每个片段(Fragment)均包括下列各种数据:
媒体数据(mdat),即,变成再现目标的编码内容;
元数据(moof),对应于媒体数据(mdat);以及
各种信息(控制信息、管理信息、属性信息等),对应于媒体数据(mdat)。
应注意,媒体数据(mdat)、元数据(moof)、以及其他各种信息(控制信息、管理信息、属性信息等)被分别存储到由MP4格式定义的框中。
AV数据存储到mdat框中。
元数据存储到moof中。
此外,其他各种信息存储到根据相应各种信息而定义的框中。
事件信息存储到以MP4格式定义的事件信息存储框(emsg框)中,即,作为用于放置作为各种信息的一部分的事件信息的框。
参考图13描述段应用事件通知方法(=带内事件信令)中使用的MP4格式数据中的施加信息存储框(emsg)的数据配置的实例。
图13示出了分别存储事件标识符1和2的两种事件信息的两个事件信息存储框(emsg)的数据。
例如,事件信息存储框(emsg)具有下列描述。
box_type=’emsg’
scheme_id_uri=”urn:xxx”
value=0
timescale=1000
presentation_time_delta=0
event_duration=0xFFFF
id=1
message_data[]=event data-1
描述了上述事件信息存储框(emsg)的数据实质。
box_type=’emsg’
该数据记录记录区域是框型记录区域。描述了该框(由MP4规定的数据存储框)是事件信息存储框(emsg)。
scheme_id_uri=”urn:xxx”
value=0
数据记录记录区域是指示事件类型等的事件指定信息的记录区域。
“scheme_id_uri=”urn:xxx””与可选的“value”定义了事件的类型等。
timescale=1000
该数据记录记录区域是时标信息的记录区域。
“timescale=’1000’”指示接下来记录的呈现时间(presentationTime)的单位时间周期是1/1000秒。
presentation_time_delta=0
event_duration=0xFFFF
这些数据记录记录区域是事件的诸如激活(执行开始等)时间、持续时间等的事件调度数据的记录区域。它表明在事件激活(激活/执行)时间=0之后,由事件指定信息指定的事件继续直至时间=0xFFFF。应注意,0xFFFF指示并未定义结束时间并且表示事件可以或可以不继续直至与设置该事件信息存储框的段对应的AV内容的再现结束。
id=1
该数据记录区域是事件识别信息记录区域。
message_data[]=event data-1
该数据记录区域是用于事件数据的记录区域。
事件数据包括执行事件所必需的实际数据、元数据、命令数据、访问信息等。
以这种方式,在段应用事件通知方法(=带内事件信令)中,可以将事件信息记录到段流(流内)中并且发送段流。
在段应用事件通知方法(=带内事件信令)中,可以在“scheme_id_uri”字段和可选的“value”字段中定义事件的类型。
进一步地,可以将事件数据(即,执行事件所必需的实际数据、元数据、或命令数据、访问信息等)添加到“message_data”字段中。
现在,参考图14描述事件插入执行设备310和事件执行设备320的配置和处理实例,事件插入执行设备310执行记录了事件信息的段的生成(或获取)和输出,并且事件执行设备320接收事件记录信息段并且根据段中记录的事件信息执行处理。
图14的左侧描述了执行记录了事件信息的段的生成(或获取)和输出的事件插入执行设备310。
同时,在图14的右侧描述了事件执行设备320,事件执行设备320接收作为输入至其的记录事件信息的段并且根据段中记录的事件信息执行处理(事件激活)。
具体地,事件插入执行设备310是发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22,或者是在接收设备中接收诸如MPD的信令数据或AV段并且将接收的信令数据或AV段输出至接收设备的再现控制单元131的接收设备中的中间件110(图5和图6中描述的中间件110)。
具体地,在图14的右侧描述的事件执行设备320是接收作为输入至其的诸如MPD的信令数据或AV段并且执行内容再现处理的接收设备的再现控制单元(图5和图6中描述的再现控制单元131和151)。
描述了通过事件插入执行设备310执行的处理。
事件插入执行设备310包括数据输出单元(DASH服务器)311和事件处理单元(事件服务器312)。
应注意,这些服务器功能是通过发送MPD的信令数据或AV段的广播服务器21和数据分发服务器22、以及接收设备中的中间件110(图5和图6中描述的中间件110)提供的功能。
在下文中,针对每个处理步骤描述了通过事件插入执行设备310执行的处理。
(步骤S31)
首先,在步骤S31,事件插入执行设备310的数据输出单元(DASH服务器)311生成或获取作为信令数据的MPD和包括配置再现内容的AV数据的段。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则执行用于生成或获取MPD或段的处理。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则执行用于从接收数据获取MPD或段的处理。
(步骤S32)
然后,在步骤S32,事件插入执行设备310的事件处理单元(事件服务器)312取得或获取事件信息。
事件信息是用于通知或请求接收设备执行某些处理的信息,诸如,例如节目表的变化、广播内容的数据形式变化、或者在接收设备中再现广播内容时要执行的处理等。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则执行用于生成或获取事件信息的处理。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则执行用于从接收数据获取事件信息的处理。
(步骤S33)
然后,在步骤S33,事件插入执行设备310的数据输出单元(DASH服务器)311执行将事件信息插入到段中。
通过此处理,生成包括emsg框的段,emsg框即由上面参考图13描述的MP4格式规定的事件信息记录框。
如上所述,在图13描述的事件信息记录框(emsg)i中,记录了事件的类型和实质、事件的激活(activation)时间、持续时间信息等。
接收设备变得可以根据段的emsg框中记录的事件信息执行用于在指定时间激活(例如,执行)指定事件并且使得事件继续指定的持续时间的处理或类似处理。
(步骤S34)
然后,在步骤S34,事件插入执行设备310的数据输出单元(DASH服务器)311发送(输出)作为信令数据的MPD。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则通过广播波或网络发送MPD。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则将MPD输出至代理服务器或再现控制单元。
(步骤S35和S36)
然后,在步骤S35和S36,事件插入执行设备310的数据输出单元(DASH服务器)311发送(输出)存储有AV内容等的段。
要发送的段是包括由MP4格式规定的事件信息记录框(emsg)的段。
在步骤S36之后,连续执行段发送。
如果事件插入执行设备310是广播服务器21或数据分发服务器22,则通过广播波或网络发送段。
如果事件插入执行设备310是接收设备中的中间件110(图5和图6中描述的中间件110),则将段输出至代理服务器或再现控制单元。
现在,描述通过图14中右侧描述的事件执行设备320执行的处理。
具体地,事件执行设备320是接收作为输入至其的诸如MPD的信令数据或AV段并且执行内容再现处理的接收设备中的再现控制单元(图5和图6中描述的再现控制单元131或151。
通过事件执行设备320执行的并且在图14中示出的处理是通过接收设备中的再现控制单元131或151执行的处理。
应注意,在图14中,根据要执行处理的类型单独描述再现控制单元。具体地,单独描述包括作为对应于事件的处理执行单元的再现控制单元(事件客户端)321和执行应用了MPD或AV段的内容再现处理的再现控制单元(DASH服务器)322的两个处理单元。
(步骤S41)
首先,在步骤S41,事件执行设备320的再现控制单元(DASH服务器)322对事件插入执行设备310执行关于作为信令数据的MPD的获取请求。
(步骤S42)
然后,在步骤S42,事件执行设备320的再现控制单元(DASH服务器)322对事件插入执行设备310执行关于段的获取请求。
(步骤S43)
然后,在步骤S43,事件执行设备320的再现控制单元(DASH服务器)322从由事件插入执行设备310获取的段中获取事件信息。
应注意,此处获取的段具有事件信息记录框(emsg)。具体地,假设段是包括记录图13中示出的事件信息的事件信息记录框(emsg)的段(事件信息记录段)。
在记录事件信息的段中,记录了事件的类型和实质、事件的激活(activation)时间、持续时间信息等。
接收设备可以执行用于在指定时间激活(例如,执行)指定事件并且根据段中记录的事件信息使事件继续指定的持续时间的处理或类似处理。
(步骤S44)
然后,在步骤S44,事件执行设备320的再现控制单元(事件客户端)321根据从段获取的事件信息执行计划的事件的应用处理,即,事件激活(事件执行、开始等)处理。
(步骤S45)
然后,在步骤S45,事件执行设备320的再现控制单元(DASH服务器)322从在步骤S42获取的段获取AV内容等并且执行再现处理。
(步骤S46至S49)
步骤S46至S49中的处理与步骤S42至S45的处理相似。
作为段处理的单位,将连续执行上述处理的序列。
以这种方式,接收设备(客户端)可以根据段中记录事件信息的框(emsg)中所记录的事件信息执行各种事件以及用于接收和再现AV段的处理。
7.应用控制消息的通知处理
现在,描述用于利用上述事件通知机制通知应用控制消息的配置。
7-1.利用事件通知机制的应用控制消息通知配置的概述
上面参考图5和图6描述的安装了调谐器的接收设备(客户端A)30和未安装调谐器的接收设备(客户端B)40分别具有应用控制单元140和160。
应用控制单元140和160执行与例如广播内容的再现处理一起执行的各种应用的控制。
如上所述,尽管可以使用各种应用作为该应用,诸如,例如旅游节目中的酒店指南信息的显示应用、或用于测验或问卷的应用等,然而,如果这些应用不在指定广播内容中的确定定时执行,则不具备任何意义。相应地,应用控制单元140和160必须根据规定定时执行应用的获取控制以及应用的执行和结束。
应用控制单元140和160执行对于应用的各种控制,诸如应用文件的获取(下载)、激活、结束、停止、暂停、可视化、非可视化或删除等。
为了使应用控制单元140和160执行上述该等各种应用控制,必须将控制实质和控制定时通知给应用控制单元140和160。
该通知信息是图6中示出的应用控制消息(ACM:应用控制消息)。
应用控制消息(ACM)记录在作为信令数据的MPD或段中,并且如果应用控制消息(ACM)包括在MPD或段中,再现控制单元131和151则执行用于分别将此消息输出至应用控制单元140和160的处理。
利用上述事件通知机制发送并且输出应用控制消息。在下文中,描述了利用此事件通知机制的应用控制消息的通知配置的细节。
如上所述,在DASH标准中,规定了下列两种不同的事件通知方法作为事件通知机制:
(a)MPD应用事件通知方法(=MPD事件);以及
(b)段应用事件通知方法(=带内事件信令)。
规定了所描述的两种不同的事件通知方法。
诸如,上面参考图9描述了数据配置的具体实例,其中,使用(a)MPD应用事件通知方法(=MPD事件)执行事件通知。
诸如,上面参考图13描述了数据配置的具体实例,其中,使用(b)段应用事件通知方法(=带内事件信令)执行事件通知。
在所使用的任一种方法中,将事件类型信息作为用于指定事件类型的信息记录到事件通知消息中。
在图9描述的记录了事件信息的MPD中,通过“EventStream schemeIdUri=’urn:xxx’”和可选的“EventStream/@value”定义事件的类型。
进一步地,在图13描述的段的事件信息存储框(emsg)描述中,数据记录记录区域scheme_id_uri=”urn:xxx”是用于指示事件类型等的事件指定信息的记录区域。
作为这些事件类型之一,定义了应用控制消息(ACM:应用控制消息)。
具体地,定义了这样一种事件类型,即,指示使用MPD或段执行的事件通知中待通知的事件类型是应用控制消息(ACM:应用控制消息)。
具体地,例如,确定schemeIdUri=urn:atsc:appControlMessage中的schemeIdUri作为指示应用控制消息(ACM)的事件类型标识符。
应注意,上述给出的标识符是实例,并且如果从MPD或段中提取的事件信息是通过接收设备确定的数据(字符串或代码),即,事件信息是与应用控制消息(ACM)有关的事件信息,则能够利用各种标识符。
进一步地,通过上面参考图9和图13描述的及下面给出的两种不同的事件通知方法中的任一种:
(a)MPD应用事件通知方法(=MPD事件);以及
(b)段应用事件通知方法(=带内事件信令),
存储事件数据。
事件数据包括执行事件所必需的实际数据、元数据、命令数据、数据的访问信息等。
在图9示出的存储了事件信息的MPD中,例如,将事件数据记录到“<EventpresentationTime=’0’duration=’1000’>event data 1</Event>”中。
同时,在图13示出的事件信息存储框(emsg)的描述中,例如,将事件数据记录到“message_data[]=event data-1”中。
当利用图9或图13中示出的事件通知消息通知应用控制消息(ACM(应用控制消息))时,参考图15描述要记录到事件通知消息中的事件数据的实例。
在图15中,示出了下面给出的作为事件数据存储到事件通知消息中的应用控制消息(ACM)的配置的两个实例:
(1)应用主体非存储型ACM;以及
(2)应用主体存储型ACM。
(1)应用主体非存储型ACM属于不存储应用主体的类型,但是,存储用于获取应用主体的访问信息。
(2)应用主体存储型ACM属于存储应用主体的类型。
(1)应用主体非存储型ACM具有下面给出的这些组件:
(1a)应用标识符;
(1b)应用元数据(可选的);以及
(1c)应用控制命令。
(2)应用主体存储型ACM具有下面给出的这些组件:
(2a)应用标识符+应用主体;
(2b)应用元数据(可选的);以及
(2c)应用控制命令。
在下文中,描述了上面给出的这些存储数据。
(1a)和(2a)中包括的应用标识符是变成应用控制消息(ACM)的控制目标的应用(诸如应用的URL)的识别或获取处理所必需的信息。如果多项应用可用作应用控制消息(ACM)的控制目标,则设置可以获取多个应用的标识符。
正如上述标识符,例如,可以使用封装应用的标识符、一组单个应用的标识符等。
应注意,如果由标识符url指定应用主体,则通过广播或通过网络获取其标识符。如果通过网络获取应用主体,则根据普通网络类型栈的HTTP获取此标识符。如果通过广播获取应用主体,则根据与存储信令数据的信令文件或DASH段文件相似的ROUUTE协议传输此标识符。应注意,如果应用主体被广播并且作为文件被异步地累积,则将文件称为NRT(非实时)文件。
(2a)中包括的应用主体是应用本身,即,应用控制消息(ACM)的控制目标。应注意,有时,通过多个封装应用配置应用主体。
(1b)和(2b)中指示的应用的元数据是应用的属性信息。
应注意,应用元数据不是存储到ACM中的必要元素并且全部是可选项。
在下文中,通过分类方式将应用元数据分成具有用于存储到ACM中的高优先度的元数据、具有中等优先度的元数据、以及具有低优先度的元数据。
(A)具有用于存储到ACM中的高优先度的元数据
(a1)版本(Version)信息:应用版本(根据标识符(Identifier)和版本(Version)唯一识别应用的实例)
(a2)相关文件(Related files)信息:执行应用所必需的不同相关文件资源
(a3)应用评级(Content advisory rating)信息:应用的评级信息
(B)用于存储到ACM中的中等优先度的元数据
(b1)应用名称(Name)信息:用于应用的用户呈现的名称
(b2)优先度(Priority)信息:应用相对于其他应用的相对优先度
(b3)安全性质(Security properties)信息:应用的安全性质信息,例如,CAS(条件访问系统)/DRM(数字权限管理)信息
(C)具有存储到ACM中的低优先度的元数据
(c1)类型(Type)信息:应用的类型(kind)
(c2)配置文件(Profile)信息:执行应用所需的设备的能力属性(编解码器类型、存储器容量等)。
(c3)图标(Icons)信息:用于识别(应用启动器等上显示的)应用的图标
(c4)存储(Storage hints)信息:关于路由中是否可以存储到本地存储器或设备的缓存中的提示信息
(c5)目标性质(Targeting properties)信息:用于识别待消费应用的目标的属性(目标区域、用户的类别等)
关于变成控制目标和执行定时的信息等的应用的控制命令记录到图15中描述的(1c)和(2c)的应用控制命令记录区域中。
例如,作为控制命令的类型,有应用的激活(执行)、停止(包括暂停(状态控制))、可视化/非可视化、删除(如果将应用缓存到本地存储器中,则删除应用)等。
对于上述各个命令,记录待执行的命令定时,例如,时间轴上与特定流(AV流)(NPT:正常播放时间的概念)相关联的时间或者绝对时间(墙上时钟时间)。
作为要记录到图15中描述的(1c)和(2c)中的各个应用控制命令的记录区域中的控制命令,可以使用下列实例:
*下载(Download):下载应用;
*激活(Activation(开始)):激活应用;
*终止(Termination(停止)):停止应用;
*中止(Suspension(暂停)):临时停止应用;以及
*数据事件(DataEvent):将数据传递(cause)至(消费其的)应用。
例如,可以使用上面给出的这些控制命令。
应注意,还能够将命令执行时所应用的参数记录到关于图15描述的(1c)和(2c)中的应用控制命令的记录区域中。
例如,可以使用下列参数(p1)和(p2)作为参数。
(p1)动作时间:媒体时间线
这是指示其执行与应用受同步控制的目标的流的时间轴的参数。
(p2)所需同步水平
这是指示同步准确水平的参数(例如,节目水平、…、2秒、声象吻合、帧同步)。
这些参数是附带上面给出的全部控制命令而设置的参数。
同时,作为命令“下载(Download)”和“激活(Activation(开始))”的唯一参数,可以使用下列参数(p3)。
(p3)目标设备
这是指示用于下载或激活目标应用(主要(主要的TV等)/配套(配套平板电脑、便携式电话机等))的目标设备的参数。
进一步地,作为与“数据事件(DataEvent)”对应的参数,可以使用下列参数(p4)。
(p4)数据
这是指示被传递给目标应用的数据的参数。
如上所述,在DASH标准中,规定了下列两种不同的事件通知方法作为事件通知机制:
(a)MPD应用事件通知方法(=MPD事件);以及
(b)段应用事件通知方法(=带内事件信令)。
规定了这两种事件通知方法。
在下文中,描述了用于通知应用两种不同的事件通知方法的应用控制消息的处理实例。
7-2.应用了MPD应用事件通知方法(=MPD事件)的应用控制消息的通知配置
现在,描述利用MPD应用事件通知方法(=MPD事件)的应用控制消息的通知配置。
图16是描述使用MPD的事件通知中的MPD的描述的实例的示图,即,应用MPD应用事件通知方法(=MPD事件)、以通知应用控制消息的情况。
例如,包括应用控制消息的MPD具有图16中指示的下列描述。
Figure GDA0002754000540000461
描述了上述MPD数据的实质。
<MPD availabilityStartTime=”2011-12-25T12:30:00
该数据记录记录区域是关于与该MPD中记录的数据对应的第一周期的开始时间信息的记录区域。例如,使用UTC作为时间信息。
<Period startTime=’0’>
该数据记录记录区域是周期开始时间信息记录区域。
记录了与MPD中规定的开始时间(MPD/@availabilityStartTime)的偏移时间周期。
<EventStream schemeIdUri=’urn:atsc:appControlMessage’timescale=’1000’>
该数据记录记录区域是指示事件类型等和时标信息的事件流指定信息的记录区域。
“EventStream schemeIdUri=’urn:atsc:appControlMessage’”指示该事件通知是用于通知应用控制消息(ACM)的事件通知。
进一步地,“timescale=’1000’”指示接下来记录的呈现时间(presentationTime)的单位时间周期是1/1000秒。
<Event presentationTime=’0’duration=’1000’>ACM1 storage</Event>
该数据记录记录区域是事件数据的记录区域和事件的诸如激活(执行开始等)时间、持续时间等的事件调度数据的记录区域。
在该实例中,存储应用控制消息1(ACM1)作为事件数据。
进一步地,记录事件的激活(执行开始等)时间和持续时间。
该实例指定了由事件数据1指定的事件在激活(激活/执行)时间=0时继续1000个单位时间周期。
例如,作为事件数据存储的应用控制消息1(ACM1)是应用主体或标识符的数据、元数据、命令等。
图17的(1)中示出了应用控制消息1(ACM1)的具体实例。
图17的(1)中示出的应用控制消息1(ACM1)具有与上面参考图15的(1)描述的应用注意非存储类型(ACM)相似的数据配置并且具有下列数据组件:
(1a)应用标识符;
(1b)应用元数据(可选的);以及
(1c)应用控制命令。
诸如上述,刚刚参考图15描述了数据的细节。
在图17的(1)示出的实例中,记录了
(1a)应用标识符=uri-1和
(1c)应用控制命令=“激活(Activation)”。
命令“激活(Activation)”是用于激活应用的命令。
具体地,<Event presentationTime=’0’duration=’1000’>ACM1storage</Event>
是指定执行处理的描述,因此,根据(1c)应用控制命令=“激活(Activation)”在时间=0时执行通过(1a)应用标识符=uri-1识别并且获取的应用的激活处理,并且处理继续1000个单位时间周期。
<Event presentationTime=’1000’duration=’4000’>ACM2storage</Event>
该数据记录记录区域也是事件数据的记录区域和事件的诸如激活(执行开始等)时间、持续时间等的事件调度数据的记录区域。
在该实例中,应用控制消息2(ACM2)存储为事件数据。
进一步地,记录了事件的激活(执行开始等)时间和持续时间。
该实例指定由事件数据1指定的事件在激活(激活/执行)时间=1000时继续4000个单位时间周期。
例如,作为事件数据存储的应用控制消息2(ACM2)是应用主体或标识符的数据、元数据、命令等。
图17的(2)中示出了应用控制消息2(ACM2)的具体实例。
图17的(2)中示出的应用控制消息2(ACM2)具有从上面参考图15的(1)描述的应用主体非存储型(ACM)简化的数据配置并且具有下列数据组件:
(1a)应用标识符;以及
(1c)应用控制命令。
ACM的该实例并不具有应用元数据。
该ACM2是用于使执行与ACM1相同的应用的处理的ACM,并且因为能够应用与ACM1中存储的元数据相同的元数据,所以省去元数据存储区域。
在图17的(2)中描述的实例中,记录了
(1a)应用标识符=uri-1和
(1c)应用控制命令=“终止(Terminate)”。
命令“终止(Terminate)”是用于停止应用的命令。
具体地,描述<Event presentationTime=’1000’duration=’4000’>ACM2storage</Event>是指定执行处理的描述,因此,根据(1c)应用控制命令=“终止(Terminate)”在时间=1000时执行通过(1a)应用标识符=uri-1识别并且获取的应用的停止处理,并且处理继续1000个单位时间周期。
下列数据记录记录区域
<AdaptationSet>
<Representation/>
<Representation/>
是用于记录各个数据类型的信息的数据记录区域。
同样,通过使用MPD将应用控制消息(ACM)的通知应用为事件而执行应用控制消息(ACM)的通知,即,应用MPD应用事件通知方法。
如上面参考图7、图8等所述,能够将数据类型和时间单位的段对应信息记录到MPD中。
通过利用此MPD通知应用控制消息(ACM),可以提供与通过接收设备成为再现目标的数据类型和时间单位的段相关联的应用控制消息(ACM)。
应注意,因为先于AV段将MPD(即,信令数据)提供至接收设备,所以使用MPD的ACM事件的通知处理是可利用的,其中,在MPD的处理时间范围内规定的周期(Period)的时间部分中,提前预测事件的执行定时等。
作为具体的实例,在离线内容(提前记录的节目、电影节目等)中、而非直播中利用使用MPD的ACM事件的通知处理。
7-3.应用段应用事件通知方法(=带内事件信令)的应用控制消息的通知配置
现在,描述应用段应用事件通知方法(=带内事件信令)的应用控制消息的通知配置。
图18是描述段中的“事件信息存储框(emsg)”的描述的实例的示图,其中,应用使用段的事件通知中所利用的MP4格式数据的事件信息存储框(emsg),即,段应用事件通知方法(=带内事件信令),以通知应用控制消息。
应注意,通过二进制位流表示法对格式进行编码或者通过根据XML等的文本对格式进行编码。
在图18中,描述了单独存储两个事件信息存储框(emsg)的数据,其中,通过标识符1和2识别应用控制消息1和2(ACM1和ACM2)的两个ACM。
如图18中描述的,例如,包括应用控制消息(ACM)的段具有下列描述。
box_type=’emsg’
scheme_id_uri=”urn:atsc:appControl Message”
value=0
timescale=1000
presentation_time_delta=0
event_duration=0xFFFF
id=1
message_data[]=ACM1
描述了上述事件信息存储框(emsg)的数据的实质。
box_type=’emsg’
该数据记录记录区域是框类型记录区域。这描述了该框(由MP4规定的数据存储框)是事件信息存储框(emsg)。
scheme_id_uri=”urn:atsc:appControl Message”
value=0
数据记录记录区域是指示事件类型等的事件指定信息的记录区域。
‘scheme_id_uri=”urn:atsc:appControl Message”’指示该事件通知是用于通知应用控制消息(ACM)的事件通知。
timescale=1000
该数据记录记录区域是时标信息的记录区域。
“timescale=’1000’”指示接下来记录的呈现时间(presentationTime)的单位时间周期是1/1000秒。
presentation_time_delta=0
event_duration=0xFFFF
这些数据记录记录区域是事件的激活(执行开始等)时间、持续时间等的事件调度数据的记录区域。这表明在激活(激活/执行)时间=0时激活通过事件指定信息识别的事件并且继续直至时间=0xFFFF。应注意,0xFFFF指示尚未定义结束时间并且表明事件可以或不可以继续,直至与设置该事件信息存储框的段对应的AV内容的再现结束。
id=1
该数据记录区域是事件识别信息记录区域。
message_data[]=ACM1
该数据记录区域是事件数据的记录区域。
在该实例中,存储应用控制消息1(ACM1)作为事件数据。
诸如,上面参考图17中的(1)描述了应用控制消息1(ACM1)的具体实例。
在图17的(1)中描述的应用控制消息1(ACM1)具有与上面参考图15中的(1)描述的应用注意非存储类型(ACM)相似的数据配置并且具有下面给出的该数据组件:
(1a)应用标识符;
(1b)应用元数据(可选的);以及
(1c)应用控制命令。
诸如,上面参考图15描述了数据元素的细节。
在图17的(1)中描述的实例中,记录了
(1a)应用标识符=uri-1和
(1c)应用控制命令=“激活(Activation)”。
命令“激活(Activation)”是用于激活应用的命令。
具体地,与图18中的事件标识符=1(ACM1)对应的段应用事件(ACM1)通知消息是指定执行处理的描述,因此,根据(1c)应用控制命令=“激活(Activation)”在时间=0时执行通过(1a)应用标识符=uri-1识别并且获取的应用的激活处理。
同时,与在图18中的下半部分描述的事件标识符=2(ACM2)对应的段应用事件(ACM2)中存储的应用控制消息2(ACM2)具有图17的(2)中描述的数据配置。
图17的(2)中描述的应用控制消息2(ACM2)具有从上面参考图15的(1)描述的应用主体非存储型(ACM)进一步简化的数据配置并且具有下列数据组件;
(1a)应用标识符;以及
(1c)应用控制命令。
ACM的该实例并不具有应用元数据。
该ACM2是用于致使执行与ACM1相同的应用的处理的ACM,并且因为能够应用与ACM1中存储的元数据相同的元数据,所以省去元数据存储区域。
在图17的(2)中描述的实例中,记录了
(1a)应用标识符=uri-1和
(1c)应用控制命令=“终止(Terminate)”。
命令“终止(Terminate)”是用于停止应用的命令。
具体地,与图18中的事件标识符=2(ACM2)对应的段应用事件(ACM2)通知消息是指定执行处理的描述,因此,根据(1c)应用控制命令=“终止(Terminate)”在时间=1000时执行通过(1a)应用标识符=uri-1识别并且获取的应用的停止处理。
同样,在应用段应用事件通知方法(=带内事件信令)的应用控制消息(ACM)通知配置中,可以将应用控制消息(ACM)记录到段流(流内)中并且发送段流。
在段应用事件通知方法(=带内事件信令)中,可以在“scheme_id_uri“字段和可选的”value“字段中定义事件类型是应用控制消息(ACM)。
进一步地,能够将事件数据添加到“message_data”字段中,即,应用实际数据、元数据、配置应用控制消息(ACM)的命令数据等、数据的访问信息等。
8.应用控制消息(ACM)的通知与使用序列
现在,描述应用控制消息(ACM)的发送和使用序列。
如上所述,当应用事件通知机制发送应用控制消息(ACM)时,能够利用两种不同类型的事件通知方法:
(a)MPD应用事件通知方法(=MPD事件);以及
(b)段应用事件通知方法(=带内事件信令)。
接连描述了使用上面两种不同的事件通知方法发送应用控制消息(ACM)时的序列。
8-1.应用MPD应用事件通知方法(=MPD事件)的应用控制消息的发送和使用序列
首先,参考图19描述了应用MPD应用事件通知方法(=MPD事件)的应用控制消息的发送和使用序列
参考图19描述了发送设备510与接收设备520的配置和处理实例,发送设备510执行将应用控制消息(ACM)记录为事件信息的AV段或MPD的生成和输出,并且接收设备520接收记录MPD的应用控制消息(ACM)并且根据记录MPD的应用控制消息(ACM)执行处理。
在图19中,在左侧描述了执行记录了应用控制消息(ACM)的MPD的生成和输出的发送设备510。
同时,在图19中的右侧,描述了接收MPD作为输入并且根据MPD中记录的应用控制消息(ACM)执行应用控制处理的接收设备520,MPD中记录了应用控制消息(ACM)。
具体地,发送设备510是发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22。
同时,具体地,在图19中的右侧描述的接收设备520是接收作为输入至其的诸如MPD的信令数据或AV段并且执行内容再现处理的接收设备。
描述了通过发送设备510执行的处理。
发送设备510包括数据输出单元(DASH服务器)511、应用控制消息(ACM)处理单元(ACM服务器)512、以及广播信号生成单元(广播服务器)513。
应注意,这些服务器功能是图1中描述的发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22具有的功能。
在下文中,针对每个处理步骤描述了通过发送设备510执行的处理。
(步骤S101)
首先,在步骤S101,数据输出单元(DASH服务器)511或发送设备510生成包括作为信令数据的MPD的段和包括配置再现内容的AV数据的段。
(步骤S102)
然后,在步骤S102,发送设备510的应用控制消息(ACM)处理单元(ACM服务器)512生成应用控制消息(ACM)。
应用控制消息(ACM)是例如存储上面参考图15描述的数据的消息。
如上所述,参考图15,对于应用控制消息(ACM),例如,可以使用下列两种数据类型:
(1)应用主体非存储型ACM;以及
(2)应用主体存储型ACM。
在步骤S102,生成一种类型的应用控制消息(ACM)。
(步骤S103)
然后,在步骤S103,发送设备510的应用控制消息(ACM)处理单元(ACM服务器)512设置应用控制消息(ACM)作为事件。
具体地,确定应用控制消息(ACM)的事件通知中所必需的参数,诸如,激活时间、持续时间等。换言之,根据DASH标准等执行使用事件通知机制可以进行ACM发送的参数和其他格式数据的设置处理。
(步骤S104)
然后,在步骤S104,发送设备510的数据输出单元(DASH服务器)511执行将应用控制消息(ACM)作为事件信息插入到作为信令数据的MPD中。
通过该处理,生成包括上面参考图16描述的应用控制消息的MPD。
在图16描述的应用控制消息存储MPD中,指示事件类型是上述应用控制消息。
进一步地,将上面参考图15描述的应用控制消息(ACM)存储为事件数据。
进一步地,记录应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据MPD中记录的应用控制消息能够执行所参考的指定应用控制消息的处理。
具体地,对于根据应用控制消息的记录数据而获取的应用,执行应用应用控制消息中所记录的控制命令的处理。
执行时间周期和持续时间符合MPD的描述。
(步骤S105)
然后,在步骤S105,发送设备510的数据输出单元(DASH服务器)511发送(输出)将应用控制消息记录到作为信令数据的MPD或段中的记录事件信息的MPD。
如果发送设备510是广播服务器21,广播信号生成单元(广播服务器)513则对广播波执行用于发送MPD或段的处理。
如果发送设备510是数据分发服务器22,则通过网络发送MPD或段。
现在,描述通过在图19中的右侧描述的接收设备520而执行的处理。
在图19中,描述了接收设备520中的中间件521、应用控制单元522、以及在线控制单元523。所提及的部件对应于图5和图6中描述的安装了调谐器的接收设备30中的部件。
(步骤S121)
首先,如果接收设备520的再现控制单元(DASH客户端)523通过中间件521从发送设备510获取作为信令数据的MPD,则从在步骤S121获取的MPD获取事件信息。
应注意,假设所获取的MPD是记录了应用控制消息(ACM)的MPD。
在应用控制消息存储MPD中,指示事件的类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录了应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据MPD中记录的应用控制消息能够执行将指定命令应用于指定应用的处理。
(步骤S122)
然后,在步骤S122,接收设备520的应用控制单元522执行从MPD获取的应用控制消息(ACM)的应用处理。
在应用控制消息存储MPD中,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
在应用控制消息(ACM)中,记录了控制目标的应用主体或应用的识别信息,并且进一步地,记录了元数据、控制命令等。
应用控制单元522对根据ACM记录数据指定的应用执行ACM中规定的命令的应用处理。
应注意,命令应用时间和持续信息记录在上面参考图16描述的MPD中。
(步骤S123)
然后,接收设备520的再现控制单元(DASH客户端)523从发送设备510接收的段中获取AV内容等并且执行再现处理。
应注意,连续并且反复执行步骤S121至S123中的处理。
同样,接收设备(客户端)可以根据作为MPD中记录的事件信息的应用控制消息(ACM)执行各种应用控制、以及用于接收和再现AV段的处理。
8-2.应用段应用事件通知方法(=带内事件信令)的应用控制消息的发送和使用序列
现在,参考图20描述应用段应用事件通知方法(=带内事件信令)的应用控制消息的发送和使用序列
参考图20描述了发送设备510和接收设备520的配置和处理实例,发送设备510执行将应用控制消息(ACM)记录为事件信息的段的生成(或获取)和输出,并且接收设备520接收段中记录的应用控制消息(ACM)并且根据段中记录的应用控制消息(ACM)执行处理。
在图20中,在左侧描述了执行应用控制消息(ACM)的段的生成(或获取)和输出的发送设备510。
同时,在图20中的右侧,描述了接收记录应用控制消息(ACM)作为输入的段并且根据段中记录的应用控制消息(ACM)执行应用控制处理接收设备520。
具体地,发送设备510是发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22。
同时,具体地,在图20中的右侧描述的接收设备520是接收作为输入至其的诸如MPD的信令数据或AV段并且执行内容再现处理的接收设备。
描述了通过发送设备510执行的处理。
发送设备510具有数据输出单元(DASH服务器)511、应用控制消息(ACM)处理单元(ACM服务器)512、以及广播信号生成单元(广播服务器)513。
应注意,这些服务器功能是发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22具有的功能。
在下文中,针对每个处理步骤描述了通过发送设备510执行的处理。
(步骤S131)
首先,在步骤S131,发送设备510的数据输出单元(DASH服务器)511生成或获取包括作为信令数据的MPD的段和包括配置再现内容的AV数据的段。
(步骤S132)
然后,在步骤S132,发送设备510的应用控制消息(ACM)处理单元(ACM服务器)512生成应用控制消息(ACM)。
应用控制消息(ACM)是例如存储上面参考图15描述的数据的消息。
如上所述,参考图15,对于应用控制消息(ACM),例如,可以使用下列两种数据类型:
(1)应用主体非存储型ACM;以及
(2)应用主体存储型ACM。
在步骤S132,生成一种类型的应用控制消息(ACM)。
(步骤S133)
然后,在步骤S133,发送设备510的应用控制消息(ACM)处理单元(ACM服务器)512设置应用控制消息(ACM)作为事件。
具体地,确定应用控制消息(ACM)的事件通知中所必需的参数,诸如,激活时间、持续时间等。换言之,执行根据DASH功能等使用事件通知机制可以进行ACM发送的参数及其他格式数据的设置处理。
(步骤S134)
然后,在步骤S134,发送设备510的数据输出单元(DASH服务器)511执行将应用控制消息(ACM)作为事件信息插入到MP4规定的emsg框中,即,段的配置数据。
通过此处理,生成包括上面参考图18描述的应用控制消息的段。具体地,生成记录通过MP4规定的数据的emsg框。
在图18描述的应用控制消息存储段中,指示事件的类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据此段中记录的应用控制消息能够执行所参考的指定应用控制消息的处理。
具体地,对于根据应用控制消息中的记录数据而获取的应用,执行应用应用控制消息中所记录的控制命令的处理。
执行时间周期和持续时间符合段(emsg框)记录数据。
(步骤S135)
然后,在步骤S135,发送设备510的数据输出单元(DASH服务器)511发送(输出)MPD和记录应用控制消息的段。
如果发送设备510是广播服务器21,广播信号生成单元(广播服务器)513则对广播波执行用于发送MPD或段的处理。
如果发送设备510是数据分发服务器22,则通过网络发送MPD或段。
现在,描述通过在图20中的右侧描述的接收设备520而执行的处理。
在图20中,描述了接收设备520中的中间件521、应用控制单元522、以及再现控制单元523。所提及的部件对应于图5和图6中描述的安装了调谐器的接收设备30中的部件。
(步骤S141)
首先,如果接收设备520的再现控制单元(DASH客户端)523通过中间件521从发送设备510获取段,则从在步骤S141获取的段中获取事件信息。
应注意,假设此处获取的段是包括记录了应用控制消息(ACM)的emsg框的段。
段是记录了应用控制消息(ACM)记录在由上面参考图18描述的MP4规定的emsg框中的段。
在应用控制消息存储段中,指示事件类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据段中记录的应用控制消息能够执行将指定命令应用于指定应用的处理。
(步骤S142)
然后,在步骤S142,接收设备520的应用控制单元522执行从段获取的应用控制消息(ACM)的应用处理。
在应用控制消息存储段中,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
在应用控制消息(ACM)中,记录了控制目标的应用主体或应用的识别信息,并且进一步地,记录了元数据、控制命令等。
应用控制单元522对根据ACM记录数据规定的应用执行在ACM中规定的命令的应用处理。
应注意,命令应用时间和持续时间信息记录在上面参考图18描述的段中(MP4中规定的emsg框)。
(步骤S143)
然后,接收设备520的再现控制单元(DASH服务器)523从由发送设备510接收的段中获取AV内容等并且执行再现处理。
应注意,连续并且反复执行步骤S141至S143中的处理。
同样,接收设备(客户端)可以根据作为段中记录的事件信息的应用控制消息(ACM)执行各种应用控制以及用于接收和再现AV段的处理。
9.利用未安装调谐器的接收设备的处理实例
如上面参考图5和图6所述,作为执行广播内容的再现等的接收设备(客户端),使用安装了调谐器的接收设备(客户端A)30和未安装调谐器的接收设备(客户端B)。
因为未安装调谐器的接收设备(客户端B)40不能直接接收广播波,所以必须通过安装了调谐器的接收设备(客户端A)30输入各种数据。
这同样也应用于应用控制消息(ACM),并且因为未安装调谐器的接收设备(客户端B)40不能直接接收应用控制消息(ACM),所以必须通过安装了调谐器的接收设备(客户端A)30输入应用控制消息(ACM)。
在下文中,描述了未安装调谐器的接收设备(客户端B)40通过安装了调谐器的接收设备(客户端A)30接收应用控制消息(ACM)作为输入并且执行处理的处理序列。
如上所述,当应用事件通知机制发送应用控制消息(ACM)时,能够利用下列两种不同类型的事件通知方法:
(a)MPD应用事件通知方法(=MPD事件);以及
(b)段应用事件通知方法(=带内事件信令)。
在下文中,接连描述使用上面两种不同的事件通知方法发送应用控制消息(ACM)时的序列。
9-1.应用MPD应用事件通知方法(=MPD事件)的应用控制消息的发送与使用序列
首先,参考图21描述应用MPD应用事件通知方法(=MPD事件)的应用控制消息的发送与使用序列。
参考图21描述下列三个设备之中的处理序列:
(1)发送设备610,执行AV段或应用控制消息(ACM)的生成和输出;
(2)安装了调谐器的接收设备620,接收AV段或应用控制消息(ACM)并且生成其中将应用控制消息(ACM)记录为MPD中的事件信息的记录ACM的MPD;以及
(3)未安装调谐器的接收设备630,从安装了调谐器的接收设备620接收记录MPD的应用控制消息(ACM)并且根据记录MPD的应用控制消息(ACM)执行处理。
在图21中,从左侧描述了发送设备610、安装了调谐器的接收设备620、以及未安装调谐器的接收设备630。
具体地,发送设备610是发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22。
描述了通过发送设备610执行的处理。
发送设备610包括数据输出单元(DASH服务器)611、应用控制消息(ACM)处理单元(ACM服务器)612、以及广播信号生成单元(广播服务器)613。
应注意,这些服务器功能是图1中描述的发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22具有的功能。
在下文中,针对各个处理步骤描述通过发送设备610执行的处理。
(步骤S201)
首先,在步骤S201,发送设备610的数据输出单元(DASH服务器)611生成包括作为信令数据的MPD的段和包括配置再现内容的AV数据的段。
(步骤S202和S203)
然后,发送设备610的应用控制消息(ACM)处理单元(ACM服务器)612在步骤S202生成应用控制消息(ACM)并且在步骤S203发送生成的应用控制消息(ACM)。
应用控制消息(ACM)是例如存储上面参考图15描述的数据的消息。
如上面参考图15所述,对于应用控制消息(ACM),例如,可以使用下列两种数据类型:
(1)应用主体非存储型ACM;以及
(2)应用主体存储型ACM。
在步骤S202和S203,生成并且发送一种类型的应用控制消息(ACM)。
(步骤S204)
然后,在步骤S204,发送设备610的数据输出单元(DASH服务器)611发送(输出)作为信令数据的MPD或段。
如果发送设备610是广播服务器21,广播信号生成单元(广播服务器)613则对广播波执行用于发送MPD或段的处理。
如果发送设备610是数据分发服务器22,则通过网络发送MPD或段。
现在,描述安装了调谐器的接收设备620的处理。
安装了调谐器的接收设备620具有与图5和图6中描述的安装了调谐器的接收设备30相似的配置。
安装了调谐器的接收设备620接收从发送设备610发送的AV段或应用控制消息(ACM)并且生成其中将应用控制消息(ACM)记录为MPD中的事件信息的记录ACM的MPD。
进一步地,安装谐器的接收设备620将生成的记录ACM的MPD或段发送至未安装调谐器的接收设备630。
描述了通过安装了调谐器的接收设备620执行的步骤中的处理。
(步骤S211)
如果安装了调谐器的接收设备620的中间件621从发送设备610接收应用控制消息(ACM),则在步骤S211中将接收的应用控制消息设置为事件。
具体地,安装了调谐器的接收设备620的中间件621设置应用控制消息(ACM)中诸如激活时间、持续时间等事件通知所必需的参数并且准备格式作为符合DASH标准的事件信息。
应注意,将该处理中应用的参数描述为与从发送设备610接收的应用控制消息(ACM)一致的属性数据。
(步骤S212)
然后,在步骤S212,安装了调谐器的接收设备620的中间件621执行将作为事件信息的应用控制消息(ACM)插入到作为信令数据的MPD中。
通过此处理,生成包括上面参考图16描述的应用控制消息的MPD。
在图16描述的应用控制消息存储MPD中,指示事件类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录应用控制消息的激活(activation)时间、持续时间信息等。
未安装调谐器的接收设备630根据MPD中记录的应用控制消息能够执行所参考的指定应用控制消息的处理。
具体地,对于根据应用控制消息中的记录数据而获取的应用,执行应用应用控制消息中记录的控制命令的处理。
执行时间周期和持续时间符合MPD的描述。
(步骤S213)
然后,在步骤S213,安装了调谐器的接收设备620的中间件621发送(输出)记录事件信息的MPD,其中,应用控制消息记录在作为信令数据的MPD或段中。
应注意,例如,通过代理服务器从安装了调谐器的接收设备620的中间件执行MPD或段自安装了调谐器的接收设备620至未安装调谐器的接收设备630的输出。
现在,描述通过在图21的右侧描述的未安装调谐器的接收设备630执行的处理。
在图21中,描述了未安装调谐器的接收设备630的应用控制单元631和再现控制单元632。所提及的部件对应于图5和图6中描述的未安装调谐器的接收设备40中的部件。
(步骤S221)
首先,如果未安装调谐器的接收设备630的再现控制单元(DASH客户端)632通过安装了调谐器的接收设备620的中间件621获取作为信令数据的MPD,则在步骤S221从获得的MPD获取事件信息。
应注意,此处假设获取的MPD是记录了应用控制消息(ACM)的MPD。
在应用控制消息存储MPD中,指示事件类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据MPD中记录的应用控制消息执行将指定命令应用于指定应用的处理。
(步骤S222)
然后,在步骤S222,未安装调谐器的接收设备630的应用控制单元631执行从MPD获取的应用控制消息(ACM)的应用处理。
在应用控制消息存储MPD中,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
在应用控制消息(ACM)中,记录了控制目标的应用主体或应用的识别信息,并且进一步地,记录了元数据、控制命令等。
应用控制单元631对根据ACM记录数据规定的应用执行ACM中规定的命令的应用处理。
应注意,命令应用时间和持续时间信息记录在上面参考图16描述的MPD中。
(步骤S223)
然后,未安装调谐器的接收设备630的再现控制单元(DASH客户端)632从由安装了调谐器的接收设备620接收的段中获取AV内容等并且执行再现处理。
应注意,连续并且反复执行步骤S221至S223中的处理。
同样,未安装调谐器的接收设备630可以从由安装了调谐器的接收设备620的中间件生成的记录应用控制消息(ACM)的MPD中获取应用控制消息(ACM)作为事件信息并且根据获取的ACM执行各种应用控制以及用于接收和再现AV段的处理。
应注意,在上面参考图21所述发出该广播之后,用于执行将应用控制消息(ACM)插入到MPD中的处理仅局限于执行应用之前存在时间宽限的情况。
例如,配置局限于下列情况,即,将再现开始时间预定成使得在从广播服务器等发出特定AV段之后的充分时间周期流逝之后,开始段的再现。
这是因为必须根据周期单位的设置将应用控制消息(ACM)记录到MPD中并且例如安装了调谐器的接收设备620的中间件621必须在一个周期(Period)的时间间隔内收集从广播服务器广播的ACM并且生产与周期对应的MPD,所以因此,在发出MPD之前,在之前一个周期内产生时滞。
9-2.应用段应事件通知方法(=带内事件信令)的应用控制消息的发送和使用序列
现在,参考图22描述应用了段应用事件通知方法(=带内事件信令)的应用控制消息的发送和使用序列。
参考图22描述下列三种设备之中的处理序列:
(1)发送设备610,执行AV段或应用控制消息(ACM)的生成和输出;
(2)安装了调谐器的接收设备620,接收AV段或应用控制消息(ACM)并且生成其中将应用控制消息(ACM)记录为段中的事件信息的记录ACM的段;以及
(3)未安装调谐器的接收设备630,从安装了调谐器的接收设备620接收记录段的应用控制消息(ACM)并且根据记录段的应用控制消息(ACM)执行处理。
在图22中,从左侧描述了发送设备610、安装了调谐器的接收设备620、以及未安装调谐器的接收设备630。
具体地,发送设备610是发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22。
描述了通过发送设备610执行的处理。
发送设备610包括数据输出单元(DASH服务器)611、应用控制消息(ACM)处理单元(ACM服务器)612、以及广播信号生成单元(广播服务器)613。
应注意,这些功能是图1中描述的发送诸如MPD的信令数据或AV段的广播服务器21或数据分发服务器22具有的功能。
在下文中,针对各个处理步骤描述了通过发送设备610执行的处理。
(步骤S251)
首先,在步骤S251,发送设备610的数据输出单元(DASH服务器)611生成并且获取作为信令数据的MPD和包括配置再现内容的AV数据的段。
(步骤S252和S253)
然后,发送设备610的应用控制消息(ACM)处理单元(ACM服务器)612在步骤S252生成应用控制消息(ACM),并且在步骤S253发送生成的应用控制消息(ACM)。
应用控制消息(ACM)是其中例如存储上面参考图15描述的数据的消息。
如上面参考图15所述,对于应用控制消息(ACM),例如,可以使用下列两种数据类型:
(1)应用主体非存储型ACM;以及
(2)应用主体存储型ACM。
在步骤S252,生成一种类型的应用控制消息(ACM)。
(步骤S254)
然后,在步骤S254,发送设备610的数据输出单元(DASH服务器)611发送(输出)作为信令数据的MPD或段。
如果发送设备610是广播服务器21,广播信号生成单元(广播服务器)613则对广播波执行用于发送MPD或段的处理。
如果发送设备610是数据分发服务器22,则通过网络发送MPD或段。
现在,描述安装了调谐器的接收设备620的处理。
安装了调谐器的接收设备620具有与图5和图6中描述的安装了调谐器的接收设备30相似的配置。
安装了调谐器的接收设备620接收从发送设备610发送的AV段或应用控制消息(ACM)并且生成其中将应用控制消息(ACM)记录为段中的事件信息的记录ACM段。
进一步地,安装了调谐器的接收设备620将生成的记录ACM段或MPD发送至未安装调谐器的接收设备630。
描述了通过安装了调谐器的接收设备620执行的步骤中的过。
(步骤S261)
如果安装了调谐器的接收设备620的中间件621从发送设备610接收应用控制消息(ACM),则在步骤S261将接收的应用控制消息(ACM)设置为事件。
具体地,安装了调谐器的接收设备620的中间件621设置应用控制消息(ACM)中诸如激活时间、持续时间等事件通知所必需的参数并且准备作为符合DASH标准的事件信息的格式。
应注意,将应用于该处理的参数描述为与从发送设备610接收的应用控制消息(ACM)一致的属性数据。
(步骤S262)
然后,在步骤S262,安装了调谐器的接收设备620的中间件621执行将应用控制消息(ACM)作为事件信息插入到MP4中规定的emsg框中,即,段的配置数据。
通过此处理,生成包括上面参考图18描述的应用控制消息的段。具体地,生成MP4中规定的emsg框记录数据。
在图18描述的应用控制消息存储段中,指示事件类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据段中记录的应用控制消息能够执行所参考的指定应用控制消息的处理。
具体地,对于根据应用控制消息中的记录数据而获取的应用,执行其中应用应用控制消息中所记录的控制命令的处理。
执行时间周期和持续时间符合段(emsg box)记录数据的描述。
(步骤S263)
然后,在步骤S263,安装了调谐器的接收设备620的中间件621发送(输出)MPD和记录应用控制消息的段。
应注意,例如,通过代理服务器从安装了调谐器的接收设备620的中间件执行MPD或段自安装了调谐器的接收设备620至未安装调谐器的接收设备630的输出。
现在,描述通过图22中的右侧描述的未安装调谐器的接收设备630执行的处理。
在图22中,描述了未安装调谐器的接收设备630的应用控制单元631和再现控制单元632。所提及的部件对应于图5和图6中描述的未安装调谐器的接收设备630中的部件。
(步骤S271)
首先,如果未安装调谐器的接收设备630的再现控制单元(DASH客户端)632通过安装了调谐器的接收设备620的中间件621获取段,则在步骤S271从获取的段中获取事件信息。
应注意,此处假设所获取的段是包括记录了应用控制消息(ACM)的emsg框的段。
段是应用控制消息(ACM)记录在上面参考图18描述的MP4规定的emsg框中的段。
在应用控制消息存储段中,指示事件类型是上述应用控制消息。
进一步地,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
进一步地,记录了应用控制消息的激活(activation)时间、持续时间信息等。
接收设备根据段中记录的应用控制消息能够执行将指定命令应用于指定应用的处理。
(步骤S272)
然后,在步骤S272,未安装调谐器的接收设备630的应用控制单元631执行从段获取的应用控制消息(ACM)的应用处理。
在应用控制消息存储段中,存储上面参考图15描述的应用控制消息(ACM)作为事件数据。
在应用控制消息(ACM)中,记录了控制目标的应用主体或应用的识别信息,并且进一步地,记录了元数据、控制命令等。
应用控制单元631对根据ACM记录数据指定的应用执行ACM规定的命令的应用处理。
应注意,命令应用时间和持续时间信息记录在上面参考图18描述的段中(MP4规定的emsg框)。
(步骤S273)
因此,未安装调谐器的接收设备630的再现控制单元(DASH客户端)632从由安装了调谐器的接收设备620接收的段中获取AV段等并且执行再现处理。
应注意,连续并且反复执行步骤S271至S273中的处理。
以这种方式,未安装调谐器的接收设备630可以根据作为记录在段中的事件信息的应用控制消息(ACM)而执行各种应用控制以及用于接收并且再现AV段的处理。
10.发送设备与接收设备的配置的实例
现在,参考图23和图24描述作为通信设备的发送设备(服务器)20与接收设备(客户端)30和40的设备配置的实例。
图23描述了发送设备(服务器)20和接收设备(客户端)30的配置的实例。
发送设备(服务器)20包括数据处理单元751、通信单元752、以及存储单元753。
接收设备(客户端)30和40中的每个均包括数据处理单元771、通信单元772、存储单元773、输入单元774以及输出单元775。
数据处理单元771包括再现控制单元771a、输出控制单元771b、以及应用控制单元771c。
发送设备(服务器)20的数据处理单元751执行用于执行数据分发服务的各种数据处理。例如,数据处理单元751执行数据分发服务的配置数据的生成和发送控制。进一步地,数据处理单元751对提供至安装了调谐器的接收设备(客户端)30的应用、应用控制消息(ACM)、ACM存储MPD、ACM存储段、其他各种数据、以及信令数据执行生成和发送处理。
除AV段、应用、应用控制消息(ACM)、ACM存储MPD、ACM存储段、其他各种数据、信令数据等之外,通信单元752还执行分发的通信处理。
作为分发目标的AV段、应用、应用控制消息(ACM)、ACM存储MPD、ACM存储段、应用要使用的数据、信令数据等存储到存储单元753中。
此外,存储单元753用作用于通过数据处理单元751执行的数据处理的工作区并且还用作各种参数的存储区域。
同时,接收设备(客户端)30和40包括数据处理单元771、通信单元772、存储单元773、输入单元774、以及输出单元775。
在安装了调谐器的接收设备30的通信单元与未安装调谐器的接收设备40的通信单元之间,通信单元772被不同地设置。
安装了调谐器的接收设备30的通信单元接收从发送设备(服务器)20分发的数据,例如,AV段、应用、应用控制消息(ACM)、CAN存储MPD、ACM存储段、应用要使用的数据、信令数据等。
进一步地,安装了调谐器的接收设备30的通信单元被配置成允许通过诸如LAN、Wi-Fi等的网络进行数据发送和接收的通信单元。
同时,未安装调谐器的接收设备40的通信单元不包括可以接收广播波并且形成为可以通过诸如LAN、Wi-Fi等的网络执行数据的发送和接收的通信单元的调谐器单元。
数据处理单元771包括再现控制单元771a、输出控制单元771b以及应用控制单元771c,并且例如根据上文描述的实施方式等执行处理。
具体地,数据处理单元771执行使用应用、API(应用编程界面)、应用控制消息(ACM)、ACM存储MPD、ACM段等的数据处理。
通过输入单元774输入用户的指示命令,例如,用于信道选择、应用激活、安装等的各种命令。
将再现数据输出至诸如显示单元或扬声器的输出单元775。
AV段、应用控制消息(ACM)、ACM存储MPD、ACM存储段、应用、应用要使用的数据、信令数据等存储到存储单元773中。
此外,存储单元773用作用于通过数据处理单元771执行的数据处理的工作区并且还用作用于各种参数的存储区域。
图24描述了可以应用于发送设备20和接收设备30的通信设备的硬件配置的实例。
CPU(中央处理单元)801用作根据ROM(只读存储器)802或存储单元808中存储的程序而执行各种处理的数据处理单元。例如,CPU 801根据上文结合实施方式描述的序列执行处理。要由CPU 801执行的程序、数据等存储到RAM(随机存取存储器)803中。CPU 801、ROM802以及RAM 803通过总线804彼此耦接。
CPU 801通过总线804耦接至输入/输出接口805,并且由各种开关、键盘、鼠标、麦克风等配置的输入单元806、以及由显示单元、扬声器等配置的输出单元807耦接至输入/输出接口805。CPU 801根据从输入单元806输入至其的指令执行各种处理,并且例如将处理结果输出至输出单元807。
例如,耦接至输入/输出接口805的存储单元808由硬盘等配置并且存储由CPU 801执行的程序和各种数据。通信单元809用作通过诸如互联网或局域网的网络进行数据通信的发送和接收单元,并且进一步用作用于广播波并且与外部设备通信的发送和接收单元。
耦接至输入/输出接口805的驱动器810驱动诸如磁盘、光盘、磁光盘的可移除介质811、诸如存储卡等的半导体存储器,以执行数据的记录或读取。
应注意,尽管能够将数据的编码或解码执行为用作数据处理单元的CPU 801的处理,但是可以应用包括编解码器作为用于执行编码处理或记录处理的排他性使用的硬件配置。
11.本公开的配置的总结
已经参考具体实施方式详细描述了本公开的实施方式。然而,不言而喻,在不背离本技术的主题的情况下,本领域技术人员可以对实施方式做出修改或替换。换言之,本发明已通过例示的形式公开并且不应被受限制地解释。为了确定本公开的主题,应考虑权利要求。
应注意,本文公开的技术可以采取下列配置。
(1)一种接收设备,包括:
通信单元,被配置为接收事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;以及
应用控制单元,被配置为基于事件通知消息中存储为事件数据的应用控制消息执行应用控制。
(2)根据(1)所述的接收设备,其中,事件通知数据是具有符合MPD(媒体呈现描述)应用事件通知方法(MPD事件)的数据格式的事件通知数据,MPD应用事件通知方法是使用MPD的事件通知方法,MPD是作为控制信息的通知数据被发送的信令数据。
(3)根据(1)所述的接收设备,其中,事件通知数据是具有符合段应用事件通知方法(=带内事件信令)的数据格式的事件通知数据,段应用事件通知方法是使用作为用于发送视听内容的数据的段的事件通知方法。
(4)根据(1)至(3)中任一项所述的接收设备,其中,事件通知数据是记录了指示事件数据是应用控制消息的事件标识符的数据。
(5)根据(1)至(4)中任一项所述的接收设备,其中,事件通知数据是记录了控制时间信息的数据,该控制时间信息用于根据存储为事件数据的应用控制消息而执行处理。
(6)根据(1)至(5)中任一项所述的接收设备,其中,应用控制消息是记录了变成控制目标的应用主体或应用标识符的数据。
(7)根据(1)至(6)中任一项所述的接收设备,其中,应用控制消息是记录了与变成控制目标的应用有关的元数据的数据。
(8)根据(7)所述的接收设备,其中,元数据包括下列(a)至(c)中的至少一项的信息:
(a)变成控制目标的应用的版本;
(b)执行变成控制目标的应用所必需的资源信息;以及
(c)变成控制目标的应用的评级信息。
(9)根据(1)至(8)中任一项所述的接收设备,其中,应用控制消息是记录了针对变成控制目标的应用的命令的数据。
(10)根据(1)至(9)中任一项所述的接收设备,进一步包括:
数据处理单元,从由通信单元接收的事件通知数据获取应用控制消息并且将应用控制消息输出至应用控制单元。
(11)一种接收设备,包括:
通信单元,被配置为接收应用控制消息;
中间件,被配置为生成事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;
数据处理单元,被配置为从事件通知数据获取应用控制消息并且将应用控制消息输出至应用控制单元;以及
应用控制单元,被配置为基于应用控制消息执行应用控制。
(12)根据(11)所述的接收设备,其中,中间件生成具有符合MPD(媒体呈现描述)应用事件通知方法(MPD事件)的数据格式的事件通知数据,MPD应用事件通知方法是使用MPD的事件通知方法,MPD是作为控制信息的通知数据发送的信令数据。
(13)根据(11)所述的接收设备,其中,中间件生成具有符合段应用事件通知方法(=带内事件信令)的数据格式的事件通知数据,段应用事件通知方法是使用作为用于发送视听内容的数据的段的事件通知方法。
(14)一种发送设备,包括:
通信单元,被配置为发送事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据。
(15)根据(14)所述的发送设备,其中,事件通知数据是具有符合MPD(媒体呈现描述)应用事件通知方法(MPD事件)的数据格式的事件通知数据,MPD应用事件通知方法是使用MPD的事件通知方法,MPD是作为控制信息的通知数据发送的信令数据。
(16)根据(14)所述的发送设备,其中,事件通知数据是具有符合段应用事件通知方法(=带内事件信令)的数据格式的事件通知数据,段应用事件通知方法是使用作为用于发送视听内容的数据的段的事件通知方法。
(17)一种由接收设备执行的数据处理方法,包括:
由通信单元接收事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;并且
由应用控制单元基于在事件通知消息中存储为事件数据的应用控制消息,执行应用控制。
(18)一种由接收设备执行的数据处理方法,包括:
由通信单元接收应用控制消息;
由中间件生成事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据;
由数据处理单元从事件通知数据获取应用控制消息并且将应用控制消息输出至应用控制单元;并且
由应用控制单元基于应用控制消息执行应用控制。
(19)一种由发送设备执行的数据处理方法,包括:
由通信单元发送事件通知数据,在事件通知数据中,应用控制消息被存储为事件数据。
进一步地,通过硬件、软件、或通过其组合配置可以执行上述系列处理,在通过软件执行处理的情况下,能够将记录处理序列的程序安装到整合了排他性使用并且通过计算机执行的计算机存储器中,或者能够安装到执行各种处理的计算机中并且计算机出于一般性使用而执行该程序。例如,可以将程序提前记录到记录介质中。除从记录介质安装到计算机中之前,可以通过诸如LAN(局域网)或互联网等网络接收程序并且将程序安装到诸如内置硬卡等记录介质中。
应注意,不仅可以根据所描述的顺序按照时间顺序执行本文中描述的各个处理,而且还可以根据执行处理的设备的处理能力或根据情况并行或单独执行各个处理。进一步地,在本说明书中,术语“系统“表明多个设备的逻辑累加配置并且并不局限于将部件设备容纳在同一壳体中的系统。
工业应用
如上所述,根据本公开的实例的配置,实现了确定能够执行应用应用控制消息的应用控制的配置。
具体地,发送设备将事件通知数据发送至接收设备,在事件通知数据中,应用控制消息(ACM)被存储为事件数据。接收设备的应用控制单元基于作为事件数据存储在事件通知消息中的ACM执行应用控制。事件通知数据存储在MPD(即,信令数据)或段(即,用于发送AV内容的数据)中,并且接收设备能够从MPD或段中获取ACM并且执行快速应用控制。
通过本配置,实现了确定能够执行应用应用控制消息的应用控制的配置。
参考符号列表
10 通信系统
20 发送设备
21 广播服务器
22 数据分发服务器
30 安装了调谐器的接收设备
31 中继服务器
32 TV
33 PC
34 便携式终端
40 未安装调谐器的接收设备
41 PC
42 便携式终端
50 信令数据
60 AV段
70 其他数据
110 中间件
111 通信单元(PHY/MAC)
112 信令获取单元
113 信令分析单元
114 段获取单元
115 事件插入单元
116 应用文件获取单元
120 HTTP代理服务器
121,122 缓存单元
123 地址解析单元
131,151 再现控制单元
132,152 输出控制单元
140,160 应用控制单元
310 事件插入执行设备
311 数据输出单元(DASH服务器)
312 事件处理单元(事件服务器)
320 事件执行设备
321 再现控制单元(事件客户端)
322 再现控制单元(DASH客户端)
510 发送设备
511 数据输出单元(DASH服务器)
512 ACM处理单元(ACM服务器)
513 广播信号处理单元(广播服务器)
520 接收设备
521 中间件
522 应用控制单元
523 再现控制单元
610 发送设备
611 数据输出单元(DASH服务器)
612 ACM处理单元(ACM服务器)
613 广播信号处理单元(广播服务器)
620 安装了调谐器的接收设备
621 中间件
630 未安装调谐器的接收设备
631 应用控制单元
632 再现控制单元
751 数据处理单元
752 通信单元
753 存储单元
771 数据处理单元
771a 再现控制单元
771b 输出控制单元
771c 应用控制单元
772 通信单元
773 存储单元
774 输入单元
775 输出单元
801 CPU
802 ROM
803 RAM
804 总线
805 输出/输出接口
806 输入单元
807 输出单元
808 存储单元
809 通信单元
810 驱动器
811 可移除介质。

Claims (19)

1.一种接收设备,包括:
通信单元,被配置为接收事件通知数据,在所述事件通知数据中,应用控制消息被存储为事件数据;
再现控制单元,被配置为获取其中存储了视听内容的段和作为用于通知控制信息的信令数据的媒体呈现描述,并且执行内容再现控制;以及
应用控制单元,被配置为基于在所述事件通知数据中存储为事件数据的所述应用控制消息执行应用控制;
在所获取的媒体呈现描述或段是在其中所述应用控制消息被存储为所述事件数据的事件通知数据的情况下,所述再现控制单元从所述媒体呈现描述或所述段中提取所述事件数据并且将所述事件数据输出至所述应用控制单元;
所述应用控制单元基于作为从所述再现控制单元输入的所述事件数据的所述应用控制消息,执行应用控制。
2.根据权利要求1所述的接收设备,其中,所述事件通知数据是具有符合媒体呈现描述应用事件通知方法的数据格式的事件通知数据,所述媒体呈现描述应用事件通知方法是使用媒体呈现描述的事件通知方法,所述媒体呈现描述是作为控制信息的通知数据发送的信令数据。
3.根据权利要求1所述的接收设备,其中,所述事件通知数据是具有符合段应用事件通知方法的数据格式的事件通知数据,所述段应用事件通知方法是使用作为用于发送视听内容的数据的段的事件通知方法。
4.根据权利要求1所述的接收设备,其中,所述事件通知数据是记录了指示所述事件数据是应用控制消息的事件标识符的数据。
5.根据权利要求1所述的接收设备,其中,所述事件通知数据是记录了控制时间信息的数据,所述控制时间信息用于根据存储为事件数据的所述应用控制消息而执行处理。
6.根据权利要求1所述的接收设备,其中,所述应用控制消息是记录了变成控制目标的应用主体或应用标识符的数据。
7.根据权利要求1所述的接收设备,其中,所述应用控制消息是记录了与变成控制目标的应用有关的元数据的数据。
8.根据权利要求7所述的接收设备,其中,所述元数据包括下列(a)至(c)中的至少一项的信息:
(a)变成所述控制目标的应用的版本;
(b)执行变成所述控制目标的所述应用所必需的资源信息;以及
(c)变成所述控制目标的所述应用的评级信息。
9.根据权利要求1所述的接收设备,其中,所述应用控制消息是记录了针对变成控制目标的应用的命令的数据。
10.根据权利要求1所述的接收设备,进一步包括:
数据处理单元,从由所述通信单元接收的所述事件通知数据获取所述应用控制消息并且将所述应用控制消息输出至所述应用控制单元。
11.一种接收设备,包括:
通信单元,被配置为接收应用控制消息;
中间件,被配置为生成事件通知数据,在所述事件通知数据中,所述应用控制消息被存储为事件数据;
数据处理单元,被配置为从所述事件通知数据获取所述应用控制消息并且将所述应用控制消息输出至应用控制单元;以及
所述应用控制单元,被配置为基于所述应用控制消息执行应用控制,
其中,所述中间件生成具有符合媒体呈现描述应用事件通知方法的数据格式的事件通知数据,所述媒体呈现描述应用事件通知方法是使用媒体呈现描述的事件通知方法,所述媒体呈现描述是作为控制信息的通知数据发送的信令数据。
12.根据权利要求11所述的接收设备,其中,所述中间件生成具有符合段应用事件通知方法的数据格式的事件通知数据,所述段应用事件通知方法是使用作为用于发送视听内容的数据的段的事件通知方法。
13.一种发送设备,包括:
数据输出单元,被配置为发送其中存储了视听内容的段和作为用于通知控制信息的信令数据的媒体呈现描述;以及
事件处理单元,被配置为生成事件通知数据,在所述事件通知数据中,应用控制消息被存储为事件数据;
所述数据输出单元将由所述事件处理单元生成的在其中所述应用控制消息被存储为事件数据的所述事件通知数据插入到段或媒体呈现描述中,并且发送所述段或所述媒体呈现描述。
14.根据权利要求13所述的发送设备,其中,所述事件通知数据是具有符合媒体呈现描述应用事件通知方法的数据格式的事件通知数据,所述媒体呈现描述应用事件通知方法是使用媒体呈现描述的事件通知方法,所述媒体呈现描述是作为控制信息的通知数据发送的信令数据。
15.根据权利要求13所述的发送设备,其中,所述事件通知数据是具有符合段应用事件通知方法的数据格式的事件通知数据,所述段应用事件通知方法是使用作为用于发送视听内容的数据的段的事件通知方法。
16.一种由接收设备执行的数据处理方法,包括:
由通信单元接收其中存储了视听内容的段、作为用于通知控制信息的信令数据的媒体呈现描述、以及在其中应用控制消息被存储为事件数据的事件通知数据;
由再现控制单元获取所述段和所述媒体呈现描述并且执行内容再现控制;以及
由应用控制单元基于在所述事件通知数据中被存储为所述事件数据的所述应用控制消息,执行应用控制;
在所获取的媒体呈现描述或段是在其中所述应用控制消息被存储为所述事件数据的所述事件通知数据的情况下,所述再现控制单元从所述媒体呈现描述或所述段中提取所述事件数据并且将所述事件数据输出至所述应用控制单元;
所述应用控制单元基于作为从所述再现控制单元输入的所述事件数据的所述应用控制消息,执行应用控制。
17.一种由接收设备执行的数据处理方法,包括:
由通信单元接收应用控制消息;
由中间件生成事件通知数据,在所述事件通知数据中,所述应用控制消息被存储为事件数据;
由数据处理单元从所述事件通知数据获取所述应用控制消息并且将所述应用控制消息输出至应用控制单元;以及
由所述应用控制单元基于所述应用控制消息执行应用控制,
其中,所述中间件生成具有符合媒体呈现描述应用事件通知方法的数据格式的事件通知数据,所述媒体呈现描述应用事件通知方法是使用媒体呈现描述的事件通知方法,所述媒体呈现描述是作为控制信息的通知数据发送的信令数据。
18.一种由发送设备执行的数据处理方法,包括:
由数据输出单元执行用于发送其中存储了视听内容的段和作为用于通知控制信息的信令数据的媒体呈现描述的数据输出处理;以及
由事件处理单元执行用于生成事件通知数据的事件处理,在所述事件通知数据中,应用控制消息被存储为事件数据;
所述数据输出单元将由所述事件处理单元生成的在其中所述应用控制消息被存储为所述事件数据的所述事件通知数据插入到段或媒体呈现描述中,并且发送所述段或所述媒体呈现描述。
19.一种电视机,包括根据权利要求1至12中任一项所述的接收设备。
CN201680023166.2A 2015-04-30 2016-03-22 接收设备、发送设备以及数据处理方法 Active CN107534792B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-092627 2015-04-30
JP2015092627 2015-04-30
PCT/JP2016/058933 WO2016174959A1 (ja) 2015-04-30 2016-03-22 受信装置、送信装置、およびデータ処理方法

Publications (2)

Publication Number Publication Date
CN107534792A CN107534792A (zh) 2018-01-02
CN107534792B true CN107534792B (zh) 2021-03-09

Family

ID=57198401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023166.2A Active CN107534792B (zh) 2015-04-30 2016-03-22 接收设备、发送设备以及数据处理方法

Country Status (8)

Country Link
US (1) US10425689B2 (zh)
EP (1) EP3291568B1 (zh)
JP (1) JPWO2016174959A1 (zh)
KR (1) KR102533674B1 (zh)
CN (1) CN107534792B (zh)
CA (1) CA2981228C (zh)
MX (1) MX2017013411A (zh)
WO (1) WO2016174959A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7390816B2 (ja) * 2019-08-02 2023-12-04 日本放送協会 配信システム、受信装置およびプログラム
EP4207776A4 (en) * 2020-08-31 2024-08-07 Lg Electronics Inc MULTIMEDIA DATA PROCESSING METHOD AND MULTIMEDIA DATA PROCESSING DEVICE

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281942A1 (en) * 2004-06-28 2008-11-13 Tohru Nakahara Data Processing Device
US7983769B2 (en) * 2004-11-23 2011-07-19 Rockwell Automation Technologies, Inc. Time stamped motion control network protocol that enables balanced single cycle timing and utilization of dynamic data structures
EP1836847A4 (en) * 2005-01-12 2014-01-15 Alticast Corp METHOD FOR SENDING / RECEIVING EFFECTIVE APPLICATION PROGRAMS AND ITS DEVICE USING A MODULE CONCEPT IN A DIGITAL BROADCASTING NETWORK
US20100025938A1 (en) * 2006-06-07 2010-02-04 Freudenberg-Nok General Partnership Bearing Seal
KR100793057B1 (ko) * 2006-09-01 2008-01-10 한국전자통신연구원 이기종 센서 네트워크 기반의 정보 서비스 생성을 위한usn 미들웨어 장치 및 그 방법과, 그를 이용한 정보서비스 제공 시스템
JP5446405B2 (ja) * 2009-04-09 2014-03-19 富士通株式会社 イベント検出制御方法及びシステム
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
US8700027B2 (en) * 2011-02-11 2014-04-15 Alcatel Lucent Method and apparatus for network analysis
JP6348251B2 (ja) 2012-09-13 2018-06-27 サターン ライセンシング エルエルシーSaturn Licensing LLC 端末装置、受信方法、およびプログラム
CN103929472A (zh) * 2014-03-21 2014-07-16 珠海多玩信息技术有限公司 数据处理方法、装置及系统

Also Published As

Publication number Publication date
CA2981228C (en) 2023-08-01
US10425689B2 (en) 2019-09-24
EP3291568A4 (en) 2018-10-24
EP3291568A1 (en) 2018-03-07
MX2017013411A (es) 2018-02-09
KR102533674B1 (ko) 2023-05-18
EP3291568B1 (en) 2022-05-04
CA2981228A1 (en) 2016-11-03
JPWO2016174959A1 (ja) 2018-02-22
KR20170141676A (ko) 2017-12-26
US20180146252A1 (en) 2018-05-24
WO2016174959A1 (ja) 2016-11-03
CN107534792A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
US10863247B2 (en) Receiving device and data processing method
CN107534793B (zh) 接收装置、传输装置以及数据处理方法
CN107683608B (zh) 接收设备、发送设备与数据处理方法
US20220335475A1 (en) Reception apparatus, transmission apparatus, and data processing method
US10057624B2 (en) Synchronization of content rendering
CA2998129A1 (en) Transmission apparatus, reception apparatus, and data processing method
CN107534792B (zh) 接收设备、发送设备以及数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant