CN111316655A - 在dash感知应用与dash客户端之间用于服务互动性支持的接口 - Google Patents

在dash感知应用与dash客户端之间用于服务互动性支持的接口 Download PDF

Info

Publication number
CN111316655A
CN111316655A CN201880071715.2A CN201880071715A CN111316655A CN 111316655 A CN111316655 A CN 111316655A CN 201880071715 A CN201880071715 A CN 201880071715A CN 111316655 A CN111316655 A CN 111316655A
Authority
CN
China
Prior art keywords
dash
data
api
client
interactivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880071715.2A
Other languages
English (en)
Other versions
CN111316655B (zh
Inventor
查尔斯·农格·罗
托马斯·斯托克哈默
吉达尔·哈堤·曼蒂阿姆
卡洛斯·马塞洛·迪亚斯·帕索斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111316655A publication Critical patent/CN111316655A/zh
Application granted granted Critical
Publication of CN111316655B publication Critical patent/CN111316655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

在一个实例中，一种装置包含：一或多个处理器，其实施于电路系统中且经配置以执行HTTP上的动态自适应流式传输DASH感知应用DAA及DASH客户端；以及一或多个用户接口。所述DAA经由在由所述一或多个处理器执行的所述DAA与DASH客户端之间的第一应用程序设计接口API订阅DASH事件流的DASH事件。接着，所述DAA经由在所述DAA与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的所述数据指定互动性相关内容。接着，所述DAA经由所述一或多个用户接口呈现所述互动性相关内容。所述DAA可进一步将关于所述互动性相关内容的使用的使用测量发送到所述DASH客户端，以向报告服务器装置报告。

Description

在DASH感知应用与DASH客户端之间用于服务互动性支持的 接口
本申请案主张2017年11月10日申请的第62/584,344号美国临时申请案、2017年11月10日申请的第62/584,494号美国临时申请案、2018年11月8日申请的第16/184,683号美国申请案的权益，所述各申请案中的每一者的全部内容特此以引用的方式并入。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字实况系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。另外，服务器装置(例如网络服务器、内容递送网络(CDN)的装置及其类似者)可例如经由流式传输或随选网络协议而将媒体数据发射到客户端装置(例如个人计算机、机顶盒、行动装置，例如膝上型计算机、蜂窝式电话及其类似者)。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4，第10部分，进阶视频译码(AVC)、ITU-T H.265(也被称作高效视频译码(HEVC))界定的标准及这些标准的扩展中所描述的那些技术，以更有效地发射及接收数字视频信息。
在视频数据已编码之后，可将视频数据包化以用于发射或存储。可将视频数据组译成符合多种标准中的任一者的视频文件，所述标准例如国际标准化组织(ISO)基本媒体文件格式及其扩展，例如AVC。
可以多种输送方法来递送数据，例如包含视频、音频及计时文字数据的媒体数据。一个此方法为第三代合作伙伴计划(3GPP)网络中的多媒体广播/多播服务(MBMS)。举例来说，MBMS允许使用单个递送管线将所关注服务递送到大量订户。
发明内容
一般来说，本申请案描述以下技术：HTTP上的动态自适应流式传输(DASH)感知应用(DAA)可通过所述技术订阅各种类型的DASH相关信息，例如DASH事件及/或计时网页资产播放轨数据。明确地说，可在由客户端装置的一或多个处理器执行的DAA与DASH客户端之间定义应用程序设计接口(API)，以允许订阅及递送DASH事件数据及/或计时网页资产播放轨数据。另外，DAA可维护表示用户与DASH事件的互动性相关内容互动的时间的数据，并经由对应API将数据发送到DASH客户端。
在一个实例中，一种接收媒体数据的方法包含以下操作：通过客户端装置的包括电路系统的一或多个处理器执行的HTTP上的动态自适应流式传输(DASH)感知应用，经由在由所述一或多个处理器执行的所述DASH感知应用与DASH客户端之间的第一应用程序设计接口(API)订阅DASH事件流的DASH事件；通过所述DASH感知应用，经由在所述DASH感知应用与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的数据指定互动性相关内容；以及通过所述DASH感知应用，经由所述客户端装置的一或多个用户接口呈现所述互动性相关内容。
在另一实例中，一种用于接收媒体数据的装置包含：一或多个用户接口，其用于呈现媒体数据；以及一或多个处理器，其实施于电路系统中且经配置以执行HTTP上的动态自适应流式传输(DASH)感知应用及DASH客户端。所述DASH感知应用经配置以：经由在所述DASH感知应用与所述DASH客户端之间的第一应用程序设计接口(API)，订阅DASH事件流的DASH事件；经由在所述DASH感知应用与所述DASH客户端之间的第二API，从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的所述数据指定互动性相关内容；以及经由所述客户端装置的所述一或多个用户接口呈现所述互动性相关内容。
在另一实例中，一种用于接收媒体数据的装置包含：用于执行HTTP上的动态自适应流式传输(DASH)感知应用，以经由在所述DASH感知应用与DASH客户端之间的第一应用程序设计接口(API)订阅DASH事件流的DASH事件的装置；用于执行所述DASH感知应用，以经由在所述DASH感知应用与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据的装置，所述一或多个DASH事件的所述数据指定互动性相关内容；以及用于呈现所述互动性相关内容的装置。
在另一实例中，一种其上存储有指令的计算机可读存储媒体，所述指令在执行时致使执行HTTP上的动态自适应流式传输(DASH)感知应用及DASH客户端的一或多个处理器进行以下操作：通过所述DASH感知应用，经由在所述DASH感知应用与所述DASH客户端之间的第一应用程序设计接口(API)订阅DASH事件流的DASH事件；通过所述DASH感知应用，经由在所述DASH感知应用与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的所述数据指定互动性相关内容；以及通过所述DASH感知应用，经由所述客户端装置的一或多个用户接口呈现所述互动性相关内容。
在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。
附图说明
图1是说明根据本发明的技术的实施用于经由网络流式传输媒体数据的技术的实例系统的框图。
图2是更详细地说明图1的检索单元的组件的实例集合的框图。
图3是说明实例检索单元及各种机构的框图，实例检索单元的DASH客户端可通过所述机构向报告服务器装置提交报告。
图4是说明实例多媒体内容的元素的概念图。
图5是说明实例视频文件的元素的框图，所述实例视频文件可对应于表示的区段。
图6是说明订阅及通知带内DASH事件流消息的实例方法的流程图。
图7是说明订阅及通知MPD事件消息的实例方法的流程图。
图8是说明订阅及通知两种实例类型的DASH事件消息(与媒体一起带内载运或在MPD内部载运)的实例方法的流程图。
图9是说明订阅及通知计时元数据播放轨消息的实例方法的流程图。
图10是说明转发互动性使用记录消息的实例方法的流程图。
具体实施方式
服务互动性，即，终端用户动态地且主动地参与所递送的服务/内容(例如，广播音频/视觉服务或节目)的能力为重要特征，其支持在例如高级电视系统委员会(ATSC)、数字视频广播(DVB)及第三代合作伙伴计划(3GPP)的相关标准组织中被指定。尤其，参与实时服务为有吸引力的概念。尤其，参与实时服务为有吸引力且可能货币化的概念，例如，用于实现广告。服务互动性可包括例如用户参与所呈现节目的功能性，例如常常经由键入或点击用户接口(UI)特征，例如超链接、选项按钮或显示的表单进行的投票、评级、购买、在线聊天及针对性广告或其它内容的接收。此为广泛理解并了解的概念，且已经广泛用于对等服务。此外，提供服务互动性特征的服务及内容提供商将希望可向用户提供个性化互动性体验，例如，经由用户使用例如偏好/设定档信息、用户位置或一天中的时间的标准的知识。这些功能性在因特网流式传输服务中是众所周知的，尤其是在应用程序或浏览器中消费时。结合起来，通常存在更复杂的方法涉及对装置及或网络侧的数据分析，以实现个性化互动性。
经由单播及/或广播递送，例如与3GPP流式传输及下载服务相关联的个性化及互动式服务能力可提高终端用户对服务运营商的度及忠诚度，即，产生对运营商的服务产品(例如线性TV节目、实况体育赛事及可下载的多媒体内容)更大的“粘性(stickiness)”。其还将向运营商提供进一步货币化流式传输服务的方法，例如，当经由多媒体广播/多播服务(MBMS)分布时，通过例如：经由高级情境服务产品增加订户群，例如，由用户或第三方提供商支付的点击(click-through)；经由简单的用户互动支持随选信息或针对性广告，例如点击呼叫、点击短消息服务(Short Message Service；SMS)或点击网页访问，或其它众所周知的独家单播业务方法；以及/或驱动与终端用户发起的关于互动性的讯务相关联的更大蜂窝式通话时间或数据量使用，其费用可由例如广告商或内容提供商的第三方实体承担，而不与订户相关。
连续媒体内容递送，例如使用自适应位率(ABR)技术(例如HTTP上的动态自适应流式传输(MPEG-DASH)(ISO/IEC 23009-1“信息技术-HTTP上的动态自适应流式传输(DASH)-第1部分：媒体呈现描述及区段格式，2017年1月9日))的视频流服务，广泛用于OTT世界以及管理运营商服务，例如3GPP eMBMS(ETSI TS 26.247、26.346、26.347)、ATSC 3.0(A/337、A/344)及DVB-T系统中的混合广播/宽带服务递送。对于递送DASH格式服务的服务互动性支持，标准中采用的机制是使用DASH事件流，如MPEG-DASH(ISO/IEC 23009-1)中指定的用于多种类型的特殊应用事件中的任一者的传信，例如动态发生及载运互动性相关内容或元数据。此在ATSC 3.0规范A/337及A/344中完成，并在DASH行业论坛(DASH-IF)的DASH互操作性点ATSC 3.0规范中进行了描绘。
在ATSC 3.0A/344中，定义了一种特定机制，借此在ATSC 3.0TV接收器装置中运行的称为“广播装置应用”(BA)的具有互动性能力的应用可订阅基于回呼的DASH事件消息递送，其向BA提供服务互动性相关信息，并经由基于JSON-RPC的网络套接字(WebSocket)应用程序接口(API)作为来自基于接收器的网页服务器的媒体呈现描述(Media PresentationDescription；MPD)事件或带内事件流(即，作为“emsg”框)而被载运。前一类型(MPD事件)最适于“静态”服务互动性事件，即，当先验地得知互动性功能的发生时间时。后一类型(在“emsg”框内载运的带内事件流消息)非常适于“动态”互动性事件-即，仅在最后一分钟才知晓的计时事件(例如服务互动性发生需要应用进行的某动作，由不可预测及动态的事件触发，例如当团队在实况体育节目中得分时)。
ISO/IEC 23009-1规定，“可在MPD中或在表示内提供事件，以便向DASH客户端或应用程序用信号发送非周期性信息。事件为计时的，即，每一事件在特定媒体呈现时间开始并且通常具有持续时间。事件包含DASH特定传信或特殊应用事件。在后一状况下，恰当的方案识别符识别应用程序，使得DASH客户端可将事件转发给恰当的应用程序。相同类型的事件聚集在事件流中。此使得DASH客户端能够订阅所关注事件流，并忽略与的无关或不关注的事件流”。
下文描述了用于实现较好结果以解决所识别的限制因素的各种技术。这些实例技术解决了互动性事件订阅及通知以及互动性使用报告。
一种实例技术包含互动性事件订阅及通知。鉴于例如在ATSC 3.0中，预期DASH事件用作触发及描述预期服务互动性事件的机制，其可在主程序内以静态或动态方式发生，需要定义标准解决方案，通过在例如UE的用户终端或例如平板计算机及膝上型计算机PC的其它便携式装置以及例如机顶盒及TV的固定装置中运行的具有互动性能力的DASH感知服务应用，所述解决方案将实现此传信及元数据获取。DASH事件消息(不管其是在MPD中发送，还是在带内递送到主程序的媒体流)的逻辑源为从MPD或在DASH媒体流中接收事件的DASH客户端。
本发明认识到，期望在DASH感知应用或“DAA”与DASH客户端之间定义API以暴露相关功能性，以使得应用能够注册及订阅DASH客户端以用于获取DASH事件消息，且DASH客户端又经由通知将那些事件递送到应用。然而，本发明指出，这些DAA到DASH客户端API目前未由任何标准组织或行业论坛定义。最接近的功能等效物，如先前关于ATSC 3.0中的A/344规范所提及，为接收器网页服务器与广播装置应用之间的网络套接字API-即，“事件流订阅”API、“事件流退订”API及“事件流事件”API。
这些前两个实例API的名称为自描述的-以使得广播装置应用能够订阅(或取消订阅(un-subscribe))来从接收器网页服务器的DASH事件流消息的转发，其具有指示的“schemeUdUri”及“值(value)”属性。事件流事件API为由接收器调用的通知API，以将具有匹配的“schemeUdUri”及“值”属性的那些DASH事件流消息传送到应用。在ATSC状况下，这些API的DAA的对等实体并非DASH客户端，而是接收器中间软件，后者可视为专用的，而非API的通用端点。因此，本发明指出，理想地，应在DAA与DASH客户端之间定义事件流订阅及取消订阅以及通知API。
用于在ISO基本媒体文件格式(ISO base media file format；ISO BMFF)内载运网页数据相关数据的另一种方法正在MPEG(在SC29/WG11中)中定义，例如在w17242中定义的。其为关于递送计时播放轨结构辅助并同步到同一ISO BMFF文件中的音频或视频播放轨。可定义此计时播放轨以存储网页资源以及处置从这些网页资源到载运其的文件的引用的方式。特定地说，所述存储使得能够递送可由ISO/IEC 14496-12支持的同步媒体及网页资源，包含文件下载、渐进式文件下载、流式传输、广播等等。尽管在此MPEG工作中假定ISOBMFF文件含有“网页资源”播放轨、足够信息使得文件可由常规浏览器播出，但如果播放轨数据不打算由常规网页运行时间引擎直接处置，则还可能期望将此播放轨中的计时元数据暴露于DASH感知应用以进行处理。举例来说，DAA属于具有互动性能力的“原生”应用程序而非(基于浏览器的)网页应用程序。出于此目的，本发明指出，应理想地定义DAA与DASH客户端之间的“计时元数据播放轨”订阅及通知API。元数据的类型可为网页资源，或其可为其它类型之元数据。
另一种实例技术包含互动性使用报告。对于与广播媒体服务相关联的互动性功能，节目服务或相关联的互动性媒体内容的提供商在大多数状况下对用户对互动性相关特征或内容的消费或参与的定量测量有兴趣(例如，观看互动性相关媒体内容的个例数目及/或持续时间、与弹出式互动性链接相关联的点击、所显示表单中的文字键入、互动性相关产品购买等等)。DAA还可跟踪事件数据的载运(例如，如果事件数据为带内的、基于播放轨的等等)。此外，如果事件数据含有可由服务提供商解译的识别符，则DAA可使用此信息来提供更精细的互动性使用记录。彼信息对于服务/内容提供商或可能的第三方实体(例如广告商)来说是有价值的，以便优选地理解终端用户行为或兴趣以用于针对性地递送额外内容、广告、促销等等。
在运营商提供的服务，例如基于DASH的3GPP MBMS或分组交换流(PSS)中，相关联的服务层功能包含报告接收统计及体验质量(quality of experience；QoE)度量的丰富功能，包含例如控制执行报告的总装置百分比的特征，及装置启动报告中的回退计时器规范，或识别替代报告服务器统一资源定位符(Uniform Resource Locator；URL)表示避免由于报告讯务或在多个服务器上更均匀地分布报告讯务而导致的潜在的单播网络拥挤的方法。已经在3GPP SA4版本15服务互动性(“SerInter”)工作项中，所陈述的目标包含再使用现有MBMS服务层功能以发布关于互动性的参数及准则、控制装置群以执行此报告及关于服务接收或消费的现有报告协议的能力。
本发明认识到，考虑通过具有互动性能力的DAA卸载到其它基于装置的应用程序软件或中间软件(例如DASH客户端，其已经执行基于服务层的QoE报告功能)以代表应用程序处置互动性使用报告功能，其将为合乎逻辑的。反过来，DASH客户端可请求MBMS客户端代表其处置互动性使用报告，且已经在TS 26.346中针对DASH QoE度量的MBMS接收报告定义了此功能。再使用现有报告功能对于也充当MBMS或PSS服务的网络运营商的服务提供商应特别有吸引力，因为其已经控制处置整体报告功能的网络设备及装置实体。
关于DAA与DASH客户端之间的API，本发明指出，期望另外，定义“互动性使用记录转发”API以使得应用程序能够依赖于DASH客户端及对向装置或与服务消费、接收统计及QoE度量报告相关联的网络功能，以执行由DAA记录及转发的互动性相关使用信息的后续报告。如前一章节中所指示，本发明指出，迄今尚未在DASH客户端与其服务的装置应用程序之间定义任何API。
本发明提出了在DASH感知应用(DAA)与DASH客户端之间的一组应用程序接口(Application Program Interface；API)，两个实体皆在用户装置(UE，例如平板计算机或膝上型计算机PC的载运型装置)、固定终端(例如，机顶盒或大屏幕TV)内操作，支持服务互动性特征。互动性特征与在主要服务节目播出期间发生的动态及不可预测的或静态及预定义的事件相关联。所述服务可透过基础网络(Over-the-top；OTT)递送，或可为例如演进型多媒体广播多播服务(Evolved Multimedia Broadcast Multicast Service；eMBMS)、基于陆地广播TV(ATSC 3.0、DVB-T等等)或因特网协议电视(television；IPTV)的管理服务。本发明提出在DAA与DASH客户端之间定义的以下API(在本文中被称作“DASH-API”)：
API 1-registerInteracApp()
API 2-registerInteracResponse()
API 3-eventSubscribe()
API 4-eventResponse()
API 5-inbandEventSubscribe()
API 6-inbandEventSubscribeResponse()
API 7-mpdEventSubscribe()
API 8-mpdEventSubscribeResponse()
API 9-eventNotif()
API 10-eventNotifResponse()
API 11-inbandEventNotif()
API 12-inbandEventNotifResponse()
API 13-mpdEventNotif()
API 14-mpdEventNotifResponse()
API 15-eventUnsubscribe()
API 16-eventUnsubscribeResponse()
API 17-inbandEventUnsubscribe()
API 18-inbandEventUnsubscribeResponse()
API 19-mpdEventUnsubscribe()
API 20-mpdEventUnsubscribeResponse()
API 21-timedMetadataTrackSubscribe()
API 22-timedMetadataTrackResponse()
API 23-timedMetadataTrackNotif()
API 24-timedMetadataTrackNotifResponse()
API 25-timedWebAssetTrackUnsubscribe()
API 26-timedWebAssetTrackUnsubscribeResponse()
API 27-interacUsageMeasurementNotify()
API 28-interacUsageMeasurementResponse()
API 29-interacUsageLogForward()
API 30-interacUsageLogForwardResponse()
API 31-deregisterInteracApp()
API 32-deregisterInteracResponse()
API 1及2是关于DAA必须向DASH客户端注册以便有资格执行后续API调用的基本要求，例如当可供DASH客户端使用时，订阅特定于互动性的DASH事件通知。
API 3(及来自DASH客户端经由API 4的相关联响应)使得DAA能够订阅任何类型的事件流(其关于服务互动性事件的传信及元数据载运)，即，在媒体递送带内的“emsg”框，或MPD事件消息(如由参数“schemeIdUri”及“值”所识别)的基于通知的递送。此API还将使得DAA能够订阅与互动性播放轨相关联的事件数据(如果可用)。另外，DAA指定那些事件流消息的递送模式应为“立即的”(即，在可用时尽可能快地提供)抑或“延迟的”(即，仅在相关联的媒体播出时间之前提供，如由ISO/IEC 23008-1，第5.10.2及5.10.3章节中定义的事件的“presentationTime”参数表示)。
API 5及7(以及来自DASH客户端经由API 6及8的相关联确认)使得DAA能够唯一地分别订阅带内事件流(其关于服务互动性事件的传信及元数据载运)，即，在媒体递送带内的“emsg”框的基于通知的递送，及MPD事件消息的基于通知的递送，如由参数“schemeIdUri”及“值”所识别。与API 5类似，DAA将另外指定那些事件流消息的递送模式应为“立即的”(即，在可用时尽可能快地提供)抑或“延迟的”(即，仅在相关联的媒体播出时间之前提供，如由ISO/IEC 23008-1，第5.10.2及5.10.3章节中定义的事件的“presentationTime”参数表示)。
API 9、11及13(以及关于DAA经由API 10、12及14接收的对应响应)表示通知及转发功能，借此DASH客户端在从DAA接收到对应的订阅请求(分别经由API 3、5及7)时，根据DAA所请求的递送模式(立即的或延迟的)，将适当类型的特定于互动性的DASH事件流消息递送到DAA。
API 15(及来自DASH客户端经由API 16的相关联响应)使得DAA能够取消订阅任何类型的事件流(其关于服务互动性事件的传信及元数据载运)，即，在媒体递送带内的“emsg”框，或MPD事件消息(如由参数“schemeIdUri”及“值”所识别)的基于通知的递送。
API 17及19(以及成对的API 18及20)对应于API 5及7的相反功能，即，分别取消订阅带内事件流(其关于服务互动性事件的传信及元数据载运)，即，在媒体递送带内的“emsg”框的通知递送，及MPD事件消息的通知递送，如由参数“schemeIdUri”及“值”所识别。
API 21(及来自DASH客户端经由API 22的相关联响应)使得DAA能够订阅如由“track_id”识别的计时元数据播放轨的通知递送。
API 23(及来自DASH客户端经由API 24的相关联响应)表示通知及转发功能，借此DASH客户端在从ISO BMFF文件获取如由先前提供的“track_id”识别的计时元数据播放轨时，将彼播放轨的内容递送到DAA。
API 25(及来自DASH客户端经由API 26的相关联响应)使得DAA能够取消订阅计时元数据播放轨的通知递送。
API 27(及来自DAA经由API 28的相关联响应)使得DASH客户端能够基于MPD中含有的信息来指示DAA应测量互动性使用度量，以及由DAA进行的后续互动性使用测量的所要格式，欲将所述测量报告回给DASH客户端。
API 29使得DAA能够将来自所述DAA的互动性使用记录信息转发给DASH客户端，以便后续上载到网络服务器功能。每当DAA具有其互动性使用记录的区段时，都会调用此API，含有根据API 27中指示的度量及数据格式进行的测量以传递到DASH客户端，且因此可在含有多个服务互动性剧集的节目呈现期间调用多次。API 30对应于来自DASH客户端的关于从DAA转发的互动性使用信息的结果的响应。
API 31及32对应于API 1及2的相反功能，即，向DASH客户端注销DAA以终止关于获取特定于互动性的DASH事件流信息的两个实体之间的相关联、计时网页资产播放轨(TimedWeb Asset Track)或互动性使用记录转发功能。
对于与对所请求动作的响应相关联的所有API调用，应将成功或错误状况返回到对等体，且在错误状况的状况下，包含理由码。
这些API的语义及参数与3GPP TS 26.347中定义的MBMS-API类似，区别在于彼规范中定义的MBMS-API存在于MBMS感知应用与MBMS客户端功能之间，而上述API存在于DASH感知应用与DASH客户端之间。另外，与TS 26.347中指定的MBMS-API类似，DASH API向DAA暴露一组简单的接口，如以接口描述语言(Interface Descriptive Language；IDL)定义形式所描述；明确地说，IDL利用回调函数作为DASH客户端向应用通知DASH客户端从MPD或在媒体递送带内接收到的事件，尤其是DASH事件消息的方法。与DASH客户端的程序库通信是实施方式特定的，且可使用不同解决方案方法(例如，智能电话高级操作系统服务、网络套接字等等)来实施。
DAA与DASH客户端之间的事务序列，例如，带内事件流订阅及通知API的调用如下：
i.DAA使用“registerInteracApp()”注册DASH客户端，作为启用后续调用关于事件流订阅或互动性使用记录转发的DASH-API的方法。
ii.DAA调用“inbandEventSubscribe()”API以请求从DASH客户端递送由滤波器参数“schemeIdUri”及“值”识别的输入带内事件流消息，及所要递送模式(立即的或延迟的)。
iii.DASH客户端经由“schemeIdUri”及“值”的匹配值获得“emsg”框中含有的带内事件流消息，并根据所请求的递送模式(立即的或延迟的)将其转发给DAA。
iv.DAA将响应返回给DASH客户端，所述响应指示带内事件流递送是否成功，如果不成功，则包含错误状况的理由码。
以下实例消息流程图描绘在调用上述API时，DAA与DASH客户端之间的预期互动。
在使用HTTP流式传输来流式传输3GPP数据的实例中，可能存在多媒体内容的视频及/或音频数据的多个表示。如下文所解释，不同表示可对应于不同译码特性(例如，视频译码标准的不同设定档或层级)、不同译码标准或译码标准的扩展(例如多视图及/或可缩放扩展)或不同位率。这些表示的信息列表可在媒体呈现描述(MPD)数据结构中定义。媒体呈现可对应于HTTP流式传输客户端装置可存取的数据的结构化集合。HTTP流式传输客户端装置可请求且下载媒体数据信息以向客户端装置的用户呈现流式传输服务。媒体呈现可在MPD数据结构中描述，MPD数据结构可包含MPD的更新。
媒体呈现可含有一或多个周期的序列。每一周期可含有针对同一媒体内容的一或多个表示。表示可为音频或视频数据的数个替代的经编码版本中的一者。表示可因编码类型而异(例如，对于视频数据，因位率、分辨率及/或编码解码器而异，而对于音频数据，则因位率、语言及/或编码解码器而异)。术语表示可用以指经编码音频或视频数据的对应于多媒体内容的特定周期且以特定方式编码的区段。
特定周期的表示可指派到由MPD中的属性(其指示表示所属的调适集)指示的群组。同一调适集中的表示通常被视为彼此的替代例，因为客户端装置可在这些表示之间动态地且顺畅地切换，例如以执行带宽调适。举例来说，特定周期的视频数据的每一表示可指派到同一调适集，使得可选择所述表示中的任一者进行解码以呈现对应周期的多媒体内容的媒体数据(例如视频数据或音频数据)。在一些实例中，一个周期内的媒体内容可由来自群组0(如果存在)的一个表示来表示，或由来自每一非零群组的至多一个表示的组合来表示。周期的每一表示的时序数据可相对于所述周期的开始时间来表达。
表示可包含一或多个区段。每一表示可包含初始化区段，或表示的每一区段可自初始化。当存在时，初始化区段可含有用于存取表示的初始化信息。大体来说，初始化区段不含有媒体数据。区段可通过识别符唯一地参考，例如统一资源定位符(URL)、统一资源名称(URN)或统一资源识别符(URI)。MPD可为每一区段提供识别符。在一些实例中，MPD还可提供呈范围属性的形式的字节范围，所述范围可对应于可由URL、URN或URI存取的文件内的区段的数据。
可选择不同表示以用于大体上同时检索不同类型的媒体数据。举例来说，客户端装置可选择音频表示、视频表示及计时文字表示，从所述表示检索区段。在一些实例中，客户端装置可选择特定调适集以用于执行带宽调适。即，客户端装置可选择包含视频表示的调适集、包含音频表示的调适集及/或包含计时文字的调适集。替代地，客户端装置可为某些类型的媒体(例如，视频)选择调适集，并直接为其它类型的媒体(例如，音频及/或计时文字)选择表示。
图1是说明根据本发明的技术的实施用于经由网络流式传输媒体数据的技术的实例系统130的框图。在此实例中，系统130包含内容准备装置140、服务器装置160及客户端装置180。客户端装置180及服务器装置160是通过网络174以通信方式耦合，所述网络174可包括因特网。在一些实例中，内容准备装置140及服务器装置160还可通过网络174或另一网络耦合，或可直接以通信方式耦合。在一些实例中，内容准备装置140及服务器装置160可包括相同装置。
在图1的实例中，内容准备装置140包括音频源142及视频源144。音频源142可包括例如麦克风，其产生表示待通过音频编码器146编码的所俘获音频数据的电信号。替代地，音频源142可包括存储媒体(其存储先前记录的音频数据)、音频数据产生器(例如计算机化的合成器)或任何其它音频数据源。视频源144可包括：视频摄影机，其产生待通过视频编码器148编码的视频数据；存储媒体，其编码有先前记录的视频数据；视频数据产生单元，例如计算机图形源；或任何其它视频数据源。内容准备装置140未必在所有实例中均以通信方式耦合到服务器装置160，而可将多媒体内容存储到由服务器装置160读取的分离媒体。
原始音频及视频数据可包括类比或数字数据。类比数据在通过音频编码器146及/或视频编码器148编码之前可被数字化。音频源142可在说话参与者正在说话时从说话参与者获得音频数据，且视频源144可同时获得说话参与者的视频数据。在其它实例中，音频源142可包括含有所存储的音频数据的计算机可读存储媒体，且视频源144可包括含有所存储的视频数据的计算机可读存储媒体。以此方式，本发明中所描述的技术可应用于实况、流式传输、实时音频及视频数据或所存档的、预先记录的音频及视频数据。
对应于视频帧的音频帧通常为含有通过音频源142俘获(或产生)的音频数据的音频帧，音频数据同时伴随含于视频帧内的通过视频源144俘获(或产生)的视频数据。举例来说，当说话参与者通常通过说话而产生音频数据时，音频源142俘获音频数据，且视频源144同时(即，在音频源142正俘获音频数据的同时)俘获说话参与者的视频数据。因此，音频帧在时间上可对应于一或多个特定视频帧。因此，对应于视频帧的音频帧大体上对应于同时俘获到的音频数据及视频数据且音频帧及视频帧分别包括同时俘获到的音频数据及视频数据的情形。
在一些实例中，音频编码器146可编码每一经编码音频帧中表示记录经编码音频帧的音频数据的时间的时戳，且类似地，视频编码器148可编码每一经编码视频帧中表示记录经编码视频帧的视频数据的时间的时戳。在这些实例中，对应于视频帧的音频帧可包括：包括时戳的音频帧及包括相同时戳的视频帧。内容准备装置140可包括内部时钟，音频编码器146及/或视频编码器148可根据所述内部时钟产生时戳，或音频源142及视频源144可使用所述内部时钟分别使音频数据及视频数据与时戳相关联。
在一些实例中，音频源142可向音频编码器146发送对应于记录音频数据的时间的数据，且视频源144可向视频编码器148发送对应于记录视频数据的时间的数据。在一些实例中，音频编码器146可编码经编码音频数据中的序列识别符以指示经编码音频数据的相对时间排序，但未必指示记录音频数据的绝对时间，且类似地，视频编码器148还可使用序列识别符来指示经编码视频数据的相对时间排序。类似地，在一些实例中，序列识别符可映射或以其它方式与时戳相关。
音频编码器146通常产生经编码音频数据流，而视频编码器148产生经编码视频数据流。每一个别数据流(不论音频抑或视频)可被称作基本流。基本流为表示的单个经数字译码(可能经压缩)的分量。举例来说，表示的经译码视频或音频部分可为基本流。基本流可在被囊封于视频文件内之前被转换成包化基本流(PES)。在相同表示内，可使用流ID来区分属于一个基本流的PES包与属于其它基本流的PES包。基本流的数据的基本单元为包化基本流(PES)包。因此，经译码视频数据大体对应于基本视频流。类似地，音频数据对应于一或多个相应基本流。
许多视频译码标准(例如，ITU-T H.264/AVC及即将来临的高效视频译码(HEVC)标准)界定无误差位流的语法、语义及解码过程，所述无误差位流中的任一者符合特定设定档或层级。视频译码标准通常并不指定编码器，但编码器具有保证所产生的位流对于解码器来说是标准兼容的任务。在视频译码标准的上下文中，“设定档”对应于算法、特征或工具及施加到算法、特征或工具的约束的子集。如由例如H.264标准所定义，“设定档”为由H.264标准指定的完整位流语法的子集。“层级”对应于解码器资源消耗，例如解码器存储器及计算的限制，所述限制是关于图像分辨率、位率及块处理速率。设定档可用profile_idc(设定档指示符)值传信，而层级可用level_idc(层级指示符)值传信。
举例来说，H.264标准认为，在由给定设定档的语法所强加的界限内，仍然可能要求编码器及解码器的性能有较大变化，此取决于位流中的语法元素(例如，经解码图像的指定大小)所取的值。H.264标准进一步认为，在许多应用中，实施能够处理特定设定档内的语法的所有假设使用的解码器既不实际又不经济。因此，H.264标准将“层级”定义为强加于位流中的语法元素的值的约束的指定集。这些约束可为对值的简单限制。替代地，这些约束可呈对值的算术组合(例如，图像宽度乘以图像高度乘以每秒解码的图像数目)的约束的形式。H.264标准进一步规定，个别实施方案对于每一所支持设定档可支持不同层级。
符合设定档的解码器一般支持设定档中所定义的所有特征。举例来说，作为译码特征，B图像译码在H.264/AVC的基线设定档中不被支持，但在H.264/AVC的其它设定档中被支持。符合一层级的解码器应能够对不需要超出所述层级中所定义的限制的资源的任何位流解码。设定档及层级的定义可对可解释性有帮助。举例来说，在视频发射期间，可针对整个发射工作阶段协商及同意一对设定档定义及层级定义。更具体地说，在H.264/AVC的实例中，层级可定义需要处理的宏块数目、经解码图像缓冲器(DPB)大小、经译码图像缓冲器(CPB)大小、竖直运动向量范围、每两个连续MB的运动向量的最大数目及B块是否可具有小于8x8像素的子宏块分区的限制。以此方式，解码器可确定解码器是否能够适当地解码位流。
在图1的实例中，内容准备装置140的囊封单元150从视频编码器148接收包括经译码视频数据的基本流，且从音频编码器146接收包括经译码音频数据的基本流。在一些实例中，视频编码器148及音频编码器146可各自包含用于从经编码数据形成PES包的包化器。在其它实例中，视频编码器148及音频编码器146可各自与用于从经编码数据形成PES包的相应包化器介接。在另外其它实例中，囊封单元150可包含用于从经编码音频及视频数据形成PES包的包化器。
视频编码器148可以多种方式编码多媒体内容的视频数据，以便产生多媒体内容的各种位率且具有各种特性的不同表示，所述特性例如像素分辨率、帧速率、对各种译码标准的符合性、对各种译码标准的各种设定档及/或设定档层级的符合性、具有一或多个视图的表示(例如，对于二维或三维播放)或其它这些特性。如本发明中所使用，表示可包括音频数据、视频数据、文字数据(例如，用于封闭字幕)或其它此类数据中的一者。表示可包含例如音频基本流或视频基本流的基本流。每一PES包可包含stream_id，所述stream_id识别PES包所属的基本流。囊封单元150负责将基本流组译成各种表示的视频文件(例如，区段)。
囊封单元150从音频编码器146及视频编码器148接收表示的基本流的PES包且从所述PES包形成对应的网络抽象层(NAL)单元。在H.264/AVC(进阶视频译码)的实例中，经译码视频区段组织成NAL单元，所述NAL单元提供“网络友好”视频表示，从而寻址例如视频电话、存储、广播或流式传输的应用。NAL单元可分类为视频译码层(VCL)NAL单元及非VCL NAL单元。VCL单元可含有核心压缩引擎，且可VCL单元可含有核心压缩引擎，且可包含块、宏块及/或切片层级数据。其它NAL单元可为非VCL NAL单元。在一些实例中，一个时间个例中的经译码图像(通常呈现为初级经译码图像)可含于存取单元中，所述存取单元可包含一或多个NAL单元。
非VCL NAL单元可尤其包含参数集NAL单元及SEI NAL单元。参数集可含有序列层级标头信息(在序列参数集(SPS)中)及不频繁改变的图像层级标头信息(在图像参数集(PPS)中)。对于参数集(例如，PPS及SPS)，不频繁改变的信息不需要关于每一序列或图像重复，因此可改进译码效率。此外，使用参数集可实现重要标头信息的带外发射，从而避免需要冗余发射以用于错误恢复。在带外发射实例中，参数集NAL单元可在与其它NAL单元(例如，SEI NAL单元)不同的信道上发射。
补充增强信息(SEI)可含有对于解码来自VCL NAL单元的经译码图像样本并非必需的信息，但可辅助与解码、显示、错误恢复及其它目的相关的过程。SEI消息可含于非VCLNAL单元中。SEI消息为一些标准规范的标准化部分，且因此对于标准兼容的解码器实施方案并非始终是必选的。SEI消息可为序列层级SEI消息或图像层级SEI消息。某一序列层级信息可含于SEI消息中，例如SVC的实例中的可缩放性信息SEI消息，及MVC中的视图可缩放性信息SEI消息。这些实例SEI消息可传达关于例如操作点的提取及操作点的特性的信息。另外，囊封单元150可形成信息列表文件，例如描述表示的特性的媒体呈现描述符(MPD)。囊封单元150可根据可延伸标记语言(XML)来格式化MPD。
囊封单元150可向输出接口152提供多媒体内容的一或多个表示的数据以及信息列表文件(例如，MPD)。输出接口152可包括网络接口或用于对存储媒体进行写入的接口，例如通用串列总线(USB)接口、CD或DVD写入器或烧录器、到磁性或快闪存储媒体的接口，或用于存储或发射媒体数据的其它接口。囊封单元150可向输出接口152提供多媒体内容的表示中的每一者的数据，所述输出接口152可经由网络发射或存储媒体向服务器装置160发送所述数据。在图1的实例中，服务器装置160包含存储各种多媒体内容164的存储媒体162，每一多媒体内容包含相应信息列表文件166及一或多个表示168A到168N(表示168)。在一些实例中，输出接口152还可向网络174直接发送数据。
在一些实例中，表示168可分成若干调适集。即，表示168的各种子集可包含例如以下特性的相应共同集合：编码解码器、设定档及层级、分辨率、视图数目、区段的文件格式、可识别待与表示及/或待解码及呈现(例如，通过扬声器)的音频数据一起显示的文字的语言或其它特性的文字类型信息、可描述调适集中的表示的场景的摄影机角度或现实世界摄影机视角的摄影机角度信息、描述对于特定观众的内容适合性的分级信息，或其类似者。
信息列表文件166可包含指示对应于特定调适集的表示168的子集以及所述调适集的共同特性的数据。信息列表文件166还可包含表示调适集的个别表示的个别特性(例如位率)的数据。以此方式，调适集可提供简化的网络带宽调适。调适集中的表示可使用信息列表文件166的调适集元素的子代元素来指示。
服务器装置160包含请求处理单元170及网络接口172。在一些实例中，服务器装置160可包含多个网络接口。此外，服务器装置160的特征中的任一者或全部可在内容递送网络的其它装置(例如，路由器、桥接器、代理装置、交换器或其它装置)上实施。在一些实例中，内容递送网络的中间装置可快取多媒体内容164的数据，且包含大体上符合服务器装置160的组件的组件。一般来说，网络接口172经配置以经由网络174来发送及接收数据。
请求处理单元170经配置以从客户端装置(例如客户端装置180)接收对存储媒体162的数据的网络请求。举例来说，请求处理单元170可实施超文本传输协议(HTTP)版本1.1，如RFC 2616，R.费尔丁(R.Fielding)等人(网络工作组，IETF，1999年6月)的“超文本传输协议-HTTP/1.1(Hypertext Transfer Protocol-HTTP/1.1)”中所描述。即，请求处理单元170可经配置以接收HTTP GET或部分GET请求，且响应于所述请求而提供多媒体内容164的数据。请求可指定表示168中的一者的区段，例如使用区段的URL。在一些实例中，所述请求还可指定区段的一或多个字节范围，因此包括部分GET请求。请求处理单元170可经进一步配置以服务于HTTP HEAD请求以提供表示168中的一者的区段的标头数据。在任何状况下，请求处理单元170可经配置以处理所述请求以将所请求的数据提供到请求装置(例如客户端装置180)。
另外或替代地，请求处理单元170可经配置以经由例如eMBMS的广播或多播协议而递送媒体数据。内容准备装置140可用与所描述大体上相同的方式产生DASH区段及/或子区段，但服务器装置160可使用eMBMS或另一广播或多播网络输送协议来递送这些区段或子区段。举例来说，请求处理单元170可经配置以从客户端装置180接收多播群组加入请求。即，服务器装置160可向与特定媒体内容(例如，实况事件的广播)相关联的客户端装置(包含客户端装置180)通告与多播群组相关联的因特网协议(IP)地址。客户端装置180又可提交加入多播群组的请求。此请求可遍及网络174(例如，构成网络174的路由器)传播，以使得致使所述路由器将去往与多播群组相关联的IP地址的讯务导向到订阅的客户端装置(例如客户端装置180)。
如图1的实例中所说明，多媒体内容164包含信息列表文件166，其可对应于媒体呈现描述(MPD)。在对应于DASH标准的MPD的情况下，信息列表文件166还可包含关于客户端可收集及向指定服务器报告关于哪些度量的指引。信息列表文件166可含有不同替代表示168(例如，具有不同质量的视频服务)的描述，且所述描述可包含例如编码解码器信息、设定档值、层级值、位率及表示168的其它描述性特性。客户端装置180可检索媒体呈现的MPD以确定如何存取表示168的区段。
明确地说，检索单元192可检索客户端装置180的配置数据(未展示)以确定视频解码器188的解码能力及视频输出端184的转译能力。配置数据还可包含由客户端装置180的用户选择的语言偏好中的任一者或全部、对应于由客户端装置180的用户设定的深度偏好的一或多个摄影机视角及/或由客户端装置180的用户选择的分级偏好。举例来说，检索单元192可包括网页浏览器或媒体客户端，其经配置以提交HTTP GET及部分GET请求。检索单元192可对应于由客户端装置180的一或多个处理器或处理单元(未展示)执行的软件指令。在一些实例中，关于检索单元192所描述的功能性的全部或部分可在硬件或硬件、软件及/或固件的组合中实施，其中可提供必需的硬件以执行软件或固件的指令。
检索单元192可将客户端装置180的解码及转译能力与由信息列表文件166的信息指示的表示168的特性进行比较。检索单元192可首先检索信息列表文件166的至少一部分以确定表示168的特性。举例来说，检索单元192可请求描述一或多个调适集的特性的信息列表文件166的一部分。检索单元192可选择具有可通过客户端装置180的译码及转译能力来满足的特性的表示168的子集(例如，调适集)。检索单元192可接着确定用于调适集中的表示的位率、确定网络带宽的目前可用量，且从具有网络带宽可满足的位率的表示中的一者检索区段。
一般来说，较高位率表示可产生较高质量的视频播放，而较低位率表示可在可用网络带宽减少时提供足够质量的视频播放。因此，当可用网络带宽相对高时，检索单元192可从相对高位率表示检索数据，而当可用网络带宽较低时，检索单元192可从相对低位率表示检索数据。以此方式，客户端装置180可经由网络174流式传输多媒体数据，同时还适应网络174的改变的网络带宽可用性。
另外或替代地，检索单元192可经配置以根据例如MBMS、eMBMS或IP多播的广播或多播网络协议来接收数据。在这些实例中，检索单元192可提交加入与特定媒体内容相关联的多播网络群组的请求。在加入多播群组之后，检索单元192可在另外请求未发布到服务器装置160或内容准备装置140的情况下接收多播群组的数据。当不再需要多播群组的数据时，例如停止播放或将声道改变到不同多播群组，检索单元192可提交离开多播群组的请求。
网络接口194可接收经选定表示的区段的数据且将所述数据提供到检索单元192，检索单元192又可将所述区段提供到解囊封单元190。解囊封单元190可将视频文件的元素解囊封成组成性PES流，解包化所述PES流以检索经编码数据，且取决于经编码数据为音频流抑或视频流的部分(例如，如由流的PES包标头所指示)而将经编码数据发送到音频解码器186或视频解码器188。音频解码器186解码经编码音频数据，且将经解码音频数据发送到音频输出端182，而视频解码器188解码经编码视频数据，且将经解码视频数据发送到视频输出端184，经解码视频数据可包含流的多个视图。
视频编码器148、视频解码器188、音频编码器146、音频解码器186、囊封单元150、检索单元192、请求处理单元170及解囊封单元190各自可实施为适用的多种合适的固定及/或可编程处理电路系统中的任一者，处理电路系统例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑电路系统、软件、硬件、固件或其任何组合。视频编码器148及视频解码器188中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式视频编码器/解码器(CODEC)的部分。同样，音频编码器146及音频解码器186中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式CODEC的部分。包含视频编码器148、视频解码器188、音频编码器146、音频解码器186、囊封单元150、检索单元192、请求处理单元170及/或解囊封单元190的设备可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。
客户端装置180、服务器装置160及/或内容准备装置140可经配置以根据本发明的技术操作。出于实例的目的，本发明关于客户端装置180及服务器装置160描述这些技术。然而，应理解，代替服务器装置160(或除了服务器装置160以外)，内容准备装置140可经配置以执行这些技术。
囊封单元150可形成NAL单元，所述NAL单元包括识别NAL所属的程序的标头，以及有效负载，例如音频数据、视频数据或描述NAL单元对应于的输送或程序流的数据。举例来说，在H.264/AVC中，NAL单元包含1字节标头及不同大小的有效负载。在有效负载中包含视频数据的NAL单元可包括各种粒度层级的视频数据。举例来说，NAL单元可包括视频数据块、多个块、视频数据的切片或视频数据的整个图像。囊封单元150可从视频编码器148接收呈基本流的PES包的形式的经编码视频数据。囊封单元150可使每一基本流与对应程序相关联。
囊封单元150还可组译来自多个NAL单元的存取单元。一般来说，存取单元可包括用于表示视频数据的帧以及对应于所述帧的音频数据(当此音频数据可用时)的一或多个NAL单元。存取单元通常包含用于一个输出时间个例的所有NAL单元，例如，用于一个时间个例的所有音频及视频数据。举例来说，如果每一视图具有20帧每秒(fps)的帧速率，则每一时间个例可对应于0.05秒的时间间隔。在此时间间隔期间，可同时转译相同存取单元(相同时间个例)的所有视图的特定帧。在一个实例中，存取单元可包括一个时间个例中的经译码图像，其可呈现为初级经译码图像。
因此，存取单元可包括共同时间个例的所有音频帧及视频帧，例如对应于时间X的所有视图。本发明也将特定视图的经编码图像称作“视图分量”。即，视图分量可包括在特定时间针对特定视图的经编码图像(或帧)。因此，存取单元可被定义为包括共同时间个例的所有视图分量。存取单元的解码次序未必与输出或显示次序相同。
媒体呈现可包含媒体呈现描述(MPD)，其可含有不同替代表示(例如，具有不同质量的视频服务)的描述，且所述描述可包含例如编码解码器信息、设定档值及层级值。MPD为信息列表文件(例如信息列表文件166)的一个实例。客户端装置180可检索媒体呈现的MPD以确定如何存取各种呈现的电影片段。电影片段可位于视频文件的电影片段框(moof框)中。
信息列表文件166(其可包括例如MPD)可通告表示168的区段的可用性。即，MPD可包含指示表示168中的一者的第一区段变得可用时的挂钟时间的信息，以及指示表示168内的区段的持续时间的信息。以此方式，客户端装置180的检索单元192可基于开始时间以及在特定区段之前的区段的持续时间而确定何时每一区段可用。
在囊封单元150已基于所接收的数据将NAL单元及/或存取单元组译成视频文件之后，囊封单元150将视频文件传递到输出接口152以用于输出。在一些实例中，囊封单元150可将视频文件存储在本地，或经由输出接口152而将视频文件发送到远程服务器，而非将视频文件直接发送到客户端装置180。输出接口152可包括例如发射器、收发器、用于将数据写入到计算机可读媒体的装置，例如光盘驱动器、磁性媒体驱动器(例如，软盘驱动器)、通用串列总线(USB)端口、网络接口或其它输出接口。输出接口152将视频文件输出到计算机可读媒体，例如发射信号、磁性媒体、光学媒体、存储器、随身盘或其它计算机可读媒体。
网络接口194可经由网络174而接收NAL单元或存取单元，且经由检索单元192而将NAL单元或存取单元提供到解囊封单元190。解囊封单元190可将视频文件的元素解囊封成组成性PES流，解包化所述PES流以检索经编码数据，且取决于经编码数据为音频流抑或视频流的部分(例如，如由流的PES包标头所指示)而将经编码数据发送到音频解码器186或视频解码器188。音频解码器186解码经编码音频数据，且将经解码音频数据发送到音频输出端182，而视频解码器188解码经编码视频数据，且将经解码视频数据发送到视频输出端184，经解码视频数据可包含流的多个视图。
如下文更详细地论述，检索单元192可包含一或多个包含电路系统的处理单元或由所述一或多个处理单元执行。检索单元192(且更特定地说，其处理单元)可执行DASH感知应用及DASH客户端。如下文所论述，DASH感知应用及DASH客户端可使用多种应用程序设计接口(API)中的一或多者来交换数据。API可允许DASH感知应用订阅DASH事件及/或计时网页资产播放轨数据，并向DASH客户端报告例如DASH事件中包含的互动式相关内容的时间使用报告。同样，DASH客户端可接收DASH事件数据及/或计时网页资产播放轨数据，并经由API将此所接收的数据递送到DASH感知应用，且可经由API从DASH感知应用接收报告数据。
图2是更详细地说明图1的检索单元192的组件的实例集合的框图。在此实例中，检索单元192包含eMBMS中间软件单元200、DASH客户端212及DASH感知应用(DAA)214。DAA 214还可表示媒体应用。
在此实例中，eMBMS中间软件单元200进一步包含eMBMS接收单元206、快取存储器204、代理/本机服务器202及接收报告单元210。在此实例中，eMBMS接收单元206经配置以经由eMBMS接收数据，例如，根据T.Paila等人在“单向输送FLUTE文件递送(FLUTE(FileDelivery over Unidirectional Transport)-File Delivery over UnidirectionalTransport)”(网络工作组，RFC 6726，2012年11月)中所描述的单向输送文件递送(FLUTE)(可于tools.ietf.org/html/rfc6726获得)或单向输送实时对象递送(Real-Time ObjectDelivery over Unidirectional Transport，ROUTE)协议。即，eMBMS接收单元206可经由广播从例如图1的服务器装置160(其可充当BM-SC)接收文件。
当eMBMS中间软件单元200接收文件的数据时，eMBMS中间软件单元可将所接收的数据存储于快取存储器204中。快取存储器204可包括计算机可读存储媒体，例如快闪存储器、硬盘、RAM或任何其它合适的存储媒体。
代理服务器202可充当DASH客户端212的HTTP服务器。举例来说，中间软件可修改到DASH客户端212的MPD文件或其它信息列表文件。中间软件200将通告MPD文件中的区段的经调整的可获得性时间，以及可在本机检索所述区段的超链接。这些超链接可包含对应于图1的客户端装置180的本地主机地址首码(例如，IPv4的127.0.0.1)。以此方式，DASH客户端212可使用HTTP GET或部分GET请求而从代理服务器202请求区段。举例来说，对于可从链接http://127.0.0.1/rep1/seg3获得的区段，DASH客户端212可建构包含针对http://127.0.0.1/rep1/seg3的请求的HTTP GET请求，且将所述请求提交到代理服务器202。代理服务器202可从快取存储器204检索所请求的数据且响应于这些请求而将数据提供到DASH客户端212。替代地，eMBMS中间软件单元200不必修改MPD中的URL且充当代理。目标为DASH服务器170的请求是由eMBMS中间软件单元200拦截且从本机快取伺服。
根据一个实例，代理服务器202还包含DASH QoE度量接收单元208。DASH QoE度量接收单元208通常经配置以拦截(在代理的状况下，应注意，代理服务器202可任选地使报告通过而到达DASH测量服务器)或接收(在充当本机服务器时)来自DASH客户端的DASH报告，例如，接受HTTP张贴命令。DASH QoE度量接收单元208接着将DASH报告或其信息转发给接收报告单元210，接收报告单元210接着可代表DASH客户端212向服务器装置(例如，图1的服务器装置160或单独的报告服务器)报告DASH QoE度量，及/或可包含接收报告中的DASH QoE测量报告。举例来说，DASH QoE度量接收单元208可从DASH客户端212接收QoE度量。
代理服务器202可经配置以根据媒体呈现描述(MPD)或其它信息列表文件，从DASH客户端212接收包含DASH QoE度量的HTTP POST命令。此外，接收报告单元210根据例如eMBMS来报告接收。在一些实例中，接收报告单元210发送包含DASH QoE度量及eMBMS接收报告两者的单个报告。在其它实例中，接收报告单元210发送eMBMS接收报告及DASH QoE度量的单独报告。
在接收来自DASH客户端212的DASH QoE测量报告之后，接收报告单元210在接收囊封DASH数据的文件时可向服务器装置报告DASH QoE度量以及与eMBMS中间软件单元200用来报告的协议相关的接收报告。另外，在一些实例中，eMBMS中间软件单元200及/或DASH客户端212中的一者或两者还可经配置以向专用DASH度量服务器报告DASH QoE度量。
服务器装置160(图1)还可包含将服务通告递送到eMBMS中间软件单元200的BMSC功能。根据本发明的技术，服务通告可进一步包含关于所要DASH QoE测量报告的类型及内容的指引。举例来说，服务通告的相关联递送程序(ADP)片段可包含描述DASH QoE报告的所要度量的新字段及元素，以及其它参数。稍后在下文于图9及10中描述实例实施方案。在更一般意义上，DASH QoE收集指引可经由其它方式(例如，OMA DM、配置文件、原始MPD本身或任何其它方式)来递送。
eMBMS中间软件单元200接着可将以上指引传达到DASH客户端212。用于传达这些指引的一种方法为，eMBMS中间软件单元200可修改本机代管的MPD(原始MPD载运指引(在此情况下，eMBMS中间软件单元200不必修改MPD)的情况下除外)以反映从图1的服务器装置160获得的度量收集参数。
在另一实例中，eMBMS中间软件单元200可修改MPD，以收集所要度量或度量的超集，且始终向eMBMS中间软件单元200报告。eMBMS中间软件单元200接着可将度量减少到由服务器装置160请求的集合，且关于服务器装置160所请求的机率进行报告。
根据本发明的技术且如在下文更详细地描述，DAA 214及DASH客户端212可经配置以经由一或多个API，例如如上文所论述的API 1到30中的任一者或全部交换数据。举例来说，一般来说，DAA 214可经由第一API订阅DASH事件(例如，带内或基于MPD)，且DASH客户端212可经由第二API将DASH事件数据递送到DAA 214。DASH事件可包含互动式相关内容，例如用于投票、评级、购买、聊天或针对性广告的数据。DAA 214可进一步经配置以监视用户与互动式相关内容互动的时间，并将表示用户经由另一API与互动式相关内容互动的时间量提供到DASH客户端212。此外，DAA 214可经由又一API向DASH客户端212订阅计时网页资产播放轨数据，且DASH客户端212可经由另一API将计时网页资产播放轨数据递送到DAA 214以用于呈现。
DASH感知应用214可测量互动性相关内容的使用并向DASH客户端212提交表示测量的报告。举例来说，DASH感知应用214可根据下表1产生互动性概述：
表1
Figure BDA0002478721060000221
另外或替代地，DASH感知应用214可根据下表2产生互动性事件列表，其包含在每一偶数周期互动性使用事件及测量的互动性使用信息的时间有序列表：
表2
Figure BDA0002478721060000222
Figure BDA0002478721060000231
以此方式，DASH客户端212可向DASH感知应用214提交表示关于待测量的互动性相关内容的使用的信息的指令。DASH感知应用214又可接收所述指令、测量表示互动性相关内容的使用的数据，并根据所述指令向DASH客户端212提交包含所测量数据的报告。DASH客户端212又可将所述报告发送到报告服务器装置，例如服务器装置60(图1)或单独的服务器装置。
图3是说明实例检索单元192'及各种机构的框图，DASH客户端212可通过所述机构向报告服务器装置215提交报告。检索单元192'大体上对应于图2的检索单元192的实例，不同的处在于检索单元192'还包含网络接口216。在此实例中，DASH客户端212可经由网络接口216与其它网络装置(例如报告服务器装置215)通信，此避免了使用eMBMS中间软件单元200。因此，在一些实例中，DASH客户端212可经由网络接口216而非经由eMBMS中间软件单元200，向报告服务器装置215提交关于所接收的媒体数据的报告。在一些实例中，网络接口216可表示网络接口模块，其经配置以与图1的网络接口194互动。
然而，在其它实例中，DASH客户端212可经由eMBMS中间软件单元200向报告服务器装置215提交这些报告。明确地说，DASH客户端212可向代理服务器单元202提交所述报告，代理服务器单元202可将所述报告导向到接收报告单元210。接收报告单元210又可向报告服务器装置215提交报告。
在此实例中，报告服务器装置215包含网络接口217以及测量及分析逻辑219。一般来说，网络接口217提供接口，报告服务器装置215通过所述接口经由网络(例如网络接口卡(NIC)以提供乙太网连接性)发送及接收数据。测量及分析逻辑219通常分析从图1的客户端装置40(且明确地说，检索单元192'的DASH客户端212)及其它客户端装置接收到的报告的数据。管理员或其它用户可使用所分析数据来确定例如哪些类型的媒体数据待提供、使用广播或还是多播来消费媒体数据、与媒体数据一起呈现的各种类型的互动式数据的有效性及其类似者。举例来说，测量及分析逻辑219可汇总与投票、评级、购买、聊天或与针对工作相应客户端装置的多种用户的针对性广告的互动(例如，超链接点击次数)相关的数据。根据此数据，管理员通常可确定DASH事件的各种互动性相关内容是否有效，并比较此类互动性相关内容彼此的有效性。
图4是说明实例多媒体内容220的元素的概念图。多媒体内容220可对应于多媒体内容164(图1)，或存储于存储媒体162中的另一多媒体内容。在图4的实例中，多媒体内容220包含媒体呈现描述(MPD)222及多个表示224A到224N(表示224)。表示224A包含任选地选用的标头数据226及区段228A到228N(区段228)，而表示224N包含任选地选用的标头数据230及区段232A到232N(区段232)。为了方便起见，使用字母N来指定表示224中的每一者中的最后一个电影片段。在一些实例中，表示224之间可存在不同数目个电影片段。
MPD 222可包括与表示224分开的数据结构。MPD 222可对应于图1的信息列表文件166。同样，表示224可对应于图1的表示168。一般来说，MPD 222可包含大体上描述表示224的特性的数据，例如译码及转译特性、调适集、MPD 222所对应的设定档、文字类型信息、摄影机角度信息、分级信息、特技模式信息(例如，指示包含时间子序列的表示的信息)及/或用于检索远程周期(例如，用于在播放期间将针对性广告插入到媒体内容中)的信息。
标头数据226(当存在时)可描述区段228的特性，例如随机存取点(RAP，其也被称作流存取点(SAP))的时间位置、区段228中的哪一者包含随机存取点、与区段228内的随机存取点的字节偏移、区段228的统一资源定位符(URL)，或区段228的其它方面。标头数据230(当存在时)可描述区段232的类似特性。另外或替代地，这些特性可完全包含于MPD 222内。
区段228、232包含一或多个经译码视频样本，其中的每一者可包含视频数据的帧或切片。区段228的经译码视频样本中的每一者可具有类似特性，例如，高度、宽度及带宽要求。这些特性可通过MPD 222的数据来描述，不过此数据在图4的实例中未说明。MPD 222可包含如3GPP规范所描述的特性，并且添加了本发明中所描述的传信信息中的任一者或全部。
区段228、232中的每一者可与唯一的统一资源定位符(URL)相关联。因此，区段228、232中的每一者可使用流网络协议(例如DASH)来独立地检索。以此方式，例如图1的客户端装置180的目的地装置可使用HTTP GET请求来检索区段228或232。在一些实例中，客户端装置180可使用HTTP部分GET请求来检索区段228或232的特定字节范围。
根据本发明的技术，MPD 222可包含待报告给服务器装置，例如图1的服务器装置160或单独的度量报告服务器装置(未展示)的数据指定度量。
图5是说明实例视频文件250的元素的框图，实例视频文件250可对应于表示的区段，例如图4的区段228、232中的一者。区段228、232中的每一者可包含实质上符合图5的实例中所说明的数据的布置的数据。可以说视频文件250囊封了区段。如上文所描述，根据ISO基本媒体文件格式及其扩展的媒体文件将数据存储于一系列对象(其被称作“框”)中。在图5的实例中，视频文件250包含文件类型(FTYP)框252、电影(MOOV)框254、区段索引(sidx)框262、电影片段(MOOF)框164及电影片段随机存取(MFRA)框266。尽管图5表示视频文件的实例，但应理解，根据ISO基本媒体文件格式及其扩展，其它媒体文件可包含其它类型的媒体数据(例如，音频数据、计时文字数据或其类似者)，其在结构上类似于视频文件250的数据。
文件类型(FTYP)框252通常描述视频文件250的文件类型。文件类型框252可包含识别描述视频文件250的最佳用途的规范的数据。文件类型框252可替代地放置在MOOV框254、电影片段框164及/或MFRA框266之前。
在一些实例中，区段(例如视频文件250)可包含在FTYP框252之前的MPD更新框(未展示)。MPD更新框可包含指示对应于包含视频文件250的表示的MPD应更新的信息，以及用于更新MPD的信息。举例来说，MPD更新框可提供待用以更新MPD的资源的URI或URL。作为另一实例，MPD更新框可包含用于更新MPD的数据。在一些实例中，MPD更新框可紧接在视频文件250的区段类型(STYP)框(未展示)之后，其中STYP框可定义视频文件250的区段类型。在下文更详细地论述的图7提供关于MPD更新框的额外信息。
在图5的实例中，MOOV框254包含电影标头(MVHD)框256、播放轨(TRAK)框258及一或多个电影延伸(MVEX)框260。一般来说，MVHD框256可描述视频文件250的一般特性。举例来说，MVHD框256可包含描述视频文件250何时最初建立、视频文件250何时经最后修改、视频文件250的时间标度、视频文件250的播放持续时间的数据，或大体上描述视频文件250的其它数据。
TRAK框258可包含视频文件250的播放轨的数据。TRAK框258可包含播放轨标头(TKHD)框，其描述对应于TRAK框258的播放轨的特性。在一些实例中，TRAK框258可包含经译码视频图像，而在其它实例中，播放轨的经译码视频图像可包含于电影片段264中，其可通过TRAK框258及/或sidx框262的数据参考。
在一些实例中，视频文件250可包含多于一个播放轨。相应地，MOOV框254可包含数个TRAK框，其等于视频文件250中的播放轨的数目。TRAK框258可描述视频文件250的对应播放轨的特性。举例来说，TRAK框258可描述对应播放轨的时间及/或空间信息。当囊封单元150(图4)包含视频文件(例如视频文件250)中的参数集播放轨时，类似于MOOV框254的TRAK框258的TRAK框可描述参数集播放轨的特性。囊封单元150可在描述参数集播放轨的TRAK框内用信号发送序列层级SEI消息存在于参数集播放轨中。
MVEX框260可描述对应电影片段264的特性，例如，以用信号发送除了MOOV框254内包含的视频数据(如果存在)以外，视频文件250还包含电影片段264。在流式传输视频数据的内容背景中，经译码视频图像可包含于电影片段264中，而非包含于MOOV框254中。因此，所有经译码视频样本可包含于电影片段264中，而非包含于MOOV框254中。
MOOV框254可包含数个MVEX框260，其等于视频文件250中的电影片段264的数目。MVEX框260中的每一者可描述电影片段264中的对应电影片段的特性。举例来说，每一MVEX框可包含电影延伸标头框(MEHD)框，其描述电影片段264中的对应电影片段的暂态持续时间。
如上文所提及，图1的囊封单元150可存储视频样本中的序列数据集，其并不包含实际经译码视频数据。视频样本可大体上对应于存取单元，其为特定时间个例下的经译码图像的表示。在AVC的上下文中，经译码图像包含一或多个VCL NAL单元及其它相关联的非VCL NAL单元(例如，SEI消息)，所述VCL NAL单元含有用以构造存取单元的所有像素的信息。因此，囊封单元150可在电影片段264中的一者中包含序列数据集，其可包含序列层级SEI消息。囊封单元150可进一步用信号发送存在于电影片段264中的一者中的序列数据集及/或序列层级SEI消息存在于对应于电影片段264中的一者的MVEX框260中的一者内。
SIDX框262为视频文件250的任选地选用的元素。即，符合3GPP文件格式或其它这些文件格式的视频文件未必包含SIDX框262。根据3GPP文件格式的实例，SIDX框可用以识别区段(例如，含于视频文件250内的区段)的子区段。3GPP文件格式将子区段定义为“具有对应媒体数据框的一或多个连续电影片段框的自含式集合，且含有通过电影片段框引用的数据的媒体数据框必须跟在彼电影片段框之后且在含有关于同一播放轨的信息的下一个电影片段框之前”。3GPP文件格式还指示SIDX框“含有对由框记录的(子)区段的子区段的引用序列。所引用的子区段在呈现时间上邻接。类似地，由区段索引框参考的字节始终在区段内邻接。所参考大小给出所参考材料中的字节的数目的计数”。
SIDX框262大体上提供表示包含于视频文件250中的区段的一或多个子区段的信息。举例来说，此信息可包含子区段开始及/或结束的播放时间、子区段的字节偏移、子区段是否包含(例如，开始于)流存取点(SAP)、SAP的类型(例如，SAP是瞬时解码器刷新(IDR)图像、清晰随机存取(CRA)图像、断链存取(BLA)图像还是其类似者)、SAP在子区段中的位置(在播放时间及/或字节偏移方面)及其类似者。
电影片段264可包含一或多个经译码视频图像。在一些实例中，电影片段264可包含一或多个图像群组(group of pictures；GOP)，其中的每一者可包含数个经译码视频图像，例如帧或图像。另外，如上文所描述，在一些实例中，电影片段264可包含序列数据集。电影片段264中的每一者可包含电影片段标头框(MFHD，图5中未展示)。MFHD框可描述对应电影片段的特性，例如电影片段的序号。电影片段264可按序号次序包含于视频文件250中。在一些实例中，电影片段264可包含计时网页资产播放轨数据及/或DASH事件的互动性相关内容。这些片段可对应于单独的播放轨，例如，如由TRAK框258指示。
MFRA框266可描述视频文件250的电影片段264内的随机存取点。此可辅助执行特技模式，例如执行对由媒体文件250囊封的区段内的特定时间位置(即，播放时间)的寻找。在一些实例中，MFRA框266通常是任选地选用的且无需包含于视频文件中。同样，客户端装置(例如图1的客户端装置180)未必需要参考MFRA框266以正确解码及显示视频文件250的视频数据。MFRA框266可包含数个播放轨片段随机存取(TFRA)框(未展示)，其数目等于媒体文件250的播放轨的数目，或在一些实例中等于媒体文件250的媒体播放轨(例如，非提示播放轨)的数目。
在一些实例中，电影片段264可包含一或多个流存取点(SAP)，例如IDR图像。同样，MFRA框266可提供对SAP在视频文件250内的位置的指示。相应地，视频文件250的时间子序列可由视频文件250的SAP形成。时间子序列还可包含其它图像，例如依赖于SAP的P帧及/或B帧。时间子序列的帧及/或切片可布置于区段内，以使得时间子序列的取决于子序列的其它帧/切片的帧/切片可被恰当地解码。举例来说，在数据的阶层式布置中，用于其它数据的预测的数据也可包含于时间子序列中。
图6是说明订阅及通知带内DASH事件流消息的实例方法的流程图。图6的方法是由DASH感知应用(例如图2的DASH感知应用(DAA)214)及DASH客户端(例如图2的DASH客户端212)执行。假定DAA 214已经向DASH客户端212注册。首先，DAA 214经由第一应用程序设计接口(API)，InbandEventSubsribe(schemeUri、值、deliveryMode)，将对DASH事件的订阅发送到DASH客户端212(300)。接下来，DASH客户端212将inbandEventSubsribeResponse(OK)发送到DAA 214(302)。接下来，DASH客户端212经由“emsg”框接收带内DASH事件流(304)。DASH事件流包含一或多个DASH事件的数据，DASH事件可指定如上文所论述的互动性相关内容。接下来，DASH客户端212经由第二接口，inbandEventNotif(事件信息)，将表示互动性相关内容的数据发送到DAA214(306)。DAA 214接着将inbandEventNotifResopnse(OK)发送到DASH客户端212(308)。此外，DAA 214可向终端用户呈现与事件相关联的内容(310)。举例来说，DAA 214可经由客户端装置40的用户接口(例如视频输出端184(图1))向终端用户转译与互动性事件相关联的内容，例如互动性相关内容。
以此方式，图6的方法表示包含以下操作的方法的实例：通过客户端装置的包括电路系统的一或多个处理器执行的HTTP上的动态自适应流式传输(DASH)感知应用，经由在由一或多个处理器执行的DASH感知应用与DASH客户端之间的第一应用程序设计接口(API)订阅DASH事件流的DASH事件；通过DASH感知应用，经由在DASH感知应用与DASH客户端之间的第二API从DASH客户端接收DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的数据指定互动性相关内容；以及通过DASH感知应用，经由客户端装置的一或多个用户接口呈现互动性相关内容。
图7是说明订阅及通知MPD事件消息的实例方法的流程图。图7的方法是由DASH感知应用(例如图2的DASH感知应用(DAA)214)及DASH客户端(例如图2的DASH客户端212)执行。假定DAA 214已经向DASH客户端212注册。首先，DAA 214经由第一应用程序设计接口(API)，mpdEventSubscribe(schemeidUri、值、deliveryMode)，将对DASH事件的订阅发送到DASH客户端212(320)。接下来，DASH客户端212将mpdEventSubscribeResponse(OK)发送到DAA 214(322)。接下来，DASH客户端212接收MPD事件(经由周期元素中的EventStream元素)(324)。DASH MPD事件包含一或多个DASH事件的数据，DASH事件可指定如上文所论述的互动性相关内容。接下来，DASH客户端212经由第二API，mpdEventNotif(事件信息)，将一或多个DASH事件(例如互动性相关内容)的数据发送到DAA 214(326)。DAA 214接着将mpdEventNotifResponse(OK)发送到DASH客户端212(328)。此外，DAA 214可向终端用户呈现与事件相关联的内容(330)。举例来说，DAA 214可经由客户端装置40的用户接口(例如视频输出端184(图1))向终端用户转译与互动性事件相关联的内容，例如互动性相关内容。
以此方式，图7的方法表示包含以下操作的方法的实例：通过客户端装置的包括电路系统的一或多个处理器执行的HTTP上的动态自适应流式传输(DASH)感知应用，经由在由一或多个处理器执行的DASH感知应用与DASH客户端之间的第一应用程序设计接口(API)订阅DASH事件流的DASH事件；通过DASH感知应用，经由在DASH感知应用与DASH客户端之间的第二API从DASH客户端接收DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的数据指定互动性相关内容；以及通过DASH感知应用，经由客户端装置的一或多个用户接口呈现互动性相关内容。
图8是说明订阅及通知两种实例类型的DASH事件消息(与媒体一起带内载送或在MPD内部载送)的实例方法的流程图。图8的方法是由DASH感知应用(例如图2的DASH感知应用(DAA)214)及DASH客户端(例如图2的DASH客户端212)执行。假定DAA 214已经向DASH客户端212注册。首先，DAA 214经由第一应用程序设计接口(API)，eventSubscribe(schemeidUri、值、deliveryMode)，将对DASH事件的订阅发送到DASH客户端212(340)。接下来，DASH客户端212将eventSubscribeResponse(OK)发送到DAA214(342)。接下来，DASH客户端212接收DASH事件(带内DASH事件流或MPD事件)的数据(344)。DASH事件可指定如上文所论述的互动性相关内容。接下来，DASH客户端212经由第二API，eventNotif(事件信息)，将一或多个DASH事件(例如互动性相关内容)的数据发送到DAA 214(346)。DAA 214将eventNotifResponse(OK)发送到DASH客户端212(348)。此外，DAA 214可向终端用户呈现与事件相关联的内容(350)。举例来说，DAA 214可经由客户端装置40的用户接口(例如视频输出端184(图1))向终端用户转译与互动性事件相关联的内容，例如互动性相关内容。
以此方式，图8的方法表示包含以下操作的方法的实例：通过客户端装置的包括电路系统的一或多个处理器执行的HTTP上的动态自适应流式传输(DASH)感知应用，经由在由一或多个处理器执行的DASH感知应用与DASH客户端之间的第一应用程序设计接口(API)订阅DASH事件流的DASH事件；通过DASH感知应用，经由在DASH感知应用与DASH客户端之间的第二API从DASH客户端接收DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的数据指定互动性相关内容；以及通过DASH感知应用，经由客户端装置的一或多个用户接口呈现互动性相关内容。
图9是说明订阅及通知计时元数据播放轨消息的实例方法的流程图。图9的方法是由DASH感知应用(例如图2的DASH感知应用214)及DASH客户端(例如图2的DASH客户端212)执行。计时元数据播放轨消息可含有应用程序特定元数据或网页资产及/或资源以供DAA214使用。当计时元数据播放轨消息含有网页资产及/或资源时，消息可被称作计时网页资产播放轨消息。
假定DAA 214已经向DASH客户端212注册。首先，DAA 214经由第一应用程序设计接口(API)，timedMetadataTrackSubscribe(track_id)，将对DASH事件的订阅发送到DASH客户端212(360)。接下来，DASH客户端212将timedMetadataTrackSubscribeResponse(OK)发送到DAA 214(362)。接下来，DASH客户端212接收ISO BMFF文件中的计时元数据播放轨数据(364)，其含有待由DAA 214使用以执行互动性相关任务之元数据。另外或替代地，计时元数据播放轨可含有计时网页资源，例如HTML5视频播放轨。接下来，DASH客户端212经由第二API，timedMetadataTrackNotif(track_id、播放轨数据)，将计时元数据播放轨数据发送到DAA214(366)。DAA 214接着将timedMetadataTrackNotifResponse(OK)发送到DASH客户端212(368)。此外，DAA 214可经由客户端装置40的用户接口(例如视频输出端184(图1))向用户呈现与计时元数据播放轨相关联的内容(370)图9的方法可与图5到7中的任一者的方法一起执行。
图10是说明转发互动性使用记录消息的实例方法的流程图。图10的方法是由DASH感知应用(例如图2的DASH感知应用214)及DASH客户端(例如图2的DASH客户端212)执行。图10的方法可遵循互动性相关内容的呈现，例如，根据图5到7中的任一者。DAA 214首先检测在具有相关联的用户参与的节目期间所呈现的互动性相关内容的发生(380)。接下来，DAA214测量及记录互动性发生(382)。接下来，DAA 214经由API，interactUsageLogForward(参数)，将表示互动性信息的数据发送到DASH客户端212(384)。接下来，DASH客户端212将interactUsageLogForardResponse(OK)(386)发送到DAA 214。适当时可重复图10的四个步骤。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中，则所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，所述通信媒体包含例如根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、程序代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电及微波的无线技术，从网站、服务器或其它远程源来发射指令，则同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为关于非暂时性有形存储媒体。如本文中所使用的磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由一或多个处理器执行指令，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路系统。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能可经提供于经配置以供编码及解码或并入于组合式编码解码器中的专用硬件及/或软件模块内。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。实情为，如上文所描述，各种单元可结合合适的软件及/或固件而组合于编码解码器硬件单元中或由互操作性硬件单元的集合提供，所述硬件单元包含如上文所描述的一或多个处理器。
各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (27)

1.一种接收媒体数据的方法，所述方法包括：
通过客户端装置的包括电路系统的一或多个处理器执行的HTTP上的动态自适应流式传输DASH感知应用，经由在由所述一或多个处理器执行的所述DASH感知应用与DASH客户端之间的第一应用程序设计接口API订阅DASH事件流的DASH事件；
通过所述DASH感知应用，经由在所述DASH感知应用与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的所述数据指定互动性相关内容；以及
通过所述DASH感知应用，经由所述客户端装置的一或多个用户接口呈现所述互动性相关内容。
2.根据权利要求1所述的方法，其中呈现所述互动性相关内容包括使所述互动性相关内容的呈现与对应媒体数据的呈现同步。
3.根据权利要求1所述的方法，其中所述互动性相关内容包括用户可经由用户接口与之互动的投票、评级、购买、聊天或针对性广告中的至少一者，所述用户接口包括超链接、选项按钮或显示形式中的至少一者。
4.根据权利要求1所述的方法，其进一步包括：
通过所述DASH感知应用从所述DASH客户端接收指令，所述指令表示待测量的互动性相关内容使用度量及对应测量应如何返回到所述DASH客户端；
通过所述DASH感知应用，根据所述指令测量用户对所述互动性相关内容的使用；以及
通过所述DASH感知应用，根据所述指令将表示所述互动性相关内容的所述使用的数据转发给所述DASH客户端。
5.根据权利要求4所述的方法，
其中接收所述指令包括接收定义所述对应测量应如何返回到所述DASH客户端的格式的数据，且
其中转发表示所述互动性相关内容的所述使用的所述数据包括经由第三API将表示所述互动性相关内容的所述使用的所述数据转发给所述DASH客户端，并根据所述指令格式化。
6.根据权利要求5所述的方法，其中所述第三API包括interacUsageMeasurementNotify()或interacUsageLogForward()中的至少一者。
7.根据权利要求1所述的方法，其中所述第一API包括eventSubscribe()，且其中所述第二API包括eventResponse()。
8.根据权利要求1所述的方法，其中所述第一API包括inbandEventSubscribe()，且其中所述第二API包括inbandEventSubscribeResponse()。
9.根据权利要求1所述的方法，其中所述第一API包括eventNotif()，且其中所述第二API包括eventNotifResponse()。
10.根据权利要求1所述的方法，其中所述第一API包括inbandEventNotif()，且其中所述第二API包括inbandEventNotifResponse()。
11.根据权利要求1所述的方法，其中所述第一API包括mpdEventNotif()，且其中所述第二API包括mpdEventNotifResponse()。
12.根据权利要求1所述的方法，其进一步包括：
通过所述DASH感知应用，经由第三API向所述DASH客户端订阅计时元数据播放轨数据；
通过所述DASH感知应用，经由第四API从所述DASH客户端接收一或多个计时元数据播放轨的数据；以及
通过所述DASH感知应用，经由所述客户端装置的所述一或多个用户接口呈现所述一或多个计时元数据播放轨的所述数据。
13.根据权利要求12所述的方法，其中所述第三API包括
timedMetadataTrackSubscribe()，且其中所述第四API包括
timedMetadataTrackResponse()。
14.根据权利要求12所述的方法，其中所述第三API包括timedMetadataTrackNotif()，且其中所述第四API包括timedMetadataTrackNotifResponse()。
15.一种用于接收媒体数据的装置，所述装置包括：
一或多个用户接口，其用于呈现媒体数据；以及
一或多个处理器，其实施于电路系统中且经配置以执行HTTP上的动态自适应流式传输DASH感知应用及DASH客户端，其中所述DASH感知应用经配置以：
经由在所述DASH感知应用与所述DASH客户端之间的第一应用程序设计接口API，订阅DASH事件流的DASH事件；
经由在所述DASH感知应用与所述DASH客户端之间的第二API，从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的所述数据指定互动性相关内容；以及
经由所述客户端装置的所述一或多个用户接口呈现所述互动性相关内容。
16.根据权利要求15所述的装置，其中所述DASH感知应用经配置以使所述互动性相关内容的呈现与对应媒体数据的呈现同步。
17.根据权利要求15所述的装置，其中所述互动性相关内容包括用户可经由用户接口与之互动的投票、评级、购买、聊天或针对性广告中的至少一者，所述用户接口包括超链接、选项按钮或显示形式中的至少一者。
18.根据权利要求15所述的装置，其中所述DASH感知应用经进一步配置以：
从所述DASH客户端接收指令，所述指令表示待测量的互动性相关内容使用度量及对应测量应如何返回到所述DASH客户端；
根据所述指令测量用户对所述互动性相关内容的使用；以及
根据所述指令将表示所述互动性相关内容的所述使用的数据转发给所述DASH客户端。
19.根据权利要求18所述的装置，
其中所述指令包含定义所述对应测量应如何返回到所述DASH客户端的格式的数据，且
其中所述DASH感知应用经配置以经由第三API将表示所述互动性相关内容的所述使用的所述数据转发给所述DASH客户端，并根据所述指令格式化。
20.根据权利要求15所述的装置，其中所述DASH感知应用经进一步配置以：
经由第三API，向所述DASH客户端订阅计时元数据播放轨数据；
经由第四API，从所述DASH客户端接收一或多个计时元数据播放轨的数据；以及
经由所述客户端装置的所述一或多个用户接口，呈现与所述一或多个计时元数据播放轨相关联的内容。
21.一种用于接收媒体数据的装置，所述装置包括：
用于执行HTTP上的动态自适应流式传输DASH感知应用，以经由在所述DASH感知应用与DASH客户端之间的第一应用程序设计接口API订阅DASH事件流的DASH事件的装置；
用于执行所述DASH感知应用，以经由在所述DASH感知应用与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据的装置，所述一或多个DASH事件的所述数据指定互动性相关内容；以及
用于呈现所述互动性相关内容的装置。
22.一种上面存储有指令的计算机可读存储媒体，所述指令在执行时致使执行HTTP上的动态自适应流式传输DASH感知应用及DASH客户端的一或多个处理器进行以下操作：
通过所述DASH感知应用，经由在所述DASH感知应用与所述DASH客户端之间的第一应用程序设计接口API订阅DASH事件流的DASH事件；
通过所述DASH感知应用，经由在所述DASH感知应用与所述DASH客户端之间的第二API从所述DASH客户端接收所述DASH事件流的一或多个DASH事件的数据，所述一或多个DASH事件的所述数据指定互动性相关内容；以及
通过所述DASH感知应用，经由所述客户端装置的一或多个用户接口呈现所述互动性相关内容。
23.根据权利要求22所述的计算机可读存储媒体，其中致使所述处理器呈现所述互动性相关内容的所述指令包括致使所述处理器使所述互动性相关内容的呈现与对应媒体数据的呈现同步的指令。
24.根据权利要求22所述的计算机可读存储媒体，其中所述互动性相关内容包括用户可经由用户接口与之互动的投票、评级、购买、聊天或针对性广告中的至少一者，所述用户接口包括超链接、选项按钮或显示形式中的至少一者。
25.根据权利要求22所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：
通过所述DASH感知应用从所述DASH客户端接收指令，所述指令表示待测量的互动性相关内容使用度量及对应测量应如何返回到所述DASH客户端；
通过所述DASH感知应用，根据所述指令测量用户对所述互动性相关内容的使用；以及
通过所述DASH感知应用，根据所述指令将表示所述互动性相关内容的所述使用的数据转发给所述DASH客户端。
26.根据权利要求25所述的计算机可读存储媒体，
其中致使所述处理器接收所述指令的所述指令包括致使所述处理器接收定义所述对应测量应如何返回到所述DASH客户端的格式的数据的指令，且
其中致使所述处理器转发表示所述互动性相关内容的所述使用的所述数据的所述指令包括致使所述处理器经由第三API将表示所述互动性相关内容的所述使用的所述数据转发给所述DASH客户端，并根据所述指令格式化的指令。
27.根据权利要求25所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：
通过所述DASH感知应用，经由第三API向所述DASH客户端订阅计时元数据播放轨数据；
通过所述DASH感知应用，经由第四API从所述DASH客户端接收一或多个计时元数据播放轨的数据；以及
通过所述DASH感知应用，经由所述客户端装置的所述一或多个用户接口呈现所述一或多个计时元数据播放轨的所述数据。
CN201880071715.2A 2017-11-10 2018-11-09 在dash感知应用与dash客户端之间用于服务互动性支持的接口 Active CN111316655B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762584494P 2017-11-10 2017-11-10
US201762584344P 2017-11-10 2017-11-10
US62/584,344 2017-11-10
US62/584,494 2017-11-10
US16/184,683 US11310540B2 (en) 2017-11-10 2018-11-08 Interfaces between dash aware application and dash client for service interactivity support
US16/184,683 2018-11-08
PCT/US2018/060072 WO2019094748A1 (en) 2017-11-10 2018-11-09 Interfaces between dash aware application and dash client for service interactivity support

Publications (2)

Publication Number Publication Date
CN111316655A true CN111316655A (zh) 2020-06-19
CN111316655B CN111316655B (zh) 2021-11-02

Family

ID=66433716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071715.2A Active CN111316655B (zh) 2017-11-10 2018-11-09 在dash感知应用与dash客户端之间用于服务互动性支持的接口

Country Status (6)

Country Link
US (1) US11310540B2 (zh)
EP (1) EP3707908B1 (zh)
CN (1) CN111316655B (zh)
SG (1) SG11202002955RA (zh)
TW (1) TW201924356A (zh)
WO (1) WO2019094748A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869039B1 (en) 2017-11-13 2024-01-09 Wideorbit Llc Detecting gestures associated with content displayed in a physical environment
US11043230B1 (en) * 2018-01-25 2021-06-22 Wideorbit Inc. Targeted content based on user reactions
US10938872B2 (en) 2018-03-12 2021-03-02 Qualcomm Incorporated Processing interactivity events for streaming media data
US20220188874A1 (en) * 2018-12-14 2022-06-16 Productive Application Solutions, Inc. Method for Monitoring Billboard Media Distribution
US11270349B2 (en) * 2018-12-14 2022-03-08 Productive Application Solutions, Inc. Portable billboard
CN111510791B (zh) * 2019-01-30 2022-07-29 上海哔哩哔哩科技有限公司 播放音视频的方法、装置、计算机设备及可读存储介质
CN114051750B (zh) * 2019-05-31 2024-04-09 苹果公司 用于性能数据流式传输、性能数据文件报告和性能阈值监测的系统和方法
US11490169B2 (en) * 2019-07-02 2022-11-01 Tencent America LLC Events in timed metadata tracks
CN112188256B (zh) * 2019-07-02 2024-05-24 腾讯美国有限责任公司 信息处理方法、信息提供方法、装置、电子设备及存储介质
US11303688B2 (en) * 2019-09-30 2022-04-12 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11381874B2 (en) * 2020-01-27 2022-07-05 Sony Corporation Personalization of curated offerings of media applications
US11546406B2 (en) 2020-04-13 2023-01-03 Tencent America LLC Media systems and methods including mixed event message tracks
US11533346B2 (en) * 2021-01-05 2022-12-20 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
WO2022220994A1 (en) * 2021-04-14 2022-10-20 Productive Application Solutions, Inc. Portable billboard
US11799943B2 (en) * 2021-10-06 2023-10-24 Tencent America LLC Method and apparatus for supporting preroll and midroll during media streaming and playback
US12058191B2 (en) * 2022-04-19 2024-08-06 Tencent America LLC Processing model for dash client processing model to support handling of dash event updates
US20230388576A1 (en) * 2022-05-26 2023-11-30 Balanced Media Technology, LLC Engagement and synchronization using received audio or visual cues

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011088264A1 (en) * 2010-01-13 2011-07-21 Qualcomm Incorporated Optimized delivery of interactivity event assets in a mobile broadcast communications system
US20140173660A1 (en) * 2012-08-01 2014-06-19 Whisper Innovations, Llc System and method for distributing and managing multiple content feeds and supplemental content by content provider using an on-screen literactive interface
CN104380684A (zh) * 2012-06-22 2015-02-25 高通股份有限公司 提供混合单播广播服务的方法和装置
WO2016140479A1 (ko) * 2015-03-01 2016-09-09 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20170063960A1 (en) * 2015-08-25 2017-03-02 Qualcomm Incorporated Transporting coded audio data
CN107018446A (zh) * 2017-04-07 2017-08-04 无锡职业技术学院 一种网络视频点播以及直播的推流方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5974392B2 (ja) * 2012-04-05 2016-08-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Ｉｓｏベースメディアファイルフォーマットに基づく適応ストリーミングについてのセキュアな非同期イベント通知のためのシステム及び方法
EP2959657A2 (en) * 2013-02-25 2015-12-30 Interdigital Patent Holdings, Inc. Managed caching in wireless networks
US8836716B1 (en) * 2013-09-20 2014-09-16 Spinella Ip Holdings, Inc. System and method for reducing visible artifacts in the display of compressed and decompressed digital images and video
US9397848B2 (en) * 2014-03-20 2016-07-19 Cellco Partnership Interface for accessing evolved multimedia broadcast multicast services (eMBMS) middleware services
US10902474B2 (en) * 2014-03-24 2021-01-26 Qualcomm Incorporated Targeted advertisement insertion for streaming media data
US8837826B1 (en) * 2014-06-12 2014-09-16 Spinella Ip Holdings, Inc. System and method for transmission, reception, and restoration of decimated color channels in image data
US9417921B2 (en) * 2014-07-31 2016-08-16 Istreamplanet Co. Method and system for a graph based video streaming platform
US9912707B2 (en) * 2014-07-31 2018-03-06 Istreamplanet Co. Method and system for ensuring reliability of unicast video streaming at a video streaming platform
US9826011B2 (en) * 2014-07-31 2017-11-21 Istreamplanet Co. Method and system for coordinating stream processing at a video streaming platform
WO2016060410A1 (ko) * 2014-10-14 2016-04-21 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016100916A1 (en) * 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US9479801B2 (en) * 2014-12-19 2016-10-25 Telefonaktiebolaget L M Ericsson (Publ) End user-based personalized ad insertion in broadcast-broadband hybrid terminals
US20180035153A1 (en) * 2015-03-01 2018-02-01 Lg Electronics Inc. Broadcasting signal transmission apparatus, broadcasting signal reception apparatus, broadcasting signal transmission method, and broadcasting signal reception method
US10162944B2 (en) * 2015-03-30 2018-12-25 Arris Enterprises Llc Library style media DRM APIs in a hosted architecture
JPWO2017122554A1 (ja) * 2016-01-15 2018-11-01 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US20190079787A1 (en) * 2016-11-14 2019-03-14 Google Llc Systems and methods for providing interactive streaming media
US11064267B2 (en) * 2016-11-14 2021-07-13 Google Llc Systems and methods for providing interactive streaming media
US10542328B2 (en) * 2016-12-30 2020-01-21 Facebook, Inc. Systems and methods for providing content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011088264A1 (en) * 2010-01-13 2011-07-21 Qualcomm Incorporated Optimized delivery of interactivity event assets in a mobile broadcast communications system
CN104380684A (zh) * 2012-06-22 2015-02-25 高通股份有限公司 提供混合单播广播服务的方法和装置
US20140173660A1 (en) * 2012-08-01 2014-06-19 Whisper Innovations, Llc System and method for distributing and managing multiple content feeds and supplemental content by content provider using an on-screen literactive interface
WO2016140479A1 (ko) * 2015-03-01 2016-09-09 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20170063960A1 (en) * 2015-08-25 2017-03-02 Qualcomm Incorporated Transporting coded audio data
CN107018446A (zh) * 2017-04-07 2017-08-04 无锡职业技术学院 一种网络视频点播以及直播的推流方法

Also Published As

Publication number Publication date
US20190149857A1 (en) 2019-05-16
US11310540B2 (en) 2022-04-19
EP3707908A1 (en) 2020-09-16
CN111316655B (zh) 2021-11-02
SG11202002955RA (en) 2020-05-28
TW201924356A (zh) 2019-06-16
EP3707908B1 (en) 2023-03-08
WO2019094748A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN111316655B (zh) 在dash感知应用与dash客户端之间用于服务互动性支持的接口
CN107743703B (zh) 用于媒体数据传输的方法、设备及计算机可读存储介质
US11290755B2 (en) Signaling data for prefetching support for streaming media data
JP6612249B2 (ja) メディアデータをストリーミングするためのターゲット広告挿入
CN111837403B (zh) 处理用于以流传送媒体数据的交互性事件
US20160337424A1 (en) Transferring media data using a websocket subprotocol
US20190238950A1 (en) Dynamic conditional advertisement insertion
CN111656791B (zh) 流式传输服务中的信令和报告交互性使用
EP3791600A1 (en) Signaling, in a manifest file, missing sections of media data for network streaming
US20220239601A1 (en) Background data traffic distribution of media data
KR20160138044A (ko) 미디어 데이터를 스트리밍하기 위한 목표된 광고 삽입
BR112017027511B1 (pt) Distribuição de middleware de métricas de qoe de cliente dash

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant