CN109154947B - 用于播放呈现的方法和用户设备以及服务器 - Google Patents

用于播放呈现的方法和用户设备以及服务器 Download PDF

Info

Publication number
CN109154947B
CN109154947B CN201780031992.6A CN201780031992A CN109154947B CN 109154947 B CN109154947 B CN 109154947B CN 201780031992 A CN201780031992 A CN 201780031992A CN 109154947 B CN109154947 B CN 109154947B
Authority
CN
China
Prior art keywords
media
file
presentation
instructions
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780031992.6A
Other languages
English (en)
Other versions
CN109154947A (zh
Inventor
伊麦德·布瓦吉吉
朴勍模
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109154947A publication Critical patent/CN109154947A/zh
Application granted granted Critical
Publication of CN109154947B publication Critical patent/CN109154947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了用于播放包括多个媒体的呈现的用户设备、服务器以及用于在具有处理器和显示器的电子装置中播放呈现的方法。用于播放具有多个媒体的呈现的用户设备包括处理器、存储器和显示器。处理器接收被配置成提供呈现的第一文件和被配置成指示用于媒体和空间布局更新的时序的第二文件。处理器确定第二文件是否包括针对多个指令中的至少一个指令元素的至少一个条件，并根据第一文件、第二文件和/或至少一个条件播放多个指令。当第二文件包括针对多个指令中的至少一个指令的存储命令时，存储器基于存储命令存储至少一个媒体。显示器显示播放的多个媒体。

Description

用于播放呈现的方法和用户设备以及服务器
技术领域
本公开总体涉及媒体呈现(Presentation)。更具体地，本公开涉及用于使媒体呈现定制化和调整媒体内容传输调度的方法和设备。
背景技术
近来，用户观看的呈现方式正变得更具互动性。这种呈现基于运动图像专家组(MPEG)组成信息(CI)而被播放。MPEG CI提供时序指令以控制呈现并使各种组件同步。随着多媒体服务的进步，更具交互性和定制化变得越来越常见。一个用户体验内容的方式可与另一用户体验相同内容的方式不同。MPEG CI需要基于用户配置信息和交互来支持不同的回放顺序。传输服务器还必须能够通过确保数据在需要呈现给用户时是可用的来支持不同的用户体验。
发明内容
技术方案
本公开提供了用于呈现定制和交互的方法和设备。
在第一实施方式中，用于播放具有多个媒体的呈现的用户设备(UE)包括处理器、存储器和显示器。处理器接收被配置成提供呈现的第一文件和被配置成指示用于媒体和空间布局更新的时序的第二文件。处理器确定第二文件是否包括针对多个指令中的至少一个指令元素的至少一个条件，并根据第一文件、第二文件和/或至少一个条件播放多个指令。当第二文件包括针对多个指令中的至少一个指令的存储命令时，存储器基于存储命令存储至少一个媒体。显示器显示播放的多个媒体。
在第二实施方式中，服务器包括处理器和收发器。处理器配置成生成第一文件和至少一个第二文件，其中，第一文件被配置成提供呈现，至少一个第二文件包括针对媒体元素的至少一个指令元素的至少一个条件。收发器配置成将第一文件和第二文件发送至用户设备(UE)。第二文件包括与至少一个指令相关的时间，其中，该时间提供媒体元素可被播放的最早时间的指示。
在第三实施方式中，用于在具有处理器和显示器的电子装置中播放呈现的方法包括：在处理器中接收第一文件和第二文件，其中，第一文件配置成提供呈现，第二文件配置成指示被包括在该呈现中的多个媒体和空间布局更新的时序。该方法还包括确定第二文件是否包括针对多个指令中的至少一个指令元素的至少一个条件，并由处理器根据第一文件、第二文件和/或至少一个条件播放多个指令。根据播放的多个指令来显示呈现。
从以下附图、描述和所附权利要求，其它技术特征对于本领域技术人员可以非常清晰。
附图说明
为了更完整地理解本公开，现将参考下文结合附图而作出的描述，在附图中：
图1示出了根据本公开的示例计算系统；
图2和图3示出了根据本公开的计算系统中的示例装置；
图4示出了根据本公开的用于处理呈现信息的系统；
图5示出了根据本公开的用于播放呈现信息的不同场景；
图6示出了根据本公开的用于处理呈现信息的方法；以及
图7示出了根据本公开的用于播放媒体同步元素的方法。
具体实施方式
在进行下文之前，陈述本专利文件全文中使用的某些词语和短语的定义会是有益的。措辞‘联接’及其变型指的是在两个或更多元件之间的任何直接或间接的连通，无论这些元件是否彼此物理接触。措辞‘发送’、‘接收’和‘通信’及其变型，包括直接和间接的通信。措辞‘包括’和‘包含’及其变型意为包含而非限制。措辞‘或’是包括性的，意为和/或。短语‘与...相关’及其变型意为包括、包括于…内、与…互相连接、包含、包含于…内、连接至或与…连接、联接至或与…联接、可与…通信、与…合作、交错(interleave)、并列(juxtapose)、近似于、约束至或约束于、具有、具有…的性质、联系于或与…有关等。措辞‘控制器’表示控制至少一个操作的任何装置、系统或其一部分。这样的控制器可以以硬件来实现，或以硬件与软件和/或固件的组合来实现。与任何特定控制器相关的功能无论是本地还是远程均可以是集中的或是分布式的。当与一系列项目一起使用措辞‘…中的至少一个’时，‘…中的至少一个’意为可使用该系列项目中的一个或多个项目的不同组合，并且可仅需要这系列项目中的一个项目。例如，‘A、B和C中的至少一个’包括以下组合中的任何项：A、B、C、A和B、A和C、B和C、以及A和B和C。
此外，以下描述的各种功能可由一个或多个计算机程序实施或支持，该计算机程序中的每个均由计算机可读程序代码形成并且实施于计算机可读介质中。措辞‘应用’和‘程序’指代适于在适当的计算机可读程序代码中实施的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类别、实例、相关数据、或上述项的一部分。短语‘计算机可读程序代码’包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。措辞‘计算机可读介质’包括能够被计算机访问的任何类型的介质，如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩盘(Compact Disc，CD)、数字视频盘(DVD)或任何其它类型的存储器。‘非易失性’计算机可读介质排除传输易失性的电信号或易失性的其它信号的有线链路、无线链路、光学链路或其它通信链路。非易失性计算机可读介质包括可供数据永久存储的介质以及可供数据存储并随后被覆盖的介质，诸如可重写光盘或可擦除存储装置。
本专利文件全文中提供对其它某些词语或短语的定义。本领域普通技术人员应理解，在许多情况下(如果不是大多数情况)，这种定义适用于现有技术，也适用于这样定义的词语和短语的将来的使用。
下文讨论的图1至图7以及用于在本专利文件中描述本发明的原理的各种实施方式仅用于说明而不应被解释为对本公开范围的任何限制。本领域技术人员将理解，本公开的原理可实施于任何适当布局的装置或系统。
图1示出了根据本公开的示例计算系统100。图1中所示的计算系统100的实施方式仅用于说明。在不背离本公开的范围的情况下，可使用计算系统100的其它实施方式。
如图1中所示，系统100包括网络102，网络102有助于系统100中的各种组件之间的通信。例如，网络102可以在网络地址之间传送互联网协议(IP)包、帧中继帧、异步传输模式(ATM)信元或其它信息。网络102可包括在一个或多个位置处的一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、全球网络(诸如，互联网)的全部或一部分或者任何其它一个或多个通信系统。
网络102有助于在至少一个服务器104和各种客户端装置106至114之间的通信。服务器104包括可以为一个或多个客户端装置提供计算服务的任何合适的计算或处理装置。例如，服务器104可包括一个或多个处理装置、存储指令和数据的一个或多个存储器以及有助于网络102上的通信的一个或多个网络接口。
如下文所描述的，至少一个服务器105以超文本标记语言(HTML)版本5(HTML5)文件和运动图像专家组(MPEG)组成信息(CI)的形式提供媒体信息。HTML5文件提供了用于媒体回放的初始空间布局和初始媒体元素。CI包括时序指令以控制媒体呈现层驱动呈现并使呈现的组件同步。
每个客户端装置106至114表示通过网络102与至少一个服务器或一个或多个其它计算装置交互的任何合适的计算或处理装置。在该示例中，客户端装置106至114包括台式计算机106、移动电话或智能电话108、个人数字助理(PDA)110、膝上型计算机112和平板计算机114。然而，可在计算系统100中使用任何其它或附加的客户端装置。
在该示例中，一些客户端装置108至114与网络102间接通信。例如，客户端装置108至110经由一个或多个基站116(诸如，小区基站或eNodeB)进行通信。此外，客户端装置112至114经由一个或多个无线接入点118(诸如，IEEE 802.11无线接入点)进行通信。应注意，这些仅用于说明，并且每个客户端装置可与网络102进行直接通信，或者经由一个或多个任何合适的中间装置或网络与网络102进行间接通信。
如下文更详细描述的，客户端装置106至114可用于经由服务器104访问服务器105上的内容。
虽然图1示出了计算系统100的一个示例，但可以对图1进行多种变化。例如，系统100可以以任何合适的布置包括任何数量的各个组件。通常，计算和通信系统具有多种配置，并且图1不将本公开的范围限制于任何特定的配置。虽然图1示出了可使用本专利文件中公开的各种特征的一个操作环境，但是在任何其它合适的系统中也可使用这些特征。
图2和图3示出了根据本公开的计算系统中的示例装置。具体地，图2示出了示例服务器200，并且图3示出了示例客户端装置300。服务器200可表示图1中的服务器104或服务器105，并且客户端装置300可表示图1中的客户端装置106至114中的一个或多个。
如图2中所示，服务器200包括总线系统205，其中，该总线系统205支持至少一个处理装置210、至少一个存储装置215、至少一个通信单元220和至少一个输入/输出(I/O)单元225之间的通信。
处理装置210运行可被加载至存储器230中的指令。处理装置210可包括任何合适数量和类型的处理器或具有任何合适布置的其它装置。处理装置210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和永久性存储器235是表示能够存储信息和帮助检索信息(诸如，暂时性或永久性的数据、程序代码和/或其它合适的信息)的任何结构的存储装置215的示例。存储器230可代表随机存取存储器或一个或多个任何其它合适的易失性或非易失性存储装置。永久性存储器235可包括支持数据的长期存储的一个或多个组件或装置，诸如，只读存储器、硬盘驱动器、闪速存储器或光盘。
通信单元220支持与其它系统或装置的通信。例如，通信单元220可包括帮助网络102上的通信的网络接口卡或无线收发器。通信单元220可支持经由任何合适的物理或无线通信链路的通信。
I/O单元225允许输入和输出数据。例如，I/O单元225可经由键盘、鼠标、小键盘、触摸屏或其它合适的输入装置为用户输入提供连接。I/O单元225还可将输出发送至显示器、打印机或其它合适的输出装置。
应注意，尽管图2被描述为代表图1的服务器104或服务器105，但相同或相似的结构可被用于客户端装置106至114中的一个或多个中。例如，膝上型或台式计算机可具有与图2中所示的结构相同或相似的结构。
在本文中描述的实施方式中，服务器105提供用于可由客户端装置300播放的呈现的HTML5文件和CI文件。服务器105还可向客户端装置300提供更新的CI文件。服务器105可利用时间戳对每个CI文件进行标记，从而允许客户端装置300使用CI文件的最新更新。
如图3中所示，客户端装置300包括天线305、射频(RF)收发器310、发送(TX)处理电路315、麦克风320以及接收(RX)处理电路325。客户端装置300还包括扬声器330、处理器340、输入/输出(I/O)接口(IF)345、输入350、显示器355和存储器360。存储器360包括操作系统(OS)程序361和一个或多个应用362。
RF收发器310从天线305接收由系统中的另一组件发送进来的RF信号。RF收发器310将输入的RF信号降频转换(down-convert)以产生中间频率(IF)或基带信号。IF或基带信号被发送至RX处理电路325，其中，RX处理电路325通过对基带或IF信号进行滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路325将经处理的基带信号发送至扬声器330(诸如，用于语音数据)或发送至处理器340以用于进一步的处理(诸如，用于网络浏览数据)。
TX处理电路315从麦克风320接收模拟语音数据或数字语音数据或者从处理器340接收其它输出基带数据(诸如，网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对输出基带数据进行编码、多路复用和/或数字化以生成经处理的基带或IF信号。RF收发器310从TX处理电路315接收待输出的经处理的基带或IF信号，并将这些基带或IF信号升频转换(up-convert)为经由天线305发送的RF信号。
处理器340可包括一个或多个处理器或其它处理装置，并运行存储在存储器360中的OS程序361，以控制客户端装置300的全部操作。例如，根据众所周知的原理，处理器340可控制通过RF收发器310、RX处理电路325和TX处理电路315的前向信道信号的接收和反向信道信号的发送。在一些实施方式中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够运行位于存储器360中的其它过程和程序。处理器340可根据运行过程的需要将数据移入或移出存储器360。在一些实施方式中，处理器340配置成基于OS程序361或响应于接收自外部装置或操作者的信号来运行应用362。处理器340还联接至I/O接口345，I/O接口345向客户端装置300提供连接至其它装置(诸如，膝上型计算机和手持计算机)的能力。I/O接口345是这些附件与处理器340之间的通信路径。
处理器340还联接至输入350和显示器355。客户端装置300的操作者可使用输入350将数据输进客户端装置300中。例如，输入350可以是触摸屏、按钮和/或键盘。显示器355可以是液晶显示器或能够呈现诸如来自网站的文本和/或至少有限的图形的其它显示器。
存储器360联接至处理器340。存储器360的一部分可包括随机存取存储器(RAM)，并且存储器360的另一部分可包括闪速存储器或其它只读存储器(ROM)。
如下文更详细描述的，客户端装置300可从服务器105接收呈现信息(诸如，HTML5文件和一个或多个CI文件)，以播放呈现。
虽然图2和图3示出了计算系统中的装置的示例，但是可以对图2和图3进行各种改变。例如，根据特殊的需要，图2和图3中的各种组件可被组合、进一步细分或省略，并可添加其它组件。作为特定示例，处理器340可被划分成多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。此外，虽然图3示出了配置为移动电话或智能电话的客户端装置300，但客户端装置可配置成作为其它类型的移动装置或固定装置来操作。另外，与计算和通信网络一样，客户端装置和服务器可具有多种配置，并且图2和图3不将本公开限制于任何特定的客户端装置或服务器。
图4示出了根据本公开的用于处理呈现信息的系统400。如图4中所示，可被合并至处理器340中的MPEG媒体传输(MMT)CI处理引擎402接收如HTML5文件404和CI文件406的呈现信息。可直接或间接地从诸如图1的服务器105的服务器接收HTML5文件404和CI文件406。HTML5文件404提供用于媒体回放的初始空间布局和初始媒体元素。CI文件406包括时序指令以控制媒体呈现层驱动呈现并使各种组件(诸如，视频、音频和字幕)同步。CI文件406采用可扩展标记语言(XML)文件的形式，并包括MediaSync元素、sourceList元素和mediaSrc元素。MediaSync元素支持以下操作：提供将被同时播放的服务组件的列表；提供媒体源的列表，媒体源的列表以基于列表中的出现顺序的优先级表示替代物；以及提供需要基于其开始时间来顺序地回放的源的列表。MMT CI处理引擎402负责通过推拉法获取HTML5文件404和CI文件406。
HTML5文件404被解析成文件对象模型(DOM)树并存储在诸如存储器360的存储器中。MMT CI处理引擎402根据CI文件406提供的指令在一个或多个特定时间处将更改应用于DOM。MMT CI处理引擎402基于DOM在显示器410上显示呈现信息。
CI文件406包括以下项中的至少一项：某些MediaSync元素是条件性的指示；每个MediaSync元素的、与呈现回放的不同调度适配的传输调度的指示；和/或存储用于稍后回放一定时长的MediaSync元素的指示。
如将在下文中描述的，可标记MediaSync元素以进行条件性的回放。支持条件性的回放并且也支持条件类型的客户端装置(例如，客户端装置300)评估该条件以验证是否必须播放内容。标记为属于相同条件组的所有MediaSync元素应使得最多选择一个MediaSync元素。仅示出ConditionGroup属性的MediaSync元素将被视为用于该条件组的默认MediaSync，并且如果没有选择相同条件组的先前MediaSync元素进行回放，则应由用户代理播放。条件脚本语言可由conditionType属性指示，如果不存在，则默认为“text/javascript”。另外，EarliestPlayout和存储属性也可被包括在CI文件中，以通知发送者和接收者关于因条件性回放导致的传送和回放调度上的潜在偏差(Skew)。
术语“条件”表示客户端装置将进行评估以确定是否要回放MediaSync元素的内容的表述。条件必须就布尔值(Boolean value)进行评估，其中，真(true)表示应回放内容，并且假(false)表示不回放。ConditionGroup表示条件所属的群组。如果MediaSync元素表示不存在条件但提供ConditionGroup，则客户端装置应假定如果没有回放共享相同条件组的MediaSync元素则应默认回放该MediaSync元素。
ConditionType表示用于说明条件的脚本语言。默认值为表示ECMAScript的‘text/javascript’。EarliestPlayout向发送者提供指示：由于一些较早的条件性的回放内容被跳过，使得当前MediaSync元素描述的内容可能被一些客户端装置更早地回放。
在一些实施方式中，MPEG CI文件406的MediaSync元素或sourceList元素包括这样的指示：通过MediaSync元素或sourceList元素回放的特定媒体资源将被条件性地回放。在一些实施方式中，条件被提供为以布尔值评估为真或假的JavaScript表达式，其中，仅在条件评估为真的情况下才进行特定媒体资源的回放。条件可被提供为MediaSync元素或sourceList元素的属性。如果在MediaSync元素上提供并且条件评估为假，则将回放下一MediaSync并跳过当前的MediaSync元素。如果下一MediaSync元素具有开始时间，则在下一MediaSync元素指定的开始时间之前将不会有内容被示出。
条件可被提供为对诸如'checkPlayback'之类的函数的调用，并且传输识别条件性内容的变元(Argument)。另外，可提供'conditionGroup'属性以对一组互斥条件或指令进行分组。包括相同'conditionGroup'的指示的最后一个元素可省略条件属性，在这种情况下，如果相同的'conditionGroup'的先前条件均未评估为真，则该元素变为默认。
在一些实施方式中，提供了媒体资源的最早呈现时间的指示。例如，该指示可以与每个媒体处理单元(MPU)相关并作为MediaSync元素的一部分而被提供。这通知发送者该元素可能在比指定的回放时间更早的时间时被一些用户呈现。这对以下情况是必要的：用于未评估为真的MediaSync元素的条件产生了跳过的内容并且下一MediaSync元素的内容将被一些客户端更早播放。这可能对客户端不直接向服务器请求内容的广播内容是必要的。
在一些实施方式中，还针对一些媒体资源在其呈现给没有跳过先前内容的用户的时间之前进行传送的情况提供存储命令。存储命令通知客户端将内容本地高速缓存，缓存的内容至少相当于稍后回放所需的指定的媒体持续时间。
图5示出了根据本公开的用于播放呈现信息的不同场景。如图5中所示，客户端装置300接收多个MediaSync元素502至510。MediaSync元素504和508包括MediaSync元素的回放是有条件性的指示。这些条件可包括用户是男性还是女性、付费用户还是非付费用户、普通用户还是高级用户。其它条件可包括地理条件或时间条件。如果MediaSync元素504的特定条件被评估为‘真’，则将回放MediaSync元素504，而如果MediaSync元素508的特定条件被评估为假，则将跳过MediaSync元素508并将回放MediaSync元素510。
由于MediaSync元素506和510在条件性的MediaSync元素之后，因而在不回放MediaSync元素504和/或508的情况下，MediaSync元素506和510中的每个均包括分别与先前的MediaSync元素504和508对应的存储命令和最早呈现命令的指示。
图6和图7示出了用于播放MediaSync元素(诸如，图5的MediaSync元素502至510)的方法。如图6中所示，MMT CI处理引擎402在操作602中接收HTML5文件和CI文件。MMT CI处理引擎402可经由推拉法获取文件。
在操作604中，MMT CI处理引擎402解析HTML 5文件和CI文件。所解析的HTML5文件提供空间布局和待播放的初始MediaSync元素。所解析的HTML5文件存储为文件对象模型(DOM)。CI文件包括以下项中的至少一项：某些MediaSync元素是条件性的指示；每个MediaSync元素的传输调度的指示；和/或存储MediaSync元素的指示。
在操作606中，MMT CI处理引擎402根据HTML 5文件提供的空间布局和CI文件提供的时序指令来播放一个或多个MediaSync元素。将参照示出了根据本公开的用于播放MediaSync元素的方法的图7对操作606进行更详细的讨论。
如图7中所示，将结合图3的客户端装置300进行讨论，在操作702中，由处理器340接收MediaSync元素(例如，MediaSync元素502)。
在操作704中，处理器340基于在操作602中接收的CI文件确定MediaSync元素是否具有条件。如果不具有条件，则该方法继续到播放MediaSync元素的操作710。如果MediaSync元素包括条件，则处理器340在操作706中确定条件是否得到满足。如果处理器340确定条件被评估为假，则在操作714中跳过该MediaSync元素。如果处理器340确定条件被评估为真，则方法进行到操作708，在操作708中处理器340基于在操作602中接收的CI文件确定MediaSync元素是否具有存储命令。如果MediaSync元素具有存储命令，则方法继续到操作712，在操作702中，MediaSync元素存储在例如存储器360中。如果MediaSync元素不具有存储命令，则该方法继续到操作710。
在操作716中，确定是否存在其它MediaSync元素。可以由处理器340基于在操作602中接收的CI文件来作出判断。如果存在其它MediaSync元素，则该方法返回到操作702。如果不存在MediaSync元素，则该方法结束。
尽管图7被描述为一次处理一个MediaSync元素，但是处理器340可根据图7的方法同时处理多个MediaSync元素。例如，可同时处理和播放视频MediaSync元素、音频MediaSync元素和字幕MediaSync元素。
本申请中的描述均不应理解为暗示着任何特定元件、步骤或功能是必须被包括在权利要求范围中的必要元件。专利主题的范围仅由权利要求进行限定。
尽管已经利用示例性实施方式描述了本公开，但本领域技术人员可得到多种改变和修改的启示。本公开旨在包括落入所附权利要求范围内的这些改变和修改。

Claims (13)

1.用于播放包括多个媒体的呈现的用户设备，所述用户设备包括：
处理器，所述处理器配置成：
接收第一文件和至少一个第二文件，所述第一文件配置成提供所述呈现的初始空间布局，所述至少一个第二文件配置成提供控制所述呈现中所包括的所述多个媒体的多个指令；
基于至少一个条件组播放包括所述多个媒体的所述呈现，
其中，所述多个媒体中的至少一个媒体被标记为属于所述至少一个条件组，
其中，所述条件组中的条件指示回放或跳过所述至少一个媒体，
其中，所述多个指令中的一个指令对应于所述条件，以及
其中，如果所述条件指示回放所述至少一个媒体，则基于所述指令选择运行所述至少一个媒体中的一个媒体，以及
如果所述至少一个媒体属于相同条件组，则基于所述指令选择所述至少一个媒体中的一个媒体；
存储器，配置成存储所述第一文件和所述至少一个第二文件；以及
显示器，所述显示器配置成显示所播放的所述呈现。
2.根据权利要求1所述的用户设备，其中，对应于所述条件的所述指令是评估为真或假的javascript函数调用，并且其中，真表示运行所述指令，而假表示跳过所述指令。
3.根据权利要求1所述的用户设备，其中，所述至少一个第二文件包括与所述多个指令相对应的多个条件，其中，所述多个条件被分组为排它指令的集合。
4.根据权利要求1所述的用户设备，其中，对应于所述条件的所述指令包括与时间相关的时序指令，其中，所述时间提供所述呈现中所包括的所述多个媒体能够被播放的最早时间的指示。
5.一种服务器，包括：
处理器，所述处理器配置成生成第一文件和至少一个第二文件，其中，所述第一文件配置成提供包括多个媒体的呈现的初始空间布局，所述至少一个第二文件配置成提供控制所述呈现中所包括的所述多个媒体的多个指令；以及
收发器，所述收发器配置成将所述第一文件和所述至少一个第二文件发送至用户设备，
其中，所述多个指令中的一个指令对应于条件，
其中，所述指令被分配给一个条件组，所述多个媒体中的至少一个媒体被标记为属于所述条件组，
其中，所述条件指示回放或跳过所述至少一个媒体，以及
其中，如果所述条件指示回放所述至少一个媒体，则基于所述指令选择运行所述至少一个媒体中的一个媒体，以及如果所述至少一个媒体属于相同条件组，则基于所述指令选择所述至少一个媒体中的一个媒体。
6.根据权利要求5所述的服务器，其中，所述至少一个第二文件包括与多个指令相对应的多个条件，
其中，所述多个条件被分组为排它指令的集合。
7.根据权利要求5所述的服务器，其中，对应于所述条件的所述指令包括用于所述多个媒体的存储命令。
8.根据权利要求5所述的服务器，其中，所述至少一个第二文件配置成指示包括在所述呈现中的所述多个媒体的时序，其中，所述多个媒体包括一个或多个视频元素、音频元素和/或字幕元素。
9.根据权利要求5所述的服务器，其中，所述处理器还被配置成利用时间戳标记所述至少一个第二文件。
10.用于在具有处理器和显示器的电子装置中播放呈现的方法，所述方法包括：
由所述处理器接收第一文件和至少一个第二文件，其中，所述第一文件配置成提供包括多个媒体的所述呈现的初始空间布局，所述至少一个第二文件配置成提供控制所述呈现中所包括的所述多个媒体的多个指令；
由所述处理器基于至少一个条件组播放包括所述多个媒体的所述呈现，
其中，所述多个媒体中的至少一个媒体被标记为属于所述至少一个条件组，
其中，所述条件组中的条件指示回放或跳过所述至少一个媒体，
其中，所述多个指令中的一个指令对应于所述条件，
其中，如果所述条件指示回放所述至少一个媒体，则基于所述指令选择运行所述多个媒体中的一个媒体，以及如果所述至少一个媒体属于相同条件组，则基于所述指令选择所述至少一个媒体中的一个媒体；以及
由所述显示器显示所播放的所述呈现。
11.根据权利要求10所述的方法，其中，所述至少一个第二文件包括与所述多个指令相对应的多个条件，其中，所述多个条件被分组为排它指令的集合。
12.根据权利要求10所述的方法，其中，播放所述多个指令包括：
基于多个指令确定所述至少一个媒体是否包括存储命令；以及
如果所述至少一个指令包括存储命令，则将所述至少一个媒体存储在所述电子装置的存储器中。
13.根据权利要求10所述的方法，其中，所述多个媒体包括一个或多个视频元素、音频元素和/或字幕元素。
CN201780031992.6A 2016-05-25 2017-05-25 用于播放呈现的方法和用户设备以及服务器 Active CN109154947B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662341352P 2016-05-25 2016-05-25
US62/341,352 2016-05-25
US15/465,424 US20170344523A1 (en) 2016-05-25 2017-03-21 Method and apparatus for presentation customization and interactivity
US15/465,424 2017-03-21
PCT/KR2017/005473 WO2017204580A1 (en) 2016-05-25 2017-05-25 Method and apparatus for presentation customization and interactivity

Publications (2)

Publication Number Publication Date
CN109154947A CN109154947A (zh) 2019-01-04
CN109154947B true CN109154947B (zh) 2023-03-21

Family

ID=60412772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780031992.6A Active CN109154947B (zh) 2016-05-25 2017-05-25 用于播放呈现的方法和用户设备以及服务器

Country Status (5)

Country Link
US (1) US20170344523A1 (zh)
EP (1) EP3446228A4 (zh)
KR (1) KR102459197B1 (zh)
CN (1) CN109154947B (zh)
WO (1) WO2017204580A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659536A (zh) * 2002-06-04 2005-08-24 高通股份有限公司 用于在便携设备中再现多媒体的系统
EP2385699A1 (de) * 2010-05-05 2011-11-09 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Vorrichtung und Verfahren zur Aufbereitung und Anzeige eines via digitalem Rundfunk übertragenen Fernsehprogramms
CN104238922A (zh) * 2013-06-13 2014-12-24 纬创资通股份有限公司 多媒体播放系统及其控制方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1010318A4 (en) * 1997-02-14 2001-01-31 Univ Columbia OBJECT-BASED AUDIOVISUAL TERMINAL AND BINARY TRAIN STRUCTURE
US6526580B2 (en) * 1999-04-16 2003-02-25 Digeo, Inc. Broadband data broadcasting service
US7725812B1 (en) * 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
US6708337B2 (en) * 2001-03-16 2004-03-16 Qedsoft, Inc. Dynamic multimedia streaming using time-stamped remote instructions
US7930624B2 (en) * 2001-04-20 2011-04-19 Avid Technology, Inc. Editing time-based media with enhanced content
US7725557B2 (en) * 2002-06-24 2010-05-25 Microsoft Corporation Client-side caching of streaming media content
US20040003101A1 (en) * 2002-06-26 2004-01-01 Roth David J. Caching control for streaming media
US7519616B2 (en) * 2002-10-07 2009-04-14 Microsoft Corporation Time references for multimedia objects
US7721308B2 (en) * 2005-07-01 2010-05-18 Microsoft Corproation Synchronization aspects of interactive multimedia presentation management
US20070006079A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation State-based timing for interactive multimedia presentations
US20070006078A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Declaratively responding to state changes in an interactive multimedia environment
US7861150B2 (en) * 2006-11-07 2010-12-28 Microsoft Corporation Timing aspects of media content rendering
WO2009120301A2 (en) * 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
KR20120080214A (ko) * 2009-09-29 2012-07-16 노키아 코포레이션 다이내믹 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치
WO2011070552A1 (en) * 2009-12-11 2011-06-16 Nokia Corporation Apparatus and methods for describing and timing representations in streaming media files
GB2481865B (en) * 2010-06-28 2013-03-13 Nds Ltd System and method for managing playback sensitive content
WO2013023287A1 (en) * 2011-08-16 2013-02-21 Destiny Software Productions Inc. Script-based video rendering
US20130254806A1 (en) * 2012-03-20 2013-09-26 Station Creator, Llc System and Method for Displaying a Media Program Stream on Mobile Devices
US10225590B2 (en) * 2012-04-16 2019-03-05 Excalibur Ip, Llc Method and system of dynamic routing of aggregated online media streams
JP6153298B2 (ja) * 2012-04-24 2017-06-28 シャープ株式会社 配信装置、再生装置、データ構造、配信方法、制御プログラム、および記録媒体
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
KR20130138638A (ko) * 2012-06-11 2013-12-19 한국전자통신연구원 비트 에러율을 이용한 효과적인 멀티미디어 전송 방법
CN104429087B (zh) * 2012-07-10 2018-11-09 夏普株式会社 再现装置、再现方法、发布装置、发布方法
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
US20140064711A1 (en) * 2012-08-28 2014-03-06 Benjamin H. Ziskind Systems, Methods, and Media for Presenting Media Content Using Cached Assets
KR102045073B1 (ko) * 2013-01-24 2019-11-14 한국전자통신연구원 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
US10129785B2 (en) * 2013-03-08 2018-11-13 Samsung Electronics Co., Ltd. Method and apparatus for processing media traffic in mobile communication system
US20140298157A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd Apparatus and method for presenting html page
JP2014215859A (ja) * 2013-04-26 2014-11-17 ソニー株式会社 受信装置、受信装置における情報処理方法、送信装置、情報処理装置および情報処理方法
US9160696B2 (en) * 2013-06-19 2015-10-13 Twilio, Inc. System for transforming media resource into destination device compatible messaging format
US9906575B2 (en) * 2013-08-15 2018-02-27 Comcast Cable Communications, Llc Media fling system
US9800636B2 (en) * 2013-09-25 2017-10-24 Iheartmedia Management Services, Inc. Media asset distribution with prioritization
US9807452B2 (en) * 2013-10-07 2017-10-31 Samsung Electronics Co., Ltd. Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network
EP2866436A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method and apparatus for transmission and reception of media data
US9904936B2 (en) * 2013-11-19 2018-02-27 Adobe Systems Incorporated Method and apparatus for identifying elements of a webpage in different viewports of sizes
US9363333B2 (en) * 2013-11-27 2016-06-07 At&T Intellectual Property I, Lp Server-side scheduling for media transmissions
US20150201253A1 (en) * 2014-01-10 2015-07-16 Samsung Electronics Co., Ltd. Methods and apparatus for universal presentation timeline alignment
CN105280204B (zh) * 2014-06-25 2019-04-02 腾讯科技（北京）有限公司 多媒体文件播放方法、装置及系统
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data
WO2016124130A1 (zh) * 2015-02-06 2016-08-11 上海交通大学 一种异构网络传输下的动态时间窗口及缓存机制
KR101988454B1 (ko) * 2015-02-13 2019-06-12 상하이 지아오통 유니버시티 멀티미디어 컨텐츠 개성화 프레젠테이션의 실현 방법 및 응용
US10306297B2 (en) * 2015-06-23 2019-05-28 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving signal in multimedia system
US10887645B2 (en) * 2017-07-13 2021-01-05 Qualcomm Incorporated Processing media data using file tracks for web content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659536A (zh) * 2002-06-04 2005-08-24 高通股份有限公司 用于在便携设备中再现多媒体的系统
EP2385699A1 (de) * 2010-05-05 2011-11-09 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Vorrichtung und Verfahren zur Aufbereitung und Anzeige eines via digitalem Rundfunk übertragenen Fernsehprogramms
CN104238922A (zh) * 2013-06-13 2014-12-24 纬创资通股份有限公司 多媒体播放系统及其控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Park MinKyu等.MMT-based Broadcasting Services Combined with MPEG-DASH.2015,283-299. *
杜坤坤.面向智能家居的虚拟人交互方法与技术的研究.2015,I138-16. *

Also Published As

Publication number Publication date
EP3446228A1 (en) 2019-02-27
KR20190001601A (ko) 2019-01-04
WO2017204580A1 (en) 2017-11-30
US20170344523A1 (en) 2017-11-30
KR102459197B1 (ko) 2022-10-26
CN109154947A (zh) 2019-01-04
EP3446228A4 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
US20230401220A1 (en) Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US10897449B2 (en) Social media messaging platform for creating and sharing moments
US11496783B2 (en) Method and system for playing digital videos on user devices
EP2602760A2 (en) Providing synchronous content and supplemental experiences
US20110001758A1 (en) Apparatus and method for manipulating an object inserted to video content
CN104065979A (zh) 一种动态显示和视频内容相关联信息方法及系统
CN102845072A (zh) 改进的媒体内容回放质量
US10051307B2 (en) Media selection based on content of broadcast information
CN108810580B (zh) 媒体内容推送方法及装置
CN111866550A (zh) 视频片段的屏蔽方法和装置
CN109168012B (zh) 用于终端设备的信息处理方法和装置
CN113424553A (zh) 用于响应于用户选择而推进交互式媒体项目的重放的技术
US10149000B2 (en) Method and system for remote altering static video content in real time
US20140298157A1 (en) Apparatus and method for presenting html page
US20220224978A1 (en) Video content display method, client, and storage medium
CN109714626B (zh) 信息交互方法、装置、电子设备、和计算机可读存储介质
CN115278375A (zh) 资源推送方法、装置、设备及介质
CN108491178A (zh) 信息浏览方法、浏览器和服务器
CN109154947B (zh) 用于播放呈现的方法和用户设备以及服务器
GB2440385A (en) Controlling Advanced User Interfaces for Navigation
US10328336B1 (en) Concurrent game functionality and video content
US9769105B2 (en) Runway chat
US20150296259A1 (en) Electronic apparatus and content playing method thereof
CN108540840B (zh) 内容输出方法及装置、介质和计算设备
US10395642B1 (en) Caption data fishing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant