CN101622848B - 使用全局场景时间的定位和同步 - Google Patents

使用全局场景时间的定位和同步 Download PDF

Info

Publication number
CN101622848B
CN101622848B CN200780052049XA CN200780052049A CN101622848B CN 101622848 B CN101622848 B CN 101622848B CN 200780052049X A CN200780052049X A CN 200780052049XA CN 200780052049 A CN200780052049 A CN 200780052049A CN 101622848 B CN101622848 B CN 101622848B
Authority
CN
China
Prior art keywords
stream
attribute
rich media
length
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780052049XA
Other languages
English (en)
Other versions
CN101622848A (zh
Inventor
C·普里德尔
P·弗罗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN101622848A publication Critical patent/CN101622848A/zh
Application granted granted Critical
Publication of CN101622848B publication Critical patent/CN101622848B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种在从多媒体服务器提供到至少一个多媒体客户端的富媒体流中定位的方法，其中，该方法可在多媒体服务器的编码器或多媒体客户端的解码器中执行。定位指令在时间实例X插入媒体流中，包括偏移时间实例Y以便用于以全局时间率定位。还提供了一种用于允许富媒体流中的同步的方法，其中，同步基于全局时间线。

Description

使用全局场景时间的定位和同步
技术领域
本发明主要涉及用于允许在富媒体流的全局时间线流中定位(seeking)、以及用于允许富媒体流中基于传输级别时间戳的同步的方法和装置。
背景技术
可缩放矢量图形(SVG)是一种基于XML的语言，用于静态和动态矢量图形的表示。SVG基于矢量，这意味着内容不是为某些屏幕分辨率而制作，而是能轻松地缩放。SVG是由万维网联盟(W3C)标准化的。SVG版本1.1的移动配置规范(mobile profile)被3GPP第5版采纳，并且今天得到大约1亿移动手机的支持。
SVG Tiny 1.2是专门为移动装置设计的SVG的功能更强大的版本，其在“Scalable Vector Graphics(SVG)Tiny 1.2Specification”(W3CCandidate Recommendation，2006年8月10日)中有更详尽的描述。此规范当前是已被3GPP第6版采纳的W3C候选推荐。对包括音频和视频的完全控制的各种新多媒体特征的支持与微DOM(uDOM)和脚本<uDOM>包括在一起。
除了作为用于矢量图形的媒体类型外，SVG也能用作场景描述语言，其中，场景能从时间上及从空间上构成。实际上，SVG Tiny 1.2是用于动态和交互式多媒体场景(DIMS)中的3GPP工作项及用于富媒体环境(RME)上的OMA工作项的基础场景描述格式。有关DIMS的当前标准化的更多信息能在“3GPP TS 26.142V7.1.0(2007-09)：“3rdGeneration Partnership Project；Technical Specification Group Servicesand System Aspects；Dynamic and Interactive Multimedia Scenes”中找到。
图1a涉及根据现有技术的定义为大型文档的平面SVG(planeSVG)，其携带SVG场景，此处由多个(0-k)SVG元素E来表示。整个场景一般情况下要完全下载后才能呈现。因此，在普通SVG(plainSVG)中，只有一个从0开始的单一时间线，使得全局和本地定位一致。
DIMS(RME)内容，与平面SVG内容相对，能分成基础场景和这些场景的更新。这些更新的格式是LASeR命令。
根据现有技术的DIMS内容的示例通过图1b示出。更新和基础场景的序列能通过使用实时传输协议(RTP)进行流传送，或者存储在3GP文件的轨道中。呈现的SVG文档由从基础场景S开始的多个单元组成，基本场景一般情况下将以更小的场景更新U来更新。
DIMS流中的每个单元具有媒体时间。媒体时间经常通过使用传输级别时间戳，使用与第一单元的偏移来计算。在此文档中，这也称为全局时间100，因为它对整个DIMS流是持续的。SVG还具有内部文档时间101。内部文档时间为流中的每个新SVG文档102、103重置为零，并因此也在各自文档中称为本地时间。全局时间线将极有可能不具有与本地时间线相同的速率，其一般情况下可具有1Hz的速率。
冗余场景是以与非冗余场景不同的方式处理的冗余随机访问点(RAP)，这是因为它们用于在调谐时替代场景和多个更新。文档时间应该在与用于未在冗余场景上调谐的其他用户的相同值开始。因此，必须将场景时间从初始时间0前移到调谐时间。
目前，尚未定义在DIMS中何时前移场景时间。LASeR提议在场景已完全加载之后前移场景时间。MORE提议在此领域是不具体的，但在MORE标志下提议的备选方案在文档初始加载时前移场景时间。
现有技术解决方案不允许在DIMS流的全局时间中从标记定位，即，不可能创建“定位”按钮或定位指令，而只具有一个单一时间线的普通SVG却可能。
当使用SVG uDOM中定义的用于调整SVG文档的时间的setCurrentTime方法时产生的一个问题是SVG文档时间已更改，而媒体时间或全局时间级别保持不变，从而在此新文档时间与媒体时间之间形成失配。这种情况下的再同步的执行方式与用于例如从媒体传输中的中断(disruption)的任何其它同步的方式相同。未定义是否应暂停(pause)元素之一，还是在其它元素中向前定位。再同步因此能导致场景时间只是返回定位前的其值，从而再次得到同步但撤销了时间变化。
现有技术解决方案有关的另一问题是不能越过文档边界定位。DIMS流可以并且可能将包含多个非冗余场景，即SVG文档。每个此类文档具有以时间实例(time instance)零开始的单独时间线。
已知技术仍有的另一问题是不能选取全局时间作为同步的同步基础，即，强制其它时间线与全局时间同步。这也可称为定义全局时间为syncMaster。这使得不可能创建定义为将其重放完全基于传输级别时间戳的流。
发明内容
本发明的目的是解决至少上面概述的问题。更具体地说，本发明的一个目的是提供一种允许基于全局时间线来执行富媒体流中的定位的机制。此外，提供一种允许基于全局时间线的富媒体流中的同步的机制也是本发明的一个目的。
根据一个方面，本发明涉及一种用于在从多媒体服务器提供到至少一个多媒体客户端的富媒体流中执行定位的方法，其中，定位在多媒体服务器的编码器中执行。定位指令在时间实例X插入媒体流中，其中，定位指令包括偏移时间实例Y，其中，X和Y是在全局时间线速率测量的任意时间值。媒体流随后被编码并传送到一个或多个多媒体客户端。
根据一个实施例，定位指令可以是服务器启动的指令，可由多媒体服务器直接插入媒体流中。
根据另一个实施例，定位指令相反可以是用户启动的指令，插入媒体流的场景中。用户启动的指令可通过能与事件有关的副流(secondary stream)插入。
根据另一方面，描述了一种允许在多媒体客户端的解码器执行的在富媒体流中定位的方法。根据此方面，定位指令在时间实例X接收，其中，定位指令包括偏移时间实例Y。随后，在解码器执行根据接收的定位指令的定位。
定位步骤可包括在媒体流的全局时间线中在整个媒体流上定位，其中，定位通过将偏移Y加到当前时间实例X，以同步方式将全局时间线和一个或多个内部文档时间线向时间实例X+Y移动来实现。
搜索步骤可还包括找出出现在期望的定位时间实例X+Y之前的所述媒体流的最后随机访问点(RAP)的步骤，以及将RAP解码并创建具有文档时间的场景的步骤。在这些步骤后，可将文档时间向期望的定位时间实例移动，从RAP将媒体流解码。
时间实例X和Y可从富媒体流的传输级别时间戳来计算。
通过将传输级别时间戳标准化为全局时间线的速率，可执行从内部文档时间线到全局时间线的转换。
全局时间线的速率可与为媒体流选取的传输无关。备选地，全局时间线的速率可预定义。
另外，可将全局时间线的速率显式发送到多媒体客户端。
富媒体流可包含两个或更多个文档，并且在此类情况下，建议的定位步骤将允许越过不同文档边界定位。
富媒体流可以是DIMS/RME流或LASeR流中的任何一个。
定位指令可以是命令、DOM方法或属性中的任何一项。
根据另一方面，描述了一种用于允许富媒体流中的同步的解码器的方法，其中，在持续的全局时间线要用作同步主(synchronisationmaster)的情况下设置syncMasterGlobal属性，而在一个或多个文档时间线要用作同步主的情况下设置syncMaster属性。已设置的属性随后被传送到一个或多个接收实体。
属性可传送到一个或多个接收实体，插入富媒体流的SVG元素中。备选地，它可转而经富媒体流外部的信令提供到一个或多个接收实体。
根据仍有的另一方面，描述了一种用于在富媒体流中执行同步的解码器，其中，在解码器接收具有发送信号通知当前同步主的目的的属性。
随后，该属性用于在接收的属性是syncMasterGlobal属性的情况下，并且在syncMasterGlobal属性已设置的情况下，使用全局时间线作为同步主，而在接收的属性是syncMaster属性的情况下并且在syncMaster属性已设置的情况下或者在接收的属性未设置的情况下，使用一个或多个文档时间线作为同步主，在富媒体流中同步。
全局时间线可基于传输级别时间戳。
根据一个实施例，在两个属性均已设置的情况下，syncMasterGlobal属性可具有高于syncMaster属性的优先级。
所要求权利的发明还涉及适用于执行上述方法的多媒体客户端和多媒体服务器。
附图说明
下面将通过示范实施例并参照附图更详细地描述本发明，其中：
-图1a是根据现有技术的普通SVG流的基本概图。
-图1b是根据现有技术的DIMS流的基本概图。
-图2是示出全局时间线相对于本地文档时间线的时序的基本概图。
-图3示出根据一个实施例的在解码器执行的全局定位。
-图4a示出根据一个实施例的内部文档时间线能如何与全局时间线同步。
-图4b示出全局时间线可如何转而与内部文档时间线同步。
-图5示出根据一个实施例的示范多媒体服务器。
-图6示出根据一个实施例的示范多媒体客户端。
-图7是示出在编码器执行的富媒体流中定位的方法的框图。
-图8是示出在解码器执行的富媒体流中定位的方法的框图。
-图9是示出用于允许富媒体流中的同步的解码器的方法的框图。
-图10是示出用于在富媒体流中执行同步的解码器的方法的框图。
具体实施方式
简要地说，本发明使得能够在例如DIMS流的富媒体流的全局时间线中定位，特别是在流包含全局时间线和本地时间线两者时。本发明使得能够越过包含各具有单独时间线的多个文档的富媒体流中的文档边界进行定位。
根据一个实施例，定位在富媒体流的全局时间线或传输时间线中执行，即，在跨所有文档时间线的时间线中执行，从而允许越过文档边界和在文档边界内定位。这也允许同时在文档和传输时间线中定位，消除了依赖可能未明确定义的同步模块移动另一时间线的需要。
根据提出的实施例，命令/定位指令采用某个偏移，并从激活的点在富媒体流中而不仅在流内的单独文档中定位那个量。在富媒体流中的此定位或在富媒体的全局时间中的定位可产生不同的富媒体文档。
此外，本发明允许使用全局时间线作为同步基础的同步，从而允许内容创建者在基于内部文档时间线或全局时间线的同步之间进行选取。这可通过引入有关富媒体文档的称为syncMasterGlobal的新属性来完成。
通过例如在SVG元素上设置syncMaster属性，内容创建者能选取基于内部文档时间同步，而通过转而设置syncMasterGlobal属性，同步能基于全局时间。
图2概括示出本地时间线全局时间线的概念。如上所述，目前不可能使用文档时间线200在流中定位，因为相同的文档时间可在流中再次出现多次。这能在放大的区域201和202看到，其中，例如文档时间0出现在文档2(Doc.2)和文档3(Doc.3)中。实际上，所有文档在DIMS/RME和LASeR中均以文档时间0开始。在图2中，Doc.3中的文档时间2表示为在全局时间线203上的全局时间95。
根据一个实施例，定义了在例如DIMS流的富媒体流的全局时间中定位的命令。定位在整个流上执行，而不是只在当前文档的文档时间线上执行。此类定位将产生在富媒体流中的媒体时间线(即全局时间线)和内部文档时间线两者的同步定位。根据所述实施例，命令采用某个偏移，并且从激活的点在富媒体流中而不是仅在流内的单个文档中定位那个量，并且可产生不同的富媒体文档。
DIMS/RME或LASeR中的全局时间线从传输级别时间戳来计算，例如，从来自3GPP文件的时间戳、(简单聚集格式)SAF或RTP时间戳或LASeR节拍(tick)来计算。全局时间线具有与选取的传输无关的速率。一般情况下，用于全局时间线的速率设为1Hz，但能使用任何预定义的速率。
简单地通过将传输级别时间戳归一化为全局时间线速率来执行从媒体时间线到全局时间线的转换。正如同对于RTP时间戳一样，全局时间线不必从0开始，这是因为它是具有重要性的相对时序。
需要在富媒体会话中定位时要使用的命令“GlobalSeek”可具有以下语法：
<GlobalSeek seekOffset＝″seekOffset″>
其中，“seekOffset”是任意的带符号的时间值，以全局时间线速率来测量。
Globalseek在全局时间线中产生了“seekOffset”量的定位。定位的全局时间通过将“seekOffset”加上当前全局时间而获得。由于富媒体流可包含多个文档，因此，此定位能产生富媒体文档的变化。文档也将被定位到对应于定位的全局时间的本地时间。
定位能在概念上视为一个功能，其中，全局时间线和文档时间线如同正常重放中一样以同步方式向前移动，但速度更快，并且无需呈现媒体流。因此，能以类似的方式，但通过再次从零开始并向前移动来执行在时间上向后的定位，即负的seekOffset。
在全局时间线中的定位将产生在相关文档的文档时间线中的同步定位。然而，全局定位的实际结果取决于底层文档定位语义。例如，SVG似乎具有定位的宽松定义，其中，在定位间隔期间不必激发某些事件。
现在将参照图3，描述根据一个实施例的在解码器的全局定位的一个示范实现。在图3中，例如DIMS解码器的解码器在时间实例X接收例如3GP文件中包含的DIMS流的富媒体流中的命令，其中，seekOffset可如下设为时间实例Y：
<GlobalSeek seekOffset＝″Y″>
其中，X和Y是任意时间值。解码器查找最近的随机访问点(RAP)，即，时间实例X+Y前最近的或最后的基础场景元素300。随机访问点被解码，并且带有文档时间的场景被创建。随后，将富媒体流解码，即，在尽可能快地将文档时间前移到时间实例X+Y时，将媒体流单元解码。同时，根据需要运行脚本。如上所述，同步定位在全局时间线301和文档时间线302中同时定位。随后，能显示场景，并且能继续正常解码。
当希望在诸如DIMS流等富媒体流中定位时，转而从编码器的角度考虑建议的全局搜索方法，能简单地插入GlobalSeek命令/指令，该命令/指令能由服务器启动或用户启动。在服务器启动命令的情况下，命令可直接插入媒体流中，而用户启动的命令可例如通过与事件有关的副流转而插入相关场景中。
全局时间线的速率可显式发送到客户端，而不是预定义。备选地，全局定位能使用绝对时间，该时间能发送到客户端。
作为在XML中定义全局定位的备选，全局定位可在富媒体场景的LASeR二进制或任何其它文本或非文本表示中定义为更新或命令。另外，定位可定义为例如DOM方法，而不是命令。将定位实现为命令的另一备选解决方案能是将它实现为属性。定位因而将具有隐含执行时间，指示例如文档的开始或结束。
所述发明也允许使用全局时间线为同步基础或synchMaster的同步。
如图4a所示，通过设置全局时间线为同步主300a，底层内部文档时间线302将与全局时间线301同步，作为备选，如图4b所示，使用内部文档时间线302为同步主300b，即，通过设置syncMaster属性的方式。
通过引入有关富媒体文档的例如称为syncMasterGlobal的新属性，可实现这些备选同步选项。此变量的引入允许内容创建者通过在一般为SVG元素的流的元素上设置syncMaster属性，来选取基于内部文档时间的同步，或者通过在媒体流元素上设置新syncMasterGlobal属性，来选取基于全局时间线或传输时间线的同步。
syncMasterGlobal属性可在例如DIMS/RME或LASeR中实现。这个新变量一般情况下是添加到媒体流(例如SVG元素)的布尔属性，具有默认值“假”。在为“真”时，全局时间线，即流的传输级别时间戳，将用作同步主，即，时间容器中的其它元素，这种情况下指内部文档时间线将被强制为与全局时间线同步。如果syncMasterGlobal属性和syncMaster属性均设为“真”，则前者一般具有高于后者的优先级。其它情况下，相同的规则将应用于syncMasterGlobal，如应用于syncMaster一样。
备选地，可指定一个属性，该属性用信号通知两个相应的全局或本地时间线中哪个要被视为synchMaster。这样，DIMS流外部的某一源可用于用信号通知流成为syncMaster。
现在将参照图5，描述根据一个实施例的适用于允许在富媒体流中定位的多媒体服务器。
图5示出包括编码器501的多媒体服务器500，该编码器适用于将媒体流提供到一个或多个客户端，一般为多媒体客户端。从媒体源502接收媒体流的编码器包括在插入单元504将定位指令已插入媒体流中后将编码流编码的编码单元503。如上所述，在时间实例X插入的定位指令包括偏移时间实例Y。编码器也包括用于将媒体流传送到一个或多个端接多媒体客户端600的传送器505。
根据备选实施例，编码器适用于允许基于全局时间线在富媒体流中的同步，作为基于一个或多个文档时间线的同步的备选。如果图5的插入单元504适用于引入如本文中前面所述的新属性syncMasterGlobal，则可提供此类编码器。通过使插入单元504适用于设置syncMasterGlobal或syncMaster，富媒体流的全局时间线或一个或多个文档时间线能被选取为syncMaster。
图6中描述根据一个实施例的适用于允许在富媒体流中定位的多媒体客户端，其中，多媒体客户端500将媒体流提供到多媒体客户端600。多媒体客户端600包括在接收器602接收包括定位指令的媒体流的解码器601。如上所述，在时间实例X接收的定位指令包括偏移时间实例Y。定位单元603适用于根据定位指令，在解码器601的解码单元604执行定位。一旦定位已执行，富媒体流便被解码并提供到多媒体客户端600的媒体播放器605。
根据备选实施例，解码器可包括同步单元606，该单元可适用于在经接收器602接收的富媒体流中进行同步。同步单元606适用于识别syncMasterGlobal属性是否已设置，由此指示全局时间线要用作同步主，或者syncMaster是否已设置，即，一个或多个文档时间线是否要用作同步主。
根据仍有的另一备选实施例，定位命令可与同步组合。全局时间线设为syncMasterGlobal的情况下，其它的一切将与其同步。通过设置全局时间线为syncMaster，将可能只在全局时间线中定位，从而让同步模块整理其余部分。同步模块将简单地注意本地时间线不同步，并且将它移到正确的位置。
根据上述实施例的要在编码器中执行的在富媒体流中定位的方法可根据图7的框图进行描述。
在第一步骤700中，将定位指令插入富媒体流中。包括指令的富媒体流在下一步骤701中编码，并且在最终步骤702中，富媒体流被传送到一个或多个媒体客户端。
根据上述实施例的在富媒体流中定位的方法可参照图8的框图进行描述，其中，该方法转而在解码器中执行。
在图8的第一步骤800中，由解码器接收定位指令，并且在最终步骤801中，根据收到的定位指令执行定位。
用于使用任何上述属性，允许在富媒体流中的同步的编码器的方法参照图9的框图示出。
在图9的第一步骤900中，通过设置同步属性，即syncMasterGlobal或syncMaster，确定哪个时间线用作同步主。在下一步骤901中，将同步属性传送到一个或多个接收实体。
如上所述用于在富媒体流中执行同步的解码器的方法参照框图10示出，其中，在第一步骤1000中接收同步属性，以及其中，在最终步骤1001中在富媒体流中执行根据收到的属性的同步。
总之，所建议的在全局传输级别时间线中定位的使用允许直接从富媒体流的内容定位。定位将可能越过文档边界和在文档边界内执行。另外，提出的定位机制允许同时在文档和传输时间线中定位，消除了依赖可能未明确定义的同步模块移动另一时间线的需要。
虽然本发明已参照特定示范实施例描述，但说明主要只是旨在示出发明概念，并且不应视为限制本发明范围。虽然在描述上述实施例时使用了诸如SVG、DIMS、RME、SAF、LASeR、uDOM和MORE等概念，但基本上可如本文中所述使用任何其它类似的适合标准、协议和网元。本发明主要由所附独立权利要求来定义。

Claims (24)

1.一种允许在从多媒体服务器提供到至少一个多媒体客户端的富媒体流中定位的方法，其中所述多媒体服务器包括编码器，所述方法包括在所述编码器执行的以下步骤：
-将定位指令插入(700)包含全局时间线和各具有单独的本地时间线的至少两个文档的所述媒体流中，所述定位指令是在偏移时间实例Y加到当前时间实例X在所述全局时间线中定位的指令，其中X和Y是任意时间值，
-编码(701)所述富媒体流，以及
-将所述媒体流传送(702)到所述至少一个多媒体客户端，从而允许在所述至少一个多媒体客户端在文档边界内和越过文档边界定位。
2.如权利要求1所述的方法，其中所述定位指令是服务器启动的指令，直接由所述多媒体服务器插入所述媒体流。
3.如权利要求1所述的方法，其中所述定位指令是用户启动的指令，插入所述媒体流的场景中。
4.如权利要求3所述的方法，其中所述定位指令通过副流插入，所述流与某个事件有关。
5.一种允许在从多媒体服务器提供到多媒体客户端的富媒体流中定位的方法，其中所述多媒体客户端包括解码器，所述方法包括在所述解码器执行的以下步骤：
-接收(800)包含全局时间线和各具有单独的本地时间线的至少两个文档的所述媒体流中的定位指令，所述定位指令指示所述解码器在偏移时间实例Y加到当前时间实例X在所述全局时间线中定位，其中X和Y是任意时间值，以及
-根据所述接收的定位指令来执行(801)定位，从而允许在文档边界内和越过文档边界定位。
6.如权利要求5所述的方法，其中所述定位步骤包括通过将偏移时间实例Y加到当前时间实例X，以同步方式将所述全局时间线和一个或多个内部文档时间线向时间实例X+Y移动，从而在所述全局时间线中在整个媒体流上定位。
7.如权利要求5所述的方法，其中所述定位步骤还包括以下步骤：
-找出出现在期望的定位时间实例X+Y之前的所述媒体流的最后的随机访问点，
-将所述随机访问点解码并创建具有文档时间的场景，以及
-将所述文档时间向所述定位的时间移动，从所述随机访问点将所述媒体流解码。
8.如权利要求1-7中的任一项所述的方法，其中时间实例X和Y从所述富媒体流的传输级别时间戳来计算。
9.如权利要求8所述的方法，其中通过将所述传输级别时间戳归一化为所述全局时间线的速率，执行从内部文档时间线到所述全局时间线的转换。
10.如权利要求1-7中的任一项所述的方法，其中所述全局时间线的速率与为所述媒体流选取的传输无关。
11.如权利要求1-7中的任一项所述的方法，其中所述全局时间线的速率是预定的速率。
12.如权利要求1-7中的任一项所述的方法，其中将所述全局时间线的速率显式发送到所述多媒体客户端。
13.如权利要求1-7中的任一项所述的方法，其中所述富媒体流是DIMS/RME流或LASeR流中的任何一个。
14.如权利要求1-7中的任一项所述的方法，其中所述定位指令是以下任何一项：命令、DOM方法或属性。
15.一种用于允许富媒体流中的同步的编码器的方法，所述方法包括以下步骤：
-在连续全局时间线要用作同步主的情况下，在所述富媒体流的元素上设置(900)第一同步主属性，或者在一个或多个文档时间线要用作同步主的情况下，在所述富媒体流的元素上设置第二同步主属性，以及
将所述属性传送(901)到至少一个接收实体，从而允许所述接收实体使用基于所接收的属性的用于所述富媒体流的同步基础来同步。
16.如权利要求15所述的方法，其中所述元素是所述富媒体流的SVG元素。
17.如权利要求15所述的方法，其中所述属性经所述富媒体流外部的信令，提供到所述至少一个接收实体。
18.一种用于在富媒体流中执行同步的解码器的方法，所述方法包括以下步骤：
-接收(1000)所述富媒体流的元素中的同步主属性，所述属性具有发送信号通知当前同步主的目的；
-在所述接收的属性是第一同步主属性的情况下，并且在所述第一同步主属性被设置的情况下，使用全局时间线作为同步主，或者在所述接收的属性是第二同步主属性的情况下并且在所述第二同步主属性被设置的情况下或者在所接收的属性未设置的情况下，使用一个或多个文档时间线作为同步主，在所述富媒体流中同步(1001)。
19.如权利要求15-18的任一项所述的方法，其中所述全局时间线基于传输级别时间戳。
20.如权利要求15-18的任一项所述的方法，其中如果两个属性均被设置，则所述第一同步主属性具有高于所述第二同步主属性的优先级。
21.一种包括编码器(501)、用于允许在提供到至少一个多媒体客户端(600)的富媒体流中定位的多媒体服务器(500)，所述编码器包括：
-插入单元(504)，用于将定位指令插入包含全局时间线和各具有单独的本地时间线的至少两个文档的所述媒体流中，所述定位指令是在偏移时间实例Y加到当前时间实例X在所述全局时间线中定位的指令，其中X和Y是任意时间值，
-编码单元(503)，用于编码所述富媒体流，以及
-传送器(505)，用于将所述富媒体流传送到所述至少一个多媒体客户端，从而允许在所述至少一个多媒体客户端在文档边界内和越过文档边界定位。
22.一种包括解码器(601)、用于允许在从多媒体服务器(500)提供的富媒体流中定位的多媒体客户端(600)，所述多媒体客户端包括：
-接收器(602)，用于接收包含全局时间线和各具有单独的本地时间线的至少两个文档的所述媒体流中的定位指令，所述定位指令指示所述解码器在偏移时间实例Y加到当前时间X在所述全局时间线中定位，其中X和Y是任意时间值，
-定位单元(603)，用于根据所述接收的定位指令执行定位，以及
-解码单元(604)，用于解码所述富媒体流，从而允许在文档边界内和越过文档边界定位。
23.一种包括用于允许富媒体流中的同步基础的选择的编码器(501)的多媒体服务器(500)，所述编码器包括：
-插入单元(504)，用于在同步要基于全局时间线的情况下设置syncMasterGlobal属性，或者用于在同步要基于一个或多个文档时间线的情况下设置syncMaster属性，以及
-传送器(505)，用于将所述属性传送到至少一个接收实体，从而允许所述至少一个接收实体基于所设置的属性来选取用于所述富媒体流的同步基础。
24.一种包括用于选择富媒体流中的同步基础的解码器(601)的多媒体客户端(600)，所述解码器包括：
-接收器(602)，用于接收所述富媒体流的元素中的属性，并且用于将所述富媒体流提供到解码单元(604)，所述属性具有发送信号通知当前同步主的目的，
-同步单元(606)，在所述富媒体流中，其中所述同步单元适用于在所述接收的属性是第一属性的情况下并且在所述第一属性被设置的情况下，使用全局时间线作为同步主，或者在所述属性是第二属性的情况下并且在所述第二属性被设置的情况下或所接收的属性未设置的情况下，使用一个或多个文档时间线作为同步主。
CN200780052049XA 2007-03-08 2007-12-28 使用全局场景时间的定位和同步 Expired - Fee Related CN101622848B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US90562707P 2007-03-08 2007-03-08
US60/905,627 2007-03-08
PCT/SE2007/001176 WO2008108694A1 (en) 2007-03-08 2007-12-28 Seeking and synchronization using global scene time

Publications (2)

Publication Number Publication Date
CN101622848A CN101622848A (zh) 2010-01-06
CN101622848B true CN101622848B (zh) 2013-09-18

Family

ID=39738483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780052049XA Expired - Fee Related CN101622848B (zh) 2007-03-08 2007-12-28 使用全局场景时间的定位和同步

Country Status (14)

Country Link
US (1) US8190761B2 (zh)
EP (2) EP2119185B1 (zh)
JP (2) JP5137975B2 (zh)
CN (1) CN101622848B (zh)
CA (1) CA2680049C (zh)
CL (2) CL2008000677A1 (zh)
DK (1) DK2119185T3 (zh)
ES (1) ES2547228T3 (zh)
HK (1) HK1140329A1 (zh)
IL (1) IL200743A (zh)
MX (1) MX2009006990A (zh)
MY (1) MY157150A (zh)
TW (1) TWI388215B (zh)
WO (1) WO2008108694A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185489A1 (en) * 2009-01-21 2010-07-22 Satyavolu Ramakrishna V Method for determining a personalized true cost of service offerings
US8909661B2 (en) 2012-09-19 2014-12-09 Nokia Corporation Methods and apparatuses for time-stamping media for multi-user content rendering
CN104991993A (zh) * 2015-06-09 2015-10-21 北京红马传媒文化发展有限公司 一种场地信息图形的处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1347250A (zh) * 1996-07-05 2002-05-01 松下电器产业株式会社 确定视象物面局部时基的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659539A (en) * 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
US5751280A (en) * 1995-12-11 1998-05-12 Silicon Graphics, Inc. System and method for media stream synchronization with a base atom index file and an auxiliary atom index file
US5784527A (en) 1996-03-22 1998-07-21 Cirrus Logic, Inc. System and method for error handling during playback of an audio/video data stream
ID24586A (id) 1998-12-21 2000-07-27 Matsushita Electric Ind Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6535920B1 (en) 1999-04-06 2003-03-18 Microsoft Corporation Analyzing, indexing and seeking of streaming information
JP4355988B2 (ja) * 2000-04-21 2009-11-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム記録媒体、プログラム、および情報記録媒体
US6671732B1 (en) 2000-07-24 2003-12-30 Comverse Ltd. Method and apparatus for control of content based rich media streaming
US6985934B1 (en) 2000-10-23 2006-01-10 Binham Communications Corporation Method and system for providing rich media content over a computer network
TWI220480B (en) 2001-04-11 2004-08-21 Cyberlink Corp System and method for generating synchronous playback of the slides and the corresponding audio/video information during the presentation
TW548974B (en) 2002-01-03 2003-08-21 Cyberlink Corp Real-time rich-media recording system and method thereof
US7644172B2 (en) * 2002-06-24 2010-01-05 Microsoft Corporation Communicating via a connection between a streaming server and a client without breaking the connection
US7313313B2 (en) * 2002-07-25 2007-12-25 Microsoft Corporation Audio/video synchronization with no clean points
US20040179618A1 (en) 2002-07-26 2004-09-16 Romriell Joseph N. Smart loader video slicing method and system for using the same
US7290057B2 (en) * 2002-08-20 2007-10-30 Microsoft Corporation Media streaming of web content data
US20050004997A1 (en) 2003-07-01 2005-01-06 Nokia Corporation Progressive downloading of timed multimedia content
US20070016611A1 (en) * 2005-07-13 2007-01-18 Ulead Systems, Inc. Preview method for seeking media content
JP4718275B2 (ja) * 2005-08-26 2011-07-06 三菱電機株式会社 複数メディアの同期再生システム及び同期再生方法
WO2007028137A2 (en) * 2005-09-01 2007-03-08 Nokia Corporation Method for embedding svg content into an iso base media file format for progressive downloading and streaming of rich media content
US20070239820A1 (en) * 2005-11-23 2007-10-11 Nokia Corporation System and method for providing quality feedback metrics for data transmission in rich media services
US8437409B2 (en) * 2006-12-06 2013-05-07 Carnagie Mellon University System and method for capturing, editing, searching, and delivering multi-media content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1347250A (zh) * 1996-07-05 2002-05-01 松下电器产业株式会社 确定视象物面局部时基的方法

Also Published As

Publication number Publication date
WO2008108694A1 (en) 2008-09-12
US20100042741A1 (en) 2010-02-18
EP2119185A4 (en) 2013-09-11
MX2009006990A (es) 2009-08-13
IL200743A (en) 2013-07-31
CL2008000677A1 (es) 2009-09-25
US8190761B2 (en) 2012-05-29
CA2680049A1 (en) 2008-09-12
CN101622848A (zh) 2010-01-06
HK1140329A1 (en) 2010-10-08
JP5576910B2 (ja) 2014-08-20
JP5137975B2 (ja) 2013-02-06
EP2119185A1 (en) 2009-11-18
EP2119185B1 (en) 2015-07-01
EP2930907A1 (en) 2015-10-14
DK2119185T3 (en) 2015-09-28
JP2010524052A (ja) 2010-07-15
CL2010001191A1 (es) 2011-02-25
CA2680049C (en) 2017-07-25
TW200847785A (en) 2008-12-01
MY157150A (en) 2016-05-13
JP2012256359A (ja) 2012-12-27
ES2547228T3 (es) 2015-10-02
TWI388215B (zh) 2013-03-01
IL200743A0 (en) 2010-05-17

Similar Documents

Publication Publication Date Title
US11019309B2 (en) Real-time or near real-time streaming
US8578272B2 (en) Real-time or near real-time streaming
US8560642B2 (en) Real-time or near real-time streaming
CN106464925B (zh) 建立事件的流传输呈现
US8437409B2 (en) System and method for capturing, editing, searching, and delivering multi-media content
US8863182B1 (en) In-stream video stitching
CN103583051A (zh) 用于实时或近实时流传输的播放列表
EP2646936A1 (en) Real-time or near real-time streaming
KR20120034550A (ko) 스트리밍 컨텐츠 제공 장치 및 방법
CN102882845A (zh) 实时或准实时流传输
US10681431B2 (en) Real-time interstitial content resolution and trick mode restrictions
WO2021174219A1 (en) Identification of elements in a group for dynamic element replacement
CN101622848B (zh) 使用全局场景时间的定位和同步
Cesar et al. Multimedia adaptation in ubiquitous environments: benefits of structured multimedia documents
Rogge et al. Timing issues in multimedia formats: review of the principles and comparison of existing formats
CN105847994A (zh) 一种多媒体文件的播放方法和装置
Concolato et al. Live HTTP streaming of video and subtitles within a browser
Black et al. A compendium of robust data structures
KR101829448B1 (ko) 스트리밍 컨텐츠 제공 장치 및 방법
Bulterman et al. GRiNS: an authoring environment for web multimedia
Pajares et al. JMFMoD: a new system for media on demand presentations
Althun et al. Multimedia streaming services: specification, implementation, and retrieval
Martins Models and operators for extension of active multimedia documents via annotations
Bouras et al. Implementing spatio-temporal relations for hypermedia presentations using an HTML-like language

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1140329

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1140329

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130918

Termination date: 20211228