CN104205858A - 用于相关媒体呈现的同步的缓冲器管理的方法 - Google Patents

用于相关媒体呈现的同步的缓冲器管理的方法 Download PDF

Info

Publication number
CN104205858A
CN104205858A CN201280071720.6A CN201280071720A CN104205858A CN 104205858 A CN104205858 A CN 104205858A CN 201280071720 A CN201280071720 A CN 201280071720A CN 104205858 A CN104205858 A CN 104205858A
Authority
CN
China
Prior art keywords
media
present
equipment
presenting
playback position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280071720.6A
Other languages
English (en)
Inventor
李钧
马小骏
陈建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104205858A publication Critical patent/CN104205858A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明考虑两个或更多的媒体设备之间的相关媒体呈现的同步，每个设备做出关于相互呈现同步是否在预定容限之外的确定。如果是这样，则做出该确定的设备将其缓冲器和回放状态通信给另一设备。基于本地呈现的缓冲器和回放状态与在另一设备处的呈现的缓冲器和回放状态的比较，每个设备做出关于是否暂停回放以便允许该另一设备赶上、是否推进回放以便赶上该另一设备、或不采取动作，使得允许该另一设备采取动作以纠正同步问题的确定。

Description

用于相关媒体呈现的同步的缓冲器管理的方法
技术领域
本发明一般地涉及在两个或更多的媒体设备之间的相关媒体呈现的同步，每个设备做出关于相互呈现(inter-presentation)同步是否在预定容限之外的确定。如果是这样，则做出该确定的设备将其缓冲器和回放状态通信给另一设备。基于本地呈现的缓冲器和回放状态与在另一设备处的呈现的缓冲器和回放状态的比较，每个设备做出关于是否暂停回放以便允许该另一设备赶上、是否推进回放以便赶上该另一设备、或不采取动作，使得允许该另一设备采取动作以纠正同步问题的确定。
背景技术
这部分旨在向读者介绍本领域的各个方面，其可能与以下描述的本发明的各个方面有关。本讨论被认为有助于向读者提供背景信息，以便于更好地理解本发明的各方面。相应地，应当理解，应以这个角度阅读这些陈述，而不是作为对现有技术的承认。
电视观看传统上一直是被动式的单屏活动。但是，因特网和移动计算设备的出现已经为更丰富、互动的、多屏体验提供了可能性。例如，可以在因特网上将包含与电视上显示的主节目相配合的内容的辅助媒体呈现提供给移动计算设备。辅助呈现可以提供有关主呈现的补充信息、提供相同事件的不同视图、或提供交互机会。但是，多个呈现一般需要同步，以便使用户拥有想要的体验。
在传统的同步方法中，如在音频-视频呈现的对口型演唱的情况下，多视图呈现的辅助视图跟随主视图的时间轴，并且容限必须非常严格。但是，由于呈现的两个部分的源通常是相同的，一般可以使用静态时机调整(static timing adjustment)来实现同步。
在跨多个设备的相关呈现的情况下，每个呈现可能由不同的源提供，并且用户可以在每个设备处具有对回放的独立控制。例如，在一个源处的网络拥塞、或者在一个呈现设备处的暂停或快进命令，可以造成同步的丢失。
保持同步的一种方法是对于每一个设备，与中央服务器频繁通信，该中央服务器能够对于可以重新建立同步的设备以指令进行响应。经由服务器协调回放位置产生额外的不必要的网络流量，这在许多客户正在监视相同节目时特别成问题。网络延迟也可能会限制这种方法的准确性。本文所述的本发明解决了这些和/或其它问题。
发明内容
为了解决上述问题，公开了在两个或更多的媒体设备之间的相关媒体呈现的同步。每个设备做出关于相互呈现同步是否在预定容限之外的确定。如果是这样，则做出该确定的设备将其缓冲器和回放状态通信给另一设备。基于本地呈现的缓冲器和回放状态与在另一设备处的呈现的缓冲器和回放状态的比较，每个设备做出关于是否暂停回放以便允许该另一设备赶上、是否推进回放以便赶上该另一设备、或不采取动作，使得允许该另一设备采取动作以纠正同步问题的确定。将参照附图详细描述本发明的这个和其它方面。
附图说明
通过联合附图参考对本发明实施例的以下描述，本发明的上述和其他特征和优点、以及实现它们的方式将变得更加明显，并且将更好地理解本发明，附图中：
图1是媒体呈现环境的图；
图2A是两个媒体呈现的回放状态的时间轴视图；
图2B是两个媒体呈现的回放状态的时间轴视图，其中所述呈现不同步；
图3为媒体呈现的同步方法的流程图；
图4是媒体呈现的替代同步方法的流程图。
这里所陈述的范例说明本发明的优选实施例，这样的范例不应被认为以任何方式限制本发明的范围。
具体实施方式
如本文所述，本发明提供了在两个或更多的媒体设备之间的相关媒体呈现的同步。每个设备做出关于相互呈现同步是否在预定容限之外的确定。如果是这样，则做出该确定的设备将其缓冲器和回放状态通信给另一设备。基于本地呈现的缓冲器和回放状态与在另一设备处的呈现的缓冲器和回放状态的比较，每个设备做出关于是否暂停回放以便允许该另一设备赶上、是否推进回放以便赶上该另一设备、或不采取动作，使得允许该另一设备采取动作以纠正同步问题的确定。
虽然本发明已被描述为具有优选的设计，但可以在本公开的精神和范围内进一步修改本发明。因此，本申请旨在覆盖利用其一般原理的本发明的任何变型、使用、或修改。另外，本申请旨在覆盖本发明所属和落入所附权利要求书的限制内的在本领域中已知或常规技术手段范围内的对本公开的偏离。
可以以电视机顶盒、电视机、计算设备、或其他电子设备的任何组合来实现本发明。
图1是媒体呈现环境100的图。机顶盒110经由电缆115提供音频和视频给电视机120。调制解调器140提供因特网连接和局域网络功能给家庭环境105。机顶盒110和移动计算设备130经由路由器170和因特网150从服务器160访问媒体呈现。
机顶盒110和移动计算设备130充当协调在机顶盒110处的第一媒体呈现和在移动计算设备130处的第二媒体呈现的呈现的系统。通过在媒体呈现设备110和130处的缓冲器管理，而不是经由与服务器的交互来局部地实现同步。
在这个示例中，存在在通过局域网连接的两个设备上展现的两个相关的媒体呈现。媒体呈现的数量和媒体设备的类型可以在本发明的范围内变化。在一个优选的实施例中，第二媒体呈现包括与第一媒体呈现相关的信息。所述第一和第二媒体呈现可由相同或不同的服务器经由相同或不同的网络连接提供。媒体呈现的一者或两者除了其他数据之外还可包括视频或音频流。例如，视频流可以包括以MPEG、Microsoft ASF或WMV、Apple QuickTime或MOV、或RealNetworks的RM和RMVB格式编码的数据。媒体设备之一，而不是服务器，可以作为呈现的一者或两者的源。
有引起同步丢失的各种原因。在某些情况下，各个媒体呈现可能通过不同的网络来自不同的服务器，并可能面临影响内容的传送的不同的网络拥塞状况。用户交互，如在任一设备上的暂停或快进，也可能会导致两个呈现的回放位置出现差异。
图2A是在时间t＝t0处两个媒体呈现的回放状态的时间轴视图210。在这个示例中，在时间t＝t0处，两个媒体呈现是同步的。表示为v1的在第一媒体设备处的第一呈现的回放位置位于与表示为v2的在第二设备处的第二呈现的回放位置对应的点。第一媒体设备具有缓冲器中可用的第一媒体呈现的分段211，其中部分s1表示仍未被显示的内容。第二媒体设备具有缓冲器中可用的第二媒体呈现的分段212，其中部分s2表示仍未被显示的内容。在该示例中，用于第一媒体设备处的第一媒体呈现的缓冲器比用于第二媒体设备处的第二媒体呈现的缓冲器更充满。
随着时间的推移，无论是由于不同的回放速度，或者可能由于在一个设备或另一个设备处的暂停或快进行为，这两个媒体呈现可能变得不同步。图2B是媒体呈现不同步的一个示例的时间轴视图。在时间t＝t1，第一媒体设备在回放位置v1处呈现第一媒体呈现。经过的真实时间(realtime)和经过的节目时间之间的差异是δ1＝(v1–v0)-(t1-t0)。可以基于与第一呈现的该部分的开始和结束相关联的时间数据来确定与所考虑的与第一媒体呈现的部分相关联的时间量v1–v0。
当δ1＞0时，平均来看，媒体呈现一直以快于真实时间进行播放。当δ1＜0时，平均来看，媒体呈现一直以慢于真实时间进行播放。在这个示例中，第一媒体呈现超前根据严格的真实时间回放预计的位置，并且δ1＞0。第二媒体呈现落后于根据严格的真实时间回放预计的位置，并且δ2<0。
可以为呈现设置β秒的同步容限。如果两个媒体呈现以至少β秒不同步，则必定是|δ1|＞β/2或者|δ2|＞β/2的情况，或两者。因此，在呈现设备处的本地确定δ，以及与β的比较，可被用作对同步动作的潜在需求的指示符。在图2B的示例中，δ1＞β/2。因此，可以在第一呈现设备处做出可能存在不同步，并需要采取动作的确定。
图3是在同步过程中涉及的由设备执行的方法300的流程图。在一些实施例中，两个或多个设备可以执行相同的方法。
在步骤310，假设在时间t＝t0处，如图2A中所示，两个媒体呈现是同步的，并且v1＝v2。例如，在步骤315，第一设备比较第一媒体呈现的一部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量，确定δ1。
如果在步骤320发现第一媒体呈现的该部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量之间的差超过阈值，例如，|δ1|＞β/2，则在步骤325，第一设备将其回放和缓冲器状态发送到第二设备。包括回放位置的信息的通信可以在局域网(该网络可以是有线的或无线的)上进行，或者经由网络的组合(潜在包括因特网)来进行。
在步骤330第一媒体设备接收到第二设备的回放位置和缓冲器状态。可以响应于第一设备发送第一媒体呈现的回放位置和缓冲器状态的指示给第二设备，或者作为在第二设备处确定它自身的偏差也高于阈值的结果，接收来自第二设备的对于第二媒体呈现的回放位置和缓冲器状态的指示。
在步骤335，第一设备比较第一媒体呈现的缓冲器状态s1和第二设备处的第二媒体呈现的缓冲器状态s2。可以基于在每个缓冲器中存储的与媒体呈现的该部分相关联的时间量或者基于数据的其他度量，如大小，来做出关于哪个缓冲器更充满的确定。在目前描述的实施例中，如果在步骤340中本地缓冲器被确定为更充满，也就是s1>s2，则第一设备负责对呈现进行同步。
在步骤345比较这两个设备的回放位置v1和v2。如果在步骤350发现第一媒体呈现的回放位置落后于第二设备上的第二媒体呈现的回放位置，则在步骤355第一设备推进所述第一媒体呈现的回放以赶上。也就是说，如果v1<v2，通过推进v2-v1秒使得第一媒体呈现到达第二媒体呈现的回放位置。媒体呈现的推进可以包括丢弃或跳过连续的或不连续的视频帧的呈现，或者推进到其他类型的内容的适当部分。
如果在步骤350发现第一媒体呈现的回放位置超前于第二设备上的第二媒体呈现的回放位置，则在步骤360第一设备使用一个或更多的暂停以允许第二媒体呈现赶上。也就是说，如果v1>v2，第一设备通过暂停v1-v2秒放慢第一媒体呈现的回放。呈现的暂停可以包括小于第一和第二媒体呈现的回放位置之间的时间差的持续时间的多个暂停，以避免可能会使得观众反感的单次较长的暂停。
在本地设备不调整回放以实现同步的情况下，另一设备可以执行相同或类似的算法。该方法可以周期性地执行，或者也可通过网络问题的指示或用户交互来触发。
在上述实施例中，同步任务被分配给具有更充满的缓冲器的设备。然而，在具有较不充满的缓冲器的设备在回放上超前于另一设备的情况下，令该设备暂停以重新建立可接受的同步也可能是有利的。这将具有增加该设备的缓冲器充满度的优点。
图4是这样的一种替代方法400的流程图。在步骤410，假设在时间t＝t0处，如图2A中所示，两个媒体呈现是同步的，并且v1＝v2。例如，在步骤45，第一设备比较第一媒体呈现的一部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量，确定δ1。
如果在步骤420发现第一媒体呈现的该部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量之间的差超过阈值，例如，|δ1|＞β/2，则在步骤425，第一设备将其回放和缓冲器状态发送到第二设备。包括回放位置的信息的通信可以在局域网(该网络可以是有线的或无线的)上进行，或者经由网络的组合(潜在包括因特网)来进行。
在步骤430第一媒体设备接收到第二设备的回放位置和缓冲器状态。可以响应于第一设备发送第一媒体呈现的回放位置和缓冲器状态的指示给第二设备，或者作为在第二设备处确定它自身的偏差也高于阈值的结果，接收来自第二设备的对于第二媒体呈现的回放位置和缓冲器状态的指示。
在步骤435，第一设备比较第一媒体呈现的缓冲器状态s1和第二设备处的第二媒体呈现的缓冲器状态s2。可以基于在每个缓冲器中存储的与媒体呈现的该部分相关联的时间量或者基于数据的其他度量，如大小，来做出关于哪个缓冲器更充满的确定。
在目前描述的实施例中，相对的缓冲器充满度和回放位置两者影响是否在感兴趣的设备处采取动作。如果在步骤445本地缓冲器被确定为较不充满，并且在步骤450本地回放位置被确定为超前，则在步骤460第一设备使用一个或更多的暂停以允许第二媒体呈现赶上。也就是说，如果s1<s2并且v1>v2，第一设备通过暂停v1-v2秒放慢第一媒体呈现的回放。呈现的暂停可以包括小于第一和第二媒体呈现的回放位置之间的时间差的持续时间的多个暂停，以避免可能会使得观众反感的单次较长的暂停。
如果在步骤445本地缓冲器被确定为更充满，并且在步骤455发现第一媒体呈现的回放位置落后于第二设备上的第二媒体呈现的回放位置，则在步骤465第一设备丢弃第一媒体呈现的一部分以赶上。也就是说，如果s1>s2并且v1<v2，则通过以v2-v1秒推进呈现使得第一媒体呈现到达第二媒体呈现的回放位置。媒体呈现的推进可以包括跳过连续的或不连续的视频帧的呈现，或者推进到其他类型的内容的适当部分。
在本地设备不调整回放以实现同步的情况下，另一设备可以执行相同或类似的算法。该方法可以周期性地执行，或者也可通过网络问题的指示或用户交互来触发。
虽然已经根据具体实施例描述了本发明，但是应理解，可以做出落入本发明范围内的修改。例如，所描述的方法可以与解决其他问题的其他方法结合。例如，如果缓冲器太满，可以采用速率控制机制来降低传输速率。该算法也可被扩展到具有两个以上的媒体设备的系统。例如，
具有较大的缓冲器充满度的媒体设备的每一个可以按照具有最低缓冲器充满度的媒体设备设置其时间轴。

Claims (21)

1.一种用于协调在第一设备处的第一媒体呈现和第二设备处的第二媒体呈现的呈现的方法，包含以下步骤：
比较第一媒体呈现的一部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量；
响应于确定第一媒体呈现的该部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量之间的差超过阈值，执行以下步骤：
比较第一设备处的第一媒体呈现的缓冲器状态和第二设备处的第二媒体呈现的缓冲器状态；以及
响应于确定用于第一设备上的第一媒体呈现的缓冲器比用于第二设备上的第二媒体呈现的缓冲器更充满，调整第一设备上的第一媒体呈现的回放。
2.根据权利要求1所述的方法，进一步包含以下步骤：
发送第一设备处的第一媒体呈现的回放位置和缓冲器状态的指示给第二设备；以及
从第二设备接收第二媒体呈现的回放位置和缓冲器状态的指示。
3.根据权利要求2所述的方法，其中，响应于确定所述经过的时间和与该第一媒体呈现的该呈现部分相关联的时间之间的差超过阈值执行所述发送。
4.根据权利要求2所述的方法，其中，经由有线或无线局域网之一接收所述回放位置。
5.根据权利要求1所述的方法，其中，所述调整所述第一设备上的所述第一媒体呈现的回放包含以下步骤：
比较第一设备处的第一媒体呈现的回放位置和第二设备处的第二媒体呈现的回放位置；以及
响应于确定第一设备的回放位置落后于第二设备的回放位置，基于第一设备处第一媒体呈现的回放位置和第二设备处第二媒体呈现的回放位置之间的时间差推进第一媒体呈现的回放，或者，
响应于确定第一设备的回放位置超前于第二设备的回放位置，将回放暂停基于第一设备处第一媒体呈现的回放位置和第二设备处第二媒体呈现的回放位置之间的差所选择的一段时间。
6.根据权利要求5所述的方法，其中，推进数据流的回放包含跳过视频帧的呈现。
7.根据权利要求5所述的方法，其中，所述暂停包含具有小于第一设备处第一媒体呈现的回放位置和第二设备处第二媒体呈现的回放位置之间的时间差的持续时间的多个暂停。
8.根据权利要求1所述的方法，其中，基于与第一呈现的该部分的开始和结束相关联的时间数据确定与第一媒体呈现的该部分相关联的时间量。
9.根据权利要求1所述的方法，其中，基于在每个缓冲器中存储的与媒体呈现的该部分相关联的时间量做出关于哪个缓冲器更充满的确定。
10.根据权利要求1所述的方法，其中，所述第二媒体呈现包含与第一媒体呈现有关的信息。
11.根据权利要求1所述的方法，其中，第一媒体设备或第二媒体设备中的至少一个是手持计算设备。
12.根据权利要求1所述的方法，其中，第一媒体设备或第二媒体设备中的至少一个是电视机。
13.根据权利要求1所述的方法，其中，从第一服务器提供所述第一媒体呈现，从第二服务器提供所述第二媒体呈现。
14.根据权利要求1所述的方法，其中，第一媒体呈现和第二媒体呈现中的至少一个包含以MPEG、ASF、WMV、MOV、RM或RMVB格式中的至少一种的视频。
15.一种用于与第二设备上的第二媒体呈现协调地呈现第一媒体呈现的第一媒体设备，包含：
处理器，用于：
比较第一媒体呈现的一部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量；以及
响应于确定第一媒体呈现的该部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量之间的差超过阈值，执行以下步骤：
比较第一设备处的第一媒体呈现的缓冲器状态和第二设备处的第二媒体呈现的缓冲器状态；以及
响应于确定用于第一设备上的第一媒体呈现的缓冲器比用于第二设备上的第二媒体呈现的缓冲器更充满，调整第一设备上的第一媒体呈现的回放。
16.根据权利要求15所述的第一媒体设备，进一步包含：
网络接口，用于：
发送第一设备处的第一媒体呈现的回放位置和缓冲器状态的指示给第二设备；以及
接收第二设备处的第二媒体呈现的回放位置和缓冲器状态的指示。
17.根据权利要求15所述的第一媒体设备，其中所述由所述处理器调整所述第一设备上的所述第一媒体呈现的回放包含以下步骤：
比较第一设备处的第一媒体呈现的回放位置和第二设备处的第二媒体呈现的回放位置；以及
响应于确定第一设备的回放位置落后于第二设备的回放位置，基于第一设备处第一媒体呈现的回放位置和第二设备处第二媒体呈现的回放位置之间的时间差推进第一媒体呈现的回放，或者，
响应于确定第一设备的回放位置超前于第二设备的回放位置，将回放暂停基于第一设备处第一媒体呈现的回放位置和第二设备处第二媒体呈现的回放位置之间的差所选择的一段时间。
18.根据权利要求17所述的第一媒体设备，其中，推进数据流的回放包含跳过视频帧的呈现。
19.根据权利要求17所述的第一媒体设备，其中，所述暂停包含具有小于第一设备处第一媒体呈现的回放位置和第二设备处第二媒体呈现的回放位置之间的时间差的持续时间的多个暂停。
20.根据权利要求15所述的第一媒体设备，其中，第一媒体设备是电视机或手持计算设备之一。
21.一种用于协调在第一设备处的第一媒体呈现和第二设备处的第二媒体呈现的呈现的方法，包含以下步骤：
比较第一媒体呈现的一部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量；
响应于确定第一媒体呈现的该部分的呈现期间经过的时间和与该第一媒体呈现的该部分相关联的时间量之间的差超过阈值，执行以下步骤：
比较第一设备处的第一媒体呈现的缓冲器状态和第二设备处的第二媒体呈现的缓冲器状态；
比较第一设备处的第一媒体呈现的回放位置和第二设备处的第二媒体呈现的回放位置；以及
响应于确定用于第一设备上的第一媒体呈现的缓冲器比用于第二设备上的第二媒体呈现的缓冲器更不充满，并且响应于确定第一设备的回放位置超前于第二设备的回放位置，将回放暂停基于第一设备处的第一媒体呈现的回放位置和第二设备处的第二媒体呈现的回放位置之间的差所选择的一段时间。
CN201280071720.6A 2012-03-23 2012-03-23 用于相关媒体呈现的同步的缓冲器管理的方法 Pending CN104205858A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/030307 WO2013141874A1 (en) 2012-03-23 2012-03-23 Method of buffer management for synchronization of correlated media presentations

Publications (1)

Publication Number Publication Date
CN104205858A true CN104205858A (zh) 2014-12-10

Family

ID=45929044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071720.6A Pending CN104205858A (zh) 2012-03-23 2012-03-23 用于相关媒体呈现的同步的缓冲器管理的方法

Country Status (6)

Country Link
US (1) US20150033277A1 (zh)
EP (1) EP2829076B1 (zh)
JP (1) JP2015515208A (zh)
KR (1) KR20140138763A (zh)
CN (1) CN104205858A (zh)
WO (1) WO2013141874A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210204B2 (en) * 2013-10-31 2015-12-08 At&T Intellectual Property I, Lp Synchronizing media presentation at multiple devices
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
US10904617B1 (en) * 2015-02-19 2021-01-26 Amazon Technologies, Inc. Synchronizing a client device with media content for scene-specific notifications
US10536743B2 (en) * 2015-06-03 2020-01-14 Autodesk, Inc. Preloading and switching streaming videos
WO2017089183A1 (en) * 2015-11-27 2017-06-01 British Telecommunications Public Limited Company Media content synchronisation
CN108781347B (zh) 2016-03-31 2022-01-04 英国电讯有限公司 移动通信网络的基站、操作移动通信网络的基站的方法
WO2017167838A1 (en) 2016-03-31 2017-10-05 British Telecommunications Public Limited Company Mobile communications network
US11589269B2 (en) 2016-03-31 2023-02-21 British Telecommunications Public Limited Company Mobile communications network
EP3479622B1 (en) 2016-06-29 2019-11-13 British Telecommunications Public Limited Company Multicast-broadcast mobile communications network
CN109565408B (zh) 2016-08-04 2021-09-28 英国电讯有限公司 用于切换的方法、移动终端、基站和计算机可读存储介质
WO2018103840A1 (en) * 2016-12-07 2018-06-14 Telefonaktiebolaget Lm Ericsson (Publ) Technique for synchronizing rendering of video frames with rendering of auxiliary media
US10334287B2 (en) 2017-04-17 2019-06-25 Plex, Inc. Digital data streaming using server driven adaptive bitrate
KR20190075563A (ko) * 2017-12-21 2019-07-01 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
CN110581727A (zh) 2018-06-08 2019-12-17 英国电讯有限公司 无线电信网络
US10628115B2 (en) * 2018-08-21 2020-04-21 Facebook Technologies, Llc Synchronization of digital content consumption
US11089356B2 (en) 2019-03-26 2021-08-10 Rovi Guides, Inc. Systems and methods for media content hand-off based on type of buffered data
EP3963895B1 (en) * 2020-07-22 2023-11-08 Google LLC Bluetooth earphone adaptive audio playback speed
US20230345075A1 (en) * 2022-04-25 2023-10-26 Avago Technologies International Sales Pte. Limited Rebuffering reduction in adaptive bit-rate video streaming

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339675B1 (en) * 1997-03-19 2002-01-15 Sony Corporation Synchronization lag control apparatus and method
US20060149850A1 (en) * 2005-01-05 2006-07-06 Control4 Corporation Method and apparatus for synchronizing playback of streaming media in multiple output devices
US20060161835A1 (en) * 2005-01-20 2006-07-20 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333299A (en) * 1991-12-31 1994-07-26 International Business Machines Corporation Synchronization techniques for multimedia data streams
JP2005033732A (ja) * 2003-07-11 2005-02-03 Matsushita Electric Ind Co Ltd 信号処理装置、信号処理方法、プログラム、及び記録媒体
KR100607223B1 (ko) * 2003-12-30 2006-08-01 엔에이치엔(주) 동영상 공동 관람 서비스 제공 방법 및 시스템
JP2009272945A (ja) * 2008-05-08 2009-11-19 Victor Co Of Japan Ltd 同期再生装置
WO2011092244A1 (en) * 2010-01-27 2011-08-04 Koninklijke Kpn N.V. Method, system and device for synchronization of media streams
WO2011097762A1 (en) * 2010-02-12 2011-08-18 Thomson Licensing Method for synchronized content playback
US8930577B2 (en) * 2011-09-13 2015-01-06 Microsoft Corporation Synchronizing streaming video between viewers over a network
US20130124664A1 (en) * 2011-11-16 2013-05-16 Motorola Mobility, Inc Coordinating media presentations among peer devices
US8997169B2 (en) * 2012-03-23 2015-03-31 Sony Corporation System, method, and infrastructure for synchronized streaming of content
US8925003B2 (en) * 2013-03-08 2014-12-30 Silicon Image, Inc. Mechanism for facilitating synchronization of audio and video between multiple media devices
US8887217B2 (en) * 2013-03-13 2014-11-11 Futurewei Technologies, Inc. Systems and methods for quality of experience aware joint scheduling of buffered video on demand and best effort flows

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339675B1 (en) * 1997-03-19 2002-01-15 Sony Corporation Synchronization lag control apparatus and method
US20060149850A1 (en) * 2005-01-05 2006-07-06 Control4 Corporation Method and apparatus for synchronizing playback of streaming media in multiple output devices
US20060161835A1 (en) * 2005-01-20 2006-07-20 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FERNANDO BORONAT SEGUI ET AT ALL: "An RTP/RTCP based approach for multimedia group and inter-stream synchronization", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *

Also Published As

Publication number Publication date
KR20140138763A (ko) 2014-12-04
US20150033277A1 (en) 2015-01-29
EP2829076A1 (en) 2015-01-28
JP2015515208A (ja) 2015-05-21
EP2829076B1 (en) 2016-12-14
WO2013141874A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
CN104205858A (zh) 用于相关媒体呈现的同步的缓冲器管理的方法
US20220345757A1 (en) Bitrate control in a virtual reality (vr) environment
US11109089B2 (en) Bitrate control in virtual reality (VR) environments using time-shifting and unicast delivery
US11516518B2 (en) Live streaming with live video production and commentary
US10638180B1 (en) Media timeline management
US20130054804A1 (en) System for Consolidating Heterogeneous Data Centers Through Virtualization of Services
US10887646B2 (en) Live streaming with multiple remote commentators
US8997146B1 (en) Systems and methods for processing a traffic log having an optional-promotion log entry
US11445229B2 (en) Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US20220385989A1 (en) Video playing control method and system
US20170353747A1 (en) Quality of Media Synchronization
US20140153581A1 (en) Priority-based buffer management
US9118947B2 (en) Multi-vision virtualization system and method
CN111669605B (zh) 多媒体数据与其关联互动数据的同步方法和装置
JP2009171294A (ja) 映像配信システム、映像中継装置、及び映像中継方法
US11777871B2 (en) Delivery of multimedia components according to user activity
US20220256215A1 (en) Systems and methods for adaptive output
Kanellopoulos Group synchronization for multimedia systems
WO2017096377A1 (en) Managing deep and shallow buffers in a thin-client device of a digital media distribution network
Le Feuvre et al. Synchronization in MPEG-4 Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141210