CN107852523A - 异构网络环境中媒体渲染的同步 - Google Patents

异构网络环境中媒体渲染的同步 Download PDF

Info

Publication number
CN107852523A
CN107852523A CN201680046079.9A CN201680046079A CN107852523A CN 107852523 A CN107852523 A CN 107852523A CN 201680046079 A CN201680046079 A CN 201680046079A CN 107852523 A CN107852523 A CN 107852523A
Authority
CN
China
Prior art keywords
media item
terminal
rendered
time
network time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680046079.9A
Other languages
English (en)
Other versions
CN107852523B (zh
Inventor
D·L·彼德曼
S·E·C·戈尔德瑞
李振蘅
R·N·潘特斯
M·Z·维莎拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN107852523A publication Critical patent/CN107852523A/zh
Application granted granted Critical
Publication of CN107852523B publication Critical patent/CN107852523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了用于在多个联网终端之间同步媒体渲染的技术。第一终端可以从另一终端接收通信,该通信将网络时间相关到待在终端上渲染的媒体项的第一部分(258)。终端可以从网络时间到媒体的第一部分的相关性并从终端之间协商的回放速率来识别媒体项的待在其他网络时间渲染的其他部分。终端各自可以随着网络时间进行来渲染媒体项的适当部分。终端还可以交换其他数据以在公共渲染会话过程期间改变回放模式。

Description

异构网络环境中媒体渲染的同步
背景技术
本公开涉及用于联网设备的媒体渲染应用,具体地讲,涉及用于同步媒体渲染以模拟广播传输操作的技术。
现代通信网络支持大量不同类型的数据,包括视频数据的传输。在很多应用中,尤其是在单个显示设备处的观众消费视频的情况下,网络传输和视频渲染中的偏差不会不利地影响观看体验。考虑三个独立观众在三个独立位置观看公共媒体项的示例。即使在观众正在观看“实况”视频馈送的情况下,如果为观众1的视频渲染发生于为观众2渲染同一视频之前一秒钟且在为观众3渲染视频之前三秒钟,则观众的观看体验不会受到不利影响。
然而,如果三个观众试图彼此一致地观看视频并且彼此通信(例如,通过音频会议),那么此类偏差可能会影响到观看体验。例如,如果评论涉及尚未呈现给在其他位置的其他观众成员的视频,或者如果评论涉及很久以前渲染的视频而其他位置的观众成员难以记起其内容,那么一个观众成员做出的评论可能会难以理解。
媒体传输协议常常需要渲染终端向媒体服务器请求将被渲染的媒体内容。可以将单个媒体项分割成多个传输单元(“区段”),由终端逐个请求、下载和缓存以进行解码和渲染。在两个或更多终端渲染公共媒体项时,每个终端独立于其他终端做出任何请求而从媒体服务器请求区段。没有已知的技术在此类系统中充分地同步媒体渲染操作。
附图说明
图1是适合与本公开的各种实施方案一起使用的媒体分发系统的简化框图。
图2示出了根据本公开的实施方案在终端之间同步媒体渲染的过程。
图3是根据本公开的实施方案的终端300的功能框图。
具体实施方式
本公开的实施方案提供了用于在多个联网终端之间同步媒体渲染的技术。第一终端可以从另一终端接收通信,该通信将网络时间相关到媒体项的待在终端上渲染的第一部分。终端可以从网络时间到媒体的第一部分的相关性并从终端之间协商的回放速率来识别媒体项的待在其他网络时间渲染的其他部分。终端各自可以随着网络时间进行来渲染媒体项的适当部分。终端还可以交换其他数据以在公共渲染会话过程期间改变回放模式。
图1是适合与本公开的各种实施方案一起使用的媒体分发系统100的简化框图。系统100可以包括由网络130进行的互相通信中提供的媒体源110和一个或多个客户端终端120.1-120.4(统称为120)。媒体源110可以存储可以由终端120下载并渲染的各种媒体项140。网络130表示通信结构,通过其可以从媒体源110向一个或多个终端120传输媒体项140。
图1示出了根据本公开的实施方案的媒体项140的示例性部件。媒体项140可以包括清单文件142,该清单文件包含描述媒体项140的其他部件144-148的信息。表示音频/视频内容的单个媒体项140通常将包括编码视频的几个实例,其每个都表示媒体项的视觉内容但以不同数据率编码。例如,可以由5Mbps流144、2Mbps流145和500Kbps流146呈现单个媒体项140。媒体项还可以包括针对不同音轨的流147-148,不同音轨例如是英语音轨147、西班牙语音轨148和其他语言(例如,希伯来语、汉语等)音轨(未示出)。还允许包括用于其他目的的音轨,例如,用于隐藏式字幕等。这些流144-148通常被整理成单独包装的单元(称为“区段”)用于下载。清单文件142可以存储识别不同流、其属性并提供网络标识器的数据,其中可以检索针对每个音轨的区段。
在操作期间,给定终端120.1可能将不会消费媒体项140可用的所有流144-148。相反,终端120.1将可能识别适于终端的渲染环境的音频和视频流(例如,流145和147)。工作于不同环境中的另一个终端120.2可以选择不同的流(例如,流144和148)进行下载和显示。不同的环境可能受到设备120.1-120.4之间的资源差异影响,例如,其相应显示器的分辨率和可用于流解码的处理资源之间的差异,并且也可能受到可以由网络130向每个终端120.1、120.2、120.3和120.4提供的带宽差异的影响。
图1示出了媒体项140的简化架构。实际上,清单文件142可以由文件阵列表示,其每个文件提供关于媒体项的相应部分的信息。
如图1所示,终端120被示为智能电话120.1,120.2,平板电脑120.3和显示器120.4,但本公开的原理并不限于此。本公开的实施方案可应用于个人计算机(台式计算机和膝上型计算机两者)、计算机服务器、机顶盒、媒体播放器和/或游戏平台。网络130表示在媒体源110和终端120之间传递已编码视频数据的任意数量的网络,包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的,除非下文作出解释,否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。
图2示出了根据本公开的实施方案在终端之间同步媒体渲染的过程200。图2示出了一对终端210,220、媒体源230和时钟基准240。同步渲染会话可以开始于初始化阶段250,该初始化阶段在终端210,220之间建立会话。初始化阶段250可以包括在终端210,220之间交换的第一通信流252,其中终端210,220指定要在会话期间使用的时钟基准240。作为初始化阶段250的一部分,终端之一210(指定的“基本”终端)可以向另一终端220(“辅助”终端)传输消息,识别待渲染的媒体项(消息254),识别待在会话期间使用的回放速率(消息256)并识别对应于媒体时间的共享网络时间(消息258)。辅助终端220可以使用该媒体项标识器254来识别待同步渲染的媒体时间的网络位置。辅助终端220可以独立于基本终端210做出的任何请求从媒体源230请求媒体项。辅助终端220还可以从媒体项选择适合辅助终端220的流。终端的选择可以独立于基本终端210的选择做出。
辅助终端220可以使用媒体时间和共享时间标识器(消息258)将媒体项中的点相关到网络时间。结合回放速率使用,这种相关性允许辅助终端220识别要在将来渲染媒体项的哪些元素。
一旦初始化阶段250完成,终端210,220就可以进入会话的相应渲染阶段260,270。在渲染阶段260,270期间,每个终端的操作可以独立于另一个进行,但终端210,220仍然渲染同步的视频。每个终端210,220可以从媒体源下载媒体项的所选择的流(消息流262,272)。每个终端210,220可以将其渲染操作同步到时钟基准(消息流264,274)。每个终端210,220可以通过基于初始化阶段250中所识别的回放速率和相关性确定应当在每个终端(框266,276)处在当前“时间”渲染媒体项的哪个部分来在本地渲染媒体项的一部分。这些操作可以在整个视频会话期间递归地进行,直到达到预先确定的停止条件,诸如渲染会话到达媒体项的末尾或用户操作导致正常回放暂停。
本公开的实施方案设想视频渲染会话可以与终端210,200之间的其他交互280并行发生。例如,终端210,220可以支持它们之间的音频或音频/视频会议,这允许每个终端处的观看者对正在渲染的媒体项作出评论。另选地,交互280可以采取其他形式,诸如即时消息会话、聊天应用、推特、社交网络馈送等。终端210,220可以支持联合文档创作应用,该应用允许每个终端处的观看者编写媒体项的备注或注释。
尽管图2示出了仅两个终端210,220之间的渲染会话,但本公开的原理不受此限制。实际上,渲染会话可以包括任选数量(N)的终端。在此类应用中,可以在N个终端之间共享通信流252。基本终端210可以向其他N-1个辅助终端发送消息254-258以完成初始化阶段。之后,终端可以彼此并行地执行其渲染阶段260,270。
可以通过多种技术中的任一种获得时钟基准240。例如,几种联网协议为网络元素定义时钟基准,包括网络时间协议(NTP)、IEEE 1588和IEEE 802.1as标准。终端210,220可以依赖由这些协议的任何协议提供的定时基准,以在渲染期间使用。当终端指定用于渲染会话中的时钟基准(消息252)时,终端210,220可以指定供应此类定时基准的适当网络元素。终端210,220各自可以参考时钟基准240以开发出每个终端的本地操作时间与由使用的时钟基准240定义的网络时间之间的相关性,本地操作时间可以从终端到终端有所不同(例如,在方框266,276中)。
实际上,个体终端210,220可以根据本地时钟操作,本地时钟可以相对于这些时钟源表现出漂移。例如,给定终端的时钟可能造成在比其他设备处渲染快0.01%的速率下进行渲染。终端可以周期性地将其操作重新同步到时钟基准240以调节其操作。此外,终端220可以在渲染会话的过程内跟踪时钟漂移错误,如果确定错误是实质性的(例如,在预先确定的阈值以上),终端220可以计算补偿此类时钟漂移(例如,清除前述示例中的0.01%错误)的本地回放速率。
图2示出了在两个终端以恒定回放速率渲染视频时可能发生的通信流和操作。本公开的实施方案还提供了通信流以支持与图2所示的恒定回放示例不同的渲染模式。它们包括:
暂停回放:在这种模式中,终端210,220各自可以在媒体项的渲染时间线中的预先确定的点处暂停媒体项的渲染。为了支持这种模式,输入暂停命令处的终端(例如,终端220)可以向会话的一个或多个另一终端210传输消息,识别已经输入了暂停命令并识别暂停操作生效时的媒体时间。会话中的每个终端210,220可以在暂停消息中所识别的媒体时间暂停渲染。
恢复回放:终端可以恢复正常回放,释放先前施加的暂停操作。为了支持这种模式,发起终端210(不需要是参与暂停操作的同一终端)可以传输消息,识别已经释放暂停,并识别释放应当生效的网络时间基准。基于这一消息,每个接收终端可以生成其网络时间和媒体项时间线之间新的相关性,并可以使用新的相关性恢复渲染。
扫描回放:在这种模式中,终端210,220各自应当将回放速率从回放速率消息256中所识别的默认速率改变为另选的速率。可以从普通渲染速率增大回放速率(例如,2、4、8或16倍的默认速率),或者可以从普通速率减小回放速率(例如,默认速率的1/2倍或1/4倍)。此外,回放速率可以是负值,以允许从普通回放沿相反方向扫描。为了支持此类回放模式,发起终端可以向另一终端210传输消息,识别正在进入扫描模式,识别新的回放速率并识别扫描模式生效的媒体时间。每个终端210,220可以使用新消息中提供的信息在其自己的当前时间和媒体项的时间线之间定义新的相关性。
查找回放:在这种模式中,终端210,220应当从媒体项时间线中的第一位置跳到第二位置。为了支持查找模式,发起终端可以向另一终端210传输消息,识别已经进入查找模式,识别回放应当跳到媒体项中的新位置以及渲染在新位置应当开始的网络时间。每个终端210,220可以使用新消息中提供的信息在其自己的当前时间和媒体项的时间线之间定义新的相关性。
刮擦回放:在这种模式中,第一终端210处的用户使用用户界面控件,诸如滑块在媒体项的时间线上滚动。在第一终端处,滚动操作以用户确定的速率通过时间线前进,这可能是飘忽不定的。第一终端210可以在周期性速率下显示来自时间线的帧,该帧可以基于在需要显示新帧时滚动操作的位置从媒体项选择。
在刮擦操作期间,第一终端210可以向一个或多个另一终端220发送消息,指示已经发起刮擦并识别刮擦操作开始的网络时间。其他终端220可以如同接收到暂停消息那样做出响应,在指示的网络时间在待渲染的帧处暂停回放。
在完成刮擦操作时,将在第一终端210处在媒体时间之内由界面控件所识别的位置处恢复渲染。第一终端210可以向另一终端220发送另一消息,识别要恢复渲染的媒体项的一部分并识别应当开始渲染的网络时间。其他终端220可以如同接收到查找消息那样做出响应,并可以跳跃到所识别的位置且在所识别的网络时间开始渲染。
任选地,在刮擦操作正在进行时,第一终端210可以向另一终端220发送附加的消息,识别来自在刮擦操作进行期间在第一终端210处显示的媒体项的帧,并识别显示那些所识别的帧的网络时间。作为响应,其他终端220可以在网络时间显示所识别的帧。传输此类消息可以有助于在终端210和220处加载,因此,此类终端可以尽最大努力传输或处理这些附加消息。
本公开的实施方案还允许将这些消息彼此级联以提供附加功能。例如,终端210,220可以通过传输暂停消息来模拟正常电视节目的频道改变,该暂停消息在终端210,220上同步地终止渲染第一媒体项,然后重新进行初始化阶段250以在终端210,220上同步地开始渲染新的媒体项。
本公开的同步渲染技术可以应用于各种使用情况中。在上述一个示例中,通常社交组的成员可以在终端210,220之间参与补充会议的同时观看媒体项。因此,在观看者向媒体项提供评论或其他反应时,其评论可能将对将同步观看媒体项的同一部分的其他观看者是有意义的。
在另一种使用情况下,可以在公共观看区域集中观看者,例如在公共大显示器前方。一些观看者可能发现使用与公共显示器输出的语言不同的语言更便于观看媒体项。在这种情形中,选择观看者可以使用与主显示器同步的补充设备(诸如个人媒体播放器或智能电话),但经由个人耳机输出另选的语言音频。也可以在其他观看环境中,诸如上述社交组使用情况下支持另选的音轨选择。
类似地,在另一种社群观看环境中,观看者可以观看在社群显示设备上输出的媒体项。周围的观看条件(例如,噪音或显示器被静音)可能阻止音频被特定收听者听到。在这种情形中,选择观看者可以使用与主显示器同步的补充设备,但经由个人耳机输出音频。
在其他社群观看环境中,可以在彼此接近的多个显示器上渲染公共媒体项。在此类环境下,非同步渲染可以对观看者而言高度可见,尤其是在不同显示器上在不同时间出现公共的一组场景改变时。使用本公开的同步技术,公共观看区域中的显示器可以同步媒体项的渲染,这可以使显示器之间媒体项的渲染之间的偏差最小化。
该同步技术还可以应用于观看者可能选择不同视频流以在公共观看区域中的不同显示器上传输的使用情况中。例如,表示音乐会片段的媒体项可以具有指向音乐会不同表演者的不同视频流。第一视频流可以包括主唱的视频,第二视频流可以包括吉他手的视频,并且第三视频流可以包括鼓手的视频。在另一个涉及体育赛事的示例中,不同视频流可以集中于赛事的不同表演者。观众成员可以将个人媒体播放器同步到主显示器并选择这些另选的视频流之一进行渲染。通过这种方式,可以将在个人媒体设备处渲染另选的视频流同步到渲染主显示器。
该同步技术可以应用于视频会议应用,其中媒体项是实况生成的视频。在此类实施方案中,远程参与者可以在个人设备(例如,智能电话或平板电脑)上观看媒体项,而主显示器在另一设备上渲染视频文件。在涉及三个或更多视频参与者(其每一者生成其自己的媒体项)的视频会议中,操作者可以通过与可应用于其他终端的默认渲染方案不同的方式控制媒体项的本地渲染。例如,操作者可以选择一种渲染方案,其中在终端处的相应窗口中显示所有媒体项,并在比不发言的参与者更大的尺寸中渲染当前发言的人的窗口。默认渲染方案可以不应用此类增强,而是相反,可以在尺寸相等的窗口中渲染所有媒体项,无论此类媒体项中发生什么活动(例如,发言与不发言)。
前面的论述已经给出了一种联网环境,其中每个终端都从公共媒体源230下载媒体项。本公开的原理适用于在存储媒体项的冗余副本的网络处存在几个媒体源(未示出)的环境中。因此,第一终端210可以从第一媒体源230下载媒体项,并且第二终端220可以从另一媒体源(未示出)下载媒体项。
本公开的原理还适用于一个终端210向另一个终端220提供媒体项(或其部分)的联网环境中。在该实施方案中,第一终端210可以下载媒体项的部分并在本地存储器中存储这些部分。另选地,第一终端210可以例如通过由本地成像系统捕获视频数据来创作媒体项。在任一种情况下,第一终端210还可以与第二终端220通信以识别其存储的媒体项的一个或多个部分。在这种环境中,终端220可以自行确定它将请求哪个实体,无论是终端210还是媒体源230,以提供媒体项的那些部分。在选择将向其发出对媒体项的请求的实体时,第二终端220可以估计网络加载条件和其他资源约束。
此外,尽管图2示出了每个终端210,220仅在完成会话初始化之后才下载媒体项,但本公开的原理不受此限制。本公开的实施方案许可终端210(或所有终端)在与另一终端220发起同步渲染会话之前完整地下载媒体项。在这种情况下,预先存储媒体项的一个或多个终端210仅需要如上所述同步渲染。
前面的论述已经描述了一种具体实施,其中第一终端210被指定为基本终端,并且一个或多个其他终端被指定为辅助终端。在一个实施方案中,这些终端的角色可能在公共会话期间改变。例如,第一终端210可以作为基本终端与作为辅助终端的一个或多个其他终端发起会话。出于某种原因,如果第一终端210处的用户从会话脱离,那么另一终端(例如终端220)可以承担基本终端的角色以进行会话的后续部分。也可以由经由支持会话的用户界面控件输入的明确用户命令来改变基本终端的角色。
此外,尽管图2中未示出,但其他终端(未示出)也可以加入已在进行的会话。在新终端加入会话时,终端,无论是基本终端还是辅助终端之一,都可以向新终端传输类似于消息252-258的消息,识别时钟基准、媒体项、回放速率以及媒体时间和回放时间之间的相关性。之后,新终端可以同步到其他终端的回放,并开始渲染媒体项。
图3是根据本公开的实施方案的终端300的功能框图。终端300可以包括处理系统310、存储器系统320、显示器330、收发器(TX/RX)340和输入/输出(I/O)单元350。
处理系统310可以通过使得终端300与其他实体交互来控制终端300的操作,以同步渲染,其他实体诸如是图2所示那些。存储器系统320可以存储处理系统310可以执行的指令,并且还可以存储由此生成的应用数据320。处理系统310的架构可以从终端到终端有所不同。通常,处理系统310将包括中央处理单元;它还可以包括可能适合个体应用需求的图形处理器、数字信号处理器和专用集成电路(未示出)。存储器系统320的架构也可以从终端到终端有所不同。通常,存储器系统320将包括一个或多个电、光学的和/或磁存储设备(也未示出)。存储器系统320可以分布于整个处理系统内。例如,存储器系统可以包括提供于具有处理系统310的中央处理器的通用集成电路上的高速缓存存储器。存储器系统320还可以包括经由存储器控制器耦接到处理系统310的随机存取主存储器,并且它还可以包括用于长期存储的一个或多个非易失性存储器设备。
处理系统310可以在操作期间执行各种程序,包括操作系统360和一个或多个应用程序370。例如,如图3中所示,终端300可以执行媒体渲染应用372、会议应用374,连同可能的其他应用。媒体渲染应用372可以管理下载、解码和媒体项的同步显示,如前面的论述中所述。会议应用374可以支持如上所述终端300和另一终端(未示出)之间的会议交换。
渲染应用372可以定义一组用于管理应用的用户界面控件378。因此,用户界面控件可以根据应用终端300的渲染使用情况而改变。例如,默认的UI控件378可以允许操作者如本文所述执行暂停、恢复扫描、查找和刮擦操作。然而,在一些应用中,拒绝应用于这些控件可能是有利的。例如,在多个显示器正在显示同步内容以供大量观众观看的环境(例如,餐馆或健康俱乐部)中,拒绝个体用户能够通过例如暂停或跳过内容来控制媒体渲染可能是有利的。
前述论述已在包括各种部件的终端的上下文中描述了本发明的实施方案的操作。这些部件常常作为电子设备来提供。它们可嵌入集成电路,诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。另选地,它们可嵌入在个人计算机、笔记本电脑、平板电脑、智能电话、机顶盒、游戏平台、便携式媒体播放器和/或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中,在那里它们在操作系统控制下被读取到处理器并且被执行。并且,当然,这些部件可提供作为混合系统,根据需要混合系统在专用硬件部件和编程通用处理器上分发功能性。
此外,尽管前面的论述在清单文件和不同流的上下文中描述了媒体项140(图1),但本公开的原理适用于具有不同架构的媒体项。例如,媒体项可以具有平面文件的架构,其中在单个可下载文件中提供所有媒体内容和时间线的元数据描述。此外,媒体项自身不需要是视频文件。本公开的原理适用于表示仅音频内容、游戏内容等的媒体项。因此,可通过适合于媒体项特点的媒体接收设备(诸如显示器和/或扬声器)渲染媒体项。
本文具体示出和/或描述了本发明的若干实施方案。然而,应当理解,在不脱离本发明的实质和预期范围的情况下,本发明的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (27)

1.一种用于在终端之间同步媒体渲染的方法,包括,在第一终端处:
响应于从同步的渲染会话的另一终端接收的通信,将网络时间相关到待渲染的媒体项的第一部分(258),
从网络位置检索所述媒体项的内容(262),
从网络时间到所述第一部分的所述相关性并从在来自其他终端的通信中接收的回放速率,识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间,以及
在将渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。
2.根据权利要求1所述的方法,其中所述识别包括将所述网络时间相关到所述第一终端处的当前时间。
3.根据权利要求1所述的方法,还包括从所述其他终端接收所述媒体项的识别(254)。
4.根据权利要求1所述的方法,还包括与所述其他终端协商所述网络时间源的识别。
5.根据权利要求1所述的方法,包括在所述当前时间在整个所述渲染会话进展时,重复所述识别和渲染,直到出现停止条件。
6.根据权利要求5所述的方法,其中在渲染达到所述媒体项的结尾时出现所述停止条件。
7.根据权利要求5所述的方法,其中所述停止条件是用于识别另选的渲染模式的新通信。
8.根据权利要求7所述的方法,其中所述另选的渲染模式是暂停操作,所述方法之后包括在所述媒体项的在所述新通信中识别的位置处暂停渲染。
9.根据权利要求7所述的方法,其中所述另选的渲染模式为扫描操作,所述方法之后包括以在所述新通信中识别的另选的回放速率,在所述媒体项中由所述新通信识别的位置处开始,渲染所述媒体项。
10.根据权利要求7所述的方法,其中所述另选的渲染模式为查找操作,所述方法之后包括,在所述渲染达到所述媒体项中在所述新通信中识别的第一位置时,在所述媒体项中的第二位置处开始,使用所述网络时间和所述媒体项之间的新相关性,渲染所述媒体项。
11.根据权利要求7所述的方法,其中所述第一终端向所述其他终端传输所述新通信。
12.根据权利要求7所述的方法,其中所述第一终端从所述其他终端接收所述新通信。
13.一种用于在终端之间同步媒体渲染的方法,包括,在第一终端处:
向用于初始化同步渲染会话的另一终端传输通信,所述通信包含将网络时间相关到待渲染的媒体项的第一部分的指示符和回放速率(258),
从网络位置检索所述媒体项的内容(262),
从网络时间到所述第一部分的所述相关性和所述回放速率,识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间,以及
在将渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。
14.根据权利要求13所述的方法,其中所述识别包括将所述网络时间相关到所述第一终端处的当前时间。
15.根据权利要求13所述的方法,还包括从其他终端接收所述媒体项的识别。
16.根据权利要求13所述的方法,还包括与所述其他终端协商所述网络时间源的识别。
17.根据权利要求13所述的方法,还包括在所述当前时间在整个所述渲染会话进展时,重复所述识别和渲染,直到出现停止条件。
18.根据权利要求17所述的方法,还包括重复所述识别和渲染,直到所述渲染达到所述媒体项的末尾。
19.根据权利要求17所述的方法,还包括在新通信识别暂停操作时,在
所述媒体项的在所述新通信中识别的位置处暂停渲染。
20.根据权利要求17所述的方法,还包括在新通信识别扫描操作时:
以在所述新通信中识别的另选的回放速率,在所述媒体项中由所述新通信识别的位置处开始,渲染所述媒体项。
21.根据权利要求17所述的方法,还包括在新通信识别查找操作时:
重复所述识别和渲染,直到所述渲染达到所述媒体项中在所述新通信中识别的第一位置,以及
之后,使用所述网络时间和所述媒体项之间的新相关性,在所述媒体项中的第二位置处开始,渲染所述媒体项。
22.一种终端,包括:
收发器(340),所述收发器连接到网络,
媒体接收设备,
处理系统(310),所述处理系统用于执行程序指令,所述程序指令使得:
所述收发器(340)从网络资源下载待渲染的媒体项,
所述收发器(340)从另一终端接收将第一网络时间相关到所述媒体项的第一部分的指示符,
所述媒体接收设备在当前网络时间渲染由所述相关的第一网络时间和所述第一部分并由回放速率确定的与所述当前网络时间相关的所述媒体项的第二部分。
23.根据权利要求22所述的终端,其中在所述终端和所述其他终端之间的通信中识别所述媒体项。
24.根据权利要求22所述的终端,其中在所述终端之间协商所述第一网络时间源的识别。
25.一种终端,包括:
收发器(340),所述收发器连接到网络,
媒体接收设备,
处理系统(310),所述处理系统用于执行程序指令,所述程序指令使得:
所述收发器(340)从网络资源下载待渲染的媒体项,
在当前网络时间,从网络时间到所述媒体项的第一部分的相关性和用于渲染的回放速率,识别待渲染的所述媒体项的第二部分,以及
所述媒体接收设备渲染与所述当前网络时间相关的所述媒体项的所述第二部分。
26.一种存储指令的计算机可读存储设备,所述指令在由处理设备执行时,使得所述处理设备:
响应于从同步的渲染会话的另一设备接收的通信,将网络时间相关到待渲染的媒体项的第一部分(258),
从网络位置检索所述媒体项的内容(262),
从网络时间到所述第一部分的所述相关性并从在来自其他终端的通信中接收的回放速率,识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间,以及
在用于渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。
27.一种存储指令的计算机可读存储设备,所述指令在由处理设备执行时,使得所述处理设备:
向用于初始化同步的渲染会话的另一设备传输通信,所述通信包含将网络时间相关到待渲染的媒体项的第一部分的指示符和回放速率(258),
从网络位置检索所述媒体项的内容(262),
从网络时间到所述第一部分的所述相关性和所述回放速率,识别待渲染的所述媒体项的第二部分以及将渲染所述第二部分的时间,以及
在用于渲染所述第二部分的所述时间渲染所述媒体项的所述第二部分(266)。
CN201680046079.9A 2015-09-30 2016-08-29 用于在终端之间同步媒体渲染的方法、终端和设备 Active CN107852523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201514871879A 2015-09-30 2015-09-30
US14/871,879 2015-09-30
PCT/US2016/049280 WO2017058437A1 (en) 2015-09-30 2016-08-29 Synchronization of media rendering in heterogeneous networking environments

Publications (2)

Publication Number Publication Date
CN107852523A true CN107852523A (zh) 2018-03-27
CN107852523B CN107852523B (zh) 2021-01-19

Family

ID=56985667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680046079.9A Active CN107852523B (zh) 2015-09-30 2016-08-29 用于在终端之间同步媒体渲染的方法、终端和设备

Country Status (6)

Country Link
US (1) US10582158B2 (zh)
JP (2) JP6941093B2 (zh)
KR (1) KR102051985B1 (zh)
CN (1) CN107852523B (zh)
DE (1) DE112016004480T5 (zh)
WO (1) WO2017058437A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509726B2 (en) 2017-10-20 2022-11-22 Apple Inc. Encapsulating and synchronizing state interactions between devices

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088774B1 (en) * 2002-05-29 2006-08-08 Microsoft Corporation Media stream synchronization
CN101031085A (zh) * 2007-03-30 2007-09-05 中国联合通信有限公司 一种移动终端帧动画的处理方法
CN101990101A (zh) * 2010-11-04 2011-03-23 武汉钢铁(集团)公司 实时多媒体混合编解码方法
US20110202156A1 (en) * 2009-05-27 2011-08-18 Glitsch Hans M Device with audio-based media synchronization
US20110218656A1 (en) * 2010-03-02 2011-09-08 Microsoft Corporation Social media playback
CN102959544A (zh) * 2010-05-04 2013-03-06 沙扎姆娱乐有限公司 用于同步媒体的方法和系统
CN103106679A (zh) * 2013-01-05 2013-05-15 广东威创视讯科技股份有限公司 分布式3d多通道渲染方法、系统和平台
CN103890783A (zh) * 2012-10-11 2014-06-25 华为技术有限公司 一种实现视频遮挡的方法、装置和系统
US20140359681A1 (en) * 2013-05-31 2014-12-04 Divx. Llc Playback synchronization across playback devices
US8933312B2 (en) * 2012-06-01 2015-01-13 Makemusic, Inc. Distribution of audio sheet music as an electronic book

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110074A1 (en) * 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
KR100565333B1 (ko) 2004-06-22 2006-03-30 엘지전자 주식회사 휴대단말기의 비디오 오디오 동기장치 및 방법
JP2009060512A (ja) * 2007-09-03 2009-03-19 Sharp Corp 携帯端末、再生装置、コンテンツ再生システム、コンテンツ再生プログラム、コンピュータ読み取り可能な記録媒体、及び携帯端末の制御方法
WO2009038402A1 (en) 2007-09-21 2009-03-26 Lg Electronics Inc. Digital broadcasting system and data processing method in the digital broadcasting system
JP2011501260A (ja) * 2007-10-12 2011-01-06 ザロム、ロニー 同期的にビデオを共有するシステムおよび方法
JP5282447B2 (ja) * 2008-05-29 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP5230744B2 (ja) 2008-08-29 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理装置
EP2180655A1 (en) * 2008-10-27 2010-04-28 Thomson Licensing SA Method of transmission af a digital content stream and corresponding method of reception
JP2011228487A (ja) * 2010-04-20 2011-11-10 Universal Tokki Corp 磁場生成装置およびこれを有する船舶
US9094564B2 (en) * 2010-05-07 2015-07-28 Microsoft Technology Licensing, Llc Clock synchronization for shared media playback
KR101750139B1 (ko) 2011-02-11 2017-06-22 인터디지탈 패튼 홀딩스, 인크 협업 세션 중에 이동국 미디어 플로우를 동기화하는 방법 및 장치
US9414105B2 (en) * 2011-02-14 2016-08-09 Blackfire Research Corporation Mobile source device media playback over rendering devices at lifestyle-determined locations
CN109068154B (zh) 2011-09-23 2021-01-26 韩国电子通信研究院 传送媒体数据的方法以及接收媒体数据的方法
US9654817B2 (en) * 2012-01-27 2017-05-16 Avaya Inc. System and method to synchronize video playback on mobile devices
JP5924728B2 (ja) * 2012-02-02 2016-05-25 日本放送協会 信号処理装置及びプログラム
JP2014239278A (ja) 2013-06-06 2014-12-18 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088774B1 (en) * 2002-05-29 2006-08-08 Microsoft Corporation Media stream synchronization
CN101031085A (zh) * 2007-03-30 2007-09-05 中国联合通信有限公司 一种移动终端帧动画的处理方法
US20110202156A1 (en) * 2009-05-27 2011-08-18 Glitsch Hans M Device with audio-based media synchronization
US20110218656A1 (en) * 2010-03-02 2011-09-08 Microsoft Corporation Social media playback
CN102959544A (zh) * 2010-05-04 2013-03-06 沙扎姆娱乐有限公司 用于同步媒体的方法和系统
CN101990101A (zh) * 2010-11-04 2011-03-23 武汉钢铁(集团)公司 实时多媒体混合编解码方法
US8933312B2 (en) * 2012-06-01 2015-01-13 Makemusic, Inc. Distribution of audio sheet music as an electronic book
CN103890783A (zh) * 2012-10-11 2014-06-25 华为技术有限公司 一种实现视频遮挡的方法、装置和系统
CN103106679A (zh) * 2013-01-05 2013-05-15 广东威创视讯科技股份有限公司 分布式3d多通道渲染方法、系统和平台
US20140359681A1 (en) * 2013-05-31 2014-12-04 Divx. Llc Playback synchronization across playback devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨敬: "《分布式三维场景中仿真实体同步策略研究与实现》", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
DE112016004480T5 (de) 2018-07-19
US20170289500A1 (en) 2017-10-05
US10582158B2 (en) 2020-03-03
CN107852523B (zh) 2021-01-19
JP6941093B2 (ja) 2021-09-29
KR102051985B1 (ko) 2019-12-04
WO2017058437A1 (en) 2017-04-06
JP2018530944A (ja) 2018-10-18
JP2020174378A (ja) 2020-10-22
KR20180030143A (ko) 2018-03-21

Similar Documents

Publication Publication Date Title
US11949922B2 (en) Simulating a local experience by live streaming sharable viewpoints of a live event
WO2016050080A1 (zh) 一种多人观看视频实时互动的方法及系统
CN103327361B (zh) 实时视频通讯回放数据流的获取方法、装置及系统
US20100138746A1 (en) System and method for synchronized video sharing
CN106303648A (zh) 一种同步播放多媒体数据的方法及装置
US20140205261A1 (en) Interactive audio/video system and method
CN112492357A (zh) 一种处理多视频流的方法、装置、介质和电子设备
WO2017193830A1 (zh) 视频切换方法、装置、系统及存储介质
CN109756744B (zh) 数据处理方法、电子设备及计算机存储介质
EP2437512B1 (en) Social television service
CN107852523A (zh) 异构网络环境中媒体渲染的同步
Rainer et al. Merge and forward: Self-organized inter-destination multimedia synchronization
JP2005167668A (ja) 複数映像時刻同期表示端末、複数映像時刻同期表示方法、プログラム、および記録媒体
US11849171B2 (en) Deepfake content watch parties
US20230179822A1 (en) Karaoke Content Watch Parties
CN116366614A (zh) 实时交互流媒体系统
CN116389780A (zh) 一种多直播流同步方法及装置
CN115086691A (zh) 字幕优化方法、装置、电子设备和存储介质
KR20120043408A (ko) 방송 부가데이터 분리 제공 시스템, 그 단말 및 방송 부가데이터 분리 제공 방법, 이를 위한 기록매체
WO2013106916A1 (en) Interactive audio/video system and method
KR20140072842A (ko) 댓글 광고 운영 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant