CN110493627B - 多媒体内容同步方法及装置 - Google Patents

Abstract

本公开涉及多媒体内容同步方法及装置，所述方法应用于直播过程中，所述方法包括：接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容；基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容。通过建立第一多媒体内容和第二多媒体内容在时间上的联系，根据本公开实施例的多媒体内容同步方法及装置能够在实现多媒体内容同步的同时提高兼容性和易扩展性。

Description

多媒体内容同步方法及装置

技术领域

本公开涉及多媒体技术领域，尤其涉及一种多媒体内容同步方法及装置。

背景技术

直播答题是一种依靠互联网的在线答题活动。主持在直播过程中出题，每次出题时终端会弹出题目，每题留有一定的答题时间(例如10s)供用户答题。在直播答题过程中，音视频和题目的同步非常重要。

相关技术中，通过重用视频直播的媒体通信频道，将题目信息插入视频编码的扩展字段实现音视频和题目的同步。具体为利用h264编码的SEI(Supplemental enhancementinformation，补充增强信息)，将题目信息加载在视频数据中，从而将题目信息作为视频流媒体数据的一部分直接下发到终端。终端在播放解码视频时，若解码出SEI数据，则将其回调给上层业务，使终端弹出答题板并显示相应的题目，从而实现音频、视频和题目的同步。

发明内容

有鉴于此，本公开提出了一种多媒体内容同步方法及装置，在实现多媒体内容同步的同时提高兼容性和易扩展性。

根据本公开的第一方面，提供了一种多媒体内容同步方法，所述方法应用于直播过程中，所述方法包括：接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容；基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容。

在一种可能的实现方式中，所述基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容，包括：在所述采集端时间戳小于或者等于所述播放时间戳时，立刻展示所述第一多媒体内容。

在一种可能的实现方式中，所述基于所述采集端时间戳和所述播放时间戳的比较结果，展示所述第一多媒体内容，包括：在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

在一种可能的实现方式中，所述基于所述采集端时间戳和所述播放时间戳的比较结果，展示所述第一多媒体内容，包括：在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值小于或者等于时间阈值时，等待时长为所述差值的时间后展示所述第一多媒体内容。

在一种可能的实现方式中，所述方法还包括：接收发布设备推送的所述第一多媒体信息，和/或以轮询的方式从内容分发服务器获取所述第一多媒体信息。

在一种可能的实现方式中，所述第二多媒体内容为视频和/或音频，所述第一多媒体内容为与所述第二多媒体内容对应的交互信息。

根据本公开的第二方面，提供了一种多媒体内容同步方法，所述方法应用于直播过程中，所述方法包括：获取到第一多媒体内容时，确定所述第一多媒体内容的发布时刻；确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，所述第二多媒体内容为需要直播的内容；发送第一多媒体信息，所述第一多媒体信息包括所述采集端时间戳和所述第一多媒体内容。

在一种可能的实现方式中，所述方法还包括：根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳；所述确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，包括：获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻；采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到所述采集端时间戳。

在一种可能的实现方式中，所述发送第一多媒体信息，包括：向终端和内容分发服务器分别发送所述第一多媒体信息。

根据本公开的第三方面，提供了一种多媒体内容同步方法，所述方法应用于直播过程中，所述方法包括：采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳；实时对采集到的第二多媒体内容进行编码和封装，得到第二多媒体信息，并向内容分发服务器推送所述第二多媒体信息，以通过所述内容分发服务器向各终端分发所述第二多媒体信息进行播放。

根据本公开的第四方面，提供了一种多媒体内容同步装置，所述装置应用于直播过程中，所述装置包括：获取模块，用于接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容；展示模块，用于基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容。

在一种可能的实现方式中，所述展示模块包括：第一展示子模块，用于在所述采集端时间戳小于或者等于所述播放时间戳时，立刻展示所述第一多媒体内容。

在一种可能的实现方式中，所述展示模块包括：

第二展示子模块，用于在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

在一种可能的实现方式中，所述展示模块包括：

第三展示子模块，用于在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值小于或者等于时间阈值时，等待时长为所述差值的时间后展示所述第一多媒体内容。

在一种可能的实现方式中，所述装置还包括：接收模块，用于接收发布设备推送的所述第一多媒体信息，和/或以轮询的方式从内容分发服务器获取所述第一多媒体信息。

在一种可能的实现方式中，所述第二多媒体内容为视频和/或音频，所述第一多媒体内容为与所述第二多媒体内容对应的交互信息。

根据本公开的第五方面，提供了一种多媒体内容同步装置，所述装置应用于直播过程中，所述装置包括：第一确定模块，用于获取到第一多媒体内容时，确定所述第一多媒体内容的发布时刻；第二确定模块，用于确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，所述第二多媒体内容为需要直播的内容；第一发送模块，用于发送第一多媒体信息，所述第一多媒体信息包括所述采集端时间戳和所述第一多媒体内容。

在一种可能的实现方式中，所述装置还包括：更新模块，用于根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳；所述第二确定模块包括：获取子模块，用于获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻；调整子模块，用于采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到所述采集端时间戳。

在一种可能的实现方式中，所述第一发送模块包括：发送子模块，用于向终端和内容分发服务器分别发送所述第一多媒体信息。

根据本公开的第六方面，提供了一种多媒体内容同步装置，所述装置应用于直播过程中，所述装置包括：第二发送模块，用于采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳；推送模块，用于实时对采集到的第二多媒体内容进行编码和封装，得到第二多媒体信息，并向内容分发服务器推送所述第二多媒体信息，以通过所述内容分发服务器向各终端分发所述第二多媒体信息进行播放。

根据本公开的第七方面，提供了一种多媒体内容同步装置装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第一方面的方法。

根据本公开的第八方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第一方面的方法。

根据本公开的第九方面，提供了一种多媒体内容同步装置装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第二方面的方法。

根据本公开的第十方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第二方面的方法。

根据本公开的第十一方面，提供了一种多媒体内容同步装置装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第三方面的方法。

根据本公开的第十二方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第三方面的方法。

通过利用第一多媒体内容发布时刻采集到的第二多媒体内容的时间戳，作为第一多媒体内容对应的时间戳，使第一多媒体内容和第二多媒体内容通过时间戳建立了时间上的联系；通过比较第一多媒体内容对应的时间戳(采集端时间戳)和当前第二多媒体内容的播放时间戳，使第一多媒体内容和第二多媒体内容达到时间点的统一，因此根据本公开各方面实施例的多媒体内容同步方法及装置能够实现第一多媒体内容和第二多媒体的同步，同时相较于相关技术，根据本公开各方面实施例的多媒体内容同步方法及装置不依赖于h264视频编码的SEI信息，兼容性较高，易于扩展。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的多媒体内容同步方法的流程图。

图2示出根据本公开一实施例的多媒体内容同步方法的流程图。

图3示出根据本公开一实施例的多媒体内容同步方法的流程图。

图4示出根据本公开一实施例的多媒体内容同步方法的流程图。

图5示出根据本公开一实施例的多媒体内容同步方法的交互图。

图6示出根据本公开一实施例的多媒体内容同步装置的框图。

图7示出根据本公开一实施例的多媒体内容同步装置的框图。

图8示出根据本公开一实施例的多媒体内容同步装置的框图。

图9示出根据本公开一实施例的多媒体内容同步装置的框图。

图10示出根据本公开一实施例的多媒体内容同步装置的框图。

图11是根据一示例性实施例示出的一种用于多媒体内容同步的装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的多媒体内容同步方法的流程图。该方法可以应用于直播过程中，该方法可以由手机、平板电脑和计算机等终端执行。如图1所示，该多媒体内容同步方法可以包括：

步骤S11，接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容。

步骤S12，基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容。

通过利用第一多媒体内容发布时刻采集到的第二多媒体内容的时间戳，作为第一多媒体内容对应的时间戳，使第一多媒体内容和第二多媒体内容通过时间戳建立了时间上的联系；通过比较第一多媒体内容对应的时间戳(采集端时间戳)和当前第二多媒体内容的播放时间戳，使第一多媒体内容和第二多媒体内容达到时间点的统一，因此根据本公开实施例的多媒体内容同步方法能够实现第一多媒体内容和第二多媒体的同步。

相关技术中将题目信息加载于流媒体数据，对流媒体数据和题目信息的耦合度要求较高，流媒体链路环节中出现的问题(例如推流端或者播放端的网络抖动引起的SEI数据丢失、卡顿等)，会使用户的答题受到影响；依赖于h264编码的SEI信息，使整个系统中的视频编码只能采用h264编码器，可扩展性较差；将题目信息加载于流媒体数据，需要出题操作和推流操作在同一台设备上进行，现场的操作风险较大。相较于相关技术，根据本公开实施例的多媒体内容同步方法在实现多媒体内容同步时，不依赖于h264视频编码的SEI信息，兼容性较高，易于扩展。

第二多媒体内容为播放器播放的多媒体内容，即终端当前正在直播的内容。第一多媒体内容为与第二多媒体内容同步展示的多媒体内容，即当直播进行到某个时间点时展示的内容。在一种可能的实现方式中，第二多媒体内容可以为视频和/或音频等流媒体内容，第一多媒体内容时与第二多媒体内容对应的交互信息。以直播答题为例，第二多媒体内容为直播的音频和/或视频，第一多媒体内容为题目信息。

时间戳是一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据。时间戳通常是一个字符序列，可以唯一地标识某一刻的时间。在本公开实施例中，第二多媒体内容的时间戳可以表示第二多媒体内容的一个时间点。例如，第一多媒体内容的发布时刻，第二多媒体内容的时间戳表示第二多媒体内容中对应于第一多媒体内容的发布时刻的时间点。

基于rtmp(real time message protocol，实时消息传输协议)的流媒体直播，端到端的延迟(采集延迟+编码延迟+传输延迟+播放器缓冲区+解码延迟+渲染延迟)一般4-10秒左右，而题目信息的下发基本可以控制在2秒以内，两者差别较大。在题目的发布时刻和主持人的口播出题时刻一致时，题目与音视频到达终端的时间不一致。因此，终端需要建立音视频和题目的时间联系，从而实现题目和音视频的同步。

采集设备可以采集第二多媒体内容，采集设备采集到的第二多媒体内容具有对应的时间戳。在本公开实施例中，第一多媒体内容发布时刻采集设备采集到的第二多媒体内容的时间戳(采集端时间戳)表示第一多媒体内容在第二多媒体内容展示的时间点。这样终端可以根据采集端时间戳建立第一多媒体内容和第二多媒体内容在时间上的联系，从而实现第一多媒体内容和第二多媒体内容的同步。

播放器的播放时间戳表示第二多媒体内容的播放进度。在一种可能的实现方式中，终端周期性的回调播放器的播放时间戳，终端可以将接收到第一多媒体信息时，回调的最新播放时间戳，作为当前时刻播放器的播放时间戳。

在一种可能的实现方式中，步骤S12可以包括：在所述采集端时间戳小于或者等于所述播放时间戳时，立刻展示所述第一多媒体内容。

采集端时间戳小于或者等于播放时间戳，表明第一多媒体内容到达终端的时刻已经超过在第二多媒体内容中展示的时间点，终端可以立刻展示第一多媒体内容。

采集端时间戳大于播放时间戳，表明第一多媒体内容到达终端的时刻未达到在第二多媒体内容中展示的时间点，终端可以等待一段时间后再展示第一多媒体内容。

在一种可能的实现方式中，步骤S12可以包括：在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容，提升同步效果。

时间阈值可以根据网络延迟时间确定。在一个示例中，时间阈值为4500ms。当采集端时间戳和播放时间戳的差值大于时间阈值时，表明网络延迟较大，为了减小与其他用户的时间差，提高公平性，终端在等待时长为所述时间阈值的时间后展示第一多媒体内容。

在一种可能的实现方式中，步骤S12可以包括：在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值小于或者等于时间阈值时，等待时长为所述差值的时间后展示所述第一多媒体内容。

采集端时间戳与播放时间戳的差值小于或者等于时间阈值，表明网络延迟较小，终端可以在等待时长为多数差值的时间后展示第一多媒体内容，提升同步效果。

在一种可能的实现方式中，终端保持播放器中第二多媒体内容的播放，并根据所述采集端时间戳和所述播放时间戳的比较结果展示第一多媒体内容。

在一个示例中，终端保持播放器中第二多媒体内容的播放，并根据所述采集端时间戳和所述播放时间戳的比较结果弹出交互页面，在交互页面中展示第一多媒体内容。以直播答题为例，终端保持播放器中音视频的直播，并根据所述采集端时间戳和所述播放时间戳的比较结果，弹出答题板，在答题板中展示题目信息。

发布设备可以用于发布第一多媒体信息。发布设备可以直接向终端推送第一多媒体信息，也可以将第一多媒体信息发送至内容分发服务器，由内容分发服务器将第一多媒体信息分发至各终端进行展示。

其中，内容分发服务器可以为CND(Content Delivery Network，内容分发网络)中的节点服务器。CND是通过在网络各处放置节点服务器所构成的在现有互联网基础之上的一层智能虚拟网络。CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决互联网拥挤的状况，提高用户访问网站的响应速度。CDN的基本原理是广泛采用各种节点服务器，将这些节点服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的节点服务器上，由该节点服务器直接响应用户请求。

在一种可能的实现方式中，终端可以接收发布设备推送的第一多媒体信息。在一种可能的实现方式中，终端可以以轮询的方式从内容分发服务器获取第一多媒体信息。在一种可能的实现方式中，终端可以既接收发布设备推送的第一多媒体信息，又以轮询的方式从内容分发服务器获取第一多媒体信息。通过两种方式同时使用，推拉结合，可以降低第一多媒体内容下发失败的可能。

图2示出根据本公开一实施例的多媒体内容同步方法的流程图。该方法可以应用于直播过程中，该方法可以由发布设备执行。该多媒体内容同步方法可以包括：

步骤S21，获取到第一多媒体内容时，确定所述第一多媒体内容的发布时刻。

步骤S22，确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，所述第二多媒体内容为需要直播的内容。

步骤S23，发送第一多媒体信息，所述第一多媒体信息包括所述采集端时间戳和所述第一多媒体内容。

第一多媒体内容、第二多媒体内容、采集端时间戳和第一多媒体信息可以参照步骤S11和步骤S12，这里不再赘述。

以直播答题为例，现场执行人员会根据主持人的口播指令进行出题，题目信息为第一多媒体内容，出题操作时间点为第一多媒体内容的发布时刻。主持人的口播出题时间为第一多媒体内容在第二多媒体内容中展示的时间点。由于出题操作时间点与主持人的口播出题时间一致，因此第一多媒体内容的发布时刻采集设备采集到的第二多媒体内容的时间戳，可以表示第一多媒体内容在第二多媒体内容中展示的时间点。

在一种可能的实现方式中，步骤S23可以包括：向终端和内容分发服务器分别发送所述第一多媒体信息。

发布设备可以直接将第一多媒体信息发送至终端，也可以通过内容服务器将第一多媒体信息发送至终端。终端接收到第一多媒体信息后，可以根据采集端时间戳，同步展示第一多媒体内容和第二多媒体内容。终端根据采集端时间戳，同步展示第一多媒体内容和第二多媒体内容的过程可以参照步骤S11至步骤S12，这里不再赘述。

图3示出根据本公开一实施例的多媒体内容同步方法的流程图。该多媒体内容同步方法还包括：

步骤S24，根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳。

采集设备在采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳。发布设备可以根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳。

步骤S22可以包括：

步骤S221，获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻。

步骤S222，采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到所述采集端时间戳。

发布设备在发布时刻接收到的第二多媒体内容的时间戳为采集端时间戳。由于发布设备实时更新本地的第二多媒体内容的时间戳，采集端时间戳会被新的第二多媒体内容的时间戳覆盖。因此，发布设备本地的第二多媒体内容的最新时间戳不是采集端时间戳。发布设备接收到的第二多媒体内容的时间戳和接收到该时间戳的接收时刻是一一对应的，且不同接收时刻接收到的时间戳的差值与对应接收时刻的差值一致。发布设备可以根据以下公式确定采集端时间戳：采集端时间戳＝(发布时刻-接收时刻)+最新的时间戳。

这样，发布设备可以为第一多媒体内容添加时间戳，建立第一多媒体内容和第二多媒体内容在时间上的联系，从而使终端能够实现第一多媒体内容和第二多媒体内容的同步展示。

图4示出根据本公开一实施例的多媒体内容同步方法的流程图。该方法可以应用于直播过程中，该方法可以由采集设备执行。如图4所示，该多媒体内容同步方法可以包括：

步骤S31，采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳。

步骤S32，实时对采集到的第二多媒体内容进行编码和封装，得到第二多媒体信息，并向内容分发服务器推送所述第二多媒体信息，以通过所述内容分发服务器向各终端分发所述第二多媒体信息进行播放。

通过实时对第二多媒体内容进行处理，可以实现第二多媒体内容的直播。通过实时向发布设备发送采集到第二多媒体内容的时间戳，可以使发布设备为第一多媒体信息添加采集端时间戳。这样，终端能够实现第一多媒体内容和第二多媒体内容的同步展示。

需要说明的是，步骤S31可以在步骤S32之前、之后，以及过程中执行。

在本公开实施例中，采集设备和发布设备可以是两个终端，使得第一多媒体内容的发布和第二多媒体内容的采集可以在不同的终端上实现，降低了现场操作的风险。

图5示出根据本公开一实施例的多媒体内容同步方法的交互图。该方法可以应用于直播过程中。如图5所示，该多媒体内容同步方法可以包括：

步骤S41，采集设备在采集第二多媒体内容时，实时向发布设备发送采集到的第二多媒体内容的时间戳。

步骤S42，发布设备根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳。

步骤S43，发布设备获取到第一多媒体内容时，确定第一多媒体内容的发布时刻、获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻、采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到采集端时间戳。

步骤S44，发布设备向终端发送包括采集端时间戳和第一多媒体内容的第一多媒体信息。

步骤S45，终端接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳。

步骤S46，终端基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容。

图6示出根据本公开一实施例的多媒体内容同步装置的框图。该装置可以应用于直播过程中。如图6所示，该装置50可以包括：

获取模块51，用于接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容；

展示模块52，用于基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容。

图7示出根据本公开一实施例的多媒体内容同步装置的框图。如图7所示，在一种可能的实现方式中，所述展示模块52包括：

第一展示子模块521，用于在所述采集端时间戳小于或者等于所述播放时间戳时，立刻展示所述第一多媒体内容。

在一种可能的实现方式中，所述展示模块52包括：

第二展示子模块522，用于在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

在一种可能的实现方式中，所述展示模块52包括：

第三展示子模块523，用于在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值小于或者等于时间阈值时，等待时长为所述差值的时间后展示所述第一多媒体内容。

在一种可能的实现方式中，该装置50还包括：

接收模块53，用于接收发布设备推送的所述第一多媒体信息，和/或以轮询的方式从内容分发服务器获取所述第一多媒体信息。

在一种可能的实现方式中，所述第二多媒体内容为视频和/或音频，所述第一多媒体内容为与所述第二多媒体内容对应的交互信息。

通过利用第一多媒体内容发布时刻采集到的第二多媒体内容的时间戳，作为第一多媒体内容对应的时间戳，使第一多媒体内容和第二多媒体内容通过时间戳建立了时间上的联系；通过比较第一多媒体内容对应的时间戳(采集端时间戳)和当前第二多媒体内容的播放时间戳，使第一多媒体内容和第二多媒体内容达到时间点的统一，因此根据本公开实施例的多媒体内容同步装置能够实现第一多媒体内容和第二多媒体的同步，同时相较于相关技术，根据本公开实施例的多媒体内容同步装置不依赖于h264视频编码的SEI信息，兼容性较高，易于扩展。

图8示出根据本公开一实施例的多媒体内容同步装置的框图。该装置可以应用于直播过程中。如图8所示，该装置60可以包括：

第一确定模块61，用于获取到第一多媒体内容时，确定所述第一多媒体内容的发布时刻；

第二确定模块62，用于确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，所述第二多媒体内容为需要直播的内容；

第一发送模块63，用于发送第一多媒体信息，所述第一多媒体信息包括所述采集端时间戳和所述第一多媒体内容。

图9示出根据本公开一实施例的多媒体内容同步装置的框图。如图9所示，在一种可能的实现方式中，所述装置60还包括：

更新模块64，用于根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳；

所述第二确定模块62包括：

获取子模块621，用于获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻；

调整子模块622，用于采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到所述采集端时间戳。

在一种可能的实现方式中，所述第一发送模块63包括：

发送子模块631，用于向终端和内容分发服务器分别发送所述第一多媒体信息。

图10示出根据本公开一实施例的多媒体内容同步装置的框图。该装置可以应用于直播过程中。如图10所示，该装置70可以包括：

第二发送模块71，用于采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳；

推送模块72，用于实时对采集到的第二多媒体内容进行编码和封装，得到第二多媒体信息，并向内容分发服务器推送所述第二多媒体信息，以通过所述内容分发服务器向各终端分发所述第二多媒体信息进行播放。

图11是根据一示例性实施例示出的一种用于多媒体内容同步的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图11，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (24)

1.一种多媒体内容同步方法，其特征在于，所述方法应用于直播过程中，所述方法包括：

接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容；

基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容；

在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

2.根据权利要求1所述的方法，其特征在于，所述基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容，包括：

在所述采集端时间戳小于或者等于所述播放时间戳时，立刻展示所述第一多媒体内容。

3.根据权利要求1所述的方法，其特征在于，所述基于所述采集端时间戳和所述播放时间戳的比较结果，展示所述第一多媒体内容，包括：

在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值小于或者等于时间阈值时，等待时长为所述差值的时间后展示所述第一多媒体内容。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：

接收发布设备推送的所述第一多媒体信息，和/或以轮询的方式从内容分发服务器获取所述第一多媒体信息。

5.根据权利要求4所述的方法，其特征在于，所述第二多媒体内容为视频和/或音频，所述第一多媒体内容为与所述第二多媒体内容对应的交互信息。

6.一种多媒体内容同步方法，其特征在于，所述方法应用于直播过程中，所述方法包括：

获取到第一多媒体内容时，确定所述第一多媒体内容的发布时刻；

确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，所述第二多媒体内容为需要直播的内容；

发送第一多媒体信息，所述第一多媒体信息包括所述采集端时间戳和所述第一多媒体内容，其中，在所述采集端时间戳大于终端接收到第一多媒体信息时获取的当前时刻播放器的播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，终端在等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳；

所述确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，包括：

获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻；

采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到所述采集端时间戳。

8.根据权利要求7所述的方法，其特征在于，所述发送第一多媒体信息，包括：

向终端和内容分发服务器分别发送所述第一多媒体信息。

9.一种多媒体内容同步方法，其特征在于，所述方法应用于直播过程中，所述方法包括：

采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳；

实时对采集到的第二多媒体内容进行编码和封装，得到第二多媒体信息，并向内容分发服务器推送所述第二多媒体信息，以通过所述内容分发服务器向各终端分发所述第二多媒体信息进行播放，其中，在采集端时间戳大于终端接收到第一多媒体信息时获取的当前时刻播放器的播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，终端在等待时长为所述时间阈值的时间后展示所述第一多媒体内容；所述第一多媒体信息包括第一多媒体内容和所述采集端时间戳；所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集到的第二多媒体内容的时间戳。

10.一种多媒体内容同步装置，其特征在于，所述装置应用于直播过程中，所述装置包括：

获取模块，用于接收到第一多媒体信息时，获取当前时刻播放器的播放时间戳，所述第一多媒体信息包括第一多媒体内容和采集端时间戳，所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集设备采集到的第二多媒体内容的时间戳，所述第二多媒体内容为所述播放器播放的内容；

展示模块，用于基于所述采集端时间戳和所述播放时间戳的比较结果，同步展示所述第一多媒体内容和所述第二多媒体内容；在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

11.根据权利要求10所述的装置，其特征在于，所述展示模块包括：

第一展示子模块，用于在所述采集端时间戳小于或者等于所述播放时间戳时，立刻展示所述第一多媒体内容。

12.根据权利要求10所述的装置，其特征在于，所述展示模块包括：

第二展示子模块，用于在所述采集端时间戳大于所述播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

13.根据权利要求10至12中任意一项所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收发布设备推送的所述第一多媒体信息，和/或以轮询的方式从内容分发服务器获取所述第一多媒体信息。

14.根据权利要求13所述的装置，其特征在于，所述第二多媒体内容为视频和/或音频，所述第一多媒体内容为与所述第二多媒体内容对应的交互信息。

15.一种多媒体内容同步装置，其特征在于，所述装置应用于直播过程中，所述装置包括：

第一确定模块，用于获取到第一多媒体内容时，确定所述第一多媒体内容的发布时刻；

第二确定模块，用于确定在所述发布时刻采集设备采集到的第二多媒体内容的时间戳，得到采集端时间戳，所述第二多媒体内容为需要直播的内容；

第一发送模块，用于发送第一多媒体信息，所述第一多媒体信息包括所述采集端时间戳和所述第一多媒体内容，其中，在所述采集端时间戳大于终端接收到第一多媒体信息时获取的当前时刻播放器的播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，终端在等待时长为所述时间阈值的时间后展示所述第一多媒体内容。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

更新模块，用于根据来自采集设备的第二多媒体内容的时间戳，实时更新本地的第二多媒体内容的时间戳；

所述第二确定模块包括：

获取子模块，用于获取本地的第二多媒体内容的最新的时间戳，以及接收到该最新的时间戳的接收时刻；

调整子模块，用于采用所述发布时刻和所述接收时刻，调整所述最新的时间戳，得到所述采集端时间戳。

17.根据权利要求16所述的装置，其特征在于，所述第一发送模块包括：

发送子模块，用于向终端和内容分发服务器分别发送所述第一多媒体信息。

18.一种多媒体内容同步装置，其特征在于，所述装置应用于直播过程中，所述装置包括：

第二发送模块，用于采集第二多媒体内容时，实时向发布设备发送采集到第二多媒体内容的时间戳；

推送模块，用于实时对采集到的第二多媒体内容进行编码和封装，得到第二多媒体信息，并向内容分发服务器推送所述第二多媒体信息，以通过所述内容分发服务器向各终端分发所述第二多媒体信息进行播放，其中，在采集端时间戳大于终端接收到第一多媒体信息时获取的当前时刻播放器的播放时间戳，且所述采集端时间戳与所述播放时间戳的差值大于时间阈值时，终端在等待时长为所述时间阈值的时间后展示所述第一多媒体内容；所述第一多媒体信息包括第一多媒体内容和所述采集端时间戳；所述采集端时间戳为在所述第一多媒体内容的发布时刻，采集到的第二多媒体内容的时间戳。

19.一种多媒体内容同步装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至5中任意一项所述的方法。

20.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的方法。

21.一种多媒体内容同步装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求6至8中任意一项所述的方法。

22.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求6至8中任意一项所述的方法。

23.一种多媒体内容同步装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求9所述的方法。

24.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求9所述的方法。

Images