CN114189727B - 同步播放方法、装置、系统、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供了一种同步播放方法、装置、系统、电子设备及可读存储介质，该方法通过各个设备均采用相同的预定基准序列来播放码流，使得从设备与主设备保持播放基准的同步；且主设备将码流对应的播放时间戳封装至码流的协议头，发送给各个从设备，实现在转发码流的同时，也将相应的同步信息发给了从设备，有效提升了同步播放效果，降低播放延迟，并减少了多余的广播报文，能够提高产品的级联规模上限。

Description

同步播放方法、装置、系统、电子设备及可读存储介质

技术领域

本申请涉及多媒体技术领域，具体而言，本申请涉及一种同步播放方法、装置、系统、电子设备及可读存储介质。

背景技术

为了应对日益增长的多媒体数据，尤其是多媒体的播放显示，应运而生了多解码器级联的解决方案。其具有经济、灵活的特点，能够有效克服单台解码器解码显示能力有限的情况。且由于组网方式灵活，可以覆盖大中小规模等各种应用场景，在带宽足够的条件下，可以提供极大路数的解码显示服务。

然而，多解码器级联的方案中，也存在待解决的技术难题。因为不同的设备通常很难具有完全统一的硬件时钟，在多台解码器拼接来播放同一媒体流时，往往会出现不同步的现象，严重影响显示效果。

发明内容

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

第一方面，本申请还提供了一种同步播放方法，该方法包括：

接收主设备发送的封装码流，封装码流的协议头中封装有主设备生成的播放时间戳；

对码流进行解封，得到基本码流和播放时间戳；

与主设备均基于预定基准序列及播放时间戳同步播放基本码流。

在一种可选的实现方式中，该方法还包括：

获取主设备生成的预定基准序列；

将当前序列调整为预定基准序列。

在一种可选的实现方式中，获取主设备生成的预定基准序列，包括：

采用预设的获取频率来获取预定基准序列，获取频率不小于主设备发送预定基准序列的发送频率的两倍。

在一种可选的实现方式中，播放时间戳是主设备基于预定基准序列生成的。

第二方面，本申请提供了一种同步播放方法，该方法包括：

将收到的基本码流进行转码，并生成对应的播放时间戳；

将播放时间戳封装至基本码流的协议头中，得到封装码流；

将封装码流发送给各个从设备，以使得各个从设备均基于预定基准序列及播放时间戳播放基本码流；

基于预定基准序列及播放时间戳与各个从设备同步播放基本码流。

在一种可选的实现方式中，该方法还包括：

生成实际序列作为预定基准序列；

将预定基准序列发送给各个从设备。

在一种可选的实现方式中，将预定基准序列发送给各个从设备，包括：

按照预设的发送频率，将预定基准序列发送给各个从设备。

在一种可选的实现方式中，生成对应的播放时间戳，包括：

基于预定基准序列生成对应的播放时间戳。

第三方面，本申请还提供了一种同步播放方法，该方法包括：

主设备将收到的基本码流进行转码，并生成对应的播放时间戳；

主设备将播放时间戳封装至基本码流的协议头中，得到封装码流；

主设备将封装码流发送给各个从设备；

各个从设备分别对码流进行解封，得到对应的基本码流和播放时间戳；

主设备和各个从设备均基于预定基准序列及播放时间戳来同步播放基本码流。

在一种可选的实现方式中，该方法还包括：

主设备生成实际序列作为预定基准序列；

主设备将预定基准序列发送给各个从设备；

各个从设备均将当前序列调整为预定基准序列。

在一种可选的实现方式中，主设备生成对应的播放时间戳，包括：

主设备基于预定基准序列生成对应的播放时间戳。

第四方面，本申请还提供了一种同步播放装置，该装置包括：

接收模块，用于接收主设备发送的封装码流，封装码流的协议头中封装有主设备生成的播放时间戳；

解封模块，用于对码流进行解封，得到基本码流和播放时间戳；

第一播放模块，用于与主设备均基于预定基准序列及播放时间戳同步播放基本码流。

在一种可选的实现方式中，该装置还包括：

获取模块，用于获取主设备生成的预定基准序列；

调整模块，用于将当前序列调整为预定基准序列。

在一种可选的实现方式中，获取模块在用于获取主设备生成的预定基准序列时，具体用于：

采用预设的获取频率来获取预定基准序列，获取频率不小于主设备发送预定基准序列的发送频率的两倍。

在一种可选的实现方式中，播放时间戳是主设备基于预定基准序列生成的。

第五方面，本申请还提供了一种同步播放装置，该装置包括：

转码模块，用于将收到的基本码流进行转码，并生成对应的播放时间戳；

封装模块，用于将播放时间戳封装至基本码流的协议头中，得到封装码流；

发送模块，用于将封装码流发送给各个从设备，以使得各个从设备均基于预定基准序列及播放时间戳播放基本码流；

第二播放模块，用于基于预定基准序列及播放时间戳与各个从设备同步播放基本码流。

在一种可选的实现方式中，该装置还包括：

生成模块，用于生成实际序列作为预定基准序列；

发送模块还用于将预定基准序列发送给各个从设备。

在一种可选的实现方式中，发送模块在用于将预定基准序列发送给各个从设备时，具体用于：

按照预设的发送频率，将预定基准序列发送给各个从设备。

在一种可选的实现方式中，转码模块在用于生成对应的播放时间戳时，具体用于：

基于预定基准序列生成对应的播放时间戳。

第六方面，本申请还提供了一种同步播放系统，该系统包括：

主设备，用于将收到的基本码流进行转码，并生成对应的播放时间戳；将播放时间戳封装至基本码流的协议头中，得到封装码流；将封装码流发送给各个从设备；

至少一个从设备，分别用于对码流进行解封，得到对应的基本码流和播放时间戳；

主设备和各个从设备均还用于基于预定基准序列及播放时间戳来同步播放基本码流。

在一种可选的实现方式中，主设备还用于生成实际序列作为预定基准序列；将预定基准序列发送给各个从设备。

第七方面，本申请还提供了一种电子设备，该电子设备包括：

处理器和存储器，存储器存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本申请的第一方面或第二方面中所示的方法。

第八方面，本申请还提供了一种可读存储介质，该可读存储介质用于存储计算机指令、程序、代码集或指令集，当该计算机指令、程序、代码集或指令集在计算机上运行时，使得计算机执行如本申请的第一方面或第二方面中所示的方法。

本申请提供的同步播放方法、装置、系统、电子设备及可读存储介质，通过各个设备均采用相同的预定基准序列来播放码流，使得从设备与主设备保持播放基准的同步；且主设备将码流对应的播放时间戳封装至码流的协议头，发送给各个从设备，实现在转发码流的同时，也将相应的同步信息发给了从设备，有效提升了同步播放效果，降低播放延迟，并减少了多余的广播报文，能够提高产品的级联规模上限。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种同步播放方法的流程示意图；

图2为本申请实施例提供的另一种同步播放方法的流程示意图；

图3为本申请实施例提供的又一种同步播放方法的流程示意图；

图4为本申请实施例提供的一种级联网络的示意图；

图5为本申请实施例提供的再一种同步播放方法的流程示意图；

图6为本申请实施例提供的播放效果的示意图；

图7为本申请实施例提供的一种同步播放装置的结构示意图；

图8为本申请实施例提供的另一种同步播放装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本申请实施例提供了一种同步播放方法，如图1所示，该方法包括：

步骤S101：将收到的基本码流(elementary stream，ES)进行转码，并生成对应的播放时间戳；

在本申请实施例中，该方法由级联网络中的主设备执行。其中，主设备也可称为主解码设备，同理地，下文中从设备也可称为从解码设备。主设备或从设备可以是指终端设备，也可以是指安装于终端设备上的应用程序。实际应用中，其构造可以应用于诸如智能电话、平板电脑、便携式多媒体播放器、导航装置等移动终端，也可以应用于诸如数字电视、台式计算机、监控摄像头等固定类型的终端。

实际应用中，码流的类型可以包括但不限于视频、音频等由帧组成的媒体类型。

本申请实施例中，播放时间戳也可称为PlayTick，由主设备的CPU(例如利用同步(sync)模块)收流之后根据当前时间生成。播放时间戳随着帧序号的增长而增长，用于标记帧与帧之间的采样间隔。本申请实施例中，通过PlayTick能够解决播放流畅性问题。

步骤S102：将播放时间戳封装至基本码流的协议头中，得到封装码流；

本申请实施例中，将PlayTick打包至ES流的协议头中，便可得到带有PlayTick的ES流数据。本领域技术人员可以理解，码流的每一帧都有相同的PlayTick。

一个实施例中，可以将PlayTick数据打包在RTP(Real-time TransportProtocol，实时传输协议)协议的协议头的扩展字段中，其他实施例中，也可以采用其他打包方式。

将带有PlayTick的ES流重新打包封装，即得到封装码流，以便在后续步骤中通过级联网络转发给各个从解码设备。

步骤S103：将封装码流发送给各个从设备，以使得各个从设备均基于预定基准序列及播放时间戳播放基本码流；

其中，序列也可称为Sequence，用于对每个帧的播放进行计数，码流每播放一帧计数就加1，播放一帧完毕时改变。以基本码流为视频流为例，Sequence可以是一个帧渲染的计数，视频每送显渲染一帧计数就加1，渲染一帧完毕时改变。

因为各个设备使用的晶振存在微小偏差，所以解码器硬件时钟较难做到完全同步。本申请实施例中，设置了预定基准序列作为级联网络中码流播放的参考系，即主解码设备和从解码设备采用相同的预定基准序列来播放基本码流，也可称为全局Sequence，使得主设备与从设备保持播放基准的同步。

步骤S104：基于预定基准序列及播放时间戳与各个从设备同步播放基本码流。

在从设备接收到封装码流后，主设备便可和从设备同步播放对应的基本码流。

本申请实施例中，主设备将封装码流发送给各个从设备，实现在转发码流的同时，也将相应的同步信息发给了从设备，由于所有解码器的每一个CPU都使用同一个全局Sequence作为参考系，每一帧数据发送到不同的设备使用的也是相同的PlayTick，从而有效实现级联设备播放帧的同步效果。另外，将播放时间戳打包在协议头进行转发，能够有效减少多余的广播报文。

本申请实施例提供的同步播放方法，通过各个设备均采用相同的预定基准序列来播放码流，使得从设备与主设备保持播放基准的同步；且主设备将码流对应的播放时间戳封装至码流的协议头，发送给各个从设备，实现在转发码流的同时，也将相应的同步信息发给了从设备，有效提升了同步播放效果，降低播放延迟，并减少了多余的广播报文，能够提高产品的级联规模上限。

本申请实施例中提供了一种可能的实现方式，主设备在执行上述方法时，如图2所示，还可以执行如下步骤：

步骤S201：生成实际序列作为预定基准序列；

本申请实施例中，预定基准序列设置为级联网络的主设备生成的实际序列，即主设备生成的实际Sequence作为级联网络中码流播放的参考系。级联网络有了该播放基准Sequence，便能更好地实现同步播放。

该预定基准Sequence的执行方式以基本码流为视频流为例：当级联网络播放视频流时，每个CPU每渲染一帧，在帧渲染间隔期间就会产生一个vblank(垂直空白间隔，vertical blank interval，VBI)中断，每次在中断时间内，都将Sequence+1。

步骤S202：将预定基准序列发送给各个从设备。

为了得到统一的播放基准，将主设备的产生的Sequence值发往各个从设备，以便从设备能够采用该播放基准进行播放。

本申请实施例中，针对主设备存在多个CPU的情况，预定基准Sequence可以由主设备的主CPU生成，发送到级联网络的所有从设备的各个CPU中，并让本设备的各个从CPU获取，作为级联网络中同步播放的参考系。其中，本领域技术人员可以根据实际情况来确定主设备的主CPU，例如随机确定或采用设定的算法确定等，本申请实施例在此不做限定。

实际应用中，可以采用组播报文或一对一单独发送等方式，将预定基准序列发送给各个从设备。可以理解，通过组播的方式进行发送，可以增强报文的发送效率，优化网络性能，适应灵活的组网方式。而考虑到Sequence的数据量较小，也可以采用单独发送的方式，使得传输的数据更加可靠。

同理地，在步骤S103中，也可以采用组播报文或一对一单独发送等方式，将封装码流发送给各个从设备。若采用单独发送的方式，可以使传输的数据更加可靠。而考虑到封装码流的数据量较大，可以采用组播的方式进行发送，可以增强发送效率，优化网络性能，适应灵活的组网方式。

本申请实施例中，对于步骤S202，具体可以包括：按照预设的发送频率，将预定基准序列发送给各个从设备。

作为示例地，主解码设备可以按60次/秒的发送频率发送该预定基准Sequence。实际应用中，本领域技术人员可以实际情况对用于全局参考的Sequence的发送频率进行设置，本申请实施例在此不做限定。

本申请实施例中提供了其他可能的实现方式，播放基准采用任一从设备或其他设备的CPU实际生成的Sequence，并由该生成Sequence的设备发送给主设备和其他从设备。具体的实施方式可参照上一种实现方式的介绍，在此不再赘述。

本申请实施例中，在主设备生成对应的播放时间戳时，提供了一种可能的实现方式，可以基于预定基准序列生成对应的播放时间戳。

即主设备直接根据预定基准Sequence直接计算得到的PlayTick，例如主设备基于预定基准序列和帧缓存数量生成对应的播放时间戳，具体公式是：

PlayTick＝Sequence+缓存帧数量

这样当PlayTick值与增长的Sequence相等时，从设备便可将对应帧送入解码模块进解码播放，能够使同步播放的计算最简化，提升同步播放效率与可靠性。

那么，在预定基准Sequence采用主设备生成的实际序列时，主设备通过其CPU的播放控制计算得到PlayTick，即所有的播放控制基于预定基准Sequence，也可以理解为，主设备根据预定基准Sequence生成PlayTick。也就是说，由主设备生成的实际序列作为预定基准Sequence，并定期将预定基准Sequence发送给从设备，以及主设备将生成的播放时间戳发送给从设备，进行同步播放，即可实现同步播放的计算最简化，提升同步播放效率与可靠性。

下面将结合附图对各个从设备的实施方式作进一步地详细描述。

本申请实施例提供了一种同步播放方法，如图3所示，该方法包括：

步骤S301：接收主设备发送的封装码流，封装码流的协议头中封装有主设备生成的播放时间戳；

在本申请实施例中，该方法由级联网络中的每个从设备执行。

对于本申请实施例，播放时间戳是由主设备对应收到的基本码流生成的。每个从设备在接收到主解码设备转发的封装码流后，可以先判断协议头中是否携带有PlayTick，如果有，就表明该封装码流是由主解码设备转发而来，需要进行同步播放的数据流，便可执行后续步骤。

步骤S302：对码流进行解封，得到基本码流和播放时间戳；

本申请实施例中，将获取到的PlayTick时间戳保存下来，同时将对应的帧数据保存至缓存中，等待预定的播放时间。

步骤S303：与主设备均基于预定基准序列及播放时间戳同步播放基本码流。

本申请实施例中，设置了预定基准序列作为级联网络中码流播放的参考系，即从解码设备和主解码设备采用相同的预定基准序列来播放基本码流，使得从设备与主设备保持播放基准的同步。

预定基准Sequence且由于每一个解码设备都使用同一个全局Sequence作为参考系，各个从设备便可根据码流附带的播放时间戳，保证每一帧数据在播放时与主设备使用的都是相同的PlayTick，即可实现不同设备的所有画面在同一时刻播放同一帧，从而有效实现级联设备播放帧的同步效果。

本申请实施例中提供了一种可能的实现方式，每个从设备在执行上述方法时，还可以执行如下步骤：

获取主设备生成的预定基准序列；

将当前序列调整为预定基准序列。

本申请实施例中，预定基准序列设置为级联网络的主设备生成的实际序列，即主设备的生成的实际Sequence作为级联网络中码流播放的参考系。级联网络有了该播放基准Sequence，便能更好地实现同步播放。因此从设备从主设备获取预定基准Sequence，便可将当前序列调整为与主设备相同的序列，用于同步播放时使用，这样每个设备都得到了一个全局的播放基准值。

具体地，该步骤可以包括：采用预设的获取频率来获取预定基准序列，其中，获取频率不小于主设备发送预定基准序列的发送频率的两倍。

本申请实施例中，可以参考采样定理理论，即采样频率至少是被采样频率的2倍，设置获取频率不小于主设备发送预定基准序列的发送频率的两倍。作为示例地，设置主解码设备按60次/秒发送预定基准Sequence，则各个从设备可以按60x2＝120次/秒从组播地址中获取预定基准Sequence并保存。实际应用中，本领域技术人员可以实际情况对预定基准Sequence的获取频率进行设置，本申请实施例在此不做限定。

本申请实施例中提供了其他可能的实现方式，播放基准采用任一从设备或其他设备的CPU实际生成的Sequence，则从生成Sequence的设备接收设定Sequence。若本从设备为生成Sequence的设备，则需要将生成的设定Sequence发送给主设备和其他从设备。具体的实施方式可参照上述实现方式的介绍，在此不再赘述。

本申请实施例提供了一种可能的实现方式，播放时间戳是主设备基于预定基准序列生成的。

具体地，播放时间戳是由主设备直接根据预定基准Sequence直接计算生成，例如主设备基于预定基准序列和帧缓存数量生成对应的播放时间戳，具体公式是：

PlayTick＝Sequence+缓存帧数量

这样当PlayTick值与增长的Sequence相等时，从设备便可将对应帧送入解码模块进解码播放，能够使同步播放的计算最简化，提升同步播放效率与可靠性。

那么，在预定基准Sequence采用主设备生成的实际序列时，主设备通过其CPU的播放控制计算得到PlayTick，即所有的播放控制基于预定基准Sequence，也可以理解为，主设备根据预定基准Sequence生成PlayTick。也就是说，由主设备生成的实际序列作为预定基准Sequence，并定期将预定基准Sequence发送给从设备，以及主设备将生成的播放时间戳发送给从设备，而从设备将当前设备调整为预定基准Sequence，便可直接利用接收的播放时间戳进行同步播放，使得计算最简化，提升同步播放效率与可靠性。

下面将结合附图对级联网络的实施方式作进一步地详细描述。

级联网络是指多台解码器通过网络交换机互联，组成的一个播放系统。以视频码流为例，如图4所示，主解码设备与从设备1、从设备2等从设备之间利用交换机来相互传递设备级联BP(Belief Propagation，置信传播)消息来更新当前整个级联网络的状态。每台设备通过视频线缆信号在大屏(或控制软件界面)上共同显示待播放的视频流。

本申请实施例中，级联网络由一台主设备负责接收待播放数据，再将待播放数据转发给各个从设备，最终多台设备在界面上以一台设备的形式进行播放，管理整个级联网络也就是管理这台抽象的级联设备。

实际应用中，主设备与各个从设备可以是相同类型的设备，也可以是不同类型的设备，本领域技术人员可以根据实际情况来确定级联网络中主设备，例如随机确定或采用其他条件确定等，本申请实施例在此不做限定。

具体地，本申请实施例提供了一种同步播放方法，如图5所示，该方法包括步骤：主设备将收到的基本码流进行转码，并生成对应的播放时间戳；主设备将播放时间戳封装至基本码流的协议头中，得到封装码流；主设备将封装码流发送给各个从设备；各个从设备分别对码流进行解封，得到对应的基本码流和播放时间戳；主设备和各个从设备均基于预定基准序列及播放时间戳来同步播放基本码流。

其中，码流的类型可以包括但不限于视频、音频等由帧组成的媒体类型。可以理解，对于视频码流，播放也可以认为是渲染。

本申请实施例中，播放时间戳由主设备的CPU收流之后根据当前时间生成。主设备将PlayTick打包至ES流的协议头中，便可得到带有PlayTick的ES流数据，即每一帧都有相同的PlayTick。可选地，将PlayTick数据打包在RTP协议头的私有字段中。进而将带有PlayTick的ES流重新打包封装，即得到封装码流，通过级联网络转发给各个从解码设备。

每个从设备在接收到主解码设备转发的封装码流后，可以先判断协议头中是否携带有PlayTick，如果有，就表明该封装码流是由主解码设备转发而来，需要进行同步播放的数据流。将获取到的PlayTick时间戳保存下来，同时将对应的帧数据保存至缓存中，等待预定的播放时间。

本申请实施例中，设置了预定基准序列作为级联网络中码流播放的参考系，即主解码设备和从解码设备采用相同的预定基准序列来播放基本码流，使得主设备与从设备保持播放基准的同步。

对于申请实施例，主设备将封装码流发送给各个从设备，实现在转发码流的同时，也将相应的同步信息播放时间戳发给了从设备，由于所有解码器的每一个CPU都使用同一个全局Sequence作为参考系，各个从设备便可根据码流附带的播放时间戳，保证每一帧数据在播放时与主设备使用的都是相同的PlayTick，即可实现不同设备的所有画面在同一时刻播放同一帧，从而有效实现级联设备播放帧的同步效果。另外，将播放时间戳打包在协议头进行转发，能够有效减少多余的广播报文。

本申请实施例提供的同步播放方法，通过各个设备均采用相同的预定基准序列来播放码流，使得从设备与主设备保持播放基准的同步；且主设备将码流对应的播放时间戳封装至码流的协议头，发送给各个从设备，实现在转发码流的同时，也将相应的同步信息发给了从设备，有效提升了同步播放效果，降低播放延迟，并减少了多余的广播报文，能够提高产品的级联规模上限。

本申请实施例中提供了一种可能的实现方式，上述方法时还可以包括如下步骤：主设备生成实际序列作为预定基准序列；主设备将预定基准序列发送给各个从设备；各个从设备均将当前序列调整为预定基准序列。

本申请实施例中，预定基准序列设置为级联网络的主设备生成的实际序列，即主设备生成的实际Sequence作为级联网络中码流播放的参考系。级联网络有了该播放基准Sequence，便能更好地实现同步播放。

为了得到统一的播放基准，将主设备的产生的Sequence值发往各个从设备，以便从设备能够采用该播放基准进行播放。

从设备从主设备获取预定基准Sequence，用于同步播放时使用，这样每个设备都得到了一个全局的播放基准值。

具体地，主设备按照预设的发送频率，将预定基准序列发送给各个从设备；各个从设备分别采用预设的获取频率来获取预定基准序列；其中，获取频率不小于发送频率的两倍。

实际应用中，本领域技术人员可以实际情况对预定基准Sequence的发送频率和获取频率进行设置，本申请实施例在此不做限定。作为示例地，设置主解码设备按60次/秒发送预定基准Sequence，而各个从设备按60x2＝120次/秒从组播地址中获取预定基准Sequence并保存。可选地，可以参考采样定理理论，即获取频率至少是发送频率的2倍。

本申请实施例中，在主设备生成对应的播放时间戳时，提供了一种可能的实现方式，主设备基于预定基准序列生成对应的播放时间戳。

即主设备直接根据预定基准Sequence直接计算得到的PlayTick，例如主设备基于预定基准序列和帧缓存数量生成对应的播放时间戳，具体公式是：

PlayTick＝Sequence+缓存帧数量

这样当PlayTick值与增长的Sequence相等时，从设备便可将对应帧送入解码模块进解码播放，能够使同步播放的计算最简化，提升同步播放效率与可靠性。

那么，在预定基准Sequence采用主设备生成的实际序列时，主设备通过其CPU的播放控制计算得到PlayTick，即所有的播放控制基于预定基准Sequence，也可以理解为，主设备根据预定基准Sequence生成PlayTick。也就是说，由主设备生成的实际序列作为预定基准Sequence，并定期将预定基准Sequence发送给从设备，以及主设备将生成的播放时间戳发送给从设备，进行同步播放，即可实现同步播放的计算最简化，提升同步播放效率与可靠性。

对于本申请实施例，为描述的方便和简洁，部分未详尽之处，可参考前述实施例中的相应内容，在此不再赘述。

本申请实施例提供的同步播放方法创新地将主解码设备在播放一帧(vblank期间)产生的Sequence作为播放的基准，并将主设备生成的Sequence发送至各个从解码设备作为整个级联网络的播放基准，相较于时钟同步的方案可以显著降低同步的次数，节省网络带宽和资源。

本申请实施例提供的同步播放方法直接利用RTP协议头的扩展字段，将待播放帧的时间戳PlayTick打包至RTP头中，再下发给各个从解码设备，这样一帧数据中既携带了需要播放的图像数据，又携带了本帧图像的播放时间戳，无需另外再进行播放的同步，减少了通信的带宽开销。

本申请实施例提供的同步播放方法，通过全局参考Sequence和同一帧数据的同一个playTick就可以实现级联网络分布式架构设备的同步播放功能，只需主解码设备向从解码设备单向广播，丢包的概率较低，稳定性较好；即使在较差的网络环境下出现丢包，本方案也可以自行恢复同步，可靠性好。

下面以三台解码设备组成的级联网络对视频码流进行播放为例，简述本申请实施例提供的方案的同步效果。

如图6所示，在通过本方案同步前，各个设备的Sequence各不相同，且不同设备针对同一视频帧的PlayTick也不一致，同一帧视频画面在不同的Sequence和PlayTick下播放，时间点相差较大，画面不同步。当通过本方案同步后，即使收到码流的时间点不一致，在Sequence基准和PlayTick一致的条件下，就可以实现级联的三台解码设备在相同的时间点同步播放的效果。

下面简单介绍本申请实施例提供的方案相较于两种现有技术的优势。

第一种现有技术中，视频解码器同步由同步机制和控制机制两部分组成。其中，同步机制由主解码器向从解码器发送广播包获取从解码器当前待解码帧的接收时间，取主解码器与各个从解码器间该帧接收的时间的差值的最大值作为主解码器显示该帧图像的延时，然后从解码器根据自身的接收时间算出自身需要的延时时间。控制机制为解码开始时，主解码器每收到一个视频帧就向各个从解码器广播一个帧号，表示准备解码该视频帧，每个从解码器延时时间再进行解码。这样就能让多台解码器拼接同步显示同一视频图像。

该现有技术的主要缺点包括：

(1)主设备从设备间需要反复发送报文，步骤多而繁琐，如果在网络情况不佳的状况下容易出现卡顿问题。

(2)视频帧等待时间以最慢的从设备为基准，增加了播放的延时，实时性较差。

(3)每播放一帧主设备就需要至少广播2次，且需要接收每一台从设备发回的延时信息，难以支持规模较大的级联设备

第二种现有技术中，多路解码器的同步控制包括主解码器与所属解码器编组内各从解码器进行时间同步操作的过程，具体的，主解码器首先向各从解码器发送同步报文，完成同步报文的发送后，向各从解码器发送跟随报文，以使各从解码器根据主解码器发送的同步报文和跟随报文，校准各自的时钟，其中，同步报文是用于校准从解码器时钟所发送的报文，跟随报文是携带了同步报文相关信息的在同步报文之后发送的报文。

该现有技术的主要缺点包括：

(1)需要两次发送接收同步报文来达到时钟的效果，耗时较长，会带来较大的播放延时。

(2)同步流程较长，在较大数量的解码器在线或者业务量的状况下同步效果较差。

相较于现有技术，本申请实施例提供的同步播放方法，减少了主解码设备与从设备间发送报文的次数，现有技术种需要主从之间来回通信两次，而本方案只需要主解码设备向从解码设备单向广播一次，这样可以大幅节省通信的开销，尤其是在网络情况不佳的状况下可以最大程度减少因为同步带来的开销，在保证同步的效果同时，可以支持较大规模的级联网络，不会因为通信问题导致规模瓶颈。

并且，本方案的所有视频帧等待时间基本固定，每台从解码设备接收到的时间基本相同，有着更高的可控制性，播放的延时可以自行控制，在调试阶段和应用阶段都可以简便地调节播放的延时。

本申请实施例提供的同步播放方法，可以应用多种同步播放场景，例如监控视频同步播放、直播音频/视频同步播放等，本领域技术人员可以基于实际情况进行扩展。

作为示例地，伴随着人民对美好安全生活的需求日益强烈，各行各业对于安防的稳定投入下，在线的摄像头数量也在不断增长，因此将日益增长的监控视频在电视墙上实时播放的需求也日益迫切。通过本申请实施例提供的方案，可以实现监控视频良好的同步播放效果，提升用户体验。

本申请实施例提供了一种同步播放装置，如图7所示，该同步播放装置70可以包括：转码模块701、封装模块702、发送模块703以及第二播放模块704，其中，

转码模块701用于将收到的基本码流进行转码，并生成对应的播放时间戳；

封装模块702用于将播放时间戳封装至基本码流的协议头中，得到封装码流；

发送模块703用于将封装码流发送给各个从设备，以使得各个从设备均基于预定基准序列及播放时间戳播放基本码流；

第二播放模块704用于基于预定基准序列及播放时间戳与各个从设备同步播放基本码流。

在一种可选的实现方式中，该同步播放装置70还包括：

生成模块705，用于生成实际序列作为预定基准序列；

发送模块703还用于将预定基准序列发送给各个从设备。

在一种可选的实现方式中，发送模块703在用于将预定基准序列发送给各个从设备时，具体用于：

按照预设的发送频率，将预定基准序列发送给各个从设备。

在一种可选的实现方式中，转码模块701在用于生成对应的播放时间戳时，具体用于：

基于预定基准序列生成对应的播放时间戳。

本领域的技术人员可以清楚地了解到，本申请实施例提供的同步播放装置，其实现原理及产生的技术效果和前述方法实施例相同，为描述的方便和简洁，装置实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例还提供了一种同步播放装置，如图8所示，该同步播放装置80可以包括：接收模块801、解封模块802以及第一播放模块803，其中，

接收模块801用于接收主设备发送的封装码流，封装码流的协议头中封装有主设备生成的播放时间戳；

解封模块802用于对码流进行解封，得到基本码流和播放时间戳；

第一播放模块803用于与主设备均基于预定基准序列及播放时间戳同步播放基本码流。

在一种可选的实现方式中，该同步播放装置80还包括：

获取模块804，用于获取主设备生成的预定基准序列；

调整模块805，用于将当前序列调整为预定基准序列。

在一种可选的实现方式中，获取模块804在用于获取主设备生成的预定基准序列时，具体用于：

采用预设的获取频率来获取预定基准序列，获取频率不小于主设备发送预定基准序列的发送频率的两倍。

在一种可选的实现方式中，播放时间戳是主设备基于预定基准序列生成的。

本领域的技术人员可以清楚地了解到，本申请实施例提供的同步播放装置，其实现原理及产生的技术效果和前述方法实施例相同，为描述的方便和简洁，装置实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例还提供了一种同步播放系统，该同步播放系统可以包括主设备和至少一个从设备，其中，

主设备用于将收到的基本码流进行转码，并生成对应的播放时间戳；将播放时间戳封装至基本码流的协议头中，得到封装码流；将封装码流发送给各个从设备；

每个从设备均用于对码流进行解封，得到对应的基本码流和播放时间戳；

主设备和各个从设备均还用于基于预定基准序列及播放时间戳来同步播放基本码流。

在一种可选的实现方式中，主设备还用于生成实际序列作为预定基准序列；将预定基准序列发送给各个从设备；各个从设备均还用于将当前序列调整为预定基准序列。

在一种可选的实现方式中，主设备还用于按照预设的发送频率，将预定基准序列发送给各个从设备；

各个从设备分别还用于采用预设的获取频率来获取预定基准序列；

其中，获取频率不小于发送频率的两倍。

本领域的技术人员可以清楚地了解到，本申请实施例提供的同步播放系统，其实现原理及产生的技术效果和前述方法实施例相同，为描述的方便和简洁，系统实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：通过各个设备均采用相同的预定基准序列来播放码流，使得从设备与主设备保持播放基准的同步；且主设备将码流对应的播放时间戳封装至码流的协议头，发送给各个从设备，实现在转发码流的同时，也将相应的同步信息发给了从设备，有效提升了同步播放效果，降低播放延迟，并减少了多余的广播报文，能够提高产品的级联规模上限。

在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备900包括：处理器901和存储器903。其中，处理器901和存储器903相连，如通过总线902相连。可选地，电子设备900还可以包括收发器904，收发器904可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器904不限于一个，该电子设备900的结构并不构成对本申请实施例的限定。

处理器901可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器901也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线902可包括一通路，在上述组件之间传送信息。总线902可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线902可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器903可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器903用于存储执行本申请方案的应用程序代码(计算机程序)，并由处理器901来控制执行。处理器901用于执行存储器903中存储的应用程序代码，以实现前述方法实施例所示的内容。

作为示例地，电子设备可以用于主设备的执行内容，也可以用于从设备的执行内容。

本申请实施例提供了一种可读存储介质，例如计算机可读存储介质，该可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

作为示例地，可读存储介质可以用于主设备的执行内容，也可以用于从设备的执行内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种同步播放方法，其特征在于，包括：

从主设备接收预定基准序列，所述预定基准序列是基于所述主设备的中央处理器CPU在帧渲染间隔期间产生的垂直空白间隔中断生成的；

将当前序列调整为所述预定基准序列；

接收所述主设备发送的封装码流，所述封装码流的协议头中封装有所述主设备生成的播放时间戳；

对所述码流进行解封，得到基本码流和所述播放时间戳；

与所述主设备均基于所述预定基准序列及所述播放时间戳同步播放所述基本码流。

2.根据权利要求1所述的同步播放方法，其特征在于，所述播放时间戳是所述主设备基于所述预定基准序列生成的。

3.一种同步播放方法，其特征在于，包括：

基于中央处理器CPU在帧渲染间隔期间产生的垂直空白间隔中断生成预定基准序列；

将所述预定基准序列发送给各个从设备；

将收到的基本码流进行转码，并生成对应的播放时间戳；

将所述播放时间戳封装至所述基本码流的协议头中，得到封装码流；

将所述封装码流发送给各个从设备，以使得所述各个从设备均基于所述预定基准序列及所述播放时间戳播放所述基本码流；

基于所述预定基准序列及所述播放时间戳与所述各个从设备同步播放所述基本码流。

4.根据权利要求3所述的同步播放方法，其特征在于，所述生成对应的播放时间戳，包括：

基于所述预定基准序列生成对应的播放时间戳。

5.一种同步播放方法，其特征在于，包括：

主设备基于中央处理器CPU在帧渲染间隔期间产生的垂直空白间隔中断生成预定基准序列；

所述主设备将所述预定基准序列发送给各个从设备；

所述各个从设备将当前序列调整为所述预定基准序列；

所述主设备将收到的基本码流进行转码，并生成对应的播放时间戳；

所述主设备将所述播放时间戳封装至所述基本码流的协议头中，得到封装码流；

所述主设备将所述封装码流发送给各个从设备；

所述各个从设备分别对所述码流进行解封，得到对应的基本码流和所述播放时间戳；

所述主设备和所述各个从设备均基于所述预定基准序列及所述播放时间戳来同步播放所述基本码流。

6.一种同步播放装置，其特征在于，包括：

接收模块，用于从主设备接收预定基准序列，所述预定基准序列是基于所述主设备的中央处理器CPU在帧渲染间隔期间产生的垂直空白间隔中断生成的；

调整模块，用于将当前序列调整为所述预定基准序列；

接收模块还用于接收所述主设备发送的封装码流，所述封装码流的协议头中封装有所述主设备生成的播放时间戳；

解封模块，用于对所述码流进行解封，得到基本码流和所述播放时间戳；

第一播放模块，用于与所述主设备均基于所述预定基准序列及所述播放时间戳同步播放所述基本码流。

7.一种同步播放装置，其特征在于，包括：

生成模块，用于基于中央处理器CPU在帧渲染间隔期间产生的垂直空白间隔中断生成预定基准序列；

发生模块，将所述预定基准序列发送给各个从设备；

转码模块，用于将收到的基本码流进行转码，并生成对应的播放时间戳；

封装模块，用于将所述播放时间戳封装至所述基本码流的协议头中，得到封装码流；

发送模块还用于将所述封装码流发送给各个从设备，以使得所述各个从设备均基于所述预定基准序列及所述播放时间戳播放所述基本码流；

第二播放模块，用于基于所述预定基准序列及所述播放时间戳与所述各个从设备同步播放所述基本码流。

8.一种同步播放系统，其特征在于，包括：

主设备，用于基于中央处理器CPU在帧渲染间隔期间产生的垂直空白间隔中断生成预定基准序列；将所述预定基准序列发送给各个从设备；

所述主设备还用于将收到的基本码流进行转码，并生成对应的播放时间戳；将所述播放时间戳封装至所述基本码流的协议头中，得到封装码流；将所述封装码流发送给各个从设备；

至少一个从设备，分别用于对所述码流进行解封，得到对应的基本码流和所述播放时间戳；

主设备和各个从设备均还用于基于所述预定基准序列及所述播放时间戳来同步播放所述基本码流。

9.一种电子设备，其特征在于，包括：处理器和存储器，

所述存储器存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令、程序、代码集或指令集，当所述计算机指令、程序、代码集或指令集在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的方法。