CN112217960B

CN112217960B - 一种多屏播放画面同步显示的方法

Info

Publication number: CN112217960B
Application number: CN202011097128.6A
Authority: CN
Inventors: 梁应龙; 周沙金; 番自蓉; 王翠丽
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2020-10-14
Filing date: 2020-10-14
Publication date: 2022-04-12
Anticipated expiration: 2040-10-14
Also published as: CN112217960A

Abstract

本发明涉及多媒体播放技术领域，其公开了一种多屏播放画面同步显示的方法，解决多个不同设备需要画面同步播放时，由于硬件存在差异、设备间通信引入时间消耗、后端图像渲染耗时不同导致的无法实现长时间播放画面精准同步的问题。本发明采用了三个阶段实现同步：阶段一通过同步播放基准时间与当前图像渲染时钟，实现主从设备播放进度快速同步，初步完成主从设备间播放画面的预同步；阶段二通过帧画面精确同步算法处理，解决网络通信耗时与视频帧渲染耗时差异引入的视频帧画面同步问题，实现主从设备播放画面的精确同步；阶段三通过循环定时精确同步处理，解决由于设备硬件差异导致的系统时间无法精准同步的问题，实现长时间播放画面的精准同步。

Description

一种多屏播放画面同步显示的方法

技术领域

本发明涉及多媒体播放技术领域，具体涉及一种多屏播放画面同步显示的方法。

背景技术

协同多个设备独立播放且保证多个播放画面同步显示在多个场景下都有应用。为了实现多设备独立播放且各个设备的画面保持同步，目前主流的画面同步实现方式包括起播时间同步，播放进度同步以及图像帧同步等方式，这三种技术从某些方面解决了多设备播放画面同步的问题，但都不彻底，无法实现多设备长时间画面精准同步播放效果。

影响多个不同设备长时间画面精准同步播放的因素如下：

因素一：由于设备与设备之间存在硬件差异，这种硬件差异，会引入系统时钟进度的差异，比如两个设备基准时间完全一致，系统时钟运行一段时间后，两个设备的系统时钟会有差异，设备运行时间越长，差异越大。

因素二：设备之间需要基于某种连接方式来实现通信，通信过程有时间消耗，这种时间消耗可能很小也可能很大，由于通信时间消耗的引入，会影响两个设备基准时钟的对齐，从而带来同步差异。

因素三：设备之间在图像渲染输出时，对图像帧的渲染处理流程不同，比如：有的设备要做画质参数的处理，有的设备要做MEMC(运动补偿)的处理，有的屏幕也会做图像帧缓存处理，所有这些不同的处理流程会带来不同的图像渲染耗时，并导致虽然在同一时间渲染同一幅画面，但最终在屏幕上显示的时间有先后，产生同步差异。

现有技术方案中，起播时间同步方式只是粗略解决了起播时间同步的问题，根本无法实现精确的画面同步效果；播放进度同步方式解决了进度时间轴一致的问题，但没有解决以上三大因素引入的不同步问题；图像帧同步方式只是解决了即时图像帧同步的问题，依然无法克服以上因素一和因素二引入的不同步问题。

发明内容

本发明所要解决的技术问题是：提出一种多屏播放画面同步显示的方法，解决多个不同设备需要画面同步播放时，由于硬件存在差异、设备间通信引入时间消耗、后端图像渲染耗时不同导致的无法实现长时间播放画面精准同步的问题。

本发明解决上述技术问题采用的技术方案是：

一种多屏播放画面同步显示的方法，应用于包括多个独立的播放设备的系统，各个播放设备均带有独立的播放器软件和显示屏硬件，其中一台播放设备为主设备，其它播放设备为从设备，主设备和从设备之间通过一定方式建立连接和通信；

该方法包括以下步骤：

步骤一、主设备启动播放某个视频资源，设定起始基准时钟，并记录视频资源的资源ID；

步骤二、主设备记录当前送去显示的视频帧的时间戳值；

步骤三、主设备获取当前送显视频帧从启动渲染到图像最终显示到屏幕这段过程的渲染处理耗时，并记录为主设备图像帧渲染耗时；

步骤四、主设备利用步骤二中记录的所述时间戳值减去步骤三中记录的所述主设备图像帧渲染耗时，记录为主设备的当前屏幕图像渲染时钟；

步骤五、从设备启动后，建立与主设备的通信连接；

步骤六、从设备通过通信连接链路，基于设定的通信协议，从主设备端获取到当前播放的视频资源ID、播放的起始基准时钟以及主设备的当前屏幕图像渲染时钟；

步骤七、从设备基于视频资源ID启动播放该视频资源，并基于起始基准时钟与当前屏幕图像渲染时钟信息计算出当前播放位置，然后直接时移到播放位置解码图像帧渲染播放；

步骤八、从设备获取当前视频帧从启动渲染到最终显示到屏幕上这段过程的渲染处理耗时，并记录为从设备图像帧渲染耗时；

步骤九、从设备通过与主设备的通信连接链路，基于设定的通信协议，从主设备端获取到主设备当前屏幕图像的渲染时钟和本次通信的时间消耗，结合从设备图像帧渲染耗时，并基于多设备显示画面精确同步算法，完成与主设备画面的精确同步处理；

步骤十、从设备在实现与主设备画面的精确同步后，按照播放流程正常播放，并每隔一定时间按照步骤九进行一次与主设备的画面精确同步处理。

作为进一步优化，所述主设备和从设备之间建立连接和通信的方式包括：网络连接或者物理通信连接。

作为进一步优化，所述主设备可任意指定，但在系统中有且只有一台。

作为进一步优化，步骤九中，所述多设备显示画面精确同步算法包括：

已知条件1：根据视频的帧率，可以计算得出视频帧的间隔时间，记为t；

已知条件2：主设备从第M帧到第N帧的总时间，记为T，T＝(N-M)*t；

已知条件3：从设备通过通信获取到主设备渲染第M帧的即时渲染时钟，并记录通信延迟时间为T_n；

已知条件4：从设备视频帧渲染耗时时间，记录为T_d；

设：从设备从获取到主设备渲染第M帧即时渲染时钟开始计时，等待一段时间后渲染视频第N帧，等待时间记为T_w；

要实现从设备与主设备在第N帧的画面精确同步，即要求如下等式成立：

T_n+T_w+T_d＝T

其中：T＝(N-M)×t

且：T_w≥0 N-M≥1

为了实现尽快的画面同步，即求取最小的N-M值，使得等式成立，则有：

当：T_n+T_d≤t时，N-M＝1，即N＝M+1；

计算得出：

T_w＝t-(T_n+T_d)

当：T_n+T_d>t时，

即N＝M+c；

计算得出：

T_w＝c×t-(T_n+T_d)

从设备在等待T_w时间后渲染视频第N帧，实现与主设备的精准画面同步。

本发明的有益效果是：

可以实现不同设备间播放画面的长时间精确同步显示，克服了现有技术的使用局限性与画面同步不够精确的技术缺陷。本发明可以实现硬件码流仪设备可以做到的多屏画面同步效果，从而实现对此类硬件设备的替代，大大节约了硬件采购成本，展现了很大的市场价值和应用前景。

附图说明

图1是本发明中的多屏播放画面同步显示的方法流程图；

图2是主从设备播放画面精确同步原理图。

具体实施方式

本发明旨在提出一种多屏播放画面同步显示的方法，解决多个不同设备需要画面同步播放时，由于硬件存在差异、设备间通信引入时间消耗、后端图像渲染耗时不同导致的无法实现长时间播放画面精准同步的问题。

本发明采取了三阶段同步策略，以实现多设备播放画面的长时间精确同步：阶段一，预同步播放处理；阶段二，精确同步处理；阶段三，定时同步处理。

其中，阶段一通过同步播放基准时间与当前图像渲染时钟，实现主从设备播放进度快速同步，初步完成主从设备间播放画面的预同步；阶段二通过帧画面精确同步算法处理，解决网络通信耗时与视频帧渲染耗时差异引入的视频帧画面同步问题，实现主从设备播放画面的精确同步；阶段三通过循环定时精确同步处理，解决由于设备硬件差异导致的系统时间无法精准同步的问题，实现长时间播放画面的精准同步。

在具体实现上，本发明中的多屏播放画面同步显示的方法流程如图1所示，其包括以下实现步骤：

1)播放初始化设定：主设备启动播放某个视频资源，并设定起始基准时钟，并记录视频资源的资源ID；

2)获取即时渲染时钟：主设备记录当前送去显示的视频帧的时间戳值；

3)主设备渲染耗时提取：主设备获取当前送显视频帧从启动渲染到图像最终显示到屏幕这段过程的渲染处理耗时，并记录为主设备图像帧渲染耗时；

4)校准图像渲染时钟：主设备用步骤2)中的时间戳值减去步骤3)中的图像帧渲染耗时，记录为当前屏幕图像渲染时钟，也就是当前屏幕图像的显示时钟；

5)建立通信连接：从设备启动后，建立从设备与主设备的通信连接；

6)同步基准信息：从设备通过通信连接通路，基于设定的通信协议，从主设备端获取到当前播放的视频资源ID、播放的起始基准时钟、以及主设备当前屏幕图像渲染时钟；

7)预同步播放处理：从设备基于视频资源ID启动播放该视频资源，并基于起始基准时钟与当前屏幕图像渲染时钟信息计算出当前播放位置，然后直接时移到播放位置解码图像帧渲染播放；完成此步骤后，实现了本发明的预同步播放处理，也就是完成了阶段一同步策略；

8)从设备渲染耗时提取：从设备获取当前视频帧从启动渲染到最终显示到屏幕上这段过程的渲染处理耗时，并记录为图像帧渲染耗时；

9)精确同步处理：从设备通过与主设备的通信连接链路，基于设定的通信协议，从主设备端获取到主设备当前屏幕图像的渲染时钟和本次通信的时间消耗，从设备通过以上信息，并基于多设备显示画面精确同步算法，完成与主设备画面的精确同步处理；完成此步骤后，完成了本发明的第二阶段同步策略，即精确同步策略；

10)定时同步处理：从设备在实现与主设备画面的精确同步后，按照播放流程正常播放，并每隔一定时间，做一次与主设备的画面精确同步处理，具体做法与步骤9)一致。通过定时同步处理，保证长时间播放时的画面一直保持精确同步；完成此步骤后，即达成了本发明的第三阶段同步策略，即定时同步策略；

采用上述步骤就可以实现多设备画面的长时间同步播放，直到退出。

在本发明中，通信协议需自行定义与实现，通过此通信协议实现从设备获取主设备当前屏幕图像渲染时钟，并能获取到主从设备本次通信的耗时数据。

为了更加清晰地理解本发明，现结合附图2对本发明中的多设备显示画面精确同步算法的原理阐述如下：

已知条件4：从设备视频帧渲染耗时时间，记录为T_d；

T_n+T_w+T_d＝T

其中：

T＝(N-M)×t

且：

T_w≥0

N-M≥1

为了实现尽快的画面同步，即求取最小的N-M值，使得等式成立，也就是：

当：

T_n+T_d≤t时，N-M＝1，即N＝M+1；

计算得出：

T_w＝t-(T_n+T_d)

当：

T_n+T_d>t时，

即N＝M+c

计算得出：

T_w＝c×t-(T_n+T_d)

也就是从设备在等待T_w时间后渲染视频第N帧，实现与主设备的精准画面同步。

实施例1：

本实施例以家电卖场多个不同型号电视同步播放展示场景为例进行说明。家电卖场的展台上布置有多种型号，多种尺寸的电视机，这些电视在芯片、屏幕、画质等配置和参数上都存在差异。

设定家电卖场配置有局域网络，各个电视设备通过有线或无线方式接入局域网络；

设定要播放展示的视频资源已经拷贝到电视的SD存储卡中，且视频资源的ID保持一致；

设定视频的帧率为25帧/秒，帧间隔时间t＝40ms；

设定电视A为主设备，其余电视均为从设备；

本实施例中的多屏播放画面同步显示的方法包括以下步骤：

①主设备电视A启动播放视频资源，并设定起始基准时钟，并记录视频资源的资源ID；

②主设备电视A记录当前送去显示的视频帧的时间戳值；

③主设备电视A获取并记录当前视频帧从启动渲染到图像最终显示到屏幕这段过程的渲染处理耗时，实际值为180ms；

④主设备电视A用步骤②的时间戳值减去渲染处理耗时，记录为当前图像帧的渲染时钟，也就是当前屏幕图像的显示时钟；

⑤从设备B启动后，通过局域网络建立与主设备电视A的通信连接；

⑥从设备B通过通信连接通路，基于既定的通信协议，从主设备电视A端获取到当前播放的视频资源ID、播放的起始基准时钟、以及主设备电视A当前图像的渲染时钟；

⑦从设备B基于视频资源ID启动播放该视频资源，并基于起始基准时钟与当前图像渲染时钟信息计算出当前播放位置，然后直接时移到播放位置解码图像帧渲染播放；

⑧从设备B获取当前视频帧从启动渲染到最终显示到屏幕上这段过程的渲染处理耗时，并进行记录，记录为120ms；

⑨从设备B通过与主设备A的通信连接链路，基于设定的通信协议，从主设备A端获取到主设备A当前屏幕图像的渲染时钟和本次通信的时间消耗，其中当前屏幕图像的渲染时钟为10000ms(即M＝250)，其中本次通信的耗时为30ms，从设备通过以上信息基于多设备显示画面精确同步算法，计算得出：N＝254，T_w＝10ms，也就是在10ms以后，从设备启动第254帧画面的渲染，则能实现主从设备的画面的精确同步；

⑩从设备B在实现与主设备A画面的精确同步后，按照播放流程正常播放，并每隔一分钟，做一次与主设备的画面精确同步处理，保证长时间播放时的画面完全同步。

所有从设备电视的处理流程与从设备B完全一致，通过以上处理，实现所有家电卖场电视设备播放画面的精确同步，满足卖场多设备同步播放演示的需求。

实施例2：

本实施例以多屏广告机画面同步播放场景为例，多屏广告机拥有多个屏幕，每一块屏幕与一个主机相连，主机之间通过串口方式实现物理连接；

与实施例1相比，本实施例的区别主要是主从设备的通信连接方式不同，本实施例的主从设备之间通过串口连接和通信。除此之外，本实施例与实施1的步骤和流程完全一致；通过多设备播放画面精确同步处理，实现广告机多个屏幕播放画面完全同步。

实施例3：

本实施例以多屏拼接同步播放场景为例进行阐述，由多个独立的显示设备拼接为一个大屏设备在多个场合都有使用。

在本实施例中，每个独立的显示设备都带有独立的播放器，每个设备都独立播放的一个不同的视频资源，有个前提是，所有视频资源都拥有完全一致的时间轴，且符合严格的视频帧对齐。

与实施例1相比，本实施例的不同就是各个设备播放的视频源不同，其余的处理步骤完全一致，因此不做赘述。

Claims

1.一种多屏播放画面同步显示的方法，应用于包括多个独立的播放设备的系统，各个播放设备均带有独立的播放器软件和显示屏硬件，其中一台播放设备为主设备，其它播放设备为从设备，主设备和从设备之间建立连接和通信；其特征在于，

该方法包括以下步骤：

步骤二、主设备记录当前送去显示的视频帧的时间戳值；

步骤五、从设备启动后，建立与主设备的通信连接；

步骤十、从设备在实现与主设备画面的精确同步后，按照播放流程正常播放，并每隔一定时间按照步骤九进行一次与主设备的画面精确同步处理；

步骤九中，所述多设备显示画面精确同步算法包括：

已知条件4：从设备视频帧渲染耗时时间，记录为T_d；

T_n+T_w+T_d＝T

其中：T＝(N-M)×t

且：T_w≥0，N-M≥1

当：T_n+T_d≤t时，N-M＝1，即N＝M+1；

计算得出：

T_w＝t-(T_n+T_d)

当：T_n+T_d＞t时，

即N＝M+c；

计算得出：

T_w＝c×t-(T_n+T_d)

2.如权利要求1所述的一种多屏播放画面同步显示的方法，其特征在于，

所述主设备和从设备之间建立连接和通信的方式包括：网络连接或者物理通信连接。

3.如权利要求1所述的一种多屏播放画面同步显示的方法，其特征在于，

所述主设备可任意指定，但在系统中有且只有一台。