CN114189755A - 用于直播的同步显示方法、系统和装置以及存储介质 - Google Patents

Abstract

本发明提供一种用于直播的同步显示方法、系统和装置以及存储介质，涉及互联网领域。所述方法包括：连接步骤：多个客户端与服务端进行通信；设置步骤：客户端接收用户的操作数据，并设置时间戳和ID；生成步骤：客户端根据所述时间戳和ID对操作数据生成操作合集，并发送给所述服务端；整合步骤：所述服务端将从客户端接收到的操作合集进行重新整合；发送步骤：所述服务端将重新整合后的操作合集发送给各个客户端；显示步骤：客户端根据重新整合后的操作合集进行显示操作。本发明能够同步显示在线板书的编辑过程，提高在线板书显示的准确性，增强用户的使用体验。

Description

用于直播的同步显示方法、系统和装置以及存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及用于直播的同步显示方法、系统和装置以及存储介质。

背景技术

近年来，随着互联网技术的发展和运用，线上教育既节省时间又节约成本，而且可以让学生足不出户就学习到感兴趣的知识，因此变得越来越普及，特别是在线直播课堂深受广大师生的欢迎。

在直播课堂中，为了实现与线下教育类似的教学体验，会存在多个用户同时编辑板书的情况，比如多个同学与老师进行互动教学或者主讲老师与教辅同时编辑板书的情况，因此对于拥有教学客户端的用户来说，有可能存在很多人同时在各自客户端显示的直播黑板上进行书写或涂鸦操作的情况。这样，就要求在直播黑板上的在线板书中，能够体现出多人同时书写或涂鸦的编辑过程，而不会出现显示错误或操作冲突。

现有技术中，各个客户端将书写数据发送到服务端，服务端根据书写数据到达服务端的时间来设置时间戳，并根据时间戳确定最终在客户端上显示的书写顺序。但是，当存在网络延迟时，先发送的数据有可能后到达服务端，因此如果根据上述时间戳的先后顺序来确定最终的书写顺序，则会在客户端上显示错误的结果。特别是，当多个用户在同一图层上(例如课件中的同一页PPT上)针对黑板上的相同位置进行书写操作时，假如用户1在客户端1先书写了数据A，然后用户2在客户端2书写了数据B，正常情况下我们期望的是用数据B覆盖数据A。但是由于数据A在传输过程中出现了网络延迟，导致服务端先接收到了数据B，然后接收到数据A。按照现有技术，对数据到达服务端的时间设置时间戳，因此数据B的时间戳在先，而数据A的时间戳在后，所以，最终在客户端进行显示的时候，在黑板上是先显示数据B，然后在相同位置又显示数据A，结果数据A将数据B覆盖，显然这与用户所期望结果不一致，导致了错误的显示。

可见，在现有技术中，当多人同时在客户端上进行书写操作时，可能因网络问题出现操作的冲突，无法体现用户实际书写或涂鸦的编辑过程。

发明内容

有鉴于此，本发明的目的在于，在直播课堂上实时同步显示多人对在线板书的编辑过程，防止因网络延迟导致显示错误，提高在线板书显示的准确性，增强用户的使用体验。

为实现上述目的，本发明的一方面提供了一种用于直播的同步显示方法，所述方法包括：连接步骤：多个客户端与服务端进行通信；设置步骤：客户端接收用户的操作数据，并设置时间戳和ID；生成步骤：客户端根据所述时间戳和ID对操作数据生成操作合集，并发送给所述服务端；整合步骤：所述服务端将从客户端接收到的操作合集进行重新整合；发送步骤：所述服务端将重新整合后的操作合集发送给各个客户端；显示步骤：客户端根据重新整合后的操作合集进行显示操作。

可选的，所述时间戳与用户执行所述操作的时间相对应。

可选的，在生成步骤中，客户端将预定时间段内接收到的操作数据生成一个操作合集，发送给所述服务端；在整合步骤中，所述服务端将预定时间段内从多个客户端接收到的多个操作合集中的数据重新整合为新的操作合集。

可选的，在整合步骤中，所述服务端以微任务队列的方式整合操作合集。

可选的，在显示步骤中，各个客户端对重新整合后的操作合集中各个数据的时间戳进行解析，根据时间戳的先后顺序进行显示操作。

本发明的另一方面，提供了一种用于直播的同步显示系统，所述系统包括：多个客户端和服务端，所述多个客户端与服务端进行通信；所述客户端，用于接收用户的操作数据，并设置时间戳和ID；并且，根据所述时间戳和ID对操作数据生成操作合集，发送给所述服务端，以及根据服务端发送的重新整合后的操作合集进行显示操作；所述服务端，用于将从客户端接收到的操作合集进行重新整合，并发送给各个客户端。

可选的，所述时间戳与用户执行所述操作的时间相对应。

可选的，所述服务端将预定时间段内从多个客户端接收到的多个操作合集中的数据重新整合为新的操作合集；所述客户端对重新整合后的操作合集中各个数据的时间戳进行解析，根据时间戳的先后顺序进行显示操作。

本发明的又一方面，提供了一种用于直播的同步显示客户端装置，所述客户端装置包括：通信单元，用于与服务端装置进行通信；数据生成单元，用于将用户的操作数据设置时间戳和ID并生成操作合集；数据发送单元，用于将数据生成单元所生成的操作合集发送给所述服务端装置；数据接收单元，用于接收从服务端装置发送的重新整合后的操作合集；数据显示单元，用于根据重新整合后的操作合集进行显示操作。

本发明的又一方面，提供了一种用于直播的同步显示服务端装置，所述服务端装置包括：通信单元，用于与多个客户端装置进行通信；数据接收单元，用于从多个客户端装置接收操作合集，在所述操作合集中包括带有时间戳和ID的用户操作数据；数据整合单元，用于将从多个客户端装置接收到的操作合集进行重新整合；数据发送单元，用于将重新整合后的操作合集发送给客户端装置。

本发明的又一方面，提供了一种计算机可读存储介质，其存储用于使计算机执行所述用于直播的同步显示方法的程序。

根据本发明的上述技术方案，通过将多个客户端的操作数据赋予时间戳和ID并发送到服务端进行整合，然后将整合后的操作合集发送到各个客户端，使各个客户端能够同时接收到预定时间内全部的操作数据，从而能够在直播课堂的在线板书上同步显示多个用户的操作过程，特别是当多个用户同时针对同一图层上(例如直播课件的同一页PPT)的相同位置进行书写操作时，能够避免因网络延迟导致的操作冲突，防止了在线板书的显示错误，提高了直播课堂上在线板书同步显示的精准度、稳定性和可靠性，增强了用户的使用体验。

附图说明

图1是本发明实施例中用于直播的同步显示系统的结构图；

图2是本发明实施例中用于直播的同步显示系统中客户端和服务端的组成图；

图3是本发明实施例中使用的操作合集的示意图；

图4是本发明实施例中用于直播的同步显示方法的流程图；

图5为本申请实施例电子设备结构示意图；

图6为本申请实施例电子设备的硬件结构示意图。

具体实施方式

下面将结合附图和实施例对本申请的技术方案进行详细描述。所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本发明用于直播的同步显示系统的结构框图。图1所示的客户端包括客户端1、客户端2和客户端3，多个客户端与服务端通过网络连接。这里仅是示例性说明，实际在线直播课堂中可以包括更多个客户端与服务端相连接。

如图2所示，每个客户端都包括：通信单元21、数据生成单元22、数据发送单元23和数据接收单元24。其中，通信单元21能够通过Websocket与服务端进行长时间的数据链接。通过Websocket可实现客户端与服务端的双向数据传输，使客户端与服务端之间随时互发数据信息。数据生成单元22将用户的操作数据设置相应的时间戳，所述时间戳与用户的操作时间相对应，并针对每个数据生成唯一的ID，然后根据预先设定的时间段对若干个数据生成一个操作合集。操作合集的示意图如图3所示，在本实施例中，以3秒为一个预定时间段生成一个操作合集，并通过数据发送单元23将对应于该客户端的操作合集发送给服务端。数据接收单元24接收从服务端发送的重新整合后的操作合集，以用来在客户端显示。数据显示单元25，用于根据重新整合后的操作合集进行显示操作。

如图2所示，服务端包括：通信单元31、数据接收单元32、数据整合单元33和数据发送单元34。其中，通信单元31能够通过Websocket与客户端进行长时间的数据链接。数据接收单元32接收从多个客户端发送的多个操作合集。所述操作合集中的操作数据带有与用户的操作时间相对应的时间戳和唯一的ID。数据整合单元33将在预定时间段内从多个客户端接收的多个操作合集进行重新整合，并且以微任务队列的方式重新生成操作合集。本实施例中，如图3所示，以3秒为一个预定时间段利用微任务队列的方式生成一个操作合集，并通过数据发送单元34将整合后的操作合集发送给每个客户端。这里，整合后的操作合集包括了每个客户端在预定时间段内全部的操作数据，且这些操作数据带有与用户的操作时间相对应的时间戳和唯一的ID。这里，采用的微任务队列是指，在ECMA标准中规定了一个内部队列PromiseJobs，通常被称为“微任务队列(microtask queue)”(ES8术语)，用来适当的管理异步任务。在微任务队列中，可以根据时间戳的先后顺序来对队列中的数据执行操作。

下面结合图4详细说明本发明实施例的用于直播的同步显示方法的流程图。

在步骤S401中，客户端与服务端通过WebSocket建立长链接。多个客户端与服务端通过WebSocket建立长时间的数据链接，实现双向数据传输，使客户端与服务器之间可以随时互发数据信息，并且对方可以接收到相应的数据信息。

在步骤S402中，客户端接收操作数据并设置时间戳和ID。具体的，客户端接收来自用户的书写操作，根据书写操作的时间，将与书写操作对应的各个数据设置相应的时间戳，并对每个带有时间戳的数据生成唯一的ID。这里，所述时间戳与用户执行书写操作的时间相对应。

在步骤S403中，客户端生成操作合集并发送给服务端。具体的，客户端在预定时间段内将带有时间戳和ID的各个数据生成操作合集，发送给服务端。这里，如图3所示，例如以3秒为一个预定时间段，将带有时间戳和ID的各个数据生成一个操作合集发送给服务端。当然，生成操作合集的预定时间段可以根据用户的实际操作情况来进行具体设置。这里，以预定时间段生成操作合集，其作用是等待一定数量的数据集中发送，在不影响客户端同步显示的前提下，可以节约服务带宽，节约成本，提高用户的体验。

在步骤S404中，服务端将接收到的操作合集进行重新整合。具体的，服务端在预定时间段内从多个客户端接收到多个操作合集之后，将多个操作合集中的各个数据进行重新整合，根据预定时间段将带有各自时间戳和ID的数据整合为新的操作合集，参照图3所示，例如服务端将以3秒为一个预定时间段，以微任务队列的方式将来自多个客户端的数据重新整合成一个新的操作合集。

在步骤S405中，服务端将重新整合后的操作合集发送给客户端。具体的，服务端将预定时间段内重新整合的操作合集通过WebSocket发送至每个客户端，由于该操作合集为微任务队列方式，并且操作合集中的各个数据带有各自的时间戳，因此，客户端通过解析时间戳能够很容易得知所接收到的操作合集中各个数据的时间先后顺序，并根据时间顺序执行操作。

在步骤S406中，客户端根据接收到的操作合集执行对应显示。操作合集中的各个数据带有各自的时间戳，并且该时间戳与用户执行书写操作的时间相对应，客户端通过解析时间戳，根据时间戳的先后顺序就可以如实的显示出用户实际书写的先后顺序，因此即使存在一定的网络延迟，也能够精准的在客户端上显示出用户在直播黑板上的编辑过程，提高了用户的体验。

在直播课堂的实际应用中，采用本发明的技术方案能够在直播课堂的在线板书上同步显示多个用户的操作过程，特别在多个用户同时针对同一图层上(例如直播课件中的同一页PPT)的相同位置进行书写操作时，采用本发明的技术方案，具有如下优点：

第一，由于在将用户的操作数据发送到服务端之前，客户端对各数据设置了相应的时间戳，该时间戳能够正确的反映用户实际操作的先后顺序，这样客户端在对整合后的操作合集进行解析时，就可以按照时间戳的先后顺序，如实显示用户实际书写操作的顺序，因而能够准确的还原用户书写操作的编辑过程，提高了数据的可视化精度。

第二，由于在客户端处对各数据设置相应的时间戳，而不是在服务端处根据数据的达到时间设置时间戳，因此，即使存在网络延迟，也不会像现有技术那样导致数据时间顺序的错乱，不会因多个用户的操作冲突而导致显示错误，降低了网络延迟的风险，提高了直播课堂上在线板书同步显示的精准度、稳定性和可靠性。

第三，由于能够如实的显示出多个用户的书写操作过程，因此保证了每个用户操作的有效性，并且使得每个用户的操作可被清晰的体现，提高了用户的使用体验。

图5为本申请实施例电子设备结构示意图；如图5所示，其包括：存储器501以及处理器502，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本申请任一实施例所述的方法。

图6为本申请实施例电子设备的硬件结构示意图；如图6所示，该电子设备的硬件结构可以包括：处理器601，通信接口602，计算机可读介质603和通信总线604；

其中，处理器601、通信接口602、计算机可读介质603通过通信总线604完成相互间的通信；

可选的，通信接口602可以为通信模块的接口，如GSM模块的接口；

其中，处理器601具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。

处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的校验码生成方法。此外，当通用计算机访问用于实现在此示出的校验码生成方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的校验码生成方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种用于直播的同步显示方法，其特征在于，所述方法包括：

连接步骤：多个客户端与服务端进行通信；

设置步骤：客户端接收用户的操作数据，并设置时间戳和ID；

生成步骤：客户端根据所述时间戳和ID对操作数据生成操作合集，并发送给所述服务端；

整合步骤：所述服务端将从客户端接收到的操作合集进行重新整合；

发送步骤：所述服务端将重新整合后的操作合集发送给各个客户端；

显示步骤：客户端根据重新整合后的操作合集进行显示操作。

2.根据权利要求1所述的方法，其特征在于，所述时间戳与用户执行所述操作的时间相对应。

3.根据权利要求1所述的方法，其特征在于，在生成步骤中，客户端将预定时间段内接收到的操作数据生成一个操作合集，发送给所述服务端；

在整合步骤中，所述服务端将预定时间段内从多个客户端接收到的多个操作合集中的数据重新整合为新的操作合集。

4.根据权利要求3所述的方法，其特征在于，在整合步骤中，所述服务端以微任务队列的方式整合操作合集。

5.根据权利要求1所述的方法，其特征在于，在显示步骤中，各个客户端对重新整合后的操作合集中各个数据的时间戳进行解析，根据时间戳的先后顺序进行显示操作。

6.根据权利要求1所述的方法，其特征在于，在连接步骤中，多个客户端与服务端通过WebSocket建立长时间数据链接。

7.一种用于直播的同步显示系统，其特征在于，所述系统包括：多个客户端和服务端，所述多个客户端与服务端进行通信；

所述客户端，用于接收用户的操作数据，并设置时间戳和ID；并且，根据所述时间戳和ID对操作数据生成操作合集，发送给所述服务端，以及根据服务端发送的重新整合后的操作合集进行显示操作；

所述服务端，用于将从客户端接收到的操作合集进行重新整合，并发送给各个客户端。

8.根据权利要求7所述的系统，其特征在于，所述时间戳与用户执行所述操作的时间相对应。

9.根据权利要求7所述的系统，其特征在于，所述服务端将预定时间段内从多个客户端接收到的多个操作合集中的数据重新整合为新的操作合集；

所述客户端对重新整合后的操作合集中各个数据的时间戳进行解析，根据时间戳的先后顺序进行显示操作。

10.一种用于直播的同步显示客户端装置，其特征在于，所述客户端装置包括：

通信单元，用于与服务端装置进行通信；

数据生成单元，用于将用户的操作数据设置时间戳和ID并生成操作合集；

数据发送单元，用于将数据生成单元所生成的操作合集发送给所述服务端装置；

数据接收单元，用于接收从服务端装置发送的重新整合后的操作合集；

数据显示单元，用于根据重新整合后的操作合集进行显示操作。

Images