CN115277649A - 多媒体会议场景下的文档协同编辑的方法及装置 - Google Patents

Abstract

本说明书提供一种多媒体会议场景下的文档协同编辑的方法及装置，所述方法应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道；所述方法包括：通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据；通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

Description

多媒体会议场景下的文档协同编辑的方法及装置

技术领域

本说明书一个或多个实施例涉及移动互联网技术领域，尤其涉及多媒体会议场景下的文档协同编辑的方法及装置。

背景技术

随着移动互联网技术的发展，多媒体会议场景下的文档协同编辑越来越受到用户青睐，在进行多媒体会议时，用户可以在会议的同时共享某一文档并且用户可以在该共享文档上进行编辑，参会用户均可以实时查看到该共享文档的编辑内容。

在相关技术中，为了使参会用户可以实时查看共享文档的编辑内容，需要在各个用户客户端与服务端之间基于RPC(Remote Procedure Call，远程调用)协议建立传输通道，从而基于该通道实现各个客户端的协同编辑数据的同步，而RPC协议是一种基于TCP(Transmission Control Protocol，传输控制协议)的面向连接的可靠传输协议，所以需要各个客户端与服务端之间保持稳定连接才能实现协同编辑内容的同步。但是随着参会用户的增多、网络环境的波动或者在弱网环境下，该稳定连接会受到扰动，从而造成共享文档同步的卡顿。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种多媒体会议场景下的文档协同编辑的方法及装置。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种多媒体会议场景下的文档协同编辑的方法，所述方法应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道；所述方法包括：

通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据；

通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

根据本说明书一个或多个实施例的第二方面，提出了一种多媒体会议场景下的文档协同编辑的方法，所述方法应用于发起文档共享的协同编辑客户端，所述发起文档共享的协同编辑客户端分别与外部建立有多媒体流通道和协同编辑通道；所述方法包括：

在所述多媒体会议的会议过程中，生成针对共享文档的协同编辑数据；

通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端。

根据本说明书一个或多个实施例的第三方面，提出了一种多媒体会议场景下的文档协同编辑的装置，所述装置应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道，所述装置包括：

接收单元，用于通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据；

同步单元，用于通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

根据本说明书一个或多个实施例的第四方面，提出了一种多媒体会议场景下的文档协同编辑的装置，所述装置应用于发起文档共享的协同编辑客户端，所述发起文档共享的协同编辑客户端分别与外部建立有多媒体流通道和协同编辑通道；所述装置包括：

生成单元，用于在所述多媒体会议的会议过程中，生成针对共享文档的协同编辑数据；

协同编辑数据同步单元，用于通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端。

根据本说明书一个或多个实施例的第五方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面和/或第二方面所述方法的步骤。

根据本说明书一个或多个实施例的第六方面，提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面和/或第二方面所述方法的步骤。

本说明书的实施例提供的技术方案可以包括以下有益效果：

在本说明书的实施例中，通过借用多媒体会议中已经存在的多媒体流通道来传输协同编辑数据，而多媒体流通道是一种无需建立连接就可以传输数据的通道，其拥有较高的数据传输的速率，可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的同步卡顿问题。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的架构示意图；

图2是本说明书一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的方法的流程图；

图3是本说明书一示例性实施例提供的一种多媒体流通道与协同编辑通道的示意图；

图4是本说明书一示例性实施例提供的一种数据同步报文的结构示意图；

图5是本说明书一示例性实施例提供的另一种数据同步报文的结构示意图；

图6是本说明书一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的方法的流程图；

图7是本说明书一示例性实施例提供的一种电子设备的示意结构图；

图8是本说明书一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的装置的框图；

图9是本说明书一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

随着移动互联网技术的发展，多媒体会议场景下的文档协同编辑越来越受到用户青睐，在进行多媒体会议时，用户可以在进行多媒体会议的同时共享某一文档并且用户可以在该共享文档上进行编辑，例如，用户可以对该共享文档进行翻页滚动、段落选择、文字输入等，而参会用户均可以实时查看到该共享文档的编辑内容。

在相关技术中，为了使参会用户可以实时看到共享文档的编辑内容，需要在各个用户客户端与服务端之间基于RPC(Remote Procedure Call，远程调用)协议建立传输通道，从而基于该通道实现各个客户端的协同编辑数据的同步，而RPC协议是一种基于TCP(Transmission Control Protocol，传输控制协议)的面向连接的可靠传输协议，所以需要各个客户端与服务端之间保持稳定连接才能实现协同编辑内容的同步。但是随着参会用户的增多、网络环境的波动或者在弱网环境下，该稳定连接会受到扰动，从而造成共享文档同步的卡顿。

有鉴于此，本说明书提供一种多媒体会议场景下的文档协同编辑的方法，通过借用多媒体会议中已经存在的多媒体流通道来传输同步协同编辑数据，而多媒体流通道是一种无需建立连接就可以传输数据的通道且多媒体流通道有较高的传输数据的速率，也就是说，多媒体流通道是面向消息的、轻量化传输通道。也正是因为多媒体流通道是面向消息的传输通道，并不是面向连接的传输通道，其可以不必考虑数据包是否抵达最终目标的。所以，在网络环境较差的情况下，多媒体流通道的传输速度可以成倍的高于如前所述的RPC通道，故本说明书所述的文档协同编辑的方法，可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的卡顿问题。

图1是本说明书一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的架构示意图。如图1所示，该系统架构可以包括媒体流服务端11、协同编辑服务端12、网络13、若干终端电子设备，比如PC14和手机15等。

媒体流服务端11可以部署在包含一独立主机的物理服务器，或者该服务器可以为主机集群承载的虚拟服务器(如云服务器)。在该物理服务器或虚拟服务器运行过程中，该媒体流服务端11可以配置有本说明书所述的一种多媒体会议场景下的文档协同编辑的方法，通过该媒体流服务端11与各个客户端之间建立的多媒体流通道来接收发起文档共享的协同编辑客户端发送的协同编辑数据，并且同步至其他协同编辑客户端，而该多媒体流通道的传输速度远高于如前所述的基于RPC协议建立的传输通道，故基于该无需连接的多媒体流通道可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的同步卡顿问题。

而对于PC14、手机15、媒体流服务端11与协同编辑服务端12之间进行交互的网络13，可以包括多种类型的有线或无线网络。在一实施例中，该网络可以包括公共交换电话网络(Public Switched Telephone Network，PSTN)和因特网。

终端电子设备可以是PC14、手机15和穿戴设备(如智能手表和智能眼镜)，本说明书说对此不进行限制。所述终端电子设备可以运行配置有本说明书所述的一种多媒体会议场景下的文档协同编辑的方法的客户端，而发起文档共享的协同编辑客户端可以通过与媒体流服务端11之间建立的多媒体流通道来发送对应的协同编辑数据，相对应的，其他协同编辑客户端可以通过与媒体流服务端11之间建立的多媒体流通道来接收上述协同编辑数据，从而实现各个协同编辑客户端的共享文档的同步操作。

需要说明的是，虽然在图1所示的实施例中，该多媒体会议场景下，存在媒体流服务端11，但在一些实施例中，因为多媒体流通道可以不依赖于与媒体流服务端11和协同编辑客户端之间建立，所以此时也可以不包含媒体流服务端11，也就是说，在有些多媒体会议场景下，可以在各个协同编辑客户端之间建立多媒体流通道，本说明书对此不进行限制。但即便不包含媒体流服务端11，因为该无需连接的多媒体流通道的存在，依旧可以借用上述多媒体流通道，实现各个协同编辑客户端之间的协同编辑数据的传输和同步，仍然可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的卡顿问题。

基于上述系统架构，可以配置本说明书所述的一种多媒体会议场景下的文档协同编辑的方法，通过借用多媒体会议中已经存在的多媒体流通道来传输同步协同编辑数据，而多媒体流通道是一种无需建立连接就可以以较高的传输速度传输数据的通道，且在网络环境较差的环境下，多媒体流通道的传输速度可以成倍的高于如前所述的RPC通道，可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的卡顿问题。

图2是一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的方法的流程图，应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道；所述方法包括以下步骤：

步骤201、通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据。

协同编辑数据可以用于表征用户在对共享文档进行编辑的具体操作，例如该操作可以是对文档的页面滚动、转至下一页、段落选择、文字符号高亮显示或文字输入等，本说明书对此不进行限制。

在一实施例中，媒体流服务端与所有协同编辑客户端之间分别建立有用于多媒体会议的多媒体流通道，而该多媒体流通道可以基于UDP(User Datagram Protocol，用户数据包协议)构建，UDP协议是一种面向事务的、无连接的简单、轻量化协议，其可以以极高的速度完成报文的发送与接收，且在网络环境较差的环境下，多媒体流通道的传输速度可以成倍的高于如前所述的RPC通道。如图3所示，图3是一示例性实施例提供的一种多媒体流通道与协同编辑通道的示意图。其中，媒体流服务端11分别与配置有协同编辑客户端的PC14以及配置有协同编辑客户端的手机15建立有多媒体流通道，该多媒体流通道可以基于UDP协议建立。各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道，而该协同编辑通道可以基于RPC(Remote Procedure Call，远程调用)协议建立，RPC协议是一种基于TCP协议的面向连接的可靠传输协议，其可以保证通讯双方可靠接收或发送相关数据。如图3所示，协同编辑服务端12分别与配置有协同编辑客户端的PC14和配置有协同编辑客户端的手机15建立有协同编辑通道，该协同编辑通道可以基于RPC协议建立。通过将原本依靠协同编辑通道传输的协同编辑数据转变为由多媒体流通道传输，可以有效的提高报文发送或接收的速度，即便多媒体会议参会用户的大量增多、网络环境的波动或者在弱网环境的情况下，也可以保证报文传输的速度，避免造成共享文档的同步卡顿。

在一实施例中，协同编辑通道可以用于传输针对共享文档产生的非协同编辑类型的数据。例如，当前用户需要对该共享文档进行分享操作，则此时产生的针对该共享文档的分享文档数据可以通过协同编辑通道传输。再例如，当前用户需要对该文档进行权限设置时，则此时产生的针对该共享文档的权限设置数据可以通过协同编辑通道传输。换言之，本说明书所述的一种多媒体会议场景下的文档协同编辑的方法可以依旧保留协同编辑通道，但该通道传输的数据不再是协同编辑数据，而是非协同编辑类型的数据，协同编辑数据通过多媒体流通道传输。通过协同编辑通道传输非协同编辑的数据，使协同编辑服务端可以处理非协同编辑数据，一方面，可以保证非协同编辑数据传输的可靠性，确保用户非编辑操作的可以有效执行；另一方面，保留协同编辑服务端，可以减小媒体流服务端的工作压力，减轻媒体流服务端的负载，使多媒体会议场景下的文档共享系统有合理的作业分配。

因为本说明书所述的协同编辑数据是借用已经存在的多媒体流通道，所以不可避免的在该通道内存在两种数据，其一为协同编辑数据，其二为媒体流数据。为了使媒体流服务端可以区分上述两种数据，本说明书提供了三种有效方式。

在一实施例中，媒体流服务端可以接收该第一协同编辑客户端按照预设发送周期发送的数据同步报文，该数据同步报文包括在上述预设发送周期的第一时间段内发送的协同编辑数据同步报文和在上述预设发送周期的第二时间段内发送的媒体流数据同步报文。在媒体流服务端接收到该协同编辑数据同步报文后，可以从该协同编辑数据同步报文中解析获取协同编辑数据。举例而言，预设发送周期可以是1分钟，而第一时间段T1可以是该1分钟内的前30秒，相对应的，第二时间段T2可以是该1分钟内的后30秒，也就是说，第一协同编辑客户端可以在前30秒内发送协同编辑数据同步报文，在后30秒内发送媒体流数据同步报文。故媒体流服务端可以根据预设发送周期对应的不同时间段来区分协同编辑数据和媒体流数据，可以有效避免因为数据的混乱造成的故障报错或系统宕机。

在一实施例中，媒体流服务端可以接收该第一协同编辑客户端发送的数据同步报文，上述数据同步报文包括标记位置和数据载荷，该数据载荷包括按照预设顺序依次排列的协同编辑数据和媒体流数据。所以媒体流服务端可以按照标记位置对数据载荷进行划分，以得到协同编辑数据。如图4所示，图4是一示例性实施例提供的一种数据同步报文的结构示意图，该报文结构可以分为报文头和数据两部分，第一协调编辑客户端可以在发送数据同步报文时在报文头中增加对应的标记位置，进一步的，第一协同编辑客户端发送的数据同步报文中的数据部分内按照预设顺序依次排列协同编辑数据和媒体流数据，由此媒体流服务端可以根据该标记位置有效区分协同编辑数据和媒体流数据，需要说明的是，虽然在图4所示的实施例中协同编辑数据在前而媒体流数据在后，但在一些实施例中，也可以将媒体流数据放置于协同编辑数据之前，本说明书对此不进行限制。通过标记位置的标记作用，可以使媒体流服务端高效、精准地区分协同编辑数据和媒体流数据，可以有效避免因为数据的混乱造成的故障报错或系统宕机。

在一实施例中，媒体流服务端可以接收该第一协同编辑客户端发送的数据同步报文，该数据同步报文包括带有类型标识的数据载荷，该类型标识用于区分数据载荷包括的协同编辑数据和媒体流数据；从而媒体流服务端可以根据类型标识从数据载荷中获取所述协同编辑数据。如图5所示，图5是一示例性实施例提供的另一种数据同步报文的结构示意图。第一协同编辑客户端可以在发送的数据同步报文的数据载荷中添加对应的类型标识，例如在协同编辑数据中添加类型标识A，在媒体流数据中添加类型标识B，从而使得媒体流服务端可以根据类型标识来获取协同编辑数据。需要说明的是，虽然在图5所示的实施例中，媒体流数据和协同编辑数据均带有类型标识，但可以理解的是，只设置一类数据带有类型标识也可以实现媒体流数据和协同编辑数据的有效区分，例如，只设置协同编辑数据带有类型标识，而媒体流数据不带类型标识，此时媒体流服务端依旧可以区分媒体流数据和协同编辑数据，本说明书对此不进行限制。通过类型标识的标记作用，可以使媒体流服务端高效、精准地区分协同编辑数据和媒体流数据，可以有效避免因为数据的混乱造成的故障报错或系统宕机。

在基于多媒体流通道进行数据传输时，网络链路层往往会对数据报文的长度有限制，其也称之为MTU(Maximum Transmission Unit，最大传输单元)，一般的，以太网设置的MTU为1500字节，所以，为了符合MTU，在一实施例中，媒体流服务端可以分别接收多条包含协同编辑数据块的数据同步报文，报文中包含序号；媒体流服务端分别获取所述协同编辑数据块，并按照各个协同编辑数据块分别所处报文中包含的序号对协同编辑数据块进行重组，得到所述协同编辑数据。换言之，为了避免因为MTU的限制，无法成功传输报文，可以通过将一条报文内的协同编辑数据拆分成对应的协同编辑数据块，并组装成多条报文，从而可以符合最大传输单元的要求，进而实现报文的成功发送与接收。进一步的，可以再报文中添加对应的序号，使得媒体流服务端可以基于序号按顺序对协同编辑数据块进行重组，从而得到协同编辑数据。通过对报文的分片与重组，可以使报文的发送与接收符合MTU的要求，提高报文传输的成功率。

步骤202、通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

在媒体流服务端接收到第一协同编辑客户端发送的针对共享文档的协同编辑数据后，媒体流服务端可以将接收到的协同编辑数据同步至其他协同编辑客户端，从而使其他协同编辑客户端可以显示与第一协同编辑客户端相同的内容。此时，媒体流服务端可以有两种方式来同步该协同编辑数据至其他客户端。其一为，媒体流服务端可以从第一协同编辑客户端发送的包含协同编辑数据的数据同步报文中，解析出协同编辑数据，将该协同编辑数据同步至其他协同编辑客户端；或者，其二为，媒体流服务端可以将第一协同编辑客户端发送的包含协同编辑数据的数据同步报文同步至其他协同编辑客户端，以由其他协同编辑客户端从该报文中解析得到该协同编辑数据。换言之，媒体流服务端可以直接将解析出的协同编辑数据通过多媒体流通道下发至其他协同编辑客户端；媒体流服务端也可以将第一协同编辑客户端发送的数据同步报文下发至其他协同编辑客户端，而让其他协同编辑客户端自身来解析该报文并得到协同编辑数据，但不论方式一还是方式二，均可以实现将协同编辑数据同步至其他协同编辑客户端，故本说明书对此不进行限制。

在一实施例中，为了提高协同编辑数据同步的成功率，第一协同编辑客户端可以冗余发送数据同步报文，也就是说，第一协同编辑客户端可以按照预设数量重复发送同一份数据同步报文。例如，第一协同编辑客户端可以通过多媒体流通道将同一份数据同步报文发送5次至媒体流服务端。从而确保媒体流服务端可以成功接收对应的报文，提高接收数据同步报文的成功率。

为了进一步提高协同编辑数据同步的成功率，本说明书还可以在UDP协议的基础上额外引入了确认机制，具体而言，媒体流服务端在未接收到其他协同编辑客户端针对协同编辑数据返回的接收确认的情况下，重新将该协同编辑数据同步至其他协同编辑客户端；或者，在接收到其他协同编辑客户端发送的针对指定协同编辑数据的重发请求的情况下，重新发送指定协同编辑数据至发送针对指定协同编辑数据的重发请求的其他协同编辑客户端。也就是说，其他协同编辑客户端在接收到协同编辑数据后，可以向媒体流服务端发送接收确认回执，使媒体流服务端确认其他协同编辑客户端接收到了该协同编辑数据，假设媒体流服务端未接收到该接收确认回执，则可以重新发送协同编辑数据至其他协同编辑数据客户端。协同编辑客户端也可以针对指定的协同编辑数据向媒体流服务端发送重发请求，从而使媒体流服务端重新发送该指定的协同编辑数据。由此可知，媒体流服务端可以根据客户端发送的接收确认回执或重发请求，分别采取对应的响应措施，不仅保证了报文传输的速率的同时也避免了因为报文丢失所造成的共享文档同步的故障，提高了共享文档实时同步的成功率。

本说明书所述的媒体流服务端可以部署于媒体流服务集群，该集群包括用于处理多媒体流的第一类媒体流服务端和用于处理协同编辑数据的第二类媒体流服务端；此时可以基于该第二类媒体流服务端将所述协同编辑数据同步至其他协同编辑客户端；其中，所述第一类媒体流用于在协同编辑客户端之间转发由所述多媒体会议产生的多媒体数据。通过将媒体流服务端部署在媒体流服务集群内，可以有效地提高服务端的响应速度，并且该集群可以针对性地设置不同服务端来处理不同的数据，从而进一步提高了数据处理的速度。

由上述实施例可知，本说明书所述的一种多媒体会议场景下的文档协同编辑的方法，通过借用多媒体会议中已经存在的多媒体流通道来传输同步协同编辑数据，而多媒体流通道是一种无需建立连接就可以传输数据的通道且多媒体流通道有较高的传输数据的速率，且在网络环境较差的环境下，多媒体流通道的传输速度可以成倍的高于如前所述的RPC通道，故可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的卡顿问题。

图6是一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的方法的流程图，所述方法应用于发起文档共享的协同编辑客户端，所述发起文档共享的协同编辑客户端分别与外部建立有多媒体流通道和协同编辑通道；所述方法包括：

步骤601、在所述多媒体会议的会议过程中，生成针对共享文档的协同编辑数据。

在一实施例中，该协同编辑数据可以用于表征用户在对共享文档进行编辑的具体操作，例如该操作可以是对文档的页面滚动、转至下一页、段落选择、文字符号高亮显示或文字输入等，本说明书对此不进行限制。

步骤602、通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端。

在一实施例中，发起文档共享的协同编辑客户端可以通过多媒体流通道，按照预设发送周期发送数据同步报文，以使多媒体会议的其他协同编辑客户端同步该协同编辑数据，而该数据同步报文包括在预设发送周期的第一时间段内发送的协同编辑数据同步报文和在预设发送周期的第二时间段内发送的媒体流数据同步报文。例如，预设发送周期可以是1分钟，而第一时间段T1可以是该1分钟内的前30秒，相对应的，第二时间段T2可以是该1分钟内的后30秒，也就是说，发起文档共享的协同编辑客户端可以在前30秒内发送协同编辑数据同步报文，在后30秒内发送媒体流数据同步报文。故媒体流服务端可以根据预设发送周期对应的不同时间段来区分协同编辑数据和媒体流数据，可以有效避免因为数据的混乱造成的故障报错或系统宕机。

在一实施例中，发起文档共享的协同编辑客户端可以通过多媒体流通道，发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，该数据同步报文包括标记位置和数据载荷，数据载荷包括按照预设顺序依次排列的协同编辑数据和媒体流数据。发起文档共享的协同编辑客户端可以通过在数据同步报文的报文头中增加对应的标记位置，使得媒体流服务端可以基于该标记位置，高效、精准地区分协同编辑数据和媒体流数据，可以有效避免因为数据的混乱造成的故障报错或系统宕机。

在一实施例中，发起文档共享的协同编辑客户端可以通过所述多媒体流通道，发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括带有类型标识的数据载荷，所述类型标识用于区分所述数据载荷包括的协同编辑数据和媒体流数据。发起文档共享的协同编辑客户端可以通过在数据载荷中增加对应的类型标识，使得媒体流服务端可以基于该类型标识，高效、精准地区分协同编辑数据和媒体流数据，可以有效避免因为数据的混乱造成的故障报错或系统宕机。

如前所述，在基于多媒体流通道进行数据传输时，网络链路层往往会对数据报文的长度有限制，其也称之为MTU(Maximum Transmission Unit，最大传输单元)，一般的，以太网设置的MTU为1500字节，所以，为了符合MTU的要求，发起文档共享的协同编辑客户端可以将协同编辑数据拆分为多个协同编辑数据块；并且发起文档共享的协同编辑客户端可以将多个协同编辑数据块分别添加至多条数据同步报文中，且每一数据同步报文中包含序号，该序号用于表征相应的协同编辑数据块在协同编辑数据中的次序，最后发起文档共享的协同编辑客户端可以通过多媒体流通道发送包含协同编辑数据块的多条数据同步报文。通过对报文的分片与重组，可以使报文的发送与接收符合MTU的要求，提高报文传输的成功率，避免因为不符合MTU要求所导致的发送或接收报文的失败。

需要说明的是，多媒体流通的建立并非仅局限于媒体流服务端和发起文档共享的客户端之间，也就是说，多媒体流通道可以建立于发起文档共享的协同编辑客户端与媒体流服务端之间；其中，该媒体流服务端还分别与参与所述多媒体会议的其他协同编辑客户端之间建立有多媒体流通道；或者，多媒体流通道建立于发起文档共享的协同编辑客户端与参与多媒体会议的其他协同编辑客户端之间，因为多媒体会议场景下，多媒体流通道的建立既可以包含媒体流服务端，也可以不包含媒体流服务端，但即便不包含媒体流服务端，因为该无需连接的多媒体流通道的存在，依旧可以借用上述多媒体流通道，实现各个协同编辑客户端之间的协同编辑数据的传输和同步，仍然可以有效避免因为参会用户的增多、网络环境的波动或者在弱网环境下所造成的共享文档的卡顿问题，总而言之，不论多媒体流通道是与何种方式建立的，都可以借用该通道来传输协同编辑数据，所以，本说明书所述的一种多媒体会议场景下的文档协同编辑的方法具有广泛的适用场景。

相应于上述方法的实施例，本说明书还提供了装置的实施例。

图7是一示例性实施例提供的一种电子设备的示意结构图，请参考图7，在硬件层面，该电子设备包括处理器701、网络接口702、内存703、非易失性存储器704以及内部总线705，当然还可能包括其他功能所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

图8是一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的装置的框图，所述装置应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道，该装置包括：

接收单元801，用于通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据。

同步单元802，用于通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

可选地，所述接收单元801具体用于：

接收该第一协同编辑客户端按照预设发送周期发送的数据同步报文，所述数据同步报文包括在所述预设发送周期的第一时间段内发送的协同编辑数据同步报文和在所述预设发送周期的第二时间段内发送的媒体流数据同步报文；从所述协同编辑数据同步报文中解析获取所述协同编辑数据。

可选地，所述接收单元801具体用于：

接收该第一协同编辑客户端发送的数据同步报文，所述数据同步报文包括标记位置和数据载荷，所述数据载荷包括按照预设顺序依次排列的协同编辑数据和媒体流数据；按照所述标记位置对所述数据载荷进行划分，以得到所述协同编辑数据。

可选地，所述接收单元801具体用于：

接收该第一协同编辑客户端发送的数据同步报文，所述数据同步报文包括带有类型标识的数据载荷，所述类型标识用于区分所述数据载荷包括的协同编辑数据和媒体流数据；根据所述类型标识从所述数据载荷中获取所述协同编辑数据。

可选地，所述接收单元801具体用于：

分别接收多条包含协同编辑数据块的数据同步报文，报文中包含序号；分别获取所述协同编辑数据块，并按照各个协同编辑数据块分别所处报文中包含的序号对协同编辑数据块进行重组，得到所述协同编辑数据。

可选地，所述同步单元802具体用于：

从第一协同编辑客户端发送的包含协同编辑数据的数据同步报文中，解析出协同编辑数据，将该协同编辑数据同步至其他协同编辑客户端；或者，将第一协同编辑客户端发送的包含协同编辑数据的数据同步报文同步至其他协同编辑客户端，以由其他协同编辑客户端从该报文中解析得到所述协同编辑数据。

可选地，所述装置还包括：

重新同步单元803，用于在未接收到所述其他协同编辑客户端针对所述协同编辑数据返回的接收确认的情况下，重新将所述协同编辑数据同步至所述其他协同编辑客户端；或者，在接收到所述其他协同编辑客户端发送的针对指定协同编辑数据的重发请求的情况下，重新发送所述指定协同编辑数据至发送所述针对指定协同编辑数据的重发请求的其他协同编辑客户端。

可选地，所述协同编辑通道用于传输针对共享文档产生的非协同编辑类型的数据。

可选地，所述多媒体流通道基于UDP协议构建，所述协同编辑通道基于RPC协议构建。

可选地，所述媒体流服务端部署于媒体流服务集群，该集群包括用于处理多媒体流的第一类媒体流服务端和用于处理协同编辑数据的第二类媒体流服务端。

可选地，所述同步单元802具体用于：

所述第二类媒体流服务端将所述协同编辑数据同步至其他协同编辑客户端；

其中，所述第一类媒体流用于在协同编辑客户端之间转发由所述多媒体会议产生的多媒体数据。

图9是一示例性实施例提供的一种多媒体会议场景下的文档协同编辑的装置的框图，所述装置应用于发起文档共享的协同编辑客户端，所述发起文档共享的协同编辑客户端分别与外部建立有多媒体流通道和协同编辑通道；该装置包括：

生成单元901，用于在所述多媒体会议的会议过程中，生成针对共享文档的协同编辑数据。

协同编辑数据同步单元902，用于通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端。

可选地，所述协同编辑数据同步单元902具体用于：

通过所述多媒体流通道，按照预设发送周期发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括在所述预设发送周期的第一时间段内发送的协同编辑数据同步报文和在所述预设发送周期的第二时间段内发送的媒体流数据同步报文。

可选地，所述协同编辑数据同步单元902具体用于：

通过所述多媒体流通道，发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括标记位置和数据载荷，所述数据载荷包括按照预设顺序依次排列的协同编辑数据和媒体流数据。

可选地，所述协同编辑数据同步单元902具体用于：

通过所述多媒体流通道，发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括带有类型标识的数据载荷，所述类型标识用于区分所述数据载荷包括的协同编辑数据和媒体流数据。

可选地，所述协同编辑数据同步单元902具体用于：

将所述协同编辑数据拆分为多个协同编辑数据块；将多个协同编辑数据块分别添加至多条数据同步报文中，且每一数据同步报文中包含序号，该序号用于表征相应的协同编辑数据块在所述协同编辑数据中的次序；通过所述多媒体流通道发送包含协同编辑数据块的所述多条数据同步报文。

可选地，所述多媒体流通道建立于所述发起文档共享的协同编辑客户端与媒体流服务端之间；其中，该媒体流服务端还分别与参与所述多媒体会议的其他协同编辑客户端之间建立有多媒体流通道；或者，所述多媒体流通道建立于所述发起文档共享的协同编辑客户端与参与所述多媒体会议的其他协同编辑客户端之间。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。

由以上本说明书提供的技术方案可见，本说明书所述的一种任务处理并行度的弹性调整方法，可以使任务调度器基于任务执行器反馈的延时信息，弹性调整任务执行器内的任务处理的并行度。在延时大于正常延时阈值范围上限时，快速增大任务处理的并行度，以使任务执行器加快数据处理的速度，保证任务执行器的任务处理的延时在控制时限内；同时在在延时小于正常延时阈值范围下限时，缓慢减小任务处理的并行度，在保证延时的前提下，释放任务执行器多占用的系统资源，保证实时计算系统资源的合理分配。换言之，本说明书所公开的并行度弹性调整方法保证了数据处理的及时性的同时也保证了实时计算系统的资源分配的合理性。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (20)

1.一种多媒体会议场景下的文档协同编辑的方法，其特征在于，应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道；所述方法包括：

通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据；

通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

2.根据权利要求1所述的方法，其特征在于，所述接收该第一协同编辑客户端发送的协同编辑数据，包括：

接收该第一协同编辑客户端按照预设发送周期发送的数据同步报文，所述数据同步报文包括在所述预设发送周期的第一时间段内发送的协同编辑数据同步报文和在所述预设发送周期的第二时间段内发送的媒体流数据同步报文；

从所述协同编辑数据同步报文中解析获取所述协同编辑数据。

3.根据权利要求1所述的方法，其特征在于，所述接收该第一协同编辑客户端发送的协同编辑数据，包括：

接收该第一协同编辑客户端发送的数据同步报文，所述数据同步报文包括标记位置和数据载荷，所述数据载荷包括按照预设顺序依次排列的协同编辑数据和媒体流数据；

按照所述标记位置对所述数据载荷进行划分，以得到所述协同编辑数据。

4.根据权利要求1所述的方法，其特征在于，所述接收该第一协同编辑客户端发送的协同编辑数据，包括：

接收该第一协同编辑客户端发送的数据同步报文，所述数据同步报文包括带有类型标识的数据载荷，所述类型标识用于区分所述数据载荷包括的协同编辑数据和媒体流数据；

根据所述类型标识从所述数据载荷中获取所述协同编辑数据。

5.根据权利要求1所述的方法，其特征在于，所述接收该第一协同编辑客户端发送的协同编辑数据，包括：

分别接收多条包含协同编辑数据块的数据同步报文，报文中包含序号；

分别获取所述协同编辑数据块，并按照各个协同编辑数据块分别所处报文中包含的序号对协同编辑数据块进行重组，得到所述协同编辑数据。

6.根据权利要求1所述的方法，其特征在于，所述将所述协同编辑数据同步至其他协同编辑客户端，包括：

从第一协同编辑客户端发送的包含协同编辑数据的数据同步报文中，解析出协同编辑数据，将该协同编辑数据同步至其他协同编辑客户端；或者，

将第一协同编辑客户端发送的包含协同编辑数据的数据同步报文同步至其他协同编辑客户端，以由其他协同编辑客户端从该报文中解析得到所述协同编辑数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在未接收到所述其他协同编辑客户端针对所述协同编辑数据返回的接收确认的情况下，重新将所述协同编辑数据同步至所述其他协同编辑客户端；或者，

在接收到所述其他协同编辑客户端发送的针对指定协同编辑数据的重发请求的情况下，重新发送所述指定协同编辑数据至发送所述针对指定协同编辑数据的重发请求的其他协同编辑客户端。

8.根据权利要求1所述的方法，其特征在于，所述协同编辑通道用于传输针对共享文档产生的非协同编辑类型的数据。

9.根据权利要求1所述的方法，其特征在于，所述多媒体流通道基于UDP协议构建，所述协同编辑通道基于RPC协议构建。

10.根据权利要求1所述的方法，其特征在于，所述媒体流服务端部署于媒体流服务集群，该集群包括用于处理多媒体流的第一类媒体流服务端和用于处理协同编辑数据的第二类媒体流服务端；所述将所述协同编辑数据同步至其他协同编辑客户端，包括：

所述第二类媒体流服务端将所述协同编辑数据同步至其他协同编辑客户端；

其中，所述第一类媒体流用于在协同编辑客户端之间转发由所述多媒体会议产生的多媒体数据。

11.一种多媒体会议场景下的文档协同编辑的方法，其特征在于，应用于发起文档共享的协同编辑客户端，所述发起文档共享的协同编辑客户端分别与外部建立有多媒体流通道和协同编辑通道；所述方法包括：

在所述多媒体会议的会议过程中，生成针对共享文档的协同编辑数据；

通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端。

12.根据权利要求11所述的方法，其特征在于，所述通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端，包括：

通过所述多媒体流通道，按照预设发送周期发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括在所述预设发送周期的第一时间段内发送的协同编辑数据同步报文和在所述预设发送周期的第二时间段内发送的媒体流数据同步报文。

13.根据权利要求11所述的方法，其特征在于，所述通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端，包括：

通过所述多媒体流通道，发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括标记位置和数据载荷，所述数据载荷包括按照预设顺序依次排列的协同编辑数据和媒体流数据。

14.根据权利要求11所述的方法，其特征在于，所述通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端，包括：

通过所述多媒体流通道，发送数据同步报文，以使所述多媒体会议的其他协同编辑客户端同步所述协同编辑数据，所述数据同步报文包括带有类型标识的数据载荷，所述类型标识用于区分所述数据载荷包括的协同编辑数据和媒体流数据。

15.根据权利要求11所述的方法，其特征在于，所述通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端，包括：

将所述协同编辑数据拆分为多个协同编辑数据块；

将多个协同编辑数据块分别添加至多条数据同步报文中，且每一数据同步报文中包含序号，该序号用于表征相应的协同编辑数据块在所述协同编辑数据中的次序；

通过所述多媒体流通道发送包含协同编辑数据块的所述多条数据同步报文。

16.根据权利要求11所述的方法，其特征在于，

所述多媒体流通道建立于所述发起文档共享的协同编辑客户端与媒体流服务端之间；其中，该媒体流服务端还分别与参与所述多媒体会议的其他协同编辑客户端之间建立有多媒体流通道；或者，

所述多媒体流通道建立于所述发起文档共享的协同编辑客户端与参与所述多媒体会议的其他协同编辑客户端之间。

17.一种多媒体会议场景下的文档协同编辑的装置，其特征在于，应用于媒体流服务端，所述媒体流服务端与所有协同编辑客户端之间分别建立有用于所述多媒体会议的多媒体流通道，且各个协同编辑客户端还分别与协同编辑服务端之间建立有协同编辑通道，所述装置包括：

接收单元，用于通过与发起文档共享的第一协同编辑客户端之间建立的多媒体流通道，接收该第一协同编辑客户端发送的针对共享文档的协同编辑数据；

同步单元，用于通过与其他协同编辑客户端之间建立的多媒体流通道，将所述协同编辑数据同步至其他协同编辑客户端。

18.一种多媒体会议场景下的文档协同编辑的装置，其特征在于，应用于发起文档共享的协同编辑客户端，所述发起文档共享的协同编辑客户端分别与外部建立有多媒体流通道和协同编辑通道；所述装置包括：

生成单元，用于在所述多媒体会议的会议过程中，生成针对共享文档的协同编辑数据；

协同编辑数据同步单元，用于通过所述多媒体流通道将协同编辑数据同步至参与所述多媒体会议的其他协同编辑客户端。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至16中任一所述方法的步骤。

20.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至16中任一所述方法的步骤。

Images