CN111866133B - 一种多源大批量客户端数据同步方法及系统 - Google Patents

Abstract

本发明属于计算机技术领域，具体涉及一种多源大批量客户端数据同步方法及系统，所述方法包括以下步骤：初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步。本发明将节点网络中被同步后的客户端作为新的同步源，同步时间越长同步源越多，减少了若干客户端请求同步时的等待时间，提高了同步效率。

Description

一种多源大批量客户端数据同步方法及系统

技术领域

本发明属于计算机技术领域，具体涉及一种多源大批量客户端数据同步方法及系统。

背景技术

在很多系统中，程序运行必须依靠各种基础数据，例如配置数据或者实时状态数据等。当客户端主机故障，或者软件升级导致操作系统重启，后台程序必须先向其他运行正常的机器同步运行基础数据，客户端软件才能正常运行。若同步数据异常或者耗时太久，会严重影响用户体验和软件功能。

目前已有很多国内外学者在多源大批量客户端内存数据快速同步方面做了很多研究，传统数据同步源寻找方式多为主备机器同步，或者固定数量同步源同步。如果请求同步客户端过多就会存在大量请求排队导致同步效率不高。由于同步源有限，部分同步源机器故障将会导致同步失败或者同步超时。

传统技术具备以下缺点：

(1)传统数据同步方式研究多是侧重于数据传输的一致性和完整性研究，未考虑大批量客户端快速同步情况。传统的数据同步方式可供同步的同步源个数少或者有限。

(2)传统数据同步一般是向固定主机或者批量主机请求同步，同时同步由于数据量过大，排队或者等待时间过长，导致同步效率低。

发明内容

针对现有技术中的缺陷，本发明提供了一种多源大批量客户端数据同步方法及系统，将节点网络中被同步后的客户端作为新的同步源，同步时间越长同步源越多，减少了若干客户端请求同步时的等待时间，提高了同步效率。

第一方面，本发明提供了一种多源大批量客户端数据同步方法，包括以下步骤：

初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；

新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步。

优选地，所述客户端在启动后，实时发送状态信息给其他客户端，也实时接收其他客户端广播的状态信息；

所述状态信息包括未同步、繁忙和空闲。

优选地，所述实时发送状态信息给其他客户端，具体为：

客户端启动时，标识为未同步客户端，发送的状态信息为未同步；

客户端在同步时，标识为繁忙客户端，发送的状态信息为繁忙；

客户端在同步后，标识为空闲客户端，发送的状态信息为空闲。

优选地，所述实时接收其他客户端广播的状态信息，具体为：

客户端实时接收其他客户端广播的状态信息，并在状态列表中更新其他客户端的同步状态。

优选地，所述新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，具体为：

新启动的客户端从更新后的状态列表中，得到空闲客户端的地址，并根据地址向对应的空闲客户端发送同步请求；

空闲客户端根据同步请求查询待同步的基础数据，并将待同步的基础数据反馈给新启动的客户端。

优选地，每个客户端设有三个网口，通过三个网口分别发送三种状态的状态信息。

优选地，所述方法还包括同步过程的异常处理步骤；

所述同步过程的异常处理步骤为：在同步过程中出现连接断开时，请求同步的客户端和被请求同步的客户端，恢复到同步前的初始状态，请求同步的客户端向其他空闲客户端发送同步请求或在重新连接后再次向被请求同步的客户端发送同步请求。

优选地，所述方法还包括同步超时的处理步骤；

所同步超时的处理步骤为：根据节点网络中客户端的个数估算全部同步完成所需的时间，并设置同步的限制时间；监控同步时间，如果同步时间大于限制时间，则停止同步。

第二方面，本发明提供了一种多源大批量客户端数据同步系统，适用于第一方面所述的多源大批量客户端数据同步方法，包括属于同一节点网络的若干个客户端；

初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；

新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步

本发明的技术方案，将节点网络中被同步后的客户端作为新的同步源，同步时间越长同步源越多，减少了若干客户端请求同步时的等待时间，提高了同步效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本实施例中多源大批量客户端数据同步方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

实施例一：

本实施例提供了一种多源大批量客户端数据同步方法，如图1所示，包括以下步骤：

初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；

新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步。

本实施例中，由若干客户端组成的节点网络，每个客户端即为一个节点，所述客户端包括计算机、服务器等。本实施例的技术方案应用在节点网络中若干客户端启动时的数据同步更新。节点网络中的若干客户端在启动时，有时间的先后顺序，例如，初始客户端P1(或者第一启动的客户端)在生成基础数据后即可作为同步源；第二启动的客户端P2启动后，P1将基础数据同步给P2，数据同步后的P2就是新的同步源，此时P1和P2都是同步源；第三次同时启动了客户端P3和客户端P4，此时P3和P4无需依次向P1请求同步，P3向P1请求同步，P4向P2请求同步，则P3和P4可以同时进行数据同步，同时进行更新，进而减少了同步时间，提高了同步效率。

本实施例中，一客户端在向另一客户端请求同步前，需要知道对方是否处于空闲状态，然后再决定是否进行同步请求。因此，所述客户端在启动后，实时发送状态信息给其他客户端，也实时接收其他客户端广播的状态信息；所述状态信息包括未同步、繁忙和空闲(每个客户端设有三个网口，通过三个网口分别发送三种状态的状态信息，可通过三个网口同时向外进行数据同步)。即客户端之间相互进行广播，将自己的同步状态告知给对方的同时，对方也将它的同步状态告诉给自己。

其中，客户端实时发送状态信息给其他客户端，具体为：

客户端启动时，标识为未同步客户端，发送的状态信息为未同步；

客户端在同步时，标识为繁忙客户端，发送的状态信息为繁忙；

客户端在同步后，标识为空闲客户端，发送的状态信息为空闲。

本实施例中，客户端在刚启动时，向其他客户端发送状态信息，此时为未同步状态；同步源在向本客户端同步数据时，或者本客户端作为同步源向后续启动的客户端同步数据时，本客户端处于繁忙状态，因此向外发送的状态信息为繁忙；客户端在同步后，处于没有同步的空闲状态，因此向外发送的状态信息为空闲。

其中，客户端实时接收其他客户端广播的状态信息，具体为：

客户端实时接收其他客户端广播的状态信息，并在状态列表中更新其他客户端的同步状态。

本实施例中，状态列表中存储有每个在线的客户端的同步状态(未同步、繁忙、空闲)，以便客户端后续进行使用。

其中，所述新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，具体为：

新启动的客户端从更新后的状态列表中，得到空闲客户端的地址，并根据地址向对应的空闲客户端发送同步请求；

空闲客户端根据同步请求查询待同步的基础数据，并将待同步的基础数据反馈给新启动的客户端。

本实施例中，客户端在需要同步时，查询状态列表，从状态列表中标识为空闲的客户端中，选择一个空闲客户端，得到该空闲客户端的地址，向该空闲客户端发送同步请求，该空闲客户端进行响应后，向发起请求的客户端反馈基础数据，以供发起请求的客户端进行数据同步。发起请求的客户端在进行数据同步后，处于空闲状态，可作为新的同步源，可向后续启动的客户端同步数据。

本实施例的多源大批量客户端数据同步方法，还包括同步过程的异常处理步骤；

所述同步过程的异常处理步骤为：在同步过程中出现连接断开时，请求同步的客户端和被请求同步的客户端，恢复到同步前的初始状态，请求同步的客户端向其他空闲客户端发送同步请求或在重新连接后再次向被请求同步的客户端发送同步请求。

本实施例，在数据同步的过程中出现连接断开的意外时，则同步过程中的两客户端恢复到同步前的状态，发起请求的客户端可在连接后重新发起请求，也可转而向其他空闲客户端发起请求。从而保证发起请求的客户端可以得到完整的同步数据。

本实施例的多源大批量客户端数据同步方法，还包括同步超时的处理步骤；

所同步超时的处理步骤为：根据节点网络中客户端的个数估算全部同步完成所需的时间，并设置同步的限制时间；监控同步时间，如果同步时间大于限制时间，则停止同步。

本实施例中，一般根据客户端个数能估算出所有客户端全部同步完成所需的时间，同步速度随时间按倍速增长，到达限制时间还未完成同步，则表明同步程序有可能存在故障，因此程序自动退出进行保护，停止同步。

本实施例中，客户端同步完成后会成为新的同步源，这种滚雪球的方式，可提供同步的同步源越来越多，同步源成倍增长，同步速度也会成倍增长。若单台客户端同步完成需要时间为t，起始同步源个数为n1，需要同步的客户端个数为n2。

采用传统的同步方式，所需要总同步时间为：time1＝n2/n1*t；

采用本实施例的同步方式，所需要总同步时间为：time2＝log⁽²⁾(n2/n1)；

如果10000个客户端找10台同步源客户端同步，根据所述计算公式，本传统同步方式所需时间大约是本实施例同步方式所需时间的100倍，本实施例同步方式的同步速度大约是传统同步方式的100倍。

本实施例中，客户端之间在发送状态信息的同时，还发送自己的数据类型。客户端在更新状态列表时，不仅更新其他客户端的状态信息，还更新其他客户端的数据类型。客户端在发送同步请求时，会从状态类别列表中找到空闲的、且具有自己所需数据类型的客户端，并将同步请求发送给该客户端，该客户端将请求方所需的数据类型的基本数据反馈给请求方，以供请求方进行数据同步。例如客户端A在查询状态类别时，找到了空闲客户端B和空闲客户端C，空闲客户端B和空闲客户端C存储的基本数据的数据类型不同，空闲客户端B存储的基本数据的数据类型是客户端A所需的，于是客户端A向空闲客户端B发起了同步请求，空闲客户端B将客户端A所需数据类型的基本数据反馈给客户端A。

本实施例中，若一个客户端需要多个数据类型的基本数据，客户端会向具有自己所需数据类型的空闲客户端依次发送同步请求，直到所需的所有数据类型全部同步完成。

综上所述，本实施例的技术方案，将节点网络中被同步后的客户端作为新的同步源，同步时间越长同步源越多，减少了若干客户端请求同步时的等待时间，提高了同步效率，实现了大批量客户端快速高效的数据同步；本实施例中，当同步过程出现异常时，会重新进行同步，从而保证同步数据的完整性；本实施例中，当同步超时时，会退出同步程序，停止同步，以免程序卡死。

实施例二：

本实施例提供了一种多源大批量客户端数据同步系统，适用于实施例一所述的多源大批量客户端数据同步方法，包括属于同一节点网络的若干个客户端；

初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；

新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步

本实施例中，由若干客户端组成的节点网络，每个客户端即为一个节点，所述客户端包括计算机、服务器等。本实施例的技术方案应用在节点网络中若干客户端启动时的数据同步更新。节点网络中的若干客户端在启动时，有时间的先后顺序，例如，初始客户端P1(或者第一启动的客户端)在生成基础数据后即可作为同步源；第二启动的客户端P2启动后，P1将基础数据同步给P2，数据同步后的P2就是新的同步源，此时P1和P2都是同步源；第三次同时启动了客户端P3和客户端P4，此时P3和P4无需依次向P1请求同步，P3向P1请求同步，P4向P2请求同步，则P3和P4可以同时进行数据同步，同时进行更新，进而减少了同步时间，提高了同步效率。

本实施例中，一客户端在向另一客户端请求同步前，需要知道对方是否处于空闲状态，然后再决定是否进行同步请求。因此，所述客户端在启动后，实时发送状态信息给其他客户端，也实时接收其他客户端广播的状态信息；所述状态信息包括未同步、繁忙和空闲(每个客户端设有三个网口，通过三个网口分别发送三种状态的状态信息，可通过三个网口同时向外进行数据同步)。即客户端之间相互进行广播，将自己的同步状态告知给对方的同时，对方也将它的同步状态告诉给自己。

其中，客户端实时发送状态信息给其他客户端，具体为：

客户端启动时，标识为未同步客户端，发送的状态信息为未同步；

客户端在同步时，标识为繁忙客户端，发送的状态信息为繁忙；

客户端在同步后，标识为空闲客户端，发送的状态信息为空闲。

本实施例中，客户端在刚启动时，向其他客户端发送状态信息，此时为未同步状态；同步源在向本客户端同步数据时，或者本客户端作为同步源向后续启动的客户端同步数据时，本客户端处于繁忙状态，因此向外发送的状态信息为繁忙；客户端在同步后，处于没有同步的空闲状态，因此向外发送的状态信息为空闲。

其中，客户端实时接收其他客户端广播的状态信息，具体为：

客户端实时接收其他客户端广播的状态信息，并在状态列表中更新其他客户端的同步状态。

本实施例中，状态列表中存储有每个在线的客户端的同步状态(未同步、繁忙、空闲)，以便客户端后续进行使用。

其中，所述新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，具体为：

新启动的客户端从更新后的状态列表中，得到空闲客户端的地址，并根据地址向对应的空闲客户端发送同步请求；

空闲客户端根据同步请求查询待同步的基础数据，并将待同步的基础数据反馈给新启动的客户端。

本实施例中，客户端在需要同步时，查询状态列表，从状态列表中标识为空闲的客户端中，选择一个空闲客户端，得到该空闲客户端的地址，向该空闲客户端发送同步请求，该空闲客户端进行响应后，向发起请求的客户端反馈基础数据，以供发起请求的客户端进行数据同步。发起请求的客户端在进行数据同步后，处于空闲状态，可作为新的同步源，可向后续启动的客户端同步数据。

本实施例的多源大批量客户端数据同步系统，在同步过程出现异常时，会进行如下处理：在同步过程中出现连接断开时，请求同步的客户端和被请求同步的客户端，恢复到同步前的初始状态，请求同步的客户端向其他空闲客户端发送同步请求或在重新连接后再次向被请求同步的客户端发送同步请求。

本实施例，在数据同步的过程中出现连接断开的意外时，则同步过程中的两客户端恢复到同步前的状态，发起请求的客户端可在连接后重新发起请求，也可转而向其他空闲客户端发起请求。从而保证发起请求的客户端可以得到完整的同步数据。

本实施例的多源大批量客户端数据同步系统，会根据节点网络中客户端的个数估算全部同步完成所需的时间，并设置同步的限制时间；监控同步时间，如果同步时间大于限制时间，则停止同步。

本实施例中，一般根据客户端个数能估算出所有客户端全部同步完成所需的时间，同步速度随时间按倍速增长，到达限制时间还未完成同步，则表明同步程序有可能存在故障，因此程序自动退出进行保护，停止同步。

本实施例中，客户端同步完成后会成为新的同步源，这种滚雪球的方式，可提供同步的同步源越来越多，同步源成倍增长，同步速度也会成倍增长。若单台客户端同步完成需要时间为t，起始同步源个数为n1，需要同步的客户端个数为n2。

采用传统的同步方式，所需要总同步时间为：time1＝n2/n1*t；

采用本实施例的同步方式，所需要总同步时间为：time2＝log⁽²⁾(n2/n1)；

如果10000个客户端找10台同步源客户端同步，根据所述计算公式，本传统同步方式所需时间大约是本实施例同步方式所需时间的100倍，本实施例同步方式的同步速度大约是传统同步方式的100倍。

综上所述，本实施例的技术方案，将节点网络中被同步后的客户端作为新的同步源，同步时间越长同步源越多，减少了若干客户端请求同步时的等待时间，提高了同步效率，实现了大批量客户端快速高效的数据同步；本实施例中，当同步过程出现异常时，会重新进行同步，从而保证同步数据的完整性；本实施例中，当同步超时时，会退出同步程序，停止同步，以免程序卡死。

此外，本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元或步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，所述步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可结合为一个步骤，一个步骤可拆分为多个步骤，或一些特征可以忽略等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种多源大批量客户端数据同步方法，其特征在于，包括以下步骤：

初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；

新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步；

所述客户端在启动后，实时发送状态信息给其他客户端，也实时接收其他客户端广播的状态信息；

所述状态信息包括未同步、繁忙和空闲。

2.根据权利要求1所述的一种多源大批量客户端数据同步方法，其特征在于，所述实时发送状态信息给其他客户端，具体为：

客户端启动时，标识为未同步客户端，发送的状态信息为未同步；

客户端在同步时，标识为繁忙客户端，发送的状态信息为繁忙；

客户端在同步后，标识为空闲客户端，发送的状态信息为空闲。

3.根据权利要求2所述的一种多源大批量客户端数据同步方法，其特征在于，所述实时接收其他客户端广播的状态信息，具体为：

客户端实时接收其他客户端广播的状态信息，并在状态列表中更新其他客户端的同步状态。

4.根据权利要求3所述的一种多源大批量客户端数据同步方法，其特征在于，所述新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，具体为：

新启动的客户端从更新后的状态列表中，得到空闲客户端的地址，并根据地址向对应的空闲客户端发送同步请求；

空闲客户端根据同步请求查询待同步的基础数据，并将待同步的基础数据反馈给新启动的客户端。

5.根据权利要求4所述的一种多源大批量客户端数据同步方法，其特征在于，每个客户端设有三个网口，通过三个网口分别发送三种状态的状态信息。

6.根据权利要求4所述的一种多源大批量客户端数据同步方法，其特征在于，还包括同步过程的异常处理步骤；

所述同步过程的异常处理步骤为：在同步过程中出现连接断开时，请求同步的客户端和被请求同步的客户端，恢复到同步前的初始状态，请求同步的客户端向其他空闲客户端发送同步请求或在重新连接后再次向被请求同步的客户端发送同步请求。

7.根据权利要求4所述的一种多源大批量客户端数据同步方法，其特征在于，还包括同步超时的处理步骤；

所同步超时的处理步骤为：根据节点网络中客户端的个数估算全部同步完成所需的时间，并设置同步的限制时间；监控同步时间，如果同步时间大于限制时间，则停止同步。

8.一种多源大批量客户端数据同步系统，适用于权利要求1-7任一项所述的多源大批量客户端数据同步方法，其特征在于，包括属于同一节点网络的若干个客户端；

初始客户端，在生成基础数据后作为同步源，标识为空闲客户端，以供新启动的客户端进行数据同步；

新启动的客户端，向空闲客户端发送同步请求，接收空闲客户端反馈的基本数据并进行数据同步，数据同步后的客户端作为新的同步源，标识为空闲客户端，则同步源的数量加一，所有同步源供后续启动的客户端进行数据同步；

所述客户端在启动后，实时发送状态信息给其他客户端，也实时接收其他客户端广播的状态信息；

所述状态信息包括未同步、繁忙和空闲。

Images