CN109710586B - 一种集群节点配置文件同步方法及装置 - Google Patents

Abstract

本发明公开了一种集群节点配置文件同步方法及装置。其核心思想是通过在每个节点中建立日志文件，在日志文件为每个需要同步的配置文件建立一条记录，记录中记载了对应同步配置文件的标识，对该配置文件最新一次操作的步骤序号，以及对应配置文件是否被删除的标记。这样当从节点新加入集群或从停机状态恢复需要和主节点进行同步操作时，主节点只需要将需要同步的配置文件的最终状态发送给接收方即可。一个配置文件的同步只需要一次更新操作，一步恢复到配置文件的最新状态，从而避免经历中间状态，达到提高速度和效率的目的。

Description

一种集群节点配置文件同步方法及装置

技术领域

本发明涉及分布式集群技术领域，提供一种集群节点配置文件同步的方法及装置。

背景技术

在集群中存在大量的配置文件，这些文件保存在各个节点上，需要保持全对等，当对这些文件进行增删改操作后，需要在节点间进行同步，从而使各个节点上的配置文件保持一致。

目前集群节点同步的策略通常是设置主从节点，所有操作都在主节点上进行，主节点再向其它节点发送同步操作和数据，从节点接收到同步数据后根据内容进行相关操作。

在工作期间，主节点时刻监视集群内所有节点状态，当有节点停机时，记录下节点停机期间所有同步操作，在停机节点恢复后，按照顺序逐条发送给该节点。

这就要求主节点需要将所有的操作和对应的过程数据保存下来，如果一个配置文件在停机期间发生多次变化，停机节点必须一一重复所有的中间状态才能到达最终状态，如果存在大量这种配置文件，就会给停机节点的状态恢复造成很大压力，浪费很多不必要的时间，降低了同步效率。

发明内容

本发明的目的是提供一种集群节点配置文件同步方法及装置，以解决现有节点新加入集群或停机后重新加入集群时同步速度慢效率低的问题。

针对上述问题，本发明提供了一种面向最终状态的同步方法，在提高同步效率的同时降低了事务日志的存储空间。

其核心思想是通过日志文件为每个需要同步的配置文件建立一条记录，记录中记载了对应同步配置文件的标识，设置步骤序号记载了对该配置文件最新一次操作的步骤序号，以及对应配置文件是否被删除的标记。这样在同步时只需要将需要同步的配置文件的最终状态发送给接收方即可。一个配置文件的同步只需要一次更新操作，一步恢复到配置文件的最新状态，从而避免经历中间状态，达到提高速度和效率的目的。

第一方面，本说明书提供了一种集群节点配置文件同步方法，包括：

建立日志文件：各节点上均建立一个日志文件，该日志文件为每一个需要同步的配置文件建立了一条记录，该记录包括配置文件的标识、步骤序号及配置文件的删除标记，其中所述的步骤序号用于描述最近一次对该配置文件进行操作的步骤数，所述的删除标记用来描述对应配置文件是否已被删除；

选举主节点：集群中节点通过选主过程设置主节点，第一次选举主节点时，选举节点ID最小的节点为主节点，后续选举主节点时，选择日志文件中步骤序号最大的节点为主节点，步骤序号相同时选择节点ID最小的为主节点；

广播同步数据：在正常状态下，当主节点上配置文件发生变化时，主节点便会更新日志文件对应记录的内容，并将更新的记录和未被删除的对应配置文件通过广播方式发送到所有从节点。如果对配置文件的操作为增加或修改，则发送的同步数据包括日志文件中增加或修改的记录，以及对应的配置文件；如果对配置文件的操作为删除，则发送的同步数据只能是日志文件中修改的记录；

从节点发送同步请求：当从节点新加入集群或从停机状态恢复时，有大量的数据需要同步。从节点通过广播方式查询主节点ID，查找到主节点后向主节点发送同步请求，同步请求中包括本节点日志文件中最大步骤序号，对于新加入的从节点默认步骤序号为零；

主节点发送同步数据：主节点接收到同步请求，取出所述最大步骤序号，并取出本节点日志文件中所有步骤序号大于所述最大步骤序号的记录，主节点按照步骤序号从小到大的顺序逐条发送同步数据，如果记录删除标记为“真”，则只发送记录；如果记录删除标记为“假”，则发送记录和对应的配置文件；

从节点接收主节点发送的同步数据，进行相应同步操作。

进一步地，当主节点增加需同步配置文件时，在日志中增加一条记录，记录中记录所述配置文件的标识，步骤序号的值为日志中最大步骤序号的值加一，删除标记为“假”；

当修改一条同步配置文件时，修改其日志中对应记录的步骤序号的值为日志中最大步骤序号的值加一，删除标记为“假”；

当删除一条同步配置文件时，修改其日志中对应记录的步骤序号的值为日志中最大步骤序号的值加一，删除标记为“真”。

进一步地，主节点配置文件更新后，日志文件也要进行相应更新，步骤如下：

当增加需同步配置文件时，在日志中增加一条记录，记录中记录所述配置文件的标识，步骤序号的值为日志中最大步骤序号的值加一，删除标记为“假”；

当修改一条同步配置文件时，修改其日志中对应记录的步骤序号的值为日志中最大步骤序号的值加一，删除标记为“假”；

当删除一条同步配置文件时，修改其日志中对应记录的步骤序号的值为日志中最大步骤序号的值加一，删除标记为“真”。

进一步地，从节点接收到同步数据后，处理步骤如下：

从节点从同步数据中取出步骤序号，如果所述步骤序号大于本节点日志文件中最大步骤序号，则取出所述同步数据中配置文件标识，在日志文件中查找；

如果不存在所述配置文件标识且对应的删除标记为“真”，说明对应的配置文件已被删除，则复制该记录到日志文件中；

如果不存在所述配置文件标识且对应的删除标记为“假”，则复制该记录到日志文件中且复制对应配置文件到从节点中；

如果存在所述配置文件标识且对应删除标记为“真”，则复制该记录到日志文件中，且在从节点中删除对应的配置文件

如果存在所述配置文件标识且对应删除标记为“假”，则复制该记录到日志文件中，且复制对应配置文件到从节点中。

第二方面，本说明书提供了一种集群节点配置文件同步装置，包括：

查询模块：用于主节点的选举和查询，在集群没有主节点时执行选举主节点操作，在加入集群或从故障状态恢复后，执行查询主节点操作；

发送模块：用于同步请求和同步数据的发送，作为主节点时，用于发送同步数据，作为从节点时，用于发送同步请求；

接收模块：用于同步请求和同步数据的接收，作为主节点时，用于接收同步请求，作为从节点时，用于接收同步数据；

日志文件管理模块：用于对日志文件进行读写操作；

配置文件管理模块：用于配置文件的增删改操作。

本发明与现有技术相比，其显著优点为：(1)提高了同步效率。本发明只记录配置文件的最新状态，同步时，直接将从节点配置文件更新到最新状态，跨越了中间过程，节省了时间，提高了效率。(2)节省了日志存储空间。本发明在日志中为每一个需同步的配置文件设置一条记录，只要配置文件数量不变化，日志大小就不会变化，不受过程次数影响。

第三方面，本说明书提供一种计算机装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。

第四方面，本说明书提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。

下面结合附图说明对本发明作进一步详细描述。

附图说明

图1本发明同步流程示意图；

图2为本发明主节点增加配置文件时日志文件更新流程示意图；

图3为本发明主节点修改配置文件时日志文件更新流程示意图；

图4为本发明主节点删除配置文件时日志文件更新流程示意图；

图5为本发明从节点执行更新操作流程示意图；

图6为本发明节点结构示意图；

图7为本发明计算机设备示意图。

具体实施方式

为了更好的了解本发明，下面将结合实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1，步骤101，集群刚开始运行时，需要进行设置主节点的工作，这由自动的选举策略完成，首先选择节点ID最小的节点作为主节点，其他节点作为从节点。如果在工作过程中主节点停机，则重新进行主节点的选举工作，为了保证配置文件处于相对最新的状态，设置日志文件中步骤序号最大的节点为主节点，如果有多个节点步骤序号一样大，则再选择节点ID最小的节点作为主节点。

步骤102，当主节点设置完成后，所有对配置文件的操作都在主节点进行，当配置文件的内容或状态发生变化时，都会在日志文件中进行相应的记录，主要记录配置文件的ID、最新操作的步骤序号、以及该配置文件是否被删除，默认设置步骤序号初始值为零。

步骤103，新的节点加入集群或已加入集群的从节点从停机状态恢复时，都视为重新进入集群。

步骤104，从节点加入集群后，需要通过广播方式查询集群主节点的ID。

步骤105，查找到主节点后，从节点向主节点发送同步请求，同步请求包括从节点节点ID和日志文件最大步骤序号，如果是新加入的节点，默认设置步骤序号为零。

步骤106，主节点接收到同步请求后，取出请求中步骤序号，将该步骤序号与本节点日志文件中步骤序号相比较，将所有步骤序号大于该序号的记录取出，按照从小到大的顺序，逐条将同步数据发送到发送同步请求的从节点。如果同步数据记录中删除标记为假，则还需要发送对应的配置文件；如果同步数据记录中删除标记为真，表示该配置文件已被删除，则只发送记录，不再发送该配置文件。

步骤107，从节点接收到同步数据后，执行同步操作。首先取出同步数据中步骤序号，如果该步骤序号大于本级日志文件中步骤序号，则接收该同步数据，更新日志文件相关记录，以及更新对应的配置文件。

下面结合图2图3图4介绍当对配置文件进行增删改操作时，日志文件的变化情况，假设当前的步骤序号为零：

图2，步骤201，进行增加配置文件1的操作，由于该配置文件为新增，日志文件中没有该配置文件对应的记录，故新增一条记录，“配置文件1,1，假”，步骤202；

图3，步骤301，对配置文件1进行修改操作，此时日志文件已有该配置文件对应记录，步骤序号加一，文件未删除，所以步骤302，修改日志文件对应记录，“配置文件1,2，假”；

图4，步骤401，对配置文件1进行删除操作，此时步骤序号加一，删除标记为真，所以步骤402，修改日志文件对应记录，“配置文件1,3，真”。

下面结合图5对从节点接收到同步数据后的更新过程进行介绍，步骤如下：

步骤501，从节点从同步数据中取出步骤序号，如果大于本节点日志文件中最大步骤序号，则取出同步数据中配置文件标识，在日志文件中进行查找；

如果不存在所述配置文件标识且对应的删除标记为“真”，则复制该记录到日志文件中；

如果不存在所述配置文件标识且对应的删除标记为“假”，则复制该记录到日志文件中且复制对应配置文件到从节点中；

如果存在所述配置文件标识且对应删除标记为“真”，则复制该记录到日志文件中，且在从节点中删除对应的配置文件

如果存在所述配置文件标识且对应删除标记为“假”，则复制该记录到日志文件中，且复制对应配置文件到从节点中。

图6介绍本发明实施例提供的集群节点配置文件同步装置的结构框图，包括：

查询模块601：用于主节点的选举和查询，在集群没有主节点时执行选举主节点操作，在加入集群或从故障状态恢复后，执行查询主节点操作；

发送模块602：用于同步请求和同步数据的发送，作为主节点时，用于发送同步数据，作为从节点时，用于发送同步请求；

接收模块603：用于同步请求和同步数据的接收，作为主节点时，用于接收同步请求，作为从节点时，用于接收同步数据；

日志文件管理模块604：用于对日志文件进行读写操作；

配置文件管理模块605：用于配置文件的增删改操作。

图7为本发明申请实施例提供的计算机设备的硬件结构示意图，该计算机设备可用于实现上述主节点和从节点的功能，该计算机设备包括：一个或多个处理器701以及存储器702。图7以一个为例。其中，处理器701以及存储器702可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中主节点对应的程序指令/模块。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块，从而实现主节点或从节点的各种功能应用以及数据处理，即实现上述方法实施例中主节点或从节点的功能。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储主节点或从节点使用所获取的数据、命令等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述计算机设备可执行本申请实施例所提供的系统或方法，具备执行该系统或方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的同步方法，这里不再赘述。

并且，以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台来实现，当然也可以通过硬件来实现。基于这样的理解，本质上本发明的技术方案或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘各种可以存储程序代码的介质。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种集群节点配置文件同步方法，其特征在于，包括以下步骤：

S1、建立日志文件：各节点上均建立一个日志文件，该日志文件为每一个本节点需要同步的配置文件建立了一条记录，该记录包括该配置文件的标识、步骤序号及配置文件的删除标记；其中所述的步骤序号用于描述最近一次对该配置文件进行操作的步骤数，所述的删除标记用来描述对应配置文件是否已被删除；

S2、选举主节点：集群中节点通过选主过程设置主节点，第一次选举主节点时，选举节点ID最小的节点为主节点，后续选举主节点时，选择日志文件中步骤序号最大的节点为主节点，步骤序号相同时选择节点ID最小的为主节点；

S3、广播同步数据：当主节点上配置文件发生变化时，更新日志文件对应记录的内容，并将更新的记录和未被删除的对应配置文件通过广播方式发送到所有从节点，如果记录删除标记为“真”，则只发送记录；如果记录删除标记为“假”，则发送记录和对应的配置文件；

S4、从节点发送同步请求：当从节点加入集群或从停机状态恢复时，通过广播方式查询主节点ID，查找到主节点后向主节点发送同步请求，同步请求中包括本节点日志文件中最大步骤序号；

S5、主节点发送同步数据：主节点接收到同步请求，取出所述最大步骤序号，并取出本节点日志文件中所有步骤序号大于所述最大步骤序号的记录，主节点按照步骤序号从小到大的顺序逐条发送同步数据，如果记录删除标记为“真”，则只发送记录；如果记录删除标记为“假”，则发送记录和对应的配置文件；

S6、从节点接收主节点发送的同步数据，进行相应同步操作。

2.根据权利要求1所述的一种集群节点配置文件同步方法，其特征在于，步骤S3中所述更新日志文件对应记录的内容的步骤如下：

当增加需同步配置文件时，在日志中增加一条记录，记录中记录所述配置文件的标识，步骤序号的值为日志中最大步骤序号的值加一，删除标记为“假”；

当修改一条同步配置文件时，修改其日志中对应记录的步骤序号的值为日志中最大步骤序号的值加一，删除标记为“假”；

当删除一条同步配置文件时，修改其日志中对应记录的步骤序号的值为日志中最大步骤序号的值加一，删除标记为“真”。

3.根据权利要求1或2任一项所述的一种集群节点配置文件同步方法，其特征在于，步骤S6中所述进行相应同步操作的步骤如下：

从节点从同步数据中取出步骤序号，如果所述步骤序号大于本节点日志文件中最大步骤序号，则取出所述同步数据中配置文件标识，在日志文件中查找；

如果不存在所述配置文件标识且对应的删除标记为“真”，则复制该记录到日志文件中；

如果不存在所述配置文件标识且对应的删除标记为“假”，则复制该记录到日志文件中且复制对应配置文件到从节点中；

如果存在所述配置文件标识且对应删除标记为“真”，则复制该记录到日志文件中，且在从节点中删除对应的配置文件；

如果存在所述配置文件标识且对应删除标记为“假”，则复制该记录到日志文件中，且复制对应配置文件到从节点中。

4.一种计算机装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。