CN112653734A - 服务器集群实时主从控制和数据同步系统及方法 - Google Patents

Abstract

本发明公开了一种服务器集群实时主从控制和数据同步系统及方法，连接服务器集群的多个节点，包括：节点健康监测模块、主从节点控制模块和主从数据同步模块，节点健康检测模块用于通过心跳线的跳变方波监测各节点的工作状态，主从节点控制模块根据各节点的工作状态结合判定算法来进行主/从节点的选取和切换，主从数据同步模块通过数据同步算法进行主节点和从节点的数据请求以及数据同步。具有主从互斥功能，避免出现多个主节点的故障现象。主从数据同步模块通过双口RAM进行主节点和从节点之间的数据交互以及数据更新，同步时延短，集群服务响应快。

Description

服务器集群实时主从控制和数据同步系统及方法

技术领域

本发明涉及服务器集群领域，具体的涉及一种服务器集群实时主从控制和数据同步系统及方法。

背景技术

服务器集群的含义是将很多服务器集中起来一起进行同一种服务，在客户端看来就像只有一个服务器。集群化操作可以减少单点故障数量，并且实现了集群资源的高可用性。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器损坏了整个系统还是能够正常运行。

主从服务器：集群中一台服务器设置为主服务器，集群内其余服务器为从服务器，主服务器可以对数据读取和写入，从服务器能读取数据，但是一般不能写入数据或通过主服务器写入。

目前，服务器集群主从控制及数据同步方式都是通过网络接口交互进行，存在以下缺陷：

1、一般都是通过心跳方式来确认对端工作是否正常，由于网络抖动或中断等异常时有发生，收集不到心跳也不能确认节点不存在或者宕机，当网络分割时，存在“脑裂”等多种主节点故障现象；

2、业务数据和控制类及同步数据都是基于网络接口进行处理，各类数据混杂一起，造成主从控制及数据同步时延较长，导致集群服务响应慢。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种服务器集群实时主从控制和数据同步系统及方法，能够自动进行集群内主从控制和数据同步、时延短、响应快，还能够避免网络分割时出现的故障现象。

根据本发明实施例的一种服务器集群实时主从控制和数据同步系统，连接服务器集群的多个节点，包括：

节点健康监测模块，所述节点健康检测模块用于监测各节点的工作状态；主从节点控制模块，所述节点健康监测模块与主从节点控制模块通讯连接以用于反馈各节点的工作状态，所述主从节点控制模块分别通讯连接多个节点，所述主从节点控制模块根据各节点的工作状态结合判定算法来进行主/从节点的选取和切换；主从数据同步模块，所述节点健康监测模块与主从数据同步模块通讯连接以用于反馈各节点的工作状态，所述主从节点控制模块与所述主从数据同步模块相连以用于反馈主节点和从节点的选取和切换信息，所述主从数据同步模块上设置有对应多个节点的多个端口，每个所述端口分别通过一双口RAM与对应的节点通讯连接，所述主从数据同步模块通过数据同步算法进行主节点和从节点的数据请求以及数据同步。

根据本发明实施例的一种运行于上述系统的服务器集群实时主从控制和数据同步方法，包括以下步骤：

节点健康检测：

S100：节点健康监测模块实时监测各对应节点的工作状态；

主从节点控制：

S201、主从节点控制模块通过节点健康监测模块获知各节点的工作状态；

S202、主从节点控制模块按照判定条件选择一个节点为主节点，其余的节点为从节点，然后将所有已连接的节点设置成对应的主/从状态；

S203、当主节点异常时，节点健康监测模块通知主从节点控制模块，主从节点控制模块按照判定条件重新选择某个节点为主节点并进行切换，任何时刻主从节点控制模块控制的节点中只能存在0或1个主节点；

主从数据同步，包括主-从节点数据同步和从-主节点数据同步：

主-从节点数据同步

S301、主节点收到数据修改请求时，主节点进行数据更新，主从数据同步模块通过双口RAM读取主节点的更新数据；

S303、主从数据同步模块读取主节点的更新数据后，通过写入所有从节点对应的双口RAM来通知从节点刷新数据；

S304、各个从节点通过中断同步读取数据，实时刷新本地数据以保持与主节点数据的一致性；

从-主节点数据同步

S311、从节点收到数据修改请求，从节点通过双口RAM发送更新请求给主从数据同步模块，主从数据同步模块将该请求通过双口RAM转发给主节点；

S312、如果主节点同意修改则通过步骤S301-步骤S304进行数据更新和数据同步，如果主节点不同意修改则回复拒绝给从节点。

根据本发明实施例的服务器集群实时主从控制和数据同步系统及方法，至少具有如下技术效果：本发明实施方式中节点健康监测模块通过实时心跳监测各节点的工作状态，主从节点根据各节点的工作状态和判定条件进行节点的主从状态切换，可以迅速确定选择出主节点和从节点，主从节点之间的选举周期短，并且具有主从互斥功能，同一时间最多只允许一个主节点产生，避免出现多个主节点的故障现象。主从数据同步模块通过双口RAM进行主节点和从节点之间的数据交互以及数据更新，不仅保证了主节点和从节点的数据一致性，而且从节点的数据修改必须经过主节点，由主节点同意后通过主从数据同步模块进行发送，同步时延短，集群服务响应快。

根据本发明的一些实施例，所述节点健康监测模块包括主节点健康监测模块、多个设置在节点内的心跳监测子模块和时钟子模块，所述时钟子模块用于产生时钟信号给心跳监测子模块产生心跳线，所述心跳监测子模块用于监测对应节点的工作状态，所述心跳监测子模块通过心跳线与主节点健康监测模块建立连接以用于反馈所监测节点的工作状态，所述主节点健康监测模块分别与所述主从节点控制模块、主从数据同步模块通讯连接。

根据本发明的一些实施例，所述主从节点控制模块通过主从节点控制管脚来控制对应节点的主从状态。

根据本发明的一些实施例，所述节点健康检测的具体步骤为：

S101、给每个节点安装一个心跳监测子模块，对各个心跳监测子模块进行节点内检测点的设置；

S102、心跳监测子模块实时监测并捕获各检测点的状态，在状态正常时，通过心跳线输出方波；

S103、节点健康监测模块通过各心跳线的跳变方波实时监测各对应节点的工作状态。

根据本发明的一些实施例，所述步骤S202和S203中的判定条件为：节点的静态优先级以及节点的当前健康状态。

根据本发明的一些实施例，所述步骤S202和S203中各个节点根据主从节点控制模块对应的控制管脚的电平高低来确定自己的主从状态。

根据本发明的一些实施例，还包括数据请求步骤：从节点向主从数据同步模块发出请求发送全部或部分数据，主从数据同步模块将该请求转发给主节点进行处理，主节点将所请求的数据通过主从数据同步模块发送给该从节点。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例中服务器集群实时主从控制和数据同步系统的结构示意图；

图2为本发明实施例中节点健康监测模块的工作原理图；

图3为本发明实施例中主从节点控制模块的原理图；

图4为本发明实施例中主从数据同步的原理图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参考图1，一种服务器集群实时主从控制和数据同步系统，连接服务器集群的多个节点，包括：节点健康监测模块、主从节点控制模块和主从数据同步模块、双口RAM和DMA控制器。

节点健康检测模块的作用是监测来自集群内各节点的健康状态，并将监测结果上报到主从节点控制模块和主从数据同步模块，具体的，节点健康监测模块包括主节点健康监测模块、多个设置在节点内的心跳监测子模块和时钟子模块，时钟子模块产生时钟信号给心跳监测子模块和双口RAM的读写，心跳监测子模块用于监测对应节点的工作状态，参考图2，每个节点内的心跳监测子模块输入一条心跳线到主节点健康监测模块来反馈该节点的健康状态，正常情况下心跳线方波跳变，异常情况下方波停止跳变。

参考图3，主从节点控制模块与主节点健康监测模块通讯连接获取各节点的工作状态，主从节点控制模块的主从节点控制管脚分别电性连接各个节点的主从状态管脚，通过主从节点控制管脚输出高低电平来控制对应节点的主从状态。主从节点控制模块根据各节点的工作状态结合判定算法来进行主/从节点的选取和切换。为了避免发生“脑裂”的故障现象，主从节点控制模块设置为任意时刻只能输出0或1路主节点状态；也就是任意时刻只有一条管脚电平拉高或拉低来指示该管脚接到的节点为主用状态，其他管脚电平取反指示所接节点为备用状态。优选的，主从节点控制模块可以通过预设每个节点对应管脚的优先级来保证从节点切换为主节点的顺序。

参考图4，节点健康监测模块与主从数据同步模块通讯连接以用于反馈各节点的工作状态，从节点控制模块与主从数据同步模块以用于反馈主节点和从节点的选取和切换信息，主从数据同步模块上设置有对应多个节点的多个端口，每个端口分别通过一双口RAM和一DMA控制器与对应的节点通讯连接，主从数据同步模块通过数据同步算法进行主节点和从节点的数据请求以及数据同步，支持单节点写入和广播写入。双口RAM第一个作用是用于本系统写入，对端节点读取；第二个作用是用于本系统读取，对端节点写入。主节点数据的更新结果写入双口RAM，主从数据同步模块自动向所有从节点的双口RAM写入；从节点数据更新请求写入双口RAM，主节点读取后进行数据刷新，并通知所有从节点；优选的，从节点可以请求所有或特定数据，主节点读取后对该节点进行数据刷新。DMA控制器为DirectMemory Access，又叫直接存储访问控制器，可以实现无需CPU参与的数据拷贝，节省因为用于数据同步的处理器资源。

本发明还包括一种运行于上述系统的服务器集群实时主从控制和数据同步方法，包括以下步骤：

节点健康检测，也就是节点健康监测模块的工作流程为：

S100：节点健康监测模块实时监测各对应节点的工作状态，具体为

S101、给每个节点安装一个心跳监测子模块，对各个心跳监测子模块进行节点内检测点的设置，检测点可以根据实际需要进行选择，例如进程或线程运行正常、内存检测和分配正常、网络访问正常等；

S102、心跳监测子模块实时监测并捕获各检测点的状态，在状态正常时，通过心跳线输出方波；

S103、主节点健康监测模块通过各心跳线的跳变方波实时监测各对应节点的工作状态。

主从节点控制，也就是主从节点控制模块的工作流程为：

S201、主从节点控制模块通过节点健康监测模块获知各节点的工作状态；

S202、主从节点控制模块按照节点的静态优先级以及节点的当前健康状态选择一个节点为主节点，其余的节点为从节点，然后通过主从状态管脚将所有已连接的节点设置成对应的主/从状态，各个节点根据主从状态管脚的电平高低来确定自己的主从状态；

S203、当主节点异常时，节点健康监测模块通知主从节点控制模块，主从节点控制模块按照节点的静态优先级以及节点的当前健康状态重新选择某个节点为主节点并进行切换，任何时刻主从节点控制模块控制的节点中只能存在0或1个主节点，避免存在多个主节点的状态。

主从数据同步，包括主-从节点数据同步和从-主节点数据同步，主从节点都可以接收外部的服务请求并处理，主节点可以任意读取和修改数据，从节点可以任意读取数据，但是修改数据必须请求主节点进行处理：

主-从节点数据同步

S301、主节点收到数据修改请求时，主节点进行数据更新，主从数据同步模块通过中断同步读取主节点的更新数据；

S303、主从数据同步模块读取主节点的更新数据后，通过写入所有从节点对应的双口RAM来通知从节点刷新数据；

S304、各个从节点通过中断同步读取数据，实时刷新本地数据以保持与主节点数据的一致性；

从-主节点数据同步

S311、从节点收到数据修改请求，从节点通过双口RAM发送更新请求给主从数据同步模块，主从数据同步模块将该请求通过双口RAM转发给主节点；

S312、如果主节点同意修改则通过步骤S301-步骤S304进行数据更新和数据同步，如果主节点不同意修改则回复拒绝给从节点。

还包括数据请求步骤：从节点向主从数据同步模块发出请求发送全部或部分数据，主从数据同步模块将该请求转发给主节点进行处理，主节点将所请求的数据通过主从数据同步模块发送给该从节点。

综上所述，本发明实施例本中节点健康监测模块通过实时心跳监测各节点的工作状态，主从节点根据各节点的工作状态和判定条件进行节点的主从状态切换，可以迅速确定选择出主节点和从节点，主从节点之间的选举周期短，并且具有主从互斥功能，同一时间最多只允许一个主节点产生，避免出现多个主节点的故障现象。主从数据同步模块通过双口RAM进行主节点和从节点之间的数据交互以及数据更新，不仅保证了主节点和从节点的数据一致性，而且从节点的数据修改必须经过主节点，由主节点同意后通过主从数据同步模块进行发送，同步时延短，集群服务响应快。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种服务器集群实时主从控制和数据同步系统，连接服务器集群的多个节点，其特征在于，包括：

节点健康监测模块，所述节点健康检测模块用于监测各节点的工作状态；

主从节点控制模块，所述节点健康监测模块与主从节点控制模块通讯连接以用于反馈各节点的工作状态，所述主从节点控制模块分别通讯连接所述多个节点，所述主从节点控制模块用于根据各节点的工作状态结合判定算法来进行主/从节点的选取和切换；

主从数据同步模块，所述节点健康监测模块与主从数据同步模块通讯连接以用于反馈各节点的工作状态，所述主从节点控制模块与所述主从数据同步模块连接以用于反馈主节点和从节点的选取和切换信息，所述主从数据同步模块上设置有对应所述多个节点的多个端口，每个所述端口分别通过一双口RAM与对应的节点通讯连接，所述主从数据同步模块用于通过数据同步算法进行主节点和从节点的数据请求以及数据同步。

2.根据权利要求1所述的服务器集群实时主从控制和数据同步系统，其特征在于：所述节点健康监测模块包括主节点健康监测模块、多个设置在节点内的心跳监测子模块和时钟子模块，所述时钟子模块用于产生时钟信号给心跳监测子模块产生心跳线，所述心跳监测子模块用于监测对应节点的工作状态，所述心跳监测子模块通过心跳线与所述主节点健康监测模块建立连接以用于反馈所监测节点的工作状态，所述主节点健康监测模块分别与所述主从节点控制模块、主从数据同步模块通讯连接。

3.根据权利要求1所述的服务器集群实时主从控制和数据同步系统，其特征在于：所述主从节点控制模块通过主从节点控制管脚来控制对应节点的主从状态。

4.一种服务器集群实时主从控制和数据同步方法，其特征在于，包括以下步骤：

节点健康检测：

S100：节点健康监测模块实时监测各对应节点的工作状态；

主从节点控制：

S201、主从节点控制模块通过节点健康监测模块获知各节点的工作状态；

S202、主从节点控制模块按照判定条件选择一个节点为主节点，其余的节点为从节点，然后将所有已连接的节点设置成对应的主/从状态；

S203、当主节点异常时，节点健康监测模块通知主从节点控制模块，主从节点控制模块按照判定条件重新选择某个节点为主节点并进行切换，任何时刻主从节点控制模块控制的节点中只能存在0或1个主节点；

主从数据同步，包括主-从节点数据同步和从-主节点数据同步：

主-从节点数据同步

S301、主节点收到数据修改请求时，主节点进行数据更新，主从数据同步模块通过双口RAM读取主节点的更新数据；

S303、主从数据同步模块读取主节点的更新数据后，通过写入所有从节点对应的双口RAM来通知从节点刷新数据；

S304、各个从节点通过中断同步读取数据，实时刷新本地数据以保持与主节点数据的一致性；

从-主节点数据同步

S311、从节点收到数据修改请求，从节点通过双口RAM发送更新请求给主从数据同步模块，主从数据同步模块将该请求通过双口RAM转发给主节点；

S312、如果主节点同意修改则通过步骤S301-步骤S304进行数据更新和数据同步，如果主节点不同意修改则回复拒绝给从节点。

5.根据权利要求4所述的服务器集群实时主从控制和数据同步方法，其特征在于：所述节点健康检测的具体步骤为：

S101、给每个节点安装一个心跳监测子模块，对各个心跳监测子模块进行节点内检测点的设置；

S102、心跳监测子模块实时监测并捕获各检测点的状态，在状态正常时，通过心跳线输出方波；

S103、节点健康监测模块通过各心跳线的跳变方波实时监测各对应节点的工作状态。

6.根据权利要求4所述的服务器集群实时主从控制和数据同步方法，其特征在于：所述步骤S202和S203中的判定条件为：节点的静态优先级以及节点的当前健康状态。

7.根据权利要求4所述的服务器集群实时主从控制和数据同步方法，其特征在于：所述步骤S202和S203中各个节点根据主从节点控制模块对应的控制管脚的电平高低来确定自己的主从状态。

8.根据权利要求4所述的服务器服务器集群实时主从控制和数据同步方法，其特征在于：还包括数据请求步骤：从节点向主从数据同步模块发出请求发送全部或部分数据，主从数据同步模块将该请求转发给主节点进行处理，主节点将所请求的数据通过主从数据同步模块发送给该从节点。

Images