CN110933137B - 一种数据同步方法、系统、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种数据同步方法、系统、设备及可读存储介质，该方法包括以下步骤：从节点接收主节点发送的同步通知消息；解析同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；从目标从节点中拷贝最新版本数据至目标节点。在该方法中，将数据拷贝工作从原来的主节点负责，转为从节点进行，可大大降低主节点压力，保障了主节点的处理性能，进一步保障了集群稳定性和提升了集群性能。

Description

一种数据同步方法、系统、设备及可读存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据同步方法、系统、设备及可读存储介质。

背景技术

在分布式集群中，通常把数据集中在主节点，并全部依靠主节点进行数据的对比拷贝，保障数据的一致性。

随着分布式集群节点规模的不断增大，为保障数据一致性，主节点的负载压力越来越大，一方面主节点保障数据一致性已经越来越困难；另一方面，多节点集群消耗了主节点太多资源，越来越影响主节点的性能，增加了集群不稳定性。特别是在集群中节点规模很大的情况下，主节点的压力日渐增大，只通过主节点保障集群中所有节点数据的一致性已经变得十分困难，严重影响集群性能和稳定性。

综上所述，如何有效地解决集群数据一致性等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种数据同步方法、系统、设备及可读存储介质，通过主节点掌控数据一致性的管控，而从节点实现数据拷贝，以降低保障数据一致性对主节点带来的压力，可保障集群性能和稳定性。

为解决上述技术问题，本发明提供如下技术方案：

一种数据同步方法，包括：

从节点接收主节点发送的同步通知消息；

解析所述同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；

从所述目标从节点中拷贝所述最新版本数据至所述目标节点。

优选地，还包括：

向所述主节点发送当前数据版本号和节点信息，以便所述主节点确定所述目标节点和所述目标从节点。

优选地，所述向所述主节点发送当前数据版本号和节点信息，包括：

向局域网内广播所述当前数据版本号和所述节点信息，以便所述主节点基于所述当前数据版本号和所述节点信息所述确定所述目标节点和所述目标从节点。

优选地，所述主节点基于所述当前数据版本号和所述节点信息所述确定所述目标节点和所述目标从节点，包括：

所述主节点获取最新数据版本号，任选一个具有所述最新数据版本号的从节点为所述目标从节点；

判断所述当前数据版本号是否为所述最新数据版本号；

如果否，则将所述当前数据版本号对应的节点确定为所述目标节点。

优选地，还包括：

判断本地数据版本号是否为所述最新数据版本号；

如果否，则将本地数据版本号更新为所述最新数据版本号，并将所述主节点确定为所述目标节点。

一种数据同步系统，包括：

部署了监听模块的主节点，多个部署了调度模块的从节点，其中多个所述调度模块同时仅启动一个；

所述监听模块，用于监听各个所述从节点，并向所述调度模块发送同步通知信息；

所述调度模块，用于解析所述同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；从所述目标从节点中拷贝所述最新版本数据至所述目标节点。

优选地，所述从节点还部署了发送模块，

所述发送模块，用于向所述监控模块发送当前数据版本号和节点信息，以便所述监控模块确定所述目标节点和所述目标从节点。

优选地，所述监听模块、发送模块和调度模块之间通过套接字互相通信。

一种数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述数据同步方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据同步方法的步骤。

应用本发明实施例所提供的方法，从节点接收主节点发送的同步通知消息；解析同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；从目标从节点中拷贝最新版本数据至目标节点。

在本方法中，当主节点发现需要进行数据同步的目标节点，以及具有最新版本数据的目标从节点后，向从节点发送同步通知消息。从节点接收到该同步通知消息之后，便可通过解析同步通信消息的方式确定出待数据同步的目标节点以及具有最新版本数据的目标从节点。然后进需从目标从节点中拷贝最新版本数据至目标节点即可。数据拷贝工作从原来的主节点负责，转为从节点进行，可大大降低主节点压力，保障了主节点的处理性能，进一步保障了集群稳定性和提升了集群性能。

相应地，本发明实施例还提供了与上述数据同步方法相对应的数据同步系统、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种数据同步方法的实施流程图；

图2为本发明实施例中一种数据同步系统的结构示意图；

图3为本发明实施例中一种主从节点通信关系示意图；

图4为本发明实施例中一种数据同步设备的结构示意图；

图5为本发明实施例中一种数据同步设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参考图1，图1为本发明实施例中一种数据同步方法的流程图，该方法可应用于分布式集群中，该方法包括以下步骤：

S101、从节点接收主节点发送的同步通知消息。

在分布式集群中，通常包括一个主节点，多个从节点。接收主节点发送的同步通知消息的节点为多个从节点中的其中一个。也就是说，在本实施例中，接收同步通知消息的从节点为多个从节点中的任一个，而不是两个及两个以上的从节点均同时接收同步通知消息。

具体的，可设置在每个从节点上部署调度模块，当调度模块启动后，便可节省主节点发送的同步通知消息。为避免冲突，在实际应用中，可仅启动一个调度模块。即哪个调度模块启动，其所属的从节点便可节省主节点发送的同步通知消息。

其中，同步通知消息即为指出哪个或哪些节点的数据版本需要更新，且具有最新版本数据的节点信息。

在执行步骤S101之前，主节点可以通过监听分布式集群中的各个从节点发送的当前数据版本号和节点信息的方式确定出是否发出同步通知消息。即，分布式集群中的各个从节点均可向主节点发送当前数据版本号和节点信息，以便主节点确定目标节点和目标从节点。

其中，向主节点发送当前数据版本号和节点信息，包括：向局域网内广播当前数据版本号和节点信息，以便主节点基于当前数据版本号和节点信息确定目标节点和目标从节点。

具体的，分布式集群中的各个节点可构建一个局域网，各个从节点可在局域网内广播当前数据版本号和节点信息。可在主节点上设置一个监听模块，以守护进程的方式运行在主节点上，通过监听特定的端口来接收报文，解析报文数据，获取当前集群中数据版本号信息和节点信息。

例如，当分布式集群中有一个主节点A和从节点B1，B2，B3，B4，B5和B5，此时为A，B1，B2，B3，B4，B5和B5设置一个局域网C，B1，B2，B3，B4，B5和B5可定期向C中广播各自对应的当前数据版本号和节点信息(如携带版本号+节点ID的UDP或TCP报文)，此时仅有A部署监听模块，各个从节点广播的当前数据版本号和节点信息仅会被A监听获得。即关于当前数据版本号和节点信息的传输，即以主节点为拓扑中心，各个从节点向其发送当前数据版本号和节点信息。

具体的，主节点确定目标节点和目标从节点的过程，包括：

步骤一、主节点获取最新数据版本号，任选一个具有最新数据版本号的从节点为目标从节点；

步骤二、判断当前数据版本号是否为最新数据版本号；

步骤三、如果否，则将当前数据版本号对应的节点确定为目标节点。

为便于描述，下面将上述三个步骤结合起来进行说明。

主节点可以通过比对各个从节点发送的各自对应的当前数据版本号和节点信息以及自身的当前数据版本号，通过版本号设置规则，确定出最新数据版本号。其中，版本号设置规则可具体为数据版本越新，数据版本号越大，如此便可通过比较当前数据版本号的大小即可确定出最新数据版本号。

主节点还可通过控制数据版本号的变更来获取最新数据版本号。具体的，可将数据版本号更新的控制器赋予主节点，当出现数据更新需要更换版本号时，由主节点确定并保存最新数据版本号。如此，便可通过直接读取存储介质的方式便可获取最新数据版本号。

当主节点获取到最新数据版本号之后，便可确定哪个节点具有最新数据版本号。然后，任选一个具有最新数据版本号的从节点作为目标从节点即可。即，目标从节点为任意一个具有最新数据版本的从节点。例如，当存在一个具有最新数据版本的从节点时，则确定该从节点为目标从节点，当存在多个具有最新数据版本的从节点时，则可随机选择其中一个从节点为目标从节点，当然为了避免因拷贝数据而影响从节点的当前业务，可选择业务繁忙度相对较低的从节点作为目标从节点。

在确定出最新版本号之后，便可通过将接收到的多个当前数据版本与最新版本号进行比对的方式，确定出哪些节点是需要更新/同步数据的目标节点。

优选地，考虑到主节点也可能会存在需要进行数据更新的情况，因而主节点还可判断本地数据版本号是否为最新数据版本号；如果否，则将本地数据版本号更新为最新数据版本号，并将主节点确定为目标节点。也就是说，在本实施例中，目标节点可以为从节点也可以为主节点，且目标节点可以为一个也可以为多个。

S102、解析同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点。

得到同步通知消息之后，便可通过解析该同步通知信息，得到待数据同步的目标节点，以及具有最新版本数据的目标从节点。

需要说明的是，在本实施例中为了尽量避免占用主节点资源，为了减少主节点参与数据同步中的拷贝数据工作，在从节点具有最新版本数据时，优先将具有最新版本数据的从节点确定目标从节点。当然，在仅有助节点具有最新版本数据时，可仅确定出一个目标节点，并将主节点视为“目标从节点”，当将主节点中的最新版本数据拷贝至某个从节点之后，可将该从节点确定为目标从节点，以降低主节点在不得不参与数据拷贝的情况下，尽量减少主节点的参与程度。

其中，关于具体如何解析同步通知消息，可基于同步通知消息的具体传输报文所对应的传输协议进行解析。例如，当采用TCP协议传输同步通知消息时，则利用TCP协议解析TCP报文的方式，以获得目标节点以及目标从节点；当采用UDP协议传输同步通知消息时，则利用UDP协议解析UDP报文的方式，以获得目标节点以及目标从节点。

S103、从目标从节点中拷贝最新版本数据至目标节点。

在本实施例中，即当从节点确定出目标节点以及目标从节点之后，便可从目标从节点中拷贝最新版本数据至目标节点。

具体的，若目标从节点即为接收同步通知消息的从节点，则可直接将自身所具有的最新版本数据发送给目标节点；若目标从节点非接收同步通知消息的从节点，即接收同步通知消息的从节点为目标节点，此时若目标节点仅有一个，则可直接从目标从节点中拷贝最新版本数据至本节点，若目标节点有多个，则请求目标从节点同时或分先后顺序的方式将最新版本数据拷贝至包括了本节点的目标节点中。

应用本发明实施例所提供的方法，从节点接收主节点发送的同步通知消息；解析同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；从目标从节点中拷贝最新版本数据至目标节点。

在本方法中，当主节点发现需要进行数据同步的目标节点，以及具有最新版本数据的目标从节点后，向从节点发送同步通知消息。从节点接收到该同步通知消息之后，便可通过解析同步通信消息的方式确定出待数据同步的目标节点以及具有最新版本数据的目标从节点。然后进需从目标从节点中拷贝最新版本数据至目标节点即可。数据拷贝工作从原来的主节点负责，转为从节点进行，可大大降低主节点压力，保障了主节点的处理性能，进一步保障了集群稳定性和提升了集群性能。

实施例二：

相应于上面的方法实施例，本发明实施例还提供了一种数据同步系统，下文描述的数据同步系统与上文描述的数据同步方法可相互对应参照。

参见图2所示，该系统包括以下模块：

部署了监听模块10的主节点100，多个部署了调度模块20的从节点200—20N，其中多个调度模块同时仅启动一个(如图2所示，从节点202对应的调度模块可视为已启动状态，而其他从节点则为未启动状态)；

监听模块10，用于监听各个从节点，并向调度模块发送同步通知信息；

调度模块20，用于解析同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；从目标从节点中拷贝最新版本数据至目标节点。

应用本发明实施例所提供的系统，当主节点发现需要进行数据同步的目标节点，以及具有最新版本数据的目标从节点后，向从节点发送同步通知消息。从节点接收到该同步通知消息之后，便可通过解析同步通信消息的方式确定出待数据同步的目标节点以及具有最新版本数据的目标从节点。然后进需从目标从节点中拷贝最新版本数据至目标节点即可。数据拷贝工作从原来的主节点负责，转为从节点进行，可大大降低主节点压力，保障了主节点的处理性能，进一步保障了集群稳定性和提升了集群性能。

在本发明的一种具体实施方式中，从节点还部署了发送模块30，

发送模块，用于向监控模块发送当前数据版本号和节点信息，以便监控模块确定目标节点和目标从节点。

在本发明的一种具体实施方式中，监听模块、发送模块和调度模块之间通过套接字互相通信。

在本发明的一种具体实施方式中，监听模块，具体用于主节点获取最新数据版本号，任选一个具有最新数据版本号的从节点为目标从节点；判断当前数据版本号是否为最新数据版本号；如果否，则将当前数据版本号对应的节点确定为目标节点。

在本发明的一种具体实施方式中，监听模块，还可用于判断本地数据版本号是否为最新数据版本号；如果否，则将本地数据版本号更新为最新数据版本号，并将主节点确定为目标节点。

为了便于本领域技术人员更好地理解上述数据同步方法和数据同步系统，下面结合具体的应用场景为例，对上述数据同步方法和数据同步系统进行详细说明。

在分布式集群中，可以物理IP地址最小的节点为主节点，并为其部署一个监听模块，主节点的监听模块以守护进程的方式运行在主节点上，通过监听特定的端口来接收UDP报文，解析报文数据，获取当前集群中数据版本号信息和节点信息，完成以下两个功能：第一，接收各个从节点广播的当前数据版本号信息和从节点信息，跟当前主节点配置文件中记录的数据版本号作对比，并更新主节点配置文件中的数据版本号；第二，在数据版本号发生改变时，通知调度模块所在的从节点，告知收集到的最大的数据版本号及其对应的所在节点，由该从节点负责后续的数据拷贝更新工作。

在集群中从节点安装系统时，预置调度模块和发送模块，并以从节点中IP最小的节点为初始的调度模块运行节点，各从节点的发送模块在节点上电时，初始化该节点数据的版本信息，以UDP报文的方式，在局域网内进行广播，调度模块运行节点，在接收到主节点通知的数据版本信息后，根据信息调度完成集群中各个节点数据的更新拷贝，完成数据一致性工作。

通过分别部署监控模块和发送模块，调度模块，由从节点通过发送模块广播本节点的数据版本信息，主节点的监控模块通过接收该消息，完成从节点数据版本信息比对，更新主节点版本信息配置文件，通过socket和从节点建立连接，通知从节点，由从节点调度模块更新数据版本号，并完成集群中所有节点数据更新的工作。通过该种方法，从节点分担了分布式集群中主节点负责保存集群中最新数据信息，并完成数据更新，保障集群中所有节点数据一致性的部分工作，解放了主节点，把消耗资源和性能的数据同步工作(如数据拷贝)交给从节点，由从节点完成节点间的数据同步，释放了主节点的压力，保证了主节点的性能和集群的稳定性。

下面将结合附图对本发明做进一步地详细描述：

如图3所示，采用本发明实施例所提供的数据同步方法和/或数据同步系统，在集群中的物理IP最小的节点上，也就是集群的主节点上，部署一个监听模块，作为守护进程运行在该节点上，监听特定的端口，以接收UDP报文，更新主节点配置文件；在其他从节点上，在安装系统时，增加一个调度模块和发送模块，节点上实时收集本节点的数据版本信息和节点信息，通过UDP的方式将这些信息广播到局域网中，局域网中，只有主节点部署了监听模块，因此只有主节点能够接收到其他从节点的UDP报文，通过UDP报文，即可知道该从节点的节点信息和数据版本信息，通过跟主节点配置文件中的版本号信息比对，完成版本号的更新，当版本号发生变化时，通知从节点，由从节点调度模块完成后续数据更新复制工作，保障集群节点中数据一致性。

主节点的监听模块和从节点的调度模块和发送模块，通过socket(套接字)建立了连接，利用socket长连接特性，从节点可实时完成数据版本信息广播，主节点接收信息初始化数据版本配置文件，为后续保持数据一致性提供基础。

当从节点上电后，会实时广播从节点的数据版本信息，这时主节点的监听模块能够接收到该节点的广播信息，从而知道从节点内数据版本信息，通过跟主节点配置文件中记录的版本信息比对，可以知道哪个节点上发生了数据变化，是否需要数据同步。从而通知从节点的调度模块，由从节点的调度模块调度，完成集群中所有节点的数据更新工作，保障集群中所有节点的数据一致性。

可见，应用本发明实施例所提供的数据同步方法和/或数据同步系统后，主节点只负责监听工作，从节点上运行调度模块，负责集群中节点的数据更新工作，保障集群中所有节点的数据一致性。有效的减少了主节点的负载压力，保证了主节点的性能和集群稳定性。

实施例三：

相应于上面的方法实施例，本发明实施例还提供了一种数据同步设备，下文描述的一种数据同步设备与上文描述的一种数据同步方法可相互对应参照。

参见图4所示，该数据同步设备包括：

存储器D1，用于存储计算机程序；

处理器D2，用于执行计算机程序时实现上述方法实施例的数据同步方法的步骤。

具体的，请参考图5，为本实施例提供的一种数据同步设备的具体结构示意图，该数据同步设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在数据同步设备301上执行存储介质330中的一系列指令操作。

数据同步设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

上文所描述的数据同步方法中的步骤可以由数据同步设备的结构实现。

实施例四：

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种数据同步方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的数据同步方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (8)

1.一种数据同步方法，其特征在于，包括：

向主节点发送当前数据版本号和节点信息，以便所述主节点确定目标节点和目标从节点；

主节点通过监听分布式集群中的各个从节点发送的当前数据版本号和节点信息的方式确定出是否发出同步通知消息；

从节点接收主节点发送的同步通知消息；

解析所述同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；

从所述目标从节点中拷贝所述最新版本数据至所述目标节点。

2.根据权利要求1所述的数据同步方法，其特征在于，所述向所述主节点发送当前数据版本号和节点信息，包括：

向局域网内广播所述当前数据版本号和所述节点信息，以便所述主节点基于所述当前数据版本号和所述节点信息所述确定所述目标节点和所述目标从节点。

3.根据权利要求1所述的数据同步方法，其特征在于，所述主节点基于所述当前数据版本号和所述节点信息确定所述目标节点和所述目标从节点，包括：

所述主节点获取最新数据版本号，任选一个具有所述最新数据版本号的从节点为所述目标从节点；

判断所述当前数据版本号是否为所述最新数据版本号；

如果否，则将所述当前数据版本号对应的节点确定为所述目标节点。

4.根据权利要求3所述的数据同步方法，其特征在于，还包括：

判断本地数据版本号是否为所述最新数据版本号；

如果否，则将本地数据版本号更新为所述最新数据版本号，并将所述主节点确定为所述目标节点。

5.一种数据同步系统，其特征在于，包括：

部署了监听模块的主节点，多个部署了调度模块的从节点，其中多个所述调度模块同时仅启动一个；

所述监听模块，用于监听各个所述从节点，并向所述调度模块发送同步通知消息；主节点通过监听分布式集群中的各个从节点发送的当前数据版本号和节点信息的方式确定出是否发出同步通知消息；

所述调度模块，用于解析所述同步通知消息以获得待数据同步的目标节点，以及具有最新版本数据的目标从节点；从所述目标从节点中拷贝所述最新版本数据至所述目标节点；

所述从节点还部署了发送模块，

所述发送模块，用于向所述监听模块发送当前数据版本号和节点信息，以便所述监听模块确定所述目标节点和所述目标从节点。

6.根据权利要求5所述的数据同步系统，其特征在于，所述监听模块、发送模块和调度模块之间通过套接字互相通信。

7.一种数据同步设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述数据同步方法的步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据同步方法的步骤。

Images