CN104486319A

CN104486319A - 适用于高可用系统的配置文件实时同步方法及其系统

Info

Publication number: CN104486319A
Application number: CN201410751884.4A
Authority: CN
Inventors: 黄思倜; 叶佑群
Original assignee: Shanghai Eisoo Software Co Ltd
Current assignee: Shanghai Eisoo Software Co Ltd
Priority date: 2014-12-09
Filing date: 2014-12-09
Publication date: 2015-04-01
Anticipated expiration: 2034-12-09
Also published as: CN104486319B

Abstract

本发明涉及一种适用于高可用系统的配置文件实时同步方法及其系统，其中方法包括以下步骤：(1)高可用系统中的所有节点实时监测对配置文件的写操作命令；(2)当一节点监测到对配置文件的写操作命令时，确认是否有系统中其他节点正在对该配置文件执行写操作命令；若为否，则该节点成为该配置文件的发起端；(3)所述发起端执行所述写操作命令并在完成后将所述配置文件发送至系统中其他节点；其中系统包括监听模块、接收模块和配置文件修改模块。与现有技术相比，本发明避免了高可用系统中常见的“脑裂”问题，实现了文件同步，重传和回滚，最大程度上保证了文件一致性问题。

Description

适用于高可用系统的配置文件实时同步方法及其系统

技术领域

本发明涉及一种文件同步领域，尤其是涉及一种适用于高可用系统的配置文件实时同步方法及其系统。

背景技术

近年来，随着信息技术的飞速发展，企业对数据容量和业务连续性的要求不断提高，高可用存储系统越来越受到青睐。

高可用系统(如图1)基于共享式或分布式的存储介质，使用至少两个节点向用户提供服务。节点间使用心跳感知连接状态。当节点故障或者链路断开时，高可用系统需要将资源(例如存储池、虚拟卷)和业务(数据I/O)从失效的节点顺利地切换到正常工作的节点。因此，节点间需要保持配置的数据一致性。当配置信息修改时，需要在节点间做数据同步。高可用系统使用数据库和配置文件保存配置信息。目前的数据库可在节点间自动完成同步操作；而对配置文件而言，高可用系统需要可靠、高效的同步方案。

目前业界主流的同步软件有rsync、Unison和DRBD。

rsync(remote sync)是Unix平台的一种远程同步工具。它使用rsync算法进行单向的增量同步，其差量传输速度快。但rsync不能进行实时监测，可能导致两端数据不一致。

Unison是一种跨平台的双向文件同步工具，能够自动处理两份拷贝中不冲突的部分，将文件冲突留给用户自己处理。Unison不是实时同步方法，且同步速度慢，超时严重。在高可用系统中可能导致配置“脑裂”。

DRBD(Distributed Replicated Block Device)是一种通过TCP/IP网络实现的块设备数据实时镜像方案，可用于高可用系统。它基于Linux平台，需要内核支持，同步速度较慢。

因此，对于高可用系统，目前的文件同步方法有较大的改进空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用于高可用系统的配置文件实时同步方法及其系统，避免了高可用系统中常见的“脑裂”问题，实现了文件同步，重传和回滚，最大程度上保证了文件一致性问题。

本发明的目的可以通过以下技术方案来实现：

一种适用于高可用系统的配置文件实时同步方法，其特征在于，包括以下步骤

(1)高可用系统中的所有节点实时监测对配置文件的写操作命令；

(2)当一节点监测到对配置文件的写操作命令时，确认是否有系统中其他节点正在对该配置文件执行写操作命令；若为否，则该节点成为该配置文件的发起端并执行步骤(3)；若为是，则继续执行步骤(2)；

(3)所述发起端执行所述写操作命令并在完成后将所述配置文件发送至系统中其他节点；系统中其他节点接收并写入所述配置文件后向所述发起端回复同步完成信号。

由于配置文件的大小往往较小，高可用系统的网络带宽完全能够满足传输配置文件所占用的流量；因此本发明的每次同步都传输被修改配置文件的全部内容。

因为对同一文件的操作可能来自不同的节点，当两个节点同时对同一文件进行修改时，将导致数据不一致，称之为“脑裂”；因此，为了既提供双活的服务又防止“脑裂”的发生，在同步之前需要将文件的写权限授予唯一的节点；因此在所述步骤(2)中确认是否系统中有其他节点正在同时对该配置文件执行写操作命令，具体为：

当试图对所述配置文件执行写操作时，使用Paxos lease选举算法为文件生成以所述配置文件路径的分布式锁，若发现该锁并未被系统中其他节点获得，则认为没有系统中其他节点正在对该配置文件执行写操作；若发现该锁已被获得，则认为有系统中其他节点正在对该配置文件执行写操作。

考虑到同步失败后需要将配置文件回滚至原始版本，在步骤(3)中，所述发起端在修改所述配置文件前和所述系统中其他节点在更新所述配置文件前均包括：生成原配置文件副本步骤；因为用户对文件进行修改需要将文件内容读至内存，所以文件原副本只需要执行内存拷贝的操作，不需要增加额外的磁盘I/O。

发起端完成数据传输后，等待接收端发来的同步完成的回复。此过程中因网络连接状态可能导致以下操作超时：

i.接收端同步负载过高，响应发起端的请求超时；

ii.发起端向接收端发送文件内容超时；

iii.接收端向发起端回复，告知文件同步完成超时；

其中i和ii的超时需要重新连接。发起端和接收端iii的超时发生后若不做处理，发起端无法了解接收端是否已经完成同步，接收端也无法了解发起端是否了解自己已完成同步。

因此，本发明设定发起端和接收端都将超时视为同步暂时失败(即使接收端已完成文件写入)，由发起端断开并再次建立连接，重新执行同步操作。

即当所述发起端向所述系统中其他节点发送所述配置文件发生超时或者没有在预设的时间里接收到系统中其他节点的同步完成信号时，发起端将重新发送该配置文件并等待同步完成信号；

在重试以上步骤超过预设的次数后，则认为同步失败，所述发起端和系统中其他节点用原配置文件副本进行回滚。

因此只有在确认同步完成后，发起端和接收端才释放在内存中保留的文件原副本。

发起端记录同步日志，在同步未完成时发生断电，即发起端文件已更新，接收端文件更新状态未可知。在上电重启后，由发起端根据同步日志重新执行一次同步。断电前已经完成的同步操作在同步日志中更新状态，避免重启后重复执行这些同步操作。

发起端向系统中其他节点发送配置文件以及系统中其他节点向发起端发送同步完成信号均使用TCP/IP协议。

以上所述的写操作包括文件的创建、重命名、添加、更新、覆盖和删除。

一种适用于高可用系统的配置文件实时同步系统，其特征在于，包括：

监听模块，用于监测文件的修改状态以及当配置文件修改完成后向系统中其他节点发送该配置文件；

接收模块，用于接收从发起端发送的配置文件并反馈同步完成信号；

配置文件修改模块，用于配合监听进程监测文件的修改状态。

所述配置文件修改模块打开配置文件的同时将该配置文件句柄向监听模块注册，监听模块为该配置文件绑定同步事件；当配置文件句柄被关闭时该同步事件将被触发，监听模块向系统中其他节点发送该配置文件。

所述监听模块为该配置文件绑定同步事件前还包括生成该配置文件副本步骤；所述监听模块在发送配置文件超时或者没有在预设的时间里接收到系统中其他节点的同步完成信号时，将重新发送该配置文件并等待同步完成信号。

与现有技术相比，本发明具有以下优点：

1)利用选举算法确定唯一的节点能够以写模式打开文件。分布式锁以文件为粒度，因此在保证节点双向同步的同时可以防止“脑裂”。

2)利用文件状态监听机制，在文件被修改并写入磁盘时触发同步事件，实时发起同步。

3)超时处理保证在网络不稳定的情况下做最大化的重传努力，超时重传对用户透明。

4)发起端和接收端都执行回滚，能够保证在异常状态下两端文件内容一致。

5)同步日志保证在断电重启后重新执行同步操作，保证文件的数据状态是最新的版本。

附图说明

图1为高可用系统架构图；

图2为监听配置文件状态流程图；

图3为发起端流程图；

图4为接收端流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例1

本发明需要监听文件修改状态，触发同步事件。同步过程中需要感知超时。根据同步结果可能需要进行失败回滚。为了掉电后的恢复，需要记录同步日志。具体步骤结合附图予以说明，图3为同步发起端的处理流程，其中“监听配置文件状态”为图2所示的子进程；图4为接收端的处理流程。

1.高可用系统的双活节点启动接收进程。双活系统两个节点相互对称，都有可能成为同步的发起端和接收端，因此两个节点都需要启动接收进程，随时响应对端发来的同步请求。

2.高可用系统的双活节点启动监听进程。监听进程负责监听文件的修改，实时地启动同步操作。

3.当用户以写模式打开文件时，以文件路径为标识竞争分布式锁。不同的文件因为路径不同而对应不同的分布式锁，因此双活节点可以执行细粒度的同步。

3.1获取该文件分布式锁的节点成为发起端，转步骤4。

3.2未获取到锁的节点等待。等待的节点需要等待该文件被对端节点修改并同步完成后，才能获得这个文件的分布式锁。这个措施将保证两端的数据一致性。

4.发起端以写模式打开文件。本发明所表达的写模式是广义上的对文件有修改的操作，包括文件的创建、重命名、添加、更新、覆盖和删除。创建、重命名、删除与其他操作在细节上有所不同，其原理更加简单，本发明也同样适用于这三种操作，在此不加赘述。

4.1发起端的监听进程注册文件句柄。不同的文件系统，乃至不同的程序语言，对文件句柄的定义不并相同。例如在Windows系统上打开文件，返回的是文件的句柄(HANDLE)；在Linux系统上打开文件，获得的是该文件的文件描述符，它以多对一的方式与文件的索引节点(inode)对应。C语言获取的是文件对象指针；Java语言获取的是文件的流。本发明所描述的文件句柄指的是系统获取文件的唯一标识符，而不限于标识符本身的具体实现形式。

4.2发起端监听进程绑定同步事件。该同步事件与4.1中注册的文件句柄一一对应。与该事件有关的信息包括高可用系统的节点状态，分布式锁和文件原副本。

4.3与4.1和4.2并行地，将文件内容读取到内存中，即原副本。

5.发起端修改文件后，关闭文件句柄。

5.1发起端将修改后的文件内容写入本地磁盘。

5.2发起端的监听进程触发同步事件，启动同步线程，将日志状态记为“开始同步”。

6.发起端同步线程将文件内容同步到接收端。

6.1发起同步请求。

6.2设置传输超时事件。

6.3传输文件，等待接收端完成同步后回复。

6.4步骤6.3若成功，转步骤11；若超时或失败，转步骤8。

7.接收端的接收进程监听同步端口，等待发起端发来的同步请求。

7.1接收同步请求，创建接收线程，接收文件写入本地磁盘。

7.2设置回复超时事件，回复发起端告知同步成功。

7.3步骤7.2若成功，转步骤12；若失败或超时，转步骤7。

8.发起端得知同步不成功，断开同步连接。

8.1若为同步超时，将日志的状态记为“同步超时”，转步骤6。

8.2若为同步失败或多次超时重试后失败，转步骤9。

9.发起端确认同步失败。利用原副本回滚文件。退出同步线程，并释放原副本和分布式锁。将日志状态记为“同步失败”，转步骤13。

10.接收端确认同步失败。利用原副本回滚文件。退出同步线程，转步骤7。由于同步未成功，接收端仍然在内存中保留原副本，转步骤13。

11.发起端确认文件同步成功。退出发送线程。释放原副本和分布式锁。将日志的状态记为“同步成功”，转步骤13。

12.接收端确认文件同步成功。此时接收端已确认本地文件已更新，并被发起端得知。退出接收线程，释放文件原副本，转步骤13。

13.本次同步结束。

实施例2

本发明在高可用系统的每个节点运行监听进程。监听进程获取以写模式被打开的文件信息。当文件被修改时，能够实时地发起同步操作。

除了运行监听进程，本发明还以代码库的形式提供给修改配置文件的程序，访问文件的代码需要做以下修改：

1.打开文件，获得文件句柄后调用本代码库的注册接口。

2.注册接口绑定文件句柄与同步事件，同步事件中记录有对端的节点信息。并在内存中拷贝文件的一份副本，称为原副本。原副本在之后可能出现的回滚中使用。

3.在文件句柄被关闭，文件内容被写入磁盘时，与该文件句柄绑定的同步事件被触发，发起端的监听进程实时地创建同步线程，准备进行文件同步。

而接收进程在收到同步信号后即生成原配置文件副本并创建接收线程从发起端接收配置文件，同步完成后即反馈同步完成信号。

Claims

1.一种适用于高可用系统的配置文件实时同步方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种配置文件实时同步方法，其特征在于，所述步骤(2)中确认是否系统中有其他节点正在同时对该配置文件执行写操作命令，具体为：

3.根据权利要求1所述的一种配置文件实时同步方法，其特征在于，步骤(3)中，所述发起端在修改所述配置文件前和所述系统中其他节点在更新所述配置文件前均包括：生成原配置文件副本步骤，用于同步失败后的回滚。

4.根据权利要求3所述的一种配置文件实时同步方法，其特征在于，当所述发起端向所述系统中其他节点发送所述配置文件发生超时或者没有在预设的时间里接收到系统中其他节点的同步完成信号时，发起端将重新发送该配置文件并等待同步完成信号；

5.根据权利要求1-4中任意所述的一种配置文件实时同步方法，其特征在于，所述发起端在执行所有步骤中的操作时还包括日志记录步骤，用于断电重启后执行未完成的操作。

6.根据权利要求1-4中任意所述的一种配置文件实时同步方法，其特征在于，所述发起端向系统中其他节点发送配置文件以及系统中其他节点向发起端发送同步完成信号均使用TCP/IP协议。

7.根据权利要求1-4中任意所述的一种配置文件实时同步方法，其特征在于，所述写操作包括文件的创建、重命名、添加、更新、覆盖和删除。

8.一种基于权利要求1所述的方法的配置文件实时同步系统，其特征在于，包括：

9.根据权利要求8所述的方法的配置文件实时同步系统，其特征在于，所述配置文件修改模块打开配置文件的同时将该配置文件句柄向监听模块注册，监听模块为该配置文件绑定同步事件；当配置文件句柄被关闭时该同步事件将被触发，监听模块向系统中其他节点发送该配置文件。

10.根据权利要求9所述的方法的配置文件实时同步系统，其特征在于，所述监听模块为该配置文件绑定同步事件前还包括生成该配置文件副本步骤；

所述监听模块在发送配置文件超时或者没有在预设的时间里接收到系统中其他节点的同步完成信号时，将重新发送该配置文件并等待同步完成信号。