CN1859204A - 实现双机热备份中同步数据的方法及装置 - Google Patents

Abstract

本发明公开了一种双机热备份中数据同步的方法，该方法包括：工作机将待同步数据压缩并添加相应的校验码后向备份机传送；备份机解压缩来自工作机的所述添加校验码的同步数据，且根据所述同步数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。另外，本发明还公开了相应的装置。本发明有效减少了双机同步数据的时间，避免了双机同步时数据的丢失，增加了系统的稳定性。

Description

实现双机热备份中同步数据的方法及装置

技术领域

本发明涉及双机热备份技术，更具体的，本发明涉及一种实现双机热备份服务器之间数据同步的方法及装置。

背景技术

双机热备份技术是一种软硬件结合的较高容错技术。通常双机热备份系统是由两台服务器和一个外接共享磁盘阵列或存在于两服务器中的磁盘阵列卡(Redundant Array of Independent Disks，RAID)及相应的双机热备份软件组成，其中一台服务器为工作机，另一台服务器为备份机，在系统正常运营情况下，工作机为信息系统提供支持，备份机监视工作机的运行情况(工作机也同时监视备份机是否正常)。

在实际应用中双机热备份系统常常会遇到工作机因某种原因出现异常，不能正常工作的情况，这时工作机要向备份机同步所有的通讯数据，由备份机代替工作机支持系统的正常运营。工作机向备份机同步数据的时间可以通过以下公式进行计算，X＝N/K(秒)，其中，N表示工作机的内存中缓存的通讯信息条数，每条通信信息的大小用M(KB)表示，相应的，占用的带宽为M×K/1000(MB)，K表示工作机的事务数/秒(Transaction Per Second，TPS)。

从上述同步时间的计算公式X＝N/K可知，当K越大时，则X的值会越小则对于数据同步来说是有好的一方面，但是当K增大时，接收方将来不及处理数据，出现传输控制协议(Transmission Control Protocol，TCP)滑窗溢出，近而导致数据丢失，使通讯发生故障，因此在现有技术数据同步过程中往往受限于工作机的K值，需要综合考虑同步数据的时间和接收方的接收能力来选定具体的K值，现有技术通过长期的试验得出双机同步事务数/秒最大为K＝2000TPS，如果超过这个数据值接收方会因为不及处理数据，而出现TCP滑窗溢出，导致数据丢失。

下面以现网中支持的N＝30万用户通信，K＝2000TPS为例计算目前双机热备系统中工作机向备份机同步数据的时间，X＝N/K＝30×10000/2000＝150s，远远大于系统切换要求的40秒以内的时间要求，同步数据时数据容易丢失。

参考图1，该图为现有技术实现双机同步数据的结构示意图。

当工作机发生故障时，备份机重新启动，这时工作机的发送数据处理单元通过第一通讯单元1将待同步数据单元中存储2中存储的待同步数据向备份机中同步；

备份机通过第二通讯单元3接收来自工作机的同步数据并将所述同步数据存储到同步数据存储单元4中。

综上，上述现有技术虽然也能够实现双机热备份中数据的同步，但存在如下缺陷：

由于现有技术在同步过程中，同步数据的时间受限于工作机每秒钟发送的事务数，因此同步数据消耗的时间长，导致数据容易丢失，使通讯发生故障。

发明内容

本发明解决的技术问题是提供一种双机热备份中数据同步的方法及装置，以避免双机同步数据时丢失数据。

为解决上述问题，本发明一种实现双机热备份工作机向备份机同步数据的方法，所述方法包括：

a、工作机将待同步数据压缩并添加相应的校验码后向备份机传送；

b、备份机解压缩来自工作机的所述添加校验码的同步数据，且根据所述同步数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。

其中，所述步骤a具体包括：

a1、提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

a2、将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

a3、将添加有所述检验码的数据包发送给备份机。

其中，所述步骤a1之前还包括：

工作机判断备份机是否重新启动，并在判断为是后执行a1。

其中，所述步骤b具体包括：

b1、备份机接收来自工作机的数据包；

b2、获取所述数据包中携带的检验码；

b3、解压缩所述数据包以获取来自工作机的数据；

b4、获取所述来自工作机的数据的摘要，核对所述摘要与所述校验码是否一致，并在判断为是后，保存所述数据。

另外，所述步骤b3之后还包括，备份机向工作机发送同步反馈信息；

所述步骤a3之后还包括：

a4、工作机根据所述同步反馈信息判断工作机向备份机同步的数据是否已完整同步到备份机中，若是，则执行a5，否则，返回a1；

a5、判断工作机是否还有待同步数据，若是，则返回a1，否则，执行a6；

a6、判定工作机已将所有数据同步到备份机中。

相应地，本发明一种实现双机热备份工作机向备份机同步数据的装置，所述装置包括：

发送数据处理单元，用于工作机将待同步数据压缩并添加相应的校验码后向备份机传送；

接收数据处理单元，用于备份机解压缩来自工作机的所述添加校验码的同步数据，且根据所述同步数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。

其中，所述发送数据处理单元包括：

待同步数据存储单元，用于存储待同步数据；

校验码提取单元，用于提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

数据压缩单元，将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

第一通讯单元，用于将添加有所述检验码的数据包发送给备份机。

另外，所述发送数据处理单元还包括：

备份机重启判断单元，用于判断备份机是否重新启动，并在判断为是后，指示工作机向备份机同步数据。

其中，所述接收数据处理单元包括：

第二通讯单元，用于备份机接收来自工作机的数据包；

数据包解压缩单元，用于获取所述来自工作机的数据包中携带的检验码，并解压缩所述数据包以获取来自工作机的数据；

校验码核对单元，用于获取所述来自工作机的数据的摘要，并核对所述摘要与所述校验码是否一致；

已同步数据保存单元，用于在所述检测单元判断为是后，保存已同步数据。

另外，所述接收数据处理单元还包括同步反馈信息单元用于将该次备份机数据同步的结果以反馈信息的形式反馈给工作机；

所述数据发送处理单元还包括：

数据同步判断单元，用于工作机根据所述同步反馈信息判断工作机向备份机同步的数据是否已完整同步到备份机中，并在判断为否后，指示所述校验码添加单元获取所述待同步数据的摘要，并以所述摘要作为校验码添加到所述数据包中，直到判断为是为止；

待同步数据判断单元，用于在所述同步数据判断单元判断为是后，判断工作机是否保存有待同步数据，若是，则判定工作机已将所有数据同步到备份机中，否则，指示工作机继续向备份机同步数据，直到判断为是为止。

与现有技术相比，本发明具有以下有益效果：

本发明工作机在发送数据时，将待同步数据压缩并添加相应的校验码后向备份机传送；在备份机接收数据时，解压缩来自工作机的所述添加校验码的同步数据，且根据所述数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。通过压缩传送的数据量大大减少，可以有效减少了双机同步数据的时间，且在接收数据时根据校验码对接收的数据进行校验，可避免双机同步时丢失数据，增加了系统的稳定性。

附图说明

图1是现有技术实现双机同步数据的结构示意图；

图2是本发明双机热备份中数据同步的方法的主要流程图；

图3是本发明工作机向备份机发送数据的处理流程图；

图4是本发明备份机接收数据的处理流程图；

图5是本发明实现双机热备份中双机同步数据的装置的组成示意图；

图6是本发明实现双机热备份中双机同步数据的装置中发送数据处理单元第一实施例示意图；

图7是本发明实现双机热备份中双机同步数据的装置中发送数据处理单元第二实施例示意图；

图8是本发明实现双机热备份中双机同步数据的装置中接收数据处理单元第一实施例示意图；

图9是本发明实现双机热备份中双机同步数据的装置中接收数据处理单元第二实施例示意图；

图10是本发明实现双机热备份中双机同步数据的装置中发送数据处理单元第三实施例示意图。

具体实施方式

本发明的核心在于工作机发送数据时，工作机将待同步数据压缩并添加相应的校验码后向备份机传送；与之相应的，本发明中备份机接收数据时，解压缩来自工作机的所述添加校验码的同步数据，且根据所述数据的校验码判断所述同步数据是否成功，并在判断为是后，保存所述同步数据。减少了双机同步数据的时间，避免了双机同步数据时丢失数据，增加了系统的稳定性。

具体实现时，工作机在发送数据时，发送数据的工作机提取待同步数据的摘要并以所述摘要作为待同步数据的校验码，然后将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中后向备份机传送，另外，工作机在向备份机同步数据之前判断备份机是否重新启动，并在判断为是后工作机开始向备份机同步数据；备份机在接收同步数据时，首先，、获取所述数据包中携带的检验码，然后，解压缩所述数据包后获取所述来自工作机的数据的摘要，核对所述摘要与所述校验码是否一致，并在判断为是后，保存所述数据。

需要说明的，在备份机对来自工作机的数据摘要与获取的校验码核对后，向工作机发送同步数据反馈信息；工作机首先根据所述同步反馈信息判断工作机向备份机发送同步数据是否已完整同步到备份机中，根据判断结果，若同步数据完整，则判断工作机是否还有待同步数据，若判断为是，则继续向备份机发送待同步数据；如果备份机收到的同步数据不完整，则工作机重新向备份机发送上述同步数据，直到备份机收到的同步数据完整，才检查工作机在否还存储有待同步数据。

下面进行详细说明。

参考图2，该图为本发明双机热备份中数据同步的方法的主要流程图，该主要流程主要包括如下步骤：

步骤s1，工作机将待同步数据压缩并添加相应的校验码后向备份机传送；

步骤s2，备份机解压缩来自工作机的所述添加校验码的同步数据，且根据所述同步数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。

参考图3，该图为本发明工作机向备份机发送数据的处理流程图。

步骤s11，备份机重启判断单元，检测到备份机重新启动，则向待同步数据存储单元发送要求同步所有的待同步数据的信号；

步骤s12，待同步数据存储单元接收来自第一判断单元的信号，创建待同步数据列表并发送给数据压缩单元；

步骤s13，数据压缩单元获取检验单元提取的当前同步数据的摘要作为当前同步数据的校验码；

步骤s14，压缩单元当前同步数据进行压缩成待传送的数据包并将检验码添加到所述数据包中后向下游传送；

步骤s15，第一通讯单元接收来自压缩单元的数据包，将所述数据包向备份机发送；

步骤s16，获取备份机返回给工作机的数据同步反馈信息，并根据所述数据据同步反馈信息判断备份机接收到的同步数据是否完整，若是，则判定此次数据同步成功，否则判定此次数据同步不成功，返回步骤s13继续向备份机发送所述同步数据，直到同步成功为止。

另外，在步骤s16判定数据同步成功后，则检测是否还有待同步数据，若是，则返回上述步骤s13后继续进行传送，步骤与上述步骤相同此处不在累述。

参考图4，该图为本发明备份机接收数据的处理流程图。

步骤s21，第二通讯单元接收来自工作机的数据包；

步骤s22，第二通讯单元将所述数据包传送给数据包解压缩单元；

步骤s23，数据包解压缩单元接收来自第二通讯单元的数据包，获取所述数据包中携带的检验码；

步骤s24，数据包解压缩单元解压缩所述数据包，并；将获取的所述校验码传送给检验码核对单元，以校验同步数据的完整性；

步骤s25，数据包解压缩单元将将解压缩的同步数据传送给检验码核对单元；

步骤s26，校验码核对单元提取所述同步数据的摘要，并核对所述校验码与所述同步数据的摘要是否一致，若是，则执行步骤s27，否则，丢弃所述接收的同步数据；

步骤s27，校验码核对单元向已同步数据存储单元发送所述同步数据，同时执行步骤s29；

步骤s28，已同步数据存储单元存储所述同步数据更新所存储的已同步数据。

步骤s29，检验码核对单元向第二通讯单元发送同步数据反馈信息；

步骤s30，第二通讯单元向工作机发送所述同步数据反馈信息。

下面说明本发明的另一方面。

参考图5，该图为本发明实现双机热备份中双机同步数据的装置的组成示图。

发送数据处理单元11，用于发送数据的工作机将待同步数据压缩成数据包并添加相应的校验码后向备份机传送；

接收数据处理单元12，用于接收数据的备份机解压缩来自工作机的所述添加校验码的数据包以获取来自工作机的数据，且根据所述数据的校验码判断所述数据同步是否成功，并在判断为是后，保存所述数据。

参考图6，该图为本发明实现双机热备份中双机同步数据的装置中发送数据处理单元第一实施例示意图。

所述发送数据处理单元11包括：

待同步数据存储单元111，用于存储待同步数据；

校验码提取单元112，用于提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

数据压缩单元113，用于将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

第一通讯单元114，用于将添加有所述检验码的数据包发送给备份机。

参考图7，该图为本发明实现双机热备份中双机同步数据的装置中发送数据处理单元第二实施例示意图。

本实施例中所述发送数据处理单元同样包括：

待同步数据存储单元111，用于存储待同步数据；

校验码提取单元112，用于提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

数据压缩单元113，用于将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

第一通讯单元114，用于将已添加校验码的所述数据包发送给备份机。

另外，与第一实施例不同的，本实施例中所述的发送数据处理单元还包括：

备份机重启判断单元115，用于判断备份机是否重新起动，并在判断为是后，指示数据压缩单元将待同步数据压缩成待传送的数据包。

参考图8，该图为本发明实现双机热备份中双机同步数据的装置中接收数据处理单元第一实施例示意图。

所述接收数据处理单元12包括：

第二通讯单元121，用于备份机接收来自工作机的数据包；

数据包解压缩单元122，用于获取所述来自工作机的数据包中携带的检验码，并解压缩所述数据包以获取来自工作机的数据；

校验码核对单元123，用于获取所述来自工作机的数据的摘要，并核对所述摘要与所述校验码是否一致；

已同步数据保存单元124，用于在所述检测单元判断为是后，保存已同步数据。

参考图9，该图为本发明实现双机热备份中双机同步数据的装置中接收数据处理单元第二实施例示意图。

所述接收数据处理单元12包括：

第二通讯单元121，用于备份机接收来自工作机的数据包；

数据包解压缩单元122，用于获取所述来自工作机的数据包中携带的检验码，并解压缩所述数据包以获取来自工作机的数据；

校验码核对单元123，用于获取所述来自工作机的数据的摘要，并核对所述摘要与所述校验码是否一致；

已同步数据保存单元124，用于在所述检测单元判断为是后，保存已同步数据。

另外与第一实施例不同的，本实施例中所述的接收数据处理单元还包括：

同步反馈信息单元125，用于将该次备份机数据同步的结果以反馈信息的形式反馈给工作机。

参考图10，该图为本发明实现双机热备份中双机同步数据的装置中发送数据处理单元第三实施例示意图。

本实施例中所述发送数据处理单元同样包括：

待同步数据存储单元111，用于存储待同步数据；

校验码提取单元112，用于提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

数据压缩单元113，用于将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

第一通讯单元114，用于将已添加校验码的所述数据包发送给备份机。

备份机重启判断单元115，用于判断备份机是否重新起动，并在判断为是后，指示工作机向备份机同步数据；

另外，与第二实施例不同的，本实施例中所述的发送数据处理单元还包括：

数据同步判断单元116，用于工作机根据所述同步反馈信息判断工作机向备份机同步的数据是否已完整同步到备份机中，并在判断为否后，指示所述校验码添加单元获取所述待同步数据的摘要，并以所述摘要作为校验码添加到所述数据包中，直到判断为是为止；

待同步数据判断单元117，用于在所述数据同步判断单元判断为是后，判断工作机是否保存有待同步数据，并在判断为是后，判定工作机已将所有数据同步到备份机中，否则工作机继续向备份机同步数据，直到判断为是为止。

在具体实现时，首先，主机中的备份机重启判断单元115检测到备份机重新起动后数据压缩单元113将待同步数据分块、压缩并编号，例如：把大小为300M的数据包分段为10个大小为30M的数据包，然后分别压缩为10个3M左右的数据包，将这10个数据包编号为0～9，然后对该数据包添加由校验码提取单元112提取的校验码，并通过第一通讯单元114向备份机发送；备份机通过第二通讯单元121收到上述数据包后，首先由数据包解压缩单元122解码、校验码核对单元123校验，然后由同步反馈信息单元125向主机发送同步反馈信息，反馈信息中携带同步数据是否完整的状态码。主机中的数据同步判断单元116根据备机的反馈信息中的状态码判断同步数据是否完整，如果0～9个数据包都已经被备份机成功接收，则判定已经同步完整；否则主机向备机重发没有成功处理的数据包。

综上，本发明有效减少了工作机向备份机同步数据的时间，同步时间仍以现网中需要完整同步的30万用户通讯信息，且通讯1KB信息时双机同步最大为2000TPS为例对本发明中工作机向备份机同步数据的时间进行计算。本发明中完整数据同步所需要的时间为：数据压缩时间+同步时间+数据解压缩时间，在实际应用中采用不同的压缩算法压缩和解压缩在时间和压缩率上是不同的，现以采用GZIP压缩，采用SUN V440机型为例进行测试，压缩率一般在10倍，试验测得：压缩300M通信信息消费的时间为3秒，数据同步为2.5秒，解压缩时间为2.0秒，所以需要的完整数据同步的时间为：3(压缩时间)+2.5(数据同步时间)+2.0(解压缩时间)＝7.5秒，远小于现有技术的150秒。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1、一种实现双机热备份中同步数据的方法，其特征在于，包括如下步骤：

a、工作机将待同步数据压缩并添加相应的校验码后向备份机传送；

b、备份机解压缩来自工作机的所述添加校验码的同步数据，且根据所述同步数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。

2、根据权利要求1所述的实现双机热备份中同步数据的方法，其特征在于，所述步骤a具体包括：

a1、提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

a2、将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

a3、将添加有所述检验码的数据包发送给备份机。

3、根据权利要求2所述的实现双机热备份中同步数据的方法，其特征在于，所述步骤a1之前还包括：

工作机判断备份机是否重新启动，并在判断为是后执行a1。

4、根据权利要求2或3所述的实现双机热备份中同步数据的方法，其特征在于，所述步骤b具体包括：

b1、备份机接收来自工作机的数据包；

b2、获取所述数据包中携带的检验码；

b3、解压缩所述数据包以获取来自工作机的数据；

b4、获取所述来自工作机的数据的摘要，核对所述摘要与所述校验码是否一致，并在判断为是后，保存所述数据。

5、根据权利要求4所述的实现双机热备份中同步数据的方法，其特征在于，所述步骤b3之后还包括，备份机向工作机发送同步反馈信息；

所述步骤a3之后还包括：

a4、工作机根据所述同步反馈信息判断工作机向备份机同步的数据是否已完整同步到备份机中，若是，则执行a5，否则，返回a1；

a5、判断工作机是否还有待同步数据，若是，则返回a1，否则，执行a6；

a6、判定工作机已将所有数据同步到备份机中。

6、一种实现双机热备份中工作机向备份机同步数据的装置，其特征在于，包括：

发送数据处理单元，用于工作机将待同步数据压缩并添加相应的校验码后向备份机传送；

接收数据处理单元，用于备份机解压缩来自工作机的所述添加校验码的同步数据，且根据所述同步数据的校验码判断所述同步数据是否完整，并在判断为是后，保存所述同步数据。

7、根据权利要求6所述的实现双机热备份中工作机向备份机同步数据的装置，其特征在于，所述发送数据处理单元包括：

待同步数据存储单元，用于存储待同步数据；

校验码提取单元，用于提取待同步数据的摘要并以所述摘要作为待同步数据的校验码；

数据压缩单元，将所述待同步数据压缩成待传送的数据包，并将所述校验码添加到所述数据包中；

第一通讯单元，用于将添加有所述检验码的数据包发送给备份机。

8、根据权利要求7所述的实现双机热备份中工作机向备份机同步数据的装置，其特征在于，所述发送数据处理单元还包括：

备份机重启判断单元，用于判断备份机是否重新启动，并在判断为是后，指示工作机向备份机同步数据。

9、根据权利要求7或8所述的实现双机热备份中工作机向备份机同步数据的装置，其特征在于，所述接收数据处理单元包括：

第二通讯单元，用于备份机接收来自工作机的数据包；

数据包解压缩单元，用于获取所述来自工作机的数据包中携带的检验码，并解压缩所述数据包以获取来自工作机的数据；

校验码核对单元，用于获取所述来自工作机的数据的摘要，并核对所述摘要与所述校验码是否一致；

已同步数据保存单元，用于在所述检测单元判断为是后，保存已同步数据。

10、根据权利要求9所述的实现双机热备份中工作机向备份机同步数据的装置，其特征在于，所述接收数据处理单元还包括同步反馈信息单元用于将该次备份机数据同步的结果以反馈信息的形式反馈给工作机；

所述数据发送处理单元还包括：

数据同步判断单元，用于工作机根据所述同步反馈信息判断工作机向备份机同步的数据是否已完整同步到备份机中，并在判断为否后，指示所述校验码添加单元获取所述待同步数据的摘要，并以所述摘要作为校验码添加到所述数据包中，直到判断为是为止；

待同步数据判断单元，用于在所述同步数据判断单元判断为是后，判断工作机是否保存有待同步数据，若是，则判定工作机已将所有数据同步到备份机中，否则，指示工作机继续向备份机同步数据，直到判断为是为止。

Images