CN102184192A

CN102184192A - 数据定时同步方法及系统

Info

Publication number: CN102184192A
Application number: CN2011100981691A
Authority: CN
Inventors: 王淑青; 付红雷
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2011-04-19
Filing date: 2011-04-19
Publication date: 2011-09-14

Abstract

本发明公开了一种数据定时同步方法及系统，该方法包括：主数据库间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的CRC值，其中数据表信息用于指示主数据库中的在预先设定的时间内存在数据修改的数据表；主数据库根据数据表信息和CRC值，与从数据库进行数据同步。本发明可以大幅减少计算量，进而保证系统性能并保证主数据库与从数据库之间数据同步的可靠性。

Description

数据定时同步方法及系统

技术领域

本发明涉及通信领域，具体而言，涉及一种数据定时同步方法及系统。

背景技术

目前，主从数据库已在嵌入式系统中获得广泛使用。进而，为了保证主数据库与从数据库的数据一致性，需要对主数据库与从数据库进行数据同步。

为了提高主数据库与从数据库之间数据同步的可靠性，一般采用实时同步结合定时同步的方式。具体来说，主数据库中的数据有修改时，直接实时同步该修改的数据到从数据库；以及为了防止上述实时同步失败，主数据库间隔固定时间，定时同步该固定时间内有修改的数据到从数据库。由此可见，在该定时同步之前，需要确定该固定时间内哪些数据有修改。

相关技术中，通常采用主数据库与从数据库分别计算各自所有数据表的CRC值，再把这些CRC值分别进行比较，以便确定CRC值不相同的数据表中的数据在该固定时间内有修改，然后主数据库直接定时同步该CRC值不相同的数据表到从数据库。

但是，随着主数据库与从数据库中数据表数量的大幅增加，上述所有数据表的CRC值的计算量也大幅增长，从而降低系统性能并影响主数据库与从数据库之间数据同步的可靠性。

发明内容

针对相关技术中计算主数据库中的所有数据表的CRC值从而计算量很大的问题而提出本发明，为此，本发明的主要目的在于提供一种数据定时同步方法及系统，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种数据定时同步方法。

根据本发明的数据定时同步方法包括：主数据库间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的CRC值，其中数据表信息用于指示主数据库中的在预先设定的时间内存在数据修改的数据表；主数据库根据数据表信息和CRC值，与从数据库进行数据同步。

优选地，主数据库根据数据表信息和CRC值，与从数据库进行数据同步包括：主数据库向从数据库发送数据表信息和CRC值；主数据库接收从数据库返回的修改后的数据表信息；主数据库与从数据库对修改后的数据表信息对应的数据表进行数据同步。

优选地，在主数据库接收从数据库返回的修改后的数据表信息之前，上述方法还包括：从数据库接收到来自主数据库的数据表信息和CRC值；从数据库计算与数据表信息对应的数据表的CRC值；从数据库判断计算的CRC值与接收的CRC值是否相同；如果判断结果为否，则从数据库确定CRC值不相同的数据表对应的数据表信息作为修改后的数据表信息。

优选地，通过如下的BITMAP表记录数据表信息：

0	1	0	0	0	0	0	0	0	0	0	0	0	0	0
																1	1	0	1	1	1	1	0	1	1	1	1	1	1	1	1
1	1	0	1	1	0	1	0	1	1	1	1	1	1	1	1

1	1	0	1	0	1	1	0	1	0	1	0	1	1	1	1

其中，每一列数据用于记录一个从数据库的数据表信息；其中，第一行数据用于记录从数据库是否已处于定时同步的过程中，第二行数据用于记录从数据库是否包括存在数据修改的数据表，第三行用于记录与从数据库中的第一数据表对应的数据表信息，第四行用于记录与从数据库中的第二数据表对应的数据表信息，第五行用于记录与从数据库中的第三数据表对应的数据表信息。

优选地，在从数据库已处于定时同步的过程的情况下，如果主数据库中的数据表存在数据修改，则主数据库记录该数据表对应的数据表信息。

优选地，在从数据库的定时同步的过程结束之后，上述方法还包括：主数据库将记录的该数据表对应的数据表信息记录到BITMAP表。

优选地，主数据库通过链表记录该数据表对应的数据表信息。

为了实现上述目的，根据本发明的另一个方面，提供了一种数据定时同步系统。

根据本发明的数据定时同步系统包括主数据库和从数据库，其中主数据库包括：第一计算模块，用于间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的CRC值，其中数据表信息用于指示主数据库中的在预先设定的时间内存在数据修改的数据表；同步模块，用于根据数据表信息和CRC值，与从数据库进行数据同步。

优选地，同步模块包括：发送子模块，用于向从数据库发送数据表信息和CRC值；接收子模块，用于接收从数据库返回的修改后的数据表信息；同步子模块，用于与从数据库对修改后的数据表信息对应的数据表进行数据同步。

优选地，从数据库包括：接收模块，用于接收来自主数据库的数据表信息和CRC值；第二计算模块，用于计算与数据表信息对应的数据表的CRC值；判断模块，用于判断计算的CRC值与接收的CRC值是否相同；确定模块，用于在判断结果为否的情况下，确定CRC值不相同的数据表对应的数据表信息作为修改后的数据表信息。

通过本发明，仅仅计算存在数据修改的数据表的CRC值，从而可以大幅减少计算量，进而保证系统性能并保证主数据库与从数据库之间数据同步的可靠性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据定时同步方法的流程图；

图2是根据本发明实施例的链表的示意图；

图3是根据本发明优选实施例一的数据定时同步方法的流程图；

图4是根据本发明优选实施例二的数据定时同步方法的流程图；

图5是根据本发明实施例的数据定时同步系统的结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种数据定时同步方法。图1是根据本发明实施例的数据定时同步方法的流程图，如图1所示，包括如下的步骤S102至步骤S104。

步骤S102，主数据库间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的CRC值，其中数据表信息用于指示主数据库中的在预先设定的时间内存在数据修改的数据表。

步骤S104，主数据库根据数据表信息和CRC值，与从数据库进行数据同步。

相关技术中计算主数据库中的所有数据表的CRC值，该计算量很大。本发明实施例中，仅仅计算存在数据修改的数据表的CRC值，从而可以大幅减少计算量，进而保证系统性能并保证主数据库与从数据库之间数据同步的可靠性。

优选地，通过如表1所示的BITMAP表记录数据表信息：

表1BITMAP表

表1中，每一列数据用于记录一个从数据库的数据表信息；表1中，第一行数据用于记录从数据库是否已处于定时同步的过程中，第二行数据用于记录从数据库是否包括存在数据修改的数据表，第三行用于记录与从数据库中的第一数据表对应的数据表信息，第四行用于记录与从数据库中的第二数据表对应的数据表信息，第五行用于记录与从数据库中的第三数据表对应的数据表信息。

需要说明的是，表1仅仅示出了从数据库中包括三张数据表的情形，实际应用中，还可以根据实际需要进行相应的扩展。并且，表1仅仅示出了记录数据表信息的一种优选的实现方式，实际应用中，按照表1的设计思想而设计的任一种记录数据表信息的方式，均应纳入本发明的保护范围。

考虑到从数据库已处于定时同步过程时，主数据库中的数据表信息不能记录到BITMAP表，本优选实施例提出了缓存该数据表信息，从而可以保证主数据库与从数据库之间数据同步的可靠性。

图2是根据本发明实施例的链表的示意图，如图2所示，可以通过表ID1和表ID2记录存在数据修改的数据表对应的数据表信息。

需要说明的是，图2仅仅示出了从数据库中包括两张存在数据修改的数据表的情形，实际应用中，还可以根据实际需要进行相应的扩展。

下面将结合实例对本发明实施例的实现过程进行详细描述。

优选实施例一

图3是根据本发明优选实施例一的数据定时同步方法的流程图，如图3所示，包括如下的步骤S302至步骤S314。

步骤S302，主数据库中的原始数据表有更新，先进行实时同步。

步骤S304，判断是否正在定时同步，如果正在定时同步，则进行步骤S306，否则进行步骤S314。

步骤S306，把原始数据表ID信息加入链表。

步骤S308，判断定时同步是否结束，如果定时同步没有结束，则进行步骤S310，否则进行步骤S312。

步骤S310，继续同步。

步骤S312，把链表信息加入BITMAP表，并结束。

步骤S314，把原始表ID信息加入BITMAP表，并结束。

优选实施例二

图4是根据本发明优选实施例二的数据定时同步方法的流程图，如图4所示，包括如下的步骤S402至步骤S412。

本优选实施例二实现了主数据库与所有从数据库的定时同步。

步骤S402，定时时间到，开始进行定时同步。

步骤S404，根据BITMAP表，判断是否存在需要进行CRC计算的数据表，如果存在需要进行CRC计算的数据表，则进行步骤S406，否则结束。

步骤S406，进行CRC计算，选定从数据库传送CRC结果，根据从数据库返回的CRC比较结果，确定需要同步的数据表，进行数据同步。

步骤S408，判断所有从数据库是否同步结束，如果所有从数据库均同步结束，则进行步骤S410，否则返回步骤S406。

步骤S410，判断链表是否存在数据，如果链表存在数据，则进行步骤S412，否则结束。

步骤S412，把链表内容写入BITMAP表，并清空链表。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供了一种数据定时同步系统，该数据定时同步系统可以用于实现上述数据定时同步方法。图5是根据本发明实施例的数据定时同步系统的结构框图，如图5所示，包括主数据库52和从数据库54，其中主数据库52包括第一计算模块522和同步模块524，下面对其结构进行详细描述。

第一计算模块522，用于间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的CRC值，其中数据表信息用于指示主数据库52中的在预先设定的时间内存在数据修改的数据表；同步模块524，连接至第一计算模块522和从数据库54，用于根据数据表信息和第一计算模块522计算的CRC值，与从数据库54进行数据同步。

优选地，同步模块524包括发送子模块5242、接收子模块5244和同步子模块5246，下面对其进行详细描述。

发送子模块5242，连接至第一计算模块522和从数据库54，用于向从数据库54发送数据表信息和第一计算模块522计算的CRC值；接收子模块5244，连接至从数据库54，用于接收从数据库54返回的修改后的数据表信息；同步子模块5246，连接至接收子模块5244和从数据库54，用于与从数据库54对接收子模块5244接收的修改后的数据表信息对应的数据表进行数据同步。

优选地，从数据库54包括接收模块542、第二计算模块544和判断模块546，下面对其结构进行详细描述。

接收模块542，连接至发送子模块5242，用于接收来自主数据库52的发送子模块5242的数据表信息和CRC值；第二计算模块544，连接至接收模块542，用于计算与接收模块542接收的数据表信息对应的数据表的CRC值；判断模块546，连接至接收模块542合第二计算模块544，用于判断第二计算模块544计算的CRC值与接收模块542接收的CRC值是否相同；确定模块，连接至判断模块546，用于在判断模块546判断结果为否的情况下，确定CRC值不相同的数据表对应的数据表信息作为修改后的数据表信息。

需要说明的是，装置实施例中描述的数据定时同步系统对应于上述的方法实施例，其具体的实现过程在方法实施例中已经进行过详细说明，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据定时同步方法，其特征在于，包括：

主数据库间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的循环冗余校验CRC值，其中所述数据表信息用于指示所述主数据库中的在所述预先设定的时间内存在数据修改的数据表；

所述主数据库根据所述数据表信息和所述CRC值，与从数据库进行数据同步。

2.根据权利要求1所述的方法，其特征在于，所述主数据库根据所述数据表信息和所述CRC值，与从数据库进行数据同步包括：

所述主数据库向所述从数据库发送所述数据表信息和所述CRC值；

所述主数据库接收所述从数据库返回的修改后的数据表信息；

所述主数据库与所述从数据库对所述修改后的数据表信息对应的数据表进行数据同步。

3.根据权利要求2所述的方法，其特征在于，在所述主数据库接收所述从数据库返回的修改后的数据表信息之前，所述方法还包括：

所述从数据库接收到来自所述主数据库的所述数据表信息和所述CRC值；

所述从数据库计算与所述数据表信息对应的数据表的CRC值；

所述从数据库判断所述计算的CRC值与所述接收的CRC值是否相同；

如果判断结果为否，则所述从数据库确定所述CRC值不相同的数据表对应的数据表信息作为所述修改后的数据表信息。

4.根据权利要求1至3中任一项所述的方法，其特征在于，通过如下的BITMAP表记录所述数据表信息：

其中，每一列数据用于记录一个从数据库的数据表信息；

其中，第一行数据用于记录所述从数据库是否已处于定时同步的过程中，第二行数据用于记录所述从数据库是否包括存在数据修改的数据表，第三行用于记录与所述从数据库中的第一数据表对应的数据表信息，第四行用于记录与所述从数据库中的第二数据表对应的数据表信息，第五行用于记录与所述从数据库中的第三数据表对应的数据表信息。

5.根据权利要求4所述的方法，其特征在于，在所述从数据库已处于所述定时同步的过程的情况下，如果所述主数据库中的数据表存在数据修改，则所述主数据库记录该数据表对应的数据表信息。

6.根据权利要求5所述的方法，其特征在于，在所述从数据库的所述定时同步的过程结束之后，所述方法还包括：

所述主数据库将记录的该数据表对应的数据表信息记录到所述BITMAP表。

7.根据权利要求5所述的方法，其特征在于，所述主数据库通过链表记录该数据表对应的数据表信息。

8.一种数据定时同步系统，其特征在于，包括主数据库和从数据库，其中所述主数据库包括：

第一计算模块，用于间隔预先设定的时间，计算与预先记录的数据表信息对应的数据表的循环冗余校验CRC值，其中所述数据表信息用于指示所述主数据库中的在所述预先设定的时间内存在数据修改的数据表；

同步模块，用于根据所述数据表信息和所述CRC值，与从数据库进行数据同步。

9.根据权利要求8所述的系统，其特征在于，所述同步模块包括：

发送子模块，用于向所述从数据库发送所述数据表信息和所述CRC值；

接收子模块，用于接收所述从数据库返回的修改后的数据表信息；

同步子模块，用于与所述从数据库对所述修改后的数据表信息对应的数据表进行数据同步。

10.根据权利要求9所述的系统，其特征在于，所述从数据库包括：

接收模块，用于接收来自所述主数据库的所述数据表信息和所述CRC值；

第二计算模块，用于计算与所述数据表信息对应的数据表的CRC值；

判断模块，用于判断所述计算的CRC值与所述接收的CRC值是否相同；

确定模块，用于在判断结果为否的情况下，确定所述CRC值不相同的数据表对应的数据表信息作为所述修改后的数据表信息。