CN104182441A - 一种数据表同步方法及装置 - Google Patents

Abstract

本发明公开了一种数据表同步方法及装置。所述方法包括：获取所述数据表的上一次同步时间；根据数据表中包含的每条数据的更新时间，查询从所述数据表的上一次同步时间到当前时间之间的数据，对查询到的数据进行同步；当同步完成后，更新所述数据表的上一次同步时间为当前时间。

Description

一种数据表同步方法及装置

技术领域

本发明涉及数据库管理技术领域，尤其涉及一种数据表同步方法及装置。

背景技术

目前，将关系数据表中的数据同步到其它表中，当关系数据表为动态表时，即表中的数据不断的添加，主要采用以下两种方式：

一、采用数据库代理，通过编写程序，定时查询动态表中最新添加的数据，然后更新数据。

二、利用触发器实现，在动态表上新建触发器，触发器的实质就是个存储过程，只不过调用的时间是根据所建的动态表发生改变而执行。

以上两种方式的缺陷在于：

1、当数据同步发生错误时，无法自动重新同步，需要运维人员及时的根据日志来进行分析，手工控制数据同步的重新进行；

2、利用触发器，不容易记录下同步时的详细日志。

发明内容

本发明实施例提供一种数据表同步方法及装置，用于实现当同步失败时，不断循环同步，直至同步成功。

一方面，本发明实施例提供一种数据表同步方法，所述数据表中包含每条数据的更新时间，所述方法包括：

获取所述数据表的上一次同步时间；

根据数据表中包含的每条数据的更新时间，查询从所述数据表的上一次同步时间到当前时间之间的数据，对查询到的数据进行同步；

当同步完成后，更新所述数据表的上一次同步时间为当前时间。

本发明实施例的一些有益效果可以包括：每次仅同步更新时间大于数据表上一次同步时间的数据，无需对所有数据都进行同步。这样，不仅减少了同步数据量及数据同步所花时间，提高了数据同步的效率和准确度，节约了系统资源；并且，无需运维人员手动控制数据同步的重新进行，减少了运维人员工作量，降低了人力成本。

所述数据表中还包括每条数据的序列号；

对查询到的数据进行同步包括：

根据所述序列号对数据进行排序，根据排序结果对所述数据进行同步。

本发明实施例的一些有益效果可以包括：按照一定顺序对数据进行同步，使得同步过程容易追溯和查询，当同步过程中出现错误时，可以很容易定位同步错误的数据，并发现还有哪些数据没有同步。这样，再次同步时，可以从出现错误的数据开始同步，而无需将已同步过的数据再次同步，大大提高了数据同步效率，减少了同步数据量及数据同步所花时间。

根据排序结果对所述数据进行同步包括：

当查询到的数据个数超过预设的阈值时，根据所述预设的阈值对所述排序后的数据进行分页同步，每页的数据个数不超过所述预设的阈值。

本发明实施例的一些有益效果可以包括：当需要同步的数据量很大时，分页同步使得同步过程容易追溯和查询，当同步过程中出现错误时，可以很容易定位同步错误数据所在的页，并发现还有哪些页的数据没有同步。这样，再次同步时，可以从出现错误的页开始同步，而无需将已同步过的页再次同步，大大提高了数据同步效率，减少了同步数据量及数据同步所花时间。

获取所述数据表的上一次同步时间包括：

从所述数据表的配置文件中获取所述数据表的上一次同步时间。

所述方法还包括：在同步时，将同步的每条数据写入到同步日志中。

本发明实施例的一些有益效果可以包括：便于日后对数据表进行维护分析时使用，提高了数据同步维护的可行性和准确度。

另一方面，本发明实施例还提供一种数据表同步装置，所述数据表中包含每条数据的更新时间，所述装置包括：

获取模块，用于获取所述数据表的上一次同步时间

查询模块，用于根据数据表中包含的每条数据的更新时间，查询从所述数据表的上一次同步时间到当前时间之间的数据；

同步模块，用于对查询到的数据进行同步；

更新模块，用于当同步完成后，更新所述数据表的上一次同步时间为当前时间。

所述数据表中还包括每条数据的序列号；所述装置还包括：排序模块，用于根据所述序列号对数据进行排序；所述同步模块，用于根据排序结果对所述数据进行同步。

所述同步模块，用于当查询到的数据个数超过预设的阈值时，根据所述预设的阈值对所述排序后的数据进行分页同步，每页的数据个数不超过所述预设的阈值。

所述获取模块，用于从所述数据表的配置文件中获取所述数据表的上一次同步时间。

所述装置还包括：

日志存储模块，用于在同步时，将同步的每条数据写入到同步日志中。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中数据表同步方法的示例性流程图；

图2为本发明实施例中数据表同步方法的另一示例性流程图；

图3为本发明实施例中数据表同步方法的再一示例性流程图；

图4为本发明实施例中数据表同步装置的示例性结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供一种数据表同步方法，数据表中包含每条数据的更新时间及数据表的上一次同步时间，该方法包括以下步骤：

步骤S101，获取数据表的上一次同步时间；

步骤S102，根据数据表中包含的每条数据的更新时间，查询从数据表的上一次同步时间到当前时间之间的数据，对查询到的数据进行同步；

步骤S103，当同步完成后，更新数据表的上一次同步时间为当前时间。

例如，在MySQL中，将源数据表A中的数据同步到目标数据表B中。源数据表A中包含存放每条数据的更新时间的字段，记作update_time；源数据表A的配置文件中存放数据表A的上一次同步时间的字段，记作last_updatetime。其中update_time字段可以采用timestamp数据类型，并且设置默认值为CURRENT_TIMESTAMP。

同步开始时，首先从配置文件中读取last_updatetime，用于作为同步的开始时间。

从源数据表A中按时间范围获取一批数据，时间范围是从last_updatetime开始，到当前时间结束。并且记录下当前时间到一个临时变量T中。

在这一批数据全部同步完成以后，更新last_updatetime为临时变量T的值。

本发明实施例的一些有益效果可以包括：每次仅同步更新时间大于数据表上一次同步时间的数据，无需对所有数据都进行同步；而且，当数据同步发生错误时，可以自动不断循环同步，直至同步成功。这样，不仅减少了同步数据量及数据同步所花时间，提高了数据同步的效率和准确度，节约了系统资源；并且，无需运维人员手动控制数据同步的重新进行，减少了运维人员工作量，降低了人力成本。

本实施例中，数据表中还包括每条数据的序列号；

对查询到的数据进行同步包括：根据所述序列号对数据进行排序，根据排序结果对所述数据进行同步。

例如，源数据表A中还包含存放每条数据的序列号的字段，记作ID，该ID字段为自动增长的主键字段。将查询到的数据按照ID的升序或降序进行排序之后，再进行顺序同步。

或者，本实施例中，还可以根据数据的更新时间对数据进行排序，根据数据更新时间的升序或降序进行同步。

按照一定顺序对数据进行同步，使得同步过程容易追溯和查询，当同步过程中出现错误时，可以很容易定位同步错误的数据，并发现还有哪些数据没有同步。这样，再次同步时，可以从出现错误的数据开始同步，而无需将已同步过的数据再次同步，大大提高了数据同步效率，减少了同步数据量及数据同步所花时间。

本实施例中，根据排序结果对数据进行同步，进一步包括：当查询到的数据个数超过预设的阈值时，根据预设的阈值对排序后的数据进行分页同步，每页的数据个数不超过所述预设的阈值。

这是在需要同步的数据量很大时，可以进行分页同步。例如，本次需要同步的源数据表A中的数据ID为1-500000，而设定的同步数据个数的阈值为100000，因此，可以将本次同步的数据分为5页，每页数据ID分别为1-100000，100001-200000，200001-300000，300001-400000，400001-500000。之后，分别对该5页数据进行同步。

当需要同步的数据量很大时，分页同步使得同步过程容易追溯和查询，当同步过程中出现错误时，可以很容易定位同步错误数据所在的页，并发现还有哪些页的数据没有同步。这样，再次同步时，可以从出现错误的页开始同步，而无需将已同步过的页再次同步，大大提高了数据同步效率，减少了同步数据量及数据同步所花时间。

本实施例中，该方法还包括：在同步时，将同步的每条数据写入到同步日志中。

例如，在源数据表A的同步日志中，记录本次同步的ID为1-500000的数据，以便于日后对数据表进行维护分析时使用，这样，提高了数据同步维护的可行性和准确度。

如图2所示，对本发明实施例的数据表同步方法进行具体说明：

步骤S201，从配置文件中读取last_updatetime;

步骤S202，从数据表中获取从last_updatetime到当前时间之间的数据；

步骤S203，将读取到的数据按ID升序排序；

步骤S204，按顺序同步数据；

步骤S205，判断同步是否完成，当同步完成时，执行步骤S206，当同步未完成时，返回步骤S204；

步骤S206，更新last_updatetime为当前时间。

本实施例的数据表同步方法，每次仅同步更新时间大于数据表上一次同步时间的数据，无需对所有数据都进行同步；而且，当数据同步发生错误时，可以自动不断循环同步，直至同步成功。这样，不仅减少了同步数据量及数据同步所花时间，提高了数据同步的效率和准确度，节约了系统资源；并且，无需运维人员手动控制数据同步的重新进行，减少了运维人员工作量，降低了人力成本。

如图3所示，对本发明实施例的数据表同步方法进行具体说明：

步骤S301，从配置文件中读取last_updatetime;

步骤S302，从数据表中获取从last_updatetime到当前时间之间的数据；

步骤S303，将读取到的数据按ID升序排序1-200000；

步骤S304，将数据按照ID的排列顺序划分为2页，第一页数据ID为1-100000，第二页数据ID为100001-200000；

步骤S305，同步第一页数据；

步骤S306，判断第一页数据是否同步完成，如果是，执行步骤步骤S307，如果否，返回步骤步骤S305；

步骤S307，同步第二页数据；

步骤S308，判断第二页数据是否同步完成，如果是，执行步骤步骤S309，如果否，返回步骤步骤S307；

步骤S309，更新last_updatetime为当前时间。

当需要同步的数据量很大时，分页同步使得同步过程容易追溯和查询，当同步过程中出现错误时，可以很容易定位同步错误数据所在的页，并发现还有哪些页的数据没有同步。这样，再次同步时，可以从出现错误的页开始同步，而无需将已同步过的页再次同步，大大提高了数据同步效率，减少了同步数据量及数据同步所花时间。

如图4所示，本发明实施例还提供一种数据表同步装置40，数据表中包含每条数据的更新时间，该装置40包括：

获取模块41，用于获取所述数据表的上一次同步时间

查询模块42，用于根据数据表中包含的每条数据的更新时间，查询从所述数据表的上一次同步时间到当前时间之间的数据；

同步模块43，用于对查询到的数据进行同步；

更新模块44，用于当同步完成后，更新所述数据表的上一次同步时间为当前时间。

本实施例中，数据表中还包括每条数据的序列号；该装置40还包括：排序模块45，用于根据所述序列号对数据进行排序；所述同步模块43，用于根据排序结果对所述数据进行同步。

同步模块43，用于当查询到的数据个数超过预设的阈值时，根据所述预设的阈值对所述排序后的数据进行分页同步，每页的数据个数不超过所述预设的阈值。

获取模块41，用于从所述数据表的配置文件中获取所述数据表的上一次同步时间。

该装置30还包括：日志存储模块46，用于在同步时，将同步的每条数据写入到同步日志中。

本实施例的数据表同步装置，每次仅同步更新时间大于数据表上一次同步时间的数据，无需对所有数据都进行同步；而且，当数据同步发生错误时，可以自动不断循环同步，直至同步成功。这样，不仅减少了同步数据量及数据同步所花时间，提高了数据同步的效率和准确度，节约了系统资源；并且，无需运维人员手动控制数据同步的重新进行，减少了运维人员工作量，降低了人力成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据表同步方法，其特征在于，所述数据表中包含每条数据的更新时间，所述方法包括：

获取所述数据表的上一次同步时间；

根据数据表中包含的每条数据的更新时间，查询从所述数据表的上一次同步时间到当前时间之间的数据，对查询到的数据进行同步；

当同步完成后，更新所述数据表的上一次同步时间为当前时间。

2.根据权利要求1所述的方法，其特征在于，所述数据表中还包括每条数据的序列号；

对查询到的数据进行同步包括：

根据所述序列号对数据进行排序，根据排序结果对所述数据进行同步。

3.根据权利要求2所述的方法，其特征在于，根据排序结果对所述数据进行同步包括：

当查询到的数据个数超过预设的阈值时，根据所述预设的阈值对所述排序后的数据进行分页同步，每页的数据个数不超过所述预设的阈值。

4.根据权利要求1所述的方法，其特征在于，获取所述数据表的上一次同步时间包括：

从所述数据表的配置文件中获取所述数据表的上一次同步时间。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

在同步时，将同步的每条数据写入到同步日志中。

6.一种数据表同步装置，其特征在于，所述数据表中包含每条数据的更新时间，所述装置包括：

获取模块，用于获取所述数据表的上一次同步时间

查询模块，用于根据数据表中包含的每条数据的更新时间，查询从所述数据表的上一次同步时间到当前时间之间的数据；

同步模块，用于对查询到的数据进行同步；

更新模块，用于当同步完成后，更新所述数据表的上一次同步时间为当前时间。

7.根据权利要求6所述的装置，其特征在于，所述数据表中还包括每条数据的序列号；

所述装置还包括：排序模块，用于根据所述序列号对数据进行排序；

所述同步模块，用于根据排序结果对所述数据进行同步。

8.根据权利要求7所述的装置，其特征在于，所述同步模块，用于当查询到的数据个数超过预设的阈值时，根据所述预设的阈值对所述排序后的数据进行分页同步，每页的数据个数不超过所述预设的阈值。

9.根据权利要求6所述的装置，其特征在于，所述获取模块，用于从所述数据表的配置文件中获取所述数据表的上一次同步时间。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：

日志存储模块，用于在同步时，将同步的每条数据写入到同步日志中。