CN109857809A - 一种原始数据库数据同步到目标数据库的同步方法及系统 - Google Patents

Abstract

本发明公开了一种原始数据库数据同步到目标数据库的同步方法及系统，包括如下步骤：获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词；基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表；分配同步节点服务器以将数据同步表同步到对应目标数据库中。本发明具有数据同步稳定性高和可扩展性的特点。

Description

一种原始数据库数据同步到目标数据库的同步方法及系统

技术领域

本发明涉及数据同步的技术领域，特别涉及一种原始数据库数据同步到目标数据库的同步方法及系统。

背景技术

随着公司业务扩大，进而产生了许许多多的业务数据，包括资金数据、用户行为数据和交易数据。往往这些数据都需要进行二次提炼进行分析，给基层员工及时反馈业绩信息，给高层领导实时监控业绩统计，给运营同事提供数据判断。

针对于每个业务线的数据是打散开，分布在不同的硬件服务上，特别对于数据中心部门，需要管理很多数据，如果完全人工手动离线同步数据，会造成维护成本高，出现数据丢失导致数据不一致等严重情况发生，为此，数据同步的工具应用而生。

Kettle是基于离线数据同步到目标数据库中，但没有统一的界面工具管理配置，人工维护成本高，Canal是实时监听mysql数据库的binlog日志服务器，然后解释日志最终产生消息就行消费模式，但是Canal框架只是提供了基础同步服务，对于服务器的扩展性，自定义配置等功能缺失。Otter也是基于Canal框架发展的，提供了配置化和可扩展的实现方案，但是目前Otter读取日志后写入数据的数据库比较单一，不能很好的扩展到其他数据库，例如Postgre等。

类似上述这些框架，虽然或多或少解决了部分的数据同步问题，但是对于数据同步稳定性，多样性和可扩展性都没有很好的解决方案，因此存在一定的改进之处。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种原始数据库数据同步到目标数据库的同步方法，保证了数据同步稳定性和可扩展性。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种原始数据库数据同步到目标数据库的同步方法，包括如下步骤：

获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词；

基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表；

分配同步节点服务器以将数据同步表同步到对应目标数据库中。

优选的，在获取原始数据库的日志数据之前，还包括如下步骤：

建立原始数据库与多个目标数据库的连接；

配置过滤规则表，其中，过滤规则表中携带有需要同步的数据表的索引词；

监听原始数据库的日志数据，并根据过滤规则表进行筛选以获取所述日志消息。

优选的，所述数据表的索引词为数据表名。

优选的，在分配同步节点服务器以将数据同步表同步到对应目标数据库中，还包括如下步骤：

实时监控各个同步节点服务器的运行信息，其中，运行信息包括内存数据、硬盘数据、CPU执行的饱和度和网络通信数据；

动态调节各个同步节点服务器的运行。

优选的，在分配同步节点服务器以将数据同步表同步到对应目标数据库中之后，还包括如下步骤：

监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息；

匹配目标数据信息和数据信息的一致性；

在目标数据信息和数据信息不一致时，生成警示信息。

针对现有技术存在的不足，本发明的目的在于提供一种原始数据库数据同步到目标数据库的同步系统，保证了数据同步稳定性和可扩展性。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种原始数据库数据同步到目标数据库的同步系统，包括：

获取单元，用于获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词；

检索转换单元，基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表；

分配单元，分配同步节点服务器以将数据同步表同步到对应目标数据库中。

优选的，该系统还包括：

建立单元，用于建立原始数据库与多个目标数据库的连接；

配置单元，用于配置过滤规则表，其中，过滤规则表中携带有需要同步的数据表的索引词；

筛选单元，用于监听原始数据库的日志数据，并根据过滤规则表进行筛选以获取所述日志消息。

优选的，所述数据表的索引词为数据表名。

优选的，所述分配单元包括：

监控单元，用于实时监控各个同步节点服务器的运行信息，其中，运行信息包括内存数据、硬盘数据、CPU执行的饱和度和网络通信数据；

调节单元，用于动态调节各个同步节点服务器的运行。

优选的，该系统还包括：

监听单元，用于监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息；

匹配单元，用于匹配目标数据信息和数据信息的一致性；

警示单元，用于在目标数据信息和数据信息不一致时，生成警示信息。

综上所述，本发明对比于现有技术的有益效果为：

本申请通过获取原始数据库的日志消息，日志消息随用户在数据库中对数据表进行新增、删除等操作而生成，通过获取日志消息中对应数据表的索引词，进而在原始数据库中查找并获取对应的数据表，通过将数据表中的数据信息提前转换成符合目标数据库语法的目标数据信息，生成数据同步表，进而同步到目标数据库即可；

由此，本申请能够实现原始数据库与多个目标数据库之间的数据同步，实现可扩展的特点，并且在原始数据库与多个目标数据库同步时，能够根据目标数据库的特点，提前转换成符合目标数据库的语法，保证了数据同步的稳定性。

附图说明

图1为本发明技术方案中同步方法的第一流程示意图；

图2为本发明技术方案中同步方法的第二流程示意图；

图3为本发明技术方案中数据匹配的流程示意图；

图4为本发明技术方案中同步系统的系统框图；

图5为本发明技术方案中同步服务器的结构图；

图6为本发明技术方案中分配单元的结构图；

图7为本发明技术方案中检测服务器的结构图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

一种原始数据库数据同步到目标数据库的同步方法及系统，应对于存储在原始数据库的业务数据，这些业务数据都需要进行二次提炼进行分析，给基层员工及时反馈业绩信息，给高层领导实时监控业绩统计，给运营同事提供数据判断，因此，本申请能够将原始数据库中的数据实时同步到每个目标数据库中并且符合目标数据库的语法，数据同步的稳定性高且具有可扩展性的特点。

本申请系统架构分为同步服务器集群、检测服务器集群、管理服务模块和其他辅助服务装置，采用集群方式，有效地提高了工作效率。

实施例一

一种原始数据库数据同步到目标数据库的同步方法，结合图1和图4所示，包括如下步骤：

步骤S100，获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词。具体地，原始数据库配置在原始客户端中，在一个实施例中，原始客户端位于数据中心部门中，原始数据库中存储有若干数据表，数据表用于记录业务数据，每个数据表携带有索引词、字段名和数据信息，其中，数据表的索引词为数据表名。原始客户端在操作原始数据库的数据表时，都将生成日志数据，日志数据是针对数据表增添、删除、更改等一系列的数据操作记录日志，由此，日志数据中将携带有与数据表对应的索引词。

目标数据库配置在目标客户端，在一个实施例中，基层员工的客户端被定义为目标客户端，高层领导的客户端被定义为目标客户端，运营人员的客户端被定义为目标客户端，由此，目标客户端被配置有多个，每个目标客户端中均配置有目标数据库。

同步服务器集群中配置有多个同步服务器，上述方法应用在同步服务器集群中，同步服务器集群能够分别与原始客户端与多个目标客户端建立连接，进而建立原始数据库与多个目标数据库的连接，从而能够将原始数据库中的数据通过同步服务器集群实时同步到多个目标数据库中。

具体建立方式为，如图2所示，在同步服务器集群中配置原始客户端的IP地址、账号和密码信息，配置每个目标客户端的IP地址、账号和密码信息，由此实现原始客户端和每个目标客户端之间的网络互通。

随后，在同步服务器集群中配置过滤规则表，其中，过滤规则表中携带有需要同步的数据表的索引词，即需要将原始数据库中数据表同步到目标数据库中的数据表名。其中，原始数据库对应每个目标数据库的过滤规则表均不相同，即原始数据库应对于基层员工的客户端时，需要建立一套过滤规则表，对应于高层领导的客户端时，需要建立另一套过滤规则表。因为原始数据库中，并非需要将所有的数据库都同步到基层员工客户端的目标数据、以及高层领导客户端的目标数据，需要有选择同步的数据表，基于此形成过滤规则表。

同步服务器集群监听原始数据库的日志数据，并根据过滤规则表进行筛选以获取所述日志消息，由于日志数据中包含原始数据库中所有的数据表，经过过滤规则表筛选过滤后，只留下需要同步到对应目标数据库的数据表，此时经过筛选后的日志数据为上述日志消息。

因此，同步服务器集群能够将原始数据库中的日志数据进行统一监听，同步服务器集群对应于每一个目标客户端，进而同步服务器集群能够为每一个目标数据库建立过滤规则表，并根据每个过滤规则表进行数据筛选的步骤。

步骤S200，基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表。

具体地，同步服务器集群获取到日志消息中的索引词后，同步服务器集群能够根据索引词在原始数据库中查找与之匹配的数据表，获取到数据表后，通过将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据库信息生成数据同步表。其中，同步服务器集群中每个同步服务器可以单独进行数据信息语法的转换，从而提高转换效率。

步骤S300，分配同步节点服务器以将数据同步表同步到对应目标数据库中。具体地，同步服务器集群中配置有多个同步节点服务器，在分配同步节点服务器以将数据同步表同步到对应目标数据库中，还包括如下步骤：

步骤S310，实时监控各个同步节点服务器的运行信息，其中，运行信息包括内存数据、硬盘数据、CPU执行的饱和度和网络通信数据；

步骤S310，动态调节各个同步节点服务器的运行。

具体地，本申请管理服务模块通过监控各个同步节点服务器的运行信息，即CPU执行的饱和度、内存数据剩余比例、硬盘数据剩余大小，从而获取最优的同步节点服务器，通过该同步节点服务器进行数据同步。相应地，当各个同步节点服务器运行压力较小时，为充分节约资源，就会回收同步节点服务器，选择关停其中一个同步节点服务器，将该同步节点服务器的作业分配给其他节点服务器，保证能够正常运行，从而实现动态调节各个同步节点服务器的运行。

本申请中，如图3所示，在分配同步节点服务器以将数据同步表同步到对应目标数据库中之后，还包括如下步骤：

S400，监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息；

S500，匹配目标数据信息和数据信息的一致性；

S600，在目标数据信息和数据信息不一致时，生成警示信息。

根据步骤S400~S600所限定的技术方案，具体地，上述方法应用在检测服务器集群中，检测服务器集群中配置有多个检测服务器，检测服务器集群是独立的服务器集群，与同步服务器集群并行运行，检测服务器集群是数据可靠性和数据最终一致性的可靠保证，采用集群的方式，大大提高了匹配的效率和匹配的容量。

由此，检测服务器集群检测匹配的前置步骤需要预先配置原始客户端的IP地址、账号和密码信息，配置每个目标客户端的IP地址、账号和密码信息，由此实现原始客户端和每个目标客户端之间的网络互通。

在同步节点服务器完成同步工作后，检测服务器集群能够监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息，并匹配目标数据信息和数据信息的一致性，在目标数据信息和数据信息不一致时，生成警示信息，警示信息用于及时通知运维人员，警示信息可发送至运维人员的客户端中，保证第一时间告知运维人员。

实施例二

结合图4和图5所示，一种原始数据库数据同步到目标数据库的同步系统，同步服务器集群、检测服务器集群、管理服务模块和其他辅助服务装置，在同步服务器集群中中配置有多个同步服务器和多个同步节点服务器，检测服务器集群中配置有多个检测服务器，同步服务器中配置有建立单元、配置单元、筛选单元、获取单元、检索转换单元，分配单元被配置在管理服务模块中，检测服务器中配置有监听单元、匹配单元和警示单元。

获取单元用于获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词。原始数据库配置在原始客户端中，在一个实施例中，原始客户端位于数据中心部门中，原始数据库中存储有若干数据表，数据表用于记录业务数据，每个数据表携带有索引词、字段名和数据信息，其中，数据表的索引词为数据表名。原始客户端在操作原始数据库的数据表时，都将生成日志数据，日志数据是针对数据表增添、删除、更改等一系列的数据操作记录日志，由此，日志数据中将携带有与数据表对应的索引词。

目标数据库配置在目标客户端，在一个实施例中，基层员工的客户端被定义为目标客户端，高层领导的客户端被定义为目标客户端，运营人员的客户端被定义为目标客户端，由此，目标客户端被配置有多个，每个目标客户端中均配置有目标数据库。

其中，建立单元用于建立原始数据库与多个目标数据库的连接，即在同步服务器集群中配置原始客户端的IP地址、账号和密码信息，配置每个目标客户端的IP地址、账号和密码信息，由此实现原始客户端和每个目标客户端之间的网络互通。

配置单元用于配置过滤规则表，其中，过滤规则表中携带有需要同步的数据表的索引词，即需要将原始数据库中数据表同步到目标数据库中的数据表名。其中，原始数据库对应每个目标数据库的过滤规则表均不相同，即原始数据库应对于基层员工的客户端时，需要建立一套过滤规则表，对应于高层领导的客户端时，需要建立另一套过滤规则表。因为原始数据库中，并非需要将所有的数据库都同步过来，需要有选择同步的数据表，基于此形成过滤规则表。

筛选单元用于监听原始数据库的日志数据，并根据过滤规则表进行筛选以获取所述日志消息，由于日志数据中包含原始数据库中所有的数据表，经过过滤规则表筛选过滤后，只留下需要同步到对应目标数据库的数据表，此时经过筛选后的日志数据为上述日志消息。

检索转换单元用于基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表；

如图6所示，分配单元用于分配同步节点服务器以将数据同步表同步到对应目标数据库中。其中，分配单元包括监控单元和调节单元。监控单元用于实时监控各个同步节点服务器的运行信息，其中，运行信息包括内存数据、硬盘数据、CPU执行的饱和度和网络通信数据；调节单元用于动态调节各个同步节点服务器的运行。

如图7所示，监听单元用于监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息；匹配单元用于匹配目标数据信息和数据信息的一致性；警示单元用于在目标数据信息和数据信息不一致时，生成警示信息，警示信息用于及时通知运维人员，警示信息可发送至运维人员的客户端中，保证第一时间告知运维人员。

本申请通过获取原始数据库的日志消息，日志消息随用户在数据库中对数据表进行新增、删除等操作而生成，通过获取日志消息中对应数据表的索引词，进而在原始数据库中查找并获取对应的数据表，通过将数据表中的数据信息提前转换成符合目标数据库语法的目标数据信息，生成数据同步表，进而同步到目标数据库即可；

由此实现原始数据库与多个目标数据库之间的数据同步，实现可扩展的特点，并且在原始数据库与多个目标数据库同步时，能够根据目标数据库的特点，提前转换成符合目标数据库的语法，保证了数据同步的稳定性。

以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (10)

1.一种原始数据库数据同步到目标数据库的同步方法，其特征在于，包括如下步骤：

获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词；

基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表；

分配同步节点服务器以将数据同步表同步到对应目标数据库中。

2.根据权利要求1所述的一种原始数据库数据同步到目标数据库的同步方法，其特征在于，在获取原始数据库的日志数据之前，还包括如下步骤：

建立原始数据库与多个目标数据库的连接；

配置过滤规则表，其中，过滤规则表中携带有需要同步的数据表的索引词；

监听原始数据库的日志数据，并根据过滤规则表进行筛选以获取所述日志消息。

3.根据权利要求1所述的一种原始数据库数据同步到目标数据库的同步方法，其特征在于，所述数据表的索引词为数据表名。

4.根据权利要求1所述的一种原始数据库数据同步到目标数据库的同步方法，其特征在于，在分配同步节点服务器以将数据同步表同步到对应目标数据库中，还包括如下步骤：

实时监控各个同步节点服务器的运行信息，其中，运行信息包括内存数据、硬盘数据、CPU执行的饱和度和网络通信数据；

动态调节各个同步节点服务器的运行。

5.根据权利要求1所述的一种原始数据库数据同步到目标数据库的同步方法，其特征在于，在分配同步节点服务器以将数据同步表同步到对应目标数据库中之后，还包括如下步骤：

监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息；

匹配目标数据信息和数据信息的一致性；

在目标数据信息和数据信息不一致时，生成警示信息。

6.一种原始数据库数据同步到目标数据库的同步系统，其特征在于，包括：

获取单元，用于获取原始数据库的日志消息，其中，日志消息中携带有与数据表对应的索引词；

检索转换单元，基于索引词查找原始数据库中匹配的数据表，将数据表中的数据信息转换为符合目标数据库语法的目标数据信息，进而根据目标数据信息生成数据同步表；

分配单元，分配同步节点服务器以将数据同步表同步到对应目标数据库中。

7.根据权利要求6所述的一种原始数据库数据同步到目标数据库的同步系统，其特征在于，该系统还包括：

建立单元，用于建立原始数据库与多个目标数据库的连接；

配置单元，用于配置过滤规则表，其中，过滤规则表中携带有需要同步的数据表的索引词；

筛选单元，用于监听原始数据库的日志数据，并根据过滤规则表进行筛选以获取所述日志消息。

8.根据权利要求6所述的一种原始数据库数据同步到目标数据库的同步系统，其特征在于，所述数据表的索引词为数据表名。

9.根据权利要求6所述的一种原始数据库数据同步到目标数据库的同步系统，其特征在于，所述分配单元包括：

监控单元，用于实时监控各个同步节点服务器的运行信息，其中，运行信息包括内存数据、硬盘数据、CPU执行的饱和度和网络通信数据；

调节单元，用于动态调节各个同步节点服务器的运行。

10.根据权利要求6所述的一种原始数据库数据同步到目标数据库的同步系统，其特征在于，该系统还包括：

监听单元，用于监听每个目标数据库中每个数据同步表的目标数据信息、以及原始数据库中每个数据表的数据信息；

匹配单元，用于匹配目标数据信息和数据信息的一致性；

警示单元，用于在目标数据信息和数据信息不一致时，生成警示信息。