CN107423303B - 数据同步的方法和系统 - Google Patents

Abstract

本发明公开了一种数据同步方法和系统，其中，所述方法包括：根据同步任务的任务信息，Binlog模块从源数据库中获取Binlog信息，并写入缓存数据库；Config模块从缓存数据库中读取所述Binlog信息，解析为数据记录信息后，将数据写入目标数据库。所述系统包括：系统模块，用于存储同步任务、协调模块的工作；Binlog模块，用于根据同步任务的任务信息，从源数据库中读取Binlog信息；缓存数据库，用于暂存所述Binlog信息；和Config模块，用于从缓存数据库中读取所述Binlog信息，解析为数据记录信息后，将数据写入目标数据库。本发明可在线上随时做数据同步而不影响主库的生产环境，同步效率高、安全，中断后可以续接，并具有数据校验功能，在数据同步完成时可以校验核查，提供校验视图。

Description

数据同步的方法和系统

技术领域

本发明涉及一种数据库处理技术领域，具体地说，涉及一种数据库之间进行数据同步的方法和系统

背景技术

根据业务的需要，大部分的公司的系统都需要进行数据的同步操作。因而，目前常用的技术是针对线上数据库，采用主从同步配置，通过对binlog(或binary log，二进制日志)读写实现数据同步。具体地，线上MySQL数据库配置有主数据库和从数据库，主库写，从库读。在数据库操作中，普通查询以及大数据平台数据整合、分析会有大量的读操作。读操作虽然不会阻塞对同一表的读请求，但会阻塞对同一表的写请求，只有当读锁释放后，才会执行进程的写操作，这样使得从库数据的写入延迟，并且很容易使从库性能达到瓶颈，直接影响客户体验和生产。

另外一种同步方法则是通过人工，由线上从库将数据导出，再导入到目标库中，具体包括：

1)数据库直接导出，拷贝文件到新服务器，在新服务器上导入。

2)数据文件和库表结构文件直接拷贝到新服务器，挂载到同样配置的MySQL服务下。

3)还有使用“MySQL GUI Tools”中的MySQLMigrationTool做数据搬迁。

以上方案都对线上正常生产影响较大、安全性低、不易操作并且耗费人力成本较高。具体分析如下：

1)影响线上业务正常运行，使用的局限性大。有的可能需要在停止正常生产的情况下操作，这种要求对连续生产是致命的。

2)时间占用长。由于效率低或为了不影响正常生产，只有到了夜间访问量小时才能操作，这样每天能操作的时间受到限制，可能连续好多天才能完成。

3)人力成本高。数据操作需要DBA的授权和运维人员执行相关的配置，协调或配合过程中耗费大量的时间和人力。

4)操作、配置繁琐，容易出现错误。

5)不够安全、出现异常不容易被发现、中断后难以接续

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种数据同步方法和系统，在线上通过快速配置数据同步任务，灵活、安全、高效地将数据同步到指定数据库中，不影响线上主库。

为了解决上述的技术问题，本发明提供了一种数据同步的方法，其中，包括：

通过用户客户端创建同步任务，并配置任务信息；

根据同步任务的任务信息，从源数据库中获取Binlog信息，并写入缓存数据库；

从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库。

优选地，从源数据库中读取Binlog信息具体包括：

通过作为伪从库的Binlog模块向源数据库发送bump请求获取binlog信息。

优选地，所述任务信息包括增量同步方式，全量同步方式或自定义同步方式；

对应地，所述从源数据库中获取的Binlog信息分别对应当前时间之后的数据，当前时间之前历史数据和之后的数据，或自定义时间区间内的数据。

优选地，从缓存数据库中读取所述Binlog信息时记录操作位点，当所述同步任务发生中断再启动时，从所述位点继续数据的同步。

优选地，所述从所述位点继续数据的同步的步骤包括：

读取所述位点信息，根据所述位点信息和任务信息，获取与所述位点信息对应的源数据库时间戳；

从所述缓存数据库中实时读取时间戳之后的Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库；

以SQL读写方式将所述时间戳之前的数据同步到目标数据库。

优选地，在同步任务的执行过程中，记录所述同步任务的执行状态，所述执行状态为运行、中断或完结，其中，当从源数据库中获取Binlog信息出现异常时，或从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库出现异常时，将所述同步任务的执行状态变更为中断状态。

优选地，定时获取所述同步任务的最新执行状态，当从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库这一过程出现异常而使所述状态为中断时，中断从源数据库中获取Binlog信息；

当从源数据库中获取Binlog信息出现异常而使所述状态为中断时，持续从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库，直到处理完所有的Binlog信息，并记录当前位点。

优选地，所述的任务信息包括任务的起止时间点，以所述同步任务的开始时间和结束时间作为一个时间区间，校验所述时间区间同步的数据。

优选地，校验所述时间区间同步的数据具体包括：

将所述时间区间划分为多个时间片断；

分别获取对应时间片断的源数据库数据和对应的目标数据库数据，并进行对比；

向用户返回数据对比结果。

优选地，在所述对比结果中，如果目标数据库数据与对应的源数据库数据有差异，创建并执行相应的数据补录任务。

根据本发明的另一个方面，本发明还提供了一种数据同步系统，包括：

系统模块，用于存储通过用户客户端创建的同步任务，并协调模块间的工作；

Binlog模块，用于根据同步任务的任务信息，从源数据库中读取Binlog信息；

缓存数据库，用于暂存所述Binlog信息；

Config模块，用于从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库。

优选地，所述缓存数据库为levelDB，包括写通道和读通道，所述levelDB通过写通道与所述Binlog模块相连接，通过所述写通道将所述Binlog信息写入所述levelDB；所述levelDB通过读通道与所述Config模块相连接，所述Config模块通过读通道从缓存数据库中读取所述Binlog信息。

优选地，所述levelDB中设置有位点存储区，用于在所述Config模块通过读通道从缓存数据库中读取所述Binlog信息时记录读取的Binlog信息时的操作位置。

优选地，还包括键值存储数据库，用于保存当前任务的执行状态。

优选地，本发明所述系统还包括校验模块，其中，所述校验模块包括：

库连接获取单元，用于从同步任务的任务信息中获取源数据库链接信息和目标库链接信息；

数据获取单元，与所述库连接获取单元相连接，根据获得的源数据库链接信息和目标库链接信息，分别获得源数据库数据和对应的目标库数据；

对比单元，与所述数据获取单元相连接，用于对比得到的源数据库数据和对应的目标库数据，得到对比结果。

优选地，本发明所述的数据同步系统还包括Zookeeper，用于管理同步任务的执行。

根据本发明的第三方面，提供一种数据同步装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行上述数据同步方法。

根据本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现上述数据同步方法。

本发明通过对Binlog信息的解析从而获得相应的数据，这种方法使线上随时(7X24小时范围)做数据同步成为现实。并可以根据同步数据的情况，在线上灵活地创建同步任务，定制全量、增量同步和自定义等多种数据同步方式以满足不同类型数据的同步。由于BP以从库为源数据库，在进行数据同步时对线上生产环境的影响小到可以忽略不计。本发明在同步过程中出现异常，或中断后，可以续接；并通过提供数据校验功能，在数据同步完成后可以校验核查，提供了校验视图，发现有丢失数据可以一键补录。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1为本发明数据同步系统的原理示意图；

图2为本发明数据同步方法的流程图；

图3为本发明所述同步系统中的状态存储原理示意图；

图4为本发明数据同步系统与其他系统的连接示意图；

图5为本发明数据同步系统中数据校验的原理示意图；

图6为本发明一数据校验结果示意图；

图7为本发明数据同步系统中包括校验模块的结构原理示意图；和

图8为本发明校验模块的结构原理示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

如图1所示，本发明提供了一种数据同步系统，包括：

系统模块(SystemDB)1，用于存储用户客户端创建的同步任务、协调模块间的工作；

Binlog模块(BinglogProcessor，简称BP)2，用于根据同步任务的任务信息，从源数据库1A中读取Binlog信息；

缓存数据库3，用于暂存所述Binlog信息；

Config(ConfigProcessor，简称CP)模块4，用于从缓存数据库3中读取所述Binlog信息，解析为数据记录信息后，将数据写入目标数据库1B。

作为一个实施例，缓存数据库3采用高速IO接口的数据库levelDB，提高了Binlog信息的读写速度。其中，其levelDB包括写通道和读通道，所述levelDB通过写通道与所述Binlog模块2相连接，所述BP模块2将从源数据库1A得到的所述Binlog信息通过所述写通道写入到所述levelDB；所述levelDB通过读通道与所述CP模块4相连接，所述CP模块4通过读通道从levelDB中读取所述Binlog信息。

在本发明中，以生产环境的从库作为源数据库，BP模块2利用canal伪装成Mysqlslave(本发明中称为伪从库)，从线上源数据库1A读取binlog信息，并通过连接到LevelDB的写通道(LevelDBWriteChannel)，将binlog信息写入levelDB。CP4连接LevelDB的读取通道(LevelDBReadChannel)，分片从LevelDB读取取binlog信息，然后解析为数据记录信息(RowMessage)，将数据写入目标数据库1B，如某些专用库。

具体地，如图2所示，数据同步的方法包括：

步骤S1，创建同步任务，可通过用户客户端来创建同步任务，并配置任务信息，将所述同步任务及任务信息写入系统模块1。所述的任务信息包括但不限于源数据库连接信息、目标数据库连接信息、待同步的库表信息、任务的起止时间点。

步骤S2，BP2通过canal作为Mysql slave向源数据库1A发送bump请求获取Binlog信息，并将所述Binlog信息写入缓存数据库3。

步骤S3，CP4从缓存数据库3中读取所述Binlog信息。

步骤S4，CP4将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库1B。

其中，所述任务信息包括同步方式的配置内容，例如，可以配置为增量同步方式、全量同步方式或自定义同步方式；对应增量同步方式，BP2从源数据库中获取的Binlog信息对应当前时间之后的数据；对应全量同步方式，BP2从源数据库中获取的Binlog信息当前时间之前的历史数据和之后的数据；对应自定义同步方式，在任务信息中定义一个时间区间，当BP2从源数据库中获取的Binlog信息时，读取在所述时间区间内的数据的Binglog信息。

在步骤S3中，CP4从缓存数据库3中读取所述Binlog信息时，每一次读取所述Binlog信息时，均会记录所述操作位点(即时间点信息)该操作位点存储于缓存数据库3中的位点存储区，用于在所述同步任务发生中断再启动时，从所述位点继续数据的同步。

本发明在同步任务的执行过程中，记录所述同步任务的执行状态，所述执行状态分为为运行、中断或完结。本发明通过键值数据库保存当前任务的执行状态。如图3所示。

无论BP模块2或CP模块4，都会向键值数据库(如Redis数据库)写入状态。在任务启动或运行时，在键值数据库缓存中还记录任务的执行状态(如，通过相应的字符来表达不同的状态：1-运行、2-中断、3-完结)。

在BP模块2和CP模块4中分别设有用于进行异常处理的单元。当BP模块2和CP模块4出现异常时，将分别中断各自的操作，并将其状态写入键值数据库中。

BP模块2中的Binlog处理单元用于将Binlog信息写入缓存数据库3，同时BP定时查询键值数据库缓存的最新状态。如果当前任务执行状态是中断时，自行中断BP；如果当前任务执行状态是完结，则表示任务结束，BP停止向levelDB写入Binlog信息，并停止任务，清除该任务在缓存(Redis)中的状态。

CP模块4中数据业务处理单元用于从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并记录读取的Binlog信息时的位点(positionpoint)，用于断点续接，即指由于某种原因人为中断或异常中断同步任务后，如果还想继续同步，可以找到中断时的位点，继续同步。并向键值数据库中存储任务的初始化状态或完结状态。

当CP出现异常后，CP向键值数据库，如Redis，缓存写入中断状态。BP定时读取更新状态，当取到当前状态是中断时，则中断Binlog信息的读取、存储操作。

而BP出现异常时，CP不会因为中断状态而停止运行，会继续消费LevelDB中的Binlog信息，直到取完，会在LevelDB中记录异常结束的位点，该位点的时间点小于同步任务的结束时间点。消费后的信息会自动清理掉。

将本发明所述的同步系统与其他系统联合起来，可以更好地完成数据的同步及管理，如图4所示。

通过用户客户端进行同步任务的创建和配置，并可以监控所述同步系统。通过Zookeeper进行任务管理，通过Redis数据进行断点续传的管理。

具体地，用户客户端同步任务及相应的任务信息存储到同步系统的同时，以节点的方式写到Zookeeper中，此时zookeeper的监听器可以感知到新建任务。

CP模块4通过快速扫描Zookeeper服务上的任务节点和利用zookeeper监听新增节点来获取到同步任务的任务信息，根据任务信息中的起始时间，在相应的时间启动所述的同步任务，同时启动BP的工作。

本发明所述的同步系统可以集群的方式部署，节点之间由Zookeeper协调工作，实现节点处理任务锁的机制，保证任务在集群中的均衡和高效分配。

另外，为了提高数据同步的完整性，在数据同步时不丢失数据，本发明在断点续传时，读取CP模块4留下的位点，根据所述位点信息和任务信息(如在配置同步任务时，设定有在断点续传时从源数据库读取的数据量或时间段，如位点前15分钟)，获取与所述位点信息对应的源数据库时间戳；从所述缓存数据库中实时读取时间戳之后的Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库；根据任务信息，以SQL读写方式将所述时间戳之前15分钟的数据同步到目标数据库。

本发明还采用了数据完整性校验的方法来保证数据同步的正确性，并提供了在数据同步不正确时的补救方法。如图5所示，在任务信息中设置任务的起止时间点，以所述同步任务的开始时间和结束时间作为一个时间区间，校验所述时间区间同步的数据。

具体地，在对比时，将所述时间区间划分为多个时间片断，如以5分钟时间片、10分钟时间片或15分钟的时间片。依次获取对应时间片断的源数据库数据和对应的目标数据库数据，进行对比，并显示数据校验结果。如图6所示，在界面展示校验结果时，以表名和时间作为两个维度，明确的显示出某表、某个时间段数据同步是否正常、还是有差异。通过选择有差异的数据，可以创建补录任务，用于重新同步这部分数据。

对应地，本发明提供的数据同步系统还包括校验模块，以所述同步任务的开始时间和结束时间作为一个时间区间，校验所述时间区间同步的数据，保证了本发明功能的完整性。其中，为了不影响生产，一般校验任务可以设置在零点以后到早晨6点前执行。

具体地，所述校验模块如图6、图7所示，包括：所述校验模块5分别从源数据库1A和目标数据库1B中获取任务信息中的时间区别的数据，通过对比，得到校验结果，并可以根据所述校验结果创建补录任务。具体地，所述校验模块5包括库连接获取单元51，用于从同步任务的任务信息中获取源数据库链接信息和目标库链接信息。数据获取单元52，与所述库连接获取单元相连接，根据获得的源数据库链接信息和目标库链接信息，分别获得源数据库数据和对应的目标库数据。和对比单元53，与所述数据获取单元相连接，用于对比得到的源数据库数据和对应的目标库数据，得到对比结果，并将所述对比结果反馈给用户。

本发明提供的数据同步方法和同步系统具有以下有益效果：

1.本发明使线上随时(7X24小时范围)做数据同步成为现实。

2.线上创建同步任务，可定制全量、增量同步和自定义多种数据同步方式，非常灵活。

3.任务创建后，自动执行，不需要过多的人工干预。同步数据时对线上生产环境的影响非常小，可忽略不计。

5.数据同步效率高，并且安全。

6.同步过程中出现异常，或中断后，可以续接；

7.提供数据校验功能，数据同步完成可以校验核查，提供了校验视图，发现有丢失数据可以一键补录。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据同步的方法，其中，包括：

通过用户客户端创建同步任务，并配置任务信息；

根据同步任务的任务信息，从源数据库中获取Binlog信息，并写入缓存数据库；

从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库；

其中，若从源数据库中获取Binlog信息出现异常，则将所述同步任务的执行状态变更为中断状态；若从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库出现异常，则将所述同步任务的执行状态变更为中断状态；

其中，定时获取所述同步任务的最新执行状态，当从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库这一过程出现异常而使所述执行状态为中断状态时，中断从源数据库中获取Binlog信息；

当从源数据库中获取Binlog信息出现异常而使所述执行状态为中断状态时，持续从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库，直到处理完所有的Binlog信息；

其中，从缓存数据库中读取所述Binlog信息时记录操作位点，当所述同步任务发生中断再启动时，从所述位点继续数据的同步。

2.如权利要求1所述的数据同步的方法，其中，从源数据库中读取Binlog信息具体包括：

通过作为伪从库的Binlog模块向源数据库发送bump请求获取binlog信息。

3.如权利要求1所述的数据同步的方法，其中，所述任务信息包括增量同步方式，全量同步方式或自定义同步方式；

对应地，所述从源数据库中获取的Binlog信息分别对应当前时间之后的数据，当前时间之前的历史数据和之后的数据，或自定义时间区间内的数据。

4.如权利要求1所述的数据同步的方法，其中，所述从所述位点继续数据的同步的步骤包括：

读取所述位点信息，根据所述位点信息和任务信息，获取与所述位点信息对应的源数据库时间戳；

从所述缓存数据库中实时读取时间戳之后的Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库；

以SQL读写方式将所述时间戳之前的数据同步到目标数据库。

5.如权利要求1所述的数据同步的方法，其中，所述的任务信息包括任务的起止时间点，以所述同步任务的开始时间和结束时间作为一个时间区间，校验所述时间区间同步的数据。

6.如权利要求5所述的数据同步的方法，其中，校验所述时间区间同步的数据具体包括：

将所述时间区间划分为多个时间片断；

分别获取对应时间片断的源数据库数据和对应的目标数据库数据，并进行对比；

向用户返回数据对比结果。

7.如权利要求6所述的数据同步的方法，其中，在所述对比结果中，如果目标数据库数据与对应的源数据库数据有差异，创建并执行相应的数据补录任务。

8.一种数据同步系统，包括：

系统模块，用于存储通过用户客户端创建的同步任务，并协调模块间的工作；

Binlog模块，用于根据同步任务的任务信息，从源数据库中读取Binlog信息；

缓存数据库，用于暂存所述Binlog信息；和

Config模块，用于从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库；

其中，所述系统还包括键值数据库，用于保存当前任务的执行状态；

所述Binlog模块和所述Config模块出现异常时，分别中断各自的操作，并将中断状态写入所述键值数据库中；

所述Binlog模块定时查询所述键值数据库缓存的最新状态，若当前任务的执行状态是中断状态时，自行中断从源数据库中读取Binlog信息的操作；

当所述Binlog模块出现异常时，所述Config模块继续从缓存数据库中读取所述Binlog信息，直到读取完所有的Binlog信息；

所述Config模块从缓存数据库中读取所述Binlog信息时记录操作位点，所述操作位点存储于缓存数据库中的位点存储区，用于在所述同步任务发生中断再启动时，从所述位点继续数据的同步。

9.如权利要求8所示的数据同步系统，其中，所述缓存数据库为levelDB，包括写通道和读通道，所述levelDB通过写通道与所述Binlog模块相连接，通过所述写通道将所述Binlog信息写入所述levelDB；所述levelDB通过读通道与所述Config模块相连接，所述Config模块通过读通道从缓存数据库中读取所述Binlog信息。

10.如权利要求9所示的数据同步系统，其中，所述levelDB中设置有位点存储区，用于在所述Config模块通过读通道从缓存数据库中读取所述Binlog信息时记录读取的Binlog信息时的操作位置。

11.如权利要求8所示的数据同步系统，其中，还包括校验模块，所述校验模块包括：

库连接获取单元，用于从同步任务的任务信息中获取源数据库链接信息和目标库链接信息；

数据获取单元，与所述库连接获取单元相连接，根据获得的源数据库链接信息和目标库链接信息，分别获得源数据库数据和对应的目标库数据；和

对比单元，与所述数据获取单元相连接，用于对比得到的源数据库数据和对应的目标库数据，得到对比结果。

12.如权利要求8所示的数据同步系统，其中，还包括Zookeeper，用于管理同步任务的执行。

13.一种数据同步装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的数据同步的方法。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至7中任一项所述的数据同步的方法。

Images