CN104239476B - 一种数据库同步的方法、装置及系统 - Google Patents

Abstract

本发明涉及互联网技术领域，特别涉及一种数据库同步的方法、装置及系统。其中，同步方法，包括：设置一独立于主数据库和备数据库的同步装置，并使同步装置分别与主数据库和备数据库通讯；同步装置向主数据库发送同步请求；主数据库响应同步请求并将主数据库的同步日志发送给同步装置；同步装置解析同步日志并捕获主数据库的数据变化信息；同步装置将捕获的数据变化信息传送给备数据库，并根据数据变化信息将主备数据库进行数据同步。通过本发明的同步装置，即使主数据库在同步过程中发生崩溃，由于记录其数据变化信息的同步日志已经保存于同步装置，从而数据备份不依赖于主数据库的运行状态，备数据库能够根据该同步日志零损失的进行数据同步。

Description

一种数据库同步的方法、装置及系统

技术领域

本发明涉及互联网技术领域，特别涉及一种数据库同步的方法、装置及系统。

背景技术

越来越多的企业使用诸如MySql开源数据库之类的数据库产品进行数据存储和应用。在磁盘出现故障的情况下，MySql数据库的数据将会丢失。为了避免上述情况的发生，一般通过搭建MySql复制的方式异步的将数据同步到另外的服务器，这种办法一定程度上能够保证数据不完全丢失，但其缺陷在于：由于重做日志或者二进制日志数据还在内存中，MySql数据库在崩溃的时候，无法将这些数据持久化，异步的复制无法保证MySql的数据完整的全部同步到了另外一台服务器，不能做到零丢失。

发明内容

本发明的发明目的在于提供一种数据库同步的方法、装置及系统，使数据备份不依赖于主数据库的运行状态，来达到同步过程中数据的零损失。

根据本发明的一个方面，本发明提供一种数据库的同步方法，包括：

设置一独立于主数据库和备数据库的同步装置，并使所述同步装置分别与所述主数据库和所述备数据库通讯；

所述同步装置向所述主数据库发送同步请求；

所述主数据库响应所述同步请求并将主数据库的同步日志发送给所述同步装置，所述同步日志记载所述主数据库的数据变化信息；

所述同步装置解析所述同步日志并捕获所述主数据库的所述数据变化信息；

所述同步装置将捕获的所述数据变化信息传送给所述备数据库，并根据所述数据变化信息将所述备数据库与所述主数据库进行数据同步。

优选地，在所述同步装置解析所述同步日志的步骤中：

若所述同步装置初次解析所述同步日志，则获取所述同步日志的初始位置；

若所述同步装置再次解析所述同步日志，则获取上一次解析所述同步日志成功的位置。

优选地，在所述数据同步过程中，所述备数据进行阻塞操作直到数据库同步成功。

优选地，在所述数据同步完成后，更新所述备数据库的同步日志。

优选地，当所述主数据库和所述备数据库为不同通讯协议的数据库时，所述同步装置与所述主数据库和所述备数据库分别通讯来实现所述主数据库和所述备数据库的通讯连接。

根据本发明的另一个方面，本发明提供一种同步装置，包括：

通讯模块，与所述主数据库和所述备数据库分别连接并通讯；

控制模块，与所述通讯模块通讯并控制所述通讯模块向所述主数据库发送同步请求；

协议解析模块，与所述通讯模块通讯并接收所述主数据库发送给所述同步装置的同步日志并进行解析，所述协议解析模块将捕获的所述同步日志反映的数据变化信息发送给数据存储模块；

数据存储模块，根据所述数据变化信息将所述备数据库与所述主数据库进行数据同步。

优选地，同步装置还包括：

判断模块，判断所述同步装置是否是初次解析所述同步日志，若是则获取所述同步日志的初始位置；若否则获取上一次解析所述同步日志成功的位置

优选地，同步装置还包括：

阻塞操作模块，在所述数据同步过程中，所述阻塞操作模块对所述备数据库进行阻塞操作来使数据库同步成功。

优选地，同步装置还包括：

同步日志更新模块，在所述数据同步完成后，所述同步日志更新模块更新所述备数据库的同步日志。

优选地，同步装置还包括：

通讯协议转换模块，与所述通讯模块连接，当所述主数据库和所述备数据库为不同通讯协议的数据库时，所述通讯协议转换模块与所述主数据库和所述备数据库分别通讯来实现所述主数据库和所述备数据库的通讯连接。

根据本发明的再一个方面，本发明提供一种数据库的同步系统，包括主数据库、备数据库以及上述技术方案之一所述的与所述主数据库、所述备数据库分别连接的同步装置。

本发明具有以下技术效果：

本发明数据库同步的方法、装置及系统具有独立于主数据库和备数据库的同步装置，同步装置接收主数据库的同步日志并根据该同步日志捕获主数据库的数据变化信息。同步装置将捕获的数据变化信息传送给备数据库，并根据数据变化信息将备数据库与主数据库进行数据同步。通过本发明的同步装置，即使主数据库在同步过程中发生崩溃，由于记录其数据变化信息的同步日志已经保存于同步装置，从而数据备份不依赖于主数据库的运行状态，备数据库能够根据该同步日志零损失的进行数据同步。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一个实施例的数据库的同步方法的步骤流程图；

图2为本发明一个实施例的同步装置的系统组成图，该图还表示了同步装置与主数据库和备数据库的连接关系。

图3为本发明一个实施例的数据库的同步系统的系统组成图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明一个实施例的数据库的同步方法的步骤流程图，如图1所示，本发明的数据库的同步方法包括如下步骤：

步骤100，设置独立的同步装置。在该步骤中，设置一独立于主数据库10和备数据库20的同步装置，并使该同步装置分别与主数据库10和备数据库20通讯。

步骤200，同步装置发出同步请求。在该步骤中，同步装置向主数据库10发送同步请求。

步骤300，主数据库10的同步日志发送给同步装置。在该步骤中，主数据库10响应同步请求并将主数据库10的同步日志发送给同步装置，该同步日志记载主数据库10的数据变化信息。

步骤400，解析主数据库10的同步日志。在该步骤中，同步装置解析该同步日志并捕获主数据库10的数据变化信息。

步骤500，数据库同步。在该步骤中，同步装置将捕获的数据变化信息传送给备数据库20，并根据数据变化信息将备数据库20与主数据库10进行数据同步。

在本发明的数据库的同步方法中，由于设置了独立于主数据库10和备数据库20的同步装置，即使主数据库10在同步过程中发生崩溃，由于记录其数据变化信息的同步日志已经保存于同步装置，从而数据备份不依赖于主数据库10的运行状态，备数据库20能够根据该同步日志零损失的进行数据同步。

在一个优选实施例中，在同步装置解析主数据库10的同步日志的步骤中：若同步装置初次解析主数据库10的同步日志，则获取主数据库10的同步日志的初始位置；若同步装置再次解析主数据库10的同步日志，则获取上一次解析主数据库10的同步日志成功的位置。可以看出，在成功解析主数据库10的同步日志后，同步装置会记录主数据库10的同步日志该处的位置。当再次解析主数据库10的同步日志时，同步装置不必在从该同步日志上从头开始解析，而只需从上次解析成功处进行解析即可，从而减少了再次解析该同步日志的时间，有利于主备数据库20之间数据的快速同步。

阻塞操作是指，在执行设备操作时，若不满足操作条件，则进程挂起直到满足可操作的条件再进行操作。在本发明的一个实施例中，在数据同步过程时，备数据进行阻塞操作来进一步确保数据库能够同步成功。

在本发明数据库的同步方法的另一个优选实施例中，当在数据同步完成后，更新备数据库20的同步日志。该步骤使数据同步完成后的备数据库20的数据变化信息与备数据库20的同步日志记载的信息相适应。

在本发明数据库的同步方法的再一个优选实施例中，若主数据库10和备数据库20为不同通讯协议的数据库，如主数据库10为MySql数据库，备数据库20为Oracle数据库。此时在同步装置中设有一个翻译模块，通过该翻译模块来使来自主数据库10和备数据库20的信息能够被对方阅读。这样，在主数据库10和备数据库20为不同通讯协议的数据库时，同步装置与主数据库10和备数据库20分别通讯来实现主数据库10和备数据库20的通讯连接。

图2为本发明一个实施例的同步装置的系统组成图，如图2所示的同步装置，包括：

通讯模块31，与主数据库10和备数据库20分别连接并通讯。

控制模块32，与通讯模块31通讯并控制通讯模块31向主数据库10发送同步请求。

协议解析模块33，与通讯模块31通讯并接收主数据库10发送给同步装置20的同步日志并进行解析，协议解析模块33将捕获的同步日志反映的数据变化信息发送给数据存储模块34。

数据存储模块34，根据数据变化信息将备数据库20与主数据库10进行数据同步。

上述包括通讯模块31、控制模块32、协议解析模块33和数据存储模块34的同步装置即可将记录主数据库10数据变化信息的同步日志保存于同步装置30中，这样即使主数据库10在同步过程中发生崩溃，备数据库20也能够根据主数据库的同步日志零损失的进行数据同步。

在图2中，同步装置还包括判断模块35，在其它实施例中，也可以不设置判断模块35。判断模块35用于判断同步装置是否是初次解析同步日志，若是则获取同步日志的初始位置；若否则获取上一次解析同步日志成功的位置。如上所述，当再次解析主数据库10的同步日志时，同步装置30不必在从该同步日志上从头开始解析，而只需从上次解析成功处进行解析即可，从而减少了再次解析该同步日志的时间，有利于主备数据库10、20之间数据的快速同步。

在同步装置的一个优选实施例中，同步装置30还包括：阻塞操作模块36，在数据同步过程中，阻塞操作模块36对备数据库20进行阻塞操作来使数据库同步成功。例如，在一个实施例中，阻塞操作模块36可以为一个独立的程序。

在同步装置的另一个优选实施例中，同步装置30还包括：同步日志更新模块37，在数据同步完成后，同步日志更新模块37更新备数据库20的同步日志。此时，同步装置30可以附加一个比较模块，该比较模块用于比较来自于主数据库10的同步日志与来自于备数据库20的同步日志，以此来检测主备数据库10、20是否完成同步，或者检测主备数据库10、20各自同步日志的差异来确定需要同步的数据内容。

在同步装置的再一个优选实施例中，同步装置30还包括：通讯协议转换模块38，与通讯模块31连接。当主数据库10和备数据库20为不同通讯协议的数据库时，通讯协议转换模块38与主数据库10和备数据库20分别通讯来实现主数据库10和备数据库20的通讯连接。

本发明提供的数据库的同步系统包括主数据库10、备数据库20以及与主数据库10、备数据库20分别连接的同步装置30。图3为本发明一个实施例的数据库的同步系统的系统组成图，在图3中主数据库10为MySql数据库A，备数据库20为MySql数据库B。

在图3中，数据库的同步系统包括：

1、同步装置30模拟mysql slave的交互协议，伪装自己为mysql slave，向充当mysql master的MySql数据库A发送dump消息。其中dump消息一般指将整个储存装置或储存装置之某部分的内容记录在另一储存装置中，在本实施例中是指将MySql数据库A与MySql数据库B进行数据库同步。

2、充当mysql master的MySql数据库A收到dump消息，开始推送日志文件A即binary log给伪装为mysql slave的同步装置30。

3、同步装置30解析binary log对象。

4、MySql数据库A与MySql数据库B进行数据同步。

5、MySql数据库B将更新后的日志文件B发送给同步装置20。

具体地，同步装置30：

1)、同步装置30获取上一次解析成功的位置(如果第一次启动，获取所述同步日志的初始位置)

2)、同步装置30与MySql数据库A建立链接，发送dump消息。

3)、MySql数据库A开始推送Binaly Log。

4)、同步装置30接收到的Binaly Log通过Binlog parser进行解析。

5)、传递给备数据库20的EventSink模块进行数据存储，是一个阻塞操作，直到存储成功。

6)、存储成功后，定时记录备数据库20的日志文件B的位置。

在本发明同步系统的一个优选实施例中，同步装置30还可以包括数据过滤、加工、分发模块，该模块用于支持通配符的过滤模式，如表名、字段等。以及解决1:n数据的分发，在一个数据库实例部署多个schema，每个schema为1个或者多个业务的数据集合。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种数据库的同步方法，其特征在于，包括：

设置一独立于主数据库和备数据库的同步装置，并使所述同步装置分别与所述主数据库和所述备数据库通讯；

所述同步装置向所述主数据库发送同步请求；

所述主数据库响应所述同步请求并将主数据库的同步日志发送给所述同步装置，所述同步日志记载所述主数据库的数据变化信息；

所述同步装置解析所述同步日志并捕获所述主数据库的所述数据变化信息；

所述同步装置将捕获的所述数据变化信息传送给所述备数据库，并根据所述数据变化信息将所述备数据库与所述主数据库进行数据同步；

在所述同步装置解析所述同步日志的步骤中：若所述同步装置初次解析所述同步日志，则获取所述同步日志的初始位置；若所述同步装置再次解析所述同步日志，则获取上一次解析所述同步日志成功的位置；

在所述数据同步过程中，所述备数据进行阻塞操作直到数据库同步成功；

在所述数据同步完成后，更新所述备数据库的同步日志；

当所述主数据库和所述备数据库为不同通讯协议的数据库时，所述同步装置与所述主数据库和所述备数据库分别通讯来实现所述主数据库和所述备数据库的通讯连接。

2.一种同步装置，其特征在于，包括：

通讯模块，与主数据库和备数据库分别连接并通讯；

控制模块，与所述通讯模块通讯并控制所述通讯模块向所述主数据库发送同步请求；

协议解析模块，与所述通讯模块通讯并接收所述主数据库发送给所述同步装置的同步日志并进行解析，所述协议解析模块将捕获的所述同步日志反映的数据变化信息发送给数据存储模块；

所述数据存储模块，根据所述数据变化信息将所述备数据库与所述主数据库进行数据同步；

判断模块，判断所述同步装置是否是初次解析所述同步日志，若是则获取所述同步日志的初始位置；若否则获取上一次解析所述同步日志成功的位置；

阻塞操作模块，在所述数据同步过程中，所述阻塞操作模块对所述备数据库进行阻塞操作来使数据库同步成功；

同步日志更新模块，在所述数据同步完成后，所述同步日志更新模块更新所述备数据库的同步日志；

通讯协议转换模块，与所述通讯模块连接，当所述主数据库和所述备数据库为不同通讯协议的数据库时，所述通讯协议转换模块与所述主数据库和所述备数据库分别通讯来实现所述主数据库和所述备数据库的通讯连接。

3.一种数据库的同步系统，包括主数据库、备数据库，其特征在于，还包括权利要求2所述的与所述主数据库、所述备数据库分别连接的同步装置。