CN109254994B - 一种数据同步的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种数据同步的方法和装置，所述方法包括：向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；接收所述从数据库返回的数据；将所述数据发送至消息队列，以供数据使用方调用。在本发明实施例中，数据的处理方可通过多线程处理数据，大大提高了处理的实效，将处理延迟降到最低，达到准实时同步效果。

Description

一种数据同步的方法和装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据同步的方法和一种数据同步的装置。

背景技术

随着系统应用访问量逐渐增大，单台数据库读写访问压力也随之增大，当读写访问达到一定瓶颈时，将数据库的读写效率骤然下降，甚至不可用；为了解决此类问题，通常会采用mysql集群，当主数据库宕机后，集群会自动将一个从数据库升级为主数据库，继续对外提供服务。

因此，主数据库和从数据库就存在数据同步的过程了。业务数据应用中，经常需要实时感知数据变化，传统的做法是当数据更新后，通过业务模块，同步或异步的通知数据应用方，来更新数据。这种方式，需要业务开发功能来支持数据同步，且存在一定时延；当同步模块异常时，会丢失数据。

发明内容

鉴于上述问题，本发明实施例提出了一种数据同步的方法和相应的一种数据同步的装置。

为了解决上述问题，本发明实施例公开了一种数据同步的方法，包括：

向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；

接收所述从数据库返回的数据；

将所述数据发送至消息队列，以供数据使用方调用。

优选的，所述向从数据库发送数据同步请求的步骤包括：

向所述从数据库发送mysql slave协议；

接收所述从数据库返回的反馈信息；

基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

优选的，所述从数据库返回的数据为binary log数据。

优选的，所述将所述数据发送至消息队列的步骤包括：

对所述binary log数据进行解析，得到解析后的数据；

将所述解析后的数据发送至消息队列；

或，

对所述binary log数据进行解析，得到解析后的数据；

对所述解析后的数据进行格式转换，得到转换后的数据；

将所述转换后的数据发送至消息队列。

优选的，所述将所述数据发送至消息队列的步骤还包括：

对所述数据进行加密，得到加密后的数据；

将所述加密后的数据发送至所述消息队列。

相应的，本发明实施例公开了一种数据同步的装置，包括：

第一发送模块，用于向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；

接收模块，用于接收所述从数据库返回的数据；

第二发送模块，用于将所述数据发送至消息队列，以供数据使用方调用。

优选的，所述第一发送模块包括：

协议发送子模块，用于向所述从数据库发送mysql slave协议；

反馈信息接收子模块，用于接收所述从数据库返回的反馈信息；

生成子模块，用于基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

优选的，所述从数据库返回的数据为binary log数据。

优选的，第二模块包括：

解析子模块，用于对所述binary log数据进行解析，得到解析后的数据；

转换模块，用于对所述解析后的数据进行格式转换，得到转换后的数据；

数据发送子模块，用于将所述解析后的数据，或，所述转换后的数据发送至消息队列。

优选的，所述第二模块还包括：

加密子模块，用于对所述数据进行加密，得到加密后的数据；

数据发送子模块，还用于将所述加密后的数据发送至所述消息队列。

本发明实施例包括以下优点：

在本发明实施例中，首先向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；然后，接收所述从数据库返回的数据，最后将所述数据发送至消息队列，以供数据使用方调用。这样，数据的处理方可通过多线程处理数据，大大提高了处理的实效，将处理延迟降到最低，达到准实时同步效果。

附图说明

图1是本发明的一种数据同步的方法实施例的步骤流程图；

图2是本发明的一种数据同步的装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种数据同步的方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；

在本发明实施例中，可以设置一个syncpipe与从数据库连接，syncpipe将自己伪装为“从数据库”，而将与其连接的从数据库伪装为“主数据库”，这样，syncpipe就可以以“从数据库(syncpipe)”的身份向“主数据库(实际的从数据)”进行数据同步了。

为方便描述，在本发明实施例后文中，“从数据库”为伪装的syncpipe，“主数据库”为伪装的、实际的从数据库，从数据库为实际的从数据库，主数据库为实际的主数据库。

而从数据库连接与主数据库连接，主数据库提供正常的业务服务，从数据库则同步主数据库中的数据，可以是实时同步，也可以是每隔一定的时间，比如6小时、12小时进行一次同步，还可以是其它方式的同步，本发明实施例对此不作限制。

syncpipe之所以与从数据库连接，是因为主数据库需要提供正常的业务服务，为了不增加主数据库额外的开销，因此将syncpipe与从数据库连接。

在本发明一种优选实施例中，所述向从数据库发送数据同步请求的步骤包括：

向所述从数据库发送mysql slave协议；

接收所述从数据库返回的反馈信息；

基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

具体而言，syncpipe为了伪装成“从数据库”，需要先模拟mysql slave的交互协议发送给从数据库，表示syncpipe自己是mysql slave，当接收到从数据库返回的同意的反馈信息后，就表示syncpipe伪装为“从数据库”成功了，同时，从数据库也伪装为“主数据库”了。然后，syncpipe就可以基于mysql dump协议生成数据同步请求发送给“主数据库”了。

具体在配置时，需要设置mysql主数据库如下变量：

event_scheduler＝OFF

binlog_checksum＝NONE

log_slave_updates＝1

binlog_format＝ROW。

步骤102，接收所述从数据库返回的数据；

从数据库在接收到数据同步请求后，就可以开始推送binary log(也称binlog)给syncpipe了，其中，从数据库返回的数据为binary log数据。在实际应用中，当syncpipe第一次或被格式化之后，从“主数据库”中同步数据时，需要同步“主数据库”中的所有数据，此后，syncpipe从“主数据库”中同步更新的数据就可以了。

步骤103，将所述数据发送至消息队列，以供数据使用方调用。

syncpipe接收到从数据库返回的数据后，就可以将数据发送到kafka消息队列中，以供相应的数据使用方调用。

在本发明一种优选实施例中，所述将所述数据发送至消息队列的步骤包括：

对所述binary log数据进行解析，得到解析后的数据；

将所述解析后的数据发送至消息队列；

或，

对所述binary log数据进行解析，得到解析后的数据；

对所述解析后的数据进行格式转换，得到转换后的数据；

将所述转换后的数据发送至消息队列。

在实际应用中，binary log数据是byte流数据，因此需要对其进行解析，得到对应的业务数据。另外，为了方便数据使用方调用数据，可以将解析后的业务数据转换为xml、json等常规格式。

在本发明一种优选实施例中，所述将所述数据发送至消息队列的步骤还包括：

对所述数据进行加密，得到加密后的数据；

将所述加密后的数据发送至所述消息队列。

为了防止在syncpipe将数据发送至kafka消息队列的过程中被拦截，syncpipe可以对数据(包括解析后的数据，或者转换后的数据)进行加密，然后将加密后的数据发送至kafka消息队列，数据使用方在获取到数据后，采用密钥进行解密就可以得到数据了。当然，密钥是syncpipe事先告知数据使用方的。

需要说明的是，syncpipe可以直接将数据发送至kafka消息队列之外，也可以将数据的增量ID发送至kafka消息队列，这样，数据使用方先获取到增量ID，然后调用DATE API，依据增量ID来获取数据。

在本发明实施例中，首先向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；然后，接收所述从数据库返回的数据，最后将所述数据发送至消息队列，以供数据使用方调用。这样，数据的处理方可通过多线程处理数据，大大提高了处理的实效，将处理延迟降到最低，达到准实时同步效果。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图2，示出了本发明的一种数据同步的装置实施例的结构框图，具体可以包括如下模块：

第一发送模块201，用于向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；

接收模块202，用于接收所述从数据库返回的数据；

第二发送模块203，用于将所述数据发送至消息队列，以供数据使用方调用。

在本发明一种优选实施例中，所述第一发送模块包括：

协议发送子模块，用于向所述从数据库发送mysql slave协议；

反馈信息接收子模块，用于接收所述从数据库返回的反馈信息；

生成子模块，用于基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

在本发明一种优选实施例中，所述从数据库返回的数据为binary log数据。

在本发明一种优选实施例中，第二模块包括：

解析子模块，用于对所述binary log数据进行解析，得到解析后的数据；

转换模块，用于对所述解析后的数据进行格式转换，得到转换后的数据；

数据发送子模块，用于将所述解析后的数据，或，所述转换后的数据发送至消息队列。

在本发明一种优选实施例中，所述第二模块还包括：

加密子模块，用于对所述数据进行加密，得到加密后的数据；

数据发送子模块，还用于将所述加密后的数据发送至所述消息队列。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种数据同步的方法和一种数据同步的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据同步的方法，其特征在于，应用于syncpipe，所述方法包括：

与从数据库连接，并向所述从数据库发送数据同步请求；所述从数据库用于与主数据库连接，并同步所述主数据库中的数据；

接收所述从数据库返回的数据；

将所述从数据库返回的数据发送至消息队列，以供数据使用方调用；

其中，所述从数据库返回的数据具有增量ID；所述将所述从数据库返回的数据发送至消息队列，包括：

将所述从数据库返回的数据的增量ID发送至消息队列，以供所述数据使用方根据所述增量ID进行调用。

2.根据权利要求1所述的方法，其特征在于，所述向所述从数据库发送数据同步请求，包括：

向所述从数据库发送mysql slave协议；

接收所述从数据库返回的反馈信息；

基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

3.根据权利要求1所述的方法，其特征在于，所述从数据库返回的数据为binary log数据。

4.根据权利要求3所述的方法，其特征在于，所述将所述从数据库返回的数据发送至消息队列，包括：

对所述binary log数据进行解析，得到解析后的数据；

将所述解析后的数据发送至消息队列；

或，

对所述binary log数据进行解析，得到解析后的数据；

对所述解析后的数据进行格式转换，得到转换后的数据；

将所述转换后的数据发送至消息队列。

5.根据权利要求4所述的方法，其特征在于，所述将所述从数据库返回的数据发送至消息队列，还包括：

对所述解析后的数据或所述转换后的数据进行加密，得到加密后的数据；

将所述加密后的数据发送至所述消息队列。

6.一种数据同步的装置，其特征在于，应用于syncpipe，所述装置包括：

第一发送模块，用于与从数据库连接，并向所述从数据库发送数据同步请求；所述从数据库用于与主数据库连接，并同步所述主数据库中的数据；

接收模块，用于接收所述从数据库返回的数据；

第二发送模块，用于将所述从数据库返回的数据发送至消息队列，以供数据使用方调用；其中，所述从数据库返回的数据具有增量ID；所述将所述从数据库返回的数据发送至消息队列，包括将所述从数据库返回的数据的增量ID发送至消息队列，以供所述数据使用方根据所述增量ID进行调用。

7.根据权利要求6所述的装置，其特征在于，所述第一发送模块包括：

协议发送子模块，用于向所述从数据库发送mysql slave协议；

反馈信息接收子模块，用于接收所述从数据库返回的反馈信息；

生成子模块，用于基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

8.根据权利要求6所述的装置，其特征在于，所述从数据库返回的数据为binary log数据。

9.根据权利要求8所述的装置，其特征在于，所述第二发送模块包括：

解析子模块，用于对所述binary log数据进行解析，得到解析后的数据；

转换模块，用于对所述解析后的数据进行格式转换，得到转换后的数据；

数据发送子模块，用于将所述解析后的数据，或，所述转换后的数据发送至消息队列。

10.根据权利要求9所述的装置，其特征在于，所述第二发送模块还包括：

加密子模块，用于对所述解析后的数据或所述转换后的数据进行加密，得到加密后的数据；

数据发送子模块，还用于将所述加密后的数据发送至所述消息队列。

Images