CN115374086A - 一种基于消息队列的数据迁移方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种基于消息队列的数据迁移方法、装置、设备及介质，方法包括：确定数据迁移任务对应的源数据库、源数据以及目标数据库；确定源数据库以及目标数据库分别对应的数据库种类；根据数据库种类，对源数据进行转换处理，以得到中间数据；将中间数据存入消息队列中；通过预设的导入程序，将中间数据导入至目标数据库中。能够借助数据处理和转换程序对数据的格式进行转换，以适用于不同种数据库之间的数据迁移和同步。可以借助消息队列的特点，来实现异步的数据迁移和同步。该方法将会通过网络服务的形式部署到服务器上，可以在不同的地理位置通过网络连接来很方便的调用该服务。

Description

一种基于消息队列的数据迁移方法、装置、设备及介质

技术领域

本申请涉及数据同步领域，具体涉及一种基于消息队列的数据迁移方法、装置、设备及介质。

背景技术

数据迁移指的是将数据从一个数据库(源数据库)中迁移至另一个数据库(目标数据库)中。其中，源数据库和目标数据库不一定是同种数据库。其中，关系型数据库的存储结构是行式存储，比较常见的有mysql和oracle等，而非关系型数据库的存储结构还可以细分为列式存储(比如hbase)、键值对(key-value)存储(比如redis)和图形数据库(比如neo4j)等。

现有技术中，在进行数据迁移时，通常需要双方进行同步通讯，数据帧之间设置有固定时间间隔约定，一旦某一数据帧发送失败，则接收方将无法接收到该数据帧所承载的信息。

发明内容

为了解决上述问题，本申请提出了一种基于消息队列的数据迁移方法、装置、设备及介质，包括：

确定数据迁移任务对应的源数据库、源数据以及目标数据库；确定所述源数据库以及所述目标数据库分别对应的数据库种类；根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；将所述中间数据存入消息队列中；通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

在一个示例中，所述根据所述数据库种类，对所述源数据进行转换处理，具体包括：确定所述源数据库对应的第一数据库种类以及所述目标数据库对应的第二数据库种类；判断所述第一数据库种类与所述第二数据库种类是否相同，若相同，则直接将所述源数据存入所述消息队列中；若不同，则确定所述目标数据库的数据种类，并根据所述数据种类将所述源数据转换为所述中间数据。

在一个示例中，所述确定数据迁移任务对应的源数据库、源数据以及目标数据库之前，所述方法还包括：确定所述目标数据库的当前环境；对所述当前环境进行部署，以使所述当前环境至少具备完全安装的linux系统组件、各语言开发环境、已配置好且能够使用的消息队列。

在一个示例中，所述方法还包括：确定所述源数据库以及所述目标数据库之间存在绑定关系；获取所述源数据库以及所述目标数据库中包含的第一数据以及第二数据；根据所述第一数据以及所述第二数据，确定所述源数据库中包含的新增数据；根据预设时间间隔，将所述新增数据传输至所述目标数据库。

在一个示例中，所述根据所述第一数据以及所述第二数据，确定所述源数据库中包含的新增数据，具体包括：获取所述第一数据以及所述第二数据的校验编码集；校验编码都与预设数量数据帧对应，所述校验编码为所述预设数量数据帧的哈希值；通过对比所述校验编码集，可确定所述第一数据中的新增数据。

在一个示例中，所述方法还包括：获取所述消息队列中各个数据帧的数据迁移时间；若任一数据帧的数据迁移时间超出预设阈值，则通过预设的告警程序向进行告警。

在一个示例中，所述方法还包括：将数据转换程序以及导入程序打包，以得到网络服务；将所述网络服务部署到分布式linux集群中；所述数据转换程序用于根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据。

本申请还提供了一种基于消息队列的数据迁移装置，所述装置包括：任务确定模块，确定数据迁移任务对应的源数据库、源数据以及目标数据库；数据库种类确定模块，确定所述源数据库以及所述目标数据库分别对应的数据库种类；数据转换模块，根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；队列导入模块，将所述中间数据存入消息队列中；数据库导入模块，通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

本申请还提供了一种基于消息队列的数据迁移设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：确定数据迁移任务对应的源数据库、源数据以及目标数据库；确定所述源数据库以及所述目标数据库分别对应的数据库种类；根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；将所述中间数据存入消息队列中；通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：确定数据迁移任务对应的源数据库、源数据以及目标数据库；确定所述源数据库以及所述目标数据库分别对应的数据库种类；根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；将所述中间数据存入消息队列中；通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

通过本申请提出的方法能够借助数据处理和转换程序对数据的格式进行转换，以适用于不同种数据库之间的数据迁移和同步。可以借助消息队列的特点，来实现异步的数据迁移和同步。该方法将会通过网络服务的形式部署到服务器上，可以在不同的地理位置通过网络连接来很方便的调用该服务。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种基于消息队列的数据迁移方法流程示意图；

图2为本申请实施例中一种基于消息队列的数据迁移方法逻辑流程示意图；

图3为本申请实施例中一种基于消息队列的数据迁移装置结构示意图；

图4为本申请实施例中一种基于消息队列的数据迁移设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书一个或多个实施例提供的一种基于消息队列的数据迁移方法、装置、设备及介质的流程示意图。该流程可以由相应领域的计算设备执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

本申请实施例涉及的分析方法的实现可以为终端设备，也可以为服务器，本申请对此不作特殊限制。为了方便理解和描述，以下实施例均以服务器为例进行详细描述。

需要说明的是，该服务器可以是单独的一台设备，可以是有多台设备组成的系统，即，分布式服务器，本申请对此不做具体限定。

如图1及图2所示，本申请实施例提供一种基于消息队列的数据迁移方法，包括：

S101：确定数据迁移任务对应的源数据库、源数据以及目标数据库。

首先需要确定数据迁移任务，即确定需要进行数据迁移的源数据库，以及迁移的数据源数据，以及迁移的对象目标数据库。这里的源数据是源数据库中的数据，源数据库与目标数据库的数据库种类可能相同，也可能不同。

S102：确定所述源数据库以及所述目标数据库分别对应的数据库种类。

根据源数据库和目标数据库的种类的相同或不同，数据迁移可以分为两类，一种为同种数据库之间的数据迁移，比如源数据库和目标数据库均为关系型数据库；另一种为不同种数据库之间的数据迁移，比如源数据库为mysql数据库，目标数据库为hbase数据库。这两种情况对应的数据迁移过程不同，因此需要确定源数据库以及目标数据库分别对应的数据库种类。

不同种数据库之间的数据迁移，那么就需要借助数据转换程序，将源数据的格式转换为目标数据库的数据存储格式，这样才能直接导入目标数据库中。如果是第一种情况，即同种数据库之间的数据迁移，那么不需要借助数据转换程序，即可直接进行数据迁移。

S103：根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据。

确定了数据库种类之后，再根据源数据库以及目标数据库的数据库种类，对源数据进行转换处理，以得到能够输入至目标数据库中的中间数据。

在一个实施例中，如果是不同种数据库之间的数据迁移，那么就需要借助数据转换程序，将源数据的格式转换为目标数据库的数据存储格式，这样才能直接导入目标数据库中。如果是同种数据库之间的数据迁移，那么不需要借助数据转换程序，即可直接进行数据迁移。因此，在根据数据库种类，对源数据进行转换处理时，首先需要确定源数据库对应的第一数据库种类以及目标数据库对应的第二数据库种类，然后再判断第一数据库种类与第二数据库种类是否相同，若相同，则直接将源数据存入消息队列中。若不同，则确定目标数据库的数据种类，并根据数据种类将源数据转换为中间数据。

S104：将所述中间数据存入消息队列中。

S105：通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

得到能够直接导入至目标数据库的中间数据之后，将中间数据存入消息队列中，消息队列是分布式系统中重要的组件，它是消息在传输的过程中保存消息的容器，其主要目的是保证消息的传递。常用的消息队列有kafka，rabbitMQ等。它由producer(消息生产者)，consumer(消息消费者)和broker(消息处理中心)这三个组件所构成。消息队列的一个重要的特点是，它可以实现异步通信，举个例子来说，如果当生产者发送消息时，接受者(消费者)不可用，那么消息队列会保留消息，直到可以成功传递消息为止。消息队列的这个特点很好的契合了数据迁移和同步的需求。通过预设的导入程序，即可将中间数据导入至目标数据库中。

在一个实施例中，在执行数据迁移任务之前，还需要对环境进行部署，因此需要提供一台最大化安装的linux系统，并安装各类语言开发环境。两个已经部署好的源数据库和目标数据库，以及已经配置好并且可以正常使用的消息队列。

在一个实施例中，如果两个数据库在长时间内，每隔一段时间就进行数据迁移任务，且执行数据迁移任务之后两个数据库中数据相同，则可认为两个数据库之间存在绑定关系。此时在进行数据迁移时，只需要对源数据库中新增数据进行迁移即可。因此，在确定源数据库以及目标数据库之间存在绑定关系之后，需要获取源数据库以及目标数据库中包含的第一数据以及第二数据，再根据第一数据以及第二数据，确定源数据库中包含的新增数据，最后即可根据预设时间间隔，将新增数据传输至目标数据库。

进一步地，在确定新增数据时，如果是通过对每一帧数据都进行对比的话，将会浪费极大的算力及时间，因此，可以在确定新增数据时，先获取第一数据以及第二数据的校验编码集；这里的校验编码与预设数量数据帧对应，校验编码为预设数量数据帧的哈希值，也可通过其他方式确定每段数据的校验编码，在此不作限定。最后通过对比校验编码集，可确定第一数据中的新增数据。

在一个实施例中，由于采用了消息队列进行数据的传递，而消息队列支持的是异步通信，有可能出现数据长时间无法传递成功，并占据消息队列位置的情况出现。此时可获取消息队列中各个数据帧的数据迁移时间；若任一数据帧的数据迁移时间超出预设阈值，则通过预设的告警程序向进行告警。

在一个实施例中，网络服务指在网络上运行的、面向服务的、基于分布式程序的软件模块，其采用HTTP和XML等互联网通用标准，使人们可以在不同的地方访问WEB上的数据和应用。常用的网络服务的编程框架有很多，比如python的Django和flask，java的Spring框架等等。为方便用户调用服务，可将数据处理和转换程序以及数据库导入程序打包进网络服务中，然后将编写好的网络服务部署到分布式linux集群中。通过网络服务的形式部署到服务器上，可以在不同的地理位置通过网络连接来很方便的调用该服务。

如图3所示，本申请实施例还提供了一种基于消息队列的数据迁移装置，包括：

任务确定模块301，确定数据迁移任务对应的源数据库、源数据以及目标数据库。

数据库种类确定模块302，确定所述源数据库以及所述目标数据库分别对应的数据库种类。

数据转换模块303，根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据。

队列导入模块304，将所述中间数据存入消息队列中。

数据库导入模块305，通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

如图4所示，本申请实施例还提供了一种基于消息队列的数据迁移设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

确定数据迁移任务对应的源数据库、源数据以及目标数据库；确定所述源数据库以及所述目标数据库分别对应的数据库种类；根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；将所述中间数据存入消息队列中；通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

确定数据迁移任务对应的源数据库、源数据以及目标数据库；确定所述源数据库以及所述目标数据库分别对应的数据库种类；根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；将所述中间数据存入消息队列中；通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于消息队列的数据迁移方法，其特征在于，包括：

确定数据迁移任务对应的源数据库、源数据以及目标数据库；

确定所述源数据库以及所述目标数据库分别对应的数据库种类；

根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；

将所述中间数据存入消息队列中；

通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据库种类，对所述源数据进行转换处理，具体包括：

确定所述源数据库对应的第一数据库种类以及所述目标数据库对应的第二数据库种类；

判断所述第一数据库种类与所述第二数据库种类是否相同，若相同，则直接将所述源数据存入所述消息队列中；

若不同，则确定所述目标数据库的数据种类，并根据所述数据种类将所述源数据转换为所述中间数据。

3.根据权利要求1所述的方法，其特征在于，所述确定数据迁移任务对应的源数据库、源数据以及目标数据库之前，所述方法还包括：

确定所述目标数据库的当前环境；

对所述当前环境进行部署，以使所述当前环境至少具备完全安装的linux系统组件、各语言开发环境、已配置好且能够使用的消息队列。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述源数据库以及所述目标数据库之间存在绑定关系；

获取所述源数据库以及所述目标数据库中包含的第一数据以及第二数据；

根据所述第一数据以及所述第二数据，确定所述源数据库中包含的新增数据；

根据预设时间间隔，将所述新增数据传输至所述目标数据库。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一数据以及所述第二数据，确定所述源数据库中包含的新增数据，具体包括：

获取所述第一数据以及所述第二数据的校验编码集；

任一校验编码都与预设数量数据帧对应，所述校验编码为所述预设数量数据帧的哈希值；

通过对比所述校验编码集，可确定所述第一数据中的新增数据。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述消息队列中各个数据帧的数据迁移时间；

若任一数据帧的数据迁移时间超出预设阈值，则通过预设的告警程序进行告警。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将数据转换程序以及导入程序打包，以得到网络服务；

将所述网络服务部署到分布式linux集群中；

所述数据转换程序用于根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据。

8.一种基于消息队列的数据迁移装置，其特征在于，所述装置包括：

任务确定模块，确定数据迁移任务对应的源数据库、源数据以及目标数据库；

数据库种类确定模块，确定所述源数据库以及所述目标数据库分别对应的数据库种类；

数据转换模块，根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；

队列导入模块，将所述中间数据存入消息队列中；

数据库导入模块，通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

9.一种基于消息队列的数据迁移设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：

确定数据迁移任务对应的源数据库、源数据以及目标数据库；

确定所述源数据库以及所述目标数据库分别对应的数据库种类；

根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；

将所述中间数据存入消息队列中；

通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

确定数据迁移任务对应的源数据库、源数据以及目标数据库；

确定所述源数据库以及所述目标数据库分别对应的数据库种类；

根据所述数据库种类，对所述源数据进行转换处理，以得到中间数据；

将所述中间数据存入消息队列中；

通过预设的导入程序，将所述中间数据导入至所述目标数据库中。

Images