CN110019123A - 一种数据迁移方法和装置 - Google Patents

Abstract

本发明公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：步骤一，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；步骤二，通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。该实施方式避免出现单一数据异常而无法继续迁移、以及单一机器宕机而使迁移任务中断的情况，实现了迁移服务的高可用运行，提高数据迁移效率，可扩展性强，充分利用了分库后的高吞吐性能，克服了迁移过程漫长的缺陷，实现迁移数据的校验、清理自动化，且对未成功迁移的数据，可自动重试。

Description

一种数据迁移方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移方法和装置。

背景技术

互联网发展迅猛的今天，数据的增长量超乎想像，已经在几何性的飞速扩张，而任何系统随着时间和业务的发展，系统所涉及的数据也在逐渐的增加，并且每台机器的CPU、磁盘、内存都是有限的，数据量非常大时，数据库性能会非常差。因此越来越多的企业都采用了分库分表的Mysql存储方式，用以解决以下三类问题：1、数据库存储的成本，Mysql免费开源；2、通过增加机器即可扩展系统的存储空间；3、通过增加机器解决单机存在的CPU、磁盘和内存的瓶颈。但是随之而来又出现了新的问题：由于数据通过分库分表的形式，打散的存储在多个数据库机器上，因此会出现两个棘手的问题，一是如何从传统的数据库服务器中将所有的数据迁移至新的多个分库分表中；二是后续数据继续增长，对已有的分库，再次进行扩充，也会涉及到数据迁移的问题。

现有的数据库迁移方案为采用定时任务调度的方式，从原有的数据库中查询一定量的数据，启动单一调度任务，逐个的将各个业务条线的数据插入至新的分库分表中，然后人为的校验数据准确性，验证无误后，再将历史库中的数据进行清理删除。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在迁移过程中，任一数据迁移失败，调度任务需要立即停止，并且，调度任务所在的服务器发生任何异常，都会导致整个迁移过程中断，效率低下；

没有完全利用新的分库分表的插入数据的吞吐量明显提升的优点，迁移过程漫长；

需要人为校验数据准确性，在数据校验不通过时需要人为手工补充数据，在数据校验通过之后也需要人为启动清理删除历史数据的过程，耗时耗力；

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法和装置，避免出现单一数据异常而无法继续迁移、以及单一机器宕机而使迁移任务中断的情况，实现了迁移服务的高可用运行，提高数据迁移效率，可扩展性强，充分利用了分库后的高吞吐性能，克服了迁移过程漫长的缺陷，实现迁移数据的校验、清理自动化，且对未成功迁移的数据，可自动重试。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移方法。

一种数据迁移方法，包括：步骤一，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；步骤二，通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。

可选地，所述步骤一包括：通过按照预设的任务分配规则分配的与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群；所述步骤二包括：通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与所述各业务对应的数据库分库。

可选地，所述步骤一之前，包括：设置每个业务的数据迁移状态信息，所述数据迁移状态信息包括总数据迁移状态信息和分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息；所述步骤二还包括：对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。

可选地，所述步骤二之后，包括：通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验，其中：如果一业务的从各存储表迁移到数据库分库中的数据与所述各存储表中的数据比对一致，则所述数据校验通过，否则所述数据校验未通过。

可选地，所述步骤一之前，包括：设置每个业务的数据校验状态信息；通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验的步骤之后，包括：如果所述数据校验通过，则更新对应业务的数据校验状态信息；如果所述数据校验未通过，则更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息，以便返回所述步骤一重新迁移该一个或多个存储表中所述对应业务的数据。

可选地，所述更新对应业务的数据校验状态信息的步骤之后，包括：清理所述对应业务存于原数据库各存储表中的数据。

可选地，所述步骤一之前，包括：设置每个业务的数据清理状态信息；清理所述对应业务存于原数据库各存储表中的数据的步骤，包括：通过按照所述预设的任务分配规则分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新相应业务的数据清理状态信息。

可选地，所述预设的任务分配规则包括：根据每个业务的业务ID对待分配类型的任务的总数量取模，得到与所述每个业务对应的该待分配类型的任务的序号；根据该待分配类型的任务的序号分配与所述每个业务对应的该待分配类型的任务，其中，该待分配类型的任务包括数据调度任务、数据校验任务、数据清理任务三种类型任务的其中之一。

根据本发明实施例的另一方面，提供了一种数据迁移装置。

一种数据迁移装置，包括：发送模块，用于通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；迁移模块，用于通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。

可选地，所述发送模块还用于：通过按照预设的任务分配规则分配的与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群；所述迁移模块还用于：通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与所述各业务对应的数据库分库。

可选地，还包括第一设置模块：用于设置每个业务的数据迁移状态信息，所述数据迁移状态信息包括总数据迁移状态信息和分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息；所述迁移模块还用于：对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。

可选地，还包括校验模块：用于通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验，其中：如果一业务的从各存储表迁移到数据库分库中的数据与所述各存储表中的数据比对一致，则所述数据校验通过，否则所述数据校验未通过。

可选地，还包括第二设置模块：用于设置每个业务的数据校验状态信息；所述装置还包括第一更新模块，用于：如果所述数据校验通过，则更新对应业务的数据校验状态信息；如果所述数据校验未通过，则更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息，以便重新迁移该一个或多个存储表中所述对应业务的数据。

可选地，还包括清理模块：用于清理所述对应业务存于原数据库各存储表中的数据。

可选地，还包括第三设置模块：用于设置每个业务的数据清理状态信息；所述清理模块还用于：通过按照所述预设的任务分配规则分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新相应业务的数据清理状态信息。

可选地，所述预设的任务分配规则包括：根据每个业务的业务ID对待分配类型的任务的总数量取模，得到与所述每个业务对应的该待分配类型的任务的序号；根据该待分配类型的任务的序号分配与所述每个业务对应的该待分配类型的任务，其中，该待分配类型的任务包括数据调度任务、数据校验任务、数据清理任务三种类型任务的其中之一。

根据本发明实施例的又一方面，提供了一种服务器。

一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现数据迁移方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现数据迁移方法。

上述发明中的一个实施例具有如下优点或有益效果：通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群，然后通过消息服务器集群将各业务的数据迁移到对应的数据库分库。本发明基于多调度任务并行处理，避免出现单一数据异常而无法继续迁移、以及单一机器宕机而使迁移任务中断的情况，实现了迁移服务的高可用运行，提高数据迁移效率，通过采用多各消息服务器集群转发数据，并通过ID取模的方式分配任务，将迁移数据并行化，且可根据业务数据情况，扩展消息服务器集群和各类任务并发数，可扩展性强；由于采用消息集群和多任务调度，充分利用了分库后的高吞吐性能，克服了迁移过程漫长的缺陷；基于多任务实现了迁移数据的校验、清理自动化，且对未成功迁移的数据，可自动重试。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据迁移方法的主要步骤示意图；

图2是根据本发明实施例的数据迁移服务的一个优选架构示意图；

图3是根据本发明实施例的数据迁移方法的一个优选流程示意图；

图4是根据本发明实施例的数据迁移装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据迁移方法的主要步骤示意图。

如图1所示，本发明实施例的数据迁移方法主要包括如下的步骤S101至步骤S102。

步骤S101：通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群。

本发明实施例的原数据库可以是MySQL，MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

步骤S101之前还可以按照预设的任务分配规则分配与每个业务对应的数据调度任务。

步骤S101具体可以包括：通过与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群。

步骤S101之前还可以设置每个业务的数据迁移状态信息，数据迁移状态信息具体可以包括总数据迁移状态信息，以及分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息。

步骤S101之前还可以设置每个业务的数据校验状态信息。

步骤S101之前还可以设置每个业务的数据清理状态信息。

步骤S102：通过消息服务器集群将各业务的数据迁移到对应的数据库分库。

具体地，可以通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与各业务对应的数据库分库。

并且，对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。

步骤S102之后，还可包括按照预设的任务分配规则分配与每个业务对应的数据校验任务，并通过该分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验，其中：如果一业务的从各存储表迁移到数据库分库中的数据与各存储表中的数据比对一致，则数据校验通过，否则数据校验未通过。

通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验之后，如果数据校验通过，则更新对应业务的数据校验状态信息；如果数据校验未通过，则更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息，以便返回步骤S101重新迁移该一个或多个存储表中对应业务的数据。

更新对应业务的数据校验状态信息之后，可清理对应业务存于原数据库各存储表中的数据。

清理对应业务存于原数据库各存储表中的数据，具体地，可按照预设的任务分配规则分配与每个业务对应的数据清理任务，并通过分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新相应业务的数据清理状态信息。

分配上述的每个业务对应的数据调度任务、数据校验任务、数据清理任务所采用的预设的任务分配规则具体可用于包括：根据每个业务的业务ID对待分配类型的任务的总数量取模，得到与每个业务对应的该待分配类型的任务的序号；根据该待分配类型的任务的序号分配与每个业务对应的该待分配类型的任务，其中，该待分配类型的任务包括上述的数据调度任务、数据校验任务、数据清理任务三种类型任务的其中之一。

下面以业务ID分别为AQ0、AQ1、AQ2三个业务，且每个业务的数据在原数据库中均存储于A1主信息表、A2明细表、A3明细表该三个存储表中为例，详细介绍本发明实施例的将该三个业务的数据由原数据库迁移到各业务对应的数据库分库的实现过程。

图2是根据本发明实施例的数据迁移服务的一个优选架构示意图。

如图2所示，图2中左侧部分为AQ0、AQ1、AQ2三个业务的数据所在的原数据库，AQ0、AQ1、AQ2三个业务中每个业务的数据分散存储在原数据库的A1主信息表、A2明细表、A3明细表中。

图2中间部分为本发明的核心迁移服务，具体包括迁移任务状态表，多任务调度服务和迁移消息集群服务。

其中，多任务调度服务可以包括对每个业务对应的数据调度任务、数据校验任务、数据清理任务的调度服务，且调度服务可以基于Quartz任务调度框架，Quartz是一个完全由java编写的开源作业调度框架，为在Java应用程序中进行作业调度提供了简单却强大的机制，Quartz允许开发人员根据时间间隔来调度作业，除此之外本发明实施例还可采用niubi-job、TbSchedule等任务调度框架。本发明实施例基于任务调度框架扩展为多任务同时运行，能够实现自动化、高性能的数据迁移、数据校验和后续历史数据的清理，并能提供更好的扩展性，适用于多种数据迁移的场景。

迁移消息集群服务可以基于消息队列中间件ActiveMQ来实现，ActiveMQ是Apache出品，最流行的、能力强劲的开源消息总线。ActiveMQ是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现，它非常快速，支持多种语言的客户端和协议，而且可以非常容易地嵌入到企业的应用环境中，并有许多高级功能，除此之外本发明实施例还可以采用的消息队列中间件还有RabbitMQ、ZeroMQ等。

图2右侧部分为与业务ID为AQ0、AQ1、AQ2三个业务中每个业务对应的数据库分库的信息(分库1，分库2，分库3)，其中，分库1中包括由原数据库的A1主信息表、A2明细表、A3明细表迁移过来的业务ID为AQ0的业务的数据，分库2中包括由原数据库的A1主信息表、A2明细表、A3明细表迁移过来的业务ID为AQ1的业务的数据，分库3中包括由原数据库的A1主信息表、A2明细表、A3明细表迁移过来的业务ID为AQ2的业务的数据。数据迁移的最基本原则为数据准确并完整地从原数据库迁移到新的各数据库分库中，并且三张表(A1主信息表、A2明细表、A3明细表)的数据都必须是完整的，在迁移完成后删除原数据库中的各业务的数据。

图3是根据本发明实施例的数据迁移方法的一个优选流程示意图。

如图3所示，本发明实施例的数据迁移方法的一个优选流程包括如下的步骤S301至步骤S309。

步骤S301：配置迁移任务状态表。

配置迁移任务状态表具体可以包括在迁移任务状态表中设置每个业务的数据迁移状态信息、数据校验状态信息、数据清理状态信息。数据迁移状态信息具体可以包括总数据迁移状态信息，以及分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息。以业务ID为AQ0的业务为例，配置迁移任务状态表具体包括：在迁移任务状态表中设置该业务的总数据迁移状态信息，以及分别与存储该业务的数据的A1主信息表、A2明细表、A3明细表分别对应的子数据迁移状态信息(即A1主信息表迁移状态、A2明细表迁移状态、A3明细表迁移状态的信息)，还包括设置该业务的数据校验状态信息、数据清理状态信息。相应地，该迁移任务状态表的包含的列为：数据的主键、总数据迁移状态、A1主信息表迁移状态、A2明细表迁移状态、A3明细表迁移状态、数据校验状态、数据清理状态，其中数据的主键即业务ID。本发明实施例的该迁移任务状态表可以扩展，假设若有更多的待迁移的数据存于原更多的存储表中，则通过新增相应列可以表明每个存储表所存各业务的数据的数据迁移状态。

例如，对于未迁移的某一业务的数据(例如业务ID为AQ0的业务)，可在迁移任务状态表中配置该业务的数据迁移状态信息(包括总数据迁移状态信息和各子数据迁移状态信息)、数据校验状态信息、数据清理状态信息的初始值(例如“待迁移”“待校验”“待清理”等)，当相应的状态发生变化时再更新相应的状态信息。

本发明实施例对待迁移的各业务的数据增加迁移任务状态表，由消息进行驱动并发性的迁移业务数据流程，通过迁移任务状态表可以保证数据迁移的完整性。

步骤S302：分配与每个业务对应的数据调度任务。

根据每个业务的业务ID对数据调度任务的总数量取模，得到与每个业务对应的数据调度任务的序号，根据该数据调度任务的序号分配与每个业务对应的数据调度任务。例如，三个数据调度任务：任务0、任务1、任务2，那么，分配与每个业务对应的数据调度任务的计算公式为：业务ID对3(数据调度任务的总数量)取模，以AQ0为例，即取AQ0中的数字0对3取模，结果为0，因此，业务ID为AQ0的业务对应的数据调度任务的序号为0，则将任务0分配给业务ID为AQ0的业务，按照同样方法，任务1分配给业务ID为AQ1的业务，任务2分配给业务ID为AQ2的业务。此模式可根据实际情况继续扩展，当有更多的业务时可以按照上述方法分配各业务对应的数据调度任务。本发明通过对ID取模的方式，拆分为多条迁移调度任务，让多个调度任务并发的执行不同的数据的迁移工作，能够提高任务调度的效率。

步骤S303：通过与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群。

本发明实施例由于涉及到三张表(即A1主信息表、A2明细表、A3明细表)中的各业务的数据迁移，因此消息服务器集群可以为三个，以业务ID为AQ0的业务为例，将该业务存于A1主信息表、A2明细表、A3明细表中的数据分别发送到对应A1主信息表、A2明细表、A3明细表的消息服务器集群。当被迁移的业务的数据涉及更多的存储表时，可以根据所涉及的存储表扩展本发明实施例的消息服务器集群的数量。

步骤S304：通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与各业务对应的数据库分库。

本发明实施例的迁移消息集群服务通过消息进行驱动触发，例如，当某业务的数据迁移状态信息为“待迁移”，则发送对应的数据迁移消息，由该消息进行驱动触发，通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与各业务对应的数据库分库。以业务ID为AQ0的业务为例，通过对应A1主信息表、A2明细表、A3明细表的消息服务器集群，分别将存于原数据库A1主信息表、A2明细表、A3明细表中的该业务的数据发送到该业务对应的数据库分库，例如分库1。

上述的数据迁移状态信息所指示的“待迁移”状态可以是在迁移任务状态表中配置的该业务的总数据迁移状态信息，对于与每个存储表相对应的该业务的子数据迁移状态信息也可以指示相应的状态。例如，与某一个或多个存储表对应的该业务的子数据迁移状态信息指示的状态可以为“重新迁移”，当该业务的数据迁移状态信息(此处指各子数据迁移状态信息)为“重新迁移”，则也可发送对应的数据迁移消息，由该消息进行驱动触发，通过与该一个或多个存储表对应的消息服务器集群，将该业务的存于各存储表中的数据重新迁移到与该业务对应的数据库分库，上述重新迁移数据的情况属于本发明实施例的迁移重试机制，该迁移重试机制将在步骤S308处段落举例介绍。

各业务在每个存储表中的迁移操作完成后，更新迁移任务状态表的相应状态，例如，对于业务ID为AQ0的业务，当A1主信息表中该业务的数据迁移完成，则将与A1主信息表对应的该业务的子数据迁移状态信息，即该业务的A1主信息表迁移状态更新为“已完成”，同样，当A2明细表、A3明细表中该业务的数据迁移完成，则分别将该业务相应的子数据迁移状态信息即A2明细表迁移状态、A3明细表迁移状态更新为“已完成”。

步骤S305：对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验。

根据每个业务的业务ID对数据校验任务的总数量取模，得到与每个业务对应的数据校验任务的序号，根据该数据校验任务的序号分配与每个业务对应的数据校验任务。通过该分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验。基于该ID取模的方式分配数据校验任务，可以并发处理多个数据校验任务，提高数据校验的处理效率。

数据校验主要是查询出各业务迁移到各数据库分库中的数据，并校验比对各迁移到数据库分库中的数据与原数据库各存储表中数据是否一致，以确保迁移的数据的完整性以及准确性。

步骤S306：判断数据校验是否通过，若通过，则执行步骤S307，否则，执行步骤S308。

其中：如果一业务的从各存储表迁移到数据库分库中的数据与各存储表中的数据比对一致，则数据校验通过，否则数据校验未通过。

步骤S307：更新对应业务的数据校验状态信息。

如果数据校验通过，则将迁移任务状态表中对应业务的数据校验状态信息更新为“已完成”，

执行完步骤S307之后，执行步骤S309。

步骤S308：更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息。

执行完步骤S308之后，返回步骤S303，以便重新迁移该一个或多个存储表中对应业务的数据。具体地，如果某个数据校验比对未通过，则重新发送对应的数据迁移消息进行再次迁移，例如，校验比对发现业务ID为AQ0的业务的A3明细表未迁移完成，则将迁移任务状态表中该业务的与A3明细表对应的子数据迁移状态信息，即该业务的A3明细表迁移状态更新为“重新迁移”，并重新发送对应的数据迁移消息，由该消息进行驱动触发，将数据重新发送给与A3明细表对应的消息服务器集群，进行再次的数据迁移流程，此为本发明实施例的重试机制，本发明实施例对未成功迁移的数据，进行重试，使得校验、迁移重试自动化。

步骤S309：清理对应业务存于原数据库各存储表中的数据。

同样基于ID取模的方式，清理历史数据的任务也分为多个并发处理。查询出某业务的数据校验状态信息为“已完成”之后，进行该业务在原数据库各存储表中的历史数据的清理操作。根据每个业务的业务ID对数据清理任务的总数量取模，得到与每个业务对应的数据清理任务的序号，根据该数据清理任务的序号分配与每个业务对应的数据清理任务。

通过分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新迁移任务状态表中相应业务的数据清理状态信息。

通过本发明实施例的上述数据迁移过程，实现了迁移数据并行化、自动化，保证了多数据源的数据迁移高效率、高可用。并且，在数据迁移、数据校验、数据清理各步骤同步迁移任务状态表中的相应状态，并迁移失败可以自动重试，保证数据迁移的完整和准确性。迁移任务状态表，消息服务器集群，以及数据迁移、数据校验、数据清理各步骤的任务均可根据需求扩展，提供更好的扩展性。

图4是根据本发明实施例的数据迁移装置的主要模块示意图。

如图4所示，本发明实施例的数据迁移装置400主要包括：发送模块401和迁移模块402。

发送模块401用于通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群。

具体地，发送模块401可以通过与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群。

迁移模块402用于通过消息服务器集群将各业务的数据迁移到对应的数据库分库。

具体地，迁移模块402可以通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与各业务对应的数据库分库。

并且，对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。

数据迁移装置400还可以包括分配模块，该分配模块用于按照预设的任务分配规则分配与每个业务对应的数据调度任务。

数据迁移装置400还可以包括第一设置模块，用于设置每个业务的数据迁移状态信息，数据迁移状态信息包括总数据迁移状态信息和分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息。

数据迁移装置400还可以包括校验模块：用于通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验，其中：如果一业务的从各存储表迁移到数据库分库中的数据与各存储表中的数据比对一致，则数据校验通过，否则数据校验未通过。

数据迁移装置400还可以包括第二设置模块：用于设置每个业务的数据校验状态信息。

数据迁移装置400还可以包括第一更新模块，用于：如果数据校验通过，则更新对应业务的数据校验状态信息；如果数据校验未通过，则更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息，以便重新迁移该一个或多个存储表中对应业务的数据。

数据迁移装置400还可以包括清理模块：用于清理对应业务存于原数据库各存储表中的数据。

数据迁移装置400还可以包括第三设置模块：用于设置每个业务的数据清理状态信息。

清理模块具体可通过按照预设的任务分配规则分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新相应业务的数据清理状态信息。

预设的任务分配规则可以包括：根据每个业务的业务ID对待分配类型的任务的总数量取模，得到与所述每个业务对应的该待分配类型的任务的序号；根据该待分配类型的任务的序号分配与每个业务对应的该待分配类型的任务，其中，该待分配类型的任务包括数据调度任务、数据校验任务、数据清理任务三种类型任务的其中之一。

另外，在本发明实施例中所述数据迁移装置的具体实施内容，在上面所述数据迁移方法中已经详细说明了，故在此重复内容不再说明。

图5示出了可以应用本发明实施例的数据迁移方法或数据迁移装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据迁移方法一般由服务器505执行，相应地，数据迁移装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块401和迁移模块402。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块401还可以被描述为“用于通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤一，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；步骤二，通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。

根据本发明实施例的技术方案，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群，然后通过消息服务器集群将各业务的数据迁移到对应的数据库分库。本发明基于多调度任务并行处理，避免出现单一数据异常而无法继续迁移、以及单一机器宕机而使迁移任务中断的情况，实现了迁移服务的高可用运行，提高数据迁移效率，通过采用多各消息服务器集群转发数据，并通过ID取模的方式分配任务，将迁移数据并行化，且可根据业务数据情况，扩展消息服务器集群和各类任务并发数，可扩展性强；由于采用消息集群和多任务调度，充分利用了分库后的高吞吐性能，克服了迁移过程漫长的缺陷；基于多任务实现了迁移数据的校验、清理自动化，且对未成功迁移的数据，可自动重试。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (18)

1.一种数据迁移方法，其特征在于，包括：

步骤一，通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；

步骤二，通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。

2.根据权利要求1所述的方法，其特征在于，所述步骤一包括：

通过按照预设的任务分配规则分配的与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群；

所述步骤二包括：

通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与所述各业务对应的数据库分库。

3.根据权利要求2所述的方法，其特征在于，所述步骤一之前，包括：设置每个业务的数据迁移状态信息，所述数据迁移状态信息包括总数据迁移状态信息和分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息；

所述步骤二还包括：

对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。

4.根据权利要求2所述的方法，其特征在于，所述步骤二之后，包括：

通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验，其中：

如果一业务的从各存储表迁移到数据库分库中的数据与所述各存储表中的数据比对一致，则所述数据校验通过，否则所述数据校验未通过。

5.根据权利要求4所述的方法，其特征在于，所述步骤一之前，包括：设置每个业务的数据校验状态信息；

通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验的步骤之后，包括：

如果所述数据校验通过，则更新对应业务的数据校验状态信息；

如果所述数据校验未通过，则更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息，以便返回所述步骤一重新迁移该一个或多个存储表中所述对应业务的数据。

6.根据权利要求5所述的方法，其特征在于，所述更新对应业务的数据校验状态信息的步骤之后，包括：

清理所述对应业务存于原数据库各存储表中的数据。

7.根据权利要求6所述的方法，其特征在于，所述步骤一之前，包括：设置每个业务的数据清理状态信息；

清理所述对应业务存于原数据库各存储表中的数据的步骤，包括：

通过按照所述预设的任务分配规则分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新相应业务的数据清理状态信息。

8.根据权利要求2、4、5或7中任一项所述的方法，其特征在于，所述预设的任务分配规则包括：

根据每个业务的业务ID对待分配类型的任务的总数量取模，得到与所述每个业务对应的该待分配类型的任务的序号；

根据该待分配类型的任务的序号分配与所述每个业务对应的该待分配类型的任务，其中，该待分配类型的任务包括数据调度任务、数据校验任务、数据清理任务三种类型任务的其中之一。

9.一种数据迁移装置，其特征在于，包括：

发送模块，用于通过与每个业务对应的数据调度任务，将相应业务的数据从原数据库发送到消息服务器集群；

迁移模块，用于通过所述消息服务器集群将各业务的数据迁移到对应的数据库分库。

10.根据权利要求9所述的装置，其特征在于，所述发送模块还用于：

通过按照预设的任务分配规则分配的与每个业务对应的数据调度任务，将每个业务的存于原数据库各存储表中的数据发送到与相应存储表对应的消息服务器集群；

所述迁移模块还用于：

通过与各存储表对应的消息服务器集群，将各业务的存于各存储表中的数据迁移到与所述各业务对应的数据库分库。

11.根据权利要求10所述的装置，其特征在于，还包括第一设置模块：用于设置每个业务的数据迁移状态信息，所述数据迁移状态信息包括总数据迁移状态信息和分别与存储相应业务的数据的各存储表相对应的子数据迁移状态信息；

所述迁移模块还用于：

对于每个业务，当该业务在一存储表中的数据被迁移完毕后，更新该业务的与该存储表相对应的子数据迁移状态信息，以及，当该业务在各存储表中的数据全部被迁移完毕后，更新该业务的总数据迁移状态信息。

12.根据权利要求10所述的装置，其特征在于，还包括校验模块：

用于通过按照预设的任务分配规则分配的与每个业务对应的数据校验任务，对每个业务的从各存储表迁移到数据库分库中的数据执行数据校验，其中：

如果一业务的从各存储表迁移到数据库分库中的数据与所述各存储表中的数据比对一致，则所述数据校验通过，否则所述数据校验未通过。

13.根据权利要求12所述的装置，其特征在于，还包括第二设置模块：用于设置每个业务的数据校验状态信息；

所述装置还包括第一更新模块，用于：

如果所述数据校验通过，则更新对应业务的数据校验状态信息；

如果所述数据校验未通过，则更新对应业务的数据比对不一致的一个或多个存储表对应的子数据迁移状态信息，以便重新迁移该一个或多个存储表中所述对应业务的数据。

14.根据权利要求13所述的装置，其特征在于，还包括清理模块：

用于清理所述对应业务存于原数据库各存储表中的数据。

15.根据权利要求14所述的装置，其特征在于，还包括第三设置模块：用于设置每个业务的数据清理状态信息；

所述清理模块还用于：

通过按照所述预设的任务分配规则分配的与每个业务对应的数据清理任务，清理存于原数据库各存储表中的各业务的数据，并在每个业务的数据清理完毕之后，更新相应业务的数据清理状态信息。

16.根据权利要求10、12或15中任一项所述的装置，其特征在于，所述预设的任务分配规则包括：

根据每个业务的业务ID对待分配类型的任务的总数量取模，得到与所述每个业务对应的该待分配类型的任务的序号；

根据该待分配类型的任务的序号分配与所述每个业务对应的该待分配类型的任务，其中，该待分配类型的任务包括数据调度任务、数据校验任务、数据清理任务三种类型任务的其中之一。

17.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

18.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。