CN113778982A - 一种数据迁移方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：构建数据迁移任务，所述数据迁移任务指示了目标数据库；从源数据库中获取至少两个待迁移数据；对所述至少两个待迁移数据进行分块，形成至少两个数据块；根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。该实施方式采用分布式集群多实例多线程执行数据迁移任务，实现了高并发高吞吐的数据迁移，从而缩短了迁移时间，提升了迁移效率。

Description

一种数据迁移方法和装置

技术领域

本发明涉及计算机领域，尤其涉及一种数据迁移方法和装置。

背景技术

数据迁移是将所需的数据从源数据库迁移到目标数据库的过程。

现有技术中，数据迁移通常是由开发人员根据迁移需求，通过单机任务来实现数据迁移，由于单机的硬件性能有限，因此当迁移的数据量较大时，难以实现数据的高效迁移，从而降低了数据迁移的效率。

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法和装置，采用分布式集群中的多实例多线程执行数据迁移任务，从而实现高并发高吞吐的数据迁移，缩短了迁移时间，提升了迁移效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移方法，应用于分布式集群，包括：

构建数据迁移任务，所述数据迁移任务指示了目标数据库；

从源数据库中获取至少两个待迁移数据；

对所述至少两个待迁移数据进行分块，形成至少两个数据块；

根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

可选地，根据所述待迁移数据的数据量、以及所述分布式集群的负载能力，确定用于执行所述数据迁移任务的实例的数量。

可选地，根据所述数据量和所述负载能力，确定执行所述数据迁移任务所需的时长；当所述时长大于预设阈值时，在所述分布式集群中动态增加用于执行所述数据迁移任务的实例。

可选地，根据每一个所述实例的计算能力，确定每一个所述实例中用于执行所述数据迁移任务的线程的数量。

可选地，根据所述数据块的数量以及所述实例的计算能力，动态调整所述线程的数量。

可选地，所述对所述至少两个待迁移数据进行分块，包括：

根据所述待迁移数据的数据标识、所述待迁移数据的时间戳、所述待迁移数据的数据类型和/或所述待迁移数据对应的业务场景，对所述待迁移数据进行分块。

可选地，在对所述至少两个待迁移数据进行分块之前，还包括：

根据所述待迁移数据所属的源表结构、以及所述目标数据库目标表结构，对所述待迁移数据对应的字段进行转换。

根据本发明实施例的再一个方面，提供一种数据迁移装置，包括：任务构建模块，数据获取模块，数据分块模块，数据迁移模块；其中，

任务构建模块，用于构建数据迁移任务，所述数据迁移任务指示了目标数据库；

数据获取模块，用于从源数据库中获取至少两个待迁移数据；

数据分块模块，用于对所述至少两个待迁移数据进行分块，形成至少两个数据块；

数据迁移模块，用于根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

根据本发明实施例的另一个方面，提供一种数据迁移的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的数据迁移方法。

根据本发明实施例的还一个方面，提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本发明所提供的数据迁移方法。

上述发明中的一个实施例具有如下优点或有益效果：通过对从源数据库中获取的至少两个待迁移数据进行分块，形成至少两个数据块，利用分布式集群中的多个实例分别对应的一个或多个线程执行构建的数据迁移任务，将至少两个数据块对应的待迁移数据迁移至目标数据中，实现了数据的迁移。通过分布式集群多实例多线程的方式执行数据迁移任务，实现了高并发高吞吐的数据迁移，从而缩短了迁移时间，提升了迁移效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种数据迁移方法的主要流程的示意图；

图2是根据本发明实施例的另一种数据迁移方法的主要流程示意图；

图3是根据本发明实施例的又一种数据迁移方法的主要流程示意图；

图4是根据本发明实施例的一种数据迁移方法的架构示意图；

图5是根据本发明实施例的数据迁移装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的一种数据迁移方法的主要流程的示意图，如图1所示，当该数据迁移方法应用于分布式集群时，主要包括以下步骤：

步骤S101：构建数据迁移任务，所述数据迁移任务指示了目标数据库。

在本发明实施例中，构建数据迁移任务并将数据迁移任务部署在分布式集群中，该数据迁移任务可以包括多个节点，例如抽取数据、加工清洗数据、将待迁移数据写入目标数据库和验证迁移结果等多个节点。由此，可利用分布式集群执行数据迁移任务来实现数据的迁移。其中，数据迁移任务指示了目标数据库，目标数据库即为接收待迁移数据的数据库，相应地，本发明实施例中的源数据库即为待迁移数据的抽取来源。

步骤S102：从源数据库中获取至少两个待迁移数据。

在本发明实施例中，待迁移数据可以为源数据库中的所有数据，也可以为源数据库中的部分数据。源数据库的数据量可以为亿级别，通过本发明实施例提供的数据迁移方法能够实现亿级别数据量的迁移。

本发明实施例提供的数据迁移方法可以应用于电商零售业务系统的数据迁移，例如，电商零售业务系统整体架构升级时，需要把升级前业务系统(源数据库)的众多业务表中的数据中经清洗加工后迁移到升级后的新数据库(目标数据库)中，并且数据迁移时对迁移时间比较敏感，需要在尽可能短的时间内快速完成迁移，以减少系统架构升级时给用户带来的影响。因此，可采用本发明实施例提供的数据迁移方法，以分布式集群中多实例多线程实现数据迁移，从而尽可能提高数据迁移效率。

在此应用场景下，至少两个待迁移数据可以是根据设定的迁移条件获取的，迁移条件是根据实际业务需求设定的，例如，源数据库中的一个订单表有1千万个数据，那么可以设定迁移条件为获取1年前的数据，迁移条件还可以设定为获取某一个或几个特定供应商的数据，根据设定的迁移条件，从源数据库中获取得到至少两个待迁移数据，从而可以利用分布式集群实现数据迁移。

为了便于迁移数据在目标数据库中的存储及其后期的使用，在本发明实施例中，如图2所示，该数据迁移方法在步骤S102之后，以及步骤S103之前，还可以包括以下步骤S201：

步骤S201：根据待迁移数据所述的源表结构、以及目标数据库目标表结构，对待迁移数据对应的字段进行转换。

在源数据库的源表结构和目标数据库的目标表结构不同的情况下，在进行数据迁移时，为了便于迁移数据的存储以及后期的使用，需要对待迁移数据进行结构的转换，例如，源表结构有20个字段，目标表结构有15个字段，在进行数据迁移时，需要将源表中待迁移数据对应字段转换成目标表字段。另外，在将待迁移数据迁移至目标数据库之前，除上述结构转换的步骤之外，还可以包括其他加工清洗数据的步骤，例如数据分组、数据排序和数据去重补缺等步骤。

步骤S103：对所述至少两个待迁移数据进行分块，形成至少两个数据块。

在本发明实施例中，为了使得分布式集群中的多实例多线程并行的高并发的进行待迁移数据的迁移，可以将待迁移的数据切分为多个数据块。

在本发明实施例中，如图3所示，步骤S103具体实施方式可以包括以下步骤S301：

步骤S301：根据所述待迁移数据的数据标识、所述待迁移数据的时间标识、所述待迁移数据的数据类型和/或所述待迁移数据对应的业务场景，对所述待迁移数据进行分块。

例如，数据标识例如可以为数据id号段或者待迁移数据所属数据表的表名，时间标识例如可以为数据的时间戳，数据类型例如可以为文本类型、数字类型、日期类型或者字符串类型等，业务场景可以为销售场景、供应商供货来源场景或者成本核算等场景。其中，待迁移数据的数据标识、时间标识、数据类型和业务场景任意一个均作为分块条件。

例如，根据数据标识(数据id号段)对待迁移数据进行分块时，可将连续的多个id号段对应的多个待迁移数据分为一个数据块。根据时间标识对待迁移数据进行分块时，将时间戳在同一预设时间段内的待迁移数据划分为一个数据块。根据数据类型对待迁移数据进行分块时，将相同数据类型的待迁移数据划分为一个数据块。根据业务场景对待迁移数据进行分块时，将相同应用场景的待迁移数据划分为一个数据块，例如根据不同的供应商对待迁移数据进分块，则供应商A和供应商B的数据分别对应不同的数据块。可以理解的是，由于数据迁移过程的数据量很大，因此同一个数据类型或同一个应用场景对应的数据量可能较大，则在数据分块时，一般采用多个分块条件组合的方式，来对待迁移数据进行分块，如将数据标识和数据类型的组合作为分块条件，或者将时间标识和业务场景的组合作为分块条件，或者将数据标识和业务场景的组合作为分块条件，或者将数据标识、数据类型、时间标识和业务场景的组合作为分块条件。

在本发明实施例中，具体的分块条件可根据源数据库的性能参数以及待迁移数据量的大小来决定。例如，分块后形成的每个数据块中的数据量不大于预设阈值，预设阈值根据源数据库的性能参数而确定，例如，根据不同的源数据库，分块后形成的数据块中的数据量的预设阈值可以为2000条、5000条或1万条。由此，当根据实际需要确定每个数据块中的数据量后，结合待迁移数据的数据量，可以确定采用何种分块条件来对数据进行分块，以决定数据块的数量。例如，源数据库的分块后的数据块中的数据量的预设阈值为2000条，待迁移数据的数据量为100万条，那么可以根据数据id号段，将连续的2000条待迁移数据划分为一个数据块，使得切分后形成的每个数据块中的数据量为2000条，以此将待迁移数据切分为500个数据块。

可选地，采用二分法对至少两个待迁移数据进行分块，形成至少两个数据块。具体地，比较待迁移数据的数据量与设定阈值的大小，若数据量大于设定阈值，则将待迁移数据的切分为两个数据块，继续比较每个数据块中数据量与设定阈值的大小，若某个数据块的数据量仍大于设定阈值，则继续将该数据块切分为两个数据块，依次类推，直至每个数据块的数据量均不大于设定阈值。

在对待迁移数据进行分块时，应尽量使得每个数据块中的数据量均匀，例如，当数据块中包含偶数条数据时，切分时应切分成数据量相同的两个数据块，当数据块中包含奇数条数据时，将该数据块切分为两个数据条数相差一条的数据块。或者，在根据源数据库的性能参数确定切分后数据块的总数量后，可根据待迁移数据的数据量，将待迁移数据的数据量与数据块总数量的商，作为每个数据块对应的数据量，以尽可能使得每个数据块中的数据量较为平均。或者，在根据源数据库的性能参数确定切分后每个数据块中数据量的设定阈值后，选取一个小于该设定阈值的数据量，作为数据分块时每个数据块对应的数据量，以此进行数据切分，当最后有剩余的数据时，可以将剩余的数据均分到已分好的每一个数据块中，从而使得各个数据块中的待迁移数据的数据量较为平均，例如尽可能相等或相差低于2条数据，或者，也可以将最后剩余的数据作为一个数据块。

在本发明实施例中，可以根据待迁移数据的id号段对待迁移数据进行切分，确定每个数据块中待迁移数据的数据量后，从待迁移数据中获取得到id号段最小的待迁移数据，从待迁移数据中按照顺序获取一定数据量的待迁移数据作为切分得到的数据块1，然后将数据块1中具有最大id号段的待迁移数据的id号段作为最小值，按照id号段顺序从除去数据块1后剩余的待迁移数据中获取与数据块1相同的数据量的待迁移数据，作为切分得到的数据块2，依次类推。其中，数据块1和数据块2的数量相等或相差1条数据。

例如，待迁移数据的数据量为1000条，id号段范围为1-1000，确定每个数据块中待迁移数据的数据量为80条，从待迁移数据中获取到id号段最小的待迁移数据，按照顺序获得80条待迁移数据，则数据块1对应id号段范围为1-80的待迁移数据，然后从数据块1中确定最大i d号80，按照顺序在id号80之后再获取80条待迁移数据形成数据块2，则数据块2对应id号段范围为81-160的待迁移数据，依次类推，获得12个数据块后，还剩余40条id号段范围为961-1000的待迁移数据，可以将剩余的40条数据作为数据块13，也可以将剩余的40条待迁移数据均分至已切分好的12个数据块中，每个数据块可以分得3条或4条数据，从而使得每两个数据块中的数据量最多相差1条数据。

在本发明实施例中，对待迁移数据进行切分的过程，可根据数据块将待迁移数据进行标记，也就是说，被切分为同一个数据块的待迁移数据具有相同的数据块标识。例如，将100万条待迁移数据切分为500个数据块，每个数据块包含2000条待迁移数据，被切分为同一个数据块的2000条待迁移数据的数据块标识相同，不同的数据块具有不同的数据块标识，可以将数据块1中的2000条待迁移数据均标记为数据块1，将数据块2中的2000条待迁移数据均标记为数据块2。

在本发明实施例中，在分块得到至少两个数据块后，将每个数据块对应的待迁移数据的id号段范围记录在任务表中，即任务表中包括每个数据块对应的待迁移数据的id号段范围，任务表中还可以包括分块条件。在根据不同的业务场景进行分块时，每个任务表包括分块条件以及数据id号段范围，例如，对A供应商的待迁移数据按照id号进行分块时，将分块条件和每个数据块对应的带迁移数据的id号段范围记录在任务表中。

步骤S104：根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

在本发明实施例中，分布式集群包括多个实例，每个实例对应一个或多个线程，每个实例对应一个Docker。

在本发明实施例中，每一个实例的配置可以不同，例如，当实例的配置较低时，其可以为CPU核数为1核或2核的Docker。对应于每个实例配置的不同，其相应的线程数量也可以不同，例如，高配置的实例相较于低配置的实例，其对应的线程数量更多。

在本发明实施例中，根据待迁移数据的数据量、以及分布式集群的负载能力，确定用于执行数据迁移任务的实例的数量。其中，分布式集群的负载能力可以为分布式集群中每一个实例的计算能力之和。例如，当分布式集群的负载能力较高，且待迁移数据的数据量也较大时，可确定出执行数据迁移任务的示例的数量较多。

在本发明实施例中，根据每一个实例的计算能力，确定每一个实例中用于执行数据迁移任务的线程的数量。

可选地，每一个实例的计算能力可以通过该实例的CPU核数确定，根据该实例的CPU核数，可以确定该实例中用于执行数据迁移任务的线程数。进一步地，每一个实例可以开启的线程数＝2*CPU核数+1，例如，对于CPU核数为2核的实例，该实例可以开启的线程数为2*2+1＝5个。

在本发明实施例中，根据所述数据块的数量以及所述实例的计算能力，动态调整所述线程的数量。在执行数据迁移任务时，每一个实例的计算能力可能不同，迁移的效率可能不同，当数据块的数量较小时，可以减少线程数，当数据量较大时，可以增加线程数，实现线程数的动态调整。

在本发明实施例中，每一个实例的计算能力为该实例单位时间内可以迁移的最大数据量；分布式集群的负载能力可以为分布式集群单位时间内能够迁移的最大数据量，也可以是分布式集群中各个实例单位时间内可以迁移的最大数据量的总和。

若已知分布式集群中每一个实例的计算能力，则可确定分布式集群的负载能力，那么根据待迁移数据的数据量，可确定用于执行数据迁移任务的实例的数量。

进一步地，根据所述数据量和所述负载能力，确定执行所述数据迁移任务所需的时长；当所述时长大于预设阈值时，在所述分布式集群中动态增加用于执行所述数据迁移任务的实例。

在本发明实施例中，在进行数据迁移时，一般需要尽量缩短迁移时间，以减小数据迁移时对用户的影响。通过对迁移时间设定预设阈值，当数据迁移的时间小于预设阈值时，对用户的影响较小。当分布式集群的负载能力和待迁移数据的数据量确定后，则可以确定执行数据迁移任务所需的时长，当执行数据迁移任务所需的时长小于预设阈值时，则采用分布式集群可实现高效的数据迁移；当所需的时长大于预设阈值时，可通过动态增加实例至分布式集群中来执行数据迁移任务，以尽量缩短数据迁移所需的时长。

例如，可根据分布式集群中的所有实例所对应的计算能力，来确定执行数据迁移任务所需的时长，或者，根据分布式集群中的部分实例所对应的计算能力，来确定执行数据迁移任务所需的时长。当根据分布式集群中的部分实例计算出的时长小于预设阈值时，则执行数据迁移任务的实例可以为分布式集群中的部分实例或所有实例；当所需时长大于预设阈值时，采用分布式集群执行数据迁移任务的吞吐率较低时，可以通过动态地向分布式集群中增加一个或多个实例，来实现高并发高吞吐的数据迁移。其中，增加的实例可以为一个或多个低配置实例，以降低扩容成本。其中，低配置实例可以为CPU为1核，内存为256M的Docker。

在硬件配置有限的情况下，可以通过对分布式集群简单扩容低配置实例即可实现高并发高吞吐的数据迁移，从而缩短迁移时间，提升迁移性能。

在本发明实施例中，分布式集群采用多实例多线程的方式执行数据迁移任务，实现高并发高吞吐的数据迁移，缩短迁移时间，提升迁移性能。

在本发明实施例中，数据迁移任务部署在分布式集群中，可以部署在分布式集群中的每一个实例中，数据迁移任务包括：抽取待迁移数据；对抽取后的待迁移数据进行加工清洗；写入目标数据库；验证迁移效果。

通过将上述4个节点构建为一个通用的数据迁移任务，并部署在分布式集群中，从而使得对不同业务表进行迁移或针对不同的迁移需求时，可减少重复开发工作。具体地，在对不同业务表进行迁移时，可直接在数据迁移任务中配置源数据库和目标数据库的字段映射、表结构格式、目标数据库等任务参数，即可根据待迁移数据执行该数据迁移任务来实现数据迁移，而不需要针对每个业务表、每个业务场景或者不同硬件配置分别编写脚本，从而避免了数据迁移过程中的重复开发工作，进而提高数据迁移效率。

在本发明一个实施例中，在执行数据迁移任务时，每一个实例根据任务表，从源数据库中抽取待迁移数据，任务表中的每条任务对应具有相同数据块标识的待迁移数据，每一个实例根据任务表中的任务，抽取具有相同数据块标识的待迁移数据，每一个实例可以抽取一个或多个任务，根据抽取的任务的个数可以动态调整线程数，例如，任务表中的第一条任务对应的是订单表A的id号段范围为1-10000的待迁移数据，第二条任务对应的是订单表A的id号段范围为10001-20000的待迁移数据，则实例1可以根据任务表，抽取id号段范围为1-10000的待迁移数据，实例2可以根据任务表，抽取id号段范围为10001-20000的待迁移数据，当然，若实例2中的多个线程均为活跃状态，而实例1有空闲的线程，则实例1可以根据任务表，抽取id号段范围为1-10000的待迁移数据和id号段范围为10001-20000的待迁移数据。

如图4所示为本发明实施例的一种数据迁移方法的架构示意图。将源数据库中的待迁移数据根据不同的分块条件分块，例如，根据业务场景中的供应商进行分块时，分块条件1、2和3分别为供应商A、B和C的订单表数据，然后按照数据id号段分别对供应商A、B和C的订单表数据进行分块，获得数据块，每个数据块对应一个id号段范围的待迁移数据，例如，订单表A的数据块1对应id号段范围为1-10000的待迁移数据，数据块2对应的是订单表A的id号段范围为10001-20000的待迁移数据，数据块3对应的是id号段范围为20001-30000的待迁移数据…，分布式集群中的Docker 1、Docker 2、Docker3、Docker 4、D ocker 5……Docker n(n为大于5的自然数)采用轮训的方式抽取分块后的某个id号段范围的待迁移数据，并且每一个Docker采用一个或多个线程(thread)执行数据迁移任务，将待迁移数据迁移至目标数据库中。

执行数据迁移任务的过程可以包括：每一个实例采用一个或多个线程的方式对抽取的待迁移数据进行加工清洗(如将待迁移数据的字段转化为目标数据库的字段)，然后将加工清洗后的待迁移数据写入目标数据库中，通过将该数据块的待迁移数据与目标数据库的已迁移数据进行比对，可获得该数据块的待迁移数据的验证结果。

本发明实施例所提供的数据迁移方法将数据迁移任务构建为一个通用任务，针对不同的业务表和迁移需求而不需要进行重复开发，通过分布式集群多实例多线程的执行该数据迁移任务，实现高并发高吞吐的数据迁移，缩短了迁移时间，提升了迁移性能。例如，采用20台核数均为2核的Docker对源数据库中的5亿多数据进行迁移，业务表单表字段个数为90多，每个数据块的数据量为2000条，线程池大小为5，单线程批处理条数CPU使用率为90％，在数据清洗逻辑较复杂的情况下，5亿多数据迁移在4小时内迁移完成，迁移时间短，明显提升了迁移效率，在增加低配置实例或增加线程数后，还可以进一步提升迁移效率。

图5是根据本发明实施例的一种数据迁移装置的主要模块的示意图，如图5所示，该数据迁移装置500包括：任务构建模块501，数据获取模块502，数据分块模块503，数据迁移模块504；其中，

任务构建模块501，用于构建数据迁移任务，所述数据迁移任务指示了目标数据库；

数据获取模块502，用于从源数据库中获取至少两个待迁移数据；

数据分块模块503，用于对所述至少两个待迁移数据进行分块，形成至少两个数据块；

数据迁移模块504，用于根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

在本发明实施例中，任务构建模块501，进一步用于：根据所述待迁移数据所属的源表结构、以及所述目标数据库目标表结构，对所述待迁移数据对应的字段进行转换。

在本发明实施例中，数据分块模块503，进一步用于：根据所述待迁移数据的数据标识、所述待迁移数据的时间标识、所述待迁移数据的数据类型和/或所述待迁移数据对应的业务场景，对所述待迁移数据进行分块。

在本发明实施例中，数据迁移模块504，还用于：根据所述待迁移数据的数据量、以及所述分布式集群的负载能力，确定用于执行所述数据迁移任务的实例的数量。进一步用于：根据所述数据量和所述负载能力，确定执行所述数据迁移任务所需的时长；当所述时长大于预设阈值时，在所述分布式集群中动态增加用于执行所述数据迁移任务的实例。

在本发明实施例中，数据迁移模块504，还用于：根据每一个所述实例的计算能力，确定每一个所述实例中用于执行所述数据迁移任务的线程的数量。

在本发明实施例中，数据迁移模块504，还用于：根据所述数据块的数量以及所述实例的计算能力，动态调整所述线程的数量。

图6出了可以应用本发明实施例的数据迁移方法或数据迁移装置的示例性系统架构600。

如图6所示，系统架构600可以多个服务器601、602、603、604，网络605。网络605用以在多个服务器601、602、603、604之间提供通信链路的介质。网络605可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器601、602、603、604可以是提供各种服务的服务器，例如对用户利用终端设备所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的数据获取请求等数据进行分析等处理，并将相应的数据反馈给终端设备。

需要说明的是，本发明实施例所提供的数据迁移装置一般设置于服务器601、602、603、604中。

应该理解，图6中的网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的计算机系统700的结构示意图。图7示出的计算机仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CP U)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括任务构建模块，数据获取模块，数据分块模块，数据迁移模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，任务构建模块还可以被描述为“用于构建数据迁移任务的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：构建数据迁移任务，所述数据迁移任务指示了目标数据库；从源数据库中获取至少两个待迁移数据；对所述至少两个待迁移数据进行分块，形成至少两个数据块；根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

根据本发明实施例的技术方案，首先构建数据迁移任务，通过对从源数据库中获取的至少两个待迁移数据进行分块，形成至少两个数据块，利用分布式集群中的多个实例分别对应的一个或多个线程执行构建的数据迁移任务，将至少两个数据块对应的待迁移数据迁移至目标数据库中，从而实现了数据的迁移。本发明实施例通过采用分布式集群多实例多线程的方式执行数据迁移任务，实现了高并发高吞吐的数据迁移，从而缩短了迁移时间，进而提升了迁移性能。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据迁移方法，其特征在于，应用于分布式集群，包括：

构建数据迁移任务，所述数据迁移任务指示了目标数据库；

从源数据库中获取至少两个待迁移数据；

对所述至少两个待迁移数据进行分块，形成至少两个数据块；

根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，

根据所述待迁移数据的数据量、以及所述分布式集群的负载能力，确定用于执行所述数据迁移任务的实例的数量。

3.根据权利要求2所述的方法，其特征在于，

根据所述数据量和所述负载能力，确定执行所述数据迁移任务所需的时长；当所述时长大于预设阈值时，在所述分布式集群中动态增加用于执行所述数据迁移任务的实例。

4.根据权利要求1所述的方法，其特征在于，

根据每一个所述实例的计算能力，确定每一个所述实例中用于执行所述数据迁移任务的线程的数量。

5.根据权利要求4所述的方法，其特征在于，

根据所述数据块的数量以及所述实例的计算能力，动态调整所述线程的数量。

6.根据权利要求1所述的方法，其特征在于，所述对所述至少两个待迁移数据进行分块，包括：

根据所述待迁移数据的数据标识、所述待迁移数据的时间标识、所述待迁移数据的数据类型和/或所述待迁移数据对应的业务场景，对所述待迁移数据进行分块。

7.根据权利要求1所述的方法，其特征在于，在对所述至少两个待迁移数据进行分块之前，还包括：

根据所述待迁移数据所属的源表结构、以及所述目标数据库目标表结构，对所述待迁移数据对应的字段进行转换。

8.一种数据迁移装置，其特征在于，包括：任务构建模块，数据获取模块，数据分块模块，数据迁移模块；其中，

任务构建模块，用于构建数据迁移任务，所述数据迁移任务指示了目标数据库；

数据获取模块，用于从源数据库中获取至少两个待迁移数据；

数据分块模块，用于对所述至少两个待迁移数据进行分块，形成至少两个数据块；

数据迁移模块，用于根据所述至少两个数据块，利用所述分布式集群中的多个实例分别对应的一个或多个线程执行所述数据迁移任务，以将所述至少两个数据块分别对应的所述待迁移数据迁移至所述目标数据库中。

9.一种数据迁移的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images