CN107391629A - 集群间数据迁移方法、系统、服务器及计算机存储介质 - Google Patents

Abstract

本发明公开了一种集群间数据迁移方法、系统、服务器及计算机存储介质。其中，所述方法用于在第一集群和第二集群之间进行数据迁移，第一集群和第二集群均包括一个主节点和至少一个子节点；方法包括：根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储，提高了数据的迁移速度，减少了数据迁移所需的时间。

Description

集群间数据迁移方法、系统、服务器及计算机存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种集群间数据迁移方法、系统、服务器及计算机存储介质。

背景技术

随着互联网应用的发展，用户量的激增，数据存储数量呈指数递增，传统的单库存储技术无法满足海量数据的存取需求，分布式数据库应用而生，例如，Greenplum数据库。

然而，实际应用过程中，不可避免地涉及数据迁移，例如，线上某个集群需要下线，或者机房维护搬迁的时候，都会面临海量数据迁移的紧迫任务，需要将老集群的数据表迁移到新集群中，以继续提供服务。

现有的技术方案在进行数据迁移时，是两个集群之间直接传输数据，针对每个数据表，每个节点都需要启动远程传输的进程，启动服务所需时间长，而当数据表中数据很少时，传输数据所需时间可能很短，还不及启动服务所需的时间，就会造成数据迁移速度非常慢，而且现有的数据迁移方法，无法在集群间传输空表，遇到空表时，进程就会阻塞，另外，现有的数据迁移方法不支持将子节点数量多的集群的数据迁移至子节点数量少的集群。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的集群间数据迁移方法、集群间数据迁移系统、服务器及计算机存储介质。

根据本发明的一个方面，提供了一种集群间数据迁移方法，用于在第一集群和第二集群之间进行数据迁移，第一集群和第二集群均包括一个主节点和至少一个子节点；所述方法包括：

根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

根据本发明的另一方面，提供了一种集群间数据迁移系统，用于在第一集群和第二集群之间进行数据迁移，该系统包括：第一集群、第二集群、中间存储系统，其中，第一集群和第二集群均包括一个主节点和至少一个子节点；

第一集群中的各个子节点，适于根据数据迁移请求，并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点，适于第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

第二集群中的各个子节点，适于按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

根据本发明的又一方面，提供了一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述集群间数据迁移方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述集群间数据迁移方法对应的操作。

根据本发明提供的方案，根据数据迁移请求，第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储，提高了数据的迁移速度，减少了数据迁移所需的时间，另外，由于第二集群是从中间存储系统读取数据，因此，适用于任意的两个集群之间的数据迁移，而不限于由子节点数量少的集群向子节点数量多的集群迁移数据，或者子节点数量相同的集群之间的数据迁移，适用范围广，且不会出现集群间无法迁移空的数据表的缺陷。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施例一的一种集群间数据迁移方法的流程示意图；

图2示出了根据本发明实施例二的一种集群间数据迁移方法的流程示意图；

图3示出了根据本发明实施例三的一种集群间数据迁移系统的结构示意图；

图4示出了根据本发明实施例五的一种服务器的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

图1示出了根据本发明实施例一的一种集群间数据迁移方法的流程示意图。该方法用于在第一集群和第二集群之间进行数据迁移，第一集群和第二集群均包括一个主节点和至少一个子节点，如图1所示，该方法包括以下步骤：

步骤S100，根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下。

本发明实施例提供的集群间数据迁移方法可以用于在第一集群和第二集群之间进行数据迁移，例如，将第一集群中的数据迁移至第二集群，在接收到数据迁移请求后，第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下，其中，中间存储系统用于存储第一集群中的各个子节点的数据，是独立于第一集群和第二集群的存储系统，中间存储系统是一种分布式文件系统，具有带宽大，容量大，I/O吞吐量大等优点，因此，能够支持数据存储系统的各个子节点并行地将数据写入至中间存储系统中。

步骤S101，第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点。

其中，数据以数据表形式存储于第一集群的主节点和各个子节点中，数据表的数据表结构定义了数据表的字段、类型、主键、外键、索引等信息，因此，在将数据迁移至第二集群之前，需要先将数据表的数据表结构迁移至第二集群，第一集群的主节点存储了所有数据表的数据表结构，因此，第一集群的主节点可以将数据表结构以表文件形式备份至主节点本地，然后将表文件发送至第二集群中的主节点，由第二集群中的主节点将数据表结构同步至第二集群中的各个子节点。

步骤S102，由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

数据重分发策略定义了数据如何进行重分发，第二集群中的各个子节点读取的数据可能并不是由该读取数据的子节点进行存储，因此，就需要按照数据重分发策略对数据进行重分发，分发至应该存储相应数据的子节点，具体地，第二集群中的各个子节点并行地从中间存储系统的指定路径中读取数据，按照第二集群的数据重分发策略存储数据。

根据本发明上述实施例提供的方法，根据数据迁移请求，第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储，提高了数据的迁移速度，减少了数据迁移所需的时间，另外，由于第二集群是从中间存储系统读取数据，因此，适用于任意的两个集群之间的数据迁移，而不限于由子节点数量少的集群向子节点数量多的集群迁移数据，或者子节点数量相同的集群之间的数据迁移，适用范围广，且不会出现集群间无法迁移空的数据表的缺陷。

实施例二

图2示出了根据本发明实施例二的一种集群间数据迁移方法的流程示意图。如图2所示，该方法包括以下步骤：

步骤S200，根据数据迁移请求，启动用于连接第一集群中的各个子节点与HDFS系统的数据写入服务。

其中，中间存储系统包括：HDFS系统，HDFS系统具有带宽大，容量大，I/O吞吐量大等优点，因此，能够支持数据存储系统的各个子节点并行地将数据写入至HDFS系统中。

下面将以HDFS系统为例进行详细介绍。

在接收到数据迁移请求后，第一集群中的各个子节点根据数据迁移请求，启动用于连接该子节点与HDFS系统的数据写入服务，其中，启动的数据写入服务的数量与子节点的数量相同，且每个子节点对应一个数据写入服务，例如，第一集群有10个子节点，则需要启动10个数据写入服务，每个子节点通过启动的数据写入服务将各自的数据写入至HDFS系统。

针对该数据写入服务预先设置有配置文件，数据写入服务通过读取该配置文件，可以获取到用于将数据写入至HDFS系统中的指定路径，其中，该指定路径指明了数据在HDFS系统中的存储路径。

步骤S201，读取以数据表形式分布式存储于各个子节点中的数据，根据指定路径，通过数据写入服务并行地将各自的数据以数据文件的形式写入至HDFS系统的指定路径下。

在本发明实施例中，针对一个数据表，每个子节点仅存储该数据表的部分数据，一个数据表的数据分布式存储于各个子节点中，举例说明，第一集群包括一个主节点和10个子节点，数据表A的数据分布式存储于10个子节点中，表示为A1、A2......A10，每个子节点可以存储有大量的数据表的数据，例如，节点1可以存储有数据表A、B、C、D的部分数据，例如，A1、B1、C1、D1，各个子节点可以读取一个数据表或多个数据表的数据，例如，读取数据A1、B1、C1，然后，根据指定路径，通过启动的数据写入服务并行地将各自的数据以数据文件的形式写入至HDFS系统中。

每个子节点可以存储大量的数据表，为了便于管理，针对不同的数据表，在指定路径下自动创建数据表存储目录，数据表存储目录的目录名至少包含数据表标识，根据数据表存储目录，通过数据写入服务将数据以数据文件的形式写入至HDFS系统中。

一般情况下，每个子节点都会存储大量数据表的数据，为了能够有效地区分不同数据表的数据，且有序地存储数据，在将数据写入至HDFS系统中前，还需要针对不同的数据表，在指定路径下自动创建数从而可据表存储目录，其中，该数据表存储目录的目录名至少包含数据表标识，例如，数据表名称，以根据数据表标识快速识别出各个数据表的数据，举例说明，针对数据表A、B、C、D，在指定路径下自动创建目录名为A、B、C、D的数据表存储目录。

由于每个子节点仅存储该数据表的部分数据，因此，针对每一个数据表，根据该数据表存储目录，通过数据写入服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式写入至HDFS系统中，举例说明，数据表A的数据分布式存储于10个子节点中，表示为A1、A2......A10，因此，可以将部分数据A1、A2......A10分别以一个单独的数据文件的形式存储于目录名为A的数据存储目录下，即在目录名为A的数据存储目录下，存储有10个数据文件，为了能够准确地获知数据的写入情况，这里将以数据表标识、子节点标识对HDFS系统中的数据文件进行命名，并携带有数据写入时间信息，例如时间戳，本次数据写入的时间信息，例如，本次写入时间为2017-6-29。

另外，HDFS系统中存储的数据文件的数量与数据表数量和子节点数量相关，例如，数据表数量为10个，子节点数量为10个，那么HDFS系统中存储的数据文件的数量为10*10，即100个，这里仅是举例说明，不具有任何限定作用。

步骤S202，第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点。

其中，数据以数据表形式存储于第一集群的各个子节点中，数据表的数据表结构定义了数据表的字段、类型、主键、外键、索引等信息，因此，在将数据迁移至第二集群之前，需要先将数据表的数据表结构迁移至第二集群，第一集群的主节点存储了所有数据表的数据表结构，因此，第一集群的主节点可以将数据表结构以表文件形式备份至主节点本地，然后将表文件发送至第二集群中的主节点，由第二集群中的主节点将数据表结构同步至第二集群中的各个子节点。

步骤S203，在数据写入完成后，注销用于连接第一集群中的各个子节点与HDFS系统的数据写入服务。

数据写入服务是服务于数据写入的，在数据写入完成后，该数据写入服务所起的作用已完成，为了节省资源，可以注销用于连接第一集群中的各个子节点与HDFS系统的数据写入服务。

步骤S204，HDFS系统对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。

为了节省用于存储数据所需的存储空间，HDFS系统可以对指定路径下的各数据文件进行压缩处理，存储压缩处理后的数据文件。

步骤S205，根据数据迁移请求，启动用于连接第二集群中的各个子节点与HDFS系统的数据读取服务。

在接收到数据迁移请求后，第二集群中的各个子节点根据数据迁移请求，启动用于连接该子节点与HDFS系统的数据读取服务，其中，启动的数据读取服务的数量与子节点的数量相同，且每个子节点对应一个数据读取服务，例如，第二集群有5个子节点，则需要启动5个数据读取服务，每个子节点通过启动的数据读取服务读取数据以进行存储。

针对该数据读取服务预先设置有配置文件，数据读取服务通过读取该配置文件，可以获取到用于读取HDFS系统中数据的指定路径，其中，该指定路径指明了数据在HDFS系统中的存储路径。

数据可以迁移到任意一个集群系统，集群系统所包含的子节点的数量不受限制，也就是说，第二集群所包含的子节点的数量可以与第一集群所包含的子节点数量相同，也可以不同，例如，第二集群所包含的子节点的数量可以大于或者小于第一集群所包含的子节点数量。

步骤S206，根据指定路径，通过数据读取服务读取HDFS系统中的数据文件。

其中，数据读取服务预先配置有用于读取HDFS系统中数据的指定路径，因此，第二集群中的各个子节点可以根据指定路径，通过数据读取服务读取HDFS系统中的数据文件。这里，各个子节点可以并行的读取数据文件，而且还可以并行读取多个数据表的数据文件，从而提高了数据迁移的效率，节省数据迁移所需时间。

步骤S207，对读取的数据文件进行解压缩处理。

各个子节点读取的数据文件是经过压缩处理的，因此需要先进行解压缩处理，得到解压缩后的数据文件。

步骤S208，按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据，若是，则执行步骤S209；若否，则执行步骤S210。

具体地，在进行数据写入时，每个数据文件存储了若干个数据分片，因此，各个子节点读取到数据文件之后，还需要判断该数据文件中的数据是否属于该子节点需要存储的数据，具体地，可以按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据，若判断出数据分片不属于该子节点待存储的数据，则需要将数据分片分发给相应的节点进行存储；若判断出数据分片数据该子节点待存储的数据，则该子节点将存储对应的数据分片。

在本发明的优选实施例中，可以采用以下方法具体判断数据文件中的各个数据分片是否属于该子节点待存储的数据：确定数据分片中属于预设分布列的数据；对属于预设分布列的数据进行哈希处理，得到哈希值；依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据。

在确定出数据分片中数据预设分布列的数据后，对属于预设分布列的数据进行哈希处理，得到哈希值，例如，可以采用MD5算法或SHA-1算法对属于预设分布列的数据进行哈希处理，这里仅是举例说明，不具有任何限定作用；然后，依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据。

步骤S209，由该子节点存储对应的数据分片。

步骤S210，将数据分片分发给对应的子节点进行存储。

具体地，若依据哈希值判断数据文件中的各个数据分片不属于该子节点待存储的数据的情况下，还可以根据哈希值将数据重分发至对应的子节点进行存储。

步骤S211，在数据读取完成后，注销用于连接第二集群中的各个子节点与HDFS系统的数据读取服务。

数据读取服务是服务于数据读取的，在数据读取完成后，该数据读取服务所起的作用已完成，为了节省资源，可以注销用于连接第二集群中的各个子节点与HDFS系统的数据读取服务。

根据本发明上述实施例提供的方法，根据数据迁移请求，第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储，无需针对每个数据表启动传输进程，提高了数据的迁移速度，减少了数据迁移所需的时间，另外，由于第二集群是从中间存储系统读取数据，因此，适用于任意的两个集群之间的数据迁移，而不限于由子节点数量少的集群向子节点数量多的集群迁移数据，或者子节点数量相同的集群之间的数据迁移，适用范围广，克服了现有技术中无法将子节点数量多的集群的数据迁移至子节点数量少的集群，此外，是将数据表的数据表结构备份至本地再传输至第二集群，从而不会出现集群间无法迁移空的数据表的缺陷。

实施例三

图3示出了根据本发明实施例三的一种集群间数据迁移系统的结构示意图。该系统用于在第一集群和第二集群之间进行数据迁移，如图3所示，该系统包括：第一集群300、第二集群310、中间存储系统320，其中，第一集群包括一个主节点301和至少一个子节点302，第二集群均包括一个主节点311和至少一个子节点312。

第一集群中的各个子节点，适于根据数据迁移请求，并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点，适于第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

第二集群中的各个子节点，适于按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

优选地，第一集群中的各个子节点进一步适于：根据数据迁移请求，启动用于连接第一集群中的各个子节点与中间存储系统的数据写入服务，其中，数据写入服务预先配置有用于将数据写入至中间存储系统中的指定路径；

读取以数据表形式分布式存储于各个子节点中的数据，根据指定路径，通过数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

优选地，第一集群中的各个子节点还适于：在数据写入完成后，注销用于连接第一集群中的各个子节点与中间存储系统的数据写入服务。

优选地，第一集群中的各个子节点进一步适于：针对不同的数据表，在指定路径下自动创建数据表存储目录，数据表存储目录的目录名至少包含数据表标识；

根据数据表存储目录，通过数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

其中，针对一个数据表，每个子节点存储该数据表的部分数据；

优选地，第一集群中的各个子节点进一步适于：针对每一个数据表，通过数据写入服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式写入至中间存储系统的指定路径下。

优选地，中间存储系统，适于对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。

其中，中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有数据写入时间信息，中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。

优选地，第二集群中的各个子节点进一步适于：根据数据迁移请求，启动用于连接第二集群中的各个子节点与中间存储系统的数据读取服务，其中，数据读取服务预先配置有用于读取中间存储系统中数据的指定路径；

根据指定路径，通过数据读取服务读取中间存储系统中的数据文件；

按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

若是，则由该子节点存储对应的数据分片；

若否，则将数据分片分发给对应的子节点进行存储。

优选地，第二集群中的各个子节点进一步适于：确定数据分片中属于预设分布列的数据；

对属于预设分布列的数据进行哈希处理，得到哈希值；

依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

分发单元进一步适于：若数据文件中的各个数据分片不属于该子节点待存储的数据，则根据哈希值将数据分发至对应的子节点进行存储。

优选地，第二集群中的各个子节点还适于：对读取的数据文件进行解压缩处理。

优选地，第二集群中的各个子节点还适于：在数据读取完成后，注销用于连接第二集群中的各个子节点与中间存储系统的数据读取服务。

优选地，第一集群中的子节点数量大于第二集群中的子节点数量。

优选地，中间存储系统包括：HDFS系统。

根据本发明上述实施例提供的系统，根据数据迁移请求，第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储，提高了数据的迁移速度，减少了数据迁移所需的时间，另外，由于第二集群是从中间存储系统读取数据，因此，适用于任意的两个集群之间的数据迁移，而不限于由子节点数量少的集群向子节点数量多的集群迁移数据，或者子节点数量相同的集群之间的数据迁移，适用范围广，且不会出现集群间无法迁移空的数据表的缺陷。

实施例四

本申请实施例四提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的集群间数据迁移方法。

实施例五

图4示出了根据本发明实施例五的一种服务器的结构示意图，本发明具体实施例并不对服务器的具体实现做限定。

如图4所示，该服务器可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述集群间数据迁移方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行以下操作：根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

在一种可选的实施方式中，程序410还用于使得处理器402在根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下时：

根据数据迁移请求，启动用于连接第一集群中的各个子节点与中间存储系统的数据写入服务，其中，数据写入服务预先配置有用于将数据写入至中间存储系统中的指定路径；

读取以数据表形式分布式存储于各个子节点中的数据，根据指定路径，通过数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

在一种可选的实施方式中，程序410还用于使得处理器402执行以下操作：在数据写入完成后，注销用于连接第一集群中的各个子节点与中间存储系统的数据写入服务。

在一种可选的实施方式中，程序410还用于使得处理器402在根据指定路径，通过数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下时：

针对不同的数据表，在指定路径下自动创建数据表存储目录，数据表存储目录的目录名至少包含数据表标识；

根据数据表存储目录，通过数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

在一种可选的实施方式中，针对一个数据表，每个子节点存储该数据表的部分数据；

程序410还用于使得处理器402在通过数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下时：

针对每一个数据表，通过数据写入服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式写入至中间存储系统的指定路径下。

在一种可选的实施方式中，程序410还用于使得处理器402执行以下操作：对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。

在一种可选的实施方式中，中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有数据写入时间信息。

在一种可选的实施方式中，中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。

在一种可选的实施方式中，程序410还用于使得处理器402在由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储时：

根据数据迁移请求，启动用于连接第二集群中的各个子节点与中间存储系统的数据读取服务，其中，数据读取服务预先配置有用于读取中间存储系统中数据的指定路径；

根据指定路径，通过数据读取服务读取中间存储系统中的数据文件；

按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

若是，则由该子节点存储对应的数据分片；

若否，则将数据分片分发给对应的子节点进行存储。

在一种可选的实施方式中，程序410还用于使得处理器402在按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据时：

确定数据分片中属于预设分布列的数据；

对属于预设分布列的数据进行哈希处理，得到哈希值；

依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

若否，则根据哈希值将数据分发至对应的子节点进行存储。

在一种可选的实施方式中，程序410还用于使得处理器402执行以下操作：对读取的数据文件进行解压缩处理。

在一种可选的实施方式中，程序410还用于使得处理器402执行以下操作：在数据读取完成后，注销用于连接第二集群中的各个子节点与中间存储系统的数据读取服务。

在一种可选的实施方式中，第一集群中的子节点数量大于第二集群中的子节点数量。

在一种可选的实施方式中，中间存储系统包括：HDFS系统。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的集群间数据迁移设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了：

A1.一种集群间数据迁移方法，用于在第一集群和第二集群之间进行数据迁移，第一集群和第二集群均包括一个主节点和至少一个子节点；所述方法包括：

根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将所述表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

A2.根据A1所述的方法，其中，所述根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下进一步包括：

根据数据迁移请求，启动用于连接第一集群中的各个子节点与中间存储系统的数据写入服务，其中，所述数据写入服务预先配置有用于将数据写入至中间存储系统中的指定路径；

读取以数据表形式分布式存储于各个子节点中的数据，根据所述指定路径，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

A3.根据A2所述的方法，其中，所述方法还包括：在数据写入完成后，注销用于连接第一集群中的各个子节点与中间存储系统的数据写入服务。

A4.根据A2或A3所述的方法，其中，所述根据所述指定路径，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下进一步包括：

针对不同的数据表，在所述指定路径下自动创建数据表存储目录，所述数据表存储目录的目录名至少包含数据表标识；

根据所述数据表存储目录，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

A5.根据A2-A4任一项所述的方法，其中，针对一个数据表，每个子节点存储该数据表的部分数据；

所述通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下进一步包括：

针对每一个数据表，通过数据写入服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式写入至中间存储系统的指定路径下。

A6.根据A1-A5任一项所述的方法，其中，所述方法还包括：

所述中间存储系统对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。

A7.根据A1-A6任一项所述的方法，其中，所述中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有数据写入时间信息。

A8.根据A1-A7任一项所述的方法，其中，所述中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。

A9.根据A1-A8任一项所所述的方法，其中，所述由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储进一步包括：

根据数据迁移请求，启动用于连接第二集群中的各个子节点与中间存储系统的数据读取服务，其中，所述数据读取服务预先配置有用于读取中间存储系统中数据的指定路径；

根据所述指定路径，通过所述数据读取服务读取所述中间存储系统中的数据文件；

按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

若是，则由该子节点存储对应的数据分片；

若否，则将数据分片分发给对应的子节点进行存储。

A10.根据A9所述的方法，其中，所述按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据进一步包括：

确定数据分片中属于预设分布列的数据；

对属于预设分布列的数据进行哈希处理，得到哈希值；

依据所述哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

若否，则根据所述哈希值将数据分发至对应的子节点进行存储。

A11.根据A1所述的方法，其中，在按照数据重分发策略将数据文件中的分发给对应的子节点进行存储之前，所述方法还包括：

对读取的数据文件进行解压缩处理。

A12.根据A1-A11任一项所述的方法，其中，所述方法还包括：在数据读取完成后，注销用于连接第二集群中的各个子节点与中间存储系统的数据读取服务。

A13.根据A1-A12任一项所述的方法，其中，所述第一集群中的子节点数量大于第二集群中的子节点数量。

A14.根据A1-A13任一项所述的方法，其中，所述中间存储系统包括：HDFS系统。

B15.一种集群间数据迁移系统，用于在第一集群和第二集群之间进行数据迁移，所述系统包括：第一集群、第二集群、中间存储系统，其中，第一集群和第二集群均包括一个主节点和至少一个子节点；

所述第一集群中的各个子节点，适于根据数据迁移请求，并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点，适于第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将所述表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

第二集群中的各个子节点，适于按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

B16.根据B15所述的系统，其中，所述第一集群中的各个子节点进一步适于：根据数据迁移请求，启动用于连接第一集群中的各个子节点与中间存储系统的数据写入服务，其中，所述数据写入服务预先配置有用于将数据写入至中间存储系统中的指定路径；

读取以数据表形式分布式存储于各个子节点中的数据，根据所述指定路径，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

B17.根据B16所述的系统，其中，第一集群中的各个子节点还适于：在数据写入完成后，注销用于连接第一集群中的各个子节点与中间存储系统的数据写入服务。

B18.根据B16或B17所述的系统，其中，所述第一集群中的各个子节点进一步适于：针对不同的数据表，在所述指定路径下自动创建数据表存储目录，所述数据表存储目录的目录名至少包含数据表标识；

根据所述数据表存储目录，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

B19.根据B16-B18任一项所述的系统，其中，针对一个数据表，每个子节点存储该数据表的部分数据；

所述第一集群中的各个子节点进一步适于：针对每一个数据表，通过数据写入服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式写入至中间存储系统的指定路径下。

B20.根据B15-B19任一项所述的系统，其中，所述中间存储系统，适于对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。

B21.根据B15-B20任一项所述的系统，其中，所述中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有数据写入时间信息。

B22.根据B15-B21任一项所述的系统，其中，所述中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。

B23.根据B15-B22任一项所所述的系统，其中，所述第二集群中的各个子节点进一步适于：根据数据迁移请求，启动用于连接第二集群中的各个子节点与中间存储系统的数据读取服务，其中，所述数据读取服务预先配置有用于读取中间存储系统中数据的指定路径；

根据所述指定路径，通过所述数据读取服务读取所述中间存储系统中的数据文件；

按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

若是，则由该子节点存储对应的数据分片；

若否，则将数据分片分发给对应的子节点进行存储。

B24.根据B23所述的系统，其中，所述第二集群中的各个子节点进一步适于：确定数据分片中属于预设分布列的数据；

对属于预设分布列的数据进行哈希处理，得到哈希值；

依据所述哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；

所述分发单元进一步适于：若数据文件中的各个数据分片不属于该子节点待存储的数据，则根据所述哈希值将数据分发至对应的子节点进行存储。

B25.根据B15所述的系统，其中，所述第二集群中的各个子节点还适于：对读取的数据文件进行解压缩处理。

B26.根据B15-B25任一项所述的系统，其中，所述第二集群中的各个子节点还适于：在数据读取完成后，注销用于连接第二集群中的各个子节点与中间存储系统的数据读取服务。

B27.根据B15-B26任一项所述的系统，其中，所述第一集群中的子节点数量大于第二集群中的子节点数量。

B28.根据B15-B27任一项所述的系统，其中，所述中间存储系统包括：HDFS系统。

C29.一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如A1-A14中任一项所述的集群间数据迁移方法对应的操作。

D30.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如A1-A14中任一项所述的集群间数据迁移方法对应的操作。

Claims (10)

1.一种集群间数据迁移方法，用于在第一集群和第二集群之间进行数据迁移，第一集群和第二集群均包括一个主节点和至少一个子节点；所述方法包括：

根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将所述表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

由第二集群中的各个子节点按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

2.根据权利要求1所述的方法，其中，所述根据数据迁移请求，由第一集群中的各个子节点并行地将各自的数据写入至中间存储系统的指定路径下进一步包括：

根据数据迁移请求，启动用于连接第一集群中的各个子节点与中间存储系统的数据写入服务，其中，所述数据写入服务预先配置有用于将数据写入至中间存储系统中的指定路径；

读取以数据表形式分布式存储于各个子节点中的数据，根据所述指定路径，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

3.根据权利要求2所述的方法，其中，所述方法还包括：在数据写入完成后，注销用于连接第一集群中的各个子节点与中间存储系统的数据写入服务。

4.根据权利要求2或3所述的方法，其中，所述根据所述指定路径，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下进一步包括：

针对不同的数据表，在所述指定路径下自动创建数据表存储目录，所述数据表存储目录的目录名至少包含数据表标识；

根据所述数据表存储目录，通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下。

5.根据权利要求2-4任一项所述的方法，其中，针对一个数据表，每个子节点存储该数据表的部分数据；

所述通过所述数据写入服务并行地将各自的数据以数据文件的形式写入至中间存储系统的指定路径下进一步包括：

针对每一个数据表，通过数据写入服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式写入至中间存储系统的指定路径下。

6.根据权利要求1-5任一项所述的方法，其中，所述方法还包括：

所述中间存储系统对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。

7.根据权利要求1-6任一项所述的方法，其中，所述中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有数据写入时间信息。

8.一种集群间数据迁移系统，用于在第一集群和第二集群之间进行数据迁移，所述系统包括：第一集群、第二集群、中间存储系统，其中，第一集群和第二集群均包括一个主节点和至少一个子节点；

所述第一集群中的各个子节点，适于根据数据迁移请求，并行地将各自的数据写入至中间存储系统的指定路径下；

第一集群的主节点，适于第一集群的主节点将数据表结构以表文件形式备份至主节点本地，并将所述表文件发送至第二集群中的主节点，以供第二集群中的主节点将数据表结构同步至第二集群中的各个子节点；

第二集群中的各个子节点，适于按照第二集群的数据重分发策略并行地从中间存储系统的指定路径中读取数据并存储。

9.一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的集群间数据迁移方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的集群间数据迁移方法对应的操作。