CN111708763A - 分片集群的数据迁移方法、装置和分片集群系统 - Google Patents

Abstract

本公开提供了一种分片集群的数据迁移方法、装置和分片集群系统，涉及云计算领域。其中，方法应用于目标服务器；目标服务器上运行有MongoDB分片集群中目标集群的数据分片；目标服务器与数据源服务器通信连接；数据源服务器上运行有数据源集群的数据分片；方法包括：接收数据源服务器提供的第一数据分片中的分片数据；第一数据分片属于数据源集群；将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。该方式可以实现数据在集群间迁移时，数据结构不发生变化，更加便于后续数据的访问和维护。

Description

分片集群的数据迁移方法、装置和分片集群系统

技术领域

本公开涉及数据存储技术领域，尤其是涉及一种分片集群的数据迁移方法、装置和分片集群系统。

背景技术

相关技术中，在对MongoDB分片集群中的数据进行备份或迁移时，大多是以集群为单位，在集群之间进行迁移，具体可以通过集群的入口，即数据路由服务mogos，将集群A中的数据写入集群B中，从而实现数据的备份或迁移。但是，当集群A中的数据写入到集群B后，数据的结构发生了变化，例如，本来在数据分片shard1中的数据，写入到集群B后，可能就到了shard2中，导致数据结构发生了变化，不利于后续数据的访问和维护。

发明内容

有鉴于此，本公开的目的在于提供一种分片集群的数据迁移方法、装置和分片集群系统，以实现数据在集群间迁移时，数据结构不发生变化，更加便于后续数据的访问和维护。

第一方面，本公开实施例提供了一种分片集群的数据迁移方法，方法应用于目标服务器；目标服务器上运行有MongoDB分片集群中目标集群的数据分片；目标服务器与数据源服务器通信连接；数据源服务器上运行有数据源集群的数据分片；方法包括：接收数据源服务器提供的第一数据分片中的分片数据；第一数据分片属于数据源集群；将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。

上述第一数据分片包括多个分片节点；多个分片节点均保存有第一数据分片的分片数据；第二数据分片包括多个分片节点；将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上的步骤，包括：将第一数据分片中的分片数据保存至第二数据分片中的目标分片节点中；生成分片数据的副本数据；将副本数据保存至第二数据分片中，除目标分片节点以外的分片节点中。

上述目标服务器上还运行有MongoDB分片集群中目标集群的配置服务；数据源服务器上还运行有数据源集群的配置服务；上述方法包括：接收数据源服务器提供的数据源集群的配置服务的配置数据；将配置数据保存至目标集群中的配置服务上。

上述将配置数据保存至目标集群中的配置服务上的步骤之后，上述方法还包括：将配置数据中，与数据源集群相关联的信息，修改为与目标集群相关联的信息。

上述配置数据包括数据块配置表、数据库配置表和分片配置表；上述将配置数据中，与数据源集群相关联的信息，修改为与目标集群相关联的信息的步骤，包括：在数据块配置表中，针对每个数据块，将该数据块在数据源集群中所属的分片信息，修改为该数据块在目标集群中所属的分片信息；在数据库配置表中，针对每个数据库，将该数据库在数据源集群中所属的分片信息，修改为该数据库在目标集群中所属的分片信息；在分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为目标集群中与该数据分片对应的数据分片的通信连接信息。

第二方面，本公开实施例提供了一种分片集群的数据迁移方法，方法应用于数据源服务器；数据源服务器上运行有MongoDB分片集群中数据源集群的数据分片；数据源服务器与目标服务器通信连接；目标服务器上运行有目标集群的数据分片；方法包括：向目标服务器提供第一数据分片中的分片数据，以通过目标服务器将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；其中，第一数据分片属于数据源集群，第二数据分片属于目标集群。

上述数据源服务器上还运行有MongoDB分片集群中数据源集群的配置服务；目标服务器上还运行有目标集群的配置服务；方法包括：向目标服务器提供数据源集群的配置服务的配置数据，以通过目标服务器将配置数据保存至目标集群中的配置服务上。

第三方面，本公开实施例提供了一种分片集群系统，系统包括数据源集群和目标集群；数据源集群和目标集群中均运行有数据分片；数据源集群用于：向目标集群提供第一数据分片中的分片数据；第一数据分片属于数据源集群；目标集群用于：将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。

上述第一数据分片包括多个分片节点；多个分片节点均保存有第一数据分片的分片数据；第二数据分片包括多个分片节点；目标集群还用于：将第一数据分片中的分片数据保存至第二数据分片中的目标分片节点中；生成分片数据的副本数据；将副本数据保存至第二数据分片中，除目标分片节点以外的分片节点中。

上述数据源集群中还运行有配置服务；数据源集群还用于：向目标集群提供数据源集群的配置服务的配置数据；目标集群还用于：将配置数据保存至目标集群中的配置服务上。

上述目标集群还用于：将配置数据中，与数据源集群相关联的信息，修改为与目标集群相关联的信息。

上述配置数据包括数据块配置表、数据库配置表和分片配置表；上述目标集群还用于：在数据块配置表中，针对每个数据块，将该数据块在数据源集群中所属的分片信息，修改为该数据块在目标集群中所属的分片信息；在数据库配置表中，针对每个数据库，将该数据库在数据源集群中所属的分片信息，修改为该数据库在目标集群中所属的分片信息；在分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为目标集群中与该数据分片对应的数据分片的通信连接信息。

第四方面，本公开实施例提供了一种分片集群的数据迁移装置，装置设置于目标服务器；目标服务器上运行有MongoDB分片集群中目标集群的数据分片；目标服务器与数据源服务器通信连接；数据源服务器上运行有数据源集群的数据分片；装置包括：数据接收模块，用于接收数据源服务器提供的第一数据分片中的分片数据；第一数据分片属于数据源集群；数据保存模块，用于将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。

第五方面，本公开实施例提供了一种分片集群的数据迁移装置，装置设置于数据源服务器；数据源服务器上运行有MongoDB分片集群中数据源集群的数据分片；数据源服务器与目标服务器通信连接；目标服务器上运行有目标集群的数据分片；装置包括：数据提供模块，用于向目标服务器提供第一数据分片中的分片数据，以通过目标服务器将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；其中，第一数据分片属于数据源集群，第二数据分片属于目标集群。

第六方面，本公开实施例提供了一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述分片集群的数据迁移方法，或者上述分片集群系统。

第七方面，本公开实施例提供了一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述分片集群的数据迁移方法，或者上述分片集群系统。

本公开实施例带来了以下有益效果：

上述分片集群的数据迁移方法、装置和分片集群系统，如果接收到数据源服务器提供的属于数据源集群的第一数据分片中的分片数据，将第一数据分片中的分片数据保存至与第一数据分片对应的属于目标集群的第二数据分片上。该方式中，以数据分片为单位进行数据迁移，数据源集群中同一数据分片上的分片数据，被迁移到目标集群后，依然处在同一个数据分片上，因而该方式可以保证数据在集群间迁移时，数据结构不发生变化，更加便于后续数据的访问和维护，提高数据存储的可靠性。

本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种分片集群的数据迁移方法的场景示意图；

图2为本公开实施例提供的一种分片集群的数据迁移方法的流程图；

图3为本公开实施例提供的另一种分片集群的数据迁移方法的流程图；

图4为本公开实施例提供的一种分片集群系统的示意图；

图5为本公开实施例提供的一种分片集群的数据迁移装置的示意图；

图6为本公开实施例提供的另一种分片集群的数据迁移装置的示意图；

图7为本公开实施例提供的一种服务器的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

目前，在对MongoDB分片集群中的数据进行备份或迁移时，例如将集群A中的数据写入集群B中，通常先将集群A中的数据拉取出来，然后再将拉取出来的数据插入至集群B中，这种方式可能使迁移后的数据的结构发生了变化，数据在集群A和集群B中的结构不同，不利于数据的访问和维护。

基于此，本实施例中，提供了一种分片集群的数据迁移方法、装置和分片集群系统，使数据迁移前后的结构相同，实现数据的同构迁移。该技术可以应用于各类分片集群的数据存储系统中，尤其可以应用于基于MongoDB建立的数据存储系统。

本实施例首先提供一种分片集群的数据迁移方法，该方法应用于目标服务器；如图1所示，该目标服务器上运行有MongoDB分片集群中目标集群的数据分片；该目标服务器与数据源服务器通信连接；数据源服务器上运行有数据源集群的数据分片；通常，上述MongoDB分片集群中可以包含多个集群，目标集群和数据源集群均属于该MongoDB分片集群中，本实施例实现的是集群间的数据迁移。

如图2所示，该分片集群的数据迁移方法包括：

步骤S202，接收数据源服务器提供的第一数据分片中的分片数据；该第一数据分片属于所述数据源集群；

数据源服务器中运行有数据源集群的数据分片，也是待迁移数据的出发地，每次数据迁移时，可以仅迁移数据源集群的一个数据分片上的数据，也可以迁移多个数据分片上的数据。数据分片也可以称为shard。上述第一数据分片可以为预先指定的数据分片，具体可以根据各个数据分片中保存的数据的属性，确定该第一数据分片。其中，数据的属性可以为数据所属的用户，数据类型等。

上述第一数据分片的分片数据，即存储在第一数据分片上的数据。目标服务器中运行有目标集群的数据分片，也是待迁移数据的目的地，目标服务器可以向数据源服务器拉取待迁移的第一数据分片上的分片数据，也可以由数据源服务器主动向目标服务器发送待迁移的第一数据分片上的分片数据。

步骤S204，将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；该第二数据分片属于目标集群。

在目标集群中，可以预先准备用于保存来自数据源集群的分片数据的数据分片，如果数据源服务器提供数据源集群中一个数据分片的分片数据，则在目标集群中，预先准备一个数据分片，即上述第二数据分片，用于保存来自数据源集群的数据分片的分片数据；如果数据源服务器提供数据源集群中的多个数据分片的分片数据，则在目标集群中，预先准备与之数量相同的多个数据分片，用于保存数据源服务器提供的数据分片的分片数据。为了使目标集群中与预设数据分片对应的数据分片中的数据结构，与数据源集群中预设数据分片中的数据结构相同，目标集群中与预设数据分片对应的数据分片可以不再存储其他数据，专用于存储目标集群中预设数据分片中的数据。

例如，数据源服务器提供了数据源集群中数据分片A、数据分片B和数据分片C的分片数据，则预先在目标集群中准备数据分片A对应的数据分片A’，数据分片B对应的数据分片B’，数据分片C对应的数据分片C’，然后，将数据分片A对应的分片数据保存至数据分片A’，将数据分片B对应的分片数据保存至数据分片B’,将数据分片C对应的分片数据保存至数据分片C’。

另一种实现方式中，数据源服务器提供的分片数据可以携带有分片标识，将携带有同一个分片标识的分片数据确定为同一个数据分片中的分片数据，然后从数据源集群中获取一个数据分片，将携带有同一个分片标识的分片数据保存至该数据分片中。

上述一种分片集群的数据迁移方法，如果接收到数据源服务器提供的属于数据源集群的第一数据分片中的分片数据，将第一数据分片中的分片数据保存至与第一数据分片对应的属于目标集群的第二数据分片上。该方式中，以数据分片为单位进行数据迁移，数据源集群中同一数据分片上的分片数据，被迁移到目标集群后，依然处在同一个数据分片上，因而该方式可以保证数据在集群间迁移时，数据结构不发生变化，更加便于后续数据的访问和维护，提高数据存储的可靠性。

本实施例还提供另一种分片集群的数据迁移方法，本实施例重点描述将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上的具体实现方式。通常，为了可靠地存储数据，一个数据通常有多个副本数据，因此，在集群中的一个数据分片包括多个分片节点，一个数据分片中的多个分片节点保存的数据相同，即同一数据分片的多个分片节点均保存有该数据分片的分片数据。对于上述第一数据分片和第二数据分片而言，第一数据分片包括多个分片节点；多个分片节点均保存有第一数据分片的分片数据；第二数据分片也包括多个分片节点。

基于此，上述将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上的步骤，具体可以通过下述方式实现：首先将第一数据分片中的分片数据保存至第二数据分片中的目标分片节点中；该目标分片节点可以预先指定，也可以从第二数据分片中随机选取一个分片节点，作为目标分片节点。

然后，生成分片数据的副本数据；将副本数据保存至第二数据分片中，除所述目标分片节点以外的分片节点中。这样，分片数据就以多副本的形式保存到了第二数据分片中。例如，如果目标集群中，第二数据分片预设有三个分片节点，首选从这三个分片节点中选取一个分片节点，作为目标分片节点，将第一数据分片中的分片数据保存到该目标分片节点中，然后生成该分片数据的两份副本数据，将这两份副本数据分别保存到除目标分片节点中的另外两个分片节点中。

需要说明的是，目标集群中的数据分片的分片节点数量可以预设，目标集群中的不同数据分片，其分片节点数量也可以不同；同理，上述数据源集群中的数据分片的分片节点数量可以与目标集群中的数据分片的分片节点数量相同，也可以不同。

另外，集群的数据分片中通常设置有一个config库，该config库用于保存该数据分片相关的一些缓存数据，如果该数据分片中的分片数据进行迁移，则该数据分片中的config库中的数据，通常不迁移。集群的数据分片中的每个分片节点通常设置有一个local库，由上述可知，同一数据分片的多个分片节点保存的分片数据相同，而每个分片节点对应的local库中保存有该分片节点的私有数据，即使同一个数据分片中的分片节点，其local库中保存的私有数据也可能不同。如果数据分片中的分片数据进行迁移，则该数据分片中各个分片节点中的local库中的数据，通常不迁移。

通常，集群中还设置有配置服务，该配置服务基于配置数据，可以为用户提供数据访问功能。上述目标服务器上还运行有MongoDB分片集群中目标集群的配置服务；上述数据源服务器上还运行有数据源集群的配置服务。在分片数据迁移时，如果仅迁移一部分数据分片中的分片数据，在迁移后，可能进行修改目标集群和数据源集群中相关的配置数据。但如果在分片数据迁移时，迁移了数据源集群中全部数据分片的分片数据，此时还需要迁移数据源集群中的配置数据。

基于此，在迁移配置数据时，首先接收数据源服务器提供的数据源集群的配置服务的配置数据，然后将该配置数据保存至目标集群中的配置服务上。

其中，配置数据中通常包含集群中数据与数据分片的映射关系，当接收到数据访问请求时，配置服务可以查找配置数据中的映射关系，得到数据访问请求对应的数据保存在哪个数据分片上，进而再从该数据分片上获取数据访问请求对应的数据。配置数据通常以config库的形式保存，因而在迁移配置数据时，将数据源集群中保存配置数据的config库，迁移至目标集群中保存配置数据的config库中。另外，配置服务中通常还有一个local库，用于保存配置服务在运行时产生的缓存数据，配置数据在迁移时，local库中的数据通常不迁移。

上述集群的数据分片是多副本集群的形式，同样，集群中的配置数据也是多副本集群的形式，即，配置数据通常以多副本的形式保存在集群中，配置数据迁移时，仅迁移配置数据本身即可，副本数据无需迁移；配置数据迁移到新的集群后，再生成配置数据的副本数据。

由于数据更换了集群，所以从数据源集群中迁移过来的配置数据不一定全部适用于目标集群，因而需要对迁移过来的配置数据进行修改。具体而言，可以将配置数据中，与数据源集群相关联的信息，修改为与目标集群相关联的信息。例如，可以将配置数据中的数据源集群对应的集群标识，修改为目标集群对应的集群标识；如果分片数据迁移后的数据分片的标识也发生了变化，则还需要修改数据分片的标识。

具体的，目标集群中的配置服务中通常包括多个服务节点，从数据源集群迁移配置数据后，可以将该配置数据保存至多个服务节点中的一个节点中，然后再生成该配置数据的副本数据，并将该副本数据保存在其他服务节点中。然后再逐一对每个服务节点中的配置数据，进行修改。

在实际实现时，配置数据通常以配置表的形式实现，该配置数据包括数据块配置表、数据库配置表和分片配置表；在修改配置数据的过程中，需要对每个配置表进行修改，例如，可以在数据块配置表中，针对每个数据块，将该数据块在数据源集群中所属的分片信息，修改为该数据块在所述目标集群中所属的分片信息；该数据块配置表也可以称为config.chunks表，一个用户的用户数据通常包括多条数据，该多条数据被划分为一个或多个数据块，然后再以数据块为单位，保存在数据分片中，一个数据分片可以保存一个或多个数据块。上述数据块配置表记录有数据块与数据分片的映射关系，即哪个数据块保存在哪个数据分片中。数据分片中的数据块从数据源集群迁移到目标集群后，数据块所属的数据分片发生了变化，因而需要在数据块配置表中，修改各个数据块所属的分片信息；该分片信息可以理解为数据块所属的数据分片，该分片信息原来记录有数据块在数据源集群中所属的数据分片，该分片信息需要修改为数据库在目标集群中所属的数据分片。

作为示例，上述数据块配置表可以为：

{"_id":"testdb_1_2.table1-id_MinKey","lastmod":Timestamp(2,2),"lastmodEpoch":ObjectId("5de481799360818be8e2a3c5"),"ns":"testdb_1_2.table1","min":{"id":{"$minKey":1}},"max":{"id":NumberLong("-4611686018427387902")},"shard":"86cc3191-572d-481a-952c-262eddc2d326"}

其中，“shard”字段中保存了数据块所属的数据分片，需要对“shard”字段中的信息进行修改。

另外，还需要修改上述配置数据中的数据库配置表，具体可以在数据库配置表中，针对每个数据库，将该数据库在数据源集群中所属的分片信息，修改为该数据库在所述目标集群中所属的分片信息。该数据库配置表也可以称为config.databases表。一个用户的用户数据可以以数据库的形式存储，例如，用户数据在逻辑上被划分为一个或多个数据库，每个数据库可以包含一个或多个数据表。上述数据库配置表记录有数据库与数据分片的映射关系，即哪个数据库保存在哪个数据分片中。数据分片中的数据库从数据源集群迁移到目标集群后，数据库所属的数据分片发生了变化，因而需要在数据库配置表中，修改各个数据库所属的分片信息；该分片信息可以理解为数据库所属的数据分片，该分片信息原来记录有数据库在数据源集群中所属的数据分片，该分片信息需要修改为数据库在目标集群中所属的数据分片。

如果一个数据库中的数据较少，该数据库可以存储在一个数据分片中，如果该数据库中的数据较多，该数据库可以存储在多个数据分片中；如果一个数据库存储在多个数据分片中，通常会有一个主数据分片，其他数据分片为副数据分片；在访问该数据库时，通常先访问主数据分片，如果主数据分片中没有要访问的数据，再访问副分片数据。

作为示例，上述数据库配置表可以为：

{"_id":"testdb_1_2","primary":"347030a9-7a1e-4dbf-a5d4-7e6b1e05d8f2","partitioned":true}

其中，“primary”字段中保存了数据库所属的主数据分片；“partitioned”字段用于表示该数据库中的数据是否存储在了多个数据分片中，如果该字段的值为“true”，则代表该数据库中的数据存储在了多个数据分片中；如果该字段的值为“false”，则代表该数据库中的数据仅存储在一个数据分片中。

对于上述分片配置表，在分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为目标集群中与该数据分片对应的数据分片的通信连接信息。该分片配置表也可以称为config.chards表，记录有集群中分片数据的元信息，具体而言，该分片配置中记录有集群中所包含的各个数据分片的标识信息，还记录有各个数据分片的IP(InternetProtocol，网际互连协议)地址、端口号等通信连接信息。数据分片从数据源集群迁移到目标集群后，数据分片的分片标识以及通信连接信息通常也发生了变化，因而需要在分片配置表中，修改各个数据分片的分片标识和通信连接信息。具体地，将数据分片在数据源集群中的分片标识和通信连接信息，修改为该数据分片在目标集群中的分片标识和通信连接信息。

作为示例，上述分片配置表可以为：

{"_id":"86cc3191-572d-481a-952c-262eddc2d326","state":1,"tags":["cqs"],"host":"86cc3191-572d-481a-952c-262eddc2d326/10.111.51.23:27017,10.111.51.40:27017"}

其中，“_id”字段保存了数据分片的分片标识；“host”字段保存了数据分片的IP地址、端口号等通信连接信息。

另外，除了上述数据分片、配置服务，集群中通常还有mongos服务，配置数据中还包括mongos服务相关的配置表，也可以称为mongos表；由于集群中的mongos服务的启动时间，位于配置服务的启动时间之后，所以上述mongos表不需要修改。

上述分片集群的数据迁移方法，两个集群之间进行数据迁移时，两集群之间的数据分片一一对应，将数据分片中的分片数据迁移至对应的数据分片中，同时，将集群的配置数据也进行迁移，配置数据迁移后，再根据当前的集群信息对配置数据进行修改，因而该方式可以保证数据在集群间迁移时，数据结构不发生变化，对MongoDB分片集群进行同构迁移，迁移后的用户数据分布完全一致，更加便于后续数据的访问和维护，提高数据存储的可靠性。

上述实施例中，从接收分片数据的集群的角度描述了分片集群的数据迁移方法，与之相应地，本实施例从提供分片数据的集群的角度描述分片集群的数据迁移方法；该方法应用于数据源服务器；该数据源服务器上运行有MongoDB分片集群中数据源集群的数据分片；数据源服务器与目标服务器通信连接；目标服务器上运行有目标集群的数据分片；

如图3所示，该方法包括如下步骤：

步骤S302，向目标服务器提供第一数据分片中的分片数据，以通过目标服务器将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；其中，第一数据分片属于数据源集群，第二数据分片属于目标集群。

在实际实现时，数据源服务器可以主动向目标服务器发送分片数据，也可以在接收到目标服务器的指令后，再向目标服务器发送分片数据。上述第一数据分片，可以预先由工作人员指定。

另外，上述数据源服务器上还运行有MongoDB分片集群中数据源集群的配置服务；目标服务器上还运行有目标集群的配置服务；配置服务通常用于基于一些配置数据，实现数据的访问和维护等功能。因此，除了迁移分片数据，还需要迁移配置服务相关的配置数据。在具体实现时，数据源服务器向目标服务器提供数据源集群的配置服务的配置数据，以通过目标服务器将配置数据保存至目标集群中的配置服务上。

配置数据保存后，通常还需要对配置数据中的相关信息进行修改，例如，修改配置数据中与集群相关的字段信息、与数据分片相关的字段信息等等。

上述分片集群的数据迁移方法，数据源服务器向目标服务器提供属于数据源集群的第一数据分片中的分片数据，以通过目标服务器将第一数据分片的分片数据保存至与第一数据分片对应的属于目标集群中的第二数据分片上；同时，将集群的配置数据也进行迁移，配置数据迁移后，再根据当前的集群信息对配置数据进行修改，因而该方式可以保证数据在集群间迁移时，数据结构不发生变化，对MongoDB分片集群进行同构迁移，迁移后的用户数据分布完全一致，更加便于后续数据的访问和维护，提高数据存储的可靠性。

对应于上述方法实施例，本实施例还提供一种分片集群系统，该系统具体可以为MongoDB分片集群系统；如图4所示，该系统包括数据源集群40和目标集群41；该数据源集群和目标集群中均运行有数据分片；其中，数据源集群用于：向目标集群提供第一数据分片中的分片数据；第一数据分片属于数据源集群；目标集群用于：将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。

上述目标集群中的数据分片包括多个分片节点；对于上述第一数据分片和第二数据分片而言，第一数据分片包括多个分片节点述多个分片节点均有所述第一数据分片的分片数据；第二数据分片包括多个分片节点。图4中，以一个数据分片包括三个分片节点为例进行说明；同一数据分片的多个分片节点均保存有数据分片的分片数据；上述目标集群还用于：将第一数据分片中的分片数据保存至第二数据分片中的目标分片节点中；生成分片数据的副本数据；将副本数据保存至第二数据分片中，除目标分片节点以外的分片节点中。

另外，上述数据源集群中还运行有配置服务；上述数据源集群还用于：向目标集群提供数据源集群的配置服务的配置数据；目标集群还用于：将配置数据保存至目标集群中的配置服务上。具体地，该目标集群还用于：将配置数据中，与数据源集群相关联的信息，修改为与目标集群相关联的信息。

在实际实现时，配置数据可以包括数据块配置表、数据库配置表和分片配置表；基于此，上述目标集群还用于：在数据块配置表中，针对每个数据块，将该数据块在数据源集群中所属的分片信息，修改为该数据块在目标集群中所属的分片信息；在数据库配置表中，针对每个数据库，将该数据库在数据源集群中所属的分片信息，修改为该数据库在目标集群中所属的分片信息；在分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为目标集群中与该数据分片对应的数据分片的通信连接信息。

上述分片集群系统，数据源集群向目标集群提供属于数据源集群的第一数据分片中的分片数据；目标集群第一数据分片的分片数据保存至与第一数据分片对应的属于目标集群中的第二数据分片上。同时，将集群的配置数据也进行迁移，配置数据迁移后，再根据当前的集群信息对配置数据进行修改，因而该方式可以保证数据在集群间迁移时，数据结构不发生变化，对MongoDB分片集群进行同构迁移，迁移后的用户数据分布完全一致，更加便于后续数据的访问和维护，提高数据存储的可靠性。

对应于上述方法实施例，本实施例还提供一种分片集群的数据迁移装置，该装置设置于目标服务器；目标服务器上运行有MongoDB分片集群中目标集群的数据分片；目标服务器与数据源服务器通信连接；数据源服务器上运行有数据源集群的数据分片；如图5所示，该装置包括：

数据接收模块50，用于接收数据源服务器提供的第一数据分片中的分片数据；第一数据分片属于数据源集群；

数据保存模块51，用于将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；第二数据分片属于目标集群。

进一步地，上述第一数据分片包括多个分片节点；多个分片节点均保存有第一数据分片的分片数据；第二数据分片包括多个分片节点；上述数据保存模块，还用于：将第一数据分片中的分片数据保存至第二数据分片中的目标分片节点中；生成分片数据的副本数据；将副本数据保存至第二数据分片中，除目标分片节点以外的分片节点中。

进一步地，上述目标服务器上还运行有MongoDB分片集群中目标集群的配置服务；数据源服务器上还运行有数据源集群的配置服务；上述装置包括：配置数据接收模块，用于接收数据源服务器提供的数据源集群的配置服务的配置数据；配置数据保存模块，用于将配置数据保存至目标集群中的配置服务上。

上述装置还包括，配置数据修改模块，用于将配置数据中，与数据源集群相关联的信息，修改为与目标集群相关联的信息。

进一步地，上述配置数据包括数据块配置表、数据库配置表和分片配置表；上述配置数据修改模块还用于：在数据块配置表中，针对每个数据块，将该数据块在数据源集群中所属的分片信息，修改为该数据块在目标集群中所属的分片信息；在数据库配置表中，针对每个数据库，将该数据库在数据源集群中所属的分片信息，修改为该数据库在目标集群中所属的分片信息；在分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为目标集群中与该数据分片对应的数据分片的通信连接信息。

本公开还提供另一种分片集群的数据迁移装置，该装置设置于数据源服务器；数据源服务器上运行有MongoDB分片集群中数据源集群的数据分片；数据源服务器与目标服务器通信连接；目标服务器上运行有目标集群的数据分片；如图6所示，该装置包括：

数据提供模块60，用于向目标服务器提供第一数据分片中的分片数据，以通过目标服务器将第一数据分片中的分片数据保存至与第一数据分片对应的第二数据分片上；其中，第一数据分片属于数据源集群，第二数据分片属于目标集群。

进一步地，上述数据源服务器上还运行有MongoDB分片集群中数据源集群的配置服务；目标服务器上还运行有目标集群的配置服务；上述装置包括：配置数据提供模块，用于向目标服务器提供数据源集群的配置服务的配置数据，以通过目标服务器将配置数据保存至目标集群中的配置服务上。

本实施例还提供一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述分片集群的数据迁移方法，或者上述分片集群系统。

参见图7所示，该服务器包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述分片集群的数据迁移方法，或者上述分片集群系统。

进一步地，图7所示的服务器还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本实施例还提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述分片集群的数据迁移方法，或者上述分片集群系统。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种分片集群的数据迁移方法，其特征在于，所述方法应用于目标服务器；所述目标服务器上运行有MongoDB分片集群中目标集群的数据分片；所述目标服务器与数据源服务器通信连接；所述数据源服务器上运行有数据源集群的数据分片；所述方法包括：

接收所述数据源服务器提供的第一数据分片中的分片数据；所述第一数据分片属于所述数据源集群；

将所述第一数据分片中的分片数据保存至与所述第一数据分片对应的第二数据分片上；所述第二数据分片属于所述目标集群。

2.根据权利要求1所述的方法，其特征在于，所述第一数据分片包括多个分片节点；所述多个分片节点均保存有所述第一数据分片的分片数据；所述第二数据分片包括多个分片节点；

所述将所述第一数据分片中的分片数据保存至与所述第一数据分片对应的第二数据分片上的步骤，包括：

将所述第一数据分片中的分片数据保存至所述第二数据分片中的目标分片节点中；

生成所述分片数据的副本数据；将所述副本数据保存至所述第二数据分片中，除所述目标分片节点以外的分片节点中。

3.根据权利要求1所述的方法，其特征在于，所述目标服务器上还运行有MongoDB分片集群中目标集群的配置服务；所述数据源服务器上还运行有数据源集群的配置服务；所述方法包括：

接收所述数据源服务器提供的所述数据源集群的配置服务的配置数据；

将所述配置数据保存至所述目标集群中的配置服务上。

4.根据权利要求3所述的方法，其特征在于，将所述配置数据保存至所述目标集群中的配置服务上的步骤之后，所述方法还包括：

将所述配置数据中，与所述数据源集群相关联的信息，修改为与所述目标集群相关联的信息。

5.根据权利要求4所述的方法，其特征在于，所述配置数据包括数据块配置表、数据库配置表和分片配置表；

所述将所述配置数据中，与所述数据源集群相关联的信息，修改为与所述目标集群相关联的信息的步骤，包括：

在所述数据块配置表中，针对每个数据块，将该数据块在所述数据源集群中所属的分片信息，修改为该数据块在所述目标集群中所属的分片信息；

在所述数据库配置表中，针对每个数据库，将该数据库在所述数据源集群中所属的分片信息，修改为该数据库在所述目标集群中所属的分片信息；

在所述分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为所述目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为所述目标集群中与该数据分片对应的数据分片的通信连接信息。

6.一种分片集群的数据迁移方法，其特征在于，所述方法应用于数据源服务器；所述数据源服务器上运行有MongoDB分片集群中数据源集群的数据分片；所述数据源服务器与目标服务器通信连接；所述目标服务器上运行有目标集群的数据分片；所述方法包括：

向所述目标服务器提供第一数据分片中的分片数据，以通过所述目标服务器将所述第一数据分片中的分片数据保存至与所述第一数据分片对应的第二数据分片上；其中，所述第一数据分片属于所述数据源集群，所述第二数据分片属于所述目标集群。

7.根据权利要求6所述的方法，其特征在于，所述数据源服务器上还运行有MongoDB分片集群中数据源集群的配置服务；所述目标服务器上还运行有目标集群的配置服务；所述方法包括：

向所述目标服务器提供所述数据源集群的配置服务的配置数据，以通过所述目标服务器将所述配置数据保存至所述目标集群中的配置服务上。

8.一种分片集群系统，其特征在于，所述系统包括数据源集群和目标集群；所述数据源集群和所述目标集群中均运行有数据分片；

所述数据源集群用于：向所述目标集群提供第一数据分片中的分片数据；所述第一数据分片属于所述数据源集群；

所述目标集群用于：将所述第一数据分片中的分片数据保存至与所述第一数据分片对应的第二数据分片上；所述第二数据分片属于所述目标集群。

9.根据权利要求8所述的系统，其特征在于，所述第一数据分片包括多个分片节点；所述多个分片节点均保存有所述第一数据分片的分片数据；所述第二数据分片包括多个分片节点；

所述目标集群还用于：将所述第一数据分片中的分片数据保存至所述第二数据分片中的目标分片节点中；

生成所述分片数据的副本数据；将所述副本数据保存至所述第二数据分片中，除所述目标分片节点以外的分片节点中。

10.根据权利要求8所述的系统，其特征在于，所述数据源集群中还运行有配置服务；

所述数据源集群还用于：向所述目标集群提供所述数据源集群的配置服务的配置数据；

所述目标集群还用于：将所述配置数据保存至所述目标集群中的配置服务上。

11.根据权利要求10所述的系统，其特征在于，所述目标集群还用于：将所述配置数据中，与所述数据源集群相关联的信息，修改为与所述目标集群相关联的信息。

12.根据权利要求11所述的系统，其特征在于，所述配置数据包括数据块配置表、数据库配置表和分片配置表；

所述目标集群还用于：

在所述数据块配置表中，针对每个数据块，将该数据块在所述数据源集群中所属的分片信息，修改为该数据块在所述目标集群中所属的分片信息；

在所述数据库配置表中，针对每个数据库，将该数据库在所述数据源集群中所属的分片信息，修改为该数据库在所述目标集群中所属的分片信息；

在所述分片配置表中，针对每个数据分片，将该数据分片的分片标识修改为所述目标集群中与该数据分片对应的数据分片的分片标识；将该数据分片的通信连接信息修改为所述目标集群中与该数据分片对应的数据分片的通信连接信息。

13.一种分片集群的数据迁移装置，其特征在于，所述装置设置于目标服务器；所述目标服务器上运行有MongoDB分片集群中目标集群的数据分片；所述目标服务器与数据源服务器通信连接；所述数据源服务器上运行有数据源集群的数据分片；所述装置包括：

数据接收模块，用于接收所述数据源服务器提供的第一数据分片中的分片数据；所述第一数据分片属于所述数据源集群；

数据保存模块，用于将所述第一数据分片中的分片数据保存至与所述第一数据分片对应的第二数据分片上；所述第二数据分片属于所述目标集群。

14.一种分片集群的数据迁移装置，其特征在于，所述装置设置于数据源服务器；所述数据源服务器上运行有MongoDB分片集群中数据源集群的数据分片；所述数据源服务器与目标服务器通信连接；所述目标服务器上运行有目标集群的数据分片；所述装置包括：

数据提供模块，用于向所述目标服务器提供第一数据分片中的分片数据，以通过所述目标服务器将所述第一数据分片中的分片数据保存至与所述第一数据分片对应的第二数据分片上；其中，所述第一数据分片属于所述数据源集群，所述第二数据分片属于所述目标集群。

15.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-7任一项所述的分片集群的数据迁移方法，或者权利要求8-12任一项所述的分片集群系统。

16.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1-7任一项所述的分片集群的数据迁移方法，或者权利要求8-12任一项所述的分片集群系统。

Images