CN107528924B - 一种分布式集群元数据服务部署方法及系统 - Google Patents

Abstract

本申请公开了一种分布式集群元数据服务部署方法，包括：获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；根据映射关系和预设的部署数量，在分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，部署数量为所需部署的元数据服务的数量。在本发明中，可以根据分布式集群中每个元数据节点的IP与元数据服务的id的映射关系，将所需部署的元数据服务均匀地部署在分布式集群中的元数据节点中，进而可以提高元数据服务在分布式集群中整体性能的发挥。本发明还公开了一种分布式集群元数据服务部署系统，同样具有以上有益效果。

Description

一种分布式集群元数据服务部署方法及系统

技术领域

本发明涉及计算机通信领域，特别涉及一种分布式集群元数据服务部署方法及系统。

背景技术

随着互联网技术的不断发展，分布式集群系统已经应用的越来越广泛，其中，分布式元数据服务是将多台服务器构成集群协同为分布式文件系统提供元数据服务，从而消除元数据服务模型的性能瓶颈和单点故障问题。在分布式系统当中，数据和I/O访问负载被分散到多个物理独立的存储和计算节点上，从而可以实现系统的高性能和高扩散性。而元数据是用来描述一个文件的访问权限、文件拥有者以及文件数据块的分布信息等等。对于大多数的分布式集群系统而言，通常是将控制流和数据流进行分离，来获得更高的系统扩展性和IO并发性，所以分布式集群中的元数据服务部署方法至关重要。而在现有技术当中，通常是将元数据服务进行主备模式的部署，当启动元数据服务时，可能会出现部分元数据节点启动了多个元数据服务，而其他元数据节点的元数据服务都作为备份的情况，由此引发集群中的元数据服务部署负载不均衡，变相降低了集群整体性能的发挥。所以，怎样快速有效的实现元数据服务在分布式集群中的均匀部署，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明的目的是提供一种分布式集群元数据服务部署方法，其目的在于解决集群当中负载不均衡的问题。

本发明的另一目的是提供一种分布式集群元数据服务部署系统。

为解决上述技术问题，本发明提供的一种分布式集群元数据服务部署方法，包括：

一种分布式集群元数据服务部署方法，包括：

获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；

根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，所述部署数量为所需部署的元数据服务的数量。

优选的，所述根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务的过程，包括：

若所需部署的元数据服务的数量为2N，且所述分布式集群中的元数据元数据节点数量为N，则在每个元数据节点上激活一个元数据服务；其中，N≥1。

优选的，所述根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务的过程，包括：

若所需部署的元数据服务的数量为2mN，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活m个元数据服务；其中，m≥1，N≥1。

优选的，所述根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务的过程，包括：

若所需部署的元数据服务的数量为2p，且所述分布式集群中的元数据节点数量为N，则在p个不同元数据节点上激活1个元数据服务；其中，p≥1，N≥1，2p＜N。

优选的，所述获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系的过程，包括：

获取所述分布式集群中元数据服务的id以及每个元数据节点的IP；

根据元数据服务的id与元数据服务所在元数据节点的IP，创建每个元数据节点IP与id的对应关系，得到映射关系。

相应的，本发明还公开了一种分布式集群元数据服务部署系统，包括：

映射关系获取模块，用于获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；

元数据服务部署模块，用于根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，所述部署数量为所需部署的元数据服务的数量。

优选的，所述元数据服务部署模块，包括：

第一部署单元，用于当所需部署的元数据服务的数量为2N，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活一个元数据服务；其中，N≥1。

优选的，所述元数据服务部署模块，包括：

第二部署单元，用于当所需部署的元数据服务的数量为2mN，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活m个元数据服务；其中，m≥1，N≥1。

优选的，所述元数据服务部署模块，包括：

第三部署单元，用于当所需部署的元数据服务的数量为2p，且所述分布式集群中的元数据节点数量为N，则在p个不同元数据节点上激活1个元数据服务；其中，p≥1，N≥1，2p＜N。

优选的，所述映射关系获取模块，包括：

信息获取单元，用于获取分布式集群中元数据服务的id以及每个元数据节点的IP；

映射关系获取单元，用于根据元数据服务的id与元数据服务所在元数据节点的IP，创建每个元数据节点IP与id的对应关系，得到映射关系。

在本发明中，一种分布式集群元数据服务部署方法，包括：获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；根据映射关系和预设的部署数量，在分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，部署数量为所需部署的元数据服务的数量。可见，根据分布式集群中每个元数据节点的IP与元数据服务的id的映射关系，在集群当中部署元数据服务时，通过筛选集群中元数据节点的IP，在相应的元数据节点上部署所需部署的元数据服务，从而达到元数据服务在分布式集群当中均匀部署的目的，进而可以提高元数据服务在分布式集群中整体性能的发挥。同样，本发明所提供的一种分布式集群元数据服务部署系统，同样具有以上有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一提供的一种分布式集群元数据服务部署方法流程图；

图2为本发明实施例一提供的一种分布式集群元数据服务部署方法流程图；

图3为本发明实施例提供的一种分布式集群元数据服务部署系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例一公开了一种分布式集群元数据服务部署方法，如图1所示，该方法包括：

步骤S11：获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；

步骤S12：根据映射关系和预设的部署数量，在分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，部署数量为所需部署的元数据服务的数量。

需要说明的是，在现有技术当中，元数据服务在分布式集群中通常是进行主备模式的部署，所以在部署元数据服务时，会出现元数据服务部署不均衡的问题，也即，在部署元数据服务时，会出现1个元数据节点启动了多个元数据服务，而其他元数据节点的元数据服务都作为备份的情况。例如，在分布式集群的3个元数据节点上计划激活3个元数据服务，而在每个元数据节点上配置有2个元数据服务时，集群可能会在1个元数据节点上启动了2个元数据服务，而在另外一个元数据节点上启动了1个元数据服务，由此导致分布式集群当中元数据服务部署不均衡，进而影响了分布式集群整体性能的发挥。

而在本实施例中，首先是对分布式集群中各个元数据节点上的元数据服务与各个元数据节点的IP建立相应的映射关系，然后利用每个元数据节点的IP与元数据服务的映射关系，在分布式集群中的元数据节点中均匀部署所需部署的元数据服务。显然，通过本实施例中的方法，可以避免在分布式集群当中随机的启动元数据服务的情况。例如，当集群中需要部署6个元数据服务，则相应的需要激活3个元数据服务，通过本实施例中的方法，通过筛选集群中元数据节点的IP，可以保证在1个元数据节点上激活1个元数据服务，进而避免现有技术当中元数据服务在集群中随机启动的情况。

可见，根据分布式集群中每个元数据节点的IP与元数据服务的id的映射关系，在集群当中部署元数据服务时，通过筛选集群中元数据节点的IP，在相应的元数据节点上部署所需部署的元数据服务，从而达到元数据服务在分布式集群当中均匀部署的目的，进而可以提高元数据服务在分布式集群中整体性能的发挥。

本发明实施例二公开了一种具体的分布式集群元数据服务部署方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。如图2所示，具体的：

步骤S21：获取分布式集群中元数据服务的id以及每个元数据节点的IP；

步骤S22：根据元数据服务的id与元数据服务所在元数据节点的IP，创建每个元数据节点IP与id的对应关系，得到映射关系。

在本实施例中，步骤S21和步骤S22具体阐述了对分布式集群中的每个元数据节点的IP与元数据服务的映射关系的建立过程，可以理解的是，在分布式集群中的每一个元数据节点上可以有多个元数据服务，每一个元数据服务都有一个唯一的id，而每个元数据节点又有一个唯一的IP，所以当建立起每个元数据节点上IP与元数据服务id的映射关系时，即可得到分布式集群中每个元数据节点与元数据服务id的对应关系。

步骤S23：若所需部署的元数据服务的数量为2N，且分布式集群中的元数据节点数量为N，则在每个元数据节点上激活一个元数据服务；其中，N≥1。

可以理解的是，当分布式集群中的元数据节点为N，而且所需启动的元数据服务的数量为2N时，则在每个元数据节点上激活一个元数据服务，避免了现有技术当中，元数据服务随机启动的情况，所以可以保证分布式集群中的元数据服务的部署平衡，进而可以提高分布式集群的整体性能。

进一步的，若所需启动的元数据服务的数量为2mN，且分布式集群中的元数据节点数量为N，则在每个元数据节点上启动m个元数据服务；其中，m≥1，N≥1。

可以理解是的，当分布式集群中每个元数据节点上激活一个元数据服务，还不能达到预设的部署元数据服务的要求时，则需要在每个元数据节点上激活多个元数据服务。例如，当分布式集群中的元数据节点数量为3个，所需要部署的元数据服务的数量为12个，则需要激活6个元数据服务，则通过本实施例中的方法会筛选3个IP，并且在每个IP上激活2个元数据服务。

进一步的，若所需部署的元数据服务的数量为2p，且分布式集群中的元数据节点数量为N，则在p个不同元数据节点上启动1个元数据服务；其中，p≥1，N≥1，2p＜N。

可以理解的是，当分布式集群中所需激活的元数据服务的数量小于元数据节点的数量时，则可以随机的在分布式集群当中选取与所需激活的元数据服务的数量相等的元数据节点，然后根据选取到的元数据节点的IP，对相应元数据节点上的元数据服务进行激活，由此来达到分布式集群中的元数据服务均匀部署的目的。

相应的，本发明还公开了一种分布式集群元数据服务部署系统，如图3所示，该系统包括：

映射关系获取模块31，用于获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息。

元数据服务部署模块32，用于根据映射关系和预设的部署数量，在分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，部署数量为所需部署的元数据服务的数量。

优选的，元数据服务部署模块，包括：

第一部署单元，用于当所需部署的元数据服务的数量为2N，且分布式集群中的元数据节点数量为N，则在每个元数据节点上激活一个元数据服务；其中，N≥1。

优选的，元数据服务部署模块，包括：

第二部署单元，用于当所需部署的元数据服务的数量为2mN，且分布式集群中的元数据节点数量为N，则在每个元数据节点上激活m个元数据服务；其中，m≥1，N≥1。

优选的，元数据服务部署模块，包括：

第三部署单元，用于当所需部署的元数据服务的数量为2p，且分布式集群中的元数据节点数量为N，则在p个不同元数据节点上激活1个元数据服务；其中，p≥1，N≥1，2p＜N。

优选的，映射关系获取模块，包括：

信息获取单元，用于获取分布式集群中元数据服务的id以及每个元数据节点的IP；

映射关系获取单元，用于根据元数据服务的id与元数据服务所在元数据节点的IP，创建每个元数据节点IP与id的对应关系，得到映射关系。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种分布式集群元数据服务部署方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种分布式集群元数据服务部署方法，其特征在于，包括：

获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；

根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，所述部署数量为所需部署的元数据服务的数量；

所述获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系的过程，包括：

获取所述分布式集群中元数据服务的id以及每个元数据节点的IP；

根据元数据服务的id与元数据服务所在元数据节点的IP，创建每个元数据节点IP与id的对应关系，得到映射关系。

2.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务的过程，包括：

若所需部署的元数据服务的数量为2N，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活一个元数据服务；其中，N≥1。

3.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务的过程，包括：

若所需部署的元数据服务的数量为2mN，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活m个元数据服务；其中，m≥1，N≥1。

4.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务的过程，包括：

若所需部署的元数据服务的数量为2p，且所述分布式集群中的元数据节点数量为N，则在p个不同元数据节点上激活1个元数据服务；其中，p≥1，N≥1，2p＜N。

5.一种分布式集群元数据服务部署系统，其特征在于，包括：

映射关系获取模块，用于获取分布式集群中元数据服务的id以及每个元数据节点的IP，得到每个元数据节点的IP与元数据服务的映射关系；其中，id包括IP的信息；

元数据服务部署模块，用于根据所述映射关系和预设的部署数量，在所述分布式集群的元数据节点中均匀部署所需部署的元数据服务；其中，所述部署数量为所需部署的元数据服务的数量；

所述映射关系获取模块，包括：

信息获取单元，用于获取分布式集群中元数据服务的id以及每个元数据节点的IP；

映射关系获取单元，用于根据元数据服务的id与元数据服务所在元数据节点的IP，创建每个元数据节点IP与id的对应关系，得到映射关系。

6.根据权利要求5所述的系统，其特征在于，所述元数据服务部署模块，包括：

第一部署单元，用于当所需部署的元数据服务的数量为2N，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活一个元数据服务；其中，N≥1。

7.根据权利要求5所述的系统，其特征在于，所述元数据服务部署模块，包括：

第二部署单元，用于当所需部署的元数据服务的数量为2mN，且所述分布式集群中的元数据节点数量为N，则在每个元数据节点上激活m个元数据服务；其中，m≥1，N≥1。

8.根据权利要求5所述的系统，其特征在于，所述元数据服务部署模块，包括：

第三部署单元，用于当所需部署的元数据服务的数量为2p，且所述分布式集群中的元数据节点数量为N，则在p个不同元数据节点上激活1个元数据服务；其中，p≥1，N≥1，2p＜N。

Images