CN108984299A - 一种分布式集群的优化方法、装置、系统及可读存储介质 - Google Patents

Abstract

本发明公开了一种分布式集群的优化方法，通过创建N个目标目录、N个元数据池和至少一个数据池，将元数据池和数据池对应进行绑定，和为各元数据池分配元数据服务集群，形成了N个以各目标目录作为挂载点且与元数据池一一对应的文件系统。且由于N为大于1的正整数，所以，当接收到处理请求时，可以通过多个文件系统对外提供统一的服务，能够有效缓解处理请求的排队等候情况，使得各处理请求能够尽快得到响应，提升用户的访问效率。此外，本发明还公开了一种分布式集群的优化装置、系统和计算机可读存储介质，效果如上。

Description

一种分布式集群的优化方法、装置、系统及可读存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种分布式集群的优化方法、装置、系统及可读存储介质。

背景技术

目前，虽然可以通过为分布式集群设置元数据服务集群来优化集群性能，但是，从服务端的角度来说，仍然是只有一个文件系统对外服务。例如，当需要对用户进行权限管理时，常常采用samba结合等方式，映射部分目录，在该目录上对用户设置权限，使用户可见或不可见该目录，对该目录具有只读或读写等权限。虽然，从客户端的角度而言，每个用户只能看到自己有权限的内容，但是，从服务端的角度来说，是同一个文件系统对外提供统一的服务。一旦出现多客户端大并发的情况，由于服务端只有一个文件系统对外服务，所以会导致大量的处理请求需要排队等候，无法及时得到响应，使得用户的访问效率低下，影响用户体验。

因此，如果缓解处理请求的排队等候情况，以提升用户的访问效率是本领域技术人员目前需要解决的技术问题。

发明内容

本发明的目的是提供一种分布式集群的优化方法、装置、系统及可读存储介质，能够缓解处理请求的排队等候情况，以提升用户的访问效率。

为了解决上述技术问题，本发明提供的一种分布式集群的优化方法，包括：

创建N个目标目录、N个元数据池和至少一个数据池；

将所述元数据池和所述数据池对应进行绑定，并为各所述元数据池分配元数据服务集群以形成N个文件系统；

以各所述目标目录作为挂载点挂载N个所述文件系统；

其中，N为大于1的正整数；一个所述文件系统对应于一个所述元数据池。

优选地，所述创建N个目标目录、N个元数据池和至少一个数据池具体为：

在Linux本地系统下创建N个所述目标目录、N个所述元数据池和至少一个所述数据池；

其中，所述Linux本地系统未挂载集群文件系统。

优选地，所述创建N个目标目录、N个元数据池和至少一个数据池具体为：

在集群文件系统下创建N个所述目标目录；

卸载所述集群文件系统，并新建N个所述元数据池和至少一个所述数据池。

优选地，所述为各所述元数据池分配元数据服务集群具体为：

将所述元数据服务集群中的激活元数据服务和备份元数据服务平均分配至各所述元数据池。

优选地，在所述创建N个目标目录、N个元数据池和至少一个数据池之前，还包括：

获取客户端的并发程度，并依据所述并发程度确定N的值；

其中，所述并发程度的高低与N的值的大小呈正相关。

为了解决上述技术问题，本发明提供的一种分布式集群的优化装置，包括：

创建模块，用于创建N个目标目录、N个元数据池和至少一个数据池；

绑定分配模块，用于将所述元数据池和所述数据池对应进行分别绑定，并为各所述元数据池分配元数据服务集群以形成N个文件系统；

挂载模块，用于以各所述目标目录作为挂载点挂载N个所述文件系统；

其中，N为大于1的正整数；一个所述文件系统对应于一个所述元数据池。

优选地，所述创建模块具体用于：

在Linux本地系统下创建N个所述目标目录、N个所述元数据池和至少一个所述数据池；

其中，所述Linux本地系统未挂载集群文件系统。

优选地，所述创建模块具体包括：

创建单元，用于在集群文件系统下创建N个所述目标目录；

卸载新建单元，用于卸载所述集群文件系统，并新建N个所述元数据池和至少一个所述数据池。

为了解决上述技术问题，本发明提供的一种分布式集群的优化系统，包括：

存储器，用于存储优化程序；

处理器，用于在执行所述优化程序时实现如上文所述的任一种分布式集群的优化方法的步骤。

为了解决上述技术问题，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有优化程序，所述优化程序被处理器执行时实现如上文所述的任一种分布式集群的优化方法的步骤。

本发明提供的分布式集群的优化方法，通过创建N个目标目录、N个元数据池和至少一个数据池，将元数据池和数据池对应进行绑定，和为各元数据池分配元数据服务集群，形成了N个以各目标目录作为挂载点且与元数据池一一对应的文件系统。且由于N为大于1的正整数，所以，当接收到处理请求时，可以通过多个文件系统对外提供统一的服务，能够有效缓解处理请求的排队等候情况，使得各处理请求能够尽快得到响应，提升用户的访问效率。此外，本发明还提供了一种分布式集群的优化装置、系统和计算机可读存储介质，效果如上。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种分布式集群的优化方法的流程图；

图2为本发明实施例提供的一种集群对外存储系统的结构示意图；

图3为本发明实施例提供的一种分布式集群的优化装置的组成示意图；

图4为本发明实施例提供的一种分布式集群的优化系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的目的是提供一种分布式集群的优化方法、装置、系统及可读存储介质，能够缓解处理请求的排队等候情况，以提升用户的访问效率。

为了使本领域的技术人员更好的理解本发明技术方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种分布式集群的优化方法的流程图。如图1所示，本实施例提供的分布式集群的优化方法，包括：

S10：创建N个目标目录、N个元数据池和至少一个数据池。

其中，N为大于1的正整数，N的具体值可以预先直接设定，如直接设定为定值2、3、4和5等大于1的正整数，也可以预先只设置根据具体条件进行计算的计算程序，如，可以设置根据客户端的并发程度计算N的具体值的计算程序，本发明对N的具体值的设定方法不作限定。

目标目录、元数据池和数据池可以直接在之前未挂载过集群文件系统的Linux本地系统下创建，也可以在集群文件系统下创建，均不会影响本实施例的实施，具体在何种系统下创建，可以根据实际情景所决定。对于在在集群文件系统下创建目标目录、元数据池和数据池的具体方法在下文详细介绍，在此暂不赘述。

S11：将元数据池和数据池对应进行绑定，并为各元数据池分配元数据服务集群以形成N个文件系统。

其中，一个文件系统对应于一个元数据池，也就是说，文件系统与元数据池是一一对应关系。另外，元数据池与数据池可以是一对一的关系、也可以是一对多的关系、还可以是多对一的关系，在具体实施中，元数据池与数据池的具体对应关系可以根据实际应用场景而定，本发明对此不作限定。

元数据服务集群包括激活元数据服务和备份元数据服务，且激活元数据服务和备份元数据服务的个数与具体应用场景所匹配。为元数据池分配元数据服务集群，其实就是为元数据池分配激活元数据服务和备份元数据服务。文件系统用于当接收到处理请求时，对外提供服务，包括一个与数据池对应绑定的元数据池，其在响应处理请求时所产生的数据自动生成在目标目录下。

S12：以各目标目录作为挂载点挂载N个文件系统。

文件系统以各目标目录作为挂载点进行挂载，就是将各目标目录作为文件系统的入口目录，类似于windows中的用来访问不同分区的C:、D:、E:等盘符。

可见，本实施例提供的分布式集群的优化方法，通过创建N个目标目录、N个元数据池和至少一个数据池，将元数据池和数据池对应进行绑定，和为各元数据池分配元数据服务集群，形成了N个以各目标目录作为挂载点且与元数据池一一对应的文件系统。且由于N为大于1的正整数，所以，当接收到处理请求时，可以通过多个文件系统对外提供统一的服务，能够有效缓解处理请求的排队等候情况，使得各处理请求能够尽快得到响应，提升用户的访问效率。

为了使本领域的技术人员更好地理解本发明提供的技术方案，下面结合附图，以形成两个文件系统为例对本发明进行详细介绍。

图2为本发明实施例提供的一种集群对外存储系统的结构示意图。如图2所示，在本实施例中，创建了两个目标目录、两个元数据池和两个数据池。其中，每个目标目录均对应于一个元数据池和一个数据池，且每个元数据池分配有两个激活元数据服务和两个备份元数据服务，最终集群对外存储系统2中形成了两个文件系统，分别为文件系统A 20和文件系统B 21。具体地，文件系统A 20包括一个第一元数据池201和一个第一数据池202，第一元数据池201分配有两个第一激活元数据服务2011和两个第一备份元数据服务2012；文件系统B 21包括一个第二元数据池211和一个第二数据池212，第一元数据池211分配有两个第二激活元数据服务2111和两个第二备份元数据服务2112。

在具体实施中，构成分布式集群的节点可能为未挂载集群文件系统的Linux，在这种情况下，为了简化本优化方法，基于上述实施例，作为一种优选的实施方式，步骤S10具体为：

在Linux本地系统下创建N个目标目录、N个元数据池和至少一个数据池；

其中，Linux本地系统未挂载集群文件系统。

在本实施提供的分布式集群的优化方法中，直接在Linux本地系统下创建N个目标目录、N个元数据池和至少一个数据池，相比于，先为Linux本地系统下安装一个挂载集群文件系统，再在挂载集群文件系统下创建N个目标目录、N个元数据池和至少一个数据池而言，形成多个文件系统的过程更为简单，能够起到简化分布式集群的优化方法的作用。

相对的，在具体实施中，也存在构成分布式集群的节点为已挂载集群文件系统的Linux，在这种情况下，基于上述实施例，作为一种优选的实施方式，步骤S10具体为：

在集群文件系统下创建N个目标目录；

卸载集群文件系统，并新建N个元数据池和至少一个数据池。

在本实施例提供的分布式集群的优化方法中，可以先直接在集群文件系统下创建N个目标目录，然后再卸载集群文件系统，并新建N个元数据池和至少一个数据池即可。

为了使各文件系统的处理能力相近，基于上述实施例，作为一种优选的实施方式，为各元数据池分配元数据服务集群具体为：

将元数据服务集群中的激活元数据服务和备份元数据服务平均分配至各元数据池。

在本实施例提供的分布式集群的优化方法中，将元数据服务集群中的激活元数据服务和备份元数据服务平均分配至各元数据池，可以使各文件系统的处理能力相近。当然，在实际应用中，还可以根据实际的应用场景，采用其它的分配方式将元数据服务集群中的激活元数据服务和备份元数据服务分配至各元数据池，如按照1:3的比例将元数据服务集群中的激活元数据服务和备份元数据服务分配至各元数据池，本发明对此不作限定。

为了是本优化方法能够更加满足用户的个性化需求，基于上述实施例，作为一种优选的实施方式，在步骤S10之前，还包括：

获取客户端的并发程度，并依据并发程度确定N的值。

在本实施例提供的分布式集群的优化方法中，可以获取客户端的并发程度，并依据并发程度确定N的值，使得客户端的并发程度高低与N的值大小呈正相关。即，对于客户端并发程度平均较高的情况，可以确定一个较大的N值，以形成更多地文件系统，同时对外提供服务；而对于客户端并发程度平均较低的情况，则确定一个较小的N值，形成较少的文件系统便可以满足用户需求。可见，本实施例提供的分布式集群的优化方法，能够更好的满足用户的个性化需求。

上文对于本发明提供的一种分布式集群的优化方法的实施例进行了详细的描述，本发明还提供了一种与分布式集群的优化方法对应的分布式集群的优化装置，由于装置部分的实施例与方法部分的实施例相互照应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本发明实施例提供的一种分布式集群的优化装置的组成示意图。如图3所示，本实施例提供的分布式集群的优化装置，包括：

创建模块30，用于创建N个目标目录、N个元数据池和至少一个数据池；

绑定分配模块31，用于将元数据池和数据池对应进行绑定，并为各元数据池分配元数据服务集群以形成N个文件系统；

挂载模块32，用于以各目标目录作为挂载点挂载N个文件系统；

其中，N为大于1的正整数；一个文件系统对应于一个元数据池。

本实施例提供的分布式集群的优化装置，通过创建模块、绑定分配模块和挂载模块协同合作，最终通过创建N个目标目录、N个元数据池和至少一个数据池，将元数据池和数据池对应进行绑定，使一个目标目录对应于一个元数据池，一个目标目录对应于所有的数据池，和为各元数据池分配元数据服务集群，形成了N个以各目标目录作为挂载点且与元数据池一一对应的文件系统。且由于N为大于1的正整数，所以，当接收到处理请求时，可以通过多个文件系统对外提供统一的服务，能够有效缓解处理请求的排队等候情况，使得各处理请求能够尽快得到响应，提升用户的访问效率。

基于上述实施例，作为一种优选的实施方式，创建模块30具体用于：

在Linux本地系统下创建N个目标目录、N个元数据池和至少一个数据池；

其中，Linux本地系统未挂载集群文件系统。

基于上述实施例，作为一种优选的实施方式，创建模块30具体包括：

创建单元，用于在集群文件系统下创建N个目标目录；

卸载新建单元，用于卸载集群文件系统，并新建N个元数据池和至少一个数据池。

上文对于本发明提供的一种分布式集群的优化方法的实施例进行了详细的描述，本发明还提供了一种与分布式集群的优化方法对应的分布式集群的优化系统，由于系统部分的实施例与方法部分的实施例相互照应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图4为本发明实施例提供的一种分布式集群的优化系统的结构示意图。如图4所示，本实施例提供的分布式集群的优化系统，包括：

存储器40，用于存储优化程序；

处理器41，用于在执行优化程序时实现如上文的任一实施例所提供的分布式集群的优化方法的步骤。

本实施例提供的分布式集群的优化系统，由于可以通过处理器调用存储器存储的优化程序，实现如上述任一实施例提供的分布式集群的优化方法的步骤，所以本优化系统具有同上述分布式集群的优化方法同样的实际效果。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有优化程序，优化程序被处理器执行时实现如上文的任一实施例所提供的分布式集群的优化方法的步骤。

本实施例提供的计算机可读存储介质存储有优化程序，由于优化程序被处理器执行时可以实现如上述任一实施例提供的分布式集群的优化方法的步骤，所以本计算机可读存储介质具有同上述分布式集群的优化方法同样的实际效果。

以上对本发明所提供的分布式集群的优化方法、装置、系统及可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何变体意在涵盖非排他性的包含，从而使得包括一系列的要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式集群的优化方法，其特征在于，包括：

创建N个目标目录、N个元数据池和至少一个数据池；

将所述元数据池和所述数据池对应进行绑定，并为各所述元数据池分配元数据服务集群以形成N个文件系统；

以各所述目标目录作为挂载点挂载N个所述文件系统；

其中，N为大于1的正整数；一个所述文件系统对应于一个所述元数据池。

2.根据权利要求1所述的分布式集群的优化方法，其特征在于，所述创建N个目标目录、N个元数据池和至少一个数据池具体为：

在Linux本地系统下创建N个所述目标目录、N个所述元数据池和至少一个所述数据池；

其中，所述Linux本地系统未挂载集群文件系统。

3.根据权利要求1所述的分布式集群的优化方法，其特征在于，所述创建N个目标目录、N个元数据池和至少一个数据池具体为：

在集群文件系统下创建N个所述目标目录；

卸载所述集群文件系统，并新建N个所述元数据池和至少一个所述数据池。

4.根据权利要求1-3任一项所述的分布式集群的优化方法，其特征在于，所述为各所述元数据池分配元数据服务集群具体为：

将所述元数据服务集群中的激活元数据服务和备份元数据服务平均分配至各所述元数据池。

5.根据权利要求4所述的分布式集群的优化方法，其特征在于，在所述创建N个目标目录、N个元数据池和至少一个数据池之前，还包括：

获取客户端的并发程度，并依据所述并发程度确定N的值；

其中，所述并发程度的高低与N的值的大小呈正相关。

6.一种分布式集群的优化装置，其特征在于，包括：

创建模块，用于创建N个目标目录、N个元数据池和至少一个数据池；

绑定分配模块，用于将所述元数据池和所述数据池对应进行绑定，并为各所述元数据池分配元数据服务集群以形成N个文件系统；

挂载模块，用于以各所述目标目录作为挂载点挂载N个所述文件系统；

其中，N为大于1的正整数；一个所述文件系统对应于一个所述元数据池。

7.根据权利要求6所述的分布式集群的优化装置，其特征在于，所述创建模块具体用于：

在Linux本地系统下创建N个所述目标目录、N个所述元数据池和至少一个所述数据池；

其中，所述Linux本地系统未挂载集群文件系统。

8.根据权利要求6所述的分布式集群的优化装置，其特征在于，所述创建模块具体包括：

创建单元，用于在集群文件系统下创建N个所述目标目录；

卸载新建单元，用于卸载所述集群文件系统，并新建N个所述元数据池和至少一个所述数据池。

9.一种分布式集群的优化系统，其特征在于，包括：

存储器，用于存储优化程序；

处理器，用于在执行所述优化程序时实现如权利要求1-5任一项所述的分布式集群的优化方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有优化程序，所述优化程序被处理器执行时实现如权利要求1-5任一项所述的分布式集群的优化方法的步骤。