CN113126931A - 分布式存储集群的磁盘选择方法、装置及可读存储介质 - Google Patents

Abstract

本申请公开了一种分布式存储集群的磁盘选择方法、装置及计算机可读存储介质。其中，方法包括构建用于存储已经被选择过的对象存储设备及其所在的故障域相关信息的冲突域。在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择OSD的过程中，若当前成员在冲突域，从当前成员所在层选择其他成员；若当前成员不在冲突域，在当前成员类型与故障域类型相匹配，且当前成员所包含的对象存储设备还没有被选择，从当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将目标成员信息和当前成员信息输入至冲突域以更新冲突域，从而可有效减少数据分布算法无效选择磁盘的次数，提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

Description

分布式存储集群的磁盘选择方法、装置及可读存储介质

技术领域

本申请涉及分布式存储技术领域，特别是涉及一种分布式存储集群的磁盘选择方法、装置及计算机可读存储介质。

背景技术

在分布式存储系统中，存储的内容按照固定大小切割，这一块固定大小的数据称为一个对象，PG(Placement Group，放置组)为放置对象的一个载体，相当于多个对象的聚合，是一个逻辑上的概念，PG和对象之间通过一致性哈希算法对应起来，一个PG对应于多个对象。每个PG与OSD(Object-based Storage Device，对象存储设备)的对应是通过数据分布算法对应起来的，一个PG对应于多个OSD，OSD可以简单理解为物理上的磁盘，一个OSD上可以有多个PG，这样想要存储的内容就放置在了磁盘上。

在数据分布算法中，传入PG信息以及相关存储集群中的磁盘信息可将一个PG分配到多个OSD上，为了满足分布式存储集群数据的高可靠性，会引入故障域的概念。常用的故障域如主机故障域，机柜故障域等。主机故障域中最小副本数为1，以三副本主机故障域为例，即每个PG需要分配在三个OSD上，这三个OSD需要满足主机故障域，即任意故障两台主机均可使所有PG满足最小副本数的要求。简单来说，数据分布算法需要将每个PG的三个OSD成员分配到不同的主机上，保证数据的高可靠性。

相关技术在将每个PG的各OSD成员分配至分布式存储系统的各主机的过程中，在一定的随机性下可能出现新选择的OSD成员和已选择的OSD成员冲突的情形，而这种情形在集群规模较大、故障域为机柜时尤为明显，这种情况的出现无疑会增加数据分布算法无效选择的次数，基于数据分布算法的磁盘选择效率低下。

发明内容

本申请提供了一种分布式存储集群的磁盘选择方法、装置及计算机可读存储介质，可有效减少数据分布算法无效选择磁盘的次数，提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式存储集群的磁盘选择方法，包括：

预先构建冲突域，所述冲突域用于存储已经被选择过的对象存储设备及其所在的故障域信息；

在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程中，若当前成员在所述冲突域，从所述当前成员所在层再次进行成员选择；若所述当前成员不在所述冲突域，当所述当前成员类型与所述故障域类型相匹配，且所述当前成员所包含的对象存储设备还没有被选择，从所述当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将所述目标成员的信息和所述当前成员的信息输入至所述冲突域，以更新所述冲突域；

其中，所述根节点信息为分布式存储集群的磁盘信息编辑成组的信息，成员类型为机柜类型、主机节点类型和OSD类型。

可选的，所述冲突域的构建过程包括：

传入编辑成组的磁盘信息、冲突域信息和待处理数据；每个编辑成组的磁盘信息的成员均包括机柜、主机和对象存储设备；所述待处理数据为待处理对象存储设备ID或待处理故障域组ID，所述故障域组ID为与所述故障域类型相匹配的成员信息；

遍历所述冲突域信息，判断当前冲突域中是否包含所述待处理数据；

若所述当前冲突域中不包含所述待处理数据，则将所述待处理数据加入至所述当前冲突域；

若所述当前冲突域中包含所述待处理数据或是将所述待处理数据加入至所述当前冲突域之后，遍历各编辑成组磁盘信息，判断所述待处理数据所属编辑成组的磁盘信息的所有成员是否均已加入至所述当前冲突域；若均已加入，则将所述待处理数据所属编辑成组的磁盘信息的组ID加入至所述当前冲突域；若没有均加入，则结束所述当前冲突域的构建操作。

可选的，所述冲突域的更新操作包括：

将所述目标成员的ID和所述当前成员的成员名加入至所述冲突域；

遍历所述根节点信息，判断所述根节点信息的所有成员是否均已加入至所述冲突域；

若所述根节点信息的所有成员均已加入所述冲突域，将所述根节点信息的组ID加入至所述冲突域。

可选的，所述根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程包括：

获取所述根节点信息和所述故障域类型；

初始化循环次数为所述待选择OSD总数，并开始循环选择所述对象存储设备；

根据所述故障域类型从所述根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在所述冲突域中的成员；

若当前成员类型与所述故障域类型不匹配，继续在所述当前成员所在层的下一层中选择一个不在所述冲突域中的成员直至选择到与所述故障域类型相匹配的成员；

若所述当前成员类型与所述故障域类型相匹配，判断所述当前成员是否在上一轮循环过程中已被选择或者是所述当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择；

若是，返回执行所述开始循环选择所述对象存储设备的步骤；若均不是，从所述当前成员所在层的下层中选择出OSD类型的目标成员；将所述目标成员的OSD ID信息和所述当前成员的成员名称输入至所述冲突域中；

将所述循环次数减一，若当前循环次数值不为0，返回所述开始循环选择所述对象存储设备的步骤；若所述当前循环次数值为0，输出每一次循环过程中所选择的OSD ID信息，以完成磁盘选择操作。

可选的，预先创建临时输出列表，所述判断所述当前成员是否在上一轮循环过程中已被选择或者是所述当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择为判断所述当前成员是否在所述临时输出列表中；

所述若是，返回执行所述开始循环选择所述对象存储设备的步骤；若均不是，从所述当前成员所在层的下层中选择出OSD类型的目标成员；将所述目标成员的OSD ID信息和所述当前成员的成员名称输入所述冲突域中的过程包括：

若所述当前成员在所述临时输出列表中，则返回执行所述开始循环选择所述对象存储设备的步骤；

若所述当前成员不在所述临时输出列表中，随机从所述当前成员所在层的下一层中选择一个候选成员，若所述候选成员类型不为所述OSD类型，从所述候选成员所在层的下一层继续选择一个成员直至选择出OSD类型的目标成员；将所述目标成员的OSD ID信息和所述当前成员的成员名称分别输入所述临时输出列表和所述冲突域中；

相应的，所述输出每一次循环过程中所选择的OSD ID信息的过程为：

输出所述临时输出列表中所有的OSD ID信息。

本发明实施例另一方面提供了一种分布式存储集群的磁盘选择装置，包括：

冲突域预创建模块，用于预先构建冲突域，所述冲突域用于存储已经被选择过的对象存储设备及其所在的故障域信息；

磁盘选择模块，用于在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程中，若当前成员在所述冲突域，从所述当前成员所在层再次进行成员选择；若所述当前成员不在所述冲突域，当所述当前成员类型与所述故障域类型相匹配，且所述当前成员所包含的对象存储设备还没有被选择，从所述当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将所述目标成员的信息和所述当前成员的信息输入至所述冲突域，以更新所述冲突域；其中，所述根节点信息为分布式存储集群的磁盘信息编辑成组的信息，成员类型为机柜类型、主机节点类型和OSD类型。

可选的，所述冲突域预创建模块进一步用于：

传入编辑成组的磁盘信息、冲突域信息和待处理数据；每个编辑成组的磁盘信息的成员均包括机柜、主机和对象存储设备；所述待处理数据为待处理对象存储设备ID或待处理故障域组ID，所述故障域组ID为与所述故障域类型相匹配的成员信息；

遍历所述冲突域信息，判断当前冲突域中是否包含所述待处理数据；

若所述当前冲突域中不包含所述待处理数据，则将所述待处理数据加入至所述当前冲突域；

若所述当前冲突域中包含所述待处理数据或是将所述待处理数据加入至所述当前冲突域之后，遍历各编辑成组磁盘信息，判断所述待处理数据所属编辑成组的磁盘信息的所有成员是否均已加入至所述当前冲突域；若均已加入，则将所述待处理数据所属编辑成组的磁盘信息的组ID加入至所述当前冲突域；若没有均加入，则结束所述当前冲突域的构建操作。

可选的，所述磁盘选择模块进一步用于：

获取所述根节点信息和所述故障域类型；

初始化循环次数为所述待选择OSD总数，并开始循环选择所述对象存储设备；

根据所述故障域类型从所述根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在所述冲突域中的成员；

若当前成员类型与所述故障域类型不匹配，继续在所述当前成员所在层的下一层中选择一个不在所述冲突域中的成员直至选择到与所述故障域类型相匹配的成员；

若所述当前成员类型与所述故障域类型相匹配，判断所述当前成员是否在上一轮循环过程中已被选择或者是所述当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择；

若是，返回执行所述开始循环选择所述对象存储设备的步骤；若均不是，从所述当前成员所在层的下层中选择出OSD类型的目标成员；将所述目标成员的OSD ID信息和所述当前成员的成员名称输入至所述冲突域中；

将所述循环次数减一，若当前循环次数值不为0，返回所述开始循环选择所述对象存储设备的步骤；若所述当前循环次数值为0，输出每一次循环过程中所选择的OSD ID信息，以完成磁盘选择操作。

本发明实施例还提供了一种分布式存储集群的磁盘选择装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式存储集群的磁盘选择方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式存储集群的磁盘选择程序，所述分布式存储集群的磁盘选择程序被处理器执行时实现如前任一项所述分布式存储集群的磁盘选择方法的步骤。

本申请提供的技术方案的优点在于，将已经选择过的对象存储设备OSD及其所在的故障域相关信息放入冲突域，在基于数据分布算法从根节点依次向下每一层进行磁盘选择的过程中，先判断当前选择成员是不是已经被选择，从而预先将处于冲突域的成员排除出去，并实时根据当前选择出来的对象存储设备更新冲突域，从而可有效减少数据分布算法无效选择的次数，提高数据分布算法的效率，大幅提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

此外，本发明实施例还针对分布式存储集群的磁盘选择方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式存储集群的磁盘选择方法的流程示意图；

图2为本发明实施例提供的一种分布式存储集群的磁盘选择方法的流程示意图；

图3为本发明实施例提供的一种将磁盘信息编辑成组的示意图；

图4为本发明实施例提供的分布式存储集群的磁盘选择装置的一种具体实施方式结构图；

图5为本发明实施例提供的分布式存储集群的磁盘选择装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种分布式存储集群的磁盘选择方法的流程示意图，本发明实施例可包括以下内容：

S101：预先构建冲突域。

可以理解的是，在分布式存储集群中，磁盘信息可编辑成组，一般来说，如图3所示，会给某主机下所有OSD归于该主机HOST下，某机柜下所有主机会归于该机柜RACK下，最终归于一个根节点ROOT下。而数据分布算法则依据编辑所成的组以及相应的规则进行PG内OSD成员的选择，在基于数据分布算法选择磁盘过程中，本申请引入冲突域，冲突域可用于存储已经被选择过的对象存储设备OSD及其所在的故障域信息，冲突域中的成员不可被再次选择。也就是说，本实施例会将基于数据分布算法选择磁盘过程中已经被选择过的OSD放入冲突域中，这样在下一次选择磁盘过程中，就不会将已经选择过的磁盘再选择一次，从而可减少无效选择次数。本实施例的故障域信息是指与故障域类型相配的成员的信息，成员为机柜或主机，故障域类型例如为主机故障域或机柜故障域，成员信息例如可为成员的编号信息如成员ID。

S102：在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程中，若当前成员在冲突域，从当前成员所在层进行成员选择；若当前成员不在冲突域，当当前成员类型与故障域类型相匹配，且当前成员所包含的对象存储设备还没有被选择，从当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将目标成员的信息和当前成员的信息输入至冲突域，以更新冲突域。

本步骤中的根节点信息为将当前分布式存储集群的磁盘信息进行编辑成组的信息，根节点信息以根节点依次多下的多层结构，每一层具有多个相同类型的成员，成员类型为机柜类型、主机节点类型和OSD类型。一般来说，根节点开始的下一层的成员类型为机柜类型，该层包括多个机柜，机柜的下一层的成员类型为主机类型，这一层包括多个主机节点，主机的下一层的成员类型为OSD类型，这一层包括多个OSD。与故障域类型相匹配的成员类型为机柜类型或主机类型，若故障域类型为机柜故障域，与故障域类型相匹配的成员类型为机柜类型，其他成员类型均与故障域类型不相匹配；若故障域类型为主机故障域，与故障域类型相匹配的成员类型为主机类型，其他成员类型均与故障域类型不相匹配。待选择OSD总数即为每个PG中包含的OSD成员个数，以三副本主机故障域为例，即每个PG需要往三个OSD上分配，这三个OSD需要满足主机故障域，即任意故障两台主机均可使所有PG满足最小副本数的要求，待选择OSD总数为3。成员无非是机柜、主机和OSD，当前成员所包含的对象存储设备即隶属于该机柜的所有主机的OSD，或者是隶属于该主机的所有OSD，以图3为例，若当前成员为机柜1，则当前成员所包含的对象存储设备即为主机1到主机N的所有OSD，即OSD1，…，OSDN，…，OSDN1，…，OSDNN。若当前成员为主机1，则当前成员所包含的对象存储设备即为主机1的所有OSD，即OSD1，…，OSDN。只有当前成员的任意一个OSD均没有被选择，才能往下选择OSD，但凡当前成员的一个OSD被选择，则该成员的其他OSD则被排除在选择之外。本实施例的目的是选择OSD，当最终的选择的成员类型为OSD类型，表明该成员为被选择的对象存储设备，则这次选择结束，为了保证下次该OSD不被选择，则需要将该OSD信息如OSD的ID即OSD编号信息和标识该OSD所属故障域类型的成员信息如节点名或成员编号信息传入冲突域中，从而实现对冲突域的更新。

在本发明实施例提供的技术方案中，将已经选择过的对象存储设备OSD及其所在的故障域相关信息放入冲突域，在基于数据分布算法从根节点依次向下每一层进行磁盘选择的过程中，先判断当前选择成员是不是已经被选择，从而预先将处于冲突域的成员排除出去，并实时根据当前选择出来的对象存储设备更新冲突域，从而可有效减少数据分布算法无效选择的次数，提高数据分布算法的效率，大幅提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出冲突域的一种构建方法，可包括如下步骤：

A1：传入编辑成组的磁盘信息、冲突域信息和待处理数据。

编辑成组的磁盘信息可能包括1个，也可能包括多个，每个编辑成组的磁盘信息的成员均包括机柜、主机和对象存储设备。冲突域信息可包括1个冲突域或者是多个冲突域，不同冲突域可使用冲突域名进行区别，也即冲突域信息可包括各冲突域的名称以及其内包含的数据信息，数据信息主要是指已经被选择过的对象存储设备OSD及其所在的故障域信息。待处理数据为待处理对象存储设备ID或待处理故障域组ID，故障域组ID为与故障域类型相匹配的成员信息，成员信息例如可为成员的编号信息或成员名称。

A2：遍历冲突域信息，判断当前冲突域中是否包含待处理数据。

A3：若当前冲突域中不包含待处理数据，则将待处理数据加入至当前冲突域。

A4：若当前冲突域中包含待处理数据或是将待处理数据加入至当前冲突域之后，遍历各编辑成组磁盘信息，判断待处理数据所属编辑成组的磁盘信息的所有成员是否均已加入至当前冲突域；若均已加入，则将待处理数据所属编辑成组的磁盘信息的组ID加入至当前冲突域，并转入步骤A2中，若没有均加入，则结束当前冲突域的构建操作，例如可返回到调用这个流程的函数里面。

作为本实施的一种可选的实施方式，冲突域的更新操作可包括：

将目标成员的ID和当前成员的成员名加入至S101步骤中构建的冲突域中；遍历根节点信息，判断根节点信息的所有成员是否均已加入至冲突域；若根节点信息的所有成员均已加入冲突域，将根节点信息的组ID加入至冲突域。若根节点信息的所有成员没有均已加入冲突域，则表明根节点信息中仍然存在没有被选择OSD的主机或机柜，还可以继续在根节点信息中进行OSD的选择，无需将根节点信息的编号信息输出至冲突域中。

在上述实施例中，对于如何执行步骤S102并不做限定，本实施例中给出基于数据分布算法的对象存储设备OSD的选择方法，可包括如下步骤：

获取根节点信息和故障域类型；根节点信息例如可为根节点的ROOT名。

初始化循环次数为待选择OSD总数，并开始循环选择对象存储设备。待选择OSD总数即为每个PG中包含的OSD总数。

根据故障域类型从根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在冲突域中的成员。

若当前成员类型与故障域类型不匹配，继续在当前成员所在层的下一层中选择一个不在冲突域中的成员直至选择到与故障域类型相匹配的成员。当前成员类型与故障域类型不匹配，表明该层的所有成员均不与之相匹配，故需要在下一层进行随机选择成员。

若当前成员类型与故障域类型相匹配，判断当前成员是否在上一轮循环过程中已被选择或者是当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择。若是，返回执行开始循环选择对象存储设备的步骤；若均不是，从当前成员所在层的下层中选择出OSD类型的目标成员；将目标成员的OSD ID信息和当前成员的成员名称输入至冲突域中。

在本步骤中，可预先创建临时输出列表，如果选择出的成员在临时输出列表中，说明在该成员下已经有OSD被选中了，即使现在选出了该成员，也不能在该成员下继续选择OSD了，本次选择无效，需要重新选择。判断当前成员是否在上一轮循环过程中已被选择或者是当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择的过程就仅仅需要判断当前成员是否在临时输出列表中；若当前成员在临时输出列表中，则返回执行开始循环选择对象存储设备的步骤。

若当前成员不在临时输出列表中，随机从当前成员所在层的下一层中选择一个候选成员，若候选成员类型不为OSD类型，从候选成员所在层的下一层继续选择一个成员直至选择出OSD类型的目标成员；将目标成员的OSD ID信息和当前成员的成员名称分别输入临时输出列表和冲突域中。若不在表中，表明当前选择有效，则将循环次数减一。

在对循环次数更新完后，判断当前循环次数值是不是为0，若当前循环次数值不为0，表明选择的OSD还没达到所需求数据，则返回开始循环选择对象存储设备的步骤；若当前循环次数值为0，则表明所需求的OSD都以被选择出来，则输出每一次循环过程中所选择的OSD ID信息，完成磁盘选择操作。

最后，为了使所述领域技术人员更加清楚本申请的技术方案，本申请还提供了一个示意性例子，请参见图2，图2为本发明实施例提供的另一种分布式存储集群的磁盘选择方法的流程示意图，具体的可包括以下内容：

S201：预先创建临时输出列表。

S202：获取根节点信息和故障域类型。

S203：初始化循环次数为放置组成员总数。

S204：开始循环选择对象存储设备。

S205：根据故障域类型从根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在冲突域中的成员。

S206：判断当前成员类型与故障域类型是否匹配，若否，则执行S207，若是，则执行S208。

S207：继续在当前成员所在层的下一层中选择一个不在冲突域中的成员，并将选择的该成员作为当前成员返回执行S206。

S208：判断当前成员是否在临时输出列表中，若是，则返回执行S204，若否，则执行S209。

S209：随机从当前成员所在层的下一层中选择一个候选成员，若候选成员类型不为OSD类型，从候选成员所在层的下一层继续选择一个成员直至选择出OSD类型的目标成员；将目标成员的OSD ID信息和当前成员的成员名称分别输入临时输出列表和冲突域中。

S210：将循环次数减一。

S211：判断当前循环次数值是否为0，若是，则执行S212，若否，返回执行S204。

S212：输出临时输出列表中所有的OSD ID信息，以完成磁盘选择操作。

本实施例与上述实施例相同步骤或相似步骤的实现过程所描述一致，可参阅上述实施例的记载内容，此处不再赘述。

在本实施例中，若不考虑冲突域，则基于数据分布算法的磁盘选择流程为：

B1：获取根节点ROOT相关信息；

B2：获取故障域类型；

B3：开始循环，循环次数为需要选择的成员个数；

B4：依据故障域类型从ROOT节点开始依次向下开始选择，选择下一层中的一个成员，若该成员类型与故障域类型一致，则进入B5，否则继续选择下一层中的一个成员。

B5：如果该节点在临时输出列表中，则返回B3。否则从该节点开始依次向下开始选择，选择下一层中的一个成员直至选择出的成员类型为OSD，将该OSD信息和一开始传入的节点信息放入临时输出列表中，需要选择的成员个数减一。

B6：待所有成员选择完成后返回所有选择出的OSD信息。

将加入冲突域和没有加入冲突域的实施例进行比较发现：在一定的随机性下可能出现新选择的成员和已选择的成员冲突的情形，这种情形在集群规模较大，故障域为机柜时显的尤为明显。实际上在机柜故障域中，假设已经在该机柜的某个主机内已经选择了一个成员，则该机柜不应该参与接下来的选择。引入冲突域，将已经选择过的OSD及其所在的故障域放入冲突域中，在数据分布算法选择下一层的一个成员的过程中，处于冲突域的成员不可被选择，从而减少数据分布算法无效选择的次数，提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图2只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对分布式存储集群的磁盘选择方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的分布式存储集群的磁盘选择装置进行介绍，下文描述的分布式存储集群的磁盘选择装置与上文描述的分布式存储集群的磁盘选择方法可相互对应参照。

基于功能模块的角度，参见图4，图4为本发明实施例提供的分布式存储集群的磁盘选择装置在一种具体实施方式下的结构图，该装置可包括：

冲突域预创建模块401，用于预先构建冲突域，冲突域用于存储已经被选择过的对象存储设备及其所在的故障域信息。

磁盘选择模块402，用于在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程中，若当前成员在冲突域，从当前成员所在层进行成员选择；若当前成员不在冲突域，当当前成员类型与故障域类型相匹配，且当前成员所包含的对象存储设备还没有被选择，从当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将目标成员的信息和当前成员的信息输入至冲突域，以更新冲突域；其中，根节点信息为分布式存储集群的磁盘信息编辑成组的信息，成员类型为机柜类型、主机节点类型和OSD类型。

可选的，在本实施例的一些实施方式中，上述冲突域预创建模块401进一步可用于：

传入编辑成组的磁盘信息、冲突域信息和待处理数据；每个编辑成组的磁盘信息的成员均包括机柜、主机和对象存储设备；待处理数据为待处理对象存储设备ID或待处理故障域组ID，故障域组ID为与故障域类型相匹配的成员信息；

遍历冲突域信息，判断当前冲突域中是否包含待处理数据；

若当前冲突域中不包含待处理数据，则将待处理数据加入至当前冲突域；

若当前冲突域中包含待处理数据或是将待处理数据加入至当前冲突域之后，遍历各编辑成组磁盘信息，判断待处理数据所属编辑成组的磁盘信息的所有成员是否均已加入至当前冲突域；若均已加入，则将待处理数据所属编辑成组的磁盘信息的组ID加入至当前冲突域；若没有均加入，则结束当前冲突域的构建操作。

作为本实施例的一种可选的实施方式，上述磁盘选择模块402例如可包括冲突域更新子模块，所述冲突域更新子模块用于将目标成员的ID和当前成员的成员名加入至冲突域；遍历根节点信息，判断根节点信息的所有成员是否均已加入至冲突域；若根节点信息的所有成员均已加入冲突域，将根节点信息的组ID加入至冲突域。

可选的，在本实施例的另一些实施方式中，上述磁盘选择模块402进一步还可用于：

获取根节点信息和故障域类型；

初始化循环次数为所述待选择OSD总数，并开始循环选择对象存储设备；

根据故障域类型从根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在冲突域中的成员；

若当前成员类型与故障域类型不匹配，继续在当前成员所在层的下一层中选择一个不在冲突域中的成员直至选择到与故障域类型相匹配的成员；

若当前成员类型与故障域类型相匹配，判断当前成员是否在上一轮循环过程中已被选择或者是当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择；

若是，返回执行开始循环选择对象存储设备的步骤；若均不是，从当前成员所在层的下层中选择出OSD类型的目标成员；将目标成员的OSD ID信息和当前成员的成员名称输入至冲突域中；

将循环次数减一，若当前循环次数值不为0，返回开始循环选择对象存储设备的步骤；若当前循环次数值为0，输出每一次循环过程中所选择的OSD ID信息，以完成磁盘选择操作。

作为本实施例的一种可选的实施方式，上述磁盘选择模块402可包括：

表创建子模块，用于预先创建临时输出列表；

判断子模块，用于判断当前成员是否在临时输出列表中；

判断结果执行子模块，用于若当前成员在临时输出列表中，则返回执行开始循环选择对象存储设备的步骤；若当前成员不在临时输出列表中，随机从当前成员所在层的下一层中选择一个候选成员，若候选成员类型不为OSD类型，从候选成员所在层的下一层继续选择一个成员直至选择出OSD类型的目标成员；将目标成员的OSD ID信息和当前成员的成员名称分别输入临时输出列表和冲突域中；

结果输出子模块，用于输出临时输出列表中所有的OSD ID信息。

本发明实施例所述分布式存储集群的磁盘选择装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效减少数据分布算法无效选择磁盘的次数，提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

上文中提到的分布式存储集群的磁盘选择装置是从功能模块的角度描述，进一步的，本申请还提供一种分布式存储集群的磁盘选择装置，是从硬件角度描述。图5为本申请实施例提供的另一种分布式存储集群的磁盘选择装置的结构图。如图5所示，该装置包括存储器50，用于存储计算机程序；

处理器51，用于执行计算机程序时实现如上述任一实施例提到的分布式存储集群的磁盘选择方法的步骤。

其中，处理器51可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器51可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器51也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器51可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器51还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器50可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器50还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器50至少用于存储以下计算机程序501，其中，该计算机程序被处理器51加载并执行之后，能够实现前述任一实施例公开的分布式存储集群的磁盘选择方法的相关步骤。另外，存储器50所存储的资源还可以包括操作系统502和数据503等，存储方式可以是短暂存储或者永久存储。其中，操作系统502可以包括Windows、Unix、Linux等。数据503可以包括但不限于分布式存储集群的磁盘选择结果对应的数据等。

在一些实施例中，分布式存储集群的磁盘选择装置还可包括有显示屏52、输入输出接口53、通信接口54、电源55以及通信总线56。

本领域技术人员可以理解，图5中示出的结构并不构成对分布式存储集群的磁盘选择装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器57。

本发明实施例所述分布式存储集群的磁盘选择装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效减少数据分布算法无效选择磁盘的次数，提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

可以理解的是，如果上述实施例中的分布式存储集群的磁盘选择方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有分布式存储集群的磁盘选择程序，所述分布式存储集群的磁盘选择程序被处理器执行时如上任意一实施例所述分布式存储集群的磁盘选择方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效减少数据分布算法无效选择磁盘的次数，提高磁盘选择效率，减少CPU资源的占用和时间的消耗。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种分布式存储集群的磁盘选择方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种分布式存储集群的磁盘选择方法，其特征在于，包括：

预先构建冲突域，所述冲突域用于存储已经被选择过的对象存储设备及其所在的故障域信息；

在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程中，若当前成员在所述冲突域，从所述当前成员所在层再次进行成员选择；若所述当前成员不在所述冲突域，当所述当前成员类型与所述故障域类型相匹配，且所述当前成员所包含的对象存储设备还没有被选择，从所述当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将所述目标成员的信息和所述当前成员的信息输入至所述冲突域，以更新所述冲突域；

其中，所述根节点信息为分布式存储集群的磁盘信息编辑成组的信息，成员类型为机柜类型、主机节点类型和OSD类型。

2.根据权利要求1所述的分布式存储集群的磁盘选择方法，其特征在于，所述冲突域的构建过程包括：

传入编辑成组的磁盘信息、冲突域信息和待处理数据；每个编辑成组的磁盘信息的成员均包括机柜、主机和对象存储设备；所述待处理数据为待处理对象存储设备ID或待处理故障域组ID，所述故障域组ID为与所述故障域类型相匹配的成员信息；

遍历所述冲突域信息，判断当前冲突域中是否包含所述待处理数据；

若所述当前冲突域中不包含所述待处理数据，则将所述待处理数据加入至所述当前冲突域；

若所述当前冲突域中包含所述待处理数据或是将所述待处理数据加入至所述当前冲突域之后，遍历各编辑成组磁盘信息，判断所述待处理数据所属编辑成组的磁盘信息的所有成员是否均已加入至所述当前冲突域；若均已加入，则将所述待处理数据所属编辑成组的磁盘信息的组ID加入至所述当前冲突域；若没有均加入，则结束所述当前冲突域的构建操作。

3.根据权利要求2所述的分布式存储集群的磁盘选择方法，其特征在于，所述冲突域的更新操作包括：

将所述目标成员的ID和所述当前成员的成员名加入至所述冲突域；

遍历所述根节点信息，判断所述根节点信息的所有成员是否均已加入至所述冲突域；

若所述根节点信息的所有成员均已加入所述冲突域，将所述根节点信息的组ID加入至所述冲突域。

4.根据权利要求1至3任意一项所述的分布式存储集群的磁盘选择方法，其特征在于，所述根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程包括：

获取所述根节点信息和所述故障域类型；

初始化循环次数为所述待选择OSD总数，并开始循环选择所述对象存储设备；

根据所述故障域类型从所述根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在所述冲突域中的成员；

若当前成员类型与所述故障域类型不匹配，继续在所述当前成员所在层的下一层中选择一个不在所述冲突域中的成员直至选择到与所述故障域类型相匹配的成员；

若所述当前成员类型与所述故障域类型相匹配，判断所述当前成员是否在上一轮循环过程中已被选择或者是所述当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择；

若是，返回执行所述开始循环选择所述对象存储设备的步骤；若均不是，从所述当前成员所在层的下层中选择出OSD类型的目标成员；将所述目标成员的OSDID信息和所述当前成员的成员名称输入至所述冲突域中；

将所述循环次数减一，若当前循环次数值不为0，返回所述开始循环选择所述对象存储设备的步骤；若所述当前循环次数值为0，输出每一次循环过程中所选择的OSD ID信息，以完成磁盘选择操作。

5.根据权利要求4所述的分布式存储集群的磁盘选择方法，其特征在于，预先创建临时输出列表，所述判断所述当前成员是否在上一轮循环过程中已被选择或者是所述当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择为判断所述当前成员是否在所述临时输出列表中；

所述若是，返回执行所述开始循环选择所述对象存储设备的步骤；若均不是，从所述当前成员所在层的下层中选择出OSD类型的目标成员；将所述目标成员的OSDID信息和所述当前成员的成员名称输入所述冲突域中的过程包括：

若所述当前成员在所述临时输出列表中，则返回执行所述开始循环选择所述对象存储设备的步骤；

若所述当前成员不在所述临时输出列表中，随机从所述当前成员所在层的下一层中选择一个候选成员，若所述候选成员类型不为所述OSD类型，从所述候选成员所在层的下一层继续选择一个成员直至选择出OSD类型的目标成员；将所述目标成员的OSD ID信息和所述当前成员的成员名称分别输入所述临时输出列表和所述冲突域中；

相应的，所述输出每一次循环过程中所选择的OSDID信息的过程为：

输出所述临时输出列表中所有的OSD ID信息。

6.一种分布式存储集群的磁盘选择装置，其特征在于，包括：

冲突域预创建模块，用于预先构建冲突域，所述冲突域用于存储已经被选择过的对象存储设备及其所在的故障域信息；

磁盘选择模块，用于在根据根节点信息、故障域类型和待选择OSD总数从根节点开始依次向下选择对象存储设备的过程中，若当前成员在所述冲突域，从所述当前成员所在层再次进行成员选择；若所述当前成员不在所述冲突域，当所述当前成员类型与所述故障域类型相匹配，且所述当前成员所包含的对象存储设备还没有被选择，从所述当前成员所在层的下一层进行成员选择直至选择出OSD类型的目标成员，将所述目标成员的信息和所述当前成员的信息输入至所述冲突域，以更新所述冲突域；其中，所述根节点信息为分布式存储集群的磁盘信息编辑成组的信息，成员类型为机柜类型、主机节点类型和OSD类型。

7.根据权利要求6所述的分布式存储集群的磁盘选择装置，其特征在于，所述冲突域预创建模块进一步用于：

传入编辑成组的磁盘信息、冲突域信息和待处理数据；每个编辑成组的磁盘信息的成员均包括机柜、主机和对象存储设备；所述待处理数据为待处理对象存储设备ID或待处理故障域组ID，所述故障域组ID为与所述故障域类型相匹配的成员信息；

遍历所述冲突域信息，判断当前冲突域中是否包含所述待处理数据；

若所述当前冲突域中不包含所述待处理数据，则将所述待处理数据加入至所述当前冲突域；

若所述当前冲突域中包含所述待处理数据或是将所述待处理数据加入至所述当前冲突域之后，遍历各编辑成组磁盘信息，判断所述待处理数据所属编辑成组的磁盘信息的所有成员是否均已加入至所述当前冲突域；若均已加入，则将所述待处理数据所属编辑成组的磁盘信息的组ID加入至所述当前冲突域；若没有均加入，则结束所述当前冲突域的构建操作。

8.根据权利要求7所述的分布式存储集群的磁盘选择装置，其特征在于，所述磁盘选择模块进一步用于：

获取所述根节点信息和所述故障域类型；

初始化循环次数为所述待选择OSD总数，并开始循环选择所述对象存储设备；

根据所述故障域类型从所述根节点信息的根节点开始依次向下选择成员，随机从当前层中选择一个不在所述冲突域中的成员；

若当前成员类型与所述故障域类型不匹配，继续在所述当前成员所在层的下一层中选择一个不在所述冲突域中的成员直至选择到与所述故障域类型相匹配的成员；

若所述当前成员类型与所述故障域类型相匹配，判断所述当前成员是否在上一轮循环过程中已被选择或者是所述当前成员对应的所有对象存储设备是否在上一轮循环过程中已被选择；

若是，返回执行所述开始循环选择所述对象存储设备的步骤；若均不是，从所述当前成员所在层的下层中选择出OSD类型的目标成员；将所述目标成员的OSDID信息和所述当前成员的成员名称输入至所述冲突域中；

将所述循环次数减一，若当前循环次数值不为0，返回所述开始循环选择所述对象存储设备的步骤；若所述当前循环次数值为0，输出每一次循环过程中所选择的OSD ID信息，以完成磁盘选择操作。

9.一种分布式存储集群的磁盘选择装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述分布式存储集群的磁盘选择方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有分布式存储集群的磁盘选择程序，所述分布式存储集群的磁盘选择程序被处理器执行时实现如权利要求1至5任一项所述分布式存储集群的磁盘选择方法的步骤。

Images