CN106991170A - 一种分布式文件容量均衡的方法与装置 - Google Patents

Abstract

本发明实施例公开了一种分布式文件系统容量均衡的方法与装置，依据crush算法对存储池中包括的所有OSD进行初始化的PG分布，计算存储池中PG的目标平均数；依据PG分布，判断各个OSD所对应的PG数目是否超过目标平均数；若超过，则说明此时PG分布不均衡，则依据预先存储的权重调整命令，调整OSD的权重；每进行一次OSD权重的调整，crush算法会依据调整后的权重，对存储池中的所有OSD重新进行PG的分配，得到调整后的PG分布，依据该PG分布判断各个OSD所对应的PG数目是否超过目标平均数，若不超过，则结束调整OSD的权重，得到满足容量均衡的PG分布。可见，通过对OSD权重的不断调整，来达到PG分布的均衡，从而实现容量均衡，有效的提升分布式文件系统的容量利用率。

Description

一种分布式文件容量均衡的方法与装置

技术领域

本发明涉及分布式文件系统技术领域，特别是涉及一种分布式文件系统容量均衡的方法与装置。

背景技术

分布式文件系统(Distributed File System，DFS)可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。

在使用分布式文件系统，创建存储池之后，PG(数据存储的最小逻辑单元)成员会按照伪随机数据分布算法(Controlled Replication Under Scalable Hashing，crush)，在存储资源(Object Storage Device，OSD)上进行伪随机分布。由于crush算法计算得出的PG分布并不能达到完美的均衡，使得有些OSD上分布的PG数量较多，有些OSD上分布的PG数量较少。PG是数据存储的最小逻辑单元，因此数据写入分布式文件系统的时候，直观的现象就是OSD上的数据分布不均，可能会出现整体容量写入到80％的时候，有些PG分布较多的OSD实际占用量已经达到95％，导致系统无法继续写入。

可见，如何提升分布式文件系统容量利用率，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种分布式文件系统容量均衡的方法与装置，可以实现不同OSD的数据均衡分布，从而提升分布式文件系统容量利用率。

为解决上述技术问题，本发明实施例提供一种分布式文件系统容量均衡的方法，包括：

S10：利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布；

S11：计算所述存储池中PG的目标平均数；

S12：依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；

S13：若超过，则依据预先存储的权重调整命令，调整所述OSD的权重，并返回所述S10；

S14：若不超过，则结束调整所述OSD的权重，得到满足容量均衡的PG分布。

可选的，在所述S11中：

利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

可选的，在所述S13中：

从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；

若存在，则按照所述目标梯度值，调整所述OSD的权重。

本发明实施例还提供了一种分布式文件系统容量均衡的装置，包括分配单元、计算单元、判断单元、调整单元、和结束单元：

所述分配单元，用于利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布；

所述计算单元，用于计算所述存储池中PG的目标平均数；

所述判断单元，用于依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；

若超过，则触发所述调整单元，所述调整单元，用于依据预先存储的权重调整命令，调整所述OSD的权重，并触发所述分配单元；

若不超过，则触发所述结束单元，所述结束单元，用于结束调整所述OSD的权重，得到满足容量均衡的PG分布。

可选的，所述计算单元具体用于利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

可选的，所述调整单元包括：查询子单元和调整子单元；

所述查询子单元，用于从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则触发所述调整子单元，所述调整子单元，用于按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则触发所述查询子单元，所述查询子单元还用于依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；

若存在，则触发所述调整子单元，所述调整子单元还用于按照所述目标梯度值，调整所述OSD的权重。

由上述技术方案可以看出，依据crush算法对存储池中包括的所有OSD进行初始化的PG分布，计算存储池中PG的目标平均数；从而依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；若超过，则说明此时PG分布不均衡，则可以依据预先存储的权重调整命令，调整所述OSD的权重；每进行一次OSD权重的调整，crush算法会依据调整后的权重，对存储池中的所有OSD重新进行PG的分配，得到调整后的PG分布，依据该PG分布判断各个所述OSD所对应的PG数目是否超过所述目标平均数，若不超过，则结束调整所述OSD的权重，得到满足容量均衡的PG分布。可见，通过对OSD权重的不断调整，来达到PG分布的均衡，从而实现容量均衡，有效的提升分布式文件系统的容量利用率。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式文件系统容量均衡的方法的流程图；

图2为本发明实施例提供的一种权重调整的方法的流程图；

图3为本发明实施例提供的一种分布式文件系统容量均衡的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

传统方式中，利用crush算法进行PG分布，由于crush算法采用伪随机的方式进行PG的分配，往往会出现PG分布不均衡的问题，导致分布式文件系统容量利用率较低。

为了解决PG分布不均衡的问题，可以从crush算法的机制入手。调研发现，crush算法会根据OSDMAP中每个OSD的权重进行PG的分配，权重减小能够降低OSD被选中的概率，因此，解决容量均衡问题的关键，在于合理的调整OSD的权重，对于PG分布较多的OSD适当的降低其权重，使该OSD上的部分PG可以重新分配到其他OSD上，最终实现容量均衡，从而可以有效的提升分布式文件系统容量利用率。

在本发明实施例中，实现容量均衡的目的在于提升容量的利用率，通过调整OSD的权重，可以实现PG分布的均衡，当PG分布达到均衡后，相应的，容量利用率会得到有效的提升。故此，在本发明实施例中，实现容量均衡也即是实现PG分布的均衡。

在实际应用中，当PG分布较多的OSD的实际占用量(利用率)达到额定数值时，会导致分布式文件系统无法继续写入数据，为了介绍方便，后续介绍中均以利用率的最高值为95％为例介绍。

接下来，详细介绍本发明实施例所提供的一种分布式文件系统容量均衡的方法。图1为本发明实施例提供的一种分布式文件系统容量均衡的方法的流程图，该方法包括：

S10：利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布。

用于存储数据的PG可以有一个或多个，可以将这些PG称作为一个集群，创建存储池后，集群会根据crush算法进行初始化的PG分布，也即为该存储池中的每一个OSD分配PG。

分配完成后，计算机系统可以通过相关的命令，将PG与OSD的对应关系进行统计，获取到相应的PG分布表，如表1所示：

表1

表1中第一列和第三列表示存储池中包括的OSD，为了对不同的OSD进行区分，每个OSD有其对应的编号，第二列的PG数目为第一列中各个OSD所对应的PG数目，第四列的PG数目为第三列中各个OSD所对应的PG数目。

S11：计算所述存储池中PG的目标平均数。

目标平均数可以用于表示一个OSD所对应的PG数目的最大值。考虑到实际情况的可实现性，在本发明实施例中，可以将PG的目标平均数设定为PG分布平均值的105％，其计算公式如下：

PG的目标平均数＝(PG总数量/OSD总个数)*1.05

以OSD的最高利用率为95％为例，选定平均值的1.05倍作为目标平均数，从而限定每个OSD所对应的PG数目最多超过平均值的5％，从而可以保证整个存储池的平均利用率可以达到90％。

参照表1的PG分布表，可以计算出PG的目标平均数＝6144/32*1.05＝201.6，因为PG是整数，所以可以只取整数部分的数值作为目标平均数，即目标平均数为201，当存储池中每个OSD上分布的PG数目不超过201个即可实现均衡的目标。

需要说明的是，选定平均值的X倍作为目标平均数，其中X＝1.05只是一种可选的方式，也可以根据实际要求，设置X的具体取值，本发明实施例对此不做限定。

S12：依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数。

以一个OSD为例，当该OSD对应的PG数目超过该目标平均值后，则说明该OSD实际占用量可能会比其他未超过目标平均值的OSD提前达到额定数值，从而导致系统无法继续写入数据。

在本发明实施例中，可以以目标平均数作为容量均衡的依据，通过判断各个OSD所对应的PG数目是否超过目标平均数的方式，来衡量PG分布是否达到均衡。

S13：若超过，则依据预先存储的权重调整命令，调整所述OSD的权重，并返回所述S10。

计算机系统可以通过相关命令查询到每个OSD的权重，在初始化PG分布时，每个OSD的权重值为1。由表1可知，虽然每个OSD的权重值相同，但是PG分布并不是非常平均，总计6144个PG，分布在32个OSD上，平均值为6144/32＝192，然而根据表1实际的分布情况可知，最高的PG数目为211个，最低为161个，相差很大，PG分布并不均衡。

当存在PG数目超过目标平均数的OSD时，说明PG分布并未达到均衡，需要对PG分布进行调整。

在分布式文件系统中会预先存储有相应的权重调整命令，该权重调整命令可以实现对OSD权重的调整。

结合表1所示的数据，对OSD进行一次权重调整后，各个OSD对应的权重，如表2所示：

表2

表2中第一列和第三列表示存储池中包括的OSD，为了对不同的OSD进行区分，每个OSD有其对应的编号，第二列的权重为第一列中各个OSD所对应的权重，第四列的权重为第三列中各个OSD所对应的权重。

需要说明的是，每进行一次OSD权重的调整，crush算法会依据调整后的权重，对存储池中的所有OSD重新进行PG的分配。

根据表2所示的权重表，重新进行PG分配的PG分布表如表3所示：

表3

表3中第一列和第三列表示存储池中包括的OSD，为了对不同的OSD进行区分，每个OSD有其对应的编号，第二列的PG数目为第一列中各个OSD所对应的PG数目，第四列的PG数目为第三列中各个OSD所对应的PG数目。

结合表1、表2和表3的数据，可知，在第一次权重调整中，降低了编号为10、12、21和30的OSD的权重，将这四个的OSD的权重降低后，重新分配后的PG数目，由表1和表3的对比可以看出，这四个OSD所对应的PG数目均有所下降。

S14：若不超过，则结束调整所述OSD的权重，得到满足容量均衡的PG分布。

由于crush算法进行PG分配的结果无法提前预知，所以往往需要进行多次调整后，才能获取到满足容量均衡的PG分布，也即不存在PG数目超过目标平均数的OSD。分布式文件系统依据该PG分布，便可以有效的提升容量的利用率。

结合表1所示的数据，经过多次权重调整后，PG分布最终达到均衡，其权重表如表4所示，对应的PG分布表如表5所示：

表4

表4中第一列和第三列表示存储池中包括的OSD，为了对不同的OSD进行区分，每个OSD有其对应的编号，第二列的权重为第一列中各个OSD所对应的权重，第四列的权重为第三列中各个OSD所对应的权重。

依据该权重表，对OSD重新进行PG分配后，得到的PG分布表如表5所示：

表5

表5中第一列和第三列表示存储池中包括的OSD，为了对不同的OSD进行区分，每个OSD有其对应的编号，第二列的PG数目为第一列中各个OSD所对应的PG数目，第四列的PG数目为第三列中各个OSD所对应的PG数目。

结合上述介绍中，计算的目标平均数为201，由表5可以看出，不存在PG数目超过该目标平均数的OSD，表明表5所示的PG分布表已经达到PG分布的均衡，也即已经达到容量均衡。

在本发明实施例中，以调整OSD权重的方式，来实现各个OSD上PG数目的均衡分布即PG分布的均衡，从而达到容量均衡。接下来，将对该调整过程展开介绍。如图2所示，该调整过程的具体实现包括：

S201：从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD。

在本发明实施例中，调整OSD的权重后，集群会利用crush算法对各个OSD进行PG的再次分配，由于crush算法采用伪随机方式为OSD分配PG，该分配结果是预先无法获知的。如果第一次调整权重时，就将PG数目超过目标平均值的所有OSD的权重降低，由于crush算法的伪随机性，权重降低的OSD分配到的PG数目会相应的减少，但可能会出现为降低权重的OSD分配到的PG数目增多，超过目标平均值。为了更好的实现PG分布均衡，在本发明实施例中，可以采用递进的方式，对OSD的权重进行调整。对于超过目标平均数的PG数目可以从高到低依次进行比较，也即对于OSD权重的调整，可以先调整PG数目较高的OSD的权重。

在具体实现中，可以预先设置PG数目的最大值，先从PG数目超过最大值的OSD开始进行权重的调整。

S202：若存在PG数目超过最大值的OSD，则按照极限调整值，调整所述OSD的权重。

权重的调整范围可以与PG数目超过目标平均值的范围呈正相关，即PG数目越高，所对应的OSD的权重调整幅度可以越大。但是为了保证最终实现容量均衡，对于OSD的权重值不能无限度的降低，故此，可以预先设置一个极限调整值，极限调整值可以用于表示权重调整的最大范围。也即对于OSD权重的最大调整幅度不能超过该极限调整值。例如，将该极限调整值设置为0.05，一个OSD的权重为1，则在一次调整中该OSD的权重值最多只能降低至0.95。

相应的，对于PG数目的最大值与该极限调整值相对应，当OSD所对应的PG数目超过该最大值时，则可以按照极限调整值，对该OSD的权重进行一次调整。

S203：若不存在PG数目超过最大值的OSD，则依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值。

在本发明实施例中，为了更加准确快速的调整OSD的权重，可以将OSD所对应的PG数目进行范围的划分，每一个区间范围可以对应一个权重值。

在本发明实施例中，对于PG数目不超过目标平均值的OSD，可以不对其权重进行调整。故此，对于PG数目进行范围的划分，可以是以目标平均值到最大值的范围进行划分。

例如，目标平均值为PG平均值的1.05倍，最大值为PG平均值的1.2倍，则设置的梯度值可以包括PG平均值的1.17倍、PG平均值的1.14倍、PG平均值的1.11倍、PG平均值的1.08倍。相应的，可以划分出5个梯度范围，从高到低依次为(1.17,1.20]，(1.14,1.17]，(1.11,1.14]，(1.08,1.11]，(1.05,1.08]，每个梯度范围对应一个权重值，以一个梯度范围为例，梯度值1.17对应的梯度范围为(1.17,1.20]即表示PG数目处于PG平均值的1.17倍的数值和PG平均值的1.20倍的数值之间，不包含PG平均值的1.17倍的数值，包含PG平均值的1.20倍的数值。

需要说明的是，上述梯度划分的方式仅是本发明实施例一种可行的方式，也可以采用其它划分方式对OSD的权重进行调整，在此不做限定。

S204：若存在PG数目超过目标梯度值的OSD，按照所述目标梯度值，调整所述OSD的权重。

在进行权重调整时，可以按照从高到低的范围依次进行调整，也即按照划分的梯度值，从高到低依次查看是否存在PG数目超过梯度值的OSD，若存在，则按照该梯度值所属梯度范围对应的权重值，对该OSD进行权重的调整。

由上述技术方案可以看出，依据crush算法对存储池中包括的所有OSD进行初始化的PG分布，计算存储池中PG的目标平均数；从而依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；若超过，则说明此时PG分布不均衡，则可以依据预先存储的权重调整命令，调整所述OSD的权重；每进行一次OSD权重的调整，crush算法会依据调整后的权重，对存储池中的所有OSD重新进行PG的分配，得到调整后的PG分布，依据该PG分布判断各个所述OSD所对应的PG数目是否超过所述目标平均数，若不超过，则结束调整所述OSD的权重，得到满足容量均衡的PG分布。可见，通过对OSD权重的不断调整，来达到PG分布的均衡，从而实现容量均衡，有效的提升分布式文件系统的容量利用率。

图3为本发明实施例提供的一种分布式文件系统容量均衡的装置的结构示意图，所述装置包括：分配单元31、计算单元32、判断单元33、调整单元34和结束单元35；

所述分配单元31，用于利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布。

所述计算单元32，用于计算所述存储池中PG的目标平均数。

所述判断单元33，用于依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数。

若超过，则触发所述调整单元34，所述调整单元34，用于依据预先存储的权重调整命令，调整所述OSD的权重，并触发所述分配单元31。

若不超过，则触发所述结束单元35，所述结束单元35，用于结束调整所述OSD的权重，得到满足容量均衡的PG分布。

可选的，所述计算单元具体用于利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

可选的，所述调整单元包括：查询子单元和调整子单元；

所述查询子单元，用于从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则触发所述调整子单元，所述调整子单元，用于按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则触发所述查询子单元，所述查询子单元还用于依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；

若存在，则触发所述调整子单元，所述调整子单元还用于按照所述目标梯度值，调整所述OSD的权重。

图3所对应实施例中特征的说明可以参见图1和图2所对应实施例的相关说明，这里不再一一赘述。

以上对本发明实施例所提供的一种分布式文件系统容量均衡的方法与装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (6)

1.一种分布式文件系统容量均衡的方法，其特征在于，包括：

S10：利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布；

S11：计算所述存储池中PG的目标平均数；

S12：依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；

S13：若超过，则依据预先存储的权重调整命令，调整所述OSD的权重，并返回所述S10；

S14：若不超过，则结束调整所述OSD的权重，得到满足容量均衡的PG分布。

2.根据权利要求1所述的方法，其特征在于，在所述S11中：

利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

3.根据权利要求1或2所述的方法，其特征在于，在所述S13中：

从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；

若存在，则按照所述目标梯度值，调整所述OSD的权重。

4.一种分布式文件系统容量均衡的装置，其特征在于，包括分配单元、计算单元、判断单元、调整单元、结束单元：

所述分配单元，用于利用crush算法对存储池中包括的所有OSD进行PG的分配，得到PG分布；

所述计算单元，用于计算所述存储池中PG的目标平均数；

所述判断单元，用于依据所述PG分布，判断各个所述OSD所对应的PG数目是否超过所述目标平均数；

若超过，则触发所述调整单元，所述调整单元，用于依据预先存储的权重调整命令，调整所述OSD的权重，并触发所述分配单元；

若不超过，则触发所述结束单元，所述结束单元，用于结束调整所述OSD的权重，得到满足容量均衡的PG分布。

5.根据权利要求4所述的装置，其特征在于，所述计算单元具体用于利用公式：PG的目标平均数＝(PG总数量/OSD总个数)*1.05，计算出PG的目标平均数。

6.根据权利要求4或5所述的装置，其特征在于，所述调整单元包括：查询子单元和调整子单元；

所述查询子单元，用于从所述PG数目超过所述目标平均数的OSD中，查询是否存在PG数目超过最大值的OSD；

若存在PG数目超过最大值的OSD，则触发所述调整子单元，所述调整子单元，用于按照极限调整值，调整所述OSD的权重；

若不存在PG数目超过最大值的OSD，则触发所述查询子单元，所述查询子单元还用于依据预先存储的梯度值，从高到低依次查询是否存在PG数目超过目标梯度值的OSD；其中，所述目标梯度值为所述梯度值中的其中一个梯度值；

若存在，则触发所述调整子单元，所述调整子单元还用于按照所述目标梯度值，调整所述OSD的权重。