CN111708492B - 一种基于ceph的数据分布不平均调整方法 - Google Patents

Abstract

本发明涉及分布式存储技术领域，具体涉及一种基于ceph的数据分布不平均调整方法，采用如下步骤：步骤一：确定需要调整的OSD列表与OSD对应的当前权重因子CurrentWeight；步骤二：计算OSD容量偏差百分比的计算因子SizeDiff％；步骤三：计算OSD对应SSD磁盘寿命百分比的计算因子SSDLife％；步骤四：计算OSD磁盘错误百分比的计算因子ErrorCount％；步骤五：计算OSD容量增量百分比的计算因子SizeIncrease％；它对数据不平均分配进行调整，基于磁盘容量，权重，健康情况，ssd寿命以及磁盘S.M.A.R.T的错误计数信息等，对数据进行二次平衡，以解决存储系统数据分布不平均的问题，并提高系统性能与可用性；同时，也提高存储系统的可用空间。

Description

一种基于ceph的数据分布不平均调整方法

【技术领域】

本发明涉及分布式存储技术领域，具体涉及一种基于ceph的数据分布不平均调整方法。

【背景技术】

ceph分布式存储应用中，数据分布依照ceph的CRUSH算法。CRUSH是一种基于哈希的数据分布式算法。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为CRUSH输入，可以随时随地通过计算获取数据所在的底层存储设备(例如磁盘)位置并直接与起通信，从而避免查表操作，实现去中心化和高并发。

当前CRUSH算法，客户端在上传一个文件到指定的pool中时，进行的步骤如下：(1)数据切片，客户端将将大文件拆分为多个Object，例如，假定每个Object大小为8MB，一个1GB的文件可以被拆分成128个Object。(2)计算Object对应PG，对Object进行Hash,然后哈希值和PG的数量取余，得到的值再和pool的ID拼接成PG_ID。(3)计算PG对应的OSD集合：对pg_id进行CURSH得到该PG对应的OSD数组。

由此过程可以看到，数据分布并不会参考数据所在位置(磁盘等)的容量，而仅仅通过对Object进行hash而确定object存储位置。CRUSH本质还是一个hash算法，通过计算带来去中心化和高并发的优点，而带来的就是数据不平衡的问题。在当前ceph的使用情况下，磁盘使用率普遍存在20％左右的偏差，并且最大使用差可达到50％甚至以上。

而ceph自带的数据重平衡提供了两种批量方法：一种是按照OSD当前空间利用率，对OSD对应磁盘的容量使用百分比与集群平均容量百分比偏差大的进行权重值调整，从而控制数据流向，另一种是按照PG在OSD之间的分布，通过将PG进行迁移，不考虑容量情况，把PG多的OSD迁移至PG少的OSD，从而控制数据平衡。其中：Object：不论是块存储、对象存储还是文件存储，最终都是以Object形态存储在磁盘上。PG：相当于一致性哈希算法里的虚拟节点，做为Object的归置组。OSD：真正的存储组件，OSD一般和磁盘一一对应，处理存储磁盘上的读/写操作。

基于上述情况，ceph数据分布不均衡是正常并且普遍存在的现象，由此而带来不小的数据安全隐患以及性能下降。而ceph自带的数据重平衡提供了两种批量方法：一种是按照OSD当前空间利用率，另一种是按照PG在OSD之间的分布。而其中的缺陷存在：

(1)只考虑OSD容量；(2)只考虑PG分布；

(3)未考虑最近单位时间磁盘容量增长情况；

(4)未考虑磁盘健康情况；

(5)未考虑SSD在寿命降低后性能降低以及数据丢失风险；

(6)未做故障域的限制，容易波及整个集群；

综上所述，当前情况在进行数据重平衡时，考虑方面欠缺，在只考虑容量与PG分布的情况下，难以对实际生产适应，容易影响全局的数据分布不均衡以及性能下降。

【发明内容】

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于ceph的数据分布不平均调整方法。

本发明所述的一种基于ceph的数据分布不平均调整方法，采用如下步骤：

步骤一：确定需要调整的OSD列表与OSD对应的当前权重因子CurrentWeight；

步骤二：计算OSD容量偏差百分比的计算因子SizeDiff％；

步骤三：计算OSD对应SSD磁盘寿命百分比的计算因子SSDLife％；

步骤四：计算OSD磁盘错误百分比的计算因子ErrorCount％；

步骤五：计算OSD容量增量百分比的计算因子SizeIncrease％；

步骤六：选择方案A或方案B，确定调整方案；

方案A：只调整容量大于集群平均容量的OSD；

方案B：只调整容量小于集群平均容量的OSD；

步骤七：根据步骤一至步骤五的计算因子，以及步骤六的确定方案，利用

以下计算公式来计算结果，计算公式如下：

AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％

OsdReweight＝CurrentWeight×AdjustmentRatio

其中：

OsdReweight：需要进行权重调整OSD计算而得新权重值；

CurrentWeight：当前OSD权重值；

SizeDiff％：OSD对应磁盘的容量使用百分比与集群平均容量百分比计算而得的调整比例；

SSDLife％：通过OSD对应SSD磁盘寿命计算而得的调整比例；

ErrorCount％：通过OSD对应磁盘Error Count磁盘错误信息计算而得的调整比例；

SizeIncrease％：通过OSD单位时间容量增长百分比与集群容量百分比偏差计算而得的调整比例；

AdjustmentRatio：通过计算因子计算而得的调整比例。

进一步地，步骤一中的需要调整的OSD列表与OSD对应权重因子CurrentWeight，采用如下步骤：

(1)可以通过设置比例，在与集群容量相差在设置比例内的，不予调整，超过或者低于该比例的，则标志为调整对象；；

(2)同时通过设置是否限制在一台机器内，或者单个故障域内的调整，避免调整波及范围过大；最终确认需要调整的OSD列表，记录OSD对应权重因子CurrentWeight。

进一步地，步骤二中的计算因子SizeDiff％，采用如下步骤：

(1)使用命令获取集群当前使用容量百分比Aver％；

(2)通过命令获取每台机器上每块磁盘的容量使用百分比OsdSize％；

(3)对于OsdSize％>Aver％列为需要调小的SmallOSD，得到因子为(OsdSize％-Aver％)；

(4)对于OsdSize％<Aver％列为需要调大权重的OSD，得到SizeDiff％因子为(Aver％-OsdSize％)。

进一步地，步骤三中的计算因子SSDLife％，采用如下步骤：

(1)若OSD磁盘为SSD磁盘，则从S.M.A.R.T.信息中抓取磁盘剩余寿命信息百分比Currentlife％，查询OSD所在磁盘是否为SSD；

(2)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。

进一步地，步骤四中的计算因子ErrorCount％，采用如下步骤：

(1)从磁盘S.M.A.R.T.信息中获取Error count计数，它描述了磁盘发生错误的计数，计数越大，则反映磁盘越不健康，容易产生的错误越多，进而影响集群稳定性以及性能降低；

(2)ErrorCount％表示OSD对应磁盘错误百分比，Error count计数达到或超过100，减少OSD数据存放；Error count计数小于100，ErrorCount％＝(Error count)/100。

进一步地，步骤五中的计算因子SizeIncrease％，采用如下步骤：

(1)以时间周期为T，定期检查获取集群容量，两次检查值之差，得到单位时间内的增长百分比Increase％；

(2)同时，定期获取磁盘容量增长百分比OsdIncrease％；

(3)对于OsdIncrease％>Increase％，减少数据存放，减少比例为OsdIncrease％-Increase％；

(4)对于OsdIncrease％<Increase％，增加OSD数据存放，SizeIncrease％＝Increase％-OsdIncrease％。

本发明有益效果为：本发明所述的一种基于ceph的数据分布不平均调整方法，它对数据不平均分配进行调整，基于磁盘容量，权重，健康情况，ssd寿命以及磁盘S.M.A.R.T错误计数信息等，对数据进行二次平衡，以解决数据不平均的问题，并提高系统性能与可用性；同时，也提高存储系统的可用空间，提高系统磁盘整体的利用率，降低存储系统单位价值产出能耗，最大化系统存储能力与经济效益。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明的拓扑示意图；

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

如图1所示，本具体实施方式所述的一种基于ceph的数据分布不平均调整方法，采用如下步骤：

步骤一：确定需要调整的OSD列表与OSD对应的当前权重因子CurrentWeight；

步骤二：计算OSD容量偏差百分比的计算因子SizeDiff％；

步骤三：计算OSD对应SSD磁盘寿命百分比的计算因子SSDLife％；

步骤四：计算OSD磁盘错误百分比的计算因子ErrorCount％；

步骤五：计算OSD容量增量百分比的计算因子SizeIncrease％；

步骤六：选择方案A或方案B，确定调整方案；

方案A：只调整容量大于集群平均容量的OSD；

方案B：只调整容量小于集群平均容量的OSD；

步骤七：根据步骤一至步骤五的计算因子，以及步骤六的确定方案，利用

以下计算公式来计算结果，计算公式如下：

AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio

其中：

OsdReweight：需要进行权重调整OSD计算而得新权重值；

CurrentWeight：当前OSD权重值；

SizeDiff％：OSD对应磁盘的容量使用百分比与集群平均容量百分比计算而得的调整比例；

SSDLife％：通过OSD对应SSD磁盘寿命计算而得的调整比例；

ErrorCount％：通过OSD对应磁盘Error Count磁盘错误信息计算而得的调整比例；

SizeIncrease％：通过OSD单位时间容量增长百分比与集群容量百分比偏差计算而得的调整比例；

AdjustmentRatio：通过计算因子计算而得的调整比例。

进一步地，步骤一中的需要调整的OSD列表与OSD对应权重因子CurrentWeight，采用如下步骤：

(1)可以通过设置比例，在与集群容量相差在设置比例内的，不予调整，超过或者低于该比例的，则标志为调整对象；

(2)同时通过设置是否限制在一台机器内，或者单个故障域内的调整，避免调整波及范围过大；最终确认需要调整的OSD列表，记录OSD对应权重因子CurrentWeight。

进一步地，步骤二中的计算因子SizeDiff％，采用如下步骤：

(1)使用命令获取集群当前使用容量百分比Aver％；

(2)通过命令获取每台机器上每块磁盘的容量使用百分比OsdSize％；

(3)对于OsdSize％>Aver％列为需要调小的SmallOSD，得到因子为(OsdSize％-Aver％)；

(4)对于OsdSize％<Aver％列为需要调大权重的OSD，得到SizeDiff％因子为(Aver％-OsdSize％)。

进一步地，步骤三中的计算因子SSDLife％，采用如下步骤：

(1)若OSD磁盘为SSD磁盘，则从S.M.A.R.T.信息中抓取磁盘剩余寿命信息百分比Currentlife％，查询OSD所在磁盘是否为SSD；

(2)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。

进一步地，步骤四中的计算因子ErrorCount％，采用如下步骤：

(1)从磁盘S.M.A.R.T.信息中获取Error count计数，它描述了磁盘发生错误的计数，计数越大，则反应磁盘越不健康，容易产生的错误越多，进而影响集群稳定性以及性能降低；

(2)ErrorCount％表示OSD对应磁盘错误百分比，Error count计数达到或超过100，减少OSD数据存放；Error count计数小于100，ErrorCount％＝(Error count)/100。

进一步地，步骤五中的计算因子SizeIncrease％，采用如下步骤：

(1)以时间周期为T，定期检查获取集群容量，两次检查值之差，得到单位时间内的增长百分比Increase％；

(2)同时，定期获取磁盘容量增长百分比OsdIncrease％；

(3)对于OsdIncrease％>Increase％，减少其数据存放，减少比例为OsdIncrease％-Increase％；

(4)对于OsdIncrease％<Increase％，增加OSD数据存放，SizeIncrease％＝Increase％-OsdIncrease％。

本发明，举具体实施例来进一步说明，说明如下：

如图1所示，本发明分为三大块，开始，我们将会收集我们需要采集的各项信息，便于我们之后用于计算；随后选择方案，我们制定了两种调整方案，最后，通过采集的信息和选择的方案，计算得到我们需要调整后的磁盘权重信息。

开始：首先输入动态范围，我们将会在集群容量的基础上，对超出这个范围的OSD列入需要调整的OSD，选择在单个故障域内进行调整，如只调整一台服务器上的磁盘。这样便可找出我们需要调整的OSD列表；

然后，查询集群平均容量百分比与单个磁盘容量使用百分比，得到容量变化差值，记录并用于后续计算；

再然后，查询OSD所在磁盘是否为SSD，若是SSD，则查询OSD对应SSD磁盘寿命信息，记录并用于后续计算；

再然后，查询OSD所在磁盘的Error count错误信息，这项信息描述了磁盘在过去运行时间发生的错误总数，当Error count计数达到或超过100，减少OSD数据存放，计算因子，Error count计数小于100，ErrorCount％＝(Error count)/100，记录用于后续计算；

再然后，定期查询磁盘容量，得到OSD对应磁盘单位时间内的容量增百分比，并与集群容量增长百分比做比较，得到容量增长变化差值，用于描述最近单位时间磁盘繁忙程度，记录并用于后续计算；

再然后，选择调整方案，方便如下：

方案A：只调整容量大于集群平均容量的OSD；

方案B：只调整容量小于集群平均容量的OSD；

最后，通过下面公式来依次计算需要调整的OSD列表中各个OSD新的权重值：

AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％

OsdReweight＝CurrentWeight×AdjustmentRatio

其中：

OsdReweight：需要进行权重调整OSD计算而得新权重值；

CurrentWeight：当前OSD权重值；

SizeDiff％：OSD对应磁盘的容量使用百分比与集群平均容量百分比计算而得的调整比例；

SSDLife％：通过OSD对应SSD磁盘寿命计算而得的调整比例；

ErrorCount％：通过OSD对应磁盘Error Count磁盘错误信息计算而得的调整比例；

SizeIncrease％：通过OSD单位时间容量增长百分比与集群容量百分比偏差计算而得的调整比例；

AdjustmentRatio：通过计算因子计算而得的调整比例。

本发明的具体计算方法如下：

1、找出需要调整的OSD列表与OSD对应权重因子CurrentWeight，采用如下步骤：

(1)可以通过设置比例，在与集群容量相差在设置比例内的，不予调整，超过或者低于该比例的，则标志为调整对象；

(2)同时通过设置是否限制在一台机器内，或者单个故障域内的调整，避免调整波及范围过大；最终确认需要调整的OSD列表，记录OSD对应权重因子CurrentWeight。

2、SizeDiff％因子计算：

(1)使用命令获取集群当前使用容量百分比Aver％；

(2)通过命令获取每台机器上每块磁盘的容量使用百分比OsdSize％；

(3)对于OsdSize％>Aver％列为需要调小的SmallOSD，得到其因子为(OsdSize％-Aver％)；

(4)对于OsdSize％<Aver％列为需要调大权重的OSD，得到SizeDiff％因子为(Aver％-OsdSize％)。

3、SSDLife％因子计算：

(1)若OSD磁盘为SSD磁盘，则从S.M.A.R.T.信息中抓取磁盘剩余寿命信息百分比Currentlife％，查询OSD所在磁盘是否为SSD；

(2)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。

4、ErrorCount％因子计算：

(1)从磁盘S.M.A.R.T.信息中获取Error count计数，它描述了磁盘发生错误的计数，计数越大，则反映磁盘越不健康，容易产生的错误越多，进而影响集群稳定性以及性能降低；

(2)ErrorCount％表示OSD对应磁盘错误百分比，Error count计数达到或超过100；Error count计数小于100，ErrorCount％＝(Error count)/100。

5、SizeIncrease％因子计算：

(1)以时间周期为T，定期检查获取集群容量，两次检查值之差，得到单位时间内的增长百分比Increase％；

(2)同时，定期获取磁盘容量增长百分比OsdIncrease％；

(3)对于OsdIncrease％>Increase％，减少数据存放，减少比例为OsdIncrease％-Increase％；

(4)对于OsdIncrease％<Increase％，增加OSD数据存放，SizeIncrease％＝Increase％-OsdIncrease％。

6、最后，通过下面公式来依次计算需要调整的OSD列表中各个OSD新的权重值：

AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio

本发明的优点如下：

(1)通过对当前存储容量的统计描述当前存储情况，用于平衡各个磁盘数据。

(2)通过对时间周期内的容量增量描述容量趋势，避免给当前压力大的磁盘更多压力。

(3)通过对磁盘S.M.A.R.T.信息的获取来得到磁盘的健康状态，减少对于不健康磁盘的数据，从而提高稳定性与性能。

(4)基于以上各个因子，对于存储容量多的OSD减少此OSD存储权重值，对于容量增量多的OSD减少此OSD权重，对于磁盘不健康信息比例多的也OSD减少此OSD权重，反之则增加。

(5)通过各个因子的权衡比例计算，给与磁盘新的权重(OsdReweight)值，进而达到数据重平衡的效果。并且在进行重平衡时，可选择多种策略，如限制在一台机器上，进而增加存储集群使用效能。

本发明中，本发明可以将存储系统磁盘间使用率偏差由20％左右降低到5％左右，同时提高15％的磁盘使用效率。这样一方面数据在存储系统磁盘中分布均匀，可以使存储系统的访问负载更均匀地分布在各台服务器与磁盘中，存储系统的稳定性与访问时延等性能都会大大提高，同时也可以防止出现某一个磁盘使用率超过阀值而导致整个集群不可用的情况；另一方面，降低了单位存储容量的能耗，可以更好地发挥出存储系统的存储能力与经济效益，如一个存储系统建设容量为100T，通过此发明，可多提供可用存储约15T，根据市场分布式存储1T存储容量6000人民币估算，可多产生9万人民币价值的经济收益。

综上所述，本发明综合多因素来平衡数据分布，从而带来更好的稳定性与性能；同时，也能够提高存储系统的可用空间，最大化系统存储能力与经济效益。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (6)

1.一种基于ceph的数据分布不平均调整方法，它特征在于：采用如下步骤：

步骤一：确定需要调整的OSD列表与OSD对应的当前权重因子CurrentWeight；

步骤二：计算OSD容量偏差百分比的计算因子SizeDiff％；

步骤三：计算OSD对应SSD磁盘寿命百分比的计算因子SSDLife％；

步骤四：计算OSD磁盘错误百分比的计算因子ErrorCount％；

步骤五：计算OSD容量增量百分比的计算因子SizeIncrease％；

步骤六：选择方案A或方案B，确定调整方案；

方案A：只调整容量大于集群平均容量的OSD；

方案B：只调整容量小于集群平均容量的OSD；

步骤七：根据步骤一至步骤五的计算因子，以及步骤六的确定方案，利用以下计算公式来计算结果，计算公式如下：

AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio

其中：

OsdReweight：需要进行权重调整OSD计算而得新权重值；

CurrentWeight：当前OSD权重值；

SizeDiff％：OSD对应磁盘的容量使用百分比与集群平均容量百分比计算而得的调整比例；

SSDLife％：通过OSD对应SSD磁盘寿命计算而得的调整比例；

ErrorCount％：通过OSD对应磁盘Error Count磁盘错误信息计算而得的调整比例；

SizeIncrease％：通过OSD单位时间容量增长百分比与集群容量百分比偏差计算而得的调整比例；

AdjustmentRatio：通过计算因子计算而得的调整比例。

2.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，它特征在于：步骤一中的需要调整的OSD列表与OSD对应权重因子CurrentWeight，采用如下步骤：

(1)可以通过设置比例，在与集群容量相差在设置比例内的，不予调整，超过或者低于该比例的，则标志为调整对象；

(2)同时通过设置是否限制在一台机器内，或者单个故障域内的调整，避免调整波及范围过大；最终确认需要调整的OSD列表，记录OSD对应权重因子CurrentWeight。

3.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，它特征在于：步骤二中的计算因子SizeDiff％，采用如下步骤：

(1)使用命令获取集群当前使用容量百分比Aver％；

(2)通过命令获取每台机器上每块磁盘的容量使用百分比OsdSize％；

(3)对于OsdSize％>Aver％列为需要调小的SmallOSD，得到因子为(OsdSize％-Aver％)；

(4)对于OsdSize％<Aver％列为需要调大权重的OSD，得到SizeDiff％因子为(Aver％-OsdSize％)。

4.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，它特征在于：步骤三中的计算因子SSDLife％，采用如下步骤：

(1)若OSD磁盘为SSD磁盘，则从S.M.A.R.T.信息中抓取磁盘剩余寿命信息百分比Currentlife％，查询OSD所在磁盘是否为SSD；

(2)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。

5.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，它特征在于：步骤四中的计算因子ErorCount％，采用如下步骤：

(1)从磁盘S.M.A.R.T.信息中获取Error count计数，它描述了磁盘发生错误的计数，计数越大，则反映磁盘越不健康，容易产生的错误越多，进而影响集群稳定性以及性能降低；

(2)ErrorCount％表示OSD对应磁盘错误百分比，Error count计数小于100，ErrorCount％＝(Error count)/100。

6.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，它特征在于：步骤五中的计算因子SizeIncrease％，采用如下步骤：

(1)以时间周期为T，定期检查获取集群容量，两次检查值之差，得到单位时间内的增长百分比Increase％；

(2)同时，定期获取磁盘容量增长百分比OsdIncrease％；

(3)对于OsdIncrease％>Increase％，减少数据存放，减少比例为OsdIncrease％-Increase％；

(4)对于OsdIncrease％<Increase％，增加OSD数据存放，SizeIncrease％＝Increase％-OsdIncrease％。

Images