CN111708492A - 一种基于ceph的数据分布不平均调整方法 - Google Patents

一种基于ceph的数据分布不平均调整方法 Download PDF

Info

Publication number
CN111708492A
CN111708492A CN202010524170.5A CN202010524170A CN111708492A CN 111708492 A CN111708492 A CN 111708492A CN 202010524170 A CN202010524170 A CN 202010524170A CN 111708492 A CN111708492 A CN 111708492A
Authority
CN
China
Prior art keywords
capacity
osd
disk
factor
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010524170.5A
Other languages
English (en)
Other versions
CN111708492B (zh
Inventor
陈帮民
蒋川
余传锋
范文
巫禄芳
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Securities Communication Co ltd
Original Assignee
Shenzhen Securities Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Securities Communication Co ltd filed Critical Shenzhen Securities Communication Co ltd
Priority to CN202010524170.5A priority Critical patent/CN111708492B/zh
Publication of CN111708492A publication Critical patent/CN111708492A/zh
Application granted granted Critical
Publication of CN111708492B publication Critical patent/CN111708492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及分布式存储技术领域，具体涉及一种基于ceph的数据分布不平均调整方法，采用如下步骤：步骤一：确定需要调整的OSD的计算因子A；步骤二：计算其偏差百分比的计算因子B：步骤三：得到其寿命百分比的计算因子C；步骤四：得到其错误百分比的计算因子D；步骤五：得到其容量增量百分比的计算因子E；它对数据不平均分配进行调整，基于磁盘容量，权重，健康情况，ssd寿命以及磁盘S.M.A.R.T的错误计数信息等，对数据进行二次平衡，以解决存储系统数据分布不平均的问题，并提高系统性能与可用性；同时，也提高存储系统的可用空间，提高系统磁盘整体的利用率，降低存储系统单位价值产出能耗，最大化系统存储能力与经济效益。

Description

一种基于ceph的数据分布不平均调整方法
【技术领域】
本发明涉及分布式存储技术领域，具体涉及一种基于ceph的数据分布不平均调整方法。
【背景技术】
ceph分布式存储应用中，数据分布依照ceph的CRUSH算法。CRUSH是一种基于哈希的数据分布式算法。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为CRUSH输入，可以随时随地通过计算获取数据所在的底层存储设备(例如磁盘)位置并直接与起通信，从而避免查表操作，实现去中心化和高并发。
当前CRUSH算法，客户端在上传一个文件到指定的pool中时，进行的步骤如下：(1)数据切片，客户端将将大文件拆分为多个Object，例如，假定每个Object大小为8MB，一个1GB的文件可以被拆分成128个Object。(2)计算Object对应PG，对Object进行Hash,然后哈希值和PG的数量取余，得到的值再和pool的ID拼接成PG_ID。(3)计算PG对应的OSD集合：对pg_id进行CURSH得到该PG对应的OSD数组。
由此过程可以看到，数据分布并不会参考数据所在位置(磁盘等)的容量，而仅仅通过对Object进行hash而确定其存储位置。CRUSH本质还是一个hash算法，通过计算带来去中心化和高并发的优点，而带来的就是数据不平衡的问题。在当前ceph的使用情况下，磁盘使用率普遍存在20％左右的偏差，并且最大使用差可达到50％甚至以上。
而ceph自带的数据重平衡提供了两种批量方法：一种是按照OSD当前空间利用率，对容量与集群平均容量偏差大的进行weight值调整，从而控制数据流向，另一种是按照PG在OSD之间的分布，通过将PG进行迁移，不考虑容量情况，把PG多的OSD迁移至PG少的OSD，从而控制数据平衡。其中：Object：不论是块存储、对象存储还是文件存储，最终都是以Object形态存储在磁盘上。PG：相当于一致性哈希算法里的虚拟节点，做为Object的归置组。OSD：真正的存储组件，OSD一般和磁盘一一对应，处理存储磁盘上的读/写操作。
基于上述情况，ceph数据分布不均衡是正常并且普遍存在的现象，由此而带来不小的数据安全隐患以及性能下降。而ceph自带的数据重平衡提供了两种批量方法：一种是按照OSD当前空间利用率，另一种是按照PG在OSD之间的分布。而其中的缺陷存在：
(1)只考虑OSD容量；(2)只考虑PG分布；
(3)未考虑最近单位时间磁盘容量增长情况；
(4)未考虑磁盘健康情况；
(5)未考虑SSD在寿命降低后性能降低以及数据丢失风险；
(6)未做故障域的限制，容易波及整个集群；
综上所述，当前情况在进行数据重平衡时，考虑方面欠缺，在只考虑容量与PG分布的情况下，难以对实际生产适应，容易影响全局的数据分布不均衡以及性能下降。
【发明内容】
本发明的目的在于针对现有技术的缺陷和不足，提供一种基于ceph的数据分布不平均调整方法。
本发明所述的一种基于ceph的数据分布不平均调整方法，采用如下步骤：
步骤一：确定需要调整的OSD的计算因子A；
步骤二：计算其偏差百分比的计算因子B：
步骤三：得到其寿命百分比的计算因子C；
步骤四：得到其错误百分比的计算因子D；
步骤五：得到其容量增量百分比的计算因子E；
步骤六：选择只增不减的方案A或只减不增的方案B，确定调整方案；
方案A：只调整容量大于集群平均容量的OSD；
方案B：只调整容量小于集群平均容量的OSD；
步骤七：根据步骤一至步骤五的计算因子A-E，以及步骤六的确定方案，利用以下计算公式来计算结果，计算公式如下：
AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio
其中：
OsdRewight：最后需要调整后的OSD权重；
CurrentWeight：OSD当前权重；
SizeDiff％：Osd容量与集群平均容量偏差百分比计算而得；
SSDLife％：通过SSD寿命计算而得的调整比例；
ErrorCount％：通过Error Count信息计算而得的调整比例；
SizeIncrease％：通过OSD单位时间容量增长计算而得；
AdjustmentRatio:通过各个因子计算而得的调整比例。
进一步地，步骤一中的计算因子A，采用如下步骤：
(1)输入动态范围，在集群容量的基础上，对超出动态范围的OSD，列入需要调整的OSD；
(2)同时可以选择单个故障域内进行调整，找出需要调整的OSD列表。
进一步地，步骤二中的计算因子B，采用如下步骤：
(1)查询集群平均容量与单个磁盘的容量，得到其差值；
(2)记录并用于后续计算需要。
进一步地，步骤三中的计算因子C，采用如下步骤：
(3)查询OSD所在磁盘是否为SSD；
(4)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。
进一步地，步骤四中的计算因子D，采用如下步骤：
(3)查询OSD所在磁盘的Error count信息；
(4)上述信息描述了磁盘在过去运行时间发生的错误总数，将其记录用于计算。
进一步地，步骤五中的计算因子E，采用如下步骤：
(1)定期查询磁盘容量，得到其单位时间内的容量增量；
(2)上述的容量增量与平均容量做比较，得到其差值，用于描述最近单位时间磁盘繁忙程度，记录并用于计算。
本发明有益效果为：本发明所述的一种基于ceph的数据分布不平均调整方法，它对数据不平均分配进行调整，基于磁盘容量，权重，健康情况，ssd寿命以及磁盘S.M.A.R.T错误计数信息等，对数据进行二次平衡，以解决数据不平均的问题，并提高系统性能与可用性；同时，也提高存储系统的可用空间，提高系统磁盘整体的利用率，降低存储系统单位价值产出能耗，最大化系统存储能力与经济效益。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明的拓扑示意图；
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
如图1所示，本具体实施方式所述的一种基于ceph的数据分布不平均调整方法，采用如下步骤：
步骤一：确定需要调整的OSD的计算因子A；
步骤二：计算其偏差百分比的计算因子B：
步骤三：得到其寿命百分比的计算因子C；
步骤四：得到其错误百分比的计算因子D；
步骤五：得到其容量增量百分比的计算因子E；
步骤六：选择只增不减的方案A或只减不增的方案B，确定调整方案；
方案A：只调整容量大于集群平均容量的OSD；
方案B：只调整容量小于集群平均容量的OSD；
步骤七：根据步骤一至步骤五的计算因子A-E，以及步骤六的确定方案，利用以下计算公式来计算结果，计算公式如下：
AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio
其中：
OsdRewight：最后需要调整后的OSD权重；
CurrentWeight：OSD当前权重；
SizeDiff％：Osd容量与集群平均容量偏差百分比计算而得；
SSDLife％：通过SSD寿命计算而得的调整比例；
ErrorCount％：通过Error Count信息计算而得的调整比例；
SizeIncrease％：通过OSD单位时间容量增长计算而得；
AdjustmentRatio:通过各个因子计算而得的调整比例。
进一步地，步骤一中的计算因子A，采用如下步骤：
(1)输入动态范围，在集群容量的基础上，对超出动态范围的OSD，列入需要调整的OSD；
(2)同时可以选择单个故障域内进行调整，如只调整一台机器上磁盘，找出需要调整的OSD列表。
进一步地，步骤二中的计算因子B，采用如下步骤：
(1)查询集群平均容量与单个磁盘的容量，得到其差值；
(2)记录并用于后续计算需要。
进一步地，步骤三中的计算因子C，采用如下步骤：
(5)查询OSD所在磁盘是否为SSD；
(6)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。
进一步地，步骤四中的计算因子D，采用如下步骤：
(5)查询OSD所在磁盘的Error count信息；
(6)上述信息描述了磁盘在过去运行时间发生的错误总数，将其记录用于计算。
进一步地，步骤五中的计算因子E，采用如下步骤：
(1)定期查询磁盘容量，得到其单位时间内的容量增量；
(2)上述的容量增量与平均容量做比较，得到其差值，用于描述最近单位时间磁盘繁忙程度，记录并用于计算。
本发明，举具体实施例来进一步说明，说明如下：
如图1所示，本发明分为三大块，开始，我们将会收集我们需要采集的各项信息，便于我们之后用于计算；随后选择方案，我们制定了两种调整方案，最后，通过采集的信息和选择的方案，计算得到我们需要调整后的磁盘权重信息。
开始：首先输入动态范围，我们将会在集群容量的基础上，对超出这个范围的OSD列入需要调整的OSD，同时可以选择在单个故障域内进行调整，如只调整一台服务器上的磁盘。这样便可找出我们需要调整的OSD列表；
然后，查询集群平均容量与单个磁盘的容量，得到其差值，记录并用于后续计算需；
再然后，查询OSD所在磁盘是否为SSD，若是SSD，则查询其寿命信息，得到其寿命的百分比数据；
再然后，查询OSD所在磁盘的Error count信息，这项信息描述了磁盘在过去运行时间发生的错误总数，将其记录用于计算；
再然后，定期查询磁盘容量，得到其单位时间内的容量增量，并与平均容量做比较，得到其差值，用于描述最近单位时间磁盘繁忙程度，记录并用于计算；
再然后，选择调整方案，方便如下：
调整方案A：只增不减，只调整容量大于集群平均容量的OSD
调整方案B：只减不增，只调整容量小于集群平均容量的OSD
最后，通过公式来计算，得到结果：
AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio
OsdRewight：最后需要调整后的OSD权重；
CurrentWeight：OSD当前权重；
SizeDiff％：Osd容量与集群平均容量偏差百分比计算而得；
SSDLife％：通过SSD寿命计算而得的调整比例；
ErrorCount％：通过Error Count信息计算而得的调整比例；
SizeIncrease％：通过OSD单位时间容量增长计算而得；
AdjustmentRatio:通过各个因子计算而得的调整比例。
本发明的具体计算方法如下：
1、找出需要调整权重的OSD
(1)可以通过设置比例，在与集群容量相差在设置比例内的，不予调整，超过或者低于该比例的，则标志为调整对象
(2)可以通过设置是否限制在一台机器内，或者单个故障域内的调整，避免调整波及范围过大
2、集群容量与OSD容量之前的计算
(1)使用命令获取集群当前使用容量百分比Aver％
(2)通过ansible获取每台机器上每块磁盘的容量使用百分比OsdSize％
(3)对于OsdSize％>Aver％列为需要调小的SmallOSD，得到其因子为(OsdSize％-Aver％)，记录用于之后计算
(4)对于OsdSize％<Aver％列为需要调大的BigOSD，得到其因子为(Aver％-OsdSize％)，记录用于之后计算
(5)然后针对使用场景而言，对于只增不减的情况下，只调整BigOSD，对于只减不增的情况下，只调整SmallOSD
3、SSD磁盘寿命计算
(1)若磁盘为SSD，则从S.M.A.R.T.信息中抓取其寿命信息
(2)对于寿命低于40％标记为低寿命SSD，对其数据进行相应减少
(3)对于寿命低于40％的SSD，其寿命剩余每减少1％，将其数据相应减少1％，再低于10％之后，将移除其全部数据
4、容量增量计算
(1)以时间周期为T，定期检查获取集群容量，两次检查值之差，得到单位时间内的增长速度Increase％
(2)同时，定期获取磁盘容量增长速度OsdIncrease％
(3)对于OsdIncrease％>Increase％，减少其数据存放，减少比例为OsdIncrease％-Increase％
(4)对于OsdIncrease％<Increase％，增加其数据存放，增加比例为Increase％-OsdIncrease％
5、Error Count计算
(1)从磁盘S.M.A.R.T.信息中获取Error count计数，其描述了磁盘发生读写错误的计数，计数越大，则反应磁盘越不健康，容易产生的错误越多，进而影响集群稳定性以及性能降低
(2)对Error count/100表示其数据减少比例，达到或超过100，将其全部数据移除
6、最后结果：
AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio
本发明的优点如下：
(1)通过对当前存储容量的统计描述当前存储情况，用于平衡各个磁盘数据。
(2)通过对时间周期内的容量增量描述容量趋势，避免给当前压力大的磁盘更多压力。
(3)通过对磁盘S.M.A.R.T.信息的获取来得到磁盘的健康状态，减少对于不健康磁盘的数据，从而提高稳定性与性能。
(4)基于以上各个因子，对于存储容量多的减少其存储权重值，对于容量增量多的减少其权重，对于磁盘不健康信息比例多的也减少其权重，反之则增加。
(5)通过各个因子的权衡比例计算，给与磁盘新的负载权重(weight)值，进而达到数据重平衡的效果。并且在进行重平衡时，可选择多种策略，如只增不减、只减不增或者限制在一台机器上，进而增加其使用效能。
本发明中，本发明可以将存储系统磁盘间使用率偏差由20％左右降低到5％左右，同时提高15％的磁盘使用效率。这样一方面数据在存储系统磁盘中分布均匀，可以使存储系统的访问负载更均匀地分布在各台服务器与磁盘中，存储系统的稳定性与访问时延等性能都会大大提高，同时也可以防止出现某一个磁盘使用率超过阀值而导致整个集群不可用的情况；另一方面，降低了单位存储容量的能耗，可以更好地发挥出存储系统的存储能力与经济效益，如一个存储系统建设容量为100T，通过此发明，可多提供可用存储约15T，根据市场分布式存储1T存储容量6000人民币估算，可多产生9万人民币价值的经济收益。
综上所述，本发明综合多因素来平衡数据分布，从而带来更好的稳定性与性能；同时，也能够提高存储系统的可用空间，最大化系统存储能力与经济效益。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (6)

1.一种基于ceph的数据分布不平均调整方法，其特征在于：采用如下步骤：
步骤一：确定需要调整的OSD的计算因子A；
步骤二：计算其偏差百分比的计算因子B：
步骤三：得到其寿命百分比的计算因子C；
步骤四：得到其错误百分比的计算因子D；
步骤五：得到其容量增量百分比的计算因子E；
步骤六：选择只增不减的方案A或只减不增的方案B，确定调整方案；
方案A：只调整容量大于集群平均容量的OSD；
方案B：只调整容量小于集群平均容量的OSD；
步骤七：根据步骤一至步骤五的计算因子A-E，以及步骤六的确定方案，
利用以下计算公式来计算结果，计算公式如下：
AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％
OsdReweight＝CurrentWeight×AdjustmentRatio
其中：
OsdRewight：最后需要调整后的OSD权重；
CurrentWeight：OSD当前权重；
SizeDiff％：Osd容量与集群平均容量偏差百分比计算而得；
SSDLife％：通过SSD寿命计算而得的调整比例；
ErrorCount％：通过Error Count信息计算而得的调整比例；
SizeIncrease％：通过OSD单位时间容量增长计算而得；
AdjustmentRatio：通过各个因子计算而得的调整比例。
2.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，其特征在于：步骤一中的计算因子A，采用如下步骤：
(1)输入动态范围，在集群容量的基础上，对超出动态范围的OSD，列入需要调整的OSD；
(2)同时可以选择单个故障域内进行调整，找出需要调整的OSD列表。
3.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，其特征在于：步骤二中的计算因子B，采用如下步骤：
(1)查询集群平均容量与单个磁盘的容量，得到其差值；
(2)记录并用于后续计算需要。
4.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，其特征在于：步骤三中的计算因子C，采用如下步骤：
(1)查询OSD所在磁盘是否为SSD；
(2)若是SSD，则查询其寿命信息，得到其寿命的百分比数据。
5.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，其特征在于：步骤四中的计算因子D，采用如下步骤：
(1)查询OSD所在磁盘的Error count信息；
(2)上述信息描述了磁盘在过去运行时间发生的错误总数，将其记录用于计算。
6.根据权利要求1所述的一种基于ceph的数据分布不平均调整方法，其特征在于：步骤五中的计算因子E，采用如下步骤：
(1)定期查询磁盘容量，得到其单位时间内的容量增量；
(2)上述的容量增量与平均容量做比较，得到其差值，用于描述最近单位时间磁盘繁忙程度，记录并用于计算。
CN202010524170.5A 2020-06-10 2020-06-10 一种基于ceph的数据分布不平均调整方法 Active CN111708492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010524170.5A CN111708492B (zh) 2020-06-10 2020-06-10 一种基于ceph的数据分布不平均调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010524170.5A CN111708492B (zh) 2020-06-10 2020-06-10 一种基于ceph的数据分布不平均调整方法

Publications (2)

Publication Number Publication Date
CN111708492A true CN111708492A (zh) 2020-09-25
CN111708492B CN111708492B (zh) 2023-04-25

Family

ID=72540326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010524170.5A Active CN111708492B (zh) 2020-06-10 2020-06-10 一种基于ceph的数据分布不平均调整方法

Country Status (1)

Country Link
CN (1) CN111708492B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092272A1 (en) * 2014-09-30 2016-03-31 Nimble Storage, Inc. Congestion avoidance in network storage device using dynamic weights
CN109189329A (zh) * 2018-08-08 2019-01-11 杭州数梦工场科技有限公司 存储节点权重的调整方法和装置
CN109343798A (zh) * 2018-09-25 2019-02-15 郑州云海信息技术有限公司 对分布式存储系统的主pg均衡调整的方法、装置及介质
CN109962969A (zh) * 2017-12-22 2019-07-02 三星电子株式会社 用于云计算存储系统的自适应缓存负载均衡的方法和装置
CN110018799A (zh) * 2019-04-12 2019-07-16 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092272A1 (en) * 2014-09-30 2016-03-31 Nimble Storage, Inc. Congestion avoidance in network storage device using dynamic weights
CN109962969A (zh) * 2017-12-22 2019-07-02 三星电子株式会社 用于云计算存储系统的自适应缓存负载均衡的方法和装置
CN109189329A (zh) * 2018-08-08 2019-01-11 杭州数梦工场科技有限公司 存储节点权重的调整方法和装置
CN109343798A (zh) * 2018-09-25 2019-02-15 郑州云海信息技术有限公司 对分布式存储系统的主pg均衡调整的方法、装置及介质
CN110018799A (zh) * 2019-04-12 2019-07-16 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN111708492B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
US10303365B1 (en) Data fingerprint distribution on a data storage system
US20190205039A1 (en) Distributed Object Storage System Comprising Performance Optimizations
CN108780386A (zh) 一种数据存储的方法、装置和系统
US20050182992A1 (en) Method and apparatus for raid conversion
US11402998B2 (en) Re-placing data within a mapped-RAID environment comprising slices, storage stripes, RAID extents, device extents and storage devices
US8201001B2 (en) Method for optimizing performance and power usage in an archival storage system by utilizing massive array of independent disks (MAID) techniques and controlled replication under scalable hashing (CRUSH)
US11144396B1 (en) Raid reliability with a provisional spare disk
CN108920100B (zh) 基于Ceph的读写模型优化和异构副本组合方法
US11199968B2 (en) Using recurring write quotas to optimize utilization of solid state storage in a hybrid storage array
US20110029729A1 (en) Erasure coded data storage capacity and power management
US20130275802A1 (en) Storage subsystem and data management method of storage subsystem
CN106445677A (zh) 负载均衡方法及设备
CN102096557A (zh) 一种独立磁盘冗余阵列的扩容方法、装置及系统
CN101827121A (zh) 在raid中创建文件的方法、服务端和系统
CN111966291B (zh) 一种存储集群中的数据存储方法、系统及相关装置
CN101800873B (zh) 一种视频监控数据的存储方法和设备
JP4261532B2 (ja) 論理ディスク管理方法及び仮想化装置
CN102375703A (zh) 一种创建raid时自动选盘的方法
US11704034B2 (en) Load balancing in a storage system
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
CN104702691A (zh) 分布式负载均衡方法和装置
CN113688115B (zh) 一种基于Hadoop的档案大数据分布式存储系统
CN105204785B (zh) 一种基于磁盘i/o队列的磁盘阵列写方式选择方法
CN111708492A (zh) 一种基于ceph的数据分布不平均调整方法
CN117971789A (zh) 一种基于云计算的分布式储存系统及其文件备份方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant