CN111880747A - 一种基于分级映射的Ceph存储系统自动均衡存储方法 - Google Patents

一种基于分级映射的Ceph存储系统自动均衡存储方法 Download PDF

Info

Publication number
CN111880747A
CN111880747A CN202010763358.5A CN202010763358A CN111880747A CN 111880747 A CN111880747 A CN 111880747A CN 202010763358 A CN202010763358 A CN 202010763358A CN 111880747 A CN111880747 A CN 111880747A
Authority
CN
China
Prior art keywords
storage
osd
sub
ceph
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010763358.5A
Other languages
English (en)
Other versions
CN111880747B (zh
Inventor
陈宁江
卢煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN202010763358.5A priority Critical patent/CN111880747B/zh
Publication of CN111880747A publication Critical patent/CN111880747A/zh
Priority to JP2023503089A priority patent/JP2023536693A/ja
Priority to PCT/CN2021/094042 priority patent/WO2022028033A1/zh
Application granted granted Critical
Publication of CN111880747B publication Critical patent/CN111880747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分级映射的Ceph存储系统自动均衡存储方法。本发明基于分级映射的Ceph存储系统自动均衡存储方法包括：为存储集群的所有OSD(Object Storage Device，对象存储设备)新增一个等级属性，根据等级划分为多个子存储池，同时以OSD等级为基础为PG(Placement Group，放置组)增加一个等级属性，PG在相同等级的OSD子存储池中寻找OSD组合进行存储；同时加入随机因子与影响因子指导PG选择OSD的过程；当总存储池中单点OSD出现使用率过高的时候，根据PG所在存储池与其他存储池使用率信息确定PG迁移大方向，同时根据PG等级、随机因与影响因子组合，进行迁移均衡调整。本发明能够实现在Ceph存储系统中使用率过高的OSD能合理迁移内部PG以保证系统存储的均衡，提高系统的稳定性。

Description

一种基于分级映射的Ceph存储系统自动均衡存储方法
技术领域
本发明属于分布式存储技术领域，更具体地，涉及一种基于分级映射的Ceph存储系统自动均衡存储方法。
背景技术
Ceph存储系统是一种对象存储系统(Object-Based Storage System，OBSS)，但是与传统的OBSS不一样的是，Ceph存储系统并没有独立的元数据服务器来记录分片对象存储的OSD(Object Storage Device，对象存储设备)位置，而是使用CRUSH(ControlledReplication Under Scalable Hashing，可控复制的可扩展副本数据选择哈希算法)算法来确定对象和对象的副本备份的存储位置。当需要再次查找数据或者修改数据的时候，数据的读写寻址过程可以在每个OSD上独立完成，不存在单节点瓶颈。此种调度方式依托于软件而不是人工，在设备更换或者新增时，软件能自发计算对象的存储位置，实现数据恢复和扩容时的均衡，此过程不需要人工介入。Ceph的原有CRUSH算法的功能是通过传入的PG(Placement Group，置放群组)进行相应的哈希Hash运算，选出一个存储主节点和多个副本节点，所以当PG不变，所选择的OSD组合也不会发生变化，完成读写的初步寻址功能，同时其中的OSD若发生变化，能自发的从其它节点进行数据的恢复。存储服务请求分割成等大的小对象，小对象所集合产生的逻辑组PG能按照预设的OSD权重平均分配到每个OSD，从而让系统和运维人员无需去理会OSD的情况。但是，OSD本身的差异性并不能完全通过权重来精准反映，权重只是一个概率性选择问题，并不是一个确定的比例；同时，假设当PG宏观均衡的分配到每一个OSD上的时候，每个OSD上的PG数据假设一致，但是PG的差异性却没有被考虑，PG虽然为对象的逻辑集合(并非数据实体)，但是数据的迁移和存储的选择单位却是以PG为最小单位，对象映射到PG是通过Hash运算取余的结果，所以，并不是每个PG上所映射的对象都是一致的，PG大小也是不一致的。同时，若是存储分配不均衡，造成单节点的使用过载，就会使整个存储系统处于不可用的状态。
因为Ceph的存储选择和映射过程与传统的使用MDS(MetaData Server，元数据服务器)的存储系统并不一样，现有的基于权重的调整手段无法准确控制迁出的数量和迁出的方向，同时也无法预测此次调整是否会引发数据雪崩(一个过载的OSD的调整数据迁出后，会引发更多的OSD过载)。因此，需要一种新的Ceph自动均衡存储方法，能够根据PG使用的真实情况进行实时的数据迁移，并能在迁移的同时保证此次的迁移对于系统的单节点使用率均衡具有良性作用。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于分级映射的Ceph存储系统自动均衡存储方法，本发明能够实现在基于Ceph存储系统的分布式工作任务的环境中的存储自动均衡，使得高负载的单节点能自主的进行均衡调整，精准控制数据的迁出方向和迁出数量，从而保证系统的稳定。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于分级映射的Ceph存储系统自动均衡存储方法，实施步骤包括：
(1)给予PG和OSD新的分级属性，以相同等级的OSD聚合逻辑把整个存储池划分为了多个子存储池，并且PG分级与OSD分级一一对应，PG只能在相同等级的OSD存储池中进行选择，根据分级的变化给予PG能自由迁移的能力，同时加入随机因子作为Ceph存储系统原有的CRUSH算法的新参数，指导新OSD组合的选择结果，给予PG迁移的更多选择；
(2)在进行数据插入时，获取单个OSD使用率与系统平均使用率之间差值，与事先设置好的阈值进行比较是否超过了阈值，若是超过阈值则转步骤(3)触发均衡存储策略，若没有超过阈值则正常插入数据；
(3)获取该OSD内的根据PG大小进行排序的队列，选取其中大小处于中位数的PG进行分析，以此PG所在OSD子存储池和相邻等级的子存储池的使用率进行大小排序，以最低使用率等级的子存储池的等级作为PG的新等级；同时基于此新等级的配置，以等级作为种子生成多个随机数产生多个随机因子，随机因子作为CRUSH算法的参数，干扰OSD组合的选择结果，产生多个不同的OSD组合以供数据存储，并根据随机因子产生的OSD组合对系统的均衡性影响生成对应的影响因子；最后根据影响因子的排序，选择影响因子最小即对系统的均衡性影响最小的等级与影响因子组合，赋予PG新的分组属性。
在步骤(1)的初始化过程中，主要的初始化步骤包括：初始化OSD的分级属性的时候，由人工进行初始化，初始化PG的分级属性的时候，根据一致性哈希算法把PG均匀的分布在各个存储池中，因为PG的大小是不可预测的，所以在初期根据数量来进行较为平均的分布，以避免系统刚刚开始使用时就伴随大量的均衡迁移。可选地，可以使用一致性hash算法来初始化PG等级。
步骤(1)中随机因子是用于指导CRUSH算法的输出结果，其作用是把原始的CRUSH算法选择过程改为：
Ri<OSD>＝CRUSH(PGID,ri)
上式中，Ri<OSD>为选择出来的第i个OSD组合，调用CRUSH算法的输入参数为PGID和ri，PGID为PG的唯一标识，ri为随机因子。根据此算法，步骤(3)可以产生多组OSD组合，从中选择最适合、对系统的均衡性影响最低的OSD组合。
步骤(2)中生成触发均衡策略的过程是在插入数据的时候，也就是进行CRUSH算法的过程中进行判断触发，需要引入全局的监控从而实现。
步骤(3)中，影响因子的作用是衡量PG迁移前目标子存储池的均衡存储情况和PG若是按照此新等级和新影响因子迁移后目标子存储池的均衡存储情况，对于一个子存储池的均衡存储情况，其量化的表达式为：
Figure BDA0002613707300000041
上式中，M为该子存储池的平均使用率，xj为该子存储池中各个OSD的使用率，n为子存储池中OSD的数量。
使用某个PG某次迁移前的βr值与迁移后的βj值，可得此PG在本次迁移中对系统的存储均衡值的影响因子δ为：
Figure BDA0002613707300000042
其中，若有一组的使用率在PG迁移后其中有一个超过了1，则此组的影响因子则为-1，从而保证此次PG的迁移不会造成新的OSD过载或者完全的不可用。
步骤(1)还包括了对系统中硬件的规划和子存储池的配置：
①对现有的存储设备进行归类、整理，确保新划分的子存储池的大小合理，原则上因为PG的等级分配随机性、PG的数据写入随机性和各个存储池之间比较使用的是使用率作为参考，所以各个子存储池的大小接近最好。
②对各个存储池进行配置，每个存储池可以有自己的阈值、随机因子个数。
步骤(3)完成后，若没有适合的迁移对象，则跳转至步骤(2)。
与现有技术相比，本发明具有下述优点：均衡存储的时机为实时，而非出现过载行为以后才进行的均衡操作，同时也不需要消耗额外的计算资源和人力资源来进行监控；将一个存储集群的所有OSD新增一个等级属性，把它们划分为多个级别的子存储池，同时以OSD等级为基础为PG增加一个等级属性，PG只能在相同等级的OSD子存储池中寻找OSD组合进行存储；同时PG加入随机因子指导选择OSD过程，使其产生更多的选择组合；加入影响因子来量化一个PG属性改变后因选择结果发生变化而对系统的均衡存储造成的影响；当总存储池中单点OSD出现使用率过高的时候，选择其中的中位数大小的PG，根据该子存储池与相邻子存储池的使用率信息确定PG迁移的方向，同时根据PG等级、随机因子产生对应的影响因子组合，选取最优等级与影响因子组合进行均衡调整。本发明利用了风险转移的思想，利用分级映射的原理把整个存储系统划分为一个个存储区，在出现局部存储设备过载的时候，能把存储数据转移到低风险(低使用率)的区域，使高负载的存储节点得到缓解，存储资源得到合理利用，同时系统更加稳定。
附图说明
图1为本发明实施例方法的基本流程示意图；
图2为本发明实施例随机因子产生过程示意图；
图3为本发明实施例影响因子的选择过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例基于分级映射的Ceph存储系统自动均衡存储的流程包括：
(1)给予PG和OSD新的分级属性，以相同等级的OSD聚合逻辑上把整个存储池划分为了多个子存储池。
(2)同时PG分级与OSD分级一一对应，PG只能在相同等级的OSD存储池中进行选择，根据分级的变化，给予PG能自由迁移的能力，
(3)在进行数据插入时，根据OSD使用率与系统平均使用率之间的比较结果，是否超过了预先设置的阈值，若是超过阈值，触发本发明中的PG迁移方法以达到均衡目的，若未达到阈值，则正常写入数据。
(4)若单个OSD与系统的平均使用率相比较，超过了阈值，则触发本发明的均衡存储策略，该策略会均匀化系统的存储分布，降低局部OSD的突出使用率，若使用该策略后此OSD使用率为预设值(例如100)，即已经满载，则写入拒绝。若不足100，则正常写入数据。
如图2所示，本实施例中随机因子产生的步骤包括：
(1)获取目标子存储池的配置，获取最大随机因子的个数，因为当划分子存储池后每次的计算规模会变小，为了不产生相同的组合，需要在此做个判断，较低的随机因子最大个数能快速的完成随机因子的选择，保证了均衡的高效，同时在较高的时候保证能进行足够多的随机测试，以保证系统的高可用。
(2)在本实施例中，随机因子的作用是作为参数干扰CRUSH算法的选择过程，所以随机因子的产生可以以PG的等级作为种子使用C语言的自带随机数产生方法即可，使用随机因子选择的OSD组合的算法过程如下：
Ri<OSD>＝CRUSH(PGID,ri)
上式中，Ri<OSD>为选择出来的第i个OSD组合；调用CRUSH算法的输入参数为PGID和ri，PGID为PG的唯一标识；ri为随机因子。
(3)每选择出一个OSD组合的实例后，先判断此组合是否已经被选择出来过，若该组合已经存在选择结果里面，则跳过此次选择，再次进行OSD选择，若没有该组合，则保存。
(4)若组合数量已经达到此OSD子存储池的要求，则结束OSD组合的选择过程，否则调至步骤(2)继续选择。
如图3所示在本实例中，影响因子的计算和选择指导了PG属性的变化，影响因子的作用是衡量PG迁移前目标子存储池的均衡存储情况，其指导步骤包括
(1)载入PG的新等级和随机因子对应的OSD组合。
(2)循环迭代这些OSD组合，若是全部计算完，则退出这个流程，若是还有组合没有计算，则跳至下一步。
(3)计算当前系统的均衡参数，对于一个子存储池的均衡存储情况，其量化的表达式为：
Figure BDA0002613707300000071
上式中，M为该子存储池的平均使用率，xj为该子存储池中各个OSD的使用率，n为子存储池中的OSD数量。
(4)按照上式计算若改PG依照此时的随即因子迁移后的系统均衡参数βj
(5)使用某个PG某次迁移前的β值与迁移后的β值，可得此PG在本次迁移中对系统的存储均衡值的影响因子δ为：
Figure BDA0002613707300000072
其中，若有一组的使用率在PG迁移后其中有一个超过了1，则此组的影响因子则为-1，从而保证此次PG的迁移不会造成新的OSD过载或者完全的不可用，在本实例中，若是为-1，则直接放弃该次计算，而不是用此次结果。
本实施例基于分级映射的Ceph存储系统自动均衡存储方法旨在解决在整个存储集群中单个OSD过载会造成整个系统的不可用问题，因为Ceph存储系统的特性，数据会看似均匀的分布在各个OSD上，所以在权重值相同的情况下OSD的差异就可以模拟局部过载的情况。本实例使用多种OSD和多种子存储池划分方法进行初始化，以最大写入量作为评价标准，通过最大写入直至系统崩溃时总数据量来判别本发明的有效性。结果表明本发明能够有效缓解因单个OSD过载而出现的系统崩溃的情况。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于实施步骤包括：
(1)给予PG和OSD新的分级属性，以相同等级的OSD聚合逻辑把整个存储池划分为了多个子存储池，并且PG分级与OSD分级一一对应，PG只能在相同等级的OSD存储池中进行选择，根据分级的变化给予PG能自由迁移的能力，同时加入随机因子作为Ceph存储系统原有的CRUSH算法的新参数，指导新OSD组合的选择结果，给予PG迁移的更多选择；
(2)在进行数据插入时，获取单个OSD使用率与系统平均使用率之间差值，与事先设置好的阈值进行比较是否超过了阈值，若是超过阈值则转步骤(3)触发均衡存储策略，若没有超过阈值则正常插入数据；
(3)获取该OSD内的根据PG大小进行排序的队列，选取其中大小处于中位数的PG进行分析，以此PG所在OSD子存储池和相邻等级的子存储池的使用率进行大小排序，以最低使用率等级的子存储池的等级作为PG的新等级；同时基于此新等级的配置，以等级作为种子生成多个随机数产生多个随机因子，随机因子作为CRUSH算法的参数，干扰OSD组合的选择结果，产生多个不同的OSD组合以供数据存储，并根据随机因子产生的OSD组合对系统的均衡性影响生成对应的影响因子；最后根据影响因子的排序，选择影响因子最小即对系统的均衡性影响最小的等级与影响因子组合，赋予PG新的分组属性。
2.根据权利要求1所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，在步骤(1)中初始化OSD的分级属性的时候，由人工进行初始化。
3.根据权利要求1或2所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，在步骤(1)中初始化PG的分级属性的时候，根据一致性哈希算法把PG均匀的分布在各个存储池中，因为PG的大小是不可预测的，所以在初期根据数量来进行较为平均的分布，以避免系统刚刚开始使用时就伴随大量的均衡迁移。
4.根据权利要求1或2所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，步骤(1)中的随机因子是用于指导CRUSH算法的输出结果，其作用是把原始的CRUSH算法选择过程改为：
Ri<OSD>＝CRUSH(PGID,ri)
上式中，Ri<OSD>为选择出来的第i个OSD组合，调用CRUSH算法的输入参数为PGID和ri，PGID为PG的唯一标识，ri为随机因子。
5.根据权利要求1或2所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，步骤(2)中生成触发均衡策略的过程是在插入数据的时候，也就是进行CRUSH算法的过程中进行判断触发，需要引入全局的监控从而实现。
6.根据权利要求2所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，在步骤(3)中，影响因子用于衡量PG迁移前目标子存储池的均衡存储情况，以及PG若是按照此新等级和新影响因子迁移后目标子存储池的均衡存储情况，具体地：
对于一个子存储池的均衡存储情况，其量化的表达式为：
Figure FDA0002613707290000021
其中，M为该子存储池的平均使用率，xj为该子存储池中各个OSD的使用率，n为子存储池中OSD的数量；
使用某个PG某次迁移前的βr值与迁移后的βj值，可得此PG在本次迁移中对系统的存储均衡值的影响因子δ为：
Figure FDA0002613707290000022
其中，若有一组的使用率在PG迁移后其中有一个超过了1，则此组的影响因子则为-1，从而保证此次PG的迁移不会造成新的OSD过载或者完全不可用。
7.根据权利要求1所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，步骤(1)还包括对存储系统中硬件的规划和子存储池的配置，具体为：
对现有的存储设备进行归类、整理，确保新划分的子存储池的大小合理，PG的等级分配随机性、PG的数据写入随机性和各个存储池之间比较使用的是使用率作为参考，各个子存储池的大小接近；
对各个子存储池进行配置，每个子存储池可以有自己的阈值、随机因子个数。
8.根据权利要求1所述的基于分级映射的Ceph存储系统自动均衡存储方法，其特征在于，步骤(3)完成后，若没有适合的迁移对象，把该PG从排序队列中剔除，跳转至步骤(2)。
CN202010763358.5A 2020-08-01 2020-08-01 一种基于分级映射的Ceph存储系统自动均衡存储方法 Active CN111880747B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010763358.5A CN111880747B (zh) 2020-08-01 2020-08-01 一种基于分级映射的Ceph存储系统自动均衡存储方法
JP2023503089A JP2023536693A (ja) 2020-08-01 2021-05-17 階層マッピングに基づくＣｅｐｈストレージシステムの自動均等化ストレージ方法
PCT/CN2021/094042 WO2022028033A1 (zh) 2020-08-01 2021-05-17 一种基于分级映射的Ceph存储系统自动均衡存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010763358.5A CN111880747B (zh) 2020-08-01 2020-08-01 一种基于分级映射的Ceph存储系统自动均衡存储方法

Publications (2)

Publication Number Publication Date
CN111880747A true CN111880747A (zh) 2020-11-03
CN111880747B CN111880747B (zh) 2022-11-08

Family

ID=73205010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010763358.5A Active CN111880747B (zh) 2020-08-01 2020-08-01 一种基于分级映射的Ceph存储系统自动均衡存储方法

Country Status (3)

Country Link
JP (1) JP2023536693A (zh)
CN (1) CN111880747B (zh)
WO (1) WO2022028033A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231137A (zh) * 2020-12-14 2021-01-15 广东睿江云计算股份有限公司 一种分布式存储数据的重平衡方法及其系统
CN112463043A (zh) * 2020-11-20 2021-03-09 苏州浪潮智能科技有限公司 一种存储集群的扩容方法、系统及相关装置
WO2022028033A1 (zh) * 2020-08-01 2022-02-10 广西大学 一种基于分级映射的Ceph存储系统自动均衡存储方法
CN115277736A (zh) * 2022-07-25 2022-11-01 中国工商银行股份有限公司 分布式块存储的数据自动均衡方法及装置
CN117850680A (zh) * 2023-12-14 2024-04-09 天翼云科技有限公司 一种在分布式存储系统中数据均衡的优化方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115202589B (zh) * 2022-09-14 2023-02-24 浪潮电子信息产业股份有限公司 放置组成员选择方法、装置、设备及可读存储介质
CN115796636B (zh) * 2022-10-19 2023-07-14 江苏领悟信息技术有限公司 一种用于检测检查的双随机抽取方法
CN116737380B (zh) * 2023-06-16 2024-02-09 深圳市青葡萄科技有限公司 一种分布式存储器均衡存储方法、装置、设备及存储介质
CN116761177B (zh) * 2023-08-21 2023-10-20 云镝智慧科技有限公司 基于5g网关的数据采集方法及其相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021808A2 (ko) * 2009-08-18 2011-02-24 연세대학교 산학협력단 적응형 등화 장치 및 등화 방법
CN103645860A (zh) * 2013-11-27 2014-03-19 华为技术有限公司 存储空间的管理方法和存储管理装置
US20150067247A1 (en) * 2013-08-30 2015-03-05 Nimble Storage, Inc. Method and system for migrating data between storage devices of a storage array
WO2017206649A1 (zh) * 2016-05-31 2017-12-07 重庆大学 一种去中心化的分布式异构存储系统数据分布方法
CN108509157A (zh) * 2018-04-13 2018-09-07 郑州云海信息技术有限公司 一种应用于分布式文件系统的数据均衡方法及装置
CN109344143A (zh) * 2018-10-25 2019-02-15 电子科技大学成都学院 一种基于Ceph的分布式集群数据迁移优化方法
US20200019311A1 (en) * 2018-07-10 2020-01-16 International Business Machines Corporation Determining an optimal storage environment for data sets and for migrating data sets
US20200026643A1 (en) * 2018-07-19 2020-01-23 Micron Technology, Inc. Biased sampling methodology for wear leveling
US20200081829A1 (en) * 2018-09-10 2020-03-12 Micron Technology, Inc. Wear-Leveling Scheme for Memory Subsystems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN109614276B (zh) * 2018-11-28 2021-09-21 平安科技（深圳）有限公司 故障处理方法、装置、分布式存储系统和存储介质
CN111880747B (zh) * 2020-08-01 2022-11-08 广西大学 一种基于分级映射的Ceph存储系统自动均衡存储方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021808A2 (ko) * 2009-08-18 2011-02-24 연세대학교 산학협력단 적응형 등화 장치 및 등화 방법
US20150067247A1 (en) * 2013-08-30 2015-03-05 Nimble Storage, Inc. Method and system for migrating data between storage devices of a storage array
CN103645860A (zh) * 2013-11-27 2014-03-19 华为技术有限公司 存储空间的管理方法和存储管理装置
WO2017206649A1 (zh) * 2016-05-31 2017-12-07 重庆大学 一种去中心化的分布式异构存储系统数据分布方法
CN108509157A (zh) * 2018-04-13 2018-09-07 郑州云海信息技术有限公司 一种应用于分布式文件系统的数据均衡方法及装置
US20200019311A1 (en) * 2018-07-10 2020-01-16 International Business Machines Corporation Determining an optimal storage environment for data sets and for migrating data sets
US20200026643A1 (en) * 2018-07-19 2020-01-23 Micron Technology, Inc. Biased sampling methodology for wear leveling
US20200081829A1 (en) * 2018-09-10 2020-03-12 Micron Technology, Inc. Wear-Leveling Scheme for Memory Subsystems
CN109344143A (zh) * 2018-10-25 2019-02-15 电子科技大学成都学院 一种基于Ceph的分布式集群数据迁移优化方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022028033A1 (zh) * 2020-08-01 2022-02-10 广西大学 一种基于分级映射的Ceph存储系统自动均衡存储方法
CN112463043A (zh) * 2020-11-20 2021-03-09 苏州浪潮智能科技有限公司 一种存储集群的扩容方法、系统及相关装置
CN112463043B (zh) * 2020-11-20 2023-01-10 苏州浪潮智能科技有限公司 一种存储集群的扩容方法、系统及相关装置
CN112231137A (zh) * 2020-12-14 2021-01-15 广东睿江云计算股份有限公司 一种分布式存储数据的重平衡方法及其系统
CN112231137B (zh) * 2020-12-14 2021-03-30 广东睿江云计算股份有限公司 一种分布式存储数据的重平衡方法及其系统
CN115277736A (zh) * 2022-07-25 2022-11-01 中国工商银行股份有限公司 分布式块存储的数据自动均衡方法及装置
CN117850680A (zh) * 2023-12-14 2024-04-09 天翼云科技有限公司 一种在分布式存储系统中数据均衡的优化方法

Also Published As

Publication number Publication date
JP2023536693A (ja) 2023-08-29
WO2022028033A1 (zh) 2022-02-10
CN111880747B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111880747B (zh) 一种基于分级映射的Ceph存储系统自动均衡存储方法
CN109196459B (zh) 一种去中心化的分布式异构存储系统数据分布方法
CN100476742C (zh) 基于对象存储设备的负载平衡方法
CN107734052B (zh) 面向组件依赖的负载均衡容器调度方法
US9940022B1 (en) Storage space allocation for logical disk creation
CN105653591A (zh) 一种工业实时数据分级存储及迁移方法
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
CN106610903A (zh) 层级化存储器系统、存储器控制器和去重及存储器层级化方法
WO2010024027A1 (ja) 仮想サーバシステム及び物理サーバ選択方法
CN103345430B (zh) 分布式存储池的模糊平衡方法及系统
CN103077197A (zh) 一种数据存储方法装置
CN108920100B (zh) 基于Ceph的读写模型优化和异构副本组合方法
CN109800260A (zh) 高并发数据存储方法、装置、计算机设备和存储介质
CN114611572B (zh) 基于改进rbf神经网络的数据分级存储算法
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
WO2024187900A1 (zh) 分布式存储系统的数据存储方法、系统、设备及存储介质
CN113268203B (zh) 存储系统的容量均衡方法、装置、计算机设备和存储介质
Awad et al. A swarm intelligence-based approach for dynamic data replication in a cloud environment
CN116610458B (zh) 一种优化功耗损失的数据处理方法及系统
CN110058942B (zh) 基于层次分析法的资源分配系统及方法
Guo et al. Handling data skew at reduce stage in Spark by ReducePartition
CN111767165A (zh) 数据处理方法、装置及控制设备
CN118502679B (zh) 存储器的数据访问调度方法及装置
CN117971475B (zh) 一种gpu算力池智能管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant