CN107577441B - 一种osd慢盘处理方法、系统、装置及计算机存储介质 - Google Patents
一种osd慢盘处理方法、系统、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN107577441B CN107577441B CN201710966257.6A CN201710966257A CN107577441B CN 107577441 B CN107577441 B CN 107577441B CN 201710966257 A CN201710966257 A CN 201710966257A CN 107577441 B CN107577441 B CN 107577441B
- Authority
- CN
- China
- Prior art keywords
- osd
- slow
- weight
- zero
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000012423 maintenance Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种OSD慢盘处理方法、系统、装置及计算机存储介质,应用于分布式存储系统,包括:获取慢盘的属性,并接收用户的选择指令;根据选择指令确定慢盘的处理模式;当确定的处理模式是人工处理模式时,根据慢盘的属性生成提示信息,以便运维人员根据提示信息手动对慢盘进行处理;当确定的处理模式是自动处理模式时,根据选择指令判断是否将慢盘对应对象存储OSD的权重调整为零;如果否,则直接自动减小慢盘对应OSD的权重;如果是,则判断能否将慢盘对应OSD的权重调整为零,如果能,将慢盘对应OSD的权重调整为零,并将权重变为零的慢盘中原有的数据转移到集群中的其他OSD。本发明提高了分布式存储系统的整体性能。
Description
技术领域
本发明涉及存储技术领域,特别是涉及一种OSD(object storge device,对象存储)慢盘处理方法、系统、装置及计算机存储介质。
背景技术
云计算时代,用户对分布式存储系统的性能要求越来越高。然而随着分布式存储系统使用时间的增加,分布式存储系统中经常会出现慢盘,使得分布式存储系统的延时时间较长,影响了用户体验。具体地,慢盘是指读写性能较低的磁盘,由于老化、电压不稳或者其他机械原因导致其读写速度远慢于分布式存储系统中的其他正常磁盘。当分布式存储系统中存在一个或者一些慢盘时,这些慢盘由于读写性能较低,成为了整个分布式存储系统的短板,严重制约了分布式存储系统的整体性能。
因此,如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种OSD慢盘处理方法、系统、装置及计算机存储介质,避免了慢盘制约整个存储系统的性能,提高了存储系统的整体性能。
为解决上述技术问题,本发明提供了一种OSD慢盘处理方法,应用于分布式存储系统,包括:
获取慢盘的属性,并接收用户的选择指令;
根据所述选择指令确定所述慢盘的处理模式;
当确定的处理模式是人工处理模式时,根据所述慢盘的属性生成提示信息,以便运维人员根据所述提示信息手动对所述慢盘进行处理;
当确定的处理模式是自动处理模式时,根据所述选择指令判断是否将所述慢盘对应对象存储OSD的权重调整为零;
如果否,则直接自动减小所述慢盘对应OSD的权重;
如果是,则判断能否将所述慢盘对应OSD的权重调整为零,如果能,将所述慢盘对应OSD的权重调整为零,并将权重变为零的所述慢盘中原有的数据转移到所述集群中的其他OSD。
优选地,所述用户的选择指令为用户预先设定的配置文件参数。
优选地,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断将所述慢盘对应OSD的权重调整为零后,所述集群能否满足最低安全存储规则;
则所述能将所述慢盘对应OSD的权重调整为零的情况为:
将所述慢盘对应OSD的权重调整为零后,所述集群能满足最低安全存储规则。
优选地,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断当所述集群中存在暂时离线的OSD,且暂时离线的所述OSD的数据处于有效状态时,所述集群能否满足最低安全存储规则;
则所述能将所述慢盘对应OSD的权重调整为零的情况为:
当所述集群中存在暂时离线的所述OSD,且暂时离线的所述OSD的数据处于有效状态时,所述集群能满足最低安全存储规则。
优选地,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断所述集群是否为处于剔除长时间离线的OSD后,正在将长时间离线的所述OSD原有的数据重新分布到所述集群中的其他OSD状态的集群;
则所述能将所述慢盘对应OSD的权重调整为零的情况为:
所述集群不是处于剔除长时间离线的所述OSD后,正在将长时间离线的所述OSD原有的数据重新分布到所述集群中的其他所述OSD状态的集群。
优选地,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断所述慢盘中原有的数据量是否大于所述集群中的其他所述OSD的空闲容量之和或者当所述集群中的OSD的权重相等时,判断所述慢盘中原有的数据量平均转移到所述集群中的其他所述OSD之后,其他所述OSD的已用容量是否超过容量警戒线;
则所述能将所述慢盘对应OSD的权重调整为零的情况为:
所述慢盘中原有的数据量不大于所述集群中的其他所述OSD的空闲容量之和或者当所述集群中的OSD的权重相等时,所述慢盘中原有的数据量平均转移到所述集群中的其他所述OSD之后,其他所述OSD的已用容量不超过容量警戒线。
优选地,当检测出的所述慢盘为多个时,所述将所述慢盘对应OSD的权重调整为零,并将权重变为零的所述慢盘中原有的数据转移到集群中的其他OSD的过程具体为:
依次对多个所述慢盘进行处理,将前一个所述慢盘对应OSD的权重调整为零,并在将前一个所述慢盘中原有的数据转移到集群中的其他OSD之后,处理下一个所述慢盘,直至检测出的所有所述慢盘处理完毕。
为解决上述技术问题,本发明还提供了一种OSD慢盘处理系统,应用于分布式存储系统,包括:
获取单元,用于获取慢盘的属性,并接收用户的选择指令,
确定单元,用于根据所述选择指令确定所述慢盘的处理模式;当确定的处理模式是人工处理模式时,触发人工处理单元,当确定的处理模式是自动处理模式时,触发自动处理单元;
所述人工处理单元,用于根据所述慢盘的属性生成提示信息,以便运维人员根据所述提示信息手动对所述慢盘进行处理;
所述自动处理单元,用于根据所述选择指令判断是否将所述慢盘对应对象存储OSD的权重调整为零;如果否,则触发第一处理单元,如果是,则触发第二处理单元;
所述第一处理单元,用于直接自动减小所述慢盘对应OSD的权重;
所述第二处理单元,用于判断能否将所述慢盘对应OSD的权重调整为零,如果能,将所述慢盘对应OSD的权重调整为零,并将权重变为零的所述慢盘中原有的数据转移到所述集群中的其他OSD。
为解决上述技术问题,本发明还提供了一种OSD慢盘处理装置,应用于分布式存储系统,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一项所述OSD慢盘处理方法的步骤。
为解决上述技术问题,本发明还提供了一种计算机可读存储介质,应用于分布式存储系统,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述OSD慢盘处理方法的步骤。
本发明提供了一种OSD慢盘处理方法,应用于分布式存储系统,当分布式存储系统中出现慢盘时,本发明可以生成提示信息为运维人员对慢盘进行处理提供依据,或者可以采取自动处理的模式减小慢盘对应OSD的权重,甚至是将慢盘对应OSD的权重调整为零。减小慢盘对应OSD的权重之后,对分布式存储系统进行读写操作时,可以降低数据落到慢盘的概率,进而降低慢盘的读写压力,甚至当慢盘对应OSD的权重调整为零时,不再使用到慢盘,从而可以在存在慢盘的情况下降低分布式存储系统的延时,增大带宽,提高分布式存储系统的整体性能。
本发明还提供了一种OSD慢盘处理系统、装置及计算机存储介质,与上述OSD慢盘处理方法具有相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种OSD慢盘处理方法的过程流程图;
图2为本发明提供的一种OSD慢盘处理系统的结构示意图。
具体实施方式
本发明的核心是提供一种OSD慢盘处理方法、系统、装置及计算机存储介质,避免了慢盘制约整个存储系统的性能,提高了存储系统的整体性能。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1为本发明提供的一种OSD慢盘处理方法的过程流程图,该方法应用于分布式存储系统,包括:
步骤S11:获取慢盘的属性,并接收用户的选择指令;
具体地,本发明将已判定为慢盘的磁盘的属性称为慢盘的属性,慢盘的属性作为对慢盘进行处理的依据,当需要对慢盘进行处理时,则需要获取到慢盘的属性。其中,慢盘的属性可以包括磁盘的类型、盘符、慢盘的判断依据以及连续处于慢盘的次数或着周期。通过慢盘的属性可以详细的了解上述慢盘的性能,从而可以对慢盘进行更为合适的处理。
此外,本申请的分布式存储系统为Ceph时,可以将获取的慢盘的属性打印到慢盘对应OSD的日志中,由于日志和Monitor(Monitor,监视器)之间具有通信关系,日志可以将慢盘的属性报告给Monitor。Monitor维护着展示集群状态的各种图表,包括监视器图、OSD图等,从而可以在集群状态中展示出慢盘的汇总信息,进而可以通过Monitor全面的了解集群中慢盘的信息。
当然,本申请的分布式存储系统还可以为其他类型的分布式存储系统,本发明在此不做特别的限定,根据实际情况来定。
需要说明的是,慢盘的检测机制多种多样,不同的分布式存储系统有不同的方法,慢盘的判断标准也各不相同,而且慢盘的标准也不是固定不变的,机械盘和固态硬盘的检测机制也不完全相同。所以本发明就不赘述慢盘的检测机制,而是阐述在已经检测出慢盘的前提下如何进行后期处理。
步骤S12:根据选择指令确定慢盘的处理模式;
具体地,用户可以根据实际需要来决定对慢盘进行人工处理还是自动处理,确定好慢盘的处理模式后,向分布式存储系统发送选择指令,分布式存储系统接收到用户的选择指令后,就可以确定出与接收的选择指令对应的处理模式,不仅灵活方便,而且提升了用户的使用体验。
步骤S13:当确定的处理模式是人工处理模式时,根据慢盘的属性生成提示信息,以便运维人员根据提示信息手动对慢盘进行处理;
当确定的处理模式是自动处理模式时,根据选择指令判断是否将慢盘对应对象存储OSD的权重调整为零;
如果否,则直接自动减小慢盘对应OSD的权重;
如果是,则判断能否将慢盘对应OSD的权重调整为零,如果能,将慢盘对应OSD的权重调整为零,并将权重变为零的慢盘中原有的数据转移到集群中的其他OSD。
具体地,当用户不想自动处理慢盘,确定的处理模式是人工处理模式时,运维人员可以通过提示信息识别慢盘,并根据慢盘慢的程度和分布式存储系统的具体状态来决定是不采取措施,还是手动调整慢盘对应OSD的权重,或者是对慢盘进行换盘等操作。这样可以充分体现人的主观能动性,本申请的提示信息可以为日志提示的告警信息和/或Motior提示的告警信息,当然,还可以为其他提示信息,本发明在此不做特别的限定,根据实际情况来定。
具体地,当确定的处理模式是自动处理模式时,用户可以根据实际需要通过选择指令来决定是否对慢盘进行处理,若处理是降低慢盘对应OSD的权重,还是直接将慢盘对应OSD的权重改为零,也就是将该OSD剔除出集群。此外,慢盘对应OSD的权重减小的幅度、权重是否多次减小、是否减小到零、多次减小的间隔以及权重是否直接改为零等具体的权重调整操作,用户也可以根据实际情况通过选择指令预先进行设定。
需要说明的是,如果对慢盘对应OSD的权重的调整不是直接调整为零,也不是多次减小为零,则可以直接自动将慢盘对应OSD的权重减小,这样就减小了数据落到慢盘的概率,从而降低了慢盘的存储压力。当然,如果慢盘中已有的数据量达到或者接近容量警戒线时,则可以不对上述慢盘进行处理,从而节省了资源。如果对慢盘对应OSD的权重的调整是直接将权重调整为零,或者是多次减小权重直至为零,那么为了降低分布式存储系统数据丢失的风险,需要在确定能将慢盘对应OSD的权重调整为零后,再自动将慢盘对应OSD的权重直接改为零,或者多次减小直至减小为零,并将慢盘中原有的数据转移到集群中的其他OSD,相当于将该OSD剔除出分布式存储系统。将权重变为零的慢盘中的数据转移到集群中的其他OSD可以避免剔除慢盘时慢盘上的数据丢失,从而保证了集群中原有的数据和调整慢盘对应OSD的权重之后集群当前的数据是一致的。
本发明提供了一种OSD慢盘处理方法,应用于分布式存储系统,当分布式存储系统中出现慢盘时,本发明可以生成提示信息为运维人员对慢盘进行处理提供依据,或者可以采取自动处理的模式减小慢盘对应OSD的权重,甚至是将慢盘对应OSD的权重调整为零。减小慢盘对应OSD的权重之后,对分布式存储系统进行读写操作时,可以降低数据落到慢盘的概率,进而降低慢盘的读写压力,甚至当慢盘对应OSD的权重调整为零时,不再使用到慢盘,从而可以在存在慢盘的情况下降低分布式存储系统的延时,增大带宽,提高分布式存储系统的整体性能。
在上述实施例的基础上:
作为一种优选地实施例,用户的选择指令为用户预先设定的配置文件参数。
具体地,用户可以通过配置文件参数的形式来灵活决定对分布式存储系统中的慢盘进行人工处理还是自动处理。同时,对慢盘进行自动处理时,用户还可以根据实际需要通过配置文件参数的形式来决定对慢盘的具体操作,比如是否对慢盘进行处理,若处理是降低慢盘对应OSD的权重还是直接将慢盘对应OSD的权重设置为零等,同时这些操作还可以进行动态调整。这种方式灵活方便,而且操作简单,易于查询和记录。
作为一种优选地实施例,判断能否将慢盘对应OSD的权重调整为零的过程具体为:
判断将慢盘对应OSD的权重调整为零后,集群能否满足最低安全存储规则;
则能将慢盘对应OSD的权重调整为零的情况为:
将慢盘对应OSD的权重调整为零后,集群能满足最低安全存储规则。
具体地,为了提高存储性能,现有的分布式存储系统通常采用纠删池和副本池的安全存储规则,基于此,本申请在对慢盘进行处理时需要获取集群中所有在用的纠删池和副本池的安全规则,保证对慢盘的处理不影响数据安全。具体地,假设本申请的集群中目前实际有6个OSD,有副本数为3的副本池和K+M为4+2的纠删池来存储数据,这种情况下可以将慢盘对应OSD的权重改为零,因为权重降为零后,集群实际有5个OSD,可以满足3副本的安全规则,也可以满足4+2纠删池的安全规则,也就是说能满足最低安全存储规则。如果本申请的分布式存储系统仍然是有副本数为3的副本池和K+M为4+2的纠删池来存储数据,集群中目前实际有4个OSD,这种情况下只能在日志中打印慢盘属性并在集群状态中展示,不能将慢盘对应OSD的权重改为零,因为权重降为零后,集群实际只有3个OSD,虽然满足3副本的安全规章,但不满足4+2纠删池的安全规则,若权重降为零就会是集群处于降级的亚健康状态,不能满足最低安全存储规则。因此,将慢盘对应OSD的权重调整为零后,集群仍然能满足最低安全存储规则时,才可以将慢盘对应OSD的权重调整为零,保证了分布式存储系统的数据安全性。
作为一种优选地实施例,判断能否将慢盘对应OSD的权重调整为零的过程具体为:
判断当集群中存在暂时离线的OSD,且暂时离线的OSD的数据处于有效状态时,集群能否满足最低安全存储规则;
则能将慢盘对应OSD的权重调整为零的情况为:
当集群中存在暂时离线的OSD,且暂时离线的OSD的数据处于有效状态时,集群能满足最低安全存储规则。
具体地,当集群中有OSD暂时离线,但是该OSD的数据还处于有效状态的情况下,数据存储已经以安全规则降级的方式存储时,禁止对慢盘进行权重变为零的操作,也即此时不能将慢盘对应OSD的权重调整为零。因为集群此时已经不能满足最低安全存储规则,本身就有丢数据的潜在风险,再处理慢盘,将慢盘对应OSD的权重调整为零,会增加数据丢失的风险。因此,如果集群中存在暂时离线的OSD,那么当暂时离线的OSD的数据处于有效状态,集群能满足最低安全存储规则时,才可以将慢盘对应OSD的权重调整为零,从而降低了数据丢失的风险。
作为一种优选地实施例,判断能否将慢盘对应OSD的权重调整为零的过程具体为:
判断集群是否为处于剔除长时间离线的OSD后,正在将长时间离线的OSD原有的数据重新分布到集群中的其他OSD状态的集群;
则能将慢盘对应OSD的权重调整为零的情况为:
集群不是处于剔除长时间离线的OSD后,正在将长时间离线的OSD原有的数据重新分布到集群中的其他OSD状态的集群。
具体地,当集群将长时间离线的OSD剔除出集群后,正在将该盘原有的数据重新分布到其他OSD时,禁止对慢盘进行权重变为零的操作,也即此时不能将慢盘对应OSD的权重调整为零。比如双副本的数据存储在A盘和B盘,A盘被剔除出集群,但是A盘上已有的数据还未完全重新分布到其他OSD中,而B盘被判断为慢盘,若此时将B盘的权重降为0,也就是把B盘也剔除出集群,那么双副本在A盘和B盘的数据就会丢失。因此,对慢盘进行处理时需要实时获取集群的状态,当集群中有OSD进行数据恢复时,不可以将慢盘对应OSD的权重调整为零,以便保证对慢盘的处理不影响数据安全。
作为一种优选地实施例,判断能否将慢盘对应OSD的权重调整为零的过程具体为:
判断慢盘中原有的数据量是否大于集群中的其他OSD的空闲容量之和或者当集群中的OSD的权重相等时,判断慢盘中原有的数据量平均转移到集群中的其他OSD之后,其他OSD的已用容量是否超过容量警戒线;
则能将慢盘对应OSD的权重调整为零的情况为:
慢盘中原有的数据量不大于集群中的其他OSD的空闲容量之和或者当集群中的OSD的权重相等时,慢盘中原有的数据量平均转移到集群中的其他OSD之后,其他OSD的已用容量不超过容量警戒线。
具体地,考虑到实际应用中慢盘中已有的数据量可能会大于其他OSD盘的空闲容量之和,或者慢盘的数据量平摊到其他OSD盘上之后,其他OSD盘的已用容量可能会超过容量警戒线(假设各个OSD的权重都相等),这种情况下,不能将慢盘对应OSD的权重变为零。因此,本申请实时监测所有OSD的容量使用情况,并作为对慢盘进行处理的必要条件。具体地,假设集群中共有11个磁盘,各个磁盘的权重都相等,每个磁盘的容量为1000G,各个磁盘已用容量为910G,若一个磁盘被判断为慢盘并将其剔除出集群,则该慢盘上的数据需要均分到其他10个磁盘中,每个磁盘接收的数据量为91G,然而910G+91G>1000G,可见其他10个磁盘空闲的容量已经不足以存储慢盘上的数据了,则禁止将慢盘对应OSD的权重变为零。这样可以避免由于其他OSD空闲容量不足无法接收权重变为零的慢盘上的所有数据而导致数据丢失,保证了将慢盘对应OSD的权重降为零后集群中的数据的完整性。其中,容量警戒线是指每个磁盘可以最多存储的比例(比如警戒线90%是指1000G的磁盘最多只允许存储900G的数据,超过900G就认为磁盘满了,这样可以防止各个磁盘的权重不一样导致的数据存储不均匀的情况)。
作为一种优选地实施例,当检测出的慢盘为多个时,将慢盘对应OSD的权重调整为零,并将权重变为零的慢盘中原有的数据转移到集群中的其他OSD的过程具体为:
依次对多个慢盘进行处理,将前一个慢盘对应OSD的权重调整为零,并在将前一个慢盘中原有的数据转移到集群中的其他OSD之后,处理下一个慢盘,直至检测出的所有慢盘处理完毕。
具体地,如果分布式存储系统中存在多个慢盘,为了降低安全风险,本申请依次对各个慢盘进行剔除的操作。具体地,将其中一个权重待调整为零的慢盘对应OSD的权重调整为零之前,检查集群是否正在进行慢盘剔除处理,若已经有一个慢盘正在进行剔除处理,则等待剔除处理完毕并且慢盘的待迁移的数据被重新分布到其他OSD中后,再将权重待调整为零的慢盘对应OSD的权重调整为零。也就是说,只有剔除完一个慢盘且已剔除慢盘中的数据已经完全转移到其他OSD之后,才能剔除下一个慢盘,这样可以降低数据丢失的风险。
还需要说明的是,为了进一步防止数据丢失影响分布式存储系统的安全性,分布式存储系统中存在多个慢盘时,本申请中对各个慢盘进行减小权重的操作也是依次进行的。此外,依次进行剔除或者减小权重的操作,可以按照慢盘慢的程度来进行,最先进行操作的是性能最差的慢盘,接下来进行操作的是剩余慢盘中性能最差的慢盘,直至所有的慢盘处理完毕。当然,本申请还可以按照其他的顺序依次进行剔除或者减小权重的操作,本发明在此不做特别的限定。
请参照图2,图2为本发明提供的一种OSD慢盘处理系统的结构示意图,该系统应用于分布式存储系统,包括:
获取单元1,用于获取慢盘的属性,并接收用户的选择指令,
确定单元2,用于根据选择指令确定慢盘的处理模式;当确定的处理模式是人工处理模式时,触发人工处理单元3,当确定的处理模式是自动处理模式时,触发自动处理单元4;
人工处理单元3,用于根据慢盘的属性生成提示信息,以便运维人员根据提示信息手动对慢盘进行处理;
自动处理单元4,用于根据选择指令判断是否将慢盘对应对象存储OSD的权重调整为零;如果否,则触发第一处理单元5,如果是,则触发第二处理单元6;
第一处理单元5,用于直接自动减小慢盘对应OSD的权重;
第二处理单元6,用于判断能否将慢盘对应OSD的权重调整为零,如果能,将慢盘对应OSD的权重调整为零,并将权重变为零的慢盘中原有的数据转移到集群中的其他OSD。
对于本发明提供的系统的介绍请参照上述方法实施例,本发明在此不再赘述。
本发明还提供了一种OSD慢盘处理装置,应用于分布式存储系统,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现上述任一项OSD慢盘处理方法的步骤。
对于本发明提供的装置的介绍请参照上述方法实施例,本发明在此不再赘述。
本发明还提供了一种计算机可读存储介质,应用于分布式存储系统,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述任一项OSD慢盘处理方法的步骤。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不再赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统、装置及计算机存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种OSD慢盘处理方法,应用于分布式存储系统,其特征在于,包括:
获取慢盘的属性,并接收用户的选择指令;
根据所述选择指令确定所述慢盘的处理模式;
当确定的处理模式是人工处理模式时,根据所述慢盘的属性生成提示信息,以便运维人员根据所述提示信息手动对所述慢盘进行处理;
当确定的处理模式是自动处理模式时,根据所述选择指令判断是否将所述慢盘对应对象存储OSD的权重调整为零;
如果否,则直接自动减小所述慢盘对应OSD的权重;
如果是,则判断能否将所述慢盘对应OSD的权重调整为零,如果能,将所述慢盘对应OSD的权重调整为零,并将权重变为零的所述慢盘中原有的数据转移到集群中的其他OSD。
2.如权利要求1所述的方法,其特征在于,所述用户的选择指令为用户预先设定的配置文件参数。
3.如权利要求1所述的方法,其特征在于,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断将所述慢盘对应OSD的权重调整为零后,所述集群能否满足最低安全存储规则;
则能将所述慢盘对应OSD的权重调整为零的情况为:
将所述慢盘对应OSD的权重调整为零后,所述集群能满足最低安全存储规则。
4.如权利要求3所述的方法,其特征在于,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断当所述集群中存在暂时离线的OSD,且暂时离线的所述OSD的数据处于有效状态时,所述集群能否满足最低安全存储规则;
则能将所述慢盘对应OSD的权重调整为零的情况为:
当所述集群中存在暂时离线的所述OSD,且暂时离线的所述OSD的数据处于有效状态时,所述集群能满足最低安全存储规则。
5.如权利要求1所述的方法,其特征在于,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断所述集群是否为处于剔除长时间离线的OSD后,正在将长时间离线的所述OSD原有的数据重新分布到所述集群中的其他OSD状态的集群;
则能将所述慢盘对应OSD的权重调整为零的情况为:
所述集群不是处于剔除长时间离线的所述OSD后,正在将长时间离线的所述OSD原有的数据重新分布到所述集群中的其他所述OSD状态的集群。
6.如权利要求1所述的方法,其特征在于,所述判断能否将所述慢盘对应OSD的权重调整为零的过程具体为:
判断所述慢盘中原有的数据量是否大于所述集群中的其他所述OSD的空闲容量之和或者当所述集群中的OSD的权重相等时,判断所述慢盘中原有的数据量平均转移到所述集群中的其他所述OSD之后,其他所述OSD的已用容量是否超过容量警戒线;
则能将所述慢盘对应OSD的权重调整为零的情况为:
所述慢盘中原有的数据量不大于所述集群中的其他所述OSD的空闲容量之和或者当所述集群中的OSD的权重相等时,所述慢盘中原有的数据量平均转移到所述集群中的其他所述OSD之后,其他所述OSD的已用容量不超过容量警戒线。
7.如权利要求1-6任一项所述的方法,其特征在于,当检测出的所述慢盘为多个时,所述将所述慢盘对应OSD的权重调整为零,并将权重变为零的所述慢盘中原有的数据转移到集群中的其他OSD的过程具体为:
依次对多个所述慢盘进行处理,将前一个所述慢盘对应OSD的权重调整为零,并在将前一个所述慢盘中原有的数据转移到集群中的其他OSD之后,处理下一个所述慢盘,直至检测出的所有所述慢盘处理完毕。
8.一种OSD慢盘处理系统,应用于分布式存储系统,其特征在于,包括:
获取单元,用于获取慢盘的属性,并接收用户的选择指令;
确定单元,用于根据所述选择指令确定所述慢盘的处理模式;当确定的处理模式是人工处理模式时,触发人工处理单元,当确定的处理模式是自动处理模式时,触发自动处理单元;
所述人工处理单元,用于根据所述慢盘的属性生成提示信息,以便运维人员根据所述提示信息手动对所述慢盘进行处理;
所述自动处理单元,用于根据所述选择指令判断是否将所述慢盘对应对象存储OSD的权重调整为零;如果否,则触发第一处理单元,如果是,则触发第二处理单元;
所述第一处理单元,用于直接自动减小所述慢盘对应OSD的权重;
所述第二处理单元,用于判断能否将所述慢盘对应OSD的权重调整为零,如果能,将所述慢盘对应OSD的权重调整为零,并将权重变为零的所述慢盘中原有的数据转移到集群中的其他OSD。
9.一种OSD慢盘处理装置,应用于分布式存储系统,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述OSD慢盘处理方法的步骤。
10.一种计算机可读存储介质,应用于分布式存储系统,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述OSD慢盘处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710966257.6A CN107577441B (zh) | 2017-10-17 | 2017-10-17 | 一种osd慢盘处理方法、系统、装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710966257.6A CN107577441B (zh) | 2017-10-17 | 2017-10-17 | 一种osd慢盘处理方法、系统、装置及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107577441A CN107577441A (zh) | 2018-01-12 |
CN107577441B true CN107577441B (zh) | 2020-08-21 |
Family
ID=61037636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710966257.6A Active CN107577441B (zh) | 2017-10-17 | 2017-10-17 | 一种osd慢盘处理方法、系统、装置及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107577441B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108519927A (zh) * | 2018-04-12 | 2018-09-11 | 郑州云海信息技术有限公司 | 一种基于icfs系统的osd故障定位方法及系统 |
CN109407983B (zh) * | 2018-10-08 | 2021-09-28 | 郑州云海信息技术有限公司 | 一种分布式文件存储系统的加载磁盘方法 |
CN111182011B (zh) * | 2018-11-09 | 2022-06-10 | 中移(杭州)信息技术有限公司 | 一种服务集分配方法及装置 |
CN109684140B (zh) * | 2018-12-11 | 2022-07-01 | 广东浪潮大数据研究有限公司 | 一种慢盘检测方法、装置、设备及计算机可读存储介质 |
CN110554839A (zh) * | 2019-07-30 | 2019-12-10 | 华为技术有限公司 | 分布式存储系统访问方法、客户端及计算机程序产品 |
CN110908606B (zh) * | 2019-11-15 | 2021-06-29 | 浪潮电子信息产业股份有限公司 | 一种分布式文件系统的数据重构方法 |
CN111104239A (zh) * | 2019-11-21 | 2020-05-05 | 北京浪潮数据技术有限公司 | 一种分布式存储集群的硬盘故障处理方法、系统及装置 |
CN112269532B (zh) * | 2020-10-15 | 2022-07-29 | 苏州浪潮智能科技有限公司 | 一种分布式存储集群重构进度的统计方法、系统及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1202653A (zh) * | 1997-06-13 | 1998-12-23 | 精英电脑股份有限公司 | 存储器读取加速方法 |
CN103618804A (zh) * | 2013-12-16 | 2014-03-05 | 北京航空航天大学 | 一种基于性能差异的分布式键值存储系统负载均衡方法 |
CN105159775A (zh) * | 2015-08-05 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 基于负载均衡器的云计算数据中心的管理系统和管理方法 |
CN105573679A (zh) * | 2015-12-18 | 2016-05-11 | 国云科技股份有限公司 | 一种适用于分布式存储系统存储池资源映射规则的方法 |
CN105573888A (zh) * | 2015-12-14 | 2016-05-11 | 曙光信息产业股份有限公司 | 一种分布式文件系统中的磁盘性能检测方法及装置 |
CN106649401A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 分布式文件系统中的数据写入方法和装置 |
CN106990915A (zh) * | 2017-02-27 | 2017-07-28 | 北京航空航天大学 | 一种基于存储介质类型和加权配额的存储资源管理方法 |
CN106991170A (zh) * | 2017-04-01 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种分布式文件容量均衡的方法与装置 |
CN107247627A (zh) * | 2017-06-22 | 2017-10-13 | 上海优刻得信息科技有限公司 | 存储设备io分配方法、存储设备io分配装置及服务器系统 |
-
2017
- 2017-10-17 CN CN201710966257.6A patent/CN107577441B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1202653A (zh) * | 1997-06-13 | 1998-12-23 | 精英电脑股份有限公司 | 存储器读取加速方法 |
CN103618804A (zh) * | 2013-12-16 | 2014-03-05 | 北京航空航天大学 | 一种基于性能差异的分布式键值存储系统负载均衡方法 |
CN105159775A (zh) * | 2015-08-05 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 基于负载均衡器的云计算数据中心的管理系统和管理方法 |
CN106649401A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 分布式文件系统中的数据写入方法和装置 |
CN105573888A (zh) * | 2015-12-14 | 2016-05-11 | 曙光信息产业股份有限公司 | 一种分布式文件系统中的磁盘性能检测方法及装置 |
CN105573679A (zh) * | 2015-12-18 | 2016-05-11 | 国云科技股份有限公司 | 一种适用于分布式存储系统存储池资源映射规则的方法 |
CN106990915A (zh) * | 2017-02-27 | 2017-07-28 | 北京航空航天大学 | 一种基于存储介质类型和加权配额的存储资源管理方法 |
CN106991170A (zh) * | 2017-04-01 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种分布式文件容量均衡的方法与装置 |
CN107247627A (zh) * | 2017-06-22 | 2017-10-13 | 上海优刻得信息科技有限公司 | 存储设备io分配方法、存储设备io分配装置及服务器系统 |
Non-Patent Citations (2)
Title |
---|
"Adding/Removing OSDs,网址:https://docs.ceph.com/docs/master/rados/operations/add-or-rm-osds/";Ceph;《Adding/Removing OSDs — Ceph Documentation》;20151116;1-7 * |
基于网络延时的CEPH存储性能优化方法;陈凌剑;《微电子学与计算机》;20170730;1-5 * |
Also Published As
Publication number | Publication date |
---|---|
CN107577441A (zh) | 2018-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107577441B (zh) | 一种osd慢盘处理方法、系统、装置及计算机存储介质 | |
CN107273182B (zh) | 一种虚拟机资源动态扩充方法及系统 | |
CN107026708B (zh) | 数据处理的方法和装置 | |
CN105656810B (zh) | 一种更新应用程序的方法及装置 | |
EP2515504A1 (en) | Content delivery method, system and schedule server | |
CN110417614B (zh) | 云服务器自检方法、装置、设备及计算机可读存储介质 | |
CN110795284B (zh) | 一种数据恢复方法、装置、设备及可读存储介质 | |
DE112017001783T5 (de) | Verfahren und Vorrichtungen zur Verwaltung eines Prozesses unter einer Speicherbeschränkung | |
CN108664321B (zh) | 系统资源分配调整方法及装置 | |
CN111858067A (zh) | 一种数据处理方法及装置 | |
CN111078386A (zh) | 一种分布式调度系统的控制方法及控制装置 | |
US20150006738A1 (en) | Managing Capacity in a Data Center by Suspending Tenants | |
CN107330061B (zh) | 一种基于分布式存储的文件删除方法及装置 | |
CN108255703B (zh) | 一种sql脚本的故障修复方法及其终端 | |
CN106878282B (zh) | 网关防攻击的方法和装置 | |
CN106021026B (zh) | 一种备份方法及装置 | |
CN112463079A (zh) | 一种数据存储控制方法、装置、设备及可读存储介质 | |
CN106886458B (zh) | 一种集群资源分配方法和装置 | |
CN107908555B (zh) | 一种sql脚本的异常检测方法及其终端 | |
CN108255710B (zh) | 一种脚本的异常检测方法及其终端 | |
CN112905119B (zh) | 一种分布式存储系统的数据写入控制方法、装置及设备 | |
EP3641260A1 (en) | Method and device for improving data storage security | |
CN107577439B (zh) | 分配处理资源的方法、装置、设备及计算机可读存储介质 | |
CN111092959B (zh) | 一种集群中服务器的请求处理方法、系统及相关装置 | |
CN111143073B (zh) | 一种虚拟化资源的管理方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200727 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |