CN112269532B - 一种分布式存储集群重构进度的统计方法、系统及装置 - Google Patents

一种分布式存储集群重构进度的统计方法、系统及装置 Download PDF

Info

Publication number
CN112269532B
CN112269532B CN202011104434.8A CN202011104434A CN112269532B CN 112269532 B CN112269532 B CN 112269532B CN 202011104434 A CN202011104434 A CN 202011104434A CN 112269532 B CN112269532 B CN 112269532B
Authority
CN
China
Prior art keywords
cluster
reconstruction
storage pool
progress
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011104434.8A
Other languages
English (en)
Other versions
CN112269532A (zh
Inventor
丁纯杰
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011104434.8A priority Critical patent/CN112269532B/zh
Publication of CN112269532A publication Critical patent/CN112269532A/zh
Application granted granted Critical
Publication of CN112269532B publication Critical patent/CN112269532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种分布式存储集群重构进度的统计方法、系统及装置,当集群中的OSD发生故障时,获取每个存储池在本次重构过程中的重构权重;在集群进行本次重构的过程中,获取每个存储池在自身重构任务中的重构进度;根据r=∑wi*ri计算得到集群重构进度;其中,wi为第i个存储池的重构权重;ri为第i个存储池的重构进度;在某一存储池未开始重构时,此存储池的重构进度值置为1。可见,本申请将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出集群重构进度,使集群重构进度与存储池重构进度一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新重构任务触发,不会卡在一定值,更准确反映集群真实重构进度。

Description

一种分布式存储集群重构进度的统计方法、系统及装置
技术领域
本发明涉及分布式存储领域,特别是涉及一种分布式存储集群重构进度的统计方法、系统及装置。
背景技术
为了保证用户数据的安全性,分布式存储集群将同一份数据复制多份副本,并将多份相同数据一一存放在不同的存储池中。目前,为了方便管理数据,分布式存储集群的存储池会被划分成多个PG(Placement Group,归置组),具体是:每个存储池上包含多块OSD(Object Storage Device,数据存储设备),从各存储池中分别选择一块OSD共同组成一个PG,多份相同数据一一存放在属于一个PG的多块OSD上。
基于此,若一个PG包含三块OSD,当某一块OSD发生故障(down)时,此故障OSD所属的PG就仅有两份相同数据,称之为降级,此时集群会对集群中所有降级的对象(即故障OSD存储的所有对象)进行统计并记录。若经过一段时间后,这块OSD仍处于故障状态,则集群会将这块OSD置为OUT状态,并会为降级的PG重新分配一块新的OSD,此时集群中的这些降级对象会被重新拷贝到这块新的OSD上,称之为数据重构。
现有技术中,集群会根据集群中已重构完成的对象总数占集群中所有降级的对象总数的比例,得到一个集群重构进度展示给用户。但是,对于多存储池场景来说,若各存储池发生重构的开始时间不一致,则存在一个存储池数据已经重构完成,但另一个存储池还未开始重构,这中间集群实际没有重构任务,但上述所计算的集群重构进度就会卡在一个值,直到第二个存储池发生重构才会有变化,从而导致这种集群重构进度计算方式存在多存储池场景下集群实际没有重构任务但集群重构进度一直卡住的问题,且存在集群重构进度与存储池重构进度不一致的问题。
因此,如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种分布式存储集群重构进度的统计方法、系统及装置,将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出整个集群的重构进度,使集群重构进度与存储池重构进度保持一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新的重构任务触发,不会卡在一定值,更能准确反映集群的真实重构进度。
为解决上述技术问题,本发明提供了一种分布式存储集群重构进度的统计方法,包括:
当集群中的OSD发生故障时,获取所述集群中每个存储池在本次重构过程中的重构权重;
在所述集群进行本次重构的过程中,获取所述集群中每个存储池在自身重构任务中的重构进度;
根据预设集群重构进度关系式r=∑wi*ri计算得到集群重构进度r;
其中,wi为所述集群中第i个存储池在本次重构过程中的重构权重;ri为在所述集群进行本次重构的过程中,所述集群中第i个存储池在自身重构任务中的重构进度;在所述集群中的某一存储池未开始重构时,此存储池在自身重构任务中的重构进度值置为1。
优选地,获取所述集群中每个存储池在本次重构过程中的重构权重的过程,包括:
获取所述集群的目标存储池中发生故障的OSD对应的总降级对象数,并将所述总降级对象数作为所述目标存储池的待重构对象数;其中,所述目标存储池为所述集群中任一存储池;
将所述集群中所有存储池对应的待重构对象数相加,得到所述集群的总待重构对象数;
将所述目标存储池的待重构对象数除以所述集群的总待重构对象数,得到所述目标存储池在本次重构过程中的重构权重。
优选地,获取所述集群中每个存储池在自身重构任务中的重构进度的过程,包括:
在所述集群的目标存储池开始重构后,获取所述目标存储池的重构完成对象数;
将所述目标存储池的重构完成对象数除以所述目标存储池的待重构对象数,得到所述目标存储池在自身重构任务中的重构进度。
优选地,获取所述集群的目标存储池中发生故障的OSD对应的总降级对象数的过程,包括:
在向所述集群中的OSD内存储对象时,累计所述集群中各OSD的存储对象数;
当所述目标存储池中的OSD发生故障时,获取所述目标存储池中发生故障的各OSD的存储对象数;
将所述目标存储池中发生故障的各OSD的存储对象数相加,得到所述目标存储池中发生故障的OSD对应的总降级对象数。
优选地,所述分布式存储集群重构进度的统计方法还包括:
将所述集群中需重构的存储池按照其重构时间进行排序,得到存储池重构顺序;
将所述存储池重构顺序进行展示,供用户查看。
优选地,所述分布式存储集群重构进度的统计方法还包括:
当所述集群中存在新的OSD发生故障时,重新获取所述集群中每个存储池在新重构任务中的新重构权重;
在所述集群执行新重构任务的过程中,获取所述集群中每个存储池在自身新重构任务中的新重构进度;
根据预设集群重构进度关系式r=∑wi*ri计算得到新的集群重构进度r。
为解决上述技术问题,本发明还提供了一种分布式存储集群重构进度的统计系统,包括:
权重获取模块,用于当集群中的OSD发生故障时,获取所述集群中每个存储池在本次重构过程中的重构权重;
进度获取模块,用于在所述集群进行本次重构的过程中,获取所述集群中每个存储池在自身重构任务中的重构进度;
进度计算模块,用于根据预设集群重构进度关系式r=∑wi*ri计算得到集群重构进度r;
其中,wi为所述集群中第i个存储池在本次重构过程中的重构权重;ri为在所述集群进行本次重构的过程中,所述集群中第i个存储池在自身重构任务中的重构进度;在所述集群中的某一存储池未开始重构时,此存储池在自身重构任务中的重构进度值置为1。
优选地,所述权重获取模块包括:
对象获取子模块,用于获取所述集群的目标存储池中发生故障的OSD对应的总降级对象数,并将所述总降级对象数作为所述目标存储池的待重构对象数;其中,所述目标存储池为所述集群中任一存储池;
对象相加子模块,用于将所述集群中所有存储池对应的待重构对象数相加,得到所述集群的总待重构对象数;
权重求取子模块,用于将所述目标存储池的待重构对象数除以所述集群的总待重构对象数,得到所述目标存储池在本次重构过程中的重构权重。
优选地,所述进度获取模块包括:
重构获取子模块,用于在所述集群的目标存储池开始重构后,获取所述目标存储池的重构完成对象数;
进度求取子模块,用于将所述目标存储池的重构完成对象数除以所述目标存储池的待重构对象数,得到所述目标存储池在自身重构任务中的重构进度。
为解决上述技术问题,本发明还提供了一种分布式存储集群重构进度的统计装置,包括:
存储器,用于存储计算机程序;
处理器,用于在执行所述计算机程序时实现上述任一种分布式存储集群重构进度的统计方法的步骤。
本发明提供了一种分布式存储集群重构进度的统计方法,当集群中的OSD发生故障时,获取集群中每个存储池在本次重构过程中的重构权重;在集群进行本次重构的过程中,获取集群中每个存储池在自身重构任务中的重构进度;根据预设集群重构进度关系式r=∑wi*ri计算得到集群重构进度r;其中,wi为第i个存储池的重构权重;ri为第i个存储池的重构进度;在集群中的某一存储池未开始重构时,此存储池的重构进度置为1。可见,本申请将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出整个集群的重构进度,使集群重构进度与存储池重构进度保持一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新的重构任务触发,不会卡在一定值,更能准确反映集群的真实重构进度。
本发明还提供了一种分布式存储集群重构进度的统计系统及装置,与上述统计方法具有相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式存储集群重构进度的统计方法的流程图;
图2为本发明实施例提供的一种分布式存储集群重构进度的统计系统的结构示意图。
具体实施方式
本发明的核心是提供一种分布式存储集群重构进度的统计方法、系统及装置,将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出整个集群的重构进度,使集群重构进度与存储池重构进度保持一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新的重构任务触发,不会卡在一定值,更能准确反映集群的真实重构进度。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1为本发明实施例提供的一种分布式存储集群重构进度的统计方法的流程图。
该分布式存储集群重构进度的统计方法包括:
步骤S1:当集群中的OSD发生故障时,获取集群中每个存储池在本次重构过程中的重构权重。
具体地,当集群中的OSD发生故障时,本申请获取集群中每个存储池在本次重构过程中的重构权重,即集群中每个存储池自身的重构任务量占集群的总重构任务量的比例。
步骤S2:在集群进行本次重构的过程中,获取集群中每个存储池在自身重构任务中的重构进度。
具体地,在集群进行本次重构的过程中,本申请获取集群中每个存储池在自身重构任务中的重构进度,即集群中任一存储池自身已完成的重构任务量占自身所有的重构任务量的比例。
步骤S3:根据预设集群重构进度关系式r=∑wi*ri计算得到集群重构进度r。
具体地,在集群进行本次重构的过程中,本申请将获取的集群中每个存储池在本次重构过程中的重构权重一一对应乘以获取的每个存储池在自身重构任务中的重构进度,得到集群中每个存储池在本次重构过程中的集群重构进度映射值,并将集群中每个存储池在本次重构过程中的集群重构进度映射值相加,得到集群重构进度,之后重复进行步骤S2和步骤S3更新集群重构进度,直至集群重构结束。
需要说明的是,在集群中的某一存储池未开始重构时,此存储池在自身重构任务中的重构进度值置为1,以使集群重构进度与存储池重构进度保持一致;在集群中的某一存储池开始重构后,根据此存储池在自身重构任务中的真实重构进度设置此存储池在自身重构任务中的重构进度值。
基于此,集群重构进度关系式为:r=∑wi*ri,其中,wi为集群中第i个存储池在本次重构过程中的重构权重;ri为在集群进行本次重构的过程中,集群中第i个存储池在自身重构任务中的重构进度。
本发明提供了一种分布式存储集群重构进度的统计方法,当集群中的OSD发生故障时,获取集群中每个存储池在本次重构过程中的重构权重;在集群进行本次重构的过程中,获取集群中每个存储池在自身重构任务中的重构进度;根据预设集群重构进度关系式r=∑wi*ri计算得到集群重构进度r;其中,wi为第i个存储池的重构权重;ri为第i个存储池的重构进度;在集群中的某一存储池未开始重构时,此存储池的重构进度置为1。可见,本申请将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出整个集群的重构进度,使集群重构进度与存储池重构进度保持一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新的重构任务触发,不会卡在一定值,更能准确反映集群的真实重构进度。
在上述实施例的基础上:
作为一种可选的实施例,获取集群中每个存储池在本次重构过程中的重构权重的过程,包括:
获取集群的目标存储池中发生故障的OSD对应的总降级对象数,并将总降级对象数作为目标存储池的待重构对象数;其中,目标存储池为集群中任一存储池;
将集群中所有存储池对应的待重构对象数相加,得到集群的总待重构对象数;
将目标存储池的待重构对象数除以集群的总待重构对象数,得到目标存储池在本次重构过程中的重构权重。
具体地,目标存储池的重构权重计算过程为:1)获取目标存储池中发生故障的OSD对应的总降级对象数,即后续目标存储池的待重构对象数;2)将集群中所有存储池对应的待重构对象数相加,得到集群的总待重构对象数;3)求取目标存储池的待重构对象数占集群的总待重构对象数的比例,得到目标存储池在本次重构过程中的重构权重。
比如,集群中存在两个存储池,分别是存储池A和存储池B,若同一时刻,存储池A和存储池B中各down一块OSD(存储池A对应的总降级对象数为5万个,存储池B对应的总降级对象数为15万个),则集群的总待重构对象数=存储池A对应的总降级对象数+存储池B对应的总降级对象数=20万个,存储池A在本次重构过程中的重构权重=5万个÷20万个*100%=25%,存储池B在本次重构过程中的重构权重=15万个÷20万个*100%=75%。
作为一种可选的实施例,获取集群中每个存储池在自身重构任务中的重构进度的过程,包括:
在集群的目标存储池开始重构后,获取目标存储池的重构完成对象数;
将目标存储池的重构完成对象数除以目标存储池的待重构对象数,得到目标存储池在自身重构任务中的重构进度。
具体地,目标存储池的重构进度计算过程为:1)在目标存储池开始重构后,获取目标存储池已完成的重构对象数(称为重构完成对象数);2)求取目标存储池的重构完成对象数占目标存储池总的待重构对象数的比例,得到目标存储池在自身重构任务中的重构进度。
比如,集群中存在两个存储池,分别是存储池A和存储池B,存储池A设置OSD down5分钟后置为out状态,存储池B设置OSD down一小时后置为out状态。若同一时刻,存储池A和存储池B中各down一块OSD(存储池A对应的总降级对象数为5万个,存储池B对应的总降级对象数为15万个),则5分钟后存储池A开始发生重构,存储池A在自身重构任务中的重构进度=存储池A已完成的重构对象数÷5万个;一小时后存储池B开始发生重构,存储池B在自身重构任务中的重构进度=存储池B已完成的重构对象数÷15万个。
若存储池A重构完成后,存储池B还未开始重构,则在存储池A重构时,存储池B在自身重构任务中的重构进度值置为1;在存储池B重构时,存储池A在自身重构任务中的重构进度值置为1。基于此,在存储池A重构时,集群重构进度=存储池A已完成的重构对象数÷5万个*25%+1*75%;当存储池A重构完成时(存储池A已完成的重构对象数=5万个),集群重构进度=100%;在存储池B重构时,集群重构进度=1*25%+存储池B已完成的重构对象数÷15万个*75%;当存储池B重构完成时(存储池B已完成的重构对象数=15万个),集群重构进度=100%。
也就是说,若各存储池发生重构的开始时间不一致,则存在一个存储池数据已经重构完成,但另一个存储池还未开始重构,这相当于集群有两个分开的重构任务(存储池A重构和存储池B重构),所以本申请采用:将集群中每个存储池在自身重构任务中的重构进度根据其重构权重映射出整个集群的重构进度,使集群重构进度与存储池重构进度保持一致,且在多存储池场景下若集群没有重构任务,则集群重构进度为重构任务已完成,等待新的重构任务触发,不会卡在一定值,更能准确反映集群的真实重构进度。
而现有技术根据集群中已重构完成的对象总数占集群中所有降级的对象总数的比例,得到一个集群重构进度,以上述存储池A和存储池B的实施例来说明的话,现有技术的集群重构进度=集群中已重构完成的对象总数/(5万个+15万个),若存储池A重构完成后,存储池B还未开始重构,此时集群不存在重构现象,但集群的重构进度会一直卡在25%(会让用户误认为集群正在进行重构过程,但集群当下没有重构任务),直到存储池B开始重构才进行变动(因为此时集群统计的已重构完成的对象总数为5万个,未重构完成的对象总数为15万个)。
作为一种可选的实施例,获取集群的目标存储池中发生故障的OSD对应的总降级对象数的过程,包括:
在向集群中的OSD内存储对象时,累计集群中各OSD的存储对象数;
当目标存储池中的OSD发生故障时,获取目标存储池中发生故障的各OSD的存储对象数;
将目标存储池中发生故障的各OSD的存储对象数相加,得到目标存储池中发生故障的OSD对应的总降级对象数。
具体地,目标存储池对应的总降级对象数的计算过程为:1)在向目标存储池中的OSD内存储对象时,累计目标存储池中各OSD的存储对象数;2)当目标存储池中的OSD发生故障时,获取目标存储池中发生故障的各OSD的存储对象数;3)将目标存储池中发生故障的各OSD的存储对象数相加,得到目标存储池中发生故障的OSD对应的总存储对象数,即目标存储池对应的总降级对象数。
作为一种可选的实施例,分布式存储集群重构进度的统计方法还包括:
将集群中需重构的存储池按照其重构时间进行排序,得到存储池重构顺序;
将存储池重构顺序进行展示,供用户查看。
进一步地,本申请还可将集群中需重构的存储池按照其重构时间进行排序,先重构的存储池排在后重构的存储池之前,得到存储池重构顺序,然后将存储池重构顺序展示给用户。
作为一种可选的实施例,分布式存储集群重构进度的统计方法还包括:
当集群中存在新的OSD发生故障时,重新获取集群中每个存储池在新重构任务中的新重构权重;
在集群执行新重构任务的过程中,获取集群中每个存储池在自身新重构任务中的新重构进度;
根据预设集群重构进度关系式r=∑wi*ri计算得到新的集群重构进度r。
进一步地,若在集群进行本次重构的过程中,又存在新的OSD发生故障,则重新获取集群中每个存储池在新重构任务中的新重构权重,并获取集群中每个存储池在自身新重构任务中的新重构进度,然后根据预设集群重构进度关系式r=∑wi*ri计算得到新的集群重构进度,之后重复获取集群中每个存储池的重构进度及计算集群重构进度的步骤,以更新集群重构进度,直至集群重构结束。
请参照图2,图2为本发明实施例提供的一种分布式存储集群重构进度的统计系统的结构示意图。
该分布式存储集群重构进度的统计系统包括:
权重获取模块1,用于当集群中的OSD发生故障时,获取集群中每个存储池在本次重构过程中的重构权重;
进度获取模块2,用于在集群进行本次重构的过程中,获取集群中每个存储池在自身重构任务中的重构进度;
进度计算模块3,用于根据预设集群重构进度关系式r=∑wi*ri计算得到集群重构进度r;
其中,wi为集群中第i个存储池在本次重构过程中的重构权重;ri为在集群进行本次重构的过程中,集群中第i个存储池在自身重构任务中的重构进度;在集群中的某一存储池未开始重构时,此存储池在自身重构任务中的重构进度值置为1。
作为一种可选的实施例,权重获取模块1包括:
对象获取子模块,用于获取集群的目标存储池中发生故障的OSD对应的总降级对象数,并将总降级对象数作为目标存储池的待重构对象数;其中,目标存储池为集群中任一存储池;
对象相加子模块,用于将集群中所有存储池对应的待重构对象数相加,得到集群的总待重构对象数;
权重求取子模块,用于将目标存储池的待重构对象数除以集群的总待重构对象数,得到目标存储池在本次重构过程中的重构权重。
作为一种可选的实施例,进度获取模块2包括:
重构获取子模块,用于在集群的目标存储池开始重构后,获取目标存储池的重构完成对象数;
进度求取子模块,用于将目标存储池的重构完成对象数除以目标存储池的待重构对象数,得到目标存储池在自身重构任务中的重构进度。
本申请提供的统计系统的介绍请参考上述统计方法的实施例,本申请在此不再赘述。
本申请还提供了一种分布式存储集群重构进度的统计装置,包括:
存储器,用于存储计算机程序;
处理器,用于在执行计算机程序时实现上述任一种分布式存储集群重构进度的统计方法的步骤。
本申请提供的统计装置的介绍请参考上述统计方法的实施例,本申请在此不再赘述。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种分布式存储集群重构进度的统计方法,其特征在于,包括:
当集群中的OSD发生故障时,获取所述集群中每个存储池在本次重构过程中的重构权重;
在所述集群进行本次重构的过程中,获取所述集群中每个存储池在自身重构任务中的重构进度;
根据预设集群重构进度关系式
Figure DEST_PATH_IMAGE002
计算得到集群重构进度
Figure DEST_PATH_IMAGE004
其中,
Figure DEST_PATH_IMAGE006
为所述集群中第i个存储池在本次重构过程中的重构权重;
Figure DEST_PATH_IMAGE008
为在所述集群进行本次重构的过程中,所述集群中第i个存储池在自身重构任务中的重构进度;在所述集群中的某一存储池未开始重构时,此存储池在自身重构任务中的重构进度值置为1;
获取所述集群中每个存储池在本次重构过程中的重构权重的过程,包括:
获取所述集群的目标存储池中发生故障的OSD对应的总降级对象数,并将所述总降级对象数作为所述目标存储池的待重构对象数;其中,所述目标存储池为所述集群中任一存储池;
将所述集群中所有存储池对应的待重构对象数相加,得到所述集群的总待重构对象数;
将所述目标存储池的待重构对象数除以所述集群的总待重构对象数,得到所述目标存储池在本次重构过程中的重构权重。
2.如权利要求1所述的分布式存储集群重构进度的统计方法,其特征在于,获取所述集群中每个存储池在自身重构任务中的重构进度的过程,包括:
在所述集群的目标存储池开始重构后,获取所述目标存储池的重构完成对象数;
将所述目标存储池的重构完成对象数除以所述目标存储池的待重构对象数,得到所述目标存储池在自身重构任务中的重构进度。
3.如权利要求1所述的分布式存储集群重构进度的统计方法,其特征在于,获取所述集群的目标存储池中发生故障的OSD对应的总降级对象数的过程,包括:
在向所述集群中的OSD内存储对象时,累计所述集群中各OSD的存储对象数;
当所述目标存储池中的OSD发生故障时,获取所述目标存储池中发生故障的各OSD的存储对象数;
将所述目标存储池中发生故障的各OSD的存储对象数相加,得到所述目标存储池中发生故障的OSD对应的总降级对象数。
4.如权利要求1所述的分布式存储集群重构进度的统计方法,其特征在于,所述分布式存储集群重构进度的统计方法还包括:
将所述集群中需重构的存储池按照其重构时间进行排序,得到存储池重构顺序;
将所述存储池重构顺序进行展示,供用户查看。
5.如权利要求1-4任一项所述的分布式存储集群重构进度的统计方法,其特征在于,所述分布式存储集群重构进度的统计方法还包括:
当所述集群中存在新的OSD发生故障时,重新获取所述集群中每个存储池在新重构任务中的新重构权重;
在所述集群执行新重构任务的过程中,获取所述集群中每个存储池在自身新重构任务中的新重构进度;
根据预设集群重构进度关系式
Figure 242840DEST_PATH_IMAGE002
计算得到新的集群重构进度
Figure 894401DEST_PATH_IMAGE004
6.一种分布式存储集群重构进度的统计系统,其特征在于,包括:
权重获取模块,用于当集群中的OSD发生故障时,获取所述集群中每个存储池在本次重构过程中的重构权重;
进度获取模块,用于在所述集群进行本次重构的过程中,获取所述集群中每个存储池在自身重构任务中的重构进度;
进度计算模块,用于根据预设集群重构进度关系式
Figure DEST_PATH_IMAGE009
计算得到集群重构进度
Figure 877401DEST_PATH_IMAGE004
其中,
Figure 492184DEST_PATH_IMAGE006
为所述集群中第i个存储池在本次重构过程中的重构权重;
Figure 40977DEST_PATH_IMAGE008
为在所述集群进行本次重构的过程中,所述集群中第i个存储池在自身重构任务中的重构进度;在所述集群中的某一存储池未开始重构时,此存储池在自身重构任务中的重构进度值置为1;
所述权重获取模块包括:
对象获取子模块,用于获取所述集群的目标存储池中发生故障的OSD对应的总降级对象数,并将所述总降级对象数作为所述目标存储池的待重构对象数;其中,所述目标存储池为所述集群中任一存储池;
对象相加子模块,用于将所述集群中所有存储池对应的待重构对象数相加,得到所述集群的总待重构对象数;
权重求取子模块,用于将所述目标存储池的待重构对象数除以所述集群的总待重构对象数,得到所述目标存储池在本次重构过程中的重构权重。
7.如权利要求6所述的分布式存储集群重构进度的统计系统,其特征在于,所述进度获取模块包括:
重构获取子模块,用于在所述集群的目标存储池开始重构后,获取所述目标存储池的重构完成对象数;
进度求取子模块,用于将所述目标存储池的重构完成对象数除以所述目标存储池的待重构对象数,得到所述目标存储池在自身重构任务中的重构进度。
8.一种分布式存储集群重构进度的统计装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于在执行所述计算机程序时实现如权利要求1-5任一项所述的分布式存储集群重构进度的统计方法的步骤。
CN202011104434.8A 2020-10-15 2020-10-15 一种分布式存储集群重构进度的统计方法、系统及装置 Active CN112269532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011104434.8A CN112269532B (zh) 2020-10-15 2020-10-15 一种分布式存储集群重构进度的统计方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011104434.8A CN112269532B (zh) 2020-10-15 2020-10-15 一种分布式存储集群重构进度的统计方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112269532A CN112269532A (zh) 2021-01-26
CN112269532B true CN112269532B (zh) 2022-07-29

Family

ID=74338602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011104434.8A Active CN112269532B (zh) 2020-10-15 2020-10-15 一种分布式存储集群重构进度的统计方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112269532B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577441A (zh) * 2017-10-17 2018-01-12 郑州云海信息技术有限公司 一种osd慢盘处理方法、系统、装置及计算机存储介质
CN110659148A (zh) * 2019-09-12 2020-01-07 浪潮电子信息产业股份有限公司 一种分布式集群数据恢复方法、装置、设备及存储介质
CN111752483A (zh) * 2020-05-28 2020-10-09 苏州浪潮智能科技有限公司 一种存储集群中存储介质变更减少重构数据的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577441A (zh) * 2017-10-17 2018-01-12 郑州云海信息技术有限公司 一种osd慢盘处理方法、系统、装置及计算机存储介质
CN110659148A (zh) * 2019-09-12 2020-01-07 浪潮电子信息产业股份有限公司 一种分布式集群数据恢复方法、装置、设备及存储介质
CN111752483A (zh) * 2020-05-28 2020-10-09 苏州浪潮智能科技有限公司 一种存储集群中存储介质变更减少重构数据的方法及系统

Also Published As

Publication number Publication date
CN112269532A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
DE112008002767B4 (de) Mobiles Handgerät, das eine effiziente Sicherung und Wiedergewinnung von Blöcken während einer Aktualisierung einsetzt
CN108958857A (zh) 一种界面生成方法及装置
CN111831485A (zh) 数据恢复方法、装置、电子设备及介质
CN109446506B (zh) 一种电子表单表格自动再造的方法和装置
CN112269532B (zh) 一种分布式存储集群重构进度的统计方法、系统及装置
CN112181329B (zh) 一种数据展示方法及装置
CN114968119A (zh) 一种数据保护方法、装置、设备及存储介质
CN113096045B (zh) 一种位图拉伸方法、位图拉伸装置及电子设备
CN112506698B (zh) 一种小文件数据重构恢复方法、系统、终端及存储介质
CN111124854A (zh) 一种冒烟测试用例分配方法、系统、终端及存储介质
CN112015763B (zh) Json数据校验方法、装置、电子设备和计算机可读介质
CN111063093B (zh) 一种彩票开奖系统及方法
US20160246648A1 (en) Information technology resource planning
CN107562695B (zh) 一种配电变压器的负载数据处理方法及装置
US20110113404A1 (en) Device and method for operating common module in software architecture
CN112801868B (zh) 图像超分辨率重建的方法、电子设备及存储介质
CN108021452A (zh) 一种分布式系统数据同步的方法、装置及可读存储介质
CN111078750B (zh) 项目模型的数据统计方法、装置及计算机存储介质
CN107609015A (zh) 一种热榜的展示方法、装置、直播平台服务器及介质
CN104793979A (zh) 启动应用程序的方法、装置及移动终端
CN110703988B (zh) 一种分布式存储的存储池创建方法、系统、终端及存储介质
CN107959876B (zh) 一种节目编排的方法、装置及电子设备
CN111124754A (zh) 一种数据恢复方法、装置、设备及介质
CN104731633A (zh) 一种Linux系统下多分区存储设备卸载失败后回滚方法及系统
CN110197383A (zh) 获取客户群的用户集的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant