CN110018799B - 一种存储池pg主确定方法、装置、设备及可读存储介质 - Google Patents

一种存储池pg主确定方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110018799B
CN110018799B CN201910294512.6A CN201910294512A CN110018799B CN 110018799 B CN110018799 B CN 110018799B CN 201910294512 A CN201910294512 A CN 201910294512A CN 110018799 B CN110018799 B CN 110018799B
Authority
CN
China
Prior art keywords
storage pool
master
main
weight
osd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910294512.6A
Other languages
English (en)
Other versions
CN110018799A (zh
Inventor
王曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910294512.6A priority Critical patent/CN110018799B/zh
Publication of CN110018799A publication Critical patent/CN110018799A/zh
Application granted granted Critical
Publication of CN110018799B publication Critical patent/CN110018799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明公开了一种存储池PG主确定方法,包括:统计存储池中各OSD的PG主分布情况;根据PG主分布统计数据判断PG主分布是否达到预设均匀分布标准;如果未达到预设均匀分布标准,获取预先配置的当前存储池对应的PG主权重数据;根据均匀分布标准对PG主权重数据进行权重调整;根据重调PG主权重数据确定PG主。该方法通过为每个存储池分配对应的OSD作为PG主的权重值,实现了不同存储池间不同PG主分布情况的针对性调整,保证了每个存储池在不同PG主分布的情况下都可以以最均衡的方式进行PG主的确定,提升了整体分布式存储系统的存储均衡性。本发明还公开了一种存储池PG主确定装置、设备及可读存储介质,具有上述有益效果。

Description

一种存储池PG主确定方法、装置、设备及可读存储介质
技术领域
本发明涉及分布式数据存储技术领域,特别涉及一种存储池PG主确定方法、装置、设备及一种可读存储介质。
背景技术
为了方便管理数据分布,系统首先会创建存储池,然后存储池都会划分成多个PG(Placement Group,归置组,数据分布的一种虚拟逻辑单元),每个PG按副本或者纠删规则包含若干块硬盘。比如4+2的纠删规则要保存6份数据,需要6块硬盘来保存数据,那每个PG就包含6块硬盘,每个硬盘作为PG的OSD(Object Storage Device,对象存储设备)。
同时每个PG中有一个主OSD,前端写业务首先将数据发送到主OSD上,然后进行纠删分片计算发送给PG的各个成员OSD上,并且将完整数据保存在主OSD的高速缓存介质上,这样前端读业务读取数据时直接就可以从主上读取。主OSD中需要存储的数量远远大于一般成员OSD,因此PG主在OSD上的分布情况直接决定了缓存数据在OSD上是否均价,并且决定了各个OSD的读写压力情况是否均衡。
当前的PG中成员一般都是通过随机算法来选择的,随机算法一定程度上保证了PG在硬盘分布上的选择随机性,但是一般PG数量有限,因此PG在进行成员选择时在硬盘池中选择的硬盘不是很均匀。同时,在若干成员中选取主OSD目前选取PG的第一个成员作为主OSD,PG中硬盘分布本身就不是很均匀,同时,主OSD默认选取其中第一个成员,从而PG的主在OSD上分布不均匀。整体OSD选择的不均匀性以及各PG内主OSD选取的不平衡性导致各OSD的读写压力不均衡,导致数据处理效率降低。
针对上述问题,传统方法一般会通过单独调节每个不均衡的PG中分布PG主比较多以及比较少的OSD的权重,从而达到OSD上PG主分布均匀的目的。然而,一般系统中会创建多个存储池,多存储池间共用所有OSD以及对应的权重,依据传统方法调整的权重只适用于单个存储池,各存储池间的整体主OSD的分布还是不均匀的,导致分布式文件系统整体容量不均衡,缓存介质空间读写数据效率低。
因此,如何实现主OSD分布的均衡性,提高了分布式文件系统的空间利用率,是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种存储池PG主确定方法,该方法可以实现PG主在OSD中的均衡分布,提高了分布式文件系统的空间利用率;本发明的另一目的是提供一种存储池PG主确定装置、一种存储池PG主确定设备及一种可读存储介质。
为解决上述技术问题,本发明提供一种存储池PG主确定方法,包括:
统计存储池中各OSD的PG主分布情况,得到PG主分布统计数据;
根据所述PG主分布统计数据判断PG主分布是否达到预设均匀分布标准;
如果未达到所述预设均匀分布标准,获取预先配置的当前存储池对应的PG主权重数据;
根据所述均匀分布标准对所述PG主权重数据进行权重调整,得到重调PG主权重数据;
根据所述重调PG主权重数据确定PG主。
可选地,根据所述均匀分布标准对所述PG主权重数据进行权重调整,包括:
计算当达到所述均匀分布标准时所述PG主分布统计数据的调整值;
确定所述调整值对应的权重数据调整手段;
根据所述权重数据调整手段对所述PG主权重数据进行权重调整,得到重调PG主权重数据。
可选地,确定所述调整值对应的权重数据调整手段,包括:
将所述调整值与预设各调整级进行匹配,得到匹配调整级;
获取所述匹配调整级对应的调整手段,得到匹配调整手段,并将所述匹配调整手段作为OSD权重值调整手段。
可选地,根据所述均匀分布标准对所述PG主权重数据进行权重调整,包括:
根据最小变动原则以及所述均匀分布标准对所述PG主权重数据进行权重调整。
可选地,所述统计存储池中各PG的主OSD分布情况,包括:
每隔预设时间间隔定时触发统计存储池中各PG的主OSD分布情况。
本发明公开一种存储池PG主确定装置,包括:
PG主分布统计单元,用于统计存储池中各OSD的PG主分布情况,得到PG主分布统计数据;
PG主分布判断单元,用于根据所述PG主分布统计数据判断PG主分布是否达到预设均匀分布标准;
PG主权重获取单元,用于如果未达到所述预设均匀分布标准,获取预先配置的当前存储池对应的PG主权重数据;
PG主权重调整单元,用于根据所述均匀分布标准对所述PG主权重数据进行权重调整,得到重调PG主权重数据;
PG主确定单元,用于根据所述重调PG主权重数据确定PG主。
可选地,所述PG主权重调整单元包括:
调整值计算子单元,用于计算当达到所述均匀分布标准时所述PG主分布统计数据的调整值;
手段确定子单元,用于确定所述调整值对应的权重数据调整手段;
调整子单元,用于根据所述权重数据调整手段对所述PG主权重数据进行权重调整,得到重调PG主权重数据。
可选地,所述手段确定子单元包括:
匹配调整级确定子单元,用于将所述调整值与预设各调整级进行匹配,得到匹配调整级;
匹配手段确定子单元,用于获取所述匹配调整级对应的调整手段,得到匹配调整手段,并将所述匹配调整手段作为OSD权重值调整手段。
本发明公开一种存储池PG主确定设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述的存储池PG主确定方法的步骤。
本发明公开一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被所述处理器执行时实现所述的存储池PG主确定方法的步骤。
本发明所提供的存储池PG主确定方法,通过为每个存储池分配对应的OSD作为PG主的权重值,虽然OSD在各存储池间共用,但在不同存储池内的OSD权重值并不共用,若通过统计存储池中各OSD的PG主分布情况,发现当前存储池的PG主分布未达到预设均匀分布标准时,通过获取预先配置的当前存储池对应的PG主权重数据,并进行相应权重调整,而对于其他存储池中OSD权重值并没有影响,因此实现了不同存储池间不同PG主分布情况的针对性调整,保证了每个存储池在不同PG主分布的情况下都可以以最均衡的方式进行PG主的确定,提升了整体分布式存储系统的存储均衡性。
本发明还提供了一种存储池PG主确定装置、设备及一种可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种存储池PG主确定方法的流程图;
图2为本发明实施例提供的一种存储池PG主确定装置的结构框图;
图3为本发明实施例提供的一种存储池PG主确定设备的结构示意图。
具体实施方式
本发明的核心是提供一种存储池PG主确定方法,该方法可以实现PG主在OSD中的均衡分布,提高了分布式文件系统的空间利用率;本发明的另一核心是提供一种存储池PG主确定装置、设备及一种可读存储介质。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
分布式存储系统中包含多个存储池,多存储池间共用所有OSD以及OSD权重,但是进行PG主的确定,数据的写入、缓存以及读取过程是以存储池为单位进行的,不同存储池间的PG主分布情况一般不太相似。传统方法中依据某存储池的PG主分布情况对某OSD权重进行相应调整时,其它存储池中该OSD的权重值会相应调整,如果当存储池1中OSD1作为PG主的次数远超其它OSD,但是存储池2、3以及4中OSD1作为PG主的次数处于平均水平,为降低存储池1中OSD1的存储压力,需要调低该OSD作为PG主的权重,但是与此同时存储池2、3以及4中OSD1作为PG主的权重也会相应同步变化,在降低了存储池1中OSD1的存储压力的同时,导致其它存储池中PG主分布的不均衡,影响了整体存储效率。
本发明通过为每个存储池中OSD单独分配权重,各存储池间OSD共用,但权重不共用,当依据某存储池中情况进行权重值的调整时不会影响到其它存储池中PG主分布情况,提升了分布式存储系统整体管理效果。
请参考图1,图1为本实施例提供的一种存储池PG主确定方法的流程图;该方法主要包括:
步骤s110、统计存储池中各OSD的PG主分布情况,得到PG主分布统计数据。
一个存储池中包括若干个PG,一个PG中包含若干个OSD,OSD在各PG间共用,一个PG中有一个PG主,PG主的存储压力高于PG成员。
统计存储池中各OSD的PG主分布情况,即统计当前存储池各OSD以及对应的OSD作为PG主的次数,例如存储池1中一共有3个PG:PG1、PG2、PG3、PG4;6个OSD:OSD1、OSD2、OSD3、OSD4、OSD5、OSD6。PG1中包含OSD1、OSD2、OSD3,PG主为OSD1;PG2中包含OSD4、OSD5、OSD6,PG主为OSD4;PG3中包含OSD1、OSD4、OSD6,PG主为OSD1。统计存储池中各OSD的PG主分布情况即为统计6个OSD分别作为PG主的次数,得到的一种PG主分布统计数据如下所示。
Figure BDA0002026039380000061
本实施例中对PG主分布统计数据的数据形式不做限定,可以为表格形式、文档形式等,以上仅以一种数据形式为例进行介绍,其它可以反映存储池PG主分布情况的数据均可参照本实施例的介绍。
PG主分布统计数据主要用于进行PG主分布均衡性判断,若某个OSD作为PG主的次数远高于一个OSD作为PG主次数的平均值时,指示当前存储不平衡,该OSD承受较大的存储压力,可能会影响到整体存储工作效率。
步骤s120、根据PG主分布统计数据判断PG主分布是否达到预设均匀分布标准。
其中,均匀分布的判定标准可以根据不同的应用场景进行设定,本实施例中对预设均匀分布标准不做限定,比如可以进行平均值的设定、方差的设定、标准差的设定等。一种均匀分布标准比如:若某OSD的PG主次数不超过整体平均值的±5%,即判定符合均匀分布。
以下述PG主分布统计数据为例,假定均匀分布标准为:若某OSD的PG主次数不超过整体平均值的±16%,即判定符合均匀分布。
PG主分布统计数据为:
Figure BDA0002026039380000062
经计算,PG主次数的整体平均值为13,则均匀分布标准指示PG主次数属于[11,15]时PG主分布是否达到预设均匀分布标准。则OSD3、OSD4以及OSD6未达到该标准,并非所有OSD均达到该标准,则判定未达到预设均匀分布标准。
本实施例中仅以上述均匀分布标准为例进行介绍,其它标准的设定均可参照本实施例的介绍,在此不再赘述。
步骤s130、当未达到预设均匀分布标准时,获取预先配置的当前存储池对应的PG主权重数据。
预先为每个存储池创建并保存存储池中每个OSD的权重,可以在创建存储池时为该存储池分配空间保存每个OSD作为PG主的权重。权重的主要作用在于PG主的确定,权重可以修改,以适应不同需求。
若当前存储池中PG主未达到均匀分布标准时,需要获取存储池当前的PG主权重数据并进行相应调整,以使各OSD选作PG主的概率趋于平衡。
步骤s140、根据均匀分布标准对OSD权重统计数据进行权重调整,得到重调OSD权重数据。
权重调整主要指相对降低PG主数较高的OSD权重,相对提高PG主数较低的OSD权重。具体采取的调整手段不做限定,可以仅对不属于均匀分布标准的OSD权重值进行调整,当不属于均匀分布的OSD较多时,也可以相对调整处于均衡状态的OSD的权重值,或者对均匀分布标准稍加调整等。可以通过模拟工具计算存储池PG主达到均匀分布时每个OSD的权重值进行相应调整,在此不做限定。
在此以对不符合均匀分布标准的OSD进行调整为例,可以按统一的标准进行调整,例如高于标准时按下降0.007的标准调整权值,低于标准时按上升0.007的标准调整权值,以较小的标准值进行调整,可以精确化权重值,并在多次调整中使PG主分布更均衡;或者也可以根据与标准的差距大小进行相应的调整,比如某些OSD的PG主分布异常突出,此时若按照统一的下降或上升0.007的标准可能在单次调整过后只能对情况稍加缓解,而不能起到解决问题的作用,若为了单次调整解决PG主分布突出的问题,可以根据差距值进行适应性调整;当然,也可以结合上述两种调整手段,在此以上述三种为例进行介绍,其它调整手段均可参照本实施例的介绍。
其中,优选地,根据均匀分布标准对PG主权重数据进行权重调整的过程可以包括以下步骤:
(1)、计算当达到均匀分布标准时PG主分布统计数据的调整值;
(2)、确定调整值对应的权重数据调整手段;
(3)、根据权重数据调整手段对PG主权重数据进行权重调整,得到重调PG主权重数据。
根据待调整值的大小确定调整手段可以提升调整效率,使得OSD作为PG主的频率尽快趋于平衡。例如,若分布值高于标准值超过20时,按每次0.007调整权值,若分布值高于标准值不超过20时,按每次0.004调整权值,具体数值设定可以根据实际需要进行设定,该调整过程较为贴近实际,可以尽量减少调整次数。
具体地,上述步骤(2)中确定调整值对应的权重数据调整手段具体可以包括以下步骤:
将调整值与预设各调整级进行匹配,得到匹配调整级;
获取匹配调整级对应的调整手段,得到匹配调整手段,并将匹配调整手段作为OSD权重值调整手段。
通过上述步骤进行预设规则的匹配可以加快调整速度的同时保证调节效果。
优选地,根据均匀分布标准对PG主权重数据进行权重调整的过程具体可以根据最小变动原则以及均匀分布标准对PG主权重数据进行权重调整。其中,最小变动原则指以当前计算规则为基准尽量减少权重变动,减少计算变动,避免过多资源用于进行相应计算调整,提升权重调整效率。比如当异常OSD分布较少时仅对异常分布进行权重调整,在调整时可以根据异常值进行相应调整,以尽量减少调整次数,在此仅以上述最小变动原则为例进行介绍,其它基于该思想的调整策略均属于本发明的保护范围。
将调整后的权重通过命令设置保存到该存储池的OSD权重空间,以便进行权重值的生效。
步骤s150、根据重调PG主权重数据确定PG主。
系统可以根据最新的PG主分布情况进行数据的写入、缓存和读取。需要说明的是,依据权重值进行PG主随机确定的步骤可参照现有技术,在此不再赘述。
以上以单次调整过程为例进行介绍,但进行单次权重调整后,为检验调整效果,可以重复步骤s110,进行PG主分布情况的统计,若达到预设均匀分布标准,可以跳出调整循环;若未达到,可以继续执行步骤s120至s150,直至达到预设均匀分布标准,当然也可以只进行单次调整,在此对整体调整过程不做限定,可以根据调整需要进行设定。
优选地,为实现对PG主OSD分布情况的实时监控,从而及时进行权重的调整,也为了使各权重值达到最佳状态,PG主的选择更为均衡,可以每隔预设时间间隔定时触发统计存储池中各PG的主OSD分布情况。例如,单次调整结束后,按照当前调整后的权重值进行PG主OSD的确定,当执行次数达到500次时,触发步骤s110PG主分布情况统计以及步骤s120的情况判断,并根据判断结果继续下述步骤活着开启下一轮计时。
基于上述介绍,本实施例提供的存储池PG主确定方法,通过为每个存储池分配对应的OSD作为PG主的权重值,虽然OSD在各存储池间共用,但在不同存储池内的OSD权重值并不共用,若通过统计存储池中各OSD的PG主分布情况,发现当前存储池的PG主分布未达到预设均匀分布标准时,通过获取预先配置的当前存储池对应的PG主权重数据,并进行相应权重调整,而对于其他存储池中OSD权重值并没有影响,因此实现了不同存储池间不同PG主分布情况的针对性调整,保证了每个存储池在不同PG主分布的情况下都可以以最均衡的方式进行PG主的确定,提升了整体分布式存储系统的存储均衡性。
为加深对本发明提供的技术方案的了解,本实施例以一种实际数值调整过程为例对多存储池场景下PG主均衡的过程进行介绍,其他情况均可参照本实施例的介绍。
创建存储池时,集群根据crush算法进行初始的PG分布,默认OSD的作为PG主的权重都是1,此时PG主都是OSD列表中的第一个OSD。
通过命令行将PG与PG主OSD的对应关系进行统计,得到下面的PG分布统计表:
Figure BDA0002026039380000101
Figure BDA0002026039380000111
可以观察到,虽然OSD的初始权重都是一样的,但PG主分布并不是非常平均。共计6144个PG,PG主分布在32个OSD上,平均值为192。然而实际的分布情况可以看到,最高PG数为211,最低为161,相差很大。
通过命令可以查看到此时OSD的权重,如下所示:
Figure BDA0002026039380000112
Figure BDA0002026039380000121
此时所有OSD的主OSD权重都是初始值1。虽然OSD的权重值是一样的,但crush算法对于PG主OSD分布并不均衡,因此根据当前的PG分布,需要降低PG数量较多的OSD的作为PG主的权重值,使部分PG主重新分布到其余OSD上,因为如果OSD作为PG主的权重值不为1后,即使它是OSD列表的第一个,也有可能不会选为主,而会选择后面的成员。
按照上述公式计算出PG主分布在OSD上的数量上限是(6144/32)*1.05=201.6,因为PG主是整数,本实施例中设定单个OSD上分布的PG主数量不超过201即可实现均衡的目标。
通过权重调整命令进行权重调整,以下述调整命令为例:reweighted:osd.30[1.000000->0.960007],osd.10[1.000000->0.960007],osd.12[1.000000->0.960007],osd.21[1.000000->0.960007]
调整后获取各OSD权重值,如下所示:
Figure BDA0002026039380000122
Figure BDA0002026039380000131
单次调整过程结束,此时可以重新统计PG主分布,得到的结果如下:
Figure BDA0002026039380000132
Figure BDA0002026039380000141
Figure BDA0002026039380000151
由上述PG分布统计数据可以看出调整过权重值的OSD上PG主数量已经有所下降,以OSD.30为例,PG数从调整前的208下降到了200。
单次权重调整的过程结束,若想要达到最终更优的主OSD分布目标,即PG数与平均值的差别控制在5%以内,可以按照上述流程反复执行权重调整的命令,多次调整权重,不断使PG主在OSD上进行重新分布后,PG主最终均衡的分布情况如下:
Figure BDA0002026039380000152
Figure BDA0002026039380000161
此时,各OSD权重值分布如下:
Figure BDA0002026039380000162
Figure BDA0002026039380000171
通过上述数据可以看出,通过多次权重调整,最终实现了均衡的目标。达到了分布式文件系统的容量均衡。
基于上述过程进行PG主OSD确定优化,能使得不管是在单存储池还是多存储池场景PG主在OSD中分布比较均匀,这样写数据、缓存数据、读取数据也可以比较均匀的分布到不同的OSD上,提高了缓存介质的空间利用率。
请参考图2,图2为本实施例提供的存储池PG主确定装置的结构框图;可以包括:PG主分布统计单元210、PG主分布判断单元220、PG主权重获取单元230、PG主权重调整单元240以及PG主确定单元250。本实施例提供的存储池PG主确定装置可与上述存储池PG主确定方法相互对照。
其中,PG主分布统计单元210主要用于统计存储池中各OSD的PG主分布情况,得到PG主分布统计数据;
PG主分布判断单元220主要用于根据PG主分布统计数据判断PG主分布是否达到预设均匀分布标准;
PG主权重获取单元230主要用于如果未达到预设均匀分布标准,获取预先配置的当前存储池对应的PG主权重数据;
PG主权重调整单元240主要用于根据均匀分布标准对PG主权重数据进行权重调整,得到重调PG主权重数据;
PG主确定单元250主要用于根据重调PG主权重数据确定PG主。
本实施例提供的存储池PG主确定装置可以实现PG主在OSD中的均衡分布,提高了分布式文件系统的空间利用率。
其中,优选地,PG主权重调整单元具体可以包括:
调整值计算子单元,用于计算当达到均匀分布标准时PG主分布统计数据的调整值;
手段确定子单元,用于确定调整值对应的权重数据调整手段;
调整子单元,用于根据权重数据调整手段对PG主权重数据进行权重调整,得到重调PG主权重数据。
优选地,手段确定子单元具体可以包括:
匹配调整级确定子单元,用于将调整值与预设各调整级进行匹配,得到匹配调整级;
匹配手段确定子单元,用于获取匹配调整级对应的调整手段,得到匹配调整手段,并将匹配调整手段作为OSD权重值调整手段。
优选地,PG主权重调整单元具体可以用于:根据最小变动原则以及均匀分布标准对PG主权重数据进行权重调整。
优选地,PG主分布统计单元具体可以为:定时统计单元,用于每隔预设时间间隔定时触发统计存储池中各PG的主OSD分布情况。
下面对本申请提供的存储池PG主确定设备进行介绍,具体对存储池PG主确定设备的介绍可参照上述存储池PG主确定方法的步骤,该设备主要包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现存储池PG主确定方法的步骤。
请参考图3,本申请实施例提供的存储池PG主确定设备的结构示意图,该存储池PG主确定设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在存储池PG主确定设备301上执行存储介质330中的一系列指令操作。
存储池PG主确定设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上面图1所描述的存储池PG主确定方法中的步骤可以由存储池PG主确定设备的结构实现。
下面对本申请实施例提供的可读存储介质进行介绍,下文描述的可读存储介质与上文描述的存储池PG主确定方法可相互对应参照。
本申请公开的一种可读存储介质,其上存储有程序,程序被处理器执行时实现存储池PG主确定方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,设备,存储介质和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,系统,存储介质和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个移动终端中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该产品存储在一个存储介质中,包括若干指令用以使得一台移动终端(可以是手机,或者平板电脑等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、终端或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的存储池PG主确定方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种存储池PG主确定方法,其特征在于,包括:
统计当前存储池中各OSD的PG主分布情况,得到PG主分布统计数据;
根据所述PG主分布统计数据判断PG主分布是否达到预设均匀分布标准;
如果未达到所述预设均匀分布标准,获取预先配置的当前存储池对应的PG主权重数据;其中,为各存储池中OSD单独分配权重,各存储池间OSD共用,但权重不共用;
根据所述均匀分布标准对所述PG主权重数据进行权重调整,得到当前存储池的重调PG主权重数据;
根据所述重调PG主权重数据确定当前存储池的PG主。
2.如权利要求1所述的存储池PG主确定方法,其特征在于,根据所述均匀分布标准对所述PG主权重数据进行权重调整,包括:
计算当达到所述均匀分布标准时所述PG主分布统计数据的调整值;
确定所述调整值对应的权重数据调整手段;
根据所述权重数据调整手段对所述PG主权重数据进行权重调整,得到当前存储池的重调PG主权重数据。
3.如权利要求2所述的存储池PG主确定方法,其特征在于,确定所述调整值对应的权重数据调整手段,包括:
将所述调整值与预设各调整级进行匹配,得到匹配调整级;
获取所述匹配调整级对应的调整手段,得到匹配调整手段,并将所述匹配调整手段作为OSD权重值调整手段。
4.如权利要求1所述的存储池PG主确定方法,其特征在于,根据所述均匀分布标准对所述PG主权重数据进行权重调整,包括:
根据最小变动原则以及所述均匀分布标准对所述PG主权重数据进行权重调整。
5.如权利要求1所述的存储池PG主确定方法,其特征在于,所述统计当前存储池中各PG的主OSD分布情况,包括:
每隔预设时间间隔定时触发统计当前存储池中各PG的主OSD分布情况。
6.一种存储池PG主确定装置,其特征在于,包括:
PG主分布统计单元,用于统计当前存储池中各OSD的PG主分布情况,得到PG主分布统计数据;
PG主分布判断单元,用于根据所述PG主分布统计数据判断PG主分布是否达到预设均匀分布标准;
PG主权重获取单元,用于如果未达到所述预设均匀分布标准,获取预先配置的当前存储池对应的PG主权重数据;其中,为各存储池中OSD单独分配权重,各存储池间OSD共用,但权重不共用;
PG主权重调整单元,用于根据所述均匀分布标准对所述PG主权重数据进行权重调整,得到当前存储池的重调PG主权重数据;
PG主确定单元,用于根据所述重调PG主权重数据确定当前存储池的PG主。
7.如权利要求6所述的存储池PG主确定装置,其特征在于,所述PG主权重调整单元包括:
调整值计算子单元,用于计算当达到所述均匀分布标准时所述PG主分布统计数据的调整值;
手段确定子单元,用于确定所述调整值对应的权重数据调整手段;
调整子单元,用于根据所述权重数据调整手段对所述PG主权重数据进行权重调整,得到当前存储池的重调PG主权重数据。
8.如权利要求7所述的存储池PG主确定装置,其特征在于,所述手段确定子单元包括:
匹配调整级确定子单元,用于将所述调整值与预设各调整级进行匹配,得到匹配调整级;
匹配手段确定子单元,用于获取所述匹配调整级对应的调整手段,得到匹配调整手段,并将所述匹配调整手段作为OSD权重值调整手段。
9.一种存储池PG主确定设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任意一项所述的存储池PG主确定方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的存储池PG主确定方法的步骤。
CN201910294512.6A 2019-04-12 2019-04-12 一种存储池pg主确定方法、装置、设备及可读存储介质 Active CN110018799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294512.6A CN110018799B (zh) 2019-04-12 2019-04-12 一种存储池pg主确定方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294512.6A CN110018799B (zh) 2019-04-12 2019-04-12 一种存储池pg主确定方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110018799A CN110018799A (zh) 2019-07-16
CN110018799B true CN110018799B (zh) 2020-07-03

Family

ID=67191198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294512.6A Active CN110018799B (zh) 2019-04-12 2019-04-12 一种存储池pg主确定方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110018799B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515917B (zh) * 2019-08-09 2022-12-02 苏州浪潮智能科技有限公司 一种控制重构速度的方法、装置及介质
CN110569201B (zh) * 2019-08-23 2021-09-10 苏州浪潮智能科技有限公司 一种固态硬盘GC下降低写latency的方法及装置
CN111090390B (zh) * 2019-10-31 2022-06-10 平安科技(深圳)有限公司 分布式系统的存储分配方法、装置及计算机设备
CN111124289B (zh) * 2019-12-06 2022-02-18 浪潮电子信息产业股份有限公司 一种分布式存储系统归置组成员的选择方法、装置及介质
CN111708492B (zh) * 2020-06-10 2023-04-25 深圳证券通信有限公司 一种基于ceph的数据分布不平均调整方法
CN112162699B (zh) * 2020-09-18 2023-12-22 北京浪潮数据技术有限公司 一种数据读写方法、装置、设备及计算机可读存储介质
CN111930317B (zh) * 2020-09-21 2021-03-09 柏科数据技术(深圳)股份有限公司 基于ceph数据分布方法、装置、服务器及存储介质
CN112328171B (zh) * 2020-10-23 2024-04-30 苏州元核云技术有限公司 数据分布预测方法、数据均衡方法、设备及存储介质
CN112817535B (zh) * 2021-02-03 2021-11-02 柏科数据技术(深圳)股份有限公司 一种归置组分配方法、装置以及分布式存储系统
CN113126931B (zh) * 2021-04-29 2022-05-10 山东英信计算机技术有限公司 分布式存储集群的磁盘选择方法、装置及可读存储介质
CN113791730B (zh) * 2021-08-16 2024-02-20 济南浪潮数据技术有限公司 基于双存储池的放置组调整方法、系统、装置及存储介质
CN114138181A (zh) * 2021-10-24 2022-03-04 济南浪潮数据技术有限公司 一种绑定池放置组选主的方法、装置、设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN107317864A (zh) * 2017-06-29 2017-11-03 郑州云海信息技术有限公司 一种存储设备的数据均衡方法及装置
CN109002259A (zh) * 2018-06-28 2018-12-14 郑州云海信息技术有限公司 一种归置组所属硬盘分配方法、系统、装置及存储介质
CN109343798A (zh) * 2018-09-25 2019-02-15 郑州云海信息技术有限公司 对分布式存储系统的主pg均衡调整的方法、装置及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160349993A1 (en) * 2015-05-29 2016-12-01 Cisco Technology, Inc. Data-driven ceph performance optimizations
CN109117090A (zh) * 2018-07-27 2019-01-01 郑州云海信息技术有限公司 一种存储池的存储空间配额方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN107317864A (zh) * 2017-06-29 2017-11-03 郑州云海信息技术有限公司 一种存储设备的数据均衡方法及装置
CN109002259A (zh) * 2018-06-28 2018-12-14 郑州云海信息技术有限公司 一种归置组所属硬盘分配方法、系统、装置及存储介质
CN109343798A (zh) * 2018-09-25 2019-02-15 郑州云海信息技术有限公司 对分布式存储系统的主pg均衡调整的方法、装置及介质

Also Published As

Publication number Publication date
CN110018799A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110018799B (zh) 一种存储池pg主确定方法、装置、设备及可读存储介质
CN107391317B (zh) 一种数据恢复的方法、装置、设备及计算机可读存储介质
CN110781006B (zh) 负载均衡方法、装置、节点及计算机可读存储介质
CN107124472A (zh) 负载均衡方法及装置、计算机可读存储介质
CN107317864B (zh) 一种存储设备的数据均衡方法及装置
US20060212873A1 (en) Method and system for managing load balancing in data processing system
KR102047900B1 (ko) 분산 데이터베이스의 부하를 레벨링하는 방법 및 장치
CN111245732B (zh) 一种流量控制方法、装置及设备
CN111078391A (zh) 一种业务请求处理方法、装置及设备
CN108031120B (zh) 一种场景对象控制方法、装置、电子设备及存储介质
CN111338575B (zh) 一种存储服务质量控制方法、装置、设备及存储介质
CN110007867B (zh) 一种缓存空间分配方法、装置、设备及存储介质
CN109982375B (zh) 一种服务小区的负荷均衡调整方法及装置
CN108738076B (zh) 一种负荷均衡执行门限调整的方法及装置
CN117032977A (zh) 混部应用资源分配方法、装置、计算机设备及存储介质
CN109939437B (zh) 游戏程序运行优化方法及装置
CN108200185B (zh) 一种实现负载均衡的方法及装置
WO2015090079A1 (en) Data processing method and device applicable to network application
CN112395058A (zh) 任务调控装置、方法和系统
CN110868304B (zh) 一种pcc策略下发方法及系统
CN110543366A (zh) 用于业务集群的业务模块容量调优方法以及装置、服务器
CN109121165B (zh) 基于上行大包业务的负载均衡处理方法及装置
CN111984406A (zh) 虚拟化平台管理进程cpu资源分配方法、装置及设备
CN113439252A (zh) 终端控制方法、装置、存储介质及电子设备
CN111966490A (zh) 一种Spark分区负载均衡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant