CN112596973A - 一种数据对象存储方法、装置及存储介质 - Google Patents
一种数据对象存储方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112596973A CN112596973A CN202011282908.8A CN202011282908A CN112596973A CN 112596973 A CN112596973 A CN 112596973A CN 202011282908 A CN202011282908 A CN 202011282908A CN 112596973 A CN112596973 A CN 112596973A
- Authority
- CN
- China
- Prior art keywords
- row
- list
- health
- data
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 230000036541 health Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 210000001072 colon Anatomy 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开提供一种数据对象存储方法、装置及存储介质,用于解决数据均衡及业务连续性的技术问题。本公开中,通过ROW模块从监控节点获取健康PG列表,将接收到的用户数据对象转换为ROW对象,采用预设的数据均衡分布算法从健康PG列表中选定用于存放ROW对象的映射PG,为ROW对象分配ROW对象标识,ROW对象标识包括:ROW模块标识、映射PG的标识及序列号,然后将ROW对象写入映射PG中的OSD。通过本公开能够实现ROW对象的均衡存储,提高业务连续性。
Description
技术领域
本公开涉及存储集群技术领域,尤其涉及一种数据对象存储方法、装置及存储介质。
背景技术
在Ceph存储集群中包括多个存储节点,每个存储节点下挂一个或多个对象存储设备(Object Storage Device,OSD)。待写入存储空间的用户数据在形成用户数据对象后首先发给存储节点,存储节点计算用户数据对象标识的HASH值,然后用计算所得的HASH值对寻址放置策略组(Placement Group,PG)的数目取模,从而确定出需要将用户数据对象写入到哪个PG,此种用户数据对象的写入规则虽然能够一定程度上保障数据分布的均衡性,但也可能会导致将用户数据写入到不健康的PG的问题从而影响业务连续性,而且存储节点无法灵活决策用户数据对象的写入位置。
发明内容
有鉴于此,本公开提供一种数据对象存储方法、装置及存储介质,用于解决业务连续性和数据均衡性的技术问题。
基于本公开一实施例,提供了一种数据对象存储方法,该方法应用于存储集群中的存储节点,该方法包括:
从监控节点获取健康寻址放置策略组PG列表;
将接收到的用户数据对象转换为写时重定向ROW对象,采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG,为所述ROW对象分配ROW对象标识,所述ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
将所述ROW对象写入所述映射PG中的对象存储设备OSD。
进一步地,所述健康PG列表中包括每个健康PG的权重值,所述PG的权重值基于PG的数据容量信息确定;所述采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG具体为:在综合PG的权重值的基础上采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG。
进一步地,所述的预设的数据均衡分布算法为平滑加权轮询算法。
进一步地,周期性从所述监控节点获取健康PG列表;所述健康PG列表根据OSD定期向监控节点上报的PG健康状态确定。
进一步地,所述PG的权重值由OSD上报给所述监控节点,由监控节点根据PG的数据容量信息计算获得,可用存储空间越大的PG的权重值越大。
基于本发明另一实施例,还提供了一种数据对象存储装置,该装置应用于存储集群中的存储节点,该装置包括:
列表获取模块,用于从监控节点获取健康寻址放置策略组PG列表;
对象生成模块,用于将接收到的用户数据对象转换为写时重定向ROW对象,采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG,为所述ROW对象分配ROW对象标识,所述ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
下发模块,用于将所述ROW对象写入所述映射PG中的对象存储设备OSD。
进一步地,所述健康PG列表中包括每个健康PG的权重值,所述PG的权重值基于PG的数据容量信息确定;所述对象生成模块在综合PG的权重值的基础上采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG。
进一步地,所述的预设的数据均衡分布算法为平滑加权轮询算法。
进一步地,所述列表获取模块周期性从所述监控节点获取健康PG列表;所述健康PG列表根据OSD定期向监控节点上报的PG健康状态确定;所述PG的权重值由OSD上报给所述监控节点,由监控节点根据PG的数据容量信息计算获得,可用存储空间越大的PG的权重值越大。
本公开提供的技术方案能够实现ROW对象存储的数据均衡性,既避免OSD间数据不均导致的业务中断以及空间利用率低,又能避免PG上的热点数据,防止某些数据量少的PG在短时间内承担过多ROW对象影响性能,提高业务连续性。
附图说明
为了更加清楚地说明本公开实施例或者现有技术中的技术方案,下面将对本公开实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本公开实施例的这些附图获得其他的附图。
图1为本公开一实施例中ROW模块将离散小IO合并成顺序大IO形成ROW对象的示意图;
图2为本公开一实施例提供的一种数据对象存储方法的步骤流程图;
图3为本公开一实施例提供的基于PG权重值数据对象存储方法步骤流程图;
图4为本公开一实施例提供的一种数据对象存储装置结构示意图;
图5为本公开一实施例提供的一种存储节点设备结构示意图。
具体实施方式
在本公开实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本公开实施例。本公开实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。本公开中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了提高存储的灵活性,本公开实施例中,通过在Ceph的I/O输入输出路径中的对象存储设备(Object Storage Device,OSD)上层引入写时重定向(Redirect On Write,ROW)模块,通过ROW模块将随机小IO合并成顺序大IO,从而加速随机小IO的写入。图1为本公开一实施例中ROW模块将离散小IO合并成顺序大IO形成ROW对象的示意图。
在本公开实施例中,用户数据对象经过ROW模块转换为ROW对象后发往OSD,进行持久化。ROW模块会为每个ROW对象生成一个ROW对象标识,本公开实施例中,改变了原有Ceph对象寻址放置策略组(Placement Group,PG)的规则,不再使用用户数据对象标识对PG数量取模的方式来决定用户数据对象下发的PG,而是采用由ROW模块根据PG健康状态、PG数据量及预设的数据均衡分布算法来决策ROW对象所写入的PG。
为了提高存储集群中存储系统的有效性和灵活性,本公开提供了一种数据对象存储方法,图2为该方法的步骤流程示意图,该方法应用于存储集群中的存储节点,该方法包括:
步骤2101.从监控节点获取健康PG列表;
该步骤中,MON监控节点上维护有PG列表,PG列表中的每一项可对应一个PG,PG会通过OSD定时向MON监控节点上报自身的健康状态。在存储集群中,PG本身自己维护一个状态机,PG状态包括:active clean(健康)、down(下线)、unfound(数据丢失)等。
ROW模块可通过消息主动从监控节点获取所有处于健康状态的PG组成的健康PG列表,也可以由监控节点向ROW模块推送健康PG列表。
步骤2102.将接收到的用户数据对象转换为ROW对象,采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG,为所述ROW对象分配ROW对象标识,所述ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
该步骤中,存储集群中可包括多个存储节点,每个存储节点可以布置一个或多个ROW模块,每个ROW模块拥有唯一的ROW模块标识。其中,序列号由ROW模块分配,可以为单调递增的数列。
步骤2103.将所述ROW对象写入所述映射PG中的OSD。
通过上述方法,能够由ROW模块灵活地决策ROW对象写入哪个PG,保障用户数据对象写入到健康的PG中,从而在兼顾存储分配灵活性的同时保障业务的连续性以及数据的均衡性。
通过上述方法,虽然保证了ROW对象的业务亲和性和业务连续性,但是同时改变了原生存储系统-例如Ceph存储集群的数据均衡性。原生Ceph存储集群默认每个PG承担的用户数据量是基本一致的,所以只要保证每个OSD上分配的PG数量趋于一致,就能保证每个OSD上的数据量趋于一致。但是为了满足ROW对象的业务亲和性和业务连续性,ROW对象特有的对象命名规则以及寻址规则使得每个PG上承担的数据量不再基本一致。如果ROW模块生成ROW对象ID时,仅考虑业务亲和性和业务连续性,将业务只发往当前健康的且在本节点上的PG,则无法满足数据均衡性的要求,只要集群中有PG长时间不健康,那么这些PG将长时间不承担业务,导致PG间数据量差异过大,从而造成OSD间数据量不均衡。
发明人进一步分析发现,由于Ceph会对OSD存储空间进行预留以避免集群写满后无法扩容的尴尬,所以当存储集群中只要有一个OSD中存储的数据量量达到预设的门限时-例如95%时,就无法继续向存储集群写入。所以如果OSD间数据量不均衡,有的OSD可能已经到95%,但是有的OSD还有大量空闲空间,就会导致存储集群无法写入,业务中断,造成存储空间利用率低下。
为了解决引入ROW模块后可能造成PG间数据量差异过大,OSD存储空间利用率不均衡的技术问题,本公开一实施例提供了一种改进的数据对象存储方法,以满足PG间数据均衡性要求,避免由于数据不均衡导致的业务提前中断,提高存储空间利用率。该方法包括:
步骤2201.从监控节点获取健康PG列表,所述健康PG列表中包括每个健康PG的权重值,所述PG的权重值基于PG的数据容量信息确定;
MON监控节点上维护的PG列表中包括每个PG的健康状态及数据容量信息,MON根据PG的数据容量信息计算PG的权重值,可用存储空间越大的PG其权重值越大。可采取由存储节点周期拉去或由MON周期推送方式获取MON上的健康PG列表。
步骤2202.将接收到的用户数据对象转换为ROW对象,在综合PG的权重值的基础上采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG,为所述ROW对象分配ROW对象标识,所述ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
该步骤中的预设的数据均衡分布算法是在综合考虑PG的权重值的基础上选择最优的健康PG分配给ROW对象。
步骤2203.将所述ROW对象写入所述映射PG中的OSD。
在为ROW对象分配ROW对象标识后,ROW对象即可通过解析ROW对象标识获得映射PG从而进一步确定PG中的OSD。
通过上述方法可以尽可能地避免PG间数据量差异过大,使得OSD存储空间利用率更加均衡。
图3为本公开一实施例提供的基于PG权重值数据对象存储方法步骤流程图。该实施例中的方法包括步骤:
步骤301.OSD周期性向MON上报PG健康状态信息及PG的数据容量信息;
步骤302.MON收到OSD上报的PG健康状态信息及PG的数据容量信息为每一个PG计算权重值,可用存储空间越大的PG的权重值越大。
步骤303.MON将带有权重值的健康PG列表发送给存储节点上的ROW模块;
步骤304.ROW模块采用平滑加权轮询算法对健康PG列表进行处理后得到PG分配队列;
步骤305.当ROW模块接收到一个用户数据对象需要生成ROW对象时,从PG分配队列的头部出队一个PG生成对应的ROW对象ID。
将MON计算出来的PG的权重值作为平滑加权轮询算法的输入,便能得到基与每个PG可用存储空间数量多少的一个PG分配队列,数据量越少的PG在列表中出现的频率越高。
例如OSD上报给MON的健康主PG集合中有5个PG,依次为:{pg1:10,pg2:8,pg3:10,pg4:8,pg5:9},其中冒号后面的数字代表这个PG的数据量,比如10就代表这个PG上有10个对象,8就代表这个PG上有8个对象(假设每个对象的数据量一致)。那么MON给这个5个PG的权重值如下:{pg1:1,pg2:3,pg3:1,pg4:3,pg5:2},这里冒号后的数字便代表该PG的权重值。
ROW模块根据MON发送过来的PG权重值信息,带入平滑加权轮询算法后得到的PG列表为{pg2,pg4,pg1,pg5,pg2,pg4,pg3,pg5,pg2,pg4}。当生成第一个ROW对象时,ROW对象ID中的PGID为pg2,也就是ROW对象将映射到pg2上,第二个ROW对象要生成时,ROW对象ID中的PGID为pg4,也就是ROW对象将映射到pg4上,依次类推,从而避免热点数据(也就是避免同一时间内ROW对象频繁发给同一个PG,导致该PG成为性能瓶颈)。
由于MON会定时给ROW模块发送带有权重值的健康主PG列表,所以ROW模块也能定时生成PG分配队列,从而实现动态的数据均衡。
通过上述实施例的方法能够实现ROW对象的数据均衡性,既避免OSD间数据不均导致的业务中断以及空间利用率低,又能避免PG上的热点数据,防止某些数据量少的PG在短时间内承担过多ROW对象影响性能。
应当认识到,本公开的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术,包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本公开描述的过程的操作,除非本公开另外指示或以其他方式明显地与上下文矛盾。本公开描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本公开的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本公开所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本公开所述的方法和技术编程时,本公开还包括计算机本身。
图4为本公开一实施例提供的一种数据对象存储装置结构示意图,该装置400应用于存储集群中的存储节点。该装置400等同于前述方法中的ROW模块,可采用软件模块形式实现,也可以采用硬件单元方式实现。该装置400包括:
列表获取模块410,用于从监控节点获取健康PG列表;
对象生成模块420,用于将接收到的用户数据对象转换为ROW对象,采用预设的数据均衡分布算法从健康PG列表中选定用于存放所述ROW对象的映射PG,为ROW对象分配ROW对象标识,ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
下发模块430,用于将ROW对象写入映射PG中的OSD。
优选地,健康PG列表中包括每个健康PG的权重值,PG的权重值基于PG的数据容量信息确定;
优选地,对象生成模块420在综合PG的权重值的基础上采用预设的数据均衡分布算法从健康PG列表中选定用于存放所述ROW对象的映射PG。
优选地,预设的数据均衡分布算法为平滑加权轮询算法。
优选地,列表获取模块410周期性从所述监控节点获取健康PG列表;健康PG列表根据OSD向监控节点上报的PG健康状态确定;
PG的权重值由OSD上报给所述监控节点,由监控节点根据PG的数据容量信息计算获得,可用存储空间越大的PG的权重值越大。
图5为本公开一实施例提供的一种存储节点设备结构示意图,该设备500包括:诸如中央处理单元(CPU)的处理器510、内部总线520、网络接口540以及计算机可读存储介质530。其中,处理器510与计算机可读存储介质530可以通过内部总线520相互通信。计算机可读存储介质530内可存储本公开提供的用于实施前述本公开提供的数据对象存储方法的计算机程序,当计算机程序被处理器510执行时即可实现本公开提供的数据对象存储方法方法的各步骤功能。
机器可读存储介质可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。另外,机器可读存储介质1202还可以是至少一个位于远离前述处理器的存储装置。处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上所述仅为本公开的实施例而已,并不用于限制本公开。对于本领域技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种数据对象存储方法,其特征在于,该方法应用于存储集群中的存储节点,所述方法包括:
从监控节点获取健康寻址放置策略组PG列表;
将接收到的用户数据对象转换为写时重定向ROW对象,采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG,为所述ROW对象分配ROW对象标识,所述ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
将所述ROW对象写入所述映射PG中的对象存储设备OSD。
2.根据权利要求1所述的方法,其特征在于,
所述健康PG列表中包括每个健康PG的权重值,所述PG的权重值基于PG的数据容量信息确定;
所述采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG具体为:
在综合PG的权重值的基础上采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG。
3.根据权利要求2所述的方法,其特征在于,
所述的预设的数据均衡分布算法为平滑加权轮询算法。
4.根据权利要求2所述的方法,其特征在于,
周期性从所述监控节点获取健康PG列表;
所述健康PG列表根据OSD定期向监控节点上报的PG健康状态确定。
5.根据权利要求2所述的方法,其特征在于,
所述PG的权重值由OSD上报给所述监控节点,由监控节点根据PG的数据容量信息计算获得,可用存储空间越大的PG的权重值越大。
6.一种数据对象存储装置,其特征在于,该装置应用于存储集群中的存储节点,该装置包括:
列表获取模块,用于从监控节点获取健康寻址放置策略组PG列表;
对象生成模块,用于将接收到的用户数据对象转换为写时重定向ROW对象,采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG,为所述ROW对象分配ROW对象标识,所述ROW对象标识包括:ROW模块标识、映射PG的标识及序列号;
下发模块,用于将所述ROW对象写入所述映射PG中的对象存储设备OSD。
7.根据权利要求6所述的装置,其特征在于,
所述健康PG列表中包括每个健康PG的权重值,所述PG的权重值基于PG的数据容量信息确定;
所述对象生成模块在综合PG的权重值的基础上采用预设的数据均衡分布算法从所述健康PG列表中选定用于存放所述ROW对象的映射PG。
8.根据权利要求7所述的装置,其特征在于,
所述的预设的数据均衡分布算法为平滑加权轮询算法。
9.根据权利要求7所述的装置,其特征在于,
所述列表获取模块周期性从所述监控节点获取健康PG列表;
所述健康PG列表根据OSD定期向监控节点上报的PG健康状态确定;
所述PG的权重值由OSD上报给所述监控节点,由监控节点根据PG的数据容量信息计算获得,可用存储空间越大的PG的权重值越大。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序当被处理器执行时实现如权利要求1至5中任一项的方法步骤功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011282908.8A CN112596973A (zh) | 2020-11-17 | 2020-11-17 | 一种数据对象存储方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011282908.8A CN112596973A (zh) | 2020-11-17 | 2020-11-17 | 一种数据对象存储方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112596973A true CN112596973A (zh) | 2021-04-02 |
Family
ID=75183215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011282908.8A Pending CN112596973A (zh) | 2020-11-17 | 2020-11-17 | 一种数据对象存储方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112596973A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117119058A (zh) * | 2023-10-23 | 2023-11-24 | 武汉吧哒科技股份有限公司 | Ceph分布式存储集群中存储节点优化方法及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080160096A1 (en) * | 2006-07-27 | 2008-07-03 | Janos Berbely | Polymeric nanoparticles by ion-ion interactions |
US20120039175A1 (en) * | 2010-08-11 | 2012-02-16 | Alcatel-Lucent Usa Inc. | Enabling a distributed policy architecture with extended son (extended self organizing networks) |
US20140089584A1 (en) * | 2012-09-24 | 2014-03-27 | Hewlett-Packard Development Company | Accelerated path selection based on number of write requests and sequential trend |
CN103778255A (zh) * | 2014-02-25 | 2014-05-07 | 深圳市中博科创信息技术有限公司 | 一种分布式文件系统及其数据分布方法 |
CN106980647A (zh) * | 2017-02-24 | 2017-07-25 | 深圳市中博睿存信息技术有限公司 | 一种分布式文件系统数据分布方法及装置 |
CN108287660A (zh) * | 2017-01-09 | 2018-07-17 | 中国移动通信集团河北有限公司 | 数据存储方法和设备 |
CN110278233A (zh) * | 2018-03-16 | 2019-09-24 | 中移(苏州)软件技术有限公司 | 一种负载调整方法及装置 |
-
2020
- 2020-11-17 CN CN202011282908.8A patent/CN112596973A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080160096A1 (en) * | 2006-07-27 | 2008-07-03 | Janos Berbely | Polymeric nanoparticles by ion-ion interactions |
US20120039175A1 (en) * | 2010-08-11 | 2012-02-16 | Alcatel-Lucent Usa Inc. | Enabling a distributed policy architecture with extended son (extended self organizing networks) |
US20140089584A1 (en) * | 2012-09-24 | 2014-03-27 | Hewlett-Packard Development Company | Accelerated path selection based on number of write requests and sequential trend |
CN103778255A (zh) * | 2014-02-25 | 2014-05-07 | 深圳市中博科创信息技术有限公司 | 一种分布式文件系统及其数据分布方法 |
CN108287660A (zh) * | 2017-01-09 | 2018-07-17 | 中国移动通信集团河北有限公司 | 数据存储方法和设备 |
CN106980647A (zh) * | 2017-02-24 | 2017-07-25 | 深圳市中博睿存信息技术有限公司 | 一种分布式文件系统数据分布方法及装置 |
CN110278233A (zh) * | 2018-03-16 | 2019-09-24 | 中移(苏州)软件技术有限公司 | 一种负载调整方法及装置 |
Non-Patent Citations (1)
Title |
---|
刘冬等: "RAID小数据随机访问性能分析与优化", 《计算机应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117119058A (zh) * | 2023-10-23 | 2023-11-24 | 武汉吧哒科技股份有限公司 | Ceph分布式存储集群中存储节点优化方法及相关设备 |
CN117119058B (zh) * | 2023-10-23 | 2024-01-19 | 武汉吧哒科技股份有限公司 | Ceph分布式存储集群中存储节点优化方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108780386B (zh) | 一种数据存储的方法、装置和系统 | |
US8490107B2 (en) | Processing resource allocation within an integrated circuit supporting transaction requests of different priority levels | |
US8874811B2 (en) | System and method for providing a flexible buffer management interface in a distributed data grid | |
KR102290540B1 (ko) | 네임스페이스/스트림 관리 | |
CN105408879A (zh) | 快捷外围部件互连域的资源管理 | |
CN105183565A (zh) | 计算机、服务质量控制方法及装置 | |
US20240073298A1 (en) | Intelligent scheduling apparatus and method | |
US9971511B2 (en) | Hybrid memory module and transaction-based memory interface | |
US10712945B2 (en) | Deduplication processing method, and storage device | |
CN108845877B (zh) | 管理内存的方法、装置和系统 | |
CN110213128B (zh) | 服务端口检测方法、电子设备及计算机存储介质 | |
CN111464659A (zh) | 节点的调度、节点的预选处理方法、装置、设备及介质 | |
EP3547102A1 (en) | Object storage system with multi-level hashing function for storage address determination | |
CN103049328A (zh) | 计算机系统中内存资源分配方法 | |
CN112579263A (zh) | 任务执行方法及装置、存储介质及电子设备 | |
CN112162856A (zh) | Gpu虚拟资源的分配方法、装置、计算机设备和存储介质 | |
CN105874426A (zh) | 一种系统调用命令的批处理方法及装置 | |
US20130042252A1 (en) | Processing resource allocation within an integrated circuit | |
CN112596973A (zh) | 一种数据对象存储方法、装置及存储介质 | |
US10601726B2 (en) | Systems and methods for allocating shared resources in multi-tenant environments | |
CN109756429A (zh) | 带宽分配方法及设备 | |
CN109788013B (zh) | 分布式系统中作业资源分配方法、装置及设备 | |
KR20170080846A (ko) | 가상 스위칭 장치 및 방법 | |
CN113760549A (zh) | 一种pod部署方法及装置 | |
CN117130723A (zh) | 分配信息的确定方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210402 |