CN113282241A - 一种基于Ceph分布式存储的硬盘权重优化方法及装置 - Google Patents

一种基于Ceph分布式存储的硬盘权重优化方法及装置 Download PDF

Info

Publication number
CN113282241A
CN113282241A CN202110577206.0A CN202110577206A CN113282241A CN 113282241 A CN113282241 A CN 113282241A CN 202110577206 A CN202110577206 A CN 202110577206A CN 113282241 A CN113282241 A CN 113282241A
Authority
CN
China
Prior art keywords
osd
weight
ceph
value
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110577206.0A
Other languages
English (en)
Other versions
CN113282241B (zh
Inventor
刘梦可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inesa R&d Center
Original Assignee
Inesa R&d Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inesa R&d Center filed Critical Inesa R&d Center
Priority to CN202110577206.0A priority Critical patent/CN113282241B/zh
Publication of CN113282241A publication Critical patent/CN113282241A/zh
Application granted granted Critical
Publication of CN113282241B publication Critical patent/CN113282241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于Ceph分布式存储的硬盘权重优化方法及装置，所述方法包括以下步骤：S1、获取Ceph集群的状态监控信息；S2、在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，计算获得Ceph集群中存储节点内各OSD的最优权重值；S3、线上应用步骤S2获得的所述最优权重值，判断是否达到预期指标，若是，则完成权重优化，若否，则返回步骤S2。与现有技术相比，本发明最大限度的降低集群中硬盘之间的差异性，高效地自适应地调整集群中各个硬盘的权重值，从而满足用户的性能要求、容量利用率的要求，充分利用现有的资源。

Description

一种基于Ceph分布式存储的硬盘权重优化方法及装置
技术领域
本发明属于云存储技术领域，涉及一种Ceph分布式存储系统，尤其是涉及一种基于Ceph分布式存储的硬盘权重优化方法及装置。
背景技术
随着云计算技术的不断发展，客户对云存储的需求也不断增长，Ceph作为一个开源的分布式存储系统，已经成为目前最主流的云存储后端，大规模地应用在生产环境中。Ceph有诸多优点：支持多种存储访问方式：对象、块和文件系统；无中心结构、无单点故障等。
Ceph采用Crush算法确定数据访问的具体地址，提供了高效可靠的寻址方式，同时尽可能使数据分布均匀。在实际使用中，当服务器上的物理硬盘容量型号一致时，数据可以较均匀的分布，并提供均衡的性能；但是当服务器的硬盘比较混杂时，例如OSD硬盘的型号、容量、性能不统一时，集群中数据的均匀程度、IO性能都会有较大程度的下降，这种场景在生产环境中经常发生，例如，随着时间的推移，服务器上的硬盘故障率增高，不断更换上新型号的硬盘(技术工艺的提升，新硬盘的容量、性能不断改进)；使用公司内部既有的旧服务器搭建Ceph集群时，经常存在多种硬盘混用的情况，无法有效利用既有资源。
这些场景下，Ceph集群的利用率和性能都有所下降，具体表现如下：
1)资源利用率差
默认情况下，Crush算法会根据硬盘的权重，按照正相关分配相应的数据量，但是这个相关性并不是完全线性的，从算法实现上看，OSD的利用率仅满足统计意义上的平均，实际使用时，每个OSD的使用率差别较大，使用率最大的那个OSD一般是集群的瓶颈。
2)IO性能下降
当按照硬盘容量的比例分配权重时，大容量的硬盘存储的数据量较多，而小容量的硬盘存储的数据量较少，但是，硬盘的性能并不是和容量呈完全的正相关的，因此大容量的硬盘会成为集群的性能瓶颈。
3)线上调优成本高
直接在线上对每个OSD硬盘进行权重调节，需要多次迭代才会使集群在数据分布和性能上有一定的提高，但是每次调整都会有大量的数据重平衡，反复平衡数据会造成一定的资源浪费，并且平衡数据期间，会导致集群性能下降，客户业务受到影响。
当既有服务器硬盘混杂不一致，线上服务器的硬盘老化不断更新替换升级后，Ceph集群面临着空间利用率下降、性能下降的问题。目前，主流的平衡算法是，通过ceph命令手动调整单个OSD的权重值，将使用率高的OSD的权重值调低，但是该方法很难一次调整到位，经常会出现被调整的OSD使用率下降，其他的OSD使用率上升，新的OSD瓶颈出现，通过反复调整不同OSD的权重，可以适度地平衡数据的分布，但是每次调整权重都会触发集群的数据重平衡，导致客户的业务受影响时间较长。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Ceph分布式存储的硬盘权重优化方法及装置，实现快速的数据平衡，减少真实集群的数据平衡次数。
本发明的目的可以通过以下技术方案来实现：
一种基于Ceph分布式存储的硬盘权重优化方法，包括以下步骤：
S1、获取Ceph集群的状态监控信息；
S2、在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，计算获得Ceph集群中存储节点内各OSD的最优权重值；
S3、线上应用步骤S2获得的所述最优权重值，判断是否达到预期指标，若是，则完成权重优化，若否，则返回步骤S2。
进一步地，所述状态监控信息包括OSD实时状态信息、CrushMap拓扑信息以及每个PG上的对象数信息。
进一步地，所述优先策略包括性能优先策略、容量优先策略和性能容量均衡策略。
进一步地，步骤S2中，所述计算获得Ceph集群中存储节点内各OSD的最优权重值具体包括以下步骤：
S201、获得当前各OSD的权重值，基于当前各OSD的权重值及所述CrushMap拓扑信息，采用Ceph集群使用的Crush算法计算PG到OSD的映射关系图；
S202、基于每个PG上的对象数信息及所述映射关系图获得每个OSD的存储使用量；
S203、基于所述优先策略计算对应的当前偏差值，判断该当前偏差值是否小于设定阈值，若是，则以当前各OSD的权重值作为最优权重值，若否，则执行步骤S204，直至达到迭代次数上限；
S204、基于所述当前偏差值，采用最优解算法或机器学习算法计算一组新的权重值，返回步骤S201。
进一步地，所述机器学习算法包括坐标下降法。
一种基于Ceph分布式存储的硬盘权重优化装置，应用于Ceph集群，所述Ceph集群包括控制节点和存储节点，包括：
监控模块，用于采集Ceph集群的状态监控信息；
权重优化模块，在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，计算获得Ceph集群中存储节点内各OSD的最优权重值；
权重配置模块，位于所述控制节点中，用于执行所述最优权重值的配置，判断在所述最优权重值下Ceph集群是否达到预期指标，若是，则完成权重优化，若否，则向权重优化模块发送再优化指令。
进一步地，所述状态监控信息包括OSD实时状态信息、CrushMap拓扑信息以及每个PG上的对象数信息。
进一步地，所述优先策略包括性能优先策略、容量优先策略和性能容量均衡策略。
进一步地，所述权重优化模块包括：
映射计算单元，获得当前各OSD的权重值，基于当前各OSD的权重值及所述CrushMap拓扑信息，采用Ceph集群使用的Crush算法计算PG到OSD的映射关系图；
使用量计算单元，基于每个PG上的对象数信息及所述映射关系图获得每个OSD的存储使用量；
偏差值计算单元，基于所述优先策略计算对应的当前偏差值，判断该当前偏差值是否小于设定阈值，若是，则以当前各OSD的权重值作为最优权重值，若否，则发送迭代求解指令；
优化算法模块，接收所述迭代求解指令，判断是否达到迭代次数上限，若是，则退出，若否，则基于所述当前偏差值，采用最优解算法或机器学习算法计算一组新的权重值，发送至所述映射计算单元。
进一步地，所述机器学习算法包括坐标下降法。
与现有技术相比，本发明具有以下有益效果：
1、基于用户可配的策略，高效地自适应地调整集群中各个硬盘的权重值，最大限度的降低集群中硬盘之间的差异性，从而满足用户的性能要求、容量利用率的要求，充分利用现有的资源。
2、该方法充分利用既有服务器或者线上替换的新硬盘的作用，可以实现快速的数据平衡，减少真实集群的数据平衡次数，从而减少对客户业务的影响。
3、该方法可以使数据分布更加均匀，减少瓶颈OSD的影响。
4、本发明利用本地模拟获得各硬盘的最优权重，计算是通过本地的Crush算法执行的，并非在线上环境直接进行耗时非常长的数据平衡，因此效率非常高，对客户业务影响较小。
附图说明
图1为本发明的框架原理示意图；
图2为本发明优化方法的流程图；
图3为本发明最优权重值的求解过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
参考图1所示，Ceph存储集群包含控制节点和存储节点。控制节点(ceph-mon节点)，是Ceph集群的监控进程，同时保存了集群的拓扑结构、配置和状态。存储节点，是Ceph真正用于存放数据的节点，客户的读写数据都保存在该节点。存储节点一般由多个OSD组成，实际应用中，经常会出现一个服务器上的OSD并不是统一的型号、统一的容量。每个OSD都会有一个权重值，默认情况下，权重值是1。由一定数量的PG(placement group)组成逻辑存储池，Ceph集群中的OSD与PG间具有映射关系。
如图2所示，本实施例提供一种基于Ceph分布式存储的硬盘权重优化方法，包括以下步骤：
S1、获取Ceph集群的状态监控信息，包括存储节点上的各个OSD的存储使用量、IO负载、硬盘寿命等多维度信息以及集群的CrushMap拓扑结构以及每个PG上的对象数信息。
S2、在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，如性能优先策略、容量优先策略和性能容量均衡策略等，计算获得Ceph集群中存储节点内各OSD的最优权重值。
S3、线上应用步骤S2获得的所述最优权重值，监控完成Ceph集群的数据平衡过程，判断是否达到预期指标，若是，则完成权重优化，若否，则返回步骤S2。
配置OSD的权重，会影响该OSD上的数据存储量，当单位数据的IO请求相同时，容量越大的OSD，其IO负载也就越高，因此该OSD可能成为瓶颈，因此基于该OSD本身的性能适当调整该OSD的权重值可以兼顾性能和负载。当OSD的容量相同，但是性能不同时，也可以适当调整权重，将更多的IO负载分配到性能高的OSD上。本实施例中，根据管理员下发的优先策略，通过加权求和算法，调整存储使用率和性能之间的平衡。
在如图3所示，计算获得Ceph集群中存储节点内各OSD的最优权重值具体包括以下步骤：
S201、获得当前各OSD的权重值Wk(第一次执行时，该参数由监控系统获得，其他情况下，由上一次迭代更新)，基于当前各OSD的权重值及所述CrushMap拓扑信息，采用Ceph集群使用的Crush算法计算PG到OSD的映射关系图。
以三副本为例，一个PG映射到了三个OSD，映射关系定义为：
OSD_MAP(PGi,j)→(OSD_1,OSD_2,OSD_3)
CrushMap拓扑记录了集群的分层结构，保存了Crush算法计算所需的所有信息，Crush算法一般是Straw抽签算法。Ceph Crush算法会根据预先配置的权重值，分配相应比例的数据，该数据的分配是逐级计算的，最底层一般是OSD层，往上层一般是主机层，主机层的权重值等于该主机上的所有的OSD的权重之和，依次类推到机架、机房等。
S202、基于每个PG上的对象数信息(默认4M)及所述映射关系图获得每个OSD的存储使用量。
1)每个PG的对象数，可以通过Ceph命令ceph pg dump获取并上传到监控系统，该数据记录了每个PG的Object数量，该数据记录了当时的运行状态，与客户的读写分布有关，短时间内较为平稳，映射关系如下：
Object_MAPPGij)→Objectij
其中下标i为第i个存储池，下标j为第j个PG，Object为对象数。
2)基于更新后的PG到OSD的映射，反向计算每个OSD的对象数以及存储量，
Figure BDA0003084846250000061
其中，OSD_Usagek为第k个OSD的存储使用量。
S203、利用预先保存硬盘标定参数，如容量、IOPS数据等，基于所述优先策略计算对应的当前偏差值，判断该当前偏差值是否小于设定阈值，若是，则以当前各OSD的权重值作为最优权重值，若否，则执行步骤S204，直至达到迭代次数上限。
当前偏差值可以为使用率偏差值，适用于容量优先策略，计算公式如下：
Figure BDA0003084846250000062
其中，ΔUsage为使用率偏差值，OSD_Size为OSD的容量，OSD_Usage为OSD的使用量，
Figure BDA0003084846250000063
为集群的平均使用率，下标k表示第k个OSD。
此处的偏差值，通过遍历每个OSD的偏差，取绝对值最大的。因为Ceph中任何一个OSD的使用率超过阈值，都会导致整个集群停止IO，因此最差的一个决定了集群的整体性能稳定性。当前迭代中，若ΔUsage小于预设的阈值，则退出并完成计算。否则，进行下一次迭代。
类似的，当采用性能优先策略时将OSD容量改为硬盘标定或实测的IOPS指标，计算公式调整为：
Figure BDA0003084846250000071
其中，OSD_IOPS为硬盘标定或实测的IOPS指标，
Figure BDA0003084846250000072
表示集群平均负载。此处假设单位大小的存储空间接收IO请求的频数也是相同的，通过估算获取偏差值。
S204、基于所述当前偏差值，采用最优解算法或机器学习算法优化当前参数，计算一组新的权重值，返回步骤S201。
在本地模拟环境中，经过多次迭代计算出最优的权重值，迭代过程中的权重值不直接应用到当前集群，而是基于Ceph的CrushMap和PG的监控数据，在本地通过Crush算法迭代优化权重值，最终模拟计算出一个最优的权重值，将该最优值应用到集群中。通过本地模拟优化，避免线上环境的反复平衡数据，仅需一次数据平衡即可。集群数据平衡会影响到集群的性能，甚至影响到客户的业务，越少的平衡次数，对集群影响越小。
在某个具体实施方式下，在反复迭代的过程中，可以结合机器学习的坐标下降法快速搜索多变量场景下的最优解。该方法在每次迭代时，都要固定其他坐标轴，沿着一个坐标轴进行一维搜索获取最小值，然后用相同方法对其它每个坐标轴进行一维搜索，最终搜索到最优解。
上述步骤已经给出了计算当前偏差的方法，此处定义为ΔUsage＝f(w)函数，其中w为权重值列表，是一个N维向量，w＝(w1,w2,w3,…,wN)，其中N是Ceph集群中OSD的总数。从初始点w0开始(此处w0就是当前Ceph集群中正在使用的各个OSD的权重值)，对各个维度的变量进行一维遍历，
Figure BDA0003084846250000073
Figure BDA0003084846250000074
Figure BDA0003084846250000075
…
Figure BDA0003084846250000076
通过分治的思想，将多维度问题转变成了单变量的问题，在求单变量的最优解时，由于权重值的权重范围比较固定，可以通过简单的固定步长搜索最优解。
在步骤S3中，预期指标可以为容量或性能指标。根据线上应用步骤S2获得的所述最优权重值的结果，收集当前平台的性能数据、存储使用率等数据，计算预期指标，如果未达到预先设置的目标，则返回重新进行权重值的迭代优化，如果达到了预期的指标，则完成权重优化配置。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例2
参考图1所示，本实施例提供一种基于Ceph分布式存储的硬盘权重优化装置，应用于Ceph集群，所述Ceph集群包括控制节点和存储节点，包括监控模块、权重优化模块和权重配置模块，监控模块用于采集Ceph集群的状态监控信息；权重优化模块在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，计算获得Ceph集群中存储节点内各OSD的最优权重值；权重配置模块位于所述控制节点中，用于执行所述最优权重值的配置，判断在所述最优权重值下Ceph集群是否达到预期指标，若是，则完成权重优化，若否，则向权重优化模块发送再优化指令。
监控模块包括Prometheus监控单元和Ceph集群的各个节点上部署的监控代理。在存储节点上，监控代理用于收集存储节点上的各个OSD的存储使用量、IO负载、硬盘寿命等信息。在控制节点上，监控代理用于获取集群的CrushMap拓扑结构以及每个PG上的对象数信息。各监控代理将收集到的数据定期上传到Prometheus监控单元上。
权重优化模块，接收管理员下发的优先策略，例如配置集群为性能优先、容量优先、均衡容量和性能等策略。
从监控模块中获取集群的监控信息。基于权重优化算法和管理员设置的优先策略，计算出各个OSD的最优权重值，并将这些权重值应用到Ceph集群中。
所述权重优化模块包括：
映射计算单元，获得当前各OSD的权重值，基于当前各OSD的权重值及所述CrushMap拓扑信息，采用Ceph集群使用的Crush算法计算PG到OSD的映射关系图；
使用量计算单元，基于每个PG上的对象数信息及所述映射关系图获得每个OSD的存储使用量；
偏差值计算单元，基于所述优先策略计算对应的当前偏差值，判断该当前偏差值是否小于设定阈值，若是，则以当前各OSD的权重值作为最优权重值，若否，则发送迭代求解指令；
优化算法模块，接收所述迭代求解指令，判断是否达到迭代次数上限，若是，则退出，若否，则基于所述当前偏差值，采用最优解算法或机器学习算法计算一组新的权重值，发送至所述映射计算单元。
其余同实施例1。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于Ceph分布式存储的硬盘权重优化方法，其特征在于，包括以下步骤：
S1、获取Ceph集群的状态监控信息；
S2、在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，计算获得Ceph集群中存储节点内各OSD的最优权重值；
S3、线上应用步骤S2获得的所述最优权重值，判断是否达到预期指标，若是，则完成权重优化，若否，则返回步骤S2。
2.根据权利要求1所述的基于Ceph分布式存储的硬盘权重优化方法，其特征在于，所述状态监控信息包括OSD实时状态信息、CrushMap拓扑信息以及每个PG上的对象数信息。
3.根据权利要求1所述的基于Ceph分布式存储的硬盘权重优化方法，其特征在于，所述优先策略包括性能优先策略、容量优先策略和性能容量均衡策略。
4.根据权利要求2所述的基于Ceph分布式存储的硬盘权重优化方法，其特征在于，步骤S2中，所述计算获得Ceph集群中存储节点内各OSD的最优权重值具体包括以下步骤：
S201、获得当前各OSD的权重值，基于当前各OSD的权重值及所述CrushMap拓扑信息，采用Ceph集群使用的Crush算法计算PG到OSD的映射关系图；
S202、基于每个PG上的对象数信息及所述映射关系图获得每个OSD的存储使用量；
S203、基于所述优先策略计算对应的当前偏差值，判断该当前偏差值是否小于设定阈值，若是，则以当前各OSD的权重值作为最优权重值，若否，则执行步骤S204，直至达到迭代次数上限；
S204、基于所述当前偏差值，采用最优解算法或机器学习算法计算一组新的权重值，返回步骤S201。
5.根据权利要求4所述的基于Ceph分布式存储的硬盘权重优化方法，其特征在于，所述机器学习算法包括坐标下降法。
6.一种基于Ceph分布式存储的硬盘权重优化装置，其特征在于，应用于Ceph集群，所述Ceph集群包括控制节点和存储节点，包括：
监控模块，用于采集Ceph集群的状态监控信息；
权重优化模块，在本地模拟环境中，基于所述状态监控信息及预先设置的优先策略，计算获得Ceph集群中存储节点内各OSD的最优权重值；
权重配置模块，位于所述控制节点中，用于执行所述最优权重值的配置，判断在所述最优权重值下Ceph集群是否达到预期指标，若是，则完成权重优化，若否，则向权重优化模块发送再优化指令。
7.根据权利要求5所述的基于Ceph分布式存储的硬盘权重优化装置，其特征在于，所述状态监控信息包括OSD实时状态信息、CrushMap拓扑信息以及每个PG上的对象数信息。
8.根据权利要求5所述的基于Ceph分布式存储的硬盘权重优化装置，其特征在于，所述优先策略包括性能优先策略、容量优先策略和性能容量均衡策略。
9.根据权利要求7所述的基于Ceph分布式存储的硬盘权重优化装置，其特征在于，所述权重优化模块包括：
映射计算单元，获得当前各OSD的权重值，基于当前各OSD的权重值及所述CrushMap拓扑信息，采用Ceph集群使用的Crush算法计算PG到OSD的映射关系图；
使用量计算单元，基于每个PG上的对象数信息及所述映射关系图获得每个OSD的存储使用量；
偏差值计算单元，基于所述优先策略计算对应的当前偏差值，判断该当前偏差值是否小于设定阈值，若是，则以当前各OSD的权重值作为最优权重值，若否，则发送迭代求解指令；
优化算法模块，接收所述迭代求解指令，判断是否达到迭代次数上限，若是，则退出，若否，则基于所述当前偏差值，采用最优解算法或机器学习算法计算一组新的权重值，发送至所述映射计算单元。
10.根据权利要求9所述的基于Ceph分布式存储的硬盘权重优化装置，其特征在于，所述机器学习算法包括坐标下降法。
CN202110577206.0A 2021-05-26 2021-05-26 一种基于Ceph分布式存储的硬盘权重优化方法及装置 Active CN113282241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110577206.0A CN113282241B (zh) 2021-05-26 2021-05-26 一种基于Ceph分布式存储的硬盘权重优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110577206.0A CN113282241B (zh) 2021-05-26 2021-05-26 一种基于Ceph分布式存储的硬盘权重优化方法及装置

Publications (2)

Publication Number Publication Date
CN113282241A true CN113282241A (zh) 2021-08-20
CN113282241B CN113282241B (zh) 2024-04-09

Family

ID=77281728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110577206.0A Active CN113282241B (zh) 2021-05-26 2021-05-26 一种基于Ceph分布式存储的硬盘权重优化方法及装置

Country Status (1)

Country Link
CN (1) CN113282241B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472289A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 服务器的存储配置调整方法、装置、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298945A (zh) * 2018-10-17 2019-02-01 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理方法
CN109344143A (zh) * 2018-10-25 2019-02-15 电子科技大学成都学院 一种基于Ceph的分布式集群数据迁移优化方法
CN110515724A (zh) * 2019-08-13 2019-11-29 新华三大数据技术有限公司 资源配置方法、装置、监视器及机器可读存储介质
CN111045599A (zh) * 2019-10-31 2020-04-21 平安科技（深圳）有限公司 分布式存储系统的参数配置方法、装置及计算机设备
CN111090390A (zh) * 2019-10-31 2020-05-01 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298945A (zh) * 2018-10-17 2019-02-01 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理方法
CN109344143A (zh) * 2018-10-25 2019-02-15 电子科技大学成都学院 一种基于Ceph的分布式集群数据迁移优化方法
CN110515724A (zh) * 2019-08-13 2019-11-29 新华三大数据技术有限公司 资源配置方法、装置、监视器及机器可读存储介质
CN111045599A (zh) * 2019-10-31 2020-04-21 平安科技（深圳）有限公司 分布式存储系统的参数配置方法、装置及计算机设备
CN111090390A (zh) * 2019-10-31 2020-05-01 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472289A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 服务器的存储配置调整方法、装置、系统、设备及介质
CN117472289B (zh) * 2023-12-27 2024-03-15 苏州元脑智能科技有限公司 服务器的存储配置调整方法、装置、系统、设备及介质

Also Published As

Publication number Publication date
CN113282241B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
RU2637434C1 (ru) Способ, устройство терминала и устройство сервера для хранения копий данных
US7644162B1 (en) Resource entitlement control system
CN110289994B (zh) 一种集群容量调整方法及装置
CN112888268B (zh) 数据中心机房节能控制方法、装置、设备及存储介质
CN108196935B (zh) 一种面向云计算的虚拟机节能迁移方法
US20160359725A1 (en) Method and System to Represent the Impact of Load Variation on Service Outage Over Multiple Links
CN110109733B (zh) 面向不同老化场景的虚拟机工作队列和冗余队列更新方法
US11042410B2 (en) Resource management of resource-controlled system
US20070220028A1 (en) Method and system for managing load balancing in data-processing system
JP2000330827A (ja) 参照の局所性を動的に追跡する高効率技法
US10819821B2 (en) Method and system for allocating content using a content-based centrality metric
CN105975345B (zh) 一种基于分布式内存的视频帧数据动态均衡存储管理方法
Li An adaptive overload threshold selection process using Markov decision processes of virtual machine in cloud data center
US20220155970A1 (en) Access request processing method and apparatus, device, and storage medium
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN112905315A (zh) 移动边缘计算mec网络中的任务处理方法、装置及设备
CN113282241B (zh) 一种基于Ceph分布式存储的硬盘权重优化方法及装置
CN116467082A (zh) 一种基于大数据的资源分配方法及系统
US20150142872A1 (en) Method of operating a server apparatus for delivering website content, server apparatus and device in communication with server apparatus
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
Li et al. Eigen: End-to-end Resource Optimization for Large-Scale Databases on the Cloud
Ma et al. SE-PSO: resource scheduling strategy for multimedia cloud platform based on security enhanced virtual migration
CN117290090A (zh) 节点协同资源分配方法、装置、设备及存储介质
CN113543160A (zh) 5g切片资源配置方法、装置、计算设备及计算机存储介质
CN110059025A (zh) 一种缓存预取的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant