CN117119058B - Ceph分布式存储集群中存储节点优化方法及相关设备 - Google Patents

Ceph分布式存储集群中存储节点优化方法及相关设备 Download PDF

Info

Publication number
CN117119058B
CN117119058B CN202311375402.5A CN202311375402A CN117119058B CN 117119058 B CN117119058 B CN 117119058B CN 202311375402 A CN202311375402 A CN 202311375402A CN 117119058 B CN117119058 B CN 117119058B
Authority
CN
China
Prior art keywords
node
storage
normalized
cluster
storage nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311375402.5A
Other languages
English (en)
Other versions
CN117119058A (zh
Inventor
周高登
陈立军
李小珍
陈华正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Barda Technology Co ltd
Original Assignee
Wuhan Barda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Barda Technology Co ltd filed Critical Wuhan Barda Technology Co ltd
Priority to CN202311375402.5A priority Critical patent/CN117119058B/zh
Publication of CN117119058A publication Critical patent/CN117119058A/zh
Application granted granted Critical
Publication of CN117119058B publication Critical patent/CN117119058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种Ceph分布式存储集群中存储节点优化方法及相关装置，通过获取Ceph分布式存储集群中的链路信息和各个存储节点的节点负荷信息，对链路信息和节点负荷信息进行标准化处理，得到各个存储节点的决策因子集合，确定各个决策因子集合的灰色关联度值；基于灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，由于利用灰色关联度值，实现了对各个存储节点与Ceph分布式存储集群的性能的影响的量化，确保了目标节点为最佳性能的存储节点，实现了存储节点了择优选择，从而提升了Ceph分布式存储集群的性能和可靠性。

Description

Ceph分布式存储集群中存储节点优化方法及相关设备
技术领域
本发明涉及数据库技术领域，具体涉及Ceph分布式存储集群中存储节点优化方法及相关设备。
背景技术
Ceph是一个开源的分布式存储系统。用户可以把多个存储节点组建成一个Ceph存储集群来提供存储服务。分布式存储系统的可扩展性决定了分布式存储系统可以自由新增存储节点、删除失效节点，因此随着时间的推移，分布式存储系统中的节点硬件甚至网络拓扑都会趋向异构，存储节点的硬件异构体现在诸如存储容量，内存大小，CPU性能等；网络拓扑异构则体现在增删节点带来的存储集群拓扑变化和节点间可用带宽等网络性能的差异。因此如何使得存储系统在不影响正常为用户提供服务的前提下改变存储节点中数据分布，即通过获取分布式存储系统中节点间网络性能与节点负荷，并以此做出合理的存储数据分布调优，是许多分布式存储系统亟待优化的问题。
发明内容
本发明的实施例提供了一种Ceph分布式存储集群中存储节点优化方法及相关设备，以实现对Ceph分布式存储集群中存储节点的择优选择，提升Ceph分布式存储集群的性能。
一方面，本申请提供一种Ceph分布式存储集群中存储节点优化方法，所述Ceph分布式存储集群包括至少一个监控节点和多个存储节点；所述方法包括：
获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，其中，所述链路信息为所述存储节点之间的网络连接信息；
对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，每个所述决策因子集合包括多个决策因子；
确定各个所述决策因子集合的灰色关联度值；
基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点。
在本申请一些实施方案中，所述基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，包括：
获取各个所述存储节点对应的初始affinity-primary值，其中，affinity-primary值是用于评价存储节点的磁盘能力的参数值；
基于所述灰色关联度值，通过所述监控节点对各自对应的初始affinity-primary值进行修正，得到修正affinity-primary值；
基于所述修正affinity-primary值，从所述存储节点中确定目标节点。
在本申请一些实施方案中，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延中的至少一个；所述Ceph分布式存储集群配置部署有主动测量模块和被动测量模块；所述获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，包括：
利用所述主动测量模块周期性采集所述存储节点的节点负荷信息；
利用所述被动模块采集所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延。
在本申请一些实施方案中，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延，所述对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，包括：
根据所述节点负荷信息确定链路剩余带宽；
根据所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延确定各个存储节点的传输时延、抖动、CPU 利用率、内存利用率、I/O负载；所述传输时延、抖动、CPU 利用率、内存利用率、I/O负载与所述链路剩余带宽组成所述决策因子集合。
在本申请一些实施方案中，所述确定各个所述决策因子集合的灰色关联度值，包括：
根据各个所述存储节点的决策因子集合，构建各个存储节点对应的指标序列；
根据所述指标序列，确定参考序列；
计算各个所述指标序列与所述参考序列之间的关联系数，得到关联度矩阵；
获取各个决策因子的预设权重、及所述关联度矩阵，计算得到各个所述存储节点对应的灰色关联度值。
在本申请一些实施方案中，所述根据所述指标序列，确定参考序列，包括：
将所述指标序列中的决策因子进行归一化处理，得到多个归一化决策因子集合，所述归一化决策因子集合中包括多个归一化决策因子，所述归一化决策因子分别为归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽；
将多个所述归一化决策因子集合中，归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率及归一化I/O负载的最小值、归一化链路剩余带宽的最大值确定为所述指标序列。
在本申请一些实施方案中，在所述获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息之前，还包括：
获取ceph.conf文件的配置参数；
按照所述配置参数对所述ceph.conf文件进行配置，生成Ceph分布式存储集群的集群参数；
基于所述集群参数执行预设的部署脚本，以部署生成所述Ceph分布式存储集群。
另一方面，本申请提供一种Ceph分布式存储集群中存储节点优化装置，所述Ceph分布式存储集群包括至少一个监控节点和多个存储节点；所述Ceph分布式存储集群中存储节点优化装置包括：
获取模块，用于获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，其中，所述链路信息为所述存储节点之间的网络连接信息；
标准化模块，用于对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，每个所述决策因子集合包括多个决策因子；
确定模块，用于确定各个所述决策因子集合的灰色关联度值；
选择模块，用于基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点。
在本申请一些实施方案中，选择模块具体用于：
获取各个所述存储节点对应的初始affinity-primary值，其中，affinity-primary值是用于评价存储节点的磁盘能力的参数值；
基于所述灰色关联度值，通过所述监控节点对各自对应的初始affinity-primary值进行修正，得到修正affinity-primary值；
基于所述修正affinity-primary值，从所述存储节点中确定目标节点。
在本申请一些实施方案中，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延中的至少一个；所述Ceph分布式存储集群配置部署有主动测量模块和被动测量模块；获取模块具体用于：
利用所述主动测量模块周期性采集所述存储节点的节点负荷信息；
利用所述被动模块采集所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延。
在本申请一些实施方案中，确定模块具体用于：
根据各个所述存储节点的决策因子集合，构建各个存储节点对应的指标序列；
根据所述指标序列，确定参考序列；
计算各个所述指标序列与所述参考序列之间的关联系数，得到关联度矩阵；
获取各个决策因子的预设权重、及所述关联度矩阵，计算得到各个所述存储节点对应的灰色关联度值。
在本申请一些实施方案中，确定模块具体还用于：
将所述指标序列中的决策因子进行归一化处理，得到多个归一化决策因子集合，所述归一化决策因子集合中包括多个归一化决策因子，所述归一化决策因子分别为归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽；
将多个所述归一化决策因子集合中，归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率及归一化I/O负载的最小值、归一化链路剩余带宽的最大值确定为所述指标序列。
在本申请一些实施方案中，该Ceph分布式存储集群中存储节点优化装置还包括：
在本申请一些实施方案中，该Ceph分布式存储集群中存储节点优化装置还包括：
第一获取模块，用于获取ceph.conf文件的配置参数；
配置模块，用于按照所述配置参数对所述ceph.conf文件进行配置，生成Ceph分布式存储集群的集群参数；
部署模块，用于基于所述集群参数执行预设的部署脚本，以部署生成所述Ceph分布式存储集群。
另一方面，本申请还提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的Ceph分布式存储集群中存储节点优化方法。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面任一项所述的Ceph分布式存储集群中存储节点优化方法中的步骤。
本申请通过获取Ceph分布式存储集群中的链路信息和各个存储节点的节点负荷信息，对链路信息和节点负荷信息进行标准化处理，得到各个存储节点的决策因子集合，确定各个决策因子集合的灰色关联度值；基于灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，由于利用灰色关联度值，实现了对各个存储节点与Ceph分布式存储集群的性能的影响的量化，确保了目标节点为最佳性能的存储节点，实现了存储节点了择优选择，从而提升了Ceph分布式存储集群的性能和可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的Ceph分布式存储集群中存储节点优化装置的场景示意图；
图2是本申请实施例中提供的Ceph分布式存储集群中存储节点优化方法的一个实施例流程示意图；
图3是本申请实施例中提供的Ceph分布式存储集群的架构图；
图4是本申请实施例中提供的Ceph分布式存储集群中存储节点优化装置的一个实施例结构示意图；
图5是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种Ceph分布式存储集群中存储节点优化方法、装置、计算机设备及存储介质，以下分别进行详细说明。
请参阅图1，图1为本申请实施例所提供的Ceph分布式存储集群中存储节点优化装置的场景示意图，该Ceph分布式存储集群中存储节点优化装置可以包括计算机设备100，计算机设备100中集成有Ceph分布式存储集群中存储节点优化装置，如图1中的计算机设备。
本申请实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解的是，本申请实施例中所使用的终端可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端具体可以是台式终端或移动终端，终端具体还可以是手机、平板电脑、笔记本电脑等中的一种。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该Ceph分布式存储集群中存储节点优化装置还可以包括一个或多个其他服务，具体此处不作限定。
另外，如图1所示，该Ceph分布式存储集群中存储节点优化装置还可以包括存储模块200，用于存储数据。
需要说明的是，图1所示的Ceph分布式存储集群中存储节点优化装置的场景示意图仅仅是一个示例，本申请实施例描述的Ceph分布式存储集群中存储节点优化装置以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着Ceph分布式存储集群中存储节点优化装置的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
如图2所示，为本申请实施例中Ceph分布式存储集群中存储节点优化方法的一个实施例流程示意图，该Ceph分布式存储集群包括至少一个监控节点和多个存储节点，该Ceph分布式存储集群中存储节点优化方法可以包括如下步骤301～304，具体如下：
301、获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，其中，所述链路信息为所述存储节点之间的网络连接信息。
其中，Ceph分布式存储集群包括至少一个监控节点（Mon）和多个存储节点（OSD）。监控节点的数量为奇数个，如1个、3个、5个等。
其中，链路信息是用于反映Ceph分布式存储集群的网络状况的相关信息，可以是存储节点之间的网络连接信息，包括存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、延迟。其中的网络状况可以是以下6中情况中的至少一种：
1）网络故障情况：网络出现故障，存储节点之间无法进行通信，这种情况会影响到整个存储集群的运行。
2）网络拥堵情况：存储集群中的节点之间网络通信有时会出现堵塞，这种情况也会影响到存储集群的性能。
3）网络分区情况：网络分区是指存储集群内部出现的网络通信不畅或不连通的情况，这会导致集群的一部分节点无法与另一部分节点进行通信。
4）网络抖动情况：网络抖动是指存储节点之间网络通信时出现的波动，这种情况会影响到存储集群的性能和稳定性。
5）网络延迟情况：网络延迟是指存储节点之间通信的时间不确定或存在延迟的情况，在存储集群中通常会影响到数据同步和数据复制等的操作。
6）网络安全情况：网络安全问题是指存储集群中可能存在的网络攻击、病毒和恶意软件等问题，这种情况会对存储集群中的数据安全和完整性造成威胁。
节点负荷信息是指存储节点的与负荷相关的信息，例如，存储节点的带宽。
具体地，可以预先在Ceph分布式存储集群配置测量模块，用于收集链路信息和存储节点的节点负荷信息，也可以预先将Ceph分布式存储集群的链路信息和存储节点的节点负荷信息存储至存储模块的数据库中，然后从数据库中获取到链路信息和存储节点的节点负荷信息，作为本实施例中的优选，选取预先在Ceph分布式存储集群配置测量模块的方式获取链路信息和存储节点的节点负荷信息，以提高对存储节点优化的实时性。
在一具体实施方式中，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延中的至少一个；所述Ceph分布式存储集群配置部署有主动测量模块和被动测量模块；步骤301中所述获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，可以包括如下步骤301A～301B，具体如下：
301A、利用所述主动测量模块周期性采集所述存储节点的节点负荷信息；
301B、利用所述被动模块采集所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延。
其中，链路信息包括存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延。
测量模块分为主动监测与被动测量模块，其中主动测量模块主要负责收集链路剩余带宽，被动测量模块则负责包括链路传输时延、抖动、内存利用率、CPU 利用率与 I/O 负载的测量。
具体地，可以基于于SDN（软件定义网络，Software Defined Network，SDN）中的OpenFlow技术通过在Ryu控制器上部署主动测量模块和在Ceph分布式存储集群中的监控节点(Mon)上部署被动测量模块，然后通过主动测量模块向OpenFlow交换机发送带有查询流表信息（包括心跳流、用户业务流和迁移流）的数据包，获取交换机各个端口总带宽、端口发包/收包数等信息，通过周期性地发送这些请求，周期性采集到存储节点的节点负荷信息；通过被动测量模块读取Ceph分布式存储集群中的心跳包和存储节点的主机信息，并将这些信息封装为UDP包，随后发送到任意不存在于整个Ceph分布式存储集群中的网络地址，这个过程会导致OpenFlow交换机匹配Table-miss，并将包上交Ryu控制器，Ryu控制器可以通过对UDP包的解析，获得存储节点的主机信息和Ceph存储集群的链路信息，即存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延，且被动测量模块不会对网络造成额外的负载。如图3所示，为Ceph分布式存储集群的架构图。
在一具体实施方式中，在步骤301中所述获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息之前，所述方法还可以包括如下步骤305～307，具体如下：
305、获取ceph.conf文件的配置参数；
306、按照所述配置参数对所述ceph.conf文件进行配置，生成Ceph分布式存储集群的集群参数；
307、基于所述集群参数执行预设的部署脚本，以部署生成所述Ceph分布式存储集群。
具体地，获取ceph.conf文件的配置参数，按照配置参数对所述ceph.conf文件进行配置，生成Ceph分布式存储集群的集群参数，接着，利用集群参数执行预设的部署脚本，以部署生成Ceph分布式存储集群，实现了自动化配置、集群部署、监控和自动扩展等功能，提高Ceph分布式存储集群的部署和管理效率。
在一个示例中，可以通过如下过程实现Ceph分布式存储集群的部署和管理：
S1，准备环境：在运行部署脚本之前，需要准备好Ceph所需的硬件和软件环境，并安装好ceph-deploy等必要的工具。
S2，配置集群参数：根据实际需求配置Ceph分布式存储集群的参数，例如存储池大小、副本数、网络拓扑等。可以通过ceph.conf文件进行配置。
S3，编写脚本：基于ceph-deploy实现自动化部署脚本，使用Bash脚本语言来编写，主要包括以下内容：安装ceph-deploy工具、创建Ceph分布式存储集群、添加节点到Ceph分布式存储集群中，部署各个组件，例如Monitor、OSD、MDS等，即监控节点、存储节点等、创建存储池和设置权限。
S4，执行脚本：运行自动化部署脚本，等待脚本执行完毕。在执行过程中，程序会自动下载和安装必要的软件，并将不同节点间的配置信息同步。
S5，测试和优化：完成Ceph分布式存储集群的自动部署后，需要进行测试和优化，验证Ceph分布式存储集群的性能和稳定性是否符合要求。同时，还可以根据实际情况对集群进行优化，例如添加缓存、调整数据分布策略等。
302、对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，每个所述决策因子集合包括多个决策因子。
具体地，由于链路信息和所述节点负荷信息包含的因子较多，可以选取对Ceph分布式存储集群的性能影响较大的因子作为决策因子，然后，根据决策因子与链路信息、节点负荷信息的相关性，对链路信息和节点负荷信息进行标准化处理，得到各个存储节点各自对应的多个决策因子。
在一具体实施方式中，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延，步骤302中所述对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，可以包括如下步骤302A～302B，具体如下：
302A、根据所述节点负荷信息确定链路剩余带宽；
302B、根据所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延确定各个存储节点的传输时延、抖动、CPU利用率、内存利用率、I/O负载；所述传输时延、抖动、CPU利用率、内存利用率、I/O负载与所述链路剩余带宽组成所述决策因子集合。
具体地，根据链路信息和节点负荷信息，选取了6个决策因子（C1- C6），分别为传输时延、抖动、CPU利用率、内存利用率、I/O负载与所述链路剩余带宽，下面就决策因子对于Ceph分布式存储集群的性能的影响的说明如下：
（1）传输时延（C1）和抖动（C2）：时延和抖动是网络性能的重要参数，传输时延描述了数据包在存储节点之间的传输时延，网络时延是不可避免的。但过高的网络时延会严重影响存储节点的响应时间与存储系统服务的质量；抖动也是衡量Ceph分布式存储集群的QOS的一种重要概念，描述网络数据包分组转发延迟的变化程度，如果网络发生拥塞或丢包，抖动就用来描述分组延迟的差异以衡量网络性能。可以将存储节点的传输时延作为传输时延（C1），可以根据存储节点的延迟的变化程度，确定抖动（C2）。
（2）CPU利用率（C3）和内存利用率（C4）Ceph分布式存储集群的存储节点中一般会包含多个OSD。OSD进程（OSD-Daemon）、OSD的数据修复过程、OSD对所承载的 PG 元数据管理都会占用一定的内存和CPU，因此，CPU利用率与内存利用率也决定了存储节点的性能，选择剩余内存大的存储节点和内存较优的节点作为存储节点可以提高分布式存储系统的性能。可以将存储节点的CPU的执行时间和存储节点执行的总时间的比值确定为CPU利用率（C3），可以将存储节点的CPU的使用内存和存储节点的总内存的比值确定为内存利用率（C4）。
（3）I/O负载（C5）:存储节点的 I/O 负载表现存储节点中 OSD 的读写状况，如果磁盘的 I/O 负载过大，客户端的读写请求会在与存储节点的通信时产生极大的时延。极端情况下 I/O 负载过大会产生 Ceph 分布式存储集群报警，甚至会引发集群停止服务等威胁到存储安全的严重后果，可以将存储节点的磁盘情况，如磁盘I/O负载状态，确定I/O负载（C5）。
（4）链路剩余带宽(C6)：交换机所连接存储节点的端口中的网络剩余带宽代表Ceph分布式存储集群中的链路带宽减去Ceph内监测通信业务占用带宽余下的部分，代表了在单位时间内可以传输存储数据的量，存储节点的链路剩余带宽直接决定了客户端访问存储节点的读取速度。可以将存储节点的链路剩余带宽作为链路剩余带宽(C6)。
选择的六个决策因子覆盖了Ceph分布式存储集群在各种情况下的负载。
303、确定各个所述决策因子集合的灰色关联度值。
其中，灰色关联度值是用于度量决策因子对Ceph分布式存储集群性能的影响的度量。
具体地，可以通过灰色关联法计算各个决策因子集合对应的灰色关联度值。
在一具体实施方式中，步骤303中所述确定各个所述决策因子集合的灰色关联度值，可以包括如下步骤303A～303D，具体如下：
303A、根据各个所述存储节点的决策因子集合，构建各个存储节点对应的指标序列；
303B、根据所述指标序列，确定参考序列；
303C、计算各个所述指标序列与所述参考序列之间的关联系数，得到关联度矩阵；
303D、获取各个决策因子的预设权重、及所述关联度矩阵，计算得到各个所述存储节点对应的灰色关联度值。
其中，参考序列是指灰色关联法中的母序列，可以根据所有指标序列中的决策因子的大小，选取得到参考序列。
具体地，计算各个指标序列与参考序列之间的相似度，计算得到各个决策因子对应的关联系数，例如，由M个决策因子，N个存储节点，则关联度矩阵为N行M列或者M行N列的矩阵，接着，根据各个决策因子对Ceph分布式存储集群性能的影响程度，设置对应的权重，然后根据关联度矩阵中的各个关联系数及相应的权重，进行加权求和计算，得到各个存储节点对应的灰色关联度值。
在一具体实施方式中，步骤303B中所述根据所述指标序列，确定参考序列，可以包括如下步骤303B1～303B2，具体如下：
303B1、将所述指标序列中的决策因子进行归一化处理，得到多个归一化决策因子集合，所述归一化决策因子集合中包括多个归一化决策因子，所述归一化决策因子分别为归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽；
303B2、将多个所述归一化决策因子集合中，归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率及归一化I/O负载的最小值、归一化链路剩余带宽的最大值确定为所述指标序列。
具体地，对指标序列中的决策因子进行归一化处理，得到多个归一化决策因子集合，归一化决策因子集合中包括多个归一化决策因子，归一化决策因子分别为归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽。衡量存储节点中网络性能的决策因子可以表示为决策属性集合：D = {D1 , D2 ,D3 , D4 , D5 , D6 }，其中D1至D6表示归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽。在归一化决策因子中，D1~D5值的增加会对Ceph分布式存储集群数据写入读取产生负面影响，将这些决策因子称为成本属性（Cost Attribute）。D6值即归一化链路剩余带宽的增加会提高Ceph分布式存储集群的性能，因此，将归一化决策因子，归一化链路剩余带宽称为收益属性（Benefit Attribute）。对于D1~D5，选取最小值、对于D6选取最大值，组成指标序列，从而确保指标序列能够使得Ceph分布式存储集群的性能最佳，以便后续基于指标序列进行存储节点择优选择。
304、基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点。
其中，目标节点是指Ceph分布式存储集群中作为数据进行存储和恢复的存储节点。
具体地，可以根据灰色关联度值的大小，将关联度值满足预设关联阈值的存储节点确定为目标节点，也可以根据灰色关联度值对存储节点的affinity-primary值进行修正，根据修正后的affinity-primary值，确定目标节点。可以理解地，本实施例中，由于灰色关联度值，实现了对各个存储节点与Ceph分布式存储集群的性能的影响的量化，确保了目标节点为最佳性能的存储节点，实现了存储节点了择优选择，从而提升了Ceph分布式存储集群的性能和可靠性。
本申请实施例中，通过获取Ceph分布式存储集群中的链路信息和各个存储节点的节点负荷信息，对链路信息和节点负荷信息进行标准化处理，得到各个存储节点的决策因子集合，确定各个决策因子集合的灰色关联度值；基于灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，由于利用灰色关联度值，实现了对各个存储节点与Ceph分布式存储集群的性能的影响的量化，确保了目标节点为最佳性能的存储节点，实现了存储节点了择优选择，从而提升了Ceph分布式存储集群的性能和可靠性。
在一具体实施方式中，步骤304中所述基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，可以包括如下步骤304A～304C，具体如下：
304A、获取各个所述存储节点对应的初始affinity-primary值，其中，affinity-primary值是用于评价存储节点的磁盘能力的参数值；
304B、基于所述灰色关联度值，通过所述监控节点对各自对应的初始affinity-primary值进行修正，得到修正affinity-primary值；
304C、基于所述修正affinity-primary值，从所述存储节点中确定目标节点。
其中，初始affinity-primary值是指Ceph分布式存储集群中对存储节点分配的默认的affinity-primary值，其中的affinity-primary值是用于评价存储节点的磁盘能力的参数值。
具体地，获取各个存储节点对应的初始affinity-primary值，根据灰色关联度值，通过监控节点对各自对应的初始affinity-primary值进行修正，可以是将灰色关联度值作为权重，各个初始affinity-primary值进行加权处理，得到修正affinity-primary值，最后，根据修正affinity-primary值，从存储节点中确定目标节点。
为了更好实现本申请实施例中Ceph分布式存储集群中存储节点优化方法，在Ceph分布式存储集群中存储节点优化方法基础之上，本申请实施例中还提供一种Ceph分布式存储集群中存储节点优化装置，如图4所示，所述Ceph分布式存储集群中存储节点优化装置400包括：
获取模块401，用于获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，其中，所述链路信息为所述存储节点之间的网络连接信息；
标准化模块402，用于对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，每个所述决策因子集合包括多个决策因子；
确定模块403，用于确定各个所述决策因子集合的灰色关联度值；
选择模块404，用于基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点。
本申请实施例中，选择模块404具体用于：
获取各个所述存储节点对应的初始affinity-primary值，其中，affinity-primary值是用于评价存储节点的磁盘能力的参数值；
基于所述灰色关联度值，通过所述监控节点对各自对应的初始affinity-primary值进行修正，得到修正affinity-primary值；
基于所述修正affinity-primary值，从所述存储节点中确定目标节点。
本申请实施例中，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延中的至少一个；所述Ceph分布式存储集群配置部署有主动测量模块和被动测量模块；获取模块401具体用于：
利用所述主动测量模块周期性采集所述存储节点的节点负荷信息；
利用所述被动模块采集所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延。
本申请实施例中，确定模块403具体用于：
根据各个所述存储节点的决策因子集合，构建各个存储节点对应的指标序列；
根据所述指标序列，确定参考序列；
计算各个所述指标序列与所述参考序列之间的关联系数，得到关联度矩阵；
获取各个决策因子的预设权重、及所述关联度矩阵，计算得到各个所述存储节点对应的灰色关联度值。
本申请实施例中，确定模块403具体还用于：
将所述指标序列中的决策因子进行归一化处理，得到多个归一化决策因子集合，所述归一化决策因子集合中包括多个归一化决策因子，所述归一化决策因子分别为归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽；
将多个所述归一化决策因子集合中，归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率及归一化I/O负载的最小值、归一化链路剩余带宽的最大值确定为所述指标序列。
本申请实施例中，该Ceph分布式存储集群中存储节点优化装置还包括：
第一获取模块，用于获取ceph.conf文件的配置参数；
配置模块，用于按照所述配置参数对所述ceph.conf文件进行配置，生成Ceph分布式存储集群的集群参数；
部署模块，用于基于所述集群参数执行预设的部署脚本，以部署生成所述Ceph分布式存储集群。
本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种Ceph分布式存储集群中存储节点优化装置，所述计算机设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述Ceph分布式存储集群中存储节点优化方法实施例中任一实施例中所述的Ceph分布式存储集群中存储节点优化方法中的步骤。
本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种Ceph分布式存储集群中存储节点优化装置。如图5所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图5中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器701是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
计算机设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组间。
该计算机设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种Ceph分布式存储集群中存储节点优化方法中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种Ceph分布式存储集群中存储节点优化方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种Ceph分布式存储集群中存储节点优化方法，其特征在于，所述Ceph分布式存储集群包括至少一个监控节点和多个存储节点，所述Ceph分布式存储集群配置部署有主动测量模块和被动测量模块；所述方法包括：
获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，其中，所述链路信息为所述存储节点之间的网络连接信息，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延；包括：利用所述主动测量模块周期性采集所述存储节点的节点负荷信息；
利用所述被动测量模块采集所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延中的至少一个；
对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，每个所述决策因子集合包括多个决策因子，包括：
根据所述节点负荷信息确定链路剩余带宽；
根据所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延确定各个存储节点的传输时延、抖动、CPU 利用率、内存利用率、I/O负载；所述传输时延、抖动、CPU利用率、内存利用率、I/O负载与所述链路剩余带宽组成所述决策因子集合，其中，所述传输时延为存储节点的传输时延作为传输时延，所述抖动为存储节点的延迟的变化程度，CPU利用率为存储节点的CPU的执行时间和存储节点执行的总时间的比值，内存利用率为存储节点的CPU的使用内存和存储节点的总内存的比值，I/O负载为磁盘I/O负载状态，链路剩余带宽为存储节点的链路剩余带宽；
确定各个所述决策因子集合的灰色关联度值；
基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，包括：获取各个所述存储节点对应的初始affinity-primary值，其中，affinity-primary值是用于评价存储节点的磁盘能力的参数值；
基于所述灰色关联度值，通过所述监控节点对各自对应的初始affinity-primary值进行修正，得到修正affinity-primary值，包括：
将灰色关联度值作为权重，对各个初始affinity-primary值进行加权处理，得到修正affinity-primary值；
基于所述修正affinity-primary值，从所述存储节点中确定目标节点。
2.如权利要求1所述的Ceph分布式存储集群中存储节点优化方法，其特征在于，所述确定各个所述决策因子集合的灰色关联度值，包括：根据各个所述存储节点的决策因子集合，构建各个存储节点对应的指标序列；
根据所述指标序列，确定参考序列；
计算各个所述指标序列与所述参考序列之间的关联系数，得到关联度矩阵；
获取各个决策因子的预设权重、及所述关联度矩阵，计算得到各个所述存储节点对应的灰色关联度值。
3.如权利要求2所述的Ceph分布式存储集群中存储节点优化方法，其特征在于，所述根据所述指标序列，确定参考序列，包括：
将所述指标序列中的决策因子进行归一化处理，得到多个归一化决策因子集合，所述归一化决策因子集合中包括多个归一化决策因子，所述归一化决策因子分别为归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率、归一化I/O负载与归一化链路剩余带宽；
将多个所述归一化决策因子集合中，归一化传输时延、归一化抖动、归一化CPU利用率、归一化内存利用率及归一化I/O负载的最小值、归一化链路剩余带宽的最大值确定为所述指标序列。
4.如权利要求1至3任一项所述的Ceph分布式存储集群中存储节点优化方法，其特征在于，在所述获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息之前，还包括：
获取ceph.conf文件的配置参数；
按照所述配置参数对所述ceph.conf文件进行配置，生成Ceph分布式存储集群的集群参数；
基于所述集群参数执行预设的部署脚本，以部署生成所述Ceph分布式存储集群。
5.一种Ceph分布式存储集群中存储节点优化装置，其特征在于，所述Ceph分布式存储集群包括至少一个监控节点和多个存储节点，所述Ceph分布式存储集群配置部署有主动测量模块和被动测量模块；所述装置包括：
获取模块，用于获取所述Ceph分布式存储集群中的链路信息和各个所述存储节点的节点负荷信息，其中，所述链路信息为所述存储节点之间的网络连接信息，所述链路信息包括所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延；包括：利用所述主动测量模块周期性采集所述存储节点的节点负荷信息；
利用所述被动测量模块采集所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延中的至少一个；
标准化模块，用于对所述链路信息和所述节点负荷信息进行标准化处理，得到各个所述存储节点的决策因子集合，每个所述决策因子集合包括多个决策因子，包括：
根据所述节点负荷信息确定链路剩余带宽；
根据所述存储节点的延迟、CPU的执行时间、使用内存、磁盘情况、带宽、传输时延确定各个存储节点的传输时延、抖动、CPU 利用率、内存利用率、I/O负载；所述传输时延、抖动、CPU利用率、内存利用率、I/O负载与所述链路剩余带宽组成所述决策因子集合，其中，所述传输时延为存储节点的传输时延作为传输时延，所述抖动为存储节点的延迟的变化程度，CPU利用率为存储节点的CPU的执行时间和存储节点执行的总时间的比值，内存利用率为存储节点的CPU的使用内存和存储节点的总内存的比值，I/O负载为磁盘I/O负载状态，链路剩余带宽为存储节点的链路剩余带宽；
确定模块，用于确定各个所述决策因子集合的灰色关联度值；
选择模块，用于基于所述灰色关联度值，通过所述监控节点从所述存储节点中确定目标节点，包括：获取各个所述存储节点对应的初始affinity-primary值，其中，affinity-primary值是用于评价存储节点的磁盘能力的参数值；
基于所述灰色关联度值，通过所述监控节点对各自对应的初始affinity-primary值进行修正，得到修正affinity-primary值，包括：
将灰色关联度值作为权重，对各个初始affinity-primary值进行加权处理，得到修正affinity-primary值；
基于所述修正affinity-primary值，从所述存储节点中确定目标节点。
6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述Ceph分布式存储集群中存储节点优化方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述Ceph分布式存储集群中存储节点优化方法的步骤。
CN202311375402.5A 2023-10-23 2023-10-23 Ceph分布式存储集群中存储节点优化方法及相关设备 Active CN117119058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311375402.5A CN117119058B (zh) 2023-10-23 2023-10-23 Ceph分布式存储集群中存储节点优化方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311375402.5A CN117119058B (zh) 2023-10-23 2023-10-23 Ceph分布式存储集群中存储节点优化方法及相关设备

Publications (2)

Publication Number Publication Date
CN117119058A CN117119058A (zh) 2023-11-24
CN117119058B true CN117119058B (zh) 2024-01-19

Family

ID=88809511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311375402.5A Active CN117119058B (zh) 2023-10-23 2023-10-23 Ceph分布式存储集群中存储节点优化方法及相关设备

Country Status (1)

Country Link
CN (1) CN117119058B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067719B1 (en) * 2017-08-30 2018-09-04 Xanadu Big Data, Llc Methods and systems for storing and accessing data in a distributed data storage system
CN110007866A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种存储单元性能优化方法、装置、存储设备及存储介质
CN111930713A (zh) * 2020-09-21 2020-11-13 柏科数据技术（深圳）股份有限公司 Ceph放置组的分配方法、装置、服务器及存储介质
CN112596973A (zh) * 2020-11-17 2021-04-02 新华三大数据技术有限公司 一种数据对象存储方法、装置及存储介质
WO2021073083A1 (zh) * 2019-10-15 2021-04-22 南京莱斯网信技术研究院有限公司 一种基于节点负载的数据动态分区系统
CN112764993A (zh) * 2021-01-22 2021-05-07 苏州浪潮智能科技有限公司 一种节点信息收集方法、装置、设备及可读存储介质
CN115454342A (zh) * 2022-09-14 2022-12-09 桂林电子科技大学 基于SDN的Ceph异构分布式存储系统及其读写优化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633041B2 (en) * 2013-09-26 2017-04-25 Taiwan Semiconductor Manufacturing Co., Ltd. File block placement in a distributed file system network
US9830240B2 (en) * 2015-05-14 2017-11-28 Cisco Technology, Inc. Smart storage recovery in a distributed storage system
US20160349993A1 (en) * 2015-05-29 2016-12-01 Cisco Technology, Inc. Data-driven ceph performance optimizations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067719B1 (en) * 2017-08-30 2018-09-04 Xanadu Big Data, Llc Methods and systems for storing and accessing data in a distributed data storage system
CN110007866A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种存储单元性能优化方法、装置、存储设备及存储介质
WO2021073083A1 (zh) * 2019-10-15 2021-04-22 南京莱斯网信技术研究院有限公司 一种基于节点负载的数据动态分区系统
CN111930713A (zh) * 2020-09-21 2020-11-13 柏科数据技术（深圳）股份有限公司 Ceph放置组的分配方法、装置、服务器及存储介质
CN112596973A (zh) * 2020-11-17 2021-04-02 新华三大数据技术有限公司 一种数据对象存储方法、装置及存储介质
CN112764993A (zh) * 2021-01-22 2021-05-07 苏州浪潮智能科技有限公司 一种节点信息收集方法、装置、设备及可读存储介质
CN115454342A (zh) * 2022-09-14 2022-12-09 桂林电子科技大学 基于SDN的Ceph异构分布式存储系统及其读写优化方法

Also Published As

Publication number Publication date
CN117119058A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
US10496627B2 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US20220121384A1 (en) Hot Data Management Method, Apparatus, and System
US9489443B1 (en) Scheduling of splits and moves of database partitions
EP1654648B1 (en) Hierarchical management of the dynamic allocation of resources in a multi-node system
US20050038834A1 (en) Hierarchical management of the dynamic allocation of resources in a multi-node system
US20050038829A1 (en) Service placement for enforcing performance and availability levels in a multi-node system
WO2006046486A1 (ja) 資源管理システム、資源情報提供方法、及び、プログラム
CN110515539A (zh) 基于云存储的云磁盘挂载方法、装置、设备和存储介质
CN109218100A (zh) 分布式对象存储集群及其请求响应方法、系统和存储介质
CN103139302A (zh) 考虑负载均衡的实时副本调度方法
WO2012151162A2 (en) Method and system for dynamically creating and servicing master-slave pairs within and across switch fabrics of a portable computing device
WO2020134364A1 (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
RU2617331C2 (ru) Тайм-ауты адаптивного сервиса
Wang et al. Hybrid pulling/pushing for i/o-efficient distributed and iterative graph computing
US20240061712A1 (en) Method, apparatus, and system for creating training task on ai training platform, and medium
CN110825704A (zh) 一种读数据方法、写数据方法及服务器
CN105915626B (zh) 一种面向云存储的数据副本初始放置方法
CN111400036A (zh) 基于服务器集群的云应用管理系统、方法、装置及介质
CN111858656A (zh) 一种基于分布式架构的静态数据的查询方法和设备
CN102055779B (zh) 生成高可用性组的方法、设备及系统
WO2024103902A1 (zh) 一种数据库访问方法、装置、系统、设备及可读存储介质
CN117119058B (zh) Ceph分布式存储集群中存储节点优化方法及相关设备
CN116455919A (zh) 一种基于存储节点状态感知的动态云数据副本管理方法
CN107689876A (zh) 分布式对象存储系统中元数据的分布管理方法
CN114637575A (zh) 一种kubernetes调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant