CN106302717A - 一种ceph系统的资源优化方法及装置 - Google Patents

一种ceph系统的资源优化方法及装置 Download PDF

Info

Publication number
CN106302717A
CN106302717A CN201610665426.8A CN201610665426A CN106302717A CN 106302717 A CN106302717 A CN 106302717A CN 201610665426 A CN201610665426 A CN 201610665426A CN 106302717 A CN106302717 A CN 106302717A
Authority
CN
China
Prior art keywords
main frame
osd
host
ram
resource mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610665426.8A
Other languages
English (en)
Other versions
CN106302717B (zh
Inventor
樊云龙
赵祯龙
张伟
赵鹏城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610665426.8A priority Critical patent/CN106302717B/zh
Publication of CN106302717A publication Critical patent/CN106302717A/zh
Application granted granted Critical
Publication of CN106302717B publication Critical patent/CN106302717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种CEPH系统的资源优化方法及装置，该方法包括：确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；基于OSD资源分数及RAM资源分数计算每个主机的主机资源分数；确定主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。由此，管理员只需关注OSD设备的部署，而本申请会根据OSD设备的部署得到最优的MON服务部署方案，从而在一定程度上避免了由于管理员的主观因素造成的MON服务部署的不合理，进而保证了CEPH系统的部署合理性。

Description

一种CEPH系统的资源优化方法及装置
技术领域
本发明涉及分布式存储系统技术领域，更具体地说，涉及一种CEPH系统的资源优化方法及装置。
背景技术
CEPH致力于提供高扩展性、高可靠性、高性能的分布式存储系统，CEPH的底层实现是Rados(Reliable Autonomic Distributed Object Storage)，Rados是CEPH的基石，包含了OSD(对象存储设备)设备、MON(监视器)服务等重要的组件。其中，OSD设备提供存储资源，可以是一块Disk、分区等，MON服务维护整个CEPH系统的全局状态，包含各种MAP信息。
而对于CEPH系统的部署，通常采用官方提供的CEPH Deploy工具实现。具体来说，管理员通过预先规划的MON服务和OSD设备的信息，借助于Deploy工具进行MON服务及OSD设备的部署，进而实现CEPH系统的部署。然而，由于MON服务及OSD设备的部署规划是由管理员来实现的，因此可能由于管理员的各种主观因素而无法确保每次的部署都是合理的。而不合理的部署会降低系统的稳定性，同时也会造成资源的浪费和加大后期维护成本，尤其会对正在运行的业务带来不可预估的影响。
综上所述，如何提供一种能够实现CEPH系统的合理部署方案，是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种CEPH系统的资源优化方法及装置，以实现CEPH系统的合理部署。
为了实现上述目的，本发明提供如下技术方案：
一种CEPH系统的资源优化方法，包括：
确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；
基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；
基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数；
确定所述主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。
优选的，还包括：
当需要移除目标OSD设备时，如果该目标OSD设备所在主机部署有MON服务且该目标OSD设备是其所在主机上唯一的OSD设备，则基于主机集合中每个主机的OSD设备数量计算该主机的OSD资源分数；
对应的，基于每个主机的优先级部署MON服务，包括：
为优先级最高的主机部署MON服务，并在部署完成后将所述目标OSD设备所在主机的MON服务移除。
优选的，还包括：
如果所述目标OSD设备所在主机未部署有MON服务或者所述目标OSD设备不是其所在主机上唯一的OSD设备，则将所述目标OSD设备移除。
优选的，基于主机集合中每个主机的OSD设备数量、每个OSD设备容量及RAM设备的容量计算该主机的RAM资源分数，包括：
按照下列公式计算RAM资源分数：
ram_score(host)＝1-[N(TB)*GB+1GB]/Total_ram
其中，ram_score(host)表示任一主机的RAM资源分数，Total_ram表示该主机中RAM设备的总容量，N(TB)表示该主机中OSD设备的总容量，以TB为单位。
优选的，基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数，包括：
确定所述OSD资源分数及所述RAM资源分数的乘积结果为对应主机的主机资源分数。
一种CEPH系统的资源优化装置，包括：
第一分数计算模块，用于确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；
第二分数计算模块，用于基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；
第三分数计算模块，用于基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数；
部署方案确定模块，用于确定所述主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。
优选的，还包括：
预判控制模块，用于当需要移除目标OSD设备时，如果该目标OSD设备所在主机部署有MON服务且该目标OSD设备是其所在主机上唯一的OSD设备，则控制第一分数计算模块基于主机集合中每个主机的OSD设备数量计算该主机的OSD资源分数；
对应的，部署方案确定模块包括：
部署单元，用于为优先级最高的主机部署MON服务，并在部署完成后将所述目标OSD设备所在主机的MON服务移除。
优选的，预判控制模块还包括：
移除单元，用于如果所述目标OSD设备所在主机未部署有MON服务或者所述目标OSD设备不是其所在主机上唯一的OSD设备，则将所述目标OSD设备移除。
优选的，第二分数计算模块包括：
第二分数计算单元，用于按照下列公式计算RAM资源分数：
ram_score(host)＝1-[N(TB)*GB+1GB]/Total_ram
其中，ram_score(host)表示任一主机的RAM资源分数，Total_ram表示该主机中RAM设备的总容量，N(TB)表示该主机中OSD设备的总容量，以TB为单位。
优选的，第三分数计算模块包括：
第三分数计算单元，用于确定所述OSD资源分数及所述RAM资源分数的乘积结果为对应主机的主机资源分数。
本发明提供了一种CEPH系统的资源优化方法及装置，其中，该方法包括：确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数；确定所述主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。本申请公开的上述技术方案，通过对主机OSD设备及RAM设备的相关计算，确定出主机资源分数，并最终确定主机资源分数越高的主机被部署MON服务的优先级越高，由此，管理员只需关注OSD设备的部署，而本申请会根据OSD设备的部署得到最优的MON服务部署方案，从而在一定程度上避免了由于管理员的主观因素造成的MON服务部署的不合理，进而保证了CEPH系统的部署合理性。同时，由于管理员只需关系OSD设备的部署，即MON服务的部署对管理员是透明的，从而降低了部署的学习成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种CEPH系统的资源优化方法的流程图；
图2为本发明实施例提供的一种CEPH系统的资源优化方法中具体实施场景的设备布局图；
图3为本发明实施例提供的一种CEPH系统的资源优化装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种CEPH系统的资源优化方法的流程图，可以包括以下步骤：
S11：确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数。
其中，确定主机集合可以是根据CEPH系统提供主机信息获取的，主机集合可以是指CEPH系统中包含的全部主机，或者是指待被部署MON服务的备选主机，具体可以根据实际需要进行确定。每个主机所包含的OSD设备数量可能相同也可能不同，本申请中利用每个主机所包含的OSD设备的数量为该主机的OSD资源打分。这种方案是从避免不必要的MON服务迁移和减少主机资源占用率方面考虑从而实现的，也就是说，OSD资源分数越高的主机被部署的MON服务越不容易被迁移，同时能够减少主机资源占用率。
S12：基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数。
通过OSD设备的总容量以及RAM设备的总容量计算对应主机的RAM资源分数，从而能够在计算主机资源分数时充分考虑到该主机的OSD设备资源及RAM设备资源，为MON服务的部署提供依据。具体来说，该步骤是考虑到各主机的RAM设备、MON服务及OSD设备对应进程造成的内存消耗进而实现的，由此，能够使得上述设备或服务对应的进程造成的内存消耗最低。
S13：基于OSD资源分数及RAM资源分数计算每个主机的主机资源分数。
S14：确定主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。
其中，主机资源分数越高的主机被分配MON服务的优先级越高，在部署MON服务时优先给主机资源分数越高的主机部署，而如果存在主机资源分数相同的多个主机，则可以按照实际需要或者随机为其排序，以保证MON服务合理部署的实现。根据上述考虑可知，最后得出的主机资源分数越高，代表该主机被主动和被动回收的概率越小，主机资源利用率越高，因此，优先为优先级高的主机部署MON服务，不仅能够减少MON服务的迁移，还能够保证较高的主机利用率。
本申请公开的上述技术方案，通过对主机OSD设备及RAM设备的相关计算，确定出主机资源分数，并最终确定主机资源分数越高的主机被部署MON服务的优先级越高，由此，管理员只需关注OSD设备的部署，而本申请会根据OSD设备的部署得到最优的MON服务部署方案，从而在一定程度上避免了由于管理员的主观因素造成的MON服务部署的不合理，进而保证了CEPH系统的部署合理性。同时，由于管理员只需关系OSD设备的部署，即MON服务的部署对管理员是透明的，从而降低了部署的学习成本。
需要说明的是，本发明实施例提供的上述技术方案可以用于部署CEPH系统时，还可以用于当需要回收主机并移除其上的OSD设备时，具体来说，本发明实施例提供的一种CEPH系统的资源优化方法，还可以包括：
当需要移除目标OSD设备时，如果该目标OSD设备所在主机部署有MON服务且该目标OSD设备是其所在主机上唯一的OSD设备，则基于主机集合中每个主机的OSD设备数量计算该主机的OSD资源分数。
对应的，基于每个主机的优先级部署MON服务，包括：
为优先级最高的主机部署MON服务，并在部署完成后将目标OSD设备所在主机的MON服务移除；
而如果目标OSD设备所在主机未部署有MON服务或者目标OSD设备不是其所在主机上唯一的OSD设备，则将目标OSD设备移除。
CEPH系统运行过程中，OSD设备的增加和删除是经常发生的，如何利用最少主机资源提供可靠稳定的CEPH存储服务，需要考虑在移除OSD设备过程中MON服务的自动迁移。本发明公开的上述技术方案中，在需要移除目标OSD设备时，首先判断该目标OSD所在主机是否部署MON服务，若未部署，则正常移除目标OSD设备；若已经部署MON服务，则需要判断目标OSD设备对于当前主机是否唯一，若不唯一，则正常移除目标OSD设备，若唯一，则需要考虑将该MON服务迁移至其他主机，释放该主机，实现主机资源回收。本申请中通过上述步骤S11至步骤S14的技术方案实现主机的优先级确定，对应的，只需选择主机资源分数最高的主机，即被部署MON服务优先级最高的主机部署MON服务，并在部署完成后将目标OSD设备所在主机的MON服务移除，即可实现MON服务的自动迁移；由此，避免了MON服务单独占用主机资源的场景，保证CEPH系统占用最少的主机资源提供稳定可靠的服务，同时先迁移MON服务后移除OSD设备的操作也避免了移除OSD设备带来的数据迁移压力。另外，此时需要参与上述评分的主机可以为未部署MON服务的主机。
本发明实施例提供的一种CEPH系统的资源优化方法，基于主机集合中每个主机的OSD设备数量、每个OSD设备容量及RAM设备的容量计算该主机的RAM资源分数，可以包括：
按照下列公式计算RAM资源分数：
ram_score(host)＝1-[N(TB)*GB+1GB]/Total_ram
其中，ram_score(host)表示任一主机的RAM资源分数，Total_ram表示该主机中RAM设备的总容量，N(TB)表示该主机中OSD设备的总容量，以TB为单位。具体来说，任一主机中OSD设备的总容量即为该主机中全部OSD设备的容量之和，对应的，任一主机中RAM设备的总容量即为该主机中全部RAM设备的容量之和。
按照上述公式计算RAM资源分数，能够充分考虑到各主机的RAM设备、MON服务及OSD设备对应进程造成的内存消耗进而实现的，由此，能够使得上述设备或服务对应的进程造成的内存消耗最低。
本发明实施例提供的一种CEPH系统的资源优化方法，基于OSD资源分数及RAM资源分数计算每个主机的主机资源分数，可以包括：
确定OSD资源分数及RAM资源分数的乘积结果为对应主机的主机资源分数。
OSD资源分数越高，对应主机被部署的MON服务越不容易被迁移，同时能够减少主机资源占用率。而RAM资源分数越高，越能够降低内存消耗，因此，可以选取上述两者乘积结果最高的主机为优先级最高的主机；当然还可以根据实际需要按照其他原则设置主机资源分数的计算方式，如OSD资源分数及RAM资源分数相加等，均在本发明的保护范围之内。
本申请公开的上述技术方案，充分考虑主机集合中各主机的OSD设备、MON服务及RAM设备的内存消耗情况，同时考虑主机资源利用率和后期管理员对CEPH系统维护成本，通过本发明获取最优的MON服务部署方案，利用最少的主机资源提供可靠稳定的CEPH存储服务；同时根据管理员预定的OSD设备的部署信息得到最优的MON服务部署方案，从而避免不合理的部署带来的风险，极大的降低了部署的学习成本。
请参照附图2，以下对本发明中所公开的上述技术方案进行详细说明。
如图2所示，假设主机集合为HOSTS＝{host0，host1，host2，host3，host4}，当需要部署CEPH系统时，首先确定每个主机的OSD资源分数，即：osd_score(host0)＝3，osd_score(host1)＝1，osd_score(host2)＝2，osd_score(host3)＝3，osd_score(host4)＝0；然后确定每个主机的RAM资源分数，即：ram_score(host0)＝0.7500，ram_score(host1)＝0.9375，ram_score(host2)＝0.8750，ram_score(host3)＝0.8333，ram_score(host4)＝0.9375；最后确定每个主机的主机资源分数：score(host0)＝2.2500，score(host1)＝0.9375，score(host2)＝1.7500，score(host3)＝2.5000，score(host4)＝0；本例中需要部署三个MON服务；因此，根据本发明选出的MON服务部署主机依次为：host3，host0和host2；显然，当管理员回收主机资源时，host1是首先被考虑的，因为该主机上仅部署了一个OSD设备，移除该OSD设备对CEPH系统服务没有影响，并且具有较大的内存，因而本发明给出的MON服务的部署方案是合理的；
当需要移除OSD4时，首先判断host2上是否还存在其他OSD设备，此时判断出还存在OSD5，因而直接将OSD4移除；接着，管理员继续移除OSD5，并且判断出OSD5是host2上唯一的OSD设备，则需要考虑MON服务的自动迁移；具体来说，首先，获取未部署MON服务的主机集合，即HOSTS_WITHOUT_MON＝{host1，host4}；分别确定其主机OSD资源分数，即：osd_score(host1)＝1，osd_score(host4)＝0和每个主机的RAM资源分数，即：ram_score(host1)＝0.9375，ram_score(host4)＝0.9375；最终计算得到个每个主机的主机资源分数，即：score(host1)＝0.9375，score(host4)＝0；因而将MON服务先迁移到host1，即先在host1上部署MON服务，然后将host2上的MON服务移除，完成MON服务的迁移，最后再移除OSD5。显然，此时，host2上不再存在CEPH资源，主机资源可以被重新回收利用，使得CEPH占用的主机资源从4个{host0，host1，host2，host3}减少为3个{host0，host1，host3}。同时，迁移MON服务对管理员是透明的，不会影响到CEPH系统的业务；并且，先迁移MON服务后移除OSD设备避免了CEPH系统后台数据负载均衡时带来的数据迁移对MON迁移的影响。
与上述方法相对应，本发明实施例还提供了一种CEPH系统的资源优化装置，如图3所示，包括：
第一分数计算模块11，用于确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；
第二分数计算模块12，用于基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；
第三分数计算模块13，用于基于OSD资源分数及RAM资源分数计算每个主机的主机资源分数；
部署方案确定模块14，用于确定主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。
本发明实施例提供的一种CEPH系统的资源优化装置，还可以包括：
预判控制模块，用于当需要移除目标OSD设备时，如果该目标OSD设备所在主机部署有MON服务且该目标OSD设备是其所在主机上唯一的OSD设备，则控制第一分数计算模块基于主机集合中每个主机的OSD设备数量计算该主机的OSD资源分数；
对应的，部署方案确定模块可以包括：
部署单元，用于为优先级最高的主机部署MON服务，并在部署完成后将目标OSD设备所在主机的MON服务移除。
本发明实施例提供的一种CEPH系统的资源优化装置，预判控制模块还可以包括：
移除单元，用于如果目标OSD设备所在主机未部署有MON服务或者目标OSD设备不是其所在主机上唯一的OSD设备，则将目标OSD设备移除。
本发明实施例提供的一种CEPH系统的资源优化装置，第二分数计算模块可以包括：
第二分数计算单元，用于按照下列公式计算RAM资源分数：
ram_score(host)＝1-[N(TB)*GB+1GB]/Total_ram
其中，ram_score(host)表示任一主机的RAM资源分数，Total_ram表示该主机中RAM设备的总容量，N(TB)表示该主机中OSD设备的总容量，以TB为单位。
本发明实施例提供的一种CEPH系统的资源优化装置，第三分数计算模块可以包括：
第三分数计算单元，用于确定OSD资源分数及RAM资源分数的乘积结果为对应主机的主机资源分数。
本发明实施例提供的一种CEPH系统的资源优化装置中相关部分的说明请参见本发明实施例提供的一种CEPH系统的资源优化方法中对应部分的详细说明，在此不再赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种CEPH系统的资源优化方法，其特征在于，包括：
确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；
基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；
基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数；
确定所述主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。
2.根据权利要求1所述的方法，其特征在于，还包括：
当需要移除目标OSD设备时，如果该目标OSD设备所在主机部署有MON服务且该目标OSD设备是其所在主机上唯一的OSD设备，则基于主机集合中每个主机的OSD设备数量计算该主机的OSD资源分数；
对应的，基于每个主机的优先级部署MON服务，包括：
为优先级最高的主机部署MON服务，并在部署完成后将所述目标OSD设备所在主机的MON服务移除。
3.根据权利要求2所述的方法，其特征在于，还包括：
如果所述目标OSD设备所在主机未部署有MON服务或者所述目标OSD设备不是其所在主机上唯一的OSD设备，则将所述目标OSD设备移除。
4.根据权利要求2所述的方法，其特征在于，基于主机集合中每个主机的OSD设备数量、每个OSD设备容量及RAM设备的容量计算该主机的RAM资源分数，包括：
按照下列公式计算RAM资源分数：
ram_score(host)＝1-[N(TB)*GB+1GB]/Total_ram
其中，ram_score(host)表示任一主机的RAM资源分数，Total_ram表示该主机中RAM设备的总容量，N(TB)表示该主机中OSD设备的总容量，以TB为单位。
5.根据权利要求2所述的方法，其特征在于，基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数，包括：
确定所述OSD资源分数及所述RAM资源分数的乘积结果为对应主机的主机资源分数。
6.一种CEPH系统的资源优化装置，其特征在于，包括：
第一分数计算模块，用于确定CEPH系统的主机集合中每个主机的OSD设备数量为该主机的OSD资源分数；
第二分数计算模块，用于基于主机集合中每个主机的OSD设备的总容量及RAM设备的总容量计算该主机的RAM资源分数；
第三分数计算模块，用于基于所述OSD资源分数及所述RAM资源分数计算每个主机的主机资源分数；
部署方案确定模块，用于确定所述主机资源分数越高的主机被分配MON服务的优先级越高，并基于每个主机的优先级部署MON服务。
7.根据权利要求6所述的装置，其特征在于，还包括：
预判控制模块，用于当需要移除目标OSD设备时，如果该目标OSD设备所在主机部署有MON服务且该目标OSD设备是其所在主机上唯一的OSD设备，则控制第一分数计算模块基于主机集合中每个主机的OSD设备数量计算该主机的OSD资源分数；
对应的，部署方案确定模块包括：
部署单元，用于为优先级最高的主机部署MON服务，并在部署完成后将所述目标OSD设备所在主机的MON服务移除。
8.根据权利要求7所述的装置，其特征在于，预判控制模块还包括：
移除单元，用于如果所述目标OSD设备所在主机未部署有MON服务或者所述目标OSD设备不是其所在主机上唯一的OSD设备，则将所述目标OSD设备移除。
9.根据权利要求7所述的装置，其特征在于，第二分数计算模块包括：
第二分数计算单元，用于按照下列公式计算RAM资源分数：
ram_score(host)＝1-[N(TB)*GB+1GB]/Total_ram
其中，ram_score(host)表示任一主机的RAM资源分数，Total_ram表示该主机中RAM设备的总容量，N(TB)表示该主机中OSD设备的总容量，以TB为单位。
10.根据权利要求7所述的装置，其特征在于，第三分数计算模块包括：第三分数计算单元，用于确定所述OSD资源分数及所述RAM资源分数的乘积结果为对应主机的主机资源分数。
CN201610665426.8A 2016-08-12 2016-08-12 一种ceph系统的资源优化方法及装置 Active CN106302717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610665426.8A CN106302717B (zh) 2016-08-12 2016-08-12 一种ceph系统的资源优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610665426.8A CN106302717B (zh) 2016-08-12 2016-08-12 一种ceph系统的资源优化方法及装置

Publications (2)

Publication Number Publication Date
CN106302717A true CN106302717A (zh) 2017-01-04
CN106302717B CN106302717B (zh) 2019-07-26

Family

ID=57670207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610665426.8A Active CN106302717B (zh) 2016-08-12 2016-08-12 一种ceph系统的资源优化方法及装置

Country Status (1)

Country Link
CN (1) CN106302717B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729185A (zh) * 2017-10-26 2018-02-23 新华三技术有限公司 一种故障处理方法及装置
CN109542622A (zh) * 2018-11-21 2019-03-29 新华三技术有限公司 一种数据处理方法及装置
CN113259206A (zh) * 2021-07-13 2021-08-13 云宏信息科技股份有限公司 监控节点选择方法、存储介质和存储集群

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288526A1 (en) * 2006-06-08 2007-12-13 Emc Corporation Method and apparatus for processing a database replica
CN101783814A (zh) * 2009-12-29 2010-07-21 上海交通大学 海量存储系统的元数据存储方法
CN104008002A (zh) * 2014-06-17 2014-08-27 电子科技大学 云平台环境下虚拟机部署的目标主机选择方法
CN105338086A (zh) * 2015-11-04 2016-02-17 浪潮软件股份有限公司 一种分布式的消息转发方法
CN105610715A (zh) * 2016-03-14 2016-05-25 山东大学 一种基于sdn的云数据中心多虚拟机迁移调度计划方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288526A1 (en) * 2006-06-08 2007-12-13 Emc Corporation Method and apparatus for processing a database replica
CN101783814A (zh) * 2009-12-29 2010-07-21 上海交通大学 海量存储系统的元数据存储方法
CN104008002A (zh) * 2014-06-17 2014-08-27 电子科技大学 云平台环境下虚拟机部署的目标主机选择方法
CN105338086A (zh) * 2015-11-04 2016-02-17 浪潮软件股份有限公司 一种分布式的消息转发方法
CN105610715A (zh) * 2016-03-14 2016-05-25 山东大学 一种基于sdn的云数据中心多虚拟机迁移调度计划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LING ZHAN: "The Research and Implementation of Metadata Cache Backup Technology Based on CEPH File System", 《2016 IEEE INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND BIG DATA ANALYSIS》 *
X. ZHANG: "Ceph Distributed File System Benchmarks on an Openstack Cloud", 《2015 IEEE INTERNATIONAL CONFERENCE ON CLOUD COMPUTING IN EMERGING MARKETS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729185A (zh) * 2017-10-26 2018-02-23 新华三技术有限公司 一种故障处理方法及装置
CN107729185B (zh) * 2017-10-26 2020-12-04 新华三技术有限公司 一种故障处理方法及装置
CN109542622A (zh) * 2018-11-21 2019-03-29 新华三技术有限公司 一种数据处理方法及装置
CN113259206A (zh) * 2021-07-13 2021-08-13 云宏信息科技股份有限公司 监控节点选择方法、存储介质和存储集群

Also Published As

Publication number Publication date
CN106302717B (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN103428008B (zh) 面向多用户群的大数据分发方法
CN103838633B (zh) 调整虚拟机存储器的方法和系统
CN103995855B (zh) 存储数据的方法和装置
CN106201357A (zh) 一种存储池的构建方法及系统
CN106302717A (zh) 一种ceph系统的资源优化方法及装置
CN106506201A (zh) Vnf迁移方法、mano和系统
CN102981910A (zh) 虚拟机调度的实现方法和装置
CN101739287A (zh) 管理虚拟机的装置、系统和方法
CN104539708A (zh) 一种云平台资源的缩容方法、装置与系统
CN103399781A (zh) 云服务器及其虚拟机管理方法
CN108023967A (zh) 一种数据平衡方法、装置及分布式存储系统中的管理设备
CN103810784A (zh) 自助设备钱箱动态控制方法及系统
CN103365784B (zh) 内存回收与分配的方法及装置
CN103634128A (zh) 虚拟机放置策略的配置方法及装置
CN106681802A (zh) 虚拟机迁移方法、装置及系统
CN117480494A (zh) 改进虚拟计算环境中资源分配的协调容器调度
CN103793332B (zh) 基于内存的数据存储方法、装置、处理器和电子设备
CN103309796A (zh) 一种组件对象模型对象的监控方法和装置
CN111522801A (zh) 分布式的数据库动态扩容方法、装置、设备及存储介质
CN106648970A (zh) 文件备份方法和分布式文件系统
JP2012027656A (ja) ディザスタリカバリシステムのための管理装置、方法及びプログラム
CN106961440B (zh) 基于企业级资源运行监控管理的云平台
CN107204963A (zh) 云计算模式下的高可靠性web安全防护实现方法
CN105183588A (zh) 一种虚拟机的重建方法和装置
CN109347661A (zh) 消费者vnf的实例化方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant