CN111367678B - 集群资源管理方法及系统 - Google Patents

集群资源管理方法及系统 Download PDF

Info

Publication number
CN111367678B
CN111367678B CN202010241228.5A CN202010241228A CN111367678B CN 111367678 B CN111367678 B CN 111367678B CN 202010241228 A CN202010241228 A CN 202010241228A CN 111367678 B CN111367678 B CN 111367678B
Authority
CN
China
Prior art keywords
host
cluster
container
containers
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010241228.5A
Other languages
English (en)
Other versions
CN111367678A (zh
Inventor
安徐林
唐宁
杨倩
孙艺萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010241228.5A priority Critical patent/CN111367678B/zh
Publication of CN111367678A publication Critical patent/CN111367678A/zh
Application granted granted Critical
Publication of CN111367678B publication Critical patent/CN111367678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明提供一种集群资源管理方法及系统。该集群资源管理方法包括:根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源;根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量;根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度;当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。本发明可以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。

Description

集群资源管理方法及系统
技术领域
本发明涉及资源管理技术领域,具体地,涉及一种集群资源管理方法及系统。
背景技术
上云是指以互联网为基础进行信息化基础设施、管理、业务等方面应用,并通过互联网与云计算手段连接社会化资源、共享服务及能力的过程,一般涉及上百个应用,宿主机数量接近万级规模,应用资源集群众多,管理的CPU(中央处理器,central processingunit)和内存资源庞大。目前应用上云的需求越来越频繁,每个月度版本应用资源申请复杂,设备申请、资源评估计算等内容耗费应用支持经理较大的精力。针对双十一、双十二和春节红包等需要大量云计算资源的场景,需要支持经理去评估线上的资源使用情况以及集群剩余资源情况以便满足线上的弹性伸缩和快速扩容等能力的保障,不能实时反映集群的剩余容量情况;另外,人工计算耗时久且存在一定的误差,不能满足智能运维的资源自动评估,增加了不必要的运维硬件成本。
发明内容
本发明实施例的主要目的在于提供一种集群资源管理方法及系统,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。
为了实现上述目的,本发明实施例提供一种集群资源管理方法,包括:
根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源;
根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量;
根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度;
当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
本发明实施例还提供一种集群资源管理系统,包括:
剩余资源确定单元,用于根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源;
剩余启动容器确定单元,用于根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量;
集群冗余度确定单元,用于根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度;
宿主机回收单元,用于当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
宿主机部署单元,用于当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,处理器执行计算机程序时实现所述的集群资源管理方法的步骤。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现所述的集群资源管理方法的步骤。
本发明实施例的集群资源管理方法及系统先确定宿主机的剩余资源,再根据宿主机的剩余资源确定集群冗余度以根据集群冗余度回收或加入宿主机,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中集群资源管理方法的流程图;
图2是本发明实施例中确定宿主机的剩余启动容器数量的流程图;
图3是本发明实施例中集群资源管理系统的结构框图;
图4是本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
鉴于现有技术不能实时反映集群的剩余容量情况,人工计算耗时久且存在一定的误差,增加了不必要的运维硬件成本,本发明实施例提供一种集群资源管理方法,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。以下结合附图对本发明进行详细说明。
图1是本发明实施例中集群资源管理方法的流程图。如图1所示,集群资源管理方法包括:
S101:根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源。
其中,可以通过宿主机上部署的开源监控组件普罗米修斯(prometheus)采集宿主机的实际使用资源。宿主机的实际使用资源包括中央处理器使用资源和内存使用资源。宿主机的规格包括中央处理器规格和内存规格。宿主机的剩余资源包括中央处理器剩余量和内存剩余量。
例如,宿主机的中央处理器规格为8C(核心),内存规格为16GB(吉字节);宿主机的中央处理器使用资源为4.196C,内存使用资源为9.6GB,则宿主机的中央处理器剩余量为3.804C,内存剩余量为6.4GB。
S102:根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量。
其中,宿主机所在集群的剩余启动容器数量为该集群全部宿主机的剩余启动容器数量的和。
图2是本发明实施例中确定宿主机的剩余启动容器数量的流程图。如图2所示,确定宿主机的剩余启动容器数量包括:
S201:根据宿主机的中央处理器剩余量和容器的中央处理器规格确定中央处理器容器数量。
其中,当中央处理器剩余量可以被容器的中央处理器规格整除时,将中央处理器剩余量与容器的中央处理器规格的商减一可以得到中央处理器容器数量。当中央处理器剩余量不可以被容器的中央处理器规格整除时,将中央处理器剩余量与容器的中央处理器规格的商取整可以得到中央处理器容器数量。
例如,容器的中央处理器规格为2C,中央处理器剩余量为3.804C,则中央处理器容器数量为1。
S202:根据宿主机的内存剩余量和容器的内存规格确定内存容器数量。
其中,当内存剩余量可以被容器的内存规格整除时,将内存剩余量与容器的内存规格的商减一可以得到内存容器数量。当内存剩余量不可以被容器的内存规格整除时,将内存剩余量与容器的内存规格的商取整可以得到内存容器数量。
例如,容器的内存规格为4GB,内存剩余量为6.4GB,则内存容器数量为1。
S203:将中央处理器容器数量和内存容器数量中的最小值作为剩余启动容器数量。
例如,当中央处理器容器数量为1,内存容器数量为2时,剩余启动容器数量为1。或,当中央处理器容器数量为1,内存容器数量为1时,剩余启动容器数量为1。
S103:根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度。
其中,可以通过如下公式确定集群冗余度:
δ为集群冗余度,u为集群的剩余启动容器数量,v为集群的当前容器数量。
S104:当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机。
其中,冗余上限为40%。回收未部署容器的宿主机为缩容操作,可以释放集群的资源。
S105:当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
其中,冗余下限为30%。将宿主机加入集群中为扩容操作,可以满足当前集群应用的弹性伸缩和扩容需求。
图1所示的集群资源管理方法的执行主体为计算机。由图1所示的流程可知,本发明实施例的集群资源管理方法先确定宿主机的剩余资源,再根据宿主机的剩余资源确定集群冗余度以根据集群冗余度回收或加入宿主机,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。
一实施例中,集群资源管理方法还包括:根据宿主机的实际使用资源、宿主机的规格和预先获取的中央处理器权重比确定宿主机的宿主机离散度和宿主机所在集群的集群离散度。
其中,集群离散度为该集群全部宿主机的宿主机离散度的和与该集群宿主机个数的商。可以通过如下公式确定宿主机离散度:
μ为宿主机离散度,x'为中央处理器使用资源,x为中央处理器规格,y'为内存使用资源,y为内存规格,α为中央处理器权重比,可以为0.5。
现有技术仅统计整体的CPU和内存资源的使用情况,不能更加细粒度地反应集群资源分布情况,集群资源分布不均会导致宿主机资源碎片化,不能合理高效利用资源,这个是生产运维在大规模的云计算资源管理场景下一个共同的重点和难点。为了解决上述技术问题,本发明的集群资源管理方法还包括:
1、当集群离散度小于预设的离散阈值时,确定接收容器宿主机和转移容器宿主机。
确定接收容器宿主机和转移容器宿主机包括:
将宿主机离散度位于集群离散度和预设的离散阈值之间的宿主机作为接收容器宿主机;将宿主机离散度小于或等于集群离散度的宿主机作为转移容器宿主机。
当宿主机的宿主机离散度大于离散阈值时,表明该宿主机资源集中,无需接收转移的容器。当宿主机离散度位于集群离散度和预设的离散阈值之间时,表明该宿主机的资源利用率低,可以在该宿主机贴上优先部署的标签。
2、将转移容器宿主机中的容器转移到接收容器宿主机上,回收转移容器宿主机。
其中,根据宿主机离散度将转移容器宿主机中的容器转移到接收容器宿主机可以实时调整容器部署情况,有效避免资源碎片化,提高资源利用率。转移容器宿主机会被回收至空闲资源池,为线上集群资源的弹性扩缩容提供有力依据。
综上,本发明实施例的具体流程如下:
1、根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源。其中,宿主机的剩余资源包括中央处理器剩余量和内存剩余量,容器的规格包括容器的中央处理器规格和容器的内存规格。
2、根据宿主机的中央处理器剩余量和容器的中央处理器规格确定中央处理器容器数量。
3、根据宿主机的内存剩余量和容器的内存规格确定内存容器数量。
4、将中央处理器容器数量和内存容器数量中的最小值作为宿主机的剩余启动容器数量。
5、根据宿主机的剩余启动容器数量确定宿主机所在集群的剩余启动容器数量。
6、根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度。
7、当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
8、根据宿主机的实际使用资源、宿主机的规格和预先获取的中央处理器权重比确定宿主机的宿主机离散度和宿主机所在集群的集群离散度。
9、当集群离散度小于预设的离散阈值时,将宿主机离散度位于集群离散度和预设的离散阈值之间的宿主机作为接收容器宿主机,将宿主机离散度小于集群离散度的宿主机作为转移容器宿主机。
10、将转移容器宿主机中的容器转移到接收容器宿主机上,回收转移容器宿主机。
综上,本发明实施例的集群资源管理方法先确定宿主机的剩余资源,再根据宿主机的剩余资源确定集群冗余度以根据集群冗余度回收或加入宿主机,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。本发明还根据宿主机离散度将转移容器宿主机中的容器转移到接收容器宿主机以有效避免资源碎片化,提高资源利用率。
基于同一发明构思,本发明实施例还提供了一种集群资源管理系统,由于该系统解决问题的原理与集群资源管理方法相似,因此该系统的实施可以参见方法的实施,重复之处不再赘述。
图3是本发明实施例中集群资源管理系统的结构框图。如图3所示,集群资源管理系统包括:
剩余资源确定单元,用于根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源;
剩余启动容器确定单元,用于根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量;
集群冗余度确定单元,用于根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度;
宿主机回收单元,用于当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
宿主机部署单元,用于当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
在其中一种实施例中,宿主机的剩余资源包括中央处理器剩余量和内存剩余量;
剩余启动容器确定单元具体用于:
根据宿主机的中央处理器剩余量和容器的中央处理器规格确定中央处理器容器数量;
根据宿主机的内存剩余量和容器的内存规格确定内存容器数量;
将中央处理器容器数量和内存容器数量中的最小值作为剩余启动容器数量。
在其中一种实施例中,还包括:
离散度确定单元,用于根据宿主机的实际使用资源、宿主机的规格和预先获取的中央处理器权重比确定宿主机的宿主机离散度和宿主机所在集群的集群离散度。
在其中一种实施例中,还包括:
宿主机单元,用于当集群离散度小于预设的离散阈值时,确定接收容器宿主机和转移容器宿主机;
宿主机转移回收单元,用于将转移容器宿主机中的容器转移到接收容器宿主机上,回收转移容器宿主机。
在其中一种实施例中,宿主机确定单元具体用于:
将宿主机离散度位于集群离散度和预设的离散阈值之间的宿主机作为接收容器宿主机;
将宿主机离散度小于或等于集群离散度的宿主机作为转移容器宿主机。
综上,本发明实施例的集群资源管理系统先确定宿主机的剩余资源,再根据宿主机的剩余资源确定集群冗余度以根据集群冗余度回收或加入宿主机,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。本发明还根据宿主机离散度将转移容器宿主机中的容器转移到接收容器宿主机以有效避免资源碎片化,提高资源利用率。
本发明实施例还提供能够实现上述实施例中的集群资源管理方法中全部步骤的一种计算机设备的具体实施方式。图4是本发明实施例中计算机设备的结构框图,参见图4,所述计算机设备具体包括如下内容:
处理器(processor)401和存储器(memory)402。
所述处理器401用于调用所述存储器402中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的集群资源管理方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源;
根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量;
根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度;
当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
综上,本发明实施例的计算机设备先确定宿主机的剩余资源,再根据宿主机的剩余资源确定集群冗余度以根据集群冗余度回收或加入宿主机,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。
本发明实施例还提供能够实现上述实施例中的集群资源管理方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的集群资源管理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
根据预先获取的宿主机的实际使用资源和宿主机的规格确定宿主机的剩余资源;
根据宿主机的剩余资源确定宿主机的剩余启动容器数量和宿主机所在集群的剩余启动容器数量;
根据集群的当前容器数量和集群的剩余启动容器数量确定集群冗余度;
当集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
当集群冗余度小于预设的冗余下限时,将宿主机加入集群中。
综上,本发明实施例的计算机可读存储介质先确定宿主机的剩余资源,再根据宿主机的剩余资源确定集群冗余度以根据集群冗余度回收或加入宿主机,以动态精准反映资源剩余容量,贴合生产运维需求,降低运维硬件成本。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元,或装置都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (12)

1.一种集群资源管理方法,其特征在于,包括:
根据预先获取的宿主机的实际使用资源和所述宿主机的规格确定所述宿主机的剩余资源;
根据宿主机的剩余资源确定所述宿主机的剩余启动容器数量和所述宿主机所在集群的剩余启动容器数量;
根据集群的当前容器数量和所述集群的剩余启动容器数量确定集群冗余度;
当所述集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
当所述集群冗余度小于预设的冗余下限时,将宿主机加入所述集群中;
通过如下公式确定集群冗余度:
δ为集群冗余度,u为集群的剩余启动容器数量,v为集群的当前容器数量。
2.根据权利要求1所述的集群资源管理方法,其特征在于,所述宿主机的剩余资源包括中央处理器剩余量和内存剩余量;
确定所述宿主机的剩余启动容器数量包括:
根据所述宿主机的所述中央处理器剩余量和所述容器的中央处理器规格确定中央处理器容器数量;
根据所述宿主机的所述内存剩余量和所述容器的内存规格确定内存容器数量;
将所述中央处理器容器数量和所述内存容器数量中的最小值作为剩余启动容器数量。
3.根据权利要求1所述的集群资源管理方法,其特征在于,还包括:
根据所述宿主机的实际使用资源、所述宿主机的规格和预先获取的中央处理器权重比确定所述宿主机的宿主机离散度和所述宿主机所在集群的集群离散度。
4.根据权利要求3所述的集群资源管理方法,其特征在于,还包括:
当所述集群离散度小于预设的离散阈值时,确定接收容器宿主机和转移容器宿主机;
将所述转移容器宿主机中的容器转移到接收容器宿主机上,回收所述转移容器宿主机。
5.根据权利要求4所述的集群资源管理方法,其特征在于,确定接收容器宿主机和转移容器宿主机包括:
将所述宿主机离散度位于所述集群离散度和预设的离散阈值之间的宿主机作为接收容器宿主机;
将所述宿主机离散度小于或等于所述集群离散度的宿主机作为转移容器宿主机。
6.一种集群资源管理系统,其特征在于,包括:
剩余资源确定单元,用于根据预先获取的宿主机的实际使用资源和所述宿主机的规格确定所述宿主机的剩余资源;
剩余启动容器确定单元,用于根据宿主机的剩余资源确定所述宿主机的剩余启动容器数量和所述宿主机所在集群的剩余启动容器数量;
集群冗余度确定单元,用于根据集群的当前容器数量和所述集群的剩余启动容器数量确定集群冗余度;
宿主机回收单元,用于当所述集群冗余度大于预设的冗余上限时,回收未部署容器的宿主机;
宿主机部署单元,用于当所述集群冗余度小于预设的冗余下限时,将宿主机加入所述集群中;
所述集群冗余度确定单元通过如下公式确定集群冗余度:
δ为集群冗余度,u为集群的剩余启动容器数量,v为集群的当前容器数量。
7.根据权利要求6所述的集群资源管理系统,其特征在于,所述宿主机的剩余资源包括中央处理器剩余量和内存剩余量;
所述剩余启动容器确定单元具体用于:
根据所述宿主机的所述中央处理器剩余量和所述容器的中央处理器规格确定中央处理器容器数量;
根据所述宿主机的所述内存剩余量和所述容器的内存规格确定内存容器数量;
将所述中央处理器容器数量和所述内存容器数量中的最小值作为剩余启动容器数量。
8.根据权利要求6所述的集群资源管理系统,其特征在于,还包括:
离散度确定单元,用于根据所述宿主机的实际使用资源、所述宿主机的规格和预先获取的中央处理器权重比确定所述宿主机的宿主机离散度和所述宿主机所在集群的集群离散度。
9.根据权利要求8所述的集群资源管理系统,其特征在于,还包括:
宿主机确定单元,用于当所述集群离散度小于预设的离散阈值时,确定接收容器宿主机和转移容器宿主机;
宿主机转移回收单元,用于将所述转移容器宿主机中的容器转移到接收容器宿主机上,回收所述转移容器宿主机。
10.根据权利要求9所述的集群资源管理系统,其特征在于,所述宿主机确定单元具体用于:
将所述宿主机离散度位于所述集群离散度和预设的离散阈值之间的宿主机作为接收容器宿主机;
将所述宿主机离散度小于或等于所述集群离散度的宿主机作为转移容器宿主机。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的集群资源管理方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述的集群资源管理方法的步骤。
CN202010241228.5A 2020-03-31 2020-03-31 集群资源管理方法及系统 Active CN111367678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010241228.5A CN111367678B (zh) 2020-03-31 2020-03-31 集群资源管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010241228.5A CN111367678B (zh) 2020-03-31 2020-03-31 集群资源管理方法及系统

Publications (2)

Publication Number Publication Date
CN111367678A CN111367678A (zh) 2020-07-03
CN111367678B true CN111367678B (zh) 2023-08-22

Family

ID=71210667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010241228.5A Active CN111367678B (zh) 2020-03-31 2020-03-31 集群资源管理方法及系统

Country Status (1)

Country Link
CN (1) CN111367678B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868763A (zh) * 2012-10-08 2013-01-09 山东省计算中心 一种云计算环境下虚拟web应用集群节能的动态调整方法
CN103577271A (zh) * 2013-11-14 2014-02-12 浪潮(北京)电子信息产业有限公司 云管理平台、宿主机、虚拟机资源部署方法和系统
WO2018077079A1 (zh) * 2016-10-31 2018-05-03 阿里巴巴集团控股有限公司 一种应用的扩容方法、装置和系统
CN108073448A (zh) * 2016-11-15 2018-05-25 北京金山云网络技术有限公司 宿主机资源分配方法、装置、宿主机调度方法及装置
WO2018121334A1 (zh) * 2016-12-27 2018-07-05 阿里巴巴集团控股有限公司 一种提供网页应用服务的方法、装置、电子设备及系统
CN108399100A (zh) * 2017-02-06 2018-08-14 中国移动通信集团公司 一种容器资源的调整方法及装置
CN110377398A (zh) * 2019-07-10 2019-10-25 腾讯科技(深圳)有限公司 一种资源管理方法、装置及主机设备、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389598B2 (en) * 2015-10-29 2019-08-20 Cisco Technology, Inc. Container management and application ingestion engine

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868763A (zh) * 2012-10-08 2013-01-09 山东省计算中心 一种云计算环境下虚拟web应用集群节能的动态调整方法
CN103577271A (zh) * 2013-11-14 2014-02-12 浪潮(北京)电子信息产业有限公司 云管理平台、宿主机、虚拟机资源部署方法和系统
WO2018077079A1 (zh) * 2016-10-31 2018-05-03 阿里巴巴集团控股有限公司 一种应用的扩容方法、装置和系统
CN108073448A (zh) * 2016-11-15 2018-05-25 北京金山云网络技术有限公司 宿主机资源分配方法、装置、宿主机调度方法及装置
WO2018121334A1 (zh) * 2016-12-27 2018-07-05 阿里巴巴集团控股有限公司 一种提供网页应用服务的方法、装置、电子设备及系统
CN108399100A (zh) * 2017-02-06 2018-08-14 中国移动通信集团公司 一种容器资源的调整方法及装置
CN110377398A (zh) * 2019-07-10 2019-10-25 腾讯科技(深圳)有限公司 一种资源管理方法、装置及主机设备、存储介质

Also Published As

Publication number Publication date
CN111367678A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US20160150012A1 (en) Content-based replication of data between storage units
US10261853B1 (en) Dynamic replication error retry and recovery
DK3008600T3 (en) Backup of a virtual machine from a storage snapshot
WO2019144553A1 (zh) 数据存储方法、装置及存储介质
CN103210395B (zh) 与客户端虚拟机交互的技术
EP2557494A1 (en) Storage apparatus and data copy method between thin-provisioning virtual volumes
CN104040516A (zh) 用于数据去重的方法、设备和系统
CN103873559A (zh) 一种高速存储的数据库一体机
CN103164523A (zh) 数据一致性检查方法、装置及系统
CN104731569A (zh) 一种数据处理方法及相关设备
CN110119304B (zh) 一种中断处理方法、装置及服务器
US10216423B1 (en) Streams across multiple controllers to improve solid state drive performance
WO2021114025A1 (zh) 增量数据确定方法、确定装置、服务器及终端设备
US20200226107A1 (en) Reinforcement learning for optimizing data deduplication
CN109324874A (zh) 一种虚拟机内存快照导入块设备的方法、系统及装置
WO2024007510A1 (zh) 服务器管理方法、装置、系统、电子设备及可读存储介质
CN105739930A (zh) 一种存储架构及其初始化方法和数据存储方法及管理装置
CN111367677A (zh) 集群资源分配方法及系统
US10019182B2 (en) Management system and management method of computer system
CN111367678B (zh) 集群资源管理方法及系统
WO2024027140A1 (zh) 一种数据处理方法、装置、设备、系统及可读存储介质
CN105488139B (zh) 基于用电信息采集系统的跨平台存储数据迁移的方法
WO2023020136A1 (zh) 存储系统中的数据存储方法及装置
CN111367646B (zh) 容器转移方法及系统
US9864661B2 (en) Cache-accelerated replication of snapshots between storage devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant