CN114327890B - 一种多指标融合的容器配额推荐方法和系统 - Google Patents

一种多指标融合的容器配额推荐方法和系统 Download PDF

Info

Publication number
CN114327890B
CN114327890B CN202111615415.6A CN202111615415A CN114327890B CN 114327890 B CN114327890 B CN 114327890B CN 202111615415 A CN202111615415 A CN 202111615415A CN 114327890 B CN114327890 B CN 114327890B
Authority
CN
China
Prior art keywords
cost
quota
container
expressed
service quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111615415.6A
Other languages
English (en)
Other versions
CN114327890A (zh
Inventor
王翱宇
王前龙
黄文雄
李晨昊
陈浙阳
才振功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Harmonycloud Technology Co Ltd
Original Assignee
Hangzhou Harmonycloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Harmonycloud Technology Co Ltd filed Critical Hangzhou Harmonycloud Technology Co Ltd
Priority to CN202111615415.6A priority Critical patent/CN114327890B/zh
Publication of CN114327890A publication Critical patent/CN114327890A/zh
Application granted granted Critical
Publication of CN114327890B publication Critical patent/CN114327890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种多指标融合的容器配额推荐方法和系统,涉及云计算技术领域,所述方法包括:获取容器配额下的服务质量成本和资源代价;根据所述配额、服务质量成本和资源代价,构建训练集;基于逼近理想解排序法,对所述训练集进行训练,获得评价模型;根据所述评价模型,对容器配额进行评分;根据所述评分,获得推荐配额。通过逼近理想解排序法,对配额进行评分和筛选,使推荐的容器配额既保证了服务质量、又提高了资源利用率,降低容器和容器化应用的运行成本;通过评价模型实现自动化的配额推荐,减少了人工干涉的成本,避免人工设置过程中可能导致的操作失误。

Description

一种多指标融合的容器配额推荐方法和系统
技术领域
本发明涉及云计算技术领域,具体涉及一种多指标融合的容器配额推荐方法和系统。
背景技术
随着云计算技术和云原生概念的普及,对应用进行容器化封装成为应用部署的新趋势。容器具有不错的资源隔离与限制能力,可以针对单个容器精确的分配计算资源。以容器为单位对应用管理,可以充分发挥云资源弹性伸缩的优势,提高资源利用率。同时,容器化应用也使用户可以对应用进行无差别的自动化管理和维护,降低了运维成本。
目前业界对于容器配额的设置,多是基于设置者的经验,设置一个较大的容器配额,优先满足应用的资源需求。但是,较大的容器配额往往会导致较多的资源浪费。而较小的容器配额,又可能导致频繁的容器扩缩容,以及应用服务质量的降低。如何在保证服务质量的前提下,选取合适的容器配额,提高容器的资源利用率,是极具现实意义的问题。
发明内容
针对现有技术中存在的上述技术问题,本发明提供一种多指标融合的容器配额推荐方法和系统,通过逼近理想解排序法,对容器配额下的服务质量成本和资源代价,进行求解,获得推荐的配额,利于提高资源利用率和应用服务。
本发明公开了一种多指标融合的容器配额推荐方法,所述方法包括:获取容器配额下的服务质量成本和资源代价;根据所述配额、服务质量成本和资源代价,构建训练集;基于逼近理想解排序法,对所述训练集进行训练,获得评价模型;根据所述评价模型,对容器配额进行评分;根据所述评分,获得推荐配额。
优选的,所述服务质量成本的获取方法包括:
获取历史负载数据;
基于所述历史负载数据,建立压力测试环境;
对多个配额下的容器进行压力测试,获得相应配额的服务质量;
对所述服务质量的指标进行归一化后,取平均值,获得服务质量成本。
优选的,所述服务质量的指标包括请求到达率和响应时间;
所述服务质量成本为请求到达率和响应时间归一化后的平均值。
优选的,获取资源代价的方法包括:
通过模拟容器扩缩容,获得多个配额下的容器模拟数据;
根据所述模拟数据,获得计算资源分配成本、容器启停成本和集群管理成本;
将计算资源分配成本、容器启停成本和集群管理成本之和,作为资源代价。
优选的,计算资源分配成本的公式为:
其中,totalCost表示为计算资源分成成本,R表示为配额,d表示为扩缩容的最小时间间隔,ni表示为第i次扩缩容下的容器数量,n表示为扩缩容的总次数;
容器启停成本表示为:
其中,scaleCost表示为容器启停成本,Δni表示第i个时间间隔下容器数量的变化,C表示为单次扩缩容的代价;
集群管理成本表示为:
其中,ManageCost表示为管理成本,f(ni)表示为管理资源量与容器数量的关系。
优选的,所述单次扩缩容代价C从历史负载数据中获得;
基于神经网络的方法,对所述历史负载数据进行训练,获得管理资源量与容器数量的关系。
优选的,获得评价模型的方法包括:
依次对训练集进行正向化和标准化,获得训练集矩阵;
基于所述训练集矩阵,获得理想解和负理想解;
根据容器配额与理想解距离、容器配额与负理想解的距离,构建评价模型。
容器配额与理想解的距离表示为:
其中,表示为第i个容器配额下与理想解的距离,/>表示为理想解的第j个指标,zij表示为容器配额i的第j个指标的标准化值,m表示为指标的总数;
容器配额与负理想解的距离表示为:
表示为第i个容器配额下与负理想解的距离,/>表示为负理想解的第j个指标;
评分的计算公式为:
通过最大化所述评分Si,获得推荐容器配额。
本发明还提供一种用于实现上述容器配额推荐方法的系统,包括服务质量成本估算模块、资源代价估算模块、训练模块和多指标决策模块,
服务质量成本估算模块用于获得容器配额下的服务质量成本;
资源代价估算模块用于获得容器配额下的资源代价;
所述训练模块用于构建训练集,基于逼近理想解排序法,对训练集进行训练,获得评价模型;
所述多指标决策模块用于根据所述评价模型,对容器配额进行评分;并根据所述评分,获得推荐配额。
优选的,本发明的系统,还包括抓取模块,所述抓取模块用于获取历史负载数据集、压力测试数据和模拟数据;
所述服务质量成本估算模块用于根据多个配额的容器压力测试数据,获得容器配额下的服务质量成本;
资源代价估算模块用于根据模拟数据和历史负载数据集,获得容器配额下的资源代价。
与现有技术相比,本发明的有益效果为:通过逼近理想解排序法,对配额进行评分和筛选,使推荐的容器配额既保证了服务质量、又提高了资源利用率,降低容器和容器化应用的运行成本;通过评价模型实现自动化的配额推荐,减少了人工干涉的成本,避免人工设置过程中可能导致的操作失误。
附图说明
图1是本发明的多指标融合的容器配额推荐方法流程图;
图2是本发明的系统逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
一种多指标融合的容器配额推荐方法,如图1所示,所述方法包括:
步骤101:获取容器配额下的服务质量成本和资源代价。其中,服务质量成本包括多个指标,如请求到达率和响应时间;资源代价也包括多个指标,如资源分配成本、容器启停成本和集群管理成本。
步骤102:根据所述配额、服务质量成本和资源代价,构建训练集。
步骤103:基于逼近理想解排序法(Technique for Order Preference bySimilarity to Ideal Solution),对所述训练集进行训练,获得评价模型。
步骤104:根据所述评价模型,对容器配额进行评分。
步骤105:根据所述评分,获得推荐配额。可以通过最大化所述评分的方式,获得推荐配额。
通过逼近理想解排序法,对配额进行评分和筛选,使推荐的容器配额既保证了服务质量、又提高了资源利用率,降低容器和容器化应用的运行成本;通过评价模型实现自动化的配额推荐,减少了人工干涉的成本,避免人工设置过程中可能导致的操作失误。
步骤101中,服务质量成本可以通过容器的压力测试获得:
步骤201:获取历史负载数据。可以从容器编排平台的监控系统汇集的时序数据库中,进行面向应用类型的多指标历史负载数据的抓取,历史负载数据的指标:包括定向应用的CPU、内存数据、服务质量相关指标数据,以及集群组件的CPU、内存数据。监控系统包括Prometheus、cAdvisor和Heapster等。
步骤202:基于所述历史负载数据,建立压力测试环境。例如根据压力测试模板创建压测脚本或者复用压测脚本。
步骤203:对多个配额下的容器进行压力测试,获得相应配额的服务质量。
可以按照一定的配额梯度,部署不同配额的容器,例如配额为R1、R2、…、Rn。其中,压力测试保持在一定的负载高位,如90-95%负载,并获得该负载高位的服务质量(Qos)指标,如请求到达率、响应时间,但不限于此。所述服务质量成本为请求到达率和响应时间归一化后的平均值。
步骤204:对所述服务质量的指标进行归一化后,取平均值,获得服务质量成本。其中归一化为现有技术,本申请中不再赘述。
步骤205:通过模拟容器扩缩容,获得多个配额下的容器模拟数据。可以通过弹性扩缩容模拟器模拟容器的扩缩容,获得不同配额的容器模拟数据。
步骤206:根据模拟数据,获得计算资源分配成本、容器启停成本和集群管理成本。
计算资源分配成本的方法为:
其中,totalCost表示为计算资源分成成本,R表示为配额,d表示为扩缩容的最小时间间隔,ni表示为第i个时间间隔下或第i次扩缩容下的容器数量,n表示为最小时间间隔的总次数,即扩缩容的总次数。
容器启停成本表示为:
其中,scaleCost表示为容器启停成本,Δni表示第i个时间间隔下容器数量的变化,C表示为单次扩缩容的代价,可以从历史负载数据中获得。
集群管理成本表示为:
其中,ManageCost表示为管理成本,f(ni)表示为管理资源量与容器数量的关系,可以基于神经网络的方法,从历史负载数据中获得上述关系。管理资源量可以通过监控Kubelet、API Server等Kubernetes管理组件的资源使用情况获得。
步骤207:将计算资源分配成本、容器启停成本和集群管理成本之和,作为资源代价。
步骤103中,获得评价模型的方法包括:
步骤301:依次对训练集及其样本进行正向化和标准化,获得训练集矩阵。在一个具体实施例中,配额作为项目,训练集中的样本的服务质量代价、资源分配成本、容器启停成本、集群管理成本4个维度,构建训练矩阵。正向化公式为maxj-xij,其中,maxj表示为指标j的最大值,xij表示为配额i容器下指标j的值;获得正向化矩阵X。
正向化矩阵的每个值进行标准化,获得训练集矩阵Z。正向化的公式表示为:
其中,zij表示为配额为i容器的j指标的标准化值,xij配额为i容器的j指标的正向化值,n为容器的数量。
步骤301:基于所述训练集矩阵,获得理想解和负理想解。
训练集矩阵中,根据每个指标的最大,构建正理想解;根据每个指标的最小值,构建负理想解。
步骤303:根据容器配额与理想解距离、容器配额与负理想解的距离,构建评价模型。
其中,容器配额与理想解的距离表示为:
其中,表示为第i个容器配额下与理想解的距离,/>表示为理想解的第j个指标值,zij表示为容器配额i的第j个指标的标准化值,m表示为指标的总数;
容器配额与负理想解的距离表示为:
表示为第i个容器配额下与负理想解的距离,/>表示为负理想解的第j个指标。
步骤104中,评分的计算公式为:
步骤105中,可以通过最大化所述评分Si,获得推荐容器配额。例如,将多个配额中,评分值最高的配额,作为推荐容器配额。
本发明还提供一种用于实现上述容器配额推荐方法的系统,如图2所示,包括服务质量成本估算模块1、资源代价估算模块2、训练模块3和多指标决策模块4,
服务质量成本估算模块1用于获得容器配额下的服务质量成本;
资源代价估算模块2用于获得容器配额下的资源代价;
训练模块3用于构建训练集,基于逼近理想解排序法,对训练集进行训练,获得评价模型;
多指标决策模块4用于根据所述评价模型,对容器配额进行评分;并根据所述评分,获得推荐配额。
本发明的系统还包括抓取模块5,抓取模块5用于获取历史负载数据集、压力测试数据和模拟数据;
服务质量成本估算模块1用于根据多个配额下的容器压力测试数据,获得容器配额下的服务质量成本;
资源代价估算模块2用于根据模拟数据和历史负载数据集,获得容器配额下的资源代价。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种多指标融合的容器配额推荐方法,其特征在于,所述方法包括:
获取容器配额下的服务质量成本和资源代价;其中,服务质量的指标包括请求到达率和响应时间;所述服务质量成本为请求到达率和响应时间归一化后的平均值;
根据所述配额、服务质量成本和资源代价,构建训练集;
基于逼近理想解排序法,对所述训练集进行训练,获得评价模型;其中,获得评价模型的方法包括:依次对训练集进行正向化和标准化,获得训练集矩阵;基于所述训练集矩阵,获得理想解和负理想解;根据容器配额与理想解距离、容器配额与负理想解的距离,构建评价模型;
根据所述评价模型,对容器配额进行评分;
根据所述评分,获得推荐配额;
获取资源代价的方法包括:通过模拟容器扩缩容,获得多个配额下的容器模拟数据;根据所述模拟数据,获得计算资源分配成本、容器启停成本和集群管理成本;将计算资源分配成本、容器启停成本和集群管理成本之和,作为资源代价;
计算资源分配成本的公式为:
其中,totalCost表示为计算资源分成成本,R表示为配额,d表示为扩缩容的最小时间间隔,ni表示为第i次扩缩容下的容器数量,n表示为扩缩容的总次数;
容器启停成本表示为:
其中,scaleCost表示为容器启停成本,Δni表示第i个时间间隔下容器数量的变化,C表示为单次扩缩容的代价;
集群管理成本表示为:
其中,ManageCOst表示为管理成本,f(ni)表示为管理资源量与容器数量的关系。
2.根据权利要求1所述的容器配额推荐方法,其特征在于,所述服务质量成本的获取方法包括:
获取历史负载数据;
基于所述历史负载数据,建立压力测试环境;
对多个配额下的容器进行压力测试,获得相应配额的服务质量;
对所述服务质量的指标进行归一化后,取平均值,获得服务质量成本。
3.根据权利要求1所述的容器配额推荐方法,其特征在于,所述单次扩缩容代价从历史负载数据中获得;
基于神经网络的方法,对所述历史负载数据进行训练,获得管理资源量与容器数量的关系。
4.根据权利要求1所述的容器配额推荐方法,其特征在于,容器配额与理想解的距离表示为:
其中,表示为第i个容器配额下与理想解的距离,/>表示为理想解的第j个指标,zij表示为容器配额i的第j个指标的标准化值,m表示为指标的总数;
容器配额与负理想解的距离表示为:
表示为第i个容器配额下与负理想解的距离,/>表示为负理想解的第j个指标;
评分的计算公式为:
通过最大化所述评分Si,获得推荐容器配额。
5.一种用于实现如权利要求1-4任一项所述容器配额推荐方法的系统,其特征在于,包括服务质量成本估算模块、资源代价估算模块、训练模块和多指标决策模块,
所述服务质量成本估算模块用于获得容器配额下的服务质量成本;
所述资源代价估算模块用于获得容器配额下的资源代价;
所述训练模块用于构建训练集,基于逼近理想解排序法,对训练集进行训练,获得评价模型;
所述多指标决策模块用于根据所述评价模型,对容器配额进行评分;并根据所述评分,获得推荐配额。
6.根据权利要求5所述的系统,其特征在于,还包括抓取模块,所述抓取模块用于获取历史负载数据、压力测试数据和模拟数据;
所述服务质量成本估算模块用于根据多个配额的容器压力测试数据,获得容器配额下的服务质量成本;
所述资源代价估算模块用于根据模拟数据和历史负载数据集,获得容器配额下的资源代价。
CN202111615415.6A 2021-12-27 2021-12-27 一种多指标融合的容器配额推荐方法和系统 Active CN114327890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111615415.6A CN114327890B (zh) 2021-12-27 2021-12-27 一种多指标融合的容器配额推荐方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111615415.6A CN114327890B (zh) 2021-12-27 2021-12-27 一种多指标融合的容器配额推荐方法和系统

Publications (2)

Publication Number Publication Date
CN114327890A CN114327890A (zh) 2022-04-12
CN114327890B true CN114327890B (zh) 2023-08-25

Family

ID=81012898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111615415.6A Active CN114327890B (zh) 2021-12-27 2021-12-27 一种多指标融合的容器配额推荐方法和系统

Country Status (1)

Country Link
CN (1) CN114327890B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116820784B (zh) * 2023-08-30 2023-11-07 杭州谐云科技有限公司 一种面向推理任务QoS的GPU实时调度方法及系统
CN117557395B (zh) * 2024-01-12 2024-04-26 杭州谐云科技有限公司 一种研发成本管控方法、系统、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624922A (zh) * 2012-04-11 2012-08-01 武汉大学 一种网络gis异构集群服务器负载均衡方法
CN108509573A (zh) * 2018-03-27 2018-09-07 陕西科技大学 基于矩阵分解协同过滤算法的图书推荐方法及系统
CN110990159A (zh) * 2019-12-25 2020-04-10 浙江大学 一种基于历史数据分析的容器云平台资源配额预测方法
CN111598677A (zh) * 2020-07-24 2020-08-28 北京淇瑀信息科技有限公司 一种资源配额确定方法、装置和电子设备
CN112199192A (zh) * 2020-09-29 2021-01-08 苏州浪潮智能科技有限公司 基于服务器部署Kubernetes集群精细化管理配额的方法及系统
CN113032157A (zh) * 2021-05-31 2021-06-25 睿至科技集团有限公司 一种服务器自动智能扩缩容方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138643A1 (en) * 2000-10-19 2002-09-26 Shin Kang G. Method and system for controlling network traffic to a network computer
US20070233866A1 (en) * 2006-03-28 2007-10-04 Karen Appleby Method and system for dynamically allocating servers to compute-resources using capacity thresholds
US8555287B2 (en) * 2006-08-31 2013-10-08 Bmc Software, Inc. Automated capacity provisioning method using historical performance data
US9386086B2 (en) * 2013-09-11 2016-07-05 Cisco Technology Inc. Dynamic scaling for multi-tiered distributed systems using payoff optimization of application classes
US20210004675A1 (en) * 2019-07-02 2021-01-07 Teradata Us, Inc. Predictive apparatus and method for predicting workload group metrics of a workload management system of a database system
US11507622B2 (en) * 2020-03-25 2022-11-22 The Toronto-Dominion Bank System and method for automatically managing storage resources of a big data platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624922A (zh) * 2012-04-11 2012-08-01 武汉大学 一种网络gis异构集群服务器负载均衡方法
CN108509573A (zh) * 2018-03-27 2018-09-07 陕西科技大学 基于矩阵分解协同过滤算法的图书推荐方法及系统
CN110990159A (zh) * 2019-12-25 2020-04-10 浙江大学 一种基于历史数据分析的容器云平台资源配额预测方法
CN111598677A (zh) * 2020-07-24 2020-08-28 北京淇瑀信息科技有限公司 一种资源配额确定方法、装置和电子设备
CN112199192A (zh) * 2020-09-29 2021-01-08 苏州浪潮智能科技有限公司 基于服务器部署Kubernetes集群精细化管理配额的方法及系统
CN113032157A (zh) * 2021-05-31 2021-06-25 睿至科技集团有限公司 一种服务器自动智能扩缩容方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谐云助力打造金融级双平面混合架构数据中心;王翱宇;金融电子化;全文 *

Also Published As

Publication number Publication date
CN114327890A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN114327890B (zh) 一种多指标融合的容器配额推荐方法和系统
CN109144724A (zh) 一种微服务资源调度系统及方法
CN109787855A (zh) 基于马尔可夫链和时间序列模型的服务器负载预测方法及系统
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN110489556A (zh) 关于跟进记录的质量评价方法、装置、服务器及存储介质
CN111752678A (zh) 面向边缘计算中分布式协同学习的低功耗容器放置方法
CN105471647A (zh) 一种电力通信网故障定位方法
CN112541584A (zh) 深度神经网络模型并行模式选择方法
CN110489142A (zh) 设备软件升级的评估方法及装置、存储介质、终端
CN113660687B (zh) 网络差小区处理方法、装置、设备及存储介质
CN113742069A (zh) 基于人工智能的容量预测方法、装置及存储介质
CN115686280A (zh) 深度学习模型管理系统、方法、计算机设备及存储介质
CN115883392B (zh) 算力网络的数据感知方法、装置、电子设备及存储介质
CN115374019B (zh) 分布式ui测试用例的测试方法、系统及计算机存储介质
CN111209105A (zh) 扩容处理方法、装置、设备及可读存储介质
CN110363424A (zh) 一种团队业绩跟踪系统
CN110058942A (zh) 基于层次分析法的资源分配系统及方法
CN110299947A (zh) 一种系统资源的调度方法、装置、设备及存储介质
CN105491157A (zh) 一种基于用户协同正则化的个性化Web服务组合方法
CN111382263B (zh) 数据处理方法、装置和系统
CN112052967A (zh) 提供维护服务的方法、装置、电子设备和存储介质
Li et al. Cloud Instance Resources Prediction Based on Hidden Markov Model
CN116567454B (zh) 基于物联网的设备全生命周期运行监测方法及系统
CN109308565A (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN117519948B (zh) 基于云平台实现建筑施工下的计算资源调整方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant