CN117032977A - 混部应用资源分配方法、装置、计算机设备及存储介质 - Google Patents
混部应用资源分配方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117032977A CN117032977A CN202311050375.4A CN202311050375A CN117032977A CN 117032977 A CN117032977 A CN 117032977A CN 202311050375 A CN202311050375 A CN 202311050375A CN 117032977 A CN117032977 A CN 117032977A
- Authority
- CN
- China
- Prior art keywords
- application
- resource
- index data
- low
- resource adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013468 resource allocation Methods 0.000 title claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 230000000750 progressive effect Effects 0.000 abstract description 3
- 239000000306 component Substances 0.000 description 39
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请涉及一种混部应用资源分配方法、装置、计算机设备以及存储介质。所述方法包括:分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。本申请实施例使用自适应渐进式动态调整策略不断限制低优先级应用的资源使用量,以最低成本恢复高优先级应用稳定性的均衡点,以降低保持应用稳定性的成本。
Description
技术领域
本申请属于云计算技术领域,特别涉及一种混部应用资源分配方法、装置、计算机设备以及存储介质。
背景技术
混部集群已经成为当今云计算发展的主要趋势,相对于传统的单一业务集群,混部集群通过将各种不同业务特性、优先级、资源使用模型的负载混合在同一台机器上运行,从而可以大幅提高资源利用率。然而,在负载高峰期,不同业务之间的资源竞争风险也会相对提高。
目前的研究方案中大多使用预测、驱逐或一刀切的方式进行资源的分配部署,例如Akhtar Nabeel等人在《COSE:configuring serverless functions using statisticallearning》中提出使用一种基于贝叶斯优化的资源预测算法进行应用部署。在另一种方案中,当检测到干扰发生时,通过将一些应用驱逐出机器以减少干扰的发生。在另一种方案中,通过使用一刀切的方式限制干扰发生时的低优先级应用所使用的资源为高优先级应用提供便利。
上述中,使用预测算法的资源分配方式从优化应用部署的角度入手,通过不断地改良调度部署算法来达到节约部署成本减少应用干扰的目的。该方法虽然一定程度上改善了应用部署成本难以控制,并预防一些性能干扰问题,但随着应用规模的急剧升高,服务器上的应用密度越来越大,单纯的改善调度部署方式已经很难预防应用之间的干扰,而且应用本身“千人千面”,应用特性之间差异很大,很难用一种机制或算法涵盖所有的情况。而使用驱逐的方式在很大程度上违背了混部理念的初衷,使资源得不到充分利用。使用“一刀切”的资源限制方式对低优先级应用损害过大,也不适合长久使用。
发明内容
本申请提供了一种混部应用资源分配方法、装置、计算机设备以及存储介质,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题,本申请提供了如下技术方案:
一种混部应用资源分配方法,包括:
分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;
根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,
从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
本申请实施例采取的技术方案还包括:所述分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据具体为:
通过监控组件分别采集各个应用在运行过程中的应用层指标数据以及混部服务器的系统内核指标数据,并将应用层指标数据和系统内核指标数据传输至触发器组件;其中,所述应用层指标数据包括各个应用的请求响应延迟、端到端时延以及任务完成时间,所述系统内核指标数据包括线程在CPU核上的调度延迟、应用的CPI、CPU每个核使用率、内存读写带宽以及应用资源使用量。
本申请实施例采取的技术方案还包括:所述根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰具体为:
通过触发器组件对所述应用层指标数据进行分析,得到各个应用的运行状态,根据所述运行状态判断各个应用的稳定性是否受到干扰,如果受到干扰,根据所述系统内核指标数据判断应用受到干扰的原因是否是由于应用间资源抢占,如果是,将判断结果传递至自适应状态计算组件,并进入自适应资源调整阶段;否则重新采集应用层指标数据以及系统内核指标数据。
本申请实施例采取的技术方案还包括:所述从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量之前,还包括:
通过所述自适应状态计算组件计算各个应用当前的资源使用状态,根据所述资源使用状态设定资源调整策略,并将所述资源调整策略发送至资源调整组件;其中,所述资源调整策略需满足以下条件:
初始时间片-检测计数器/调整步长=当前周期应用所能使用的时间片。
本申请实施例采取的技术方案还包括:所述从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量具体为:
通过所述资源调整组件对各个应用的资源使用量大小对进行排序,根据排序结果选取设定数量的资源使用量最多的应用作为被限制资源使用的低优先级应用;
根据设定的资源调整策略计算每个低优先级应用的资源调整量,并向管控组件发送资源调整信号。
本申请实施例采取的技术方案还包括:所述根据所述资源调整量调整各个低优先级应用的资源使用量具体为:
通过所述管控组件接收资源调整信号,并查找各个低优先级应用所对应的Cgroup文件位置,根据所述资源调整组件计算的资源调整量执行自适应资源动态调整算法,修改各个低优先级应用的Cgroup文件内容,调整各个低优先级应用的资源使用量。
本申请实施例采取的技术方案还包括:所述根据所述资源调整量调整各个低优先级应用的资源使用量之后,还包括:
从调整资源使用量开始,通过所述触发器组件每间隔设定时间检测一次混部服务器上各个应用的稳定性,将检测记录计入检测计数器中,并判断各个应用的稳定性是否恢复,如果没有恢复,重新执行自适应资源动态调整算法设置资源调整策略;如果恢复,将所述检测计数器清零,并将各个低优先级应用的资源使用量恢复到调整前大小。
本申请实施例采取的另一技术方案为:一种混部应用资源分配装置,包括:
数据采集模块:用于分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;
稳定性判断模块:用于根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,通过资源调整模块进行资源调整;
资源调整模块:用于从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
本申请实施例采取的又一技术方案为:一种计算机设备,所述计算机设备包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现所述混部应用资源分配方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以控制混部应用资源分配方法。
本申请实施例采取的又一技术方案为:一种存储介质,存储有处理器可运行的程序指令,所述程序指令用于执行所述混部应用资源分配方法。
相对于现有技术,本申请实施例产生的有益效果在于:本申请实施例的混部应用资源分配方法、装置、计算机设备以及存储介质利用运行过程中的应用层指标数据和混部服务器的系统内核指标数据作为依据,在应用稳定性受到资源竞争干扰时,使用自适应渐进式动态调整策略不断限制低优先级应用的资源使用量,以最低成本恢复高优先级应用稳定性的均衡点,持续保障高优先级应用的稳定性,可以适用于各种不同的场景,不需要关心应用间差异,从而以最佳的资源调整量来解决应用间干扰的发生,以降低保持应用稳定性的成本。
附图说明
图1是本申请第一实施例的混部应用资源分配方法的流程图;
图2是本申请第二实施例的混部应用资源分配方法的流程图;
图3为本申请实施例的混部应用资源分配装置结构示意图;
图4为本申请实施例的计算机设备结构示意图;
图5为本申请实施例的存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或计算机设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或计算机设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
请参阅图1,是本申请第一实施例的混部应用资源分配方法的流程图。本申请第一实施例的混部应用资源分配方法包括以下步骤:
S100:分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;
S110:根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,执行S120;否则,重新执行S100;
S120:从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
请参阅图2,是本申请第二实施例的混部应用资源分配方法的流程图。本申请第二实施例的混部应用资源分配方法包括以下步骤:
S200:获取当前混部服务器上部署的所有应用;
S210:通过监控组件分别采集各个应用在运行过程中的应用层指标数据以及混部服务器的系统内核指标数据;
本步骤中,监控组件是本系统中所有数据的生产者及入口,用于采集当前混部服务器中所有应用在运行过程中的指标数据以及系统内核指标数据,并将收集的数据传输至触发器组件进行应用稳定性判断。具体的,收集的应用层指标数据包括但不限于各个应用在运行过程中的请求响应延迟、端到端时延以及任务完成时间等指标数据,收集的系统内核指标数据包括但不限于线程在CPU(Central Processing Unit,中央处理器)核上的调度延迟、应用的CPI(Cycle Per Instruction,平均执行周期数)、CPU每个核使用率、内存读写带宽以及应用资源使用量等指标数据。
S220:通过触发器组件对应用层指标数据进行分析,得到各个应用的运行状态,并根据所述运行状态判断各个应用的稳定性是否受到干扰,如果受到干扰,执行S230;否则重新执行S210;
本步骤中,触发器组件收到监控组件传输的应用层指标数据以及系统内核指标数据后,对应用层指标数据以及系统内核指标数据分别分析处理,得到当前时刻各个应用的运行状态,将应用层指标数据与对应应用的历史平均指标数据进行对比,根据对比结果判断各个应用的稳定性是否受到干扰,如果受到干扰,则进一步根据系统内核指标数据判断受到干扰的原因是否是由于应用间资源抢占,如果是,则将判断结果传递至自适应状态计算组件进行应用资源调整。
S230:触发器组件根据混部服务器的系统内核指标数据判断应用受到干扰的原因是否是由于应用间资源抢占,如果是,将判断结果传递至自适应状态计算组件,并执行S240;否则重新执行S210;
S240:进入自适应资源调整阶段,通过自适应状态计算组件计算各个应用当前的资源使用状态,根据资源使用状态设定资源调整策略,并将资源调整策略发送至资源调整组件;
本步骤中,自适应状态计算组件是本系统的核心组件之一,用于在自适应资源调整阶段设置资源调整策略,并将资源调整策略发送至资源调整组件执行资源调整。在自适应调整初级阶段,自适应状态计算组件首先设定一个较为宽松的资源调整策略,并在资源调整后不断检测应用稳定性是否恢复并增加检测计数器,调整资源限制强度,直到所有应用的稳定性恢复。具体的,资源调整策略需满足以下条件:
初始时间片-检测计数器/调整步长=当前周期应用所能使用的时间片;
S250:通过资源调整组件对混部服务器各个应用的资源使用量大小进行排序,根据排序结果选取一定数量的资源使用量最多的应用作为被限制资源使用的低优先级应用,根据设定的资源调整策略计算每个低优先级应用的资源调整量,并向管控组件发送资源调整信号;
本步骤中,资源调整组件接收到自适应状态计算组件发送的资源调整策略后,会根据资源使用量大小对混部服务器上的各个应用进行排序,根据排序结果选取一定数量的资源使用量最多的应用作为被限制资源使用的低优先级应用,并用资源调整总量等比分配给每个应用,以得到每个低优先级应用所需要的资源调整量,并向管控组件发送资源调整信号。
S260:通过管控组件接收资源调整信号,查找各个低优先级应用所对应的Cgroup文件位置,根据资源调整组件计算的资源调整量执行自适应资源动态调整算法,动态修改各个低优先级应用的Cgroup文件内容,调整各个低优先级应用的资源使用量;
本步骤中,管控组件得到资源调整组件发送的资源调整信号后,首先检查资源分配的合理性,然后遍历每个需要进行资源调整的低优先级应用,找到每个低优先级应用的Cgroup(control groups,控制群组)文件位置,通过修改Cgroup文件内容来调整应用的资源使用量。其中,Cgroup是Linux内核的一个功能,用于限制、控制与分离一个进程组的资源,本发明通过动态调整Cgroup来达到调整CPU资源的目的,以保障高优先级应用的稳定性。
S270:从调整资源使用量开始,触发器组件每间隔一定时间检测一次混部服务器上各个应用的稳定性,将检测记录计入检测计数器中,并判断各个应用的稳定性是否恢复,如果没有恢复,重新执行S240;如果恢复,执行S280;
本步骤中,如果各个应用的稳定性没有恢复,则通过自适应状态计算组件重新设置资源调整策略调整资源限制强度,并在资源调整后不断检测应用稳定性是否恢复并增加检测计数器,检测计数器会持续计数,各个应用在检测周期内所能使用的时间片会逐步减少,直到达到一个均衡点以使得所有应用的稳定性恢复。
S280:将检测计数器清零,将各个低优先级应用的资源使用量恢复到调整前大小,并重新执行S210。
基于上述,本申请实施例的混部应用资源分配方法利用运行过程中的应用层指标数据和混部服务器的系统内核指标数据作为依据,在应用稳定性受到资源竞争干扰时,使用自适应渐进式动态调整策略不断限制低优先级应用的资源使用量,以最低成本恢复高优先级应用稳定性的均衡点,持续保障高优先级应用的稳定性,可以适用于各种不同的场景,不需要关心应用间差异,从而以最佳的资源调整量来解决应用间干扰的发生,以降低保持应用稳定性的成本。
请参阅图3,为本申请实施例的混部应用资源分配装置结构示意图。本申请实施例的混部应用资源分配装置40包括:
数据采集模块41:用于分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;
稳定性判断模块42:用于根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,通过资源调整模块进行资源调整;
资源调整模块43:用于从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
请参阅图4,为本申请实施例的计算机设备结构示意图。该计算机设备50包括:
存储有可执行程序指令的存储器51;
与存储器51连接的处理器52;
处理器52用于调用存储器51中存储的可执行程序指令并执行以下步骤:分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
其中,处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图5,为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现以下步骤的程序指令61:分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。其中,该程序指令61可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络计算机设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序指令的介质,或者是计算机、服务器、手机、平板等终端计算机设备。其中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种混部应用资源分配方法,其特征在于,包括:
分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;
根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,
从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
2.根据权利要求1所述的混部应用资源分配方法,其特征在于,所述分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据具体为:
通过监控组件分别采集各个应用在运行过程中的应用层指标数据以及混部服务器的系统内核指标数据,并将应用层指标数据和系统内核指标数据传输至触发器组件;其中,所述应用层指标数据包括各个应用的请求响应延迟、端到端时延以及任务完成时间,所述系统内核指标数据包括线程在CPU核上的调度延迟、应用的CPI、CPU每个核使用率、内存读写带宽以及应用资源使用量。
3.根据权利要求2所述的混部应用资源分配方法,其特征在于,所述根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰具体为:
通过触发器组件对所述应用层指标数据进行分析,得到各个应用的运行状态,根据所述运行状态判断各个应用的稳定性是否受到干扰,如果受到干扰,根据所述系统内核指标数据判断应用受到干扰的原因是否是由于应用间资源抢占,如果是,将判断结果传递至自适应状态计算组件,并进入自适应资源调整阶段;否则重新采集应用层指标数据以及系统内核指标数据。
4.根据权利要求3所述的混部应用资源分配方法,其特征在于,所述从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量之前,还包括:
通过所述自适应状态计算组件计算各个应用当前的资源使用状态,根据所述资源使用状态设定资源调整策略,并将所述资源调整策略发送至资源调整组件;其中,所述资源调整策略需满足以下条件:
初始时间片-检测计数器/调整步长=当前周期应用所能使用的时间片。
5.根据权利要求4所述的混部应用资源分配方法,其特征在于,所述从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量具体为:
通过所述资源调整组件对各个应用的资源使用量大小对进行排序,根据排序结果选取设定数量的资源使用量最多的应用作为被限制资源使用的低优先级应用;
根据设定的资源调整策略计算每个低优先级应用的资源调整量,并向管控组件发送资源调整信号。
6.根据权利要求5所述的混部应用资源分配方法,其特征在于,所述根据所述资源调整量调整各个低优先级应用的资源使用量具体为:
通过所述管控组件接收资源调整信号,并查找各个低优先级应用所对应的Cgroup文件位置,根据所述资源调整组件计算的资源调整量执行自适应资源动态调整算法,修改各个低优先级应用的Cgroup文件内容,调整各个低优先级应用的资源使用量。
7.根据权利要求1至6任一项所述的混部应用资源分配方法,其特征在于,所述根据所述资源调整量调整各个低优先级应用的资源使用量之后,还包括:
从调整资源使用量开始,通过所述触发器组件每间隔设定时间检测一次混部服务器上各个应用的稳定性,将检测记录计入检测计数器中,并判断各个应用的稳定性是否恢复,如果没有恢复,重新执行自适应资源动态调整算法设置资源调整策略;如果恢复,将所述检测计数器清零,并将各个低优先级应用的资源使用量恢复到调整前大小。
8.一种混部应用资源分配装置,其特征在于,包括:
数据采集模块:用于分别采集混部服务器上各个应用的应用层指标数据以及混部服务器的系统内核指标数据;
稳定性判断模块:用于根据所述应用层指标数据和系统内核指标数据判断各个应用的稳定性是否受到干扰,如果受到干扰,通过资源调整模块进行资源调整;
资源调整模块:用于从所述混部服务器上的所有应用中选取设定数量的资源使用量最多的应用作为低优先级应用,并根据设定的资源调整策略计算每个低优先级应用的资源调整量,根据所述资源调整量调整各个低优先级应用的资源使用量。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现权利要求1-7任一项所述的混部应用资源分配方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以控制混部应用资源分配方法。
10.一种存储介质,其特征在于,存储有处理器可运行的程序指令,所述程序指令用于执行权利要求1至7任一项所述混部应用资源分配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311050375.4A CN117032977A (zh) | 2023-08-18 | 2023-08-18 | 混部应用资源分配方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311050375.4A CN117032977A (zh) | 2023-08-18 | 2023-08-18 | 混部应用资源分配方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117032977A true CN117032977A (zh) | 2023-11-10 |
Family
ID=88624299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311050375.4A Pending CN117032977A (zh) | 2023-08-18 | 2023-08-18 | 混部应用资源分配方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117032977A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117349037A (zh) * | 2023-12-06 | 2024-01-05 | 中国科学院深圳先进技术研究院 | 在离线应用干扰消除方法、装置、计算机设备及存储介质 |
-
2023
- 2023-08-18 CN CN202311050375.4A patent/CN117032977A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117349037A (zh) * | 2023-12-06 | 2024-01-05 | 中国科学院深圳先进技术研究院 | 在离线应用干扰消除方法、装置、计算机设备及存储介质 |
CN117349037B (zh) * | 2023-12-06 | 2024-04-19 | 中国科学院深圳先进技术研究院 | 在离线应用干扰消除方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107066332B (zh) | 分布式系统及其调度方法和调度装置 | |
US7712103B2 (en) | Method and system for managing load balancing in data processing system | |
CN112996116B (zh) | 一种保障电力时延敏感业务质量的资源分配方法及系统 | |
CN111711666B (zh) | 一种基于强化学习的车联网云计算资源优化方法 | |
CN111522636A (zh) | 应用容器的调整方法、调整系统、计算机可读介质及终端设备 | |
CN103699433B (zh) | 一种于Hadoop平台中动态调整任务数目的方法及系统 | |
CN117032977A (zh) | 混部应用资源分配方法、装置、计算机设备及存储介质 | |
CN110708256A (zh) | Cdn调度方法、装置、网络设备及存储介质 | |
CN115629865B (zh) | 一种基于边缘计算的深度学习推理任务调度方法 | |
CN112711479A (zh) | 服务器集群的负载均衡系统、方法、装置和存储介质 | |
CN116149846A (zh) | 一种应用性能优化方法、装置、电子设备及存储介质 | |
US20230273833A1 (en) | Resource scheduling method, electronic device, and storage medium | |
CN109150759B (zh) | 一种渐进式非阻塞机会资源预留方法及系统 | |
CN117336300B (zh) | 一种用于状态机的资源管理系统 | |
CN114064294A (zh) | 移动边缘计算环境下的动态资源分配方法和系统 | |
CN116248699A (zh) | 多副本场景下的数据读取方法、装置、设备及存储介质 | |
CN115766582A (zh) | 流量控制方法、装置和系统、介质和计算机设备 | |
CN113805802A (zh) | 访问限流的方法、服务器及存储介质 | |
CN115550284A (zh) | 消息处理方法、装置和设备 | |
CN115378879A (zh) | 数据控制方法及相关装置 | |
CN113849282A (zh) | 一种基于动态权重的openresty反向代理排队处理方法 | |
CN110580192B (zh) | 一种基于服务特征的混部场景中容器i/o隔离性优化方法 | |
CN112328387A (zh) | 一种面向多租户的微服务资源调度方法 | |
CN117858262B (zh) | 基站资源调度优化方法、装置、基站、设备、介质及产品 | |
CN117349037B (zh) | 在离线应用干扰消除方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |