CN115774622A - 资源调度方法、装置、电子设备和存储介质 - Google Patents
资源调度方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115774622A CN115774622A CN202310105574.4A CN202310105574A CN115774622A CN 115774622 A CN115774622 A CN 115774622A CN 202310105574 A CN202310105574 A CN 202310105574A CN 115774622 A CN115774622 A CN 115774622A
- Authority
- CN
- China
- Prior art keywords
- cloud host
- cloud
- utilization rate
- migrated
- hosts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 19
- 230000005012 migration Effects 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000022261 cerebral cortex tangential migration using cell-cell interactions Effects 0.000 description 1
- 238000010516 chain-walking reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明提供了一种资源调度方法、装置、电子设备和存储介质，涉及云计算技术领域，旨在实现资源均衡。所述方法包括：响应于满足开始条件，确定多个计算节点中运行的多个云主机；获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率；获取L3缓存利用率的变化阈值；根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机；迁移所述待迁移云主机。
Description
技术领域
本发明涉及云计算技术领域，特别是涉及一种资源调度方法、装置、电子设备和存储介质。
背景技术
云主机的不断放置，云平台中的计算资源会产生不均匀的分配，某些计算节点的工作质量无法得到保证，某些计算节点可能相对空闲甚至没有负载。如果计算节点长期处于低负载状态，不仅会造成云平台不平衡，还会浪费大量能源。因此，需要一种随着计算节点负载变化而动态资源调度的算法，来弥补平台调度算法的缺陷，提高云平台的资源利用率。
发明内容
鉴于上述问题，本发明实施例提供了一种资源调度方法、装置、电子设备和存储介质，以便克服上述问题或者至少部分地解决上述问题。
本发明实施例的第一方面，提供了一种资源调度方法，包括：
响应于满足开始条件，确定多个计算节点中运行的多个云主机；
获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率；
获取L3缓存利用率的变化阈值；
根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机，所述高优先级云主机的L3缓存利用率下降值超过所述变化阈值，所述噪声云主机的L3缓存利用率上升值超过所述变化阈值；
迁移所述待迁移云主机。
可选地，所述迁移所述待迁移云主机，包括：
将不包含所述待迁移云主机的计算节点，确定为候选计算节点；
针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点；
将所述待迁移云主机，迁移到该待迁移云主机对应的所述目标计算节点中。
可选地，所述根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，包括：
针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；
获取所述变化阈值和该云主机的所述第二利用率的乘积；
在所述差值小于所述乘积的情况下，将该云主机确定为所述高优先级云主机。
可选地，所述根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，包括：
针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；
获取所述变化阈值和该云主机的所述第二利用率的乘积；
在所述差值和所述乘积之和小于零的情况下，将该云主机确定为所述噪声云主机。
可选地，所述获取所述多个云主机各自的第一利用率，包括：
获取在所述当前周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；
将在所述当前周期的各个采样时间点采样到的每个所述云主机的L3缓存利用率的均值，确定为该云主机的所述第一利用率。
可选地，获取所述多个云主机各自的所述第二利用率，包括：
获取所述多个云主机各自的所述第一利用率；
获取在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；
根据在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率，和所述多个云主机各自的所述第一利用率，确定所述多个云主机各自的所述第二利用率。
可选地，还包括：
获取所述多个云主机各自的元数据；
根据所述多个云主机各自的元数据，确定所述多个云主机各自的优先级；
所述针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点，包括：
按照所述优先级从低到高的顺序，依次针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点。
可选地，所述按照所述优先级从低到高的顺序，依次针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点，包括：
获取所述候选计算节点的资源负载值和资源负载上限值；
按照所述优先级从低到高的顺序，依次获取每一所述待迁移云主机的资源负载值，在一个所述待迁移云主机的资源负载值和所述候选计算节点的资源负载值之和，不超过该候选计算节点的资源负载上限值的情况下，将该候选计算节点确定为该待迁移云主机对应的目标计算节点。
可选地，在所述待迁移云主机对应多个所述目标计算节点的情况下，所述将所述待迁移云主机，迁移到该待迁移云主机对应的所述目标计算节点中，包括：
对多个所述目标计算节点各自的资源负载值进行归一化处理；
获取多个所述目标计算节点各自的属性，并根据多个所述目标计算节点各自的属性，确定多个所述目标计算节点各自的权重；
根据多个所述目标计算节点各自的所述权重和归一化处理后的所述资源负载值，确定多个所述目标计算节点各自的分数；
将该待迁移云主机，迁移到所述分数最低的所述目标计算节点中。
可选地，所述将不包含所述待迁移云主机的计算节点，确定为候选计算节点，包括：
将不包含所述待迁移云主机的计算节点，确定为待过滤计算节点；
根据所述待过滤计算节点上的所述云主机的类型和属性，对所述待过滤计算节点进行过滤，得到所述候选计算节点。
可选地，所述响应于满足开始条件，确定多个计算节点中运行的多个云主机，包括：
响应于定时周期任务触发，确定所述多个计算节点中运行的所述多个云主机。
可选地，所述响应于满足开始条件，确定多个计算节点中运行的多个云主机，包括：
响应于监控指标达到该监控指标对应的告警值，确定所述多个计算节点中运行的所述多个云主机，其中，所述监控指标至少包括以下一种或多种：所述计算节点的CPU利用率、内存利用率、L3缓存利用率和资源负载均值，以及所述云主机的CPU利用率、内存利用率、L3缓存利用率和资源负载均值。
本发明实施例的第二方面，提供了一种资源调度装置，包括：
确定模块，被配置为响应于满足开始条件，确定多个计算节点中运行的多个云主机；
利用率获取模块，被配置为获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率；
变化阈值获取模块，被配置为获取L3缓存利用率的变化阈值；
云主机确定模块，被配置为根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机，所述高优先级云主机的L3缓存利用率下降值超过所述变化阈值，所述噪声云主机的L3缓存利用率上升值超过所述变化阈值；
迁移模块，被配置为迁移所述待迁移云主机。
本发明实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的资源调度方法。
本发明实施例的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的资源调度方法。
本发明实施例包括以下优点：
本实施例中，满足开始条件，即进行待迁移云主机的迁移，实现了动态资源调度。采用L3缓存利用率作为云主机是否为待迁移云主机的判断因子，可以使计算节点上的资源使用达到相对均衡，从而提升云主机的L3缓存命中率，实现性能优化。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种资源调度方法的步骤流程图；
图2是本发明实施例中确定目标计算节点的流程示意图；
图3是本发明实施例中筛选目标计算节点的流程示意图；
图4是本发明实施例中一种资源调度的装置的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
LLC（Last Level Cache，三级缓存），又称为L3缓存，是CPU（Central ProcessingUnit，中央处理器）的最后一级缓存，也是离内存最近的缓存，是为读取二级缓存后未命中的数据设计的一种缓存，三级缓存可以提高CPU的效率。其运作原理在于使用较快的存储装置保留一份从慢速存储装置中所读取数据且进行拷贝，当有需要再从较慢的存储体中读写数据时，缓存能够使得读写的动作先在快速的装置上完成，如此会使系统的响应较为快速。
缓存的命中率是CPU性能的一个关键性能指标，缓存不命中对CPU的性能影响很大，尤其是最后一级缓存的不命中时对性能的损害尤其严重。这个损害主要有两方面：一是会影响CPU速度，因为内存的访问延迟是LLC访问延迟的很多倍，所以LLC不命中对计算速度影响非常严重；二是会影响内存带宽，如果LLC没有命中，就只能从内存里面去取，LLC不命中的计数就是对内存访问的计数，CPU对内存的访问总是要经过LLC，不会跳过LLC的。一个系统的内存带宽是有限制的，从内存中取数据，就会占用内存带宽，因此，如果LLC命中率低的话，对内存带宽的使用就会很大，从而造成系统的性能瓶颈。
参照图1所示，示出了本发明实施例中一种资源调度方法的步骤流程图，如图1所示，该资源调度方法具体可以包括步骤S11~步骤S15。
在步骤S11中，响应于满足开始条件，确定多个计算节点中运行的多个云主机。
多个计算节点为同一云平台管理的多个物理机，计算节点为云主机的宿主机，一个云主机在同一时刻只能存在于一个计算节点中，一个计算节点中可以包括多个云主机。
满足开始条件可以为定时周期任务触发，在定时周期任务触发的情况下，确定多个计算节点中运行的多个云主机。定时周期任务可以是预先配置好的。
满足开始条件也可以为监控指标达到该监控指标对应的告警值，监控指标可以至少包括以下一种或多种：计算节点的CPU利用率、内存利用率、L3缓存利用率和资源负载均值，以及云主机的CPU利用率、内存利用率、L3缓存利用率和资源负载均值。每个监控指标有对应的监控告警值，在任一监控指标达到该监控指标对应的监控告警值的情况下，满足开始条件，进而确定多个计算节点中运行的多个云主机。其中，为了防止采集数据时由于网络抖动或其他不稳定因素导致数据不正常，可以将历史多个周期中的监控指标的平均值作为监控指标。
响应于满足开始条件，从云平台数据库中获取各个计算节点和各个云主机的基本数据信息。可以从每个计算节点中获取该计算节点中所有运行的云主机列表，从而确定多个计算节点中运行的多个云主机。
在步骤S12中，获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率。
针对每个云主机，获取云主机的第一利用率和第二利用率，一个云主机的第一利用率为该云主机在当前周期的L3缓存利用率，一个云主机的第二利用率为该云主机在上一周期的L3缓存利用率。其中，周期可以根据需求进行设置。
一个云主机在一个周期的L3缓存利用率，为在该周期内的各个采样时间点采样到该云主机的L3缓存利用率的平均值。因此，获取所述多个云主机各自的第一利用率，可以包括：获取在所述当前周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；将在所述当前周期的各个采样时间点采样到的每个所述云主机的L3缓存利用率的均值，确定为该云主机的所述第一利用率。
获取所述多个云主机各自的所述第二利用率，可以包括：获取所述多个云主机各自的所述第一利用率；获取在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；根据在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率，和所述多个云主机各自的所述第一利用率，确定所述多个云主机各自的所述第二利用率。其中，获取多个云主机各自的第一利用率的方法可以参照前文。可以通过如下公式获取云主机的第二利用率：
其中，
为云主机的第二利用率，
为云主机的第一利用率，
为在第i个采样时间点采样到的云主机的L3缓存利用率，n为一个周期内的采样时间点的数量，i=1,2,…,n。
在步骤S13中，获取L3缓存利用率的变化阈值。
L3缓存利用率的变化阈值可以是预先配置好的。
在步骤S14中，根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机，所述高优先级云主机的L3缓存利用率下降值超过所述变化阈值，所述噪声云主机的L3缓存利用率上升值超过所述变化阈值。
针对每个云主机，根据云主机的第一利用率和第二利用率，可以确定云主机的L3缓存利用率从上一周期到当前周期是否上升或下降，从而得到L3缓存利用率上升值或L3缓存利用率下降值。结合L3缓存利用率的变化阈值，可以确定L3缓存利用率上升值或L3缓存利用率下降值是否超过L3缓存利用率的变化阈值。
将L3缓存利用率下降值超过变化阈值的云主机确定为高优先级云主机，并将L3缓存利用率上升值超过变化阈值的云主机确定为噪声云主机。将高优先级云主机和噪声云主机确定为待迁移云主机。
可选地，确定高优先级云主机可以包括：针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；获取所述变化阈值和该云主机的所述第二利用率的乘积；在所述差值小于所述乘积的情况下，将该云主机确定为所述高优先级云主机。将高优先级云主机确定为待迁移云主机。可以是将满足如下条件的云主机确定为高优先级云主机：
其中，
为云主机的第二利用率，
为云主机的第一利用率，
为L3缓存利用率的变化阈值。
可选地，确定噪声云主机可以包括：针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；获取所述变化阈值和该云主机的所述第二利用率的乘积；在所述差值和所述乘积之和小于零的情况下，将该云主机确定为所述噪声云主机。将噪声云主机确定为待迁移云主机。可以是将满足如下条件的云主机确定为噪声云主机：
其中，各个字符的含义可以参照前文。
在步骤S15中，迁移所述待迁移云主机。
将存在待迁移云主机的计算节点，确定为源计算节点。将待迁移云主机迁移到非源计算节点的计算节点之中。
采用本发明实施例的技术方案，满足开始条件，即进行待迁移云主机的迁移，实现了动态资源调度。采用L3缓存利用率作为云主机是否为待迁移云主机的判断因子，可以使计算节点上的资源使用达到相对均衡，从而提升云主机的L3缓存命中率，实现性能优化。
可选地，在上述技术方案的基础上，迁移待迁移云主机可以包括：将不包含所述待迁移云主机的计算节点，确定为候选计算节点；针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点；将所述待迁移云主机，迁移到该待迁移云主机对应的所述目标计算节点中。
选择合适的目标计算节点将直接关系到动态资源调度的效果。假如选择的目标计算节点不理想会造成不必要的迁移，甚至会造成二次迁移或链式迁移，增加其他计算节点的工作负担。根据L3缓存噪声确定待迁移云主机，前提是不能影响数据中心采用静态调度算法对资源分配与运行。因此，针对此问题，在为待迁移云主机确定对应的目标计算节点时，需要同时考虑云平台各计算节点的资源配额和资源负载，确保不会扰乱云平台原有的秩序。
可以将不包含所述待迁移云主机的计算节点，确定为待过滤计算节点；根据所述待过滤计算节点上的所述云主机的类型和属性，对所述待过滤计算节点进行过滤，得到所述候选计算节点。根据云主机的CPU、内存、磁盘等，可以确定云主机的云主机的类型，云主机的类型包括计算型、通用型、内存型、大数据型和异构加速计算型等。云主机的属性包括亲和性、反亲和性、是否为GPU（
，图形处理器）云主机等。
在存在多个待迁移云主机时，每次针对一个待迁移云主机，确定该待迁移云主机对应的目标计算节点，然后针对下一待迁移云主机，确定该待迁移云主机对应的目标计算节点。确定好每个待迁移云主机对应的目标计算节点后，可以批量进行待迁移云主机的迁移。
可以是根据每个待迁移云主机的优先级，按照从低到高的顺序，依次针对每一待迁移云主机，从候选计算节点中，筛选出该待迁移云主机对应的目标计算节点。确定云主机的优先级可以包括：获取所述多个云主机各自的元数据；根据所述多个云主机各自的元数据，确定所述多个云主机各自的优先级。云主机的元数据可以包括：主机标识、配置、镜像、GPU等。云主机的元数据可通过元数据服务器获取。云主机的元数据不同，云主机的优先级也不同。各个元数据对应的优先级可以是预先配置好的。根据云主机的元数据，即可确定各个云主机各自的优先级。
按照所述优先级从低到高的顺序，依次针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点，可以包括：按照所述优先级从低到高的顺序，依次获取每一所述待迁移云主机的资源负载值，在一个所述待迁移云主机的资源负载值和所述候选计算节点的资源负载值之和，不超过该候选计算节点的资源负载上限值的情况下，将该候选计算节点确定为该待迁移云主机对应的目标计算节点。
从未确定对应的目标计算节点的待迁移云主机中，获取优先级最低的待迁移云主机。获取该待迁移云主机的资源负载值。获取各个候选计算节点的资源负载值和资源负载上限值。在该优先级最低的待迁移云主机的资源负载值和候选计算节点的资源负载值之和，不超过该候选计算节点的资源负载上限值的情况下，证明该候选计算节点可以承担该待迁移的云主机的资源负载。如此，针对每一个待迁移云主机，可以从候选计算节点中筛选出该待迁移云主机对应的目标计算节点。
在一个待迁移云主机对应多个目标计算节点的情况下，可以对多个目标计算节点进行排序。对多个所述目标计算节点各自的资源负载值进行归一化处理；获取多个所述目标计算节点各自的属性，并根据多个所述目标计算节点各自的属性，确定多个所述目标计算节点各自的权重；根据多个所述目标计算节点各自的所述权重和归一化处理后的所述资源负载值，确定多个所述目标计算节点各自的分数；将该待迁移云主机，迁移到所述分数最低的所述目标计算节点中。
为了便于在同一区间内进行衡量，对多个目标计算节点各自的资源负载值进行归一化处理。计算节点不同的属性，对应不同的权重。各个属性对应的权重可以是预先配置好的。将目标计算节点各自的权重和归一化处理后的资源负载值的乘积，确定为目标计算节点的分数。根据分数将多个目标计算节点进行排序，将待迁移云主机迁移到分数最低的目标计算节点。
可选地，在上述技术方案的基础上，在确定待迁移云主机时，在考虑云主机是否为高优先级云主机或噪声云主机的同时，还可以同时根据CPU利用率、内存利用率确定云主机是否为待迁移云主机。
可选地，作为一个实施例，图2是本发明实施例中确定目标计算节点的流程示意图。筛选具有L3缓存噪声的计算节点和云主机，从数据库中获取计算节点和云主机的资源信息和映射关系，获取各个计算节点和云主机的资源负载值；循环从各个计算节点中筛选需要调整的计算节点和噪声云主机，将计算节点上的云主机根据设定的优先级分别进行顺序排序和倒序排序；从云主机的顺序列表中依次找出潜在高优先级云主机；分别获取云主机的第一利用率和第二利用率。在云主机的L3缓存利用率下降值不超过变化阈值的情况下，从云主机的顺序列表中判断下一个云主机是否为潜在高优先级云主机；在云主机的L3缓存利用率下降值超过变化阈值的情况下，从云主机的倒序列表中依次找出潜在噪声云主机。若潜在噪声云主机和潜在高优先级云主机相同，则对下一计算节点进行判断；若潜在噪声云主机和潜在高优先级云主机不同，则获取该潜在噪声云主机的第一利用率和第二利用率。在云主机的L3缓存利用率上升值不超过变化阈值的情况下，从云主机的倒序列表中判断下一个云主机是否为潜在噪声云主机；在云主机的L3缓存利用率下降值超过变化阈值的情况下，将存在高优先级云主机和噪声云主机的计算节点确定为源计算节点。将不为源计算节点的计算节点确定为目标计算节点，返回源计算节点和目标计算节点列表。
可选地，作为一个实施例，图3是本发明实施例中筛选目标计算节点的流程示意图。根据云主机的类型和特殊属性对不包含待迁移云主机的计算节点进行过滤，得到候选计算节点。获取各个候选计算节点在多个周期内的监控指标的平均值。计算待迁移云主机的资源负载值和候选计算节点的资源负载值之和，判断待迁移云主机的资源负载值和候选计算节点的资源负载值之和是否超过该候选计算节点的资源负载上限值，若未超过，则将该候选计算节点确定为目标计算节点，若超过，则对下一候选计算节点进行判断。对目标计算节点的资源负载值进行归一化并乘以其权重值，得到分数，并根据分数进行排序。将分数最低的目标计算节点确定为最终目标计算节点，最终目标计算节点为待迁移云主机迁移到的计算节点。
本发明实施例，在选择需要调整计算节点上考虑的因素更加全面，除了CPU利用率、内存利用率，还考虑了将CPU的L3缓存作为判断因子，筛选出需要进行调整的计算节点和迁移的云主机，大大提升了云主机的服务质量和L3缓存命中率。根据L3缓存利用率进行计算节点和云主机的筛选，并根据L3缓存噪声的情况进行云主机迁移和动态调整，以达到性能优化、提升L3缓存命中率等目的。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图4是本发明实施例中一种资源调度装置的结构示意图，如图4所示，所述装置包括确定模块、利用率获取模块、变化阈值获取模块、云主机确定模块和迁移模块，其中：
确定模块，被配置为响应于满足开始条件，确定多个计算节点中运行的多个云主机；
利用率获取模块，被配置为获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率；
变化阈值获取模块，被配置为获取L3缓存利用率的变化阈值；
云主机确定模块，被配置为根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机，所述高优先级云主机的L3缓存利用率下降值超过所述变化阈值，所述噪声云主机的L3缓存利用率上升值超过所述变化阈值；
迁移模块，被配置为迁移所述待迁移云主机。
可选地，所述迁移模块包括：
候选确定子模块，被配置为将不包含所述待迁移云主机的计算节点，确定为候选计算节点；
筛选子模块，被配置为针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点；
迁移子模块，被配置为将所述待迁移云主机，迁移到该待迁移云主机对应的所述目标计算节点中。
可选地，所述云主机确定模块包括：
第一差值确定子模块，被配置为针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；
第一乘积确定子模块，被配置为获取所述变化阈值和该云主机的所述第二利用率的乘积；
高优先级确定子模块，被配置为在所述差值小于所述乘积的情况下，将该云主机确定为所述高优先级云主机。
可选地，所述云主机确定模块包括：
第二差值子模块，被配置为针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；
第二乘积子模块，被配置为获取所述变化阈值和该云主机的所述第二利用率的乘积；
噪声确定子模块，被配置为在所述差值和所述乘积之和小于零的情况下，将该云主机确定为所述噪声云主机。
可选地，所述利用率获取模块包括：
第一获取子模块，被配置为获取在所述当前周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；
第一利用率确定子模块，被配置为将在所述当前周期的各个采样时间点采样到的每个所述云主机的L3缓存利用率的均值，确定为该云主机的所述第一利用率。
可选地，所述利用率获取模块包括：
第一利用率获取子模块，被配置为获取所述多个云主机各自的所述第一利用率；
第二获取子模块，被配置为获取在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；
第二利用率确定子模块，被配置为根据在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率，和所述多个云主机各自的所述第一利用率，确定所述多个云主机各自的所述第二利用率。
可选地，还包括：
元数据获取模块，被配置为获取所述多个云主机各自的元数据；
优先级确定模块，被配置为根据所述多个云主机各自的元数据，确定所述多个云主机各自的优先级；
所述筛选子模块包括：
筛选单元，被配置为按照所述优先级从低到高的顺序，依次针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点。
可选地，所述筛选单元包括：
上限值获取子单元，被配置为获取所述候选计算节点的资源负载值和资源负载上限值；
目标确定子单元，被配置为按照所述优先级从低到高的顺序，依次获取每一所述待迁移云主机的资源负载值，在一个所述待迁移云主机的资源负载值和所述候选计算节点的资源负载值之和，不超过该候选计算节点的资源负载上限值的情况下，将该候选计算节点确定为该待迁移云主机对应的目标计算节点。
可选地，在所述待迁移云主机对应多个所述目标计算节点的情况下，所述迁移子模块包括：
归一化单元，被配置为对多个所述目标计算节点各自的资源负载值进行归一化处理；
权重确定单元，被配置为获取多个所述目标计算节点各自的属性，并根据多个所述目标计算节点各自的属性，确定多个所述目标计算节点各自的权重；
分数确定单元，被配置为根据多个所述目标计算节点各自的所述权重和归一化处理后的所述资源负载值，确定多个所述目标计算节点各自的分数；
迁移单元，被配置为将该待迁移云主机，迁移到所述分数最低的所述目标计算节点中。
可选地，所述候选确定子模块包括：
待过滤确定单元，被配置为将不包含所述待迁移云主机的计算节点，确定为待过滤计算节点；
过滤单元，被配置为根据所述待过滤计算节点上的所述云主机的类型和属性，对所述待过滤计算节点进行过滤，得到所述候选计算节点。
可选地，所述确定模块包括：
触发子模块，被配置为响应于定时周期任务触发，确定所述多个计算节点中运行的所述多个云主机。
可选地，所述确定模块包括：
达到子模块，被配置为响应于监控指标达到该监控指标对应的告警值，确定所述多个计算节点中运行的所述多个云主机，其中，所述监控指标至少包括以下一种或多种：所述计算节点的CPU利用率、内存利用率、L3缓存利用率和资源负载均值，以及所述云主机的CPU利用率、内存利用率、L3缓存利用率和资源负载均值。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种资源调度方法、装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种资源调度方法，其特征在于，包括：
响应于满足开始条件，确定多个计算节点中运行的多个云主机；
获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率；
获取L3缓存利用率的变化阈值；
根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机，所述高优先级云主机的L3缓存利用率下降值超过所述变化阈值，所述噪声云主机的L3缓存利用率上升值超过所述变化阈值；
迁移所述待迁移云主机。
2.根据权利要求1所述的方法，其特征在于，所述迁移所述待迁移云主机，包括：
将不包含所述待迁移云主机的计算节点，确定为候选计算节点；
针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点；
将所述待迁移云主机，迁移到该待迁移云主机对应的所述目标计算节点中。
3.根据权利要求1所述的方法，其特征在于，所述根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，包括：
针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；
获取所述变化阈值和该云主机的所述第二利用率的乘积；
在所述差值小于所述乘积的情况下，将该云主机确定为所述高优先级云主机。
4.根据权利要求1所述的方法，其特征在于，所述根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，包括：
针对每一所述云主机，获取该云主机的所述第二利用率和该云主机的所述第一利用率的差值；
获取所述变化阈值和该云主机的所述第二利用率的乘积；
在所述差值和所述乘积之和小于零的情况下，将该云主机确定为所述噪声云主机。
5.根据权利要求1所述的方法，其特征在于，所述获取所述多个云主机各自的第一利用率，包括：
获取在所述当前周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；
将在所述当前周期的各个采样时间点采样到的每个所述云主机的L3缓存利用率的均值，确定为该云主机的所述第一利用率。
6.根据权利要求1所述的方法，其特征在于，获取所述多个云主机各自的所述第二利用率，包括：
获取所述多个云主机各自的所述第一利用率；
获取在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率；
根据在所述当前周期和所述上一周期的各个采样时间点采样到的所述多个云主机各自的L3缓存利用率，和所述多个云主机各自的所述第一利用率，确定所述多个云主机各自的所述第二利用率。
7.根据权利要求2所述的方法，其特征在于，还包括：
获取所述多个云主机各自的元数据；
根据所述多个云主机各自的元数据，确定所述多个云主机各自的优先级；
所述针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点，包括：
按照所述优先级从低到高的顺序，依次针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点。
8.根据权利要求7所述的方法，其特征在于，所述按照所述优先级从低到高的顺序，依次针对每一所述待迁移云主机，从所述候选计算节点中，筛选出该待迁移云主机对应的目标计算节点，包括：
获取所述候选计算节点的资源负载值和资源负载上限值；
按照所述优先级从低到高的顺序，依次获取每一所述待迁移云主机的资源负载值，在一个所述待迁移云主机的资源负载值和所述候选计算节点的资源负载值之和，不超过该候选计算节点的资源负载上限值的情况下，将该候选计算节点确定为该待迁移云主机对应的目标计算节点。
9.根据权利要求7所述的方法，其特征在于，在所述待迁移云主机对应多个所述目标计算节点的情况下，所述将所述待迁移云主机，迁移到该待迁移云主机对应的所述目标计算节点中，包括：
对多个所述目标计算节点各自的资源负载值进行归一化处理；
获取多个所述目标计算节点各自的属性，并根据多个所述目标计算节点各自的属性，确定多个所述目标计算节点各自的权重；
根据多个所述目标计算节点各自的所述权重和归一化处理后的所述资源负载值，确定多个所述目标计算节点各自的分数；
将该待迁移云主机，迁移到所述分数最低的所述目标计算节点中。
10.根据权利要求2所述的方法，其特征在于，所述将不包含所述待迁移云主机的计算节点，确定为候选计算节点，包括：
将不包含所述待迁移云主机的计算节点，确定为待过滤计算节点；
根据所述待过滤计算节点上的所述云主机的类型和属性，对所述待过滤计算节点进行过滤，得到所述候选计算节点。
11.根据权利要求1所述的方法，其特征在于，所述响应于满足开始条件，确定多个计算节点中运行的多个云主机，包括：
响应于定时周期任务触发，确定所述多个计算节点中运行的所述多个云主机。
12.根据权利要求1所述的方法，其特征在于，所述响应于满足开始条件，确定多个计算节点中运行的多个云主机，包括：
响应于监控指标达到该监控指标对应的告警值，确定所述多个计算节点中运行的所述多个云主机，其中，所述监控指标至少包括以下一种或多种：所述计算节点的CPU利用率、内存利用率、L3缓存利用率和资源负载均值，以及所述云主机的CPU利用率、内存利用率、L3缓存利用率和资源负载均值。
13.一种资源调度装置，其特征在于，包括：
确定模块，被配置为响应于满足开始条件，确定多个计算节点中运行的多个云主机；
利用率获取模块，被配置为获取所述多个云主机各自的第一利用率和第二利用率，一个所述云主机的所述第一利用率为该云主机在当前周期的L3缓存利用率，一个所述云主机的所述第二利用率为该云主机在上一周期的L3缓存利用率；
变化阈值获取模块，被配置为获取L3缓存利用率的变化阈值；
云主机确定模块，被配置为根据所述变化阈值和所述多个云主机各自的所述第一利用率和所述第二利用率，从所述多个云主机中确定出待迁移云主机，所述待迁移云主机为高优先级云主机或噪声云主机，所述高优先级云主机的L3缓存利用率下降值超过所述变化阈值，所述噪声云主机的L3缓存利用率上升值超过所述变化阈值；
迁移模块，被配置为迁移所述待迁移云主机。
14.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至12中任一项所述的资源调度方法。
15.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至12中任一项所述的资源调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310105574.4A CN115774622B (zh) | 2023-02-13 | 2023-02-13 | 资源调度方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310105574.4A CN115774622B (zh) | 2023-02-13 | 2023-02-13 | 资源调度方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115774622A true CN115774622A (zh) | 2023-03-10 |
| CN115774622B CN115774622B (zh) | 2023-04-21 |
Family
ID=85393723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310105574.4A Active CN115774622B (zh) | 2023-02-13 | 2023-02-13 | 资源调度方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115774622B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150199251A1 (en) * | 2014-01-10 | 2015-07-16 | International Business Machines Corporation | Techniques for monitoring a shared hardware resource |
| CN106293871A (zh) * | 2016-07-22 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种集群虚拟机的资源调度方法 |
| CN106326000A (zh) * | 2015-06-30 | 2017-01-11 | 华为技术有限公司 | 一种云计算系统中的资源调度方法及装置 |
-
2023
- 2023-02-13 CN CN202310105574.4A patent/CN115774622B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150199251A1 (en) * | 2014-01-10 | 2015-07-16 | International Business Machines Corporation | Techniques for monitoring a shared hardware resource |
| CN106326000A (zh) * | 2015-06-30 | 2017-01-11 | 华为技术有限公司 | 一种云计算系统中的资源调度方法及装置 |
| CN106293871A (zh) * | 2016-07-22 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种集群虚拟机的资源调度方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115774622B (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109597685B (zh) | 任务分配方法、装置和服务器 | |
| CN106469018B (zh) | 分布式存储系统的负载监控方法及设备 | |
| US10986191B2 (en) | Method and device for scheduling resources | |
| CN107122126B (zh) | 数据的迁移方法、装置和系统 | |
| CN113177050B (zh) | 一种数据均衡的方法、装置、查询系统及存储介质 | |
| CN104516475A (zh) | 用于管理多核片上系统上的全局芯片功率的方法和装置 | |
| CN108243032B (zh) | 一种服务等级信息的获取方法、装置及设备 | |
| CN107145394B (zh) | 一种针对数据倾斜的均衡负载处理方法及装置 | |
| CN111104303A (zh) | 一种服务器指标数据采集方法、装置和介质 | |
| CN110737717B (zh) | 一种数据库迁移方法及装置 | |
| CN113010312A (zh) | 一种超参数调优方法、装置及存储介质 | |
| CN110688360A (zh) | 分布式文件系统存储管理方法、装置、设备及存储介质 | |
| CN110221917B (zh) | 用于分配流式数据的方法及装置 | |
| CN110928636A (zh) | 虚拟机热迁移方法、装置和设备 | |
| CN107784195A (zh) | 数据处理方法及装置 | |
| CN110019260B (zh) | 一种用户数据的更新方法及相关设备 | |
| CN113923002A (zh) | 计算机网络入侵防御方法、装置、存储介质及处理器 | |
| CN106570060A (zh) | 一种信息流中数据的随机抽取方法及装置 | |
| CN115774622A (zh) | 资源调度方法、装置、电子设备和存储介质 | |
| CN110795239A (zh) | 应用内存泄露的检测方法及装置 | |
| CN108932104B (zh) | 一种数据处理方法、装置及处理服务器 | |
| CN108429704B (zh) | 一种节点资源分配方法及装置 | |
| CN114048136A (zh) | 测试类型确定方法、装置、服务器、介质及产品 | |
| CN111666535B (zh) | 确定用户活跃时长的方法、装置、电子设备及存储介质 | |
| CN113741810B (zh) | 一种数据迁移方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Patentee after: Tianyiyun Technology Co.,Ltd. Address before: 100093 Floor 4, Block E, Xishan Yingfu Business Center, Haidian District, Beijing Patentee before: Tianyiyun Technology Co.,Ltd. |