CN115858135A - 云计算动态资源调度方法、装置及电子设备 - Google Patents
云计算动态资源调度方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115858135A CN115858135A CN202310195173.2A CN202310195173A CN115858135A CN 115858135 A CN115858135 A CN 115858135A CN 202310195173 A CN202310195173 A CN 202310195173A CN 115858135 A CN115858135 A CN 115858135A
- Authority
- CN
- China
- Prior art keywords
- machine
- migration
- migrating
- physical
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013508 migration Methods 0.000 claims abstract description 132
- 230000005012 migration Effects 0.000 claims abstract description 132
- 238000012544 monitoring process Methods 0.000 claims abstract description 100
- 230000006870 function Effects 0.000 claims description 12
- 239000002699 waste material Substances 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种云计算动态资源调度方法、装置及电子设备,包括:获取消费队列中的调度任务;基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中;其中,迁移机器包括:迁移物理机或迁移虚拟机,迁入机器包括:迁入物理机或迁入虚拟机。本发明缓解了由于个别物理机负载过高,其他物理机负载低,造成的资源浪费的问题。
Description
技术领域
本发明涉及云计算技术领域,尤其是涉及一种云计算动态资源调度方法、装置及电子设备。
背景技术
随着技术的发展,云计算实现了对计算资源、网络资源、管理存储资源进行统一调度管理的虚拟化共享化,使得计算机资源得到更加高效的利用。但是,在物理机虚拟化使用中可能会导致个别物理机负载过高,其他物理机负载低,从而造成资源的浪费。
发明内容
有鉴于此,本发明的目的在于提供一种云计算动态资源调度方法、装置及电子设备,以缓解了由于个别物理机负载过高,其他物理机负载低,造成的资源浪费的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种云计算动态资源调度方法,包括:获取消费队列中的调度任务;基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中;其中,迁移机器包括:迁移物理机或迁移虚拟机,迁入机器包括:迁入物理机或迁入虚拟机。
在一种实施方式中,调度任务包括:动态资源平衡任务;基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中,包括:如果当前可用域中可执行物理机的数量大于预设数量,则基于监控数据判断可执行物理机的CPU内存是否超过预设的第一内存CPU阈值;如果可执行物理机的CPU内存超过预设的第一内存CPU阈值,则基于监控数据确定迁移物理机以及迁出资源量;基于监控数据和迁出资源量确定迁移虚拟机集合;基于监控数据确定迁入物理机集合和可迁入资源量;基于迁出资源量和可迁入资源量在迁入物理机集合中确定迁入物理机,以及在迁移虚拟机集合中确定迁移虚拟机;将迁移虚拟机的资源迁移到迁入物理机中。
在一种实施方式中,基于监控数据和迁出资源量确定迁移虚拟机集合之后,还包括:将电源管理关闭的物理机进行开机,并确定迁入物理机集合以及计算可迁入资源量。
在一种实施方式中,调度任务包括:电源管理任务;基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中,包括:如果当前可用域中可执行物理机的数量大于预设数量,则基于监控数据判断可执行物理机的CPU内存是否超过预设的第二内存CPU阈值;如果可执行物理机的CPU内存超过预设的第二内存CPU阈值,则基于监控数据确定待关闭物理机以及待关闭物理机上的虚拟机列表;如果虚拟机列表中存在虚拟机,则根据虚拟机列表中的第一台虚拟机的使用量和监控数据确定迁入物理机;将第一台虚拟机的资源迁移到迁入物理机中。
在一种实施方式中,基于监控数据确定待关闭物理机以及待关闭物理机上的虚拟机列表之后,还包括:如果虚拟机列表中不存在虚拟机,则执行物理机关闭电源命令关闭待关闭物理机。
在一种实施方式中,将第一台虚拟机的资源迁移到迁入物理机中之后,还包括:将虚拟机列表中未迁移虚拟机的任务信息生成电源管理任务添加到消费队列中。
在一种实施方式中,将迁移机器的资源迁入到迁入机器中之后,还包括:生成并维护机器迁移日志和调度日志。
在一种实施方式中,获取消费队列中的调度任务之前,还包括:每间隔预设时间间隔进行扫描任务扫描,并获取预先划分的可用域的动态资源调度功能配置数据;其中,动态资源调度功能配置数据至少包括:动态资源平衡任务的配置数据以及电源管理任务的配置数据;如果当前扫描时间符合预设的扫描间隔,则生成调度日志,并创建调度任务的消费队列。
第二方面,本发明实施例提供了一种云计算动态资源调度装置,包括:任务获取模块,用于获取消费队列中的调度任务;数据获取模块,用于基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;迁移模块,用于基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中;其中,迁移机器包括:迁移物理机或迁移虚拟机,迁入机器包括:迁入物理机或迁入虚拟机。
第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。
本发明实施例带来了以下有益效果:
本发明实施例提供的上述云计算动态资源调度方法、装置及电子设备,首先,获取消费队列中的调度任务;然后,基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;最后,基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中;其中,迁移机器包括:迁移物理机或迁移虚拟机,迁入机器包括:迁入物理机或迁入虚拟机。上述方法通过Prometheus监控服务获取物理机和虚拟机的监控数据,并根据监控数据进行动态资源平衡,从而缓解了物理机虚拟化使用中导致的个别物理机负载过高,其他物理机负载低,资源浪费的问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于Prometheus监控的云计算动态资源调度系统的结构示意图;
图2为本发明实施例提供的一种云计算动态资源调度方法的流程图;
图3为本发明实施例提供的一种任务触发的流程图;
图4为本发明实施例提供的一种任务执行的流程图;
图5为本发明实施例提供的一种云计算动态资源调度装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,物理机虚拟化使用中可能会导致个别物理机负载过高,其他物理机负载低,从而造成资源的浪费。因此,需要通过虚拟机动态迁移达到物理机资源使用平衡,但是,各大云厂商都有自己的动态资源平衡技术,技术实现不一样,性能效果不一样,而且针对虚拟机无法迁移等现象需要人工干预。
基于此,本发明实施例提供的一种云计算动态资源调度方法、装置及电子设备,以缓解了由于个别物理机负载过高,其他物理机负载低,造成的资源浪费的问题。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种云计算动态资源调度方法进行详细介绍,该方法可以通过基于Prometheus监控的云计算动态资源调度系统实现,参见图1所示的一种基于Prometheus监控的云计算动态资源调度系统的结构示意图,示意出该系统主要包括以下四个组件:配置管理组件、任务触发组件、任务执行组件以及Prometheus监控组件。在具体实施时,该系统可以进行单节点和集群部署,调度使用kafka自带的zookeeper的选主功能。其中,图1所示的物理主机即为本发明中的物理机。
具体的,Prometheus监控组件可以使用行业内监控组件Prometheus搭配场景需要的监控表达式并设置监控项,诸如:物理机CPU平均使用率、物理机内存平均使用率、虚拟机CPU使用率、虚拟机内存使用率等。同时,Prometheus监控组件可以为API提供可查寻的瞬时和区间端监控数据。
配置管理组件,即用于配置动态资源调度功能配置数据文件的组件。具体包括:(1)对物理机进行可用域划分,即物理机分组(可用域分组);(2)配置开启动态资源平衡任务,包括配置触发内存CPU的阈值(即第一内存CPU阈值),持续时间,扫描间隔等;(3)配置开启电源管理任务,包括配置触发内存CPU的阈值(即第二内存CPU阈值),持续时间,扫描间隔等;(4)查看调度日志,诸如虚拟云主机迁移记录和任务执行记录等。
任务触发组件能够以最小频率(1分钟)持续扫描配置任务,并在扫描到符合配置的任务时,创建调度任务到消费队列中执行。
任务执行组件是动态资源平衡任务和电源管理任务的核心执行组件。具体的,可以基于Prometheus监控数据判断执行条件,寻找迁移物理机、迁入物理机,寻找迁移虚拟机、迁入虚拟机,以及维护迁移日志和维护调度日志。
基于上述基于Prometheus监控的云计算动态资源调度系统,本发明实施例提供了一种云计算动态资源调度方法,参见图2所示的一种云计算动态资源调度方法的流程图,示意出该方法主要包括以下步骤S201至步骤S203:
步骤S201:获取消费队列中的调度任务。
在一种实施方式中,调度任务包括动态资源平衡任务和电源管理任务,可以预先通过配置管理组件对调度任务进行配置,任务触发组件在扫描到符合要求的调度任务时,可以将该调度任务加入到消费列表中。当任务执行组件执行调度任务时,即可从消费队列中读取调度任务。
步骤S202:基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据。
在一种实施方式中,可以通过Prometheus监控服务获取监控数据,诸如:物理机CPU平均使用率、物理机内存平均使用率、虚拟机CPU使用率、虚拟机内存使用率等。
步骤S203:基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中。
其中,迁移机器包括:迁移物理机或迁移虚拟机,迁入机器包括:迁入物理机或迁入虚拟机。在一种实施方式中,可以根据不同的调度任务以及Prometheus监控数据寻找迁移物理机、迁入物理机、迁移虚拟机和迁入虚拟机,将迁移虚拟机或迁移物理机的资源迁移到迁入物理机或迁入虚拟机中,并生成以及维护机器迁移日志和调度日志。
本发明实施例提供的上述云计算动态资源调度方法,通过Prometheus监控服务获取物理机和虚拟机的监控数据,并根据监控数据进行动态资源平衡,从而缓解了物理机虚拟化使用中导致的个别物理机负载过高,其他物理机负载低,资源浪费的问题。
在一种实施方式中,任务执行组件在获取到调度任务后需要先对任务类型进行判断,并根据不用的任务类型执行对应的调度任务。具体的,当调度任务为动态资源平衡任务时,在基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中时,可以采用包括但不限于以下方式,主要包括以下步骤1至步骤6:
步骤1:如果当前可用域中可执行物理机的数量大于预设数量,则基于监控数据判断可执行物理机的CPU内存是否超过预设的第一内存CPU阈值。
在具体实施时,当确定当前调度任务为动态资源平衡任务时,首先判断当前可用域中可执行物理机的数量是否大于预设数量(诸如两台),如果当前可用域中可执行物理机的数量大于预设数量,则根据获取到的监控数据判断可执行物理机的CPU内存是否超过预设的第一内存CPU阈值,否则维护调度日志,结束任务。
步骤2:如果可执行物理机的CPU内存超过预设的第一内存CPU阈值,则基于监控数据确定迁移物理机以及迁出资源量。
在具体实施时,如果可执行物理机的CPU内存超过预设的第一内存CPU阈值,则根据每台物理机的监控数据(诸如:CPU平均使用率、内存平均使用率)计算迁移物理机以及迁出资源量。
步骤3:基于监控数据和迁出资源量确定迁移虚拟机集合。
在具体实施时,可以根据Prometheus监控数据获取符合迁出资源量需求的迁移虚拟机集合。
步骤4:基于监控数据确定迁入物理机集合和可迁入资源量。
在具体实施时,可以根据Prometheus监控数据获取符合迁入需求的迁入物理机集合以及每台纳入物理机的可迁入资源量。
步骤5:基于迁出资源量和可迁入资源量在迁入物理机集合中确定迁入物理机,以及在迁移虚拟机集合中确定迁移虚拟机。
在具体实施时,可以根据计算得到的迁出资源量和可迁入资源量采用背包算法确定符合需求的迁入物理机和迁移虚拟机。如果无法在迁入物理机集合中确定符合需求的迁入物理机,则将电源管理关闭的物理机进行开机,并确定迁入物理机集合以及计算可迁入资源量,即将开机后的物理机作为迁入物理机集合并计算可迁入资源量,进而确定迁入物理机。
步骤6:将迁移虚拟机的资源迁移到迁入物理机中。
本发明实施例提供的上述方法,通过动态资源平衡可以有效改善物理机虚拟化使用中导致的个别物理机负载过高,其他物理机负载低,资源浪费的问题。
在一种实施方式中,当调度任务时电源管理任务时,在基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中时,可以采用包括但不限于以下方式,主要包括以下步骤(1)至步骤(4):
步骤(1):如果当前可用域中可执行物理机的数量大于预设数量,则基于监控数据判断可执行物理机的CPU内存是否超过预设的第二内存CPU阈值。
在具体实施时,当确定当前调度任务为电源管理任务时,首先判断当前可用域中可执行物理机的数量是否大于预设数量,如果当前可用域中可执行物理机的数量大于预设数量,则继续根据Prometheus监控数据判断可执行物理机的CPU内存是否超过预设的第二内存CPU阈值。
步骤(2):如果可执行物理机的CPU内存超过预设的第二内存CPU阈值,则基于监控数据确定待关闭物理机以及待关闭物理机上的虚拟机列表。
在具体实施时,如果可执行物理机的CPU内存超过预设的第二内存CPU阈值,则根据Prometheus监控数据获取待关闭物理机以及待关闭物理机上的虚拟机列表。
步骤(3):如果虚拟机列表中存在虚拟机,则根据虚拟机列表中的第一台虚拟机的使用量和监控数据确定迁入物理机。
步骤(4):如果虚拟机列表中不存在虚拟机,则执行物理机关闭电源命令关闭待关闭物理机。
在具体实施时,在得到虚拟机列表之后,先判断虚拟机列表中有无虚拟机,如果虚拟机列表中存在虚拟机,则获取虚拟机列表中的第一台虚拟机,根据第一虚拟机的使用量和Prometheus监控数据寻找可迁入的迁入物理机。如果虚拟机列表中不存在虚拟机,则执行物理机关闭电源命令关闭待关闭物理机,电源管理成功,并维护调度日志。
步骤(5):将第一台虚拟机的资源迁移到迁入物理机中。
步骤(6):将虚拟机列表中未迁移虚拟机的任务信息生成电源管理任务添加到消费队列中。
在具体实施时,将第一台虚拟机的资源迁移到迁入物理机中之后,需要维护机器的迁移日志,并且对于未迁移虚拟机,可以将未迁移虚拟机的任务信息再次生成电源管理任务添加到消费队列中(即kafka队列),重复执行上述步骤(1)至步骤(6)。
本发明实施例提供的上述方法,通过电源管理可以在物理机虚拟化集群负载极低情况下动态关闭物理机,节省能耗。
在一种实施方式中,将迁移机器的资源迁入到迁入机器中之后,上述还包括:生成并维护机器迁移日志和调度日志。
进一步地,本发明实施例还提供了调度任务的创建过程,即任务触发组件的工作流程,具体包括以下步骤:首先,每间隔预设时间间隔进行任务扫描,并获取预先划分的可用域的动态资源调度功能配置数据;其中,动态资源调度功能配置数据至少包括:动态资源平衡任务的配置数据以及电源管理任务的配置数据;然后,如果当前扫描时间符合预设的扫描间隔,则生成调度日志,并创建调度任务的消费队列。
具体的,参见图3所示,任务触发组件可以定时1分钟扫描触发,即每间隔1分钟进行任务触发扫描;对于扫描到的节点首先判断是否为主节点,如果是,则获取所有可用域的动态资源调度功能配置数据(包括:动态资源平衡任务的配置数据以及电源管理任务的配置数据),否则,结束任务触发过程;接着,判断符合扫描间隔,即判断扫描时间是否符合预设的扫描间隔,如果符合,则生成调度日志,并创建调度任务的消费队列,否则,结束任务触发过程。
为了便于理解,本发明实施例还提供了一种具体的调度任务执行方法,即任务执行组件的工作流程,参见图4所示,首先从消费队列中获取调度任务,并判断任务是否过期,若任务不过期,则执行调度任务并判断任务任务类型。
当调度任务为动态资源平衡任务时,首先判断当前可用域中可执行物理机的数量是否大于2台,如果当前可用域中可执行物理机的数量是否大于2台,则根据Prometheus监控数据判断是否符合触发阈值(即判断可执行物理机的CPU内存是否超过预设的第一内存CPU阈值),如果符合触发阈值,则继续判断是否完成上一次调度,如果已经完成上一次调度,则根据Prometheus监控数据获取迁出物理机(即迁移物理机)和平衡所需迁出资源量;然后,根据Prometheus监控数据获取符合迁出的虚拟机集合;接着,判断是否有符合迁出的虚拟机,如果有,则根据Prometheus监控数据获取符合迁入的物理机集合和可迁入资源量,并判断是否有符合迁入的物理机,如果有,则根据背包算法选出合适的虚拟机和迁入物理机,如果没有,则查找有无电源管理关闭的物理机,如果有电源管理关闭的物理机,则将物理机开机,计算可迁入资源量,然后根据背包算法选出合适的虚拟机和迁入物理机;之后,迁移虚拟机至迁入物理机,并维护机器迁移日志以及维护调度日志。
当调度任务为电源管理任务时,首先判断当前可用域中可执行物理机的数量是否大于2台,如果当前可用域中可执行物理机的数量是否大于2台,则根据Prometheus监控数据判断是否符合触发阈值(即判断可执行物理机的CPU内存是否超过预设的第二内存CPU阈值),如果符合触发阈值,则继续判断是否完成上一次调度,如果已经完成上一次调度,则根据Prometheus监控数据获取待关闭物理机,以及获取物理机上虚拟机列表;然后,判断虚拟机列表中有无虚拟机;如果虚拟机列表中有虚拟机,则获取列表中第一台虚拟机,根据虚拟机使用量,通过Prometheus监控数据寻找可迁入物理机;接着,迁移虚拟机至迁入物理机,并维护机器迁移日志;最后,将未迁移虚拟机的任务信息再次生成电源管理任务压入kafka队列中,重复上述过程。如果虚拟机列表中没有虚拟机,则执行物理机关闭电源命令,管理成功,并维护调度日志。
本发明实施例提供的上述方法,能够基于Prometheus监控数据进行动态资源平衡和电源管理,改善了物理机虚拟化使用中导致的个别物理机负载过高,其他物理机负载低,资源浪费的问题;同时能够在物理机虚拟化集群负载极低情况下动态关闭物理机,节省能耗。
对于前述实施例提供的云计算动态资源调度方法,本发明实施例还提供了一种云计算动态资源调度装置,参见图5所示的一种云计算动态资源调度装置的结构示意图,该装置可以包括以下部分:
任务获取模块501,用于获取消费队列中的调度任务;
数据获取模块502,用于基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;
迁移模块503,用于基于监控数据和调度任务确定迁移机器和迁入机器,并将迁移机器的资源迁入到迁入机器中;其中,迁移机器包括:迁移物理机或迁移虚拟机,迁入机器包括:迁入物理机或迁入虚拟机。
本发明实施例提供的上述云计算动态资源调度装置,通过Prometheus监控服务获取物理机和虚拟机的监控数据,并根据监控数据进行动态资源平衡,从而缓解了物理机虚拟化使用中导致的个别物理机负载过高,其他物理机负载低,资源浪费的问题。
在一种实施方式中,调度任务包括:动态资源平衡任务;上述迁移模块503进一步还用于:如果当前可用域中可执行物理机的数量大于预设数量,则基于监控数据判断可执行物理机的CPU内存是否超过预设的第一内存CPU阈值;如果可执行物理机的CPU内存超过预设的第一内存CPU阈值,则基于监控数据确定迁移物理机以及迁出资源量;基于监控数据和迁出资源量确定迁移虚拟机集合;基于监控数据确定迁入物理机集合和可迁入资源量;基于迁出资源量和可迁入资源量在迁入物理机集合中确定迁入物理机,以及在迁移虚拟机集合中确定迁移虚拟机;将迁移虚拟机的资源迁移到迁入物理机中。
在一种实施方式中,上述迁移模块503进一步还用于:将电源管理关闭的物理机进行开机,并确定迁入物理机集合以及计算可迁入资源量。
在一种实施方式中,调度任务包括:电源管理任务;上述迁移模块503进一步还用于:如果当前可用域中可执行物理机的数量大于预设数量,则基于监控数据判断可执行物理机的CPU内存是否超过预设的第二内存CPU阈值;如果可执行物理机的CPU内存超过预设的第二内存CPU阈值,则基于监控数据确定待关闭物理机以及待关闭物理机上的虚拟机列表;如果虚拟机列表中存在虚拟机,则根据虚拟机列表中的第一台虚拟机的使用量和监控数据确定迁入物理机;将第一台虚拟机的资源迁移到迁入物理机中。
在一种实施方式中,上述迁移模块503进一步还用于:如果虚拟机列表中不存在虚拟机,则执行物理机关闭电源命令关闭待关闭物理机。
在一种实施方式中,上述迁移模块503进一步还用于:将虚拟机列表中未迁移虚拟机的任务信息生成电源管理任务添加到消费队列中。
在一种实施方式中,上述装置还包括维护模块,用于:生成并维护机器迁移日志和调度日志。
在一种实施方式中,上述装置还包括任务生成模块,用于:每间隔预设时间间隔进行扫描任务扫描,并获取预先划分的可用域的动态资源调度功能配置数据;其中,动态资源调度功能配置数据至少包括:动态资源平衡任务的配置数据以及电源管理任务的配置数据;如果当前扫描时间符合预设的扫描间隔,则生成调度日志,并创建调度任务的消费队列。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被处理器运行时执行如上实施方式的任一项所述的方法。
图6为本发明实施例提供的一种电子设备的结构示意图,该电子设备100包括:处理器60,存储器61,总线62和通信接口63,所述处理器60、通信接口63和存储器61通过总线62连接;处理器60用于执行存储器61中存储的可执行模块,例如计算机程序。
其中,存储器61可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器61用于存储程序,所述处理器60在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中,或者由处理器60实现。
处理器60可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61,处理器60读取存储器61中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种云计算动态资源调度方法,其特征在于,包括:
获取消费队列中的调度任务;
基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;
基于所述监控数据和所述调度任务确定迁移机器和迁入机器,并将所述迁移机器的资源迁入到所述迁入机器中;其中,所述迁移机器包括:迁移物理机或迁移虚拟机,所述迁入机器包括:迁入物理机或迁入虚拟机。
2.根据权利要求1所述的方法,其特征在于,所述调度任务包括:动态资源平衡任务;
基于所述监控数据和所述调度任务确定迁移机器和迁入机器,并将所述迁移机器的资源迁入到所述迁入机器中,包括:
如果当前可用域中可执行物理机的数量大于预设数量,则基于所述监控数据判断所述可执行物理机的CPU内存是否超过预设的第一内存CPU阈值;
如果所述可执行物理机的CPU内存超过预设的第一内存CPU阈值,则基于所述监控数据确定迁移物理机以及迁出资源量;
基于所述监控数据和所述迁出资源量确定迁移虚拟机集合;
基于所述监控数据确定迁入物理机集合和可迁入资源量;
基于所述迁出资源量和所述可迁入资源量在所述迁入物理机集合中确定迁入物理机,以及在所述迁移虚拟机集合中确定迁移虚拟机;
将所述迁移虚拟机的资源迁移到所述迁入物理机中。
3.根据权利要求2所述的方法,其特征在于,基于所述监控数据和所述迁出资源量确定迁移虚拟机集合之后,还包括:
将电源管理关闭的物理机进行开机,并确定迁入物理机集合以及计算可迁入资源量。
4.根据权利要求1所述的方法,其特征在于,所述调度任务包括:电源管理任务;
基于所述监控数据和所述调度任务确定迁移机器和迁入机器,并将所述迁移机器的资源迁入到所述迁入机器中,包括:
如果当前可用域中可执行物理机的数量大于预设数量,则基于所述监控数据判断所述可执行物理机的CPU内存是否超过预设的第二内存CPU阈值;
如果所述可执行物理机的CPU内存超过预设的第二内存CPU阈值,则基于所述监控数据确定待关闭物理机以及所述待关闭物理机上的虚拟机列表;
如果所述虚拟机列表中存在虚拟机,则根据所述虚拟机列表中的第一台虚拟机的使用量和所述监控数据确定迁入物理机;
将所述第一台虚拟机的资源迁移到所述迁入物理机中。
5.根据权利要求4所述的方法,其特征在于,基于所述监控数据确定待关闭物理机以及所述待关闭物理机上的虚拟机列表之后,还包括:
如果所述虚拟机列表中不存在虚拟机,则执行物理机关闭电源命令关闭所述待关闭物理机。
6.根据权利要求4所述的方法,其特征在于,将所述第一台虚拟机的资源迁移到所述迁入物理机中之后,还包括:
将所述虚拟机列表中未迁移虚拟机的任务信息生成电源管理任务添加到所述消费队列中。
7.根据权利要求1所述的方法,其特征在于,将所述迁移机器的资源迁入到所述迁入机器中之后,还包括:
生成并维护机器迁移日志和调度日志。
8.根据权利要求1所述的方法,其特征在于,获取消费队列中的调度任务之前,还包括:
每间隔预设时间间隔进行扫描任务扫描,并获取预先划分的可用域的动态资源调度功能配置数据;其中,所述动态资源调度功能配置数据至少包括:动态资源平衡任务的配置数据以及电源管理任务的配置数据;
如果当前扫描时间符合预设的扫描间隔,则生成调度日志,并创建调度任务的消费队列。
9.一种云计算动态资源调度装置,其特征在于,包括:
任务获取模块,用于获取消费队列中的调度任务;
数据获取模块,用于基于Prometheus监控服务获取当前可用域中物理机和/或虚拟机的监控数据;
迁移模块,用于基于所述监控数据和所述调度任务确定迁移机器和迁入机器,并将所述迁移机器的资源迁入到所述迁入机器中;其中,所述迁移机器包括:迁移物理机或迁移虚拟机,所述迁入机器包括:迁入物理机或迁入虚拟机。
10.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310195173.2A CN115858135A (zh) | 2023-03-03 | 2023-03-03 | 云计算动态资源调度方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310195173.2A CN115858135A (zh) | 2023-03-03 | 2023-03-03 | 云计算动态资源调度方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115858135A true CN115858135A (zh) | 2023-03-28 |
Family
ID=85659858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310195173.2A Pending CN115858135A (zh) | 2023-03-03 | 2023-03-03 | 云计算动态资源调度方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115858135A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104270430A (zh) * | 2014-09-19 | 2015-01-07 | 国云科技股份有限公司 | 一种适用于云计算的服务器远程调度方法 |
US20150052254A1 (en) * | 2012-05-04 | 2015-02-19 | Huawei Technologies Co., Ltd. | Virtual Machine Live Migration Method, Virtual Machine Deployment Method, Server, and Cluster System |
CN106201693A (zh) * | 2016-07-12 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种虚拟化环境中的调度方法及系统 |
CN110389813A (zh) * | 2019-06-17 | 2019-10-29 | 东南大学 | 一种面向网络靶场的虚拟机动态迁移方法 |
-
2023
- 2023-03-03 CN CN202310195173.2A patent/CN115858135A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150052254A1 (en) * | 2012-05-04 | 2015-02-19 | Huawei Technologies Co., Ltd. | Virtual Machine Live Migration Method, Virtual Machine Deployment Method, Server, and Cluster System |
CN104270430A (zh) * | 2014-09-19 | 2015-01-07 | 国云科技股份有限公司 | 一种适用于云计算的服务器远程调度方法 |
CN106201693A (zh) * | 2016-07-12 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种虚拟化环境中的调度方法及系统 |
CN110389813A (zh) * | 2019-06-17 | 2019-10-29 | 东南大学 | 一种面向网络靶场的虚拟机动态迁移方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Arroba et al. | Dynamic Voltage and Frequency Scaling‐aware dynamic consolidation of virtual machines for energy efficient cloud data centers | |
CN107431696B (zh) | 用于应用自动化部署的方法和云管理节点 | |
CN113243005A (zh) | 按需网络代码执行系统中的基于性能的硬件仿真 | |
US20110022870A1 (en) | Component power monitoring and workload optimization | |
CN109992350B (zh) | 云计算系统的资源池中虚拟机的迁移方法及装置 | |
Dargie | Estimation of the cost of VM migration | |
US10263876B2 (en) | Adaptive service timeouts | |
CN106874100B (zh) | 计算资源分配方法及装置 | |
Alzamil et al. | Energy-aware profiling for cloud computing environments | |
US11436231B2 (en) | Continuous query scheduling and splitting in a cluster-based data storage system | |
CN115373835A (zh) | Flink集群的任务资源调整方法、装置及电子设备 | |
CN110471769B (zh) | 一种虚拟机的资源管理方法及装置 | |
CN114629960B (zh) | 资源调度方法、装置、系统、设备、介质和程序产品 | |
US9910709B2 (en) | Allocation control method and apparatus | |
CN112860387A (zh) | 分布式任务调度方法、装置、计算机设备及存储介质 | |
KR101608859B1 (ko) | 클라우드 기반의 지능형 전력제어 시스템 | |
CN115858135A (zh) | 云计算动态资源调度方法、装置及电子设备 | |
CN112783713A (zh) | 一种多核虚拟机卡顿的处理方法、装置、设备和存储介质 | |
CN115269193A (zh) | 自动化测试中实现分布式负载均衡的方法及装置 | |
CN114721876A (zh) | 一种数据备份方法、装置、介质 | |
CN113127289B (zh) | 一种基于yarn集群的资源管理方法、计算机设备和存储介质 | |
CN109995551B (zh) | 云计算系统的业务计量方法及装置 | |
CN111258713A (zh) | 一种动态电源管理实现方法、装置和设备 | |
CN114020464B (zh) | 一种动态处理虚拟化资源的方法、装置及存储介质 | |
Huaijun et al. | Research and implementation of mobile cloud computing offloading system based on Docker container |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230328 |