一种基于云平台资源监视的资源调度系统
技术领域
本发明属于资源调度技术领域,尤其涉及一种基于云平台资源监视的资源调度系统。
背景技术
在电子技术与计算机科学蓬勃发展的今天,越来越多的日常生活中的业务都搬到了互联网上,人们的生活越来越离不开互联网,各行各业都需要海量数据的处理,而海量数据的处理依赖于高性能的计算能力。因此,各国政府都将云计算产业作为科技战略的核心,并给予支持。
随着云计算技术的发展,大型企业、政府事业单位都已拥有自己的信息数据中心。而随着业务需求的不断扩增,数据中心的服务器、存储设备、网络设备等IT基础设施以及对能源的需求也在不断增加。为了保证业务系统的高效、可靠、稳定地运行,企事业单位已经从原始的粗暴的购置IT基础设施转向更高效地利用已有的资源,因而云计算领域的资源调度技术也得到了很大的发展。通过制定资源调度策略实现智能化管控,按需分配资源,提高了云平台的资源利用率,也降低了能源的损耗。
然而,随着业务的扩展和技术的提高,对资源调度策略制定要求也越来越高,用户制定调度策略时可能想把更多的因素考虑进去,但并不是所有因素都方便统筹量化考虑。
发明内容
本发明的目的是提供一种基于云平台资源监视的资源调度系统,以解决企业数据中心能耗高及IT资源利用率低的问题。
实现本发明目的的技术解决方案为:一种基于云平台资源监视的资源调度系统,包括资源监视模块、调度策略制定模块、策略组管理模块、虚拟机部署模块和资源调度模块;
所述资源监视模块功能用于监视各项负载指标,并获得负载指标数据,各项负载指标包括CPU利用率、内存利用率、磁盘利用率、网络流量和虚拟机数量;
所述调度策略制定模块用于定义调度策略的规则名称、规则类型的上限和下限、各项负载指标的阈值、各项负载指标对应的权值,以及触发权值;
策略组管理模块用于定义策略组名称、对策略组描述、选择调度策略,以及选择主机或主机群;
虚拟机部署模块用于当虚拟机资源不够时人为手动部署虚拟机,或根据虚拟机实际运行时遇到故障(如断电、宕机等)和生效的调度策略自动部署虚拟机;
资源调度模块功根据生效的调度策略对虚拟机和物理机资源进行调度。
所述规则类型选择“上限”即是定义了一条上限规则,当各项资源利用率超过设置的阈值时,对应的权值生效,为预先设定的值,否则为0;规则类型选择“下限”即是定义了一条下限规则,当各项资源利用率低于设置的阈值时,对应的权值生效,为预先设定的值,否则为0。
所述各项负载指标的阈值是指CPU利用率阈值、内存利用率阈值、磁盘利用率阈值、网络流量阈值和虚拟机数量阈值,CPU利用率阈值、内存利用率阈值和磁盘利用率阈值为各自已使用部分与总量的百分比,皆为0~100之间的整数,网络流量阈值为大于0的整数,虚拟机数量阈值为0~100之间的整数。
所述各项负载指标对应的权值皆为0~100之间的整数,默认值为0,配置单位为1,以便于将上述不同单位的各项指标量化后统筹考虑。当一项负载指标触发了其阈值后,其权值便获得一个指定的数据S,各项权值相加之和S权值与规则触发权值S触发相比较,当S权值≧S触发时,本规则生效。通过如下公式计算S权值:
S权值=Scpu+S内存+S磁盘+S网络I/O+S虚拟机,
其中,Scpu指CPU利用率对应的权值,S内存指内存利用率对应的权值,S磁盘指磁盘利用率对应的权值,S网络I/O指网络流量对应的权值,S虚拟机指虚拟机数量对应的权值。
根据策略里具体规则生效后的实际功能,策略被定义为节能策略、负载均衡策略、超负荷策略。其中,策略生效后为了节能会休眠部分物理机的叫节能策略;策略生效后为了提高物理机的运行性能会对虚拟机进行迁移的叫负载均衡策略;策略生效后为了提高物理机运行性能不仅对虚拟机进行迁移,还会唤醒休眠的物理机的叫超负荷策略。
策略组管理模块用于选择调度策略是指为主机或主机群配置或撤销调度策略,并约定应用迁移方式,调度策略包括上限策略和下限策略,其中上限策略配有是否唤醒物理机选项,在当前已开机的物理机不够用时,即因超负荷运行而影响了工作性能时,为了提升物理机的运行性能,自动唤醒休眠的物理机;下限策略配有是否休眠物理机选项,当物理机资源供大于求时自动休眠空闲物理机;所述应用迁移方式,考虑虚拟机的实际存储方式,提供块迁移(不依赖共享存储)和基于共享存储迁移两项可选。策略组管理模块用于选择主机或主机群是指从所有未配置调度策略的主机里面选择应用当前调度策略的主机。
关于块迁移和基于共享存储的迁移说明:不同的迁移方式主要看存储方式,当虚拟机保存在共享存储中时,外部应用可以访问该虚拟机,所谓虚拟机迁移实质上是虚拟机内存状态的迁移,这种迁移速度快;当虚拟机保存在本地磁盘时,外部应用无法访问该虚拟机,块迁移除了虚拟机内存状态要迁移外,还得迁移磁盘文件,迁移速度慢些,但是它不要求虚拟机存储在共享文件系统中。两种迁移方式是现有技术。
系统执行如下步骤:
步骤1,系统投入运行后,若开启的物理机过多,存在资源浪费的情况,此时节能策略被触发,系统通过策略组管理模块将虚拟机运行少的物理机应用迁移并休眠;
步骤2,当系统运行一段时间后,由于人为手动迁移虚拟机或因故障发生虚拟机自动迁移,运行的虚拟机多且不均匀,此时负载均衡策略被触发,系统通过虚拟机部署模块动态调整虚拟机的部署直至虚拟机均匀分布;
步骤3,随着系统的运行,虚拟机数目不断增加,物理机超负荷运行虚拟机,此时超负荷策略被触发,系统通过策略组管理模块唤醒休眠的物理机并迁入应用。所有策略最终目的都是为了使系统在最佳运行模式下运行。
针对现有技术的问题,本发明考虑不同用户可能存在的不同关注点,如网络流量、虚拟机使用数量、物理机使用数量等因素,设计了一种基于云平台资源监视的资源调度系统。通过对资源的监视获得平台的负载指标,再为这些不同单位不便于统筹量化考虑的指标配置一个单位为“1”的权值,各项权值相加之和与规则触发权值相比较,比较结果决定生效的规则,生效的规则对虚拟机和物理机进行调度。该系统扩大了调度策略决定因素范围,降低了调度策略制定因素复杂性,提高资源利用率,可解决企业数据中心资源和能源浪费问题。
有益效果:本发明与现有技术相比,其显著优点为:扩展了调度策略制定的参考因素范围,为原先不同单位不便于一起统筹量化考虑的指标配置一个单位为“1”的权值,由此可将更多指标纳入考虑范围,使得调度策略的定义和配置更加灵活;将物理机资源纳入资源调度范围,根据实际需求自动开启或休眠物理机,增加了云管理平台资源调度的智能性,可为企业数据中心提供智能化的绿色节能的云管理平台,提高系统资源利用率,降低企业运营成本。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明基于云平台资源监视的资源调度系统的调度策略注册界面图。
图2为本发明基于云平台资源监视的资源调度系统的策略组管理界面图。
图3为本发明基于云平台资源监视的资源调度系统的工作原理图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明的一种基于云平台资源监视的资源调度系统,包括资源监视模块、调度策略制定模块、策略组管理模块、虚拟机部署模块和资源调度模块。
所述资源监视模块功能包括监视CPU利用率、内存利用率、磁盘利用率、网络流量、虚拟机数量等负载指标,并获得数据。
所述调度策略制定模块功能包括定义策略的规则名称、规则类型(上限、下限)、各项负载指标的阈值、各项负载指标对应的权值,以及触发权值。规则类型选择“上限”即是定义了一条上限规则,当各项资源利用率超过设置的阈值时,对应的权值生效,为预先设定的值,否则为0;规则类型选择“下限”即是定义了一条下限规则,当各项资源利用率低于设置的阈值时,对应的权值生效,为预先设定的值,否则为0。
所述“负载指标的阈值”是指CPU利用率阈值、内存利用率阈值、磁盘利用率阈值,为各项负载已使用部分与总量的百分比,皆为0~100之间的整数。其他资源利用阈值包括网络流量阈值和虚拟机数量阈值,网络流量阈值为大于0的整数,虚拟机数量阈值为0~100之间的整数。各种资源对应的权值皆为0~100之间的整数,默认值为0,配置单位为“1”,以便于将上述不同单位的各项指标量化后统筹考虑。当某项负载指标触发了其阈值后,其权值便获得一个指定的数据S。各项权值相加之和(S权值=Scpu+S内存+S磁盘+S网络I/O+S虚拟机)与规则触发权值(S触发)相比较,当S权值≧S触发时,本规则生效。根据策略里具体规则生效后的实际功能,策略被定义为节能策略、负载均衡策略、超负荷策略。即,策略生效后为了节能会休眠部分物理机的叫节能策略;策略生效后为了提高物理机的运行性能会对虚拟机进行迁移使之分布均匀的叫负载均衡策略;策略生效后为了提高物理机运行性能不仅对虚拟机进行迁移,还会唤醒休眠的物理机的叫超负荷策略。
策略组管理模块功能包括定义策略组名称、对该策略组描述、选择策略,和选择主机/主机群。选择策略是指为主机或主机群配置或撤销调度策略,并约定应用迁移方式,其中上限策略配有是否唤醒物理机选项,在当前已开机的物理机不够用时,即因超负荷运行而影响了工作性能时,为了提升物理机的运行性能,自动唤醒休眠的物理机;下限策略配有是否休眠物理机选项,当物理机资源供大于求时自动休眠空闲物理机;应用迁移方式,考虑虚拟机的实际存储方式,提供块迁移(不依赖共享存储)和基于共享存储迁移两项可选。选择主机/主机群是指从所有未配置策略的主机里面选择应用当前策略的主机。
虚拟机部署模块主要功能为:当虚拟机资源不够时人为手动部署虚拟机,或根据虚拟机实际运行时遇到故障(如断电、宕机等)和生效的调度策略自动部署虚拟机。
资源调度模块功能为根据生效的调度策略对虚拟机和物理机资源进行调度:系统刚投入运行时,初始部署的虚拟机并不多,若开启的物理机过多,存在资源浪费的情况,此时节能策略被触发,系统将虚拟机运行少的物理机应用迁移并休眠;当系统运行一段时间后,因为人为手动迁移虚拟机或因故障发生虚拟机自动迁移,运行的虚拟机多且不均匀,此时负载均衡策略被触发,系统动态调整虚拟机的部署直至虚拟机均匀分布;随着系统的运行,虚拟机数目不断增加,物理机超负荷运行虚拟机,此时超负荷策略被触发,系统唤醒休眠的物理机并迁入应用。所有策略最终目的都是为了使系统在最佳运行模式下运行。
实施例
某云化数据中心想要引入本系统,在引入本系统时,数据中心机房的物理机整体运行状态并不确定,本例取3个极端情况来说明。
注册一个上限规则。为了便于记忆和区分,规则名称定义为“超负荷”,规则类型选择“上限”,CPU利用率阈值设为60%,内存利用率阈值设为60%,磁盘利用率阈值设为60%,网络流量阈值设为100M,虚拟机数量阈值设为20,触发权值设为60,其余各项权值统一设为20,参见图1。本规则五项指标的实际值高于其阈值时,权值即生效,即一旦有三项或以上指标的实际值高于设定的阈值时,本规则就生效。
注册一个下限规则。为了便于记忆和区分,规则名称定义为“节能环保”,规则类型选择“下限”,CPU利用率阈值设为10%,内存利用率阈值设为10%,磁盘利用率阈值设为10%,网络流量阈值设为10M,虚拟机数量阈值设为10,触发权值设为60,其余各项权值统一设为20,参见图1。本规则五项指标的实际值低于其阈值时,权值即生效,即一旦有三项或以上指标的实际值低于设定的阈值时,本规则就生效。
注册一个策略组,为了便于记忆和区分,策略组名称可以定义为“负载均衡策略”,描述框里可填写一些备注类信息或者不写,策略中的上限策略选择“超负荷”规则,在“是否唤醒”选项框中打钩,策略中的下限策略选择“节能环保”规则,在“是否休眠”选框中打钩,迁移方式根据虚拟机的实际存储方式,选择“块迁移”,主机配置中,从右边“未配置主机”中将需要应用策略的主机(即物理机)选到左边框,点击“添加”保存,参见图2。
情况1:数据中心刚投入使用不久,比如1~2天,大量物理机(假设占机房物理机总数的80%)处于开机状态,但物理机上部署的虚拟机并不多,可能一台物理机上仅有2~3台虚拟机,甚至有些物理机上并没有部署虚拟机,此时的机房处于浪费能源状态。
此时引入本系统,在这种运行状态下下限规则被触发,触发后系统会自动将运行应用少的物理机上的虚拟机迁移到别的物理机上去,并且保证被迁入应用的物理机各项指标不会触发上限规则。当该物理机上的应用完全迁出之后进入休眠状态。如此遍历,直至机房达到最佳运行模式。
情况2:数据中心已投入使用一段较长时间,比如一年甚至更久,但是仍然只有80%的物理机处于开机状态,物理机上已经部署了大量的虚拟机,比如一台物理机上部署了100台虚拟机,严重降低其运行效率,此时的物理机处于超负荷状态。
此时引入本系统,在这种运行状态下上限规则被触发,触发后系统会自动将运行应用过多的物理机上的部分虚拟机迁移到别的物理机上去,直到该物理机的各项指标对应的权值低于触发权值。如若所有已开机物理机各项指标都处于临界值或者已经越过临界值,则系统唤醒休眠的物理机并迁入应用。如此遍历,直至机房达到最佳运行模式。
情况3:数据中心刚投入使用一段不长时间,比如1~2个月,但是由于多次突然断电,系统自动迁移虚拟机,或者不考虑物理机实际运行状态人为盲目迁移虚拟机造成虚拟机分布不均匀,比如有些物理机上部署了100台虚拟机,而有些物理机上仅有10台虚拟机,不仅浪费资源,还降低工作效率。
此时引入本系统,在这种运行状态下,策略的上、下限规则被触发,触发后系统会自动将运行应用过多的物理机上的虚拟机迁移到运行应用过少的物理机上去,并酌情唤醒或者休眠其余物理机,直到虚拟机分布均匀,达到最佳运行模式,参见图3。
本发明提供了一种基于云平台资源监视的资源调度系统,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。