CN110543355A - 一种自动均衡云平台资源的方法 - Google Patents

Abstract

本发明提供了一种自动均衡云平台资源的方法，包括：按预置规则启动巡检；记录巡检日志；查询已触发阈值预警的资源；判断对该资源是否需执行超配或降配；所述超配是为该资源分配相应的共享资源，所述降配是将该资源的一部分归还共享资源池；若是，执行超配或降配，从而动态均衡云平台资源的计算能力、存储能力和网络流量能力。并且，在已超配资源完成任务后，进行降配，将超配资源归还共享资源池。本发明绕过人工处理方式在数量、权限方面的限制，有效节约人工运维成本，最大化挖掘云平台自身的可利用资源，提升云平台使用者的运行稳定性。

Description

一种自动均衡云平台资源的方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种自动均衡云平台资源的方法。

背景技术

云计算管理平台(以下简称“云平台”)部署于数据中心内部，用于将数据中心硬件能力虚拟化后提供给用户，提供给用户多样的资源和作业选择。云平台的设计初衷是让用户像用水用电那样使用计算资源，按需获取，按量计费。因而真正弹性的云计算，才会助力使用者最大限度地降低计算资源的总体拥有和使用成本。而对于“弹性”的定义，传统理解上包括整合虚拟资源，将其资源池化后按需使用(即对资源的调度均衡)，但从系统运维角度层面，同样也有“弹性”的要求。

以往云平台使用者在创建虚拟资源后，往往不会在对其进行有效的再均衡评估操作，具体原因包括：

资源数量问题：

云平台生产环境中，往往有数以千计、万计甚至百万计的虚拟化资源，单靠人工对这些资源的维护需求进行排查优化是不现实的。

权限问题：

作为云平台的普通用户，没有权限对其它用户设置的定时作业进行分析查看。而管理员也可能分为多个不同的级别，导致管理员之间的定时作业信息也往往无法共享，更谈不上进行综合评估、分析。

以上情况会导致：即便在创建虚拟化资源时，其被定义了一个相对合理的虚拟化资源规格，包括CPU数量和类型、内存大小、缓存类型和大小、网卡类型和数量、其它设备卡类型和数量等，但随着后续业务如虚拟化资源对应的业务流量等的变化，会导致该资源的运行环境变化，从而引发虚拟化资源无法满足业务需要。而同时，云平台中往往还有很多虚拟化资源处于闲置或低效运行状态，从而导致整体计算能力处于不均衡的状态，从而导致相应的经济损失。

因此，需要一种无需基于人工处理方式在数量、权限方面的限制，提供一种自动均衡云平台资源的方法，从而缓解上述问题的发生。

发明内容

为了解决上述问题，本发明提供一种自动均衡云平台资源的方法，能够动态均衡云平台中的计算能力、存储能力或网络流量能力，从而在有效节约人工运维成本的同时，最大化挖掘云平台自身的可利用资源，提升云平台的运行稳定性。

为实现上述目的，本发明提供了一种自动均衡云平台资源的方法，包括：

按预置规则启动巡检；

记录巡检日志；

查询已触发阈值预警的资源；

判断对该资源是否需执行超配或降配；所述超配是为该资源分配相应的共享资源，所述降配是将该资源的一部分归还共享资源池；

若是，执行超配或降配。

可选地，所述已触发阈值预警的资源包括超过阈值的未超配资源和/或低于阈值的已超配资源，所述阈值为各类资源运行能力的阈值。

可选地，还包括判断是否处于冷却期，在所述冷却期内，相同资源的相同预警将不再执行超配或降配。

可选地，所述判断对该资源是否需执行超配，为判断共享资源池中是否有该资源所需的可用共享资源，若是，则需执行超配。。

可选地，所述判断对该资源是否需执行降配，为判断该资源是否处于冷却期，若否，则需执行降配。

可选地，按预置规则启动巡检包括手工触发执行、定期自动执行或根据计算能力超阈值报警执行。

可选地，所述定期自动执行周期为每天执行一次，或每周执行1-2次。

可选地，在降配时分别执行降低CPU、内存、GPU、缓存设备、网卡、或部分型号专用设备卡中的一种的数量，并重启虚拟机以生效新的配置。

可选地，包括对云平台资源计算能力、存储能力或网络流量能力的自动均衡，所述资源的类型包括CPU、内存、GPU、缓存设备、网卡、部分型号专用设备卡的一种或多种。

此外，本发明还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述自动均衡云平台资源的方法。

本发明的优点和有益效果在于：相比现有的云平台数据处理技术，本发明针对云计算的日常运维场景下，通过自动化方式，根据已分配虚拟化资源的使用情况，结合预定义的阈值和对应策略，判断触发阈值预警的资源，调用共享资源池，动态均衡云平台资源的计算能力、存储能力和网络流量能力。并且，在已超配资源完成任务后，进行降配，将不需要的超配资源归还共享资源池。本发明绕过人工处理方式在数量、权限方面的限制，有效节约人工运维成本，最大化挖掘云平台自身的可利用资源，提升云平台运行的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例的部分介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了本发明一实施例的自动均衡云平台资源方法的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

在一实施例中，如图1，本发明提供了一种自动均衡云平台资源的方法，包括以下步骤：

按预置规则启动巡检；

记录巡检日志；

查询已触发阈值预警的资源；

判断对该资源是否需执行超配或降配；所述超配是为该资源分配相应的共享资源，所述降配是将该资源的一部分归还共享资源池；

若是，执行超配或降配。

进一步地，已触发阈值预警的资源包括超过阈值的未超配资源和/或低于阈值的已超配资源，阈值为预先设置的各类资源运行能力的阈值。

进一步地，还包括判断是否处于冷却期，在所述冷却期内，相同资源的相同预警将不再执行超配或降配。

进一步地，判断对该资源是否需执行超配，为判断共享资源池中是否有该资源所需的可用共享资源，若是，则需执行超配。

进一步地，查询已触发阈值预警的资源，可以是在定期巡检过程中所记录的触发阈值预警所形成的资源清单，比如每周巡检一次时，可能会生成100条触发阈值的资源记录在清单上，或者是查询到触发阈值预警则立即处理的资源。

在一实施例中，执行超配过程为：

查询已触发阈值预警的未超配资源清单，例如CPU的使用率高于80％，则属于超过阈值的未超配资源；内存的使用率高于50％，则属于超过阈值的未超配资源；

获取下一条待处理资源，对清单中的资源逐条处理；

判断共享资源池中是否有该资源所需的可用共享资源，比如算力资源、内存资源、流量资源；若有，则为需执行超配；判断是否处于冷却期，若在冷却期内，相同资源的相同预警将不再执行超配或降配；

若不在冷却期内，执行超配，即为该资源分配相应的共享资源。比如扩容虚拟资源的CPU、内存、网卡数量等，以达到提升特定资源计算能力的效果。

一般情况下，CPU计算能力超过阈值时，选择增加相应的算力资源来执行超配。比如将1个CPU增加到2个、2个CPU增加到4个、或4个CPU增加到8个等。当出现其他存储、流量等问题时，则相应执行增加内存、GPU、网卡等超配。

但是对于某些具体业务应用而言，如运行Redis2.0应用的虚拟机，即便出现性能问题，也无法通过提升CPU数量提升性能，因为Redis2.0为单线程应用无法利用多核心CPU计算能力。但是，提升内存数量可有效提升Redis计算能力。因而，超配的方式需要根据业务需要分别设置对应的策略，而不是简单的增加CPU、内存等。比如即使判断算力资源CPU计算能力超过阈值，但判断出所运行系统无法增加算力资源CPU，则选择增加内存资源来执行超配。

为实现本发明的方法，作为云平台的前置条件，云平台可设置一定比例的共享资源池，用于自动均衡计算能力时使用。即在云平台设置共享资源池，用于自动均衡资源时使用；所述资源池中的资源类型包括CPU、内存、GPU、缓存设备、网卡、部分型号专用设备卡的一种或多种。可按需设置资源池中的资源类型，一般应至少包括CPU、内存两种资源类型。

本发明中的计算能力，泛指和计算有关的相关物理资源经过云平台虚拟化及有效组合后为云平台使用者提供的能力。相关资源具体包括但不限于以下几种类型：

CPU，包括通用x86架构CPU、小型机如IBM Power使用的CPU、ARM系列CPU等；

GPU，包括支持虚拟化的GPU和不支持虚拟化的GPU，以及类似设备如FPGA等；

内存，包括配合CPU使用的内存、配合存储设备使用的内存、配合专用设备卡(网卡等)使用的内存等；

缓存设备(如用于缓存的SSD盘)，可为特定应用如Redis提供更高性能的数据存取能力，进而间接提升虚拟资源的计算能力；

网卡，目前多数网卡支持TOE特性，即可将计算能力分担到网卡芯片进行执行，从而有效降低CPU负载；

部分型号的专用设备卡(如HBA卡)，也可承担部分计算能力，从而降低CPU负载。

进一步地，按预置规则启动巡检包括手工触发执行、定期自动执行或根据计算能力超阈值报警执行等多种方式，以应对不同的业务场景需要。根据计算能力超阈值报警执行为当收到触发阈值报警的信息时，启动该方法开始巡检。为避免频繁执行对云平台引入负面影响，定期自动执行的周期为每天执行一次，或每周执行1-2次。

在一实施例中，执行降配过程为：

查询低于阈值预警的已超配资源清单；例如CPU的使用率低于20％，则属于低于阈值的已超配资源；内存的使用率低于40％，则属于低于阈值的已超配资源；

获取下一条待处理资源，对清单中的资源逐条处理；

判断已超配资源是否处于冷却期；

若已超配资源不在冷却期，则执行降配，即将超配资源归还共享资源池。

进一步地，冷却期为根据不同业务类型设置相应的超配观察期，在此期间，相同资源的相同预警将不再重复执行超配或降配。这是由于系统的滞后性，对这些已超配或降配的资源，可能仍会触发阈值预警，系统可能会将其仍判定为备选对象，再次执行自动均衡。所以，为避免频繁执行自动均衡所引发的副作用，云平台设置自动均衡后的“冷却时间(冷却期)”参数，在冷却时间范围内的，不会再被选为“自动均衡”的备选目标对象。

在超配过程中，对于不同的应用，超配效果需要一定的时间才可显现。同样以Redis为例，加大内存容量后，在对应的数据没有加载到内存前，超配效果无法有效呈现。甚至在特定场景下，性能可能还会降低。但经过一段时间比如5小时后即可看出超配效果。因而不同业务对应不同的超配观察期设置，也是自动均衡策略有效运行的一个前提。

在降配过程中，由于不同业务运行的状态不同。比如一计算资源CPU在一周内的不同时间段运行效率不同，比如周一、三、五的运行需求高，而周二、四的运行需求低，CPU的使用率也会较低，可能低于20％的阈值。若其触发阈值预警时，直接执行降配，可能无法满足其他时间段的运行需求。在此情况下，可以设置相应冷却期为1周，则即使发现有CUP在周二和周四的运行效率低，也不需要执行降配。

一般情况下，降配过程中的冷却期比超配过程中的冷却期要长的多。这是由于云平台的计算能力、存储能力、流量能力超出阈值一段时间比如几个小时或一天之后，可能会引起系统宕机，所以需及时调用共享资源。而发现一部分资源低于使用率时，不会立即影响整个云平台的运行，所以在更长的时间段比如一周再进行降配将更合理。

降配时，减少虚拟资源的CPU、内存、网卡数量等，以达到降低特定资源计算能力、存储能力、流量能力的效果。

进一步地，在降配时分别执行降低CPU、内存、GPU、缓存设备、网卡、或部分型号专用设备卡中的一种的数量，并重启虚拟机以生效新的配置。但对于部分虚拟资源执行降配时，优选设置一定的限制。比如在特定云平台下，操作系统为Windows2008 Server的虚拟机，无法同时降低CPU、内存数量，而应该分别执行其中的一种。

进一步地，本方法还分析已超配资源是否仍触发阈值预警，记录到巡检日志。

进一步地，该方法可应用到更多资源的均衡方式，包括对云平台资源计算能力、存储能力或网络流量能力的自动均衡。

进一步地，该方法还包括相关费用的计算。部分企业对计算能力的计算非常关注，可以根据实际业务需要，在超配、降配环节增加对应的资源使用计量、计费操作，以实现相应的成本管控。

对于每轮调整的效果，可增加对应的数据对比分析功能，以帮助云平台使用者或云平台自身进行相应的效果分析，并可根据效果对评估范围、超配/降配方式等采取更加合理的配置，以更好的适应实际业务需要。

对于已经执行过超配操作的资源，上述实施例的算法中未对其进行再次的超配分析。但可根据实际业务需要，设置二次甚至多次超配策略，运行对这类资源进行再次的超配。

对于无法通过自动均衡方法进行处理的资源，应做对应的记录，供云平台管理员或对应用户进行线下人工处理。

此外，本发明还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述自动均衡云平台资源的方法，至少包括以下步骤：

按预置规则启动巡检；

记录巡检日志；

查询已触发阈值预警的资源；

判断对该资源是否需执行超配或降配；所述超配是为该资源分配相应的共享资源，所述降配是将该资源的一部分归还共享资源池；

若是，执行超配或降配。

综上所述，本发明提供了一种自动均衡云平台资源的方法，根据已分配虚拟化资源的使用情况，结合预定义的阈值和对应策略，动态均衡云平台资源的能力。在绕过基于人工处理方式在数量、权限方面的限制的基础上，有效节约人工运维成本，最大化挖掘云平台自身可利用资源，提升云平台的运行稳定性和使用者的用户体验。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考上述具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种自动均衡云平台资源的方法，其特征在于，包括：

按预置规则启动巡检；

记录巡检日志；

查询已触发阈值预警的资源；

判断对该资源是否需执行超配或降配；所述超配是为该资源分配相应的共享资源，所述降配是将该资源的一部分归还共享资源池；

若是，执行超配或降配。

2.如权利要求1所述的方法，其特征在于，所述已触发阈值预警的资源包括超过阈值的未超配资源和/或低于阈值的已超配资源，所述阈值为各类资源运行能力的阈值。

3.如权利要求1所述的方法，其特征在于，还包括判断是否处于冷却期，在所述冷却期内，相同资源的相同预警将不再执行超配或降配。

4.如权利要求1所述的方法，其特征在于，所述判断对该资源是否需执行超配，为判断共享资源池中是否有该资源所需的可用共享资源，若是，则需执行超配。

5.如权利要求3所述的方法，其特征在于，所述判断对该资源是否需执行降配，为判断该资源是否处于冷却期，若否，则需执行降配。

6.如权利要求1所述的方法，其特征在于，按预置规则启动巡检包括手工触发执行、定期自动执行或根据计算能力超阈值报警执行。

7.如权利要求6所述的方法，其特征在于，还包括：所述定期自动执行的周期为每天执行一次，或每周执行1-2次。

8.如权利要求1所述的方法，其特征在于，在降配时分别执行降低CPU、内存、GPU、缓存设备、网卡、或部分型号专用设备卡中的一种的数量，并重启虚拟机以生效新的配置。

9.如权利要求1所述的方法，其特征在于，包括对云平台资源计算能力、存储能力或网络流量能力的自动均衡，所述资源的类型包括CPU、内存、GPU、缓存设备、网卡、部分型号专用设备卡的一种或多种。

10.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的所述计算机程序，且所述计算机程序被执行时，实现权利要求1-9中任意一项所述的方法。