CN111708671A - 一种对服务器资源使用效能评估及资源调配的方法及系统 - Google Patents

Abstract

本发明公开了一种对服务器资源使用效能评估及资源调配的方法及系统，该方法包括：对服务器资源进行监控，并保存监控数据；采集保存的监控数据，并清洗数据，清洗后提取汇总得到供评价体系使用的数据；建立资源效能评估体系，输入供评价体系使用的数据，得到效能评估值；根据效能评估值与水位指标比较，是否落入水位指标中的降配档、合理档和升配档，然后进行资源调配。本发明可以更快速、准确找到较高效能、较低效能的资源，对不同IT用途的资源进行效能分析的方法，并进行资源调配，使得对资源管理更自动、更快速、更高效、更精准。

Description

一种对服务器资源使用效能评估及资源调配的方法及系统

技术领域

本发明涉及资源调配技术领域，具体涉及一种对服务器资源使用效能评估及资源调配的方法及系统。

背景技术

伴随近年来国内信息技术发展，IT系统广泛运行与各个企事业单位，IT系统赖以运行计算机、服务器等，IT系统运行的整个生命周期中，对资源的使用程度不同，以往IT管理员部署监控系统监控CPU、内存、磁盘等单一资源评估，哪个不足扩容哪个，缺少资源回收机制，这种操作是片面的，难以支撑决策的。

公开号为CN105376111A(申请号为201510779474.5)的中国发明专利申请公开了一种资源分配方法和装置。所述方法的一具体实施方式包括：确定多个业务的优先级；获取当前负载数据；基于当前负载数据和优先级，为每个业务分配资源。该实施方式能够对服务器资源进行动态调配，极大地提高了服务器的可靠性。但是该技术方案的负载数据和优先级的具体评价不够准确和完善。

发明内容

本发明的目的在于对服务器资源使用监控，提供了一种对服务器资源使用效能评估及资源调配的方法及系统，根据可配置的资源效能对资源评估，根据资源的属性可从不同维度对包括但不限于服务器维度、项目维度、运行软件维度、运行模块维度进行多角度评估，然后进行资源调配。

一种对服务器资源使用效能评估及资源调配的方法，包括以下步骤：

S1.对服务器资源进行监控，并保存监控数据；

S2.采集步骤S1保存的监控数据，并清洗数据，清洗后提取汇总得到供评价体系使用的数据；

S3.建立资源效能评估体系，输入步骤S2得到的供评价体系使用的数据，得到效能评估值；

S4.根据步骤S3得到的效能评估值与水位指标比较，是否落入水位指标中的降配档、合理档和升配档，然后进行资源调配；

步骤S3中，所述的资源效能评估体系包括指标和子指标，所述的指标为CPU、内存、磁盘、网卡等指标，所述的CPU的子指标为CPU使用率、CPU波动率、CPU单日内最大值，所述的内存的子指标为内存使用率，所述的磁盘的子指标为磁盘使用率、磁盘的IOPS(Input/Output Operations Per Second)值和磁盘最大延迟，所述的网卡的子指标为流入最大值、流出最大值。

所述的CPU波动率为CPU峰值超过CPU平均值的百分比。

进一步优选，所述的资源效能评估体系的效能评估值计算方式如下：

效能评估值＝[CPU使用率*(0.55～0.65)+CPU波动率*(0.25～0.35)+CPU单日内最大值*(0.05～0.15)]*100*(0.65～0.75)+内存使用率*1*100*(0.05～0.15)+[磁盘使用率*(0.65～0.75)+磁盘的IOPS值/200*(0.1～0.3)+磁盘最大延迟/100*(0.05～0.15)]*100*(0.1～0.3)；

最优选的，所述的资源效能评估体系的效能评估值计算方式如下：

效能评估值＝(CPU使用率*0.6+CPU波动率*0.3+CPU单日内最大值*0.1)*100*0.7+内存使用率*1*100*0.1+(磁盘使用率*0.7+磁盘的IOPS值/200*0.2+磁盘最大延迟/100*0.1)*100*0.2；

步骤S4中，水位指标的范围为降配档[0～15]，合理档(15～70]，升配档(70～100]。

所述的资源调配，具体包括：

当步骤S3得到的效能评估值落入水位指标中的降配档，触发服务器的降配操作(如减少CPU数量、减少内存大小、减少磁盘大小)；

当步骤S3得到的效能评估值落入水位指标中的合理档，服务器不操作；

当步骤S3得到的效能评估值落入水位指标中的升配档，触发服务器的升配操作(如增加CPU数量、扩充内存大小、扩充磁盘大小)；

一种对服务器资源使用效能评估及资源调配的系统，其特征在于，包括：

对服务器资源进行监控并保存监控数据的服务器资源监控模块；

对监控数据清洗和提取的监控数据处理模块；

对资源效能评估的效能评估模块；

根据效能评估值进行资源调配的资源调配模块。

与现有技术相比，本发明具有以下有益效果：

一、本发明量化评价IT资源使用效能，避免人工评价结果的不稳定性；

二、在该方法指导下更容易自动化实现IT资源效能的评估，解放IT维护人员生产力；

三、评价体系可配、可调，可以灵活适配不同组织的不同需求；

四、本发明可以更快速、准确找到较高效能、较低效能的资源，对不同IT用途的资源进行效能分析的方法，并进行资源调配，使得对资源管理更自动、更快速、更高效、更精准。

附图说明

图1为本发明的方法的主要流程图；

图2为本发明对服务器资源使用效能评估及资源调配的方法的流程图。

图3为采用本发明方法后的服务器资源管理决策时间耗时单位(小时)的示意图；

图4为采用本发明方法后从开始做服务器优化决策到优化执行完毕耗时单位(小时)的示意图。

具体实施方式

如图1、图2所示，一种对服务器资源使用效能评估及资源调配的方法，包括以下步骤：

S1.对服务器资源进行监控，并保存监控数据；

S2.定义资源效能评估体系，定义指标和子指标占比(如CPU使用率、CPU波动率，内存使用率，磁盘使用率等指标)，具体如表1所示；

表1

表1中，

α1+α2+...+αn＝100％；

β1+β2+...+βn＝100％；

θ1+θ2+...+θn＝100％；

γ1+γ2+...+γn＝100％；

S3.编写监控数据采集模块，并清洗数据；

S4.根据S2的效能评估值体系对S3清洗后的数据进行打分并保存结果(以IT资源为颗粒度)；

指标1监控数据：A1,A2,...,An

指标2监控数据：B1,B2,...,Bn

指标n监控数据：C1,C2,...,Cn

公式为：

δ＝(A1*β1+A2*β2+...+An*βn)*α1+

(B1*θ1+B2*θ2+...+Bn*θn)*α2+

(C1*γ1+C2*γ2+...+Cn*γn)*αn

S5.制定水位指标，低于水位的资源发给IT管理人员或弹性容量管理系统；

步骤S1中，所述的IT资源监控，并保存监控数据，可以使用如Zabbix、Prometheus监控系统实现。IT资源说明：包括但不限于传统机房服务器、网络设备、存储设备、云计算资源等，凡是可以获取并保存资源使用数据或运行数据的，都可以是使用该方法进行评估；

步骤S2中，包括1)设计资源“资源效能评估系统”评价体系(包括评价的重要指标和占比)；

2)指标、权重占比，动态可调；

步骤S3中：包括：

1)编写API(包括单不限于CPU使用率、CPU波动率，内存使用率，磁盘使用率等指标的查询接口)拉取IT资源重要监控数据；

2)定义IT资源颗粒度(如服务器)，按照IT资源颗粒度整合数据，包括单不限于server_id,server_name,project,software,module,cpu_usage,mem_usage,disk_usage等(包括但不限于project,software,module为资源标签便于对资源进行分析增加维度)。

步骤S4中，根据S2的资源效能评估体系对S3清洗后计算打分并保存数据，用于分析。

步骤S5中，制定水位指标(包括但不限于扩容水位、缩容水位、空转水位等)，作为包括但不限于资源回收、弹性伸缩操作的依据。

以下结合具体实施例，进行进一步说明。

S1.对IT资源进行监控，并保存监控数据：部署Prometheus监控系统对资源监控，监控数据默认保存在TSDB中，也可以自定义保存在其他时序数据库中；

S2.定义资源效能评估体系，如表2所示：

表2

说明：指标选择和配置可根据实际需要进行配置，比如物理机可以引入硬件温度、Raid卡电池相关指标、网络吞吐指标等，并可以制定分项指标占比，进过实际数据考验后的参数可以作为资源使用效能评估的基础方法；

术语英文别名：CPU使用率为cpu_usage，CPU最大波动率为cpu_vix，CPU单日内最大值为cpu_max，内存使用率为mem_usage，磁盘使用率为disk_usage，磁盘IOPS为disk_iops，磁盘最大延迟为disk_letency。

S3.编写监控数据采集模块，并清洗数据：使用Prometheus API读取监控数据，并保存在自行开发的数据库里面，避免反复查询缓慢、避免Promethus保存监控数据时间限制、避免反复通过Promethus读取数据导致监控系统高缓慢等问题；

S4.根据S2的资源效能评估体系对S3清洗后的数据进行评估并保存结果：

量化评估计算公式：

score＝(cpu_usage*0.6+cpu_vix*0.3+cpu_max*0.1)*100*0.7+mem_usage*1*0.1*100+(disk_usage*0.7+disk_iops/200*0.2+disk_letency/100*0.1)*0.2*100

S5.制定水位指标，进行资源调配，低于水位的资源发给IT管理人员或弹性容量管理系统，效能评估值说明及应用如下：

score取值范围[0,100]，效能评估值score内涵：

A)score越接近100，说明资源整体效能越高，效能过高意味着系统处于高负载运行状态下，可能说明需要扩容或优化应用程序了；

B)score越接近0，说明资源整体效能很低，效能过低意味着系统处于接近空转状态，在浪费资源，可能需要进行降配或进行服务合并部署了；

C)资源运行在一个合理的范围内是衡量资源使用合理性的量化标准；

制定合理水位：资源处于合理使用范围的分数比如[15,40]，对实际的指导意义和实用价值：

用法一、score分数阶梯风险定级：

[40,60)中；

[60,80)高；

[80,100]极高；

用法二、score分数指导服务器资源伸缩；

[0,15]降配；

(15,40]合理；

[40,70]升配；

根据score分数，得到需要扩容的资源清单，调用企业的CMDB的资源管理接口完成资源扩容/缩容(这个过程要充分考虑服务的连续性，这是CMDB资源管理应该考虑在内的，避免由于资源维护导致的业务连续性中断)。

具体地，水位指标的范围为降配档[0～15]，合理档(15～70]，升配档(70～100]。资源调配，具体包括：

当步骤S3得到的效能评估值落入水位指标中的降配档，触发服务器的降配操作(如减少CPU数量、减少内存大小、减少磁盘大小)；

当步骤S3得到的效能评估值落入水位指标中的合理档，服务器不操作；

当步骤S3得到的效能评估值落入水位指标中的升配档，触发服务器的升配操作(如增加CPU数量、扩充内存大小、扩充磁盘大小)。

本发明实施例得到的效能列表示例如表3所示。

表3

采用本发明的具体方法后，服务器资源管理决策时间耗时单位(小时)如图3所示，服务器资源管理决策时间消耗时间上看，“方框线”表示传统管理方式服务器资源管理决策耗时，“圆点线”表示使用发明的评估方法后的服务器资源管理决策耗时：使用了本发明后，服务器作出管理决策的时间变得更少，更平稳了。

采用本发明的具体方法后，从开始做服务器优化决策到优化执行完毕耗时单位(小时)如图4所示，从开始做服务器优化决策到优化执行完毕消耗的时间看，如图所示“方块线”表示从开始做服务器优化决策到优化执行完毕耗时，“圆点线”表示使用发明的方法后的从开始做服务器优化决策到优化执行完毕耗时：整体优化过程的时间也变得更少，更平稳可控了。

因此，本发明可以更快速、准确找到较高效能、较低效能的资源，对不同IT用途的资源进行效能分析的方法，并进行资源调配，使得对资源管理更自动、更快速、更高效、更精准。

Claims (8)

1.一种对服务器资源使用效能评估及资源调配的方法，其特征在于，包括以下步骤：

S1.对服务器资源进行监控，并保存监控数据；

S2.采集步骤S1保存的监控数据，并清洗数据，清洗后提取汇总得到供评价体系使用的数据；

S3.建立资源效能评估体系，输入步骤S2得到的供评价体系使用的数据，得到效能评估值；

S4.根据步骤S3得到的效能评估值与水位指标比较，是否落入水位指标中的降配档、合理档和升配档，然后进行资源调配。

2.根据权利要求1所述的对服务器资源使用效能评估及资源调配的方法，其特征在于，步骤S3中，所述的资源效能评估体系包括指标和子指标，所述的指标包括CPU、内存、磁盘、网卡，所述的CPU的子指标为CPU使用率、CPU波动率、CPU单日内最大值，所述的内存的子指标为内存使用率，所述的磁盘的子指标为磁盘使用率、磁盘的IOPS值和磁盘最大延迟，所述的网卡的子指标为流入最大值和流出最大值。

3.根据权利要求2所述的对服务器资源使用效能评估及资源调配的方法，其特征在于，步骤S3中，所述的CPU波动率为CPU峰值超过CPU平均值的百分比。

4.根据权利要求2所述的对服务器资源使用效能评估及资源调配的方法，其特征在于，步骤S3中，所述的资源效能评估体系的效能评估值计算方式如下：

效能评估值＝[CPU使用率*(0.55～0.65)+CPU波动率*(0.25～0.35)+CPU单日内最大值*(0.05～0.15)]*100*(0.65～0.75)+内存使用率*1*100*(0.05～0.15)+[磁盘使用率*(0.65～0.75)+磁盘的IOPS值/200*(0.1～0.3)+磁盘最大延迟/100*(0.05～0.15)]*100*(0.1～0.3)。

5.根据权利要求4所述的对服务器资源使用效能评估及资源调配的方法，其特征在于，步骤S3中，所述的资源效能评估体系的效能评估值计算方式如下：

效能评估值＝(CPU使用率*0.6+CPU波动率*0.3+CPU单日内最大值*0.1)*100*0.7+内存使用率*1*100*0.1+(磁盘使用率*0.7+磁盘的IOPS值/200*0.2+磁盘最大延迟/100*0.1)*100*0.2。

6.根据权利要求1所述的对服务器资源使用效能评估及资源调配的方法，其特征在于，步骤S4中，所述的水位指标为降配档[0～15]，合理档(15～70]，升配档(70～100]。

7.根据权利要求1所述的对服务器资源使用效能评估及资源调配的方法，其特征在于，步骤S4中，所述的资源调配，具体包括：

当步骤S3得到的效能评估值落入水位指标中的降配档，触发服务器的降配操作；

当步骤S3得到的效能评估值落入水位指标中的合理档，服务器不操作；

当步骤S3得到的效能评估值落入水位指标中的升配档，触发服务器的升配操作。

8.一种对服务器资源使用效能评估及资源调配的系统，其特征在于，包括：

对服务器资源进行监控并保存监控数据的服务器资源监控模块；

对监控数据清洗和提取的监控数据处理模块；

对资源效能评估的效能评估模块；

根据效能评估值进行资源调配的资源调配模块。

Images