CN103279392B

CN103279392B - 一种云计算环境下虚拟机上运行的负载分类方法

Info

Publication number: CN103279392B
Application number: CN201310236085.9A
Authority: CN
Inventors: 尹建伟; 赵新奎; 李莹; 邓水光; 吴健; 吴朝晖
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2013-06-14
Filing date: 2013-06-14
Publication date: 2016-06-29
Anticipated expiration: 2033-06-14
Also published as: CN103279392A

Abstract

本发明公开了一种云计算环境下虚拟机上运行的负载分类方法，首先获取5分钟的负载运行时监控参数并对监控的参数进行归一化处理，通过TSRSVM方法将监控的负载分为四类：CPU密集型、内存密集型、I/O密集型和网络密集型，对运行着已经分类到四种密集型的操作系统提供对应的定制化优化策略，并通过性能对比器监控系统运行状态，如果系统的性能有所提升则证明分类策略正确，反之则错误。通过上述方法负载分类准确度高，系统性能损失小。

Description

一种云计算环境下虚拟机上运行的负载分类方法

技术领域

本发明涉及云计算环境下虚拟机上运行的负载分类方法。

背景技术

随着以虚拟化技术为代表的云计算技术的飞速发展，越来越多的企业开始使用云计算系统来提升系统运行效率和管理效率。云计算平台对虚拟机屏蔽了底层的硬件细节，不同类型的虚拟机可以同时运行在云系统里面的物理服务器上面，同时，云计算还具有虚拟机供应动态收缩，服务器资源高效整合等特点，都使得云计算的成为研究的热点。云计算环境下，资源是按需获取的，传统的虚拟机操作系统实现了对所有类型的应用程序的全局适应性，从而导致特定类型的硬件资源在使用的过程中，操作系统的调度成为瓶颈。

云计算数据中心运行的负载一般不会随着时间变化而不断改变，可以看做一段时间内是特征稳定的。根据不同应用程序的资源消耗特征和瓶颈资源类型，负载可以分为五类：CPU密集型、内存密集型、I/O密集型、网络密集型和混合型。其中CPU密集型负载主要消耗CPU计算能力并使得CPU成为性能瓶颈，内存密集型主要消耗系统内存，I/O密集型负载的运行瓶颈主要是磁盘I/O读写能力，网络密集型负载主要消耗网络传输资源，混合型则是指各种资源消耗并没有明显的差异，没有明显的组件会成为系统性能瓶颈。针对前四类负载的资源消耗类型和瓶颈组件，可以对应的定制化的操作系统优化策略，提升整体系统性能。

如何将负载准确地分类到五种类型中是通过定制化操作系统优化系统性能的关键。首先，传统的决策树分类、贝叶斯分类、神经网络算法、KNN等多种机器学习分类算法对训练集与测试集的数据维度敏感，在监控数据维度达到21维的时候，计算消耗的时间很长，消耗的资源量也很大，不满足系统的要求。SVM（SupportVectorMachine）分类方法对维度不敏感，但是在本环境下分类的准确率欠佳，而且对训练集的要求过于严格。

发明内容

本发明目的是提供一种轻量级的负载分类方法来高效、准确的将负载分类的方法。

为了实现上述目的，本发明采用以下技术方案：

一种云计算环境下虚拟机上运行的负载分类方法，其特征在于，包括以下步骤：

（1）通过数据收集器获取监控数据；

（2）利用数据预处理器将获取的监控数据归一化到[0,1]之间；

（3）将经过数据预处理器处理后监控数据传给TSRSVM（TrainingSetsRefreshSVM）分类器，由TSRSVM分类器进行分类，共分为四种类型：CPU密集型，内存密集型，I/O密集型和网络密集型，并形成监控数据向量，监控数据向量的最后一维为监控数据所属的类型；

（4）优化决策器根据TSRSVM分类器得到的监控数据向量进行统计对比，决定是否进行优化，如果是，则进行步骤（5），如果否，则跳过步骤（5），直接进行步骤（6）；

（5）虚拟机操作系统定制化优化器对分类到CPU密集型，内存密集型，I/O密集型和网络密集型的负载所属的虚拟机进行定制化优化；

（6）采用性能对比器对比操作系统前后性能差异，重新定义SVM的训练集，并使用新定义的训练集训练SVM，为后续得到的测试集测试。

进一步，步骤（1）中监控数据包括CPU利用率、内存利用率、I/O利用率、网络传输量等21维数据。

监控数据向量是由<监控数据、类型>组成的22维向量。

优选的，步骤（1）中监控数据以利用率方式。

进一步，步骤（2）中归一化的具体算法如下：定义up为归一化的上界，low为归一化的下界，Vi为收集到的监控数据第i维数据组成的数组，max为Vi数组中的最大值，min为Vi数组中的最小值，对Vi归一化后得到的数组为VNi，则VNi=(Vi-min)(up-low)/(max-min)+low。

进一步，步骤（3）中TSRSVM分类器根据训练集的数据间关联关系来测试监控数据，最初的训练集由表2中涵盖四种密集型的代表性负载运行时的数据产生，训练集会随着新的应用场景中的使用而不断更新。

进一步，步骤（4）中优化决策器根据五分钟内所有检测数据的分类结果来决策是否进行定制化优化，如果五分钟内的所有监控数据向量的最后一维数据属于四种密集型中的一类的概率大于85%，则认为负载属于该类型，如果最后一维数据属于四种密集型中的任意一类的概率都小于85%，则将负载划分为混合型。

进一步，步骤（6）中，性能对比器负责判定系统性能经过定制化优化后是否已经有所提升，如果已经提升则分类结果正确，否则，分类错误；如果分类正确，则重新定义SVM的训练集，具体方法如下：将分类正确的所有参数向量与原有的训练集的所有支持向量一起取并集，得到的结果作为新的训练集；如果分类错误，新的训练集则为原有训练集的支持向量。

本发明与现有技术相比，具有如下有益效果：

（1）负载分类准确度高：本方法结合了前一个时间段已经正确分类的监控数据与其类型之间的关联关系，同时排除了错误分类的影响，所以其负载分类准确率高于传统的SVM和KNN算法。

（2）系统性能损失小：本方法取分类正确时间段内的所有参数向量与原有训练集的支持向量而不是所有的训练集向量组合形成新的训练集，避免了训练集过大，运算损耗过大的情况，最大限度的避免性能损失。

进一步的，监控数据以资源利用率的形式表示，屏蔽了不同配置的虚拟机资源绝对值的差异，使得该表示方法可以在不同配置的环境下使用。

进一步的，将所有训练集和测试集的数据统一归一化到[0,1]范围内，使得训练集和测试集的数据范围相同，确保不会因为数据值差异过大而导致影响作用不均衡，分类的准确度得以提升。

进一步的，TRSSVM将所有5分钟内的监控数据向量全都作为本方法的训练集加入，有效的避免了过拟合现象，可以更准确地将负载分类到对应的类型并进行定制化优化。

进一步的，将分类正确的所有参数向量与原有的训练集的所有支持向量一起取并集，得到的结果作为新的训练集。如果分类错误，新的训练集则为原有训练集的支持向量。这样既可以避免只添加正确分类的参数向量进新的训练集产生的过拟合行为，同时，取原有训练集的支持向量而不是所有的参数向量可以在保证准确性的同时避免训练集过大造成的训练过程消耗资源量过多。

附图说明

图1是实施例1中负载分类方法的流程图。

具体实施方式

下面结合实施例和附图来对发明进行详细描述。

实施例1

本发明是在云计算环境下虚拟机上运行的负载分类的方法，方法设计了图1的流程结构，主要包括：

数据收集器：监控系统运行时状态，用于21维的监控数据的参数收集。

数据预处理器：完成获取的监控数据的预处理，即将获取的监控数据归一化到[0,1]之间，确保不会因为数据数值差异过大而导致影响作用不均衡。

TSRSVM分类器：将预处理后的监控数据通过TSRSVM分类器分类，每一个监控数据向量都会分类到CPU密集型、内存密集型、I/O密集型和网络密集型中的一类。

优化决策器：将TSRSVM分类器分类后的监控数据向量进行统计，并根据统计结果判断此时间段内附在所属的类型。

定制化优化器：对已经分类后的负载的操作系统采用相应的定制化优化策略。

性能对比器：对比操作系统前后性能差异。

具体负载分类方法主要分为以下流程：

（1）通过数据收集器获取监控数据，此数据收集器为针对系统定制的数据收集器，可收集21维数据并存在数据库中。

其中监控数据的每个维度的具体含义见表1.

表1监控数据的详细信息表

（2）数据预处理器将收集到的监控数据进行归一化处理，具体算法如下：定义up为归一化的上界，low为归一化的下界，Vi为收集到的监控数据第i维数据组成的数组，max为Vi数组中的最大值，min为Vi数组中的最小值，对Vi归一化后得到的数组为VNi，则VNi=(Vi-min)(up-low)/(max-min)+low。

（3）将预处理器处理后的监控数据传给TSRSVM分类器，TSRSVM分类器根据训练集训练的数据间关联关系来测试监控数据。最初的训练集是由表2中的16个涵盖四种密集型的代表性负载运行时数据产生，随着在新的应用场景中的使用，训练集会不断地更新，更新的方法如（8）和（9）所述。

表2训练集收集的代表性的四类典型应用

（4）优化决策器根据TSRSVM分类器得到的参数向量通过统计对比，如果5分钟内的所有参数向量的最后一维数据属于四种密集型中一类的概率大于85%，那么认为负载属于该类型，同时转到第五步；如果最后一维数据属于四种密集型中任一类的概率都小于85%，则将负载划分到混合型，同时转到（6）。

（5）虚拟机操作系统的定制化优化器对已经分类到CPU密集型、内存密集型、I/O密集型和网络密集型的负载所属的虚拟机进行定制化优化，优化策略根据负载所属的类型不同具有不同的策略。

（6）如果负载属于混合型则不进行操作系统系统性能优化，直接跳转到（7）。

（7）性能对比器对比操作系统性能优化前后性能差异，如果系统性能提升则说明分类结果正确、优化策略有效，如果优化前后无差异或者是性能有损失则说明分类结果错误。如果系统性能获得提升则转（8），否则转（9）。

（8）将正确分类的所有监控参数向量与原训练集的支持向量一起组成新的训练集并对新的TSRSVM进行训练。

（9）仅使用原训练集的支持向量形成新的训练集并对新的TSRSVM进行训练。

最后应说明的是，以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种云计算环境下虚拟机上运行的负载分类方法，其特征在于，包括以下步骤：

(1)通过数据收集器获取监控数据；

(2)利用数据预处理器将获取的监控数据归一化到[0,1]之间；

(3)将经过数据预处理器处理后监控数据传给TrainingSetsRefreshSVM分类器，由TrainingSetsRefreshSVM分类器进行分类，共分为四种类型：CPU密集型、内存密集型、I/O密集型和网络密集型，并形成监控数据向量，监控数据向量的最后一维为监控数据所属的类型；

(4)优化决策器根据TrainingSetsRefreshSVM分类器得到的监控数据向量进行统计对比，决定是否进行优化，如果是，则进行步骤(5)，如果否，则跳过步骤(5)，直接进行步骤(6)；

(5)虚拟机操作系统定制化优化器对分类到CPU密集型，内存密集型，I/O密集型和网络密集型的负载所属的虚拟机进行定制化优化；

(6)采用性能对比器对比操作系统前后性能差异，重新定义SVM的训练集，并使用新定义的训练集训练SVM，为后续得到的测试集测试；

其中步骤(4)中优化决策器根据五分钟内所有检测数据的分类结果来决策是否进行定制化优化，如果五分钟内的所有监控数据向量的最后一维数据属于四种密集型中的一类的概率大于85％，则认为负载属于该类型，如果最后一维数据属于四种密集型中的任意一类的概率都小于85％，则将负载划分为混合型。

2.根据权利要求1所述的云计算环境下虚拟机上运行的负载分类方法，其特征在于：步骤(1)中监控数据包括CPU利用率、内存利用率、I/O利用率、网络传输量。

3.根据权利要求1所述的云计算环境下虚拟机上运行的负载分类方法，其特征在于：步骤(1)中监控数据以利用率方式表示。

4.根据权利要求1所述的云计算环境下虚拟机上运行的负载分类方法，其特征在于：步骤(2)中归一化的具体算法如下：定义up为归一化的上界，low为归一化的下界，Vi为收集到的监控数据第i维数据组成的数组，max为Vi数组中的最大值，min为Vi数组中的最小值，对Vi归一化后得到的数组为VNi，则VNi＝(Vi-min)(up-low)/(max-min)+low。

5.根据权利要求1所述的云计算环境下虚拟机上运行的负载分类方法，其特征在于：步骤(3)中TrainingSetsRefreshSVM分类器根据训练集的数据间关联关系来测试监控数据，最初的训练集由涵盖四种密集型的代表性负载运行时的数据产生，训练集会随着新的应用场景中的使用而不断更新。

6.根据权利要求1所述的云计算环境下虚拟机上运行的负载分类方法，其特征在于：步骤(6)中，性能对比器负责判定系统性能经过定制化优化后是否已经有所提升，如果已经提升则分类结果正确，否则，分类错误；如果分类正确，则重新定义SVM的训练集，具体方法如下：将分类正确的所有参数向量与原有的训练集的所有支持向量一起取并集，得到的结果作为新的训练集；如果分类错误，新的训练集则为原有训练集的支持向量。