CN112231095A - 基于机器学习的面向资源管理的云任务细粒度分类方法 - Google Patents

Abstract

本发明提出一种基于机器学习的面向资源管理的云任务细粒度分类方法，该方法利用机器学习K‑means聚类算法，按照任务周期内对资源的动态需求特征，将每个云计算任务不同的时间段进行聚类，实现任务从任务周期角度进行细化分类。针对I/O密集型任务分段再进一步分为读密集型和写密集型，实现任务更细粒度分类。此外，根据云计算任务调度执行时序关系，得到并以有向无环图DAG表征任务间的依赖关系。通过在云计算任务细粒度分类中考虑任务间的依赖关系实现任务分类结果的强适应性，为数据中心任务调度和资源分配优化提供更准确依据。

Description

基于机器学习的面向资源管理的云任务细粒度分类方法

技术领域

本发明属于计算机科学技术领域，尤其涉及一种基于机器学习的面向资源管理的云任务细粒度分类方法。

背景技术

近年来随着云计算高速发展，数据中心的效能问题日益突出。为优化数据中心效能，目前主要研究方向是充分考虑数据中心的异构性特征，对任务特性和资源的负载状况进行分析和评估，并据此提出有针对性的任务调度和资源整合策略，以提高数据中心效能。其中数据中心负载任务特征的研究已然受到关注。

对于云计算任务特征，之前很多研究采用了并行、分布式集群中的任务日志建立任务模型从而进行调度性能的评估，例如利用基于计算负载建立任务到达时间的模型以评估联合云环境下资源调度策略的性能；然而这些研究多是单纯地考虑任务的到达时间、运行时间等属性来分析云计算任务特性，对于任务的多样性需求以及同资源的关系考虑较少。随着对数据中心异构性特征的广泛关注，C.Reiss和M.Rasheduzzaman等人综合分析了Google集群跟踪数据，发现机器配置和负载组成随着时间的推移具有高度异构性和动态性，同时指出考虑负载异构性对资源调度的重要性。A K.Mishra等人使用粗粒度的分类方法分析了Google计算集群负载跟踪数据，提出使用K-means聚类算法对云计算任务进行分类的方案并引入了在工作负载规模内定性坐标的断点简化分类。沿着相同的研究方向，A.Chen等人通过检查Google计算集群负载跟踪数据的匿名日志数据来描述其特征，对数据集进行累积分布统计分析，然后对负载特性应用K-means算法，给出谷歌集群负载在工作级别的特性描述。目前对于云计算任务特性研究，主流做法为分析数据中心资源特征和负载任务的资源需求特征，按照云计算任务对CPU、内存和磁盘等不同资源的需求，基于K-means算法将任务聚类为CPU密集型、I/O密集型和内存密集型三种类型。

然而这种云计算任务分类方法仅仅分析了每个独立的任务对于资源的总体需求特征，没有很好的考虑任务在其任务周期内对资源的动态需求，对任务进行分类时没有关注任务在整体任务周期对各类资源需求特征的变化，可能任务在任务周期前段为CPU密集型，后段又变成内存密集型，并且对任务分类过程中也没有考虑任务间的依赖关系，这就导致任务分类结果适应性较差，不能很好的实现资源配置优化以提高数据中心效能。

发明内容

为了解决上述提出的问题，本发明针对目前数据中心依据云计算任务分类结果进行任务调度与资源配置这一问题进行了深入研究，为了解决任务分类忽略了任务周期内对资源动态需求特性和任务间的依赖关系的问题，提出一种基于机器学习的面向资源管理的云任务细粒度分类方法，该方法基于主流的利用k-means算法将任务分为CPU密集型、内存密集型和I/O密集型的分类方法，将云计算任务按照任务周期进一步细化分类，同时将I/O密集型任务细划分为读密集型和写密集型，并且依据调度时序关系得出任务间依赖关系，以更加优化调度和资源分配，提高数据中心能效。

本发明的技术方案是：

1.基于机器学习的面向资源管理的云任务细粒度分类方法，其特征在于：利用机器学习K-means算法，按照任务周期内对资源的动态需求特征将每个云计算任务不同的时间段进行聚类为CPU密集型、内存密集型和I/O密集型，针对I/O密集型分段再进一步分为读密集型和写密集型，实现任务更细粒度分类，通过分析任务调度时序关系找出任务间的依赖关系，据此实现更优的数据中心任务与资源调度方案，提高数据中心能效。

2.主要包括以下步骤：

步骤1，对云计算任务分段：将云计算任务按时间周期均分为N段，以分段中点时刻代表该任务分段时间节点；

步骤2，利用K-means算法进行聚类：以每个任务分段内对CPU、I/O、内存需求量和分段时间节点为特征，使用K-means算法进行聚类，将每个任务分段划分为CPU密集型、I/O密集型或内存密集型；

步骤3，合并类别相同的小任务分段：将步骤2中的聚类结果按照时间进行合并，将同簇的时间节点相邻的任务小分段合并成大的任务周期段；

步骤4，细分I/O密集型任务：对于类别为I/O密集型的任务周期段，统计比较读和写操作次数，若读操作次数多，即将该段定为读密集型，反之则定义为写密集型；

步骤5，利用任务调度时序关系生成有向无环图DAG：根据数据中心集群跟踪数据中任务调度的时序关系，若两个任务调度时间有重合则两个任务节点相互独立，若无重合则后开始执行的任务必须等到先开始执行的任务执行完成之后再开始执行。

3.其中，步骤2中的K-means聚类算法具体步骤如下：

步骤2.1，参数归一化处理：对小任务分段的CPU、I/O、内存需求量三个指标参数进行归一化处理，使其分别归一化为[0,1]之间，聚类时采用归一化后的指标；

步骤2.2，选取初始聚类中心：三个聚类中心分别初始化为三个指标变量各自的平均值；

步骤2.3，任务小分段划分：计算每个任务小分段到三个聚类中心的距离，即相异度，并划归入相异度最低的那个簇。

步骤2.4，更新聚类中心：通过计算已得到簇中所有数据对象各维度的算术平均数，重新计算三个簇的聚类中心。

步骤2.5，重新聚类：按照新的聚类中心重复步骤2.3，将任务小分段集中的全部对象重新进行聚类；

步骤2.6，重复步骤2.4-步骤2.5，直至各个簇中的聚类中心基本稳定或达到最大迭代值；

步骤2.7，输出结果：输出每个任务小分段所处类别。

本发明提出的一种基于机器学习的面向资源管理的云任务细粒度分类方法，与现有技术相比，其主要优点是：不仅延续了K-means聚类算法简单高效的特性，还从任务周期的角度将云计算任务分类按执行周期进行细化，并且将I/O密集型进一步细分为读密集型和写密集型，增加任务分类细粒度，使得分类更能贴合云计算任务对资源需求动态变化的特征，提高任务分类结果适应性，为任务调度和资源分配优化提供了更准确的依据，对提高资源利用率和数据中心效能有着很重要的意义。通过分析数据中心任务调度执行的时序关系，得出任务间的依赖关系，并利用有向无环图DAG进行表达，这为任务和资源调度的先后提供了有效的参考，避免数据中心出现违反任务依赖关系的调度以至于造成资源的浪费。

附图说明

图1是本发明算法的流程图。

图2是K-means聚类算法的流程图。

图3是任务间依赖关系的DAG示意图。

具体实施方式

为使本发明的目的、技术方案和优点表达地更加清楚明白，以下结合附图和具体实施步骤对本发明进行详细描述，但不作为对本发明的限定。

本发明提出的基于机器学习的面向资源管理的云计算任务细粒度分类算法，在以往利用K-means聚类算法将云计算任务分为CPU密集型、I/O密集型和内存密集型的基础之上，将任务分类按任务周期进一步细化，并且将I/O密集型任务进一步具体分为读密集型和写密集型，提高云计算任务分类细粒度；通过分析任务调度时序关系找出任务间的依赖关系，据此实现更优的数据中心任务与资源调度方案，提高数据中心能效。

如图1所示，为本发明算法的流程图，包括步骤如下：

步骤1：对云计算任务分段。将云计算任务按时间周期均分为N段，则每个任务小分段时间长度为T/N，其中T为该云任务总周期，以每个小分段中点时刻T_j(j＝1，2…N)代表该小分段时间节点；

步骤2：利用K-means算法进行聚类。以每个任务分段内对CPU、I/O、内存需求量和分段时间节点为特征，使用K-means算法进行聚类，将每个任务分段划分为CPU密集型、I/O密集型或内存密集型，具体过程下文中结合图2作详细介绍；

步骤3：合并类别相同的小任务分段。将步骤2中的聚类结果按照任务小分段进行合并，即将所属同一子类的时间节点T_j相邻的任务小分段合并成大的任务周期段[T_l，T_r]，其中T_l表示大任务周期段起始时间节点、T_r表示大任务周期段结束时间节点，大的任务周期段所属类别即任务小分段所属类别；

步骤4：细分I/O密集型任务。对于类别为I/O密集型的任务周期段，统计该周期段内读操作次数为N_r、写操作次数为N_w，比较读和写操作次数，若

即将该段定为读密集型，若

则定义为写密集型；

步骤5：利用任务调度时序关系生成DAG。根据数据中心集群跟踪数据中任务调度的时序关系，若两个任务调度时间有重合则两个任务节点相互独立，若无重合则后开始执行的任务必须等到先开始执行的任务执行完成之后再开始执行。DAG表示为DAG＝{W，E}，W＝{W_i，i＝1，2…n}为任务集合，E＝{(w_i，w_j)1＜i，j＜n}表示任务依赖集，即任务执行的时序关系，表明任务w_j在任务w_i执行完成之后才能被调度执行，有向边w_i→w_j表示任务w_i是任务w_j的前驱节点，即pre(w_j)＝w_i；任务w_j是任务w_i的后继节点，即suc(w_i)＝w_j。

如图2所示，为K-means聚类算法的流程图。首先定义云计算任务集为W＝{W_i，i＝1.2.3....}，任一任务表示为W_i＝(C_j，O_j，M_j，T_j)，j＝1.2…N，其中，T_j表示该任务小分段的时间节点，C_j表示任务W_i在T_j小分段内的CPU需求量，O_j表示任务W_i在T_j小分段内的I/O需求量，M_j表示任务W_i在T_j小分段内的内存需求量。对于任一任务W_i＝(C_j，O_j，M_j，T_j)，K-means聚类算法包括步骤如下：

步骤1：参数归一化处理。由于C_j，O_j，M_j三个指标参数单位不一致，需进行归一化处理：

使其分别归一化为[0，1]之间，聚类时采用归一化后的指标W_i＝(C′_j，O′_j，M′_j，T_j)；

步骤2：选取初始聚类中心。定义聚类中心V＝{V_h|V_h＝(V_Ch，V_Oh，V_Mh)，h＝1，2，3}，初始化三个聚类中心为C_j，O_j，M_j三个指标参数各自的平均值：

步骤3：任务小分段划分。采用欧式距离计算任务W_i各小分段与聚类中心V_h的距离：

计算每个任务小分段到三个聚类中心的距离，即相异度，并划归入相异度最低的那个聚类中心所在子类中。

步骤4：更新聚类中心。通过计算已得到子类中所有任务小分段各指标参数的算术平均数，重新计算三个聚类中心：

其中，N(φ_hk)为三个子类集合φ_hk的任务小分段个数，T_j∈φ_hk表示划分至三个子类集合中的任务小分段；

步骤5：重新聚类。按照新的聚类中心重复步骤3，将任务小分段集中的全部数据重新进行聚类；

步骤6：重复步骤4-步骤5，损失函数采用类内误差平方和准则函数：

当损失Cost值基本稳定或达到最大迭代值时聚类迭代终止。

步骤7：输出结果。输出每个任务小分段T_j所处类别。

如图3所示，为任务间依赖关系的DAG示意图，DAG＝{W，E}。横轴表示各个任务在数据中心运行时间跨度，W＝{W₁、W₂…W₇}为某个时间段数据中心执行的云计算任务集；若任务运行时间有重叠例如W₁、W₂和W₃，则它们之间即相互独立，不存在依赖关系，而当任务运行时间无重叠时例如W₁和W₄，则任务执行完毕的时序关系即可表示任务之间的依赖，任务依赖集为E＝{(W₁，W₄)，(W₂，W₄)，(W₂，W₅)，(W₃，W₇)，(W₄，W₆)，(W₅，W₆)，(W₅，W₇)}。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。在此指明，以上叙述有助于本领域技术人员理解本发明创造，但并非限制本发明创造的保护范围。任何没有脱离本发明创造实质内容的对以上叙述的等同替换、修饰改进和/或删繁从简而进行的实施，均落入本发明创造的保护范围。

Claims (4)

1.一种基于机器学习的面向资源管理的云任务细粒度分类方法，其特征在于：利用机器学习K-means算法，按照任务周期内对资源的动态需求特征将每个云计算任务不同的时间段进行聚类为CPU密集型、内存密集型和I/O密集型，针对I/O密集型分段再进一步分为读密集型、写密集型，实现任务更细粒度分类，通过分析任务调度时序关系找出任务间的依赖关系，据此实现更优的数据中心任务与资源调度方案，提高数据中心能效。

2.根据权利要求1所述方法，其特征在于，主要包括以下几个步骤：

步骤1，对云计算任务分段：将云计算任务按时间周期均分为N段，则每个任务小分段时间长度为T/N，其中T为该云任务总周期，以每个小分段中点时刻T_j(j＝1，2...N)代表该小分段时间节点；

步骤2，利用K-means算法进行聚类：以每个任务分段内对CPU、I/O、内存需求量和分段时间节点为特征，使用K-means算法进行聚类，将每个任务分段划分为CPU密集型、I/O密集型或内存密集型；

步骤3，合并类别相同的小任务分段：将步骤2中的聚类结果按照任务小分段进行合并，即将所属同一子类的时间节点T_j相邻的任务小分段合并成大的任务周期段[T_l，T_r]，其中T_l表示大任务周期段起始时间节点、T_r表示大任务周期段结束时间节点，大的任务周期段所属类别即任务小分段所属类别；

步骤4，细分I/O密集型任务：对于类别为I/O密集型的任务周期段，统计该周期段内读操作次数为N_r、写操作次数为N_w，比较读和写操作次数，若

即将该段定为读密集型，若

则定义为写密集型；

步骤5，利用任务调度时序关系生成有向无环图DAG：根据数据中心集群跟踪数据中任务调度的时序关系，若两个任务调度时间有重合则两个任务节点相互独立，若无重合则后开始执行的任务必须等到先开始执行的任务执行完成之后再开始执行；DAG表示为DAG＝{W，E}，W＝{W_i，i＝1，2...n}为任务集合，E＝{(w_i，w_j)1＜i，j＜n}表示任务依赖集，即任务执行的时序关系，表明任务w_j在任务w_i执行完成之后才能被调度执行，有向边w_i→w_j表示任务w_i是任务w_j的前驱节点，即pre(w_j)＝w_i；任务w_j是任务w_i的后继节点，即suc(w_i)＝w_j。

3.根据权利要求2所述方法，其特征在于，定义云计算任务集为W＝{W_i，i＝1，2，3....}，任一任务表示为W_i＝(C_j，O_j，M_j，T_j)，j＝1.2...N，其中，T_j表示该任务小分段的时间节点，C_j表示任务W_i在T_j小分段内的CPU需求量，O_j表示任务W_i在T_j小分段内的I/O需求量，M_j表示任务W_i在T_i小分段内的内存需求量。

4.根据权利要求2所述方法，其特征在于，对于任一任务W_i＝(C_j，O_j，M_j，T_j)，K-means聚类算法具体步骤如下：

步骤2.1，参数归一化处理，由于C_j，O_j，M_j三个指标参数单位不一致，需进行归一化处理：

使其分别归一化为[0，1]之间，聚类时采用归一化后的指标W_i＝(C′_j，O′_j，M′_j，T_j)；

步骤2.2，选取初始聚类中心，定义聚类中心V＝{V_h|V_h＝(V_Ch，V_Oh，V_Mh)，h＝1，2，3}，初始化三个聚类中心为C_j，O_j，M_j三个指标参数各自的平均值：

步骤2.3，任务小分段划分，采用欧式距离计算任务W_i各小分段与聚类中心V_h的距离：

计算每个任务小分段到三个聚类中心的距离，即相异度，并划归入相异度最低的那个聚类中心所在子类中；

步骤2.4，更新聚类中心，通过计算已得到子类中所有任务小分段各指标参数的算术平均数，重新计算三个聚类中心：

其中，N(Φ_hk)为三个子类集合Φ_hk的任务小分段个数，T_j∈Φ_hk表示划分至三个子类集合中的任务小分段；

步骤2.5，重新聚类，按照新的聚类中心重复步骤3，将任务小分段集中的全部数据重新进行聚类；

步骤2.6，重复步骤2.4-步骤2.5，损失函数采用类内误差平方和准则函数：

当损失Cost值基本稳定或达到最大迭代值时聚类迭代终止；

步骤2.7，输出结果，输出每个任务小分段T_j所处类别。

Images