CN106991006B

CN106991006B - 支持依赖和时间平衡的云工作流任务聚类方法

Info

Publication number: CN106991006B
Application number: CN201710202595.2A
Authority: CN
Inventors: 严伟; 杨朔; 杨威; 吕跃华; 陶砾; 施扬朋
Original assignee: Zhejiang Topcheer Information Technology Co Ltd
Current assignee: Zhejiang Topcheer Information Technology Co Ltd
Priority date: 2017-03-30
Filing date: 2017-03-30
Publication date: 2018-05-15
Anticipated expiration: 2037-03-30
Also published as: CN106991006A

Abstract

本发明公开了一种支持依赖和时间平衡的云工作流任务聚类方法。本发明在对流程图中同一层级的任务进行聚类时优先考虑了任务之间的数据依赖关系，并考虑了聚类之间的时间平衡，本发明在对同一层级的任务进行聚类时并不是简单地将具有相同子任务的父任务聚集在一起，而是综合考虑了这些任务共有的子任务以及它们各自特有的子任务，在此基础上提出了任务关联度的概念和计算公式来表征任务之间的依赖程度。同时，本发明在优先考虑任务之间的依赖关系的基础上还考虑了各个任务的运行时间，同时保证了聚类的依赖平衡与时间平衡。通过与传统聚类方法进行实验比较可以发现，本发明对任务进行聚类可以更有效地减少工作流的完成时间。

Description

支持依赖和时间平衡的云工作流任务聚类方法

技术领域

本发明属于云工作流调度中的工作流运行时间优化技术。在对同一水平层级的任务进行聚类时，基于任务之间的数据依赖关系以及聚类之间的时间平衡，提出了支持依赖和时间平衡的云工作流任务聚类方法。

背景技术

在各种科学领域(如物理学、天文学和生物医学)的研究中都需要运行大规模的应用程序来处理数据，这些大规模的应用程序通常为工作流应用。这些工作流应用由许多具有依赖关系的计算密集型任务组成，这些任务的计算量千差万别，有些任务的运行时间只需要几秒而有些则需要几个小时。当在云计算环境中执行这些运行时间很短的任务时会存在显著的调度开销，调度开销产生的额外时间远远超过任务本身的运行时间，从而影响整个流程的执行时间。

由于云环境是按使用量收费，额外的系统开销也会增加成本。为了减少这种开销的影响，任务聚类技术应用而生。它将细粒度任务分组为粗粒度任务，减少需要执行的任务数量同时也增加了任务的计算粒度。任务聚类是一种工作流运行时间优化技术，它将多个短任务合并到单个作业中，从而减少了调度开销并缩短了流程的执行时间。

现有的任务聚类技术主要分为两类：时间平衡聚类和依赖平衡聚类。前者往往只考虑了时间平衡性，而忽视了流程的结构特征以及任务之间的数据依赖关系。数据依赖性意味着在两个任务之间存在数据传输(一个任务的输出数据是另一个任务的输入数据)。因此在聚类时应尽量将具有相同子任务的父任务聚集在一起，依赖性不平衡意味着下层任务必须等待更多的上层任务执行结束才能开始执行，这样一个层级上的任务集会延迟下一层级(甚至后续层级)的任务的开始时间，从而影响任务执行的并行性。

同样的，依赖平衡聚类往往会忽视聚类之间的时间平衡性。在流程图中，同一层的任务可能会有不同的运行时间。不考虑运行时间的变化去合并任务会导致负载失衡。比如一些聚类可能由短任务组成，而其他聚类由长任务组成。这种时间上的不平衡会延迟下一级任务的开始时间。因此，良好的聚类策略应该保证每一个聚类的执行时间都尽可能相近。

发明内容

本发明针对现有技术的不足，提出了一种支持依赖和时间平衡的云工作流任务聚类方法。该方法在对流程图中同一层级的任务进行聚类时优先考虑了任务之间的数据依赖关系，在此基础上考虑了聚类之间的时间平衡，有效缩短了工作流的完成时间。

本发明方法的具体步骤是：

步骤(1).输入流程图中某一层待聚类的任务集taskList；流程图是工作流W＝(T,E)的图形化表示，通过有向无环图(DAG)来描述；其中T＝{t₁,t₂,...,t_m}是顶点的集合，代表流程中的任务；E是有向边的集合，代表任务之间的依赖关系；流程图中从开始任务到某个任务所经过的有向边的条数称为该任务所在的层数；

步骤(2).计算该层任务中任意两个任务之间的关联度cor(t_i,t_j)；

关联度的计算公式如下：

其中c(t_i)表示任务t_i的下一层子任务集合，|c(t_i)|表示任务t_i的下一层子任务个数；

步骤(3).输入一个不超过该层任务总数n的聚类个数clusterNum，根据该聚类个数对该层的任务总数进行均分，得出每个聚类C_i需要填充的任务个数；设n/clusterNum的商数为p、余数为q，则前q个聚类需要填充的任务个数为p+1，其余聚类需要填充的任务个数为p；

步骤(4).按聚类C₁、C₂…C_clusterNum的顺序，根据聚类C_i需要填充的任务个数对聚类C_i进行任务填充；

特别地，当聚类C_i中所需任务个数为1时，则将剩余未分配的各个任务分别填充至聚类C_i、C_i+1…C_clusterNum中，聚类结束，转至步骤(7)；否则，从剩余任务中找到关联度最大的两个任务(即任务对)放到聚类C_i中；

若有多个任务对的关联度都达到了最大，则选择任务对中两任务运行时间之和最接近的任务对填充到聚类C_i中，其中n表示该层包含的任务个数，RT(t_i)表示任务t_i的执行时间；

步骤(5).若此时聚类C_i中已有的任务个数小于需要填充的任务个数，则计算剩余任务中的每个任务分别加入聚类C_i后C_i中所有任务对的关联度之和，选择使得关联度之和达到最大的那个任务填充到聚类C_i中，如果满足上述条件的任务有多个，则在这几个任务中选择运行时间最接近聚类C_i中剩余平均运行时间leftTaskTime的任务，其中聚类C_i中剩余平均运行时间的计算公式如下：

其中curTaskTime(C_i)表示聚类C_i中已经填充的任务的运行时间之和，curTaskNum(C_i)表示聚类C_i中已经填充的任务数，needNum(C_i)为聚类C_i需要填充的任务个数，n表示该层包含的任务个数；

步骤(6).按步骤(5)继续向聚类C_i中填充任务，直至填充完毕，然后跳至步骤(4)，继续下一个聚类的填充，直到所有的聚类都填充完毕；

步骤(7).输出聚类结果C_i，i＝1,2,...,clusterNum。

本发明所提出的支持依赖平衡聚类的云工作流调度方法主要通过以下几个模块进行：工作流映射模块、工作流引擎模块、工作流调度模块和作业包装模块。

工作流映射模块根据用户提供的抽象工作流生成可供执行的工作流。此外，工作流映射模块利用重构技术增加计算粒度从而减少调度开销。本发明所提出的聚类算法就是应用在该模块的，通过聚类技术可以将小任务合并成作业以减少系统负载。在工作流执行系统中，作业是一个独立执行的单元，它可能包含一个或多个任务。

工作流引擎模块根据工作流任务之间的依赖关系来管理各个作业，以确保一个作业只有在其所有父作业都被提交到作业调度器中之后才能得到释放。工作流引擎只会把空闲作业释放到调度器中。

工作流调度模块管理和监督作业在本地以及远程资源上的执行。工作流调度模块是整个调度过程中最核心的部分，该模块依据具体的调度算法将任务分配到相应的工作节点上。

作业包装模块从聚类作业中提取任务，并在工作节点上执行它们。

本发明提出的方法在对流程图中同一层级的任务进行聚类时优先考虑了任务之间的数据依赖关系，在此基础上考虑了聚类之间的时间平衡，提出了一种支持依赖和时间平衡的云工作流任务聚类方法。特别地，本发明在对同一层级的任务进行聚类时并不是简单地将具有相同子任务的父任务聚集在一起，而是综合考虑了这些任务共有的子任务以及它们各自特有的子任务，在此基础上提出了任务关联度的概念和计算公式来表征任务之间的依赖程度。同时，本发明在优先考虑任务之间的依赖关系的基础上还考虑了各个任务的运行时间，同时保证了聚类的依赖平衡与时间平衡。通过与传统聚类方法进行实验比较可以发现，通过本方法对任务进行聚类可以更有效地减少工作流的完成时间，证明了本发明对任务的聚类是科学合理的。

附图说明

图1DAG模型转化为O-DAG模型；

图2O-DAG模型表示的聚类实现效果；

图3算法流程图。

具体实施方式

下面将对本发明所提供的支持依赖平衡聚类的云工作流调度方法做具体说明。

为叙述方便，定义相关符号如下：

taskList：流程图中某一层级包含的任务集。

clusterNum：聚类个数。

W＝(T,E)：工作流，其中T＝{t₁,t₂,...,t_m}是顶点的集合，代表流程中

的任务，E是有向边的集合，代表任务之间的依赖关系。

cor(t_i,t_j)：该层任务中任意两个任务t_i和t_j之间的关联度。

c(t_i)：表示任务t_i的子任务集合。

|c(t_i)|：表示任务t_i的子任务个数。

C_i：流程图中某一层级的第i个聚类。

needNum(C_i)：每个聚类C_i需要填充的任务个数。

leftTaskTime：剩余任务平均运行时间。

RT(t_i)：任务t_i的执行时间。

curTaskTime(C_i)：表示聚类C_i中已经填充的任务的运行时间之和。

curTaskNum(C_i)：表示聚类C_i中已经填充的任务数。

步骤(1)：输入流程图中某一层待聚类的任务集taskList。

流程图是工作流W＝(T,E)的图形化表示，通过有向无环图(DAG)来描述。其中T＝{t₁,t₂,...,t_m}是顶点的集合，代表流程中的任务；E是有向边的集合，代表任务之间的依赖关系，边e_ij表示任务t_j需要接收父任务t_i传递过来的数据；流程图中从开始任务到某个任务所经过的有向边的条数称为该任务所在的层数。

为了明确地表示聚类的过程，这里将DAG模型扩展成开销感知的DAG模型(O-DAG)。系统开销在流程的整个执行时间中占据了重要部分。图1展示了将DAG模型变为O-DAG模型的过程，O-DAG模型添加了系统开销(S)，例如工作流延迟和排队延迟。

步骤(2)：计算该层任务中任意两个任务t_i和t_j之间的关联度cor(t_i,t_j)。为了度量两个任务数据依赖的相似程度，这里定义了关联度的概念，具体计算公式如下：

其中c(t_i)表示任务t_i的子任务集合，|c(t_i)|表示任务t_i的子任务个数。关联度可以看作是两任务的共有子任务占它们各自特有子任务的比重的乘积。也就是说聚类时并不是简单地将具有相同子任务的父任务聚集在一起，而是综合考虑了这些任务共有的子任务以及它们各自特有的子任务。有些时候虽然两个任务具有相同的子任务，但它们并不一定可以聚集到一起，还需要考虑这两个任务的其他子任务的情况。理论上倾向于将关联度高的任务进行聚类，这样组合成的聚类与下层任务的关联性会比较少，可以减少数据依赖。

依照关联度进行聚类的简单实现效果如图2所示。

步骤(3)：输入一个不超过该层任务总数n的聚类个数clusterNum，根据该聚类个数对该层的任务总数进行均分，得出每个聚类C_i需要填充的任务个数。设n/clusterNum的商数为p、余数为q，则前q个聚类需要填充的任务个数为p+1，其余聚类需要填充的任务个数为p。比如有10个任务，聚成3个类，那么每个聚类任务数为4、3、3。

步骤(4)：按聚类C₁、C₂…C_clusterNum的顺序，根据聚类C_i需要填充的任务个数对聚类C_i进行任务填充。特别地，当聚类C_i中所需任务个数为1时，则将剩余未分配的各个任务分别填充至聚类C_i、C_i+1…C_clusterNum中，聚类结束，转至步骤(7)。否则，从剩余任务中找到关联度最大的两个任务(即任务对)放到聚类C_i中。

若有多个任务对的关联度都达到了最大，则选择任务对中两任务运行时间之和最接近的任务对填充到聚类C_i中，其中n表示该层包含的任务个数，RT(t_i)表示任务t_i的执行时间。即当关联度相同时将运行时间接近2倍任务平均运行时间的任务对填充到聚类C_i中，在优先考虑依赖平衡的基础上保证了聚类的时间平衡。

步骤(5)：若此时聚类C_i中已有的任务个数小于需要填充的任务个数，则计算剩余任务中的每个任务分别加入聚类C_i后C_i中所有任务对的关联度之和，选择使得关联度之和达到最大的那个任务填充到聚类C_i中，如果满足上述条件的任务有多个，则在这几个任务中选择运行时间最接近聚类C_i中剩余平均运行时间leftTaskTime的任务，其中聚类C_i中剩余平均运行时间的计算公式如下：

其中curTaskTime(C_i)表示聚类C_i中已经填充的任务的运行时间之和，curTaskNum(C_i)表示聚类C_i中已经填充的任务数，needNum(C_i)为聚类C_i需要填充的任务个数，n表示该层包含的任务个数。

步骤(6)：按步骤(5)继续向聚类C_i中填充任务，直至填充完毕，然后跳至步骤(4)，继续下一个聚类的填充，直到所有的聚类都填充完毕。

步骤(7)：当每一个聚类都填充完毕时，输出聚类结果C_i，i＝1,2,...,clusterNum。

整个算法的执行过程如图3所示。

Claims

1.支持依赖和时间平衡的云工作流任务聚类方法，其特征在于包括如下步骤：

步骤(1).输入流程图中某一层待聚类的任务集taskList；流程图是工作流W＝(T,E)的图形化表示，通过有向无环图来描述；其中T＝{t₁,t₂,...,t_m}是顶点的集合，代表流程中的任务；E是有向边的集合，代表任务之间的依赖关系；流程图中从开始任务到某个任务所经过的有向边的条数称为该任务所在的层数；

关联度的计算公式如下：

<mrow> <mi>c</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mi>c</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>&cap;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> </mrow> <msqrt> <mrow> <mo>|</mo> <mi>c</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>&CenterDot;</mo> <mo>|</mo> <mi>c</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </msqrt> </mfrac> </mrow>

特别地，当聚类C_i中所需任务个数为1时，则将剩余未分配的各个任务分别填充至聚类C_i、C_i+1…C_clusterNum中，聚类结束，转至步骤(7)；否则，从剩余任务中找到关联度最大的两个任务放到聚类C_i中；

<mrow> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> <mi>T</mi> <mi>a</mi> <mi>s</mi> <mi>k</mi> <mi>T</mi> <mi>i</mi> <mi>m</mi> <mi>e</mi> <mo>=</mo> <mfrac> <mrow> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>R</mi> <mi>T</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>c</mi> <mi>l</mi> <mi>u</mi> <mi>s</mi> <mi>t</mi> <mi>e</mi> <mi>r</mi> <mi>N</mi> <mi>u</mi> <mi>m</mi> </mrow> </mfrac> <mo>-</mo> <mi>c</mi> <mi>u</mi> <mi>r</mi> <mi>T</mi> <mi>a</mi> <mi>s</mi> <mi>k</mi> <mi>T</mi> <mi>i</mi> <mi>m</mi> <mi>e</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>n</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mi>N</mi> <mi>u</mi> <mi>m</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>c</mi> <mi>u</mi> <mi>r</mi> <mi>T</mi> <mi>a</mi> <mi>s</mi> <mi>k</mi> <mi>N</mi> <mi>u</mi> <mi>m</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

步骤(7).输出聚类结果C_i，i＝1,2,...,clusterNum。