CN106095569A - 一种基于sla的云工作流引擎资源调度与控制方法 - Google Patents

Abstract

本发明涉及一种基于服务水平协议SLA的云工作流引擎资源调度与控制方法，将资源分配过程分为定时检查和请求调度两个流程；在定时流程中，系统加载系统中所有的租户及其SLA；获取各引擎的实时速度，合并成租户实时速度，计算租户SLA速度与租户实时速度之差；对差距超过阈值上下限的租户，执行基于双阈值的引擎控制方法增减集群内引擎；根据当前引擎物理机和虚拟机分布，执行基于遗传算法的调度方法，计算新分布，并完成引擎迁移。在请求调度流程中，收到案例请求后，加载互斥规则集以及当前用户表；遍历互斥规则表与当前用户表，选择不会触发互斥规则或性能影响最小的引擎；记录用户和引擎性能快照，更新互斥规则表；处理请求并响应用户。

Description

一种基于SLA的云工作流引擎资源调度与控制方法

技术领域

本发明涉及工作流领域的云工作流引擎，更具体地，涉及一种基于服务水平协议(下称SLA)的云工作流引擎资源调度与控制方法。

背景技术

随着流程服务云化，越来越多公司尝试在项目中使用云工作流引擎驱动业务流程。传统工作流引擎的单机单用户模式虽然能满足单一企业的需求，而中小公司却因硬件费用或运维成本高昂而难免使用高可靠的流程服务。

目前，在工作流领域中，已有的工作流集群系统的系统架构和管理结构通常服务于同一个用户，资源集中使用且尽可能减少人的干涉。而在云服务商业运作模式中，多用户租户与流程服务提供商签订SLA合约，系统按SLA协议向租户提供相应的性能。针对工作流引擎的特性，云工作流服务SLA通常使用以下表征引擎性能的量化指标：

1.案例排队请求数：租户在服务时间内产生的新案例个数。

2.引擎案例处理数：引擎在服务时间内处理的案例个数。

3.工作项排队请求数：租户在服务时间内产生的新工作项个数。

4.引擎工作项处理数：引擎在服务时间内处理的工作项个数。

5.案例吞吐量：案例排队请求数/引擎案例处理数。

6.工作项吞吐量：工作项排队请求数/工作项案例处理数。

上述指标各自除以单位时间，则转化为速度指标。数量指标用于描述服务时间内的租户的累积得益，速度指标用于衡量引擎的能力。

发明内容

基于工作流特性的量化和分级计费需求，本发明提出基于服务水平协议(下称SLA)的云工作流引擎资源调度与控制方法。该方法依据工作流案例派发速度与工作项派发速度等指标进行流程分级服务的方法，以物理资源、虚拟资源多级调配手段，优化不同级别计费用户对性能的需要，支持工作流引擎的云服务商业模式。

为了实现上述目的，本发明的技术方案为：

一种基于服务水平协议(下称SLA)的云工作流引擎资源调度与控制方法，分为定时检查流程与请求调度流程；(1)在定时检查流程中，按租户SLA速度和实时速度，使用阈值控制与遗传算法分别调整引擎数量及分布；(2)在请求调度流程中，计算导致高负载的互斥用户组，分离互斥用户间的请求。所述方法两个流程具体为：

S1.定时检查流程

S1.1.加载系统中所有的租户及其SLA，得到租户SLA集以及租户的引擎集；

S1.2.获取系统中各引擎的实时速度，按引擎集合并成各租户实时速度；

S1.3.对比租户SLA速度与租户实时速度，计算两者之差，记录为差距表；

S1.4.对差距表中差距超过阈值上下限的租户，执行基于双阈值的引擎控制方法增减集群内引擎，并修改租户引擎集；

S1.5.根据当前集群内引擎在物理机上的分布，执行面向遗传算法的基于工作项派发能力的引擎分布评价函数与分布编码进行调度，计算新的更满足SLA的分布；

S1.6.按S1.5生成的新分布做引擎迁移。

S2.请求调度流程

S2.1.获得用户发送的案例请求；

S2.2.加载已有的用户组互斥规则集，以及用户所有引擎各自的当前服务用户表；

S2.3.遍历互斥规则表与当前用户表，选择不会触发互斥规则的引擎；

S2.4.如果S2.3找不到，则选择性能影响最小的引擎；

S2.5.记录本次请求的用户和当前性能快照；

S2.6.使用新数据与关联规则算法更新互斥规则表；

S2.7.处理请求，响应用户。

上述提出的技术方案，是依据工作流调度指标，基于物理机、虚拟机、任务分派三层资源的云工作流引擎资源调度与控制方法，一方面，满足工作流服务分级需要，一方面使资源占用最少。根据引擎资源控制与调度方法，实现一种引擎资源控制系统，使之可以对实际的云工作流系统提供SLA管理与资源控制服务，本方法可提高引擎集群对SLA的灵敏度以及节省服务商的计算资源。

另外，上述两流程中提及数个细分方法，分别为：

步骤S1.4提出一种基于双阈值的引擎数量控制方法，其特点在于双阈值控制操作与阈值上下限定义，具体定义为：双阈值调整包含两项基本操作，当吞吐量超过阈值上限时，添加引擎；当吞吐量低于阈值下限时，减少引擎。其中，

D1.阈值上限是当该租户引擎个数一定时，从当前引擎池中选取最快的同等数量引擎，其速度之和依然小于该租户SLA速度。

D2.阈值下限是假设租户引擎集删去速度最低的引擎，其速度之和依然大于该租户SLA速度的110％。

步骤S1.5中使用面向遗传算法的引擎分布编码，其编码结构具体为：设物理机数量为M，单台物理机为S_i{1≤i≤M}。引擎包数量为N，单台引擎包为V_j{1≤j≤N}。S_i表现为长为N的二进制串，代表引擎包分布情况，若V_j部署在该引擎包上，则在第j位编码为1，否则为0，可得S_i表示为：S¹ _iS² _i…S^j _i…S^N _i，得出个体的染色体编码表示为：

C＝S¹ ₁…S^j ₁…S^N ₁……S¹ _i…S^j _i…S^N _i……S¹ _M…S^j _M…S^N _M

该编码满足C中的1的个数等于N。

步骤S1.5中使用一种基于工作项派发能力的引擎分布评价函数，该函数是分段式适应性函数，具体为：

假设有m个租户，e台引擎，h台物理机，下标表示编号，α为节能系数，表达如下。

$fitness\left(config\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}weight\left(diff\right(i\left)\right)diff\left(i\right)+\mathrm{\α}(h_{total}-h_{used})$

其中α的值取决于节能要求与服务质量之间的权衡。

步骤S2.2与S2.6中使用一种基于关联规则算法的互斥规则定义，其具体规则描述为，rule＝{[用户组]→负载水平，支持度}。

步骤S2.2与S2.6中使用一种负载水平评价函数，其负载能力是案例吞吐速度x的分段函数，函数具体形式为：

为了实现上述方法，本发明还提出一种基于服务水平协议的云工作流引擎资源调度与控制系统，包含了控制平台、物理机、引擎包、引擎池、请求调度模块、云支持模块等组件，具体为：

(1)控制平台，是基于虚拟化操作系统或容器等独立环境的管理平台，提供基本的管理信息接口，以及在物理机之间迁移独立环境的控制接口。

(2)物理机是在同一网络上安装了控制平台节点，可部署引擎包的计算机。

(3)引擎包是使用独立环境包装了传统工作流引擎、运行环境以及工作流指标收集器的镜像/容器文件。

(4)请求调度模块是分流用户请求的模块，用于分离整合工作流请求，以及负载事务数据库和互斥规则表。

(5)云支持模块是控制引擎池中引擎包数目与分布的模块。其功能有获取物理机信息、储存租户SLA、迁移和增减引擎包。

附图说明

图1是引擎资源控制系统的模块结构示意图。

图2是引擎资源控制系统的引擎组件部署实现示意图。

图3是引擎资源控制方法的定时流程示意图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

下面结合模块设计与部署附图进一步讲述具体实现的技术方案。图1是实例中引擎资源控制系统的模块结构，图2是引擎组件部署图，图3是定时流程示意图。

(1)控制平台是基于虚拟化操作系统或容器等独立环境的管理平台，提供基本的管理信息接口，以及在物理机之间迁移独立环境的控制接口。具体而言，控制平台需要输入已登记的物理机，输出的服务包括查询物理机的管理信息和状态信息、启动与迁移引擎包。控制平台通常是虚拟机(virtual machine)控制平台、IaaS云平台或应用容器(container)等，如Openstack，Cloudstack等IaaS云平台或者Docker等应用容器平台。管理人员可以在控制平台创建引擎包。通过自身管理模块提供的物理机资源查询功能，控制平台获取可用的物理机列表，管理人员在物理机列表中选择若干个物理机，并且选择需要部署的引擎包，便可将其安装在物理机上，形成引擎池。控制平台直接参与定时流程中关于获取物理机状态与产生迁移指令的部分。阈值控制方法产生的新引擎包，与遗传算法生成的新空间分布，最终都需要翻译成控制平台的指令执行。此外，在一定简易设计中，控制平台可提供简单的请求调度服务。

(2)物理机是在同一网络上安装了控制平台节点，可部署引擎包的计算机。物理机分为管理节点和计算节点，管理节点只有一个，而计算节点数量不定。计算节点需要在管理节点中登记，形成集群。在小规模部署中，管理节点可兼任计算节点。物理机记录自身运行状态以及负载的引擎包的状态，发送到控制节点以及高可用模块中，也可以接受迁移指令，对引擎包进行打包迁移。

(3)引擎包是打包部署的传统工作流引擎、运行环境以及工作流指标收集器的虚拟机镜像/容器。引擎包是集群对外提供服务的核心组件，需要运行在物理机上，拥有独立的标识符，并在云支持模块、请求调度模块两管理模块中登记。引擎包由三部分组成，其中传统工作流引擎提供工作流案例与工作项的生成派发任务；工作流指标收集器监听引擎，收集运行时的工作流指标情况，并定时发送这些性能记录到上述两管理模块；运行环境则提供工作流引擎和收集器所需其他工具与框架，如服务容器等。引擎包的迁移是通过控制平台上的迁移功能，将整个引擎包重新部署到其他物理机上继续运行。引擎包迁移所需的数据储存到数据库集群和共享存储资源上。

(4)请求调度模块是分流用户请求的模块，用于分离整合工作流请求，以及储存负载事务数据库和互斥规则表。此外请求调度模块中需获得租户SLA和引擎包地址，可转发工作流请求，能整合多台互相独立工作的工作流引擎的结果。当租户请求获取当前工作项列表时，调度模块将请求分发到该租户所有引擎中，收取结果后整合回复。当用户请求生成新案例时，则使用关联规则算法选择引擎，并输出回复。

(5)云支持模块是控制引擎池中引擎包数目与分布的模块。其功能有获取物理机信息、储存租户SLA、迁移和增减引擎包。云支持模块需要获得引擎包的性能记录和操作控制平台的权限，可以主要在定时流程中使用阈值控制方法与遗传算法计算满足SLA和服务质量的引擎数量及分布，提高物理机资源利用率与服务质量。

以上内容为本发明提供的引擎资源控制系统，采用一种基于SLA的引擎资源调度方法，联合使用遗传算法、阈值控制与关联规则进行多层次多方面的引擎资源调优，因此可以完成高效的资源分配任务。

Claims (7)

1.一种基于服务水平协议SLA的云工作流引擎资源调度与控制方法，其特征在于：分为定时检查流程与请求调度流程；在定时检查流程中，按租户SLA速度和实时速度，使用阈值控制与遗传算法分别调整引擎数量及分布；在请求调度流程中，计算导致高负载的互斥用户组，分离互斥用户间的请求；所述两个流程具体为：

定时检查流程

S101、加载系统中所有的租户及其SLA，得到租户SLA集以及租户的引擎集；

S102、获取系统中各引擎的实时速度，按引擎集合并成各租户实时速度；

S103、对比租户SLA速度与租户实时速度，计算两者之差，记录为差距表；

S104、对差距表中差距超过阈值上下限的租户，执行基于双阈值的引擎控制方法增减集群内引擎，并修改租户引擎集；

S105、根据当前集群内引擎在物理机上的分布，执行面向遗传算法的基于工作项派发能力的引擎分布评价函数与分布编码进行调度，计算新的更满足SLA的分布；

S106、按步骤S105生成的新分布做引擎迁移；

请求调度流程

S201、获得用户发送的案例请求；

S202、加载已有的用户组互斥规则集，以及用户所有引擎各自的当前服务用户表；

S203、遍历互斥规则表与当前用户表，选择不会触发互斥规则的引擎；

S204、如果S203找不到，则选择性能影响最小的引擎；

S205、记录本次请求的用户和当前性能快照；

S206、使用新数据与关联规则算法更新互斥规则表；

S207、处理请求，响应用户。

2.根据权利要求1所述的资源调度与控制方法，其特征在于，SLA格式是合约条目格式，具体如下：

D1.案例派发速度；

D2.工作项派发速度；

D3.服务开始、结束时间；

D4.平均无故障时间比。

3.根据权利要求1所述的资源调度与控制方法，其特征在于，步骤S104所述的基于双阈值的引擎控制方法，具体为：当吞吐量超过阈值上限时，添加引擎；当吞吐量低于阈值下限时，减少引擎；其中，

阈值上限是当该租户引擎个数确定时，从当前引擎池中选取最快的同等数量引擎，其速度之和依然小于该租户SLA速度；

阈值下限是假设租户引擎集删去速度最低的引擎，其速度之和依然大于该租户SLA速度的110％。

4.根据权利要求1所述的资源调度与控制方法，其特征在于，步骤S105所述执行面向遗传算法的引擎分布编码，其编码结构具体为：设物理机数量为M，单台物理机为S_i，1≤i≤M；引擎包数量为N，单台引擎包为V_j，1≤j≤N；S_i表现为长是N的二进制串，代表引擎包分布情况，若V_j部署在该引擎包上，则在第j位编码为1，否则为0，得S_i表示为：S¹ _iS² _i…S^j _i…S^N _i，得出个体的染色体编码表示为：

C＝S¹ ₁…S^j ₁…S^N ₁……S¹ _i…S^j _i…S^N _i……S¹ _M…S^j _M…S^N _M

该编码满足C中的1的个数等于N。

5.根据权利要求1所述的资源调度与控制方法，其特征在于，步骤S105提出一种基于工作项派发能力的引擎分布评价函数，该函数是分段式适应性函数。所述函数具体为：假设有m个租户，e台引擎，h台物理机，下标表示编号，α为节能系数，表达如下：

$fitness\left(config\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}weight\left(diff\right(i\left)\right)diff\left(i\right)+\mathrm{\α}(h_{total}-h_{used})$

其中α的值取决于节能要求与服务质量之间的权衡。

6.根据权利要求1所述的资源调度与控制方法，其特征在于，步骤S202中互斥规则是基于关联规则算法的互斥规则，规则格式为：rule＝{[用户组→负载水平]，支持度，置信度}。

7.根据权利要求1所述的资源调度与控制方法，其特征在于，在步骤S202与S206提出一种负载水平评价函数，负载能力是案例吞吐速度x的分段函数，所述特征具体为：