CN108134848B - 一种基于图论k-分割的soa系统资源优化方法 - Google Patents

Abstract

本发明公开了一种基于图论K‑分割的SOA系统资源优化方法，属于软件系统资源管理优化技术领域。所述方法包括第一步，确定SOA系统领域应用层的服务流程结构，对完成系统任务的多个组合服务进行建模；第二步，通过组合服务构建服务依赖图，建立SOA系统中有相互调用和数据传输关系的服务关系网络；第三步，基于图论K‑分割方法，提出SOA系统的虚拟机上的服务部署策略，优化SOA系统性能；第四步，对K‑分割方法设计改进型遗传算法。本发明考虑了服务之间的逻辑关系和服务执行时的依赖性，更符合面向服务架构的系统中服务间的调用关系。本发明采用最小K‑分割的方法实现服务的优化部署，并设计改进型的遗传算法提高计算效率，具有更好的优化效果。

Description

一种基于图论K-分割的SOA系统资源优化方法

技术领域

本发明涉及一种SOA系统硬件虚拟化下的资源管理方法，具体涉及一种基于图论中K-分割的SOA系统资源优化方法，属于软件系统资源管理优化技术领域。

背景技术

随着全球经济一体化的深入发展，敏捷的、不受限制的集成业务流程的需求已经成为关键的业务需求。在这种状况下，面向服务的架构(Service Oriented Architecture，SOA)应运而生，并广泛的应用在IT领域。SOA是一个组件模型，它将应用程序的不同功能单元——服务(Service)，通过这些服务之间定义良好的接口和契约联系起来。接口采用标准、中立的方式定义，独立于具体实现服务的硬件平台、操作系统和编程语言，使得构建在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。基于服务的低耦合和高重用等优点，SOA现在已经逐渐应用到大型军事系统中，如导弹系统、C4ISR系统、舰船系统等。军用SOA系统通过软硬件模块化、构件化及服务化，解决了各分系统独立运行、互操作困难、资源无法共享等问题，最终达到跨平台、跨领域的协同作战能力。

传统的SOA主要应用在软件系统中，但是大型军事系统是一个复杂的由硬件和软件紧密结合组成的系统，资源管理的作用范围涉及整个系统的各个层次，负责完成系统中所有软、硬件设施的统一分配、管理与部署。硬件虚拟化是实现面向服务的一体化系统的方法之一，对整个军事系统的计算、存储和网络资源进行虚拟化，实现基础设施即服务(IaaS)。虚拟化隐藏了真实的计算机硬件，表现出另一个抽象计算平台，是一种整合硬件的方式，增加了硬件资源的利用率，这样每一个运行在独立的硬件上的服务就被转移到在硬件资源上的虚拟机中。

针对SOA系统的基础设施即服务的特点，如何对系统进行更高效更可靠的资源管理是一个在业内被广泛关注的问题。但对于SOA系统资源管理相关的研究，普遍存在以下不足：

(1)将完成任务的相关服务部署在虚拟机上时，并没有考虑服务之间的逻辑关系，忽略了服务执行时的依赖性和并发性。在对服务进行部署时，服务之间的逻辑关系同样是影响系统的性能的一个重要因素。

(2)在相关的研究中，普遍假定不同的任务所调用的服务流程不共享服务。而在实际系统的服务调用过程中，同一个服务可以被不同的任务所调用，存在于大量的服务交互关系。

(3)在对服务进行部署时没有考虑服务之间存在的依赖性关系，忽略了有相互依赖关系的服务部署到不同的虚拟机上时会产生通信开销这一因素。

发明内容

本发明为解决SOA系统所面临的基础设施层的资源管理的问题，从系统硬件虚拟化下资源共享的特点入手，构建了一种减少服务间通信开销的虚拟机上的服务部署策略，为SOA系统的性能优化提供了具有可行性的资源优化方法。

本发明提出了一种基于图论K-分割的SOA系统资源优化方法，是一种提高SOA系统性能的服务部署方法，可以减少服务间通信开销。所述的资源优化方法，首先根据组合服务构建服务依赖图SDG图。然后，采用图论中的经典方法最小K-分割方法，对SDG图中的服务节点进行分割，对分割后的服务进行部署，通过减少服务间通信开销来提高系统性能。

本发明所提供的基于图论K-分割的SOA系统资源优化方法，主要包括以下步骤：

第一步，确定SOA系统领域应用层的服务流程结构，对完成系统任务的多个组合服务进行建模；

第二步，通过组合服务构建服务依赖图(Service Dependency Graph，简称SDG)，建立SOA系统中有相互调用和数据传输关系的服务关系网络；

第三步，基于图论K-分割方法，提出SOA系统的虚拟机上的服务部署策略，优化SOA系统性能；

第四步，对K-分割方法设计改进型遗传算法提高计算效率和优化效果。

本发明与现有技术相比，具有以下明显的优势和有益效果：

1、本发明考虑了服务之间的逻辑关系和服务执行时的依赖性，更符合面向服务架构的系统中服务间的调用关系。

2、在现有技术的研究方法中，不同的服务流程不共享服务，本发明的研究的SOA系统中，一个服务可以被不同的服务流程进行调用，这增加了问题研究的复杂性，但其实更贴近SOA系统服务统一封装、灵活调度的特点，而且也是面向服务的系统的发展趋势。

3、本发明提出了最小K-分割的方法实现服务的优化部署，并设计了改进型的遗传算法提高计算效率，具有更好的优化效果。

附图说明

图1为SOA系统资源池的服务绑定示意图。

图2为组合服务结构图DAG。

图3为服务依赖图SDG。

图4为基因型编码示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面通过具体实施方式对本发明作进一步的详细和深入描述，主要包括的步骤将在以下内容进行详述。

本发明提供一种基于图论K-分割的SOA系统资源优化方法，包括如下步骤：

第一步，对所分析的SOA系统的基础设施层的资源管理有全面深入的了解，确定SOA系统领域应用层的服务流程结构，对完成系统任务的多个组合服务进行建模：

SOA系统的组合服务是由一定数量的原子服务(auto service)按一定逻辑关系组合而成的一个工作流，以完成特定的系统任务，在整个工作流开始执行之前，这些服务必须已经运行在特定的资源上。如图1所示，S₁～S₅表示的是部署在系统资源上的可用的服务，分别部署在三个虚拟机R₁、R₂、R₃上，T₁～T₅代表了一个系统任务的五个子任务，每个子任务被绑定到现存的一个服务上。

图2所示即为一个组合服务的结构图，整个服务流程可以表示为一个加权有向无环图，根据完成系统任务的服务间的逻辑关系构成。节点S₁～S₁₁表示服务，边表示服务之间的依赖关系，边上的数字分别表示相连的两个服务间进行数据传输时的通信量和网络传输带宽。

第二步，通过组合服务构建服务依赖图(Service Dependence Graph，简称SDG)，建立SOA系统中有相互调用和数据传输关系的服务关系网络。

为了建立一个尽可能减少服务间通信开销来保证系统性能的服务部署方法，在SOA系统的服务组合应用的基础上，本发明首先构建了一个服务依赖图(SDG)，描述了服务集合中的服务间的相互依赖关系。SDG图是一个加权无向图，SDG图中的节点和服务组合中的节点有着一样的意义，均表示服务，在完成任务的服务组合中有直接依赖关系的服务在SDG图中用边连接起来。

通过组合服务生成服务依赖图SDG的方法一般有很多种，在本发明中SDG图的生成步骤如下：

1)根据构成多个组合服务的服务数量n，确定SDG图的规模，即SDG图中的节点总数为n。

2)构建服务依赖关系矩阵，定义矩阵中第i行第j列的元素值为a_ij，初始时矩阵中所有元素值为0。

3)采用深度优先遍历的方法逐个遍历每个组合服务中的服务，对于有相互依赖关系的两个服务S_i和S_j，将两个服务之间相连的边上的权值加到矩阵中的相对应元素上。

4)当遍历到最后一个组合服务的最后一个服务时，停止遍历，输出服务依赖关系矩阵。将矩阵中元素值大于0的元素a_ij所在行列对应的服务用边相连，并将a_ij作为边的权值，即构成服务依赖图SDG。

令SDG＝(V,E,Q(v_i,v_j))，其中V是节点的集合，代表用来完成系统任务的服务集合，即V＝{v₁,v₂,…,v_n}；E是连接节点之间的无向边，代表着不同服务间的相互依赖关系，每个节点代表一个服务；Q(v_i,v_j)是连接两个相关服务的边的权重集合，代表边两端所连服务间的通信开销，通信开销由服务间通信量、传输带宽决定。

其中，Comm(S_i,S_j)为服务S_i和服务S_j之间的通信开销，C_ij表示服务S_i和服务S_j之间的通信量，W_ab表示服务S_i和服务S_j所部署的虚拟机a和虚拟机b之间的传输带宽。

图2中所示的是完成三个系统任务的三个组合服务，由S₁,S₂,…,S₁₁这11个服务构成，通过连接相互间有依赖关系的服务即可构成SDG图，如图3所示。边的权值反映两个服务之间的通信开销的大小，由于相关服务部署到同一虚拟机上时，服务间的通信开销是可以忽略不计的，可以通过将通信开销较大的服务部署到同一个虚拟机上来提高系统的性能。同时，由于每个虚拟机上资源的限制，虚拟机上可以负载的服务数量是有限的。

第三步，基于图论K-分割方法，提出SOA系统的虚拟机上的服务部署策略，优化系统性能:

网络K-分割优化问题，属于组合优化的范畴，即根据输入的数据信息和网络基本拓扑模型，寻找可能的最佳网络配置，这是一个NP(Non-deterministic Polynomial)完全问题。网络K-CUT(即K-分割)优化的原则是：

1)为了保证SOA系统性能，服务间的通信开销应尽可能小，即将彼此之间通信开销较少的服务节点分配到不同的子集(虚拟机)中，以减少虚拟机之间的通过网络互联的通信开销；

2)虚拟机内的通信开销应尽可能大，即将彼此之间通信开销较大或通信频繁的服务节点分配到同一个虚拟机中，以提高子网的资源利用率、增强子网内聚力；

3)各虚拟机内的服务数据传输应尽量趋于平衡，从而保证计算资源系统负载均衡，以防止因新增任务而导致虚拟机性能急剧下降。

网络划分的一个重要依据是网络中任意一对服务间的通信开销，因此可采用如下服务间通信分布矩阵来描述网络中的服务间通信分布状况。假设网络中有n个服务节点，于是服务间通信分布矩阵δ的表达式如下：

其中，元素w_ij＝Q(v_i,v_j)，代表服务S_i与服务S_j之间的通信开销。由于SDG是无向图，所以w_ij＝w_ji。

通过服务间通信分布矩阵δ，可计算出网络的总通信开销γ为：

服务依赖图SDG的K-分割需要满足的原则是：使完成多任务的SOA系统的整体服务性能最佳，即服务间通信开销最小，来保证系统达到最理想的性能状态。在这种情况下，通过将有依赖关系的服务部署到同一虚拟机上来降低服务间通信开销的目标函数可表示如下：

当相关服务被部署到同一个虚拟机上时，w_ij＝0。w_ij满足：

w_ij＝Comm(S_i,S_j)

目标函数的限制条件为：

G_r≤L_r

其中，G_r为第r个虚拟机上所负载的服务的数量，r＝1，…N，N为虚拟机的数量；L_r为第r个虚拟机的最大负载容量。

这样，服务部署在虚拟机上部署的问题就可以转化为SDG图的最小K-CUT典型问题，K即为虚拟机数目，K＝N。该问题的实质是研究无向图的多划分问题，即对于一无向图，将其节点集划分为互不相交的K个子集，求使这些子集间联系最少的一种划分。故可应用无向图多划分优化理论对此问题加以研究。

无向图多划分优化理论可以概述为：

定义对于一无向图G＝(V,E,Q₁)，其中顶点集合V＝{v₁,v₂,…,v_n}，边的集合

用w:E→R定义边的权值。现将无向图G划分为k个顶点子集P₁,P₂,…,P_k，且P₁∩P₂∩…∩P_k＝Φ，称P₁,P₂,…,P_k为无向图G的一个K-分割，要求划分以后，

其中，v_i∈P_s,v_j∈P_t，s,t∈{1,2,…,k}且s≠t，i＜j。

第四步，对K-CUT方法设计改进型遗传算法提高计算效率和优化效果：

对于网络最小K-CUT问题的研究，由于其计算复杂度随网络规模和需划分的子网数k的增大而急剧增加，传统的启发式搜索方法已无能为力。本发明将采用遗传算法对该网络最小K-CUT问题进行求解。遗传算法作为一种全局优化搜索算法，由于其本身所具有的全局收敛性和隐含的并行性，加之其简单易用、鲁棒性强，能够轻易地获得问题的全局最优解，且问题越复杂，它相对于其他算法的优越性越明显，故十分适合解决这类问题。但应用经典遗传算法求解网络最小K-CUT问题时，存在以下不足：

(1)无向图的K-CUT问题划分后所得到的任一子集都不能为空，至少必须包含一个节点。经典遗传算法(尤其是交叉操作)不能保证满足这一约束条件，因此需要对其进行修正。

(2)网络最小K-CUT问题属于约束优化问题，经典遗传算法在产生非法解时丢弃，当合法解产生概率较低时，该方法将浪费大量CPU和时间。因此需要针对问题的约束条件构造算子和编码，保证只产生合法解，同时收敛速度较快。

因而，有必要针对该具体应用问题的特点，对经典遗传算法加以改进，用于自动实现大规模网络的最小K-CUT优化，改进后的算法设计如下。

1)编码表示；

编码表示方案很大程度上依赖于问题的性质及遗传算子的设计。本发明采用可直接在解的表现型上进行遗传操作的自然数编码方式。设网络有n个服务节点，根据需要划分为k个子集或子网，则染色体可以表示如下：

x＝(g₁,g₂,…,g_n),其中,g_i∈{0,1,2,…,k-1},i∈{1,2,…,n}

例如，对具有30个服务节点的SDG图，划分到3个虚拟机上的网络划分编码如图4所示。

2)适应度函数；

根据无向图的K-CUT划分定义及划分原则，定义如下适应度函数f(x)：

其中，g_i,g_j∈{0,1,2,…,k-1}，o(x)即为目标函数，

λ为惩罚系数，且满足0＜λ＜1，它根据个体违反约束条件的程度而定，λ越大，约束条件要求越严格，否则约束条件比较宽松，u为解x是否为合法解的判定系数，可以定义为：

3)选择操作

为了保持适中的选择压力，本发明采用转盘式选择策略，先计算出第i个个体的相对适应度值

记为P_i，i∈{1,2,…,n}，f_i表示第i个个体的适应度。然后，基于P_i进行选择操作。

4)改进的交叉操作

为了避免过多地破坏有用的模式(Schema)，本发明采用两个交叉点位置相距较小的两点交叉算子，另外，为避免产生空划分解，在交叉操作之后还引入空划分检查校正操作。

5)变异操作

变异操作可以使搜索遍及整个个体空间。从网络K-分割角度看，变异操作使网络节点在各划分中进行重新分配，以维持种群的多样性，防止出现早熟现象，本算法中的变异操作不是以经典的小概率发生，而是以大概率(1.00)发生，采取连续多次进行对等基因位对换操作来实现变异。同时鉴于变异幅度过大可能会破坏最优解，故对换次数较少。

上述求解SDG图的服务节点最小K-CUT划分问题的改进遗传算法如算法1所示。

算法1改进遗传算法求解最小K-CUT；

Claims (4)

1.一种基于图论K-分割的SOA系统资源优化方法，其特征在于：

第一步，确定SOA系统领域应用层的服务流程结构，对完成系统任务的多个组合服务进行建模；

第二步，通过组合服务构建服务依赖图SDG，建立SOA系统中有相互调用和数据传输关系的服务关系网络；

第三步，基于图论K-分割方法，提出SOA系统的虚拟机上的服务部署策略，优化SOA系统性能；

第四步，对图论K-分割方法设计改进型遗传算法提高计算效率和优化效果；

改进型遗传算法如下，

1)编码表示；

采用直接在解的表现型上进行遗传操作的自然数编码方式，设网络有n个服务节点，根据需要划分为k个子集或子网，则染色体表示如下：

x＝(g₁,g₂,…,g_n),其中,g_i∈{0,1,2,…,k-1},i∈{1,2,…,n}

2)适应度函数；

根据无向图的K-分割划分定义及划分原则，定义如下适应度函数f(x)：

其中，Q(v_i,v_j)是连接两个相关服务v_i和v_j的边的权重集合，g_i,g_j∈{0,1,2,…,k-1}，o(x)即为目标函数，

λ为惩罚系数，且满足0＜λ＜1，u为解x是否为合法解的判定系数，定义为：

3)选择操作；

采用转盘式选择策略，先计算出第i个个体的相对适应度值

记为P_i，i∈{1,2,…,n}，f_i表示第i个个体的适应度，然后，基于P_i进行选择操作；

4)改进的交叉操作；

采用两个交叉点位置相距较小的两点交叉算子，在交叉操作之后引入空划分检查校正操作；

5)变异操作；

采取连续多次进行对等基因位对换操作来实现变异。

2.根据权利要求1所述的一种基于图论K-分割的SOA系统资源优化方法，其特征在于：

整个服务流程表示为一个加权有向无环图，根据完成系统任务的服务间的逻辑关系构成，节点表示服务，分别部署在不同的虚拟机上；边表示服务之间的依赖关系，边上的数字分别表示相连的两个服务间进行数据传输时的通信量和网络传输带宽；将系统任务的每个子任务绑定到现存的一个服务上。

3.根据权利要求1所述的一种基于图论K-分割的SOA系统资源优化方法，其特征在于：

SDG是一个加权无向图，SDG中的节点和服务组合中的节点有着一样的意义，均表示服务，在完成任务的服务组合中有直接依赖关系的服务在SDG图中用边连接起来；

通过组合服务构建服务依赖图SDG的方法步骤如下：

1)根据构成多个组合服务的服务数量n，确定SDG的规模，即SDG中的节点总数为n；

2)构建服务依赖关系矩阵，定义矩阵中第i行第j列的元素值为a_ij，初始时矩阵中所有元素值为0；

3)采用深度优先遍历的方法逐个遍历每个组合服务中的服务，对于有相互依赖关系的两个服务S_i和S_j，将两个服务之间相连的边上的权值加到矩阵中的相对应元素上；

4)当遍历到最后一个组合服务的最后一个服务时，停止遍历，输出服务依赖关系矩阵；将矩阵中元素值大于0的元素a_ij所在行列对应的服务用边相连，并将a_ij作为边的权值，即构成服务依赖关系图SDG；

令SDG＝(V,E,Q(v_i,v_j))，其中V是节点的集合，代表用来完成系统任务的服务集合，即V＝{v₁,v₂,…,v_n}；E是连接节点之间的无向边，代表着不同服务间的相互依赖关系，每个节点代表一个服务；Q(v_i,v_j)是连接两个相关服务的边的权重集合，代表边两端所连服务间的通信开销，通信开销由服务间通信量、传输带宽决定；

其中，Comm(S_i,S_j)为服务S_i和服务S_j之间的通信开销，C_ij表示服务S_i和服务S_j之间的通信量，W_ab表示服务S_i和服务S_j所部署的虚拟机a和虚拟机b之间的传输带宽。

4.根据权利要求1所述的一种基于图论K-分割的SOA系统资源优化方法，其特征在于：第三步中所述的优化SOA系统性能，假设网络中有n个服务节点，服务间通信分布矩阵δ的表达式如下：

其中，元素w_ij＝Q(v_i,v_j)，代表服务S_i与服务S_j之间的通信开销，由于SDG是无向图，所以w_ij＝w_ji；

通过服务间通信分布矩阵δ，计算出网络的总通信开销γ为：

通过将相关服务部署到同一虚拟机上来降低服务间的通信开销的目标函数表示如下：

当相关服务被部署到同一个虚拟机上时，w_ij＝0；w_ij满足:

w_ij＝Comm(S_i,S_j)

Q(v_i,v_j)是连接两个相关服务的边的权重集合，为：

其中，Comm(S_i,S_j)为服务S_i和服务S_j之间的通信开销，C_ij表示服务S_i和服务S_j之间的通信量，W_ab表示服务S_i和服务S_j所部署的虚拟机a和虚拟机b之间的传输带宽；

目标函数的限制条件为：

G_r≤L_r

其中，G_r为第r个虚拟机上所负载的服务的数量，r＝1，…N，N为虚拟机的数量；L_r为第r个虚拟机的最大负载容量；

服务部署问题就转化为SDG的最小K-分割典型问题，K即为虚拟机数目，K＝N；该问题的实质是研究无向图的多划分问题，即对于一无向图，将其节点集划分为互不相交的K个子集，求使这些子集间联系最少的一种划分。

Images