CN111818119A - 基于改进的蜘蛛集群的数据服务资源优化调度方法 - Google Patents

Abstract

本发明公开了基于改进的蜘蛛集群的数据服务资源优化调度方法，并将该方法应用于解决数据中台数据服务资源调度优化问题。该方法改进基本的SSO算法，提出改进的蜘蛛集群优化算法，动态调整学习步长，能够有效平衡算法的全局优化能力和局部优化能力；建立数据服务资源调度模型，提出基于MSSO的数据服务资源优化调度方法，实验结果表明，基于改进的蜘蛛集群的数据服务资源优化调度方法能够有效解决数据中台服务资源调度问题，能够对数据资源合理调度，并且用户综合满意度评价较好。

Description

基于改进的蜘蛛集群的数据服务资源优化调度方法

技术领域

本发明属于云计算资源调度技术领域，具体为基于改进的蜘蛛集群的数据服务资源优化调度方法。

背景技术

蜘蛛群优化算法(Social-Spider Optimization，SSO)是由Cuevas E等提出的一种新的随机全局优化算法，其思想源于自然界中蜘蛛发现食物后传播信号吸引同伴前来觅食的这种自然现象。在SSO中，蜘蛛网表示待优化问题的解空间，网上的每个蜘蛛表示一个可行解，猎物表示最优解，当一个蜘蛛发现猎物时便会产生较强的震动吸引一定范围内的蜘蛛向其移动，最终群体中大部分蜘蛛都聚集在最优解周围。SSO算法的收敛速度较快和鲁棒性较好，但是易出现局部优化情况，研究表明，通过调整学习步长可以有效提高算法平衡全局最优解和局部最优解的能力。

数据中台通过调度存储、网络、计算等服务资源来满足互联网中用户的服务请求，且数据中台用户对数据费用、数据实时性、数据稳定性等重视程度不同，每个服务对QoS(Quality of Service，服务质量)或数据服务约束条件也不是单一的，因此处理数据服务资源优化调度问题(Data Service Resource Optimization Scheduling，DSROS)需要研究多目标优化技术，设计调度优化算法，以确保大批量的数据服务资源能在合理的响应时间内完成用户服务请求，提高服务质量。

鉴于此，本文提出基于改进的蜘蛛集群的数据服务资源优化调度方法 (MSSO-SRS)，将用户的数据服务需求视为寻找猎物的蜘蛛，数据中台提供的计算、存储、网络、安全等资源视为猎物，利用蜘蛛集群优化算法对数据服务资源优化调度，实现为大规模数据服务请求提供资源的最佳匹配的目标。

发明内容

本发明的目的在于提供基于改进的蜘蛛集群的数据服务资源优化调度方法，解决大规模数据服务资源调度问题，提高数据中台服务质量。

实现本发明目标的技术解决方案为：

基于改进的蜘蛛集群的数据服务资源优化调度方法，所述优化调度方法包括：

建立数据服务资源优化调度模型，基于用户最小等待时间和资源负载均衡建立目标函数，对数据服务资源调度综合满意度进行评估；

基于SSO算法建立MSSO算法，借助MSSO算法动态调整学习步长，对蜘蛛集群的协作机理进行调节；

基于MSSO算法对数据服务资源进行优化调度，经过种群初始化、迭代、更新处理过程输出最优解。

可选的，所述建立数据服务资源优化调度模型，基于用户最小等待时间和资源负载均衡建立目标函数，对数据服务资源调度综合满意度进行评估，包括：

建立数据服务资源综合调度模型，为实现数据服务资源调度目标，使用户请求和数据服务资源在一定约束条件下达到最优组合；

从用户最短等待时间W和服务资源负载均衡δ两方面建立目标函数，当存在服务请求时能够在一定约束条件下，输出最优调度序列，使得W和δ最小化；

利用目标函数中的指标W、δ基于先验偏好构造满意度函数S(W)和S(δ)，将多目标问题转化为单目标问题求解，利用几何平均法计算综合评价满意度

可选的，所述基于SSO算法建立MSSO算法，借助MSSO算法动态调整学习步长，对蜘蛛集群的协作机理进行调节，包括：

在SSO算法上提出MSSO算法，动态调整学习步长C，设置调整步长D，具体方案如下：

其中：D和C分别为自身调整步长及动态学习步长，C_min和C_max(D_min和D_max) 分别为最小和最大学习因子，g和G分别为本次和总迭代次数，f_min和f_max分别代表最小和最大目标函数值，j为原个体数。

可选的，所述基于MSSO算法对数据服务资源进行优化调度，经过种群初始化、迭代、更新处理过程输出最优解，包括：

首先初始化种群，定义资源调度解的结构X_i＝(x_i1,x_i2,…,x_im)i＝1,2,…,SN，X_i表示蜘蛛个体即第i种资源调度序列，并定义最大迭代次数；

以用户最小等待时间和资源负载均衡度作为目标函数，计算每个蜘蛛个体的适应度值和权重；

循环迭代，雌、雄蜘蛛个体根据各自的协作机制移动，交配产生子代；

选择子代，对于新产生的个体，计算其适应度值，并与先前权重最小值进行比较，更新个体；

判断是否满足迭代停止条件。

有益效果：

提出可调整学习步长的MSSO算法，实现算法全局优化能力和局部优化能力的有效平衡；将MSSO算法应用于解决数据服务资源优化调度问题，实验结果较好。

附图说明

图1是基于改进的蜘蛛集群的数据服务资源优化调度方法的流程图。

图2是改进的蜘蛛集群优化算法的流程图

图3是五种调度算法在不同任务数时的用户最短等待时间比较示意图；

图4是五种调度算法在不同任务数时的数据服务资源负载均衡比较示意图；

图5是五种调度算法在不同任务数时的综合满意度比较示意图。

具体实施方式

本申请实施例提出了基于改进的蜘蛛集群的数据服务资源优化调度方法，如图1所示，所述优化调度方法包括：

11、建立数据服务资源优化调度模型，基于用户最小等待时间和资源负载均衡建立目标函数，对数据服务资源调度综合满意度进行评估；

12、基于SSO算法建立MSSO算法，借助MSSO算法动态调整学习步长，对蜘蛛集群的协作机理进行调节；

13、基于MSSO算法对数据服务资源进行优化调度，经过种群初始化、迭代、更新处理过程输出最优解。

在实施中，基于改进的蜘蛛集群的数据服务资源优化调度方法的步骤为：

Step1：建立数据服务资源优化调度模型，选择用户等待时间W和服务资源负载均衡δ作为目标函数，在一定约束条件下求解最优的服务资源调度序列；

Step2：改进基本的SSO算法，动态调整学习步长C，设置自身调整步长D，提出MSSO算法，初始化种群，雌雄蜘蛛个体分别按照式(19)和(20)所示的协作机理移动位置完成个体更新，迭代进行交配行为，输出权重值最大的蜘蛛个体作为最优解。

Step3：初始化种群，定义解结构X_i＝(x_i1,x_i2,…,x_im)i＝1,2,…,SN，X_i表示蜘蛛个体即一组资源调度序列，以用户最小等待时间和资源负载均衡度作为目标函数(即适应度函数)，计算每个蜘蛛个体的适应度值和权重值；

Step4：开始循环迭代。雌蜘蛛、雄蜘蛛个体在搜索空间内(公共网内)分别根据各自的协作机制进行移动，交配产生子代。

Step5：子代选择。对于新产生的个体，计算其适应度值，并把它与先前种群中重量最轻的蜘蛛个体作比较，若较重，则替换种群中最轻的蜘蛛个体，否则，将淘汰新生的蜘蛛个体，整个蜘蛛种群保持不变。

Step6：判断是否满足迭代停止条件。若满足则停止计算，输出最优个体即为最优解序列；若不满足停止条件，转到Step4进行下一代的计算，直到满足迭代停止条件。

为提供一种基于蜘蛛集群的数据服务资源优化调度方法，其具体实施主要包括三个方面：(1)建立数据服务资源优化调度模型；(2)提出改进地蜘蛛集群优化算法(MSSO)，动态调整步长，有效平衡算法的全局优化能力和局部优化能力；(3)将MSSO算法应用于解决数据服务资源调度问题，提出基于改进的蜘蛛集群的数据服务资源优化调度方法(MSSO-SRS)。

1、数据服务资源优化调度模型

数据服务资源优化调度的目标是要使用户服务请求和计算资源在一定约束条件下达到全局最优的组合，满足用户QoS的需求。假设由n个待处理的云任务Cs＝{Cs₁,Cs₂,…,Cs_n}，对于每个云任务Cs_i(i＝1,2,…,n)都有属性CsL_i＝{sT_i,eT_i,dt_i}，其中CsL_i，sT_i，eT_i，dt_i分别表示云任务Cs_i的大小、最早开始时间、最迟完成时间和任务的执行时间。在云环境下有m个虚拟服务资源V＝{V₁,V₂,…,V_m}，对于每个虚拟机V_j(j＝1,2,…,m)都有属性Mips_j＝{Ccpu_j,Cram_j,Cbw_j}，其中Mips_j，Ccpu_j， Cram_j，Cbw_j分别表示虚拟机V_j的处理能力、CPU利用率、内存利用率、带宽利用率。

(1)用户最短等待时间：用符号W表示用户的等待时间。则有：

其中，time_ij表示任务Cs_i在虚拟机V_j上所需的执行时间，sum(j)表示分配到虚拟机V_j上的人物总数。由式(3)可知用户的最短等待时间即为各个虚拟机处理完分配到的任务的最迟完成时间的最大值。

(2)服务资源负载均衡：用δ表示服务资源的负载均衡度。则有：

其中，vl_j表示虚拟机V_j的负载，即虚拟机V_j的任务完成时间，avl表示虚拟机的平均负载，即虚拟机的平均任务完成时间，δ值越小，说明负载均衡度越好。

本文考虑从以上用户最短等待时间、资源负载均衡这两个方面来解决数据服务资源调度问题，考虑用户等待时间、虚拟服务资源的负载均衡，其数学模型如下：

其中，式(5)中约束条件a_ij＝1表示第i个云任务分配到虚拟机j上处理，a_ij＝0 表示第i个云任务没有分配到虚拟机j上处理，且一个云任务只能被一个虚拟机处理。

本文将目标函数中的指标W，δ基于先验偏好构造满意度函数，将多目标问题转化为单目标问题求解。完成用户服务请求最短等待时间的满意度区间为 [t₁,t₂]，满意度S(W)计算公式为式(6)，当

时，本文采用

的方式当不满足满意度区间时，还能够比较综合满意度的优劣；同理，虚拟资源负载均衡度的满意度区间为[b₁,b₂]，满意度S(δ)计算公式为式(7)。

本文数据服务资源调度方案综合满意度F用几何平均法求解，如公式(8) 所示，当目标S(W)，S(δ)均为1时，所得方案的综合评价值才为1，若其中有一个满意度分量为0，则综合评价值亦为0。

2、改进的蜘蛛集群优化算法

SSO算法模拟蜘蛛集群运动规律实现寻优过程，收敛速度快且鲁棒性较强，但是与蚁群、粒子群等群体智能算法一样易出现局部最优的情况，为此，本文提出一种改进的蜘蛛集群优化算法(MSSO)，动态调整学习步长，实现全局优化能力和局部优化能力的平衡，具体实施步骤如下：

(1)种群初始化

经研究发现，在蜘蛛种群中，雌性蜘蛛个体数量约占整个蜘蛛种群数量的 65％～90％。对蜘蛛集群初始化即首先要对蜘蛛种群雌雄个体的数量初始化，以及个体位置初始化。在MSSO算法中，N为蜘蛛种群的数量，N_f和N_m分别表示雌性蜘蛛种群数量和雄性蜘蛛种群的数量。则雌性蜘蛛种群数量计算公式如下：

N_f＝floor[(0.9-rand*0.25)*N] (9)

式中，rand是[0,1]之间的随机数，floor(·)是向下取整函数，则雄性蜘蛛种群数量如式(10)所示：

N_m＝N-N_f (10)

雌性蜘蛛个体和雄性蜘蛛个体的初始位置如下：

式中，f_i,j和m_g,j分别代表雌性蜘蛛个体和雄性蜘蛛个体的位置，p_j ^high和p_j ^low分别表示第j维变量的上下界。其中，i∈{1,2,...,N_f}，g∈{1,2,...,N_m}，j∈{1,2,...,D}， D为问题维数。

(2)种群个体权重分配及适应度值计算

从生物学角度，蜘蛛的重量是评估蜘蛛个体自身优势的标准。在SSO算法中，每个蜘蛛都会赋予一个权值w_i，它代表蜘蛛个体i的重量。蜘蛛个体的权重可由下式计算：

式中，J(s_i)是根据适应度函数J(·)所求得的第i只蜘蛛个体的适应度值，worst_s和best_s分别是蜘蛛种群中最好和最差个体的适应度值。其中worst_s和best_s可由下式计算得出：

best_s＝max(J(s_k)) k∈{1,2,...,N} (14)

worst_s＝min(J(s_k)) k∈{1,2,...,N} (15)

(3)公共交流网络的震动模型

蜘蛛个体在网中的交流，主要是由蜘蛛个体在公共交流网中的震动所传递，蜘蛛个体的震动感知能力是由彼此间的距离远近以及蜘蛛个体重量大小所决定的。蜘蛛个体i察觉到蜘蛛个体j的震动可由下式表示：

式中，d_i,j表示蜘蛛个体i和蜘蛛个体j之间的欧式距离，其表达式为 d_i,j＝||s_i-s_j||。

(4)MSSO算法的协作机制

SSO算法中蜘蛛个体的协作过程即为个体更新的过程，这个过程可以理解为新个体＝原个体+原个体向较优个体学习+随机部分，各项可分别理解为自我认知部分、学习部分和随机部分，学习部分保证个体向更优方向进化。

算法不同进化过程对个体的优劣程度要求差异很大。一方面，算法进化初期应增强种群的开采能力，使个体尽量在全局范围内搜索，加强较差个体与全局最优个体之间的信息交流，加速个体向最优解靠近，促进算法收敛；另一方面，算法进化后期应加强算法种群探索能力，即个体的局部搜索能力，使得个体能够在自身邻域内精细搜索，增大个体搜索到全局最优解的概率。对于种群中适应度值较差的个体应增强与优秀个体之间的学习和交流，增强全局搜索能力，加速向全局最优解的进化速度；对于种群中适应度值较优个体，则应尽量保留个体内的优秀基因，增大其局部搜索能力。

基于上述思想，对基本SSO算法中的学习步长进行改进，设置个体自身调整步长以及动态学习步长，具体的学习策略如下：

其中：D和C分别为自身调整步长及动态学习步长，C_min和C_max(D_min和 D_max)分别为最小和最大学习步长，大量实验证实，一般当w₀＝0.5，C_min＝D_min＝0.2， D_max＝D_max＝0.6时候便可以取得优异效果；g和G分别为本次和总迭代次数；f_min和f_max分别代表最小和最大目标函数值(最小化问题)，j为原个体。

雌雄蜘蛛个体分别依据上述学习策略完成协作过程：

式(19)为雌性蜘蛛个体依据动态调整学习步长和自身调整步长确定的协作机理，式中，α,β,δ,r_m和rand表示[0,1]之间的随机数，k表示迭代次数，PF为控制雌性蜘蛛进行吸引或排斥行为的阈值，s_c表示离第i只蜘蛛最近且重量比它重的蜘蛛个体，s_b表示整个蜘蛛种群中重量最重的蜘蛛个体，D和C分别为自身调整因子及动态学习因子。

式(20)为雄性蜘蛛个体依据动态调整学习步长和自身调整步长确定的协作机理，式中，满足

的雄性蜘蛛称为支配雄性蜘蛛，其余未满足条件的雄性蜘蛛为非支配雄性蜘蛛，s_f代表离支配雄性蜘蛛i最近的雌性蜘蛛f，

为雄性蜘蛛中间位置，

为处于雄性蜘蛛群体中间位置的蜘蛛重量。

(5)交配行为

在雄性蜘蛛群体中支配型雄性蜘蛛具有和雌性蜘蛛的交配权，每个支配型雄性蜘蛛都有属于自己的交配半径，处在交配半径中的雌性蜘蛛都会和支配型雄性蜘蛛进行交配行为，交配半径公式定义如下：

支配雄性蜘蛛通过和雌性蜘蛛交配产生新的子代蜘蛛个体。交配过程中，交配蜘蛛的重量决定了交配个体对新的子代蜘蛛个体的影响。蜘蛛的重量越重就会对新产生的子代蜘蛛影响越大，每个蜘蛛影响的可能性为Ps_i，依据轮盘赌的方法确定，由下式表示：

交配过程完成后，检查新产生蜘蛛个体的重量，并把它与先前种群中重量最轻的蜘蛛个体作比较，若较重，则替换种群中最轻的蜘蛛个体，否则，将淘汰新生的蜘蛛个体，整个蜘蛛种群保持不变。

具体步骤为：

Step1：设定蜘蛛群个体总量为N，根据公式(9)计算雌性蜘蛛群个体总量 N_f，根据公式(10)计算雄性蜘蛛群个体总量N_m，并初始化蜘蛛个体位置；

Step2：根据式(13)计算蜘蛛个体的适应度值和权重，选择出最优、最差蜘蛛个体；

Step3：根据式(16)计算蜘蛛个体对存在于同一公共交流网的蜘蛛的震动感知能力；

Step4：依据式(17)、(18)所示的动态学习策略，调整雌雄蜘蛛个体的协作机理，完成协作过程个体更新；

Step5：支配雄性蜘蛛和雌性蜘蛛交配产生子代，交配过程完成后，检查新产生蜘蛛个体的重量，并把它与先前种群中重量最轻的蜘蛛个体作比较，若较重，则替换种群中最轻的蜘蛛个体，否则，将淘汰新生的蜘蛛个体，整个蜘蛛种群保持不变。

Step6：判断是否满足终止条件，若满足则输出最优个体结束算法；若不满足则返回Step2，继续迭代。

3、基于改进的蜘蛛集群的数据服务资源优化调度

根据上文所构建的数据服务资源优化调度模型和提出的MSSO算法，提出 MSSO-SRS方法，用于解决数据中台云端数据服务资源优化调度问题，具体步骤如下：

Step1：初始种群生成。假设有m个虚拟服务资源批处理n个云任务，那么定义解的结构如下式(23)所示，并初始化解即将种群初始化，设置最大迭代次数I_max。

X_i＝(x_i1,x_i2,…,x_im) i＝1,2,…,SN (23)

其中，X_i表示第i个蜘蛛个体，SN表示蜘蛛总数，变量x_ij(j＝1,2,…,n)的取值为[0,m-1]之间的整数，代表第j个云任务在虚拟资源节点x_ij上处理。如 X_i＝(2，3，5，1，0)表示有5个云任务待处理，第1个云任务在虚拟资源节点ID＝2上处理，……，第5个云任务在虚拟资源节点ID＝0上处理。

Step2：以用户最小等待时间和资源负载均衡度作为目标函数(即适应度函数)，计算每个蜘蛛个体的适应度值，利用式(9权重求解)计算不同蜘蛛个体即任务调度序列的权重，利用式(10)获得最优个体和最差个体(即初始解集)。

Step3：开始循环迭代。雌蜘蛛、雄蜘蛛个体在搜索空间内(公共网内)分别根据各自的协作机制进行移动，交配产生子代。

Step4：子代选择。对于新产生的个体，计算其适应度值，并把它与先前种群中重量最轻的蜘蛛个体作比较，若较重，则替换种群中最轻的蜘蛛个体，否则，将淘汰新生的蜘蛛个体，整个蜘蛛种群保持不变。

Step5：判断是否满足迭代停止条件。若满足则停止计算，输出最优个体即为最优解序列；若不满足停止条件，转到Step3进行下一代的计算，直到满足迭代停止条件。

依据上文提出的MSSO-SRS方法进行数据服务资源优化调度实验，与经典的 GA、ABC、PSO、SSO算法进行对比试验，分别以图3、图4以及图5为例从用户最短等待时间、服务资源负载均衡以及综合满意度三个方面评价GA、ABC、 PSO、SSO以及MSSO-SRS算法在进行数据服务资源优化调度结果，可以看出 MSSO-SRS算法在实现数据资源服务调度时综合性能较好。实验中设置资源节点 50个，云任务数依次为{300，400，500，600，800}个。

Claims (4)

1.基于改进的蜘蛛集群的数据服务资源优化调度方法，其特征在于，所述优化调度方法包括：

建立数据服务资源优化调度模型，基于用户最小等待时间和资源负载均衡建立目标函数，对数据服务资源调度综合满意度进行评估；

基于SSO算法建立MSSO算法，借助MSSO算法动态调整学习步长，对蜘蛛集群的协作机理进行调节；

基于MSSO算法对数据服务资源进行优化调度，经过种群初始化、迭代、更新处理过程输出最优解。

2.根据权利要求1所述基于改进的蜘蛛集群的数据服务资源优化调度方法，其特征在于，所述建立数据服务资源优化调度模型，基于用户最小等待时间和资源负载均衡建立目标函数，对数据服务资源调度综合满意度进行评估，包括：

建立数据服务资源综合调度模型，为实现数据服务资源调度目标，使用户请求和数据服务资源在一定约束条件下达到最优组合；

从用户最短等待时间W和服务资源负载均衡δ两方面建立目标函数，当存在服务请求时能够在一定约束条件下，输出最优调度序列，使得W和δ最小化；

利用目标函数中的指标W、δ基于先验偏好构造满意度函数S(W)和S(δ)，将多目标问题转化为单目标问题求解，利用几何平均法计算综合评价满意度

3.根据权利要求1所述基于改进的蜘蛛集群的数据服务资源优化调度方法，其特征在于，所述基于SSO算法建立MSSO算法，借助MSSO算法动态调整学习步长，对蜘蛛集群的协作机理进行调节，包括：

在SSO算法上提出MSSO算法，动态调整学习步长C，设置调整步长D，具体方案如下：

其中：D和C分别为自身调整步长及动态学习步长，C_min和C_max(D_min和D_max)分别为最小和最大学习因子，g和G分别为本次和总迭代次数，f_min和f_max分别代表最小和最大目标函数值，j为原个体数。

4.根据权利要求1所述基于改进的蜘蛛集群的数据服务资源优化调度方法，其特征在于，所述基于MSSO算法对数据服务资源进行优化调度，经过种群初始化、迭代、更新处理过程输出最优解，包括：

首先初始化种群，定义资源调度解的结构X_i＝(x_i1,x_i2,…,x_im)i＝1,2,…,SN，X_i表示蜘蛛个体即第i种资源调度序列，并定义最大迭代次数；

以用户最小等待时间和资源负载均衡度作为目标函数，计算每个蜘蛛个体的适应度值和权重；

循环迭代，雌、雄蜘蛛个体根据各自的协作机制移动，交配产生子代；

选择子代，对于新产生的个体，计算其适应度值，并与先前权重最小值进行比较，更新个体；

判断是否满足迭代停止条件。

Images