CN112817725B - 一种基于高效全局优化算法的微服务划分及优化方法 - Google Patents

Abstract

本发明公开了一种基于高效全局优化算法的微服务划分及优化方法，基于流程数据流图，构建基于微服务的业务系统性能仿真模型，运用DACE模型以及高效全局优化算法，在较小样本数量的仿真和验证实验结果下，构建出描绘业务系统的响应曲面，根据微服务应用需求，对微服务架构进行有效划分及性能优化，在传统的人工经验划分的基础上提升了划分的合理性，可提高微服务的效率和性能。

Description

一种基于高效全局优化算法的微服务划分及优化方法

技术领域

本发明涉及微服务技术领域，尤其涉及一种基于高效全局优化算法的微服务划分及优化方法。

背景技术

随着大型企业业务需求及信息化水平的快速发展，敏捷性、灵活性和可扩展性需求不断增长，迫切需要一种更加快速高效的软件交付方式。微服务就是一种可以满足这种需求的软件架构风格，将单体应用分解成多个更小的服务，每个服务有自己的归档文件，单独部署，然后共同组成一个应用程序。微服务是松耦合的，能够快速响应，局部修改更容易，开发效率提高。但微服务架构会带来更多更复杂的运维操作，分布式的模式使得随着服务数量增加管理更加困难。同时，微服务的粒度及划分、开发、部署、管理方式，都会很大程度上影响系统使用成本和性能。微服务的架构设计及划分虽然有一系列原则性指导建议，但具体设计及实施方案仍然主要依照人工经验，并且在设计阶段难以对其进行有效的验证。

发明内容

为了解决上述问题，本发明提出一种基于高效全局优化算法的微服务划分及优化方法，基于流程数据流图，构建基于微服务的业务系统性能仿真模型，运用DACE模型以及高效全局优化算法，在较小样本数量的仿真和验证实验结果下，构建出描绘业务系统的响应曲面，根据微服务应用需求，对微服务架构进行有效划分及性能优化。

进一步的，微服务划分及优化方法包括以下步骤：

S1.流程数据收集，通过构建流程数据流图，以业务处理过程为中心，描述完整的业务和数据流程；

S2.基于流程数据流图，构建基于微服务的业务系统性能仿真模型；

S3.通过空间填充实验设计指定一组仿真初始点，运行业务系统性能仿真模型；

S4.进行DACE模型验证，对未通过验证的DACE模型重新拟合；

S5.运用高效全局优化算法对DACE模型进行优化；

S6.基于不同的目标指标，分别运用高效全局优化算法进行优化，得出不同的微服务架构和划分设计方案。

进一步的，流程数据流图基于IDEF0图，包括：数据输入，即为当前业务活动所需的、来源于上游业务活动的上游信息；数据输出，即为当前业务活动产生的或改变的信息，供下游业务活动使用；当前业务活动的所有者、责任人和部门信息；当前业务活动的管理控制信息，包括当前业务活动所对应的绩效。

进一步的，流程数据流图能够针对大型企业中业务数据建模进行调整，能够根据需要进行分层绘制；对关联性强的业务环节能够进行合并，上一层流程数据流图包括高层业务活动所属业务活动及其内部数据，外部数据在高层业务活动所在的流程数据流图中标明，实现上下级继承衔接关系；拆分业务活动与合并业务活动的方法正好相反，也需满足同样的继承衔接原则。

进一步的，业务系统性能仿真模型能够在主流仿真环境中构建，通过将流程数据流图中的信息转化为对应的仿真模块，同时设置环境参数，实现对业务环节的运行情况仿真；所述环境参数包括：各业务活动对应的数据产生频率、现有数据量、数据增量、典型操作方式、数据库类型及基本参数、业务活动并发程度；涉及的微服务架构参数为每个服务的范围。

进一步的，步骤S3包括以下子步骤：

将仿真得出的结果运用DACE模型进行拟合，使用如下所示的特殊加权距离公式：

其中θ_m≥0，p_m∈[1,2]，参数θ_m为测量变量x_m的重要性或活动性，即改位置测量变量对模型预估结果的影响程度；参数p_m为函数的光滑系数，越接近2的p_m值越光滑，越接近1的p_m值越粗糙；同时，运用以下的相关性公式：

Corr[∈(x⁽ⁱ⁾),∈(x^(j))]＝exp[-d(x⁽ⁱ⁾,x^(j))]

当x⁽ⁱ⁾和x^(j)之间的距离越小时，相关性越接近于1；当x⁽ⁱ⁾和x^(j)之间的距离越大时，相关性越接近于0。

进一步的，DACE模型共有2k+2个参数：μ,σ²,θ₁,…,θ_k和p₁,…,p_k，采用Latin-Hypercube方法进行初始值选取，以估计DACE模型的参数。

进一步的，步骤S4包括以下子步骤：

如果交叉验证的标准化残差值小于3，则DACE模型令人满意；如果大于3则是不满意，即运用标准化残值率预估函数：

其中，s_-i(⁽ⁱ⁾)为在x⁽ⁱ⁾处的交差验证标准差，y(x⁽ⁱ⁾)、分别为在x⁽ⁱ⁾处的实际值和模型预测值；如果DACE模型有效，则标准化残差值应大致在区间[-3，+3]内；如果标准化残差值无法达到设定值，则应用对数或逆变换重新拟合DACE模型。

进一步的，步骤S5包括以下子步骤：

运用高效全局优化算法获得基于DACE模型的最大改进预期点位置即对应的参数值，重新通过业务系统性能仿真模型对这些预期点的结果进行验证，利用验证结果对DACE模型进行优化；使用分支定界算法最大化预期，如果预期的改进小于最佳函数值的1％，则停止迭代；如果不小于1％，则在预期改进最大化的地方对函数进行抽样，然后重新估算DACE模型参数使其具有最大的可能性，并进行迭代。

进一步的，基于不同的目标指标，分别运用高效全局优化算法进行优化，得出不同的微服务架构和划分设计方案，供决策方进行筛选；所述目标指标包括服务独立程度、系统响应时间、系统故障率和微服务复用度。

本发明的有益效果在于：

由于构建并验证一套复杂微服务系统的成本和周期都较长，通常无法支撑传统优化算法得出理想结果。本发明通过构建DACE模型，在仅有较少样本数量的基础上，充分考虑不同采样位置的不确定因素，从而有更大几率跳出本地最优陷阱，找寻出全局最优解决方案，实现复杂微服务系统架构的高效、低成本设计验证。

附图说明

图1是本发明实施例1的微服务划分及优化方法的示意图；

图2是原始函数在优化域内的等高线图；

图3是本发明实施例2的DACE模型在21个样本点拟合后的等高线图之一；

图4是采用二次曲面拟合后的等高线图；

图5是采用薄板样条插值拟合后的等高线图；

图6是本发明实施例2的DACE模型在21个样本点拟合后的等高线图之二；

附图标记：1-业务活动；2-数据输入；3-活动责任人；4-业务KPI；5-数据输出；6-流程数据流图；7-业务系统性能仿真模型；8-DACE预测值；9-标准差预测值；10-DACE预测等高线；11-仿真初始点；12-最大改进预期点；13-循环验证和迭代优化。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现说明本发明的具体实施方式。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明涉及的相关技术用语说明如下：

DACE模型：Design and Analysis of Computer Experiments stochasticprocess model的缩写，即计算机实验设计与分析随机过程模型方法；

IDEF0：IDEF是ICAM DEFinition method的缩写，IDEF0为一种由图形化语言表示的结构化分析和设计技术；

EGO：Efficient Global Optimization的缩写，即高效全局优化算法。

本发明提供了一种基于高效全局优化算法的微服务划分及优化方法，基于流程数据流图，构建基于微服务的业务系统性能仿真模型，运用DACE模型以及高效全局优化算法，在较小样本数量(通常不超过参数维度的10倍)的仿真和验证实验结果下，构建出描绘该业务系统的响应曲面，根据微服务应用需求，对微服务架构进行有效划分及性能优化，在传统的人工经验划分的基础上提升划分的合理性，提高微服务的效率和性能。

DACE预测模型的标准形式如下：

其中，为在位置x^*直接将测量变量的值带入回归函数的结果，r′为在位置x^*处的误差及在之前取样处的误差之间的n维相关性向量，R为相关性矩阵预测值。

实施例1

如图1所示，微服务划分及优化方法包括以下步骤：

S1.流程数据收集，通过构建流程数据流图，以业务处理过程为中心，描述完整的业务和数据流程：

流程数据流图基于IDEF0图，包括：数据输入，即为当前业务活动所需的、来源于上游业务活动的上游信息；数据输出，即为当前业务活动产生的或改变的信息，供下游业务活动使用；当前业务活动的所有者、责任人和部门信息；当前业务活动的管理控制信息，包括当前业务活动所对应的绩效。

具体的，如图1所示，流程数据流图核心组成部分为长方形盒子(代表业务活动)和有向箭头(代表数据)；盒子上、下、左、右的箭头分别代表了不同的含义：左侧箭头代表数据输入，即为该业务活动所需的、来源于其他业务活动的上游信息；右侧箭头代表数据输出，即为该业务活动产生的或改变的信息，供下游业务活动使用；上方箭头代表该业务活动的所有者或责任人/部门信息；下发箭头代表该业务活动的管理控制信息，通常为该业务活动所对应的绩效KPI。

流程数据流图能够针对大型企业中业务数据建模进行调整，能够根据需要进行分层绘制；对关联性强的业务环节能够进行合并，在上一层流程数据流图中由一个高层业务活动盒子来表示，高层业务活动的盒子包含了所属业务活动及其内部数据，外部数据在高层业务活动所在的流程数据流图中标明，实现上下级继承衔接关系；拆分业务活动与合并业务活动的方法正好相反，也需满足同样的继承衔接原则。

S2.基于流程数据流图，构建基于微服务的业务系统性能仿真模型：

业务系统性能仿真模型能够在主流仿真环境中构建，通过将流程数据流图中的信息转化为对应的仿真模块，同时设置环境参数，实现对业务环节的运行情况仿真；所述环境参数包括：各业务活动对应的数据产生频率、现有数据量、数据增量、典型操作方式(持续型/间歇型)、数据库类型及基本参数、业务活动并发程度；涉及的微服务架构参数为每个服务的范围。该业务系统性能仿真模型可对企业对应业务活动进行较为准确的仿真模拟。

S3.通过空间填充实验设计指定一组仿真初始点，运行业务系统性能仿真模型：

将仿真得出的结果运用DACE模型进行拟合，使用如下所示的特殊加权距离公式：

其中，参数θ_m为测量变量x_m的重要性或活动性，即改位置测量变量对模型预估结果的影响程度；参数p_m为函数的光滑系数，越接近2的p_m值越光滑，越接近1的p_m值越粗糙；同时，运用以下的相同时，运用以下的相关性公式：

Corr[∈(x⁽ⁱ⁾),∈(x^(j))]＝exp[-d(x⁽ⁱ⁾,^(j))]

当x⁽ⁱ⁾和x^(j)之间的距离越小时，相关性越接近于1；当x⁽ⁱ⁾和x^(j)之间的距离越大时，相关性越接近于0。

DACE模型共有2k+2个参数：μ,σ²,θ₁,…,θ_k和p₁,…,p_k，采用Latin-Hypercube方法进行初始值选取，以估计DACE模型的参数。

S4.进行DACE模型验证，对未通过验证的DACE模型重新拟合：

如果交叉验证的标准化残差值小于3，则DACE模型令人满意；如果大于3则是不满意，即运用标准化残值率预估函数：

其中，s_-i(x⁽ⁱ⁾)为在x⁽ⁱ⁾处的交差验证标准差，y(x⁽ⁱ⁾)、分别为在x⁽ⁱ⁾处的实际值和模型预测值。如果DACE模型有效，则标准化残差值应大致在区间[-3，+3]内；如果标准化残差值无法达到设定值，则应用对数或逆变换重新拟合DACE模型。

完成DACE模型验证后，运用下面公式估算在x取值点的提升预期E[I(x)]，搜索出具有最大提升预期的点位，进行下一轮的迭代优化：

其中，f_min为目前最优值，分别为DACE模型在x的预测值和误差值，Φ(·)和φ(·)为正态密度和分布函数。

S5.运用高效全局优化算法对DACE模型进行优化：

运用高效全局优化算法获得基于DACE模型的最大改进预期点位置即对应的参数值，重新通过业务系统性能仿真模型对这些预期点的结果进行验证，利用验证结果对DACE模型进行优化；使用分支定界算法最大化预期，如果预期的改进小于最佳函数值的1％(在未换算的范围内)，则停止迭代；如果不小于1％，则在预期改进最大化的地方对函数进行抽样，然后重新估算DACE模型参数使其具有最大的可能性，并进行迭代；

S6.基于不同的目标指标，分别运用高效全局优化算法进行优化，得出不同的微服务架构和划分设计方案，供决策方进行筛选，其中目标指标包括服务独立程度、系统响应时间、系统故障率和微服务复用度。

实施例2

本实施例通过具体的微服务划分优化实例来展示本发明的高效全局优化方法，具体而言：

对于一个具有数据库类型x₁、微服务划分数量x₂两个变量的微服务架构设计优化问题，假设该变量与系统使用成本y之间的实际关联关系为如下函数所示：

其中，x1∈[-5,10],x2∈[0,15]。该函数的形式对于优化算法而言是未知的，优化的目标实质上就是利用最少的采样数量尽快寻找到全局最优解。该函数实质上是全局优化领域的一个常用测试函数(Branin函数)，所有参数均采用标准建议值。本实施例中将采用上面函数来替代仿真/实际系统构建的结果。

通过Latin-Hypercube(拉丁超立方抽样)对优化空间采样本量为21的初始训练数据集，分别应用DACE模型，及两个对照模型，二次曲面(quadratic surface)、薄板样条插值(thin-plate spline)进行拟合。将拟合后的结果绘制出等高线图(即将一定间距相同预测值的点相连接形成的可视化图)，如图2～5所示。其中，图2为原始函数在优化域内的等高线图，图3为DACE模型在21个样本点拟合后的等高线图，图4和5分别为二次曲面、薄板样条插值拟合结果。图中可以看出，DACE拟合结果已经很好的模拟出了变化特征，与原始函数几乎不能肉眼看出区别。二次曲面拟合完全提醒原函数的几个最小值区域，而薄板样条插值拟合虽优于二次曲面，其对函数变化特征的捕捉仍明显差于DACE模型。

完成基于DACE模型的初始设计测试拟合后，采用改进预期算法，全局寻找具有最大改进预期的点位，开始下一轮迭代优化。

图6中，空心方块为初始设计的点位，实心方块为基于DACE模型和改进预期模型搜索出的最佳改进点的位置。

通过DACE模型，设置1％最小改进为停止条件，则在初始21次验证后，通过7次迭代验证，可达到停止条件，最终得出的优化结果与实际全局最优结果差值为0.2％。该条件下的取值即为本微服务架构设计优化问题的最优结构。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是本发明使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

Claims (4)

1.一种基于高效全局优化算法的微服务划分及优化方法，其特征在于，基于流程数据流图，构建基于微服务的业务系统性能仿真模型，运用DACE模型以及高效全局优化算法，在预设样本数量的仿真和验证实验结果下，构建出描绘业务系统的响应曲面预测函数，根据微服务应用需求，对微服务架构进行有效划分及性能优化；

所述微服务划分及优化方法包括以下步骤：

S1.流程数据收集，通过构建流程数据流图，以业务处理过程为中心，描述完整的业务和数据流程；

S2.基于流程数据流图，构建基于微服务的业务系统性能仿真模型；

S3.通过空间填充实验设计指定一组仿真初始点，运行业务系统性能仿真模型；

S4.进行DACE模型验证，对未通过验证的DACE模型重新拟合；

S5.运用高效全局优化算法对DACE模型进行优化；

S6.基于不同的目标指标，分别运用高效全局优化算法进行优化，得出不同的微服务架构和划分设计方案；

步骤S3包括以下子步骤：

将仿真得出的结果运用DACE模型进行拟合，使用如下所示的特殊加权距离公式：

其中θ_m≥0，p_m∈[1,2]，参数θ_m为测量变量x_m的重要性或活动性，值越大代表该处测量变量x_m对函数预测值的影响最大；参数p_m为光滑系数，值越接近2则函数越平滑；同时，运用以下的相关性公式：

Corr[∈(x⁽ⁱ⁾),∈(x^(j))]＝exp[-d(x⁽ⁱ⁾,x^(j))]

当x⁽ⁱ⁾和x^(j)之间的距离越小时，相关性越接近于1；当x⁽ⁱ⁾和x^(j)之间的距离越大时，相关性越接近于0；

DACE模型共有2k+2个参数：μ,σ²,θ₁,…,θ_k和p₁,…,p_k，采用Latin-Hypercube方法进行初始值选取，以估计DACE模型的参数；

步骤S4包括以下子步骤：

如果交叉验证的标准化残差值小于3，则DACE模型令人满意；如果大于3则是不满意，即运用标准化残值率预估函数：

其中，s_-i(x⁽ⁱ⁾)为在x⁽ⁱ⁾处的交差验证标准差，y(x⁽ⁱ⁾)、分别为在x⁽ⁱ⁾处的实际值和模型预测值；如果DACE模型有效，则标准化残差值应在区间[-3，+3]内；如果标准化残差值无法达到设定值，则应用对数或逆变换重新拟合DACE模型；

步骤S5包括以下子步骤：运用高效全局优化算法获得基于DACE模型的最大改进预期点位置即对应的参数值，重新通过业务系统性能仿真模型对这些预期点的结果进行验证，利用验证结果对DACE模型进行优化；使用分支定界算法最大化预期，如果预期的改进小于最佳函数值的1％，则停止迭代；如果不小于1％，则在预期改进最大化的地方对函数进行抽样，然后重新估算DACE模型参数使其具有最大的可能性，并进行迭代；

基于不同的目标指标，分别运用高效全局优化算法进行优化，得出不同的微服务架构和划分设计方案，供决策方进行筛选；所述目标指标包括服务独立程度、系统响应时间、系统故障率和微服务复用度。

2.根据权利要求1所述的一种基于高效全局优化算法的微服务划分及优化方法，其特征在于，流程数据流图基于IDEF0图，包括：数据输入，即为当前业务活动所需的、来源于上游业务活动的信息；数据输出，即为当前业务活动产生的或改变的信息，供下游业务活动使用；当前业务活动的所有者、责任人和部门信息；当前业务活动的管理控制信息，包括当前业务活动所对应的绩效。

3.根据权利要求2所述的一种基于高效全局优化算法的微服务划分及优化方法，其特征在于，流程数据流图能够针对大型企业中业务数据建模进行调整，能够根据需要进行分层绘制；对关联性大于阈值的业务环节能够进行合并，上层流程数据流图包括高层业务活动所属业务活动及其内部数据，外部数据在高层业务活动所在的流程数据流图中标明，实现上下级继承衔接关系；拆分业务活动与合并业务活动的方法正好相反，也需满足同样的继承衔接原则。

4.根据权利要求1所述的一种基于高效全局优化算法的微服务划分及优化方法，其特征在于，业务系统性能仿真模型能够在主流仿真环境中构建，通过将流程数据流图中的信息转化为对应的仿真模块，同时设置环境参数，实现对业务环节的运行情况仿真；所述环境参数包括：各业务活动对应的数据产生频率、现有数据量、数据增量、典型操作方式、数据库类型及基本参数、业务活动并发程度；涉及的微服务架构参数为每个服务的范围。