CN112437147A - 一种微服务负载均衡最佳路由算法、装置、设备以及介质 - Google Patents

Abstract

本发明提供了一种微服务负载均衡最佳路由算法，包括如下步骤：获取若干相同功能的微服务的API接口，并进行预处理得到标准化数据；将标准化数据与标准化后的官方的标准值求欧式距离，得到每个微服务的服务质量C；当传入新的请求时，通过队列等待时间计算公式求得该请求在所有等待队列中的预测等待时间，最终得到每个候选微服务的队列等待时间T；根据服务质量C和预测等待时间T，通过权重公式得到每个微服务的权重，调用最大权重对应的微服务。本算法目的是在众多微服务服务器中，进行动态负载均衡的同时选择数据真实度、服务质量最高的微服务。从而让非专业的使用者在众多的微服务提供商中，找到质量最高，等待时间最短的微服务。

Description

一种微服务负载均衡最佳路由算法、装置、设备以及介质

技术领域

本发明属于微服务负载均衡技术领域，尤其是涉及一种微服务负载均衡最佳路由算法。

背景技术

当前，很多公司拥有需要对外开放的免费RESTful API接口。一般这些接口在各自的官网上，或者聚合API上进行对外提供，例如快递查询、天气查询、星座查询、股票查询等等。

同一种内容的查询，有众多网络服务商提供查询服务。这时候，有许多错误的数据会成为我们做决策的干扰项。非专业的使用者是无法确认哪些数据是正确的或者错误的，而一些官方的微服务调用提供商，大多是有条件调用的，要么收费，要么限制调用次数，要么调用方法复杂、调用协议不同意等。

RESTful API是当前流行的数据传输形式，相比于以往的数据传输方式，有着诸多优点：(1)基于http协议，请求方便快捷；(2)统一规范，面向资源，具有自解释性，同时数据描述简单；(3)使用半双工通信减少与服务器单位时间内的连接数量，节省服务器资源；(4)网络上存在大量的免费对外提供的rest接口。利用这些免费的资源，减少项目开发成本。

发明内容

有鉴于此，本发明旨在提出一种微服务负载均衡最佳路由算法，以在众多微服务服务器中，进行动态负载均衡的同时选择数据真实度、服务质量最高的微服务。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明提供了一种微服务负载均衡最佳路由算法，包括如下步骤：

S1，获取若干相同功能的微服务的API接口，并进行预处理得到标准化数据；

S2，将标准化数据与标准化后的官方的标准值求欧式距离，得到每个微服务的服务质量C；

S3，当传入新的请求时，通过队列等待时间计算公式求得该请求在所有等待队列中的预测等待时间，最终得到每个候选微服务的队列等待时间T；

S4，根据服务质量C和预测等待时间T，通过权重公式得到每个微服务的权重，调用最大权重对应的微服务，微服务处理完该请求后并返回实际等待时间。

第二方面，本发明提供了一种微服务负载均衡最佳路由装置，包括：

获取模块，获取若干相同功能的微服务的API接口，并进行预处理得到标准化数据；

服务质量计算模块，将标准化数据与标准化后的官方的标准值求欧式距离，得到每个微服务的服务质量C；

队列等待时间计算模块，当传入新的请求时，通过队列等待时间计算公式求得该请求在所有等待队列中的预测等待时间，最终得到每个候选微服务的队列等待时间T；

微服务选择模块，根据服务质量C和预测等待时间T，通过权重公式得到每个微服务的权重，调用最大权重对应的微服务，微服务处理完该请求后并返回实际等待时间。

第三方面，本发明提供了一种电子设备，包括处理器，以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器执行所述指令时实现上述一种微服务负载均衡最佳路由算法的步骤。

第四方面，本发明提供了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种微服务负载均衡最佳路由算法的步骤。

本发明的算法的有益技术效果在于：

(1)本算法综合考虑了响应时间以及信息的质量，在进行负载均衡的同时优化将请求分配给质量高的微服务。当微服务调用者对微服务领域的知识不了解的情况下，使用本算法在负载均衡的同时会尽可能的提供真实有效的数据。

(2)本算法设计并整合了市面上各种协议的API，使用适配器模式，统一返回，同时创造各个API提供者公司间的竞争，使调用者受益。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为负载均衡架构以及本算法在客户端作用时机及作用点。

图2为拉取服务器数据的数据库配置。

图3为微服务提供者表字段样例。

图4为数学方差算法排除偏差较大的数据的流程图。

图5为计算API提供者提供的数据对象数组的数学期望值，并生成列矩阵。

图6为新的请求到来时，通过负载均衡算法求出当前最优的微服务方法流程图。

图7为整个负载均衡算法的全部流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

本算法出现的目的，就是解决用户的烦恼，通过把用户搜集到的API进行存储，在进行负载均衡调用的基础上并执行定时任务计算出服务质量最佳的微服务，并且使用适配器模式再次包装一下微服务，使用统一的RESTful API接口类型对外为调用者使用(封装后)。

RESTful API是API的一种，基于REST构建的API就叫做RESTful API。每个微服务作为一个服务，它可以对外暴露API接口供别人调用，因此微服务API指的就是对外提供的接口(也可以叫做对外提供的服务)。本方案中将RESTful API和REST接口以及API对等起来。

本发明的一种微服务负载均衡最佳路由算法的整体流程图如图1所示，主要包括数据准备阶段、服务请求阶段和服务调用阶段。

步骤1，获取若干相同功能的微服务的API接口，进行预处理得到标准化数据；

首先，管理员使用爬虫技术收集线上的微服务RESTful API接口以及返回数据，或者，人工整理网络上提供的免费的rest接口，并建立相应的数据库表，进行存储rest接口的细节，参考图2和图3。

之后，将微服务API接口的返回数据通过正则或者人工做适配提取公共的返回值；以驼峰命名规则为主进行属性键值的设定；完成适配器的封装，将所有的API返回值进行统一的格式的封装。

之后，进行降噪，使用数学方差法将相同属性的数据值的离散型较大的微服务从微服务列表里面删除，具体流程如图4所示。

具体的，数据库中存储的微服务提供者要保留其JSON解析结构，或者正则表达式以便客户端在做负载均衡测试时，可以快速拉取有用数据并进行计算。

客户端设置Schedule定时任务，定期的把每一个微服务所有提供者接口调用一遍，拉取到所有微服务返回的数据，并形成一个线性表保存在内存中。客户端优先对最重要字段(即选定单个主关键属性)进行方差计算，找出影响系统数据平衡的微服务，并进行移除线性表操作。

经过上述计算，剩下了相对稳定的微服务，把稳定的微服务的返回的数据进行收集计算，拉取近期的数据。具体的，将剩余的API返回值录入本地数据库，并设立关键字建立数据索引，实现微服务服务注册中心，如图1所示，对外提供RESTful API接口。

本方案是拉取该类型API领域官方真实的历史数据，作为标准值，

不直接采用官方API是因为，官方API有访问次数限制，收费限制，以及访问方式限制。例如某官方API要求使用webService来进行调用，或者使用rest请求调用，再有使用socket长连接，进行数据通信。由于不同的平台采用不同的通信方式，以及调用限制，本算法提供适配过的数据供用户进行调用。

将所有服务器返回的某一刻的数据和官方的标准值，形成M个N维向量(其中M-1为服务器数量，N为字段数量)。

以下方矩阵做举例：

下方矩阵一共有三行四列，前三列代表三个微服务的数据，如图5所示，最后一列为标准值，M＝4。微服务1返回的数据A₁＝(20,5,14)^T，

其中20、5、14分别表示，20摄氏度，3级风力，14是pm2.5的指数，即共有N＝3个属性；微服务2返回的数据A₂＝(17,1,12)^T；微服务3返回的数据A₃＝(19,4,14)^T；以及标准值B＝(20,4,13)^T，于是就形成了3*4的矩阵：

数据标准化，再通过计算每个微服务和真实值的欧式距离得到每个微服务的服务质量C；

先利用公式

)计算出各个属性的标准差，再通过公式

对数据进行标准化，标准化后的数据为:

步骤2，数据标准化后，使用公式

分别计算每个微服务和标准值的欧式距离，

在这里我们可以假设温度、湿度和pm2.5的权重比为2:1:1，所以通过计算可得到各个微服务的服务质量C为(1.45，4.41，1.67)。

三个微服务的服务质量分别为1.45、4.41、1.67，服务质量的值越小与真实值越接近，即服务质量更高。

服务质量C的迭代更新：

因为，当前计算的C只是根据一次的历史数据计算得到的，不够准确，所以我们需要结合历史计算的服务质量与当前计算的进行更新，不断完善服务质量。因此，

本方案优选实施例定时依次轮询调用各个微服务，执行服务质量计算，通过如下公式实现服务质量C的迭代更新：

C_new＝C_old*0.9+C*0.1

C_new为更新后的服务质量，C_old为历史服务质量。

具体实施时，微服务注册中心具有定时执行计算功能，优选定时周期为2小时，提前收集历史真实数据，依次轮询调用微服务，更新服务服务质量C。

假设之前的服务质量计算结果C_old＝(1，1，1)，使用C_new＝C_old*0.9+C*0.1更新后服务质量变为C_new＝(1.045，1.341，1.067)。

步骤3，当传入新的请求时，通过队列等待时间计算公式求得所有微服务的预计等待时间T；

当传入请求达到时，通过队列等待时间计算公式：

式中：T表示队列等待时间，x_i表示等待队列中的请求类型i的请求数量，N表示请求类型的数量，

是x_i的系数；

X＝(x₁,x₁…,x_n)是一个行矩阵，表示该微服务当前等待队列中n中请求类型的数量；

是一个列矩阵，表示各个请求类型的系数，两者相乘得到的即为队列等待时间；

再计算出所有候选的微服务的队列等待时间T。

步骤4，综合考虑服务质量C和预测等待时间T，从而得到最终各个微服务调用的权重，如图6所示，将请求分派到权重最大的微服务所属服务器S；微服务处理完该请求后并返回实际等待时间；

微服务的权重

式中：c_i表示第i个微服务的服务质量，

表示所有微服务的平均服务质量，t_i表示调用第i个微服务需要的预测等待时间，

表示所有微服务调用的平均等待时间，α和β是两个调整系数，k表示微服务的数量。

其中，α、β可以根据自身需求设置，因为当前是以天气查询为例，所以相对而言天气查询的准确性更为重要，所以可以将α设置的相对大一些，β小一些，如果是一些准确性要求不是很高，但需要响应速度快的服务请求就可以将α设置的相对小一些，β大一些。

将请求分派到权重最大的服务器S(权重越大，等待时间和服务服务质量综合考虑来看越好)。服务器S处理请求并返回包括实际队列等待时间的结果，将实际队列等待时间的真实值进行收集，作为一个新样本。

即将步骤4中得到的实际等待时间作为新样本发送到多变量线性回归模型重新训练并更新所述队列等待时间计算公式中的系数

其中，

多变量线性回归是指需要用两个或两个以上的影响因素作为自变量来解释因变量的变化，在当前问题中，队列等待时间受队列中多种类型请求的数量影响，因此需要使用多变量线性回归模型预测不同类型请求的系数

在应用程序的生命周期中，不断收集步骤4中得到的新样本(实际等待时间)并计算预测值(队列等待时间)与真实值的误差，然后统计相对误差小于某个阈值D％的百分比，一旦百分比低于某个阈值(Min％)，将重新训练多变量线性回归模型并更新系数

以便之后更准确的预测等待时间。

首先使用经过以往的预测等待时间和实际等待时间作为样本训练的多变量线性回归模型训练得到的系数

其中，Min％和D％的值是根据实际情况设置的，例如Min％可以设置为80％，D％可以设置为25％，基于阈值的算法极大地减少了每次请求后都作为新样本重复训练导致的计算开销和通信开销。

另一实施例公开了与上述公开的一种微服务负载均衡最佳路由算法对应的装置，为该方法对应的虚拟装置结构，包括：

获取模块，获取若干相同功能的微服务的API接口，并进行预处理得到标准化数据；

服务质量计算模块，将标准化数据与标准化后的官方的标准值求欧式距离，得到每个微服务的服务质量C；

队列等待时间计算模块，当传入新的请求时，通过队列等待时间计算公式求得该请求在所有等待队列中的预测等待时间，最终得到每个候选微服务的队列等待时间T；

微服务选择模块，根据服务质量C和预测等待时间T，通过权重公式得到每个微服务的权重，调用最大权重对应的微服务，微服务处理完该请求后并返回实际等待时间。

另一实施例公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种微服务负载均衡最佳路由算法。

另一实施例公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述一种微服务负载均衡最佳路由算法。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述一种微服务负载均衡最佳路由装置实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种微服务负载均衡最佳路由算法，其特征在于，包括如下步骤：

S1，获取若干相同功能的微服务的API接口，并进行预处理得到标准化数据；

S2，将标准化数据与标准化后的官方的标准值求欧式距离，得到每个微服务的服务质量C；

S3，当传入新的请求时，通过队列等待时间计算公式求得该请求在所有等待队列中的预测等待时间，最终得到每个候选微服务的队列等待时间T；

S4，根据服务质量C和预测等待时间T，通过权重公式得到每个微服务的权重，调用最大权重对应的微服务，微服务处理完该请求后并返回实际等待时间。

2.根据权利要求1所述的一种微服务负载均衡最佳路由算法，其特征在于：在步骤S1中，预处理过程包括如下步骤：

S11，将微服务API接口的返回数据通过正则或者人工做适配提取公共的返回值；

S12，完成适配器的封装，将所有的API返回值进行统一的格式的封装；

S13，使用数学方差法将相同属性的数据值的离散型较大的微服务从微服务列表里面删除；

S14，将剩余的API返回值录入本地数据库，并设立关键字建立数据索引，实现微服务服务注册中心，对外提供RESTful API接口；

S15，将余下的所有微服务的返回值的需要的字段，以及官方标准值，形成M个N维列向量，其中M-1为服务器数量，N为字段数量，并设置每个字段的权重，记为(d₁,d₂…d_n)；

S16，先利用公式

计算出各个属性的标准差，再通过公式

对数据进行标准化，其中x_i表示第i个属性值，n为属性的个数。

3.根据权利要求1所述的一种微服务负载均衡最佳路由算法，其特征在于：在步骤S2中，欧式距离的求解公式为：

式中：将微服务API接口的返回数据中的主要属性记为向量(x₁,x₂…x_n)，官方标准值中的主要属性记为向量(y₁,y₂…y_n)，权重(d₁,d₂…d_n)。

4.根据权利要求1所述的一种微服务负载均衡最佳路由算法，其特征在于：在步骤S3中，所述队列等待时间计算公式如下：

式中：T表示队列等待时间，x_i表示等待队列中的请求类型i的请求数量，N表示请求类型的数量，

是x_i的系数；

X＝(x₁,x₁…,x_n)是一个行矩阵，表示该微服务当前等待队列中n中请求类型的数量；

是一个列矩阵，表示各个请求类型的系数，两者相乘得到的即为队列等待时间。

5.根据权利要求1所述的一种微服务负载均衡最佳路由算法，其特征在于：在步骤S4中，所述权重公式如下：

式中：c_i表示第i个微服务的服务质量，

表示所有微服务的平均服务质量，t_i表示调用第i个微服务需要的预测等待时间，

表示所有微服务调用的平均等待时间，α和β是两个调整系数，k表示微服务的数量。

6.根据权利要求1所述的一种微服务负载均衡最佳路由算法，其特征在于：在步骤S2中，还包括定时依次轮询调用各个微服务，执行服务质量计算，通过如下公式实现服务质量C的迭代更新：

C_new＝C_old*0.9+C*0.1

C_new为更新后的服务质量，C_old为历史服务质量。

7.根据权利要求4所述的一种微服务负载均衡最佳路由算法，其特征在于：将步骤S4得到的实际等待时间作为新样本发送到多变量线性回归模型重新训练并更新所述队列等待时间计算公式中的系数

收集步骤S4中得到的新样本，并计算预测的队列等待时间与实际等待时间的误差，当误差小于某个阈值D％的百分比，将重新训练多变量线性回归模型并更新系数

8.一种微服务负载均衡最佳路由装置，其特征在于，包括：

获取模块，获取若干相同功能的微服务的API接口，并进行预处理得到标准化数据；

服务质量计算模块，将标准化数据与标准化后的官方的标准值求欧式距离，得到每个微服务的服务质量C；

队列等待时间计算模块，当传入新的请求时，通过队列等待时间计算公式求得该请求在所有等待队列中的预测等待时间，最终得到每个候选微服务的队列等待时间T；

微服务选择模块，根据服务质量C和预测等待时间T，通过权重公式得到每个微服务的权重，调用最大权重对应的微服务，微服务处理完该请求后并返回实际等待时间。

9.一种电子设备，包括处理器，以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器执行所述指令时实现权利要求1-7任一项所述的一种微服务负载均衡最佳路由算法的步骤。

10.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7任一项所述的一种微服务负载均衡最佳路由算法的步骤。

Images