CN115314500B - 基于改进topsis模型的动态负载均衡方法 - Google Patents

Abstract

基于改进TOPSIS模型的动态负载均衡方法，采集各集群节点的无负载状态下的性能指标信息；建立改进TOPSIS模型，将步骤1获取的性能指标信息输入改进TOPSIS模型进行计算，得到各集群节点在无负载状态下的权重，并将此权重作为动态权重负载均衡方法的初始权重；按照周期T获取各集群节点的负载信息；根据集群节点的实时运行负载情况，计算并更新出各个后台服务器权重，根据更新的最终权重，为集群节点分配相应的负载；在下一个周期T，继续执行步骤3~步骤4。本发明能够以动态权重为依据合理分配请求到最优的集群节点，提升集群架构整体性能。

Description

基于改进TOPSIS模型的动态负载均衡方法

技术领域

本发明涉及负载均衡技术领域，具体涉及一种基于改进TOPSIS模型的动态负载均衡方法。

背景技术

近年来微服务架构以其优秀的敏捷开发性和组织结构得到了研发人员的广泛青睐。微服务架构是指将功能完整的大型分布式系统按照不同业务解耦成若干微服务，分别提供相关业务处理功能，每个微服务就相当于一个独立的小型服务系统。系统服务功能的单一性也能够很好的提升业务逻辑的运行效率，并且可以更加灵活的应用负载均衡和流量限制的技术使系统更好的应对高并发场景，保证系统的高效性和可靠性。微服务架构作为新兴的分布式系统架构，带来高效便捷的同时，也为集群系统中的负载均衡问题提出了更高的要求。

目前负载均衡技术的研究主要分为两类：硬件负载均衡器和软件负载均衡器：

1、硬件负载均衡器：对于硬件负载均衡器有一定规模的企业会购买以提高负载均衡的能力，例如F5负载均衡器。硬件负载均衡器成本高，配置冗余。无法有效掌握服务器运行时负载状态。

2、软件负载均衡器：软件负载均衡器的可扩展性和费用比较低，配置简单、使用灵活成本低。在硬件条件固定的情况下，可以通过改进负载均衡方法来提高系统的并发处理能力。

发明内容

本发明提供一种基于改进TOPSIS模型的动态负载均衡方法，相较于其它常见负载均衡方法能够以动态权重为依据合理分配请求到集群节点，提升整个集群系统性能。

本发明采取的技术方案为：

基于改进TOPSIS模型的动态负载均衡方法，包括以下步骤：

步骤1：采集各集群节点的无负载状态下的性能指标信息；

步骤2：建立改进TOPSIS模型，将步骤1获取的性能指标信息输入改进TOPSIS模型进行计算，得到各集群节点在无负载状态下的权重，并将此权重作为动态权重负载均衡方法的初始权重；

步骤3：按照周期T获取各集群节点的负载信息；

步骤4：根据集群节点的实时运行负载情况，计算并更新出各个集群节点权重，根据更新的最终权重，负载均衡服务器选择最优的集群节点进行请求转发；

在下一个周期T，继续执行步骤3～步骤4。

所述步骤1、步骤2中，无负载状态指的是整个集群系统初启动时，无任何请求需要处理。

所述步骤1中，通过性能指标采集模块采集集群节点性能指标信息包括：CPU使用率、内存使用率、磁盘I/O利用率、网络带宽利用率。

所述步骤2中，改进TOPSIS模型，具体如下：

定义L_i来表示各个集群节点的权重，下标i表示第i个集群节点，i＝1,2,3…n；R_i_cpu，R_i_mem,，R_i_net,R_i_io分别表示第i个集群节点的当前CPU利用率、内存利用率、网络利用率、I/O利用率指标；

1)对指标矩阵进行标准化处理，建立正向化矩阵R，r_ij为第i个集群节点的第j个指标，可得：

r₁₁、r₁₂、…、r_1m分别表示第1个集群节点的第i个正向化评价指标；

r₂₁、r₂₂、…、r_2m分别表示第2个集群节点的第i个正向化评价指标；

r_n1、r_n2、…、r_nm分别表示第n个集群节点的第i个正向化评价指标；

本发明使用的评价指标有4个，分别是CPU利用率、内存利用率、网络利用率、I/O利用率指标。评价指标的数量用户可自定义设置，只要是能够实现本实施例的目的即可。

2)对式(1)标准化的矩阵记为Z，Z中的每一个元素为：

其中，r_ij表示公式(1)中建立指标矩阵的每一个集群节点的每一项评价指标；

将公式(1)的R_ij矩阵标准化之后的指标矩阵Z_ij

3)可得矩阵：

z₁₁、z₁₂…z_1m分别表示:第1个集群节点的第i个标准化评价指标；

z₁₂、z₂₂…z_2m分别表示第2个集群节点的第i个标准化评价指标；

z_n2、z_n2…z_nm分别表示:第n个集群节点的第i个标准化评价指标。

4)定义最大值：

表示所有集群节点的每一种评价指标的最大值；

5)定义最小值：

表示所有集群节点的每一种评价指标的最小值；

6)定义第i(i＝1,2,…,n)个性能指标与最大值的欧式距离:

表示第j个评价指标的最大值；z_ij表示第i个集节点的第j个指标；

7)定义第i(i＝1,2,…,n)个性能指标与最小值的欧式距离:

表示第j个评价指标的最小值；z_ij表示第i个集节点的第j个指标

8)计算得出第i(i＝1,2,…,n)个集群节点的的权重：

所述步骤3中，集群节点在周期T收集自身的CPU利用率R_cpu、内存利用率R_mem、网络利用率R_net、I/O利用率R_io作为负载信息。

所述步骤4中，通过改进TOPSIS模型计算得出权重并发送给负载均衡服务器，根据各集群节点的权重，负载均衡服务器选择出最优的集群节点出响应处理用户请求。

所述步骤4中，负载性能指标综合计算方法如下：

①：计算第j项指标下的第i个集群节点占该指标总和比例：

y_ij为第j项指标下的第i个集群节点占该指标总和比例；z_ij为第i个集群节点的第j个评价指标；

②：计算第j项指标的熵值：

其中：常数k和集群节点个数n有关，一般令k＝1/ln(n)；k>0；ln为自然对数；e_j>0。

③：计算第j项指标的信息效用值：

d_j＝1-e_j (11)；

④：计算第j项指标的权重：

d_j表示第j项指标的信息效用值；

基于以上结果，能够改进式(6)～式(7),得到：

其中：w_j表示第j项指标的权重。

所述步骤4中，选取权重值变化率△t来表示集群节点在周期T内的变化程度，以此来决定当前权重是否发送至负载均衡服务器，其计算如式(15)所示。

其中，L_i(t₁)表示集群节点i在t₁时刻的权重，L_i(t₂)表示该集群节点i在t₂时刻的权重，△t表示该集群节点在一个周期T内的权重变化率，且t₂>t₁；

集群节点的权重上报采用最少上报策略，即：集群节点在周期T内的权重值变化率与预先压测出的的△t相比较；

a:当计算得到的权重变化率大于△t时，才将更新权重发送至负载均衡服务器；

b:当小于△t值时，只在Redis中修改保存当前的权重信息，在周期T内如果负载均衡服务器没有收到集群节点发送的权重信息，则按照之前保存的该服务器的权重进行负载分发。

本发明一种基于改进TOPSIS模型的动态负载均衡方法，技术效果如下：

1)该方法首先收集后台各集群节点实时的CPU利用率、内存利用率、磁盘I/O利用率、网络利用率四大性能指标进行改进TOPSIS建模，然后根据改进TOPSIS模型确定各后台集群服务器的初始权重，之后根据运行中采集的各集群节点的实时的负载情况，动态修改集群节点的权重，以达到更加精准的负载均衡效果。

2)该方法能够有效提高整个集群系统处理请求的响应时间。

附图说明

图l是本发明方法流程图。

图2是本发明性能指标采集模块结构示意图。

图3是本发明负载均衡方法模块结构示意图。

图4是本发明负载均衡方法详细流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方法进行清楚、完整地描述：如图2所示，性能指标采集模块获取各个集群节点性能指标信息。其中，集群节点性能指标信息包括：CPU使用率、内存使用率、磁盘IO利用率、网络带宽利用率。集群节点表示集群中各后台服务器。

如图3所示，本发明的负载均衡方法模块主要包括注册中心Consul、以及反向代理服务器Nginx。用户在各个集群节点开发性能指标采集/存储模块。该模块可以由Java语言开发，通过SchedulingConfigurer()接口和cron表达式周期T的采集自身CPU利用率R_cpu、内存利用率R_mem、网络利用率R_net、IO利用率R_io指标，并存储到Redis中。经建立的改进TOPSIS模型计算出其权重，由http协议中的Post方法提交给负载均衡服务器实时更新权重。

负载均衡方法Nginx配置如下所示：

least_conn表示基础负载均衡方法采用Nginx中upstream模块的最小连接调度方法。注册挂载upsync模块，其中upsync_type＝consul表示注册中心类型使用Consul，upsync_timeout＝6000ms表示Nginx会通过upsync模块每隔6s从注册中心Consul的K/V服务中拉取挂载的后端服务器IP地址以及通过改进TOPSIS模型计算出的权重JSON信息到upstream模块。upsync模块不仅会更新Nginx的路由缓存信息，还会把upstream后台服务器的server列表dump到本地的指定路径中，以保证本地server信息与Consul的一致性。

启动负载均衡服务器时，Nginx会通过配置的upsync模块每隔周期T从Consul拉取集群节点IP地址以及权重信息到upstream模块中。如此就能够根据节点性能的变化而做到动态的分配用户请求，使集群系统的运行效率更高。

集群节点可以是国产中间件。集群节点的数量用户可自定义设置，只要是能够实现本实施例的目的即可。

性能指标采集/存储模块实时获取各集群节点信息，实现参数监控信息、请求追踪信息的获取，以便负载均衡服务器能够获取对应的集群节点信息，以便进行处理。

后台服务器节点与负载均衡服务器之间建立了通信联系，负载均衡服务器获取得到后台服务器信息，后台服务器信息包括CPU使用率，内存使用率、磁盘I/O利用率、网络带宽利用率，当然还可以包括其他的信息，只要是能够实现本实施例的目的即可。

在本发明设计的方法中，集群节点在周期T实时间内收集自身的CPU利用率R_cpu、内存利用率R_mem、网络利用率R_net、IO利用率R_io作为负载信息，通过改进TOPSIS模型建模计算得出权重，并发送给负载均衡服务器，根据各集群节点的权重，负载均衡服务器选择出最优的集群节点出响应处理用户请求。

本发明定义L_i来表示各个集群节点的权重，下标i表示第i个集群节点(i＝1,2,3…n)，R_i_cpu，R_i_mem,，R_i_net,R_i_io分别表示第i个集群节点的当前CPU利用率、内存利用率、网络利用率、I/O利用率指标。

建立改进TOPSIS模型，具体如下：

1)：为了消除不同性能指标量纲的影响，需要对指标矩阵进行标准化处理，建立正向化矩阵R，r_ij为第i个集群节点的第j个指标，可得：

2)：对其标准化的矩阵记为Z，Z中的每一个元素为：

3)：可得矩阵：

4)：定义最大值：

5)定义最小值：

6)定义第i(i＝1,2,…,n)个性能指标与最大值的欧式距离:

7)定义第i(i＝1,2,…,n)个性能指标与最小值的欧式距离:

8)计算得出第i(i＝1,2,…,n)个服务器的的权重：

以上改进TOPSIS模型虽然可以计算出各个集群节点的权重，但是确缺少性能指标之间的比较，本发明采取熵值法计算性能指标权重，并结合改进TOPSIS模型计算出集群节点的最终权重。

由于选取的各项性能指标之间互不影响，故在对这四项指标进行综合计算前需要各项指标进行数据处理，以此来解决数据差异性问题，此步骤已在式(1)-式(3)中完成，可以直接用以计算。

负载性能指标综合计算方法如下：

1)计算第j项指标下的第i个服务器占该指标总和比例：

2)计算第j项指标的熵值：

其中k>0，ln为自然对数，e_j>0。

3)计算第j项指标的信息效用值：

d_j＝1-e_j (11)；

4)计算第j项指标的权重：

基于以上结果，可以改进式(6)-式(7)，得到：

集群节点权值上报周期T的长短，会直接影响本发明动态负载均衡方法的效果。如果周期T选取过短，则各集群节点频繁的发送权重会给负载均衡服务器带来过多的资源开销。如果周期T选取过长，负载均衡服务器不能实时的更新各集群节点的权重，负载均衡的效果会受到影响。

本发明选取权值变化率△t来表示集群中各服务器在周期T内的变化程度，以此来决定当前权值是否发送至负载均衡服务器，其计算如式(15)所示：

其中，L_i(t₁)表示集群节点i在t₁时刻的权重，L_i(t₂)表示该集群节点i在t₂时刻的权重，△t表示该集群节点在一个周期T内的权重变化率，且t₂>t₁。

本发明中集群节点的权重上报采用最少上报策略，即：集群节点在周期T内的权值变化率与预先压测出的的△t相比较。当计算得到的权重变化率大于△t时，才将新权重发送至负载均衡服务器，当小于△t值时，只在Redis中修改保存当前的权重信息。在周期T内，如果负载均衡服务器没有收到集群节点发送的权重信息，则按照之前保存的该集群节点的权重进行负载分发。

综上所述，本发明方法首先遍历各集群节点获取各项性能指标信息的当前运行值作为训练数据，然后运用式(1)-式(3)得到标准化数据，再通过式(9)-式(12)获取各项性能指标权重w_j，再通过加权改进的式(13)-式(14)获得其第i个集群节点到最大值和最小值的欧式距离D_i+和D_i-，再利用式(8)计算出集群节点各项性能指标占比综合权重，发送给负载均衡服务器，整个系统流程如图4所示。

Claims (4)

1.基于改进TOPSIS模型的动态负载均衡方法，其特征在于包括以下步骤：

步骤1：采集各集群节点的无负载状态下的性能指标信息；

步骤2：建立改进TOPSIS模型，将步骤1获取的性能指标信息输入改进TOPSIS模型进行计算，得到各集群节点在无负载状态下的权重，并将此权重作为动态权重负载均衡方法的初始权重；

步骤2中，改进TOPSIS模型，具体如下：

定义L_i来表示各个集群节点的权重，下标i表示第i个集群节点，i＝1,2,3…n；R_i_cpu，R_i_mem,，R_i_net,R_i_io分别表示第i个集群节点的当前CPU利用率、内存利用率、网络利用率、I/O利用率指标；

1)对指标矩阵进行标准化处理，建立正向化矩阵R：

2)对式(1)标准化的矩阵记为Z，Z中的每一个元素为：

其中，r_ij表示公式(1)中建立指标矩阵的每一个集群节点的每一项评价指标；

将公式(1)的R_ij矩阵标准化之后的指标矩阵Z_ij

3)可得矩阵：

4)定义最大值：

表示所有集群节点的每一种评价指标的最大值；

5)定义最小值：

表示所有集群节点的每一种评价指标的最小值；

6)定义第i(i＝1,2,…,n)个性能指标与最大值的欧式距离:

表示第j个评价指标的最大值；z表示第i个集节点的第j个指标；

7)定义第i(i＝1,2,…,n)个性能指标与最小值的欧式距离:

表示第j个评价指标的最小值；z_ij表示第i个集节点的第j个指标；

8)计算得出第i(i＝1,2,…,n)个集群节点的的权重：

步骤3：按照周期T获取各集群节点的负载信息；

步骤4：根据集群节点的实时运行负载情况，计算并更新出各个集群节点权重，根据更新的最终权重，负载均衡服务器选择最优的集群节点进行请求转发；

所述步骤4中，通过改进TOPSIS模型计算得出权重并发送给负载均衡服务器，根据各集群节点的权重，负载均衡服务器选择出最优的集群节点出响应处理用户请求；

所述步骤4中，选取权重值变化率△t来表示集群节点在周期T内的变化程度，以此来决定当前权重是否发送至负载均衡服务器，其计算如式(15)所示；

其中，L_i(t₁)表示集群节点i在t₁时刻的权重，L_i(t₂)表示该集群节点i在t₂时刻的权重，△t表示该集群节点在一个周期T内的权重变化率，且t₂>t₁；

集群节点的权重上报采用最少上报策略，即：集群节点在周期T内的权重值变化率与预先压测出的的△t相比较：

a:当计算得到的权重变化率大于△t时，才将更新权重发送至负载均衡服务器；

b:当小于△t值时，只在Redis中修改保存当前的权重信息，在周期T内如果负载均衡服务器没有收到集群节点发送的权重信息，则按照之前保存的该服务器的权重进行负载分发；在下一个周期T，继续执行步骤3～步骤4。

2.根据权利要求1所述基于改进TOPSIS模型的动态负载均衡方法，其特征在于：所述步骤1中，通过性能指标采集模块采集集群节点性能指标信息包括：CPU使用率、内存使用率、磁盘I/O利用率、网络带宽利用率。

3.根据权利要求1所述基于改进TOPSIS模型的动态负载均衡方法，其特征在于：所述步骤3中，集群节点在周期T收集自身的CPU利用率R_cpu、内存利用率R_mem、网络利用率R_net、I/O利用率R_io作为负载信息。

4.根据权利要求1所述基于改进TOPSIS模型的动态负载均衡方法，其特征在于：所述步骤4中，负载性能指标综合计算方法如下：

①：计算第j项指标下的第i个集群节点占该指标总和比例：

y_ij为第j项指标下的第i个集群节点占该指标总和比例；z_ij为第i个集群节点的第j个评价指标；

②：计算第j项指标的熵值：

其中：常数k和集群节点个数n有关，一般令k＝1/ln(n)；k>0；ln为自然对数；e_j>0；

③：计算第j项指标的信息效用值：

d_j＝1-e_j (11)；

④：计算第j项指标的权重：

d_j表示第j项指标的信息效用值；

基于以上结果，能够改进式(6)～式(7),得到：

其中：w_j表示第j项指标的权重。