CN109120715A - 一种云环境下动态负载均衡方法 - Google Patents

Abstract

本发明公开了一种云环境下的动态负载均衡方法。该方法针对云存储系统中的大规模数据并发访问问题，通过监控后端服务器集群中节点的CPU、内存、磁盘资源占用，结合云存储系统中应用程序对各类资源敏感程度的不同，使用TOPSIS算法为这些指标计算重要性比例，然后根据所定义的公式，为每一个节点计算负载程度。调度器随后根据该节点的权值进行动态调整，以实现数据访问的高效处理的同时充分利用服务器资源。本方法还为每一个节点定义了允许提供访问服务的资源占用阈值，超过该阈值的节点将被移出服务队列。本方法解决了常见负载均衡算法在复杂环境下表现出来的稳定性差和资源调度不均衡的问题，实现了一个兼具高可用性和高性能特点的云环境资源调度算法。

Description

一种云环境下动态负载均衡方法

技术领域

本发明涉及一种负载均衡方法，特别是涉及一种用于处理云存储系统中大规模数据并发访问请求的动态负载均衡方法；属于一种云环境下的资源调度方法。

背景技术

传统的互联网模式中，企业需要对所需求的计算和存储资源提前进行预估。由于不同企业务规模大小不一，其对资源的需求量往往也有较大区别。此外，为了能够正常处理高峰期可能发生的业务增长，往往会储备一定量额外的资源。这通常会导致资源利用率低，最终造成企业运营成本高昂。随着云计算时代的到来，企业引入云存储系统后，使得资源利用率得到了极大的提升。

在云环境下，所涉及的数据吞吐量往往达到了TB甚至PB级别，单位时间的并发访问数量也很大。因而，将大规模的数据访问请求进行合理的调度，分发到后端存储集群中处理效率最高的节点，对于整个云环境下的数据访问效率至关重要。针对以上问题，现有的技术提出了以下方案。具体来讲，主要包括：

1)轮询调度，负载均衡调度器将来自用户的访问请求轮流的发送到后端的每一个节点上。这种算法不考虑后端集群中的每一个节点本身的性能和其当前负载，对于负载均衡调度器来讲，每一个节点都处于同等地位。经过数学分析，这种算法的问题在于，在节点出现故障后，某个数据访问请求被成功处理的概率将大大降低，并且无法充分利用后端服务器的资源。

2)最小连接数算法，负载均衡调度器记录了后端服务器集群中每一个节点的具体连接数，该连接数表明了当前该节点正在处理的请求数目。调度器会从后端节点中选择一个连接数最小的节点，用于处理当前请求。这种算法的问题在于由于节点的硬件配置不一，连接数往往不能真实反映其负载情况。

3)加权轮询算法，负载均衡调度器会为后端集群中的每一个节点赋予一个权值，权值越大那么某请求被分配到该节点的概率越高。这种算法的问题在于大规模集群中节点的负载情况是实时变化的，使用固定的权值，往往无法实时集群的实时负载情况。

发明内容

本发明针对现有的负载均衡方案在复杂集群环境下存在不足，对大规模云存储系统数据访问请求调度提供一种处理效率高，可避免资源占用率过高带来的节点宕机或是其他软硬件故障的动态负载均衡方法。

本发明目的通过如下技术方案实现：

一种云环境下动态负载均衡方法，包括如下步骤：

1)客户端与负载均衡调度器建立TCP连接；

2)负载均衡调度器将客户端传输过来的数据存储、数据共享和数据备份请求解析为具体的文件读写操作；

3)负载均衡调度器获取后端服务器集群中的每一个节点资源占用情况，利用节点资源占用情况计算节点的负载程度；

所述节点资源占用情况是以S_i表示集群中的第i个节点，第i个节点当前的CPU资源占用记为Load_cpu(S_i)，内存资源占用为Load_mem(S_i)，磁盘I/O占用为Load_io(S_i)，计算方法分别为：

其中Δc(S_i)为时间段t₁～t₂内CPU占用总时间的增量；Δ(idle(S_i))表示时间段t₁～t₂内CPU空闲总时间的增量，Δc(S_i)和Δ(idle(S_i))通过读取Linux下的/proc/cpuinfo文件中的数据计算得到；

其中m_used(S_i)节点表示该节点在某个时间点已经占用的内存，而m_idle(S_i)表示该节点在某个事件点所剩余的内存，这两个值通过读取Linux下/proc/meminfo文件来获取；

Load_io(S_i)通过开启util项直接使用Linux下的iostat工具来获取；

根据Load_cpu(S_i)，Load_mem(S_i)，Load_io(S_i)，使用如下公式确定每一个节点负载程度W_i，W_i表示集群中第i个节点的负载程度：

上式中，k₁，k₂，k₃分别为CPU，内存，磁盘I/O资源占用指标在计算负载程度时的重要性比例，满足i∈{1,2,3}，k_i∈(0,1)，

4)负载均衡调度器选择当前负载程度最低的节点来处理当前请求，在某个时间点一个请求被分配到的节点S_assign，节点S_assign为当前所有节点中负载程度最低的节点，计算公式为：

5)针对CPU资源占用，内存资源占用，磁盘I/O占用设置阈值，分别记为threshold_cpu，threshold_mem，threshold_io；当CPU资源占用，内存资源占用和磁盘I/O占用其中之一达到或超过所设置阈值，Load_cpu(S_i)≥threshold_cpu，或Load_mem(S_i)≥threshold_mem，或Load_io(S_i)≥threshold_io时，将第i个节点移除服务队列，不参与负载程度的排序过程；

6)每次所选取的服务节点为当前综合负载最低，且未有任何指标超过所设置阈值的节点，最终实现对客户端请求的调度以及服务器资源的高效利用。

为进一步实现本发明目的，优选地，计算指标权值时的重要性比例k₁，k₂，k₃使用TOPSIS算法，通过输入三个指标的重要程度对比表，该表通过对k₁，k₂，k₃取不同值，获取算法在不同评价指标上的表现，再将其量化为矩阵，计算出k₁，k₂，k₃三个指标在算法中占有的比例：

1)统一各项算法评价指标的单调性，吞吐率数据集合P，请求处理时间数据集合Q，请求等待时间集合R，采用求倒法，统一其单调性，使其均为越高越好；

2)对各项指标进行归一化处理；

3)进行加权处理，依据各项指标的重要程度分配权值，得到一个矩阵；

4)确定最优方案和最差方案，从上一矩阵中选出各项指标的参数值的最大值和最小值，得到最优方案和最差方案；

6)分别计算各个评价对象与最优方案及最差方案的距离；

7)计算综合评价指标。

进一步地，步骤3中权值计算公式中的k1，k2，k3采用TOPSIS算法，结合实际应用景中对处理请求对三个不同指标的不同敏感度来确定，其中，具体的过程如下：

1)输入三个指标的重要程度对比表，计算标准化决策矩阵D；

2)确定理想解和负理想解；

3)对于每一个待确定权值的参数，计算其到理想解和负理想解的距离，分别记为S⁺和S^-，一般使用多维欧氏距离；

4)对于每一个参数，使用如下公式计算一个比率R，该比率代表了其在几个指标中所代表的重要性：

通过该公式所计算出来的重要性，结合实际的应用场景来确定k1，k2，k3的值。

本发明与现有算法对比，具有以下显著优点：

1)本发明充分考虑到了在实际的大规模集群中，由于单个服务器上处理的任务数量和复杂程度都在不断变化，因而需要对节点的权值进行实时动态调整，充分反映节点的实时服务能力，以充分提升服务器资源的利用率；

2)本发明使用服务器上多个资源占用指标来为节点计算权值，指标在权值计算公式中所占有的比例可以根据实际的应用场景来进行调整，相比现有算法，要更加契合实际的需求，因而能够充分提升调度器的处理效率；

3)本发明为节点权值的评价指标设置了阈值，当达到或是超过该阈值的时候，将从服务队列中移除，充分保证了集群向外提供服务的稳定性，避免由于资源占用率过高带来的节点宕机或是其他软硬件故障。

附图说明：

图1为本发明云环境下动态负载均衡方法的模型。

图2为本发明权值计算公式参数选取过程图。

图3为本发明云环境下动态负载均衡方法的执行过程图。

图4为本发明数据访问与存储架构。

图5为本发明与加权轮询算法请求等待时间对比图。

图6为本发明与加权轮序算法吞吐率对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，需要说明的是，实施例仅为了更加清晰的说明本发明内容，而不是为了限制本发明的保护范围。

如图1为云环境下动态负载均衡方法的总体模型。调度器接收到来自用户的数据访问请求，调度器随后通过设定的周期T内主动监测后端服务器节点所获取的节点运行信息，来为每个节点计算权值。具体来讲，这里的节点为向外提供服务的Nginx反向代理服务中的某一台服务器，随后通过权值计算公式以及选取策略选出当前的最优节点来处理该数据访问请求。本发明的调度器为负载均衡调度器。

如图2所示，为权值计算公式中的参数选取过程，具体来讲，分为以下几个步骤：

步骤201，共有m个参数的权值需要确定，分别记为D₁,D₂,...,D_m，而当前算法的性能是由n个评价指标来进行衡量的，分别记为X₁,X₂,...,X_n。首先需要输入参数权值与其具体性能表现所组成的矩阵，将该矩阵记为D，则有：

步骤202对矩阵进行标准化，记标准化后的值为r_ij，过程如下所示：

进一步地，对矩阵进行规范化，定义集合w来表示第一步中各个指标的重要性，w_j表示的是第j个指标的重要性。矩阵w中的值需要根据这n个指标的相对重要性来进行确定，对其进行规范化，具体过程如下：

v_ij＝w_jr_ij,i＝1,2,...,m,j＝1,2,...,n

步骤203，确定理想解A⁺，这里的理想解即在某个指标上达到最佳的一个取值，J1为第i个指标上的最优解，J2为最差解，具体如下：

进一步地，确定负理想解A^-，与理想解相对的，这里的负理想解就是在某个指标上达到最差的取值。J₁为第i个指标上的最优解，J₂为最差解：

步骤204，对于每一个待确定权值的参数，计算其到理想解和负理想解的距离，分为记为S⁺与S^-,，这里的距离计算使用多维欧氏距离，具体如下：

步骤205，对于每一个参数，使用计算出一个比率，将该比率从大到小进行排序，就表示了每个参数在实际情况中的重要性比例，以此来确定每个参数权值大小。

步骤206，根据前述计算出来的重要性排序，输出最佳参数。

进一步地，考虑到在本应用场景中，使用FUSE来访问HDFS时，其性能表现主要由以下因素来决定：1)FUSE读写HDFS过程中会有频繁的CPU上下文切换，导致对CPU计算能力要求较高；2)考虑到后文的优化过程需要将部分文件信息缓存到内存中，所以内存资源占用也很大程度上决定了性能上限，因而，在实际计算过程中，使用的参数值分别为k₁，k₂，k₃。

进一步地，由于对节点负载信息的采集是每个周期T内进行一次，T值的选取不能太大，如过每次权值更新的周期比较长，那么，调度器所计算出来的周期将无法反应集群最新的负载情况，存在一定的滞后性，最终会对负载均衡算法造成一定的性能影响，但是，如果过于频繁的去查询集群中各个节点的信息，一方面会给集群中的节点带来不必要的负担，另一方面，鉴于在实际应用中，集群中的节点数目规模往往是非常大的，如过频繁的传输集群负载信息，并计算整个集群所有节点的权值，可能会造成网络堵塞或是负载均衡调度器本身资源占用过高，因而，针对实际场景进行分析后，这里选用的T值为5s。

如图3所示，为本发明方法的实际执行过程，具体来讲，包含以下步骤：

步骤301，通过Unix操作系统中的IPC进程间通信方式，使用socket编程中的I/O多路复用技术，通过监听80端口，让发起请求的客户端与服务端建立起TCP连接，这里，具体使用的epoll事件模型，来提升调度器的并发处理能力；

步骤302，通过调度器中已经内置的请求解析逻辑，将数据访问请求解析为实际的文件操作，下表为具体操作：

表1数据访问请求列表

步骤303，计算后端服务节点，将已经确定的参数值k₁，k₂，k₃分为带入权值计算公式，得到实际应用时所使用的公式，将节点按权值从大到小加入队列Q中：

代入最优节点选取公式：

使用上述公式通过获取的节点信息，为每一个节点计算权值，并选取最优节点；

步骤304，判断所选取节点是否有资源占用已经超过所设定的阈值。CPU，内存，磁盘I/O资源占均设置为90％，如果，超过，跳到步骤305，否则，到步骤306；

步骤305，将该节点从本次服务队列Q中移除，并跳到步骤303，重新选取最优节点；

步骤306，将请求调度到具体安装有Nginx软件的服务器，通过FUSE来访问HDFS来上的数据，响应操作；

步骤307，判断是否仍然需要监听来自客户端的访问请求，如果需要，则继续以轮询的方式监听端口，否则，退出执行过程。

如图4所示，本实施例中的云环境下的数据访问与存储架构，包括用户访问层、数据服务层，数据访问层和数据存储层，多台部署有本发明方法的服务器接受用户的读写请求，并对其进行调度，在其下层使用Nginx反向代理来接受请求并返回数据，服务器通过FUSE访问HDFS，实现本地文件与HDFS存储集群之间的传输，这里设计了主备的负载均衡调度器，通过Keepalived软件定时发送心跳检测来实现，从而保障集群中至少有一个调度器能够正常向外提供服务。

本发明方法使用两个指标来评价其性能表现，具体为：

1)吞吐率数据即集合P，对于Web服务器来讲，单位时间内能够处理的网络数据量是衡量其性能的第一标准，吞吐率说明了服务器所能向外提供的最高负载能力，本质上来讲，它衡量的是通网络所传输的数据；

2)请求等待时间数据即集合R，请求等待时间描述的是Web服务器在处理来自大量用户的并发访问请求时，由于自身性能的限制，单位时间能处理的请求量是有限的，因而必然会有请求运行在后端，等待调度器的调度，这个指标，则是从总体上衡量了单个请求所需等待的时间，往往是最能够反映用户实际体验的。

进一步地，为了更加直观的反映本发明方法在实际使用过程中所带来的性能提升，本实施例还使用常用的负载均衡算法加权轮询法与本方法进行了对比，如图5所示，为本发明发方法与加权轮询算法在处理相同请求时等待时间集合R所形成的对比图像，图中可以看到，当请求数规模不大时，调度算法的不同对于具体的请求处理时间和等待时间差异并不大，而当请求数量开始增大以后，此时，后端集群中节点的负载开始增大，相应的通过本文所定义的公式计算出来的权值也开始出现明显的波动，反馈到调度器后，节点的服务器权值也会有相应的调整，因而，处理相同请求的时间相比加权轮询算法也有了较大的降低。

进一步地，如图6所示，为本发明方法与加权轮询算法在吞吐率数据集合P上所形成的的对比图像，从图6可以看到，与请求处理时间和等待时间类似，随着连接数的增长，本发明方法相比加权轮询算法同样有更好的表现，这意味着本发明方法要有更快的文件上传和下载速度。

本行业技术人员应该了解，本发明不受实施例的限制。凡在本发明的精神和原则之内所做的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种云环境下动态负载均衡方法，其特征在于包括如下步骤：

1)客户端与负载均衡调度器建立TCP连接；

2)负载均衡调度器将客户端传输过来的数据存储、数据共享和数据备份请求解析为具体的文件读写操作；

3)负载均衡调度器获取后端服务器集群中的每一个节点资源占用情况，利用节点资源占用情况计算节点的负载程度；

所述节点资源占用情况是以S_i表示集群中的第i个节点，第i个节点当前的CPU资源占用记为Load_cpu(S_i)，内存资源占用为Load_mem(S_i)，磁盘I/O占用为Load_io(S_i)，计算方法分别为：

其中Δc(S_i)为时间段t₁～t₂内CPU占用总时间的增量；Δ(idle(S_i))表示时间段t₁～t₂内CPU空闲总时间的增量，Δc(S_i)和Δ(idle(S_i))通过读取Linux下的/proc/cpuinfo文件中的数据计算得到；

其中m_used(S_i)节点表示该节点在某个时间点已经占用的内存，而m_idle(S_i)表示该节点在某个事件点所剩余的内存，这两个值通过读取Linux下/proc/meminfo文件来获取；

Load_io(S_i)通过开启util项直接使用Linux下的iostat工具来获取；

根据Load_cpu(S_i)，Load_mem(S_i)，Load_io(S_i)，使用如下公式确定每一个节点负载程度W_i，W_i表示集群中第i个节点的负载程度：

上式中，k₁，k₂，k₃分别为CPU，内存，磁盘I/O资源占用指标在计算负载程度时的重要性比例，满足i∈{1,2,3}，k_i∈(0,1)，

4)负载均衡调度器选择当前负载程度最低的节点来处理当前请求，在某个时间点一个请求被分配到的节点S_assign，节点S_assign为当前所有节点中负载程度最低的节点，计算公式为：

5)针对CPU资源占用，内存资源占用，磁盘I/O占用设置阈值，分别记为threshold_cpu，threshold_mem，threshold_io；当CPU资源占用，内存资源占用和磁盘I/O占用其中之一达到或超过所设置阈值，Load_cpu(S_i)≥threshold_cpu，或Load_mem(S_i)≥threshold_mem，或Load_io(S_i)≥threshold_io时，将第i个节点移除服务队列，不参与负载程度的排序过程；

6)每次所选取的服务节点为当前综合负载最低，且未有任何指标超过所设置阈值的节点，最终实现对客户端请求的调度以及服务器资源的高效利用。

2.如权利要求1所述的云环境下动态负载均衡方法，其特征在于，计算指标权值时的重要性比例k₁，k₂，k₃使用TOPSIS算法，通过输入三个指标的重要程度对比表，该表通过对k₁，k₂，k₃取不同值，获取算法在不同评价指标上的表现，再将其量化为矩阵，计算出k₁，k₂，k₃三个指标在算法中占有的比例：

1)统一各项算法评价指标的单调性，吞吐率数据集合P，请求处理时间数据集合Q，请求等待时间集合R，采用求倒法，统一其单调性，使其均为越高越好；

2)对各项指标进行归一化处理；

3)进行加权处理，依据各项指标的重要程度分配权值，得到一个矩阵；

4)确定最优方案和最差方案，从上一矩阵中选出各项指标的参数值的最大值和最小值，得到最优方案和最差方案；

6)分别计算各个评价对象与最优方案及最差方案的距离；

7)计算综合评价指标。

3.如权利要求1所述的云环境下动态负载均衡方法，其特征在于，步骤3中权值计算公式中的k1，k2，k3采用TOPSIS算法，结合实际应用景中对处理请求对三个不同指标的不同敏感度来确定，包括如下步骤：

1)输入三个指标的重要程度对比表，计算标准化决策矩阵D；

2)确定理想解和负理想解；

3)对于每一个待确定权值的参数，计算其到理想解和负理想解的距离，分别记为S⁺和S^-，一般使用多维欧氏距离；

4)对于每一个参数，使用如下公式计算一个比率R，该比率代表了其在几个指标中所代表的重要性：

通过该公式所计算出来的重要性，结合实际的应用场景来确定k1，k2，k3的值。