CN107196869B

CN107196869B - 基于主机实际负载的自适应负载均衡方法、设备和系统

Info

Publication number: CN107196869B
Application number: CN201710573792.5A
Authority: CN
Inventors: 杨旭
Original assignee: Beijing Knownsec Information Technology Co Ltd
Current assignee: Beijing Knownsec Information Technology Co Ltd
Priority date: 2017-07-14
Filing date: 2017-07-14
Publication date: 2019-11-15
Anticipated expiration: 2037-07-14
Also published as: CN107196869A

Abstract

本发明公开了一种基于主机实际负载的自适应负载均衡方法，适于在负载均衡设备中执行，所述负载均衡设备与多个服务器主机通信连接，且分别存储有各服务器在不同的性能指标下可处理会话数的预测模型，该方法包括步骤：收集各服务器的当前性能指标，并分别将其构建为指标特征向量；并分别将各服务器的指标特征向量输入到对应的预测模型中，得到各服务器在当前性能指标下的可处理会话数；以及根据各服务器的可处理会话数为其设置负载分担权重，并根据各服务器的负载分担权重进行相应的流量分发。本发明还公开了对应的负载均衡设备和系统。

Description

基于主机实际负载的自适应负载均衡方法、设备和系统

技术领域

本发明涉及计算机及互联网技术领域，尤其涉及一种基于主机实际负载的自适应负载均衡方法、设备和系统。

背景技术

负载均衡(又称为负载分担)，是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求分担给多个服务器或网络设备，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，而接收到请求的服务器独立地回应客户的请求，从而提高了业务处理能力，保证了业务的高可用性。

目前普遍使用的数据库集群系统负载均衡方法包括随机选择法、轮询法和加权轮询法。其中，随机选择法在后端中随机选择一个节点来执行用户查询请求，其完全不了解后端状态也完全没有可控性。轮询法轮流选取后端节点执行用户查询请求，其虽然可以使每个后端都有任务，但并不能做到各个后端任务的最优分配。加权轮询法给不同的数据库节点赋予不同的权值，但其通常还是采用静态权重的方法按照固定比例向目标服务器分发流量，其需要凭借人工经验指定负载分担参数，扩展性、灵活性、精确性都比较低。

因此，需要提供一种能够实现业务的最优分配的负载均衡方法。

发明内容

为此，本发明提供一种基于主机实际负载的自适应负载均衡方法、设备和系统，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种基于主机实际负载的自适应负载均衡方法，适于在负载均衡设备中执行，该负载均衡设备与多个服务器主机通信连接，且分别存储有各服务器在不同的性能指标下可处理会话数的预测模型，该方法包括步骤：定期收集各服务器的当前性能指标，并分别将其构建为指标特征向量；分别将各服务器的指标特征向量输入到对应的预测模型中，得到各服务器在当前性能指标下的可处理会话数；以及根据各服务器的可处理会话数为其设置负载分担权重，并根据各服务器的负载分担权重进行相应的流量分发。

可选地，在根据本发明的方法中，某服务器在不同的主机资源下可处理会话数的预测模型适于根据以下方法得到：在未进行负载分担的情况下，直接将会话流量分发给该服务器，并按照预定时间间隔不断收集该服务器的各项性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集；分别将不同时刻下的各项性能指标构建为指标特征向量，从而得到多组指标特征向量与该性能指标下可处理会话数的对应关系；以及分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的计算方法。

可选地，在根据本发明的方法中，预测模型的计算公式为：h_θ(x)＝θ₀+θ₁x+θ₂x²，其中，x为指标特征向量，h_θ为该性能指标下可处理的会话数，θ₀、θ₁和θ₂均为特征权重向量。

可选地，在根据本发明的方法中，性能指标包括CPU使用率、内存使用量、IO使用率、平均会话响应时间、平均会话存活时间和网络使用量的至少一种。

可选地，在根据本发明的方法中，指标特征向量为(CPU使用率，内存使用量，IO使用率，平均会话响应时间，平均会话存活时间，网络使用量)。

可选地，在根据本发明的方法中，还包括：对于定期收集到的各服务器的当前性能指标，分别计算预设时长内任意两个相邻收集时间的两组性能指标的差值和当前正在处理会话数的差值，得到对应时段内的差值指标和差值会话数；分别将各时段内的差值指标构建为指标特征向量，并将其输入到预测模型中，得到对应时段内的预测处理会话数；分别根据各时段内的预测处理会话数与差值会话数计算对应的预测偏差值；以及计算预设时长内所有预测偏差值的平均值，如果该平均值高于预设阈值，则重新对该服务器的预测模型进行训练。

可选地，在根据本发明的方法中，预测偏差值＝(预测处理的会话数-差值会话数)/差值会话数。

可选地，在根据本发明的方法中，重新对该服务器的预测模型进行训练的步骤包括：将该服务器的负载分担权重调整为0，并以固定速率向该服务器分发流量；按照预设时间间隔收集该服务器的当前性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集；以新收集的第一条性能指标作为基准指标，计算后续所有性能指标与该基准指标之间的差值，并将各差值构建为指标特征向量，从而得到多组指标特征向量与该差值下可处理会话数的对应关系；以及分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，重新对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的新计算方法。

可选地，在根据本发明的方法中，还包括：定期刷新各服务器的负载分担权重，并根据当前各服务器的负载分担权重对新来的会话进行流量分发。

可选地，在根据本发明的方法中，负载均衡设备中存储有流表数据库，所述根据各负载分担权重进行相应的流量分发的步骤包括：当会话的第一个报文到达时，根据各服务器的负载分担权重将该会话分发给相应的服务器，并将该会话的会话五元组和所分配的服务器存入到流表数据库中；根据会话五元组判断该会话的其他后续流量，并不再对该后续流量进行负载分担计算，而直接将其分发给第一个报文所分配的服务器；以及当该会话已处理结束后，从所述流表数据库中删除该会话的会话五元组和所分配的服务器。

可选地，在根据本发明的方法中，定期收集各服务器的当前性能指标，并分别将其构建为指标特征向量的步骤包括：根据各服务器的当前性能指标计算其剩余性能指标，并分别将各剩余性能指标构建为指标特征向量。

可选地，在根据本发明的方法中，预定时间间隔为10ms，平均会话响应时间的指标阈值为1s，预设时长为1小时，预设阈值为30％，固定速率为每秒钟分配10万个会话。

根据本发明的又一个方面，提供一种负载均衡设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述的方法的指令。

根据本发明的又一个方面，提供一种存储一个或多个程序的计算机可读存储介质，其中一个或多个程序包括指令，该指令当由计算设备执行时，使得计算设备执行如上所述的方法。

根据本发明的又一个方面，提供一种负载均衡系统，包括如上所述的负载均衡设备，以及与该负载均衡设备通信连接的多个服务器。

根据本发明提供的技术方案，首先在负载均衡设备中对各服务器在不同性能指标下所能处理的会话数进行模型训练，然后实时收集服务器主机各项性能指标，如CPU使用率、内存用量、磁盘IO负载、当前会话数、平均会话响应时间、平均会话存活时间和上下行网络带宽等，从而得到当前各服务器的各项剩余性能指标。然后，根据将服务器的当前剩余性能指标输入到该服务器的预测模型中，利用机器学习算法预测该服务器当前的可处理会话数。最后，根据各服务器的可处理会话数的比值为该服务器设置负载分担权重，从而动态计算出各个服务器主机负载分担的权重比例，并进行相应的流量分发。本发明能够充分利用已有资源对业务调度进行高效处理，实现业务请求的最优动态分配，而且集群成员节点扩充或者故障时也能够弹性处理，另外还能灵活支持集群成员异构。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的示例负载均衡系统100的示意图；

图2示出了根据本发明一个实施例的示例负载均衡设备200的结构框图；

图3示出了根据本发明一个实施例的基于主机实际负载的自适应负载均衡方法300的流程图；

图4示出了根据本发明一个实施例的预测模型的偏差检测方法400的流程图；以及

图5示出了根据本发明一个实施例的重新训练预测模型的方法500的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的负载均衡系统100的示意图。图1所示的负载均衡系统100包括负载均衡设备200、数据存储装置120以及多个服务器110(如图1中的服务器1-n)，其中，负载均衡设备200和多个服务器110之间通过数据网络连接。应当指出，图1中的负载均衡系统100仅是示例性的，在具体的实践情况中，负载均衡系统100中可以有不同数量的负载均衡设备200、数据存储装置120和服务器110，本发明对系统100中所包括的负载均衡设备、数据存储装置以及服务器的数目不做限制，这些设施也可以驻留在多个地理位置中。

负载均衡设备200可以实现为服务器，例如文件服务器、数据存储装置服务器、应用程序服务器和WEB服务器等，也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机，还可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如手机、平板电脑、个人媒体播放器设备、无线网络浏览设备、可穿戴设备(如智能手表、智能眼镜等)、应用专用设备、或者可以包括上面任何功能的混合设备。负载均衡设备200中部署有资源调度应用，适于将来自客户端的多个请求进行负载分担后再分发给相应的服务器进行处理，以实现各节点的负载均衡。需要说明的是，负载均衡设备200也可以设置为多个，图1中只是示例性的示出了其中一个。

服务器110可以是由若干台服务器组成的服务器集群，或者是一个云计算服务中心。此外，用于组成服务器集群或云计算服务中心的多个服务器可以驻留在多个地理位置中，本发明对服务器110的部署方式不做限制。服务器110处理负载均衡设备200分配过来的服务请求，并向对应的客户端提供相关网络服务，即响应于该请求向用户返回查询结果。

服务器110可以定期获取主机各项性能指标，并将获取到的性能指标，打包封装成IPFIX报文(参见RFC 7011)。这里，获取间隔可以根据实际需要配置，例如可以设置在10～1000ms范围。之后，服务器110作为IPFIX协议客户端向负载均衡设备200上报性能指标数据。需要说明的是，由于当前IPFIX协议不能完全支持本发明中所定义的性能指标，因此需要对其进行扩展，具体可参见IP Flow Information Export(IPFIX)Entities(http://www.iana.org/assignments/ipfix/ipfix.xhtml)中的扩展方法。而另一方面，负载均衡设备200作为IPFIX协议服务端，可以监听IPFIX协议端口，以及收集来自各个服务器主机上报的性能指标，并分别将其存入到数据存储装置120中。

数据存储装置120可以是数据库，其既可以作为本地数据库驻留于负载均衡设备200中，也可以作为远程数据库设置于负载均衡设备200之外，本发明对数据存储装置110的部署方式不做限制。根据一种实施例，数据存储装置120可以是REDIS内存数据库，这样在对流表数据进行频繁查询时，可以保证较高的查询效率。

图2布置为实现根据本发明的基于主机实际负载的自适应负载均衡方法300的示例负载均衡设备200的结构框图。如图2所示，在基本配置202中，负载均衡设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上利用程序数据224进行操作。

负载均衡设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置102经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

负载均衡设备200可以实现为小尺寸便携(或者移动)电子设备的一部分。负载均衡设备200还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中，负载均衡设备200被配置为执行根据本发明的基于主机实际负载的自适应负载均衡方法300，应用222中包括用于执行方法300的一个或多个程序。

此外，根据本发明的负载均衡设备200中还分别存储有各服务器在不同性能指标下的可处理会话数的预测模型。具体地，负载均衡设备200可以根据如下方法得到各服务器的预测模型：

首先，在未进行负载分担的情况下，直接将会话流量分发给某个特定的服务器，并按照预定时间间隔不断收集该服务器的各项性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集。其中，预定时间间隔可以是指标收集的最小时间间隔，如10ms，以便收集到多组数据提高预测模型准确性；当然也可以根据需要设置为其他数值，本发明对此不作限制。

另外，性能指标可以包括CPU使用率、内存使用量、IO使用率、平均会话响应时间、平均会话存活时间和网络使用量的至少一种。当某个性能指标超过其指标阈值时(例如平均会话响应时间超过1s时)，当前服务器的性能指标收集完成，可以切换到下一个服务器。当一轮切换过后，负载均衡设备200收集到了所有服务器的性能指标。当然，这里也可以重复几次该收集过程，并取其平均值，这样更接近实际情况。

随后，分别将不同时刻下的各项性能指标构建为指标特征向量，从而得到多组指标特征向量与该性能指标下可处理会话数的对应关系。

根据一个实施例，指标特征向量可以表述为(CPU使用率，内存使用量，IO使用率，平均会话响应时间，平均会话存活时间，网络使用量)。例如(90％,8G,80％,100ms,200ms,1Gbps)的意思即为：消耗90％的CPU，8G内存，80％的磁盘IO，1Gbps网络带宽资源，平均会话响应时间为100ms，平均会话存活时间200ms的主机资源下。这样，就可以得到每个服务器中消耗不同的主机资源所能处理的会话数，以下示出了一些训练数据集中的样例数据：

x₁＝<10％，5％，5％，5ms，100ms，0.1G>，h(x₁)＝10000；

x₂＝<20％，10％，5％，7ms，100ms，0.2G>，h(x₂)＝20000；

x₃＝<40％，20％，10％，8ms，120ms，0.3G>，h(x₃)＝40000；

随后，分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的计算方法。

根据一个实施例，预测模型的计算公式可以为：

h_θ(x)＝θ₀+θ₁x+θ₂x² (1)

其中，x为指标特征向量，h_θ(x)为该性能指标下可处理的会话数，θ₀、θ₁和θ₂均为特征权重向量。根据以上训练数据集对该公式进行训练求解，即可得到该预测模型的计算方法。

这里采用的是多项式回归算法建立的模型预测，当然也可以使用其他计算公式，本发明对此不作限制。由于本模型特性和样本数量都不多，损失函数可以采用批量梯度下降法，如可以参考如下公式：

对该损失函数进行求导后，可以得到：

其中，m为样本个数，i是样本的标号，j＝0,1,2，其实际上是对x和x平方的简写，表示第i个样本的x⁰、x¹和x²的取值，yⁱ是训练过程中采集到当前正在处理的会话数，h_θ(xⁱ)是代入xⁱ后关于θ的预测函数。将样本模型中不同时刻下的指标特征向量x和其当前正在处理会话数yⁱ代入到公式(3)，可以分别得到θ₀、θ₁和θ₂的值。这样，在需要进行负载分担时，已知任意一个指标特征向量x，代入到公式(1)中，即可计算得到该性能指标下的可处理会话数h_θ(x)。

图3示出了根据本发明一个实施例的基于主机实际负载的自适应负载均衡300的流程图。如图3所述，该方法适于步骤S320。

在步骤S320中，定期收集各服务器的当前性能指标，并分别将其构建为指标特征向量。其中，步骤S320中的内容进一步地可以包括：根据各服务器的当前性能指标计算其剩余性能指标，并分别将各剩余性能指标构建为指标特征向量。其中，定期收集时间可以根据需要进行设置，如可设置为1s～10s，其通常可以大于模型训练时的指标收集时间间隔。

例如，若当前服务器的各项性能指标分别为(CPU使用率，内存使用量，IO使用率，平均会话响应时间，平均会话存活时间，网络使用量)＝(20％,2G,10％,5ms,100ms,0.1G)，则剩余资源的CPU可用率＝80％，内存可使用＝30G，IO可使用量＝90％，网络带宽可使用量＝9.9Gbps，将其构建为剩余资源的指标特征向量，即为(80％，30G，90％，500ms，100ms，9.9G)。这里，平均会话响应时间可以根据需求进行调整，根据一个实施例，其可以取500ms，超过500ms则会影响用户WEB服务的体验。

随后，在步骤S340中，分别将各服务器的指标特征向量输入到对应的预测模型中，得到各服务器在当前性能指标下的可处理会话数。

例如，在上述例子中，将剩余资源的指标特征向量(80％，30G，90％，500ms，100ms，9.9G)输入到公式(1)中，即可得到该服务器在当前剩余资源下的可处理会话数。依照上述方法对其他服务器也进行求解，就可分别得到各服务器在当前性能指标下的可处理会话数。

随后，在步骤S360中，根据各服务器的可处理会话数为其设置负载分担权重，并根据各服务器的负载分担权重进行相应的流量分发。进一步地，其还可以定期刷新各服务器的负载分担权重，并根据当前各服务器的负载分担权重对新来的会话进行流量分发。

根据一个实施例，步骤S360可以包括：根据各服务器的可处理会话数的比值为其设置负载分担权重，并将新来的会话按照同样比值进行分组，并分别把每组会话分配给对应的服务器。

这里，若负载均衡系统100中n个服务器，其中m(m≤n)个服务器的可处理会话数分别为h₁、h₂、h₃…、h_m，则其比值为h₁：h₂：h₃…h_m；对于新来的k个会话，将其按照同样的比值分为m等份，并分别把每份会话分配给对应的服务器。比如，若三个服务器的当前可处理会话数分别为900、700和400，即其比值为9:7:4，此时若新来100个会话，则将这100个会话按照上述比例分为45、35和20三组，并分别将每个分组分发给对应的服务器，即45会话组分配给可处理会话数为900的服务器，35会话组分配给可处理会话数为700的服务器，

这里，如果会话数k比较多，则可以取m＝n，即将会话分配给所有服务器进行负载分担；如果会话数k比较少，则可以从中选出一部分可处理会话值较大的服务器进行负载分担，即此时m＜n；如果只来了一个新会话，则可以根据需要将其分配给可处理会话数最大的那个服务器进行处理，也可以按照常规的轮询法或随机选择法分配。当然，这些都只是示例性说明，负载分担方法还可以根据现有的任意方法进行设置和分配，本发明对此不作限制。

根据一个实施例，负载均衡设备200中还可以存储流表数据库，流表数据库用于存储会话五元组和该会话所分配的服务器，根据各负载分担权重进行相应的流量分发的步骤可以包括：当会话的第一个报文到达时，根据各服务器的负载分担权重将该会话分发给相应的服务器，并将该会话的会话五元组和所分配的服务器存入到流表数据库中；根据会话五元组判断该会话的其他后续流量，并不再对该后续流量进行负载分担计算，而直接将其分发给第一个报文所分配的服务器；以及当该会话已处理结束后，从流表数据库中删除该会话的会话五元组和所分配的服务器。

也就是，负载均衡设备200将分发的会话五元组(源IP地址，源端口，目的IP地址，目的端口和传输层协议号)记录到流表数据库中，在本次会话的生命周期内，该会话的后续流量不会被分配到其他服务器，而是直接发送给相同的服务器，从而保证流量的同源同宿关系。当本次会话完成后，其会话五元组会从流表数据库中删除，后续再有相同五元组的报文到来时，会重新按照负载分担权重来分配。负载分担是发生在每个会话的第一个报文到达时。

从以上内容可知，预测模型的建立与模型训练过程中实际运行的业务密不可分。因此，当服务器上的业务变更时，需要重新对模型进行训练。例如，服务器原来提供的是网页浏览服务，后来该服务器被用作提供科学计算服务，而不同服务对系统资源的消耗是不一样的，所以原来的模型就不再适用，需要重新对其重新训练。

图4示出了根据本发明一个实施例的预测模型的偏差检测方法400的流程图，其可以用来判断是否需要对模型进行重新训练。

如图4所示，方法始于步骤S420，对于定期收集到的各服务器的当前性能指标，分别计算预设时长内任意两个相邻收集时间的两组性能指标的差值和当前正在处理会话数的差值，得到对应时段内的差值指标和差值会话数。

也就是，对于获取到的预设时长内的性能指标数据，将各性能指标数据按照时间排序，两两相减，获得性能指标差值。这个差值体现了在两次获取性能指标之间的时间内，服务器消耗的系统资源和处理能力，即处理了多少条会话。这里，对于平均会话响应时间和平均会话存活时间，如果其前后两个值相同，则可以不用求差值，直接按原数值即可；若不相等，则可以取两个值的平均值。其中，预设时长可以为1h，当然也可以根据需要设置为其他数值，本发明对此不作限制。

随后，在步骤S440中，分别将各时段内的差值指标构建为指标特征向量，并将其输入到预测模型中，得到对应时段内的预测处理会话数。

例如，设第一次和第二次收集时的各性能指标分别如上表的前两行所示，则两次数据的性能指标差值如第三行所示，构造的特征向量为(10％，1％，1％，5ms，100ms，0.1G)。将其输入到公式(1)中，即可得到在第一次和第二次收集中服务器理应处理的会话数，即预测处理的会话数，将该预测值与实际处理的差值会话数作比较，即可知道该服务器的当前预测模型是否准确。

随后，在步骤S460中，分别根据各时段内的预测处理会话数与差值会话数计算对应的预测偏差值。其中，预测偏差值＝(预测处理的会话数-差值会话数)/差值会话数，当然也可以根据需要设置为其他公式，本发明对此不作限制。

随后，在步骤S480中，计算预设时长内所有预测偏差值的平均值，如果该平均值高于预设阈值，则判定为服务器出现了软硬件配置变化，需要重新对该服务器的预测模型进行训练。其中，预设阈值可以为30％，当然也可以根据需要设置为其他数值，本发明对此不作限制。

图5示出了根据本发明一个实施例的重新训练预测模型的方法500的流程图，如图5所示，方法500始于步骤S520。

在步骤S520中，对于某个需要重新训练预测模型的服务器，将该服务器的负载分担权重调整为0，不让该服务器参与负载分担，并以固定速率向该服务器分发流量，例如每秒钟分配100000个会话。

随后，在步骤S540中，按照预设时间间隔收集该服务器的当前性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集。这里，可以按照指标收集间隔的最小时间间隔，如10ms。这里，当负载均衡设备发现某个服务器的预测模型需要调整时，将通知该服务器上进入训练模式，此时该服务器将按照最小时间间隔进行性能指标上报。

随后，在步骤S560中，以新收集的第一条性能指标作为基准指标，计算后续所有性能指标与该基准指标之间的差值，并将各差值构建为指标特征向量，从而得到多组指标特征向量与该差值下可处理会话数的对应关系.

随后，在步骤S580中，分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，重新对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的新计算方法。之后，就可以根据该新的预测模型对该服务器进行负载分担。

根据本发明的技术方案，实时收集服务器主机的各项性能指标后，利用机器学习算法预测该服务器当前能接收的新服务器请求数，从而动态计算出各个服务器主机负载分担的权重比例，以及进行相应的流量分发。这样能够实现主机资源的最大利用，提高业务处理的整体效率。而且，负载均衡设备还能将分发的会话五元组记录到流表数据库，后续流量都会发送给相同的服务器，从而保证流量的同源同宿关系。另外，本发明还能实时监测服务器是否发生了业务变更，并当其发生业务变更时重新对该服务器的预测模型进行训练。

A8、如A1或A6所述的方法，其中，所述重新对该服务器的预测模型进行训练的步骤包括：将该服务器的负载分担权重调整为0，并以固定速率向该服务器分发流量；按照预设时间间隔收集该服务器的当前性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集；以新收集的第一条性能指标作为基准指标，计算后续所有性能指标与该基准指标之间的差值，并将各差值构建为指标特征向量，从而得到多组指标特征向量与该差值下可处理会话数的对应关系；以及分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，重新对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的新计算方法。

A9、如A1所述的方法，还包括：定期刷新各服务器的负载分担权重，并根据当前各服务器的负载分担权重对新来的会话进行流量分发。

A10、如A1所述的方法，其中，所述负载均衡设备中存储有流表数据库，所述根据各服务器的负载分担权重进行相应的流量分发的步骤包括：当会话的第一个报文到达时，根据各服务器的负载分担权重将各话分发给相应的服务器，并将该会话的会话五元组和所分配的服务器存入到流表数据库中；根据会话五元组判断该会话的其他后续流量，并不再对该后续流量进行负载分担计算，而直接将其分发给第一个报文所分配的服务器；以及当该会话已处理结束后，从所述流表数据库中删除该会话的会话五元组和所分配的服务器。

A11、如A1所述的方法，其中，所述定期收集各服务器的当前性能指标，并分别将其构建为指标特征向量的步骤包括：根据各服务器的当前性能指标计算其剩余性能指标，并分别将各剩余性能指标构建为指标特征向量。

A12、如A1-A8中任一项所述的方法，其中，所述预定时间间隔为10ms，所述平均会话响应时间的指标阈值为1s，所述预设时长为1小时，所述预设阈值为30％，所述固定速率为每秒钟分配10万个会话。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的基于主机实际负载的自适应负载均衡方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims

1.一种基于主机实际负载的自适应负载均衡方法，适于在负载均衡设备中执行，所述负载均衡设备与多个服务器主机通信连接，且分别存储有各服务器在不同的性能指标下可处理会话数的预测模型，该方法包括步骤：

定期收集各服务器的当前性能指标，并分别将其构建为指标特征向量；

分别将各服务器的指标特征向量输入到对应的预测模型中，得到各服务器在当前性能指标下的可处理会话数；以及

根据各服务器的可处理会话数为其设置负载分担权重，并根据各服务器的负载分担权重进行相应的流量分发；

其中，某服务器在不同的主机资源下可处理会话数的预测模型适于根据以下方法得到：

在未进行负载分担的情况下，直接将会话流量分发给该服务器，并按照预定时间间隔不断收集该服务器的各项性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集；

分别将不同时刻下的各项性能指标构建为指标特征向量，从而得到多组指标特征向量与该性能指标下可处理会话数的对应关系；以及

分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的计算方法。

2.如权利要求1所述的方法，其中，预测模型的计算公式为：

h_θ(x)＝θ₀+θ₁x+θ₂x²

其中，x为指标特征向量，h_θ为该性能指标下可处理的会话数，θ₀、θ₁和θ₂均为特征权重向量。

3.如权利要求1所述的方法，其中，所述性能指标包括CPU使用率、内存使用量、IO使用率、平均会话响应时间、平均会话存活时间和网络使用量的至少一种。

4.如权利要求3所述的方法，其中，所述指标特征向量为(CPU使用率，内存使用量，IO使用率，平均会话响应时间，平均会话存活时间，网络使用量)。

5.如权利要求1-4中任一项所述的方法，还包括：

对于定期收集到的各服务器的当前性能指标，分别计算预设时长内任意两个相邻收集时间的两组性能指标的差值和当前正在会话数的差值，得到对应时段内的差值指标和差值会话数；

分别将各时段内的差值指标构建为指标特征向量，并将其输入到预测模型中，得到对应时段内的预测处理会话数；

分别根据各时段内的预测处理会话数与差值会话数计算对应的预测偏差值；以及

计算预设时长内所有预测偏差值的平均值，如果该平均值高于预设阈值，则重新对该服务器的预测模型进行训练。

6.如权利要求5所述的方法，其中，预测偏差值＝(预测处理的会话数-差值会话数)/差值会话数。

7.如权利要求5所述的方法，其中，所述重新对该服务器的预测模型进行训练的步骤包括：

将该服务器的负载分担权重调整为0，并以固定速率向该服务器分发流量；

按照预设时间间隔收集该服务器的当前性能指标及其当前正在处理的会话数，直至某个性能指标超过该指标阈值时停止收集；

以新收集的第一条性能指标作为基准指标，计算后续所有性能指标与该基准指标之间的差值，并将各差值构建为指标特征向量，从而得到多组指标特征向量与该差值下可处理会话数的对应关系；以及

分别以各指标特征向量为输入值，以对应的可处理会话数为输出值，重新对预测模型进行训练求解，得到服务器在不同的性能指标下可处理会话数的新计算方法。

8.如权利要求1所述的方法，还包括：

定期刷新各服务器的负载分担权重，并根据当前各服务器的负载分担权重对新来的会话进行流量分发。

9.如权利要求1所述的方法，其中，所述负载均衡设备中存储有流表数据库，所述根据各服务器的负载分担权重进行相应的流量分发的步骤包括：

当会话的第一个报文到达时，根据各服务器的负载分担权重将该会话分发给相应的服务器，并将该会话的会话五元组和所分配的服务器存入到流表数据库中；

根据会话五元组判断该会话的其他后续流量，并不再对该后续流量进行负载分担计算，而直接将其分发给第一个报文所分配的服务器；以及

当该会话已处理结束后，从所述流表数据库中删除该会话的会话五元组和所分配的服务器。

10.如权利要求1所述的方法，其中，所述定期收集各服务器的当前性能指标，并分别将其构建为指标特征向量的步骤包括：

根据各服务器的当前性能指标计算其剩余性能指标，并分别将各剩余性能指标构建为指标特征向量。

11.如权利要求7所述的方法，其中，所述预定时间间隔为10ms，所述平均会话响应时间的指标阈值为1s，所述预设时长为1小时，所述预设阈值为30％，所述固定速率为每秒钟分配10万个会话。

12.一种负载均衡设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1-11所述方法中的任一方法的指令。

13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当移动终端执行时，使得所述计算设备执行如权利要求1-11所述的方法中的任一方法。

14.一种负载均衡系统，包括：

如权利要求12所述的负载均衡设备，以及

与所述负载均衡设备通信连接的多个服务器。