CN102316133B - 一种负载均衡方法及装置 - Google Patents

Abstract

本发明公开了一种负载均衡方法及装置，包括：确定各服务器处理服务请求的响应时间，以及与每个服务器分别对应的已分配待发送的请求数据包数量；并根据响应时间和该请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器；以及将待分配的请求数据包分配给确定出的该若干个服务器之一。采用本发明实施例提供的方法及装置，实现了更有效的负载均衡，提高了服务器处理服务请求的效率，进而提高了系统的服务请求处理的性能。

Description

一种负载均衡方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种负载均衡方法及装置。

背景技术

目前通信技术领域中，对于处理服务请求的多个服务器之间进行负载均衡时，一般采用如下方法：

轮询均衡：

将来自网络的服务请求轮流分配给参与处理的多个服务器。此种均衡方法适合于服务器组中的所有服务器都具有相同的软硬件配置并且平均服务请求相对均衡的情况。

权重轮循均衡：

根据服务器的处理能力不同，给每个服务器分配不同的权值，并根据各服务器的权值将服务请求分配给各服务器。例如：服务器A的权值是1，服务器B的权值是3，服务器C的权值是6，则将分别分配给服务器A、B、C 10％、30％和60％的服务请求。此种均衡方法能确保高性能的服务器分配到更多的服务请求，避免低性能的服务器负载过重。

随机均衡：

将来自网络的服务请求随机分配给参与处理的多个服务器。

权重随机均衡：

此种均衡方法类似于权重轮循方法，区别在于进行服务请求分配时是随机选择的过程。

最少连接数均衡：

客户端的每一次服务请求在服务器停留的时间可能会有较大的差异，随着工作时间加长，如果采用简单的轮循均衡或随机均衡方法，每一台服务器上的连接进程可能会产生极大的不同，并没有达到真正的负载均衡。最少连接数均衡方法对应每一台服务器都有一个记录数据，记录当前该服务器正在处理的连接数的数量，当有新的服务连接请求时，将把当前服务连接请求分配给连接数最少的服务器，使均衡更加符合实际情况，负载更加均衡。此种均衡方法一般适合长时间处理的服务请求，如FTP。

对于上述现有的一些负载均衡策略来说，一定程度上可以满足一些场合的应用需求，但是并不能很好的解决如下问题：

对于最少连接数均衡方法而言，由于有的业务系统是连接数不多，但服务请求较大，对于这类系统，采用最少连接数均衡方法并不能从根本上实现负载均衡。

对于其他均衡方法而言，在进行服务请求的分配时，并不清楚每个服务器当前的实际负载情况，而当由于某些原因使得服务器处理性能降低导致负载过重时，如果仍然按预定策略进行服务请求的分配，将会加重该服务器的负载，降低了整个系统的服务请求处理的性能。

发明内容

本发明实施例提供一种负载均衡方法及装置，用以提高服务器处理服务请求的效率，进而提高系统的服务请求处理的性能。

本发明实施例提供一种负载均衡方法，包括：

确定各服务器处理服务请求的响应时间，以及与各服务器对应的已分配待发送的请求数据包数量；

根据所述响应时间和所述请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器；

将待分配的请求数据包分配给确定出的该若干个服务器之一。

本发明实施例还提供一种负载均衡装置，包括：

第一确定单元，用于确定各服务器处理服务请求的响应时间，以及与各服务器对应的已分配待发送的请求数据包数量；

第二确定单元，用于根据所述响应时间和所述请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器；

分配单元，用于将待分配的请求数据包分配给确定出的该若干个服务器之一。

本发明实施例提供的方法中，在确定各服务器的当前处理能力时，参考了各服务器处理服务请求的响应时间以及已分配待发送的请求数据包数量，由于响应时间反应了服务器对已处理的服务请求的处理能力，已分配待发送的请求数据包数量表征了服务器将要处理的服务请求量的情况，所以，将响应时间和请求数据包数量两个信息相结合可以表征出服务器当前处理能力的强弱，进而将待分配的请求数据包分配给当前处理能力从强到弱的前若干个服务器之一，即实现了更有效的负载均衡，提高了服务器处理服务请求的效率，进而提高了系统的服务请求处理的性能。

附图说明

图1为本发明实施例提供的负载均衡方法的流程图；

图2为本发明实施例一提供的负载均衡方法的流程图；

图3为本发明实施例二提供的负载均衡装置的结构示意图；

图4为采用本发明实施例提供的负载均衡方法及装置的计费系统的机构示意图。

具体实施方式

为了给出提高服务器处理服务请求的效率，进而提高系统的服务请求处理的性能的实现方案，本发明实施例提供了一种负载均衡方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种负载均衡方法，如图1所示，包括：

步骤S101、确定各服务器处理服务请求的响应时间，以及与每个服务器分别对应的已分配待发送的请求数据包数量。

步骤S102、根据响应时间和该请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器。

步骤S103、将待分配的请求数据包分配给确定出的该若干个服务器之一。

下面结合附图，用具体实施例对本发明提供的方法及装置进行详细描述。

实施例一：

图2为本发明实施例一提供的负载均衡方法的流程图，包括：

步骤S201、确定各服务器处理服务请求的响应时间，该响应时间可以为服务器处理每个服务请求的时间，可以在发送请求数据包给服务器时记录发送时间，在接收到服务器返回的该请求数据包的处理响应结果时记录接收时间，该接收时间与该发送时间的差值即为该服务器对该请求数据包进行处理的响应时间。

本方案中对于参与服务请求处理的每个服务器，均可以实时的检测其处理每个服务请求的响应时间；由于实时监测每个服务请求的响应时间将利用系统更多的处理资源，较佳的，为便于方案实现时提高系统性能，可以周期性的检测每个服务器的响应时间，例如，在时间扫描周期到达时，确定出每个服务器接下来处理的服务请求的响应时间。

步骤S202、当有请求数据包需要分配时，确定每个服务器对应的已分配待发送的请求数据包数量，具体可以从对应每个服务器的请求数据包发送缓存中获取。

步骤S203、根据确定的每个服务器的响应时间和对应的发送缓存中的请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器；具体可以根据响应时间和该请求数据包数量确定出表征服务器当前处理能力强弱的能力检测值，然后依据对应每个服务器确定出的检测值判断出当前处理能力从强到弱的前若干个服务器；较佳的，可以确定出当前处理能力最强的服务器。

如果响应时间是实时检测的处理每个请求数据包的响应时间，则此时根据最近一次确定的响应时间确定服务器当前处理能力的强弱；如果响应时间是每个时间扫描周期确定一次，则在当前时间扫描周期内进行请求数据包的分配时，都根据当前时间扫描周期到达时确定的响应时间确定服务器当前处理能力的强弱。

本发明实施例中提供如下具体的确定方式：

方式一：对于每个服务器，确定出其响应时间与其对应的该请求数据包数量的乘积值；由于响应时间反应了服务器对已处理的服务请求的处理能力，已分配待发送的请求数据包数量表征了服务器将要处理的服务请求量的情况，所以，该乘积值表征了服务器的当前处理能力，且响应时间越短表示服务器的处理能力越强，该请求数据包数量越少表示服务器将要处理的服务请求量越少，则该乘积值表征了服务器接下来处理已分配的服务请求所需要的时间，因此，该乘积值越小表征该服务器的当前处理能力越强，即根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器，其中乘积值最小所对应的服务器为当前处理能力最强的服务器。

方式二：与方式一不同的是，方式二中响应时间包括当次响应时间和上次响应时间：如果响应时间是实时检测的处理每个请求数据包的响应时间，则当次响应时间为最近一次确定的处理服务请求的响应时间，上次响应时间为最近一次的上一次确定的处理服务请求的响应时间；如果响应时间是每个时间扫描周期确定一次，则当次响应时间为在当前时间扫描周期到达时确定的处理服务请求的响应时间，上次响应时间为在上一个时间扫描周期到达时确定的处理服务请求的响应时间。

对于每个服务器，首先确定出该服务器的当次处理服务请求的响应时间减去该服务器上次处理服务请求的响应时间的差值，该差值表征了服务器对服务请求的处理能力的变化趋势，差值为正表示处理能力变弱，差值为负表示处理能力变强，且差值越小表示处理能力变强程度越大，差值越大表示处理能力变弱程度越大；

然后将该差值与该服务器的当次处理服务请求的响应时间进行加权求和，得到综合响应时间；该综合响应时间既参考了服务器对已处理的服务请求的处理能力，还参考了服务器处理能力的变化趋势，所以，该综合响应时间与当次响应时间相比，更能反应服务器的当前处理能力；

再确定出该综合响应时间与服务器对应的已分配待发送的请求数据包数量的乘积值；由于该综合响应时间越短表示服务器的处理能力越强，该请求数据包数量越少表示服务器将要处理的服务请求量越少，且该乘积值表征了服务器接下来处理已分配的服务请求所需要的时间，因此，该乘积值越小表征该服务器的当前处理能力越强，即根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器，其中乘积值最小所对应的服务器为当前处理能力最强的服务器。

在上述方式二中，对于进行首次服务器确定时所依据的上次响应时间，可以针对具体的系统和服务器的自身特性，根据实际需要和经验值确定初始值。

上述方式二中，还可以使用上次确定的综合响应时间作为上次响应时间。

本步骤中，在确定出各服务器中当前处理能力从强到弱的前若干个服务器之前，还可以对于每个服务器，判断其数据包发送缓存中的请求数据包数量与设定数量阈值的大小关系，当大于设定数量阈值时，表示已分配该服务器过量的服务请求，所以排除该服务器，在剩余的各服务器中确定出当前处理能力从强到弱的前若干个服务器。

步骤204、将待分配的请求数据包分配给确定出的该若干个服务器之一；如果确定出的该若干个服务器为能力最强的服务器，即分配给确定出的该服务器。

如果是实时的检测服务器的响应时间，则进入步骤S201；如果是周期性检测服务器的响应时间，则进入步骤S205。

步骤S205、判断时间扫描周期是否到达，如果是，则进入步骤S201；否则，进入步骤S202。

在本发明上述实施例一中，还可以给每个服务器发送心跳信息，用于检测每个服务器的网络连接是否正常，在不正常时从各服务器中排除该服务器。

下面通过表1对采用上述实施例一提供的负载均衡方法分配请求数据包的结果进行描述：

表1：

请求数据包序号	服务器1(检测值)	服务器2(检测值)	服务器3(检测值)
				1	3
2		4
				3			5
4	6
				5		8
6			10
				7	9
8		12
				9	12
10			15
				11	15

如表1中所示，将分配序号1-11的请求数据包给服务器1-3，假定在一个时间扫描周期到达时，对于服务器1-3分别对应确定出的综合响应时间为3s、4s和5s，且在分配请求数据包1之前，每个服务器的请求数据包发送缓存中已分配待发送的请求数据包数量为0，且在序号1-11的请求数据包分配过程中，每个服务器的发送缓存中没有请求数据包发送出去，则对于请求数据包1-3可以按照综合响应时间从小到大的顺序依次分配给服务器1、服务器2和服务器3；然后在分配请求数据包4时，服务器1-3对应检测值分别为3、4和5，则将请求数据包4分配给检测值最小的服务器1；然后在分配请求数据包5时，服务器1-3对应检测值分别为6、4和5，则将请求数据包5分配给检测值最小的服务器2；然后依此类推，如表1中所示，将请求数据包6-11分别依次对应分配给服务器3、服务器1、服务器2、服务器1、服务器3和服务器1。

由于本发明上述实施例一提供的负载均衡方法中，参考了各服务器的响应时间以及已分配待发送的请求数据包数量，由于响应时间反应了服务器对已处理的服务请求的处理能力，已分配待发送的请求数据包数量表征了服务器将要处理的服务请求量的情况，所以，将响应时间和请求数据包数量两个信息相结合可以表征出服务器的当前负载状况，也就表征了服务器的当前处理能力的强弱，进而将待分配的请求数据包分配给当前处理能力从强到弱的前若干个服务器之一，即实现了更有效的负载均衡，提高了服务器处理服务请求的效率，进而提高了系统的服务请求处理的性能。

实施例二：

基于同一发明构思，根据本发明上述实施例一提供的负载均衡方法，相应地，本发明另一实施例二还提供了一种负载均衡装置，其结构示意图如图3所示，包括：

第一确定单元301，用于确定各服务器处理服务请求的响应时间，以及与各服务器对应的已分配待发送的请求数据包数量；

第二确定单元302，用于根据响应时间和该请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器；

分配单元303，用于将待分配的请求数据包分配给确定出的该若干个服务器之一。

较佳的，第二确定单元302，具体用于根据各服务器对应的该请求数据包数量，在各服务器中排除该请求数据包数量大于设定数量阈值的服务器；

在排除后剩余的各服务器中，根据各服务器对应的响应时间和请求数据包数量，确定出当前处理能力从强到弱的前若干个服务器。

较佳的，第二确定单元302，具体用于对于每个服务器，确定该服务器处理服务请求的响应时间与该服务器对应的已分配待发送的请求数据包数量的乘积值；并根据确定出每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器。

较佳的，第一确定单元301，具体用于确定各服务器的当次响应时间和上次响应时间；

第二确定单元302，具体用于对于每个服务器，确定出该服务器的当次处理服务请求的响应时间减去该服务器上次处理服务请求的响应时间的差值；并将该差值与该服务器的当次处理服务请求的响应时间进行加权求和，得到综合响应时间；并确定该综合响应时间与该服务器对应的已分配待发送的请求数据包数量的乘积值；以及根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器。

较佳的，第一确定单元301，具体用于确定各服务器的上次响应时间为上次确定的该综合响应时间。

较佳的，第一确定单元301，具体用于在时间扫描周期到达时，确定各服务器处理服务请求的响应时间；

第二确定单元302，具体用于在当前时间扫描周期内，根据当前时间周期到达时确定的各服务器的响应时间和该请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器。

对于本发明上述实施例一和二提供的负载均衡方法及装置，可以应用于现有通信领域的计费系统中，由于目前计费系统存在连接数并不是很多，但服务请求量很大的特点，所以采用本发明上述实施例一和二提供的负载均衡方法及装置，相比现有技术，能够获得更好的效果。

图4所示为计费系统的结构示意图，其中，网元设备401接收客户端的计费请求，并将计费请求转发给用于计费请求分配的前置机402；前置机402即相当于本发明实施例提供的上述负载均衡装置，其实时接收网元设备401发送来的各种计费请求，将其解码后转化为内部话单格式，生成计费请求数据包，采用本发明实施例提供的上述负载均衡方法，将待分配的计费请求数据包分配各实时计费引擎403；实时计费引擎403即相当于本发明实施例中的处理服务请求的服务器，接收前置机402发送的计费请求数据包，根据设定计费策略和模型等相关信息处理该计费请求数据包，并将处理将诶过返回前置机401；前置备用机404则用于在前置机402故障时，代替前置机402实现计费请求的处理。

综上所述，本发明实施例提供的方案，包括：确定各服务器处理服务请求的响应时间，以及与每个服务器分别对应的已分配待发送的请求数据包数量；并根据响应时间和该请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器；以及将待分配的请求数据包分配给确定出的该若干个服务器之一。采用本发明实施例提供的方案，实现了更有效的负载均衡，提高了服务器处理服务请求的效率，进而提高了系统的服务请求处理的性能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种负载均衡方法，其特征在于，包括：

确定各服务器处理服务请求的响应时间，以及与各服务器对应的已分配待发送的请求数据包数量，所述响应时间包括当次响应时间和上次响应时间；

根据各服务器对应的所述请求数据包数量，在各服务器中排除所述请求数据包数量大于设定数量阈值的服务器；

在排除后剩余的各服务器中，对于每个服务器，确定出该服务器的当次处理服务请求的响应时间减去该服务器的上次处理服务请求的响应时间的差值；并

将所述差值与该服务器的当次处理服务请求的响应时间进行加权求和，得到综合响应时间；并

确定所述综合响应时间与该服务器对应的已分配待发送的请求数据包数量的乘积值；

根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器；

将待分配的请求数据包分配给确定出的该若干个服务器之一。

2.如权利要求1所述的方法，其特征在于，确定出各服务器中当前处理能力从强到弱的前若干个服务器，具体包括：

对于每个服务器，确定该服务器处理服务请求的响应时间与该服务器对应的已分配待发送的请求数据包数量的乘积值；

根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器。

3.如权利要求1所述的方法，其特征在于，所述上次响应时间为上次确定的所述综合响应时间。

4.如权利要求1所述的方法，其特征在于，在时间扫描周期到达时，确定各服务器处理服务请求的响应时间；

并在当前时间扫描周期内，根据当前时间周期到达时确定的各服务器的响应时间和所述请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器。

5.一种负载均衡装置，其特征在于，包括：

第一确定单元，用于确定各服务器处理服务请求的响应时间，以及与各服务器对应的已分配待发送的请求数据包数量，所述响应时间包括当次响应时间和上次响应时间；

第二确定单元，用于根据各服务器对应的所述请求数据包数量，在各服务器中排除所述请求数据包数量大于设定数量阈值的服务器；

在排除后剩余的各服务器中，对于每个服务器，确定出该服务器的当次处理服务请求的响应时间减去该服务器的上次处理服务请求的响应时间的差值；并

将所述差值与该服务器的当次处理服务请求的响应时间进行加权求和，得到综合响应时间；并

确定所述综合响应时间与该服务器对应的已分配待发送的请求数据包数量的乘积值；

根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器；

分配单元，用于将待分配的请求数据包分配给确定出的该若干个服务器之一。

6.如权利要求5所述的装置，其特征在于，所述第二确定单元，具体用于对于每个服务器，确定该服务器处理服务请求的响应时间与该服务器对应的已分配待发送的请求数据包数量的乘积值；并根据确定出的每个服务器对应的乘积值，确定乘积值从小到大的前若干个乘积值分别所对应的服务器为当前处理能力从强到弱的前若干个服务器。

7.如权利要求5所述的装置，其特征在于，所述第一确定单元，具体用于确定各服务器的上次响应时间为上次确定的所述综合响应时间。

8.如权利要求5所述的装置，其特征在于，所述第一确定单元，具体用于在时间扫描周期到达时，确定各服务器处理服务请求的响应时间；

所述第二确定单元，具体用于在当前时间扫描周期内，根据当前时间周期到达时确定的各服务器的响应时间和所述请求数据包数量，确定出各服务器中当前处理能力从强到弱的前若干个服务器。