CN101803340A - 用于平衡信息负载的系统和方法 - Google Patents

Abstract

提供了一种用于在系统中路由数据的系统和方法。该方法包括：确定初始固定的分配模式，至少基于当前系统使用量和最大可能的系统使用来确定队列参数，基于应用中的消息已等待其处理的时间来确定时间参数，至少基于该时间参数和队列参数来确定负载参数，以及至少基于该负载参数来修改分配模式。

Description

用于平衡信息负载的系统和方法

要求优先权

本申请要求于2007年2月20日提交的美国专利申请No.11/707,870的优先权，通过引用将该申请全部内容合并于此。

技术领域

本发明涉及动态负载平衡和节流机制。更具体地，本发明涉及由实时影响负载平衡算法的目标应用报告的负载因数。

背景技术

企业服务总线(ESB)中的负载平衡需要两个特征：目的地和路由。路由能将通信分配到数个目的地。ESB设置允许向路由所针对的目的地指配负载平衡权重。例如，对于给定路由，可以用6和4分别对两个目的地进行加权。基于该加权，60％的通信量将被路由到第一目的地，并且40％被路由到另一个。这种类型的负载平衡被称为静态负载平衡。这种静态负载平衡不满足底层系统的需求。

发明内容

根据本发明的实施例，提供了一种在系统中路由数据的方法。该方法包括：确定初始固定的分配模式；至少基于当前系统使用量和最大可能的系统使用来确定队列参数；基于应用中的消息已等待其处理的时间来确定时间参数；至少基于该时间参数和队列参数来确定负载参数；以及至少基于该负载参数来修改分配模式。

以上实施例可以具有多个可选特征。所述确定时间参数、确定负载参数和修改可以是递归的。该修改可以基本上实时地对系统中的变化作出响应。该方法可以在系统过载时段期间忽略匹配预定标准的消息。该方法可以依赖于Bresenham画线算法来基本上实时地计算消息的分配。该修改可以进一步包括应用下列公式：

$N_i\≤k\frac{w_i}{\mathrm{\Σ}{w}_i}$

其中k是ESB已接收到的消息的数目，N_i是已经发送到目的地i的消息的数目，以及W_i是目的地i的权重。

确定以上特征中的队列参数可以包括应用下列公式：

LFq＝QUP/HLFM

其中LFq是初始队列负载因数，HLFM是队列可以处理的消息的最大数目的预设百分比，以及QUP表示与队列容量相比的队列中的消息数目。队列参数可以基于初始负载因数。确定队列参数可以包括当初始负载因数处于特定范围内时将队列参数设置为初始负载因数，当初始负载因数低于特定范围时将队列参数设置为预定值，以及/或者至少基于当初始负载因数高于特定范围时将队列参数设置为预定值。

确定以上特征中的时间参数包括应用下列公式：

LFet＝(ATT-TTT)/TTS

其中ATT是基于由应用所计算的平均事务时间而计算得到的，事务时间阈值是预定最小时间，以及事务时间级(scale)是定义负载因数对事务时间的增长反应快慢的可配置参数。时间参数可以基于初始存在时间因数。确定时间参数可以包括：当初始存在时间因数处于特定范围内时将时间参数设置为初始存在时间因数，以及/或者当初始存在时间因数低于特定范围时将时间参数设置为预定值。修改可以至少基于时间参数和队列参数的组合，或者时间参数和队列参数的加权组合。

根据本发明的另一实施例，提供了一种用于在系统中路由数据的方法。该方法包括：确定初始分配模式，确定对列参数，确定时间参数，基于时间参数和队列参数的组合来确定负载参数；以及基于如下公式修改该分配模式：

Wd(i)＝Ws(i)(1-LF(i))

其中Ws(i)是由初始分配模式设置的用于路由中特定目的地P(i)的权重，LF(i)是用于特定目的地的负载参数，以及Wd(i)是用于修正分配模式的更新的权重。

以上实施例可以包括多个可选特征。负载参数可以至少基于时间参数和队列参数的组合，或者至少基于时间参数和队列参数的加权组合。该方法可以进一步包括确定系统过载的时段，以及在此时段期间忽略匹配预定标准的消息。该方法可以依赖于Bresenham画线算法来基本实时地计算消息的分配。修改可以进一步包括应用下列公式：

$N_i\≤k\frac{w_i}{\mathrm{\Σ}{w}_i}$

其中k是ESB已接收到的消息数目，Ni是已发送到目的地i的消息数目，以及W_i是目的地i的权重。

通过阅览本公开内容和附图可以确定本发明的其他示例性实施例和优点。

附图说明

参照注解的多个附图，通过本发明特定实施例的非限制性示例方式，在接下来的详细详述中进一步说明了本发明，在所有附图中相同的附图标记代表相同的元件，其中：

图1是本发明具有相等负载因数的实施例的概述；

图2是本发明具有不相等负载因数的实施例的概述；以及

图3是显示图2中实施例的消息分配的图。

具体实施方式

仅通过示例并且出于对本发明实施例的说明性讨论的目的示出这里所示的细节，并出于提供被认为是对本发明原理和概念方面最有用的和最易理解的描述的原因而呈现这些细节。在这一点上，没有尝试去显示比基本理解本发明所需的更多的结构细节，该描述结合附图使得本领域技术人员清楚本发明若干形式如何在实践中具体化。

动态负载平衡需要基于在目的地处的目标站点的行为来改变静态负载平衡的分配。目标站点和网络实时交换表示目标站点处的负载演进的负载因数。该负载因数用来更新分配权重。尽管该优选实施例的负载平衡方法同样适用于其他环境，但是优先地被实现为企业服务总线(ESB)的一部分。

优选地，存在负载因数更新的某个最小速率。通过非限制性示例，可将两次负载因数交换之间的最小时间设置为1秒。可以通过基本上实时的负载因数的对应更新来选择任何适当的最小时间。只要ESB没接收到新的负载因数，就假设负载因数保持不变。

给定应用的负载因数影响路由中对应目的地(Pi)的静态权重Ws(i)。如果负载因数被认为是介于0与1之间的值(或对应百分比)，那么用于目的地的动态权重Wd(i)将是：

Wd(i)＝Ws(i)(1-LF(i))

有时目标站点也许会过载(LF(i)＝1)，使得其不发送负载因数更新。ESB将因此不接收消息，直到负载因数降低，而不管其静态权重是什么。如果未发送消息，则不管有没有使用动态负载平衡，整个路由算法都因此保持相同。每次当负载因数被更新时，可以使用更有效的基于Bresenham的算法来避免繁琐的浮点计算。

优选地，在应用侧并且至少基于以下两个标准来计算负载因数：(1)排队等待被处理的消息数目，以及(2)平均存在时间。这两个子因数的权重可以被配置用于计算全局节点负载因数。

基于等待被处理的消息数目来计算第一因数。对于该计算，“高负载因数水印(watermark)”是用户或者操作者定义的队列能够处理的消息的最大数目的预设百分比，并且“队列使用百分比”表示与队列容量相比的队列中的消息的数目。

初始队列负载因数被相应地计算如下：

LFq＝QUP/HLFM

其中：

LFq是初始队列负载因数；

QUP是队列使用百分比；以及

HLFM是高负载因数水印。

在大多情况下，初始队列负载因数将是最终的队列负载因数。然而，优选地，存在例外，特别是对于LFq来说，接近可能值的上限和下限时。两个这样的例外如下：

·当初始LFq低于最小百分比时，最终的LFq被设置为最小值。最小百分比的非限制性示例是10％，并且最小值为0。

·当QUP＝HLF时，那么LFq达到其最大值。如果初始LFq在随后的处理期间仍然比最大百分比大，那么最终的LFq被设置为最大值(如

QUP＝HLFM一样)。最大百分比的非限制性示例是95％并且最大值为1。

可以使用任何适当值和/或百分比。该设置可以针对单个事件，迭代地直到条件缓和(例如：LFq保持在最大值直到其降低到最大百分比以下)，或者用于固定数目的迭代。该百分比和值可以是固定或者可变的。

这里被称为存在时间负载因数的第二因数，表示在应用中由消息花费的用于其处理的时间。优选地，每次当消息被处理时根据下面的公式更新该第二因数：

LFet＝(ATT-TTT)/TTS

其中：

LFet是存在时间因数；

平均事务时间(ATT)是由应用所计算的平均(优选地在2秒积分时段上)事务时间(介于接收到消息查询和回复消息之间的时间)；

事务时间阈值(TTT)是用户或者操作者定义的预设最小时间；以及

事务时间级(TTS)是定义负载因数对事务时间的增长反应快慢的可配置参数。

如果ATT小于TTT，那么负载因数被设置为最小值。该值优先为0。

基于上述计算，总负载因数由下面的公式给出：

LF＝WqLfq+Wet LFet

Wq和Wet是允许系统定制的可定制权重(乘法因数)。可应用任何权重，包括权重为1。

优选地，针对被处理的每个消息更新负载因数，并且在返回回复消息时将该负载因数报告给ESB。

现在参考图1，ESB 110具有一个或者多个用于负载平衡的路由器120(这里被统一称为“路由器”)。该路由器管理一个或者多个路由，其中每个路由处理一个或多个目的地。该路由器基于待分配的消息选择路由，并且然后应用负载平衡算法方法。

每次当必须在路由上发送消息时，路由器110基于决策变量而针对第一符合条件的目的地发送消息。如果没有为所选择的目的地建立网络连接，那么算法持续循环直到其找到连接的目的地；如果仍然没找到目的地，那么ESB 110以错误消息回复，该错误消息指示不可到达任何目的地。

与路由相关联的每一个目的地都具有由配置静态设置的权重。默认地，等于0的负载因数与每一个静态权重相关联。动态权重是静态权重乘以(1-负载因数)。该负载因数是使用这里说明的方法计算而得的。

每个目的地与决策变量相关联以确定该目的地是否符合发送消息的条件。基于权重的重新分配，该决策变量优选地是已被发送到该目的地的消息数目减去理论上应该被发送的消息数目；仅当该差值为负时，才可将消息发送到目的地。

图1-3中显示了本发明实施例的操作示例。在每种情况下，路由由一组目的地组成，并且权重影响路由的每个目的地的通信流。在实施例中，路由R1所到达的应用分布在三个节点A，B和C上。所以在ESB侧，路由R1包含三个到达三个应用节点的目的地。在每个节点上计算(上面讨论的LF＝WqLfq+Wet LFet)的负载因数被报告给ESB，这影响指配到每个目的地的权重。因为在该示例中负载因数是零，因此相等的权重W被指配给单独的目的地节点，如下：

目的地A：Wa＝10

目的地B：Wb＝10

目的地C：Wc＝10

基于上述权重和如下公式，消息被分配到各节点：

$N_i\≤k\frac{w_i}{\mathrm{\Σ}{w}_i}$

其中：

其中k是ESB已接收到的消息数目(大致与时间相对应)；

N_i是已发送到目的地I的消息数目；

以及W_i是目的地i的权重。

该等式的应用确保已发送到目的地I的消息数目不超过理论值，与该目的地的权重成比例。在这种情况下，目的地的相等权重建立针对每个目的地节点的相等的消息分配(比如，33％)。

现在参照图2，消息在与节点相关联的多个队列中积聚导致多个负载因数的对应变化。图2显示了节点A、B和C的负载因数分别从0增加到0.5、0.7和0.9的示例。不同目的地的权重的该变化如下：

目的地A：Wa＝10x(1-0.5)＝5

目的地B：Wb＝10x(1-0.7)＝3

目的地C：Wc＝10x(1-0.9)＝1

基于这些权重，56％(5/9)的消息必须被发送到节点A，33％(3/9)的消息必须被发送到节点B，以及11％(1/9)的消息必须被发送到节点C。图3显示了结果分布。

图3中三条斜线表示针对每个目的地的理论消息流。

三条阶跃曲线表示实际流(每一阶对应于消息被发送到目的地)。因此作为结果的负载平衡方法近似阶跃曲线的线。这允许Bresenham算法用于通过整数而不是浮点数来执行快速计算。

上述方法的可选特征是节流，其中在整个应用过载时忽略低优先级的消息。例如，如果路由的所有目的地的负载因数超出给定的负载因数阈值，则匹配某些标准(例如服务类型或创建者)的所有消息被丢弃。

应当注意，仅出于解释的目的提供了先前的示例，并且这些示例绝不应被解释成对本发明的限制。尽管参照某些实施例描述了本发明，但应当理解的是这里使用的词语是描述性和解释性的词语，而不是限定性的词语。在不偏离本发明在其各方面的范围和精神的前提下，可以在如所修改的和当前说明的所附权利要求的范围内进行改变。尽管参照具体装置、材料和实施例在此描述了本发明，但本发明并不旨在限于这里公开的细节；相反，本发明扩展到诸如落入所附权利要求范围内的所有功能等同结构、方法和使用。

Claims (23)

1.一种用于在系统中路由数据的方法，包括：

确定初始的固定分配模式；

至少基于当前系统使用量和最大可能的系统使用来确定队列参数；

基于应用中的消息已等待其处理的时间来确定时间参数；

至少基于所述时间参数和所述队列参数来确定负载参数；以及

至少基于所述负载参数来修改所述分配模式。

2.如权利要求1所述的方法，其中所述确定队列参数、所述确定时间参数、所述确定负载参数以及所述修改是递归的。

3.如权利要求1所述的方法，其中所述修改是在基本上实时的基础上对所述系统中的变化的响应。

4.如权利要求1所述的方法，进一步包括在系统过载时段期间忽略匹配预定标准的消息。

5.如权利要求1所述的方法，其中所述确定队列参数包括应用下列公式：

LFq＝QUP/HLFM

其中：

LFq是初始队列负载因数；

HLFM是队列能够处理的消息的最大数目的预设百分比；

QUP表示与队列容量相比的队列中的消息数目。

6.如权利要求5所述的方法，其中所述队列参数基于所述初始负载因数。

7.如权利要求5所述的方法，其中所述确定队列参数包括当所述初始负载因数处于特定范围内时将所述队列参数设置为所述初始队列负载因数。

8.如权利要求5所述的方法，其中所述确定队列参数包括当所述初始负载因数低于特定范围时将所述队列参数设置为预定值。

9.如权利要求5所述的方法，其中所述确定队列参数包括至少基于当所述初始负载因数高于特定范围时将所述队列参数设置为预定值。

10.如权利要求1所述的方法，其中所述确定所述时间参数包括应用下列公式：

LFet＝(ATT-TTT)/TTS

其中：

ATT是基于由应用所计算的平均事务时间而计算得到的；

TTT是预定最小时间；以及

TTS是定义所述负载因数对事务时间的增长反应快慢的可配置参数。

11.如权利要求10所述的方法，其中所述时间参数基于所述初始存在时间因数。

12.如权利要求5所述的方法，其中所述确定时间参数包括当所述初始存在时间因数处于特定范围内时将所述时间参数设置为所述初始存在时间因数。

13.如权利要求5所述的方法，其中所述确定时间参数包括当所述初始存在时间因数低于特定范围时将所述时间参数设置为预定值。

14.如权利要求1所述的方法，其中所述修改至少基于所述时间参数和所述队列参数的组合。

15.如权利要求1所述的方法，其中所述修改至少基于所述时间参数和所述队列参数的加权组合。

16.一种用于在系统中路由数据的方法，包括：

确定初始分配模式；

确定队列参数；

确定时间参数；

基于所述时间参数和所述队列参数的组合来确定负载参数；以及

基于如下公式来修改所述分配模式：

Wd(i)＝Ws(i)(1-LF(i))

其中：

Ws(i)是由所述初始分配模式设置的用于路由中特定目的地P(i)的权重；

LF(i)是用于特定目的地的负载参数；以及

Wd(i)是用于修正所述分配模式的更新的权重。

17.如权利要求16所述的方法，其中所述负载参数至少基于所述时间参数和所述队列参数的组合。

18.如权利要求16所述的方法，其中所述负载参数至少基于所述时间参数和所述队列参数的加权组合。

19.如权利要求16所述的方法，进一步包括：

确定系统过载的时段；以及

在所述时段期间忽略匹配预定标准的消息。

20.如权利要求1所述的方法，其中所述方法依赖于Bresenham画线算法来基本上实时地计算消息的分配。

21.如权利要求16所述的方法，其中所述方法依赖于Bresenham画线算法来基本上实时地计算消息的分配。

22.如权利要求1所述的方法，其中所述修改进一步包括应用下列公式：

$N_i\≤k\frac{w_i}{\mathrm{\Σ}{w}_i}$

其中k是ESB已接收到的消息数目，N_i是已发送到目的地i的消息数目，以及W_i是目的地i的权重。

23.如权利要求16所述的方法，其中所述修改进一步包括应用下列公式：

$N_i\≤k\frac{w_i}{\mathrm{\Σ}{w}_i}$

其中k是ESB已接收到的消息数目，N_i是已发送到目的地i的消息数目，以及W_i是目的地i的权重。

Images