CN101860486A - 一种基于漏桶算法的动态负载均衡机制 - Google Patents

Abstract

本发明提出了一种基于漏桶算法的动态负载均衡机制。该机制简单，易于实现，效率较高，利用网络处理器动态地反馈负载信息，实现发送到单板机上的数据流负载均衡。

Description

一种基于漏桶算法的动态负载均衡机制

技术领域

本发明属于通信技术领域，涉及一种基于漏桶算法的动态负载均衡机制。具体地说，利用网络处理器实现对于高层协议分析处理器的负载均衡功能，从而可以动态地反馈负载信息，实现发送到高层协议分析处理器上的数据流负载均衡。

背景技术

随着互联网业务数量和种类的不断发展，千兆高速网络的数据流量对网络监控系统的处理能力与计算强度提出了更高的要求，使得以往单一的设备无法完成大流量的信息分析任务。

采用网络处理器进行协议处理，可以满足高速率网络协议分析的需要，成为目前发展的一个方向。网络处理器是面向网络应用领域的特定应用指令处理器，是面向数据分组处理的、具有体系结构特征和特定电路的、软件可编程器件。它是一种专用于网络通信设备的通用芯片，其灵活的软件体系提供硬件级的处理性能是网络处理器的关键特性。在此软件结构上运行的主要有两种代码，微引擎代码(ME)和核代码(Core)。ME主要进行数据平面的快通道数据处理，实现高速数据包转发。Core主要完成与控制处理器相连，实现慢通道的异常数据包处理以及微引擎的管理与配置。

目前一个高容量的数据包过滤系统基于网络处理器的协议处理单元，以单板机作为高层协议分析处理器，利用先进电信运算架构的高性能，高集成度，在同一个机框中插入交换板，网络处理器板和服务器刀片从而实现数据包过滤功能。基于网络处理器的协议处理单元是该系统的一个子系统，在协议处理单元系统中，网络处理器负责所有数据的接收和发送，并进行底层协议的规则匹配过滤。对于需要进行高层协议分析、鉴权认证等的数据包需要交由单板机进行处理。系统中有多个单板机网元，为了能够均衡各个单板机的计算任务，充分利用系统计算和存储资源，减小任务执行时间，需要在单板机间进行有效的负载均衡。

负载均衡(Traffic Balancing)是指在一个集群系统中，通过一定的算法和逻辑，使得系统中的多个服务器或处理器能够获得与其处理能力相当的任务量，提高系统综合利用率，降低整体任务处理时间。负载均衡分为静态负载均衡和动态负载均衡两种。静态负载均衡是指提前知道任务和环境的各种数据，预先静态将任务量分配给相应的处理器，该方法实现简单，但不能跟踪系统状态变化，缺乏控制突发事件能力。动态负载均衡是指实时分析系统负载信息和处理器计算、存储等资源情况，动态地调度不同处理器间的任务量，实时轻载或重载，该方法能动态跟踪系统负载状态变化，实时调整，灵活有效利用系统资源。

基于状态检测的网络设备，一般只需要判断建立TCP连接的第一数据包。如果这个包是满足某种规则允许通过的，就为其分配一个高层协议分析的服务器转发，并将其所属的连接的所有数据包都发往上述指定的服务器而不进行规则匹配操作。这样如果能够使得高层的服务器在任意时刻所负担的连接数目与该服务器的处理能力成正比，那么整个系统的工作效率就可以处在一种很高的状态，处理数据包的速率也会达到最快。这样的过程就是基于连接的负载均衡过程。

图1表示了利用网络处理器实现的数据包过滤系统中负载均衡模块的位置和与各个模块的相互关系。负载均衡模块有两部分功能，即对于会话建立的SYN(同步字符，Synchronous character)包，分配一个负载最轻的SBC(单板机，single board compute)，以及对于所有的SBC，动态地监控目前的负载，是否过载以及负载的实时变化情况。

发明内容

本发明的目的是利用网络处理器实现的对于SBC的负载均衡。利用一种令牌桶算法来实现基于数据流的动态负载均衡过程，动态地反馈负载信息，实现发送到SBC上的数据流负载均衡。

为了实现上述目的，本发明的具体步骤如下：

第一步骤：初始化令牌桶。

由控制平面根据SBC下发的信息初始化令牌桶，即共有几个令牌桶，各个令牌桶包含多少令牌等信息。

本发明采用了动态负载均衡机制，网络处理器接收由SBC传来的消息，包括SBC是否过载，是否关闭，以及定期沟通心跳信息(即即时状态信息)。

如果接收到SBC的过载信息，就向数据平面的负载均衡模块发送过载的信息。数据平面收到过载信息，就将相应的令牌桶设置为过载状态，这时不能从该令牌桶中提取令牌，也不能查找它的令牌数的大小，但是可以回收令牌。

如果接收到SBC的关闭信息，就向数据平面的负载均衡模块发送关闭的信息。数据平面收到过载信息，就将相应的令牌桶设置为关闭状态，对应的令牌桶不可用。

如果接收到SBC的开启信息，就向数据平面的负载均衡模块发送开启的信息。数据平面收到开启信息，就将相应的令牌桶设置为正常状态，对应的令牌桶中填入下发的令牌值。

同时，设计SBC和网络处理器定期沟通心跳信息，如果没有收到心跳，认为该SBC已经关闭。进行与收到关闭信息相同的操作，关闭令牌桶。

第二步骤：根据任务的不同类型确定该任务所需要的令牌数。

实质上，这里所说的令牌数代表着该任务所需的资源，包括计算资源和存储资源，对于不同的处理任务和数据，所消耗的系统资源是不同的。

第三步骤：经过规则匹配，判断令牌桶组中是否有足够的令牌。

在此为不同的任务进行加权，分配不同的资源。数据平面每到来一个SYN包，先经过规则匹配，如果是需要计费的连接，则读取各个令牌桶的令牌数，找到令牌最多的那个。令牌的多寡决定了SBC处理能力的优劣。找到令牌最多的令牌桶，也就找到了目前处理能力最强的SBC。

为查找最大令牌数，算法设计为设定某一固定次数n，每n次使用后遍历一次所有令牌桶，找到令牌数最大的一个。此后每次到来的匹配规则的SYN包都从这个令牌桶中分配令牌值。使用n次以后，重新查找一次最大令牌数的令牌桶，记录其id(身份标识号，Identity)，重复上面的使用。实现设计采用一个全局寄存器来计算次数，每次更新最大值就将它清0。每次从该令牌桶中取出一个令牌时，就将计数器值减1，直至减到0，重新查找最大令牌值的令牌桶。

第四步骤：令牌回收。

记录令牌最多的SBC对应的sbc_id(单板机身份标识号，single boardcompute_Identity)，进行后续处理，同时，将该令牌桶中的令牌数减1。如果没有令牌可以使用，直接送至路由模块进行转发。

如果接收到了某个流的fin包，即标志着会话即将结束，应该回收相应的令牌桶中的令牌值。当数据平面的会话连接表匹配模块如果发现某个连接的状态转移到了closed状态，就向负载均衡模块发出回收令牌的请求。负载均衡模块受到如上的请求，则在相应的令牌桶中将令牌值加1。

还有一种情况，就是某个数据流发生了超时的现象。即某个连接的状态在指定时间内没有发生转移，这种情况会被两个平面的会话表匹配模块中的超时机制发现。如果发生这种情况，也就相当于某个连接已经关闭，发现超时的模块会给负载均衡模块发出如上的回收令牌请求，负载均衡模块回收相应的令牌。

附图说明

图1为包过滤系统中负载均衡功能的实现模块示意图。

图2为具体步骤示意图。

图3为漏桶负载均衡算法图。

图4为令牌获得与回收过程图。

具体实施方式

下面结合算法的实施过程对本发明作进一步的描述，但该实施过程不应理解为对本发明的限制。

本发明中负载均衡模块有两部分功能，即对于会话建立的SYN包，分配一个负载最轻的SBC，以及对于所有的SBC，动态地监控目前的负载，是否过载以及负载的实时变化情况。

根据网络处理器中微引擎的特性，一个微引擎(ME)有8个独立的线程，将两部分功能分到不同的线程中实现，充分利用网络处理器的并行处理能力，提高系统效率。同时，根据实际需要的不同，对于会话建立的SYN包，分配一个负载最轻的SBC的操作次数，要远多于对于所有的SBC，动态地监控目前负载的操作。因此，设计分配6个线程实现第一种功能，2个线程实现第二种功能。利用网络处理器自带的scratch存储器环来完成各个模块之间的通信工作。

每个令牌桶设置3个状态：NORMAL，OFF，OVERLOAD。NORMAL表明该SBC目前正常，可以被使用；OFF表明该SBC目前已经关闭，如果有新来开启的SBC，创建令牌桶时可以占用该条目；OVERLOAD表明该SBC目前处于过载状态，不可以使用，但是可以回收令牌。

前六个线程，循环读取从规则匹配到负载均衡的通信环，如果该环不为空，则利用其中存储的数据找到对应数据流起始包。查看计数器是否已经归零。如果没有，则将上一次使用的SBC信息直接应用到本数据流，同时，将对应的令牌桶中的令牌值减一。如果已经归零，则线性查找所有令牌桶，找到目前令牌数最大的令牌桶。将它对应的SBC信息，应用到该数据流，将对应的令牌数减一。如果每个令牌桶的令牌值都为零，说明已经没有可用的SBC了，系统阻塞到查找的位置循环查找，直到找到可用的SBC。

后两个线程，循环读取从其他模块载均衡的通信环。该环负责传送所有其他模块对于令牌桶的修改指令。包括：PUT，GET，START，RESUME，OVERLOAD，CONFIG。PUT表示要向指定的令牌桶中回收一个令牌；GET表明要从指定的令牌桶中获取一个令牌；START表示有个新的SBC已经开启；OVERLOAD表示某个SBC目前过载；RESUME表示某过载的SBC恢复正常；CONFIG用于系统刚刚启动时初始化各个令牌桶。读出指令后，按照相应的信息进行相应的处理。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅为本发明的较佳实施而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.本发明提供了一种基于漏桶算法的动态负载均衡机制，用于实现发送到高层协议分析处理器上的数据流负载均衡。

该机制包括以下步骤：

A)初始化令牌桶；

B)根据任务的不同类型确定该任务所需要的令牌数；

C)经过规则匹配，判断令牌桶组中是否有足够的令牌；

D)令牌回收。

2.根据权利要求1所述的方法，其特征在于，步骤A)进一步包括：由控制平面根据SBC(单板机，single board compute)下发的信息初始化令牌桶，即共有几个令牌桶，各个令牌桶包含多少令牌等信息；网络处理器接收由SBC传来的消息，包括SBC是否过载，是否关闭，以及定期沟通心跳信息(即即时状态信息)。

3.根据权利要求1所述的方法，其特征在于，步骤B)进一步包括：对于不同类型的任务确定所要需要的令牌数代表着该任务所需的资源，包括计算资源和存储资源。

4.根据权利要求1所述的方法，其特征在于，步骤C)进一步包括：不同的任务进行加权，分配不同的资源；数据平面每到来一个SYN(同步字符，Synchronous character)包，先经过规则匹配，找到目前处理能力最强的SBC。

5.根据权利要求1所述的方法，其特征在于，步骤D)进一步包括：记录令牌最多的SBC对应的sbc_id(单板机身份标识号，single board compute_Identity)，进行后续处理，同时，将该令牌桶中的令牌数减1；如果没有令牌可以使用，直接送至路由模块进行转发。

Images