CN101577705A - 一种多核并行的网络业务流负载均衡方法及其系统 - Google Patents

Abstract

本发明披露了一种网络业务流负载均衡方法及其系统，能够根据网络实际负载情况将网络业务流负载均衡分担到处理器的各个处理核心中。该系统和方法主要包括以下步骤：将网络中的数据包匹配到业务流中；依据业务流空间映射机制生成流记录，使业务流统一映射到ID空间中；根据网络负载情况，对业务流空间进行划分后，由调度核心把业务流负载调度到不同的处理核心。本方法利用出现的多核技术有效解决高速链路下数据包和业务流的并行处理调度需求。

Description

一种多核并行的网络业务流负载均衡方法及其系统

技术领域

本发明涉及一种网络业务流负载均衡方法及其系统。

背景技术

随着互联网用户数量、规模的急剧增长和网络带宽的不断增加，如何提高网络流量分析设备的性能适应当前高速链路发展的挑战，成为一个急需解决的重大问题。

目前所采用方法主要有：1.采用专用的业务流分析硬件平台：对数据包业务流匹配，数据包应用协议分析等业务。但是实现较为复杂，造价十分昂贵。同时，由于硬件结构固定，可扩展性差，无法适应当前复杂的网络情况。2.采用采样方法降低系统开销：在业务流处理中根据业务流的特点依照概率对业务流进行采样，以满足高速链路的性能需求。但是采用采样方法不可避免地丢失了数据包以及业务流的分析信息。这种信息的丢失对于某些业务来讲是致命的。

随着硬件技术的飞速发展，出现了具有多个处理核心的多核处理技术。多个处理核心同时共享缓存、存储空间、总线等资源，这使得多个处理核心并行计算成为可能；也为提升网络数据包处理性能提供了新的解决办法。

发明内容

本发明的目的在于利用出现的多核技术解决高速链路下数据包和业务流的并行处理调度需求，提供了一种全新的业务流负载均衡方法及其系统。该方法能够将网络中的数据包匹配到业务流中，并根据网络实际负载情况，将业务流负载均衡分担到处理器的各个处理核心中。

根据本发明的第一方面，提供了一种多核并行的网络业务流负载均衡方法，其特征在于，包括以下步骤：

将网络中的数据包匹配到业务流中；

依据业务流空间映射机制生成流记录，使业务流统一映射到ID空间中；

根据网络负载情况，对业务流空间进行划分后，由调度核心把业务流负载调度到不同的处理核心。

优选地，所述的调度核心为系统指定的多处理核心中的一个或若干个。

优选地，所述的调度是计算并判断处理核心之间正在处理的业务流个数差值是否超过指定的阈值后，对处理核心所管理的业务流ID子空间进行调整调度。

根据本发明的第二方面，提供了一种多核并行的网络业务流负载均衡系统，包括数据包捕获单元和多核处理单元，其特征在于还包括：

将网络中的数据包匹配到业务流的匹配单元；

依据业务流空间映射机制生成流记录并使业务流统一映射到ID空间中的映射单元；

根据网络负载情况对业务流空间进行划分并由调度核心把业务流负载调度到不同的处理核心的调度单元。

优选地，所述调度单元包括：

对各处理核心所管理的业务流ID子空间进行调整调度的调度核心；

判断处理核心之间正在处理的业务流个数差值是否超过指定的阈值的处理核心网络负载差距判断模块；

根据处理核心负载判断统计处理核心状态的处理核心状态统计模块。

本发明给出一种数据包和业务流在多核心处理器上的负载均衡办法及系统，解决了多核心处理器下的数据包和业务流的并行处理调度问题，提升了网络设备中数据包业务流处理的并行程度，显著提升了数据包的处理性能。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，其中：

图1是本发明的数据包匹配到业务流工作流程图；

图2是本发明的业务流空间映射工作流程图；

图3是本发明的业务流处理调度原理示意图；

图4是本发明的业务流处理调度流程图；

图5是本发明的数据包提交流程图；以及

图6是本发明的一个实施例示意图。

具体实施方式

为了实现高速链路下数据包和业务流的多核并行处理及调度，本发明提供了一种多核并行的网络业务流负载均衡方法及系统。

首先，给出本发明中的所使用的术语如下：

业务流：指一个包括通信双方的源IP、目的IP、源端口、目的端口和协议的五元组。

业务流ID：业务流的唯一标识符。

业务流ID空间：所有业务流ID所构成的集合。

业务流ID子空间：经过调度核心划分之后的一部分业务流ID构成的集合。

数据包捕获设备：指计算机系统中，可以从互联网上向用户空间提供数据包数据的设备，例如以太网网卡，DAG卡等。

调度核心：多核心处理器中的一个或若干个核心，负责将数据包匹配到业务流并完成业务流调度。

处理核心：多核心处理器中的一个或若干个核心，负责对业务流进行上层分析。

再之，将结合各图具体说明该方法及其系统。

一、数据包匹配成流

数据包是网络中数据传输的基本单位，而业务流是指根据数据包的<源IP地址，目的IP地址，源端口号，目的端口号，协议号>构成的五元组而划分的数据包的集合。一个业务流表示了网络中一次通信中通信双方的一次基本数据传输。数据包匹配成流就是根据数据包包头中包含的上述信息，将数据包划分到相应的集合中，使之与相应的业务流相对应。

图1示出本发明的数据包匹配到业务流工作流程图。数据包匹配成流即是将数据包与业务流相匹配的过程。在这个过程中，首先初始业务流ID空间为一个指定大小的数组，其数组元素包含如下成员：业务流ID，一个指向用于存储流信息节点的指针和一个指向冲突处理节点的指针。其中业务流ID空间的大小和业务流ID的长度根据链路实际情况指定。指向存储流信息节点的指针用于指向存储流信息的内存地址。指向冲突处理节点的指针用作在冲突发生时存储冲突处理节点。

如图1所示，当业务流ID空间初始化之后，进入阶段100数据包捕获设备捕获数据包。

在阶段102中，由这些数据包提取数据包的五元组信息。

接着进入阶段104中，通过哈希函数变换到业务流ID空间的指定位置，也即依据五元组信息通过哈希函数将其映射到整个业务流ID空间，并为其生成业务流ID。

在阶段106，判断该业务流是否已经存在相应的流记录。如果当数据包与当前业务流ID空间中的某一业务流记录不相匹配时，则进入阶段108生成其对应的流记录并在其相应的业务流信息存贮结构中添加该数据包在内存中的地址；如果数据包能与当前业务流ID空间中的某一业务流记录进行匹配时，则进入阶段110中，更新流记录的信息，然后进入阶段112中，将数据包的内存地址添加到流记录中，也即在其经过哈希变换后的指定位置添加该数据包对应的业务流的流信息。

阶段108或者阶段112结束后，即可进入阶段114，整个匹配工作结束。

二、业务流空间映射

业务流空间映射是业务流统一映射到实现定义好的ID空间中。在该步骤中，首先要根据数据包中的五元组信息生成相应的业务流记录，并将其地址映射填充在业务流ID空间相应的位置。该步骤中生成的流记录至少应该包括匹配到该业务流中待处理的数据包的内存地址，并将业务流对应ID空间中的相应位置设置成为使用。值得指出的是，匹配到该业务流的待处理的数据包可能是一个，也可能是多个。当有多个待处理数据包匹配到该业务流记录时，应该存储所有待处理的数据包的内存地址。当数据包处理完成之后，应该在相应的流记录中删除该数据包的内存地址。

图2示出本发明的业务流空间映射工作流程图。如图2所示，在阶段200中，在数据包中提取五元组信息。提取后进入阶段202，根据数据包五元组信息生成业务流记录。接着阶段204中，将业务流记录地址保存在业务流ID空间相应的位置。再在阶段206中，对数据包进行处理。对其处理完后进入阶段208中，删除流记录中处理完成数据包的内存地址。阶段208的工作结束后，进入阶段210中，结束该工作过程。

三、业务流处理调度

在系统第一次启动时，系统的负载为零，这时调度核心根据处理核心个数将业务流ID空间均匀划分为若干等份，每个处理核心对应一个业务流ID空间的子空间。当一个新的业务流到来时，调度核心根据哈希函数生成的业务流ID将其匹配到相应的业务流ID子空间中，进而由对应该业务流ID子空间的处理核心处理。调度核心同时统计当前处理核心上正在处理的业务流个数和各个处理核心管理的业务流ID子空间的范围。将统计结果加入到处理核心状态链表中。

当系统运行一段时间后，由于网络中流量分布并不均匀，网络中的业务流在业务流ID空间中的分布也将不再均匀。此时，调度核心将对各个处理核心对应的业务流ID子空间进行调整。调度核心定时统计处理核心状态链表中各核心正在处理的业务流个数，并计算处理核心之间正在处理的业务流个数差值。当业务流个数差值超过指定阈值时，调度核心将当前负载最重的处理核心所管理的业务流ID子空间中空闲的部分减半，并将其与负载最轻的处理空间合并。最后修改处理核心状态列表，记录当前修改。本步骤中使用的阈值可以由调度核心根据当前系统中个工作核心的负载情况计算，也可以在系统运行时由管理员指定。

图3示出本发明的业务流处理调度原理示意图。如图3所示，系统初始时，业务流空间ID被均匀分配。当系统运行一段时间后，由于网络流量并不均匀，处理核心1的负载较重，但是处理核心2的负载较轻。调度核心将处理核心1管理的业务流ID子空间的空闲部分合并到处理核心2中，当数据包匹配到业务流A时，被映射到如图所示的位置。由于该子空间已经由处理核心2接管，达到负载均衡的目的。

图4示出本发明的业务流处理调度流程图。如图4所示，在阶段400中，调度核心统计当前处理核心状态列表。在阶段402中，判断最重负载核心和最轻负载核心之差是否超过阈值。

如果超过，进入阶段404中，调整业务流ID空间划分，然后再返回到阶段400。

如果没有超过，则由阶段402直接返回阶段400。

四、数据包提交

图5示出本发明的数据包提交流程图。如图5所示，在每个处理核心上运行的处理线程都维持一个环形缓冲区，环形缓冲区内存储待处理数据包的内存地址。调度核心负责根据业务流负载均衡情况将待处理的数据包内存地址写入到相对应的处理核心的环形缓冲区中。而处理核心则轮询这个缓冲区，在发现调度核心将数据包提交到自己的环形缓冲区时，将数据包提交上层处理。在其他的实施中，缓冲区也还可以为线性的。

五、多核并行下的网络业务流负载均衡的一个例子

图6示出本发明的系统实施示意图。如图6所示，给出本发明方法在四核心处理器上的应用实例。该实例中，指定其中一个核心作为调度核心，其余三个核心作为处理核心。

数据包的处理过程描述如下：

数据包经由高速链路数据包捕获平台捕获后，经数据总线提交至调度核心。调度核心提取其包头中的五元组信息，并将其五元组信息作为关键字经哈希函数杂凑后生成流ID。哈希函数设计的一个例子如下：将源IP和目的IP的高16bit循环左移3个bit，然后将左移后的这两个16bit数和源、目的IP地址的低16bit以及源，目的端口，共记6个16bit数相异或得到业务流ID。因此该实施例中的业务流ID为16位，业务流ID空间为[0，65535]。

对于某一特定数据包A(其源IP地址为159.226.39.15，目的IP地址为10.21.2.71，源端口为80，目的端口为4000)，经过哈希函数处理后得到该数据包对应的业务流ID F为62119。如果该数据包是所对应业务流的第一个数据包，之前在业务流ID空间中所对应的业务流表项就是空闲的。这时系统创建一个该业务流所对应的流记录，并将其所对应的业务流ID空间相应位置设置成为占用，最后将数据包的内存地址保存在流记录中。调度核心将根据当前各处理核心的负载情况和该业务流的ID，然后决定该业务流将会分哪个核心处理，随后将流记录的内存地址提交到该处理核心的缓冲区中。

对于承载在实际链路上的流量，业务流的持续时间并不相同。并且业务流在整个流空间中的分布密度并不均匀。调度核心周期性遍历处理核心状态表，计算当前处理核心的负载差值，当差值大于系统实现设定的阈值时。调度核心将重新分配各处理核心所管理的业务流ID空间，使其上负载在当前时间均衡。在一个实施例中，阈值选择为当前系统三个核心负载总和的十分之一。也就是说，当系统负载最重的核心和负载最轻的核心所处理的业务流个数之差超过当前系统处理的业务流总数的10％时，系统将负载最重的核心所管理的业务流ID空间中的剩余记录中的一半划归负载最轻的核心管理。

每个处理核心上运行的处理线程都拥有一个独立的8MB内存空间用作缓冲区，缓冲区存储了流记录的内存地址。处理线程采用轮询方式对待处理的数据进行处理，进而根据流记录中包含的数据包内存地址对数据包进行处理。

以上对本发明的具体描述旨在说明具体实施方案的实现方式，不能理解为是对本发明的限制。本领域普通技术人员在本发明的教导下，可以在详述的实施方案的基础上做出各种变体，这些变体均应包含在本发明的构思之内。本发明所要求保护的范围仅由所述的权利要求书进行限制。

Claims (12)

1.一种多核并行的网络业务流负载均衡方法，其特征在于，包括以下步骤：

1)将网络中的数据包匹配到业务流中；

2)依据业务流空间映射机制生成流记录，使业务流统一映射到ID空间中；

3)根据网络负载情况，对业务流ID空间进行划分后，由调度核心把业务流负载调度到不同的处理核心。

2.如权利要求1所述的方法，其特征在于：所述步骤1)包括判断该业务流是否已经存在相应的流记录；如果当数据包与当前业务流ID空间中的某一业务流记录相匹配时，则生成其对应的流记录并在其相应的业务流信息存贮结构中添加该数据包在内存中的地址；如果数据包不能与当前业务流ID空间中的某一业务流记录进行匹配时，则更新流记录的信息，然后将数据包的内存地址添加到流记录中。

3.如权利要求1所述的方法，其特征在于：

所述业务流空间映射机制是采用哈希函数的方式。

4.如权利要求1所述的方法，其特征在于：所述的调度核心为系统指定的多处理核心中的一个或若干个。

5.如权利要求1至4任一项所述的方法，其特征在于，所述的调度包括对处理核心所管理的业务流ID子空间进行调整来实现调度。

6.如权利要求5所述的方法，其特征在于，所述调度包括计算并判断处理核心之间正在处理的业务流个数差值是否超过指定的阈值。

7.一种多核并行的网络业务流负载均衡系统，包括数据包捕获单元、处理核心和调度核心，其特征在于还包括：

将网络中的数据包匹配到业务流的匹配单元；

依据业务流空间映射机制生成流记录并使业务流统一映射到ID空间中的映射单元；

根据网络负载情况对业务流空间进行划分并由调度核心把业务流负载调度到不同的处理核心的调度单元，其中所述调度核心是多个处理核心中的一个或若干个。

8.如权利要求7所述的系统，其特征在于：所述业务流空间映射机制是采用哈希函数的方式。

9.如权利要求7所述的系统，其特征在于：所述ID空间为一个数组，其数组元素至少包含如下成员：业务流ID，一个指向用于存储流信息的指针和一个指向冲突处理节点的指针。

10.如权利要求7所述的系统，其特征在于所述的调度单元通过对处理核心所管理的业务流ID子空间的空闲部分进行调整而实现调度。

11.如权利要求7所述的系统，其特征在于所述调度单元包括计算并判断处理核心之间正在处理的业务流个数差值是否超过指定的阈值，并且将判断结果作为调度依据的处理核心网络负载差距判断模块。

12.如权利要求7所述的系统，其特征在于包括数据包提取单元，提交数据包给相应的处理核心。

Images