CN103051553B - 网络流量均衡分割系统及分割方法 - Google Patents

Abstract

本发明提供了一种网络流量均衡分割的系统和方法，主要解决现有技术流量初始分割节点负载过大，整体性能不高，难以满足网络带宽日益增长的需求的问题。该系统包括：分割单元、均衡分割单元和接收单元；分割单元接收原始的网络流量，对网络流量进行基于源、目的地址字段的粗分割；均衡分割单元，接收粗分割的网络流量，对粗分割的网络流量进行基于会话的均衡分割；接收单元，接收最终分割的流量，根据实际需求对最终流量进行进一步的分析处理。本发明降低了流量初始分割节点的负载，提高了系统的整体性能，有利于提高网络流量的分布式分析和处理效率，可用于网络流量识别及入侵检测。

Description

网络流量均衡分割系统及分割方法

技术领域

本发明属于网络技术领域，涉及网络流量的分割，可用于网络流量识别及入侵检测。

背景技术

随着互联网技术的快速发展和业务量的不断提高，骨干链路带宽不断增加，入侵检测系统、内容审计系统等分析设备的性能越来越不能满足链路带宽的要求。在链路速度达到1Gbps级别时，现有的分析设备难以独自处理如此大流量的报文信息。

开发性能更高的分析设备需要较长的研发周期，而且其性能的增长仍无法满足网络带宽日益增长的需求，导致新设备的生命周期短，社会效益不高。在现有设备的基础上，可采用多台设备并行处理的方式来解决网络带宽的快速增长与分析设备性能有限之间的矛盾。为实现网络流量的并行处理，一般采用负载均衡技术，将流量均衡分配到多台设备上，从而降低单个接收节点的负载。

现在常用的负载均衡方法包括轮询、随机、源地址散列、源地址端口散列、目的地址散列、最小连接等。这些负载均衡方法虽然在各自的领域都有很好的应用，但是都不能保证分析节点处理信息的完整性。

为了便于接收节点分析处理捕获的流量，满足单个接收节点处理信息的完整性，需对网络流量进行基于会话的分割，现有的基于会话的流量分割一般直接基于五元组对流量进行一次分割。这种方法虽然能降低单个接收节点的负载，但流量初始分割节点的负载依然很大，当链路速度过大时，流量初始分割节点将难以快速处理如此大流量的报文信息，从而导致整个系统的性能低下。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种网络流量均衡分割系统及分割方法，以降低流量初始分割节点的负载，提高系统的整体性能，满足快速增长的网络带宽的要求。

实现本发明目的的技术思路是：根据待处理的网络流量规模，结合数据报文的源、目的地址字段对网络数据流进行粗分割；并按照负载均衡策略对经过了粗分割的网络数据流进行基于会话的均衡分割。其技术方案如下：

一、本发明的网络流量均衡分割的系统，包括：分割单元、均衡分割单元及接收单元：

所述的分割单元，包括粗分割策略制定模块和粗分割执行模块，该粗分割策略制定模块，用于根据待处理的网络流量规模，确定均衡分割单元的数量，结合数据报文的源、目的地址字段制定数据报文的粗分割策略；该分割执行模块，用于根据所述的粗分割策略将数据报文分配给相应的均衡分割单元；

所述的均衡分割单元，包括负载均衡模块和分割执行模块，该负载均衡模块，用于计算出不同会话的网络流量与接收单元的映射关系，并根据映射关系向相应的接收单元询问负载情况，根据负载情况的反馈信息进行映射关系调整与记录；该分割执行模块，用于根据映射关系将网络流量分配给相应的接收单元；

所述的接收单元，用于接收均衡分割单元的负载询问请求，计算其负载情况，判定该负载是否达到最大负载，并将判定结果反馈给相应的均衡分割单元。

二、本发明的网络流量均衡分割的方法，包括如下步骤：

（1）对网络流量进行粗分割：

（1a）确定均衡分割节点的数量为2^N，N为偶数，其大小由待处理的网络流量规模决定；

（1b）对网络流量中的每一个数据报文，获得其源地址字段的最后位，表示为a，获得其目的地址字段的最后位，表示为b，连接a和b获得一个N位的二进制数ab，将二进制数ab对应的十进制数k作为该数据报文对应的均衡分割节点编号，并将该数据报文分配给该对应均衡分割节点；

（2）对经过了粗分割的网络流量进行基于会话的均衡分割：

（2a）每个均衡分割节点创建一张映射关系记录表；

（2b）对接收到的每一个数据报文，根据其源地址、目的地址、源端口、目的端口字段，获得其会话的标识ID；

（2c）根据会话的标识ID，查找映射关系记录表，若该会话存在映射关系记录，则更新该映射关系记录中的最新到达时间，并将该数据报文分配至对应的接收节点，若该会话不存在映射关系记录，则执行步骤（2d）；

（2d）根据会话的标识ID，计算该会话所映射的接收节点编号n=（源地址+目的地址+源端口+目的端口）mod M，其中mod为模运算，M≥2^N，为接收节点的数量；询问所映射的接收节点是否达到其最大负载，接收节点判定自身负载并向发起询问的均衡分割节点反馈判定结果，若其未达到最大负载则在映射关系记录表中记录该映射关系，否则调整所述会话所映射的接收节点的编号为n=(n+1)mod M，并重新询问该接收节点是否达到其最大负载，重复所述调整，直至所映射的接收节点未达到最大负载，记录该映射关系；根据所记录的映射关系将该数据报文分配至各对应的接收节点；

（2e）每隔时间间隔T，每个均衡分割节点，读取其映射关系记录表中映射关系记录的最新到达时间，对每一条映射关系记录，用当前时间减去其最新到达时间，获得差值τ，若τ≥120s则认为该映射关系记录中的会话已结束，删除该条记录，否则不进行操作，其中T=300s，可根据实际情况进行调整。

本发明具有如下优点：

1．本发明的网络流量均衡分割系统，其均衡分割单元和接收单元的数量是由待处理的网络流量规模决定的，可随网络流量的增大进行扩展，可满足快速增长的网络带宽的要求；

2．本发明的网络流量均衡分割方法，通过首先对网络流量进行一次粗分割，能够降低流量初始分割节点的负载，提高系统的整体性能，保障了方法对海量网络流量的适用性；

3．本发明的网络流量均衡分割系统，通过实时判定其接收单元的负载情况，确保了负载情况的有效性，保障了网络流量分割的均衡性；

4．本发明的网络流量均衡分割方法，将同一会话的全部报文分配给同一个接收单元，有利于对分割的流量进行进一步的分析，并保障了分析信息的完整性和分析结果的可靠性；

5．本发明的网络流量均衡分割系统，实现了各个功能组件的模块化，各模块的功能职责明确，便于进行优化；

6．本发明的网络流量均衡分割系统，结构简单，便于搭建、维护及扩展。

附图说明

图1是本发明的系统网络拓扑图；

图2是本发明系统中粗分割单元的内部结构图；

图3是本发明系统中均衡分割单元内部结构图；

图4是本发明方法的流程图。

具体实施方式

参照图1，本发明的网络流量均衡分割系统包括：一个分割单元、2^N个均衡分割单元和M个接收单元，其中N为偶数，其大小由待处理的网络流量规模决定，M≥2^N，根据网络流量的规模可对均衡分割单元及接收单元的数量进行扩展。其中：

分割单元，是系统的起始端，与各均衡分割单元相连，用于接收原始的网络流量，确定网络流量的粗分割策略，根据所述策略对网络流量进行基于源、目的地址字段的粗分割，并将经过粗分割的网络流量分配给对应的均衡单元；

均衡分割单元，是系统的中间单元，其与各接收单元相连，用于接收粗分割的网络流量，对粗分割的网络流量进行基于会话的均衡分割，并将经过均衡分割的流量分配给对应的接收单元；

接收单元，是系统的终端，其与各均衡分割单元相连，用于接收均衡分割单元的负载询问请求，计算自身负载情况，判定该负载是否达到最大负载，将判定结果反馈给相应的均衡分割单元，并接收最终分割的流量，可根据实际需求对最终流量进行进一步的分析处理。

参照图2，本发明系统中的分割单元，包括粗分割策略制定模块和粗分割执行模块，其中：

所述的粗分割策略制定模块，用于根据待处理的网络流量规模，确定均衡分割单元的数量，结合数据报文的源、目的地址字段制定数据报文的粗分割策略；

所述的粗分割执行单元，用于根据所述的粗分割策略将数据报文分配给相应的均衡分割单元。

参照图3，本发明系统中的均衡分割单元，包括负载均衡模块和分割执行模块，其中：

所述的负载均衡模块，包括映射子模块、负载询问子模块和分割状态记录子模块：映射子模块，用于获得数据报文的会话标识ID，并计算出不同会话的网络流量与接收单元的映射关系；负载询问子模块，用于根据所述的的映射关系向相应接收单元发起负载情况的询问请求，并根据该询问请求的反馈信息进行映射关系调整；分割状态记录子模块，用于查询和记录各个会话的网络流量与接收单元的映射关系；

所述的分割执行模块，用于根据映射关系将网络流量分配给相应的接收单元。

当一个会话的数据报文到达时，映射子模块获得其会话标识ID，分割状态记录子模块查询该会话标识ID是否存在映射关系记录，若存在，则更新其映射关系记录中的最新到达时间，并由分割执行模块根据该映射关系将数据报文分配给相应接收单元，否则映射子模块计算出该数据报文与接收单元的映射关系，由负载询问子模块根据该映射关系向相应接收单元发起负载情况的询问请求，并根据该询问请求的反馈信息进行映射调整，分割状态记录子模块记录映射关系，分割执行单元根据该映射关系将数据报文分配给相应接收单元；当该会话结束时，分割状态记录子模块删除该会话的映射关系记录。

参照图4，本发明的网络流量均衡分割方法，包括如下步骤：

步骤1.对网络流量进行粗分割：

（1a）确定均衡分割节点的数量为2^N，N为偶数，其大小由待处理的网络流量规模决定，所述的均衡分割节点是指对粗分割后的网络流量进行均衡分割的主机；

（1b）对网络流量中的每一个数据报文，获得其源地址字段的最后位，表示为a，获得其目的地址字段的最后位，表示为b，连接a和b获得一个N位的二进制数ab，将二进制数ab对应的十进制数k作为该数据报文对应的均衡分割节点编号，并将该数据报文分配给该对应均衡分割节点：

参照表1，若均衡分割节点的个数为2²，则将原地址最后一位为0、目的地址最后一位为0的数据报文分配给0号均衡分割节点，将原地址最后一位为0、目的地址最后一位为1的数据报文分配给1号均衡分割节点，将原地址最后一位为1、目的地址最后一位为0的数据报文分配给2号均衡分割节点，将原地址最后一位为1、目的地址最后一位为1的数据报文分配给3号均衡分割节点。

表1源、目标地址与均衡分割单元对应表

源地址最后一位	目的地址最后一位	均衡分割单元编号
			0	0	0
0	1	1
			1	0	2
1	1	3

步骤2.对经过了粗分割的网络流量进行基于会话的均衡分割：

（2a）每个均衡分割节点创建一张映射关系记录表，如表2，

表2是由会话与接收节点的映射关系记录组成，该映射关系记录包括会话标识ID、接收节点编号、接收节点MAC地址及最新到达时间四个部分，所述的接收节点是指最终分割的网络流量的接收主机；

表2映射关系记录表

会话标识ID	接收节点编号	MAC地址	最新到达时间
				四元组1	3	00-1D-73-49-0B-3F	11:24:01
四元组2	0	21-3C-19-7B-00-2A	23:02:58
				...	...	...	...

（2b）对接收到的每一个数据报文，根据其源地址、目的地址、源端口、目的端口字段，获得其会话的标识ID，该会话标识ID用于标识一个会话，用源地址、目的地址、源端口和目的端口这个四元组共同确定；

（2c）根据会话的标识ID，查找映射关系记录表，若该会话存在映射关系记录，则更新该映射关系记录中的最新到达时间，并将该数据报文分配至对应的接收节点，若该会话不存在映射关系记录，则执行步骤（2d），所述的最新到达时间，是指每个会话的数据报文中最新到达均衡分割节点的那个数据报文的到达时间；

（2d）根据会话的标识ID，计算该会话所映射的接收节点编号n=（源地址+目的地址+源端口+目的端口）mod M，其中mod为模运算，M≥2^N，为接收节点的数量；询问所映射的接收节点是否达到其最大负载，接收节点按照步骤（2e）判定自身负载并向发起询问的均衡分割节点反馈判定结果，若其未达到最大负载则在映射关系记录表中记录该映射关系，否则调整所述会话所映射的接收节点的编号为n=(n+1)mod M，并重新询问该接收节点是否达到其最大负载，重复所述调整，直至所映射的接收节点未达到最大负载，记录该映射关系；根据所记录的映射关系将该数据报文分配至各对应的接收节点；

（2e）接收节点根据其内存使用率M、CPU使用率C、网络带宽使用率B、节点实际接收的数据包与检测分析能力的比率D这四个指标，计算出自身负载：L＝0.4×M+0.3×C+0.1×B+0.2×D，其中0.4、0.3、0.1、0.2分别为所述四个指标的权重，可根据节点自身硬件特点进行调整；将自身负载L与最大负载阈值L′=0.8进行比较，若L大于或等于L′，则判定该接收节点达到最大负载，否则判定该接收节点未达到最大负载；

（2f）每隔时间间隔T，每个均衡分割节点，读取其映射关系记录表中映射关系记录的最新到达时间，对每一条映射关系记录，用当前时间减去其最新到达时间，获得差值τ，若τ≥120s则认为该映射关系记录中的会话已结束，删除该条记录，否则不进行操作，其中T=300s，可根据实际情况进行调整。

以上是本发明的一个实例，并不构成对本发明的任何限制，显然在本发明的构思下可作出不同形式的变更，但这些均在本发明的保护之列。

Claims (8)

1.一种网络流量均衡分割系统，包括：分割单元和接收单元，其特征在于：分割

单元与接收单元之间连接有均衡分割单元；

所述的分割单元，包括粗分割策略制定模块和粗分割执行模块，该粗分割策略制定模块，用于根据待处理的网络流量规模，确定均衡分割单元的数量，结合数据报文的源、目的地址字段制定数据报文的粗分割策略；该分割执行模块，用于根据所述的粗分割策略将数据报文分配给相应的均衡分割单元；

所述的均衡分割单元，包括负载均衡模块和分割执行模块，该负载均衡模块，用于计算出不同会话的网络流量与接收单元的映射关系，并根据映射关系向相应的接收单元询问负载情况，根据负载情况的反馈信息进行映射关系调整与记录；该分割执行模块，用于根据映射关系将网络流量分配给相应的接收单元；

所述的接收单元，用于接收均衡分割单元的负载询问请求，计算其负载情况，判定该负载是否达到最大负载，并将判定结果反馈给相应的均衡分割单元。

2.根据权利要求1所述的网络流量均衡分割系统，其特征在于，负载均衡模块包括映射子模块、负载询问子模块和分割状态记录子模块：

所述的映射子模块，用于计算出不同会话的网络流量与接收单元的映射关系；

所述的负载询问子模块，用于根据所述的的映射关系向相应接收单元发起负载情况的询问请求，并根据该询问请求的反馈信息进行映射关系调整；

所述的分割状态记录子模块，用于查询和记录各个会话的网络流量与接收单元的映射关系。

3.一种网络流量均衡分割方法，其特征在于，包括如下步骤：

(1)对网络流量进行粗分割：

(1a)确定均衡分割节点的数量为2^N，N为偶数，其大小由待处理的网络流量规模决定；

(1b)对网络流量中的每一个数据报文，获得其源地址字段的最后位，表示为a，获得其目的地址字段的最后位，表示为b，连接a和b获得一个N位的二进制数ab，将二进制数ab对应的十进制数k作为该数据报文对应的均衡分割节点编号，并将该数据报文分配给该对应均衡分割节点；

(2)对经过了粗分割的网络流量进行基于会话的均衡分割：

(2a)每个均衡分割节点创建一张映射关系记录表；

(2b)对接收到的每一个数据报文，根据其源地址、目的地址、源端口、目的端口字段，获得其会话的标识ID；

(2c)根据会话的标识ID，查找映射关系记录表，若该会话存在映射关系记录，则更新该映射关系记录中的最新到达时间，并将该数据报文分配至对应的接收节点，若该会话不存在映射关系记录，则执行步骤(2d)；

(2d)根据会话的标识ID，计算该会话所映射的接收节点编号n＝(源地址+目的地址+源端口+目的端口)mod M，其中mod为模运算，M≥2^N，为接收节点的数量；询问所映射的接收节点是否达到其最大负载，接收节点判定自身负载并向发起询问的均衡分割节点反馈判定结果，若其未达到最大负载则在映射关系记录表中记录该映射关系，否则调整所述会话所映射的接收节点的编号为n＝(n+1)mod M，并重新询问该接收节点是否达到其最大负载，重复所述调整，直至所映射的接收节点未达到最大负载，记录该映射关系；根据所记录的映射关系将该数据报文分配至各对应的接收节点；

(2e)每隔时间间隔T，每个均衡分割节点，读取其映射关系记录表中映射关系记录的最新到达时间，对每一条映射关系记录，用当前时间减去其最新到达时间，获得差值τ，若τ≥120s则认为该映射关系记录中的会话已结束，删除该条记录，否则不进行操作，其中T＝300s。

4.根据权利要求3所述的网络流量均衡分割方法，其特征在于所述步骤(1a)中的均衡分割节点，是指对粗分割后的网络流量进行均衡分割的主机。

5.根据权利要求3所述的网络流量均衡分割方法，其特征在于所述步骤(2a)中的映射关系记录表，用于记录各个会话的网络流量与接收单元的映射关系，其中每条映射关系记录包括会话标识ID、接收节点编号、接收节点MAC地址及最新到达时间四个部分。

6.根据权利要求3所述的网络流量均衡分割方法，其特征在于所述步骤(2c)中的接收节点，是指最终分割的网络流量的接收主机。

7.根据权利要求3所述的网络流量均衡分割方法，其特征在于所述步骤(2c)中的最新到达时间，是指每个会话的数据报文中最新到达均衡分割节点的那个数据报文的到达时间。

8.根据权利要求3所述的网络流量均衡分割的方法，其特征在于步骤(2d)所述的接收节点判定自身负载并向发起询问的均衡分割节点反馈判定结果，按如下步骤进行：

(2d1)接收节点根据其内存使用率M、CPU使用率C、网络带宽使用率B、节点实际接收的数据包与检测分析能力的比率D这四个指标，计算出自身负载：L＝0.4×M+0.3×C+0.1×B+0.2×D，其中0.4、0.3、0.1、0.2分别为所述四个指标的权重，可根据节点自身硬件特点进行调整；

(2d2)将自身负载L与最大负载阈值L’＝0.8进行比较，若L大于或等于L’，则判定该接收节点达到最大负载，否则判定该接收节点未达到最大负载；

(2d3)接收节点向发起询问的均衡分割节点反馈判定结果。