CN104270319B - 一种多端口流量采集自动切换的分流系统与方法 - Google Patents

Abstract

本发明公开了一种多端口流量采集自动切换的分流系统和分流方法，系统包括一个流量采集分流设备(10)和至少两个流量处理服务器(21～2n)，流量采集分流设备(10)与位于网络内的网络数据交换机(R)连接，用于获取网络数据交换机(R)的总的数据流后分流至流量处理服务器(21～2n)中的至少一个；每个流量处理服务器(21～2n)用于接收流量采集分流设备(10)分流的数据流，以及控制各流量处理服务器(21～2n)的状态，定期将处于“需求态”且分流完毕的流量处理服务器的状态设置为“采集态”。本发明实现了在流量闲时对流量处理服务器进行复用，防止流量处理服务器的计算资源的浪费。

Description

一种多端口流量采集自动切换的分流系统与方法

技术领域

本发明涉及通信网络技术领域，尤其涉及一种多端口流量采集自动切换的分流系统及方法。

背景技术

近年来，随着网络技术的普及和发展，网络带宽和流量呈指数级的速度增长，根据CNNIC发布的《第27次中国互联网络发展状况统计报告》，中国国际出口带宽2010年底达到1,098,956.82Mbps，年增长率为26.8％。面对日益增长的庞大网络流量，安全系统中需要处理的数据量也越来越大，流量的实时处理要求更高的性能。

通常网络内容安全检测和分析系统监控模式可以分为串联监控模式和旁路监控模式。旁路监控模式一般是指通过网络交换机等网络设备的“端口镜像”功能来实现监控，在此模式下，监控设备只需要连接到交换机的指定镜像端口；而串联监控模式一般是通过网关或者网桥的模式来进行监控，监控设备串联在网络中。相对于串联监控模式，旁路监控模式部署起来比较灵活方便，不会影响现有的网络结构，同时旁路监控模式分析的是镜像端口拷贝过来的数据，对原始传递的数据包不会造成延时，不会对网速造成任何影响，另外旁路监控设备一旦故障或者停止运行，不会影响现有网络的正常运行。

但是在旁路监控模式下，单个流量处理服务器处理的网络流量大致范围在1G左右，无法满足对骨干网的海量的端口镜像数据的处理需求。为了使网络内容安全检测和分析系统能够处理骨干网的海量数据，一方面需设计更好的算法提高系统性能，另一方面需将海量数据分流成若干份，交由不同的处理机处理。

目前，基于纯链路层的交换机可以接收包含多个目的MAC地址的混合数据流，但是无法分流。而基于网络层的设备可以接收混合数据流并且分流，但是只能处理混合数据流中的一路数据流，不适用于多路端口镜像混合数据流。因而，为了及时对网络内各节点单位的流量进行流量的检测和分析，需要采用基于多端口混合流量分流并区分流量的方式。

但传统的分流方法要么是基于协议，要么基于地址哈希，以及修改目的端口地址来实现负担均衡等，这都需要多端口专门为接受流量所用，导致流量处理服务器的计算资源的浪费。

发明内容

有鉴于此，本发明提出了一种多端口流量采集自动切换的分流系统与分流方法，以解决当前的分流系统效率不高，造成各流量处理服务器计算资源浪费的问题。

为此，本发明提出一种多端口流量采集自动切换的分流系统，包括一个流量采集分流设备和至少两个流量处理服务器，其中，所述流量采集分流设备与位于网络内的网络数据交换机连接，用于获取网络数据交换机的总的数据流后分流至所述流量处理服务器中的至少一个；每个所述流量处理服务器用于接收所述流量采集分流设备分流的数据流；所述流量采集分流设备还用于控制各流量处理服务器的状态，所述状态包括“采集态”和“需求态”，“采集态”表示流量处理服务器可以接受任何数据流，“需求态”表示流量处理服务器能够且只能够接受符合当前分流规则的数据流。

根据本发明的具体实施方式，所述流量采集分流设备定期将处于“需求态”且分流完毕的流量处理服务器的状态设置为“采集态”。

根据本发明的具体实施方式，在初始化时，所述流量采集分流设备向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。

根据本发明的具体实施方式，所述流量采集分流设备根据预定的流量匹配策略，在所有处于“采集态”的流量处理服务器范围内设定用于分流所述总的数据流的分流规则，并将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。

根据本发明的具体实施方式，所述流量采集分流设备根据当前的分流规则将所述总的数据流分流到相应的流量处理服务器并持续一段时间，然后判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长，所述“到期”是指流量处理服务器处于“需求态”的时长超过所述期限时长。

根据本发明的具体实施方式，所述流量采集分流设备包括流量匹配模块、流量转发模块和状态控制模块，所述流量匹配模块用于从所述网络数据交换器接收需要分流的总的数据流，并对接收到总的数据流进行分析以进行流量匹配计算，从而获得分流规则；所述流量转发模块用于按照所述分流规则对所述总的数据流进行分流后转发到相应的流量处理服务器；所述状态控制模块用于控制所述流量处理服务器的所述状态。

根据本发明的具体实施方式，在初始化时，所述状态控制模块向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。

根据本发明的具体实施方式，当所述流量匹配模块完成流量匹配计算并获得分流规则之后，所述状态控制模块将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。

根据本发明的具体实施方式，当所述流量转发模块将所述总的数据流分流到相应的流量处理服务器并持续一段时间后，所述状态控制模块判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长，所述“到期”是指流量处理服务器处于“需求态”的时长超过所述期限时长。

本发明还提出一种多端口流量采集自动切换的分流方法，用于多端口流量采集自动切换的分流系统中，所述系统包括一个流量采集分流设备和至少两个流量处理服务器，所述方法包括如下步骤：

S1、流量采集分流设备获取网络数据交换器的总的数据流；

S2、流量采集分流设备向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”，所述“采集态”表示流量处理服务器可以接受任何数据流；

S3、流量采集分流设备根据预定的流量匹配策略，在所有处于“采集态”的流量处理服务器范围内设定用于分流所述总的数据流的分流规则；

S4、流量采集分流设备将根据所述分流规则，将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”，所述“需求态”表示流量处理服务器能够且只能够接受符合当前分流规则的数据流；

S5、流量采集分流设备根据当前的分流规则将所述总的数据流分流到相应的流量处理服务器并持续一段时间；

S6、流量采集分流设备判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长，所述“到期”是指流量处理服务器处于“需求态”的时长超过所述期限时长；

S7、重复执行步骤S3～S6，直到完成所述总的数据流的分流，返回步骤S1。

本发明根据流量在不同时间段的大小差别，实现了在流量闲时对流量处理服务器进行复用，防止了流量处理服务器的计算资源的浪费。

附图说明

图1是本发明的多端口流量采集自动切换的分流系统的模块架构图；

图2是本发明的多端口流量采集自动切换的分流系统的操作流程图；

图3是本发明的流量采集分流设备的模块架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明通过引入流量处理服务器的状态切换机制，使得流量处理服务器在数据采集态与需求态之间实现自动切换。在采集态，流量处理服务器可以接受任何数据流；在需求态，流量处理服务器只能接受符合流量匹配结果的流据流。

图1是本发明的多端口流量采集自动切换的分流系统的模块架构图。如图1所示，该分流系统包括一个流量采集分流设备10和至少两个流量处理服务器。在图1中示出了具有n个流量处理服务器21、22、…、2n的情况。

流量采集分流设备10与位于网络内的网络数据交换机R连接，用于获取网络数据交换机R的总的数据流后分流至所述流量处理服务器21～2n中的至少一个。优选地，所述总的数据流是实际数据流的镜像数据流，所述流量采集分流设备10从网络数据交换机R的镜像端口获取镜像数据流。通常，从镜像端口获取的镜像数据流是网络数据交换机R的实际处理的多端口数据流，即镜像端口是多对一的镜像输出端口。这种情况下，流量采集设备10并联于所述网络中，不会对网络的速度造成影响。但是，本发明并不排除应用于其他接入方式获得的网络节点的总的数据流。

所述流量处理服务器21～2n是能够对数据流进行分析、监控、存储等处理的计算设备。每个流量处理服务器21～2n均连接于流量采集分流设备10的输出端口，用于接收流量采集分流设备10进行分流后输出的数据流。

根据本发明，所述流量采集分流设备10还用于控制各流量处理服务器21～2n的状态，所述状态包括“采集态”和“需求态”。“采集态”表示流量处理服务器可以接受任何数据流。“需求态”表示流量处理服务器能够且只能够接受符合当前分流规则的数据流。

为了提高流量采集分流设备的效率，流量采集分流设备定期将处于“需求态”且分流完毕的流量处理服务器的状态设置为“采集态”。具体来说：

在初始化时，流量采集分流设备10向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。

在运行时，流量采集分流设备10根据预定的流量匹配策略，在所有处于“采集态”的流量处理服务器范围内设定用于分流所述总的数据流的分流规则，并将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。

另一方面，流量采集分流设备10还根据当前的分流规则将所述总的数据流分流到相应的流量处理服务器并持续一段时间，然后判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长。所述“到期”是指流量处理服务器处于“需求态”的时长超过期限时长。

在具体实施时，流量处理服务器21～2n可通过网络适配器(网卡)与流量采集分流设备10进行连接。这样，网络适配器的地址即可视为流量处理服务器21～2n的地址。但是，本发明并不限于具体的连接方式，现有的其他各种连接方式均可应用于本发明中。

下面参照图2来说明本发明的分流系统的具体操作方法的流程。如图2所示，分流方法包括依次执行的如下步骤：

S1、流量采集分流设备获取网络数据交换器的总的数据流。

该总的数据流可以是镜像数据流，但不限于此。获取总的数据流的方法是现有技术，因此在此不再详述。

S2、流量采集分流设备向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。

如前所述，“采集态”表示流量处理服务器可以接受任何数据流。

S3、流量采集分流设备根据预定的流量匹配策略，在所有处于“采集态”的流量处理服务器范围内设定用于分流所述总的数据流的分流规则。

所述流量匹配策略是指待分流的数据流与在流量处理服务器之间进行分配的规则。

通常可通过分析所述总的数据流中包含的地址信息来分流各数据流。具体来说，网络数据交换设备R处理大量的数据流，每个数据流均包含源地址和目的地址信息，一个数据流中的源地址和目的地址相同，并构成一个地址对。该地址可以是IP地址，也可以是MAC地址。

本发明可以采用现有的各中流量匹配策略，例如，除了有IP地址及MAC地址匹配，还有流匹配，即四元组(源IP，目的IP，源端口，目的端口)都匹配，还有协议类型匹配等，以及申请公布号是CN102916896A的中国发明专利申请中采用的流量匹配策略。

分流规则指定了各流量处理服务器是否分流数据流以及分流哪些数据流。

S4、流量采集分流设备将根据所述分流规则，将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。

“需求态”表示流量处理服务器能够且只能够接受符合当前分流规则的数据流。

S5、流量采集分流设备根据当前的分流规则将所述总的数据流分流到相应的流量处理服务器并持续一段时间。

S6、流量采集分流设备判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长。

如前所述，所述“到期”是指流量处理服务器处于“需求态”的时长超过一个期限时长。可见，本发明为每个流量处理服务器设计了一个老化回收机制。流量采集分流设备定时检查流量处理服务器的分流状态，若其已完成当前的分流，则可对其重新分配。

S7、重复执行步骤S3～S6，直到完成所述总的数据流的分流，返回步骤S1。

图3是本发明的流量采集分流设备的模块架构图。

如图3所示，流量采集分流设备10包括流量匹配模块11、流量转发模块12和状态控制模块13。

流量匹配模块11用于从网络数据交换器R接收需要分流的总的数据流，如前所述，其可以是镜像数据。流量匹配模块11在接收到总的数据流时，对其进行分析以进行流量匹配计算，从而获得分流规则。根据本发明，在流量匹配时，流量匹配模块11需要从状态控制模块13获得各流量处理服务器的状态，并且只在状态为“采集态”的流量处理服务器范围内进行流量匹配计算。

流量转发模块12按照流量匹配模块11计算的分流规则对总的数据流进行分流后转发到相应的流量处理服务器。图3中仅显示了一个流量处理服务器21，但其只是代表性的，实际上，流量转发模块12连接到所有可连接的流量处理服务器。

状态控制模块13也与所有流量处理服务器连接，以控制各流量处理服务器21～2n的当前状态。具体来说，如前所述，在初始化时，状态控制模块13向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。在运行时，一方面，当流量匹配模块11完成流量匹配计算并获得分流规则之后，该状态控制模块13将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。另一方面，当流量转发模块12将总的数据流分流到相应的流量处理服务器并持续一段时间后，状态控制模块13判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多端口流量采集自动切换的分流系统，包括一个流量采集分流设备(10)和至少两个流量处理服务器(21～2n)，其中，

所述流量采集分流设备(10)与位于网络内的网络数据交换机(R)连接，用于获取网络数据交换机(R)的总的数据流后分流至所述流量处理服务器(21～2n)中的至少一个；

每个所述流量处理服务器(21～2n)用于接收所述流量采集分流设备(10)分流的数据流；其特征在于：

所述流量采集分流设备(10)还用于控制各流量处理服务器(21～2n)的状态，所述状态包括“采集态”和“需求态”，“采集态”表示流量处理服务器可以接受任何数据流，“需求态”表示流量处理服务器能够且只能够接受符合当前分流规则的数据流；

所述流量采集分流设备(10)根据预定的流量匹配策略，在所有处于“采集态”的流量处理服务器范围内设定用于分流所述总的数据流的分流规则，并将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。

2.如权利要求1所述的多端口流量采集自动切换的分流系统，其特征在于，所述流量采集分流设备(10)定期将处于“需求态”且分流完毕的流量处理服务器的状态设置为“采集态”。

3.如权利要求1所述的多端口流量采集自动切换的分流系统，其特征在于，在初始化时，所述流量采集分流设备(10)向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。

4.如权利要求1-3中任一项所述的多端口流量采集自动切换的分流系统，其特征在于，所述流量采集分流设备(10)根据当前的分流规则将所述总的数据流分流到相应的流量处理服务器并持续一段时间，然后判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长，所述“到期”是指流量处理服务器处于“需求态”的时长超过所述期限时长。

5.如权利要求1所述的多端口流量采集自动切换的分流系统，其特征在于，所述流量采集分流设备(10)包括流量匹配模块(11)、流量转发模块(12)和状态控制模块(13)，

所述流量匹配模块(11)用于从所述网络数据交换器(R)接收需要分流的总的数据流，并对接收到总的数据流进行分析以进行流量匹配计算，从而获得分流规则；

所述流量转发模块(12)用于按照所述分流规则对所述总的数据流进行分流后转发到相应的流量处理服务器(21～2n)；

所述状态控制模块(13)用于控制所述流量处理服务器(21～2n)的所述状态。

6.如权利要求5所述的多端口流量采集自动切换的分流系统，其特征在于，在初始化时，所述状态控制模块(13)向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”。

7.如权利要求6所述的多端口流量采集自动切换的分流系统，其特征在于，当所述流量匹配模块(11)完成流量匹配计算并获得分流规则之后，所述状态控制模块(13)将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”。

8.如权利要求7所述的多端口流量采集自动切换的分流系统，其特征在于，当所述流量转发模块(12)将所述总的数据流分流到相应的流量处理服务器并持续一段时间后，所述状态控制模块(13)判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长，所述“到期”是指流量处理服务器处于“需求态”的时长超过所述期限时长。

9.一种多端口流量采集自动切换的分流方法，用于多端口流量采集自动切换的分流系统中，所述系统包括一个流量采集分流设备(10)和至少两个流量处理服务器(21～2n)，其特征在于，所述方法包括如下步骤：

S1、流量采集分流设备获取网络数据交换器的总的数据流；

S2、流量采集分流设备向各流量处理服务器发出分流请求，如果收到回应，则将发出所述回应的流量处理服务器的状态设置为“采集态”，所述“采集态”表示流量处理服务器可以接受任何数据流；

S3、流量采集分流设备根据预定的流量匹配策略，在所有处于“采集态”的流量处理服务器范围内设定用于分流所述总的数据流的分流规则；

S4、流量采集分流设备将根据所述分流规则，将分配了数据流的流量处理服务器的状态设置为“需求态”，未分配数据流的流量处理服务器保持为“采集态”，所述“需求态”表示流量处理服务器能够且只能够接受符合当前分流规则的数据流；

S5、流量采集分流设备根据当前的分流规则将所述总的数据流分流到相应的流量处理服务器并持续一段时间；

S6、流量采集分流设备判断处于“需求态”的流量处理服务器是否已到期，对于已到期的流量处理服务器，继续判断其是否分流完毕，如果已分流完毕，则将其状态设置为“采集态”，否则将其“需求态”的期限时长延长一个指定时长，所述“到期”是指流量处理服务器处于“需求态”的时长超过所述期限时长；

S7、重复执行步骤S3～S6，直到完成所述总的数据流的分流，返回步骤S1。