CN101729389B - 基于流量预测和可信网络地址学习的流量控制装置和方法 - Google Patents

Abstract

一种基于流量预测和可信网络地址自学习的流量控制装置和方法；装置包括转发引擎和流量分析单元；所述转发引擎用于转发网络数据包、统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；当检测到攻击流量时，采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元，以及根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制；所述流量分析单元用于根据所接收的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于所述网络数据包样本对应的目标主机的攻击流量过滤规则。

Description

基于流量预测和可信网络地址学习的流量控制装置和方法

技术领域

本发明涉及一种实现流量控制的装置，具体涉及一种基于流量预测和可信网络地址自学习的流量控制装置和方法。

背景技术

网络安全边界网关通常部署在被保护网络的入口处，它对进出被保护网络的网络数据包进行检查，一旦发现网络入侵，则通过报文过滤等方式阻止网络入侵企图的发生，以将网络攻击损失减至最小。可以将目前常见的针对被保护网络中目标主机的网络攻击分为两类：一类为基于少量恶意构造报文的漏洞攻击；另一类为基于大量网络报文的流量攻击。前者包括各种远程缓冲区溢出攻击、泪滴攻击、SQL注入攻击等，该类攻击可以通过传统入侵检测系统的攻击特征匹配方法检测；后者通常指那些通过向受害目标主机发送大量的垃圾网络流量来消耗被攻击对象有限资源的攻击，它能够使被攻击对象失去正常的工作能力，从而无法为合法用户提供服务，这就是我们通常所说的拒绝服务攻击。由于拒绝服务攻击中所发送的报文都具有合法格式，因此很难通过传统入侵检测系统攻击特征匹配方法来进行检测和防御，需要采取新的检测和防御方法。在网络安全边界网关上进行对拒绝服务攻击之类的攻击流量的检测和控制，对保证目标网络中目标主机的安全性具有重要意义。

现有一些可用于网络安全边界网关的流量控制技术。发明专利“CN1282331C”中描述了一种可应用于通信数据转发设备上的流量控制技术，它通过监视各接收端口的流量并通过预设的流量阈值来检测发现攻击流量，并提取网络流量中最频繁出现的网络数据包包长和IP地址作为攻击流量的主要特征，最后据此来对相关接收端口的流量进行控制；该流量控制方法主要用来控制定长短包等攻击流量，它存在以下问题：1)现实环境中用来检测攻击流量的流量检测阈值很难设置，阈值设置得过高导致漏报，过低则导致误报；2)该方法只能对定长短包类型攻击流量进行控制，无法对那些变化多端特别是那些伪造了源IP地址的攻击流量进行有效控制。发明专利“200510069473.8”公布了一种流量攻击网络设备的报文特征检测方法，该方法统计所处理的报文中各报头字段的固定取值出现频率，选取那些出现频率超过攻击阈值的报文字段值作为攻击报文特征，该攻击特征检测方法存在以下问题：1)只依靠单个报文字段值描述攻击报文特征具有片面性；2)用来筛选攻击报文特征的检测阈值难于确定，设得太高则得到的攻击特征太少，设得太低则选取的攻击特征太多；3)无法直接依据基于单个字段值的攻击报文特征来进行攻击流量控制，否则会导致误杀。软件学报2006年第17卷第2期期刊论文发表了一篇标题为“基于特征聚类的路由器攻击流量过滤算法”文章，该文章介绍了一种可用于路由器上的攻击流量过滤算法，它通过检查输入端口是否超过预定阈值来检测攻击流量，通过增量聚类算法从抽样的攻击报文中提取出现频率最高的单个报文字段值作为攻击流量报文特征，并据此来实现对攻击流量的控制；该攻击流量过滤算法与发明专利“200510069473.8”中描述的方法存在类似的问题，不适合应用在网络安全边界网关上。

当前，拒绝服务攻击等流量攻击事件都具有较强的目的性，一般都是针对某个具体的目标主机实施攻击，并且拒绝服务攻击中发送的网络数据包的源网络地址都是伪造的，目的是要增加攻击过程中的溯源难度，从而躲避法律制裁。现有在网络中间转发设备实现的流量控制方法一般都以接收端口为检测和控制对象，并不适合直接在网络安全边界网关上使用。此外，网络中间转发设备一般无法获知被保护网络的具体信息，比如被保护目标主机的IP地址、所需要保护的网络服务等，因此，无法对转发的网络流量做细粒度划分、统计分析和细粒度流量控制，如果将网络中间转发设备的流量控制方法直接移植到网络安全边界网关上则无法对被保护网络实施最佳保护。

发明内容

本发明要解决的技术问题是提供一种基于流量预测和可信网络地址自学习的流量控制装置和方法，克服了固定检测阈值难于事先设置的问题，并且在流量控制过程中能快速识别和转发来自可信远程主机的网络流量，并同时对其余流量采用攻击报文过滤规则进行过滤，真正保证目标主机的流量安全。

为了解决上述问题，本发明提供了一种基于流量预测和可信网络地址自学习的流量控制装置，包括用于转发网络数据包的转发引擎和流量分析单元；

所述转发引擎还用于统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；当检测到攻击流量时，采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元，以及根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制；

所述流量分析单元用于根据所接收的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于所述网络数据包样本对应的目标主机的攻击流量过滤规则，并发送给转发引擎。

进一步的，所述转发引擎检测到攻击流量具体是指：

所述转发引擎在当前单位统计时间段开始时，根据历史流量统计数据对当前单位统计时间段内进入各目标主机的网络流量进行预测；对当前单位统计时间段内进入各目标主机的实际网络流量进行统计；当发现进入某一目标主机的实际网络流量超出所预测的网络流量，并且超出部分的网络流量超过了预先设定的超量门限值时，则认为检测到了针对该目标主机的攻击流量。

进一步的，所述转发引擎检测到攻击流量具体是指：

转发引擎在当前单位统计时间段开始时，以目标主机的各类型网络数据包在最近数个连续的单位时间段内的历史流量数据序列为依据，采用时间序列预测方法计算出当前单位统计时间段内，进入该目标主机的各类型网络数据包的网络流量估计值；

转发引擎按照报文类型，对当前单位统计时间段内进入各目标主机的网络数据包分别进行统计；当发现进入某一目标主机的某种类型网络数据包的实际网络流量超出所预测的该类型网络数据包的网络流量，并且超出部分的网络流量超过了预先设定的超量门限值时，则认为检测到了针对该目标主机的基于该类型网络数据包的攻击流量；

相应地，转发引擎采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元具体是指：

转发引擎从发往具有攻击流量的目标主机的网络数据包中，采样具有攻击流量的类型的网络数据包；将采样到的网络数据包发送给流量分析单元，并指明该样本对应的目标主机和网络数据包类型；

相应的，流量分析单元发送攻击流量过滤规则时，指明本规则对应的目标主机和网络数据包类型；

网络数据包类型包括传输控制协议TCP、用户数据包协议UDP和网际控制消息协议ICMP中的任一个或任几个。

进一步的，所述转发引擎确定当前单位统计时间段的网络流量的预测值为：α与前一单位统计时间段的网络流量预测值的误差之积，加上前一单位统计时间段的网络流量的预测值；

所述前一单位统计时间段的网络流量预测值的误差为：前一单位统计时间段的实际网络流量减去前一单位统计时间段的网络流量预测值；

所述α为0.1。

进一步的，所述转发引擎根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往目标主机的网络数据包进行流量控制具体是指：

转发引擎对发往目标主机的网络数据包，首先判断该网络数据包的源网络地址是否包含于所收集的可信网络地址中；如果是则直接转发该网络数据包到目标主机，否则根据流量攻击报文过滤规则判断丢弃该网络数据包或将其转发给目标主机。

进一步的，转发引擎还用于根据所收集的可信网络地址构建与各目标主机对应的可信网络地址库。

进一步的，所述转发引擎从目标主机发出的网络数据包中收集可信网络地址具体是指：

对于从目标主机发出的TCP类型网络数据包，如果该网络数据包的类型为纯ACK类型报文，转发引擎提取该网络数据包的目标网络地址，将其加入到可信网络地址库中；对于从目标主机发出的UDP类型网络数据包，转发引擎提取该网络数据包的目标网络地址，将其加入到可信网络地址库中。

进一步的，转发引擎根据所收集的可信网络地址构建可信网络地址库具体是指：

转发引擎对于所收集到的可信网络地址，首先采用预先设置的散列函数对其进行散列运算，判断可信网络地址库中以该散列值为下标的比特向量对应位的比特值是否为1，如果不是，则将以该散列值为下标将比特向量的对应位置1；

相应的，所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中是指：

提取该网络数据包的源网络地址，采用预先设置的散列函数对其进行散列运算，在该网络数据包所要发往的目标主机对应的可信网络主机网络地址库中，判断该散列值为下标的比特向量对应位的比特值是否为1；

当所述比特值为1时则判定该网络数据包的源网络地址包含于所收集的可信网络地址中；否则判定该网络数据包的源网络地址未包含于所收集的可信网络地址中。

进一步的，所述转发引擎在构建与各目标主机对应的可信网络地址库时，预先创建一个存储空间大小固定的比特向量组，将每个单位统计时间段创建的比特向量、及该比特向量的创建时间保存在对应的比特向量组中；当所述比特向量组的存储空间没有空余时，用新创建的比特向量替换该比特向量组中创建时间最早的比特向量；

相应的，所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中是指：

转发引擎提取该网络数据包的源网络地址，然后采用预先设置的散列函数对其进行散列运算，在该网络数据包所要发往的目标主机对应的可信网络主机网络地址库中，判断以该散列值为下标的比特向量组中各比特向量对应位的比特值是否至少有一个为1；

有一个或一个以上比特向量对应位的比特值为1，则判定该网络数据包的源网络地址包含于所收集的可信网络地址中；否则判定该网络数据包的源网络地址未包含于所收集的可信网络地址中。

本发明还提供了一种基于流量预测和可信网络地址自学习的流量控制方法，包括：

在转发网络数据包时统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；

当检测到攻击流量时，对送入具有攻击流量的目标主机的网络数据包进行采样；根据采样得到的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于该目标主机的攻击流量过滤规则；

根据所收集的可信网络地址、和所述攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制。

本发明提供的技术方案充分利用了网络安全边界网关可以获知被保护网络具体信息的优势，可以方便的对进出被保护网络中目标主机的网络流量进行实时分析；同时，在单位统计时间段内进出各目标主机网络流量过程中，可以方便地从目标主机发出的网络数据包中收集可信网络地址；本发明以被保护网络中的单个目标主机为攻击流量检测和防御对象，在检测攻击流量时不再采用固定检测阈值方法，而是采用时间序列流量预测技术，可以准确发现针对目标主机的攻击流量；在对发往某目标主机的网络流量进行流量控制时，同时利用了可信网络地址自学习和攻击报文过滤规则自动提取技术，将首先根据先前收集的可信网络地址将网络数据包进行分类，对于来自可信远程主机的网络数据包直接转发到目标主机，而对于其它网络数据包则根据攻击流量报文过滤规则执行结果决定是否转发还是直接丢弃。本发明所述流量控制装置非常适合对突发大流量并且数据包源网络地址随机生成的拒绝服务攻击进行检测和防御。

附图说明

图1为本发明应用实例中转发引擎的处理流程图；

图2为本发明所述转发引擎用于存储最近K个单位时间段内创建的可信网络地址的比特向量组；

图3为本发明应用实例中流量分析单元的处理流程图；

图4为流量分析单元的攻击流量过滤规则提取示例。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

本文中所述的目标主机为流量控制装置进行攻击流量检测和流量控制的对象；该目标主机网络地址需要管理员预先设置；本发明方法支持同时对多个目标主机进行流量控制。

本发明提供了一种基于流量预测和可信网络地址自学习的流量控制装置，包括：转发引擎和流量分析单元；

所述转发引擎用于转发网络数据包，统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；当检测到攻击流量时，采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元，以及根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制；

所述流量分析单元用于根据所接收的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于所述网络数据包样本对应的目标主机的攻击流量过滤规则，并发送给转发引擎。

其中，转发引擎保存目标主机IP地址。

可选的，所述转发引擎检测到攻击流量具体可以是指：

所述转发引擎在当前单位统计时间段开始时，根据历史流量统计数据对当前单位统计时间段内进入各目标主机的网络流量进行预测；对当前单位统计时间段内进入各目标主机的实际网络流量进行统计；当发现进入某一目标主机的实际网络流量超出所预测的网络流量，并且超出部分的网络流量超过了预先设定的超量门限值时，则认为检测到了针对该目标主机的攻击流量。

所述单位统计时间段可以根据实际情况自行定义长度；所述转发引擎发现攻击流量时，可以是采样下一个或下几个单位统计时间段中的网络数据包，也可以是预先设定采样时间段的长度，然后转发引擎在一个采样时间段内对网络数据包进行采样。

判断是否实际网络流量超出所预测的网络流量、并且超出部分的网络流量超过了预先设定的超量门限值的形式可以但不限于是：

判断实际网络流量与所预测的网络流量的比值是否超过预先设定的超量门限值；当然，实际应用中不排除用差值来判断；或是用所预测的网络流量与实际网络流量的比值是否超过一门限值来判断，但实现思想都是一致的。

可选的，所述转发引擎检测到攻击流量具体可以是指：

转发引擎在当前单位统计时间段开始时，以目标主机的各类型网络数据包在最近数个连续的单位时间段内的历史流量数据序列为依据，采用时间序列预测方法计算出当前单位统计时间段内，进入该目标主机的各类型网络数据包的网络流量估计值；

转发引擎按照报文类型，对当前单位统计时间段内进入各目标主机的网络数据包分别进行统计；当发现进入某一目标主机的某种类型网络数据包的实际网络流量超出所预测的该类型网络数据包的网络流量，并且超出部分的网络流量超过了预先设定的超量门限值时，则认为检测到了针对该目标主机的基于该类型网络数据包的攻击流量。

相应地，转发引擎采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元具体可以是指：

转发引擎从发往具有攻击流量的目标主机的网络数据包中，采样具有攻击流量的类型的网络数据包；将采样到的网络数据包发送给流量分析单元，并指明该样本对应的目标主机和网络数据包类型；

相应的，流量分析单元发送攻击流量过滤规则时，指明本规则对应的目标主机和网络数据包类型。

网络数据包类型可以包括传输控制协议TCP、用户数据包协议UDP和网际控制消息协议ICMP中的任一个或任几个。

其中，所述转发引擎可以但不限于采用简单指数平滑法来实现对当前单位时间段内的网络流量预测，当然实际应用时也可以采用其它算法。

简单指数平滑算法的一般公式为：

s_t＝αx_t+(1-α)s_t-1        (^*)

其中，s_t为第t个单位统计时间段的平滑值，即第(t+1)个单位统计时间段的预测值；α为预先设定的平滑系数(取值范围0<α<1)；x_t为第t个单位统计时间段的实际网络流量。

上面的简单指数平滑算法计算公式(^*)稍作变换可得：

s_t＝s_t-1+α(x_t-s_t-1)      (^**)

如果用平滑值s_t作为当前单位统计时间段的预测值，则：

${\hat{x}}_t\left(1\right)={\hat{x}}_{t-1}\left(1\right)+\mathrm{\&alpha;}[x_{t-1}-{\hat{x}}_{t-1}\left(1\right)]={\hat{x}}_{t-1}\left(1\right)+\mathrm{\&alpha;}{e}_t$

其中，

为当前单位统计时间段的网络流量的预测值，

为前一单位统计时间段的网络流量的预测值， $x_{t-1}-{\hat{x}}_{t-1}\left(1\right)=e_t$ 为第t个单位统计时间段的预测误差。因此，简单指数平滑法用于预测实际上是根据前一单位统计时间段预测误差对前一单位统计时间段预测值作出一定的调整后得到的当前单位统计时间段的预测值，即：当前单位统计时间段的网络流量的预测值＝前一单位统计时间段的网络流量的预测值+α×前一单位统计时间段的网络流量预测值的误差；前一单位统计时间段的网络流量预测值的误差为：前一单位统计时间段的实际网络流量减去前一单位统计时间段的网络流量预测值。

其中，对前一单位统计时间段的网络流量预测值所作的调整的幅度视α的大小而定，α越大，所作的调整也越大，α越小，所作的调整也越小。在实施本发明过程中，α可以选择取值为0.1。

其中，所述转发引擎在对各单位统计时间段内网络流量进行预测时，对于第一个单位统计时间段的流量数据预测值S₀和第二个单位统计时间段的流量数据预测值S₁分别取其实际网络流量统计值，对于后续单位统计时间段的网络流量预测值则采用上述简单指数平滑计算公式(^**)来计算。

可选的，所述转发引擎根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往目标主机的网络数据包进行流量控制具体可以是指：

转发引擎对发往目标主机的网络数据包，首先判断该网络数据包的源网络地址是否包含于所收集的可信网络地址中；如果是则直接转发该网络数据包到目标主机，否则根据流量攻击报文过滤规则判断丢弃该网络数据包或将其转发给目标主机。

可以预设流量控制时间段的长度，该长度可以但不限于等于一个或几个单位统计时间段的长度；转发引擎在流量控制时间段内进行上述流量控制；流量控制时间段结束后，转发引擎对发往应用所述攻击流量过滤规则的目标主机的、过滤前的网络流量进行检查，如果未发现攻击流量，则表示攻击流量攻击已退，删除相应的攻击流量过滤规则；否则继续进行流量控制。

可选的，转发引擎还用于根据所收集的可信网络地址构建与各目标主机对应的可信网络地址库。

可选的，所述转发引擎从目标主机发出的网络数据包中收集可信网络地址具体可以是指：

对于从目标主机发出的TCP类型网络数据包，如果该网络数据包的类型为纯ACK类型报文，转发引擎提取该网络数据包的目标网络地址，将其加入到可信网络地址库中；对于从目标主机发出的UDP类型网络数据包，转发引擎提取该网络数据包的目标网络地址，将其加入到可信网络地址库中。

所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中可以是指：转发引擎判断网络数据包的源网络地址是否包含于该网络数据包所要发往的目标主机对应的可信网络地址库中。

可选的，所述转发引擎可以通过一个比特向量来构建和维护与某个目标主机对应的可信网络地址库；

可选的，所述转发引擎根据所收集的可信网络地址构建可信网络地址库具体可以是指：

转发引擎对于所收集到的可信网络地址，首先采用预先设置的散列函数对其进行散列运算，判断可信网络地址库中以该散列值为下标的比特向量对应位的比特值是否为1，如果不是，则将以该散列值为下标将比特向量的对应位的比特值置1。

相应的，所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中可以是指：

提取该网络数据包的源网络地址，采用预先设置的散列函数对其进行散列运算，在该网络数据包所要发往的目标主机对应的可信网络主机网络地址库中，判断该散列值为下标的比特向量对应位的比特值是否为1。

当所述比特值为1时则判定该网络数据包的源网络地址包含于所收集的可信网络地址中，即该网络数据包来自可信远程主机；否则判定该网络数据包的源网络地址未包含于所收集的可信网络地址中，即该网络数据包不属于可信远程主机。

可选的，所述转发引擎在构建与各目标主机对应的可信网络地址库时可以预先创建一个存储空间大小固定的比特向量组，将每个单位统计时间段创建的比特向量、及该比特向量的创建时间保存在对应的比特向量组中，也就是说将保存若干个连续的单位统计时间段内的一组比特向量；当所述比特向量组的存储空间没有空余时，用新创建的比特向量替换该比特向量组中创建时间最早的比特向量。

相应的，所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中可以是指：

转发引擎提取该网络数据包的源网络地址，然后采用预先设置的散列函数对其进行散列运算，在该网络数据包所要发往的目标主机对应的可信网络主机网络地址库中，判断以该散列值为下标的比特向量组中各比特向量对应位的比特值是否至少有一个为1；

只要有一个比特向量对应位的比特值为1，则判定该网络数据包的源网络地址包含于所收集的可信网络地址中，即该网络数据包来自可信远程主机；否则判定该网络数据包的源网络地址未包含于所收集的可信网络地址中，即该网络数据包不属于可信远程主机。

可选的，转发引擎发送给流量分析单元的样本可以仅为包头部分。

可选的，所述流量分析单元以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于该目标主机的攻击流量过滤规则具体可以是指：

流量分析单元以所接收网络数据包样本的类型对应的TCP/IP协议包头字段值为项，提取出满足预设的最小支持度的各TCP/IP协议报文字段值为元数为一的独元频繁项目集作为当前频繁项目集；重复进行以下操作直至无法生成元数更多的频繁项目集：从当前频繁项目集出发，采用拼接和剪枝方法生成元数增一的候选频繁项目集；基于攻击流量网络数据包样本统计各候选频繁项目集的支持度，选择所有满足最小支持度的候选频繁项目集为所求的元数增一的当前频繁项目集；对所选的所有频繁项目集先按照元数降序排序，再对元数相同的频繁项目集按照支持度降序排序；从排序后的频繁项目集里，依次选取一组满足报文过滤比例阈值的频繁项目集的最小集合为该类型网络数据包的攻击流量过滤规则。

其中，所述报文过滤比例阈值可以根据经验值预先设定，也可以动态计算；假设一个网络设备中，报文流量平稳时平均为每秒20M字节，在一个时间段突然增加到每秒100M字节，那么可以将所述报文过滤比例阈值定为80％，即准备将突增的报文过滤掉。排序后，元数最多并且支持度最高的频繁项目集排在第一位，所述“依次选取”就是指从第一位开始，按序选取。

其中，对于TCP类型流量攻击，所述的TCP/IP协议包头包括IP包头和TCP包头；对于UDP类型流量攻击，所述的TCP/IP协议包头包括IP包头和UDP包头；对于ICMP类型流量攻击，所述的TCP/IP协议包头包括IP包头和ICMP包头。所述的标准TCP/IP协议包头在TCP/IP协议标准文档中都有具体的定义。

本发明还提供了一种基于流量预测和可信网络地址自学习的流量控制方法，包括：

在转发网络数据包时统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；

当检测到攻击流量时，对送入具有攻击流量的目标主机的网络数据包进行采样；根据采样得到的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于该目标主机的攻击流量过滤规则；

根据所收集的可信网络地址、和所述攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制。

并发送给转发引擎。其它实现细节同装置中所述，这里不再重复。

下面用本发明的一个应用示例进一步加以说明。

本应用实例中，面向目标网络的流量控制装置包括：转发引擎和流量分析单元。

首先，在转发引擎中配置目标主机IP地址，在具体实施时，可以通过配置文件方式来定义需要保护的目标主机的IP地址。

转发引擎的处理流程如图1所示，包括：

101、单位统计时间段开始时，转发引擎首先根据先前各单位统计时间段的网络数据包流量历史数据序列，预测当前统计单位时间段的网络流量；

102、转发引擎对当前单位时间段内进出各目标主机的网络流量进行统计，同时从各目标主机发出的特定类型网络数据包中抽取远程主机网络地址来构建与各目标主机对应的可信网络地址库；

103、单位统计时间段结束时，转发引擎检查进入各目标主机的实际网络流量，当发现进入某目标主机的实际网络流量超出当前单位时间段流量预测值的预先设定倍数时，就跳转到步骤104开始对进入该目标主机的网络流量实施流量控制，否则，回到步骤101继续执行；

104、在接下来的预定长度的采样时间段(该采样时间段的长度可以但不限于为一个单位统计时间段的长度)内，转发引擎在进行正常的网络数据包处理的同时，采样所处理的网络数据包，将样本转发给流量分析单元；

105、采样时间段结束后，流量分析单元开始根据网络数据包样本提取攻击流量过滤规则并发给转发引擎；

转发引擎安装由流量分析单元发送来的攻击流量过滤规则；

106、在接下来的预定的流量控制时间段(该流量控制时间段的长度可以但不限于为一个单位统计时间段的长度)内，对于发往目标主机的网络数据包，首先根据先前构建的可信网络地址库对其进行分类，对于来自可信远程主机的网络数据包直接转发，对于其它网络数据包则由攻击流量过滤规则执行结果决定是否转发还是丢弃；

107、流量控制时间段结束后，对发往该目标主机的过滤前的网络流量进行检查，如果发现网络流量正常，表示攻击流量攻击已退，转步骤108；如果发现流量攻击依然存在，则转步骤106执行；

108、此时删除针对目标主机的攻击流量过滤规则，转步骤101执行。

在具体实施本发明时，转发引擎可按如下方式判定一个网络数据包是否为发往目标主机的网络数据包，还是由目标主机发出的网络数据包：当转发引擎从外网口接收到一个网络数据包时，取其目的IP地址，如果目的IP地址等于某目标主机IP地址，则判定该网络数据包为发往该目标主机的网络数据包；当转发引擎从内网口接收到一个网络数据包时，取其源IP地址，如果源IP地址正好等于某目标主机的IP地址，则判定该网络数据包为由该目标主机发出的网络数据包。

转发引擎在转发进出各目标主机的网络流量时，除了按TCP、UDP和ICMP三种报文类型对进出各目标主机的网络流量进行统计外，还将从各目标主机发出的特定类型的网络数据包中收集可信网络地址，并更新与目标主机相关的可信网络地址库，具体方法为：对于从目标主机发出的TCP类型网络数据包，如果该网络数据包的类型为纯ACK类型报文，取该网络数据包的目标网络地址，将其加入到可信网络地址库中；对于从目标主机发出的UDP类型网络数据包，取该网络数据包的目标网络地址，将其加入到可信网络地址库中。

转发引擎中用来记录单位时间段内可信网络地址的数据结构可以为一个具有固定位数的比特向量，并为该比特向量设置一个散列函数，该散列函数的输入为远程主机网络地址，输出的散列值取值范围则为该比特向量地址寻址空间。当需要将一个远程主机网络地址加入到可信网络地址库时，首先使用该散列函数对该网络地址进行散列，然后以该散列值为下标寻址比特向量，将对应位的比特值置为1。

如图2所示，可信网络地址库可以为每个单位统计时间段维护独立的比特向量，并保存最近预定个数的连续单位统计时间段内的一组比特向量，当比特向量组存储空间满时，最近单位统计时间段内创建的比特向量将替换掉该比特向量组中最早时间创建的比特向量。该可信网络地址库中有K个比特向量存储空间，它允许存储最近K个连续单位统计时间段内创建的比特向量。在第(K+1)单位统计时间段创建的比特向量将替换掉组中第一个单位统计时间段创建的比特向量。

当检测到攻击流量时，转发引擎将采样发往目标主机的网络数据包样本并转发给流量分析单元进行分析。转发引擎采样的只是某段时间内的发往目标主机的网络数据包，而不是所有的网络数据包；并且，由于流量分析单元只是对网络数据包的TCP/IP协议包头进行分析，因此这里并不需要转发一个完整的网络数据包，而可以只是一个网络数据包包头。由于TCP/UDP/ICMP类型的网络数据包包头长度不同，因此，采样时截取的包头长度也可以不一样。具体实施时，对于TCP类型网络数据包，可以只截取前60个字节的包头(不包括MAC帧头)，对于UDP类型网络数据包，可以只截取前48个字节的包头(不包括MAC帧头)，对于ICMP类型网络数据包，可以只截取前32个字节的包头(不包括MAC帧头)。

流量分析单元采用频繁项目集挖掘算法来抽取网络数据包样本的共同特征，该算法类似于数据挖掘算法中的经典Apriori算法，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集为应用于该目标主机的攻击流量过滤规则。流量分析单元的处理流程如图3所示，包括：

301、以各TCP/IP协议包头字段值为项，提取出满足预设的最小支持度的各TCP/IP协议报文字段值为元数为一的独元频繁项目集作为当前频繁项目集；

302、从当前频繁项目集出发，采用拼接和剪枝方法生成元数增一的候选频繁项目集；

303、基于攻击流量网络数据包样本统计各候选频繁项目集的支持度，选择所有满足最小支持度的候选频繁项目集为所求的元数增一的当前频繁项目集；

304、重复步骤302和步骤303，直至无法生成元数更多的当前频繁项目集，然后进行步骤305；

305、对所选的所有频繁项目集先按照元数降序排序，再对元数相同的频繁项目集按照支持度降序排序；从排序后的频繁项目集里，依次选取一组满足报文过滤比例阈值的频繁项目集的最小集合为该类型网络数据包的攻击流量过滤规则。

实施频繁项目集挖掘算法需要对数据进行多次扫描，因此在具体实施流量分析单元模块时，需要缓存由转发引擎发送来的网络数据包。可以采用循环缓存区来存储网络数据包样本，并且可以为TCP/UDP/ICMP三类报文构建单独的循环缓冲区。

步骤301的具体步骤可以为：对于报文抽样缓冲区中每一个网络数据包，取选定包头字段的值，然后查询哈希表，如果该包头字段值在哈希表中，则对应计数器加一、否则创建新的计数器值为一的项并插入到哈希表中；最后，遍历哈希表，找到所有计数值满足预定的最小支持度的项目。所求的所有满足最小支持度的字段值即为本项目的独元频繁项目。实际应用中也可以采用其它方法找到所有满足最小支持度的项目取值。

以TCP类型网络数据包为例，图4说明了步骤302和步骤303的工作过程。在该实施例中，假设通过步骤301从TCP类型流量攻击报文中求得的所有独元频繁项目集如下：对于IP生存期项，求得的两个独元频繁项目集为TTL1和TTL2；对于IP标识项，求得的两个独元频繁项目集为ID1和ID2；对于TCP标识项，求得的两个独元频繁项目集为Flag1和Flag2；

按照步骤302，首先基于这些独元频繁项目集生成候选二元项目集，总共可以生成 $C_6^2=15$ 个候选频繁项目集，由于来自同一个项的两个独元频繁项目集组成的二元候选项目集在本发明中没有意义需要裁减掉，因此，最后剩下12个二元候选项目集；

步骤303则基于TCP类型报文抽样缓冲区中的报文统计这12个二元候选项目集的支持度，最后，依据最小支持度确定二元频繁项目集为图4中第二行所示的7个二元频繁项目集。由于所求的二元频繁项目集不为空，所以以所求的二元频繁项目集为当前频繁项目集，重复执行步骤302，并且由于来自同一个包头字段的两个项不能同时出现在三元候选项目中，因此可以得到8个候选三元项目集；再根据频繁项目集性质对其进行裁减，将这8个候选三元项目集减少为2个；

执行步骤304，得到的三元频繁项目集为2个：{TTL1，ID1，Flag1}，{TTL1，ID2，Flag2}。由于这里得到的三元频繁项目集不为空，因此，设置所求的三元频繁项目集为当前频繁项目集，重复执行步骤302，得到的候选四元项目集为空，整个频繁项目挖掘过程结束，所求的频繁项目集的最大元数为3。

步骤305最后还需要对所找到的所有频繁项目集先按照元数降序排序，再对元数相同的频繁项目集按照支持度降序排序；从排序后的频繁项目集里，依次选取一组满足报文过滤比例阈值的频繁项目集的最小集合为该类型网络数据包的攻击流量过滤规则。

假设预先设定的报文过滤比例阈值为η，具体步骤为：首先，取排序后的第1个频繁项目集，考察被选频繁项目集的集合过滤的报文抽样缓冲区的报文比例λ，如果λ大于预先设定的报文过滤比例阈值η，则输出按降序排序后的第1个频繁项目集为所求的攻击报文特征并结束；否则，取排序后的前2个频繁项目集，考察被选频繁项目集集合过滤的报文抽样缓冲区的报文比例λ，如果λ大于预先设定的报文过滤比例阈值η，则输出排序后的前2个频繁项目集为所求的攻击报文特征并结束；否则，取排序后的前3个频繁项目集，考察被选频繁项目集集合过滤的报文抽样缓冲区的报文比例λ，如果λ大于预先设定的报文过滤比例阈值η，则输出排序后的前3个频繁项目集为所求的攻击报文特征并结束；以此类推，直至所考察的排序后的前n个频繁项目集过滤的报文抽样缓冲区的报文比例λ大于预先设定的报文过滤比例阈值η，则输出排序后的前n个频繁项目集为所求的攻击报文特征并结束。

所述转发引擎对进入某目标主机的网络流量实施流量控制的具体方法可以为：对发往该目标主机的网络数据包，首先判定该网络数据包的源网络地址是否包含于该目标主机先前构建的可信网络地址库中，如果是则直接转发该网络数据包到目标主机，否则执行流量攻击报文过滤规则，由过滤规则执行结果决定是否丢弃该网络数据包还是转发给目标主机。

其中，所述转发引擎可以按照如下方法判定该网络数据包是否来自可信远程主机：取该网络数据包的源网络地址，然后采用预先设置的散列函数对其进行散列运算，最后以该散列值为下标检查该目标主机相关的可信网络地址库比特向量组中各比特向量对应位的比特值，只要有一个比特向量的对应比特位的比特值为1，则判定该网络数据包来自可信远程主机，否则判定其不属于可信远程主机。

其中，为了加快可信网络地址判定速度，可以将可信网络地址库中的一组比特向量的对应位进行或运算，得到一个综合比特向量。因此，在判定一个网络数据包是否来自可信远程主机时，可以取该网络数据包的源网络地址，然后采用预先设置的散列函数对其进行散列运算，最后以该散列值为下标检查综合比特向量的对应比特位，如果为1，则判定为真，否则判定为假。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种基于流量预测和可信网络地址自学习的流量控制装置，包括用于转发网络数据包的转发引擎和流量分析单元；其特征在于：

所述转发引擎还用于统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；当检测到攻击流量时，采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元，以及根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制；

所述流量分析单元用于根据所接收的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于所述网络数据包样本对应的目标主机的攻击流量过滤规则，并发送给转发引擎；

所述转发引擎检测到攻击流量具体是指：

转发引擎在当前单位统计时间段开始时，以目标主机的各类型网络数据包在最近数个连续的单位时间段内的历史流量数据序列为依据，采用时间序列预测方法计算出当前单位统计时间段内，进入该目标主机的各类型网络数据包的网络流量估计值；

转发引擎按照报文类型，对当前单位统计时间段内进入各目标主机的网络数据包分别进行统计；当发现进入某一目标主机的某种类型网络数据包的实际网络流量超出所预测的该类型网络数据包的网络流量，并且超出部分的网络流量超过了预先设定的超量门限值时，则认为检测到了针对该目标主机的基于该类型网络数据包的攻击流量；

相应地，转发引擎采样送入具有攻击流量的目标主机的网络数据包并将样本发给流量分析单元具体是指：

转发引擎从发往具有攻击流量的目标主机的网络数据包中，采样具有攻击流量的类型的网络数据包；将采样到的网络数据包发送给流量分析单元，并指明该样本对应的目标主机和网络数据包类型；

相应的，流量分析单元发送攻击流量过滤规则时，指明本规则对应的目标主机和网络数据包类型；

网络数据包类型包括传输控制协议TCP、用户数据包协议UDP和网际控制消息协议ICMP中的任一个或任几个。

2.如权利要求1所述的流量控制装置，其特征在于：

所述转发引擎确定当前单位统计时间段的网络流量的预测值为：α与前一单位统计时间段的网络流量预测值的误差之积，加上前一单位统计时间段的网络流量的预测值；

所述前一单位统计时间段的网络流量预测值的误差为：前一单位统计时间段的实际网络流量减去前一单位统计时间段的网络流量预测值；

所述α为0.1。

3.如权利要求1所述的流量控制装置，其特征在于，所述转发引擎根据所收集的可信网络地址、和流量分析单元返回的攻击流量过滤规则对发往目标主机的网络数据包进行流量控制具体是指：

转发引擎对发往目标主机的网络数据包，首先判断该网络数据包的源网络地址是否包含于所收集的可信网络地址中；如果是则直接转发该网络数据包到目标主机，否则根据流量攻击报文过滤规则判断丢弃该网络数据包或将其转发给目标主机。

4.如权利要求3所述的流量控制装置，其特征在于：

转发引擎还用于根据所收集的可信网络地址构建与各目标主机对应的可信网络地址库。

5.如权利要求4所述的流量控制装置，其特征在于，所述转发引擎从目标主机发出的网络数据包中收集可信网络地址具体是指：

对于从目标主机发出的TCP类型网络数据包，如果该网络数据包的类型为纯ACK类型报文，转发引擎提取该网络数据包的目标网络地址，将其加入到可信网络地址库中；对于从目标主机发出的UDP类型网络数据包，转发引擎提取该网络数据包的目标网络地址，将其加入到可信网络地址库中。

6.如权利要求4所述的流量控制装置，其特征在于，转发引擎根据所收集的可信网络地址构建可信网络地址库具体是指：

转发引擎对于所收集到的可信网络地址，首先采用预先设置的散列函数对其进行散列运算，判断可信网络地址库中以该散列值为下标的比特向量对应位的比特值是否为1，如果不是，则将以该散列值为下标的比特向量的对应位置1；

相应的，所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中是指：

提取该网络数据包的源网络地址，采用预先设置的散列函数对其进行散列运算，在该网络数据包所要发往的目标主机对应的可信网络主机网络地址库中，判断该散列值为下标的比特向量对应位的比特值是否为1；

当所述比特值为1时则判定该网络数据包的源网络地址包含于所收集的可信网络地址中；否则判定该网络数据包的源网络地址未包含于所收集的可信网络地址中。

7.如权利要求4所述的流量控制装置，其特征在于，

所述转发引擎在构建与各目标主机对应的可信网络地址库时，预先创建一个存储空间大小固定的比特向量组，将每个单位统计时间段创建的比特向量、及该比特向量的创建时间保存在对应的比特向量组中；当所述比特向量组的存储空间没有空余时，用新创建的比特向量替换该比特向量组中创建时间最早的比特向量；

相应的，所述转发引擎判断网络数据包的源网络地址是否包含于所收集的可信网络地址中是指：

转发引擎提取该网络数据包的源网络地址，然后采用预先设置的散列函数对其进行散列运算，在该网络数据包所要发往的目标主机对应的可信网络主机网络地址库中，判断以该散列值为下标的比特向量组中各比特向量对应位的比特值是否至少有一个为1；

有一个或一个以上比特向量对应位的比特值为1，则判定该网络数据包的源网络地址包含于所收集的可信网络地址中；否则判定该网络数据包的源网络地址未包含于所收集的可信网络地址中。

8.一种基于流量预测和可信网络地址自学习的流量控制方法，包括：

在转发网络数据包时统计进出各目标主机的网络流量，从各目标主机发出的网络数据包中收集可信网络地址；

当检测到攻击流量时，对送入具有攻击流量的目标主机的网络数据包进行采样；根据采样得到的网络数据包样本，以各TCP/IP协议包头字段值为项，提取满足预设最小支持度的频繁项目集作为应用于该目标主机的攻击流量过滤规则；

根据所收集的可信网络地址、和所述攻击流量过滤规则对发往该目标主机的网络数据包进行流量控制；

所述检测到攻击流量是指：

转发引擎在当前单位统计时间段开始时，以目标主机的各类型网络数据包在最近数个连续的单位时间段内的历史流量数据序列为依据，采用时间序列预测方法计算出当前单位统计时间段内，进入该目标主机的各类型网络数据包的网络流量估计值；

转发引擎按照报文类型，对当前单位统计时间段内进入各目标主机的网络数据包分别进行统计；当发现进入某一目标主机的某种类型网络数据包的实际网络流量超出所预测的该类型网络数据包的网络流量，并且超出部分的网络流量超过了预先设定的超量门限值时，则认为检测到了针对该目标主机的基于该类型网络数据包的攻击流量。

Images