CN101420419A - 一种自适应高速网络流量分层抽样采集方法 - Google Patents

Abstract

本发明公开了一种自适应高速网络流量分层抽样采集方法。按照IP报文的协议类型，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层。采用混合式触发方式，即基于报文头部协议字段的内容对高速网络流量进行分层，在每个层的内部采用基于报文计数溢出的方式触发报文抽样过程，并将调整分层抽样策略的时间间隔定为60秒。根据网络速率的动态变化，自适应调整每个层内报文计数器的溢出值。本发明适用于各种NIDS产品，优点如下：为NIDS在T比特网络环境下提供有效的用于入侵检测的抽样流量；增强NIDS自身抵御拒绝服务攻击的能力；方法具有通用型，安装/配置简单。

Description

一种自适应高速网络流量分层抽样采集方法

技术领域

本发明涉及网络入侵检测系统(NIDS：Network Intrusion Detection System)处理大规模高速网络流量的方法，尤其涉及一种自适应高速网络流量分层抽样采集方法。

背景技术

随着网络规模的扩大，带宽的增长和用户数量的急剧暴涨，高速网络环境越来越多。然而，大规模高速网络(特别是G比特网络)环境下，大量的网络数据使得NIDS面临严峻的挑战。报文的到达速率远远超过NIDS的处理能力，造成严重丢包，NIDS无法对高速流量进行完整的安全监控和入侵检测，甚至造成NIDS自身失效。

针对高速网络环境下的NIDS存在的问题，国内外提出了一些解决方案：

零拷贝技术，主要使用DMA数据传输和内存区映射技术，以减少报文拷贝的次数，减少系统调用，实现报文从网络设备到用户空间传递过程中CPU的零参与。这种方法无法实现Gbps流量处理。

负载均衡技术，对于具有多个入侵检测探针的分布式NIDS，可以将大规模高速网络流量分流到多个节点进行处理，从而降低整个NIDS的流量负载，避免出现丢包现象。这种方法实现代价较高，复杂的负载均衡算法会影响整个系统的效率，NIDS还需要对分流后的流量重组才能进行完整的入侵检测。

近来，硬件实现(如基于FPGA)的NIDS可以支持最高10Gbps高速流量，但是这种方法也有局限：只能进行特征监测，无法进行异常监测，无法识别新型入侵和攻击；随着入侵检测规则的增多，性能会受到严重的影响。

总之，由于捕获，存储和分析等计算机资源的限制，传统的基于每包监测的NIDS无法适用于未来的T比特网络。

针对网络流量的统计学抽样最早应用于评估NSFNET骨干网的报文尺寸分布和线路延迟，现已广泛应用于高速链路的流量测量。传统的抽样流量数据主要用于网络管理任务，随着安全分析的要求日益迫切，抽样流量数据也应用于各种异常检测算法。

报文抽样技术是高速网络流量监测中经常采用的一种有效测量技术。它对观测点所在链路上通过的报文进行抽样操作，形成报文样本，这些报文样本所反映出来的特征可以从某种程度上体现出链路上原来真实流量特征。

在国内外高速网络流量异常监测技术的研究中，网络流量的抽样技术已经成为了研究的热点。

发明内容

本发明目的在于克服了现有技术中的不足，提供了一种自适应高速网络流量分层抽样采集方法。

本发明的技术方案是：

一种自适应高速网络流量分层抽样采集方法，包含以下步骤：

一种自适应高速网络流量分层抽样采集方法，包含以下步骤：(a)按照IP数据报首部协议字段的值，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层；(b)每个层内采用基于报文计数溢出的方式触发报文抽样过程；(c)样本分配方法采用自适应高速网络流量速率进行动态调整；(d)确定调整分层抽样策略的时间间隔。

将IP数据报协议字段的8个比特与对应十进制表示为6和17的两个比特掩码分别进行匹配，以确定该报文是属于TCP流量这一层还是UDP流量这一层，若两者皆不匹配，则该报文属于其他协议流量这一层。

每个层维护单独的报文计数器对流经的报文进行计数，如果报文计数器溢出则触发抽样过程，抽取对应的报文，同时将该报文计数器设置为“0”，重新开始计数，直到溢出再抽取下一个对应的报文，如此循环进行；

对于TCP流量，报文计数器溢出值按照(2ⁱ-1)进行动态调整，同时抽取报文TCP头部任何一个SYN，RST或FIN标志位置“1”的报文。

对于UDP流量，报文计数器溢出值按照(2×i-1)进行动态调整。

对于其他协议流量，报文计数器溢出值按照(i-1)进行动态调整。

将调整分层抽样策略的时间间隔缺省设置为60秒，经过一个月或更长时间连续运行后，再根据具体的高速网络应用环境和相应TCP流的生存周期的累计分布函数统计特征决定是否需要进行微调；所说的TCP流指的是具有相同源/目IP地址，源/目端口号和协议的一系列报文。

采用分层抽样的策略：本发明针对使用IP协议版本号为4的报文，按照IP数据报首部协议字段的值，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层。

采用混合式触发方式：基于IP数据报首部协议字段的值将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层，在实现时将IP数据报协议字段的8个比特与对应十进制表示为6和17的两个比特掩码分别进行匹配，以确定该报文是属于TCP流量这一层还是UDP流量这一层，若两者皆不匹配，则该报文应该属于其他协议流量这一层。同时，在每个层的内部采用的是基于报文计数溢出的方式触发报文抽样过程。即每个层需要维护单独的报文计数器对流经的报文进行计数，如果报文计数器溢出则触发抽样过程，抽取对应的报文，同时将该报文计数器设置为“0”，重新开始计数，直到溢出再抽取下一个对应的报文，如此循环进行。

确定调整分层抽样策略的时间间隔：实现时为了简化调整过程，本发明建议采用固定时间间隔。如何确定时间间隔应根据具体的高速网络应用环境情况，主要是考虑相应TCP流的生存周期的累计分布函数这个统计特性，这里的TCP流指的是具有相同源/目IP地址，源/目端口号，使用相同协议的一系列报文。本发明推荐将调整分层抽样策略的时间间隔缺省设置为60秒，经过一段时间(如一个月或更长)的连续运行以后，可考虑是否需要对时间间隔再进行微调。

确定分层抽样参数：本发明是基于IP数据报首部协议字段的值对高速网络流量进行分层的，故分层特征参数就是报文的协议类型；分层的层数L为3；分层边界也是十分清晰的，由于一个报文的协议类型只可能是TCP协议，UDP协议或其他协议三者中的一个，故报文的协议类型严格限定了三个层次的边界，不会出现层间互相重叠的现象；用于入侵检测流量处理的抽样方法是对网络流量的智能预处理，即尽可能抽取可能含有攻击/入侵特征的报文，过滤掉那些正常通信的报文，目的是在减少数据量的同时，尽可能不影响NIDS的检测性能，这与纯粹的统计学领域的分层抽样方法是有区别的。同时为了自适应网络速率的动态变化，每个层内的样本数量需要不断进行调整，因此样本分配方法是处于动态调整的。

根据高速网络流量速率，自适应调整数据包抽样间隔：对于TCP流量，可将报文计数器溢出值按照(2ⁱ-1)(i是大于1的整数)进行动态调整，即当预测的总体流量增加时，下一个60秒的报文计数间隔为前一个60秒的二倍，否则减少为二分之一。同时采用基于报文内容的抽样方法，对于报文TCP头部中任何一个SYN，RST或FIN标志位置“1”的报文也进行抽取；对于UDP流量，将报文计数器溢出值按照(2×i-1)(i是大于1的整数)进行动态调整。即当预测的总体流量增加时，下一个60秒的报文计数间隔比前一个60秒增加两个，否则减少两个；对于其他协议流量，将报文计数器溢出值按照(i-1)(i是大于1的整数)进行动态调整，即当预测的总体流量增加时，下一个60秒的报文计数间隔比前一个60秒增加一个，否则减少一个。

本发明与现有技术相比，具有以下优点：

(1)可以在不影响或轻微影响NIDS检测性能的前提下，实现一定精度的T比特网络流量检测。

(2)有助于增强NIDS自身抵御拒绝服务攻击(DoS：Denial of Service)的能力。攻击者向NIDS发送大量的，超过其处理能力的非攻击流量，由于有大量的流量需要处理，NIDS可能会丢包，进而无法检测真正的攻击。

(3)提供较好的可扩充性，更新简单。本发明提供的网络流量分层抽样采集方法不是针对某一种确定的NIDS产品，可应用于当前软件/硬件实现的各种NIDS产品之上，是对现有NIDS产品网络流量收集/处理模块功能的扩充，安装/配置简单。

(4)实现了网络流量分层抽样的有效自适应调节。在适应网络流量速率动态变化的同时，自动调整分层抽样的相关参数，并根据报文协议类型对各个层的流量分别进行控制，增加了通常用于实施攻击的这部分类型报文占总体抽样流量的比例，为NIDS提供有效的分层抽样流量。

附图说明

图1为本发明系统结构示意图；

图2为本发明程序流程示意图。

具体实施方式

有关本发明的技术内容及详细说明，现配合附图说明如下：

本发明公开的一种自适应高速网络流量分层抽样采集方法，它使NIDS在高速网络环境中，能够在不影响或轻微影响入侵检测性能的前提下，实现一定精度的T比特网络流量检测。根据网络流量动态变化自动调整分层抽样的相关参数，增加了通常用于实施攻击的这部分类型报文占总体抽样流量的比例，为NIDS提供有效的分层抽样流量。具有较好的可扩充性，有助于增强NIDS自身抵御DoS攻击的能力。

1、确定抽样策略

流量抽样测量技术可以在满足一定测量精度的前提下，一方面大大减少流量测量记录文件的大小，另一方面也降低了测量过程对系统造成的负荷，更适宜于高速网络中的流量测量和实时测量。

入侵检测与网络流量测量具有一定的共性，它们都是通过对链路上的数据报文进行分析从而对当前的网络状态做出判断。不同的是，网络流量测量更偏重于网络的宏观性能指标，例如吞吐率、网络延迟等等；而入侵检测系统则更注重微观性能指标，例如某段时间内报文协议类型的比重、报文负载等等，还有入侵检测对于网络在单位时间内的变化也更加的敏感。

抽样策略定义了抽样过程中报文选择和提取的依据。报文抽样从抽样策略上可以分为系统抽样、随机抽样以及分层抽样三大类。系统抽样通过一个事先确定且不变的函数来决定抽样的起始点和抽样间隔等关键参数，其简单实例是周期抽样。它实现简单，但会导致两个方面的问题：其一，如果被测量本身表现为周期行为且和抽样周期吻合或相关，抽样就有可能仅仅只观测到这种周期行为的一部分，并且如果被测量受到一个小的扰动，周期抽样只能观测到这个被测量被扰动后的行为；其二，周期抽样的测量行为可能会对被测对象造成周期性的干扰，以至于影响被测量的真实性。随机抽样的样本空间是相互独立的，它避免了周期抽样导致的同步影响。但随机抽样也有一些缺点，如实际抽样的时间间隔不固定会导致抽样样本难以进行频域分析、样本抽样函数的非负指数性会导致样本仍具有某些可预见性等。

分层抽样是使用总体中的一些逻辑信息来增加测量精度，根据逻辑信息在抽样前对总体报文进行分组。分层抽样将抽样过程分为两个处理步骤，首先将总体中的元素根据一定特征分为若干子集，然后再从每个子集中分别提取样本。分层抽样实施起来比较方便，由于抽样是在各个层独立进行的，因此它允许根据不同层的具体情况采用不同的抽样方法。此外，由于分层抽样分别抽取各个层，所以与其它抽样相比较，分层样本在总体中的分布更加均匀，不会出现偏于某一部分的不平衡情况。

综合以上因素，本发明采用的抽样策略是分层抽样。即按照IP报文的协议类型，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层。对于经常用于实施攻击/入侵的其他协议流量，在没有超过网络临界流量的前提下，应尽量增加抽样比例；而对于其他两种通常情况都是正常网络通讯的流量，可在保持其原有特征的前提下，适当减少抽样比例。经过这样的流量智能预处理，可为NIDS提供有效的分层抽样流量，尽可能减少对NIDS检测性能的影响。

2、确定触发方式

由于报文抽样动作的发生都是由一定的触发事件触发的，触发事件决定了抽样过程的开始。一般有三种触发方式：基于报文计数溢出触发、基于计时超时触发和基于报文内容触发。

在实现报文计数溢出触发时，需要报文个数计数器对链路上通过的报文进行计数，报文计数器的计数溢出触发抽样过程的发生。计时超时触发需要维护计时器，计时器的计时超时会触发抽样过程的发生。由于不知道在抽样间隔中有多少个报文到达，所以这种方式触发的抽样技术得到的样本数是不可预知的。在基于报文内容触发的抽样方式中，首先对报文的部分内容(如报头或净荷等)做一些简单的运算，依据运算结果来决定是否触发抽样过程。在实现时可以直接将报头的内容或特殊位置的报文净荷与预先定义的规则进行掩码运算，其结果就是触发报文抽样的依据。这种触发方式的抽样测量技术在网络拓扑、网络性能等测量方面有很好的实用价值。

本发明采用的是混合式触发方式，集成基于报文计数溢出与基于报文内容的触发方式。即根据基于报文内容(报头的协议字段)对高速网络流量进行分层，在每个层的内部采用基于报文计数溢出的方式触发报文抽样过程。每个层需要维护单独的报文计数器，根据流量类型和网络速率的动态变化，自适应调整报文计数器的溢出值。

3、算法实现的步骤

(1)确定调整分层抽样策略的时间间隔的步骤

根据实际网络应用环境情况，首先确定其上部署的NIDS所能处理的临界流量。在临界流量下，不需要进行分层抽样，NIDS依然基于每包检测的机制，捕获所有穿越其保护网络范围的流量并进行入侵检测。在临界流量以上，必须进行分层抽样。

为了自适应网络速率的动态变化，需要不断调整分层抽样策略，即针对不同协议类型的流量，修改对应的报文计数器的溢出值，以调整不同协议类型的流量占总体抽样流量的比例。为了简化调整过程，本发明采用固定时间间隔，为此，需要再设置一个计时器，或者通过不断读取系统的当前时间进行计时。

时间间隔的设置值十分重要：如果间隔太大，NIDS无法尽快适应高速网络流量的动态变化，可能会一直处于被动丢包的状态，甚至引发失效。如果间隔太小，过于频繁的抽样策略调整可能会干扰NIDS正常的检测性能。

时间间隔的确定主要基于大规模高速主干网TCP流的统计特性(生存周期的累计分布函数)，这里的TCP流指的是具有相同源/目IP地址，源/目端口号，使用相同协议的一系列报文。现有高速主干网环境下，大多数TCP流的生存周期相对较短，只有极少数的TCP流会持续超过60秒。由于采用可动态调整溢出值的报文计数器，可有效的抽取大多数生存周期相对较短的TCP流。因此，本发明将调整分层抽样策略的时间间隔定为60秒。

(2)确定分层抽样参数的步骤

对于分层抽样，关键是要确定分层特征参数、分层层数L、分层边界、样本分配方法以及层内抽样方法等参数。

本发明采用的分层特征参数是报文的协议类型，分层层数为3，分层边界清晰，不会出现层间互相重叠。这里主要介绍样本分配方法，下一部分详述层内抽样方法。

对于分层抽样，当总的样本量一定时，还需要研究各层应该分配多少样本量的问题，层的划分或样本量的分配将直接影响分层抽样的效率。一般来说，如果各层均值差异很大，则采用按比例分配的方式较好，而当各层的标准差相差很大时，则最优分配更好。所谓按比例分配指的是按各层单元数占总体单元数的比例，也就是按各层的层权进行分配。

如前所述，用于入侵检测流量处理的抽样方法目的是在减少数据量的同时，尽可能不影响NIDS的检测性能，是对网络流量的智能预处理，即尽可能抽取可能含有攻击/入侵特征的报文，与纯粹的统计学领域的分层抽样采集方法是有区别的。同时为了自适应网络速率的动态变化，每个层内的样本也在不断进行调整，样本分配方法是处于动态调整的。

(3)根据高速网络流量速率，自适应调整报文抽样间隔的步骤

自适应抽样不仅能根据网络流量状态实时调整测量策略，而且还可以随着网络流量的变换调整测量参数，并根据不同测量需求跟踪网络流量的变化状态及趋势，克服了静态抽样测量的不足。

自适应抽样技术主要依赖于网络流量的相关性来对下一个样本值进行预测，并根据预测情况实时调整抽样策略或抽样参数，使得抽样能更好地捕捉到网络流量特征和网络行为特征。大量的研究表明，实际Internet的流量呈较强的自相关特性，这就表明过去一段时间的流量状态和即将到来的一段时间内的流量状态有某些相关性，或简单理解为相似性。自适应抽样技术使用的预测方法典型有线性预测(LP：Linear Prediction)，模糊逻辑控制(FLC：Fuzzy Logic Controller)和自回归模型(AR：Auto-Regressive Model)。

本发明采用的是自回归模型对下一个时间间隔的网络总体流量进行预测，即利用前面若干时间间隔内网络实际的总体流量大小对下一个60秒的流量进行预测，从而自适应调整分层抽样策略。自回归模型的参数选择灵活，实现简单，预测较准确，不会明显影响NIDS的处理性能，可根据实际网络环境情况，调整相应参数，在效率和准确性之间达到平衡点。根据预测结果，自适应调整每个层内报文计数器的溢出值。

下面叙述超过临界流量以后，每个层内抽样方法的自适应调整过程。

对于TCP流量，如果预测的下一个60秒的总体流量继续增大，则增加对应的报文计数器溢出值；如果预测的总体流量减小，则减少报文计数器的溢出值。由于TCP流量包含的大都是正常的网络通讯报文，因此应尽量减少TCP流量占总体抽样流量的比例。如可将报文计数器溢出值按照(2i-1)(i是大于1的整数)进行动态调整，即当预测的总体流量增加时，下一个60秒的报文计数间隔为前一个60秒的二倍，否则减少为二分之一。由于采用指数级的动态调整，因此TCP流量的抽样比例随总体流量的连续增大而迅速减少。同时，为了避免报文抽样计数间隔过大以后，生存周期较小的大多数TCP流不会进入抽样流量，同时采用基于报文内容的抽样方法，对于报文TCP头部中任何一个SYN，RST或FIN标志位置“1”的报文也进行抽取。这些报文是基于内容进行抽取的，不影响报文计数器的值。对于一个TCP流来说，最关键的是初始建立连接和断开连接的报文及当时的状态，这些报文对于NIDS进行入侵检测也是十分重要的。通过这种混合式触发方式，使得TCP抽样流量在显著减少报文抽取数量的同时，又保留了原来流量的网络行为特征，为NIDS提供了有效的抽样流量。

对于其他协议流量，在正常的网络通讯流量中所占的比例通常很小，如果这部分流量突然显著增加，一般表明攻击/入侵(如分布式拒绝服务攻击)正在实施。因此，对于这层流量，应尽可能少地进行报文抽取。极限的情况是在网卡硬件允许，其他两层流量可保持总体网络行为特征的情况下，完整捕获其他协议流量。如果条件不允许，也需要进行抽样，为了在抽样流量中尽量保留其他协议流量，可将报文计数器溢出值按照(i-1)(i是大于1的整数)进行动态调整，即当预测的总体流量增加时，下一个60秒的报文计数间隔比前一个60秒增加一个，否则减少一个。由于采用线性调整，可尽量保留总体流量中的其他协议流量，为NIDS提供了有效的抽样流量。

对于UDP流量，在前两层流量处理的基础上，可尽量保留，如果需要进行抽样，可将报文计数器溢出值按照(2×i-1)(i是大于1的整数)进行动态调整。即当预测的总体流量增加时，下一个60秒的报文计数间隔比前一个60秒增加两个，否则减少两个。

如图1所示，所有流经NIDS所在节点的网络流量，首先被临时保存在网络接口卡的高速缓存中，然后通过驻留在内核空间的网络接口卡驱动程序复制到内核空间。一份复制给其他协议栈，还有一份复制到自适应分层抽样模块中。处理后的流量传递到位于用户空间的NIDS缓冲区，NIDS根据缓冲区中的数据进行入侵检测。

如图2所示，在NIDS部署的网络环境下，从网络接口卡硬件直接捕获网络流量，然后根据报文协议类型将网络流量分成TCP流量，UDP流量和其他协议流量三个层，在每个层的内部采用基于报文计数溢出的方式触发报文抽样过程，根据网络速率的动态变化，自适应调整每个层内报文计数器的溢出值，将抽样后的流量直接复制到NIDS在用户空间的缓冲区中，NIDS根据缓冲区中的数据进行入侵检测。

上述仅为本发明的较佳实施例而已，并非用来限定本发明实施范围。即凡依本发明申请专利范围所作的均等变化与修饰，皆为本发明专利范围所涵盖。

Claims (7)

1、一种自适应高速网络流量分层抽样采集方法，其特征在于包括以下步骤：

(a)按照IP数据报首部协议字段的值，将高速网络流量分成TCP流量，UDP流量和其他协议流量三个层；

(b)每个层内采用基于报文计数溢出的方式触发报文抽样过程；

(c)样本分配方法采用自适应高速网络流量速率进行动态调整；

(d)确定调整分层抽样策略的时间间隔。

2、根据权利要求1所述的一种高速网络流量分层抽样采集方法，其特征在于：将IP数据报协议字段的8个比特与对应十进制表示为6和17的两个比特掩码分别进行匹配，以确定该报文是属于TCP流量这一层还是UDP流量这一层，若两者皆不匹配，则该报文属于其他协议流量这一层。

3、根据权利要求1所述的一种高速网络流量分层抽样采集方法，其特征在于：每个层维护单独的报文计数器对流经的报文进行计数，如果报文计数器溢出则触发抽样过程，抽取对应的报文，同时将该报文计数器设置为“0”，重新开始计数，直到溢出再抽取下一个对应的报文，如此循环进行

4、根据权利要求1所述的一种高速网络流量分层抽样采集方法，其特征在于：对于TCP流量，报文计数器溢出值按照(2ⁱ-1)进行动态调整，同时抽取报文TCP头部任何一个SYN，RST或FIN标志位置“1”的报文。

5、根据权利要求1所述的一种高速网络流量分层抽样采集方法，其特征在于：对于UDP流量，报文计数器溢出值按照(2×i-1)进行动态调整。

6、根据权利要求1所述的高速网络流量分层抽样采集方法，其特征在于：对于其他协议流量，报文计数器溢出值按照(i-1)进行动态调整。

7、根据权利要求1所述的一种高速网络流量分层抽样采集方法，其特征在于：将调整分层抽样策略的时间间隔缺省设置为60秒，经过一个月或更长时间连续运行后，再根据具体的高速网络应用环境和相应TCP流的生存周期的累计分布函数统计特征决定是否需要进行微调；所说的TCP流指的是具有相同源/目IP地址，源/目端口号和协议的一系列报文。

Images