CN101227331B - 一种减少网络入侵检测系统误告警方法 - Google Patents

Abstract

本发明提供一种减少网络入侵检测系统误告警方法，该方法首先收集特征产生告警构成样本集合A，从样本集合A中提取符合特征产生告警比例阈值α的特征和符合IP产生告警阈值β的IP，再根据提取的特征和IP的二元组合构造告警时间序列，采用傅立叶分析方法对告警时间序列进行周期分析，并对得到的周期作假设检，然后根据存在周期的告警时间序列制定去除规则，从样本集合A中去除与规则匹配的特征产生告警，最后对去除后剩余的告警进行聚合分析产生超级告警。本发明根据网络流量的特性去除背景流量产生的大量冗余告警，再根据告警产生的模式对去除后的告警进行实时聚合分析，从而降低告警的数量，及时的发现安全事件。

Description

一种减少网络入侵检测系统误告警方法

技术领域

本发明涉及网络入侵检测领域，尤其涉及减少网络入侵检测系统误告警数量的方法。

背景技术

入侵检测技术已经发展了二十多年，从基于主机的入侵检测系统到基于网络的分布式入侵检测系统，一步步的提高了入侵检测技术维护网络安全的能力。然而入侵检测系统IDS(Intrusion Detection System)发展的同时，也不可避免的出现了一些问题。

目前IDS的产品多种多样，基本的原理都是一样的，主要分为三个模块：数据报嗅探，告警检测引擎和告警产生。其中告警检测引擎是入侵检测技术的核心，它负责分析数据，发现可疑的数据报并产生告警。

告警检测技术主要包括两个方面：1.误用检测，它通过与攻击的特征进行匹配来检测已知攻击，入侵检测系统中攻击的特征用“signature”来表示；2.异常检测，它对正常模式行为进行定义，认为与正常行为模式相悖的数据包是攻击所产生的。

本发明是针对基于误用检测的网络入侵检测系统，这种入侵检测系统以网络中的数据包为分析对象，通过提取攻击数据包的特征建立攻击签名(signature)库，利用signature来产生告警。

然而Signature并不能完整的表示一次攻击，相应的signature产生的告警只能表示具有某个特征的数据报被发现了，往往一次真实的攻击会触发多个signature产生告警，所以真实的攻击的发现还需要对多个signature产生的告警进行关联分析。然而由于误报的产生，关联分析面对的是海量的告警数据，所以无论是关联分析的质量还是实时性都会大大的降低。所以需要尽可能的去掉误告警，提高告警关联的质量和有效性

对于误告警的去除，传统的方法是将signature特定化，注释掉与网络拓扑环境不相关的告警，例如如果网络中没有unix主机，那么针对Unix的攻击的siganture都可以注释掉。还有的通过可视化的方法，动态的显示入侵检测系统产生的告警，以求实时的发现安全事件。这种方法往往会出现严重的漏报现象，因为真实的攻击产生的告警数量比较少，会被大量的误告警所湮没！

发明内容

本发明的目的是克服上述现有方法的缺点与不足，提供一种减少网络入侵检测系统误告警方法，能够在不出现漏报的前提下极大的减少原始告警中冗余告警的数量。

本发明的技术方案为：

(1)从入侵检测系统中收集大于一个小时的特征产生告警构成样本集合A；

(2)在样本集合A中，计算具有同一特征的特征产生告警在样本集合A中的数量比例值，记大于或等于特征产生告警比例阈值α的数量比例值对应的特征为S1，S2，……Sx，分别具有特征S1，S2，……Sx的特征产生告警构建为集合B1，B2，……Bx；

(3)分别计算集合B1，B2，……Bx中具有同一源IP或目的IP的特征产生告警在集合B1，B2，……Bx中的数量比例值，记大于或等于IP产生告警阈值β的数量比例值对应的源IP或目的IP为C1，C2，……Cy；

(4)将特征S1，S2，……Sx与源IP或目的IP C1，C2，……Cy以(特征，源IP或目的IP)的模式生成二元组，根据二元组构造告警时间序列；

(5)采用傅立叶分析方法对告警时间序列进行周期分析得到该序列的周期；

(6)通过假设检检验周期是否真实存在；

(7)根据存在周期的告警时间序列对应的(特征，源IP或目的IP)制定去除规则，从样本集合A中去除与规则匹配的特征产生告警；

(8)对去除后样本集合A中剩余的特征产生告警进行聚合分析得到超级告警。

本发明的技术效果：

(1)利用fourier分析方法能够自动的发现一些具有规律的误告警产生的周期，为制定相应的告警去除规则提供依据。

(2)设计了告警聚合算法对安全事件产生的多个告警进行聚合，解决了利用告警进行安全事件的实时识别问题。

附图说明

图1为本发明步骤流程图。

具体实施方式

本发明首先分析链路上背景流量产生误告警的规律，根据规律迅速的通过自学习的方式制定出误告警过滤的规则，进而去除大量冗余告警。然后根据不同的安全事件产生告警的模式来聚合去除后的告警，进一步降低告警的数量。

误告警去除的具体操作流程见图1所示，下面结合附图对具体的操作过程做进一步的说明：

第一步：收集入侵检测系统一段时间(不小于一个小时)的告警构成样本集合A，设置signature产生告警比例阈值α和IP产生告警阈值β，0＜α＜1，0＜β＜1。

第二步：在样本集合A中按照每个signature类型统计signature产生告警数量，将其除以样本集合A中的告警总数得到其在样本集合A中的数量比例值，设定大于或等于阈值α的比例值对应的signature为S1，S2，……Sx，其对应的signature产生告警构建为集合B1，B2，……Bx，x为大于或等于阈值α的比例值的个数。

第三步：分别计算集合B1，B2，……Bx中具有同一源IP或同一目的IP的signature产生告警在集合B1，B2，……Bx中的数量比例值，选取大于或等于IP产生告警阈值β的数量比例值对应的源IP或目的IP。

第四步：设定统计告警的时间间隔，根据第二步和第三步选择的signature和IP的组合(signature，srcIP)或(signature，dstIP)产生告警时间序列，srcIP表示源IP，dstIP表示目的IP。统计告警的时间间隔即时间序列长度依据序列的周期而定，应该是周期的5至6倍为宜；例如选取1小时为统计告警的时间间隔，统计产生的周期大多为24小时，截取的时间序列长度为128小时；

第五步，采用傅立叶Fourier分析的方法对产生的告警时间序列进行周期分析。利用fourier分析的方法能够自动的发现一些具有规律的误告警产生的周期，为制定相应的告警去除规则提供依据，具体方法如下：

设告警时间序列为：{x₁，x₂，x₃……x_n}，Fourier变换后的序列为：{X₁，X₂，X₃……X_n}，记频率该序列的Fourier变换公式为：

$X_i=F\left({\mathrm{\ω}}_i\right)==\underset{t=1}{\overset{n}{\mathrm{\Σ}}}{x}_t{e}^{-j\·2\mathrm{\π}\·{\mathrm{\ω}}_i\·t}=a+\mathrm{bj}$

各频率对应的振幅为：

如果则该序列具有周期：b＝1/ω_i；

第六步，对上一步产生的时间序列的周期进行假设检，检验的具体操作过程如下：

对告警时间序列{x₁，x₂，x₃……}，假设周期b存在，对数据进行分组，每组中有m个元素：

Group 1：{x₁，x_b+1，x_2b+1……x_(m-1)b+1}＝{y₁₁，y₁₂，y₁₃……y_1m}

Group 2：{x₂，x_b+2，x_2b+2……x_(m-1)b+2}＝{y₂₁，y₂₂，y₂₃……y_2m}

Group e：{x_e，x_b+e，x_2b+e……x_(m-1)b+e}＝{y_e1，y_e2，y_e3……y_em}(1≤e≤b)数据序列的总体平均值为：

$\stackrel{\‾}{y}=\frac{x_1+x_2......x_{\mathrm{mb}}}{\mathrm{mb}}=\frac{\underset{e=1}{\overset{b}{\mathrm{\Σ}}}\underset{f=1}{\overset{m}{\mathrm{\Σ}}}{y}_{\mathrm{ef}}}{\mathrm{mb}}$

Group e组内数据的平均值为：

${\stackrel{\‾}{y}}_e=\frac{\underset{f=1}{\overset{m}{\mathrm{\Σ}}}{y}_{\mathrm{ef}}}{m}(1\≤e\≤b)$

记： $S_1=\underset{f=1}{\overset{b}{\mathrm{\Σ}}}m{({\stackrel{\‾}{y}}_f-\stackrel{\‾}{y})}^2,$ $S_2=\underset{e=1}{\overset{b}{\mathrm{\Σ}}}\underset{f=1}{\overset{m}{\mathrm{\Σ}}}{(y_{\mathrm{ef}}-\stackrel{\‾}{y})}^2$

根据F分布理论知：服从F(b-1，mb-b)分布取定置信度η，根据假设检验可得以下结论：

第七步，根据上一步检验的结果，在存在周期的告警时间序列中，按照其对应的(signature，srcIP)或(signature，dstIP)制定去除规则(siganture，srcIP，dstIP)，即若样本集合A中的signature产生告警具有属性siganture，srcIP和dstIP，则去除该signature产生告警。如果按照(signature，srcIP)，则dstIP为任意一个目的IP；如果按照(signature，dstIP)，则srcIP为任意一个源IP。

第八步，对去除后样本集合A剩余的产生告警进行聚合分析产生超级告警。聚合采用的模式是：一对一，多对一和一对多。一对一是指在一个时间窗口内产生的告警是由单个源IP到单个目的IP，多对一是指在一个时间窗口内产生的告警是由多个源IP到一个目的IP；一对多是指在一个时间窗口内产生的告警是由单个源IP到多个目的IP。例如选取5秒的时间窗口，5秒内如果出现100条告警，告警是由同一个源IP产生的，目标是监控的网段内各台主机的IP，则这100条告警可聚合为一条超级告警。

下面结合具体实例进行说明：采用开源的网络入侵检测系统snort 2.7在CERNET华中节点的一个百兆网络上实施入侵检测，snort 2.7包含了8000多条signature，试验中平均每天产生的告警多达500,000条，人工根本无法分析。

第一步收集了两个小时的告警，取定signature产生告警比例阈值α和IP产生告警阈值β分别为0.5％和1％，试验中达到阈值α的signature有9个，产生的告警平均占所有告警的95.8％；各个signature对应的达到阈值β的IP个数在1到200之间。然后通过第二步和第三步的操作提取产生告警的二元组(signature，srcIP)或(signature，dstIP)。第四步中我们选取的时间间隔为1个小时，截取的时间序列长度为128小时，第五步中采用快速离散Fourier变换确定各个告警时间序列的周期，试验中发现95％以上的告警序列的周期是24小时；第六步中进行周期假设检验。第七步根据假设检验的结果产生告警的去除规则，多次试验中产生的规则均在50条以上，去除告警的比例占所有告警的90％以上。第八步中对去除的告警进行聚合分析，选取的时间窗口是5秒，根据分析结果聚合的比例大约是100∶1，即100条原始告警聚合成一条超级告警。经过误告警的去除和告警聚合，告警的数量占原始告警的1.5％左右。

Claims (3)

1.一种减少网络入侵检测系统误告警方法，包括以下步骤：

(1)从入侵检测系统中收集大于一个小时的特征产生告警构成样本集合A；

(2)在样本集合A中，计算具有同一特征的特征产生告警在样本集合A中的数量比例值，记大于或等于特征产生告警比例阈值α的数量比例值对应的特征为S1，S2，……Sx，分别具有特征S1，S2，……Sx的特征产生告警构建为集合B1，B2，……Bx；

(3)分别计算集合B1，B2，……Bx中具有同一源IP或目的IP的特征产生告警在集合B1，B2，……Bx中的数量比例值，记大于或等于IP产生告警阈值β的数量比例值对应的源IP或目的IP为C1，C2，……Cy；

(4)将特征S1，S2，……Sx与源IP或目的IP C1，C2，……Cy以“特征，源IP或目的IP”的模式生成二元组，根据二元组构造告警时间序列；

(5)采用傅立叶分析方法对告警时间序列进行周期分析得到该序列的周期；

(6)通过假设检检验周期是否真实存在；

(7)根据存在周期的告警时间序列对应的“特征，源IP或目的IP”制定去除规则，从样本集合A中去除与规则匹配的特征产生告警；

(8)对去除后样本集合A中剩余的特征产生告警进行聚合分析得到超级告警。

2.根据权利要求1所述的减少网络入侵检测系统误告警方法，其特征在于，所述步骤(8)采用在一个时间窗口内的特征产生告警是由单个源IP到单个目的IP的模式进行聚合。

3.根据权利要求1所述的减少网络入侵检测系统误告警方法，其特征在于，所述步骤(8)采用在一个时间窗口内的特征产生告警是由多个源IP到一个目的IP的模式进行聚合。

Images