CN103441982A - 一种基于相对熵的入侵报警分析方法 - Google Patents

Abstract

本发明涉及一种基于相对熵的入侵报警分析方法，根据入侵检测系统产生的海量报警流量，评估当前网络的宏观安全状况，描述当前最应关注的攻击情况。所述方法包括：获取入侵检测系统的报警，根据历史数据和专家知识建立一个多特征的正常参数基线以及一个容忍范围；根据入侵报警数据“源IP地址，目的IP地址，源端口，目的端口和报警类型”的五个特征，采用基于相对熵的阈值检测法，一旦报警流量超出基线的容忍范围则认为是异常流量，通过挖掘和分析这些异常，有效识别并报告异常类型，帮助网络管理员快速定位网络异常。

Description

一种基于相对熵的入侵报警分析方法

技术领域

本发明涉及一种基于相对熵的入侵报警分析方法，具体涉及一种面向大规模网络的入侵检测系统，利用相对熵理论，实时监测、管理和分析海量网络报警数据的方法。属于信息安全技术领域。 

背景技术

入侵检测技术(Intrusion Detection System，IDS)通过实时检测网络流量，监控各种网络行为，对违反安全策略的流量及时报警和防护，是解决计算机网络安全问题的有效手段。但是，目前入侵检测系统存在着报警信息量过大，且误报率过高等问题，大量的报警信息是由网络中用户正常行为所致。对于大规模网络的管理员来说，面对成千上亿的报警流量，他们迫切需要入侵报警辅助分析工具，有效过滤正常报警流量，监控恶意报警流量。 

研究表明，海量的报警信息充斥着反映网络正常状态的报警，而且这些报警具有一定的稳定性。网络报警流量在正常运行的情况下具有一定的周期性、稳定性，也就是说一段正常的网络流量数据能在历史数据中找到与其相近的模式，而异常流量会打破这种规律使报警流量产生异常波动。同时，网络中的异常事件总是触发海量的报警数据，这些数据往往有一个或者多个特征(如报警类型，IP地址，端口)相同，而另外一些特征符合一些分布的特点。 

入侵报警分析引起了国内外研究学者的广泛关注。经对现有技术文献的检索发现，目前研究方面主要集中在报警评估(alert verification)，报警聚合和聚类(alert aggregation and clustering)，报警关联(alert correlation)。报警评估需要依据网络环境信息(漏洞，开放端口，运行服务等)，进一步验证报警，核实攻击。报警聚合和聚类通常针对同一安全事件产生的大量性质相同或相近的报警合并成新的报警，也称为报警簇。例如，根据报警不同属性之间的相似度，聚合相似度较高的报警信息。该方法可有效地压缩报警的数量，但是不易于分析报警产生的原因。Viinikka等人于2009年发表在《Information Fusion(信息融合)》上的论文“Processing intrusion detection alert aggregates with time series modeling（用时间序列模型进行入侵报警聚类）”，发现系统正常运行时所触发的报警具有很强的规律性(regularities)，报警密度具有平滑的改变。他们认为异常行为反映为报警数量和密度方面的偏移，通过建模这些规律，可从报警的数量上(volume)找出异常行为与正常行为的偏差(deviation)，以发现攻击。他们提出了基于时间序列(time series)和指数加权移动平均(Exponentially Weighted Moving Average，EWMA)方法建模报警流量，以过滤无关报警(irrelevant alerts)。基于数量的报警聚合在检测引起报警数量大幅变化的攻击方面具有良好的效果，如泛洪攻击。但是，仍然有一大类的网络异常并不会在报警数量上引起可检测的变化。 

报警关联能够揭示安全事件之间的关系，重建攻击过程，有助于判断整个攻击模式和入侵趋势。然而，关联分析通常需要考虑报警之外的网络和攻击知识，如攻击知识库、拓扑配置和漏洞信息。此外，关联分析通常将报警定义为多步骤攻击的前提或结果，但是，大量报警是由系统正常运行所致，而这一点仅仅依靠报警本身及报警评估无法有效区分，因而不适合实际工程应用。 

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于相对熵的入侵报警分析方法，在大规模网络、面对海量报警数据分析的实际工程中，监控报警数据流量，实现对报警数据的分析，帮助管理员实时定位网络异常。 

为实现上述目的，本发明首先进行报警特征分析，然后确定参考分布，最后实时监测海量的网络报警数据，将实时监测的报警特征分布与参考分布相比，针对每个特征，通过计算相对熵来检测和识别异常行为，并将其进行更细致的分类，帮助管理员专注于网络异常事件。 

本发明的方法通过以下具体步骤实现： 

(1)、选取报警特征 

通过分析入侵检测系统的报警数据，选取“源IP地址，目的IP地址，源端口，目的端口 和报警类型”五个报警特征，针对这些报警特征的特征组合，识别网络异常。 

(2)、选择采样间隔 

选择采样间隔是指确定基于时间序列的连续入侵报警抽样的时间间隔。根据网络中时间间隔内实际的入侵报警数目、大多数攻击所持续的时间和所引起报警的数量，设置采样间隔t为连续t分钟不重合时间序列报警，构造报警流中各个特征参数的相对熵时间序列。 

(3)、确定参考分布 

参考分布是指相对正常网络环境下的报警流量。对于时间间隔t，参考分布q_t(x)可表达为各分布的高斯混合分布： 

$q_t\left(x\right)={\mathrm{\α}}_1*p_{t-1}\left(x\right)+{\mathrm{\α}}_2*p_{t-n}\left(x\right)+{\mathrm{\α}}_3*U_{t_i}\left(x\right)+(1-{\mathrm{\α}}_1-{\mathrm{\α}}_2-{\mathrm{\α}}_3)*q_{t-1}\left(x\right)$

公式中，p_t-1(x)为前一时间间隔的样本分布；p_t-n(x)为前一天同一时间间隔的样本分布， 

为经过管理员经验确定为正常的时间间隔的样本分布；q_t-1(x)为前一时间间隔的参考分布。α₁，α₂，α₃为权重参数，且α₁+α₂+α₃＝1。为了使结果不受时刻及日期因素的影响，这里考虑前一天同一时间间隔的参考分布，以及前一时间间隔的参考分布。此外，为了使结果更加准确，参考分布需要考虑到不同网络的安全需求，考虑到管理员的经验知识，这里t_i表示为经专家知识确定为正常流量的某个时间间隔，以更加准确的识别网络异常。 

(4)、计算相对熵 

在时间间隔t内，针对每个报警特征，计算当前时间间隔的分布p(x)和参考分布q(x)之间的Kullback–Leibler distance，or divergence(简称KL距离)。对于每一个报警特征x_i，定义如下： 

$D\left(p_t\right|\left|q_t\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{p}_t\left(x_i\right)\log \frac{p_t\left(x_i\right)}{q_t\left(x_i\right)}$

公式中，p_t(x_i)为时间间隔t内报警特征x_i的分布，q_t(x_i)为时间间隔t内报警特征x_i的参考分布。由相对熵的公式可知，三种特殊情况失去意义： 

(1)失去数学意义； 

(2)

使对数失去意义； 

(3)

失去与阀值的可比性。 

结合网络入侵检测中数据的实际意义，给出了下面两个约定： 

约定1：

对于报警特征x_i，如果时刻t内，p(x_i)和q(x_i)均为0，定义 

为0。这说明某一特征，该时间间隔内的数据包在实际检测阶段和训练阶段都没有被捕获，从相似的角度来说是完全相似的，它们之间没有差距，所以约定其值为0。 

约定2：当p(x_i)和q(x_i)其中一个为0，即

和

时，分配β∈(0，1]到相应的0值项，保持另外一个分布的影响。当β很小（接近于0）时，即使对于较小数量的攻击行为也能检测到，这样计算结果将对报警中新出现的攻击类型更为敏感；对于相对较 大的β，计算结果对于分布的变化更敏感，强调较大范围的攻击； 

(5)、进行阈值检测 

通过监测每个时间段内各入侵报警特征的相对熵，从周期性方差变化中识别波动，发现网络异常。若时间间隔t内，计算的入侵报警流量中包含k个特征{C_1，...，C_k}，对于每一报警特征C_j，{D_1，...，D_n}是实验数据中该报警特征的KL距离；当当前值D_i与历史值的平均值相差n个标准方差时，就标记为异常，n的缺省值是3，此值可不断调整。 

$\mathrm{\ΔtD}\left(p\right|\left|q\right)\≥\stackrel{\_}{D}+\mathrm{n\σ}$

其中

是平均值，σ是标准差。 

(6)、分析异常类型 

应用基于特征分布的报警分析方法，选取“源IP地址，目的IP地址，源端口，目的端口和报警类型”作为特征参数，通过分析这五个参数的分布变化，对报警流量进行监测。同一时间间隔内，当有三个及以上特征参数相对熵超出阈值时，认为有异常情况发生，找到离群值。结合表一和特征分布情况，分析这些离群值所在样本间隔内的报警信息，分析“分类”的特征分布与参考分布具有最大距离max_i∈[1，N]|p_i-q_i|的报警信息，其中“分类”特征是指该时间间隔内报警流量中起主要作用的分类。 

本发明与现有技术相比的显著效果在于：通过应用相对熵理论进行报警流的特征分析，量化当前时间段的特征分布与参考分布的相差程度，使得对特征的刻画更加精确；综合多个特征的异常变化更准确地识别、提取和标明网络中多种异常现象和攻击特征。 

本发明关注大规模的网络异常，通过监控入侵检测系统的报警流量，利用相对熵、阈值检测等方法，分析报警特征分布情况，从宏观上把握大规模网络异常，特别是当网络中出现大规模入侵时，即涉及攻击主机数目多且范围广的网络入侵行为，如DDoS和Worm等，指导管理员尽早发现和采取相应的措施，以便将攻击带来的损失降到最低。本发明具有易于实现、计算复杂度低，系统开销小，便于在实际的网络安全设备中部署应用等优点。 

附图说明

图1本发明结构图 

图2实验报警流量中基于相对熵的入侵特征分布 

具体实施方法 

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。 

为了更好地理解本实施例提出的方法，选取采用实际网络的17天入侵检测系统IDS报警，基于报警特征分布发现网络异常，然后针对每一项异常，进一步深入分析异常产生的原因。该报警数据集是由部署在内网与外网之间的Snort(版本2.8.3.2)生成。数据集包括33，2154个活动的IP地址(包括内网和外网)17天产生的共计920，4735条报警。 

如本发明方法结构图（图1）所示，本实施例具体实施步骤如下： 

(1)、选取报警特征 

通过分析入侵监测系统的报警数据，选取“源IP地址，目的IP地址，源端口，目的端口和报警类型”五个报警特征。 

表一列出了一些典型的网络异常以及用来识别这些异常的入侵报警特征组合。 

表一典型异常及其相应的特征模式 

(2)、选择采样间隔 

根据网络中时间间隔内实际的入侵报警数目、大多数攻击所持续的时间和所引起报警的数量，设置时间间隔t为连续5分钟不重合时间序列报警，从而构造报警流中各个特征参数的相对熵时间序列。 

(3)、确定参考分布 

对于时间间隔t，参考分布q_t(x)可表达为各分布的高斯混合分布： 

$q_t\left(x\right)={\mathrm{\α}}_1*p_{t-1}\left(x\right)+{\mathrm{\α}}_2*p_{t-n}\left(x\right)+{\mathrm{\α}}_3*U_{t_i}\left(x\right)+(1-{\mathrm{\α}}_1-{\mathrm{\α}}_2-{\mathrm{\α}}_3)*q_{t-1}\left(x\right)$

公式中，p_t-1(x)为前一时间间隔的样本分布；p_t-n(x)为前一天同一时间间隔的样本分布， 

为经过管理员经验确定为正常的时间间隔的样本分布；q_t-1(x)为前一时间间隔的参考分布。α₁，α₂，α₃为权重参数，且α₁+α₂+α₃＝1。为了使结果不受时刻及日期因素的影响，这里考虑前一天同一时间间隔的参考分布，以及前一时间间隔的参考分布。此外，为了使结果更加准确，参考分布需要考虑到不同网络的安全需求，考虑到管理员的经验知识，这里ti表示为经专家知识确定为正常的某个时间间隔，以更加准确的识别网络异常。 

(4)、计算相对熵 

在时间间隔t内，针对每个报警特征，计算当前时间段分布p(x)和参考分布q(x)之间的Kullback–Leibler distance，or divergence(简称KL距离)。对于每一个报警特征x_i，定义如下： 

$D\left(p_t\right|\left|q_t\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{p}_t\left(x_i\right)\log \frac{p_t\left(x_i\right)}{q_t\left(x_i\right)}$

(5)、进行阈值检测 

t时间间隔内，计算的入侵报警流量中包含5个报警特征{C₁，...C₅}。对于每一报警特征C_j，{D_1，...，D_n}是实验数据中该特征的KL距离。当当前值D_i与历史值的平均值相差n个标准方差时，就标记为异常，n的值设置为4。 

$\mathrm{\ΔtD}\left(p\right|\left|q\right)\≥\stackrel{\_}{D}+\mathrm{n\σ}$

其中

是平均值，σ是标准差。 

(6)、分析异常类型 

应用基于相对熵的入侵检测报警分析方法，选取“源IP地址，目的IP地址，源端口，目的端口和报警类型”作为特征参数，分析这五个参数的分布变化，对报警流量进行监测。同一时间间隔内，当有三个及以上特征参数相对熵超出阈值时，认为有异常情况发生，找到离群值，其中“分类”特征是指该时间间隔内报警流中起主要作用的分类，找到“分类”的特征分布与参考分布具有最大距离max_i∈[1，N]|p_i-q_i|的报警信息。结合表一和特征分布情况，分析这些离群值所在样本间隔内的报警信息，标记异常类型。如图2所示，在基于时间序列的入侵报警相对熵序列中，有代表性的五种异常分别标记为A，B，C，D，E，详细分析见表二。 

表二数据集中发现的异常 

Claims (1)

1.一种基于相对熵的入侵报警分析方法，其特征在于包括以下几个步骤： 

（1）、选取报警特征 

通过分析入侵检测系统的报警数据，选取“源IP地址，目的IP地址，源端口，目的端口和报警类型”五个报警特征，针对这些报警特征的特征组合，识别网络异常； 

（2）、选择采样间隔 

选择采样间隔是指确定基于时间序列的连续入侵报警抽样的时间间隔，根据网络中时间间隔内实际的入侵报警数目、大多数攻击所持续的时间和所引起报警的数量，设置采样间隔t为连续t分钟不重合时间序列报警，构造报警流中各个特征参数的相对熵时间序列； 

（3）、确定参考分布 

对于时间间隔t，参考分布q_t(x)可表达为以下分布的高斯混合分布： 

公式中，p_t-1(x)为前一时间间隔的样本分布；p_t-n(x)为前一天同一时间间隔的样本分布， 

为经管理员经验确定为正常时间间隔的样本分布；q_t-1(x)为前一时间间隔的参考分布，α₁，α₂，α₃为权重参数，且α₁+α₂+α₃＝1； 

（4）、计算相对熵 

在时间间隔t内，针对每个报警特征，计算当前时间段分布p(x)和参考分布q(x)之间的Kullback–Leibler distance，or divergence(简称KL距离)，对于每一个报警特征x_i，定义如下： 

公式中，p_t(x_i)为时间间隔t内报警特征x_i的分布，q_t(x_i)为时间间隔t内报警特征x_i的参考分布。 

由相对熵的公式，结合网络入侵检测中数据的实际意义，给出了下面两个约定： 

约定1：

对于报警特征x_i，若时间间隔t内，p(x_i)和q(x_i)均为0，定义 

为0；这说明针对某一特征，该时间间隔内的数据包在实际检测阶段和训练阶段都没有被捕获，从相似的角度来说是完全相似的，它们之间没有差距，所以约定其值为0； 

约定2：当p(x_i)和q(x_i)其中一个为0，即

和

时，分配β∈(0，1]到相应的0值项，保持另外一个分布的影响。当β很小（接近于0）时，即使对于较小数量的攻击行为也能检测到，这样计算结果将对报警中新出现的攻击类型更为敏感；对于相对较大的β，计算结果对于分布的变化更敏感，强调较大范围的攻击； 

（5）、进行阈值检测 

通过监测每个时间段内各入侵报警特征的相对熵，从周期性方差变化中识别波动，发现网络异常。若时间间隔t内，计算的入侵报警流量中包含k个报警特征{C_1，...，C_k}，对于每一报警特征C_j，{D_1，...，D_n}是实验数据中该报警特征的KL距离；当当前值D_i与历史值的平均值相 差n个标准方差时，就标记为异常，n的缺省值是3，此值可不断调整； 

其中

是平均值，σ是标准差； 

（6）、分析异常类型 

应用基于特征分布的报警分析方法，选取“源IP地址，目的IP地址，源端口，目的端口和报警类型”作为特征参数，分析这五个参数的分布变化，对报警流量进行监测；同一时间间隔内，当有三个及以上特征参数相对熵超出阈值时，认为有异常情况发生，找到离群值。其中“分类”特征是指该时间间隔内报警流中起主要作用的分类，该“分类”的特征分布与参考分布具有最大距离max_i∈[1，N]|p_i-q_i|；结合表一和特征分布情况，分析这些离群值所在样本间隔内的报警信息，标记异常类型。 

Images