CN108900556A - 基于HMM和混沌模型的DDoS攻击检测方法 - Google Patents

Abstract

本发明实施例提供一种基于HMM和混沌模型的DDoS攻击检测方法，包括：采集网络流量信息作为HMM训练集；计算得到网络流量加权特征观测序列和网络流平均速率序列；根据HMM训练集，计算HMM的最佳隐层状态数N；采用层次聚类算法将所述HMM训练集分为N类，得到隐层状态序列；利用所述网络流量加权特征观测序列和所述隐层状态序列，对HMM进行监督学习，得到状态转移矩阵和混淆矩阵；根据所述状态转移矩阵和所述混淆矩阵，计算后续的网络流量加权特征，得到后续网络流量加权特征预测序列；通过混沌模型计算所述后续网络流量加权特征预测序列的预测误差序列；通过所述预测误差序列和所述网络流平均速率序列来识别DDoS攻击。

Description

基于HMM和混沌模型的DDoS攻击检测方法

技术领域

本发明涉及通信技术领域，特别涉及一种基于HMM和混沌模型的DDoS攻击检测方法。

背景技术

分布式拒绝服务(Distributed Denial of Service，DDoS)攻击是目前黑客经常采用并且难以防范的攻击手段。近年来随着电子加密虚拟货币的快速发展和物联网设备的持续增加，DDoS攻击方式更趋于多样化，对因特网的安全产生了巨大的威胁。

现有技术基于机器学习进行DDoS攻击检测的做法通常是将其看作是一个二分类问题，从网络流量中选取有代表性的特征，分别抽象出攻击流和正常流的特征序列，并且对序列中的每个特征赋予一个标记：攻击或者正常；然后利用特征序列对检测模型进行训练，训练出具有攻击识别能力的分类器来实现对DDoS攻击的检测。这类DDoS攻击检测直接根据当前的特征值推断样本的标记，没有考虑相邻时刻和整个时间轴上的特征之间的关系，从而丢失了部分信息，导致DDoS攻击检测的准确率低下。

本发明的发明人在研究DDoS攻击检测方法时，提出了另一种基于隐马尔科夫模型(Hidden Markov Model，HMM)和混沌模型的DDoS攻击检测方法。

发明内容

本申请的目的在于提供一种基于HMM和混沌模型的DDoS攻击检测方法，能够识别DDoS攻击，并且提高DDoS攻击检测的准确率。

为实现上述目的，本申请提供了一种基于HMM和混沌模型的DDoS攻击检测方法，所述方法包括：连续采集D个单位时间内的网络流量信息，作为HMM训练集；根据所述HMM训练集，分别计算D个网络流量加权特征和D个网络流平均速率，得到网络流量加权特征观测序列和网络流平均速率序列；根据所述HMM训练集，计算HMM的最佳隐层状态数N；采用层次聚类算法将所述HMM训练集分为N类，得到隐层状态序列；利用所述网络流量加权特征观测序列和所述隐层状态序列，对HMM进行监督学习，得到状态转移矩阵和混淆矩阵；根据所述状态转移矩阵和所述混淆矩阵，计算后续的网络流量加权特征，得到后续网络流量加权特征预测序列；通过混沌模型计算所述后续网络流量加权特征预测序列的预测误差序列；通过所述预测误差序列和所述网络流平均速率序列来识别DDoS攻击。

进一步的，所述网络流量信息包括数据包个数、数据包的源IP地址数。

进一步的，所述网络流量加权特征的计算公式为：

X_t＝θU_t-1+(1-θ)U_t

其中，U_t是单位时间内的所述数据包个数；U_t-1是前一单位时间内的所述数据包个数；加权值θ为实数，且0＜θ＜1。

进一步的，所述网络流平均速率的计算公式为：

y_t＝U_t/I_t

其中，U_t是单位时间内的所述数据包个数；I_t是单位时间内数据包的所述源IP地址数。

进一步的，所述根据所述HMM训练集，计算HMM的最佳隐层状态数N的步骤包括：根据所述HMM训练集，设置所述隐层状态数N′的初始值为1，并以公差为1递增，迭代计算隐层状态数评价指标EISNHL；将所述EISNHL的值出现第一个拐点时的所述隐层状态数N′，作为所述最佳隐层状态数N。

进一步的，所述EISNHL的计算公式为：

其中，和分别为所述HMM训练集中，单位时间内所述数据包个数的最大值和最小值；D为所述HMM训练集的序列长度。

进一步的，所述隐层状态序列的计算公式为：

(Sseq,Oseq)＝HierarchicalClustering({X₁,X₂,…,X_D},N)

其中，{X₁,X₂,…,X_D}为所述网络流量加权特征观测序列；Oseq和Sseq分别为所述网络流量加权特征观测序列的输出序列和与其对应的隐层状态序列。

进一步的，所述预测误差序列Error(j)的计算公式为：

Error(j)＝X(j+D)-Pseq(j)

其中，Pseq(j)为所述后续网络流量加权特征预测序列中的后续网络流量加权特；X(j+D)为后续网络流量加权特征观测序列中的后续网络流量加权特征观测值。

进一步的，所述通过所述预测误差序列和所述网络流平均速率序列来识别DDoS攻击的步骤包括：

初始化网络信号状态为flag＝1；

判断所述预测误差序列中的所述预测误差是否为混沌误差，并用N₁(i)标志：当所述预测误差是混沌误差时，N₁(i)＝1，否则N₁(i)＝﹣1；

当时，保持flag＝1并继续后续条件判断，否则更新所述网络信号状态为flag＝0，直接确定未发生DDoS攻击；

当时，保持flag＝1并继续后续条件判断，否则更新所述网络信号状态为flag＝0，直接确定未发生DDoS攻击；

当时，保持flag＝1并确定发生DDoS攻击，否则更新所述网络信号状态为flag＝0，确定未发生DDoS攻击；

其中，e为自然常数，y₁为第一个单位时间内的网络流平均速率。

由上可见，本发明定义了网络流量加权特征，可以对正常用户的突发性访问进行平滑处理，降低DDoS攻击误判率；本发明定义了网络流平均速率，考虑了出现庞大用户群体向服务器请求服务时的情况，利用源IP地址数削弱单位时间内的数据包个数峰值特征，从而降低误报率；本发明利用隐马尔科夫模型的时序特性，克服了现有基于机器学习算法的局限性，并且定义了定义隐层状态数评价指标，动态计算HMM的最佳隐层状态数，使本发明在不同的网络环境仍能具有很好的表现。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于HMM和混沌模型的DDoS攻击检测方法的流程图；

图2为本发明实施例提供的网络流量加权特征观测序列的散点图；

图3为本发明实施例提供的网络流平均速率序列的散点图；

图4为本发明实施例提供的预测误差序列的折线图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了检测DDoS攻击，本发明提供了一种基于HMM和混沌模型的DDoS攻击检测方法。

图1为本发明实施例提供的基于HMM和混沌模型的DDoS攻击检测方法的流程图。

S100，连续采集D个单位时间内的网络流量信息，作为HMM训练集；

在一个实施例中，网络流量信息包括数据包个数、数据包的源IP地址数。

本实施例采用的案件数据集是MIT林肯实验室发布的DARPA 1998数据集，林肯实验室在1998年建立了模拟美国空军局域网的一个网络环境，收集了9周时间的TCPdump网络连接和系统审计数据，仿真各种用户类型、各种不同的网络流量和攻击手段,使它就像一个真实的网络环境。这些TCPdump采集的原始数据被分为两个部分：7周时间的训练数据，大约包含5,000,000多个网络连接记录；剩下的2周时间的测试数据大概包含2,000,000个网络连接记录。每一条记录包含协议名称，源端口和目的端口，源IP地址和目的IP地址。其中训练数据前两周为正常数据流，没有发生攻击，本发明选取第七周的发生攻击当天的训练数据进行训练，连续统计500分钟。

S200，根据HMM训练集，分别计算D个网络流量加权特征和D个网络流平均速率，得到网络流量加权特征观测序列和网络流平均速率序列；

在一个实施例中，所述网络流量加权特征的计算公式为：

X_t＝θU_t-1+(1-θ)U_t

其中，U_t是单位时间内的所述数据包个数；U_t-1是前一单位时间内的所述数据包个数；加权值θ为实数，且0＜θ＜1。

所述网络流平均速率的计算公式为：

y_t＝U_t/I_t

其中，U_t是单位时间内的所述数据包个数；I_t是单位时间内数据包的所述源IP地址数。

图2为本发明实施例提供的网络流量加权特征序列的散点图；图3为本发明实施例提供的网络流平均速率序列的散点图。如图2和图3所示，网络流量加权特征值和网络流平均速率在攻击情况下通常比正常情况下要大，尤其结合网络流量加权特征和网络流平均速率两种特征可以较好的区分出攻击行为并且有效地降低由网络拥塞引起的误报，因而网络流量加权特征值和网络流平均速率会使得本发明提出的检测方法具有较高的准确率。

在攻击检测模型实验测试中，取网络流量加权特征序列的前100条记录作为训练集，用于HMM的训练并且做出预测，剩余的采集数据作为测试集，用于测试模型的检测效果。

S300，根据HMM训练集，计算HMM的最佳隐层状态数N；

步骤S300的具体步骤为S301和S302：

S301，根据所述HMM训练集，设置所述隐层状态数N′的初始值为1，并以公差为1递增，迭代计算隐层状态数评价指标EISNHL；

在监督学习中首先要解决的问题是确定HMM中的隐层状态(Hidden Layer State，HLS)数N，现有的做法通常是利用经验直接对N进行赋值，这样虽然简化了步骤但是在面对不同的网络环境往往不能总是有很好的表现。本发明注意到N与用于训练的观测序列的长度D以及观测值的最大跨度相关性较大，但是直接以此来计算N值会导致结果的波动较大也容易陷入局部最优的情况，因此提出评价N的取值是否合理的指标，并且采用对N赋予初值计算指标值，不断更新N值迭代计算指标值的方式获得N的最优值。

在一个实施例中，所述EISNHL的计算公式为：

其中，和分别为所述HMM训练集中，单位时间内所述数据包个数的最大值和最小值；D为所述HMM训练集的序列长度。

S302，将所述EISNHL的值出现第一个拐点时的所述隐层状态数N′，作为所述最佳隐层状态数N。

S400，采用层次聚类算法将HMM训练集分为N类，得到隐层状态序列；

采用层次聚类算法将训练集分为N类，每一类代表一种隐层状态，此时观测值与其状态值一一对应。由此得到训练集中观测序列Oseq和与其对应的隐层状态序列Sseq。

在一个实施例中，所述隐层状态序列的计算公式为：

(Sseq,Oseq)＝HierarchicalClustering({X₁,X₂,…,X_D},N)

其中，{X₁,X₂,…,X_D}为所述网络流量加权特征观测序列；Oseq和Sseq分别为所述网络流量加权特征观测序列的输出序列和与其对应的隐层状态序列。

S500，利用网络流量加权特征观测序列和隐层状态序列，对HMM进行监督学习，得到状态转移矩阵和混淆矩阵；

HMM是一个双重随机的模型，由隐层状态(Hidden Layer State，HLS)组成的马尔科夫链为基础，对观测序列进行描述。隐马尔科夫模型开始于一个有限的状态集，由状态转移概率矩阵确定下一个状态值，由一个特定的状态产生的观测值由混淆概率矩阵确定。因此具有学习时间序列信息的能力。

在一个实施例中，将步骤S400计算得到的Oseq与Sseq，代入HMM进行训练，获得转移概率矩阵A和混淆概率矩阵B。一个完整的隐马尔科夫模型可以由一个五元组(S,V,A,B,Π)来表示：

S：隐层状态集合，S＝{s₁,s₂,…,s_N}，其中的状态数为N。

V：观测值的集合，V＝{v₁,v₂,…,v_M}，M为每个状态可能输出的不同观察值的个数。

A：状态转移概率矩阵，

其中，a_ij＝P(q_t+1＝s_j|q_t＝s_i),1≤i,j≤N，表示t时刻由状态s_i转移到s_j的概率。

B：混淆概率矩阵，

B＝{b_jk},1≤j≤N,1≤k≤M

其中，b_jk表示在状态s_i输出观察值v_k的概率。

Π：初始状态的概率分布，Π＝{π₁,π₂,…,π_N}，表示在初始时刻为某个状态的概率。

HMM的训练是利用已知的观测值序列和对应的状态序列，进行参数估计，学习出状态转移概率矩阵A和混淆概率矩阵B。

训练数据分别为：状态序列S和观测值序列V。其中S＝{s₁,s₂,…,s_N}，V＝{v₁,v,…,v_M}。

样本中观察到的在时刻t状态为s_i，并且在时刻t+1的状态为s_j的频数为A_ij。因此状态转移概率a_ij的估计值为：

由此，状态转移矩阵可以根据给定的隐层状态序列S计算得出。

样本中状态为j并且观测值为k的频数为B_jk。因此那么状态为j观测值为k的混淆概率b_jk的估计值为：

S600，根据状态转移矩阵和混淆矩阵，计算后续的网络流量加权特征，得到后续网络流量加权特征预测序列；

根据状态转移矩阵A和混淆矩阵B向后预测，计算后续的网络流量加权特征，得到预测序列Pseq，Pseq＝HMMgenerate(O-D,A,B)。

S700，通过混沌模型计算后续网络流量加权特征预测序列的预测误差序列；

在一个实施例中，预测误差序列Error(j)的计算公式为：

Error(j)＝X(j+D)-Pseq(j)

其中，Pseq(j)为所述后续网络流量加权特征预测序列中的后续网络流量加权特；X(j+D)为后续网络流量加权特征观测序列中的后续网络流量加权特征观测值。

图4为本发明实施例提供的预测误差序列的折线图。如图4中第5分钟之前和第55分钟之后的正常流的预测误差序列，可见利用所述隐马尔科夫预测模型可以有效地对正常流进行预测，由于网络节点一直处于安全状态，故预测误差会在一个较小的范围内进行波动。如图4中第5分钟与第55分钟之间的攻击流的预测误差序列，显然当攻击行为发生时，预测误差会变得较大并且波动也较大。

S800，通过预测误差序列和网络流平均速率序列来识别DDoS攻击；

首先，初始化网络信号状态为flag＝1；

其次，判断所述预测误差序列中的所述预测误差是否为混沌误差，并用N₁(i)标志：当所述预测误差是混沌误差时，N₁(i)＝1，否则N₁(i)＝﹣1；

再次，根据以下三个判断条件识别DDoS攻击：

条件一：当时，保持flag＝1并继续后续条件判断，否则更新所述网络信号状态为flag＝0，直接确定未发生DDoS攻击；

条件二：当时，保持flag＝1并继续后续条件判断，否则更新所述网络信号状态为flag＝0，直接确定未发生DDoS攻击；

条件三：当时，保持flag＝1并确定发生DDoS攻击，否则更新所述网络信号状态为flag＝0，确定未发生DDoS攻击；

其中，e为自然常数，y₁为第一个单位时间内的网络流平均速率。

由上可见，本发明不仅可以对DDoS攻击行为进行检测，而且相较于现有技术，本发明显著降低了DDoS攻击检测的误报率。首先，本发明定义了网络流量加权特征，可以对正常用户的突发性访问进行平滑处理，降低DDoS攻击误判率。其次，本发明定义了网络流平均速率，考虑了出现庞大用户群体向服务器请求服务时的情况，利用源IP地址数削弱单位时间内的数据包个数峰值特征，从而降低了误报率。再次，本发明利用隐马尔科夫模型的时序特性，克服了现有基于机器学习算法的局限性，并且定义了定义隐层状态数评价指标，动态计算HMM的最佳隐层状态数，使本发明在不同的网络环境仍能具有很好的表现。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于HMM和混沌模型的DDoS攻击检测方法，其特征在于，所述方法包括：

连续采集D个单位时间内的网络流量信息，作为HMM训练集；

根据所述HMM训练集，分别计算D个网络流量加权特征和D个网络流平均速率，得到网络流量加权特征观测序列和网络流平均速率序列；

根据所述HMM训练集，计算HMM的最佳隐层状态数N；

采用层次聚类算法将所述HMM训练集分为N类，得到隐层状态序列；

利用所述网络流量加权特征观测序列和所述隐层状态序列，对HMM进行监督学习，得到状态转移矩阵和混淆矩阵；

根据所述状态转移矩阵和所述混淆矩阵，计算后续的网络流量加权特征，得到后续网络流量加权特征预测序列；

通过混沌模型计算所述后续网络流量加权特征预测序列的预测误差序列；

通过所述预测误差序列和所述网络流平均速率序列来识别DDoS攻击。

2.如权利要求1所述的方法，其特征在于，所述网络流量信息包括数据包个数、数据包的源IP地址数。

3.如权利要求2所述的方法，其特征在于，所述网络流量加权特征的计算公式为：

X_t＝θU_t-1+(1-θ)U_t

其中，U_t是单位时间内的所述数据包个数；U_t-1是前一单位时间内的所述数据包个数；加权值θ为实数，且0＜θ＜1。

4.如权利要求3所述的方法，其特征在于，所述网络流平均速率的计算公式为：

y_t＝U_t/I_t

其中，U_t是单位时间内的所述数据包个数；I_t是单位时间内数据包的所述源IP地址数。

5.如权利要求4所述的方法，其特征在于，所述根据所述HMM训练集，计算HMM的最佳隐层状态数N的步骤包括：

根据所述HMM训练集，设置所述隐层状态数N′的初始值为1，并以公差为1递增，迭代计算隐层状态数评价指标EISNHL；

将所述EISNHL的值出现第一个拐点时的所述隐层状态数N′，作为所述最佳隐层状态数N。

6.如权利要求5所述的方法，其特征在于，所述EISNHL的计算公式为：

其中，和分别为所述HMM训练集中，单位时间内所述数据包个数的最大值和最小值；D为所述HMM训练集的序列长度。

7.如权利要求6所述的方法，其特征在于，所述隐层状态序列的计算公式为：

(Sseq,Oseq)＝HierarchicalClustering({X₁,X₂,…,X_D},N)

其中，{X₁,X₂,…,X_D}为所述网络流量加权特征观测序列；Oseq和Sseq分别为所述网络流量加权特征观测序列的输出序列和与其对应的隐层状态序列。

8.如权利要求7所述的方法，其特征在于，所述预测误差序列Error(j)的计算公式为：

Error(j)＝X(j+D)-Pseq(j)

其中，Pseq(j)为所述后续网络流量加权特征预测序列中的后续网络流量加权特征；X(j+D)为后续网络流量加权特征观测序列中的后续网络流量加权特征观测值。

9.如权利要求8所述的方法，其特征在于，所述通过所述预测误差序列和所述网络流平均速率序列来识别DDoS攻击的步骤包括：

初始化网络信号状态为flag＝1；

判断所述预测误差序列中的所述预测误差是否为混沌误差，并用N₁(i)标志：当所述预测误差是混沌误差时，N₁(i)＝1，否则N₁(i)＝﹣1；

当时，保持flag＝1并继续后续条件判断，否则更新所述网络信号状态为flag＝0，直接确定未发生DDoS攻击；

当时，保持flag＝1并继续后续条件判断，否则更新所述网络信号状态为flag＝0，直接确定未发生DDoS攻击；

当时，保持flag＝1并确定发生DDoS攻击，否则更新所述网络信号状态为flag＝0，确定未发生DDoS攻击；

其中，e为自然常数，y₁为第一个单位时间内的网络流平均速率。