CN109450876A - 一种基于多维度状态转移矩阵特征的DDos识别方法和系统 - Google Patents

Abstract

本发明涉及一种基于多维度状态转移矩阵特征的DDos识别方法和系统。该方法包括：1)采集网络流元数据，并标注DDos流量与正常流量；2)利用采集并标注的网络流元数据，基于状态转移矩阵提取DDos的多维度特征；3)利用提取的多维度特征，采用机器学习算法训练分类模型；4)将待测的网络流数据按照步骤2)提取多维度特征，输入到步骤3)训练得到的分类模型中，获得DDos识别结果。本发明提取出可以有效刻画不同DDos攻击手法的网络行为特征，结合机器学习算法训练学习，在对场景先验知识较少的情况下，能够既准又全的识别DDos攻击。

Description

一种基于多维度状态转移矩阵特征的DDos识别方法和系统

技术领域

本发明属于信息技术领域，具体涉及一种基于多维度状态转移矩阵特征的DDos识别方法和系统。

背景技术

随着互联网与信息技术的不断发展，网络攻击手段也层出不穷，但分布式拒绝服务攻击(Distributed Denial of Service,DDoS)仍是其中的佼佼者，其方式简单、破坏力极强，被攻击者广泛使用，且形式也越来越多样。互联网目前正在朝着“物物互联”发展，这意味着有成百上千的设备会接入互联网；除此之外，云计算等技术的发展使得互联网应用及服务迅速增长，使得骨干网流量已达到Tbps的数量级。以上原因导致基于流量数据检测攻击变得越来越困难。因此，通过流量识别DDos攻击仍是一个巨大的挑战，也受到了工业界和学术界的广泛关注。

使用数据流的采样元信息进行DDos检测是必然的趋势。目前使用采样元信息进行DDos识别的方法主要存在两类：a.基于阈值的识别方法。b.基于机器学习的识别方法。基于阈值的方法主要是通过DDos的某一或某些属性，抽象出可以表征DDos行为的特征，例如访问频率、访问量、信息熵等。基于机器学习的方法通过提取数据流或数据包中的特征进行训练学习。基于阈值的方法在一定的场景下仍可产生作用，但随着DDos攻击手段的演变发展，目前部分DDos已不在流量侧产生明显可识别的特征，使得传统方法在准确率与覆盖率两方面均在下降，因此基于机器学习的DDos识别方法正在逐渐兴起。

目前使用采样元信息识别DDos所使用的手段可分为以下两种：

a.基于某一维度或某几个维度划定阈值的识别方法。某些手段的DDos攻击会在流量中产生明显不同于正常行为的特征，常用的维度包括：(1)基于统计属性的特征，包括访问频率、访问量、包数、字节数等。这些特征可以刻画flood类DDos的特点。(2)基于熵的特征。熵可以刻画数据的稳定程度，当数据骤变时，熵会产生明显的抖动，利用流量的抖动程度可识别DDos。(3)基于指数加权平均移动(Exponentially Weighted Moving Average,EWMA)及其变形。EWMA根据当前观测值可产生下一时刻的估计值，且其具有一定的吸收瞬间突发的能力，当产生剧烈突发时，EWMA可有效识别。以上行为特征均需要划定一个合理的阈值才可发挥作用，而阈值的划定常常是启发式或经验式的，且在不同的网络环境下有着明显的不同。除此之外，这类方法对一些新型DDos手段无法识别，例如慢连接攻击等。

b.基于机器学习的识别方法。通过将采样元信息聚合，获取一系列汇聚特征，通过机器学习算法进行训练学习得到识别模型进行识别。常用的特征包括：统计量属性(包数、字节数等)、时间属性(持续时间、码率等)、统计分布特征(包括某些字段均值、方差、分位数等)。基于机器学习的识别方法可以粒度较细的识别DDos攻击，但依赖训练数据，而现阶段存在的特征只关注于统计特征，尚未涵盖模式特征，使其查准率在某些场景下低于传统方法。

发明内容

本发明旨在提供一种利用网络流的采样元信息，结合状态转移矩阵，从多维度提取可以刻画DDos行为的特征，基于机器学习的DDos攻击识别方法。提取出可以有效刻画不同DDos攻击手法的网络行为特征，结合机器学习算法训练学习，在对场景先验知识较少的情况下，即可既准又全的识别DDos攻击。

本发明通过对不同DDos攻击工具的调研了解，旨在对DDos攻击从统计维度、模式维度等多维度提取特征，结合状态转移矩阵进行特征变换，并配合强机器学习算法，提升识别的准确率和召回率。

本发明采用的技术方案如下：

一种基于多维度状态转移矩阵特征的DDos识别方法，包括以下步骤：

1)采集网络流元数据，并标注DDos流量与正常流量；

2)利用采集并标注的网络流元数据，基于状态转移矩阵提取DDos的多维度特征；

3)利用提取的多维度特征，采用机器学习算法训练分类模型；

4)将待测的网络流数据按照步骤2)提取多维度特征，输入到步骤3)训练得到的分类模型中，获得DDos识别结果。

进一步地，步骤1)通过部署多种DDos攻击工具，对目标网络进行攻击，在路由器端收集流量的Netflow数据，利用源IP标注DDos流量与正常流量。

进一步地，步骤2)首先将Netflow原始属性按设定的时间窗口，以IP地址为key进行聚合，然后对每个时间窗口内的Netflow属性提取多维度特征。

进一步地，步骤2)所述多维度特征包括：基于流的特征、基于模式的特征和基于频率的特征；所述基于流的特征对DDos流量与正常流量在统计量上的不同表征进行刻画；所述基于模式的特征是通过对观测数据的分析找到上下行包数及字节数的代表序列，构建上下行包数及字节数的累加值转移矩阵，用以刻画DDos的模式特征；所述基于频率的特征体现DDos流量与正常流量在对目标主机的访问频率上存在的差异。

进一步地，所述基于流的特征包括：上行总包数、上行总字节数、上行持续时间、下行总包数、下行总字节数、下行持续时间。

进一步地，按照以下方式提取所述基于模式的特征：

a)将时间窗口内Netflow数据的上下行包数、字节数划分成若干个时间格子；

b)对每个时间格子进行累加值频率直方图分析，选取能够覆盖设定的阈值的正常流量数据的值作为当前格子代表值，生成上下行包数、上下行字节数代表序列；

c)取时间窗口中Netflow数据的上行包数、上行字节数、下行包数、下行字节数，计算每个时间格子的累加值，利用代表序列，生成状态转移矩阵，并最终转化为固定维度的模式特征。

进一步地，步骤a)所述时间窗口为10s，将10s内Netflow数据的上下行包数、字节数划分成[0,2)、[2,4)…共5个时间格子；步骤b)所述设定的阈值为99％；步骤c]利用代表序列，生成四个5x5的状态转移矩阵，转化为1x100大小作为模式特征。这里的时间窗口大小、时间格子大小、状态转移矩阵维度、覆盖阈值以及模式特征维度均为效果较好的典型值，也可以采用其它值。

进一步地，所述基于频率的特征包括：流数目、码率。

进一步地，步骤3)将多维度特征转化为向量输入到随机森林中，调整算法参数，训练分类模型。

与上面方法对应的，本发明还提供一种基于多维度状态转移矩阵特征的DDos识别系统，其包括：

数据采集模块，负责采集网络流元数据，并标注DDos流量与正常流量；

多维度特征构建模块，负责利用采集并标注的网络流元数据，基于状态转移矩阵提取DDos的多维度特征；

模型训练模块，负责利用提取的多维度特征，采用机器学习算法训练分类模型；

DDos识别模块，负责调用所述多维度特征构建模块对待测的网络流数据提取多维度特征，输入到所述模型训练模块得到的分类模型中，获得DDos识别结果。

利用本发明提供的方法在对DDos进行识别时，具有以下优点和有益效果：

a.利用轻量级Netflow数据，可以在高速网络环境中有效识别DDos攻击，且对资源的消耗较低。

b.并不依赖特定阈值，可以适用于不同的网络环境，仅需要较少的先验知识。

c.提取了基于流、基于模式和基于频率三个维度的特征，可以较为全面的刻画DDos行为的特征，且可对不同形式的DDos进行有效识别。

d.使用累加值的转移矩阵形式刻画DDos的模式特征，可以从较少的维度完成较细粒度的刻画。

e.借助有监督机器学习算法-随机森林，并通过参数调整，最大程度地逼近了数据上限。

附图说明

图1是本发明方法的总体架构示意图。

图2是实例1中实验环境的网络拓扑结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明提供的DDos识别方法的总体架构和流程如图1所示，包括以下步骤：

a.采样网络流元数据采集：

架设DDos攻击机，部署多种常用的DDos攻击工具，对目标网络进行攻击，在路由器端收集流量的Netflow数据，利用源IP标注DDos流量与正常流量。

b.基于状态转移矩阵的多维度特征构建：

将Netflow原始属性按时间窗口，以IP地址为key进行聚合，聚合时间窗口大小为10s，对每个窗口内的Netflow属性提取以下三个维度的特征。

(1)基于流的特征：上行总包数、上行总字节数、上行持续时间、下行总包数、下行总字节数、下行持续时间。基于流的特征可以刻画DDos在统计量上区别于正常行为的偏移，对flood、反射类攻击手法的识别可以取得较好的效果。

(2)基于模式的特征：将10s内Netflow数据的上下行包数、字节数划分成[0,2)、[2,4)…5个时间格子，对每个格子进行累加值频率直方图分析，选取可以覆盖99％正常流量数据的值作为当前格子代表值，生成上下行包数、上下行字节数代表序列。取时间窗口中Netflow数据的上行包数、上行字节数、下行包数、下行字节数，计算每个时间格子的累加值，利用代表序列，生成四个5x5的状态转移矩阵，转化为1x100大小作为模式特征。借助状态转移矩阵生成的特征可以有效识别包括慢反射等新型手法的不同DDos手法在模式上的表现。

上述基于模式的特征提取过程，举例说明如下：

假设0-9s每秒产生一条正常netflow记录，格式为源ip、目的ip、包数、字节数。如下：

0s:ip1,ip2,2,128

1s:ip1,ip2,1,64

2s:ip1,ip2,3,300

3s:ip1,ip2,1,64

4s:ip1,ip2,1,55

5s:ip1,ip2,5,768

6s:ip1,ip2,6,1433

7s:ip1,ip2,1,64

8s:ip1,ip2,2,128

9s:ip1,ip2,1,64

以ip1为key进行聚合，以上行包数为例，5个时间格子的代表值分别为(3,7,13,20,23)，假设ip3在0-9秒内每秒产生一条netflow记录，每条包数分别为：(1,1,2,3,1,2,4,1,3,1)，则其生成的上行包数状态转移矩阵为：

(3)基于频率的特征：包括10s内的流数目、码率。

(4)以上三点中的时间窗口大小10s、时间格子大小2s、用于覆盖正常流量的阈值大小99％、状态转移矩阵维度5x5以及模式特征大小1x100，均为效果理想的典型值，也可以采取其他值。

c.基于集成学习方法训练识别模型：

将上述三个维度的特征转化为1xN的向量输入到随机森林中，调整算法参数，训练学习获得分类模型。

d.模型评估与使用：

将待测数据按照步骤b中处理方式提取特征，输入到c所得分类模型中，获得识别结果。

上述方法使用网络流的元信息作为原始数据，不需任何载荷信息，且支持任意比例的采样，可以实现在高速网络环境下检测DDos攻击。

上述方法可在对网络环境的先验知识了解极少的情况下完成对DDos攻击的识别。上述方法首次提出从基于流、基于模式、基于频率三个维度提取刻画DDos行为的特征。首次提出借用状态转移矩阵的方法构建用于识别DDos的特征。其中，基于流的特征对DDos流量与正常流量在统计量上的不同表征进行了刻画，此类特征对常规的DDos攻击手法可以有效识别；借助对观测数据的分析找到上下行包数及字节数的代表序列，构建上下行包数及字节数的累加值转移矩阵，用以刻画DDos的模式特征。模式特征不仅可以加强对常规DDos攻击手法的识别，对慢反射一类的新型DDos攻击手法的识别上也有较好的表现，且可以有效区分机器行为与用户行为。通过状态转移矩阵的方式构造特征，可以用较低的特征维度完成细粒度识别；利用流数目等属性刻画频率特征。DDos流量与正常流量在对目标主机的访问频率上存在着巨大的差异，这也是用于刻画DDos的经典特征。

上述方法对多维度特征数据进行有监督学习，建立识别模型。通过基于集成学习思想的随机森林算法，最大程度地逼近了数据上限，得到一个准确率覆盖率兼顾的模型，并可以识别不同手法的DDos攻击。

下面提供本发明的两个具体应用实例。

实例1：对部署环境进行DDos识别

在图2所示环境中进行实验。其中DDos流量由LOIC,PyLoris,DABOSET,Glodeneye,Hulk,Slowsloris,Torshammer和hping3八种黑客常用的DDos攻击工具产生，正常流量由用户的正常行为轨迹产生。特征提取后，获得DDos类数据20W条，正常数据40W条进行训练，生成识别模型。同维度数据DDos类10W条，正常数据10W条进行测试，准确率达99.5％，误判率仅为0.4％。

实例2：在公开数据集CIC-IDS-2017上的识别

公开数据集CIC-IDS-2017包含Pcap文件8.23GB，提取特征后，得到正常数据13W条，DDos数据9W条。采用十折交叉验证进行评估，准确率达97.4％，误判率1.7％。

本发明另一实施例提供一种基于多维度状态转移矩阵特征的DDos识别系统，其包括：

数据采集模块，负责采集网络流元数据，并标注DDos流量与正常流量；

多维度特征构建模块，负责利用采集并标注的网络流元数据，基于状态转移矩阵提取DDos的多维度特征；

模型训练模块，负责利用提取的多维度特征，采用机器学习算法训练分类模型；

DDos识别模块，负责调用所述多维度特征构建模块对待测的网络流数据提取多维度特征，输入到所述模型训练模块得到的分类模型中，获得DDos识别结果。

除上面实施例以外，本发明的建模部分可由任意支持处理连续与离散特征、可用于分类问题的机器学习算法替代，但对比发现随机森林效果较好。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于多维度状态转移矩阵特征的DDos识别方法，其特征在于，包括以下步骤：

1)采集网络流元数据，并标注DDos流量与正常流量；

2)利用采集并标注的网络流元数据，基于状态转移矩阵提取DDos的多维度特征；

3)利用提取的多维度特征，采用机器学习算法训练分类模型；

4)将待测的网络流数据按照步骤2)提取多维度特征，输入到步骤3)训练得到的分类模型中，获得DDos识别结果。

2.根据权利要求1所述的方法，其特征在于，步骤1)通过部署多种DDos攻击工具，对目标网络进行攻击，在路由器端收集流量的Netflow数据，利用源IP标注DDos流量与正常流量。

3.根据权利要求1所述的方法，其特征在于，步骤2)首先将Netflow原始属性按设定的时间窗口，以IP地址为key进行聚合，然后对每个时间窗口内的Netflow属性提取多维度特征。

4.根据权利要求1所述的方法，其特征在于，步骤2)所述多维度特征包括：基于流的特征、基于模式的特征和基于频率的特征；所述基于流的特征对DDos流量与正常流量在统计量上的不同表征进行刻画；所述基于模式的特征是通过对观测数据的分析找到上下行包数及字节数的代表序列，构建上下行包数及字节数的累加值转移矩阵，用以刻画DDos的模式特征；所述基于频率的特征体现DDos流量与正常流量在对目标主机的访问频率上存在的差异。

5.根据权利要求4所述的方法，其特征在于，所述基于流的特征包括：上行总包数、上行总字节数、上行持续时间、下行总包数、下行总字节数、下行持续时间。

6.根据权利要求4所述的方法，其特征在于，按照以下方式提取所述基于模式的特征：

a)将时间窗口内Netflow数据的上下行包数、字节数划分成若干个时间格子；

b)对每个时间格子进行累加值频率直方图分析，选取能够覆盖设定的阈值的正常流量数据的值作为当前格子代表值，生成上下行包数、上下行字节数代表序列；

c)取时间窗口中Netflow数据的上行包数、上行字节数、下行包数、下行字节数，计算每个时间格子的累加值，利用代表序列，生成状态转移矩阵，并最终转化为固定维度的模式特征。

7.根据权利要求6所述的方法，其特征在于，步骤a)所述时间窗口为10s，将10s内Netflow数据的上下行包数、字节数划分成[0,2)、[2,4)…共5个时间格子；步骤b)所述设定的阈值为99％；步骤c]利用代表序列，生成四个5x5的状态转移矩阵，转化为1x100大小作为模式特征。

8.根据权利要求4所述的方法，其特征在于，所述基于频率的特征包括：流数目、码率。

9.根据权利要求1所述的方法，其特征在于，步骤3)将多维度特征转化为向量输入到随机森林中，调整算法参数，训练分类模型。

10.一种基于多维度状态转移矩阵特征的DDos识别系统，其特征在于，包括：

数据采集模块，负责采集网络流元数据，并标注DDos流量与正常流量；

多维度特征构建模块，负责利用采集并标注的网络流元数据，基于状态转移矩阵提取DDos的多维度特征；

模型训练模块，负责利用提取的多维度特征，采用机器学习算法训练分类模型；

DDos识别模块，负责调用所述多维度特征构建模块对待测的网络流数据提取多维度特征，输入到所述模型训练模块得到的分类模型中，获得DDos识别结果。