CN110505179B - 一种网络异常流量的检测方法及系统 - Google Patents

Abstract

本发明公开了一种网络异常流量的检测方法及系统，所述方法包括：步骤1)获取流量数据并抽取流量特征，构建数据集；步骤2)对步骤1)的数据集进行粗聚类，将数据集划分为若干个聚类；步骤3)将聚类的样本数小于阈值的聚类中样本划分为全局离群点，确定为网络异常流量，对于聚类的样本数不小于阈值的聚类，使用孤立森林算法对该聚类进行检测，如果某个聚类的样本为局部离群点，则确定为网络异常流量。本发明的网络异常流量的检测方法具有快速，全面和有效的优点。

Description

一种网络异常流量的检测方法及系统

技术领域

本发明涉及网络信息安全领域，特别涉及一种网络异常流量的检测方法及系统。

背景技术

随着网络技术高速发展，互联网应用爆发式增长，同时伴随移动互联网逐渐成熟，网络环境也渐趋复杂。快速增长的网络流量中包含了大量对用户有害的网络入侵行为，给网络服务质量(QoS)以及网络安全带来巨大压力。常见的入侵检测系统主要包含特征检测和异常检测，异常检测通过分析网络流量相关数据来判断系统中是否含有对网络安全有害的异常行为，设计高精确度的网络异常流量检测模型逐渐成为研究热点。

目前的网络异常流量检测方法主要分为基于统计与数据分布的方法、有监督学习和无监督学习判别方法。

基于统计与数据分布：一般需要建立模型来刻画流量，假设正常流量服从特定的概率分布。使用阈值基线，超出阈值就判定为异常，例如使用流量数据的熵量。

有监督学习的方法：需要给定带有正常和异常标签的流量数据，但是异常流量的种类繁多，需要一套定义良好的数据集以提取其中的流量特征。在离线网络环境中，有监督学习所训练的分类器具有较好的检测能力，然而在复杂的动态网络环境中，由于缺乏定义良好的训练数据，上述模型难以分辨当前未知的、复杂的攻击模式，较难训练出可以有效区分正常和异常流量数据的分类器。

无监督学习的方法：假定正常的网络具有一套正常的行为模式，偏离基线的网络流量属于异常流量，通过侦测离群点来检测异常网络流量。网络流量通过属性特征的量化，可以将流量映射到特征空间，研究表明正常流量与异常流量在特征空间中的分布存在明显差异。一些方法基于特征空间中的距离与密度，例如使用局部异常因子算法来判断离群点，但局部异常因子算法需要大量计算数据点两两之间的距离，复杂度较高。在特征空间使用基于划分的孤立森林算法可以快速并且有效地侦测离群点，以检测偏离当前网络行为的异常流量，其复杂度低于局部异常因子算法，并且可以应用于分布式计算场景。

发明内容

本发明的目的在于克服现有技术中的不足：已有的基于有监督学习的异常网络流量识别方法在动态网络环境中对变异以及未定义攻击模式难以识别，使用孤立森林算法可以快速并有效地检测离群点，以确定异常网络流量。但单独使用孤立森林算法对局部离群点难以检测。

为了实现上述目的，本发明提供了一种网络异常流量的检测方法，所述方法包括：

步骤1)获取流量数据并抽取流量特征，构建数据集；

步骤2)对步骤1)的数据集进行粗聚类，将数据集划分为若干个聚类；

步骤3)将聚类的样本数小于阈值的聚类中样本划分为全局离群点，确定为异常流量，对于聚类的样本数不小于阈值的聚类，使用孤立森林算法对该聚类进行检测，如果某个聚类的样本为局部离群点，则确定为异常流量。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)从网络中截取数据流量包，将一系列具有相同源地址、目的地址、源端口、目的端口和协议的数据汇聚为一个数据流，数据包汇聚为双向流；

步骤1-2)构建数据集X＝{X₁，X₂，...，X_n}，其中每个流量数据样本X_i＝{a₁，a₂，...，a_m}，其中，a_k为归一化的特征值，1≤k≤m；所述特征值为：流持续时间、正向流两个包到达时间隔、逆向流两个包到达时间隔、数据流两个包到达时间隔、每秒数据包、每秒字节数、包平均字节数、正向流包字节数或逆向流包字节数。

作为上述方法的一种改进，所述步骤2)具体包括：

步骤2-1)定义距离阈值T₁和T₂，且T₁＞T₂，定义类别最小数阈值c_min，聚类个数j＝1；

步骤2-2)随机选取数据集X中的一个样本X_s，并将样本X_s从数据集X中移除；

步骤2-3)计算数据集X中所有样本X_i到X_s的距离d(X_i)，其中，1≤i≤s-1且s+1≤i≤n；如果d(X_i)＜T₁，则将归入聚类C_j中；

步骤2-4)判断d(X_i)＜T₂是否成立，如果成立，则将X_i从数据集X中删除；如果数据集X为空，转入步骤2-5)，否则，转入步骤2-2)；

步骤2-5)聚类结束，数据集X被划分为P个聚类C_j，1≤j≤P。

作为上述方法的一种改进，所述步骤3)具体包括：

步骤3-1)对于聚类C_j，1≤j≤P，判断C_j中样本数目是否小于阈值c_min，如果判断结果是肯定的，则判定C_j中的样本为全局离群点，即网络异常流量，否则，转入步骤3-2)；

步骤3-2)指定一个特征维度a_k，在当前树节点所包含样本集合中指定维度a_k的最大值和最小值之间，随机指定一个特征分裂值s，以此分裂值s生成一个超平面，将当前节点样本空间划分为2个子空间：将指定维度内小于s的样本放在当前节点的左子树，把大于等于s的样本放在当前节点的右子树；

步骤3-3)在子节点中递归步骤3-2)，不断构造新的子节点，直到子节点中只包含一个数据，无法继续分裂，或子节点距离树根距离已达到树最大高度h_max；

步骤3-4)迭代步骤3-2)至步骤3-3)，直到构建t颗树：T＝{T₁，T₂，...，T_t}；

步骤3-5)获得t颗树之后，计算每个样本X_i到树根节点的平均距离：

h_p(X_i)为每个样本X_i到树T_p的根节点的距离；T_p∈T；

步骤3-6)根据E(h(X_i))判断样本X_i判定其是否为网络异常流量；

作为上述方法的一种改进，所述步骤3-6)具体为：

若包含样本X_i的聚类中有ψ个样本点，使用式(1)计算其异常值得分s(X_i，ψ)：

其中，c(ψ)由公式(2)和公式(3)计算：

c(ψ)＝2H(ψ-1)-2(ψ-1)/ψ (2)

H(ψ-1)＝ln(ψ)+a (3)

其中，a为欧拉常数，0＜s(X_i，ψ)≤1，若s(X_i，ψ)远小于0.5时，则表明该样本为正常流量；若s(X_i，ψ)接近1时，表明该样本为局部离群点，判定其为网络异常流量。

作为上述方法的一种改进，所述步骤3-6)具体为：若包含X_i的某个聚类中有ψ个样本点，当平均距离E(h(X_i))远小于平均树高log₂ψ时，判断ψ个样本点为局部离群点，判定对应的流量为网络异常流量。

本发明还提供了一种网络异常流量检测系统，所述系统包括：

特征提取模块，用于将原始流量数据转化为多维度特征向量，构建数据集；

聚类模块，用于将数据集划分为P个聚类；

第一检测模块，用于根据聚类中的样本数目确定全局离群点作为网络异常流量；和

第二检测模块，用于在聚类中寻找局部离群点作为网络异常流量。

作为上述系统的一种改进，所述特征提取模块包括：

获取流量原始数据单元，用于将具有相同源IP地址、源端口号、目的IP地址、目的端口号和传输层协议的数据包汇聚为数据流；和

训练数据集构建单元，用于对所述数据流提取流特征转化为多维特征向量X_i，所述X_i＝{a₁，a₂，...，a_m}，构建数据集X＝{X₁，X₂，...，X_n}；其中，a_k为归一化的特征值，1≤k≤m；所述特征值为：流持续时间、正向流两个包到达时间隔、逆向流两个包到达时间隔、数据流两个包到达时间隔、每秒数据包、每秒字节数、包平均字节数、正向流包字节数或逆向流包字节数。

作为上述系统的一种改进，所述第一检测模块的实现过程为：

对于P个聚类，若某聚类中的样本数目小于设定的阈值c_min，则判定这些样本为全局离群点，判定该样本为网络异常流量，对于聚类中的样本数目不小于设定的阈值c_min的聚类，转入所述第二检测模块进行检测。

作为上述系统的一种改进，所述第二检测模块包括：

构建孤立森林单元，用于随机构建t颗空间划分路径树：T＝{T₁，T₂，...，T_t}；

平均距离计算单元，用于计算聚类的每个样本X_i到树根节点的平均距离：

h_p(X_i)为每个样本X_i到树T_p的根节点的距离；T_p∈T；和

局部离群点判断单元，根据E(h(X_i))判断样本X_i判定其是否为网络异常流量；若包含X_i的某个聚类中有ψ个样本点，当平均距离E(h(X_i))远小于平均树高log₂ψ时，判断ψ个样本点为局部离群点，判定对应的流量为网络异常流量。

本发明的优点在于：

1、本发明基于空间划分的孤立森林算法可以快速有效地检测离群点，以确定异常网络流量；

2、本发明对流量样本聚类后进行两次检测，更加全面和有效；

2、由于孤立森林算法仅对全局离群点敏感，本发明使用聚类算法进行粗聚类，可以缩小特征空间，在较小的聚类的空间中检测局部相对离群点，使得本发明能够更全面有效地检测到网络异常流量。

附图说明

图1是本发明的网络异常流量检测方法的流程图；

图2是本发明的网络异常流量检测系统的结构框图。

具体实施方式

现结合附图对本发明作进一步的描述。

如图1所示，本发明提供了一种网络异常流量的检测方法，所述方法包括：

步骤1)获取流量数据，对所述流量数据预处理，抽取流量特征，组成数据特征集；包括以下步骤：

步骤1-1)从网络中截取数据流量包，将一系列具有相同源地址、目的地址、源端口、目的端口和协议的数据汇聚为一个数据流，通常把数据包汇聚为双向流；

步骤1-2)构建训练数据集X＝{X₁，X₂，...，X_n}，其中每个流量数据样本X_i包含特征维度A＝{a₁，a₂，...，a_m}，其中所有特征a_k为归一化后数值，1≤k≤m。

特征包括：流持续时间、正向流两个包到达时间隔、逆向流两个包到达时间隔、数据流两个包到达时间隔、每秒数据包、每秒字节数、包平均字节数、正向流包字节数、逆向流包字节数等，并且包括以上数据的均值、最大值、最小值、标准差等统计数值。

步骤2)对上述数据特征集进行粗聚类，将数据划分为n个聚类；包括以下步骤：

步骤2-1)定义距离阈值T₁和T₂，且T₁＞T₂，定义类别最小数阈值c_min；

步骤2-2)随机选取数据集X中某样本X_s，并将样本X_s从数据集X中移除；

步骤2-3)计算数据集中所有样本X_i到X_s的距离d(X_i)，如果d(X_i)＜T₁，则将归入聚类_i聚类中，进一步，若d(X_i)＜T₂，则将X_i从X中删除；其中，1≤i≤s-1且s+1≤i≤n；

步骤2-4)递归步骤2-2)到2-3)，直到数据集X为空，形成多个聚类。

步骤3)判断每个聚类的样本数目是否小于阈值c_min，如果判断结果是肯定的，则判定这些样本为全局离群点，即异常流量，否则，对聚类使用孤立森林算法进行离群点判断，根据离群点检测结果，确定异常流量，包括以下步骤：

步骤3-1)对于聚类C_j，1≤j≤P，判断C_j中样本数目是否小于阈值c_min，如果判断结果是肯定的，则判定C_j中的样本为全局离群点，即异常流量，否则，转入步骤3-2)；

步骤3-2)随机指定一个特征维度a_k，在当前树节点所包含样本集合中指定维度a_k的最大值和最小值之间，随机指定一个特征分裂值s，以此分裂值s生成一个超平面，将当前节点样本空间划分为2个子空间：将指定维度内小于s的样本放在当前节点的左子树，把大于等于s的样本放在当前节点的右子树；

步骤3-3)在子节点中递归步骤3-2)，不断构造新的子节点，直到子节点中只包含一个数据，无法继续分裂，或子节点距离树根距离已达到树最大高度h_max；

步骤3-4)迭代步骤3-2)至步骤3-3)，直到构建t颗树：T＝{T₁，T₂，...，T_t}；

步骤3-5)获得t颗树之后，对每个样本X_i，计算其位于每棵树中的层高的均值

即到树根节点的平均距离；

步骤3-6)对所有样本点X_i，若包含X_i的聚类中有ψ个样本点，使用式(1)计算其异常值得分：

其中，c(ψ)由公式(2)和公式(3)计算：

c(ψ)＝2H(ψ-1)-2(ψ-1)/ψ (2)

H(ψ-1)＝ln(ψ)+a (3)

其中，a为欧拉常数，0＜s(X_i，ψ)≤1，若s(X_i，ψ)远小于0.5时，则表明该样本为正常流量；若s(X_i，ψ)非常接近1时，表明该样本为离群点，判定其为网络异常流量。

如图2所示，本发明还提供了一种网络异常流量检测系统，所述系统包括：特征提取模块、聚类模块、第一检测模块和第二检测模块；

所述特征提取模块，用于将原始流量数据转化为多维度特征向量，构建数据集；包括：

获取流量原始数据单元，用于将具有相同源IP地址、源端口号、目的IP地址、目的端口号和传输层协议的数据包汇聚为数据流；和

训练数据集构建单元，用于对所述数据流提取流特征转化为多维特征向量X_i，所述X_i＝{a₁，a₂，...，a_m}，构建数据集X＝{X₁，X₂，...，X_n}；其中，a_i为归一化的特征值；所述特征值为：流持续时间、正向流两个包到达时间隔、逆向流两个包到达时间隔、数据流两个包到达时间隔、每秒数据包、每秒字节数、包平均字节数、正向流包字节数或逆向流包字节数。

所述聚类模块，用于将数据集划分为P个聚类；

所述第一检测模块，用于根据聚类中的样本数目确定全局离群点作为网络异常流量；

对于P个聚类，若某聚类中的样本数目小于设定的阈值c_min，则判定这些样本为全局离群点，判定该样本为网络异常流量，对于聚类中的样本数目不小于设定的阈值c_min的聚类，转入所述第二检测模块进行检测。

所述第二检测模块，用于在聚类中寻找局部离群点作为网络异常流量，包括：

构建孤立森林单元，用于随机构建t颗空间划分路径树：T＝{T₁，T₂，...，T_t}；

平均距离计算单元，用于计算聚类的每个样本X_i到树根节点的平均距离：

h_p(X_i)为每个样本X_i到树T_p的根节点的距离；T_p∈T；和

局部离群点判断单元，根据E(h(X_i))判断样本X_i判定其是否为网络异常流量；若包含X_i的某个聚类中有ψ个样本点，当平均距离E(h(X_i))远小于平均树高log₂ψ时，判断ψ个样本点为局部离群点，判定对应的流量为网络异常流量。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种网络异常流量的检测方法，所述方法包括：

步骤1)获取流量数据并抽取流量特征，构建数据集；

步骤2)对步骤1)的数据集进行粗聚类，将数据集划分为若干个聚类；

步骤3)将聚类的样本数小于阈值的聚类中样本划分为全局离群点，确定为网络异常流量，对于聚类的样本数不小于阈值的聚类，使用孤立森林算法对该聚类进行检测，如果某个聚类的样本为局部离群点，则确定为网络异常流量；

所述步骤1)具体包括：

步骤1-1)从网络中截取数据流量包，将一系列具有相同源地址、目的地址、源端口、目的端口和协议的数据汇聚为一个数据流，数据包汇聚为双向流；

步骤1-2)构建数据集X＝{X₁，X₂，...，X_n}，其中每个流量数据样本X_i＝{a₁，a₂，...，a_m}，1≤i≤n；其中，a_k为归一化的特征值，1≤k≤m；所述特征值为：流持续时间、正向流两个包到达时间隔、逆向流两个包到达时间隔、数据流两个包到达时间隔、每秒数据包、每秒字节数、包平均字节数、正向流包字节数或逆向流包字节数；

所述步骤2)具体包括：

步骤2-1)定义距离阈值T₁和T₂，且T₁＞T₂，定义类别最小数阈值c_min，聚类个数j＝1；

步骤2-2)随机选取数据集X中的一个样本X_s，并将样本X_s从数据集X中移除；

步骤2-3)计算数据集X中所有样本X_i到X_s的距离d(X_i)，其中，1≤i≤s-1且s+1≤i≤n，如果d(X_i)＜T₁，则将归入聚类C_j中；

步骤2-4)判断d(X_i)＜T₂是否成立，如果成立，则将X_i从数据集X中删除；如果数据集X为空，转入步骤2-5)，否则，转入步骤2-2)；

步骤2-5)聚类结束，数据集X被划分为P个聚类C_j，1≤j≤P；

所述步骤3)具体包括：

步骤3-1)对于聚类C_j，1≤j≤P，判断C_j中样本数目是否小于阈值c_min，如果判断结果是肯定的，则判定C_j中的样本为全局离群点，即网络异常流量，否则，转入步骤3-2)；

步骤3-2)指定一个特征维度a_k，在当前树节点所包含样本集合中指定维度a_k的最大值和最小值之间，随机指定一个特征分裂值s，以此分裂值s生成一个超平面，将当前节点样本空间划分为2个子空间：将指定维度内小于s的样本放在当前节点的左子树，把大于等于s的样本放在当前节点的右子树；

步骤3-3)在子节点中递归步骤3-2)，不断构造新的子节点，直到子节点中只包含一个数据，无法继续分裂，或子节点距离树根距离已达到树最大高度h_max；

步骤3-4)迭代步骤3-2)至步骤3-3)，直到构建t颗树：T＝{T₁，T₂，...，T_t}；

步骤3-5)获得t颗树之后，计算每个样本X_i到树根节点的平均距离：

h_p(X_i)为每个样本X_i到树T_p的根节点的距离；T_p∈T；

步骤3-6)根据E(h(X_i))判断样本X_i是否为网络异常流量。

2.根据权利要求1所述的网络异常流量的检测方法，其特征在于，所述步骤3-6)具体为：

若包含样本X_i的聚类中有ψ个样本点，使用式(1)计算其异常值得分s(X_i，ψ)：

其中，c(ψ)由公式(2)和公式(3)计算：

c(ψ)＝2H(ψ-1)-2(ψ-1)/ψ (2)

H(ψ-1)＝ln(ψ)+a (3)

其中，a为欧拉常数，0＜s(X_i，ψ)≤1，若s(X_i，ψ)远小于0.5时，则表明该样本为正常流量；若s(X_i，ψ)接近1时，表明该样本为局部离群点，判定其为网络异常流量。

3.根据权利要求1所述的网络异常流量的检测方法，其特征在于，所述步骤3-6)具体为：若包含X_i的某个聚类中有ψ个样本点，当平均距离E(h(X_i))远小于平均树高log₂ψ时，判断ψ个样本点为局部离群点，判定对应的流量为网络异常流量。

4.一种网络异常流量检测系统，其特征在于，所述系统包括：

特征提取模块，用于将原始流量数据转化为多维度特征向量，构建数据集；

聚类模块，用于将数据集划分为P个聚类；

第一检测模块，用于根据聚类中的样本数目确定全局离群点作为网络异常流量；和

第二检测模块，用于在聚类中寻找局部离群点作为网络异常流量；

所述特征提取模块包括：

获取流量原始数据单元，用于将具有相同源IP地址、源端口号、目的IP地址、目的端口号和传输层协议的数据包汇聚为数据流；和

训练数据集构建单元，用于对所述数据流提取流特征转化为多维特征向量X_i，所述X_i＝{a₁，a₂，...，a_m}，构建数据集X＝{X₁，X₂，...，X_n}；其中，a_k为归一化的特征值，1≤k≤m；所述特征值为：流持续时间、正向流两个包到达时间隔、逆向流两个包到达时间隔、数据流两个包到达时间隔、每秒数据包、每秒字节数、包平均字节数、正向流包字节数或逆向流包字节数；

所述第一检测模块的实现过程为：

对于P个聚类，若某聚类中的样本数目小于设定的阈值c_min，则判定这些样本为全局离群点，判定该样本为网络异常流量，对于聚类中的样本数目不小于设定的阈值c_min的聚类，转入所述第二检测模块进行检测；

所述第二检测模块包括：

构建孤立森林单元，用于随机构建t颗空间划分路径树：T＝{T₁，T₂，...，T_t}；

平均距离计算单元，用于计算聚类的每个样本X_i到树根节点的平均距离：

h_p(X_i)为每个样本X_i到树T_p的根节点的距离；T_p∈T；和

局部离群点判断单元，根据E(h(X_i))判断样本X_i判定其是否为网络异常流量；若包含X_i的某个聚类中有ψ个样本点，当平均距离E(h(X_i))远小于平均树高log₂ψ时，判断ψ个样本点为局部离群点，判定对应的流量为网络异常流量。

Images