CN105376260A - 一种基于密度峰值聚类的网络异常流量监测系统 - Google Patents

Abstract

本发明请求保护一种基于密度峰值聚类的网络异常流量监测系统，包括：特征选择模块：通过关键字源IP地址在单位时间一分钟内聚合而选择新特征空间模块；子空间映射模块：将高维特征空间映射到多个低维空间上形成多个新特征空间数据；异常权重赋值模块：基于密度和距离的距离权重赋值方法，计算出每个子空间中的每个数据点的异常权重；异常权值整合：计算出的所有子空间中的异常权值进行整合，得到原空间数据点的最终异常权值；异常权值阈值确定模块：将最终异常权值逆序排序后，取斜率突变处为检测阈值；异常流量检测模块：所有异常权值大于阈值的网络流量检测为异常流量，小于为正常流量。本发明能适应多样的网络环境，并提高检测精度和准确率。

Description

一种基于密度峰值聚类的网络异常流量监测系统

技术领域

本发明涉及网络入侵检测、机器学习等领域，尤其涉及一种基于多空间异常赋权的无监督的网络异常流量检测方法。

背景技术

网络入侵检测技术主要分为误用检测(MisuseDetection)和异常检测(AnomalyDetection)两类。误用检测是将计算机行为与已知的应用或攻击特征进行比对的特征匹配方法，这种方法检测率比较高，但是只能对已知的攻击类型和已知的系统弱点进行检测，难以检测出未知的攻击。而相对而言，异常检测是根据异常监视器观察主体的活动，然后产生刻画这些活动行为的轮廓，每一个轮廓保存记录主体当前的行为，并定时将当前行为与存储的轮廓合并，通过比较当前行为与已保存的轮廓来判断异常行为检测网络入侵。大部分误用检测和异常检测的算法都极大地依赖带标签的训练数据。如果训练数据的标签不正确，通过算法训练得到的正常或异常模型就会不准确，算法的检测效率就会大大降低，甚至算法会完全失效。而无监督入侵检测算法可以在无标签的数据中学习并发现数据中的入侵行为，无监督入侵算法的研究是一个新兴的研究方向，具有广阔的研究前景。

发明内容

针对以下现有的不足，提出了一种能适应多样的网络环境，摆脱对先验知识的依赖，并提高检测精度和准确率的基于密度峰值聚类的网络异常流量监测系统。。本发明的技术方案如下：一种基于密度峰值聚类的网络异常流量监测系统，其包括：特征选择模块：用于对原始网络流量数据的特征进行提取和选择，按照关键字源IP地址在单位时间一分钟内生成21维聚合特征空间数据；

子空间映射模块：用于将生成的21维聚合特征空间数据映射到k个m维特征的数据子空间上，子空间的维数小于原空间维数，即m<21；

异常权重赋值模块：将本网络的数据流量看作数据点，根据数据点与相邻点的距离大小来计算出数据点的密度值，通过计算所有比该数据点密度更大的点之间的距离来计算出最小距离值，结合密度值和最小距离值计算出每个数据点的异常权值；

异常权值整合模块：将每个子空间计算出的异常权值进行整合并计算出所有网络流量的最终异常权值；

异常权值阈值确定模块：将最终异常权值进行逆序排序并生成曲线，取斜率突变处为异常权值阈值；

异常流量检测模块：所有网络流量的异常权值大于阈值的检测为异常，其余小于阈值的检测为正常。

进一步的，所述特征选择模块关键字选取源IP地址或目的IP地址，将抓取的网络流量数据根据时间戳以每一分钟为单位聚合起来并计算提取以下21个特征向量：单位时间内记录条数，源IP地址量，源IP地址数量熵，源端口数量，源端口数量熵，目的IP地址数量，目的IP地址数量熵，目的IP地址编辑距离，目的IP地址编辑距离方差，目的端口数量，目的端口数量熵，上行流量均值，上行流量方差，下行流量均值，下行流量方差，协议数量，协议数量熵，源操作系统数量，源操作系统数量熵，目的操作系统数量，目的操作系统数量熵。

进一步的，所述异常权重赋值模块计算该点的密度值具体为：

设该点为i_，则点i的密度值ρ_i由以下公式来定义：

${\mathrm{\&rho;}}_i=\underset{j}{\&Sigma;}\mathrm{\&chi;}(d_{ij}-d_c)---1$

其中当x＜0时χ(x)＝1，否则χ(x)＝0，x是函数的参数，也就是dij-dc的值，且d_ij是点i与点j的距离，距离计算方法采用欧式距离，d_c是截断距离，其取值是所有点之间距离的前1％到2％。

进一步的，所述异常权重赋值模块计算最小距离值具体为：点j的最小距离δ_i由以下公式来定义：

${\mathrm{\&delta;}}_i=\underset{j:{\mathrm{\&rho;}}_j>{\mathrm{\&rho;}}_i}{\min }\left(d_{ij}\right)---2$

其中d_ij是点i与点j的距离，对于密度值最大的点，其值为δ_i＝max_j(d_ij)。

进一步的，每个点的异常值由以下公式来定义：

$O_i=\frac{{\mathrm{\&delta;}}_i}{\underset{j,k}{max}\left(d_{jk}\right)}{e}^{-{\mathrm{\&alpha;\&rho;}}_i}---3$

其中0＜α＜1，d_jk表示点j与点k的距离；参数α用来调整最小距离值δ_i与密度值ρ_i可能造成的偏差。

进一步的，异常权值整合模块计算出最终异常权值具体为：首先分别计算出各个子空间上的每条网络流量数据的异常权值然后计算出原空间上的每条网络流量数据的异常权值最后通过的线性组合求出每条网络流量数据的最终的异常权值，其中a和b是组合参数。

进一步的，所述异常权值阈值确定模块具体为：将最终异常权值进行逆序排序并生成曲线，取斜率突变处为异常权值阈值；并依次计算每两点之间的斜率，然后比较相邻斜率大小，若前后相差0.5倍且位于前20％位置则相应地选取该处的值为异常权值阈值，否则选取第20％位置处的值为异常权值阈值。

本发明的优点及有益效果如下：

1、本发明采用基于无监督机器学习的方法，因此可以充分从数据中挖掘信息，避免有监督方法中训练集的使用而造成的信息偏置较大等缺点。

2、本发明是基于网络的入侵检测系统。其数据分析、检测基于网络流量数据，因此可以适应较为复杂的网络环境。

3、本发明具有较好的可拓展性。该方法在运行过程中，将持续采集网络流量数据，通过异常权值赋值标记所有网络流量数据。从长远的角度来看，这将使得其自动识别并建立更多的入侵模式。

4、本发明具有较好的兼容性。该方法所采用的技术是基于无监督，不需要对其他网络系统进行过多配置则可以很好的与之兼容。

附图说明

图1是本发明提供优选实施例总体框架图；

图2为特征空间映射到子空间流程图；

图3为子空间和原空间异常流量数据异常权值整合流程图；

图4为异常权值的阈值选取的示例图；

图5为网络流量数据检测流程图

具体实施方式

以下结合附图，对本发明作进一步说明：

如图1所示，101特征选择模块：对原始网络流量数据特征提取和选择，按照关键字在单位时间内聚合成新的特征空间数据；单位时间的长短决定了特征选择的粒度的粗细，根据最优原则，这里单位时间长度选取一分钟。关键字选取源IP地址或目的IP地址，将抓取的网络流量数据根据时间戳以每一分钟为单位聚合起来并计算提取以下21个特征向量：单位时间内记录条数，源IP地址量，源IP地址数量熵，源端口数量，源端口数量熵，目的IP地址数量，目的IP地址数量熵，目的IP地址编辑距离，目的IP地址编辑距离方差，目的端口数量，目的端口数量熵，上行流量均值，上行流量方差，下行流量均值，下行流量方差，协议数量，协议数量熵，源操作系统数量，源操作系统数量熵，目的操作系统数量，目的操作系统数量熵。

102子空间映射模块：将21维特征的数据空间映射到k个m维特征的数据子空间上，子空间的维数小于原空间维数m<21。多维数据映射到低维数据空间上是基于类簇属性单一性的特性，即如果在高维数据上有多个高聚集度的类簇单元，那么这些类簇单元也会在低维的空间数据上表现出来，意味着高维数据空间的属性信息会被体现在低维属性空间上。数据空间维度的减少不仅可以极大减少检测计算复杂度，还可以提供更细粒度的评估分析并更好地提高检测效果。因此，原21维特征空间数据映射到n(n-1)/2＝210个子空间上，每个子空间的特征数量为2维，均为原空间的特征的两两组合，如图2所示。

103异常权重赋值模块：将网络数据流量看作成数据点，根据数据点与周围点的距离大小来计算出该点的密度值，通过与所有密度更大的点的距离来计算出最小距离值，结合密度值和最小距离值计算出每个数据点的异常权值。

点i的密度值ρ_i由以下公式来定义：

${\mathrm{\&rho;}}_i=\underset{j}{\&Sigma;}\mathrm{\&chi;}(d_{ij}-d_c)---\left(1\right)$

其中当x＜0时χ(x)＝1，否则χ(x)＝0，且d_ij是点i与点j的距离，距离计算方法采用欧式距离，d_c是截断距离，其取值是所有点之间距离的前1％到2％。

点j的最小距离δ_i由以下公式来定义：

${\mathrm{\&delta;}}_i=\underset{j:{\mathrm{\&rho;}}_j>{\mathrm{\&rho;}}_i}{\min }\left(d_{ij}\right)---\left(2\right)$

其中d_ij是点i与点j的距离，对于密度值最大的点，其值为δ_i＝max_j(d_ij)。

异常点有相对较大的局部密度值和相对较小的最小距离值，因此每个点的异常值由以下公式来定义：

$O_i=\frac{{\mathrm{\&delta;}}_i}{\underset{j,k}{max}\left(d_{jk}\right)}{e}^{-{\mathrm{\&alpha;\&rho;}}_i}---\left(3\right)$

其中0＜α＜1，d_jk表示点j与点k的距离；参数α用来调整最小距离值δ_i与密度值ρ_i可能造成的偏差，一般情况下α取值0.5。异常权值计算公式很好的反映了局部密度值与最小距离值对点的异常权值O_i贡献的关系，即局部密度值与异常权重成正比，最小距离值与异常权值成反比。异常权值O_i的小大范围为0到1，值越大表示该点的异常可能性也越大，反之亦然。

根据异常权值公式(3)计算所有子空间上的所有网络流量数据的异常权值。

104异常权值整合模块：将每个子空间计算出的异常权值进行整合并计算出所有网络流量的最终异常权值。如图3所示，首先分别计算出各个子空间上的每条网络流量数据的异常权值然后计算出原空间上的每条网络流量数据的异常权值最后通过的线性组合求出每条网络流量数据的最终的异常权值，其中a和b是组合参数，由于多个子空间映射后的信息贡献度要大于原空间，一般而言参数取值a＝0.6和b＝0.4。

105异常权值阈值确定模块：将所有网络流量数据的最终异常权值进行逆序排序并生成曲线，并依次计算每两点之间的斜率，然后比较相邻斜率大小，若前后相差0.5倍且位于前20％位置则相应地选取该处的值为异常权值阈值，否则选取第20％位置处的值为异常权值阈值，如图4所示。

106异常流量检测模块：得到所有网络流量的最终异常权值后，将其与阈值进行比较，如图5，异常权值大于阈值的检测为异常，其余小于阈值的检测为正常。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于密度峰值聚类的网络异常流量监测系统，其特征在于：包括特征选择模块(101)：用于对原始网络流量数据的特征进行提取和选择，按照关键字源IP地址在单位时间一分钟内生成21维聚合特征空间数据；子空间映射模块(102)：用于将生成的21维聚合特征空间数据映射到k个m维特征的数据子空间上，子空间的维数小于原空间维数，即m<21；异常权重赋值模块(103)：将本网络的数据流量看作数据点，根据数据点与相邻点的距离大小来计算出数据点的密度值，通过计算所有比该数据点密度更大的点之间的距离来计算出最小距离值，结合密度值和最小距离值计算出每个数据点的异常权值；异常权值整合模块(104)：将每个子空间计算出的异常权值进行整合并计算出所有网络流量的最终异常权值；异常权值阈值确定模块(105)：将最终异常权值进行逆序排序并生成曲线，取斜率突变处为异常权值阈值；异常流量检测模块(106)：所有网络流量的异常权值大于阈值的检测为异常，其余小于阈值的检测为正常。

2.根据权利要求1所述的基于密度峰值聚类的网络异常流量监测系统，其特征在于：所述特征选择模块(101)关键字选取源IP地址或目的IP地址，将抓取的网络流量数据根据时间戳以每一分钟为单位聚合起来并计算提取以下21个特征向量：单位时间内记录条数，源IP地址量，源IP地址数量熵，源端口数量，源端口数量熵，目的IP地址数量，目的IP地址数量熵，目的IP地址编辑距离，目的IP地址编辑距离方差，目的端口数量，目的端口数量熵，上行流量均值，上行流量方差，下行流量均值，下行流量方差，协议数量，协议数量熵，源操作系统数量，源操作系统数量熵，目的操作系统数量，目的操作系统数量熵。

3.根据权利要求1或2所述的基于密度峰值聚类的网络异常流量监测系统，其特征在于：所述异常权重赋值模块(103)计算该点的密度值具体为：

设该点为i，则点i的密度值ρ_i由以下公式来定义：

${\mathrm{\&rho;}}_i=\underset{j}{\&Sigma;}\mathrm{\&chi;}(d_{ij}-d_c)---\left(1\right)$

其中当x＜0时χ(x)＝1，x是函数的参数，也就是dij-dc的值，否则χ(x)＝0，且d_ij是点i与点j的距离，距离计算方法采用欧式距离，d_c是截断距离，其取值是所有点之间距离的前1％到2％。

4.根据权利要求3所述的基于密度峰值聚类的网络异常流量监测系统，其特征在于：所述异常权重赋值模块(103)计算最小距离值具体为：点j的最小距离δ_i由以下公式来定义：

${\mathrm{\&delta;}}_i=\underset{j:{\mathrm{\&rho;}}_j>{\mathrm{\&rho;}}_i}{min}\left(d_{ij}\right)---\left(2\right)$

其中d_ij是点i与点j的距离，对于密度值最大的点，其值为δ_i＝max_j(d_ij)。

5.根据权利要求4所述的基于密度峰值聚类的网络异常流量监测系统，其特征在于：每个点的异常值由以下公式来定义：

$O_i=\frac{{\mathrm{\&delta;}}_i}{\underset{j,k}{\max }\left(d_{jk}\right)}{e}^{-{\mathrm{\&alpha;\&rho;}}_i}---\left(3\right)$

其中0＜α＜1，d_jk表示点j与点k的距离；参数α用来调整最小距离值δ_i与密度值ρ_i可能造成的偏差。

6.根据权利要求5所述的基于密度峰值聚类的网络异常流量监测系统，其特征在于：异常权值整合模块(104)计算出最终异常权值具体为：首先分别计算出各个子空间上的每条网络流量数据的异常权值然后计算出原空间上的每条网络流量数据的异常权值最后通过的线性组合求出每条网络流量数据的最终的异常权值，其中a和b是组合参数。

7.根据权利要求6所述的基于密度峰值聚类的网络异常流量监测系统，其特征在于：所述异常权值阈值确定模块(105)具体为：将最终异常权值进行逆序排序并生成曲线，取斜率突变处为异常权值阈值；并依次计算每两点之间的斜率，然后比较相邻斜率大小，若前后相差0.5倍且位于前20％位置则相应地选取该处的值为异常权值阈值，否则选取第20％位置处的值为异常权值阈值。