CN110602105A - 一种基于k-means的大规模并行化网络入侵检测方法 - Google Patents

Abstract

一种基于k‑means的大规模并行化网络入侵检测方法，属于网络安全入侵检测技术领域。本发明是为了解决现有的入侵检测方法受孤立点、噪声点以及初始聚类中心影响较大的问题以及速度有待于提高的问题。本发明首先读取网络请求数据的流量特征进行预处理，采用Isolation Forest算法进行样本异常度系数计算，通过设定的异常度系数阈值进行样本过滤；然后将处理后的数据进行分片，利用中间值插值法生成对应维度上的初始聚类中心，之后利用spark‑k‑means进行局部聚类分析，将各聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。主要用于网络入侵检测。

Description

一种基于k-means的大规模并行化网络入侵检测方法

技术领域

本发明涉及一种网络入侵检测方法。属于网络安全入侵检测技术领域。

背景技术

随着互联网的普及特别是伴随着5G通信技术逐步进入商用阶段，万物互联的时代即将到来，给人们的生活带来了极大的便利。然而，在海量数据交互的背后存在着种种潜在的威胁，近年来，网络安全和信息安全成为人们日益关注的话题，由网络入侵导致的网络安全和数据泄露事件频频发生，如何通过有效的技术手段进行网络安全入侵检测成为网络安全领域研究者的研究热点。

传统的网络安全监测方法，大都采用基于规则匹配的方式进行网络安全入侵的判定，这类方案需要大量的先验知识作为基础建立相关的匹配规则或者知识库，每次有网络请求，判定程序就将网络请求相关的数据作为输入，利用建立好的规则或者知识库判定是否为威胁请求，所以，此类方案不具有逻辑推理能力，对于新的、规则没有覆盖到的异常信息，将不能被检测为异常请求，这对于网络安全领域是致命的缺陷，因为每时每刻网络不法分子都在生成各种新的病毒或者其他攻击手段，不具有学习和推理能力的监测方法将难以保证数据的安全性。随着数据挖掘技术的不断发展，日常生活产生的海量数据中隐含的信息及价值越来越多地被挖掘与展现出来，一些专家和学者开始利用数据挖掘相关的技术进行网络安全入侵检测，数据挖掘技术解决了传统方法对于先验知识过于依赖的问题，基于此方法方法的网络安全入侵检测技术具有较强的推理和学习能力，因此，能够在一定程度上基于先前的历史信息推理和预测出新的安全威胁请求，从而具备防范未知安全威胁的能力。其中，K-means聚类算法是其中最为典型的代表，很多专家利用k-means算法在入侵检测方面取得了很好的效果，但其仍然存在一些缺陷，比如受孤立点、噪声点以及初始聚类中心影响较大等。因此，如何对k-means算法进行优化，使得其能更稳定的应用于网络安全入侵检测是一个急需解决的问题；另一方面，目前的数据中心或者大规模的业务服务不再是运行于单台机器之上，并且入侵检测所需处理的数据量也是当台机器难以处理的，另外，网络安全入侵检测要求快速、实时的进行结果输出，因此，亟需一种大规模并行实时入侵检测方法。

发明内容

本发明是为了解决现有的入侵检测方法受孤立点、噪声点以及初始聚类中心影响较大的问题以及速度有待于提高的问题。现提供一种基于k-means的大规模并行化网络入侵检测方法。

一种基于k-means的大规模并行化网络入侵检测方法，包括以下步骤：

步骤1、将读取的流量特征进行预处理；

步骤2、采用Isolation Forest算法进行样本异常度系数计算；

步骤3、通过设定的异常度系数阈值进行样本过滤；

步骤4、将步骤3处理后的数据进行分片；

步骤5、利用中间值插值法生成对应维度上的初始聚类中心；

步骤6、利用spark-k-means进行局部聚类分析：

步骤7、将各聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。

进一步地，步骤1所述将读取的流量特征进行预处理的过程包括以下步骤：

首先，对于离散型的流量特征，进行数值化处理；

其次，对于缺失的流量特征要进行补充，本实施方式中，连续型的流量特征缺失值用均值补充，离散型的流量特征缺失值用众数进行补充；

最后，对于连续型的流量特征进行标准化和归一化处理。

进一步地，步骤2所述采用Isolation Forest算法进行样本异常度系数计算，包括以下步骤：

首先是构建过程：将预处理后的流量特征作为样本数据集合D，构建多棵二叉树并组合成森林；

其次是计算过程：综合每个二叉树结果，计算集合中每个数据点x的异常度系数：

其中，S(x,n)是记录x在由n个样本的训练数据构成树的异常度系数；E(h(x))表示x在每棵树中的平均路径长度，C(n)是修正值。

进一步地，步骤3所述通过设定的异常度系数阈值进行样本过滤的过程包括以下步骤：

选取所需的类簇数k和离群值过滤比例r；

异常度系数阈值t＝S_max-(S_max-S_min)×r，对异常度系数S大于t的数据加以过滤；其中S_max、S_min分别是异常度系数S中的最大值和最小值。

进一步地，步骤4所述将步骤3处理后的数据进行分片的过程利用哈希函数实现。

进一步地，步骤5所述利用中间值插值法生成对应维度上的初始聚类中心的过程包括以下步骤：

将初值均匀选取在数据集合内部；对于取值范围为[i,j]的属性T，根据所需类簇数k，针对每一分片内的数据，生成k-means算法在对应维度上的初始聚类中心：

i和j是每一片内两端的值，T_i、T_j分别为i、j对应的属性T；

进一步地，步骤6所述利用spark-k-means进行局部聚类分析的过程包括以下步骤：

在步骤4中已经将完整数据进行分片处理，在每一台机器上将被分配到对应的片数据，直接将该分片策略应用到Spark中，经过步骤5生成的每一片数据的初始聚类中心，然后利用spark在每一台机器上进行局部聚类。

有益效果：

本发明所述的网络入侵检测方法中利用IsolationForest算法对k-means进行改进和优化，显著的提高了对孤立点、噪声点以及初始聚类中心的抗干扰能力；利用分片策略将请求数据分配到不同的spark处理节点上进行处理和分析，大大提高了对海量数据的处理能力和网络检测的实时性。针对相同数量的数据，本发明所述方法的网络入侵检测速度是现有网络入侵检测方法的数倍甚至数十倍。

附图说明

图1为本发明的流程图；

图2为并行化策略示意；

图3为单台机器上的算法流程如图。

具体实施方式

具体实施方式一：参照图1具体说明本实施方式，

一种基于k-means的大规模并行化网络入侵检测方法，包括以下步骤：

步骤s10、针对网络请求数据，读取以2秒时间窗口计算的包括count(过去的2秒内与当前连接有着相同的目标主机的连接数)、serror_rate(出现SYN错误的连接次数)在内的流量特征；

流量特征包括：duration，protocol_type，service，flag，src_bytes，dst_bytes，land，wrong_fragment，urgent，ho，num_failed_logins，logged_in，num_compromised，root_shell，su_attempted，num_root，num_file_creations，num_shells，num_access_files，num_outbound_cmds，is_host_login，is_guest_login，count，srv_count，serror_rate，srv_serror_rate，rerror_rate，srv_rerror_rate，same_srv_rate，diff_srv_rate，srv_diff_host_rate，dst_host_count，dst_host_srv_count，dst_host_same_srv_rate，dst_host_diff_srv_rate，dst_host_same_src_port_rate，dst_host_srv_diff_host_rate，dst_host_serror_rate，dst_host_srv_serror_rate，dst_host_rerror_rate，dst_host_srv_rerror_rate，class。

步骤s20、将读取的流量特征进行预处理：

首先，对于离散型的流量特征，进行数值化处理；例如：“是”、“否”数值化处理成0、1；

其次，对于缺失的流量特征要进行补充，本实施方式中，连续型的流量特征缺失值用均值补充，离散型的流量特征缺失值用众数进行补充；

最后，为了避免对度量单位选择的依赖，消除由于属性度量的差异对聚类产生的影响，对于连续型的流量特征进行标准化和归一化处理。

步骤s30、采用Isolation Forest算法进行样本异常度系数计算，包括以下步骤：

首先是构建过程：预处理后的流量特征作为样本数据集合D，构建多棵二叉树并组合成森林；构建过程的算法流程如下：

随机选取包含于样本集合D的数据属性是指样本集合中的数据实体，例如：

2,tcp,smtp,SF,1684,363,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,0.00,1.00,0.00,0.00,104,66,0.63,0.03,0.01,0.00,0.00,0.00,0.00,0.00,normal.(和上面的流量特征相对应，而normal表示正常)；

0,tcp,private,REJ,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,38,1,0.00,0.00,1.00,1.00,0.03,0.55,0.00,208,1,0.00,0.11,0.18,0.00,0.01,0.00,0.42,1.00,portsweep.(和上面的流量特征相对应，而portsweep表示异常)。

其次是计算过程：综合每个二叉树结果，计算集合中每个数据点x的异常度系数；计算过程采用如下公式进行：

其中，S(x,n)是记录x在由n个样本的训练数据构成树的异常度系数，越接近于1表示是异常点的可能性越高，越接近0表示是正常点的可能性比较高；E(h(x))表示x在每棵树中的平均路径长度，C(n)是一个修正值，C(n)＝2H(n-1)-(2(n-1)/n)，H(m)＝lnm+δ，m为H(·)中的自变量，δ＝0.5772156649。

步骤s40、通过设定的异常度系数阈值进行样本过滤：

选取所需的类簇数k和离群值过滤比例r，r取0.1；

异常度系数阈值t＝S_max-(S_max-S_min)×r，对异常度系数S大于t的数据加以过滤，以避免由于过滤数据数目过大造成的误差；其中S_max、S_min分别是异常度系数S中的最大值和最小值。

步骤s50、对数据进行分片：

整个的并行化策略示意如图2所示。

进行数据分片，将s40处理后的数据利用哈希函数将总数为N的数据划分成m片，每片的大小为n′＝N/m；

步骤s60、利用中间值插值法生成对应维度上的初始聚类中心：

尽可能将初值均匀选取在数据集合内部，减少边界值对初始聚类中心选取的影响；对于取值范围为[i,j]的属性T，根据所需类簇数k，针对每一分片内的数据，生成k-means算法在对应维度上的初始聚类中心：

i和j是每一片内两端的值，因为是想减少边界值对初始聚类中心的影响，所以取值范围是[i,j]，T_i、T_j分别为i、j对应的属性T；

此处的属性T是经过前面处理过程处理后的形式，与s30中所述数据属性形式不同，所以本实施方式中记为属性T，本实施方式中的形式可以是如下形式：

[-6.77916519e-02 -2.53386073e-03 -2.62872621e-02 -6.67341089e-03 -4.77201371e-02 -2.57146550e-03 -4.41358670e-02 -9.78217473e-03 -4.17191282e-01 -5.67867841e-03 -1.05519415e-02 -4.67566600e-03 -5.64000636e-03 -1.12320702e-02 -9.91896489e-03 -2.76317877e-02 0.00000000e+00 0.00000000e+00-3.72626247e-02 6.82255455e-01 7.50235485e-01 -4.64089282e-01-4.63520002e-01-2.47960225e-01 -2.48631030e-01 5.36986860e-01 -2.55243131e-01 -2.03632862e-01 3.46737071e-01 6.24750129e-01 5.99338364e-01 -2.82837708e-01 8.26997901e-01 -1.58629132e-01 -4.64417156e-01 -4.63201923e-01 -2.51978110e-01 -2.49463752e-01 3.13381385e-04]

步骤s70、利用spark-k-means进行局部聚类分析：

在步骤s50中已经将完整数据进行分片处理，在每一台机器上将被分配到对应的片数据，因此，可直接将该分片策略应用到Spark中，经过步骤s60生成的每一片数据的初始聚类中心，然后利用spark在每一台机器上进行局部聚类，以达到并行化处理的目的。每一台机器上的算法流程如图3所示。

步骤s80、将各个机器上的聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。

通过实施以上的方案，首先利用IsolationForest算法对k-means进行改进和优化，显著的提高了对孤立点、噪声点以及初始聚类中心的抗干扰能力；另外，利用分片策略将请求数据分配到不同的spark处理节点上进行处理和分析，大大提高了对海量数据的处理能力和网络检测的实时性。

Claims (9)

1.一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，包括以下步骤：

步骤1、将读取的流量特征进行预处理；

步骤2、采用Isolation Forest算法进行样本异常度系数计算；

步骤3、通过设定的异常度系数阈值进行样本过滤；

步骤4、将步骤3处理后的数据进行分片；

步骤5、利用中间值插值法生成对应维度上的初始聚类中心；

步骤6、利用spark-k-means进行局部聚类分析：

步骤7、将各聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。

2.根据权利要求1所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤1所述将读取的流量特征进行预处理的过程包括以下步骤：

首先，对于离散型的流量特征，进行数值化处理；

其次，对于缺失的流量特征要进行补充，本实施方式中，连续型的流量特征缺失值用均值补充，离散型的流量特征缺失值用众数进行补充；

最后，对于连续型的流量特征进行标准化和归一化处理。

3.根据权利要求2所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤2所述采用Isolation Forest算法进行样本异常度系数计算，包括以下步骤：

首先是构建过程：将预处理后的流量特征作为样本数据集合D，构建多棵二叉树并组合成森林；

其次是计算过程：综合每个二叉树结果，计算集合中每个数据点x的异常度系数：

其中，S(x,n)是记录x在由n个样本的训练数据构成树的异常度系数；E(h(x))表示x在每棵树中的平均路径长度，C(n)是修正值。

4.根据权利要求3所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，构建多棵二叉树并组合成森林的过程如下：

(1)：检测树高是否大于限定高度，样本数据集合D中是否只包含一条数据或者全部数据相同；若是则输出节点数，否则随机选取包含于样本集合D的数据属性；随机在该属性最大值和最小值之间选取一个参数值，将样本中小于该值得划分到左分支，将样本中大于该值得划分到右分支；

(2)：重复步骤(1)，直到满足步骤(1)条件为止，结束，返回二叉树。

5.根据权利要求3所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，所述C(n)＝2H(n-1)-(2(n-1)/n)，H(m)＝lnm+δ，m为H(·)中的自变量，δ＝0.5772156649。

6.根据权利要求1至5之一所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤3所述通过设定的异常度系数阈值进行样本过滤的过程包括以下步骤：

选取所需的类簇数k和离群值过滤比例r；

异常度系数阈值t＝S_max-(S_max-S_min)×r，对异常度系数S大于t的数据加以过滤；其中S_max、S_min分别是异常度系数S中的最大值和最小值。

7.根据权利要求6所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤4所述将步骤3处理后的数据进行分片的过程利用哈希函数实现。

8.根据权利要求7所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤5所述利用中间值插值法生成对应维度上的初始聚类中心的过程包括以下步骤：

将初值均匀选取在数据集合内部；对于取值范围为[i,j]的属性T，根据所需类簇数k，针对每一分片内的数据，生成k-means算法在对应维度上的初始聚类中心：

i和j是每一片内两端的值，T_i、T_j分别为i、j对应的属性T。

9.根据权利要求8所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤6所述利用spark-k-means进行局部聚类分析的过程包括以下步骤：

在步骤4中已经将完整数据进行分片处理，在每一台机器上将被分配到对应的片数据，直接将该分片策略应用到Spark中，经过步骤5生成的每一片数据的初始聚类中心，然后利用spark在每一台机器上进行局部聚类。