CN104378371A - 基于MapReduce并行AP聚类的网络入侵检测方法 - Google Patents

Abstract

一种基于MapReduce并行AP聚类的网络入侵检测方法，所述检测方法包括如下步骤：第一步，入侵检测样本数据预处理，完成特征数据的数值化和归一化；第二步，利用基于MapReduce的并行AP聚类压缩入侵检测样本数；第三步，利用压缩后的数据样本，通过KNN或SVM分类器实现高效检测。本发明提供一种基于MapReduce并行AP聚类的网络入侵检测方法，对数据样本处理具备良好的扩展性，可实现对海量数据样本的有效压缩，提高检测速度和检测精度。

Description

基于MapReduce并行AP聚类的网络入侵检测方法

技术领域

本发明涉及网络安全技术领域，尤其是一种网络入侵检测方法。

背景技术

网络流量的急剧膨胀，海量数据处理和计算已是入侵检测的常见问题，许多传统的入侵检测方法往往只适用于小规模数据的处理，当数据量增大时，它们往往因计算量的增大而速度减慢甚至无法运行。

发明内容

为了克服已有网络入侵检测方法在数据量增大时检测速度较慢、检测精度较低的不足，本发明提供一种在海量数据时提高检测速度、检测精度较高的基于MapReduce并行AP聚类的网络入侵检测方法。

本发明解决其技术问题所采用的技术方案是：

一种基于MapReduce并行AP聚类的网络入侵检测方法，所述检测方法包括如下步骤：

第一步，入侵检测样本的常规预处理，即完成特征数据的数值化和归一化处理；

第二步，利用基于MapReduce的并行AP聚类压缩入侵检测样本数，过程如下：(2.1)相似度矩阵计算的MapReduce并行化

AP聚类采用欧式距离的负值来衡量数据点间的相似度，欧式距离的计算公式：

$s(x,y)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k^2+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{y}_k^2-2\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k{y}_k$

并行化计算的输入可以看成是每行保存一个数据点的矩阵A，公式的前两项和第三项可以分开算，前两项计算时每个节点不依赖其它节点上的数据，每个节点都可以单独计算存储在自身节点上数据点的各个维度的平方和，而第三项实际就是输入矩阵A与其转置矩阵A^T相乘得到的矩阵T的第i行第j列的值，假设x是第i个点，而y是第j个点，因此第三项的计算采用类似于并行化计算矩阵相乘的方法。

第三项的计算过程如下：

$\begin{array}{c}A\left[\begin{array}{c}a11,a12\\ a21,a22\end{array}\right]-->A^T\left[\begin{array}{c}a11,a21\\ a12,a22\end{array}\right]-->\left[\begin{array}{ccc}1& a11\×a11& a11\×a21\\ 2& 0& a21\×a21\\ 1& a12\×a12& a12\×a22\\ 2& 0& a22\×a22\end{array}\right]-->\\ \left[\begin{array}{ccc}1& a11\×a11+a12\×a12& a11\×a21+a12\×a22\\ 2& 0& a21\×a21+a22\×22\end{array}\right]\end{array}$

先对输入矩阵A转置，然后求每行中各项与其后面各项的乘积，并以各项所在的列作为行键，最后对相同行键的行进行纵向求和汇总即可得到欧式距离计算公式中第三项的值；

(2.2)吸引度矩阵和归属度矩阵计算的MapReduce并行化

用MapReduce并行化计算吸引度值时在Map中将相似度值s(i,k)和归属度值a(i，k)以其所在行作为键输出，使同一行的a(i,k)和s(i,k)洗牌到(Shuffle)同一reduce的节点进行计算，而计算归属度值时可以在Map中将吸引度值r(i,k)以其所在列作为键输出，使同一列的r(i,k)洗牌到同一reduce节点进行计算。为了计算时能够同时获得相似度值、吸引度值和归属度值，使用Point结构来保存s(i，k)、r(i,k)和a(i,k)；

在Map阶段以Point所在列为键输出，Reduce阶段计算同一列的归属度值；(2.3)聚类中心计算的MapReduce并行化

计算聚类中心时只用到a(k,k)和r(k,k)的值，而使用Point同时保存了这两个值，所以各个节点独立计算本节点上的数据点有哪些是聚类中心，并行化计算聚类中心时在Map阶段判断本节点上有哪些数据点是聚类中心，输出是聚类中心的点，而在reduce阶段汇总各个节点的计算结果，得到最终的聚类中心以此完成数据样本压缩；

第三步，基于MapReduce的AP并行化聚类处理获得压缩后的数据样本，再利用KNN或SVM分类器实现入侵检测。

本发明的技术构思为：AP聚类算法是2007年由加拿大多伦大大学的Frey等人发表在《科学》杂志上的一种全新的聚类算法，全称为Affinity Propagation，近年来在学术界和工业界均获得了极大的关注和应用。与K-Means等算法相比，AP聚类的基本思想是通过数据点之间传递消息，自动发现聚类中心，并实现数据点的自动聚类，相比于传统的聚类有一个明显的优点是，它并不在初始化阶段指定类的数目及初始的聚类中心，相反，它把每个数据点都同等地看作是潜在的聚类中心，这样能大大减少假定初始聚类对聚类结果的影响。

AP算法定义两个数据点i和k之间传递两类消息，分别称为吸引度(responsibility)和归属度(availability)。吸引度(responsibility)是从数据点i传递到其候选聚类中心数据点k的信息，称为点k对于点i的吸引度值，记为r(i,k)。吸引度r(i,k)反映的是点k通过与其它的点k’竞争，作为适合点i的聚类中心的程度。r(i,k)的计算需要引入点i对于其它潜在的候选聚类中心点k’的归属度a(i,k')来作参考比较,基本过程如图1所示。

归属度(availability)是从候选聚类中心数据点k传递到数据点i的信息，称为点i对于点k的归属度值，记为a(i,k)。归属度a(i,k)反应的是点i选择点k作为其聚类中心的适合程度。同样，a(i,k)的计算需引入作为候选聚类中心的点k对其它数据点i’的吸引度作为参考比较，如图2所示。

AP聚类算法的基本执行流程描述如下：

Step 1：初始化吸引度矩阵r(i,k)和归属度矩阵a(k,i)分别为0

Step 2：先计算N个点相似度矩阵s(i,k)；(N表示数据样本点的总数)

Step 3：根据公式 $r(i,k)=(1-\mathrm{\λ})\×r(i,k)+\mathrm{\λ}\×(s(i,k)-\underset{k^{\′}\≠k}{\max }\{a(i,k^{\′})+s(i,k^{\′})\left\}\right)$ 更新吸引度矩阵r(i,k)；(λ为阻尼系数,为加快聚类的收敛速度及减小聚类时的振荡度，λ取0.8较合适)

Step 4：

根据公式 $a(i,k)=(1-\mathrm{\λ})\×a(i,k)+\mathrm{\λ}\×\left(\min \right\{0,r(k,k)+\underset{i^{\′}\≠\{i,k\}}{\mathrm{\Σ}}\max \{0,r(i^{\′},k)\}\left\}\right)$ 及 $a(k,k)=(1-\mathrm{\λ})\×a(k,k)+\mathrm{\λ}\×\underset{i^{\′}\≠\left\{k\right\}}{\mathrm{\Σ}}\max \{0,r(i^{\′},k)\}$

更新归属度矩阵a(k,i)；

Step 5：对于任意一点k,若r(k,k)+a(k,k)>0，则该点为聚类中心。而对于数据点i(i≠k)，使s(i,k)最大也就是与i最相似的数据点k为数据点i的类簇中心；

Step 6：当迭代次数超过某个设定值或当聚类中心在连续迭代次数超过某个设定的值也不再发生改变时，终止计算，否则返回步骤(3)继续迭代更新。

AP聚类最大的优势在于不需要预设聚类数量，只需提供数据之间的相似度，就可计算每个聚类的聚类代表(聚类中心)，且这种算法对噪音不敏感。但是，当聚类的样本数据增大时，由于AP聚类每次迭代的时间空间复杂度均为O(N²)，因此在单机上实现AP聚类在迭代更新吸引度和归属度这两个矩阵时时空代价非常高。以著名数据挖掘工具Weka实现AP聚类为例，当数据量超过5000时，聚类速度十分缓慢，当数据量继续增大时，算法经常由于内存溢出而无法运行。

以Hadoop为代表的云计算平台，实现了分布式并行计算的MapReduce框架，非常适合大规模数据的处理。本发明提出了一种基于MapReduce的并行AP聚类的网络入侵检测方法，使原本由于内存溢出而无法在单机上运行的AP算法及其入侵检测方法能够处理大数据样本的运算，构建了一个面向大数据样本的新型、快速、可扩展的网络入侵检测框架。

本发明的有益效果主要表现在：(1)本发明基于MapReduce框架分别实现了AP聚类中的相似度矩阵运算、吸引度和归属度矩阵运算与更新、聚类中心选择等所有步骤的并行化方法，有效提升AP算法处理数据样本的计算性能。

(2)本发明公开的基于MapReduce的并行AP聚类方法，有效利用了MapReduce并行框架可伸缩可扩展的特点，只要通过增加集群节点数即可处理大容量的样本数据，解决了AP聚类运算对处理数据样本数量的可扩展性问题。

(3)本发明公开的基于MapReduce的并行AP聚类方法，易于实现且流程符合Hadoop的MapReduce计算框架标准，平台移植性好，可直接应用于各类基于Hadoop的大数据聚类分析。

(4)本发明公开的基于MapReduce并行AP聚类的入侵检测方法，具有可扩展性高、检测速度快、检测精度高等优势，可应用于构建海量样本数据的入侵检测模型。

附图说明

图1是计算数据点k对点i的吸引度r(i,k)的基本过程示意图。

图2是计算数据点k对点i的归属度a(i,k)的基本过程示意图。

图3是AP聚类的MapReduce并行化方法的基本流程。

图4是吸引度计算的MapReduce并行化方法流程图。

图5是基于MapReduce并行AP聚类的网络入侵检测方法基本流程图。

图6是不同MapReduce节点数实现AP聚类所需的时间对比图。

图7是KDD99数据集检测性能对比图。

图8是基于MapReduce的并行AP聚类方法对样本数量的扩展性图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种基于MapReduce并行AP聚类的网络入侵检测方法，通过减少网络入侵检测分类器数据样本的计算量来加速检测，首先利用基于MapReduce的并行AP聚类压缩入侵检测样本数，减少用于构建分类器时训练样本的计算量，然后利用压缩后的数据样本，通过KNN或SVM分类器实现高速的检测性能，并保持良好的检测准确率。

根据AP算法的并行化流程，本发明公开的AP聚类并行化方法的主要步骤包括：相似度矩阵计算的MapReduce并行化、吸引度矩阵计算的MapReduce并行化、归属度矩阵计算的MapReduce并行化，聚类中心计算的MapReduce并行化。

(1)相似度矩阵计算的MapReduce并行化

AP聚类采用欧式距离的负值来衡量数据点间的相似度，欧式距离的计算公式：

$s(x,y)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k^2+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{y}_k^2-2\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k{y}_k$

并行化计算的输入可以看成是每行保存一个数据点的矩阵A，公式的前两项和第三项可以分开算，前两项计算时每个节点不依赖其它节点上的数据，每个节点都可以单独计算存储在自身节点上数据点的各个维度的平方和，而第三项实际就是输入矩阵A与其转置矩阵A^T相乘得到的矩阵T的第i行第j列的值(假设x是第i个点，而y是第j个点)，因此第三项的计算可采用类似于并行化计算矩阵相乘的方法。

第三项的计算过程如下：

$\begin{array}{c}A\left[\begin{array}{c}a11,a12\\ a21,a22\end{array}\right]-->A^T\left[\begin{array}{c}a11,a21\\ a12,a22\end{array}\right]-->\left[\begin{array}{ccc}1& a11\×a11& a11\×a21\\ 2& 0& a21\×a21\\ 1& a12\×a12& a12\×a22\\ 2& 0& a22\×a22\end{array}\right]-->\\ \left[\begin{array}{ccc}1& a11\×a11+a12\×a12& a11\×a21+a12\×a22\\ 2& 0& a21\×a21+a22\×22\end{array}\right]\end{array}$

先对输入矩阵A转置，然后求每行中各项与其后面各项的乘积，并以各项所在的列作为行键，最后对相同行键的行进行纵向求和汇总即可得到欧式距离计算公式中第三项的值。

(2)吸引度矩阵和归属度矩阵计算的MapReduce并行化

观察前述AP算法流程Step 3和Step4的更新吸引度矩阵和归属度矩阵的公式可以发现，若不考虑阻尼系数λ，计算第i行的吸引度矩阵的值r(i,k)仅仅依赖于同是第i行的归属度矩阵和相似度矩阵的值，而计算第k列的归属度矩阵的值a(i,k)也是仅仅依赖于同是第k列的吸引度矩阵的值。因此用MapReduce并行化计算吸引度值时可以在Map中将相似度值s(i,k)和归属度值a(i，k)以其所在行作为键输出，使同一行的a(i,k)和s(i,k)洗牌到(Shuffle)同一reduce的节点进行计算，而计算归属度值时可以在Map中将吸引度值r(i,k)以其所在列作为键输出，使同一列的r(i,k)洗牌到同一reduce节点进行计算。为了计算时能够同时获得相似度值、吸引度值和归属度值，使用了自主设计的Point结构来保存s(i，k)、r(i,k)和a(i,k),Point的具体数据结构如下：

Point{

int x；//横坐标

int y；//纵坐标

double sim；//s(i，k)；

double res；//r(i，k)；

double avail；//a(i,k)

}

并行计算归属度值的流程与上图类似，只要在Map阶段以Point所在列为键输出，Reduce阶段计算同一列的归属度值。

(3)聚类中心计算的MapReduce并行化

计算聚类中心时只用到a(k,k)和r(k,k)的值，而我们使用Point同时保存了这两个值，所以各个节点可以独立计算本节点上的数据点有哪些是聚类中心。并行化计算聚类中心时可以在Map阶段判断本节点上有哪些数据点是聚类中心，输出是聚类中心的点，而在reduce阶段汇总各个节点的计算结果，得到最终的聚类中心。

本实施例中，实验环境：采用Hadoop集群规模为9台PC，一台作为主节点，另外几台作为从节点。每台电脑的主要配置如下：CPU型号为Intel Core i5-24003.1GHz；4G内存；500G硬盘，Hadoop系统版本为1.0.0。

实验数据：从KDD99入侵检测数据集中随机选取8000条数据验证本发明公开的基于MapReduce并行AP聚类的入侵检测方法的执行效率、精度和可扩展性。由于KDD99数据集含有非数值属性，在对数据样本进行入侵检测分析前先对数据集进行了数值化处理，并不失一般性地对各个属性数值作规范化处理。

实验结果：

入侵检测准确率方面：在入侵检测系统中检测率也是一个很重要的指标。我们通过准确率(Recall)和误报率(False Positive)来综合衡量本发明的入侵检测准确率。这里选择KNN作为分类器，采用10折交叉试验完成准确率和误报率的评测，在不使用AP聚类处理数据样本和使用AP聚类处理数据样本的两种情况下二者的实验结果如下表所示。

表1 KDD99数据集检测结果对比

相比于未使用并行AP聚类的情况，无论是在检测准确率(Recall)还是误报率(False Positive)方面，本发明公开的基于MapReduce并行AP聚类的入侵检测方法都只有微小的变化，这充分证明了我们提出的入侵检测方法的有效性。

执行时间方面：本发明公开的AP聚类算法的MapReduce并行计算方法，在相似度矩阵计算的时间上改进效果明显，比基于Weka单机实现的计算方法加快至少20倍，使用2000条KDD99入侵检测数据，基于Weka的单机实现的一般要运行1760秒，而我们提出的并行计算方法只运行80秒左右，具体实验结果如图6所示。

在分类器的入侵检测时间方面，本发明公开的并行AP聚类的入侵检测方法改进效果也相当明显，相比于直接使用KNN或SVM分类器直接检测，本发明检测时间加速比最快有184倍，具体的检测时间如图7所示。其中，AP+KNN表示基于并行AP聚类的KNN分类器，AP+SVM表示基于并行AP聚类的SVM分类器，KNN和SVM则代表未使用AP聚类的KNN和SVM分类器；横坐标代表数据样本的数量，纵坐标代表分类检测的时间(单位为秒)。

扩展性方面：本发明公开的基于MapReduce并行AP聚类的入侵检测方法充分利用了Hadoop平台实现的MapReduce框架的可伸缩性，能有效应对大规模数据样本的计算负荷。在保持集群节点数不变的条件下通过增大数据量来评估AP聚类的MapReduce并行方法的扩展性，分别选取1,2,4,8个节点来并行执行AP聚类，图8给出了在KDD99数据集上的实验结果。

由实验结果知，本发明公开的AP聚类算法的MapReduce并行计算方法具有良好的扩展性，即当数据样本量增大时，可通过增大MapReduce集群结点的数目有效提高AP聚类的并行计算性能，以此可解决AP聚类在单机上因内存溢出而易引起的计算失效问题，有效适应海量样本的入侵检测问题。

Claims (1)

1.一种基于MapReduce并行AP聚类的网络入侵检测方法，其特征在于：所述检测方法包括如下步骤：

第一步，入侵检测样本的预处理，即完成特征数据的数值化和归一化处理；

第二步，利用基于MapReduce的并行AP聚类压缩入侵检测样本数，过程如下：

(2.1)相似度矩阵计算的MapReduce并行化

AP聚类采用欧式距离的负值来衡量数据点间的相似度，欧式距离的计算公式：

$s(x,y)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k^2+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{y}_k^2-2\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k{y}_k$

并行化计算的输入可以看成是每行保存一个数据点的矩阵A，公式的前两项和第三项可以分开算，前两项计算时每个节点不依赖其它节点上的数据，每个节点都可以单独计算存储在自身节点上数据点的各个维度的平方和，而第三项实际就是输入矩阵A与其转置矩阵A^T相乘得到的矩阵T的第i行第j列的值，假设x是第i个点，而y是第j个点，因此第三项的计算采用类似于并行化计算矩阵相乘的方法；

第三项的计算过程如下：

$\begin{array}{c}A\left[\begin{array}{c}a11,a12\\ a21,a22\end{array}\right]-->A^T\left[\begin{array}{c}a11,a21\\ a12,a22\end{array}\right]-->\left[\begin{array}{ccc}1& a11\×a11& a11\×a21\\ 2& 0& a21\×a21\\ 1& a12\×a12& a12\×a22\\ 2& 0& a22\×a22\end{array}\right]-->\\ \left[\begin{array}{ccc}1& a11\×a11+a12\×a12& a11\×a21+a12\×a22\\ 2& 0& a21\×a21+a22\×22\end{array}\right]\end{array}$

先对输入矩阵A转置，然后求每行中各项与其后面各项的乘积，并以各项所在的列作为行键，最后对相同行键的行进行纵向求和汇总即可得到欧式距离计算公式中第三项的值；

(2.2)吸引度矩阵和归属度矩阵计算的MapReduce并行化

用MapReduce并行化计算吸引度值时在Map中将相似度值s(i,k)和归属度值a(i，k)以其所在行作为键输出，使同一行的a(i,k)和s(i,k)洗牌到(Shuffle)同一reduce的节点进行计算，而计算归属度值时可以在Map中将吸引度值r(i,k)以其所在列作为键输出，使同一列的r(i,k)洗牌到同一reduce节点进行计算，使用了Point结构来保存s(i，k)、r(i,k)和a(i,k)；

在Map阶段以Point所在列为键输出，Reduce阶段计算同一列的归属度值；

(2.3)聚类中心计算的MapReduce并行化

计算聚类中心时只用到a(k,k)和r(k,k)的值，而使用Point同时保存了这两个值，所以各个节点独立计算本节点上的数据点有哪些是聚类中心，并行化计算聚类中心时在Map阶段判断本节点上有哪些数据点是聚类中心，输出是聚类中心的点，而在reduce阶段汇总各个节点的计算结果，得到最终的聚类中心，以此完成数据样本压缩；

第三步，基于MapReduce的AP并行化聚类处理获得压缩后的数据样本，再利用KNN或SVM分类器实现入侵检测。