CN109388944A - 一种基于kpca和elm的入侵检测方法 - Google Patents

Abstract

本发明涉及一种基于KPCA和ELM的入侵检测方法，包括以下步骤：随机选取KDD CUP 99数据集中的数据作为训练集和测试集，并利用基于核函数的主成分分析方法(KPCA)对数据进行预处理，对数据进行特征提取从而降低数据的维数；构建基于ELM算法的入侵检测分类器，并用经特征提取后的训练集对基于ELM算法的入侵检测分类器进行训练，然后将训练好的基于ELM算法的检测分类器对测试集进行检测分类。本发明可以检测网络数据中的异常数据，与传统的入侵检测算法相比，具有较高的检测精度，同时明显缩短了检测时间，能够更好的应用在需要网络检测的领域中。

Description

一种基于KPCA和ELM的入侵检测方法

技术领域

本发明涉及网络入侵检测技术领域，更具体的是，本发明涉及基于KPCA和ELM的入侵检测方法。

背景技术

随着互联网的飞速发展和普及，互联网的信息安全问题也越来越突出，网络入侵和盗窃信息事件已经成为当前的普遍现象。入侵检测技术作为一种主动的安全防御技术，可以检测网络中未经允许的操作或非法入侵。

到目前为止，已经有很多技术如数据挖掘、机器学习和神经网络等在入侵检测技术中都取得了较好的效果。支持向量机(Support Vector Machine,SVM)作为一种机器学习方法已经成功应用在入侵检测技术分类中。传统的基于SVM的检测方法，虽然检测精度以及检测率较高，但是入侵检测数据量大、维数多，导致核矩阵的计算量大，同时检测分类的时间也长。因此，基于SVM的入侵检测方法还存在着应用上的缺陷，需要寻找一种检测精度和SVM相差不多但检测时间明显缩短的入侵检测算法。极限学习机算法(ELM)的输入权重和隐层阈值都是随机选取的，只需要设置神经元的个数，因此ELM算法的计算速度要比传统的SVM算法快得多而且也可以获得很好的泛化性能。在实际的网络入侵中，入侵的数据往往都是高维数据，为了避免由于维数高导致的维数灾难，同时为了缩短检测时间，往往需要对获取的入侵数据进行特征提取从而降低维数，基于核函数的主成分分析方法(KPCA)作为一种降维技术，由于其特征提取速度快、特征信息保留充分等优点，已被广泛的应用到数据分析和压缩、模式识别等领域，比如去噪、人脸识别、三维物体识别、遥感图像分析等方面。

发明内容

本发明涉及一种基于KPCA和ELM的入侵检测方法，先利用KPCA算法对采取的实验数据样本进行非线性特征提取，降低数据的维数，得到更易于分类的特征主元分量，然后再用ELM算法构造入侵检测分类器，最终提高入侵检测的性能。

本发明提供的技术方案为：

一种基于KPCA和ELM的入侵检测方法，包括如下步骤：

步骤1：输入数据集，本发明采取的训练样本为随机在KDD CUP 99数据集中抽取的7200条数据，其中正常类型的样本数为2200条，异常记录的样本数为5000条，测试样本的组成与训练样本相同；

步骤2：数据预处理，KDD CUP 99的每条数据都是由41个特征构成的，包括字符型、数字型等，因此，需要先对整个输入数据进行数据归一化，区间为(0，1)；

步骤3：特征选择，为了防止维数过高导致的维数灾难和缩短检测时间，本发明采用KPCA降维算法对预处理过的数据进行特征选择，降低数据集的维数，将特征选择后的数据集作为ELM分类器的输入。其中KPCA的核函数类型选择的是高斯径向基核函数(RBF)；

步骤4：ELM分类器，设置合适的ELM隐含层神经元个数，并通过构造好的ELM分类器对特征选择后的数据集进行训练。并用ELM分类器对测试集进行检测分类；

步骤5：分类结果输出，通过输出的结果对基于KPCA和ELM的入侵检测方法进行性能评价；

本发明所述的有益效果为：

本发明所述的一种基于KPCA和ELM的入侵检测方法，在借助KPCA算法对实验数据特征提取的基础上，通过构建ELM检测分类模型，最终提高了入侵检测的性能。

附图说明

图1为本发明实施例的整体流程图。

图2为本发明实施例所述性能指标中的正确率的对比图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书能够据以实施。

本发明提供一种基于KPCA和ELM的入侵检测方法，包括如下步骤：

所述步骤1中：随机选取KDD CUP 99数据集中的7200条数据作为实验的训练样本，其中正常记录的样本数为2200条，异常记录样本数为5000条。异常记录中DOS类型的样本数为2700条、Probing类型的样本数为1585条数据、R2L类型的样本数为663条数据、U2R类型的样本数为52条数据。数据集中的每条数据的维数为41维，即每条会话记录数据有41个特征属性。

所述步骤2中：由于选取的实验数据的类型既有字符型也有数字型的，因此，需要对选取的实验数据进行数据的最大值归一化处理，归一化的区间为(0，1)。得到规范后的特征属性集θ＝(x₁,x₂,…x₄₁)，其中x₁,x₂,…x₄₁表示经过最大值归一化处理后的特征属性序列,最大值归一化计算公式为：

其中，x_ij表示经过最大值归一化处理前的第i条会话记录的第j个特征属性，x′_ij表示经过最大值归一化处理后的第i条会话记录的第j个特征属性，x_jmax表示所有会话记录的第j个特征属性的最大值。

所述步骤3中：假设y₁,y₂,…y_M为训练样本，{y_i}表示通过某种隐式方式将输入空间映射到某个高维空间，相应的映射为Φ。所述的高斯径向基核函数为：

其中，||s-s_i||²可以看作两个特征向量之间的平方欧几里得距离，δ为自由参数。

所述的用KPCA对选取的实验数据进行特征提取的主要步骤为：

a.计算核矩阵K，使用核函数来实现将实验数据由数据空间映射到特征空间。采用的核函数为高斯径向基核函数；

b.定义M×M维矩阵K,用于修正核矩阵。公式为：

K_μv＝(Φ(y_μ)·Φ(y_v))

c.通过下述公式修正核矩阵得到KL：

d.运用Jacobi迭代方法计算KL的特征值λ₁,…,λ_n即对应的特征向量v₁,…,v_n。

e.特征值按降序得到λ₁′,…,λ_n′并对特征向量进行相应调整得v₁′,…,v_n′。

f.通过施密特正交化方法单位正交化特征向量，得到α₁,…,α_n。

g.计算特征值的累计贡献率B₁,…,B_n，根据给定的提取效率P,如果B_t≥p,则提取t个主分量α₁,…,α_t。本发明的累计贡献率选择的是98％，提取的特征个数为6个。

h.计算已修正的核矩阵K在提出的特征向量上的投影Z＝KL·α,其中α＝(α₁,…,α_t)。

所得的投影Z即为数据经KPCA降维后得到的数。本发明经KPCA算法特征提取后的维数为6维。

所述步骤4中：设置ELM隐含层神经元个数为600，并通过构造好的ELM分类器对经过KPCA进行特征选择后的数据集进行训练。并用训练后的ELM分类器对测试集进行检测分类；

所述步骤5中：通过检测时间、正确率、检测率和误报率四项检测指标对基于KPCA和ELM的入侵检测方法进行性能评价；

实施例如下：首先对选取的实验数据进行最大值归一化处理，归一化的区间为(0,1)。将归一化后的实验数据用KPCA算法进行特征提取，即进行实验数据降维，本发明选取的累计贡献率为98％。根据确定的累计贡献率，提取的特征个数为6个，即将实验数据由原来的41维降维到6维。将特征提取后的实验数据输入构造好的ELM分类器中，实现对ELM分类器的训练。本发明中ELM的隐含层神经元个数设置为600个。用选取的测试集对训练后的ELM分类器进行性能检验。

为了验证本发明的有益效果，利用四个评价指标进行评价。这些指标是正确率(ACC)、检测时间、误报率(FAR)和检测率，其中检测率是指数据类型中被正确检测出的样本数占改类型中所有样本数的比率，这些评价指标定义如下：

a.

b.

其中，真阴性值(TN)是被正确识别成异常样本的异常样本数，真阳性值(TP)是正确识别为正常样本的正常样本数，假阳性值即误报值(FP)是被错误识别成正常样本的异常样本数，假阴性值(FN)即漏报值是被错误识别成异常样本的正常样本数。

为了进一步评估评估所提出的方法的优越性，将本方法与SVM算法及基本的ELM算法进行对比，检测的正确率结果如图2所示。显然，所提出的基于KPCA和ELM的入侵检测方法的检测正确率超过SVM算法及基本的ELM算法。表1为不同检测算法之间错误检测数与样本总数的比率的对比数据，显然本方法的性能要好于SVM算法以及基本的ELM算法。表2为不同检测算法之间的检测率的对比数据，从表2中可以看出，本方法的在四种异常数据类型的检测率均高于SVM算法以及基本的ELM算法，其中，对于DOS类型和Probing类型的检测率提升较为明显，分别达到98.96％和98.54％。表3为不同检测算法的正确率、误报率和检测时间的对比数据，从表3中可知，本方法在检测的正确率上相比于SVM算法和基本的ELM算法有较大的提高，并且在误报率上相比于SVM算法和基本的ELM算法更低，同时，本方法的检测时间相比于SVM算法和基本的ELM算法更短，检测时间仅为0.75s，较SVM算法和基本的ELM算法缩短了1.4～13.6倍。

本发明所述的一种基于KPCA和ELM的入侵检测方法，在借助KPCA算法对实验数据特征提取的基础上，通过构建ELM检测分类模型，最终提高了入侵检测的性能。

尽管本发明的实施方案已公开如上，但其实并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合公开发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权力要求及同等范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

表1不同检测算法的误检样本数占样本总数的数据比较

表2不同检测算法检测率比较

表3不同检测算法正确率、误报率和检测时间比较

Claims (6)

1.一种基于KPCA和ELM的入侵检测方法，其特征在于，包括如下步骤：

步骤1：输入数据集，本发明采取的训练样本为随机在KDD CUP 99数据集中抽取的7200条数据，其中正常类型的样本数为2200条，异常记录的样本数为5000条，测试样本的组成与训练样本相同；

步骤2：数据预处理，KDD CUP 99的每条数据都是由41个特征构成的，包括字符型、数字型等，因此，需要先对整个输入数据进行数据归一化，区间为(0，1)；

步骤3：特征选择，为了防止维数过高导致的维数灾难和缩短检测时间，本发明采用KPCA降维算法对预处理过的数据进行特征选择，降低数据集的维数，将特征选择后的数据集作为ELM分类器的输入，其中KPCA的核函数类型选择的是高斯径向基核函数(RBF)；

步骤4：ELM分类器，设置合适的ELM隐含层神经元个数，并通过构造好的ELM分类器对特征选择后的数据集进行训练，并用ELM分类器对测试集进行检测分类；

步骤5：分类结果输出，通过输出的结果对基于KPCA和ELM的入侵检测方法进行性能评价。

2.如权利要求1所述的基于KPCA和ELM的入侵检测方法，其特征在于，所述步骤1中：输入数据集，随机选取KDD CUP 99数据集中的7200条数据作为实验的训练样本，其中正常记录的样本数为2200条，异常记录样本数为5000条，异常记录中DOS类型的样本数为2700条、Probing类型的样本数为1585条数据、R2L类型的样本数为663条数据、U2R类型的样本数为52条数据，数据集中的每条数据的维数为41维，即每条会话记录数据有41个特征属性。

3.如权利要求1所述的基于KPCA和ELM的入侵检测方法，其特征在于，所述步骤2中：实验数据预处理，由于选取的实验数据的类型既有字符型也有数字型的，因此，需要对选取的实验数据进行数据的最大值归一化处理，归一化的区间为(0，1)，得到规范后的特征属性集θ＝(x₁,x₂,…x₄₁)，其中x₁,x₂,…x₄₁表示经过最大值归一化处理后的特征属性序列，最大值归一化的计算公式为：

其中，x_ij表示经过最大值归一化处理前的第i条会话记录的第j个特征属性，x′_ij表示经过最大值归一化处理后的第i条会话记录的第j个特征属性，x_jmax表示所有会话记录的第j个特征属性的最大值。

4.如权利要求1所述的基于KPCA和ELM的入侵检测方法，其特征在于：所述步骤3中：所述的特征选择方法为KPCA算法，假设y₁,y₂,…y_M为训练样本，{y_i}表示通过某种隐式方式将输入空间映射到某个高维空间，相应的映射为Φ，所述的高斯径向基核函数为：

其中，||s-s_i||²可以看作两个特征向量之间的平方欧几里得距离，δ为自由参数，

所述的用KPCA对选取的实验数据进行特征提取的主要步骤为：

a.计算核矩阵K，使用核函数来实现将实验数据由数据空间映射到特征空间，采用的核函数为高斯径向基核函数；

b.定义M×M维矩阵K,用于修正核矩阵，公式为：

K_μv＝(Φ(y_μ)·Φ(y_v))

c.通过下述公式修正核矩阵得到KL：

d.运用Jacobi迭代方法计算KL的特征值λ₁,…,λ_n即对应的特征向量v₁,…,v_n；

e.特征值按降序得到λ₁′,…,λ_n′并对特征向量进行相应调整得v₁′,…,v_n′；

f.通过施密特正交化方法单位正交化特征向量，得到α₁,…,α_n；

g.计算特征值的累计贡献率B₁,…,B_n，根据给定的提取效率P,如果B_t≥p,则提取t个主分量α₁,…,α_t，本发明的累计贡献率选择的是98％，提取的特征个数为6个；

h.计算已修正的核矩阵K在提出的特征向量上的投影Z＝KL·α,其中α＝(α₁,…,α_t)；

所得的投影Z即为数据经KPCA降维后得到的数，本发明经KPCA算法特征提取后的维数为6维。

5.如权利要求1所述的基于KPCA和ELM的入侵检测方法，其特征在于：所述步骤4中：构建ELM分类器，所述的ELM分类器的隐含层神经元个数设置为600个，并通过构造好的ELM分类器对经过KPCA进行特征选择后的数据集进行训练，并用训练后的ELM分类器对测试集样本进行检测分类。

6.如权利要求1所述的基于KPCA和ELM的入侵检测方法，其特征在于：所述步骤5中：对检测结果进行性能评价，采用的评价指标为检测率、正确率、检测时间和误报率，并将检测结果与SVM算法以及基本的ELM算法进行性能比较。