CN102263790A - 一种基于集成学习的入侵检测方法 - Google Patents

Abstract

本发明公开了网络信息安全技术领域中的一种基于集成学习的入侵检测方法。该方法使用核主成分分析从网络安全设备的日志中提取入侵检测所需要的若干特征，进而将各个时间监测点中这些特征的数据结合当时网络安全态势构造成训练样本集；在集成学习Boosting算法中使用核心向量机作为弱学习算法，利用集成学习Boosting算法对训练样本集进行迭代训练得到满足误差要求的弱学习机序列，再利用对弱学习机序列加权求和的方法得到强学习机；利用强学习机完成当前入侵检测分析。本发明在提高入侵检测系统实时性，降低入侵检测漏报率和误报率方面，以及提高入侵检测系统泛化能力方面，有较好的性能。

Description

一种基于集成学习的入侵检测方法

技术领域

本发明属于网络信息安全技术领域，尤其涉及一种基于集成学习的入侵检测方法。

背景技术

随着Internet技术的飞速发展，网络安全的重要性及其对社会的影响越来越大，网络安全问题也越来越突出，并逐渐成为Internet及各项网络服务和应用进一步发展所亟需解决的关键问题。此外网络入侵和攻击行为正朝着分布化、规模化、复杂化、间接化等趋势发展，势必对安全产品技术提出更高的要求。

入侵检测是对入侵行为的检测，入侵检测系统通过收集网络及计算机系统内所有关键节点的信息，检查网络或系统中是否存在违反安全策略行为及被攻击迹象。入侵检测的数据来源是各种网络安全设备(如防火墙、IDS、IPS等)的日志，这些设备会实时的记录每个时间监测点目标网络的活动情况以便分析目标网络的运行情况。入侵检测技术的理论来源是模式识别中分类问题，将各种网络攻击抽象成一个已知类别，将网络安全设备的历史运行日志作为训练样本集使用人工智能算法通过训练学习得到多分类模型，即入侵检测系统。目前入侵检测的解决方案，主要是利用神经网络、支持向量机等单学习机方法，单学习机的方法误差相对较大、易出现过拟合现象、计算过程复杂。

入侵检测系统的核心性能要求是准确性和实时性，目前基于单学习机的解决方案在这两方面均有不足。为了改善入侵检测系统的准确性，本发明采用集成学习Boosting算法设计入侵检测系统，集成学习Boosting算法的最大优势在于通过对弱学习算法的反复迭代训练从而得到高精度的分类模型。为了改善入侵检测系统的实时性，本发明分别在特征提取阶段和集成学习Boosting算法的弱学习算法选择上使用核主成分分析和核心向量机，从而使得在尽量不降低精度的情况下提高入侵检测系统的速度。

为此本发明采用集成学习Boosting算法设计入侵检测系统，有效改善了入侵检测系统精度和实时性。

发明内容

针对上述背景技术中提到的单学习机方法误差较大、易出现过拟合现象、计算过程复杂等不足，本发明提出了一种基于集成学习的入侵检测方法。

本发明的技术方案是，一种基于集成学习的入侵检测方法，其特征是所述方法包括以下步骤：

步骤1：使用核主成分分析从网络安全设备日志的属性x₁，x₂，L，x_n中提取入侵检测所需要的时间监测点i的特征数据

步骤2：将特征数据

结合时间监测点i的网络安全态势yⁱ构造成集成学习Boosting算法中弱学习算法可读的训练样本集S_train；

步骤3：利用集成学习Boosting算法对训练样本集S_train进行迭代训练得到满足误差要求的弱学习机序列h，再利用对弱学习机序列h加权求和的方法得到强学习机H；

步骤4：利用强学习机H完成当前入侵检测分析。

所述弱学习算法为核心向量机。

所述步骤1包括以下步骤：

步骤1.1：将属性x₁，x₂，L，x_n的数据

利用核函数变换Φ：

从Rⁿ空间映射到Hilbert空间，得到Hilbert空间中的数据 ${\mathrm{\Φ}}_1^i\left(x\right),{\mathrm{\Φ}}_2^i\left(x\right),\mathrm{\Λ},{\mathrm{\Φ}}_n^i\left(x\right);$

步骤1.2：在Hilbert空间中计算

各分量的协方差矩阵C；

步骤1.3：求解协方差矩阵C所对应的特征方程λυ＝Cυ中的特征值及非零特征值对应的特征向量υ，并将特征向量υ的表达式为

步骤1.4：求解α_q，可得特征向量α的对偶特征方程mλα＝Kα；

步骤1.5：将特征向量α单位化；

步骤1.6：计算各Φ_q(x)在特征向量υ上的投影g_q(x)；

步骤1.7：将所有投影g_q(x)组合成一个矢量g(x)＝[g₁(x)，Λ，g_n(x)]^T作为样本的特征向量；

步骤1.8：用比值

表示分量g_q(x)对样本总体方差的贡献度，按贡献度从大到小排序，最终选取前指定个最大的特征值λ_q对应的特征向量υ_q构成训练样本集所需的特征数据

所述步骤3包括以下步骤：

步骤3.1：设定集成学习Boosting算法最大迭代次数k，并设定集成学习Boosting算法所调用的弱学习算法；

步骤3.2：规范化训练样本集S_train，并设定训练样本集S_train为集成学习Boosting算法的原始数据样本集D；

步骤3.3：以ω_f(l)为概率从原始数据样本集D中抽取的样本集D_f，并由弱学习算法训练，得到弱学习机h_f；

步骤3.4：计算弱学习机h_f的训练误差ε_f；

步骤3.5：计算弱学习机h_f的权重α_f；

步骤3.6：更新原始数据样本集D中训练样本的权重；

步骤3.7：当满足下列两个条件之一，则执行步骤3.8；否则返回步骤3.3；

条件1：集成学习Boosting算法达到最大迭代次数k；

条件2：样本集D_f不再变化；

步骤3.8：输出强学习机H。

所述训练误差ε_f的计算公式为：

${\mathrm{\ϵ}}_f=\underset{l=1}{\overset{q}{\mathrm{\Σ}}}{\mathrm{\ω}}_f\left(l\right)$

式中：

ε_f为训练误差，f∈[1，…，k]；

ω_f(l)为抽取概率。

所述权重α_f的计算公式为：

${\mathrm{\α}}_f=\frac{1}{2}\ln \left[\frac{1-{\mathrm{\ϵ}}_f}{{\mathrm{\ϵ}}_f}\right]$

式中：

α_f为弱学习机h_f的权重。

所述强学习机H的计算公式为：

$H=\mathrm{sign}\left[\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\α}}_l{h}_l\left(x\right)\right]$

式中：

H为强学习机；

sign为符号函数；

α_l为弱学习机h_l的权重。

特别注意的是在步骤3.1中的训练过程是利用核心向量机CVM完成对样本数据的训练。核心向量机CVM是在支持向量机SVM(Support Vector Machine)算法基础上的一种改进算法。核心向量机CVM的改进在于利用最小包含球算法MEB(Minimum Enclosing Ball)代替了支持向量机SVM中的凸二次规划，从而大大节省了运算时间。最小包含球MEB算法理论基础来自于“计算几何(Computational Geometry)”。核心向量机CVM利用最小包含球MEB算法求解原n维欧氏空间Rⁿ中目标问题Φ，其过程如下：

(1)将原n维欧氏空间Rⁿ中的目标问题Φ映射到Hilbert空间，并在Hilbert空间中构造对偶问题Φ′。

(2)根据对偶问题Φ′的样本集S构造初始球。

(3)迭代求解样本集S的核子集S_c，即完成对偶问题Φ′到最小闭包球MEB问题的转化。设c、r分别为初始球的重心和半径，使用B(c，r)表示一个重为c，半径为r的球，r∈[0，R]，r的上限为R，当r增加到R时，此时的球即为MEB球。再设误差阈值δ＞0，球B(c，(1+δ)r)视为MEB(S)的(1+δ)近似球。则核子集S_c可定义为：若真子集S_c以因子(1+δ)扩展的最小闭包球MEB包含了所有S中的样本点，即：

其中B(c，R)＝MEB(S_c)，则真子集S_c称为的核子集。

(4)在中心约束条件下，求解最小闭包球MEB问题，即求解原n维欧氏空间Rⁿ的目标问题Φ。

采用本发明对目标网络的入侵检测进行判断，不但克服了原有基于单学习机的入侵检测技术缺陷，而且提高了检测的准确率、入侵检测系统的实时性和入侵检测系统的泛化能力。

附图说明

图1为本发明方法流程图；

图2为集成学习Boosting算法训练弱学习机的流程图；

图3为强学习机进行入侵检测的过程示意图。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

入侵检测是对入侵行为的检测，入侵检测系统通过收集网络及计算机系统内所有关键节点的信息，检查网络或系统中是否存在违反安全策略行为及被攻击迹象。入侵检测的数据来源是各种网络安全设备(如防火墙、IDS、IPS等)的日志，这些设备会实时的记录每个时间监测点目标网络的活动情况以便分析目标网络的运行情况。但目标网络中往往是同时使用多种品牌的网络安全设备，其功能各异，因而需要对各网络安全设备上报的日志做融合处理，即合并各类日志的不同数据字段。所以入侵检测模型需要处理、分析的原始数据具有数据量大、维数高等特点，通常合并后的日志文件都以MB，甚至GB为存储单位，并且日志中每条记录的维数都有几十维，甚至上百维。因而在设计入侵检测系统时，首要考虑的是对原始数据做降维处理，又因为每条记录中不同维度之间常常是复杂的非线性关系，因此本发明使用核主成分分析(KernelPrincipal Component Analysis，KPCA)作为降维工具，在降维的同时完成原始数据的特征提取，进而得到训练样本集；将训练样本集输入到集成学习Boosting算法中，由集成学习Boosting算法调用弱学习机——核心向量机CVM(Core Vector Machine)进行样本集训练以得到弱学习机序列，再将弱学习机序列加权成为强学习机；最后利用强学习机完成当前时间监测点及未来时间点的入侵检测。这样从局部到整体，使集成学习Boosting算法能适用更一般的网络安全态势预测问题。

图1是本发明提供的一种基于集成学习的入侵检测方法流程图。图1中，本发明提供的方法包括如下的步骤：

步骤1：使用核主成分分析从网络安全设备(防火墙、IDS、IPS等)日志的属性x₁，x₂，L，x_n中提取入侵检测所需要的时间监测点i的特征数据 $x_1^i,x_2^i,\mathrm{\Λ},x_g^i,$ g≤n；

核主成分分析是一种高效的非线性特征选择算法，它适用于高维原始数据的主成分分析，即原始数据降维处理。核主成分分析改进自线性的PCA，核主成分分析的核心思想是将原n维欧氏空间Rⁿ的数据通过核函数映射到Hilbert特征空间，在Hilbert空间做线性PCA。核主成分分析算法流程如下：

步骤1.1：将属性x₁，x₂，L，x_n的数据利用核函数变换Φ：

从空间Rⁿ映射到Hilbert空间，得到Hilbert空间中的数据 ${\mathrm{\Φ}}_1^i\left(x\right),{\mathrm{\Φ}}_2^i\left(x\right),\mathrm{\Λ},{\mathrm{\Φ}}_n^i\left(x\right);$

步骤1.2：在Hilbert空间中计算

各分量的协方差矩阵C；

步骤1.3：求解协方差矩阵C所对应的特征方程λυ＝Cυ中的特征值及非零特征值对应的特征向量υ，并将特征向量υ的表达式为

步骤1.4：求解α_q，可得特征向量α的对偶特征方程mλα＝Kα，α＝[α₁Λα_n]^T，其中K＝<Φ_q(x)，Φ_q(x)^T>是Gram矩阵；

步骤1.5：将特征向量α单位化；

步骤1.6：计算各Φ_q(x)在特征向量υ上的投影g_q(x)，其中g_q(x)是对应于Φ_q(x)的非线性主成分分量；

步骤1.7：将所有投影值g_q(x)组合成一个矢量g(x)＝[g₁(x)，Λ，g_n(x)]^T作为样本的特征向量；

步骤1.8：用比值

表示分量g_q(x)对样本总体方差的贡献度，按贡献度从大到小排序，最终选取前指定个最大的特征值λ_q对应的特征向量υ_q构成训练样本集所需的特征数据

是使用核主成分分析从原始n维属性中提取出来的特征个数。

步骤2：将特征数据

结合时间监测点i的网络安全态势yⁱ(“正常”或“发生攻击”)构造成集成学习Boosting算法中弱学习算法(核心向量机)可读的训练样本集S_train；

步骤2.1：统计各个时间监测点i中，特征x₁，x₂，Λ，x_g的数据

以及网络安全态势yⁱ(“正常”或“发生攻击”)；

步骤2.2：构造集成学习Boosting算法中弱学习算法(核心向量机)可读的训练样本集S_train，训练样本集S_train中

作为核心向量机的输入向量、网络安全态势yⁱ作为核心向量机的输出向量。

步骤3：利用集成学习Boosting算法对训练样本集S_train进行迭代训练得到满足误差要求的弱学习机序列h，再利用对弱学习机序列h加权求和的方法得到强学习机H；；

集成学习Boosting算法是集成学习算法的优秀代表，其理论思想是利用某个不稳定的弱学习机生成一个弱学习机组合，其中每个弱学习机均作为基分类器存在，每个基分类器的训练过程均依赖于之前基分类器的分类结果，即将之前基分类器的误差用于调整当前基分类器的样本概率分布，强学习机通过单个基分类器的加权组合而成。集成学习Boosting算法可以明显提高不稳定学习机的准确率，对于单学习机性能的提升明显。由于集成学习Boosting算法每次训练都可以得到一个基分类器，而每个基分类器都是在上一次基分类器的计算结果上改进，因此从训练角度来看，集成学习Boosting算法的训练过程就是一个不断优化的过程，即分类器从不稳定到稳定的过程。经研究发现，集成学习Boosting算法只需要调整最大训练次数k一个参数，并且集成学习Boosting算法不会导致过学习现象出现。图2为集成学习Boosting算法训练弱学习机的过程，步骤3具体包括下列步骤：

步骤3.1：设定集成学习Boosting算法最大迭代次数k，并设定集成学习Boosting算法所调用的弱学习算法(核心向量机)；

步骤3.2：规范化训练样本集S_train，并设定训练样本集S_train为集成学习Boosting算法的原始数据样本集D，ω₁(l)为原始数据样本集D中每个样本的初始权重，

l∈[1，…，q]，q为样本总个数；

步骤3.3：以ω_f(l)为概率从原始数据样本集D中抽取的样本集D_f，并由弱学习算法(核心向量机)训练，得到弱学习机h_f，f∈[1，…，k]，

ω_f(l)的选取条件为：根据该弱学习机得到的入侵检测结果与实际不符，若满足此条件，则ω_f(l)为其计算结果；若不满足此条件，则ω_f(l)＝0；

步骤3.4：计算弱学习机h_f的训练误差ε_f；

步骤3.5：计算弱学习机h_f的权重α_f；

步骤3.6：更新原始数据样本集D中训练样本的权重；

步骤3.7：当满足下列两个条件之一，则执行步骤3.8；否则返回步骤3.3；

条件1：集成学习Boosting算法达到最大迭代次数k；

条件2：样本集D_f不再变化；

步骤3.8：输出强学习机H。

步骤3.1中的训练过程是利用核心向量机CVM完成对样本数据的训练。核心向量机CVM是在支持向量机SVM(Support Vector Machine)算法基础上的一种改进算法。核心向量机CVM的改进在于利用最小包含球算法MEB(MinimumEnclosing Ball)代替了支持向量机SVM中的凸二次规划，从而大大节省了运算时间。最小包含球算法MEB算法理论基础来自于“计算几何(ComputationalGeometry)”。核心向量机CVM利用最小包含球算法MEB算法求解原n维欧氏空间Rⁿ中目标问题Φ，其过程如下：

(1)将原n维欧氏空间Rⁿ中的目标问题Φ映射到Hilbert空间，并在Hilbert空间中构造对偶问题Φ′。

(2)根据对偶问题Φ′的样本集S构造初始球。

(3)迭代求解样本集S的核子集S_c，即完成对偶问题Φ′到最小闭包球MEB问题的转化。设c、r分别为初始球的重心和半径，使用B(c，r)表示一个重为c，半径为r的球，r∈[0，R]，r的上限为R，当r增加到R时，此时的球即为MEB球。再设误差阈值δ＞0，球B(c，(1+δ)r)视为MEB(S)的(1+δ)近似球。则核子集S_c可定义为：若真子集S_c以因子(1+δ)扩展的最小闭包球MEB包含了所有S中的样本点，即：

其中B(c，R)＝MEB(S_c)，则真子集S_c称为S的核子集。

(4)在中心约束条件下，求解最小闭包球MEB问题，即求解原n维欧氏空间Rⁿ的目标问题Φ。

步骤3.4中训练误差ε_f的计算公式为：

${\mathrm{\&epsiv;}}_f=\underset{l=1}{\overset{q}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_f\left(l\right)$

式中：

ε_f为训练误差，f∈[1，…，k]；

ω_f(l)为抽取概率。

步骤3.5中权重α_f的计算公式为：

${\mathrm{\&alpha;}}_f=\frac{1}{2}\ln \left[\frac{1-{\mathrm{\&epsiv;}}_f}{{\mathrm{\&epsiv;}}_f}\right]$

式中：

α_f为弱学习机h_f的权重。

步骤3.6中更新训练样本的权重；

${\mathrm{\&omega;}}_{f+1}\left(l\right)=\frac{{\mathrm{\&omega;}}_f\left(l\right)e^{-{\mathrm{\&alpha;}}_f{h}_f\left(x_l\right)}}{M_f}$

式中：

ω_f+1(l)为更新后的训练样本的权重；

ω_f(l)为训练样本的权重；

h_f(x_l)为弱学习机根据输入量x_l得到的入侵检测结果；

M_f是归一化系数，须保证

步骤3.8中强学习机H的计算公式为：

$H=\mathrm{sign}\left[\underset{l=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_l{h}_l\left(x\right)\right]$

式中：

H为强学习机；

sign为符号函数；

α_l为弱学习机h_l的权重。

步骤4：利用强学习机H完成当前入侵检测分析。

步骤4的具体执行过程如图3，其由两步组成：

步骤4.1：将当前时间监测点网络安全设备(防火墙、IDS、IPS等)的日志中提取特征x₁，x₂，L，x_n的数据输入到强学习机H；

步骤4.2：利用强学习机H完成当前入侵检测分析。

经过上述四个步骤的训练学习之后，形成基于集成学习Boosting算法的入侵检测模型，从而实现对目标网络的实时入侵检测。

本发明在入侵检测精度及实时性方面，相比传统单学习机方法，有较好的检测精度和检测速度，提高了入侵检测系统的实用性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于集成学习的入侵检测方法，其特征是所述方法包括以下步骤：

步骤1：使用核主成分分析从网络安全设备日志的属性x₁，x₂，L，x_n中提取入侵检测所需要的时间监测点i的特征数据

步骤2：将特征数据

结合时间监测点i的网络安全态势yⁱ构造成集成学习Boosting算法中弱学习算法可读的训练样本集S_train；

步骤3：利用集成学习Boosting算法对训练样本集S_train进行迭代训练得到满足误差要求的弱学习机序列h，再利用对弱学习机序列h加权求和的方法得到强学习机H；

步骤4：利用强学习机H完成当前入侵检测分析。

2.根据权利要求1所述的一种基于集成学习的入侵检测方法，其特征是所述弱学习算法为核心向量机。

3.根据权利要求1所述的一种基于集成学习的入侵检测方法，其特征是所述步骤1包括以下步骤：

步骤1.1：将属性x₁，x₂，L，x_n的数据

利用核函数变换Φ：

从Rⁿ空间映射到Hilbert空间，得到Hilbert空间中的数据 ${\mathrm{\&Phi;}}_1^i\left(x\right),{\mathrm{\&Phi;}}_2^i\left(x\right),\mathrm{\&Lambda;},{\mathrm{\&Phi;}}_n^i\left(x\right);$

步骤1.2：在Hilbert空间中计算各分量的协方差矩阵C；

步骤1.3：求解协方差矩阵C所对应的特征方程λυ＝Cυ中的特征值及非零特征值对应的特征向量υ，并将特征向量υ的表达式为

步骤1.4：求解α_q，可得特征向量α的对偶特征方程mλα＝Kα；

步骤1.5：将特征向量α单位化；

步骤1.6：计算各Φ_q(x)在特征向量υ上的投影g_q(x)；

步骤1.7：将所有投影g_q(x)组合成一个矢量g(x)＝[g₁(x)，Λ，g_n(x)]^T作为样本的特征向量；

步骤1.8：用比值

表示分量g_q(x)对样本总体方差的贡献度，按贡献度从大到小排序，最终选取前指定个最大的特征值λ_q对应的特征向量υ_q构成训练样本集所需的特征数据

4.根据权利要求1所述的一种基于集成学习的入侵检测方法，其特征是所述步骤3包括以下步骤：

步骤3.1：设定集成学习Boosting算法最大迭代次数k，并设定集成学习Boosting算法所调用的弱学习算法；

步骤3.2：规范化训练样本集S_train，并设定训练样本集S_train为集成学习Boosting算法的原始数据样本集D；

步骤3.3：以ω_f(l)为概率从原始数据样本集D中抽取的样本集D_f，并由弱学习算法训练，得到弱学习机h_f；

步骤3.4：计算弱学习机h_f的训练误差ε_f；

步骤3.5：计算弱学习机h_f的权重α_f；

步骤3.6：更新原始数据样本集D中训练样本的权重；

步骤3.7：当满足下列两个条件之一，则执行步骤3.8；否则返回步骤3.3；

条件1：集成学习Boosting算法达到最大迭代次数k；

条件2：样本集D_f不再变化；

步骤3.8：输出强学习机H。

5.根据权利要求4所述的一种基于集成学习的入侵检测方法，其特征是所述训练误差ε_f的计算公式为：

${\mathrm{\&epsiv;}}_f=\underset{l=1}{\overset{q}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_f\left(l\right)$

式中：

ε_f为训练误差，f∈[1，…，k]；

ω_f(l)为抽取概率。

6.根据权利要求4所述的一种基于集成学习的入侵检测方法，其特征是所述权重α_f的计算公式为：

${\mathrm{\&alpha;}}_f=\frac{1}{2}\ln \left[\frac{1-{\mathrm{\&epsiv;}}_f}{{\mathrm{\&epsiv;}}_f}\right]$

式中：

α_f为弱学习机h_f的权重。

7.根据权利要求4所述的一种基于集成学习的入侵检测方法，其特征是所述强学习机H的计算公式为：

$H=\mathrm{sign}\left[\underset{l=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_l{h}_l\left(x\right)\right]$

式中：

H为强学习机；

sign为符号函数；

α_l为弱学习机h_l的权重。

Images