CN108881196A - 基于深度生成模型的半监督入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于深度生成模型的半监督入侵检测方法，包括：一、数据预处理，将数据集中的符号属性转化为数值属性，后对全部数值属性进行归一化处理；二、利用生成模型中的变分自编码技术将有标签和无标签数据的高维特征表示转换成新特征空间低维表示，对低维特征向量加一个约束使之服从高斯正太分布，得到隐变量z，用隐变量z结合有标签样本训练分类器；三、有标签样本数据重构，用隐变量z结合标签类别信息共同生成新的有标签样本；四、无标签样本重构，用隐变量z预测无标签样本所属每一个类别的概率，然后结合隐变量z生成新的无标签样本；五、用新生成的有标签和无标签样本计算模型的重构误差，结合分类误差训练优化模型参数直至收敛。

Description

基于深度生成模型的半监督入侵检测方法

技术领域

本发明应用于网络安全中的入侵检测领域。特别是涉及一种基于深度生成模型的半监督入侵检测方法。

背景技术

随着网络与信息技术日新月异的发展，网络安全问题已经成为一个备受关注的重大问题。入侵检测(Intrusion Detection)是一种积极主动的安全防护技术，通过分析网路流量或系统审计记录发现入侵行为，当发现可疑通信时发出告警或采取防御措施以保证系统安全。

目前基于机器学习与深度学习的入侵检测学习算法是国内外学者研究的重点，对现有的入侵检测方法总结分析如下：

(1)基于统计的入侵检测方法。统计模型的基础是收集大量的训练数据，在数据中获得各个特征的取值范围划分统计区间，从而确定系统特征的统计度量值，并推测出统计测度，是早期异常检测的基础。统计方法依赖于大量的已知数据，但是这种方法不能反映所识别出的事件在时间上的先后顺序，阈值的设置也是影响系统准确率的因素之一。

(2)基于规则的入侵检测方法。系统需要动态建立和维护一个规则库，利用规则对发生的事件进行判断。规则的建立通常也依赖于大量已有的知识，与统计方法的区别在于建立的是规则而不是系统度量，例如树形规则库或基于时间的规则库。专家系统是一种基于预定义规则的方法，根据专家经验预先定义系统的推理规则，将已知的入侵行为特征或攻击代码等编为规则集，是误用入侵检测的典型方法。基于规则的方法对于已知的攻击或入侵有很高的检测率，但是难以发现未知攻击。

(3)基于神经网络的入侵检测方法。神经网络方法以其并行式计算、分布式存储、以及多层结构的特点，适合于计算大规模、高维度的网络数据。通过已知数据训练神经网络分类器，然后以待分类的数据作为神经网络的输入，通过隐层的计算，最终输出层的结果即为分类结果。神经网络方法的优势是能够处理大规模、高维度的数据，缺点是所构建的神经网络隐层拓扑以及输出结果等通常难以控制和解释。

(4)基于免疫学的入侵检测方法。利用生物体的免疫机理进行入侵行为的分析，区分自我(Self)和非我(None-self)，并消除异常模式，建立系统正常行为的特征库。定义属于“自我”的体系结构、管理策略与使用模式等，监视系统的行为，识别“非我”的行为。

基于以上入侵检测算法通常只能检测已知的攻击类型且需要大量有标签样本，模型时间计算复杂度高。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于深度生成模型半监督入侵检测方法。

为了达到上述目的，本发明提供的

一种基于深度生成模型的半监督入侵检测方法，包括下列步骤：

步骤一、将数据集中的符号属性转化为数值型属性，然后将所有数值型属性归一化；

步骤二、将归一化处理后的数据作为变分自编码的输入，建立高维空间到低维空间的双向映射，设置模型的深度和每一层隐藏层单元的个数，进而把得到隐变量z，将隐变量z作为分类器的输入变量，训练分类器；得到分类误差；

步骤三、将有标签样本编码得到的隐变量z和有标签样本的签信息做数据重构，生成新的有标签样本；

步骤四、利用无标签样本编码得到的隐变量z预测其标签所属每一类别的概率，用无标签样本的标签作为另一个隐变量z共同生成新的无标签样本；

步骤五、利用有标签样本和无标签样本的重构误差结合步骤二中的分类误差作为模型的目标函数，训练模型参数直至收敛。

进一步：步骤一具体为：首先用Onehot编码将数据集中的protocol_type、service、flag三个符号属性转化为数值化属性，然后用最小-最大化方法对全部数值属性归一化处理，使得各属性取值处于同一个数量级，以此得到标准化的数据集。

进一步：步骤二具体为：首先设置变分自编码模型的深度以及每一层隐藏层单元的个数，然后将预处理之后的数据集作为模型的输入，采用变分自编码对输入的数据进行降维处理并重构数据，得到原数据集的低维表示即隐变量z，最后将隐变量z作为分类器的输入结合有标签数据做监督学习训练分类器。

进一步：步骤三具体为：首先输入的有标签样本经变分自编码模型处理后得到隐变量z,然后将隐变量z与有标签样本的标签借助变分自编码的解码算法重构有标签样本。

进一步：步骤四具体为：首先输入的无标签样本经变分自编码模型处理后得到隐变量z，设无标签样本类别服从多项式分布，然后利用隐变量z预测样本属于每一个类别的概率，最后将隐变量z与预测得到的标签信息借助变分自编码的解码算法重构无标签样本。

进一步：步骤五具体为：首先计算步骤三得到重构有标签样本与原始有标签样本间的误差L(x,y)，x是样本，y是样本的标签信息，然后计算步骤四得到重构无标签样本与原始无标签样本间的误差U(x)，最后加上步骤二中分类器的分类误差y_pred作为整个模型的目标函数，并最小化目标函数，以此来训练模型的参数直至收敛。

有益效果：

本发明提供的基于深度生成模型的半监督入侵检测方法具有如下有益效果：本发明通过对现有入侵检测算法的研究，提出了一种基于深度生成模型的半监督入侵检测算法，将深度神经网络与概率建模相结合，将数据的生成模型用于提高单独使用有标签数据时的分类准确率，该方法具有较高的鲁棒性和检测精度，并且大大减少了对先验知识的需求，增强了实用性。

本发明能够解决基于监督学习入侵检测算法所需训练样本标签收集难，无监督学习算法准确度不高以及高维数据处理计算开销大等问题，在利用少量标记样本的情况下，既能提高检测准确率又能缩短计算时间，具有更强的实用性。

附图说明

图1为本发明提供的基于深度生成模型的半监督入侵检测方法流程图；

图2为变分自编码结构原理图；

图3为变分自编码参数重构原理图；

图4为不同比例标记数据准确率对比图；

图5为不同模型深度检测精度对比图；

图6为不同隐变量维度检测精度对比图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：

如图1所示，本发明公开的基于深度生成模型的半监督入侵检测方法，包括下列步骤：

步骤一、将数据集中的符号属性转化为数值型属性，然后将所有数值型属性归一化；

具体步骤如下：

(1)将属性protocal_type的3种不同取值：‘tcp’、‘udp’、‘icmp’用OneHot编码将其扩展到3维。如‘tcp’用[1,0,0]表示，‘udp’用[0,1,0]表示，‘icmp’用[0,0,1]表示。同理，service属性的70种符号型取值和flag的11种符号型取值可以建立类似符号型取值和数值型取值间的映射。41维特征经过OneHot编码变为122维特征。

(2)对经(1)处理后的数据用按公式(1)做归一化处理，使各属性取值处于同一数量级，有利于综合对比评价。根据公式将数据型数据线性映射到[0,1]区间。

其中x是属性值，x'表示归一化处理后的值，min是该属性的最小取值，max是该属性的最大取值。

步骤二、将归一化处理后的数据作为变分自编码的输入，建立高维空间到低维空间的双向映射，设置模型的深度和每一层隐藏层单元的个数，进而把得到隐变量z作为分类器的输入变量，训练分类器；

具体步骤如下：

(1)根据专家经验和多次试验模拟，设置变分自编码模型深度为2，第一层隐藏层单元个数为110，第二层隐藏层单元个数为80，隐变量z的维度为30。

(2)如图2所示变分自编码结构原理图，用q_φ(z|x)逼近真实后验概率p_θ(z|x)，用多层感知机感知机(Multilayer Perceptron,MLP)作为VAE的编码方式，假设q_φ(z|x)为具有对角线协方差结构的多元高斯分布，编码方式按照公式(2)。

其中，φ＝{W₁，b₁，W₂，b₂，W₃，b₃}分别是各层编码器的权值和偏置，π_φ(x)代表隐变量z预测无标签样本所属每一个类别的概率，Cat(y|π_φ(x))代表无标签样本的联合概率分布。

最后求隐变量z时，会用到变分推断的参数重构技巧公式(3)，即变分自编码的核心所在，参数重构模型如图3所示。

z⁽ⁱ⁾＝μ⁽ⁱ⁾+σ⁽ⁱ⁾·ε (3)

(3)用(2)中求得的隐变量z作为分类器的输入，再此选择softmax分类器，按照公式(4)求样本的预测标签，其中W⁴，b⁴分别代表连接到softmax分类器的权值与偏置。

y_pred＝argmax(softmax(W₄z+b₄)) (4)

W₄为分离器的权值，b₄为分离器的偏值；

步骤三、将有标签样本编码得到的隐变量z和其标签信息做数据重构，生成新的有标签样本；

具体步骤如下：按照MLP的解码方式取公式(5)，用步骤二中求得的隐变量z做有标签样本的数据重构。

其中，θ＝{W₅，b₅，W₆，b₆，W₇，b₇}分别代表解码器各层的权值的偏置。

步骤四、利用无标签样本编码得到的隐变量z预测其标签所属每一类别的概率，用其标签作为另一个隐变量与z共同生成新的无标签样本；

具体步骤如下：按照MLP的解码方式取公式(5)，用步骤二中求得的隐变量z做有标签样本的数据重构。

步骤五、利用有标签样本和无标签样本的重构误差结合步骤二中的分类误差作为模型的目标函数，训练模型参数直至收敛。

具体步骤如下：

(1)按照公式(6)计算有标签数据的重构误差；

(2)按照公式(7)计算无标签数据的重构误差；

(3)根据步骤二中求得的y_pred按照公式(6)计算交叉熵，得到分类误差；

logq_φ(y|z)＝ylogy_pred+(1-y)log(1-y_pred)(8)

(4)将(1)、(2)、(3)中的各类误差求和求得模型最终目标函数cost，系数α用于控制分类模型与生成模型的权重。

实施例：

为了验证本方法的效果，本发明人设计了相应的实施例，一方面实验设计了不同参数对模型检测效果的影响，另一方面与目前采用较多的入侵检测算法，拉普拉斯支持向量机(LapSVM)入侵检测算法、基于半监督的融合式入侵检测算法，半监督深度神经网路入侵检测算法(SS-DNN)进行比较。

入侵检测数据集采用NSL-KDD，其中20％作为训练集，随机从NSL-KDD中抽取20％的数据作为测试集。

对比一：为验证本文所提方法在有标签数据样本不同时的入侵检测性能，借此来评价半监督算法是否有利于提高入侵检测的检测精度。分别对5％、20％、50％、80％的测试样本进行标记，实验结果如图4所示。由图可知，随着标记数据样本的增加，模型的分类准确率在不断提升，当标记数据占总训练样本的20％时，模型的分类准确率已达到90％。由此可知，本文提出的半监督入侵检测算法在有效缓解标记数据难以获得问题的同时，又能够准确检测网络中的恶意连接。

对比二：自编码网络的深度对入侵检测分类效果起到非常重要的作用，随着模型深度的增加，高层特征的表示能力更抽象，分类准确率也由此增加，但训练时间也大幅增加，过多的层数容易导致过拟合现象。本发明在实验中设置了三种不同深度的MLP模型，其中有标记样本占训练样本50％，隐变量维度设置为30，各隐藏层节点个数为200时，性能对比结果如图5所示。由图5可知，当模型深度为两层时，模型检测精度最高，而当模型深度为3时，检测精度却大大降低，这是因为当隐藏层个数设置为200时，模型特征学习能力以达到较强水平，继续增加模型深度不但训练时间大大增加而且会导致过拟合，因此对拥有较多‘陌生’甚至未知属性值的测试集来说，模型检测精度会降低。

对比三：本发明另外一个研究重点是选择最小的特征向量来提高入侵检测识别率，为了测试隐变量维度对检测效果的影，本发明采用两层的MLP[200,200]作为VAE的编码结构，其他参数不变，改变隐变量维度，从10变化到50，结果如图6所示，由图6可知当隐变量维度设置为30时，模型的准确率和检测率最高。这是因为当隐变量维度过低时，模型学习的特征不完全，没有办法表征原始数据，反之，当隐变量维度过高时，模型趋向于过拟合，使得模型的泛化能力降低，以至于在测试时准确率不高。

对比四：为验证本发明相较其比较流行的入侵检测算法，表1给出了当有标记数据占50％时，各个半监督算法分类准确率与训练时间比较。由表1可以看出，本发明所提算法在分类准确率上均优于其他半监督算法，精确率DR虽低于SS-DNN，但召回率高出SS-DNN将近2％，入侵检测系统要对进入系统的流量做全面检测，因此更加注重查全率。从模型的训练时间来看，两个深度模型所用时间均大于前两者，这是由于深度模型需要训练迭代调整大量参数，导致模型学习时间过长，但就准确率AC、检测率DR、召回率RR三者综合来看，本发明所提算法可行性性更高。

表1不同算法检测精度与检测时间比较

本发明提供的基于深度生成模型的半监督入侵检测算法基本原理如下：首先利用变分自编码学习提取原始数据的低维特征向量，然后借助低维向量结合少量标签训练分器，无标签数据借助低维向量预测类标签，同时借助低维向量和类标签重构数据，训练整个模型。本发明能借助少量有标签数据做检测，另一方面基于生成模型的检测算法，生成的样本具有多样性，能够提高模型的泛化能力，且相比其他半监督入侵检测算法本发明所提方法具有较高的分类准确率。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (6)

1.一种基于深度生成模型的半监督入侵检测方法，其特征在于：至少包括如下步骤：

步骤一、将数据集中的符号属性转化为数值型属性，然后将所有数值型属性归一化；

步骤二、将归一化处理后的数据作为变分自编码的输入，建立高维空间到低维空间的双向映射，设置模型的深度和每一层隐藏层单元的个数，进而把得到隐变量z，将隐变量z作为分类器的输入变量，训练分类器；得到分类误差；

步骤三、将有标签样本编码得到的隐变量z和有标签样本的签信息做数据重构，生成新的有标签样本；

步骤四、利用无标签样本编码得到的隐变量z预测其标签所属每一类别的概率，用无标签样本的标签作为另一个隐变量z共同生成新的无标签样本；

步骤五、利用有标签样本和无标签样本的重构误差结合步骤二中的分类误差作为模型的目标函数，训练模型参数直至收敛。

2.根据权利要求1所述的基于深度生成模型的半监督入侵检测方法，其特征在于：步骤一具体为：首先用Onehot编码将数据集中的protocol_type、service、flag三个符号属性转化为数值化属性，然后用最小-最大化方法对全部数值属性归一化处理，使得各属性取值处于同一个数量级，以此得到标准化的数据集。

3.根据权利要求1所述的基于深度生成模型的半监督入侵检测方法，其特征在于：步骤二具体为：首先设置变分自编码模型的深度以及每一层隐藏层单元的个数，然后将预处理之后的数据集作为模型的输入，采用变分自编码对输入的数据进行降维处理并重构数据，得到原数据集的低维表示即隐变量z，最后将隐变量z作为分类器的输入结合有标签数据做监督学习训练分类器。

4.根据权利要求1所述的基于深度生成模型的半监督入侵检测方法，其特征在于：步骤三具体为：首先输入的有标签样本经变分自编码模型处理后得到隐变量z,然后将隐变量z与有标签样本的标签借助变分自编码的解码算法重构有标签样本。

5.根据权利要求1所述的基于深度生成模型的半监督入侵检测方法，其特征在于：步骤四具体为：首先输入的无标签样本经变分自编码模型处理后得到隐变量z，设无标签样本类别服从多项式分布，然后利用隐变量z预测样本属于每一个类别的概率，最后将隐变量z与预测得到的标签信息借助变分自编码的解码算法重构无标签样本。

6.根据权利要求1所述的基于深度生成模型的半监督入侵检测方法，其特征在于：步骤五具体为：首先计算步骤三得到重构有标签样本与原始有标签样本间的误差L(x,y)，x是样本，y是样本的标签信息，然后计算步骤四得到重构无标签样本与原始无标签样本间的误差U(x)，最后加上步骤二中分类器的分类误差y_pred作为整个模型的目标函数，并最小化目标函数，以此来训练模型的参数直至收敛。