CN101980480B - 半监督异常入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于模糊聚类和支撑适量域描述的半监督异常入侵检测方法，主要用于解决现有技术对入侵检测数据检测率低且虚警率高的问题。其实现步骤为：(1)初始有标记样本集和未标记样本集；(2)初始聚类中心；(3)实施模糊C均值聚类；(4)依据聚类结果更新有标记样本集和未标记样本集；(5)实施基于支撑矢量域描述SVDD的自训练；(6)依据自训练结果更新有标记样本集和未标记样本集；(7)实施基于支撑矢量域描述SVDD的分类；(8)评估入侵检测结果并输出。本发明在提高检测率的同时，降低了虚警率，可用于训练数据仅包含极少正常数据的实时入侵检测系统。

Description

半监督异常入侵检测方法

技术领域

本发明属于网络安全技术领域，涉及入侵检测方法，具体的说是一种基于模糊聚类和支撑矢量域描述的半监督异常入侵检测方法，可用于网络环境中对数据的检测。

背景技术

随着全球信息化技术的飞速发展，网络已广泛应用于社会生活的各个领域，伴随而来的网络信息安全问题也不断增多。已被广泛应用的传统网络安全技术包括数据加密技术、认证技术、防火墙技术和入侵检测系统。其中入侵检测系统因具有检测性强、应用范围广泛、响应及时的特点而成为网络安全领域的研究热点。

按检测数据来源不同，入侵检测系统可以分为两类：基于主机的入侵检测系统和基于网络的入侵检测系统。基于主机的入侵检测系统主要以主机的审计记录作为检测数据来源，来完成对入侵行为的检测。基于网络的入侵检测系统通过分析网络数据包，检测其中隐藏的入侵行为。按检测方法不同，入侵检测方法又可以分为误用入侵检测方法和异常入侵检测方法。误用入侵检测方法通过分析各种入侵行为，提取出相应的入侵行为特征库，采用该检测方法的入侵检测系统的性能优劣完全取决于它是否具备一个及时更新的特征库。异常入侵检测方法首先为正常行为建立一个的状态模型，异于该状态模型的行为都被怀疑为攻击行为，采用该检测方法的入侵检测系统对未知入侵行为的发现能力较强，其设计难点在于如何正确构造正常行为的状态模型。

异常入侵检测可看作单值分类问题，即将检测数据中的目标类与离群类分离开来，其中目标类是检测数据中的正常数据，离群类是检测数据中的各种入侵数据。支撑矢量域描述SVDD是由支撑矢量机发展而来的一种数据域描述方法，可用于单值分类问题。基于SVDD的异常入侵检测方法的优点在于：1、它是一种无监督学习方法，不需要为训练数据标记类别；2、适用于仅由正常数据组成的或者包含噪声的训练集，使得模型的实时更新成为可能；3、通用性强，可用于实现基于网络或主机的异常入侵检测。

异常入侵检测的本质是一个模式分类问题，即将检测数据正确地分为正常类和异常类，其中正常类包含检测数据中的正常数据，异常类包含检测数据中的各种入侵数据，因此各种模式识别和机器学习技术越来越多的被应用到入侵检测领域中。传统的入侵检测方法是基于监督学习的，虽然检测率较高，且虚警率较低，但是无法有效地检测到未知入侵行为。因此，无监督学习方法被应用到入侵检测中，基于聚类的入侵检测方法不用对网络数据进行标记就可以检测到未知入侵行为，所以该检测方法的检测率较高，但是如果有入侵行为被错误标记为正常类，将导致该类入侵行为及其变种都被视作正常数据，所以虚警率也较高。

发明内容

本发明的目的在于克服上述已有技术的不足，针对训练数据中仅包含少量正常数据的情况，提出一种基于模糊聚类和支撑矢量域描述的半监督异常入侵检测方法，以实现在保证较高检测率的同时，最大程度的降低虚警率。

实现本发明目的的技术思路是：提取训练数据中的正常数据作为有标记样本集，通过模糊聚类和基于支撑矢量域描述SVDD的自训练不断标记利用无标记的检测数据样本，为检测器提供更多有效的样本分布信息，从而提高检测率。其技术方案包括以下步骤：

(1)在进行入侵检测时，将正常行为对应的检测数据定义为正常数据，将各种入侵行为对应的检测数据定义为异常数据，提取训练数据中的一部分正常数据作为初始有标记样本集{x_i}，将检测数据作为初始未标记样本集{x_j}；

(2)对当前有标记和未标记样本实施模糊C均值聚类，得到初始聚类中心M＝{m₊，m_-}，其中m₊是检测数据中正常类样本的初始聚类中心，m_-是检测数据中异常类样本的初始聚类中心，正常类包含检测数据中的正常数据，异常类包含检测数据中的异常数据；

(3)基于初始聚类中心M，对当前有标记和未标记样本再次实施模糊C均值聚类，得到聚类中心其中

是正常类样本的聚类中心，

是异常类样本的聚类中心，并将当前所有未标记样本到各聚类中心的隶属度集合记作U＝{u_cj|j∈(1，2，...，u)，c∈(+，-)}，其中u_cj是第j个未标记样本到标记为c的聚类中心的隶属度，u是当前未标记样本集的样本数目；

(4)依据得到的隶属度集合U，从当前未标记样本集{x_j}中选取聚类标记为正且对应隶属度最大的H个样本进行标记，即H＝p×N₊，将当前有标记样本集和未标记样本集分别聚类更新为和

式中N₊是当前未标记样本集中聚类标记为正的样本数目，p是从未标记样本中选取出并进行标记的比例；

(5)对上述聚类更新后的数据集

和

进行基于支撑矢量域描述SVDD的自训练；

(6)从聚类更新后的未标记样本集

中选取判别函数值最大的H^*个样本进行标记，即

将当前有标记样本集和未标记样本集分别自训练更新为

和

式中

是聚类更新后的未标记样本集

中预测标记为正的样本数目，p是从未标记样本中选取出并进行标记的比例；

(7)对上述自训练更新后的数据集

和

进行基于支撑矢量域描述SVDD的分类；

(8)利用上述基于支撑矢量域描述SVDD的检测数据分类结果，统计此次入侵检测的检测率和虚警率，并计算相应几何均值Gm；

(9)根据获得的几何均值是否达到最优作为终止条件，若满足则停止迭代，返回步骤(8)，输出本次入侵检测的结果，否则返回步骤(2)，直到满足终止条件为止。

本发明与现有技术相比具有如下优点：

(1)本发明使用模糊C均值聚类挖掘大量无标记的检测数据中隐含的数据分布信息，并结合支撑矢量域描述SVDD的优点，在保证较高检测率的同时，最大程度的降低了虚警率，从而在实际应用中不但可以更准确的检测出威胁，并能够减少误检给用户带来的不必要的麻烦；

(2)本发明综合考虑了实际应用中经常会遇到训练数据较少或很难获取，且仅包含正常数据的情况，为入侵检测方法引入半监督学习的思想，通过迭代执行模糊C均值聚类和基于支撑矢量域描述SVDD的自训练过程，不断标记利用大量未标记的检测数据样本，为检测器的训练提供了更多有效的样本分布信息，从而提高了检测率。

附图说明

图1是本发明的流程图；

图2是用本发明对KDD cup1999数据的30组检测数据统计的检测率对比图；

图3是用本发明对KDD cup1999数据的30组检测数据统计的虚警率对比图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，选定初始有标记样本集和初始未标记样本集。

在进行入侵检测时，将正常行为对应的检测数据定义为正常数据，将各种入侵行为对应的检测数据定义为异常数据，提取训练数据中的一部分正常数据作为初始有标记样本集{x_i}，将检测数据作为初始未标记样本集{x_j}。

步骤2，对所述检测数据的聚类中心进行初始化。

对当前有标记和未标记样本实施模糊C均值算法，重复下面的运算步骤，直到有标记和未标记样本的隶属度值稳定：

(2a)计算隶属度：

$u_{\mathrm{ck}}=\frac{{(1/{\left|\right|x_k-v_c\left|\right|}^2)}^{1/(b-1)}}{\underset{c}{\mathrm{\Σ}}{(1/{\left|\right|x_k-v_c\left|\right|}^2)}^{1/(b-1)}},k=1,...,n,c\∈(+,-);$

(2b)利用(2a)中计算得到的隶属度，计算聚类中心：

$v_c=\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left[u_{\mathrm{ck}}\right]}^b{x}_k}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left[u_{\mathrm{ck}}\right]}^b},c\∈(+,-)$

其中，v_c对应聚类中心点，u_ck是第k个样本到标记为c的聚类中心的隶属度，x_k是有标记和未标记样本的集合，n是样本数目，b是模糊程度系数；

通过实施上述模糊C均值算法，得到检测数据的初始聚类中心记作M＝{m₊，m_-}，其中m₊是检测数据中正常类样本的初始聚类中心，m_-是检测数据中异常类样本的初始聚类中心，正常类包含检测数据中的正常数据，异常类包含检测数据中的异常数据。

步骤3，基于初始聚类中心M，对当前有标记和未标记样本再次实施模糊C均值聚类，得到聚类中心其中是正常类样本的聚类中心，

是异常类样本的聚类中心，并将当前所有未标记样本到各聚类中心的隶属度集合记作U＝{u_cj|j∈(1，2，...，u)，c∈(+，-)}，其中u_cj是第j个未标记样本到标记为c的聚类中心的隶属度，u是当前未标记样本集的样本数目。

步骤4，通过上述模糊C均值聚类步骤，依据得到的隶属度集合U，从当前未标记样本集{x_j}中选取聚类标记为正且对应隶属度最大的H个样本进行标记，即H＝p×N₊，从而将当前有标记样本集和未标记样本集分别更新为

和

式中N₊是当前未标记样本集中聚类标记为正的样本数目，p是从未标记样本中选取出并进行标记的比例。

步骤5，对上述聚类更新后的数据集和

进行基于支撑矢量域描述SVDD的自训练。

(Sa)使用支撑矢量域描述SVDD方法对聚类更新后的有标记样本集

进行训练，支撑矢量域描述SVDD的目标在于寻找包含目标类的最优超球体，将目标类数据与离群类数据区分开。

在入侵检测系统中，目标类是检测数据中的正常数据，离群类是检测数据中的异常数据，对于输入空间不可分的情况，支撑矢量域描述SVDD方法通过一个非线性的映射函数Φ()，将数据集映射到高维特征空间，从而在该特征空间上寻找支撑矢量，构造出一个将大多数数据包围在其中且具有最小半径的最优超球体，在特征空间上寻找最优超球体的过程可以表示为如下优化问题：

$\underset{R,\mathrm{\ξ}}{\mathrm{Min}}{R}^2+\frac{1}{\mathrm{vl}}\underset{i}{\mathrm{\Σ}}{\mathrm{\ξ}}_i$

$s.t.{\left|\right|\mathrm{\Φ}\left(x_i^{*}\right)-a\left|\right|}^2\≤R^2+{\mathrm{\ξ}}_i,i=\mathrm{1,2},...,l,$

其中，Φ()是将数据集映射到高维特征空间的映射函数，

是数据集中的样本，l为样本数目，a是利用支撑矢量域描述SVDD方法训练得到的超球中心，R是对应的超球半径，ξ_i为松弛因子，v是对异常数据的惩罚参数；

(5b)利用支撑矢量域描述SVDD的判别函数

得到聚类更新后的未标记样本集

中各样本的预测标记，其中sgn()是符号函数，

是用于预测的未标记样本。

步骤6，依据步骤5得到的预测结果，从聚类更新后的未标记样本集

中选取判别函数值最大的H^*个样本进行标记，即

从而将当前有标记样本集和未标记样本集分别自训练更新为

和

式中

聚类更新后的未标记样本集

中预测标记为正的样本数目，p是从未标记样本中选取出并进行标记的比例。

步骤7，对上述自训练更新后的数据集

和

进行基于支撑矢量域描述SVDD的分类。

(7a)使用支撑矢量域描述SVDD方法对自训练更新后的有标记样本集进行训练；

(7b)利用支撑矢量域描述SVDD的判别函数f(x_j)＝sgn(R²-||Φ(x_j)-a||²)，得到初始未标记样本集{x_j}中各样本的预测标记，a是利用支撑矢量域描述SVDD方法训练得到的超球中心，R是对应的超球半径，Φ()是将数据集映射到高维特征空间的映射函数，sgn()是符号函数，x_j是用于预测的未标记样本。

步骤8，利用上述基于支撑矢量域描述SVDD的检测数据分类结果，统计本发明对此次入侵检测的检测率和虚警率，并计算相应几何均值Gm。

(8a)分别计算入侵检测的检测率：和虚警率：

其中，TP是预测为正常类且实际为正常类样本数目，FP是预测为正常类但实际为异常类的样本数目，FN是预测为异常类但实际为正常类的样本数目，TN是预测为异常类且实际为异常类的样本数目；

(8b)计算入侵检测结果的几何均值：

其中

是检测数据中正常类的分类精度，是检测数据中异常类的分类精度。

步骤9，根据获得的几何均值是否达到最优作为终止条件，若满足则停止迭代，返回步骤(8)输出本次入侵检测的结果，否则返回步骤(2)，直到满足终止条件为止。

本发明的效果可以通过以下仿真实验说明：

一、实验数据简介

在本部分实验中采用来自KDD cup1999中的实际网络数据，该数据包含大量的网络入侵数据和正常的网络通信数据，这些数据是由基于连接的网络通信数据构成的，每个数据都记录着一种网络连接。KDD数据包含3935650个异常的链接向量，约占总数据的80.14％；以及972780个正常的链接向量，约占总数据的19.86％。

KDD数据中的异常数据主要包含了以下4种：

a)DOS：服务终止，约占异常连接的98.92％，例如syn flood；

b)R2L：远程机器未经授权的访问，约占异常连接的0.0286％，例如guessingpassword；

c)U2R：未经授权的本地高级用户访问特权，约占异常连接的0.0013％，例如缓冲期溢出攻击；

d)Probing：监视和其它窥视，约占异常连接的1.05％，例如端口扫描。

二、对KDD cup1999数据的入侵检测实验

(1)KDD数据的预处理。

每个网络连接向量都是两个IP地址在某个时段网络信息包传递的一个序列，一个完整的记录包括38个连续的数字、3个符号和一个结束标记，结束标记记录了该行为属于攻击类型还是正常行为，例如：

a)102，tcp，http，SF，181，5450，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，8，8，0，0，0，0，1，0，0，9，9，1，0，0.11，0，0，0，0，0，normal，它们表示一个HTTP服务的正常访问的链接向量；

b)0，icmp，ecr_i，SF，1032，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，511，511，0，0，0，0，1，0，0，255，255，1，0，1，0，0，0，0，0，smurf，它们表示一个服务终止攻击的链接向量。

为了使这些连接向量适用于本发明，必须预处理这些数据。首先，将可识别的符号字符映射称为对应的自然数，例如：icmp→0、tcp→1、udp→2、SF→7、http→19等；其次用最小最大化的方法将数据集进行归一化，规范到超立方体[0，1]41中。因此上述a)、b)可转化为：

a)0.001748701，0.5，0.275362319，0.7，2.61042E-07，4.1605E-06，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0.015655577，0.015655577，0，0，0，0，1，0，0，0.035294118，0，0.035294118，1，0，0.11，0，0，0，0，0，0；

b)0，0，0.144927536，0.7，1.48837E-06，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，1，1，0，0，0，0，1，0，0，1，1，1，0，1，0，0，0，0，0，1。

(2)实验参数设置及实验结果。

实验运行参数设置为：在MATLAB环境下，采用LIBSVM工具箱，支撑适量域描述SVDD采用径向基核函数RBF，惩罚参数C＝100，本发明方法中的参数p值取0.1。

在KDD数据的入侵检测实验中，首先将预处理后的KDD向量数据作为训练数据，任取其中10000组正常数据作为初始有标记样本；接着将KDD数据随机分成30组检测数据，每一组检测数据中含有39256个异常数据，9727个正常数据，将这30组检测数据分别作为初始未标记样本进行入侵检测，得出检测率和虚警率。

实验中用本发明方法C-SVDD和现有基于SVDD的异常入侵检测方法，对KDD数据进行入侵检测，表1展示了每一组检测数据分别在两种方法下分别运行20次的平均检测结果，表1中最后一行表示各检测方法对所有数据的平均检测情况。

表1：各组检测数据的入侵检测结果

将表1中全部30组检测数据在各方法下运行20次得到的平均检测率绘制成曲线，如图2所示，图2中的两条曲线分别表示用本发明方法C-SVDD和现有基于SVDD的异常入侵检测方法统计的检测率曲线；

将表1中全部30组检测数据在各方法下运行20次得到的平均虚警率绘制成曲线，如图3所示，图3中两条曲线分别表示用本发明方法C-SVDD和现有基于SVDD的异常入侵检测方法统计的虚警率曲线。

(3)实验仿真结果分析。

根据表1可以看出，本发明方法相比现有技术提高了检测率，并能有效降低虚警率，从而使本发明在实际应用中不但可以更准确的检测出威胁，并能够减少误检给用户带来的不必要的麻烦。

从图2，图3中可见，本发明对30组检测数据的检测率均能有较稳定的提高，并能有效降低虚警率。但同时可见，个别的检测数据得到的检测率相对其余大部分检测数据有轻微的差异，且各组检测数据得到的虚警率相对差异较大。原因是在训练过程中仅利用972780组正常数据中的10000组数据作为有标记样本加入训练，所以当检测数据与训练数据特性偏离较大时，检测结果将受到很大影响。在实际应用中通过对训练数据的增加，将得到更加稳定的检测效果。

Claims (2)

1.一种半监督异常入侵检测方法，包括如下步骤： 

(1)在进行入侵检测时，将正常行为对应的检测数据定义为正常数据，将各种入侵行为对应的检测数据定义为异常数据，提取训练数据中的一部分正常数据作为初始有标记样本集{x_i}，将检测数据作为初始未标记样本集{x_j}； 

(2)对当前有标记和未标记样本实施模糊C均值聚类，得到初始聚类中心M＝{m₊，m_-}，其中m₊是检测数据中正常类样本的初始聚类中心，m_-是检测数据中异常类样本的初始聚类中心，正常类包含检测数据中的正常数据，异常类包含检测数据中的异常数据； 

(3)基于初始聚类中心M，对当前有标记和未标记样本再次实施模糊C均值聚类，得到聚类中心 

其中 

是正常类样本的聚类中心， 

是异常类样本的聚类中心，并将当前所有未标记样本到各聚类中心的隶属度集合记作U＝{u_cj|j∈(1，2，...，u)，c∈(+，-)}，其中u_cj是第j个未标记样本到标记为c的聚类中心的隶属度，u是当前未标记样本集的样本数目； 

(4)依据得到的隶属度集合U，从当前未标记样本集{x_j}中选取聚类标记为正且对应隶属度最大的H个样本进行标记，即H＝p×N₊，将当前有标记样本集和未标记样本集分别聚类更新为 

和 式中N₊是当前未标记样本集中聚类标记为正的样本数目，p是从未标记样本中选取出并进行标记的比例； 

(5)对上述聚类更新后的数据集 

和 

进行基于支撑矢量域描述SVDD的自训练： 

(5a)使用支撑矢量域描述SVDD方法对聚类更新后的有标记样本集 

进行训练； 

(5b)利用支撑矢量域描述SVDD方法的判别函数 

得到聚类更新后的未标记样本集 

中各样本的预测标记，其中a为利用支撑矢量域描述SVDD方法训练得到的超球中心，R为对应超球半径，Φ()是非线性映射函数，sgn()是符号函数， 

是用于预测的未标记样本； 

(6)从聚类更新后的未标记样本集 

中选取判别函数值最大的H^*个样本进行标记，即 

将当前有标记样本集和未标记样本集分别自训练更新为 

和 

式中 是聚类更新后的未标记样本集 中预测标记为正的样本数目，p是从未标记样本中选取出并进行标记的比例； 

(7)对上述自训练更新后的数据集 

和 进行基于支撑矢量域描述SVDD的分类： 

(7a)使用支撑矢量域描述SVDD方法对自训练更新后的有标记样本集 

进行训练； 

(7b)利用支撑矢量域描述SVDD方法的判别函数f(x_j)＝sgn(R²-||Φ(x_j)-a||²)，得到初始未标记样本集{x_j}中各样本的预测标记，其中a为利用支撑矢量域描述SVDD方法训练得到的超球中心，R为对应超球半径，Φ()是非线性映射函数，sgn()是符号函数，x_j是用于预测的未标记样本； 

(8)利用上述基于支撑矢量域描述SVDD的检测数据分类结果，统计此次入侵检测的检测率和虚警率，并计算相应几何均值Gm； 

(9)根据获得的几何均值是否达到最优作为终止条件，若满足则停止迭代，返回步骤(8)，输出本次入侵检测的结果，否则返回步骤(2)，直到满足终止条件为止。 

2.根据权利要求1的半监督异常入侵检测方法，其中步骤(8)所述的利用基于支撑矢量域描述SVDD的检测数据分类结果，统计此次入侵检测的检测率和虚警率，并计算相应几何均值Gm，按如下步骤进行： 

(8a)分别计算此次入侵检测的检测率： 

和虚警率： 

其中，TP是预测为正常类且实际为正常类样本数目，FP是预测为正常类但实际为异常类的样本数目，FN是预测为异常类但实际为正常类的样本数目，TN是预测为异常类且实际为异常类的样本数目； 

(8b)计算几何均值： 

其中 是检测数据中正常类的分类精度， 

是检测数据中异常类的分类精度。 

Images