CN102176701A - 一种基于主动学习的网络数据异常检测方法 - Google Patents

Abstract

一种基于主动学习的网络数据异常检测方法，它涉及基于支持向量机的检测方法。它解决了现有在网络数据的异常检测方法中支持向量机中所存在的训练样本多、复杂度高、难以有良好分类特性的问题。步骤如下：一、在未标注样本中选择C个点作为候选聚类中心，将候选未标注样本集A进行迭代优化聚类运算，选取叠代聚类结果中的代表性样本构建训练样本集B；二、支持向量机在训练样本集B上训练得到训练超平面；三、根据样本选择准则从候选未标注样本集A中选择最能提升分类性能的样本，标注类别后加入训练样本集B中；四、支持向量机在更新后的训练样本集B上重新训练；五、若检测精度达到设定值，则结束，否返回三。将该算法应用于异常检测研究中可以有效降低复杂度。

Description

一种基于主动学习的网络数据异常检测方法

技术领域

本发明涉及基于支持向量机的检测方法。

背景技术

计算机互联网的快速发展给人类社会带来了巨大的变化。但由于网络的开放性、复杂性、信息共享、以及网络协议设计中存在的安全缺陷等原因，计算机网络的发展面临着严峻的安全威胁。网络安全体系的构建不论从理论上还是从应用上，都成为了计算机网络领域的研究重点。入侵检测技术是针对计算机和网络信息资源的恶意行为的识别和响应，它不仅可以检测自外部的入侵行为，同时也能够指出内部合法用户的未授权的活动。入侵检测技术是实现网络安全中主动防御环节的主要技术手段。当检测出入侵行为后，入侵检测系统会通过响应模块改变系统的防护措施，提高系统的防火能力，从而达到主动防御的目标。入侵检测技术主要可以分为异常检测和误用检测两类，其中，异常检测方法由于能够检测出未知的攻击，因此成为目前入侵家侧系统研究的热点。

支持向量机(Support Vector Machine，SVM)是Vapnik等人在统计学习理论的基础上发展出的一种新的模式识别方法，是一种能在训练样本数很少的情况下达到较好分类推广能力的学习算法，在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势，同时具有很好的分类精度和泛化能力。目前支持向量机技术在网络数据的异常检测应用中有了很大的进步，但仍然存在一些因素制约着SVM的广泛应用，比如大规模样本集的训练导致系统资源占用过多(计算复杂度和空间复杂度高)。近年来人们根据支持向量机本身的特点，如解得稀疏性、优化问题的凸性等，设计了许多方法来解决对偶寻优问题，比如SMO方法，分快法等。但是这些方法都不能直接减少参与训练的样本总数，因而实际使用中训练算法的复杂度仍然很高，对于大样本情况下仍然难有较好的表现。另外，在实际的网络异常检测应用中，足够的训练数据能够使入侵检测系统获得更好的检测性能，但搜索网络攻击数据并对其进行类别标注用于构建训练集，是一件困难且人力和物力耗费相当大的工作，需要安全技术领域专家的参与。因此，对基于支持向量机的入侵检测系统而言，如何保证在具有良好分类特性的同时，有效的减少所需的训练样本数，并为一个研究的重点问题。

发明内容

本发明为了解决现有在网络数据的异常检测方法中支持向量机方法中所存在的训练样本多、复杂度高、难以有良好分类特性的问题，而提出了一种基于主动学习的网络数据异常检测方法。

本发明的一种基于主动学习的网络数据异常检测方法的步骤如下：

步骤一：在候选未标注样本集A的未标注样本中选择C个点作为候选聚类中心，将候选未标注样本集A进行迭代优化聚类运算，选取叠代聚类结果中的代表性样本构建训练样本集B；

步骤二：支持向量机在上述构建的训练样本集B上训练得到训练超平面；

步骤三：根据样本选择准则从候选未标注样本集A中选择最能提升分类性能的样本，标注类别后加入训练样本集B中；

步骤四：支持向量机在更新后的训练样本集B上重新训练；

步骤五：若检测精度达到设定值，则结束，否则返回步骤三。

通过对传统SVM基础理论的分析，可知SVM训练得到的分类器，只和分类超平面上支持向量(SV)所对应的训练样本有关，支持向量包含了分类器所需的信息，与其他样本无关，也就是说离分类超平面越近的样本最能影响分类器(分类超平面)，而离分类超平面距离越远的样本对分类器的影响不是很大。因此，采取主动学习思想的询问机制为：每次只需要把距离分类超平面最近的未标记的样本，加入到训练样本集中，进行训练。采用这种策略，每次选择进行学习的样本部是不确定性最大的样本，它对分类器的影响也是最大。

将基于支持向量机的主动学习算法应用于异常检测研究中，能够有效地降低学习样本的复杂度。针对支持向量机的主动学习算法中存在的随机构造的初始训练样本质量不高和容易陷入次优等问题，本文提出了一种结合迭代优化聚类(ISODATA)的初始训练集构建方法，同时，在距离准则的基础上，提出了相应的主动学习算法的系统构架。该算法所需的学习样本更少，该系统构架提供了完备的主动学习模型。

附图说明

图1是本发明的流程示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，在主动学习方式下，训练样本是根据学习进程主动选择的，其学习过程为：初始化阶段和循环学习阶段，具体步骤如下：

候选未标注样本集A，训练样本集B，初始训练集样本数N，当前训练样本数n。

步骤一：在候选未标注样本集A的未标注样本中选择C个点作为候选聚类中心，将候选未标注样本集A进行迭代优化聚类运算，选取叠代聚类结果中的代表性样本构建训练样本集B；

支持向量机的分类函数面为核空间的一个超平面H，设在初始训练集上训练得到的超平面为H_s，实际最优的超平面为H_r，则SVM主动学习过程就是H从H_s向H_r优化调整的过程。

如果H_s与H_r之间差异较小，则可以减少后即学习过程中所需的样本数。在初始训练样本集规模相同情况下，如果初始样本在核空间分布的比较紧密，则学习得到H_s一般只能反映出该局部区域的分类信息，难以较高的概率保证H_s和H_r的全局近似性。相反，如果初始样本在核空间分布比较分散并具有一定的代表性，则学习所得H_s就综合了较多的分类信息，使得H_s与H_r的相近性有了进一步的提高。于是本步骤中采用迭代优化聚类运算构建初始训练样本集，步骤如下：

步骤1：将候选未标注样本集A进行初始化，在多维空间中选择C个点作为候选聚类中心，将这些点记为i＝1，2， ...，C；

步骤2：在聚类的未标注的样本中，检验每一个未标注样本的位置x，指定未标注样本到最近的候选类中，这种指定方式是根据欧式距离度量进行；

步骤3：根据上一步骤得到的分组，计算得到一组新的均值，记作：m_i，i＝1，2，...，C；

步骤4：如果对于全部i有

则迭代处理停止，否则，利用当前的m_i值来更新

值，返回步骤2。

步骤二：支持向量机在上述构建的训练样本集B上训练得到训练超平面；

步骤三：根据样本选择准则从候选未标注样本集A中选择最能提升分类性能的样本，标注类别后加入训练样本集B中；

支持向量机主动学习机采取样本选择准则是从候选未标注样本集A中选择应该标注的样本；本步骤中采用的样本选择准则是每次选择离分类面最近的一个或者几个样本作为新样本进行训练；采用这个准则，每次选择进行学习的样本部是不确定性最大的样本，它对分类器的影响也最大，对分类器的影响也是最大的；

步骤四：支持向量机在更新后的训练样本集B上重新训练；

步骤五：若检测精度达到设定值，则结束，否则返回步骤三。所述的检测精度是指正确分类的样本总数除以总的样本数的比率，在本实施方式中，检测率设定为85％。

Claims (3)

1.一种基于主动学习的网络数据异常检测方法，其特征在于它步骤如下：

步骤一：在候选未标注样本集A的未标注样本中选择C个点作为候选聚类中心，将候选未标注样本集A进行迭代优化聚类运算，选取叠代聚类结果中的代表性样本构建训练样本集B；

步骤二：支持向量机在上述构建的训练样本集B上训练得到训练超平面；

步骤三：根据样本选择准则从候选未标注样本集A中选择最能提升分类性能的样本，标注类别后加入训练样本集B中；

步骤四：支持向量机在更新后的训练样本集B上重新训练；

步骤五：若检测精度达到设定值，则结束，否则返回步骤三。

2.根据权利要求1所述的一种基于主动学习的网络数据异常检测方法，其特征在于步骤一中采用迭代优化聚类运算构建训练样本集B的步骤如下：

步骤1：将候选未标注样本集A进行初始化，在多维空间中选择C个点作为候选聚类中心，将这些点记为

i＝1，2，...，C；

步骤2：在聚类的未标注的样本中，检验每一个未标注样本的位置x，指定未标注样本到最近的候选类中，这种指定方式是根据欧式距离度量进行；

步骤3：根据上一步骤得到的分组，计算得到一组新的均值，记作：m_i，i＝1，2，...，C；

步骤4：如果对于全部i有

则迭代处理停止，否则，利用当前的m_i值来更新

值，返回步骤2。

3.根据权利要求1所述的一种基于主动学习的网络数据异常检测方法，其特征在于步骤三中采用的样本选择准则是每次选择离分类面最近的一个或者几个样本作为新样本进行训练。

Images