CN101557327A - 基于支持向量机的入侵检测方法 - Google Patents

基于支持向量机的入侵检测方法 Download PDF

Info

Publication number
CN101557327A
CN101557327A CNA2009100299008A CN200910029900A CN101557327A CN 101557327 A CN101557327 A CN 101557327A CN A2009100299008 A CNA2009100299008 A CN A2009100299008A CN 200910029900 A CN200910029900 A CN 200910029900A CN 101557327 A CN101557327 A CN 101557327A
Authority
CN
China
Prior art keywords
data
svm
module
support vector
intrusion detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2009100299008A
Other languages
English (en)
Inventor
纪迎彬
黄勤
郭晓凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Yongxin Computer Co Ltd
Original Assignee
Yangzhou Yongxin Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Yongxin Computer Co Ltd filed Critical Yangzhou Yongxin Computer Co Ltd
Priority to CNA2009100299008A priority Critical patent/CN101557327A/zh
Publication of CN101557327A publication Critical patent/CN101557327A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

基于支持向量机的入侵检测方法是一种用于针对异常流量对网络性能造成的危害,鉴于此危害,提出了一种基于SVM入侵检测的方法,该方法先进行SVM的分类原理的介绍、然后对网络流量中的异常流量进行数据转化、进行SVM的支持向量的训练,形成SVM的支持向量库,然后建立基于SVM的入侵检测的数据模型及其检测过程。其中使用的SVM支持向量库的训练过程参见图1,在SVM支持向量库(数据库)的形成过程中,采用了数据采集模块,数据预处理模块,SVM训练模块从而形成SVM支持向量库;在基于SVM的入侵检测的过程中,除上述使用的模块外,还使用了网络数据捕获模块、控制响应台、报警模块等,他们将在入侵检测中发挥各自的作用。

Description

基于支持向量机的入侵检测方法
技术领域
本发明是一种用于针对异常流量对网络性能造成的危害而发明的方法,运用一种支持向量机(Support Vector Machine,简称:SVM)来对网络中出现的异常流量进行训练、检测的方法,同时提出一种新的特征加权分类方法,并通过实验数据说明该方法可使检测精度有所提高,属于网络中的信息安全领域。
背景技术
随着网络安全技术的发展,入侵检测系统(Intrusion Detection System,简称:IDS)在网络环境中的应用越来越普遍。入侵检测是指“通过对行为、安全日志或审计数据或其它网络上可以获得的信息进行操作,检测到对系统的闯入或闯入的企图”(参见国GB/T18336)。入侵检测是检测和响应计算机误用的学科,其作用包括威慑、检测、响应、损失情况评估、攻击预测和起诉支持。入侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发现并报告系统中未授权或异常现象的技术,是一种用于检测计算机网络中违反安全策略行为的技术。进行入侵检测的软件与硬件的组合便是入侵检测系统(IDS)。入侵检测系统(IDS)是网络安全深层防卫系统的重要组成部分,它通过监测和分析网络流量、系统审计记录等,发现和识别系统中的入侵行为和入侵企图,给出入侵报警,以便系统管理员采取有效的措施弥补系统漏洞和填补系统,IDS作为一种主动防御工具,已成为信息安全研究中的一项重要内容它通过监测和分析网络流量、系统审计记录等,发现和识别系统中的入侵行为和入侵企图,给出入侵报警,以便系统管理员采取有效的措施弥补系统漏洞和填补系统,Terran于2000年首次提出机器学习可用于入侵检测的思想。
●SVM
支持向量机是20世纪90年代初由V.Vipnik等人根据统计学习理论(StatisticalLearning Theory,简称:SLT)提出的一种新的机器学习方法,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,已经在模式识别、函数逼近和概率密度估计等方面取得了良好的效果;支持向量机从本质上讲是一种前向神经网络,根据结构风险最小化准则,在使训练样本分类误差极小化的前提下,尽量提高分类器的泛化推广能力。
SVM的核心思想是利用满足Mercer条件的核函数代替一个非线性映射,使得输入空间中的样本点能映射到一个高维的特征空间,并使得在该空间线性可分,然后构造一个最优超平面来逼近理想分类效果。
●IDS
IDS是Intrusion Detection System的缩写,即入侵检测系统。在网络入侵检测系统(Network Intrusion Detection System,简称:NIDS)中,入侵检测方法可分为:异常检测和误用检测两大类。异常检测方法建立起检测对象的正常运行状态,然后将当前状态信息与之比较以确定系统是否受到入侵。误用检测方法则是利用特征码来判别当前的活动是否属于入侵行为。误用检测方法的检测有效率较高,且具有较高的检测速度,但由于依赖于攻击模式的特征码,因此难以应对未知攻击。而异常检测在一定程度上能够发现未知的入侵与攻击,但由于统计数据的有限性和状态模型建立方法的不完备,在具体的实现中往往存在较高的失误率。目前用于异常检测的机器学习方法主要有神经网络、遗传算法、Markov链等,这些方法大都依赖于大数理论,通常要求在大量规律训练数据支持下才能取得较好的效果,检测速度也难以满足高速环境的要求。
●基于SVM的入侵检测的模型
本发明采用基于SVM的方法来进行入侵检测,是由于SVM的具有现有方法无可比拟的优势。传统的统计模式识别方法的研究前提是样本数目要足够多,所以所提出的各种方法只有在样本数趋向于无穷大时其性能才有理论上的保证。但是,在现代网络攻击手法多样且不断更新的情况下,所能获得的用于机器学习的训练数据与实际应用中的检测数据相比,肯定是小样本问题,此时利用传统的机器学习方式就会遇到过学习与欠学习、局部极小点等问题,因此,本方案采用支持向量机来对网络流量进行检测,而支持向量库是由支持向量库是由网络入侵行为数据进行SVM训练而得到的,具体检测方式将在下面的技术方案中得到详细阐述。
参考文献:
1、F.J.Gonzailez-Castanio*,P.S.Rodriguez-Hernandez*,R.P.Martinez-Alvarez*,A.G6mez+,I.L6pez-Cabido+,J.Villasuso-Barreiro+.”Support VectorMachine Detection of Peer-to-Peer Traffic”[R],CIMSA 2006-IEEE InternationalConference onComputational Intelligence for Measurement Systems and ApplicationsLa Coruna,Spain,12-14July 2006.
2、ZHANG Kun,CAO Hongxin,LIU Fengyu,LIQianmu.SVMbased Network IntrusionDetectionModel,Journal of Nan j ing University of Science and Technology.Vol.31 No.4 Aug.2007;
3、Randall W D,Tony R M.Improved heterogeneous distance functions[J].Journalof Artificial Intelligence Research,1997,6(1):1-34.
4、张琨,许满武,刘凤玉,等.基于支持向量机的异常入侵检测系统[J].计算机工程,2004,30(18):43-45.
5、段丹青,陈松乔,杨卫平.网络入侵检测中的支持向量机主动学习算法[J].计算机工程与应用,2006.01:117-119,211;
6、DING J ing-bin,CAO Shi-rui,Welding Procedur e of the Pur e Aluminum Tankfor Nitr ic Acid,SCI-TECH INFORMATION DEVELOPMENT&ECONOMY.2006,14(16):159-160,190;
7、王涛,宫会丽.支持向量机在入侵检测系统中的应用[J].《微计算机信息》(管控一体化),2006,22(12-3):89-91
8、时瑞.基于协议分析的SVM入侵检测系统[J].铁路计算机应用,Vol.14No.3,2005.03(96):39-41.
发明内容:
技术问题:本发明的目的是提出一种基于支持向量机的入侵检测方法,降低异常流量的检测难度,改变以往异常检测系统中出现的负担大量工作的局面。
技术方案:入侵检测系统作为一种积极主动的安全防护工具,提供了对内部攻击、外部攻击和误操作的实时防护,在计算机网络和系统受到危害之前进行报警、拦截和响应。它具有以下作用:通过检测和记录网络中的安全违规行为,惩罚网络犯罪,防止网络入侵事件的发生;检测其他安全措施未能阻止的攻击或安全违规行为;检测黑客在攻击前的探测行为,预先给管理员发出警报;报告计算机系统或网络中存在的安全威胁;提供有关攻击的信息,帮助管理员诊断网络中存在的安全弱点,利于其进行修补;在大型、复杂的计算机网络中布置入侵检测系统,可以显著提高网络安全管理的质量。鉴于上述安全性,采用基于支持向量机的入侵检测,运用SVM的强大的分类功能,本发明所要解决的是怎样将SVM很好的利用在入侵检测过程中,因此,本方案将采用以下一些关键措施来阐述本发明的基本思想。在国内外尚未形成一整套具体的集SVM支持向量机模块的生成、控制响应台,报警模块等于一体的基于SVM的入侵检测模型的方法。本发明在实施的过程中,具体有三个关键步骤,分别是SVM的分类原理介绍、SVM的支持向量库的形成和基于SVM的入侵检测的数据模型及其检测过程。如何对所经流量进行检测具体实施的整个流程可概括为图2,其中使用的SVM支持向量库的训练过程参见图1,在SVM支持向量库(数据库)的形成过程中,本方案采用了数据采集模块,数据预处理模块,SVM训练模块从而形成SVM支持向量库;在基于SVM的入侵检测的过程中,除上述使用的模块外,还使用了网络数据捕获模块、控制响应台、报警模块等,他们将在入侵检测中发挥各自的作用。
该方法包括如下步骤:
a.未知的网络流量经过路由器后,用网络数据捕获模块对经过的所有数据流进行捕获,在经过数据提取模块提取对本方法有用的数据,包括异常系统调用和正常系统调用序列,
b.将这些有用的数据经过待识别数据特征函数提取模块后,提取数据特征函数,用于后面的数据预处理模块,由于提取到的数据都是些原始数据特征值的异构数据集,这些数据中存在连续特征和离散特征,将其归一化,对这些异构数据集通过数据预处理模块变成机器可识别的数值,
c.流经数据预处理模块后,所得的数据经过支持向量机库进行识别,计算得到的阀值是否为1;如果阀值等于1,则所检测的分支流量为正常数据流;反之,所检测的流量为已知或未知的入侵检测的流量,
d.经过决策函数 f ( x ) = Σ i = 1 n y i α i ( x · x i ) + b * , 其中α是Lagrange乘子,b*是最优超平面的偏移量,xi是n维实空间中的向量,yi是xi所属类的标识,x为待分类的样本。非法入侵行为中未知异常流量,用提取特征模块来提取特征函数,对提取的特征函数用数据预处理模块进行数据预处理,最后经过支持向量机训练模块,当数据经过SVM训练模块训练后生成的支持向量即提取得入侵检测数据,直接加入到SVM的支持向量库,从而更新了支持向量数据库,也为以后遇到此类入侵行为能够及时发现,
e.当发现该未知的网络流量为非法入侵行为时立刻通知控制响应台,控制台响应主要包括控制台事件显示,通知告警模块以做出报警灯报警,焦点窗口报警,邮件报警,手机报警等等,以及将入侵信息存入系统日记、本地数据库,
f.管理员收到报警后采取有效措施,如限制网络速度、限制外发连接数或部分断开网络;一旦入侵被检测到,各子模块均会将告警信息传到告警模块;告警模块负责在第一时间通知管理员,评估入侵损失,在紧急情况下则采取保护措施。
在支持向量机训练模块中运用异构数据集,在进行异构数据集上的数据预处理的时候,提出的异构数据集上的距离度量函数HVDM进行归一化,处理成0~1之间的实数。
步骤c所述的支持向量库,先采用已有的入侵行为训练生成SVM支持向量库,最后采用生成的支持向量库进行网络入侵检测,初始的SVM支持向量库的形成方法为:
3a对于已知异常流量,一般初始入侵行为数据有四个来源:系统日记、目录以及文件中的异常改变、程序执行中的异常行为、物理形式的入侵信息;首先将这些数据经数据采集模块,采集到的数据为原始数据;
3b其次,将这些数据经过待识别数据特征提取模块,提取特征函数参数,数据流在经过数据提取模块提取对本方案有用的数据,包括正常和异常的数据流,这些数据被分成可能含有异常系统调用序列和正常系统调用序列,用于后面的数据预处理模块;
3c再次,由于提取到的参数数据都是些原始数据的特征值,这些数据中存在连续特征和离散特征,对这些异构数据集通过数据预处理模块进行修饰变成机器可识别的数值;
3d最后,得到的数据特征函数对得到的数据经过SVM训练模块,当数据经过SVM训练模块训练后生成的支持向量即提取得入侵检测数据,直接加入到SVM的支持向量库,达到不断地更新数据库的目的。
有益效果:
1、本方案用基于SVM向量机的方法去进行入侵检测,提出的网络入侵检测模型具有较高的检测率,避免了基于传统机器学习检测方法的局限性,说明SVM是解决样本有限和实时性问题的非常有效的方法。
2、本方案采用统计学习理论的方法收集入侵行为组建入侵行为库,训练形成支持向量库,此学习策略是一个准则性并且强有力的学习方法,在模式识别、入侵检测、概率密度估计方面表现出的性能胜过其他大多数的学习系统,有利于缩短创建SVM支持向量库的时间,提高了生成效率,同时避免了其他错误的生成;
3、本方案还采用了控制响应台,一旦检测到入侵行为,各子模块均会将告警信息传到告警模块,并开启报警,便于管理人员及时发现,防止管理员因为疏忽,导致系统被入侵后得不到及时的处理,提高了系统的决策应变效率;
4、提出的入侵检测模型具有较高的检测率,对未知攻击的检测精度也很高,说明采用支持向量机技术进行入侵检测的有效性。
附图说明
图1为SVM的入侵检测库的形成过程。
图2为基于SVM的入侵检测模型。
图3为对所经流量进行检测并建立数据模型实施的整个流程图。
具体实施方式
下面是本发明所用到的数据模块:
数据采集模块:该模块的主要工作是在网络数据捕获模块捕获的网络数据包中提取出一个个网络连接的特征数据信息,即将网络数据信息转换成网络连接记录的形式,每条记录包含了从原始数据中得到的各种特征值。就是对经过的数据流进行采集,提取信息的有正常系统调用参数序列,异常系统调用序列。
待识别数据特征函数提取模块:对采集到的数据进行特征函数提取,如目的地址,源地址,数据包协议等等,这将在软件中自动产生。
数据预处理模块:该模块对网络连接信息提取模块得到的网络连接记录进行处理。由网络连接信息提取模块得到的网络连接记录包括了网络连接记录的特征信息,这些信息格式复杂,既有文字描述信息,如协议名称等,也有数值信息,且这些数值有的变化范围较大,如连接时间信息理论上可能的取值范围为一切非负整数,而另一些仅有0和1这两个值。该模块必须将所有的特征信息预处理成0~1之间的实数,然后进行加权处理或直接作为SVM的输入向量。
SVM训练模块:该模块对预先选定的训练数据集进行训练,训练数据集中的数据是从数据预处理模块中得到的。训练有两种方式:一种是监督学习,就是对训练数据集中的每条数据都给出其类别信息,即训练样本是由(x,y)成对给出;另一种是非监督学习,就是训练数据集中的每条数据不给出其类别信息。经训练之后将得到一组支持向量并存入SVM支持向量库,这组支持向量也就是训练后得到的模型。
SVM支持向量库(数据库):该模块用于存放SVM训练模块训练后得到的支持向量组。为了存取方便,使用数据库形式。
报警模块:一旦检测到有入侵检测,控制台响应会立刻将此告警信息传给报警模块,告警模块会在第一时间内通知管理员,使用的方法有:报警灯报警,焦点窗口报警,邮件报警,手机报警等等。
控制台响应:是指包括控制台事件显示,通知告警模块以做出报警,或将入侵信息存入系统日记、本地数据库等等。
本发明提出一种基于支持向量机(SVM)异常流量入侵检测方法的研究。具体实施方法如下:
■SVM的分类原理介绍
支持向量机(SVM)是建立在统计学习理论基础上,实现了结构风险最小化原则的一种新兴的机器学习方法,此方法能够在训练样本很少的情况下达到很好的分类推广能力。支持向量机是统计学习理论中最年轻的内容,也是最实用的部分.其核心内容是在1992~1995年间提出的,目前是一个很热门的研究方向,它已被实验证实是一种很有效的学习机,并广泛应用到语音处理、图像检索等多个领域.它的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,:(1)线性可分,(2)线性不可分。
(1)线性可分情况
在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为:
w·x+b=0(1)
其中,“·”是点积,w是n维向量,b为偏移量。
最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得:
min Φ ( w ) = 1 2 | | w | | 2 - - - ( 2 )
满足约束条件:yi(w·xi+b)≥1,i=1,2,3,……n.(3)
在特征数目特别大的情况,可以将此二次规划问题转化为其对偶问题:
max w ( α ) = Σ i = 1 n α i - 1 2 Σ i , j = 1 n α i α j y i y j ( x i · x j ) - - - ( 4 )
w * = Σ i = 1 n α i y i x i - - - ( 5 )
b=yi-w·xi    (6)
应满足的条件是:
Σ i = 1 n α i y i = 0 , α i ≥ 0 , i = 1,2 , . . . . . . , n - - - ( 7 )
这里α=(α1,……,αn)是Lagrange乘子,w*是最优超平面的法向量,b*是最优超平面的偏移量,在这类优化问题的求解与分析中,KKT条件将起到很重要的作用,在(7)式中,其解必须满足:
αi{yi(w·x+b)-1}=0,i=1,2,……,n;(8)
从式(5)可知,那些αi=0的样本对分类没有任何作用,只有那些αi>0的样本才对分类起作用,这些样本称为支持向量,故最终的分类函数为:
f ( x ) = Σ i = 1 n y i α i ( x · x i ) + b * - - - ( 9 )
根据f(x)的符号来确定X的归属。
(2)线性不可分的情况
对于线性不可分的情况,可以把样本X映射到一个高维特征空间H,并在此空间中运用原空间的函数来实现内积运算,这样将非线性问题转换成另一空间的线性问题来获得一个样本的归属.根据泛函的有关理论,只要一种核函数满足Mercer条件,它就对应某一空间中的内积,因此只要在最优分类面上采用适当的内积函数就可以实现这种线性不可分的分类问题.此时的目标函数为:
max w ( α ) = Σ i = 1 n α i - 1 2 Σ i , j = 1 n α i α j y i y j K ( x i , x j ) - - - ( 10 )
其相应的分类函数为:
f ( x ) = Σ i = 1 n α i y i K ( x , x i ) + b * - - - ( 11 )
SVM的内积核函数:支持向量机一个引人入胜的地方在于核函数的引入.由于低维空间向量集往往难于划分.因此,自然想把它们映射到高维空间,但随之而来的是计算复杂度的大大增加,核函数巧妙地解决了这个问题从处理数据来看,目前用得比较多的是径向基函数(RBF),也称作高斯核函数:
K ( x , x i ) = exp { - | | x - x i | | 2 2 δ 2 }
■SVM的支持向量库的形成
对于刚刚建立的SVM支持向量库,本方案希望开发出来就立即投入使用,则本发明采用是采集已有的入侵行为来进行数据训练,作为支持向量库的原始数据,以后再不断的升级数据库。对于已有的入侵行为一般的有四个来源:
首先,系统日记。黑客经常在系统日志中留下他们的踪迹,因此,充分利用系统日志是检测入侵的必要条件,日志文件记录了各类行为类型,每种类型又包含不同的信息。很显然地,对于活动来讲,不正常的或不期望的行为,登陆到不期望的位置以及非授权的企图,访问重要文件等。
其次,目录以及文件中的异常改变。网络环境中的文件系统包含很多软件和数据文件,包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目标。
再有,程序执行中的异常行为。网络系统上的程序执行一般包括操作系统、网络服务、用户启动的程度和特定目的的应用。例如数据库服务器,每个在系统上执行的程序由一到多个进程来实现。每个进程执行在具有不同权限的环境中,这种环境控制着进程可访问的系统资源、程序和数据文件等,一个进程出现了不期望的行为,可能表明黑客正在入侵你的系统。黑客可能会将程序或服务的运行分解,从而导致它失败,或者是以非用户或管理员意图的方式操作。
最后,物理形式的入侵信息。这包括两个方面的内容。一是未授权的对网络硬件连接,二是对物理资源的未授权访问。黑客会想方法去突破网络的周边防卫。如果他们能够在物理上访问内部网,就能安装他们自己的设备和软件。有时候,他们会在你机器的启动里安装一些木马,但这些行为会记录在系统日记里。
通过对上述行为数据组建一个入侵行为库,这些数据经数据采集模块将采集有用的数据信息,后将这些信息经待识别数据特征函数提取模块,提取特征函数参数,一种流量可以有一个向量表达成:<source ip,source port,destination ip,destination port,protocol,packets,bytes>,这些数据在用软件如ethereal采集的时候会自动地捕获到,由于提取到的数据都是原始数据特征值的异构数据集,这些数据中存在连续特征和离散特征,因此要将其归一化,对这些异构数据集通过数据预处理模块变成机器可识别的数值,对于异构数据集的定义如下:
定义1异构数据集设数据集X上的每个数据x上共有n个属性,数据x的第i个属性值表示为xi(i=1,……,n),假设xi(i=1,……,l)取值为连续值,xi(i=1,……,n)取值为离散值,其中,1≤l≤n,这样的数据集称为异构数据集。
在进行异构数据集上的数据预处理的时候,由于传统的SVM算法是在输入空间为内积空间下诱导出来的,异构数据集上通常无法定义内积,因此不能直接应用SVM方法。数据预处理模块就是对具有异构数据特性的网络连接特征信息进行预处理,本人提出的异构数据集上的距离度量函数HVDM进行归一化,处理成0~1之间的实数。机器只能识别二进制数据,因此这样做更方便的进行检测。
■SVM的训练过程
由于入侵行为的数据大多是有限的数据量,但有些黑客向别人机器进行入侵时,会使用向别人的机器发送大量的垃圾数据,使CPU无法承受,造成机器死机,这种入侵行为很容易被发现,同时机器也不会有任何损伤。因此,没有必要对数据进行增量分析,只需要对数据进行简要的分析训练。
(1)将数据处理模块处理过的数据作为训练样本进行训练,令候选样本集为S,则从候选样本S中选择1个样本并标注类别,构造初始样本集I0,使得I0包含有一个正例样本和一个负例样本,执行S0=S-I0操作;
(2)进行第i次采样学习,在样本集Ii-1基础上寻找最优分类超平面fi,从样本集Si-1中选择距离fi最近的n个样本,这n个样本组成的集合记为Ri
(3)正确标注这个样本的样本类别;
(4)执行Ii=Ii-1∪Ri,Si=S-Ii,如果Si为空,或者满足某种指标时终止学习,否则返回到第(2)步。
(5)则此类最优超平面fi即为最优分类器。
当数据经过SVM训练模块训练后生成的支持向量,同时使用不同的入侵行为数据经过上述流程最终形成支持向量,一并组建一个SVM支持向量库,为即将到来的入侵检测做好准备工作。最后确定SVM的阀值,如果阀值等于1,则所检测的分支流量为非入侵行为的流量;反之,所检测的流量为已知或未知的入侵检测的流量。具体形成过程如图1所示。
■基于SVM入侵检测的数据模型及其检测过程
上面形成了初始SVM支持向量库即入侵检测库,接着把它用于入侵检测过程中。
网络数据流经过路由器后,用网络数据捕获模块对经过的所有数据流进行捕获,就相当于用抓数据包软件ethereal捕获流经机器的数据流,在经过数据提取模块提取对有用的数据,包括正常和异常的数据流,这些数据被分成可能含有异常系统调用序列和正常系统调用序列。对这些数据经过待识别数据特征函数提取模块后提取数据特征函数,用于后面的数据预处理,由于提取到的数据都是些原始数据的特征值,这些数据中存在连续特征和离散特征,因此要将其归一化,对这些异构数据集通过数据预处理模块变成机器可识别的数值。所得的数据经过SVM支持向量库进行识别,计算得到的阀值是否为1。如果阀值等于1,则所检测的分支流量为正常数据流;反之,所检测的流量为已知或未知的入侵检测的流量。此时还要做两方面的工作:
一方面利用提取特征模块来提取特征函数,对提取的特征函数用数据预处理模块进行数据预处理,最后经过SVM训练模块,当数据经过SVM训练模块训练后生成的支持向量即提取得入侵检测数据,直接加入到SVM的支持向量库,从而更新了支持向量数据库,也为以后遇到此类入侵行为能够及时发现;另外一方面,当发现此数据流为非法入侵行为时立刻通知控制响应台,控制台响应主要包括控制台事件显示,通知告警模块以做出报警灯报警,焦点窗口报警,邮件报警,手机报警等等,以及将入侵信息存入系统日记、本地数据库等等。管理员收到报警后采取有效措施,如限制网络速度、限制外发连接数甚至部分断开网络等等。一旦入侵被检测到,各子模块均会将告警信息传到告警模块。告警模块负责在第一时间通知管理员,评估入侵损失,在紧急情况下则采取相关的保护措施。告警通知可以通过图标、声音或者EMAIL的方式来进行;增强的安全性。损失评估则通过查看监控管理子模块收集到的各种系统信息,将主机的异常工作情况,例如CPU占用率高、网络连接阻塞等等,及时地反映出来,方便管理员决策;针对严重的入侵行为,告警子模块采用上述紧急措施,防止入侵损失的进一步扩大。具体处理过程如图2所示。

Claims (3)

1.一种基于支持向量机的入侵检测方法,其特征在于该方法包括如下步骤:
a.未知的网络流量经过路由器后,用网络数据捕获模块对经过的所有数据流进行捕获,在经过数据提取模块提取对本方法有用的数据,包括异常系统调用和正常系统调用序列,
b.将这些有用的数据经过待识别数据特征函数提取模块后,提取数据特征函数,用于后面的数据预处理模块,由于提取到的数据都是些原始数据特征值的异构数据集,这些数据中存在连续特征和离散特征,将其归一化,对这些异构数据集通过数据预处理模块变成机器可识别的数值,
c.流经数据预处理模块后,所得的数据经过支持向量机库进行识别,计算得到的阀值是否为1;如果阀值等于1,则所检测的分支流量为正常数据流;反之,所检测的流量为已知或未知的入侵检测的流量,
d.经过决策函数 f ( x ) = &Sigma; i = 1 n y i &alpha; i ( x &CenterDot; x i ) + b * , 其中α是Lagrange乘子,b*是最优超
平面的偏移量,xi是n维实空间中的向量,yi是xi所属类的标识,x为待分类的样本;非法入侵行为中未知异常流量,用提取特征模块来提取特征函数,对提取的特征函数用数据预处理模块进行数据预处理,最后经过支持向量机训练模块,当数据经过SVM训练模块训练后生成的支持向量即提取得入侵检测数据,直接加入到SVM的支持向量库,从而更新了支持向量数据库,也为以后遇到此类入侵行为能够及时发现,
e.当发现该未知的网络流量为非法入侵行为时立刻通知控制响应台,控制台响应主要包括控制台事件显示,通知告警模块以做出报警灯报警,焦点窗口报警,邮件报警,手机报警等等,以及将入侵信息存入系统日记、本地数据库,
f.管理员收到报警后采取有效措施,如限制网络速度、限制外发连接数或部分断开网络;一旦入侵被检测到,各子模块均会将告警信息传到告警模块;告警模块负责在第一时间通知管理员,评估入侵损失,在紧急情况下则采取保护措施。
2.根据权利要求1所述的基于支持向量机的入侵检测方法,其特征在于:在支持向量机训练模块中运用异构数据集,在进行异构数据集上的数据预处理的时候,提出的异构数据集上的距离度量函数HVDM进行归一化,处理成0~1之间的实数。
3.根据权利要求1所述的基于支持向量机的入侵检测方法,其特征在于步骤c所述的支持向量库,先采用已有的入侵行为训练生成SVM支持向量库,最后采用生成的支持向量库进行网络入侵检测,初始的SVM支持向量库的形成方法为:
3a对于已知异常流量,一般初始入侵行为数据有四个来源:系统日记、目录以及文件中的异常改变、程序执行中的异常行为、物理形式的入侵信息;首先将这些数据经数据采集模块,采集到的数据为原始数据;
3b其次,将这些数据经过待识别数据特征提取模块,提取特征函数参数,数据流在经过数据提取模块提取对本方案有用的数据,包括正常和异常的数据流,这些数据被分成可能含有异常系统调用序列和正常系统调用序列,用于后面的数据预处理模块;
3c再次,由于提取到的参数数据都是些原始数据的特征值,这些数据中存在连续特征和离散特征,对这些异构数据集通过数据预处理模块进行修饰变成机器可识别的数值;
3d最后,得到的数据特征函数对得到的数据经过SVM训练模块,当数据经过SVM训练模块训练后生成的支持向量即提取得入侵检测数据,直接加入到SVM的支持向量库,达到不断地更新数据库的目的。
CNA2009100299008A 2009-03-20 2009-03-20 基于支持向量机的入侵检测方法 Pending CN101557327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2009100299008A CN101557327A (zh) 2009-03-20 2009-03-20 基于支持向量机的入侵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2009100299008A CN101557327A (zh) 2009-03-20 2009-03-20 基于支持向量机的入侵检测方法

Publications (1)

Publication Number Publication Date
CN101557327A true CN101557327A (zh) 2009-10-14

Family

ID=41175281

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2009100299008A Pending CN101557327A (zh) 2009-03-20 2009-03-20 基于支持向量机的入侵检测方法

Country Status (1)

Country Link
CN (1) CN101557327A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902523A (zh) * 2010-07-09 2010-12-01 中兴通讯股份有限公司 一种移动终端及其短信的过滤方法
CN101917423A (zh) * 2010-08-05 2010-12-15 上海酷族信息技术有限公司 数据库安全防范的操作方法
CN102722719A (zh) * 2012-05-25 2012-10-10 西安电子科技大学 基于观察学习的入侵检测方法
CN102722572A (zh) * 2012-06-05 2012-10-10 苏州微逸浪科技有限公司 一种基于异构数据库的告警处理方法
CN102957691A (zh) * 2012-10-12 2013-03-06 哈尔滨工业大学深圳研究生院 云入侵统计检测方法
CN103023927A (zh) * 2013-01-10 2013-04-03 西南大学 一种稀疏表达下的基于非负矩阵分解的入侵检测方法及系统
CN103297427A (zh) * 2013-05-21 2013-09-11 中国科学院信息工程研究所 一种未知网络协议识别方法及系统
CN103327016A (zh) * 2013-06-06 2013-09-25 合一信息技术(北京)有限公司 一种计算网络流媒体异常播放量并对其修正的方法及系统
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN103957205A (zh) * 2014-04-25 2014-07-30 国家电网公司 一种基于终端流量的木马检测方法
CN104009886A (zh) * 2014-05-23 2014-08-27 南京邮电大学 基于支持向量机的入侵检测方法
CN104702460A (zh) * 2013-12-10 2015-06-10 中国科学院沈阳自动化研究所 基于SVM的Modbus TCP通讯的异常检测方法
CN105072115A (zh) * 2015-08-12 2015-11-18 国家电网公司 一种基于Docker虚拟化的信息系统入侵检测方法
CN105205394A (zh) * 2014-06-12 2015-12-30 腾讯科技(深圳)有限公司 用于入侵检测的数据检测方法和装置
CN105681312A (zh) * 2016-01-28 2016-06-15 李青山 一种基于频繁项集挖掘的移动互联网异常用户检测方法
CN105704103A (zh) * 2014-11-26 2016-06-22 中国科学院沈阳自动化研究所 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法
CN106559416A (zh) * 2016-10-26 2017-04-05 华中科技大学 一种基于支撑向量机的无线传感网入侵检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106888205A (zh) * 2017-01-04 2017-06-23 浙江大学 一种非侵入式基于功耗分析的plc异常检测方法
CN106973038A (zh) * 2017-02-27 2017-07-21 同济大学 基于遗传算法过采样支持向量机的网络入侵检测方法
CN106992965A (zh) * 2017-02-27 2017-07-28 南京邮电大学 一种基于网络行为的木马检测方法
CN107682317A (zh) * 2017-09-06 2018-02-09 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备
CN107888571A (zh) * 2017-10-26 2018-04-06 江苏省互联网行业管理服务中心 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统
CN108154029A (zh) * 2017-10-25 2018-06-12 上海观安信息技术股份有限公司 入侵检测方法、电子设备和计算机存储介质
CN108234520A (zh) * 2018-02-06 2018-06-29 武汉理工大学 一种基于本福特定律的异常流模式识别方法
CN108737441A (zh) * 2018-06-06 2018-11-02 浙江华途信息安全技术股份有限公司 一种智能识别并处理网络数据流的方法
CN108737429A (zh) * 2018-05-24 2018-11-02 桂林电子科技大学 一种网络入侵检测方法
CN108875365A (zh) * 2018-04-22 2018-11-23 北京光宇之勋科技有限公司 一种入侵检测方法及入侵检测检测装置
CN109726727A (zh) * 2017-10-27 2019-05-07 中移(杭州)信息技术有限公司 一种数据检测方法及系统
CN109871872A (zh) * 2019-01-17 2019-06-11 西安交通大学 一种基于壳向量式svm增量学习模型的流量实时分类方法
CN109902740A (zh) * 2019-02-27 2019-06-18 浙江理工大学 一种基于多算法融合并行的再学习工业控制入侵检测方法
CN110290122A (zh) * 2019-06-13 2019-09-27 中国科学院信息工程研究所 入侵响应策略生成方法及装置
CN116614313A (zh) * 2023-07-19 2023-08-18 翊阳(天津)智能科技有限公司 一种基于数据识别的网络入侵防护系统及方法

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902523B (zh) * 2010-07-09 2014-07-16 中兴通讯股份有限公司 一种移动终端及其短信的过滤方法
CN101902523A (zh) * 2010-07-09 2010-12-01 中兴通讯股份有限公司 一种移动终端及其短信的过滤方法
CN101917423A (zh) * 2010-08-05 2010-12-15 上海酷族信息技术有限公司 数据库安全防范的操作方法
CN102722719A (zh) * 2012-05-25 2012-10-10 西安电子科技大学 基于观察学习的入侵检测方法
CN102722719B (zh) * 2012-05-25 2014-12-17 西安电子科技大学 基于观察学习的入侵检测方法
CN102722572A (zh) * 2012-06-05 2012-10-10 苏州微逸浪科技有限公司 一种基于异构数据库的告警处理方法
CN102722572B (zh) * 2012-06-05 2015-04-08 太仓云联信息科技有限公司 一种基于异构数据库的告警处理方法
CN102957691A (zh) * 2012-10-12 2013-03-06 哈尔滨工业大学深圳研究生院 云入侵统计检测方法
CN103023927B (zh) * 2013-01-10 2016-03-16 西南大学 一种稀疏表达下的基于非负矩阵分解的入侵检测方法及系统
CN103023927A (zh) * 2013-01-10 2013-04-03 西南大学 一种稀疏表达下的基于非负矩阵分解的入侵检测方法及系统
CN103297427B (zh) * 2013-05-21 2016-01-06 中国科学院信息工程研究所 一种未知网络协议识别方法及系统
CN103297427A (zh) * 2013-05-21 2013-09-11 中国科学院信息工程研究所 一种未知网络协议识别方法及系统
CN103327016A (zh) * 2013-06-06 2013-09-25 合一信息技术(北京)有限公司 一种计算网络流媒体异常播放量并对其修正的方法及系统
CN103327016B (zh) * 2013-06-06 2016-06-22 合一信息技术(北京)有限公司 一种计算网络流媒体异常播放量并对其修正的方法及系统
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN104702460A (zh) * 2013-12-10 2015-06-10 中国科学院沈阳自动化研究所 基于SVM的Modbus TCP通讯的异常检测方法
CN103957205A (zh) * 2014-04-25 2014-07-30 国家电网公司 一种基于终端流量的木马检测方法
CN104009886A (zh) * 2014-05-23 2014-08-27 南京邮电大学 基于支持向量机的入侵检测方法
CN105205394B (zh) * 2014-06-12 2019-01-08 腾讯科技(深圳)有限公司 用于入侵检测的数据检测方法和装置
CN105205394A (zh) * 2014-06-12 2015-12-30 腾讯科技(深圳)有限公司 用于入侵检测的数据检测方法和装置
CN105704103A (zh) * 2014-11-26 2016-06-22 中国科学院沈阳自动化研究所 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法
US10261502B2 (en) 2014-11-26 2019-04-16 Shenyang Institute Of Automation, Chinese Academy Of Sciences Modbus TCP communication behaviour anomaly detection method based on OCSVM dual-outline model
CN105704103B (zh) * 2014-11-26 2017-05-10 中国科学院沈阳自动化研究所 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法
CN105072115B (zh) * 2015-08-12 2018-06-08 国家电网公司 一种基于Docker虚拟化的信息系统入侵检测方法
CN105072115A (zh) * 2015-08-12 2015-11-18 国家电网公司 一种基于Docker虚拟化的信息系统入侵检测方法
CN105681312B (zh) * 2016-01-28 2019-03-05 李青山 一种基于频繁项集挖掘的移动互联网异常用户检测方法
CN105681312A (zh) * 2016-01-28 2016-06-15 李青山 一种基于频繁项集挖掘的移动互联网异常用户检测方法
CN106559416A (zh) * 2016-10-26 2017-04-05 华中科技大学 一种基于支撑向量机的无线传感网入侵检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106888205B (zh) * 2017-01-04 2020-02-18 浙江大学 一种非侵入式基于功耗分析的plc异常检测方法
CN106888205A (zh) * 2017-01-04 2017-06-23 浙江大学 一种非侵入式基于功耗分析的plc异常检测方法
CN106973038A (zh) * 2017-02-27 2017-07-21 同济大学 基于遗传算法过采样支持向量机的网络入侵检测方法
CN106992965A (zh) * 2017-02-27 2017-07-28 南京邮电大学 一种基于网络行为的木马检测方法
CN107682317B (zh) * 2017-09-06 2019-12-06 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备
CN107682317A (zh) * 2017-09-06 2018-02-09 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备
CN108154029A (zh) * 2017-10-25 2018-06-12 上海观安信息技术股份有限公司 入侵检测方法、电子设备和计算机存储介质
CN107888571B (zh) * 2017-10-26 2020-08-28 江苏省互联网行业管理服务中心 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统
CN107888571A (zh) * 2017-10-26 2018-04-06 江苏省互联网行业管理服务中心 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统
CN109726727A (zh) * 2017-10-27 2019-05-07 中移(杭州)信息技术有限公司 一种数据检测方法及系统
CN108234520A (zh) * 2018-02-06 2018-06-29 武汉理工大学 一种基于本福特定律的异常流模式识别方法
CN108875365A (zh) * 2018-04-22 2018-11-23 北京光宇之勋科技有限公司 一种入侵检测方法及入侵检测检测装置
CN108875365B (zh) * 2018-04-22 2023-04-07 湖南省金盾信息安全等级保护评估中心有限公司 一种入侵检测方法及入侵检测检测装置
CN108737429A (zh) * 2018-05-24 2018-11-02 桂林电子科技大学 一种网络入侵检测方法
CN108737429B (zh) * 2018-05-24 2021-06-08 桂林电子科技大学 一种网络入侵检测方法
CN108737441A (zh) * 2018-06-06 2018-11-02 浙江华途信息安全技术股份有限公司 一种智能识别并处理网络数据流的方法
CN108737441B (zh) * 2018-06-06 2021-06-18 浙江华途信息安全技术股份有限公司 一种智能识别并处理网络数据流的方法
CN109871872A (zh) * 2019-01-17 2019-06-11 西安交通大学 一种基于壳向量式svm增量学习模型的流量实时分类方法
CN109902740A (zh) * 2019-02-27 2019-06-18 浙江理工大学 一种基于多算法融合并行的再学习工业控制入侵检测方法
CN110290122A (zh) * 2019-06-13 2019-09-27 中国科学院信息工程研究所 入侵响应策略生成方法及装置
CN116614313A (zh) * 2023-07-19 2023-08-18 翊阳(天津)智能科技有限公司 一种基于数据识别的网络入侵防护系统及方法

Similar Documents

Publication Publication Date Title
CN101557327A (zh) 基于支持向量机的入侵检测方法
Khraisat et al. Survey of intrusion detection systems: techniques, datasets and challenges
CN101803337B (zh) 入侵检测方法和系统
CN110213226B (zh) 基于风险全要素辨识关联的网络攻击场景重建方法及系统
CN105471882A (zh) 一种基于行为特征的网络攻击检测方法及装置
CN105208037A (zh) 一种基于轻量级入侵检测的DoS/DDoS攻击检测和过滤方法
CN107846389B (zh) 基于用户主客观数据融合的内部威胁检测方法及系统
Yu A survey of anomaly intrusion detection techniques
Dhakar et al. A novel data mining based hybrid intrusion detection framework
Chaudhari et al. Intrusion detection system: classification, techniques and datasets to implement
CN104836805A (zh) 基于模糊免疫理论的网络入侵检测方法
CN101668012A (zh) 安全事件检测方法及装置
Kim et al. Cost-effective valuable data detection based on the reliability of artificial intelligence
Kumar et al. Comprehensive Review on Intrusion Detection System and Techniques
Narayana et al. Data mining machine learning techniques–A study on abnormal anomaly detection system
Mohammad et al. A novel local network intrusion detection system based on support vector machine
CN117640240A (zh) 基于机器学习的动态白名单准入放行方法及系统
Ebrahimi et al. Automatic attack scenario discovering based on a new alert correlation method
Kumar et al. Intrusion detection system-false positive alert reduction technique
Abouabdalla et al. False positive reduction in intrusion detection system: A survey
Beng et al. A comparative study of alert correlations for intrusion detection
Kaur et al. Ueba with log analytics
Chouhan et al. A survey: Analysis of current approaches in anomaly detection
Snasel et al. Matrix factorization approach for feature deduction and design of intrusion detection systems
Sharma et al. Intelligent Model for Network Attack Identification [J]

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20091014