CN105681339A

CN105681339A - 一种融合粗糙集与ds证据理论的增量式入侵检测方法

Info

Publication number: CN105681339A
Application number: CN201610128085.0A
Authority: CN
Inventors: 屈洪春; 王帅; 唐晓铭; 王平
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2016-03-07
Filing date: 2016-03-07
Publication date: 2016-06-15
Anticipated expiration: 2036-03-07
Also published as: CN105681339B

Abstract

本发明涉及一种融合粗糙集与DS证据理论的增量式入侵检测方法，属于网络信息安全领域；本方法针对检测系统难以满足高速网络实时检测的需求以及检测精度不高的问题，采用粗糙集理论对网络数据流进行预处理以减少冗余数据，提高检测速率。从约简的数据集中提取误用规则集，通过模式匹配的方式来识别大部分的攻击类型进而实现误用检测；该方法中采用了误用检测模块，异常检测模块和增量式单元，所述异常检测模块基于DS证据理论实现，用于检测误用规则库中未包含的攻击类型；所述增量式单元用于完善误用规则库和使建立的网络正常行为轮廓得到实时的更新。本发明提高了检测系统的检测效率和检测精度，尤其对新出现的攻击类型。

Description

一种融合粗糙集与DS证据理论的增量式入侵检测方法

技术领域

本发明属于计算机网络信息安全技术领域，涉及一种融合粗糙集与DS证据理论的增量式入侵检测方法。

背景技术

随着计算机网络的快速发展以及网络技术在人们生活中的广泛应用，使人们日常生活越来越离不开网络，因此网络安全也越来越受到人们的重视。随着黑客技术的不断发展，以及各种网络病毒的更新换代，仅仅依靠防火墙，加密等技术已不能满足保证网络安全的需要。入侵检测系统(IntrusionDetectionSystem,1DS)作为保护网络安全的最后一道防线也逐渐引起人们的广泛关注。入侵检测系统通过对主机和网络中关键节点信息的采集，根据对采集信息的分析判断主机或网络是否遭受攻击；具有主动防御的功能，实时监控网络和主机，维护其安全。入侵检测方法一般可分为两大类：误用检测(misusedetection)和异常检测(anomalydetection)。误用检测是通过对大量攻击类型数据的学习，建立攻击类型规则库，采用特征匹配的方法确定攻击事件。误用检测的优点是误报率低，检测速度快；但误用检测不能识别攻击类型规则库中没有的攻击类型。异常检测是通过对大量正常网络数据进行机器学习，建立网络的正常行为轮廓，根据偏离正常行为轮廓的程度判断网络是否遭受攻击。同误用检测相比，异常检测有一定的误报率，但因为其根据当前网络数据与网络正常行为轮廓的偏差程度判断网络是否遭受攻击，因此具有识别新的攻击行为的能力。目前误用检测技术在商业入侵检测系统应用中比较成熟；异常检测技术由于其具有识别新的攻击类型的能力，也越来越受到人们的关注，是入侵检测技术的研究热点之一。

目前大多数入侵检测系统无论采用误用检测技术还是异常检测技术，大都需要大量纯净的数据进行训练学习，而这在真实的网络环境中是很难得到保证的，且在网络数据之间往往都存在冗余，影响检测系统的检测效率和处理速度，难以满足高速网络实时检测的需求。网络数据冗余属性的约简，以及如何从模糊小样本数据中提取相对精确的规则，和建立精确的网络正常行为轮廓对提高入侵检测系统的检测效率和检测精度是至关重要的。

粗糙集理论在属性约简和规则提取方面有完善的理论体系，在入侵检测中的应用越来越广泛。基于粗糙集建立的检测系统同传统方法相比，如，神经网络，支持向量机，及K-NN算法等，粗糙集在知识属性约简，提取规则和处理不确定事件方面有明显优势，对提高检测速率也有一定的促进作用。而DS证据理论的多特征融合特性能够克服采用单一特征导致误报率较高的缺陷且多特征融合精度较高；但当处理的属性特征较多时，DS证据理论多特征融合算法时间复杂度将呈指数倍增长，同时也增大证据冲突的可能性，很难满足高速网络实时检测的需要。同时，网络是动态变化的，若预先建立的规则库或网络正常行为轮廓不能随着网络的变化做出自适应地完善或调整，检测系统的检测精度将会下降。

发明内容

有鉴于此，本发明的目的在于提供一种融合粗糙集与DS证据理论的增量式入侵检测方法，该方法将误用检测技术和异常检测技术进行集成，克服了采用单一技术的缺陷，提高了检测系统检测精度和检测效率；并实现了检测系统增量式学习的功能，使误用规则库和网络的正常行为轮廓能够随着网络的动态变化得到实时的完善和更新。

为了方便对本发明内容进行详细描述，现对粗糙集理论中出现的一些概念进行如下定义：

定义1信息系统是一个二元组I＝(U,A),其中U是一个非空的有限对象集，称为对象空间；A是一个非空的属性集，每个属性a确定了一个从对象空间到a的值域Va之间的映射,即对a∈A,f:U→Va。

在信息系统中属性可以分为条件属性和决策属性，当一个信息系统中引入了决策属性，即：I＝(U,A∪D)，其中D为决策属性，A∩D＝Φ,该信息系统就被称为决策系统。

定义2给定信息系统I＝(U,A),对于属性集定义关系IND_A(B)＝{(x,y)∈U|a∈B,a(x)＝a(y)}为A中的B不可分关系(B-indiscernibilityrelation)。

根据IND_A(B),可以得到U中关于B的一个划分，得到的知识被称为I中关于B的知识。在属性集A中并不是所有的属性对知识表示都起作用，去掉那些在知识表示中不起作用的属性，可以简化知识的表示。为了得到最简的关于决策的知识表示,需要引入关于决策不可分和决策约简的概念。

定义3关于决策的B不可分关系是指关系IND(B,D)＝{(x,y)∈U|a∈B,a(x)＝a(y)andd∈D,d(x)＝d(y)}。

定义4关于决策的约简是指决策系统I＝(U,A∪D)中使IND(B,D)＝IND(A,D)成立的最小属性集B。

在属性集A中找最简约简集是个NP难题，大都根据粗糙集关于最简约简集的定义采用启发性算法进行约简，本发明采用Johnson`salgorithm。根据约简的后知识，可以得到最简的决策规则集；基于决策的约简B可以得到形为α→β的最小决策规则集，其中，α＝∧a∈B(a＝a(x)),β＝(d＝d(x)),x∈U。误用检测规则库正是通过这些最小决策规则集进行构建的。

为达到上述目的，本发明提供如下技术方案：

一种融合粗糙集与DS证据理论的增量式入侵检测方法，该方法包括以下步骤：

S1：从网络监听端口获得网络数据，对网络数据进行预处理，将预处理后的数据传送至建立的增量式检测模型进行入侵检测判断，所述增量式检测模型包括误用检测模块、异常检测模块以及增量式单元；误用检测模块用于检测大部分常出现的攻击类型(误用规则库所包含的攻击类型)；异常检测模块用于识别误用检测模块未能识别的新出现的攻击类型；增量式单元用于完善误用检测模块的误用规则库和更新异常检测模块的网络正常行为轮廓；

S2：首先，由误用检测模块对预处理后的数据进行处理，包括采用模式匹配的方式，查询误用规则库中是否存在与之匹配的规则；

S3：误用规则库中若存在与之匹配的规则，则表明遭受攻击，进行报警；反之，交由异常检测模块作进一步处理；

S4：异常检测模块根据误用检测模块传过来的数据与建立的网络正常行为轮廓的偏差程度，为数据的每一个属性特征指定对辨识框架Θ{N,A}的概率分配函数；并采用DS证据理论多特征融合规则，计算上述特征的融合结果，根据融合的结果判断该数据流是新出现的攻击类型或是正常网络数据；

S5：增量式单元根据步骤S4的融合结果是否大于预设的阈值(P1，P2)作进一步处理，若步骤S4判定结果为新出现的攻击类型的概率P(A)>P1，则提取该数据的特征规则，加入误用检测规则库，反之，仅作报警处理；若步骤S4判定结果为正常网络数据的概率P(N)>P2，则把它作为更新网络正常行为轮廓的数据，反之，仅作为正常数据处理。

进一步，在步骤S1中，所述对网络数据进行预处理包括对数据的补全、离散、属性约简以及对字符属性的编码。

进一步，在步骤S2中，所述的误用规则库的生成步骤包括：

1)编码，对训练数据集中的字符属性进行数值编码；

2)补全，对训练数据集中缺失的属性值采用该属性的平均值进行补全；

3)量化，采用algorithm量化训练数据集中属性A∪D的值；

4)约简，利用启发式算法Johnson`salgorithm，从决策系统I＝(U,A∪D)中找到使IND(B,D)＝IND(A,D)成立的最小属性集B；

5)提取规则，从约简后的决策系统I＝(U,B∪D)中提取决策规则，生成最简决策规则库。

进一步，在步骤S4中，网络正常行为轮廓是在离线情况下采用大量正常网络数据训练得到；概率分配函数根据期望偏差函数ξ(x)＝|x-E(x)|/σ(x)与建立的网络正常行为轮廓曲线得到，其中，E(x)表示数学期望，σ(x)表示标准差。

进一步，在步骤S5中，所述阈值P1＝P2＝0.9；阈值P1，P2的设定是为保证误用检测规则库和网络正常行为轮廓的精度。

本发明的有益效果在于：1)本发明根据误用检测技术和异常检测技术两种检测技术的特点将两者进行集成，构建了一种混合入侵检测系统，克服了单一检测技术的缺陷，提高了检测系统的检测精度；2)通过采用粗糙集理论对网络数据的约简提高了检测系统的检测速率以满足高速网络实时检测的需求，并减少了多特征融合过程中证据冲突的可能性，进一步提高检测精度；3)异常检测模块采用DS证据理论的多特征融合规则，克服了采用单一特征导致误报率较高的缺陷；4)增量式单元实现了一种增量式学习方法，使误用检测引擎的决策规则库和异常检测引擎的网络正常行为轮廓能够随网络动态地变化做出自适应的完善和调整，从而进一步提高了检测系统的性能。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为增量式入侵检测系统结构图；

图2为基于粗糙集的误用检测模块结构图；

图3为基于DS证据理论异常检测模块结构图；

图4为自适应增量式单元结构图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提出的增量式入侵检测系统如图1所示，主要包括三部分：误用检测模块，异常检测模块，以及增量式单元。具体而言，采用粗糙集理论对网络攻击数据进行属性约简和规则提取，构建误用检测引擎，根据建立的决策规则库采用模式匹配的方法判断网络是否遭受攻击。对于决策规则库中未包含的攻击类型，由基于DS证据理论建立的异常检测引擎进行检测；DS证据理论通过将粗糙集约简后的属性特征进行证据融合，根据融合后对辨识框架Θ{正常，异常，不确定}的支持度来判断网络是否遭受攻击。增量式单元根据DS证据理论融合的结果进行决策分析，实时更新误用决策规则库和网络正常行为轮廓，实现入侵检测系统增量式学习的过程。

下文结合附图2、图3、图4分别对误用检测模块，异常检测模块，以及增量式单元进行详细描述：

图2为误用检测模块，是利用粗糙集能从相对较少的数据样本中提取较精简的决策规则，且不需要数据本身之外的先验知识的优点，构造误用检测引擎，采用模式匹配的方法进行误用入侵检测。如图2所示，误用检测模块包括两部分：1)在线入侵检测部分；2)离线训练数据构建误用检测规则库部分。其中，构建误用检测规则库部分是在线入侵检测部分的基础。注：本发明实验训练数据采用KDDCUP99数据集，但应用范围不限于该数据集。

进一步，误用规则库生成算法步骤如下：

201)编码，对训练数据集中的字符属性进行数值编码，采用十进制编码，如，TCP、UDP分别编码为18、19；相关字符属性如表1所示；

202)补全，对训练数据集中缺失的属性值采用该属性的平均值进行补全；

203)量化，采用algorithm量化训练数据集中属性A∪D的值；

进一步，训练数据原始数据，形为：

0,tcp,nntp,S0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,244,8,1,1,0,0,0.03,0.06,0,255,8,0.03,0.07,0,0,1,1,0,0,neptune.

0,icmp,ecr_i,SF,1032,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,376,376,0,0,0,0,1,0,0,255,255,1,0,1,0,0,0,0,0,smurf.

采用algorithm将原始数据量化为相应的区间，形为：

[*,1),[*,1),[4,5),[*,1),[*,3),[*,16),0,0,0,[*,1),0,[*,1),[*,1),[*,1),0,0,[*,1),0,[*,1),0,0,[*,1),[62,*),[*,2),[1,*),[1,*),[*,1),[*,1),[*,1),[*,1),[*,1),[255,*),[*,2),[*,1),[*,1),[*,0.01),[*,0.01),[1,*),[1,*),[*,1),[*,1),1.

[*,1),[3,4),[5,6),[2,*),[3,1508),[16,2764),0,0,0,[*,1),0,[1,*),[*,1),[*,1),0,0,[*,1),0,[*,1),0,0,[*,1),[2,46),[8,9),[*,1),[*,1),[*,1),[*,1),[1,*),[*,1),[*,1),[12,21),[19,20),[1,*),[*,1),[0.05,0.06),[*,0.01),[*,1),[*,1),[*,1),[*,1),2.

204)约简，利用启发式算法Johnson`salgorithm从决策系统I＝(U,A∪D)中找到使IND(B,D)＝IND(A,D)成立的最小属性集B，如表2所示；

205)提取规则，从约简后的决策系统I＝(U,B∪D)中提取决策规则，生成最简误用规则库。

进一步，产生如下形式的规则：

src_bytes([3,1508))ANDcount([2,46))ANDdst_bytes([2958,*))ANDhot([*,1))ANDdst_host_srv_serror_rate([*,1))ANDnum_file_creations([*,1))＝>decs(1)

src_bytes([1720,1802))ANDcount([*,2))ANDdst_bytes([2764,2768))ANDhot([*,1))ANDdst_host_srv_serror_rate([1,*))ANDnum_file_creations([*,1))＝>decs(2)。

表1字符型属性

表2属性约简

进一步，误用检测模块在线入侵检测步骤为：

211)从网络的监听端口，获得网络数据；

212)对获得的网络数据进行RS预处理(字符编码，补全，量化和约简)；

213)根据预处理后的条件属性，在误用规则库查找是否存在与之匹配的规则；

214)若找到与之匹配的规则，则其为该条规则决策属性的攻击类型，并报警；

215)若未找到与之匹配的规则，由异常检测模块做进一步分析判断。

图3为异常检测模块，是一种基于DS证据理论建立的异常检测引擎；用于识别误用检测引擎未能识别的新出现的攻击类型，且采用多特征融合的机制克服采用单一特征误报率高的缺陷。异常检测引擎通过统计预处理后网络数据流各个属性的均值和标准差，根据其与正常数据轮廓的各个属性的偏差程度按概率分配函数BPA(BasicProbabilityAssignment)分配其对辨识框架Θ{N,A}中各个元素的支持度。BPA函数可通过对训练数据的学习，按照期望偏差函数ξ(x)＝|x-E(x)|/σ(x)，来指定M(N),M(A),M({N,A}),其中M({N,A})＝1-M(A)-M(N)；M(N)表示对正常的支持度，M(A)表示对异常的支持度，M({N,A})表示对当前数据是正常或异常的不确定度。

进一步，DS证据理论特征融合规则如公式(1)、(2)所示：

设M₁和M₂为两个证据的信度分配函数,则对这两个证据的进行融合，得出融合证据的信度分配函数为：

M(u)＝K^-1∑_xIy＝uM₁(x)×M₂(y)当u＝Φ,M(u)＝0(1)

其中K为归一化因子K＝∑_xIy≠ΦM₁(x)×M₂(y)。

对n组证据进行融合的一般化规则为：

M (u) = K^{- 1} Σ_{I u_{i} = u} Π_{1 \leq i \leq n} M_{i} (u_{i}) - - - (2)

其中,u≠Φ,

进一步，图3中的特征轮廓是在离线情况下，采用大量正常网络数据训练所得。

异常检测模块入侵检测步骤为：

注：P(A)表示融合后对异常的支持度，P(N)表示对正常的支持度，P(NA)表示不确定度。

301)从误用检测模块获得其未能识别的网络数据；

302)计算网络数据与建立的网络的正常行为轮廓的期望偏差；

303)根据偏差按照概率分配函数BPA分配各个属性对辨识框架Θ{N,A,NA}中每个元素的支持度；

304)采用DS证据理论融合各个属性对辨识框架的支持度；

305)根据融合的结果判断网络是否遭受入侵，具体操作为：

a)若P(N)>P(A)且P(N)>P(NA),则为正常网络数据；

b)若P(A)>P(N)且P(A)>P(NA),则为攻击数据；

c)若P(NA)>P(N)且P(NA)>P(A),根据P(N)和P(A)的大小进行判断，若P(N)>P(A),为正常网络数据，否则为攻击数据。

图4为增量式单元，误用检测模块和异常检测模块是该单元的基础，同时该单元也是前两者的补充和完善。利用基于粗糙集的误用检测引擎高效的检测效率来检测常出现的攻击类型；对误用检测引擎未能识别的网络攻击数据由基于DS证据理论异常检测引擎做进一步判断。这两种技术都是基于对训练数据集进行训练提取相应的规则和建立相应的网络正常行为轮廓进行入侵检测判断的。但通常训练数据集不是完备的，且网络也是实时动态变化的，这就要求入侵检测系统具有自适应增量式地学习功能，以保证误用检测规则库得到完善，网络的正常行为轮廓得到实时的更新，进而提高入侵检测系统的整体检测性能。

增量式学习过程步骤如下：

401)根据异常检测模块多特征融合的结果，判断网络是否遭受入侵；

402)若P(A)>P(N)，即网络遭受入侵；为了保证误用检测规则库的准确度，设定阈值P1＝0.9；

403)当P(A)>P1时，采用RS理论对其进行规则提取，并将提取的规则增加到误用检测规则库中；

404)当P(A)<P1时，为保证规则库的精度，仅做报警处理；

405)若P(A)<P(N),即网络未遭受入侵；同样为了保证网络正常行为轮廓精准度设定阈值P2＝0.9；

406)当P(N)>P2时，计算其期望偏差函数，并更新网络的正常行为轮廓；

407)当P(N)<P2时，视为正常网络数据但不作为更新网络正常行为轮廓的数据。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种融合粗糙集与DS证据理论的增量式入侵检测方法，其特征在于：该方法包括以下步骤：

S1：从网络监听端口获得网络数据，对网络数据进行预处理，将预处理后的数据传送至建立的增量式检测模型进行入侵检测判断，所述增量式检测模型包括误用检测模块、异常检测模块以及增量式单元；

2.根据权利要求1所述的一种融合粗糙集与DS证据理论的增量式入侵检测方法，其特征在于：在步骤S1中，所述对网络数据进行预处理包括对数据的补全、离散、属性约简以及对字符属性的编码。

3.根据权利要求1所述的一种融合粗糙集与DS证据理论的增量式入侵检测方法，其特征在于：在步骤S2中，所述的误用规则库的生成步骤包括：

1)编码，对训练数据集中的字符属性进行数值编码；

3)量化，采用algorithm量化训练数据集中属性A∪D的值；

4.根据权利要求1所述的一种融合粗糙集与DS证据理论的增量式入侵检测方法，其特征在于：在步骤S4中，网络正常行为轮廓是在离线情况下采用大量正常网络数据训练得到；概率分配函数根据期望偏差函数ξ(x)＝|x-E(x)|/σ(x)与建立的网络正常行为轮廓曲线得到，其中，E(x)表示数学期望，σ(x)表示标准差。

5.根据权利要求1所述的一种融合粗糙集与DS证据理论的增量式入侵检测方法，其特征在于：在步骤S5中，所述阈值P1＝P2＝0.9；阈值P1，P2的设定是为保证误用检测规则库和网络正常行为轮廓的精度。