CN102510388A - 基于自体半径可变的否定选择入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于自体半径可变的否定选择入侵检测方法，主要解决现有否定选择方法设置固定的自体半径所形成的自体区域不能很好覆盖自体空间，从而导致检测效果较差的问题，其实现步骤是：(1)对KDD99数据集作预处理；(2)从数据集中选取部分正常数据作为自体，组成自体集S；(3)随机生成异体，利用自体与生成的异体之间的距离特征，给所有自体设置可变的自体半径；(4)训练检测器集D；(5)用检测器集D对测试数据进行检测，判断测试数据为正常或异常。本发明具有正检率高、误报率低的优点，可在自体数量较少的情况下有效改善否定选择入侵检测方法的效果，用于识别异常的网络数据，确保网络安全。

Description

基于自体半径可变的否定选择入侵检测方法

技术领域

本发明属于网络技术领域，涉及网络安全，也是人工免疫系统在网络安全领域中的应用，具体的说是一种基于自体半径可变的否定选择的入侵检测方法，可用于网络数据分析，及时识别网络通信状态是否异常。

背景技术

伴随着信息时代的到来，电子商务，电子政务以及网络广泛应用于人们的日常生活中，人类进入了信息化社会。然而在各领域得益于网络间急剧膨胀的信息量、开放的资源、共享的信息时，系统数据的安全性也必然受到严重的威胁。如今我们常用的安全技术主要有防火墙、防病毒软件、用户认证、加密技术以及入侵检测系统。其中，入侵检测系统是一套实时监控计算机系统中发生的事件，并能按照一定规则进行安全审计的软件或硬件系统。而这些事件主要包括内部攻击、外部攻击和误用操作。

根据检测数据，入侵检测可以分成主机型和网络型。主机型的入侵检测系统主要是通过审计分析主机数据来检测攻击，而网络型入侵检测系统则担负着保护一个网段的任务，其检测数据来源于网络上的原始数据包。根据检测技术，入侵检测系统可以分为误用检测和异常检测。其中，误用检测是通过对已知的入侵行为的建模来检测新的用户行为。这种方法产生的误检率很小，但是需要不断的更新攻击特征库，系统适应性较差。而异常检测是对正常行为建模，所有不符合这个模型的行为都被怀疑为攻击行为。其操作方法是先在一定时期内收集计算机系统中的正常操作数据，建立正常行为的模型库。然后在收集实时数据，并通过一定的规则检验当前行为是否偏离了正常行为的模式。这种方法的误检率较高，但是可以在没有特定先验知识的情况下检测出未知攻击行为，系统适应性较高。

随着对入侵检测技术研究的深入，学者们发现生物免疫系统与入侵检测系统具有相似性：免疫系统保护生物体免受外来病原体的侵害，正如入侵检测系统保护计算机免受外来入侵行为的侵害；它们都需要在不断变化的环境中维持系统的稳定性。生物免疫系统中分布的、灵活的、自适应的和鲁棒的解决方式正是计算机安全领域所期望得到的。

否定选择算法NSA作为一种基于人体免疫系统的仿生学算法，被广泛的应用于异常数据检测领域，它是从人体对抗外界病毒时，免疫系统的工作机理中受到启发，形成了NSA的基本框架，其应用于异常网络数据检测的基本原理可被描述如下：

将已知的正常网络行为作为自体集合，在训练阶段，让随机产生的检测器经历一个类似于自我耐受过程的否定选择过程，即让产生的检测器也称为候选检测器与自体集合的所有模式按照一定的匹配规则进行匹配试验，丢弃与自体集合匹配的候选检测器，而那些不与自体集合匹配的候选检测器则作为有效检测器。因此，有效检测器就是一个非自体模式，由这些有效检测器构成的集合称为检测系统的检测器。在测试阶段，使用检测器来检测所有的模式，这些模式是从流经网络的数据分组中抽象提取出来的。一旦检测器中的某个检测器与待检模式发生匹配，就表明检测到某个非自体模式，就会向系统发出警报。

在工程应用中，为了更有效的检测异常行为，对否定选择算法的期望主要是让在自体区域之外生成的检测器集能够尽可能多的覆盖异体空间，以便提高检测的准确性，然而固定半径的自体集所覆盖的自体区域，并不能很好的表述自体空间，这样就使NSA生成的检测器集不能很好的覆盖异体空间，造成了NSA用于网络入侵检测时，检测效果较差，即正检率较低，误报率较高的问题。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于自体半径可变的否定选择入侵检测方法，以实现用少量的训练数据，对网络入侵行为进行检测，提高正检率，降低误报率。

本发明的技术方案是：通过对自体设置可变的半径，使自体区域能够更好的表述自体空间，从而使在自体区域外生成的检测器集能够更好的覆盖异体空间，提高检测效果。具体实现步骤如下：

(1)对作为入侵检测的KDD99数据集作如下预处理：

1a)对于每一维文本特征，将其包含的各种取值类型依次赋整数值转化为数值特征；

1b)对所有的数值特征利用如下公式进行归一化：

$y(m,n)=\frac{x(m,n)-\mathrm{Min}\left(n\right)}{\mathrm{Max}\left(n\right)-\mathrm{Min}\left(n\right)}$

其中x(m，n)表示归一化前第m条数据的第n维特征，y(m，n)表示归一化后第m条数据的第n维特征，Min(n)和Max(n)表示第n维特征的取值下限和上限；

(2)将预处理后的KDD99数据集中部分正常数据作为自体，组成自体集S，设置运行参数：初始的固定自体半径r_s、异体半径调节系数p_a、期望覆盖率c₀；

(3)置异体集A为空，随机生成候选异体加入异体集A中，根据异体集A中的异体与自体集S中的自体之间的距离特征，重新设置每个自体的半径：

3a)随机生成候选异体a，计算该候选异体与所有自体之间的欧氏距离Dis(a，s_i)：

$\mathrm{Dis}(a,s_i)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(a_j-s_{i,j})}^2\right)}^{1/2},i=1,...,N_s,j=1,...L,$

其中，a_j表示候选异体a的第j维的值，s_i，j表示第i个自体的第j维的值，L表示候选异体a和自体s_i在计算中所用的维数，N_s表示自体集S内自体的个数；将候选异体a与自体s_i之间的欧氏距离Dis(a，s_i)与初始的固定自体半径r_s进行比较，如果自体集S中存在自体s_i使得Dis(a，s_i)＜r_s，则将候选异体a抛弃，反之，令候选异体a的半径 $r_a=\min \{\mathrm{Dis}(a,s_1),...,\mathrm{Dis}(a,s_{N_s})\}-r_s*p_a,$ 并将该候选异体加入异体集A中；

3b)重复步骤3a)，直到被抛弃的候选异体数达到自体数N_s时停止；

3c)重新设置所有自体的半径，根据自体s_i与异体集A中所有异体之间的欧氏距离，将自体s_i的半径

设置为

$\min \{\mathrm{Dis}(a_1,s_i)-{r_a}_1,...,\mathrm{Dis}(a_{N_a},s_i)-r_{a_{N_a}}\},$

其中，a₁为异体集A中第1个异体，为异体a₁的半径，为异体集A中第N_a个异体，

为异体

的半径，Dis(a₁，s_i)为异体a₁与自体s_i之间的欧氏距离，为异体

与自体s_i之间的欧氏距离，N_a为异体集A内异体的个数；

(4)置检测器集D为空，随机生成候选检测器加入检测器集D中，直到达到终止条件时停止；

(5)利用检测器集D检测预处理后KDD99数据集中测试数据t，如果该测试数据被检测器集D中的某个检测器d覆盖，即Dis(t，d)＜r_d，将该测试数据判为异常数据，反之，将该测试数据判为正常数据，其中Dis(t，d)表示该测试数据t与检测器d之间的欧氏距离，r_d为检测器d的半径。

本发明与现有技术相比具有如下优点：

1)检测效果好

NSA的检测效果主要取决于在自体区域外生成的检测器对异体空间的覆盖效果，而固定半径的自体集所形成的自体区域，很多情况下并不能很好的表述自体空间，这样在自体区域外生成的检测器集就不能很好的覆盖异体空间，造成了NSA用于网络入侵检测时，检测效果较差，正检率低，误报率过高的问题。本发明通过给自体集中的每一个自体设置合适的半径，形成能够更好的表述自体空间的自体区域，这样在自体区域外生成的检测器集就能够更好的覆盖异体空间。

2)需要的训练数据少

用固定半径的自体集来表述自体空间时，在自体半径设置得合适的情况下，自体数量越多，分布越有代表性，对自体空间的表述就越精确，这样想要更精确的表述自体空间就需要更多的自体数量。本发明通过给自体集中的每一个自体设置合适的半径，即给自体空间中心处的自体设置较大的半径，给自体空间边缘处的自体设置较小的半径，达到用较少的训练数据能够较好的表述自体空间的目的。

附图说明

图1是本发明的主流程图；

图2是本发明中设置可变自体半径的子流程图；

图3是本发明中训练检测器的子流程图；

图4是本发明中检测测试数据的子流程图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，对作为入侵检测基准问题的KDD99数据集作预处理。

KDD99数据集即KDD CUP 1999数据集，是网络入侵检测领域的基准数据，它为入侵检测领域的研究者提供了唯一可以公开使用的带标签的数据集，为基于计算智能的网络入侵检测研究奠定了基础。KDD99数据集总共由500万条记录构成，每条数据包含41维特征，它还提供一个10％的子集，该子集共有494021条数据，其中有396743条为异常数据，97278条为正常数据。本发明首先要对KDD数据集作预处理，把每一维的值都转化为[0，1]上的值，本步骤的具体实现如下：

1a)每条数据有41维特征，其中3维是文本特征，对于这些文本特征，将其包含的各种类型依次赋整数值，就将其转化为数值特征，以protocol_type这一维为例，它有TCP、UDP、ICMP三种不同的类型，对这三种类型依次赋值0、1、2，实现文本特征到数值特征的转化，其余文本特征均按此方法转化；

1b)对所有的数值特征利用如下公式进行归一化：

$y(m,n)=\frac{x(m,n)-\mathrm{Min}\left(n\right)}{\mathrm{Max}\left(n\right)-\mathrm{Min}\left(n\right)},$

其中，x(m，n)表示归一化前第m条数据的第n维特征，y(m，n)表示归一化后第m条数据的第n维特征，Min(n)和Max(n)表示第n维特征的取值下限和上限。

步骤2，将预处理后的KDD99数据集中部分正常数据作为自体，组成自体集S，设置运行参数：初始的固定自体半径r_s、异体半径调节系数p_a、期望覆盖率c₀。

步骤3，置异体集A为空，随机生成候选异体加入异体集A中，根据异体集A中的异体与自体集S中的自体之间的距离特征，重新设置每个自体的半径。

参照图2，本步骤的具体实现如下：

(3a)随机生成候选异体a，计算该候选异体与所有自体之间的欧氏距离Dis(a，s_i)：

$\mathrm{Dis}(a,s_i)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(a_j-s_{i,j})}^2\right)}^{1/2},i=1,...,N_s,j=1,...L,$

其中，a_j表示候选异体a的第j维的值，s_i，j表示第i个自体的第j维的值，L表示候选异体a和自体s_i在计算中所用的维数，N_s表示自体集S内自体的个数；将候选异体a与自体s_i之间的欧氏距离Dis(a，s_i)与初始的固定自体半径r_s进行比较，如果自体集S中存在自体s_i使得Dis(a，s_i)＜r_s，则将候选异体a抛弃，反之，令候选异体a的半径 $r_a=\min \{\mathrm{Dis}(a,s_1),...,\mathrm{Dis}(a,s_{N_s})\}-r_s*p_a,$ 并将该候选异体加入异体集A中；

(3b)重复步骤(3a)，直到被抛弃的候选异体数达到自体数N_s时停止；

(3c)重新设置所有自体的半径，根据自体s_i与异体集A中所有异体之间的欧氏距离，将自体s_i的半径

设置为

$\min \{\mathrm{Dis}(a_1,s_i)-{r_a}_1,...,\mathrm{Dis}(a_{N_a},s_i)-r_{a_{N_a}}\},$

其中，a₁为异体集A中第1个异体，

为异体a₁的半径，

为异体集A中第N_a个异体，

为异体

的半径，Dis(a₁，s_i)为异体a₁与自体s_i之间的欧氏距离，

为异体

与自体s_i之间的欧氏距离，N_a为异体集A内异体的个数。

步骤4，置检测器集D为空，随机生成候选检测器加入检测器集D中，直到达到终止条件时停止。

参照图3，本步骤的具体实现如下：

(4a)置覆盖次数M＝0；

(4b)随机生成候选检测器d，计算该候选检测器与所有自体之间的欧氏距离Dis(d，s_i)：

$\mathrm{Dis}(d,s_i)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(d_j-s_{i,j})}^2\right)}^{1/2},i=1,...,N_s,j=1,...L,$

其中，d_j表示候选检测器d的第j维特征，s_i，j表示第i个自体的第j维的值，L表示候选检测器d和自体s_i在计算中所用的维数，N_s表示自体集S内自体的个数；

(4c)将候选检测器d与自体s_i之间的欧氏距离Dis(d，s_i)与自体s_i的半径

进行比较，如果自体集S中存在自体s_i使得

则将d抛弃；反之，将候选检测器d的半径r_d设置为 $\min \{\mathrm{Dis}(d,s_1)-r_{s_1},...,\mathrm{Dis}(d,s_{N_s})-r_{s_{N_s}}\};$

(4d)根据检测器集D是否为空，决定是将候选检测器d加入检测器集D中，还是进一步进行计算：如果检测器集D为空，则将候选检测器d加入检测器集D中，返回步骤(4b)；如果检测器集D不为空，则计算该候选检测器d与检测器集D中所有检测器之间的欧氏距离Dis(d，d_l)：

$\mathrm{Dis}(a,d_l)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(d_j-d_{l,j})}^2\right)}^{1/2},l=1,...,N_d,j=1,...,L,$

其中，d_j表示候选检测器d的第j维特征，d_l，j表示检测器集D中第l个检测器第j维的值，L表示候选检测器d和检测器d_l在计算中所用的维数，N_d表示检测器集D内检测器的个数；

(4e)将候选检测器d与检测器d_l之间的欧氏距离Dis(d，d_l)与检测器d_l的半径

进行比较，如果检测器集D中存在检测器d_l使得

则将d抛弃，反之，将d加入检测器集D中，返回步骤(4a)；

(4f)令M＝M+1，若M＞＝1/(1-c₀)，停止候选检测器的生成，否则返回步骤(4b)。

步骤5，利用步骤4中生成的检测器集D，对预处理后的KDD99数据集中的测试数据进行检测。

参照图4，本步骤的具体实现如下：

(5a)利用检测器集D检测测试数据t，计算该测试数据与检测器集D中所有检测器的欧氏距离Dis(t，d_l)：

$\mathrm{Dis}(t,d_l)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(t_j-d_{l,j})}^2\right)}^{1/2},l=1,...,N_d,$

其中，t_j表示测试数据t的第j维的值，d_l，j表示检测器集D中第l个检测器第j维的值，N_d表示检测器集D内检测器的个数；

(5b)将测试数据t与检测器d_l之间的欧氏距离Dis(t，d_l)与检测器d_l的半径

进行比较，如果检测器集D中存在检测器d_l使得

将该测试数据判为异常数据，反之，将该测试数据判为正常数据。

本发明的效果可用如下的仿真实验进行说明：

1、实验数据

从预处理后的KDD99数据集10％的子集中分别取出2500条和500条正常数据作为两个自体集做实验，测试数据集为KDD99数据集10％的子集。

2、实验内容与结果

分别用本发明和现有NSA方法用上述两个自体集训练检测器集对测试数据集作100次检测，实验中仅用41维中的count和srv_count这两维用于计算，检测结果的平均值如表1所示。其中：

DR＝TP/(TP+FN)表示正检率，FA＝FP/(TN+FP)表示误报率，

TP表示被正确检测出的异常数据的个数，TN表示被正确检测出的正常数据的个数，FP表示正常数据被检测成异常数据的个数，FN表示异常数据被检测成正常数据的个数，r_s为固定的自体半径，p_a为异体半径调节系数，c₀为期望覆盖率。

表1仿真实验结果

	自体数	rs	pa	c0	TP	FN	TN	FP	DR(％)	FA(％)	DR-FA(％)
												NSA	2500	0.01	-	0.99	386927.7	9815.3	97070.2	207.8	0.97526	0.00214	0.97312
本发明	2500	0.04	0.1	0.99	388933.9	7809.1	97203.5	74.5	0.98032	0.00077	0.97955
												NSA	500	0.02	-	0.99	383855.3	12887.7	93918.6	3359.4	0.96752	0.03453	0.93299
本发明	500	0.06	0.1	0.99	388976.4	7766.6	95371.8	1906.2	0.98042	0.0196	0.96083

从表1可以看出，本发明比NSA检测效果更好，本发明的正检测率和误报率都优于NSA，尤其在训练数据较少的情况下，本发明的优势更大，并且在训练数据减少后，本发明检测效果下降幅度比NSA检测效果的下降幅度要小得多。

Claims (3)

1.一种基于自体半径可变的否定选择入侵检测方法，包括如下步骤：

(1)对作为入侵检测的KDD99数据集作如下预处理：

1a)对于每一维文本特征，将其包含的各种取值类型依次赋整数值转化为数值特征；

1b)对所有的数值特征利用如下公式进行归一化：

$y(m,n)=\frac{x(m,n)-\mathrm{Min}\left(n\right)}{\mathrm{Max}\left(n\right)-\mathrm{Min}\left(n\right)}$

其中x(m，n)表示归一化前第m条数据的第n维特征，y(m，n)表示归一化后第m条数据的第n维特征，Min(n)和Max(n)表示第n维特征的取值下限和上限；

(2)将预处理后的KDD99数据集中部分正常数据作为自体，组成自体集S，设置运行参数：初始的固定自体半径r_s、异体半径调节系数p_a、期望覆盖率c₀；

(3)置异体集A为空，随机生成候选异体加入异体集A中，根据异体集A中的异体与自体集S中的自体之间的距离特征，重新设置每个自体的半径：

3a)随机生成候选异体a，计算该候选异体与所有自体之间的欧氏距离Dis(a，s_i)：

$\mathrm{Dis}(a,s_i)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(a_j-s_{i,j})}^2\right)}^{1/2},i=1,...,N_s,j=1,...L,$

其中，a_j表示候选异体a的第j维的值，s_i，j表示第i个自体的第j维的值，L表示候选异体a和自体s_i在计算中所用的维数，N_s表示自体集S内自体的个数；将候选异体a与自体s_i之间的欧氏距离Dis(a，s_i)与初始的固定自体半径r_s进行比较，如果自体集S中存在自体s_i使得Dis(a，s_i)＜r_s，则将候选异体a抛弃，反之，令候选异体a的半径 $r_a=\min \{\mathrm{Dis}(a,s_1),...,\mathrm{Dis}(a,s_{N_s})\}-r_s*p_a,$ 并将该候选异体加入异体集A中；

3b)重复步骤3a)，直到被抛弃的候选异体数达到自体数N_s时停止；

3c)重新设置所有自体的半径，根据自体s_i与异体集A中所有异体之间的欧氏距离，将自体s_i的半径

设置为

$\min \{\mathrm{Dis}(a_1,s_i)-{r_a}_1,...,\mathrm{Dis}(a_{N_a},s_i)-r_{a_{N_a}}\},$

其中，a₁为异体集A中第1个异体，

为异体a₁的半径，为异体集A中第N_a个异体，

为异体

的半径，Dis(a₁，s_i)为异体a₁与自体s_i之间的欧氏距离，

为异体

与自体s_i之间的欧氏距离，N_a为异体集A内异体的个数；

(4)置检测器集D为空，随机生成候选检测器加入检测器集D中，直到达到终止条件时停止；

(5)利用检测器集D检测预处理后KDD99数据集中测试数据t，如果该测试数据被检测器集D中的某个检测器d覆盖，即Dis(t，d)＜r_d，将该测试数据判为异常数据，反之，将该测试数据判为正常数据，其中Dis(t，d)表示该测试数据t与检测器d之间的欧氏距离，r_d为检测器d的半径。

2.根据权利要求1所述的入侵检测方法，其中步骤1a)所述的对于每一维文本特征，将其包含的各种取值类型依次赋整数值转化为数值特征，是把KDD99数据集中的所有文本特征转化为数值特征，以protocol_type这一维为例，该维有TCP、UDP、ICMP三种不同的类型，对这三种类型依次赋值0、1、2，实现文本特征到数值特征的转化。

3.根据权利要求1所述的入侵检测方法，其特征在于步骤(4)中所述的随机生成候选检测器加入检测器集D中，按如下步骤进行：

(3a)置覆盖次数M＝0；

(3b)随机生成候选检测器d，计算该候选检测器与所有自体之间的欧氏距离Dis(d，s_i)：

$\mathrm{Dis}(d,s_i)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(d_j-s_{i,j})}^2\right)}^{1/2},i=1,...,N_s,j=1,...,L,$

其中，d_j表示候选检测器d的第j维特征，s_i，j表示第i个自体的第j维的值，L表示候选检测器d和自体s_i在计算中所用的维数，N_s表示自体集S内自体的个数；

(3c)将候选检测器d与自体s_i之间的欧氏距离Dis(d，s_i)与自体s_i的半径

进行比较，如果自体集S中存在自体s_i使得

则将d抛弃；反之，将候选检测器d的半径r_d设置为 $\min \{\mathrm{Dis}(d,s_1)-r_{s_1},...,\mathrm{Dis}(d,s_{N_s})-r_{s_{N_s}}\};$

(3d)根据检测器集D是否为空，决定是将候选检测器d加入检测器集D中，还是进一步进行计算：如果检测器集D为空，则将候选检测器d加入检测器集D中，返回步骤(3b)；如果检测器集D不为空，则计算该候选检测器d与检测器集D中所有检测器之间的欧氏距离Dis(d，d_l)：

$\mathrm{Dis}(d,d_l)={\left(\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{(d_j-d_{l,j})}^2\right)}^{1/2},l=1,...,N_d,j=1,...,L,$

其中，d_j表示候选检测器d的第j维特征，d_l，j表示检测器集D中第l个检测器第j维的值，L表示候选检测器d和检测器d_l在计算中所用的维数，N_d表示检测器集D内检测器的个数；

(3e)将候选检测器d与检测器d_l之间的欧氏距离Dis(d，d_l)与检测器d_l的半径

进行比较，如果检测器集D中存在检测器d_l使得

则将d抛弃，反之，将d加入检测器集D中，返回步骤(3a)；

(3f)令M＝M+1，若M＞＝1/(1-c₀)，停止候选检测器的生成，否则返回步骤(3b)。

Images