CN102123062A - 基于树突细胞算法的网络数据异常检测方法 - Google Patents

Abstract

本发明公开了一种基于树突细胞算法的网络数据异常检测方法。主要解决现有技术检测率不稳定的缺点。其实现步骤为：(1)归一化KDD99数据的文本特征及数值特征；(2)从归一化后的KDD99数据中选定抗原类型和输入信号；(3)分别设定树突细胞算法中DC细胞种群数M、迁移阈值和成熟环境抗原阈值；(4)读取数据，对输入信号进行权值转换；(5)根据输出信号，标记细胞环境和提呈抗原类型；(6)计算抗原类型的成熟环境抗原值；(7)计算检测率和误报率。本发明与现有技术相比提高了检测率的稳定性，并进一步提高检测率和降低误报率，可用于对网络中接收的数据进行异常检测。

Description

基于树突细胞算法的网络数据异常检测方法

技术领域

本发明属于网络安全领域，特别涉及一种网络数据异常检测方法，可用于对网络中接收的数据进行异常检测。

背景技术

网络数据异常检测方法通常采用人工免疫系统中的经典免疫学否定选择方法NSA，NSA利用免疫系统“自我”与“非我”作为判断数据是否为入侵数据的唯一标准，会造成误检和漏检，除此之外，NSA还有两个主要缺点，规模问题与覆盖率问题，即当检测数据过于庞大时，检测集的生成和更新会降低系统的时效性以及覆盖率不可能达到100％，即使目前最常用的匹配规则Hamming规则、r连续位规则、r块规则等都避免不了漏洞的出现。

基于传统免疫学的自我-非我模型识别网络数据异常检测方法存在的上述问题，1994年免疫学家Polly Matzinger提出了一个理论：免疫系统并不区分自我和非我，而是响应损害身体的危险信号，这一理论称为危险理论。Greensmith等免疫学家认为危险理论可以将AIS和入侵检测系统联系起来，模拟人工免疫中的树突状细胞的免疫应答，利用对组织环境中的危险信号变化特别敏感的一类专职抗原提呈细胞APC，摄取细胞中的环境信号即抗原数据和信号数据，融合信号数据，处理大量的抗原数据，当有危险信号产生时，启动抗原提呈细胞APC，计算抗原数据所处细胞环境，根据抗原异常程度即成熟环境抗原值判定抗原类型异常与否。

Greensmith根据上述树突状细胞机理设计实现树突状细胞算法，并将树突状细胞算法应用于网络数据异常检测中，通常有信号定义方法、信息增益降维方法以及信号处理方法，利用这些方法能得到较高的检测率，但是在这些方法中由于信号定义方法采用经验数据，随机性很大，造成检测率高低不稳定。

发明内容

本发明的目的在于克服上述已有技术的缺陷，提出一种基于树突细胞算法的网络数据异常检测方法，以提高检测率的稳定性，并进一步提高检测率和降低误报率。

实现本发明目的的技术思路是：将树突细胞算法应用到网络数据异常检测方法中，通过建立一个基于树突细胞的计算模型，对入侵信号进行检测。其实现步骤包括如下：

(1)从KDD99数据库中，选取10％的数据作为入侵信号，并归一化这些信号的文本特征及数值特征，其中将信号标记的异常特征设定为1，将信号标记的正常特征设定为0；

(2)从归一化后的KDD99数据中选定抗原类型和输入信号：

2a)从归一化后的KDD99数据中选定3种文本特征即协议类型、目标主机的网络服务类型和连接正常或错误的状态作为抗原类型；

2b)计算归一化后的KDD99数据中的属性特征信息增益G(A)：

$G\left(A\right)\≡E\left(S\right)-\underset{v\∈V\left(A\right)}{\mathrm{\Σ}}\left(\frac{\left|S_v\right|}{\left|S\right|}\right)E\left(S_v\right)$

其中，A是所有归一化后的KDD99数据中的特征，E(S)是特征A的所有特征值的熵，

式中i是KDD99数据中标记特征即正常为0或者异常为1，p_i是S属于标记特征i的比例，即S属于标记特征0或1的数目与S属于标记特征0和1的总数目的百分比，v是所有归一化后的KDD99数据中的特征值，V(A)是特征A的所有特征值，s_v是特征A的特征值为v的子集个数，S是特征A的所有特征值的集合总数，E(S_v)是特征A的特征值为v的熵；

2c)计算归一化后的KDD99数据中与攻击类别和正常类别的相关特征的信息增益I(A)，并选定与攻击类别和正常类别的相关特征作为输入信号，计算相关特征信息增益I(A)：

$I\left(A\right)=\underset{v\∈V\left(A\right)}{\mathrm{\Σ}}\left(\frac{\left|S_v\right|}{\left|S\right|}\right)v$

其中，A是所有归一化后的KDD99数据中的特征，v是所有归一化后的KDD99数据中的特征值，V(A)是特征A的所有特征值，s_v是特征A的特征值为v的子集个数，S是特征A的所有特征值的集合总数；

(3)分别设定树突细胞算法中DC细胞种群数M为100、迁移阈值为100到300之间的随机数和成熟环境抗原阈值为0.8；

(4)读取归一化后的KDD99数据，对输入信号I_k进行权值转换，得到输出信号O_j，即协同刺激分子信号O₁、半成熟信号O₂和成熟信号O₃；

(5)将输出信号O₁、O₂和O₃分别进行累加，比较累加协同刺激分子信号O₁与迁移阈值，如果累加协同刺激分子信号O₁大于迁移阈值，则标记细胞环境和提呈抗原类型，该细胞环境包括成熟环境和半成熟环境，当累加半成熟信号O₂大于累加成熟信号O₃，细胞环境标记为半成熟环境，抗原类型被提呈为半成熟环境，当累加半成熟信号O₂小于累加成熟信号O₃，细胞环境标记为成熟环境，抗原类型被提呈为成熟环境；如果累加协同刺激分子信号O₁小于迁移阈值，则转至步骤(4)；

(6)根据被提呈的抗原类型，将抗原被提呈为成熟环境的次数占此类抗原被提呈总次数的百分比与成熟环境抗原阈值进行比较，如果抗原类型的成熟环境抗原值大于成熟环境抗原阈值，则抗原类型为异常，否则为正常；

(7)将所得抗原类型正常或者异常与归一化后的KDD99数据中标记特征进行比较，如果抗原类型正常，且归一化后的KDD99数据中标记特征为0，或者抗原类型异常，且归一化后的KDD99数据中标记特征为1，则为正检，否则为误检，并计算检测率DR和误报率FA。

本发明与现有技术相比具有如下优点：

本发明将KDD99数据中的文本特征选定为抗原类型，利用信息增益的方法计算归一化后的KDD99数据中的特征信息增益，先去除信息量低的特征，再根据KDD99数据中与攻击类别和正常类别相关的特征信息增益定义输入信号，提高了检测率的稳定性，从而进一步降低了误报率，提高了检测率。

附图说明

图1是本发明的网络数据异常检测流程图；

图2是通过本发明得到的归一化后的KDD99数据的特征信息增益图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，从KDD99数据库中，选取10％的数据作为入侵信号，并归一化这些信号的文本特征及数值特征。

1.1)将信号文本特征映射为数值特征

在KDD99数据特征中，协议类型、目标主机的网络服务类型和连接正常或错误的状态这三维特征是文本特征，对文本特征包含的各种类型依次赋整数值，将其映射为数值特征。KDD99数据的第42维特征为数据的标记，即正常和异常，将异常特征设定为1，正常特征设定为0；

1.2)将映射的数值特征和KDD99数据中原有的数值特征归一化

通过归一化函数将映射的数值特征和KDD99数据中原有的数值特征调整到[0，1]区间内。归一化函数公式如下：

$f\left(x\right)=\frac{x-m}{n-m},x\∈[m,n]$

其中，x是KDD99数据数值特征值，f(x)是归一化后的KDD99数据数值特征值，m和n分别是KDD99数据数值特征值的最小值和最大值。

步骤2，从归一化后的KDD99数据中选定抗原类型和输入信号。

2.1)选定抗原类型

由于基于树突细胞算法的网络数据异常检测方法，主要是判断KDD99数据中的抗原类型的异常或者正常，所以需要选定3种文本特征，即协议类型、目标主机的网络服务类型和连接正常或错误的状态作为抗原类型；

2.2)计算归一化后的KDD99数据中的特征信息增益G(A)

由于KDD99数据具有41维特征，属于高维数据，含有大量冗余信息，所以需要计算其归一化后的KDD99数据中的特征信息增益G(A)：

$G\left(A\right)\≡E\left(S\right)-\underset{v\∈V\left(A\right)}{\mathrm{\Σ}}\left(\frac{\left|S_v\right|}{\left|S\right|}\right)E\left(S_v\right)$

其中，A是所有归一化后的KDD99数据中的特征，E(S)是特征A的所有特征值的熵，

式中i是KDD99数据中标记特征即正常为0或者异常为1，p_i是S属于标记特征i的比例，即S属于标记特征0或1的数目与S属于标记特征0和1的总数目的百分比，v是所有归一化后的KDD99数据中的特征值，V(A)是特征A的所有特征值，s_v是特征A的特征值为v的子集个数，S是特征A的所有特征值的集合总数，E(S_v)是特征A的特征值为v的熵；

归一化后的KDD99数据的41维特征信息增益值如图2所示。

2.3)选定输入信号

KDD99数据中共有494021条记录，包括四种攻击类别，即dos攻击、Probe攻击、u2r攻击和r21攻击以及一种正常类别，其中dos攻击包含Smurf攻击280790条和Neptune攻击107201条，正常类别包含Normal记录97277条。由于病原相关分子模式信号表示存在异常的特征、危险信号表示异常可能性高和安全信号表示正常可能性高，所以将与攻击类别Neptune、Smurf和正常类别Normal相关的特征作为输入信号，即病原相关分子模式信号、危险信号和安全信号。

2.4)根据选定的输入信号，计算归一化后KDD99数据中与攻击类别和正常类别相关的特征信息增益I(A)：

$I\left(A\right)=\underset{v\∈V\left(A\right)}{\mathrm{\Σ}}\left(\frac{\left|S_v\right|}{\left|S\right|}\right)v$

其中，A是所有归一化后的KDD99数据中的特征，v是所有归一化后的KDD99数据中的特征值，V(A)是特征A的所有特征值，s_v是特征A的特征值为v的子集个数，S是特征A的所有特征值的集合总数；

由上式可得KDD99数据中与攻击类别和正常类别相关的特征如表1所示：

表1KDD99数据中与攻击类别和正常类别相关的特征

类别	相关特征
		Neptune	4，25，26，29，30，33，34，35，38，39
Smurf	2，3，5，23，24，27，28，36，40，41
		Normal	1，6，12，31，32，37
Land	7
		Teardrop	8
ftp_write	9
		Back	10，13
Guess_pwd	11
		Buffer_overflow	14
warezclient	22

由图2归一化后的KDD99数据的41维特征信息增益值，可以看出数据特征12、23、24、25、26、29、31、32、36、38的信息增益值较其他数据特征信息增益值大，去除表1中与攻击类别和正常类别相关的特征中低信息增益特征，得到表2如下所示：

表2去除低信息增益值后，与攻击类别和正常类别相关的特征

类别	相关特征
		Neptune	25，26，29，38
Smurf	23，24，36
		Normal	12，31，32

由表2分别定义输入信号，将与Neptune相关的特征25，26，29，38作为病原相关分子模式信号、与Smurf相关的特征23，24，36作为危险信号、与Normal相关的特征12，31，32作为安全信号。

步骤3，分别设定树突细胞算法中DC细胞种群数M、迁移阈值和成熟环境抗原阈值。

本发明中将DC细胞数M设定为100；DC的迁移阈值为100到300之间的随机数，以保证DC细胞的多次迭代；根据KDD99数据中的记录先验知识，即异常记录为396744条，总记录为494021条，将异常记录与总记录的百分比作为成熟环境抗原阈值，即0.8；

步骤4，读取归一化后的KDD99数据，对输入信号I_k进行权值转换，分别输出处理后的信号，即协同刺激分子信号O₁、半成熟信号O₂和成熟信号O₃，权值转换公式如下：

$O_j=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}(W_{\mathrm{kj}}\×I_k),j=\mathrm{1,2,3}$

其中，I_k是输入信号即病原相关分子模式信号、危险信号和安全信号，W_kj是从输入信号到输出信号的转换权值，权值设定如表3所示；

表3输入信号到输出信号的转换权值

	I1	I2	I3
				O1	2	1	3
O2	0	0	3
				O3	2	1	-3

步骤5，标记细胞环境和提呈抗原类型。

三种累加输出信号都会随着输入信号的读入而实时更新，将累加协同刺激分子信号与迁移阈值比较，如果累加协同刺激分子信号大于迁移阈值，则标记细胞环境和提呈抗原类型，该细胞环境包括成熟环境和半成熟环境，当累加半成熟信号大于累加成熟信号，细胞环境标记为半成熟环境，抗原类型被提呈为半成熟环境，当累加半成熟信号小于累加成熟信号，细胞环境标记为成熟环境，抗原类型被提呈为成熟环境；如果累加协同刺激分子信号小于迁移阈值，则转至步骤4，重新读入抗原和信号数据。

步骤6，根据被提呈的抗原类型，将抗原被提呈为成熟环境的次数占此类抗原被提呈总次数的百分比与成熟环境抗原阈值进行比较。

判断抗原类型的异常或者正常，将抗原被提呈为成熟环境的次数占此类抗原被提呈总次数的百分比与成熟环境抗原阈值，即0.8进行比较，如果抗原类型的成熟环境抗原值大于0.8，则表示抗原类型为异常，否则为正常。

步骤7，将所得抗原类型正常或者异常与归一化后的KDD99数据中标记特征进行比较，并计算检测率和误报率。

如果抗原类型正常，且归一化后的KDD99数据中标记特征为0，或者抗原类型异常，且归一化后的KDD99数据中标记特征为1，则为正检，否则为误检，计算检测率DR和误报率FA的公式如下：

DR＝TP/(TP+FN)        FA＝FP/(TN+FP)

其中，TP表示抗原类型为异常，且归一化后的KDD99数据中标记特征为1的抗原类型数目；TN表示抗原类型为正常，且数据中标记特征为0的抗原类型数目；FP表示抗原类型为异常，且数据中标记特征为0的抗原类型数目；FN表示抗原类型为正常，且数据中标记特征为1的抗原类型数目。

本发明的优点由以下实验内容和结果进一步说明。

1.实验内容

1.1)在设定树突细胞算法中DC细胞种群数M为100、迁移阈值为100到300之间的随机数下，预设信号定义和改进信号定义的对比实验结果

本实验的主要目的是在默认参数设定情况下，不同的信号定义对检测结果的影响。在本实验中，预设信号定义将KDD99数据中出现SYN错误或者REJ错误的相关特征，即用25，26，27，28，40，41作为病原相关分子模式信号；预设信号定义将与当前连接具有不用目标主机的相关特征，即用特征31，32作为危险信号；预设信号定义将与登录成功或者失败的相关特征，即用12作为安全信号。表4为在默认参数设定情况下，算法执行5次，预设信号定义和改进的信号定义的检测结果比较。

表4默认参数时预设信号定义和改进的信号定义的检测结果比较：

从表4可以看出，在默认参数设定情况下，利用改进的信号定义的检测率高于预设信号的检测率，且改进的信号定义的检测率比预设信号的检测率稳定，同时改进的信号定义的误报率比预设信号的误报率低。

1.2)在改变树突细胞算法中DC细胞种群数M和迁移阈值下，预设信号定义和改进信号定义的对比实验，结果如表5所示。

表5改变参数后预设信号定义和改进的信号定义的实验结果比较

从表5可以看出，在改变树突细胞种群个数和迁移阈值情况下，本发明改进信号定义的检测率同样高于预设信号定义检测率，且改进的信号定义的检测率比预设信号的检测率稳定，由此可知，树突细胞种群个数和迁移阈值对网络数据异常检测方法的检测率及其稳定性没有影响，改变信号定义才是提高检测率及其稳定性的关键因素。

综合上述两个实验数据，本发明基于树突细胞算法的网络数据异常检测方法，利用信息增益的方法计算归一化后的KDD99数据中的特征信息增益，先去除信息量低的特征，再根据KDD99数据中与攻击类别和正常类别相关的特征信息增益定义输入信号，提高了检测率的稳定性，并进一步降低了误报率，提高了检测率。

Claims (4)

1.一种基于树突细胞算法的网络数据异常检测方法，包括如下步骤：

(1)从KDD99数据库中，选取10％的数据作为入侵信号，并归一化这些信号的文本特征及数值特征，其中将信号标记的异常特征设定为1，将信号标记的正常特征设定为0；

(2)从归一化后的KDD99数据中选定抗原类型和输入信号：

2a)从归一化后的KDD99数据中选定3种文本特征即协议类型、目标主机的网络服务类型和连接正常或错误的状态作为抗原类型；

2b)计算归一化后的KDD99数据中的属性特征信息增益G(A)：

$G\left(A\right)\≡E\left(S\right)-\underset{v\∈V\left(A\right)}{\mathrm{\Σ}}\left(\frac{\left|S_v\right|}{\left|S\right|}\right)E\left(S_v\right)$

其中，A是所有归一化后的KDD99数据中的特征，E(S)是特征A的所有特征值的熵，

式中i是KDD99数据中标记特征即正常为0或者异常为1，p_i是S属于标记特征i的比例，即S属于标记特征0或1的数目与S属于标记特征0和1的总数目的百分比，v是所有归一化后的KDD99数据中的特征值，V(A)是特征A的所有特征值，s_v是特征A的特征值为v的子集个数，S是特征A的所有特征值的集合总数，E(S_v)是特征A的特征值为v的熵；

2c)计算归一化后的KDD99数据中与攻击类别和正常类别的相关特征的信息增益I(A)，并选定与攻击类别和正常类别的相关特征作为输入信号，计算相关特征信息增益I(A)公式如下：

$I\left(A\right)=\underset{v\∈V\left(A\right)}{\mathrm{\Σ}}\left(\frac{\left|S_v\right|}{\left|S\right|}\right)v$

其中，A是所有归一化后的KDD99数据中的特征，v是所有归一化后的KDD99数据中的特征值，V(A)是特征A的所有特征值，s_v是特征A的特征值为v的子集个数，S是特征A的所有特征值的集合总数；

(3)分别设定树突细胞算法中DC细胞种群数M为100、迁移阈值为100到300之间的随机数和成熟环境抗原阈值为0.8；

(4)读取归一化后的KDD99数据，对输入信号I_k进行权值转换，得到输出信号O_j，即协同刺激分子信号O₁、半成熟信号O₂和成熟信号O₃；

(5)将输出信号O₁、O₂和O₃分别进行累加，比较累加协同刺激分子信号与迁移阈值，如果累加协同刺激分子信号大于迁移阈值，则标记细胞环境和提呈抗原类型，该细胞环境包括成熟环境和半成熟环境，当累加半成熟信号大于累加成熟信号，细胞环境标记为半成熟环境，抗原类型被提呈为半成熟环境，当累加半成熟信号小于累加成熟信号，细胞环境标记为成熟环境，抗原类型被提呈为成熟环境；如果累加协同刺激分子信号小于迁移阈值，则转至步骤(4)；

(6)根据被提呈的抗原类型，将抗原被提呈为成熟环境的次数占此类抗原被提呈总次数的百分比与成熟环境抗原阈值进行比较，如果抗原类型的成熟环境抗原值大于成熟环境抗原阈值，则抗原类型为异常，否则为正常；

(7)将所得抗原类型正常或者异常与归一化后的KDD99数据中标记特征进行比较，如果抗原类型正常，且归一化后的KDD99数据中标记特征为0，或者抗原类型异常，且归一化后的KDD99数据中标记特征为1，则为正检，否则为误检，并计算检测率DR和误报率FA。

2.根据权利要求1所述的网络数据异常检测方法，其中步骤(1)所述的归一化入侵信号的文本特征及数值特征，是先将信号文本特征映射为数值特征；再将映射的数值特征和KDD99数据中原有的数值特征归一化。

3.根据权利要求1所述的网络数据异常检测方法，其中步骤(4)所述的对输入信号I_k进行权值转换，通过如下公式进行转换：

$O_j=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}(W_{\mathrm{kj}}\×I_k),j=\mathrm{1,2,3}$

其中，O_j是三种输出信号，即协同刺激分子信号O₁、半成熟信号O₂和成熟信号O₃，O_k是三种输入信号，即病原相关分子模式信号、危险信号和安全信号，W_kj是从输入到输出的转换权值，对于协同刺激分子信号O₁，W_k1设定为2，1，3；对于半成熟信号O₂，W_k2设定为0，0，3；对于成熟信号O₃，W_k3设定为2，1，-3。

4.根据权利要求1所述的网络数据异常检测方法，其中步骤(7)所述的计算检测率DR和误报率FA：

DR＝TP/(TP+FN)

FA＝FP/(TN+FP)

其中，TP表示抗原类型为异常，且归一化后的KDD99数据中标记特征为1的抗原类型数目；TN表示抗原类型为正常，且数据中标记特征为0的抗原类型数目；FP表示抗原类型为异常，且数据中标记特征为0的抗原类型数目；FN表示抗原类型为正常，且数据中标记特征为1的抗原类型数目。

Images