CN104836805A - 基于模糊免疫理论的网络入侵检测方法 - Google Patents

Abstract

本发明公开了基于模糊免疫理论的网络入侵检测方法，针对原有免疫入侵检测模型的不足，根据生物免疫原理，提出一个模糊聚类和免疫理论相结合的入侵检测新模型。该模型通过模糊聚类技术将待检测数据进行预处理，然后再经过免疫算法进化的模糊检测器进行检测，降低了检测误差。在过滤掉大量的正常数据的基础上，使后期的匹配检测过程得以大大地简化，减小了计算复杂度。将检测器用模糊规则表示时，可以达到用较少的规则覆盖更多的异体空间的目的。将含异常的数据通过免疫模糊检测器进行处理，整体检测效率得到了提高。

Description

基于模糊免疫理论的网络入侵检测方法

技术领域

本发明涉及一种基于模糊免疫理论的网络入侵检测方法，属于网络信息安全技术领域。

背景技术

入侵检测是指检测对计算机或网络进行非授权使用或入侵的过程。入侵检测系统(Intrusion Detection System，简称IDS)是一种实现监测功能的软件或硬件系统。IDS可以检测出任何破坏计算机或网络的完整性、机密性和可用性的行为。这些攻击行为既可能来自网络上的黑客，也有可能来自系统内部非法使用特权的授权用户或试图获得特权的非授权用户。

生命科学与计算机科学的相互交叉、渗透和促进是上个世纪以来科学技术发展的一个显著特点。人工免疫系统(Artificial Immune System，简称AIS)是继人工神经网络、进化计算之后的智能计算研究新方向。免疫系统是一种具有很强自我保护功能的系统，其基本功能就是识别自我和非我的入侵信息，并将非我的分类清除。由此可见，入侵检测系统与生物免疫系统存在许多相似之处。生物免疫系统是为了保护自身不受敌意微生物的侵害，而入侵检测是为了保护一台或一组计算机不受入侵者的入侵。研究表明将人工免疫原理应用于入侵检测中具有以下优势：利用免疫算法生成的检测器提高了入侵检测系统的检测效率；不依赖入侵知识并且能够检测到未知入侵；增强了系统的自学习能力等。同时我们也发现，经过近几年的研究发展，基于人工免疫原理的入侵检测系统并不完善，检测率的问题已经成为IDS的瓶颈。因此，如何将生物免疫系统的各种机制开发应用于入侵检测系统中，如何全面发挥免疫算法的性能，有待进一步发掘。

目前在基于免疫算法入侵检测过程中，由于忽略了正常和异常模式之间的模糊界限而导致了检测准确率不高，而Bezdek提出的模糊集理论为解决这一问题提供了有力的分析工具，用模糊理论的方法来处理聚类问题能够比较客观地反映现实世界。在众多的模糊聚类算法中，应用最广泛而且较成功的是1974年由Dunn提出并由Bezdek加以推广的模糊C-均值(fuzzyC-means,简称FCM)算法。而本发明将模糊集理论融入基于免疫算法的入侵检测中，能够很好地解决因忽略正常和异常模式之间的模糊界限而导致系统检测准确率不高的问题。

发明内容

本发明目的在于提供了一种基于模糊免疫理论的网络入侵检测方法，该方法通过对免疫模型中的关键技术与机制的分析，将免疫算法和模糊理论相结合应用于网络入侵检测系统，以克服目前入侵检测系统存在的不足，建立了一种高效、稳定、自适应的网络入侵检测系统。在目前基于免疫理论的安全体系中，由于传统否定选择算法忽略了正常和异常模式之间的模糊界限而导致了检测效率低下，而且生成的检测器数量冗繁，导致用在非我模式识别时计算复杂度相当高。针对这些缺陷，本发明将模糊分析方法应用于安全检测系统中。其特点是对正常模式的构建并不需要那么精确，可以很好地解决“尖锐边界”的问题，并且将待检模式进入检测器前过滤掉一些正常匹配模式，从而大大减少系统的整体匹配比较次数。本发明模糊技术的应用主要体现在两个方面：一是免疫入侵检测前，利用模糊聚类进行数据的预处理；二是定义免疫检测器的模糊检测规则。

本发明解决其技术问题所采用的技术方案是：一种基于人工免疫算法和模糊理论的网络入侵检测方法，该方法是一种策略性的方法，通过模糊理论的软划分策略提高了传统免疫算法对入侵检测的准确率。

方法流程：

步骤1：构造一定数目的训练样本集，本发明从KDD99数据集中，随机选取包含正常数据和各种攻击数据的1万条记录用来构造训练样本集；

步骤2：对数据进行标准化处理，包括：

1)由于不同的属性值有不同的度量标准，如果度量单位较小，则变量的数值就较大，对聚类的结果影响自然就越大，因此会出现大数淹没小数的问题。为避免出现此问题，对数值型字段的特征属性采用公式进行标准化处理，其中x_if为样本x_i的f维属性值，min(x_if)为训练样本集所有样本的第f维属性的最小值，max(x_if)为训练样本集所有样本的第f维属性的最大值，经过该处理后，属性值均在[0,1]之间；

2)对非数值型字段的特征属性标准化处理方法是，按照一定顺序给每个不同取值赋予一个正整数值。KDDCUP99数据集中有protocol_type、service和flag三个属性值是文本的符号性属性，标准化方法是用数字值来替换文本属性值，如在协议类型属性中出现了TCP、UDP、ICMP，则分别替换为0、1、2。将数据集中的1到10维属性作为聚类特征属性，第11维标识性属性，用于聚类结果的评判分析；

步骤3：利用模糊c-均值方法对处理过的训练数据进行聚类分析；

步骤4：生成检测入侵行为的检测器，再由免疫进化算法生成成熟的检测器；

步骤5：利用成熟的检测器对网络访问数据进行检测；

步骤6：若检测数据为正常模式则允许访问，否则拒绝其访问；

步骤7：动态更新检测库，即将与抗原亲和度高的抗体加入成熟检测器的记忆库中。

有益效果：

1、本发明的入侵检测系统能识别正常模式与异常模式之间模糊边界，提高了检测准确性。

2、本发明能够提高网络安全入侵检测系统的性能。

附图说明

图1为本发明的方法流程图。

图2为本发明免疫进化算法流程图。

具体实施方式

下面结合说明书附图对本发明作进一步的详细说明。

如图1所示，本发明提出一种基于模糊免疫理论的网络入侵检测方法，该方法包括如下步骤：

1、定义“自体”和“非自体”

“自体”是指对自身健康，没有被病毒感染、破坏的细胞，“非自体”则是指病毒、细菌等有害物质和自身被感染、破坏的细胞。IDS防护也是系统的免疫过程，因此可以把它看成是区分正常访问(合法用户、授权活动、原始源代码、未被欺诈的数据等等)和异常访问(拒绝服务攻击、可疑行为、攻击前探测、未授权访问尝试、病毒、后门、扫描、特洛伊木马等等)的问题。

本发明把系统内所有可能出现的数据访问模式记做集合U，自体集(Self)记做S，非自体集(Nonself)记做N，则有：

(1)模式的全集U是完备的和有限的。对任何给定的问题域，它的模式必须能够以某种方式表达。

(2)S∪N＝U，S∩N＝Φ。若这个前提不成立，就意味着有的模式既属于S，又属于N，任何检测系统都不可能对这种不明确的模式进行分类，检测结果存在不确定性。

(3)检测系统要有足够的存储能力来对从U中抽取的任何模式进行编码和表示，如果存在某个模式，检测系统不能够对其进行编码，则这样的系统是无效的。

定义“自体”和“非自体”分为如下步骤：

第一步：构造一定数目的训练样本集。

例如可以从KDD99数据集中，随机选取包含正常数据和各种攻击数据的1万条记录构造训练样本集。

第二步：实验数据的标准化处理。

这一步主要完成对训练数据的特征选择、属性标准化等数据标准化处理工作。将数据集KDD99中的数据1到11维属性作为聚类特征属性。第11维标识性属性只用于聚类结果的评判分析，不作为聚类的特征属性使用。

第三步：利用模糊c-均值方法对处理过的数据进行聚类分析。

设样本空间X＝{x₁,x₂,…,x_n}，算法将其分成c个模糊聚类，类心的集合V＝{v₁,v₂,…,v_c}。FCM聚类算法首先随机初始化若干个聚类中心，计算样本中的每个数据对聚类中心的隶属度，构成隶属度矩阵，然后通过若干次的迭代，更新聚类中心和隶属度矩阵，使目标函数值达到最小。

目标函数为：

$F(U,V)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left(u_{\mathrm{ij}}^m{\left|\right|x_j-v_i\left|\right|}^2\right)---\left(1\right)$

其中，m为模糊指数；U＝{u_ij}是隶属度矩阵，u_ij表示第j个样本属于第i个聚类中心的隶属度：

$u_{\mathrm{ij}}=1/\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}/d_{\mathrm{kj}})}^{2/m-1}---\left(2\right)$

其中d_ij＝||x_j-v_i||是对象x_j到聚类中心v_i的距离。约束为：0<u_ij<1且

下一次聚类中心设置为：

$v_i=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_j{u_{\mathrm{ij}}}^m/\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{u_{\mathrm{ij}}}^m---\left(3\right)$

本发明上述第三步实施方法的具体步骤包括：

(1)设定聚类数目c和模糊指数m，算法终止阈值ε，允许最大迭代次数为t_max，迭代次数t＝1；

(2)随机初始化各个聚类中心；

(3)根据式(2)计算隶属函数；

(4)按式(3)更新各类聚类中心；

(5)选取合适的矩阵范数，如果t≥t_max或所有聚类中心满足||v^t-1-v^t||≤ε，则停止运算；否则t＝t+1，返回(3)。

第四步：区分正常与异常类。

经过以上的步骤，数据集已经被划分为各个小的数据子集。然后对所得到的较纯净的正常模式(不可避免含少量异常模式)通过免疫的否定选择算法进行训练，过滤掉纯净的正常模式使其不参与后面的匹配运算，这样在后面进行检测时，检测器只与异常模式匹配，而免去了与大量正常模式冗余的匹配过程，从而大大减少了检测器与网络数据的整体匹配次数，提高系统的性能。

2、生成检测器

免疫系统中淋巴细胞在网络入侵检测系统中用检测器来描述，检测器的生成是一个否定选择的过程，类似于免疫系统的免疫耐受机制。在传统技术中，否定选择算法把Self作为系统的正常模式，按照一定的匹配算法将随机生成的模式(即：未成熟检测器)与所有的被监测系统的正常模式进行匹配。如果匹配成功，说明这个未成熟检测器对自体不耐受，而被删除；反之，它将成为成熟检测器用以监视入侵活动。成熟的检测器一旦与被监测系统的某些模式相匹配，则说明有异常模式产生，检测系统将报警。

然而，对于正常和异常行为的划分采用明确的标准，行为集合空间中的所有行为被非常严格区分为两个子集“自体”(即：正常行为)和“非自体”(即：异常行为)。一个行为模式如果存在可以与之匹配的抗体则该模式就被认为是异常的。但是，异常并不是一种确定性的概念，一种行为模式是否是异常模式还要跟其它的一些因素结合考虑，因此对于入侵检测中存在的大量模糊现象采用模糊集的理论来描述是非常可行的。

在IDS中，抗体的作用对象就是抗原(即：检测规则就是为了检测出入侵行为)，设抗原集合X＝{x|x＝(x₁,x₂,…,x_n)，x₁,x₂,…,x_n为抗原的基因或特征属性}，一个抗原对应的检测规则集合由R(x,F)表示，其中x表示抗原，F表示模糊区间集合，即R(x,F)是由抗原x和模糊区间集合F按照模糊集理论生成的检测规则集合。各检测规则组成未成熟检测器。

本发明采用KDD99数据集，定义抗原基因x₁,x₂,…,x_n分别为duration,protocol_type,...,dst_host_srv_error_rate等特征属性的标准化值，x_i∈[0,1]。F包含“低、中、高、很高”4个值域，分别为实数区间[0,0.4]，(0.2,0.6]，(0.4,0.8]，(0.6,1.0]。

一个抗原对应的检测规则集合R(x,F)定义为：

R₁：If condition₁≥δThen nonself

R₂：If condition₂≥δThen nonself

………

R_l：If condition_l≥δThen nonself

其中：δ为阀值，condition_i＝min{μ(x₁∈F₁),μ(x₂∈F₂)...μ(x_n∈F_n)}，生成检测规则时F_i由抗原属性x_i的取值决定，例如x_i＝0.3，则F_i为[0,0.4]或(0.2,0.6]，因此，一个抗原可生成多条检测规则；检测一个行为x时，μ(x_i∈F_i)代表行为x的特征属性x_i对集合F_i的隶属度，它的大小反映了模糊变量x_i隶属于模糊集合F_i的程度。

μ(x_i∈F_i)计算规则如下：当模糊变量x_i属于[0,0.2]时，其对于值域“低”的隶属度为1；当x_i属于(0.2,0.4]时，其对值域“低”的隶属度为(0.4-x_i)/(0.4-0.2)，而对值域“中”的隶属度则为(x_i-0.2)/(0.4-0.2)；当x_i属于(0.4，0.6]时，其对值域“中”的隶属度为(0.6-x_i)/(0.6-0.4)，而对值域“高”的隶属度则为(x_i-0.4)/(0.6-0.4)；当x_i属于(0.6，0.8]时，其对值域“高”的隶属度为(0.8-x_i)/(0.8-0.6)，而对值域“很高”的隶属度则为(x_i-0.6)/(0.8-0.6)；当x_i属于(0.8，1]时，其对值域“很高”的隶属度为1。

给定一组规则{R₁，…，R_m}，行为样本x的异常度定义为：

${\mathrm{\&mu;}}_{\mathrm{nonself}}\left(x\right)=\underset{i=1...m}{\max }\left\{{\mathrm{Condition}}_i\left(x\right)\right\}---\left(4\right)$

这里的Condition_i(x)表示按检测规则R_i中的Condition_i计算得到的模糊值。μ_nonself(x)表示对非自体集的隶属程度，因此，一个靠近“0”的值意味着x是正常的，越接近“1”的值说明x的异常度越高。在本发明中用模糊规则检测行为时，为了既提高检测率，又避免提高误报率，在判断时可以将异常下限δ设为0.01，即μ_nonself(x)低于0.01认为x是正常的，反之则视为异常。

3、利用免疫进化算法生成成熟检测器

检测器是入侵检测系统的主要部件，抗体的生成算法是构成一个成熟检测器的关键。目前，国内外学者在研究中大多基于否定选择原理来生成成熟检测器。其生成过程会给系统带来较大的负担，并且在某些情况下，所需检测器的数目会非常庞大，将会使系统处于不可控状态。针对以上问题，本发明中采用免疫进化算法来生成成熟检测器，将抗原和抗体分别对应于优化问题的目标函数和可行解，把抗体和抗原的亲和度视为可行解与目标函数的匹配程度。通过计算抗体与抗原的亲和度促进较优抗体的遗传和变异，用记忆库保存择优后的可行解来抑制相似可行解的继续产生并加速搜索到全局最优解，同时，当相似问题再次出现时，能较快产生适应该问题的较优解甚至最优解。

根据抗体、抗原的编码方式不同，亲和度计算方法可以分为实数表示和二进制表示两种。本发明使用实数表示的亲和度计算方法，抗体和抗原都用实数向量来表示，设实数向量坐标集合M＝<m1，m2，…，mL>，M∈U，其中U表示形态空间，代表KDD99数据集中的所有数据，即所有的网络访问模式，L表示空间维数，抗原Ag∈M，其向量表示为<ag₁，ag₂，…，ag_L>，抗体Ab∈M，其向量表示为<ab₁，ab₂，…，ab_L>。实数表示的亲和度算法主要用来计算抗体和抗原之间的距离。距离的计算方式采用Euclidean距离：

$D=\sqrt{\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{({\mathrm{ab}}_i-{\mathrm{ag}}_i)}^2}---\left(5\right)$

本发明的未成熟检测器生成后，利用免疫进化算法生成成熟检测器，具体步骤如下：

步骤1：对入侵行为的特征进行分析，将行为数据各个字段的二进制编码换算成相应的实数编码方式，使之适用于与“抗体”之间亲和度的计算；

步骤2：已知的抗体构成初始抗体群A1，设定记忆库M1为空集，计算A1中抗体的亲和度，由亲和度较高的抗体构成群体A2；

步骤3：生成免疫记忆细胞。在抗体群A2中选择出亲和度较高的抗体以构成记忆细胞群B，细胞克隆算子作用于B而繁殖出M个克隆，将记忆细胞群B中的抗体进入记忆库M1以更新其中的亲和度较低的抗体；

步骤4：对克隆细胞进行突变，获得变异的克隆集C1，并计算其中抗体的亲和度；

步骤5：针对克隆集C1，依据抗体的亲和度和相似度抑制部分抗体，获得一个克隆集C2；

步骤6：从C2经免疫选择获取亲和度较高的抗体与记忆库中的记忆抗体A2构成N个抗体集合；

步骤7：若满足条件，输出结果，否则返回步骤2。

4、入侵检测

本阶段负责实时监视入侵活动。上面所生成的检测器在这里扮演着重要的检查岗位职责，对待检测数据流进行及时的监控，一旦发现有入侵行为，系统马上采取相应的响应策略进行处理。

入侵检测具体步骤如下：

步骤1：利用上述生成的成熟检测器对访问数据进行识别；

步骤2：若检测数据为正常模式则允许访问，否则拒绝其访问；

步骤3：利用免疫进化算法动态更新异常模式数据库，将记忆库中与抗原亲和度较低的抗体删除。

Claims (4)

1.一种基于模糊免疫理论的网络入侵检测方法，其特征在于，所述方法包含如下步骤：

步骤1：构造一定数目的训练样本集；

步骤2：对数据进行标准化处理；

步骤3：利用模糊c-均值方法对处理过的训练数据进行聚类分析；

步骤4：生成检测入侵行为的检测器，再由免疫进化算法生成成熟的检测器；

步骤5：利用成熟的检测器对网络访问数据进行检测；

步骤6：若检测数据为正常模式则允许访问，否则拒绝其访问；

步骤7：动态更新检测库，即将与抗原亲和度高的抗体加入成熟检测器的记忆库中。

2.根据权利要求1所述的一种基于模糊免疫理论的网络入侵检测方法，其特征在于，所述步骤1从KDD99数据集中，随机选取包含正常数据和各种攻击数据的1万条记录用来构造训练样本集。

3.根据权利要求1所述的一种基于模糊免疫理论的网络入侵检测方法，其特征在于，所述步骤2对实验数据进行标准化处理，包括：

1)对数值型字段的特征属性采用公式进行标准化处理，其中x_if为样本x_i的f维属性值，min(x_if)为训练样本集所有样本的第f维属性的最小值，max(x_if)为训练样本集所有样本的第f维属性的最大值，经过该处理后，属性值均在[0,1]之间；

2)对非数值型字段的特征属性标准化处理方法是按照一定顺序给每个不同取值赋予一个正整数值；KDDCUP99数据集中有protocol_type、service和flag三个属性值是文本的符号性属性，标准化方法是用数字值来替换文本属性值，若在协议类型属性中出现了TCP、UDP、ICMP，则分别替换为0、1、2；将数据集中的1到10维属性作为聚类特征属性，第11维标识性属性，用于聚类结果的评判分析。

4.根据权利要求1所述的一种基于模糊免疫理论的网络入侵检测方法，其特征在于，所述步骤4生成检测器，包括：

一个抗原对应的检测规则集合R(x,F)定义为：

R₁：If condition₁≥δThen nonself

R₂：If condition₂≥δThen nonself

… … …

R_l：If condition_l≥δThen nonself

其中：δ为阀值，condition_i＝min{μ(x₁∈F₁),μ(x₂∈F₂)...μ(x_n∈F_n)}，生成检测规则时F_i由抗原属性x_i的取值决定，例如x_i＝0.3，则F_i为[0,0.4]或(0.2,0.6]，因此，一个抗原可生成多条检测规则；检测一个行为x时，μ(x_i∈F_i)代表行为x的特征属性x_i对集合F_i的隶属度，它的大小反映了模糊变量x_i隶属于模糊集合F_i的程度；

μ(x_i∈F_i)计算规则包括：当模糊变量x_i属于[0,0.2]时，其对于值域“低”的隶属度为1；当x_i属于(0.2,0.4]时，其对值域“低”的隶属度为(0.4-x_i)/(0.4-0.2)，而对值域“中”的隶属度则为(x_i-0.2)/(0.4-0.2)；当x_i属于(0.4，0.6]时，其对值域“中”的隶属度为(0.6-x_i)/(0.6-0.4)，而对值域“高”的隶属度则为(x_i-0.4)/(0.6-0.4)；当x_i属于(0.6，0.8]时，其对值域“高”的隶属度为(0.8-x_i)/(0.8-0.6)，而对值域“很高”的隶属度则为(x_i-0.6)/(0.8-0.6)；当x_i属于(0.8，1]时，其对值域“很高”的隶属度为1；

给定一组规则{R₁，…，R_m}，行为样本x的异常度定义为：

${\mathrm{\&mu;}}_{\mathrm{nonself}}\left(x\right)=\underset{i=1...m}{\max }\left\{{\mathrm{Condition}}_i\left(x\right)\right\}$

所述的Condition_i(x)表示按检测规则R_i中的Condition_i计算得到的模糊值；μ_nonself(x)表示对非自体集的隶属程度；一个靠近“0”的值意味着x是正常的，越接近“1”的值说明x的异常度越高。