CN102521534B - 一种基于粗糙熵属性约简的入侵检测方法 - Google Patents

Abstract

基于粗糙熵属性约简的入侵检测方法，包括如下步骤：1)训练阶段，收集已知类型进程的系统调用序列作为训练集；统计训练集里某类进程中系统调用的出现概率对其序列作规范化处理，生成短序列集合；基于属性重要度模型计算短序列的属性重要度并排序；基于粗糙熵属性约简算法训练出某类型进程分类规则；重复b、c、d得到训练集中所有类型进程的分类规则，得到进程分类规则集；结束；2)检测阶段，收集待测进程的系统调用序列；对调用序列进行预处理生成短序列集合；根据进程分类规则识别进程种类，判断进程是否异常；结束。本发明在计算简单的前提下，提高了检测的精度，明显降低误报警率。

Description

一种基于粗糙熵属性约简的入侵检测方法

技术领域

本发明涉及基于主机系统调用序列分析的入侵检测方法，尤其涉及一种基于粗糙熵的序信息系统属性约简的入侵检测方法。

背景技术

入侵检测技术是近20年来出现的一种新型网络安全技术。作为防火墙之后的重要安全保障，入侵检测系统能够检测出多种形式的入侵行为，是现代计算机网络安全体系的一个重要组成部分。在网络技术迅速发展、网络安全问题日益突出的环境下，传统的入侵检测系统已经难以满足对越来越复杂的网络攻击的检测任务，其难点之一是入侵检测系统往往难以快速分析处理所搜集的大量数据。入侵检测本质是一种分类的过程，是一种信息识别和检测技术。将人工智能方法应用到入侵检测系统，已经成为入侵检测系统研究的主要方向之一，例如基于粗糙集知识约简的入侵检测技术等。

粗糙集理论作为一种数据分析处理理论，在1982年由波兰科学家Z.Pawlak提出，是继概率论，模糊集，证据理论之后的又一个处理不确定性的理论工具。它能有效地对数据进行分析和推理，从不精确，不一致和不完整信息中发现隐含的知识，揭示潜在的规律。粗糙集近年来越来越受到重视，是当前国际上人工智能理论及其应用领域中的研究热点之一，其有效性已在许多科学与工程领域的成功应用中得到证实，如临床医疗诊断、模式识别与分类、数据挖掘等。

属性约简是粗糙集理论应用中的基本问题。Wong.S.K.M和Ziarko.W已经证明找出一个信息系统决策表的最小约简是NP-hard问题，启发式搜索是解决这类问题的一般方法。经典粗糙集是以完备信息系统作为研究对象，以等价关系为基础对论域进行等价类的划分。然而在实际操作中，由于噪声、信息缺损以及属性的偏好信息等因素，基于等价关系的经典粗糙集理论已不再适合。

为了扩展粗糙集理论的应用领域，许多研究工作就此展开，已经提出了以相容关系、相似关系以及优势关系代替经典粗糙集中的等价关系来划分论域的做法，可以改进属性约简的效果。但这些算法没有考虑利用粗糙熵来构造的属性重要度模型，从而无法通过属性约简来满足入侵检测系统的实时性和预测精度要求。

发明内容

本发明目的是：提出一种对进程的系统调用序列构建序信息系统模型的方法、基于粗糙熵进行属性约简得到进程分类规则来实施入侵检测的方法，从而提高入侵检测性能。

本发明的技术方案是：基于粗糙熵属性约简的入侵检测方法，包括如下步骤：1)训练阶段：

a)收集已知类型进程的系统调用序列作为训练集；

b)统计训练集里某类进程中系统调用的出现概率对其序列作规范化处理，生成短序列集合；

c)基于属性重要度模型计算短序列的属性重要度并排序；

d)基于粗糙熵属性约简算法训练出某类型进程分类规则；

e)重复b、c、d得到训练集中所有类型进程的分类规则，得到进程分类规则集；

f)结束。

2)检测阶段

a)收集待测进程的系统调用序列；

b)对调用序列进行预处理生成短序列集合；

c)根据进程分类规则识别进程种类，判断进程是否异常；

d)结束

其中步骤1-b具体过程如下：

1)从训练集中取出尚未得到分类规则的第t类进程的所有系统调用序列集合C，计算其中每种系统调用的出现概率，构建系统调用号与按其概率值严格升序排序后序号值之间的映射Map_t，用排序后的序号值代替原序列中的系统调用号，生成新的序列集合C’；

2)以长度为K的窗口将C’中每个长序列以步长1滑动截取成多个长度为K的短序列，若某个长序列长度为n，则可得到n-K+1个短序列；构建一个序信息系统I(U,A,V,f)，其中U是对象集，每个短序列都是一个对象；A为属性集，每个对象可表示为K个属性各自取值的向量；f(x,a)是一个信息函数，表示U中对象x的属性a的取值；V为属性值的集合，A中所有属性的值域上存在偏序关系；

步骤1-c具体过程如下：

1)根据序信息系统属性重要度模型计算每个属性重要度，公式如下：

${\mathrm{sig}}_{\mathrm{in}}(a,A)=\mathrm{GI}(A-\{a\left\}\right)-\mathrm{GI}\left(A\right),\∀a\∈A---\left(I\right)$

其中，GI是属性或属性集的信息粒度，对于属性集B的信息粒度计算公式如下：

$\mathrm{GI}\left(B\right)=\frac{1}{\left|U\right|}{\mathrm{\Σ}}_{i=1}^{\left|U\right|}\frac{\left|{\left[X_i\right]}_B^{\≥}\right|}{\left|U\right|},X_i\∈U---\left(\mathrm{II}\right)$

其中，为对象基于属性集B的优势类，计算公式如下：

${\left[X_i\right]}_B^{\≥}=\{y\∈U|f(y,a)\≥f(x,a),\∀a\∈B\}---\left(\mathrm{III}\right)$

2)按照属性重要度取值对属性集A中的所有属性作降序排序；

步骤1-d具体过程如下：

1)序信息系统初始约简集Red(A)为

2)将A中的属性已按照属性重要度降序排序，依次选取A中属性a_i,0<i≤K，令Red(A)＝Red(A)∪{a_i}，计算sig_in(a,Red(A))；若sig_in(a,Red(A))≥α，则重复2)；否则执行3)；其中α为属性重要度阈值，α一般取值为0.05；

3)计算GI(Red(A))-GI(A)，如果该值大于β，则执行2)；否则执行4)；其中β为约简集信息差阈值，β一般取值为0.05；

4)确定Red(A)为序信息系统的约简，去除在Red(A)中属性取值完全相同的冗余对象，得到新的对象集U_t，U_t的属性集为Red(A)；

5)将U_t每个属性的取值根据Map_t由排序序号还原为系统调用号，得到第t类进程的分类规则R_t。

步骤2-c具体过程如下：

1)将短序列集合S中的每个短序列与进程分类规则集作匹配，用match_i[]来记录S中的第i个短序列与各种类型进程的匹配情况，match_i[]长度为规则集中进程类型数T。当该短序列匹配到第t类进程时，match_i[t]＝1，否则为match_i[t]＝0；用unmatch来记录未匹配到任何类型进程的短序列数量，初始为0，如果数组matchi[]各元素均为0，则unmatch加1；

2)用长度为T的数组count[]来记录S中的短序列与进程匹配规则集的匹配情况。 $\mathrm{count}\left[t\right]={\mathrm{\&Sigma;}}_{i=1}^{\left|S\right|}{\mathrm{match}}_i\left[t\right],0\&le;t<T,$ 则count[t]表示匹配到第t类进程的短序列个数；

3)计算进程匹配支持度Sup＝1-unmatch/|S|；

4)用长度为T的数组Conf[]来记录匹配到各类进程的可信度，计算该未知进程匹配到第t类进程的可信度Conf[t]＝(count[t])/(|S|-unmatch)；

5)判断待检测进程的类别，确定是否为入侵进程。设定支持度阈值V_sup(V_sup一般取0.95)，可信度阈值V_conf(V_conf一般取0.86)；若Sup<V_sup，则判定待测进程为新的未知类型的异常，执行6)；否则，寻找最大Conf[t]，若Conf[t]<V_conf，则待测进程仍然判定为新的未知类型的异常，执行6)；否则，该进程的类型为t，执行7)；

6)提示进程未识别，结束本过程；

7)提示进程类型，给出是否属入侵进程的判断结果，结束本过程。

本发明的有益效果是：本发明的基于粗糙熵属性约简的入侵检测方法在计算简单的前提下，提高了检测的精度，针对数据量较大的序列数据分析效果较好，从而提高了入侵检测系统的入侵检测性能，明显降低误报警率。

附图说明

图1基于进程系统调用的入侵检测系统工作流程图。

图2本发明的基于粗糙熵属性约简的入侵检测方法工作流程图。

图3训练阶段工作流程图。

图4对基于进程调用序列构造的序信息系统进行约简的工作流程图。

图5匹配阶段工作流程图。

具体实施方式

下面结合附图对本发明进行详细说明。

如图1所示，基于进程调用的入侵检测系统使用进程调用序列采集设备获取进程调用序列，经过对序列进行格式化等预处理，然后基于序列生成特征规则，进而用于入侵识别。入侵识别的结果可以进行警报关联，入侵跟踪等后续处理，本发明只做识别，未对进程做后续处理。

本发明基于粗糙集中的粗糙熵理论，将入侵检测的实施分为训练和检测两个阶段，如图2所示。本发明的关键在于使用基于粗糙熵的属性约简方法生成进程匹配规则集，并使用概率统计方法生成检测结果。

步骤2-0是本发明的基于进程调用序列的入侵检测方法的起始状态；

训练阶段包括步骤2-1、步骤2-2、步骤2-3；

步骤2-1获取各种已知类型进程的系统调用序列作为样本；

步骤2-2对每种类型的进程的系统调用序列作序信息系统化预处理；

步骤2-3使用粗糙熵模型对该序信息系统进行约简，生成该类进程的匹配规则；通过合并所有类型进程的匹配规则，生成进程匹配规则集；

在检测阶段包括步骤2-4、步骤2-5、步骤2-6；

步骤2-4获取待检测进程的系统调用序列；

步骤2-5将调用序列截取为多个长度相同的短序列；

步骤2-6将待检测进程的所有进程调用短序列与进程匹配规则集进行匹配，通过概率统计方法计算匹配结果，进而判断进程类型是否为已知，如果为已知，则判断是否是入侵进程；

步骤2-7是本发明的结束状态。

图3是对训练阶段的详细描述。

步骤3-0开始训练步骤；

步骤3-1获取到的进程系统调用序列样本集合，该集合中包含了多种已知类型进程的系统调用序列，同种类型进程可有多条系统调用序列；

步骤3-2判断是否当前样本集中的所有类型进程都已经通过训练生成该类型进程的匹配规则，如果已全部训练完毕，执行步骤3-9；否则，执行步骤3-3；

步骤3-3从训练集中取出尚未得到分类规则的第t类进程的所有系统调用序列集合C；

步骤3-4计算C中每种系统调用的出现概率，构建系统调用号与按其概率值严格升序排序后序号值的映射Map_t，用排序的序号值代替原序列中的系统调用号，生成新的序列集合C’；

步骤3-5用一个长度为K(K一般取15)的窗口将C’中每个长序列以步长1滑动截取成多个长度为K的短序列，若某个长序列长度为n，则可得到n-K+1个短序列。构建一个序信息系统I(U,A,V,f)，其中U是对象集，每个短序列即为一个对象；A为属性集，每个对象可表示为K个属性各自取值的向量；f(x,a)是一个信息函数，它表示U中对象x的属性a的取值；V为属性值的集合；

步骤3-6、步骤3-7、步骤3-8是属性约简得到规则的过程，详细步骤在图4中描述；

步骤3-6基于粗糙熵，对序信息系统I进行约简，生成约简集Red(A)；

步骤3-7基于Red(A)对冗余对象作删除处理；

步骤3-8将各属性的取值由排序号替换为系统调用号，生成当前类型进程的匹配规则集，然后执行步骤3-2；

步骤3-9将所有类型进程的匹配规则集作合取操作，生成最终的进程类型匹配规则集；

步骤3-10为训练阶段结束状态。

图4在对某种类型进程的系统调用序列进行与处理后生成的序信息系统I作属性约简并最终生成该类进程的匹配规则集的详细过程。

步骤4-0为开始状态；

步骤4-1基于经过预处理后生成的序信息系统I，对其相应约简集Red(A)作初始化；

步骤4-2根据序信息系统属性重要度公式(I)计算序信息系统I的属性集A中每个属性的重要度，并将所有属性按照其重要度值作降序排列；

步骤4-3初始i＝1；

步骤4-4判断是否所有属性已被选取添加到Red(A)中；

步骤4-5选取属性a_i，令Red(A)＝Red(A)∪{a_i}；

步骤4-6计算属性a_i对于Red(A)的重要度sig_in(a,Red(A))，如果sig_in(a,Red(A))≥α(α一般取0.05)，则执行步骤4-8；否则，执行4-7；

步骤4-7根据信息粒度计算公式(II)分别计算Red(A)与A的信息粒度并求其差；若其值大于β(β一般取值为0.05)，则执行步骤4-8；否则，执行4-9；

步骤4-8i＝i+1；

步骤4-9确定Red(A)为序信息系统的约简，去除在Red(A)中属性取值完全相同的冗余对象，得到新的对象集U_t，U_t的属性集为Red(A)；

步骤4-10将U_t每个属性的取值按照Map_t由排序序号还原为系统调用号，得到第t类进程的分类规则R_t；

步骤4-11结束约简过程。

图5是详细的进程类型检测过程。

步骤5-0为该过程初始状态；

步骤5-1获取待检测进程的系统调用序列；

步骤5-2用一个长度为K的窗口将待检测进程的系统调用序列序列以步长1滑动截取成多个相同长度的短序列，定义该短序列集合为S；

步骤5-3将短序列集合S中的每个短序列与进程分类规则集作匹配，用match_i[]来记录S中的第i个短序列与各种类型进程的匹配情况，match_i[]长度为规则集中进程类型数T。若该短序列匹配到第t类进程时，match_i[t]＝1，否则为match_i[t]＝0；用unmatch来记录未匹配到任何类型进程的短序列数量，初始为0，若数组match_i[]所有元素均为0，则unmatch加1；用长度为T的数组count[]来记录S中的短序列与各类进程匹配规则集的匹配情况， 则count[t]表示匹配到第t类进程的短序列个数；

步骤5-4计算待检测类型的匹配支持度Sup＝1-unmatch/|S|，并判断其值是否大于支持度阈值V_sup(V_sup一般取0.95)；如果若Sup<V_sup，则被检测进程仍被判定为未知进程，执行步骤5-8；否则，执行步骤5-5；

步骤5-5用长度为T的数组Conf[]来记录被检测进匹配到各类进程的可信度，计算该未知进程匹配到第t类进程的可信度Conf[t]＝(count[t])/(|S|-unmatch)，并求最大Conf[t]值；

步骤5-6若Conf[t]<V_conf(V_conf一般取0.86)，则被检测进程仍被判定为未知进程，执行步骤5-8；否则，执行步骤5-7；

步骤5-7中，判断使得Conf[t]取最大值的进程类型t是否是正常进程，如果是，执行步骤5-9；否则执行步骤5-10；

步骤5-8识别为未知进程；

步骤5-9识别为正常进程；

步骤5-10识别为入侵进程；

步骤5-11记录检测结果；

步骤5-12为检测步骤的结束状态。

Claims (2)

1.一种基于粗糙熵属性约简的入侵检测方法，其特征在于该方法包括如下步骤：

1)训练阶段：

a)收集已知类型进程的系统调用序列作为训练集；

b)统计训练集里某类进程中系统调用的出现概率对其序列作规范化处理，生成短序列集合；

c)基于属性重要度模型计算短序列的属性重要度并排序；

d)基于粗糙熵属性约简算法训练出某类型进程分类规则；

e)重复b、c、d得到训练集中所有类型进程的分类规则，得到进程分类规则集；

f)结束；

2)检测阶段

a)收集待测进程的系统调用序列；

b)对调用序列进行预处理生成短序列集合；

c)根据进程分类规则识别进程种类，判断进程是否异常；

3)结束；

其中所述步骤1-b)所述的规范化处理：

1)从训练集中取出尚未得到分类规则的第t类进程的所有系统调用序列集合C，计算其中每种系统调用的出现概率，构建系统调用号与按其概率值严格升序排序后序号值之间的映射Map_t，用排序后的序号值代替原序列中的系统调用号，生成新的序列集合C’；

2)以长度为K的窗口将C’中每个长序列以步长1滑动截取成多个长度为K的短序列，若某个长序列长度为n，则可得到n-K+1个短序列；构建一个序信息系统I(U，A，V，f)，其中U是对象集，每个短序列都是一个对象；A为属性集，每个对象可表示为K个属性各自取值的向量；f(x,a)是一个信息函数，表示U中对象x的属性a的取值；V为属性值的集合，A中所有属性的值域上存在偏序关系；

3)结束；

步骤1-c所述的属性重要度计算：

1)根据序信息系统属性重要度模型计算每个属性重要度，公式如下：

sig_in(a，A)＝GI(A-{a})-GI(A)，a∈A    (I)

其中，GI是属性或属性集的信息粒度，对于属性集B的信息粒度计算公式如下：

$\mathrm{GI}\left(B\right)=\frac{1}{\left|U\right|}{\mathrm{\&Sigma;}}_{i=1}^{\left|U\right|}\frac{\left|{\left[x_i\right]}_B^{\&GreaterEqual;}\right|}{\left|U\right|},x_i\&Element;U---\left(\mathrm{II}\right)$

其中，为对象基于属性集B的优势类，计算公式如下：

$\left[x\right]\stackrel{\&GreaterEqual;}{B}=\{y\&Element;U|f(y,a)\&GreaterEqual;f(x,a),\&ForAll;a\&Element;B\}---\left(\mathrm{III}\right)$

2)按照属性重要度取值对属性集A中的所有属性作降序排序；

3)结束；

其中步骤1-d所述的属性约简算法：

1)序信息系统初始约简集Red(A)为

2)A中的属性已按照属性重要度降序排序，依次选取A中属性a_i，0<i≤K，令Red(A)＝Red(A)U{a_i}，计算sig_in(a_i，Red(A))；若sig_in(a_i，Red(A))≥α，则重复

2)；否则执行3)；其中α为属性重要度阈值，α取值为0.05；

3)计算GI(Red(A))-GI(A)，如果该值大于β，则执行2)；否则执行4)；其中β为约简集信息差阈值，β取值为0.05；

4)确定Red(A)为序信息系统的约简，去除在Red(A)中属性取值完全相同的冗余对象，得到新的对象集U_t，U_t的属性集为Red(A)；

5)将U_t每个属性的取值根据Map_t由排序序号还原为系统调用号，得到第t类进程的分类规则R_t；

6)结束。

2.根据权利要求1所述的基于粗糙熵属性约简的入侵检测方法，其特征在于步骤2-c所述的属性约简算法：

1)将短序列集合S中的每个短序列与进程分类规则集作匹配，用match_i[]来记录S中的第i个短序列与各种类型进程的匹配情况，match_i[]长度为规则集中进程类型数T；当该短序列匹配到第t类进程时，match_i[t]＝1，否则为0；用unmatch来记录未匹配到任何类型进程的短序列数量，初始为0，如果数组match_i[]各元素均为0，则unmatch加1；

2)用长度为T的数组count[]来记录S中的短序列与进程匹配规则集的匹配情况； $\mathrm{count}\left[t\right]{=\mathrm{\&Sigma;}}_{i=1}^{\left|S\right|}{\mathrm{match}}_i\left[t\right],0\&le;t<T,$ 则count[t]表示匹配到第t类进程的短序列个数；

3)计算进程匹配支持度Sup＝1-unmatch/|S|；

4)用长度为T的数组Conf[]来记录匹配到各类进程的可信度，计算该未知进程匹配到第t类进程的可信度Conf[t]＝(count[t])/(|S|-unmatch)；

5)判断待检测进程的类别，确定是否为入侵进程；设定支持度阈值V_sup，可信度阈值V_conf；若Sup<V_sup，则判定待测进程为新的未知类型的异常，执行6)；否则，寻找最大Conf[t]，若Conf[t]<V_conf，则待测进程仍然判定为新的未知类型的异常，执行6)；否则，该进程的类型为t，执行7)；

6)提示进程未识别，执行8)；

7)提示进程类型，给出是否属入侵进程的判断结果，执行8)；

8)结束。