CN105262715A

CN105262715A - 一种基于模糊时序关联模式的异常用户检测方法

Info

Publication number: CN105262715A
Application number: CN201510142063.5A
Authority: CN
Inventors: 张红旗; 杨英杰; 刘帅; 汪永伟; 常德显
Original assignee: PLA Information Engineering University
Current assignee: PLA Information Engineering University
Priority date: 2015-03-27
Filing date: 2015-03-27
Publication date: 2016-01-20
Anticipated expiration: 2035-03-27
Also published as: CN105262715B

Abstract

本发明涉及一种基于模糊时序关联模式的异常用户检测方法，属于网络安全技术领域。本发明采用事件模糊时序关联模式描述用户事件发生的时序关系或因果关系；然后将采用上述描述的既成知识、通用的用户事件序列模式和随机选取的会话项序列作为初始种群，利用遗传算法对初始种群进行训练，将得到频繁项集作为用户事件序列模式集；最后将实时采集到用户事件序列与相应用户事件序列模式集进行匹配，若匹配不成功，则说明用户异常，实现对异常用户的检测。本发明采用用户操作键的时序关系准确地描述和反映出频繁发生的用户行为，能够快速检测出违反正常行为模式的用户，解决了现有技术中用户行为异常难以检测以及检测不准的问题。

Description

一种基于模糊时序关联模式的异常用户检测方法

技术领域

本发明涉及一种基于模糊时序关联模式的异常用户检测方法，属于网络安全技术领域。

背景技术

用户是网络行为的行为主体，用户的身份和习惯导致其在网络行为上存在某种规律性。基于用户行为的这种规律性，可以对用户行为进行建模，得到用户行为模式，检测和发现在某段时间内与之不相匹配的异常行为，判定异常用户，为网络安全的维护进一步提供依据。网络用户行为分析根据分析的对象不同可分为两种，分别是基于网络的网络用户行为分析和基于主机的网络用户行为分析，前者主要针对网络通信流量对用户行为进行建模，而后者则主要侧重从主机或服务器采集的日志、操作命令等数据对用户行为建模。

目前我国针对网络用户行为的研究尚处于起步阶段，多基于主机进行行为分析，主要针对网络服务器的日志分析挖掘用户在检索、查询、浏览等行为上的特征，从而为网络行为审计以及入侵检测等提供参考。

中国科学院的连一峰和肖喜等人提出一种基于主机审计的shell命令的异常检测方法，通过shell命令对用户行为建模并发现违反正常行为模式的用户行为。

基于网络流的用户行为分析主要通过是用户所产生流量内部特征的关联关系来对该用户行为进行建模，如李昆仑等提出一种基于流量关联关系的用户行为建模方法，使用时间、访问的网站、使用的网络服务和产生的流量四种特征属性及其关联关系来描述用户行为，并发现异常；杨铮等则通过<编号，时间段，模式，支持度，置信度，产生时间，流量，置信区间>来对用户行为进行建模。这种建模方式只考虑了用户单次行为的模式，而忽略了用户的多次访问或操作之间的时序关联关系，这种对于用户行为的描述方法不能完整的描述用户行为模式。

上述基于网络的用户行为分析主要是基于用户的网络流量，由于很多异常应用行为在底层流量的反映上与正常流量并无明显差别，故这类方法往往较难检测出应用行为异常的用户；上述基于主机的网络行为分析技术大多缺乏实时的用户事件采集和处理机制，导致其不能准确实时的检测用户异常。同时由于目前关联规则的局限性，一般的行为建模方法较难准确地描述和反映出频繁发生的用户行为。

发明内容

本发明的目的是提供一种基于模糊时序关联模式的异常用户检测方法，以解决现有技术中用户行为异常难以检测以及检测不准的问题。

本发明为解决上述技术问题而提供一种基于模糊时序关联模式的异常用户检测方法，该检测方法包括以下步骤：

1)采用事件模糊时序关联模式描述用户事件发生的时序关系或因果关系；

2)将采用上述描述的既成知识、通用的用户事件序列模式和随机选取的会话项序列作为初始种群，利用遗传算法对初始种群进行训练，将得到频繁项集作为用户事件序列模式集；

3)将实时采集到用户事件序列与相应用户事件序列模式集进行匹配，若匹配不成功，则说明用户异常。

所述步骤1)中是通过将用户事件序列划分为时间相等的时间片来进行描述的。

所述步骤2)中采用的遗传算法训练过程如下：

A)将采用事件模糊时序关联模式描述的用户事件序列设计成一条染色，染染色体头部存储会话项个数，每个基因代表一个事件，会话项频度存储在染色体对应基因的尾部；

B)选取既成知识、通用的用户事件序列模式和随机选取的会话项序列作为初始种群；

C)根据事件序列的支持度和兴趣度，计算染色体的适应度Fit(C)，

Fit (C) = \frac{w_{1} * \sup (C) + w_{2} * Interest (C)}{(w_{1} + w_{2})}

其中sup(C)为染色体所对应事件序列的支持度，Interest(C)表示染色体对应事件序列的兴趣度，w₁与w₂为预先定义的权重，分别代表支持度和兴趣度的相对重要性程度，两者之和为1；

D)根据个体的相似度调整个体的适应度，按照调整后适应度选择进入下一代的个体；

E)对每代个体进行交叉、变异的遗传操作，生成新的子个体；

F)重复步骤C)-E)，直至满足设定条件，输出种群中适应度最优的染色体对应的频繁项集作为用户事件序列模式集。

所述步骤C)中染色体对应事件序列的兴趣度的计算公式为：

Interest (C) = \frac{\sup^{n} ((I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}}))}{Π_{i}^{n} \sup (I_{i}, f_{I_{i}})}

(1 - \sup ((I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}})))

其中

(I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}})

为C所对应的项集。

所述步骤D)中个体间的相似度为两染色体之间相同的基因数与两染色体上存在的基因总数的比值，采用Jccard距离计算，

similarity (C) = \frac{1}{M} Σ_{i = 1}^{M} similarity (C, C_{i})

其中similarity(C)为基因C的相似度，M为两染色体上的存在基因总数。

所述步骤E)中交叉遗传操作采用的交叉概率为P_C为：

P_C＝1-similarity(C₁,C₂)

其中C₁,C₂为两父代个体。

所述步骤E)中变异遗传操作包括基因的变异操作和会话频度的变异操作。

所述步骤F)中的设定条件为进化代数达到设定的最大阈值，或者找到的频繁项集数已达到估计数目。

所述步骤3)中用户时间序列的构建是以滑动窗口为基础的。

本发明的有益效果是：本发明采用事件模糊时序关联模式描述用户事件发生的时序关系或因果关系；然后将采用上述描述的既成知识、通用的用户事件序列模式和随机选取的会话项序列作为初始种群，利用遗传算法对初始种群进行训练，将得到频繁项集作为用户事件序列模式集；最后将实时采集到用户事件序列与相应用户事件序列模式集进行匹配，若匹配不成功，则说明用户异常，实现对异常用户的检测。本发明应用模糊逻辑代替布尔逻辑，引入事件发生频度描述用户事件模糊时序关联模式，基于用户操作间的时序关系反映其行为模式，该方法准确地描述和反映出频繁发生的用户行为，能够快速检测出违反正常行为模式的用户，解决了现有技术中用户行为异常难以检测以及检测不准的问题。

附图说明

图1是事件发生频度的隶属度函数示意图；

图2是审计日志时间片划分示意图；

图3是染色体编码示意图；

图4是染色体杂交过程示意图；

图5是染色体变异过程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

异常用户检测是局域网安全防护、内部数据安全保护的关键技术。当前的异常用户检测技术大多基于主机或服务器上的系统日志或操作命令等进行分析，这些检测方式大多是事后型的，很难实时检测用户异常。而在实际运行的系统中，用户操作的事件往往是频繁发生的，在描述事件的时序关系是，事件不再是简单的发生或不发生，传统的布尔型关联规则不能够完整描述出用户在会话时序关系上的规律。本发明首先应用模糊逻辑代替布尔逻辑，引入事件发生频度F重新定义审计事件模糊时序关联模式，利用遗传算法进行模式训练，在实时检测阶段，实时采集系统产生的审计日志，并设计一个时间较短的滑动窗口，在滑动窗口内采用模式匹配的方法判定用户异常。该方法的具体实施过程如下：

1.应用模糊逻辑确定审计事件的模糊时序关联模式。

在一段特定时间内，会话发生频度F用于表示事件在滑动窗口W内发生次数多少的量值，其值域是{zero,few,many}。其中，zero表示事件在该段时间内未发生，few表示事件少量发生，many表示事件多次发生。用户事件发生频度是一个模糊概念，本发明结合模糊集理论给出事件发生次数对zero、few和many的隶属度函数进行定义，如图1所示。图1中NUM为事件发生次数，Y＝{zero,few,many}为NUM域上的模糊集，同时也是事件发生频度F的值域，Y＝{NUM}表示NUM对于概念的隶属度，当NUM＝2时，few(NUM)＝0.9，many(NUM)＝0.1，zero(NUM)＝0，标识当事件发生次数为2时，有0.9的支持度相信事件是少量发生，有0.1的支持度相信事件多次发生，事件不发生的支持度为0，即F＝few的支持度为0.9，F＝many的支持度为0.1，F＝zero的支持度为0。

基于此，可将“事件发生”这一事件描述为其中I_i为事件的唯一标识，为用户事件I_i的事件发生频度取值。参考前文，当I_i在一段事件内发生2次时，(I_i,zero)的支持度为0，(I_i,few)的支持度为0.9，(I_i,many)的支持度为0.1。

给定一个审计日志集合L，将审L按照一个较小的时间t分割成相等时间片，如图2所示，下面对事件模糊时序关联模式的概念进行定义。

Ii和Ij分别是两种用户事件，如果和总是在同一时间片内先后出现，则认为存在一个模糊时序关联模式例如即表示事件A的少量发生和事件B的多次发生之间存在模糊时序关联模式。

模糊时序关联模式

(I_{i}, f_{I_{i}}) &DoubleRightArrow; (I_{j}, f_{I_{j}})

的支持度为和同时出现的时间片数量占时间片总数的百分比，即和这两个项在时间片内同时出现的概率，其数学表达式为：

\sup ((I_{i}, f_{I_{i}}) &DoubleRightArrow; (I_{j}, f_{I_{j}})) = \sup ((I_{i}, f_{I_{i}}) \cup (I_{j}, f_{I_{j}})) = P ((I_{i}, f_{I_{i}}) \cup (I_{j}, f_{I_{j}})) .

模糊时序关联模式的置信度为时间片在包含项的前提下同时也包含项的百分比。其置信度是条件概率其数学表达式为

c o n f ((I_{i}, f_{I_{i}}) &DoubleRightArrow; (I_{j}, f_{I_{j}})) = P ((I_{i}, f_{I_{i}}) | (I_{j}, f_{I_{j}})) P ((I_{i}, f_{I_{i}}) \cup (I_{j}, f_{I_{j}})) / P (I_{i}, f_{I_{i}}) .

若是频繁项集，同时其置信度不低于设定的最小置信度阈值，则称为强模糊时序关联模式。

事件模糊时序关联模式可完整准确地描述事件发生的时序关系或因果关系，例如：即表示只有在b不发生的条件下，(a,few)才会和(d,many)关联出现。

2.利用遗传算法对模糊时序关联模式进行训练。

1)染色体编码

将一个事件序列设计成一条染色体，每个基因代表一个事件，同时在染色体头部存储会话项的个数。对会话发生频度F用0、1、2编码，分别表示事件的不发生zero、少量发生few和多次发生many，并将该会话发生频度编码存储在染色体的基因尾部，如图3所示。

2)选取初始群体

为了保证初始化种群的多样性，初代个体从两个方面获取：一是来自专家经验，主要是将既成知识、通用的用户事件序列模式，将其所对应的项集置于初始种群中，这一部分个体具有良好的适应度，可保证种群存活繁衍，不至灭绝；一是来自随机产生，即将随机选取的会话项序列编码成初代个体，可保证种群的多样性，提高算法的全局搜索能力。

3)选取适应度函数

事件集D中项集(I_i,f_Ii)∪(I_j,f_Ij)的支持度为该事件序列在各时间片中的平均支持度计数，其计算公式为：

\sup ((I_{i}, f_{I_{i}}) \cup (I_{j}, f_{I_{j}})) = \frac{1}{N} Σ_{i = 1}^{N} f_{I_{i}} (NU M_{Ti} (I_{i})) \cdot f_{I_{i}} (NU M_{Ti} (I_{j}))

其中，NUM_Ti(I_i)为时间片T_i中事件I_i的发生量，如在上图的时间片T_i中，NUM(a)＝3表示事件a的发生量NUM为3。表示事件发生频度在发生量为NUM时的支持度，例如many(3)＝0.2表示事件发生量为3时发生频度为many的支持度为0.2。给定一个事件序列(a,many)∪(b,few)∪(c,zero)，其在图2中所示时间片T_i中的支持度计数为0.18，其在整个事件集上的支持度为在所有时间片内的平均支持度计数。

由于在用户的所有事件中，某些事件的发生频率往往远远高于其它事件，导致某些选取到的频繁事件项集并不一定具有意义，所以在定义染色体的适应度时，应当综合考虑支持度和兴趣度等因素。对于某些频繁发生的事件A和B，它们的发生概率都很高，它们同时出现的概率是非常大的，这种频繁模式不能反映用户事件间的时序或因果关系，引入兴趣度的概念。

两项之间关联关系X→Y的兴趣度为：

InterestX &RightArrow; Y = \frac{\sup (X - Y)}{\sup (X)} * \frac{\sup (X - Y)}{\sup (Y)} (1 - \sup (X &RightArrow; Y))

若一个事件模糊时序关联模式C所对应的项集为

(I_{1}, f_{I_{1}},) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}}),

则C的兴趣度为：

Interest (C) = \frac{\sup^{n} ((I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}}))}{Π_{i}^{n} \sup (I_{i}, f_{I_{i}})}

(1 - \sup ((I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}})))

综合支持度和兴趣度概念，染色体的适应度计算公式为为：

Fit (C) = \frac{w_{1} * \sup (C) + w_{2} * Interest (C)}{(w_{1} + w_{2})}

其中sup(C)为染色体所对应事件序列的支持度，Interest(C)表示染色体对应事件序列的兴趣度，w₂为预先定义的权重值，一般在0.4和0.6之间。

4)选择进入下一代的个体

生物在进化中总是与自己的相同物种生活在一起，可将其引申到遗传算法，即将个体置于特定的生存环境中进化，这就是小生境原理。它通过个体之间的相似程度来调整个体的适应度，当个体与其他个体相似时，适应度减小，反之，适应度增大，根据新的适应度进行选择，就可维护群体的多样性，避免过早收敛。本文采用Jccard距离计算个体间的相似度：

similarity(C₁,C₂)＝|C₁∩C₂|/|C₁∪C₂|

即将相似度定义为两染色体之间相同的基因数与两染色体上存在的基因总数的比值，C的类相似度为

similarity (C) = \frac{1}{M} Σ_{i = 1}^{M} similarity (C, C_{i})

调整的染色体适应度为

Fit'(C)＝Fit(C)(1-similarity(C))

此步中，按照调整后的染色体适应度选择个体，适应度越高，选择概率越大，反之越小。

5)进行交叉操作

由两个不同的父染色体相互以一定的概率交配(互换基因)，生成新的子个体。在实际的杂交过程中，如果两个体相似度过高，则杂交效果就不好。故本文将杂交概率与染色体相似度关联。

P_C＝1-similarity(C₁,C₂)

其中C₁,C₂为两父代个体。

整个杂交主要分为选择杂交部分、互换交叉部分、去重三个步骤，如图4所示。

6)进行变异操作

变异分为两个方面：一是基因的变异，变异时为了保证利群优质基因的导入，变异基因在种群中出现概率较小，本发明在每轮进化结束后采集离群基因组成变异基因群，个体变异时从变异基因群中随机选取。二是会话发生频度值的变化。即选定变异位置，只改变该位置的会话发生频度取值。另外，由于网络行为的不可知性，故本发明中的染色体变异率设定较大。变异过程如图5所示。

7)重复步骤3)-6)，直至满足设定的终止条件，本发明采用双重结束条件，一是当进行代数达到设定的最大阈值；二是找到的频繁项集数达到估计数目；一旦满足上述两个条件中任意一个时，结束进化，输出种群中适应度最优的染色体对应的频繁项集。

实现上述算法的伪代码如下：

输入：会话数据集D，适应度阈值s，变异概率P_m，进化代数阈值g，频繁项集数阈值f，已知关联规则集I

输出：频繁项集集合U

算法：Anfuzzygeneticalgorithmfornetworkbehaviorfinding(FGA)

3.实时采集系统产生的审计日志，采用模式匹配的方法判定用户是否异常。

在模式训练阶段，用户事件项集构建是以划分的时间片为基础进行的，但是在模式匹配阶段，网络数据流实时到达，此时需要以滑动窗口为基础进行用户事件序列的构建。

给定时间较短的滑动窗口W，一个用户事件I_i发生可描述为其中I_i是用户事件标识，为用户事件I_i的事件发生频度F取值，值域为{zero,few,many}。NUM表示事件I_i在滑动窗口W中的发生次数，的取值应为当I_i发生次数为NUM时支持度最大的值，支持度计算函数如图1所示。比如，若事件a在W中发生6次，此时zero支持度为zero(6)＝0，few支持度为few(6)＝0.1，many支持度为many(6)＝0.9,则事件a发生频度F取值应为many，事件a发生描述为(a,many)。

对滑动窗口W中每种事件的发生进行描述后，即可得到用户在该滑动窗口中的事件序列L，

L = {(I_{1}, f_{I_{1}}), (I_{2}, f_{I_{2}}), . . . . . ., (I_{n}, f_{I_{n}})} .

用户事件序列L的匹配过程即是从该用户的事件序列模式集MTX中找到与之相匹配模式的过程，如果存在，则匹配成功，输出匹配的事件模糊时序关联模式标识，若不存在则匹配失败，输出用户异常。

下面给出基于滑动窗口的用户事件序列模式匹配的算法实现如下：

输入：用户事件序列模式集MTX，滑动窗口内的用户话集D，用户集合U

输出：模式标识MTX_i或null(MTX_i为匹配成功的模式标识，null代表匹配失败)

算法：sessionseqMatch

通过上述过程本发明能够准确地描述和反映出频繁发生的用户行为，快速检测出违反正常行为模式的用户，解决了现有技术中用户行为异常难以检测以及检测不准的问题。

Claims

1.一种基于模糊时序关联模式的异常用户检测方法，其特征在于，该检测方法包括以下步骤：

2.根据权利要求1所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤1)中是通过将用户事件序列划分为时间相等的时间片来进行描述的。

3.根据权利要求2所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤2)中采用的遗传算法训练过程如下：

Fit (C) = \frac{w_{1} * \sup (C) + w_{2} * Interest (C)}{(w_{1} + w_{2})}

4.根据权利要求3所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤C)中染色体对应事件序列的兴趣度的计算公式为：

Interest (C) = \frac{\sup^{n} ((I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}}))}{Π_{i}^{n} \sup (I_{i}, f_{I_{i}})}

(1 - \sup ((I_{1}, f_{I_{1}}) \cup (I_{2}, f_{I_{2}}) \cup . . . . . . \cup (I_{n}, f_{I_{n}})))

其中为C所对应的项集。

5.根据权利要求4所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤D)中个体间的相似度为两染色体之间相同的基因数与两染色体上存在的基因总数的比值，采用Jccard距离计算，

similarity (C) = \frac{1}{M} Σ_{i = 1}^{M} similarity (C, C_{i})

6.根据权利要求5所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤E)中交叉遗传操作采用的交叉概率为P_C为：

P_C＝1-similarity(C₁,C₂)

其中C₁,C₂为两父代个体。

7.根据权利要求6所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤E)中变异遗传操作包括基因的变异操作和会话频度的变异操作。

8.根据权利要求7所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤F)中的设定条件为进化代数达到设定的最大阈值，或者找到的频繁项集数已达到估计数目。

9.根据权利要求1或8所述的基于模糊时序关联模式的异常用户检测方法，其特征在于，所述步骤3)中用户时间序列的构建是以滑动窗口为基础的。