CN110113368B - 一种基于子轨迹模式的网络行为异常检测方法 - Google Patents

Abstract

本发明公开了一种基于子轨迹模式的网络行为异常检测方法，首先收集网络流量数据并根据用户行为的定义将其转换为用户行为轨迹序列，然后考虑到网络异常行为一般是用户在某个短期时间段上出现的，因此本发明根据最小描述长度准则将每个行为轨迹序列划分为多个具有统一行为模式的子行为序列。接着，根据词向量的方法计算每个子行为序列与其他行为序列的相似性并得出其密度。最后根据基于密度的异常检测方法综合得出待检测序列的局部异常程度，并根据其大小确定异常行为。本发明根据子轨迹模式来检测网络异常行为，既提高了异常检测的准确性，同时也可以确认异常行为出现的具体时间段，为后续的异常行为模式分析和网络攻击行为预防提供了技术支持。

Description

一种基于子轨迹模式的网络行为异常检测方法

技术领域

本发明属于网络安全技术领域，更为具体地讲，涉及一种基于子轨迹模式的网络行为异常检测方法。

背景技术

随着信息技术的快速发展以及网络应用的日益普及，通信网络已经成为人们日常生活中不可或缺的信息传播媒介。然而，在网络技术给用户带来便利的同时，针对通信网络的攻击也越来越多。如今虽然大部分机构组织已经建立了相对稳定的信息网络安全保护机制，但是网络攻击的手段也越来越多样化，其性质和后果也越来越严重。在这种严重的态势下，采取有效措施防范网络攻击是当前网络安全领域的一个亟需解决的问题。然而想要完全避免网络攻击的事件发生是不现实的，只能够尽可能地检测到网络异常并及时处理，该方式称为网络异常检测。

传统的网络异常检测技术主要分为两种：基于主机和基于网络。基于主机的异常检测主要检测整个主机日志和操作命令，存在交互性不足和难以实时检测的问题。基于网络的异常检测将网络行为分为正常和异常两类：将符合规范的网络行为定性为正常行为，与正常行为偏离较大的行为定性为异常行为。但传统的基于网络数据流分析的方法存在依赖于人工特征提取、误报率较高的问题。同时，这两种传统的检测方法都是对整个用户行为序列进行异常检测，无法确认检测出的异常行为是用户在具体哪个时间段上出现的异常，这样就无法更加深入地洞察网络行为，也难以为异常的处理机制提供支持。面对上述问题，必须寻求新的方法来有效识别网络行为的异常。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于子轨迹模式的网络行为异常检测方法，以实现对网络异常行为的准确检测。

为实现上述发明目的，本发明基于子轨迹模式的网络行为异常检测方法，其特征在于，包括以下步骤：

(1)、网络流量数据收集及清洗整理：

用于异常检测的流量数据一般是通过部署在各主机终端的分布式代理进行收集，各分布式代理收集得到的流量数据再向上一级代理汇聚。之后再根据分析需求对收集的流量数据进行清洗。接着针对当前的网络数据，明确在网络中用户行为的定义，抓取每个用户的网络流量数据并将其转换为用户行为轨迹序列。

(2)、用户行为轨迹序列分段：

对于每个用户的行为轨迹序列，根据最小描述长度准则将其分割为多个子行为轨迹序列。其中每个子行为轨迹序列都较为统一，代表某段时间内用户在网络环境中的一段行为模式较为固定的行为记录。

(3)、对子行为轨迹序列进行相似性度量：

对需要进行异常检测的用户即待检测用户，将其每个子行为轨迹序列视作为一个时间序列，根据词向量的方法得出每种行为对应的特征向量，然后结合行为之间的转移概率计算每个子行为轨迹序列与其他行为序列之间的相似性。

(4)、子轨迹模式异常检测：

将每个用户的子轨迹行为序列映射为一个网络即用户行为模式网络，每个子轨迹行为序列到其他行为序列的距离即为他们之间的相似性。若一个行为序列和与其最相似的k个行为序列的相似度较高，就认为该行为序列在行为模式网络中的对应映射点密度较大。密度刻画了待检测点和周边邻居点的分布的关系。密度大，说明该点位于某个簇中或者周边的邻居点的数目多，则该点就不可能会是异常点。反之，密度小则说明该点很有可能是一个异常点，从而可确定该点所对应的行为序列很有可能是一个异常行为序列。

本发明的目的是这样实现的。

本发明基于子轨迹模式的网络行为异常检测方法，首先收集网络流量数据并根据用户行为的定义将其转换为用户行为轨迹序列。同时，考虑到网络异常行为一般是用户在某个短期时间段上出现的，因此本发明根据最小描述长度准则将每个行为轨迹序列划分为多个具有统一行为模式的子行为轨迹序列。接着，根据word2vec的方法计算每个子行为序列与其他行为序列的相似性并得出其密度。最后根据基于密度的异常检测方法综合得出待检测行为轨迹序列的局部异常程度，并根据局部异常程度的大小确定异常行为轨迹序列。本发明根据子轨迹模式来检测网络异常行为，既大大地提高了异常检测的准确性，同时也可以确认出用户出现异常行为的具体时间段，为后续的异常行为模式分析和网络攻击行为预防提供了技术支持。

附图说明

图1是本发明基于子轨迹模式的网络行为异常检测方法一种具体实施方式流程图；

图2是本发明中用户行为序列的示意图；

图3是本发明基于最小描述长度准则对用户行为轨迹进行划分的流程示意图；

图4是本发明中计算子模式行为轨迹序列对应的特征向量所使用的神经网络结构示意图；

图5本发明中基于密度的异常检测方法中对于可达距离的解释示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于子轨迹模式的网络行为异常检测方法一种具体实施方式流程图。

在本实施例中，如图1所示，本发明基于子轨迹模式的网络行为异常检测方法包括一项步骤：

S1：网络流量数据收集及清洗整理

网络流量数据即用户在访问具体网络实体时记录的日志信息，比如访问时间、IP地址、源端口、目的端口和操作命令等。

根据用户访问的具体网络实体，明确用户行为序列的具体定义，将网络流量数据整理为用户行为序列。用户行为序列也可以叫做“基于时间序列的用户行为”，是在某一时间段内，按照时间先后顺序记录的人从事某种活动的每一步行为。

例如图2中所示，在网站上，一段时间内，一个用户从进入网站到离开网站过程中的每一步行为的记录，记录为一条用户行为序列。

S2：根据最小描述长度准则对用户行为轨迹序列分段

为了明确异常行为发生的具体模式和提高异常检测的准确性，需要对用户的行为轨迹序列进行分段。在本实施实例中，用户的网络行为序列常常由多个子行为序列模式构成，在每个子行为序列中，用户的行为具有一致性，即

为了寻找最佳的行为分段点，在本实施例中，提出了一种基于最小描述长度的行为轨迹序列分段方法。

下面首先简要介绍下最小描述长度准则：

最小描述长度准则最早可以追溯到柯尔莫哥洛夫复杂性理论。它在1978年由Jorma Rissanen所引入。最小描述长度原则是将奥卡姆剃刀形式化后的一种结果，其核心思想是在给予假说的集合的情况下，能产生最多资料压缩效果的那个假说是最好的。在本实施实例中，用户的网络行为序列在不同的时间段上具有不同的行为模式，而异常的行为序列只会出现在某一时间段上，因此需要将用户的行为序列划分为多个子行为轨迹序列。根据最小描述长度准则，原始的用户行为序列长度为L(D)，划分后的子行为序列可视为假说，其长度为L(H)，编码损失即两者相异性L(D|H)，目的即找出最小的L(H)+L(D|H)。

如图3所示，具体的划分用户行为序列的步骤描述为：

2.1)、将待划分行为序列读入缓冲区，计算各段长度：

首先遍历所有的用户行为序列，统计所有出现的行为之间的转移概率并保存。然后采用贪心原则，每次读取行为序列中的一个行为点，对缓冲区中的数据取首尾数据点计算按以下公式分别计算假设长度L(H)和编码损失L(D|H)：

L(H)＝log₂(len(D))

其中，len(D)表示缓冲区中的行为序列长度即行为个数之和，p_i表示第i个行为到第i+1个行为的转移概率。

2.2)、判断划分点：

根据下面的公式计算若新的行为点不加入轨迹序列时的表征长度L(D)：

由于采用了贪心原则，所以当原始表征长度和划分后的序列长度之差L(H)+L(D|H)-L(D)<λ时，λ为给定的一个阈值，将继续读取行为序列进入缓冲区。反之，将前一个行为点与缓冲区内的第一个行为点标记为特征点，作为划分后的一段子行为轨迹序列的起始点，并将这一段子行为序列从缓冲区中删去。可以看出，当行为序列中突然出现一个转移概率很低的行为时，若把该行为继续加入到子行为序列中去，编码损失会变得很大超出阈值范围，就可以认为该行为与之前行为序列的行动模型有很大的差别。因此，使用基于最小描述长度准则的方法可以将用户的行为轨迹序列很好的划分开来。

2.3)、输出所有划分后的子行为轨迹序列：

当所有用户的数据读取完毕后，清空缓冲区，输出所有用户划分后的子行为轨迹序列。其中，每个用户的子行为轨迹序列都具有行为模式上的一致性。

S3：对子行为轨迹序列进行相似性度量

为了更好地反应用户行为序列之间的相关性，在本实施例中，将每个行为视作一个单词，一个行为序列视作一条文本，然后通过神经网络语言模型中的Word2vec模型得到用户行为序列距离度量，可以更好地度量出用户的行为轨迹和其他用户行为轨迹之间的相关性。针对所有用户的子行为轨迹序列，将其映射到一个行为网络，其中每一个行为轨迹序列对应于行为网络中的一个特征向量。然后对于每一个子行为轨迹序列，通过该行为序列的嵌入向量，计算与其他子行为轨迹序列的相似性。

在本实施例中，具体相似性度量方法如下：

一个用户的子行为轨迹序列为T＝＜st₁,st₂,...,st_n＞，假设行为序列中的每个行为与前后c个行为之间有关系，则这条轨迹序列出现的概率为

其中，

代表与行为st_i相邻的2c个行为。而

为了对p(st_i+j|st_i)展开计算，可以用一个隐藏层为k维的2层神经网络结构来建立时空嵌入式用户行为序列表示模型，如图4所示。该模型是采用极大似然估计来计算目标函数，即最大化行为序列概率。假设用户子行为轨迹序列集合中共有N条行为轨迹，轨迹T中有N_T个行为，则模型目标函数的表达式如下所示：

其中，

表示给定行为st_i前后c个行为，行为st_i出现的概率；

在模型训练完成后，得到每个行为对应的k维特征向量，然后就可以计算所有用户的子行为轨迹序列之间的相似性。在本实施例中，行为轨迹序列之间的相似性度量方法为：

分别找到两条行为轨迹序列之间的行为对转移概率。然后对两个行为序列中的任意两个行为所对应的嵌入向量求欧氏距离然后再加权求和来计算行为序列T₁和T₂之间相关性：

其中，N_T1和N_T2分别表示行为序列T₁和T₂中行为的个数，T_ij表示行为i转移到行为j的概率，c(i,j)表示i和j两个行为对应的特征向量的欧氏距离。

S4：用基于密度的方法进行网络行为异常检测

对于一个用户的子行为轨迹序列，首先通过S3中的方法得到其与最近的第k个邻居点的距离，将其定义为k-distance。定义k-distance的主要目的是要通过这一距离的倒数1/k-distance来刻画每一条轨迹的周边密度情况。选用k-distance而非直接用邻居点到待检测轨迹的距离来度量是考虑到如果存在部分邻居点和待检测点的距离很近的话，求倒数之后密度值会很大，削弱甚至直接掩盖了其他邻居点对周边密度估计的影响，造成密度估计错误。因此，引入第k可达距离来表示待检测轨迹p和周边邻居点o之间的距离：

reach-dist_k(p,o)＝max{k-distance(o),d(p,o)}

其中k-distance(o)是o点的K近邻距离，d(p,o)是两点间的欧氏距离。如图5所示，reach-dist_k(p,o₁)＝dist(p,o₁)，reach-dist_k(p,o₂)＝dist₅(o₂)。

确定好每个点的k可达距离后，待检测轨迹p的局部可达密度便可以定义为p点的K近邻邻居点的平均密度的倒数：

其中N_k(p)表示轨迹序列p的k近邻邻居集合。

在刻画出每条轨迹周边的密度分布情况后，通过下面的公式计算p点邻居的平均局部可达密度和p点的局部可达密度的比值来作为点p的局部异常因子，衡量出p点在局部分布上的异常程度：

该方法计算出的行为轨迹序列的局部异常因子具有这样的特性，如果计算结果约等于1，说明这条子行为轨迹序列与邻近行为轨迹序列的密度分布基本相同，可以将该条行为轨迹序列视作正常行为序列。而如果局部异常因子的值远大于1的话，则说明该子行为轨迹序列与邻近行为轨迹序列的密度分布差别很大，将这条子行为轨迹序列视作异常行为序列，同时将其对应的用户行为轨迹序列标记为异常。

本发明中。针对传统网络异常检测方法中的不足提出了基于子轨迹模式的网络行为异常检测方法。本发明中在网络行为轨迹序列划分、行为轨迹序列相似性度量和异常子行为轨迹模式异常检测等关键技术上做出了创新。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于子轨迹模式的网络行为异常检测方法，其特征在于，包括以下步骤：

(1)、网络流量数据收集及清洗整理：

收集网络流量数据，根据分析需求对收集的流量数据进行清洗，接着再针对当前的网络数据，明确在网络中用户行为的定义，抓取每个用户的网络流量数据并将其转换为用户行为轨迹序列；

(2)、用户行为轨迹序列分段：

对于每个用户的行为轨迹序列，根据最小描述长度准则将其分割为多个子行为轨迹序列，其中每个子行为轨迹序列都较为统一，代表某段时间内用户在网络环境中的一段行为模式较为固定的行为记录；

(3)、对子行为轨迹序列进行相似性度量：

对需要进行异常检测的用户即待检测用户，将其每个子行为轨迹序列视作为一个时间序列，根据词向量的方法得出每种行为对应的特征向量，然后结合行为之间的转移概率计算每个子行为轨迹序列与其他行为序列之间的相似性；

(4)、子轨迹模式异常检测：

将每个用户的子轨迹行为序列映射为一个网络即用户行为模式网络，每个子轨迹行为序列到其他行为序列的距离即为他们之间的相似性；若一个行为序列和与其最相似的k个行为序列的相似度较高，就认为该行为序列在行为模式网络中的对应映射点密度较大；密度刻画了待检测点和周边邻居点的分布的关系，密度大，说明该点位于某个簇中或者周边的邻居点的数目多，则该点就不太可能会是异常点，其对应的行为序列就属于正常序列，反之，密度小则说明该点很有可能是一个异常点，从而可确定该点所对应的行为序列很有可能是一个异常行为序列。

2.根据权利要求1所述的网络行为异常检测方法，其特征在于，步骤(2)中，所述的根据最小描述长度准则来进行行为轨迹序列分段，和步骤(3)中，所述的根据词向量的方法计算子行为轨迹序列之间的相似性：

2.1)、对于所有待划分的用户行为轨迹序列，第一步：将待划分行为序列读入缓冲区，计算各段长度：

首先遍历所有的用户行为序列，统计所有出现的行为之间的转移概率并保存，然后采用贪心原则，每次读取行为序列中的一个行为点，对缓冲区中的数据取首尾数据点计算按以下公式分别计算假设长度L(H)和编码损失L(D|H)：

L(H)＝log₂(len(D))

其中，len(D)表示缓冲区中的行为序列长度即行为个数之和，p_i表示第i个行为到第i+1个行为的转移概率；

第二步：判断划分点：

根据下面的公式计算若新的行为点不加入轨迹序列时的表征长度L(D)：

由于采用了贪心原则，所以当原始表征长度和划分后的序列长度之差L(H)+L(D|H)-L(D)<λ时，λ为给定的一个阈值，将继续读取行为序列进入缓冲区，反之，将前一个行为点与缓冲区内的第一个行为点标记为特征点，作为划分后的一段子行为轨迹序列的起始点，并将这一段子行为序列从缓冲区中删去；可以看出，当行为序列中突然出现一个转移概率很低的行为时，若把该行为继续加入到子行为序列中去，编码损失会变得很大超出阈值范围，就可以认为该行为与之前行为序列的行动模型有很大的差别，因此，使用基于最小描述长度准则的方法可以将用户的行为轨迹序列很好的划分开来；

第三步：输出所有划分后的子行为轨迹序列：

当所有用户的数据读取完毕后，清空缓冲区，输出所有用户划分后的子行为轨迹序列，其中，每个用户的子行为轨迹序列都具有行为模式上的一致性；

2.2)、一个用户的子行为轨迹序列为T＝＜st₁,st₂,...,st_n＞，假设行为序列中的每个行为与前后c个行为之间有关系，则这条轨迹序列出现的概率为

其中，

代表与行为st_i相邻的2c个行为，而

为了对p(st_i+j|st_i)展开计算，可以用一个隐藏层为k维的2层神经网络结构来建立时空嵌入式用户行为序列表示模型，该模型是采用极大似然估计来计算目标函数，即最大化行为序列概率；假设用户子行为轨迹序列集合中共有N条行为轨迹，轨迹T中有N_T个行为，则模型目标函数的表达式如下所示：

其中，

表示给定行为st_i前后c个行为，行为st_i出现的概率；

在模型训练完成后，得到每个行为对应的k维特征向量，然后就可以计算所有用户的子行为轨迹序列之间的相似性，在本实施例中，行为轨迹序列之间的相似性度量方法为：

分别找到两条行为轨迹序列之间的行为对转移概率，然后对两个行为序列中的任意两个行为所对应的嵌入向量求欧氏距离然后再加权求和来计算行为序列T₁和T₂之间相关性：

其中，N_T1和N_T2分别表示行为序列T₁和T₂中行为的个数，T_ij表示行为i转移到行为j的概率，c(i,j)表示i和j两个行为对应的特征向量的欧氏距离。

Images