CN108076040A - 一种基于杀伤链和模糊聚类的apt攻击场景挖掘方法 - Google Patents

Abstract

本发明公开一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，可用于挖掘入侵检测系统(IDS)日志中APT攻击场景。包括：入侵检测系统警报收集归一化；基于杀伤链模型分析警报日志中攻击事件的行为特征，对攻击事件进行分类；对警报日志进行模糊聚类形成攻击序列集合；分析攻击序列集，删除不完整的序列，将每个攻击序列转换为有向图，挖掘不同攻击事件间的转移概率矩阵，进而转换为带有概率的APT攻击场景图。本发明通过挖掘真实报警中的APT攻击图，为APT的检测和防御提供了理论依据。

Description

一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法

技术领域

本发明涉及网络安全检测技术领域，特别是适用于挖掘入侵检测系统警报日志的一种基于杀伤链和模糊聚类的APT攻击场景方法。

背景技术

随着互联网技术的发展，网络安全状况日趋严峻，网络中攻击方式越来越复杂，APT攻击越来越盛行，因此对APT的研究成为热点。

APT攻击与传统的攻击不同，它们不是用来中断服务，而是用来窃取知识产权、敏感数据的。它具有阶段性、持续时间长、攻击渠道不确定等特点。入侵检测系统(IntrusionDetection System，简称IDS)不能检测出APT攻击，只会对攻击中的某一步产生报警。

目前基于安全日志的APT攻击检测方法包括：使用白名单方法学习正常的系统行为，报告与系统正常模型不同的所有操作；建立APT攻击模型，将安全日志和模型进行匹配，形成攻击上下文，现在主要使用的是建立攻击模型的方法。

然而APT攻击模型的建立需要专家知识，如果攻击模型不完整，会出现警报无法匹配，形成的路径不完整的问题。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，本发明使用了模糊聚类进行攻击事件的关联，挖掘出APT的攻击过程，发明人发现APT攻击具有阶段性的特点，与前一阶段相比在后续阶段中攻击者会获得更高权限，窃取到更多的数据，所以攻击过程呈现出目的性逐渐增强，攻击事件危害程度越来越高的特点，因此在聚类之前本发明者基于杀伤链模型对攻击事件进行划分，添加到模糊聚类中，提高APT检测的准确度。

本发明提供了一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，用于识别网络中的APT攻击，技术方案如下：

步骤1：收集入侵检测系统的警报日志，将日志转换为统一格式的安全日志，至少包含时间戳字段、源IP字段、目的IP字段、攻击事件字段，形成警报日志集合ALERTS＝{a₁,a₂,a₃,...a_n}。

步骤2：基于杀伤链模型对APT进行阶段划分，依据警报日志中攻击事件属性的行为特征对攻击事件进行分类；

步骤3：将攻击事件属性作为模糊聚类的维度之一，基于多维度的模糊聚类方法将IDS警报日志聚为多个类簇，每个类簇表示一个攻击序列；

步骤4：分析过滤上一步产生的攻击序列集，将每个攻击序列转换为一个有向图，挖掘各个类簇中不同攻击事件间的转移概率矩，进一步转换为带有概率的攻击场景图；

步骤2进一步包括：

步骤21：杀伤链模型包括“发现-定位-跟踪-瞄准-攻击- 评估”，基于杀伤链将APT攻击分为信息收集阶段、入侵提权阶段、潜伏扩展阶段、信息窃取阶段；

步骤22：分析警报日志集合中所有攻击事件的行为特征和危害程度将其划分到四个阶段中，形成四类攻击事件，攻击事件在四个阶段呈现的特点是相对于前一阶段，后一阶段的攻击事件会是攻击者获得更高的权限。

进一步，模糊聚类中的多维度属性包括攻击事件、IP地址、时间戳。

步骤3进一步包括：

步骤31：IDS警报日志按照时间戳进行升序排序；

步骤32：定义多个维度的隶属度函数及两条警报a_i,a_j隶属于一个攻击序列的总隶属度函数为其中δ_k为每个属性的权重，k表示每个属性；

步骤33：按时间戳的先后顺序从先到后依次分析每条警报日志，计算a_i属于每个已有攻击序列类簇的隶属度，如果超过阈值则将a_i添加到该类簇，如果对每个类簇的隶属度都没有超过阈值，则将 a_i作为一个新的类簇；

步骤33进一步包括：

步骤331：取出一个类簇，以AS_i＝<a₁,a₂,a₃,...a_k>表示，首先判断a_i攻击事件所处阶段是否满足大于等于AS_i的阶段(AS_i中时间戳最晚的警报所处的阶段)，如果不满足则隶属度为0，如果满足则按照总隶属度函数计算a_i与AS_i中a₁,a₂,a₃,...a_k的隶属度，取k个隶属度中最大值作为a_i隶属于AS_i的隶属度，如果超过阈值则将a_i添加到该类簇；

步骤332：依次取出下一类簇，重复步骤331，直到计算完 a_i与每个类簇的隶属度，如果计算完后发现a_i对每个类簇的隶属度都没有超过阈值，则将a_i作为一个新的类簇。

步骤4进一步包括：

步骤41：分析每个攻击序列，删除不完整且攻击序列的所有IP不涉及重点资产的攻击序列，不完整的攻击序列包括孤立的警报组成的攻击序列、攻击序列中最后一条警报的攻击事件属于信息收集阶段和入侵提权阶段的攻击序列；

步骤42：处理过滤后的每一个攻击序列，按照发生时间的先后顺序依次将一个攻击序列中每条警报转换为以攻击事件为内容的节点，添加一条由前一个节点到后一个节点的有向边，如果后一警报的攻击事件相同与前一节点的攻击事件相同且时间戳接近则合并为一个攻击事件节点，有向图可使用矩阵存储，行对应的元素表示有向边的弧尾节点，列对应的元素表示有向边的弧头节点，有向边相接的两个节点对应的位置存储为1；

步骤43：初始化一个空的攻击事件转移矩阵，横向和纵向表示的是有向图中的攻击事件，扫描每个有向图，如果攻击事件A和攻击事件B之间有一个有向边，则将矩阵中(A，B)位置的值加1，如果发现新的攻击事件矩阵中没有，就在在转移矩阵中为该攻击事件增加一行和一列，行和列内容是该攻击事件，对应的值初始化为0，再在相应的位置上加1；

步骤44：矩阵中每一位置上的数值转换为数值占该行所有数之和的比重，扫描概率转移矩阵，将它表示为带有概率的攻击场景图，节点为矩阵行或列的攻击事件。

与现有技术相比，本发明提供的上述技术方案具有如下优点：

1.不依赖于模型的完整度

本发明采用模糊聚类关联的方法形成攻击上下文，不用事先建立攻击模型。APT攻击模型的建立需要专家知识，如果攻击模型不完整，新的报警事件出现时无法匹配被丢弃，形成不完整的攻击路径。本发明可以避免这一问题。

2.提高检测的准确率

本发明在模糊聚类中除了使用常见的IP，时间戳等属性还加入了攻击事件属性，其中攻击事件的划分结合了APT攻击阶段性的特点，可以提高警报聚类的准确度，一个攻击序列中警报之间关联度更高。

附图说明

图1为本发明方法的总体流程图，作为摘要附图，图2为本发明方法实施流程图。

图3为步骤2中攻击事件划分实施流程图。

图4为步骤3聚类过程的实施流程图。

图5为步骤4的实施流程图。

具体实施方式

为使本发明的上述特征和优点更明显易懂，下面结合具体实施方式和附图对本发明作进一步详细说明。

请参阅图2，其示出了本发明实施例提供的基于杀伤链和模糊聚类的APT攻击场景挖掘方法的一种流程图，所述方法的思想是：分析入侵检测系统的警报日志，采用模糊聚类的算法形成攻击序列，在模糊聚类中除了使用IP地址、时间戳等常用属性外还加入基于杀伤链模型划分的攻击事件维度，提高一个攻击序列中警报之间的关联度，进而提高APT场景挖掘方法的准确度，对聚类产生的所有攻击序列进行分析挖掘出APT的攻击场景图，包括以下具体步骤：

步骤1：

本实施例的数据源是入侵检测系统的警报日志经过简单消除误报后的数据，将日志归一化为六元组 a_i＝(time,sIP,dIP,sPort,dPort,alert_event)的格式，形成警报日志集合 ALERTS＝{a₁,a₂,a₃,...a_n}，其中time表示时间戳，sIP表示源IP，dIP 表示目的IP，sPort表示源端口，dPort表示目的端口，alert_event 表示攻击事件。

步骤2：

发明人对APT进行了研究，发现杀伤链模型(IKC， intrusion kill chain)“发现-定位-跟踪-瞄准-攻击-评估”广泛应用在APT攻击建模上。

基于IKC模型将APT攻击分为如下四个阶段：信息收集阶段、入侵提权阶段、潜伏扩展阶段、信息窃取阶段，每个阶段的目的性不同，攻击行为也有所不同。

攻击事件划分的流程请参阅图3，将警报日志集合ALERTS＝{a₁,a₂,a₃,...a_n}中攻击事件放在一个集合中去除重复，依次取出集合中每个攻击事件，分析攻击事件的行为特征、危害程度，和每个阶段的目的性作比较，将其划分到上述四个阶段中，形成四类攻击事件。

步骤3：

将IDS警报日志按照时间戳升序排序。

定义每个维度的隶属度函数，以下a_i是从ALERTS中取出的未分类的警报，a_j是已分类的警报：

(1)在攻击事件维度上a_i,a_j隶属于一个攻击序列的隶属度：

Δα＝α(a_i.alert_event)-α(a_j.alert_event)

其中α(a_i.alert_event)表示警报a_i的攻击事件所在的阶段，Δα表示两条警报所在阶段的差值，如果Δα为0或1则关联度越大。

(2)在IP地址维度上a_i,a_j隶属于一个攻击序列的隶属度：

其中N＝max{H(a_i.sIP,a_j.dIP),H(a_i.sIP,a_j.sIP),H(a_i.dIP,a_j.dIP)}

H(IP₁,IP₂)是两个IP从左到右相同的位数，N为集合中几个数中的最大值，若两条警报的源IP或目的IP相同或在一个局域网则可能属于同一攻击。两个报警sIP不同，但其dIP相同则是针对同一主机发起的攻击。例如Syn_flood之类的假冒源地址的攻击报警。

(3)在时间戳维度上a_i,a_j隶属于一个攻击序列的隶属度：

F_time＝e^-Δt

Δt＝a_i.time-a_j.time，Δt的单位是天。

两条警报a_i,a_j隶属于一个攻击序列的总隶属度函数为其中δ_k为每个属性的权重， k＝alert_event,IP,time。

聚类过程请参阅图4，按时间戳的先后顺序从先到后依次分析每条警报日志，计算a_i属于每个已有攻击序列类簇AS_i的隶属度，包括首先判断a_i的攻击事件所处阶段是否大于等于AS_i的阶段(AS_i中时间戳最晚的警报所处的阶段)，如果不成立则隶属度为0，成立则按照总隶属度函数计算a_i与AS_i中每条警报的隶属度，取其中最大值作为a_i隶属于AS_i的隶属度。

比较隶属度和阈值，如果隶属度超过阈值则将a_i添加到对应的攻击序列尾，如果对所以已有攻击序列的隶属度都没有超过阈值，则将a_i作为一个新的攻击序列类簇，处理完每条警报后得到多个类簇即攻击序列集合ASS＝{AS₁，AS₂，...，AS_q}，其中每一个攻击序列 AS_i＝<a₁,a₂,a₃,...a_k>是可能处于一个攻击过程的所有警报，表示一个可能的APT攻击过程。

步骤4：

从攻击序列集合中挖掘攻击场景流程参阅图5，在步骤3 得到的攻击序列集合的基础上，删除不完整且攻击序列的所有IP不涉及重点资产的攻击序列，不完整的攻击序列包括孤立的警报组成的攻击序列，攻击序列中最后一条警报的攻击事件属于信息收集阶段和入侵提权阶段的攻击序列；

处理过滤后的每一个攻击序列，按照发生时间的先后顺序依次将一个攻击序列中每条警报转换为以攻击事件为内容的节点，添加一条由前一个节点到后一个节点的有向边，如果后一警报的攻击事件与前一节点的攻击事件相同且时间戳接近则合并为一个攻击事件节点，我们使用矩阵存储有向图，行对应的元素表示有向边的弧尾节点，列对应的元素表示有向边的弧头节点，有向边相接的两个节点对应的位置存储为1；

初始化一个攻击事件间的转移矩阵，横向和纵向表示的是有向图中的攻击事件，扫描每个有向图即每个攻击序列对应的矩阵，如果攻击事件A和攻击事件B之间有一个有向边从A指向B，则将矩阵中(A，B)位置的值加1，如果发现新的攻击事件矩阵中没有，就在转移矩阵中增加一行和一列，行和列内容是攻击事件，对应的值初始化为0，再在相应的位置上加1；

矩阵中每一位置上的数值转换为数值占该行所有数之和的比重，矩阵中的行和列都表示的是攻击事件，(A，B)对应的值为A 事件到B事件发生的概率，最后扫描概率转移矩阵，转换为带有概率的攻击场景图，节点为矩阵行或列的攻击事件。

Claims (6)

1.一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，其特征在于，包括：

步骤1：收集入侵检测系统的警报日志，将日志转换为统一格式的安全日志，至少包含时间戳字段、源IP字段、目的IP字段、攻击事件字段，形成警报日志集合ALERTS＝{a₁,a₂,a₃,...a_n}。

步骤2：基于杀伤链模型对APT进行阶段划分，依据警报日志中攻击事件属性的行为特征对攻击事件进行分类；

步骤3：将攻击事件属性作为模糊聚类的维度之一，基于多维度的模糊聚类方法将IDS警报日志聚为多个类簇，每个类簇表示一个攻击序列；

步骤4：分析过滤上一步产生的攻击序列集，将每个攻击序列转换为一个有向图，挖掘各个类簇中不同攻击事件间的转移概率矩阵，将矩阵转换为带有概率的攻击场景图。

2.根据权利要求1所述的一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，其特征在于，所述步骤2进一步包括：

步骤21：杀伤链模型包括“发现-定位-跟踪-瞄准-攻击-评估”，基于杀伤链将APT攻击分为信息收集阶段、入侵提权阶段、潜伏扩展阶段、信息窃取阶段；

步骤22：分析警报日志集合中所有攻击事件的行为特征和危害程度将其划分到四个阶段中，形成四类攻击事件，攻击事件在四个阶段呈现的特点是相对于前一阶段，后一阶段的攻击事件会是攻击者获得更高的权限。

3.根据权利要求1所述的一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，其特征在于，所述模糊聚类中的多维度属性包括攻击事件、IP地址、时间戳。

4.根据权利要求1所述的一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，其特征在于，所述步骤3进一步包括：

步骤31：IDS警报日志按照时间戳进行升序排序；

步骤32：定义多个维度的隶属度函数及两条警报a_i,a_j隶属于一个攻击序列的总隶属度函数为其中δ_k为每个属性的权重，k表示每个属性；

步骤33：按时间戳的先后顺序从先到后依次分析每条警报日志，计算a_i属于每个已有攻击序列类簇的隶属度，如果超过阈值则将a_i添加到该类簇，如果对每个类簇的隶属度都没有超过阈值，则将a_i作为一个新的类簇。

5.根据权利要求1所述的一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，其特征在于，所述步骤33中计算a_i属于每个已有攻击序列类簇的隶属度进一步包括：

步骤331：取出一个类簇，以AS_i＝<a₁,a₂,a₃,...a_k>表示，首先判断a_i攻击事件所处阶段是否满足大于等于AS_i的阶段(AS_i中时间戳最晚的警报所处的阶段)，如果不满足则隶属度为0，如果满足则按照总隶属度函数计算a_i与AS_i中a₁,a₂,a₃,...a_k的隶属度，取k个隶属度中最大值作为a_i隶属于AS_i的隶属度，如果超过阈值则将a_i添加到该类簇，；

步骤332：依次取出下一类簇，重复步骤331，直到计算完a_i与每个类簇的隶属度，如果计算完后发现a_i对每个类簇的隶属度都没有超过阈值，则将a_i作为一个新的类簇。

6.根据权利要求1所述的一种基于杀伤链和模糊聚类的APT攻击场景挖掘方法，其特征在于，所述步骤4进一步包括：

步骤41：分析每个攻击序列，删除不完整且攻击序列的所有IP不涉及重点资产的攻击序列，不完整的攻击序列包括孤立的警报组成的攻击序列、攻击序列中最后一条警报的攻击事件属于信息收集阶段和入侵提权阶段的攻击序列；

步骤42：处理过滤后的每一个攻击序列，按照发生时间的先后顺序依次将一个攻击序列中每条警报转换为以攻击事件为内容的节点，添加一条由前一个节点到后一个节点的有向边，如果后一警报的攻击事件相同与前一节点的攻击事件相同且时间戳接近则合并为一个攻击事件节点，有向图可使用矩阵存储，行对应的元素表示有向边的弧尾节点，列对应的元素表示有向边的弧头节点，有向边相接的两个节点对应的位置存储为1；

步骤43：初始化一个空的攻击事件转移矩阵，横向和纵向表示的是有向图中的攻击事件，扫描每个有向图，如果攻击事件A和攻击事件B之间有一个有向边，则将矩阵中(A，B)位置的值加1，如果发现新的攻击事件矩阵中没有，就在在转移矩阵中为该攻击事件增加一行和一列，行和列内容是攻击事件，对应的值初始化为0，再在相应的位置上加1；

步骤44：矩阵中每一位置上的数值转换为数值占该行所有数之和的比重，扫描概率转移矩阵，将它表示为带有概率的攻击场景图，节点为矩阵行或列的攻击事件。