CN112087420A - 一种网络杀伤链检测方法、预测方法及系统 - Google Patents

Abstract

本发明公开了一种网络杀伤链检测方法、预测方法及系统，具体包括：(1)构建d维特征向量；(2)无监督特征选择算法将d维特征向量筛减为k维；(3)通过k维特征向量获取网络杀伤链攻击事件序列集合。在IDS告警日志数据进行杀伤链挖掘的真实场景中，针对无法提前知晓数据中所包含杀伤链数目的问题，本发明改进的谱聚类算法相比于其他的有监督学习方法不仅能够实现无监督学习，还能够自动识别聚类数目；(4)基于已经获得的网络杀伤链序列，采用马尔科夫理论与三种网络杀伤链变种模型进行预测分析；(5)基于理论分析，实现了杀伤链检测与预测系统。

Description

一种网络杀伤链检测方法、预测方法及系统

技术领域

本发明属于网络安全领域，进一步涉及日志数据的挖掘，具体为基于机器学习的网络杀 伤链检测方法、预测方法及系统。

背景技术

随着移动技术的发展和社交网络的普及，互联网在日常生活中无处不在的作用和贡献使 计算机更容易受到网络攻击。据2019年4月赛门铁克公司发布的2018网络攻击概述统计指 出，银行木马从4％的攻击占比上升到16％，同时新型攻击类型也层出不穷。这些网络攻击 动机各异，包括但不限于经济利益、人身伤害、知识产权盗窃和政治损害。即使传统的安全 防御措施有多层安全防御机制，攻击者也能够渗透到网络中，并在战术措施和技术上保持持 久性。这种高级持续性威胁(Advanced Persistent Threat，APT)攻击是由个人、组织甚至国 家资助的黑客团体发起的，他们使用各种复杂的侦察手段和信息收集工具，通过多个阶段进 行网络攻击和系统破坏，从高价值资产和关键信息中敲诈或窃取专有信息。

文献《Information Protecting against APT Based on the Study of CyberKill Chain with Weighted Bayesian Classification with Correction Factor》提出了一种从海量网络数据中检测和 预测以网络杀伤链为模型的APT攻击的解决方案和实现方法，即采用加入修正因子的贝叶斯 分类法，实验结果表明，该方法高效、精度高。但贝叶斯分类法是有监督学习，需要带标签 的数据集，这样的先验条件在实际应用或场景中很难获取得到。

总而言之，国内外针对网络杀伤链这一新型模型的研究并不是很多，且已有的研究在诸 多方面表现出了局限性。首先，许多研究者只是在宏观层面上提出解决网络杀伤链问题的理 论框架，并未给出直接的分析方法和具体的底层实现。其次，部分研究者针对杀伤链模型提 出的算法，属于监督学习的范畴，需要带标签的数据集作为输入，这在实际场景中很难获得。 最后，只有少数研究者将网络杀伤链分析结果应用于网络态势感知场景中，并且缺乏直观的 可视化效果。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于机器学习的网络杀伤链检测 方法、预测方法及系统，具体采用如下技术方案：

一种网络杀伤链检测方法，获取IDS告警日志数据中符合网络杀伤链模型的多个攻击事 件序列的集合，包括以下步骤：

(1)构建d维特征向量：

(1.1)获取IDS告警日志数据中的n个攻击事件，按照每个攻击事件的攻击特征把所有 的攻击事件分别划分到网络杀伤链模型的7个阶段中，最终把每个攻击事件所在的网络杀伤 链模型的阶段数添加到该攻击事件所在的日志数据中，得到新的日志数据，n为自然数；

(1.2)通过新的日志数据构建出与网络杀伤链相关的d维特征向量，该d维特征向量包 含攻击事件所在的网络杀伤链模型的阶段数；

(2)无监督特征选择算法将d维特征向量筛减为k维，每一个攻击事件都用一个k维特 征向量表示；

(3)通过k维特征向量获取网络杀伤链攻击事件序列集合：

(3.1)更新R_l＝R_l-1\C_l；

R_l表示第l次迭代中，从R_l-1删除掉已经进行聚簇划分的攻击事件后剩余所有攻击事件的 序列集合；l表示迭代次数；C_l为已进行聚簇划分的攻击事件序列集合，

supp'函数表示特征向量的每一维对攻击事件的支持度，h表示支持度门槛；

为标准化的图 拉普拉斯矩阵L_sym的稀疏特征向量估计，L_sym通过k维特征向量得到；

第一次更新时需初始化参数l＝1，h＝0.1，初始时R₀＝{1,2,…,n}，B₀为初始化的n个攻击 事件的空间结构表达；

(3.2)更新B_l+1＝B_l-(u_l ^TB_lu_l)u_lu_l ^T；

B_l表示在第l次迭代中，删除掉已经进行聚簇划分的攻击事件后剩余所有攻击事件空间结 构表达，通过k维特征向量得到，u_l为B_l的第一主稀疏特征向量，通过对B_l进行稀疏化正则 求得；

(3.3)更新迭代次数l＝l+1；

(3.4)重复步骤(3.1)-(3.3)，直至无法找到进行聚簇划分的攻击事件，最终所有迭 代中删除的已进行聚簇划分的攻击事件序列集合即为所有攻击事件中找到的具有网络杀伤链 的攻击事件序列集合。

具体的，步骤(2)k维特征向量的计算具体包括：

(2.1)分别计算每两个攻击事件的相似性度量值后，使用全连接法构造n×n相似矩阵S； 通过相似矩阵S构造权重矩阵A；同时计算出特征向量只在第i维上的相似性，构造出权重 矩阵Aⁱ，其中i＝1,2,…,d；

(2.2)通过权重矩阵A和Aⁱ计算出权值w_i，w_i表示第i维特征向量表征IDS告警日志数据空间结构能力的得分；

其中，w＝[w₁,w₂,...,w_i,...,w_d]为d维特征向量表征IDS告警日志数据空间结构能力的得 分；G_ij＝tr((Aⁱ)^TA^j)，表示(Aⁱ)^TA^j的迹，b_r＝tr(A^TA^r)，表示A^TA^r的迹，其中j＝1,2,…,d；

(2.3)对w降序排列，前k个权值对应的特征向量，即为k维特征向量。

进一步，步骤(2.1)中计算每两个攻击事件的相似性度量值，是计算两个攻击事件的每 一维特征向量的相似性度量值的总和，具体包括：

假定a_f和a_g分别代表IDS告警日志数据中两条攻击事件，下标f和g表示攻击事件的序 号，且n≥g>f>0；两个攻击事件的每一维特征向量的相似性度量值的计算，具体如下：

(1)F_{LocalDateTime}为两个攻击事件LocalDateTime的相似性度量值：

其中a_f.LocalDataTime表示a_f在LocalDataTime的取值；

(2)F_Ip为两个攻击事件IP的相似性度量值：

其中M＝max{H(a_f.sIP,a_g.sIP),H(a_f.sIP,a_g.dIP),H(a_f.dIP,a_g.sIP),H(a_f.dIP,a_g.dIP)}，H函数是 两个攻击事件IP的二进制表示从左到右位相同的数目，sIP指源IP地址，dIP指目的IP地址；

(3)两个攻击事件HTTP请求方法、服务器端口号、客户端端口号、客户端环境、HTTP响应码的相似性度量值为：

(4)F_Locate为两个攻击事件Locate的相似性度量值：

F_Locate＝(a_g.country&a_f.country)*0.1+(a_g.province&a_f.province)*0.2+(a_g.city&a_f.city)*0.7

(5)F_Event为两个攻击事件Event的相似性度量值：

a_f.Event表示a_f在Event的取值；a_g.Event表示a_g在Event的取值。

本发明还提出一种网络杀伤链预测方法，通过上述获取的网络杀伤链攻击事件序列集合， 得到每个攻击事件的概率转移矩阵，通过每个攻击事件的概率转移矩阵求解柯尔莫哥洛夫微 分方程，获得网络杀伤链攻击预测的状态概率分布向量，所述状态概率分布向量的维度由网 络杀伤链模型状态数决定，状态概率分布向量的每一维度的值表示在特定时间下所对应的网 络杀伤链模型状态数的概率值，即攻击预测值。

本发明还提出一种网络杀伤链预测方法，通过上述获取的网络杀伤链攻击事件序列集合， 得到每个攻击事件的概率转移矩阵，通过每个攻击事件的概率转移矩阵求解柯尔莫哥洛夫微 分方程，通过对莫哥洛夫微分方程进行拉普拉斯变换，得到迭代的网络杀伤链模型下的平均 攻击时间向量，平均攻击时间向量中的每一维表示网络杀伤链模型每个阶段所花费的平均攻 击时间。

本发明还提出一种网络杀伤链预测方法，通过上述获取的网络杀伤链攻击事件序列集合， 得到每个攻击事件的概率转移矩阵，通过每个攻击事件的概率转移矩阵求解柯尔莫哥洛夫微 分方程，得到无穷迭代的网络杀伤链模型下的平稳概率分布向量，平稳概率分布向量中的每 一维表示网络杀伤链模型每个阶段的平稳概率分布。

最后，本发明给出一种网络杀伤链检测及预测系统，包括数据预处理模块、杀伤链检测 模块和杀伤链预测模块；

所述数据预处理模块用于获取IDS告警日志数据中的n个攻击事件并按照步骤1-2所述 方法构建d维特征向量并把d维特征向量筛减为k维，得到的k维特征向量作为杀伤链检测 模块的输入；

所述杀伤链检测模块用于通过k维特征向量按照权利要求1步骤3所述方法挖掘出网络 杀伤链攻击事件序列集合；将网络杀伤链攻击事件序列集合存储并作为杀伤链预测模块的输 入；

所述杀伤链预测模块根据网络杀伤链攻击事件序列集合按照权利要求5-7中任意一个权 利要求所述方法进行网络杀伤链预测，输出状态概率分布向量或平均攻击时间向量或平稳概 率分布向量并存储。

进一步，还包括可视化模块和检索模块；

所述可视化模块可视化模块以杀伤链预测模块的输出作为可视化数据，采用描述性可视 分析方法，实现数据的多层次高效表达；

所述检索模块完成对可视化数据的多条件检索，并给出检索结果。

与现有技术相比，本发明具有如下优点：

1.对于簇类数目不可知的聚类过程，改进的谱聚类算法能够有效地自动识别聚类数目。 在通过IDS告警日志数据进行杀伤链挖掘的真实场景中，无法提前知晓日志数据中包含的杀 伤链数目，相比于其他的有监督学习方法，本发明改进的谱聚类算法不仅能够实现无监督学 习，还能自识别聚簇划分；

2.采用基于局部图重构的无监督特征选择算法，通过同时考虑特征相关性和冗余度来评 估每个特征的重要性。因此，筛选的特征子集的冗余度大大降低，能反映整体数据集结构与 更多相关信息的特征会得到更大的权重；算法中优化问题的全局最优解很容易得到，可以避 免贪婪搜索或局部最优；算法流程中几乎实现了无参化并且具有标度不变性；

3.相比于传统的预测分析方法，三种杀伤链变种模型是基于网络攻击行为的实际考虑， 符合更广泛的场景需求，同时马尔科夫相关模型构建与理论分析能够完美契合网络杀伤链模 型的多阶段性特征，能够得到更加准确的预测效果；

4.本发明的网络杀伤链检测与预测系统，数据预处理模块实现对原始日志数据的归一化 处理，完成对初始构建的特征向量所包含的字段进行相似度计算，通过基于局部图重构的无 监督特征选择算法，保留最能保持原有数据集空间结构的k维特征；杀伤链检测与预测模块 采用改进的聚类数可自识别的谱聚类算法，通过正则化稀疏类簇的指示向量，挖掘出日志数 据中的杀伤链序列集合，并作为杀伤链预测分析的输入，通过三种杀伤链变种模型给出对下 一阶段的攻击预测值；可视化模块采用描述性可视分析方法，实现数据的多层次高效表达； 检索模块完成对用户输入信息的多条件检索并给出详细的结果。

附图说明：

图1.网络杀伤链检测与预测模型算法流程图

图2.改进的谱聚类算法的概念流程图

图3.简单网络杀伤链状态转移图

图4.迭代的网络杀伤链状态转移图

图5.无穷迭代的网络杀伤链状态转移图

图6.网络杀伤链检测与预测系统总体架构图

图7.网络杀伤链检测与预测系统效果图一

图8.网络杀伤链检测与预测系统效果图二

图9.网络杀伤链检测与预测系统效果图三。

具体实施方式：

下面结合附图对本发明的具体实施方式作进一步的详细说明。

网络杀伤链模型是一种APT攻击特例，也可简称杀伤链，指攻击者对目标主机或目标网 络从扫描探测到窃取数据、破坏网络设备等多阶段行为构成的一个攻击过程，不同阶段有不 同的目的和攻击方式。杀伤链模型可分为七个阶段：侦察(Reconnaissance，R)、武器化 (Weaponization，W)、交付(Delivery，D)、开发(Exploit，E)、安装(Installation，I)、命令和控制(Command and Control，C&C)和目标行动(Actions on Objectives，A)。

本发明目的的具体思路是，首先根据日志格式和杀伤链攻击阶段属性构建特征向量，并 定义每一个字段的相似性度量。由于特征向量的构建相对主观，因此采用无参化的基于局部 图重构的无监督特征选择算法。通过每个字段表达原始数据空间结构的能力，将字段之间线 性组合的系数权重问题转化为求解矩阵二次型的问题，以过滤式的方式选择最能保持原有数 据空间结构的k维特征作为新的特征向量。其次针对传统谱聚类算法需要设置超参的问题， 设计了改进的聚类数可自识别的谱聚类算法。采用正则化稀疏类簇的指示向量，使指示向量 中所包含的非零值的位置正好是数据集中属于该类簇数据点的位置。算法输出为多条网络杀 伤链序列集合，其中每一条序列代表一个网络杀伤链攻击过程。最后由于现实中网络杀伤链 并不一定完全遵循理论模型，设计了三种不同的网络杀伤链变种模型，并采用马尔科夫模型 进行理论分析，通过求解柯尔莫哥洛夫微分方程推导出每种模型的攻击预测结果。

实施例1：

本实施例给出一个具体的杀伤链检测与预测方法，按照以下步骤实施：

步骤1，构建d维特征向量：

(1.1)统计IDS告警日志数据中所有的攻击事件类型，将攻击事件按照其特征划分到杀 伤链模型的7个阶段，并把阶段数作为新的字段添加到IDS告警日志数据中。其中IDS告警 日志数据用于记录主机或服务器被攻击的详细信息；

(1.2)选择IDS告警日志数据中与杀伤链分析相关的d个字段；

(1.3)假定a_f和a_g分别代表IDS告警日志数据中两条记录或两条数据，下标f和g表示 数据的排序编号，且n≥g>f>0。那么定义每一个字段的相似性度量，具体如下：

(1)日期和时间反应了攻击事件之间的前后关系，随着时间的推移，两个攻击事件之间 的关联性逐渐减弱。LocalDateTime字段的相似性度量可定义为F_{LocalDateTime}：

其中a_f.LocalDataTime表示a_f在LocalDataTime的取值。

(2)一般而言，攻击方的IP地址大都从同一网段中发起，因此同一攻击方在源IP或目 的IP上具有相似性。IP字段的相似性度量可定义为F_Ip：

其中M＝max{H(a_f.sIP,a_g.sIP),H(a_f.sIP,a_g.dIP),H(a_f.dIP,a_g.sIP),H(a_f.dIP,a_g.dIP)}，H函数是 两个IP地址的二进制表示从左到右位相同的数目，sIP指源IP地址，dIP指目的IP地址。

(3)假使攻击方使用不同的工具进行服务器访问并成功得手，那么这两条数据的HTTP 请求方法、服务器端口号、客户端端口号、客户端环境、HTTP响应码应该具有相同之处。 这些字段的相似性度量可统一定义为：

(4)同一个攻击方在地图上大概率会处在相同的区域，根据两条数据中地区交集的范围 大小，Locate字段的相似性度量可定义为F_Locate：

F_Locate＝(a_g.country&a_f.country)*0.1+(a_g.province&a_f.province)*0.2+(a_g.city&a_f.city)*0.7

(5)从杀伤链的特点来看，前一条告警数据的攻击方法造成的结果可能是展开下一条告 警数据中的攻击方法的前提条件。Event字段的相似性度量可定义为F_Event：

步骤2，由于IDS告警日志数据并无先验的杀伤链攻击序列信息，因此采用无监督的特 征选择算法，将d维特征向量筛减为k维：

(2.1)数据集矩阵X＝{x₁,…,x_n}∈^d×n表示IDS告警日志数据转换为矩阵的形式，表 示矩阵元素的取值为实数，n代表数据量，x_i是列向量且代表一条数据，即一个样本或样本 点，其中1≤i≤n。计算任意两个样本之间的距离S_ij，即步骤(1.3)中所有字段相似性度量计算值之和，使用全连接法构造得到相似矩阵S。

(2.2)权重矩阵A表示IDS告警日志数据在几何空间结构的映射，可根据如下公式通过 相似矩阵S构建权重矩阵A：

其中ξ表示邻域范围的阈值，m_i表示样本x_i在ξ邻域范围内所包含的样本点数目。

(2.3)权重矩阵A^r表示IDS告警日志数据的几何空间结构在第r维特征的映射，可根据 如下公式计算：

其中ξ^r表示在第r维特征上邻域范围的阈值，相应地，m_i ^r表示在第r维特征上，样本x_i在ξ^r邻域范围内所包含的样本点数目。

(2.4)由于权重矩阵A和A^r都反映了IDS告警日志数据的空间结构，因此每一维特征 的重要性可以通过权值w_r进行评估，权值w_r表示第r维特征表征日志数据空间结构的能力 大小，相应的问题可表示为：

定义矩阵

其中G_rc用于刻画第r维特征和第c维特征之间的相似性，值为tr((A^r)^TA^c)，tr(Z)函数用于表示方阵Z的迹。同时定义向量b∈^d×1，其中b_r表示第r维特征和所有特征之间的相似性，值为b_r＝tr(A^TA^r)。那么上式的问题可化简转化为：

其中向量w表示d维特征向量的得分。

(2.5)求解步骤(2.4)中的具有线性约束的二次规划问题，按照降序筛选出向量w中 得分较高的前k个值，即可筛选出top k维特征。

步骤3，针对经典谱聚类算法需要设定超参的问题，网络杀伤链检测使用改进的谱聚类 算法用于杀伤链攻击序列挖掘，改进的谱聚类算法能够自动识别聚类数，算法输出多条攻击 序列的集合：

(3.1)通过步骤(2.1)中的相似矩阵S，构建邻接矩阵W＝S，使用邻接矩阵W计算度矩阵D。矩阵D为对角矩阵，主对角线元素D_ii表示第i个样本与其他所有样本的相似性度量之和，定义如下：

(3.2)通过邻接矩阵W和度矩阵D，计算标准化的图拉普拉斯矩阵L_sym＝I-D^-1/2WD^-1/2， 其中I是单位矩阵；

(3.3)计算标准化的图拉普拉斯矩阵L_sym最大的特征值λ_max；

(3.4)定义ρ为求解特征向量估计的稀疏性控制参数，初始化参数

定义矩阵 B_l＝λ_maxI-L_sym，用于初始化IDS告警日志数据的空间结构表达；其中l表示数据集聚簇划分的 索引，初始化参数l＝0；定义R_l为样本点集合，初始化参数R₀＝{1,2,…,n}，表示所有数据点 集合；定义supp'函数为字段值对样本点的支持度，初始化参数h＝0.1，表示supp'_h函数的支 持度门槛，具体如下：

(3.5)通过对矩阵B_l进行稀疏化正则，可求得B_l的第一主稀疏特征向量u_l，具体如下：

其中，Oⁿ＝{u∈Oⁿ,u^Tu＝1}为单位球面向量集合。

(3.6)根据图拉普拉斯矩阵L_sym的性质，计算L_sym的稀疏特征向量估计

具体如下；

(3.7)更新矩阵B_l+1＝B_l-(u_l ^TB_lu_l)u_lu_l ^T，表示在第l+1次数据空间结构表达的初始化中， 删除掉已经进行聚簇划分的部分数据；集合

表示在第l轮迭代执行中，通 过稀疏特征向量估计

的指示，在未分配集中得到的聚簇划分；

更新R_l＝R_l-1\C_l，表示从数据集合中删除掉第l轮执行的聚簇划分，所得到的新的未分配 数据集合；更新迭代次数l＝l+1；

(3.8)重复步骤(3.5)～(3.7)，直至聚簇划分C_l为空，即无法从数据集合中划分出新 的聚簇；

(3.9)所得的每一个集合C_v表示一个网络杀伤链攻击序列，其中0≤v≤l-1，R_l表示不 属于网络杀伤链模型的攻击记录集合。

步骤4，基于已经得到的网络杀伤链数据，使用马尔科夫模型预测分析三种网络杀伤链 变种模型，得到不同杀伤链模型下的攻击预测值和统计量信息：

(4.1)步骤3描述的算法输出为多个杀伤链序列集合，通过对已经挖掘到的杀伤链数据 进行统计分析，可以得到各个攻击事件的概率转移矩阵Q。假设随机过程状态S₁、S₂、…、 S₇、S₈依次对应于网络杀伤链的各个阶段以及终止状态；

(4.2)简单的网络杀伤链模型攻击序列从“侦察”到“行动”按顺序出现，攻击可以在 任何阶段停止或结束，而不能跳过任何阶段或返回到先前的阶段，如图3所示。简单的网络 杀伤链模型的概率转移矩阵Q₁如下所示：

其中，λ_p是从状态S_p到状态S_p+1的转换速率(p＝1，2，…，6)，μ_h是从状态S_h到状态 S₈的转换速率(h＝1，2，…，7)。当p＝1、2、…、6时，λ_pp＝λ_p+μ_p；

(4.3)迭代的网络杀伤链模型对应于具有某些阶段循环的有限网络攻击过程。攻击序列 涵盖从“侦察”到“行动”再到“攻击结束”的过程，也可能包括从“交付”到“C&C”状态跳转至“侦察”状态的新的迭代过程。有时在实际攻击场景中，攻击者会忽略掉掉“武器化”阶段，如图4所示。迭代的网络杀伤链模型的概率转移矩阵Q₂如下所示：

其中，跳转速率λ₁，λ₂，…，λ₆的含义与步骤(4.2)中的相同。跳转速率μ_h，h＝3，4，…， 6分别指从S_h到S₁的过渡。λ₇是从S₇到S₈的转换率，即攻击结束。速率λ₁₃是从S₁到S₃的转换速率，λ₁₁＝λ₁+λ₁₃。当p＝3，…，6时，λ_pp＝λ_p+μ_p；

(4.4)在无穷迭代的网络杀伤链模型中攻击可以依次经历从“侦察”到“行动”的各个 阶段，但有可能跳过“武器化”阶段。同时该模型假设网络攻击会一直进行，在任何时候从 “交付”到“行动”阶段可直接跳转到侦察阶段开始新一轮的迭代，如此往复，如图5所示。无穷迭代的网络杀伤链模型的概率转移矩阵Q₃如下所示：

其中，跳转速率λ₁，λ₂，…，λ₆的含义与步骤(4.2)中的相同。跳转速率μ₃，μ₄，…，μ₇，λ₁₃，λ₇以及λ_pp(p＝3，…，6)的含义与步骤(4.3)汇总的相同。

(4.5)根据每种杀伤链模型的特征，通过求解柯尔莫哥洛夫微分方程，能够获得杀伤链 攻击预测的状态概率分布向量。向量的维度由杀伤链模型状态数决定，每一维度的值表示在 某一特定时间下所对应的杀伤链状态的概率值，即攻击预测值。通过对莫哥洛夫微分方程进 行拉普拉斯变换，可得到迭代的网络杀伤链模型下的平均攻击时间向量，向量中的每一维表 示相应杀伤链阶段所花费的平均攻击时间。通过求解莫哥洛夫前向微分方程，得到无穷迭代 的网络杀伤链模型下的平稳概率分布向量，向量中的每一维表示相应杀伤链阶段的平稳概率 分布。

具体实例：

步骤1，构建9维特征向量：

(1.1)统计IDS告警日志数据中所有的攻击事件类型，将攻击事件按照其特征划分到杀 伤链模型的7个阶段，并把阶段数作为新的字段添加到IDS告警日志数据中。具体的攻击事 件划分如下表所示：

(1.2)选择IDS告警日志数据中与网络杀伤链分析相关的9个字段，具体如下表所示：

字段	说明
		LocalDateTime	日期和时间
RequestMethod	HTTP请求方法
		IP	IP地址
SeverPort	服务器端口号
		ClientPort	客户端端口号
ClientEnv	客户端环境
		HTTPCode	HTTP响应码
Locate	地理位置
		Event	攻击事件所处杀伤链的阶段

(1.3)假定a_f和a_g分别代表IDS告警日志数据中两条记录或两条数据，下标f和g表示 数据的排序编号，且n≥g>f>0。那么定义每一个字段的相似性度量，具体如下：

(1)日期和时间反应了攻击事件之间的前后关系，随着时间的推移，两个攻击事件之间 的关联性逐渐减弱。LocalDateTime字段的相似性度量可定义为F_{LocalDateTime}：

其中a_f.LocalDataTime表示a_f在LocalDataTime的取值。

(2)一般而言，攻击方的IP地址大都从同一网段中发起，因此同一攻击方在源IP或目 的IP上具有相似性。IP字段的相似性度量可定义为F_Ip：

其中M＝max{H(a_f.sIP,a_g.sIP),H(a_f.sIP,a_g.dIP),H(a_f.dIP,a_g.sIP),H(a_f.dIP,a_g.dIP)}，H函数是 两个IP地址的二进制表示从左到右位相同的数目，sIP指源IP地址，dIP指目的IP地址。

(3)假使攻击方使用不同的工具进行服务器访问并成功得手，那么这两条数据的HTTP 请求方法、服务器端口号、客户端端口号、客户端环境、HTTP响应码应该具有相同之处。 这些字段的相似性度量可统一定义为：

(4)同一个攻击方在地图上大概率会处在相同的区域，根据两条数据中地区交集的范围 大小，Locate字段的相似性度量可定义为F_Locate：

F_Locate＝(a_g.country&a_f.country)*0.1+(a_g.province&a_f.province)*0.2+(a_g.city&a_f.city)*0.7

(5)从杀伤链的特点来看，前一条告警数据的攻击方法造成的结果可能是展开下一条告 警数据中的攻击方法的前提条件。Event字段的相似性度量可定义为F_Event：

步骤2，由于IDS告警日志数据并无先验的杀伤链攻击序列信息，因此采用无监督的特 征选择算法，将9维特征向量筛减为5维特征向量：

(2.1)数据集矩阵

表示IDS告警日志数据转换为矩阵的形式，表 示矩阵元素的取值为实数，n代表数据的条数，n＝10，d＝9；x_i是列向量且代表一条数据， 即一个样本或样本点，其中1≤i≤25，初始化i＝0。计算任意两个样本之间的距离S_ij，即步 骤(1.3)中所有字段相似性度量计算值之和，使用全连接法构造得到相似矩阵S：

(2.2)权重矩阵A表示IDS告警日志数据在几何空间结构的映射，通过相似矩阵S构建 权重矩阵A为：

(2.3)计算权重矩阵A^r，表示IDS告警日志数据的几何空间结构在第r维特征的映射；

(2.4)由于权重矩阵A和A^r都反映了IDS告警日志数据的空间结构，因此每一维特征 的重要性可以通过权值w_r进行评估，权值w_r表示第r维特征表征日志数据空间结构的能力 大小，相应的问题可表示为：

定义矩阵

其中G_rc用于刻画第r维特征和第c维特征之间的相似性，值为tr((A^r)^TA^c)，tr(Z)函数用于表示方阵Z的迹。具体地：

同时定义向量b∈R^9×1，其中b_r表示第r维特征和所有特征之间的相似性，值为 b_r＝tr(A^TA^r)。具体地：

b＝[7.53 1.89 9.02 0.77 8.36 2.59 1.83 9.42 8.65]^T

那么上式的问题可化简转化为：

其中向量w表示这9维特征向量的得分。

(2.5)求解步骤(2.4)中的具有线性约束的二次规划问题，得到向量w，具体为：

w＝[0.10 0.00 0.21 0.01 0.17 0.01 0.00 0.30 0.20]^T

按照降序筛选出向量w中得分较高的前5个值，即可筛选出top 5维特征，为{LocalDateTime，IP，ClientPort，Locate，Event}；

步骤3，针对经典谱聚类算法需要设定超参的问题，网络杀伤链检测使用改进的谱聚类 算法用于杀伤链攻击序列挖掘，改进的谱聚类算法能够自动识别聚类数，算法输出多条攻击 序列的集合：

(3.1)通过步骤(2.1)中的相似矩阵S，构建邻接矩阵W＝S；

使用邻接矩阵W计算度矩阵D。矩阵D为对角矩阵，主对角线元素D_ii表示第i个样本与其他所有样本的相似性度量之和，定义如下：

具体为：

(3.2)通过邻接矩阵W和度矩阵D，计算标准化的图拉普拉斯矩阵L_sym＝I-D^-1/2WD^-1/2， 其中I是单位矩阵，具体为：

(3.3)计算标准化的图拉普拉斯矩阵L_sym最大的特征值λ_max＝0.98；

(3.4)定义ρ为求解特征向量估计的稀疏性控制参数，初始化参数

定义矩阵B_l＝λ_maxI-L_sym，用于初始化的IDS告警日志数据的空间结构表达，其中l表示数据 集聚簇划分的索引，初始化参数l＝0，具体为：

定义R_i为样本点集合，初始化参数R₀＝{1,2,…,n}，表示所有数据点集合；定义supp'_h函 数为字段值对样本点的支持度，初始化参数h＝0.1代表支持度门槛，具体如下：

(3.5)通过对矩阵B₀进行稀疏化正则，可求得B₀的第一主稀疏特征向量u₀，具体如下：

u₀＝[0.330.280.350.290.280.300.320.390.320.29]^T

(3.6)根据图拉普拉斯矩阵L_sym的性质，计算L_sym的稀疏特征向量估计

具体如下；

(3.7)集合

表示在第1轮迭代执行中，通过稀疏特征向量估计

的指 示，在未分配集中得到的聚簇划分C₁＝{1,3,6,7,8,10}；更新R₁＝R₀\C₁，表示从数据集合中删除 掉第1轮执行的聚簇划分，所得到的新的未分配数据集合R₁＝{2,4,5,9}；更新迭代次数l＝2；

(3.8)更新矩阵B_l+1＝B_l-(u_l ^TB_lu_l)u_lu_l ^T表示在第l+1次数据空间结构表达的初始化中， 删除掉已经进行聚簇划分的部分数据，重复步骤(3.5)～(3.7)，直至聚簇划分C_l为空，即 无法从数据集合中划分出新的聚簇；

(3.9)算法输出网络杀伤链攻击序列集合C＝{{1,3,6,7,8,10}，{2,4,5}}，以及不属于网络 杀伤链攻击的记录集合R＝{9}。

步骤4，基于已经得到的网络杀伤链数据，使用马尔科夫模型预测分析三种网络杀伤链 变种模型，得到不同杀伤链模型下的攻击预测值和统计量信息：

(4.1)步骤(3)涉及的相关算法的输出为多个杀伤链序列集合C，通过对已经挖掘到 的杀伤链数据进行统计分析，可以得到各个攻击事件的概率转移矩阵Q；

(4.2)简单的网络杀伤链模型攻击序列从“侦察”到“行动”按顺序出现，攻击可以在 任何阶段停止或结束，而不能跳过任何阶段或返回到先前的阶段，如图3所示。简单的网络 杀伤链模型的概率转移矩阵Q₁如下：

(4.3)迭代的网络杀伤链模型对应于具有某些阶段循环的有限网络攻击过程。攻击序列 涵盖从“侦察”到“行动”再到“攻击结束”的过程，也可能包括从“交付”到“C&C”状态跳转至“侦察”状态的新的迭代过程。有时在实际攻击场景中，攻击者会忽略掉掉“武器化”阶段，如图4所示。迭代的网络杀伤链模型的概率转移矩阵Q₂如下：

(4.4)在无穷迭代的网络杀伤链模型中攻击可以依次经历从“侦察”到“行动”的各个 阶段，但有可能跳过“武器化”阶段。同时该模型假设网络攻击会一直进行，在任何时候从 “交付”到“行动”阶段可直接跳转到侦察阶段开始新一轮的迭代，如此往复，如图5所示。无穷迭代的网络杀伤链模型的概率转移矩阵Q₃如下：

(4.5)根据每种杀伤链模型的特征，通过求解柯尔莫哥洛夫微分方程，能够获得杀伤链 攻击预测的状态概率分布向量。向量的维度由杀伤链模型的状态数决定，每一维度的值表示 在某一特定时间下所对应的杀伤链状态的概率值，即攻击预测值。通过对莫哥洛夫微分方程 进行拉普拉斯变换，可得到迭代的网络杀伤链模型下的平均攻击时间向量T_s，向量中的每一 维表示相应杀伤链阶段所花费的平均攻击时间。具体为：

T_s ^T＝[1.13 1.20 1.32 1.25 1.41 33.33 100.00 ∞]^T

通过求解莫哥洛夫前向微分方程，得到无穷迭代的网络杀伤链模型下的平稳概率分布向量P， 向量中的每一维表示相应杀伤链阶段的平稳概率分布。具体为：

P^T＝[0.07 0.07 0.07 0.08 0.13 0.68 0.13]

以上描述的杀伤链检测与预测系统仅是本发明的一个具体实例，并未构成对本发明的任 何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离 本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思 想的修正和改变仍在本发明的权利求保护范围之内。

Claims (10)

1.一种网络杀伤链检测方法，获取IDS告警日志数据中符合网络杀伤链模型的多个攻击事件序列的集合，其特征在于，包括以下步骤：

(1)构建d维特征向量：

(1.1)获取IDS告警日志数据中的n个攻击事件，按照每个攻击事件的攻击特征把所有的攻击事件分别划分到网络杀伤链模型的7个阶段中，最终把每个攻击事件所在的网络杀伤链模型的阶段数添加到该攻击事件所在的日志数据中，得到新的日志数据，n为自然数；

(1.2)通过新的日志数据构建出与网络杀伤链相关的d维特征向量，该d维特征向量包含攻击事件所在的网络杀伤链模型的阶段数；

(2)无监督特征选择将d维特征向量筛减为k维，每一个攻击事件都用一个k维特征向量表示；

(3)通过k维特征向量获取网络杀伤链攻击事件序列集合：

(3.1)更新R_l＝R_l-1\C_l；

R_l表示第l次迭代中，从R_l-1删除掉已经进行聚簇划分的攻击事件后剩余所有攻击事件的序列集合；l表示迭代次数；C_l为已进行聚簇划分的攻击事件序列集合，

supp'函数表示特征向量的每一维对攻击事件的支持度，h表示支持度门槛；

为标准化的图拉普拉斯矩阵L_sym的稀疏特征向量估计，L_sym通过k维特征向量得到；

第一次更新时需初始化参数l＝1，h＝0.1，初始时R₀＝{1,2,…,n}，B₀为初始化的n个攻击事件的空间结构表达；

(3.2)更新B_l+1＝B_l-(u_l ^TB_lu_l)u_lu_l ^T；

B_l表示在第l次迭代中，删除掉已经进行聚簇划分的攻击事件后剩余所有攻击事件空间结构表达，通过k维特征向量得到，u_l为B_l的第一主稀疏特征向量，通过对B_l进行稀疏化正则求得；

(3.3)更新迭代次数l＝l+1；

(3.4)重复步骤(3.1)-(3.3)，直至无法找到进行聚簇划分的攻击事件，最终所有迭代中删除的已进行聚簇划分的攻击事件序列集合即为所有攻击事件中找到的具有网络杀伤链的攻击事件序列集合。

2.如权利要求1所述网络杀伤链检测方法，其特征在于，步骤(2)k维特征向量的计算具体包括：

(2.1)分别计算每两个攻击事件的相似性度量值后，使用全连接法构造n×n相似矩阵S；通过相似矩阵S构造权重矩阵A；同时计算出特征向量只在第i维上的相似性，构造出权重矩阵Aⁱ，其中i＝1,2,…,d；

(2.2)通过权重矩阵A和Aⁱ计算出权值w_i，w_i表示第i维特征向量表征IDS告警日志数据空间结构能力的得分；

其中，w＝[w₁,w₂,...,w_i,...,w_d]为d维特征向量表征IDS告警日志数据空间结构能力的得分；G_ij＝tr((Aⁱ)^TA^j)，表示(Aⁱ)^TA^j的迹，b_r＝tr(A^TA^r)，表示A^TA^r的迹，其中j＝1,2,…,d；

(2.3)对w降序排列，前k个权值对应的特征向量，即为新的k维特征向量。

3.如权利要求2所述网络杀伤链检测方法，其特征在于，k维特征向量为{LocalDateTime，IP，ClientPort，Locate，Event}，k的值为5。

4.如权利要求2所述网络杀伤链检测方法，其特征在于，步骤(2.1)中计算每两个攻击事件的相似性度量值，是计算两个攻击事件的每一维特征向量的相似性度量值的总和，具体包括：

假定a_f和a_g分别代表IDS告警日志数据中两条攻击事件，下标f和g表示攻击事件的序号，且n≥g>f>0；两个攻击事件的每一维特征向量的相似性度量值的计算，具体如下：

(1)F_{LocalDateTime}为两个攻击事件LocalDateTime的相似性度量值：

其中a_f.LocalDataTime表示a_f在LocalDataTime的取值；

(2)F_Ip为两个攻击事件IP的相似性度量值：

其中M＝max{H(a_f.sIP,a_g.sIP),H(a_f.sIP,a_g.dIP),H(a_f.dIP,a_g.sIP),H(a_f.dIP,a_g.dIP)}，H函数是两个攻击事件IP的二进制表示从左到右位相同的数目，sIP指源IP地址，dIP指目的IP地址；

(3)两个攻击事件HTTP请求方法、服务器端口号、客户端端口号、客户端环境、HTTP响应码的相似性度量值均为：

(4)F_Locate为两个攻击事件Locate的相似性度量值：

F_Locate＝(a_g.country&a_f.country)*0.1+(a_g.province&a_f.province)*0.2+(a_g.city&a_f.city)*0.7(5)F_Event为两个攻击事件Event的相似性度量值：

a_f.Event表示a_f在Event的取值；a_g.Event表示a_g在Event的取值。

5.如权利要求1所述网络杀伤链检测方法，其特征在于，步骤(3)中，矩阵B_l的计算采用如下公式：B_l＝λ_maxI-L_sym；

其中，l表示迭代次数，B_l表示第l次迭代中，删除掉已经进行聚簇划分的攻击事件后剩余所有攻击事件空间结构表达的集合；λ_max为标准化的图拉普拉斯矩阵L_sym最大的特征值；L_sym＝I-D^-1/2WD^-1/2，I是单位矩阵，D为度矩阵，W为邻接矩阵，D和W通过k维特征向量得到；

6.一种网络杀伤链预测方法，通过权利要求1-4任一个权利要求获取的网络杀伤链攻击事件序列集合，得到每个攻击事件的概率转移矩阵，通过每个攻击事件的概率转移矩阵求解柯尔莫哥洛夫微分方程，获得网络杀伤链攻击预测的状态概率分布向量，所述状态概率分布向量的维度由网络杀伤链模型状态数决定，状态概率分布向量的每一维度的值表示在特定时间下所对应的网络杀伤链模型状态数的概率值，即攻击预测值。

7.一种网络杀伤链预测方法，通过权利要求1-4任一个权利要求获取的网络杀伤链攻击事件序列集合，得到每个攻击事件的概率转移矩阵，通过每个攻击事件的概率转移矩阵求解柯尔莫哥洛夫微分方程，通过对莫哥洛夫微分方程进行拉普拉斯变换，得到迭代的网络杀伤链模型下的平均攻击时间向量，平均攻击时间向量中的每一维表示网络杀伤链模型每个阶段所花费的平均攻击时间。

8.一种网络杀伤链预测方法，通过权利要求1-4任一个权利要求获取的网络杀伤链攻击事件序列集合，得到每个攻击事件的概率转移矩阵，通过每个攻击事件的概率转移矩阵求解柯尔莫哥洛夫微分方程，得到无穷迭代的网络杀伤链模型下的平稳概率分布向量，平稳概率分布向量中的每一维表示网络杀伤链模型每个阶段的平稳概率分布。

9.一种网络杀伤链检测及预测系统，其特征在于，包括数据预处理模块、杀伤链检测模块和杀伤链预测模块；

所述数据预处理模块用于获取IDS告警日志数据中的n个攻击事件并按照权利要求1步骤1-2所述方法构建d维特征向量并把d维特征向量筛减为k维，得到的k维特征向量作为杀伤链检测模块的输入；

所述杀伤链检测模块用于通过k维特征向量按照权利要求1步骤3所述方法挖掘出网络杀伤链攻击事件序列集合；将网络杀伤链攻击事件序列集合存储并作为杀伤链预测模块的输入；

所述杀伤链预测模块根据网络杀伤链攻击事件序列集合按照权利要求5-7中任意一个权利要求所述方法进行网络杀伤链预测，输出状态概率分布向量或平均攻击时间向量或平稳概率分布向量并存储。

10.如权利要求8所述的网络杀伤链检测及预测系统，其特征在于，还包括可视化模块和检索模块；

所述可视化模块以杀伤链检测模块和预测模块的输出作为可视化数据，采用描述性可视分析方法，实现数据的多层次高效表达；

所述检索模块完成对可视化数据的多条件检索，并给出检索结果。

Images