CN116527296A - 一种多层次网络安全态势评估方法 - Google Patents

Abstract

本发明涉及机器学习和网络安全领域，且公开了一种多层次网络安全态势评估方法，包括以下步骤：对各个不同的攻击风险分指标的数据预先将其进行归一化、属性规约、数据清洗以及缺失值处理；利用LightGBM算法对攻击风险分指标评估；利用LightBGM算法对攻击风险分指标与权重相结合求出攻击风险指数；利用基于模拟退火算法对攻击风险分指标权重的迭代优化，该多层次网络安全态势评估方法，能针对各个不同的攻击风险分指标的数据维度大，范围广，需将其进行归一化、属性规约、数据清洗、缺失值处理。对各攻击风险分指标子特征数据通过多进程并行输入到各自的LightGBM模型中进行训练，从而得到攻击风险分指标的分数。

Description

一种多层次网络安全态势评估方法

技术领域

本发明涉及机器学习和网络安全领域，具体为一种多层次网络安全态势评估方法。

背景技术

网络空间主权即对出现在该空间的信息通信技术活动及信息通信技术平台本身及其数据具有主权。

随着网络规模和复杂性不断增大，网络的攻击技术不断革新，新型攻击工具大量涌现，传统的网络安全技术显得力不从心，网络入侵不可避免，网络安全问题越发严峻。

态势感知风险评估在研究网络攻击对网络影响中占有重要的地位和作用，它是整个全过程的重点和关键环节。所谓网络安全态势评估，是指通过汇总、过滤和关联分析设备等产生的安全事件，在构建安全指标的基础上建立合适的数学模型，对网络系统整体上所遭受的安全威胁程度进行评估，从而分析出网络遭受攻击所处阶段，全面掌握网络整体的安全状况。

通过态势感知风险评估，可以尽早地发现网络中的安全隐患和威胁，对这些隐患与威胁的影响范围与严重程度进行充分评估可以帮助管理人员掌握当前网络的安全状况，以便在发生之前针对这些威胁采取遏制和阻止措施，使系统免受攻击和破坏，使得到充分保护。只有对态势进行评估，才能明确网络所处的安全状况，从而掌握全网安全态势，也为下一步态势预测提供依据。

由于网络安全态势感知评估对于维护网络空间安全的重要性，这个领域的研究与应用日益活跃，目前已有许多基于图结构的网络安全态势评估方法。一种基于贝叶斯网络的多部攻击安全态势感知评估方法，通过贝叶斯网络后验推理和累积概率计算多步攻击风险,采用层次化量化评估方法对主机及整个网络的安全态势进行量化评估，该方法能够解决了网络安全态势评估过程中缺乏关联性分析的问题，并把监测事件考虑到风险评估中；有一种基于攻击图状态的排序安全态势评估方法，但是该方法对攻击图状态排序不够准确，很大程度上会影响网络安全态势评估的准确性；有一种基于集对分析的网络安全态势感知评估，该方法能够从统一性，差异性，对立性测度等多个角度去进行评估，避免了采用单一标准的局限性，但是在构造同异反联系度上面，缺少科学依据和公认的方法；有一种基于深度学习的特征提取的基础上，结合粗糙集分析和深度抽象的模式信息给出评估策略,但粗糙集理论存在计算量大，且非实时性的缺陷；有一种研究采用BP神经网络进行网络安全态势评估的方法，但随着数据集的规模扩大时，神经网络隐藏节点和数据的维度是指数级增长，这样会导致神经网络用于大规模复杂网络安全态势评估效果不佳。以上提到的网络安全态势评估方法皆并非完美，皆受限于其模型算法的局限性，

基于贝叶斯网络的多部攻击安全态势感知评估方法通过频繁挖掘的方法得到多步攻击模式去构建攻击图，从而得出网络安全态势评估模型，这种模型忽略了贝叶斯网络节点之间并非全部相对独立，这使得该方法对整个网络安全态势评估有较大误差。借助攻击图状态排序对网络安全态势评估，若对攻击图状态排序的精准度不高，会影响评估效果。当使用基于数学模型的集对分析网络安全态势评估方法，虽然能从多个测度方面取得较好的效果，但始终缺少科学依据。基于深度学习的粗糙集理论对网络安全进行态势评估，在海量数据面前会存在效率低下且消耗资源过多的情况。采用BP神经网络进行网络安全态势评估的方法，随着数据集的规模扩大，神经网络隐藏节点和数据的维度会指数级增长，这样会导致神经网络用于大规模复杂网络安全态势评估时会效果不佳。为此我们提出了一种多层次网络安全态势评估方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多层次网络安全态势评估方法，解决了上述的问题。

(二)技术方案

为实现上述所述目的，本发明提供如下技术方案：一种多层次网络安全态势评估方法，包括以下步骤：

第一步：对各个不同的攻击风险分指标的数据预先将其进行归一化、属性规约、数据清洗以及缺失值处理；

第二步：利用LightGBM算法对攻击风险分指标评估；

第三步：利用LightBGM算法对攻击风险分指标与权重相结合求出攻击风险指数；

第四步：利用基于模拟退火算法对攻击风险分指标权重的迭代优化。

优选的，所述第二步中的具体内容为：

根据数据集的大小确定每棵树的叶子数量、树深度、一个叶子上最少的样本数以及建立一个叶子所需最少样本集参数，每棵树的叶子数量需要严格小于2^max_depth；

树深度数量不易设置过深，建立一个叶子所需最少样本集参数根据数据集尽可能变大；

使用样本数据随机采样比例参数执行更快的结果装袋，特征列随机采样比例来确定每次迭代所使用的特征子集。

优选的，所述第三步的具体内容如下：

S1：从多个LightGBM模型并行计算出的各个攻击风险分指标的分数，将各个攻击风险分指标分数用矩阵全部保存；

S2：将LightGBM模型得出的攻击风险分指标与其随机初始化的权重相结合得出攻击风险指数，将计算出的攻击风险指数与实际攻击风险指数比较计算出均方误差和，均方误差和作为目标函数；

S3：模拟退火算法再根据当前的攻击风险分指标和上一次的攻击风险分指标进行判断，对各攻击风险分指标对应的权重向正方向或负方向随机扰动，即对权重增加或者减少一个随机数，随机数限定一个范围；

S4：将更新后的权重与对应的攻击风险分指标相乘并求和，将上一步的结果与实际值进行比较并求解均方误差和，如果当前计算出的目标函数优于上一次的目标函数，则接受当前的攻击风险分指标的权重和目标函数最为当前最有权重和最优目标函数，否则根据蒙特卡洛判断准则选择性接受新的攻击风险分指标的权重和目标函数，反复上述优化过程，直到温度下降到预先设定的最低温度，从而得到最精确的态势评估模型。

优选的，所述第四步中的具体步骤如下：

S1：初始化攻击风险分指标对应的权重ω_i，与攻击风险分指标相结合得出攻击风险指数，将计算出的攻击风险指数与实际值比较并计算均方误差和，作为初始化的目标函数；

S2：根据目标函数，对攻击风险分指标的权重进行正负向扰动，将扰动的结果与LightGBM算法计算出的攻击风险分指标相结合计算出当前迭代过程的攻击风险风险指数，将计算值与真实的攻击风险指数进行比较，计算两者的均方误差和作为当前迭代过程的目标函数；

S3：判断当前迭代过程的目标函数是否优于上个迭代过程的目标函数，如果优与上一迭代过程的解，则接受该攻击风险分指标的权重和当前迭代过程的目标函数作为最优解，否则会通过Metropoils判断准则去选择性接受新解，在Metropoils判断准则公式如下所示：

T为模拟退火算法设置的初始温度，k为温度下降的速度；

S4：经过Metropoils判断准则之后再判断是否达到当前循环的迭代次数，如果达到当前循环的迭代次数则退出当前循环，否则继续上述过程；

S5：再判断是否达到预设的最低温度，如果达到预设最低温度则退出整个循环，返回全局的最优解，否则缓慢降低温度，根据k值去控制温度下降的速率，重置上层循环的迭代次数。

(三)有益效果

与现有技术相比，本发明提供了一种多层次网络安全态势评估方法，具备以下有益效果：

1、该多层次网络安全态势评估方法，能针对各个不同的攻击风险分指标的数据维度大，范围广，需将其进行归一化、属性规约、数据清洗、缺失值处理。对各攻击风险分指标子特征数据通过多进程并行输入到各自的LightGBM模型中进行训练，从而得到攻击风险分指标的分数。

2、该多层次网络安全态势评估方法，采用LightGBM算法对数据集进行训练过程中能做到并行运行，速度快，内存消耗少并且能够多网络安全态势评估过程中筛选出最精准的攻击风险分指标。该方法采用模拟退火算法优化攻击风险分指标所对应的权重，将攻击风险分指标与其权重相结合，得出攻击风险指数，通过判断计算出的攻击风险指数与真实攻击风险指数进行对比，不断优化更新攻击风险分指标权重，从而确定最优态势评估模型。

3、该多层次网络安全态势评估方法，首先对各攻击风险分指标子特征数据进行归一化，属性规约，数据清洗，缺失值处理。再基于LightGBM算法对攻击风险分指标进行评估，之后通过随机初始化权重与计算出的各攻击风险分指标相结合得出当前迭代过程下攻击风险指数。将计算值与真实的攻击风险指数进行比较，并计算其均方差作为初始的目标函数，之后通过模拟退火算法对当前迭代过程和上一迭代过程的目标函数进行比较，如果优于上一迭代过程的目标函数则接受当前迭代过程下的攻击分风险分指标的权重以及目标函数，否则通过Metropoils判断准则选择性去接受新解，反复上述操作，直到退出整个模拟退火算法，返回全局的最优解，从而计算出最精准的态势评估模型。

附图说明

图1为基于模拟退火算法和LightGBM算法的多层次网络安全态势评估方法实现的流程图；

图2为通过模拟退火算法来确定LightGBM中攻击风险分指标权重迭代更新的流程图；

图3为多层次的攻击风险评估要素。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，一种多层次网络安全态势评估方法，包括以下步骤：

第一步：对攻击风险指数分指标子特征数据处理；

针对各个不同的攻击风险分指标的数据维度大，范围广，需要预先将其进行归一化、属性规约、数据清洗、缺失值处理。

第二步：LightGBM算法对攻击风险分指标评估；

首先将处理好的攻击风险分指标子特征数据通过多进程的方式并行输入到各自LightGBM模型中进行训练，利用LightGBM算法对攻击风险分指标进行评分，通过在不同进程的不同的特征集合上分别寻找最优的分割点，从而计算出攻击风险分指标的分数。

对于LightGBM算法做了如下优化:首先选择比较高的学习率，加快收敛速度，再确定boosting迭代的次数，在后续的调参过程再根据数据集去选择合适的学习率和迭代次数。为了提高LightGBM模型对攻击风险分指标的准确性。由于LightGBM算法是基于Histogram(直方图)的决策树算法，决策树的生长方式是按照leaf-wise(叶子生长)的算法进行生长，根据数据集的大小确定num_leaves(每棵树的叶子数量)，max_depth(树深度)，min_data_in_leaf(一个叶子上最少的样本数)，min_child_samples(建立一个叶子所需最少样本集)参数，num_leaves需要严格小于2^max_degth，因为将该参数设置过大会导致决策树深度过深，准确性会随着提高，会出现过拟合现象，因此需根据数据集大小合理设置参数。同样max_depth数量不易设置过深，否则会出现过拟合的现象，min_data_in_leaf会受到num_leaves和数据集的影响，根据训练集合理设置该参数的大小，能避免过深的决策树，min_child_samples参数根据数据集尽可能变大，从而降低过拟合；

使用bagging_fraction(样本数据随机采样比例)参数执行更快的结果装袋，feature_fraction(特征列随机采样比例)来确定每次迭代所使用的特征子集。

第三步：LightBGM算法对攻击风险分指标与权重相结合求出攻击风险指数；

从多个LightGBM模型并行计算出的各个攻击风险分指标的分数，将各个攻击风险分指标分数用矩阵全部保存，首次将LightGBM模型得出的攻击风险分指标与其随机初始化的权重相结合得出攻击风险指数，将计算出的攻击风险指数与实际攻击风险指数比较计算出均方误差和，均方误差和作为目标函数(目标函数即是模拟退火算法对攻击风险分指标权重更新优化的核心判断依据)。模拟退火算法再根据当前的攻击风险分指标和上一次的攻击风险分指标进行判断，对各攻击风险分指标对应的权重向正方向或负方向随机扰动(即对权重增加或者减少一个随机数[随机数限定一个范围])，将更新后的权重与对应的攻击风险分指标相乘并求和，将上一步的结果与实际值进行比较并求解均方误差和，如果当前计算出的目标函数优于上一次的目标函数，则接受当前的攻击风险分指标的权重和目标函数最为当前最有权重和最优目标函数，否则根据Metropoils(蒙特卡洛)判断准则选择性接受新的攻击风险分指标的权重和目标函数，反复上述优化过程，直到退出模拟退火算法(温度下降到预先设定的最低温度)，从而得到最精确的态势评估模型。

第四步：基于模拟退火算法对攻击风险分指标权重的迭代优化；

初始化攻击风险分指标对应的权重ω_i，与攻击风险分指标相结合得出攻击风险指数。将计算出的攻击风险指数与实际值比较并计算均方误差和，作为初始化的目标函数。根据目标函数，对攻击风险分指标的权重进行正负向扰动，将扰动的结果与LightGBM算法计算出的攻击风险分指标相结合计算出当前迭代过程的攻击风险风险指数，将计算值与真实的攻击风险指数进行比较，计算两者的均方误差和作为当前迭代过程的目标函数。判断当前迭代过程的目标函数是否优于上个迭代过程的目标函数，如果优与上一迭代过程的解，则接受该攻击风险分指标的权重和当前迭代过程的目标函数作为最优解，否则会通过Metropoils判断准则去选择性接受新解，在Metropoils判断准则公式如下所示：

上述公式中T为模拟退火算法设置的初始温度，k为温度下降的速度。经过Metropoils判断准则之后再判断是否达到当前循环的迭代次数(马尔科夫链的长度，需经过多次调试才知道迭代多少次为佳)，如果达到当前循环的迭代次数则退出当前循环，否则继续上述过程。再判断是否达到预设的最低温度，如果达到预设最低温度则退出整个循环，返回全局的最优解，否则缓慢降低温度(根据k值去控制温度下降的速率)，重置上层循环的迭代次数。

通过模拟退火算法对各攻击风险分指标的权重进行迭代优化，使权重与攻击风险分指标相结合，计算出的攻击风险指数很大程度提高了网络安全态势评估的准确性

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种多层次网络安全态势评估方法，其特征在于，包括以下步骤：

第一步：对各个不同的攻击风险分指标的数据预先将其进行归一化、属性规约、数据清洗以及缺失值处理；

第二步：利用LightGBM算法对攻击风险分指标评估；

第三步：利用LightBGM算法对攻击风险分指标与权重相结合求出攻击风险指数；

第四步：利用基于模拟退火算法对攻击风险分指标权重的迭代优化。

2.根据权利要求1所述的一种多层次网络安全态势评估方法，其特征在于：所述第二步中的具体内容为：

根据数据集的大小确定每棵树的叶子数量、树深度、一个叶子上最少的样本数以及建立一个叶子所需最少样本集参数，每棵树的叶子数量需要严格小于2^max_deptth；

树深度数量不易设置过深，建立一个叶子所需最少样本集参数根据数据集尽可能变大；

使用样本数据随机采样比例参数执行更快的结果装袋，特征列随机采样比例来确定每次迭代所使用的特征子集。

3.根据权利要求1所述的一种多层次网络安全态势评估方法，其特征在于：所述第三步的具体内容如下：

S1：从多个LightGBM模型并行计算出的各个攻击风险分指标的分数，将各个攻击风险分指标分数用矩阵全部保存；

S2：将LightGBM模型得出的攻击风险分指标与其随机初始化的权重相结合得出攻击风险指数，将计算出的攻击风险指数与实际攻击风险指数比较计算出均方误差和，均方误差和作为目标函数；

S3：模拟退火算法再根据当前的攻击风险分指标和上一次的攻击风险分指标进行判断，对各攻击风险分指标对应的权重向正方向或负方向随机扰动，即对权重增加或者减少一个随机数，随机数限定一个范围；

S4：将更新后的权重与对应的攻击风险分指标相乘并求和，将上一步的结果与实际值进行比较并求解均方误差和，如果当前计算出的目标函数优于上一次的目标函数，则接受当前的攻击风险分指标的权重和目标函数最为当前最有权重和最优目标函数，否则根据蒙特卡洛判断准则选择性接受新的攻击风险分指标的权重和目标函数，反复上述优化过程，直到温度下降到预先设定的最低温度，从而得到最精确的态势评估模型。

4.根据权利要求1所述的一种多层次网络安全态势评估方法，其特征在于：所述第四步中的具体步骤如下：

S1：初始化攻击风险分指标对应的权重ω_i，与攻击风险分指标相结合得出攻击风险指数，将计算出的攻击风险指数与实际值比较并计算均方误差和，作为初始化的目标函数；

S2：根据目标函数，对攻击风险分指标的权重进行正负向扰动，将扰动的结果与LightGBM算法计算出的攻击风险分指标相结合计算出当前迭代过程的攻击风险风险指数，将计算值与真实的攻击风险指数进行比较，计算两者的均方误差和作为当前迭代过程的目标函数；

S3：判断当前迭代过程的目标函数是否优于上个迭代过程的目标函数，如果优与上一迭代过程的解，则接受该攻击风险分指标的权重和当前迭代过程的目标函数作为最优解，否则会通过Metropoils判断准则去选择性接受新解，在Metropoils判断准则公式如下所示：

T为模拟退火算法设置的初始温度，k为温度下降的速度；

S4：经过Metropoils判断准则之后再判断是否达到当前循环的迭代次数，如果达到当前循环的迭代次数则退出当前循环，否则继续上述过程；

S5：再判断是否达到预设的最低温度，如果达到预设最低温度则退出整个循环，返回全局的最优解，否则缓慢降低温度，根据k值去控制温度下降的速率，重置上层循环的迭代次数。