CN108306894A - 一种基于攻击发生置信度的网络安全态势评估方法及系统 - Google Patents

Abstract

本发明属于以协议为特征的技术领域，公开了一种基于攻击发生置信度的网络安全态势评估方法及系统，利用机器学习技术对网络流数据进行分析，计算网络流属于攻击流的概率，并利用D‑S证据理论将多步攻击的信息进行融合，得到攻击发生的置信度。然后利用安全漏洞信息、网络服务信息和主机防护策略，经过态势要素融合计算网络安全态势，有效提高了评估的准确性。在评估体系中加入检测设备的置信度信息，有效降低漏报和误报的影响。采用集成学习的方法，提高置信度计算的准确性。将网络攻击视为动态的过程，对多步骤的攻击信息合并处理。采用信息融合技术，综合考虑漏洞、服务信息和防护策略等网络环境特性。

Description

一种基于攻击发生置信度的网络安全态势评估方法及系统

技术领域

本发明属于以协议为特征的技术领域，尤其涉及一种基于攻击发生置信度的网络安全态势评估方法及系统。

背景技术

目前，业内常用的现有技术是这样的：为准确高效地评估网络安全态势，当前的思路主要是采用数据融合的方式，直接利用安全监测设备输出的日志或告警信息进行融合处理，得到网络整体的安全态势。使得安全态势的评估结果非常依赖于入侵检测设备或日志审查设备对网络攻击识别的准确性。由于网络攻击的复杂性和攻击手段的不断演化，安全检测设备对攻击的识别往往会出现偏差，发生漏报和误报。现在普遍应用的入侵检测或日志审查技术，不论是基于规则、基于模式匹配还是基于机器学习，在判断是否为网络攻击行为时，大都采用阈值划分的标准，即用阈值代表正常网络行为的边界，而将超出阈值的行为判断为网络攻击。实际上，由于网络服务和攻击手段的多样性，不同行为被安全检测设备判定为攻击的概率是不同的，可以看做不同网络行为到划分边界的距离不同。采用阈值划分的方式在确定判断标准的同时也丢弃了这些概率信息。而由于攻击手段的复杂性和隐蔽性，正常行为和攻击之间的边界往往比较模糊，只根据阈值进行简单划分就会出现漏报和误报。

综上所述，现有技术存在的问题是：漏报误报的泛滥使得安全态势感知的数据源变得不可靠，影响了整个量化评估体系的准确性。

解决上述技术问题的难度和意义：目前，国内外的技术方案都是基于网络安全监测设备输出的日志或告警信息，这些信息只是简单的给出攻击的类型、发生时间、攻击目标等数据，并不包含攻击发生的概率信息。要取得这一信息，需要对网络环境的原始数据进行分析，提出新的网络数据分析框架。同时，这一框架必须包含网络安全各个态势要素，必须考虑攻击方、防护方和网络环境等网络安全各个参与方的相互博弈制约作用，需要综合运用入侵检测、信息融合等技术。网络攻击的不断演化和网络环境的复杂性加大了这一领域的研究难度。

同时，提出包含置信度信息的网络安全评估方案是十分必要的。这一技术能够实时地监测网络安全状态，获得更精确的安全威胁行为描述和更全面、及时的网络安全状态估计，可以在攻击发生或造成严重后果之前，对攻击发生的数量及时空特性进行预测，预先采取相应的防御措施来加强网络的安全。该项研究的开展对提高网络系统的应急响应能力、缓解网络攻击所造成的危害、发现潜在的恶意入侵行为、提高系统的反击能力等具有十分重要的意义。

发明内容

针对现有技术存在的问题，本发明提供了一种基于攻击发生置信度的网络安全态势评估方法及系统。

本发明是这样实现的，一种基于攻击发生置信度的网络安全态势评估方法，所述基于攻击发生置信度的网络安全态势评估方法利用机器学习技术对网络流数据进行分析，计算网络流属于攻击流的概率，并利用D-S证据理论将多步攻击的信息进行融合，得到攻击发生的置信度；利用安全漏洞信息、网络服务信息和主机防护策略，经过态势要素融合计算网络安全态势。

进一步，所述基于攻击发生置信度的网络安全态势评估方法包括以下步骤：

一、攻击流概率计算

攻击流概率T是指网络流属于网络攻击流的概率。计算过程主要应用入侵检测相关的技术，通常有基于规则、基于模式匹配和基于机器学习等方法。其中，基于机器学习的方法可以根据不同的应用场景提取有针对性的特征，进行自适应的迭代和调整，而且能够发现未知的攻击模式，具有良好的扩展性。所以本发明采用基于机器学习的检测技术，通过集成学习结合随机森林和SVM算法，利用网络流数据训练分类器，计算攻击流概率T。

1.带概率输出的随机森林模型

随机森林是以决策树为基学习器的一种集成学习算法。首先对原始数据进行bootstrap采样:给定包含m个样本的数据集D，每次随机从D中挑选一个样本，将其拷贝放入采样结果数据集D’中，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D’。随机森林中每棵决策树都是基于从原始数据中进行bootstrap采样的不同结果构建的。在基决策树的结点划分时，还引入了随机属性选择。即从该结点的属性集合中随机选择一个属性子集，然后再从这个子集中选择一个最优属性用于划分。

这样，通过引入样本扰动和属性扰动，使得最终集成的泛化性能可以通过基学习器之间的差异度的增加而得到提升，在测试集上获得良好的表现。

带概率输出的随机森林分类算法的完整描述如下：

(1).从训练集中通过bootstrap采样得到n个采样数据集。

(2).使用n个采样数据集生成n棵决策树，在决策树结点划分时，从随机选择的属性子集中选择一个最优属性进行划分，最优划分的衡量标准可以是信息增益、信息增益比或基尼系数。

(3).在测试集上预测时，记录每棵决策树的输出类别，统计不同类别在整个随机森林所有决策树输出结果中所占的比例，作为该类别的最终概率。

2.带概率输出的支持向量机模型

支持向量机(support vector machine,简称SVM)的理论基础来自于Vapnik等提出的统计学习理论。其基本思想是在特征向量空间中寻找能分隔目标类型的最优超平面，使得距离超平面最近的两类样本点(即支持向量)到超平面的距离之和(间隔)最大。可以视为解决以下优化问题：

约束条件为：

y_i(w^Tx_i+b)≥1,i＝1,2,3,...,n

其中，w、b是确定超平面的参数：

w^Tx+b＝0

通过拉格朗日乘子法，可以得到其对偶问题：

约束条件为：

α_i≥0,i＝1,2,...n

解出α后，求出w与b即可得到模型

在很多问题中，训练样本不是线性可分的，原始样本空间并不存在一个能正确划分两类样本的超平面。对于这样的问题，可以通过核函数将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。在高维特征空间中，优化问题的形式为：

约束条件为：

α_i≥0,i＝1,2,...n

其中k(·,·)即为核函数，求解后即可得到：

本文算法使用的是高斯核函数：

σ为高斯核的带宽

对于带概率输出的SVM模型，Platt提出利用Sigmoid函数将标准SVM的输出值映射为目标的后验概率P(c_j＝1|x)，即：

其中，f为标准SVM的输出结果，A和B是待定参数，通过解如下一个最大似然问题来解决：

其中，P_i＝1/exp(Af_i+B)，f_i＝f(x_i)，t_i由式(n)确定：

其中，N₊、N_-分别为SVM模型中正例和反例的个数。

对于多分类问题，我们采用one-vs-rest策略，即对于m分类问题，每次将一个类的样本作为正例，而将所有其他类的样本作为反例来训练m个分类器，测试样本所属类别就是输出值最大的分类器所对应的类别c_j，即：

SVM最初是为二分类问题设计的，可以通过多种策略推广到多分类问题。本文采用“一对其余”(One-vs-Rest)策略，即对于m分类问题，每次将一个类的样本作为正例，而将所有其他类的样本作为反例来训练m个分类器，测试时用投票的方式选择分类器投票最多的一类。

3.Stacking算法

Stacking是一种集成学习算法。集成学习通过将多个学习器进行结合，可以获得比单一学习器显著优越的泛化性能。Stacking先从初始数据集训练出初级学习器，然后生成第二层数据集来训练用于结合的次级学习器。为了防止过拟合，在构建新数据集的过程中采用交叉验证的方法。以k折交叉验证为例，初始训练集D被随机划分为k个大小相等的集合D₁,D₂,...,D_k，令D_j和分别表示第j折的测试集和训练集。给定T个初级学习算法，初级学习器通过在上使用第t个学习算法而得。对D_j中的每个样本x_i，令则由x_i所产生的次级训练样本的示例部分为z_i＝(z_i1；z_i2；...；z_iT)，标记部分为y_i。在交叉验证过程结束后，用求得的次级训练集训练次级学习器。次级学习的训练过程可以看做是为初级学习器分配权重。

本发明采用不同参数的随机森林和SVM算法作为初级学习器，将初级学习器输出的类概率作为次级学习的输入属性。次级学习算法采用多响应线性回归(Multi-responseLinear Regression，简称MLR)。MLR是基于线性回归的分类器，对每个类分别进行线性回归，属于该类的训练样例所对应的输出被置为1，其他类置为0。最后根据下式计算攻击流概率T：

二、攻击发生置信度计算

由于网络攻击手段的复杂性，攻击常常分成多步进行，一个简单的攻击行为可以产生多条连接流量。更极端的情况下，比如发动分布式拒绝服务攻击(DDoS)时，能在短时间内产生海量的流量，触发大量的告警，其中存在着很多冗余信息。直接使用这些流量数据计算攻击发生置信度显然是不可行的，需要对相关信息进行归并融合。同时，由于攻击特征的限制，单条告警的判断可能会出现偏差。仍以DDoS攻击为例，其原理是通过大量请求占用网络资源，达到瘫痪网络的目的，这一特征在攻击发动的初期很难捕捉，需要综合多条流量信息判断。因此，进行相关信息融合对提高算法的准确性很有必要。针对这一目标，本发明算法采用了D-S证据理论。

D-S证据理论由Dempster于1967年提出,后来由Shafer推广并形成一套完整的数学推理理论，可以支持概率推理、诊断和风险分析等。D-S证据理论建立在非空集合Θ上，Θ称为辨识框架(frame ofdiscernment,简称FOD)，表示有限个系统状态，而对系统状态的假设H_i为Θ的一个子集。某个证据支持一个系统状态假设的概率函数，称为信度分配函数(basicprobability assignment,简称BPA)，其定义如下：

信度分配函数定义为从Θ的幂集到[0,1]区间的映射：m:P(Θ)→[0,1]

，满足

在此基础上，D-S证据理论提出了对多个证据的组合规则，即Dempster规则。Dempster规则形式化定义如下：

设m₁和m₂为两个证据的信度分配函数，则对这两个证据的组合得出组合证据的信度分配函数为

其中K为归一化因子，

对n个证据进行组合的Dempster一般化规则为

本发明的目标是对基于网络流量数据得到的攻击流概率进行融合，所以辨识框架为表示“发生了第k类攻击”或“没有发生攻击”，而幂集中表示不可能事件“攻击既发生，也可能没有发生”，H表示事件“可能发生第k类攻击，也可能没有发生”。以网络流数据作为证据，其信度分配函数即为集成学习算法输出的攻击流概率值T，满足使用一般化Dempster规则对同一时间段内源地址相同或目标地址相同的网络流数据的信度分配函数进行组合，即得到归并融合后的攻击发生置信度C_i，i表示对第i个主机的评估。

三、态势要素融合

攻击发生置信度表明了攻击发生的概率，但网络安全态势是由攻击方、防护方和网络环境共同作用的结果，需要融合各方面要素综合计算整体安全态势。态势要素主要包括漏洞的可利用性、漏洞危害程度、防护策略和业务信息。

网络攻击发生后，攻击效果受到漏洞可利用性、漏洞危害性和防护策略配置的影响，分别用E(Vulnerability exploitability)、S(Vulnerability severity)、D(defencepolicy)表示。

漏洞可利用性通过将态势评估模型中主机漏洞信息与攻击依赖漏洞信息进行匹配获得。攻击依赖漏洞信息是预定义的已知攻击知识。在计算时，检查主机节点是否包含了攻击所依赖的所有漏洞，如果全部包含，则返回E＝1；否则，如果缺少其中任何一个，则返回E＝0。

漏洞危害性直接影响攻击的破坏效果，本文直接采用CVSS对漏洞危害性的评估结果。CVSS(commonvulnerability scoring system)，是由美国国家基础设施顾问委员会(NIAC)开发，事件反应和安全小组(FIRST)维护，被广泛使用的漏洞评估行业标准。CVSS从基本指标、时效性和环境三方面进行评估，最终得到一个介于1到10之间的数字来表示漏洞的总体严重性，分值越大，风险越大。本文算法对评估值除以10进行归一化得到H，以保持数据尺度的一致性而不改变其相对大小。

防护策略，是指为了提高网络的安全性，防护方运行的访问控制规则和实行的安全配置等。在计算时，考察防护策略能否对攻击起限制作用，若能则返回防护成功概率P＝1，否则返回D＝0。

同时，网络安全态势还受到业务的影响。业务反映了网络的具体功能，也一定程度上决定了攻防双方的目的和意图。主机上运行的业务价值不同，导致节点所占的权重不同，用下式计算主机业务权重：

其中m为主机节点提供的业务数。m为每个业务所占的权重，由网络管理员根据实际情况分配，网络中的各种业务的权重和为1。如果同时有几台主机运行同一种业务，那么该业务的权重将被平均分配给这几台主机。

综上，在攻击发生置信度的基础上，经过安全态势融合，利用下式计算网络整体安全态势值：

本发明的另一目的在于提供一种所述基于攻击发生置信度的网络安全态势评估方法的基于攻击发生置信度的网络安全态势评估系统，所述基于攻击发生置信度的网络安全态势评估系统包括：

提取有效特征模块，利用集成学习算法对原始流量数据进行分析，计算网络流属于攻击流的概率值；

信息归融合模块，利用D-S证据理论将多步攻击的信息进行归并融合，得到攻击发生的置信度；

网络整体安全态势获取模块，利用漏洞、服务信息和防护策略，经过态势要素融合计算网络整体安全态势。

本发明的另一目的在于提供一种应用所述基于攻击发生置信度的网络安全态势评估方法的信息数据处理终端。

综上所述，本发明的优点及积极效果为：1.本发明提出了攻击发生置信度的概念，保留了安全监测设备在入侵检测判定时的概率信息，从而避免了普遍存在的漏报和误报对网络安全态势整体评估框架的影响。

2.本发明设计实现了一套完整的网络安全态势评估方法，主要包括攻击流概率计算、攻击发生置信度计算和态势要素融合等步骤。基于检测设备识别网络攻击和威胁的概率将网络安全态势量化为具体的数值。在态势要素融合中，引入了漏洞的可利用性、漏洞危害程度和业务信息，综合反映网络环境特征，从而做到准确体现网络安全状况，清晰地指导网络管理员采取进一步措施及时响应网络安全事件，配置防御策略。

3.在攻击发生置信度的计算过程中，本文使用机器学习相关技术，应用了随机森林模型、支持向量机模型、Stacking算法等技术，使得评估方法不依赖于专家知识，做到对不同网络环境有良好的适应性和泛化性能，并且能发现未知的攻击模型，具备了优越的伸缩性。对于当下攻击手段不断变化、层出不穷的网络环境具有更现实的应用意义。本发明方法与基于模式识别的传统方法对于四种最常见的攻击类型(Probe(Surveillance andProbing)，Dos(Denial ofService)，U2R(Userto Root)，R2L(Remote to Local))进行检测的AUC值如下

表1本发明方法与现有技术AUC对比

由表中结果可见，本发明方法对于四种常见攻击类型的检测效果均明显优于传统方法，尤其是传统方法难以识别的U2R和R2L类攻击取得了明显的提升。说明本发明方法能对网络攻击进行有效的识别，具有很高的灵敏性。

4.考虑到网络安全态势评估在实际部署中的实时性要求，本发明方法对传统的安全态势评估方法进行改进，设计实现了一套轻量级网络安全态势评估方法，通过特征选择和集成学习算法本身的优良性能在保证准确性的前提下缩短了模型训练时间和评估时间

表2本发明方法与传统方法的计算时间对比

由上表可见，本文方法比传统方法评估总时长降低了85.6％，使得算法完全能够满足线上实时评估的要求。在网络攻击频发，攻击手段复杂化的背景下，及时检测并处理网络攻击显得尤为重要。本发明方法对于及时响应和防御化解网络攻击具有重要的意义。

附图说明

图1是本发明实施例提供的基于攻击发生置信度的网络安全态势评估方法流程图。

图2是本发明实施例提供的基于攻击发生置信度的网络安全态势评估系统结构示意图；

图中：1、提取有效特征模块；2、信息归融合模块；3、网络整体安全态势获取模块。

图3是本发明实施例提供的基于攻击发生置信度的网络安全态势评估系统结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明利用机器学习技术对网络流数据进行分析，计算网络流属于攻击流的概率，并利用D-S证据理论将多步攻击的信息进行融合，得到攻击发生的置信度；然后利用安全漏洞信息、网络服务信息和主机防护策略，经过态势要素融合计算网络安全态势，有效提高了评估的准确性。

如图1所示，本发明实施例提供的基于攻击发生置信度的网络安全态势评估方法包括以下步骤：

S101：提取有效特征，利用集成学习算法对原始流量数据进行分析，计算网络流属于攻击流的概率值。在计算时，采用Stacking算法，将不同参数的随机森林和SVM算法作为初级学习器，将初级学习器输出的类概率作为次级学习的输入属性，次级学习算法采用多响应线性回归，对每个类分别进行线性回归，计算攻击流概率；

S102：利用D-S证据理论将多步攻击的信息进行归并融合，得到攻击发生的置信度。使用一般化Dempster规则对同一时间段内源地址相同或目标地址相同的网络流数据的信度分配函数进行组合，即得到归并融合后的攻击发生置信度；

S103：考虑网络环境特性，利用漏洞、服务信息和防护策略，经过态势要素融合计算网络整体安全态势。

如图2所示，本发明实施例提供的基于攻击发生置信度的网络安全态势评估系统包括：

提取有效特征模块1，利用集成学习算法对原始流量数据进行分析，计算网络流属于攻击流的概率值。

信息归融合模块2，利用D-S证据理论将多步攻击的信息进行归并融合，得到攻击发生的置信度。

网络整体安全态势获取模块3，利用漏洞、服务信息和防护策略，经过态势要素融合计算网络整体安全态势。

下面结合具体实施例对本发明的应用原理作进一步的描述。

实施例1：

使用本发明对MIT林肯实验室提供的DARPA 99评估数据集进行检测。DARPA 1999年评测数据包括Probe(surveillance and probing),Dos(denial of service),U2R(userto root),R2L(remote to local)/Data等4大类58种典型攻击方式，是研究领域共同认可及广泛使用的基准评测数据集。

特征提取以网络连接或主机会话为统计单位，包括4类：TCP连接基本特征、基于时间的网络流量统计特征、基于主机的网络流量统计特征和TCP连接的内容特征。

然后进行数据采样。训练集类别不平衡，直接使用原始训练集训练分类器会严重影响准确率。采用欠采样的方式处理，对训练集采样划分成多份，供集成学习中不同分类器使用。这样既为集成学习引入多样性，在全局看又尽可能多地覆盖了样本，解决了类别不平衡问题。

将划分后的训练集代入Stacking算法，训练出多个不同参数的随机森林模型和SVM模型作为初级学习器。最优参数通过网格搜索获得。次级学习算法用多响应线性回归计算模型权重。训练完成后，输出攻击流概率。将攻击流概率作为信度分配函数，使用一般化Dempster规则进行组合，得到归并融合后的攻击发生置信度C_i，i表示对第i个主机的评估。

在态势要素融合阶段，考虑漏洞的可利用性、漏洞危害程度、防护策略和业务信息。漏洞可利用性通过将态势评估模型中主机漏洞信息与攻击依赖漏洞信息进行匹配获得。攻击依赖漏洞信息是预定义的已知攻击知识。在计算时，检查主机节点是否包含了攻击所依赖的所有漏洞，如果全部包含，则返回E＝1；否则，如果缺少其中任何一个，则返回E＝0。漏洞危害性直接影响攻击的破坏效果，本发明直接采用CVSS对漏洞危害性的评估结果，得到一个介于1到10之间的数字来表示漏洞的总体严重性，分值越大，风险越大。对评估值除以10进行归一化得到H，以保持数据尺度的一致性而不改变其相对大小。防护策略，是指为了提高网络的安全性，防护方运行的访问控制规则和实行的安全配置等。在计算时，考察防护策略能否对攻击起限制作用，若能则返回防护成功概率P＝1，否则返回P＝0。同时，网络安全态势还受到业务的影响。业务反映了网络的具体功能，也一定程度上决定了攻防双方的目的和意图。主机上运行的业务价值不同，导致节点所占的权重不同，用下式计算主机业务权重：

其中m为主机节点提供的业务数。m为每个业务所占的权重，由网络管理员根据实际情况分配，网络中的各种业务的权重和为1。如果同时有几台主机运行同一种业务，那么该业务的权重将被平均分配给这几台主机。

综上，在攻击发生置信度的基础上，按照图3所示的态势评估矿机，利用下式计算网络整体安全态势值：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于攻击发生置信度的网络安全态势评估方法，其特征在于，所述基于攻击发生置信度的网络安全态势评估方法利用机器学习技术对网络流数据进行分析，计算网络流属于攻击流的概率，并利用D-S证据理论将多步攻击的信息进行融合，得到攻击发生的置信度；利用安全漏洞信息、网络服务信息和主机防护策略，经过态势要素融合计算网络安全态势。

2.如权利要求1所述的基于攻击发生置信度的网络安全态势评估方法，其特征在于，所述基于攻击发生置信度的网络安全态势评估方法包括以下步骤：

步骤一，利用集成学习算法对原始流量数据进行分析，计算网络流属于攻击流的概率值，在计算时，采用Stacking算法，将不同参数的随机森林和SVM算法作为初级学习器，将初级学习器输出的类概率作为次级学习的输入属性，次级学习算法采用多响应线性回归，对每个类分别进行线性回归，计算攻击流概率；

步骤二，利用D-S证据理论将多步攻击的信息进行归并融合，得到攻击发生的置信度，使用一般化Dempster规则对同一时间段内源地址相同或目标地址相同的网络流数据的信度分配函数进行组合，得到归并融合后的攻击发生置信度；

步骤三，利用漏洞、服务信息和防护策略，经过态势要素融合计算网络整体安全态势。

3.一种如权利要求1所述基于攻击发生置信度的网络安全态势评估方法的基于攻击发生置信度的网络安全态势评估系统，其特征在于，所述基于攻击发生置信度的网络安全态势评估系统包括：

提取有效特征模块，利用集成学习算法对原始流量数据进行分析，计算网络流属于攻击流的概率值；

信息归融合模块，利用D-S证据理论将多步攻击的信息进行归并融合，得到攻击发生的置信度；

网络整体安全态势获取模块，利用漏洞、服务信息和防护策略，经过态势要素融合计算网络整体安全态势。

4.一种应用权利要求1～2任意一项所述基于攻击发生置信度的网络安全态势评估方法的信息数据处理终端。