CN111526053B

CN111526053B - 一种基于置信度的网络安全告警处理方法

Info

Publication number: CN111526053B
Application number: CN202010313693.5A
Authority: CN
Inventors: 张小松; 牛伟纳; 巫长勇; 李婷; 肖建安; 邓建
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-04-20
Filing date: 2020-04-20
Publication date: 2021-05-14
Anticipated expiration: 2040-04-20
Also published as: CN111526053A

Abstract

本发明提出了一种基于置信度的网络安全告警处理办法，包括了置信度获取，告警分级剔除，告警聚合三个步骤。置信度获取步骤采用机器学习方法，通过机器学习模型获取到原始告警的置信度。然后利用置信度先对原始告警进行剔除和分级操作。分级完成后先对确认为攻击的告警进行告警聚合，得到高级告警。若得到的高级告警不足以满足分析需求，再对高度疑似的告警进行告警聚合得到更多的高级告警。

Description

一种基于置信度的网络安全告警处理方法

技术领域

本发明提出了一种基于置信度的网络安全告警处理方法，用于剔除无用的，冗余的网络安全设备告警，提高网络安全入侵事件的分析效率。属于网络安全领域。

背景技术

随着计算机信息通信技术的高速发展，网络安全攻击事件时有发生。现阶段下，企事业单位对于安全攻击事件的防御和复盘分析基本都依赖于安全设备，以及安全设备产生的日志。当前的网络安全设备普遍存在误报和漏报的情况，并且在互联网上充斥着大量的肉鸡，这些肉鸡经常性得被不法分子用作扫描器对全网进行扫描。因此网络安全设备还会产生大量的无用的告警。

发明内容

针对当前互联网中充斥着大量的肉鸡扫描器以及当前网络安全设备存在大量的误报漏报的情况。本发明了提出一种基于置信度的网络安全告警处理方法。其目的在于提高在网络安全入侵事件复盘分析时的效率，帮助安全分析人员更快速地定位攻击者得入口点，分析攻击者地攻击过程，评估攻击产生的影响。

一种基于置信度的网络安全告警处理方法,包括以下步骤：

步骤1：置信度获取，收集互联网上的常用的网络攻击的向量和Web系统正常的请求，然后利用机器学习方法搭建机器模型，接下来利用标注好的训练数据对机器模型进行训练，获取到具有分类效果的分类器；

训练好的机器模型的输出是一个一维数组，数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击；

例如，对于一条输入的请求数据I，模型输出的一维数组0为[0.2,0.7,0.1]，数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击。

假设在训练模型时，数据的标签是按照正常请求、XSS请求、SQL注入请求这样的顺序进行排列的，即正常的请求的标签是[1,0,0]，XSS请求的标签是[0,1,0]，SQL注入请求标签为[0,0,1]；这样就可以知道请求i很有可能是一条XSS攻击请求，且模型判断i为XSS攻击请求的概率为0.7.

然后将导致安全设备产生告警的原始请求输入到已经训练好的模型中进行打分评判，获取到模型输出的一维数组，保留一维数组中数值最大的数据α(0<α<1)，及其在数组中的位置P，α即为告警的置信度，P则代表告警的类型，获取到告警的置信度和告警的攻击类型。

步骤2，告警剔除，依据模型的准确度和模型输出的告警置信度，将告警进行分类，告警可分为可直接剔除类，高度疑似类，和确认为攻击的三类告警。

步骤3，告警聚合形成高级告警，告警聚合方法是，先按照告警时间进行告警排序，然后按照告警的类型，告警发生的时间，告警的源IP进行告警相似度计算，对于相似度大于0.75的两条告警，将其归属于同一个高级告警。

上述技术方案中，告警进行分类包括如下步骤：

分级方法是基于模型准确度f(0<f<1)和告警置信度进行分级的；

告警的置信度为a，

a>f或者f-a<0.1则，该告警归为确定为攻击类；

0.1<＝f-a<＝0.25则告警归为高度疑似；

f-a>0.25的归为直接剔除类；

0.1和0.25是一个给定的阈值，可根据实际场景进行动态调整。

模型准确度f如下式：

f＝accuracy＝(TP+TN)/(TP+FN+FP+TN) (1.1)

式中，TP：被模型预测为正的正样本；FP：被模型预测为正的负样本；FN：被模型预测为负的正样本；TN：被模型预测为负的负样本。

因为本发明采用上述技术方案，因此具有以下有益效果：

一、本发明首先利用机器学习技术，对告警的置信度进行量化，获取到告警的置信度。然后依据机器学习模型的准确度和告警的置信度，对告警进行分级处理，将告警分为可直接剔除类，高度疑似类，和确认为攻击的三类告警。然后首先仅对确定为攻击类的告警进行告警聚合形成超级告警，从而方便安全分析人员进行更为抽象的攻击事件分析。若仅用确定为攻击类的告警经过告警聚合形成的超级告警不足以满足安全人员的分析需求，则再将高度疑似类的告警进行告警聚合操作，以形成更多的超级告警。

二、利用机器学习技术获取到告警的置信度，然后基于告警置信度和模型准确度对告警进行告警分级，可剔除掉安全设备产生的错误告警，减少告警聚合阶段的数据量，能够在不影响告警聚合准确度的情况下加快告警聚合的速度。

附图说明

图1为置信度获取的流程步骤；

图2为为告警分类图；

图3为聚合成高级告警流程图；

图4为基于置信度的网络安全告警处理方法整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

本发明结合机器学习技术，通过使用机器学习模型评估分析网络安全设备产生的告警的置信度，将机器模型对告警请求的为攻击的预测值作为告警的置信度的量化。然后基于告警的置信度，将设备产生的原始告警进行分级，分为确定为攻击、高度疑似、可直接剔除类三个等级。对置信度低于阈值的可直接删除类的告警进行剔除。然后对确定为攻击类的告警进行聚合形成高级告警，一个高级告警即可代表攻击者的一个攻击步骤。通过这样方式来帮助分析人员快速进行网络安全攻击事件分析。若仅仅使用确定为攻击类的告警不满足事件分析的需求，则将高度疑似类的告警和确定为攻击类的告警一起进行告警聚合，形成更多的高级告警。

具体的本发明提供了一种基于置信度的网络安全告警处理方法包括以下步骤：

步骤一，收集互联网上的常用的网络攻击的向量(包括常用的XSS攻击的payload，SQL注入请求的payload，命令注入请求的payload)和Web系统正常的请求，然后利用机器学习方法搭建机器模型，接下来利用标注好的训练数据对模型进行训练，获取到具有分类效果的分类器。训练好的模型的输出是攻击的类型和请求为攻击概率。然后将导致安全设备产生告警的原始请求输入到已经训练好的模型中进行打分判断，模型输出的为攻击的概率即为告警的置信度。置信度获取的过程如下图1所示。

步骤二，告警剔除，依据模型的准确度和模型输出的告警准确度，将告警进行分级。模型的准确度的计算方式如式1.1。告警可分为三类，可直接剔除类，高度疑似类，和确认为攻击的三类告警。分级方法是基于模型准确度f(0<f<1)，按照％10，％15的规则进行分级。假设告警的置信度为a，a>f或者f-a<0.1则，该告警归为确定为攻击类，0.1<＝f-a<＝0.25则告警归为高度疑似。f-a>0.25的归为直接剔除类。对于直接剔除类的告警，后面的聚合过程不再处理。

f＝accuracy＝(TP+TN)/(TP+FN+FP+TN) (1.1)

式中，TP(True Positive)：被模型预测为正的正样本；FP(False Positive)：被模型预测为正的负样本；FN(False Negative,FN)：被模型预测为负的正样本；TN(TrueNegative,TN)：被模型预测为负的负样本。

步骤三，告警融合形成高级告警，初始的告警因为记录条数可能会有很多，若要直接对其进行分析，需要大量时间和人力，因此可以将原始的告警进行聚合成高级告警。

告警聚合方法是，先按照告警时间进行告警排序，然后按照告警的类型，告警发生的时间，告警的源I P进行告警相似度计算。对于相似度大于0.75的两条告警，将其归属于同一个高级告警。

实施例1

一种基于置信度的网络安全告警处理方法。其特征在于通过机器学习的方式获取到网络安全告警的告警置信度，首先利用机器学习算法搭建机器学习模型,所用算法包括但不限于LSTM、CNN等算法，然后利用从网络上收集到的攻击请求和正常请求，训练模型获取到具有较好分类效果的模型，搭建的模型均为回归模型。将触发告警的原始请求输入到机器学习模型中供模型识别评判。将模型对单条告警的原始数据进行打分判断出是否为攻击，以及攻击的种类和是攻击的概率，模型输出的概率评分即为告警的置信度。依据模型准确度，告警进行分级，将告警分为可直接删除，高度疑似，确定为攻击的三类，分级方法是基于模型准确度f(0<f<1)，按照。0.1,0.15的规则进行分级。假设告警的置信度为a，a>f或者f-a<0.1则，该告警归为确定为攻击类，0.1<＝f-a<＝0.25则告警归为高度疑似。对于直接删除类直接剔除，后面不再做处理。对于确定为攻击的进行告警聚合操作，形成高级告警。若发现形成的高级告警与实际的攻击者的攻击过程存在一定偏差，则再继续对高度疑似的告警进行告警聚合处理，形成更多的高级告警。基于告警类型，告警时间，告警来源进行相似度计算，将相似度大于0.5的告警归结为一个高级告警。相似度计算方法如下.首先比较类型，若告警的类型一致，类型相似度为1否则为0，然后比较IP，若两个告警的源IP一致，则比较IP相似度为1否则为0，最后计算时间相似度，时间相似度计算规则是若两个告警发生时间不超过半小时，则相似度为1，超过一小时且不超过一小时，则相似度为0.75，一小时至两小时相似度为0.5，大于两小时小于一天时间相似度为0.25，大于一天时间相似度为0，将三种相似度相加再除以3，然后再乘上置信度的乘积，得到告警相似度。

Claims

1.一种基于置信度的网络安全告警处理方法，其特征在于，包括以下步骤：

训练好的机器学习模型的输出是一个一维数组,数组中的数据代表的是请求为各类型攻击的概率，这里将正常的请求也看作是一种特殊的攻击;

然后将导致安全设备产生告警的原始请求输入到已经训练好的模型中进行打分评判，获取到模型输出的一维数组O，然后从一维数组O中获取到最大的数据值α，0<α<1，及其在数组中的位置P，α即为告警的置信度，P则代表攻击的类型，从而获取到告警的置信度和告警的攻击类型;

步骤2，告警剔除，依据模型的准确度和模型输出的告警置信度，将告警进行分类，告警分为三类：可直接剔除类，高度疑似类，和确认为攻击;

步骤3，告警聚合形成高级告警，告警聚合方法是，先按照告警时间进行告警排序，然后按照告警的攻击类型，告警发生的时间，告警的源IP进行告警相似度计算，对于相似度大于0.75的两条告警，将其归属于同一个高级告警。

2.根据权利要求1所述的一种基于置信度的网络安全告警处理方法,其特征在于，

告警进行分类包括如下步骤：

分级方法是基于模型准确度f，0<f<1，按照0.1，0.15的比例进行分级，具体的分级方式如下；

告警的置信度为a，

a>f或者f-a<0.1则，该告警归为确定为攻击类；

0.1<=f-a<=0.25则告警归为高度疑似；

f-a>0.25的归为直接剔除类；

模型准确度f如下式：

f=accuracy=(TP+TN)/(TP+FN+FP+TN)（1.1）

式中，TP：被模型预测为正的正样本；FP：被模型预测为正的负样本；FN：被模型预测为负的正样本；TN：被模型预测为负的负样本；

其中：0.1和0.15为两个设定的阈值，可以根据实际情况进行调整。