CN115412354B - 一种基于大数据分析的网络安全漏洞检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于大数据分析的网络安全漏洞检测方法及系统，涉及网络安全分析领域，包括：根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；遍历安全漏洞类型生成漏洞风险级别；将漏洞出现频率满足预设频率值，且漏洞风险级别满足预设风险级别的安全漏洞类型筛选，生成待检测漏洞类型；遍历待检测漏洞类型，匹配漏洞攻击样本数据集；根据待检测网络类型，匹配普通样本数据集；构建一级分类器；构建二级分类器，进行网络安全漏洞检测。解决了现有技术由于网络安全漏洞的相关攻击数据和普通数据较为相似，导致存在漏洞安全检测识别准确率较低的技术问题。

Description

一种基于大数据分析的网络安全漏洞检测方法及系统

技术领域

本发明涉及网络安全分析相关技术领域，具体涉及一种基于大数据分析的网络安全漏洞检测方法及系统。

背景技术

互联网的飞速发展为人们带来了巨大的便利性，通过互联网进行远程的交互，各类网络系统和平台的应用都极大的提高生活品质及工作效率。但与此同时，由于网络自身无法避免的缺陷以及潜在的入侵源头，导致网络出现一系列安全问题，威胁到网络用户的利益，此类问题被成为网络安全漏洞，自动发现网络安全漏洞以来，致力于消除网络安全漏洞一直是重要的研究方向。

目前对于网络安全漏洞的消除方式主要是通过对网络安全漏洞进行检测，进而针对相应的入侵数据进行拦截，防止发生安全问题，主要过程是对网络安全漏洞的相关数据进行检测分类，例如神经网络模型等方式，但是由于网络安全漏洞的相关攻击数据和普通数据较为相似，导致检测准确度较低。

现有技术由于网络安全漏洞的相关攻击数据和普通数据较为相似，导致存在漏洞安全检测识别准确率较低的技术问题。

发明内容

本申请通过提供了一种基于大数据分析的网络安全漏洞检测方法及系统，解决了现有技术由于网络安全漏洞的相关攻击数据和普通数据较为相似，导致存在漏洞安全检测识别准确率较低的技术问题。

鉴于上述问题，本申请实施例提供了一种基于大数据分析的网络安全漏洞检测方法及系统。

第一方面，本申请提供了一种基于大数据分析的网络安全漏洞检测方法，其中，所述方法应用于一基于大数据分析的网络安全漏洞检测系统，所述方法包括：根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据，其中，所述安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别；将所述漏洞出现频率满足预设频率值，且所述漏洞风险级别满足预设风险级别的所述安全漏洞类型进行筛选，生成待检测漏洞类型；遍历所述待检测漏洞类型，匹配漏洞攻击样本数据集；根据所述待检测网络类型，匹配普通样本数据集；根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器；根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器；通过所述一级分类器和所述二级分类器进行网络安全漏洞检测。

另一方面，本申请提供了一种基于大数据分析的网络安全漏洞检测系统，其中，所述系统包括：记录数据匹配模块，用于根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据，其中，所述安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；风险级别评估模块，用于遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别；漏洞筛选模块，用于将所述漏洞出现频率满足预设频率值，且所述漏洞风险级别满足预设风险级别的所述安全漏洞类型进行筛选，生成待检测漏洞类型；样本匹配模块，用于遍历所述待检测漏洞类型，匹配漏洞攻击样本数据集；根据所述待检测网络类型，匹配普通样本数据集；一级分类器构建模块，用于根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器；二级分类器构建模块，用于根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器；漏洞检测模块，用于通过所述一级分类器和所述二级分类器进行网络安全漏洞检测。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了从待检测网络中提取安全漏洞记录数据，得到安全漏洞类型和漏洞出现频率；对安全漏洞类型进行风险评级，得到风险级别；依据风险级别和漏洞出现频率对安全漏洞类型进行筛选，得到待检测漏洞类型；遍历漏洞类型，匹配漏洞样本攻击数据集和普通样本数据集；再分别基于梯度上升决策森林，构建一级分类器；基于k-means聚类算法，构建二级分类器，使用一级分类器和二级分类器进行漏洞检测的技术方案，通过使用一级分类器对差异性较明显的数据集进行分类，再使用二级分类器对差异性较小的数据集进行分类，得到较高精度的攻击数据的识别结果，达到了提高漏洞检测准确率的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例提供了一种基于大数据分析的网络安全漏洞检测方法流程示意图；

图2为本申请实施例提供了一种基于大数据分析的网络安全漏洞检测方法中样本数据集处理流程示意图；

图3为本申请实施例提供了一种基于大数据分析的网络安全漏洞检测方法中一级分类器的构建流程示意图；

图4为本申请实施例提供了一种基于大数据分析的网络安全漏洞检测系统结构示意图。

附图标记说明：记录数据匹配模块11，风险级别评估模块12，漏洞筛选模块13，样本匹配模块14，一级分类器构建模块15，二级分类器构建模块16，漏洞检测模块17。

具体实施方式

本申请提供的技术方案总体思路如下：

本申请实施例提供了一种基于大数据分析的网络安全漏洞检测方法及系统。由于采用了从待检测网络中提取安全漏洞记录数据，得到安全漏洞类型和漏洞出现频率；对安全漏洞类型进行风险评级，得到风险级别；依据风险级别和漏洞出现频率对安全漏洞类型进行筛选，得到待检测漏洞类型；遍历漏洞类型，匹配漏洞样本攻击数据集和普通样本数据集；再分别基于梯度上升决策森林，构建一级分类器；基于k-means聚类算法，构建二级分类器，使用一级分类器和二级分类器进行漏洞检测的技术方案，通过使用一级分类器对差异性较明显的数据集进行分类，再使用二级分类器对差异性较小的数据集进行分类，得到较高精度的攻击数据的识别结果，达到了提高漏洞检测准确率的技术效果。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例一

如图1所示，本申请实施例提供了一种基于大数据分析的网络安全漏洞检测方法，其中，所述方法应用于一基于大数据分析的网络安全漏洞检测系统，所述方法包括步骤：

S100：根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据，其中，所述安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；

具体而言，待检测网络类型指的是需要进行安全漏洞检测的互联网系统、互联网平台和互联网网络等；网络安全漏洞是网络系统在需求、设计、实现、配置、运行等过程中，产生的缺陷或薄弱点，别有用心的相关人员可利用漏洞入侵网络，达到了窃取数据，提升权限等目的。

预设时间粒度指的是预设的时间区间；安全漏洞记录数据指的是在预设时间粒度内待检测网络类型检测的漏洞的记录数据，包括表征漏洞类型的数据，记为安全漏洞类型，包括表征漏洞出现次数的数据，记为漏洞出现频率。其中，安全漏洞类型包括但不限于：软件漏洞、结构漏洞、配置漏洞、管理漏洞和信任漏洞等漏洞类型，进一步的具体划分，示例性的如：缓冲区溢出、跨站脚本、DOS攻击、扫描、木马注入、木马后门、Web攻击、配置不当、键盘记录、权限许可、访问控制、浏览器劫持、逻辑错误、协议异常、恶意广告等细分漏洞类型。

示例性地：若预设时间粒度为从当前时间节点往前记6个月，记录出现的网络安全漏洞类型为DOS攻击、Probe攻击、U2R攻击和R2L攻击等漏洞类型，而DOS攻击频率为5，Probe攻击频率为10，U2R攻击频率为20，R2L攻击频率为11，则安全漏洞记录数据的记录形式优选为：(DOS：5，Probe：10，U2R：20，R2L：11)，“：”之前为安全漏洞类型，“：”之后为漏洞出现频率。将安全漏洞记录数据置为待响应状态，等待后步调用。

S200：遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别；

进一步的，遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别，步骤S200包括步骤：

S210：获取第一评估属性和第二评估属性，其中，所述第一评估属性为漏洞被利用级别，所述第二评估属性为漏洞影响级别；

S220：根据所述第一评估属性遍历所述安全漏洞类型进行评估，生成被利用分级特征值；

S230：根据所述第二评估属性遍历所述安全漏洞类型进行评估，生成漏洞影响分级特征值；

S240：将所述被利用分级特征值和所述漏洞影响分级特征值进行特征融合，生成所述漏洞风险级别。

进一步的，所述根据所述第一评估属性遍历所述安全漏洞类型进行评估，生成被利用分级特征值，步骤S220包括步骤：

S221：获取第一评估属性指标，其中，所述第一评估属性指标包括访问路径指标、触发条件指标、权限要求指标和交互条件指标；

S222：对所述访问路径指标、所述触发条件指标、所述权限要求指标和所述交互条件指标进行权重分布，生成第一属性权重分布表；

S223：对所述访问路径指标、所述触发条件指标、所述权限要求指标和所述交互条件指标进行级别划分，生成第一属性级别划分表；

S224：根据所述安全漏洞类型，获取访问路径特征值、触发条件特征值、权限要求特征值和交互条件特征值；

S225：根据所述第一属性权重分布表和所述第一属性级别划分表对所述访问路径特征值、所述触发条件特征值、所述权限要求特征值和所述交互条件特征值进行处理，生成所述被利用分级特征值。

进一步的，所述根据所述第二评估属性遍历所述安全漏洞类型进行评估，生成漏洞影响分级特征值，步骤S230包括步骤：

S231：获取第二评估属性指标，其中，所述第二评估属性指标包括保密性指标、完整性指标、修复难度指标和影响范围指标；

S232：对所述保密性指标、所述完整性指标、所述修复难度指标和所述影响范围指标进行权重分布，生成第二属性权重分布表；

S233：对所述保密性指标、所述完整性指标、所述修复难度指标和所述影响范围指标进行级别划分，生成第二属性级别划分表；

S234：根据所述安全漏洞类型，获取保密性特征值、完整性特征值、修复难度特征值和影响范围特征值；

S235：根据所述第二属性权重分布表和所述第二属性级别划分表对所述保密性特征值、所述完整性特征值、所述修复难度特征值和所述影响范围特征值进行处理，生成所述漏洞影响分级特征值。

具体而言，漏洞风险级别指的是表征安全漏洞类型对于网络系统的危害程度高低的数据。分析过程优选的如下：

本申请实施例主要通过漏洞被利用性和漏洞影响能力进行漏洞风险级别的评估；第一评估属性指的是表征漏洞被利用性的漏洞被利用级别，第二评估属性指的是表征漏洞影响能力的漏洞影响级别。被利用分级特征值指的是对安全漏洞类型进行第一评估属性的评估确定的风险分级别数据；漏洞影响分级特征值指的是对安全漏洞类型进行第二评估属性的评估确定的风险分级别数据。最后将被利用分级特征值和漏洞影响分级特征值进行特征融合，确定漏洞风险级别，优选的方式特征融合方式如下：

基于大数据，获取第一参与方、第二参与方直到第i参与方，任意两个参与方之间处于信息隔离状态，任意一参与方优选的为网络安全分析企业、个人或团队，分别为被利用分级特征值和漏洞影响分级特征值进行权重分布，分别求取各自权重的均值，得到被利用分级特征值的融合权重和漏洞影响分级特征值的融合权重，进而将被利用分级特征值和漏洞影响分级特征值求取加权平均数，计算结果记为漏洞风险级别。

被利用分级特征值评估过程如下：第一评估属性即可利用性优选的通过访问路径指标、触发条件指标、权限要求指标和交互条件指标进行表征。其中，访问路径指标指的是表征攻击是否可以通过网络、邻接、本地和物理接触方式进行利用，访问路径类型越多则可利用性就越高；触发条件指标指的是表征漏洞被攻击的复杂度情况，即是否存在专门的访问条件，即漏洞的攻击需要依赖攻击者无法掌控的条件，需要优先对脆弱的组件进行准确工作，触发条件指标所处的层级越深则可利用性越低，触发条件指标所处的层级和攻击者可直接利用的组件越浅，则可利用性越高；权限要求指标指的是表征攻击者攻击前需要具备的权限信息，示例性地如：管理员权限、系统权限和用户权限。为了获取权限攻击者需要优先对脆弱性组件进行控制，进而获取部分或全部的相应权限，若权限要求指标越复杂则可利用性越低，权限要求指标越简单，则可利用性越高；交互条件指标指的是攻击漏洞是否需要用户(非攻击者)的参与，若需要，则可利用性较低，若不需要则可利用性较高。

第一属性权重分布表指的是表征访问路径指标、触发条件指标、权限要求指标和交互条件指标在确定被利用分级特征值的重要度权重分布数据；确定方式优选的如下：将访问路径指标、触发条件指标、权限要求指标和交互条件指标并行输入上述的第一参与方、第二参与方直到第i参与方，得到i组和访问路径指标、触发条件指标、权限要求指标和交互条件指标一一对应的权重分布数据，进而对i个访问路径指标权重求取均值，对i个触发条件指标权重求取均值，对i个权限要求指标权重求取均值，对i个交互条件指标权重求取均值，进而构建第一属性权重分布表。

第一属性级别划分表指的是根据访问路径指标、触发条件指标、权限要求指标和交互条件指标的历史数据中漏洞的危害程度，自定义的风险级别，优选在任意一个指标中，划分1、2、3、4、5、6、7、8、9，九个等级，每一个等级对应不同的指标特征值区间，示例性地：据访问路径指标特征值优选的为访问路径类型数量；触发条件指标特征值优选的为条件数量；权限要求指标特征值优选的为权限要求数量；交互条件指标特征值优选的为非攻击者交互方数量。等级越高，则风险等级越高，可利用性越强。更具体的数值划定，由于不同网络的区别，不具有统一的适应性的数值区间，需要工作人员依据实际场景设定。

访问路径特征值、触发条件特征值、权限要求特征值和交互条件特征值即指的是依据上述定义的特征值参考指标对安全漏洞类型进行特征值分配后的结果；进一步的，将访问路径特征值、触发条件特征值、权限要求特征值和交互条件特征值输入第一属性级别划分表，进而得到访问路径划分级别，触发条件划分级别，权限要求划分级别和交互条件划分级别；更进一步的，将第一属性权重分布表中的访问路径权重、触发条件权重、权限要求权重和交互条件权重提取；依据访问路径划分级别和访问路径权重，触发条件划分级别和触发条件权重，权限要求划分级别和权限要求权重、交互条件划分级别和交互条件权重求取加权平均数，得到被利用分级特征值。

漏洞影响分级特征值的确定过程如下：第二评估属性指标优选的使用保密性指标、完整性指标、修复难度指标和影响范围指标进行表征，其中，保密性指标指的是漏洞成功利用后机密性信息的流失量和暴露量等信息，流失量和暴露量越大，则漏洞影响越大，风险等级越高；完整性指标指的是漏洞成功利用后，文件、Web网页、服务等被修改的程度，修改的文件、Web网页、服务进程数量越多，则完整性越低，风险等级越高；修复难度指标指的是漏洞成功利用后对文件、Web网页、服务进行修复进行的工作量，工作量越大则修复难度越高，则风险等级越高；影响范围指标指的是漏洞成功利用后影响的文件、组件、进程的类型数量，受影响的类型数量越多，则影响范围越大，则风险等级越高。

第二属性权重分布表指的是表征保密性指标、完整性指标、修复难度指标和影响范围指标评估漏洞影响分级特征值时重要度占比的数据表；优选的确定过程示例性地如下：将保密性指标、完整性指标、修复难度指标和影响范围指标并行输入上述的第一参与方、第二参与方直到第i参与方，得到i组和保密性指标、完整性指标、修复难度指标和影响范围指标一一对应的权重分布数据，进而对i个保密性指标权重求取均值，对i个完整性指标权重求取均值，对i个修复难度指标权重求取均值，对i个影响范围指标权重求取均值，进而构建第二属性权重分布表。

第二属性级别划分表指的是根据保密性指标、完整性指标、修复难度指标和影响范围指标的历史数据中漏洞的危害程度，自定义的风险级别，优选在任意一个指标中，划分1、2、3、4、5、6、7、8、9，九个等级，每一个等级对应不同的指标特征值区间，示例性地：保密性指标特征值优选的为机密性信息的流失量和暴露量；完整性指标特征值优选的为修改的文件、Web网页、服务进程数量；修复难度指标特征值优选的为对文件、Web网页、服务进行修复进行的工作量；影响范围指标特征值优选的为漏洞成功利用后影响的文件、组件、进程的类型数量。等级越高，则风险等级越高，可利用性越强。更具体的数值划定，由于不同网络的区别，不具有统一的适应性的数值区间，需要工作人员依据实际场景设定。

保密性特征值、完整性特征值、修复难度特征值和影响范围特征值即指的是依据上述定义的特征值参考指标对安全漏洞类型进行特征值分配后的结果；进一步的，将保密性特征值、完整性特征值、修复难度特征值和影响范围特征值输入第二属性级别划分表，进而得到保密性划分级别，完整性划分级别，修复难度划分级别和影响范围划分级别；更进一步的，将第二属性权重分布表中的保密性权重、完整性权重、修复难度权重和影响范围权重提取；依据保密性划分级别和保密性权重，完整性划分级别和完整性权重，修复难度划分级别和修复难度权重，影响范围划分级别和影响范围权重求取加权平均数，得到漏洞影响分级特征值。

通过对漏洞类型进行风险级别划分，便于后步对初始冗杂的漏洞数据进行筛选，便于进行针对性的漏洞检测，提高检出效率和检出准确率。

S300：将所述漏洞出现频率满足预设频率值，或所述漏洞风险级别满足预设风险级别的所述安全漏洞类型进行筛选，生成待检测漏洞类型；

S400：遍历所述待检测漏洞类型，匹配漏洞攻击样本数据集；根据所述待检测网络类型，匹配普通样本数据集；

具体而言，预设频率值指的是预设的筛选待检测漏洞的漏洞出现频率阈值；预设风险级别为预设筛选待检测漏洞的风险级别阈值；待检测漏洞类型指的是将漏洞出现频率满足，即大于或等于预设频率值的安全漏洞类型，或是漏洞风险级别满足，即大于或等于预设风险级别的安全漏洞类型；预设频率值和预设风险级别之间为逻辑或的关系，满足任意一个则将对应的安全漏洞类型添加进待检测漏洞类型，表示为需要进行针对性检测的漏洞。

检测漏洞的目的在于避免攻击者利用漏洞对用户造成损失，因此及时识别漏洞攻击数据，即可有效检测出相应的漏洞，进而进行修复。因此需要提升对于漏洞攻击数据的识别能力。进而进行漏洞检测的重要环节即是构建识别漏洞攻击数据的分类器，进而针对相关漏洞检测定向检测修复。漏洞攻击样本数据集指的是根据待检测漏洞类型匹配的用于构建分类器的漏洞攻击数据的样本数据集；普通样本数据集指的是根据待检测网络类型提取的输入至待检测漏洞类型的非攻击数据集，即正常访问样本数据集。将普通样本数据集和漏洞攻击样本数据集存储为两组数据，置为待响应状态，等待后步调用。

进一步的，如图2所示，所述根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器，之前包括步骤S800，步骤S800包括步骤：

S810：对所述漏洞攻击样本数据集进行漏洞攻击数据标识；对所述普通样本数据集进行普通数据标识；

S820：根据标识后的所述漏洞攻击样本数据集，获取样本漏洞类型和漏洞样本连接数量；

S830：根据所述样本漏洞类型对标识后的所述普通样本数据集进行聚类，生成普通样本分类结果和普通样本连接数量，其中，所述普通样本分类结果、所述普通样本连接数量和所述样本漏洞类型一一对应；

S840：根据所述样本漏洞类型，调取所述漏洞样本连接数量和所述普通样本连接数量进行比对，获取连接数量差值；

S850：判断所述连接数量差值是否满足连接数量差值阈值；

S860：将所述连接数量差值满足所述连接数量差值阈值的所述漏洞攻击样本数据集和所述普通样本数据集混合，添加进第一数据集；

S870：将所述连接数量差值不满足所述连接数量差值阈值的所述漏洞攻击样本数据集和所述普通样本数据集混合，添加进第二数据集。

具体而言，为提高分类器的识别准确率和收敛速度，需要对漏洞攻击样本数据集和普通样本数据集进行前处理，过程优选的如下：

对漏洞攻击样本数据集进行漏洞攻击数据标识；对普通样本数据集进行普通数据标识；样本漏洞类型指的是表征标识后的漏洞攻击样本数据集的对应漏洞类型；漏洞样本连接数量指的是漏洞攻击样本数据访问对应漏洞时需要连接的线程数量；普通样本分类结果指的是依据漏洞类型进行分类得到的分类结果数据，表征和样本漏洞类型一一对应的普通样本数据分类结果；普通样本连接数量指的是普通样本数据访问对应漏洞时需要连接的线程数量；将普通样本分类结果-普通样本连接数量-样本漏洞类型-漏洞样本连接数量联立存储。

连接数量差值指的是调取联立存储的漏洞样本连接数量和普通样本连接数量进行比对生成的连接线程数量差值；连接数量差值阈值指的是对数据集进行分类的设定阈值，优选的由工作人员自定义设定。当普通样本连接数量满足，即大于或等于连接数量差值阈值，则将对应的已经标识的漏洞攻击样本数据集和普通样本数据集混合，添加进第一数据集；当普通样本连接数量不满足，即小于连接数量差值阈值，将对应的已经标识的漏洞攻击样本数据集和普通样本数据集混合，添加进第二数据集。可见第一数据集中漏洞攻击样本数据集和普通样本数据集的差异较大，因此优选的使用一级分类器，进行初级分类，即基于梯度上升决策森林构建的智能化模型，作为初级分类器，处理效率较高，且由于大多数漏洞攻击样本数据集和普通样本数据集的差异较大，因此可进行大量数据的初步分类，为二级分类器降低计算压力。第二数据集由于构建二级分类器，用于构建识别漏洞攻击样本数据集和普通样本数据集的差异较小的数据集。

通过采集第一数据集和第二数据集，为后步的分类器构建奠定了基础，充足的训练数据保证了分类器的收敛速度和输出准确性。

S500：根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器；

进一步的，如图3所示，所述根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器，步骤S500包括步骤：

S510：将所述第一数据集划分为7：1.5：1.5比例，生成第一训练数据集、第一迭代数据集和第一验证数据集；

S520：根据所述第一训练数据集、所述第一迭代数据集和所述第一验证数据集，构建第N决策树；

S530：提取所述第N决策树不满预设输出准确率的数据，添加进第N数据集；

S540：判断所述第N数据集的数据量是否满足预设数据量；

S550：若满足，则根据所述第N数据集，构建第N+1决策树；

S560：若不满足，则将第一决策树、第二决策树直到第N决策树合并，生成所述一级分类器。

具体而言，梯度上升决策森林指的是在决策树森林中，使用上一棵决策树输出的偏差数据，训练下一棵决策树，进而逐渐降低整个决策森林的输出误差，提高收敛速度和输出准确率的集成模型训练方法。优选的过程如下：将所述第一数据集划分为7：1.5：1.5比例，生成第一训练数据集、第一迭代数据集和第一验证数据集，其中，任意一组第一训练数据集、第一迭代数据集和第一验证数据集都具有输入的待识别数据集，即前述混合的漏洞攻击样本数据集和普通样本数据集，以及验证输出准确率的输出标识信息，即前述对漏洞攻击样本数据集和普通样本数据集的标识结果。

使用第一训练数据集、第一迭代数据集和第一验证数据集，构建第N决策树，即使用第一训练数据集基于决策树框架对第N决策树进行有监督训练，当输出达到设定的准确率时，使用第一迭代数据集进行验证，若达到设定的准确率时，再使用第一验证数据集验证，若达到设定的准确率时，完成第N决策树的构建，而使用第一迭代数据集和第一验证数据集的任意一个环节无法满足，则返回至第一训练数据集继续训练，直到满足或满足预设迭代次数时，生成第N决策树。

预设数据量指的是停止构建梯度上升决策树的数据量阈值；预设输出准确率指的是用于筛选决策树构建数据集的最高设定输出准确率；将第一数据集在第N决策树不满预设输出准确率的数据，添加进第N数据集；判断第N数据集的数据量是否大于预设数据量，若是大于，则满足，未达到收敛条件，则第N数据集，构建第N+1决策树；若是小于，则不满足，达到收敛条件，将第一决策树、第二决策树直到第N决策树合并，生成一级分类器。通过梯度上升决策森林的模型训练方式，提高了模型泛化能力和输出准确率，可有效识别相应的漏洞攻击数据，进而对相应漏洞进行定向检测，提高漏洞检出效率和检出准确率。

S600：根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器；

进一步的，所述根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器，步骤S600包括步骤：

S600-1：获取第一定位属性和第二定位属性，其中，所述第一定位属性表征数据类型、所述第二定位属性表征连接数量；

S600-2：根据所述第一定位属性和所述第二定位属性遍历所述第二数据集，生成数据定位集合；

S600-3：根据所述第二数据集的样本漏洞类型数量，设定收敛类别数量；

S600-4：根据所述收敛类别数量，设定初始聚类质心；

S600-5：根据所述初始聚类质心遍历所述数据定位集合，生成初始聚类结果；

S600-6：遍历所述初始聚类结果对所述初始聚类质心进行调整，生成迭代聚类质心；

S600-7：根据所述迭代聚类质心遍历所述数据定位集合，生成迭代聚类结果；

S600-8：若所述迭代聚类结果和所述初始聚类结果不相同，则重复迭代，直到第k聚类结果和第k－1聚类结果相同，或/和k满足预设迭代次数时停止；

S600-9：判断所述第k聚类结果的准确率是否满足预设聚类准确率；

S600-10：若满足，生成所述二级分类器；若不满足，返回重复聚类迭代。

具体而言，二级分类器由于精细化程度较高，进而使用k-means聚类算法将数据集的分类转化为定量分析过程。第一定位属性指的是表征数据类型；第二定位属性指的是表征访问漏洞时的连接数量；数据定位集合指的是根据第一定位属性和第二定位属性遍历第二数据集确定的任意一个样本数据集的定位结果；收敛类别数量指的是设定的分类数量值，优选的收敛类别数量＝样本漏洞类型数量-一级已分类漏洞类型数量+1；初始聚类质心指的是依据收敛类别数量在数据定位集合中设定的聚类质心；遍历数据定位集合，计算和聚类质心的欧式距离，基于k-means聚类算法依据欧式距离进行类别划分，即将欧式距离和质心越近，则约为相同聚类，得到初始聚类结果。迭代聚类质心指的是在现有各个聚类的连线中点处再次划分出和初始聚类质心数量相同的迭代聚类质心，根据迭代聚类质心遍历数据定位集合，得到迭代聚类结果，若是迭代聚类结果和初始聚类结果不相同，则未达到收敛条件，继续调整质心重复迭代，直到第k聚类结果和第k－1聚类结果，或者k满足预设迭代次数时停止，当二级分类器停止迭代后，判断第k聚类结果的准确率是否满足，即是否大于或等于预设聚类准确率，如大于或等于，则说明收敛，生成二级分类器。若是小于，则返回至二级分类器构建过程重复聚类迭代。以数据类型和连接数量为定位信息，经过聚类后，每一类中都是数据类型最接近，连接数量最接近的样本数据。基于坐标定位，提高了数据分类的精细化程度。

S700：通过所述一级分类器和所述二级分类器进行网络安全漏洞检测。

具体而言，一级分类器的计算能力较强，通过一级分类器识别数量较大的第一数据集类型的入侵数据；二级分类器相对应一级分类器计算能力弱，但是由于精细化程度高的优点，用于识别数据量较少的第二数据集类型的入侵数据，进而可以实现网络安全漏洞数据的实时监测，进而提高对于网络安全漏洞的检出效率和检出准确率。

综上所述，本申请实施例所提供的一种基于大数据分析的网络安全漏洞检测方法及系统具有如下技术效果：

1.由于采用了从待检测网络中提取安全漏洞记录数据，得到安全漏洞类型和漏洞出现频率；对安全漏洞类型进行风险评级，得到风险级别；依据风险级别和漏洞出现频率对安全漏洞类型进行筛选，得到待检测漏洞类型；遍历漏洞类型，匹配漏洞样本攻击数据集和普通样本数据集；再分别基于梯度上升决策森林，构建一级分类器；基于k-means聚类算法，构建二级分类器，使用一级分类器和二级分类器进行漏洞检测的技术方案，通过使用一级分类器对差异性较明显的数据集进行分类，再使用二级分类器对差异性较小的数据集进行分类，得到较高精度的攻击数据的识别结果，达到了提高漏洞检测准确率的技术效果。

实施例二

基于与前述实施例中一种基于大数据分析的网络安全漏洞检测方法相同的发明构思，如图4所示，本申请实施例提供了一种基于大数据分析的网络安全漏洞检测系统，其中，所述系统包括：

记录数据匹配模块11，用于根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据，其中，所述安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；

风险级别评估模块12，用于遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别；

漏洞筛选模块13，用于将所述漏洞出现频率满足预设频率值，或所述漏洞风险级别满足预设风险级别的所述安全漏洞类型进行筛选，生成待检测漏洞类型；

样本匹配模块14，用于遍历所述待检测漏洞类型，匹配漏洞攻击样本数据集；根据所述待检测网络类型，匹配普通样本数据集；

一级分类器构建模块15，用于根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器；

二级分类器构建模块16，用于根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器；

漏洞检测模块17，用于通过所述一级分类器和所述二级分类器进行网络安全漏洞检测。

进一步的，所述风险级别评估模块12执行步骤包括：

获取第一评估属性和第二评估属性，其中，所述第一评估属性为漏洞被利用级别，所述第二评估属性为漏洞影响级别；

根据所述第一评估属性遍历所述安全漏洞类型进行评估，生成被利用分级特征值；

根据所述第二评估属性遍历所述安全漏洞类型进行评估，生成漏洞影响分级特征值；

将所述被利用分级特征值和所述漏洞影响分级特征值进行特征融合，生成所述漏洞风险级别。

进一步的，所述风险级别评估模块12执行步骤还包括：

获取第一评估属性指标，其中，所述第一评估属性指标包括访问路径指标、触发条件指标、权限要求指标和交互条件指标；

对所述访问路径指标、所述触发条件指标、所述权限要求指标和所述交互条件指标进行权重分布，生成第一属性权重分布表；

对所述访问路径指标、所述触发条件指标、所述权限要求指标和所述交互条件指标进行级别划分，生成第一属性级别划分表；

根据所述安全漏洞类型，获取访问路径特征值、触发条件特征值、权限要求特征值和交互条件特征值；

根据所述第一属性权重分布表和所述第一属性级别划分表对所述访问路径特征值、所述触发条件特征值、所述权限要求特征值和所述交互条件特征值进行处理，生成所述被利用分级特征值。

进一步的，所述风险级别评估模块12执行步骤还包括：

获取第二评估属性指标，其中，所述第二评估属性指标包括保密性指标、完整性指标、修复难度指标和影响范围指标；

对所述保密性指标、所述完整性指标、所述修复难度指标和所述影响范围指标进行权重分布，生成第二属性权重分布表；

对所述保密性指标、所述完整性指标、所述修复难度指标和所述影响范围指标进行级别划分，生成第二属性级别划分表；

根据所述安全漏洞类型，获取保密性特征值、完整性特征值、修复难度特征值和影响范围特征值；

根据所述第二属性权重分布表和所述第二属性级别划分表对所述保密性特征值、所述完整性特征值、所述修复难度特征值和所述影响范围特征值进行处理，生成所述漏洞影响分级特征值。

进一步的，所述一级分类器构建模块15执行步骤包括：

对所述漏洞攻击样本数据集进行漏洞攻击数据标识；对所述普通样本数据集进行普通数据标识；

根据标识后的所述漏洞攻击样本数据集，获取样本漏洞类型和漏洞样本连接数量；

根据所述样本漏洞类型对标识后的所述普通样本数据集进行聚类，生成普通样本分类结果和普通样本连接数量，其中，所述普通样本分类结果、所述普通样本连接数量和所述样本漏洞类型一一对应；

根据所述样本漏洞类型，调取所述漏洞样本连接数量和所述普通样本连接数量进行比对，获取连接数量差值；

判断所述连接数量差值是否满足连接数量差值阈值；

将所述连接数量差值满足所述连接数量差值阈值的所述漏洞攻击样本数据集和所述普通样本数据集混合，添加进第一数据集；

将所述连接数量差值不满足所述连接数量差值阈值的所述漏洞攻击样本数据集和所述普通样本数据集混合，添加进第二数据集。

进一步的，所述一级分类器构建模块15执行步骤还包括：

将所述第一数据集划分为7：1.5：1.5比例，生成第一训练数据集、第一迭代数据集和第一验证数据集；

根据所述第一训练数据集、所述第一迭代数据集和所述第一验证数据集，构建第N决策树；

提取所述第N决策树不满预设输出准确率的数据，添加进第N数据集；

判断所述第N数据集的数据量是否满足预设数据量；

若满足，则根据所述第N数据集，构建第N+1决策树；

若不满足，则将第一决策树、第二决策树直到第N决策树合并，生成所述一级分类器。

进一步的，所述二级分类器构建模块16执行步骤包括：

获取第一定位属性和第二定位属性，其中，所述第一定位属性表征数据类型、所述第二定位属性表征连接数量；

根据所述第一定位属性和所述第二定位属性遍历所述第二数据集，生成数据定位集合；

根据所述第二数据集的样本漏洞类型数量，设定收敛类别数量；

根据所述收敛类别数量，设定初始聚类质心；

根据所述初始聚类质心遍历所述数据定位集合，生成初始聚类结果；

遍历所述初始聚类结果对所述初始聚类质心进行调整，生成迭代聚类质心；

根据所述迭代聚类质心遍历所述数据定位集合，生成迭代聚类结果；

若所述迭代聚类结果和所述初始聚类结果不相同，则重复迭代，直到第k聚类结果和第k－1聚类结果相同，或/和k满足预设迭代次数时停止；

判断所述第k聚类结果的准确率是否满足预设聚类准确率；

若满足，生成所述二级分类器；若不满足，返回重复聚类迭代。

综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。

进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (7)

1.一种基于大数据分析的网络安全漏洞检测方法，其特征在于，所述方法应用于一基于大数据分析的网络安全漏洞检测系统，所述方法包括：

根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据，其中，所述安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；

遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别；

将所述漏洞出现频率满足预设频率值，或所述漏洞风险级别满足预设风险级别的所述安全漏洞类型进行筛选，生成待检测漏洞类型；

遍历所述待检测漏洞类型，匹配漏洞攻击样本数据集，所述漏洞攻击样本数据集指的是根据待检测漏洞类型匹配的用于构建分类器的漏洞攻击数据的样本数据集；根据所述待检测网络类型，匹配普通样本数据集，所述普通样本数据集指的是根据待检测网络类型提取的输入至待检测漏洞类型的非攻击数据集；

根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器；

根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器；

通过所述一级分类器和所述二级分类器进行网络安全漏洞检测；

其中，所述遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别，包括：

获取第一评估属性和第二评估属性，其中，所述第一评估属性为漏洞被利用级别，所述第二评估属性为漏洞影响级别；

根据所述第一评估属性遍历所述安全漏洞类型进行评估，生成被利用分级特征值；

根据所述第二评估属性遍历所述安全漏洞类型进行评估，生成漏洞影响分级特征值；

将所述被利用分级特征值和所述漏洞影响分级特征值进行特征融合，生成所述漏洞风险级别。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一评估属性遍历所述安全漏洞类型进行评估，生成被利用分级特征值，包括：

获取第一评估属性指标，其中，所述第一评估属性指标包括访问路径指标、触发条件指标、权限要求指标和交互条件指标；

对所述访问路径指标、所述触发条件指标、所述权限要求指标和所述交互条件指标进行权重分布，生成第一属性权重分布表；

对所述访问路径指标、所述触发条件指标、所述权限要求指标和所述交互条件指标进行级别划分，生成第一属性级别划分表；

根据所述安全漏洞类型，获取访问路径特征值、触发条件特征值、权限要求特征值和交互条件特征值；

根据所述第一属性权重分布表和所述第一属性级别划分表对所述访问路径特征值、所述触发条件特征值、所述权限要求特征值和所述交互条件特征值进行处理，生成所述被利用分级特征值。

3.如权利要求1所述的方法，其特征在于，所述根据所述第二评估属性遍历所述安全漏洞类型进行评估，生成漏洞影响分级特征值，包括：

获取第二评估属性指标，其中，所述第二评估属性指标包括保密性指标、完整性指标、修复难度指标和影响范围指标；

对所述保密性指标、所述完整性指标、所述修复难度指标和所述影响范围指标进行权重分布，生成第二属性权重分布表；

对所述保密性指标、所述完整性指标、所述修复难度指标和所述影响范围指标进行级别划分，生成第二属性级别划分表；

根据所述安全漏洞类型，获取保密性特征值、完整性特征值、修复难度特征值和影响范围特征值；

根据所述第二属性权重分布表和所述第二属性级别划分表对所述保密性特征值、所述完整性特征值、所述修复难度特征值和所述影响范围特征值进行处理，生成所述漏洞影响分级特征值。

4.如权利要求1所述的方法，其特征在于，所述根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器，之前包括：

对所述漏洞攻击样本数据集进行漏洞攻击数据标识；对所述普通样本数据集进行普通数据标识；

根据标识后的所述漏洞攻击样本数据集，获取样本漏洞类型和漏洞样本连接数量；

根据所述样本漏洞类型对标识后的所述普通样本数据集进行聚类，生成普通样本分类结果和普通样本连接数量，其中，所述普通样本分类结果、所述普通样本连接数量和所述样本漏洞类型一一对应；

根据所述样本漏洞类型，调取所述漏洞样本连接数量和所述普通样本连接数量进行比对，获取连接数量差值；

判断所述连接数量差值是否满足连接数量差值阈值；

将所述连接数量差值满足所述连接数量差值阈值的所述漏洞攻击样本数据集和所述普通样本数据集混合，添加进第一数据集；

将所述连接数量差值不满足所述连接数量差值阈值的所述漏洞攻击样本数据集和所述普通样本数据集混合，添加进第二数据集。

5.如权利要求4所述的方法，其特征在于，所述根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器，包括：

将所述第一数据集划分为7：1.5：1.5比例，生成第一训练数据集、第一迭代数据集和第一验证数据集；

根据所述第一训练数据集、所述第一迭代数据集和所述第一验证数据集，构建第N决策树；

提取所述第N决策树不满预设输出准确率的数据，添加进第N数据集；

判断所述第N数据集的数据量是否满足预设数据量；

若满足，则根据所述第N数据集，构建第N+1决策树；

若不满足，则将第一决策树、第二决策树直到第N决策树合并，生成所述一级分类器。

6.如权利要求4所述的方法，其特征在于，所述根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器，包括：

获取第一定位属性和第二定位属性，其中，所述第一定位属性表征数据类型、所述第二定位属性表征连接数量；

根据所述第一定位属性和所述第二定位属性遍历所述第二数据集，生成数据定位集合；

根据所述第二数据集的样本漏洞类型数量，设定收敛类别数量；

根据所述收敛类别数量，设定初始聚类质心；

根据所述初始聚类质心遍历所述数据定位集合，生成初始聚类结果；

遍历所述初始聚类结果对所述初始聚类质心进行调整，生成迭代聚类质心；

根据所述迭代聚类质心遍历所述数据定位集合，生成迭代聚类结果；

若所述迭代聚类结果和所述初始聚类结果不相同，则重复迭代，直到第k聚类结果和第k－1聚类结果相同，或/和k满足预设迭代次数时停止；

判断所述第k聚类结果的准确率是否满足预设聚类准确率；

若满足，生成所述二级分类器；若不满足，返回重复聚类迭代。

7.一种基于大数据分析的网络安全漏洞检测系统，其特征在于，所述系统包括：

记录数据匹配模块，用于根据待检测网络类型，匹配预设时间粒度的安全漏洞记录数据，其中，所述安全漏洞记录数据包括安全漏洞类型和漏洞出现频率；

风险级别评估模块，用于遍历所述安全漏洞类型进行风险级别分析，生成漏洞风险级别；

漏洞筛选模块，用于将所述漏洞出现频率满足预设频率值，或所述漏洞风险级别满足预设风险级别的所述安全漏洞类型进行筛选，生成待检测漏洞类型；

样本匹配模块，用于遍历所述待检测漏洞类型，匹配漏洞攻击样本数据集，所述漏洞攻击样本数据集指的是根据待检测漏洞类型匹配的用于构建分类器的漏洞攻击数据的样本数据集；根据所述待检测网络类型，匹配普通样本数据集，所述普通样本数据集指的是根据待检测网络类型提取的输入至待检测漏洞类型的非攻击数据集；

一级分类器构建模块，用于根据所述漏洞攻击样本数据集和所述普通样本数据集，基于梯度上升决策森林，构建一级分类器；

二级分类器构建模块，用于根据所述漏洞攻击样本数据集和所述普通样本数据集，基于k-means聚类算法，构建二级分类器；

漏洞检测模块，用于通过所述一级分类器和所述二级分类器进行网络安全漏洞检测；

所述风险级别评估模块还用于：获取第一评估属性和第二评估属性，其中，所述第一评估属性为漏洞被利用级别，所述第二评估属性为漏洞影响级别；

根据所述第一评估属性遍历所述安全漏洞类型进行评估，生成被利用分级特征值；

根据所述第二评估属性遍历所述安全漏洞类型进行评估，生成漏洞影响分级特征值；

将所述被利用分级特征值和所述漏洞影响分级特征值进行特征融合，生成所述漏洞风险级别。

Images