CN110704846A - 一种人在回路的智能化安全漏洞发现方法 - Google Patents

Abstract

本发明涉及一种人在回路的智能化安全漏洞发现方法，涉及网络安全技术领域。本发明将基于过程的人在回路的漏洞发现行为建模，通过数据建模模拟漏洞发现周期全过程，将当前数据和已有漏洞发现知识作为模型的已知变量，通过模型的浅层计算为深度推理提供数据元。把人的作用通过模型可变因子引入到智能系统的计算回路中，把专家的知识与经验与机器智能系统紧密耦合，使得两者相互适应，协同工作，形成双向的信息交流与控制，使人的感知、认知能力和计算机强大的运算和存储能力相结合。本发明既可以减少漏洞发现的大量机械性工作，又可以利用人类的智慧、专家的思考来提高漏洞发现的效率和准确率。保证了漏洞发现结果的科学性、准确性。

Description

一种人在回路的智能化安全漏洞发现方法

技术领域

本发明涉及网络安全技术领域，具体涉及一种人在回路的智能化安全漏洞发现方法。

背景技术

安全漏洞是指存在于计算机网络及系统中，在需求、设计、实现、配置运行等过程中，有意无意之间产生的缺陷。这些缺陷以各种各样的形式存在于信息系统的各个层次、环节之中，其存在于硬件、软件、协议的具体实现或系统安全策略等多个维度，对整个信息系统有着很重要的影响，且一旦被恶意主体利用，会影响构建在信息系统之上正常服务的运行，对信息系统的机密性、完整性以及可用性造成严重损害。

任何一个信息系统都会存在漏洞，漏洞的本质是系统在规划、设计、实现和运行等环节因人为、管理和技术因素而存在的无法避免的缺陷。比如在体系架构上的缺陷，规划与设计之间对接的不完全，底层代码以及应用呈现方式的不完善，用户使用时的不规范等等，多个环节的安全问题积累最后使得系统有极大概率出现漏洞。

漏洞发现技术可以分为静态安全漏洞发现技术和动态安全漏洞发现技术。静态安全漏洞发现技术是通过对部分或者全部源代码文件进行静态程序分析来获取待测目标程序的逻辑结构、调用关系以及动态特性等信息，而不需要通过动态执行目标程序来观察记录程序的执行情况。动态安全漏洞发现技术一般是通过监控待测目标对象的实际运行来观测发现其中潜在的安全漏洞。

漏洞发现是计算密集型的工作，与软件的规模和复杂度、硬件系统性能、采用的分析技术都有非常大的关联性，在研究实践中往往需要根据以上影响因素动态调整程序分析策略，在分析效率与分析深度之间取得较好的平衡和折中。一方面，需要研究轻量级分析技术、启发式状态空间探测技术(如脆弱路径筛选、低频路径筛选等)，在较小的开销内增强漏洞发现的导向性。另一方面，需要研究高效的规模化、并行化分析方法。漏洞发现在算法、分析数据存储和处理方面都有显著特征，现有的技术对大型复杂程序分析效率低下，没有充分利用高性能硬件设备提供的并行处理能力。探索规模化、并行化漏洞发现技术，增强对异构化计算资源的利用率，能很好应对大型复杂软件快速分析的需求。

常见的安全漏洞研究方法往往要求安全研究人员具备足够多的专业性知识，以往漏洞研究方法的效率低、局限性大、门槛高。将机器学习方法应用于漏洞发现一直受到安全研究人员的关注，其本质是将漏洞发现问题视为程序分类问题或聚类问题，将包含漏洞的程序从正常程序中区分出来或将包含漏洞的程序聚集在一起。

基于人工智能的漏洞发现技术包括明确机器学习(如深度学习、强化学习、生成对抗网络等)在漏洞发现过程的适用性和结合点，挖掘适用场景如脆弱路径筛选、高结构化输入生成、约束求解配置预测等。基于机器学习的漏洞发现技术为解决传统漏洞发现技术的一些瓶颈问题提供了新途径，既能提升漏洞发现的自动化程度，也能提高漏洞发现的效率和精度。但传统智能漏洞发现技术基于预先定义的策略或学习的模型去执行，人机之间未存在有效的交互通道。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何实现一种智能化安全漏洞发现方法，保证漏洞发现结果的科学性、准确性。

(二)技术方案

为了解决上述技术问题，本发明提供了一种人在回路的智能化安全漏洞发现方法，包括以下步骤：

步骤1：进行目标对象的分析；

步骤2：基于步骤1得到目标对象的属性信息查询知识库向量空间中的数据；

步骤3：根据步骤1和步骤2的结果对目标对象进行建模，并进行深度强化学习；

步骤4：构建多种漏洞挖掘模型库；

步骤5：进行所述漏洞挖掘模型库的参数配置；

步骤6：对步骤5的智能化漏洞挖掘效果进行评估。

优选地，步骤1具体为：获取目标对象的属性，包括程序类型、程序用途、通信分析、执行条件、代码及二进制分析；目标对象的属性作为协同模型先验知识的组成部分。

优选地，步骤2具体为：将步骤1得到目标对象的属性信息输入到知识库向量空间中进行查询和检索，包括目标对象的软件版本、设备指纹、网络拓扑、部署信息和供应链信息；在所述知识库向量空间作为漏洞知识库其中包含机器可理解的漏洞原理、漏洞存在的行为模型、人类挖掘漏洞的相关知识；漏洞知识库中包含分析漏洞成因的描述方式特点，并构建能够描述漏洞统一特征的漏洞特征属性，漏洞知识库中知识的获取方式为：在漏洞成因分析的基础上，分析每种漏洞成因特征描述方法的特点，抽象、整合不同漏洞特征的描述方式以及特征之间的相互关系，构建漏洞存在的行为模型，提供统一的漏洞成因特征的描述能力。

优选地，所述漏洞知识库具体包括提取程序正向开发技术、设计模式、网络协议、程序调试以及攻防对抗领域的相关知识；其中，攻击规则包含已经存在的攻击的信息，包括攻击名称、攻击类型、协议、攻击特点、攻击描述、严重性；漏洞数据包含已发现漏洞的信息，包括漏洞名称、漏洞描述、漏洞优先级、破坏方法、相应特征；脆弱路径是指采用人工标注的方法对样本软件进行标注，将漏洞存在的执行路径标记为脆弱路径，随后使用遗传算法进行脆弱路径制导测试，得到包含软件脆弱路径及测试用例的漏洞发掘样本数据。

优选地，步骤3具体为：首先是对目标对象进行建模，是先验知识的组成，具体来说是通过主动地与目标对象进行交互，机器在人类定义的奖励机制下寻找最优解，采用深度强化学习的方法，通过知识库向量空间与目标对象的交互，自动选择出与目标对象相契合的漏洞发现知识，完成对目标对象的预处理分析。

优选地，步骤4具体为：漏洞代码模式识别是构建软件漏洞样本的数据集，处理它们以从每个样本中提取特征向量，并利用监督学习算法学习软件漏洞的模式识别模型，已有漏洞发现知识作为模型的已知变量，漏洞发现模型库是由一系列模块化接口的漏洞发现工具组成，漏洞挖掘模型库有三类：第一类是可基于软件度量的漏洞预测，利用有监督机器学习方法构建基于软件度量特征集的预测模型，然后使用预测模型基于软件工程度量指标来评估软件漏洞状态；第二类是基于语法语义特征的漏洞挖掘模型，利用有监督机器学习方法从有漏洞的代码样本中提取漏洞的语法语义特征和模式，然后使用模式匹配技术来检测和定位软件中的漏洞源代码；第三类是基于Fuzzing的漏洞挖掘模型，利用有监督机器学习方法从漏洞利用样本中提取易受攻击的代码段的模式，然后使用模式匹配技术来触发和检测目标对象中的漏洞所在位置。

优选地，步骤5具体包括漏洞挖掘模型参数的调整、漏洞挖掘工具的调整、变异样本策略调整、路径探测调整，实现漏洞挖掘是对漏洞发现模型进行配置，构建相应的挖掘工具集合，通过模仿人类漏洞发现模式，采用深度强化学习从漏洞挖掘模型库中选择最优参数设置。

优选地，步骤6具体为：基于选择的漏洞挖掘模型和参数对目标对象进行漏洞发现，包括发现漏洞数量、程序执行覆盖的代码范围这些指标评估模型的漏洞效果，评判漏洞挖掘的效果，若效果达到预期标准，则结束；若效果差于预期标准，则进入步骤7。

优选地，步骤7：实现人在回路的过程控制。

优选地，步骤7具体为：人类提供指导深度强化学习策略优化，构建漏洞发现模型及参数的设置，并将最终策略返回优化知识库向量空间，包括挖掘成果评估研判、挖掘工具调整、变异样本策略调整、路径探测，并最后实现知识整合输出到知识库向量空间中；在执行完步骤7后，再返回到步骤3，不断循环迭代，直到步骤6中漏洞发现效果达到预期标准，则结束。

(三)有益效果

本发明从人在回路的智能系统角度出发，引入“专家”、“安全技术员”，利用智能系统，将基于过程的人在回路的漏洞发现行为建模，通过数据建模模拟漏洞发现周期全过程，将当前数据和已有漏洞发现知识(如先验、规则和模式等)作为模型的已知变量，通过模型的浅层计算为深度推理提供数据元。把人的作用通过模型可变因子引入到智能系统的计算回路中，把专家的知识与经验与机器智能系统紧密耦合，使得两者相互适应，协同工作，形成双向的信息交流与控制，使人的感知、认知能力和计算机强大的运算和存储能力相结合。本发明是一种高效、的漏洞发现方法，既可以减少漏洞发现的大量机械性工作，又可以利用人类的智慧、专家的思考来提高漏洞发现的效率和准确率，保证了漏洞发现结果的科学性、准确性。

附图说明

图1为本发明的方法流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提出一种人在回路的智能化网络漏洞发现方法，首先是将人类的漏洞发现知识空间转换为机器可理解的向量空间，采用深度强化学习的自动探索-发现学习能力主动从知识库向量空间中构建适合目标的漏洞发现流程，并进行相应的最优参数配置。对已选模型的漏洞发现能力及效果进行评估，人类可验证该漏洞发现模型是否达到预期效果，并可修改深度强化学习策略，指导漏洞发现模型的构建及相应参数的调整配置来提升漏洞发现效率。

本发明的人在回路的智能化安全漏洞发现方法，涉及目标对象分析、知识库向量空间、深度强化学习、漏洞挖掘模型库构建、漏洞挖掘效果评估和人在回路的过程控制。如图1所示，该方法包括如下步骤：

步骤1：进行目标对象的分析，获取目标对象的属性，包括程序类型、程序用途、通信分析、执行条件、代码及二进制分析；目标对象的属性作为协同模型先验知识的主要组成部分，为高效机器挖掘提供静态知识数据；

步骤2：查询知识库向量空间中的数据；

将步骤1得到目标对象的属性信息输入到知识库向量空间中进行查询和检索，包括目标对象的软件版本、设备指纹、网络拓扑、部署信息和供应链信息等；在所述知识库向量空间作为漏洞知识库其中包含机器可理解的漏洞原理、漏洞存在的行为模型、人类挖掘漏洞的相关知识(包括专家知识)；漏洞知识库中包含分析漏洞成因的描述方式特点，并构建能够描述漏洞统一特征的漏洞特征属性，漏洞知识库中知识的获取方式为：在漏洞成因分析的基础上，分析每种漏洞成因特征描述方法的特点，抽象、整合不同漏洞特征的描述方式以及特征之间的相互关系，构建漏洞存在的行为模型，提供统一的漏洞成因特征的描述能力；漏洞知识库中还包括专家形成的漏洞发现领域的专家知识，各种类型的漏洞基本信息、各种软件的缺陷信息、调试技巧信息以及攻防知识；具体来说，漏洞知识库可包括提取程序正向开发技术、设计模式、网络协议、程序调试以及攻防对抗领域的相关知识。一方面可以从各类百科网站的计算机相关词条、信息安全网站、开放Web应用安全项目、企业自建信息安全响应中心、公开漏洞库、攻击规则库等数据源获取计算机相关知识、攻击规则、漏洞数据及脆弱路径等。

其中，攻击规则包含已经存在的攻击的详细信息如攻击名称、攻击类型、协议、攻击特点、攻击描述、严重性等；漏洞数据包含已发现漏洞的详细信息如漏洞名称、漏洞描述、漏洞优先级、破坏方法、相应特征等。脆弱路径是指采用人工标注的方法对样本软件进行标注，将漏洞存在的执行路径标记为脆弱路径，随后使用遗传算法进行脆弱路径制导测试，得到包含软件脆弱路径及测试用例的漏洞发掘样本数据。

使用以上方式得到的数据为非结构化的数据，需要进一步处理以便从其中抽取知识并组成计算机可利用的结构化知识库。

步骤3：主要是深度强化学习。在进行完步骤1和步骤2后，根据两个步骤的结果对目标对象进行建模，并进行深度强化学习。首先是对目标对象进行建模，是先验知识的重要组成，为人在回路的智能化安全漏洞发现提供支撑。具体来说就是通过主动地与目标对象进行交互，机器在人类定义的奖励机制下寻找最优解，采用深度强化学习的方法，可通过步骤2知识库向量空间与目标对象的交互，自动选择出与目标对象相契合的漏洞发现知识，完成对目标对象的预处理分析，为后续漏洞发现提供前置支撑。

步骤4：构建多种漏洞挖掘模型库。漏洞代码模式识别核心是构建软件漏洞样本的大型数据集，处理它们以从每个样本中提取特征向量，并利用监督学习算法学习软件漏洞的模式识别模型。已有漏洞发现知识(如先验、规则和模式等)作为模型的已知变量。漏洞发现模型库是由一系列模块化接口的漏洞发现工具组成，基于不同的应用场景，可供选择不同的模型及关键技术。漏洞挖掘模型库需要进行大量的人工工作，即根据不同漏洞种类、漏洞触发方式、漏洞利用方式等设置多种不同的漏洞挖掘模型库。在本发明中，我们提出了三类漏洞挖掘模型库：第一类是可基于软件度量的漏洞预测，主要利用有监督机器学习方法构建基于软件度量特征集的预测模型，然后使用该模型基于软件工程度量指标来评估软件漏洞状态；第二类是基于语法语义特征的漏洞挖掘模型，主要是利用有监督机器学习方法从许多有漏洞的代码样本中提取漏洞的语法语义特征和模式，然后使用模式匹配技术来检测和定位软件中的漏洞源代码。第三类是基于Fuzzing的漏洞挖掘模型，主要是利用有监督机器学习方法从许多漏洞利用样本中提取易受攻击的代码段的模式，然后使用模式匹配技术来触发和检测目标对象中的漏洞所在位置。在漏洞挖掘模型生成时，采用优先级排序算法，自动化生成适合于目标对象的漏洞挖掘模型。

步骤5：进行漏洞发现的参数配置，包括漏洞挖掘模型参数的调整、漏洞挖掘工具的调整、变异样本策略调整、路径探测调整等。步骤4构建了核心的漏洞挖掘模型库，模型是基础，参数配置则是实现模型高效运行的重要手段。因此，实现漏洞挖掘要对漏洞发现模型进行配置，构建相应的挖掘工具集合。不同漏洞发现模型需要不同参数设置，相应参数设置好坏也直接影响漏洞发现的效果。在这里，本专利会通过模仿人类漏洞发现模式，采用深度强化学习从漏洞挖掘模型库中选择最优参数设置。

步骤6：对步骤5的智能化漏洞挖掘效果进行评估。基于选择的漏洞挖掘模型和参数对目标对象进行漏洞发现，如发现漏洞数量、程序执行覆盖的代码范围等指标评估该模型的漏洞效果。评判漏洞挖掘的效果，若效果达到预期，则将过程的知识与已有知识库融合，完善强化学习策略，整个流程结束，不再进入步骤7；若效果差于预期标准，则进入步骤7，人类对相关策略进行优化调整。

步骤7：实现人在回路的过程控制，具体是人类提供指导深度强化学习策略优化，构建漏洞发现模型及参数的设置，并将最终策略返回优化知识库向量空间。包括挖掘成果评估研判、挖掘工具调整、变异样本策略调整、路径探测，并最后实现知识整合输出到知识库向量空间中。人在回路的过程控制是指在漏洞发现过程中，把人的作用通过模型可变因子引入到智能系统的计算回路中，把人对模糊、不确定问题分析与响应的高级认知机制与机器智能系统紧密耦合，实现漏洞发现行为的标准化、模型化，使得安全专家、技术员与漏洞发现自动化系统互为伙伴关系，人和机器通过信息交流、互相配合共同实时的做出最优决策的过程。

在进行步骤7后，再返回到步骤3，以此不断循环迭代，直到步骤6中漏洞发现效果达到预期标准，则整个流程结束。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种人在回路的智能化安全漏洞发现方法，其特征在于，包括以下步骤：

步骤1：进行目标对象的分析；

步骤2：基于步骤1得到目标对象的属性信息查询知识库向量空间中的数据；

步骤3：根据步骤1和步骤2的结果对目标对象进行建模，并进行深度强化学习；

步骤4：构建多种漏洞挖掘模型库；

步骤5：进行所述漏洞挖掘模型库的参数配置；

步骤6：对步骤5的智能化漏洞挖掘效果进行评估。

2.如权利要求1所述的方法，其特征在于，步骤1具体为：获取目标对象的属性，包括程序类型、程序用途、通信分析、执行条件、代码及二进制分析；目标对象的属性作为协同模型先验知识的组成部分。

3.如权利要求1所述的方法，其特征在于，步骤2具体为：将步骤1得到目标对象的属性信息输入到知识库向量空间中进行查询和检索，包括目标对象的软件版本、设备指纹、网络拓扑、部署信息和供应链信息；在所述知识库向量空间作为漏洞知识库其中包含机器可理解的漏洞原理、漏洞存在的行为模型、人类挖掘漏洞的相关知识；漏洞知识库中包含分析漏洞成因的描述方式特点，并构建能够描述漏洞统一特征的漏洞特征属性，漏洞知识库中知识的获取方式为：在漏洞成因分析的基础上，分析每种漏洞成因特征描述方法的特点，抽象、整合不同漏洞特征的描述方式以及特征之间的相互关系，构建漏洞存在的行为模型，提供统一的漏洞成因特征的描述能力。

4.如权利要求3所述的方法，其特征在于，所述漏洞知识库具体包括提取程序正向开发技术、设计模式、网络协议、程序调试以及攻防对抗领域的相关知识；其中，攻击规则包含已经存在的攻击的信息，包括攻击名称、攻击类型、协议、攻击特点、攻击描述、严重性；漏洞数据包含已发现漏洞的信息，包括漏洞名称、漏洞描述、漏洞优先级、破坏方法、相应特征；脆弱路径是指采用人工标注的方法对样本软件进行标注，将漏洞存在的执行路径标记为脆弱路径，随后使用遗传算法进行脆弱路径制导测试，得到包含软件脆弱路径及测试用例的漏洞发掘样本数据。

5.如权利要求4所述的方法，其特征在于，步骤3具体为：首先是对目标对象进行建模，是先验知识的组成，具体来说是通过主动地与目标对象进行交互，机器在人类定义的奖励机制下寻找最优解，采用深度强化学习的方法，通过知识库向量空间与目标对象的交互，自动选择出与目标对象相契合的漏洞发现知识，完成对目标对象的预处理分析。

6.如权利要求5所述的方法，其特征在于，步骤4具体为：漏洞代码模式识别是构建软件漏洞样本的数据集，处理它们以从每个样本中提取特征向量，并利用监督学习算法学习软件漏洞的模式识别模型，已有漏洞发现知识作为模型的已知变量，漏洞发现模型库是由一系列模块化接口的漏洞发现工具组成，漏洞挖掘模型库有三类：第一类是可基于软件度量的漏洞预测，利用有监督机器学习方法构建基于软件度量特征集的预测模型，然后使用预测模型基于软件工程度量指标来评估软件漏洞状态；第二类是基于语法语义特征的漏洞挖掘模型，利用有监督机器学习方法从有漏洞的代码样本中提取漏洞的语法语义特征和模式，然后使用模式匹配技术来检测和定位软件中的漏洞源代码；第三类是基于Fuzzing的漏洞挖掘模型，利用有监督机器学习方法从漏洞利用样本中提取易受攻击的代码段的模式，然后使用模式匹配技术来触发和检测目标对象中的漏洞所在位置。

7.如权利要求6所述的方法，其特征在于，步骤5具体包括漏洞挖掘模型参数的调整、漏洞挖掘工具的调整、变异样本策略调整、路径探测调整，实现漏洞挖掘是对漏洞发现模型进行配置，构建相应的挖掘工具集合，通过模仿人类漏洞发现模式，采用深度强化学习从漏洞挖掘模型库中选择最优参数设置。

8.如权利要求7所述的方法，其特征在于，步骤6具体为：基于选择的漏洞挖掘模型和参数对目标对象进行漏洞发现，包括发现漏洞数量、程序执行覆盖的代码范围这些指标评估模型的漏洞效果，评判漏洞挖掘的效果，若效果达到预期标准，则结束；若效果差于预期标准，则进入步骤7。

9.如权利要求8所述的方法，其特征在于，步骤7：实现人在回路的过程控制。

10.如权利要求9所述的方法，其特征在于，步骤7具体为：人类提供指导深度强化学习策略优化，构建漏洞发现模型及参数的设置，并将最终策略返回优化知识库向量空间，包括挖掘成果评估研判、挖掘工具调整、变异样本策略调整、路径探测，并最后实现知识整合输出到知识库向量空间中；在执行完步骤7后，再返回到步骤3，不断循环迭代，直到步骤6中漏洞发现效果达到预期标准，则结束。

Images