CN111163086A

CN111163086A - 一种多源异构的网络安全知识图谱构建与应用方法

Info

Publication number: CN111163086A
Application number: CN201911387638.4A
Authority: CN
Inventors: 王国迪; 李童; 杨震
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2020-05-15
Anticipated expiration: 2039-12-27
Also published as: CN111163086B

Abstract

本发明涉及一种多源异构的网络安全知识图谱构建与应用方法，用于解决多源异构安全数据共享、重用困难的问题，涉及网络安全、知识图谱领域。具体技术方案包括以下步骤：步骤(1)依据网络安全领域相关标准，构建网络安全知识本体；步骤(2)网络安全公开数据集获取与预处理；步骤(3)多源异构网络安全数据的抽取与融合；步骤(4)网络知识图谱的映射与推理；步骤(5)网络安全知识图谱的验证和应用。结合UML部署图和已构建的网络安全知识图谱，查询并推理当前系统设计部署的潜在安全问题。在已经发生的攻击事件上验证了我们提出的方法和构建的网络安全知识图谱的有效性。

Description

一种多源异构的网络安全知识图谱构建与应用方法

技术领域

本发明涉及一种多源异构的网络安全知识图谱构建与应用的方法，属于网络安全、知识图谱技术领域。

背景技术

对于安全分析人员来说尽管许多漏洞和攻击信息是公开可用的，例如安全漏洞相关数据集：NVD、CVE，攻击类型数据集CPAEC等数据集。但是，这些信息分散在异构的和复杂的信息条目中，这些条目之间没有相互的联系和集成。大量的多源异构漏洞数据给安全分析人员的查询和处理带来麻烦。相关的安全知识是分散的和不全的，难以实现共享和重用，从而不能对软件系统进行全面准确的安全分析。

知识图谱是一种具有有向图结构的知识库，最早由谷歌提出用来改善搜索引擎。知识图谱中包含节点和边。其中节点代表实体，边表示不同实体之间的语义关系或者是实体的属性。具有关系的节点之间存在一条或多条边。知识图谱包括通用知识图谱和领域知识图谱。其中通用知识图谱包括Freebase和YaGo等。领域知识图谱包括医疗领域的知识图谱、金融领域知识图谱、学术领域知识图谱Aminer等。

知识图谱主要基于半结构化数据和非结构化数据进行构建，旨在获取大量的知识实体，强调实体之间的关联分析。并能很好的描述客观世界的概念、实体、事件及其间的关系。提供了一种更好地组织、管理和理解大量异构信息的能力。利用知识图谱相关技术可以解决多源异构数据共享重用困难的问题，帮助安全分析人员对软件系统更加全面的安全分析。为此结合网络安全领域的公开数据集和标准，利用知识图谱相关技术构建一个网络安全领域的知识图谱是非常重要的。

知识图谱的构建流程包括：本体模型构建、知识抽取、知识映射、知识融合。本体是对特定领域之中某套概念及其相互之间关系的形式化表达。本体目前的应用领域包括但不仅限于：人工智能、语义网、软件工程、生物医学信息学。本体构建作为知识图谱的模式层。知识抽取是从半结构化和非结构化的数据中抽取知识，包括实体抽取和关系抽取。知识映射是将结构化的关系型数据映射为知识图谱中的RDF三元组数据。

系统UML部署图是用来显示系统中软件和硬件的物理架构。从部署图中，可以了解到软件和硬件组件之间的物理关系以及处理节点的组件分布情况。

本发明中利用知识图谱技术和网络中公开的漏洞库和威胁库等多源异构的安全知识库，从中抽取知识形成一种多源异构网络安全知识图谱，并结合具体系统的UML部署图完成安全分析。

发明内容

本发明的目的在于提出一种多源异构网络安全知识图谱构建与应用的方法，将知识图谱应用到网络安全领域，解决网络安全知识表现形式不统一和多源异构网络安全数据集关联性差、数据融合度低的问题。

为达到上述目的，其技术方案为：一种多源异构网络安全知识图谱构建与应用的方法。其特征在于，包括以下步骤：

步骤1：依据网络安全领域相关标准，构建网络安全知识本体

步骤2：收集网络安全领域公开的数据集并进行数据预处理

数据集包括网络漏洞数据集网络攻击类型数据集合、网络资产数据集等相关数据集。其中包含结构化数据、半结构化数据的XML数据、非结构化数据。编写解析器将XML类型的数据解析为结构化数据。

步骤3：多源异构网络安全数据的知识抽取和融合

从非结构化数据中抽取安全实体和关系,并将原本是单一、孤立的数据集建立关联关系。

步骤4：网络安全知识图谱的映射和推理

步骤5：网络安全知识图谱的更新、验证和应用

进一步的，步骤1中网络安全知识本体的构建主要过程：

1)收集安全领域核心的术语、概念和定义；

2)建立层次化网络安全概念结构，产生一个或者多个概念的分类。建立关系表来表示本体中概念间的关系。包含资产、脆弱性、攻击、影响、防御等顶层概念本体和本体之间的关系；

3)利用Protege本体建模工具构建网络安全本体。

进一步的，从漏洞和攻击的描述这种非结构化数据中抽取安全实体和关系，统一整合成结构化数据，训练Stanford NLP命名实体识别工具和Bootstrapping算法进行关系抽取。得到统一的结构化安全数据。所述的融合用于建立资产、漏洞和攻击数据集之间的关联关系，具体建立过程是通过爬取安全网站提供的对应ID之间的关系完成。

进一步的，利用步骤3中得到的各个数据集的结构化信息和数据集之间的关联关系，形成整个网络安全知识的结构化表达。

利用R2RML映射语言将结构化的安全数据映射成RDF类型的三元组数据，完成网络安全知识图谱初步构建。

进一步的，根据推理规则，补全图谱中缺少的知识。由于本体仅仅进行描述逻辑，不能表示一般形式的规则，通过新的语义呈现方式SWRL的正向推理发现隐含知识，A和B存在关系，B和C存在关系，通过链式关系推理出A和C存在的隐含关系。

进一步的，基于以上构建好的网络安全知识图谱和目标系统拓扑的UML部署图，可以从部署图中获取资产信息，比如硬件和软件的配置信息。并构造相关安全问题的SPARQL查询语句。具体安全问题类似于：当前系统中资产的类型和漏洞信息？评分最高的漏洞和会造成的攻击有哪些？哪些攻击会破坏系统的保密性以及防御措施是什么？等问题。

最后，将网络安全知识图谱和目标系统的UML部署图作为输入通过构造SPARQL语句返回和推理的结果判断当前环境中的安全问题和防御措施。

本发明的一种多源异构网络安全知识图谱构建与应用的方法，与现有技术相比具有的有益效果是：

本发明针对多源异构网络安全相关数据集，依据网络安全领域相关标准，构建网络安全知识本体。涵盖资产、漏洞、攻击、防御等安全概念和相互关系，形成网络安全知识图谱的统一描述模型。收集网络安全公开数据集并进行预处理多源异构网络安全数据的抽取和融合，形成结构化的网络安全数据，并建立数据之间的联系。随后进行网络知识图谱的映射推理。形成网络安全知识的三元组数据利用Jena数据库存储RDF数据并进行推理补全，最终形成网络安全知识图谱。结合UML部署图和构建好的网络安全知识图谱查询和判断当前系统的安全问题并推理和预测可能发生的安全事件。

知识图谱技术领域涉及的知识抽取、知识推理和知识融合等技术正契合了网络安分析的需求。本发明将知识图谱技术运用到网络安全领域，提出一种多源异构网络安全知识图谱构建与应用的方法，将单一、分散的网络安全知识进行抽取、融合，形成网络安全知识图谱。从而可以对目标环境做更加全面的分析，提高了网络安全问题的检测效果。

附图说明

图1为网络安全知识本体层次化安全概念结构图。

图2为网络安全知识本体模型示意图。

图3为网络安全知识图谱构建框架图。

图4为网络安全知识图谱映射方法示意图。

图5为网络安全知识图谱示例图。

图6为攻击事件中EastNets UML部署图。

图7为网络安全图谱攻击事件查询及推理结果。

具体实施方式

下面结合附图和具体事例来对本发明的技术方案做进一步的详细说明。

本方法采用的技术方案为一种多源异构网络安全知识图谱构建与应用的方法，该方法的实现过程如下：

步骤1：依据网络安全领域相关标准，构建网络安全知识本体

本体构建中主要依据的网络安全标准有：ISO/IEC 27000信息安全管理体系标准族、结构化威胁信息表达式(STIX)、网络安全威胁信息格式规范GB/T36643-2018、信息安全技术_术语GB/T 25069-2010、GBT 33561-2017信息安全漏洞分类。

网络安全知识本体的构建主要过程：从安全标准中收集安全领域核心的术语、概念和定义、建立层次化网络安全概念结构，所述的概念结构为多层结构，首层为网络安全顶层本体，第n层是对第n-1层中每个概念的进一步分类，此外还包括表征顶层本体之间关系；实施例如图1，顶层本体包含资产、脆弱性、威胁、影响、防御。建立关系表来表示本体中概念间的关系。包含资产、脆弱性、攻击、影响、防御等顶层概念本体和本体之间的关系。所述的层次化网络安全概念结构是利用Protege本体建模工具，并使用收集安全领域核心的术语、概念和相关定义实现的。实施例如图2。

(1)资产：主要是计算机(或通讯)网络中使用的各种设备，包含硬件(网络设备、安全设备等)、软件(操作系统、应用程序等)、人员等。

(2)脆弱性：描述系统和软件在需求、设计、应用中的缺陷和弱点或者其他问题。包含漏洞属性、漏洞分类(配置错误、代码漏洞、环境漏洞)等

(3)威胁：描述对资产的脆弱性利用的方法或途径。包含主动攻击和被动攻击、人类行为攻击。其中主动攻击包含：消息篡改、拒绝服务、欺骗、暴力破解等。被动攻击包括：扫描、窃听、嗅探、流量分析等。人类行为攻击包含：物理攻击和社会工程学、系统的错误使用等。每个攻击包含攻击目的攻击后果、攻击方式、攻击自动化水平等属性进行描述。

(4)影响：描述攻击影响会对资产造成哪种类型的后果。包含机密性、完整性、可用性、可控性和可授权性。

(5)防御：描述了一些方法或措施可以对漏洞进行补救，从而保护当前系统和软件并且降低威胁带来的影响。包括硬件防御(数据备份装置、防火墙等)和软件和数据防御(漏洞扫描、边界检查、数据加密)等

在构建完成网络安全本体后，网络安全知识图谱的构建包括步骤2数据收集预处理，步骤3知识抽取与融合，步骤4知识映射和推理，构建流程如图3。

步骤2：收集网络安全领域公开的数据集并进行数据预处理

网络安全公开数据集包含：CWE(通用弱点枚举)CVE(公共漏洞和暴露)NVD(国家漏洞库)包含脆弱性和漏洞信息、CAPEC(常用攻击类型分类和枚举)包含网络攻击及其影响具体信息、CPE通用平台枚举包含资产相关信息等。其中包含结构化数据、半结构化数据的XML数据、非结构化数据。编写解析器将XML类型的数据解析为结构化数据。

NVD数据集中包含2002-2019年的漏洞数据集，12万多条漏洞数据，每条信息包含漏洞的ID、漏洞影响的软件、漏洞描述、漏洞造成的后果、漏洞评分、漏洞发布时间等信息。

CWE数据集是软件弱点类型的正式列表，共包含808类弱点信息，每条数据中包含威胁名称、相关弱点、常见后果、检测方法、缓解措施、相关攻击模式等信息。

CAPEC数据集是攻击类型的分类和枚举，共包含517类攻击信息，每条数据中包含攻击ID、攻击描述、攻击发生可能性和严重性、相关联的攻击类型、攻击造成后果、防御措施、相关威胁ID等信息。

CPE数据集是用于描述和识别资产中存在的应用程序，操作系统和硬件设备的数据集，包含37万条命名信息。

步骤3：多源异构网络安全数据的知识抽取和融合

安全数据集中还包含，漏洞描述和攻击描述这种非结构化数据。知识抽取是从中抽取相关实体和关系，统一整合成结构化数据，本专利利用Stanford NLP训练一个网络安全领域的实体识别器和Bootstrapping算法关系抽取，然后得到统一的结构化数据。其中命名实体识别训练时用到的数据集为Krebson，Fireeye安全站点提供的数据集，通过实验选取最优特征参数。

Bootstrapping算法中给定少量的标注的种子集合(漏洞，攻击安全实体对)从描述中抽取出包含种子集合的所有数据。比如：初始加入人为标注的实体对<CVE-2019-0012,DDOS>,<CVE-2019-0012,enabled,DDOS>形成<X,enabled,Y>这样的Pattern，然后将其加入网络漏洞数据集、网络攻击类型数据集的非结构化数据中抽取出<CVE-2019-1000023,enabled，SQL injection>三元组，接下来将<CVE-2019-1000023,SQL injection>加入种子集合，不断迭代抽取，直到抽取出的三元组置信度达到设置阈值为止。

所述的融合用于把不同数据集中有关联的实体建立联系，具体建立过程是通过爬取安全网站提供的对应ID之间的关系完成的。比如ID为180113的漏洞CVE-2018-0103对应ID为100的BufferOverflow攻击。

步骤4：网络安全知识图谱的映射和推理

基于步骤3中得到的各个数据集的结构化数据和数据集之间的关联关系，形成整个网络安全知识的结构化表达。R2RML是从结构化表达映射到RDF数据的一种指定的语言。通过建立一些规则完成映射，R2RML将其映射成RDF类型的三元组数据。其中结构化的数据表名对应图谱中的实体的类名，表中的每一行代表图谱中的一个实体，表中的字段对应实体的属性。不同类之间的关系通过不同结构化表之间的外键相关联。完成网络安全知识图谱的初步构建。

例如，实施例图4，图中左侧分别为结构化的漏洞表和攻击表中的某条数据。我们将漏洞表映射到知识图谱中的脆弱性类，攻击表映射到知识图谱中的威胁类。表中的字段如V_Name映射到图谱中脆弱性类的Vulnerability_Name属性。通过漏洞表和攻击表的外键ID关联，建立实体之间的联系。

根据推理规则，补全图谱中缺少的知识。由于本体仅仅进行描述逻辑，不能表示一般形式的规则，通过新的语义呈现方式SWRL的正向推理发现隐含知识，A和B存在关系，B和C存在关系，通过链式关系推理出A和C存在的隐含关系。

例如，下面这条规则表明漏洞X会导致威胁Y的发生，威胁Y会造成Z的破坏，W可以在一定程度上阻止Z的发生则W就可以修复X。

Enabled_by(x,y)∩Has_a_consequence(y,Z)∩Prevents(W,Z)->Repair(W,X)

经过以上步骤完成网络安全知识图谱的构建。如图5是图谱中的某一条具体数据。具体含义是Pluto是Apache开发的一个软件，Pluto中存在编号为CVE-2019-0186的CSRF漏洞，这个漏洞会引发XSS攻击，影响系统和软件的完整性和保密性。针对这一漏洞，对应的防护措施是Implement。

步骤5：网络安全知识图谱的验证和应用

利用以上步骤构建好的网络安全知识图谱和当前系统的UML部署表示，其中可以从部署图中获取资产信息，比如硬件和软件的配置信息，来构造安全问题的SPARQL查询。类似于：当前系统中资产的类型和漏洞信息？评分最高的漏洞和会造成的攻击有哪些？哪些攻击会破坏系统的保密性以及防御措施是什么？等问题，从而判断当前环境中的潜在威胁。

SPARQL查询语句构造：SPARQL是一种类似于关系型数据库中SQL查询语言的针对图数据库的查询语言。把当前UML部署图描述成图结构，并作为查询的输入。构造查询语句来从安全知识图谱中获取当前系统的脆弱性信息，从而得到当前系统的脆弱性列表和漏洞和后果、防御措施等。查询语句如：

1.当前系统中漏洞分值最高的5个漏洞和具体分值,严重性和影响的资产？

2.影响当前系统保密性的漏洞有哪些和对应的防御措施？

构造完成多种类似上述的SPARQL语句后，利用Jena提供的Fuseki查询和推理引擎来得到结果。针对已经发生的攻击事件的系统拓扑进行分析。“JEEPFLEA_MARKET”攻击行动，针对中东地区最大的SWIFT服务提供商EastNets。抽象EastNets的网络拓扑形成UML部署图。如图6，其中主要包括主要包含部署的相关设备、软件版本和之间的关联。部分结果如图7，结果显示当前系统中漏洞分值最高的5个漏洞和具体分值,严重性和影响的资产。

Claims

1.一种多源异构的网络安全知识图谱构建与应用方法，其特征在于，包括以下步骤：

步骤1：依据网络安全领域相关标准，构建网络安全知识本体；

步骤2：收集网络安全领域公开的数据集并进行数据预处理

数据集包含结构化数据、半结构化的XML数据、非结构化数据，所述的预处理为编写解析器将XML类型的数据解析为结构化数据；

步骤3：多源异构网络安全数据的知识抽取和融合

所述的知识抽取具体为：从每个数据集的非结构化数据中抽取安全实体，以及安全实体之间的关系，其中，采用命名实体识别工具抽取安全实体，命名实体识别工具为训练完毕的Stanford NLP命名实体识别器，抽取安全实体之间关系的过程为：对每个数据集中抽取的安全实体进行人为少量标注，形成每个数据集的种子集合，即找到每个数据集存在关联关系的少量安全实体对，然后采用Bootstrapping算法从每个数据集的非结构化数据中提取所有的安全实体对；

所述的融合用于把不同数据集中有关联的实体建立联系，具体建立过程是通过爬取安全网站提供的对应ID之间的关系完成的。

步骤4：网络安全知识图谱的映射和推理；

步骤5：将网络安全知识图谱和目标系统的UML部署图作为输入，通过构造SPARQL语句查询推理当前环境中的可能发生的安全问题和防御措施。

2.根据权利要求1所述的一种多源异构网络安全知识图谱构建与应用的方法，其特征在于：步骤1中网络安全知识本体的构建主要过程：利用Protege本体建模工具，并使用收集的安全领域核心的术语、概念和定义，建立层次化网络安全概念结构，所述的概念结构为多层结构，首层为网络安全顶层本体，第n层是对第n-1层中每个概念的进一步分类，此外还包括表征顶层本体之间的关系。

3.根据权利要求2所述的一种多源异构网络安全知识图谱构建与应用的方法，其特征在于：所述的顶层本体为资产、脆弱性、攻击、影响、防御。

4.根据权利要求3所述的一种多源异构网络安全知识图谱构建与应用的方法，其特征在于：步骤2中所述的数据集包括网络漏洞数据集、网络攻击类型数据集、网络资产数据集。

5.根据权利要求3所述的一种多源异构网络安全知识图谱构建与应用的方法，其特征在于：

步骤3中所述的知识抽取具体如下：

从网络漏洞数据集、网络攻击类型数据集的非结构化数据中抽取安全实体，以及抽取的安全实体之间的关系，统一整合成结构化数据，其中，采用命名实体识别工具抽取安全实体，命名实体识别工具为训练完毕的Stanford NLP命名实体识别器，抽取安全实体之间关系的过程为：对网络漏洞数据集中抽取的安全实体进行人为少量标注，形成网络漏洞种子集合，即找到网络漏洞数据集存在关联关系的少量安全实体对，然后采用Bootstrapping算法从网络漏洞数据集的非结构化数据中提取所有的网络漏洞安全实体对；同样对网络攻击类型数据集抽取的安全实体进行人为少量标注，形成网络攻击类型种子集合，即找到网络攻击类型数据集中存在关联关系的少量网络攻击安全实体对，然后采用Bootstrapping算法从网络攻击类型数据集的非结构化数据中提取所有的网络攻击安全实体对；

所述的融合用于建立资产、漏洞和攻击数据集之间的关联关系，具体建立过程是通过爬取安全网站提供的对应ID之间的关系完成的。

6.根据权利要求1所述的一种多源异构网络安全知识图谱构建与应用的方法，其特征在于：

步骤4.1利用步骤3中得到的各个数据集的结构化数据和数据集之间的关联关系，形成整个网络安全知识的结构化表达，利用R2RML语言将结构化表达映射成RDF类型的三元组数据，完成网络安全知识图谱初步构建；

步骤4.2知识推理用于补充初步构建的安全知识图谱缺失的三元组，即A和B存在关系1，B和C存在关系2，通过链式关系推理出A和C存在的隐含关系3，具体实现方式为通过编写SWRL推理规则：关系1(A,B)∩关系2(B,C)->关系3(A,C)。