CN112671716B

CN112671716B - 基于图谱的漏洞知识挖掘方法及系统

Info

Publication number: CN112671716B
Application number: CN202011397024.7A
Authority: CN
Inventors: 和达; 刘杰; 王一凡; 孙治; 陈剑锋
Original assignee: China Electronic Technology Cyber Security Co Ltd
Current assignee: China Electronic Technology Cyber Security Co Ltd
Priority date: 2020-12-03
Filing date: 2020-12-03
Publication date: 2022-07-05
Anticipated expiration: 2040-12-03
Also published as: CN112671716A

Abstract

本发明公开了基于图谱的漏洞知识挖掘方法及系统，包括步骤：S1，收集网络空间安全领域公开漏洞数据导入数据库，构建漏洞知识图谱；S2，基于构建的知识图谱进行漏洞知识挖掘等；本发明将多源异构的公开漏洞信息进行融合，形成了统一的知识表示形式；通过知识图谱的关联查询以及推导，获得产品厂商到漏洞信息到攻击方法的闭环知识；基于知识图谱的算法挖掘更多漏洞相关知识。

Description

基于图谱的漏洞知识挖掘方法及系统

技术领域

本发明涉及网络安全领域，更为具体的，涉及基于图谱的漏洞知识挖掘方法及系统。

背景技术

网络安全问题一直伴随着快速发展的互联网信息时代，对于安全从业人员而言，获得并且管理海量高质量漏洞数据具有关键价值，也是完备网络空间安全中必不可少的一环。然而，软件信息(CPE)，漏洞数据(CVE，CNNVD，CNVD)，软件缺陷(CWE)，漏洞POC(exploitDB)等知识以不同的表现形式存放于不同的网站。因此，想要全局性的交叉引用漏洞信息来完整地分析漏洞十分困难。开发统一的漏洞知识表示形式，集成跨资源边界的信息，整合海量漏洞相关数据具有实际意义，这将使得进一步的知识共享和更深入的安全分析成为可能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图谱的漏洞知识挖掘方法及系统，将多源异构的公开漏洞信息进行融合，形成了统一的知识表示形式；通过知识图谱的关联查询以及推导，获得产品厂商到漏洞信息到攻击方法的闭环知识；基于知识图谱的算法挖掘更多漏洞相关知识。

本发明的目的是通过以下方案实现的：

基于图谱的漏洞知识挖掘方法，包括步骤：

S1，收集网络空间安全领域公开漏洞数据导入数据库，构建漏洞知识图谱；

S2，基于构建的知识图谱进行漏洞知识挖掘。

进一步地，包括步骤：

S3，基于漏洞知识挖掘结果，匹配用户的自然语言输入，形成了一个漏洞知识图谱专家系统。

进一步地，步骤S1包括：

S11，构建漏洞本体作为知识图谱的骨架，明确漏洞领域内的概念，属性，术语及相互关系；

S12，爬取漏洞网页，获取数据库类型的结构化漏洞数据源，从数据中抽取属性和关系信息，对多源异构数据进行实体消歧和共指消解的数据融合工作；

S13，将处理后的数据导入数据库，形成漏洞知识图谱。

进一步地，步骤S2包括：

基于节点度中心性统计漏洞最多的产品、厂商，度中心性测量图谱中一个节点与其他节点的关联程度，采用如下公式计算节点V_i的度中心性CD(V_i)，即：

其中，给定一个拥有g个节点的图谱G＝(V,E)，V表示节点集合，E表示关系结合，节点V_i的度中心性CD(V_i)是i与其他(g-1)个j节点的直接连边总数求和。

进一步地，步骤S2包括：

基于局部链接的节点共同邻居相似度来推导判定某个漏洞节点的相似性漏洞；两个节点的相似度S_xy＝|Γ(x)∩Γ(y)|，其中Γ(x)为节点的邻居节点集合，Γ(y)为节点y的邻居节点集合；若节点x和节点y同时从属于一种CWE缺陷分类，并且影响同一个产品，则S_xy＝1，判定这两个CVE节点为相似漏洞。

进一步地，步骤S2包括：

基于随机游走Walktrap算法，找到CVE漏洞节点的社群聚类；通过使用igraph网络分析算法库中的walktrap方法，为每个CVE节点打上社群标签，聚类属性相似的CVE节点。

进一步地，步骤S13中，所述数据库包括Neo4j数据库。

一种基于图谱的漏洞知识挖掘系统，其特征在于，包括数据收集模块、数据处理模块和知识问答模块；

所述数据收集模块，用于定期的收集漏洞数据，保持知识图谱中数据的更新；

所述数据处理模块，用于根据构建的漏洞本体，从收集到的半结构化漏洞数据中提取属性和关系信息，对各实体进行实体消歧和共指消解的数据融合工作，并导入图数据库；

所述知识问答模块，用于将用户输入的自然语言类型的查询，匹配到查询模板上。

进一步地，所述数据库包括Neo4j数据库。

进一步地，所述查询模板包括cypher查询模板。

本发明的有益效果是：

(1)本发明将多源异构的公开漏洞信息进行融合，形成了统一的知识表示形式；通过知识图谱的关联查询以及推导，获得产品厂商到漏洞信息到攻击方法的闭环知识；基于知识图谱的算法挖掘更多漏洞相关知识。

(2)本发明可以关联独立分布的漏洞数据，实现多源异构数据融合；构建了网络空间安全漏洞信息知识图谱，实现基于图的算法挖掘未知漏洞知识。

(3)本发明实施例中至少挖掘了以下几点新知识：统计了披露漏洞最多的产品和厂商；给定一个漏洞，推理出了它的相似性漏洞；以及发现了CVE社群。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为漏洞知识图谱系统构建框架；

图2为漏洞知识图谱本体模型示意图；

图3为漏洞知识图谱软件缺陷查询推理结果。

具体实施方式

本说明书中所有实施例公开的所有特征(包括任何附加权利要求、摘要和附图)，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

2012年谷歌提出知识图谱的概念，通过存储大量知识实体以及实体间的关系，提供了一种融合、管理和分析多源异构数据的能力。知识图谱保存有专家经验和推理规则，通过实体、关系挖掘，实现对客观世界的认知，并且由已有的知识产生新的知识。

本发明基于上述信息，通过收集互联网上公开的漏洞相关数据，抽取各漏洞实体之间的属性与关系，构建网络空间安全漏洞知识图谱，并基于该图谱挖掘并发现新的漏洞相关知识。

如图1～3所示，基于图谱的漏洞知识挖掘方法，包括步骤：

S2，基于构建的知识图谱进行漏洞知识挖掘。

进一步地，包括步骤：

进一步地，步骤S1包括：

S13，将处理后的数据导入数据库，形成漏洞知识图谱。

进一步地，步骤S2包括：

通过计算某CPE节点的CVE连边数，得到该CPE节点的度中心性。CPE与产品和CVE为一阶关系连接，与厂商为二阶关系连接。某个产品对应的CPE度中心性越高，该产品CVE漏洞越多；某个厂商拥有的产品对应的CPE度中心性越高，该厂商有漏洞的产品越多。

进一步地，步骤S2包括：

基于局部链接的节点共同邻居相似度来推导判定某个漏洞节点的相似性漏洞；两个节点的相似度S_xy＝|Γ(x)∩Γ(y)|，其中Γ(x)为节点的邻居节点集合，Γ(y)为节点y的邻居节点集对于一般图谱结构，两个节点的共同邻居数量越多，这两个节点越相似；合；若节点x和节点y同时从属于一种CWE缺陷分类，并且影响同一个产品，则S_xy＝1，判定这两个CVE节点为相似漏洞。

进一步地，步骤S2包括：

进一步地，步骤S13中，所述数据库包括Neo4j数据库。

进一步地，所述数据库包括Neo4j数据库。

进一步地，所述查询模板包括cypher查询模板。

在本发明的实施例中，为了达到上述目的，本发明提供一种漏洞知识图谱的构建以及基于该图谱的漏洞知识挖掘方法。

漏洞知识图谱构建，知识图谱有自顶向下和自底向上两种构建方式。网络上公开的漏洞数据库已经将各类漏洞信息结构化定义，因此本发明采用自顶向下的方式，首先构建漏洞本体作为知识图谱的骨架，明确漏洞领域内的概念，属性，术语及相互关系。之后，定期爬取漏洞网页，获取数据库类型的结构化漏洞数据源，从高质量的数据中抽取属性和关系信息，对多源异构数据进行实体消歧和共指消解的数据融合工作。最终将处理后的数据入库Neo4j，形成漏洞知识图谱。

通过融合海量漏洞相关知识构建的漏洞知识图谱具备了层次化导航推理、多维度关联查询以及多阶关系推导的功能。搜索某个产品或厂商，通过一阶关系查询到产品的CPE，进一步关联到该CPE对应的漏洞实体CVE上，CVE或有具体的软件缺陷成因CWE，而CWE又有相应的通用攻击方式CAPEC。这样一来，一条从厂商产品关联到产品漏洞并进一步推理该产品的潜在攻击方式的链路就已经打通。

基于知识图谱的漏洞知识挖掘，构建的漏洞知识图谱不止提供了检索和推导的功能，利用图谱本身的特性和算法，更多的未知漏洞知识还可以被挖掘。

度中心性测量图谱中一个节点与其他节点的关联程度。给定一个拥有g个节点的图谱G＝(V,E)，其中V表示节点集合，E表示关系结合，节点V_i的度中心性CD(V_i)是i与其他(g-1)个j节点的直接连边总数求和

通过计算某CPE节点的CVE连边数，可以得到该CPE节点的度中心性。CPE与产品和CVE为一阶关系连接，与厂商为二阶关系连接。某个产品对应的CPE度中心性越高，该产品CVE漏洞越多；某个厂商拥有的产品对应的CPE度中心性越高，该厂商有漏洞的产品越多。

基于局部链接的节点共同邻居相似度推导某个漏洞节点的相似性漏洞。

对于一般图谱结构，两个节点的共同邻居数量越多，这两个节点越相似。两个节点的相似度S_xy＝|Γ(x)∩Γ(y)|，其中Γ(x)为节点的邻居节点集合，Γ(y)为节点y的邻居节点集合。若节点x和节点y同时从属于一种CWE缺陷分类，并且影响同一个产品，则S_xy＝1，判定这两个CVE节点为相似漏洞。

基于随机游走Walktrap算法，找到CVE漏洞节点的社群聚类。

通过使用igraph网络分析算法库中的walktrap方法，为每个CVE节点打上社群标签，聚类属性相似的CVE节点。

在构建漏洞知识图谱时，以上知识并不存在，但是通过基于图的挖掘方法，本发明挖掘了以下几点新知识：统计了披露漏洞最多的产品和厂商；给定一个漏洞，推理出了它的相似性漏洞；以及发现了CVE社群。可以期待的是，随着对图谱更深入的研究，更多未知漏洞知识类亟待被挖掘。

在本发明的其他实施例中，系统构架如图1所示，系统分为数据收集模块、数据处理模块和知识问答模块，用于存储漏洞图谱的数据库为Neo4j，用于与图数据库交互的查询语言为Cypher。其中，数据收集模块负责定期的收集漏洞数据，保持知识图谱中数据的更新。数据处理模块根据构建的漏洞本体，从收集到的半结构化漏洞数据中，提取属性和关系信息，对各实体进行实体消歧和共指消解的工作，并导入图数据库。而问答模块则会将用户输入的自然语言类型的查询，匹配到cypher查询模板上。该模块通过jieba进行中文分词，elasticsearch来做搜索时的关键词自动补全。

构建漏洞知识图谱

步骤1：首先，建立漏洞知识图谱本体。参考安全标准中的领域关键词，概念和定义，厘清多源异构漏洞数据中的节点标签与节点属性的关系，确定厂商产品，CPE，CVE，CWE，POC，CAPEC等顶层本体的关联关系，构建漏洞知识本体，实施例如图2。

步骤2：收集网络空间安全领域公开漏洞数据

本发明实施例所应用公开数据集包括：1.NVD(美国国家漏洞库)、CNNVD(中国国家漏洞库)、CWE(通用缺陷枚举)，这三个数据库将提供漏洞与软件脆弱性的信息；2.CAPEC(通用攻击类型分类)提供通用网络攻击方法；3.ExploitDB(漏洞POC)是用于验证漏洞存在的代码；4.SARD(软件保证参考数据库)提供刻意构造的具有某种软件缺陷的代码。其中包含结构化的CSV格式数据，以及需要从网页爬取的非结构化数据。利用数据预处理模块将所有数据统一格式，并输入知识图谱。

基于知识图谱的漏洞知识挖掘

利用上述步骤建立的漏洞知识图谱，已具备进行层次化导航推理、多维度关联查询的功能，如图3。此外，可以结合基于图的算法和Neo4j的图数据库查询语句Cypher，从漏洞图谱中挖掘以下知识：

1.基于度中心性挖掘漏洞最多的产品或厂商排行：

漏洞最多的产品排行：

MATCH(a:Product)-[:HAS_CPE]-(b)

WITH a,b

MATCH(b)-[:AFFECTED_TOWARD]-(c:CVE)

RETURN a.name,count(distinct c)AS degree ORDER BY degree DESC

拥有最多漏洞产品的厂商排行：

MATCH(a:Vendor)-[:HAS_PRODUCT]-(b:Product)

WITH a,b

MATCH(b)-[:HAS_CPE]-(c)

WITH a,b,c

MATCH(c)-[:AFFECTED_TOWARD]-(d:CVE)

RETURN a.name,count(distinct d)AS degree ORDER BY degree DESC

2019年漏洞最多的产品排行：

MATCH(a:Product)-[:HAS_CPE]-(b)

WITH a,b

MATCH(b)-[:AFFECTED_TOWARD]-(c:CVE)

WHERE c.publishDate＝～'2019.*'

RETURN a.name,count(distinct c)AS degree ORDER BY degree DESC

2.基于共同邻居的相似性漏洞推导：

MATCH

(a:Product)-[:HAS_CPE]-(b)-[:AFFECTED_TOWARD]-(c:CVE{name_en:'％s'})-[:HAS_WEAKNESS_ENUMERATION]-(d:CWE)

WITH a,c,d

MATCH

(a)-[:HAS_CPE]-(e)-[:AFFECTED_TOWARD]-(f:CVE)-[:HAS_WEAKNESS_ENUMERATION]-(d:CWE)RETURN f

3.利用随机游走方法为CVE分类：

最终，将上述的Cypher语句作为问题模板，匹配用户的自然语言输入，形成了一个漏洞知识图谱专家系统。如图3在搜索框输入“CVE-2015-4513对应的CWE”，会在图中返回节点CWE-119，单击该节点获得节点的属性信息，双击该节点展开连边。如表1，搜索“2019年漏洞最多的产品排行”，结果显示了2019年披露漏洞最多的5个产品排行。

表1

产品名称	2019年公开漏洞个数
		debian_linux	391
windows_server_2016	350
		windows_10	350
windows_server_2019	342
		cpanel	315

表1为漏洞知识图谱的知识挖掘结果。

本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备(可以是个人计算机，服务器，或者网络设备等)以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器(Random Access Memory，RAM)、随机存取存储器(Random Access Memory，RAM)等。

Claims

1.基于图谱的漏洞知识挖掘方法，其特征在于，包括步骤：

S2，基于构建的知识图谱进行漏洞知识挖掘；步骤S2包括：

其中，给定一个拥有g个节点的图谱G＝(V,E)，V表示节点集合，E表示关系结合，节点V_i的度中心性CD(V_i)是i与其他(g-1)个j节点的直接连边总数求和；

基于局部链接的节点共同邻居相似度来推导判定某个漏洞节点的相似性漏洞；两个节点的相似度S_xy＝|Γ(x)∩Γ(y)|，其中Γ(x)为节点x的邻居节点集合，Γ(y)为节点y的邻居节点集合；若节点x和节点y同时从属于一种CWE缺陷分类，并且影响同一个产品，则S_xy＝1，判定这两个CVE节点为相似漏洞；

2.根据权利要求1所述的基于图谱的漏洞知识挖掘方法，其特征在于，包括步骤：

3.根据权利要求1或2任一所述的基于图谱的漏洞知识挖掘方法，其特征在于，步骤S1包括：

S13，将处理后的数据导入数据库，形成漏洞知识图谱。

4.根据权利要求1所述的基于图谱的漏洞知识挖掘方法，其特征在于，步骤S13中，所述数据库包括Neo4j数据库。