CN111881300A - 面向第三方库依赖的知识图谱构建方法及系统 - Google Patents

Abstract

本发明公开了一种面向第三方库依赖的知识图谱构建方法及系统，方法包括以下步骤：采集若干应用程序项目，从中提取所依赖的第三方库；爬取所述第三方库的漏洞报告；从所述漏洞报告中提取实体；从所述漏洞报告中抽取关系；对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。本发明的方法提供了一种能够帮助开发者对第三方库依赖进行全方位漏洞及功能分析的数据语义网络，使用构建知识图谱的方法全方位存储第三方库漏洞、功能等信息，为进一步的对第三方库的功能、风险分析提供结构化数据，使开发人员能快速、准确、高效的掌握第三方库信息，提高开发的效率与质量。

Description

面向第三方库依赖的知识图谱构建方法及系统

技术领域

本发明属于软件安全技术领域，特别涉及一种面向第三方库依赖的知识图谱构建方法。

背景技术

目前80％的应用程序是基于第三方库和已有框架开发的，然而，约1/4的第三方库是存在漏洞的，而且大部分漏洞的严重等级为中级(Middle)和高级(High)，少部分是严重等级(Critical)，如果这些漏洞被利用，则会给应用程序的安全性造成严重威胁。因此不仅要分析第三方库依赖是否满足原应用的需求，还要对其进行漏洞分析检测和风险分析。

目前国内外存在对第三方库依赖进行分析的方法，比如白名单匹配检测、提取函数方法签名、基于聚类方法技术、基于机器学习方法等。这些技术或多或少在效率或者准确度上有些许弊端。例如，白名单匹配检测方法仅对代码中的包名或者第三方库的包名比较，一旦应用使用了代码混淆，对第三方库的分析就会不全面，检测提取出的数据就不精确，容易误导开发者。针对白名单匹配检测第三方库不完善且不准确的问题。然而，如果第三方库被修改或属于多种类别，会降低方法的准确性。此外，国外OWASP基金会提出了一种工具OWASP Dependency Check，它提供的功能可自动提取项目依赖项列表，并检查此列表是否包含具有已知安全漏洞的任何库。该工具通过将库名与国家通用漏洞数据库(NVD)中漏洞描述(CVE)中指示的通用平台枚举(CPE)版本进行比较，可以自动将库与关联的CVE进行匹配。由上可知，目前仅仅是对第三方库进行一系列检测工作，只能达到检测第三方库是否存在漏洞，不能对漏洞进行分析。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种面向第三方库依赖的知识图谱构建方法及系统，为第三方库的功能及风险分析提供结构化数据。

实现本发明目的的技术解决方案为：面向第三方库依赖的知识图谱构建方法，所述方法包括以下步骤：

步骤1，采集若干应用程序项目，从中提取所依赖的第三方库；

步骤2，爬取所述第三方库的漏洞报告；

步骤3，从所述漏洞报告中提取实体；

步骤4，从所述漏洞报告中抽取关系；

步骤5，对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

进一步地，步骤3所述从所述漏洞报告中提取实体，具体为利用NLTK自然语言处理工具提取实体，具体过程包括：

步骤3-1，对所述漏洞报告文本进行句子分割；

步骤3-2，对所述句子进行分词以及词性标注；

步骤3-3，进行命名实体识别，提取实体。

进一步地，步骤5中所述对所述实体进行对齐，之后结合所述关系构建完整的知识图谱，具体过程包括：

步骤5-1，利用编辑距离算法计算两两实体的相似度，计算公式为：

式中，sim1为相似度，distance表示一个实体字符串更改为另一个实体字符串所需的单字符编辑的最少步骤，所述单字符编辑包括插入、删除或替换，str1.length、str2.length分别为两个实体字符串的长度；

步骤5-2，利用Jaccrad算法计算两两实体的相似度，计算公式为：

式中，sim2为相似度，A、B分别为两个实体；

步骤5-3，求取sim1与sim2的平均值，将均值大于预设阈值的实体归为同一实体；

步骤5-4，将归类后的实体以及关系导入Neo4j平台，构建完整的知识图谱。

面向第三方库依赖的知识图谱构建系统，所述系统包括：

第一信息采集模块，用于采集若干应用程序项目，从中提取所依赖的第三方库；

第二信息采集模块，爬取所述第三方库的漏洞报告；

第一提取模块，用于从所述漏洞报告中提取实体；

第二提取模块，从所述漏洞报告中抽取关系；

知识图谱构建模块，用于对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

进一步地，所述知识图谱构建模块包括：

第一相似度计算单元，用于利用编辑距离算法计算两两实体的相似度，计算公式为：

式中，sim1为利用编辑距离算法计算的两两实体之间的相似度值，distance表示一个实体字符串更改为另一个实体字符串所需的单字符编辑的最少步骤，所述单字符编辑包括插入、删除或替换，str1.length、str2.length分别为两个实体字符串的长度；

第二相似度计算单元，用于利用Jaccrad算法计算两两实体的相似度，计算公式为：

式中，sim2为利用Jaccrad算法计算的两两实体之间的相似度值，A、B分别为两个实体；

对齐单元，用于求取sim1与sim2的平均值，将均值大于预设阈值的实体归为同一实体；

知识图谱构建单元，用于将归类后的实体以及关系导入Neo4j平台，构建完整的知识图谱。

本发明与现有技术相比，其显著优点为：1)全方位收集第三方库依赖相关知识信息，充分利用自然语言处理技术，预先对爬虫爬取得到的第三方库功能及漏洞的文本信息进行处理，以改善文本信息的数据冗余、不便处理等特点，使其数据趋于结构化，便于构建图谱；2)上述收集的第三方库依赖信息通过构建知识图谱来存储信息，以便准确且高效地分析第三方库依赖功能、漏洞等数据信息；3)将第三方库漏洞等信息全方位存储到知识图谱中，便于后续管理、搜索等操作，能够使开发人员快速、准确、高效掌握第三方库信息，提高开发的效率与质量。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中面向第三方库依赖的知识图谱构建方法的流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1，提供了一种面向第三方库依赖的知识图谱构建方法，所述方法包括以下步骤：

步骤1，采集若干应用程序项目，从中提取所依赖的第三方库；

步骤2，爬取所述第三方库的漏洞报告；

步骤3，从所述漏洞报告中提取实体；

步骤4，从所述漏洞报告中抽取关系；

步骤5，对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

进一步地，在其中一个实施例中，步骤3中所述实体包括两类：一类包括第三方库(属性：功能、版本等)、开发商以及作用对象等，另一类包括漏洞(属性：CVE编号、危害等级、漏洞类型、发布时间、威胁类型、是否有解决方案等)、危害对象等。

进一步地，在其中一个实施例中，步骤3所述从所述漏洞报告中提取实体，具体为利用NLTK自然语言处理工具提取实体，具体过程包括：

步骤3-1，对所述漏洞报告文本进行句子分割；

步骤3-2，对所述句子进行分词以及词性标注；

步骤3-3，进行命名实体识别，提取实体。

进一步地，在其中一个实施例中，步骤4中所述关系包括R1：存在(第三方库，漏洞)、R2：开发(开发商，第三方库)、R3：作用(第三方库，作用对象)、R4：危害(漏洞，危害对象)。

进一步地，在其中一个实施例中，步骤4所述从所述漏洞报告中抽取关系，具体利用Bootstrapping算法抽取关系。Bootstrapping算法的输入是拥有某种关系的少量实体对，作为种子，输出是更多拥有上述某种关系的实体对，具体过程包括：

步骤4-1，在漏洞报告的语料集中采集所有包含某一实体对的句子；

步骤4-2，归纳实体对的前后或中间的词语，构造特征模板；

步骤4-3，根据特征模板去语料集中获取更多的实体对，然后对所有实体对打分排序，将高于预设阈值的实体对加入到知识图谱中，扩展现有的实体对；

步骤4-4、回到步骤4-1，进行迭代，获得更多模板，获得更多拥有该关系的实体对。

进一步地，在其中一个实施例中，步骤5中所述对所述实体进行对齐，之后结合所述关系构建完整的知识图谱，具体过程包括：

步骤5-1，利用编辑距离算法(指两个字串之间，由一个转成另一个所需的最少编辑操作次数，如果它们的距离越大，说明它们越是不同；许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符)计算两两实体的相似度，计算公式为：

式中，sim1为利用编辑距离算法计算的两两实体之间的相似度值，distance表示一个实体字符串更改为另一个实体字符串所需的单字符编辑的最少步骤，所述单字符编辑包括插入、删除或替换，str1.length、str2.length分别为两个实体字符串的长度；

步骤5-2，利用Jaccrad算法(给定两个集合A、B，Jaccard系数定义为A与B交集的大小与并集大小的比值，Jaccard值越大说明相似度越高)计算两两实体的相似度，计算公式为：

式中，sim2为利用Jaccrad算法计算的两两实体之间的相似度值，A、B分别为两个实体；

步骤5-3，求取sim1与sim2的平均值，将均值大于预设阈值的实体归为同一实体；

步骤5-4，将归类后的实体以及关系导入Neo4j平台(将实体整合为entity.csv文件，将关系整合为relationship.csv文件)，构建完整的知识图谱。

在一个实施例中，提供了一种面向第三方库依赖的知识图谱构建系统，所述系统包括：

第一信息采集模块，用于采集若干应用程序项目，从中提取所依赖的第三方库；

第二信息采集模块，爬取所述第三方库的漏洞报告；

第一提取模块，用于从所述漏洞报告中提取实体；

第二提取模块，从所述漏洞报告中抽取关系；

知识图谱构建模块，用于对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

进一步地，在其中一个实施例中，所述知识图谱构建模块包括：

第一相似度计算单元，用于利用编辑距离算法计算两两实体的相似度，计算公式为：

式中，sim1为利用编辑距离算法计算的两两实体之间的相似度值，distance表示一个实体字符串更改为另一个实体字符串所需的单字符编辑的最少步骤，所述单字符编辑包括插入、删除或替换，str1.length、str2.length分别为两个实体字符串的长度；

第二相似度计算单元，用于利用Jaccrad算法计算两两实体的相似度，计算公式为：

式中，sim2为利用Jaccrad算法计算的两两实体之间的相似度值，A、B分别为两个实体；

对齐单元，用于求取sim1与sim2的平均值，将均值大于预设阈值的实体归为同一实体；

知识图谱构建单元，用于将归类后的实体以及关系导入Neo4j平台，构建完整的知识图谱。

关于面向第三方库依赖的知识图谱构建系统的具体限定可以参见上文中对于面向第三方库依赖的知识图谱构建方法的限定，在此不再赘述。上述面向第三方库依赖的知识图谱构建系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

步骤1，采集若干应用程序项目，从中提取所依赖的第三方库；

步骤2，爬取所述第三方库的漏洞报告；

步骤3，从所述漏洞报告中提取实体；

步骤4，从所述漏洞报告中抽取关系；

步骤5，对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

关于每一步的具体限定可以参见上文中对于面向第三方库依赖的知识图谱构建方法的限定，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

步骤1，采集若干应用程序项目，从中提取所依赖的第三方库；

步骤2，爬取所述第三方库的漏洞报告；

步骤3，从所述漏洞报告中提取实体；

步骤4，从所述漏洞报告中抽取关系；

步骤5，对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

关于每一步的具体限定可以参见上文中对于面向第三方库依赖的知识图谱构建方法的限定，在此不再赘述。

本发明的方法提供了一种能够帮助开发者对第三方库依赖进行全方位漏洞及功能分析的数据语义网络，使用构建知识图谱的方法全方位存储第三方库漏洞、功能等信息，为进一步的对第三方库的功能、风险分析提供结构化数据，使开发人员能快速、准确、高效的掌握第三方库信息，提高开发的效率与质量。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.面向第三方库依赖的知识图谱构建方法，其特征在于，所述方法包括以下步骤：

步骤1，采集若干应用程序项目，从中提取所依赖的第三方库；

步骤2，爬取所述第三方库的漏洞报告；

步骤3，从所述漏洞报告中提取实体；

步骤4，从所述漏洞报告中抽取关系；

步骤5，对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

2.根据权利要求1所述的面向第三方库依赖的知识图谱构建方法，其特征在于，步骤3中所述实体包括两类：一类包括第三方库、开发商以及作用对象，另一类包括漏洞、危害对象。

3.根据权利要求1或2所述的面向第三方库依赖的知识图谱构建方法，其特征在于，步骤3所述从所述漏洞报告中提取实体，具体为利用NLTK自然语言处理工具提取实体，具体过程包括：

步骤3-1，对所述漏洞报告文本进行句子分割；

步骤3-2，对所述句子进行分词以及词性标注；

步骤3-3，进行命名实体识别，提取实体。

4.根据权利要求1或2所述的面向第三方库依赖的知识图谱构建方法，其特征在于，步骤4中所述关系包括R1：存在(第三方库，漏洞)、R2：开发(开发商，第三方库)、R3：作用(第三方库，作用对象)、R4：危害(漏洞，危害对象)。

5.根据权利要求4所述的面向第三方库依赖的知识图谱构建方法，其特征在于，步骤4所述从所述漏洞报告中抽取关系，具体利用Bootstrapping算法抽取关系。

6.根据权利要求1所述的面向第三方库依赖的知识图谱构建方法，其特征在于，步骤5中所述对所述实体进行对齐，之后结合所述关系构建完整的知识图谱，具体过程包括：

步骤5-1，利用编辑距离算法计算两两实体的相似度，计算公式为：

式中，sim1为相似度，distance表示一个实体字符串更改为另一个实体字符串所需的单字符编辑的最少步骤，所述单字符编辑包括插入、删除或替换，str1.length、str2.length分别为两个实体字符串的长度；

步骤5-2，利用Jaccrad算法计算两两实体的相似度，计算公式为：

式中，sim2为相似度，A、B分别为两个实体；

步骤5-3，求取sim1与sim2的平均值，将均值大于预设阈值的实体归为同一实体；

步骤5-4，将归类后的实体以及关系导入Neo4j平台，构建完整的知识图谱。

7.基于权利要求1至6任意一项所述的面向第三方库依赖的知识图谱构建方法的系统，其特征在于，所述系统包括：

第一信息采集模块，用于采集若干应用程序项目，从中提取所依赖的第三方库；

第二信息采集模块，爬取所述第三方库的漏洞报告；

第一提取模块，用于从所述漏洞报告中提取实体；

第二提取模块，从所述漏洞报告中抽取关系；

知识图谱构建模块，用于对所述实体进行对齐，之后结合所述关系构建完整的知识图谱。

8.根据权利要求7所述所述的面向第三方库依赖的知识图谱构建系统，其特征在于，所述知识图谱构建模块包括：

第一相似度计算单元，用于利用编辑距离算法计算两两实体的相似度，计算公式为：

式中，sim1为利用编辑距离算法计算的两两实体之间的相似度值，distance表示一个实体字符串更改为另一个实体字符串所需的单字符编辑的最少步骤，所述单字符编辑包括插入、删除或替换，str1.length、str2.length分别为两个实体字符串的长度；

第二相似度计算单元，用于利用Jaccrad算法计算两两实体的相似度，计算公式为：

式中，sim2为利用Jaccrad算法计算的两两实体之间的相似度值，A、B分别为两个实体；

对齐单元，用于求取sim1与sim2的平均值，将均值大于预设阈值的实体归为同一实体；

知识图谱构建单元，用于将归类后的实体以及关系导入Neo4j平台，构建完整的知识图谱。

Images