CN113239358A - 基于知识图谱的开源软件漏洞挖掘方法 - Google Patents

Abstract

本发明提供基于知识图谱的开源软件漏洞挖掘方法，将知识表示学习与图卷积神经网络相结合，给开源项目提供漏洞发现与预测工具，从而保证开源项目组件调用的安全性。首先，本发明通过开源软件领域知识本体构建知识图谱，实体类包括了项目、依赖库、项目版本、漏洞ID，缺陷ID等。然后分析了将图模型方法应用于软件漏洞领域知识实体可行性，为软件漏洞挖掘提供理论基础。最后提出知识表示学习与图卷积神经网络相结合的方法，将项目中实体信息、结构性特征等历史数据信息作为训练数据训练图卷积神经网络的模型，用于软件漏洞的发现与预测。为提高模型的训练效率，使用知识表示学习模型嵌入实体的结构性特征，从而更高效、精确地发掘出项目漏洞信息。

Description

基于知识图谱的开源软件漏洞挖掘方法

技术领域

本发明涉及属于群智化软件开发技术领域，特别是涉及基于知识图谱的开源软件漏洞挖掘方法。

背景技术

传统的漏洞挖掘方法主要目标是检测其源代码、可执行代码是否存在有可能被利用的缺陷。基于源代码的漏洞挖掘通常基于词法分析、语法分析、语义分析等进一步分析数据流、控制流、控制流，由于低扩展性、高误报率和高漏报率等问题的存在，无法满足复杂软件的安全性分析需求。随着人工智能产业的兴起，大量机器学习方法被尝试用于解决软件漏洞挖掘问题，为解决传统软件漏洞挖掘的瓶颈提供了新思路。向量是机器学习模型的输入，所以需要将多源数据转换成能够蕴含漏洞特征的表示形式，而常见的表示形式有代码度量、Token度量、抽象语法树等。

图模型是一种更为抽象复杂的表示形式，图的顶点之间是多对多的关系，并且不具备明确的层次划分。因此，基于图的漏洞挖掘研究可以提供代码、项目等的结构信息，包含了更加丰富的语法、语义特征，对结构性数据有很好的预测能力。通过同时考虑代码的结构、控制流和依赖关系许多漏洞才能被充分发现。但是由于图的生成过程复杂、开销大，该类的时间算法复杂度与空间复杂度往往会非常高，如果从具体的代码等微观角度对软件漏洞进行分析，时间空间上的复杂度通常难以让人接受。

知识图谱通常由许多有独立意义的节点和边组成，节点用于表示实体，诸如软件项目id、漏洞id或任何用户定义的实体类型，而边用于表示两个不同实体之间的关系。节点和边都具有各种属性来描述内部的特征，例如，CVE 类型节点的ID、名称、发布日期、对应的CWE ID等。许多开源项目中通过使用公共库等行为减少开发成本，但这种行为会导致潜在漏洞的多次传播，指数数量级的开源项目直接或间接受到漏洞的影响。从整体上来说，项目、组件等实体往往被视为依赖方，他们之间关系转换为有向边。然后，漏洞传播分析问题变成有向图上相关路径研究的问题，那么根据有向图模型找到受开源项目网络中的漏洞影响的所有关键代码类等是本发明的技术问题之一。基于本文之前构建的开源软件漏洞知识图谱的结构性数据，研究如何将知识图谱中的软件漏洞及其关系嵌入到语义向量空间中，如何利用知识图谱实体和关系的向量表示进行知识获取和推理，实现开源软件的漏洞挖掘是本发明的技术问题之一。

为了挖掘开源软件项目中的漏洞，保证开源软件项目的质量，本发明从项目、组件、错误、缺陷等宏观角度对软件漏洞进行研究，发现现有项目漏洞，再与传统的漏洞挖掘方法结合。因此，本发明开发新的漏洞挖掘方法用于软件项目的漏洞挖掘具有重要的理论意义与实际应用价值。

发明内容

为解决上述问题，本发明提出了基于知识图谱的开源软件漏洞挖掘方法，基于知识表示学习和图卷积网络集合的方法来实现对开源软件项目中的漏洞挖掘。这种方法给出了一种新的漏洞挖掘思路，能够与传统的漏洞挖掘方法进行结合，拥有更好的准确度，对于漏洞扩散分析，组件依赖管理和漏洞关系推断是非常有帮助的。

本发明提供基于知识图谱的开源软件漏洞挖掘方法，具体步骤如下：

(1)开源软件漏洞知识图谱构建；

通过本体模型对CVE、CWE数据库和GitHub上的java项目数据匹配，抽取关系三元组，构建开源软件漏洞知识图谱；

(2)漏洞链接关系发现及预测；

通过分析开源组件漏洞传播问题，将该类漏洞问题转变成有向图问题，漏洞发现和预测可使用图模型的方法解决，使用知识表示学习和图卷积神经网络结合的方式，完成对漏洞的发现和预测。

作为本发明进一步改进，步骤(1)中每个项目有不同版本号，CVE则是针对某一个版本号二发布，并且CVE从属于一个CWE，据此，构建出一个有向图。

作为本发明进一步改进，步骤(1)具体如下：

基于构建的开源软件漏洞知识图谱，将知识图谱中的实体及其关系嵌入到语义向量空间，将数据的结构关联与结构性特征进行向量表示，从而进行知识获取和推理，知识表示学习是依据实体间平移不变性，该方法基本过程是，在同一个特征空间R^k中，头实体的向量表示h与关系的向量表示r之和与尾实体的向量表示t越接近越好，即h+r＝t。为了增强知识表示的区分能力，使用来最大间隔法来优化了目标函数；

每组样本(h，r，t)∈S构造一组负样本(h′，t′，r)∈S′，知识表示学习模型旨在将知识图谱中的三元组数据嵌入到低纬向量空间，同时保留数据结构特征，使用BGD梯度下降法对数据进行训练，防止模型在训练样本中的过拟合，基于训练好的知识表示模型，使用连接预测任务实现对开源软件漏洞发现与预测，连接预测本质是补全一个三元组(h，r，t),其中h(t)缺失或不确定，那么从已有的历史数组中进行预测，一个项目中使用某些带有缺陷的组件，那么通过特定的使用方式，组件缺陷会被继承和扩大，使用知识表示学习的方法可完成对缺陷的组件的预测；

知识表示学习是具有可解释的性的，但也是具有局限的，针对一对多或者多对一等多关系问题中，该方法做链接预测的效果不佳，无法用简单的矢量运算来解决；

如果一个项目版本存在多个漏洞或不存在已知漏洞，知识表示学习模型都只会得到运算最接近的一个漏洞结果，显然与主观不符，这类关系不能保证实体的平移不变性，因此依赖向量运算的链接预测结果准确率和回召率较差，因此，图卷积神经网络中对于每个实体，从它自身和相邻实体处获取特征信息，经过训练后，使得每个节点都能蕴含周围节点的特征，图卷积神经网络层次之间传播采用的函数如下：

其中，

是A加上单位矩阵I，

是

度矩阵。H^(l)是第l层的特征，σ是非线性激活函数；

将知识表示学习模型的嵌入向量作为图卷积神经网络的输入，假设使用 average()函数，那么对所有的节点进行同样的操作后，将这些计算得到的平均值输入到神经网络中，实际操作中，使用比average()函数更复杂的聚合函数，最后针对带标签的样本计算交叉熵，loss函数如下：

通过图卷积神经网络训练出的模型，再解决多关系问题上具有很好的效果，基于此模型，对给定使用了组件的开源项目的相关信息，给以判断是否存在漏洞，并给出最相关的漏洞报告信息进行提示，即可以完成对开源项目的漏洞发现和预测，开发者可以针对具体的漏洞问题进行解决。

本发明通过深入分析开源软件生态系统中的项目特点和依赖关系，从知识表示学习和图卷积网络集合的方法来实现对开源软件项目中的漏洞挖掘。具体而言，本发明主要包括一系列流程。首先是开源软件漏洞知识图谱构建，为了全面分析漏洞，需要集成多种信息来源并将其链接在一起。本发明通过构建CVE本体、CWE本体、Github本体、Maven本体，将不同类型的本体以及相关的属性和关系被映射到图数据库中的内置节点，属性和关系中。接着，开源组件漏洞传播分析，本文将开源组件漏洞传播问题转变成有向图进行分析，通过分析漏洞传播的路径，以充分讨论在多个开源项目中通过多次调用传播的漏洞的行为。采用广度优先的算法、短路径优先算法搜索可能存在的漏洞组件。此外，使用以最少的阻塞操作完成目标项目的漏洞修复。最后采用知识表示学习和图卷积神经网络相结合的方法，用于实现开源软件漏洞的发现与预测等任务。并使用获取的现实数据应用与三元组分类，链接预测等任务对本文提出的方法进行验证。本发明提出的方法基于本体模型的开源软件漏洞知识图谱构建方法用于开源软件漏洞发现与预测等任务，此外，本发明提出的方法能在大规模的开源软件漏洞发现与预测取得更好的准确度和效率。

附图说明

图1 基于知识图谱的开源软件漏洞挖掘技术路线图；

图2 软件项目本体示意图；

图3 GCN图卷积神经网络示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明要解决的技术问题是提供基于知识图谱的开源软件漏洞挖掘方法，基于知识表示学习和图卷积网络集合的方法来实现对开源软件项目中的漏洞挖掘。这种方法给出了一种新的漏洞挖掘思路，能够与传统的漏洞挖掘方法进行结合，拥有更好的准确度，对于漏洞扩散分析，组件依赖管理和漏洞关系推断是非常有帮助的。

开源软件的漏洞挖掘主要任务是检测项目的源代码、可执行代码是否存在有可能被利用的缺陷。根据组件重用、库依赖关系、版本升级、历史缺陷记录等抽取出实体与关系以构建知识图谱，从而能够基于知识图谱为软件项目开发提供漏洞发现及预测的工具，整体实施过程如图1所示。

本发明的主要流程包括以下几个方面：

(1)开源软件漏洞知识图谱构建

由于目前主流的开源项目有不同开发环境、不同项目背景、开发者们基于不同的方式参与软件开发，因此，需要从现有开源平台抽取项目知识，补全漏洞、组件、代码类等实体之间的可追溯性链接以形成统一的知识库。以 Github中使用maven的Java项目数据作为本发明的示例，结合CVE、CWE 中提供了一系列通用的软件安全漏洞及历史数据，建立本体模型如图2所示，从项目中抽取实体关系三元组数据。每个项目有不同版本号，CVE则是针对某一个版本号二发布，并且CVE从属于一个CWE，据此，可以构建出一个有向图。众多开源项目中通过多次传播或调用的漏洞的行为，直接或间接影响的其他项目。从整体上来讲，项目、组件等实体往往被视为依赖方，他们之间关系转换可以转换为图模型中的有向边，漏洞传播分析问题变成有向图上相关路径研究的问题，即可以应用知识图谱领域的方法解决该类问题。

(2)漏洞链接关系发现及预测

解决一个项目组件漏洞的主要方法是通过升级和替换两种方式，但是发现和预测是解决项目漏洞前提。基于构建的开源软件漏洞知识图谱，将知识图谱中的实体及其关系嵌入到语义向量空间，将数据的结构关联与结构性特征进行向量表示，从而进行知识获取和推理。知识表示学习是依据实体间平移不变性，该方法基本过程是，在同一个特征空间R^k中，头实体的向量表示 h与关系的向量表示r之和与尾实体的向量表示t越接近越好，即h+r＝t。为了增强知识表示的区分能力，使用来最大间隔法来优化了目标函数

每组样本(h，r，t)∈S构造一组负样本(h′，t′，r)∈S′。知识表示学习模型旨在将知识图谱中的三元组数据嵌入到低纬向量空间，同时保留数据结构特征，使用BGD梯度下降法对数据进行训练，防止模型在训练样本中的过拟合。基于训练好的知识表示模型，可以使用连接预测任务实现对开源软件漏洞发现与预测，连接预测本质是补全一个三元组(h，r，t),其中h(t)缺失或不确定，那么可以从已有的历史数组中进行预测。一个项目中使用某些带有缺陷的组件，那么通过特定的使用方式，组件缺陷会被继承和扩大，使用知识表示学习的方法可完成对缺陷的组件的预测。

知识表示学习是具有可解释的性的，但也是具有局限的，针对一对多或者多对一等多关系问题中，该方法做链接预测的效果不佳，无法用简单的矢量运算来解决。例如，如果一个项目版本存在多个漏洞或不存在已知漏洞，知识表示学习模型都只会得到运算最接近的一个漏洞结果，显然与主观不符，这类关系不能保证实体的平移不变性，因此依赖向量运算的链接预测结果准确率和回召率较差。因此，图卷积神经网络中对于每个实体，从它自身和相邻实体处获取特征信息，经过训练后，使得每个节点都能蕴含周围节点的特征，如图3所示。图卷积神经网络层次之间传播采用的函数如下：

其中，

是A加上单位矩阵I，

是

度矩阵。H^(l)是第l层的特征，σ是非线性激活函数。

将知识表示学习模型的嵌入向量作为图卷积神经网络的输入，假设使用 average()函数，那么对所有的节点进行同样的操作后，将这些计算得到的平均值输入到神经网络中，实际操作中，可以使用比average()函数更复杂的聚合函数。最后针对带标签的样本计算交叉熵，loss函数如下：

通过图卷积神经网络训练出的模型，再解决多关系问题上具有很好的效果。基于此模型，对给定使用了组件的开源项目的相关信息，给以判断是否存在漏洞，并给出最相关的漏洞报告信息进行提示，即可以完成对开源项目的漏洞发现和预测。开发者可以针对具体的漏洞问题进行解决。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (3)

1.基于知识图谱的开源软件漏洞挖掘方法，具体步骤如下，其特征在于：

(1)开源软件漏洞知识图谱构建；

通过本体模型对CVE、CWE数据库和GitHub上的java项目数据匹配，抽取关系三元组，构建开源软件漏洞知识图谱；

(2)漏洞链接关系发现及预测；

通过分析开源组件漏洞传播问题，将该类漏洞问题转变成有向图问题，漏洞发现和预测可使用图模型的方法解决，使用知识表示学习和图卷积神经网络结合的方式，完成对漏洞的发现和预测。

2.根据权利要求1所述的基于知识图谱的开源软件漏洞挖掘方法，其特征在于：步骤(1)中每个项目有不同版本号，CVE则是针对某一个版本号二发布，并且CVE从属于一个CWE，据此，构建出一个有向图。

3.根据权利要求1所述的基于知识图谱的开源软件漏洞挖掘方法，其特征在于：步骤(1)具体如下：

基于构建的开源软件漏洞知识图谱，将知识图谱中的实体及其关系嵌入到语义向量空间，将数据的结构关联与结构性特征进行向量表示，从而进行知识获取和推理，知识表示学习是依据实体间平移不变性，该方法基本过程是，在同一个特征空间R^k中，头实体的向量表示h与关系的向量表示r之和与尾实体的向量表示t越接近越好，即h+r＝t。为了增强知识表示的区分能力，使用来最大间隔法来优化了目标函数；

每组样本(h，r，t)∈S构造一组负样本(h′，t′，r)∈S′，知识表示学习模型旨在将知识图谱中的三元组数据嵌入到低纬向量空间，同时保留数据结构特征，使用BGD梯度下降法对数据进行训练，防止模型在训练样本中的过拟合，基于训练好的知识表示模型，使用连接预测任务实现对开源软件漏洞发现与预测，连接预测本质是补全一个三元组(h，r，t)，其中h(t)缺失或不确定，那么从已有的历史数组中进行预测，一个项目中使用某些带有缺陷的组件，那么通过特定的使用方式，组件缺陷会被继承和扩大，使用知识表示学习的方法可完成对缺陷的组件的预测；

知识表示学习是具有可解释的性的，但也是具有局限的，针对一对多或者多对一等多关系问题中，该方法做链接预测的效果不佳，无法用简单的矢量运算来解决；

如果一个项目版本存在多个漏洞或不存在已知漏洞，知识表示学习模型都只会得到运算最接近的一个漏洞结果，显然与主观不符，这类关系不能保证实体的平移不变性，因此依赖向量运算的链接预测结果准确率和回召率较差，因此，图卷积神经网络中对于每个实体，从它自身和相邻实体处获取特征信息，经过训练后，使得每个节点都能蕴含周围节点的特征，图卷积神经网络层次之间传播采用的函数如下：

其中，

是A加上单位矩阵I，

是

度矩阵。H^(l)是第l层的特征，σ是非线性激活函数；

将知识表示学习模型的嵌入向量作为图卷积神经网络的输入，假设使用average函数，那么对所有的节点进行同样的操作后，将这些计算得到的平均值输入到神经网络中，实际操作中，使用比average函数更复杂的聚合函数，最后针对带标签的样本计算交叉熵，loss函数如下：

通过图卷积神经网络训练出的模型，再解决多关系问题上具有很好的效果，基于此模型，对给定使用了组件的开源项目的相关信息，给以判断是否存在漏洞，并给出最相关的漏洞报告信息进行提示，即可以完成对开源项目的漏洞发现和预测，开发者可以针对具体的漏洞问题进行解决。

Images