CN117081810A - 开源威胁情报的可靠性评估方法及系统 - Google Patents

Abstract

本发明提供了一种开源威胁情报的可靠性评估方法及系统，涉及威胁情报可靠性评估技术领域，其中，方法包括：从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射；基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；根据不确定性网络安全知识图谱预测每个实体、关系或属性的置信度，从而对网络威胁情报知识图谱进行可靠性评估。本发明考虑了情报来源的差异，在开源情报信息语义维度之上又建立了一个来源维度，帮助网络安全知识图谱跟踪情报来源，增强该领域知识图谱的可信度。

Description

开源威胁情报的可靠性评估方法及系统

技术领域

本文件涉及威胁情报可靠性评估技术领域，尤其涉及一种开源威胁情报的可靠性评估方法及系统。

背景技术

近年来，高级持续性威胁即APT日益猖獗，APT攻击手段复杂，远远超出了一般网络攻击的范畴，除了攻击技术本身，还可能会使用社会工程学、情报学等综合手段。而发布虚假的威胁情报，也成为了手段之一，Priyank等人提出与评估了使用基于Transformer的技术自动生成虚假的威胁情报描述。这类虚假的威胁情报可能造成巨大的损害，误导安全团队，使他们做出错误的决策，从而导致系统遭受攻击或数据泄露。同时随着深度学习技术在网络安全领域的应用越来越广泛，虚假的威胁情报甚至可以能会对网络防御的模型实现模型投毒的效果，使用虚假威胁情报训练得到的防御模型将失效或者被针对性绕过。

即使排除故意伪造威胁情报的因素，开源威胁情报本身也来源复杂，缺乏统一的撰写格式、撰写者掌握的资源以及技术水平不同、传播过程中的误差等问题，可信度也存在的差异。为此网络安全从业者也采取了一些措施，用来降低威胁情报可靠性不足的问题。

面对海量多源非结构化的开源威胁情报，在传统文件管理、数据库管理的基础上，专业人员虽然会对情报的信息来源、准确度进行确认，但是这一类工作普遍依靠大量人工参与，成本居高不下，进展缓慢，同时又会受专业人员技术能力和工作状态限制。情报的收集与确认往往会被分成互相独立的两个步骤，再确认情报来源时还需要重新溯源到原本情报的出处，造成大量的。被的虽然提出了使用自然语言和知识图谱技术，建立情报知识库。但是研究聚焦于对开源非结构情报本身语义上面的解析，希望能自动抽取情报的信息，构建语义三元组，最终填入设计好的模式结构之中，实现对网络情报知识图谱的自动化构建。

但这类研究忽略了情报本身的可靠性差异，造成的结果是，要么为了控制知识图谱录入信息的质量，采用大量的人为干预。对信息进行严格的审核，这种方式虽然得到知识图谱内容的质量比较高，但是由于繁重的人为操作，让基于自然语言技术的自动化构建的工作近乎失效，最终还是回到了人工分析的方法上面；或者来了获取情报的数量和广度，牺牲知识图谱内信息的质量，进而造成基于知识图谱的知识推理等算法的可靠性如滚雪球一般进一步下降，使得当前网络安全知识图谱在实际工业应用中落地困难。

发明内容

本发明提供了一种开源威胁情报的可靠性评估方法及系统，旨在解决上述问题。

本发明提供了一种开源威胁情报的可靠性评估方法，包括：

S1、从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射；

S2、基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；

S3、根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；

S4、根据不确定性网络安全知识图谱预测每个实体、关系或属性的置信度，从而对网络威胁情报知识图谱进行可靠性评估。

本发明提供了一种开源威胁情报的可靠性评估系统，包括：

信息收集模块，用于从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射；

知识图谱本体构建模块，基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；

不确定知识图谱构建模块，用于根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；

可靠性评估模块，用于根据不确定性网络安全知识图谱预测每个实体、关系或属性的置信度，从而对网络威胁情报知识图谱进行可靠性评估。

通过采用本发明实施例可以帮助企业发现潜在威胁，改善安全决策，并降低安全成本。但是虚假的威胁情报一直困扰着网络安全从业者。如果仅仅使用人工筛查，无异于海里捞针。虽然各大公司和研究机构都提出利用构建统一的网络安全知识图谱，但是并没有完全绕开虚假情报问题，依然无法摆脱沉重的人力消耗。本发明提出的开源威胁情报可靠性评估方法，在融合复杂、多源威胁情报的同时，通过增加情报的来源信息编码，构建不确定性网络安全知识图谱，使用机器学习的方法评估知识图谱三元组的置信度，便于进一步筛选虚假的情报，为后续图谱归因分析结果提供依据。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的开源威胁情报的可靠性评估方法的流程图；

图2为本发明实施例的开源威胁情报的可靠性评估系统的示意图；

图3为本发明实施例的知识图谱的本体关系荷结构的示意图；

图4为本发明实施例的新增来源信息与信息映射的示意图；

图5为本发明实施例的在实体层面和关系层面评估置信度的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

方法实施例

根据本发明实施例，提供了一种开源威胁情报的可靠性评估方法，图1为本发明实施例的开源威胁情报的可靠性评估方法的流程图，根据图1所示，本发明实施例的开源威胁情报的可靠性评估方法具体包括；

S1、从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射；

开源威胁情报收集是指从公开的网络资源中，获取、整理和分析与威胁情报相关的信息，包括恶意软件、攻击组织、漏洞利用等。我们需要收集来自多方的数据进行分析，利用爬虫技术，通过HTTP请求获取安全公司情报发布页的网页内容，或者从一些社交网络，然后从中提取所需的威胁情报信息，如IP地址、域名、恶意软件样本等。使用Python编写脚本，自动化利用威胁情报平台提供的API或者RSS订阅从安全媒体和博客获取威胁情报信息，并将以上方式得到的威胁情报存储到NoSQL数据库中。

S2、基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；

基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型。使用OWL(Web Ontology Language)作为本体模型的表述语言。我们使用STIX2.1和UCO3.0标准来定义实体和属性，并使用本体描述语言来描述本体结构，其本体的关系和结构如图3所示。

S3、根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；

本发明实施例为了评估开源威胁情报的可靠性，在获取情报的同时，会将这个情报分配唯一的id，并同时将情报获取类型、URL、作者、引用出处等信息同时入库。事实上会得到了与原有网络安全知识图谱平行的来源图谱。将以上来源信息编码后，可以参与到后续知识图谱置信度的计算工作中，图4为本发明实施例的新增来源信息与信息映射的示意图。

S4、根据不确定性网络安全知识图谱预测每个实体、关系或属性的置信度，从而对网络威胁情报知识图谱进行可靠性评估。

本发明实施例创造性的将不确定性知识图谱引入网络安全领域，并根据开源威胁情报领域的现状，定制特有的策略。例如，将来自不同的类型的情报，设置不同的可信度参数值，对于来自于官方或者安全公司发布的情报，这个参数值就比较高，而从社交网络上爬取的情报，这个参数值设置的比较低。

我们使用了KGTtm模型，计算知识图谱三元组的置信度，针对网络安全知识图谱的特点，修改KGTtm模型的设计，度量实体层面和关系层面的置信度，如图5所示为本发明实施例的在实体层面和关系层面评估置信度的示意图。

在实体层面，即考虑实体之间是否存在关系，KGTtm模型提出了ResourceRank算法，该算法的核心思想是如果头实体h到某尾实体t有较强的关联，则将有更多的资源从头实体流向尾实体，故而通过度量聚合到尾实体t的资源数量，就能评估关联的强弱。

ResourceRank算法具体包括三个步骤：

1.构建一个以头实体h为中心的有向图；2.迭代运算图中的资源流直到其收敛，并计算尾实体t的资源保留值；3.综合其他特征并输出(h,？,t)的可能性。

在关系层面，则是为了分析特定关系是否会在头尾实体h，t之间发生。在知识图谱中，应该尽量满足头实体+关系与尾实体尽量接近，故而关系是头尾实体的转换。所以在关系层面分析的算法应该在获取实体或关系向量表示的基础上，使用sigmoid函数计算头实体+关系与尾实体的概率。词嵌入技术word2vec的提出开启了万物皆可嵌入的时代，是深度学习发展的重要里程碑，受此启发，我们使用头尾实体词向量距离以及关系的低维嵌入表示，建立学习模型，预测候选关系类别发生的概率，使用softmax函数平滑输出概率估计结果。

在完成置信度计算后，对于两个威胁情报id关联的相重合的实体，可以通过启发式方法，设定合理的置信度阈值，采纳可信的三元组，完成知识图谱的融合。对于对信息精度要求更高的关键，可以对置信度较低的节点进行折叠，溯源查证的需求或者有新的相关威胁情报入库时，才会在调用这些边和节点。既保证信息的完整性，又保证日常使用的运行效率。

通过采用本发明实施例，具备如下有益效果：

1、面对海量异构开源威胁情报，当前研究多聚焦在如何抽取信息，以及如何利用抽取得到的信息构建网络安全知识图谱，往往忽略情报本身的可靠性。本发明充分考虑了情报获得来源的差异，智能对官方报告这类可靠信息与网络论坛贴等不可靠情报做出区分，避免为了数据可靠直接丢弃信息的问题。

2、本发明基于传统网络安全知识图谱的基础，在开源情报信息语义维度之上又建立了一个来源维度，使用情报实体、情报地址、发布组织，发布时间等信息，帮助网络安全知识图谱能够更好的追踪情报数据的来源。相当于网络安全知识图谱的基础上建立了一个来源图谱，对情报可靠度进行分析。

3、本发明创造性的将不确定性知识图谱的概念引入网络安全知识图谱构建与分析过程中，给出实现算法，并能够分析处理多源异构的威胁情报，帮助网络安全知识图谱跟踪情报来源，增强该领域知识图谱的可信度做出一定的工作。

系统实施例

根据本发明实施例，提供了一种开源威胁情报的可靠性评估系统，图2为本发明实施例的开源威胁情报的可靠性评估系统的示意图，根据图2所示，本发明实施例的开源威胁情报的可靠性评估系统具体包括；

信息收集模块20，用于从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射，信息收集模块20具体用于：

利用爬虫技术获取安全公司情报发布页的网页内容获取威胁情报信息；

从社交网络中提取威胁情报信息；

使用Python编写脚本，利用威胁情报平台提供的API或者RSS订阅从安全媒体和博客获取威胁情报信息；

并将以上方式得到的威胁情报信息存储到数据库中。

在获取开源威胁情报时，分配唯一的id，并同时将开源威胁情报都情报获取类型、URL、作者、引用出处同时存储到数据库中。

知识图谱本体构建模块22，基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；

不确定知识图谱构建模块24，用于根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；

不确定知识图谱构建模块24具体包括：

可信度子模块，用于根据开源威胁情报的来源信息设置可信度参数值；

置信度子模块，用于在实体层面和关系层面计算知识图谱三元组的置信度。

置信度子模块具体用于：在实体层面，即考虑实体之间是否存在关系。KGTtm模型提出了ResourceRank算法。该算法的核心思想是如果头实体h到某尾实体t有较强的关联，则将有更多的资源从头实体流向尾实体，故而通过度量聚合到尾实体t的资源数量，就能评估关联的强弱。

ResourceRank算法具体包括三个步骤：

1.构建一个以头实体h为中心的有向图；2.迭代运算图中的资源流直到其收敛，并计算尾实体t的资源保留值；3.综合其他特征并输出(h,？,t)的可能性。

在关系层面，则是为了分析特定关系是否会在头尾实体h，t之间发生。在知识图谱中，应该尽量满足头实体+关系与尾实体尽量接近，故而关系是头尾实体的转换。所以在关系层面分析的算法应该在获取实体或关系向量表示的基础上，使用sigmoid函数计算头实体+关系与尾实体的概率。词嵌入技术word2vec的提出开启了万物皆可嵌入的时代，是深度学习发展的重要里程碑，受此启发，我们使用头尾实体词向量距离以及关系的低维嵌入表示，建立学习模型，预测候选关系类别发生的概率，使用softmax函数平滑输出概率估计结果。

完成置信度计算后，对于两个威胁情报id关联的相重合的实体，可以通过启发式方法，设定合理的置信度阈值，采纳可信的三元组，完成知识图谱的融合。对于对信息精度要求更高的关键，可以对置信度较低的节点进行折叠，溯源查证的需求或者有新的相关威胁情报入库时，才会在调用这些边和节点。既保证信息的完整性，又保证日常使用的运行效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种开源威胁情报的可靠性评估方法，其特征在于，包括：

S1、从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射；

S2、基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；

S3、根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；

S4、根据不确定性网络安全知识图谱预测每个实体、关系或属性的置信度，从而对网络威胁情报知识图谱进行可靠性评估。

2.根据权利要求1所述的方法，其特征在于，所述从公开网络资源中进行开源威胁情报的收集具体包括：

利用爬虫技术获取安全公司情报发布页的网页内容获取威胁情报信息；

从社交网络中提取威胁情报信息；

使用Python编写脚本，利用威胁情报平台提供的API或者RSS订阅从安全媒体和博客获取威胁情报信息；

并将以上方式得到的威胁情报信息存储到数据库中。

3.根据权利要求1所述的方法，其特征在于，所述所收集都开源威胁情报新增来源信息与信息映射具体包括：

在获取开源威胁情报时，分配唯一的id，并同时将开源威胁情报都情报获取类型、URL、作者、引用出处同时存储到数据库中。

4.根据权利要求1所述的方法，其特征在于，所述S3具体包括：

根据所述开源威胁情报的来源信息设置可信度参数值；

在实体层面和关系层面计算知识图谱三元组的置信度。

5.根据权利要求4所述的方法，其特征在于，所述在实体层面和关系层面计算知识图谱三元组的置信度具体包括：

在实体层面通过ResourceRank算法通过度量聚合到尾实体t的资源数量，就能评估关联的强弱；

在关系层面使用头尾实体词向量距离以及关系的低维嵌入表示，建立学习模型，预测候选关系类别发生的概率，使用softmax函数平滑输出概率估计结果。

6.一种开源威胁情报的可靠性评估系统，其特征在于，包括：

信息收集模块，用于从公开网络资源中进行开源威胁情报的收集，为所收集的开源威胁情报新增来源信息与信息映射；

知识图谱本体构建模块，基于用于描述网络威胁情报的STIX和UCO标准，构建知识图谱本体模型；

不确定知识图谱构建模块，用于根据收集的开源威胁情报以及来源信息与信息映射基于知识图谱本体模型构建不确定性网络安全知识图谱；

可靠性评估模块，用于根据不确定性网络安全知识图谱预测每个实体、关系或属性的置信度，从而对网络威胁情报知识图谱进行可靠性评估。

7.根据权利要求6所述的系统，其特征在于，所述信息收集模块具体用于：

利用爬虫技术获取安全公司情报发布页的网页内容获取威胁情报信息；

从社交网络中提取威胁情报信息；

使用Python编写脚本，利用威胁情报平台提供的API或者RSS订阅从安全媒体和博客获取威胁情报信息；

并将以上方式得到的威胁情报信息存储到数据库中。

8.根据权利要求6所述的系统，其特征在于，所述信息收集模块中进一步用于：

在获取开源威胁情报时，分配唯一的id，并同时将开源威胁情报都情报获取类型、URL、作者、引用出处同时存储到数据库中。

9.根据权利要求6所述的系统，其特征在于，所述不确定知识图谱构建模块具体包括：

可信度子模块，用于根据所述开源威胁情报的来源信息设置可信度参数值；

置信度子模块，用于在实体层面和关系层面计算知识图谱三元组的置信度。

10.根据权利要求9所述的系统，其特征在于，所述置信度子模块具体用于：

在实体层面通过ResourceRank算法通过度量聚合到尾实体t的资源数量，就能评估关联的强弱；

在关系层面使用头尾实体词向量距离以及关系的低维嵌入表示，建立学习模型，预测候选关系类别发生的概率，使用softmax函数平滑输出概率估计结果。