CN113242236B - 一种网络实体威胁图谱构建方法 - Google Patents

Abstract

本发明提出了一种网络实体威胁图谱构建方法，本申请涉及一种威胁图谱构建方法，尤其涉及一种网络实体威胁图谱构建方法，属于网络安全领域。本发明首先，接入采集各类网络安全日志数据并进行规范化处理，然后，对数据中的网络安全实体进行识别并抽取关联关系和使用统计分析、机器学习等方法对网络安全实体进行标签标注；最后，基于网络实体标定结果和标签知识实现网络实体威胁图谱绘制。保提高了安全数据到知识的转换效率，帮助网络安全分析人员更加高效的进行网络安全事件发现和分析，具有较强的实用性和可操作性。解决了现有技术中存在的网络安全分析业务中相关数据组织管理关联性弱、数据表现形式单一的技术问题。

Description

一种网络实体威胁图谱构建方法

技术领域

本申请涉及一种威胁图谱构建方法，尤其涉及一种网络实体威胁图谱构建方法，属于网络安全领域。

背景技术

随着互联网与各行各业深度融合时代的到来及网络空间环境的日益复杂，维护和保障网络安全也面临着前所未有的机遇和挑战，如何利用好网络安全数据来洞察网络安全情况、分析网络安全事件已然成为网络安全保障的关键。然而现有的网络安全数据大都以原始日志的形式进行存储，缺乏数据间的关联性，导致数据间的融合程度降低，无法体现出数据的实际价值。

此外，不法分子发起攻击的手段也越来越隐蔽、高级，网络安全业务分析人员往往需要花费大量的时间、精力来对相关数据进行组织、关联，使得网络安全事件发现和分析将变得复杂。因此，急需从业务出发构建一套互联网实体威胁图谱，对网络空间中的安全实体进行精细化标定，对实体间的关联关系进行深入挖掘，形成支撑网络安全业务分析的知识体系。

因此，亟待一种可以解决网络安全分析业务中相关数据组织管理关联性弱、数据表现形式单一的方法。

发明内容

为解决现有技术中存在的网络安全分析业务中相关数据组织管理关联性弱、数据表现形式单一的技术问题，本发明提供了一种网络安全日志数据的聚合处理方法，提高了安全数据到知识的转换效率，帮助网络安全分析人员更加高效的进行网络安全事件发现和分析，具有较强的实用性和可操作性，弥补了现有技术的不足。

一种网络实体威胁图谱构建方法，包括以下步骤：

S110.接入采集各类网络安全日志数据并进行规范化处理；

S120.对数据中的网络安全实体进行识别并抽取关联关系；

S130.使用统计分析、机器学习等方法对网络安全实体进行标签标注；

S140.基于网络实体标定结果和标签知识实现网络实体威胁图谱绘制。

优选的，步骤S110所述接入采集各类网络安全日志数据并进行规范化处理具体包括以下步骤：

S210.通过实时查询、离线接入等方式获取网络安全日志原始数据；

S220.对多源异构数据进行规范化处理。

优选的，步骤S120所述对数据中的网络安全实体进行识别并抽取关联关系具体包括以下步骤：

S310.针对不同种类的结构化数据预设识别抽取规则；

S320.根据数据种类使用对应的识别抽取接口识别相关实体；

S330.针对不同种类的网络实体进一步的补充对应属性信息；

S340.依据数据类型及标定的实体确定依赖关系，进一步的提取实体间的关联关系。

优选的，步骤S130所述使用统计分析、机器学习等方法对网络安全实体进行标签标注具体包括以下步骤：

S410.根据知识性规则和统计分析规则创建标签模型；

S420.根据原始数据和标定数据训练标签模型；

S430.使用训练好的模型对网络安全实体进行标签标注。

优选的，步骤S120所述网络安全实体具体包括，IP地址、网络域名、样本文件、邮箱地址、网络证书和URL网址；步骤S120所述关联关系具体包括，使用、授权、解析、包含、属于、攻击、利用、发送和接受。

优选的，步骤S130所述的标注网络安全实体具体包括，IP、域名、样本和邮箱；步骤S130所述的网络安全标注的标签具体包括，安全属性标签、主机属性标签、域名属性标签和黑白名单标签。

安全属性标签包括恶意标签和风险标签；所述恶意标签具体包括，归属组织、DDos攻击资源、木马控制端、木马被控端、恶意代码下载源、恶意扫描源和蠕虫传播者，所述风险标签具体包括，恶意代码下载者和被扫描站点；所述主机属性标签具体包括，爬虫和代理IP；所述域名属性标签具体包括，CDN域名和DGA域名。

优选的，步骤S210所述获取原始数据的方式具体包括直连数据库查询、调用API接口获取、对离线数据文件进行读取后获取和采用实时与离线配合的方式获取；

步骤S220所述规范化处理具体包括，数据缺失值的清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗和结构归一化处理；

步骤S220所述规范化处理过程中是通过集群式环境的各个节点并行对数据进行处理后整合为当前种类通用结构的规范化数据集。

优选的，步骤S310所述针对不同种类的结构化数据具体包括漏洞攻击相关日志数据和恶意样本传播相关日志数据；所述漏洞攻击相关日志数据主体为攻击者IP、被攻击者IP和使用的漏洞；所述恶意样本传播相关日志数据主体为样本的MD5值、样本家族、样本类型；

步骤S330所述补充对应属性信息具体包括，安全事件、主机属性、域名信息和归属信息；所述安全事件具体包括，木马僵尸、网站后门、蠕虫传播、恶意代码传播、漏洞测试、仿冒网站、网页篡改和威胁情报；所述主机属性具体包括操作系统、设备属性和端口服务；所述域名信息具体包括，域名解析、IP反向解析和请求黑名单域名；所述归属信息具体包括，地理归属和单位归属；

步骤S340所述提取实体间的关联信息具体包括，使用、授权、解析、挂载、包含、注册、属于、通信、攻击、发送和接收；

步骤S340所述确定依赖关系具体包括，域名解析到IP地址、样本挂载在域名上、域名使用邮箱注册、样本利用了漏洞和证书授权域名。

步骤S420所述根据原始数据和标定数据训练标签模型具体包括，在线online标签模型训练的后台算法和离线offlin标签模型训练的后台算法。

优选的，一种计算机装置，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现一种网络实体威胁图谱构建方法的步骤。

优选的，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种网络实体威胁图谱构建方法。

本发明的有益效果如下：一种网络实体威胁图谱构建方法，该方法从网络安全分析的实际业务场景出发，解决了现有网络安全分析业务中相关数据组织管理关联性弱、数据表现形式单一等问题，提高了安全数据到知识的转换效率，帮助网络安全分析人员更加高效的进行网络安全事件发现和分析，具有较强的实用性和可操作性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明所述的图谱构建方法流程示意图；

图2为本发明所述的图谱构建方法中日志接入及规范化处理的流程示意图；

图3为本发明所述的图谱构建方法中分析提取核心内容的流程示意图；

图4为本发明所述的图谱构建方法中对网络安全实体进行标签标注的流程示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例、参照图1-4，说明本实施例，本实施例的一种网络实体威胁图谱构建方法，包括以下步骤：

步骤110、接入采集各类网络安全日志数据并进行规范化处理；网络日志数据存储形式复杂，本实施例中数据获取的方式主要采用直连数据库获取、API接口获取及离线数据文件获取三种方式。规范化处理主要包括空值数据的处理和结构化不一致的等多种形式的结构规范化操作。具体包括以下步骤：

步骤210，通过实时查询、离线接入的方式获取原始数据。

原始数据的获取方式主要可以包括实时数据获取和离线数据获取两种，其中实时数据获取可以包括直连数据库查询、调用API接口获取等；离线数据获取则主要通过对离线数据文件进行读取后实现。针对特殊情况，可以采用实时与离线配合的方式。

步骤220，对多源异构数据通过清洗、过滤等方式进行规范化处理。

对多源异构数据的规范化处理会将获取到的原始数据进行规范化，包括对数据缺失值的清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗和结构归一化处理等多种方法。处理过程中主要通过集群式环境的各个节点并行对数据进行处理后整合为当前种类通用结构的规范化数据集。

步骤120、对数据中的网络安全实体进行识别并抽取关联关系；其中网络安全实体的识别主要通过对不同种类的数据预设识别抽取规则来完成实体识别，同时根据实体间的依赖判定，提取其中的关联关系。具体包括以下步骤：

步骤310、针对不同种类的结构化数据预设识别抽取规则；不同种类的结构化数据的核心内容会有所差异，日志数据包括漏洞攻击相关日志数据和恶意样本传播相关日志数据；漏洞攻击相关日志数据的主体为攻击者IP、被攻击者IP、使用的漏洞等内容；恶意样本传播相关日志数据的主体为相关日志数据中样本的MD5值、样本家族、样本类型等内容为主体信息。

步骤320、根据数据种类使用对应的识别抽取接口识别相关实体；按照数据种类的不同，需要相关程序调用不同的预设规则接口，接口根据上述的针对不同种类的结构化数据预设识别抽取规则完成对该类型数据的抽取工作，同时完成对数据中网络安全实体的识别标注。

步骤330、针对不同种类的网络实体进一步的补充对应属性信息；获取到数据中的实体后，按照实体类型对相关属性信息进行补充完善，需要补充的属性信息包括实体的安全事件、主机属性、域名信息和归属信息。其中，安全事件包括木马僵尸、网站后门、蠕虫传播、恶意代码传播、漏洞测试、仿冒网站、网页篡改和威胁情报；主机属性包括操作系统、设备属性和端口服务；域名信息包括域名解析、IP反向解析和请求黑名单域名等；归属信息包括地理归属、单位归属。

步骤340、依据数据类型及标定的实体确定依赖关系，进一步的提取实体间的关联关系。

步骤130、使用统计分析、机器学习等方法对网络安全实体进行标签标注；其中可以提取的实体间的关联关系包括使用、授权、解析、挂载、包含、注册、属于、通信、攻击、发送和接收等。依赖关系则在关联关系的基础上确定实体间的主次，例如域名解析到IP地址、样本挂载在域名上、域名使用邮箱注册、样本利用了漏洞和证书授权域名等。

步骤140、基于网络实体标定结果和标签知识实现网络实体威胁图谱绘制；基于网络实体标定结果和标签知识可以对各类实体构建多维度的实体属性知识库，同时对网络中各个实体及实体间的关系进行完整且准确地表达，形成的网络实体威胁图谱。具体包括以下步骤：

步骤410、根据知识性规则和统计分析规则创建标签模型；根据网络安全分析过程中的实际业务需求构建出事件级、实体级等多维度的标签标注体系。同时依据历史业务的知识性规则，结合基本分析、高级分析、各类top等多维度数据统计分析方式，综合考虑网络安全数据量大，性能要求较高等因素，使用决策树和xgboost等深度学习算法构建标签标注模型。

步骤420、根据原始数据和标定数据训练标签模型；标签模型训练的后台算法分为在线online和离线offline两部分。在线online部分使用人工标定的标注数据即时更新模型，主要使用诸如SVM等尽可能快的传统方法；离线offline部分则在当标注数据积累到一定数量时对模型进行更新，主要使用的是准确率较高的深度学习算法。

步骤430、使用训练好的模型对网络安全实体进行标签标注；当模型的准确率达到一定的要求时，则可以使用训练好的模型对现有的网络安全实体进行标注，期间可重复步骤S420以提高标注的准确率。标注内容结合网络实体标定结果实现网络实体威胁图谱绘制。

本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质实施例

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。

所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，在以上实施例中，只要不矛盾的技术方案都能够进行排列组合，本领域技术人员能够根据排列组合的数学知识穷尽所有可能，因此本发明不再对排列组合后的技术方案进行一一说明，但应该理解为排列组合后的技术方案已经被本发明所公开。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。

Claims (7)

1.一种网络实体威胁图谱构建方法，其特征在于，包括以下步骤：

S110. 接入采集各类网络安全日志数据并进行规范化处理，包括以下步骤：

S210. 通过实时查询、离线接入方式获取网络安全日志原始数据，原始数据的获取方式主要包括实时数据获取和离线数据获取两种，其中实时数据获取包括直连数据库查询、调用API接口获取；离线数据获取则主要通过对离线数据文件进行读取后实现或采用实时与离线配合的方式实现；

S220. 对多源异构数据的规范化处理，包括对数据缺失值的清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗和结构归一化处理，通过集群式环境的各个节点并行对数据进行处理后整合为当前种类通用结构的规范化数据集；

S120. 对数据中的网络安全实体进行识别并抽取关联关系，包括以下步骤：

步骤310、针对不同种类的结构化数据预设识别抽取规则；不同种类的结构化数据的核心内容会有所差异，日志数据包括漏洞攻击相关日志数据和恶意样本传播相关日志数据；漏洞攻击相关日志数据的主体为攻击者IP、被攻击者IP、使用的漏洞内容；恶意样本传播相关日志数据的主体为相关日志数据中样本的MD5值、样本家族、样本类型内容为主体信息；

步骤320、根据数据种类使用对应的识别抽取接口识别相关实体；按照数据种类的不同，需要相关程序调用不同的预设规则接口，接口针对不同种类的结构化数据预设识别抽取规则完成对该种 类数据的抽取工作，同时完成对数据中网络安全实体的识别标注；

步骤330、针对不同种类的网络实体进一步的补充对应属性信息；获取到数据中的实体后，按照实体类型对相关属性信息进行补充完善，需要补充的属性信息包括实体的安全事件、主机属性、域名信息和归属信息；

其中，安全事件包括木马僵尸、网站后门、蠕虫传播、恶意代码传播、漏洞测试、仿冒网站、网页篡改和威胁情报；主机属性包括操作系统、设备属性和端口服务；域名信息包括域名解析、IP反向解析和请求黑名单域名；归属信息包括地理归属、单位归属；

步骤340、依据数据类型及标定的实体确定依赖关系，进一步的提取实体间的关联关系；

S130. 使用统计分析、机器学习方法对网络安全实体进行标签标注，具体包括以下步骤：

S410. 根据知识性规则和统计分析规则创建标签模型；

S420. 根据原始数据和标定数据训练标签模型；

S430. 使用训练好的模型对网络安全实体进行标签标注；

S140. 基于网络实体标定结果和标签知识实现网络实体威胁图谱绘制。

2.根据权利要求1所述的方法，其特征在于，步骤S120所述网络安全实体具体包括，IP地址、网络域名、样本文件、邮箱地址、网络证书和URL网址；步骤S120所述关联关系具体包括，使用、授权、解析、包含、属于、攻击、利用、发送和接受。

3.根据权利要求2所述的方法，其特征在于，步骤S130的标注网络安全实体具体包括，IP、域名、样本和邮箱；步骤S130的网络安全标注的标签具体包括，安全属性标签、主机属性标签、域名属性标签和黑白名单标签；

所述安全属性标签包括恶意标签和风险标签；所述恶意标签具体包括，归属组织、DDos攻击资源、木马控制端、木马被控端、恶意代码下载源、恶意扫描源和蠕虫传播者，所述风险标签具体包括，恶意代码下载者和被扫描站点；所述主机属性标签具体包括，爬虫和代理IP；所述域名属性标签具体包括， CDN域名和DGA域名。

4.根据权利要求3所述的方法，其特征在于，

步骤S210获取原始数据的方式具体包括直连数据库查询、调用API接口获取、对离线数据文件进行读取后获取和采用实时与离线配合的方式获取；

步骤S220所述规范化处理具体包括，数据缺失值的清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗和结构归一化处理；

步骤S220所述规范化处理过程中是通过集群式环境的各个节点并行对数据进行处理后整合为当前种类通用结构的规范化数据集。

5.根据权利要求4所述的方法，其特征在于，

步骤S310所述针对不同种类的结构化数据具体包括漏洞攻击相关日志数据和恶意样本传播相关日志数据；所述漏洞攻击相关日志数据主体为攻击者IP、被攻击者IP和使用的漏洞；所述恶意样本传播相关日志数据主体为样本的MD5值、样本家族、样本类型；

步骤S330所述补充对应属性信息具体包括，安全事件、主机属性、域名信息和归属信息；所述安全事件具体包括，木马僵尸、网站后门、蠕虫传播、恶意代码传播、漏洞测试、仿冒网站、网页篡改和威胁情报；所述主机属性具体包括操作系统、设备属性和端口服务；所述域名信息具体包括，域名解析、IP反向解析和请求黑名单域名；所述归属信息具体包括，地理归属和单位归属；

步骤S340所述提取实体间的关联信息具体包括，使用、授权、解析、挂载、包含、注册、属于、通信、攻击、发送和接收；

步骤S340所述确定依赖关系具体包括，域名解析到IP地址、样本挂载在域名上、域名使用邮箱注册、样本利用了漏洞和证书授权域名；

步骤S420所述根据原始数据和标定数据训练标签模型具体包括，在线online标签模型训练的后台算法和离线offline标签模型训练的后台算法。

6.一种计算机装置，其特征在于：包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1至5任一项所述的一种网络实体威胁图谱构建方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至5任一项所述的一种网络实体威胁图谱构建方法。

Images