CN109522373B

CN109522373B - 数据处理方法、装置、电子设备及存储介质

Info

Publication number: CN109522373B
Application number: CN201811559114.4A
Authority: CN
Inventors: 白敏�; 汪列军; 白皓文
Original assignee: Qianxin Technology Group Co Ltd
Current assignee: Qianxin Technology Group Co Ltd
Priority date: 2018-12-21
Filing date: 2018-12-21
Publication date: 2021-11-09
Anticipated expiration: 2038-12-21
Also published as: CN109522373A

Abstract

本发明公开了一种基于威胁情报模型的数据处理方法，应用于数据处理技术领域，包括：获取威胁情报模型内的威胁数据，威胁情报模型内存储有威胁数据和威胁数据之间的数据关系，聚合不同数据源格式的同一威胁数据，根据威胁数据和威胁数据之间的数据关系，建立图关系模型。本发明还公开了一种基于威胁情报模型的数据处理装置、电子设备及存储介质，能够从某个节点溯源到相关威胁信息，以图关联的方式呈现出来。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于威胁情报模型的数据处理方法、装置、电子设备及存储介质。

背景技术

面对日益严峻的网络安全形势，如何及时的有效的处理网络攻击，是各组织和企业关注的核心问题。随着虚拟化和云计算技术的发展，大型数据中心虚拟化程度越来越高，网络边界变得日益模糊。与此同时，高级持续威胁(Advanced Persistent Threat，APT)攻击成为大众关注的焦点，APT攻击还被称作“针对特定目标”的攻击，是一种有组织、有特定目标、持续时间极长的新型攻击。

其中，威胁情报模型将攻击事件相关的威胁数据转化为元特征和元特征之间的属性关系，可展示元特征之间的关联关系。因此，如何将威胁情报模型内的威胁数据进行适当处理，用来分析已经发生的威胁行为和后续可能发生的威胁行为，成为当下企业亟待解决的安全问题。

发明内容

本发明的主要目的在于提供一种基于威胁情报模型的数据处理方法、装置、电子设备及存储介质，能够从某个节点溯源到相关威胁信息，以图关联的方式呈现。

为实现上述目的，本发明实施例第一方面提供一种基于威胁情报模型的数据处理方法，包括：

获取威胁情报模型内的威胁数据，所述威胁情报模型内存储有威胁数据和所述威胁数据之间的数据关系；

聚合不同数据源格式的同一威胁数据；

根据所述威胁数据和所述威胁数据之间的数据关系，建立图关系模型。

本发明实施例第二方面提供一种基于威胁情报模型的数据处理装置，包括：

获取模块，用于获取威胁情报模型内的威胁数据，所述威胁情报模型内存储有威胁数据和所述威胁数据之间的数据关系；

聚合模块，用于聚合不同数据源格式的同一威胁数据；

建立模块，用于根据所述威胁数据和所述威胁数据之间的数据关系，建立图关系模型。

本发明实施例第三方面提供了一种电子设备，包括：

存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本发明实施例第一方面提供的基于威胁情报模型的数据处理方法。

本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的基于威胁情报模型的数据处理方法。

从上述本发明实施例可知，本发明提供的基于威胁情报模型的数据处理方法、装置、电子设备及存储介质，获取威胁情报模型内的威胁数据，威胁情报模型内存储有威胁数据和威胁数据之间的数据关系，聚合不同数据源格式的同一威胁数据，根据威胁数据和威胁数据之间的数据关系，建立图关系模型，能够从某个节点溯源到相关威胁信息，以图关联的方式呈现出来。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的基于威胁情报模型的数据处理方法的流程示意图；

图2为本发明一实施例提供的威胁情报模型的示意图；

图3为本发明一实施例提供的图关系模型的示意图；

图4为本发明另一实施例提供的基于威胁情报模型的数据处理装置的结构示意图；

图5为本发明另一实施例提供的基于威胁情报模型的数据处理装置的又一结构示意图；

图6示出了一种电子设备的硬件结构图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明第一实施例提供的基于威胁情报模型的数据处理方法的流程示意图，该方法可应用于电子设备中，电子设备包括：手机、平板电脑(PortableAndroid Device，PAD)，笔记本电脑以及个人数字助理(Personal Digital Assistant，PDA)等，该方法主要包括以下步骤：

S101、获取威胁情报模型内的威胁数据，威胁情报模型内存储有威胁数据和威胁数据之间的数据关系；

在威胁情报模型中节点Evertices表示威胁数据，连接两个节点的线段Eedges表示两个节点之间的数据关系。

例如，节点Evertices＝{APT Group,Group Alias,IP,Domain,Sample Hash,Machine ID,PDB,Filepath,Mutex,Filename,Malware,String,WhoisRegistor,Email,Created Date}

线段Eedges＝{{APT Group,IP,Attack},{APT Group,Machine ID,Attack},{APTGroup,IP,Use},{APT Group,Domain,Use},{APT Group,Machine ID,Use},{APT Group,Sample Hash,Use},{Group Alias,APT Group,Alias},{IP,Machine ID,Bind},{IP,Domain,Bind},{Whois Registor,Domain,Register},{Email,Domain,Register},{Domain,Created Date,Created at},{Sample Hash,Filename,Use},{Sample Hash,PDB,Contain},{Sample Hash,Filepath,Use},{Sample Hash,Mutex,Use},{Sample Hash,String,Contain},{Sample Hash,Domain,Use},{Sample Hash,Malware,Use},{APTGroup,Malware,Use}}

示例性的，请参阅图2，图2为本发明一实施例提供的威胁情报模型的示意图，图中的节点表示威胁数据，连接两个节点的线段表示该两个节点之间的数据关系。

S102、聚合不同数据源格式的同一威胁数据；

针对同一威胁数据，其数据源格式可能会有多种。例如JSON、CSV等。因此，需要聚合不同数据源格式的同一威胁数据，简化后续数据处理过程，避免因同一威胁数据的不同数据源格式较多造成数据库紊乱，提供良好的多源数据兼容和解析能力。

具体的，对获取的威胁数据进行数据清洗，然后聚合不同数据源格式的同一威胁数据。其中，数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。

进一步地，根据威胁数据的类型，选择存储模型，按照存储模型，将威胁数据和数据关系存储至预设数据库。

具体的，示例性的，当威胁数据的类型为whois时，针对creat_date威胁数据，采用({′value′:′domain′,′type′:′domain′}{′value′:date,′type′:′creat_date′},’at’)存储模型，将威胁数据和数据关系存储至预设数据库。

更多的，存储模型还可诸如{′source′:′apt_group′,′target′:′ip′,′relation′:′attack′}、{′source′:′apt_group′,′target′:′mid′,′relation′:′attack′}等。

S103、根据威胁数据和威胁数据之间的数据关系，建立图关系模型。

具体的，以威胁数据为节点，数据关系为连接线，建立图关系模型。示例性的，请参阅图3，图3为本发明一实施例提供的图关系模型的示意图。图中将节点限制为25个，围绕威胁数据hash，关联出与其相关的23个string和该hash的具体路径信息，其中该23个string均不相同。

可理解的是，当查询该hash时，根据该图可知，与其相关联的所有文件都可能具有威胁。

在本发明实施例中，获取威胁情报模型内的威胁数据，威胁情报模型内存储有威胁数据和威胁数据之间的数据关系，聚合不同数据源格式的同一威胁数据，根据威胁数据和威胁数据之间的数据关系，建立图关系模型，能够从某个节点溯源到相关威胁信息，以图关联的方式呈现出来。

请参阅图4，图4是本发明又一实施例提供的威胁情报模型的数据处理装置的结构示意图，该装置可内置于电子设备中，该装置主要包括：

获取模块201、聚合模块202和建立模块203；

获取模块201，用于获取威胁情报模型内的威胁数据，威胁情报模型内存储有威胁数据和威胁数据之间的数据关系；

聚合模块202，用于聚合不同数据源格式的同一威胁数据；

具体的，聚合模块202具体用于清洗威胁数据，聚合不同数据源格式的同一威胁数据。

建立模块203，用于根据威胁数据和威胁数据之间的数据关系，建立图关系模型。

具体的，建立模块203具体用于以威胁数据为节点，数据关系为连接线，建立图关系模型。

进一步的，请参阅图5，该装置还包括：

选择模块204，用于根据威胁数据的类型，选择存储模型；

存储模块205，用于按照存储模型，将威胁数据和数据关系存储至预设数据库。

请参见图6，图6示出了一种电子设备的硬件结构图。

本实施例中所描述的电子设备，包括：

存储器31、处理器32及存储在存储器31上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1～图2所示实施例中描述的基于威胁情报模型的数据处理方法。

进一步地，该电子设备还包括：

至少一个输入设备33；至少一个输出设备34。

上述存储器31、处理器32输入设备33和输出设备34通过总线45连接。

其中，输入设备33具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备34具体可为显示屏。

存储器31可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器31用于存储一组可执行程序代码，处理器32与存储器31耦合。

进一步地，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的终端中，该计算机可读存储介质可以是前述图6所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的基于威胁情报模型的数据处理方法。进一步地，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的多个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的基于威胁情报模型的数据处理方法、装置、电子设备及存储介质的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于威胁情报模型的数据处理方法，其特征在于，包括：

获取威胁情报模型内的威胁数据，所述威胁情报模型内存储有威胁数据和所述威胁数据之间的数据关系；所述数据关系包括以下至少一种：Attack，Alias，Bind，Register，Created at，Use，Contain，其中，在威胁情报模型中节点表示威胁数据，连接两个节点的线段表示两个节点之间的数据关系；

聚合不同数据源格式的同一威胁数据；

根据所述威胁数据和所述威胁数据之间的数据关系，以所述威胁数据为节点，所述数据关系为连接线，建立图关系模型，以根据所述图关系模型从某个节点溯源到相关威胁信息，并以图关联的方式呈现出来；

其中，所述聚合不同数据源格式的同一威胁数据包括：

清洗所述威胁数据，聚合不同数据源格式的同一威胁数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述聚合不同数据源格式的同一威胁数据之后，包括：

根据所述威胁数据的类型，选择存储模型；

按照所述存储模型，将所述威胁数据和所述数据关系存储至预设数据库。

3.一种基于威胁情报模型的数据处理装置，其特征在于，包括：

获取模块，用于获取威胁情报模型内的威胁数据，所述威胁情报模型内存储有威胁数据和所述威胁数据之间的数据关系，所述数据关系包括以下至少一种：Attack，Alias，Bind，Register，Created at，Use，Contain，其中，在威胁情报模型中节点表示威胁数据，连接两个节点的线段表示两个节点之间的数据关系；

聚合模块，用于聚合不同数据源格式的同一威胁数据；

建立模块，用于根据所述威胁数据和所述威胁数据之间的数据关系，以所述威胁数据为节点，所述数据关系为连接线，建立图关系模型；

其中，所述聚合模块具体用于清洗所述威胁数据，聚合不同数据源格式的同一威胁数据。

4.根据权利要求3所述的数据处理装置，其特征在于，所述装置还包括：

选择模块，用于根据所述威胁数据的类型，选择存储模型；

存储模块，用于按照所述存储模型，将所述威胁数据和所述数据关系存储至预设数据库。

5.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至2中的任一项所述的基于威胁情报模型的数据处理方法中的各个步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至2中的任一项所述的基于威胁情报模型的数据处理方法中的各个步骤。