CN109299174B

CN109299174B - 一种多源情报数据聚合处理方法及装置

Info

Publication number: CN109299174B
Application number: CN201811054466.4A
Authority: CN
Inventors: 白敏�; 陈杰; 汪列军; 韩志立
Original assignee: Qianxin Technology Group Co Ltd
Current assignee: Qianxin Technology Group Co Ltd
Priority date: 2018-09-11
Filing date: 2018-09-11
Publication date: 2021-02-19
Anticipated expiration: 2038-09-11
Also published as: CN109299174A

Abstract

本发明实施例公开了一种多源情报数据聚合处理方法及装置，方法包括：获取若干个第三方的情报源数据，将获取到的情报源数据作为多源情报数据；根据参数映射格式对多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；将目标情报数据存入情报数据库，以实现多源情报数据的聚合。通过获取第三方的情报源数据作为多源情报数据，能够获取大量的情报数据，作为后续处理的基础；通过参数映射格式进行映射，能够得到符合数据聚合标准的目标情报数据；通过将目标情报数据存入情报数据库，能够实现多源情报数据的聚合，降低数据聚合成本，方便后续对大量情报数据进行数据汇总和信息展示，有效防范安全攻击，为数据安全提供全面的威胁检测能力。

Description

一种多源情报数据聚合处理方法及装置

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种多源情报数据聚合处理方法及装置。

背景技术

随着计算机技术和网络应用的迅速发展，网络信息数据量越来越大，每天社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生巨量数据；另一方面，随着互联网的不断发展，信息安全攻击的方式已经转变为“精准化的定向攻击”。这些攻击行为在攻击之前都会对攻击对象进行精确的信息收集，主动挖掘被攻击对象的相关漏洞，然后择机对目标对象进行攻击。

因此，如何在攻击发生之前，对情报数据进行有效聚合，成为当下企业非常重视的安全问题。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种多源情报数据聚合处理方法及装置。

第一方面，本发明实施例提出一种多源情报数据聚合处理方法，包括：

获取若干个第三方的情报源数据，将获取到的情报源数据作为多源情报数据；

根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；

将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合。

可选地，所述根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据之前，还包括：

若判断获知所述多源情报数据的统一资源定位符URL不符合预设要求，则根据预设格式对所述多源情报数据进行预处理，得到归一化后的情报数据。

可选地，所述将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合，具体包括：

根据数据类型将所述目标情报数据存入对应的情报数据库，以实现多源情报数据的聚合；

其中，数据类型包括：IP情报、文件情报和失陷检测情报，对应地，情报数据库包括IP情报数据库、文件情报数据库和失陷检测情报数据库。

采用反向代理方式将所述目标情报数据存入情报数据库，并将所述多源情报数据存入本地数据库，以实现多源情报数据的聚合。

可选地，所述将所述多源情报数据存入本地数据库，具体包括：

若判断获知所述多源情报数据有更新，则定期将所述多源情报数据缓存至本地数据库。

可选地，所述方法还包括：

根据所述参数映射格式中各参数的权重，计算所述情报数据库中的目标情报数据的可信度评分。

可选地，所述方法还包括：

根据统计需求和/或展示需求对所述情报数据库中的目标情报数据进行统计和/或展示。

可选地，所述参数映射格式中的信息包括：参数位置、参数类型、是否必填和默认值。

第二方面，本发明实施例还提出一种多源情报数据聚合处理装置，包括：

数据获取模块，用于获取若干个第三方的情报源数据，将获取到的情报源数据作为多源情报数据；

数据映射模块，用于根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；

数据存储模块，用于将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合。

可选地，所述装置还包括：

预处理模块，用于若判断获知所述多源情报数据的统一资源定位符URL不符合预设要求，则根据预设格式对所述多源情报数据进行预处理，得到归一化后的情报数据。

可选地，所述数据存储模块具体用于：

可选地，所述装置还包括：

数据评分模块，用于根据所述参数映射格式中各参数的权重，计算所述情报数据库中的目标情报数据的可信度评分。

可选地，所述装置还包括：

数据展示模块，用于根据统计需求和/或展示需求对所述情报数据库中的目标情报数据进行统计和/或展示。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过获取第三方的情报源数据作为多源情报数据，能够获取大量的情报数据，作为后续处理的基础；通过参数映射格式对多源情报数据进行映射，能够得到符合数据聚合标准的目标情报数据；通过将目标情报数据存入情报数据库，能够实现多源情报数据的聚合，降低数据聚合成本，方便后续直接对大量情报数据进行数据汇总和信息展示，有效防范安全攻击，为数据安全提供全面的威胁检测能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种多源情报数据聚合处理方法的流程示意图；

图2为本发明一实施例提供的一种多源情报数据的聚合架构示意图；

图3为本发明一实施例提供的一种多源情报数据聚合处理装置的结构示意图；

图4为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种多源情报数据聚合处理方法的流程示意图，包括：

S101、获取若干个第三方的情报源数据，将获取到的情报源数据作为多源情报数据。

其中，所述第三方的情报源数据是指多个第三方情报源提供的数据。

S102、根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据。

其中，所述参数映射格式中的信息包括：参数位置、参数类型、是否必填和默认值。

举例来说，由于不同的第三方的情报源数据的格式相差较大，为了方便后续的数据统计，将第三方的情报源数据的格式按照参数映射格式进行重新整理，形成符合数据聚合标准的字段信息，即对所述多源情报数据进行映射。

S103、将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合。

其中，所述情报数据库是用于存储聚合后的情报数据的数据库。

本实施例通过获取第三方的情报源数据作为多源情报数据，能够获取大量的情报数据，作为后续处理的基础；通过参数映射格式对多源情报数据进行映射，能够得到符合数据聚合标准的目标情报数据；通过将目标情报数据存入情报数据库，能够实现多源情报数据的聚合，降低数据聚合成本，方便后续直接对大量情报数据进行数据汇总和信息展示，有效防范安全攻击，为数据安全提供全面的威胁检测能力。

进一步地，在上述方法实施例的基础上，S102之前，还包括：

S1012、若判断获知所述多源情报数据的统一资源定位符URL不符合预设要求，则根据预设格式对所述多源情报数据进行预处理，得到归一化后的情报数据。

具体地，因第三方的情报源数据的URL以及数据源类型不同，因此可以采用汇聚和转发两种类型进行处理：对于URL重定向的参数，不需要处理参数，直接对数据进行转发即可；对于其它数据，需要在数据映射之前，对数据进行清洗和格式归一化处理。

一般来说，数据的归一化操作遵循STIX(Structured Threat InformationeXpression，用于交换网络威胁情报的语言和序列化格式)数据入库，并将归一化处理后的数据存入情报数据库，方便后续对数据进行Key-value方式的存储及提供查询接口。

通过重定向及汇聚两种方式将不同数据源数据进行聚合，提供丰富的数据接口，解决多个数据源的发现和分发，同时提高数据聚合的效率和性能，为情报数据的共享提供方便。

进一步地，在上述方法实施例的基础上，S103具体包括：

根据数据类型将所述目标情报数据存入对应的情报数据库，以实现多源情报数据的聚合。

进一步地，在上述方法实施例的基础上，S103具体包括：

更进一步地，所述将所述多源情报数据存入本地数据库，具体包括：

具体地，可以采用Nginx反向代理方式，将多源情报数据配置入库，同时将查询到的第三方数据源存储至本地，并提供缓存方式，当第三方数据源更新时，本地缓存定期更新。

进一步地，在上述方法实施例的基础上，所述方法还包括：

S104、根据所述参数映射格式中各参数的权重，计算所述情报数据库中的目标情报数据的可信度评分。

需要说明的是，权重可以进行调整，若对各类威胁情报查询结果的可信度打分，可采用游标配置，分级1-10，1为级别最低，10为级别最高；也可对域名、文件、IP信誉为各子类情报查询结果的可信度进行打分。

进一步地，在上述方法实施例的基础上，所述方法还包括：

S105、根据统计需求和/或展示需求对所述情报数据库中的目标情报数据进行统计和/或展示。

具体地，根据处理后的情报数据，将威胁情报各Key的数据进行数据统计，例如主键key的数量、数据入库关联、结构化处理及标记统计等；也可将统一处理后的数据，以统一的接口返回信息格式提供查询和索引，方便在可视化、情报匹配检测等场景中使用。

图2示出了一种多源情报数据的聚合架构示意图，包括情报接入、情报解析、数据关联和数据呈现，其中情报解析可以对数据进行汇聚和参数映射，也可以进行STIX结构化和数据入库关联操作，具体的业务处理流程可以为：多源情报接入、情报解析、情报入库、情报统计和情报展示。通过不同数据源接入，数据解析、入库等处理达到数据聚合。通过此架构体系，将多源情报数据聚合汇总后提供给前端查询使用，降低数据聚合成本，方便在大量情报中做数据汇总和情报展示，为安全设备提供全面的威胁检测能力。

图3示出了本实施例提供的一种多源情报数据聚合处理装置的结构示意图，所述装置包括：数据获取模块301、数据映射模块302和数据存储模块303，其中：

所述数据获取模块301用于获取若干个第三方的情报源数据，将获取到的情报源数据作为多源情报数据；

所述数据映射模块302用于根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；

所述数据存储模块303用于将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合。

具体地，所述数据获取模块301获取若干个第三方的情报源数据，将获取到的情报源数据作为多源情报数据；所述数据映射模块302根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；所述数据存储模块303将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合。

进一步地，在上述装置实施例的基础上，所述装置还包括：

进一步地，在上述装置实施例的基础上，所述数据存储模块303具体用于：

进一步地，在上述装置实施例的基础上，所述装置还包括：

进一步地，在上述装置实施例的基础上，所述参数映射格式中的信息包括：参数位置、参数类型、是否必填和默认值。

本实施例所述的多源情报数据聚合处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图4，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；

其中，

所述处理器401和存储器402通过所述总线403完成相互间的通信；

所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种多源情报数据聚合处理方法，其特征在于，包括：

若判断获知所述多源情报数据的统一资源定位符URL不符合预设要求，则根据预设格式对所述多源情报数据进行预处理，得到归一化后的情报数据；其中，所述预处理包括：对于URL重定向的参数，直接对多源情报数据进行转发；对于其它多源情报数据，进行清洗和格式归一化处理；

根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；其中，所述参数映射格式中的信息包括：参数位置、参数类型、是否必填和默认值；

2.根据权利要求1所述的方法，其特征在于，所述将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合，具体包括：

其中，数据类型包括：IP情报、文件情报和失陷检测情报，对应地，情报数据库包括IP情报数据库、文件情报数据库和失陷检测情报库。

3.根据权利要求1所述的方法，其特征在于，所述将所述目标情报数据存入情报数据库，以实现多源情报数据的聚合，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述多源情报数据存入本地数据库，具体包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种多源情报数据聚合处理装置，其特征在于，包括：

预处理模块，用于若判断获知所述多源情报数据的统一资源定位符URL不符合预设要求，则根据预设格式对所述多源情报数据进行预处理，得到归一化后的情报数据；其中，所述预处理包括：对于URL重定向的参数，直接对多源情报数据进行转发；对于其它多源情报数据，进行清洗和格式归一化处理；

数据映射模块，用于根据参数映射格式对所述多源情报数据进行映射，得到符合数据聚合标准的目标情报数据；其中，所述参数映射格式中的信息包括：参数位置、参数类型、是否必填和默认值；

8.根据权利要求7所述的装置，其特征在于，所述数据存储模块具体用于：

9.根据权利要求7所述的装置，其特征在于，所述数据存储模块具体用于：

10.根据权利要求9所述的装置，其特征在于，所述数据存储模块具体用于：

11.根据权利要求7所述的装置，其特征在于，所述装置还包括：

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。

14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至6任一所述的方法。