CN113343231A - 一种基于集中管控的威胁情报的数据采集系统 - Google Patents

Abstract

一种基于集中管控的威胁情报的数据采集系统，其特征在于，集中管控共享威胁情报，所述系统，所述数据采集，包括OSINT源、数据采集模块、实时数据模块、IoC标准化模块、去重模块、IoC聚合模块、IoC数据库和cIoC数据库，所述去重模块，消除冗余的IoC，所述IoC聚合模块，聚合不同但相关的IoC，并生成新的IoC。这个过程包括识别包含相关信息的IoC，将它们聚合到同一个集合中，然后将这些信息合并到单个IoC中，创建一个新的IoC，简称之为复合IoC（cIoC），这些新的IoC存储在数据库中，供威胁情报共享使用。通过本发明，威胁情报能够自动地采集和清洗，实现积极的安全防御措施。

Description

一种基于集中管控的威胁情报的数据采集系统

技术领域

本发明涉及网络安全、SOC（Security operation center）、信息共享、网络事件处理和网络事件报告的技术领域，尤其涉及到一种基于集中管控的威胁情报的数据采集系统。

背景技术

在过去几年中，网络攻击的数量和影响急剧增加，这些安全威胁造成了很大的伤害。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。

当前，各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行。日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化和全天候的安全防御体系。企业的网络及信息系统都不同程度地部署了各种不同的集中管控的设备，并对网络威胁情报进行投资，实时跟踪各种网络威胁情报和实时检测关键基础设施的各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营，更有效地提高劳动生产率和降低运营成本。

基于集中管控采集网络威胁情报，并对所采集的威胁情报信息进行清洗、聚合、关联和评估等一系列操作，将目前的被动安全防御转向积极的安全防御，提供面临风险的早期预警，并加快发现攻击时的反应时间。获取网络威胁情报的一种途径是通过OSINT（OpenSource Intelligence 开放情报）采集信息，其信息表示形式为IoC（Indicators ofCompromise 入侵指标）。

最新的研究证明，可从OSINT源数据中获得有用的信息和IoC，例如，从社交网络（例如，推特Twitter）获取有用和早期的安全信息。然而，大多数原始的OSINT源数据所提供的威胁信息几乎没有处理，因此在生成有用的高质量数据方面存在限制，需要丰富IoC以形式高质量的威胁情报。另一方面，还存在如下问题：

1、浏览各种新闻提要对于任何安全分析师来说都是一项耗时的任务；

2、安全分析师不一定能找到与他们监管的IT关键基础设施相关的新闻；

3、如何变为真正有价值的威胁情报等。

发明内容

为了解决上述技术问题，本发明提供了一种基于集中管控的威胁情报的数据采集系统，采集来自不同的OSINT源数据和企业关键基础设施的数据，并能够加以清洗和汇总。

一种基于集中管控的威胁情报的数据采集系统，其特征在于，集中管控共享威胁情报，所述系统，所述数据采集，包括OSINT源、数据采集模块、实时数据模块、IoC标准化模块、去重模块、IoC聚合模块、IoC数据库和cIoC数据库；

所述数据采集模块，由多个数据采集子模块所组成，不同的数据采集子模块并行地执行，以及时地采集来自不同源提供的多个OSINT数据，每一个数据采集子模块负责采集一个OSINT源的数据；

所述IoC标准化模块，由于IoC的采集来自不同的OSINT源的不同的数据格式，将其规范化为单一的通用格式，在这个过程之后，它们被存储在一个数据库中；

所述去重模块，从不同的OSINT源接收的IoC可以相同，将接收到的IoC与集中管控数据库中已经存在的IoC进行分析，以识别重复的IoC，并在后续的IoC聚合模块处理之前将其删除，在经过IoC标准化模块处理之后，在存储到数据库中之前，本模块使用一个相似性度量来推断重复的存在，将标准化的IoC与数据库中的IoC相结合，并计算每对复合IoC之间的相似性，当产生的相似性相同于其中的一个，这意味着去重模块发现重复项，然后丢弃它们；

所述IoC聚合模块，聚合不同但相关的IoC，并生成新的IoC。这个过程包括识别包含相关信息的IoC，将它们聚合到同一个集合中，然后将这些信息合并到单个IoC中，创建一个新的IoC，简称之为复合IoC（cIoC），这些新的IoC存储在数据库中，供威胁情报共享使用。

进一步地，所述相似性度量，定义了包含相似性指示符Cs，表示为Cs(A,B)=

min(

)。

本发明的技术效果在于：

在本发明中，提供了一种基于集中管控的威胁情报的数据采集系统，其特征在于，集中管控共享威胁情报，所述系统，所述数据采集，包括OSINT源、数据采集模块、实时数据模块、IoC标准化模块、去重模块、IoC聚合模块、IoC数据库和cIoC数据库，所述去重模块，消除冗余的IoC，所述IoC聚合模块，聚合不同但相关的IoC，并生成新的IoC。这个过程包括识别包含相关信息的IoC，将它们聚合到同一个集合中，然后将这些信息合并到单个IoC中，创建一个新的IoC，简称之为复合IoC（cIoC），这些新的IoC存储在数据库中，供威胁情报共享使用。通过本发明，威胁情报能够自动地采集和清洗，实现积极的安全防御措施。

附图说明

图1是一种基于集中管控的威胁情报的数据采集系统的总体架构的示意图；

图2是一种基于集中管控的威胁情报的数据采集系统的框架示意图；

图3是一种基于集中管控的威胁情报的数据采集系统的创建cIoC示意图。

具体实施方式

下面是根据附图和实例对本发明的进一步详细说明：

一种基于集中管控的威胁情报数据关联分析系统，采集来自不同OSINT的提要提供的安全事件（即IoC）以及关键基础设施的数据。对IoC进行处理和分析，从而产生具有更丰富信息的IoC（即cIoC，被称之为复合IoC，或enr-IoC，被称之为增强IoC）。进一步地，将这些复合IoC与从关键基础设施采集的信息（例如，使用的IP地址、开放端口、使用的协议等）相关联，这些信息通常出现在安全设备（例如，IDS、防火墙、IPS）生成的日志中。cIoC和关键基础设施数据都会进行对比，以确定是否匹配。如果匹配，则表示cIoC携带企业IT关键基础设施设备的潜在威胁数据。例如，一个cIoC指示存在一个影响Windows 10计算机的新漏洞，并且在关键基础设施中检测到运行Windows 10一个活动设备。

所述集中管控，将威胁情报用于企业的IT关键基础设施范围内的入侵和威胁检测中。

所述IoC，是一些取证数据，例如在系统日志条目或文件中发现的数据，这些数据可识别系统或网络上的潜在恶意活动，可用于检测数据泄露、恶意软件感染或其他威胁活动。

所述cIoC，被称之为复合IoC，是有关同一威胁的OSINT数据的聚合、相互关系和标准化的结果，这些数据从不同源的提要中检索，可以用不同的格式表示。

进一步地，增强IoC，简称为enr-IoC（Enriched Indicator of Compromise），单个enr-IoC详细描述了恶意威胁的特征，或提供了与特定攻击/威胁相关的特定主题的有用信息，为cIoC的增强版本，在cIoC与受监控基础设施相关的静态和实时信息关联后获得。

进一步地，简化IoC，简称为rIoC（Reduced Indicator of Compromise），是相应的充实指标的简化版本。Enr-IoC可能包含大量的信息，不值得可视化，但对于未来的分析和关联任务仍然有用。因此，只有rIoC（从受监控的基础设施的角度来看，只有最相关的信息）才会发送到仪表盘，而enr-IoC将存储在本地，或与第三方的外部实体共享。

图1是一种基于集中管控的威胁情报数据关联分析系统的总体架构的示意图。本申请利用外部的OSINT数据和企业的IT关键基础设施（如防火墙、IDS、IPS）提供的数据，这些数据相互关联以形成enr-IoC。这些丰富的信息可以通过防御机制加以整合，以防止对企业的网络攻击，从而打击网络犯罪。此外，它可以可视化和图形化，以便更好地理解和分析其相互联系和相关数据。它包含三个主要模块，即：（i）输入模块，包括来自不同的OSINT源的IoC生成器，以及聚合威胁相关数据的关键基础设施工具和设备；（ii）分析模块，负责部署启发式分析模块以关联采集内部数据和外部数据；（iii）输出模块，其中包含工具仪表盘，用于可视化生成的丰富信息及其连接，允许将丰富数据导出到此类平台来展示。

所述输入模块，采集不同的OSINT源数据的提要提供的安全事件（即IoC）以及关键基础设施数据，对IoC进行预处理，从而产生具有更多信息的cIoC（即：复合IoC）。

所述分析模块，接收这些复合IoC，并将其与从关键基础设施采集的信息（例如，使用的IP地址、开放端口、正在使用的协议等）相关联，这些信息通常存在于从安全设备（例如，IDS、防火墙）生成的日志中。cIoC和关键基础设施数据都进行了对比，以确定是否存在匹配。在这种情况下，启发式模块将增加匹配cIoC的威胁得分，这表明cIoC为政府和企业部门设备携带潜在威胁数据。例如，如果cIoC表示影响Windows 10计算机的新漏洞，并且在运行Windows 10的目标关键基础设施中检测到至少一个活动设备，则此特定cIoC的威胁得分会增加。对这些数据应用启发式分析，得到的IoC可以进一步转换为增强IoC（即：enr-IoC），提供更多关于企业可以将输入信息视为真正的智能的见解。

所述输出模块，可以使用enr-IoC或其简化版本（即：rIoC）进行共享和可视化。

图2是一种基于集中管控的威胁情报的数据采集系统的框架示意图，旨在基于OSINT数据的聚合生成cIoC。所述数据采集，包括OSINT源、数据采集模块、实时数据模块、IoC标准化模块、去重模块、IoC聚合模块、IoC数据库和cIoC数据库。

所述OSINT源，配置了不同类型的关于安全事件（例如，网络攻击、恶意软件域、漏洞攻击、IP黑名单）的OSINT源，这些OSINT源由多个不同的源所提供，例如免费和协作组织。

所述数据采集模块，不同的数据采集模块并行使用，以采集从不同源提供的多个OSINT数据，这些源利用了它们提供的丰富功能。

所述实时数据模块，作为IoC的一种形式，不同的数据采集模块的输出被传输到在集中管控中配置的实时数据模块中。数据采集模块的IoC被视为OSINT提要，但采用IoC格式（例如STIX格式）。

所述IoC标准化模块，由于IoC可能以不同的格式采集（取决于OSINT源采用的格式），因此有必要将其规范化为单一的通用格式（例如，STIX等）。在这个过程之后，它们被存储在一个数据库中，由模块来处理。

所述去重模块，从不同的数据采集模块接收的IoC可以相同或几乎相同。去重模块将接收到的IoC与集中管控数据库中已经存在的IoC进行分析，以识别重复的IoC，并在IoC聚合模块处理之前将其删除。在IoC标准化之后，在存储到数据库中之前，重复数据消除程序使用一个称为“包含的相似性”（contained similarity）的相似性度量来推断重复的存在，将标准化的IoC与数据库中的IoC相结合，并计算每对复合IoC之间的相似性。当产生的相似性相同于其中的一个（例如，在一对IoC中，两个IoC都相同或一个IoC包含在另一个IoC中），这意味着重复数据消除程序发现重复项，然后丢弃它们。

为了消除冗余的IoC，去重模块采用了IoC相似性算法，一种基于集合论的方法。这意味着IoC可以被概念化为一个集合，其元素是它的属性。组成集合的属性是具有两个字段的元组，<IoC的类型, 值>。使用这种表示法时，可以观察到，给定两个不同的IoC的A和B，它们可以表示四种情况中的一种：

情况1：它们是完全不相关的（A∩B=

），在这种情况下，为间断集；

情况2：两个集合中出现一个或多个元素（A∩B

A

B∧B ⊄A），在这种情况下，认为它们是相关的，这表明两个IoC共享某些属性，但在其他属性上有所不同，并且这些集合的合并允许创建一个新的IoC，其中包含有关相同威胁的更多信息；

情况3：一个集合的所有元素都存在于另一个集合中（A∩B

∧(A⊂B˅B⊂A)），在这种情况下，IoC实例A不提供任何附加信息，因为它包含在IoC实例B中，反之亦然；

情况4：两个集合中的所有元素都相等（A=B），在这种情况下，两个IoC是相同的。

情况2是IoC聚合模块工作的基础，而情况3和情况4是重复数据消除模块的典型目标。

为了解决这些情况，本申请采用Jaccard相似性指数来衡量两个集合的相似程度，通过J(A,B）=

获得。结果值在[0,1]范围内。如果值为0或1，则分别为观察情况1和4。否则，可以观察到情况2或3，即，两个集合（即IoC）共享元素，但不相同。但是，相似性指数没有区分这两种情况，因此无法确定两个IoC是属于感兴趣的集合（情况2）还是其中一个将被删除（情况3）。

为了区分这两种情况并识别重复的IoC，定义了包含的相似性指示符Cs，表示为Cs(A, B)=

min(

)。Cs允许将两个集合的交集的基数与最小集合的基数进行比较。当Cs的值为1时，表示一个IoC包含在另一个IoC中，或者两个IoC相同（情况3和4）。另一方面，当Cs不等于1时，有情况2。

重复数据消除旨在消除发现的重复IoC。它使用Cs指示符来识别重复的IoC并丢弃它们。然而，如果在属性方面发现两个相同的IoC，它会检查那个包含更有价值数据的IoC和保存它。

重复数据消除在收到IoC标准化模块产生的IoC时开始。它检查IoC是否可以与数据库中已经存在的IoC相关联，方法是验证此IoC的属性（即属性值）是否与数据库中包含的IoC的属性相等。在这种情况下，它获取这些IoC并创建一组相关的IoC。接下来，对于集合中的每个IoC，它与接收到的IoC创建一对，然后计算Cs指示符以确定其值是否为1。如果是这样，则启动删除任务以发现哪些属性包含更相关的信息，从而将这些信息保存在将要保存的IoC中。这取决于每个属性所携带的信息的大小。但是，在存在两个大小相同的IoC的情况下，将评估每个IoC的元数据，以信任级别较高的IoC或最旧的IoC为准（如果它们具有相同的信任级别）。信任级别代表IoC的质量级别，由安全分析师在确定其信息后指定，将其分类为可信或不可信。

所述IoC聚合模块，聚合不同但相关的IoC，并生成新的IoC。这个过程包括识别包含相关信息的IoC，将它们聚合到同一个集合中，然后将这些信息合并到单个IoC中，创建一个新的IoC，简称之为复合IoC（即cIoC）。这些新的IoC存储在数据库中，供威胁情报共享模块使用。

另外，IoC聚合模块必须执行初始过滤，以识别给定上下文中感兴趣的IoC的子集，并消除不带来附加值的IoC，例如IP黑名单。一旦建立了这个子集，模块就开始搜索该子集中存在的不同IoC之间的连接，并将找到的相关IoC聚合在簇中。此任务基于Cs指示符的计算来执行，其中Cs≠1的所有IoC对被认为是相关的，因此被选择用于聚合。接下来，这些IoC被分组在簇中，每个簇代表一个单独的威胁。这个过程的结果是一组簇，其中每个簇都包含相关数据的复合IoC（cIoC）。

考虑到IoC聚合模块的相关性，因为它是OSINT数据采集模块的主要部分，并执行聚合、关联和表示步骤，接下来还要介绍它。IoC聚合模块执行的过程从搜索存储在数据库中的不同IoC之间的关联开始。换句话说，它搜索相似性范围为[0，1]的IoC对，即一对IoC中存在公共（交集）数据。一旦确定了相关性，它就会生成由相关的IoC组成的新IoC。它的功能分为两个步骤：（1）聚合，它通过查询数据库来识别包含相关信息字段的IoC，从而确定相关IoC的集合；（2）表示，对于每个产生的集合，它将不同IoC中包含的信息合并为一个集合，消除重复的属性，并存储新的IoC供以后使用。

为了建立相关性，定义了两种相关方法，即：naïve方法和deepher方法，这两种方法允许识别相关IoC组，从而生成IoC组。然而，在执行任何方法之前，应用初始过滤仅识别遵顺特定规则的IoC，即，通过消除不会带来附加值的事件（例如黑名单IP列表），这允许创建感兴趣的IoC的子集。此筛选器基于模块的先前配置，在该配置中，可以定义要处理的威胁的详细级别，即IoC承载的信息级别。在naïve方法中，只识别直接关联，即复合IoC（即：cIoC）是从中心IoC和与其共享一个或多个属性的所有IoC构建的。这意味着在naive方法中，感兴趣的IoC子集的每个IoC被认为是一个中心的IoC，并且对于它们中的每一个被识别为直接相关。由此产生的复合IoC可以相互重叠。另一方面，deeper方法创建一个包含IoC集合中所有事件的图，其中每个IoC是一个节点，边表示IoC之间的共享属性，并且互连IoC的集合被标识为新的复合IoC（cIoC）的源。

与OSINT的数据采集模块不同，关键基础设施数据采集i模块获取与受监视的关键基础设施相关的信息，这些信息可能导致内部泄露指标（例如哈希、签名、ip、域、url等）。这些信息可以从记录操作系统中发生的事件或通信软件的不同用户之间的消息的系统日志文件中获得。事件日志、系统日志、服务器日志、Web日志和应用程序日志是基础设施输入数据的示例。这些数据可以从各种设备（例如防火墙、IDS、IPS、蜜罐和其他安全传感器）采集，这些设备可以提供系统中恶意活动的指示。

此外，关键基础设施数据采集模块还采集来自关键基础设施（例如，已安装的应用程序、操作系统、威胁参与者、入侵工具、漏洞等）的内部监测设备和操作的信息，这些关键基础设施将与来自外部来源的数据进行对比，以评估其相应的风险级别。这一相互关联过程，即从外部来源收到的信息与使用内部安全工具检测到的与网络安全有关的数据之间的关联过程，被定义为获取相关和可行动的威胁情报的一项关键活动。

具体来说，如果关键基础设施数据采集模块检测到一个运行在Windows XP上的应用程序，而OSINT的数据采集模块最近检测到了该应用程序的某个给定漏洞，则来自这两个源的这些数据之间的关联将指示潜在的攻击场景，威胁得分必须相应地增加。

OSINT的数据采集模块和关键基础设施数据采集模块都是基于集中管控构建的。OSINT的数据采集模块中的去重模块和IoC聚合模块是用诸如python3编程开发的，并集成在集中管控之中。集中管控充当数据采集模块和IoC标准化模块，接收和规范来自不同OSIT源的数据或来自政府和企业组织的关键基础设施（对于关键基础设施数据）的数据，然后分别使用去重模块和IoC聚合模块处理接收到的数据，在单个IoC中消除与同一威胁类别相关联的重复IoC和聚合IoC，生成复合IoC（即：cIoC）。

OSINT的数据采集模块根据两个标准向最终用户提供配置的可能性：（1）集中管控分配的IoC信任级别，例如，级别为2的IoC意味着IoC具有最可靠的信任级别，其信息是相关的；（2） IoC聚合模块将考虑的IoC之间的相互关系类型。这种相互关系既可以基于IoC的整体，也可以基于它们的属性。前者只允许属于相同威胁类别或关键基础设施事件类型的IoC之间的相互关系，而后者允许IoC之间进行更深入的分析和连接，允许生成不同类别的IoC提供的新数据（例如，IoC顺从集中管控的网络分类和漏洞类型）。

OSINT提要分为两类：（1）低级提要，主要由IP地址和URL组成；（2）高级提要，其中包含更高级的分析，包含有关网络构件、活动等信息的信息；提要提示（例如CRIT）。它对数据库执行查询，以识别新条目和其他匹配项，然后将它们合并成新的IoC并将其注入数据库，数据库中标记有一个标签，该标记允许将其标识为丰富的IoC，避免创建循环。

图3是一种基于集中管控的威胁情报的数据采集系统的创建cIoC示意图，例示了由OSINT数据形成的复合IoC（即：CIoC）。在图中，从包含76个元素的IoC开始，能够识别出7个其他IoC，它们来自3个不同的OSINT提要，它们是相关的。这些IoC的合并允许创建一个包含468个元素的新IoC。

无论所提供的源（OSINT或关键基础设施）如何，生成的复合IoC（cIoC）都存储在复合IoC数据库中，该数据库遵循集中管控数据库结构，因为cIoC具有集中管控IoC的相同格式，再加上一些为将cIoC与原始IoC区分开而创建的附加属性。后续模块将对它们进行联合处理，以发现政府和企业组织关键基础设施中的恶意活动。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。

Claims (2)

1.一种基于集中管控的威胁情报的数据采集系统，其特征在于，集中管控共享威胁情报，所述系统，包括OSINT源、数据采集模块、实时数据模块、IoC标准化模块、去重模块、IoC聚合模块、IoC数据库和cIoC数据库；

所述数据采集模块，由多个数据采集子模块所组成，不同的数据采集子模块并行地执行，以及时地采集来自不同源提供的多个OSINT数据，每一个数据采集子模块负责采集一个OSINT源的数据；

所述IoC标准化模块，由于IoC的采集来自不同的OSINT源的不同的数据格式，将其规范化为单一的通用格式，在这个过程之后，它们被存储在一个数据库中；

所述去重模块，从不同的OSINT源接收的IoC可以相同，将接收到的IoC与集中管控数据库中已经存在的IoC进行分析，以识别重复的IoC，并在后续的IoC聚合模块处理之前将其删除，在经过IoC标准化模块处理之后，在存储到数据库中之前，本模块使用一个相似性度量来推断重复的存在，将标准化的IoC与数据库中的IoC相结合，并计算每对复合IoC之间的相似性，当产生的相似性相同于其中的一个，这意味着去重模块发现重复项，然后丢弃它们；

所述IoC聚合模块，聚合不同但相关的IoC，并生成新的IoC，这个过程包括识别包含相关信息的IoC，将它们聚合到同一个集合中，然后将这些信息合并到单个IoC中，创建一个新的IoC，简称之为复合IoC（cIoC），这些新的IoC存储在数据库中，供威胁情报共享使用。

2.如权利要求1所述的一种基于集中管控的威胁情报的数据采集系统，其特征在于，所述相似性度量，定义了包含相似性指示符Cs，表示为Cs(A, B)=

min(

)。

Images