CN116545740B - 一种基于大数据的威胁行为分析方法及服务器 - Google Patents

Abstract

本发明实施例公开了一种基于大数据的威胁行为分析方法及服务器，方法包括：获取实时威胁事件；将实时威胁事件的各个属性与预先构建的威胁事件知识图谱中的威胁事件的属性进行比对，识别实时威胁事件；其中，构建威胁事件知识图谱的方法包括：搜集威胁事件；根据威胁事件的各个属性构建威胁事件知识图谱。实施本发明实施例提供的方法，通过大数据平台保证大量网络威胁行为数据高效传输与处理。利用知识图谱描述网络威胁行为间的各种关系，并根据网络威胁行为来实时动态更新已有威胁事件知识图谱，实现网络威胁行为的自学习。弥补了传统网络威胁检测方法难以检测未知、复杂的网络威胁行为的技术短板，并提升了检测效率。

Description

一种基于大数据的威胁行为分析方法及服务器

技术领域

本发明涉及计算机软件技术领域，具体涉及一种基于大数据的威胁行为分析方法及服务器。

背景技术

现目前，数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为人们焦点。随着大数据时代的来临，大数据分析也应运而生。然而在大数据分析过程中，为了能够保障业务分析的准确性和可靠性，通常需要对业务的异常行为或者威胁行为进行深度识别，发明人经研究发现，相关威胁行为识别技术过于繁琐，这样一方面会降低识别效率，另一方面会增加服务器的处理压力。

随着网络攻击活动日益猖獗，网络基础设施与重要信息系统面临着严峻的安全挑战。传统的网络威胁检测识别系统，如入侵检测系统，主要使用关系型数据库进行建模分析，但表与表的关系复杂、不直观，不能表达出清晰的网络攻击路径。当前，网络攻击行为日新月异，网络威胁行为也趋于复杂化，传统的检测方式，例如特征码检测、opcode检测、虚拟执行法等只能对已知的威胁进行检测，不能检测出未知、复杂的网络威胁行为，检测速度慢、资源消耗，严重影响了系统的性能。

发明内容

有鉴于此，本发明实施例提供了一种基于大数据的威胁行为分析方法及服务器。

为实现上述目的，第一方面，本发明实施例提供了一种基于大数据的威胁行为分析方法，应用于大数据分析服务器，所述方法包括：

获取实时威胁事件；

将所述实时威胁事件的各个属性与预先构建的威胁事件知识图谱中的威胁事件的属性进行比对，识别所述实时威胁事件；其中，构建所述威胁事件知识图谱的方法包括：

搜集威胁事件；

根据威胁事件的各个属性构建所述威胁事件知识图谱。

进一步，所述搜集威胁事件，包括：

搜集网络中各个终端节点上的防火墙探针发送的威胁事件；

将所述威胁事件发送到大数据平台进行预处理。

进一步，所述大数据平台由Flume系统、Kafka系统和Storm系统构成；

将所述威胁事件发送到大数据平台进行预处理，包括：

所述Flume系统提供接口搜集已授权的终端节点上的网络威胁事件，将所述网络威胁事件提交给所述Kafka系统进行缓冲处理，随后产生与消费速率相匹配的事件流发往Storm系统，由所述Storm系统产生威胁事件数据流。

进一步，所述根据威胁事件的各个属性构建所述威胁事件知识图谱，包括：

从所述威胁事件数据流中提取威胁事件的属性；

根据所述威胁事件属性构建所述威胁事件知识图谱。

进一步，所述威胁事件的属性包括源IP、目的IP、攻击路径和攻击结果。

进一步，所述方法还包括：

将所述实时威胁事件的信息进行可视化展示。

进一步，所述方法还包括：

对所述实时威胁事件进行学习，并对所述威胁事件知识图谱进行扩充。

进一步，对所述实时威胁事件进行学习，并对所述威胁事件知识图谱进行扩充，包括：

若所述实时威胁事件为已知威胁事件，沿事件路径将所述实时威胁事件的节点事件与威胁事件知识图谱中的节点事件进行匹配；

将所述实时威胁事件中无法匹配的节点事件传输到数据持久层供知识图谱学习。

进一步，若所述实时威胁事件为未知威胁事件，根据攻击结果检索攻击路径；

计算各个攻击路径中属于相同路径的概率；

将概率大于设定的阈值的攻击路径构建到威胁事件知识图谱中。

第二方面，本发明实施例还提供了一种大数据分析服务器，包括：存储器和处理器；所述存储器和所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；其中，当所述处理器执行所述计算机指令时，使得所述大数据分析服务器执行如第一方面所述的方法。

实施本发明实施例提供的方法，通过大数据平台保证大量网络威胁行为数据高效传输与处理。利用知识图谱描述网络威胁行为间的各种关系，并根据网络威胁行为来实时动态更新已有威胁事件知识图谱，实现网络威胁行为的自学习。

通过自学习、自生成的知识图谱和实时更新的自适应网络威胁行为检测方法，弥补了传统网络威胁检测方法难以检测未知、复杂的网络威胁行为的技术短板，并提升了检测效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于大数据的威胁行为分析方法的流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，在本文中，采用了诸如S1、S2等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S2后执行S1等，但这些均应在本申请的保护范围之内。

图1示出了本发明实施例提供的基于大数据的威胁行为分析方法的流程示意图，该基于大数据的威胁行为分析方法可以通过大数据分析服务器实现，大数据分析服务器可以包括存储器和处理器；所述存储器和所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；其中，当所述处理器执行所述计算机指令时，使得所述大数据分析服务器执行如下步骤所描述的技术方案。

具体的，该基于大数据的威胁行为分析方法包括以下步骤：

步骤101：获取实时威胁事件。

步骤102：将所述实时威胁事件的各个属性与预先构建的威胁事件知识图谱中的威胁事件的属性进行比对，识别所述实时威胁事件。

具体的，构建所述威胁事件知识图谱的方法包括：

步骤1021：搜集威胁事件。

具体的，包括：

搜集网络中各个终端节点上的防火墙探针发送的威胁事件；

将所述威胁事件发送到大数据平台进行预处理。

具体的，所述大数据平台由Flume系统、Kafka系统和Storm系统构成；

将所述威胁事件发送到大数据平台进行预处理，包括：

所述Flume系统提供接口搜集已授权的终端节点上的网络威胁事件，将所述网络威胁事件提交给所述Kafka系统进行缓冲处理，随后产生与消费速率相匹配的事件流发往Storm系统，由所述Storm系统产生威胁事件数据流。

Flume平台从所管理的计算机集群防火墙和监控软件中获取访问数据，作为生产者，将数据发送给消息队列处理系统Kafka；Kafka作为中间缓冲区，解决生产消费速率不匹配问题；Storm则充当消费者实时地处理数据，产生实时的数据流传输给威胁识别模块。该大数据平台在终端防火墙部署，作为数据源，防火墙上记录有计算机与外界的各种访问记录，这些往来记录作为系统的数据。

从事件源获取数据后，Flume、Kafka和Storm三个大数据平台各自独立运行，通过事件流的顺序连接形成整体的大数据处理平台。每个Flume源从数据源中不断地获取数据，得到数据后将威胁事件的数据暂时存储在管道中，在汇聚点中将数据分为单条的基本单位事件发向缓冲区Kafka集群中。

数据流分为许多事件类型，推向缓冲区Kafka后，根据不同的事件类型被分往不同的主题中，并储存在物理内存中。物理内存中以分区作为单位存储，等待Storm平台发送需求数据的请求，再按照请求发送相应规模的数据。传输时每条数据拥有自己的偏移量，并采用相应的机制来保证有序性和传输可靠性。

Storm平台从Kafka中得到消费数据后，其中的组件Nimbus模块则会根据当前系统的繁忙情况和可负载的数据量，将处理信息的任务分给相对空闲的数据处理组件进行处理。

步骤1022：根据威胁事件的各个属性构建所述威胁事件知识图谱。

具体包括：从所述威胁事件数据流中提取威胁事件的属性；根据所述威胁事件属性构建所述威胁事件知识图谱。

本实施例中，所述威胁事件的属性包括源IP、目的IP、攻击路径和攻击结果。生成的威胁事件知识图谱通过Neo4j图数据库存储。

Neo4j的数据存储形式主要是节点(Node)和边(Edge)来组织数据。Node可以代表知识图谱中的实体；Edge可以用来代表实体间的关系，关系可以有方向，两端对应开始节点和结束节点。另外，可以在Node上加一个或多个标签表示实体的分类，以及一个键值对集合来表示该实体除了关系属性之外的一些额外属性。关系也可以附带额外的属性。其使用的存储后端专门为图结构数据的存储和管理进行定制和优化，在图上互相关联的节点在数据库中的物理地址也指向彼此，因此更能发挥出图结构形式数据的优势。

在实际网络环境中，系统采集来自网络中各个终端节点上的防火墙探针发送的网络威胁事件信息，将搜集到的各种网络威胁事件信息发送到Flume+Kafka+Storm构成的大数据平台，然后由大数据平台将网络威胁事件实时地发送至知识图谱学习识别，并通过Neo4j图数据库存储生成的知识图谱，最后将未识别成功的数据传到MySQL关系型数据库。

在初始化阶段，服务器根据威胁事件的各个属性来构建知识图谱；每一个节点表示一个威胁事件；节点之间的连线表示威胁事件之间的路径关系；用Neo4j来储存构建好的知识图谱；用于之后的威胁事件识别。初始化完成后，从数据实时处理模块中获得实时的威胁事件流信息；比对威胁事件的各个属性以此来判断是否为相同事件；借助知识图谱的特性提高威胁事件的识别速度。

进一步，所述方法还包括：

步骤103：将所述实时威胁事件的信息进行可视化展示。

服务器系统调用前端显示模块，将此网络威胁事件的信息实时更新到前端，给用户展示实时的安全情况，查看遭受攻击的数据统计。

进一步，所述方法还包括：

步骤104：对所述实时威胁事件进行学习，并对所述威胁事件知识图谱进行扩充。

具体包括：

步骤1041：若所述实时威胁事件为已知威胁事件，沿事件路径将所述实时威胁事件的节点事件与威胁事件知识图谱中的节点事件进行匹配；

步骤1042：将所述实时威胁事件中无法匹配的节点事件传输到数据持久层供知识图谱学习。

基于知识图谱的网络威胁行为识别，其本质为搜集的威胁事件与知识图谱中的现有事件进行比较。将新的事件与知识图谱内已有的事件进行比较，如果与一个事件的各个属性都匹配上，则认定为2个事件相同，然后将后续威胁事件按照当前节点的路径相连的节点相比较，如此循环直到没有匹配上的，则此时威胁事件就达到了一个场景节点，然后将没有匹配上的事件传输到数据持久层供知识图谱学习。

还包括：

步骤1043：若所述实时威胁事件为未知威胁事件，根据攻击结果检索攻击路径；

步骤1044：计算各个攻击路径中属于相同路径的概率；

步骤1045：将概率大于设定的阈值的攻击路径构建到威胁事件知识图谱中。

对于未能识别的网络威胁，需要通过网络威胁行为学习算法进行学习，并对已有知识图谱进行扩充。当有威胁事件被检测到时，开始判断是否为已知威胁事件，如果为是，则将攻击路径和攻击结果记录到数据持久层；如果为否，则根据攻击结果检索相同的攻击路径并计算相同路径的概率，判断概率是否大于系统设定的阈值，若大于则将此路径构建到网络威胁行为库中。

综上，实施本发明实施例提供的方法，通过大数据平台保证大量网络威胁行为数据高效传输与处理。利用知识图谱描述网络威胁行为间的各种关系，并根据网络威胁行为来实时动态更新已有威胁事件知识图谱，实现网络威胁行为的自学习。

通过自学习、自生成的知识图谱和实时更新的自适应网络威胁行为检测方法，弥补了传统网络威胁检测方法难以检测未知、复杂的网络威胁行为的技术短板，并提升了检测效率。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (5)

1.一种基于大数据的威胁行为分析方法，其特征在于，应用于大数据分析服务器，所述方法包括：

获取实时威胁事件；

将所述实时威胁事件的各个属性与预先构建的威胁事件知识图谱中的威胁事件的属性进行比对，识别所述实时威胁事件；其中，构建所述威胁事件知识图谱的方法包括：

搜集威胁事件；

根据威胁事件的各个属性构建所述威胁事件知识图谱；

所述搜集威胁事件，包括：

搜集网络中各个终端节点上的防火墙探针发送的威胁事件；

将所述威胁事件发送到大数据平台进行预处理；

所述大数据平台由Flume 系统、Kafka 系统和Storm系统构成；

将所述威胁事件发送到大数据平台进行预处理，包括：

所述Flume 系统提供接口搜集已授权的终端节点上的网络威胁事件，将所述网络威胁事件提交给所述Kafka系统进行缓冲处理，随后产生与消费速率相匹配的事件流发往Storm系统，由所述Storm系统产生威胁事件数据流；

威胁事件数据流分为许多事件类型，根据不同的事件类型被分往不同的主题中，并储存在物理内存中，物理内存中以分区作为单位存储，等待Storm系统发送需求数据的请求，Storm系统从Kafka中得到消费数据后，Storm系统的Nimbus组件则会根据当前系统的繁忙情况和可负载的数据量，将处理信息的任务分给相对空闲的数据处理组件进行处理；

对所述实时威胁事件进行学习，并对所述威胁事件知识图谱进行扩充，包括：

若所述实时威胁事件为已知威胁事件，沿事件路径将所述实时威胁事件的节点事件与威胁事件知识图谱中的节点事件进行匹配；

将所述实时威胁事件中无法匹配的节点事件传输到数据持久层供知识图谱学习；

若所述实时威胁事件为未知威胁事件，根据攻击结果检索攻击路径；

计算各个攻击路径中属于相同路径的概率；

将概率大于设定的阈值的攻击路径构建到威胁事件知识图谱中。

2.如权利要求1所述的一种基于大数据的威胁行为分析方法，其特征在于，所述根据威胁事件的各个属性构建所述威胁事件知识图谱，包括：

从所述威胁事件数据流中提取威胁事件的属性；

根据所述威胁事件属性构建所述威胁事件知识图谱。

3.如权利要求2所述的一种基于大数据的威胁行为分析方法，其特征在于，所述威胁事件的属性包括源 IP 、目的 IP、攻击路径和攻击结果。

4.如权利要求1所述的一种基于大数据的威胁行为分析方法，其特征在于，所述方法还包括：

将所述实时威胁事件的信息进行可视化展示。

5.一种大数据分析服务器，其特征在于，包括：存储器和处理器；所述存储器和所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；其中，当所述处理器执行所述计算机指令时，使得所述大数据分析服务器执行如权利要求1-4中任意一项所述的方法。