CN114124586B - 一种网络威胁检测方法及装置 - Google Patents

Abstract

本发明提供的一种网络威胁检测方法及装置，基于流式处理引擎实现网络威胁检测，流式处理引擎包括数据获取算子和分析算子，通过引用数据获取算子获取数据信息；将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。通过流式处理引擎将数据获取算子和分析算子进行关联，可以快速获取数据信息中的网络威胁或网络隐患威胁，对网络威胁或网络隐患威胁进行标记可以明确威胁程度，便于采取恰当的应对措施。

Description

一种网络威胁检测方法及装置

技术领域

本发明涉及网络安全领域，尤其涉及一种网络威胁检测方法及装置。

背景技术

随着现代网络尤其是互联网的不断发展和应用，网络已成为人们生活和工作的一部分。与此同时，来自各个层面的网络威胁也与日俱增，层出不穷。如何从海量的流量日志中发现威胁或者隐患威胁一直是网络安全领域的重点难点问题。

现有的网络威胁检测方法在效率、灵活度和实时性上不能达到一个比较好的效果。

发明内容

本发明提供一种网络威胁检测方法及装置，用以解决现有技术中网络威胁检测方法效率低、灵活性差的缺陷，可以保证高效地检测出网络威胁数据。

第一方面，本发明实施例提供了一种网络威胁检测方法，基于流式处理引擎实现网络威胁检测，所述流式处理引擎包括数据获取算子和分析算子，所述网络威胁检测方法，包括：引用所述数据获取算子获取数据信息；将所述数据信息与所述分析算子进行匹配，得到匹配成功的数据信息；所述匹配成功的数据信息为网络威胁或网络隐患威胁；对所述匹配成功的数据信息进行标记，得到标记的数据信息；所述标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

进一步地，所述流式处理引擎还包括：关联算子，所述方法还包括：基于所述关联算子，将所述标记的数据信息与对应的资产信息进行关联，得到富化的数据信息；所述资产信息包括所述资产所属的行业、所述资产所属的单位以及所述资产的地理位置；将所述富化的数据信息输入数据库中。

进一步地，所述将所述数据信息与预设的分析算子进行匹配，得到匹配成功的数据信息，包括：将所述数据信息与所述分析算子中的分析规则进行匹配，所述分析规则中包含用于表征数据信息为网络威胁或网络隐患威胁的预设字段；确定包含所述分析规则中的预设字段的数据信息为所述匹配成功的数据信息。

进一步地，所述网络威胁检测方法，还包括：所述分析规则发生更新，将所述数据信息与所述分析算子中的更新的分析规则进行匹配；所述更新包括新增、修改或删除。

进一步地，所述流式处理引擎还包括：过滤算子，所述方法还包括：在预设时间段内，若所述网络隐患威胁据的数目为至少两个，且所述网络隐患威胁据相同，基于所述过滤算子，保留所述网络隐患威胁据中的任意一个。

进一步地，所述引用所述数据获取算子获取数据信息之前，还包括：在数据流中提取数据源；对所述数据源进行封装，得到所述数据获取算子。

第二方面，本发明实施例还提供了一种网络威胁检测装置，基于流式处理引擎实现网络威胁检测，所述流式处理引擎包括数据获取算子和分析算子，所述网络威胁检测装置，包括：获取模块，用于引用所述数据获取算子获取数据信息；匹配模块，用于将所述数据信息与所述分析算子进行匹配，得到匹配成功的数据信息；所述匹配成功的数据信息为网络威胁或网络隐患威胁；标记模块，用于对所述匹配成功的数据信息进行标记，得到标记的数据信息；所述标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的网络威胁检测方法的步骤。

第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的网络威胁检测方法的步骤。

第五方面，本发明实施例还提供了一种计算机程序产品，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面所述的网络威胁检测方法的步骤。

本发明提供的一种网络威胁检测方法及装置，基于流式处理引擎实现网络威胁检测，流式处理引擎包括数据获取算子和分析算子，通过引用数据获取算子获取数据信息；将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。通过流式处理引擎将数据获取算子和分析算子进行关联，可以快速获取数据信息中的网络威胁或网络隐患威胁，对网络威胁或网络隐患威胁进行标记可以明确威胁程度，便于采取恰当的应对措施。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种网络威胁检测方法实施例的流程示意图；

图2为本发明提供的获取匹配成功的数据信息的方法实施例的流程示意图；

图3为本发明提供的获取数据获取算子的方法实施例的流程示意图；

图4为本发明提供的另一种网络威胁检测方法实施例的流程示意图；

图5为本发明提供的又一种网络威胁检测方法实施例的流程示意图；

图6为本发明提供的再一种网络威胁检测方法实施例的流程示意图；

图7为本发明提供的一种网络威胁检测装置实施例的结构组成示意图；

图8为本发明提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的一种网络威胁检测方法实施例的流程示意图。该方法基于流式处理引擎实现网络威胁检测，流式处理引擎包括数据获取算子和分析算子。如图1所示，该网络威胁检测方法，包括以下步骤：

S101，引用数据获取算子获取数据信息。

在步骤S101中，流式处理引擎可以是Flink引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，流式计算可以提供诸多更高抽象层的应用程序编程接口（Application Programming Interface，简称API），如DataSetAPI、DataStream API和Table API等，以便用户编写分布式任务。

其中，DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用流式计算提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用户可以方便地对分布式数据流进行各种操作，支持Java和Scala。TableAPI，对结构化数据进行查询操作，将结构化数据抽象成关系表，并通过类SQL的DSL对关系表进行各种查询操作，支持Java和Scala。

数据获取算子可以是kafka算子，或者也可以是clickhouse算子，本发明实施例对此不作限定。

S102，将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁。

在步骤S102中，可以将数据信息与分析算子中的预设字段进行匹配，若数据信息包含预设字段，则可以确定该数据信息为匹配成功的数据信息。匹配成功的数据信息为检测到的不安全的数据信息，即网络威胁和网络隐患威胁。其中，网络威胁为确定影响网络安全的数据，网络隐患威胁为可能影响网络安全的数据。将数据信息与分析算子进行匹配的过程即为通过分析算子检测数据信息中的网络威胁或网络隐患威胁。若数据信息不包含预设的字段，可以认为该数据信息是安全的，不做任何处理。

S103，对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

在步骤S103中，可以根据网络威胁的种类或者网络隐患威胁的种类对匹配成功的数据进行种类标记，比如，网络威胁的种类可以为任意文件读取威胁、代理隧道检测威胁、命令执行威胁、SQL注入威胁、弱口令威胁、未授权文件访问威胁以及Wedshell管理威胁。等级标记表示网络威胁或者网络隐患威胁对网络安全的威胁程度，网络威胁或者网络隐患威胁的等级级数分为三级，分别为一般、中等和重大。网络威胁或者网络隐患威胁的来源可以为对应的数据获取的源头，网络威胁或者网络隐患威胁的标识码可以为会话初始协议（Session initialization Protocol，简称SIP）码，相当于一种身份标识，用于确认网络威胁或者网络隐患威胁。标记的数据信息的形式可以为：数据信息+种类标签+等级标签+来源标签+标识码标签。

本发明实施例提供的网络威胁检测方法，基于流式处理引擎实现网络威胁检测，流式处理引擎包括数据获取算子、分析算子、过滤算子、关联算子之中的至少一种，通过引用数据获取算子获取数据信息；将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。通过流式处理引擎将数据获取算子和分析算子进行关联，可以快速获取数据信息中的网络威胁或网络隐患威胁，对网络威胁或网络隐患威胁进行标记可以明确威胁程度，便于采取恰当的应对措施。

在一些可选的实施例中，流式处理引擎还包括：关联算子，该网络威胁检测方法还包括：基于关联算子，将标记的数据信息与对应的资产信息进行关联，得到富化的数据信息；资产信息包括资产所属的行业、资产所属的单位以及资产的地理位置；将富化的数据信息输入数据库中。

在本发明提供的实施例中，可以根据标记的数据信息的标识码将标记的数据信息与对应的资产信息进行关联。比如，可根据标记的数据信息的SIP码在匹配系统中查询，得到SIP码对应的资产信息，进而得到具有资产信息的标记数据信息，即富化的数据信息。将富化的数据信息输入数据库中进行保存。

本发明提供的实施例，通过将标记的数据信息与对应的资产信息进行关联，以便后续通知到责任单位，协助其解决相关威胁。

图2为本发明提供的获取匹配成功的数据信息的方法实施例的流程示意图。如图2所示，该获取匹配成功的数据信息的方法，可以包括以下步骤：

S201，将数据信息与分析算子中的分析规则进行匹配，分析规则中包含用于表征数据信息为网络威胁或网络隐患威胁的预设字段。

S202，确定包含分析规则中的预设字段的数据信息为匹配成功的数据信息。

在步骤S201和步骤S202中，可以将数据信息与分析算子中的分析规则进行匹配，如果数据信息包含分析规则中的预设字段，确定数据信息为匹配成功的数据信息。分析规则可以包含用于表征数据信息为网络威胁或网络隐患威胁的预设字段，还可以包含攻防人员设置的数据处理逻辑的预设字段。比如，攻防人员提供的数据处理逻辑需要包括特定字段，特定字段必须同时出现，包含特定属性等等，可以通过逻辑关系字段如and、or、或者contain将特定字段和/或特定属性进行连接得到特定语句。每一种网络威胁对应一个分析规则，分析算子可以包括100种以上的分析规则用于区分不同的网络威胁。

本发明提供的获取匹配成功的数据信息的方法，通过将数据信息与预设字段进行匹配。可以快速检测出网络威胁。

在一些可选的实施例中，该网络威胁检测方法还包括：分析规则发生更新，将数据信息与预设的分析算子中的更新的分析规则进行匹配；更新包括新增、修改或删除。

在本发明提供的实施例中，通过将数据信息与更新的规则进行匹配，根据更新的规则对数据信息进行网络威胁检测，可以提升检测的准确性。

在一些可选的实施例中，流式处理引擎还包括：过滤算子，该网络威胁检测方法还包括：在预设时间段内，若网络隐患威胁的数目为至少两个，且网络隐患威胁相同，基于过滤算子，保留网络隐患威胁中的任意一个。

在本发明提供的实施例中，预设时间段可以为12小时，或者也可以为24小时，本发明实施例对预设时间段不作限定。由于网络隐患威胁被认为是可能存在某类安全隐患，其分析规则较宽泛，且同一个资产在12个小时内可能会存在多个相同的隐患威胁，且将其按资产划分，此预设时间段内保留一个能标识存在此类的隐患威胁即可。

本发明提供的实施例，存在至少两个相同的网络隐患威胁时，通过过滤多余的网络隐患威胁，只保留其中的一个，减少数据的冗余，以便聚焦问题。

图3为本发明提供的获取数据获取算子的方法实施例的流程示意图。如图3所示，该获取数据获取算子的方法，可以包括以下步骤：

S301，在数据流中提取数据源。

S302，对数据源进行封装，得到数据获取算子。

在步骤S301和步骤S302中，可以从流式计算框架的 dataStream中提取数据源，根据封装初始化env环境或者souce数据源指定等方法，得到数据获取算子。

本发明提供的获取数据获取算子的方法，通过获取数据源，并对数据源进行封装，可以快速得到数据获取算子。其中，通过封装数据源得到的数据获取算子，能够被流式处理引擎引用，从而方便地获取数据信息。

在一个实施例中，可以通过封装不同的数据源，相应得到不同的数据获取算子，当需要对多源数据进行威胁检测时，通过引用多个相应的数据获取算子，即可方便地获取相应数据源的数据，从而有效解决现有技术中针对多源数据实施威胁检测时，需要配置多种不同数据源的数据采集、处理规则的问题，从而提升威胁检测的效率和成功率。

图4为本发明提供的另一种网络威胁检测方法实施例的流程示意图。如图4所示，该网络威胁检测方法可以包括以下步骤：

S401，引用数据获取算子获取数据信息。

对步骤S401的说明详见步骤S101，在此不作赘述。

S402，将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁。

对步骤S402的说明详见步骤S102，在此不作赘述。

S403，对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

对步骤S403的说明详见步骤S103，在此不作赘述。

S404，基于关联算子，将标记的数据信息与对应的资产信息进行关联，得到富化的数据信息；资产信息包括资产所属的行业、资产所属的单位以及资产的地理位置。

S405，将富化的数据信息输入数据库中。

对步骤S404和步骤S405的说明详见本发明的第二个实施例，在此不作赘述。

图5为本发明提供的又一种网络威胁检测方法实施例的流程示意图。如图5所示，该网络威胁检测方法可以包括以下步骤：

S501，引用数据获取算子获取数据信息。

对步骤S401的说明详见步骤S101，在此不作赘述。

S502，将数据信息与分析算子中的分析规则进行匹配。

对步骤S502的说明详见步骤S201，在此不作赘述。

S503，确定包含分析规则中的预设字段的数据信息为匹配成功的数据信息。

对步骤S503的说明详见步骤S202，在此不作赘述。

S504，对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

对步骤S504的说明详见步骤S103，在此不作赘述。

图6为本发明提供的再一种网络威胁检测方法实施例的流程示意图。如图6所示，该网络威胁检测方法可以包括以下步骤：

S601，在数据流中提取数据源。

对步骤S603的说明详见步骤S301，在此不作赘述。

S602，对数据源进行封装，得到数据获取算子。

对步骤S602的说明详见步骤S302，在此不作赘述。

S603，引用数据获取算子获取数据信息。

对步骤S603的说明详见步骤S101，在此不作赘述。

S604，将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁。

对步骤S604的说明详见步骤S102，在此不作赘述。

S605，对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

对步骤S605的说明详见步骤S103，在此不作赘述。

需要说明的是，本发明实施例中的数据获取算子、分析算子、关联算子以及过滤算子的可以包括算子名称、算子描述、算子类型以及算子对应的方法等属性信息，不同的属性信息用于从不同维度对算子进行描述，以便在威胁检测过程中，选择合适的算子进行处理，本发明实施例对此不作限定。

其中，同类型的算子可以存在一个或多个，当存在多个同类算子时，可以根据算子的属性信息在多个同类算子中筛选出目标算子。例如，基于封装的多个数据源，可以得到多个数据获取算子，基于待实施威胁检测的数据源信息，可以从多个数据获取算子中匹配出需要的数据获取算子。

又如，每个分析算子内部可以定义相应的网络威胁、网络隐患威胁匹配规则，在一个分析算子内部可以仅定义网络威胁匹配规则或网络隐患威胁匹配规则，也可以同时定义网络威胁和网络隐患威胁匹配规则。其中，当同一分析算子内部同时定义有网络威胁和网络隐患威胁匹配规则时，可以将网络隐患威胁匹配规则的筛选范围设置为大于网络威胁匹配规则，从而确保尽可能全面分析出网络隐患威胁。

需要说明的是，分析算子中的匹配规则可以根据数据源的种类、用户对威胁防控的特定要求、待分析的数据量大小、威胁分析方法的不同而设置不同的规则。其中，针对不同种类的数据源可以基于该数据源中存在的威胁种类设置相应的分析规则，其中，分析规则可以包含专用于特定数据源的专用规则和通用于多类数据源的通用规则，本方案在设置完成一个分析算子后，能够方便地通过对已完成分析算子的引用、拓展，批量得到其他分析算子，从而有效提升分析算子的配置效率。此外，由于不同用户对网络安全威胁的容忍度不同，可以基于用户的需求设置相应的规则，从而灵活适配不同用户的需求；另外，还可以基于待分析的数据量不同设置不同的规则，例如针对千万级、百万级、万级数据设置不同的分析处理规则，从而在选择相应的分析规则后，能够在高效实施分析的同时，提升资源利用率；另外，分析算子中还可以通过嵌入威胁分析模型、规则匹配、黑白名单等不同的模块，从而采用不同的分析方法及逻辑实施威胁分析，以便根据需要选择相应的分析算子。

图7为本发明提供的一种网络威胁检测装置实施例的结构组成示意图。如图7所示，该网络威胁检测装置，包括：

获取模块701，用于引用数据获取算子获取数据信息；

匹配模块702，用于将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；

标记模块703，用于对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

可选地，该网络威胁检测装置，还包括：

关联模块，用于基于关联算子，将标记的数据信息与对应的资产信息进行关联，得到富化的数据信息；资产信息包括资产所属的行业、资产所属的单位以及资产的地理位置；

输入单元，用于将富化的数据信息输入数据库中。

可选地，匹配模块702，包括：

匹配单元，用于将所数据信息与分析算子中的分析规则进行匹配，分析规则中包含用于表征数据信息为网络威胁或网络隐患威胁的预设字段；

确定单元，用于确定包含分析规则中的预设字段的数据信息为匹配成功的数据信息。

可选地，该网络威胁检测装置，还包括：

分析模块，用于分析规则发生更新，将数据信息与分析算子中的更新的分析规则进行匹配；更新包括新增、修改或删除。

可选地，该网络威胁检测装置，还包括：

过滤单元，用于在预设时间段内，若网络隐患威胁据的数目为至少两个，且网络隐患威胁据相同，基于过滤算子，保留网络隐患威胁据中的任意一个。

可选地，该网络威胁检测装置，还包括：

提取模块，用于在数据流中提取数据源；

封装模块，用于对数据源进行封装，得到数据获取算子。

图8示例了一种电子设备的实体结构示意图，如图8示，该电子设备可以包括：处理器(processor)801、通信接口(Communications Interface) 802、存储器(memory) 803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行如下方法：通过引用数据获取算子获取数据信息；将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例提供的网络威胁检测方法，例如包括：通过引用数据获取算子获取数据信息；将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的网络威胁检测方法，例如包括：通过引用数据获取算子获取数据信息；将数据信息与分析算子进行匹配，得到匹配成功的数据信息；匹配成功的数据信息为网络威胁或网络隐患威胁；对匹配成功的数据信息进行标记，得到标记的数据信息；标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种网络威胁检测方法，其特征在于，基于流式处理引擎实现网络威胁检测，所述流式处理引擎包括数据获取算子和分析算子，所述网络威胁检测方法，包括：

引用所述数据获取算子获取数据信息；

将所述数据信息与所述分析算子中的分析规则进行匹配，得到匹配成功的数据信息；所述匹配成功的数据信息为网络威胁或网络隐患威胁；其中，所述分析算子中的分析规则根据数据源的种类、用户对威胁防控的特定要求、待分析的数据量大小以及威胁分析方法进行设置；所述分析规则包含专用于特定数据源的专用规则和通用于多类数据源的通用规则；在设置完成一个分析算子后，通过对已完成分析算子的引用和拓展，批量得到其他分析算子；

对所述匹配成功的数据信息进行标记，得到标记的数据信息；所述标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种；

其中，所述数据获取算子和所述分析算子包括以下属性信息：算子名称、算子描述、算子类型以及算子对应的方法；所述数据获取算子和所述分析算子是根据算子的属性信息在多个同类算子中筛选出的。

2.根据权利要求1所述的网络威胁检测方法，其特征在于，所述流式处理引擎还包括：关联算子，所述方法还包括：

基于所述关联算子，将所述标记的数据信息与对应的资产信息进行关联，得到富化的数据信息；所述资产信息包括所述资产所属的行业、所述资产所属的单位以及所述资产的地理位置；

将所述富化的数据信息输入数据库中。

3.根据权利要求1所述的网络威胁检测方法，其特征在于，所述将所述数据信息与所述分析算子中的分析规则进行匹配，得到匹配成功的数据信息，包括：

将所述数据信息与所述分析算子中的分析规则进行匹配，所述分析规则中包含用于表征数据信息为网络威胁或网络隐患威胁的预设字段；

确定包含所述分析规则中的预设字段的数据信息为所述匹配成功的数据信息。

4.根据权利要求3所述的网络威胁检测方法，其特征在于，还包括：

所述分析规则发生更新，将所述数据信息与所述分析算子中的更新的分析规则进行匹配；所述更新包括新增、修改或删除。

5.根据权利要求1所述的网络威胁检测方法，其特征在于，所述流式处理引擎还包括：过滤算子，所述方法还包括：

在预设时间段内，若所述网络隐患威胁据的数目为至少两个，且所述网络隐患威胁据相同，基于所述过滤算子，保留所述网络隐患威胁据中的任意一个。

6.根据权利要求1至5任一项所述的网络威胁检测方法，所述引用所述数据获取算子获取数据信息之前，还包括：

在数据流中提取数据源；

对所述数据源进行封装，得到所述数据获取算子。

7.一种网络威胁检测装置，其特征在于，基于流式处理引擎实现网络威胁检测，所述流式处理引擎包括数据获取算子和分析算子，所述网络威胁检测装置，包括：

获取模块，用于引用所述数据获取算子获取数据信息；

匹配模块，用于将所述数据信息与所述分析算子中的分析规则进行匹配，得到匹配成功的数据信息；所述匹配成功的数据信息为网络威胁或网络隐患威胁；其中，所述分析算子中的分析规则根据数据源的种类、用户对威胁防控的特定要求、待分析的数据量大小以及威胁分析方法进行设置；所述分析规则包含专用于特定数据源的专用规则和通用于多类数据源的通用规则；在设置完成一个分析算子后，通过对已完成分析算子的引用和拓展，批量得到其他分析算子；

标记模块，用于对所述匹配成功的数据信息进行标记，得到标记的数据信息；所述标记包括种类标记、等级标记、来源标记和标识码标记中的至少一种；

其中，所述数据获取算子和所述分析算子包括以下属性信息：算子名称、算子描述、算子类型以及算子对应的方法；所述数据获取算子和所述分析算子是根据算子的属性信息在多个同类算子中筛选出的。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~6任一项所述的网络威胁检测方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~6任一项所述的网络威胁检测方法的步骤。

Images