CN110213238A - 数据的威胁检测方法及装置、存储介质、计算机设备 - Google Patents

Abstract

本申请公开了一种数据的威胁检测方法及装置、存储介质、计算机设备，该方法包括：实时获取日志数据；对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。本申请对日志数据实时进行流式格式归一、数据筛选等处理后立即进行威胁检测，威胁识别实时性高，通过数据管道将处理后数据传输至威胁检测接口中进行威胁分析，本地不生成冗余存储文件，无需增加缓存服务，部署建设成本低。

Description

数据的威胁检测方法及装置、存储介质、计算机设备

技术领域

本申请涉及数据安全技术领域，尤其是涉及到一种数据的威胁检测方法及装置、存储介质、计算机设备。

背景技术

在大数据业务平台上，会收集并存储很多业务数据。在海量业务数据中可能会包含一些存在安全隐患的威胁数据。目前，对于大数据业务平台的业务数据威胁检测的方法主要是将一段时间内存储的业务数据统一发送到威胁检测平台中进行检测，威胁检测平台需要将业务数据保存在本地后再进行下一步检测，实时性较差，不易及时发现安全隐患，且由于业务数据来自于不同的数据源，数据格式差异较大，检测平台需针对不同格式的数据设置检测方法，兼容性较差，大量业务数据同时检测，检测速度也比较慢。

如何提高数据威胁检测的效率、实时性是目前数据威胁检测领域中需要重点解决的问题。

发明内容

有鉴于此，本申请提供了一种数据的威胁检测方法及装置、存储介质、计算机设备，能够实现威胁日志数据的实时检测。

根据本申请的一个方面，提供了一种数据的威胁检测方法，包括：

实时获取日志数据；

对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；

依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；

通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

根据本申请的另一方面，提供了一种数据的威胁检测装置，包括：

数据获取模块，用于实时获取日志数据；

数据处理模块，用于对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；

数据筛选模块，用于依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；

威胁分析模块，用于通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述数据的威胁检测方法。

依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据的威胁检测方法。

借由上述技术方案，本申请提供的一种数据的威胁检测方法及装置、存储介质、计算机设备，实时从大数据平台上获取日志数据，并对获取的多种格式的日志数据进行格式归一化处理，使得日志数据的格式变为标准格式后，按照预设的数据筛选条件，筛选出需要检测的日志数据，从而通过数据管道传输至威胁数据分析接口中进行威胁检测。相比于现有技术中，将检测数据存储在本地后，对本地数据的威胁情况进行分析的方式相比，本申请对日志数据实时进行流式格式归一、数据筛选等处理后立即进行威胁检测，威胁识别实时性高，通过数据管道将处理后数据传输至威胁检测接口中进行威胁分析，本地不生成冗余存储文件，无需增加缓存服务，部署建设成本低。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种数据的威胁检测方法的流程示意图；

图2示出了本申请实施例提供的另一种数据的威胁检测方法的流程示意图；

图3示出了本申请实施例的威胁检测应用的架构图；

图4示出了本申请实施例提供的一种数据的威胁检测装置的结构示意图；

图5示出了本申请实施例提供的另一种数据的威胁检测装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种数据的威胁检测方法，如图1所示，该方法包括：

步骤101，实时获取日志数据。

本申请实施例提供的对流式数据的威胁检测方法独立应用于大数据平台，对实时从大数据平台上获取的各类日志数据进行检测。

步骤102，对日志数据进行格式归一化处理，得到标准格式的日志数据。

对于从大数据平台获取到的日志数据来说，由于从不同数据源获取而来的日志数据的格式有可能是不同的，因此需要将日志数据的格式进行标准化，使得日志数据的格式变为标准格式，从而在后续的数据威胁分析过程中，只需要针对一种标准格式的数据设定威胁分析规则，不需要分别对多种格式的数据进行威胁分析规则的建立。

步骤103，依据预设业务对应的数据筛选条件，从日志数据中筛选出满足数据筛选条件的预设业务对应的日志数据。

按照筛选条件，从日志数据中筛选出需要检测的日志数据，例如将海量日志数据中的IP依据条件筛选出来，以检测日志数据中的IP是否存在威胁。

步骤104，通过数据管道，将预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

通过数据管道，将筛选后的日志数据传输至预先写好的威胁检测脚本所对应的威胁数据分析接口中进行威胁检测，对于海量检测数据，本地不生成冗余存储文件，实时通过流式处理后立即进行威胁检测，数据无需保存在本地生成文件，无需增加缓存服务，威胁检测更加方便，部署成本低。

通过应用本实施例的技术方案，实时从大数据平台上获取日志数据，并对获取的多种格式的日志数据进行格式归一化处理，使得日志数据的格式变为标准格式后，按照预设的数据筛选条件，筛选出需要检测的日志数据，从而通过数据管道传输至威胁数据分析接口中进行威胁检测。相比于现有技术中，将检测数据存储在本地后，对本地数据的威胁情况进行分析的方式相比，本申请对日志数据实时进行流式格式归一、数据筛选等处理后立即进行威胁检测，威胁识别实时性高，通过数据管道将处理后数据传输至威胁检测接口中进行威胁分析，本地不生成冗余存储文件，无需增加缓存服务，部署建设成本低。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种数据的威胁检测方法，如图2所示，该方法包括：

步骤201，实时监测一个或多个数据源对应的日志数据。

本申请实施例提供的数据的威胁检测方法的开发独立应用于大数据平台，将整个检测流程和功能模块作为一个应用APP置于大数据平台之上，图3示出了本申请实施例的威胁检测应用的架构图。数据接入层能够接收不同的日志数据源，包括内部数据源以及外部数据源，同时对于日志源格式，常见的TXT、CSV、JSON或者其他安全产品的日志以及DNS日志等等都可以接收解析，图3中数据接入层示出了本申请实施例可以接入的部分数据源类型。

步骤202，当任一数据源对应的日志数据发生变化时，获取发生变化的日志数据。

采用对大数据平台的指定配置目录监控方式，实时检测数据文件的变化，当发现文件有新增或者变化时，从数据源处获取发生变化的日志数据，以便后续对发生变化的日志数据进行解析，判断其是否为威胁数据。

步骤203，对获取的发生变化的日志数据进行清洗、去重以及格式归一化处理，得到标准格式的日志数据。

从数据源处获取日志数据后，需对日志数据进行一系列的流式处理，以提高数据检测的效率，流式处理过程具体可以包括数据清洗、去重以及格式归一化，其中，数据清洗主要是指去除日志数据中的无效数据、缺失数据等等，以免在后续的数据威胁分析中这些无效数据、缺失数据引起误判，有助于提高数据的威胁检测的准确性，数据去重主要是指去除日志数据中的重复数据，以免多次对相同的数据多次检测，以提高威胁检测的效率，另外，数据清洗和去重后，还需将来自多个不同的数据源的数据处理为标准格式，以适配于后续数据威胁检测过程中需要用到的威胁数据分析接口。

步骤204，依据预设业务对应的数据筛选条件，从日志数据中筛选出满足数据筛选条件的预设业务对应的日志数据。

在上述实施例中，具体地，步骤204可以包括：根据预设文件摘要信息筛选条件，从日志数据中筛选出满足预设文件摘要信息筛选条件的预设业务对应的日志数据；和/或根据预设关键字字段筛选条件，从日志数据中筛选出满足预设关键字字段筛选条件的预设业务对应的日志数据。

如图3中所示的业务层，内置多种情报业务查询语句条件，通过内置查询条件，将海量日志数据中的IP、domain(域名)、文件md5(消息摘要)等依据条件筛选出来，得到满足文件摘要信息筛选条件的日志数据以及满足预设关键字字段筛选条件的日志数据。

步骤205，根据预设业务对应的日志数据，匹配对应的威胁检测模型和/或安全检测接口。

根据筛选后的日志数据，匹配与之对应的威胁数据分析接口，威胁数据分析接口具体可以包括威胁检测模型以及安全检测接口，从而利用威胁检测模型以及安全检测接口进行数据的威胁检测，其中，威胁检测模型对输入的日志数据进行分析输出日志数据是威胁数据或不是威胁数据的结果，安全检测接口主要是依据威胁数据库对日志数据进行匹配得出日志数据是威胁数据或不是威胁数据的结果。

步骤206，通过数据管道将日志数据传输至威胁检测模型和/或安全检测接口中，利用威胁检测模型检测日志数据是否存在威胁和/或通过安全检测接口检测日志数据是否存在威胁。

通过数据管道将日志数据传输至对应的威胁检测模型和/或安全检测接口中，从而得出日志数据是否为威胁数据的结果。例如，对于以IP作为关键词字段筛选出的日志数据，利用安全检测接口进行安全分析，分别分析每一个IP数据是否属于安全范围，从而得出日志数据的威胁检测结论。

步骤207，若存在威胁，则记录存在威胁的日志数据。

若通过威胁检测模型和/或安全检测接口判断日志数据存在威胁，则将威胁的日志数据记录下来，以便后续对威胁数据进行查看、统计和分析，同时还应将存在威胁的日志数据返回至大数据平台进行显示，从而提示工作人员大数据平台的数据源可能存在安全隐患。

步骤208，接收威胁数据查询指令，其中，威胁数据查询指令包括待查询文件摘要信息和/或待查询关键字字段。

若检测人员需要查看存在威胁的日志数据，接收威胁数据查询指令，从而根据威胁数据查询指令中包含的待查询的文件摘要信息和/或关键字字段在威胁的日志数据记录中进行威胁数据查找。

步骤209，根据待查询文件摘要信息和/或待查询关键字字段，输出与待查询文件摘要信息和/或待查询关键字字段对应的存在威胁的日志数据。

依据威胁日志数据的检测记录，输出与待查询文件摘要信息和/或待查询关键字字段对应的存在威胁的日志数据。

步骤210，统计存在威胁的日志数据。

步骤211，输出统计后的存在威胁的日志数据。

在本申请实施例的步骤210和步骤211中，可以对记录下来的存在威胁的日志数据进行统计，并输出统计数据，例如对一段时间内的威胁IP进行统计，并将威胁IP进行输出展示，方便检测人员对威胁数据进行分析。

需要说明的是，传统的数据处理无法通过管道获取大数据平台数据，无法使用查询语法对数据搜索聚合之后的结果，而是再需要自己写程序解析，这样针对不同格式的日志数据，应用的兼容性就不是很好，大大增加了IO操作时间。

作为本申请的一个具体实施例，流式数据处理流程可概况如下：首先，通过spl搜索语法，对日志数据进行查询、聚合和字段提取处理；然后，通过数据管道将处理结果输入到自定义威胁数据分析脚本中进行威胁检测；最后，将检测结果返回至大数据平台中，利用大数据平台实现威胁数据的可视化展示。另外，检测出的威胁数据还可进行保存以便实现威胁数据的查询功能。

通过应用本实施例的技术方案，实时从大数据平台上获取来自多种数据源的日志数据，并对获取的多种格式的日志数据进行清洗、去重、格式归一化等处理，使得日志数据的格式变为标准格式，兼容多种数据源的多种数据格式，而后按照预设的数据筛选条件，筛选出需要检测的日志数据，对关键字段进行检测，提升威胁检测的效率，从而通过数据管道传输至多种威胁数据分析接口中进行威胁检测，能够大大降低检测耗时。相比于现有技术，本申请至少实现了：第一，采用流式数据解析方式，威胁检测更加及时；第二，数据不需要进行本地保存，本地不生成冗余存储文件，无需增加缓存服务，部署建设成本低，解析后直接进行威胁检测，及时性高。

进一步的，作为图1方法的具体实现，本申请实施例提供了一种数据的威胁检测装置，如图4所示，该装置包括：数据获取模块41、数据处理模块42、数据筛选模块43、威胁分析模块44。

数据获取模块41，用于实时获取日志数据；

数据处理模块42，用于对日志数据进行格式归一化处理，得到标准格式的日志数据；

数据筛选模块43，用于依据预设业务对应的数据筛选条件，从日志数据中筛选出满足数据筛选条件的预设业务对应的日志数据；

威胁分析模块44，用于通过数据管道，将预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

在本申请实施例中，具体地，如图5所示，数据获取模块41，具体包括：监测单元411、获取单元412。

监测单元411，用于实时监测一个或多个数据源对应的日志数据；

获取单元412，用于当任一数据源对应的日志数据发生变化时，通过数据接收管道获取发生变化的日志数据。

在本申请实施例中，具体地，如图5所示，数据处理模块42，具体用于：

对获取的发生变化的日志数据进行清洗、去重以及格式归一化处理。

在本申请实施例中，具体地，如图5所示，威胁分析模块44，具体包括：匹配单元441、威胁分析单元442、威胁记录单元443。

匹配单元441，用于根据预设业务对应的日志数据，匹配对应的威胁检测模型和/或安全检测接口，其中，威胁数据分析接口包括威胁监测模型和/或安全检测接口；

威胁分析单元442，用于通过数据管道将日志数据传输至威胁检测模型和/或安全检测接口中，利用威胁检测模型检测日志数据是否存在威胁和/或通过安全检测接口检测日志数据是否存在威胁；

威胁记录单元443，用于若存在威胁，则记录存在威胁的日志数据。

在本申请实施例中，具体地，数据筛选模块43，具体包括：第一筛选单元431、第二筛选单元432。

第一筛选单元431，用于根据预设文件摘要信息筛选条件，从日志数据中筛选出满足预设文件摘要信息筛选条件的预设业务对应的日志数据；

和/或

第二筛选单元432，用于根据预设关键字字段筛选条件，从日志数据中筛选出满足预设关键字字段筛选条件的预设业务对应的日志数据。

在本申请实施例中，具体地，如图5所示，该装置还包括：查询指令接收模块45、威胁查询模块46。

查询指令接收模块45，用于接收威胁数据查询指令，其中，威胁数据查询指令包括待查询文件摘要信息和/或待查询关键字字段；

威胁查询模块46，用于根据待查询文件摘要信息和/或待查询关键字字段，输出与待查询文件摘要信息和/或待查询关键字字段对应的存在威胁的日志数据。

在本申请实施例中，具体地，如图5所示，该装置还包括：威胁数据统计模块47、威胁数据输出模块48。

威胁数据统计模块47，用于统计存在威胁的日志数据；

威胁数据输出模块48，用于输出统计后的存在威胁的日志数据。

需要说明的是，本申请实施例提供的一种数据的威胁检测装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的数据的威胁检测方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的数据的威胁检测方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现实时从大数据平台上获取日志数据，并对获取的多种格式的日志数据进行格式归一化处理，使得日志数据的格式变为标准格式后，按照预设的数据筛选条件，筛选出需要检测的日志数据，从而通过数据管道传输至威胁数据分析接口中进行威胁检测。相比于现有技术中，将检测数据存储在本地后，对本地数据的威胁情况进行分析的方式相比，本申请对日志数据实时进行流式格式归一、数据筛选等处理后立即进行威胁检测，威胁识别实时性高，通过数据管道将处理后数据传输至威胁检测接口中进行威胁分析，本地不生成冗余存储文件，无需增加缓存服务，部署建设成本低。

本发明实施例提供了以下技术方案：

A1、一种数据的威胁检测方法，包括：

实时获取日志数据；

对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；

依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；

通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

A2、根据A1所述的方法，所述通过数据接收管道实时获取日志数据，具体包括：

实时监测一个或多个数据源对应的日志数据；

当任一所述数据源对应的日志数据发生变化时，通过所述数据接收管道获取发生变化的所述日志数据。

A3、根据A2所述的方法，所述对获取的日志数据进行格式归一化处理，具体包括：

对获取的发生变化的所述日志数据进行清洗、去重以及格式归一化处理。

A4、根据A1至A3中任一项所述的方法，所述通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析，具体包括：

根据所述预设业务对应的日志数据，匹配对应的威胁检测模型和/或安全检测接口，其中，所述威胁数据分析接口包括所述威胁监测模型和/或所述安全检测接口；

通过所述数据管道将所述日志数据传输至所述威胁检测模型和/或所述安全检测接口中，利用所述威胁检测模型检测所述日志数据是否存在威胁和/或通过所述安全检测接口检测所述日志数据是否存在威胁；

若存在威胁，则记录存在威胁的所述日志数据。

A5、根据A4所述的方法，所述依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据，具体包括：

根据预设文件摘要信息筛选条件，从所述日志数据中筛选出满足所述预设文件摘要信息筛选条件的所述预设业务对应的日志数据；

和/或

根据预设关键字字段筛选条件，从所述日志数据中筛选出满足所述预设关键字字段筛选条件的所述预设业务对应的日志数据。

A6、根据A5所述的方法，所述方法还包括：

接收威胁数据查询指令，其中，所述威胁数据查询指令包括待查询文件摘要信息和/或待查询关键字字段；

根据所述待查询文件摘要信息和/或所述待查询关键字字段，输出与所述待查询文件摘要信息和/或所述待查询关键字字段对应的存在威胁的所述日志数据。

A7、根据A6所述的方法，所述方法还包括：

统计存在威胁的所述日志数据；

输出统计后的存在威胁的所述日志数据。

B8、一种数据的威胁检测装置，包括：

数据获取模块，用于实时获取日志数据；

数据处理模块，用于对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；

数据筛选模块，用于依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；

威胁分析模块，用于通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

B9、根据B8所述的装置，所述数据获取模块，具体包括：

监测单元，用于实时监测一个或多个数据源对应的日志数据；

获取单元，用于当任一所述数据源对应的日志数据发生变化时，通过所述数据接收管道获取发生变化的所述日志数据。

B10、根据B9所述的装置，所述数据处理模块，具体用于：

对获取的发生变化的所述日志数据进行清洗、去重以及格式归一化处理。

B11、根据B8至B10中任一项所述的装置，所述威胁分析模块，具体包括：

匹配单元，用于根据所述预设业务对应的日志数据，匹配对应的威胁检测模型和/或安全检测接口，其中，所述威胁数据分析接口包括所述威胁监测模型和/或所述安全检测接口；

威胁分析单元，用于通过所述数据管道将所述日志数据传输至所述威胁检测模型和/或所述安全检测接口中，利用所述威胁检测模型检测所述日志数据是否存在威胁和/或通过所述安全检测接口检测所述日志数据是否存在威胁；

威胁记录单元，用于若存在威胁，则记录存在威胁的所述日志数据。

B12、根据B11所述的装置，所述数据筛选模块，具体包括：

第一筛选单元，用于根据预设文件摘要信息筛选条件，从所述日志数据中筛选出满足所述预设文件摘要信息筛选条件的所述预设业务对应的日志数据；

和/或

第二筛选单元，用于根据预设关键字字段筛选条件，从所述日志数据中筛选出满足所述预设关键字字段筛选条件的所述预设业务对应的日志数据。

B13、根据B12所述的装置，所述装置还包括：

查询指令接收模块，用于接收威胁数据查询指令，其中，所述威胁数据查询指令包括待查询文件摘要信息和/或待查询关键字字段；

威胁查询模块，用于根据所述待查询文件摘要信息和/或所述待查询关键字字段，输出与所述待查询文件摘要信息和/或所述待查询关键字字段对应的存在威胁的所述日志数据。

B14、根据B13所述的装置，所述装置还包括：

威胁数据统计模块，用于统计存在威胁的所述日志数据；

威胁数据输出模块，用于输出统计后的存在威胁的所述日志数据。

C15、一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现A1至A7中任一项所述的数据的威胁检测方法。

D16、一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现A1至A7中任一项所述的数据的威胁检测方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种数据的威胁检测方法，其特征在于，包括：

实时获取日志数据；

对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；

依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；

通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

2.根据权利要求1所述的方法，其特征在于，所述通过数据接收管道实时获取日志数据，具体包括：

实时监测一个或多个数据源对应的日志数据；

当任一所述数据源对应的日志数据发生变化时，通过所述数据接收管道获取发生变化的所述日志数据。

3.根据权利要求2所述的方法，其特征在于，所述对获取的日志数据进行格式归一化处理，具体包括：

对获取的发生变化的所述日志数据进行清洗、去重以及格式归一化处理。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析，具体包括：

根据所述预设业务对应的日志数据，匹配对应的威胁检测模型和/或安全检测接口，其中，所述威胁数据分析接口包括所述威胁监测模型和/或所述安全检测接口；

通过所述数据管道将所述日志数据传输至所述威胁检测模型和/或所述安全检测接口中，利用所述威胁检测模型检测所述日志数据是否存在威胁和/或通过所述安全检测接口检测所述日志数据是否存在威胁；

若存在威胁，则记录存在威胁的所述日志数据。

5.根据权利要求4所述的方法，其特征在于，所述依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据，具体包括：

根据预设文件摘要信息筛选条件，从所述日志数据中筛选出满足所述预设文件摘要信息筛选条件的所述预设业务对应的日志数据；

和/或

根据预设关键字字段筛选条件，从所述日志数据中筛选出满足所述预设关键字字段筛选条件的所述预设业务对应的日志数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

接收威胁数据查询指令，其中，所述威胁数据查询指令包括待查询文件摘要信息和/或待查询关键字字段；

根据所述待查询文件摘要信息和/或所述待查询关键字字段，输出与所述待查询文件摘要信息和/或所述待查询关键字字段对应的存在威胁的所述日志数据。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

统计存在威胁的所述日志数据；

输出统计后的存在威胁的所述日志数据。

8.一种数据的威胁检测装置，其特征在于，包括：

数据获取模块，用于实时获取日志数据；

数据处理模块，用于对所述日志数据进行格式归一化处理，得到标准格式的所述日志数据；

数据筛选模块，用于依据预设业务对应的数据筛选条件，从所述日志数据中筛选出满足所述数据筛选条件的所述预设业务对应的日志数据；

威胁分析模块，用于通过数据管道，将所述预设业务对应的日志数据传输至威胁数据分析接口中进行威胁分析。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的数据的威胁检测方法。

10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的数据的威胁检测方法。