CN115865525B - 日志数据处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种日志数据处理方法、装置、电子设备和存储介质。其中，日志数据处理方法，包括获取告警日志；基于告警日志的数据源确定针对告警日志的解析规则；基于解析规则解析告警日志，得到标准化日志；过滤标准化日志；识别标准化日志的出入站类型；基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。本申请能够基于多种解析规则对多种数据源的告警日志进行解析。另一方面，本申请能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级。

Description

日志数据处理方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种日志数据处理方法、装置、电子设备和存储介质。

背景技术

随着信息技术的发展，各个公司企业都逐渐实现了信息化，数字化，网络安全问题也逐渐被更个公司企业所需要重视，为此需要对公司的各个移动终端，计算机，防火墙，IDS等网络安全设备在运行过程中会产生大量的不同类型不同格式的告警日志进行存储，标准化，情报碰撞分析等，从而快速定位出网络设备中的安全问题。

目前，现有的各个日志处理平台只能进行一些单一类型接入方式的接入，无法配置更加灵活的接入方式。同时在配置解析规则方面也只能支持比较单一的正则解析。

发明内容

本申请的目的在于提供一种日志数据处理方法、装置、电子设备和存储介质，本申请能够基于多种解析规则对多种数据源的告警日志进行解析。另一方面，本申请能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级。

第一方面，本发明提供一种日志数据处理方法，所述方法包括：

获取告警日志；

基于所述告警日志的数据源确定针对所述告警日志的解析规则；

基于所述解析规则解析所述告警日志，得到标准化日志；

过滤所述标准化日志；

识别所述标准化日志的出入站类型；

基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。

在本申请第一方面中，可基于告警日志的数据源确定针对所述告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤所述标准化日志并识别所述标准化日志的出入站类型，从而能够基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

在可选的实施方式中，在所述基于所述解析规则解析所述告警日志，得到标准化日志之后，所述方法还包括：

过滤单位时间内接收到的且重复的所述告警日志。

在上述可选的实施方式中，通过过滤所述标准化日志，能够去除单位时间内的重复性日志，这样一来就能够通过去除无效的告警日志，进而避免花费额外时间对无效的告警日志进行解析、处理和避免无效的告警日志对处理结果产生不利影响，最终提高告警日志的解析效率和处理准确性。

在可选的实施方式中，在所述过滤所述标准化日志，以去除重复性日志之后，所述方法还包括：

过滤所述标准化日志中只含有内网IP地址的日志。

在上述可选的实施方式中，通过过滤标准化日志中只含有内网IP地址的日志，进而能够以去除只含有内网IP地址的日志，这样一来就能够通过去除只含有内网IP地址的日志，进而避免花费额外时间对含有内网IP地址的日志进行解析、处理和避免含有内网IP地址的日志对处理结果产生不利影响，最终进一步提高告警日志的解析效率和处理准确性。

在可选的实施方式中，所述告警日志的解析规则包括正则解析、json解析、键值对分割符解析和value分隔符解析。

上述可选的实施方式可通过正则解析、json解析、键值对分割符解析和value分隔符解析这些解析方式对告警日志进行解析。

在可选的实施方式中，在所述基于所述解析规则解析所述告警日志，得到标准化日志之前，所述方法还包括：

基于所述告警日志的数据源确定所述告警日志绑定的关键字；

从所述告警日志中筛选出含有所述关键字的所述告警日志；

以及，所述基于所述解析规则解析所述告警日志，得到标准化日志，包括：

基于所述解析规则解析含有所述关键字的所述告警日志，得到所述标准化日志。

在上述可选的实施方式中，基于所述告警日志的数据源能够确定所述告警日志绑定的关键字，进而能够从所述告警日志中筛选出含有所述关键字的所述告警日志。相应地，基于所述解析规则能够解析含有所述关键字的所述告警日志，从而得到所述标准化日志。

在可选的实施方式中，所述基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，包括：

当所述标准化日志的出入站类型为出站类型时，查询失陷指标和恶意域名情报接口，以得到所述标准化日志的威胁信息；

当所述标准化日志的出入站类型为入站类型时，查询IP信誉情报接口，以得到所述标准化日志的威胁信息。

在上述可选的实施方式中，当所述标准化日志的出入站类型为出站类型时，通过查询失陷指标和恶意域名情报接口，能够得到所述标准化日志的威胁信息，当所述标准化日志的出入站类型为入站类型时，通过查询IP信誉情报接口，能够得到所述标准化日志的威胁信息。

第二方面，本发明提供一种日志数据处理装置，所述装置包括：

获取模块，用于获取告警日志；

确定模块，用于基于所述告警日志的数据源确定针对所述告警日志的解析规则；

解析模块，用于基于所述解析规则解析所述告警日志，得到标准化日志；

过滤模块，用于过滤所述标准化日志；

识别模块，用于识别所述标准化日志的出入站类型；

处理模块，用于基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。

本申请第二方面的装置通过执行日志数据处理方法，可基于告警日志的数据源确定针对所述告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤所述标准化日志并识别所述标准化日志的出入站类型，从而能够基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

第三方面，本发明提供一种电子设备，包括：

处理器；以及

存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如前述实施方式任一项所述的日志数据处理方法。

本申请第三方面的电子设备通过执行日志数据处理方法，可基于告警日志的数据源确定针对所述告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤所述标准化日志并识别所述标准化日志的出入站类型，从而能够基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

第四方面，本发明提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如前述实施方式任一项所述的日志数据处理方法。

本申请第四方面的存储介质通过执行日志数据处理方法，可基于告警日志的数据源确定针对所述告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤所述标准化日志并识别所述标准化日志的出入站类型，从而能够基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种日志数据处理方法的流程示意图；

图2是本申请实施例提供的一种数据源关联配置多个解析规则的示意图；

图3是本申请实施例提供的一种判别出入站和情报查询规则表示意图；

图4是本申请实施例公开的一种实现日志数据处理方法的技术架构图；

图5是本申请实施例公开的一种日志数据处理装置的结构示意图；

图6是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

实施例一

请参阅图1，图1是本申请实施例公开的一种日志数据处理方法的流程示意图，如图1所示，本申请实施例的方法包括以下步骤：

101、获取告警日志；

102、基于告警日志的数据源确定针对告警日志的解析规则；

103、基于解析规则解析告警日志，得到标准化日志；

104、过滤标准化日志；

105、识别标准化日志的出入站类型；

106、基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。

本申请实施例可基于告警日志的数据源确定针对告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤标准化日志并识别标准化日志的出入站类型，从而能够基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

在本申请实施例中，针对步骤101，告警日志的数据源至少包括：udp数据源、tcp数据源、kafka数据源、文件上传数据源、文件下载数据源、splunk数据源和elasticsearch。

在本申请实施例中，针对步骤101，udp数据源可提供udp日志，其中，udp日志是指采用用户数据报协议（UserDatagramProtocol）协议的日志。

在本申请实施例中，针对步骤101，tcp数据源可提供tcp日志，其中，tcp日志是指采用传输控制协议（Transmission ControlProtocol）协议的日志。

在本申请实施例中，针对步骤101，splunk数据源可提供splunk日志，其中，splunk是一款日志平台，因此，splunk平台可视为splunk数据源。需要说明的是，关于splunk平台的详细说明，请参阅现有技术。

在本申请实施例中，针对步骤101，文件上传数据源可提供文件上传日志，其中，文件上传日志是指通过文件上传数据源提供的文件上传功能上传的日志。

在本申请实施例中，针对步骤101，文件下载数据源可提供文件下载日志，其中，文件下载日志是指通过文件下载数据源提供的文件下载功能下载的日志。

在本申请实施例中，针对步骤101，splunk数据源可提供splunk日志，其中，splunk是一款日志平台，因此，splunk平台可视为splunk数据源。需要说明的是，关于splunk平台的详细说明，请参阅现有技术。

在本申请实施例中，针对步骤101，elasticsearch数据源可提供elasticsearch日志，其中，elasticsearch是一款日志平台，因此，elasticsearch平台可视为elasticsearch数据源。需要说明的是，关于elasticsearch平台的详细说明，请参阅现有技术。

在本申请实施例中，针对步骤102，由于每个数据源输出的告警日志的格式不相同，因此单一的解析规则不能够解析所有数据源输出的告警日志，例如，针对解析规则A，其只能对udp日志进行解析，而无法对tcp日志解析，因此，需要针对告警日志的数据源匹配相应的解析规则，而在本申请实施例中，就能够基于告警日志的数据源匹配针对告警日志的解析规则。

在本申请实施例中，针对步骤102，一种告警日志的数据源可对应两种或两种以上的解析规则，例如，请参阅图2，图2是本申请实施例提供的一种数据源关联配置多个解析规则的示意图。如图2所示，告警日志关联的解析规则有正则解析规则、json解析规则和分隔符解析规则。

在本申请实施例中，针对步骤103，标准化日志是指格式满足标准化要求的日志，其中，标准化日志可持久化存储。

在本申请实施例中，作为一种可选的实施方式中，在得到标准化日志后，可对所有标准化日志进行聚合，例如，将具有相同IP地址的标准化日志关联在一起，即以IP地址为索引，关联所有具有相同IP地址的标准化日志。

在本申请第一方面中，作为一种可选的实施方式，在步骤103：基于解析规则解析告警日志，得到标准化日志之后，本申请实施例的方法还包括以下步骤：

过滤单位时间内接收到的且重复的标准化日志。

在上述可选的实施方式中，通过过滤标准化日志，能够去除重复性日志，这样一来就能够通过去除无效的告警日志，进而避免花费额外时间对无效的告警日志进行解析、处理和避免无效的告警日志对处理结果产生不利影响，最终提高告警日志的解析效率和处理准确性。

在上述可选的实施方式中，重复性日志是指重复的日志，例如，通过对kafka日志进行解析，得到标准化日志A，而通过对splunk日志进行解析，得到标准化日志B，其中，当标准化日志A与标准化日志B一样时，则标准化日志B和标准化日志A为重复性日志。相应地，去除重复性日志可以是去除标准化日志A而保留标准化日志B，或是去除标准化日志B而保留标准化日志A。

在本申请实施例中，作为一种可选的实施方式，如图2所示，在步骤：过滤标准化日志，以去除重复性日志之后，本申请实施例的方法还包括以下步骤：

过滤标准化日志，以去除只含有内网IP地址的日志。

在上述可选的实施方式中，通过过滤标准化日志，进而能够以去除只含有内网IP地址的日志，这样一来就能够通过去除含有内网IP地址的日志，进而避免花费额外时间对含有内网IP地址的日志进行解析、处理和避免含有内网IP地址的日志对处理结果产生不利影响，最终进一步提高告警日志的解析效率和处理准确性。

在上述可选的实施方式中，由于只含有内网IP地址的日志一般是内网网络行为，这一行为一般不具备攻击性，因此可去除只含有内网IP地址的日志。

在本申请实施例中，作为一种可选的实施方式，本申请实施例的方法还包括：

获取手动配置的绑定信息；

基于绑定信息生成标准化日志的威胁信息。

在本可选的实施方式中，通过获取手动配置的绑定信息，进而能够基于绑定信息生成标准化日志的威胁信息，这样一来，就能够在用户没有配置基于标准化日志的出入站类型自动识别标准化日志的威胁信时，能够基于手动配置的绑定信息生成标准化日志的威胁信息。进一步地，在本可选的实施方式，具体地，绑定信息是指与标准化日志绑定的情报接口，例如，标准化日志与IP信誉情报接口绑定时，则绑定信息可以是IP信誉情报接口。

在本申请实施例中，作为一种可选的实施方式，步骤：基于标准化日志的出入站类型得到标准化日志的威胁信息，包括以下步骤：

当标准化日志的出入站类型为出站类型时，查询失陷指标和恶意域名情报接口，以得到标准化日志的威胁信息；

当标准化日志的出入站类型为入站类型时，查询IP信誉情报接口，以得到标准化日志的威胁信息。

在上述可选的实施方式中，当标准化日志的出入站类型为出站类型时，通过查询失陷指标和恶意域名情报接口，能够得到标准化日志的威胁信息，当标准化日志的出入站类型为入站类型时，通过查询IP信誉情报接口，能够得到标准化日志的威胁信息。

在上述可选的实施方式中，具体地，请参阅图3，图3是本申请实施例提供的一种判别出入站和情报查询规则表示意图。如图3所示，当dest_ip为公网IP，src_ip为内网IP时，可以确定标准化日志出入站类型为出站类型，此时，进行失陷检测和恶意域名处理，查询失陷指标和恶意域名情报接口。

在上述可选的实施方式中，具体地，一般的日志解析平台如果和威胁情报碰撞结合时，通常要需要进行各种繁琐的配置，而且无法做到自动识别日志情报的出入站类型来进行情报查询，而本申请实施例可以支持自动识别日志的出入站类型，判别出的出站类型日志查询失陷指标和恶意域名情报接口，会针对办公网/生产网等对外访问场景的IP/域名进行分析，通过判定规则精准判别IP/域名是否恶意、风险严重级别、可信度级别；准确识别远控（C2）、恶意软件（Malware）、矿池威胁，提供相关安全事件或团体标签等。判别出的入站类型的日志情报查询IP信誉情报接口，会针对针对入站场景的IP进行分析，能够提供IP的地理位置、ASN信息，通过判定规则精准判别IP是否恶意、风险严重级别、可信度级别和威胁类型等相关安全事件或团体标签，其中，威胁类型包括漏洞利用（exploit）、傀儡机（Zombie）、代理（Proxy）、可疑（Suspicious）。

在上述可选的实施方式中，具体地，情报接口可以包括恶意域名情报接口、失陷检测情报接口、IP信誉情报接口等情报接口。需要说明的是，情报接口是一种数据接口，其能够根据查询请求携带参数返回查询结果。

在上述可选的实施方式，由于标准化日志的威胁类型包括漏洞利用威胁类型、傀儡机威胁类型、代理威胁类型和可疑威胁类型，因此，通过查询情报接口，本可选的实施方式可识别多种威胁类型。

在上述可选的实施方式中，关于漏洞利用威胁类型、傀儡机威胁类型、代理威胁类型和可疑威胁类型的详细说明，请参阅现有技术，本申请实施例对此不作赘述。

在本申请实施例中，作为一种可选的实施方式，告警日志的解析规则包括正则解析、json解析、键值对分割符解析和value分隔符解析。

上述可选的实施方式可通过正则解析、json解析、键值对分割符解析和value分隔符解析这些解析方式对告警日志进行解析。

需要说明的是，关于正则解析、json解析、键值对分割符解析和value分隔符解析的详细说明，请参阅现有技术，本申请实施例对此不作赘述。

在本申请实施例中，作为一种可选的实施方式，在步骤103：基于解析规则解析告警日志，得到标准化日志之前，本申请实施例的方法还包括以下步骤：

基于告警日志的数据源确定告警日志绑定的关键字；

从告警日志中筛选出含有关键字的告警日志；

相应地，步骤103：基于解析规则解析告警日志，得到标准化日志的具体方式为：

基于解析规则解析含有关键字的告警日志，得到标准化日志。

在上述可选的实施方式中，不同的告警日志可以进行关键字绑定来选择对应的含有关键字的告警日志进行解析，提升告警日志解析的效率。

基于上述内容，作为一种场景示例，首先搭建设备环境，其中，设备环境包括一台TIP设备（TIP是指在线本地威胁情报管理平台），一台可以发送告警日志的日志设备，TIP设备用于告警日志，而日志设备用于采集告警日志。

进一步地，在TIP设备配置一个用于接收告警日志的数据源，配置一种与日志设备匹配的接收方式，并根据提供的日志样例来配置一种的解析规则，能够准确的解析的日志样例，生成标准化的日志格式。

进一步地，将配置的数据源与配置的解析规则关联，如果想支持此数据源解析多种类型的日志可按照此方法配置多个解析规则然后与此数据源进行关联，实现多类型日志接入解析。另一方面，在配置解析规则时可以针对每个字段配置自动生成默认值和映射表的配置，方便生成标准化的可用字段。

进一步地，配置完数据源和解析规则的绑定关系之后，可以配置是否需要过滤重复性告警日志的单位时间，配置是否需要过滤内网IP日志的过滤规则。配置是否需要自动识别出入站，也可以手动配置硬绑定的方式进行情报碰撞。

进一步地，通过日志设备向配置的数据源发送告警日志，此时就可以在数据源中查询最近接入日志的原文，进而如图4所示，日志原文经过过滤和规则解析就可以生成标准格式的日志了，标准化的日志经过自动识别出入站的识别规则，识别出对应日志的出入站方向，从而实现对应不同类型的日志进行不同情报查询接口的碰撞，然后就可以在日志调查中看到被标识不同出入站方向，不同威胁级别，不同威胁标签的标准化日志数据，从而一眼就能识别出日志的威胁程度从而采取进一步的措施。需要说明的是，图4是本申请实施例公开的一种实现日志数据处理方法的技术架构图。

基于上述示例，一方面，本申请实施例支持多接入方式，多解析规则配置。多接入方式有：udp,tcp,kafka,文件上传,文件下载,splunk,elasticsearch等。多解析规则：正则解析，json解析，key-value 分割符解析，value分隔符解析。

另一方面，本申请实施例支持无效日志的过滤功能，针对含有大量内网IP情报的日志，可以进行识别进行过滤，从而提高日志的识别效率和准确率；

再一方面，本申请实施例支持自动判别日志情报的出入站类型，然后根据日志中的含有情报的出入站类型选择对应不同的情报碰撞接口进行情报查询，来更加准确的识别出日志的威胁级别和威胁类型，为后续的日志分析，设备阻断提供更加精准的日志数据。

实施例二

请参阅图5，图5是本申请实施例公开的一种日志数据处理装置的结构示意图，如图5所示，本申请实施例的装置包括以下功能模块：

获取模块201，用于获取告警日志；

确定模块202，用于基于告警日志的数据源确定针对告警日志的解析规则；

解析模块203，用于基于解析规则解析告警日志，得到标准化日志；

过滤模块204，用于过滤标准化日志；

识别模块205，用于识别标准化日志的出入站类型；

处理模块206，用于基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。

本申请实施例的装置通过执行日志数据处理方法，可基于告警日志的数据源确定针对告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤标准化日志并识别标准化日志的出入站类型，从而能够基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

需要说明的是，关于本申请实施例的装置的其他详细说明，请参阅本申请实施例一的相关说明，本申请实施例对此不作赘述。

实施例三

请参阅图6，图6是本申请实施例公开的一种电子设备的结构示意图，如图6所示，本申请实施例的电子设备包括：

处理器301；以及

存储器302，配置用于存储机器可读指令，指令在由处理器301执行时，执行如前述实施方式任一项的日志数据处理方法。

本申请实施例的电子设备通过执行日志数据处理方法，可基于告警日志的数据源确定针对告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤标准化日志并识别标准化日志的出入站类型，从而能够基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

实施例四

本申请实施例提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行如前述实施方式任一项的日志数据处理方法。

本申请实施例的存储介质通过执行日志数据处理方法，可基于告警日志的数据源确定针对告警日志的解析规则，进而能够基于解析规则告警日志进行解析，得到标准化日志，进而能够过滤标准化日志并识别标准化日志的出入站类型，从而能够基于标准化日志的出入站类型得到标准化日志的威胁信息，其中，标准化日志的威胁信息包括标准化日志的威胁标签和标准化日志的威胁等级。与现有技术相比，本申请能够支持多种日志接入方式的配置，同时可以配置多个数据源，同时对接不同的日志设备。支持配置多种不同的解析规则，能够灵活的根据不同的日志格式自动识别出入站的方向从而能够更加准确的进行情报碰撞查询，提升日志威胁等级的识别率，为日志数据赋上更加准确的威胁标签，威胁等级，从而为威胁情报查询，情报生产，设备联动提供更加有效和准确的数据支撑。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种日志数据处理方法，其特征在于，所述方法包括：

获取告警日志；

基于所述告警日志的数据源确定针对所述告警日志的解析规则；

基于所述解析规则解析所述告警日志得到标准化日志；

过滤所述标准化日志；

识别所述标准化日志的出入站类型；

基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。

2.如权利要求1所述的方法，其特征在于，在所述获取告警日志之后，所述基于所述告警日志的数据源确定针对所述告警日志的解析规则之前，所述方法还包括：

过滤单位时间内接收到的且重复的所述告警日志。

3.如权利要求1所述的方法，其特征在于，所述过滤所述标准化日志，包括：

过滤所述标准化日志中只含有内网IP地址的日志。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取手动配置的绑定信息；

基于绑定信息生成所述标准化日志的威胁信息。

5.如权利要求1所述的方法，其特征在于，所述告警日志的解析规则包括正则解析、json解析、键值对分割符解析和value分隔符解析。

6.如权利要求1所述的方法，其特征在于，在所述基于所述解析规则解析所述告警日志，得到标准化日志之前，所述方法还包括：

基于所述告警日志的数据源确定所述告警日志绑定的关键字；

从所述告警日志中筛选出含有所述关键字的所述告警日志；

以及，所述基于所述解析规则解析所述告警日志，得到标准化日志，包括：

基于所述解析规则解析含有所述关键字的所述告警日志，得到所述标准化日志。

7.如权利要求1所述的方法，其特征在于，所述基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，包括：

当所述标准化日志的出入站类型为出站类型时，查询失陷指标和恶意域名情报接口，以得到所述标准化日志的威胁信息；

当所述标准化日志的出入站类型为入站类型时，查询IP信誉情报接口，以得到所述标准化日志的威胁信息。

8.一种日志数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取告警日志；

确定模块，用于基于所述告警日志的数据源确定针对所述告警日志的解析规则；

解析模块，用于基于所述解析规则解析所述告警日志，得到标准化日志；

过滤模块，用于过滤所述标准化日志；

识别模块，用于识别所述标准化日志的出入站类型；

处理模块，用于基于所述标准化日志的出入站类型得到所述标准化日志的威胁信息，其中，所述标准化日志的威胁信息包括所述标准化日志的威胁标签和所述标准化日志的威胁等级。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如权利要求1-7任一项所述的日志数据处理方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如权利要求1-7任一项所述的日志数据处理方法。

Images