CN116991680A - 一种日志降噪方法及电子设备 - Google Patents

Abstract

本申请涉及网络安全领域，尤其涉及一种日志降噪方法及电子设备，本申请通过多种降噪规则结合，从业务逻辑、动态反哺和机器学习等多种维度方式进行噪声日志识别及过滤，使得流转至人工进行人工降噪的告警日志的数量急剧减少，实现了较为准确的自动化降噪。

Description

一种日志降噪方法及电子设备

技术领域

本申请涉及网络安全领域，尤其涉及一种日志降噪方法及电子设备。

背景技术

随着大数据技术、网络技术的不断发展，各行各业也在进行数字化转型，在企业数字化应用过程中，企业对于企业业务、数据等资源的安全性的要求越来越高，因此企业在网络边界购置和部署了边界防护设施，比如网络安全态势感知设施、APT（AdvancedPersistent Threat，高级可持续威胁）攻击检测设施、内网安全监测预警设施等。

但随着设施规模的不断扩大，设施中所包含的安全设备的数量也在不断增大，这使得安全设备发出的告警日志的数量在急速增加，少则每天几千条、多则每天上万条，而在这些告警日志中存在很多噪声日志（比如重复告警日志、误报告警日志等），所以需要花费运营人员大量的经理来进行噪声日志的区分，从而大大降低了运维效率。因此，自动化的告警日志降噪就成为业界亟待解决的问题。

发明内容

本申请提供一种日志降噪方法及电子设备，用于提高自动化告警日志降噪的准确性。

根据本申请的第一方面，提供一种日志降噪方法，所述方法包括：

接收至少一个数据源发送的告警日志；

通过如下一种或者多种方式对接收到的告警日志进行降噪处理：

自动处置方式；所述自动处置方式用于指示利用动态降噪规则库对需要采用自动处置方式的告警日志进行过滤，以过滤掉命中所述动态降噪规则库中的降噪规则的告警日志，并依据命中的降噪规则所指示的处置方案，对命中的告警日志进行处置；其中，所述降噪规则库是依据研判系统研判出的噪声告警日志及其处置方式动态更新的；

剧本降噪方式；其中，所述剧本降噪方式用于指示利用降噪剧本对需要采用剧本降噪方式的告警日志进行过滤；其中，所述降噪剧本表征告警日志所指示的目标业务对应的降噪逻辑；

AI白模型降噪方式；所述AI白模型降噪方式用于指示依据AI白模型对需要采用AI白模型降噪方式的告警日志进行过滤；所述AI白模型是由白流量的预设字段训练而成。

可选地，所述通过如下一种或者多种方式对接收到的告警日志进行降噪处理，包括：

对接收到的告警日志进行去重处理；

利用预设的第一筛选规则对去重处理后保留的第一告警日志进行过滤，以过滤掉匹配所述第一筛选规则的告警日志；

依据自动处置方式的指示，针对经过第一筛选规则过滤后保留的第二告警日志，利用与所述第二告警日志匹配的动态降噪规则库进行过滤，以过滤掉命中所述动态降噪规则库中的动态降噪规则的告警日志，并依据命中的动态降噪规则所指示的处置方案，对命中的告警日志进行处置；

利用预设的第二筛选规则对经过自动处置方式过滤后保留的第三告警日志进行过滤，以过滤掉匹配所述第二筛选规则的日志；其中，所述第二筛选规则由数据源监控设备的资产信息、漏洞信息、以及告警日志的特定字段中的至少一项生成；

依据剧本降噪方式的指示，针对经过第二筛选规则过滤后保留的第四告警日志，依据与所述第四告警日志匹配的降噪剧本对所述第四告警日志进行过滤；

依据AI白模型降噪方式的指示，依据AI白模型对经过剧本降噪方式保留的第五告警日志进行过滤，并将所述AI白模型过滤保留的第六告警日志发送给研判系统，以由研判人员对所述第六告警日志进行过滤。

可选地，在所述对接收到的告警日志进行去重处理之前，所述方法包括：

基于所述告警日志所属的数据源、告警日志的生成时间、以及告警日志对应的攻击类型，将接收到的告警日志进行分组，形成至少一个日志组；其中，每个日志组所包含的至少一个告警日志对应同一数据源、同一生成时间段、以及同一攻击类型；

针对每个日志组，确定与该日志组对应的攻击类型，并确定是否存在于所述攻击类型匹配的特定去重规则；

若存在，则依据匹配的特定去重规则对该日志组所包含的至少一个告警日志进行去重；

若不存在，则依据通用去重规则对该日志组所包含的至少一个告警日志进行去重；

其中，所述去重规则所支持告警日志中的字段包括：源IP、目的IP、源端口、目的端口、攻击类型、攻击结果、规则ID、URL、域名、IOC规则、请求头、请求体中的一个或多个。

可选地，所述利用与所述第二告警日志匹配的动态降噪规则库进行过滤，以过滤掉命中所述动态降噪规则库中的动态降噪规则的告警日志，并依据命中的动态降噪规则所指示的处置方案，对命中的告警日志进行处置，包括：

针对每一第二告警日志，确定第二告警日志的攻击类型和数据源；

确定是否存在与所述攻击类型和数据源对应的动态降噪规则库；

若存在与所述攻击类型和数据源对应的动态降噪规则库，则在确定出的动态降噪规则库中，依据所述第二告警日志中与动态降噪规则库相关的第一关键字段及其取值，在确定出的动态降噪规则库中查找是否存在与所述第一关键字段及其取值对应的动态降噪规则；

若存在与所述第一关键字段及其取值对应的动态降噪规则，则确定所述第二告警日志为噪声日志并过滤，并依据所述动态降噪规则所指示的处置方案对所述第二告警日志进行处置；

若不存在与所述第一关键字段及其取值对应的动态降噪规则，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志。

可选地，所述方法还包括：

若不存在与所述攻击类型和数据源对应的动态降噪规则库，则在与所述第二告警日志的攻击类型和数据源所匹配的已处理告警日志库中，依据所述第二告警日志中与已处理告警日志库相关的第二关键字段，查找是否存在与所述第二关键字段匹配的已处理告警日志对应的已处理降噪规则；

若不存在，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志；

若存在，则确定所述第二告警日志中的第二关键字段的取值与所述已处理降噪规则的第二关键字段的取值是否一致；

若一致，则确定所述第二告警日志为噪声日志并过滤，并依据所述已处理降噪规则所指示的处置方案对所述第二告警日志进行处置；

若不一致，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志。

可选地，所述方法还包括：

接收研判系统发送的动态降噪规则；所述动态降噪规则是所述研判系统依据所述告警日志的研判结果类型、该研判结果类型对应的处置方式、所述告警日志、资产信息、漏洞信息、弱口令信息、安全策略、安全知识库信息中的一个或多个生成的；其中，所述研判结果类型包括：误报告警日志，非误报攻击告警日志；所述非误报攻击告警日志包括：无效告警日志和真实告警日志；误报告警日志对应的处置方式是设置误报标记，并过滤该误报告警日志；无效告警日志对应的处置方式是设置无效标记，并过滤该告警日志；真实告警日志对应的处置方式是封堵该告警日志；

依据所述动态降噪规则，更新所述动态降噪规则库。

可选地，所述依据与所述第四告警日志匹配的降噪剧本对所述第四告警日志进行过滤，包括：

确定所述第四告警日志对应的剧本匹配条件；其中，所述剧本匹配条件包括：数据源、攻击类型、源IP段和目的IP段；

确定与所述剧本匹配条件对应的降噪剧本；其中，所述降噪剧本包括顺序连接的至少一个节点，每个节点代表构成目标业务的电子设备所提供的服务；至少一个节点依据目标业务对应的噪声判断逻辑连接；所述目标业务为第四告警日志所指示的业务；所述降噪剧本依据资产信息、漏洞信息、弱口令信息、安全策略信息、威胁情报信息、流量报文信息、和/或告警日志信息由用户自定义；所述降噪剧本支持一种业务或者多种业务的组合；

调用所述降噪剧本，依次利用所述降噪剧本中的各个节点对所述第四告警日志进行研判；

基于各个节点的研判结果，确定所述第四告警日志是否为噪声日志；

若所述第四告警日志为噪声日志，则将所述第四告警日志过滤；所述方法还包括：

若所述研判结果指示所述第四告警日志为真实告警日志，则对包含由第四告警日志中源IP的流量进行封堵、和/或将所述第四告警日志标记为攻击日志。

可选地，所述依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤，包括：

若第五告警日志对应的攻击是预设的特定攻击，则依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤；

所述方法还包括：

若第五告警日志对应的攻击是否不是所述预设的特定攻击，则将所述第五告警日志发送给研判系统，以由研判人员判断第五告警日志是否为噪声日志。

可选地，所述依据AI白模型对经过剧本降噪方式保留的第五告警日志进行过滤，包括：

确定所述第五告警日志对应的AI匹配条件；所述AI匹配条件包括：数据源类型、攻击类型、源IP段和业务系统IP；

在已训练的至少一个AI白模型集合中，确定与所述AI匹配条件匹配的目标AI白模型集合；其中，所述目标AI白模型集合中的各AI白模型是由发往目标业务系统的白流量的各预设字段训练而成的；

将所述第五告警日志输入至所述目标AI白模型集合中的至少一个AI白模型中，以由所述至少一个AI白模型对所述第五告警日志进行研判；

接收各AI白模型的输出结果，并基于接收到的各AI白模型的输出结果，确定所述第五告警日志是否为噪声日志；

若所述第五告警日志是噪声日志，则将所述第五告警日志过滤；若所述第五告警日志不是噪声日志，则将所述第五告警日志发送给研判系统，以由研判人员进行第五告警日志的过滤。

根据本申请的第二方面，提供一种电子设备，包括：存储器，用于存放计算机程序；处理器，用于执行所述存储器上所存放的计算机程序时，用以执行上述日志降噪方法。

由上述描述可知，本申请通过多种降噪规则结合，从业务逻辑、动态反哺和机器学习等多种维度方式进行噪声日志识别及过滤，使得流转至人工进行人工降噪的告警日志的数量急剧减少，实现了较为准确的自动化降噪。

附图说明

图1是本申请一示例性实施例示出的一种日志降噪方法的流程图；

图2是本申请另一示例性实施例示出的一种步骤102实现方法的流程图；

图3是本申请一示例性实施例示出的一种去重方式的示意图；

图4是本申请一示例性实施例示出的一种第一筛选规则去噪方式的示意图；

图5是本申请一示例性实施例示出的一种自动处置方式的示意图；

图6是本申请一示例性实施例示出的另一种自动处置方式的示意图；

图7是本申请一示例性实施例示出的一种第二筛选规则降噪方式的流程图；

图8是本申请一示例性实施例示出的一种剧本降噪方式的示意图；

图9是本申请一示例性实施例示出的一种AI白模型降噪的示意图；

图10是本申请一示例性实施例示出的另一种日志降噪方法的示意图；

图11是本申请一示例性实施例示出的一种电子设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参见图1，图1是本申请一示例性实施例示出的一种日志降噪方法的流程图，该方法可应用在电子设备上。其中，电子设备可以是服务器或者由多种设备组成的服务器集群，这里只是对电子设备进行示例性地说明，不对其进行具体地限定。

步骤101：接收至少一个数据源发送的告警日志。

其中，数据源是指数据的来源，是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。本申请主要指的是产生安全告警的安全设备或系统，本申请的数据源可包括SIEM（Security information and event management，安全信息和事件管理）、态势感知、SOC（Security operation center，安全运营中心）、WAF（WebApplication Firewall，网络应用防护系统）等安全设备或系统。这里只是对数据源进行示例性地说明，不进行具体限定。

在本申请中，作为网络安全设备的数据源在确定自身异常时，会产生告警日志，并将告警日志发送给电子设备，所以电子设备可接收来自至少一个数据源发送的告警日志。

步骤102：通过如下一种或者多种方式对接收到的告警日志进行降噪处理。

本申请所指的降噪是指识别出噪声告警日志。在本申请中， 噪声日志包括如下一种或几种：重复的告警日志、误报告警日志、已处理的告警日志、已在白名单中的告警日志，或者是用户定义的告警日志（比如用户不关注的告警日志）等，这里只是对噪声告警日志进行示例性地说明，不对其进行具体地限定。

在本申请的降噪方法由至少一种降噪方式构成，本申请的降噪方法可包括：自动处置方式、剧本降噪方式、AI白模型降噪方式中的一种或多种，也可以是由这三种方式的一种与去重处理、规则筛选等方式串联而成，也可以是由这三种方式与去重、规则筛选等方式串联而成。这里只是对本申请的降噪方式进行示例性地说明，不对其进行具体地限定。

1）自动处置方式，用于指示利用动态降噪规则库对需要采用自动处置方式的告警日志进行过滤，以过滤掉命中所述动态降噪规则库中的降噪规则的告警日志，并依据命中的降噪规则所指示的处置方案，对命中的告警日志进行处置；其中，所述降噪规则库是依据研判系统研判出的噪声告警日志及其处置方式动态更新的。

在自动处置方式中，设立了动态降噪规则库，动态降噪规则库中的降噪规则是基于多种降噪方式层层筛选后再由人工研判出的噪声告警日志及其处置方式创建并更新。这样做得好处在于，在实际应用中，会遇到各种各样的攻击场景，预设的降噪规则并不能应对复杂的攻击场景，而通过人工筛选出的噪声告警日志反哺动态降噪规则库，就使得降噪规则库中的降噪规则是在当前时间段内比较通用且准确的降噪规则，所以大大提高了告警日志的降噪效率，以及提高了告警日志的降噪准确率。

2）剧本降噪方式；其中，所述剧本降噪方式用于指示利用降噪剧本对需要采用剧本降噪方式的告警日志进行过滤；其中，所述降噪剧本表征所述第四告警日志所指示的目标业务对应的降噪逻辑。

在本申请中，通过剧本降噪方式，将人工对于目标业务对应的噪声判断逻辑结合现有安全能力编排成降噪剧本，通过降噪剧本研判出噪声日志，实现了业务逻辑层的告警日志的降噪。此外，将大量自动化降噪场景编写为剧本，积累了大量的自动化降噪场景。

3）AI白模型降噪方式；所述AI白模型降噪方式用于指示依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤。

在本申请中，本申请通过机器学习将访问业务系统的白流量进行算法建模，模型评估达到应用的标准后将模型发布，将模型应用到降噪场景，告警日志可以直接通过AI白模型进行降噪。本申请将机器学习引用降噪流程，使得整个降噪过程准确率更高，更为智能化。

由上述描述可知，本申请通过多种降噪规则结合，从业务逻辑、动态反哺和机器学习等多种维度方式进行噪声日志识别及过滤，使得流转至人工进行人工降噪的告警日志的数量急剧减少，实现了较为准确的自动化降噪。

参见图2，图2是本申请另一示例性实施例示出的一种步骤102实现方法的流程图，该方法可包括如下所示步骤：

需要说明的是，在本申请实施例中，由于电子设备接收到的告警日志来自于不同数据源（即不同厂商，不同类型的网络设备），而不同的数据源的告警日志字段含义不统一。为了提高后续降噪处理的效率，电子设备在接收到至少一个数据源发送的告警日志后，可将接收到的来自于不同数据的告警日志中的与降噪处理相关的字段解析为统一的预设字段，以使得所述去重处理可识别转换后的告警日志。

例如，设备A发送的告警日志中的攻击类型字段是Ty，设备B发送的告警日志中的攻击类型字段是T，电子设备需要将这两个告警日志中的攻击类型字段解析为统一的、后续去重处理可识别的Type字段。

在进行上述字段解析后，电子设备可对解析后的告警日志进行步骤201至步骤206的降噪处理。

步骤201：对接收到的告警日志进行去重处理。

下面通过步骤2011至步骤2014对步骤201进行详细地说明。

步骤2011：基于所述告警日志所属的数据源、告警日志的生成时间、以及告警日志对应的攻击类型，将接收到的告警日志进行分组，形成至少一个日志组；其中，每个日志组所包含的至少一个告警日志对应同一数据源、同一生成时间段、以及同一攻击类型。

其中，告警日志对应的攻击类型，是指产生该告警日志的网络设备所遭受的攻击类型。

该攻击类型可包括如下一种或多种：SQL（Structured Query Language,结构化查询语言）注入攻击、XSS（Cross Site Script Attack，跨站脚本攻击）攻击、信息泄露攻击、代码注入攻击、文件上传攻击、文件包含攻击、弱口令攻击等。这里只是对攻击类型进行示例性地说明，不对其进行具体地限定。

在本申请实施例中，为了使得不同数据源的告警在统一维度内进行降噪处理，减少不必要的误降噪，本申请会依据告警日志的数据源和告警日志对应的攻击类型对告警日志进行分组。

同时，为了提高去重效率，减少误去重，本申请还依据告警日志的生成时间来对告警日志进行分组。

在实现时，电子设备可基于所述告警日志所属的数据源、告警日志的生成时间、以及告警日志对应的攻击类型，将接收到的告警日志进行分组，形成至少一个日志组；其中，每个日志组所包含的至少一个告警日志对应同一数据源、同一生成时间段、以及同一攻击类型。

其中，生成时间段可由用户配置，可支持选择配置15分钟、30分钟、1小时、3小时、6小时、一天、一周、一月、永久等。这里只是对生成时间段进行示例性地说明，不对其进行具体地限定。

步骤2012：针对每个日志组，确定与该日志组对应的攻击类型，并确定是否存在于所述攻击类型匹配的去重规则。

步骤2013：若存在，则依据匹配的去重规则对该日志组所包含的至少一个告警日志进行去重；

步骤2014：若不存在，则依据通用去重规则对该日志组所包含的至少一个告警日志进行去重。

在本申请中，配置有与多种攻击类型匹配的特定去重规则，以及通用去重规则。

特定去重规则，主要是为适配多种常用的攻击类型，使得去重更为准确。例如，本申请的特定去重规则包括：SQL（Structured Query Language,结构化查询语言）注入攻击去重规则（也被称为结构化查询语言注入攻击去重规则）、XSS（Cross Site ScriptAttack，跨站脚本攻击）攻击去重规则（也被称为跨站脚本攻击去重规则）、信息泄露攻击去重规则、代码注入去重规则等。这里只是对特定去重规则进行示例性地说明，不对其进行具体地限定。

通用去重规则，是指不指定攻击类型，所有告警日志都可匹配的去重规则。

在本申请中，针对每个日志组，电子设备会确定该日志组对应的攻击类型，然后在去重规则库中查找是否存在与该攻击类型匹配的特定去重规则。

若存在与该攻击类型匹配的特定去重规则，则依据匹配的去重规则对该日志组所包含的至少一个告警日志进行去重。

在本申请中，去重规则支持数据源所产生的告警日志中的所有字段，去重规则所支持的字段包括：

威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resourcelocator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

在去重时，电子设备可将日志组中的各告警日志的指定字段与所述特定去重规则中的字段进行匹配，在匹配的多个告警日志中确定指定字段取值一致的至少一个告警日志，将确定出的至少一个告警日志作为重复告警日志。在重复告警日志中，保留其中一个告警日志，其他告警日志作为噪声日志被过滤。

例如，假设日志组A包含10个告警日志，日志组A对应SQL攻击。

电子设备可在去重规则库中查找与SQL攻击对应的SQL攻击去重规则。

由于去重规则库中包含SQL攻击去重规则，电子设备则将10个告警日志与SQL攻击去重规则匹配。假设10个告警日志的指定字段均与SQL攻击去重规则中的字段匹配，并且这10个告警日志的指定字段的取值一致，则电子设备确定这10个告警日志为重复告警日志。电子设备则保留一个告警日志，将其与9个告警日志作为噪声日志进行过滤。

若不存在与该攻击类型匹配的特定去重规则，则依据通用去重规则对该日志组所包含的至少一个告警日志进行去重。

需要说明的是，依据通用去重规则对日志组所包含的至少一个告警日志进行去重的方式与上述特定去重规则相同，这里不再赘述。

需要说明的是，本申请所示的过滤，是指将噪声日志放入至单另的数据库中，比如噪声库，也可以是指将噪声日志删除，这里只是对过滤进行示例性地说明，不对其进行具体地限定。

在本申请中，电子设备可将匹配特定去重规则或通用去重规则所保留的告警日志，以及未匹配特定去重规则以及通用去重规则的告警日志作为经过去重处理后所保留的告警日志，进行后续的第一筛选规则过滤。

参加图3，图3是本申请一示例性实施例示出的一种去重方式的示意图。

如图3所示，电子设备可基于数据源，将接收到的告警日志进行分类。

针对每一数据源产生的告警日志，电子设备还可基于用户配置的生成时间段，将生成时间为同一生成时间段的告警日志划进行分类。

然后，电子设备针对每一数据源中的每一生成时间段中的告警日志，将该告警日志中的同一攻击类型的告警日志分成一组，从而形成多个日志组。每个日志组中包含的至少一个告警日志对应同一数据源、同一生成时间段、以及同一攻击类型。

针对每个日志组，电子设备可确定该日志组对应的攻击类型，然后在去重规则库中查找是否存在与该攻击类型匹配的特定去重规则。

若存在与该攻击类型匹配的特定去重规则，电子设备可依据匹配的特定去重规则对该日志组所包含的至少一个告警日志进行去重。

若不存在，电子设备可依据匹配的通用去重规则对该日志组所包含的至少一个告警日志进行去重。

步骤202：利用预设的第一筛选规则对去重处理后保留的第一告警日志进行过滤，以过滤掉匹配所述第一筛选规则的告警日志。

本申请实施例中，为了方便叙述，本申请将经过去重处理后保留的告警日志称为第一告警日志。

在本申请中，配置有与多种攻击类型和数据源匹配的特定第一筛选规则，以及通用第一筛选规则。

特定第一筛选规则，主要是为适配多种常用的攻击类型，使得第一噪声筛选更为准确。例如，如图4所示，本申请的第一筛选规则包括SQL注入攻击第一筛选规则（也可被称为结构化查询语言注入攻击第一筛选规则）、XSS攻击第一筛选规则（也可被称为跨脚本攻击第一筛选规则）、信息泄露攻击第一筛选规则、代码注入第一筛选规则等，这里只是对第一筛选规则进行示例性地说明，不对其进行具体地限定。

通用第一筛选规则，是指不指定攻击类型，所有告警日志都可匹配的第一筛选规则。

此外，本申请的特定（或通用）第一筛选规则包括规则名称、规则字段、规则字段值以及规则逻辑运算符。规则字段主要是安全告警对应的字段名包括威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resource locator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

规则字段值为这些字段对应的值。

参见图4，图4是本申请一示例性实施例示出的一种第一筛选规则去噪方式的示意图。

如图4所示，在实现步骤203时，电子设备可确定第一告警日志的数据源。然后，电子设备可确定第一告警日志的攻击类型。

在本申请中，针对每一第一告警日志，电子设备可确定是否存在与该第一告警日志的攻击类型和数据源对应的特定第一筛选规则。

若存在与该第一告警日志的攻击类型和数据源对应的第一特定筛选规则，则将该第一告警日志与该特定第一筛选规则进行匹配。在匹配时，电子设备可依据特定第一筛选规则所指示的规则字段及其取值、以及逻辑符，将第一告警日志与特定第一筛选规则进行匹配。若第一告警日志与特定第一筛选规则匹配，则将第一告警日志作为噪声告警日志进行过滤。若第一告警日志与特定第一筛选规则不匹配，则将第一告警日志保留。

若不存在与该第一告警日志的攻击类型和数据源对应的特定第一筛选规则，则将第一告警日志与通用第一筛选规则进行匹配。若第一告警日志与通用第一筛选规则匹配，将确定该第一告警日志为噪声日志，并过滤第一告警日志。若第一告警日志与通用第一筛选规则不匹配，则将保留第一告警日志。

步骤203：利用动态降噪规则库对过经过第一筛选规则过滤处理后保留的第二告警日志进行过滤，以过滤掉命中所述动态降噪规则库中的降噪规则的告警日志，并依据命中的降噪规则所指示的处置方案，对命中的告警日志进行处置；其中，所述降噪规则库是依据研判系统研判出的噪声告警日志及其处置方式动态更新的。

在本申请中，为了方便叙述，将经过第一筛选规则过滤处理后保留的告警日志称之为第二告警日志。

本申请可利用自动处置方式对经过第一筛选规则过滤处理后保留的第二告警日志进行过滤。

在实现时，为了提高自动处置方式的降噪效率，如图5所示，电子设备可确定第二告警日志的数据源。然后，电子设备可确定第二告警日志的攻击类型。

在本申请中，配置有与多种攻击类型和数据源匹配的特定自动处置规则集，以及通用自动处置规则集。

特定自动处置规则集，主要是为适配多种常用的攻击类型，使得自动处置过滤更为准确。例如，如图5所示，本申请的特定自动处置规则集包括SQL注入攻击自动处置规则集（也被称为结构化查询语言注入攻击自动处置规则集）、XSS攻击自动处置规则集（也被称为跨脚本攻击自动处置规则集）、信息泄露攻击自动处置规则集、代码注入自动处置规则集等，这里只是对自动处置规则集进行示例性地说明，不对其进行具体地限定。

通用自动处置规则集，包含不指定攻击类型，所有告警日志都可匹配的自动处置规则。

如图5所示，在本申请中，针对每一第二告警日志，电子设备可确定是否存在与该第二告警日志的攻击类型和数据源对应的特定自动处置规则集。

若存在与该第二告警日志的攻击类型对应的特定自动处置规则集，依据特定自动处置规则集，研判所述第二告警日志。

若不存在与该第二告警日志的攻击类型对应的特定自动处置规则集，则依据通用自动处置规则集，研判所述第二告警日志。

下面结合图6，介绍 “依据通用（或特定）自动处置规则集，研判所述第二告警日志”。

在本申请中，特定自动处置规则集包括动态降噪规则库和已处理告警日志库，通用自动处置规则集包括动态降噪规则库和已处理告警日志库。

1）动态降噪规则库。

动态降噪规则库中包含多种动态降噪规则以及对应的处置方案，动态降噪规则包括key（关键字段）及其对应的value（取值）。其中，处置方案是指对告警日志的处置方案，比如可包括：封禁处置、放开处置等，这里不进行具体地限定。

在本申请中，用户通过研判系统确定告警日志为误报告警日志或者进行封禁处理的告警日志后，用户可依据这类告警日志中与降噪规则相关的字段（比攻击类型、源IP、目的IP、源端口、目的端口、攻击结果等）的生成该告警日志对应的动态降噪规则，并将告警日志对应的动态降噪规则以及处置方案发送给电子设备。电子设备可将接收的动态降噪规则以及处置方案更新在动态降噪规则库中。

其中，告警日志中与降噪规则相关的字段包括：威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resource locator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等；

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等；

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

这样做得好处在于，在实际应用中，会遇到各种各样的攻击场景，预设的降噪规则并不能应对复杂的攻击场景，而通过人工筛选出的噪声告警日志反哺动态降噪规则库，就使得降噪规则库中的降噪规则是在当前时间段内比较通用且准确的降噪规则，所以大大提高了告警日志的降噪效率，以及提高了告警日志的降噪准确率。

此外，在本申请中，还为动态降噪规则库中的动态降噪规则及其处置方案设置了有效时间，动态降噪规则及其处置方案超时时，电子设备可从动态降噪规则库中将超时的动态降噪规则及其处置方案删除。

2）已处理告警日志库。

已处理告警日志库包括已处理告警日志对应的降噪规则及其处置方案。

3）介绍“依据特定自动处置规则集，研判所述第二告警日志”。

在实现时，电子设备可依据第二告警日志中的动态降噪规则库相关的第一关键字段和取值，在与该第二告警日志攻击类型和数据源对应的自动处置规则集所包含的动态降噪规则库中，查找是否存在与所述第一关键字段及其取值对应的动态降噪规则。

若存在与所述第一关键字段及其取值对应的动态降噪规则，则将第二告警日志作为噪声日志过滤。

若不存在与所述第一关键字段及其取值对应的动态降噪规则，电子设备依据所述第二告警日志中与已处理告警日志库相关的第二关键字段，在与该第二告警日志攻击类型和数据源对应的自动处置规则集所包含的已处理告警日志库中，查找是否存在与所述第二关键字段匹配的已处理告警日志对应的已处理降噪规则。

若存在与所述第二关键字段匹配的已处理告警日志对应的已处理降噪规则，确定所述第二告警日志中的第二关键字段的取值与所述已处理降噪规则的第二关键字段的取值是否一致；

若第二告警日志中的第二关键字段的取值与所述已处理降噪规则的第二关键字段的取值一致，则确定第二告警日志为噪声日志，并过滤第二告警日志。

若第二告警日志中的第二关键字段的取值与所述已处理降噪规则的第二关键字段的取值不一致，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志。

若不存在与所述第二关键字段匹配的已处理告警日志对应的已处理降噪规则，则保留第二告警日志。

需要说明的是，上述第一关键字段和第二关键字段可以相同，也可以不同，这里只是对第一关键字段和第二关键字段进行示例性地说明，不对其进行具体地限定。

其中，第一关键字段包括：威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resource locator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等；

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等；

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

第二关键字段包括：威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resource locator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等；

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等；

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

步骤204：利用预设的第二筛选规则对经过自动处置方式过滤后保留的第三告警日志进行过滤，以过滤掉匹配所述第二筛选规则的日志；其中，所述第二筛选规则由数据源监控设备的资产信息、漏洞信息、以及告警日志的特定字段中的至少一项生成。

在本申请实施例中，为了方便叙述，本申请将经过动态降噪规则库过滤后保留的告警日志称为第三告警日志。

在本申请实施例中，第二筛选规则与第一筛选规则不同的是，第一筛选规则是由规则字段、规则字段的取值、以及逻辑运算符组成。比如第一筛选规则为SIP（源IP地址）=1.0.0.0&DIP（目的IP地址）=2.0.0.0。

第二筛选规则又可以被称为高级规则，第二筛选规则由数据源监控设备的资产信息、漏洞信息、以及告警日志的特定字段中的至少一项生成。可选地，第二筛选规则可以是正则规则，正则规则对于以文本为主的告警日志的匹配效果更好。其中，告警日志的特定字段包括：告警的攻击字段包括源IP、目的IP、源端口、目的端口、攻击类型、攻击结果、规则ID、URL、域名、IOC规则、请求头、请求体、数据来源、告警时间、攻击类型、事件描述、攻击者、攻击者端口、受害者、受害者端口、攻击结果、威胁等级、采集时间、服务器类型、攻击资产名称、受害资产名称、攻击阶段、访问方向、URL、原数据ID、攻击资产类型、受害服务器类型、攻击子类、响应码、攻击类型ID、受害主机名、攻击主机名、HTTP请求头、HTTP请求体、HTTP（Hypertext Transfer Protocol，超文本传输协议）响应头、HTTP响应体、HTTP请求URI、HTTP agent、HTTP请求方法、HTTP请求Host（主机）、HTTP请求cookie（一种保存在客户机中用于访问网页的简单的文本文件）、HTTP请求参数、HTTP状态码、HTTP响应体字节数、Content-Type（内容类型）、漏洞描述、漏洞危害、漏洞名称、漏洞类型、X-Forwarded-For（HTTP请求中的一个字段，用于获取真实IP地址）、源MAC地址、目的MAC地址、原始包字节数、原始包数据、攻击方法、上行负载长度、上行负载内容、下行负载长度、下行负载内容、IOC类型、IOC内容、威胁类型、恶意家族、攻击事件/团伙、IOC来源、应用层协议、Referer（HTTP请求中的一个字段，用于指示Web访问链接的来源）、CVE_ID、CNNVD_ID、IOC唯一标识、DNS（Domain Name System，域名系统）类型、传输层协议、漏洞编号、连接方向、受害组织、应用信息、应用版本、操作系统、操作系统版本号、原始请求、原始响应、攻击载荷、攻击载荷位置、域名、探针IP、请求、响应、攻击分类、是否白名单、弱口令信息、攻击链阶段、异常行为类型、弱口令登录状态、IOC原始值、远控类型、请求Content-Type、HTTP协议版本、浏览器代理、访问域名、篡改原因、篡改网址、请求Content-Length（内容-长度）、响应Content-Type（内容-类型）、响应Content-Length（内容-长度）、冲突MAC（Media Access ControlAddress，媒体存取控制位址）、上行速率阈值、实际下行速率、实际上行速率、受害者资产组ID、IOC状态等中的一个或多个威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resource locator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等；

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等；

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

其中，噪声告警日志可包括：误报的告警日志、无效的告警日志、或者不关注的告警日志等。

在本申请中，配置有与多种攻击类型和数据源匹配的特定第二筛选规则，以及通用第二筛选规则。

特定第二筛选规则，主要是为适配多种常用的攻击类型，使得第二噪声筛选更为准确。例如，如图7所示，本申请的第二筛选规则包括SQL注入攻击第二筛选规则、XSS攻击第二筛选规则、信息泄露攻击第二筛选规则、代码注入第二筛选规则等，这里只是对第二筛选规则进行示例性地说明，不对其进行具体地限定。

通用第二筛选规则，是指不指定攻击类型，所有告警日志都可匹配的第二筛选规则。

参见图7，图7是本申请一示例性实施例示出的一种第二筛选规则降噪方式的流程图。

如图7所示，在实现步骤205时，电子设备可确定第三告警日志的数据源。然后，电子设备可确定第三告警日志的攻击类型。

在本申请中，针对每一第三告警日志，电子设备可确定是否存在与该第三告警日志的攻击类型和数据源对应的特定第二筛选规则。

若存在与该第三告警日志的攻击类型和数据源对应的特定第二筛选规则，则将该第三告警日志与该特定第二筛选规则进行匹配。在匹配时，电子设备可依据将第三告警日志与第二筛选规则所指示的正则表达式进行匹配。若第三告警日志与特定第二筛选规则匹配，则将第三告警日志作为噪声告警日志进行过滤。若第三告警日志与特定第二筛选规则不匹配，则将第三告警日志保留。

若不存在与该第三告警日志的攻击类型和数据源对应的特定第二筛选规则，则将第三告警日志与通用第二筛选规则进行匹配。若第三告警日志与通用第二筛选规则匹配，将确定该第三告警日志为噪声日志，并过滤第三告警日志。若第三告警日志与通用第二筛选规则不匹配，则将保留第三告警日志。

步骤205：针对经过第二筛选规则过滤后保留的第四告警日志，依据所述第四告警日志匹配的降噪剧本对所述第四告警日志进行过滤；其中，所述降噪剧本表征所述第四告警日志所指示的目标业务对应的降噪逻辑。

在本申请中，为了方便叙述，将经过第二筛选规则过滤后保留的告警日志称之为第四告警日志。

本申请的剧本代表告警日志所指示的目标业务对应的降噪逻辑。具体地，本申请的剧本包括至少一个顺序连接的节点，每个节点代表构成目标业务的电子设备所提供的服务，至少一个节点依据目标业务对应的噪声判断逻辑连接。

在实际应用中，所述降噪剧本依据资产信息、漏洞信息、弱口令信息、安全策略信息、和/或告警日志信息由用户自定义；所述降噪剧本支持一种业务或者多种业务的组合；换句话来说，用户可以通过可视化界面，依据资产信息、漏洞信息、弱口令信息、安全策略信息、威胁情报信息、流量报文信息、和/或告警日志信息，将自身业务系统中的安全设备提供的安全能力进行拖拉拽等方式进行自定义编排，形成降噪剧本。

设备所提供的安全能力包括：资产扫描、漏洞扫描、威胁情报、WAF、FW（Firewall，防火墙）、负载均衡等设备的安全检测和防护能力，这里只是示例性地说明，不对其进行具体地限定。

比如对于目标业务系统，设备A1提供查特定资产服务，设备A2提供查是否存在漏洞的服务。

用户可将查找特定资产服务设置为第一节点，将查找是否存在漏洞的服务设置为第二节点。目标业务系统的降噪逻辑是先看用户查询业务系统的特定资产，然后再检测针对该特定资产是否存在漏洞。依据这样的降噪逻辑，可确定先执行第一节点，再执行第二节点，并将第一节点和第二节点相连，形成降噪剧本。

如图8所示，在实现步骤106时，电子设备确定所述第四告警日志对应的剧本匹配条件；其中，所述剧本匹配条件包括：数据源、攻击类型、源IP段和目标IP段，这里只是对剧本匹配条件进行示例性地说明，不对其进行具体地限定。

电子设备可确定与所述剧本匹配条件对应的降噪剧本。电子设备可调用所述降噪剧本，依次利用所述降噪剧本中的各个节点对所述第四告警日志进行研判，并基于各个节点的研判结果，确定所述第四告警日志是否为噪声日志。若所述第四告警日志为噪声日志，则将所述第四告警日志过滤。

再以上述例子为例，比如对于目标业务系统，设备A1提供查特定资产服务，设备A2提供查是否存在漏洞的服务。

用户可将查找特定资产服务设置为第一节点，将查找是否存在漏洞的服务设置为第二节点，然后按照降噪逻辑（即先执行第一节点，再执行第二节点），将第一节点和第二节点相连，形成降噪剧本A。

假设电子设备确定匹配第四告警日志的降噪剧本为降噪剧本A，电子设备可调用降噪剧本A。然后利用第一节点对第四告警日志进行研判，发现第四告警日志是针对该业务系统的特定资产的查询。然后利用第二节点对第四告警日志进行研判，假设第二节点显示该特定资产的漏洞已修复，但第四告警日志显示有漏洞，则表明该第四告警日志为误报告警日志，为噪声告警日志，则将该第四告警日志降噪。

在本申请实施例中，若第四告警日志不是噪声日志，则将第四告警日志确定为经过降噪剧本过滤后保留的第五告警日志。

此外，在本申请实施例中，若剧本降噪的研判结果确定第四告警日志为真实告警日志，则可对包含第四告警日志的源IP（即攻击者IP）的流量进行封堵，和/或将第四告警日志标记为攻击日志。

其中，上述告警日志信息包括如下一个或多个字段：威胁告警类，如攻击者、受害者、攻击类型、攻击结果、URL（uniform resource locator，统一资源定位系统）、响应码、访问方向等；

威胁情报类，如IOC（Indicators of Compromise，感染指标）规则、IOC类容、攻击者、受害者、攻击类型、威胁类型、恶意家族、攻击事件/团伙等：

资产信息类：资产类型、厂商、开放端口、开放服务、操作系统、组件、重要资产、边缘资产等；

漏洞信息类：漏洞编号、漏洞、漏洞等级、漏洞状态等；

安全策略类：已处置、未处置等；

流量元数据类：上行负载、下行负载、URI（Uniform Resource Identifier，统一资源标识符）、请求头、响应头、请求体、响应体等。

这里只是示例性地说明，不对其进行具体地限定。

步骤206：依据AI白模型降噪方式的指示，依据AI白模型对经过剧本降噪方式保留的第五告警日志进行过滤，并将所述AI白模型过滤保留的第六告警日志发送给研判系统，以由研判人员对所述第六告警日志进行过滤。

本申请引起机器学习方法进行降噪，使得降噪更为准确以及自动化。

下面从AI白模型（也可被称为机器学习白模型）的训练与利用AI白模型进行降噪两方面，对步骤107进行详细地说明。

1）AI白模型的训练。

在本申请实施例中，本申请创建了与各AI匹配条件对应的AI白模型集合。其中AI匹配条件包括：数据源类型、攻击类型、源IP和业务系统IP。这里只是对AI匹配条件进行示例性地说明，不对其进行具体地限定。

AI白模型集合包括多个AI白模型，每个AI白模型是依据预设的白流量字段训练而成的。比如白流量字段包括URL字段、IP字段（包括源IP和/或目的IP），则可以依据URL字段训练一个AI白模型，可以依据IP字段训练一个AI白模型。

下面详细介绍一下AI白模型的训练过程。

AI白模型的训练包括：训练数据的获取、AI白模型的创建与训练、AI白模型评估、AI白模型的发布。

如图9所示，图9中的训练数据采集模块和训练数据清洗模块用于上述训练数据的获取。图9中的算法建模模块用于AI白模型的创建于训练。图9中的模型评估模块和模型发布模块分别用于AI白模型评估和AI白模型的发布。

训练数据采集模块，可以通过镜像业务流量的方式对流往目标业务系统的Web流量进行采集。

训练数据清洗模块，可对采集的训练数据进行清洗。清洗方式包括去重、归一、异常流量过滤等，得到正常的白模型流量，这里只是对清洗方式进行示例性地说明，不对其进行具体地限定。

算法建模模块，可以通过决策树、随机森林、逻辑回归、向量机、朴素贝叶斯等方式建立AI白模型，然后利用清洗后的训练数据（白流量的预设字段）对AI白模型进行训练。

算法评估模块，可以对已训练的AI白模型进行评估。例如，可以通过F1-socre算法对AI白模型进行评估。

算法发布模块，可在AI白模型评估后达到发布要求时，对AI白模型进行发布。

2）利用AI白模型（也被称为机器学习白模型）进行降噪。

在本申请实施例中，电子设备可确定第五告警日志对应攻击是否为攻击。

若第五告警日志对应的攻击是否不是预设的特定攻击，则将所述第五告警日志发送给研判系统，以由研判人员对第五告警日志进行过滤。其中，特定攻击可以包括Web（网络）攻击，如HTTP攻击、UDP攻击等，这里只是示例性地说明，不对其进行具体地限定。

若第五告警日志对应的攻击是预设的特定攻击，则依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤；

参见图9，在依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤时，电子设备可 确定所述第五告警日志对应的AI匹配条件；所述AI匹配条件包括：数据源类型、攻击类型、源IP段和业务系统IP；

电子设备可在已训练的至少一个AI白模型集合中，确定与所述AI匹配条件匹配的目标AI白模型集合；其中，所述目标AI白模型集合中的各AI白模型是由发往目标业务系统的白流量的各预设字段训练而成的。

电子设备 将所述第五告警日志输入至所述目标AI白模型集合中的至少一个AI白模型中，以由所述至少一个AI白模型对所述第五告警日志进行研判；

电子设备接收各AI白模型的输出结果，并基于接收到的各AI白模型的输出结果，确定所述第五告警日志是否为噪声日志；

若所述第五告警日志是噪声日志，电子设备则将所述第五告警日志过滤。需要说明的是，AI白模型的输出结果可显示噪声类型，比如显示噪声类型是误报告警日志等。

若所述输出结果显示所述第五告警日志不是噪声日志，则将所述第五告警日志发送给研判系统，以由研判人员进行第五告警日志的过滤。其中，研判系统提供了可视化的操作界面，用户可以通过研判系统的界面对上述自动化筛选出的保留的告警日志进行最后的研判，若为噪声日志，则将噪声日志过滤。若不是噪声日志，则依据告警日志的内容，处置该告警日志对应的设备等。

例如，假设预设白模型集合A、白模型结合B。白模型集合A包括：白流量的URL字段训练的AI白模型A1、白流量的IP字段训练的AI白模型A2。假设第五告警日志匹配的是AI白模型集合1。

电子设备则将第五告警日志分别输入至AI白模型A1、AI白模型A2。然后，电子设备可接收AI白模型A1和AI白模型A2输出结果，并基于这两个白模型输出结果综合考虑第五告警日志是否为噪声日志。比如电子设备可以对这两个白模型设置权重，通过加权的方式来确定综合考虑第五告警日志是否为噪声日志等。当然在实际应用中，电子设备还可以多数白模型的输出结果来确定第五告警日志是否为噪声日志，比如一个白模型集合中有10个白模型，9个白模型输出结果为噪声日志，则电子设备第五告警日志确定为噪声日志。这里只是示例性地说明，不对其进行具体地限定。

此外，需要说明的是，上述过滤顺序只是示例性地说明，在实际应用中，用户可以灵活选择上述一种或多种降噪方式，并自定义选择出的降噪方式的顺序。

本申请旨在提出一种自动化的降噪方式，可以较为准确地自动识别出噪声告警日志，减少人工对于噪声告警日志识别的工作量，提高告警日志降噪的工作效率。

第一方面，本申请通过多种降噪规则结合，从去重、预设第一筛选规则和第二筛选规则，业务逻辑、动态反哺和机器学习等多种维度方式，以及通过逐层过滤进行噪声日志识别及过滤，使得流转至人工进行人工降噪的告警日志的数量急剧减少，实现了较为准确的自动化降噪。

第二方面，在本申请中，人工识别的预设噪声类型的告警日志及其处置方式会被加入至动态降噪规则库，反哺动态降噪规则，减少了研判人员分析告警的负担；

第三方面，通过剧本降噪方式，将人工对于目标业务对应的噪声判断逻辑编排成降噪剧本，通过降噪剧本研判出噪声日志，实现了业务逻辑层的告警日志的降噪。

第四方面，本申请通过机器学习将访问业务系统的白流量进行算法建模，模型评估达到应用的标准后将模型发布，将模型应用到降噪场景，告警日志可以直接通过AI白模型进行降噪。本申请将机器学习引用降噪流程，使得整个降噪过程准确率更高，更为智能化。

参见图10，图10是本申请一示例性实施例示出的一种降噪系统的架构示意图。

如图10所示，该降噪系统包括：多源安全告警接入模块、数据采集模块、数据解析模块、标准库、安全降噪模块、降噪库和研判系统。

其中，多源安全接入模块用于接入多种数据源的告警日志。

数据采集模块用于采集多个数据的告警日志。

数据解析模块，用于对采集的告警日志进行清洗、以及将多个数据源中的字段解析为安全降噪模块可识别的统一字段、对告警日志中的字段及其取值进行补全等操作，形成标准告警日志，并标准报警日志加入到标准库中。

安全降噪模块可从标准库中获取告警日志，然后安全降噪模块可依据上述步骤201至步骤207进行降噪处理。简单来说，安全降噪模块可依次对告警日志进行去重处理，第一筛选规则过滤、动态降噪规则库过滤、第二筛选规则过滤、降噪剧本过滤以及AI白模型过滤（又称机器学习白模型）。并将经过上述层层过滤保留的告警日志发送给研判系统，以由研判人员进行判断。此外，安全降噪模块还可将过滤掉的噪声告警日志添加在降噪库中。

参见图11，图11是本申请一示例性实施例示出的一种电子设备的硬件结构图。所述电子设备包括存储器，用于存放计算机程序；处理器，用于执行所述存储器上所存放的计算机程序时，实现前面任意实施例示意的方法步骤。

与前述日志降噪方法的实施例相对应，本申请还提供了日志降噪装置的实施例。装置实施例可以参照前面任意方法实施例。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本申请日志降噪装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图11所示，为本申请日志降噪装置所在电子设备的一种硬件结构图，除了图11所示的处理器、内存、网络出接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种日志降噪方法，其特征在于，所述方法包括：

接收至少一个数据源发送的告警日志；

通过如下一种或者多种方式对接收到的告警日志进行降噪处理：

自动处置方式；所述自动处置方式用于指示利用动态降噪规则库对需要采用自动处置方式的告警日志进行过滤，以过滤掉命中所述动态降噪规则库中的降噪规则的告警日志，并依据命中的降噪规则所指示的处置方案，对命中的告警日志进行处置；其中，所述降噪规则库是依据研判系统研判出的噪声告警日志及其处置方式动态更新的；

剧本降噪方式；其中，所述剧本降噪方式用于指示利用降噪剧本对需要采用剧本降噪方式的告警日志进行过滤；其中，所述降噪剧本表征告警日志所指示的目标业务对应的降噪逻辑；

AI白模型降噪方式；所述AI白模型降噪方式用于指示依据AI白模型对需要采用AI白模型降噪方式的告警日志进行过滤；所述AI白模型是由白流量的预设字段训练而成。

2.根据权利要求1所述的日志降噪方法，其特征在于，所述通过如下一种或者多种方式对接收到的告警日志进行降噪处理，包括：

对接收到的告警日志进行去重处理；

利用预设的第一筛选规则对去重处理后保留的第一告警日志进行过滤，以过滤掉匹配所述第一筛选规则的告警日志；

依据自动处置方式的指示，针对经过第一筛选规则过滤后保留的第二告警日志，利用与所述第二告警日志匹配的动态降噪规则库进行过滤，以过滤掉命中所述动态降噪规则库中的动态降噪规则的告警日志，并依据命中的动态降噪规则所指示的处置方案，对命中的告警日志进行处置；

利用预设的第二筛选规则对经过自动处置方式过滤后保留的第三告警日志进行过滤，以过滤掉匹配所述第二筛选规则的日志；其中，所述第二筛选规则由数据源监控设备的资产信息、漏洞信息、以及告警日志的特定字段中的至少一项生成；

依据剧本降噪方式的指示，针对经过第二筛选规则过滤后保留的第四告警日志，依据与所述第四告警日志匹配的降噪剧本对所述第四告警日志进行过滤；

依据AI白模型降噪方式的指示，依据AI白模型对经过剧本降噪方式保留的第五告警日志进行过滤，并将所述AI白模型过滤保留的第六告警日志发送给研判系统，以由研判人员对所述第六告警日志进行过滤。

3.根据权利要求2所述的日志降噪方法，其特征在于，所述对接收到的告警日志进行去重处理，包括：

基于所述告警日志所属的数据源、告警日志的生成时间、以及告警日志对应的攻击类型，将接收到的告警日志进行分组，形成至少一个日志组；其中，每个日志组所包含的至少一个告警日志对应同一数据源、同一生成时间段、以及同一攻击类型；

针对每个日志组，确定与该日志组对应的攻击类型，并确定是否存在于所述攻击类型匹配的特定去重规则；

若存在，则依据匹配的特定去重规则对该日志组所包含的至少一个告警日志进行去重；

若不存在，则依据通用去重规则对该日志组所包含的至少一个告警日志进行去重；

其中，所述去重规则所支持告警日志中的字段包括：源IP、目的IP、源端口、目的端口、攻击类型、攻击结果、规则ID、URL、域名、IOC规则、请求头、请求体中的一个或多个。

4.根据权利要求2所述的日志降噪方法，其特征在于，所述利用与所述第二告警日志匹配的动态降噪规则库进行过滤，以过滤掉命中所述动态降噪规则库中的动态降噪规则的告警日志，并依据命中的动态降噪规则所指示的处置方案，对命中的告警日志进行处置，包括：

针对每一第二告警日志，确定第二告警日志的攻击类型和数据源；

确定是否存在与所述攻击类型和数据源对应的动态降噪规则库；

若存在与所述攻击类型和数据源对应的动态降噪规则库，则在确定出的动态降噪规则库中，依据所述第二告警日志中与动态降噪规则库相关的第一关键字段及其取值，在确定出的动态降噪规则库中查找是否存在与所述第一关键字段及其取值对应的动态降噪规则；

若存在与所述第一关键字段及其取值对应的动态降噪规则，则确定所述第二告警日志为噪声日志并过滤，并依据所述动态降噪规则所指示的处置方案对所述第二告警日志进行处置；

若不存在与所述第一关键字段及其取值对应的动态降噪规则，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志。

5.根据权利要求4所述的日志降噪方法，其特征在于，所述方法还包括：

若不存在与所述攻击类型和数据源对应的动态降噪规则库，则在与所述第二告警日志的攻击类型和数据源所匹配的已处理告警日志库中，依据所述第二告警日志中与已处理告警日志库相关的第二关键字段，查找是否存在与所述第二关键字段匹配的已处理告警日志对应的已处理降噪规则；

若不存在，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志；

若存在，则确定所述第二告警日志中的第二关键字段的取值与所述已处理降噪规则的第二关键字段的取值是否一致；

若一致，则确定所述第二告警日志为噪声日志并过滤，并依据所述已处理降噪规则所指示的处置方案对所述第二告警日志进行处置；

若不一致，则确定所述第二告警日志为经过动态降噪规则库过滤后保留的第三告警日志。

6.根据权利要求4所述的日志降噪方法，其特征在于，所述方法还包括：

接收研判系统发送的动态降噪规则；所述动态降噪规则是所述研判系统依据所述告警日志的研判结果类型、该研判结果类型对应的处置方式、所述告警日志、资产信息、漏洞信息、弱口令信息、安全策略、安全知识库信息中的一个或多个生成的；其中，所述研判结果类型包括：误报告警日志，非误报攻击告警日志；所述非误报攻击告警日志包括：无效告警日志和真实告警日志；误报告警日志对应的处置方式是设置误报标记，并过滤该误报告警日志；无效告警日志对应的处置方式是设置无效标记，并过滤该告警日志；真实告警日志对应的处置方式是封堵该告警日志；

依据所述动态降噪规则，更新所述动态降噪规则库。

7.根据权利要求2所述的日志降噪方法，其特征在于，所述依据与所述第四告警日志匹配的降噪剧本对所述第四告警日志进行过滤，包括：

确定所述第四告警日志对应的剧本匹配条件；其中，所述剧本匹配条件包括：数据源、攻击类型、源IP段和目的IP段；

确定与所述剧本匹配条件对应的降噪剧本；其中，所述降噪剧本包括顺序连接的至少一个节点，每个节点代表构成目标业务的电子设备所提供的服务；至少一个节点依据目标业务对应的噪声判断逻辑连接；所述目标业务为第四告警日志所指示的业务；所述降噪剧本依据资产信息、漏洞信息、弱口令信息、安全策略信息、威胁情报信息、流量报文信息、和/或告警日志信息由用户自定义；所述降噪剧本支持一种业务或者多种业务的组合；

调用所述降噪剧本，依次利用所述降噪剧本中的各个节点对所述第四告警日志进行研判；

基于各个节点的研判结果，确定所述第四告警日志是否为噪声日志；

若所述第四告警日志为噪声日志，则将所述第四告警日志过滤；

所述方法还包括：

若所述研判结果指示所述第四告警日志为真实告警日志，则对包含由第四告警日志中源IP的流量进行封堵、和/或将所述第四告警日志标记为攻击日志。

8.根据权利要求2所述的日志降噪方法，其特征在于，所述依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤，包括：

若第五告警日志对应的攻击是预设的特定攻击，则依据AI白模型对降噪剧本过滤后保留的第五告警日志进行过滤；

所述方法还包括：

若第五告警日志对应的攻击是否不是所述预设的特定攻击，则将所述第五告警日志发送给研判系统，以由研判人员判断第五告警日志是否为噪声日志。

9.根据权利要求1或8所述的日志降噪方法，其特征在于，所述依据AI白模型对经过剧本降噪方式保留的第五告警日志进行过滤，包括：

确定所述第五告警日志对应的AI匹配条件；所述AI匹配条件包括：数据源类型、攻击类型、源IP段和业务系统IP；

在已训练的至少一个AI白模型集合中，确定与所述AI匹配条件匹配的目标AI白模型集合；其中，所述目标AI白模型集合中的各AI白模型是由发往目标业务系统的白流量的各预设字段训练而成的；

将所述第五告警日志输入至所述目标AI白模型集合中的至少一个AI白模型中，以由所述至少一个AI白模型对所述第五告警日志进行研判；

接收各AI白模型的输出结果，并基于接收到的各AI白模型的输出结果，确定所述第五告警日志是否为噪声日志；

若所述第五告警日志是噪声日志，则将所述第五告警日志过滤；若所述第五告警日志不是噪声日志，则将所述第五告警日志发送给研判系统，以由研判人员进行第五告警日志的过滤。

10.一种电子设备，其特征在于，包括：

存储器，用于存放计算机程序；

处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-9中任一项所述的日志降噪方法。