CN115529595A - 一种日志数据的异常检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种日志数据的异常检测方法、装置、设备及介质。该方法包括：根据目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换日志数据；基于索引模板中映射的数据格式对待转换日志数据处理，得到对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引；基于目标日志数据索引和预设告警规则从待使用日志数据中确定出待检测服务器的目标异常日志数据，及待检测服务器对应的目标异常事件；根据目标异常事件和异常原因分析模型确定出待检测服务器的异常原因。本发明的技术方案提高了日志数据异常检测和异常处理的效率。

Description

一种日志数据的异常检测方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志数据的异常检测方法、装置、设备及介质。

背景技术

当前，移动互联网的蓬勃发展使得人们在日常生活中已经离不开计算机和智能设备提供的服务，但这些服务在实际运行的过程中面临网络安全的多种威胁，常常由于漏洞攻击和运行状态的改变造成服务中断。因此，需要对服务器的日志数据进行异常检测。

现有的日志异常检测方式运维人员利用关键字搜索日志信息，使用Linux脚本工具进行检查，根据原有经验进行定位和原因的分析，找出实际的故障点。或者预先通过Flume进行日志的收集，然后将数据发送到Kafka中，最后存入Hdfs进行离线分析，保证数据的一致性并定期排查。第一种实现方式缺点如下：脚本工具扫描的粒度不够细致，问题原因的来源过于依赖运维人员的已有经验，而且手动工作量较多，使得排查速度慢且难以扩展。第二种实现方式缺点如下：问题排查不及时，海量信息的查找较为耗时，无法第一时间告警发现。大量日志数据难以被充分利用，且挖掘根因的准确度较低。

因此，目前的日志告警方法与检测系统包含大量的运维工作，运维成本较高，借助实时的日志检测系统进行异常信息的采集和匹配，为运维人员在分析异常问题时提供依据，提高排查的准确率和效率。

发明内容

本发明提供了一种日志数据的异常检测方法、装置、设备及介质，以实现自动获取服务器的日志数据并分析，确定出异常的日志数据以及对应的异常原因。

根据本发明的一方面，提供了一种日志数据的异常检测方法，该方法包括：

根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据；

其中，所述目标关键字段包括：请求时间字段、用户地址字段、服务地址字段、服务端口字段、请求参数字段、线程字段以及设备MAC地址字段；

基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引；

基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件；

根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因。

根据本发明的另一方面，提供了一种日志数据的异常检测装置，该装置包括：

待转换日志数据获取模块，用于根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据；

其中，所述目标关键字段包括：请求时间字段、用户地址字段、服务地址字段、服务端口字段、请求参数字段、线程字段以及设备MAC地址字段；

目标日志数据索引建立模块，用于基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引；

目标异常日志数据确定模块，用于基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件；

异常原因确定模块，用于根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的日志数据的异常检测方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的日志数据的异常检测方法。

本发明实施例的技术方案，通过根据目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换日志数据；基于索引模板中映射的数据格式对待转换日志数据处理，得到对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引；基于目标日志数据索引和预设告警规则从待使用日志数据中确定出待检测服务器的目标异常日志数据，及待检测服务器对应的目标异常事件；根据目标异常事件和异常原因分析模型确定出待检测服务器的异常原因。本发明的技术方案提高了日志数据异常检测和异常处理的效率，解决了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，并确定异常原因。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所提供的一种日志数据的异常检测方法的流程图；

图2为本发明实施例二提供的一种日志数据的异常检测方法的流程图；

图3为本发明实施例二提供的贝叶斯原因分类示意图；

图4为本发明实施例三提供的一种日志数据的异常检测装置的结构示意图；

图5为本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一所提供的一种日志数据的异常检测方法的流程图，本实施例可适用于需要对服务器产生的异常日志进行检测，并解决异常的情况，该方法可以由日志数据的异常检测装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于日志数据的异常检测服务器中。如图1所示，该方法包括：

S110、根据目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换日志数据。

其中，目标关键字段包括：请求时间字段、用户地址字段、服务地址字段、服务端口字段、请求参数字段、线程字段以及设备MAC地址字段，目标关键字段是预先选定或者设置的重要字段，用于表示日志数据中的关键信息。待检测服务器可以是任意需要进行日志异常检测的服务器，例如，待检测服务器是应用服务器，应用服务器可以为对应的客户端提供服务，在提供服务时客户端可以向应用服务器发送请求，请求时间字段用于表示请求相关的时间信息，用户地址字段可以表示用户的地址信息，服务地址字段用于表示应用服务器的地址，服务端口字段用于表示服务器的端口信息，请求参数字段用于表示请求的具体参数，线程字段指的是处理该请求所调用的线程信息，设备MAC字段用于表示用户所使用的终端的MAC地址，日志数据指的是待检测服务器在运行过程中产生的日志数据，待转换日志数据指的是对与目标关键字段相匹配的日志数据，例如包含目标关键字段的日志数据。

具体的，可以将待检测服务器进行配置，使待检测服务器将产生的日志数据中包含的目标关键字段的日志数据发送至日志数据的异常检测装置，并将包含目标关键字段的日志数据作为待转换日志数据，待检测服务器与日志数据的异常检测装置之间可以配置相应的接口以及协议，用于进行待转换日志数据的传输，待转换日志数据的获取可以是待检测服务器的主动发送，还可以是日志数据的异常检测装置主动获取。

在上述技术方案的基础上，所述根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据，包括：基于并行的采集方式从与各所述待检测服务器关联的日志数据中采集包含所述目标关键字段的日志数据，并将所述日志数据确定为待转换日志数据。

其中，并行的采集方式指的各个待检测服务器均有对应的日志传输通道，待检测服务器的数量为一个或者多个，待检测服务器可以但不限于应用服务器、系统服务器、网络服务器。

在实际应用中，需要日志数据的异常检测的服务器可以是多个，因此需要采用并行的采集方式进行日志数据的采集传输，可以将各个服务器中包含目标关键字段的日志数据提取出，可以是过滤的方式，将提取出的包含目标关键字段的日志数据作为待转换日志数据。

S120、基于索引模板中映射的数据格式对待转换日志数据处理，得到与待转换日志数据对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引。

其中，索引模板指的是用于建立日志索引的模板，可以是ES索引模板，数据格式可以是该索引模板所映射数据格式，例如数据格式为ES索引模板中映射的Json数据格式，待使用日志数据指的是对待转换日志数据进行格式转换后得到的日志数据，日志数据分组方式指的待使用日志数据在索引中的分组方式，例如，将包含地址字段的日志数据分为一个组，目标日志数据索引可以是按照索引模板建立的与待使用日志数据对应的索引。

具体的，可以基于索引模板中映射的数据格式对待转换日志数据处理，得到与待转换日志数据对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引。这样的好处在于，可以快速查找待使用日志数据，提高对日志异常检测的效率。

在上述技术方案的基础上，所述基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引，包括：根据所述索引模板中映射的数据格式将待转换日志数据的格式转换处理，以得到与所述待转换日志数据对应的待使用日志数据；基于所述索引模板的日志数据分组方式将所述待使用日志数据进行分组，以建立与所所述待使用数据对应的目标日志数据索引。

具体的，可以按照索引模板中映射的数据格式对待转换日志数据的数据格式进行转换，如将包含关键信息的待转换数据进行加工，匹配日志的预定义模板，解析成ES索引模板中映射的Json数据，例如："project"->"zjgg"，"level"->"error"，"time"->"2022-03-1015-30-30"，"ip"->"10.0.0.1"等，得到的Json格式数据即为待使用日志数据。进一步，按照日志数据分组方式对待使用日志数据进行分组，相同类型的日志数据或者包含相同字段日志数据分为同一组，并建立与待使用日志数据对应目标日志数据索引。

在上述技术方案的基础上，在所述基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引之后，还包括：将所述待使用日志数据发送至日志存储服务器中并存储，以在对所述待检测服务器进行日志数据的异常检测时，基于所述日志存储服务器的地址以及目标传输协议从所述日志存储服务器中获取待使用日志数据。

其中，日志存储服务器可以是用于存储日志数据的服务器，目标传输协议指的是从日志存储服务器中

具体的，在建立目标日志数据索引之后，可以先将待使用日志数据以固定的数量进行批量发送至日志存储服务器，以降低采集端的压力或者待检测服务器的存储压力。进一步，在需要对待检测服务器进行日志数据异常检测时，可以直接从日志数据存储服务器中获取待使用日志数据，采用安全散列算法得到日志服务器地址，使用syslog协议进行传输，发送到用于日志数据的异常检测的装置或者服务集群，以及发送到作为历史记录的备份集群。

S130、基于目标日志数据索引和预设告警规则从待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件。

其中，预设告警规则可以是运维人员预先设置的告警规则，用于判定待检测中的异常的日志数据，也即目标异常日志数据，相应的，与该目标异常日志数据对应的事件为目标异常事件，目标异常事件用于表示待检测服务器发生的异常，例如异常事件可以是请求超时、请求失败。

具体的，可以通过目标日志数据索引查找待检测服务器的待使用日志数据，并根据预设告警规则判断出哪些待使用日志数据是异常的，如果是异常的，则可以判定其为目标异常日志数据，目标异常日志数据对应的事件作为待检测服务器对应的目标异常事件。这样设置的好处在于，可对服务日志进行实时处理，对关键信息精准采集，减少了全文检索的复杂性，异常信息能够及时反馈，降低了故障对企业的影响。降低了运维人员排查的任务量并提升了原因查找的效率，有利于保持系统业务的快速增长和服务的高可用性。

在上述技术方案的基础上，所述基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件，包括：基于所述目标日志数据索引确定待分析日志数据，并基于所述预设告警规则对所述待分析日志数据进行匹配分析，以在当前待分析日志数据超过所述预设告警规则的设定范围时，将当前待分析日志数据确定为所述目标异常日志数据；

将所述预设告警规则对应的预设异常事件确定为与所述待检测服务器对应的目标异常事件。

其中，待分析日志数据可以理解为需要分析是否异常的日志数据，基于目标日志数据索引查找到的任意一个待使用日志数据均可以作为待分析日志数据，预设事件可以是预先设置的与预设告警规则相对应的事件名称。

具体的，可以通过目标日志数据索引从待使用日志数据中选择一个或者多个作为待分析日志数据，对该待分析日志数据进行分析确定其是否超过所述预设告警规则的设定范围，例如，可以是确定待分析日志数据中的请求时间字段，根据该字段内容的时间值可以知道该请求被处理时间，进而将处理时间时间与预先的告警规则中的请求时间阈值对比，如果是超出请求时间阈值，说明该请求处理的时间过久，则可以认为对应的目标异常事件是网路延迟。

S140、根据目标异常事件和异常原因分析模型确定出待检测服务器的异常原因。

其中，异常原因分析模型可以是预先通过大量的异常事件以及异常原因训练好的一个贝叶斯网络模型，用于对目标异常事件进行分析，并输出对应的异常原因。

具体的，可以将目标异常事件作为异常原因分析模型的输入，相应的，该异常原因分析模型可以输出对应的异常原因，作为待检测服务器的异常原因。

在上述技术方案的基础上，所述根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因，包括：基于所述目标异常事件确定相对应的异常信息，并基于所述异常原因分析模型对所述异常信息中的异常特征进行分析，以得到所述待检测服务器输出的异常原因。

其中，异常信息指的是与异常事件相关的待检测服务器的信息以及与待检测服务器对应的客户端的信息，异常特征包括：请求参数、用户权限、负载数据、审计合规、服务状态以及网络流量，请求参数指的是请求相关的参数信息，用户权限可以是并发出请求的客户端对应的用户的权限，负载数据指的是待检测服务器的负载信息，审计合规指的是对日志数据的审计结果。

具体的，可以根据异常事件确定与异常事件相关联的信息，并从信息中分析出异常特征，进而通过贝叶斯网络模型计算异常特征的条件概率，并将最大似然函数对应的原因作为异常的根因，并输出该异常原因。

在上述技术方案的基础上，在所述根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因，还包括：基于所述异常原因从预置异常处理方案库中确定与所述异常原因对应的目标异常处理方案；基于所述目标异常处理方案对所述待检测服务器进行异常处理。

其中，预置异常处理方案库预先建立的数据库，在该数据库中存储了不同异常原因对应的处理方案。

具体的，可以根据异常原因，从预置异常处理库中查找与当前异常原因对应的异常处理方案，并将该异常处理方案作为待检测服务器的目标异常处理方案，以使运维人员可以基于该目标异常处理方案对待检测服务器的异常进行处理。

本发明实施例的技术方案，通过根据目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换日志数据；基于索引模板中映射的数据格式对待转换日志数据处理，得到对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引；基于目标日志数据索引和预设告警规则从待使用日志数据中确定出待检测服务器的目标异常日志数据，及待检测服务器对应的目标异常事件；根据目标异常事件和异常原因分析模型确定出待检测服务器的异常原因。本发明的技术方案提高了日志数据异常检测和异常处理的效率，解决了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，并确定异常原因。

实施例二

图2为本发明实施例二提供的一种日志数据的异常检测方法的流程图，本实施例与上述实施例的一优选实施例，其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法包括：

按照关键字段实时收集服务器生成的日志数据

按照索引模板对日志进行清洗转换并创建索引

按照服务等级对日志数据进行分片存储和备份

根据告警规则匹配索引并结合告警策略来处理

使用贝叶斯网络发现异常原因并存入数据库中

将收集到的日志转换成索引模板的数据格式，按照服务等级对数据进行分片存储，结合告警策略进行处理，使用贝叶斯网络找出根因。如图3所示，为贝叶斯原因分类示意图。贝叶斯网络是一种概率图模型，计算原因事件A在异常事件B已经发生条件下的发生概率，通过多个局部函数的乘积可以得到全局因果关系的结果，将最大似然函数对应的原因作为异常的根因。

(1)日志数据收集说明

从多台服务器并行采集，内容包括：请求时间、客户IP地址、服务地址和端口号、请求的参数、执行的线程、设备的mac地址等。

(2)日志格式转换说明

对包含关键信息的数据进行加工，匹配日志的预定义模板，解析成ES索引模板中映射的Json数据，例如："project"->"zjgg"，"level"->"error"，"time"->"2022-03-1015-30-30"，"ip"->"10.0.0.1"等。

(3)日志分发存储说明

以固定的数据量进行批量发送，以降低采集端的压力。采用安全散列算法得到对应的日志服务器地址，使用syslog协议进行传输，发送到实时告警计算的集群和作为历史记录的备份集群。

(4)日志告警发现说明

区分告警的类型，例如系统运行异常、应用服务异常、网络流量异常等。包括内存溢出，请求路径的遍历，越权访问，上送参数问题等。

(5)日志告警记录说明

匹配到对应的告警规则后，通过贝叶斯网络找到异常问题的因果链，单独收集异常信息和异常原因并统计次数。根据阈值进行判断，将短信和邮件发送给系统管理员，根据服务的id编号提供预置的异常处理方案。

本发明实施例的技术方案，通过根据目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换日志数据；基于索引模板中映射的数据格式对待转换日志数据处理，得到对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引；基于目标日志数据索引和预设告警规则从待使用日志数据中确定出待检测服务器的目标异常日志数据，及待检测服务器对应的目标异常事件；根据目标异常事件和异常原因分析模型确定出待检测服务器的异常原因。本发明的技术方案提高了日志数据异常检测和异常处理的效率，解决了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，并确定异常原因，对服务日志进行实时处理，对关键信息精准采集，减少了全文检索的复杂性，异常信息能够及时反馈，降低了故障对企业的影响。降低了运维人员排查的任务量并提升了原因查找的效率，有利于保持系统业务的快速增长和服务的高可用性。

实施例三

图4为本发明实施例三提供的一种日志数据的异常检测装置的结构示意图。如图4所示，该装置包括：

待转换日志数据获取模块310，用于根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据；

其中，所述目标关键字段包括：请求时间字段、用户地址字段、服务地址字段、服务端口字段、请求参数字段、线程字段以及设备MAC地址字段；

目标日志数据索引建立模块320，用于基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引；

目标异常日志数据确定模块330，用于基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件；

异常原因确定模块340，用于根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因。

在上述装置的基础上，，所述待转换日志数据获取模块310，包括：

并行采集模块，用于基于并行的采集方式从与各所述待检测服务器关联的日志数据中采集包含所述目标关键字段的日志数据，并将所述日志数据确定为待转换日志数据；其中，所述待检测服务器的数量为一个或者多个。

在上述装置的基础上，所述目标日志数据索引建立模块320，包括：

格式转换模块，用于根据所述索引模板中映射的数据格式将待转换日志数据的格式转换处理，以得到与所述待转换日志数据对应的待使用日志数据；

索引建立模块，用于基于所述索引模板的日志数据分组方式将所述待使用日志数据进行分组，以建立与所述待使用数据对应的目标日志数据索引。

在上述装置的基础上，还包括：

日志数据存储模块，用于将所述待使用日志数据发送至日志存储服务器中并存储，以在对所述待检测服务器进行日志数据的异常检测时，基于所述日志存储服务器的地址以及目标传输协议从所述日志存储服务器中获取待使用日志数据。

在上述装置的基础上，所述目标异常日志数据确定模块330，包括：

日志数据分析匹配模块，用于基于所述目标日志数据索引确定待分析日志数据，并基于所述预设告警规则对所述待分析日志数据进行匹配分析，以在当前待分析日志数据超过所述预设告警规则的设定范围时，将当前待分析日志数据确定为所述目标异常日志数据；

异常事件确定模块，用于将所述预设告警规则对应的预设异常事件确定为与所述待检测服务器对应的目标异常事件。

在上述装置的基础上，所述异常原因确定模块340，包括：

异常原因分析模块，用于基于所述目标异常事件确定相对应的异常信息，并基于所述异常原因分析模型对所述异常信息中的异常特征进行分析，以得到所述待检测服务器输出的异常原因；

其中，所述异常特征包括：请求参数、用户权限、负载数据、审计合规、服务状态以及网络流量。

在上述装置的基础上，还包括：

目标异常方案确定模块，用于基于所述异常原因从预置异常处理方案库中确定与所述异常原因对应的目标异常处理方案；

异常处理模块，用于基于所述目标异常处理方案对所述待检测服务器进行异常处理。

本发明实施例的技术方案，通过根据目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换日志数据；基于索引模板中映射的数据格式对待转换日志数据处理，得到对应的待使用日志数据，并基于索引模板的日志数据分组方式和待使用日志数据建立与待使用日志数据对应的目标日志数据索引；基于目标日志数据索引和预设告警规则从待使用日志数据中确定出待检测服务器的目标异常日志数据，及待检测服务器对应的目标异常事件；根据目标异常事件和异常原因分析模型确定出待检测服务器的异常原因。本发明的技术方案提高了日志数据异常检测和异常处理的效率，解决了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，并确定异常原因，对服务日志进行实时处理，对关键信息精准采集，减少了全文检索的复杂性，异常信息能够及时反馈，降低了故障对企业的影响。降低了运维人员排查的任务量并提升了原因查找的效率，有利于保持系统业务的快速增长和服务的高可用性。

本发明实施例所提供的日志数据的异常检测装置可执行本发明任意实施例所提供的日志数据的异常检测方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5为本发明实施例四提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如日志数据的异常检测方法。

在一些实施例中，日志数据的异常检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的日志数据的异常检测方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志数据的异常检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志数据的异常检测方法，其特征在于，包括：

根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据；

其中，所述目标关键字段包括：请求时间字段、用户地址字段、服务地址字段、服务端口字段、请求参数字段、线程字段以及设备MAC地址字段；

基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引；

基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件；

根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因。

2.根据权利要求1所述的方法，其特征在于，所述根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据，包括：

基于并行的采集方式从与各所述待检测服务器关联的日志数据中采集包含所述目标关键字段的日志数据，并将所述日志数据确定为待转换日志数据；其中，所述待检测服务器的数量为一个或者多个。

3.根据权利要求1所述的方法，其特征在于，所述基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引，包括：

根据所述索引模板中映射的数据格式将待转换日志数据的格式转换处理，以得到与所述待转换日志数据对应的待使用日志数据；

基于所述索引模板的日志数据分组方式将所述待使用日志数据进行分组，以建立与所述待使用数据对应的目标日志数据索引。

4.根据权利要求1所述的方法，其特征在于，在所述基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引之后，还包括：

将所述待使用日志数据发送至日志存储服务器中并存储，以在对所述待检测服务器进行日志数据的异常检测时，基于所述日志存储服务器的地址以及目标传输协议从所述日志存储服务器中获取待使用日志数据。

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件，包括：

基于所述目标日志数据索引确定待分析日志数据，并基于所述预设告警规则对所述待分析日志数据进行匹配分析，以在当前待分析日志数据超过所述预设告警规则的设定范围时，将当前待分析日志数据确定为所述目标异常日志数据；

将所述预设告警规则对应的预设异常事件确定为与所述待检测服务器对应的目标异常事件。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因，包括：

基于所述目标异常事件确定相对应的异常信息，并基于所述异常原因分析模型对所述异常信息中的异常特征进行分析，以得到所述待检测服务器输出的异常原因；

其中，所述异常特征包括：请求参数、用户权限、负载数据、审计合规、服务状态以及网络流量。

7.根据权利要求1所述的方法，其特征在于，在所述根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因，还包括：

基于所述异常原因从预置异常处理方案库中确定与所述异常原因对应的目标异常处理方案；

基于所述目标异常处理方案对所述待检测服务器进行异常处理。

8.一种日志数据的异常检测装置，其特征在于，包括：

待转换日志数据获取模块，用于根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待转换日志数据；

其中，所述目标关键字段包括：请求时间字段、用户地址字段、服务地址字段、服务端口字段、请求参数字段、线程字段以及设备MAC地址字段；

目标日志数据索引建立模块，用于基于索引模板中映射的数据格式对所述待转换日志数据处理，得到与所述待转换日志数据对应的待使用日志数据，并基于所述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据索引；

目标异常日志数据确定模块，用于基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测服务器的目标异常日志数据，以及待检测服务器对应的目标异常事件；

异常原因确定模块，用于根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原因。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的日志数据的异常检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志数据的异常检测方法。

Images