CN117435441A - 一种基于日志数据的故障诊断方法及装置 - Google Patents

一种基于日志数据的故障诊断方法及装置 Download PDF

Info

Publication number
CN117435441A
CN117435441A CN202311763138.2A CN202311763138A CN117435441A CN 117435441 A CN117435441 A CN 117435441A CN 202311763138 A CN202311763138 A CN 202311763138A CN 117435441 A CN117435441 A CN 117435441A
Authority
CN
China
Prior art keywords
log data
fault diagnosis
self
data
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311763138.2A
Other languages
English (en)
Other versions
CN117435441B (zh
Inventor
刘子雁
李宁
倪金超
崔博
孔汉章
曲延盛
李明
张丞
王云霄
韩兴旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Priority to CN202311763138.2A priority Critical patent/CN117435441B/zh
Publication of CN117435441A publication Critical patent/CN117435441A/zh
Application granted granted Critical
Publication of CN117435441B publication Critical patent/CN117435441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种基于日志数据的故障诊断方法及装置，所述故障诊断方法包括：获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；对所述待处理的日志数据进行预处理，获得预处理的日志数据；将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。

Description

一种基于日志数据的故障诊断方法及装置
技术领域
本申请涉及信息技术领域，尤其涉及一种基于日志数据的故障诊断方法及装置。
背景技术
智能运维(artificial intelligence for IT operations, 简称AIOps)是指通过机器学习(machine learning)等算法分析来自于多种运维工具和设备的大规模数据，自动发现并实时响应系统出现的问题，进而提升信息技术(information technology, 简称IT)运维能力和自动化程度。随着AIOps的发展，以多源运维数据为驱动，以机器学习等算法为核心的智能化故障发现与根因诊断技术，引起广泛关注。
随着网络的迅猛发展，运维过程中会产生海量日志数据，现有技术，存在无法保障日志异常检测的效率和准确性。
基于此，现有一种新的故障诊断方法。
发明内容
本申请实施例提供一种基于日志数据的故障诊断方法及装置，用以解决如下问题：现有技术，存在无法保障日志异常检测的效率和准确性。
具体的，一种基于日志数据的故障诊断方法，包括以下步骤：
获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；
对所述待处理的日志数据进行预处理，获得预处理的日志数据；
将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。
本申请实施例还提供一种基于日志数据的故障诊断装置。
具体的，一种基于日志数据的故障诊断装置，包括：
获取模块，获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；
预处理模块，对所述待处理的日志数据进行预处理，获得预处理的日志数据；
诊断模块，将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。
本申请实施例提供的技术方案，至少具有如下有益效果：通过获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；对所述待处理的日志数据进行预处理，获得预处理的日志数据；将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点，能够实现运维的自动监控，保证故障诊断的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种基于日志数据的故障诊断方法的系统架构示意图；
图2为本说明书实施例提供的一种基于日志数据的故障诊断方法的流程示意图；
图3为本说明书实施例提供的一种自编码器的结构示意图；
图4为本说明书实施例提供的一种基于日志数据的故障诊断装置的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本说明书实施例提供的一种基于日志数据的故障诊断方法的系统架构示意图。如图1所示，系统架构100可以包括终端设备101，网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种客户端应用。例如进行基于日志数据的故障诊断等专用程序。
终端设备101可以是硬件，也可以是软件。当终端设备101、为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
服务器103可以是提供各种服务的服务器，例如为终端设备101上所安装的客户端应用提供服务的后端服务器。例如，服务器可以进行基于日志数据的故障诊断，以便将基于日志数据的故障诊断结果显示在终端设备服务器101上，服务器也可以进行边云协同的目标检测，以便将边云协同的目标检测结果显示在终端设备101上。
服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现为多个服务器组成的分布式服务器集群，也可以实现为单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
图2为本说明书实施例提供的一种基于日志数据的故障诊断方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器或应用终端的程序。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示，该故障诊断方法包括：
步骤S201：获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据。
在本说明书实施例中，待处理的日志数据为来源于系统运行时的日志数据。由于系统运行时的日志数据能够反应系统的动态特征及系统发生故障时的上下文信息，因此，对未知故障具有更好的探测和表达能力。
在系统运行时，产生的数据包括日子数据和监控数据。其中，日志数据是开发人员为辅助调试在程序中嵌入的打印输出代码所产生的文本数据, 用以记录程序运行时的变量信息、程序执行状态等；监控数据是指系统运行状态下的资源占用情况, 如中央处理器(central processing unit, 简称CPU)使用率、内存使用率、网络流量、进程数目以及进程资源使用率等。在监控层次而言，日志数据关注细粒度的应用状态和跨组件的程序执行逻辑；监控数据关注系统状态和粗粒度的应用状态, 如进程状态、服务状态等。所以，日志数据更有利于系统故障诊断。
基于此，本说明书实施例中，利用日志数据进行故障诊断。
在本说明实施例中，日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据。
系统日志数据是记录系统中硬件、软件和系统问题的信息，同时可以监控系统中发生的事件。基于系统日志数据能够检查错误发生的原因，或者寻找收到攻击时攻击者留下的痕迹。在具体实施例中，系统日志数据优选为事务型日志数据。事务型日志表征请求/事务执行逻辑。
错误日志数据是用于记录运行时出错信息的日志数据。由于程序发生异常或错误时，系统会记录错误信息形成错误日志数据，以便进行问题排查和调试。
告警日志数据是按照时间顺序记录message和错误信息，具体而言，告警日志数据可以包括内部错误信息、块损坏错误信息、死锁信息、系统进程相关功能的信息和错误信息等等。
待处理的日志数据为半结构化数据，半结构化数据位于结构化数据和非结构化数据之间，具有一定的结构化特征，但不符合表格数据模型或关系数据库的格式。它包含一些易于分析的结构化元素，例如标记，使得数据处理和利用更加便捷。
步骤S203：对所述待处理的日志数据进行预处理，获得预处理的日志数据。
在本说明书实施例中，所述对所述待处理的日志数据进行预处理，获得预处理的日志数据，具体包括：
对所述待处理的日志数据进行数据清理，去除所述待处理的日志数据中的不相关数据、和/或重复数据、和/或损坏的数据，获得所述预处理的日志数据。
在本说明书实施例中，获得预处理的日志数据后，还可以进一步包括：
对所述预处理的日志数据进行转化，生成结构化数据，以生成的结构化数据作为预处理的日志数据以输入预训练的故障诊断模型，进行故障诊断。
对预处理的日志数据进行转化，生成结构化数据，所采用的方法可以为R语言，也可以为其他方法，在此不做限定。
步骤S205：将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。
在本说明书实施例中，所述预训练的故障诊断模型的获取包括：
以历史日志数据的时间戳、错误代码、警告级别、异常事件中的一种或多种特征作为输入，基于Tensorflow的神经网络进行自编码器的训练，获得初始故障诊断模型；
基于最终损失函数，对所述初始故障诊断模型进行优化，获得所述预训练的故障诊断模型。
自编码器的主要目的是为了学习到数据的主要规律，进行数据压缩，或特征提取，属于无监督学习算法。
在本说明书实施例中，自编码器包括第一层即作为输入层，第二层即用于编码的隐蔽层，第三层即作为输出，其中，从输入层到隐蔽层作为编码器，从隐蔽层到输出层作为解码器。通过自编码器能够将输入数据压缩到隐藏层中，并通过解码器将隐蔽层的数据进行重建后输出。
为了进一步理解自编码器，图3为本说明书实施例提供的一种自编码器的结构示意图。如图3所示，对于样本x，自编码器的中间隐藏层的活性值为x的编码，即：
z=f（W （1） x+b （1））
自编码器的输出为重构的数据：
x'=f（W （2） z+b （2））
其中，
W （1）、W （2）、b （1）、b （2）为自编码器的网络参数。
在本说明书实施例中，所述最终损失函数L为重建损失函数loss1及正则化损失函数loss2之和，其中，所述重建损失函数为所述初始故障诊断模型的输入与输出之间的差异，所述正则化损失函数为所述初始故障诊断模型的潜在空间的分布函数。
在本说明书实施例中，所述正则化损失函数loss2的表达式为：
loss2=λ‖μ‖ 2
其中，λ为loss2正则化项的系数，μ为Tensorflow网络权重向量。
在本说明书的一个实施例中，λ优选为1/2。
在本说明书实施例中，所述重建损失函数loss1的表达式为：
其中，m1为权重系数，sililarity（real，simi）表示所述历史日志数据与基于所述初始故障诊断模型生成的日志数据的相似度，real表示历史日志数据，simi表示基于所述初始故障诊断模型生成的日志数据。
在本说明书实施例中，m1的具体数值可以根据具体业务场景而定，在一个具体实施例中，m1优选为0.8。
在本说明书实施例中，所述最终损失函数L的表达式为：
其中，
w1表示重建损失函数的权重；w2表示正则化损失函数的权重；
w1+w2=1。
在本说明书实施例中，w1优选为0.6，w2优选为0.4。
在本说明书实施例中，所述历史日志数据的时间戳、错误代码、警告级别、异常事件的获取包括：
基于预设的事件模板，提取所述历史日志数据的模板，获得日志时间序列；
基于所述日志时间序列，进行特征提取，获得所述历史日志数据的时间戳、错误代码、警告级别、异常事件。
在本说明书实施例中，历史日志数据的模板为预先获得的模板，模板的获取方法可以基于静态代码获取的历史日志数据的模板，也可以为基于聚类分析获取的历史日志数据的模板，历史日志数据的模板的获取方法并不构成对本申请的限定。
基于日志时间序列，进行特征提取可以采用提取关键词的方法，基于关键词与日志时间序列的对应关系，进行特征提取，以获得历史日志数据的时间戳、错误代码、警告级别及异常事件。
在本说明书实施例中，所述将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，具体包括：
将所述预处理的日志数据输入预训练的故障诊断模型，获得日志生成数据；
基于所述日志生成数据与所述预处理的日志数据的相似度与预设阈值的比值，获得故障诊断结果。
在本说明书实施例中，预设阈值可以根据业务场景而定。在一个实施例中，预设阈值优选为70%。即若日志生成数据与预处理的日志数据的相似度大于等于预设阈值时，则认为会发生故障；若日志生成数据与预处理的日志数据的相似度小于预设阈值时，则认为不会发生故障。
若故障诊断结果为会发生故障，则可以通过报警予以警示，具体可以为语音提醒，弹窗提醒等，报警予以警示的具体方式并不构成对本申请的限定。
采用本说明书实施例提供的故障诊断方法，能够实现运维的自动监控，保证故障诊断的准确性。
上述内容详细说明了一种基于日志数据的故障诊断方法，与之相应的，本说明书还提供了一种基于日志数据的故障诊断装置，如图4所示。图4为本说明书实施例提供的一种基于日志数据的故障诊断装置的示意图，该故障诊断装置包括：
获取模块401，获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；
预处理模块403，对所述待处理的日志数据进行预处理，获得预处理的日志数据；
诊断模块405，将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。
在本说明书实施例中，所述对所述待处理的日志数据进行预处理，获得预处理的日志数据，具体包括：
对所述待处理的日志数据进行数据清理，去除所述待处理的日志数据中的不相关数据、和/或重复数据、和/或损坏的数据，获得所述预处理的日志数据。
在本说明书实施例中，所述预训练的故障诊断模型的获取包括：
以历史日志数据的时间戳、错误代码、警告级别、异常事件中的一种或多种特征作为输入，基于Tensorflow的神经网络进行自编码器的训练，获得初始故障诊断模型；
基于最终损失函数，对所述初始故障诊断模型进行优化，获得所述预训练的故障诊断模型。
在本说明书实施例中，所述最终损失函数L为重建损失函数loss1及正则化损失函数loss2之和，其中，所述重建损失函数为所述初始故障诊断模型的输入与输出之间的差异，所述正则化损失函数为所述初始故障诊断模型的潜在空间的分布函数。
在本说明书实施例中，所述正则化损失函数loss2的表达式为：
loss2=λ‖μ‖ 2
其中，λ为loss2正则化项的系数，μ为Tensorflow网络权重向量。
在本说明书实施例中，所述重建损失函数loss1的表达式为：
其中，m1为权重系数，sililarity（real，simi）表示所述历史日志数据与基于所述初始故障诊断模型生成的日志数据的相似度，real表示历史日志数据，simi表示基于所述初始故障诊断模型生成的日志数据。
在本说明书实施例中，所述最终损失函数L的表达式为：
其中，
w1表示重建损失函数的权重；w2表示正则化损失函数的权重；
w1+w2=1。
在本说明书实施例中，所述历史日志数据的时间戳、错误代码、警告级别、异常事件的获取包括：
基于预设的事件模板，提取所述历史日志数据的模板，获得日志时间序列；
基于所述日志时间序列，进行特征提取，获得所述历史日志数据的时间戳、错误代码、警告级别、异常事件。
在本说明书实施例中，所述将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，具体包括：
将所述预处理的日志数据输入预训练的故障诊断模型，获得日志生成数据；
基于所述日志生成数据与所述预处理的日志数据的相似度与预设阈值的比值，获得故障诊断结果。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于日志数据的故障诊断方法，其特征在于，所述故障诊断方法包括：
获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；
对所述待处理的日志数据进行预处理，获得预处理的日志数据；
将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。
2.如权利要求1所述的故障诊断方法，其特征在于，所述对所述待处理的日志数据进行预处理，获得预处理的日志数据，具体包括：
对所述待处理的日志数据进行数据清理，去除所述待处理的日志数据中的不相关数据、和/或重复数据、和/或损坏的数据，获得所述预处理的日志数据。
3.如权利要求1所述的故障诊断方法，其特征在于，所述预训练的故障诊断模型的获取包括：
以历史日志数据的时间戳、错误代码、警告级别、异常事件中的一种或多种特征作为输入，基于Tensorflow的神经网络进行自编码器的训练，获得初始故障诊断模型；
基于最终损失函数，对所述初始故障诊断模型进行优化，获得所述预训练的故障诊断模型。
4.如权利要求3所述的故障诊断方法，其特征在于，所述最终损失函数L为重建损失函数loss1及正则化损失函数loss2之和，其中，所述重建损失函数为所述初始故障诊断模型的输入与输出之间的差异，所述正则化损失函数为所述初始故障诊断模型的潜在空间的分布函数。
5.如权利要求4所述的故障诊断方法，其特征在于，所述正则化损失函数loss2的表达式为：
loss2=λ‖μ‖ 2；
其中，λ为loss2正则化项的系数，μ为Tensorflow网络权重向量。
6.如权利要求4所述的故障诊断方法，其特征在于，所述重建损失函数为loss1的表达式为：；
其中，m1为权重系数，sililarity（real，simi）表示所述历史日志数据与基于所述初始故障诊断模型生成的日志数据的相似度，real表示历史日志数据，simi表示基于所述初始故障诊断模型生成的日志数据。
7.如权利要求4所述的故障诊断方法，其特征在于，所述最终损失函数L的表达式为：；
其中，w1表示重建损失函数的权重；w2表示正则化损失函数的权重；
w1+ w2=1。
8.如权利要求3所述的故障诊断方法，其特征在于，所述历史日志数据的时间戳、错误代码、警告级别、异常事件的获取包括：
基于预设的事件模板，提取所述历史日志数据的模板，获得日志时间序列；
基于所述日志时间序列，进行特征提取，获得所述历史日志数据的时间戳、错误代码、警告级别、异常事件。
9.如权利要求1所述的故障诊断方法，其特征在于，所述将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，具体包括：
将所述预处理的日志数据输入预训练的故障诊断模型，获得日志生成数据；
基于所述日志生成数据和所述预处理的日志数据的相似度与预设阈值的比值，获得故障诊断结果。
10.一种基于日志数据的故障诊断装置，其特征在于，所述故障诊断装置包括：
获取模块，获取待处理的日志数据，所述待处理的日志数据包括：系统日志数据、错误日志数据、告警日志数据中的一种或几种日志数据；
预处理模块，对所述待处理的日志数据进行预处理，获得预处理的日志数据；
诊断模块，将所述预处理的日志数据输入预训练的故障诊断模型，获得故障诊断结果，其中，所述预训练的故障诊断模型是基于自编码器训练获得的，所述自编码器为基于Tensorflow的神经网络，所述自编码器的第一层包括十个节点，所述自编码器的第二层包括两个节点，所述自编码器的第三层含有十个节点。
CN202311763138.2A 2023-12-21 2023-12-21 一种基于日志数据的故障诊断方法及装置 Active CN117435441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311763138.2A CN117435441B (zh) 2023-12-21 2023-12-21 一种基于日志数据的故障诊断方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311763138.2A CN117435441B (zh) 2023-12-21 2023-12-21 一种基于日志数据的故障诊断方法及装置

Publications (2)

Publication Number Publication Date
CN117435441A true CN117435441A (zh) 2024-01-23
CN117435441B CN117435441B (zh) 2024-04-26

Family

ID=89546476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311763138.2A Active CN117435441B (zh) 2023-12-21 2023-12-21 一种基于日志数据的故障诊断方法及装置

Country Status (1)

Country Link
CN (1) CN117435441B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132698A (ko) * 2015-05-11 2016-11-21 삼성에스디에스 주식회사 지능형 시스템 진단 장치 및 방법
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN111198817A (zh) * 2019-12-30 2020-05-26 武汉大学 一种基于卷积神经网络的SaaS软件故障诊断方法及装置
CN111858526A (zh) * 2020-06-19 2020-10-30 国网福建省电力有限公司信息通信分公司 基于信息系统日志的故障时间空间预测方法及系统
CN114691403A (zh) * 2022-03-18 2022-07-01 阿里巴巴（中国）有限公司 一种服务器故障诊断方法、装置、电子设备及存储介质
CN115794480A (zh) * 2023-02-10 2023-03-14 成都工业学院 一种基于日志语义编码器的系统异常日志检测方法及系统
CN116755974A (zh) * 2023-07-05 2023-09-15 南方电网数字平台科技(广东)有限公司 云计算平台运维方法、装置、电子设备及存储介质
CN116910657A (zh) * 2023-02-03 2023-10-20 中南大学 一种基于无监督学习的故障诊断方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132698A (ko) * 2015-05-11 2016-11-21 삼성에스디에스 주식회사 지능형 시스템 진단 장치 및 방법
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN111198817A (zh) * 2019-12-30 2020-05-26 武汉大学 一种基于卷积神经网络的SaaS软件故障诊断方法及装置
CN111858526A (zh) * 2020-06-19 2020-10-30 国网福建省电力有限公司信息通信分公司 基于信息系统日志的故障时间空间预测方法及系统
CN114691403A (zh) * 2022-03-18 2022-07-01 阿里巴巴（中国）有限公司 一种服务器故障诊断方法、装置、电子设备及存储介质
CN116910657A (zh) * 2023-02-03 2023-10-20 中南大学 一种基于无监督学习的故障诊断方法和设备
CN115794480A (zh) * 2023-02-10 2023-03-14 成都工业学院 一种基于日志语义编码器的系统异常日志检测方法及系统
CN116755974A (zh) * 2023-07-05 2023-09-15 南方电网数字平台科技(广东)有限公司 云计算平台运维方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIEDI SUN ET AL: "Multiple hierarchical compression for deep neural network toward intelligent bearing fault diagnosis", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》, 15 October 2022 (2022-10-15), pages 1 - 10 *
高强: "数控机床远程监测与故障诊断系统设计", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2020, no. 02, 15 February 2020 (2020-02-15) *

Also Published As

Publication number Publication date
CN117435441B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
Yu et al. A global manufacturing big data ecosystem for fault detection in predictive maintenance
US9542255B2 (en) Troubleshooting based on log similarity
US10740310B2 (en) Intelligent preprocessing of multi-dimensional time-series data
Lou et al. Mining dependency in distributed systems through unstructured logs analysis
CN113094200A (zh) 一种应用程序的故障预测方法和装置
CN112115031B (zh) 集群状态监控方法及装置
CN111435366A (zh) 设备故障诊断方法、装置和电子设备
Su et al. Detecting outlier machine instances through gaussian mixture variational autoencoder with one dimensional cnn
CN113094198A (zh) 一种基于机器学习和文本分类的服务故障定位方法及装置
CN111597247A (zh) 一种数据异常分析方法、装置及存储介质
CN113821418B (zh) 故障根因分析方法及装置、存储介质和电子设备
CN116502162A (zh) 边缘算力网络中的异常算力联邦检测方法、系统及介质
US20220284045A1 (en) Matching machine generated data entries to pattern clusters
US20230376372A1 (en) Multi-modality root cause localization for cloud computing systems
CN117829209A (zh) 工艺设备的非正常工作检测方法、计算装置及计算机程序
CN115344414A (zh) 基于LSTM-Transformer的日志异常检测方法及系统
CN116909788A (zh) 一种任务导向和视角不变的多模态故障诊断方法及系统
CN116167370A (zh) 基于日志时空特征分析的分布式系统异常检测方法
An et al. Real-time Statistical Log Anomaly Detection with Continuous AIOps Learning.
WO2024148880A1 (zh) 一种基于多源异构数据的系统检测方法及装置
CN117435441B (zh) 一种基于日志数据的故障诊断方法及装置
Kayode et al. Lirul: A lightweight lstm based model for remaining useful life estimation at the edge
CN115328753B (zh) 一种故障预测方法及装置、电子设备、存储介质
CN116225848A (zh) 日志监测方法、装置、设备和介质
CN115757062A (zh) 一种基于句嵌入以及Transformer-XL的日志异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant