CN111552609A - 一种异常状态检测方法、系统、存储介质、程序、服务器 - Google Patents

一种异常状态检测方法、系统、存储介质、程序、服务器 Download PDF

Info

Publication number
CN111552609A
CN111552609A CN202010282760.1A CN202010282760A CN111552609A CN 111552609 A CN111552609 A CN 111552609A CN 202010282760 A CN202010282760 A CN 202010282760A CN 111552609 A CN111552609 A CN 111552609A
Authority
CN
China
Prior art keywords
log
abnormal
lstm
server
lstm2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010282760.1A
Other languages
English (en)
Other versions
CN111552609B (zh
Inventor
沈玉龙
任忠
李腾
张志为
祝幸辉
焦成义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010282760.1A priority Critical patent/CN111552609B/zh
Publication of CN111552609A publication Critical patent/CN111552609A/zh
Application granted granted Critical
Publication of CN111552609B publication Critical patent/CN111552609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明属于服务器故障处理技术领域，公开了一种异常状态检测方法、系统、存储介质、程序、服务器，对LSTM1进行无监督学习，对LSTM2进行有监督学习，与利用日志信息快速解决服务器故障；采用LSTM1循环神经网络对具有时序特点的日志信息进行预测，通过识别日志信息的异常出现来发出警报，并辅助运维人员检查故障原因；LSTM2则通过故障发生前的一段时间内的日志信息来给出造成当前情况的故障原因。本发明采用机器学习的方法，通过数据自动化的学习适用的模型；采用深度学习，转换位神经网络接受的数据结构，采用循环神经网络，挖掘日志关系之中长短期依赖关系。在监督学习中，则可以找到日志序列与故障原因的潜在关系。

Description

一种异常状态检测方法、系统、存储介质、程序、服务器
技术领域
本发明属于服务器故障处理技术领域，尤其涉及一种异常状态检测方法、系统、存储介质、程序、服务器。
背景技术
服务器的正常运转对每一个企业或者其他机构都是至关重要的。服务器一旦发生故障，可能会造成的损失是无法估量的。服务器的故障通常分为硬件故障和软件故障。其中软件造成的故障大约占70％，严重时可能会造成服务器宕机。对于故障处理这方面，有很多商业化的软件，比如：IBM Tivoli软件让客户在诊断问题和部署解决方案上花费更少的时间，将更多的时间有效地花在管理自己的业务上；splunk是一个托管的日志文件管理工具，使用时需要具备丰富的技能和领域知识。CA Spectrum是一个业界领先的基础架构和故障管理解决方案，可以可视化网络元素的各种度量标准(例如流量和CPU利用率)，并根据预定的规则(例如关键字，严重性)发出警报。但是，这些规则通常指示明显的紧急状态，无法捕获可能在将来引起严重问题的暂时异常状态，并且一旦出现异常，不能够及时地给出相应的建议来快速解决故障问题。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习由感知机发展而来，最典型的深度学习模型就是前馈深度网络，由多个感知机层层叠加而来。循环神经网络的出现为网络带来了可以处理序列问题，服务器中的日志正是按时间戳产生，并且日志的序列是极其重要的。在该方法中提出了日志编号序列的变化与异常事件的关联，通过异常日志判断是何种异常事件导致的异常状态。
通过上述分析，现有技术存在的问题及缺陷为：服务器规模与复杂程度不断增加，导致服务器软件故障的多样性；不能对未来可能出现的问题发出预警信息。而日志是解决服务器软件故障的方案，往往只有几条关键的日志信息与故障密切相关，然而日志信息包括正常执行的日志，在成千上万条日志信息中找到关键的日志信息成为了处理故障的一大难题，如何利用过往的经验对将来发生类似的故障快速处理也成为另一关键所在。
发明内容
针对现有技术存在的问题，本发明提供了一种异常状态检测方法、系统、存储介质、程序、服务器。
本发明是这样实现的，一种异常状态检测方法，所述异常状态检测方法对LSTM1进行无监督学习，对LSTM2进行有监督学习，与利用日志信息快速解决服务器故障；采用LSTM1循环神经网络对具有时序特点的日志信息进行预测，通过识别日志信息的异常出现来发出警报，并辅助运维人员检查故障原因；LSTM2则通过故障发生前的一段时间内的日志信息来给出造成当前情况的故障原因。
进一步，所述异常状态检测方法包括：
第一步，获取服务器的原始日志信息，一类正常运行的日志数据和一类异常状态的日志数据，以及专家得出的相应的故障日志对应的故障事件；
第二步，数据预处理，统计服务器组中有限的可统计的日志种类，建立字典库将其编号；通过日志解析器将原始日志信息解析成文本，并按照字典库将其转换为数字序列，对于异常日志转换的数字序列还需要与对应的异常事件相关联，对异常数字序列进行标签标注，每个故障标签对应的值为0和1，其中0表示该故障并未发生，1表示发生了该故障；
第三步，构建LSTM神经网络，采用双层LSTM堆叠而成的LSTM的神经网络模型，通过训练获取模型中各部分的权重参数与偏置项，同时对超参数进行微调，训练过程中将收集到的数据按比例随机划分为训练集和测试集；
第四步，采用线性回归单元，将LSTM网络的输出映射到对应的标签上构建分类器；
第五步，采集需要预测的日志信息，将原始日志信息转换为日志编号的数字序列，将转换后的数字序列输入神经网络之中；
第六步，异常状态分析，将转换后的日志序列输入神经网络之中后，选取有前面10个日志编号预测下一个日志编号，选取概率最大的8个日志编号认为服务器运行状态正常，否则会将前一段时间内的异常日志序列输入到网络LSTM2中进行预测，是何种原因导致的服务器异常，在异常事件的维度上再添加一个正常事件，当LSTM2预测出结果不是正常的时候，发出警报；将预测的结果以及异常日志信息呈现给运维人员，以辅助运维人员进行检测。
进一步，所述第三步确定LSTM1模型的时间步长，选取10个日志编号对下一个日志编号进行预测；对于LSTM2模型，选取25个日志编号作为判断异常事件原因的序列长度，将LSTM1预测出的差别较大的日志编号时刻为起始，沿序列向前的25个日志编号作为预测事件原因的输入。
进一步，所述第三步的两个LSTM分类预测模型包括输入层、隐藏层和输出层；
输入层由一系列神经元构成，用以获取输入数据的特征向量；
隐藏层由两层LSTM层堆叠而成，每层LSTM层分别具有多个神经元，每个神经元对应一个LSTM记忆块，记忆块包含自连接的状态神经元以及输入门、输出门和遗忘门，在同一时间步的LSTM层之间，采用正则化方法减少过拟合的影响；
输出层为具有多个神经元的全连接层，分别对应需要预测的目标类别，通过归一化指数函数softmax激活函数，将隐藏层的输出转换为与分类预测类别相关的概率分布预测值。
进一步，所述第三步的LSTM单元根据公式进行前向传播：
遗忘门的计算公式为：ft＝σ(Wf·[ht-1，xt]+bf)；
输入门的计算公式为：it＝σ(Wi·[ht-1，xt]+bi)；
记忆门的计算公式为：c′t＝tanh(Wc·[ht-1，xt]+bc)；
单元状态的更新公式为：
Figure BDA0002447342120000041
输出门的计算公式为：ot＝σ〔Wo·[ht-1，xt]+bo)；
Figure BDA0002447342120000042
其中ht；t时刻LSTM单元的输出；ht-1：t-1时刻LSTM单元的输出；ct：t时刻LSTM单元状态；ct-1：t-1时刻LSTM单元状态；xt；t时刻LSTM单元的输入；Wf：遗忘门权重矩阵；σ：sigmoid函数；bf：遗忘门的偏置项；tanh：双曲正切函数；Wi：输入门的权重矩阵；bi：输入门的偏置项；Wc：记忆门的权重矩阵；bo：记忆门的偏置项；Wo：输出门的权重矩阵；bo：输出门的偏置项。
进一步，通过训练确定的参数就是Wf、bf、Wi、bi、Wc、bc、Wo、bo八组参数以及最后的softmax回归层；通过BPTT反向传播算法，通过损失函数：
Figure BDA0002447342120000043
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：对LSTM1进行无监督学习，对LSTM2进行有监督学习，与利用日志信息快速解决服务器故障；采用LSTM1循环神经网络对具有时序特点的日志信息进行预测，通过识别日志信息的异常出现来发出警报，并辅助运维人员检查故障原因；LSTM2则通过故障发生前的一段时间内的日志信息来给出造成当前情况的故障原因。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的异常状态检测方法。
本发明的另一目的在于提供一种实施所述的异常状态检测方法的异常状态检测系统，所述异常状态检测系统包括：
原始日志集收集模块，用于准备服务器原始日志集，一类正常运行状态下的日志集，一类运行状态发生异常的日志集，以及对应的异常事件；
样本数据预处理模块，用于将异常状态日志集与对应的异常事件相对应起来；将日志文件解析为日志模板集并编号，按照编号将原始日志文件转换为日志序列；将常用的服务器故障进行编号与对应的异常序列进行关联；
LSTM循环神经网络关键模块，用于将日志集转换的数字序列依次输入到网络LSTM1之中；经过BPTT训练算法修正隐层参数；将日志异常序列与对应异常事件输入到LSTM2之中；进行有监督的学习；经过BPTT训练算法修正隐层参数；
分类器构建模块，用于将样本数据输入网络LSTM1中，通过反向传播算法不断优化偏置项以得到可以很好地分出日志模板类别的分类器；将样本数据输入网络LSTM2中，通过反向传播算法不断优化偏置项以得到分出故障事件的分类器；
预测日志采集模块，用于将日志解析为日志模板编号的数字序列后，分别将其输入网络LSTM1和网络LSTM2中，LSTM1得到下一个日志模板的编号是哪个的概率，结果是一个维度为日志模板数的向量，每个位置上的值代表下一个时刻出现该日志模板的概率；LSTM2得到的是可能发生某一故障事件的概率预测；
异常状态分析模块，用于当服务器发生故障时，将日志集解析后输入网络LSTM1和网络LSTM2中，根据LSTM2判断的故障事件进行检测；再跟根据LSTM1生成的预测的模板顺序，找到差别大的地方，分析其原始日志，以找出异常状态产生可能的原因。
本发明的另一目的在于提供一种服务器，所述服务器安装有所述的异常状态检测系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：通过系统的日志可以预见未来可能发生的故障，使服务器可以规避这样的故障，从而避免其他的损失。当然，当故障发生时也可以通过本发明的网络进行故障分析来判断故障种类。本发明的关注点在于日志数据与故障的内在联系。LSTM网络在处理序列事件上表现突出；尤其是日志事件的时序关系极其重要，往往就是服务器故障的原因所在。该方法可以在服务器发生运行时对服务器运行状态进行检测，可以及时发现服务器的异常运行状态；当发生故障时，又可以根据历史发生过的类似事件判断造成本次故障的可能原因。在一定程度上可以帮助运维人员快速找到故障原因，做到早发现，早解决。相较于传统的人工解析日志，寻找日志异常信息，本发明的方法采用机器学习的方法，通过数据自动化的学习适用的模型；采用深度学习，一般不需要事先对数据进行特征分析，将其转换位神经网络接受的数据结构，采用循环神经网络，挖掘日志关系之中长短期依赖关系。在监督学习中，则可以找到日志序列与故障原因的潜在关系。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的异常状态检测方法的流程图。
图2是本发明实施例提供的异常状态检测系统的结构示意图；
图中：1、原始日志集收集模块；2、样本数据预处理模块；3、LSTM循环神经网络关键模块；4、分类器构建模块；5、预测日志采集模块；6、异常状态分析模块。
图3是本发明实施例提供的数据预处理过程图。
图4是本发明实施例提供的LSTM单元基本结构示意图。
图5是本发明实施例提供的异常状态检测方法的实现流程图。
图6是本发明实施例提供的LSTM循环神经网络结构示意图。
图7是本发明实施例提供的本发明将其与PCA方法进行比较的到的结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种异常状态检测方法、系统、存储介质、程序、服务器，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的异常状态检测方法包括以下步骤：
S101：准备服务器原始日志集，一类正常运行状态下的日志集，一类运行状态发生异常的日志集，以及对应的异常事件；
S102：对样本数据进行预处理。包含下列子步骤：将异常状态日志集与对应的异常事件相对应起来；将日志文件解析为日志模板集并编号，按照编号将原始日志文件转换为日志序列；将常用的服务器故障进行编号与对应的异常序列进行关联；
S103：构建两个LSTM循环神经网络，包含下列子步骤：将日志集转换的数字序列依次输入到网络LSTM1之中；经过BPTT训练算法修正隐层参数；将日志异常序列与对应异常事件输入到LSTM2之中；进行有监督的学习；经过BPTT训练算法修正隐层参数；
S104：构建分类器，包括下列子步骤：将样本数据输入网络LSTM1中，通过反向传播算法不断优化偏置项以得到可以很好地分出日志模板类别的分类器；将样本数据输入网络LSTM2中，通过反向传播算法不断优化偏置项以得到可以很好地分出故障事件的分类器；
S105：采集需要预测的日志，将日志解析为日志模板编号的数字序列后，分别将其输入网络LSTM1和网络LSTM2中，LSTM1得到下一个日志模板的编号是哪个的概率，结果是一个维度为日志模板数的向量，每个位置上的值代表下一个时刻出现该日志模板的概率；LSTM2得到的是可能发生某一故障事件的概率预测；
S106：异常状态分析，当服务器发生故障时，将日志集解析后输入网络LSTM1和网络LSTM2中，先根据LSTM1生成的预测的模板顺序，找到差别大的地方，再将差距大的日志起始沿时间序列先前25个日志序列输入LSTM2对的该事件进行检测；以判断其是否发生故障以及找出异常状态产生可能的原因。
如图2所示，本发明提供的异常状态检测系统包括：
原始日志集收集模块1，用于准备服务器原始日志集，一类正常运行状态下的日志集，一类运行状态发生异常的日志集，以及对应的异常事件。
样本数据预处理模块2，用于将异常状态日志集与对应的异常事件相对应起来；将日志文件解析为日志模板集并编号，按照编号将原始日志文件转换为日志序列；将常用的服务器故障进行编号与对应的异常序列进行关联。
LSTM循环神经网络关键模块3，用于将日志集转换的数字序列依次输入到网络LSTM1之中；经过BPTT训练算法修正隐层参数；将日志异常序列与对应异常事件输入到LSTM2之中；进行有监督的学习；经过BPTT训练算法修正隐层参数。
分类器构建模块4，用于将样本数据输入网络LSTM1中，通过反向传播算法不断优化偏置项以得到可以很好地分出日志模板类别的分类器；将样本数据输入网络LSTM2中，通过反向传播算法不断优化偏置项以得到可以很好地分出故障事件的分类器。
预测日志采集模块5，用于将日志解析为日志模板编号的数字序列后，分别将其输入网络LSTM1和网络LSTM2中，LSTM1得到下一个日志模板的编号是哪个的概率，结果是一个维度为日志模板数的向量，每个位置上的值代表下一个时刻出现该日志模板的概率；LSTM2得到的是可能发生某一故障事件的概率预测。
异常状态分析模块6，用于当服务器发生故障时，将日志集解析后输入网络LSTM1和网络LSTM2中，先根据LSTM1生成的预测的模板顺序，找到差别大的地方，再将差距大的日志起始沿时间序列先前25个日志序列输入LSTM2对的该事件进行检测；以判断其是否发生故障以及找出异常状态产生可能的原因。
下面结合附图对本发明的技术方案作进一步的描述。
本发明提供的基于长短时记忆网络的服务器异常状态检测方法，利用长短期记忆网络善于处理时序数据的特点，利用服务器日志信息进行对服务器异常状态的故障分析。
如图3所示，本发明提供的异常状态检测方法包括以下步骤：
步骤一，收集服务器的原始日志信息，其中包括一类正常运行的日志数据、一类异常状态的日志数据，以及专家得出的相应的故障日志对应的故障事件。
步骤二，结合图3，进行数据预处理。包括统计日志模板数量，构建日志模板库，日志序列转换，异常事件标签标注等几个子步骤。
首先需要统计服务器组中有限的可统计的日志种类，建立字典库将其编号。然后通过日志解析器将原始日志信息解析成文本，并按照字典库将其转换为数字序列。如此这样的数字序列便是本发明需要的输入数据。对于异常日志转换的数字序列还需要将其与对应的异常事件相关联。即对异常数字序列进行标签标注，每个故障标签对应的值为“0”和“1”，其中“0”表示该故障并未发生，“1”表示发生了该故障。
步骤三，确定LSTM1模型的时间步长，选取10个日志编号对下一个日志编号进行预测；对于LSTM2模型，本发明选取25个日志编号作为判断异常事件原因的序列长度。即将LSTM1预测出的差别较大的日志编号时刻为起始，沿序列向前的25个日志编号作为预测事件原因的输入。
由于LSTM神经网络在处理序列方面有突出的效果，因此对于神经网络模型，采用基于LSTM的神经网络模型，本发明采用双层LSTM堆叠而成。主要是通过训练获取模型中各部分的权重参数与偏置项，同时对超参数进行微调。训练过程中将收集到的数据按比例随机划分为训练集和测试集。
其中两个LSTM分类预测模型结构相同，都包括输入层、隐藏层和输出层。其中，输入层由一系列神经元构成，用以获取输入数据的特征向量，隐藏层由两层LSTM层堆叠而成，每层LSTM层分别具有多个神经元，每个神经元对应一个LSTM记忆块，记忆块包含了自连接的状态神经元以及输入门、输出门和遗忘门，在同一时间步的LSTM层之间，采用正则化方法减少过拟合的影响，例如可采用dropout正则化方法，在学习过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。输出层为具有多个神经元的全连接层，分别对应需要预测的目标类别，通过归一化指数函数softmax激活函数，将隐藏层的输出转换为与分类预测类别相关的概率分布预测值。
进一步LSTM单元根据如下公式进行前向传播：
遗忘门的计算公式为：ft＝σ(Wf·[ht-1，xt]+bf)；
输入门的计算公式为：it＝σ(Wi·[ht-1，xt]+bi)；
记忆门的计算公式为：c′t＝tanh(Wc·[ht-1，xt]+bc)；
单元状态的更新公式为：
Figure BDA0002447342120000101
输出门的计算公式为：ot＝σ(Wo·[ht-1，xt]+bo)；
Figure BDA0002447342120000102
其中ht：t时刻LSTM单元的输出；ht-1：t-1时刻LSTM单元的输出；ct：t时刻LSTM单元状态；ct-1：t-1时刻LSTM单元状态；xt：t时刻LSTM单元的输入；Wf：遗忘门权重矩阵；σ：sigmoid函数；bf：遗忘门的偏置项；tanh：双曲正切函数；Wi：输入门的权重矩阵；bi：输入门的偏置项；Wc：记忆门的权重矩阵；bc：记忆门的偏置项；Wo：输出门的权重矩阵；bo：输出门的偏置项；本发明需要通过训练确定的参数就是Wf、bf、Wi、bi、Wc、bc、Wo、bo这八组参数以及最后的softmax回归层；通过BPTT反向传播算法，通过损失函数
Figure BDA0002447342120000103
对参数进行优化，是模型能够在训练阶段学习到日志编号变化的关系和故障事件与日志序列的关系，提高故障多标签预测的准确度。
步骤四，结合图4和图5，建立基于LSTM的日志序列预测模型以及故障多标签预测模型。将数据按比例划分为训练集和测试集，利用该模型对训练集上的日志序列数据进行建模，分别设置LSTM隐层单元的神经元个数，全连接层数和每层的神经元个数，以及LSTM模型训练参数，包括训练批次、批次大小、学习率等等。保存训练得到的最优模型参数。
步骤五，使用训练好的模型进行故障预测。
将测试集转换后的日志序列输入神经网络之中后，本发明选取有前面10个日志编号预测下一个日志编号，由于日志消息是随机产生的，本发明选取概率最大的8个日志编号认为服务器运行状态正常，否则会将前一段时间内的异常日志序列输入到网络LSTM2中进行预测，是何种原因导致的服务器异常，由于存在一定的误报风险，在异常事件的维度上本发明再添加一个“正常”事件，当LSTM2预测出结果不是正常的时候，便会发出警报；将预测的结果以及异常日志信息呈现给运维人员，以辅助运维人员进行检测。
下面结合实验对本发明的技术效果作详细的描述。
本发明使用HDFS日志数据，该日志数据集分为正常数据集和异常数据集，将其用于LSTM1，网络进行训练，进行评估。本发明得到以下结果：预测日志序列精确度：90.204％，召回率：87.610％，F1-测量：92.23％；在训练的553366条日志中，假阳性有794条，假阴性有1076条。
图7是本发明将其与PCA方法进行比较的到的结果。
对于LSTM2，本发明使用有监督学习，采用的数据集为HPC4数据集，该数据集包括五个具有512至131072处理器的HPC系统软件故障的所有记录。通过对LSTM2的训练，本发明获得85.23％的精确度，在一定程度上是可以辅助运维人员确定故障原因所在的。举个简单的例子，当某一条日志重复出现，而这种状况在过去是没有发生过的，即与过去的行为模式不相符，那么这是LSTM1便会发出预警信息，LSTM2便会开始对这种情况进行分析，判断是否存在类似的故障，并将其展示给运维人员。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种异常状态检测方法，其特征在于，所述异常状态检测方法对LSTM1进行无监督学习，对LSTM2进行有监督学习，利用日志信息快速解决服务器故障；采用LSTM1循环神经网络对具有时序特点的日志信息进行预测，通过识别日志信息的异常出现来发出警报，并辅助运维人员检查故障原因；LSTM2则通过故障发生前的一段时间内的日志信息来给出造成当前情况的故障原因。
2.如权利要求1所述的异常状态检测方法，其特征在于，所述异常状态检测方法包括：
第一步，获取服务器的原始日志信息，一类正常运行的日志数据和一类异常状态的日志数据，以及专家得出的相应的故障日志对应的故障事件；
第二步，数据预处理，统计服务器组中有限的可统计的日志种类，建立字典库将其编号；通过日志解析器将原始日志信息解析成文本，并按照字典库将其转换为数字序列，对于异常日志转换的数字序列还需要与对应的异常事件相关联，对异常数字序列进行标签标注，每个故障标签对应的值为0和1，其中0表示该故障并未发生，1表示发生了该故障；
第三步，构建LSTM神经网络，采用双层LSTM堆叠而成的LSTM的神经网络模型，通过训练获取模型中各部分的权重参数与偏置项，同时对超参数进行微调，训练过程中将收集到的数据按比例随机划分为训练集和测试集；
第四步，采用线性回归单元，将LSTM网络的输出映射到对应的标签上构建分类器；
第五步，采集需要预测的日志信息，将原始日志信息转换为日志编号的数字序列，将转换后的数字序列输入神经网络之中；
第六步，异常状态分析，将转换后的日志序列输入神经网络之中后，选取有前面10个日志编号预测下一个日志编号，选取概率最大的8个日志编号认为服务器运行状态正常，否则会将前一段时间内的异常日志序列输入到网络LSTM2中进行预测，是何种原因导致的服务器异常，在异常事件的维度上再添加一个正常事件，当LSTM2预测出结果不是正常的时候，发出警报；将预测的结果以及异常日志信息呈现给运维人员，以辅助运维人员进行检测。
3.如权利要求2所述的异常状态检测方法，其特征在于，所述第三步确定LSTM1模型的时间步长，选取10个日志编号对下一个日志编号进行预测；对于LSTM2模型，选取25个日志编号作为判断异常事件原因的序列长度，将LSTM1预测出的差别较大的日志编号时刻为起始，沿序列向前的25个日志编号作为预测事件原因的输入。
4.如权利要求2所述的异常状态检测方法，其特征在于，所述第三步的两个LSTM分类预测模型包括输入层、隐藏层和输出层；
输入层由一系列神经元构成，用以获取输入数据的特征向量；
隐藏层由两层LSTM层堆叠而成，每层LSTM层分别具有多个神经元，每个神经元对应一个LSTM记忆块，记忆块包含自连接的状态神经元以及输入门、输出门和遗忘门，在同一时间步的LSTM层之间，采用正则化方法减少过拟合的影响；
输出层为具有多个神经元的全连接层，分别对应需要预测的目标类别，通过归一化指数函数softmax激活函数，将隐藏层的输出转换为与分类预测类别相关的概率分布预测值。
5.如权利要求2所述的异常状态检测方法，其特征在于，所述第三步的LSTM单元根据公式进行前向传播：
遗忘门的计算公式为：ft＝σ(Wf·[ht-1，xt]+bf)；
输入门的计算公式为：it＝σ(Wi·[ht-1，xt]+bi)；
记忆门的计算公式为：c′t＝tanh(Wc·[ht-1，xt]+bc)；
单元状态的更新公式为：
Figure FDA0002447342110000021
输出门的计算公式为：ot＝σ(Wo·[ht-1，xt]+bo)；
Figure FDA0002447342110000022
其中ht：t时刻LSTM单元的输出；ht-1：t-1时刻LSTM单元的输出；ct：t时刻LSTM单元状态；ct-1：t-1时刻LSTM单元状态；xt：t时刻LSTM单元的输入；Wf：遗忘门权重矩阵；σ：sigmoid函数；bf:遗忘门的偏置项；tanh：双曲正切函数；Wi：输入门的权重矩阵；bi：输入门的偏置项；Wc：记忆门的权重矩阵；bc：记忆门的偏置项；Wo：输出门的权重矩阵；bo：输出门的偏置项。
6.如权利要求5所述的异常状态检测方法，其特征在于，通过训练确定的参数就是Wf、bf、Wi、bi、Wc、bc、Wo、bo八组参数以及最后的softmax回归层；通过BPTT反向传播算法，通过损失函数：
Figure FDA0002447342110000031
7.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：对LSTM1进行无监督学习，对LSTM2进行有监督学习，与利用日志信息快速解决服务器故障；采用LSTM1循环神经网络对具有时序特点的日志信息进行预测，通过识别日志信息的异常出现来发出警报，并辅助运维人员检查故障原因；LSTM2则通过故障发生前的一段时间内的日志信息来给出造成当前情况的故障原因。
8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～6任意一项所述的异常状态检测方法。
9.一种实施权利要求1～6任意一项所述的异常状态检测方法的异常状态检测系统，其特征在于，所述异常状态检测系统包括：
原始日志集收集模块，用于准备服务器原始日志集，一类正常运行状态下的日志集，一类运行状态发生异常的日志集，以及对应的异常事件数据集；
样本数据预处理模块，用于将异常状态日志集与对应的异常事件相对应起来；将日志文件解析为日志模板集并编号，按照编号将原始日志文件转换为日志序列；将常用的服务器故障进行编号与对应的异常序列进行关联；
LSTM循环神经网络关键模块，用于将日志集转换的数字序列依次输入到网络LSTM1之中；经过BPTT训练算法修正隐层参数；将日志异常序列与对应异常事件输入到LSTM2之中；进行有监督的学习；经过BPTT训练算法修正隐层参数；
分类器构建模块，用于将样本数据输入网络LSTM1中，通过反向传播算法不断优化偏置项以得到可以很好地分出日志模板类别的分类器；将样本数据输入网络LSTM2中，通过反向传播算法不断优化偏置项以得到分出故障事件的分类器；
预测日志采集模块，用于将日志解析为日志模板编号的数字序列后，分别将其输入网络LSTM1和网络LSTM2中，LSTM1得到下一个日志模板的编号是哪个的概率，结果是一个维度为日志模板数的向量，每个位置上的值代表下一个时刻出现该日志模板的概率；LSTM2得到的是可能发生某一故障事件的概率预测；
异常状态分析模块，用于当服务器发生故障时，将日志集解析后输入网络LSTM1和网络LSTM2中，先根据LSTM1生成的预测的模板顺序，找到差别大的地方，再将差距大的日志起始沿时间序列先前25个日志序列输入LSTM2对的该事件进行检测；以判断其是否发生故障以及找出异常状态产生可能的原因。
10.一种服务器，其特征在于，所述服务器安装有权利要求9所述的异常状态检测系统。
CN202010282760.1A 2020-04-12 2020-04-12 一种异常状态检测方法、系统、存储介质、程序、服务器 Active CN111552609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282760.1A CN111552609B (zh) 2020-04-12 2020-04-12 一种异常状态检测方法、系统、存储介质、程序、服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282760.1A CN111552609B (zh) 2020-04-12 2020-04-12 一种异常状态检测方法、系统、存储介质、程序、服务器

Publications (2)

Publication Number Publication Date
CN111552609A true CN111552609A (zh) 2020-08-18
CN111552609B CN111552609B (zh) 2022-03-11

Family

ID=72002424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282760.1A Active CN111552609B (zh) 2020-04-12 2020-04-12 一种异常状态检测方法、系统、存储介质、程序、服务器

Country Status (1)

Country Link
CN (1) CN111552609B (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052151A (zh) * 2020-10-09 2020-12-08 腾讯科技（深圳）有限公司 故障根因分析方法、装置、设备及存储介质
CN112149736A (zh) * 2020-09-22 2020-12-29 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及介质
CN112367222A (zh) * 2020-10-30 2021-02-12 中国联合网络通信集团有限公司 网络异常检测方法和装置
CN112421770A (zh) * 2020-10-19 2021-02-26 国网山东省电力公司邹城市供电公司 一种配电自动化系统的自动辅助巡检方法及系统
CN112579728A (zh) * 2020-12-18 2021-03-30 成都民航西南凯亚有限责任公司 基于海量数据全文检索的行为异常识别方法及装置
CN112633550A (zh) * 2020-11-23 2021-04-09 成都唐源电气股份有限公司 一种基于rnn的接触网故障趋势预测方法、设备及存储介质
CN112698977A (zh) * 2020-12-29 2021-04-23 下一代互联网重大应用技术（北京）工程研究中心有限公司 服务器故障定位方法方法、装置、设备及介质
CN112764994A (zh) * 2021-01-26 2021-05-07 广西大学 一种容器云存储系统的灰色故障检测方法
CN112769605A (zh) * 2020-12-30 2021-05-07 杭州东方通信软件技术有限公司 一种异构多云的运维管理方法及混合云平台
CN112949951A (zh) * 2021-04-29 2021-06-11 杭州数梦工场科技有限公司 数据预测方法、装置、电子设备及存储介质
CN112989522A (zh) * 2021-05-10 2021-06-18 创新奇智(成都)科技有限公司 模型训练方法、故障预测方法、装置及电子设备
CN113191137A (zh) * 2021-05-27 2021-07-30 中国工商银行股份有限公司 一种操作风险获取方法、系统、电子设备及存储介质
CN113312447A (zh) * 2021-03-10 2021-08-27 天津大学 基于概率标签估计的半监督日志异常检测方法
CN113341813A (zh) * 2021-06-11 2021-09-03 上海天麦能源科技有限公司 一种城市燃气中低压管网检测方法及系统
CN113438114A (zh) * 2021-06-29 2021-09-24 平安普惠企业管理有限公司 互联网系统的运行状态监控方法、装置、设备及存储介质
CN113656254A (zh) * 2021-08-25 2021-11-16 上海明略人工智能(集团)有限公司 基于日志信息的异常检测方法、系统和计算机设备
CN113655964A (zh) * 2021-08-19 2021-11-16 北京神州新桥科技有限公司 数据卷的处理方法、装置、电子设备、介质及程序产品
TWI747452B (zh) * 2020-08-20 2021-11-21 慧景科技股份有限公司 以人工智慧進行案場異常偵測之智能監控之系統、方法及儲存媒體
CN113704075A (zh) * 2021-09-23 2021-11-26 中国人民解放军国防科技大学 一种基于故障日志的高性能计算系统故障预测方法
CN113705639A (zh) * 2021-08-13 2021-11-26 中国联合网络通信集团有限公司 异常检测方法、装置、设备及存储介质
CN113807023A (zh) * 2021-10-04 2021-12-17 北京亚鸿世纪科技发展有限公司 基于门控循环单元网络的工业互联网设备故障预测方法
CN113971119A (zh) * 2021-10-21 2022-01-25 云纷(上海)信息科技有限公司 基于无监督模型的用户行为异常分析评估方法及系统
CN114090411A (zh) * 2022-01-20 2022-02-25 山东中创软件商用中间件股份有限公司 一种应用数据分析方法、装置、设备及可读存储介质
WO2022047658A1 (zh) * 2020-09-02 2022-03-10 大连大学 日志异常检测系统
CN114297255A (zh) * 2021-12-17 2022-04-08 中电信数智科技有限公司 一种基于日志分析的网络品质工单故障预警方法
CN114449628A (zh) * 2021-12-30 2022-05-06 荣耀终端有限公司 日志数据处理方法、电子设备及其介质
CN114692674A (zh) * 2022-02-21 2022-07-01 武汉船用电力推进装置研究所（中国船舶重工集团公司第七一二研究所） 一种船舶推进系统故障判断方法及系统
CN114721336A (zh) * 2022-03-03 2022-07-08 上海核工程研究设计院有限公司 一种仪控系统工艺参数的信息安全事件预警方法
CN114760215A (zh) * 2022-03-11 2022-07-15 安徽师范大学 一种计算机网络数据传输性能监测方法及系统
WO2022155964A1 (en) * 2021-01-25 2022-07-28 Chengdu SynSense Technology Co., Ltd. Equipment anomaly detection method, computer readable storage medium, chip, and device
CN114816909A (zh) * 2022-04-13 2022-07-29 北京计算机技术及应用研究所 一种基于机器学习的实时日志检测预警方法及系统
CN114912109A (zh) * 2022-07-19 2022-08-16 中孚安全技术有限公司 一种基于图嵌入的异常行为序列识别方法及系统
CN115092218A (zh) * 2022-08-24 2022-09-23 吉林铁道职业技术学院 高速铁路信号系统全生命周期智能运维系统
CN115329900A (zh) * 2022-10-12 2022-11-11 北京安帝科技有限公司 面向海量工控网络日志数据的异常事件挖掘方法及系统
CN116089225A (zh) * 2023-04-12 2023-05-09 浙江大学 一种基于BiLSTM的公共数据采集动态感知系统及方法
CN116187205A (zh) * 2023-04-24 2023-05-30 北京智芯微电子科技有限公司 配电网数字孪生体的运行状态预测方法及装置、训练方法
CN116627773A (zh) * 2023-07-21 2023-08-22 四川发展环境科学技术研究院有限公司 产销差统计平台系统的异常分析方法及系统
CN116755992A (zh) * 2023-08-17 2023-09-15 青岛民航凯亚系统集成有限公司 一种基于OpenStack云计算的日志分析方法及系统
CN116760691A (zh) * 2023-07-06 2023-09-15 武昌理工学院 一种基于大数据技术的电信故障排除系统
CN117131457A (zh) * 2023-10-26 2023-11-28 杭州海兴泽科信息技术有限公司 基于ai模型的电力大数据采集处理方法及系统
US11922129B2 (en) 2021-06-22 2024-03-05 International Business Machines Corporation Causal knowledge identification and extraction
US11928009B2 (en) 2021-08-06 2024-03-12 International Business Machines Corporation Predicting a root cause of an alert using a recurrent neural network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828549A (zh) * 2019-01-28 2019-05-31 中国石油大学(华东) 一种基于深度学习的工业互联网设备故障预测方法
CN110363510A (zh) * 2019-06-05 2019-10-22 西安电子科技大学 一种基于区块链的加密货币用户特征挖掘、异常用户检测方法
KR102046789B1 (ko) * 2019-04-05 2019-11-20 호서대학교 산학협력단 웹 어플리케이션에 대한 딥러닝 기반의 침입탐지 방법, 시스템 및 컴퓨터 프로그램
CN110647878A (zh) * 2019-08-05 2020-01-03 紫光西部数据(南京)有限公司 基于截屏图片的数据处理方法
CN110958136A (zh) * 2019-11-11 2020-04-03 国网山东省电力公司信息通信公司 一种基于深度学习的日志分析预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828549A (zh) * 2019-01-28 2019-05-31 中国石油大学(华东) 一种基于深度学习的工业互联网设备故障预测方法
KR102046789B1 (ko) * 2019-04-05 2019-11-20 호서대학교 산학협력단 웹 어플리케이션에 대한 딥러닝 기반의 침입탐지 방법, 시스템 및 컴퓨터 프로그램
CN110363510A (zh) * 2019-06-05 2019-10-22 西安电子科技大学 一种基于区块链的加密货币用户特征挖掘、异常用户检测方法
CN110647878A (zh) * 2019-08-05 2020-01-03 紫光西部数据(南京)有限公司 基于截屏图片的数据处理方法
CN110958136A (zh) * 2019-11-11 2020-04-03 国网山东省电力公司信息通信公司 一种基于深度学习的日志分析预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. VINAYAKUMAR等: "Long short-term memory based operation log anomaly detection", 《2017 INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTING》 *
仲思超等: "基于机器学习的WEB安全威胁事件", 《江苏通信》 *

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI747452B (zh) * 2020-08-20 2021-11-21 慧景科技股份有限公司 以人工智慧進行案場異常偵測之智能監控之系統、方法及儲存媒體
WO2022047658A1 (zh) * 2020-09-02 2022-03-10 大连大学 日志异常检测系统
CN112149736A (zh) * 2020-09-22 2020-12-29 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及介质
CN112149736B (zh) * 2020-09-22 2024-02-09 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及介质
CN112052151A (zh) * 2020-10-09 2020-12-08 腾讯科技（深圳）有限公司 故障根因分析方法、装置、设备及存储介质
CN112052151B (zh) * 2020-10-09 2022-02-18 腾讯科技（深圳）有限公司 故障根因分析方法、装置、设备及存储介质
CN112421770A (zh) * 2020-10-19 2021-02-26 国网山东省电力公司邹城市供电公司 一种配电自动化系统的自动辅助巡检方法及系统
CN112367222A (zh) * 2020-10-30 2021-02-12 中国联合网络通信集团有限公司 网络异常检测方法和装置
CN112367222B (zh) * 2020-10-30 2022-09-27 中国联合网络通信集团有限公司 网络异常检测方法和装置
CN112633550A (zh) * 2020-11-23 2021-04-09 成都唐源电气股份有限公司 一种基于rnn的接触网故障趋势预测方法、设备及存储介质
CN112633550B (zh) * 2020-11-23 2023-07-18 成都唐源电气股份有限公司 一种基于rnn的接触网故障趋势预测方法、设备及存储介质
CN112579728A (zh) * 2020-12-18 2021-03-30 成都民航西南凯亚有限责任公司 基于海量数据全文检索的行为异常识别方法及装置
CN112698977A (zh) * 2020-12-29 2021-04-23 下一代互联网重大应用技术（北京）工程研究中心有限公司 服务器故障定位方法方法、装置、设备及介质
CN112698977B (zh) * 2020-12-29 2024-03-29 赛尔网络有限公司 服务器故障定位方法方法、装置、设备及介质
CN112769605A (zh) * 2020-12-30 2021-05-07 杭州东方通信软件技术有限公司 一种异构多云的运维管理方法及混合云平台
WO2022155964A1 (en) * 2021-01-25 2022-07-28 Chengdu SynSense Technology Co., Ltd. Equipment anomaly detection method, computer readable storage medium, chip, and device
CN112764994A (zh) * 2021-01-26 2021-05-07 广西大学 一种容器云存储系统的灰色故障检测方法
CN113312447A (zh) * 2021-03-10 2021-08-27 天津大学 基于概率标签估计的半监督日志异常检测方法
CN112949951A (zh) * 2021-04-29 2021-06-11 杭州数梦工场科技有限公司 数据预测方法、装置、电子设备及存储介质
CN112989522A (zh) * 2021-05-10 2021-06-18 创新奇智(成都)科技有限公司 模型训练方法、故障预测方法、装置及电子设备
CN113191137A (zh) * 2021-05-27 2021-07-30 中国工商银行股份有限公司 一种操作风险获取方法、系统、电子设备及存储介质
CN113341813B (zh) * 2021-06-11 2022-11-01 上海天麦能源科技有限公司 一种城市燃气中低压管网检测方法及系统
CN113341813A (zh) * 2021-06-11 2021-09-03 上海天麦能源科技有限公司 一种城市燃气中低压管网检测方法及系统
US11922129B2 (en) 2021-06-22 2024-03-05 International Business Machines Corporation Causal knowledge identification and extraction
CN113438114A (zh) * 2021-06-29 2021-09-24 平安普惠企业管理有限公司 互联网系统的运行状态监控方法、装置、设备及存储介质
US11928009B2 (en) 2021-08-06 2024-03-12 International Business Machines Corporation Predicting a root cause of an alert using a recurrent neural network
CN113705639A (zh) * 2021-08-13 2021-11-26 中国联合网络通信集团有限公司 异常检测方法、装置、设备及存储介质
CN113705639B (zh) * 2021-08-13 2023-01-24 中国联合网络通信集团有限公司 异常检测方法、装置、设备及存储介质
CN113655964B (zh) * 2021-08-19 2023-10-24 北京神州新桥科技有限公司 数据卷的处理方法、装置、电子设备、介质及程序产品
CN113655964A (zh) * 2021-08-19 2021-11-16 北京神州新桥科技有限公司 数据卷的处理方法、装置、电子设备、介质及程序产品
CN113656254A (zh) * 2021-08-25 2021-11-16 上海明略人工智能(集团)有限公司 基于日志信息的异常检测方法、系统和计算机设备
CN113704075A (zh) * 2021-09-23 2021-11-26 中国人民解放军国防科技大学 一种基于故障日志的高性能计算系统故障预测方法
CN113807023A (zh) * 2021-10-04 2021-12-17 北京亚鸿世纪科技发展有限公司 基于门控循环单元网络的工业互联网设备故障预测方法
CN113971119A (zh) * 2021-10-21 2022-01-25 云纷(上海)信息科技有限公司 基于无监督模型的用户行为异常分析评估方法及系统
CN114297255B (zh) * 2021-12-17 2024-04-19 中电信数智科技有限公司 一种基于日志分析的网络品质工单故障预警方法
CN114297255A (zh) * 2021-12-17 2022-04-08 中电信数智科技有限公司 一种基于日志分析的网络品质工单故障预警方法
CN114449628A (zh) * 2021-12-30 2022-05-06 荣耀终端有限公司 日志数据处理方法、电子设备及其介质
CN114090411A (zh) * 2022-01-20 2022-02-25 山东中创软件商用中间件股份有限公司 一种应用数据分析方法、装置、设备及可读存储介质
CN114692674A (zh) * 2022-02-21 2022-07-01 武汉船用电力推进装置研究所（中国船舶重工集团公司第七一二研究所） 一种船舶推进系统故障判断方法及系统
CN114721336B (zh) * 2022-03-03 2024-05-03 上海核工程研究设计院股份有限公司 一种仪控系统工艺参数的信息安全事件预警方法
CN114721336A (zh) * 2022-03-03 2022-07-08 上海核工程研究设计院有限公司 一种仪控系统工艺参数的信息安全事件预警方法
CN114760215A (zh) * 2022-03-11 2022-07-15 安徽师范大学 一种计算机网络数据传输性能监测方法及系统
CN114760215B (zh) * 2022-03-11 2023-02-10 安徽师范大学 一种计算机网络数据传输性能监测方法及系统
CN114816909A (zh) * 2022-04-13 2022-07-29 北京计算机技术及应用研究所 一种基于机器学习的实时日志检测预警方法及系统
CN114816909B (zh) * 2022-04-13 2024-03-26 北京计算机技术及应用研究所 一种基于机器学习的实时日志检测预警方法及系统
CN114912109A (zh) * 2022-07-19 2022-08-16 中孚安全技术有限公司 一种基于图嵌入的异常行为序列识别方法及系统
CN114912109B (zh) * 2022-07-19 2022-12-06 中孚安全技术有限公司 一种基于图嵌入的异常行为序列识别方法及系统
CN115092218B (zh) * 2022-08-24 2022-11-18 吉林铁道职业技术学院 高速铁路信号系统全生命周期智能运维系统
CN115092218A (zh) * 2022-08-24 2022-09-23 吉林铁道职业技术学院 高速铁路信号系统全生命周期智能运维系统
CN115329900B (zh) * 2022-10-12 2023-01-24 北京安帝科技有限公司 面向海量工控网络日志数据的异常事件挖掘方法及系统
CN115329900A (zh) * 2022-10-12 2022-11-11 北京安帝科技有限公司 面向海量工控网络日志数据的异常事件挖掘方法及系统
CN116089225B (zh) * 2023-04-12 2023-07-07 浙江大学 一种基于BiLSTM的公共数据采集动态感知系统及方法
CN116089225A (zh) * 2023-04-12 2023-05-09 浙江大学 一种基于BiLSTM的公共数据采集动态感知系统及方法
CN116187205A (zh) * 2023-04-24 2023-05-30 北京智芯微电子科技有限公司 配电网数字孪生体的运行状态预测方法及装置、训练方法
CN116187205B (zh) * 2023-04-24 2023-08-15 北京智芯微电子科技有限公司 配电网数字孪生体的运行状态预测方法及装置、训练方法
CN116760691A (zh) * 2023-07-06 2023-09-15 武昌理工学院 一种基于大数据技术的电信故障排除系统
CN116627773A (zh) * 2023-07-21 2023-08-22 四川发展环境科学技术研究院有限公司 产销差统计平台系统的异常分析方法及系统
CN116627773B (zh) * 2023-07-21 2023-09-22 四川发展环境科学技术研究院有限公司 产销差统计平台系统的异常分析方法及系统
CN116755992B (zh) * 2023-08-17 2023-12-01 青岛民航凯亚系统集成有限公司 一种基于OpenStack云计算的日志分析方法及系统
CN116755992A (zh) * 2023-08-17 2023-09-15 青岛民航凯亚系统集成有限公司 一种基于OpenStack云计算的日志分析方法及系统
CN117131457B (zh) * 2023-10-26 2024-01-26 杭州海兴泽科信息技术有限公司 基于ai模型的电力大数据采集处理方法及系统
CN117131457A (zh) * 2023-10-26 2023-11-28 杭州海兴泽科信息技术有限公司 基于ai模型的电力大数据采集处理方法及系统

Also Published As

Publication number Publication date
CN111552609B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN111552609B (zh) 一种异常状态检测方法、系统、存储介质、程序、服务器
Iqbal et al. Fault detection and isolation in industrial processes using deep learning approaches
Teh et al. Sensor data quality: A systematic review
CN111475804B (zh) 一种告警预测方法及系统
US11087227B2 (en) Anomaly detection in spatial and temporal memory system
US11403164B2 (en) Method and device for determining a performance indicator value for predicting anomalies in a computing infrastructure from values of performance indicators
CN113642754B (zh) 一种基于rf降噪自编码信息重构和时间卷积网络的复杂工业过程故障预测方法
US20210295213A1 (en) Adaptive learning for image classification
US11307916B2 (en) Method and device for determining an estimated time before a technical incident in a computing infrastructure from values of performance indicators
Pavlovski et al. Hierarchical convolutional neural networks for event classification on PMU measurements
Ortego et al. Evolutionary LSTM-FCN networks for pattern classification in industrial processes
CN112085621B (zh) 一种基于K-Means-HMM模型的分布式光伏电站故障预警算法
US20230085991A1 (en) Anomaly detection and filtering of time-series data
CN110580213A (zh) 一种基于循环标记时间点过程的数据库异常检测方法
Sharma et al. Ensemble machine learning paradigms in software defect prediction
Jin et al. Toward predictive fault tolerance in a core-router system: Anomaly detection using correlation-based time-series analysis
Jin et al. Data-driven resiliency solutions for boards and systems
Bond et al. A hybrid learning approach to prognostics and health management applied to military ground vehicles using time-series and maintenance event data
Misaii et al. Optimal task-driven time-dependent covariate-based maintenance policy
Jin et al. Anomaly detection and health-status analysis in a core router system
Katti Implementation and Analysis of Supervised Learning methods for Bugs Classification
Wang et al. A Two‐Layer Architecture for Failure Prediction Based on High‐Dimension Monitoring Sequences
Sillitti et al. Providing proactiveness: data analysis techniques portfolios
Patel Forecasting health of complex IT systems using system log data
US20230080654A1 (en) Causality detection for outlier events in telemetry metric data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant