CN115794465A - 一种日志异常检测方法及系统 - Google Patents
一种日志异常检测方法及系统 Download PDFInfo
- Publication number
- CN115794465A CN115794465A CN202211405933.XA CN202211405933A CN115794465A CN 115794465 A CN115794465 A CN 115794465A CN 202211405933 A CN202211405933 A CN 202211405933A CN 115794465 A CN115794465 A CN 115794465A
- Authority
- CN
- China
- Prior art keywords
- log
- sequence
- anomaly detection
- mask
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000000873 masking effect Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 238000003066 decision tree Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种日志异常检测方法，日志预处理后利用日志解析算法对日志进行解析生成日志模板，流程中创新主要包含日志折叠向量表征、基于索引的轮询掩码2个模块；日志折叠向量表征采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，该种表征可以使日志序列向量中包含更丰富的日志上下文信息；基于索引的轮询掩码，将位置下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式保证日志序列中的每个位置都被掩码；基于每次的掩码比例n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种日志异常检测方法及系统。
背景技术
日志是一种由时间戳和文本信息组成的非结构化时序文本数据，实时记录业务运行状态，是运维人员分析系统故障的重要依据。现代系统的规模和复杂性不断增加，使得日志量暴增。若依靠人工分析日志数据来识别系统中是否发生了故障则效率低下，因此有必要引入AI算法进行日志异常检测，以达到降低运维成本，显著提升业务体验的目的。
在AIOps领域中，日志异常检测(Log Anomaly Detection，LAD)是指将统计学习、机器学习、深度学习等AI算法与运维人员的领域知识融合，用来识别日志序列数据中不符合预期行为的模式，可以发现或预知系统中已发生或潜在的故障，提高运维人员排障效率。通常采用决策树模型、DeepLog模型和LogBERT模型进行日志异常检测。
决策树模型是使用训练数据以自顶向下的方式构建的树形结构。树中每个节点都是使用当前的“最佳(信息增益最大)”属性(日志模板&发生次数)创建。图1中根节点表示数据集中共有20条日志序列。分割根节点时，日志模板2(Template ID:2)的出现次数被视为“最佳”属性。因此，根据该属性的值，20条日志序列被分成两个子集，其中一个分支包含 12个日志序列，另一个分支包含8个日志序列，重复上述步骤，直至没有需要划分的节点。为了检测新的日志序列的状态，需要遍历决策树，在遍历结束时，日志序列将到达其中一个叶子，该节点代表日志序列的状态。决策树模型缺点包括：在日志数据序列中正负样本极度不均衡；决策树模型无法捕捉日志上下文关系。由于以上缺点，导致决策树模型在AIops领域得日志异常检测方面效果较差。
DeepLog模型把日志当作NLP的自然语言序列处理。其本质是利用深度学习网络，学习系统中产生的正常日志流，当出现日志的偏离训练的模型的时候，检测出异常。DeepLog整体框架如图2所示，主要贡献点包含3部分：①日志模板异常检测模型，②参数值异常检测模，③工作流异常检测模型。DeepLog模型缺点为：日志序列中短时间内存在大量的重复日志，直接将日志模板编号转换为序列输入到LSTM模型中，相当于输入大量噪声数据，导致异常检测效果不佳。若结合日志序列中的模板编号与某模板发生频次构造向量表征输入到模型，效果更佳。
LogBERT模型采用Transformer Encoder来学习序列中日志模板(Template ID)之间的上下文关系。主要贡献有两个：①使用掩码语言模型预测日志序列中被掩码位置处的日志模板(Template ID)，旨在正确预测随机掩码的正常日志序列中的掩码位置处的日志模板 (Template ID)；②使用VHM(volume of hypersphere minimization，超球面体积最小化) 作为优化目标函数，使正常日志序列在向量空间中更聚集，异常日志序列在空间上偏离正常日志序列。LogBERT模型整体框架如图3所示。LogBERT模型缺点为：没有考虑日志数据序列中某日志连续出现频次特点，利用通用的文本向量表征方式对日志进行向量表征，并输入到 LogBERT模型中，导致异常检测效果较差。在模型训练和异常检测阶段，LogBERT通过随机掩码日志序列中的日志模板(Template ID)进行训练和异常检测。由于日志序列中正常日志比例较大，若掩码比例若过大则导致模型无法学习日志序列中包含的信息。掩码比例较少时则对于异常日志序列可能掩码掉的都是正常位置，通过其上下文可以正确预测处该位置的 Template ID，导致无法对异常序列进行检测。
由于目前日志异常检测存在以下挑战，导致现有的日志异常检测算法的准确率(precision)和召回率(recall)较低，存在大量的误报和漏报，对运维人员造成困扰；
①日志规范不统一，不同类型的设备打印出的日志格式也不同，且日志数据呈现出非结构化的特点。
②现有日志异常检测方案没有针对日志发生频次的特点，将短时间内大量重复的日志直接转换为序列或利用通用文本向量表征方法对日志数据进行表征，导致输入到日志异常检测模型中包含大量噪声数据；
③日志序列中正常日志占比大，异常日志占比较小，现有基于Bert模型的日志异常检测方案掩码时没有考虑到该特点，在模型训练与异常检测阶段继续使用通用的随机掩码方式，导致无法对异常序列进行有效检测。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种日志异常检测方法及系统，用于解决现有技术中现有日志异常检测准确率和效率较低的问题。
为实现上述目的及其他相关目的，本发明提供一种日志异常检测方法，日志预处理后利用日志解析算法对日志进行解析，生成日志模板，所述日志模板经过日志折叠向量表征以及基于索引的轮询掩码后输入BERT模型中进行模型离线训练生成日志异常检测模型，用于日志序列异常检测；
所述日志折叠向量表征采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征；
所述基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式包含 2种优势，①保证日志序列中的每个位置都被掩码；②基于每次的掩码比例n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。
于本发明的一实施例中，还包括用于日志序列异常检测的最终目标函数为：
最终目标函数中的LMLKP为日志模板掩码预测(MLKP)损失函数Masked Log KeyPrediction(MLKP)形式，具体为：
其中
表示在第j个日志序列中，掩码位置i处的真实日志模板，
表示第j个日志序列中，掩码位置i处的预测的日志模板，M表示日志序列j中总的掩码个数，N表示日志序列个数；
最终目标函数中的αLVHM为超球面体积最小化Volume of HypersphereMinimization (VHM)损失函数，具体为：
其中，N表示日志序列个数，c为超球的中心点，
为第j个日志序列的向量表示；最终目标函数中的α为MLKP损失函数和VHM损失函数的平衡因子。
于本发明的一实施例中，输入至模型离线训练后的模型，即将掩码后的日志序列输入模型，预测掩码位置处候选TopN个日志模板，若真实日志模板在TopN集合中，则判断该掩码位置处预测正常，否则判断该掩码位置处预测异常。
上述实施例的有益效果在于：通过计算日志序列中预测错误的比例来判断序列是否异常，具有广泛的适用性。
于本发明的一实施例中，所述日志预处理，提前利用正则表达式对日志文本中常见变量替换为相应的字符串。
于本发明的一实施例中，所述常见变量包括数字、时间、ip地址、ip端口和文件路径。
于本发明的一实施例中，所述日志解析算法为Drain、Spell、LogMine或LogCluster 日志解析算法。
于本发明的一实施例中，所述BERT模型由多个Transformer的编码器组成。
于本发明的一实施例中，所述BERT模型为前馈神经网络模型。
一种日志异常检测系统，基于上述的日志异常检测方法，包括日志预处理模块、日志解析模块、日志折叠向量表征模块、基于索引的轮询模块、模型离线训练模块，所述日志折叠向量表征模块采用Volume Embedding表征某日志连续出现次数，PositionalEmbedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征。所述基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式包含2种优势，①保证日志序列中的每个位置都被掩码；②基于每次的掩码比例 n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。所述模型训练模块采用的目标函数为：
其中的α为MLKP损失函数和VHM损失函数的平衡因子。
如上所述，本发明的日志异常检测方法及系统，具有以下有益效果：日志折叠向量表征中包含更多的日志序列信息，此外还可以提高单次输入日志模板序列的长度，使得模型能够学习到更多日志序列信息，提高异常检测准确率和检测效率，模型训练阶段使用基于索引的序列轮询掩码方法中保证日志序列中的每个位置都被掩码；此外基于每次的掩码比例 n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为决策树模型示意图；
图2为DeepLog整体框架示意图；
图3为LogBERT模型整体框架示意图；
图4为本发明的日志异常检测方法的整体框架示意图；
图5为本发明的日志异常检测方法的日志折叠向量表征示意图；
图6为本发明的日志异常检测方法的基于索引的轮询掩码方法示意图；
图7为本发明的日志异常检测方法的算法效果对比示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
术语解释：
·AIops：Artificial Intelligence for IT Operations智能运维
·NLP：Natural Language Processing自然语言处理
·BERT：Bidirectional Encoder Representations from Transformers BERT模型
·LAD：Log Anomaly Detection日志异常检测
·MLKP：Masked Log Key Prediction日志模板掩码预测
·VHM：volume of hypersphere minimization超球面体积最小化
·Template ID日志模板
实施例一
请参阅图4至图7，本发明提供一种日志异常检测方法，日志预处理后利用日志解析算法对日志进行解析，提取日志模板，所述日志模板经过日志折叠向量表征以及基于索引的轮询掩码后输入BERT模型中进行模型离线训练生成异常检测模型，用于日志序列异常检测；
所述日志折叠向量表征采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征；
所述基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式包含 2种优势，①保证日志序列中的每个位置都被掩码；②基于每次的掩码比例n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。
还包括用于模型离线训练阶段的目标函数为：
其中的α为MLKP损失函数和VHM损失函数的平衡因子。
具体的，请参阅图5，所述Positional Embedding表示为：日志文本在日志序列中出现的位置，折叠后的日志A出现在位置1处，日志B出现在位置5处，日志C出现在位置7处；
所述Volume Embedding表示为：某一日志文本在日志序列中连续出现次数，如图3中日志A在日志序列开头处连续出现4次；
所述Token Embedding表示为：将日志模板通过神经网络等方式转换为向量表示。
在上述方法中，所述日志异常检测的日志异常检测阶段，对日志序列进行掩码，并输入至模型离线训练后的模型中进行异常检测。详细的，日志序列进行掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序进行滑窗采样，保证每次被掩码的模板在序列中随机分布，同时整个序列中的模板都将被掩码，解决异常日志的模板在日志序列中比例小无法被掩码的问题，同时避免单纯的轮询掩码导致掩码中心位置无法学习周边位置信息的问题。
请参阅图6，轮询掩码方法流程如下：对日志序列中的日志模板进行排序或者乱序排列；基于索引位置采用轮询的方式对日志模板进行掩码；在模型训练阶段通过此种掩码方式可以进行数据增强，即同一日志序列会被多次掩码使用，使模型充分学习日志序列中包含的信息。
在异常检测阶段日志序列中的每个位置都被掩码，避免日志序列中正常日志比例较大，掩码比例较少时则对于异常日志序列可能掩码掉的都是正常位置，通过其上下文可以正确预测处该位置的日志模板，导致无法对异常序列进行检测。若掩码比例若过大则导致模型无法学习日志序列中包含的信息，同样无法对日志序列进行检测的问题。
输入至模型离线训练后的模型，即将掩码后的日志序列输入模型，预测掩码位置处候选 TopN个日志模板，若真实日志模板在TopN集合中，则判断该掩码位置处预测正常，否则判断该掩码位置处预测异常。
请参阅图7，图7是各种算法在HDFS、BGL数据集上异常检测效果，从表中可以看出本发明在精确率、召回率、f1值上具有较大优势。
在本实施例中，所述日志预处理，提前利用正则表达式对日志文本中常见变量替换为相应的字符串。容易理解的是，所述常见变量包括数字、时间、ip地址、ip端口和文件路径。
可选的，所述日志解析算法为Drain、Spell、LogMine或LogCluster日志解析算法，优选的，所述日志解析算法为Drain日志解析算法。
可选的，所述BERT模型由多个Transformer的编码器组成，即所述BERT模型中采用的是带有多头注意力的译码器。在另一可行实施例中，所述BERT模型为前馈神经网络模型。
实施例二
本发明提供一种日志异常检测系统，基于上述的日志异常检测方法，包括日志预处理模块、日志解析模块、日志折叠向量表征模块、基于索引的轮询掩码模块、模型离线训练模块，所述日志折叠向量表征模块采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征；所述基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式包含2种优势，①保证日志序列中的每个位置都被掩码；②基于每次的掩码比例 n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。所述模型训练模块采用的最终目标函数为：
其中的α为MLKP损失函数和VHM损失函数的平衡因子。
综上所述，本发明日志异常检测方法及系统，日志折叠向量表征中包含更多的日志序列信息，此外还可以提高单次输入日志模板序列的长度，使得模型能够学习到更多日志序列信息，提高异常检测准确率和检测效率，模型训练阶段可以使用基于索引的序列轮询掩码方法保证日志序列中的每个位置都被掩码；基于每次的掩码比例n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。
所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种日志异常检测方法，其特征在于，日志预处理后利用日志解析算法对日志进行解析，生成日志模板，所述日志模板经过日志折叠向量表征以及基于索引的轮询掩码后输入BERT模型中进行模型离线训练生成异常检测模型，用于日志序列异常检测；
所述日志折叠向量表征采用Volume Embedding表征某日志连续出现次数，PositionalEmbedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征；
所述基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将位置下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。
2.根据权利要求1所述的日志异常检测方法，其特征在于：
还包括用于日志序列异常检测的最终目标函数为：
最终目标函数中的LMLKP为日志模板掩码预测(MLKP)损失函数Masked Log KeyPrediction(MLKP)形式，具体为：
其中
表示在第j个日志序列中，掩码位置i处的真实日志模板，
表示第j个日志序列中，掩码位置i处的预测的日志模板，M表示日志序列j中总的掩码个数，N表示日志序列个数；
最终目标函数中的LVHM为超球面体积最小化Volume of Hypersphere Minimization(VHM)损失函数，具体为：
其中，N表示日志序列个数，c为超球的中心点，
为第j个日志序列的向量表示；
最终目标函数中的α为MLKP损失函数和VHM损失函数的平衡因子。
3.据权利要求1所述的日志异常检测方法，其特征在于：输入至模型离线训练后的模型，即将掩码后的日志序列输入模型，预测掩码位置处候选TopN个日志模板，若真实日志模板在TopN集合中，则判断该掩码位置处预测正常，否则判断该掩码位置处预测异常。
4.根据权利要求1所述的日志异常检测方法，其特征在于：所述日志预处理，提前利用正则表达式对日志文本中常见变量替换为相应的字符串。
5.根据权利要求4所述的日志异常检测方法，其特征在于：所述常见变量包括数字、时间、ip地址、ip端口和文件路径。
6.根据权利要求1所述的日志异常检测方法，其特征在于：所述日志解析算法为Drain、Spell、LogMine或LogCluster日志解析算法。
7.根据权利要求1所述的日志异常检测方法，其特征在于：所述BERT模型由多个Transformer编码器组成。
8.根据权利要求1所述的日志异常检测方法，其特征在于：所述BERT模型可以替换为前馈神经网络模型。
9.一种日志异常检测系统，基于权利要求1-8任一项所述的日志异常检测方法，其特征在于：包括日志预处理模块、日志解析模块、日志折叠向量表征模块、基于索引的轮询掩码模块和模型离线训练模块，所述日志折叠向量表征模块采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征；基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将下标再映射到对应的日志模板，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式包含2种优势，①保证日志序列中的每个位置都被掩码；②基于每次的掩码比例n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211405933.XA CN115794465B (zh) | 2022-11-10 | 2022-11-10 | 一种日志异常检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211405933.XA CN115794465B (zh) | 2022-11-10 | 2022-11-10 | 一种日志异常检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115794465A true CN115794465A (zh) | 2023-03-14 |
| CN115794465B CN115794465B (zh) | 2023-12-19 |
Family
ID=85436651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211405933.XA Active CN115794465B (zh) | 2022-11-10 | 2022-11-10 | 一种日志异常检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115794465B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086186A (zh) * | 2018-07-24 | 2018-12-25 | 中国联合网络通信集团有限公司 | 日志检测方法及装置 |
| WO2019060327A1 (en) * | 2017-09-20 | 2019-03-28 | University Of Utah Research Foundation | ONLINE DETECTION OF ANOMALIES IN A NEWSPAPER USING AUTOMATIC APPRENTICESHIP |
| WO2019077656A1 (ja) * | 2017-10-16 | 2019-04-25 | 富士通株式会社 | 生産設備監視装置、生産設備監視方法及び生産設備監視プログラム |
| CN111209168A (zh) * | 2020-01-14 | 2020-05-29 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于nLSTM-self attention的日志序列异常检测框架 |
| CN113111908A (zh) * | 2021-03-03 | 2021-07-13 | 长沙理工大学 | 一种基于模板序列或词序列的bert异常检测方法及设备 |
| CN113434357A (zh) * | 2021-05-17 | 2021-09-24 | 中国科学院信息工程研究所 | 基于序列预测的日志异常检测方法及装置 |
| CN113574516A (zh) * | 2020-02-26 | 2021-10-29 | 华为技术有限公司 | 用于将多个文件系统的快照编入索引的设备及方法 |
| CN113656254A (zh) * | 2021-08-25 | 2021-11-16 | 上海明略人工智能(集团)有限公司 | 基于日志信息的异常检测方法、系统和计算机设备 |
| KR102359090B1 (ko) * | 2021-05-27 | 2022-02-08 | 주식회사 아미크 | 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템 |
| WO2022047658A1 (zh) * | 2020-09-02 | 2022-03-10 | 大连大学 | 日志异常检测系统 |
| CN114610515A (zh) * | 2022-03-10 | 2022-06-10 | 电子科技大学 | 基于日志全语义的多特征日志异常检测方法及系统 |
| CN114969241A (zh) * | 2022-05-26 | 2022-08-30 | 武汉大学 | 一种基于rnn神经网络和倒排索引的日志自动化解析方法 |
| CN115048673A (zh) * | 2022-06-16 | 2022-09-13 | 平安银行股份有限公司 | 一种日志掩码方法及装置 |
| CN115277180A (zh) * | 2022-07-26 | 2022-11-01 | 电子科技大学 | 一种区块链日志异常检测与溯源系统 |
| CN115269304A (zh) * | 2021-04-29 | 2022-11-01 | 超聚变数字技术有限公司 | 日志异常检测模型训练方法、装置及设备 |
| CN115310650A (zh) * | 2022-04-29 | 2022-11-08 | 上海鼎茂信息技术有限公司 | 一种低复杂度高精度的时序多步预测方法及系统 |
-
2022
- 2022-11-10 CN CN202211405933.XA patent/CN115794465B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019060327A1 (en) * | 2017-09-20 | 2019-03-28 | University Of Utah Research Foundation | ONLINE DETECTION OF ANOMALIES IN A NEWSPAPER USING AUTOMATIC APPRENTICESHIP |
| WO2019077656A1 (ja) * | 2017-10-16 | 2019-04-25 | 富士通株式会社 | 生産設備監視装置、生産設備監視方法及び生産設備監視プログラム |
| CN109086186A (zh) * | 2018-07-24 | 2018-12-25 | 中国联合网络通信集团有限公司 | 日志检测方法及装置 |
| CN111209168A (zh) * | 2020-01-14 | 2020-05-29 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于nLSTM-self attention的日志序列异常检测框架 |
| CN113574516A (zh) * | 2020-02-26 | 2021-10-29 | 华为技术有限公司 | 用于将多个文件系统的快照编入索引的设备及方法 |
| WO2022047658A1 (zh) * | 2020-09-02 | 2022-03-10 | 大连大学 | 日志异常检测系统 |
| CN113111908A (zh) * | 2021-03-03 | 2021-07-13 | 长沙理工大学 | 一种基于模板序列或词序列的bert异常检测方法及设备 |
| CN115269304A (zh) * | 2021-04-29 | 2022-11-01 | 超聚变数字技术有限公司 | 日志异常检测模型训练方法、装置及设备 |
| CN113434357A (zh) * | 2021-05-17 | 2021-09-24 | 中国科学院信息工程研究所 | 基于序列预测的日志异常检测方法及装置 |
| KR102359090B1 (ko) * | 2021-05-27 | 2022-02-08 | 주식회사 아미크 | 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템 |
| CN113656254A (zh) * | 2021-08-25 | 2021-11-16 | 上海明略人工智能(集团)有限公司 | 基于日志信息的异常检测方法、系统和计算机设备 |
| CN114610515A (zh) * | 2022-03-10 | 2022-06-10 | 电子科技大学 | 基于日志全语义的多特征日志异常检测方法及系统 |
| CN115310650A (zh) * | 2022-04-29 | 2022-11-08 | 上海鼎茂信息技术有限公司 | 一种低复杂度高精度的时序多步预测方法及系统 |
| CN114969241A (zh) * | 2022-05-26 | 2022-08-30 | 武汉大学 | 一种基于rnn神经网络和倒排索引的日志自动化解析方法 |
| CN115048673A (zh) * | 2022-06-16 | 2022-09-13 | 平安银行股份有限公司 | 一种日志掩码方法及装置 |
| CN115277180A (zh) * | 2022-07-26 | 2022-11-01 | 电子科技大学 | 一种区块链日志异常检测与溯源系统 |
Non-Patent Citations (4)
| Title |
|---|
| HAIXUAN GUO 等: "LogBERT: Log Anomaly Detection via BERT", 2021 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN) * |
| MIN DU 等: "DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning", CCS \'17: PROCEEDINGS OF THE 2017 ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY * |
| YANGYI SHAO 等: "Log Anomaly Detection method based on BERT model optimization", 2022 7TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND BIG DATA ANALYTICS (ICCCBDA) * |
| 王智远;任崇广;陈榕;秦莉;: "基于日志模板的异常检测技术", 智能计算机与应用, no. 05 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115794465B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN112199496A (zh) | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 | |
| CN112288021A (zh) | 一种医疗废水监测数据质控方法、装置及系统 | |
| CN115563563A (zh) | 基于变压器油色谱分析的故障诊断方法及装置 | |
| CN107798283A (zh) | 一种基于决策导向无环图的神经网络故障多类分类器 | |
| CN113609488B (zh) | 基于自监督学习及多通道超图神经网络的漏洞检测方法与系统 | |
| CN115277180B (zh) | 一种区块链日志异常检测与溯源系统 | |
| CN115757695A (zh) | 一种日志语言模型训练方法及系统 | |
| CN113065356A (zh) | 一种基于语义分析算法的it设备运维故障建议处理方法 | |
| CN117275518A (zh) | 一种面向小样本数据的设备故障声纹检测方法 | |
| CN113742396B (zh) | 一种对象学习行为模式的挖掘方法及装置 | |
| CN111522705A (zh) | 一种工业大数据智能运维解决方法 | |
| CN118300860A (zh) | 一种基于机器学习和高级语义映射的电力网络异常检测系统 | |
| CN114416479A (zh) | 一种基于流外正则化的日志序列异常检测方法 | |
| CN114357171A (zh) | 一种应急事件处理方法、装置、存储介质及电子设备 | |
| CN117390198A (zh) | 构建电力领域科技知识图谱的方法、装置、设备及介质 | |
| CN117409890A (zh) | 一种基于双向长短时记忆的变压器故障自辨识方法及系统 | |
| CN115794465A (zh) | 一种日志异常检测方法及系统 | |
| CN111967003A (zh) | 基于黑盒模型与决策树的风控规则自动生成系统及方法 | |
| CN115617953A (zh) | 一种网络业务链路故障智能诊断方法及系统 | |
| CN115827871A (zh) | 互联网企业分类的方法、装置和系统 | |
| CN113961933B (zh) | 一种基于改进Bert模型的信息安全漏洞分类方法 | |
| CN115828888A (zh) | 一种针对多种网络日志进行语义解析及结构化的方法 | |
| CN115730246A (zh) | 一种变压器故障预警模型建立方法、预警方法及装置 | |
| Naqvi et al. | Generating semantic matches between maintenance work orders for diagnostic decision support |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |