CN113806198B - 一种基于深度学习的系统状态诊断方法 - Google Patents
一种基于深度学习的系统状态诊断方法 Download PDFInfo
- Publication number
- CN113806198B CN113806198B CN202111112825.9A CN202111112825A CN113806198B CN 113806198 B CN113806198 B CN 113806198B CN 202111112825 A CN202111112825 A CN 202111112825A CN 113806198 B CN113806198 B CN 113806198B
- Authority
- CN
- China
- Prior art keywords
- log
- log information
- real
- sequence
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003745 diagnosis Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 21
- 230000003190 augmentative effect Effects 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于深度学习的系统状态诊断方法，涉及信息处理和人工智能的技术领域，包括：获取系统的历史日志信息作为训练数据；利用训练数据训练对抗生成网络中的判别器和生成器；混合训练数据和噪声数据后输入训练好的生成器中生成日志序列；对日志序列预处理后分类，获得类型特征，并添加进预处理后的日志序列中；对标注类型特征的日志序列学习时空特征，获得系统正常状态下日志信息的类别出现的顺序，并预测下一时间出现的日志信息的类型分布概率，划分置信区间；获取系统的实时日志信息，比较实时日志信息的真实类型特征和置信区间，获得系统的当前状态。本发明对系统状态进行诊断时，可以实时获取系统的当前状态，实时性高，结果准确。
Description
技术领域
本发明涉及信息处理和人工智能的技术领域，更具体地，涉及一种基于深度学习的系统状态诊断方法。
背景技术
系统日志为诊断当前系统状态提供了重要的利用资源，而手动检测日志异常耗时，并且在实际操作中容易出错，在需要实时作出判断的场景下难以实施。而随着机器学习理论的发展和不断完善，在各种判断和分析场景下深度学习的表现都取得了超越人类智能的成绩，因此从高性能、低成本和高性价比的角度出发考虑，系统状态诊断开始被机器学习替代。其中，深度学习模型总是默认数据在类型上会有一个均衡的分布，因此均衡的数据能够让模型有更好的性能表现。但实际场景中，数据却总是呈现不平衡分布的状况，难以满足理想状况下的数据分布要求，进而影响对诊断的判断。
2019年2月15日公开的中国专利申请CN109343990A提供了一种基于深度学习的云计算系统自动化故障检测方法，该方法基于聚类将格式和内容相似的日志进行聚集，进而提取日志模式；将每个模式作为一个词，并将离散模式集作为一个文档，从而得到低维度特征空间；使用递归神经网络处理标记数据以得到跨序列的依赖性，从而生成信号以检测云计算系统异常。该发明使用递归神经网络处理标记数据，虽然考虑到短期与长期数据对数据分析与挖掘的影响，但存在实时性差的缺陷，并且依赖标记后的日志数据，数据分布区域稀疏，分类效果差，进而使诊断结果不准确。
发明内容
本发明为克服上述现有技术对系统状态诊断精度低的缺陷，提供一种基于深度学习的系统状态诊断方法，可以实时获取系统的当前状态，实时性高，结果准确。
为解决上述技术问题，本发明的技术方案如下：
本发明提供了一种基于深度学习的系统状态诊断方法，包括：
S1：获取系统的历史日志信息作为训练数据；
S2：将训练数据输入预设的对抗生成网络中，训练对抗生成网络中的判别器和生成器，获得训练好的判别器和生成器；
S3：将训练数据和噪声数据混合后输入训练好的生成器中，生成日志序列；
S4：对日志序列进行预处理，获得预处理后的日志序列；
S5：对预处理后的日志序列进行分类，获得类型特征，并将类型特征添加进预处理后的日志序列中，获得标注类型特征的日志序列；
S6：对标注类型特征的日志序列学习时空特征，获得系统正常状态下日志信息的类别出现的顺序；
S7：根据日志信息的类别出现的顺序，预测下一时间出现的日志信息的类型分布概率，基于分布概率划分置信区间；
S8：获取系统的实时日志信息，对实时日志信息进行处理，获得实时日志信息的真实类型特征；
S9：比较实时日志信息的真实类型特征和置信区间，获得系统的当前状态。
优选地，所述步骤S1中，获取系统的历史日志信息作为训练数据时，需要对系统的历史日志信息进行分割，具体为：
设置滑动窗口，滑动窗口大小为a，每次沿历史日志信息的时序方向移动b个单位，将历史日志信息分割成一系列上下文集合，将所述上下文集合作为训练数据。
优选地，所述步骤S2中，训练对抗生成网络中的判别器和生成器，获得训练好的生成器的具体方法为：
S2.1：固定生成器权重，将训练数据输入到判别器中进行训练，更新判别器权重；
S2.2：固定判别器权重，将训练数据输入到生成器中进行训练，更新生成器权重；
S2.3：重复S2.1-S2.2，直到生成器和判别器之间达到平衡。
实际情况中，训练数据呈现不平衡分布的状况，无法满足理想状况下数据的分布要求；对抗生成网络可以有效缓解数据分布不平衡的问题，生成符合真实数学分布的日志序列。
优选地，所述步骤S4中，对日志序列进行预处理，包括：
S4.1：对日志序列进行结构化处理，获得结构化日志序列；
S4.2：对结构化日志序列进行数值化处理，获得数值化日志序列。
日志序列以非结构化的文本数据形式呈现，需要将非结构化的日志序列解析转换为结构化的表示形式，以满足后续的数据要求。
优选地，所述步骤S4.1中，对日志序列进行结构化处理的具体方法为：
利用Drain解析器构建解析树，根据日志序列包含的日志令牌的长度和类别，寻找对应的日志事件，利用日志事件模板生成结构化日志序列。
优选地，所述步骤S4.2中，对结构化日志序列进行数值化处理的具体方法为：
利用文本词嵌入算法将结构化日志序列映射到数学空间上，获得每个词的向量表达形式，作为数值化日志序列。
词嵌入是单词的一种数值化表示方式，将一个单词映射到一个高维的词向量中，在这个向量空间中，词性相近的词会在距离上很接近，有利于提高训练的收敛速度和预测精度。
优选地，所述步骤S5中，对预处理后的日志序列进行分类，获得类型特征的具体方法为：
基于数值化日志序列，利用对比学习的方法，在对应的历史日志信息中随机选取c个词，在数学空间上为所述c个词分别寻找d个空间距离最近向量词汇；用所述向量词汇分别替换历史日志信息上的c个词，获得历史日志信息的多条增广日志数据；
由同一历史日志信息获得的增广日志数据和该历史日志信息视为正例，训练数据中的其他历史日志信息视为负例；对比学习形成一个球形空间，将互为正例的历史日志信息和增广日志数据在球形空间上聚合，并与负例拉远距离，获得球形空间上的日志类型分布，即类型特征。
由同一历史日志信息增广出来的增广日志数据在数学空间上会有与原历史日志信息更相似的数学表达，在数学空间上的相似使其天然的适于做原历史日志信息的正例；对比学习是自监督学习中的一种，不依赖标注数据，从无标注数据中自动学习特征知识，对比学习将所有数据均匀地投影到球形空间上，同类的数据在空间上尽可能聚合，不同类型的数据在空间上尽可能拉远，从而实现准确分类，获得类型特征，大大提高分类精确度。
优选地，所述步骤S6中，利用现有的bert模型对标注类型特征的日志序列学习时空特征，获得系统正常状态下日志信息类别出现的顺序。
优选地，所述步骤S8中，对实时日志信息进行处理包括：
S8.1：对实时日志信息进行结构化处理，获得结构互化实时日志信息；
S8.2：对结构互化实时日志信息进行数字化处理，获得数字化实时日志信息；
S8.3：对数字化实时日志信息进行对比学习，获得实时日志信息的真实类型特征。
优选地，所述步骤S9中，比较实时日志信息的真实类型特征和置信区间，获得系统的当前状态的具体方法为：
比较实时日志信息的真实类型特征和置信区间，当实时日志信息的真实类型特征符合置信区间上的预测类型特征时，系统状态正常；当实时日志信息的真实类型特征不符合置信区间上的预测类型特征时，系统状态异常。
与现有技术相比，本发明技术方案的有益效果是：
本发明首先利用系统的历史日志信息作为训练数据，训练对抗生成网络中的判别器和生成器，之后利用训练好的生成器生成符合真实数学分布的日志序列；对日志序列预处理后进行分类，获得类型特征，提高了分类精确度；对标注类型特征的日志序列学习时空特征，并对下一时间出现的日志信息的类型进行预测，时空特征反映出正常状态下日志信息的类别出现的顺序，预测精度高；基于下一时间出现的日志信息的类型的分布概率划分置信区间，比较实时日志信息的真实类型特征与置信区间，获得系统的当前状态。利用本发明对系统状态进行诊断时，可以实时获取系统的当前状态，实时性高，结果准确。
附图说明
图1为实施例所述的基于深度学习的系统状态诊断方法的流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
本实施例提供了一种基于深度学习的系统状态诊断方法，如图1所示，包括：
S1：获取系统的历史日志信息作为训练数据；
获取系统的历史日志信息作为训练数据时，需要对系统的历史日志信息进行分割，具体为：
设置滑动窗口，滑动窗口大小为a，每次沿历史日志信息的时序方向移动b个单位，将历史日志信息分割成一系列上下文集合，将所述上下文集合作为训练数据。本实施例中，设置滑动窗口大小为3，每次沿历史日志信息的时序方向移动3个单位。
S2：将训练数据输入预设的对抗生成网络中，训练对抗生成网络中的判别器和生成器，获得训练好的判别器和生成器；具体方法为：
S2.1：固定生成器权重，将训练数据输入到判别器中进行训练，更新判别器权重；
S2.2：固定判别器权重，将训练数据输入到生成器中进行训练，更新生成器权重；
S2.3：重复S2.1-S2.2，直到生成器和判别器之间达到平衡。
S3：将训练数据和噪声数据混合后输入训练好的生成器中，生成日志序列；
实际情况中，训练数据呈现不平衡分布的状况，无法满足理想状况下数据的分布要求；对抗生成网络可以有效缓解数据分布不平衡的问题，生成符合真实数学分布的日志序列。
S4：对日志序列进行预处理，获得预处理后的日志序列；
所述预处理包括：
S4.1：对日志序列进行结构化处理，获得结构化日志序列；
利用Drain解析器构建解析树，根据日志序列包含的日志令牌的长度和类别，寻找对应的日志事件，利用日志事件模板生成结构化日志序列；
日志序列以非结构化的文本数据形式呈现，需要将非结构化的日志序列解析转换为结构化的表示形式，以满足后续的数据要求；
S4.2：对结构化日志序列进行数值化处理，获得数值化日志序列。
利用文本词嵌入算法将结构化日志序列映射到数学空间上，获得每个词的向量表达形式，作为数值化日志序列；
词嵌入是单词的一种数值化表示方式，将一个单词映射到一个高维的词向量中，在这个向量空间中，词性相近的词会在距离上很接近，有利于提高训练的收敛速度和预测精度。
S5：对预处理后的日志序列进行分类，获得类型特征，并将类型特征添加进预处理后的日志序列中，获得标注类型特征的日志序列；
对预处理后的日志序列进行分类，获得类型特征的具体方法为：
基于数值化日志序列，利用对比学习的方法，在对应的历史日志信息中随机选取c个词，在数学空间上为所述c个词分别寻找d个空间距离最近向量词汇；用所述向量词汇分别替换历史日志信息上的c个词，获得历史日志信息的多条增广日志数据；
本实施例中，在对应的历史日志信息中随机选取3个词，在数学空间上为所述3个词分别寻找3个空间距离最近向量词汇，用所述向量词汇分别替换历史日志信息上的3个词，获得历史日志信息的多条增广日志数据。
由同一历史日志信息获得的增广日志数据和该历史日志信息视为正例，训练数据中的其他历史日志信息视为负例；对比学习形成一个球形空间，将互为正例的历史日志信息和增广日志数据在球形空间上聚合，并与负例拉远距离，获得球形空间上的日志类型分布，即类型特征。
由同一历史日志信息增广出来的增广日志数据在数学空间上会有与原历史日志信息更相似的数学表达，在数学空间上的相似使其天然的适于做原历史日志信息的正例；对比学习是自监督学习中的一种，不依赖标注数据，从无标注数据中自动学习特征知识，对比学习将所有数据均匀地投影到球形空间上，同类的数据在空间上尽可能聚合，不同类型的数据在空间上尽可能拉远，从而实现准确分类，获得类型特征，大大提高分类精确度。
S6：对标注类型特征的日志序列学习时空特征，获得系统正常状态下日志信息的类别出现的顺序；
利用现有的bert模型对标注类型特征的日志序列学习时空特征。
S7：根据日志信息的类别出现的顺序，预测下一时间出现的日志信息的类型分布概率，基于分布概率划分置信区间；
本实施例中，将下一时间可能出现的日志信息的类型概率最高的前3个类型作为置信区间。
S8：获取系统的实时日志信息，对实时日志信息进行处理，获得实时日志信息的真实类型特征；
对实时日志信息进行处理包括：
S8.1：对实时日志信息进行结构化处理，获得结构互化实时日志信息；
S8.2：对结构互化实时日志信息进行数字化处理，获得数字化实时日志信息；
S8.3：对数字化实时日志信息进行对比学习，获得实时日志信息的真实类型特征。
S9：比较实时日志信息的真实类型特征和置信区间，获得系统的当前状态。
具体为：比较实时日志信息的真实类型特征和置信区间，当实时日志信息的真实类型特征符合置信区间上的预测类型特征时，系统状态正常；当实时日志信息的真实类型特征不符合置信区间上的预测类型特征时，系统状态异常。
本实施例选取系统的历史日志信息，设置一个滑动窗口，滑动窗口大小为3，每次沿着历史日志信息的时序方向移动三个单位，将历史日志信息按分割成一系列上下文的集合后作为训练数据，输入对抗生成网络；固定住生成器权重，利用训练数据对判别器进行训练，并更新判别器权重。再固定住判别器的权重，利用训练数据对生成器进行训练，更新生成器权重。将训练数据和噪声数据混合输入训练好的生成器中，有效缓解数据分布不平衡的问题，生成符合真实数学分布的日志序列；日志序列以非结构化的文本数据呈现，需要利用Drain解析器对日志序列进行解析准换，处理成结构化的数据表示；再利用文本词嵌入的方法对结构化日志序列进行数值化处理，映射到数学空间上，将每一个词映射到一个高维的词向量中，形成数值化日志序列，在这个向量空间中，词性相近的词会在距离上很接近，有利于提高训练的收敛速度和预测精度；基于数值化日志序列，利用对比学习的方法对其进行分类，在对应的历史日志信息中随机选取3个词，在数学空间上为所述3个词分别寻找3个空间距离最近向量词汇；用所述向量词汇分别替换历史日志信息上的3个词，获得历史日志信息的多条增广日志数据；对比学习形成一个球形空间，将互为正例的历史日志信息和增广日志数据在球形空间上聚合，并与负例拉远距离，获得球形空间上的日志类型分布，即类型特征，能够有效提高分类精确度；将类型特征添加进预处理后的日志序列中，获得标注类型特征的日志序列，利用现有的bert模型对标注类型特征的日志序列学习时空特征，并对下一时间出现的日志信息的类型进行预测，时空特征反映出正常状态下日志信息的类别出现的顺序，预测精度高；将下一时间可能出现的日志信息的类型概率最高的前3个类型作为置信区间，比较实时日志信息的真实类型特征与置信区间，当实时日志信息的真实类型特征符合置信区间上的预测类型特征时，系统状态正常；当实时日志信息的真实类型特征不符合置信区间上的预测类型特征时，系统状态异常。利用本实施例对系统状态进行诊断时，可以实时获取系统的当前状态，实时性高，结果准确。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于深度学习的系统状态诊断方法，其特征在于，包括：
S1：获取系统的历史日志信息作为训练数据；
S2：将训练数据输入预设的对抗生成网络中，训练对抗生成网络中的判别器和生成器，获得训练好的判别器和生成器；
S3：将训练数据和噪声数据混合后输入训练好的生成器中，生成日志序列；
S4：对日志序列进行预处理，获得预处理后的日志序列；
S5：对预处理后的日志序列进行分类，获得类型特征，并将类型特征添加进预处理后的日志序列中，获得标注类型特征的日志序列；
S6：对标注类型特征的日志序列学习时空特征，获得系统正常状态下日志信息的类别出现的顺序；
S7：根据日志信息的类别出现的顺序，预测下一时间出现的日志信息的类型分布概率，基于分布概率划分置信区间；
S8：获取系统的实时日志信息，对实时日志信息进行处理，获得实时日志信息的真实类型特征；
S9：比较实时日志信息的真实类型特征和置信区间，获得系统的当前状态。
2.根据权利要求1所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S1中，获取系统的历史日志信息作为训练数据时，需要对系统的历史日志信息进行分割，具体为：
设置滑动窗口，滑动窗口大小为a，每次沿历史日志信息的时序方向移动b个单位，将历史日志信息分割成一系列上下文集合，将所述上下文集合作为训练数据。
3.根据权利要求1所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S2中，训练对抗生成网络中的判别器和生成器，获得训练好的生成器的具体方法为：
S2.1：固定生成器权重，将训练数据输入到判别器中进行训练，更新判别器权重；
S2.2：固定判别器权重，将训练数据输入到生成器中进行训练，更新生成器权重；
S2.3：重复S2.1-S2.2，直到生成器和判别器之间达到平衡。
4.根据权利要求1所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S4中，对日志序列进行预处理，包括：
S4.1：对日志序列进行结构化处理，获得结构化日志序列；
S4.2：对结构化日志序列进行数值化处理，获得数值化日志序列。
5.根据权利要求4所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S4.1中，对日志序列进行结构化处理的具体方法为：
利用Drain解析器构建解析树，根据日志序列包含的日志令牌的长度和类别，寻找对应的日志事件，利用日志事件模板生成结构化日志序列。
6.根据权利要求4所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S4.2中，对结构化日志序列进行数值化处理的具体方法为：
利用文本词嵌入算法将结构化日志序列映射到数学空间上，获得每个词的向量表达形式，作为数值化日志序列。
7.根据权利要求6所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S5中，对预处理后的日志序列进行分类，获得类型特征的具体方法为：
基于数值化日志序列，利用对比学习的方法，在对应的历史日志信息中随机选取c个词，在数学空间上为所述c个词分别寻找d个空间距离最近向量词汇；用所述向量词汇分别替换历史日志信息上的c个词，获得历史日志信息的多条增广日志数据；
由同一历史日志信息获得的增广日志数据和该历史日志信息视为正例，训练数据中的其他历史日志信息视为负例；对比学习形成一个球形空间，将互为正例的历史日志信息和增广日志数据在球形空间上聚合，并与负例拉远距离，获得球形空间上的日志类型分布，即类型特征。
8.根据权利要求7所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S6中，利用现有的bert模型对标注类型特征的日志序列学习时空特征，获得系统正常状态下日志信息类别出现的顺序。
9.根据权利要求8所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S8中，对实时日志信息进行处理包括：
S8.1：对实时日志信息进行结构化处理，获得结构互化实时日志信息；
S8.2：对结构互化实时日志信息进行数字化处理，获得数字化实时日志信息；
S8.3：对数字化实时日志信息进行对比学习，获得实时日志信息的真实类型特征。
10.根据权利要求9所述的基于深度学习的系统状态诊断方法，其特征在于，所述步骤S9中，比较实时日志信息的真实类型特征和置信区间，获得系统的当前状态的具体方法为：
比较实时日志信息的真实类型特征和置信区间，当实时日志信息的真实类型特征符合置信区间上的预测类型特征时，系统状态正常；当实时日志信息的真实类型特征不符合置信区间上的预测类型特征时，系统状态异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111112825.9A CN113806198B (zh) | 2021-09-18 | 2021-09-18 | 一种基于深度学习的系统状态诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111112825.9A CN113806198B (zh) | 2021-09-18 | 2021-09-18 | 一种基于深度学习的系统状态诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113806198A CN113806198A (zh) | 2021-12-17 |
| CN113806198B true CN113806198B (zh) | 2022-09-13 |
Family
ID=78940246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111112825.9A Active CN113806198B (zh) | 2021-09-18 | 2021-09-18 | 一种基于深度学习的系统状态诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113806198B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331155B (zh) * | 2022-10-14 | 2023-02-03 | 智慧齐鲁(山东)大数据科技有限公司 | 一种海量视频监控点位出图状态检测方法及系统 |
| CN115934484B (zh) * | 2022-11-29 | 2024-02-09 | 广东技术师范大学 | 基于扩散模型数据增强的异常检测方法、存储介质及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781433A (zh) * | 2019-10-11 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 数据类型的确定方法和装置、存储介质及电子装置 |
| CN112738092A (zh) * | 2020-12-29 | 2021-04-30 | 北京天融信网络安全技术有限公司 | 一种日志数据增强方法、分类检测方法及系统 |
| CN113407425A (zh) * | 2021-05-13 | 2021-09-17 | 桂林电子科技大学 | 基于BiGAN与OTSU的内部用户行为检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147343A1 (en) * | 2017-11-15 | 2019-05-16 | International Business Machines Corporation | Unsupervised anomaly detection using generative adversarial networks |
-
2021
- 2021-09-18 CN CN202111112825.9A patent/CN113806198B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781433A (zh) * | 2019-10-11 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 数据类型的确定方法和装置、存储介质及电子装置 |
| CN112738092A (zh) * | 2020-12-29 | 2021-04-30 | 北京天融信网络安全技术有限公司 | 一种日志数据增强方法、分类检测方法及系统 |
| CN113407425A (zh) * | 2021-05-13 | 2021-09-17 | 桂林电子科技大学 | 基于BiGAN与OTSU的内部用户行为检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《基于深度学习的系统日志异常检测研究》;王易东，刘培顺，王彬;《网络与信息安全学报》;20191031;全文 * |
| 《基于生成对抗网络的系统日志级异常检测算法》;夏彬，白宇轩，殷俊杰;《计算机应用》;20201010;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113806198A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114610515B (zh) | 基于日志全语义的多特征日志异常检测方法及系统 | |
| CN107315737B (zh) | 一种语义逻辑处理方法及系统 | |
| CN111914644B (zh) | 一种基于双模态协同的弱监督时序动作定位方法及系统 | |
| US11301759B2 (en) | Detective method and system for activity-or-behavior model construction and automatic detection of the abnormal activities or behaviors of a subject system without requiring prior domain knowledge | |
| CN113434357B (zh) | 基于序列预测的日志异常检测方法及装置 | |
| CN113806198B (zh) | 一种基于深度学习的系统状态诊断方法 | |
| CN114743020B (zh) | 一种结合标签语义嵌入和注意力融合的食物识别方法 | |
| CN109981625A (zh) | 一种基于在线层次聚类的日志模板抽取方法 | |
| CN113298151A (zh) | 一种基于多级特征融合的遥感图像语义描述方法 | |
| CN111611218A (zh) | 一种基于深度学习的分布式异常日志自动识别方法 | |
| CN113094578A (zh) | 基于深度学习的内容推荐方法、装置、设备及存储介质 | |
| CN113672931A (zh) | 一种基于预训练的软件漏洞自动检测方法及装置 | |
| CN114706966A (zh) | 基于人工智能的语音交互方法、装置、设备及存储介质 | |
| CN112417893A (zh) | 一种基于语义层次聚类的软件功能需求分类方法及系统 | |
| CN116756688A (zh) | 一种基于多模态融合算法的舆情风险发现方法 | |
| CN116661805A (zh) | 代码表示的生成方法和装置、存储介质及电子设备 | |
| CN111125186A (zh) | 一种基于调查问卷的数据处理方法及系统 | |
| Al-Tameemi et al. | Interpretable multimodal sentiment classification using deep multi-view attentive network of image and text data | |
| CN116702160B (zh) | 一种基于数据依赖增强程序切片的源代码漏洞检测方法 | |
| CN117238276A (zh) | 一种基于智能化语音数据识别的分析纠正系统 | |
| CN112685374B (zh) | 日志分类方法、装置及电子设备 | |
| CN116579348A (zh) | 基于不确定语义融合的虚假新闻检测方法及系统 | |
| CN114842301A (zh) | 一种图像注释模型的半监督训练方法 | |
| CN115758218A (zh) | 一种基于长短时特征和决策融合的三模态情感分析方法 | |
| CN112800259B (zh) | 一种基于边缘闭合与共性检测的图像生成方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240201 Address after: Room 117, Building 501, Guizhou Electronic Science and Technology Vocational College, Tianji Road, Science and Technology New City, Machang Town, Gui'an New District, Guiyang City, Guizhou Province, 550000 Patentee after: Guizhou Goufen Technology Co.,Ltd. Country or region after: China Address before: 510665 No. 293, Zhongshan Avenue, Tianhe District, Guangdong, Guangzhou Patentee before: GUANGDONG POLYTECHNIC NORMAL University Country or region before: China |