CN113656254A - 基于日志信息的异常检测方法、系统和计算机设备 - Google Patents

基于日志信息的异常检测方法、系统和计算机设备 Download PDF

Info

Publication number
CN113656254A
CN113656254A CN202110980426.8A CN202110980426A CN113656254A CN 113656254 A CN113656254 A CN 113656254A CN 202110980426 A CN202110980426 A CN 202110980426A CN 113656254 A CN113656254 A CN 113656254A
Authority
CN
China
Prior art keywords
log
supervised
model
unsupervised
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110980426.8A
Other languages
English (en)
Inventor
李霞
王硕
王同乐
杨康
祝彦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110980426.8A priority Critical patent/CN113656254A/zh
Publication of CN113656254A publication Critical patent/CN113656254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种基于日志信息的异常检测方法、系统和计算机设备，其中，该基于日志信息的异常检测方法包括：结构化数据获取步骤，导出日志并利用正则表达式提取日志的属性特征将其将转换为结构化数据；无监督检测模型训练步骤，将结构化数据进行降维，并利用聚类算法对结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；有监督检测模型训练步骤，根据结构化数据利用时间戳构建时间序列特征数据，基于时间序列特征数据训练有监督识别模型；异常检测步骤，将待检测日志导入无监督识别模型和有监督识别模型进行异常检测。通过使用有监督算法和无监督算法的方法，从不同角度进行异常日志识别，大幅度提升日志异常检测效果。

Description

基于日志信息的异常检测方法、系统和计算机设备
技术领域
本申请涉及机器学习技术领域，特别是涉及基于日志信息的异常检测方法、系统和计算机设备。
背景技术
现代系统正在向大规模发展，通过数千台机器扩展分布式系统，通过这些超级计算机来扩展高性能计算。这些系统大多设计为全天候运行，为全球数以千万计的用户提供服务，所以高可用性和可靠性是必须的。这些系统的任何事件，包括服务中断和服务质量下降，都会导致应用程序崩溃，并导致巨大的收入损失。异常检测旨在及时发现异常系统行为，在大规模系统的事件管理中发挥着重要作用。
基于日志的异常检测可以减少人工检测的工作量，减少设备发生异常的后续影响。现有的对异常日志检测的方法主要通过相关字段进行不同维度的统计(比如总数、平均数、中位数、众数、偏度和峰度等)，根据这些统计信息进行后续的异常日志判断，通常使用阈值进行日志正常与否的判断。
基于日志信息统计的方法主要缺陷在于阈值判断需要积累很多的规则，对于日志信息，它的形式多种多样且不断更新，这样的话需要维护大量规则，从而达到较好的效果进行异常日志判别，导致异常检测的工作量巨大，成本很高。
目前针对相关技术中异常检测工作量与异常检测结果之间的均衡问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于日志信息的异常检测方法、系统和计算机设备，以至少解决相关技术中异常检测工作量与异常检测结果之间的均衡问题。
第一方面，本申请实施例提供了一种基于日志信息的异常检测方法，包括以下步骤：
结构化数据获取步骤，导出日志并利用正则表达式提取日志的属性特征将其将转换为结构化数据；
无监督检测模型训练步骤，将结构化数据进行降维，并利用聚类算法对结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；
有监督检测模型训练步骤，根据结构化数据利用时间戳构建时间序列特征数据，基于时间序列特征数据训练有监督识别模型；
异常检测步骤，将待检测日志导入无监督识别模型和有监督识别模型进行异常检测。
在其中一些实施例中，有监督检测模型训练步骤：
数据准备工作步骤，通过预先设置标签，将时间序列特征数据分为训练集和验证集；
训练模型步骤，将训练集输入至词向量模型获得对应的词向量，将词向量输入至神经网络通过lstm层和激活函数输出二分类结果，获得有监督识别模型；
有监督检测模型验证单元，将验证集输入至有监督识别模型，将输出二分类结果与对应标签根据AUC或ACC进行对比验证。
在其中一些实施例中，二分类结果通过分类指标进行评价，分类指标包括精确率、召回率、F1分数。
在其中一些实施例中，无监督检测模型训练步骤包括：
特征降维步骤，利用主成分分析技术对时间序列特征进行降维，获取低维数据；
聚类步骤，利用聚类算法，从n个低维数据任意选择k个对象作为初始聚类中心，通过计算剩余低维数据与初始聚类中心的相似度进行分簇并形成新的聚类中心，不断重复本步骤直至标准测度函数开始收敛为止，获得无监督识别模型。
在其中一些实施例中，根据分簇结果利用误差平方和进行评价。
第二方面，本申请实施例提供了一种基于日志信息的异常检测系统，应用第一方面的基于日志信息的异常检测系统，包括：
结构化数据获取模块，导出日志并利用正则表达式提取日志的属性特征将其将转换为结构化数据；
无监督检测模型训练模块，将结构化数据进行降维，并利用聚类算法对结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；
有监督检测模型训练模块，根据结构化数据利用时间戳构建时间序列特征数据，基于时间序列特征数据训练有监督识别模型；
异常检测模块，将待检测日志导入无监督识别模型和有监督识别模型进行异常检测。
在其中一些实施例中，有监督检测模型训练模块包括：
数据准备工作单元，通过预先设置标签，将时间序列特征数据分为训练集和验证集；
训练模型单元，将训练集输入至词向量模型获得对应的词向量，将词向量输入至神经网络通过lstm层和激活函数输出二分类结果，获得有监督识别模型；
有监督检测模型验证单元，将验证集输入至有监督识别模型，将输出二分类结果与对应标签根据AUC或ACC进行对比验证。
在其中一些实施例中，无监督检测模型训练模块包括：
特征降维单元，利用主成分分析技术对时间序列特征进行降维，获取低维数据；
聚类单元，利用聚类算法，从n个低维数据任意选择k个对象作为初始聚类中心，通过计算剩余低维数据与初始聚类中心的相似度进行分簇并形成新的聚类中心，不断重复本步骤直至标准测度函数开始收敛为止，获得无监督识别模型。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的基于日志信息的异常检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面的基于日志信息的异常检测方法。
相比于相关技术，本申请实施例提供的基于日志信息的异常检测方法、系统和计算机设备，本申请实施例可以应用于推理能力技术领域，还可以应用于模型管理技术领域，通过使用有监督算法和无监督算法的方法，从不同角度进行异常日志识别，大幅度提升日志异常检测效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于日志信息的异常检测方法的流程图；
图2是根据本申请实施例的有监督检测模型训练步骤的流程图；
图3是根据本申请实施例的无监督检测模型训练步骤的流程图；
图4是根据本申请优选实施例的基于日志信息的异常检测方法的流程图；
图5为根据本申请实施例的某条数据的样式示意图；
图6是根据本申请实施例的基于日志信息的异常检测系统的结构框图；
图7为根据本申请实施例的计算机设备的硬件结构示意图。
附图说明：
结构化数据获取模块1；无监督检测模型训练模块2；
有监督检测模型训练模块3；异常检测模块4；数据准备工作单元31；
训练模型单元32；有监督检测模型验证单元33；特征降维单元21；
聚类单元22；处理器81；存储器82；通信接口83；总线80
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例还提供了一种基于日志信息的异常检测方法。图1是根据本申请实施例的基于日志信息的异常检测方法的流程图，如图1所示，该流程包括如下步骤：
结构化数据获取步骤S1，导出日志并利用正则表达式提取日志的属性特征将其将转换为结构化数据；
无监督检测模型训练步骤S2，将结构化数据进行降维，并利用聚类算法对结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；
有监督检测模型训练步骤S3，根据结构化数据利用时间戳构建时间序列特征数据，基于时间序列特征数据训练有监督识别模型；
异常检测步骤S4，将待检测日志导入无监督识别模型和有监督识别模型进行异常检测。
通过上述步骤，提供了一种基于结构化的日志信息，使用有监督算法和无监督算法的方法，从不同角度进行异常日志识别，大幅度提升日志异常检测效果。结合无监督模型挖掘数据内在结构从而识别异常日志和有监督模型识别异常日志，构建识别更准确的异常日志，减少人工检测的工作量，预先识别设备异常防止发生异常造成的损失。
在其中一些实施例中，图2是根据本申请实施例的有监督检测模型训练步骤的流程图，如图2所示，有监督检测模型训练步骤S3包括：
数据准备工作步骤S31，通过预先设置标签，将时间序列特征数据分为训练集和验证集；
训练模型步骤S32，将训练集输入至词向量模型获得对应的词向量，将词向量输入至神经网络通过LSTM(Long Short-Term Memory)层和激活函数输出二分类结果，获得有监督识别模型；
有监督检测模型验证单元S33，将验证集输入至有监督识别模型，将输出二分类结果与对应标签根据AUC或ACC进行对比验证。
通过上述步骤，利用时间戳属性构建时间序列特征数据，再使用词向量技术输入到神经网络进行二分类任务。其中，使用时间戳将数据转换为文本序列特征进行词嵌入(word2vec)，词嵌入相当于对文本的特征一种表示，经过词嵌入获得的词向量在一定程度上可以解决数据稀疏问题，之后输入到LSTM中，可以得到一个很好的效果。
LSTM是一种时间循环神经网络，是针对解决一般的RNN(循环神经网络)存在的长期依赖问题的，所有的RNN都具有一种重复神经网络模块的链式形式。
词向量(Word2Vec)是一种用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系。
在其中一些实施例中，二分类结果通过分类指标进行评价，分类指标包括精确率、召回率、F1分数。
其中,精确率(precision)为某一样本中预测正确的数量比值；召回率(recall)为针对实际样本而言，正确预测的数量比值；
F1分数(F1-Score)，是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种加权平均，它的最大值是1，最小值是0。
F1分数(F1-Score)，又称为平衡F分数(BalancedScore)，它被定义为精确率和召回率的调和平均数,具体公式为。
Figure BDA0003228837240000061
在其中一些实施例中，图3是根据本申请实施例的无监督检测模型训练步骤的流程图，如图3所示，无监督检测模型训练步骤S2包括：
特征降维步骤S21，利用主成分分析技术对时间序列特征进行降维，获取低维数据；
聚类步骤S22，利用聚类算法，从n个低维数据任意选择k个对象作为初始聚类中心，通过计算剩余低维数据与初始聚类中心的相似度进行分簇并形成新的聚类中心，不断重复本步骤直至标准测度函数开始收敛为止，获得无监督识别模型。
通过上述步骤，使用无监督算法进行数据内在结构的解析。
主成分分析技术-PCA(Principal Component Analysis)是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。
上述聚类算法可以采用K-Means，是一种常用基于欧式距离的聚类算法，其认为两个目标的距离越近，相似度越大。
在实际应用中，先使用主成分分析技术，利用其降维的思想，将多特征转换为少数几个主要特征，降维的同时保持了数据集对方差贡献最大的特征，对于大数据而言可以提升效率，特别是一些实时性要求高的场景。
利用K-meabs对降维得到的低维数据进行聚类，k-means首先从n个低维数据任意选择k个低维数据作为初始聚类中心；而对于所剩下其它低维数据，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为止。
在其中一些实施例中，根据分簇结果利用误差平方和进行评价。
通过训练模型过程中对分簇结果进行评价，提高训练模型的效率，提高后续的异常检测结果质量。
下面通过优选实施例对本申请实施例进行描述和说明。
图4是根据本申请优选实施例的基于日志信息的异常检测方法的流程图。
S401，使用正则表达式将非结构化数据转换为结构化数据；
1)使用正则表达式将非结构化数据转换为结构化数据，其中某条数据的样式如图5所示，使用(Create(Stop Start){0,3}(Pause Unpause){0,3}(Suspend Resume){0,3}Delete)+.等正则表达式提取TimeStamp、Stop-Start、Pause Unpause、Suspend Resume等日志的属性特征。
S402，根据是否利用时间戳信息分别采用有监督和无监督方式进行异常日志识别。
S4031，分支一使用的是无监督方式，当dataset特征数目比较高维时，使用PCA或者其他降维模型进行降维，降维的具体参数可以设置为n取3，前三个主成分累计保留信息达到95％，然后使用聚类算法(如kmeans，根据业务去选择k值)，通过数据的内在结构进行数据的分簇，分簇效果可以使用无监督评价SSE误差平方和进行评价。
k-means的工作过程为：k-means首先从n个低维数据任意选择k个低维数据作为初始聚类中心；而对于所剩下其它低维数据，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为止。
需要说明的是，降维的具体参数可以根据业务选择，本发明并不以此为限制。
S4032，分支二使用的是有监督方式，利用时间戳构建时间序列数据，在时间序列数据上使用word2vec构建词向量(其中window表示当前词与预测词在一个句子中的最大距离是多少，类似于n-gram，一般不能选择过大，可以选择2-5；size：特征向量维度，一般几十到100，min_count：过滤最小频次的词)，
然后，将输出词向量输入到lstm层，之后接sigmoid进行二分类任务的输出，根据二分类任务的输出结果判断检测日志是否存在异常状况。
上述分类效果可以使用分类指标(精确率、召回率、F1分数等)进行评价。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，S4031和S4032的顺序可以互换。
本实施例还提供了一种基于日志信息的异常检测系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的基于日志信息的异常检测系统的结构框图，如图6所示，该系统包括：
结构化数据获取模块1，导出日志并利用正则表达式提取日志的属性特征将其将转换为结构化数据；
无监督检测模型训练模块2，将结构化数据进行降维，并利用聚类算法对结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；
有监督检测模型训练模块3，根据结构化数据利用时间戳构建时间序列特征数据，基于时间序列特征数据训练有监督识别模型；
异常检测模块4，将待检测日志导入无监督识别模型和有监督识别模型进行异常检测。
通过同时设置有监督检测模型训练模块2和有监督检测模型训练模块3，使用有监督算法和无监督算法的方法，从不同角度进行异常日志识别，大幅度提升日志异常检测效果。
在其中一些实施例中，有监督检测模型训练模块3包括：
数据准备工作单元31，通过预先设置标签，将时间序列特征数据分为训练集和验证集；
训练模型单元32，将训练集输入至词向量模型获得对应的词向量，将词向量输入至神经网络通过lstm层和激活函数输出二分类结果，获得有监督识别模型；
有监督检测模型验证单元33，将验证集输入至有监督识别模型，将输出二分类结果与对应标签根据AUC或ACC进行对比验证。
有监督检测模型训练模块3利用时间戳属性构建时间序列特征数据，再使用词向量技术输入到神经网络进行二分类任务。
在其中一些实施例中，无监督检测模型训练模块2包括：
特征降维单元21，利用主成分分析技术对时间序列特征进行降维，获取低维数据；
聚类单元22，利用聚类算法，从n个低维数据任意选择k个对象作为初始聚类中心，通过计算剩余低维数据与初始聚类中心的相似度进行分簇并形成新的聚类中心，不断重复本步骤直至标准测度函数开始收敛为止，获得无监督识别模型。
无监督检测模型训练模块2使用无监督算法进行数据内在结构的解析从而识别异常日志和有监督模型识别异常日志，构建识别更准确的异常日志，减少人工检测的工作量，预先识别设备异常防止发生异常造成的损失。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例基于日志信息的异常检测方法可以由计算机设备来实现。图7为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于日志信息的异常检测方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图7所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的设备日志，执行本申请实施例中的无监督检测模型训练步骤和有监督检测模型训练步骤，从而实现结合图1描述的基于日志信息的异常检测方法。
另外，结合上述实施例中的基于日志信息的异常检测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于日志信息的异常检测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于日志信息的异常检测方法，其特征在于，包括：
结构化数据获取步骤，导出日志并利用正则表达式提取所述日志的属性特征将其将转换为结构化数据；
无监督检测模型训练步骤，将所述结构化数据进行降维，并利用聚类算法对所述结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；
有监督检测模型训练步骤，根据所述结构化数据利用时间戳构建时间序列特征数据，基于所述时间序列特征数据训练有监督识别模型；
异常检测步骤，将待检测日志导入所述无监督识别模型和所述有监督识别模型进行异常检测。
2.根据权利要求1所述的基于日志信息的异常检测方法，其特征在于，所述有监督检测模型训练步骤：
数据准备工作步骤，通过预先设置标签，将所述时间序列特征数据分为训练集和验证集；
训练模型步骤，将所述训练集输入至词向量模型获得对应的词向量，将所述词向量输入至神经网络通过lstm层和激活函数输出二分类结果，获得所述有监督识别模型；
有监督检测模型验证单元，将所述验证集输入至所述有监督识别模型，将输出所述二分类结果与对应所述标签根据AUC或ACC进行对比验证。
3.根据权利要求2所述的基于日志信息的异常检测方法，其特征在于，所述二分类结果通过分类指标进行评价，所述分类指标包括精确率、召回率、F1分数。
4.根据权利要求1所述的基于日志信息的异常检测方法，其特征在于，所述无监督检测模型训练步骤包括：
特征降维步骤，利用主成分分析技术对所述时间序列特征进行降维，获取低维数据；
聚类步骤，利用聚类算法，从n个所述低维数据任意选择k个对象作为初始聚类中心，通过计算剩余所述低维数据与所述初始聚类中心的相似度进行分簇并形成新的聚类中心，不断重复本步骤直至标准测度函数开始收敛为止，获得所述无监督识别模型。
5.根据权利要求4所述的基于日志信息的异常检测方法，其特征在于，根据分簇结果利用误差平方和进行评价。
6.一种基于日志信息的异常检测系统，应用上述权利要求1-5任意一项所述的基于日志信息的异常检测系统，其特征在于，包括：
结构化数据获取模块，导出日志并利用正则表达式提取所述日志的属性特征将其将转换为结构化数据；
无监督检测模型训练模块，将所述结构化数据进行降维，并利用聚类算法对所述结构化数据的内在结构进行数据分簇，重复本步骤获得无监督识别模型；
有监督检测模型训练模块，根据所述结构化数据利用时间戳构建时间序列特征数据，基于所述时间序列特征数据训练有监督识别模型；
异常检测模块，将待检测日志导入所述无监督识别模型和所述有监督识别模型进行异常检测。
7.根据权利要求6所述的基于日志信息的异常检测系统，其特征在于，所述有监督检测模型训练模块包括：
数据准备工作单元，通过预先设置标签，将所述时间序列特征数据分为训练集和验证集；
训练模型单元，将所述训练集输入至词向量模型获得对应的词向量，将所述词向量输入至神经网络通过lstm层和激活函数输出二分类结果，获得所述有监督识别模型；
有监督检测模型验证单元，将所述验证集输入至所述有监督识别模型，将输出所述二分类结果与对应所述标签根据AUC或ACC进行对比验证。
8.根据权利要求6所述的基于日志信息的异常检测系统，其特征在于，所述无监督检测模型训练模块包括：
特征降维单元，利用主成分分析技术对所述时间序列特征进行降维，获取低维数据；
聚类单元，利用聚类算法，从n个所述低维数据任意选择k个对象作为初始聚类中心，通过计算剩余所述低维数据与所述初始聚类中心的相似度进行分簇并形成新的聚类中心，不断重复本步骤直至标准测度函数开始收敛为止，获得无监督识别模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于日志信息的异常检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的基于日志信息的异常检测方法。
CN202110980426.8A 2021-08-25 2021-08-25 基于日志信息的异常检测方法、系统和计算机设备 Pending CN113656254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110980426.8A CN113656254A (zh) 2021-08-25 2021-08-25 基于日志信息的异常检测方法、系统和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110980426.8A CN113656254A (zh) 2021-08-25 2021-08-25 基于日志信息的异常检测方法、系统和计算机设备

Publications (1)

Publication Number Publication Date
CN113656254A true CN113656254A (zh) 2021-11-16

Family

ID=78481942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110980426.8A Pending CN113656254A (zh) 2021-08-25 2021-08-25 基于日志信息的异常检测方法、系统和计算机设备

Country Status (1)

Country Link
CN (1) CN113656254A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118295A (zh) * 2021-12-07 2022-03-01 苏州浪潮智能科技有限公司 一种异常检测模型训练方法、异常检测方法、装置及介质
CN114741673A (zh) * 2022-06-13 2022-07-12 深圳竹云科技股份有限公司 行为风险检测方法、聚类模型构建方法、装置
CN115392489A (zh) * 2022-10-31 2022-11-25 北京亿赛通科技发展有限责任公司 异常用户检测方法、装置、电子设备及存储介质
CN115794465A (zh) * 2022-11-10 2023-03-14 上海鼎茂信息技术有限公司 一种日志异常检测方法及系统
CN116860312A (zh) * 2023-09-05 2023-10-10 成都智慧锦城大数据有限公司 一种程序异常文本信息维护方法、装置及存储介质
WO2024007615A1 (zh) * 2022-07-05 2024-01-11 华为云计算技术有限公司 模型训练方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177108A (zh) * 2019-06-02 2019-08-27 四川虹微技术有限公司 一种异常行为检测方法、装置及验证系统
WO2020038353A1 (zh) * 2018-08-21 2020-02-27 瀚思安信（北京）软件技术有限公司 异常行为检测方法及系统
CN111552609A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 一种异常状态检测方法、系统、存储介质、程序、服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038353A1 (zh) * 2018-08-21 2020-02-27 瀚思安信（北京）软件技术有限公司 异常行为检测方法及系统
CN110177108A (zh) * 2019-06-02 2019-08-27 四川虹微技术有限公司 一种异常行为检测方法、装置及验证系统
CN111552609A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 一种异常状态检测方法、系统、存储介质、程序、服务器

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118295A (zh) * 2021-12-07 2022-03-01 苏州浪潮智能科技有限公司 一种异常检测模型训练方法、异常检测方法、装置及介质
CN114741673A (zh) * 2022-06-13 2022-07-12 深圳竹云科技股份有限公司 行为风险检测方法、聚类模型构建方法、装置
CN114741673B (zh) * 2022-06-13 2022-08-26 深圳竹云科技股份有限公司 行为风险检测方法、聚类模型构建方法、装置
WO2024007615A1 (zh) * 2022-07-05 2024-01-11 华为云计算技术有限公司 模型训练方法、装置及相关设备
CN115392489A (zh) * 2022-10-31 2022-11-25 北京亿赛通科技发展有限责任公司 异常用户检测方法、装置、电子设备及存储介质
CN115794465A (zh) * 2022-11-10 2023-03-14 上海鼎茂信息技术有限公司 一种日志异常检测方法及系统
CN115794465B (zh) * 2022-11-10 2023-12-19 上海鼎茂信息技术有限公司 一种日志异常检测方法及系统
CN116860312A (zh) * 2023-09-05 2023-10-10 成都智慧锦城大数据有限公司 一种程序异常文本信息维护方法、装置及存储介质
CN116860312B (zh) * 2023-09-05 2023-11-07 成都智慧锦城大数据有限公司 一种程序异常文本信息维护方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN113656254A (zh) 基于日志信息的异常检测方法、系统和计算机设备
CN110021439B (zh) 基于机器学习的医疗数据分类方法、装置和计算机设备
CN110046634B (zh) 聚类结果的解释方法和装置
CN111160021A (zh) 日志模板提取方法及装置
CN111177367B (zh) 案件分类方法、分类模型训练方法及相关产品
WO2020140624A1 (zh) 从日志中提取数据的方法和相关设备
CN111104242A (zh) 基于深度学习的操作系统的异常日志的处理方法及装置
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
EP3371739A1 (en) High speed reference point independent database filtering for fingerprint identification
CN114818643A (zh) 一种保留特定业务信息的日志模板提取方法
CN115294397A (zh) 一种分类任务的后处理方法、装置、设备及存储介质
CN111240942A (zh) 日志异常检测方法及装置
US20210157833A1 (en) Visual image search using text-based search engines
CN114610881A (zh) 应用日志分析方法、装置、设备和存储介质
CN112367222B (zh) 网络异常检测方法和装置
CN112579781B (zh) 文本归类方法、装置、电子设备及介质
CN116664335B (zh) 基于智能监控的半导体生产系统运行分析方法及系统
US20170039484A1 (en) Generating negative classifier data based on positive classifier data
CN112632000A (zh) 日志文件聚类方法、装置、电子设备和可读存储介质
CN116578700A (zh) 日志分类方法、日志分类装置、设备及介质
CN114595136B (zh) 一种日志解析方法、装置及设备
CN115774784A (zh) 一种文本对象的识别方法及装置
CN116822491A (zh) 日志解析方法及装置、设备、存储介质
CN111291370B (zh) 网络数据入侵检测方法、系统、终端及存储介质
CN115048504A (zh) 信息推送方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination