CN112882898A - 基于大数据日志分析的异常检测方法、系统、设备及介质 - Google Patents

基于大数据日志分析的异常检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN112882898A
CN112882898A CN202110206816.XA CN202110206816A CN112882898A CN 112882898 A CN112882898 A CN 112882898A CN 202110206816 A CN202110206816 A CN 202110206816A CN 112882898 A CN112882898 A CN 112882898A
Authority
CN
China
Prior art keywords
data
project
time limit
abnormal
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110206816.XA
Other languages
English (en)
Other versions
CN112882898B (zh
Inventor
李虎
曾毅峰
俞敏
王椭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202110206816.XA priority Critical patent/CN112882898B/zh
Publication of CN112882898A publication Critical patent/CN112882898A/zh
Application granted granted Critical
Publication of CN112882898B publication Critical patent/CN112882898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种基于大数据日志分析的异常检测方法、系统、设备及介质，所述方法包括S1：基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型并获取不同类型工程的异常检测模型，提取各工程在第二设定时限内的历史数据，根据应用系统的日志内容数据获取知识库；S2：获取各工程在检测时限内的错误日志数量数据，根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，获取异常数据，根据知识库对异常数据进行处理，获取检测结果。与现有技术相比，本发明灵活简便，准确度高，大幅降低模型训练与预测成本，提高异常定位效率。

Description

基于大数据日志分析的异常检测方法、系统、设备及介质
技术领域
本发明涉及日志异常检测领域，尤其是涉及一种基于大数据日志分析的异常检测方法、系统、设备及介质。
背景技术
现有智能运维技术通常对常见监控指标如内存占用率、CPU使用率等进行建模，检测监控指标是否出现异常。现有智能运维技术需要对各个系统各个指标分别建模，模型的训练与计算成本非常高昂。
传统运维的异常检测需要对各个监控指标人工设定报警阈值，当指标超过阈值时判断出现异常，由于阈值固定，检测的灵活度差并且需要耗费大量人力，同时容易产生误报。
现有的智能运维针对常见监控指标进行建模，但应用系统出现异常时不一定表现在监控指标上，或在异常产生的初期没有表现在监控指标上；现有的智能运维技术均采用对监控指标建模预测的方式检测异常，在应用系统及工程数量繁多的场景下，模型的训练与计算开销非常大；现有的智能运维技术大多针对常见运维监控指标做异常检测，如内存使用率、CPU使用率等；现有的智能运维针对常见监控指标进行建模，但应用系统出现异常时不一定表现在监控指标上，或在异常产生的初期没有表现在监控指标上。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于大数据日志分析的异常检测方法、系统、设备及介质。
本发明的目的可以通过以下技术方案来实现：
一种基于大数据日志分析的异常检测方法，用于对应用系统的异常进行监测，所述的方法包括：
S1：基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型并获取不同类型工程的异常检测模型，提取各工程在第二设定时限内的历史数据，根据应用系统的日志内容数据获取用于对异常检测模型获取的异常数据进行处理的知识库；
S2：获取各工程在检测时限内的错误日志数量数据，根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，获取异常数据，根据知识库对异常数据进行处理，获取检测结果。
优选地，所述的步骤S1具体包括：
S11：根据应用系统的各工程的第一设定时限内的错误日志数量数据计算各工程的错误日志数量特征指标，判断各工程的类型；
S12：对不同类型的工程进行模型训练，获取不同类型工程对应的异常检测模型；
S13：提取各工程在第二设定时限内的错误历史日志数据；
S14：根据日志内容的相似度对各工程的错误日志内容数据进行聚合，并进行业务影响标注，获取知识库。
优选地，所述的步骤S12的具体步骤包括：
S121：获取各工程第一设定时间的分钟级的错误日志数量数据；
S122：建立备选超参数集，对不同类型的工程，分别基于各工程第一设定时间的分钟级的错误日志数量数据遍历备选超参数集进行训练，获取每个类型的工程对应的异常检测模型。
优选地，所述的步骤S13的具体步骤包括：
S131：获取各工程在第二设定时限内的错误日志数量数据；
S132：将第二设定时限内的错误日志数量数据的缺失值置为零；
S133：将第二设定时限内没有错误日志的工程的错误日志数量数据全部值为零，获取各工程在第二设定时限内的历史数据。
优选地，所述的步骤S14的具体步骤包括：
S141：获取应用系统的各工程的错误日志内容数据；
S142：根据错误日志内容数据中的日志内容进行日志聚类，并对聚类结果进行标注，获取知识库。
优选地，所述的步骤S2具体包括：
S21：获取各应用系统检测时限内的错误日志数量数据；
S22：对应用系统的检测时限内的错误日志数量数据进行数据切分，获取各工程检测时限内的错误日志数量数据；
S23：根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，获取异常数据；
S24：根据知识库获取异常数据中的告警日志数量，若告警日志数量大于告警阈值，则进行异常告警。
优选地，所述的步骤S24中根据知识库获取异常数据中被标注为值得关注的日志数量和异常数据中未被标注的日志数量，对被标注为值得关注的日志数量和异常数据中未被标注的日志数量的数量求和得到告警日志数量。
一种基于大数据日志分析的异常检测系统，包括工程聚类模块、模型训练模块、模型冷启动数据处理模块、日志聚类模块、数据处理模块、模型运算模块和告警通知模块，
所述的工程聚类模块用于基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型，
所述的模型训练模块用于根据各工程的类型和第一设定时限内的错误日志数量数据获取不同类型工程的异常检测模型，
所述的模型冷启动数据处理模块用于提取各工程在第二设定时限内的历史数据，
所述的日志聚类模块用于根据应用系统的错误日志内容数据获取用于对异常检测模型获取的异常数据进行处理的知识库，
所述的数据处理模块用于获取各工程在检测时限内的错误日志数量数据，
所述的模型运算模块用于根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，获取异常数据，
所述的告警通知模块用于根据知识库对异常数据进行处理，获取异常检测结果，判断是否进行异常报警。
一种电子设备，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行上述的一种基于大数据日志分析的异常检测方法。
一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的一种基于大数据日志分析的异常检测方法。
与现有技术相比，本发明具有如下优点：
(1)本发明通过对应用系统的各工程进行工程聚类，获取工程类型，不需要对每个工程单独设置参数进行异常判断，只需要针对工程类型建立相应异常检测模型，灵活简便，准确度高，简单的工程用简单的模型，复杂的工程用复杂模型，以此在保证模型整体效果的情况下，大幅降低模型训练与预测成本；
(2)本发明基于应用系统的大数据进行异常检测，基于第一设定时限、第二设定时限、检测实现内的日志数据进行异常检测，检测能力更灵敏，发现异常时可以提供相关错误日志信息，检测到异常后可以为运维人员提供更丰富的异常信息，提高异常定位效率；
(3)本发明采用文本相似度算法将日志聚类，再由开发人员对日志的重要程度与对应异常解决方案进行标注建立知识库，模型检测与知识库结合后，一方面减少了误报，另一方面当出现异常后可以根据知识库中的标注内容提高异常处理的效率。
附图说明
图1为本发明的流程示意图；
图2为本发明步骤S24的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
一种基于大数据日志分析的异常检测方法，用于对应用系统的异常进行监测，如图1所示，该方法包括：
S1：基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型并获取不同类型工程的异常检测模型，提取各工程在第二设定时限内的历史数据，根据应用系统的日志内容数据获取用于对异常检测模型获取的异常数据进行处理的知识库；
S2：获取各工程在检测时限内的错误日志数量数据，根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，判断工程是否异常，若工程异常，获取工程的异常数据，根据知识库对异常数据进行处理，获取检测结果。
本实施例中，为了提高异常检测效果和模型准确性，第一设定时限为30天，第二设定时限为7天，检测时限为5分钟。
另外，本实施例中提取的错误日志数量数据包括以下数量特征：1)平均数量：平均分钟级错误数量；2)变异系数：小时级错误数量标准差/小时级错误数量平均值；3)错误覆盖率：错误数量大于0的时间点占总时间长度的比例；4)离群点比率：分钟级错误数量异常点数量占非0点总数比例，异常点判断标准为大于非0点错误数量均值的+3倍非0点错误数量标准差；5)时间影响度：各时间段平均错误数量极差/小时级错误数量平均值；6)最大数量：获取最大分钟级错误数量。
步骤S1具体包括：
S11：根据应用系统的各工程的第一设定时限内的错误日志数量数据计算各工程的错误日志数量特征指标，判断各工程的类型。
本实施例中，S1中根据工程数量特征将各工程分为1)稀疏型：错误日志出现频率低或数量少；2)周期型：错误日志数量表现出明显的周期性特征；3)复杂型：其它工程。
具体地，本实施例的获取各工程的错误日志数量特征指标，根据错误日志数量特征指对工程类型的判断标准为：若工程错误覆盖率小于0.05或最大数量小于20或平均数量小于10，则判断为稀疏型；若不满足稀疏型判断条件，且工程变异稀疏小于1.5或时间影响度大于500，则判断为周期型，其它工程判断为其它型。
S12：对不同类型的工程进行模型训练，获取不同类型工程对应的异常检测模型。
步骤S12的具体步骤包括：
S121：获取各工程第一设定时间的分钟级的错误日志数量数据；
S122：建立备选超参数集，对不同类型的工程，分别基于各工程第一设定时间的分钟级的错误日志数量数据遍历备选超参数集进行训练，获取每个类型的工程对应的异常检测模型。
本实施例中，对稀疏型工程，训练KDE模型；对周期型工程，训练holt-winter模型，对复杂型工程，训练深度学习模型donut模型。由于模型复杂度与训练所需时间成本KDE<holt-winter<donut，通过先工程聚类再分别训练模型的方法，可以极大的节约模型训练成本与计算成本。进一步地，其中稀疏型工程训练KDE模型，采用gaussian核；周期型工程训练holt-winters模型，周期长度设置为1440分钟；其它型工程训练donut模型，采用gridsearch方法搜索最优超参数并训练模型，训练集与测试集比例2:1。
S13：提取各工程在第二设定时限内的错误历史日志数据。
步骤S13的具体步骤包括：
S131：获取各工程在第二设定时限内的错误日志数量数据；
S132：将第二设定时限内的错误日志数量数据的缺失值置为零；
S133：将第二设定时限内没有错误日志的工程的错误日志数量数据全部值为零，获取各工程在第二设定时限内的历史数据。
S14：根据日志内容的相似度对各工程的错误日志数据进行聚合，并进行业务影响标注，获取知识库。
步骤S14的具体步骤包括：
S141：获取应用系统的各工程的错误日志内容数据；
S142：根据错误日志内容数据中的日志内容进行日志聚类，并对聚类结果进行标注，获取知识库。
具体地，本实施例中，采用Levenshtein算法计算各日志之间的相似度，相似度大于0.85的日志被聚合为同一条日志，然后判断各日志对业务有无影响，进行将影响较大的日志标注为值得关注、其他标注为不值得关注，获取知识库。
步骤S2具体包括：
S21：获取各应用系统检测时限内的错误日志数量数据。
本实施例中，分别获取各系统的检测实现内的错误日志数量数据，每个系统单独采用一个线程进行计算。
S22：对应用系统的检测时限内的错误日志数量数据进行数据切分，获取各工程检测时限内的错误日志数量数据。
S23：根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，判断工程是否异常，若工程异常，获取工程的异常数据，进入步骤S24，否则结束检测。
步骤S23中，获取预测分数，对稀疏型工程，若KDE模型输出的分数小于-50，则判断为出现异常；对周期型工程，若holt-winters模型预测值小于实际值50以上，则判断为出现异常；对其它型工程，若donut模型输出的分数小于-30，则判断为出现异常。
S24：如图2所示，根据知识库获取异常数据中的告警日志数量，若告警日志数量大于告警阈值，则进行异常告警。
本实施例中，所述的异常数据包括异常时间点、异常日志数量、工程名、应用名。
步骤S24中根据知识库获取异常数据中被标注为值得关注的日志数量和异常数据中未被标注的日志数量，对被标注为值得关注的日志数量和异常数据中未被标注的日志数量的数量求和得到告警日志数量。
本实施例中，告警阈值为20，若告警日志数量大于20则推送报警，否则不推送报警，结束检测。
具体地，以类型为稀疏型工程A为例，将该稀疏型工程A的检测时限内的错误日志数据和在第二设定时限内的历史数据送入KDE模型进行检测，若判断工程A异常，获取工程A的异常数据，根据知识库获取异常数据中标注为值得关注的日志的数量和未标注的日志的数量，获取告警日志数量。
本申请实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，在此不再赘述。
一种基于大数据日志分析的异常检测系统，包括工程聚类模块、模型训练模块、模型冷启动数据处理模块、日志聚类模块、数据处理模块、模型运算模块和告警通知模块，所述的工程聚类模块用于基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型，所述的模型训练模块用于根据各工程的类型和第一设定时限内的错误日志数量数据获取不同类型工程的异常检测模型，所述的模型冷启动数据处理模块用于提取各工程在第二设定时限内的历史数据，所述的日志聚类模块用于根据应用系统的日志内容数据获取用于对异常检测模型获取的异常数据进行处理的知识库，所述的数据处理模块用于获取各工程在检测时限内的错误日志数据，所述的模型运算模块用于根据各工程的类型将各工程在检测时限内的错误日志数据、在第二设定时限内的历史数据送入对应的异常检测模型进行异常判断，获取异常数据，所述的告警通知模块用于根据知识库对异常数据进行处理，获取异常检测结果，判断是否进行异常报警。
一种电子设备，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行上述的一种基于大数据日志分析的异常检测方法，具体实现可参见方法实施例，在此不再赘述。
一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行上述的一种基于大数据日志分析的异常检测方法，具体实现可参见方法实施例，在此不再赘述。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种基于大数据日志分析的异常检测方法，用于对应用系统的异常进行监测，其特征在于，所述的方法包括：
S1：基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型并获取不同类型工程的异常检测模型，提取各工程在第二设定时限内的历史数据，根据应用系统的日志内容数据获取用于对异常检测模型获取的异常数据进行处理的知识库；
S2：获取各工程在检测时限内的错误日志数量数据，根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，判断工程是否异常，若工程异常，获取工程的异常数据，根据知识库对异常数据进行处理，获取检测结果。
2.根据权利要求1所述的一种基于大数据日志分析的异常检测方法，其特征在于，所述的步骤S1具体包括：
S11：根据应用系统的各工程的第一设定时限内的错误日志数量数据计算各工程的错误日志数量特征指标，判断各工程的类型；
S12：对不同类型的工程进行模型训练，获取不同类型工程对应的异常检测模型；
S13：提取各工程在第二设定时限内的错误历史日志数据；
S14：根据日志内容的相似度对各工程的错误日志内容数据进行聚合，并进行业务影响标注，获取知识库。
3.根据权利要求2所述的一种基于大数据日志分析的异常检测方法，其特征在于，所述的步骤S12的具体步骤包括：
S121：获取各工程第一设定时间的分钟级的错误日志数量数据；
S122：建立备选超参数集，对不同类型的工程，分别基于各工程第一设定时间的分钟级的错误日志数量数据遍历备选超参数集进行训练，获取每个类型的工程对应的异常检测模型。
4.根据权利要求2所述的一种基于大数据日志分析的异常检测方法，其特征在于，所述的步骤S13的具体步骤包括：
S131：获取各工程在第二设定时限内的错误日志数量数据；
S132：将第二设定时限内的错误日志数量数据的缺失值置为零；
S133：将第二设定时限内没有错误日志的工程的错误日志数量数据全部值为零，获取各工程在第二设定时限内的历史数据。
5.根据权利要求2所述的一种基于大数据日志分析的异常检测方法，其特征在于，所述的步骤S14的具体步骤包括：
S141：获取应用系统的各工程的错误日志内容数据；
S142：根据错误日志内容数据中的日志内容进行日志聚类，并对聚类结果进行标注，获取知识库。
6.根据权利要求1所述的一种基于大数据日志分析的异常检测方法，其特征在于，所述的步骤S2具体包括：
S21：获取各应用系统检测时限内的错误日志数量数据；
S22：对应用系统的检测时限内的错误日志数量数据进行数据切分，获取各工程检测时限内的错误日志数量数据；
S23：根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型，判断工程是否异常，若工程异常，获取工程的异常数据，进入步骤S24，否则结束检测；
S24：根据知识库获取异常数据中的告警日志数量，若告警日志数量大于告警阈值，则进行异常告警。
7.根据权利要求6所述的一种基于大数据日志分析的异常检测方法，其特征在于，所述的步骤S24中根据知识库获取异常数据中被标注为值得关注的日志数量和异常数据中未被标注的日志数量，对被标注为值得关注的日志数量和异常数据中未被标注的日志数量的数量求和得到告警日志数量。
8.一种基于大数据日志分析的异常检测系统，其特征在于，包括工程聚类模块、模型训练模块、模型冷启动数据处理模块、日志聚类模块、数据处理模块、模型运算模块和告警通知模块，
所述的工程聚类模块用于基于应用系统的第一设定时限内的错误日志数量数据对应用系统的各工程进行聚类，确认各工程的类型，
所述的模型训练模块用于根据各工程的类型和第一设定时限内的错误日志数量数据获取不同类型工程的异常检测模型，
所述的模型冷启动数据处理模块用于提取各工程在第二设定时限内的历史数据，
所述的日志聚类模块用于根据应用系统的错误日志内容数据获取用于对异常检测模型获取的异常数据进行处理的知识库，
所述的数据处理模块用于获取各工程在检测时限内的错误日志数量数据，
所述的模型运算模块用于根据各工程的类型将各工程在检测时限内的错误日志数量数据、在第二设定时限内的历史数据送入对应的异常检测模型进行异常判断，获取异常数据，
所述的告警通知模块用于根据知识库对异常数据进行处理，获取异常检测结果，判断是否进行异常报警。
9.一种电子设备，其特征在于，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行权利要求1-7中任意一项所述的一种基于大数据日志分析的异常检测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7任意一项所述的一种基于大数据日志分析的异常检测方法。
CN202110206816.XA 2021-02-24 2021-02-24 基于大数据日志分析的异常检测方法、系统、设备及介质 Active CN112882898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110206816.XA CN112882898B (zh) 2021-02-24 2021-02-24 基于大数据日志分析的异常检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110206816.XA CN112882898B (zh) 2021-02-24 2021-02-24 基于大数据日志分析的异常检测方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112882898A true CN112882898A (zh) 2021-06-01
CN112882898B CN112882898B (zh) 2022-07-19

Family

ID=76054306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110206816.XA Active CN112882898B (zh) 2021-02-24 2021-02-24 基于大数据日志分析的异常检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112882898B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535655A (zh) * 2021-06-17 2021-10-22 北京中联国成科技有限公司 一种日志分析方法及装置
CN115858794A (zh) * 2023-02-20 2023-03-28 北京特立信电子技术股份有限公司 用于网络运行安全监测的异常日志数据识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190079818A1 (en) * 2017-09-08 2019-03-14 Oracle International Corporation Techniques for managing and analyzing log data
CN110321371A (zh) * 2019-07-01 2019-10-11 腾讯科技（深圳）有限公司 日志数据异常检测方法、装置、终端及介质
CN110708204A (zh) * 2019-11-18 2020-01-17 上海维谛信息科技有限公司 一种基于运维知识库的异常处理方法、系统、终端及介质
CN110955586A (zh) * 2019-11-27 2020-04-03 中国银行股份有限公司 一种基于日志的系统故障预测方法、装置和设备
CN111027615A (zh) * 2019-12-05 2020-04-17 江苏方天电力技术有限公司 基于机器学习的中间件故障预警方法和系统
CN111639497A (zh) * 2020-05-27 2020-09-08 北京东方通科技股份有限公司 一种基于大数据机器学习的异常行为发现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190079818A1 (en) * 2017-09-08 2019-03-14 Oracle International Corporation Techniques for managing and analyzing log data
CN110321371A (zh) * 2019-07-01 2019-10-11 腾讯科技（深圳）有限公司 日志数据异常检测方法、装置、终端及介质
CN110708204A (zh) * 2019-11-18 2020-01-17 上海维谛信息科技有限公司 一种基于运维知识库的异常处理方法、系统、终端及介质
CN110955586A (zh) * 2019-11-27 2020-04-03 中国银行股份有限公司 一种基于日志的系统故障预测方法、装置和设备
CN111027615A (zh) * 2019-12-05 2020-04-17 江苏方天电力技术有限公司 基于机器学习的中间件故障预警方法和系统
CN111639497A (zh) * 2020-05-27 2020-09-08 北京东方通科技股份有限公司 一种基于大数据机器学习的异常行为发现方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535655A (zh) * 2021-06-17 2021-10-22 北京中联国成科技有限公司 一种日志分析方法及装置
CN115858794A (zh) * 2023-02-20 2023-03-28 北京特立信电子技术股份有限公司 用于网络运行安全监测的异常日志数据识别方法

Also Published As

Publication number Publication date
CN112882898B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN113282461B (zh) 传输网的告警识别方法和装置
AU2017274576B2 (en) Classification of log data
CN111459700A (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
US20160369777A1 (en) System and method for detecting anomaly conditions of sensor attached devices
CN113852603B (zh) 网络流量的异常检测方法、装置、电子设备和可读介质
CN111027615B (zh) 基于机器学习的中间件故障预警方法和系统
CN105071983A (zh) 一种面向云计算在线业务的异常负载检测方法
CN112882898B (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN112148768A (zh) 一种指标时间序列异常检测方法、系统及存储介质
CN110858072B (zh) 设备运行状态的确定方法及装置
CN114356734A (zh) 服务异常检测方法和装置、设备、存储介质
CN113537337A (zh) 训练方法、异常检测方法、装置、设备和存储介质
CN115269314A (zh) 一种基于日志的事务异常检测方法
CN115456107A (zh) 一种时间序列异常检测系统及方法
CN113269042A (zh) 基于行驶车辆违章识别的智能交通管理方法及系统
Zhang et al. Robust KPI anomaly detection for large-scale software services with partial labels
CN115081673A (zh) 一种油气管道的异常预测方法、装置、电子设备及介质
CN117170915A (zh) 数据中心设备故障预测方法、装置和计算机设备
CN111314110B (zh) 一种用于分布式系统的故障预警方法
CN111309584A (zh) 数据处理方法、装置、电子设备及存储介质
CN116956089A (zh) 电器设备温度异常检测模型训练方法以及检测方法
CN111798237A (zh) 基于应用日志的异常交易诊断方法及系统
CN117725543B (zh) 一种多元时间序列异常预测方法、电子设备及存储介质
CN114997313B (zh) 一种海洋在线监测数据的异常检测方法
CN116304776B (zh) 基于k-Means算法的电网数据值异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant