CN111507376A - 一种基于多种无监督方法融合的单指标异常检测方法 - Google Patents

一种基于多种无监督方法融合的单指标异常检测方法 Download PDF

Info

Publication number
CN111507376A
CN111507376A CN202010200442.6A CN202010200442A CN111507376A CN 111507376 A CN111507376 A CN 111507376A CN 202010200442 A CN202010200442 A CN 202010200442A CN 111507376 A CN111507376 A CN 111507376A
Authority
CN
China
Prior art keywords
data
model
unsupervised
normal
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010200442.6A
Other languages
English (en)
Other versions
CN111507376B (zh
Inventor
方匡南
张庆昭
何佳玉
李泽为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010200442.6A priority Critical patent/CN111507376B/zh
Publication of CN111507376A publication Critical patent/CN111507376A/zh
Application granted granted Critical
Publication of CN111507376B publication Critical patent/CN111507376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

一种基于多种无监督方法融合的单指标异常检测方法，涉及智能运维异常检测领域。包括以下步骤：1)提取分析数据：将存储在数据库中的数据，按分钟级取数，并返回所需的数据格式；2)对步骤1)提取的数据采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集输出为正常，其余样本输出为疑似异常；3)训练模型：对于步骤2)中识别出的正常样本构建模型；4)进行模型的评估；5)输出最终的模型，部署在线上模块进行实时的异常检测。不仅能够解决传统异常检测方法效率低的问题，还能够在与新的有监督方法的对比中占据优势，达到较高的识别精度。既满足效率方面的要求，又能够节省人力打标的成本。

Description

一种基于多种无监督方法融合的单指标异常检测方法
技术领域
本发明涉及智能运维异常检测领域，尤其是涉及一种基于多种无监督方法融合的单指标异常检测方法。
背景技术
Gartner在2016年提出了AIOps(智能运维)概念，预测到2020年，AIOps的使用率会高达50％。AIOps主要是利用机器学习算法自动地从海量运维数据中不断地学习、提炼并总结规则，将过去人工总结运维规则的过程变成自动学习的过程。而异常检测作为智能运维中的重要的一个步骤，近几年也是受到越来越多的企业的重视，一些学者也参与到其中进行研究。运维系统中常见的两大类监控数据源是：指标和文本。前者通常是时序数据，即包含指标采集时间和对应指标的值；后者通常是半结构化文本格式，如程序日志、Tracing等。随着系统规模的变大、复杂度的高、监控覆盖的完善，监控数据量越来越大，运维人员无法从海量监控数据中发现质量问题。智能化的异常检测就是要通过AI算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、自愈提供基础。异常检测的常见任务包括对数据源的异常检测，保证数据质量，以及对指标和文本的异常检测。本发明主要是集中在对指标数据的异常检测。
目前主要的一些无监督异常检测方法有很多。中国专利CN101561878B提供一种基于改进CURE聚类算法的无监督异常检测方法和系统。该检测方法包括步骤：对训练集进行聚类，将异常行为数据与正常行为数据分类；对已经分类的数据进行标记；根据标记为正常行为的数据进行建模，其建模算法为基于超矩形的建模算法；将待检测数据与正常行为模型进行对比，判断是否为异常数据。该检测系统包括：数据格式化模块、聚类模块、标类模块、模型生成模块以及检测模块。中国专利CN110826642A公开一种针对传感器数据的无监督异常检测方法，包括以下步骤：(101)、获取历史数据；(102)、建立训练模型，通过历史数据对训练模型进行训练；(103)、重新以固定时间间隔获取实时采集的传感器数据；(104)、对实时采集的传感器数据进行检测；(105)、输出检测出的异常数据。
发明内容
本发明的目的是为了解决传统运维中设置固定阈值进行异常检测效率低下、有监督方法训练模型耗费大量人力打标的问题，提供一种基于多种无监督方法融合的单指标异常检测方法。具体的说，以历史数据为基础，通过历史数据中正常数据构建无监督模型，然后经过层层无监督筛选，实现无监督异常检测。
本发明包括以下步骤：
1)提取分析数据：将存储在数据库中的数据，按分钟级取数，并返回所需的数据格式；
2)对步骤1)提取的数据采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集输出为正常，其余样本输出为疑似异常；
3)训练模型：对于步骤2)中识别出的正常样本构建模型；
4)进行模型的评估；
5)输出最终的模型，部署在线上模块进行实时的异常检测。
在步骤1)中，所述提取分析数据，考虑到时间序列的周期性，提取当前时刻数据，当前时刻及前T小时数据，一天前同时刻及前后T小时数据，一周前同时刻及前后T小时数据。
在步骤2)中，采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集的具体方法为，采用五种无监督方法对数据进行筛选，最终将五种无监督方法都认为是正常的样本输出为正常，其余样本输出为疑似异常；
所述五种无监督方法包括3-sigmma median、多项式回归、孤立森林、指数加权移动平均、holt-winter等；所述3-sigmma median，主要是假设原始序列是服从正态分布，那么有99.74％的概率认为数据会落在median上下3个标准差以内，假如数据不在这个范围，那么就认为该数据是异常值；所述多项式回归，主要是对一周前同时刻前后三小时、昨天同时刻前后三小时、今天现时刻及前三小时共(3T+1)个时序数据进行多项式回归，进行当前时刻的预测，将预测值与真实值偏差大于阈值的认为是异常；所述指数加权移动平均、holt-winter这两个方法是对时间序列进行平滑拟合，将拟合值与真实值进行比较，将偏差大于阈值的认为是异常；所述孤立森林是基于树模型的异常检测方法，通过随机构建一颗颗决策树，利用样本落在所有树的深度的平均值来构建统计量，进行异常判断。
在步骤3)中，所述对于步骤2)中识别出的正常样本构建模型的具体方法可为：对步骤2)识别的正常数据集，训练两个无监督模型；One class svm是针对单类数据建模，捕捉正常样本的决策边界，从而识别异常；RNN是利用重构的思想，将原始单指标序列经过编码和解码两个过程进行降噪重构，根据重构序列与原始序列的差异，来进行异常的识别和判断；
One class svm是一种针对单类样本建模的一种特殊的支持向量机模型，它是由Scholkopf等在2001提出，它假设原点是唯一异常点，寻求一个超平面将目标类样本和原点之间以最大间隔分开。这个模型的超平面是根据正常类样本建立起来的决策边界，如果一个样本落在了超平面之外，则认为是异常。
RNN(Replicator Neural Networks)是基于神经网络的方法，对序列进行编码与解码的重构过程，得到重构后的序列，然后利用序列之间的差异，判断异常。这个方法的思想较为直观，也是利用正常样本进行建模。
在步骤4)中，所述进行模型的评估的具体方法可为：对于利用正常样本构建好的模型，需要对模型的异常检测能力进行评估，选择步骤2)中输出的疑似异常样本作为测试集，去评估模型的异常检测能力。由于无监督的预测的效果，得通过与真实的类别作比较才能知道，所以需要人工对疑似异常样本进行打标签处理，然后将两个无监督模型测试结果，与真实打标结果进行比较，输出混淆矩阵，通过查看准确率，查全率，查准率来评判模型的效果。
在步骤5)中，所述输出最终的模型，部署在线上模块进行实时的异常检测的具体方法可为：对步骤4)中的模型，one class svm算法利用网格搜索的方式寻找最优的参数；RNN则选择使用随机梯度下降算法来寻找最优的参数，最终输出最优的模型，并将模型部署在线上，进行实时的异常监控。
与现有技术相比，本发明的有益效果如下：
本发明首先采用无监督方法进行初步筛选，获得大量的正常样本，然后基于正常样本训练另外两个无监督模型，最终用三层无监督筛选流程进行判断。对于新的历史数据信息，可以根据无监督方法的准确率，对不同的无监督方法进行动态的权重调整，实现实时的动态异常检测。本发明的目的在于尽可能节省成本的情况下实现高效的自动异常检测识别。本发明提出的一种基于多种无监督方法融合的单指标异常检测方法，将其运用在银行系统的指标数据例如cpu、响应时间、交易量等指标上进行异常检测识别，能够在节省人工打标的前提下，实现真实异常告警全识别，错误告警非常低的效果。可见本发明的方法确实能够实现较好的识别效果。
附图说明
图1为训练过程的流程图。
图2为测试过程检测异常的识别流程图。
具体实施方式
以下实施例将结合附图对本发明的技术方案、原理等作进一步说明。
本发明实施例包括以下步骤：
1)提取分析数据。将存储在数据库中的数据，按分钟级取数，并返回所需的数据格式。考虑到时间序列的周期性，提取当前时刻数据，当前时刻及前三小时数据，一天前同时刻前后三小时数据，一周前同时刻前后三小时数据；
2)对数据进行五个无监督的初步把关筛选。3-sigmma median、多项式回归、孤立森林、指数加权移动平均、holt-winter等无监督方法进行初步筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集。其中3-sigmma median，主要是假设原始序列是服从正态分布，那么有99.74％的概率认为数据会落在median上下3个标准差以内，假如数据不在这个范围，那么就认为该数据是异常；多项式回归，主要是对一周前同时刻前后三小时、一天前同时刻前后三小时、今天现时刻及前三小时共903个时序数据进行多项式回归，进行当前时刻的预测，将预测值与真实值偏差大于阈值的认为是异常；指数加权移动平均、holt-winter这两个方法也是对时间序列进行平滑拟合，将拟合值与真实值进行比较，将偏差大于阈值的认为是异常；孤立森林是基于树模型的异常检测方法，通过随机构建一颗颗决策树，利用样本落在所有树的深度的平均值来构建统计量，进行异常判断。最终将五个无监督方法都认为是正常的样本输出为正常，其余样本输出为疑似异常；
3)训练模型。对步骤二识别的正常数据集，去训练两个无监督模型。One classsvm是一种针对单类样本建模的一种特殊的支持向量机模型，它是由Scholkopf等在2001提出，它假设原点是唯一异常点，寻求一个超平面将目标类样本和原点之间以最大间隔分开。这个模型的超平面是根据正常类样本建立起来的决策边界，如果一个样本落在了超平面之外，则认为是异常；RNN是利用重构的思想，将原始单指标序列经过编码和解码两个过程进行降噪重构，根据重构序列与原始序列的差异，来进行异常的识别和判断；
4)进行模型的评估。对于利用正常样本构建好的模型，需要对模型的异常检测能力进行评估。本发明选择步骤2)中输出的疑似异常样本作为测试集，去评估模型的异常检测能力。由于无监督的预测的效果，得通过与真实的类别作比较才能知道，所以需要人工对疑似异常样本进行打标签处理，然后将两个无监督模型测试结果，与真实打标结果进行比较，输出混淆矩阵，通过查看准确率，查全率，查准率来评判模型的效果；
5)输出最终的模型，部署在线上模块进行实时的异常检测。对于步骤4中的模型，one class svm算法利用网格搜索的方式寻找最优的参数；RNN则选择使用随机梯度下降算法来寻找最优的参数。最终输出最优的模型，并将模型部署在线上，进行实时的异常监控。
以下结合附图给出具体实施例。
本发明所述一种基于多种无监督方法融合的单指标异常检测方法实施例包括以下步骤：
1)本发明遵循的一个训练流程框架如图1，整体上都是利用无监督方法进行异常的识别，先对原始数据经过五个无监督方法的筛选，将原始数据分为正常数据集合疑似异常数据集；然后利用正常数据集训练两个无监督模型one class svm和RNN；本发明的一个测试流程如图2，一个样本数据进来之后，首先经过五个无监督方法的判断，如果五个无监督方法都认为是正常，则输出为正常，否则就进入one class svm模型进行下一步判断，如果one class svm判断为正常，则输出为正常，否则就进入RNN模型进行最终的判断，最终输出正常或是异常的结果，作为最终一步的结果。
2)首先，如表1所示，对数据库里的数据按分钟取数，并对每个时刻的样本自动生成dataA、dataB、dataC这三列新的变量，分别表示为一周前同时刻前后三小时数据，一天前同时刻前后三小时数据，此时及前三小时数据。为了刻画无监督最终预测的效果，所以认为给数据打了标签true_label，为后续计算混淆矩阵和输出查全率和查准率准备。rsponse_Time就是本案例中关心的单指标序列(系统的响应时间)。
表1数据结构表
data_time system_time dataC dataB dataA true_label volume response_Time
2019/3/7 19:02 apm_dataset 521.237，…，404.046 853.848，…，457.392 329.435，…，3307.193 0 69 3307.193
2019/3/7 19:03 apm_dataset 731.354，…，443.445 678.418，…，394.519 560.82，…，2237.755 1 107 2237.755
2019/3/7 19:04 apm_dataset 423.457…，377.922 551.53，…，341.432 554.284，…，479.529 1 96 479.529
2019/3/7 19:05 apm_dataset 469.729，…，414.398 573.079，…，374.955 469.843，…，461.091 1 96 461.091
2019/3/7 19:06 apm_dataset 480.126，…，370.297 1546.533，…，372.775 380.527，…，525.141 1 97 525.141
2019/3/7 19:07 apm_dataset 474.466，…，353.305 824.817，…，377.891 373.449，…，797.162 1 88 797.162
3)将步骤2)中搜集到的数据按照6∶4划分训练集和测试集，其中训练集(train_set)是用于初步筛选的样本，最后在初次筛选划分正常样本与疑似异常样本之后，对正常样本用于one class svm和RNN模型的训练；测试集(test_set)数据是用于如图2这样的一整套无监督融合方法的测试。
4)初步筛选使用的五个无监督方法的python实现，分别是ewma.py、holt_winter.py、isolation_forest.py、polynomial_interpolation.py、statistic_median.py，最后将五个方法封装程序detect.py中。
5)对于初步筛选识别的正常数据集，训练的两个模型分别是：autoencoder_classifier.h5和OneClassSVM.plk.。
6)最原始使用的数据是data_all.csv和最终的识别程序(纯无监督.ipynb)以及封装了前面五种无监督和后面两种无监督的程序detect.py。
7)整套无监督融合方法在训练集上的识别结果，其中113个真实的异常全部被识别出来，查全率达到100％；在预测的150个异常当中，其中有27个异常是无效异常，占总体数量的比重较低，查准率达到75.33％；综合所有情况，训练集上总的准确率高达99.83％，说明无监督的效果在训练集上表现优良。
8)整套无监督融合方法在测试集上的识别结果，76个异常能够被完全识别出来，不会造成异常未能识别的损失，查全率达到100％，在识别的异常当中，有17个数据是无效异常，相当于是无效告警，这17个数据平摊到训练集10天上平均每天1.7个无效告警，查准率达到81.72％。整体识别准确率为99.88％。进一步说明本发明的可行性和高效率。
本发明以运维数据(日志、监控信息、应用信息等)为基础，通过无监督方法的融合，达到单指标异常检测目的。相较于传统自动运维中设置固定阈值来进行异常检测的做法，本发明通过机器学习中的无监督融合的方法来自动识别异常，这不仅能够解决传统方法效率低的问题，而且能够在节省有监督方法人工打标的前提下，提高系统的异常检测能力，降低IT运维成本。本发明围绕两个过程展开：离线样本训练并构建模型，在线样本测试并应用模型。离线训练过程，通过3-sigmma median、多项式回归、孤立森林、指数加权移动平均、holt-winter等无监督方法，从海量的数据中以较大把握过滤筛选出一批正常数据集和疑似异常数据集,并利用正常数据集训练两个无监督模型one class svm和ReplicatorNeural Networks；在线测试过程，先通过无监督方法的筛选，再通过one class svm判断，最后通过RNN做进一步判断。上述方法，经过实践测试，能够达到非常好的异常检测效果。
本发明首先考虑到传统智能运维中异常检测方法的的问题所在，也意识到目前主流的一些有监督异常识别在海量数据分析打标方面的局限性，所以本发明基于两个方面的考量，最后提出一种基于多种无监督方法融合的单指标异常检测方法。这个方法不仅能够解决传统异常检测方法效率低的问题，还能够在与新的有监督方法的对比中占据优势，达到较高的识别精度。既满足效率方面的要求，又能够节省人力打标的成本，这是本发明最大的优势所在。

Claims (7)

1.一种基于多种无监督方法融合的单指标异常检测方法，其特征在于包括以下步骤：
1)提取分析数据：将存储在数据库中的数据，按分钟级取数，并返回所需的数据格式；
2)对步骤1)提取的数据采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集输出为正常，其余样本输出为疑似异常；
3)训练模型：对于步骤2)中识别出的正常样本构建模型；
4)进行模型的评估；
5)输出最终的模型，部署在线上模块进行实时的异常检测。
2.如权利要求1所述一种基于多种无监督方法融合的单指标异常检测方法，其特征在于在步骤1)中，所述提取分析数据，考虑到时间序列的周期性，提取当前时刻数据，当前时刻及前T小时数据，一天前同时刻及前后T小时数据，一周前同时刻及前后T小时数据。
3.如权利要求1所述一种基于多种无监督方法融合的单指标异常检测方法，其特征在于在步骤2)中，所述采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集的具体方法为，采用五种无监督方法对数据进行筛选，最终将五种无监督方法都认为是正常的样本输出为正常，其余样本输出为疑似异常。
4.如权利要求3所述一种基于多种无监督方法融合的单指标异常检测方法，其特征在于所述五种无监督方法包括3-sigmma median、多项式回归、孤立森林、指数加权移动平均、holt-winter；所述3-sigmma median，主要是假设原始序列是服从正态分布，那么有99.74％的概率认为数据会落在median上下3个标准差以内，假如数据不在这个范围，那么就认为该数据是异常值；所述多项式回归，主要是对一周前同时刻前后三小时、昨天同时刻前后三小时、今天现时刻及前三小时共(3T+1)个时序数据进行多项式回归，进行当前时刻的预测，将预测值与真实值偏差大于阈值的认为是异常；所述指数加权移动平均、holt-winter这两个方法是对时间序列进行平滑拟合，将拟合值与真实值进行比较，将偏差大于阈值的认为是异常；所述孤立森林是基于树模型的异常检测方法，通过随机构建一颗颗决策树，利用样本落在所有树的深度的平均值来构建统计量，进行异常判断。
5.如权利要求1所述一种基于多种无监督方法融合的单指标异常检测方法，其特征在于在步骤3)中，所述对于步骤2)中识别出的正常样本构建模型的具体方法为：对步骤2)识别的正常数据集，训练两个无监督模型；One class svm是针对单类数据建模，捕捉正常样本的决策边界，从而识别异常；RNN是利用重构的思想，将原始单指标序列经过编码和解码两个过程进行降噪重构，根据重构序列与原始序列的差异，来进行异常的识别和判断。
6.如权利要求1所述一种基于多种无监督方法融合的单指标异常检测方法，其特征在于在步骤4)中，所述进行模型的评估的具体方法为：对于利用正常样本构建好的模型，需要对模型的异常检测能力进行评估，选择步骤2)中输出的疑似异常样本作为测试集，去评估模型的异常检测能力；由于无监督的预测的效果，得通过与真实的类别作比较才能知道，所以需要人工对疑似异常样本进行打标签处理，然后将两个无监督模型测试结果，与真实打标结果进行比较，输出混淆矩阵，通过查看准确率、查全率、查准率来评判模型的效果。
7.如权利要求1所述一种基于多种无监督方法融合的单指标异常检测方法，其特征在于在步骤5)中，所述输出最终的模型，部署在线上模块进行实时的异常检测的具体方法为：对步骤4)中的模型，one class svm算法利用网格搜索的方式寻找最优的参数；RNN则选择使用随机梯度下降算法来寻找最优的参数，最终输出最优的模型，并将模型部署在线上，进行实时的异常监控。
CN202010200442.6A 2020-03-20 2020-03-20 一种基于多种无监督方法融合的单指标异常检测方法 Active CN111507376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010200442.6A CN111507376B (zh) 2020-03-20 2020-03-20 一种基于多种无监督方法融合的单指标异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010200442.6A CN111507376B (zh) 2020-03-20 2020-03-20 一种基于多种无监督方法融合的单指标异常检测方法

Publications (2)

Publication Number Publication Date
CN111507376A true CN111507376A (zh) 2020-08-07
CN111507376B CN111507376B (zh) 2023-04-28

Family

ID=71874129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200442.6A Active CN111507376B (zh) 2020-03-20 2020-03-20 一种基于多种无监督方法融合的单指标异常检测方法

Country Status (1)

Country Link
CN (1) CN111507376B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112187555A (zh) * 2020-12-01 2021-01-05 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN112527604A (zh) * 2020-12-16 2021-03-19 广东昭阳信息技术有限公司 一种基于深度学习的运维检测方法、系统、电子设备及介质
CN112597209A (zh) * 2020-12-15 2021-04-02 深圳前海微众银行股份有限公司 数据的验证方法、装置、系统及计算机可读存储介质
CN113139610A (zh) * 2021-04-29 2021-07-20 国网河北省电力有限公司电力科学研究院 一种针对变压器监测数据的异常检测方法及装置
CN113435547A (zh) * 2021-08-27 2021-09-24 中国环境监测总站 一种水质指标融合数据异常检测方法及系统
CN113553239A (zh) * 2021-07-27 2021-10-26 重庆紫光华山智安科技有限公司 异常数据检测方法及相关装置
CN113570000A (zh) * 2021-09-08 2021-10-29 南开大学 一种基于多模型融合的海洋单要素观测质量控制方法
WO2022269387A1 (en) * 2021-06-22 2022-12-29 International Business Machines Corporation Anomaly detection over high-dimensional space
CN116383743A (zh) * 2023-02-16 2023-07-04 国能信控互联技术有限公司 基于机器学习的光伏运行异常检测方法及系统
CN116415688A (zh) * 2023-03-27 2023-07-11 中国科学院空间应用工程与技术中心 一种流体回路状态监测基线模型在线学习方法及系统
CN117235624A (zh) * 2023-09-22 2023-12-15 中节能天融科技有限公司 排放数据造假检测方法、装置及系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561878A (zh) * 2009-05-31 2009-10-21 河海大学 基于改进cure聚类算法的无监督异常检测方法和系统
US20170284896A1 (en) * 2016-03-31 2017-10-05 General Electric Company System and method for unsupervised anomaly detection on industrial time-series data
CN110309886A (zh) * 2019-07-08 2019-10-08 安徽农业大学 基于深度学习的无线传感器高维数据实时异常检测方法
CN110399935A (zh) * 2019-08-02 2019-11-01 哈工大机器人（合肥）国际创新研究院 基于孤立森林机器学习的机器人实时异常监测方法及系统
CN110826642A (zh) * 2019-11-15 2020-02-21 安徽农业大学 一种针对传感器数据的无监督异常检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561878A (zh) * 2009-05-31 2009-10-21 河海大学 基于改进cure聚类算法的无监督异常检测方法和系统
US20170284896A1 (en) * 2016-03-31 2017-10-05 General Electric Company System and method for unsupervised anomaly detection on industrial time-series data
CN110309886A (zh) * 2019-07-08 2019-10-08 安徽农业大学 基于深度学习的无线传感器高维数据实时异常检测方法
CN110399935A (zh) * 2019-08-02 2019-11-01 哈工大机器人（合肥）国际创新研究院 基于孤立森林机器学习的机器人实时异常监测方法及系统
CN110826642A (zh) * 2019-11-15 2020-02-21 安徽农业大学 一种针对传感器数据的无监督异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李海斌等: "一种无监督的数据库用户行为异常检测方法", 《小型微型计算机系统》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112187555A (zh) * 2020-12-01 2021-01-05 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN112597209A (zh) * 2020-12-15 2021-04-02 深圳前海微众银行股份有限公司 数据的验证方法、装置、系统及计算机可读存储介质
CN112527604A (zh) * 2020-12-16 2021-03-19 广东昭阳信息技术有限公司 一种基于深度学习的运维检测方法、系统、电子设备及介质
CN113139610A (zh) * 2021-04-29 2021-07-20 国网河北省电力有限公司电力科学研究院 一种针对变压器监测数据的异常检测方法及装置
WO2022269387A1 (en) * 2021-06-22 2022-12-29 International Business Machines Corporation Anomaly detection over high-dimensional space
US11943244B2 (en) 2021-06-22 2024-03-26 International Business Machines Corporation Anomaly detection over high-dimensional space
CN113553239B (zh) * 2021-07-27 2023-02-28 重庆紫光华山智安科技有限公司 异常数据检测方法及相关装置
CN113553239A (zh) * 2021-07-27 2021-10-26 重庆紫光华山智安科技有限公司 异常数据检测方法及相关装置
CN113435547B (zh) * 2021-08-27 2021-11-16 中国环境监测总站 一种水质指标融合数据异常检测方法及系统
CN113435547A (zh) * 2021-08-27 2021-09-24 中国环境监测总站 一种水质指标融合数据异常检测方法及系统
CN113570000A (zh) * 2021-09-08 2021-10-29 南开大学 一种基于多模型融合的海洋单要素观测质量控制方法
CN116383743A (zh) * 2023-02-16 2023-07-04 国能信控互联技术有限公司 基于机器学习的光伏运行异常检测方法及系统
CN116415688A (zh) * 2023-03-27 2023-07-11 中国科学院空间应用工程与技术中心 一种流体回路状态监测基线模型在线学习方法及系统
CN116415688B (zh) * 2023-03-27 2023-11-03 中国科学院空间应用工程与技术中心 一种流体回路状态监测基线模型在线学习方法及系统
CN117235624A (zh) * 2023-09-22 2023-12-15 中节能天融科技有限公司 排放数据造假检测方法、装置及系统和存储介质

Also Published As

Publication number Publication date
CN111507376B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111507376B (zh) 一种基于多种无监督方法融合的单指标异常检测方法
CN110210512B (zh) 一种自动化日志异常检测方法及系统
WO2021184630A1 (zh) 基于知识图谱定位排污对象的方法及相关设备
CN110097037B (zh) 智能监测方法、装置、存储介质及电子设备
US8868985B2 (en) Supervised fault learning using rule-generated samples for machine condition monitoring
CN109738939B (zh) 一种地震前兆数据异常检测方法
CN113887616B (zh) 一种epg连接数的实时异常检测方法
CN111460728B (zh) 一种工业设备剩余寿命预测方法、装置、存储介质及设备
CN110837866A (zh) 基于XGBoost的电力二次设备缺陷程度评估方法
CN108304567B (zh) 高压变压器工况模式识别与数据分类方法及系统
CN114201374A (zh) 基于混合机器学习的运维时序数据异常检测方法及系统
CN111126820A (zh) 反窃电方法及系统
CN110580492A (zh) 一种基于小幅波动检测的轨道电路故障前兆发现方法
CN111796957A (zh) 基于应用日志的交易异常根因分析方法及系统
CN111666978B (zh) 一种it系统运维大数据的智能故障预警系统
CN113011763A (zh) 一种基于时空图卷积注意力的桥梁损伤识别方法
CN111191720B (zh) 一种业务场景的识别方法、装置及电子设备
CN115470850A (zh) 一种基于管网水质时空数据的水质异常事件识别预警方法
CN115858794A (zh) 用于网络运行安全监测的异常日志数据识别方法
CN113593605B (zh) 一种基于深度神经网络的工业音频故障监测系统和方法
CN117421684B (zh) 基于数据挖掘和神经网络的异常数据监测与分析方法
CN113962308A (zh) 一种航空设备故障预测方法
CN117150418B (zh) 基于状态特征故障树的变压器运检周期制定方法和系统
CN111934903A (zh) 一种基于时序演化基因的Docker容器故障智能预测方法
CN113505850A (zh) 基于深度学习的锅炉故障预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant