CN111459778B - 运维系统异常指标检测模型优化方法、装置及存储介质 - Google Patents

运维系统异常指标检测模型优化方法、装置及存储介质 Download PDF

Info

Publication number
CN111459778B
CN111459778B CN202010170069.4A CN202010170069A CN111459778B CN 111459778 B CN111459778 B CN 111459778B CN 202010170069 A CN202010170069 A CN 202010170069A CN 111459778 B CN111459778 B CN 111459778B
Authority
CN
China
Prior art keywords
index
abnormal
detection model
data
index detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010170069.4A
Other languages
English (en)
Other versions
CN111459778A (zh
Inventor
陈桢博
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010170069.4A priority Critical patent/CN111459778B/zh
Publication of CN111459778A publication Critical patent/CN111459778A/zh
Priority to PCT/CN2020/117666 priority patent/WO2021179572A1/zh
Application granted granted Critical
Publication of CN111459778B publication Critical patent/CN111459778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Abstract

本方案公开一种运维系统异常指标检测模型优化方法、装置及存储介质，方法包括：将指标类型分类到周期性与低波动性指标、周期性与高波动性指标、无周期性指标的分类中；对应每个指标设置一个异常指标检测模型，将指标数据分别输入到对应的异常指标检测模型中，根据指标所属的指标类型分类，异常指标检测模型采用对应的方法确定异常指标的监测区间，将落在监测区间外的指标数据判为异常数据；并根据判断结果分别处理；重复参数更换和异常数据判断，直至检测出的异常数据数量少于阈值；将各指标类型分类中的各异常指标检测模型的参数分别对应求取平均值，作为该分类的异常指标检测模型的参数。本发明有利于提高异常指标检测模型的精度。

Description

运维系统异常指标检测模型优化方法、装置及存储介质
技术领域
本发明涉及运维管理技术领域，具体地说，涉及运维系统异常指标检测模型优化方法、装置及存储介质。
背景技术
运维系统的异常指标检测模型负责监控运维系统中关于应用、硬件等多个分支的指标。每个指标的数据，均根据一定粒度(如1min)进行采集，并输入模型及时反馈异常情况。目前常用的方法中，异常检测模型需要通过学习某指标过去一定时期内的规律与分布，经过训练后将监测的指标与阈值比较从而判定异常。此类方法的缺陷在于，模型基于一组普适参数建立，而不同运维系统可能具有不同的敏感度要求，因此可能要求不同的模型参数设定。运维系统的监控指标是百万级的，因此不可能针对每一指标进行模型参数设定。另一方面，尽管监督学习方法能够根据每一指标进行学习并获取最优参数，但是由于监控指标的数量级，人工无法针对每一指标进行定期的标注。
发明内容
为解决以上技术问题，本发明提供一种运维系统异常指标检测模型优化方法，包括以下步骤：
S1，将多个指标分别按指标波动幅值以及指标波动周期性分类到指标类型分类中；
S2，从每一个指标类型分类中选取多个指标，对应每个指标都设置一个异常指标检测模型，所述异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间，以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中；
S3，根据指标所属的指标类型分类，每一异常指标检测模型采用滑动窗口沿所述历史数据按时间顺序滑动确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据；
S4，将异常指标检测模型的输出结果与设置有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确，并根据判断结果分别处理：
其中，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据；
若模型判断的异常数据是错误的，则异常指标检测模型根据监测区间的下限倍数与监测区间的上限倍数构建辅助阈值区间；
S5，重复步骤S3、S4，更换异常指标检测模型的参数，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至异常指标检测模型检测出的异常数据数量少于设定的阈值；
S6，对于每个指标类型分类，将指标类型分类中的各异常指标检测模型的参数分别对应求取平均值，作为该指标类型分类的异常指标检测模型的参数。
优选地，步骤S3中，若指标属于周期性与低波动性指标类型分类，将滑动窗口中的数据计算与周期分量值的残差并转换为百分位数，计算残差预设低分位数p1至残差预设中分位数p2区间的标准差s1，和残差预设低分位数p1至残差预设高分位数p3区间的标准差s2，由[p1-n1s1，p3+n2s2]构成异常指标的监测区间；
其中，若指标属于周期性与高波动性指标类型分类，将滑动窗口中的数据转换为百分位数，计算预设低分位数d1至预设中分位数d2区间的标准差t1，和预设低分位数d1至预设高分位数d3区间的标准差t2，由[d1-m1t1，d3+m2t2]构成异常指标的监测区间；
其中，若指标属于无周期性指标类型分类，将滑动窗口中的数据转换为百分位数，计算预设低分位数a1至预设中分位数a2区间的标准差b1，和预设低分位数a1至预设高分位数a3区间的标准差b2，由[a1-k1b1，a3+k2b2]构成异常指标的监测区间，
并且，将所述历史数据按照从小到大的顺序排列形成百分位数，计算预设低分位数q1至预设中分位数q2区间的标准差l1，和预设低分位数q1至预设高分位数q3区间的标准差l2，由[q1-h1l1，q3+h2l2]构成异常指标的监测区间；
步骤S5中，更换异常指标检测模型的参数n1与n2、m1与m2、k1与k2、h1与h2。
本发明还提供一种运维系统异常指标检测模型优化装置，包括：
指标类型分类模块，将多个指标分别按指标波动幅值以及指标波动周期性分类到指标类型分类中幅值；
模型建立模块，从每一个指标类型分类中选取多个指标，对应每个指标都设置一个异常指标检测模型，所述异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间，以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中；
监测指标异常判断模块，根据指标所属的指标类型分类，每一异常指标检测模型采用滑动窗口沿所述历史数据按时间顺序滑动确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据；
监测区间反馈调整模块，将异常指标检测模型的输出结果与设置有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确，并根据判断结果分别处理：
其中，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据；
若模型判断的异常数据是错误的，则异常指标检测模型根据监测区间的下限倍数与监测区间的上限倍数构建辅助阈值区间；
迭代模块，重复进行异常数据检测和监测区间调整，更换异常指标检测模型的参数，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至异常指标检测模型检测出的异常数据数量少于设定的阈值；
模型参数确定模块，对于每个指标类型分类，将指标类型分类中的各异常指标检测模型的参数分别对应求取平均值，作为该指标类型分类的异常指标检测模型的参数。
本发明还提供一种电子装置，该电子装置包括：存储器和处理器，所述存储器中存储有运维系统异常指标检测模型优化程序，所述运维系统异常指标检测模型优化程序被所述处理器执行时实现如上所述的运维系统异常指标检测模型优化方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，实现如上所述的运维系统异常指标检测模型优化方法。
本发明将指标根据周期性和波动性进行分类，对每一类的异常指标检测模型可以根据与事先标注的异常数据比较，实时反馈进行自动化的最优参数选择，从而为每一类指标建立更加具有针对性的参数设定，为每一个指标获取对应的监测区间。将数据按照周期性、波动性分类，有利于提高异常检测的精度，能够在保证高准确率的前提下发现多数的异常隐患。
附图说明
通过结合下面附图对其实施例进行描述，本发明的上述特征和技术优点将会变得更加清楚和容易理解。
图1是表示本发明实施例的运维系统异常指标检测模型优化方法的步骤示意图；
图2是表示本发明实施例的电子装置的硬件架构示意图；
图3是表示本发明实施例的运维系统异常指标检测模型优化程序的流程示意图。
具体实施方式
下面将参考附图来描述本发明所述的运维系统异常指标检测模型优化方法、装置及存储介质的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
图1为本发明实施例提供的运维系统异常指标检测模型优化方法的流程示意图，应用于电子装置，包括以下步骤：
S1，通过指标波动幅值幅值以及指标波动周期将指标类型分类到指标类型分类中。更具体地说，是分类到周期性与低波动性指标、周期性与高波动性指标、无周期性指标这三类中。
其中，是通过快速傅里叶变换算法判定指标是否具有周期性(本实施例的检测指标主要是具有日级别周期性)，快速傅里叶变换是将任一个指标的数据生成多种频率的波形进行振幅叠加，某频率波的振幅分量占比越高，则说明该频率越显著(即周期运动越频繁)，以某频率波的振幅分量占比超过预设的阈值，则认为该指标数据具有周期性。利用快速傅里叶变换可以将各个指标都进行分析，判断是否具有周期性。
通过自相关系数判定指标的波动性,其中，自相关系数是指对于监测指标的数据的时间序列的相关性，相关性越高，则波动性越低，相关性越低，则波动性越高。将一段时间监测数据形成的时间序列拆分为两个序列[1，n-h]和[h+1，n]，并求取这两个序列的自相关系数F，涉及的公式如下：
其中，u为时间序列的均值；
h为滞后数；
xi、xi+h分别对应被拆分的两个序列的第i项；
n为时间序列的长度，即有n个时间序列的数据。
S2，对于每一分类，从监测指标中选取若干指标(可以随机选取，或者按照指标重要程度选取)，对应每个指标都设置有一个异常指标检测模型。以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中。该异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间。
S3，根据指标所属的以上三个分类，异常指标检测模型采用滑动窗口沿所述历史数据按时间顺序滑动确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据。所述滑动窗口是指根据指定的单位长度来框住时间序列，从而计算框内的统计指标。相当于一个长度指定的滑块在刻度尺上面滑动，每滑动一个单位即可反馈滑块内的数据。
其中，指标若是属于周期性与低波动性指标类型分类，则采用STL算法(时间序列分解算法)与滑动窗口相结合的方式来检测指标。以指标过去n周历史数据为训练集，通过STL算法进行周期性分解获得指标的周期分量值。再通过滑动窗口选取之前一段时间的数据(例如30min)进行数据异常的判断。滑动间隔可以是例如15min，即每15min采集一次数据。优选地，可以采用30min的窗口，则是每隔15min，采集过去30min内的数据，这样每个时刻均会对应2个滑动窗口。将窗口中的数据计算残差值，并转换为百分位数，转换为百分位数就是通过将窗口中的数据按照从小到大的顺序排列。其中，残差是指实际监测值与周期分量值对应的差值。
对于序列的某一滑窗，首先计算其残差5％分位数(p1)至残差50％分位数(p2)区间的标准差s1，如果监控数据采集值低于p1-n1s1，则发出低值异常告警。另一方面，计算残差5％分位数(p1)至95％分位数(p3)区间的标准差s2，如果采集值高于p3+n2s2，则发出高值异常告警。由此，[p1-n1s1，p3+n2s2]构成异常指标的监测区间，p1-n1s1为监测区间的下限，p3+n2s2为监测区间的上限。参数n1与n2初始化随时选取，例如分别为3与5，若是对应每个采集时刻具有两个滑动窗口，则采集数据与2个滑动窗口形成的监测区间分别进行比较，若均不符合分布则告警异常。由此可以看出，监测区间是随滑窗内的指标数据以及模型参数n1、n2变化的。而需要确定的则是模型参数n1、n2，以下各监测区间也同样是这样。
后期在步骤S4中再根据反馈进行定期网格搜索调整。由于指标会随时间进行变化，因此监测区间也会实时更新。具体的，对于n1与n2均可以设置有多组预设值备选(例如初始水平组合为3与5，而n1备选值包括2至5，n2备选值包括3至7)。反馈后，根据备选值组合生成多组结果，选择精度最高的参数组合作为后续模型参数。
其中，指标若是属于周期性与高波动性指标类型分类，则采用滑动窗口沿历史数据滑动，将窗口中的数据转换为百分位数。对于序列的某一滑窗，首先计算其5％分位数(d1)至50％分位数(d2)区间的标准差t1，另一方面，计算5％分位数(d1)至95％(d3)分位数区间的标准差t2，形成监测区间[d1-m1t1，d3+m2t2]，如果采集值高于d3+m2t2，则发出高值异常告警，如果监控数据采集值低于d1-m1t1，则发出低值异常告警，参数m1与m2同样先进行初始赋值。
其中，指标若是属于无周期性指标类型分类，则按照周期性与高波动性指标方法采用滑窗的方式进行一轮滑窗检测，同时利用所有历史数据计算，若均超出区间则告警。
具体说，其中，采用滑动窗口沿历史数据滑动，将窗口中的数据转换为百分位数，具体说，就是通过将窗口中的数据按照从小到大的顺序排列。对于序列的某一滑窗，首先计算其5％分位数(a1)至50％分位数(a2)区间的标准差b1，另一方面，计算5％分位数(a1)至95％(a3)分位数区间的标准差b2，形成监测区间[a1-k1b1，a3+k2b2]，如果采集值高于a3+k2b2，则发出高值异常告警，如果监控数据采集值低于a1-k1b1，则发出低值异常告警，参数k1与k2同样先进行初始赋值。
同时，将所有历史数据作为数据异常的判断依据，将所有历史数据按照从小到大的顺序排列，形成分位数。首先计算其5％分位数(q1)至50％分位数(q2)区间的标准差l1，计算5％分位数(q1)至95％(q3)分位数区间的标准差l2，形成监测区间[q1-h1l1，q3+h2l2]，如果采集值高于p3+h2l2，则发出高值异常告警。如果监控数据采集值低于q1-h1l1，则发出低值异常告警，参数h1与h2同样先进行初始赋值。
以上5％分位数、50％分位数、95％分位数仅是示例性的数值，并不限定只能为以上数值。可以概括的说，5％分位数是指预设低分位数，50％分位数是指预设中分位数，95％分位数是指预设高分位数。
S4，对指标的判断结果进行反馈，就是将异常指标检测模型的输出结果与历史数据中的具有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确，并根据判断结果分别处理：
其中，由于是根据监测指标位于所述监测区间以外来判断指标是否异常，所以监测区间是反应正常数据的，所以监测区间应尽可能以正常的指标数据获得，因此，若异常指标检测模型对异常数据的判断是正确的，则模型排除该异常数据，使得模型的输入数据符合正常分布，减少干扰；
若模型判断的异常数据是错误的，则模型将根据该错误异常数据构建辅助阈值区间。优选地，将误报的下限的0.75倍与误报上限1.5倍额外设立一组阈值，形成辅助阈值区间，用于对周期性指标进行辅助监测。后期模型所检测出的周期性指标的异常数据处于该区间内则不告警。
S5，重复步骤S3、S4，通过网格搜索更换参数n1与n2、m1与m2、k1与k2、h1与h2，即变换监测区间，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至最终的异常指标检测模型的监测结果无异常，或者监测结果的异常数据量小于规定的阈值，则各异常指标检测模型的参数确定完毕。
S6，将各分类中的若干指标计算得到的参数分别求取平均值，作为该分类的异常指标检测模型的参数。优选地，在三大分类中的每一类中，可以先对各指标按照各子系统、各metric(是一个给JAVA服务的各项指标提供度量工具的包，在JAVA代码中嵌入Metrics代码，可以方便的对业务代码的各个指标进行监控)类型分类，再对各子系统、各metric类型分类的指标取平均值，作为该子系统、各metric类型分类的模型参数。其中，metric类型包括Counter类型、Gauge类型、Meters类型、Histogram类型、Summary类型。Gauges类型是用来统计瞬时状态的数据信息，Counter是Gauge的一个特例，用于维护计数器。Meters用来度量某个时间段的平均处理次数。Histograms主要使用来统计数据的分布情况，最大值、最小值、平均值、中位数，百分比。Timers主要是用来统计某一块代码段的执行时间以及其分布情况，具体是基于Histograms和Meters来实现的。
S7，利用异常指标检测模型的参数确定各分类的所有监测指标的监测区间，形成对应每个指标的异常指标检测模型。当然，也可以在利用某个指标对应的异常指标检测模型进行监测的时候，进一步利用以上S2至S5的步骤微调其参数。
结合其自身的历史数据形成指标对应的异常数据的监测区间，从而可以对指标进行异常数据监测。
进一步地，STL算法基于LOESS(局部线性回归)将某时刻的数据Yv分解为趋势分量Tv、周期分量Sv和余项Rv:
Yv＝Tv+Sv+Rv，v＝1,…,N
v是当前时刻；
N是所有时刻数；
通过STL的内循环计算趋势分量Tv和周期分量Sv，Tv (k)、Sv (k)为内循环中第k-1次结束时的趋势分量、周期分量，初始时Tv (k)＝0，其中涉及的参数定义如下：
k为内循环的次数；
n(p)为一个周期的样本数；
n(s)为Step 2中LOESS平滑参数，
n(l)为Step 3中LOESS平滑参数，
n(t)为Step 6中LOESS平滑参数。
每个周期相同位置的样本点组成一个子序列，有n(p)个样本数，因此这样的子序列共有n(p)个，内循环主要分为以下6个步骤：
Step 1:去趋势，数据Yv减去上一轮结果的趋势分量，YV-Tv (k)；
Step 2:周期子序列平滑，用LOESS(局部加权回归，参数q＝n(s),d＝1，其中q为任一点前后截取一段长度的数据的个数，d是d元最小二乘多项式)回归对每个子序列做回归。
其中，LOESS回归是对于子序列中任一点，以任一个点x为中心，向前后截取一段长度的数据，对于该段数据用权值函数W(x)做一个加权的线性回归，记为该回归线的中心值，其中/>为拟合后曲线对应值。对于子序列中所有的数据点则可以做出多条加权回归线，每条回归线的中心值的连线则为该子序列的Loess曲线。并且，还将Loess曲线向前向后各延展一个周期，平滑结果组成临时周期序列，记为Cv (k+1),v＝-n(p)+1,…,N+n(p)。
其中，权值函数W(x)可以是三次函数，例如
LOESS回归包括以下步骤：
1)使用W(x)函数作为权值函数，求出每个点x对应的权值wi。
2)将wi带入加权回归计算出
3)求出残差并求取s＝|ei|的中位数；
4)以W(x)函数作为修正权值函数，求出权值调整附加值计算δkwk；
5)将δkwk作为修正权值，重复2)、3)、4)步骤，直至收敛。
Step 3:临时周期序列的低通量过滤，对Step 2的临时周期序列Cv (k+1)依次进行长度为n(p)、n(p)、3的滑动平均，然后做LOESS(q＝n(l),d＝1)回归，得到结果序列Lv (k+1),v＝1,…,N，相当于提取临时周期序列的低通量；
Step 4:去除平滑临时周期序列趋势，
Step 5:去除周期，即减去周期分量，Yv-Sv (k+1)；
Step 6:趋势平滑，对于去除周期之后的序列做LOESS(q＝n(t),d＝1)回归，得到趋势分量Tv (k+1)。
进一步地，设有m个监测值，以下面的步骤来说明如何计算m个监测值的第p百分位数：
以递增顺序排列原始数据(即从小到大排列)。
计算指数j＝mp％
l)若j不是整数，将j向上取整。大于j的毗邻整数即为第p百分位数的位置。
2)若j是整数，则第p百分位数是第j项与第(j+l)项数据的平均值。
本发明还提提供一种电子装置，参阅图2所示，是本发明电子装置的实施例的硬件架构示意图。本实施例中，所述电子装置2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图2所示，所述电子装置2至少包括，但不限于，可通过系统总线相互通信连接的存储器21、处理器22。其中：所述存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述电子装置2的内部存储单元，例如该电子装置2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述电子装置2的外部存储设备，例如该电子装置2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括所述电子装置2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述电子装置2的操作系统和各类应用软件，例如所述运维系统异常指标检测模型优化程序代码等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述电子装置2的总体操作，例如执行与所述电子装置2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行所述的运维系统异常指标检测模型优化程序等。
需要指出的是，图2仅示出了具有组件21、22的电子装置2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
包含可读存储介质的存储器21中可以包括操作系统、运维系统异常指标检测模型优化程序20等。处理器22执行存储器21中运维系统异常指标检测模型优化程序20时实现如上所述的S1至S7的步骤，在此不再赘述。在本实施例中，存储于存储器21中的所述运维系统异常指标检测模型优化程序20可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并可由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。例如，图3示出了所述运维系统异常指标检测模型优化程序模块示意图，该实施例中，所述运维系统异常指标检测模型优化程序20可以被分割为指标类型分类模块201模型建立模块202、监测指标异常判断模块203、监测区间反馈调整模块204、迭代模块205、模型参数确定模块206，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述运维系统异常指标检测模型优化程序在所述电子装置2中的执行过程。以下描述将具体介绍所述程序模块的具体功能。
其中，指标类型分类模块201用于通过指标波动的幅值以及指标波动的周期性将指标类型分类到周期性与低波动性指标、周期性与高波动性指标、无周期性指标这三类中。
其中，指标类型分类模块201又包括周期及波动性判断单元和相关性判断单元，周期及波动性判断单元是通过快速傅里叶变换算法判定指标是否具有周期性(本实施例的检测指标主要是具有日级别周期性)，快速傅里叶变换是将任一个指标的数据生成多种频率的波形进行振幅叠加，某频率波的振幅分量占比越高，则说明该频率越显著(即周期运动越频繁)，以某频率波的振幅分量占比超过预设的阈值，则认为该指标数据具有周期性。利用快速傅里叶变换可以将各个指标都进行分析，判断是否具有周期性。
相关性判断单元是通过自相关系数判定指标的波动性,其中，自相关系数是指对于监测指标的数据的时间序列的相关性，相关性越高，则波动性越低，相关性越低，则波动性越高。将一段时间监测数据形成的时间序列拆分为两个序列[1，n-h]和[h+1，n]，并求取这两个序列的自相关系数。
其中，模型建立模块202用于对于每一分类，从监测指标中选取若干指标(可以随机选取，或者按照指标重要程度选取)，对应每个指标都设置有一个异常指标检测模型。以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中。该异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间。
监测指标异常判断模块203根据指标所属的以上三个分类，异常指标检测模型采用对应的方法确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据。
其中，指标若是属于周期性与低波动性指标类型分类，则采用STL算法(时间序列分解算法)与滑动窗口相结合的方式来检测指标。以指标过去n周历史数据为训练集，通过STL算法进行周期性分解获得指标的周期分量值。再通过滑动窗口选取之前一段时间的数据(例如30min)进行数据异常的判断。滑动间隔可以是例如15min，即每15min采集一次数据。优选地，可以采用30min的窗口，则是每隔15min，采集过去30min内的数据，这样每个时刻均会对应2个滑动窗口。将窗口中的数据计算残差值，并转换为百分位数，转换为百分位数就是通过将窗口中的数据按照从小到大的顺序排列。其中，残差是指实际监测值与周期分量值对应的差值。
监测区间反馈调整模块204用于对指标的判断结果进行反馈，就是将异常指标检测模型的输出结果与历史数据中的具有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确并根据判断结果分别处理：
其中，由于是根据监测指标位于所述监测区间以外来判断指标是否异常，所以监测区间是反应正常数据的，所以监测区间应尽可能以正常的指标数据获得，因此，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据，使得模型的输入数据符合正常分布，减少干扰；
若模型判断的异常数据是错误的，则模型将根据该错误异常数据构建辅助阈值区间。优选地，将误报的下限的0.75倍与误报上限1.5倍额外设立一组阈值，形成辅助阈值区间，用于对周期性指标进行辅助监测。后期模型所检测出的周期性指标的异常数据处于该区间内则不告警。
迭代模块205用于重复异常数据检测和监测区间调整，通过网格搜索更换异常指标检测模型的参数，即变换监测区间，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至最终的异常指标检测模型的监测结果无异常，或者监测结果的异常数据量小于规定的阈值，则各异常指标检测模型的参数确定完毕。
模型参数确定模块206用于将各分类中的若干指标计算得到的参数分别求取平均值，作为该分类的异常指标检测模型的参数。并利用异常指标检测模型的参数确定各分类的所有监测指标的监测区间，形成对应每个指标的异常指标检测模型。
本发明还提供一种运维系统异常指标检测模型优化装置，包括指标类型分类模块201、模型建立模块202、监测指标异常判断模块203、监测区间反馈调整模块204、迭代模块205、模型参数确定模块206。
其中，指标类型分类模块201用于通过指标波动的幅值以及指标波动的周期性将指标类型分类到周期性与低波动性指标、周期性与高波动性指标、无周期性指标这三类中。
其中，指标类型分类模块201又包括周期及波动性判断单元和相关性判断单元，周期及波动性判断单元是通过快速傅里叶变换算法判定指标是否具有周期性(本实施例的检测指标主要是具有日级别周期性)，快速傅里叶变换是将任一个指标的数据生成多种频率的波形进行振幅叠加，某频率波的振幅分量占比越高，则说明该频率越显著(即周期运动越频繁)，以某频率波的振幅分量占比超过预设的阈值，则认为该指标数据具有周期性。利用快速傅里叶变换可以将各个指标都进行分析，判断是否具有周期性。
相关性判断单元是通过自相关系数判定指标的波动性,其中，自相关系数是指对于监测指标的数据的时间序列的相关性，相关性越高，则波动性越低，相关性越低，则波动性越高。将一段时间监测数据形成的时间序列拆分为两个序列[1，n-h]和[h+1，n]，并求取这两个序列的自相关系数。
其中，模型建立模块202用于对于每一分类，从监测指标中选取若干指标(可以随机选取，或者按照指标重要程度选取)，对应每个指标都设置有一个异常指标检测模型。以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中。该异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间。
监测指标异常判断模块203根据指标所属的以上三个分类，异常指标检测模型采用对应的方法确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据。
其中，指标若是属于周期性与低波动性指标类型分类，则采用STL算法(时间序列分解算法)与滑动窗口相结合的方式来检测指标。以指标过去n周历史数据为训练集，通过STL算法进行周期性分解获得指标的周期分量值。再通过滑动窗口选取之前一段时间的数据(例如30min)进行数据异常的判断。滑动间隔可以是例如15min，即每15min采集一次数据。优选地，可以采用30min的窗口，则是每隔15min，采集过去30min内的数据，这样每个时刻均会对应2个滑动窗口。将窗口中的数据计算残差值，并转换为百分位数，转换为百分位数就是通过将窗口中的数据按照从小到大的顺序排列。其中，残差是指实际监测值与周期分量值对应的差值。
监测区间反馈调整模块204用于对指标的判断结果进行反馈，就是将异常指标检测模型的输出结果与历史数据中的具有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确并根据判断结果分别处理：
其中，由于是根据监测指标位于所述监测区间以外来判断指标是否异常，所以监测区间是反应正常数据的，所以监测区间应尽可能以正常的指标数据获得，因此，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据，使得模型的输入数据符合正常分布，减少干扰；
若模型判断的异常数据是错误的，则模型将根据该错误异常数据构建辅助阈值区间。优选地，将误报的下限的0.75倍与误报上限1.5倍额外设立一组阈值，形成辅助阈值区间，用于对周期性指标进行辅助监测。后期模型所检测出的周期性指标的异常数据处于该区间内则不告警。
迭代模块205用于重复异常数据检测和监测区间调整，通过网格搜索更换异常指标检测模型的参数，即变换监测区间，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至最终的异常指标检测模型的监测结果无异常，或者监测结果的异常数据量小于规定的阈值，则各异常指标检测模型的参数确定完毕。
模型参数确定模块206用于将各分类中的若干指标计算得到的参数分别求取平均值，作为该分类的异常指标检测模型的参数。并利用异常指标检测模型的参数确定各分类的所有监测指标的监测区间，形成对应每个指标的异常指标检测模型。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括运维系统异常指标检测模型优化程序等，所述运维系统异常指标检测模型优化程序20被处理器22执行时实现如下操作：
S1，通过指标波动的幅值以及指标波动的周期性将指标类型分类到周期性与低波动性指标、周期性与高波动性指标、无周期性指标这三个指标类型分类中；
S2，从每一个指标类型分类中选取多个指标，对应每个指标都设置一个异常指标检测模型，以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中，该异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间；
S3，根据指标所属的指标类型分类，异常指标检测模型采用滑动窗口沿所述历史数据按时间顺序滑动确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据；
S4，将异常指标检测模型的输出结果与历史数据中的具有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确，并根据判断结果分别处理：
其中，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据；
若模型判断的异常数据是错误的，则异常指标检测模型根据监测区间的下限倍数与监测区间的上限倍数构建辅助阈值区间；
S5，重复步骤S3、S4，更换异常指标检测模型的参数，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至异常指标检测模型检测出的异常数据数量少于设定的阈值；
S6，对于每个指标类型分类，将指标类型分类中的各异常指标检测模型的参数分别对应求取平均值，作为该指标类型分类的异常指标检测模型的参数。
本发明之计算机可读存储介质的具体实施方式与上述运维系统异常指标检测模型优化方法以及电子装置2的具体实施方式大致相同，在此不再赘述。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种运维系统异常指标检测模型优化方法，应用于电子装置，其特征在于，包括以下步骤：
S1，将多个指标分别按指标波动幅值以及指标波动周期性分类到指标类型分类中；
S2，从每一个指标类型分类中选取多个指标，对应每个指标都设置一个异常指标检测模型，所述异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间，以将带有标签的各指标的历史数据分别输入到对应的异常指标检测模型中；
S3，根据指标所属的指标类型分类，每一异常指标检测模型采用滑动窗口沿所述历史数据按时间顺序滑动确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据；
S4，将异常指标检测模型的输出结果与设置有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确，并根据判断结果分别处理：
其中，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据；
若异常指标检测模型判断的异常数据是错误的，则异常指标检测模型根据监测区间的下限倍数与监测区间的上限倍数构建辅助阈值区间；
S5，重复步骤S3、S4，更换异常指标检测模型的参数，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至异常指标检测模型检测出的异常数据数量少于设定的阈值；
S6，对于每个指标类型分类，将指标类型分类中的各异常指标检测模型的参数分别对应求取平均值，作为该指标类型分类的异常指标检测模型的参数。
2.根据权利要求1所述的运维系统异常指标检测模型优化方法，其特征在于，
步骤S3中，若指标属于周期性与低波动性指标类型分类，将滑动窗口中的数据计算与周期分量值的残差并转换为百分位数，计算残差预设低分位数p1至残差预设中分位数p2区间的标准差s1，和残差预设低分位数p1至残差预设高分位数p3区间的标准差s2，由[p1-n1s1，p3+n2s2]构成异常指标的监测区间；
其中，若指标属于周期性与高波动性指标类型分类，将滑动窗口中的数据转换为百分位数，计算预设低分位数d1至预设中分位数d2区间的标准差t1，和预设低分位数d1至预设高分位数d3区间的标准差t2，由[d1-m1t1，d3+m2t2]构成异常指标的监测区间；
其中，若指标属于无周期性指标类型分类，将滑动窗口中的数据转换为百分位数，计算预设低分位数a1至预设中分位数a2区间的标准差b1，和预设低分位数a1至预设高分位数a3区间的标准差b2，由[a1-k1b1，a3+k2b2]构成异常指标的监测区间，
并且，将所述历史数据按照从小到大的顺序排列形成百分位数，计算预设低分位数q1至预设中分位数q2区间的标准差l1，和预设低分位数q1至预设高分位数q3区间的标准差l2，由[q1-h1l1，q3+h2l2]构成异常指标的监测区间；
步骤S5中，更换异常指标检测模型的参数n1与n2、m1与m2、k1与k2、h1与h2。
3.根据权利要求1所述的运维系统异常指标检测模型优化方法，其特征在于，
还包括步骤S7，利用异常指标检测模型的参数确定各指标类型分类的所有监测指标的监测区间，形成对应每个指标的异常指标检测模型。
4.根据权利要求1所述的运维系统异常指标检测模型优化方法，其特征在于，
步骤S1中，通过快速傅里叶变换判定指标是否具有周期性。
5.根据权利要求1所述的运维系统异常指标检测模型优化方法，其特征在于，
步骤S1中，通过自相关系数判定指标的波动性,将一段时间监测数据形成的时间序列拆分为两个序列[1，n-h]和[h+1，n]，并求取这两个序列的自相关系数F，涉及的公式如下：
其中，u为时间序列的均值；
h为滞后数；
xi、xi+h分别对应被拆分的两个序列的第i项；
n为时间序列的长度，即该时间序列有n个数据。
6.根据权利要求1所述的运维系统异常指标检测模型优化方法，其特征在于，步骤S4中，将监测区间的下限的0.75倍与监测区间的上限1.5倍设立一组阈值，形成辅助阈值区间，并在所检测出的周期性指标的异常数据处于该区间内则不告警。
7.根据权利要求1所述的运维系统异常指标检测模型优化方法，其特征在于，
步骤S6中，在每一指标类型分类中，先对各指标按照各子系统、各metric类型进行分类，再对各子系统、各metric类型分类的异常指标检测模型的参数取平均值，作为该子系统、metric类型分类的异常指标检测模型的参数。
8.一种运维系统异常指标检测模型优化装置，其特征在于，包括：
指标类型分类模块，将多个指标分别按指标波动幅值以及指标波动周期性分类到指标类型分类中幅值；
模型建立模块，从每一个指标类型分类中选取多个指标，对应每个指标都设置一个异常指标检测模型，所述异常指标检测模型包括依次连接的输入层、监测区间层、输出层，其中，监测区间层包括判断指标是否异常的监测区间，以各指标任一段时间的历史数据为训练集，所述历史数据中的异常数据设置有标签，将历史数据分别输入到对应的异常指标检测模型中；
监测指标异常判断模块，根据指标所属的指标类型分类，每一异常指标检测模型采用滑动窗口沿所述历史数据按时间顺序滑动确定异常指标的监测区间，并将落在监测区间以外的指标数据判定为异常数据；
监测区间反馈调整模块，将异常指标检测模型的输出结果与设置有标签的异常数据进行比对，从而判断异常指标检测模型的输出结果是否正确，并根据判断结果分别处理：
其中，若异常指标检测模型对异常数据的判断是正确的，则从所述历史数据中删除该异常数据；
若模型判断的异常数据是错误的，则异常指标检测模型根据监测区间的下限倍数与监测区间的上限倍数构建辅助阈值区间；
迭代模块，重复进行异常数据检测和监测区间调整，更换异常指标检测模型的参数，并结合辅助阈值区间，重复进行参数更换和异常数据判断，直至异常指标检测模型检测出的异常数据数量少于设定的阈值；
模型参数确定模块，对于每个指标类型分类，将指标类型分类中的各异常指标检测模型的参数分别对应求取平均值，作为该指标类型分类的异常指标检测模型的参数。
9.一种电子装置，其特征在于，该电子装置包括：存储器和处理器，所述存储器中存储有运维系统异常指标检测模型优化程序，所述运维系统异常指标检测模型优化程序被所述处理器执行时实现如权利要求1-7中任一项所述的运维系统异常指标检测模型优化方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，实现权利要求1至7中任一项所述的运维系统异常指标检测模型优化方法。
CN202010170069.4A 2020-03-12 2020-03-12 运维系统异常指标检测模型优化方法、装置及存储介质 Active CN111459778B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010170069.4A CN111459778B (zh) 2020-03-12 2020-03-12 运维系统异常指标检测模型优化方法、装置及存储介质
PCT/CN2020/117666 WO2021179572A1 (zh) 2020-03-12 2020-09-25 运维系统异常指标检测模型优化方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010170069.4A CN111459778B (zh) 2020-03-12 2020-03-12 运维系统异常指标检测模型优化方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111459778A CN111459778A (zh) 2020-07-28
CN111459778B true CN111459778B (zh) 2024-05-07

Family

ID=71679164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010170069.4A Active CN111459778B (zh) 2020-03-12 2020-03-12 运维系统异常指标检测模型优化方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN111459778B (zh)
WO (1) WO2021179572A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459778B (zh) * 2020-03-12 2024-05-07 平安科技（深圳）有限公司 运维系统异常指标检测模型优化方法、装置及存储介质
CN111913866A (zh) * 2020-08-19 2020-11-10 上海繁易信息科技股份有限公司 实时监测设备模型数据异常的方法和电子设备
CN112131081B (zh) * 2020-09-28 2024-01-02 北京达佳互联信息技术有限公司 一种故障报警参数调整方法、装置、电子设备及存储介质
CN114598618A (zh) * 2020-12-07 2022-06-07 中国移动通信有限公司研究院 一种数据处理方法、装置及设备
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 系统监控方法、装置、设备及存储介质
CN113037854B (zh) * 2021-03-22 2024-01-23 平安国际智慧城市科技股份有限公司 机动车尾气的监测方法、装置、设备及存储介质
CN112905671A (zh) * 2021-03-24 2021-06-04 北京必示科技有限公司 时间序列异常处理方法、装置、电子设备及存储介质
CN113268733B (zh) * 2021-04-22 2022-05-03 中国科学院信息工程研究所 一种基于神经网络的容器挖矿异常检测方法及系统
CN113344026B (zh) * 2021-04-29 2022-05-24 国网浙江省电力有限公司嘉兴供电公司 一种基于多元融合的变电站设备异常识别定位方法
CN113377568B (zh) * 2021-06-29 2023-10-20 北京同创永益科技发展有限公司 一种异常检测方法、装置、电子设备及存储介质
CN113344133B (zh) * 2021-06-30 2023-04-18 上海观安信息技术股份有限公司 一种时序行为异常波动检测方法及系统
CN113568950A (zh) * 2021-07-29 2021-10-29 北京字节跳动网络技术有限公司 一种指标检测方法、装置、设备及介质
CN113760879B (zh) * 2021-08-24 2024-02-27 携程旅游信息技术（上海）有限公司 数据库异常监测方法、系统、电子设备及介质
CN113887616B (zh) * 2021-09-30 2023-04-25 海看网络科技(山东)股份有限公司 一种epg连接数的实时异常检测方法
CN114113664B (zh) * 2022-01-27 2022-04-08 山东泗水海韵粮机有限公司 脱皮机工作状态的智能监测方法及系统
CN115080290B (zh) * 2022-06-07 2023-07-07 吉林大学 一种基于智能算法的异常数据检测方法及系统
CN115314412B (zh) * 2022-06-22 2023-09-05 北京邮电大学 一种面向运维的类型自适应的指标预测预警方法及装置
CN115118614B (zh) * 2022-06-27 2023-09-01 平安银行股份有限公司 作业异常检测方法、装置、电子设备及存储介质
CN115086060B (zh) * 2022-06-30 2023-11-07 深信服科技股份有限公司 一种流量检测方法、装置、设备及可读存储介质
CN115080356B (zh) * 2022-07-21 2022-12-13 支付宝(杭州)信息技术有限公司 异常告警方法和装置
CN115296422B (zh) * 2022-09-30 2022-12-27 华能辛店发电有限公司 基于大数据的电力电缆运行状态监测管控系统及方法
CN117858135A (zh) * 2022-09-30 2024-04-09 中兴通讯股份有限公司 网络异常检测方法、装置、电子设备及存储介质
CN116431369A (zh) * 2022-11-09 2023-07-14 北京新数科技有限公司 一种基于动态场景的数据库运维异常检测方法
CN115455746B (zh) * 2022-11-10 2023-04-07 中国人民解放军海军工程大学 一种核动力装置运行监测数据异常检测与校正一体化方法
CN116415840B (zh) * 2023-02-02 2023-12-05 北京三维天地科技股份有限公司 一种基于机器学习模型的指标自动预警方法及系统
CN116112385B (zh) * 2023-02-15 2023-09-19 贵州北盘江电力股份有限公司光照分公司 一种电力监控系统网络通信数据分析展示方法及系统
CN115935243B (zh) * 2023-03-01 2023-09-15 华谋咨询技术(深圳)有限公司 一种基于数据处理的故障分析方法
CN116070963B (zh) * 2023-03-06 2023-06-16 华安证券股份有限公司 一种基于大数据的线上客户服务系统健康度检测方法
CN115982577B (zh) * 2023-03-20 2023-09-08 山东华网合众信息技术有限公司 一种智慧用电实时监测方法和系统
CN116089846B (zh) * 2023-04-03 2023-07-25 北京智蚁杨帆科技有限公司 一种基于数据聚类的新能源结算数据异常检测与预警方法
CN116506321B (zh) * 2023-04-28 2023-11-24 杭州富阳海康保泰安防技术服务有限公司 一种基于数据分析的运维智能终端
CN116302897B (zh) * 2023-05-15 2023-10-17 合肥联宝信息技术有限公司 一种数据集的建立方法、装置、电子设备及存储介质
CN116362625B (zh) * 2023-05-26 2023-08-15 华南理工大学 一种能源资源消费数据多层级校验系统及方法
CN116500240B (zh) * 2023-06-21 2023-12-29 江西索立德环保服务有限公司 一种土壤环境质量监测方法、系统及可读存储介质
CN116582134B (zh) * 2023-07-11 2023-10-13 江苏盖亚环境科技股份有限公司 一种钻测一体化装备数据处理方法
CN116703245B (zh) * 2023-08-02 2023-10-27 宜兴市旭航电子有限公司 流程化生产过程监测预警系统及方法
CN116662729B (zh) * 2023-08-02 2023-10-31 山东鲁玻玻璃科技有限公司 一种低硼硅玻璃上料控制数据智能监测方法
CN116804571B (zh) * 2023-08-18 2023-12-08 山东众志电子有限公司 基于人工智能的纤维类拉丝异常状态检测方法
CN117056171B (zh) * 2023-09-22 2024-01-09 北京博点智合科技有限公司 一种基于AI算法的Kafka异常监控方法及装置
CN117251804B (zh) * 2023-11-17 2024-04-19 天津中电华利电器科技集团有限公司 一种变电室运行状态监测数据处理系统及方法
CN117639936A (zh) * 2023-12-12 2024-03-01 广西电网有限责任公司贵港供电局 一种基于ip光纤通信的传输方法和装置
CN117454096B (zh) * 2023-12-25 2024-03-01 西安高商智能科技有限责任公司 一种电机生产质量检测方法及系统
CN117782364B (zh) * 2024-02-28 2024-05-03 西瑞思创(西安)实验仪器有限公司 一种高通量自动材料快筛反应器的实时监测方法及系统
CN117871466A (zh) * 2024-03-12 2024-04-12 苏州安易得安全科技有限公司 一种监测数据自检的激光甲烷探测器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766299A (zh) * 2017-10-24 2018-03-06 携程旅游信息技术（上海）有限公司 数据指标异常的监控方法及其系统、存储介质、电子设备
CN110334478A (zh) * 2019-07-22 2019-10-15 山东浪潮人工智能研究院有限公司 机器设备异常检测模型构建方法、检测方法及模型
JP2019200650A (ja) * 2018-05-17 2019-11-21 三菱重工業株式会社 異常予兆検知システムの制御装置、これを備えるプラント、及び異常予兆検知システムの制御方法並びに制御プログラム
CN110489314A (zh) * 2019-07-05 2019-11-22 中国平安人寿保险股份有限公司 模型异常检测方法、装置、计算机设备和存储介质
CN110598851A (zh) * 2019-08-29 2019-12-20 北京航空航天大学合肥创新研究院 一种融合lstm和gan的时间序列数据异常检测方法
CN110851338A (zh) * 2019-09-23 2020-02-28 平安科技（深圳）有限公司 异常检测方法、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5337909B2 (ja) * 2010-03-30 2013-11-06 株式会社東芝 異常検出装置
CN105975443B (zh) * 2016-05-04 2019-02-15 西南大学 基于Lasso的网络异常行为检测方法及系统
CN107608810A (zh) * 2017-08-24 2018-01-19 北京寄云鼎城科技有限公司 一种基于迭代的异常检测方法和检测装置
CN109587001B (zh) * 2018-11-15 2020-11-27 新华三信息安全技术有限公司 一种性能指标异常检测方法及装置
CN110865929B (zh) * 2019-11-26 2024-01-23 携程旅游信息技术（上海）有限公司 异常检测预警方法及系统
CN111459778B (zh) * 2020-03-12 2024-05-07 平安科技（深圳）有限公司 运维系统异常指标检测模型优化方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766299A (zh) * 2017-10-24 2018-03-06 携程旅游信息技术（上海）有限公司 数据指标异常的监控方法及其系统、存储介质、电子设备
JP2019200650A (ja) * 2018-05-17 2019-11-21 三菱重工業株式会社 異常予兆検知システムの制御装置、これを備えるプラント、及び異常予兆検知システムの制御方法並びに制御プログラム
CN110489314A (zh) * 2019-07-05 2019-11-22 中国平安人寿保险股份有限公司 模型异常检测方法、装置、计算机设备和存储介质
CN110334478A (zh) * 2019-07-22 2019-10-15 山东浪潮人工智能研究院有限公司 机器设备异常检测模型构建方法、检测方法及模型
CN110598851A (zh) * 2019-08-29 2019-12-20 北京航空航天大学合肥创新研究院 一种融合lstm和gan的时间序列数据异常检测方法
CN110851338A (zh) * 2019-09-23 2020-02-28 平安科技（深圳）有限公司 异常检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021179572A1 (zh) 2021-09-16
CN111459778A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459778B (zh) 运维系统异常指标检测模型优化方法、装置及存储介质
US9996444B2 (en) Automated methods and systems for calculating hard thresholds
CN106991145B (zh) 一种监测数据的方法及装置
US8078913B2 (en) Automated identification of performance crisis
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
CN105071983A (zh) 一种面向云计算在线业务的异常负载检测方法
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN109376924A (zh) 一种物资需求预测的方法、装置、设备及可读存储介质
US10394631B2 (en) Anomaly detection and automated analysis using weighted directed graphs
JP5827426B1 (ja) 予兆診断システム及び予兆診断方法
JP6777142B2 (ja) システム分析装置、システム分析方法、及び、プログラム
CN106598822A (zh) 一种用于容量评估的异常数据检测方法及装置
US20210374634A1 (en) Work efficiency evaluation method, work efficiency evaluation apparatus, and program
CN114978956A (zh) 智慧城市网络设备性能异常突变点检测方法及装置
CN114168444A (zh) 一种基于监控大数据的动态运维报修模型
CN110795324B (zh) 一种数据处理方法及装置
JP5771317B1 (ja) 異常診断装置及び異常診断方法
KR101960755B1 (ko) 미취득 전력 데이터 생성 방법 및 장치
CN117171157A (zh) 基于数据分析的清算数据采集清洗方法
CN111783883A (zh) 一种异常数据的检测方法及装置
CN112181792A (zh) 一种时序数据异常标注的方法、系统及相关组件
CN113468014A (zh) 一种运维数据的异常检测方法及装置
CN111198979A (zh) 一种用于对输变电可靠性评估大数据进行清洗的方法及系统
US11762562B2 (en) Performance analysis apparatus and performance analysis method
CN114168409A (zh) 一种业务系统运行状态监控预警方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant