CN111679952B - 告警阈值生成方法及装置 - Google Patents
告警阈值生成方法及装置 Download PDFInfo
- Publication number
- CN111679952B CN111679952B CN202010513536.9A CN202010513536A CN111679952B CN 111679952 B CN111679952 B CN 111679952B CN 202010513536 A CN202010513536 A CN 202010513536A CN 111679952 B CN111679952 B CN 111679952B
- Authority
- CN
- China
- Prior art keywords
- data
- training data
- service
- target moment
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 176
- 230000003442 weekly effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 13
- 238000012417 linear regression Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种告警阈值生成方法及装置，其中该方法包括：获取业务系统的历史数据；其中，历史数据包括系统的历史运行时刻和每一历史运行时刻下的业务数据；按照预设时间维度抽取历史数据，得到用于预测业务数据的训练数据集；根据训练数据集，进行业务数据预测，得到业务数据预测模型；对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值。该方法利用业务系统的历史数据对目标时刻进行业务数据的预测，从而实现了随运行时刻不同，生成动态告警阈值，提高了告警阈值生成的灵活性，充分合理利用了丰富的数据资源，得到的告警阈值更为合理。
Description
技术领域
本发明涉及数据分析技术领域，尤其涉及一种告警阈值生成方法及装置。
背景技术
目前业界为了保证业务系统的正常运行，往往会设置监控和告警平台来监测业务系统的运行情况，以便及时发现问题并处理。通过实时监控系统的各项指标，同时合理地设置每项指标的告警阈值，当指标超出告警阈值时通过告警平台及时通知系统的运行维护人员，能够快速地发现并排除故障。因此，告警阈值的设置对于监控告警平台起着至关重要的作用。
目前，业界普遍采用的阈值生成方法是静态阈值，在系统建立初期，为监测的每个指标设置一个固定的静态告警阈值，当监测值超过告警阈值时，产生告警信息。但阈值设置范围过大，造成系统发生某些故障的时候监测不到，从而产生遗漏的报警情况；阈值设置范围过小，则会造成系统频繁发送告警信息，从而产生大量误报，不仅造成资源浪费，还会对运行维护人员造成困扰，同时大量的误报也可能会淹没真正需要关注的告警信息。因此，静态阈值的生成方法缺乏灵活性。
发明内容
本发明实施例提供一种告警阈值生成方法，用以生成动态告警阈值，提高告警阈值生成的灵活性，该方法包括：
获取业务系统的历史数据；所述历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据；
按照预设时间维度抽取所述历史数据，得到用于预测业务数据的训练数据集；所述训练数据集包括年度训练数据子集、周训练数据子集和天训练数据子集；
根据所述训练数据集，进行业务数据预测，得到业务数据预测模型；
利用所述业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；
根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值；其中，
根据所述训练数据集，进行业务数据预测，得到业务数据预测模型，包括：
根据所述训练数据集中的年度训练数据子集，利用回归法拟合数据变化，得到年度训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的周训练数据子集，利用加权平均的统计学方法，得到周训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的天训练数据子集，利用时间序列预测算法，得到天训练数据对应的目标时刻业务数据预测值；
根据所述训练数据集，通过集成学习的方式，进行线性回归训练，得到年度相关系数、周相关系数和天相关系数；
将所述年度相关系数、所述周相关系数和所述天相关系数分别作为所述年度训练数据对应的目标时刻的业务数据预测值、所述周训练数据对应的目标时刻的业务数据预测值和所述天训练数据对应的目标时刻业务数据预测值的权重，进行加权求和，建立业务数据预测模型。
本发明实施例还提供一种告警阈值生成装置，用以生成动态告警阈值，提高告警阈值生成的灵活性，该装置包括：
历史数据获取模块，用于获取业务系统的历史数据；所述历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据；
训练数据抽取模块，用于按照预设时间维度抽取所述历史数据，得到用于预测业务数据的训练数据集；所述训练数据集包括年度训练数据子集、周训练数据子集和天训练数据子集；
模型建立模块，用于根据所述训练数据集，进行业务数据预测，得到业务数据预测模型；
业务数据预测模块，用于利用所述业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；
告警阈值生成模块，用于根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值；其中，
所述模型建立模块具体用于：
根据所述训练数据集中的年度训练数据子集，利用回归法拟合数据变化，得到年度训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的周训练数据子集，利用加权平均的统计学方法，得到周训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的天训练数据子集，利用时间序列预测算法，得到天训练数据对应的目标时刻业务数据预测值；
根据所述训练数据集，通过集成学习的方式，进行线性回归训练，得到年度相关系数、周相关系数和天相关系数；
将所述年度相关系数、所述周相关系数和所述天相关系数分别作为所述年度训练数据对应的目标时刻的业务数据预测值、所述周训练数据对应的目标时刻的业务数据预测值和所述天训练数据对应的目标时刻业务数据预测值的权重，进行加权求和，建立业务数据预测模型。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述告警阈值生成方法。
本发明实施例也提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上告警阈值生成方法的计算机程序。
本发明实施例中，通过获取业务系统的历史数据；其中，历史数据包括系统的历史运行时刻和每一历史运行时刻下的业务数据；按照预设时间维度抽取告警历史数据，得到用于预测业务系统数据的训练数据集；根据训练数据集，进行业务数据的预测，得到业务数据预测模型；利用业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值，根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值。利用业务系统的历史数据对目标时刻进行业务数据的预测，从而实现了随运行时刻不同，生成动态告警阈值，提高了告警阈值生成的灵活性，充分合理利用了丰富的数据资源，得到的告警阈值更为合理。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中告警阈值生成方法的示意图。
图2为本发明具体实施例中步骤102的具体实施方法示意图。
图3为本发明具体实施例中抽取得到的时间序列示意图。
图4为本发明具体实施例中步骤103的具体实施方法示意图。
图5为本发明实施例中一具体应用实施的流程示意图。
图6为本发明实施例中告警阈值生成装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种告警阈值生成方法，用以生成动态告警阈值，提高告警阈值生成的灵活性，如图1所示，该方法包括：
步骤101：获取业务系统的历史数据；其中，历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据；
步骤102：按照预设时间维度抽取历史数据，得到用于预测业务数据的训练数据集；
步骤103：根据训练数据集，进行业务数据预测，得到业务数据预测模型；
步骤104：利用业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；
步骤105：根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值。
由图1所示流程可以得知，本发明实施例中，通过获取业务系统的历史数据；其中，历史数据包括系统的历史运行时刻和每一历史运行时刻下的业务数据；按照预设时间维度抽取告警历史数据，得到用于预测业务系统数据的训练数据集；根据训练数据集，进行业务数据的预测，得到业务数据预测模型；利用业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值，根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值。利用业务系统的历史数据对目标时刻进行业务数据的预测，从而实现了随运行时刻不同，生成动态告警阈值，提高了告警阈值生成的灵活性，充分合理利用了丰富的数据资源，得到的告警阈值更为合理。
具体实施时，首先获取业务系统的历史数据；其中，历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据，例如银行业务系统历史运行日期和每个日期对应的业务数据。业务系统是指各行各业的业务系统，例如可以是银行中的信息业务系统，每一天的报错报文会有一定的数量，即为本申请具体实施例中的业务数据，但报错报文数量一旦超过某一个值，即超过业务系统设定好的告警阈值后，业务系统向运行人员进行告警。
获取业务系统的历史数据后，按照预设时间维度抽取历史数据，得到用于预测业务数据的训练数据集。具体实施时，如图2所示，包括：
步骤201：按照年度时间序列抽取历史数据，得到年度训练数据子集；其中，年度时间序列为历史运行时刻中不同年份的同一日期组成的随年份变化的时间序列；
步骤202：按照周时间序列抽取历史数据，得到周训练数据子集；其中，周时间序列为历史运行时刻中同一年度中以周为时间长度按照日期先后顺序排列组成的时间序列；
步骤203：按照天时间序列抽取历史数据，得到天训练数据子集；其中，天时间序列为历史运行时刻中同一年度中所有天按照日期先后顺序排列组成的时间序列；
步骤204：整合上述年度训练数据子集、周训练数据子集和天训练数据子集，得到用于预测业务数据的训练数据集。
具体实施时，业务系统的历史数据中包含丰富的时间信息，其中年度数据指不同年份的同一日期的数据组成的随年份变化的历史时间序列。周数据指七天之内按照日期先后顺序排列组成的时间序列。天数据指同一年份的所有天的数据按照日期先后顺序排列组成的时间序列，按照上述步骤201-步骤203抽取得到的时间序列见图3。
由于不同维度时段的数据组合反映出的数据规律是不同的。根据年度数据的变化趋势预测结果是从纵向时间维度上考虑，根据天数据的整体变化情况结合当年已产生的历史数据可以从横向时间轴上预测结果，最后结合周数据的预测结果进行调整，可以提高预测结果的可解释性、合理性和准确性。
得到用于预测业务数据的训练数据集后，根据该训练数据集，进行业务数据预测，得到业务数据预测模型。具体实施时，如图4所示，包括：
步骤401：根据训练数据集中的年度训练数据子集，利用回归法拟合数据变化，得到年度训练数据对应的目标时刻的业务数据预测值；
步骤402：根据训练数据集中的周训练数据子集，利用加权平均的统计学方法，得到周训练数据对应的目标时刻的业务数据预测值；
步骤403：根据训练数据集中的天训练数据子集，利用时间序列预测算法，得到天训练数据对应的目标时刻业务数据预测值；
步骤404：根据训练数据集，通过集成学习的方式，进行线性回归训练，得到年度相关系数、周相关系数和天相关系数；
步骤405：将年度相关系数、周相关系数和天相关系数分别作为年度训练数据对应的目标时刻的业务数据预测值、周训练数据对应的目标时刻的业务数据预测值和天训练数据对应的目标时刻业务数据预测值的权重，进行加权求和，建立业务数据预测模型。
其中，时间序列是指某统计指标按照时间先后顺序排列的数据，时间序列预测指通过分析时间序列数据预测统计指标的发展趋势。相关系数是反映变量之间线性相关程度的度量。
由于传统方法中单一的预测方式不能充分合理利用丰富的数据信息，造成了大量的信息浪费。因此，本发明实施例采用上述步骤401-步骤405的方法建立预测模型：年度数据量较少，变化情况有一定规律可捕捉，可以使用回归的方法拟合数据的变化情况预测。天数据具有时间维度连续的特性，可以反映数据随时间变化的规律，适合采用时间序列预测算法，例如深度学习LSTM算法。由于业务系统的交易量的变化趋势成周期性，一般一周可以看做一个周期，因此预测某天的交易量时可以将前几周对应时间的周数据作为参考，此处本发明具体实施例应用统计学的加权平均的方式预测。其中，在使用周数据作为数据集进行预测时，提取预测日期前六天的业务数据序列，以及当月历史周中与预测日对应的日期(如预测日为周一，则提取本月所有周一的日期)前六天的业务数据序列，计算预测日的数据序列与历史周中对应日的数据序列的相关系数如皮尔逊相关系数，并将其归一化作为对周数据加权平均时的权重，则预测日的业务数据由当月历史周中对应日期的业务数据值加权求和得到。因为不同时期的数据对目标预测日数据的影响是不同的，因此用相关系数作为权重可以充分考虑不同时期的数据在预测中的影响力。在对周数据进行统计学处理时，使用了历史对应周之间的相关系数作为加权平均时的权重，这种方式充分考虑了预测日前几周的数据对目标预测日的影响是不同的，并通过权重将这种影响代入到计算中。
具体实施例中，得到利用三种数据子集及不同预测方法预测的业务数据之后，根据训练数据集，通过集成学习的方式，进行线性回归的训练，得到年度相关系数、周相关系数和天相关系数。以年度相关系数、周相关系数和天相关系数这三种相关系数分别作为上述三种业务数据预测值的权重，对年度训练数据对应的目标时刻的业务数据预测值、周训练数据对应的目标时刻的业务数据预测值和天训练数据对应的目标时刻业务数据预测值加权求和，得到最终的目标时刻的业务数据预测值。具体实施例中，通过对此模型的不断训练，修正上述权重，不断提高此业务数据预测模型的预测准确度。
其中，线性回归是指利用最小二乘求解因变量与一个或多个自变量之间关系的机器学习方法。本发明具体实施例通过集成学习的方式修正单一方法产生的误差以及信息浪费的问题。即根据训练数据集中的历史运行时刻，得到此历史运行时刻下的年度训练数据对应的业务数据预测值、周训练数据对应的业务数据预测值和天训练数据对应的业务数据预测值，结合训练数据集中的此历史运行时刻下的业务数据，通过集成学习的方式，进行线性回归的训练，得到年度相关系数、周相关系数和天相关系数。通过集成学习的方式，结合了三种时间维度的不同预测方式的预测值，修正了任何单独一种方法所产生的误差，也避免了不同时间维度上的数据浪费。
得到业务数据预测模型后，利用此模型对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值具体过程，包括：将目标时刻输入此业务数据预测模型种，进行业务数据预测，得到目标时刻的业务数据预测值。
根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值，具体实施时，根据预设的范围调整要求，对目标时刻的业务数据预测值进行范围调整，得到目标时刻的告警阈值。具体实施例中，预设的范围调整要求是指根据实际业务系统需要，设置按照得到的预测值上下浮动n个百分点，n是根据系统实际情况设定的。即AlarmRegion＝[Prediction*(1-n％)，Prediction*(1+n％)]，AlarmRegion代表目标时刻的告警阈值区间；Prediction代表目标时刻的业务数据预测值；n代表浮动百分点。
本发明具体实施例中，例如图5所示的流程，还可以通过分析业务系统的历史的告警阈值范围与实际业务系统的告警情况，得到根据上述告警阈值生成方法得到的告警阈值预测值的准确度及其分布情况，从而通过对建立的告警阈值预测模型增设调节参数来不断自学习，达到修正模型的效果。通过分析历史流量异常和系统故障的时间分布和运维人员对不同时段的关注度，不同时间段对业务系统有不同的监控需求，通过控制调节参数调整告警阈值的浮动，从而可以收紧或放松监控力度。
此外，本发明的具体实施例中，在建立业务数据预测模型时，还可以用月数据替代周数据，即按照月时间序列抽取历史数据，得到月训练数据子集。其中，月时间序列为历史运行时刻中同一年度中所有月按照日期先后顺序排列组成的时间序列。整合年度训练数据子集、月训练数据子集和天训练数据子集，得到用于预测业务数据预测的训练数据集。
基于同一发明构思，本发明实施例还提供一种告警阈值生成装置，由于告警阈值生成装置所解决问题的原理与告警阈值生成方法相似，因此告警阈值生成装置的实施可以参见告警阈值生成方法的实施，重复之处不再赘述，具体结构如图6所示，包括：
历史数据获取模块601，用于获取业务系统的历史数据；其中，历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据；
训练数据抽取模块602，用于按照预设时间维度抽取历史数据，得到用于预测业务数据的训练数据集；
模型建立模块603，用于根据训练数据集，进行业务数据预测，得到业务数据预测模型；
业务数据预测模块604，用于利用业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；
告警阈值生成模块605，用于根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值。
具体实施例中，训练数据抽取模块602具体用于：
按照年度时间序列抽取历史数据，得到年度训练数据子集；年度时间序列为历史运行时刻中不同年份的同一日期组成的随年份变化的时间序列；
按照周时间序列抽取历史数据，得到周训练数据子集；周时间序列为历史运行时刻中同一年度中以周为时间长度按照日期先后顺序排列组成的时间序列；
按照天时间序列抽取历史数据，得到天训练数据子集；天时间序列为历史运行时刻中同一年度中所有天按照日期先后顺序排列组成的时间序列；
整合年度训练数据子集、周训练数据子集和天训练数据子集，得到用于预测业务数据的训练数据集。
具体实施例中，模型建立模块603具体用于：
根据训练数据集中的年度训练数据子集，利用回归法拟合数据变化，得到年度训练数据对应的目标时刻的业务数据预测值；
根据训练数据集中的周训练数据子集，利用加权平均的统计学方法，得到周训练数据对应的目标时刻的业务数据预测值；
根据训练数据集中的天训练数据子集，利用时间序列预测算法，得到天训练数据对应的目标时刻业务数据预测值；
根据训练数据集，通过集成学习的方式，进行线性回归训练，得到年度相关系数、周相关系数和天相关系数；
将年度相关系数、周相关系数和天相关系数分别作为年度训练数据对应的目标时刻的业务数据预测值、周训练数据对应的目标时刻的业务数据预测值和天训练数据对应的目标时刻业务数据预测值的权重，进行加权求和，建立业务数据预测模型。
具体实施时，业务数据预测模块604具体用于：
将目标时刻输入业务数据预测模型，进行业务数据预测，得到目标时刻的业务数据预测值。
具体实施例中，告警阈值生成模块605具体用于：
根据预设的范围调整要求，对目标时刻的业务数据预测值进行范围调整，得到目标时刻的告警阈值。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述告警阈值生成方法。
本发明实施例还提供一种计算机可读存储介质，存储有执行上述告警阈值生成方法的计算机程序。
综上所述，本发明实施例提供的告警阈值生成方法及装置具有如下优点：
通过获取业务系统的历史数据；其中，历史数据包括系统的历史运行时刻和每一历史运行时刻下的业务数据；按照预设时间维度抽取告警历史数据，得到用于预测业务系统数据的训练数据集；根据训练数据集，进行业务数据的预测，得到业务数据预测模型；利用业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值，根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值。利用业务系统的历史数据对目标时刻进行业务数据的预测，从而实现了随运行时刻不同，生成动态告警阈值，提高了告警阈值生成的灵活性，充分合理利用了丰富的数据资源，得到的告警阈值更为合理。
相较于传统方法将所有的历史数据同等看待，没有从中抽取时间特性，不能适应实际情况。本发明将历史数据按照多维度划分，针对不同特性的数据使用不同的预测方法，最后利用集成学习将模型融合，修正计算结果，提高预测结果的合理性和准确度。且传统方式多为设置静态阈值的方式，本发明提出的方法生成的是动态告警阈值，随着时间和历史数据的变化而发生变化，并可以调整，更加灵活。通过对历史数据产生误报的自学习，来控制调节参数，增加预测模型的自适应能力，在特殊时段也可以通过设置调节参数采取收紧的告警阈值策略或者宽松的告警阈值策略。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种告警阈值生成方法，其特征在于，包括：
获取业务系统的历史数据；所述历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据；
按照预设时间维度抽取所述历史数据，得到用于预测业务数据的训练数据集；所述训练数据集包括年度训练数据子集、周训练数据子集和天训练数据子集；
根据所述训练数据集，进行业务数据预测，得到业务数据预测模型；
利用所述业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；
根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值；其中，
根据所述训练数据集，进行业务数据预测，得到业务数据预测模型，包括：
根据所述训练数据集中的年度训练数据子集，利用回归法拟合数据变化，得到年度训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的周训练数据子集，利用加权平均的统计学方法，得到周训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的天训练数据子集，利用时间序列预测算法，得到天训练数据对应的目标时刻业务数据预测值；
根据所述训练数据集，通过集成学习的方式，进行线性回归训练，得到年度相关系数、周相关系数和天相关系数；
将所述年度相关系数、所述周相关系数和所述天相关系数分别作为所述年度训练数据对应的目标时刻的业务数据预测值、所述周训练数据对应的目标时刻的业务数据预测值和所述天训练数据对应的目标时刻业务数据预测值的权重，进行加权求和，建立业务数据预测模型。
2.如权利要求1所述的方法，其特征在于，按照预设时间维度抽取所述历史数据，得到用于预测业务数据的训练数据集，包括：
按照年度时间序列抽取所述历史数据，得到年度训练数据子集；所述年度时间序列为所述历史运行时刻中不同年份的同一日期组成的随年份变化的时间序列；
按照周时间序列抽取所述历史数据，得到周训练数据子集；所述周时间序列为所述历史运行时刻中同一年度中以周为时间长度按照日期先后顺序排列组成的时间序列；
按照天时间序列抽取所述历史数据，得到天训练数据子集；所述天时间序列为所述历史运行时刻中同一年度中所有天按照日期先后顺序排列组成的时间序列；
整合所述年度训练数据子集、所述周训练数据子集和所述天训练数据子集，得到用于预测业务数据的训练数据集。
3.如权利要求1所述的方法，其特征在于，利用所述业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值，包括：
将目标时刻输入所述业务数据预测模型，进行业务数据预测，得到目标时刻的业务数据预测值。
4.如权利要求1所述的方法，其特征在于，根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值，包括：
根据预设的范围调整要求，对所述目标时刻的业务数据预测值进行范围调整，得到目标时刻的告警阈值。
5.一种告警阈值生成装置，其特征在于，包括：
历史数据获取模块，用于获取业务系统的历史数据；所述历史数据包括业务系统的历史运行时刻和每一历史运行时刻下的业务数据；
训练数据抽取模块，用于按照预设时间维度抽取所述历史数据，得到用于预测业务数据的训练数据集；所述训练数据集包括年度训练数据子集、周训练数据子集和天训练数据子集；
模型建立模块，用于根据所述训练数据集，进行业务数据预测，得到业务数据预测模型；
业务数据预测模块，用于利用所述业务数据预测模型，对目标时刻的业务数据进行预测，得到目标时刻的业务数据的预测值；
告警阈值生成模块，用于根据目标时刻的业务数据的预测值，生成目标时刻的告警阈值；其中，
所述模型建立模块具体用于：
根据所述训练数据集中的年度训练数据子集，利用回归法拟合数据变化，得到年度训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的周训练数据子集，利用加权平均的统计学方法，得到周训练数据对应的目标时刻的业务数据预测值；
根据所述训练数据集中的天训练数据子集，利用时间序列预测算法，得到天训练数据对应的目标时刻业务数据预测值；
根据所述训练数据集，通过集成学习的方式，进行线性回归训练，得到年度相关系数、周相关系数和天相关系数；
将所述年度相关系数、所述周相关系数和所述天相关系数分别作为所述年度训练数据对应的目标时刻的业务数据预测值、所述周训练数据对应的目标时刻的业务数据预测值和所述天训练数据对应的目标时刻业务数据预测值的权重，进行加权求和，建立业务数据预测模型。
6.如权利要求5所述的装置，其特征在于，所述训练数据抽取模块具体用于：
按照年度时间序列抽取所述历史数据，得到年度训练数据子集；所述年度时间序列为所述历史运行时刻中不同年份的同一日期组成的随年份变化的时间序列；
按照周时间序列抽取所述历史数据，得到周训练数据子集；所述周时间序列为所述历史运行时刻中同一年度中以周为时间长度按照日期先后顺序排列组成的时间序列；
按照天时间序列抽取所述历史数据，得到天训练数据子集；所述天时间序列为所述历史运行时刻中同一年度中所有天按照日期先后顺序排列组成的时间序列；
整合所述年度训练数据子集、所述周训练数据子集和所述天训练数据子集，得到用于预测业务数据的训练数据集。
7.如权利要求5所述的装置，其特征在于，所述业务数据预测模块具体用于：
将目标时刻输入所述业务数据预测模型，进行业务数据预测，得到目标时刻的业务数据预测值。
8.如权利要求5所述的装置，其特征在于，所述告警阈值生成模块具体用于：
根据预设的范围调整要求，对所述目标时刻的业务数据预测值进行范围调整，得到目标时刻的告警阈值。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010513536.9A CN111679952B (zh) | 2020-06-08 | 2020-06-08 | 告警阈值生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010513536.9A CN111679952B (zh) | 2020-06-08 | 2020-06-08 | 告警阈值生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111679952A CN111679952A (zh) | 2020-09-18 |
| CN111679952B true CN111679952B (zh) | 2023-09-19 |
Family
ID=72435091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010513536.9A Active CN111679952B (zh) | 2020-06-08 | 2020-06-08 | 告警阈值生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111679952B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256526B (zh) * | 2020-10-14 | 2024-02-23 | 中国银联股份有限公司 | 基于机器学习的数据实时监控方法以及装置 |
| CN112363890A (zh) * | 2020-11-18 | 2021-02-12 | 合肥城市云数据中心股份有限公司 | 基于Prophet模型的数据中心运维系统阈值自适应告警监测方法 |
| CN112433919B (zh) * | 2020-11-25 | 2023-01-24 | 深圳前海微众银行股份有限公司 | 一种信息告警方法、设备及存储介质 |
| CN112613995A (zh) * | 2020-12-30 | 2021-04-06 | 中国工商银行股份有限公司 | 异常诊断方法和装置 |
| CN112862012A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 一种基于lstm模型的运维系统异常预警方法、装置及设备 |
| CN113448805A (zh) * | 2021-06-29 | 2021-09-28 | 中国工商银行股份有限公司 | 基于cpu动态阈值的监控方法、装置、设备及存储介质 |
| CN113552855B (zh) * | 2021-07-23 | 2023-06-06 | 重庆英科铸数网络科技有限公司 | 工业设备动态阈值设定方法、装置、电子设备及存储介质 |
| CN113742169B (zh) * | 2021-08-13 | 2024-06-21 | 深圳前海微众银行股份有限公司 | 一种业务监控告警方法、装置、设备以及存储介质 |
| CN114338458A (zh) * | 2021-12-24 | 2022-04-12 | 山石网科通信技术股份有限公司 | 数据安全检测方法及装置 |
| CN114328118B (zh) * | 2021-12-30 | 2023-11-14 | 苏州浪潮智能科技有限公司 | 一种运维监控数据智能告警方法、装置、设备及介质 |
| CN114726751A (zh) * | 2022-04-07 | 2022-07-08 | 广州汇智通信技术有限公司 | 资源质量监控的智能化预警方法、系统、设备和存储介质 |
| CN115001942A (zh) * | 2022-05-26 | 2022-09-02 | 腾云悦智科技(深圳)有限责任公司 | 一种运维监控阈值推荐的方法及系统 |
| CN116662761B (zh) * | 2023-06-28 | 2024-05-14 | 广州发展南沙电力有限公司 | 一种基于数据分析的燃机电站重要参数预警方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909990A (zh) * | 2017-03-01 | 2017-06-30 | 腾讯科技（深圳）有限公司 | 一种基于历史数据的预测方法及装置 |
| CN107608862A (zh) * | 2017-10-13 | 2018-01-19 | 众安信息技术服务有限公司 | 监控告警方法、监控告警装置及计算机可读存储介质 |
| CN109300310A (zh) * | 2018-11-26 | 2019-02-01 | 平安科技（深圳）有限公司 | 一种车流量预测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140278A1 (en) * | 2015-11-18 | 2017-05-18 | Ca, Inc. | Using machine learning to predict big data environment performance |
-
2020
- 2020-06-08 CN CN202010513536.9A patent/CN111679952B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909990A (zh) * | 2017-03-01 | 2017-06-30 | 腾讯科技（深圳）有限公司 | 一种基于历史数据的预测方法及装置 |
| CN107608862A (zh) * | 2017-10-13 | 2018-01-19 | 众安信息技术服务有限公司 | 监控告警方法、监控告警装置及计算机可读存储介质 |
| CN109300310A (zh) * | 2018-11-26 | 2019-02-01 | 平安科技（深圳）有限公司 | 一种车流量预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111679952A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111679952B (zh) | 告警阈值生成方法及装置 | |
| EP1982301B1 (en) | Method of condition monitoring | |
| CN111461450A (zh) | 基于eemd和lstm的水电机组劣化度预测方法 | |
| CN112816898B (zh) | 电瓶故障预测方法、装置、电子设备和存储介质 | |
| CN111126631A (zh) | 网络健康判定方法及装置 | |
| CN108306997B (zh) | 域名解析监控方法及装置 | |
| CN114962239B (zh) | 一种基于智能物联网的设备故障检测方法 | |
| CN115577851A (zh) | 能源消耗预测方法、装置、设备及存储介质 | |
| Calabrese et al. | An event based machine learning framework for predictive maintenance in industry 4.0 | |
| CN114021846A (zh) | 工业企业设备状态预警方法及系统 | |
| KR102130272B1 (ko) | 경험모델 기반 예측 알고리즘의 최적화 방법 | |
| CN116975639B (zh) | 设备的异常防控系统及方法 | |
| CN117114248B (zh) | 一种水质监测系统健康度评价方法、计算机设备及介质 | |
| CN110956308A (zh) | 基于时间序列的化工设备健康状态预测方法 | |
| CN113955149B (zh) | 一种电机系统的健康诊断方法和装置 | |
| CN116545867A (zh) | 一种监控通信网络网元性能指标异常的方法及装置 | |
| CN115829122A (zh) | 一种电力客服工单投诉预警方法及系统 | |
| CN113705076B (zh) | 基于偏最小二乘法的风电机组齿轮箱状态监测方法及控制装置 | |
| CN111783486B (zh) | 一种读卡器设备的维护预警方法及装置 | |
| CN117992860B (zh) | 油浸式电力变压器缺陷预警与辨识方法及装置 | |
| CN115967827B (zh) | 一种数据指标监测告警方法、装置、设备及存储介质 | |
| CN118261246B (zh) | 一种目标事件的预测方法、装置及终端设备 | |
| CN118152970B (zh) | 一种基于边缘计算算法的设备状态趋势感知方法 | |
| CN117808157B (zh) | 基于智能识别的未报备停电行为预测分析系统 | |
| CN115455584A (zh) | 一种风机零件寿命预测方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |