CN113435725A - 基于farima-lstm预测的电网主机动态阈值设定方法 - Google Patents

基于farima-lstm预测的电网主机动态阈值设定方法 Download PDF

Info

Publication number
CN113435725A
CN113435725A CN202110685848.2A CN202110685848A CN113435725A CN 113435725 A CN113435725 A CN 113435725A CN 202110685848 A CN202110685848 A CN 202110685848A CN 113435725 A CN113435725 A CN 113435725A
Authority
CN
China
Prior art keywords
prediction
value
trend
memory load
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110685848.2A
Other languages
English (en)
Other versions
CN113435725B (zh
Inventor
王堃
郑晨
张立中
谭源
张军
陈志刚
杨飞
王敏
徐悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Original Assignee
Central South University
Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University, Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd filed Critical Central South University
Priority to CN202110685848.2A priority Critical patent/CN113435725B/zh
Publication of CN113435725A publication Critical patent/CN113435725A/zh
Application granted granted Critical
Publication of CN113435725B publication Critical patent/CN113435725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供了一种基于FARIMA‑LSTM预测的电网主机动态阈值设定方法，包括：步骤1，构建FARIMA‑LSTM模型；步骤2，收集服务器的内存负载数据并输入FARIMA‑LSTM模型进行数据预处理，对预处理后的内存负载数据进行周期性检验，得到周期性检验结果。本发明预测方法准确，适用范围广，运行时间短，通过周期调整消除了时间序列中的周期性影响，能够更清晰地揭示趋势，降低了周期对ARIMA模型拟合效果的影响，提高了趋势预测精度，利用服务器内存历史数据预测并估算设备运行指标动态阈值，实时的对服务器内存历史数据变化情况进行监控，及时的通知运维人员对设备进行运行状态检查，提高了设备故障的预知能力，充分提升了运维监控和故障抢修工作的主动性，提高了运维效率。

Description

基于FARIMA-LSTM预测的电网主机动态阈值设定方法
技术领域
本发明涉及数据分析技术领域，特别涉及一种基于FARIMA-LSTM预测的电网主机动态阈值设定方法。
背景技术
基于时间序列周期获得阈值，采用基于时间周期序列的动态阈值设定方式，首先进行均值水平估计，再根据数据浮动特征调整上下限制阈值对均值水平的比例，但这种阈值设定方式还存在着不稳定、误报等问题；基于传感器数据信息修改阈值，采用监视设备可操作其传感器获得的数据信息，结合患者的特定状况，修改监视器中存储的警报阈值，为患者提供更准确的阈值警报；以上方法对于数据的依赖性较强，当指标值周期性较弱或采集信息不明确时，阈值设定将会不准确。
发明内容
本发明提供了一种基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其目的是为了解决传统的获取阈值和修改阈值的方法，不稳定且会产生误报，对数据的依赖性较强，当指标值周期性较弱或采集信息不明确时，阈值设定将会不准确的问题。
为了达到上述目的，本发明的实施例提供了一种基于FARIMA-LSTM预测的电网主机动态阈值设定方法，包括：
步骤1，构建FARIMA-LSTM模型；
步骤2，收集服务器的内存负载数据并输入FARIMA-LSTM模型进行数据预处理，对预处理后的内存负载数据进行周期性检验，得到周期性检验结果；
步骤3，根据所述周期性检验结果对预处理后的内存负载数据进行STL分解，得到周期分量和趋势分量，将所述周期分量作为周期预测值；
步骤4，将所述趋势分量作为趋势预测，并对所述趋势分量进行平稳性检验；
步骤5，当检测到所述趋势分量为非平稳的趋势分量时，对所述趋势分量进行差分后再进行平稳性检验，直到所述趋势分量检验为平稳；
步骤6，对平稳的趋势分量通过BIC法则进行定阶，得到平稳的趋势分量的定阶结果，根据平稳的趋势分量的定阶结果构建ARIMA模型，得到趋势预测值；
步骤7，通过StateModels方法从ARIMA模型中得到历史数据预测误差并对历史数据预测误差进行数据预处理，根据预处理后的历史数据预测误差建立训练集和测试集；
步骤8，将训练集作为残差输入LSTM网络进行训练，得到误差预测值；
步骤9，将周期预测值、趋势预测值和误差预测值相加，得到多步预测结果，将多步预测结果作为FARIMA-LSTM模型的输出；
步骤10，根据多步预测结果通过置信理论生成动态阈值区间。
其中，所述步骤2具体包括：
对收集的内存负载数据进行时序数据间隔选择和数据补全的数据预处理操作，排除其他数据项指标，根据服务器内存性能指标的波动特性，选择合适的时间窗口描述该段时间内的数据特性，将选择的合适的时间窗口作为时间序列数据间隔，将每该段时间的均值作为当前时间窗口指标状态值，表示在当前的该段时间内数据值围绕当前时间窗口指标状态值上下波动；对内存负载数据进行统计学分析，得到内存负载数据的缺失率，当缺失率小于10％时，采用 KNN插值对内存负载数据进行补全，当缺失率大于10％时，重新采集内存负载数据。
其中，所述步骤2还包括：
采用时序图观察法对数据预处理后的内存负载数据进行周期性检验，将预处理后的内存负载数据的时间序列在特定的横纵坐标系中进行展示，观测出时间序列的周期规律，根据周期规律得出周期性检验结果。
其中，所述步骤3具体包括：
根据周期性检验结果将数据预处理后的内存负载数据进行STL分解，STL 分解分为内循环与外循环：
步骤31，将内存负载数据Y分解为趋势分量T、周期分量S和余项R，如下所示：
Yv＝Tv+Sv+Rv,v＝1,…,N (1)
其中，Yv表示v时刻的内存负载数据，Tv表示v时刻的趋势分量，Sv表示 v时刻的周期分量，Rv表示v时刻的余项，v表示时刻；
内循环为对内存负载数据进行趋势拟合与周期分量的计算，n(i)为内层循环数，n(i)足够大时，内循环结束时趋势分量与周期分量将会趋向收敛，根据周期性检验结果发现内存负载数据的时间序列以24小时为单位进行周期变化，因此对内存负载数据进行STL分解时，内存负载数据每个周期相同位置的样本点组成一个子序列，共有n(p)＝24个子序列；
步骤32，去除趋势，在内存负载数据中减去上一轮结果的趋势分量，如下所示：
Figure RE-GDA0003204437690000031
其中，
Figure RE-GDA0003204437690000032
表示第k次内循环时v时刻的趋势分量，
Figure RE-GDA0003204437690000033
的初始值为0；
步骤33，周期子序列平滑，对内存负载数据的周期子序列进行平滑处理，对每个子序列做局部加权回归，LOWESS(q＝nn(s),d＝1)，其中，n(s)表示第一个局部加权回归的平滑参数，q表示向前后截取内存负载数据的长度，d为多项式最高次数，d＝1为线性回归，平滑时每个周期子序列将向前向后各延展一个周期，最后所有平滑结果组成暂时性季节序列，如下所示：
Figure RE-GDA0003204437690000034
其中，
Figure RE-GDA0003204437690000035
表示暂时性季节序列；
步骤34，周期子序列的低通量过滤，将对内存负载数据的周期子序列的低通量进行过滤，对暂时性季节序列
Figure RE-GDA0003204437690000036
依次做长度为n(p)、n(p)、3的滑动平均，对滑动平均后的暂时性季节序列
Figure RE-GDA0003204437690000037
做局部加权回归， LOWESS(q＝nn(l),d＝1)，其中，n(l)表示第二个LOWESS的平滑参数，得到结果序列，如下所示：
Figure RE-GDA0003204437690000038
其中，
Figure RE-GDA0003204437690000039
表示结果序列；
步骤35，去除平滑周期子序列趋势，去除平滑周期子序列趋势得到周期分量，将周期分量作为周期预测值，如下所示：
Figure RE-GDA0003204437690000041
其中，
Figure RE-GDA0003204437690000042
表示周期分量；
步骤36，去周期，在内存负载数据中减去周期分量，如下所示：
Figure RE-GDA0003204437690000043
步骤37，趋势平滑，将趋势进行平滑处理，对去除周期之后的序列做局部加权回归，LOWESS(q＝nn(t),d＝1)，得到趋势分量
Figure RE-GDA0003204437690000044
其中，n(t)表示第三个LOWESS的平滑参数；
外循环用于调节鲁棒性权重，n(i)为内层循环数，若内存负载数据的时间序列中没有明显的异常值时，将n(i)设为0，取消外循环，当内存负载数据的时间序列中有异常值时，将残差序列定义为：
h＝6*median(|Rv|) (7)
其中，h表示残差序列，median表示中位数函数，
位置为v的内存负载数据点的鲁棒性权重ρv，如下所示：
ρv＝B(|Rv|/h) (8)
其中，ρv表示位置为v的内存负载数据点的鲁棒性权重，B表示bisquare 函数，计算公式如下所示：
Figure RE-GDA0003204437690000045
其中，B(u)表示bisquare函数，u表示鲁棒性权重；
在每一次迭代的内循环中，在步骤33与步骤34中做LOWESS回归时，邻域权重乘以位置为v的数据点的鲁棒性权重ρv。
其中，所述步骤4具体包括：
采用ADF检验法对趋势分量进行平稳性检验，判断趋势分量的时间序列是否存在单位根，当趋势分量的时间序列不存在单位根时，趋势分量平稳；当趋势分量的时间序列存在单位根时，趋势分量不平稳。
其中，所述步骤6具体包括：
对平稳的趋势分量通过BIC法则进行定阶，如下所示：
BIC＝kln(n)-2ln(L) (10)
其中，k表示ARIMA模型参数个数，n表示平稳的趋势分量的数量，L表示似然函数，计算公式如下：
Figure RE-GDA0003204437690000051
其中，SSE表示模型误差平方和，yi表示i时刻ARIMA模型真实值，
Figure RE-GDA0003204437690000052
表示i时刻ARIMA模型预测值，BIC值主要取决于k和L，k值越小代表ARIMA 模型参数越少，ARIMA模型越简洁，L主要取决于SSE值，SSE值越小，代表ARIMA模型误差越小，ARIMA模型更精确，当ARIMA模型参数越少且 SSE越小时，得到最小的BIC值，根据最小的BIC值找到最优的AR模型的阶数p值和MA模型的阶数q值。
其中，所述步骤6还包括：
根据最优的AR模型的阶数p和MA模型的阶数q构建ARIMA模型，如下所示：
Figure RE-GDA0003204437690000053
其中，yt表示差分后的时间序列的当前时刻t的值，μ表示常数值，p表示 AR模型的阶数，q表示MA模型的阶数，et表示误差值，γi表示自相关系数，θi表示相关系数，i表示当前滞后个数，当已知AR模型的阶数p和MA模型的阶数q后，根据平稳的趋势分量采用最小二乘法进行参数估计，得到自相关系数γi和相关系数θi，建模完成，ARIMA模型输出趋势预测值。
其中，所述步骤7和所述步骤8具体包括：
基于StateModels方法在式(12)中输入历史观测值来预测，获取历史数据的预测误差，采用LOWESS和箱线图对历史数据预测误差进行平滑和去除异常值的预处理，根据处理后的历史数据预测误差建立自回归矩阵，按照一定的比例将预处理后的历史数据预测误差划分训练集和测试集，测试集的输出与 ARIMA模型预测时段相同，将训练集输入LSTM网络进行训练，LSTM网络输出当前预测时段的误差预测值。
其中，所述步骤9具体包括：
将周期预测值、趋势预测值和误差预测值相加，得到多步预测结果，如下所示：
Figure RE-GDA0003204437690000061
其中，
Figure RE-GDA0003204437690000062
表示FARIMA-LSTM模型的输出的多步预测结果，yt+h表示 ARIMA模型输出的趋势预测值，fk表示预测时刻k对应的周期预测值，zt+h表示LSTM模型输出的误差预测值，LSTM模型输出为12维，t＝6表示当前时刻为6点，h表示预测步数，h值从1到12，表示未来1小时到12小时的趋势变化，多步预测的策略为滚动预测，即将未来一小时的预测值作为下一步预测的输入值，逐步累加。
其中，所述步骤10具体包括：
根据多步预测结果利用置信理论生成动态阈值区间，置信概率为95％的预测步数为12的动态阈值区间的计算如下所示：
Figure RE-GDA0003204437690000063
其中，
Figure RE-GDA0003204437690000064
表示h步预测标准差的预测分布的估计值，k＝1.96，当内存数据值的波动超过动态阈值区间时，进行报警提示。
本发明的上述方案有如下的有益效果：
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，预测方法准确，适用范围广，建模简单，运行时间短，通过周期调整消除了时间序列中的周期性影响，能够更清晰地揭示趋势，降低了周期对 ARIMA模型拟合效果的影响，提高了趋势预测精度，利用服务器内存历史数据预测并估算设备运行指标动态阈值，实时的对服务器内存历史数据变化情况进行监控，及时的通知运维人员对设备进行运行状态检查，提高了设备故障的预知能力，充分提升了运维监控和故障抢修工作的主动性，提高了运维效率。
附图说明
图1为本发明的流程图；
图2为本发明的FARIMA-LSTM模型预测流程图；
图3为本发明的5分钟间隔内存负载时间序列示意图；
图4为本发明的1小时间隔内存负载时间序列示意图；
图5为本发明的LSTM模型示意图；
图6为本发明的内存负载数据时间序列的日周期示意图；
图7为本发明的FARIMA-LSTM模型的预测结果示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的获取阈值和修改阈值的方法，不稳定且会产生误报，对数据的依赖性较强，当指标值周期性较弱或采集信息不明确时，阈值设定将会不准确的问题，提供了一种基于FARIMA-LSTM预测的电网主机动态阈值设定方法。
如图1至图7所示，本发明的实施例提供了一种基于FARIMA-LSTM预测的电网主机动态阈值设定方法，包括：步骤1，构建FARIMA-LSTM模型；步骤2，收集服务器的内存负载数据并输入FARIMA-LSTM模型进行数据预处理，对预处理后的内存负载数据进行周期性检验，得到周期性检验结果；步骤 3，根据所述周期性检验结果对预处理后的内存负载数据进行STL分解，得到周期分量和趋势分量，将所述周期分量作为周期预测值；步骤4，将所述趋势分量作为趋势预测，并对所述趋势分量进行平稳性检验；步骤5，当检测到所述趋势分量为非平稳的趋势分量时，对所述趋势分量进行差分后再进行平稳性检验，直到所述趋势分量检验为平稳；步骤6，对平稳的趋势分量通过BIC法则进行定阶，得到平稳的趋势分量的定阶结果，根据平稳的趋势分量的定阶结果构建ARIMA模型，得到趋势预测值；步骤7，通过StateModels方法从ARIMA 模型中得到历史数据预测误差并对历史数据预测误差进行数据预处理，根据预处理后的历史数据预测误差建立训练集和测试集；步骤8，将训练集作为残差输入LSTM网络进行训练，得到误差预测值；步骤9，将周期预测值、趋势预测值和误差预测值相加，得到多步预测结果，将多步预测结果作为 FARIMA-LSTM模型的输出；步骤10，根据多步预测结果通过置信理论生成动态阈值区间。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，FARIMA-LSTM模型构建主要包含3个部分，周期预测、趋势预测以及残差拟合。周期预测方法是在时序图观测周期性情况后利用STL算法分解出周期变化值，例如1天内的内存负载变化值。趋势预测则基于ARIMA 模型，将近一个月内的去周期负载变化值作为训练集，滚动预测未来某时段的趋势变化情况。最后残差拟合，将ARIMA训练集中的历史预测误差预处理后作为LSTM网络的训练集，预测时段和其过去3天同时段的误差数据作为输出和输入，通过这种自回归预测的方式建模成功后，训练求参，并用于预测 ARIMA滚动预测的同一时段，达到误差补偿的效果。
其中，所述步骤2具体包括：对收集的内存负载数据进行时序数据间隔选择和数据补全的数据预处理操作，排除其他数据项指标，根据服务器内存性能指标的波动特性，选择合适的时间窗口描述该段时间内的数据特性，将选择的合适的时间窗口作为时间序列数据间隔，将每该段时间的均值作为当前时间窗口指标状态值，表示在当前的该段时间内数据值围绕当前时间窗口指标状态值上下波动；对内存负载数据进行统计学分析，得到内存负载数据的缺失率，当缺失率小于10％时，采用KNN插值对内存负载数据进行补全，当缺失率大于 10％时，重新采集内存负载数据。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，对内存负载数据进行数据预处理。包括两个步骤：时序数据间隔选择：排除其他数据项指标，然后根据服务器内存性能指标的波动特性，选择恰当的时间窗口k描述该段时间内的数据特性，例如k＝60min时，代表取每小时的均值作为当前窗口指标状态值，表示在当前一小时内数据值围绕窗口均值上下波动。最后处理后的时间序列数据间隔为k。数据补全：对内存负载数据进行简单的统计学分析，得到对内存负载数据的缺失率，当缺失率小于10％时，采用KNN插值对内存负载数据进行补全，当缺失率大于10％时，重新采集内存负载数据，采用KNN插值进行数据补全。KNN插值方法的思想是在数据集中识别空间相似或相近的k个样本，然后使用k个样本来估计缺失数据点的值。每个样本的缺失值使用数据集中找到的k个样本邻域的平均值进行插补。
其中，所述步骤2还包括：采用时序图观察法对数据预处理后的内存负载数据进行周期性检验，将预处理后的内存负载数据的时间序列在特定的横纵坐标系中进行展示，观测出时间序列的周期规律，根据周期规律得出周期性检验结果。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，对预处理后的内存负载数据进行周期性检验，时间序列周期性检测是研究时间序列观测值是否随着时间变化而呈现出某种周期变化趋势。采用简单的时序图观察法，将预处理后的时间序列在特定的横纵坐标系中展示，观测出时间序列的周期规律，如图5所示，其横坐标为一天的24小时，纵坐标为内存负载值，每条线段表示不同天的负载波动情况，从图5中可以看出，从星期一到星期三或星期四，数值缓缓上升，星期四到星期天，缓缓下降。每天的波动变化呈现双驼峰形态，当天9点到13点出现一个波峰，14点到18点出现另一个波峰。
其中，所述步骤3具体包括：根据周期性检验结果将数据预处理后的内存负载数据进行STL分解，STL分解分为内循环与外循环：
步骤31，将内存负载数据Y分解为趋势分量T、周期分量S和余项R，如下所示：
Yv＝Tv+Sv+Rv,v＝1,…,N (1)
其中，Yv表示v时刻的内存负载数据，Tv表示v时刻的趋势分量，Sv表示 v时刻的周期分量，Rv表示v时刻的余项，v表示时刻；
内循环为对内存负载数据进行趋势拟合与周期分量的计算，n(i)为内层循环数，n(i)足够大时，内循环结束时趋势分量与周期分量将会趋向收敛，根据周期性检验结果发现内存负载数据的时间序列以24小时为单位进行周期变化，因此对内存负载数据进行STL分解时，内存负载数据每个周期相同位置的样本点组成一个子序列，共有n(p)＝24个子序列；
步骤32，去除趋势，在内存负载数据中减去上一轮结果的趋势分量，如下所示：
Figure RE-GDA0003204437690000091
其中，
Figure RE-GDA0003204437690000092
表示第k次内循环时v时刻的趋势分量，
Figure RE-GDA0003204437690000093
的初始值为0；
步骤33，周期子序列平滑，对内存负载数据的周期子序列进行平滑处理，对每个子序列做局部加权回归，LOWESS(q＝nn(s),d＝1)，其中，n(s)表示第一个局部加权回归的平滑参数，q表示向前后截取内存负载数据的长度，d为多项式最高次数，d＝1为线性回归，平滑时每个周期子序列将向前向后各延展一个周期，最后所有平滑结果组成暂时性季节序列，如下所示：
Figure RE-GDA0003204437690000101
其中，
Figure RE-GDA0003204437690000102
表示暂时性季节序列；
步骤34，周期子序列的低通量过滤，将对内存负载数据的周期子序列的低通量进行过滤，对暂时性季节序列
Figure RE-GDA0003204437690000103
依次做长度为n(p)、n(p)、3的滑动平均，对滑动平均后的暂时性季节序列
Figure RE-GDA0003204437690000104
做局部加权回归， LOWESS(q＝nn(l),d＝1)，其中，n(l)表示第二个LOWESS的平滑参数，得到结果序列，如下所示：
Figure RE-GDA0003204437690000105
其中，
Figure RE-GDA0003204437690000106
表示结果序列；
步骤35，去除平滑周期子序列趋势，去除平滑周期子序列趋势得到周期分量，将周期分量作为周期预测值，如下所示：
Figure RE-GDA0003204437690000107
其中，
Figure RE-GDA0003204437690000108
表示周期分量；
步骤36，去周期，在内存负载数据中减去周期分量，如下所示：
Figure RE-GDA0003204437690000109
步骤37，趋势平滑，将趋势进行平滑处理，对去除周期之后的序列做局部加权回归，LOWESS(q＝nn(t),d＝1)，得到趋势分量
Figure RE-GDA00032044376900001010
其中，n(t)表示第三个LOWESS的平滑参数；
外循环用于调节鲁棒性权重，n(i)为内层循环数，若内存负载数据的时间序列中没有明显的异常值时，将n(i)设为0，取消外循环，当内存负载数据的时间序列中有异常值时，将残差序列定义为：
h＝6*median(|Rv|) (7)
其中，h表示残差序列，median表示中位数函数，
位置为v的内存负载数据点的鲁棒性权重ρv，如下所示：
ρv＝B(|Rv|/h) (8)
其中，ρv表示位置为v的内存负载数据点的鲁棒性权重，B表示bisquare 函数，计算公式如下所示：
Figure RE-GDA0003204437690000111
其中，B(u)表示bisquare函数，u表示鲁棒性权重；
在每一次迭代的内循环中，在步骤33与步骤34中做LOWESS回归时，邻域权重乘以位置为v的数据点的鲁棒性权重ρv。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，局部加权回归(LOWESS)的算法原理为：以一个点x为中心，向前后截取一段长度为j的数据，对于该段数据用权值函数w做一个加权的多项式回归，记(x,
Figure RE-GDA0003204437690000112
)为该回归线的中心值，其中，
Figure RE-GDA0003204437690000113
为拟合后曲线对应值，d 为多项式最高次数，d＝1是为线性回归。对于所有的n个数据点则可以做出n 条加权回归线，每条回归线的中心值的连线则为这段数据的LOWESS曲线。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，根据周期性检验结果对内存负载数据进行STL分解得到周期分量和趋势分量，将周期分量作为周期预测值，所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法采用了基于Loess的方法对内存负载数据做周期性分解，算法模型采用加性模型，采用了Python中statsmodels实现的STL 分解方法，通过加权滑动平均提取趋势分量，然后对cycle-subseries每个时间点数据求平均组成周期分量，邻域权重需要乘以位置为v的数据点的鲁棒性权重ρv，以减少异常值对回归的影响。
其中，所述步骤4具体包括：采用ADF检验法对趋势分量进行平稳性检验，判断趋势分量的时间序列是否存在单位根，当趋势分量的时间序列不存在单位根时，趋势分量平稳；当趋势分量的时间序列存在单位根时，趋势分量不平稳。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，将趋势分量作为趋势预测，并对趋势分量进行平稳性检验，检验方法采用ADF检验法。ADF检验全称是AugmentedDickey-Fullertest，是Dickey-Fuller检验的增广形式。由于DF检验只能应用于一阶情况，无法处理序列存在高阶的滞后相关的情况，使用在DF检验的基础上进行扩展，得到了 ADF检验方法。ADF检验就是判断序列是否存在单位根，如果序列平稳，就不存在单位根；否则，就会存在单位根。所以ADF检验的H0假设就是存在单位根，如果得到的显著性检验统计量小于三个置信度(10％，5％，1％)，则对应有(90％，95，99％)的把握来拒绝原假设。
其中，所述步骤6具体包括：对平稳的趋势分量通过BIC法则进行定阶，如下所示：
BIC＝kln(n)-2ln(L) (10)
其中，k表示ARIMA模型参数个数，n表示平稳的趋势分量的数量，L表示似然函数，计算公式如下：
Figure RE-GDA0003204437690000121
其中，SSE表示模型误差平方和，yi表示i时刻ARIMA模型真实值，
Figure RE-GDA0003204437690000122
表示i时刻ARIMA模型预测值，BIC值主要取决于k和L，k值越小代表ARIMA 模型参数越少，ARIMA模型越简洁，L主要取决于SSE值，SSE值越小，代表ARIMA模型误差越小，ARIMA模型更精确，当ARIMA模型参数越少且 SSE越小时，得到最小的BIC值，根据最小的BIC值找到最优的AR模型的阶数p值和MA模型的阶数q值。
其中，所述步骤6还包括：根据最优的AR模型的阶数p和MA模型的阶数q构建ARIMA模型，如下所示：
Figure RE-GDA0003204437690000123
其中，yt表示差分后的时间序列的当前时刻t的值，μ表示常数值，p表示 AR模型的阶数，q表示MA模型的阶数，et表示误差值，γi表示自相关系数，θi表示相关系数，i表示当前滞后个数，当已知AR模型的阶数p和MA模型的阶数q后，根据平稳的趋势分量采用最小二乘法进行参数估计，得到自相关系数γi和相关系数θi，建模完成，ARIMA模型输出趋势预测值。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，对平稳的趋势分量通过BIC法则进行定阶，得到最优的AR模型的阶数p和MA模型的阶数q，根据最优的AR模型的阶数p和MA模型的阶数q构建ARIMA模型，得到趋势预测值，BIC贝叶斯信息准则与AIC相似，用于模型选择，1978年由Schwarz提出。训练模型时，增加参数数量，也就是增加模型复杂度，会增大似然函数，但是也会导致过拟合现象，针对该问题， AIC和BIC均引入了与模型参数个数相关的惩罚项，BIC的惩罚项比AIC的大，考虑了样本数量，样本数量过多时，可有效防止模型精度过高造成的模型复杂度过高。
其中，所述步骤7和所述步骤8具体包括：基于StateModels方法在式(12) 中输入历史观测值来预测，获取历史数据的预测误差，采用LOWESS和箱线图对历史数据预测误差进行平滑和去除异常值的预处理，根据处理后的历史数据预测误差建立自回归矩阵，按照一定的比例将预处理后的历史数据预测误差划分训练集和测试集，测试集的输出与ARIMA模型预测时段相同，将训练集输入LSTM网络进行训练，LSTM网络输出当前预测时段的误差预测值。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，根据数据预处理后的历史数据预测误差建立训练集和测试集，具体数据描述如表1：
表1建模数据信息
Figure RE-GDA0003204437690000131
Figure RE-GDA0003204437690000141
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，将训练集作为残差输入LSTM模型进行训练，得到误差预测值， LSTM模型图如图6，LSTM模型参数表如表2：
表2 LSTM模型参数
Figure RE-GDA0003204437690000142
其中，所述步骤9具体包括：将周期预测值、趋势预测值和误差预测值相加，得到多步预测结果，如下所示：
Figure RE-GDA0003204437690000143
其中，
Figure RE-GDA0003204437690000144
表示FARIMA-LSTM模型的输出的多步预测结果，yt+h表示 ARIMA模型输出的趋势预测值，fk表示预测时刻k对应的周期预测值，zt+h表示LSTM模型输出的误差预测值，LSTM模型输出为12维，t＝6表示当前时刻为6点，h表示预测步数，h值从1到12，表示未来1小时到12小时的趋势变化，多步预测的策略为滚动预测，即将未来一小时的预测值作为下一步预测的输入值，逐步累加。
其中，所述步骤10具体包括：根据多步预测结果利用置信理论生成动态阈值区间，置信概率为95％的预测步数为12的动态阈值区间的计算如下所示：
Figure RE-GDA0003204437690000151
其中，
Figure RE-GDA0003204437690000152
表示h步预测标准差的预测分布的估计值，k＝1.96，当内存数据值的波动超过动态阈值区间时，进行报警提示。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，在StateModels方法中，可以通过forecast()函数直接求出95％的置信区间，默认k值取1.96，当调整置信概率为99％时，则令forecast(α＝0.01) 时，k值发生相应变化k＝2.58，具体如表3，而
Figure RE-GDA0003204437690000153
则通过利用ARIMA模型的预测特性计算而来的标准差值。
表3不同正态分布置信度概率对应的k值表
置信概率 k值
50 0.67
55 0.76
60 0.84
65 0.93
70 1.04
75 1.15
80 1.28
85 1.44
90 1.64
95 1.96
96 2.05
99 2.58
最终，在实际建模预测后，可以得到误差补偿模型预测效果图，如图7。
本发明的上述实施例所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，所述基于FARIMA-LSTM预测的电网主机动态阈值设定方法可以应用于服务器的内存负载数据分析，设定业务高峰期的动态阈值区间，实时地对未来内存负载变化情况进行监控。采用所述基于FARIMA-LSTM预测的电网主机动态阈值设定方法构建的FARIMA-LSTM模型对系统中采集的内存负载数据进行预处理，删除与阈值设定无关的指标项，再取内存值每小时的均值作为该小时的指标值，时间间隔可以动态调整，依事实情况而定。图3展示了2020年3月1日的内存负载时间序列图，图1为原始序列，采集间隔为5 分钟；图4为预处理后的序列，时间间隔为1小时，得到归并后的内存负载数据的时间序列后，分析内存负载数据缺失状况，采用KNN插值法对数据进行补全，插值参数由缺失率大小和时间间隔决定，一般取24。数据预处理完成后，进行时间序列建模，首先建立周期性ARIMA模型，对处理后的内存负载数据进行周期性检验，检验图如图5，从图5中可以发现，在一天24小时中，内存负载指标值呈现出双驼峰形态，每天9点到13点出现一个波峰，14点到 18点出现一个波峰，波动变化明显，导致内存负载周期性变动的原因有很多，例如工作作息、节假日等。通过周期调整，消除序列中的周期性影响，能够更清晰地揭示趋势。根据周期情况进行STL分解，得到周期分量和趋势分量(包含随机部分)，将周期分量作为周期预测值，在趋势分量上，利用ARIMA模型预测趋势分量部分，得到趋势预测值，通过StateModels方法得到ARIMA 模型中的历史数据预测误差。在历史数据预测误差的基础上，建立训练集和测试集，将训练集输入LSTM模型进行训练，得到误差预测值。将周期预测值、趋势预测值和误差预测值累加在一起，得到多步预测结果，将多步预测结果作为FARIMA-LSTM模型的输出，整体建模如图2，最后根据多步预测结果利用置信理论生成动态阈值区间，表示未来这一预测时间段的指标值有95％可能性处于该区域内，将5％的小概率事件定义为异常情况，置信区间如图7。如图7 所示，所述基于FARIMA-LSTM预测的电网主机动态阈值设定方法利用置信理论生成阴影区间，表示未来这一预测时间段的指标值有95％可能性处于该区域内。首先，从真实值和预测值之间的对比效果来看，FARIMA-LSTM模型可以准确地预测内存负载在白天业务高峰期7点至18点的波动变化。其次，将 95％置信区间作为阈值区间后，可以发现正常的指标值波动处于阈值区间内，不会触发报警。而实际内存负载超出该区间，说明发生了概率为5％的内存异常事件，系统将通知运维人员进行设备运行状态检查。利用服务器内存历史数据预测并估算设备运行指标动态阈值，可以提高设备故障的预知能力，充分提升运维监控和故障抢修工作的主动性，提高了运维效率，所述基于 FARIMA-LSTM预测的电网主机动态阈值设定方法，获取阈值和修改阈值的方法稳定且不会产生误报，对数据的依赖性低，所述基于FARIMA-LSTM预测的电网主机动态阈值设定方法选择了周期与趋势分离的预测方法，降低周期对 ARIMA模型拟合效果的影响，提高趋势预测精度，更加准确地反映服务器性能的变化趋势。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，包括：
步骤1，构建FARIMA-LSTM模型；
步骤2，收集服务器的内存负载数据并输入FARIMA-LSTM模型进行数据预处理，对预处理后的内存负载数据进行周期性检验，得到周期性检验结果；
步骤3，根据所述周期性检验结果对预处理后的内存负载数据进行STL分解，得到周期分量和趋势分量，将所述周期分量作为周期预测值；
步骤4，将所述趋势分量作为趋势预测，并对所述趋势分量进行平稳性检验；
步骤5，当检测到所述趋势分量为非平稳的趋势分量时，对所述趋势分量进行差分后再进行平稳性检验，直到所述趋势分量检验为平稳；
步骤6，对平稳的趋势分量通过BIC法则进行定阶，得到平稳的趋势分量的定阶结果，根据平稳的趋势分量的定阶结果构建ARIMA模型，得到趋势预测值；
步骤7，通过StateModels方法从ARIMA模型中得到历史数据预测误差并对历史数据预测误差进行数据预处理，根据预处理后的历史数据预测误差建立训练集和测试集；
步骤8，将训练集作为残差输入LSTM网络进行训练，得到误差预测值；
步骤9，将周期预测值、趋势预测值和误差预测值相加，得到多步预测结果，将多步预测结果作为FARIMA-LSTM模型的输出；
步骤10，根据多步预测结果通过置信理论生成动态阈值区间。
2.根据权利要求1所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤2具体包括：
对收集的内存负载数据进行时序数据间隔选择和数据补全的数据预处理操作，排除其他数据项指标，根据服务器内存性能指标的波动特性，选择合适的时间窗口描述该段时间内的数据特性，将选择的合适的时间窗口作为时间序列数据间隔，将每该段时间的均值作为当前时间窗口指标状态值，表示在当前的该段时间内数据值围绕当前时间窗口指标状态值上下波动；对内存负载数据进行统计学分析，得到内存负载数据的缺失率，当缺失率小于10％时，采用KNN插值对内存负载数据进行补全，当缺失率大于10％时，重新采集内存负载数据。
3.根据权利要求2所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤2还包括：
采用时序图观察法对数据预处理后的内存负载数据进行周期性检验，将预处理后的内存负载数据的时间序列在特定的横纵坐标系中进行展示，观测出时间序列的周期规律，根据周期规律得出周期性检验结果。
4.根据权利要求1所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤3具体包括：
根据周期性检验结果将数据预处理后的内存负载数据进行STL分解，STL分解分为内循环与外循环：
步骤31，将内存负载数据Y分解为趋势分量T、周期分量S和余项R，如下所示：
Yv＝Tv+Sv+Rv，v＝1，…，N (1)
其中，Yv表示v时刻的内存负载数据，Tv表示v时刻的趋势分量，Sv表示v时刻的周期分量，Rv表示v时刻的余项，v表示时刻；
内循环为对内存负载数据进行趋势拟合与周期分量的计算，n(i)为内层循环数，n(i)足够大时，内循环结束时趋势分量与周期分量将会趋向收敛，根据周期性检验结果发现内存负载数据的时间序列以24小时为单位进行周期变化，因此对内存负载数据进行STL分解时，内存负载数据每个周期相同位置的样本点组成一个子序列，共有n(p)＝24个子序列；
步骤32，去除趋势，在内存负载数据中减去上一轮结果的趋势分量，如下所示：
Figure FDA0003124629590000021
其中，
Figure FDA0003124629590000022
表示第k次内循环时v时刻的趋势分量，
Figure FDA0003124629590000023
的初始值为0；
步骤33，周期子序列平滑，对内存负载数据的周期子序列进行平滑处理，对每个子序列做局部加权回归，LOWESS(q＝nn(s)，d＝1)，其中，n(s)表示第一个局部加权回归的平滑参数，q表示向前后截取内存负载数据的长度，d为多项式最高次数，d＝1为线性回归，平滑时每个周期子序列将向前向后各延展一个周期，最后所有平滑结果组成暂时性季节序列，如下所示：
Figure FDA0003124629590000031
其中，
Figure FDA0003124629590000032
表示暂时性季节序列；
步骤34，周期子序列的低通量过滤，将对内存负载数据的周期子序列的低通量进行过滤，对暂时性季节序列
Figure FDA0003124629590000033
依次做长度为n(p)、n(p)、3的滑动平均，对滑动平均后的暂时性季节序列
Figure FDA0003124629590000034
做局部加权回归，LOWESS(q＝nn(l)，d＝1)，其中，n(l)表示第二个LOWESS的平滑参数，得到结果序列，如下所示：
Figure FDA0003124629590000035
其中，
Figure FDA0003124629590000036
表示结果序列；
步骤35，去除平滑周期子序列趋势，去除平滑周期子序列趋势得到周期分量，将周期分量作为周期预测值，如下所示：
Figure FDA0003124629590000037
其中，
Figure FDA0003124629590000038
表示周期分量；
步骤36，去周期，在内存负载数据中减去周期分量，如下所示：
Figure FDA0003124629590000039
步骤37，趋势平滑，将趋势进行平滑处理，对去除周期之后的序列做局部加权回归，LOWESS(q＝nn(t)，d＝1)，得到趋势分量
Figure FDA00031246295900000310
其中，n(t)表示第三个LOWESS的平滑参数；
外循环用于调节鲁棒性权重，n(i)为内层循环数，若内存负载数据的时间序列中没有明显的异常值时，将n(i)设为0，取消外循环，当内存负载数据的时间序列中有异常值时，将残差序列定义为：
h＝6*median(|Rv|) (7)
其中，h表示残差序列，median表示中位数函数，
位置为v的内存负载数据点的鲁棒性权重ρv，如下所示：
ρv＝B(|Rv|/h) (8)
其中，ρv表示位置为v的内存负载数据点的鲁棒性权重，B表示bisquare函数，计算公式如下所示：
Figure FDA0003124629590000042
其中，B(u)表示bisquare函数，u表示鲁棒性权重；
在每一次迭代的内循环中，在步骤33与步骤34中做LOWESS回归时，邻域权重乘以位置为v的数据点的鲁棒性权重ρv。
5.根据权利要求4所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤4具体包括：
采用ADF检验法对趋势分量进行平稳性检验，判断趋势分量的时间序列是否存在单位根，当趋势分量的时间序列不存在单位根时，趋势分量平稳；当趋势分量的时间序列存在单位根时，趋势分量不平稳。
6.根据权利要求5所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤6具体包括：
对平稳的趋势分量通过BIC法则进行定阶，如下所示：
BIC＝k ln(n)-2ln(L) (10)
其中，k表示ARIMA模型参数个数，n表示平稳的趋势分量的数量，L表示似然函数，计算公式如下：
Figure FDA0003124629590000041
其中，SSE表示模型误差平方和，yi表示i时刻ARIMA模型真实值，
Figure FDA0003124629590000043
表示i时刻ARIMA模型预测值，BIC值主要取决于k和L，k值越小代表ARIMA模型参数越少，ARIMA模型越简洁，L主要取决于SSE值，SSE值越小，代表ARIMA模型误差越小，ARIMA模型更精确，当ARIMA模型参数越少且SSE越小时，得到最小的BIC值，根据最小的BIC值找到最优的AR模型的阶数p值和MA模型的阶数q值。
7.根据权利要求6所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤6还包括：
根据最优的AR模型的阶数p和MA模型的阶数q构建ARIMA模型，如下所示：
Figure FDA0003124629590000051
其中，yt表示差分后的时间序列的当前时刻t的值，μ表示常数值，p表示AR模型的阶数，q表示MA模型的阶数，et表示误差值，γi表示自相关系数，θi表示相关系数，i表示当前滞后个数，当已知AR模型的阶数p和MA模型的阶数q后，根据平稳的趋势分量采用最小二乘法进行参数估计，得到自相关系数γi和相关系数θi，建模完成，ARIMA模型输出趋势预测值。
8.根据权利要求7所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤7和所述步骤8具体包括：
基于StateModels方法在式(12)中输入历史观测值来预测，获取历史数据的预测误差，采用LOWESS和箱线图对历史数据预测误差进行平滑和去除异常值的预处理，根据处理后的历史数据预测误差建立自回归矩阵，按照一定的比例将预处理后的历史数据预测误差划分训练集和测试集，测试集的输出与ARIMA模型预测时段相同，将训练集输入LSTM网络进行训练，LSTM网络输出当前预测时段的误差预测值。
9.根据权利要求8所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤9具体包括：
将周期预测值、趋势预测值和误差预测值相加，得到多步预测结果，如下所示：
Figure FDA0003124629590000052
其中，
Figure FDA0003124629590000053
表示FARIMA-LSTM模型的输出的多步预测结果，yt+h表示ARIMA模型输出的趋势预测值，fk表示预测时刻k对应的周期预测值，zt+h表示LSTM模型输出的误差预测值，LSTM模型输出为12维，t＝6表示当前时刻为6点，h表示预测步数，h值从1到12，表示未来1小时到12小时的趋势变化，多步预测的策略为滚动预测，即将未来一小时的预测值作为下一步预测的输入值，逐步累加。
10.根据权利要求9所述的基于FARIMA-LSTM预测的电网主机动态阈值设定方法，其特征在于，所述步骤10具体包括：
根据多步预测结果利用置信理论生成动态阈值区间，置信概率为95％的预测步数为12的动态阈值区间的计算如下所示：
Figure FDA0003124629590000061
其中，
Figure FDA0003124629590000062
表示h步预测标准差的预测分布的估计值，k＝1.96，当内存数据值的波动超过动态阈值区间时，进行报警提示。
CN202110685848.2A 2021-06-21 2021-06-21 基于farima-lstm预测的电网主机动态阈值设定方法 Active CN113435725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110685848.2A CN113435725B (zh) 2021-06-21 2021-06-21 基于farima-lstm预测的电网主机动态阈值设定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110685848.2A CN113435725B (zh) 2021-06-21 2021-06-21 基于farima-lstm预测的电网主机动态阈值设定方法

Publications (2)

Publication Number Publication Date
CN113435725A true CN113435725A (zh) 2021-09-24
CN113435725B CN113435725B (zh) 2022-12-16

Family

ID=77756873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110685848.2A Active CN113435725B (zh) 2021-06-21 2021-06-21 基于farima-lstm预测的电网主机动态阈值设定方法

Country Status (1)

Country Link
CN (1) CN113435725B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113890716A (zh) * 2021-10-26 2022-01-04 中国联合网络通信集团有限公司 一种识别pRRU的方法、装置及存储介质
CN114047732A (zh) * 2021-11-15 2022-02-15 中国电子科技集团公司第四十八研究所 一种用于碳化硅外延工艺的蝶阀智能控制方法及系统
CN114338458A (zh) * 2021-12-24 2022-04-12 山石网科通信技术股份有限公司 数据安全检测方法及装置
CN114565032A (zh) * 2022-02-21 2022-05-31 中国石油大学(北京) 基于压力数据的压裂砂堵预警方法和装置
CN114626487A (zh) * 2022-05-16 2022-06-14 南昌工程学院 基于随机森林分类算法的线变关系校核方法
CN116320042A (zh) * 2023-05-16 2023-06-23 陕西思极科技有限公司 边缘计算的物联终端监测控制系统
CN116719861A (zh) * 2023-06-27 2023-09-08 哈尔滨源芯智能科技发展有限公司 一种基于大数据的多源数据交互管理系统及方法
CN117880760A (zh) * 2024-03-12 2024-04-12 深圳市诚立业科技发展有限公司 基于多通道的短信分发方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525435A (zh) * 2018-12-14 2019-03-26 哈尔滨理工大学 一种电网业务服务器运行状态预警方法
CN111178553A (zh) * 2019-12-16 2020-05-19 北京航天智造科技发展有限公司 一种基于arima和lstm算法的工业设备健康趋势分析方法及系统
CN112131212A (zh) * 2020-09-29 2020-12-25 合肥城市云数据中心股份有限公司 基于集成学习技术面向混合云场景的时序数据异常预测方法
CN112421770A (zh) * 2020-10-19 2021-02-26 国网山东省电力公司邹城市供电公司 一种配电自动化系统的自动辅助巡检方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525435A (zh) * 2018-12-14 2019-03-26 哈尔滨理工大学 一种电网业务服务器运行状态预警方法
CN111178553A (zh) * 2019-12-16 2020-05-19 北京航天智造科技发展有限公司 一种基于arima和lstm算法的工业设备健康趋势分析方法及系统
CN112131212A (zh) * 2020-09-29 2020-12-25 合肥城市云数据中心股份有限公司 基于集成学习技术面向混合云场景的时序数据异常预测方法
CN112421770A (zh) * 2020-10-19 2021-02-26 国网山东省电力公司邹城市供电公司 一种配电自动化系统的自动辅助巡检方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113890716A (zh) * 2021-10-26 2022-01-04 中国联合网络通信集团有限公司 一种识别pRRU的方法、装置及存储介质
CN114047732A (zh) * 2021-11-15 2022-02-15 中国电子科技集团公司第四十八研究所 一种用于碳化硅外延工艺的蝶阀智能控制方法及系统
CN114338458A (zh) * 2021-12-24 2022-04-12 山石网科通信技术股份有限公司 数据安全检测方法及装置
CN114565032A (zh) * 2022-02-21 2022-05-31 中国石油大学(北京) 基于压力数据的压裂砂堵预警方法和装置
CN114626487A (zh) * 2022-05-16 2022-06-14 南昌工程学院 基于随机森林分类算法的线变关系校核方法
CN114626487B (zh) * 2022-05-16 2023-09-05 南昌工程学院 基于随机森林分类算法的线变关系校核方法
CN116320042A (zh) * 2023-05-16 2023-06-23 陕西思极科技有限公司 边缘计算的物联终端监测控制系统
CN116320042B (zh) * 2023-05-16 2023-08-04 陕西思极科技有限公司 边缘计算的物联终端监测控制系统
CN116719861A (zh) * 2023-06-27 2023-09-08 哈尔滨源芯智能科技发展有限公司 一种基于大数据的多源数据交互管理系统及方法
CN117880760A (zh) * 2024-03-12 2024-04-12 深圳市诚立业科技发展有限公司 基于多通道的短信分发方法
CN117880760B (zh) * 2024-03-12 2024-05-17 深圳市诚立业科技发展有限公司 基于多通道的短信分发方法

Also Published As

Publication number Publication date
CN113435725B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN113435725B (zh) 基于farima-lstm预测的电网主机动态阈值设定方法
US9465387B2 (en) Anomaly diagnosis system and anomaly diagnosis method
CN110046453B (zh) 一种激光雷达的寿命预测方法
CN101771758B (zh) 一种性能指标值正常波动范围的动态确定方法及其装置
CN117421687B (zh) 一种数字化电力环网柜运行状态监测方法
CN110119845A (zh) 一种轨道交通客流预测的应用方法
US20140052489A1 (en) Time derivative-based program management systems and methods
CN110212524A (zh) 一种区域电力负荷预测方法
JP6164311B1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR101793625B1 (ko) 기후변화를 고려한 비정상성 지역빈도해석에서의 확률강우량 산출방법 및 그 시스템
CN111861206A (zh) 一种基于企业电力大数据的工业行业景气指数获取方法
JP7296548B2 (ja) 作業効率評価方法、作業効率評価装置、及びプログラム
CN110852906B (zh) 一种基于高维随机矩阵进行窃电嫌疑识别的方法和系统
CN117290685A (zh) 一种基于历史数据的电厂电力设备专家诊断系统及方法
CN104408525B (zh) 作业车间调度风险的量化评估与控制方法
CN114564487A (zh) 预报预测相结合的气象栅格数据更新方法
CN111353127A (zh) 一种单变点检测方法、系统、设备及存储介质
CN111192163B (zh) 基于风电机组运行数据的发电机可靠度中短期预测方法
CN117824588A (zh) 一种建筑安全监测倾斜传感器采样优化与预警方法
KR20210137435A (ko) 산업 환경에서 에너지 소비를 평가하기 위한 방법, 시스템, 및 컴퓨터 프로그램 제품
CN112182864B (zh) 一种基于氢原子钟漂移情况选择钟差预报的方法
CN115759263A (zh) 一种基于因果推断的策略效果评估方法及装置
CN115907033A (zh) 一种基于机器学习算法预测每小时用电量的方法及系统
CN102184638B (zh) 行人交通数据的数据预处理方法
Ahmed et al. Forecasting GDP of Bangladesh using time series analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant