CN115470973A - 一种基于arima的企业日常用电量异常检测方法 - Google Patents
一种基于arima的企业日常用电量异常检测方法 Download PDFInfo
- Publication number
- CN115470973A CN115470973A CN202211025108.7A CN202211025108A CN115470973A CN 115470973 A CN115470973 A CN 115470973A CN 202211025108 A CN202211025108 A CN 202211025108A CN 115470973 A CN115470973 A CN 115470973A
- Authority
- CN
- China
- Prior art keywords
- data
- arima
- model
- order
- power consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 title claims abstract description 30
- 230000005611 electricity Effects 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000001583 randomness test Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013112 stability test Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 abstract description 8
- 239000000654 additive Substances 0.000 abstract description 3
- 230000000996 additive effect Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于ARIMA的企业日常用电量异常检测方法，包括：采集目标用电单位在企业日常各个时刻的用电量数据；对采集的用电量数据就行纯随机性和平稳性检验；对采集的数据进行预处理，对非平稳序列进行差分处理，得到差分平稳序列；建立自回归模型，根据自相关性分析，确定自回归阶数；建立移动平均模型，根据偏自相关性分析，确定移动平均的阶数；根据上述步骤得到的差分阶数、自回归阶数、移动平均阶数建立ARIMA模型，并训练模型；利用训练好的模型进行预测分析，通过比对真实值与预测值的偏差来判断是否为异常。本发明实现对附加性异常、临时性异常等检测，可以规范企业用电，方便管理。
Description
技术领域
本申请涉及大数据异常检测领域，尤其涉及一种基于ARIMA的企业日常用电 量异常检测方法。
背景技术
企业的用电量能够在一定程度上反映企业经营状况、用工情况以及运行状态。
企业的用电量异常检测可以检测出高耗能企业，对企业日常用电量异常检测， 可以规范企业用电，为公共安全、环境保护等相关政府部门管理企业提供指导意 见。
发明内容
本发明的目的是提供一种基于ARIMA的企业日常用电量异常检测方法，实现 对附加性异常、临时性异常等检测，可以规范企业用电，为公共安全、环境保护 等相关政府部门管理企业提供指导意见。
本发明的目的通过以下技术方案实现：
一种基于ARIMA的企业日常用电量异常检测方法，其特征在于：首先对企业 日常用电量数据，进行采样、缺失值处理；然后将处理后的数据分成节假日数据 和工作日数据，对数据进行白噪声评估，进行差分处理，计算ACF与PACF函数， 确定自回归与移动平均的阶数，建立ARIMA模型；利用建立的模型对时间序列样 本数据进行预测，再比较真实值与预测值，把差值超过预设的阈值的数据作为异 常检测的结果。
该方法包括以下步骤：：
(1)采集目标用电单位在企业日常各个时刻的用电量数据；
(2)对采集的用电量数据就行纯随机性和平稳性检验；
(3)对采集的数据进行预处理，对非平稳序列进行差分处理，得到差分平 稳序列；
(4)建立自回归模型，根据自相关性分析，确定自回归阶数；
(5)建立移动平均模型，根据偏自相关性分析，确定移动平均的阶数；
(6)根据上述步骤得到的差分阶数、自回归阶数、移动平均阶数建立ARIMA 模型，并训练模型。
(7)利用训练好的模型进行预测分析，通过比对真实值与预测值的偏差来 判断是否为异常。
进一步的，步骤(1)中各个时刻包含晚上20点到次日凌晨8点前的数据， 每15分钟记录一次用电量数据。数据范围包含节假日与工作日。根据企业用电 量数据趋势，把数据样本集分割为节假日数据样本与工作日数据样本。对不同企 业作息规则，设置不同节假日判定规则，一般分为国家法定假日+双休和国家法 定节假日+单休。对采集的数据进行数据清洗，如某时刻存在个别数据缺失，则 以周为单位，利用上下5周此时刻数据，采用拉格朗日插值法进行插值处理。如 果存在长时间段数据缺失则采用对应时刻用电量均值插值处理。合计某时刻下4 个15分钟数据再取均值作为此时刻用电量
进一步的，步骤(2)中对数据进行白噪声检查，确定用电量数据非纯随机 序列；再进行时间序列数据平稳性检查，确定是否需要进行差分处理。
进一步的，步骤(3)具体包括对步骤(2)中检测出的非平稳序列进行差分 处理，并在差分后再进行平稳性检验，如1阶差分后仍然不平稳，则再进行差分 处理，获得平稳的时间序列数据。并将两类样本集按照一定的比例划分成训练集、 验证集和测试集。
进一步的，步骤(4)中建立自回归模型，并确定自回归阶数。
(4-1)对节假日样本进行偏自相关性分析，计算PACF函数值，画出PACF置 信区间图像，取首次进入PACF置信区间的阶数p1。
(4-2)对工作日样本进行偏自相关性分析，计算PACF函数值，画出PACF置 信区间图像，取首次进入PACF置信区间的阶数p2。
进一步的，步骤(5)建立移动平均模型，并确定移动平均阶数。
(5-1)对节假日样本进行自相关性分析，根据相关性结算公式，计算不同 阶数的ACF函数值，画出ACF置信区间图像，取首次进入ACF置信区间的阶数q1。
(5-2)对工作日样本进行自相关性分析，根据相关性结算公式，计算不同 阶数的ACF函数值，画出ACF置信区间图像，取首次进入ACF置信区间的阶数q2。
进一步的，步骤(6)中根据步骤(3)的得出的差分阶数、步骤(4)得出 的自回归阶数，步骤(5)中的得出的移动平均阶段，对节假日样本和工作日样 本数据分别建立差分自回归移动平均模型ARIMA(p1,d1,q1)和 ARIMA(p2,d2,q2)。并利训练模型，根据计算测试集预测结果的RSM，评估模型 预测效果。如果测试结果不及预期，可以通过遍历可能的lags，取模型AIC(或 BIC)值最小的模型去训练和做预测。
进一步的，步骤(7)中分析样本各时间段均值，方差以及业务痛点，设置 真实与预测值之间差值的阈值，筛选出差值波动大于预设阈值的数据条目，即样 本异常值。
本发明的有益效果：
本发明通过对企业日常用电量附加性异常、临时性异常等检测，可以规范企 业用电，为公共安全、环境保护等相关政府部门管理企业提供指导意见。
附图说明
图1为本发明的方法流程图。
具体实施方式
本实施例提供了一种基于ARIMA的企业日常用电量异常检测方法，如图1 所示，包括：
(1)采集目标用电单位在企业日常各个时刻的用电量数据。
本实施例中，选取企业过去3年各个时刻包含晚上20点到次日凌晨8点前 的数据，每15分钟记录一次用电量数据。数据范围包含所有节假日与工作日。 根据企业用电量数据趋势，把数据样本集分割为节假日数据样本与工作日数据样 本。对不同企业作息规则，设置不同节假日判定规则，一般分为国家法定假日+ 双休和国家法定节假日+单休。对采集的数据进行数据清洗，如某时刻存在个别 数据缺失，则以周为单位，利用上下5周此时刻数据，采用拉格朗日插值法进行 插值处理。如果存在长时间段数据缺失则采用对应时刻用电量均值插值处理。合 计某时刻下4个15分钟数据再取均值作为此时刻用电量。
(2)对采集的用电量数据就行纯随机性和平稳性检验，具体包括：
(2-1)本实施例中，先对样本进行白噪声检验。
(2-2)本实施例中，再对样本进行平稳性检验。
(3)对采集的数据进行预处理，对非平稳序列进行差分处理，得到差分平 稳序列，具体包括：
(4)建立自回归模型，根据自相关性分析，确定自回归阶数。
根据p阶自回归定义：
其中yt为当前值，μ为常 数项，p是阶数，γi是自相关系数，∈t是误差项。即，根据自身的历史数据对自 身进行预测。
(4-1)对节假日样本进行偏自相关性分析，计算PACF函数值，画出PACF置 信区间图像，取首次进入PACF置信区间的阶数p1。
(4-2)对工作日样本进行偏自相关性分析，计算PACF函数值，画出PACF置 信区间图像，取首次进入PACF置信区间的阶数p2。
(5)建立移动平均模型，根据偏自相关性分析，确定移动平均的阶数。
根据q阶自回归定义：
其中yt为当前值，μ为常 数项，q是阶数，∈t是误差项。使用移动平均模型消除预测中的随机波动。使用ACF 函数确定q的阶数。
(5-1)对节假日样本进行自相关性分析，根据相关性结算公式，计算不同 阶数的ACF函数值，画出ACF置信区间图像，取首次进入ACF置信区间的阶数q1。
(5-2)对工作日样本进行自相关性分析，根据相关性结算公式，计算不同 阶数的ACF函数值，画出ACF置信区间图像，取首次进入ACF置信区间的阶数q2。
(6)根据ARIMA定义，有
根据上述步骤得到的差分阶数、自回归阶数、移动平均阶数建立ARIMA模型， 并训练模型。根据步骤(3)的得出的差分阶数、步骤(4)得出的自回归阶数， 步骤(5)中的得出的移动平均阶段，对节假日样本和工作日样本数据分别建立 差分自回归移动平均模型ARIMA(p1,d1,q1)和ARIMA(p2,d2,q2)。并训练模型， 根据计算测试集预测结果的RSM，评估模型预测效果。如果测试结果不及预期， 可以通过遍历可能的lags，取模型AIC(或BIC)值最小的模型去训练和预测。
(7)分析样本各时间段均值，方差以及业务痛点，设置真实与预测值之间 差值的阈值，筛选出差值波动大于预设阈值的数据条目，即样本异常值。
以上所述仅为本发明的一种较佳实施例而已，不能以此来限定本发明之权利 范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种基于ARIMA的企业日常用电量异常检测方法，其特征在于：首先对企业日常用电量数据，进行采样、缺失值处理；然后将处理后的数据分成节假日数据和工作日数据，对数据进行白噪声评估，进行差分处理，计算ACF与PACF函数，确定自回归与移动平均的阶数，建立ARIMA模型；利用建立的模型对时间序列样本数据进行预测，再比较真实值与预测值，把差值超过预设的阈值的数据作为异常检测的结果。
2.根据权利要求1所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，该方法包括以下步骤：
(1)采集目标用电单位在企业日常各个时刻的用电量数据；
(2)对采集的用电量数据就行纯随机性和平稳性检验；
(3)对采集的数据进行预处理，对非平稳序列进行差分处理，得到差分平稳序列；
(4)建立自回归模型，根据自相关性分析，确定自回归阶数；
(5)建立移动平均模型，根据偏自相关性分析，确定移动平均的阶数；
(6)根据上述步骤得到的差分阶数、自回归阶数、移动平均阶数建立ARIMA模型，并训练模型；
(7)利用训练好的模型进行预测分析，通过比对真实值与预测值的偏差来判断是否为异常。
3.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(1)中各个时刻包含晚上20点到次日凌晨8点前的数据，每15分钟记录一次用电量数据；数据范围包含节假日与工作日；根据企业用电量数据趋势，把数据样本集分割为节假日数据样本与工作日数据样本，对不同企业作息规则，设置不同节假日判定规则，一般分为国家法定假日加双休和国家法定节假日加单休。
4.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(1)中采集的数据进行数据清洗；某时刻存在个别数据缺失，则以周为单位，利用上下5周此时刻数据，采用拉格朗日插值法进行插值处理；如果存在长时间段数据缺失则采用对应时刻用电量均值插值处理；合计某时刻下4个15分钟数据再取均值作为此时刻用电量。
5.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(2)中对数据进行白噪声检查，确定用电量数据非纯随机序列；再进行时间序列数据平稳性检查，确定是否需要进行差分处理。
6.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(3)中对步骤(2)中检测出的非平稳序列进行差分处理，并在差分后再进行平稳性检验，如1阶差分后仍然不平稳，则再进行差分处理，获得平稳的时间序列数据；并将两类样本集按照比例划分成训练集、验证集和测试集。
7.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(4)具体包括：
(4-1)对节假日样本进行偏自相关性分析，计算PACF函数值，画出PACF置信区间图像，取首次进入PACF置信区间的阶数p1；
(4-2)对工作日样本进行偏自相关性分析，计算PACF函数值，画出PACF置信区间图像，取首次进入PACF置信区间的阶数p2。
8.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(5)具体包括：
根据p阶自回归定义：
其中yt为当前值，μ为常数项，q是阶数，γi是自相关系数，∈t是误差项；即，根据自身的历史数据对自身进行预测；
(5-1)对节假日样本进行自相关性分析，根据相关性结算公式，计算不同阶数的ACF函数值，画出ACF置信区间图像，取首次进入ACF置信区间的阶数q1；
(5-2)对工作日样本进行自相关性分析，根据相关性结算公式，计算不同阶数的ACF函数值，画出ACF置信区间图像，取首次进入ACF置信区间的阶数q2。
9.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(6)根据步骤(3)的得出的差分阶数、步骤(4)得出的自回归阶数，步骤(5)中的得出的移动平均阶段，对节假日样本和工作日样本数据分别建立差分自回归移动平均模型ARIMA(p1,d1,q1)和ARIMA(p2,d2,q2)；并利用训练模型，根据计算测试集预测结果的RSM，评估模型预测效果；如果测试结果不及预期，通过遍历可能的lags，取模型AIC(或BIC)值最小的模型去训练、预测。
10.根据权利要求2所述的基于ARIMA的企业日常用电量异常检测方法，其特征在于，步骤(7)分析样本各时间段均值，方差以及业务痛点，设置真实与预测值之间差值的阈值，筛选出差值波动大于预设阈值的数据条目，即样本异常值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211025108.7A CN115470973A (zh) | 2022-08-25 | 2022-08-25 | 一种基于arima的企业日常用电量异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211025108.7A CN115470973A (zh) | 2022-08-25 | 2022-08-25 | 一种基于arima的企业日常用电量异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115470973A true CN115470973A (zh) | 2022-12-13 |
Family
ID=84368398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211025108.7A Pending CN115470973A (zh) | 2022-08-25 | 2022-08-25 | 一种基于arima的企业日常用电量异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115470973A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528934A (zh) * | 2022-02-18 | 2022-05-24 | 中国平安人寿保险股份有限公司 | 时序数据异常检测方法、装置、设备及介质 |
| CN116448263A (zh) * | 2023-06-16 | 2023-07-18 | 山东德圣源新材料有限公司 | 一种勃姆石生产设备运行状态检测方法 |
| CN117118510A (zh) * | 2023-10-12 | 2023-11-24 | 湖北经济学院 | 一种基于机器学习的光信道误码率预测方法 |
-
2022
- 2022-08-25 CN CN202211025108.7A patent/CN115470973A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528934A (zh) * | 2022-02-18 | 2022-05-24 | 中国平安人寿保险股份有限公司 | 时序数据异常检测方法、装置、设备及介质 |
| CN116448263A (zh) * | 2023-06-16 | 2023-07-18 | 山东德圣源新材料有限公司 | 一种勃姆石生产设备运行状态检测方法 |
| CN116448263B (zh) * | 2023-06-16 | 2023-09-05 | 山东德圣源新材料有限公司 | 一种勃姆石生产设备运行状态检测方法 |
| CN117118510A (zh) * | 2023-10-12 | 2023-11-24 | 湖北经济学院 | 一种基于机器学习的光信道误码率预测方法 |
| CN117118510B (zh) * | 2023-10-12 | 2023-12-22 | 湖北经济学院 | 一种基于机器学习的光信道误码率预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115470973A (zh) | 一种基于arima的企业日常用电量异常检测方法 | |
| CN110097297B (zh) | 一种多维度窃电态势智能感知方法、系统、设备及介质 | |
| CN110647539B (zh) | 一种用于车辆故障的预测方法和系统 | |
| CN108537544B (zh) | 一种交易系统实时监控方法及其监控系统 | |
| Alghamdi et al. | Forecasting traffic congestion using ARIMA modeling | |
| CN111898691B (zh) | 一种河流突发水污染预警溯源方法、系统、终端及介质 | |
| CN110222991B (zh) | 基于rf-gbdt的计量装置故障诊断方法 | |
| CN109060393B (zh) | 一种桥梁结构恒载响应时域融合分析方法 | |
| CN110175353A (zh) | 电梯运行指标趋势分析方法 | |
| CN113269327A (zh) | 一种基于机器学习的流量异常预测方法 | |
| CN112488496A (zh) | 一种财务指标预测方法及装置 | |
| CN114076841B (zh) | 基于用电信息数据的窃电行为识别方法及系统 | |
| CN110298765B (zh) | 一种基于客观关联因素的配电网用电功率异常检测方法 | |
| CN113592308B (zh) | 一种基于常态模型的监测数据告警阈值提取方法 | |
| CN111612019A (zh) | 一种基于大数据模型对智能电表故障异常辨识分析的方法 | |
| Nowobilski et al. | Estimating the probability of accidents on building scaffoldings | |
| McKenna et al. | Event detection from water quality time series | |
| CN112785456A (zh) | 基于向量自回归模型的高损线路窃电检测方法 | |
| CN116128690B (zh) | 一种碳排放量成本值计算方法、装置、设备及介质 | |
| KR100795967B1 (ko) | 극치통계분석을 이용한 교량의 점검 및 유지관리 시스템 및방법 | |
| CN112228042B (zh) | 一种基于云边协同计算的抽油机井工况相似性判别方法 | |
| CN115809805A (zh) | 基于边缘计算的电网多源数据处理方法 | |
| CN112734123A (zh) | 一种基于arima模型的工业废气排放量预测的方法 | |
| Kobayashi et al. | Deterioration forecasting of joint members based on long-term monitoring data | |
| Addy et al. | Understanding the effect of baseline modeling implementation choices on analysis of demand response performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |