CN113554106B - 一种面向电力缺失数据的协同补全方法 - Google Patents
一种面向电力缺失数据的协同补全方法 Download PDFInfo
- Publication number
- CN113554106B CN113554106B CN202110856338.7A CN202110856338A CN113554106B CN 113554106 B CN113554106 B CN 113554106B CN 202110856338 A CN202110856338 A CN 202110856338A CN 113554106 B CN113554106 B CN 113554106B
- Authority
- CN
- China
- Prior art keywords
- data
- power
- correlation
- time sequence
- columns
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种面向电力缺失数据的协同补全方法,通过采集电力数据,并对采集到的数据进行分析,统计电力数据的缺失情况;采用自相分析的方法分析数据列自身的前后关系,挖掘数据列自身的隐式关系,为电力数据的属性列选择合适步长的历史样本,作为待插补电力数据的历史样本;采用互相关分析的方法分析不同数据列之间的相关关系,挖掘不同数据列的隐式关系,为电力数据的属性列筛选出相关系数大于0.5的数据列,并将其作为待插补电力数据的关系数据;建立补全模型HR‑LSTM并对模型进行训练,将采集到有缺失的电力数据输入训练好的补全模型HR‑LSTM中,即可得到补全了缺失值的电力数据。该方法数据补全效果好,效率高。
Description
技术领域
本发明涉及数据处理技术领域,具体是一种面向电力缺失数据的协同补全方法。
背景技术
电力时序数据是指一系列在电力物联网(智能电网)中收集到的随时间推移先后产生的电力数据,这些电力数据可以反映在某一时间段内电流、电压以及用电量等与电价的关系。然而由于网络状态或者数据采集设备自身故障等,这些设备采集到的数据往往是不完整的,这些缺失的数据对数据样本的分布造成影响,从而会使一些基于数据的预测模型(例如,电价的预测模型、用户用电量的预测模型等)预测效果不佳。完整的电力数据样本为智能电网提供基础的数据支撑,同时也可以为电力供应商制定电价、对用户用电量的预测分析提供基础支撑。
目前解决数据缺失的传统方法主要有删除法及填充法,直接删除法是指删除该缺失数据所在的行,那么数据集中剩余的样本是完整的,但是该方法会导致数据样本的减少,也会影响数据的分布情况。第二种方法是填充法,也称补全方法。常用的填充法有使用样本的均值填充、使用样本的众数填充、使用样本的中位数填充等。然而这些方法填充效果往往不佳。此外,一些基于机器学习的方法有K近邻(KNN)算法、支持向量机(SVM)算法、随机森林算法(RF)等,然而他们大多针对非时序的数据进行补全,同时他们仅利用同一时刻或者同一时间段的其他传感器的数据(称之为关系数据)来补全缺失传感器的数据。目前有一些深度学习方法来补全时序数据,但是他们仅仅利用数据的历史信息(称之为历史数据)补全数据列中的单个缺失值,或者较短时间内连续缺失的少量数据,然而针对连续长时间的缺失数据,这些方法往往导致补全效果不佳。
发明内容
本发明的目的在于解决现有电力数据缺失值补全方法中连续缺失数据补全精度不佳的问题,而提供一种面向电力缺失数据的协同补全方法。
实现本发明目的的技术方案是:
一种面向电力缺失数据的协同补全方法,包括如下步骤:
1)采集电力数据,并对采集到的数据进行分析,统计电力数据的缺失情况;
所述电力数据,包括电流时间序列、电压时间序列和功率时间序列;
2)采用自相关分析的方法分析步骤1)采集到的电流时间序列、电压时间序列和功率时间序列自身的前后关系,挖掘数据列自身的隐式关系,为电力数据的属性列选择合适步长的历史样本,作为待插补电力数据的历史样本;
所述的历史样本,包括电流历史样本、电压时序样本和功率时序样本;
3)采用互相关分析的方法分析步骤1)采集到的电流时间序列、电压时间序列和功率时间序列不同数据列之间的相关关系,挖掘不同数据列的隐式关系,为电力数据的属性列筛选出相关系数mcf>0.5的数据列,并将其作为待插补电力数据的关系数据;
4)建立补全模型HR-LSTM并对模型进行训练,具体是:该模型包括输入层、LSTM单元层、拼接层、全连接层和输出层,LSTM单元层包括LSTM_1单元层和LSTM_2单元层,将步骤2)获得的历史样本和步骤3)获得的关系数据分别输入LSTM_1单元层和LSTM_2单元层中进行特征提取,分别得到时序特征和关系特征,拼接层对时序特征和关系特征进行融合后输入全连接层中进行特征融合,输出层将融合后的特征输入,得到补全后的数据,即完成模型的训练;
5)将采集到有缺失的电流时间序列、电压时间序列和功率时间序列数据输入训练好的补全模型HR-LSTM中,即可得到补全了缺失值的电力数据。
步骤2)中,所述的采用自相关分析的方法分析数据列自身的前后关系,挖掘数据列自身的隐式关系,具体是计算数据列之间的自相关系数,假设有时间序列数据Xt,t=1,2,3,...,则在时刻t和滞后n阶t+n数据之间的相关性称为n阶自相关,则自相关系数的计算公式为:
其中函数f为计算相关系数的函数,通过上式计算滞后n阶自相关系数的值;acfn代表自相关系数,Xt代表时间段t内的数据列,Xt+n滞后n时间段的数据列,代表时间段t内数据的平均值,代表时间段内数据的平均值,当滞后阶数为0时,相关系数为1,也即数据列自身与自身的相关系数为1;当滞后阶数为1时,也表示计算传感器数据列自身时间段t与时间段t+n之间的相关性。
步骤3)中,所述的采用互相关分析的方法分析不同数据列之间的相关关系,挖掘不同数据列的隐式关系,具体是计算两个时间序列在任意两个不同时刻的相关程度,假设有时间序列Xt、Yt,t=1,2,3,…,则X在时刻t和Y在时刻t+n之间的相关性即为n阶互相关,则互相关系数的计算公式为:
其中mcfn代表互相关系数,函数f为计算相关系数的函数,通过上式计算滞后n阶互相关系数的值;函数f为计算相关系数的函数,通过上式计算滞后n阶互相关系数的值;Yt+n表示滞后n时间段的数据列,表示时间段t+n内数据的平均值。
步骤4)中,所述的训练,是将原始数据集构造多个训练集An,Bn,…,使用多个训练集分批对模型进行训练,直到达到最大迭代次数或者补全误差小于设定的阈值停止,最后得到训练好的HR-LSTM模型用于补全时序数据中连续缺失的电力数据值。
本发明提供的一种面向电力缺失数据的协同补全方法,与现有技术相比,本发明具有如下优点:
1、本发明通过相关性分析的方法挖掘数据列自身以及数据列之间的隐式关系,具体包括一下两方面:(1)基于自相关分析,研究分析数据列前后不同时间段的数据关系;(2)基于互相关分析,研究分析不同数据列之间的隐式关系。
2、本发明基于Keras平台重新搭建了LSTM深度网络,使得搭建的网络既利用历史样本信息又利用数据列的关系信息,提高整体的缺失值补全效果。
3、本发明提出基于多变量长短期记忆网络LSTM的连续缺失值补全方法,使得补全过程既利用历史样本数据又利用互相关分析方法挖掘出来的关系,其中通过互相关分析方法可以高效的挖掘出缺失数据列的关系信息,进而提高对连续缺失电力数据的插补能力。
附图说明
图1为基于历史样本及关系数据的连续缺失数据插补流程图;
图2为基于历史样本及关系数据的连续缺失数据插补模型HR-LSTM图,其中,An,Bn,Cn代表通过相关分析挖掘出来的与待补全数据列相关的因素或属性序列,表示待补全数据的历史数据序列;
图3为HR-LSTM模型的训练过程图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述,但不是对本发明的限定。
一种面向电力缺失数据的协同补全方法,如图1所示,包括如下步骤:
1)采集电力数据,并对采集到的数据进行分析,统计电力数据的缺失情况;一般电力数据的采集可通过输变电传感器设备监控、收集;设备数据采集、存储系统组成复杂,测量工作环境恶劣等多方面原因都会造成数据的缺失,因此收集到的数据将是不完整的。
所述电力数据,包括电流时间序列、电压时间序列和功率时间序列;
2)采用自相关分析的方法分析步骤1)采集到的电流时间序列、电压时间序列和功率时间序列自身的前后关系,挖掘数据列自身的隐式关系,为电力数据的属性列选择合适步长的历史样本,作为待插补电力数据的历史样本;
所述的历史样本,包括电流历史样本、电压时序样本和功率时序样本;
3)采用互相关分析的方法分析步骤1)采集到的电流时间序列、电压时间序列和功率时间序列不同数据列之间的相关关系,挖掘不同数据列的隐式关系,为电力数据的属性列筛选出最相关的其他数据列,例如互相关系数mcf>0.5的数据列,并将其作为待插补电力数据的关系数据;
4)建立补全模型HR-LSTM,如图2所示,对模型进行训练,具体是:该模型包括输入层、LSTM单元层、拼接层、全连接层和输出层,LSTM单元层包括LSTM_1单元层和LSTM_2单元层,将步骤2)获得的历史样本和步骤3)获得的关系数据分别输入LSTM_1单元层和LSTM_2单元层中进行特征提取,分别得到时序特征和关系特征,拼接层对时序特征和关系特征进行融合后输入全连接层中进行特征融合,输出层将融合后的特征输入,得到补全后的数据,即完成模型的训练;
5)将采集到有缺失的电流时间序列、电压时间序列和功率时间序列数据输入训练好的补全模型HR-LSTM中,即可得到补全了缺失的电力数据。
步骤2)中,所述的采用自相关分析的方法分析数据列自身的前后关系,挖掘数据列自身的隐式关系,具体是计算数据列之间的自相关系数,假设有时间序列数据Xt,t=1,2,3,...,则在时刻t和滞后n阶t+n数据之间的相关性称为n阶自相关,则自相关系数的计算公式为:
其中acfn代表自相关系数,函数f为计算相关系数的函数,通过上式计算滞后n阶自相关系数的值;Xt代表时间段t内的数据列,Xt+n滞后n时间段的数据列,代表时间段t内数据的平均值,代表时间段内数据的平均值,当滞后阶数为0时,相关系数为1,也即数据列自身与自身的相关系数为1,当滞后阶数为1时,也表示计算传感器数据列自身不同时间段(时间段t与时间段t+n)之间的相关性。
步骤3)中,所述的采用互相关分析的方法分析不同数据列之间的相关关系,挖掘不同数据列的隐式关系,具体是计算两个时间序列在任意两个不同时刻的相关程度,假设有时间序列Xt,Yt,t=1,2,3,…,则X在时刻t和Y在时刻t+n之间的相关即为n阶互相关,一般选择n=0,也即计算同一时间段不同序列之间的相关性,互相关系数的计算公式为:
其中mcfn代表互相关系数,函数f为计算相关系数的函数,通过上式计算滞后n阶互相关系数的值;Xt代表时间段t内的数据列,Yt+n滞后n时间段的数据列,代表时间段t内数据的平均值,代表时间段t+n内数据的平均值。通过上式计算滞后n阶互相关系数的值,一般选择n=0,也即计算同一时间段不同序列间的相关系数。互相关系数一般介于-1到1之间,互相关系数为-0.1到0.1之间一般认为两条序列不相关,其次互相关系数位于0.1到1以及-0.1到-1时,两条序列的相关性逐渐增强,通过互相关分析,我们选择合适数据列作为关系数据用于补全缺失的数据,例如分析得出的相关系数有两个,分别是0.940和0.093,说明第一组变量的相关性很强,第二组变量的相关性很弱。这种情况下,通常第一组关系数据用于补全缺失的数据。
步骤4)中,所述的训练,是将原始数据集构造多个训练集An,Bn,…,使用多个训练集分批对模型进行训练,直到达到最大迭代次数或者补全误差小于设定的阈值停止,最后得到训练好的HR-LSTM模型用于补全时序数据中连续缺失的电力数据值,具体训练过程如图3所示。
Claims (3)
1.一种面向电力缺失数据的协同补全方法,其特征在于,包括如下步骤:
1)采集电力数据,并对采集到的数据进行分析,统计电力数据的缺失情况;
所述电力数据,包括电流时间序列、电压时间序列和功率时间序列;
2)采用自相关分析的方法分析步骤1)采集到的电流时间序列、电压时间序列和功率时间序列自身的前后关系,挖掘数据列自身的隐式关系,为电力数据的属性列选择合适步长的历史样本,作为待插补电力数据的历史样本;
所述的历史样本,包括电流历史样本、电压时序样本和功率时序样本;
3)采用互相关分析的方法分析步骤1)采集到的电流时间序列、电压时间序列和功率时间序列不同数据列之间的相关关系,挖掘不同数据列的隐式关系,为电力数据的属性列筛选出相关系数mcf>0.5的数据列,并将其作为待插补电力数据的关系数据;
4)建立补全模型HR-LSTM并对模型进行训练,具体是:该模型包括输入层、LSTM单元层、拼接层、全连接层和输出层,LSTM单元层包括LSTM_1单元层和LSTM_2单元层,将步骤2)获得的历史样本和步骤3)获得的关系数据分别输入LSTM_1单元层和LSTM_2单元层中进行特征提取,分别得到时序特征和关系特征,拼接层对时序特征和关系特征进行融合后输入全连接层中进行特征融合,输出层将融合后的特征输入,得到补全后的数据,即完成模型的训练;
5)将采集到有缺失的电流时间序列、电压时间序列和功率时间序列数据输入训练好的补全模型HR-LSTM中,即得到补全了缺失值的电力数据;
步骤3)中,所述的采用互相关分析的方法分析不同数据列之间的相关关系,挖掘不同数据列的隐式关系,具体是计算两个时间序列在任意两个不同时刻的相关程度,假设有时间序列Xt、Yt,t=1,2,3,…,则X在时刻t和Y在时刻t+n之间的相关性即为n阶互相关,则互相关系数的计算公式为:
2.根据权利要求1所述的一种面向电力缺失数据的协同补全方法,其特征在于,步骤2)中,所述的采用自相关分析的方法分析数据列自身的前后关系,挖掘数据列自身的隐式关系,具体是计算数据列之间的自相关系数,假设有时间序列数据Xt,t=1,2,3,...,则在时刻t和滞后n阶t+n数据之间的相关性称为n阶自相关,则自相关系数的计算公式为:
3.根据权利要求1所述的一种面向电力缺失数据的协同补全方法,其特征在于,步骤4)中,所述的训练,是将原始数据集构造多个训练集An,Bn,…,使用多个训练集分批对模型进行训练,直到达到最大迭代次数或者补全误差小于设定的阈值停止,最后得到训练好的HR-LSTM模型用于补全时序数据中连续缺失的电力数据值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110856338.7A CN113554106B (zh) | 2021-07-28 | 2021-07-28 | 一种面向电力缺失数据的协同补全方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110856338.7A CN113554106B (zh) | 2021-07-28 | 2021-07-28 | 一种面向电力缺失数据的协同补全方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113554106A CN113554106A (zh) | 2021-10-26 |
CN113554106B true CN113554106B (zh) | 2022-03-18 |
Family
ID=78104736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110856338.7A Active CN113554106B (zh) | 2021-07-28 | 2021-07-28 | 一种面向电力缺失数据的协同补全方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554106B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118656789A (zh) * | 2024-08-19 | 2024-09-17 | 山东大学 | 一种电力电子系统缺失数据补全方法、系统、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102025531A (zh) * | 2010-08-16 | 2011-04-20 | 北京亿阳信通软件研究院有限公司 | 一种性能数据的填补方法及其装置 |
EP2982088A1 (en) * | 2013-04-01 | 2016-02-10 | Harman International Industries, Incorporated | Coarse timing |
CN108090558A (zh) * | 2018-01-03 | 2018-05-29 | 华南理工大学 | 一种基于长短期记忆网络的时间序列缺失值自动填补方法 |
CN110991866A (zh) * | 2019-11-29 | 2020-04-10 | 国网江苏省电力有限公司电力科学研究院 | 一种基于机器学习的台区数据缺失值补全方法和装置 |
CN112633604A (zh) * | 2021-01-04 | 2021-04-09 | 重庆邮电大学 | 一种基于i-lstm的短期用电量预测方法 |
CN113011089A (zh) * | 2021-03-05 | 2021-06-22 | 中国石油大学(华东) | 一种基于深度学习的机采井系统效率优化方法与装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7606424B2 (en) * | 2006-02-13 | 2009-10-20 | 3M Innovative Properties Company | Combined forward and reverse correlation |
-
2021
- 2021-07-28 CN CN202110856338.7A patent/CN113554106B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102025531A (zh) * | 2010-08-16 | 2011-04-20 | 北京亿阳信通软件研究院有限公司 | 一种性能数据的填补方法及其装置 |
EP2982088A1 (en) * | 2013-04-01 | 2016-02-10 | Harman International Industries, Incorporated | Coarse timing |
CN108090558A (zh) * | 2018-01-03 | 2018-05-29 | 华南理工大学 | 一种基于长短期记忆网络的时间序列缺失值自动填补方法 |
CN110991866A (zh) * | 2019-11-29 | 2020-04-10 | 国网江苏省电力有限公司电力科学研究院 | 一种基于机器学习的台区数据缺失值补全方法和装置 |
CN112633604A (zh) * | 2021-01-04 | 2021-04-09 | 重庆邮电大学 | 一种基于i-lstm的短期用电量预测方法 |
CN113011089A (zh) * | 2021-03-05 | 2021-06-22 | 中国石油大学(华东) | 一种基于深度学习的机采井系统效率优化方法与装置 |
Non-Patent Citations (4)
Title |
---|
Optimization of sensor location for improving wind power prediction accuracy;Zhaoyu Jiang等;《2017 13th IEEE Conference on Automation Science and Engineering (CASE)》;20180115;1220-1225 * |
一种多趋势时间序列预测的神经网络模型;彭相洲等;《计算机应用研究》;20201231;第37卷;47-49 * |
基于数据驱动和深度学习的超短期风电功率预测;苗长新等;《电力系统自动化》;20210526;第45卷(第14期);22-29 * |
自相关函数和互相关函数的测量;孙圣和;《电子测量技术》;19810630(第3期);1-6 * |
Also Published As
Publication number | Publication date |
---|---|
CN113554106A (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674604B (zh) | 基于多维时序帧卷积lstm的变压器dga数据预测方法 | |
CN112016734B (zh) | 基于lstm栈式自编码多模型荷预测方法及系统 | |
CN107423414B (zh) | 一种基于信息传递模型的流程工业复杂机电系统故障溯源方法 | |
CN114493014B (zh) | 多元时间序列预测方法、系统及计算机产品、存储介质 | |
CN111582551A (zh) | 风电场短期风速预测方法、系统及电子设备 | |
CN114239718B (zh) | 基于多元时序数据分析的高精度长期时间序列预测方法 | |
CN103268519A (zh) | 基于改进Lyapunov指数的电力系统短期负荷预测方法及装置 | |
CN117076931B (zh) | 一种基于条件扩散模型的时间序列数据预测方法和系统 | |
CN117556369B (zh) | 一种动态生成的残差图卷积神经网络的窃电检测方法及系统 | |
CN116777452B (zh) | 智能电表的预付费系统及其方法 | |
CN106709509A (zh) | 一种基于时间序列特殊点的卫星遥测数据聚类方法 | |
CN113554106B (zh) | 一种面向电力缺失数据的协同补全方法 | |
CN104636486A (zh) | 一种基于非负交替方向变换的用户特征抽取方法及抽取装置 | |
CN116451848A (zh) | 一种基于时空注意力机制的卫星遥测数据预测方法及装置 | |
CN113809365B (zh) | 氢燃料电池系统电压衰减的确定方法、系统及电子设备 | |
Zhang et al. | Digital twin empowered PV power prediction | |
Xue et al. | A nonparametric adaptive EWMA control chart for monitoring mixed continuous and categorical data using self-starting strategy | |
Roh et al. | Tfe-net: time and feature focus embedding network for multivariate-to-multivariate time series forecasting | |
CN112595918A (zh) | 一种低压集抄故障的检测方法及装置 | |
CN116613732A (zh) | 一种基于shap值选择策略的多元负荷预测方法及系统 | |
CN111476408B (zh) | 一种电力通信设备状态预测方法及系统 | |
CN113962332A (zh) | 基于自优化融合反馈的显著目标识别方法 | |
Wu et al. | Review of statistics based coping mechanisms for Smart Meter Missing Data in Distribution Systems | |
CN118330469B (zh) | 基于时态图神经网络的锂离子电池健康状态估计方法 | |
CN118362904B (zh) | 一种新能源电池供电测试方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20211026 Assignee: GUILIN JINFAMING TECHNOLOGY DEVELOPMENT CO.,LTD. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2022450000400 Denomination of invention: A Method of Collaborative Completion for Missing Data of Electric Power System Granted publication date: 20220318 License type: Common License Record date: 20221226 |
|
EE01 | Entry into force of recordation of patent licensing contract |