CN114091615A - 一种基于生成对抗网络的电能计量数据补全方法和系统 - Google Patents

一种基于生成对抗网络的电能计量数据补全方法和系统 Download PDF

Info

Publication number
CN114091615A
CN114091615A CN202111425843.2A CN202111425843A CN114091615A CN 114091615 A CN114091615 A CN 114091615A CN 202111425843 A CN202111425843 A CN 202111425843A CN 114091615 A CN114091615 A CN 114091615A
Authority
CN
China
Prior art keywords
data set
matrix
missing
missing data
countermeasure network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111425843.2A
Other languages
English (en)
Inventor
刘德荣
叶佳锐
王永华
魏庆来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202111425843.2A priority Critical patent/CN114091615A/zh
Publication of CN114091615A publication Critical patent/CN114091615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于生成对抗网络的电能计量数据补全方法和系统，涉及数据补全的技术领域，所述方法包括：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；根据缺失数据集中缺失数据的位置生成掩码矩阵；对缺失数据集进行预处理，获得预处理后的缺失数据集；将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。本发明可以在数据缺失较多时对数据准确补充，获得完整的数据。

Description

一种基于生成对抗网络的电能计量数据补全方法和系统
技术领域
本发明涉及数据补全的技术领域，更具体地，涉及一种基于生成对抗网络的电能计量数据补全方法和系统。
背景技术
数据缺失在电力负荷采集过程中经常发生，对后续利用电能计量数据进行大数据分析造成了极大的阻碍。目前的针对缺失时间序列数据缺失补全的算法只适用于缺失数据量较小的情况下，对于缺失数据较多的情况往往表现不佳。数据缺失的主要原因如下：(1)使用过程中设备损坏；(2)外界原因如气候因素对数据采集设备造成影响导致数据缺失；(3)计量过程中，由于检测仪器的精度或外部影响，采集的数据中存在异常值，在数据处理的过程中缺失异常值产生的数据缺失。综上，为了能够更好的利用电能计量数据，如将收集的电能计量数据用于电力负荷的预测或对用电客户的用电行为习惯大数据分析时，需要对缺失的数据进行补全处理。目前，已有方法对缺失数据进行补全时，基于最简单的插值的方法，如线性插值、三次样条插值和Hermite插值等。上述方法具有容易实现、计算简洁的优点，但随着缺失数据的增多，补全效果无法令人满意。基于机器学习的方法如利用支持向量机构造缺失数据补全框架，也不适用于缺失数据较多的情况。
现有技术公开了一种基于Kmeans和T-LSTM的负荷数据补全方法，包括以下步骤：构建数据模型；K种负荷区间的数据分别训练得到对应的K种数据模型；定时取待补全数据的当天负荷数据；计算当天负荷数据的平均值；根据平均值获取对应的数据模型；将待补全负荷数据输入对应的数据模型中，计算得到补全的完整负荷数据。该技术方案需要利用的当天负荷数据把相似特征的负荷数据归为一类，当某天负荷数据确实较多时，就无法实现对数据的准确补全。
发明内容
本发明为克服上述现有技术在缺失较多数据时，无法准确对数据进行补全的缺陷，提供一种基于生成对抗网络的电能计量数据补全方法和系统，可以在数据缺失较多时准确补充，获得完整的数据。
为解决上述技术问题，本发明的技术方案如下：
本发明提供了一种基于生成对抗网络的电能计量数据补全方法，包括：
S1：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
S2：构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
S3：根据缺失数据集中缺失数据的位置生成掩码矩阵；
S4：对缺失数据集进行预处理，获得预处理后的缺失数据集；
S5：将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
S6：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
优选地，所述步骤S3中，根据缺失数据集中缺失数据的位置生成掩码矩阵的具体方法为：
掩码矩阵M维度与缺失数据集X的维度相同，包含的元素由0，1构成；若缺失数据集X中第i行第j列的元素xij缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为0；若缺失数据集X中第i行第j列的元素xij没有缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为1。
优选地，所述步骤S4的具体方法为：
S4.1：对缺失数据集X进行归一化处理，获得归一化处理后的缺失数据集X*；
S4.2：生成0到1之间的随机数，填入归一化处理后的缺失数据集X*中数据缺失的位置，获得预处理后的缺失数据集
Figure BDA0003378388460000021
优选地，所述步骤S4.1中，对缺失数据集中的数据进行归一化处理的具体方法为：
对缺失数据集X中数据在时间维度上进行归一化处理，归一化公式为：
Figure BDA0003378388460000022
式中，xij表示缺失数据集X中第i行第j列的元素，min(X[:,j])表示缺失数据集X中第j列元素的最小值，max(X[:,j])表示缺失数据集X中第j元素的最大值。
优选地，所述步骤S4.2的具体方法为：
利用随机矩阵生成器生成随机矩阵Z，维度与掩码矩阵M维度相同，元素zij均为0-1之间的随机数；全1矩阵的维度与掩码矩阵M维度相同，利用全1矩阵与掩码矩阵M维度相减后，与随机矩阵Z进行哈达玛乘积运算，使随机矩阵Z中的元素位置与归一化处理后的缺失数据集X*中数据缺失的位置一一对应，相加后形成预处理后的缺失数据集
Figure BDA0003378388460000031
表示为：
Figure BDA0003378388460000032
式中，Z表示随机矩阵，⊙表示哈达玛乘积，1表示全1矩阵。
优选地，所述步骤S5的具体过程为：
S5.1：生成对抗网络包括生成器和判别器；将预处理后的缺失数据集
Figure BDA0003378388460000033
和掩码矩阵M拼接后输入生成器，产生补充矩阵Xg，利用补充矩阵Xg中的元素
Figure BDA0003378388460000034
替换预处理后的缺失数据集
Figure BDA0003378388460000035
中的元素zij，生成器输出初始补全数据集
Figure BDA0003378388460000036
S5.2：利用随机数生成器生成提示矩阵H，将初始补全数据集
Figure BDA0003378388460000037
与提示矩阵H拼接后输入辨别器，同时将掩码矩阵M也输入辨别器中，辨别器输出概率矩阵P；
S5.3：根据预处理后的缺失数据集
Figure BDA0003378388460000038
补充矩阵Xg、掩码矩阵M、概率矩阵P构建生成器和辨别器的损失函数，并计算损失函数的损失值，利用反向传播算法对生成器和辨别器的网络参数进行更新；
S5.4：重复步骤S5.1-S5.3，直到生成对抗网络收敛，输出生成对抗网络收敛时对应的初始补全数据集
Figure BDA0003378388460000039
生成对抗网络中的生成器和判别器具有相同的网络结构，均是三层的全连接神经网络，输入维度均为2Lt，输出维度均为Lt，其中Lt表示矩阵形式的缺失数据集在时间维度上的长度。
优选地，所述步骤S5.3中，生成器的损失函数为：
Figure BDA00033783884600000310
辨别器的损失函数为：
LD＝∑[Milog(Pi)+(1-Mi)log(1-Pi)]
式中，G表示生成器，
Figure BDA00033783884600000311
表示补充矩阵Xg中第i行元素，
Figure BDA00033783884600000312
表示预处理后的缺失数据集
Figure BDA00033783884600000313
中第i行元素，Mi表示掩码矩阵M中第i行元素，Pi表示概率矩阵P中第i行元素。
优选地，所述步骤S6中，对初始补全数据集进行处理为去归一化操作，具体方法为：
对初始补全数据集中的元素
Figure BDA0003378388460000041
进行去归一化处理，去归一化公式为：
Figure BDA0003378388460000042
式中，min(X[:,j])表示缺失数据集X中第j列元素的最小值，max(X[:,j])表示缺失数据集X中第j列元素的最大值。初始补全数据集中的元素均是经过了归一化处理的，在利用归一化处理时使用的缺失数据集X中第j列元素的最小值和最大值执行去归一化操作后，数据的数值区间才可适应缺失数据集。
优选地，所述步骤S2中，获得训练好的生成对抗网络的具体方法为：
S2.1：随机对完整历史数据集中的数据进行剔除，使其转化为缺失数据集；
S2.2：根据缺失数据集中缺失数据的位置生成掩码矩阵；
S2.3：对缺失数据集进行预处理，获得预处理后的缺失数据集；
S2.4：利用预处理后的缺失数据集和掩码矩阵对构建的生成对抗网络进行训练，直到生成对抗网络收敛，保存相应的网络参数，获得训练好的生成对抗网络。
本发明还提供了一种基于生成对抗网络的电能计量数据补全系统，包括：
数据获取模块，用于获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
网络训练模块，用于构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
矩阵生成模块，根据缺失数据集中缺失数据的位置生成掩码矩阵；
预处理模块，用于对缺失数据集进行预处理，获得预处理后的缺失数据集；
初始补全模块，用于将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
最终补全模块，用于对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
与现有技术相比，本发明技术方案的有益效果是：
本发明同时收集电能计量数据的完整历史数据集和缺失数据集，利用完整历史数据集对构建的生成对抗网络进行训练，充分挖掘利用了完整历史数据隐藏的统计信息特征，获得的训练好的生成对抗网络具备完整历史数据的隐藏的统计信息特征，可以适应大量数据缺失的情况；之后根据缺失数据的位置生成掩码矩阵，结合预处理后的缺失数据集，共同输入训练好的生成对抗网络，获得初始补全数据集，进行处理后再对缺失数据集进行补充，获得准确的最终补全数据集。本发明可以在数据缺失较多时对数据准确补充，获得完整的数据。
附图说明
图1为实施例1所述的一种基于生成对抗网络的电能计量数据补全方法的流程图；
图2为实施例2所述的一种基于生成对抗网络的电能计量数据补全方法的数据示意图；
图3为实施例3所述的一种基于生成对抗网络的电能计量数据补全系统的结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供了一种基于生成对抗网络的电能计量数据补全方法，如图1所示，包括：
S1：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
S2：构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
S3：根据缺失数据集中缺失数据的位置生成掩码矩阵；
S4：对缺失数据集进行预处理，获得预处理后的缺失数据集；
S5：将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
S6：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
在具体实施过程中，同时收集完整历史数据集和缺失数据集，利用完整历史数据集对构建的生成对抗网络进行训练，充分挖掘利用了完整历史数据隐藏的统计信息特征，获得的训练好的生成对抗网络具备完整历史数据的隐藏的统计信息特征，可以适应大量数据缺失的情况；之后根据缺失数据集中缺失数据的位置生成掩码矩阵，同时对缺失数据集进行预处理，将预处理后的缺失数据集和掩码矩阵共同输入训练好的生成对抗网络，获得初始补全数据集；对初始补全数据集进行处理，再对缺失数据集进行补充，获得准确的最终补全数据集。本实施例可以在数据缺失较多时对数据准确补充，获得完整的数据。
实施例2
本实施例提供了一种基于生成对抗网络的电能计量数据补全方法，尤其适用于电能计量数据，包括：
S1：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
S2：构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
生成对抗网络包括生成器和判别器，生成器和判别器具有相同的网络结构，均是三层的全连接神经网络，输入维度均为2Lt，输出维度均为Lt，其中Lt表示矩阵形式的缺失数据集在时间维度上的长度；训练过程具体为：
S2.1：随机对完整历史数据集中的数据进行剔除，使其转化为缺失数据集；
S2.2：根据缺失数据集中缺失数据的位置生成掩码矩阵；
掩码矩阵M维度与缺失数据集X的维度相同，包含的元素由0，1构成；若缺失数据集X中第i行第j列的元素xij缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为0；若缺失数据集X中第i行第j列的元素xij没有缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为1；
S2.3：对缺失数据集进行预处理，获得预处理后的缺失数据集，具体为：
S2.3.1：对缺失数据集X进行归一化处理，获得归一化处理后的缺失数据集X*；对缺失数据集X中数据在时间维度上进行归一化处理，归一化公式为：
Figure BDA0003378388460000061
式中，xij表示缺失数据集X中第i行第j列的元素，min(X[:,j])表示缺失数据集X中第j列元素的最小值，max(X[:,j])表示缺失数据集X中第j列元素的最大值；
S2.3.2：生成0到1之间的随机数，填入归一化处理后的缺失数据集X*中数据缺失的位置，获得预处理后的缺失数据集
Figure BDA0003378388460000062
具体为：
利用随机矩阵生成器生成随机矩阵Z，维度与掩码矩阵M维度相同，元素zij均为0-1之间的随机数；全1矩阵的维度与掩码矩阵M维度相同，利用全1矩阵与掩码矩阵M维度相减后，与随机矩阵Z进行哈达玛乘积运算，使随机矩阵Z中的元素位置与归一化处理后的缺失数据集X*中数据缺失的位置一一对应，相加后形成预处理后的缺失数据集
Figure BDA0003378388460000071
表示为：
Figure BDA0003378388460000072
式中，Z表示随机矩阵，⊙表示哈达玛乘积，1表示全1矩阵。
S2.4：利用预处理后的缺失数据集和掩码矩阵对构建的生成对抗网络进行训练，直到生成对抗网络收敛，保存相应的网络参数，获得训练好的生成对抗网络，具体的：
S2.4.1：将预处理后的缺失数据集
Figure BDA0003378388460000073
和掩码矩阵M拼接后输入生成器，产生补充矩阵Xg，利用补充矩阵Xg中的元素
Figure BDA0003378388460000074
替换预处理后的缺失数据集
Figure BDA0003378388460000075
中的元素zij，生成器输出初始补全数据集
Figure BDA0003378388460000076
S2.4.2：利用随机数生成器生成提示矩阵H，将初始补全数据集
Figure BDA0003378388460000077
与提示矩阵H拼接后输入辨别器，同时将掩码矩阵M也输入辨别器中，辨别器输出概率矩阵P；
S2.4.3：根据预处理后的缺失数据集
Figure BDA0003378388460000078
补充矩阵Xg、掩码矩阵M、概率矩阵P构建生成器和辨别器的损失函数，并计算损失函数的损失值，利用反向传播算法对生成器和辨别器的网络参数进行更新；
生成器的损失函数为：
Figure BDA0003378388460000079
辨别器的损失函数为：
Figure BDA00033783884600000710
式中，G表示生成器，
Figure BDA00033783884600000711
表示补充矩阵Xg中第i行元素，
Figure BDA00033783884600000712
表示预处理后的缺失数据集
Figure BDA00033783884600000713
中第i行元素，Mi表示掩码矩阵M中第i行元素，Pi表示概率矩阵P中第i行元素；
在生成对抗网络训练过程中，计算
Figure BDA00033783884600000714
时，选取第i行的所有元素进行计算。
S2.4.4：重复步骤S2.4.1-S2.4.3，直到生成对抗网络收敛，保存相应的网络参数，获得训练好的生成对抗网络。
S3：如图2所示，根据缺失数据集中缺失数据的位置生成掩码矩阵；
掩码矩阵M维度与缺失数据集X的维度相同，包含的元素由0，1构成；若缺失数据集X中第i行第j列的元素xij缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为0；若缺失数据集X中第i行第j列的元素xij没有缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为1；
S4：对缺失数据集进行预处理，获得预处理后的缺失数据集，具体为：
S4.1：对缺失数据集X进行归一化处理，获得归一化处理后的缺失数据集X*；
对缺失数据集X中数据在时间维度上进行归一化处理，归一化公式为：
Figure BDA0003378388460000081
式中，xij表示缺失数据集X中第i行第j列的元素，min(X[:,j])表示缺失数据集X中第j列元素的最小值，max(X[:,j])表示缺失数据集X中第j元素的最大值；
S4.2：生成0到1之间的随机数，填入归一化处理后的缺失数据集X*中数据缺失的位置，获得预处理后的缺失数据集
Figure BDA0003378388460000082
利用随机矩阵生成器生成随机矩阵Z，维度与掩码矩阵M维度相同，元素zij均为0-1之间的随机数；全1矩阵的维度与掩码矩阵M维度相同，利用全1矩阵与掩码矩阵M维度相减后，与随机矩阵Z进行哈达玛乘积运算，使随机矩阵Z中的元素位置与归一化处理后的缺失数据集X*中数据缺失的位置一一对应，相加后形成预处理后的缺失数据集
Figure BDA0003378388460000083
表示为：
Figure BDA0003378388460000084
式中，Z表示随机矩阵，⊙表示哈达玛乘积，1表示全1矩阵；
S5：将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集，具体为：
S5.1：将预处理后的缺失数据集
Figure BDA0003378388460000085
和掩码矩阵M拼接后输入生成器，产生补充矩阵Xg，利用补充矩阵Xg中的元素
Figure BDA0003378388460000086
替换预处理后的缺失数据集
Figure BDA0003378388460000087
中的元素zij，生成器输出初始补全数据集
Figure BDA0003378388460000088
S5.2：利用随机数生成器生成提示矩阵H，将初始补全数据集
Figure BDA0003378388460000089
与提示矩阵H拼接后输入辨别器，同时将掩码矩阵M也输入辨别器中，辨别器输出概率矩阵P；
S5.3：根据预处理后的缺失数据集
Figure BDA00033783884600000810
补充矩阵Xg、掩码矩阵M、概率矩阵P构建生成器和辨别器的损失函数，并计算损失函数的损失值，利用反向传播算法对生成器和辨别器的网络参数进行更新；
生成器的损失函数为：
Figure BDA0003378388460000091
辨别器的损失函数为：
LD＝∑[Milog(Pi)+(1-Mi)log(1-Pi)]
式中，G表示生成器，
Figure BDA0003378388460000092
表示补充矩阵Xg中第i行元素，
Figure BDA0003378388460000093
表示预处理后的缺失数据集
Figure BDA0003378388460000094
中第i行元素，Mi表示掩码矩阵M中第i行元素，Pi表示概率矩阵P中第i行元素；
在数据补全过程中，计算
Figure BDA0003378388460000095
时，仅取第i行中不是缺失位置的元素进行计算；
S5.4：重复步骤S5.1-S5.3，直到生成对抗网络收敛，输出生成对抗网络收敛时对应的初始补全数据集
Figure BDA0003378388460000096
S6：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
对初始补全数据集进行处理为去归一化操作，具体方法为：
对初始补全数据集中的元素
Figure BDA0003378388460000097
进行去归一化处理，去归一化公式为：
Figure BDA0003378388460000098
式中，min(X[:,j])表示缺失数据集X中第j列元素的最小值，max(x[:,j])表示缺失数据集X中第j列元素的最大值。初始补全数据集中的元素均是经过了归一化处理的，在利用归一化处理时使用的缺失数据集X中第j列元素的最小值和最大值执行去归一化操作后，数据的数值区间才可适应缺失数据集。
在具体实施过程中，本实施例提供的方法包含预训练和补全两个过程；对获取的完整历史数据随机剔除部分数据，人工构造出缺失数据集，利用与补全过程相同的步骤对人工构造出的缺失数据集进行处理，对构建的生成对抗网络进行训练，通过计算损失函数的损失值，对网络参数进行更新，直到网络收敛，获得对应的初始补全数据集，进而获得最终补全数据集；计算最终补全数据集的均方根误差，重复上述步骤，直到均方根误差小于预设的误差阈值时，保存此时生成对抗网络的网络参数，获得训练好的生成对抗网络，此时的生成对抗网络具备完整历史数据的隐藏的统计信息特征，可以适应大量数据缺失的情况；之后再将自然的缺失数据集进行相同处理，输入训练好的生成对抗网络，最后获得的最终补全数据集准确完整，符合历史数据的隐藏的统计信息特征。S2.5：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集Xout；计算最终补全数据集的均方根误差对补全效果就行评价，均方根误差的计算公式为：
Figure BDA0003378388460000101
下面基于公开数据集ElectricityLoadDiagrams20112014 Data Set对本实施例提出的一种基于生成对抗网络的电能计量数据补全方法进行验证：
ElectricityLoadDiagrams20112014 Data Set是从2011年到2014年之间，321个客户每15分钟记录一次千瓦时的用电量，在本实施例中将数据转换为反映每小时的消耗量，取2014年1月到2014年6月的数据作为完整历史数据，2014年9月的数据作为缺失数据集，以20％的数据缺失对完整历史数据进行剔除，利用上述方法对构建的生成对抗网络进行训练；训练完成后，对缺失数据集进行补全，计算出的均方根误差为0.064437，补全结果准确。
实施例3
本实施例提供了一种基于生成对抗网络的电能计量数据补全系统，如图3所示，包括：
数据获取模块，用于获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
网络训练模块，用于构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
矩阵生成模块，根据缺失数据集中缺失数据的位置生成掩码矩阵；
预处理模块，用于对缺失数据集进行预处理，获得预处理后的缺失数据集；
初始补全模块，用于将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
最终补全模块，用于对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于生成对抗网络的电能计量数据补全方法，其特征在于，包括：
S1：获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
S2：构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
S3：根据缺失数据集中缺失数据的位置生成掩码矩阵；
S4：对缺失数据集进行预处理，获得预处理后的缺失数据集；
S5：将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
S6：对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
2.根据权利要求1所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S3中，根据缺失数据集中缺失数据的位置生成掩码矩阵的具体方法为：
掩码矩阵M维度与缺失数据集X的维度相同，包含的元素由0，1构成；若缺失数据集X中第i行第j列的元素xij缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为0；若缺失数据集X中第i行第j列的元素xij没有缺失时，掩码矩阵M中对应第i行第j列的元素mij取值置为1。
3.根据权利要求2所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S4的具体方法为：
S4.1：对缺失数据集X进行归一化处理，获得归一化处理后的缺失数据集X*；
S4.2：生成0到1之间的随机数，填入归一化处理后的缺失数据集X*中数据缺失的位置，获得预处理后的缺失数据集
Figure FDA0003378388450000011
4.根据权利要求3所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S4.1中，对缺失数据集中的数据进行归一化处理的具体方法为：
对缺失数据集X中数据在时间维度上进行归一化处理，归一化公式为：
Figure FDA0003378388450000012
式中，xij表示缺失数据集X中第i行第j列的元素，min(X[：，j])表示缺失数据集X中第j列元素的最小值，max(X[：，j])表示缺失数据集X中第j列元素的最大值。
5.根据权利要求4所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S4.2的具体方法为：
利用随机矩阵生成器生成随机矩阵Z，维度与掩码矩阵M维度相同，元素zij均为0-1之间的随机数；全1矩阵的维度与掩码矩阵M维度相同，利用全1矩阵与掩码矩阵M维度相减后，与随机矩阵Z进行哈达玛乘积运算，使随机矩阵Z中的元素位置与归一化处理后的缺失数据集X*中数据缺失的位置一一对应，相加后形成预处理后的缺失数据集
Figure FDA0003378388450000021
表示为：
Figure FDA0003378388450000022
式中，Z表示随机矩阵，⊙表示哈达玛乘积，1表示全1矩阵。
6.根据权利要求5所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S5的具体过程为：
S5.1：生成对抗网络包括生成器和判别器；将预处理后的缺失数据集
Figure FDA0003378388450000023
和掩码矩阵M拼接后输入生成器，产生补充矩阵Xg，利用补充矩阵Xg中的元素
Figure FDA0003378388450000024
替换预处理后的缺失数据集
Figure FDA0003378388450000025
中的元素zij，生成器输出初始补全数据集
Figure FDA0003378388450000026
S5.2：利用随机数生成器生成提示矩阵H，将初始补全数据集
Figure FDA0003378388450000027
与提示矩阵H拼接后输入辨别器，同时将掩码矩阵M也输入辨别器中，辨别器输出概率矩阵P；
S5.3：根据预处理后的缺失数据集
Figure FDA0003378388450000028
补充矩阵Xg、掩码矩阵M、概率矩阵P构建生成器和辨别器的损失函数，并计算损失函数的损失值，利用反向传播算法对生成器和辨别器的网络参数进行更新；
S5.4：重复步骤S5.1-S5.3，直到生成对抗网络收敛，输出生成对抗网络收敛时对应的初始补全数据集
Figure FDA0003378388450000029
7.根据权利要求6所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S5.3中，生成器的损失函数为：
Figure FDA00033783884500000210
辨别器的损失函数为：
LD＝∑[Milog(Pi)+(1-Mi)log(1-Pi)]
式中，G表示生成器，
Figure FDA0003378388450000031
表示补充矩阵Xg中第i行元素，
Figure FDA0003378388450000032
表示预处理后的缺失数据集
Figure FDA0003378388450000033
中第i行元素，Mi表示掩码矩阵M中第i行元素，Pi表示概率矩阵P中第i行元素。
8.根据权利要求7所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S6中，对初始补全数据集进行处理为去归一化操作，具体方法为：
对初始补全数据集中的元素
Figure FDA0003378388450000034
进行去归一化处理，去归一化公式为：
Figure FDA0003378388450000035
式中，min(X[：，j])表示缺失数据集X中第j列元素的最小值，max(X[：，j])表示缺失数据集X中第j元素的最大值。
9.根据权利要求8所述的基于生成对抗网络的电能计量数据补全方法，其特征在于，所述步骤S2中，获得训练好的生成对抗网络的具体方法为：
S2.1：随机对完整历史数据集中的数据进行剔除，使其转化为缺失数据集；
S2.2：根据缺失数据集中缺失数据的位置生成掩码矩阵；
S2.3：对缺失数据集进行预处理，获得预处理后的缺失数据集；
S2.4：利用预处理后的缺失数据集和掩码矩阵对构建的生成对抗网络进行训练，直到生成对抗网络收敛，保存相应的网络参数，获得训练好的生成对抗网络。
10.一种基于生成对抗网络的电能计量数据补全系统，其特征在于，包括：
数据获取模块，用于获取矩阵形式的电能计量数据的完整历史数据集和缺失数据集；
网络训练模块，用于构建生成对抗网络，利用完整历史数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；
矩阵生成模块，根据缺失数据集中缺失数据的位置生成掩码矩阵；
预处理模块，用于对缺失数据集进行预处理，获得预处理后的缺失数据集；
初始补全模块，用于将预处理后的缺失数据集和掩码矩阵输入训练好的生成对抗网络，获得初始补全数据集；
最终补全模块，用于对初始补全数据集进行处理，利用处理后的初始补全数据集对缺失数据集进行补充，获得最终补全数据集。
CN202111425843.2A 2021-11-26 2021-11-26 一种基于生成对抗网络的电能计量数据补全方法和系统 Pending CN114091615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111425843.2A CN114091615A (zh) 2021-11-26 2021-11-26 一种基于生成对抗网络的电能计量数据补全方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111425843.2A CN114091615A (zh) 2021-11-26 2021-11-26 一种基于生成对抗网络的电能计量数据补全方法和系统

Publications (1)

Publication Number Publication Date
CN114091615A true CN114091615A (zh) 2022-02-25

Family

ID=80305125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111425843.2A Pending CN114091615A (zh) 2021-11-26 2021-11-26 一种基于生成对抗网络的电能计量数据补全方法和系统

Country Status (1)

Country Link
CN (1) CN114091615A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115221153A (zh) * 2022-09-14 2022-10-21 集度科技有限公司 一种缺失数据填补方法、装置和计算机可读存储介质
CN115392615A (zh) * 2022-04-24 2022-11-25 国网山东省电力公司信息通信公司 基于信息增强生成对抗网络的数据缺失值补全方法及系统
CN116579382A (zh) * 2023-02-21 2023-08-11 上海交通大学 基于生成对抗网络的微型pmu量测数据补全系统及训练方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392615A (zh) * 2022-04-24 2022-11-25 国网山东省电力公司信息通信公司 基于信息增强生成对抗网络的数据缺失值补全方法及系统
CN115392615B (zh) * 2022-04-24 2023-09-29 国网山东省电力公司信息通信公司 基于信息增强生成对抗网络的数据缺失值补全方法及系统
CN115221153A (zh) * 2022-09-14 2022-10-21 集度科技有限公司 一种缺失数据填补方法、装置和计算机可读存储介质
CN115221153B (zh) * 2022-09-14 2023-03-07 集度科技有限公司 一种缺失数据填补方法、装置和计算机可读存储介质
CN116579382A (zh) * 2023-02-21 2023-08-11 上海交通大学 基于生成对抗网络的微型pmu量测数据补全系统及训练方法

Similar Documents

Publication Publication Date Title
CN112365040B (zh) 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法
CN114091615A (zh) 一种基于生成对抗网络的电能计量数据补全方法和系统
CN110175386B (zh) 变电站电气设备温度预测方法
CN110212528B (zh) 一种配电网量测数据缺失重构方法
CN109902340B (zh) 一种计及复杂气象耦合特性的多源-荷联合场景生成方法
CN112330050A (zh) 一种基于双层XGBoost考虑多特征的电力系统负荷预测方法
CN111931989A (zh) 基于深度学习神经网络的电力系统短期负荷预测方法
CN113222289A (zh) 一种基于数据处理的能源功率的预测方法
CN112990553A (zh) 使用自注意机制和双线性融合的风电超短期功率预测方法
CN112418476A (zh) 一种超短期电力负荷预测方法
CN115275991A (zh) 一种基于iemd-ta-lstm模型的主动配电网运行态势预测方法
CN114707712A (zh) 一种发电机组备件需求的预测方法
CN115186923A (zh) 光伏发电功率的预测方法、装置及电子设备
CN112348247B (zh) 一种光能发电的预测方法、装置、计算机设备及存储介质
CN116706907B (zh) 基于模糊推理的光伏发电预测方法和相关设备
CN114202174A (zh) 一种电价风险等级预警方法、装置及存储介质
Phan et al. Application of a new Transformer-based model and XGBoost to improve one-day-ahead solar power forecasts
CN113256543A (zh) 一种基于图卷积神经网络模型的点云补全方法
CN112232570A (zh) 一种正向有功总电量预测方法、装置及可读存储介质
Foggo et al. pmuBAGE: The benchmarking assortment of generated PMU data for power system events
CN115860212A (zh) 一种配电网的风险预测方法与终端
CN114971090A (zh) 一种电供暖负荷预测方法、系统、设备和介质
CN114638421A (zh) 一种发电机组备件需求的预测方法
CN114861977A (zh) 一种面向不均衡电力数据的蒸馏集成模式感知算法及系统
CN107679478A (zh) 输电线路空间负荷状态的提取方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination