CN111930732A - 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置 - Google Patents

基于级联卷积自编码器的缺失电力负荷数据修复方法及装置 Download PDF

Info

Publication number
CN111930732A
CN111930732A CN202010767772.3A CN202010767772A CN111930732A CN 111930732 A CN111930732 A CN 111930732A CN 202010767772 A CN202010767772 A CN 202010767772A CN 111930732 A CN111930732 A CN 111930732A
Authority
CN
China
Prior art keywords
data
power load
load data
matrix
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010767772.3A
Other languages
English (en)
Other versions
CN111930732B (zh
Inventor
杨强
陈源奕
王文海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010767772.3A priority Critical patent/CN111930732B/zh
Publication of CN111930732A publication Critical patent/CN111930732A/zh
Application granted granted Critical
Publication of CN111930732B publication Critical patent/CN111930732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开了一种基于级联卷积自编码器的缺失电力负荷数据修复方法及装置。该方法包括：获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的所述级联卷积自编码器网络中，得到修复后的电力负荷数据。本发明公开的方法可以对残缺的电力负荷数据进行修复，实现较高的修复精度。

Description

基于级联卷积自编码器的缺失电力负荷数据修复方法及装置
技术领域
本发明涉及缺失电力负荷数据的修复领域，特别是涉及一种基于级联卷积自编码器的缺失电力负荷数据修复方法及装置。
背景技术
能源互联网背景下的电力系统规模日益庞大，以电力负荷为代表的各种测量数据作为电力系统中信息传递的基石，直接影响着系统安全与稳定。随着数据量和传输距离的逐渐增长，现有的采样和传输方式，由于设备故障或者环境扰动等不稳定因素，难免出现数据的缺失问题，严重影响系统的稳定运行和状态估计。
电力系统中缺失负荷数据的修复通常可以归类到统计学的插值问题，传统的数学方法包括均值填充法、多项式插值、k最邻近法等。这些算法简便易行，但仅对丢失数据前后小范围内的数据敏感，要求数据本身是相对平缓的，无法从大的时间尺度上感知数据的内在关联，因而在长时间的连续数据丢失上的表现较差。
发明内容
本发明实施例针对现有缺失数据修复技术的不足，提供一种基于级联卷积自编码器的缺失电力负荷数据修复方法及装置。
本发明实施例所采用的技术方案如下：
第一方面，本发明实施例提供了一种基于级联卷积自编码器的缺失电力负荷数据修复方法，包括：
获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；
对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；
将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的所述级联卷积自编码器网络中，得到修复后的电力负荷数据。
可选的，所述缺失遮罩生成模型，包括：
在预设的缺失率和缺失片段平均长度下，随机模拟生成与原始电力负荷数据规模相同的缺失遮罩；
对缺失遮罩进行分级处理，得到K个相同规模的分级子遮罩，K为预设分级数。
可选的，所述分级处理，包括：
生成K个与所述缺失遮罩规模一致的空白分级子遮罩；
将所述缺失遮罩中的缺失片段同时从两端向中间按给定比例划分为更小的子片段，共划分K次；第i次划分出的子片段总长度与所述缺失片段总长度的比值为划分率Li；
将每次划分出的所述子片段作为对应空白分级子遮罩中的缺失片段，得到K个分级子遮罩。
可选的，所述生成模拟残缺数据，包括：
根据所述缺失遮罩中缺失片段所在位置，将所述原始电力负荷数据中对应位置上的数据清零模拟缺失，得到模拟残缺数据。
可选的，所述对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，包括：
参考所述模拟残缺数据中非缺失数据的最小值和最大值，分别将所述原始电力负荷数据的中全部数据和模拟残缺数据中的非缺失数据进行归一化处理，得到归一化的原始电力负荷数据和归一化的模拟残缺数据；
分别将所述归一化的原始电力负荷数据、归一化的模拟残缺数据和分级子遮罩按每日采样数据个数m截断为k个行向量，k为原始电力负荷数据集对应的采集天数，并各自重组为相应的k×m原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵；
将所述原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵各自左、右两侧的p列数据复制并交叉填充到矩阵右侧和左侧，p为填充深度；填充矩阵右侧时，填充部分舍弃最下面一行并整体下移一行，上面多出的一个空行数据全部以零代替；填充矩阵左侧时，填充部分舍弃最上面一行并整体上移一行，下面多出的一个空行数据全部以零代替；由此分别得到填充后的k×(m+2p)原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵；
将所述填充后的原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵划分为多个更小的(m+2p)×(m+2p)矩阵分片，相邻矩阵分片之间存在2p行重叠区域，进而得到原始电力负荷数据矩阵分片、模拟残缺数据矩阵分片和分级子遮罩矩阵分片；各矩阵分片上下边缘p行和左右边缘p列区域为填充区，内部m×m区域为核心区。
可选的，所述级联卷积自编码器网络包括：级联的K个卷积自编码器CAEi以及一个还原器R；其中每个所述卷积自编码器CAEi包括编码器Ei、解码器Di和过滤器Fi；所述卷积自编码器CAEi用于修复第i级分级子遮罩对应的缺失数据，所述编码器Ei用于对卷积自编码器CAEi的输入矩阵分片进行上采样卷积编码，所述解码器Di用于对所述编码器Ei的输出进行下采样卷积解码，所述过滤器Fi用于对所述解码器Di的输出进行过滤，所述还原器R用于将最后一级卷积自编码器CAEK的输出矩阵分片FK还原为预处理前的一维时间序列。
可选的，所述还原器R将对最后一级卷积自编码器CAEK的输出矩阵分片FK提取核心区矩阵Core(FK)，再将各矩阵分片的核心区矩阵各行向量依次取出并首尾相连，还原为各分片的一维时间序列，然后将相邻矩阵分片对应的所述一维时间序列首尾相连，得到完整一维时间序列，最后将所述完整时间序列各元素乘以修复前残缺数据中非缺失数据的最大值与最小值之差，再加上最小值，得到修复后的一维电力负荷数据。
可选的，所述级联卷积自编码的最后一级所述过滤器输出FK将被提取核心区矩阵Core(FK)，再将各矩阵分片的核心区矩阵各行向量依次取出并首尾相连，还原为各分片的一维时间序列，然后将相邻矩阵分片对应的所述一维时间序列首尾相连，得到完整一维时间序列，最后将所述完整时间序列各元素乘以修复前残缺数据中非缺失数据的最大值与最小值之差，再加上最小值，得到修复后的电力负荷数据。
可选的，所述级联卷积自编码器网络的损失函数
Figure BDA0002615338620000031
为：
Figure BDA0002615338620000041
其中n代表所述原始电力负荷数据的规模，mi代表所述缺失遮罩中的二进制数，Core为核心区域提取函数，FK为最后一级所述过滤器的输出，
Figure BDA0002615338620000042
为预处理后的原始电力负荷数据矩阵分片。
可选的，所述将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理前，还包括：
对待修复的残缺电力负荷数据对应的已知真实缺失遮罩进行所述分级处理，得到相应的所述分级子遮罩。
第二方面，本发明实施例还提供了一种基于级联卷积自编码器的缺失电力负荷数据修复装置，包括：
训练数据获取模块，用于获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；
预处理和训练模块，用于对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；
修复模块，用于将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的所述级联卷积自编码器网络中，得到修复后的完整电力负荷数据。
根据以上技术方案，本发明通过获取不含缺失的原始电力负荷数据和模拟残缺数据及其分级子遮罩，对其预处理后用于级联卷积自编码网络的训练，再将待修复的残缺电力负荷数据及其对应分级遮子罩输入该级联卷积自编码器网络，得到修复后的电力负荷数据，由于经过预处理后的残缺数据将拥有更多的相邻数据可供参考，且级联网络的修复过程逐渐进行，因此可以获得更高的修复精度，从而解决电力荷数据存在多时间尺度下的周期性且难以被全面感知，进而无法精确修复缺失数据的问题；同时，待修复数据将被截断重组为矩阵后再批量参与修复，因此修复的效率将得到极大的提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于级联卷积自编码器的缺失电力负荷数据修复方法的流程图；
图2为本发明实施例提供的基于级联卷积自编码器的缺失电力负荷数据修复方法的部分方法流程图；
图3为本发明实施例提供的基于级联卷积自编码器的缺失电力负荷数据修复方法的又一部分方法流程图；
图4为本发明实施例提供的级联卷积自编码器网络结构示意图；
图5为本发明实施例提供的级联卷积自编码器修复前后的矩阵分片对比图；
图6为本发明实施例提供的级联卷积自编码器修复前后的一维时间序列对比图；
图7为本发明实施例提供的基于级联卷积自编码器的缺失电力负荷数据修复装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1为本发明实施例中基于级联卷积自编码器的缺失电力负荷数据修复方法的流程图，包括如下步骤：
步骤S10，获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；
在具体实现过程中，步骤S10“获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据”可以具体采用以下子步骤，方法流程如图2所示：
步骤S101，获取往年不含缺失的电力负荷数据；
在执行步骤S101的过程中，可以选择任意地区的往年负荷数据，相应每日采集数据的数量可以与待修复数据不同，优选的，可以选择待修复数据对应地区或相似地区的负荷数据，同时满足每日采集数据的数量与待修复数据一致。
在一个示例性的实施例中，选择欧洲某地电力负荷数据按80％：20％的比例分别作为训练集和验证集，其中每日采集数据个数为96，数据集共包括2000天的历史负荷数据。
步骤S102，由缺失遮罩生成模型模拟生成缺失遮罩；
在执行步骤S102的过程中，按照预设的缺失率和缺失片段平均长度随机模拟生成与原始电力负荷数据规模相同的缺失遮罩。
在一个示例性的实施例中，所述缺失率将分别预设为5％至95％且以5％为步长，同时缺失片段平均长度预设为24。在不同的缺失率下生成多组缺失遮罩作为训练数据，用于最大程度模拟不同的数据缺失严重程度，提高模型的修复能力。
步骤S103，对缺失遮罩进行分级处理，得到分级子遮罩；
在执行步骤S103的过程中，首先生成K个与所述缺失遮罩规模一致的空白分级子遮罩，K为预设分级数；其次，将所述缺失遮罩中的缺失片段同时从两端向中间按预设划分率划分为更小的子片段，共划分K次，第i次划分出的子片段总长度与所述缺失片段总长度的比值为划分率Li；最后，将每次划分出的所述子片段作为对应空白分级子遮罩中的缺失片段，得到K个分级子遮罩。
在一个示例性的实施例中，所述分级系数K＝，对应三级划分率L1＝4％，L2＝3％，L3＝30％。分级使得位于缺失片段中部的缺失数据可以在其边缘数据被修复的基础上再进行修复，从而提高对于长缺失片段的修复精细度。
步骤S104，生成模拟残缺数据；
在执行步骤S104的过程中，根据所述缺失遮罩中缺失片段所在位置，将所述原始电力负荷数据中对应位置上的数据清零模拟缺失，得到模拟残缺数据。
步骤S20，对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；
在具体实现过程中，步骤S20“对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络”可以具体采用以下子步骤，方法流程如图3所示：
步骤S201，归一化处理；
在执行步骤S201的过程中，参考所述模拟残缺数据中非缺失数据的最小值和最大值，分别将所述原始电力负荷数据的中全部数据和模拟残缺数据中的非缺失数据进行归一化处理，得到归一化的原始电力负荷数据和归一化的模拟残缺数据。
在一个示例性的实施例中，由于缺失数据将用0代替，而0的加入使得模拟残缺数据被污染，进而导致其最大值或最小值偏离实际值，因此选择仅在非缺失数据中寻找最大值和最小值作为归一化依据，且不对缺失数据进行归一化。
步骤S202，截断重组为数据矩阵；
在执行步骤S202的过程中，分别将所述归一化的原始电力负荷数据、归一化的模拟残缺数据和分级子遮罩按每日采样数据个数m截断为k个行向量，k为原始电力负荷数据集对应的采集天数，并各自重组为相应的k×m原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵。
在一个示例性的实施例中，m＝96，k＝2000。矩阵的二维结构增加了缺失数据相邻的可利用数据，同时也使得原一维数据具备了二维的图像特征，从而可以借助图像修复技术修复缺失数据。
步骤S203，对数据矩阵进行边缘填充；
在执行步骤S203的过程中，将所述原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵各自左、右两侧的p列数据复制并交叉填充到矩阵右侧和左侧，p为填充深度；填充矩阵右侧时，填充部分舍弃最下面一行并整体下移一行，上面多出的一个空行数据全部以零代替；填充矩阵左侧时，填充部分舍弃最上面一行并整体上移一行，下面多出的一个空行数据全部以零代替；由此分别得到填充后的k×(m+2p)原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵。
在一个示例性的实施例中，p＝9。填充前原数据矩阵的左右边缘在逻辑上是相邻的，因此可以用于互相填充；填充后原数据矩阵的左右边缘将拥有一定的冗余数据，可以弥补原边缘数据因为缺少相邻数据而难以精确修复的弊端。
步骤S204，将填充后的数据矩阵划分为矩阵分片；
在执行步骤S204的过程中，将所述填充后的原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵划分为多个更小的(m+2p)×(m+2p)矩阵分片，相邻矩阵分片之间存在2p行重叠区域，进而得到原始电力负荷数据矩阵分片、模拟残缺数据矩阵分片和分级子遮罩矩阵分片；各矩阵分片上下边缘p行和左右边缘p列区域为填充区，内部m×m区域为核心区。
步骤S205，训练级联卷积自编码器；
在执行步骤S205的过程中，采用监督学习的方式对模型进行训练，损失函数仅考虑输出数据矩阵分片与原始电力负荷数据矩阵分片在核心区的误差。
所述级联卷积自编码器网络结构如图4所示。包括：级联的K个卷积自编码器CAEi以及一个还原器R。其中每个所述卷积自编码器CAEi包括编码器Ei、解码器Di和过滤器Fi；所述卷积自编码器CAEi用于修复第i级分级子遮罩对应的缺失数据，所述编码器Ei用于对卷积自编码器CAEi的输入矩阵分片进行上采样卷积编码，所述解码器Di用于对所述编码器Ei的输出进行下采样卷积解码，所述过滤器Fi用于对所述解码器Di的输出进行过滤，仅保留对第i级至第K级对应分级子遮罩上数据的修改，其余数据均与卷积自编码器CAEi的输入矩阵分片一致。编码器Ei、解码器Di和过滤器Fi的输入输出张量第一、二维度均保持m+2p不变。所述还原器R用于将最后一级卷积自编码器CAEK的输出矩阵分片FK还原为预处理前的一维时间序列X′rec。图中
Figure BDA0002615338620000092
为输入的预处理后的待修复残缺数据。
所述还原器R将对最后一级卷积自编码器CAEK的输出矩阵分片FK提取核心区矩阵Core(FK)，再将各矩阵分片的核心区矩阵各行向量依次取出并首尾相连，还原为各分片的一维时间序列，然后将相邻矩阵分片对应的所述一维时间序列首尾相连，得到完整一维时间序列，最后将所述完整时间序列各元素乘以修复前残缺数据中非缺失数据的最大值与最小值之差，再加上最小值，得到修复后的一维电力负荷数据。
在一个示例性的实施例中，所述级联卷积自编码器网络的损失函数
Figure BDA0002615338620000094
为修复前后核心区上缺失数据的均方根误差：
Figure BDA0002615338620000091
其中n代表所述原始电力负荷数据的规模，mi代表所述缺失遮罩中的二进制数，Core为核心区域提取函数，FK为最后一级所述过滤器的输出，
Figure BDA0002615338620000093
为预处理后的原始电力负荷数据矩阵分片。
优选的，在本申请实施例中，所述级联卷积自编码器网络共包含3个卷积自编码器和一个还原器R。其中各卷积自编码器的编码器Ei、解码器Di均各由两个卷积层组成，相应的卷积核数量分别为，CAE1：64，96，32，1；CAE2：32，64，16，1；CAE3：32，64，16，1；相应的卷积核大小分别为，CAE1：(5，5)，(11，11)，(5，5)，(3，3)；CAE2：(7，7)，(5，5)，(3，3)，(3，3)；CAE3：(5，5)，(5，5)，(3，3)，(3，3)。各卷积层的卷积步长均为1，填充方式均为same，激活函数均为Relu。
步骤S30，将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的所述级联卷积自编码器网络中，得到修复后的电力负荷数据。
在执行步骤S30的过程中，对待修复的残缺电力负荷数据对应的已知真实缺失遮罩进行所述分级处理，得到相应的所述分级子遮罩。
在一个示例性的实施例中，在不同缺失率下经过所述级联卷积自编码器修复前后的矩阵分片对比如图5所示，其中输入矩阵分片的黑色区域为缺失数据，还原为一维时间序列后部分结果对比如图6所示。
基于上述实施例提供的缺失电力负荷数据修复方法，本发明实施例还提供一种执行上述缺失电力负荷数据修复方法的装置，其结构示意图如图7所示，在一个示例性的实施例中，所述装置包括：
训练数据获取模块10，用于获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；
预处理和训练模块20，用于对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；
修复模块30，用于将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的所述级联卷积自编码器网络中，得到修复后的完整电力负荷数据。
在一个示例性的实施例中，所述训练数据获取模块10包括：
缺失遮罩生成单元，在预设的缺失率和缺失片段长度分布下，随机模拟生成与原始电力负荷数据规模相同的缺失遮罩；
分级单元，生成K个与所述缺失遮罩规模一致的空白分级子遮罩；将所述缺失遮罩中的缺失片段同时从两端向中间按预设划分率划分为更小的子片段，共划分K次；第i次划分出的子片段总长度与所述缺失片段总长度的比值为划分率Li；将每次划分出的所述子片段作为对应空白分级子遮罩中的缺失片段，得到K个分级子遮罩。
缺失数据生成单元，根据所述缺失遮罩中缺失片段所在位置，将所述原始电力负荷数据中对应位置上的数据清零模拟缺失，得到模拟残缺数据。
在一个示例性的实施例中，所述预处理和训练模块20包括：
归一化单元，参考所述模拟残缺数据中非缺失数据的最小值和最大值，分别将所述原始电力负荷数据的中全部数据和模拟残缺数据中的非缺失数据进行归一化处理，得到归一化的原始电力负荷数据和归一化的模拟残缺数据；
截断重组单元，分别将所述归一化的原始电力负荷数据、归一化的模拟残缺数据和分级子遮罩按每日采样数据个数m截断为k个行向量，k为原始电力负荷数据集对应的采集天数，并各自重组为相应的k×m原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵；
填充单元，将所述原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵各自左、右两侧的p列数据复制并交叉填充到矩阵右侧和左侧，p为填充深度；填充矩阵右侧时，填充部分舍弃最下面一行并整体下移一行，上面多出的一个空行数据全部以零代替；填充矩阵左侧时，填充部分舍弃最上面一行并整体上移一行，下面多出的一个空行数据全部以零代替；由此分别得到填充后的k×(m+2p)原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵；
分片单元，将所述填充后的原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵划分为多个更小的(m+2p)×(m+2p)矩阵分片，相邻矩阵分片之间存在2p行重叠区域，进而得到原始电力负荷数据矩阵分片、模拟残缺数据矩阵分片和分级子遮罩矩阵分片；各矩阵分片上下边缘p行和左右边缘p列区域为填充区，内部m×m区域为核心区。
所述级联卷积自编码器网络，包括：级联的K个卷积自编码器CAEi以及一个还原器R。其中每个所述卷积自编码器CAEi包括编码器Ei、解码器Di和过滤器Fi；所述卷积自编码器CAEi用于修复第i级分级子遮罩对应的缺失数据，所述编码器Ei用于对卷积自编码器CAEi的输入矩阵分片进行上采样卷积编码，所述解码器Di用于对所述编码器Ei的输出进行下采样卷积解码，所述过滤器Fi用于对所述解码器Di的输出进行过滤，所述还原器R用于将最后一级卷积自编码器CAEK的输出矩阵分片FK还原为预处理前的一维时间序列。
所述还原器R将对最后一级卷积自编码器CAEK的输出矩阵分片FK提取核心区矩阵Core(FK)，再将各矩阵分片的核心区矩阵各行向量依次取出并首尾相连，还原为各分片的一维时间序列，然后将相邻矩阵分片对应的所述一维时间序列首尾相连，得到完整一维时间序列，最后将所述完整时间序列各元素乘以修复前残缺数据中非缺失数据的最大值与最小值之差，再加上最小值，得到修复后的一维电力负荷数据。
所述级联卷积自编码器网络的损失函数
Figure BDA0002615338620000122
为
Figure BDA0002615338620000121
其中n代表所述原始电力负荷数据的规模，mi代表所述缺失遮罩中的二进制数，Core为核心区域提取函数，FK为最后一级所述过滤器的输出，
Figure BDA0002615338620000123
为预处理后的原始电力负荷数据矩阵分片。
在一个示例性的实施例中，所述修复模块30之前还包括：
对待修复的残缺电力负荷数据对应的已知真实缺失遮罩进行所述分级处理，得到相应的所述分级子遮罩。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，包括：
获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；
对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；
将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的级联卷积自编码器网络中，得到修复后的电力负荷数据。
2.根据权利要求1所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述缺失遮罩生成模型，包括：
在预设的缺失率和缺失片段平均长度下，随机模拟生成与原始电力负荷数据规模相同的缺失遮罩；
对缺失遮罩进行分级处理，得到K个相同规模的分级子遮罩，K为预设分级数。
3.根据权利要求2所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述分级处理，包括：
生成K个与所述缺失遮罩规模一致的空白分级子遮罩；
将所述缺失遮罩中的缺失片段同时从两端向中间按预设划分率划分为更小的子片段，共划分K次，其中第i次划分出的子片段总长度与所述缺失片段总长度的比值为划分率Li；
将每次划分出的所述子片段作为对应空白分级子遮罩中的缺失片段，得到K个分级子遮罩。
4.根据权利要求1所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述生成模拟残缺数据，包括：
根据所述缺失遮罩中缺失片段所在位置，将所述原始电力负荷数据中对应位置上的数据清零模拟缺失，得到模拟残缺数据。
5.根据权利要求1所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，包括：
参考所述模拟残缺数据中非缺失数据的最小值和最大值，分别将所述原始电力负荷数据的中全部数据和模拟残缺数据中的非缺失数据进行归一化处理，得到归一化的原始电力负荷数据和归一化的模拟残缺数据；
分别将所述归一化的原始电力负荷数据、归一化的模拟残缺数据和分级子遮罩按每日采样数据个数m截断为k个行向量，k为原始电力负荷数据集对应的采集天数，并各自重组为相应的k×m原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵；
将所述原始电力负荷数据矩阵、模拟残缺数据矩阵和分级子遮罩矩阵各自左、右两侧的p列数据复制并交叉填充到矩阵右侧和左侧，p为填充深度；填充矩阵右侧时，填充部分舍弃最下面一行并整体下移一行，上面多出的一个空行数据全部以零代替；填充矩阵左侧时，填充部分舍弃最上面一行并整体上移一行，下面多出的一个空行数据全部以零代替；由此分别得到填充后的k×(m+2p)原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵；
将所述填充后的原始电力负荷数据矩阵、填充后的模拟残缺数据矩阵和填充后的分级子遮罩矩阵划分为多个更小的(m+2p)×(m+2p)矩阵分片，相邻矩阵分片之间存在2p行重叠区域，进而得到原始电力负荷数据矩阵分片、模拟残缺数据矩阵分片和分级子遮罩矩阵分片；各矩阵分片上下边缘p行和左右边缘p列区域为填充区，内部m×m区域为核心区。
6.根据权利要求1所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述级联卷积自编码器网络包括级联的K个卷积自编码器CAEi以及一个还原器R，其中每个所述卷积自编码器CAEi包括编码器Ei、解码器Di和过滤器Fi；所述卷积自编码器CAEi用于修复第i级分级子遮罩对应的缺失数据，所述编码器Ei用于对卷积自编码器CAEi的输入矩阵分片进行上采样卷积编码，所述解码器Di用于对所述编码器Ei的输出进行下采样卷积解码，所述过滤器Fi用于对所述解码器Di的输出进行过滤；所述还原器R用于将最后一级卷积自编码器CAEK的输出矩阵分片FK还原为预处理前的一维时间序列。
7.根据权利要求6所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述还原器R将对最后一级卷积自编码器CAEK的输出矩阵分片FK提取核心区矩阵Core(FK)，再将各矩阵分片的核心区矩阵各行向量依次取出并首尾相连，还原为各分片的一维时间序列，然后将相邻矩阵分片对应的所述一维时间序列首尾相连，得到完整一维时间序列，最后将所述完整时间序列各元素乘以修复前残缺数据中非缺失数据的最大值与最小值之差，再加上最小值，得到修复后的一维电力负荷数据。
8.根据权利要求6所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述级联卷积自编码器网络的损失函数
Figure FDA0002615338610000032
为：
Figure FDA0002615338610000031
其中n代表所述原始电力负荷数据的规模，mi代表所述缺失遮罩中的二进制数，Core为核心区域提取函数，FK为最后一级所述过滤器的输出，
Figure FDA0002615338610000033
为预处理后的原始电力负荷数据矩阵分片。
9.根据权利要求1所述基于级联卷积自编码器的缺失电力负荷数据修复方法，其特征在于，所述将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理前，还包括：
对待修复的残缺电力负荷数据对应的已知真实缺失遮罩进行所述分级处理，得到相应的所述分级子遮罩。
10.一种基于级联卷积自编码器的缺失电力负荷数据修复装置，其特征在于，所述装置包括：
训练数据获取模块，用于获取不含缺失的原始电力负荷数据，建立缺失遮罩生成模型，模拟生成分级子遮罩，并结合所述原始电力负荷数据生成模拟残缺数据；
预处理和训练模块，用于对所述原始电力负荷数据、模拟残缺数据和分级子遮罩进行预处理，作为训练集，建立级联卷积自编码器网络，训练所述级联卷积自编码器网络；
修复模块，用于将待修复的残缺电力负荷数据和对应的分级子遮罩进行所述预处理后，输入到训练后的所述级联卷积自编码器网络中，得到修复后的完整电力负荷数据。
CN202010767772.3A 2020-08-03 2020-08-03 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置 Active CN111930732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010767772.3A CN111930732B (zh) 2020-08-03 2020-08-03 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010767772.3A CN111930732B (zh) 2020-08-03 2020-08-03 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置

Publications (2)

Publication Number Publication Date
CN111930732A true CN111930732A (zh) 2020-11-13
CN111930732B CN111930732B (zh) 2022-06-28

Family

ID=73306370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010767772.3A Active CN111930732B (zh) 2020-08-03 2020-08-03 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置

Country Status (1)

Country Link
CN (1) CN111930732B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972082A (zh) * 2022-05-13 2022-08-30 天津大学 一种对高比例负荷缺失数据的恢复与评估方法
CN115738747A (zh) * 2022-11-29 2023-03-07 浙江致远环境科技股份有限公司 用于脱硫脱硝去除二噁英的陶瓷复合纤维催化滤管及其制备方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036329A (zh) * 2014-05-16 2014-09-10 浙江大学 一种基于多智能体协同寻优的含光伏微源主动配网拓扑重构方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036329A (zh) * 2014-05-16 2014-09-10 浙江大学 一种基于多智能体协同寻优的含光伏微源主动配网拓扑重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李承熹等: "含分布式光伏电源的微电网孤岛动态运行策略", 《电力系统保护与控制》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972082A (zh) * 2022-05-13 2022-08-30 天津大学 一种对高比例负荷缺失数据的恢复与评估方法
CN115738747A (zh) * 2022-11-29 2023-03-07 浙江致远环境科技股份有限公司 用于脱硫脱硝去除二噁英的陶瓷复合纤维催化滤管及其制备方法
CN115738747B (zh) * 2022-11-29 2024-01-23 浙江致远环境科技股份有限公司 用于脱硫脱硝去除二噁英的陶瓷复合纤维催化滤管及其制备方法

Also Published As

Publication number Publication date
CN111930732B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN105512289B (zh) 基于深度学习和哈希的图像检索方法
CN111930732B (zh) 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置
CN113450288A (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
CN113961759A (zh) 基于属性图表示学习的异常检测方法
CN111507100B (zh) 一种卷积自编码器及基于该编码器的词嵌入向量压缩方法
CN108765512A (zh) 一种基于多层级特征的对抗图像生成方法
CN113888491B (zh) 基于非局部特征的多级高光谱图像递进超分方法及系统
CN113378160A (zh) 一种基于生成式对抗网络的图神经网络模型防御方法及装置
CN113762265A (zh) 肺炎的分类分割方法及系统
CN107977461A (zh) 一种视频特征提取方法及装置
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN113034388A (zh) 一种古代绘画虚拟修复方法及修复模型的构建方法
CN117370650A (zh) 基于服务组合超图卷积网络的云计算数据推荐方法
CN109299291B (zh) 一种基于卷积神经网络的问答社区标签推荐方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN114549314A (zh) 一种提高图像分辨率的方法
CN113888417A (zh) 基于语义解析生成指导的人脸图像修复方法
CN110362580B (zh) 一种bim建筑工程数据检索优化归类方法及其系统
KR102197993B1 (ko) 분할 반복 부호를 이용한 데이터 분산 저장 장치 및 방법
CN113536508A (zh) 一种制造网络节点分类方法及系统
CN107433032A (zh) 棋局数据处理方法和装置
CN117670727B (zh) 一种基于残差密集u形网络的图像去模糊模型及方法
CN113158679B (zh) 基于多特征叠加胶囊网络的海洋产业实体识别方法及装置
CN112699835B (zh) 基于重建偏重U-Net的道路提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant