CN114972082A - 一种对高比例负荷缺失数据的恢复与评估方法 - Google Patents

一种对高比例负荷缺失数据的恢复与评估方法 Download PDF

Info

Publication number
CN114972082A
CN114972082A CN202210518397.8A CN202210518397A CN114972082A CN 114972082 A CN114972082 A CN 114972082A CN 202210518397 A CN202210518397 A CN 202210518397A CN 114972082 A CN114972082 A CN 114972082A
Authority
CN
China
Prior art keywords
load
image
norm
missing
load image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210518397.8A
Other languages
English (en)
Inventor
刘艳丽
刘李琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210518397.8A priority Critical patent/CN114972082A/zh
Publication of CN114972082A publication Critical patent/CN114972082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种对高比例负荷缺失数据的恢复与评估方法，所述方法对在U‑Net网络建立将负荷缺失数据恢复转化为负荷图像修复的图像处理模块，所述图像处理模块包括如下步骤：步骤(1)获取负荷数据；步骤(2)对负荷图像进行归一化处理，构建训练集；步骤(3)对原始U‑Net进行改进；步骤(4)训练改进U‑Net数据恢复网络；步骤(5)基于图像的结构相似性指标评估缺失数据恢复方法；本对于提高高比例缺失甚至长时间连续缺失情况下的负荷缺失数据恢复精度，全面评估负荷数据恢复效果有重要意义。

Description

一种对高比例负荷缺失数据的恢复与评估方法
技术领域：
本发明属于对负荷数据处理领域，尤其涉及一种对高比例负荷缺失数据的恢复与评估方法。
背景技术：
准确、完整的负荷数据是高级用电数据分析以及负荷管理的基础。然而由于硬件老化、量测环境恶劣等因素，在数据采集的过程中不可避免的会产生缺失数据，尤其是高比例数据缺失和连续缺失，会导致大面积有效信息的丢失，给进一步的数据分析造成阻碍。因此，如何准确、真实地恢复大量缺失数据是负荷缺失数据恢复亟待解决的关键问题。常见处理数据缺失问题的方法主要包括传统方法和基于神经网络的方法。
1)传统方法
传统方法是指在实际中广泛采用的基于已有的数据拟合或估计缺失数据的方法。例如，利用缺失数据的临近数据进行缺失部分的计算方法：插值法、临近插补发、均值法；利用历史数据拟合整体数据分布来推断出缺失部分的数据：回归分析法、期望最大法(EM)、K临近法(KNN)。然而当有效数据很少的大比例数据缺失或者数据连续缺失的情况发生时，该类方法并不适用。
2)基于神经网络的方法
基于神经网络的方法包括极限学习机(ELM)、长短期记忆网络(LSTM)、BP神经网络(BPNN)等，通过训练神经网络(NN)生成完整的数据。由于神经网络方法对缺失数据的长度非常敏感，因此在面对长时间连续缺失数据时，这些方法无法实现高精度的缺失数据恢复。
随着深度学习在图像修复领域的广泛应用，越来越复杂的图像修复问题得以解决。图像修复是一项旨在恢复不完整图像中受损部分像素特征的技术。近年来，它已成为图像处理领域一个重要且具有挑战性的研究课题，并在计算机视觉领域得到了越来越广泛的应用(如照片编辑中的对象删除、文本删除、块恢复、旧照片恢复等)。受图像修复技术的启发，即可以实现对不完整图像受损部分的修复，我们将负荷缺失数据恢复问题转化为不完整的负荷图像修复问题，然后使用图像修复的方法修复负荷图像。
U-Net是一个具有U型结构的卷积神经网络，具有编码-解码的结构：左半边的编码网络与普通卷积网络相同，使用3x3的卷积和池化下采样，能够抓住图像中的上下文信息(也即像素间的关系)；右半边的解码网络进行上采样，恢复到原图的形状，给出每个像素的预测；将左半边下采样网络的特征与右半边上采样部分的特征进行了融合以获得更准确的上下文信息，达到更好的恢复效果。U-Net在处理随机不规则图像孔洞修复方面展现了独特的优势。然而，经典的U-Net结构与超参数对负荷图像的修复并不完全适用，相对于更复杂尺寸更大的图像，负荷图像尺寸较小，相邻像素的值可能波动较大，因此需要重新调整U-Net的网络参数，使其适用于负荷图像的恢复，并且进一步改进U-Net的网络结构，从而提升高比例缺失时负荷缺失数据的恢复精度，存在挑战。
常用的深度学习评估方法多考虑网络输出与目标值的平均精度误差，然而负荷缺失数据的恢复不仅需要高精度，还需要将原有的负荷特性在高比例缺失的情况下尽可能的还原。因此需要采用图像相似度评估指标来量化评估模型输出的恢复结果与原始完整数据的负荷特性相似性，有利于更全面的评估负荷缺失数据的恢复效果。
发明内容：
本发明的目的在于克服现有技术的不足，提出一种对高比例负荷缺失数据的恢复与评估方法，该方法采用图像修复的思想，对于提高高比例缺失甚至长时间连续缺失情况下的负荷缺失数据恢复精度，全面评估负荷数据恢复效果有重要意义。
本发明解决其现实问题是采取以下技术方案实现的：
一种对高比例负荷缺失数据的恢复与评估方法，所述方法对在U-Net网络建立将负荷缺失数据恢复转化为负荷图像修复的图像处理模块，其特征在于，所述图像处理模块包括如下步骤：
步骤(1)采集U-Net网络中图像的历史数据，选择完整的负荷数据构建二维负荷矩阵；即采集t1到tM时刻的负荷数据lt1,...,ltM，引入日维度构建二维负荷矩阵，从中挑选连续W天的完整负荷矩阵Yoriginal共N个，Yoriginal的维度为(1×H×W)，H为每天采集数据个数；
步骤(2)根据二维负荷矩阵进行归一化处理生成负荷图像并建立负荷图像训练集；
对每个负荷矩阵进行归一化处理形成负荷图像，针对现实中的两种缺失情况：随机点缺失、随机连续缺失，在完整的负荷图像上随机将像素值置0，像素值为0则视为该位置的数据缺失，在负荷图像上表示为黑色的像素块，通过随机置0模拟两种类型的数据缺失以构造不完整的负荷图像，可设置不同缺失程度，并将对应的完整负荷图像与不完整负荷图像匹配以构建负荷图像训练集；
步骤(3)在原始U-Net网络结构最底层引入了由残差模块组成的残差网络并采用瓶颈残差方法提高残差模块计算速度生成改进的U-Net网络；
步骤(4)训练改进U-Net数据恢复网络：
将步骤(2)获得的不完整负荷图像输入到步骤(3)的改进U-Net网络中，以网络输出的负荷图像与完整的负荷图像绝对误差最小为目标函数，判断训练集的绝对误差下降是否保持平稳，若否，则采用Adam算法更新网络参数，并将新的不完整负荷图像输入到改进U-Net中，若是则终止训练，并保存网络参数；
步骤(5)基于图像的结构相似性指标评估缺失数据恢复方法：
针对负荷特性恢复相似性的评估，采用图像评估指标结构相似性来进一步全面评估负荷缺失数据的恢复效果；评估两个图像的相似度首先计算每个负荷图像的像素平均值构造亮度表示函数，然后计算标准差构造对比比较函数，最后归一化构造结构对比函数，整体相似度的评估即为这三个函数值相乘，并且满足对称性、有界性以及唯一最大值是1，而整体数据样本的评价指标是每个相似度的平均值；采用结构相似性评价改进U-Net网络恢复的负荷图像以及完整负荷图像之间的相似性，若SSIM的值越接近1，则表明网络恢复效果越好。
进一步，所述步骤(2)构建负荷图像训练集过程：
步骤(2-1)对步骤(1)生成的每个训练集负荷矩阵进行归一化处理形成负荷图像
对于第i个训练集的负荷矩阵Yi original进行归一化处理，形成负荷图像Yi norm，第p个归一化后的像素值
Figure BDA0003642255240000031
采用(1)式进行计算：
Figure BDA0003642255240000032
其中，
Figure BDA0003642255240000033
为负荷矩阵Yi original中第p个原始负荷值，
Figure BDA0003642255240000034
分别为原始负荷矩阵Yi original中的最大值、最小值；
步骤(2-2)对完整的负荷图像获取Mask进行随机缺失操作：
为了模拟实际的缺失情况以训练网络，获取Mask对完整的负荷图像进行随机缺失，M＝0(1×H×W)，可根据设定的缺失情况以及缺失率将指定位置的值改为1即可得到Mask；
步骤(2-3)将不同的Mask与每个训练集负荷图像进行元素相乘，即可获得不完整的负荷图像，与完整负荷图像匹配形成训练集：
对于第i个训练集的负荷图像Yi norm，构造不完整的网络输入图像Yi input＝Yi original⊙(1-Mask)。
进一步，所述步骤(5)中采用结构相似性评价改进U-Net网络恢复的负荷图像以及完整负荷图像之间的相似性过程：
分别求两个图像的像素平均值：
Figure BDA0003642255240000035
构造亮度表示函数
Figure BDA0003642255240000036
分别求两个图像的像素标准差：
Figure BDA0003642255240000041
构造对比比较函数
Figure BDA0003642255240000042
构造结构对比函数
Figure BDA0003642255240000043
其中：
Figure BDA0003642255240000044
则整体相似性度量下式所示：
S(Yi norm,Yi output)＝f[l(Yi norm,Yi output),c(Yi norm,Yi output),s(Yi norm,Yi output)]
其中，S(Yi norm,Yi output)应当满足：
对称性：S(Yi norm,Yi output)＝S(Yi output,Yi norm)；
有界性：S(Yi norm,Yi output)≤1；
唯一最大值：S(Yi norm,Yi output)＝1当且仅当Yi norm＝Yi output；
设结构相似性评价指标SSIM的表达式为：
SSIM(Yi norm,Yi output)＝[l(Yi norm,Yi output)]α[c(Yi norm,Yi output)]β[s(Yi norm,Yi output)]γ
令α＝β＝γ＝1，C3＝C2/2，则
Figure BDA0003642255240000045
通常的，可以取C1＝0.01，C2＝0.03；
整体数据样本评价指标如下式所示：
Figure BDA0003642255240000046
有益效果
如上所述，U-Net作为能够处理不规则图像孔洞恢复的卷积神经网络，由于负荷数据的随机性缺失在负荷图像上即显示为不规则的孔洞，因此采用U-Net恢复各种缺失程度、缺失类型的负荷缺失数据。然而，原始U-Net对于小尺寸、局部像素值波动大的负荷图像并不适用，如何改进U-Net，提升高比例缺失情况下负荷缺失数据的恢复精度，存在挑战。此外，如何全面评估负荷特性恢复程度也是一个难点。
本发明针对现有高比例缺失情况下负荷缺失数据恢复研究的不足，提出了一种基于改进U-Net的高比例负荷缺失数据恢复与评估方法。该方法将负荷缺失数据恢复问题转化为负荷图像修复问题，使用图像修复的方法修复不完整的负荷图像。为了适应负荷图像的特征，将原始U-Net网络结构简化，并引入了由瓶颈残差模块组成的残差网络进一步提升网络恢复性能；针对实际的数据缺失情况，分为随机点缺失以及随机连续缺失分别训练在不同缺失比例下的网络，以适用于各类数据缺失情况下的负荷数据恢复；高比例缺失情况下评估数据恢复结果不能仅考虑平均恢复精度，更需要全面评估负荷特性恢复的相似性，利用图像相似度评估指标来评估负荷数据恢复方法的效果。该方法对于提高高比例缺失甚至长时间连续缺失情况下的负荷缺失数据恢复精度，全面评估负荷数据恢复效果有重要意义。
附图说明：
图1是本发明一种对高比例负荷缺失数据的恢复与评估方法流程图。
具体实施方式
本发明中提出了，以下结合图1对本发明专利的实施过程做进一步详细说明。
如图1所示，本发明提供一种基于U-Net的负荷缺失数据恢复方法；本发明针对现有高比例缺失数据恢复研究中的不足，首先，对一维负荷时间序列引入日维度构建二维负荷矩阵，进一步做归一化处理形成负荷图像，其中y轴表示每天的采样时间点(例如分钟、小时)，x轴表示从开始到结束的一天。缺失数据的像素值为0，在负荷图像中缺失的数据为黑色像素块。针对现实情况中的随机点缺失和随机连续缺失两种缺失类型，分别在完整的负荷图像上模拟两类缺失构造不完整的负荷图像。将不完整的负荷图像与完整负荷图像相匹配以构成负荷图像训练集训练改进U-Net的网络参数。改进U-Net经过训练之后，采用图像评估指标结构相似性(SSIM)进一步评估负荷特性的恢复相似性。
步骤(1)获取负荷数据
即采集t1到tM时刻的负荷数据
Figure BDA0003642255240000051
引入日维度构建二维负荷矩阵，从中挑选连续W天的完整负荷矩阵Yoriginal共N个，Yoriginal的维度为(1×H×W)，H为每天采集数据个数；
步骤(2)对负荷图像进行归一化处理，构建负荷图像训练集
对每个负荷矩阵进行归一化处理形成负荷图像，针对现实中的两种缺失情况：随机点缺失、随机连续缺失，在完整的负荷图像上随机将像素值置0，像素值为0则视为该位置的数据缺失，在负荷图像上表示为黑色的像素块，通过随机置0模拟两种类型的数据缺失以构造不完整的负荷图像，可设置不同缺失程度，并将对应的完整负荷图像与不完整负荷图像匹配以构建负荷图像训练集；
步骤(2-1)对步骤(1)生成的每个训练集负荷矩阵进行归一化处理形成负荷图像
对于第i个训练集的负荷矩阵Yi original进行归一化处理，形成负荷图像Yi norm，第p个归一化后的像素值
Figure BDA0003642255240000061
采用(1)式进行计算：
Figure BDA0003642255240000062
其中，
Figure BDA0003642255240000063
为负荷矩阵Yi original中第p个原始负荷值，
Figure BDA0003642255240000064
分别为原始负荷矩阵Yi original中的最大值、最小值。
步骤(2-2)对完整的负荷图像获取Mask进行随机缺失操作
为了模拟实际的缺失情况以训练网络，获取Mask对完整的负荷图像进行随机缺失，M＝0(1×H×W)，可根据设定的缺失情况以及缺失率将指定位置的值改为1即可得到Mask。
步骤(2-3)将不同的Mask与每个训练集负荷图像进行元素相乘，即可获得不完整的负荷图像，与完整负荷图像匹配形成训练集
对于第i个训练集的负荷图像Yi norm，构造不完整的网络输入图像Yi input＝Yi original⊙(1-Mask)。
步骤(3)对原始U-Net网络进行改进，以适应负荷图像修复
原始U-Net网络用于图像修复，针对负荷图像尺寸较小，减少了原始U-Net 3x3卷积以及上采样的次数，同时为了防止“梯度消失”或者“梯度爆炸”的现象发生，在U-Net网络结构最底层引入了由残差模块组成的残差网络，并且残差模块采用瓶颈残差以获得更高的计算速度。
步骤(4)训练改进U-Net数据恢复网络
将步骤(2)获得的不完整负荷图像输入到步骤(3)的改进U-Net网络中，以网络输出的负荷图像与完整的负荷图像绝对误差最小为目标函数，如式(2)所示，其中n为每个负荷图像的像素个数。判断训练集的绝对误差下降是否保持平稳，若否则采用Adam算法更新网络参数，并将新的不完整负荷图像输入到改进U-Net中，若是则终止训练，并保存网络参数。
Figure BDA0003642255240000065
步骤(5)基于图像的结构相似性指标评估缺失数据恢复方法
针对负荷特性恢复相似性的评估，采用图像评估指标结构相似性(SSIM)来进一步全面评估负荷缺失数据的恢复效果。评估两个图像的相似度首先计算每个负荷图像的像素平均值构造亮度表示函数，然后计算标准差构造对比比较函数，最后归一化构造结构对比函数，整体相似度的评估即为这三个函数值相乘，并且满足对称性、有界性以及唯一最大值是1，而整体数据样本的评价指标是每个相似度的平均值。采用结构相似性(SSIM)评价改进U-Net网络恢复的负荷图像以及完整负荷图像之间的相似性，若SSIM的值越接近1，则表明网络恢复效果越好。
评估每个不完整负荷图像的恢复情况，Yi output为改进U-Net恢复的每个负荷图像，Yi norm为原始完整的负荷图像，构造结构相似性评估指标量化评估网络恢复的负荷图像与原始完整的负荷图像之间的相似性：
4)分别求两个图像的像素平均值：
Figure BDA0003642255240000071
构造亮度表示函数
Figure BDA0003642255240000072
5)分别求两个图像的像素标准差：
Figure BDA0003642255240000073
Figure BDA0003642255240000074
构造对比比较函数
Figure BDA0003642255240000075
6)构造结构对比函数
Figure BDA0003642255240000076
其中
Figure BDA0003642255240000077
则整体相似性度量如式(3)所示：
S(Yi norm,Yi output)＝f[l(Yi norm,Yi output),c(Yi norm,Yi output),s(Yi norm,Yi output)](3)
其中，S(Yi norm,Yi output)应当满足：
对称性：S(Yi norm,Yi output)＝S(Yi output,Yi norm)；
有界性：S(Yi norm,Yi output)≤1；
唯一最大值：S(Yi norm,Yi output)＝1当且仅当Yi norm＝Yi output。
设结构相似性评价指标SSIM的表达式为：
SSIM(Yi norm,Yi output)＝[l(Yi norm,Yi output)]α[c(Yi norm,Yi output)]β[s(Yi norm,Yi output)]γ(4)
令α＝β＝γ＝1，C3＝C2/2，则
Figure BDA0003642255240000078
通常的，可以取C1＝0.01，C2＝0.03。
整体数据样本评价指标如式(6)所示：
Figure BDA0003642255240000081
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种对高比例负荷缺失数据的恢复与评估方法，所述方法对在U-Net网络建立将负荷缺失数据恢复转化为负荷图像修复的图像处理模块，其特征在于，所述图像处理模块包括如下步骤：
步骤(1)采集U-Net网络中图像的历史数据，选择完整的负荷数据构建二维负荷矩阵；即采集t1到tM时刻的负荷数据
Figure FDA0003642255230000011
引入日维度构建二维负荷矩阵，从中挑选连续W天的完整负荷矩阵Yoriginal共N个，Yoriginal的维度为(1×H×W)，H为每天采集数据个数；
步骤(2)根据二维负荷矩阵进行归一化处理生成负荷图像并建立负荷图像训练集；
对每个负荷矩阵进行归一化处理形成负荷图像，针对现实中的两种缺失情况：随机点缺失、随机连续缺失，在完整的负荷图像上随机将像素值置0，像素值为0则视为该位置的数据缺失，在负荷图像上表示为黑色的像素块，通过随机置0模拟两种类型的数据缺失以构造不完整的负荷图像，可设置不同缺失程度，并将对应的完整负荷图像与不完整负荷图像匹配以构建负荷图像训练集；
步骤(3)在原始U-Net网络结构最底层引入了由残差模块组成的残差网络并采用瓶颈残差方法提高残差模块计算速度生成改进的U-Net网络；
步骤(4)训练改进U-Net数据恢复网络：
将步骤(2)获得的不完整负荷图像输入到步骤(3)的改进U-Net网络中，以网络输出的负荷图像与完整的负荷图像绝对误差最小为目标函数，判断训练集的绝对误差下降是否保持平稳，若否，则采用Adam算法更新网络参数，并将新的不完整负荷图像输入到改进U-Net中，若是则终止训练，并保存网络参数；
步骤(5)基于图像的结构相似性指标评估缺失数据恢复方法：
针对负荷特性恢复相似性的评估，采用图像评估指标结构相似性来进一步全面评估负荷缺失数据的恢复效果；评估两个图像的相似度首先计算每个负荷图像的像素平均值构造亮度表示函数，然后计算标准差构造对比比较函数，最后归一化构造结构对比函数，整体相似度的评估即为这三个函数值相乘，并且满足对称性、有界性以及唯一最大值是1，而整体数据样本的评价指标是每个相似度的平均值；采用结构相似性评价改进U-Net网络恢复的负荷图像以及完整负荷图像之间的相似性，若SSIM的值越接近1，则表明网络恢复效果越好。
2.根据权利要求1所述的一种对高比例负荷缺失数据的恢复与评估方法，其特征在于：所述步骤(2)构建负荷图像训练集过程：
步骤(2-1)对步骤(1)生成的每个训练集负荷矩阵进行归一化处理形成负荷图像
对于第i个训练集的负荷矩阵Yi original进行归一化处理，形成负荷图像Yi norm，第p个归一化后的像素值
Figure FDA0003642255230000021
采用(1)式进行计算：
Figure FDA0003642255230000022
其中，
Figure FDA0003642255230000023
为负荷矩阵Yi original中第p个原始负荷值，
Figure FDA0003642255230000024
分别为原始负荷矩阵Yi original中的最大值、最小值；
步骤(2-2)对完整的负荷图像获取Mask进行随机缺失操作：
为了模拟实际的缺失情况以训练网络，获取Mask对完整的负荷图像进行随机缺失，M＝0(1×H×W)，可根据设定的缺失情况以及缺失率将指定位置的值改为1即可得到Mask；
步骤(2-3)将不同的Mask与每个训练集负荷图像进行元素相乘，即可获得不完整的负荷图像，与完整负荷图像匹配形成训练集：
对于第i个训练集的负荷图像Yi norm，构造不完整的网络输入图像Yi input＝Yi original⊙(1-Mask)。
3.根据权利要求1所述的一种对高比例负荷缺失数据的恢复与评估方法，其特征在于：所述步骤(5)中采用结构相似性评价改进U-Net网络恢复的负荷图像以及完整负荷图像之间的相似性过程：
1)分别求两个图像的像素平均值：
Figure FDA0003642255230000025
构造亮度表示函数
Figure FDA0003642255230000026
2)分别求两个图像的像素标准差：
Figure FDA0003642255230000027
Figure FDA0003642255230000028
构造对比比较函数
Figure FDA0003642255230000029
3)构造结构对比函数
Figure FDA00036422552300000210
其中：
Figure FDA00036422552300000211
则整体相似性度量下式所示：
S(Yi norm,Yi output)＝f[l(Yi norm,Yi output),c(Yi norm,Yi output),s(Yi norm,Yi output)]
其中，S(Yi norm,Yi output)应当满足：
对称性：S(Yi norm,Yi output)＝S(Yi output,Yi norm)；
有界性：S(Yi norm,Yi output)≤1；
唯一最大值：S(Yi norm,Yi output)＝1当且仅当Yi norm＝Yi output；
设结构相似性评价指标SSIM的表达式为：
SSIM(Yi norm,Yi output)＝[l(Yi norm,Yi output)]α[c(Yi norm,Yi output)]β[s(Yi norm,Yi output)]γ
令α＝β＝γ＝1，C3＝C2/2，则
Figure FDA0003642255230000031
通常的，可以取C1＝0.01，C2＝0.03；
整体数据样本评价指标如下式所示：
Figure FDA0003642255230000032
CN202210518397.8A 2022-05-13 2022-05-13 一种对高比例负荷缺失数据的恢复与评估方法 Pending CN114972082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210518397.8A CN114972082A (zh) 2022-05-13 2022-05-13 一种对高比例负荷缺失数据的恢复与评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210518397.8A CN114972082A (zh) 2022-05-13 2022-05-13 一种对高比例负荷缺失数据的恢复与评估方法

Publications (1)

Publication Number Publication Date
CN114972082A true CN114972082A (zh) 2022-08-30

Family

ID=82983786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210518397.8A Pending CN114972082A (zh) 2022-05-13 2022-05-13 一种对高比例负荷缺失数据的恢复与评估方法

Country Status (1)

Country Link
CN (1) CN114972082A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760978B1 (en) * 2016-05-09 2017-09-12 Adobe Systems Incorporated Missing region prediction
CN109144987A (zh) * 2018-08-03 2019-01-04 天津相和电气科技有限公司 基于深度学习的电力系统量测缺失值重建方法及其应用
CN110335202A (zh) * 2019-04-08 2019-10-15 武汉理工大学 一种水下声纳图像噪声消除方法
US20200311874A1 (en) * 2019-03-25 2020-10-01 Korea Advanced Institute Of Science And Technology Method of replacing missing image data by using neural network and apparatus thereof
CN111785014A (zh) * 2020-05-26 2020-10-16 浙江工业大学 一种基于dtw-rgcn的路网交通数据修复的方法
CN111930732A (zh) * 2020-08-03 2020-11-13 浙江大学 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置
CN112330951A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
CN112686821A (zh) * 2020-12-30 2021-04-20 南京工程学院 一种基于改进对抗网络的负荷数据修补方法
CN112905379A (zh) * 2021-03-10 2021-06-04 南京理工大学 基于自我注意力机制的图自编码器的交通大数据修复方法
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760978B1 (en) * 2016-05-09 2017-09-12 Adobe Systems Incorporated Missing region prediction
CN109144987A (zh) * 2018-08-03 2019-01-04 天津相和电气科技有限公司 基于深度学习的电力系统量测缺失值重建方法及其应用
US20200311874A1 (en) * 2019-03-25 2020-10-01 Korea Advanced Institute Of Science And Technology Method of replacing missing image data by using neural network and apparatus thereof
CN110335202A (zh) * 2019-04-08 2019-10-15 武汉理工大学 一种水下声纳图像噪声消除方法
CN111785014A (zh) * 2020-05-26 2020-10-16 浙江工业大学 一种基于dtw-rgcn的路网交通数据修复的方法
CN111930732A (zh) * 2020-08-03 2020-11-13 浙江大学 基于级联卷积自编码器的缺失电力负荷数据修复方法及装置
CN112330951A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
CN112686821A (zh) * 2020-12-30 2021-04-20 南京工程学院 一种基于改进对抗网络的负荷数据修补方法
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN112905379A (zh) * 2021-03-10 2021-06-04 南京理工大学 基于自我注意力机制的图自编码器的交通大数据修复方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANUSREE KANADATH 等: "Histopathology Image Segmentation Using MobileNetV2 based U-net Model", 《2021 INTERNATIONAL CONFERENCE ON INTELLIGENT TECHNOLOGIES 》, pages 1 - 8 *
LIQI LIU 等: "Load image inpainting: An improved U-Net based load missing data recovery method", 《APPLIED ENERGY》, pages 1 - 14 *
TAEWON MOON 等: "Accurate Imputation of Greenhouse Environment Data for Data Integrity Utilizing Two-Dimensional Convolutional Neural Networks", 《SENSORS》, pages 1 - 12 *
ZHOU WANG 等: "Image Quality Assessment: From Error Visibility to Structural Similarity", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 13, no. 4, pages 600 - 612, XP011110418, DOI: 10.1109/TIP.2003.819861 *
杨文霞 等: "基于密集连接块U-Net的语义人脸图像修复", 《计算机应用》, vol. 40, no. 12, pages 3651 - 3657 *

Similar Documents

Publication Publication Date Title
CN112801881B (zh) 一种高分辨率高光谱计算成像方法、系统及介质
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN107680037B (zh) 改进的基于最近特征线流形学习的人脸超分辨率重建方法
Zhu et al. Object detection in complex road scenarios: improved YOLOv4-tiny algorithm
CN114049313A (zh) 一种基于改进YOLOv4的锂电池缺陷检测方法
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
CN114926883A (zh) 一种满足多种降质模型的人脸图像处理方法
Su et al. High-Similarity-Pass Attention for Single Image Super-Resolution
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN117523555A (zh) 一种基于自编码器的飞机零件缺陷检测方法
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
CN114972082A (zh) 一种对高比例负荷缺失数据的恢复与评估方法
CN116740587A (zh) 一种数据与模型双重不确定性感知的无人机航拍目标可信识别方法
CN112488125B (zh) 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN115578325A (zh) 一种基于通道注意配准网络的图像异常检测方法
CN115170414A (zh) 一种基于知识蒸馏的单幅图像去雨方法及系统
CN109165587A (zh) 智能图像信息抽取方法
CN115345842A (zh) 一种基于深度学习的汽车关键部件相似比对方法
CN113344006A (zh) 一种采用可学习参量融合网络的偏振图像解析方法
Shi et al. Human visual perception based image quality assessment for video prediction
CN111179224A (zh) 一种基于联合学习的航拍图像修复质量的无参考评价方法
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220830