CN110212528A - 基于生成对抗和双重语义感知的配电网量测数据缺失重构方法 - Google Patents

Abstract

一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，属于电力大数据处理技术领域。该方法利用生成对抗网络(generative adversarial network,GAN)博弈对抗的思想，通过模型自主提取数据特征和时空分布特性，结合上下文信息、生成感知信息、重构感知信息构成的新型双重语义感知(Double Semantic Perception)缺失重构约束，寻找与待重构数据最大相似数据来实现量测数据缺失重构。本发明完全基于数据驱动，克服了配电网复杂环境下，基于业务机理建立数学重构模型在适应性、算法效率和准确性多方面的局限性。使用该方法避免了传统缺失重构过程中需根据大量先验知识对数据进行分布假设及特征显式建模，并改善了传统GAN收敛速度慢、训练不稳定等缺陷，具有较高的数据缺失重构精度。

Description

基于生成对抗和双重语义感知的配电网量测数据缺失重构 方法

技术领域

本发明涉及一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，属于电力大数据处理技术领域。

背景技术

在能源改革与社会发展的大背景下，配电网作为经济和社会发展的重要基础设施，对实现智能电网和能源互联网战略目标起着关键的作用。随着智能配电网信息化、自动化、互动化水平的提高以及与物联网的相互渗透与融合，电力系统量测体系内部积累了大量数据。真实可靠的数据才能正确的反映电力系统运行特性和客观规律，然而在数据的采集、测量、传输、转换各个环节都有可能发生故障或是受到干扰，导致数据缺失问题显著，数据集质量下降，直接影响信息抽取的正确性和决策分析的准确度。

传统的缺失数据重构技术大多基于数理统计方法和依赖先验知识结合机理分析构建数学模型，数据重构精度低。由于在电力系统向智能电网以及综合能源系统的演进过程中，随着可再生能源的接入、主动式负荷的灵活使用，以及大规模区域互联等，配电网已经演变成结构复杂、设备繁多、技术庞杂的巨维典型动态大系统。配电网量测数据具有高维、时变、非线性特征，复杂度高、表征难度大，量测数据缺失重构研究面临的首要问题是多数情况下难以建立精确的数学模型，或者用单纯的数学模型来描述其复杂特征和时空分布特性，难以满足多物理场耦合系统的运行分析要求。

目前，已有的缺失数据重构方法可以分为以下两类：一、采用直接删除含缺失值记录或用数学方法进行预测补齐，如最大期望法、回归法、多重填充法等。这些方法需对数据充分理解，如果用错数据模型将会产生很大的数据偏差，影响重构效果。二、采用机器学习的方法重构缺失数据。典型方法有粗糙集方法、神经网络、决策树和贝叶斯网络等。该方法对先验知识的丰富度要求极高且难以避免主观因素对模型的影响，导致构建的机理分析模型准确描述高维、复杂、时变事物特征难度增大。

传统基于数理统计方法和先验知识结合机理分析构建模型在完成这项工作上均存在着不足，根本原因至少有如下两点：其一，对真实世界中实测的数据建模需要大量的先验知识支持，建模的好坏直接影响到模型的性能和重构数据的精度；其二，电力实测的数据往往受多物理场耦合系统影响，特征复杂、上下相关性紧密，拿模型来拟合一般需要极大的计算量，甚至是难以承受。

深度学习技术的优势在于能由数据驱动、自适应的学习事务特征，对具体数学模型依赖程度低，并具有对源域的迁移学习能力。生成式对抗网络(GAN,generativeadversarial network)是目前深度学习领域在数据增强上研究的典型模型，具有无需建模、完全依赖数据驱动可以自适应学习数据潜在特征的特点，通过对抗的方式引导模型缩小与目标分布之间的差距，克服基于极大似然估计生成器对数据概率分布计算困难的问题，并避免了人工设计数据分布的需要。

本文提出了基于生成对抗和双重语义感知的配电网量测数据缺失重构模型。首先对配电网量测数据进行等同信息度、二维灰度图转换以适应泛化能力更强的深度学习模型；接着用2D-CNN网络(二维卷积神经网络)对GAN中对抗训练的生成模型和判别模型分别进行量测缺失重构模型构建，优化模型的收敛速度与特征提取能力；在量测缺失重构算法设计上，本文提出一种基于双重语义感知的方法进行重构约束，放大缺失局部对整体重构数据的作用，增加模型对重构结果的关注度，构成约束能力更强的对抗损失函数，然后利用反向传播算法使模型生成与已知信息最大相似度且符合配电网量测数据特征的重构数据。克服了传统通过显式建模重构缺失数据时可能造成的特征提取不充分及重构数据精确度不高的难题，此外该模型能够适用于特征更为复杂的其他数据，只需随着复杂度增加神经网络的层级并加大训练，保证对数据潜在特征的充分提取，即可以实现对数据高精度的重构还原，具有极高的泛化能力和稳定性。

发明内容

本发明的目的在于，针对传统缺失数据重构方法难以完全提取具有复杂特征关系的电力数据特征、对重构缺失局部关注度不够，造成数据重构精度不高等问题，提供一种新型的基于生成对抗和双重语义感知的配电网量测数据缺失重构方法。

本发明采用具有强大自主特征提取能力的生成对抗网络(GAN)作为主要架构，结合双重语义感知对具有复杂特征的量测数据进行缺失重构。这种通过博弈对抗，无监督学习的方式来获取数据潜在特征，完全克服了对数据进行分布假设和显式建模需要大量先验知识方法，在适应性、算法效率和精确度等方面面临的缺陷。本发明的方法同时具有良好的抗噪性能和泛化能力。

一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，该方法可以分为两大过程，首先是对重构模型进行训练，直至获取到数据的潜在特征，然后采用双重语义感知约束再次训练模型，找到与待重构数据(含缺失值)最大相似度的重构备选数据，将其对应位置截取至待重构的缺失部分以完成配电网量测数据缺失重构，具体步骤为：

步骤1：生成器G生成伪数据，输入为噪声向量，采用两层的2D-CNN(二维卷积神经网络)提取特征，并在每一层进行归一化操作，中间层采用ReLU激活，输出层采用tanh激活；

步骤2：判别器D对真伪数据判断，将步骤1中生成器生成的伪数据G(z)和真实数据输入判别模型。采用两层2D-CNN，并在每一层进行归一化操作，中间层采用LeakyReLU激活，最后使用全连接和sigmoid激活函数输出判断概率；

步骤3：将判断结果反馈到G和D，重复步骤1、2训练模型至达到纳什均衡，学习到数据的潜在特征；

步骤4：使用二值掩码按缺失百分比对测试数据进行随机遮盖，模拟配电网量测数据实际缺失情况；

步骤5：给训练有素的生成器G输入噪声z得到重构备选数据G(z)＇；

步骤6：二次训练模型，对待重构数据X与步骤5中G(z)＇依据双重语义感知构成模型缺失重构的优化目标，结合反向传播算法更新权重参数；

步骤7：重复步骤5、6，找到使得代价函数最小的G(z)＇，即得到重构准确度最高的重构数据(Y)。

所述的生成器生成伪数据的步骤为：

步骤1：将噪声向量通过reshape操作处理为模型训练输入的3*3*128维度；

步骤2：采用微步长卷积(fractionally-stride convolution)进行上采样提取数据特征，对每一层进行归一化Batch Normalization操作来加速收敛并减缓过拟合，中间层采用ReLU(Rectified Linear Unit)激活；

步骤3：G的输出层采用tanh激活函数，最终生成通道数为1、大小10*10的伪数据。所用的tanh激活函数也称双切正切函数，最终结果会落到[-1,1]之间。

所述的判别器对真伪数据的判断步骤为：

步骤1：将生成器生成的伪数据G(z)和真实数据输入判别器；

步骤2：采用两层卷积神经网络，并在每一层进行Batch Normalization归一化操作，中间层采用LeakyReLU激活；

步骤3：最后使用全连接和sigmoid激活函数输出判断概率，sigmoid也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间。理想情况下，当输入为真实数据时，判别器输出为1，当输入为伪数据时，判别器输出为0。

所述的模拟配电网量测数据实际数据缺失情况的步骤为：

步骤1：随机生成设定缺失阈值的二值掩码M(mask)，也就是一个二维的、只有0、1两个值的矩阵。1表示要保留的数据，0代表缺失数据；

步骤2：取完整量测数据x作为测试样例，将x中的元素与M中的元素对应位置相乘，求Hadamard积，用X＝M⊙x表示含有缺失值的数据。

所述的模型二次训练步骤为：

步骤1：根据高精度缺失重构数据需满足的重构要求得到模型优化目标，要求为：一，保证G(z)＇与X未缺失部分的上下文信息相似度最大；二，保证G(z)＇的真实性，避免出现因完全拟合上下文而失真的情况；三，保证Y的真实性，防止模型在重构过程中出现G(z)＇为真且与X上下文相似度最大，然而截取缺失部分填充后得到的Y与X上下文相似度最大却非真的情况。因此由上下文信息(Contextual information)、生成感知信息(GeneratePerceptual information)和重构感知信息(Reconstruct Perceptual information)，将对应损失函数按其重要性加权，构成模型缺失重构总代价函数；

步骤2：利用梯度下降及反向传播算法计算代价函数并更新模型参数。

与现有技术相比，本发明方法具有以下的优点：

(1)本发明采用的是深度学习技术，可以有效避免传统特征提取步骤的繁琐复杂，及对复杂特征拟合困难等问题；

(2)在配电网中，电力数据时空特性复杂，上下关系紧密，往往具有高维、时变、非线性等复杂特征。若采用传统的数学建模提取电力数据特征，需要大量的先验知识支持，建模好坏直接影响到模型的性能和重构数据的精度。拿模型来拟合复杂特征需要极大的计算量，甚至是难以承受。而本发明基于生成对抗和双重语义感知的缺失重构方法可以有效的解决以上问题；

(3)本发明采用2D-CNN网络构建G和D的内部结构，适用于数据特征复杂度高、上下联系紧密、时空特性明显的量测数据，有效提高了原始GAN的稳定性、收敛速度和生成数据的质量，增强了模型整体的泛化能力和鲁棒性，有助于提高量测数据的缺失重构精度，提高电网数据质量。

附图说明

图1是基于生成对抗和双重语义感知的配电网量测数据缺失重构网络结构图。

图2是生成器与判别器结构及量测数据特征提取图。

图3是基于双重语义感知的模型缺失重构图。

具体实施方式

下面结合附图1、附图2、附图3和实施例对基于生成对抗和双重语义感知的配电网量测数据缺失重构方法作详细介绍，但本发明的实施不局限于此。

实施例：

如图1所示，本实施例的基于生成对抗和双重语义感知的配电网量测数据缺失重构网络结构，以GAN进行主体模型构造，搭建一个含有生成器和判别器两个深度学习网络的缺失重构模型。

如图2所示，本实施例的基于生成对抗思想构建博弈对抗的生成器和判别器及对量测数据进行特征提取，确定层级参数设置及内部神经网络类型，通过单独交替迭代的训练方法进行特征提取初次模型特征提取训练，训练过程中使用ADAM优化器分别对生成器和判别器的超参数进行优化。

如图3所示，本实施例的基于双重语义感知对图1中训练有素的生成器和判别器结合梯度下降与反向传播算法进行二次训练，找到使制定优化目标最小的重构数据，完成缺失数据重构。

整个模型的建立步骤如下：

(1)准备配电网量测数据：采用某煤改电地区3200多个台区配电变压器实测的2015年8月份第1周的电压数据配电变压器采样间隔为15分钟，每条样本数据的基本单位为天(包含该天的96个电压测量值)，将采集到的完整数据样本按一定比例分为模型训练数据train_data和测试数据test_data，训练数据批次设置为64。

(2)对数据进行预处理：首先需对数据采用MaxAbsScaler操作将特征值缩小到(-1，1)之间的区间内，使真实数据和伪数据的特征都在同样的规模之中。训练数据格式为train_data(i₀,i₁,i₂,······,i₉₅)，由于模型构建的输入shape为(10,10,1)，为保证卷积核滑动采样的完整性，在样本数据的最后将第i₉₅个点的数据重复添加4次构成样本train_data(i₀,i₁,i₂,······,i₉₅,i₉₆,i₉₇,i₉₈,i₉₉)，再通过reshape操作转为维度为(10,10,1)的输入数据。

(3)初次无监督训练模型，步骤如下：

a)使用单独交替迭代法对生成器G与判别器D进行训练。对于判别器D，输入的数据有真实数据train_data和伪数据G(z)两类，D的目标是尽力将真实数据和伪数据分辨出来，输出概率值大于0.5为真，小于0.5为假。默认真实数据train_data的label为1，伪数据G(z)的label为0，问题类似转化为有监督的二分类问题，结合神经网络进行分类即可。定义参数，p_data(x)是真实数据x的数据空间采样分布概率，p_z(z)是噪声数据的分布概率，D的优化公式如下：

D的目标则可以表示为将真实数据x判断为真的概率D(x)尽可能大，将G(z)判断为真的概率D(G(z))尽可能小，即1-D(G(z))尽可能大。

b)对于生成器G，生成过程实际上可以理解为G从p_z(z)中采样，得到概率分布p_g，希望得到的是p_g＝P_data(x)，也就是用来迷惑判D的伪数据与真实数据的概率分布一样。G的优化公式如下：

G的目标是当D收到自己的G(z)时，将其判断为真的概率D(G(z))要尽可能大，所以1-D(G(z))尽可能小。

c)将生成器与判别器的优化目标结合，将模型训练优化的过程建模成Minmax问题，定义为：

随着训练的进行，通过生成器与判别器的博弈对抗，最终判别器“被迫”增强自身的判别能力，而生成器“被迫”生成越来越逼真的输出以欺骗判别器，最终达到纳什均衡，即生成器获取到数据的潜在空间。

(4)数据缺失重构二次训练模型，步骤如下：

a)考虑配电数据的缺失位置以及数量不是可控且具有极强随机性与不确定性，人为对每条数据设定完全固定的缺失位置以及缺失数据是不符合缺失特性的，但为了论证数据缺失的数量关系与重构效果的好坏，所以采用Mask掩码设置时不指定固定的缺失点，而是在保证缺失的数量时随机生成掩码矩阵。也就是对每一条数据保证一定范围的缺失数量但不限制缺失位置，比如以90％的缺失数据量为条件来随机生成掩码，每条数据100个数据点的缺失量将在90个数据点上下微小范围浮动。从test_data测试数据中取样例x，将x中的元素与M中的元素对应位置相乘，求Hadamard积，用X＝M⊙x表示含有缺失值的数据。

b)上下文信息指的是含缺失值的配变数据未缺失部分提供的信息，为得到和真实数据X相同的上下文，充分利用数据可能提供的信息度，通过计算未缺失部分与G生

成的数据之间的相似性来衡量，也就是上下文损失(Contextual Loss)：

L_c(z)＝||M⊙G(z)-M⊙x|| (1.4)

感知信息指的是缺失数据重构完成的数据的真实性，与判别器的目标一样，使得数据更为真实。因此生成感知损失(Generate Perceptual Loss)表示为：

L_pg(z)＝log(1-D(G(z))) (1.5)

重构感知损失(Reconstruct Perceptual Loss)表示为：

结合以上三类损失函数，构成数据缺失重构过程总损失表示为：

L_co_mplete(z)＝L_c(z)+lam·L_pg(z)+bata·L_pc(z) (1.7)

其中lam和bata分别为生成感知损失和重构感知损失在总损失中所占权重。最后对L_complete(z)进行梯度下降计算，理想情况下G生成的重构备选数据G(z)＇与X数

据完全一样，那么未缺失部分对应的L_c(z)＝0。通过总损失的约束，惩罚模型生成对缺失数据进行重构最合理的G(z)＇，最终重构的数据可以表示为：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不局限于此，如D与G网络中的神经元层级还可以随实际增减，还可以使用不同的深度学习模型。该模型在处理复杂数据特征提取上有着极大优势，还可以应用到特征更为复杂的缺失数据重构。

本发明提供了一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，属于电力大数据处理技术领域。该方法利用生成对抗网络(generative adversarialnetwork,GAN)博弈对抗的思想，通过模型自主提取数据特征和时空分布特性，结合上下文信息、生成感知信息、重构感知信息构成的新型双重语义感知(Double SemanticPerception)缺失重构约束，寻找与待重构数据最大相似数据来实现量测数据缺失重构。本发明完全基于数据驱动，克服了配电网复杂环境下，基于业务机理建立数学重构模型在适应性、算法效率和准确性多方面的局限性。使用该方法避免了传统缺失重构过程中需根据大量先验知识对数据进行分布假设及特征显式建模，并改善了传统GAN收敛速度慢、训练不稳定等缺陷，具有较高的数据缺失重构精度。

Claims (5)

1.一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法。其特征在于，采用深度学习中的生成对抗网络，通过对抗博弈进行配电网量测数据特征提取训练，得到捕获数据时空分布特性与潜在特征的生成器以及能准确辨别数据真假的判别器；然后依据上下文信息、生成感知信息和重构感知信息构成的双重语义感知约束再次训练模型，找到与待重构数据(含缺失值)最大相似度的重构备选数据，将其对应位置截取至待重构的缺失部分以完成配电网量测数据缺失重构的目标。该方法的具体步骤为：

步骤1：生成器G生成伪数据，输入为噪声向量，采用两层的2D-CNN(二维卷积神经网络)提取特征，并在每一层进行归一化操作，中间层采用ReLU激活，输出层采用tanh激活；

步骤2：判别器D对真伪数据判断，将步骤1中生成器生成的伪数据G(z)和真实数据输入判别模型。采用两层2D-CNN，并在每一层进行归一化操作，中间层采用LeakyReLU激活，最后使用全连接和sigmoid激活函数输出判断概率；

步骤3：将判断结果反馈到G和D，重复步骤1、2训练模型至达到纳什均衡，学习到数据的潜在特征；

步骤4：使用二值掩码按缺失百分比对测试数据进行随机遮盖，模拟配电网量测数据实际缺失情况；

步骤5：给训练有素的生成器G输入噪声z得到重构备选数据G(z)＇；

步骤6：二次训练模型，对待重构数据X与步骤5中G(z)＇依据双重语义感知构成模型缺失重构的优化目标，结合反向传播算法更新权重参数；

步骤7：重复步骤5、6，找到使得代价函数最小的G(z)＇，即得到重构准确度最高的重构数据(Y)。

2.根据权利要求1所述的一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，其特征在于，所述的生成器生成伪数据G(z)的步骤为：

步骤1：将噪声向量通过reshape操作处理为模型训练输入的3*3*128维度；

步骤2：采用微步长卷积(fractionally-stride convolution)进行上采样提取数据特征，对每一层进行归一化Batch Normalization操作来加速收敛并减缓过拟合，中间层采用ReLU(Rectified Linear Unit)激活；

步骤3：G的输出层采用tanh激活函数，最终生成通道数为1、大小10*10的伪数据。所用的tanh激活函数也称双切正切函数，最终结果会落到[-1,1]之间。

3.根据权利要求1所述的一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，其特征在于，所述的判别器对真伪数据的判断步骤为：

步骤1：将生成器生成的伪数据G(z)和真实数据输入判别器；

步骤2：采用两层卷积神经网络，并在每一层进行Batch Normalization归一化操作，中间层采用LeakyReLU激活；

步骤3：最后使用全连接和sigmoid激活函数输出判断概率，sigmoid也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间。理想情况下，当输入为真实数据时，判别器输出为1，当输入为伪数据时，判别器输出为0。

4.根据权利要求1所述的一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，其特征在于，所述的模拟配电网量测数据实际数据缺失情况的步骤为：

步骤1：随机生成设定缺失阈值的二值掩码M(mask)，也就是一个二维的、只有0、1两个值的矩阵。1表示要保留的数据，0代表缺失数据；

步骤2：取完整量测数据x作为测试样例，将x中的元素与M中的元素对应位置相乘，求Hadamard积，用X＝M⊙x表示含有缺失值的数据。

5.根据权利要求1所述的一种基于生成对抗和双重语义感知的配电网量测数据缺失重构方法，其特征在于，所述的模型二次训练步骤为：

步骤1：根据高精度缺失重构数据需满足的重构要求得到模型优化目标，要求为：一，保证G(z)＇与X未缺失部分的上下文信息相似度最大；二，保证G(z)＇的真实性，避免出现因完全拟合上下文而失真的情况；三，保证Y的真实性，防止模型在重构过程中出现G(z)＇为真且与X上下文相似度最大，然而截取缺失部分填充后得到的Y与X上下文相似度最大却非真的情况。因此由上下文信息(Contextual information)、生成感知信息(GeneratePerceptual information)和重构感知信息(Reconstruct Perceptual information)，将对应损失函数按其重要性加权，构成模型缺失重构总代价函数；

步骤2：利用梯度下降及反向传播算法计算代价函数并更新模型参数。