CN116706888A - 基于联邦学习的智能电网负荷预测方法 - Google Patents

基于联邦学习的智能电网负荷预测方法 Download PDF

Info

Publication number
CN116706888A
CN116706888A CN202310661574.2A CN202310661574A CN116706888A CN 116706888 A CN116706888 A CN 116706888A CN 202310661574 A CN202310661574 A CN 202310661574A CN 116706888 A CN116706888 A CN 116706888A
Authority
CN
China
Prior art keywords
load prediction
network
grid load
power grid
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310661574.2A
Other languages
English (en)
Inventor
李姚根
胡凯
龚晟
邓莹
吴佳胜
陆美霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202310661574.2A priority Critical patent/CN116706888A/zh
Publication of CN116706888A publication Critical patent/CN116706888A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00032—Systems characterised by the controlled or operated power network elements or equipment, the power network elements or equipment not otherwise provided for
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Power Engineering (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种基于联邦学习的智能电网负荷预测方法。该方法包括：将电力数据集进行分类，分成训练集、测试集和验证集，各客户端采用训练集构建自身的基于LSTM网络的电网负荷预测模型，获得初步网络参数上传至服务器端进行联合训练，服务器端根据初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集进行测试验证，获得最终网络参数，并将最终网络参数返回给各客户端更新为最终网络参数，获得各客户端的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测，以确定平均绝对误差，由此，处理的数据量会大大减少，可以解决数据上传的延迟且数据量较大的问题，提高了电力的负荷预测的处理效率。

Description

基于联邦学习的智能电网负荷预测方法
技术领域
本申请涉及智能电网技术领域，特别是涉及一种基于联邦学习的智能电网负荷预测方法。
背景技术
智能电网是高效管理发电、配电和用电的现代化电网，它拥有几个基于负荷预测的重要决策，如发电计划、需求供应管理、维护计划和可靠性分析等。目前采用的是峰时和谷时不同电价机制。基于现有的电价机制，可以借助可靠而精准的电价估计，使得电力生产商可以实现利润最大化，电力消费者可以将成本降至最低。由于大部分的电力不能存储，因此需要在电力生产者和电力使用者之间保持接近完美的平衡。现有的智能电网负荷预测是在电力生产者端进行的，基于长短期记忆网络(Long Short-Term Memory，LSTM)对某地区的整体电网负荷的预测；智能监控设备的数据采集是分散在各个消费者端，数据的上传会存在一定的延迟。因此现存的智能电网的电力负荷和价格精准预测存在不足之处，目前的电力的负荷预测方法单纯的在电力生产者端使用LSTM进行电厂的预测，数据上传存在一定的延迟且数据量较大，电力的负荷预测的处理效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高电力的负荷预测的处理效率的基于联邦学习的智能电网负荷预测方法。
一种基于联邦学习的智能电网负荷预测方法，所述方法包括：
步骤S1：将电力数据集进行分类，分成训练集、测试集和验证集。
步骤S2：以各个电力消耗单位为客户端，根据电线杆的编号选取100个片区作为参与联合训练的客户端Ui(i＝1，2，…100)；
步骤S3：各客户端采用所述训练集构建自身的基于LSTM网络的电网负荷预测模型，获得各基于LSTM网络的电网负荷预测模型的初步网络参数，并将所述初步网络参数上传至服务器端进行联合训练；
步骤S4，所述服务器端根据各客户端上传的初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集对所述基于LSTM网络的电网负荷预测全局模型进行测试验证，获得最终网络参数，并将所述最终网络参数返回给各所述客户端；
步骤S5，各所述客户端将自身的基于LSTM网络的电网负荷预测模型的网络参数更新为所述最终网络参数，获得各所述客户端的基于LSTM网络的电网负荷预测全局模型；
步骤S6，各客户端获取对应片区的电力数据输入自身的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测，以确定平均绝对误差，所述平均绝对误差用来衡量某时刻分解得到的单个区域消耗的电量和输入到该区域的真实电量的平均误差，所述平均绝对误差的计算表达式为：
其中，MAE为平均绝对误差，gt为在时刻t上该区域的真实耗电量，pt为在该时刻t上的总发电量，T表示时刻点的数量。
在其中一个实施例中，所述基于LSTM网络的电网负荷预测模型和所述基于LSTM网络的电网负荷预测全局模型的网络结构相同，该网络结构包括一维FULL卷积、LSTM网络、外部注意力模块和支持向量机；
电力数据经过一维FULL卷积进行预处理之后输入至所述LSTM网络，挖掘出参数与时间之间的相关性特征，输出特征信息后输入所述外部注意力模块进行重点信息提取，将提取出的重点信息输入到后输出预测结果。
在其中一个实施例中，所述基于LSTM网络的电网负荷预测模型的损失函数为：
其中，为第k个数据集中/>的对数损失函数，/>为表示第k个电力数据集Dk中第i个样本，x表示标签真实值，y表示预测值，nk为第k个数据集的样本数目，/>为，/>为当前模型参数下的预测值，ωt为t时刻的权值，为求和函数符号，log()为对数符号。
在其中一个实施例中，所述各客户端采用所述训练集训练自身的基于LSTM网络的电网负荷预测模型时的网络参数的更新公式为：
其中，mt为t时刻的梯度的一阶矩估计，即梯度的均值，v为t时刻的梯度的二阶矩估计，即梯度的有偏方差，gt为t时刻求得的梯度，t表示当前学习的迭代次数，⊙是一种同位元素相乘的乘法，γ1和γ2是一组所述基于LSTM网络的电网负荷预测模型的超参数，γ1,γ2∈[0,1)，定义γ1＝0.9，γ2＝0.99，/>和/>是修正后的梯度的均值和有偏方差，η为学习率，/>为更新后的网络参数，θ为当前网络参数，mt-1为t-1时刻的梯度的一阶矩估计，vt-1为t-1时刻的梯度的二阶矩估计，/>为t时刻的第一超参数，/>为t时刻的第二超参数，∈为超参数。
在其中一个实施例中，所述基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练的方式为：
基于梯度通过多个域的MMD进行分布对齐的方式对初步网络参数的梯度进行修正，所述修正公式为：
其中，λ为梯度下降的超参数，gradi和gradj代表的分别是从客户端i和客户端j发送到服务器端的梯度，为修正后的梯度。
上述基于联邦学习的智能电网负荷预测方法，通过将电力数据集进行分类，分成训练集、测试集和验证集，以各个电力消耗单位为客户端，根据电线杆的编号选取100个片区作为参与联合训练的客户端，各客户端采用所述训练集构建自身的基于LSTM网络的电网负荷预测模型，获得各基于LSTM网络的电网负荷预测模型的初步网络参数，并将所述初步网络参数上传至服务器端进行联合训练，所述服务器端根据各客户端上传的初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集对所述基于LSTM网络的电网负荷预测全局模型进行测试验证，获得最终网络参数，并将所述最终网络参数返回给各所述客户端，各所述客户端将自身的基于LSTM网络的电网负荷预测模型的网络参数更新为所述最终网络参数，获得各所述客户端的基于LSTM网络的电网负荷预测全局模型，各客户端获取对应片区的电力数据输入自身的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测，以确定平均绝对误差，由此，处理的数据量会大大减少，可以解决数据上传的延迟且数据量较大的问题，提高了电力的负荷预测的处理效率。
附图说明
图1为一个实施例中基于联邦学习的智能电网负荷预测方法的流程示意图；
图2为一个实施例中基于时序网络结构的联邦学习的框架示意图；
图3为一个实施例中电力数据一维FULL卷积的示意图；
图4为一个实施例中LSTM网络的更新门的结构示意图；
图5为一个实施例中LSTM网络的遗忘门的结构示意图；
图6为一个实施例中LSTM网络的输入门的结构示意图；
图7为一个实施例中LSTM网络进行时间维度特征提取的结构示意图；
图8为一个实施例中外部注意力机制的结构示意图；
图9为一个实施例中基于LSTM网络的电网负荷预测模型的结构示意图；
图10为一个实施例中基于联邦学习的智能电网负荷预测方法的模型迁移示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1和图2所示，提供了一种基于联邦学习的智能电网负荷预测方法，以该方法应用于终端为例进行说明，包括以下步骤：
步骤S1，将电力数据集进行分类，分成训练集、测试集和验证集，并对训练集中的样本进行预处理，获得处理后的训练集。
其中，以公开的电力数据集为基础，电力数据按每日输送的电力数据按区域节点进行采集，按每5分钟来采集每日的电力数据，每天每个区域的节点能得到288条电力数据信息，将其保存为文本信息，制作成电力数据集。这里的区域划分按照原有铺设线路的变电箱为区域节点，在现有变电箱上利用数据采集器，采集需要的数据信息，能够方便高效的获取所需数据。
其中，将电力数据集进行分类，分成训练集Q1、测试集Q2和验证集Q3三个组成部分，以便更好地训练和更准确地评价，将训练集Q1作为训练序列，测试集Q2作为测试序列和验证集Q3作为验证集。其中，测试集Q2和验证集Q3在服务器端，其用来进行验证全局模型的准确率。
其中，对于各个统计的区域变电箱进行独立的连续采样，在本地客户端进行训练的过程中，以第一个时间点的数值为样本标签，此后的N个时间点为样本，这样构建一个含有标签的样本空间。
步骤S2：以各个电力消耗单位为客户端，根据电线杆的编号选取100个片区作为参与联合训练的客户端Ui(i＝1，2，…100)。
步骤S3：各客户端采用训练集构建自身的基于LSTM网络的电网负荷预测模型，获得各基于LSTM网络的电网负荷预测模型的初步网络参数，并将初步网络参数上传至服务器端进行联合训练。
在一个实施例中，基于LSTM网络的电网负荷预测模型的网络结构包括一维FULL卷积、LSTM网络、外部注意力模块和支持向量机；电力数据经过一维FULL卷积进行预处理之后输入至LSTM网络，挖掘出参数与时间之间的相关性特征，输出特征信息后输入外部注意力模块进行重点信息提取，将提取出的重点信息输入到支持向量机后输出预测结果。
其中，将训练集划分为新的数据集D＝{D1,D2,…Di},其中，Di为第i个片区的电力数据集，每个片区的客户端使用该片区的电力数据集构建基于LSTM网络的电网负荷预测模型。
其中，步骤S3包括：
步骤3-1：电力数据集输入基于LSTM网络的电网负荷预测模型中，基于LSTM网络的电网负荷预测模型的一维FULL卷积先对电力数据集中的样本进行预处理，获得处理后的训练集。具体地：对电力数据集中的样本进行一个卷积处理将部分时间段确实的信息进行剔除，再对样本序列的滑动窗口采用重叠滑动的方式增加数据，假设序列长度M，在原始数据上切一个长度为U的窗口，按照滑动步长为1，再进行滑动操作，得到M-U+1个训练样本，对训练样本进行最大-最小归一化，获得归一化后的训练样本，其中，最大-最小归一化的方式表示为：
其中，X*为归一化后的训练样本，X为被归一化的训练样本，Xmin为所有训练样本中的最小值，Xmax为所有训练样本中最大值。
其中，由于电力数据存在不完整型，神经网络需要大量的训练样本进行微调，才能有良好的性能。除此之外，数据在输入神经网络之前，都需要被转换成一致的输入维度，每个数据都被分段成恒等长度的向量，这样叫做窗口化。在进行LSTM时间维度特征提取前，先进行一个卷积处理，实际上是对电力属于做一个平滑处理，对于部分时间段确实的信息进行剔除。因为电力数据维度比较单一，这里采用一维卷积操作，如图3所示，采用一维FULL卷积，卷积核K大小为1*3，滑动步长为1，输入的电力数据X为1*n，其中输入的维度“1”代表时间维度，“n”为数据信息。一般设置一维FULL卷积核的值分别为η1、η2和η3。对训练序列的滑动窗口采用重叠滑动的方式增加数据，假设序列长度M，在原始数据上切一个长度为U的窗口，按照上述滑动步长为1，再进行滑动操作，得到M-U+1个训练样本。
应理解，数据的归一化处理，数据采集在理论上都是参差不齐的，将数据进行最大-最小归一化，还可以便于构建基于LSTM网络的电网负荷预测模型。
应理解，基于时序网络结构的联邦学习中的参数，需要挖掘出参数与时间之间的相关性，通过将处理后的训练集输入LSTM网络中，挖掘出参数与时间之间的相关性。
步骤3-2：预处理后的电力数据输入到LSTM网络中，基于时序网络结构的联邦学习中的参数，需要挖掘出参数与时间之间的相关性。LSTM提供了遗忘门、输入门和输出门，在联合训练的时候会进行参数的选择，剔除不必要的参数以提高计算的效率，在本专利中加入多个LSTM在客户端，层数适当增加训练的时序特征越强，但在查询之前的材料发现，多层LSTM中预测的结果表示，建立3-5层的LSTM效果最佳，超过一定数量的LSTM特征提取效果不在增加。
其中，LSTM网络提供了遗忘门、输入门和输出门，在联合训练的时候会进行参数的选择，剔除不必要的参数以提高计算的效率，在本申请中加入多个LSTM网络在客户端，层数适当增加训练的时序特征越强，建立3-5层的LSTM网络效果最佳，超过一定数量的LSTM网络特征提取效果不在增加。
应理解，LSTM网络的关键在于细胞的状态和各个门的选择，一般有更新门、遗忘门和输入门。在LSTM网络结构中，水平线是整个结构的核心所在，给其任意输入更新门来确定输出的结构。首先更新门如图4的实线部分所示：其中，ct-1为上一时刻的状态信息，ct为当前时刻的状态信息。在LSTM网络中的决定会从细胞状态(cell)中丢弃什么信息，这个决定通过一个称为忘记门的层完成。其中，ht-1表示的是上一个cell的输出，人为设其的矩阵为1*128维；xt表示的是当前cell的输入，即本申请经过一维FULL卷积处理之后的处理后的训练集xt；σ(·)表示sigmod函数；bf为偏置。该更新门会读取ht-1和xt,输出一个在0到1之间的数值给每个在细胞状态ct-1中的数字，表示为：
ft＝σ(Wf·[ht-1,xt]+bf)
其中，ft为更新门的输出，Wf为权重矩阵。
其中，LSTM网络的遗忘门如图5的实线部分所示，选择丢弃部分不重要的信息，将重要的信息留存下来，作为一个特征提取。其中ht-1表示的是上一个cell的输出，人为设定输出的矩阵为1*128维；xt表示的是当前cell的输入，即本申请经过一维FULL卷积处理之后的处理后的训练集xt，σ(·)表示sigmod函数。下一步是决定让多少新的信息加入到cell状态中来。实现这个需要包括两个步骤：首先，输入层的sigmoid(·)决定哪些信息需要更新；一个tanh(·)层生成一个向量，也就是备选的用来更新的内容ct。其中tanh(·)为激活函数，Wi和Wc为权重，bi和bc为偏置。把这两部分联合起来，对cell的状态进行一个更新，更新的公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
其中，it为更新的信息。更新输入的状态，ct-1更新为ct。其中，为更新后的状态，把上一时刻的输入与ft相乘，丢弃需要丢弃的信息，接着加上/>这就是新的候选值，根据更新每个状态的程度进行变化。
LSTM网络的输入门如图6的实线部分所示，最终确定输出矩阵。这个输出将会基于cell状态，也是一个筛选后的输出。首先，运行一个sigmoid(·)层来确定细胞状态的哪个部分将输出出去。接着，把细胞状态通过tanh(·)进行处理并将它和sigmoid(·)门的输出相乘，最终输出确定输出的那部分，具体计算过程为：
Ot＝σ(Wo[ht-1,xt]+bo)
ht＝Ot*tanh(ct)
其中，LSTM网络的输出可以自行设置，在电力数据中一般设置为一个1*n的特征矩阵F(通常n设为128或256)，其中特征矩阵F∈RN×d，N为参数，d为特征维数，R为矩阵集合。
步骤3-3：设置基于LSTM网络的电网负荷预测模型的损失函数为：
其中，为第k个数据集中/>的对数损失函数，/>为表示第k个电力数据集Dk中第i个样本，x表示标签真实值，y表示预测值，nk为第k个数据集的样本数目，/>为，/>为当前模型参数下的预测值，ωt为t时刻的权值，为求和函数符号，log()为对数符号。
其中，将训练集在客户端进行基于LSTM网络的电网负荷预测模型训练，基于LSTM网络的电网负荷预测模型的LSTM网络为一个含有20个隐藏层的单个循环神经网络层；输出神经网络的网络参数。更新基于LSTM网络的电网负荷预测模型的网络参数。由基于LSTM网络的电网负荷预测模型的损失函数可以得出第k个参与方的损失函数，进而根据Adam优化器更新各基于LSTM网络的电网负荷预测模型的网络参数θ,为更新后的网络参数，网络参数更新公式为：
其中，mt为t时刻的梯度的一阶矩估计，即梯度的均值，v为t时刻的梯度的二阶矩估计，即梯度的有偏方差，gt为t时刻求得的梯度，t表示当前学习的迭代次数，⊙是一种同位元素相乘的乘法，γ1和γ2是一组基于LSTM网络的电网负荷预测模型的超参数，γ1,γ2∈[0,1)，定义γ1＝0.9，γ2＝0.99，/>和/>是修正后的梯度的均值和有偏方差，η为学习率，/>为更新后的网络参数，θ为当前网络参数，mt-1为t-1时刻的梯度的一阶矩估计，vt-1为t-1时刻的梯度的二阶矩估计，/>为t时刻的第一超参数，/>为t时刻的第二超参数，∈为超参数。
步骤3-4：在LSTM网络之后加入外部注意力模块，用来进行重要特征提取，它计算输入特征和外部存储单元之间的注意力M∈RS×d，其中S和d为外部注意力模块的超参数，外部注意力模块的表达式为：
A＝(α)i,j＝Norm(FMT)
Fout＝AM
其中，(α)i,j为矩阵M的第i个特征和第j行之间的相似性，Fout为注意力输出特征参数，MT为矩阵M的转置，F为注意力特征参数。矩阵M为独立于输入的可学习的参数，其相当于整个训练集的存储器。A是由先验知识推断出的注意图，通过A中的相似性更新来自M的输入特征。外部注意力模块通过引入两个外部记忆单元，隐式地学习了整个输入的特征。两个外部记忆单元为Mk和Mv，Mk和Mv作为密钥和值，以增加网络的容量。外部注意力模块的整体算法的计算方式为：
Fout＝AMv
其中，为外部记忆单元Mk的转置。
应理解，由于S和d为外部注意力模块的超参数，该外部注意力模块的整体算法在像素数量上是线性的，外部注意力模块允许其直接应用于大规模输入。
步骤3-5：在加入外部注意力模块之后采用一个全连接层，来将输出的重点信息利用支持向量机(Multilayer Perception,MLP)来实现，MLP为简单的输入层、隐藏层和输出层三层结构。其中输入为LSTM网络的输出，隐藏层为100个神经元，输出的大小同输入。最终MLP的输出层为基于LSTM网络的电网负荷预测模型的输出，至此基于LSTM网络的电网负荷预测模型建立完成定义为wlocals，wlocals为基于LSTM网络的电网负荷预测模型的网络参数。
步骤S4，服务器端根据各客户端上传的初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集对基于LSTM网络的电网负荷预测全局模型进行测试验证，获得最终网络参数，并将最终网络参数返回给各客户端。
应理解，通过步骤S3的过程更新基于LSTM网络的电网负荷预测模型的网络参数，获得各基于LSTM网络的电网负荷预测模型的初步网络参数之后，上传到服务器端中，进行聚合生成基于LSTM网络的电网负荷预测全局模型。在可信的服务器端聚合各基于LSTM网络的电网负荷预测模型的初步网络参数，不同于传统的联邦平均算法，仅仅对各网络模型的网络参数进行平均化处理，没有考虑到各个数据集之间的相关性。直接作联邦平均算法，如果在源域和目标域数据之间几乎不相关，则在网络参数迁移时会造成负迁移的现象。因此考虑到源域和目标域的分布距离，在电力数据的故障诊断时可以采用最大均值差异(Maximum Mean Discrepancy，MMD)来检测店力数据异常，相比较常规的故障诊断有明显效果提升。因此本申请对电力数据负荷预测，可以基于MMD的模型迁移方法，根据不同域之间的差值进行迁移，比直接进行模型的平均处理效果要好。基于MMD的模型迁移方法，能有效衡量样本集间的差异，利用MMD衡量各个基于LSTM网络的电网负荷预测模型之间的差异，衡量源域和目标域之间的分布差异，从而根据MMD的大小对基于LSTM网络的电网负荷预测模型进行相应的调整。基于LSTM网络的电网负荷预测模型利用源域数据进行预训练，并利用目标域进行联合训练和微调，最终得到泛化能力较好的基于LSTM网络的电网负荷预测全局模型，提高电力数据负荷预测的精确度。
具体而言，基于MMD(maximize mean discrepancy)的迁移方法是指：基于两个分布的模型，通过寻找在样本空间上的连续函数φ(·)，求不同分布的样本在φ(·)上的函数值的均值，通过把两个模型作差可以得到两个分布对应于φ(·)的mean discrepancy。寻找一个φ(·)使得这个mean discrepancy有最大值，就得到了MMD。基于梯度通过多个域的MMD进行分布对齐，因此，新的聚集梯度配备了来自多个领域的信息，并更好地推广到“看不见的”测试数据。通过减小域方差和域对齐可以提高泛化能力，其中域方差可以通过对域对之间的MMD距离求和来定义，域方差分析公式为：
其中，upi和upj分别表示域i和j的分布的核嵌入,表示这个距离upi和upj是由将数据映射到再生希尔伯特空间(RKHS)中进行度量的。
可以通过用经验平均将核均值表示为：
其中，μp为核均值，φ(xi)为特征映射函数，从而可以通过核均值计算域方差，基于神经切线核的DNN分析，通过对网络目标F(ω)进行一阶泰勒展开，可以将目标函数重新表述为：
其中，F(ω0)为初始网络参数，F(ω)为最终网络参数，为求梯度，F(ω0)T为初始网络参数的转置，通过关注参数ω，上述近似可以被解释为相对于ω的线性模型，并且特征映射φ(·)是初始化ω0时的梯度，给定为/>关于数据x。因此，可以基于在神经正切核空间中的核嵌入来定义多个客户端之间的域方差，该核空间由下式给出：
其中，gradi和gradj代表的分别是从客户端i和客户端j发送到服务器端的梯度。由于神经网络是以随机方式优化的，用于模型更新的最终梯度是通过对小批量样本的梯度进行平均来计算的，因此可以使用gradi和gradj来表示神经正切核空间中分布差异测量的核均值嵌入。
集中式服务器端的梯度聚合优化了wlocals。而不是进行梯度平均以避免可能的梯度冲突。为了联合实现多个客户端之间的域对齐，进行梯度修改。
基于客户端i和客户端j仅当客户端i和客户端j之间发生负转移时(即并且客户端i关于客户端j的修正梯度的表示式为：
其中，λ为梯度下降的超参数，gradi和gradj代表的分别是从客户端i和客户端j发送到服务器端的梯度，为修正后的梯度。
在一个实施例中，基于LSTM网络的电网负荷预测全局模型的网络结构包括一维FULL卷积、LSTM网络、外部注意力模块和支持向量机；电力数据经过一维FULL卷积进行预处理之后输入至LSTM网络，挖掘出参数与时间之间的相关性特征，输出特征信息后输入外部注意力模块进行重点信息提取，将提取出的重点信息输入到后输出预测结果。
在一个实施例中，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练的方式为：
基于梯度通过多个域的MMD进行分布对齐的方式对初步网络参数的梯度进行修正，修正公式为：
其中，λ为梯度下降的超参数，gradi和gradj代表的分别是从客户端i和客户端j发送到服务器端的梯度，为修正后的梯度。
步骤S5，各客户端将自身的基于LSTM网络的电网负荷预测模型的网络参数更新为最终网络参数，获得基于LSTM网络的电网负荷预测全局模型。
其中，最终网络参数是服务器端根据各客户端上传的初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集对基于LSTM网络的电网负荷预测全局模型进行测试验证，达到设定的目标预测准确率后，确定的网络参数。
步骤S6，各客户端获取对应片区的电力数据输入自身的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测，以确定平均绝对误差，平均绝对误差用来衡量某时刻分解得到的单个区域消耗的电量和输入到该区域的真实电量的平均误差，平均绝对误差的计算表达式为：
其中，MAE为平均绝对误差，gt为在时刻t上该区域的真实耗电量，pt为在该时刻t上的总发电量，T表示时刻点的数量。
应理解，本申请的区域电量使用可以参考非侵入式负荷分解模型的评价标准，这里采用其中一个评价指标平均绝对误差(Mean Absolute Error,MAE),主要是用来衡量某时刻分解得到的单个区域消耗的电量和输入到该区域的真实电量的平均误差，反应各个客户端的基于LSTM网络的电网负荷预测全局模型在某时刻的消耗电量和输入电量。
上述基于联邦学习的智能电网负荷预测方法，通过将电力数据集进行分类，分成训练集、测试集和验证集，以各个电力消耗单位为客户端，根据电线杆的编号选取100个片区作为参与联合训练的客户端，各客户端采用训练集构建自身的基于LSTM网络的电网负荷预测模型，获得各基于LSTM网络的电网负荷预测模型的初步网络参数，并将初步网络参数上传至服务器端进行联合训练，服务器端根据各客户端上传的初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集对基于LSTM网络的电网负荷预测全局模型进行测试验证，获得最终网络参数，并将最终网络参数返回给各客户端，各客户端将自身的基于LSTM网络的电网负荷预测模型的网络参数更新为最终网络参数，获得各客户端的基于LSTM网络的电网负荷预测全局模型，各客户端获取对应片区的电力数据输入自身的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测，以确定平均绝对误差，由此，处理的数据量会大大减少，可以解决数据上传的延迟且数据量较大的问题，提高了电力的负荷预测的处理效率。
进一步的，本申请基于联邦学习的智能电网负荷预测方法，在客户端利用LSTM网络进行电力的负荷预测，还可以解决收集数据带有用户隐私信息的问题，能够很好的保护用户的隐私信息，既提高了电力负荷预测的速度同时也保护了用户的隐私问题。
在一个实施例中，提供了基于联邦学习的智能电网负荷预测方法，步骤如下：
步骤一：电力数据的数据集选择，采用某地区电网2020年5月的某些区域日负荷数据进行基于LSTM网络的电网负荷预测模型构建和回测，日负荷数据的采样时间间隔是5min，每日共有288条数据，具体数据内容包含首有功和末有功、首电压和末电压以及输出电流和对地电纳等，最后收集整合为序列长度M＝288的数据信息。在构建基于LSTM网络的电网负荷预测模型时，用以前的七天的历史负荷数据作为训练集进行基于LSTM网络的电网负荷预测模型训练，预测第八天的日负荷的数据。将数据按照Q1＝60％为训练集，Q2＝20％验证集和Q3＝20％测试集划分，其中Q3测试集在服务器端进行验证联合训练的基于LSTM网络的电网负荷预测全局模型效果。
步骤二：用于训练的日负荷数据可能存在数据突变或者数据缺失，先进行一维数据卷积处理，这里选取部分数据作为展示，因为电力数据全部内容都是数字形式展示的，在本申请中仅展示部分数据进行一维卷积平滑处理，在本实施案例中卷积核的值分别为η1＝0.1、η2＝0.2和η3＝0.3；如附图3所示，图中展示了一个1*3的卷结核和电力数据进行一维FULL卷积操作，故在原始数据上切出一个长度为U＝3的窗口,故根据公式M-U+1，则得到286个训练样本。
步骤三：将卷积处理之后的矩阵形式电力数据，传输到基于LSTM网络的电网负荷预测模型的LSTM网络中，这里人为规定第一次输入是的上一时刻ct-1和ht-1为c0和h0且大小均为0。本申请采用一个两层的LSTM网络，第一层LSTM网络含有200个隐藏单元，第二层LSTM网络含有100个隐藏单元。隐藏单元的最终数量是在对不同数量的隐藏单元进行实验并保持隐藏单元的数量具有最小预测误差之后确定的在训练过程中，网络预测每个时间步长的超前值。在每个时间步长学习数据，并更新训练好的网络，直到前一个时间步长每个预测值都是下一次预测的全部数据的一部分。以这种方式，LSTM网络被自适应地训练。如图7所示的双层LSTM的内部结构图和本实施案例的输入输出图含数据内容，根据损失函数来计算损失，最后得到LSTM网络结构的输出数据，LSTM网络的输出可以人为设定大小，这里设定输出的矩阵形式定义为1*128，(对于电力数据的输出一般输出定位1*128或者1*256，这里以1*128举例)。
步骤四：将步骤三的LSTM处理后的数据进行权重提取，此处采用外部注意力机制进行，简化本地建模的本地模型(即基于LSTM网络的电网负荷预测模型)结构，外部注意力机制(即外部注意力模块)加入到本地模型中，如图8所示的外部注意力机制，这里进行权重提取不改变矩阵的大小，仅改变关键点的信息权重比例，故输出的矩阵大小仍为1*128；
步骤五：将上述步骤一-步骤四的处理结果输出给MLP建立本地模型，整个本地模型的建立流程图如附图9所示；
步骤六：步骤一-步骤五完成了本地模型的建立，在步骤六中进行客户端的迁移，云端的模型(即基于LSTM网络的电网负荷预测全局模型)建立，迁移部分尽在MLP层进行，故前面的模型结构相同，仅在最后MLP层进行模型迁移，迁移过程如附图10所示，其中，云端即为服务器端；
步骤七：在服务器端进行模型处理，将本地上传上来的MLP模型和服务器端的MLP模型进行MMD的迁移，根据基于MMD的迁移方法来计算各个模型之间的域差，经过多次迭代得到泛化性能较好的本地模型，分发给各个参与的本地模型。具体实施案例表明，本发明专利能够提高预测的效果还能保护用户的隐私，达到预期值。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于联邦学习的智能电网负荷预测方法，其特征在于，所述方法包括：
步骤S1：将电力数据集进行分类，分成训练集、测试集和验证集。
步骤S2：以各个电力消耗单位为客户端，根据电线杆的编号选取100个片区作为参与联合训练的客户端Ui(i＝1，2，…100)；
步骤S3：各客户端采用所述训练集构建自身的基于LSTM网络的电网负荷预测模型，获得各基于LSTM网络的电网负荷预测模型的初步网络参数，并将所述初步网络参数上传至服务器端进行联合训练；
步骤S4，所述服务器端根据各客户端上传的初步网络参数，基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练，再使用测试集和验证集对所述基于LSTM网络的电网负荷预测全局模型进行测试验证，获得最终网络参数，并将所述最终网络参数返回给各所述客户端；
步骤S5，各所述客户端将自身的基于LSTM网络的电网负荷预测模型的网络参数更新为所述最终网络参数，获得各所述客户端的基于LSTM网络的电网负荷预测全局模型；
步骤S6，各客户端获取对应片区的电力数据输入自身的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测，以确定平均绝对误差，所述平均绝对误差用来衡量某时刻分解得到的单个区域消耗的电量和输入到该区域的真实电量的平均误差，所述平均绝对误差的计算表达式为：
其中，MAE为平均绝对误差，gt为在时刻t上该区域的真实耗电量，pt为在该时刻t上的总发电量，T表示时刻点的数量。
2.根据权利要求1所述的方法，其特征在于，所述基于LSTM网络的电网负荷预测模型和所述基于LSTM网络的电网负荷预测全局模型的网络结构相同，该网络结构包括一维FULL卷积、LSTM网络、外部注意力模块和支持向量机；
电力数据经过一维FULL卷积进行预处理之后输入至所述LSTM网络，挖掘出参数与时间之间的相关性特征，输出特征信息后输入所述外部注意力模块进行重点信息提取，将提取出的重点信息输入到后输出预测结果。
3.根据权利要求2所述的方法，其特征在于，所述基于LSTM网络的电网负荷预测模型的损失函数为：
其中，为第k个数据集中/>的对数损失函数，/>为表示第k个电力数据集Dk中第i个样本，x表示标签真实值，y表示预测值，nk为第k个数据集的样本数目，为，/>为当前模型参数下的预测值，ωt为t时刻的权值，/>为求和函数符号，log()为对数符号。
4.根据权利要求3所述的方法，其特征在于，所述各客户端采用所述训练集训练自身的基于LSTM网络的电网负荷预测模型时的网络参数的更新公式为：
其中，mt为t时刻的梯度的一阶矩估计，即梯度的均值，v为t时刻的梯度的二阶矩估计，即梯度的有偏方差，gt为t时刻求得的梯度，t表示当前学习的迭代次数，⊙是一种同位元素相乘的乘法，γ1和γ2是一组所述基于LSTM网络的电网负荷预测模型的超参数，γ1,γ2∈[0,1)，定义γ1＝0.9，γ2＝0.99，/>和/>是修正后的梯度的均值和有偏方差，η为学习率，/>为更新后的网络参数，θ为当前网络参数，mt-1为t-1时刻的梯度的一阶矩估计，vt-1为t-1时刻的梯度的二阶矩估计，/>为t时刻的第一超参数，/>为t时刻的第二超参数，∈为超参数。
5.根据权利要求4所述的方法，其特征在于，所述基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练的方式为：
基于梯度通过多个域的MMD进行分布对齐的方式对初步网络参数的梯度进行修正，所述修正公式为：
其中，λ为梯度下降的超参数，gradi和gradj代表的分别是从客户端i和客户端j发送到服务器端的梯度，为修正后的梯度。
CN202310661574.2A 2023-06-05 2023-06-05 基于联邦学习的智能电网负荷预测方法 Pending CN116706888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310661574.2A CN116706888A (zh) 2023-06-05 2023-06-05 基于联邦学习的智能电网负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310661574.2A CN116706888A (zh) 2023-06-05 2023-06-05 基于联邦学习的智能电网负荷预测方法

Publications (1)

Publication Number Publication Date
CN116706888A true CN116706888A (zh) 2023-09-05

Family

ID=87838628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310661574.2A Pending CN116706888A (zh) 2023-06-05 2023-06-05 基于联邦学习的智能电网负荷预测方法

Country Status (1)

Country Link
CN (1) CN116706888A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117973457A (zh) * 2024-04-01 2024-05-03 南京信息工程大学 自动驾驶感知场景下基于推理相似性的联邦学习方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117973457A (zh) * 2024-04-01 2024-05-03 南京信息工程大学 自动驾驶感知场景下基于推理相似性的联邦学习方法

Similar Documents

Publication Publication Date Title
CN110610280B (zh) 一种电力负荷短期预测方法、模型、装置及系统
CN115688579B (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
Lu et al. A hybrid model based on convolutional neural network and long short-term memory for short-term load forecasting
Dong et al. Applying the ensemble artificial neural network-based hybrid data-driven model to daily total load forecasting
CN115983448B (zh) 一种基于时空图神经网络的多能源负荷预测方法
CN116842459A (zh) 一种基于小样本学习的电能计量故障诊断方法及诊断终端
CN116706888A (zh) 基于联邦学习的智能电网负荷预测方法
Zhang et al. Load Prediction Based on Hybrid Model of VMD‐mRMR‐BPNN‐LSSVM
CN115186923A (zh) 光伏发电功率的预测方法、装置及电子设备
Xu et al. Ensemble residual networks for short-term load forecasting
Dogra et al. Consumers profiling based federated learning approach for energy load forecasting
Ibrahim et al. LSTM neural network model for ultra-short-term distribution zone substation peak demand prediction
Lin et al. Hpt-rl: Calibrating power system models based on hierarchical parameter tuning and reinforcement learning
CN117592592A (zh) 基于vmd-ssa-lstm的输电线路覆冰厚度预测方法
Tangrand Some new contributions to neural networks and wavelets with applications
CN116937559A (zh) 基于循环神经网络和张量分解的电力系统负荷预测系统和方法
CN117371573A (zh) 基于TrAdaBoost-LSTM的时间序列预测方法、装置及介质
CN114221334B (zh) 一种基于图神经网络的快速状态估计方法
Deng et al. Medium-term rolling load forecasting based on seasonal decomposition and long short-term memory neural network
Viana et al. Load forecasting benchmark for smart meter data
Yang et al. An improved spatial upscaling method for producing day‐ahead power forecasts for wind farm clusters
Li et al. EMLP: short-term gas load forecasting based on ensemble multilayer perceptron with adaptive weight correction
Peng et al. A hybrid model for solar radiation forecasting towards energy efficient buildings
Wen et al. Short-Term Power Load Forecasting with Hybrid TPA-BiLSTM Prediction Model Based on CSSA.
Padhan et al. Power forecasting with minimal loss using lstm and pv model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination