CN114462683A - 基于联邦学习的云边协同多居民区负荷预测方法 - Google Patents

基于联邦学习的云边协同多居民区负荷预测方法 Download PDF

Info

Publication number
CN114462683A
CN114462683A CN202210029647.1A CN202210029647A CN114462683A CN 114462683 A CN114462683 A CN 114462683A CN 202210029647 A CN202210029647 A CN 202210029647A CN 114462683 A CN114462683 A CN 114462683A
Authority
CN
China
Prior art keywords
data
model
client
training
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210029647.1A
Other languages
English (en)
Inventor
彭勇刚
孙静
胡丹尔
杨晋祥
莫浩杰
韦巍
蔡田田
邓清唐
陈波
杨英杰
冯起辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Zhejiang University ZJU
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202210029647.1A priority Critical patent/CN114462683A/zh
Publication of CN114462683A publication Critical patent/CN114462683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Power Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及电力系统短期负荷预测方法，旨在提供一种基于联邦学习的云边协同多居民区负荷预测方法。本发明采用云边协同技术，通过同态加密技术实现云端服务器与分布于各居民区的计算客户端之间的负荷预测模型参数传输，达到降低通信成本与保护居民数据隐私的目的；通过采用统一的全局模型而非各异的局部模型对居民区进行负荷预测，避免了居民区由于数据数量少或计算能力不够导致的负荷预测结果不佳的问题。本发明使用与负荷相关性高的气象数据作为模型特征参与模型训练，合理运用不同计算客户端之间的数据量差异，提升了训练精度和效率。将居民区的用户数据留在本地，只传输模型参数，显著降低了通信耗时与通信所需带宽，提高模型效率与经济性。

Description

基于联邦学习的云边协同多居民区负荷预测方法
技术领域
本发明涉及电力系统短期负荷预测方法，属于基于联邦学习的多特征居民区负荷预测技术。
背景技术
随着各类分布式能源接入电力系统，原有的单向电力流动转变为双向电力流动，监测难度上升，同时，随着我国经济的发展，居民区的用电规模呈显著上升趋势，因此，对居民区进行有效的电力负荷预测有利于维持居民区的电力稳定，提升居民区电能质量。
电力负荷预测分为中长期负荷预测、短期负荷预测及超短期负荷预测，当前，研究者们最关注的是短期负荷预测，常常以小时为单位，考虑人为活动与气象因素，对研究对象的负荷进行预测，常用的方法有时间序列预测、神经网络预测等。神经网络预测方法中，常用的模型为具有记忆性的循环神经网络及长短期记忆网络。
近年来，电力系统对负荷预测的精准度要求越来越高，包括特征精准度与结果精准度。业内已有多篇公开文献对此展开讨论，例如：《面向商业和居民混合的配电网短期负荷预测HGWOACOA-LSTMN方法》中提出了一种基于灰狼郊狼混合优化算法(和长短时记忆网络相结合的配电网短期电力负荷预测方法，预测对象为商业和居民混合的配电网负荷。《基于状态频率记忆网络的家庭短期电力负荷预测》进一步以家庭为单位进行短期的电力负荷预测，提出了一种基于状态频率记忆网络的家庭短期电力负荷预测模型。《Short-termLoad Forecasting Based on VMD-PSO-Multiple Kernel Extreme Learning MachineMethod》)提出了一种基于变分模态分解与粒子群优化的多核极限学习机模型。《基于麻雀搜索优化的Attention-GRU短期负荷预测方法》首先应用Attention机制对输入序列进行权重分配；然后输入GRU组合网络对内部特征进行学习并输出预测时间负荷值；最后使用麻雀搜索算法对网络超参数进行组合优化，以验证集损失最小为目标函数获取最优化网络结构超参数。
但是，上述各类研究中，针对研究对象皆为一个单位(家庭、区域等)；预测单个对象负荷的计算需求较高、数据量较大，同时难以进行规模化的迁移预测。并且，现有的负荷预测往往直接将气候因素特征加入预测模型，对模型训练效率造成不利影响。
发明内容
本发明要解决的技术问题是，克服现有技术中的不足，提供一种基于联邦学习的云边协同多居民区负荷预测方法。
为解决技术问题，本发明的解决方案是：
提供一种基于联邦学习的云边协同多居民区负荷预测方法，包括以下步骤：
(1)利用设于各居民区的计算客户端获取本居民区的历史用电负荷和历史气象数据；
(2)搭建基于注意力机制的长短期记忆网络模型(attention-lstm)，并分别部署在云端服务器和各计算客户端中；
(3)以云端服务器随机选择若干个居民区，由各计算客户端利用本居民区的用电负荷与气象数据对模型进行局部训练，并将训练后的模型参数以同态加密算法加密之后传输给云端服务器；
(4)云端服务器接收并解密来自计算客户端的模型参数，对全局模型进行聚合与更新，并将更新后的模型参数下发给所有计算客户端；
(5)重复步骤(3)-(4)并达到预设的训练轮数之后，云端服务器利用最终获得的全局模型对各居民区的用电负荷进行预测。
作为本发明的优选方案，在步骤(1)中，采用斯皮尔曼相关系数对历史气象数据与历史用电负荷的相关性进行计算与分析，获得相关度分级，并将满足预设条件的强相关气象数据作为模型的输入。
作为本发明的优选方案，所述斯皮尔曼相关系数的计算公式为：
Figure BDA0003465312390000021
式中，rs表示斯皮尔曼相关性系数；n表示两组数据各自的数量，原则上要求待分析的两组数据数量相同；di表示任意两个数据次序的差值，即：
di＝rg(Xi)-rg(Yi)
式中，Xi、Yi表示数据中任意两个数据点，rg(Xi)表示Xi在数据中的排序位置；rg(Yi)表示Yi在数据中的排序位置；
根据斯皮尔曼相关系数的计算获得相关度之后，按下述判定准则进行分级：
Figure BDA0003465312390000031
作为本发明的优选方案，所述历史气象数据包括：最高温度、最低温度、平均温度、相对湿度及降雨量。
作为本发明的优选方案，所述步骤(2)中，基于注意力机制的长短期记忆网络模型是指Autoencoder-LSTM-FNN模型，由Autoencoder层、LSTM层、FNN层以及输出层组成；其中，Autoencoder层用于提取原始数据的隐含特征以作为LSTM层的输入，LSTM对输入数据进行分析后输出到FNN层，数据再经过FNN层处理后输入到输出层，最终由输出层输出最后的结果。
作为本发明的优选方案，所述步骤(3)中，云端服务器采用虚拟客户端法进行随机选择：
(1)统计每个可能参与训练的计算客户端i的数据条目数量为Fi，将该计算客户端i在全局模型中的重要度Pi r表示为：
Figure BDA0003465312390000032
(2)基于所有原始计算客户端，依据重要度生成k个复制对象作为虚拟客户端，第i个客户端生成的复制对象个数为：Mi＝Pi r·k；
(3)将虚拟客户端与原始客户端整合，云端服务器随机挑选客户端进行模型训练时，第i个客户端被选取的概率为：
Figure BDA0003465312390000033
在k与N的取值确定的情况下，某客户端在全局模型中的重要度越高，则在每次训练时被选取的概率就越大，以此保证重要度高的客户端具有更多的训练次数。
作为本发明的优选方案，所述步骤(3)中的同态加密算法是使用乘法同态加密的RSA算法，包括密钥生成、同态加密、同态赋值和同态解密。
作为本发明的优选方案，所述步骤(4)中，是利用FedAvg算法进行全局模型的聚合与更新，具体使用了下述公式：
Figure BDA0003465312390000034
其中，Gt+1表示第t+1轮聚合之后的全局模型；Gt表示第t轮聚合之后的全局模型；λ表示设置的更新系数；Lt+1 i表示第i个计算客户端在第t+1轮本地局部训练更新后的模型。
发明原理简述：
本发明针对现有技术中的不足，采用云边协同技术，通过同态加密技术实现云端服务器与分布于各居民区的计算客户端之间的负荷预测模型参数传输，达到降低通信成本与保护居民数据隐私的目的；同时，通过采用统一的全局模型而非各异的局部模型对居民区进行负荷预测，避免了居民区由于数据数量少或计·算能力不够导致的负荷预测结果不佳的问题。为了减少云边通信中的数据参数传输量，对各居民区气象数据进行斯皮尔曼分析，使用与负荷相关性高的气象数据作为模型特征参与模型训练。
与现有技术相比，本发明的优点有：
(1)利用斯皮尔曼相关度分析，对气象数据进行相关度分级，避免了相关度不高的气象数据参与运算和占用通信带宽，影响模型训练效率。
(2)利用云边协同的思想对多居民区进行联合负荷预测模型的训练，使得数据量不足、计算能力较差的客户端可以利用全局模型进行负荷预测，实现了各居民区数据最大化利用，达到了最佳的协同预测效果。
(3)模型结构采用Autoencoder-LSTM-FNN结构，可以加强重要信息对于神经网络权值的影响，同时LSTM具有较强的记忆能力，对于负荷序列预测的精确度有较大提升。
(4)每轮训练中采用虚拟客户端法对计算客户端进行选取，合理运用不同计算客户端之间的数据量差异，提升了训练精度和效率。
(5)联邦学习将居民区的用户数据留在本地，使得通信过程不会有大规模数据的传输；由于只传输模型参数，因此显著降低了通信耗时与通信所需带宽，提高了模型效率与经济性。
附图说明
图1为AutoEncoder-LSTM-FNN模型架构示意图；
图2为虚拟客户端法流程图；
图3为负荷预测模型训练方式；
图4为不同k值模型训练损失变化曲线；
图5为k＝8模型训练损失变化曲线；
图6为k＝6两种模型训练损失变化曲线。
具体实施方式
下面对基于联邦学习的云边协同多居民区负荷预测方法进行详细说明。
一、利用设于各居民区的计算客户端获取本居民区的历史用电负荷和历史气象数据。
神经网络特别是LSTM能够有效对负荷序列进行预测，然而无关特征数据的输入往往会增加训练实际，降低训练精度，影响模型效果。因此，在将气象数据作为特征量输入本地模型之前，采用斯皮尔曼相关系数对各种气象数据与电力负荷的相关性进行具体分析，斯皮尔曼相关系数与传统的皮尔逊相关系数分析相比，不需要两组数据间存在线性相关关系，而是根据原始数据的排序位置进行求解，获得两组数据的正负相关性。由于气象数据对电力负荷的影响往往是非线性的，采用斯皮尔曼相关系数可以更清晰地进行分析。
斯皮尔曼相关性系数的计算公式如下所示：
Figure BDA0003465312390000051
式中，rs表示斯皮尔曼相关性系数；n表示两组数据各自的数量，原则上要求待分析的两组数据数量相同；
di表示任意两个数据次序的差值，即：di＝rg(Xi)-rg(Yi)
式中，Xi、Yi表示数据中任意两个数据点，rg(Xi)表示Xi在数据中的排序位置；rg(Yi)表示Yi在数据中的排序位置；
由于斯皮尔曼系数主要考虑数据的排列次序，对于数据中的异常值不敏感，因此适用条件更广泛。一般来说，rs的绝对值越接近1，说明相关性越高，负数表示负相关，正数表示正相关。
本发明采用以下判定准则进行分级：
Figure BDA0003465312390000052
将满足预设条件的强相关气象数据，作为神经网络的部分输入用于模型训练。
二、搭建基于注意力机制的长短期记忆网络模型(attention-lstm)，并分别部署在云端服务器和各计算客户端中。
为避免部分居民区由于数据数量少或计算能力不够导致的负荷预测结果不佳的问题，本发明采用统一的全局模型并分别部署在云端服务器和各计算客户端中，而不是在各居民区的计算客户端部署结构各异的局部模型分别进行训练。
本发明采用了基于注意力机制的长短期记忆网络模型(attention-lstm)，长短期记忆网络(1stm)是循环神经网络(rnn)的变体，这种神经网络引入了记忆单元，克服了传统循环神经网络中存在的“遗忘”缺陷，能够对长时间内的数据进行分析。LSTM的记忆单元由三个调节单元状态的非线性门控单元组成，
与人脑在处理信息会将主要的注意力集中在重要信息而忽略无关信息类似，在神经网络中加入注意力机制(attention mechanism，am)机制，可以加强重要信息对于神经网络权值的影响。AM可以利用参数学习和权重映射为前级LSTM网络的隐含状态分配不同的权值。AM本质是通过模拟人脑的注意力分配机制而设计的一种神经网络结构，它可以计算输入数据和输出数据与重要权值特征分布的相关性。LSTM应用AM可以集中对输出变量有较大影响的特征，进而达到提高神经网络准确性的目标。
具体地，本发明attention-lstm采用的是Autoencoder-LSTM-FNN模型，具体由Autoencoder层、LSTM层、FNN层以及输出层组成。其中，Autoencoder层提取原始数据的隐含特征作为LSTM层的输入，LSTM对输入数据进行分析后输出到FNN层，数据再经过FNN层处理后输入到输出层，最终由输出层输出最后的结果。模型结构示意图如图1所示，具体可利用python中的pytorch建立。
完成全局模型搭建之后，将其同时部署在云端服务器和各居民区的计算客户端中。利用布置于边缘侧的全局模型分别进行局部训练，可以避免将海量的电力负荷数据和气象数据集中到云端服务器，解决了预测过程中云端服务器算力不够和局部地区数据不足，以及海量数据传输效率低下的问题。
三、以云端服务器随机选择若干个居民区，由各计算客户端利用本居民区的用电负荷与气象数据对模型进行局部训练，并将训练后的模型参数以同态加密算法加密之后传输给云端服务器。
为了使本地数据条目多的客户端特征能够被充分学习，同时避免本地数据条目少的客户端训练的局部模型准确度低导致生成的全局模型准确度低，本发明采用虚拟客户端法在每轮全局模型的训练中选取居民区客户端。
虚拟客户端法流程图如图2所示，具体实施方式如下：
(1)统计每个可能参与训练的计算客户端i的数据条目数量为Fi，将该计算客户端i在全局模型中的重要度Pi r表示为：
Figure BDA0003465312390000071
(2)基于所有原始计算客户端，依据重要度生成k个复制对象作为虚拟客户端，第i个客户端生成的复制对象个数为：Mi＝Pi r·k；复制出的对象个数不要求为整数，因为它仅对服务端选择客户端的概率有所影响。
(3)将虚拟客户端与原始客户端整合，云端服务器随机挑选客户端进行模型训练时，第i个客户端被选取的概率为：
Figure BDA0003465312390000072
在k与N的取值确定的情况下，某客户端在全局模型中的重要度越高，则在每次训练时被选取的概率就越大，以此保证重要度高的客户端具有更多的训练次数。
为保证各居民区之间的用户隐私和数据安全，本发明采用虚拟客户端法进行客户端选取并训练局部模型之后，将利用同态加密算法传输局部模型参数，以供云端服务器解读和聚合。
同态加密算法可使用乘法同态加密中最经典的RSA算法，主要由四个部分组成：密钥的生成、同态加密、同态赋值以及同态解密。
四、云端服务器接收并解密来自计算客户端的模型参数，利用FedAvg算法对全局模型进行聚合与更新，并将更新后的模型参数下发给所有计算客户端；
云端服务器收到各计算客户端传输的经局部训练后的模型参数后，使用密钥对密文进行解密，可以保证了数据在整个传输过程中不会泄露。密文解密之后得到来自不同居民区的模型参数，利用FedAvg算法进行全局模型的聚合与更新。
FebAvg算法通过下面的公式来更新全局模型：
Figure BDA0003465312390000073
其中，Gt+1表示第t+1轮聚合之后的全局模型；Gt表示第t轮聚合之后的全局模型；λ表示设置的更新系数；Lt+1 i表示第i个计算客户端在第t+1轮本地局部训练更新后的模型。
更新完的全局模型参数被存储起来，同时判断模型训练是否终止。若未达到预设的终止训练轮数，则在下一次训练前将全局模型参数下发至所有计算客户端；由下一次被随机选中的客户端利用新的模型参数，重新进行全局模型的局部训练；如此循环，直到满足训练终止条件。
全局模型参数也需要经同态加密算法加密之后才发至所有计算客户端，客户端在解密后使用各自的本地数据进行新一轮训练。
五、重复步骤三、四并达到预设的训练轮数之后，云端服务器利用最终获得的全局模型对各居民区的用电负荷进行预测。
每轮训练会在N个居民区客户端中随机选取k个客户端，进行局部模型训练以及全局模型更新，使整体训练时间有所降低，同时不会对模型训练效果产生明显影响。不断重复上述训练过程，直到达到预设的训练轮数，最终经聚合与更新后生成用来对N个居民区进行负荷预测的全局预测模型。整个训练过程如图3所示。
云端服务器利用最终获得的全局模型，对各居民区的用电负荷进行预测。
一个具体的应用示例：
1.选取某地区8个小区一年的小时负荷、气象数据，负荷、气象数据均每十五分钟记一次。其中，气象数据包括：最高温度、最低温度、平均温度、相对湿度及降雨量。则居民区客户端的总数N＝8，每次训练选择k＝4个客户端进行局部模型的更新，同时更新服务端的全局模型。更新方式采用本发明提出的比例选取法。
2.利用斯皮尔曼相关系数公式计算五种气象数据与负荷之间的关系，将气象数据与负荷数据各自转为一维序列，根据斯皮尔曼相关系数公式，计算出8个小区的五种气象数据与负荷之间的相关度衡量表格如下表所示：
Figure BDA0003465312390000081
根据以上表格，同时每组数据都满足其显著性检验合格。可以得到与负荷结果强相关的气象数据为：最高温度、最低温度与平均温度，将三组数据作为模型的特征量输入，同时，取前三个时间点，即以一个小时作为时间间隔，前三个小时的负荷数据作为特征量输入。
3.在模型训练阶段，设定模型为Autoencoder-LSTM-FNN模型；将前三个时间点，即以一个小时作为时间间隔，前三个小时的的负荷与气象数据特征作为AutoEncoder的输入数据，AutoEncoder层的输入节点个数与所选择的特征数相同，为6；隐藏层节点个数设置为64或者128，隐藏层的输出作为LSTM的输入，该层激活函数使用ReLU，当AutoEncoder层训练到最大精度触发早期停止或达到最大设置周期时，它将向后级神经网络输出数据。一般情况下，LSTM的层数越多，神经网络的拟合效果就越好，但是训练时间会随着LSTM层数的增加而明显增加，因而设置LSTM的层数为2层，第一层LSTM的输入节点数与AutoEncoder层的隐藏节点数相同，输出节点数为64或者128，第二层LSTM输入节点数与前一层相同，输出节点数为32或者64，两层LSTM层均使用Sigmoid作为激活函数。FNN层输出节点数设置为8，输出层输入节点设置为8，激活函数使用ReLU。输出层节点数设置为1，从而获得预测的下一个时间点的负荷数据。神经网络模型使用Adam作为网络参数的优化器，Adam优化器适合应用于大规模的数据。为了防止过拟合，提高模型的泛化能力，在神经网络模型中引入了Dropout方法和L2正则化方法(L2 regularization)。
4.经过20轮训练后，全局模型的损失函数值趋于稳定。在训练过程中，采用交叉验证方式，损失值变化情况如下图，其中不同曲线为模型训练过程中选取不同客户端获得的不同训练结果，损失函数为MSE(Mean Square Error)，如图4所示。
可以看出，k＝1，3，5时，全局模型均收敛，且k＝5时，全局模型收敛最快，在第4轮训练中，即达到了误差为0.0026的效果。
5.而若直接对8个小区的负荷数据与所选气象数据进行训练，经过20轮训练后，其损失值变化如图5所示。
可以看出，采用本发明提出的模型结构，且使用全小区数据进行模型训练，预测损失在第2轮训练中达到0.0026，然而，直接训练所花的时间却为本发明提出方法的数倍，同时占用更大的计算空间。因此，本发明提出的基于联邦学习与比例选取法的多居民区负荷预测方法，能够对预测精度不产生明显影响的前提下，使得中央服务器的计算时耗与计算能力占用大大降低。
6.为验证本发明提出的虚拟客户端法，将采用虚拟客户端法与不采用虚拟客户端法的联邦学习负荷预测结果进行比较，选取k＝6，损失值变化如图6所示。
由上图可知，采用虚拟客户端法，能够使预测模型损失更快收敛，达到预期效果。

Claims (8)

1.一种基于联邦学习的云边协同多居民区负荷预测方法，其特征在于，包括以下步骤：
(1)利用设于各居民区的计算客户端获取本居民区的历史用电负荷和历史气象数据；
(2)搭建基于注意力机制的长短期记忆网络模型(attention-lstm)，并分别部署在云端服务器和各计算客户端中；
(3)以云端服务器随机选择若干个居民区，由各计算客户端利用本居民区的用电负荷与气象数据对模型进行局部训练，并将训练后的模型参数以同态加密算法加密之后传输给云端服务器；
(4)云端服务器接收并解密来自计算客户端的模型参数，对全局模型进行聚合与更新，并将更新后的模型参数下发给所有计算客户端；
(5)重复步骤(3)-(4)并达到预设的训练轮数之后，云端服务器利用最终获得的全局模型对各居民区的用电负荷进行预测。
2.根据权利要求1所述的方法，其特征在于，在步骤(1)中，采用斯皮尔曼相关系数对历史气象数据与历史用电负荷的相关性进行计算与分析，获得相关度分级，并将满足预设条件的强相关气象数据作为模型的输入。
3.根据权利要求2所述的方法，其特征在于，所述斯皮尔曼相关系数的计算公式为：
Figure FDA0003465312380000011
式中，rs表示斯皮尔曼相关性系数；n表示两组数据各自的数量，原则上要求待分析的两组数据数量相同；di表示任意两个数据次序的差值，即：
di＝rg(Xi)-rg(Yi)
式中，Xi、Yi表示数据中任意两个数据点，rg(Xi)表示Xi在数据中的排序位置；rg(Yi)表示Yi在数据中的排序位置；
根据斯皮尔曼相关系数的计算获得相关度之后，按下述判定准则进行分级：
Figure FDA0003465312380000012
4.根据权利要求1所述的方法，其特征在于，所述历史气象数据包括：最高温度、最低温度、平均温度、相对湿度及降雨量。
5.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，基于注意力机制的长短期记忆网络模型是指Autoencoder-LSTM-FNN模型，由Autoencoder层、LSTM层、FNN层以及输出层组成；其中，Autoencoder层用于提取原始数据的隐含特征以作为LSTM层的输入，LSTM对输入数据进行分析后输出到FNN层，数据再经过FNN层处理后输入到输出层，最终由输出层输出最后的结果。
6.根据权利要求1所述的方法，其特征在于，所述步骤(3)中，云端服务器采用虚拟客户端法进行随机选择：
(1)统计每个可能参与训练的计算客户端i的数据条目数量为Fi，将该计算客户端i在全局模型中的重要度Pi r表示为：
Figure FDA0003465312380000021
(2)基于所有原始计算客户端，依据重要度生成k个复制对象作为虚拟客户端，第i个客户端生成的复制对象个数为：Mi＝Pi r·k；
(3)将虚拟客户端与原始客户端整合，云端服务器随机挑选客户端进行模型训练时，第i个客户端被选取的概率为：
Figure FDA0003465312380000022
在k与N的取值确定的情况下，某客户端在全局模型中的重要度越高，则在每次训练时被选取的概率就越大，以此保证重要度高的客户端具有更多的训练次数。
7.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的同态加密算法是使用乘法同态加密的RSA算法，包括密钥生成、同态加密、同态赋值和同态解密。
8.根据权利要求1所述的方法，其特征在于，所述步骤(4)中，是利用FedAvg算法进行全局模型的聚合与更新，具体使用了下述公式：
Figure FDA0003465312380000023
其中，Gt+1表示第t+l轮聚合之后的全局模型；Gt表示第t轮聚合之后的全局模型；λ表示设置的更新系数；Lt+1 i表示第i个计算客户端在第t+1轮本地局部训练更新后的模型。
CN202210029647.1A 2022-01-11 2022-01-11 基于联邦学习的云边协同多居民区负荷预测方法 Pending CN114462683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029647.1A CN114462683A (zh) 2022-01-11 2022-01-11 基于联邦学习的云边协同多居民区负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029647.1A CN114462683A (zh) 2022-01-11 2022-01-11 基于联邦学习的云边协同多居民区负荷预测方法

Publications (1)

Publication Number Publication Date
CN114462683A true CN114462683A (zh) 2022-05-10

Family

ID=81410385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029647.1A Pending CN114462683A (zh) 2022-01-11 2022-01-11 基于联邦学习的云边协同多居民区负荷预测方法

Country Status (1)

Country Link
CN (1) CN114462683A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676940A (zh) * 2022-05-27 2022-06-28 四川瑞康智慧能源有限公司 商业旅游区购电量预测方法、装置、电子设备及存储介质
CN117688502A (zh) * 2024-02-04 2024-03-12 山东大学 一种局部异常因子检测的安全外包计算方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676940A (zh) * 2022-05-27 2022-06-28 四川瑞康智慧能源有限公司 商业旅游区购电量预测方法、装置、电子设备及存储介质
CN117688502A (zh) * 2024-02-04 2024-03-12 山东大学 一种局部异常因子检测的安全外包计算方法及系统
CN117688502B (zh) * 2024-02-04 2024-04-30 山东大学 一种局部异常因子检测的安全外包计算方法及系统

Similar Documents

Publication Publication Date Title
Liang et al. A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers
Wang et al. Ensemble learning for load forecasting
Laib et al. Toward efficient energy systems based on natural gas consumption prediction with LSTM Recurrent Neural Networks
Eslami et al. A data ensemble approach for real-time air quality forecasting using extremely randomized trees and deep neural networks
CN110705743B (zh) 一种基于长短期记忆神经网络的新能源消纳电量预测方法
CN113610303B (zh) 一种负荷预测方法及系统
CN110163410A (zh) 一种基于神经网络-时间序列的线损电量预测方法
CN110674999A (zh) 基于改进聚类和长短期记忆深度学习的小区负荷预测方法
CN114462683A (zh) 基于联邦学习的云边协同多居民区负荷预测方法
Han et al. Short-term forecasting of individual residential load based on deep learning and K-means clustering
Teng et al. Use of group method of data handling for transport energy demand modeling
CN108280998A (zh) 基于历史数据动态选择的短时交通流预测方法
Muzumdar et al. Designing a robust and accurate model for consumer-centric short-term load forecasting in microgrid environment
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN109919356A (zh) 一种基于bp神经网络区间需水预测方法
CN116562908A (zh) 一种基于双层vmd分解和ssa-lstm的电价预测方法
Wang et al. Short-term load forecasting with LSTM based ensemble learning
CN114811713B (zh) 基于混合深度学习的二级网户间均衡供热调控方法
Čurčić et al. Gaining insights into dwelling characteristics using machine learning for policy making on nearly zero-energy buildings with the use of smart meter and weather data
Ahmadi et al. Deep federated learning-based privacy-preserving wind power forecasting
Nespoli et al. User behavior clustering based method for ev charging forecast
Beichter et al. Net load forecasting using different aggregation levels
Fekri et al. Asynchronous adaptive federated learning for distributed load forecasting with smart meter data
Yang Combination forecast of economic chaos based on improved genetic algorithm
Rendon et al. Structural combination of neural network models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination