CN113139341A - 基于联邦集成学习的电量需求预测方法和系统 - Google Patents

基于联邦集成学习的电量需求预测方法和系统 Download PDF

Info

Publication number
CN113139341A
CN113139341A CN202110444330.XA CN202110444330A CN113139341A CN 113139341 A CN113139341 A CN 113139341A CN 202110444330 A CN202110444330 A CN 202110444330A CN 113139341 A CN113139341 A CN 113139341A
Authority
CN
China
Prior art keywords
model
local
sub
power station
electric quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110444330.XA
Other languages
English (en)
Other versions
CN113139341B (zh
Inventor
林培斌
戚远航
刘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Anheng Power Technology Co ltd
Original Assignee
Guangdong Anheng Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Anheng Power Technology Co ltd filed Critical Guangdong Anheng Power Technology Co ltd
Priority to CN202110444330.XA priority Critical patent/CN113139341B/zh
Publication of CN113139341A publication Critical patent/CN113139341A/zh
Application granted granted Critical
Publication of CN113139341B publication Critical patent/CN113139341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/04—Power grid distribution networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Water Supply & Treatment (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于联邦集成学习的电量需求预测方法和系统，方法包括以下步骤：包括以下步骤：总电站从所有参与训练的子电站中随机抽取部分子电站参加本轮训练，并将预训练的全局模型发送给相应的子电站；每个子电站收到全局模型，并对自身的本地模型进行初始化，并且子电站使用自身的本地数据集进行本地训练；子电站在进行本地训练之后将自身的本地模型上传给总电站，总电站对收到的本地模型执行聚合操作，得到新的全局模型；循环执行以上步骤，直至全局模型达到收敛，当前每个子电站的本地模型为电量需求预测模型，子电站采用对应的电量需求预测模型执行电量需求预测任务。根据本发明实施例的方法，能够实现对于子电站的电量需求的预测。

Description

基于联邦集成学习的电量需求预测方法和系统
技术领域
本发明属于智能电网设备技术领域，具体涉及一种基于联邦集成学习的电量需求预测方法和系统。
背景技术
近年来，随着大数据与人工智能技术快速发展及深入应用，电网企业不断探索中长期电量预测业务，以期进一步提升在电网规划、负荷控制及需求侧管理等方面的科学决策水平。中长期电量预测是电网调峰及电力需求侧管理等工作的基础，在电力市场改革持续推进、电力企业不断深入发展的背景下，开展中长期电量预测工作，能够为电网企业合理制订电网规划、优化客户用电、提高线损管理智能化与精益化水平提供辅助决策支撑。然而，在传统中长期电量预测任务中往往因预测模型单一而很容易受到天气等意外的影响，从而使得预测精度波动较大。另一方面，原有的电量需求预测模型仅仅是提供给电力公司总部的而忽略了独立电站的预测需求。
发明内容
本申请的一个目的是提供一种基于联邦集成学习的电量需求预测方法和系统的新技术方案，能够实现对于子电站的电量需求的预测。
本发明的第一方面，提供了一种基于联邦集成学习的电量需求预测方法，包括以下步骤：总电站从所有参与训练的子电站中随机抽取部分所述子电站参加本轮训练，并将预训练的全局模型发送给相应的所述子电站；每个所述子电站收到所述全局模型，并对自身的本地模型进行初始化，并且所述子电站使用自身的本地数据集进行本地训练；所述子电站在进行本地训练之后将自身的本地模型上传给所述总电站，所述总电站对收到的所述本地模型执行聚合操作，得到新的所述全局模型；循环执行以上步骤，直至所述全局模型达到收敛，当前每个所述子电站的本地模型为自身的电量需求预测模型，每个所述子电站采用对应的所述电量需求预测模型执行电量需求预测任务。
根据本发明实施例的基于联邦集成学习的电量需求预测方法通过多个步骤相配合，能够实现对于子电站的电量需求的预测。
可选地，所述的所述总电站对收到的所述本地模型执行聚合操作步骤中，所述总电站对收到的每个所述本地模型执行基于引导聚焦算法的聚合操作，对收到的每个所述本地模型赋予一个权值系数进行聚合，得到新的所述全局模型。
可选地，所述的对收到的每个所述本地模型赋予一个权值得到新的所述全局模型的步骤中，将所述总电站作为近端政策优化的代理，在近端政策优化模型中确定状态空间、动作空间和奖励函数，以获得最优的权值系数。
可选地，所述的方法还包括以下步骤：将每个所述本地模型根据数据类型划分为若干个本地子模型，对每个所述本地子模型进修联邦集成学习得到对应的电量需求预测子模型；根据当前的每个本地子模型对应的电量需求预测子模型得到所述电量需求预测模型。
可选地，在所述的根据当前的每个本地子模型对应的电量需求预测子模型得到当前的电量需求预测模型步骤中，采用长短期记忆模型得到所述电量需求预测模型。
可选地，所述数据类型包括电量数据类型、天气数据类型和/或温度数据类型。
可选地，在所述子电站将自身的本地模型上传给所述总电站之前，所述子电站能够保存自己自身的最新的本地模型。
本发明的第二方面，提供了一种基于联邦集成学习的电量需求预测系统，包括：初始化模块，所述初始化模块使所述总电站从所有参与训练的子电站中随机抽取部分所述子电站参加本轮训练；模型发送模块，所述模型发送模块将预训练的全局模型发送给相应的所述子电站；本地训练模块，所述本地训练模块使每个所述子电站在收到全局模时对自身的本地模型进行初始化，所述子电站使用自己的本地数据集进行训练；本地模型上传模块，所述本地模型上传模块使所述子电站在进行本地训练后将自身的本地模型上传给所述总电站；聚合模块，所述聚合模块使所述总电站对收到的所述本地模型执行聚合操作，得到新的所述全局模型。
可选地，所述聚合模块使所述总电站对收到的每个所述本地模型执行基于引导聚焦算法的聚合操作，对收到的每个所述本地模型赋予一个权值系数进行聚合。
可选地，所述的系统还包括：本地模型划分模块，所述本地模型划分模块与所述子电站连接，所述本地模型划分模块能够将所述子电站对应的所述本地模型根据数据类型划分为若干个本地子模型。
通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于联邦集成学习的电量需求预测方法的流程图；
图2为传统的联邦学习框架的示意图；
图3为根据本发明实施例联邦集成学习框架的示意图；
图4为根据本发明实施例的整合大量的数据进行电力需求预测的示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面首先结合附图具体描述根据本发明实施例的基于联邦集成学习的电量需求预测方法。
本发明提供了一种基于联邦集成学习的电量需求预测方法，下面对联邦学习进行详细说明。
首先，联邦学习是分布式机器学习系统的一种，它可以为参与分布式学习的节点提供一定的隐私保护。
如图2所示，联邦学习是一种分布式协作学习范式，它允许边缘节点(如无人机、传感器、车辆)保持数据在本地来协作训练一个全局深度学习模型来达到模型学习和保护隐私的目的。具体来说，该框架通过使用分布式的随机梯度下降算法来迭代和训练全局模型，在每轮迭代t(t∈{1,2,…,T})中，联邦学习的学习的过程可以描述如下：
步骤1：初始化
所有参与本轮训练的节点发送信息给云服务器以表示登记参与联邦学习，云服务器去除存在网络故障或者网络不佳的节点。云服务器将从所有参与的节点中随机抽取部分节点参加本轮训练，并将预训练(或者初始化)的全局模型wt发送给相应的节点。
步骤2：本地训练
每个节点收到全局模型wt，并对自己的本地模型
Figure BDA0003036186460000031
进行初始化，其中k表示节点的数目，初始化过程如下：
Figure BDA0003036186460000032
然后，节点开始使用自己的本地数据集Dk进行训练，其中数据集的大小为|Dk|，由训练数据集即输入-输出对(xi,yi)组成，本地训练需要优化的损失函数定义如下：
Figure BDA0003036186460000033
其中，ω是指模型的参数，fi(ω)是指本地损失函数(例如
Figure BDA0003036186460000034
)，Fk(ω)收敛之后可以更新本地模型
Figure BDA0003036186460000035
如下：
Figure BDA0003036186460000036
其中，η为模型的学习率，
Figure BDA0003036186460000037
为对权值的求导即梯度。在深度学习中，梯度是指对模型的权值的一阶求导。
步骤3：模型更新聚合
节点进行本地训练之后将自己的本地模型更新上传给云服务器，云服务器对收到的本地模型更新执行聚合操作得到新的全局模型wt+1，其定义如下：
Figure BDA0003036186460000038
其中，在联邦学习中，模型更新是指节点利用自己的本地数据对本地模型进行训练而产生的参数更新。在联邦学习中，模型聚合是指云服务器对节点上传的模型更新进行平均求和操作。
上述三个步骤周而复始，直至全局模型达到收敛。值得注意的是，整个过程中节点的本地数据集保留在本地并未分享或者泄露给云服务器。
由上述说明可知传统联邦学习的概念，传统框架是简单对模型更新进行平均聚合，这显然忽略了某些有突出贡献的子模型或者说忽略了不同子模型之间的一个线性关系。因此，本发明设计了一种新颖的联邦集成学习框架，框架如图3所示。
如图1所示，本发明还提供了一种基于联邦集成学习的电量需求预测方法，电量需求预测是指预测未来一段时间内电力系统的负荷消耗电能总量。该方法包括以下步骤：
总电站从所有参与训练的子电站中随机抽取部分子电站参加本轮训练，并将预训练的全局模型发送给相应的子电站。
每个子电站收到全局模型，并对自身的本地模型进行初始化，并且子电站使用自身的本地数据集进行本地训练。
子电站在进行本地训练之后将自身的本地模型上传给总电站，总电站对收到的本地模型执行聚合操作，得到新的全局模型。
循环执行以上步骤，直至全局模型达到收敛，当前每个子电站的本地模型为自身的电量需求预测模型，每个子电站采用对应的电量需求预测模型执行电量需求预测任务。
换言之，首先假设某一地区一共有k个子电站，一个总电站S，由于数据隐私保护条例的限制，各个电站之间的数据不用直接共享，故每个子电站都有一个子模型Mi，总电站有一个全局模型MS。本申请不再沿用联邦学习之前的定义对每个子模型更新直接上传给总电站进行平局聚合，而是采用Bagging的思想赋予每个子模型Mi一个权值系数ωi进行聚合，其中∑iωi＝1。值得注意的是子电站的模型在本地是不发生改变的，也就是在上传之前，子电站总能保存自己本地最新的模型版本。
由此，框架的具体步骤包括如下：
步骤1：总电站S将从所有参与训练的子电站k中随机抽取部分子电站参加本轮训练，并将预训练(或者初始化)的全局模型wt发送给相应的子电站。
步骤2：本地训练
每个子电站k收到全局模型wt，并对自己的本地模型
Figure BDA0003036186460000041
进行初始化，其中k表示子电站的数目，初始化过程如下：
Figure BDA0003036186460000042
然后，子电站k开始使用自己的本地数据集Dk进行训练，其中数据集的大小为|Dk|，由训练数据集即输入-输出对(xi,yi)组成，本地训练需要优化的损失函数定义如下：
Figure BDA0003036186460000043
其中，w是指模型的参数，fi(w)是指本地损失函数，Fk(w)训练之后可以更新本地模型
Figure BDA0003036186460000044
如下：
Figure BDA0003036186460000045
其中，η为模型的学习率，
Figure BDA0003036186460000046
为对参数的求导即梯度。
步骤3：基于Bagging的模型更新聚合
子电站k进行本地训练之后将自己的本地模型上传给总电站(不同于模型更新)，总电站(即聚合器)对收到的本地模型执行基于Bagging的聚合操作，即对每个子模型赋予一个权值ωi得到新的全局模型wt+1，其定义如下：
Figure BDA0003036186460000047
上述三个步骤周而复始，直至全局模型达到收敛。值得注意的是，整个过程中子电站的本地数据集保留在本地并未分享或者泄露给总电站。
在上述框架的学习过程，申请人注意到子电站不再是传递模型更新给聚合器，而是直接上传模型，也就是说子电站在可以保持良好的个性化。因为如果是上传模型更新给聚合器，那么在之后的训练是比较依赖于全局模型的，如果是上传模型给聚合器，那么这个依赖性就没那么大，可以满足一定的个性化。此外，还可以控制本地模型的某些参数不变，只改变那些对模型性能影响不大的参数从而实现一定的个性化。
最后，申请人注意到ωi的取值会直接影响到全局模型的质量，因此如何进行ωi取值的优化变得十分重要。
根据本发明的一个实施例，总电站对收到的本地模型执行聚合操作步骤中，总电站对收到的每个本地模型执行基于引导聚焦算法的聚合操作，对收到的每个本地模型赋予一个权值系数进行聚合，得到新的全局模型。
在本发明的一些具体实施方式中，对收到的每个本地模型赋予一个权值得到新的全局模型的步骤中，将总电站作为近端政策优化的代理，在近端政策优化模型中确定状态空间、动作空间和奖励函数，以获得最优的权值系数。
也就是说，本申请提出了一种基于深度强化学习的权值优化算法，其中强化学习的主要概念是：代理(Agent)需要找到正确的Action，以通过与环境的交互来实现长期的最佳状态。交互过程可以通过5元组(S,A,R,P,γ)建模为马尔可夫决策过程(MDP)，其中S表示State集，A表示Action集，R是映射的奖励函数，该函数对于每个状态s∈S和采取的行动a的预期的立即回报rt＝R(st,at),P(·|s,a)是交易概率，并且γ∈[0,1]是反映当前奖励对未来奖励的重要性递减的折扣因子。MDP的目标是找到一种策略π*(a|s)，该策略确定状态s下的选定动作a，以便最大化代理的预期累积奖励，即
Figure BDA0003036186460000051
本申请将轨迹定义为τ从某个状态si到状态sj+1；τ＝[(si,ai,ri,si+1),…,(sj,aj,rj,sj+1)]。预期的折现累积奖励通常由Bellman方程定义为价值函数：
Figure BDA0003036186460000052
表示为π*的最佳策略具有相应的状态值函数V*(s)。因此，可以通过以下方式获得最佳状态值函数：
Figure BDA0003036186460000053
根据联邦集成学习的过程，选定的子电站通过计算相对于其本地模型和本地批次的梯度来独立地训练其本地模型。然后，他们将本地模型上传到聚合器进行聚合，以最小化全局模型的损失函数。在第t轮中，总电站的损失函数公式为：
Figure BDA0003036186460000054
其中Ds是总电站的测试集以测试联邦集成模型的精度。
为了寻找到最优的权值以实现误差最小的全局模型。首先，本申请定义函数Φ(t)来衡量每个通信轮次总电站损失函数的变化：
Figure BDA0003036186460000055
其中α是一个正常数，且α>1。所以本申请的策略就是使得上述函数最小化：
Figure BDA0003036186460000061
为了获得最佳的权值系数，本申请将总电站视为近端政策优化(PPO)的代理，PPO负责与环境进行交互并做出决策。本申请假设系统状态是实时更新的，并在子电站之间共享。代理收集总电站和子电站的状态。之后，代理可以通过构建系统状态并选择最佳操作来做出自适应权值系数调整。下面，本申请在PPO模型中确定状态空间，动作空间和奖励函数：
其一，状态空间。根据联邦学习的训练过程，模型将在每轮交流结束时进行更新。本申请在第t轮中将系统状态定义为服务器(wt)和客户端
Figure BDA0003036186460000062
中的模型权重。因此，系统状态可以表示为：
Figure BDA0003036186460000063
其二，行动空间。在此问题中，PPO代理负责在每次通信回合之前决定每个子电站的权值系数的操作。该动作定义为连续变量
Figure BDA0003036186460000064
的列表，表示为：
Figure BDA0003036186460000065
其三，报酬。在状态st下，如果应用动作，则DRL代理在第t轮中从联邦集成学习系统收到回报rt。根据本申请的优化目标，设计奖励以实现最小损失。并将奖励函数定义为：
Figure BDA0003036186460000066
如此即可通过不断地使代理获得奖励来获得最优的权值系数，这样就可以使最全局模型贡献最大的子电站的权值较大，从而大大地降低全局模型的误差。
根据本发明的方法，还包括以下步骤：将每个本地模型根据数据类型划分为若干个本地子模型，对每个本地子模型进修联邦集成学习得到对应的电量需求预测子模型；根据当前的每个本地子模型对应的电量需求预测子模型得到电量需求预测模型。
可选地，在根据当前的每个本地子模型对应的电量需求预测子模型得到当前的电量需求预测模型步骤中，采用长短期记忆模型得到电量需求预测模型。
在本发明的一些具体实施方式中，数据类型包括电量数据类型、天气数据类型和/或温度数据类型。
具体地，由于传统的电量需求模型仅仅是考虑单一数据(即用电量)，但是由常识可知，天气、温度这些环境数据是会影响用电量的。基于此常识，本申请将天气、温度等复杂的环境数据引入设计的模型中，以实现较高精度的用电量需求预测。整个模型的出发点如图4所示。具体来说，本申请对于每个子电站的本地模型也进行集成学习，即将本地模型根据数据类型拆分为若干个本地子模型。例如数据类型有用电量数据A、天气数据B、温度数据C，在这个三个数据集上希望训练三个可以预测用电量的模型Ma、Mb、Mc，然后进行平均得到一个预测模型Mi。本申请将使用长短期记忆(LSTM)模型进行预测，形式化定义如下：
Ma:
Figure BDA0003036186460000067
Mb:
Figure BDA0003036186460000068
Mc:
Figure BDA0003036186460000069
Mi:
Figure BDA0003036186460000071
本申请还提出了一种基于联邦集成学习的电量需求预测系统，包括：初始化模块、模型发送模块、本地训练模块、本地模型上传模块和聚合模块，初始化模块使总电站从所有参与训练的子电站中随机抽取部分子电站参加本轮训练，模型发送模块将预训练的全局模型发送给相应的子电站，本地训练模块使每个子电站在收到全局模时对自身的本地模型进行初始化，子电站使用自己的本地数据集进行训练，本地模型上传模块使子电站在进行本地训练后将自身的本地模型上传给总电站，聚合模块使总电站对收到的本地模型执行聚合操作，得到新的全局模型。需要说明的是，本申请的系统与本申请的方法相对应，在此不作赘述。
可选地，聚合模块使总电站对收到的每个本地模型执行基于引导聚焦算法的聚合操作，对收到的每个本地模型赋予一个权值系数进行聚合。
根据本申请的一个实施例，系统还包括：本地模型划分模块，本地模型划分模块与子电站连接，本地模型划分模块能够将子电站对应的本地模型根据数据类型划分为若干个本地子模型。
下面对根据本申请实施例的基于联邦集成学习的电量需求预测方法和系统进行实验。
美国纽约州电力NYISO公司公布了历年来纽约州各个地区的实际用电数据，该公司还公布了历年来提前一天的电量预测数据，因此可以从http://mis.nyiso.com/public/ P-58Blist.htm下载历年的实际用电量loads，从http://www.nyiso.com/public/markets_ operations/market_data/custom_report/index.jsp？report＝l oad_forecast下载NYISO公司提前一天的电能预测数据，天气数据从https://www.wunderground.com/ history/airport/获取。因此，本申请需要使用这些数据集来训练用电量需求预测模型。本申请将所有数据集按7：3的比例分为训练集和测试集。通过使用Pytorch和PySyft来实现所提出的框架。该实验是在具有Ubuntu 18.04操作系统，Intel(R)Core(TM)i5-4210M CPU，16GB RAM，512GB SSD的虚拟工作站上进行的。深度强化学习代理可以通过预训练得到最佳的权值系数。
本申请采用均方根误差(RMSE)来表示模型的性能，如下所示：
Figure BDA0003036186460000072
其中yi是真实值，
Figure BDA0003036186460000073
是预测值。
在本实验中，将本申请和①联邦集成学习系统(不使用复杂数据)、②传统的联邦学习系统(内含LSTM使用复杂数据)、③传统的联邦学习系统(内含LSTM不使用复杂数据)、④LSTM(使用复杂数据)进行比较，结果如下表1所示：
表1
方案 RMSE
本申请 4.23
① 4.69
② 5.21
③ 6.32
④ 5.32
由表1的结果可知，本申请的方案取得了最佳精度。
本申请提供了一种基于联邦集成学习的电量需求预测方法和系统，在该系统中设计了一种新颖的联邦集成学习框架并将复杂的天气、温度等条件考虑到预测系统中。此外，由于联邦集成学习框架的设计，本申请还可以为每个子电站提供一个个性化的预测系统。
本发明实施例的基于联邦集成学习的电量需求预测方法和系统至少具有以下优点：
(1)本申请采用Bagging的思想设计了一种联邦集成学习框架，该框架不同于传统的联邦学习框架，它能加强各个子模型的贡献且能满足子电站个性化预测的需求。
(2)本申请不单单考虑传统的电量数据，还将天气、温度等复杂的环境数据考虑到预测系统中，从而提出一个较为鲁棒的天气预测系统。
(3)本申请提出了一个基于强化学习的联邦集成学习优化算法，它可以很好地加强那些对全局预测模型的有突出贡献的子模型，从而大大地降低预测系统的误差。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于联邦集成学习的电量需求预测方法，其特征在于，包括以下步骤：
总电站从所有参与训练的子电站中随机抽取部分所述子电站参加本轮训练，并将预训练的全局模型发送给相应的所述子电站；
每个所述子电站收到所述全局模型，并对自身的本地模型进行初始化，并且所述子电站使用自身的本地数据集进行本地训练；
所述子电站在进行本地训练之后将自身的本地模型上传给所述总电站，所述总电站对收到的所述本地模型执行聚合操作，得到新的所述全局模型；
循环执行以上步骤，直至所述全局模型达到收敛，当前每个所述子电站的本地模型为自身的电量需求预测模型，每个所述子电站采用对应的所述电量需求预测模型执行电量需求预测任务。
2.根据权利要求1所述的方法，其特征在于，所述的总电站对收到的所述本地模型执行聚合操作步骤中，所述总电站对收到的每个所述本地模型执行基于引导聚焦算法的聚合操作，对收到的每个所述本地模型赋予一个权值系数进行聚合，得到新的所述全局模型。
3.根据权利要求2所述的方法，其特征在于，所述的对收到的每个所述本地模型赋予一个权值得到新的所述全局模型的步骤中，将所述总电站作为近端政策优化的代理，在近端政策优化模型中确定状态空间、动作空间和奖励函数，以获得最优的权值系数。
4.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
将每个所述本地模型根据数据类型划分为若干个本地子模型，对每个所述本地子模型进修联邦集成学习得到对应的电量需求预测子模型；
根据当前的每个本地子模型对应的电量需求预测子模型得到所述电量需求预测模型。
5.根据权利要求4所述的方法，其特征在于，在所述的根据当前的每个本地子模型对应的电量需求预测子模型得到当前的电量需求预测模型步骤中，采用长短期记忆模型得到所述电量需求预测模型。
6.根据权利要求4所述的方法，其特征在于，所述数据类型包括电量数据类型、天气数据类型和/或温度数据类型。
7.根据权利要求1所述的方法，其特征在于，在所述子电站将自身的本地模型上传给所述总电站之前，所述子电站能够保存自己自身的最新的本地模型。
8.一种基于联邦集成学习的电量需求预测系统，其特征在于，包括：
初始化模块，所述初始化模块使所述总电站从所有参与训练的子电站中随机抽取部分所述子电站参加本轮训练；
模型发送模块，所述模型发送模块将预训练的全局模型发送给相应的所述子电站；
本地训练模块，所述本地训练模块使每个所述子电站在收到全局模时对自身的本地模型进行初始化，所述子电站使用自己的本地数据集进行训练；
本地模型上传模块，所述本地模型上传模块使所述子电站在进行本地训练后将自身的本地模型上传给所述总电站；
聚合模块，所述聚合模块使所述总电站对收到的所述本地模型执行聚合操作，得到新的所述全局模型。
9.根据权利要求8所述的系统，其特征在于，所述聚合模块使所述总电站对收到的每个所述本地模型执行基于引导聚焦算法的聚合操作，对收到的每个所述本地模型赋予一个权值系数进行聚合。
10.根据权利要求8所述的系统，其特征在于，还包括：
本地模型划分模块，所述本地模型划分模块与所述子电站连接，所述本地模型划分模块能够将所述子电站对应的所述本地模型根据数据类型划分为若干个本地子模型。
CN202110444330.XA 2021-04-23 2021-04-23 基于联邦集成学习的电量需求预测方法和系统 Active CN113139341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110444330.XA CN113139341B (zh) 2021-04-23 2021-04-23 基于联邦集成学习的电量需求预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110444330.XA CN113139341B (zh) 2021-04-23 2021-04-23 基于联邦集成学习的电量需求预测方法和系统

Publications (2)

Publication Number Publication Date
CN113139341A true CN113139341A (zh) 2021-07-20
CN113139341B CN113139341B (zh) 2023-02-10

Family

ID=76811843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110444330.XA Active CN113139341B (zh) 2021-04-23 2021-04-23 基于联邦集成学习的电量需求预测方法和系统

Country Status (1)

Country Link
CN (1) CN113139341B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049522A (zh) * 2022-08-17 2022-09-13 南京邮电大学 一种面向电力物联网的电力终端多任务联邦学习方法
CN117852627A (zh) * 2024-03-05 2024-04-09 湘江实验室 一种预训练模型微调方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369042A (zh) * 2020-02-27 2020-07-03 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111522669A (zh) * 2020-04-29 2020-08-11 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN111626506A (zh) * 2020-05-27 2020-09-04 华北电力大学 基于联邦学习的区域光伏功率概率预测方法及其协同调控系统
CN112101489A (zh) * 2020-11-18 2020-12-18 天津开发区精诺瀚海数据科技有限公司 一种联邦学习与深度学习融合驱动的设备故障诊断方法
US20210089878A1 (en) * 2019-09-20 2021-03-25 International Business Machines Corporation Bayesian nonparametric learning of neural networks
CN112668128A (zh) * 2020-12-21 2021-04-16 国网辽宁省电力有限公司物资分公司 联邦学习系统中终端设备节点的选择方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089878A1 (en) * 2019-09-20 2021-03-25 International Business Machines Corporation Bayesian nonparametric learning of neural networks
CN111369042A (zh) * 2020-02-27 2020-07-03 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111522669A (zh) * 2020-04-29 2020-08-11 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN111626506A (zh) * 2020-05-27 2020-09-04 华北电力大学 基于联邦学习的区域光伏功率概率预测方法及其协同调控系统
CN112101489A (zh) * 2020-11-18 2020-12-18 天津开发区精诺瀚海数据科技有限公司 一种联邦学习与深度学习融合驱动的设备故障诊断方法
CN112668128A (zh) * 2020-12-21 2021-04-16 国网辽宁省电力有限公司物资分公司 联邦学习系统中终端设备节点的选择方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEKSEI MASHLAKOV ET AL: "Assessing the performance of deep learning models for multivariate probabilistic energy forecasting", 《APPLIED ENERGY》 *
CHENHAN ZHANG ET AL: "FASTGNN: A Topological Information Protected Federated Learning Approach for Traffic Speed Forecasting", 《DOI: 10.1109/TII.2021.3055283》 *
胡尧: "基于改进联邦学习的时序数据趋势跟踪及应用", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049522A (zh) * 2022-08-17 2022-09-13 南京邮电大学 一种面向电力物联网的电力终端多任务联邦学习方法
CN115049522B (zh) * 2022-08-17 2022-11-25 南京邮电大学 一种面向电力物联网的电力终端多任务联邦学习方法
CN117852627A (zh) * 2024-03-05 2024-04-09 湘江实验室 一种预训练模型微调方法及系统

Also Published As

Publication number Publication date
CN113139341B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
Gao et al. Day-ahead power forecasting in a large-scale photovoltaic plant based on weather classification using LSTM
WO2021169577A1 (zh) 一种基于加权联邦学习的无线业务流量预测方法
CN112467722B (zh) 一种考虑电动汽车充电站的主动配电网源-网-荷-储协调规划方法
CN109190802B (zh) 云储能环境下基于发电预测的多微网博弈优化方法
CN113139341B (zh) 基于联邦集成学习的电量需求预测方法和系统
Erden et al. Adaptive V2G peak shaving and smart charging control for grid integration of PEVs
CN103324980A (zh) 一种风电场风速预测方法
Urgun et al. Importance sampling using multilabel radial basis classification for composite power system reliability evaluation
CN112217195B (zh) 一种基于gru多步预测技术的云储能充放电策略形成方法
CN113807589B (zh) 基于模型预测的运营商储能的滚动优化方法及装置
Li et al. A new wind power forecasting approach based on conjugated gradient neural network
CN111612244A (zh) 基于qra-lstm的日前光伏功率非参数概率预测方法
CN112036651A (zh) 基于量子免疫优化bp神经网络算法的电价预测方法
CN117578409A (zh) 一种电力市场环境下的多能互补优化调度方法及系统
Scarcelli et al. Ensemble of Markovian stochastic dynamic programming models in different time scales for long term hydropower scheduling
CN109038605A (zh) 一种考虑电压响应特性的电网无功规划方法
CN115525979B (zh) 一种主动配电网可调度能力的多时间尺度评估方法及系统
Šemić et al. Distributed generation allocation in low voltage distribution network using artificial neural network
US10903652B2 (en) Control architectures for power distribution networks with distributed energy resource
CN110059871A (zh) 光伏发电功率预测方法
Hu et al. Energy management for microgrids using a reinforcement learning algorithm
CN109615142A (zh) 一种基于小波分析的风电场风速组合预测方法
Jahan et al. Intelligent system for power load forecasting in off-grid platform
CN115513945A (zh) 一种基于物联网的分布式电源管理方法
Cecchinato et al. Allocation of computing tasks in distributed MEC servers co-powered by renewable sources and the power grid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant