CN116128164A - 一种基于隐私保护的电力负荷短期预测系统及方法 - Google Patents

一种基于隐私保护的电力负荷短期预测系统及方法 Download PDF

Info

Publication number
CN116128164A
CN116128164A CN202310393294.8A CN202310393294A CN116128164A CN 116128164 A CN116128164 A CN 116128164A CN 202310393294 A CN202310393294 A CN 202310393294A CN 116128164 A CN116128164 A CN 116128164A
Authority
CN
China
Prior art keywords
client
data
model
training
privacy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310393294.8A
Other languages
English (en)
Inventor
邓松
孙宏伟
付雄
岳东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310393294.8A priority Critical patent/CN116128164A/zh
Publication of CN116128164A publication Critical patent/CN116128164A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

一种基于隐私保护的电力负荷短期预测系统及方法，是一种在影响因素复杂多变的负荷预测系统中，将BiLSTM神经网络与联邦学习相结合，利用BiLSTM的特性更加有效地学习各客户端本地负荷向量的时序特性，运用联邦学习保护各客户端的数据隐私并解决全局模型聚合过程中的隐私泄露问题的方法，它主要包含特征提取、LSTM双向学习、隐私保护三个部分。通过本方法可有效提高负荷预测模型的泛化能力，保护用户的数据隐私，提高电力负荷短期预测的精度和效率。

Description

一种基于隐私保护的电力负荷短期预测系统及方法
技术领域
本发明属于电力信息技术领域，具体涉及一种基于隐私保护的电力负荷短期预测系统及方法。
背景技术
随着全球经济的快速发展，负荷预测在电力系统中具有重要地位，可根据预测时间分为长期、中期、短期、超短期预测。其中，短期电力负荷预测尤为重要，其是制定发电计划、交易计划和调度计划的基础。随着电力系统数字化的发展以及分布式电源和电动汽车等新型负荷的引入，电力系统需要处理的数据呈指数型增长，准确的负荷预测可以帮助电力公司更好地规划输电和配电网络，以避免电力拥堵和过载，维护居民区电力稳定，确保电力系统的长期可靠性和安全性。
联邦学习（Federated Learning）是一种分布式机器学习技术，用于在不需要将数据集中存储或传输至中央服务器的情况下训练模型。在联邦学习中，模型的训练是在本地设备上进行的，这些设备可以是智能手机、平板电脑、传感器或其他物联网设备。在每个设备上，只有少量的本地数据被使用来训练模型，然后将本地更新的模型参数上传到中央服务器，中央服务器将这些本地模型参数进行聚合，从而实现全局模型的训练。由于每个设备或机器学习模型都可以在本地训练和优化模型，因此不需要将原始数据发送到中央服务器，这有助于保护数据的隐私性和安全性。此外，联邦学习还可以利用分布式计算的能力，避免中央服务器负载过重，加快模型的训练和优化速度，提高负荷预测的实时性。
随着配电网信息化进程的不断加快，电力负荷预测中存在着个人隐私泄露、数据共享风险和信息泄露等一系列隐私问题。首先，负荷预测需要使用用户的历史用电数据来建模和预测未来的负荷，但这些数据包含着用户的个人隐私信息，如果这些数据被未经授权的第三方获取，就有可能导致用户的个人隐私泄露，给用户带来不必要的困扰和损失。其次，负荷预测涉及到多方之间的数据共享，这可能会导致在共享的过程中，数据被恶意篡改或窃取，从而导致负荷预测结果的准确性的下降。
鉴于以上问题，一个高效、准确、安全的电力负荷预测方法就显得尤为重要。
发明内容
本发明的目的是提供一种基于隐私保护的电力负荷短期预测系统及方法，来解决配电网中电力负荷预测的数据隐私问题，本设计是一种策略性方法，在LSTM神经网络的基础上引入联邦学习，使用这种方法可以实现对不同用户的电力负荷数据的隐私保护，在不泄露用户隐私的前提下，进行有效准确的预测，并提高预测模型的泛化能力；在LSTM神经网络的基础上引入联邦学习，以保护负荷预测过程的数据隐私泄露问题。
一种基于隐私保护的电力负荷短期预测系统，包括三个部分：特征提取器、LSTM双向学习器、隐私保护器。图中的特征提取器主要用于对历史数据中的高维特征进行提取，简化预测模型的复杂度；LSTM双向学习器主要用于对客户端本地模型进行训练，并将训练完成后的超参数上传给服务器端；隐私保护器主要用于对客户端上传的参数进行加密并对加密后的参数进行聚合。
一种基于隐私保护的电力负荷短期预测方法，首先通过随机森林算法对历史数据中的高维特征进行重要度评估，剔除不重要特征，最终只保留最重要的t个特征。其次将保留的t个特征与历史负荷数据共同构建t+1维特征集，并划分为训练集和测试集，建立客户端的BiLSTM神经网络模型，各客户端将本地训练集作为输入对其各自的神经网络模型进行单独训练，并通过鲸鱼优化算法对模型参数进行优化。训练完毕后，将各客户端的参数利用差分隐私技术进行加密并上传给服务器端，服务器端对各客户端加密后的参数进行安全聚合并将聚合后的模型下发给各客户端。通过服务器端和客户端之间不断进行通信，使全局误差不断减少，当全局误差满足设定的误差值或达到最大通信次数时，输出全局最优模型并下传至各客户端。
本发明达到的有益效果为：（1）通过本发明方法可有效提高负荷预测模型的泛化能力，保护用户的数据隐私，提高电力负荷短期预测的精度和效率。（2）可解决电力负荷短期预测过程中存在的样本数据不足、模型泛化能力较差、用户数据隐私泄露等复杂问题。（3）可以实现不同地区之间在不共享各自本地数据集的情况下协同训练同一个负荷预测模型，并且使用隐私保护技术对用户数据进行进一步保护，防止训练过程中出现用户隐私泄露的问题。
附图说明
图1是本发明实施例中的系统结构图。
图2是本发明实施例中的方法流程示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
图1给出了一种基于隐私保护的电力负荷短期预测系统，它主要包括三个部分：特征提取器、LSTM双向学习器、隐私保护器。图中的特征提取器主要用于对历史数据中的高维特征进行提取，简化预测模型的复杂度；LSTM双向学习器主要用于对客户端本地模型进行训练，并将训练完成后的超参数上传给服务器端；隐私保护器主要用于对客户端上传的参数进行加密并对加密后的参数进行聚合。
下面给出具体介绍：
特征提取器：特征提取器单独作用于各个客户端，主要用于避免各个客户端数据集中的负荷特征量维度过高，导致模型复杂度过高，进而使模型预测精度降低。其通过随机森林算法，在各客户端进行本地训练之前，对高维度特征进行筛选，从而减少预测模型的复杂度，提高预测效率和预测精度。
LSTM双向学习器：LSTM双向学习器主要构建由特征提取器提取出来的t个特征量和历史负荷数据组成的t+1维训练特征集和测试特征集，将其作为BiLSTM模型的输入，并利用鲸鱼优化算法，对神经网络模型的参数进行优化。LSTM双向学习器使用训练特征集训练模型，训练完毕后，使用测试特征集对模型进行评估。
隐私保护器：隐私保护器首先利用差分隐私保护技术，通过对LSTM双向学习器上传的超参数增加噪声，实现对用户数据隐私的保护；其次隐私保护器使用联邦平均算法(FedAVG)对加密后的参数进行聚合并下发到各客户端；最后隐私保护器将客户端接收到的加密参数进行解密，进而客户端更新本地模型。
结合系统，进行如下的方法流程说明：
特征提取器首先读取各个客户端的本地数据集，对数据集进行统一预处理，包括剔除无效数据和错误数据、对缺失值进行补全、对异常数据进行数据异常检测分析并进行修补或直接剔除。其次针对各个客户端本地数据集在不同维度间存在量纲上的差异，利用线性函数
Figure SMS_1
将原始数据进行归一化处理，将原始数据进行等比缩放使其取值都在区间[0,1]内，其中d表示原始数据，
Figure SMS_2
表示原始数据最大值，
Figure SMS_3
表示原始数据最小值，
Figure SMS_4
表示归一化之后的数据。最后，特征提取器在经过数据预处理以及归一化之后，利用随机森林算法对时间日期因素及气象因素等高维特征变量进行重要度评估并对其进行排序，筛选出t个重要特征，减少预测模型的复杂度，提高预测精度和预测效率。基于随机森林的高维特征筛选流程如下所示：
1）假设随机森林（Random forest）算法中共有k棵树，客户端本地数据集D中共有n个样本数据
Figure SMS_5
，每个样本数据均有m个特征，
Figure SMS_6
；
2）对k棵树中的每棵树采用Bagging算法，通过随机重采样从数据集D中随机抽取相同规模的数据作为样本，共构成k个样本训练子集，得到新的数据子集
Figure SMS_7
。未被抽取的数据构成袋外数据（out of bag，OOB），将袋外数据等比例分成c个子集，记为
Figure SMS_8
；
3）随机选择a个特征变量作为随机特征子空间
Figure SMS_9
，将其作为决策树的输入，在此决策树对应的样本训练子集
Figure SMS_10
进行训练；
4）对于每个决策树，重复步骤3），进行多次训练，选择最优的随机特征子空间
Figure SMS_11
最为决策树的输入；
5）对每个决策树都不进行剪枝操作，根据其各自的样本训练子集
Figure SMS_12
生成相应的决策树
Figure SMS_13
；
6）生成一个由k棵决策树构成的随机森林模型
Figure SMS_14
，对每棵决策树
Figure SMS_15
对应的b个OOB数据进行投票，将OOB数据中每个样本的投票分数记为
Figure SMS_16
；
7）随机改变袋外数据样本中各特征变量
Figure SMS_17
的数值，生成新的袋外数据测试样本，记为
Figure SMS_18
，通过随机森林模型对
Figure SMS_19
数据进行重新投票，得到投票矩阵
Figure SMS_20
；
8）利用公式
Figure SMS_21
对各特征变量
Figure SMS_22
进行重要度评估，将其按降序排列；
9）根据特征重要性排序，将排序后位于最后两个的特征去除，从而得到新的特征集。重复步骤2-8，直至最后只剩下
Figure SMS_23
个特征。
LSTM双向学习器首先读取经过特征筛选器预处理和归一化处理之后的客户端本地数据集，将数据集划分为训练集和测试集，其中训练集用于训练预测模型，测试集用于评估模型测试误差；其次LSTM双向学习器利用特征提取器筛选出来的t个重要特征和历史负荷数据共同构建t+1维训练特征集
Figure SMS_24
和测试特征集
Figure SMS_25
，其中
Figure SMS_26
为特征筛选器通过随机森林算法筛选出来的最终重要特征，
Figure SMS_27
为本地负荷数据训练集，
Figure SMS_28
为本地数据测试集；
最后建立BiLSTM网络模型并将模型参数初始化。输入层输入特征集
Figure SMS_31
，中间为隐藏层，输出层输出负荷预测值
Figure SMS_32
。在模型训练阶段，设定损失函数
Figure SMS_34
，
Figure SMS_30
为真实值，
Figure SMS_33
为模型预测值，其中n为训练样本总数，使用训练特征集
Figure SMS_35
对BiLSTM模型进行训练并通过鲸鱼优化算法对模型参数进行优化。在模型测试阶段，选择平均绝对误差MASE和均方差误差RMSE作为模型评价指标，其中
Figure SMS_36
，
Figure SMS_29
。
隐私保护器首先通过联邦学习（Federated Learning）将原始的各个客户端的数据保存在本地，各个客户端不需要将数据上传，使用LSTM双向学习器对各自的本地训练集进行单独训练，训练完毕后，各个客户端只需将BiLSTM模型的隐藏层数、迭代次数、单元个数等超参数上传至服务器端，避免集中式的数据收集和数据存储带来的隐私威胁。
其次隐私保护器在局部模型训练过程中通过增加噪声并引入自适应模块调整噪声的大小，进一步避免外部恶意攻击对模型带来的隐私威胁，对各个客户端上传的参数实现差分隐私保护。最后隐私保护器使用联邦平均算法（FedAVG）对经过差分隐私保护后的超参数进行聚合，服务器将聚合后的全局模型下发到各个本地客户端，各客户端对收到的全局模型参数进行解密，并使用解密后的参数更新各自的本地模型。FedAVG算法流程如下所示：
1）假设有K个客户端，服务器端与客户端通信次数为T，客户端处样本训练次数为E，每轮训练选择的样本批量大小为B，学习率为
Figure SMS_37
，客户端损失函数为
Figure SMS_38
，服务器端损失函数为L，服务器端初始化全局模型参数
Figure SMS_39
。
2）设各客户端误差函数为
Figure SMS_40
，全局误差函数为
Figure SMS_41
，其中
Figure SMS_42
为第k个客户端所含有的样本数量，
Figure SMS_43
为客户端样本数量总和，
Figure SMS_44
为第k个客户端第n个数据对应的预测值，
Figure SMS_45
为第k个客户端第n个数据对应的真实值。
3）客户端下载全局模型参数并更新本地局部模型参数，各客户端随机将本地数据划分为批量大小为B的数据集，利用本地历史负荷数据进行多轮训练，直至达到设定的训练次数E或训练误差小于设定值，结束训练。
4）服务器端每轮随机选择k个客户端进行通信，利用公式
Figure SMS_46
对客服端上传的参数进行聚合，并下发至客户端，其中 n是样本总数，nk是第k个客户端的样本数量。
5）重复上述步骤3-4，直至通信次数达到设定值T次或全局误差小于设定值，输出全局模型并下传至各个服务器端。
一种基于隐私保护的电力负荷短期预测方法，整个执行过程主要包含以下步骤：
步骤1：初始化服务器端参数
Figure SMS_47
并将本地模型下传至各客户端，假设有K个客户端，设定服务器端与客户端通信次数为T，客户端处样本训练次数为E，各客户端每轮训练选择的样本批量大小为B，学习率为
Figure SMS_48
，客户端损失函数
Figure SMS_49
，服务器端损失函数
Figure SMS_50
，进入步骤2。
步骤2：各个客户端读取本地数据集，对数据集进行统一预处理，对无效数据、错误数据进行剔除，对缺失值进行补全，对异常数据进行检测并修补，并利用线性函数
Figure SMS_51
对原始数据进行归一化处理，进入步骤3。
步骤3：使用随机森林算法对时间日期因素及气象因素等高维特征变量进行重要度评估并对其进行排序，并根据各客户端样本数量和样本丰富度计算各客户端的贡献度，最终筛选出最重要的t个典型特征
Figure SMS_52
，进入步骤4。
步骤4：利用历史负荷数据及提取到的t个重要特征，建立t+1维训练特征集
Figure SMS_53
和t+1维测试特征集
Figure SMS_54
，进入步骤5。
步骤5：客户端下载服务器端下传的全局模型，更新本地BiLSTM神经网络模型，进入步骤6。
步骤6：各客户端将其各自的t+1维训练特征集
Figure SMS_55
随机划分为批量大小为B的训练集，将其作为BiLSTM神经网络模型的输入，对预测模型进行训练，进入步骤7。
步骤7：各客户端本地模型训练完毕后，设定模型评价指标
Figure SMS_56
和
Figure SMS_57
，利用其各自的测试特征集
Figure SMS_58
对训练模型进行评价，指标越低说明模型效果越好。进入步骤8。
步骤8：当训练误差满足设定条件或迭代次数达到最大值时，进入步骤9，否则进入步骤6。
步骤9：服务器端随机选择k个客户端与其进行通信，并设定服务器端与客户端通信次数为T，进入步骤10。
步骤10：被选中的k个客户端在其本地模型训练过程中，通过增加噪声，并引入自适应模块调整噪声的大小，对其各自本地训练模型的隐藏层数、迭代次数、单元个数等超参数实行差分隐私保护，将加密后的参数上传至服务器端，进入步骤11。
步骤11：在服务器端引入attention机制，通过attention机制对各客户端的权值进行分配，进入步骤12。直接调用了一个注意力机制，根据各个客户端的样本数量和样本丰富度，自动分配权值。
步骤12：利用联邦平均算法（FedAvg）对各客户端上传的加密后的超参数进行安全聚合，进入步骤13。
步骤13：更新全局模型并将聚合后的加密参数下传至各客户端，进入步骤14。
步骤14：各客户端下载更新后的全局模型并对其参数进行解密，更新各本地模型，利用公式
Figure SMS_59
计算全局误差，进入步骤15。
步骤15：若全局误差小于给定值或达到最大通信次数T，进入步骤16，否则进入步骤6。
步骤16：输出全局最优模型并下传至各个客户端，进入步骤17。
步骤17：结束。
假设现需要对A—K不同地区用户的用电负荷进行预测，通过使用特征提取器、LSTM双向学习器、隐私保护器，并采用联邦平均算法对BiLSTM神经网络的超参数进行安全聚合并不断迭代更新，直至输出全局最优预测模型。
其具体的实施方案为：
初始化服务器端的参数，将服务器端全局模型下传至K个客户端，服务器端设定与客户端的通信次数T、全局损失函数
Figure SMS_60
，客户端设定样本训练次数E、每轮训练选择的样本批量B、学习率
Figure SMS_61
、局部损失函数
Figure SMS_62
。
客户端使用特征提取器读取其各自的本地数据集，对各自的数据集进行预处理、归一化等操作，使用随机森林算法对数据集中的时间日期因素及气象因素等高维特征变量进行重要度评估并对其进行排序，对不重要特性进行剔除，最终筛选出t个重要特征。
客户端使用LSTM双向学习器将经过特征提取器处理过的数据集划分为训练集和测试集，构建由t个重要特征与历史负荷数据共同构成的t+1维特征集。建立BiLSTM神经网络模型，各客户端使用其各自的训练特征集对本地模型进行训练并使用鲸鱼优化算法对模型参数进行优化，训练完成后使用测试特征集对模型误差进行评价。
服务器端选择与m个客户端进行通信，被选中的客户端上传其本地模型参数。隐私保护器首先对被选中的客户端上传的局部模型参数实现差分隐私保护，其次使用联邦平均算法对经过差分隐私保护的局部模型超参数进行安全聚合，更新全局模型并加密下发至各客户端。客户端使用隐私保护器对接收到的全局模型参数进行解密，更新其各自的本地模型，不断进行训练，直至达到最大通信次数或满足全局误差要求，停止训练并输出全局最优模型。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (10)

1.一种基于隐私保护的电力负荷短期预测系统，其特征在于：
包括特征提取器、LSTM双向学习器、隐私保护器；特征提取器作用于各个客户端，对历史数据中的高维特征进行提取；LSTM双向学习器用于对客户端本地模型进行训练，并将训练完成后的超参数上传给服务器端；隐私保护器用于对客户端上传的参数进行加密并对加密后的参数进行聚合。
2.根据权利要求1所述的一种基于隐私保护的电力负荷短期预测系统，其特征在于：LSTM双向学习器构建由特征提取器提取出来的
Figure QLYQS_1
个特征量和历史负荷数据组成的
Figure QLYQS_2
维训练特征集和测试特征集，将其作为BiLSTM模型的输入，并利用鲸鱼优化算法，对神经网络模型的参数进行优化；LSTM双向学习器使用训练特征集训练模型，训练完毕后，使用测试特征集对模型进行评估。
3.根据权利要求1所述的一种基于隐私保护的电力负荷短期预测系统，其特征在于：隐私保护器首先利用差分隐私保护技术，通过对LSTM双向学习器上传的超参数增加噪声，实现对用户数据隐私的保护；其次隐私保护器使用联邦平均算法对加密后的参数进行聚合并下发到各客户端；最后隐私保护器将客户端接收到的加密参数进行解密，进而客户端更新本地BiLSTM模型。
4.根据权利要求3所述的一种基于隐私保护的电力负荷短期预测系统，其特征在于：LSTM双向学习器上传的超参数包括BiLSTM模型的隐藏层数、迭代次数、单元个数。
5.一种基于隐私保护的电力负荷短期预测方法，其特征在于：
所述方法包括如下步骤：
步骤1：初始化服务器端参数
Figure QLYQS_3
并将本地模型下传至各客户端，进入步骤2；
步骤2：各个客户端读取本地数据集，对数据集进行统一预处理，对无效数据、错误数据进行剔除，对缺失值进行补全，对异常数据进行检测并修补，并对原始数据进行归一化处理，进入步骤3；
步骤3：使用随机森林算法对时间日期因素及气象因素等高维特征变量进行重要度评估并对其进行排序，并根据各客户端样本数量和样本丰富度计算各客户端的贡献度，最终筛选出最重要的
Figure QLYQS_4
个典型特征
Figure QLYQS_5
，进入步骤4；
步骤4：利用历史负荷数据及提取到的
Figure QLYQS_6
个重要特征，建立
Figure QLYQS_7
维训练特征集
Figure QLYQS_8
和
Figure QLYQS_9
维测试特征集
Figure QLYQS_10
，进入步骤5；
步骤5：客户端下载服务器端下传的服务器端的BiLSTM模型，更新本地BiLSTM神经网络模型，进入步骤6；
步骤6：各客户端将其各自的
Figure QLYQS_11
维训练特征集
Figure QLYQS_12
随机划分为批量大小为
Figure QLYQS_13
的训练集，将其作为BiLSTM神经网络模型的输入，对预测模型进行训练，进入步骤7；
步骤7：各客户端本地模型训练完毕后，根据模型评价指标，利用其各自的测试特征集
Figure QLYQS_14
对训练模型进行评价，进入步骤8；
步骤8：当训练误差满足模型评价指标的设定条件或迭代次数达到最大值时，进入步骤9，否则进入步骤6；
步骤9：服务器端随机选择k个客户端与其进行通信，并设定服务器端与客户端通信次数为T，进入步骤10；
步骤10：被选中的k个客户端在其本地模型训练过程中，通过增加噪声，并引入自适应模块调整噪声的大小，对其各自本地训练模型的隐藏层数、迭代次数、单元个数的超参数实行差分隐私保护，将加密后的参数上传至服务器端，进入步骤11；
步骤11：在服务器端引入attention机制，通过attention机制对各客户端的权值进行分配，进入步骤12；
步骤12：利用联邦平均算法对各客户端上传的加密后的超参数进行安全聚合，进入步骤13；
步骤13：更新全局模型并将聚合后的加密参数下传至各客户端，进入步骤14；
步骤14：各客户端下载更新后的全局模型并对其参数进行解密，更新各本地模型，利用公式
Figure QLYQS_15
计算全局误差，进入步骤15；
步骤15：若全局误差小于给定值或达到最大通信次数T，进入步骤16，否则进入步骤6；
步骤16：输出全局最优模型并下传至各个客户端，进入步骤17；
步骤17：结束。
6.根据权利要求5所述的一种基于隐私保护的电力负荷短期预测方法，其特征在于：步骤1中，设有K个客户端，服务器端与客户端通信次数为T，客户端处样本训练次数为E，每轮训练选择的样本批量大小为B，学习率为
Figure QLYQS_17
，客户端损失函数为
Figure QLYQS_22
，服务器端损失函数为L，服务器端初始化全局模型参数
Figure QLYQS_25
；设各客户端误差函数为
Figure QLYQS_18
，全局误差函数为
Figure QLYQS_21
，其中， n为客户端的样本总数，
Figure QLYQS_24
是真实值，
Figure QLYQS_26
是预测值，
Figure QLYQS_16
为第k个客户端所含有的样本数量，
Figure QLYQS_19
为客户端样本数量总和，
Figure QLYQS_20
为第k个客户端第n个数据对应的预测值，
Figure QLYQS_23
为第k个客户端第n个数据对应的真实值。
7.根据权利要求5所述的一种基于隐私保护的电力负荷短期预测方法，其特征在于：步骤2中，利用线性函数
Figure QLYQS_27
对原始数据进行归一化处理，其中d表示原始数据，
Figure QLYQS_28
表示原始数据最大值，
Figure QLYQS_29
表示原始数据最小值，
Figure QLYQS_30
表示归一化之后的数据。
8.根据权利要求5所述的一种基于隐私保护的电力负荷短期预测方法，其特征在于：步骤3中，基于随机森林的高维特征筛选流程如下所示：
步骤3-1，对应于k个客户端设随机森林算法中共有k棵树，客户端本地数据集
Figure QLYQS_31
中共有n个样本数据
Figure QLYQS_32
，每个样本数据均有m个特征，
Figure QLYQS_33
；
步骤3-2，对
Figure QLYQS_34
棵树中的每棵树采用Bagging算法，通过随机重采样从数据集
Figure QLYQS_35
中随机抽取相同规模的数据作为样本，共构成k个样本训练子集，得到新的数据子集
Figure QLYQS_36
；未被抽取的数据构成袋外数据OOB，将袋外数据等比例分成c个子集，记为
Figure QLYQS_37
；
步骤3-3，随机选择a个特征变量作为随机特征子空间
Figure QLYQS_38
，将其作为决策树的输入，在此决策树对应的样本训练子集
Figure QLYQS_39
进行训练；
步骤3-4，对于每个决策树，重复步骤3-3，进行多次训练，选择最优的随机特征子空间
Figure QLYQS_40
最为决策树的输入；
步骤3-5，对每个决策树都不进行剪枝操作，根据其各自的样本训练子集
Figure QLYQS_41
生成相应的决策树
Figure QLYQS_42
；
步骤3-6，生成一个由k棵决策树构成的随机森林模型
Figure QLYQS_43
，对每棵决策树
Figure QLYQS_44
对应的b个
Figure QLYQS_45
数据进行投票，将
Figure QLYQS_46
数据中每个样本的投票分数记为
Figure QLYQS_47
；
步骤3-7，随机改变袋外数据样本中各特征变量
Figure QLYQS_48
的数值，生成新的袋外数据测试样本，记为
Figure QLYQS_49
，通过随机森林模型对
Figure QLYQS_50
数据进行重新投票，得到投票矩阵
Figure QLYQS_51
；
步骤3-8，利用公式
Figure QLYQS_52
对各特征变量
Figure QLYQS_53
进行重要度评估，将其按降序排列；
步骤3-9，根据特征重要性排序，将排序后位于最后两个的特征去除，从而得到新的特征集；重复步骤3-2至3-8，直至最后只剩下
Figure QLYQS_54
个特征。
9.根据权利要求5所述的一种基于隐私保护的电力负荷短期预测方法，其特征在于：步骤7中，设定模型评价指标
Figure QLYQS_55
和
Figure QLYQS_56
，n是样本总数。
10.根据权利要求5所述的一种基于隐私保护的电力负荷短期预测方法，其特征在于：步骤12中，包括如下分步骤：
步骤12-1，客户端下载全局模型参数并更新本地局部模型参数，各客户端随机将本地数据划分为批量大小为B的数据集，利用本地历史负荷数据进行多轮训练，直至达到设定的训练次数E或训练误差小于设定值，结束训练；
步骤12-2，服务器端每轮随机选择k个客户端进行通信，利用公式
Figure QLYQS_57
对客服端上传的参数进行聚合，并下发至客户端，其中 n是样本总数，nk是第k个客户端的样本数量；
步骤12-3，重复上述步骤，直至通信次数达到设定值T次或全局误差小于设定值，输出全局模型并下传至各个服务器端。
CN202310393294.8A 2023-04-13 2023-04-13 一种基于隐私保护的电力负荷短期预测系统及方法 Pending CN116128164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310393294.8A CN116128164A (zh) 2023-04-13 2023-04-13 一种基于隐私保护的电力负荷短期预测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310393294.8A CN116128164A (zh) 2023-04-13 2023-04-13 一种基于隐私保护的电力负荷短期预测系统及方法

Publications (1)

Publication Number Publication Date
CN116128164A true CN116128164A (zh) 2023-05-16

Family

ID=86312087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310393294.8A Pending CN116128164A (zh) 2023-04-13 2023-04-13 一种基于隐私保护的电力负荷短期预测系统及方法

Country Status (1)

Country Link
CN (1) CN116128164A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117118761A (zh) * 2023-10-25 2023-11-24 中汽智联技术有限公司 一种贯穿智能汽车信息安全的纵深防御系统和方法
CN117350439A (zh) * 2023-11-16 2024-01-05 华南理工大学 基于横向联邦学习的能源聚合服务商负荷预测方法及系统
CN117811842A (zh) * 2024-02-29 2024-04-02 南京邮电大学 一种基于隐私计算的电网安全风险评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361694A (zh) * 2021-06-30 2021-09-07 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统
CN115081532A (zh) * 2022-07-01 2022-09-20 西安电子科技大学 基于记忆重放和差分隐私的联邦持续学习训练方法
CN115563859A (zh) * 2022-09-26 2023-01-03 国电南瑞南京控制系统有限公司 一种基于分层联邦学习的电力负荷预测方法、装置及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361694A (zh) * 2021-06-30 2021-09-07 哈尔滨工业大学 一种应用差分隐私保护的分层联邦学习方法及系统
CN115081532A (zh) * 2022-07-01 2022-09-20 西安电子科技大学 基于记忆重放和差分隐私的联邦持续学习训练方法
CN115563859A (zh) * 2022-09-26 2023-01-03 国电南瑞南京控制系统有限公司 一种基于分层联邦学习的电力负荷预测方法、装置及介质

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
吴辰文等: "基于递归特征消除方法的随机森林算法", 方法应用, pages 60 - 63 *
戴理朋等: "联邦学习在电力数据分析中的应用及隐私保护研究", 电力信息与通信技术, vol. 20, no. 11, pages 47 - 56 *
方晨等: "基于区块链和联邦学习的边缘计算隐私保护方法", 通信学报 *
朱建明等: "基于区块链的隐私保护可信联邦学习模型", 计算机学报 *
李婧琦: "基于鲸鱼算法优化LSTM的股票价格预测模型", 智能计算机与应用, vol. 13, no. 2, pages 36 - 40 *
薛太林等: "基于ＷＯＡ－Ａ Ｍ－ Ｂｉ ＬＳＴＭ 的短期风电功率预测", 山西电力, pages 39 - 42 *
车亮等: "基于联邦学习的短期负荷预测模型协同训练方法", 湖南大学学报, vol. 49, no. 8, pages 118 *
金融科技理论与应用研究小组: "金融科技知识图谱", 中信出版集团, pages: 51 - 52 *
陈嘉翊等: "基于联邦学习和同态加密的电力数据预测模型本地保护", 信息安全研究, vol. 9, no. 3, pages 1 *
高胜等: "一种基于区块链的隐私保护异步联邦学习", 中国科学, vol. 51, no. 10, pages 1755 - 1774 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117118761A (zh) * 2023-10-25 2023-11-24 中汽智联技术有限公司 一种贯穿智能汽车信息安全的纵深防御系统和方法
CN117118761B (zh) * 2023-10-25 2024-04-09 中汽智联技术有限公司 一种贯穿智能汽车信息安全的纵深防御系统和方法
CN117350439A (zh) * 2023-11-16 2024-01-05 华南理工大学 基于横向联邦学习的能源聚合服务商负荷预测方法及系统
CN117811842A (zh) * 2024-02-29 2024-04-02 南京邮电大学 一种基于隐私计算的电网安全风险评估方法
CN117811842B (zh) * 2024-02-29 2024-05-14 南京邮电大学 一种基于隐私计算的电网安全风险评估方法

Similar Documents

Publication Publication Date Title
CN116128164A (zh) 一种基于隐私保护的电力负荷短期预测系统及方法
Eslami et al. A data ensemble approach for real-time air quality forecasting using extremely randomized trees and deep neural networks
CN111537945B (zh) 基于联邦学习的智能电表故障诊断方法及设备
Jindal et al. Decision tree and SVM-based data analytics for theft detection in smart grid
US20220230071A1 (en) Method and device for constructing decision tree
DE112021004908T5 (de) Computerbasierte systeme, rechenkomponenten und rechenobjekte, die eingerichtet sind, dynamische ausreisser-verzerrungs-verringerung bei maschinenlernmodellen zu implementieren
CN111866869A (zh) 面向边缘计算的联邦学习室内定位隐私保护方法
Shao et al. Nickel price forecast based on the LSTM neural network optimized by the improved PSO algorithm
CN109460004A (zh) 基于大数据的配电网故障预测方法及系统
CN112906859B (zh) 一种用于轴承故障诊断的联邦学习方法
CN114818011A (zh) 一种适用碳信用评价的联邦学习方法、系统及电子设备
CN117171686A (zh) 一种基于联邦学习的智能电网异常数据的检测方法及系统
CN114462683A (zh) 基于联邦学习的云边协同多居民区负荷预测方法
Zhang et al. Load Prediction Based on Hybrid Model of VMD‐mRMR‐BPNN‐LSSVM
CN112418485A (zh) 基于负荷特性和用电行为模式的家庭负荷预测方法及系统
CN115563859A (zh) 一种基于分层联邦学习的电力负荷预测方法、装置及介质
CN109871711B (zh) 海洋大数据共享分发风险控制模型及方法
CN117540422A (zh) 一种联邦学习架构下采用环境感知的光伏发电量预测方法
Zeyang Research on intelligent acceleration algorithm for big data mining in communication network based on support vector machine
Campos et al. Federated Transfer Learning for Energy Efficiency in Smart Buildings
Xia et al. Privacy-Preserving Electricity Data Classification Scheme Based on CNN Model with Fully Homomorphism
Li et al. A comprehensive learning-based model for power load forecasting in smart grid
Mao et al. Full Data‐Processing Power Load Forecasting Based on Vertical Federated Learning
Wu Evaluation model of product shape design scheme based on fuzzy genetic algorithm mining spatial association rules
Čulić Gambiroža et al. Lost in data: recognizing type of time series sensor data using signal pattern classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230516

RJ01 Rejection of invention patent application after publication