CN115134077A - 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统 - Google Patents

基于横向lstm联邦学习的企业电力负荷联合预测方法及系统 Download PDF

Info

Publication number
CN115134077A
CN115134077A CN202210763482.0A CN202210763482A CN115134077A CN 115134077 A CN115134077 A CN 115134077A CN 202210763482 A CN202210763482 A CN 202210763482A CN 115134077 A CN115134077 A CN 115134077A
Authority
CN
China
Prior art keywords
model
lstm
participants
local
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210763482.0A
Other languages
English (en)
Inventor
李辉
毛正雄
保富
原野
张梅
赵晓平
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Center of Yunnan Power Grid Co Ltd
Original Assignee
Information Center of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Center of Yunnan Power Grid Co Ltd filed Critical Information Center of Yunnan Power Grid Co Ltd
Priority to CN202210763482.0A priority Critical patent/CN115134077A/zh
Publication of CN115134077A publication Critical patent/CN115134077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于横向LSTM联邦学习的企业电力负荷联合预测方法及系统，本发明采用联邦学习的方法保证数据不出本地，同时可以联合多方数据，增加数据的多样性，提高模型的泛化能力和效用性。利用Paillier同态加密有效的防止恶意用户根据中间参数信息推断参与者的原始信息，因此，同态加密方法提高了参与方数据的安全性，同时充分挖掘历史数据信息，高效准确的分析电力负荷。

Description

基于横向LSTM联邦学习的企业电力负荷联合预测方法及系统
技术领域
本发明属于数据安全领域，涉及一种基于横向LSTM联邦学习的企业电力负荷联合预测方法及系统。
背景技术
电力负荷的短期精准预测是电网规划的核心部分，有助于电力资源的稳定调度，能够明显提高电网的经济收益和社会效益。电力负荷数据序列会受到非周期性社会事件、日期、天气、季节等诸多非量化因素的影响，传统的统计方法不能准确的预测电力负荷，LSTM模型具有一定的记忆性，可以充分利用历史信息，准确的预测电力负荷，而收集全面详细的各方数据可以进一步地提高LSTM模型预测电力负荷的效果。但是，收集、存储、交换大量企业、个人、地区的实时电力负荷数据存在严重的隐私泄露风险。恶意攻击者窃取实时电力负荷数据，不仅会影响用户的隐私安全，还可能对电网系统造成不可逆的破坏，这一问题的存在严重阻碍了电力数据的挖掘与应用。因此亟需一种解决数据流向不可控和敏感数据泄露问题的方法。
发明内容
本发明的目的在于解决现有技术中的问题，提供一种基于横向LSTM联邦学习的企业电力负荷联合预测方法及系统，能够保证中间传递参数和参与者本地数据的隐私安全，同时充分挖掘历史数据信息，高效准确的分析电力负荷。
为达到上述目的，本发明采用以下技术方案予以实现：
基于横向LSTM联邦学习的企业电力负荷联合预测方法，包括：
步骤1、密钥生成；基于LSTM模型参数，生成公私密钥{pk,sk}，并将公钥pk进行广播所有的参与方；
步骤2、模型初始化；初始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)，全局迭代次数j＝0，LSTM模型的参数wj和学习率η，并将LSTM模型的参数wj、学习率η和全局迭代次数j广播给所有的参与方；
步骤3、本地迭代更新；基于LSTM模型的参数wj、学习率η和全局迭代次数j，对参与方的本地数据进行训练，经本地迭代E(E∈Z+)次后，得到更新的LSTM模型；
步骤4、加密；基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；
步骤5、接收模型参数，对更新的LSTM模型参数和迭代次数进行广播，并接收参与方上传的更新密文，当接收K个密文后，聚合接收的密文，并通知其他未上传更新的参与方停止进行本地迭代；
步骤6、更新全局模型；基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，更新全局迭代次数j←j+1，将聚合结果和更新的迭代次数广播给所有的参与者；
步骤7、迭代更新；重复步骤3-6，直至全局迭代次数j大于设定的阈值，模型训练完成，各个参与者均获得最终的全局模型。
本发明的进一步改进在于：
步骤1、步骤2、步骤5和步骤6为服务器的工作；步骤3和步骤4为参与方的工作；步骤3还包括：参与方接收服务器广播的模型参数和全局迭代次数j；步骤4还包括：参与方将密文上传至服务器。
基于LSTM模型参数，生成公私密钥{pk，sk}，具体为：
步骤1.1、基于LSTM模型参数中的每个分量通过乘以±10n，并化成正整数，记其中最大的正整数为M，选取两个质数p和q，保证pq＞2M；
步骤1.2、计算N＝pq和λ＝lcm(p-1，q-1)；并选取g＝N+1；
其中，函数lcm表示计算两个数字的最大公因数，sk＝λ为服务器生成的私钥，pk＝(N，g)为服务器生成的公钥。
步骤3，具体为：
步骤3.1、在第j轮迭代中，第i(i∈[P])个参与者接收服务器广播的LSTM模型，记为
Figure BDA0003724772240000031
其中k是本地迭代的次数，k初始化为0；
步骤3.2、第i个参与者随机抽取本地mi个数掘
Figure BDA0003724772240000032
步骤3.3、参与者i利用解密的LSTM模型训练抽取的mi个数据，分别得到mi个梯度
Figure BDA0003724772240000033
对mi个梯度
Figure BDA0003724772240000034
进行求平均值，得到本地数据的无偏梯度：
Figure BDA0003724772240000035
步骤3.4、更新本地模型
Figure BDA0003724772240000036
步骤3.5、更新本地迭代次数k←k+1；
步骤3.6、重复上述步骤E次，得到最终的本地更新
Figure BDA0003724772240000037
基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；具体为：
步骤4.1、选取任意的
Figure BDA0003724772240000038
步骤4.2、分别对模型wj中的每个分量
Figure BDA0003724772240000039
进行加密，若
Figure BDA00037247722400000310
为正整数，则直接加密该分量得到分量
Figure BDA00037247722400000311
的密文
Figure BDA00037247722400000312
若
Figure BDA00037247722400000313
为正浮点数，则将
Figure BDA00037247722400000314
扩大10n倍，使其变成整数
Figure BDA00037247722400000315
然后进行加密
Figure BDA00037247722400000316
将加密结果缩小10n倍得到密文
Figure BDA00037247722400000317
若
Figure BDA00037247722400000318
为负数，则将对模型wj中的每个分量
Figure BDA00037247722400000319
进行预处理，具体为，对模型参数的每一个分量
Figure BDA00037247722400000320
进行处理得到正数
Figure BDA00037247722400000321
Figure BDA0003724772240000041
对正数
Figure BDA0003724772240000042
进行加密得到相应的密文
Figure BDA0003724772240000043
步骤4.3、将各个密文
Figure BDA0003724772240000044
按照分量
Figure BDA0003724772240000045
的位置重组向量得到模型wj的密文Enc(wj)。
基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，具体为：
步骤6.1、服务器根据私钥sk分别解密接收到的K个加密的模型参数
Figure BDA0003724772240000046
得到
Figure BDA0003724772240000047
步骤6.2、服务器根据参与者本地使用的数据量加权聚合模型参数，聚合规则为
Figure BDA0003724772240000048
其中，
Figure BDA0003724772240000049
步骤6.3、更新全局迭代次数j←j+1。
服务器通过私钥sk＝λ对密文解密，具体为：
步骤6.1.1、对于密文Enc(wj)的每一个分量
Figure BDA00037247722400000410
若分量
Figure BDA00037247722400000411
为整数，则直接进行解密得到明文
Figure BDA00037247722400000412
若分量
Figure BDA00037247722400000413
为小数，则将该分量
Figure BDA00037247722400000414
扩大10n倍，使其变为整数，然后进行解密得到
Figure BDA00037247722400000415
再将解密结果缩小10n倍得到明文
Figure BDA0003724772240000051
步骤6.1.2、若解密结果大于
Figure BDA0003724772240000052
则令
Figure BDA0003724772240000053
步骤6.1.3、将各个明文
Figure BDA0003724772240000054
按照分量
Figure BDA0003724772240000055
的位置重组向量得到密文Enc(wj)对应的解密模型
Figure BDA0003724772240000056
基于横向LSTM联邦学习的企业电力负荷联合预测系统，包括：
密钥生成模块，所述密钥生成模块基于LSTM模型参数，生成公私密钥{pk，sk}，并将公钥pk进行广播所有的参与方；
模型初始化模块；所述模型初始化模块用于初始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)，全局迭代次数j＝0，LSTM模型的参数wj和学习率η，并将LSTM模型的参数wj、学习率η和全局迭代次数j广播给所有的参与者；
本地迭代更新模块；所述本地迭代更新模块基于LSTM模型的参数wj、学习率η和全局迭代次数j，对参与方的本地数据进行训练，经本地迭代E(E∈Z+)次后，得到更新的LSTM模型；
加密模块；所述加密模块基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；
接收模块；所述接收模块用于对更新的LSTM模型参数和迭代次数进行广播，并接收参与方上传的更新密文，当接收K个密文后，聚合接收的密文，并通知其他未上传更新的参与方停止进行本地迭代；
更新全局模型模块；所述更新全局模型模块基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，更新全局迭代次数j←j+1，将聚合结果和更新的迭代次数广播给所有的参与者；
迭代更新模块；所述迭代更新模块用于直至全局迭代次数j大于设定的阈值，各个参与者均获得最终的全局模型。
与现有技术相比，本发明具有以下有益效果：
本发明采用联邦学习的方法允许各个参与方的原始数据存储在本地，保护多方数据的安全，同时基于同态加密，即使用户获取中间交换的密文，也无法获取模型参数信息，有效的防止恶意用户根据中间参数信息推断参与者的原始信息，因此，同态加密方法提高了参与方数据的安全性。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的基于横向LSTM联邦学习的企业电力负荷联合预测方法逻辑架构示意图；
图2为本发明所使用的部分数据样例；
图3为本发明与和只有一个参与者参与在电力负荷数据集上的均方误差MSE对比图；
图4为本发明在参与方数目K取值不同时的均方误差MSE对比图；
图5为本发明的基于横向LSTM联邦学习的企业电力负荷联合预测方法流程示意图；
图6为本发明的基于横向LSTM联邦学习的企业电力负荷联合预测系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明公开了一种基于横向LSTM联邦学习的企业安全电力负荷预测方法，包括：
步骤1、密钥生成，在有一个服务器和P个参与方的横向联邦学习场景中，服务器生成公私密钥{pk，sk}，并将公钥pk广播给所有的参与方，服务器生成公私钥的方法，具体为：
步骤1.1、基于LSTM模型参数中的每个分量通过乘以±10n，并化成正整数，记其中最大的正整数为M，然后选取两个的质数p和q，保证pq＞2M；
步骤1.2、计算N＝pq和λ＝lcm(p-1，q-1)；并选取g＝N+1；
其中，函数lcm表示计算两个数字的最大公因数，sk＝λ为服务器生成的私钥，pk＝(N，g)为服务器生成的公钥。
步骤2、模型初始化并广播模型参数等，服务器初始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)，全局迭代次数j＝0，LSTM模型的参数wj和学习率η等，然后将模型参数和迭代次数等广播给所有的参与者；
步骤3、本地迭代更新，参与方接收服务器广播的模型参数和迭代次数j等，然后利用随机梯度下降法训练本地数据。本地迭代E(E∈Z+)次后，得到更新的模型，步骤3的具体做法为：
步骤3.1、在第j轮迭代中，第i(i∈[P])个参与者接收服务器广播的LSTM模型，记为
Figure BDA0003724772240000081
其中k是本地已经迭代的次数，k初始化为0；
步骤3.2、第i个参与者随机抽取本地mi个数据
Figure BDA0003724772240000082
步骤3.3、参与者i利用解密的LSTM模型训练抽取的mi个数据，分别得到mi个梯度
Figure BDA0003724772240000083
对mi个梯度
Figure BDA0003724772240000084
进行求平均值，得到本地数据的无偏梯度：
Figure BDA0003724772240000085
步骤3.4、更新本地模型
Figure BDA0003724772240000086
步骤3.5、更新本地迭代次数k←k+1；
步骤3.6、重复上述步骤E次，得到最终的本地更新
Figure BDA0003724772240000087
E为在训练模型前设置的超参数，表示每个参与方所需的本地迭代的总次数，这里的k是表示每个参与者实时的本地迭代次数，因此k是不断变化的，当k等于E时，本地迭代过程终止，参与者上传本地更新。
步骤4、加密并上传密文，通过Paillier加法同态加密的方法，参与方利用本地的公钥对更新的模型加密，并将密文上传至服务器，步骤4中，各个参与方通过公钥pk＝(N，g)加密模型参数wj的具体过程为：
步骤4.1、选取任意的整数
Figure BDA0003724772240000091
其中
Figure BDA0003724772240000092
表示与N互素且小于N的正整数所构成的集合，r是该集合中的任意一个元素，因此r与N互素且小于N；
步骤4.2、分别对LSTM模型wj中的每个分量
Figure BDA0003724772240000093
进行加密，若
Figure BDA0003724772240000094
为正整数，则直接加密该分量得到分量
Figure BDA0003724772240000095
的密文
Figure BDA0003724772240000096
若
Figure BDA0003724772240000097
为正浮点数，则将
Figure BDA0003724772240000098
扩大10n倍，使其变成整数
Figure BDA0003724772240000099
然后进行加密
Figure BDA00037247722400000910
将加密结果缩小10n倍得到密文
Figure BDA00037247722400000911
若
Figure BDA00037247722400000912
为负数，则将对模型wj中的每个分量
Figure BDA00037247722400000913
进行预处理，具体为，对模型参数的每一个分量
Figure BDA00037247722400000914
进行处理得到正数
Figure BDA00037247722400000915
Figure BDA00037247722400000916
对正数
Figure BDA00037247722400000917
进行加密得到相应的密文
Figure BDA00037247722400000918
步骤4.3、将各个密文
Figure BDA00037247722400000919
按照分量
Figure BDA00037247722400000920
的位置重组向量得到模型wj的密文Enc(wj)。
步骤5、接收模型参数，当服务器广播最新的模型参数和迭代次数时，开始接收参与方上传的更新密文，当服务器接收K个密文后，开始聚合接收的密文，并通知其他未上传更新的参与方停止进行本地迭代；
步骤6、更新全局模型，服务器使用私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，更新迭代次数j←j+1，将聚合结果和更新的迭代次数广播给所有的参与者，步骤6的具体做法为：
步骤6.1、服务器根据私钥sk分别解密接收到的K个加密的模型参数
Figure BDA0003724772240000101
得到
Figure BDA0003724772240000102
步骤6.2、服务器根据参与者本地使用的数据量加权聚合模型参数，聚合规则为
Figure BDA0003724772240000103
其中，
Figure BDA0003724772240000104
步骤6.3、更新全局迭代次数j←j+1。
步骤6.1中，服务器通过私钥sk＝λ对密文解密的具体过程为：
步骤6.1.1、对于密文Enc(wj)的每一个分量
Figure BDA0003724772240000105
若分量
Figure BDA0003724772240000106
为整数，则直接进行解密得到明文
Figure BDA0003724772240000107
若分量
Figure BDA0003724772240000108
为小数，则将该分量
Figure BDA0003724772240000109
扩大10n倍，使其变为整数，然后进行解密得到
Figure BDA00037247722400001010
再将解密结果缩小10n倍得到明文
Figure BDA00037247722400001011
步骤6.1.2、若解密结果大于
Figure BDA00037247722400001012
则令
Figure BDA00037247722400001013
步骤6.1.3、将各个明文
Figure BDA00037247722400001014
按照分量
Figure BDA00037247722400001015
的位置重组向量得到密文Enc(wj)对应的解密模型
Figure BDA00037247722400001016
步骤7、迭代更新，对所有的参与者和服务器重复步骤3-6，直至迭代次数j大于设定的阈值，模型训练完成，各个参与者可获得最终的全局模型；
步骤8、联邦推理，基于LSTM模型分析企业的历史的电力信息，预测未来的电力负荷，并采用均方误差MSE评估模型的性能，其中，
Figure BDA0003724772240000111
(xi，yi)，i＝1，2，...，m表示m个数据和标签，pred(xi)表示数据xi的预测值。
参考图2、图3和图4，其中，图2为所使用的电力负荷数据集的数据样例图，由于样本数量过多，图2仅截取部分样本，图2中左侧为序号，中间为时间点，右侧为各个时间点所对应的用电量。图3为分别在单个参与者的本地数据--单方场景和本发明所提方法--联邦学习场景--上部署LSTM模型的均方误差实验结果图，图4为本文所提方法在不同参与者数目情形下的均方误差实验结果图。通过观察这两幅图的实验结果，可以发现本发明所提方法--联邦学习场景--相比于传统的单方场景可以显著提升模型的效用，降低模型的损失值，且随着参与者数目的增多，模型的提升效果越显著。
参考图5，本发明提供了一种基于横向LSTM联邦学习的企业安全电力负荷预测方法，其逻辑架构包括本地训练、同态加密和横向联邦学习三个部分，主体为横向联邦学习。采用具有长短期记忆的LSTM模型可以提高时序性地电力负荷数据预测的准确性。为了保护数据的隐私安全，采用横向联邦学习的方法保证数据不出本地，采用同态加密可以保证恶意用户即使获得中间传递的密文也不能获取更新参数，从而有效地解决了推断攻击行为。
参见图6，本发明公布了一种基于横向LSTM联邦学习的企业电力负荷联合预测系统，包括：
密钥生成模块，所述密钥生成模块基于LSTM模型参数，生成公私密钥{pk，sk}，并将公钥pk进行广播所有的参与方；
模型初始化模块；所述模型初始化模块用于初始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)，全局迭代次数j＝0，LSTM模型的参数wj和学习率η，并将LSTM模型的参数wj、学习率η和全局迭代次数j广播给所有的参与者；
本地迭代更新模块；所述本地迭代更新模块基于LSTM模型的参数wj、学习率η和全局迭代次数j，对参与方的本地数据进行训练，经本地迭代E(E∈Z+)次后，得到更新的LSTM模型；
加密模块；所述加密模块基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；
接收模块；所述接收模块用于对更新的LSTM模型参数和迭代次数进行广播，并接收参与方上传的更新密文，当接收K个密文后，聚合接收的密文，并通知其他未上传更新的参与方停止进行本地迭代；
更新全局模型模块；所述更新全局模型模块基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，更新全局迭代次数j←j+1，将聚合结果和更新的迭代次数广播给所有的参与者；
迭代更新模块；所述迭代更新模块用于直至全局迭代次数j大于设定的阈值，各个参与者均获得最终的全局模型。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，包括：
步骤1、密钥生成；基于LSTM模型参数，生成公私密钥{pk,sk}，并将公钥pk进行广播所有的参与方；
步骤2、模型初始化；初始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)，全局迭代次数j＝0，LSTM模型的参数wj和学习率η，并将LSTM模型的参数wj、学习率η和全局迭代次数j广播给所有的参与方；
步骤3、本地迭代更新；基于LSTM模型的参数wj、学习率η和全局迭代次数j，对参与方的本地数据进行训练，经本地迭代E(E∈Z+)次后，得到更新的LSTM模型；
步骤4、加密；基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；
步骤5、接收模型参数，对更新的LSTM模型参数和迭代次数进行广播，并接收参与方上传的更新密文，当接收K个密文后，聚合接收的密文，并通知其他未上传更新的参与方停止进行本地迭代；
步骤6、更新全局模型；基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，更新全局迭代次数j←j+1，将聚合结果和更新的迭代次数广播给所有的参与者；
步骤7、迭代更新；重复步骤3-6，直至全局迭代次数j大于设定的阈值，模型训练完成，各个参与者均获得最终的全局模型。
2.根据权利要求1所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，所述步骤1、步骤2、步骤5和步骤6、为服务器的工作；所述步骤3和步骤4为参与方的工作；所述步骤3还包括：参与方接收服务器广播的模型参数和全局迭代次数j；所述步骤4还包括：参与方将密文上传至服务器。
3.根据权利要求2所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，所述基于LSTM模型参数，生成公私密钥{pk,sk}，具体为：
步骤1.1、基于LSTM模型参数中的每个分量通过乘以±10n，并化成正整数，记其中最大的正整数为M，选取两个质数p和q，保证pq>2M；
步骤1.2、计算N＝pq和λ＝lcm(p-1,q-1)；并选取g＝N+1；
其中，函数lcm表示计算两个数字的最大公因数，sk＝λ为服务器生成的私钥，pk＝(N,g)为服务器生成的公钥。
4.根据权利要求3所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，所述步骤3，具体为：
步骤3.1、在第j轮迭代中，第i(i∈[P])个参与者接收服务器广播的LSTM模型，记为
Figure FDA0003724772230000021
其中k是本地迭代的次数，k初始化为0；
步骤3.2、第i个参与者随机抽取本地mi个数据
Figure FDA0003724772230000022
步骤3.3、参与者i利用解密的LSTM模型训练抽取的mi个数据，分别得到mi个梯度
Figure FDA0003724772230000023
对mi个梯度
Figure FDA0003724772230000024
进行求平均值，得到本地数据的无偏梯度：
Figure FDA0003724772230000025
步骤3.4、更新本地模型
Figure FDA0003724772230000026
步骤3.5、更新本地迭代次数k←k+1；
步骤3.6、重复上述步骤E次，得到最终的本地更新
Figure FDA0003724772230000027
5.根据权利要求4所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，所述基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；具体为：
步骤4.1、选取任意的
Figure FDA0003724772230000028
步骤4.2、分别对模型wj中的每个分量
Figure FDA0003724772230000031
进行加密，若
Figure FDA0003724772230000032
为正整数，则直接加密该分量得到分量
Figure FDA0003724772230000033
的密文
Figure FDA0003724772230000034
若
Figure FDA0003724772230000035
为正浮点数，则将
Figure FDA0003724772230000036
扩大10n倍，使其变成整数
Figure FDA0003724772230000037
然后进行加密
Figure FDA0003724772230000038
将加密结果缩小10n倍得到密文
Figure FDA0003724772230000039
若
Figure FDA00037247722300000310
为负数，则将对模型wj中的每个分量
Figure FDA00037247722300000311
进行预处理，具体为，对模型参数的每一个分量
Figure FDA00037247722300000312
进行处理得到正数
Figure FDA00037247722300000313
Figure FDA00037247722300000314
对正数
Figure FDA00037247722300000315
进行加密得到相应的密文
Figure FDA00037247722300000316
步骤4.3、将各个密文
Figure FDA00037247722300000317
按照分量
Figure FDA00037247722300000318
的位置重组向量得到模型wj的密文Enc(wj)。
6.根据权利要求5所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，所述基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，具体为：
步骤6.1、服务器根据私钥sk分别解密接收到的K个加密的模型参数
Figure FDA00037247722300000319
得到
Figure FDA00037247722300000320
步骤6.2、服务器根据参与者本地使用的数据量加权聚合模型参数，聚合规则为
Figure FDA00037247722300000321
其中，
Figure FDA00037247722300000322
步骤6.3、更新全局迭代次数j←j+1。
7.根据权利要求6所述的基于横向LSTM联邦学习的企业电力负荷联合预测方法，其特征在于，所述服务器通过私钥sk＝λ对密文解密，具体为：
步骤6.1.1、对于密文Enc(wj)的每一个分量
Figure FDA0003724772230000041
若分量
Figure FDA0003724772230000042
为整数，则直接进行解密得到明文
Figure FDA0003724772230000043
若分量
Figure FDA0003724772230000044
为小数，则将该分量
Figure FDA0003724772230000045
扩大10n倍，使其变为整数，然后进行解密得到
Figure FDA0003724772230000046
再将解密结果缩小10n倍得到明文
Figure FDA0003724772230000047
步骤6.1.2、若解密结果大于
Figure FDA0003724772230000048
则令
Figure FDA0003724772230000049
步骤6.1.3、将各个明文
Figure FDA00037247722300000410
按照分量
Figure FDA00037247722300000411
的位置重组向量得到密文Enc(wj)对应的解密模型
Figure FDA00037247722300000412
8.基于横向LSTM联邦学习的企业电力负荷联合预测系统，其特征在于，包括：
密钥生成模块，所述密钥生成模块基于LSTM模型参数，生成公私密钥{pk,sk}，并将公钥pk进行广播所有的参与方；
模型初始化模块；所述模型初始化模块用于初始化每轮迭代中各个参与方的本地迭代次数E(E∈Z+)，全局迭代次数j＝0，LSTM模型的参数wj和学习率η，并将LSTM模型的参数wj、学习率η和全局迭代次数j广播给所有的参与者；
本地迭代更新模块；所述本地迭代更新模块基于LSTM模型的参数wj、学习率η和全局迭代次数j，对参与方的本地数据进行训练，经本地迭代E(E∈Z+)次后，得到更新的LSTM模型；
加密模块；所述加密模块基于Paillier加法同态加密和本地的公钥pk，对更新的LSTM模型加密，得到密文；
接收模块；所述接收模块用于对更新的LSTM模型参数和迭代次数进行广播，并接收参与方上传的更新密文，当接收K个密文后，聚合接收的密文，并通知其他未上传更新的参与方停止进行本地迭代；
更新全局模型模块；所述更新全局模型模块基于私钥sk解密接收的密文，根据参与方本地使用的数据量加权聚合模型更新，更新全局迭代次数j←j+1，将聚合结果和更新的迭代次数广播给所有的参与者；
迭代更新模块；所述迭代更新模块用于直至全局迭代次数j大于设定的阈值，各个参与者均获得最终的全局模型。
CN202210763482.0A 2022-06-30 2022-06-30 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统 Pending CN115134077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210763482.0A CN115134077A (zh) 2022-06-30 2022-06-30 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210763482.0A CN115134077A (zh) 2022-06-30 2022-06-30 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统

Publications (1)

Publication Number Publication Date
CN115134077A true CN115134077A (zh) 2022-09-30

Family

ID=83381933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210763482.0A Pending CN115134077A (zh) 2022-06-30 2022-06-30 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统

Country Status (1)

Country Link
CN (1) CN115134077A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115758402A (zh) * 2022-11-09 2023-03-07 国网江苏省电力有限公司苏州供电分公司 结合同态加密和模型水印的人工智能模型联邦学习方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN112583575A (zh) * 2020-12-04 2021-03-30 华侨大学 一种车联网中基于同态加密的联邦学习隐私保护方法
CN113159289A (zh) * 2021-04-26 2021-07-23 平安科技（深圳）有限公司 基于神经网络的联邦模型的训练方法、装置及计算机设备
CN113239404A (zh) * 2021-06-04 2021-08-10 南开大学 一种基于差分隐私和混沌加密的联邦学习方法
CN113434873A (zh) * 2021-06-01 2021-09-24 内蒙古大学 一种基于同态加密的联邦学习隐私保护方法
US20220036123A1 (en) * 2021-10-20 2022-02-03 Intel Corporation Machine learning model scaling system with energy efficient network data transfer for power aware hardware
US20220108177A1 (en) * 2019-05-16 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN114399031A (zh) * 2022-01-18 2022-04-26 中国石油大学(华东) 一种基于联邦学习的智能工厂温湿度控制方法
US20220129580A1 (en) * 2020-10-27 2022-04-28 Alipay (Hangzhou) Information Technology Co., Ltd. Methods, apparatuses, and systems for updating service model based on privacy protection
CN114417388A (zh) * 2022-01-25 2022-04-29 云南电网有限责任公司信息中心 基于纵向联邦学习的电力负荷预测方法、系统、设备及介质
CN114499979A (zh) * 2021-12-28 2022-05-13 云南电网有限责任公司信息中心 一种基于联邦学习的sdn网络异常流量协同检测方法
CN114662147A (zh) * 2022-03-24 2022-06-24 云南电网有限责任公司信息中心 一种适用于大规模数据库的隐私信息检索方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
US20220108177A1 (en) * 2019-05-16 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
US20220129580A1 (en) * 2020-10-27 2022-04-28 Alipay (Hangzhou) Information Technology Co., Ltd. Methods, apparatuses, and systems for updating service model based on privacy protection
CN112583575A (zh) * 2020-12-04 2021-03-30 华侨大学 一种车联网中基于同态加密的联邦学习隐私保护方法
CN113159289A (zh) * 2021-04-26 2021-07-23 平安科技（深圳）有限公司 基于神经网络的联邦模型的训练方法、装置及计算机设备
CN113434873A (zh) * 2021-06-01 2021-09-24 内蒙古大学 一种基于同态加密的联邦学习隐私保护方法
CN113239404A (zh) * 2021-06-04 2021-08-10 南开大学 一种基于差分隐私和混沌加密的联邦学习方法
US20220036123A1 (en) * 2021-10-20 2022-02-03 Intel Corporation Machine learning model scaling system with energy efficient network data transfer for power aware hardware
CN114499979A (zh) * 2021-12-28 2022-05-13 云南电网有限责任公司信息中心 一种基于联邦学习的sdn网络异常流量协同检测方法
CN114399031A (zh) * 2022-01-18 2022-04-26 中国石油大学(华东) 一种基于联邦学习的智能工厂温湿度控制方法
CN114417388A (zh) * 2022-01-25 2022-04-29 云南电网有限责任公司信息中心 基于纵向联邦学习的电力负荷预测方法、系统、设备及介质
CN114662147A (zh) * 2022-03-24 2022-06-24 云南电网有限责任公司信息中心 一种适用于大规模数据库的隐私信息检索方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SUYU OUYANG ECT.: "Federal Learning Based COVID-19 Fake News Detection With Deep Self-Attention Network", 《2021 IEEE 7TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENT SYSTEMS (CCIS)》, 14 April 2022 (2022-04-14) *
刘月峰;杨宇慧;: "基于CNN-LSTM的短期电力负荷预测研究", 科技创新与应用, no. 01, 8 January 2020 (2020-01-08) *
李鉴;邵云峰;卢燚;吴骏;: "联邦学习及其在电信行业的应用", 信息通信技术与政策, no. 09, 15 September 2020 (2020-09-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115758402A (zh) * 2022-11-09 2023-03-07 国网江苏省电力有限公司苏州供电分公司 结合同态加密和模型水印的人工智能模型联邦学习方法

Similar Documents

Publication Publication Date Title
Bonawitz et al. Practical secure aggregation for privacy-preserving machine learning
Jiang et al. Energy big data: A survey
Wen et al. Feddetect: A novel privacy-preserving federated learning framework for energy theft detection in smart grid
Zhang et al. Asymptotically optimum distributed estimation in the presence of attacks
CN107145791B (zh) 一种具有隐私保护的K-means聚类方法及系统
Erkin et al. Private computation of spatial and temporal power consumption with smart meters
Badr et al. Privacy-preserving federated-learning-based net-energy forecasting
Ismail et al. A game theoretical analysis of data confidentiality attacks on smart-grid AMI
Badr et al. Privacy-preserving and communication-efficient energy prediction scheme based on federated learning for smart grids
Wu et al. Towards efficient secure aggregation for model update in federated learning
Li et al. Detection of false data injection attacks on smart grids: A resilience-enhanced scheme
Asad et al. CEEP-FL: A comprehensive approach for communication efficiency and enhanced privacy in federated learning
Hasan et al. Encryption as a service for smart grid advanced metering infrastructure
Shi et al. Distributed private data analysis: Lower bounds and practical constructions
Xu et al. Secure and practical output feedback control for cloud-enabled cyber-physical systems
CN115134077A (zh) 基于横向lstm联邦学习的企业电力负荷联合预测方法及系统
Sherifl et al. Efficient privacy-preserving aggregation scheme for data sets
Jain et al. Cryptanalytic results on knapsack cryptosystem using binary particle swarm optimization
Lu et al. Transactive energy system deployment over insecure communication links
Stan et al. A new crypto-classifier service for energy efficiency in smart cities
CN110740034B (zh) 基于联盟链的qkd网络认证密钥生成方法及系统
Kaghazgaran et al. Secure two party comparison over encrypted data
CN108964894B (zh) 一种基于状态估计且具备隐私保护的电网盗电检测方法
Nanavati et al. Analysis and evaluation of schemes for secure sum in collaborative frequent itemset mining across horizontally partitioned data
Kiarie et al. Application of spritz encryption in smart meters to protect consumer data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination