CN116227621B - 一种基于电力数据的联邦学习模型训练方法 - Google Patents

一种基于电力数据的联邦学习模型训练方法 Download PDF

Info

Publication number
CN116227621B
CN116227621B CN202211711600.XA CN202211711600A CN116227621B CN 116227621 B CN116227621 B CN 116227621B CN 202211711600 A CN202211711600 A CN 202211711600A CN 116227621 B CN116227621 B CN 116227621B
Authority
CN
China
Prior art keywords
model
local
client
control variable
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211711600.XA
Other languages
English (en)
Other versions
CN116227621A (zh
Inventor
庞博
张凌浩
唐超
梁晖辉
常政威
陈玉敏
魏阳
代宇涵
庄惠钧
胡春强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority to CN202211711600.XA priority Critical patent/CN116227621B/zh
Publication of CN116227621A publication Critical patent/CN116227621A/zh
Application granted granted Critical
Publication of CN116227621B publication Critical patent/CN116227621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3006—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy underlying computational problems or public-key parameters
    • H04L9/3033—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy underlying computational problems or public-key parameters details relating to pseudo-prime or prime number generation, e.g. primality test
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Storage Device Security (AREA)
  • Power Sources (AREA)

Abstract

本发明提供了一种基于电力数据的联邦学习模型训练方法，包括以下步骤：服务器设定初始模型和训练参数并发送至客户端；客户端设定本地控制变量，基于本地控制变量对初始模型进行更新、处理获得密文模型；将密文模型和本地控制变量传输至服务器；服务器根据密文模型获得聚合模型，判断当前迭代次数小于总迭代次数时，更新服务器控制变量，将聚合模型和更新后的服务器控制变量发送至客户端，将聚合模型在客户端开启新一轮的训练步骤；服务器判断当前迭代次数等于总迭代次数时，输出聚合模型。本发明能够避免恶意服务器与客户端串通获取其他客户端的数据的问题，同时控制多个客户端的模型收敛方向，使得模型加快向全局最优解收敛。

Description

一种基于电力数据的联邦学习模型训练方法
技术领域
本发明属于联邦学习技术领域，具体涉及一种基于电力数据的联邦学习模型训练方法。
背景技术
对电力数据进行分析与建模是智能电网得以持续发展的重要驱动力之一。由于模型中心化以及数据中心化使得电力数据容易被恶意方获取并用于进行非法活动，因此现有技术使用联邦学习技术来解决数据中心化导致的隐私泄露问题。设置一个服务器和多个客户端，服务器将模型分别发送至多个客户端，不同地区的电力公司可以作为多个客户端分别在本地进行模型更新，多个客户端完成模型更新后，再将模型发送至服务器进行聚合。
为了保证客户端与服务器之间的数据传输的安全性，现有技术在客户端与服务器进行数据传输时，对传输的数据进行加密，但是仍然存在恶意服务器与客户端串通，通过盗取解密数据获取其他客户端的数据，数据保护仍然存在漏洞。
并且不同地区的电力公司所拥有的电力数据分布是不一致的，因此模型在客户端进行更新时会朝着不同方向进行优化，收敛过程也会变得缓慢，甚至可能导致模型不收敛；并且模型在服务器进行聚合时也很难得到一个普适的全局模型。
发明内容
本发明旨在解决现有技术中存在的技术问题，提供一种基于电力数据的联邦学习模型训练方法，避免在联邦学习过程中，恶意服务器与客户端串通获取其他客户端的数据的问题，同时在训练过程中控制多个客户端的模型收敛方向，使得模型加快向全局最优解收敛。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于电力数据的联邦学习模型训练方法，包括以下步骤：服务器设定初始模型和训练参数并发送至客户端，训练参数包括服务器控制变量和总迭代次数；客户端设定本地控制变量，基于本地控制变量、服务器控制变量和训练步骤对初始模型进行更新获得本地模型，对本地模型进行剪裁处理、加噪处理和加密处理获得密文模型；将密文模型和本地控制变量传输至服务器；服务器根据密文模型获得聚合模型，判断当前迭代次数小于总迭代次数时，更新服务器控制变量，将聚合模型和更新后的服务器控制变量发送至客户端，将聚合模型作为初始模型在客户端开启新一轮的训练步骤；服务器判断当前迭代次数等于总迭代次数时，输出聚合模型。
进一步，更新服务器控制变量的步骤具体为：使用第一更新公式对服务器控制变量进行更新，第一更新公式如下：其中，i表示第i个客户端，N表示参加训练的客户端的数量和，/>表示第i个客户端的本地控制变量，c′表示更新后的服务器控制变量。
进一步，根据密文模型获得聚合模型步骤具体为：根据聚合公式和密文模型获得聚合模型；聚合公式具体为： 其中，t表示第t次迭代，W(t+1)表示第t+1次迭代时的聚合模型，[]表示该模型经加密处理，i表示第i个客户端，N表示参加训练的客户端的数量和，pi表示第i个客户端的权重比，/>表示经过第t次迭代时第i个客户端的密文模型。
进一步，将密文模型和本地控制变量传输至服务器的步骤具体为：将本地电力数据集大小、密文模型和本地控制变量传输至服务器；本地电力数据集为客户端用于本地模型训练的电力数据集；客户端的权重比根据以下公式获得：D＝|D1|+|D2|+…+|Di|；其中，D1为第1个客户端的电力数据集大小，D2为第2个客户端的电力数据集大小，Di为第i个客户端的电力数据集大小，D为参加训练的所有客户端的电力数据集大小总和。
进一步，通过可信机构生成公钥和私钥，将公钥和私钥发送至参加训练的客户端；客户端使用公钥对传送至服务器的本地模型、电力数据集大小和本地控制变量进行加密。
进一步，训练步骤包括：将初始模型向前传播，并反向计算得到本地梯度；根据本地梯度、本地学习率、服务器控制变量和本地控制变量对初始模型进行更新获得本地模型，更新公式如下： 其中，/>表示第t次迭代时第i个客户端的本地模型，/>表示第t次迭代时第i个客户端的初始模型，ηl表示本地学习率，gi(Wi (t))表示第t次迭代时第i个客户端的本地梯度，ci表示第i个客户端的本地控制变量，c表示服务器控制变量；对本地模型依次进行剪裁处理、加噪处理和加密处理，获得密文模型，更新本地控制变量。
进一步，剪裁处理的步骤具体为：使用自适应剪裁公式对本地模型进行剪裁，自适应剪裁公式如下：其中，i表示第i个客户端，t表示第t次迭代，Wi (t)表示第t次迭代时第i个客户端本地模型，/>表示第t次迭代时第i个客户端剪裁后的本地模型。
进一步，更新本地控制变量的步骤具体为：从第二更新公式和第三更新公式中选择其一对本地控制变量进行更新；第二更新公式如下：其中，i表示第i个客户端，/>表示第i个客户端更新后的本地控制变量，gi表示第i个客户端本地梯度，t表示第t次迭代，W(t)表示第t次迭代时的聚合模型；第三更新公式如下：/> 其中，ci表示第u个客户端本地控制变量，c表示服务器控制变量，k表示每组权重参数的数量，ηl表示本地学习率，W(t)表示第t次迭代时的聚合模型，Wi (t)表示第t次迭代时第i个客户端的本地模型。
进一步，加噪处理的步骤具体为：通过加噪公式对剪裁后的本地模型添加高斯噪声；加噪公式如下：其中，/>表示第t次迭代时第i个客户端经加噪处理后的本地模型，/>表示第t次迭代时第i个客户端剪裁后的本地模型，N(0,σD)为高斯噪声。
进一步，加密处理的步骤具体为：选择一个随机数r，满足0≤r<n,且其中n表示公钥的参数之一，/>表示Zn的中所有可逆元素的模n同余类所构成的群；以k个权重参数为一组，拼接获得拼接过后的参数m，拼接后的明文参数m：m＝mk|mk-1|…|m1；其中符号“|”表示将前部分与后部分进行拼接，m1表示第一个明文权重参数，mk表示第k个明文权重参数，mk-1表示第k-1个明文权重参数；根据加密公式获得密文模型；加密公式如下：其中，/>表示第t次迭代时第i个客户端经加噪处理后的本地模型，[]表示该模型经加密处理，g表示第一随机整数。
本发明的基本原理及有益效果：本方案通过对本地模型进行剪裁、加噪和加密处理，即使恶意服务器与客户端串通，获得的也是经过加噪后的本地模型，难以反推出客户端原本的本地模型，防止恶意服务器与客户端共谋造成其他客户端的隐私泄露的问题；本方案通过设定本地控制变量和服务器控制变量来控制本地模型的更新收敛方向，避免多个客户端向不同的方向进行收敛，缓解了客户端漂移的问题，服务器在进行聚合时能够能到一个普适的全局模型；且服务器控制变量根据迭代次数的变化而更新，使得本地模型逐渐向最优解靠近，提高了本地模型的收敛速度。
附图说明
图1是本发明一种基于电力数据的联邦学习模型训练方法的步骤示意图；
图2是本发明一种基于电力数据的联邦学习模型训练方法的整体框架示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如附图1所示，本发明提供了一种基于电力数据的联邦学习模型训练方法，包括以下步骤：
服务器设定初始模型和训练参数，训练参数包括服务器控制变量和总迭代次数；训练参数还包括参与训练的客户端集合；具体地，服务器控制变量根据参与训练的客户端的数量和各客户端的电力数据集的大小设定；将训练参数和初始模型发送至客户端；
客户端初始化初始模型，设定本地控制变量，基于本地控制变量、服务器控制变量和训练步骤对初始模型进行更新获得本地模型，对本地模型进行剪裁处理、加噪处理和加密处理获得密文模型；将密文模型和本地控制变量传输至服务器；
服务器根据密文模型获得聚合模型，判断当前迭代次数小于总迭代次数时，更新服务器控制变量，将聚合模型和更新后的服务器控制变量发送至客户端，将聚合模型作为本地模型在客户端开启新一轮的训练步骤；服务器判断当前迭代次数等于总迭代次数时，输出聚合模型。
通过联邦学习，使客户端的电力数据集不处于的情况下实现多方共同训练一个模型，有效地保护了各个客户端的数据隐私。
进一步，更新服务器控制变量的步骤具体为：使用第一更新公式对服务器控制变量进行更新；第一更新公式如下：
其中，i表示第i个客户端，N表示参加训练的客户端的数量和，表示第i个客户端的本地控制变量，c′表示更新后的服务器控制变量。即更新后的服务器控制变量为各客户端的本地控制变量的和。
具体地，根据密文模型获得聚合模型步骤具体为：根据聚合公式和密文模型获得聚合模型；聚合公式具体为：
其中，t表示第t次迭代，W(t+1)表示第t+1次迭代时的聚合模型，[]表示该模型经加密处理，i表示第i个客户端，N表示参加训练的客户端的数量和，pi表示第i个客户端的权重比，表示经过第t次迭代时第i个客户端的密文模型。在聚合模型中加入各客户端的权重比，根据客户端的权重比和本地模型生成聚合模型，使聚合模型与各客户端的贴合度达到平衡，提高聚合模型的实用性。
具体地，将密文模型和本地控制变量传输至服务器的步骤具体为：将本地电力数据集大小、密文模型和本地控制变量传输至服务器；本地电力数据集为客户端用于本地模型训练的电力数据集；客户端的权重比根据以下公式获得：
D＝|D1|+|D2|+…+|Di|
其中，D1为第1个客户端的电力数据集大小，D2为第2个客户端的电力数据集大小，Di为第i个客户端的电力数据集大小，D为参加训练的所有客户端的电力数据集大小总和。设定客户端的电力数据集大小与参加训练的所有客户端的电力数据集大小总和之比为客户端的权重比，客户端的电力数据集越大，则客户端的权重比越大，聚合模型与各客户端的平衡性更好。
如附图2所示，为了避免本地模型、电力数据集大小和本地控制变量在传输过程中发生隐私泄露的问题，对客户端向服务器传送的数据进行如下加密：通过可信机构生成公钥和私钥，将公钥和私钥发送至参加训练的客户端；客户端使用公钥对传送至服务器的本地模型、电力数据集大小和本地控制变量进行加密，增加客户端的数据安全性，有效保护客户端隐私。
具体地，公钥(n,g)和私钥(λ,μ)的生成步骤具体如下：
随机选择两个大素数p、q，满足gcd(pq,(p-1)(q-1))＝1，且满足p、q长度相等；
计算n和λ：
n＝p*q
λ＝lcm(p-1,q-1)
随机选择整数g，并计算μ：
μ＝(L(gλmodn2))-1modn
其中，私钥需要对服务器进行保密。在其他实施方式中，服务器传输至各服务器的初始模型和聚合模型也可以使用公钥进行加密。
进一步，训练步骤包括：将初始模型向前传播，并反向计算得到本地梯度；根据本地梯度、本地学习率、服务器控制变量和本地控制变量对初始模型进行更新获得本地模型，更新公式如下：
其中，Wi (t)表示第t次迭代时第i个客户端的本地模型，表示第t次迭代时第i个客户端的初始模型，ηl表示本地学习率，gi(Wi (t))表示第t次迭代时第i个客户端的本地梯度，ci表示第i个客户端的本地控制变量，c表示服务器控制变量；
对本地模型依次进行剪裁处理、加噪处理和加密处理，获得密文模型，更新本地控制变量。在本地模型的更新公式中添加一个修正项c-ci,同时通过本地控制变量和服务器控制变量来操控本地模型收敛的方向，使得模型向全局最优解靠近，还能有效地缓解了客户端漂移的问题，使得方案更具有实用性。
本实施例中，通过对本地模型进行剪裁和加噪处理，防止恶意服务器与客户端共谋获得私钥，从而破解其他客户端的明文参数，造成其他客户端的隐私泄露的问题。经过加噪处理后，即使恶意服务器与客户端串通，获得的也是经过加噪后的本地模型，难以反推出客户端原本的本地模型，提高本地模型的私密性。
进一步，剪裁处理的步骤具体为：使用自适应剪裁公式对本地模型进行剪裁，自适应剪裁公式如下：
其中，i表示第i个客户端，t表示第t次迭代，Wi (t)表示第t次迭代时第i个客户端本地模型，表示第t次迭代时第i个客户端剪裁后的本地模型。
具体地，更新本地控制变量的步骤具体为：从第二更新公式和第三更新公式中选择其一对本地控制变量进行更新；
第二更新公式如下：
其中，i表示第i个客户端，表示第i个客户端更新后的本地控制变量，gi表示第i个客户端本地梯度，t表示第t次迭代，W(t)表示第t次迭代时的聚合模型；
第三更新公式如下：
其中，ci表示第i个客户端本地控制变量，c表示服务器控制变量，k表示每组权重参数的数量，ηl表示本地学习率，W(t)表示第t次迭代时的聚合模型，Wi (t)表示第t次迭代时第i个客户端的本地模型。在实施过程中，可以根据本地模型的更新需求选择第二更新公式还是第三更新公式对本地控制变量进行更新；若希望更新的本地模型稳定性更好则选择第二更新公式，若希望更新训练的成本更低，则选择第三更新公式。
本实施例同时设定服务器控制变量和本地控制变量，考虑了不同客户端数据非独立同分布的情况，使本方案更具有实用性。
具体地，加噪处理的步骤具体为：通过加噪公式对剪裁后的本地模型添加高斯噪声；加噪公式如下：
其中，表示第t次迭代时第i个客户端经加噪处理后的本地模型，/>表示第t次迭代时第i个客户端剪裁后的本地模型，N(0,σD)为高斯噪声。具体地，训练参数还包括全局差分隐私的隐私预算，根据隐私预算构造高斯噪声，提高加噪后的本地模型的私密性，有效地防止恶意度武器与客户端共谋攻击。
进一步，加密处理的步骤具体为：选择一个随机数r，满足0≤r<n,且其中n表示公钥的参数之一，/>表示Zn的中所有可逆元素的模n同余类所构成的群，是一个常用的数字符号；以k个权重参数为一组，拼接获得拼接过后的参数m，拼接后的明文参数m：
m＝mk|mk-1|…|m1
其中符号“|”表示将前部分与后部分进行拼接，m1表示第一个明文权重参数，mk表示第k个明文权重参数，mk-1表示第k-1个明文权重参数；
根据加密公式获得密文模型；加密公式如下：
其中，表示第t次迭代时第i个客户端经加噪处理后的本地模型，[]表示该模型经加密处理，g表示第一随机整数。服务器收到加密后的本地模型，无法获取到客户端的数据信息，有效地保护客户端的隐私。通过差分隐私技术与加密技术的结合，防止恶意服务器与客户端串通逆推出其他客户端的数据。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于电力数据的联邦学习模型训练方法，其特征在于，包括以下步骤：
服务器设定初始模型和训练参数并发送至客户端，训练参数包括服务器控制变量和总迭代次数；
客户端设定本地控制变量，基于本地控制变量、服务器控制变量和训练步骤对初始模型进行更新获得本地模型，对本地模型进行剪裁处理、加噪处理和加密处理获得密文模型；将密文模型和本地控制变量传输至服务器；
服务器根据密文模型获得聚合模型，判断当前迭代次数小于总迭代次数时，更新服务器控制变量，将聚合模型和更新后的服务器控制变量发送至客户端，将聚合模型作为初始模型在客户端开启新一轮的训练步骤；服务器判断当前迭代次数等于总迭代次数时，输出聚合模型；
所述剪裁处理具体为：使用自适应剪裁公式对本地模型进行剪裁，自适应剪裁公式如下：
其中，I表示第I个客户端，t表示第t次迭代，表示第t次迭代时第i个客户端本地模型，/>表示第t次迭代时第i个客户端剪裁后的本地模型；
所述加噪处理具体为：通过加噪公式对剪裁后的本地模型添加高斯噪声；加噪公式如下：
其中，表示第t次迭代时第i个客户端经加噪处理后的本地模型，/>表示第t次迭代时第i个客户端剪裁后的本地模型，N(0,σD)为高斯噪声；
所述加密处理具体为：选择一个随机数r，满足0≤r<n,且r∈n表示公钥的参数之一，其中/>表示Zn的中所有可逆元素的模n同余类所构成的群；以k个权重参数为一组，拼接获得拼接过后的参数m，拼接后的明文参数m：
m＝mk|mk-1|..|m1
其中符号“|”表示将前部分与后部分进行拼接，m1表示第一个明文权重参数，mk表示第k个明文权重参数，mk-1表示第k-1个明文权重参数；
根据加密公式获得密文模型；加密公式如下：
其中，表示第t次迭代时第i个客户端经加噪处理后的本地模型，[]表示该模型经加密处理，g表示第一随机整数。
2.如权利要求1所述的一种基于电力数据的联邦学习模型训练方法，其特征在于，更新服务器控制变量的步骤具体为：使用第一更新公式对服务器控制变量进行更新，第一更新公式如下：
其中，i表示第i个客户端，N表示参加训练的客户端的数量和，表示第i个客户端的本地控制变量，c'表示更新后的服务器控制变量。
3.如权利要求1或2所述的一种基于电力数据的联邦学习模型训练方法，其特征在于，根据密文模型获得聚合模型步骤具体为：根据聚合公式和密文模型获得聚合模型；聚合公式具体为：
其中，t表示第t次迭代，W(t+1)表示第t+1次迭代时的聚合模型，[]表示该模型经加密处理，i表示第i个客户端，N表示参加训练的客户端的数量和，pi表示第i个客户端的权重比，表示经过第t次迭代时第i个客户端的密文模型。
4.如权利要求3所述的一种基于电力数据的联邦学习模型训练方法，其特征在于，将密文模型和本地控制变量传输至服务器的步骤具体为：将本地电力数据集大小、密文模型和本地控制变量传输至服务器；本地电力数据集为客户端用于本地模型训练的电力数据集；
客户端的权重比根据以下公式获得：
D＝|D1|+|D2|+...+|Di|
其中，D1为第1个客户端的电力数据集大小，D2为第2个客户端的电力数据集大小，Di为第i个客户端的电力数据集大小，D为参加训练的所有客户端的电力数据集大小总和。
5.如权利要求1、2或4所述的一种基于电力数据的联邦学习模型训练方法，其特征在于，通过可信机构生成公钥和私钥，将公钥和私钥发送至参加训练的客户端；客户端使用公钥对传送至服务器的本地模型、电力数据集大小和本地控制变量进行加密。
6.如权利要求1、2或4所述的一种基于电力数据的联邦学习模型训练方法，其特征在于，训练步骤包括：将初始模型向前传播，并反向计算得到本地梯度；根据本地梯度、本地学习率、服务器控制变量和本地控制变量对初始模型进行更新获得本地模型，更新公式如下：
其中，表示第t次迭代时第i个客户端的本地模型，/>表示第t次迭代时第i个客户端的初始模型，ηl表示本地学习率，/>表示第t次迭代时第i个客户端的本地梯度，ci表示第i个客户端的本地控制变量，c表示服务器控制变量；
对本地模型依次进行剪裁处理、加噪处理和加密处理，获得密文模型，更新本地控制变量。
7.如权利要求6所述的一种基于电力数据的联邦学习模型训练方法，其特征在于，更新本地控制变量的步骤具体为：从第二更新公式和第三更新公式中选择其一对本地控制变量进行更新；第二更新公式如下：
其中，i表示第i个客户端，表示第i个客户端更新后的本地控制变量，gi表示第i个客户端本地梯度，t表示第t次迭代，W(t)表示第t次迭代时的聚合模型；
第三更新公式如下：
其中，ci表示第i个客户端本地控制变量，c表示服务器控制变量，k表示每组权重参数的数量，ηl表示本地学习率，W(t)表示第t次迭代时的聚合模型，表示第t次迭代时第i个客户端的本地模型。
CN202211711600.XA 2022-12-29 2022-12-29 一种基于电力数据的联邦学习模型训练方法 Active CN116227621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211711600.XA CN116227621B (zh) 2022-12-29 2022-12-29 一种基于电力数据的联邦学习模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211711600.XA CN116227621B (zh) 2022-12-29 2022-12-29 一种基于电力数据的联邦学习模型训练方法

Publications (2)

Publication Number Publication Date
CN116227621A CN116227621A (zh) 2023-06-06
CN116227621B true CN116227621B (zh) 2023-10-24

Family

ID=86579599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211711600.XA Active CN116227621B (zh) 2022-12-29 2022-12-29 一种基于电力数据的联邦学习模型训练方法

Country Status (1)

Country Link
CN (1) CN116227621B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033947B (zh) * 2023-10-08 2023-12-22 国网四川省电力公司电力科学研究院 一种隐私保护的云边协同的频繁项目挖掘方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN114386621A (zh) * 2021-12-09 2022-04-22 河南大学 基于联邦学习的人类活动识别方法和系统
CN114398661A (zh) * 2021-11-29 2022-04-26 全球能源互联网研究院有限公司南京分公司 一种面向安全发布的聚合模型训练方法、训练设备及系统
CN114741611A (zh) * 2022-06-08 2022-07-12 杭州金智塔科技有限公司 联邦推荐模型训练方法以及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475350B2 (en) * 2018-01-22 2022-10-18 Google Llc Training user-level differentially private machine-learned models
US20220044162A1 (en) * 2020-08-06 2022-02-10 Fujitsu Limited Blockchain-based secure federated learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN114398661A (zh) * 2021-11-29 2022-04-26 全球能源互联网研究院有限公司南京分公司 一种面向安全发布的聚合模型训练方法、训练设备及系统
CN114386621A (zh) * 2021-12-09 2022-04-22 河南大学 基于联邦学习的人类活动识别方法和系统
CN114741611A (zh) * 2022-06-08 2022-07-12 杭州金智塔科技有限公司 联邦推荐模型训练方法以及系统

Also Published As

Publication number Publication date
CN116227621A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US8320559B1 (en) Identity-based-encryption system
DE69426416T2 (de) Bidirektionale authentisierung mit öffentlichem schlüssel und schlüsselübereinkunft für kostengünstige endstellen
CN101238677B (zh) 使用以非一次一密加密进行加密的签名密钥的加密认证和/或共享加密密钥的建立、包括(但不限于)对可延展攻击具有改进安全性的技术
Sen Homomorphic encryption-theory and application
Chow et al. Strongly-secure identity-based key agreement and anonymous extension
US20050169478A1 (en) Practical non-malleable public-key cryptosystem
WO2017041669A1 (en) Password based key exchange from ring learning with er-rors
US9660805B2 (en) Methods and devices for securing keys when key-management processes are subverted by an adversary
CN112468490B (zh) 一种用于电网终端层设备接入的认证方法
CN110113155A (zh) 一种高效无证书公钥加密方法
Gu et al. Conjugacy systems based on nonabelian factorization problems and their applications in cryptography
WO2015184991A1 (en) Improvements on cryptographic systems using pairing with errors
CN110545179A (zh) 基于r-lwe的ntru加密方法及其安全性证明方法
CN116227621B (zh) 一种基于电力数据的联邦学习模型训练方法
Jain et al. Implementation and analysis of homomorphic encryption schemes
Abouelkheir et al. Pairing free identity based aggregate signcryption scheme
Xie et al. One-round identity-based key exchange with perfect forward security
Boyd et al. One-round key exchange in the standard model
Ren et al. Provably secure aggregate signcryption scheme
Lu et al. Efficient Certificate-Based Encryption Scheme Secure Against Key Replacement Attacks in the Standard Model.
Shim Cryptanalysis of two identity-based authenticated key agreement protocols
US7035405B1 (en) Method for establishing a common key between a central station and a group of subscribers
Ahila et al. State of art in homomorphic encryption schemes
Akinwande Advances in Homomorphic Cryptosystems.
Pundir et al. Efficient diffie hellman two round secret key agreement protocol

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant