CN116776970B - 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 - Google Patents

一种联邦学习参数传输方法、聚合服务器及联邦学习系统 Download PDF

Info

Publication number
CN116776970B
CN116776970B CN202310756798.1A CN202310756798A CN116776970B CN 116776970 B CN116776970 B CN 116776970B CN 202310756798 A CN202310756798 A CN 202310756798A CN 116776970 B CN116776970 B CN 116776970B
Authority
CN
China
Prior art keywords
ciphertext
model parameters
private key
gradient
equipment node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310756798.1A
Other languages
English (en)
Other versions
CN116776970A (zh
Inventor
张金波
曾驭龙
范学鹏
汤载阳
王宸敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhi Technology Co ltd
Original Assignee
Beijing Yizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhi Technology Co ltd filed Critical Beijing Yizhi Technology Co ltd
Priority to CN202310756798.1A priority Critical patent/CN116776970B/zh
Publication of CN116776970A publication Critical patent/CN116776970A/zh
Application granted granted Critical
Publication of CN116776970B publication Critical patent/CN116776970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明实施例公开了一种联邦学习参数传输方法、聚合服务器及联邦学习系统,方法包括:对第一模型参数进行加密生成第三密文,将第三密文发送给所有的设备节点,以使设备节点对第三密文进行解密获得第一模型参数;接收设备节点发送的第四密文,对第四密文进行解密获得梯度信息,第四密文为设备节点对梯度信息加密生成,梯度信息为设备节点根据第一模型参数更新本地模型后进行新一轮训练结束后得到;对第二模型参数进行加密生成第五密文,将第五密文将第五密文发送给设备节点,以使设备节点对第五密文进行解密获得第二模型参数并根据第二模型参数进行新一轮训练,第二模型参数通过调用飞地将梯度信息作为输入执行预设聚合算法后得到。

Description

一种联邦学习参数传输方法、聚合服务器及联邦学习系统
技术领域
本发明涉及计算机软件技术领域,具体涉及一种联邦学习参数传输方法、聚合服务器及联邦学习系统。
背景技术
联邦学习(Federated Learning)是一种分布式机器学习技术,其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练,在不需要交换本地个体或样本数据的前提下,仅通过交换模型参数或中间结果的方式,构建基于虚拟融合数据下的全局模型,从而实现数据隐私保护和数据共享计算的平衡,即“数据可用不可见”、“数据不动模型动”的应用新范式。
联邦学习框架中有两个角色:参与训练的设备节点和进行聚合工作的聚合服务器。本发明描述的场景为:由多个设备节点与一个聚合服务器节点组成的共同训练统一模型的场景。具体而言,在联邦学习参数聚合过程中,参与训练的设备节点将本地训练的参数发送到聚合服务器,聚合服务器对收集到参数进行聚合并下发到各个参与训练的设备节点,设备节点接收到新的参数后更新本地参数并继续训练,直到模型收敛。在该过程中,训练参数对聚合服务器明文可见,会导致可以采用逆向工程的方式推导出原始数据,进而导致参与训练的本地节点设备的信息泄露。
可信执行环境(TEE),包括intel的SGX,AMD的SEV等,能保证程序在受保护的环境下运行,实现代码无法被窜改,中间变量无法被获取这两个基本目标。在本发明中,可信执行环境技术保证了保证数据提供方传入TEE的API结果无法被数据使用方获取。通常,运行在TEE中的一个程序称作一个飞地(enclave)。
发明内容
针对现有技术中的技术缺陷,本发明实施例的目的在于提供一种联邦学习参数传输方法、聚合服务器及联邦学习系统,该方法对参数信息加密后发送,只对可信执行环境和目标节点可见,避免了其他训练节点或学习方以外第三方通过抓包等方式获取原始梯度信息从而逆向窃取节点的数据信息,进一步提升联邦学习系统的安全性。
为实现上述目的,第一方面,本发明实施例提供了一种联邦学习参数传输方法,该方法应用于聚合服务器的可信执行环境中,在所述可信执行环境中具有执行预设聚合算法的飞地,所述方法包括:
对第一模型参数进行加密生成第三密文,将所述第三密文发送给所有的设备节点,以使所述设备节点对所述第三密文进行解密获得第一模型参数;
接收所述设备节点发送的第四密文,对所述第四密文进行解密获得梯度信息,所述第四密文为所述设备节点对所述梯度信息加密生成,所述梯度信息为所述设备节点根据所述第一模型参数更新本地模型后进行新一轮训练结束后得到;
对第二模型参数进行加密生成第五密文,将所述第五密文发送给所述设备节点,以使所述设备节点对所述第五密文进行解密获得第二模型参数并根据所述第二模型参数进行新一轮训练,所述第二模型参数通过调用所述飞地将所述梯度信息作为输入执行预设聚合算法后得到。
进一步,所述聚合服务器的可信执行环境中通过隐私计算中间件随机生成有典公私钥对和梯度公私钥对/>
所述设备节点具有通过隐私计算中间件随机生成有枢公私钥对
进一步,所述方法还包括:
接收所述设备节点发送的第一密文,通过所述典私钥对所述第一密文进行解密获得枢私钥/>其中,所述第一密文为所述设备节点通过典公钥/>对枢私钥/>加密生成;
通过枢公钥对梯度私钥/>加密生成第二密文,将所述第二密文发送给所述设备节点,以使所述设备节点通过枢私钥/>对所述第二密文进行解密获得梯度私钥/>
进一步,通过梯度公钥对第一模型参数加密生成第三密文;
所述设备节点通过梯度私钥对所述第三密文进行解密获得所述第一模型参数。
进一步,所述第四密文为所述设备节点通过枢公钥对所述梯度信息加密生成;
通过枢私钥对所述第四密文进行解密获得梯度信息。
进一步,通过梯度公钥对所述第二模型参数进行加密生成第五密文;
所述设备节点通过梯度私钥对所述第五密文进行解密获得所述第二模型参数。
第二方面,本发明实施例还提供了一种用于联邦学习的聚合服务器,所述聚合服务器具有执行如第一方面所述的方法的可信执行环境。
第三方面,本发明实施例还提供了一种联邦学习系统,包括聚合服务器和若干个设备节点,所述聚合服务器具有执行如第一方面所述的方法的可信执行环境。
实施本发明实施例提供的方法,聚合服务器通过可信执行环境(TEE)进行模型参数聚合,参与训练的设备节点也通过TEE发送训练过程中的训练参数给到聚合服务器,全过程中发送的数据都是通过公钥加密的,对外部节点不可见。此外,即使是对于聚合服务器,由于TEE的特殊设置,也保证了聚合服务器无法对聚合过程进行篡改,进一步保证了结果的可信。保证了联邦学习训练过程中参数不泄露。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种联邦学习参数传输方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S1、S2等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S2后执行S1等,但这些均应在本申请的保护范围之内。
本发明基于联邦学习系统框架,可将其抽象为一个聚合服务器负责聚合模型,多个设备节点基于本地数据训练本地参数,将参数发送给聚合服务器后,在聚合服务器进行参数聚合,聚合后的参数发送给各个设备节点,设备节点基于新的参数进行新的训练。本实施例中,不指定具体的模型训练方法和联邦学习算法,在该抽象框架下的任何联邦学习算法即适用本专利中的参数训练方法。
如图1所示,本发明实施例提供了一种联邦学习参数传输方法的流程示意图。该方法应用于聚合服务器的可信执行环境中,保证联邦学习训练过程中参数不泄露,在所述可信执行环境中具有执行预设聚合算法的飞地。
具体的,所述方法可以包括以下步骤:
步骤S110:对第一模型参数进行加密生成第三密文,将所述第三密文发送给所有的设备节点,以使所述设备节点对所述第三密文进行解密获得第一模型参数。
具体的,所述聚合服务器的可信执行环境中通过隐私计算中间件随机生成有典公私钥对和梯度公私钥对/>所述设备节点具有通过隐私计算中间件随机生成有枢公私钥对/>
为保证梯度私钥和枢私钥/>在设备节点和聚合服务器之间转发的过程中不发生泄密,所述方法还包括:
步骤S210:接收所述设备节点发送的第一密文,通过所述典私钥对所述第一密文进行解密获得枢私钥/>其中,所述第一密文为所述设备节点通过典公钥/>对枢私钥加密生成。
步骤S220:通过枢公钥对梯度私钥/>加密生成第二密文,将所述第二密文发送给所述设备节点,以使所述设备节点通过枢私钥/>对所述第二密文进行解密获得梯度私钥/>
在初始阶段,系统会进行模型的初始化配置,并根据网络的设置创建设备节点与聚合服务器的通信工作。创建完成后,聚合服务器通过执行上述步骤S210-步骤S220,将上述准备过程中的梯度私钥加密结果发送给相应的设备节点,设备节点利用本地的枢私钥解密即可获取梯度私钥。该阶段结束时,设备节点和聚合服务器均已获取后续解密所需的相关密钥,保证了数据不被第三方窃取。
然后,在聚合服务器的可信执行环境中通过梯度公钥对第一模型参数加密生成第三密文。所述设备节点通过梯度私钥/>对所述第三密文进行解密获得所述第一模型参数。
步骤S120:接收所述设备节点发送的第四密文,对所述第四密文进行解密获得梯度信息,所述第四密文为所述设备节点对所述梯度信息加密生成,所述梯度信息为所述设备节点根据所述第一模型参数更新本地模型后进行新一轮训练结束后得到。
具体的,所述第四密文为所述设备节点通过枢公钥对所述梯度信息加密生成。在聚合服务器的可信执行环境中通过枢私钥/>对所述第四密文进行解密获得梯度信息。
步骤S130:对第二模型参数进行加密生成第五密文,将所述第五密文发送给所述设备节点,以使所述设备节点对所述第五密文进行解密获得第二模型参数并根据所述第二模型参数进行新一轮训练,所述第二模型参数通过调用所述飞地将所述梯度信息作为输入执行预设聚合算法后得到。
具体的,在聚合服务器的可信执行环境中通过梯度公钥对所述第二模型参数进行加密生成第五密文。所述设备节点通过梯度私钥/>对所述第五密文进行解密获得所述第二模型参数。
可以理解的是,每个设备节点均会给聚合服务器的可信执行环境发送各自对应的梯度信息,在可信执行环境中调用所述飞地将所有的梯度信息作为输入执行预设聚合算法后得到第二模型参数。
在实际训练过程中,可在主流程接口中自定义训练结束的标准,如训练达到一定轮数,或模型准确率达到一定值。
综上所述,本方法考虑了对于联邦学习框架下训练参数加密传输的场景,通过使用本系统,TEE的性质保证了参数传输过程中的隐私性,杜绝了外部节点通过网络嗅探或其他方式获取节点训练参数后进行逆向工程的可能,保证了参与训练的设备节点的隐私。同时,即使对于聚合服务器,由于TEE的性质,保证了聚合服务器无法篡改聚合过程和结果,进一步保证了模型训练的可信度和准确度。
基于相同的发明构思,第二方面,本发明实施例还提供了一种用于联邦学习的聚合服务器,所述聚合服务器具有执行如联邦学习参数传输方法的可信执行环境。
基于相同的发明构思,第三方面,本发明实施例还提供了一种联邦学习系统,包括聚合服务器和若干个设备节点,所述聚合服务器具有执行如联邦学习参数传输方法的可信执行环境。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种联邦学习参数传输方法,其特征在于,该方法应用于聚合服务器的可信执行环境中,在所述可信执行环境中具有执行预设聚合算法的飞地,所述方法包括:
对第一模型参数进行加密生成第三密文,将所述第三密文发送给所有的设备节点,以使所述设备节点对所述第三密文进行解密获得第一模型参数;
接收所述设备节点发送的第四密文,对所述第四密文进行解密获得梯度信息,所述第四密文为所述设备节点对所述梯度信息加密生成,所述梯度信息为所述设备节点根据所述第一模型参数更新本地模型后进行新一轮训练结束后得到;
对第二模型参数进行加密生成第五密文,将所述第五密文发送给所述设备节点,以使所述设备节点对所述第五密文进行解密获得第二模型参数并根据所述第二模型参数进行新一轮训练,所述第二模型参数通过调用所述飞地将所述梯度信息作为输入执行预设聚合算法后得到;
所述聚合服务器的可信执行环境中通过隐私计算中间件随机生成有典公私钥对和梯度公私钥对/>
所述设备节点具有通过隐私计算中间件随机生成有枢公私钥对
通过梯度公钥对第一模型参数加密生成第三密文;
所述设备节点通过梯度私钥对所述第三密文进行解密获得所述第一模型参数;
所述第四密文为所述设备节点通过枢公钥对所述梯度信息加密生成;
通过枢私钥对所述第四密文进行解密获得梯度信息。
2.如权利要求1所述的一种联邦学习参数传输方法,其特征在于,所述方法还包括:
接收所述设备节点发送的第一密文,通过所述典私钥对所述第一密文进行解密获得枢私钥/>其中,所述第一密文为所述设备节点通过典公钥/>对枢私钥/>加密生成;
通过枢公钥对梯度私钥/>加密生成第二密文,将所述第二密文发送给所述设备节点,以使所述设备节点通过枢私钥/>对所述第二密文进行解密获得梯度私钥/>
3.如权利要求2所述的一种联邦学习参数传输方法,其特征在于,通过梯度公钥对所述第二模型参数进行加密生成第五密文;
所述设备节点通过梯度私钥对所述第五密文进行解密获得所述第二模型参数。
4.一种用于联邦学习的聚合服务器,其特征在于,所述聚合服务器具有执行如权利要求1-3任一项所述的方法的可信执行环境。
5.一种联邦学习系统,包括聚合服务器和若干个设备节点,其特征在于,所述聚合服务器具有执行如权利要求1-3任一项所述的方法的可信执行环境。
CN202310756798.1A 2023-06-26 2023-06-26 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 Active CN116776970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310756798.1A CN116776970B (zh) 2023-06-26 2023-06-26 一种联邦学习参数传输方法、聚合服务器及联邦学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310756798.1A CN116776970B (zh) 2023-06-26 2023-06-26 一种联邦学习参数传输方法、聚合服务器及联邦学习系统

Publications (2)

Publication Number Publication Date
CN116776970A CN116776970A (zh) 2023-09-19
CN116776970B true CN116776970B (zh) 2024-04-19

Family

ID=88011195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310756798.1A Active CN116776970B (zh) 2023-06-26 2023-06-26 一种联邦学习参数传输方法、聚合服务器及联邦学习系统

Country Status (1)

Country Link
CN (1) CN116776970B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117749489A (zh) * 2023-12-20 2024-03-22 北京熠智科技有限公司 一种分布式系统的网络传输隐私保护方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995737A (zh) * 2019-12-13 2020-04-10 支付宝(杭州)信息技术有限公司 联邦学习的梯度融合方法及装置和电子设备
CN111027086A (zh) * 2019-12-16 2020-04-17 支付宝(杭州)信息技术有限公司 一种私有数据保护方法和系统
CN112580821A (zh) * 2020-12-10 2021-03-30 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN115983409A (zh) * 2022-11-11 2023-04-18 北京大学 基于差分隐私的联邦学习训练方法、装置、系统及设备
CN116050537A (zh) * 2022-12-26 2023-05-02 支付宝(杭州)信息技术有限公司 联邦学习方法、装置、可读存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995737A (zh) * 2019-12-13 2020-04-10 支付宝(杭州)信息技术有限公司 联邦学习的梯度融合方法及装置和电子设备
CN111027086A (zh) * 2019-12-16 2020-04-17 支付宝(杭州)信息技术有限公司 一种私有数据保护方法和系统
CN112580821A (zh) * 2020-12-10 2021-03-30 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN115983409A (zh) * 2022-11-11 2023-04-18 北京大学 基于差分隐私的联邦学习训练方法、装置、系统及设备
CN116050537A (zh) * 2022-12-26 2023-05-02 支付宝(杭州)信息技术有限公司 联邦学习方法、装置、可读存储介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Cross-Platform and Trusted Energy Data Sharing System;Chen Shuo et al;《2022 IEEE 5th International Conference on Information Systems and Computer Aided Education》;20220925;全文 *
Poster: FLATEE: Federated Learning Across Trusted Execution Environments;Arup Mondal et al;《2021 IEEE European Symposium on Security and Privacy》;20211104;全文 *
基于可信执行环境的联邦学习模型安全聚合技术研究;姜建林;《中国优秀硕士学位论文全文数据库 信息科技辑》;20211215;全文 *

Also Published As

Publication number Publication date
CN116776970A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN109981641B (zh) 一种基于区块链技术的安全发布订阅系统及发布订阅方法
TWI701929B (zh) 密碼運算、創建工作密鑰的方法、密碼服務平台及設備
CN113127916B (zh) 数据集合处理方法、数据处理方法、装置及存储介质
CN113609508A (zh) 一种基于区块链的联邦学习方法、装置、设备及存储介质
CN116776970B (zh) 一种联邦学习参数传输方法、聚合服务器及联邦学习系统
KR101615137B1 (ko) 속성 기반의 데이터 접근 방법
CN110474908A (zh) 交易监管方法与装置、存储介质及计算机设备
CN108270739A (zh) 一种管理加密信息的方法及装置
CN106161472A (zh) 一种数据加密的方法、装置及系统
CN115396115B (zh) 区块链数据隐私保护方法、装置、设备及可读存储介质
CN106657002A (zh) 一种新型防撞库关联时间多密码的身份认证方法
CN114223175A (zh) 在防止获取或操控时间数据的同时生成网络数据的序列
CN113079140A (zh) 一种基于区块链的协作频谱感知位置隐私保护方法
CN116527279A (zh) 工控网络中安全数据聚合的可验证联邦学习装置及方法
TWI556618B (zh) Network Group Authentication System and Method
Hahn et al. Efficient IoT management with resilience to unauthorized access to cloud storage
CN116011014A (zh) 一种隐私计算方法和隐私计算系统
Guo et al. A multifactor combined data sharing scheme for vehicular fog computing using blockchain
CN116502732B (zh) 基于可信执行环境的联邦学习方法以及系统
CN110139163B (zh) 一种获取弹幕的方法和相关装置
CN102523239B (zh) 一种物联网资源信息安全共享方法
CN106059767A (zh) 基于互联网的终端隐私数据保护系统及方法
CN113901500B (zh) 图拓扑嵌入方法、装置、系统、设备及介质
Mengjun et al. Privacy-preserving distributed location proof generating system
CN114513316B (zh) 一种基于身份的匿名认证方法、服务器及用户终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant