CN113779615A - 一种安全的去中心化的图联邦学习方法 - Google Patents

一种安全的去中心化的图联邦学习方法 Download PDF

Info

Publication number
CN113779615A
CN113779615A CN202111344472.5A CN202111344472A CN113779615A CN 113779615 A CN113779615 A CN 113779615A CN 202111344472 A CN202111344472 A CN 202111344472A CN 113779615 A CN113779615 A CN 113779615A
Authority
CN
China
Prior art keywords
client
neural network
network model
neighbor
graph neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111344472.5A
Other languages
English (en)
Other versions
CN113779615B (zh
Inventor
裴阳
刘洋
毛仁歆
徐时峰
朱振超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanxiang Zhilian Hangzhou Technology Co ltd
Original Assignee
Lanxiang Zhilian Hangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanxiang Zhilian Hangzhou Technology Co ltd filed Critical Lanxiang Zhilian Hangzhou Technology Co ltd
Priority to CN202111344472.5A priority Critical patent/CN113779615B/zh
Publication of CN113779615A publication Critical patent/CN113779615A/zh
Application granted granted Critical
Publication of CN113779615B publication Critical patent/CN113779615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种安全的去中心化的图联邦学习方法。它包括以下步骤：S1：将所有客户端依次编号，初始化图神经网络模型参数以及环形通信拓扑图发送到所有客户端；S2：每个客户端根据环形通信拓扑图确定一级邻居客户端、二级邻居客户端，并与其对应的每个二级邻居客户端进行密钥协商生成对应的共享密钥；S3：每个客户端对本地的图神经网络模型进行训练，更新本地的图神经网络模型参数；S4：每个客户端接收一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新；S5：重复执行步骤S3‑步骤S4，直到图神经网络模型收敛。本发明能够保护各个客户端的数据隐私和安全，减轻通信瓶颈，减少通信时间。

Description

一种安全的去中心化的图联邦学习方法
技术领域
本发明涉及图联邦学习技术领域，尤其涉及一种安全的去中心化的图联邦学习方法。
背景技术
在过去的几年中，神经网络的兴起与应用成功推动了模式识别和数据挖掘的研究。传统的深度学习方法在提取欧氏空间数据特征方面取得了巨大的成功，但实际场景中的数据很多都是从非欧式空间生成的数据，深度学习方法在此类数据上的表现难以令人满意，如图网络中每个节点的邻居节点的个数是不固定的，导致一些重要操作（例如卷积）在图像上很容易计算，但不再适合直接用于图。并且深度学习基于训练数据满足独立同分布的假设之上，样本之间不存在相互依赖关系，而图结构数据最大的特点便是不同节点之间存在许多相互依赖联系，这就导致了深度学习无法挖掘图数据的内在联系。针对于此类数据，图神经网络技术应运而生。此外，在数据日益增加，数据联系日益紧密的今天，由于用户隐私和法律法规等问题，许多数据之间不能互通，产生了许多“数据孤岛”。联邦学习（Federated Learning）这一概念由Google在2017年提出，旨在于解决跨设备之间的联合建模问题，该方案为上述问题提供了一种可行的解法。
目前的图联邦学习方案大多是基于Google提出的FedAvg算法上实现，系统结构由一个中心服务器和若干个客户端组成，中心服务器提供全局共享的模型，各客户端下载模型并在本地数据集上训练，更新本地模型参数，然后将更新后的模型参数发送给中心服务器聚合，中心服务器聚合后得到本次迭代的模型更新值，进行全局模型参数更新；以此循环。上述方案在全局模型聚合阶段客户端并未对发送到中心服务器的本地模型参数进行保护，以防止可能存在的信息泄漏；其次，负责聚合模型信息的中心服务器端要求是可信的中立的第三方机构，对于机构之间建模，这种可信的中立的第三方是很难保证的；最后，这种中心化的架构对中心服务器端的IO能力提出了很高的要求，所有客户端都必须等待全部客户端将模型参数上传中心服务器成功，然后中心服务器将更新后的全局模型参数分发至客户端，客户端才能进行下一次循环，这无疑是十分消耗时间的。
发明内容
本发明为了解决上述技术问题，提供了一种安全的去中心化的图联邦学习方法，其采用了去中心化的环形拓扑结构，移除了收集客户端模型信息的中心服务器节点，模型参数的通信进行了加密，保护了各个客户端的数据隐私和安全，减轻了通信瓶颈，减少了通信时间。
为了解决上述问题，本发明采用以下技术方案予以实现：
本发明的一种安全的去中心化的图联邦学习方法，包括以下步骤：
S1：将参与图联邦学习的所有n个客户端依次编号为1、2、3……n，其中一个客户端作为训练发起方初始化图神经网络模型参数以及环形通信拓扑图，并将其发送到其他客户端；
S2：每个客户端根据环形通信拓扑图确定能与自身通信的一级邻居客户端以及能与一级邻居客户端通信的二级邻居客户端，每个客户端与其对应的每个二级邻居客户端进行密钥协商生成对应的共享密钥；
S3：每个客户端对本地的图神经网络模型进行训练，更新本地的图神经网络模型参数；
S4：每个客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到一级邻居客户端，同时接收一级邻居客户端发送的图神经网络模型参数，根据一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新；
S5：重复执行步骤S3-步骤S4，直到所有客户端本地的图神经网络模型收敛。
在本方案中，参与图联邦学习的所有n个客户端根据环形通信拓扑图组成环形拓扑结构，n≥3，每个客户端都有两个一级邻居客户端，每个一级邻居客户端都对应有一个能够与自身通信的二级邻居客户端，即每个客户端都有两个二级邻居客户端。每个客户端都与它的每个二级邻居客户端进行密钥协商生成对应的共享密钥，即每个客户端会生成两个共享密钥，分别与两个二级邻居客户端对应。每个客户端要将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到两个一级邻居客户端，同时接收这两个一级邻居客户端发送的图神经网络模型参数，根据这两个一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新。所有n个客户端组成环形拓扑结构，每个客户端每次迭代后都可以学习到邻居客户端的图神经网络模型参数，假设离客户端g最远的客户端需要经过D个邻居客户端到达，那么经过D+1次迭代，客户端g就能学习到所有客户端的图神经网络模型参数。
本方案中每个客户端通过去中心化的安全聚合协议对模型参数的发送进行加密，移除了收集客户端模型信息的中心服务器节点，保护了客户端的数据隐私和安全，每个客户端都根据两个一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新，由于所有客户端组成环形拓扑结构，所以本方案的通信负载均衡，其他图联邦学习方案中是一个服务器对多个客户端通信，通信时服务器端通信IO压力很大，本方案中将通信平均到每个客户端，减轻了通信瓶颈，减少了通信时间。
作为优选，所述步骤S1中的环形通信拓扑图为矩阵A，
Figure 986435DEST_PATH_IMAGE001
，
Figure 224650DEST_PATH_IMAGE002
，
Figure 493695DEST_PATH_IMAGE003
，
Figure 854269DEST_PATH_IMAGE004
，1≤i≤n，1≤j≤n，
当i=j时，Aij≠0，
其中，Aij表示编号为i的客户端与编号为j的客户端之间的权重系数，如果Aij≠0表示编号为i的客户端与编号为j的客户端能够通信，如果Aij=0表示编号为i的客户端与编号为j的客户端不能够通信。
矩阵A是一个对称的矩阵。Aii表示编号为i的客户端自身的权重系数。
Figure 444650DEST_PATH_IMAGE003
表示矩阵A的每一行的和为1。
作为优选，所述步骤S2中某个编号为u的客户端与其对应的一个编号为v的二级邻居客户端进行密钥协商生成对应的共享密钥的方法包括以下步骤，1≤u≤n，1≤v≤n：
N1：编号为u的客户端与编号为v的二级邻居客户端根据预设的安全参数k，并使用KA.param算法生成Diffle-Hellman协议的公共参数pp，
Figure 486556DEST_PATH_IMAGE005
；
N2：编号为u的客户端使用KA.gen算法和公共参数pp生成公钥私钥对
Figure 111572DEST_PATH_IMAGE006
，
Figure 377468DEST_PATH_IMAGE007
，将公钥
Figure 720725DEST_PATH_IMAGE008
发送给编号为v的二级邻居客户端，
编号为v的二级邻居客户端使用KA.gen算法和公共参数pp生成公钥私钥对
Figure 799277DEST_PATH_IMAGE009
，
Figure 278800DEST_PATH_IMAGE010
，将公钥
Figure 715598DEST_PATH_IMAGE011
发送给编号为u的客户端；
N3：编号为u的客户端根据KA.agree算法、私钥
Figure 280571DEST_PATH_IMAGE012
、公钥
Figure 726596DEST_PATH_IMAGE013
计算出共享密钥suv，
Figure 60625DEST_PATH_IMAGE014
，编号为v的二级邻居客户端根据KA.agree算法、私钥
Figure 370122DEST_PATH_IMAGE015
、 公钥
Figure 422391DEST_PATH_IMAGE008
计算出共享密钥svu，
Figure 406528DEST_PATH_IMAGE016
，由于公钥私钥对
Figure 860643DEST_PATH_IMAGE017
与公钥私钥对
Figure 842506DEST_PATH_IMAGE009
都由同一个公共参数pp生成，所以suv=svu。
作为优选，所述步骤S4中客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到某个一级邻居客户端的方法包括以下步骤：
客户端找出能与该一级邻居客户端通信的二级邻居客户端，并找出与该二级邻居客户端进行密钥协商生成的共享密钥，根据该共享密钥生成对应的加密噪声向量，将本地的图神经网络模型参数乘以该客户端与该一级邻居客户端之间的权重系数后再加上该加密噪声向量生成加密图神经网络模型参数，将该加密图神经网络模型参数发送到该一级邻居客户端。
作为优选，某个编号为u的客户端根据与编号为v的二级邻居客户端协商生成的共享密钥生成对应的加密噪声向量的方法包括以下步骤，1≤u≤n，1≤v≤n：
编号为u的客户端将共享密钥suv输入伪随机数生成器PRG，生成加密噪声向量puv，
Figure 382071DEST_PATH_IMAGE018
，其中，当u＞v时，
Figure 904320DEST_PATH_IMAGE019
，当u＜v时，
Figure 807134DEST_PATH_IMAGE020
，即puv+pvu=0。
某个编号为u的客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到编号为w的一级邻居客户端的方法包括以下步骤，1≤w≤n：
编号为u的客户端找出能与编号为w的一级邻居客户端通信的编号为f的二级邻居 客户端，1≤f≤n，找出与编号为f的二级邻居客户端进行密钥协商生成的加密噪声向量puf， 编号为u的客户端将本地的图神经网络模型参数xu乘以权重系数Auw，再加上该加密噪声向 量puf生成加密图神经网络模型参数
Figure 756635DEST_PATH_IMAGE021
，
Figure 783497DEST_PATH_IMAGE022
，并将其发送给编号为w 的一级邻居客户端。
作为优选，所述步骤S4中客户端接收一级邻居客户端发送的图神经网络模型参数，根据一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新的方法包括以下步骤：
客户端接收每个一级邻居客户端发送的加密图神经网络模型参数，将本地的图神经网络模型参数乘以自身的权重系数后再与所有接收到的加密图神经网络模型参数相加求和，得到新的图神经网络模型参数，并使用该新的图神经网络模型参数对本地的图神经网络模型进行更新。
某个编号为u的客户端接收编号为w的一级邻居客户端、编号为z的一级邻居客户端发送的图神经网络模型参数，根据编号为w的一级邻居客户端、编号为z的一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新的方法包括以下步骤，1≤z≤n：
编号为u的客户端接收到编号为w的一级邻居客户端发送的加密图神经网络模型 参数
Figure 47119DEST_PATH_IMAGE023
，接收到编号为z的一级邻居客户端发送的加密图神经网络模型 参数
Figure 210247DEST_PATH_IMAGE024
，编号为u的客户端计算出新的图神经网络模型参数
Figure 861808DEST_PATH_IMAGE025
，由于pwz+pzw=0，所以
Figure 110387DEST_PATH_IMAGE026
。
这里编号为u的客户端分别能够与编号为w的客户端、编号为z的客户端通信，所以 编号为u的客户端也是编号为w的客户端的一级邻居客户端，编号为z的客户端是能够与编 号为u的一级邻居客户端通信的二级邻居客户端，所以编号为w的一级邻居客户端发送给编 号为u的客户端的加密图神经网络模型参数为
Figure 472973DEST_PATH_IMAGE027
，同理对于编号为z的 客户端来说，编号为w的客户端是能够与编号为u的一级邻居客户端通信的二级邻居客户 端。
本发明的有益效果是：（1）采用了去中心化的环形拓扑结构，移除了收集客户端模型信息的中心服务器节点，模型参数的通信进行了加密，保护了各个客户端的数据隐私和安全。（2）将通信平均到每个客户端，减轻了通信瓶颈，减少了通信时间。
附图说明
图1是实施例的流程图；
图2是一种环形拓扑结构的结构示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种安全的去中心化的图联邦学习方法，如图1所示，包括以下步骤：
S1：将参与图联邦学习的所有n个客户端依次编号为1、2、3……n，其中一个客户端作为训练发起方初始化图神经网络模型参数以及环形通信拓扑图，并将其发送到其他客户端；
环形通信拓扑图为矩阵A，
Figure 959449DEST_PATH_IMAGE028
，
Figure 250753DEST_PATH_IMAGE002
，
Figure 986628DEST_PATH_IMAGE003
，
Figure 654370DEST_PATH_IMAGE004
，1≤i≤n，1≤j≤n，
当i=j时，Aij≠0，
其中，Aij表示编号为i的客户端与编号为j的客户端之间的权重系数，如果Aij≠0 表示编号为i的客户端与编号为j的客户端能够通信，如果Aij=0表示编号为i的客户端与编 号为j的客户端不能够通信，矩阵A是一个对称的矩阵，Aii表示编号为i的客户端自身的权重 系数，
Figure 57669DEST_PATH_IMAGE003
表示矩阵A的每一行的和为1；
S2：每个客户端根据环形通信拓扑图确定能与自身通信的一级邻居客户端以及能与一级邻居客户端通信的二级邻居客户端，每个客户端与其对应的每个二级邻居客户端进行密钥协商生成对应的共享密钥；
某个编号为u的客户端与其对应的一个编号为v的二级邻居客户端进行密钥协商生成对应的共享密钥的方法包括以下步骤，1≤u≤n，1≤v≤n：
N1：编号为u的客户端与编号为v的二级邻居客户端根据预设的安全参数k（安全参数k是所有客户端都共同持有，并且保持一致），并使用KA.param算法生成Diffle-Hellman协议的公共参数pp，
Figure 519875DEST_PATH_IMAGE005
；
N2：编号为u的客户端使用KA.gen算法和公共参数pp生成公钥私钥对
Figure 241581DEST_PATH_IMAGE029
，
Figure 650697DEST_PATH_IMAGE007
，将公钥
Figure 642923DEST_PATH_IMAGE008
发送给编号为v的二级邻居客户端，
编号为v的二级邻居客户端使用KA.gen算法和公共参数pp生成公钥私钥对
Figure 541609DEST_PATH_IMAGE009
，
Figure 252076DEST_PATH_IMAGE010
，将公钥
Figure 261621DEST_PATH_IMAGE030
发送给编号为u的客户端；
N3：编号为u的客户端根据KA.agree算法、私钥
Figure 373933DEST_PATH_IMAGE031
、公钥
Figure 676476DEST_PATH_IMAGE013
计算出共享密钥suv，
Figure 874239DEST_PATH_IMAGE032
，编号为v的二级邻居客户端根据KA.agree算法、私钥
Figure 625158DEST_PATH_IMAGE015
、 公钥
Figure 591977DEST_PATH_IMAGE008
计算出共享密钥svu，
Figure 832465DEST_PATH_IMAGE016
，由于公钥私钥对
Figure 251945DEST_PATH_IMAGE017
与公钥私钥对
Figure 868871DEST_PATH_IMAGE009
都由同一个公共参数pp生成，所以suv=svu；
S3：每个客户端对本地的图神经网络模型进行训练，更新本地的图神经网络模型参数；
S4：每个客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到一级邻居客户端，同时接收一级邻居客户端发送的图神经网络模型参数，根据一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新；
客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到某个一级邻居客户端的方法包括以下步骤：
客户端找出能与该一级邻居客户端通信的二级邻居客户端，并找出与该二级邻居客户端进行密钥协商生成的共享密钥，根据该共享密钥生成对应的加密噪声向量，将本地的图神经网络模型参数乘以该客户端与该一级邻居客户端之间的权重系数后再加上该加密噪声向量生成加密图神经网络模型参数，将该加密图神经网络模型参数发送到该一级邻居客户端；
某个编号为u的客户端根据与编号为v的二级邻居客户端协商生成的共享密钥生成对应的加密噪声向量的方法包括以下步骤，1≤u≤n，1≤v≤n：
编号为u的客户端将共享密钥suv输入伪随机数生成器PRG，生成加密噪声向量puv，
Figure 397854DEST_PATH_IMAGE018
，其中，当u＞v时，
Figure 74823DEST_PATH_IMAGE019
，当u＜v时，
Figure 981599DEST_PATH_IMAGE020
，由于suv=svu，
Figure 74320DEST_PATH_IMAGE033
，所以puv+pvu=0；
客户端接收一级邻居客户端发送的图神经网络模型参数，根据一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新的方法包括以下步骤：
客户端接收每个一级邻居客户端发送的加密图神经网络模型参数，将本地的图神经网络模型参数乘以自身的权重系数后再与所有接收到的加密图神经网络模型参数相加求和，得到新的图神经网络模型参数，并使用该新的图神经网络模型参数对本地的图神经网络模型进行更新；
S5：重复执行步骤S3-步骤S4，直到作为训练发起方的客户端发现本地的图神经网络模型收敛，之后作为训练发起方的客户端发送停止信息给其他客户端。
在本方案中，整个全局图为G=(V,E)，参与图联邦学习的每个客户端都持有全局图 的部分子图，编号为i的客户端拥有的子图为
Figure 15731DEST_PATH_IMAGE034
，每个客户端在本地子图上进 行图神经网络模型训练，并更新本地图神经网络模型参数。
参与图联邦学习的所有n个客户端根据环形通信拓扑图组成环形拓扑结构，n≥3，每个客户端都有两个一级邻居客户端，每个一级邻居客户端都对应有一个能够与自身通信的二级邻居客户端，即每个客户端都有两个二级邻居客户端。每个客户端都与它的每个二级邻居客户端进行密钥协商生成对应的共享密钥，即每个客户端会生成两个共享密钥，分别与两个二级邻居客户端对应。每个客户端要将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到两个一级邻居客户端，同时接收这两个一级邻居客户端发送的图神经网络模型参数，根据这两个一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新。重复执行上述步骤直到作为训练发起方的客户端发现本地的图神经网络模型收敛，作为训练发起方的客户端发现本地的图神经网络模型收敛后发送停止信息给其他客户端，参与图联邦学习的所有n个客户端停止图联邦学习。
所有n个客户端组成环形拓扑结构，每个客户端每次迭代后都可以学习到邻居客户端的图神经网络模型参数，假设离客户端g最远的客户端需要经过D个邻居客户端到达，那么经过D+1次迭代，客户端g就能学习到所有客户端的图神经网络模型参数。由于所有n个客户端组成环形拓扑结构，每个客户端离最远的客户端的距离是一样的，所以当作为训练发起方的客户端发现本地的图神经网络模型收敛时，所有客户端本地的图神经网络模型都已经收敛。
某个编号为u的客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到编号为w的一级邻居客户端的方法包括以下步骤，1≤w≤n：
编号为u的客户端找出能与编号为w的一级邻居客户端通信的编号为f的二级邻居 客户端，1≤f≤n，找出与编号为f的二级邻居客户端进行密钥协商生成的加密噪声向量puf， 编号为u的客户端将本地的图神经网络模型参数xu乘以权重系数Auw，再加上该加密噪声向 量puf生成加密图神经网络模型参数
Figure 863601DEST_PATH_IMAGE021
，
Figure 756208DEST_PATH_IMAGE022
，并将其发送给编号为w 的一级邻居客户端。
某个编号为u的客户端接收编号为w的一级邻居客户端、编号为z的一级邻居客户端发送的图神经网络模型参数，根据编号为w的一级邻居客户端、编号为z的一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新的方法包括以下步骤，1≤z≤n：
编号为u的客户端接收到编号为w的一级邻居客户端发送的加密图神经网络模型 参数
Figure 449358DEST_PATH_IMAGE027
，接收到编号为z的一级邻居客户端发送的加密图神经网络模型 参数
Figure 182959DEST_PATH_IMAGE035
，编号为u的客户端计算出新的图神经网络模型参数
Figure 936151DEST_PATH_IMAGE036
，由于pwz+pzw=0，所以
Figure 817519DEST_PATH_IMAGE037
。由于
Figure 314360DEST_PATH_IMAGE003
，
Figure 230363DEST_PATH_IMAGE038
，所以
Figure 387413DEST_PATH_IMAGE039
。
这里编号为u的客户端分别能够与编号为w的客户端、编号为z的客户端通信，所以 对于编号为w的客户端来说：编号为u的客户端也是编号为w的客户端的一级邻居客户端，编 号为z的客户端是能够与编号为u的一级邻居客户端通信的二级邻居客户端，所以编号为w 的一级邻居客户端发送给编号为u的客户端的加密图神经网络模型参数为
Figure 756077DEST_PATH_IMAGE040
；同理对于编号为z的客户端来说：编号为w的客户端是能够与编号为 u的一级邻居客户端通信的二级邻居客户端。
本方案中每个客户端通过去中心化的安全聚合协议对模型参数的发送进行加密，移除了收集客户端模型信息的中心服务器节点，保护了客户端的数据隐私和安全，每个客户端都根据两个一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新，由于所有客户端组成环形拓扑结构，所以本方案的通信负载均衡，其他图联邦学习方案中是一个服务器对多个客户端通信，通信时服务器端通信IO压力很大，本方案中将通信平均到每个客户端，减轻了通信瓶颈，减少了通信时间。
例如：如图2所示，参与图联邦学习的客户端有4个，依次编号为1、2、3、4，环形通信拓扑图为矩阵A，
Figure 791029DEST_PATH_IMAGE041
，
客户端1的一级邻居客户端是客户端2、客户端4，客户端3是能与一级邻居客户端2通信的二级邻居客户端，客户端3也是能与一级邻居客户端4通信的二级邻居客户端，客户端1与客户端3进行密钥协商，客户端2与客户端4进行密钥协商。
客户端1向一级邻居客户端2发送的加密图神经网络模型参数为
Figure 561539DEST_PATH_IMAGE042
，向一级邻居客户端4发送的加密图神经网络模型参数为
Figure 594217DEST_PATH_IMAGE043
，客户端1接收到一级邻居客户端2发送的加密图神经网络模型参数为
Figure 450178DEST_PATH_IMAGE044
，客户端1接收到一级邻居客户端4发送的加密图神经网络模型参数为
Figure 288821DEST_PATH_IMAGE045
，客户端1计算出新的图神经网络模型参数
Figure 146793DEST_PATH_IMAGE046
，使用该新的图神经网络模型参数 对本地的图神经网络模型进行更新。
4个客户端组成环形拓扑结构，每个客户端每次迭代后都可以学习到邻居客户端的图神经网络模型参数，离每个客户端最远的客户端都需要经过1个邻居到达，那么经过2次迭代，每个客户端就能学习到所有客户端的图神经网络模型参数。

Claims (6)

1.一种安全的去中心化的图联邦学习方法，其特征在于，包括以下步骤：
S1：将参与图联邦学习的所有n个客户端依次编号为1、2、3……n，其中一个客户端作为训练发起方初始化图神经网络模型参数以及环形通信拓扑图，并将其发送到其他客户端；
S2：每个客户端根据环形通信拓扑图确定能与自身通信的一级邻居客户端以及能与一级邻居客户端通信的二级邻居客户端，每个客户端与其对应的每个二级邻居客户端进行密钥协商生成对应的共享密钥；
S3：每个客户端对本地的图神经网络模型进行训练，更新本地的图神经网络模型参数；
S4：每个客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到一级邻居客户端，同时接收一级邻居客户端发送的图神经网络模型参数，根据一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新；
S5：重复执行步骤S3-步骤S4，直到所有客户端本地的图神经网络模型收敛。
2.根据权利要求1所述的一种安全的去中心化的图联邦学习方法，其特征在于，所述步骤S1中的环形通信拓扑图为矩阵A，
Figure 345338DEST_PATH_IMAGE001
，
Figure 46578DEST_PATH_IMAGE002
，
Figure 129809DEST_PATH_IMAGE003
，
Figure 549289DEST_PATH_IMAGE004
，1≤i≤n，1≤j≤n，
当i=j时，Aij≠0，
其中，Aij表示编号为i的客户端与编号为j的客户端之间的权重系数，如果Aij≠0表示编号为i的客户端与编号为j的客户端能够通信，如果Aij=0表示编号为i的客户端与编号为j的客户端不能够通信。
3.根据权利要求2所述的一种安全的去中心化的图联邦学习方法，其特征在于，所述步骤S2中某个编号为u的客户端与其对应的一个编号为v的二级邻居客户端进行密钥协商生成对应的共享密钥的方法包括以下步骤，1≤u≤n，1≤v≤n：
N1：编号为u的客户端与编号为v的二级邻居客户端根据预设的安全参数k，并使用KA.param算法生成Diffle-Hellman协议的公共参数pp；
N2：编号为u的客户端使用KA.gen算法和公共参数pp生成公钥私钥对
Figure 900636DEST_PATH_IMAGE005
，将公 钥
Figure 721962DEST_PATH_IMAGE006
发送给编号为v的二级邻居客户端，
编号为v的二级邻居客户端使用KA.gen算法和公共参数pp生成公钥私钥对
Figure 602193DEST_PATH_IMAGE007
， 将公钥
Figure 273084DEST_PATH_IMAGE008
发送给编号为u的客户端；
N3：编号为u的客户端根据KA.agree算法、私钥
Figure 631384DEST_PATH_IMAGE009
、公钥
Figure 307216DEST_PATH_IMAGE010
计算出共享密钥suv，
Figure 155086DEST_PATH_IMAGE011
，编号为v的二级邻居客户端根据KA.agree算法、私钥
Figure 549158DEST_PATH_IMAGE012
、 公钥
Figure 242308DEST_PATH_IMAGE006
计算出共享密钥svu，
Figure 38225DEST_PATH_IMAGE013
，由于公钥私钥对
Figure 30233DEST_PATH_IMAGE014
与公钥私钥对
Figure 114864DEST_PATH_IMAGE007
都由同一个公共参数pp生成，所以suv=svu。
4.根据权利要求1或3所述的一种安全的去中心化的图联邦学习方法，其特征在于，所述步骤S4中客户端将本地的图神经网络模型参数通过去中心化的安全聚合协议发送到某个一级邻居客户端的方法包括以下步骤：
客户端找出能与该一级邻居客户端通信的二级邻居客户端，并找出与该二级邻居客户端进行密钥协商生成的共享密钥，根据该共享密钥生成对应的加密噪声向量，将本地的图神经网络模型参数乘以该客户端与该一级邻居客户端之间的权重系数后再加上该加密噪声向量生成加密图神经网络模型参数，将该加密图神经网络模型参数发送到该一级邻居客户端。
5.根据权利要求4所述的一种安全的去中心化的图联邦学习方法，其特征在于，某个编号为u的客户端根据与编号为v的二级邻居客户端协商生成的共享密钥生成对应的加密噪声向量的方法包括以下步骤，1≤u≤n，1≤v≤n：
编号为u的客户端将共享密钥suv输入伪随机数生成器PRG，生成加密噪声向量puv，
Figure 611704DEST_PATH_IMAGE015
，其中，当u＞v时，
Figure 262128DEST_PATH_IMAGE016
，当u＜v时，
Figure 186222DEST_PATH_IMAGE017
。
6.根据权利要求4所述的一种安全的去中心化的图联邦学习方法，其特征在于，所述步骤S4中客户端接收一级邻居客户端发送的图神经网络模型参数，根据一级邻居客户端发送的图神经网络模型参数对本地的图神经网络模型进行更新的方法包括以下步骤：
客户端接收每个一级邻居客户端发送的加密图神经网络模型参数，将本地的图神经网络模型参数乘以自身的权重系数后再与所有接收到的加密图神经网络模型参数相加求和，得到新的图神经网络模型参数，并使用该新的图神经网络模型参数对本地的图神经网络模型进行更新。
CN202111344472.5A 2021-11-15 2021-11-15 一种安全的去中心化的图联邦学习方法 Active CN113779615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111344472.5A CN113779615B (zh) 2021-11-15 2021-11-15 一种安全的去中心化的图联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111344472.5A CN113779615B (zh) 2021-11-15 2021-11-15 一种安全的去中心化的图联邦学习方法

Publications (2)

Publication Number Publication Date
CN113779615A true CN113779615A (zh) 2021-12-10
CN113779615B CN113779615B (zh) 2022-02-25

Family

ID=78957095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111344472.5A Active CN113779615B (zh) 2021-11-15 2021-11-15 一种安全的去中心化的图联邦学习方法

Country Status (1)

Country Link
CN (1) CN113779615B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564752A (zh) * 2022-04-28 2022-05-31 蓝象智联(杭州)科技有限公司 一种基于图联邦的黑名单传播方法
WO2024036567A1 (en) * 2022-08-18 2024-02-22 Huawei Technologies Co., Ltd. Methods and apparatuses for learning an articifical intelligence or machine learning model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113169957A (zh) * 2019-04-12 2021-07-23 杭州锘崴信息科技有限公司 个人医疗数据安全共享和所有权去中心化的所有权系统
CN113344222A (zh) * 2021-06-29 2021-09-03 福建师范大学 一种基于区块链的安全可信的联邦学习机制

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113169957A (zh) * 2019-04-12 2021-07-23 杭州锘崴信息科技有限公司 个人医疗数据安全共享和所有权去中心化的所有权系统
CN113344222A (zh) * 2021-06-29 2021-09-03 福建师范大学 一种基于区块链的安全可信的联邦学习机制

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
天下客: "《论文笔记：IJCAI 2021 Decentralized Federated Graph Neural Networks》", 《知乎》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564752A (zh) * 2022-04-28 2022-05-31 蓝象智联(杭州)科技有限公司 一种基于图联邦的黑名单传播方法
CN114564752B (zh) * 2022-04-28 2022-07-26 蓝象智联(杭州)科技有限公司 一种基于图联邦的黑名单传播方法
WO2024036567A1 (en) * 2022-08-18 2024-02-22 Huawei Technologies Co., Ltd. Methods and apparatuses for learning an articifical intelligence or machine learning model

Also Published As

Publication number Publication date
CN113779615B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110557245B (zh) 用于spdz的容错和安全多方计算的方法和系统
Bonawitz et al. Practical secure aggregation for federated learning on user-held data
US11316676B2 (en) Quantum-proof multiparty key exchange system, quantum-proof multiparty terminal device, quantum-proof multiparty key exchange method, program, and recording medium
CN113779615B (zh) 一种安全的去中心化的图联邦学习方法
CN110572253A (zh) 一种联邦学习训练数据隐私性增强方法及系统
CN109698822A (zh) 基于公有区块链和加密神经网络的联合学习方法及系统
CN106899698A (zh) 一种区块链之间的跨链互操作方法
CN111406380B (zh) 用于利用半群的密钥协商的方法和系统
CN107294696B (zh) 针对Leveled全同态密钥分配方法
US20230131071A1 (en) Lightweight attribute-based signcryption (absc) method for cloud-fog-assisted internet-of-things (iot)
CN104780052B (zh) 一种软件定义网络中网络设备群组认证方法
CN115883053A (zh) 基于联邦机器学习的模型训练方法和装置
CN115392487A (zh) 基于同态加密的隐私保护非线性联邦支持向量机训练方法及系统
CN113344221A (zh) 一种基于神经网络架构搜索的联邦学习方法及系统
CN112597542B (zh) 目标资产数据的聚合方法及装置、存储介质、电子装置
CN118381600B (zh) 联邦学习隐私保护方法及系统
Yang et al. Efficient and secure federated learning with verifiable weighted average aggregation
CN117094412A (zh) 针对非独立同分布医疗场景下的联邦学习方法和装置
CN114760023A (zh) 基于联邦学习的模型训练方法、装置及存储介质
CN106559782B (zh) 基于混沌神经网络公钥加密算法的异构传感网加密方法
CN116865938A (zh) 基于秘密共享和同态加密的多服务器联邦学习方法
CN117134945A (zh) 数据处理方法、系统、装置、计算机设备及存储介质
CN111010269B (zh) 一种基于对的组合层次式无交互密钥协商方法
CN115130568A (zh) 支持多参与方的纵向联邦Softmax回归方法及系统
WO2022081539A1 (en) Systems and methods for providing a modified loss function in federated-split learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant