CN114444659A - 一种基于图计算的联邦学习方法和系统 - Google Patents

一种基于图计算的联邦学习方法和系统 Download PDF

Info

Publication number
CN114444659A
CN114444659A CN202210073741.7A CN202210073741A CN114444659A CN 114444659 A CN114444659 A CN 114444659A CN 202210073741 A CN202210073741 A CN 202210073741A CN 114444659 A CN114444659 A CN 114444659A
Authority
CN
China
Prior art keywords
model
data
graph
initiator
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210073741.7A
Other languages
English (en)
Inventor
陈细平
陈卫强
姚家渭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Half Cloud Technology Co ltd
Original Assignee
Hangzhou Half Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Half Cloud Technology Co ltd filed Critical Hangzhou Half Cloud Technology Co ltd
Priority to CN202210073741.7A priority Critical patent/CN114444659A/zh
Publication of CN114444659A publication Critical patent/CN114444659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于图计算的联邦学习方法和系统，包括模型构建模块、模型运行模块和模型评估模块，所述模型运行模块包括图神经网络组件、机器学习组件和连接组件，所述模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，所述模型评估模块包括模型下载单元和模型预测单元。本发明中，通过发起方、协助方和协调方组建一个联合模型，协作方各自本体保留自己的本地模型，从多方数据源获取图神经网络模型需要的点边特征数据，但数据在各自节点的物理机上并且在模型训练过程中不会传输原数据，并且在进行多方数据对齐时，通过rsa加密的方式进行加密对齐，保证数据隐私性。

Description

一种基于图计算的联邦学习方法和系统
技术领域
本发明涉及图计算和联邦学习技术领域，尤其涉及一种基于图计算的联邦学习方法和系统。
背景技术
随着大数据以及知识图谱技术的迅速发展，数据量的维度大幅度增加，数据之间存在着难以打破的壁垒，一般情况下人工智能所需要的数据会涉及多个领域，例如在基于人工智能的产品推荐服务中，产品销售方拥有产品数据、用户购买产品数据，但是缺少用户购买能力和支付习惯的数据。
在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司下的不同部门之间实现数据整合也面临着重重阻力，在现实中想要将分散到各地、各机构的数据进行整合难度很大。
并且各地、各机构之间的数据整合时会涉及到数据隐私安全问题，虽然，目前存在隐私计算的技术可以解决不同来源或机构的数据隐私安全的问题，但是，没有基于图神经网络的隐私安全计算的方法，不能利用图计算方法来完成联邦学习模型的创建和使用，因此，本发明提供一种基于图计算的联邦学习方法和系统。
发明内容
为了解决上述背景技术中所提到的技术问题，而提出的一种基于图计算的联邦学习方法和系统。
为了实现上述目的，本发明采用了如下技术方案：
一种基于图计算的联邦学习系统，包括模型构建模块、模型运行模块和模型评估模块，所述模型运行模块包括图神经网络组件、机器学习组件和连接组件，所述模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，所述模型评估模块包括模型下载单元和模型预测单元；
所述模型构建模块通过组合图神经网络组件和机器学习组件组成子模型；
所述模型运行模块对子模型进行参数配置，并对参数配置完成的子模型进行运行，运行成功后生成联合模型，以dag图的形式运行；
所述模型评估模块对联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
作为上述技术方案的进一步描述：
还包括端对端缓存器、数据存储器和显示模块，所述端对端缓存器用于协调不同服务节点的处理相关数据，所述数据存储器用于存放端节点运行的数据和日志，所述显示模块用于显示与联合模型运行后相关节点数据和节点日志。
作为上述技术方案的进一步描述：
所述连接组件用来连接图神经网络组件和机器学习组件，以构建得到完整的子模型。
作为上述技术方案的进一步描述：
所述模型参数配置单元联合发起方和协助方的数据对子模型进行参数配置，并通过模型运行单元对配置完成的子模型进行运行，运行成功后生成联合模型，通过模型运行结果及日志查看单元查看各组件的结果和日志。
作为上述技术方案的进一步描述：
所述模型预测单元对联合模型进行评估和预测，查看模型的准确率，通过模型下载单元导出联合模型。
作为上述技术方案的进一步描述：
一种基于图计算的联邦学习方法，包括以下步骤：
S1、本地数据集准备：根据发起方、协助方的不同权限对数据集进行配置和选用，发起方在配置联合模型时，选择发起方本地节点的数据集以及协助方向外提供的数据集；
S2、联邦学习建模：在模型构建模块内，通过在画布中拖拽机器学习组件和图神经网络组件组合成子模型，对不同组件的参数进行配置；
S3、子模型运行训练和联合模型的生成：在模型运行模块内，通过非对称加密方式将发起方、协助方的数据集经过加密后，再对子模型进行训练，发起方联合所有参与方的子模型和数据生成联合模型，发起方和各协助方的节点互相物理隔离，数据之间的通信会通过一个各方信任的可信节点进行；
S4、联合模型评估和导出：在模型评估模块内，对已经训练好的联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
作为上述技术方案的进一步描述：
在步骤S3中，子模型运行训练采用迭代训练的方式，即直到l oss达到预期或者训练次数达到设置的最大值时完成子模型的训练，发起方和协助方在本地通过对应图神经网络得出权重更新模型后一起发送到可信节点进行聚合、加密和解密操作，然后发起方和协助方通过和可信节点之间的通信权重传递和更新，重复上述迭代直至收敛或者达到最大迭代次数。
综上所述，由于采用了上述技术方案，本发明的有益效果是：首先，学习系统中的角色分为发起方、协助方和协调方三个类型，通过3种角色组建一个联合模型，协作方各自本体保留自己的本地模型，其次，对于图神经网络模型需要拥有大量的点边特征数据，所以在真实环境下，我们需要从多方数据源拿到我们需要的数据，但数据在各自节点的物理机上并且在模型训练过程中不会传输原数据，在进行多方数据对齐时，通过rsa加密的方式进行加密对齐，然后，进行图神经网络联邦学习训练时发起方和协助方通过各自的数据在本地进行训练，双方之间不传输原始的业务数据，仅传输加密后的样本个数及标签。
附图说明
图1示出了根据本发明实施例提供的一种基于图计算的联邦学习系统的结构示意图；
图2示出了根据本发明实施例提供的一种基于图计算的联邦学习方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1和图2，本发明提供一种技术方案：一种基于图计算的联邦学习系统，包括模型构建模块、模型运行模块和模型评估模块，模型运行模块包括图神经网络组件、机器学习组件和连接组件，模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，模型评估模块包括模型下载单元和模型预测单元，还包括端对端缓存器、数据存储器和显示模块，端对端缓存器用于协调不同服务节点的处理相关数据，数据存储器用于存放端节点运行的数据和日志，显示模块用于显示与联合模型运行后相关节点数据和节点日志；
模型构建模块通过组合图神经网络组件和机器学习组件组成子模型；
模型运行模块对子模型进行参数配置，并对参数配置完成的子模型进行运行，运行成功后生成联合模型，以dag图的形式运行；
模型评估模块对联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
请参阅图1，连接组件用来连接图神经网络组件和机器学习组件，以构建得到完整的子模型。
请参阅图1，模型参数配置单元联合发起方和协助方的数据对子模型进行参数配置，并通过模型运行单元对配置完成的子模型进行运行，运行成功后生成联合模型，通过模型运行结果及日志查看单元查看各组件的结果和日志。
请参阅图1，模型预测单元对联合模型进行评估和预测，查看模型的准确率，通过模型下载单元导出联合模型。
请参阅图2，一种基于图计算的联邦学习方法，包括以下步骤：
S1、本地数据集准备：根据发起方、协助方的不同权限对数据集进行配置和选用，发起方在配置联合模型时，选择发起方本地节点的数据集以及协助方向外提供的数据集，数据集用来创建联合模型，各自的数据只会存储在本地环境，并且不会向其他端、节点共享数据，隐私数据不可交换；
S2、联邦学习建模：在模型构建模块内，通过在画布中拖拽机器学习组件和图神经网络组件组合成子模型，对不同组件的参数进行配置；
S3、子模型运行训练和联合模型的生成：在模型运行模块内，通过非对称加密方式将发起方、协助方的数据集经过加密后，再对子模型进行训练，发起方联合所有参与方的子模型和数据生成联合模型，发起方和各协助方的节点互相物理隔离，数据之间的通信会通过一个各方信任的可信节点进行；
具体的，子模型运行训练采用迭代训练的方式，即直到l oss达到预期或者训练次数达到设置的最大值时完成子模型的训练，发起方和协助方在本地通过对应图神经网络得出权重更新模型后一起发送到可信节点进行聚合、加密和解密操作，然后发起方和协助方通过和可信节点之间的通信权重传递和更新，重复上述迭代直至收敛或者达到最大迭代次数；
S4、联合模型评估和导出：在模型评估模块内，对已经训练好的联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
具体的，通过引入图神经网络，建立使用图神经网络的模型，图神经网络模型学习的主要过程是通过迭代对邻居信息进行聚合和更新，在一次迭代中，每一个节点通过聚合邻居节点的特征及自己在上一层的特征来更新自己的信息使其能够帮助每个节点进行分类，图神经网络的训练需要大量特征数据定义并优化学习目标从而达到一个预期的模型；
图神经网络的输入通常是一个带节点或连边和点边对应的特征数据的图结构，即包括该图的邻接矩阵A和对应的属性信息X，其最终输出一般取决于具体的任务，比如节点分类输出节点的标签，图分类输出图的标签，链接预测输出链接存在与否，以节点分类为例，图神经网络根据图结构和输入节点属性训练图中每个节点的隐式向量表示，其目标是让该向量表示包含足够强大的表达信息；
首先，学习系统中的角色分为发起方、协助方和协调方三个类型，通过3种角色组建一个联合模型，协作方各自本体保留自己的本地模型，其次，对于图神经网络模型需要拥有大量的点边特征数据，所以在真实环境下，我们需要从多方数据源拿到我们需要的数据，但数据在各自节点的物理机上并且在模型训练过程中不会传输原数据，在进行多方数据对齐时，通过rsa加密的方式进行加密对齐，然后，进行图神经网络联邦学习训练时发起方和协助方通过各自的数据在本地进行训练，双方之间不传输原始的业务数据，仅传输加密后的样本个数及标签，最后，进行信息交互过程中，发起方和协助方将用公钥加密后的信息传输给协调方，协调方用私钥解密后，将聚合优化后的梯度分别传输给发起方和协助方，发起方和协助方更新各自模型参数后，继续模型训练，循环以上步骤，直至l oss达到预期或者训练次数达到设置的最大值时完成模型训练。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于图计算的联邦学习系统，其特征在于，包括模型构建模块、模型运行模块和模型评估模块，所述模型运行模块包括图神经网络组件、机器学习组件和连接组件，所述模型运行模块包括模型参数配置单元、模型运行单元和模型运行结果及日志查看单元，所述模型评估模块包括模型下载单元和模型预测单元；
所述模型构建模块通过组合图神经网络组件和机器学习组件组成子模型；
所述模型运行模块对子模型进行参数配置，并对参数配置完成的子模型进行运行，运行成功后生成联合模型，以dag图的形式运行；
所述模型评估模块对联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
2.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，还包括端对端缓存器、数据存储器和显示模块，所述端对端缓存器用于协调不同服务节点的处理相关数据，所述数据存储器用于存放端节点运行的数据和日志，所述显示模块用于显示与联合模型运行后相关节点数据和节点日志。
3.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，所述连接组件用来连接图神经网络组件和机器学习组件，以构建得到完整的子模型。
4.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，所述模型参数配置单元联合发起方和协助方的数据对子模型进行参数配置，并通过模型运行单元对配置完成的子模型进行运行，运行成功后生成联合模型，通过模型运行结果及日志查看单元查看各组件的结果和日志。
5.根据权利要求1所述的一种基于图计算的联邦学习系统，其特征在于，所述模型预测单元对联合模型进行评估和预测，查看模型的准确率，通过模型下载单元导出联合模型。
6.一种基于图计算的联邦学习方法，其特征在于，包括以下步骤：
S1、本地数据集准备：根据发起方、协助方的不同权限对数据集进行配置和选用，发起方在配置联合模型时，选择发起方本地节点的数据集以及协助方向外提供的数据集；
S2、联邦学习建模：在模型构建模块内，通过在画布中拖拽机器学习组件和图神经网络组件组合成子模型，对不同组件的参数进行配置；
S3、子模型运行训练和联合模型的生成：在模型运行模块内，通过非对称加密方式将发起方、协助方的数据集经过加密后，再对子模型进行训练，发起方联合所有参与方的子模型和数据生成联合模型，发起方和各协助方的节点互相物理隔离，数据之间的通信会通过一个各方信任的可信节点进行；
S4、联合模型评估和导出：在模型评估模块内，对已经训练好的联合模型进行评估和预测，查看模型的准确率，并导出联合模型。
7.根据权利要求6所述的一种基于图计算的联邦学习方法，其特征在于，在步骤S3中，子模型运行训练采用迭代训练的方式，即直到loss达到预期或者训练次数达到设置的最大值时完成子模型的训练，发起方和协助方在本地通过对应图神经网络得出权重更新模型后一起发送到可信节点进行聚合、加密和解密操作，然后发起方和协助方通过和可信节点之间的通信权重传递和更新，重复上述迭代直至收敛或者达到最大迭代次数。
CN202210073741.7A 2022-01-21 2022-01-21 一种基于图计算的联邦学习方法和系统 Pending CN114444659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210073741.7A CN114444659A (zh) 2022-01-21 2022-01-21 一种基于图计算的联邦学习方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210073741.7A CN114444659A (zh) 2022-01-21 2022-01-21 一种基于图计算的联邦学习方法和系统

Publications (1)

Publication Number Publication Date
CN114444659A true CN114444659A (zh) 2022-05-06

Family

ID=81370679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210073741.7A Pending CN114444659A (zh) 2022-01-21 2022-01-21 一种基于图计算的联邦学习方法和系统

Country Status (1)

Country Link
CN (1) CN114444659A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707430A (zh) * 2022-06-02 2022-07-05 青岛鑫晟汇科技有限公司 一种基于多用户加密的联邦学习可视化系统与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707430A (zh) * 2022-06-02 2022-07-05 青岛鑫晟汇科技有限公司 一种基于多用户加密的联邦学习可视化系统与方法

Similar Documents

Publication Publication Date Title
CN112733967B (zh) 联邦学习的模型训练方法、装置、设备及存储介质
Lee A study on metaverse hype for sustainable growth
CN112085159B (zh) 一种用户标签数据预测系统、方法、装置及电子设备
CN112183730B (zh) 一种基于共享学习的神经网络模型的训练方法
CN113159327B (zh) 基于联邦学习系统的模型训练方法、装置、电子设备
Wan et al. Privacy-preservation for gradient descent methods
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
Gyani et al. MCDM and various prioritization methods in AHP for CSS: A comprehensive review
CN112001500B (zh) 基于纵向联邦学习系统的模型训练方法、设备及存储介质
WO2023124296A1 (zh) 基于知识蒸馏的联合学习训练方法、装置、设备及介质
CN112330048A (zh) 评分卡模型训练方法、装置、存储介质及电子装置
Ramadass et al. Evaluation of cloud vendors from probabilistic linguistic information with unknown/partial weight values
CN112613618A (zh) 一种安全联邦学习逻辑回归算法
CN113051239A (zh) 数据共享方法、应用其的模型的使用方法及相关设备
CN114444659A (zh) 一种基于图计算的联邦学习方法和系统
CN113312177A (zh) 一种基于联邦学习的无线边缘计算系统、优化方法
CN112016698A (zh) 因子分解机模型构建方法、设备及可读存储介质
CN114925786A (zh) 基于秘密分享的纵向联邦线性支持向量分类方法
Hussain et al. Federated learning: A survey of a new approach to machine learning
CN115034836A (zh) 一种模型训练方法及相关装置
CN117217820A (zh) 供应链采购需求智能集成预测方法及系统
CN113051608A (zh) 一种联邦学习的虚拟化共享模型传输方法
Alba et al. Evolutionary algorithms
CN110175283B (zh) 一种推荐模型的生成方法及装置
CN111985573A (zh) 因子分解机分类模型构建方法、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination