CN114925849A - 一种图数据上的联邦学习优化方法 - Google Patents
一种图数据上的联邦学习优化方法 Download PDFInfo
- Publication number
- CN114925849A CN114925849A CN202210499734.3A CN202210499734A CN114925849A CN 114925849 A CN114925849 A CN 114925849A CN 202210499734 A CN202210499734 A CN 202210499734A CN 114925849 A CN114925849 A CN 114925849A
- Authority
- CN
- China
- Prior art keywords
- model
- personalized
- local
- node
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图数据上的联邦学习优化方法,该方法包括:步骤S1、服务器根据预先配置文件,随机初始化必要参数,并将训练轮数T初始化为1;步骤S2、在第T轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端根据指令进行训练;步骤S3、每一客户端相关参数生成本地的个性化补充模型,并进行本地训练,向服务器发送对应的模型参数;步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮模型参数;步骤S5、判断模型是否收敛,若收敛,则结束模型训练,得到模型,否则,令T=T+1,执行步骤S2‑S5。本发明能利用各客户端本地数据分布建模,提高了图数据上联邦学习模型训练的效率和准确率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于图数据上的联邦学习方法。
技术背景
联邦学习是一种分布式的机器学习算法,并且在一般分布式机器学习的基础上考虑了隐私保护的相关问题。在机器学习算法的应用中,图结构的数据占据了非常重要的地位。比如,在自然语言处理领域,概念与概念的关系可以表示为一种图结构,也就是知识图谱。在短视频推荐领域,用户和用户的分享、评论可以表示为图,用户与视频的浏览、点赞也可以表示为图。现有的联邦学习算法考虑的数据类型主要为图像、自然语言文本和结构化的表格数据,这些数据都是限定在欧几里得空间中的。而图数据不具有规则的欧几里得空间结构,直接将为图像、自然语言文本数据设计的联邦学习算法应用在图数据上,由于对数据的基本假设不匹配,可能出现模型训练效果差、训练精度低、收敛速度慢,甚至可能导致模型不收敛,难以产生有意义的结果。
发明内容
本发明的目的在于提供一种基于图数据上的联邦学习方法,提高联邦学习模型训练精度和效率。
实现本发明目的的具体技术方案是:
一种图数据上的联邦学习优化方法,该方法实施环境包括一个服务器、K个客户端,处理器和存储有计算及程序的存储器,其中,K为至少等于2的整数;服务器上存储有用于描述全局图神经网络模型结构、个性化模型结构的配置文件;特点是所述方法包括以下具体步骤:
步骤S1、服务器根据预先配置文件,随机初始化全局图神经网络模型参数以及个性化模型参数,并将训练轮数T初始化为1;
步骤S2、在第T轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端从服务器获取对应的全局图神经网络模型参数以及个性化模型参数,若该客户端是第一次被选中,则随机初始化个性化模型表示向量,k=1,2,…M;
步骤S3、每一客户端基于获取的服务器个性化模型参数和本地存储的个性化模型表示向量生成本地的个性化补充模型,之后,综合对应的模型参数、个性化补充模型及本地数据进行本地训练,向服务器发送对应的模型参数;
步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数及个性化模型参数;
步骤S5、判断模型是否收敛,若收敛,则结束模型训练,否则,令T=T+1,返回执行步骤S2-S5。
步骤S1所述全局图神经网络模型,其节点状态更新方式表示为以下公式的形式:
其中,N(v)为节点v邻居节点的集合,为节点收到的消息,函数Mt为消息生成函数,通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息evw生成消息;函数Agg为聚合函数,将节点v从所有邻居处的消息聚合为 为节点v上一时刻的状态,为节点v当前时刻的状态,函数U为节点状态更新函数,通过状态和收到的消息,将节点更新为
所述步骤S3,具体包括:
个性化模型生成网络P为一个np层的神经网络,表示为:
f(x)=σ(Wx+b)
其中,N(v)为节点v邻居节点的集合,为节点收到的消息,函数Mt为消息生成函数,通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息evw生成消息;函数Agg为聚合函数,将节点v从所有邻居处的消息聚合为 为个性化补充模型;为节点v上一时刻的状态,为节点v当前时刻的状态,函数U为节点状态更新函数,通过状态和收到的消息,将节点更新为
步骤S33、基于第k参与客户端获取的基于所有服务器对应的本地个性化图神经网络模型Gl参数的参数Wgl和本地数据Dk进行若干轮随机梯度下降训练得到本地模型参数;
其中,Wgl随着第k参与客户端本地模型训练而更新,Wgl的初始值为←表示将箭头右侧的值更新给箭头左侧的参数,Wgl为第k参与客户端当前轮次得到的本地模型参数的总和,η为预设的学习率,Dk表示第k参与客户端的本地数据,L(Wgl;Dk)表示Wgl在Dk上的损失函数值;
步骤S34、基于第k参与客户端本地模型训练结束后得到的本地模型参数向服务器发送对应的本地模型参数。
所述步骤S4,具体包括:
步骤S41、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数、个性化模型参数;
本发明与现有技术相比具有明显的优点和有益效果。
本发明提供的一种基于图数据上的联邦学习方法可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有下列优点:
本发明所述方法基于图数据,并为每一客户端添加了个性化模型表示向量,以适用于图数据的方式给算法模型添加了个性化表征的能力,可以提高算法模型的精度。其中,算法模型指常规的图神经网络模型。同时,利用了个性化模型参数和个性化模型表示向量生成每个客户端上的个性化补充模型,在提高模型精度的同时,减小了通信带宽,提高了模型训练效率。
附图说明
图1为实施本发明的结构图;
图2为本发明实施例中本地个性化模型生成过程示意图;
图3为本发明的流程图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及实施例,对本发明做详细说明。
实施例
参阅图1,本实施例提供了一种基于图数据上的联邦学习方法,该方法的实施环境包括一个服务器、K个客户端、处理器和存储有计算及程序的存储器,其中,K为大于等于2的整数。服务器上存储有根据需要进行配置的各配置文件,用于描述全局图神经网络模型结构、个性化模型结构。
参阅图3,本实施例具体包括以下步骤:
步骤S1、服务器根据预先配置文件,随机初始化全局图神经网络模型参数,以及个性化模型参数,并将T初始化为1;
作为示例,参数可以表示为Wg,个性化模型参数可以表示为Wp;
作为一种实施例,本实施例具体全局图神经网络模型G的节点状态更新需可表示为以下公式的形式:
其中,图数据由若个节点及节点连成的边构成,N(v)为节点v邻居节点的集合,为节点收到的消息,函数Mt为消息生成函数,通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息evw生成消息;函数Agg为聚合函数,将节点v从所有邻居处的消息聚合为 为节点v上一时刻的状态,为节点v当前时刻的状态,函数U为节点状态更新函数,通过状态和收到的消息,将节点更新为
需要说明的是,步骤S1中的函数Agg、函数Mt和函数U具体可采用现有的相应方法来执行,比如GraphSAGE方法,PinSAGE方法。
步骤S2、在第T轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端从服务器获取对应的全局图神经网络模型参数以及个性化模型参数,若该客户端是第一次被选中,则随机初始化个性化模型表示向量,k=1,2,…M;
步骤S3、每一客户端基于获取的服务器个性化模型参数和本地存储的个性化模型表示向量生成本地的个性化补充模型,之后综合对应的模型参数、个性化补充模型、本地数据进行本地训练,向服务器发送对应的模型参数;
步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数、个性化模型参数;
步骤S5、判断模型是否收敛,若收敛,则结束模型训练,否则,令T=T+1,返回执行步骤S2。需要说明的是,步骤S5具体可采用现有的判断模型收敛的方法来执行,比如设定最大迭代次数、设置两次迭代之间变化的阈值。
本发明所述方法基于图数据,并为每一客户端添加了个性化模型表示向量,以适用于图数据的方式给算法模型添加了个性化表征的能力,可以提高算法模型的精度。同时,利用了个性化模型参数和个性化模型表示向量生成每个客户端上的个性化补充模型,在提高模型精度的同时,减小了通信带宽,提高了模型训练效率。
作为一种实施例,本实施例具体可采用个性化模型训练的方式进行,既提高了模型训练效率,又提高了模型训练精确度。具体的,所述步骤S3可包括:
步骤S3、每一客户端基于获取的服务器个性化模型参数和本地存储的个性化模型表示向量生成本地的个性化补充模型,之后综合对应的模型参数、个性化补充模型、本地数据进行本地训练,向服务器发送对应的模型参数;
优选的,个性化模型生成网络P为一个np层的神经网络,可以表示为
f(x)=σ(Wx+b)
步骤S33、基于第k参与客户端获取的基于所有服务器对应的本地个性化图神经网络模型Gl参数的参数Wgl和本地数据Dk进行若干轮随机梯度下降训练得到本地模型参数;
其中,Wgl随着第k参与客户端本地模型训练而更新,Wgl的初始值为←表示将箭头右侧的值更新给箭头左侧的参数,Wgl为第k参与客户端当前轮次得到的本地模型参数的总和,η为预设的学习率,Dk表示第k参与客户端的本地数据,L(Wgl;Dk)表示Wgl在Dk上的损失函数值,需要说明的是,评价函数具体为现有评价函数,在此不再展开描述。
步骤S34、基于第k参与客户端本地模型训练结束后得到的获取的本地模型参数向每一服务器发送对应的本地模型参数;
可以理解的是,通过步骤S31-步骤S34可以基于每一客户端内个性化参数生成对应的个性化模型,充分考虑的由于数据分散在各个客户端而产生了的数据异质性。进一步的,个性化补充模型与全局图神经网络的嵌合方式,也充分考虑了图数据的特质,从而进一步提高模型训练的准确性。
作为一种实施例,所述步骤S4可包括:
步骤S41、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数、个性化模型参数;
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (4)
1.一种图数据上的联邦学习优化方法,该方法实施环境包括一个服务器、K个客户端,处理器和存储有计算及程序的存储器,其中,K为至少等于2的整数;服务器上存储有用于描述全局图神经网络模型结构、个性化模型结构的配置文件;其特征在于,所述方法包括以下具体步骤:
步骤S1、服务器根据预先配置文件,随机初始化全局图神经网络模型参数以及个性化模型参数,并将训练轮数T初始化为1;
步骤S2、在第T轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端从服务器获取对应的全局图神经网络模型参数以及个性化模型参数,若该客户端是第一次被选中,则随机初始化个性化模型表示向量,k=1,2,…M;
步骤S3、每一客户端基于获取的服务器个性化模型参数和本地存储的个性化模型表示向量生成本地的个性化补充模型,之后,综合对应的模型参数、个性化补充模型及本地数据进行本地训练,向服务器发送对应的模型参数;
步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数及个性化模型参数;
步骤S5、判断模型是否收敛,若收敛,则结束模型训练,否则,令T=T+1,返回执行步骤S2-S5。
3.根据权利要求1所述的联邦学习优化方法,其特征在于,所述步骤S3,具体包括:
个性化模型生成网络P为一个np层的神经网络,表示为:
f(x)=σ(Wx+b)
其中,N(v)为节点v邻居节点的集合,为节点收到的消息,函数Mt为消息生成函数,通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息evw生成消息;函数Agg为聚合函数,将节点v从所有邻居处的消息聚合为 为个性化补充模型;为节点v上一时刻的状态,为节点v当前时刻的状态,函数U为节点状态更新函数,通过状态和收到的消息,将节点更新为
步骤S33、基于第k参与客户端获取的基于所有服务器对应的本地个性化图神经网络模型Gl参数的参数Wgl和本地数据Dk进行若干轮随机梯度下降训练得到本地模型参数;
其中,Wgl随着第k参与客户端本地模型训练而更新,Wgl的初始值为←表示将箭头右侧的值更新给箭头左侧的参数,Wgl为第k参与客户端当前轮次得到的本地模型参数的总和,η为预设的学习率,Dk表示第k参与客户端的本地数据,L(Wgl;Dk)表示Wgl在Dk上的损失函数值;
步骤S34、基于第k参与客户端本地模型训练结束后得到的本地模型参数向服务器发送对应的本地模型参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210499734.3A CN114925849A (zh) | 2022-05-09 | 2022-05-09 | 一种图数据上的联邦学习优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210499734.3A CN114925849A (zh) | 2022-05-09 | 2022-05-09 | 一种图数据上的联邦学习优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114925849A true CN114925849A (zh) | 2022-08-19 |
Family
ID=82808914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210499734.3A Pending CN114925849A (zh) | 2022-05-09 | 2022-05-09 | 一种图数据上的联邦学习优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114925849A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086399A (zh) * | 2022-07-28 | 2022-09-20 | 深圳前海环融联易信息科技服务有限公司 | 基于超网络的联邦学习方法、装置及计算机设备 |
CN116226540A (zh) * | 2023-05-09 | 2023-06-06 | 浙江大学 | 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统 |
CN117892805A (zh) * | 2024-03-18 | 2024-04-16 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
-
2022
- 2022-05-09 CN CN202210499734.3A patent/CN114925849A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086399A (zh) * | 2022-07-28 | 2022-09-20 | 深圳前海环融联易信息科技服务有限公司 | 基于超网络的联邦学习方法、装置及计算机设备 |
CN115086399B (zh) * | 2022-07-28 | 2022-12-06 | 深圳前海环融联易信息科技服务有限公司 | 基于超网络的联邦学习方法、装置及计算机设备 |
CN116226540A (zh) * | 2023-05-09 | 2023-06-06 | 浙江大学 | 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统 |
CN116226540B (zh) * | 2023-05-09 | 2023-09-26 | 浙江大学 | 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统 |
CN117892805A (zh) * | 2024-03-18 | 2024-04-16 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
CN117892805B (zh) * | 2024-03-18 | 2024-05-28 | 清华大学 | 基于超网络和层级别协作图聚合的个性化联邦学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102358554B1 (ko) | 시맨틱 분할 모델을 위한 훈련 방법 및 장치, 전자 기기, 저장 매체 | |
CN114925849A (zh) | 一种图数据上的联邦学习优化方法 | |
Lorraine et al. | Att3d: Amortized text-to-3d object synthesis | |
US11941527B2 (en) | Population based training of neural networks | |
CN111758105A (zh) | 学习数据增强策略 | |
Gupta* et al. | A sub-optimal algorithm to synthesize control laws for a network of dynamic agents | |
KR20200031163A (ko) | 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체 | |
JP2022503647A (ja) | クロスドメイン画像変換 | |
WO2022166115A1 (en) | Recommendation system with adaptive thresholds for neighborhood selection | |
EP3779891A1 (en) | Method and device for training neural network model, and method and device for generating time-lapse photography video | |
US11443481B1 (en) | Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models | |
CN109214559B (zh) | 物流业务的预测方法及装置、可读存储介质 | |
CN115688913A (zh) | 一种云边端协同个性化联邦学习方法、系统、设备及介质 | |
US20220012846A1 (en) | Method of modifying digital images | |
CN114072809A (zh) | 经由神经架构搜索的小且快速的视频处理网络 | |
JP2020181240A (ja) | データ生成装置、データ生成方法およびプログラム | |
WO2024145343A1 (en) | Avatar generation according to artistic styles | |
CN116974249A (zh) | 柔性作业车间调度方法和柔性作业车间调度装置 | |
WO2021006189A1 (ja) | 画像生成装置、画像生成方法及び画像生成プログラム | |
CN116579376A (zh) | 风格模型生成方法、装置和计算机设备 | |
CN114428954A (zh) | 一种基于动态化网络结构学习的黑盒攻击系统 | |
JP7148078B2 (ja) | 属性推定装置、属性推定方法、属性推定器学習装置、及びプログラム | |
CN113449193A (zh) | 基于多分类图像的信息推荐方法及装置 | |
CN114140351A (zh) | 一种图像修复方法、装置、设备及存储介质 | |
JP2022013844A (ja) | 情報処理方法、情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |