CN115145966A - 一种面向异构数据的对比联邦学习方法及系统 - Google Patents

一种面向异构数据的对比联邦学习方法及系统 Download PDF

Info

Publication number
CN115145966A
CN115145966A CN202211075909.4A CN202211075909A CN115145966A CN 115145966 A CN115145966 A CN 115145966A CN 202211075909 A CN202211075909 A CN 202211075909A CN 115145966 A CN115145966 A CN 115145966A
Authority
CN
China
Prior art keywords
local
model
current
local model
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211075909.4A
Other languages
English (en)
Other versions
CN115145966B (zh
Inventor
吴晓明
王艳寒
杨明
王鑫
汪付强
刘祥志
龙国东
陈振娅
穆超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Beijing Winicssec Technologies Co Ltd
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Beijing Winicssec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan, Beijing Winicssec Technologies Co Ltd filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202211075909.4A priority Critical patent/CN115145966B/zh
Publication of CN115145966A publication Critical patent/CN115145966A/zh
Application granted granted Critical
Publication of CN115145966B publication Critical patent/CN115145966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明属于人工智能领域，提供了一种面向异构数据的对比联邦学习方法及系统，包括客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。本发明从模型相似度的角度建立异构环境下联邦学习的优化问题，使每个客户端都能够学习到接近全局模型表示，以最小化局部模型差异。

Description

一种面向异构数据的对比联邦学习方法及系统
技术领域
本发明属于人工智能技术领域，具体涉及一种面向异构数据的对比联邦学习方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
移动电话、可穿戴设备等物联网设备在现代社会的普及，导致了来自分布式系统的私人数据快速增长。在这个数字时代，虽然丰富的数据为人工智能的应用提供了巨大的机会，但其中大多数数据以“数据孤岛”的形式存在，如何打破这种“数据孤岛”充分挖掘海量异构数据的价值成为挑战。联邦学习允许多个用户协作训练共享的全局模型，且无需上传本地客户端的数据，只上传局部模型更新的参数。由中央服务器协调完成多轮联邦学习以得到最终的全局模型。联邦学习消除了在单个设备上聚合所有数据的需要，是解决上述问题的有效途径，具有重要的研究价值和实际应用意义。
然而，在实际应用中，各个客户端之间的数据往往呈非独立同分布，训练过程中易产生“客户漂移”现象。在传统的联邦学习框架FedAvg下，全局模型朝着局部模型的平均模型方向更新，受数据非独立同分布的影响，各个客户端局部模型向各自的方向更新聚合后得到的全局模型与最佳全局模型偏差较大，导致联邦学习模型性能降低。因此，在异构环境下，如何降低联邦学习中异构性带来的模型性能影响成为联邦学习亟需解决的问题之一。
发明内容
为了解决上述问题，本发明提出了一种面向异构数据的对比联邦学习方法及系统，本发明在从模型相似度的角度建立异构环境下联邦学习的优化问题，结合对比学习思想在局部损失函数中添加了一个模型相似性对比项，并利用随机梯度下降的方法对局部模型进行更新。
根据一些实施例，本发明的第一方案提供了一种面向异构数据的对比联邦学习方法，采用如下技术方案：
一种面向异构数据的对比联邦学习方法，包括：
客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；
服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。
进一步地，所述客户端的当前轮次的局部模型，包括：
客户端根据自身的本地数据进行模型训练，以构建对应的当前轮次的局部模型；
其中，所述本地数据为非独立同分布异构数据。
进一步地，所述服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型，具体为：
Figure 100002_DEST_PATH_IMAGE001
其中，
Figure 325870DEST_PATH_IMAGE002
是所有样本数目，每个客户端上有
Figure 100002_DEST_PATH_IMAGE003
个样本(x,y)来自于分布
Figure 60608DEST_PATH_IMAGE004
，K是所有客户端的个数，
Figure 100002_DEST_PATH_IMAGE005
是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局部模型，
Figure 856395DEST_PATH_IMAGE006
为联邦学习在服务端第t+1次聚合后的全局模型，
Figure 100002_DEST_PATH_IMAGE007
。
进一步地，所述当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离，具体为：
Figure 967570DEST_PATH_IMAGE008
其中，
Figure 100002_DEST_PATH_IMAGE009
是当前轮次中第m次局部更新的局部模型，
Figure 188640DEST_PATH_IMAGE010
是当前轮次中第m-1次局部更新的历史局部模型；M是当前轮次的局部模型与下一轮次的局部模型之间相差的局部更新次数；t是联邦学习在服务端的第t次聚合；
Figure 100002_DEST_PATH_IMAGE011
与
Figure 94279DEST_PATH_IMAGE012
之间的正余弦距离越小，则两模型之间的相似度越低。
进一步地，所述当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离，具体为：
Figure 100002_DEST_PATH_IMAGE013
与
Figure 377362DEST_PATH_IMAGE014
之间的负余弦距离为：
Figure 100002_DEST_PATH_IMAGE015
其中，
Figure 26649DEST_PATH_IMAGE016
是当前轮次中第m次局部更新的局部模型，M是当前轮次的全局模型与下一轮次的全局模型之间相差的局部更新次数；
Figure 100002_DEST_PATH_IMAGE017
为联邦学习在服务端第
Figure 78787DEST_PATH_IMAGE018
次聚合后的全局模型；
Figure 155328DEST_PATH_IMAGE016
与
Figure 738756DEST_PATH_IMAGE017
之间的负余弦距离越小，则两模型之间的相似度越高。
进一步地，为了达到让当前轮次的局部模型远离历史局部模型的同时，且不让当前轮次中第m-1次局部更新的历史局部模型的梯度信息对当前第m次局部更新的局部模型的训练造成影响的目的，引入梯度终止机制，在当前局部更新轮次对历史局部模型
Figure 100002_DEST_PATH_IMAGE019
采取梯度终止操作；
当前局部模型与历史局部模型之间的正余弦距离公式更新为：
Figure 175422DEST_PATH_IMAGE020
其中，
Figure 100002_DEST_PATH_IMAGE021
是对
Figure 98379DEST_PATH_IMAGE022
执行stop-grad操作，
Figure 100002_DEST_PATH_IMAGE023
是当前轮次中第m-1次局部更新的历史局部模型，
Figure 595088DEST_PATH_IMAGE024
是当前轮次中第m次局部更新的局部模型。
进一步地，所述当前局部模型的优化目标表示为：
Figure 100002_DEST_PATH_IMAGE025
其中，
Figure 603495DEST_PATH_IMAGE026
是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局部模型，
Figure 100002_DEST_PATH_IMAGE027
是当前轮次第m次的局部模型，
Figure 843853DEST_PATH_IMAGE028
是当前轮次第m-1次局部更新的局部模型，M是当前轮次的局部模型与上下一轮次的局部模型之间相差的局部更新次数；
Figure 100002_DEST_PATH_IMAGE029
为联邦学习在服务端第
Figure 621316DEST_PATH_IMAGE030
次聚合后的全局模型。
根据一些实施例，本发明的第二方案提供了一种面向异构数据的对比联邦学习系统，采用如下技术方案：
一种面向异构数据的对比联邦学习系统，包括：
局部优化模块，被配置为客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；
全局更新模块，被配置为服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种面向异构数据的对比联邦学习方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种面向异构数据的对比联邦学习方法中的步骤。
与现有技术相比，本发明的有益效果为：
1、本发明为了有效缓解数据异构性对模型的影响，需要对传统的联邦学习进行改进。对比学习的思想可以减小局部模型和全局模型之间的距离 （即，减小参数差异），并增加当前轮次的局部模型和上一轮次局部模型之间的距离（即，加快收敛），使每个客户端都能够学习到接近全局模型的表示，以最小化局部模型差异。
2、本发明在从模型相似度的角度建立异构环境下联邦学习的优化问题，结合对比学习思想在局部损失函数中添加了一个模型相似性对比项，并利用随机梯度下降的方法对局部模型进行更新，降低联邦学习中异构性带来的模型性能影响。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例所述的一种面向异构数据的对比联邦学习方法的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本实施例提供了一种面向异构数据的对比联邦学习方法，本实施例中，该方法包括以下步骤：
客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；
服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。
其中，所述客户端的当前轮次的局部模型，包括：
客户端根据自身的本地数据进行模型训练，以构建对应的当前轮次的局部模型；
其中，所述本地数据为非独立同分布异构数据。
具体地，本实施例所述的方法，包括：
a.定义非独立同分布下的联邦学习损失函数
在数据非独立同分的条件下对联邦学习中局部损失函数进行定义，具体为：
共有K个客户端，
Figure 100002_DEST_PATH_IMAGE031
和
Figure 288926DEST_PATH_IMAGE032
分别是第k个客户端的数据集和局部模型，k∈[K]。假设共有
Figure 519051DEST_PATH_IMAGE033
个数据，其中
Figure DEST_PATH_IMAGE034
是第i个类别的数量，共有C类，每个客户端上有
Figure 563099DEST_PATH_IMAGE035
个样本(x,y)来自于分布
Figure DEST_PATH_IMAGE036
。
定义损失函数为分类的交叉熵损失，对于第k个客户端，其优化目标是：
Figure 195069DEST_PATH_IMAGE037
（1）
其中，
Figure DEST_PATH_IMAGE038
只与样本类别i和本地参数
Figure 33580DEST_PATH_IMAGE039
有关，记为
Figure DEST_PATH_IMAGE040
，其关于
Figure 16580DEST_PATH_IMAGE041
的梯度为：
Figure DEST_PATH_IMAGE042
。
需要说明的是，这里是对局部模型优化。用交叉熵损失函数对局部模型进行优化，但是，训练出的局部模型性能可能不够好。所以，给局部损失函数引入一个修正项，也就是余弦相似度那一项。后文中的局部模型的损失函数就是将这两项结合构成一个新的损失函数对局部模型进行训练，更好的优化局部模型。
因此，第k个客户端的局部模型更新为：
Figure 598740DEST_PATH_IMAGE043
（2）
全局模型聚合过程为：
Figure DEST_PATH_IMAGE044
（3）
其中，
Figure 85216DEST_PATH_IMAGE045
是所有样本数目。
记
Figure DEST_PATH_IMAGE046
为联邦学习FedAvg在服务端第
Figure 360208DEST_PATH_IMAGE047
次聚合后的全局模型，
Figure DEST_PATH_IMAGE048
为第t+1次聚合后的全局模型，二者之间相差了M步局部更新的次数。即，每个客户端接收到服务端广播的
Figure 564925DEST_PATH_IMAGE046
后，对局部模型
Figure 763825DEST_PATH_IMAGE049
进行M次局部更新，依次得到：
Figure DEST_PATH_IMAGE050
，
Figure 354075DEST_PATH_IMAGE051
，最后每个客户端更新后的局部模型
Figure DEST_PATH_IMAGE052
都上传到服务端聚合得到
Figure 550701DEST_PATH_IMAGE053
。
因此，所述服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型，具体为：
Figure 305031DEST_PATH_IMAGE001
其中，
Figure 228993DEST_PATH_IMAGE002
是所有样本数目，每个客户端上有
Figure 752378DEST_PATH_IMAGE003
个样本(x,y)来自于分布
Figure 119906DEST_PATH_IMAGE004
，K是所有客户端的个数，
Figure 95952DEST_PATH_IMAGE005
是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局部模型，
Figure 823606DEST_PATH_IMAGE006
为联邦学习在服务端第t+1次聚合后的全局模型，
Figure 467076DEST_PATH_IMAGE007
。
b.定义模型之间的余弦距离
在联邦学习训练中，服务端聚合得到的全局模型性能要优于局部模型。局部训练的轮次越多累计的梯度误差越大，则局部模型与全局模型的距离越大，“客户漂移”现象越明显。所以，在每一轮次的局部更新时，要让当前第m次局部更新的模型远离历史第m-1次局部更新的模型，靠近当前轮次的全局模型。
因此，优化的目标就是使客户端当前轮次的训练的局部模型靠近全局模型而远离上一轮次的局部模型。结合对比学习思想，使用余弦相似度对局部训练模型进行优化：
（1）定义当前轮次中当前次数局部更新的局部模型与当前轮次中上一次局部更新的历史局部模型之间的正余弦距离
Figure DEST_PATH_IMAGE054
与
Figure 739926DEST_PATH_IMAGE055
之间的正余弦距离为：
Figure DEST_PATH_IMAGE056
（4）
Figure 655798DEST_PATH_IMAGE054
与
Figure 734613DEST_PATH_IMAGE055
之间的正余弦距离越小，则两模型之间的相似度越低；
其中，
Figure 232590DEST_PATH_IMAGE057
是当前轮次中第m次局部更新的局部模型，
Figure 676341DEST_PATH_IMAGE055
是当前轮次中第m-1次局部更新的历史局部模型；M是当前轮次的局部模型与下一轮次的局部模型之间相差的局部更新次数；t是联邦学习在服务端的第t次聚合；
（2）定义当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离
Figure DEST_PATH_IMAGE058
与
Figure 79509DEST_PATH_IMAGE059
之间的负余弦距离为：
Figure DEST_PATH_IMAGE060
（5）
Figure 899698DEST_PATH_IMAGE058
与
Figure 252182DEST_PATH_IMAGE059
之间的负余弦距离越小，则两模型之间的相似度越高；
其中，
Figure 194730DEST_PATH_IMAGE058
是当前轮次中第m次局部更新的局部模型，M是当前轮次的局部模型与下一轮次的局部模型之间相差的局部更新次数；
Figure 819615DEST_PATH_IMAGE059
为联邦学习在服务端第
Figure 240232DEST_PATH_IMAGE061
次聚合后的全局模型。
需要说明的是，本实施例中优化的最终的目的是：使客户端当前轮次的训练的局部模型远离上一轮次的局部模型。但是，前文中有提到两次聚合之间有M次局部更新，所以此处公式（4）和公式（5）中提到的当前局部模型与历史局部模型是相对于当前轮次中的M次局部更新来说。也就是说，当前局部模型是第m次局部更新后得到的局部模型，历史局部模型是第m-1次局部更新后得到的局部模型。让每一次局部更新时的局部模型都远离上一次局部更新时的模型（即，历史局部模型），最终实现当前轮次的局部模型远离上一轮次的局部模型。最终的目的是使客户端当前轮次的训练的局部模型远离上一轮次的局部模型。而正余弦距离是相对于当前训练轮次中局部更新的当前局部模型和历史局部模型，而非整个联邦学习过程中每一轮完整训练中的局部模型之间的正余弦距离。
c.引入梯度终止机制
在联邦学习中，局部训练的轮次越多累计的梯度误差越大，则局部模型与全局模型的距离越大，“客户漂移”现象越明显。为了达到让当前轮次的局部模型远离历史局部模型的目的，引入梯度终止机制，在当前局部更新轮次对历史局部模型
Figure DEST_PATH_IMAGE062
采取梯度终止操作。
当前局部模型与历史局部模型之间的正余弦距离公式更新为：
Figure 650485DEST_PATH_IMAGE063
（6）
其中，
Figure 498355DEST_PATH_IMAGE021
是对
Figure 610537DEST_PATH_IMAGE022
执行stop-grad操作，
Figure 834845DEST_PATH_IMAGE023
是当前轮次中第m-1次局部更新的历史局部模型，
Figure 99604DEST_PATH_IMAGE024
是当前轮次中第m次局部更新的局部模型。
此处是将梯度终止机制引入到余弦相似度这一项中，余弦相似度是用来修正模型更新方向的；
梯度终止是让
Figure 383955DEST_PATH_IMAGE024
不从
Figure 796481DEST_PATH_IMAGE023
接收梯度信息对当前局部训练参数造成影响，使余弦距离相似度仅作为拉远二者距离的存在，最终目的是优化局部模型。
d.建立基于对比学习技术的损失函数
基于模型相似性在客户端对联邦学习算法进行优化，并对当前局部模型、历史局部模型以当前全局模型进行余弦距离定义。此外，引入梯度终止机制在当前训练中对历史局部模型进行限制。定义一个新的局部损失函数项：
Figure DEST_PATH_IMAGE064
（7）
其中，
Figure 745852DEST_PATH_IMAGE024
不会从
Figure 865117DEST_PATH_IMAGE023
接收梯度信息对当前局部训练参数造成影响，仅作为拉远
Figure 320370DEST_PATH_IMAGE024
与
Figure 407143DEST_PATH_IMAGE023
的距离存在。
定义一个超参数
Figure 973254DEST_PATH_IMAGE065
控制（7）式中损失函数项的权重，结合交叉熵损失函数构成局部损失函数，则局部损失函数表示为：
Figure DEST_PATH_IMAGE066
（8）
综上，利用对比学习方法建立非独立同分布数据的联邦学习问题，局部优化目标表示为：
Figure 947026DEST_PATH_IMAGE025
（9）
其中，
Figure 573179DEST_PATH_IMAGE067
是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局部模型；
Figure DEST_PATH_IMAGE068
是当前轮次中第m次局部更新的局部模型；是当前轮次中第m-1次局部更新的历史局部模型；M是当前轮次的局部模型与下一轮次的局部模型之间相差的局部更新次数；
Figure 147249DEST_PATH_IMAGE069
为联邦学习在服务端第
Figure DEST_PATH_IMAGE070
次聚合后的全局模型。
全局优化问题的目标函数为：
Figure 189154DEST_PATH_IMAGE071
（10）
e.联邦学习模型泛化误差分析
在公式（8）优化的联邦学习局部模型下，利用公式（3）使用加权平均的方法聚合接收到的局部模型得到全局模型，计算训练得到的联邦学习模型的泛化误差为：
Figure DEST_PATH_IMAGE072
（11）
算法通常是在实验中的有限样本上评估，因此，算法的评估可能对采样误差敏感。所以，对实验中采样数据的预测误差的测量可能不会准确的提供算法关于对新数据的预测能力信息。泛化误差是衡量算法能够在实际应用中预测对数据训练结果的准确程度的指标。本实施例此处提供泛化误差是对本实施例提出的算法训练出的模型在实际应用中对未知数据预测能力的泛化性分析。证明在本发明的方法下，训练出的模型在实际应用中具有较好的性能。
联邦学习能够实现在不上传本地原始数据的前提下通过生成的模型分析和训练多个客户端的数据，异构性会严重影响联邦学习模型的性能。为了有效缓解数据异构性对模型的影响，需要对传统的联邦学习进行改进。对比学习的思想可以减小局部模型和全局模型之间的距离（即，减小参数差异），并增加当前轮次的局部模型和上一轮次局部模型之间的距离（即，加快收敛），使每个客户端都能够学习到接近全局模型的表示，以最小化局部模型差异。
实施例二
本实施例提供了一种面向异构数据的对比联邦学习系统，包括：
局部优化模块，被配置为客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；
全局更新模块，被配置为服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种面向异构数据的对比联邦学习方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种面向异构数据的对比联邦学习方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种面向异构数据的对比联邦学习方法，其特征在于，包括：
客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；
服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。
2.如权利要求1所述的一种面向异构数据的对比联邦学习方法，其特征在于，所述客户端的当前轮次的局部模型，包括：
客户端根据自身的本地数据进行模型训练，以构建对应的当前轮次的局部模型；
其中，所述本地数据为非独立同分布异构数据。
3.如权利要求1所述的一种面向异构数据的对比联邦学习方法，其特征在于，所述服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型，具体为：
Figure DEST_PATH_IMAGE001
其中，
Figure 655562DEST_PATH_IMAGE002
是所有样本数目，每个客户端上有
Figure DEST_PATH_IMAGE003
个样本(x,y)来自于分布
Figure 706695DEST_PATH_IMAGE004
，K是所有客户端的个数，
Figure DEST_PATH_IMAGE005
是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局部模型，
Figure 631926DEST_PATH_IMAGE006
为联邦学习在服务端第t+1次聚合后的全局模型，
Figure DEST_PATH_IMAGE007
。
4.如权利要求1所述的一种面向异构数据的对比联邦学习方法，其特征在于，所述当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离，具体为：
Figure 43184DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
是当前轮次中第m次局部更新的局部模型，
Figure 42364DEST_PATH_IMAGE010
是当前轮次中第m-1次局部更新的历史局部模型；M是当前轮次的局部模型与下一轮次的局部模型之间相差的局部更新次数；t是联邦学习在服务端的第t次聚合；
Figure DEST_PATH_IMAGE011
与
Figure 513666DEST_PATH_IMAGE012
之间的正余弦距离越小，则两模型之间的相似度越低。
5.如权利要求1所述的一种面向异构数据的对比联邦学习方法，其特征在于，所述当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离，具体为：
Figure DEST_PATH_IMAGE013
与
Figure 863876DEST_PATH_IMAGE014
之间的负余弦距离为：
Figure DEST_PATH_IMAGE015
其中，
Figure 891875DEST_PATH_IMAGE016
是当前轮次中第m次局部更新的局部模型，M是当前轮次的全局模型与下一轮次的全局模型之间相差的局部更新次数；
Figure DEST_PATH_IMAGE017
为联邦学习在服务端第
Figure 260408DEST_PATH_IMAGE018
次聚合后的全局模型；
Figure DEST_PATH_IMAGE019
与
Figure 387764DEST_PATH_IMAGE020
之间的负余弦距离越小，则两模型之间的相似度越高。
6.如权利要求4所述的一种面向异构数据的对比联邦学习方法，其特征在于，为了达到让当前轮次的局部模型远离历史局部模型的同时，且不让当前轮次中第m-1次局部更新的历史局部模型的梯度信息对当前第m次局部更新的局部模型的训练造成影响的目的，引入梯度终止机制，在当前局部更新轮次对历史局部模型
Figure DEST_PATH_IMAGE021
采取梯度终止操作；
当前局部模型与历史局部模型之间的正余弦距离公式更新为：
Figure 287587DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
是对
Figure 40648DEST_PATH_IMAGE024
执行stop-grad操作，
Figure DEST_PATH_IMAGE025
是当前轮次中第m-1次局部更新的历史局部模型，
Figure 279999DEST_PATH_IMAGE026
是当前轮次中第m次局部更新的局部模型。
7.如权利要求1所述的一种面向异构数据的对比联邦学习方法，其特征在于，所述当前局部模型的优化目标表示为：
Figure DEST_PATH_IMAGE027
其中，
Figure 827524DEST_PATH_IMAGE028
是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局部模型，
Figure DEST_PATH_IMAGE029
是当前轮次第m次的局部模型，
Figure 214643DEST_PATH_IMAGE030
是当前轮次第m-1次局部更新的局部模型，M是当前轮次的局部模型与上下一轮次的局部模型之间相差的局部更新次数；
Figure DEST_PATH_IMAGE031
为联邦学习在服务端第
Figure 522128DEST_PATH_IMAGE032
次聚合后的全局模型。
8.一种面向异构数据的对比联邦学习系统，其特征在于，包括：
局部优化模块，被配置为客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的正余弦距离、当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离对当前局部模型进行优化，使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次的局部模型，得到最新的局部模型；
全局更新模块，被配置为服务端获取多个客户端的最新的局部模型进行聚合，更新全局模型。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种面向异构数据的对比联邦学习方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种面向异构数据的对比联邦学习方法中的步骤。
CN202211075909.4A 2022-09-05 2022-09-05 一种面向异构数据的对比联邦学习方法及系统 Active CN115145966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211075909.4A CN115145966B (zh) 2022-09-05 2022-09-05 一种面向异构数据的对比联邦学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211075909.4A CN115145966B (zh) 2022-09-05 2022-09-05 一种面向异构数据的对比联邦学习方法及系统

Publications (2)

Publication Number Publication Date
CN115145966A true CN115145966A (zh) 2022-10-04
CN115145966B CN115145966B (zh) 2022-11-11

Family

ID=83416198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211075909.4A Active CN115145966B (zh) 2022-09-05 2022-09-05 一种面向异构数据的对比联邦学习方法及系统

Country Status (1)

Country Link
CN (1) CN115145966B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196070A (zh) * 2023-11-08 2023-12-08 山东省计算中心（国家超级计算济南中心） 一种面向异构数据的双重联邦蒸馏学习方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798002A (zh) * 2020-05-31 2020-10-20 北京科技大学 一种局部模型占比可控的联邦学习全局模型聚合方法
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习系统
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113705610A (zh) * 2021-07-26 2021-11-26 广州大学 一种基于联邦学习的异构模型聚合方法和系统
CN113837399A (zh) * 2021-10-26 2021-12-24 医渡云（北京）技术有限公司 联邦学习模型的训练方法、装置、系统、存储介质及设备
CN114448601A (zh) * 2022-03-01 2022-05-06 南京航空航天大学 基于端边云架构的分布式联邦学习的安全防御方法及应用
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、系统及存储介质
CN114582011A (zh) * 2021-12-27 2022-06-03 广西壮族自治区公众信息产业有限公司 一种基于联邦学习与边缘计算的行人追踪方法
CN114710330A (zh) * 2022-03-22 2022-07-05 华东师范大学 一种基于异构分层联邦学习的异常检测方法
CN114742237A (zh) * 2022-05-24 2022-07-12 北京百度网讯科技有限公司 联邦学习模型聚合方法、装置、电子设备及可读存储介质
CN114781653A (zh) * 2022-06-21 2022-07-22 平安科技（深圳）有限公司 基于人工智能的模型训练方法、系统、设备及存储介质
US20220237508A1 (en) * 2021-01-28 2022-07-28 Kiarash SHALOUDEGI Servers, methods and systems for second order federated learning
CN114819190A (zh) * 2022-06-21 2022-07-29 平安科技（深圳）有限公司 基于联邦学习的模型训练方法、装置、系统、存储介质
CN114925854A (zh) * 2022-04-02 2022-08-19 同济大学 一种基于梯度相似性度量的联邦学习节点选择方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798002A (zh) * 2020-05-31 2020-10-20 北京科技大学 一种局部模型占比可控的联邦学习全局模型聚合方法
US20220237508A1 (en) * 2021-01-28 2022-07-28 Kiarash SHALOUDEGI Servers, methods and systems for second order federated learning
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习系统
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113705610A (zh) * 2021-07-26 2021-11-26 广州大学 一种基于联邦学习的异构模型聚合方法和系统
CN113837399A (zh) * 2021-10-26 2021-12-24 医渡云（北京）技术有限公司 联邦学习模型的训练方法、装置、系统、存储介质及设备
CN114582011A (zh) * 2021-12-27 2022-06-03 广西壮族自治区公众信息产业有限公司 一种基于联邦学习与边缘计算的行人追踪方法
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、系统及存储介质
CN114448601A (zh) * 2022-03-01 2022-05-06 南京航空航天大学 基于端边云架构的分布式联邦学习的安全防御方法及应用
CN114710330A (zh) * 2022-03-22 2022-07-05 华东师范大学 一种基于异构分层联邦学习的异常检测方法
CN114925854A (zh) * 2022-04-02 2022-08-19 同济大学 一种基于梯度相似性度量的联邦学习节点选择方法及系统
CN114742237A (zh) * 2022-05-24 2022-07-12 北京百度网讯科技有限公司 联邦学习模型聚合方法、装置、电子设备及可读存储介质
CN114781653A (zh) * 2022-06-21 2022-07-22 平安科技（深圳）有限公司 基于人工智能的模型训练方法、系统、设备及存储介质
CN114819190A (zh) * 2022-06-21 2022-07-29 平安科技（深圳）有限公司 基于联邦学习的模型训练方法、装置、系统、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王亚?: "面向数据共享交换的联邦学习技术发展综述", 《无人系统技术》 *
王建飞等: "分布式随机方差消减梯度下降算法topkSVRG", 《计算机科学与探索》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196070A (zh) * 2023-11-08 2023-12-08 山东省计算中心（国家超级计算济南中心） 一种面向异构数据的双重联邦蒸馏学习方法及装置
CN117196070B (zh) * 2023-11-08 2024-01-26 山东省计算中心（国家超级计算济南中心） 一种面向异构数据的双重联邦蒸馏学习方法及装置

Also Published As

Publication number Publication date
CN115145966B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
CN109886343B (zh) 图像分类方法及装置、设备、存储介质
US20190354839A1 (en) Systems and Methods for Slate Optimization with Recurrent Neural Networks
KR101828215B1 (ko) Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치
CN108197427B (zh) 基于深度卷积神经网络的蛋白质亚细胞定位方法和装置
CN111340221B (zh) 神经网络结构的采样方法和装置
CN115145966B (zh) 一种面向异构数据的对比联邦学习方法及系统
CN110659678A (zh) 一种用户行为分类方法、系统及存储介质
CN113361645A (zh) 基于元学习及知识记忆的目标检测模型构建方法及系统
US20230122207A1 (en) Domain Generalization via Batch Normalization Statistics
CN114463540A (zh) 使用神经网络对图像进行分割
WO2023220878A1 (en) Training neural network trough dense-connection based knowlege distillation
CN115660116A (zh) 基于稀疏适配器的联邦学习方法及系统
WO2020090651A1 (ja) 音響モデル学習装置、モデル学習装置、それらの方法、およびプログラム
CN110782016A (zh) 用于优化神经网络架构搜索的方法和装置
KR102293547B1 (ko) 변화 탐지 방법 및 장치
Yang Optimized and Automated Machine Learning Techniques Towards IoT Data Analytics and Cybersecurity
KR20220014744A (ko) 강화 학습을 기반으로 한 데이터 전처리 시스템 및 방법
CN117059169A (zh) 基于参数自适应成长优化器的生物多序列比对方法及系统
CN116400963A (zh) 一种基于负载均衡的模型自动并行方法、设备及存储介质
AU2021103316A4 (en) Remote sensing image scene classification method based on automatic machine learning
CN115577773A (zh) 一种参数推荐方法、装置、计算机设备及存储介质
CN111353585B (zh) 神经网络模型的结构搜索方法和装置
CN114840403A (zh) 系统参数调优的方法、装置及电子设备
CN111539989B (zh) 基于优化方差下降的计算机视觉单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant