CN115829055A - 联邦学习模型训练方法、装置、计算机设备及存储介质 - Google Patents
联邦学习模型训练方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115829055A CN115829055A CN202211574598.6A CN202211574598A CN115829055A CN 115829055 A CN115829055 A CN 115829055A CN 202211574598 A CN202211574598 A CN 202211574598A CN 115829055 A CN115829055 A CN 115829055A
- Authority
- CN
- China
- Prior art keywords
- model
- local
- gradient
- global
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了联邦学习模型训练方法、装置、计算机设备及存储介质。所述方法包括：获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数；利用所述初始参数更新本地模型；随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数；发送本地模型梯度和部分本地模型参数至服务器端，以由服务器端更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数。通过实施本发明实施例的方法可实现采用低时间成本获取性能良好的全局模型，缩短联邦学习整体训练时间。
Description
技术领域
本发明涉及计算机，更具体地说是指联邦学习模型训练方法、装置、计算机设备及存储介质。
背景技术
近年来机器学习、深度学习技术在计算机视觉、自然语言处理等领域得到了迅猛发展。特别是深度学习往往需要大量的训练数据才可以得到性能良好的深度学习模型。联邦学习是一种新的机器学习范式，其目的是保护数据隐私安全的同时解决“数据孤岛”问题，旨在让多个参与方共同训练机器学习模型，同时确保各参与方的本地数据分散化，即各参与方之间的数据不可互相访问。其中FedAvg是最常用的联邦学习算法框架，首先参与训练的客户端从服务器下载全局模型用于本地训练，其次客户端让本地模型在本地数据上进行多次迭代训练，再将本地模型的信息，如模型梯度上传至服务器，然后服务器将接收到的模型梯度加权平均后用于更新全局模型，再将新的全局模型信息发送至各客户端，最后重复上述过程，直至全局模型收敛或达到期望性能。
传统的联邦学习算法框架如FedAvg等，在本地训练中本地模型遍历本地数据至少一次，通常会遍历本地数据多次，客户端才会与服务器通进行通信并传递模型信息，这种方式会造成本地训练时间长，进而造成联邦学习整体训练时间长。特别是面向非独立同分布的训练数据场景时，即客户端间的训练数据是非独立同分布，不同客户端的本地训练数据分布与全局分布存在差异，本地模型目标的最优解与全局模型目标的最优解不一致，这种情况会阻碍联邦学习模型收敛，使其需要更多的通信轮次才能获得最优的全局模型，这种情况导致获得性能良好的全局模型会消耗更多的时间，也就是造成联邦学习整体训练时间长。
因此，有必要设计一种新的方法，实现采用低时间成本获取性能良好的全局模型，缩短联邦学习整体训练时间。
发明内容
本发明的目的在于克服现有技术的缺陷，提供联邦学习模型训练方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：联邦学习模型训练方法，应用于一客户端，包括：
获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数；
利用所述初始参数更新本地模型；
随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数；
发送本地模型梯度和部分本地模型参数至服务器端，以由服务器端更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数。
其进一步技术方案为：所述随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，包括：
将样本数据划分为若干个部分样本数据，以得到若干组数据；
随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数。
其进一步技术方案为：所述发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数，包括：
发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，将不同客户端上传的本地模型梯度和部分本地模型参数分别实施加权平均，并利用加权平均后的模型梯度和少量模型参数更新全局模型，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数。
本发明还提供了联邦学习模型训练方法，应用于一服务器端，包括：
初始化全局模型；
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端；
接收各个客户端上传的本地模型梯度和部分本地模型参数；
对各个客户端上传的本地模型梯度和部分本地模型参数分别进行加权求平均值，以得到加权平均结果；
利用所述加权平均结果更新全局模型；
判断所述全局模型是否收敛；
若所述全局模型未收敛，则执行发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
其进一步技术方案为：所述发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端，包括：
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并将数据划分为若干个部分样本数据，以得到若干组数据；随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
本发明还提供了联邦学习模型训练装置，包括用于执行上述方法的单元。
本发明还提供了一种计算机设备，所述计算机设备包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行上述方法的步骤。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法的步骤。
本发明与现有技术相比的有益效果是：本发明通过获取来自服务器端的全局模型梯度和部分全局模型参数，并利用获取的内容更新本地模型，利用少量数据对本地模型进行迭代训练，并发送训练后的本地模型梯度和部分本地模型参数至服务器端，以由服务器端进行加权求均值，并更新全局模型，实现采用低时间成本获取性能良好的全局模型，缩短联邦学习整体训练时间；由于训练数据的减少，减少客户端的计算成本，有利于部署到计算能力弱的设备上；通过客户端与服务器端间传递模型梯度和少量模型参数，如未参与梯度下降优化，从数据统计中获得的参数，使得各客户端本地模型保持同步更新，所有客户端的本地模型完全一样，确保各客户端本地模型从同一起点开始训练，减轻非独立同分布训练数据的消极影响，进而缩短联邦学习整体训练时间。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的联邦学习模型训练方法的应用场景示意图；
图2为本发明实施例提供的联邦学习模型训练方法的流程示意图；
图3为本发明实施例提供的联邦学习模型训练方法的子流程示意图；
图4为本发明另一实施例提供的联邦学习模型训练方法的流程示意图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的联邦学习模型训练方法的应用场景示意图。图2为本发明实施例提供的联邦学习模型训练方法的示意性流程图。该联邦学习模型训练方法适用于服务器端和客户端交互的场景中，客户端本地模型仅在一个小批量数据上迭代训练一次后就与服务器端进行通信上传模型信息，通过减少本地模型的训练数据量和本地模型在本地数据上的迭代训练次数，显著减少本地模型的训练时间，提升地模型训练速度，进而缩短联邦学习整体的训练时间。其次，客户端与服务器端之间传递模型梯度和少量模型参数，各客户端利用服务器端聚合后的模型梯度和少量模型参数更新本地模型，使各客户端的本地模型保持同步更新，即所有客户端的本地模型完全一致，确保各客户端的本地模型从同一起点开始训练，减轻非独立同分布训练数据的影响，进而缩短联邦学习整体的训练时间。
图2是本发明实施例提供的联邦学习模型训练方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。
S110、获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数。
在本实施例中，初始参数是指来自服务器端的全局模型梯度和部分全局模型参数。
首次获取初始参数时，服务器端会初始化全局模型，再把初始参数传输至客户端。
S120、利用所述初始参数更新本地模型。
在本实施例中，使用模型梯度和少量模型参数进行同步更新模型。其中少量模型参数是指从数据统计中获得的模型参数，而且这些参数的数量远远小于模型梯度的数量。在传统卷积神经网络中，有些参数是从数据统计中获得的，而不是从梯度下降优化中计算得到，例如批归一化层中的参数，包括缩放参数和平移参数。特别是当训练数据是非独立同分布时，不同客户端本地模型的这些从数据统计中获得的参数有所差异，若客户端与服务器间仅交换模型梯度，会导致不同客户端的本地模型有所差别。故本实施例的每一个通信轮次中，客户端与服务器间不仅交换模型梯度还交换少量模型参数，在不增加通信开销的前提下，确保各客户端的本地模型保持同步更新，即所有客户端的本地模型完全一致。
S130、随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数。
在本实施例中，本地模型梯度和部分本地模型参数是指更新后的本地模型经过训练后得到的梯度和参数。
在一实施例中，请参阅图3，上述的步骤S130可包括步骤S131～S132。
S131、将样本数据划分为若干个部分样本数据，以得到若干组数据。
在本实施例中，若干组数据是指样本数据划分形成的部分样本数据。
S132、随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数。
在每一轮通信中，客户端c∈C首先将样本数量为nc的本地数据Dc划分为Nc个批量尺寸为b＜＜nc的小批量数据Mc∈(Dc)。在本地模型训练中，客户端随机选取一个小批量数据用于训练，本地模型在该小批量数据上只迭代训练一次,即本地模型仅遍历部分本地数据一次，并得到本地模型梯度和少量模型参数。
S140、发送本地模型梯度和部分本地模型参数至服务器端，以由服务器端更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述步骤S110。
在本实施例中，发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，将不同客户端上传的本地模型梯度和部分本地模型参数分别实施加权平均，并利用加权平均后的模型梯度和少量模型参数更新全局模型，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数。
具体地，在第r轮通信中，参与训练的客户端接收服务器第r-1轮的全局模型梯度和少量模型参数。客户端利用全局模型梯度和少量模型参数同步更新本地模型。客户端从本地训练数据中随机选取一个小批量数据。本地模型在该小批量数据上迭代训练一次并得到本地模型梯度和少量模型参数。客户端将本地模型梯度和少量模型参数发送至服务器。
本实施例的方法进一步提升联邦学习的实用性，大幅提升联邦学习中本地模型的训练速度，同时减少客户端中参与本地模型训练的数据量，利于将联邦学习部署在计算能力弱、存储内存小的客户端设备。本发明提出的框架不仅缩短联邦学习整体的训练时间，而且面向非独立同分布训练数据场景时也可以保证全局模型的性能。
首先，客户端本地模型仅在一个小批量数据上迭代训练一次后就与服务器进行通信上传模型信息，通过减少本地模型的训练数据量和本地模型在本地数据上的迭代训练次数，显著减少本地模型的训练时间，提升地模型训练速度，进而缩短联邦学习整体的训练时间。其次，客户端与服务器间传递模型梯度和少量模型参数，各客户端利用服务器聚合后的模型梯度和少量模型参数更新本地模型，该技术使各客户端的本地模型保持同步更新(即所有客户端的本地模型完全一致)，确保各客户端的本地模型从同一起点开始训练，减轻非独立同分布训练数据的影响，进而缩短联邦学习整体的训练时间。
上述的联邦学习模型训练方法，通过获取来自服务器端的全局模型梯度和部分全局模型参数，并利用获取的内容更新本地模型，利用少量数据对本地模型进行迭代训练，并发送训练后的本地模型梯度和部分本地模型参数至服务器端，以由服务器端进行加权求均值，并更新全局模型，实现采用低时间成本获取性能良好的全局模型，缩短联邦学习整体训练时间；由于训练数据的减少，减少客户端的计算成本，有利于部署到计算能力弱的设备上；通过客户端与服务器端间传递模型梯度和少量模型参数，如未参与梯度下降优化，从数据统计中获得的参数，使得各客户端本地模型保持同步更新，所有客户端的本地模型完全一样，确保各客户端本地模型从同一起点开始训练，减轻非独立同分布训练数据的消极影响，进而缩短联邦学习整体训练时间。
图4是本发明另一实施例提供的一种联邦学习模型训练方法的流程示意图。如图4所示，本实施例的联邦学习模型训练方法包括步骤S210-S260，本实施例与上述实施例的区别在于，本实施例从服务器端的角度阐述整个方法，上述实施例是从客户端的角度阐述整个方法，其余细节均类似。下面详细阐述步骤S210～S260
S210、初始化全局模型；
S220、发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端；
S230、接收各个客户端上传的本地模型梯度和部分本地模型参数；
S240、对各个客户端上传的本地模型梯度和部分本地模型参数分别进行加权求平均值，以得到加权平均结果。
在本实施例中，加权平均结果是指各个客户端上传的本地模型梯度和部分本地模型参数分别进行加权求平均值所形成的结果。
S250、利用所述加权平均结果更新全局模型；
S260、判断所述全局模型是否收敛；
若所述全局模型未收敛，则执行步骤S220。
若所述全局模型收敛，则执行结束步骤。
具体地，服务器端接收各个客户端上传的本地模型梯度和少量模型参数。服务器端将各客户端上传的本地模型梯度和少量模型参数分别实施加权平均。服务器端利用加权平均后的模型梯度和少量模型参数更新全局模型。服务器端将全局模型梯度和少量模型参数发送至各客户端。
整个方法的流程为：服务器端初始化模型；服务器端发送全局模型梯度和少量模型参数至各客户端；各客户端接收全局模型梯度和少量模型参数同步更新本地模型；各客户端的本地模型在随机选取的小批量数据上迭代训练一次并得到本地模型梯度和少量模型参数；各客户端将本地模型梯度和少量模型参数发送至服务器端；服务器端分别加权平均各客户端上传的本地模型梯度和少量模型参数；服务器端利用加权平均后的模型梯度和少量模型参数更新全局模型。重复梯度和参数发送和更新模型以及加权求均的步骤，直到全局模型收敛或者达到期望性能。
举个例子：使用的数据是外周围血细胞图像分类公开数据集，该数据集包含8个不同类别的血细胞，所有图像都被临床病理学专家批注。实验中为了模拟非独立同分布的训练数据，设置8个客户端和1个服务器端，其中每个客户端的本地训练数据仅来源于该数据集所有类别之一，且各个客户端的本地训练数据包含的类别不同，测试数据包含所有类别。
实验结果如表1所示，其中训练时间代表单个客户端本地训练一次所需要的时间，训练数据量代表单个客户端所需的本地训练数据量。准确率代表全局模型的准确率，通信轮次代表达到该准确率所需要的最少的通信轮次个数，整体训练时间代表全局模型达到该准确率时单个客户端所需要的训练时间总和；在本次实验中，每个客户端的小批量数据集尺寸b为32，小批量数据个数Nc为31～84中任一个。实验结果表明本实施例的模型相比传统联邦学习FedAvg大幅缩短了本地训练时间并减少了本地训练所需的数据量。而且在面对非独立同分布训练数据场景时，本实施例的模型与传统联邦学习FedAvg达到相当的准确率时，本实施例的模型的总体训练时间远少于传统联邦学习FedAvg”。故本实施例的模型不仅缩短联邦学习整体训练时间，而且面对非独立同分布训练数据时也可以保证全局模型的准确性。
表1.联邦学习模型与FedAvg结果对比
对应于以上联邦学习模型训练方法，本发明还提供一种联邦学习模型训练装置。该联邦学习模型训练装置包括用于执行上述联邦学习模型训练方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，该联邦学习模型训练装置，包括用于执行上述第一个实施例方法的单元；
另外，该装置可以被配置于服务器中，该联邦学习模型训练装置包括用于执行第二个实施例的方法的单元。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述联邦学习模型训练装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述联邦学习模型训练装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种联邦学习模型训练方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种联邦学习模型训练方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数；利用所述初始参数更新本地模型；随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数；发送本地模型梯度和部分本地模型参数至服务器端，以由服务器端更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数。
在一实施例中，处理器502在实现所述随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数步骤时，具体实现如下步骤：
将样本数据划分为若干个部分样本数据，以得到若干组数据；随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数
在一实施例中，处理器502在实现所述发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数步骤时，具体实现如下步骤：
发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，将不同客户端上传的本地模型梯度和部分本地模型参数分别实施加权平均，并利用加权平均后的模型梯度和少量模型参数更新全局模型，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数。
另外，在另一个实施例中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
初始化全局模型；发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端；接收各个客户端上传的本地模型梯度和部分本地模型参数；对各个客户端上传的本地模型梯度和部分本地模型参数分别进行加权求平均值，以得到加权平均结果；利用所述加权平均结果更新全局模型；判断所述全局模型是否收敛；若所述全局模型未收敛，则执行发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
在一实施例中，处理器502在实现所述发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端步骤时，具体实现如下步骤：
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并将数据划分为若干个部分样本数据，以得到若干组数据；随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数；利用所述初始参数更新本地模型；随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数；发送本地模型梯度和部分本地模型参数至服务器端，以由服务器端更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数步骤时，具体实现如下步骤：
将样本数据划分为若干个部分样本数据，以得到若干组数据；随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数步骤时，具体实现如下步骤：
发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，将不同客户端上传的本地模型梯度和部分本地模型参数分别实施加权平均，并利用加权平均后的模型梯度和少量模型参数更新全局模型，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数。
另外，在另一实施例中，该计算机程序被处理器执行时使处理器执行如下步骤：
初始化全局模型；
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端；接收各个客户端上传的本地模型梯度和部分本地模型参数；对各个客户端上传的本地模型梯度和部分本地模型参数分别进行加权求平均值，以得到加权平均结果；利用所述加权平均结果更新全局模型；判断所述全局模型是否收敛；若所述全局模型未收敛，则执行发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
在一实施例中，所述处理器在执行所述计算机程序而实现所述发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端步骤时，具体实现如下步骤：
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并将数据划分为若干个部分样本数据，以得到若干组数据；随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.联邦学习模型训练方法，应用于一客户端，其特征在于，包括：
获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数；
利用所述初始参数更新本地模型；
随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数；
发送本地模型梯度和部分本地模型参数至服务器端，以由服务器端更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器端的全局模型梯度和部分全局模型参数，以得到初始参数。
2.根据权利要求1所述的联邦学习模型训练方法，其特征在于，所述随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，包括：
将样本数据划分为若干个部分样本数据，以得到若干组数据；
随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数。
3.根据权利要求1所述的联邦学习模型训练方法，其特征在于，所述发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，发送所述全局模型梯度以及部分全局模型参数，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数，包括：
发送本地模型梯度和部分本地模型参数至服务器，以由服务器更新全局模型，当全局模型未收敛时，将不同客户端上传的本地模型梯度和部分本地模型参数分别实施加权平均，并利用加权平均后的模型梯度和少量模型参数更新全局模型，并执行所述获取来自服务器的全局模型梯度和部分全局模型参数，以得到初始参数。
4.联邦学习模型训练方法，应用于一服务器端，其特征在于，包括：
初始化全局模型；
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端；
接收各个客户端上传的本地模型梯度和部分本地模型参数；
对各个客户端上传的本地模型梯度和部分本地模型参数分别进行加权求平均值，以得到加权平均结果；
利用所述加权平均结果更新全局模型；
判断所述全局模型是否收敛；
若所述全局模型未收敛，则执行发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
5.根据权利要求4所述的联邦学习模型训练方法，其特征在于，所述发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并随机选取部分样本数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端，包括：
发送所述全局模型梯度和部分全局模型参数至客户端，以使得客户端根据所述全局模型梯度和部分全局模型参数更新本地模型，并将数据划分为若干个部分样本数据，以得到若干组数据；随机选取一组数据迭代训练所述本地模型，以得到本地模型梯度和部分本地模型参数，上传本地模型梯度和部分本地模型参数至服务器端。
6.联邦学习模型训练装置，其特征在于，包括用于执行如权利要求1至3任一项所述方法的单元，或者是包括用于执行如权利要求4至5任一项所述方法的单元。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如权利要求1-3任一项所述方法的步骤或是执行如权利要求4-5任一项所述方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-3中任一项所述方法的步骤，或者是实现如权利要求4-5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574598.6A CN115829055B (zh) | 2022-12-08 | 2022-12-08 | 联邦学习模型训练方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574598.6A CN115829055B (zh) | 2022-12-08 | 2022-12-08 | 联邦学习模型训练方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115829055A true CN115829055A (zh) | 2023-03-21 |
| CN115829055B CN115829055B (zh) | 2023-08-01 |
Family
ID=85545525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211574598.6A Active CN115829055B (zh) | 2022-12-08 | 2022-12-08 | 联邦学习模型训练方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115829055B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756536A (zh) * | 2023-08-17 | 2023-09-15 | 浪潮电子信息产业股份有限公司 | 数据识别方法、模型训练方法、装置、设备及存储介质 |
| CN117852627A (zh) * | 2024-03-05 | 2024-04-09 | 湘江实验室 | 一种预训练模型微调方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011599A (zh) * | 2021-03-23 | 2021-06-22 | 上海嗨普智能信息科技股份有限公司 | 基于异构数据的联邦学习系统 |
| CN113435604A (zh) * | 2021-06-16 | 2021-09-24 | 清华大学 | 一种联邦学习优化方法及装置 |
| CN114819190A (zh) * | 2022-06-21 | 2022-07-29 | 平安科技（深圳）有限公司 | 基于联邦学习的模型训练方法、装置、系统、存储介质 |
-
2022
- 2022-12-08 CN CN202211574598.6A patent/CN115829055B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011599A (zh) * | 2021-03-23 | 2021-06-22 | 上海嗨普智能信息科技股份有限公司 | 基于异构数据的联邦学习系统 |
| CN113435604A (zh) * | 2021-06-16 | 2021-09-24 | 清华大学 | 一种联邦学习优化方法及装置 |
| CN114819190A (zh) * | 2022-06-21 | 2022-07-29 | 平安科技（深圳）有限公司 | 基于联邦学习的模型训练方法、装置、系统、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 梁峰 等: "基于联邦学习的推荐系统综述", 《中国科学：信息科学》, vol. 52, no. 5 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756536A (zh) * | 2023-08-17 | 2023-09-15 | 浪潮电子信息产业股份有限公司 | 数据识别方法、模型训练方法、装置、设备及存储介质 |
| CN116756536B (zh) * | 2023-08-17 | 2024-04-26 | 浪潮电子信息产业股份有限公司 | 数据识别方法、模型训练方法、装置、设备及存储介质 |
| CN117852627A (zh) * | 2024-03-05 | 2024-04-09 | 湘江实验室 | 一种预训练模型微调方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115829055B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115829055B (zh) | 联邦学习模型训练方法、装置、计算机设备及存储介质 | |
| US20210232929A1 (en) | Neural architecture search | |
| CN110956202B (zh) | 基于分布式学习的图像训练方法、系统、介质及智能设备 | |
| WO2023138560A1 (zh) | 风格化图像生成方法、装置、电子设备及存储介质 | |
| CN106203298A (zh) | 生物特征识别方法及装置 | |
| CN111914936B (zh) | 语料数据的数据特征增强方法、装置及计算机设备 | |
| CN112163637B (zh) | 基于非平衡数据的图像分类模型训练方法、装置 | |
| EP4386579A1 (en) | Retrieval model training method and apparatus, retrieval method and apparatus, device and medium | |
| CN107665349B (zh) | 一种分类模型中多个目标的训练方法和装置 | |
| WO2022217210A1 (en) | Privacy-aware pruning in machine learning | |
| CN116187483A (zh) | 模型训练方法、装置、设备、介质和程序产品 | |
| CN111224905A (zh) | 一种大规模物联网中基于卷积残差网络的多用户检测方法 | |
| CN112348079A (zh) | 数据降维处理方法、装置、计算机设备及存储介质 | |
| CN112199154A (zh) | 一种基于分布式协同采样中心式优化的强化学习训练系统及方法 | |
| CN113850372A (zh) | 神经网络模型训练方法、装置、系统和存储介质 | |
| CN116522988A (zh) | 基于图结构学习的联邦学习方法、系统、终端及介质 | |
| CN114492152A (zh) | 更新网络模型的方法、图像分类的方法、语言建模的方法 | |
| CN114528893A (zh) | 机器学习模型训练方法、电子设备及存储介质 | |
| CN114758130B (zh) | 图像处理及模型训练方法、装置、设备和存储介质 | |
| EP4091105A1 (en) | Model pool for multimodal distributed learning | |
| CN116561622A (zh) | 一种面向类不平衡数据分布的联邦学习方法 | |
| CN114723074B (zh) | 聚类联邦学习框架下的主动学习客户选择方法和装置 | |
| CN116128044A (zh) | 一种模型剪枝方法、图像处理方法及相关装置 | |
| CN113657136A (zh) | 识别方法及装置 | |
| CN113850390A (zh) | 联邦学习系统中共享数据的方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |