CN111709535A - 基于演化计算的联邦学习方法、装置、中心服务器及介质 - Google Patents
基于演化计算的联邦学习方法、装置、中心服务器及介质 Download PDFInfo
- Publication number
- CN111709535A CN111709535A CN202010567740.9A CN202010567740A CN111709535A CN 111709535 A CN111709535 A CN 111709535A CN 202010567740 A CN202010567740 A CN 202010567740A CN 111709535 A CN111709535 A CN 111709535A
- Authority
- CN
- China
- Prior art keywords
- hyper
- parameter
- parameters
- target
- participants
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于演化计算的联邦学习方法、装置、中心服务器及介质，所述方法包括：基于分组策略将参与联邦学习的各个参与方进行分组，获取超参数集，将超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型，基于各个子目标模型的性能指标、分组策略以及超参数集进行迭代演化计算，得到目标超参数，最后发送目标超参数至参与联邦学习的各个参与方，以供参与方基于所述目标超参数确定各自的初始模型参数，各个参与方基于初始模型参数进行联邦学习得到目标模型。通过演化计算提升了联邦学习中超参数优化效率，同时显著提升了联邦学习模型的性能。
Description
技术领域
本发明涉及金融科技领域，尤其涉及一种基于演化计算的联邦学习方法、装置、中心服务器及可读存储介质。
背景技术
在联邦学习中，往往使用到诸如神经网络等复杂的模型。此类模型有大量的超参数，如学习率，网络层数，每层卷积核维度等，现有的联邦学习算法只能在设定好的确定的超参数上训练神经网络。由于人为设定的固定的超参数往往不是最优的超参数，因此在人为给定的超参数下训练的联邦学习模型往往不能达到最好的效果。为了得到好的联邦学习模型，需要不断人为凭经验调整超参数，并重新进行联邦学习。整个过程费时费力，成本高昂，且最终的性能指标难以保证。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于演化计算的联邦学习方法、装置、中心服务器及可读存储介质，旨在解决现有的联邦学习中确定超参数效率较低，影响联邦学习性能指标的技术问题。
为实现上述目的，本发明提供一种基于演化计算的联邦学习方法，所述的基于演化计算的联邦学习方法包括以下步骤：
获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方；
获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型；
基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数；
发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。
进一步地，所述基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数的步骤包括：
基于所述各个子目标模型的性能指标以及所述超参数集进行演化计算，确定新的分组策略以及待保留的超参数，并基于所述待保留的超参数更新所述超参数集；
基于新的分组策略以及更新后的超参数集进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。
进一步地，所述基于各个子目标模型的性能指标以及所述超参数集进行演化计算，确定新的分组策略的步骤包括：
确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待淘汰超参数；
将所述待淘汰超参数对应的参与方重新进行分组，以更新所述分组策略。
进一步地，所述基于所述各个子目标模型的性能指标以及所述超参数集进行演化计算，确定待保留的超参数的步骤包括：
确定所述各个子目标模型的性能指标；
根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待保留的超参数。
进一步地，所述基于所述待保留的超参数更新所述超参数集的步骤包括：
基于所述待保留的超参数确定扩充超参数；
基于所述待保留的超参数以及所述扩充超参数，更新所述超参数集。
进一步地，所述基于所述待保留的超参数确定扩充超参数的步骤包括：
在所述待保留的超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，
在所述待保留的超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。
进一步地，所述基于所述待保留的超参数以及所述扩充超参数，更新所述超参数集的步骤包括：
获取随机超参数，并将所述待保留的超参数、所述扩充超参数以及所述随机超参数作为更新后的所述超参数集；
所述获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方的步骤包括：
将更新后的所述超参数集中的各个超参数分别发送至不同分组中的参与方。
进一步地，所述直到检测到迭代停止条件，得到目标超参数的步骤包括：
当检测到当前分组数量等于预设数量时，停止迭代演化计算；
基于当前各个子目标模型的性能指标，在当前超参数集中确定所述目标超参数。
进一步地，所述基于演化计算的联邦学习装置包括：
分组模块，用于获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方；
联邦学习模块，用于获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型；
迭代演化计算模块，用于基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数；
发送模块，用于发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。
此外，为实现上述目的，本发明还提供一种基于演化计算的联邦学习中心服务器，所述中心服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被所述处理器执行时实现上述任一项所述的基于演化计算的联邦学习方法的步骤。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被处理器执行时实现上述任一项所述的基于演化计算的联邦学习方法的步骤。
本发明获取分组策略，获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方，而后获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型，接下来基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数，最后发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。通过演化计算实现在联邦学习优化模型参数的基础上，同步优化联邦学习的模型超参数，从而避免人为手动调整超参数，在提升联邦学习中超参数优化效率的同时，显著提升了联邦学习模型的性能。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中中心服务器的结构示意图；
图2为本发明基于演化计算的联邦学习方法第一实施例的流程示意图；
图3为本发明基于演化计算的联邦学习方法一实施例中基于演化计算的联邦学习的流程示意图；
图4为本发明基于演化计算的联邦学习装置实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境中中心服务器的结构示意图。
如图1所示，该中心服务器可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的目标检测系统结构并不构成对中心服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于演化计算的联邦学习程序。
在图1所示的中心服务器中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接用户端，与用户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于演化计算的联邦学习程序。
在本实施例中，中心服务器包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的基于演化计算的联邦学习程序，其中，处理器1001调用存储器1005中存储的基于演化计算的联邦学习程序时，执行本申请各个实施例提供的基于演化计算的联邦学习方法的步骤。
本发明还提供一种基于演化计算的联邦学习方法，参照图2，图2为本发明基于演化计算的联邦学习方法第一实施例的流程示意图。
本发明实施例提供了基于演化计算的联邦学习方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，该基于演化计算的联邦学习方法包括：
步骤S100，获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方；
在本实施例中，有多个联邦学习参与方和一个中心服务器，假设有n个参与方，用
中心服务器用S表示。每一个参与方有自己的本地私有训练数据。所有的私有训练数据满足独立同分布，中心服务器存储有公开的验证数据集，用于验证训练好的联邦学习模型的性能。分组策略指定分组数量，以及各个分组中包括哪些参与方。首次进行分组时，分组策略可以为将所有n个参与方平均分组，假设分为k组，每一组有t＝n/k个参与方。分组依据可以是根据参与方之间的网络链接情况进行分组，网络延迟低的t个参与方为一组，或者分组依据也可以是根据参与方数据量，使得每一组所有参与方的总训练数据量近似相等。需要说明的是，当n个参与方无法平均分配时，余下的参与方分别随机分配到多个分组中。
步骤S200，获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型；
在本实施例中，获取超参数集，超参数集中包括的超参数与分组数量相等，需要说明的是，首次获取的这些超参数是根据历史经验预先设置好的。超参数进行向量转化，神经网络的超参数包括学习率，网络层数，每层卷积核维度等，在进行向量转化前，可以进行简单处理，如把学习率l取log对数，用l的对数logl来间接存储学习率，这样便于向量转化。向量转化采用现有技术，如进行Gray编码，得到多个超参数ω，第j组参与方超参数记为ωj。中心服务器S记录所有的超参数，并且把生成的超参数向量发送给对应组的每一个参与方Pi。每一组的所有参与方根据接收到的超参数向量，对其进行解码得到超参数，利用超参数初始化本地机器学习模型参数，每一组参与方之间进行联邦学习，直至模型收敛，停止联邦学习，输出此联邦学习的模型。这样，每一组得到一个联邦学习模型，记为子目标模型。
步骤S300，基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数。
具体地，步骤S300包括：
步骤S310，基于所述各个子目标模型的性能指标以及所述超参数集进行演化计算，确定新的分组策略以及待保留的超参数，并基于所述待保留的超参数更新所述超参数集；
在本实施例中，利用演化计算的原理根据各个子目标模型的性能指标，在超参数集中确定待保留的超参数，并根据待保留的超参数优化超参数集，同时根据各个子目标模型的性能指标对超参数进行筛选从而更新分组策略。
具体地，步骤S310包括：
步骤S311，确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待淘汰超参数；
步骤S312，将所述待淘汰超参数对应的参与方重新进行分组，以更新所述分组策略。
在本实施例中，每组联邦学习参与方将联邦学习中训练好的子目标模型发送给中心服务器，中心服务器收到各组的子目标模型后，将各个子目标模型分别在验证数据集上测试，得到子目标模型的性能指标，如准确率，F1分数等。中心服务器依据子目标模型的性能指标由优到劣，将各个子目标模型对应的超参数排序，其中，每次可以选择一个性能指标，也可以选择多个性能指标参考。进一步地，在排序后的超参数中，将模型的性能指标最差的子目标模型对应的超参数确定为待淘汰超参数，中心服务器将待淘汰超参数对应的分组中的参与方随机重新平均分配到其它组中，进而更新了分组策略，此时的分组总数量减1。
进一步地，步骤S310包括：
步骤S313，确定所述各个子目标模型的性能指标；
步骤S314，根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待保留的超参数。
在本实施例中，中心服务器依据子目标模型的性能指标由优到劣，将各个子目标模型对应的超参数排序，根据排序后的超参数确定待保留的超参数。待保留的超参数包括两部分，第一部分：在排序后的超参数中，选取一定数量性能最优的超参数；第二部分，在排序后的超参数中，随机选取一定数量性能较优的超参数。其中，保留的具体数量根据实际情况确定。举例说明，在排序后的超参数中，选取性能最好的20％超参数保留下来，然后在性能排序20％-60％的超参数中，随机选取一半的超参数保留下来，那么在这个例子中，第一预设数量等于超参数的总数量的40％，超参数的总数量与分组数量相等，即超参数的总数量的40％也就是分组数量的40％。
步骤S315，基于所述待保留的超参数确定扩充超参数；
步骤a，在所述待保留的超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，
步骤b，在所述待保留的超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。
在本实施例中，中心服务器使用交叉，变异的方法，根据待保留的超参数生成扩充超参数。其中，演化计算的交叉是一种根据两个个体通过交叉生成新的个体的方法。在本实施例中，在待保留的超参数中选取两个超参数，随机交换超参数相应位置的数值，将交换数值之后得到的一个超参数输出，作为一个扩充超参数。演化计算的变异为对一个超参向量随机选取几个位置，将数值随机改变，生成变异后的新超参数。扩充超参数的个数，根据实际情况指定，如超参数的总数量的40％，超参数的总数量与分组数量相等，即超参数的总数量的40％也就是分组数量的40％。
步骤S316，基于所述待保留的超参数以及所述扩充超参数，更新所述超参数集。
具体地，步骤S316包括：
步骤c，获取随机超参数，并将所述待保留的超参数、所述扩充超参数以及所述随机超参数作为更新后的所述超参数集；
在本实施例中，计算分组的数量，并求分组的数量与待保留的超参数对应的第一预设数量以及扩充超参数对应的第二预设数量的差值，该差值作为第三预设数量，也就是说，第一预设值、第二预设值和第三预设值的和等于分组的数量。例如，第一预设值等于分组数量的40％，第二预设值等于分组数量的40％，则第三预设值等于分组数量的20％.。接下来，中心服务器获取与第三预设数量相等的随机超参数。
进一步地，待保留的超参数是本轮演化计算中保留下来的相对性能较优的超参数，扩充超参数是根据待保留的超参数进行交叉和/或变异操作得到的，随机超参数是根据历史经验值预先设置的，将待保留的超参数、扩充超参数以及随机超参数作为新一轮演化计算中各分组所需的超参数，即更新所述超参数集。中心服务器将这些超参数进行向量转化，得到超参数向量，然后随机将这些超参数向量发送到不同的分组，再次进行新一轮的联邦学习及演化计算。
所述步骤S20包括：将更新后的所述超参数集中的各个超参数分别发送至不同分组中的参与方。
步骤S320，基于新的分组策略以及更新后的超参数集进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。
具体地，步骤S320包括：
步骤S321，当检测到当前分组数量等于预设数量时，停止迭代演化计算；
步骤S322，基于当前各个子目标模型的性能指标，在当前超参数集中确定所述目标超参数。
在本实施例中，将待保留的超参数、扩充超参数以及随机超参数作为新一轮演化计算中各组所需的超参数，继续执行步骤S100，进行迭代演化计算。在迭代演化计算的过程中，每一轮迭代后分组数量减少1组，当检测到当前分组只剩下2组时，则停止迭代演化计算，即预设数量等于2。
中心服务器依据最后这2个分组联邦学习得到的2子目标模型的性能指标进行比较，将模型性能好的子目标模型对应的超参数作为目标超参数。
本实施例将联邦学习的众多参与方分为多个组，每一组在一个超参数定义的模型上进行联邦学习。不同组之间的超参数不同，中心服务器可以生成超参数向量，通过验证集测试，比较不同超参数的优劣，并且可以筛选保留优质的超参数，同时随机生成新的超参数。在不断演化计算迭代过程中，不同组逐渐合并，最终所有分组的参与方合并为一个大组，且超参数优胜劣汰，最终得到合适的超参数。
举例说明，参照图3，本发明的基于演化计算的联邦学习方法处理过程如下：
第1步：中心服务器获取各个分组各自对应的超参数，并进行向量转换生成超参数向量；
第2步：中心服务器获取超参数集，并进行向量转换生成超参数向量；
第3步：发送各个超参数向量至对应的分组中的参与方，分组中的参与方之间进行联邦学习，得到各个分组对应的子目标模型；
第4步：中心服务器根据各个子目标模型的模型性能，对所有超参数进行排序，确定待保留的超参数，并更新超参数集以及分组策略；
第5步：如果当前分组数量等于预设数量时，则在所有超参数中选择性能最优的超参数作为目标超参数；
第6步：否则，进行迭代演化计算，继续执行第1步。
步骤S400，发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。
在本实施例中，通过演化计算实现在联邦学习优化模型参数的基础上，同步优化联邦学习的模型超参数，从而确定了目标超参数，而后，中心服务器对目标超参数进行向量转化，得到目标超参数向量，并发送目标超参数向量至参与联邦学习的所有参与方。
进一步地，参与方在接收到目标超参数向量后，对其进行解码得到目标超参数，利用目标超参数初始化本地机器学习模型参数，所有参与方之间联合进行联邦学习，直至模型收敛，停止联邦学习，输出联邦学习的目标模型。
本实施例提出的基于演化计算的联邦学习方法，获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方，而后获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型，接下来基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数，最后发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。通过演化计算实现在联邦学习优化模型参数的基础上，同步优化联邦学习的模型超参数，从而避免人为手动调整超参数，在提升联邦学习中超参数优化效率的同时，显著提升了联邦学习模型的性能。
本发明进一步提供一种基于演化计算的联邦学习装置，参照图4，图4为本发明基于演化计算的联邦学习装置实施例的功能模块示意图。
分组模块10，用于获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方；
联邦学习模块20，用于获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型；
迭代演化计算模块30，用于基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数；
发送模块40，用于发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。
进一步地，迭代演化计算模块30还用于：
基于所述各个子目标模型的性能指标以及所述超参数集进行演化计算，确定新的分组策略以及待保留的超参数，并基于所述待保留的超参数更新所述超参数集；
基于新的分组策略以及更新后的超参数集进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。
进一步地，迭代演化计算模块30还用于：
确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待淘汰超参数；
将所述待淘汰超参数对应的参与方重新进行分组，以更新所述分组策略。
进一步地，迭代演化计算模块30还用于：
确定所述各个子目标模型的性能指标；
根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待保留的超参数。
进一步地，迭代演化计算模块30还用于：
基于所述待保留的超参数确定扩充超参数；
基于所述待保留的超参数以及所述扩充超参数，更新所述超参数集。
进一步地，迭代演化计算模块30还用于：
在所述待保留的超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，
在所述待保留的超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。
进一步地，迭代演化计算模块30还用于：
获取随机超参数，并将所述待保留的超参数、所述扩充超参数以及所述随机超参数作为更新后的所述超参数集；
所述获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方的步骤包括：
将更新后的所述超参数集中的各个超参数分别发送至不同分组中的参与方。
进一步地，迭代演化计算模块30还用于：
当检测到当前分组数量等于预设数量时，停止迭代演化计算；
基于当前各个子目标模型的性能指标，在当前超参数集中确定所述目标超参数。
此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被处理器执行时实现上述各个实施例中基于演化计算的联邦学习方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台系统设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (11)
1.一种基于演化计算的联邦学习方法，应用于中心服务器，其特征在于，包括：
获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方；
获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型；
基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数；
发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。
2.如权利要求1所述的基于演化计算的联邦学习方法，其特征在于，所述基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数的步骤包括：
基于所述各个子目标模型的性能指标以及所述超参数集进行演化计算，确定新的分组策略以及待保留的超参数，并基于所述待保留的超参数更新所述超参数集；
基于新的分组策略以及更新后的超参数集进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。
3.如权利要求2所述的基于演化计算的联邦学习方法，其特征在于，所述基于各个子目标模型的性能指标以及所述超参数集进行演化计算，确定新的分组策略的步骤包括：
确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待淘汰超参数；
将所述待淘汰超参数对应的参与方重新进行分组，以更新所述分组策略。
4.如权利要求2所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述各个子目标模型的性能指标以及所述超参数集进行演化计算，确定待保留的超参数的步骤包括：
确定所述各个子目标模型的性能指标；
根据所述各个子目标模型的性能指标对所述超参数集中的超参数进行排序，在排序后的各个超参数中得到待保留的超参数。
5.如权利要求2所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述待保留的超参数更新所述超参数集的步骤包括：
基于所述待保留的超参数确定扩充超参数；
基于所述待保留的超参数以及所述扩充超参数，更新所述超参数集。
6.如权利要求5所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述待保留的超参数确定扩充超参数的步骤包括：
在所述待保留的超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，
在所述待保留的超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。
7.如权利要求5所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述待保留的超参数以及所述扩充超参数，更新所述超参数集的步骤包括：
获取随机超参数，并将所述待保留的超参数、所述扩充超参数以及所述随机超参数作为更新后的所述超参数集；
所述获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方的步骤包括：
将更新后的所述超参数集中的各个超参数分别发送至不同分组中的参与方。
8.如权利要求2至7中任一项所述的基于演化计算的联邦学习方法，其特征在于，所述直到检测到迭代停止条件，得到目标超参数的步骤包括：
当检测到当前分组数量等于预设数量时，停止迭代演化计算；
基于当前各个子目标模型的性能指标，在当前超参数集中确定所述目标超参数。
9.一种基于演化计算的联邦学习装置，其特征在于，所述基于演化计算的联邦学习装置包括：
分组模块，用于获取分组策略，基于所述分组策略将参与联邦学习的各个参与方进行分组，其中，各个分组至少包括2个参与方；
联邦学习模块，用于获取超参数集，将所述超参数集中的各个超参数分别发送至不同分组中的参与方，以供不同分组中的参与方基于接收到的超参数进行联邦学习，得到各个分组各自对应的子目标模型；
迭代演化计算模块，用于基于各个子目标模型的性能指标、所述分组策略以及所述超参数集进行迭代演化计算，得到目标超参数；
发送模块，用于发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。
10.一种中心服务器，其特征在于，所述中心服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于演化计算的联邦学习方法的步骤。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储有所述基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被处理器执行时实现如权利要求1至8中任一项所述的基于演化计算的联邦学习方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567740.9A CN111709535A (zh) | 2020-06-19 | 2020-06-19 | 基于演化计算的联邦学习方法、装置、中心服务器及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567740.9A CN111709535A (zh) | 2020-06-19 | 2020-06-19 | 基于演化计算的联邦学习方法、装置、中心服务器及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111709535A true CN111709535A (zh) | 2020-09-25 |
Family
ID=72542002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010567740.9A Pending CN111709535A (zh) | 2020-06-19 | 2020-06-19 | 基于演化计算的联邦学习方法、装置、中心服务器及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709535A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884163A (zh) * | 2021-03-18 | 2021-06-01 | 中国地质大学（北京） | 基于联邦机器学习算法与云端反馈的组合服务评估方法与系统 |
| CN113033819A (zh) * | 2021-03-25 | 2021-06-25 | 支付宝(杭州)信息技术有限公司 | 基于异构模型的联邦学习方法、装置及介质 |
| CN113887747A (zh) * | 2021-10-21 | 2022-01-04 | 新智我来网络科技有限公司 | 基于联合学习的数据融合方法及装置 |
| WO2023055047A1 (en) * | 2021-09-29 | 2023-04-06 | Samsung Electronics Co., Ltd. | Prediction model training method, information prediction method and corresponding device |
-
2020
- 2020-06-19 CN CN202010567740.9A patent/CN111709535A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884163A (zh) * | 2021-03-18 | 2021-06-01 | 中国地质大学（北京） | 基于联邦机器学习算法与云端反馈的组合服务评估方法与系统 |
| CN112884163B (zh) * | 2021-03-18 | 2023-06-23 | 中国地质大学（北京） | 基于联邦机器学习算法与云端反馈的组合服务评估方法与系统 |
| CN113033819A (zh) * | 2021-03-25 | 2021-06-25 | 支付宝(杭州)信息技术有限公司 | 基于异构模型的联邦学习方法、装置及介质 |
| CN113033819B (zh) * | 2021-03-25 | 2022-11-11 | 支付宝(杭州)信息技术有限公司 | 基于异构模型的联邦学习方法、装置及介质 |
| WO2023055047A1 (en) * | 2021-09-29 | 2023-04-06 | Samsung Electronics Co., Ltd. | Prediction model training method, information prediction method and corresponding device |
| CN113887747A (zh) * | 2021-10-21 | 2022-01-04 | 新智我来网络科技有限公司 | 基于联合学习的数据融合方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709535A (zh) | 基于演化计算的联邦学习方法、装置、中心服务器及介质 | |
| CN111723948A (zh) | 基于演化计算的联邦学习方法、装置、设备及介质 | |
| CN111709534A (zh) | 基于演化计算的联邦学习方法、装置、设备及介质 | |
| CN108304679A (zh) | 一种自适应可靠性分析方法 | |
| CN107203789A (zh) | 分配模型建立方法、分配方法以及相关装置 | |
| CN107392919A (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
| CN111724370B (zh) | 基于不确定性和概率的多任务图像质量评估方法及系统 | |
| CN111461445B (zh) | 短期风速预测方法、装置、计算机设备及存储介质 | |
| CN112669084A (zh) | 策略确定方法、设备及计算机可读存储介质 | |
| KR102154425B1 (ko) | 인공지능 학습을 위한 유사데이터 생성 방법 및 장치 | |
| CN109255389B (zh) | 一种装备评价方法、装置、设备及可读存储介质 | |
| Parada-Mayorga et al. | Graphon pooling for reducing dimensionality of signals and convolutional operators on graphs | |
| Tembine | Mean field stochastic games: Convergence, Q/H-learning and optimality | |
| CN111126560A (zh) | 一种基于云遗传算法优化bp神经网络的方法 | |
| CN111782782B (zh) | 智能客服的咨询回复方法、装置、计算机设备和存储介质 | |
| CN111753998A (zh) | 多数据源的模型训练方法、装置、设备及存储介质 | |
| CN111666991A (zh) | 基于卷积神经网络的模式识别方法、装置和计算机设备 | |
| CN111415265A (zh) | 生成式对抗网络的社交关系数据生成方法 | |
| CN110162704B (zh) | 基于多因子遗传算法的多规模关键用户提取方法 | |
| CN110889635B (zh) | 一种用于对食品安全事件的处理进行应急演练的方法 | |
| CN112580268A (zh) | 基于业务处理的机器学习模型选择方法及装置 | |
| CN114692888A (zh) | 系统参数处理方法、装置、设备及存储介质 | |
| CN111950615A (zh) | 一种基于树种优化算法的网络故障特征选择方法 | |
| CN110414845A (zh) | 针对目标交易的风险评估方法及装置 | |
| CN110852418A (zh) | 神经网络模型的数据处理方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |