CN111723948A - 基于演化计算的联邦学习方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种基于演化计算的联邦学习方法、装置、中心服务器及可读存储介质，所述方法包括：获取各个参与方组的超参数，把超参数发送给所述各个参与方组的每一个参与方，以供各个参与方组中的参与方之间进行联邦学习，而后获取各个参与方组进行联邦学习训练得到的子目标模型，基于各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数，发送目标超参数至参与联邦学习的所述各个参与方，以供参与方基于目标超参数确定各自的初始模型参数，所述各个参与方基于初始模型参数进行联邦学习得到目标模型。通过演化计算提升了联邦学习中超参数优化效率，同时显著提升了联邦学习模型的性能。

Description

基于演化计算的联邦学习方法、装置、设备及介质

技术领域

本发明涉及金融科技领域，尤其涉及一种基于演化计算的联邦学习方法、装置、中心服务器及可读存储介质。

背景技术

在联邦学习中，往往使用到诸如神经网络等复杂的模型。此类模型有大量的超参数，如学习率，网络层数，每层卷积核维度等，现有的联邦学习只能在设定好的固定的超参数上训练神经网络。由于人为设定的固定的超参数往往不是最优的超参数，因此在人为给定的超参数下训练的联邦学习模型往往不能达到最好的效果。为了得到好的联邦学习模型，需要不断人为凭经验调整超参数，并重新进行联邦学习。整个过程费时费力，成本高昂，且最终模型的性能指标难以保证。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于演化计算的联邦学习方法、装置、中心服务器及可读存储介质，旨在解决现有的联邦学习中优化超参数效率较低，影响联邦学习模型性能的技术问题。

为实现上述目的，本发明提供一种基于演化计算的联邦学习方法，应用于中心服务器，所述的基于演化计算的联邦学习方法包括以下步骤：

获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习；

获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数；

发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。

进一步地，所述基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数的步骤包括：

确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对各个参与方组各自对应的超参数进行排序，在排序后的各个超参数中得到中间超参数，并基于所述中间超参数优化各个参与方组各自对应的超参数；

基于优化后的各个参与方组各自对应的超参数进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。

进一步地，所述基于所述中间超参数优化各个参与方组各自对应的超参数的步骤包括：

基于所述中间超参数确定扩充超参数；

基于所述中间超参数以及所述扩充超参数，优化各个参与方组各自对应的超参数。

进一步地，所述基于所述中间超参数确定扩充超参数的步骤包括：

在所述中间超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，

在所述中间超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。

进一步地，所述基于所述中间超参数以及所述扩充超参数，优化各个参与方组各自对应的超参数的步骤包括：

获取随机超参数，并将所述中间超参数、所述扩充超参数以及所述随机超参数替换各个参与方组各自对应的超参数，得到更新后的各个参与方组各自对应的超参数；

所述获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方的步骤包括：

将更新后的各个参与方组各自对应的超参数，分别发送给所述各个参与方组的每一个参与方。

进一步地，所述直到检测到迭代停止条件，得到目标超参数的步骤包括：

当检测到迭代停止条件时，基于当前各个子目标模型的性能指标，在各个参与方组各自对应的超参数中确定所述目标超参数。

进一步地，本发明提供一种基于演化计算的联邦学习方法，应用于参与方，所述的基于演化计算的联邦学习方法包括：

接收中心服务器发送的目标超参数，所述参与方与参与联邦学习的其他各个参与方基于所述目标超参数确定各自的初始模型参数，并基于各自的所述初始模型参数进行联邦学习，得到目标模型；

发送所述目标模型至所述中心服务器。

进一步地，所述基于演化计算的联邦学习装置包括：

联邦学习模块，用于获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习；

迭代演化计算模块，用于获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数；

发送模块，用于发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。

进一步地，所述基于演化计算的联邦学习装置包括：

接收模块，用于接收中心服务器发送的目标超参数，所述参与方与参与联邦学习的其他各个参与方基于所述目标超参数确定各自的初始模型参数，并基于所述各个初始模型参数进行联邦学习，得到目标模型；

传递模块，用于发送所述目标模型至所述中心服务器。

此外，为实现上述目的，本发明还提供一种设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被所述处理器执行时实现上述任一项所述的基于演化计算的联邦学习方法的步骤。

此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被处理器执行时实现上述任一项所述的基于演化计算的联邦学习方法的步骤。

本发明获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习，而后获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数，接下来发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。通过演化计算实现在联邦学习优化模型参数的基础上，同步优化联邦学习的模型超参数，从而避免人为手动调整超参数，在提升联邦学习中超参数优化效率的同时，显著提升了联邦学习模型的性能。

附图说明

图1是本发明实施例方案涉及的硬件运行环境中中心服务器的结构示意图；

图2为本发明基于演化计算的联邦学习方法第一实施例的流程示意图；

图3为本发明基于演化计算的联邦学习方法一实施例中基于演化计算的联邦学习的流程示意图；

图4为本发明基于演化计算的联邦学习装置实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境中中心服务器的结构示意图。

如图1所示，该中心服务器可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的目标检测系统结构并不构成对中心服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于演化计算的联邦学习程序。

在图1所示的中心服务器中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接用户端，与用户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于演化计算的联邦学习程序。

在本实施例中，中心服务器包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的基于演化计算的联邦学习程序，其中，处理器1001调用存储器1005中存储的基于演化计算的联邦学习程序时，执行本申请各个实施例提供的基于演化计算的联邦学习方法的步骤。

本发明还提供一种基于演化计算的联邦学习方法，参照图2，图2为本发明基于演化计算的联邦学习方法第一实施例的流程示意图。

本发明实施例提供了基于演化计算的联邦学习方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中，该基于演化计算的联邦学习方法包括：

步骤S100，获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习；

在本实施例中，有多个联邦学习参与方和一个中心服务器，假设有n个参与方，用{P_i}_in_＝1，中心服务器用S表示。每一个参与方有自己的本地私有训练数据。所有的私有训练数据满足独立同分布，中心服务器存储有公开的验证数据集，用于验证训练好的联邦学习模型的性能。

首先，中心服务器S将所有n个参与方平均分组，假设分为k组，每一组有t＝n/k个参与方。分组依据可以是根据参与方之间的网络链接情况进行分组，网络延迟低的t个参与方为一组，或者分组依据也可以是根据参与方数据量，使得每一组所有参与方的总训练数据量近似相等。需要说明的是，当n个参与方无法平均分配时，余下的参与方分别随机分配到多个分组中。

接下来，中心服务器分别为每一组参与方随机分配一个初始超参数，这些初始超参数是根据历史经验预先设置好的。对每一个初始超参数进行向量转化，神经网络的超参数包括学习率，网络层数，每层卷积核维度等，在进行向量转化前，可以进行简单处理，如把学习率l取log对数，用l的对数logl来间接存储学习率，这样便于向量转化。向量转化采用现有技术，如进行Gray编码，得到多个超参数ω，第j组参与方超参数记为ω_j。中心服务器S记录所有的超参数，并且把生成的超参数向量发送给对应组的每一个参与方P_i。每一组的所有参与方根据接收到的超参数向量，对其进行解码得到超参数，利用超参数初始化本地机器学习模型参数，每一组参与方之间进行联邦学习，直至模型收敛，停止联邦学习，输出此联邦学习的模型。这样，每一组得到一个联邦学习模型，记为子目标模型。

步骤S200，获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数；

具体地，步骤S200包括：

步骤S210，确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对各个参与方组各自对应的超参数进行排序，在排序后的各个超参数中得到中间超参数，并基于所述中间超参数优化各个参与方组各自对应的超参数；

在本实施例中，利用演化计算的原理根据各个子目标模型的性能指标，在各个分组各自对应的超参数中确定中间超参数，并根据中间超参数优化各个分组各自对应的超参数，从而进一步确定最优的超参数。

在本实施例中，每组联邦学习参与方将联邦学习中训练好的子目标模型发送给中心服务器，中心服务器收到各组的子目标模型后，将各个子目标模型分别在验证数据集上测试，得到子目标模型的性能指标，如准确率，F1分数等。中心服务器依据子目标模型的性能指标由优到劣，将各个子目标模型对应的超参数排序，其中，每次可以选择一个性能指标，也可以选择多个性能指标参考。

进一步地，根据排序后的基于演化计算的联邦学习中间超参数。中间超参数包括两部分，第一部分：在排序后的超参数中，选取一定数量性能最优的超参数；第二部分，在排序后的超参数中，随机选取一定数量性能较优的超参数。其中，保留的具体数量根据实际情况确定。举例说明，在排序后的超参数中，选取性能最好的25％超参数保留下来，然后在性能排名25％-75％的超参数中，随机选取一半的超参数保留下来，那么在这个例子中，第一预设数量等于超参数的总数量的50％，超参数的总数量与分组数量相等，即超参数的总数量的50％也就是分组数量的50％。

具体地，步骤S210包括：

步骤S211，基于所述中间超参数确定扩充超参数；

具体地，步骤S211包括：

步骤a，在所述中间超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，

步骤b，在所述中间超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。

在本实施例中，中心服务器使用交叉，变异的方法，根据中间超参数生成扩充超参数。其中，演化计算的交叉是一种根据两个个体通过交叉生成新的个体的方法。在本实施例中，在中间超参数中选取两个超参数，随机交换超参数相应位置的数值，将交换数值之后得到的一个超参数输出，作为一个扩充超参数。演化计算的变异为对一个超参向量随机选取几个位置，将数值随机改变，生成变异后的新超参数。第二预设数量为扩充超参数的个数，根据实际情况指定，如超参数的总数量的40％，超参数的总数量与分组数量相等，即超参数的总数量的40％也就是分组数量的40％。

步骤S212，基于所述中间超参数以及所述扩充超参数，优化各个参与方组各自对应的超参数。

具体地，步骤S212包括：

步骤c，获取随机超参数，并将所述中间超参数、所述扩充超参数以及所述随机超参数替换各个参与方组各自对应的超参数，得到更新后的各个参与方组各自对应的超参数；

在本实施例中，计算分组的数量，并求分组的数量与中间超参数对应的第一预设数量以及扩充超参数对应的第二预设数量的差值，该差值作为第三预设数量，也就是说，第一预设值、第二预设值和第三预设值的和等于分组的数量。例如，第一预设值等于分组数量的50％，第二预设值等于分组数量的40％，则第三预设值等于分组数量的10％。接下来，中心服务器获取与第三预设数量相等的随机超参数。

进一步地，中间超参数是本轮演化计算中保留下来的相对性能较优的超参数，扩充超参数是根据中间超参数进行交叉和/或变异操作得到的，随机超参数是根据历史经验值预先设置的，将中间超参数、扩充超参数以及随机超参数作为新一轮演化计算中各分组所需的超参数，中心服务器将这些超参数进行向量转化，得到超参数向量，然后随机将这些超参数向量发送到不同的分组，再次进行新一轮的联邦学习及演化计算。

所述步骤S100包括：将更新后的各个参与方组各自对应的超参数，分别发送给所述各个参与方组的每一个参与方。

步骤S220，，基于优化后的各个分组各自对应的超参数进行迭代演化计算，直到检测到迭代停止条件，得到目标超参数。

具体地，步骤S220包括：

步骤S221，当检测到迭代停止条件时，基于当前各个子目标模型的性能指标，在各个分组各自对应的超参数中确定所述目标超参数。

在本实施例中，将中间超参数、扩充超参数以及随机超参数作为新一轮演化计算中各组所需的超参数，继续执行步骤S100，进行迭代演化计算，直到检测到迭代停止条件，停止迭代训练。

如前所述，中间超参数包括两部分，第一部分是若干性能最优的超参数；第二部分是若干性能较优的超参数，迭代停止条件为：计算中间超参数中若干性能最优的超参数对应的子目标模型的平均性能，如果模型平均性能达到预期的标准，或者连续多轮迭代，模型的平均性能没有明显的提升。当中心服务器检测到迭代停止条件时，在当前排序后的超参数中，将最优的超参数作为目标超参数。其中，中心服务器依据各个分组联邦学习得到的各个子目标模型的性能指标由优到劣，将各个子目标模型对应的超参数排序，得到排序后的超参数。

本实施例将联邦学习的众多参与方分为多个组，每一组在一个超参数定义的模型上进行联邦学习。不同组之间的联邦学习模型超参数不同，中心服务器可以生成超参数向量，通过验证集测试，比较不同超参数的优劣，并且可以筛选保留优质的超参数，同时随机生成新的超参数。不断迭代，优胜劣汰，最终得到合适的超参数。

举例说明，参照图3，本发明的基于演化计算的联邦学习方法处理过程如下：

第1步：中心服务器获取各个分组各自对应的超参数，并进行向量转换生成超参数向量；

第2步：发送各个超参数向量至对应的分组中的参与方，分组中的参与方之间进行联邦学习，得到各个分组对应的子目标模型；

第3步：中心服务器根据各个子目标模型的模型性能，对所有超参数进行排序，并检查预设数量性能最优的模型的平均性能；

第4步：如果模型平均性能达到预期的标准，或者连续多轮没有明显的提升，则在所有超参数中选择性能最优的超参数作为目标超参数；

第5步：否则，进行迭代演化计算，继续执行第1步。

步骤S300，发送所述目标超参数至参与联邦学习的各个参与方，以供所述参与方基于所述目标基于演化计算的联邦学习各自的初始模型参数，参与方之间进行联邦学习，当模型收敛时，得到演化联邦学习的目标模型。

在本实施例中，通过演化计算实现在联邦学习优化模型参数的基础上，同步优化联邦学习的模型超参数，从而确定了目标超参数，而后，中心服务器对目标超参数进行向量转化，得到目标超参数向量，并发送目标超参数向量至参与联邦学习的所有参与方。

进一步地，参与方在接收到目标超参数向量后，对其进行解码得到目标超参数，利用目标超参数初始化本地机器学习模型参数，所有参与方之间联合进行联邦学习，直至模型收敛，停止联邦学习，输出联邦学习的目标模型。

本实施例提出的基于演化计算的联邦学习方法，获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习，而后获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数，接下来发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。通过演化计算实现在联邦学习优化模型参数的基础上，同步优化联邦学习的模型超参数，从而避免人为手动调整超参数，在提升联邦学习中超参数优化效率的同时，显著提升了联邦学习模型的性能。

基于第一实施例，提出本发明基于演化计算的联邦学习方法的第二实施例，在本实施例中，基于演化计算的联邦学习方法还包括：

步骤A10，接收中心服务器发送的目标超参数，所述参与方与参与联邦学习的其他各个参与方基于所述目标超参数确定各自的初始模型参数，并基于所述各个初始模型参数进行联邦学习，得到目标模型；

步骤A20，发送所述目标模型至所述中心服务器。

在本实施例中，联邦机器学习(Federated machine learning/FederatedLearning)，又名联邦学习，联合学习，联盟学习。联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现协作。

具体地，参与联邦学习的各个参与方接收中心服务器发送的目标超参数，各个参与方基于接收的目标超参数确定各自的初始模型参数，并基于所有初始模型进行联邦学习，直至模型收敛，停止联邦学习，输出联邦学习的目标模型。

目标超参数是通过演化计算在联邦学习优化模型参数的基础上，同步优化得到的，从而避免人为手动调整超参数，在提升联邦学习中超参数优化效率的同时，显著提升了联邦学习模型的性能。

本发明进一步提供一种基于演化计算的联邦学习装置，参照图4，图4为本发明基于演化计算的联邦学习装置实施例的功能模块示意图。

联邦学习模块10，用于获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习；

迭代演化计算模块20，用于获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数；

发送模块30，用于发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。

进一步地，所述迭代演化计算模块20还用于：

确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对各个参与方组各自对应的超参数进行排序，在排序后的各个超参数中得到中间超参数，并基于所述中间超参数优化各个参与方组各自对应的超参数；

基于优化后的各个参与方组各自对应的超参数进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。

进一步地，所述迭代演化计算模块20还用于：

基于所述中间超参数确定扩充超参数；

基于所述中间超参数以及所述扩充超参数，优化各个参与方组各自对应的超参数。

进一步地，所述迭代演化计算模块20还用于：

在所述中间超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，

在所述中间超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。

进一步地，所述迭代演化计算模块20还用于：

获取随机超参数，并将所述中间超参数、所述扩充超参数以及所述随机超参数替换各个参与方组各自对应的超参数，得到更新后的各个参与方组各自对应的超参数；

所述联邦学习模块10还用于：

将更新后的各个参与方组各自对应的超参数，分别发送至各自对应的参与方组中的参与方。

进一步地，所述迭代演化计算模块20还用于：

当检测到迭代停止条件时，基于当前各个子目标模型的性能指标，在各个参与方组各自对应的超参数中确定所述目标超参数。

进一步地，所述基于演化计算的联邦学习装置还包括：

接收模块，用于接收中心服务器发送的目标超参数，所述参与方与参与联邦学习的其他各个参与方基于所述目标超参数确定各自的初始模型参数，并基于所述各个初始模型参数进行联邦学习，得到目标模型；

传递模块，用于发送所述目标模型至所述中心服务器

此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被处理器执行时实现上述各个实施例中基于演化计算的联邦学习方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台系统设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种基于演化计算的联邦学习方法，其特征在于，应用于中心服务器，包括：

获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习；

获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数；

发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。

2.如权利要求1所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数的步骤包括：

确定所述各个子目标模型的性能指标，并根据所述各个子目标模型的性能指标对各个参与方组各自对应的超参数进行排序，在排序后的各个超参数中得到中间超参数，并基于所述中间超参数优化各个参与方组各自对应的超参数；

基于优化后的各个参与方组各自对应的超参数进行迭代演化计算，直到检测到迭代停止条件，得到所述目标超参数。

3.如权利要求2所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述中间超参数优化各个参与方组各自对应的超参数的步骤包括：

基于所述中间超参数确定扩充超参数；

基于所述中间超参数以及所述扩充超参数，优化各个参与方组各自对应的超参数。

4.如权利要求3所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述中间超参数确定扩充超参数的步骤包括：

在所述中间超参数中选取第一待转换超参数，以对所述待转换超参数的预设位置的数值进行更新，获得所述扩充超参数；和/或，

在所述中间超参数中选取第二待转换超参数和第三待转换超参数，将所述第二待转换超参数与所述第三待转换超参数进行数值交换，以获得所述扩充超参数。

5.如权利要求3所述的基于演化计算的联邦学习方法，其特征在于，所述基于所述中间超参数以及所述扩充超参数，优化各个参与方组各自对应的超参数的步骤包括：

获取随机超参数，并将所述中间超参数、所述扩充超参数以及所述随机超参数替换各个参与方组各自对应的超参数，得到更新后的各个参与方组各自对应的超参数；

所述获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方的步骤包括：

将更新后的各个参与方组各自对应的超参数，分别发送给所述各个参与方组的每一个参与方。

6.如权利要求2至5中任一项所述的基于演化计算的联邦学习方法，其特征在于，所述直到检测到迭代停止条件，得到目标超参数的步骤包括：

当检测到迭代停止条件时，基于当前各个子目标模型的性能指标，在各个参与方组各自对应的超参数中确定所述目标超参数。

7.一种基于演化计算的联邦学习方法，其特征在于，应用于参与方，包括：

接收中心服务器发送的目标超参数，所述参与方与参与联邦学习的其他各个参与方基于所述目标超参数确定各自的初始模型参数，并基于所述各个初始模型参数进行联邦学习，得到目标模型；

发送所述目标模型至所述中心服务器。

8.一种基于演化计算的联邦学习装置，其特征在于，所述基于演化计算的联邦学习装置包括：

联邦学习模块，用于获取各个参与方组的超参数，把所述超参数发送给所述各个参与方组的每一个参与方，以供所述各个参与方组中的参与方之间进行联邦学习；

迭代演化计算模块，用于获取所述各个参与方组进行联邦学习训练得到的子目标模型，基于所述各个子目标模型的性能指标以及所述各个参与方组各自对应的超参数进行迭代演化计算，得到目标超参数；

发送模块，用于发送所述目标超参数至参与联邦学习的所述各个参与方，以供所述参与方基于所述目标超参数确定各自的初始模型参数，所述各个参与方基于所述初始模型参数进行联邦学习得到目标模型。

9.一种基于演化计算的联邦学习装置，其特征在于，所述基于演化计算的联邦学习装置包括：

接收模块，用于接收中心服务器发送的目标超参数，所述参与方与参与联邦学习的其他各个参与方基于所述目标超参数确定各自的初始模型参数，并基于所述各个初始模型参数进行联邦学习，得到目标模型；

传递模块，用于发送所述目标模型至所述中心服务器。

10.一种设备，所述设备为中心服务器，其特征在于，所述中心服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于演化计算的联邦学习方法的步骤。

11.一种设备，所述设备为参与方，其特征在于，所述参与方包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被所述处理器执行时实现如权利要求7所述的基于演化计算的联邦学习方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储有所述基于演化计算的联邦学习程序，所述基于演化计算的联邦学习程序被处理器执行时实现如权利要求1至7中任一项所述的基于演化计算的联邦学习方法的步骤。

Images