CN115086399A - 基于超网络的联邦学习方法、装置及计算机设备 - Google Patents

Abstract

本申请涉及人工智能技术，提供了基于超网络的联邦学习方法、装置及计算机设备，是先通过采样获取参与客户端，以组成客户端集合；然后通过超网络获取客户端集合中各客户端的基模型本地层参数，将客户端集合中各客户端的基模型本地层参数发送至对应的客户端；之后接收客户端集合中各客户端发送的更新后模型参数，将各客户端的更新后模型参数进行加权求和，以更新基模型本地层参数；最后在服务端对基模型本地层参数进行判断是否满足收敛条件从而确定是否继续进行模型训练。实现了在服务端中针对各客户端参与联邦学习的梯度偏移基于超网络进行个性化输出，充分考虑到了客户端的数据分布差异，并引导并加速本地基模型训练，提升模型学习效率。

Description

基于超网络的联邦学习方法、装置及计算机设备

技术领域

本申请涉及人工智能的联邦学习技术领域，尤其涉及一种基于超网络的联邦学习方法、系统、计算机设备及存储介质。

背景技术

目前，在供应链金融领域中风控模型的建立比较主流的做法是利用联邦学习技术，联邦学习能够在保持多方数据安全的前提下，打破数据壁垒，实现跨机构间的数据融合，协作训练一个共享模型，有助于提高企业本地模型的精度。联邦学习技术具体是通过企业（客户端）与服务端的参数迭代交互来实现，每一轮的交互过程如下：

A1）客户端利用本地数据进行模型训练；

A2）客户端将模型参数发送给服务端；

A3）服务端对参数进行安全融合更新；

A4）服务端将更新完的参数回传给本地客户端进行本地更新。

但是基于上述联邦学习训练的模型，因为是训练的通用模型，一方面，无法照顾到企业间的数据分布差异，当某个企业的数据分布与整体偏离较大时联邦学习的效果反而不如本地训练。

另一方面，在联邦学习的设定中，每一轮的通信并不是所有的客户端都会参与，某些客户端的采样间隔太长，导致本地模型的“灾难性遗忘”问题，无法进行连续的学习。

发明内容

本申请实施例提供了一种基于超网络的联邦学习方法、系统、计算机设备及存储介质，旨在解决现有技术中联邦学习训练的通用模型，无法照顾到参与方间的数据分布差异，导致有些参与方因数据分布与整体偏离较大时联邦学习的效果反而不如本地训练的问题。

第一方面，本申请实施例提供了一种基于超网络的联邦学习方法，应用于服务端，其包括：

响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合；

通过超网络获取所述客户端集合中各客户端的基模型本地层参数；

将与所述客户端集合中各客户端分别对应的基模型本地层参数发送至对应的客户端；

接收所述客户端集合中各客户端发送的更新后模型参数；

将所述客户端集合中各客户端的更新后模型参数进行加权求和，以更新所述基模型本地层参数；

若所述基模型本地层参数未满足预设的模型收敛条件，生成联邦训练指令，并返回执行所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合的步骤；

若所述基模型本地层参数满足所述模型收敛条件，获取所述基模型本地层参数作为基模型的模型参数。

第二方面，本申请实施例提供了一种基于超网络的联邦学习方法，应用于客户端，其包括：

接收服务端发送的基模型本地层参数；其中，所述基模型本地层参数是由服务端中将客户端发送的客户端ID、客户端历史采样轮次和历史梯度偏移输入至超网络进行运算得到；

根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数；

将所述更新后模型参数发送至服务端。

第三方面，本申请实施例提供了一种基于超网络的联邦学习系统，其包括服务端和至少一个客户端，所述服务端用于执行如第一方面所述的基于超网络的联邦学习方法，所述客户端用于执行如第二方面所述的基于超网络的联邦学习方法。

第四方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面或第二方面所述的基于超网络的联邦学习方法。

第五方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面或第二方面所述的基于超网络的联邦学习方法。

本申请实施例提供了一种基于超网络的联邦学习方法、系统及计算机设备，是先通过采样获取参与客户端，以组成客户端集合；然后通过超网络获取客户端集合中各客户端的基模型本地层参数，将客户端集合中各客户端的基模型本地层参数发送至对应的客户端；之后接收客户端集合中各客户端发送的更新后模型参数，将客户端集合中各客户端的更新后模型参数进行加权求和，以更新基模型本地层参数；最后在服务端对基模型本地层参数进行判断是否满足收敛条件从而确定是否继续进行模型训练。实现了在服务端中针对各客户端参与联邦学习的梯度偏移基于超网络进行个性化输出，充分考虑到了客户端的数据分布差异，并引导并加速本地基模型训练，提升模型学习效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于超网络的联邦学习方法的应用场景示意图；

图2为本申请实施例提供的基于超网络的联邦学习方法的流程示意图；

图3为本申请实施例提供的基于超网络的联邦学习方法的另一流程示意图；

图4为本申请实施例提供的基于超网络的联邦学习装置的示意性框图；

图5为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本实施例中进行基于超网络的连邦学习时，参与方包括服务端和多个客户端，服务端作为联邦学习的全局方对训练过程进行调度管理，并记录个客户端的相应采样轮次、元梯度等训练信息。客户端则接收来自服务器端的模型参数，进行本地模型的初始化及自主训练。

先以服务端为执行主体来描述技术方案。请参阅图1和图2，图1为本申请实施例提供的基于超网络的联邦学习方法的应用场景示意图；图2为本申请实施例提供的基于超网络的联邦学习方法的流程示意图，该基于超网络的联邦学习方法应用于服务端（服务端也可以理解为服务器）中，该方法通过安装于服务端中的应用软件进行执行。

如图2所示，该方法包括步骤S101~S106。

S101、响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合。

在本实施例中，是先以服务端为执行主体来描述技术方案。当服务器需调度多个客户端进行联邦学习时，默认是完成了上一轮的联邦学习，此时首先需服务端对客户端进行采样，以获知本轮参与联邦学习的客户端。

在一实施例中，步骤S101中所述通过采样获取参与客户端，以组成客户端集合，包括：

获取可用资源和通信效率，基于所述可用资源和通信效率确定采样比例；

根据与服务端连接的客户端总数与所述采样比例确定本轮参与客户端总数；

通过随机采样与具有所述本轮参与客户端总数的客户端建立连接，以获取所述客户端集合。

在本实施例中，在服务端为了确定本轮联邦学习的参与客户端，需要先获取到服务端本地的可用资源（一般是指服务端的可用CPU、可用内存或可用磁盘等数据）和通信效率（是指数据帧的传输时间与用于发送报文的所有时间之比，若通信效率=1则表示所有时间都有效地用于传输数据帧，若通信效率=0则表示总线被报文的碰撞和冲突所充斥而无法正常传输数据帧），然后基于服务端本地的可用资源和通信效率共同确定采样比例（如预先设置一个采样比例确定策略，其对应的计算公式为采样比例=服务端本地的可用资源*第一调整权重值+服务端的通信效率*第二调整权重值，且第一调整权重值+第二调整权重值=1），例如所确定的采样比例为10%。在确定了采样比例后，由于是已知与服务端建立通讯连接并参与联邦学习的所有客户端的信息，也即参与联邦学习的客户端对应的客户端总数是已知的，在确定了客户端总数和采样比例后即可由客户端总数与采样比例相乘得到本轮参与客户端总数。

在确定了本轮参与客户端总数后，则服务端与相应数量的客户端建立通讯连接，此时与服务端建立连接的这些客户端的客户端数据组成客户端集合。可见，基于随机采样确定参与本轮联邦学习的客户端，具有随机性和公平性，使得客户端均具有参与联邦学习的可能性，而不是限定了只有部分客户端能一直参与联邦学习，而另一部分客户端则无机会参与联邦学习。

在一实施例中，步骤S101之前还包括：

对基模型进行初始化得到基模型初始化参数，将所述基模型初始化参数发送至与服务端连接的客户端；

对超网络进行初始化得到超网络初始化参数。

在本实施例中，在开启本轮联邦学习时，默认是完成了上一轮的联邦学习，故在开始本轮联邦学习时先在服务端进行模型参数初始化。由于基模型是用于最终目标任务建模，其中基模型是包括global层（可以理解为统一层）和local层（可以理解为本地层），且服务端和客户端是共享基模型的，故在进行本轮联邦学习的初始阶段，需要先将基模型进行初始化，具体是将基模型的global层和local层参数进行初始化。

在完成了基模型的初始化后，还需要将超网络进行初始化，具体是将超网络中与各客户端对应的采样伦次设置为0，且将与各客户端对应的初始偏移梯度设置为0。其中，超网络是服务端特有的小型网络，用于学习联邦学习过程中各客户端的基模型中local层的梯度偏移。在完成了服务端中超网络的初始化后，参与本轮联邦学习的各客户端即可开启本轮联邦学习。

S102、通过超网络获取所述客户端集合中各客户端的基模型本地层参数。

在本实施例中，当确定了所述客户端集合后，需要基于服务端中的超模型确定所述客户端集合中各客户端的基模型本地层参数，并不是向所述客户端集合中各客户端每次都同步发送相同的基模型本地层参数，而是针对不同的客户端确定各自个性化的基模型本地层参数。

在一实施例中，步骤S102包括：

获取所述客户端集合中的第i号客户端；其中，i的初始取值为1且i的取值范围是[1，N1]，N1表示所述客户端集合中所包括客户端的总个数；

获取所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移；

将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移；

将i自增1以更新i的取值；

若i小于或等于N1，返回执行所述获取所述客户端集合中的第i号客户端的步骤；

若i大于N1，获取第1号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，组成所述客户端集合中各客户端的基模型本地层参数。

在本实施例中，若已知所述客户端集合中包括N1个客户端，此时可在服务端中依序针对每一个客户端计算基模型本地层参数（也即基模型local层参数）。例如以所述客户端集合中的第1号客户端的基模型本地层参数为例，若第1号客户端是本轮联邦学习第一次被服务端采样命中，则该第1号客户端的历史采样轮次为0、历史梯度偏移为0，由于第1号客户端的客户端ID也是已知的 ，此时将由客户端ID、客户端历史采样轮次和历史梯度偏移组成的第1号客户端的输入序列输入至超网络进行运算，即可得到第1号客户端的当前梯度偏移。

以此类推，参照第1号客户端的当前梯度偏移的获取过程，同样获取第2号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，最终获取第1号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，组成所述客户端集合中各客户端的基模型本地层参数。可见，基于上述方式，可以基于服务端的超网络中确定各客户端在联邦学习过程中的个性化基模型本地层参数。而且在确定各客户端的个性化基模型本地层参数时，引入了历史的训练状态，能够提升本地模型的持续学习能力。

在一实施例中，所述将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移，包括：

将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输入至所述超网络中的记忆模块进行运算，得到与所述第i号客户端对应的有效记忆梯度；

获取本地基模型中本地层的本地当前梯度偏移，将所述第i号客户端对应的有效记忆梯度与所述本地当前梯度偏移输入至所述超网络中的生成模块进行加权求和运算，得到所述第i号客户端的当前梯度偏移。

在本实施例中，由于超网络是专属于服务端并不与客户端共享，且超网络具体是包括记忆模块和生成模块，故基于超网络计算所述第i号客户端的当前梯度偏移时可以先将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输组成的输入序列输入至记忆模块。而超网络中的记忆模块是类似一个门结构，将输入序列输入至记忆模块后先得到一个有效记忆梯度，之后再将有效记忆梯度输入至超网络中的生成模块，以将有效记忆梯度与服务端本地基模型中本地层的本地当前梯度偏移进行加权融合（这是因为超网络的输出维度与服务端本地的基模型本地层参数的参数量是一致的，可以进行加权融合），得到所述第i号客户端的当前梯度偏移。可见，基于超网络学习各客户端的梯度偏移方向，能够实现各客户端模型的个性化参数输出，同时引导并加速本地模型训练，提升学习效率。

S103、将与所述客户端集合中各客户端分别对应的基模型本地层参数发送至对应的客户端。

在本实施例中，当在服务端完成了对所述客户端集合中各客户端的基模型本地层参数的个性化获取后，则将各客户端的基模型本地层参数发送至对应的客户端，从而实现各客户端中基模型本地层参数的个性化更新。此时各客户端在接收到了对应的基模型本地层参数后，将基于所述基模型本地层参数对客户端本地的当前基模型本地层参数进行再一次的初始化更新后，以进行下一次的训练。

S104、接收所述客户端集合中各客户端发送的更新后模型参数。

在本实施例中，当所述客户端集合中各客户端接收到对应的基模型本地层参数后并对本地的基模型中当前基模型本地层参数进行再一次的初始化更新后，各客户端中的基模型又分别进行训练并分别输出一个更新后模型参数并反馈至服务器。可见，不断的将基模型本地层参数分发至客户端集合中客户端进行训练，将联邦学习的训练任务基于客户端集合完成，提高了联邦学习的效率。

S105、将所述客户端集合中各客户端的更新后模型参数进行加权求和，以更新所述基模型本地层参数。

在本实施例中，当服务器接收到了所述客户端集合中各客户端发送的更新后模型参数，先获取到各客户端分别对应的权重值，然后将各客户端发送的更新后模型参数乘以该客户端对应的权重值进行加权求和，即可对服务器本地的所述基模型本地层参数进行更新。当完成了对服务器本地的基模型参数更新后，为了判断联邦学习是否继续，还需进一步判断服务器本地的基模型是否收敛。

S106、若所述基模型本地层参数未满足预设的模型收敛条件，生成联邦训练指令，并返回执行所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合的步骤。

在本实施例中，当服务器接收各客户端上传的更新后模型参数进行加权求和以更新服务器本地的所述基模型本地层参数，并判定所述基模型本地层参数无法使得服务器中的基模型满足预设的模型收敛条件（如基模型的各项测试指标均达到预设要求视为基模型满足预设的模型收敛条件，更具体如基模型本轮得到的所述基模型本地层参数在与上一轮的基模型本地层参数相比时变化值小于10^-5才能视为满足模型收敛条件），则表示联邦学习的任务需继续进行，此时再生成联邦训练指令，并返回执行步骤S101即可。

S107、若所述基模型本地层参数满足所述模型收敛条件，获取所述基模型本地层参数作为基模型的模型参数。

在本实施例中，当在服务器中判定所述基模型本地层参数使得服务器中的基模型满足预设的模型收敛条件，则表示联邦学习的任务无需继续进行，直接获取最后一次得到的所述基模型本地层参数作为基模型的模型参数即可。

再以客户端为执行主体来描述技术方案。请参阅图1和图3，图3为本申请实施例提供的基于超网络的联邦学习方法的另一流程示意图，该基于超网络的联邦学习方法应用于客户端中，该方法通过安装于客户端中的应用软件进行执行。

如图3所示，该方法包括步骤S201~S203。

S201、接收服务端发送的基模型本地层参数；其中，所述基模型本地层参数是由服务端中将客户端发送的客户端ID、客户端历史采样轮次和历史梯度偏移输入至超网络进行运算得到。

在本实施例中，客户端的主要作用是接收来自服务端发送的基模型本地层参数，并基于本地的训练数据对基模型进行训练。而在每一次客户端进行基模型的训练之前，需要先接收服务端发送的基模型本地层参数，然后对本地的基模型进行初始化，以为后续训练完成初始准备工作。

S202、根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数。

在本实施例中，当在客户端中完成了基模型的模型初始化后，则根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数。这一更新后模型参数是该客户端个性化的模型参数，被传输至服务端之后，可以基于服务端中的超网络计算出与该更新后模型参数对应的基模型本地层参数，从而作为该服务端下一次基模型训练的初始化模型参数。

在一实施例中，步骤S202之后还包括：

获取客户端ID、客户端历史采样轮次和历史梯度偏移并发送至服务端。

在本实施例中，为了使服务端能基于各客户端个性化的计算基模型本地层参数，在每一次在一个客户端中完成了基模型的训练并得到更新后模型参数后，还需将客户端ID、客户端历史采样轮次和历史梯度偏移发送至服务端，以这些参数作为服务端中超网络的输入以计算出该客户端个性化的模型参数。可见，由于客户端将自身的个性化参数上传至了服务端，故在服务端中能明确获知所有参与客户端的训练状态。

S203、将所述更新后模型参数发送至服务端。

在本实施例中，当在客户端中完成本来的基模型的训练后，需要将所述更新后模型参数发送至服务端，从而在服务端中基于各客户端上传的更新后模型参数进行加权求和，以更新服务端中所述基模型本地层参数。

在一实施例中，步骤S203之后还包括：

若服务端的基模型本地层参数未满足模型收敛条件，返回执行所述接收服务端发送的基模型本地层参数的步骤；

若服务端的基模型本地层参数满足模型收敛条件，获取所述更新后模型参数并保存。

在本实施例中，由于服务端中的基模型本地层参数并不会一直更新迭代下去，而是在服务端中判断服务端的基模型本地层参数是否满足模型收敛条件，一旦服务端的基模型本地层参数满足模型收敛条件，与其通讯的客户端则是停止在本地进行基模型本地层参数的更新，而是获取所述更新后模型参数并保存。具体如基模型本轮得到的所述基模型本地层参数在与上一轮的基模型本地层参数相比时变化值小于10^-5才能视为满足模型收敛条件。若服务端的基模型本地层参数未满足模型收敛条件，则可以重新检测是否接收到服务端发送的基模型本地层参数并继续进行基模型本地层参数的更新。可见，每一客户端就是不断接收服务端发送的个性化的基模型本地层参数并在本地完成联邦训练。

该方法实现了在服务端中针对各客户端参与联邦学习的梯度偏移基于超网络进行个性化输出，充分考虑到了客户端的数据分布差异，并引导并加速本地基模型训练，提升模型学习效率。

本申请实施例还提供一种基于超网络的联邦学习系统，该基于超网络的联邦学习系统用于执行前述基于超网络的联邦学习方法的任一实施例。具体地，请参阅图4，图4是本申请实施例提供的基于超网络的联邦学习系统10的示意性框图。

其中，如图4所示，基于超网络的联邦学习系统10包括服务端100和至少一个客户端200。

其中，所述服务端100包括客户端采样单元101、本地层参数获取单元102、本地层参数发送单元103、更新参数接收单元104、本地层参数更新单元105、第一控制单元106、第二控制单元107。

客户端采样单元101，用于响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合。

在本实施例中，是先以服务端为执行主体来描述技术方案。当服务器需调度多个客户端进行联邦学习时，默认是完成了上一轮的联邦学习，此时首先需服务端对客户端进行采样，以获知本轮参与联邦学习的客户端。

在一实施例中，客户端采样单元101具体用于：

获取可用资源和通信效率，基于所述可用资源和通信效率确定采样比例；

根据与服务端连接的客户端总数与所述采样比例确定本轮参与客户端总数；

通过随机采样与具有所述本轮参与客户端总数的客户端建立连接，以获取所述客户端集合。

在本实施例中，在服务端为了确定本轮联邦学习的参与客户端，需要先获取到服务端本地的可用资源（一般是指服务端的可用CPU、可用内存或可用磁盘等数据）和通信效率（是指数据帧的传输时间与用于发送报文的所有时间之比，若通信效率=1则表示所有时间都有效地用于传输数据帧，若通信效率=0则表示总线被报文的碰撞和冲突所充斥而无法正常传输数据帧），然后基于服务端本地的可用资源和通信效率共同确定采样比例（如预先设置一个采样比例确定策略，其对应的计算公式为采样比例=服务端本地的可用资源*第一调整权重值+服务端的通信效率*第二调整权重值，且第一调整权重值+第二调整权重值=1），例如所确定的采样比例为10%。在确定了采样比例后，由于是已知与服务端建立通讯连接并参与联邦学习的所有客户端的信息，也即参与联邦学习的客户端对应的客户端总数是已知的，在确定了客户端总数和采样比例后即可由客户端总数与采样比例相乘得到本轮参与客户端总数。

在确定了本轮参与客户端总数后，则服务端与相应数量的客户端建立通讯连接，此时与服务端建立连接的这些客户端的客户端数据组成客户端集合。可见，基于随机采样确定参与本轮联邦学习的客户端，具有随机性和公平性，使得客户端均具有参与联邦学习的可能性，而不是限定了只有部分客户端能一直参与联邦学习，而另一部分客户端则无机会参与联邦学习。

在一实施例中，服务端100还包括：

第一初始化单元，用于对基模型进行初始化得到基模型初始化参数，将所述基模型初始化参数发送至与服务端连接的客户端；

第二初始化单元，用于对超网络进行初始化得到超网络初始化参数。

在本实施例中，在开启本轮联邦学习时，默认是完成了上一轮的联邦学习，故在开始本轮联邦学习时先在服务端进行模型参数初始化。由于基模型是用于最终目标任务建模，其中基模型是包括global层（可以理解为统一层）和local层（可以理解为本地层），且服务端和客户端是共享基模型的，故在进行本轮联邦学习的初始阶段，需要先将基模型进行初始化，具体是将基模型的global层和local层参数进行初始化。

在完成了基模型的初始化后，还需要将超网络进行初始化，具体是将超网络中与各客户端对应的采样伦次设置为0，且将与各客户端对应的初始偏移梯度设置为0。其中，超网络是服务端特有的小型网络，用于学习联邦学习过程中各客户端的基模型中local层的梯度偏移。在完成了服务端中超网络的初始化后，参与本轮联邦学习的各客户端即可开启本轮联邦学习。

本地层参数获取单元102，用于通过超网络获取所述客户端集合中各客户端的基模型本地层参数。

在本实施例中，当确定了所述客户端集合后，需要基于服务端中的超模型确定所述客户端集合中各客户端的基模型本地层参数，并不是向所述客户端集合中各客户端每次都同步发送相同的基模型本地层参数，而是针对不同的客户端确定各自个性化的基模型本地层参数。

在一实施例中，本地层参数获取单元102具体用于：

获取所述客户端集合中的第i号客户端；其中，i的初始取值为1且i的取值范围是[1，N1]，N1表示所述客户端集合中所包括客户端的总个数；

获取所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移；

将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移；

将i自增1以更新i的取值；

若i小于或等于N1，返回执行所述获取所述客户端集合中的第i号客户端的步骤；

若i大于N1，获取第1号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，组成所述客户端集合中各客户端的基模型本地层参数。

在本实施例中，若已知所述客户端集合中包括N1个客户端，此时可在服务端中依序针对每一个客户端计算基模型本地层参数（也即基模型local层参数）。例如以所述客户端集合中的第1号客户端的基模型本地层参数为例，若第1号客户端是本轮联邦学习第一次被服务端采样命中，则该第1号客户端的历史采样轮次为0、历史梯度偏移为0，由于第1号客户端的客户端ID也是已知的 ，此时将由客户端ID、客户端历史采样轮次和历史梯度偏移组成的第1号客户端的输入序列输入至超网络进行运算，即可得到第1号客户端的当前梯度偏移。

以此类推，参照第1号客户端的当前梯度偏移的获取过程，同样获取第2号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，最终获取第1号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，组成所述客户端集合中各客户端的基模型本地层参数。可见，基于上述方式，可以基于服务端的超网络中确定各客户端在联邦学习过程中的个性化基模型本地层参数。而且在确定各客户端的个性化基模型本地层参数时，引入了历史的训练状态，能够提升本地模型的持续学习能力。

在一实施例中，所述将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移，包括：

将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输入至所述超网络中的记忆模块进行运算，得到与所述第i号客户端对应的有效记忆梯度；

获取本地基模型中本地层的本地当前梯度偏移，将所述第i号客户端对应的有效记忆梯度与所述本地当前梯度偏移输入至所述超网络中的生成模块进行加权求和运算，得到所述第i号客户端的当前梯度偏移。

在本实施例中，由于超网络是专属于服务端并不与客户端共享，且超网络具体是包括记忆模块和生成模块，故基于超网络计算所述第i号客户端的当前梯度偏移时可以先将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输组成的输入序列输入至记忆模块。而超网络中的记忆模块是类似一个门结构，将输入序列输入至记忆模块后先得到一个有效记忆梯度，之后再将有效记忆梯度输入至超网络中的生成模块，以将有效记忆梯度与服务端本地基模型中本地层的本地当前梯度偏移进行加权融合（这是因为超网络的输出维度与服务端本地的基模型本地层参数的参数量是一致的，可以进行加权融合），得到所述第i号客户端的当前梯度偏移。可见，基于超网络学习各客户端的梯度偏移方向，能够实现各客户端模型的个性化参数输出，同时引导并加速本地模型训练，提升学习效率。

本地层参数发送单元103，用于将与所述客户端集合中各客户端分别对应的基模型本地层参数发送至对应的客户端。

在本实施例中，当在服务端完成了对所述客户端集合中各客户端的基模型本地层参数的个性化获取后，则将各客户端的基模型本地层参数发送至对应的客户端，从而实现各客户端中基模型本地层参数的个性化更新。此时各客户端在接收到了对应的基模型本地层参数后，将基于所述基模型本地层参数对客户端本地的当前基模型本地层参数进行再一次的初始化更新后，以进行下一次的训练。

更新参数接收单元104，用于接收所述客户端集合中各客户端发送的更新后模型参数。

在本实施例中，当所述客户端集合中各客户端接收到对应的基模型本地层参数后并对本地的基模型中当前基模型本地层参数进行再一次的初始化更新后，各客户端中的基模型又分别进行训练并分别输出一个更新后模型参数并反馈至服务器。可见，不断的将基模型本地层参数分发至客户端集合中客户端进行训练，将联邦学习的训练任务基于客户端集合完成，提高了联邦学习的效率。

本地层参数更新单元105，用于将所述客户端集合中各客户端的更新后模型参数进行加权求和，以更新所述基模型本地层参数。

在本实施例中，当服务器接收到了所述客户端集合中各客户端发送的更新后模型参数，先获取到各客户端分别对应的权重值，然后将各客户端发送的更新后模型参数乘以该客户端对应的权重值进行加权求和，即可对服务器本地的所述基模型本地层参数进行更新。当完成了对服务器本地的基模型参数更新后，为了判断联邦学习是否继续，还需进一步判断服务器本地的基模型是否收敛。

第一控制单元106，用于若所述基模型本地层参数未满足预设的模型收敛条件，生成联邦训练指令，并返回执行所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合的步骤。

在本实施例中，当服务器接收各客户端上传的更新后模型参数进行加权求和以更新服务器本地的所述基模型本地层参数，并判定所述基模型本地层参数无法使得服务器中的基模型满足预设的模型收敛条件（如基模型的各项测试指标均达到预设要求视为基模型满足预设的模型收敛条件），则表示联邦学习的任务需继续进行，此时再生成联邦训练指令，并返回执行步骤S101即可。

第二控制单元107，用于若所述基模型本地层参数满足所述模型收敛条件，获取所述基模型本地层参数作为基模型的模型参数。

在本实施例中，当在服务器中判定所述基模型本地层参数使得服务器中的基模型满足预设的模型收敛条件，则表示联邦学习的任务无需继续进行，直接获取最后一次得到的所述基模型本地层参数作为基模型的模型参数即可。

再以客户端为执行主体来描述技术方案。如图4所示，所述客户端200包括参数接收单元201、基模型训练单元202和基模型参数发送单元203。

参数接收单元201，用于接收服务端发送的基模型本地层参数；其中，所述基模型本地层参数是由服务端中将客户端发送的客户端ID、客户端历史采样轮次和历史梯度偏移输入至超网络进行运算得到。

在本实施例中，客户端的主要作用是接收来自服务端发送的基模型本地层参数，并基于本地的训练数据对基模型进行训练。而在每一次客户端进行基模型的训练之前，需要先接收服务端发送的基模型本地层参数，然后对本地的基模型进行初始化，以为后续训练完成初始准备工作。

基模型训练单元202，用于根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数。

在本实施例中，当在客户端中完成了基模型的模型初始化后，则根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数。这一更新后模型参数是该客户端个性化的模型参数，被传输至服务端之后，可以基于服务端中的超网络计算出与该更新后模型参数对应的基模型本地层参数，从而作为该服务端下一次基模型训练的初始化模型参数。

在一实施例中，客户端200还包括：

客户端参数发送单元，用于获取客户端ID、客户端历史采样轮次和历史梯度偏移并发送至服务端。

在本实施例中，为了使服务端能基于各客户端个性化的计算基模型本地层参数，在每一次在一个客户端中完成了基模型的训练并得到更新后模型参数后，还需将客户端ID、客户端历史采样轮次和历史梯度偏移发送至服务端，以这些参数作为服务端中超网络的输入以计算出该客户端个性化的模型参数。可见，由于客户端将自身的个性化参数上传至了服务端，故在服务端中能明确获知所有参与客户端的训练状态。

基模型参数发送单元203，用于将所述更新后模型参数发送至服务端。

在本实施例中，当在客户端中完成本来的基模型的训练后，需要将所述更新后模型参数发送至服务端，从而在服务端中基于各客户端上传的更新后模型参数进行加权求和，以更新服务端中所述基模型本地层参数。

在一实施例中，客户端200还包括：

第一执行单元，用于若服务端的基模型本地层参数未满足模型收敛条件，返回执行所述接收服务端发送的基模型本地层参数的步骤；

第二执行单元，用于若服务端的基模型本地层参数满足模型收敛条件，获取所述更新后模型参数并保存。

在本实施例中，由于服务端中的基模型本地层参数并不会一直更新迭代下去，而是在服务端中判断服务端的基模型本地层参数是否满足模型收敛条件，一旦服务端的基模型本地层参数满足模型收敛条件，与其通讯的客户端则是停止在本地进行基模型本地层参数的更新，而是获取所述更新后模型参数并保存。若服务端的基模型本地层参数未满足模型收敛条件，则可以重新检测是否接收到服务端发送的基模型本地层参数并继续进行基模型本地层参数的更新。可见，每一客户端就是不断接收服务端发送的个性化的基模型本地层参数并在本地完成联邦训练。

该系统实现了在服务端中针对各客户端参与联邦学习的梯度偏移基于超网络进行个性化输出，充分考虑到了客户端的数据分布差异，并引导并加速本地基模型训练，提升模型学习效率。

上述基于超网络的联邦学习装置可以实现为计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5是本申请实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，也可以是服务器集群。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参阅图5，该计算机设备500包括通过装置总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。

该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于超网络的联邦学习方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于超网络的联邦学习方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本申请实施例公开的基于超网络的联邦学习方法。

本领域技术人员可以理解，图5中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图5所示实施例一致，在此不再赘述。

应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本申请实施例公开的基于超网络的联邦学习方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，后台服务器，或者网络设备等 ) 执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于超网络的联邦学习方法，应用于服务端，其特征在于，包括：

响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合；

通过超网络获取所述客户端集合中各客户端的基模型本地层参数；

将与所述客户端集合中各客户端分别对应的基模型本地层参数发送至对应的客户端；

接收所述客户端集合中各客户端发送的更新后模型参数；

将所述客户端集合中各客户端的更新后模型参数进行加权求和，以更新所述基模型本地层参数；

若所述基模型本地层参数未满足预设的模型收敛条件，生成联邦训练指令，并返回执行所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合的步骤；

若所述基模型本地层参数满足所述模型收敛条件，获取所述基模型本地层参数作为基模型的模型参数。

2.根据权利要求1所述的基于超网络的联邦学习方法，其特征在于，所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合之前，还包括：

对基模型进行初始化得到基模型初始化参数，将所述基模型初始化参数发送至与服务端连接的客户端；

对超网络进行初始化得到超网络初始化参数。

3.根据权利要求1所述的基于超网络的联邦学习方法，其特征在于，所述通过采样获取参与客户端，以组成客户端集合，包括：

获取可用资源和通信效率，基于所述可用资源和通信效率确定采样比例；

根据与服务端连接的客户端总数与所述采样比例确定本轮参与客户端总数；

通过随机采样与具有所述本轮参与客户端总数的客户端建立连接，以获取所述客户端集合。

4.根据权利要求1所述的基于超网络的联邦学习方法，其特征在于，所述通过超网络获取所述客户端集合中各客户端的基模型本地层参数，包括：

获取所述客户端集合中的第i号客户端；其中，i的初始取值为1且i的取值范围是[1，N1]，N1表示所述客户端集合中所包括客户端的总个数；

获取所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移；

将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移；

将i自增1以更新i的取值；

若i小于或等于N1，返回执行所述获取所述客户端集合中的第i号客户端的步骤；

若i大于N1，获取第1号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，组成所述客户端集合中各客户端的基模型本地层参数。

5.根据权利要求4所述的基于超网络的联邦学习方法，其特征在于，所述将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移，包括：

将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输入至所述超网络中的记忆模块进行运算，得到与所述第i号客户端对应的有效记忆梯度；

获取本地基模型中本地层的本地当前梯度偏移，将所述第i号客户端对应的有效记忆梯度与所述本地当前梯度偏移输入至所述超网络中的生成模块进行加权求和运算，得到所述第i号客户端的当前梯度偏移。

6.一种基于超网络的联邦学习方法，应用于客户端，其特征在于，包括：

接收服务端发送的基模型本地层参数；其中，所述基模型本地层参数是由服务端中将客户端发送的客户端ID、客户端历史采样轮次和历史梯度偏移输入至超网络进行运算得到；

根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数；

将所述更新后模型参数发送至服务端。

7.根据权利要求6所述的基于超网络的联邦学习方法，其特征在于，所述将所述更新后模型参数发送至服务端之后，还包括：

若服务端的基模型本地层参数未满足模型收敛条件，返回执行所述接收服务端发送的基模型本地层参数的步骤；

若服务端的基模型本地层参数满足模型收敛条件，获取所述更新后模型参数并保存。

8.一种基于超网络的联邦学习系统，其特征在于，包括服务端和至少一个客户端，所述服务端用于执行如权利要求1至5中任一项所述的基于超网络的联邦学习方法，所述客户端用于执行如权利要求6至7中任一项所述的基于超网络的联邦学习方法。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于超网络的联邦学习方法，或实现如权利要求6至7中任一项所述的基于超网络的联邦学习方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至5任一项所述的基于超网络的联邦学习方法，或执行如权利要求6至7任一项所述的基于超网络的联邦学习方法。

Images