CN112966832A - 基于多服务器的联邦学习系统 - Google Patents

Abstract

本发明涉及一种基于多服务器的联邦学习系统，实现步骤S1、构建环形哈希空间；S2、在环形哈希空间为第s服务器划分对应的全局模型参数范围；S3、向每一客户端广播每一服务器对应的全局模型参数范围，控制每一服务器初始化对应的全局模型参数；S4、在第t轮训练中，第k参与客户端从每一服务器获取对应的全局模型参数；S5、每一客户端进行本地训练，根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和本地数据量；S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和本地数据量更新对应的本轮全局模型参数；S7、判断模型是否收敛，若收敛，则结束，否则，令t＝t+1,返回S4。本发明提高了联邦学习模型训练的效率。

Description

基于多服务器的联邦学习系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多服务器的联邦学习系统。

背景技术

联邦学习是一种分布式的机器学习算法，并且在一般分布式机器学习的基础上考虑了隐私保护的相关问题。联邦学习可以分为跨设备的联邦学习和跨数据中心的联邦学习。当数据分散于个人用户中时，可以利用跨设备的联邦学习，聚合用户设备中的数据，更高效地训练机器学习模型。而几个不同的参与方想用结合各方数据更好地训练模型，同时又希望不公开各方数据时，则可以使用跨数据中心的联邦学习。这两种联邦学习的区别主要表现为，网络连接的强弱不同、客户端的性能不同。本申请主要针对跨设备的联邦学习进行改进，现有的跨设备的联邦学习算法通常只有一个中心服务器节点用于参数更新和聚合，但当客户端较多时，中心服务器则会出现处理性能弱、存储性能低和网络带宽需求大的情况，从而延长了训练轮次间的等待时间，模型训练效率低。

发明内容

本发明目的在于，提供一种基于多服务器的联邦学习系统，提高联邦学习模型训练的效率。

根据本发明第一方面，提供了一种基于多服务器的联邦学习系统，包括S个服务器、K个客户端、全局模型参数key-value映射表，处理器和存储有计算及程序的存储器，其中，S和K均为大于等于2的整数，所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内，再将哈希空间第0位定义为第M位的下一位，构建环形哈希空间；

步骤S2、根据第s服务器对应的预设全局模型参数范围数量n_s，在所述环形哈希空间中设置n_s个第s插入点，将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围，s＝1,2…S；

步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围，并控制每一服务器初始化对应的全局模型参数，将t初始化为1；

步骤S4、在第t轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数，k＝1,2,…M；

步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练，根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量；

步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数；

步骤S7、判断模型是否收敛，若收敛，则结束模型训练，否则，令t＝t+1,返回执行步骤S4。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于多服务器的联邦学习系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明所述系统基于多个服务器，并为每一服务器划分对应的全局模型参数范围，进行联邦学习模型训练，提高了服务器的处理性能和存储性能，且能够根据具体需求增删服务器，即便客户端数量大，也能够提供足够的网络带宽，减少了训练轮次间的等待时间，提高了模型训练效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的基于多服务器的联邦学习系统示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于多服务器的联邦学习系统的具体实施方式及其功效，详细说明如后。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

本发明实施例提供了一种基于多服务器的联邦学习系统，如图1所示，包括S个服务器、K个客户端、全局模型参数key-value映射表，处理器和存储有计算及程序的存储器，其中，S和K均为大于等于2的整数，每一全局模型参数在全局模型参数key-value映射表中对应一组全局模型参数key-value映射表，每一个全局模型参数值，都可以通过一个key进行访问。需要说明的是，所述全局模型参数key-value映射表，处理器和存储器可以直接设置在S个服务器中，也可以设置在一个单独设置的调度服务中，如图1所示示例。所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内，再将哈希空间第0位定义为第M位的下一位，构建环形哈希空间；

其中M具体可根据服务器、客户端、全局模型参数的数量等参数来具体确定。作为示例，M可取值为2³²-1，将哈希空间第0位定义为第M位的下一位，这样便使得整个哈希空间首尾连接，形成环形哈希空间。

步骤S2、根据第s服务器对应的预设全局模型参数范围数量n_s，在所述环形哈希空间中设置n_s个第s插入点，将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围，s＝1,2…S；

其中，服务器对应的预设全局模型参数范围数量可以相等，也可以不相等，作为一种优选实施例，每一服务器对应的预设全局模型参数范围数量相等，这样能够将全局模型参数均匀划分至多个服务器上，进一步提升模型训练的效率。

可以理解的是，可以在所述环形哈希空间中随机设置n_s个第s插入点，这样可以使得每个服务器间隔地负责n_s个参数范围，将整个环形哈希空间划分成S*n_s个全局模型参数范围。

步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围，并控制每一服务器初始化对应的全局模型参数，将t初始化为1；

步骤S4、在第t轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数，k＝1,2,…M；

步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练，根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量；

步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数；

步骤S7、判断模型是否收敛，若收敛，则结束模型训练，否则，令t＝t+1,返回执行步骤S4。

需要说明的是，步骤S7具体可采用现有的判断模型收敛的方法来执行，在此不再展开描述。

本发明实施例所述系统基于多个服务器，并为每一服务器划分对应的全局模型参数范围，进行联邦学习模型训练，提高了服务器的处理性能和存储性能，且能够根据具体需求增删服务器，即便客户端数量大，也能够提供足够的网络带宽，减少了训练轮次间的等待时间，提高了模型训练效率。

作为一种实施例，本发明实施例具体可采用异步模型训练的方式进行，既提高了模型训练效率，由提高了模型训练精确度。具体的，所述步骤S5可包括：

步骤S51、基于第k参与客户端获取的基于所有服务器对应的全局模型参数和本地数据进行若干轮随机梯度下降训练得到本地模型参数

其中，

随着第k参与客户端本地模型训练而更新，

的初始值为

←表示将箭头右侧的值更新给箭头左侧的参数，

为第k参与客户端基于所获取的所有服务器对应的全局模型参数的总和，η为预设的学习率，D_k表示第k参与客户端的本地数据，

表示

在D_k上的损失函数值；

步骤S52、根据第k参与客户端本地模型训练结束后得到的

和每一服务器在所述环形哈希空间对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量。

作为一种优选实施例，所述步骤S51还可包括：

步骤S511、基于D_k、

和预设的正则系数γ获取

其中，

表示

在D_k上的评价函数值，

为正则项，表示

在D_k上的评价函数值，需要说明的是，评价函数具体为现有评价函数，在此不再展开描述，通过加入正则项可以避免异步训练带来的模型不一致问题，提高模型训练的效率和准确度。γ的取值范围可设置为(0,1)，具体优选数值可采用有限次实验来确定。

作为一种实施例，所述步骤S6包括：

步骤S61、基于接收到第k客户端发送的第s服务器对应的本地模型参数

和本地数据量n_k，更新第s服务器对应的本轮全局模型参数

其中，←表示将箭头右侧的值更新给箭头左侧的参数，

随着客户端上传本地模型参数

和本地数据量n_k而更新，n_r表示第s服务器本轮中已接收到的客户端本地数据量之和；

步骤S62、判断第s服务器是否已接收到本轮所有参与客户端发送的本地模型参数和本地数据量，若是，则将当前的

确定为第s服务器最终的本轮全局模型参数，否则，等待所有第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新

后，将当前的

确定为第s服务器最终的本轮全局模型参数；

步骤S63、当所有服务器得到最终的本轮全局模型参数后，本轮训练完成，执行步骤S7。

可以理解的是，通过步骤S61-步骤S63可以基于每一客户端上传的本地模型参数更新服务器的模型参数，实现了异步更新，无需等待所有客户端上传后再统一更新，进一步的，在其他客户端等待时间内，可以基于当前模型参数再次进行更新，从而进一步提高模型训练的准确性，具体的，所述步骤S62还可包括：

步骤S621、当第s服务器还未接收到本轮所有参与客户端发送的本地模型参数和本地数据量时，判断第k客户端发送给第s服务器对应的本地模型参数

和本地数据量n_k的次数是否超过预设次数阈值，若未超过，则将当前

发送给第k客户端进行再次本地训练，并将再次训练得到的第s服务器对应的本地模型参数和本地数据量再次发送给第s服务器，直至第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新

本发明实施例可以根据具体应用需求增加或删除服务器，作为一种实施例，当所述系统中新增E个服务器时，所述处理器在执行所述计算机程序时，还实现以下步骤：

步骤S10、根据第e新增服务器对应的预设全局模型参数范围数量n_e，在所述环形哈希空间中设置n_e个第e插入点，将每一第e插入点到下一插入点之间的全局模型参数范围划分为所述第e新增服务器对应的全局模型参数范围，e＝1,2…E；

步骤S20、将第e新增服务器对应的全局模型参数范围对应的原服务器所对应的全局模型参数发送给第e新增服务器，并更新原服务器所对应的全局模型参数范围；

步骤S30、向每一客户端广播每一原服务器和新增服务器当前对应的全局模型参数范围。

例如，在加入新服务器a时，在环形哈希空间指定n_a个位置。将从每一个被指定的位置，到下一个已经被指定的位置之间的范围分配给新服务器a。并向参数范围发生变更的服务器发送消息，同时通知新服务器a负责的参数范围。由参数发生变更的旧服务器直接向新服务器a发送需要移交的全局模型参数。向所有客户端广播每个服务器的参数范围。

作为一种实施例，当所述系统中删除V个服务器时，所述处理器在执行所述计算机程序时，还实现以下步骤：

步骤S100、取消第v删除服务器在所述环形哈希空间上的插入点，将第v删除服务器每一的插入点对应的全局模型参数范围划分给该插入点之前的一个插入点对应的服务器，并将对应的全局模型参数发送给该服务器，v＝1,2，…V；

步骤S200、向每一客户端广播删除V个服务器后每一服务器当前对应的全局模型参数范围。

例如，删除服务器b时，查找服务器b在环形哈希空间上的位置，并取消这些插入点，同时通知这些插入点之前的一个插入点对应的服务器接收服务器b负责的参数范围。由服务器b向对应的服务器发送对应的全局模型参数，向所有客户端广播每个服务器的参数范围。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于多服务器的联邦学习系统，其特征在于，

包括S个服务器、K个客户端、全局模型参数key-value映射表，处理器和存储有计算及程序的存储器，其中，S和K均为大于等于2的整数，所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内，再将哈希空间第0位定义为第M位的下一位，构建环形哈希空间；

步骤S2、根据第s服务器对应的预设全局模型参数范围数量n_s，在所述环形哈希空间中设置n_s个第s插入点，将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围，s＝1,2…S；

步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围，并控制每一服务器初始化对应的全局模型参数，将t初始化为1；

步骤S4、在第t轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数，k＝1,2,…M；

步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练，根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量；

步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数；

步骤S7、判断模型是否收敛，若收敛，则结束模型训练，否则，令t＝t+1,返回执行步骤S4。

2.根据权利要求1所述的联邦学习系统，其特征在于，

优选的，所述步骤S5包括：

步骤S51、基于第k参与客户端获取的基于所有服务器对应的全局模型参数和本地数据进行若干轮随机梯度下降训练得到本地模型参数

其中，

随着第k参与客户端本地模型训练而更新，

的初始值为

为第k参与客户端基于所获取的所有服务器对应的全局模型参数的总和，η为预设的学习率，D_k表示第k参与客户端的本地数据，

表示

在D_k上的损失函数值；

步骤S52、根据第k参与客户端本地模型训练结束后得到的w_t ^k和每一服务器在所述环形哈希空间对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量。

3.根据权利要求2所述的联邦学习系统，其特征在于，

优选的，所述步骤S51还包括：

步骤S511、基于D_k、

和预设的正则系数γ获取

其中，

表示

在D_k上的评价函数值，

为正则项，表示

在D_k上的评价函数值。

4.根据权利要求3所述的联邦学习系统，其特征在于，

优选的，γ的取值范围为(0,1)。

5.根据权利要求1所述的联邦学习系统，其特征在于，

所述步骤S6包括：

步骤S61、基于接收到第k客户端发送的第s服务器对应的本地模型参数

和本地数据量n_k，更新第s服务器对应的本轮全局模型参数

其中，

随着客户端上传本地模型参数

和本地数据量n_k而更新，n_r表示第s服务器本轮中已接收到的客户端本地数据量之和；

步骤S62、判断第s服务器是否已接收到本轮所有参与客户端发送的本地模型参数和本地数据量，若是，则将当前的

确定为第s服务器最终的本轮全局模型参数，否则，等待所有第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新

后，将当前的

确定为第s服务器最终的本轮全局模型参数；

步骤S63、当所有服务器得到最终的本轮全局模型参数后，本轮训练完成，执行步骤S7。

6.根据权利要求5所述的联邦学习系统，其特征在于，

所述步骤S62还包括：

步骤S621、当第s服务器还未接收到本轮所有参与客户端发送的本地模型参数和本地数据量时，判断第k客户端发送给第s服务器对应的本地模型参数

和本地数据量n_k的次数是否超过预设次数阈值，若未超过，则将当前

发送给第k客户端进行再次本地训练，并将再次训练得到的第s服务器对应的本地模型参数和本地数据量再次发送给第s服务器，直至第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新

7.根据权利要求1所述的联邦学习系统，其特征在于，

当所述系统中新增E个服务器时，所述处理器在执行所述计算机程序时，还实现以下步骤：

步骤S10、根据第e新增服务器对应的预设全局模型参数范围数量n_e，在所述环形哈希空间中设置n_e个第e插入点，将每一第e插入点到下一插入点之间的全局模型参数范围划分为所述第e新增服务器对应的全局模型参数范围，e＝1,2…E；

步骤S20、将第e新增服务器对应的全局模型参数范围对应的原服务器所对应的全局模型参数发送给第e新增服务器，并更新原服务器所对应的全局模型参数范围；

步骤S30、向每一客户端广播每一原服务器和新增服务器当前对应的全局模型参数范围。

8.根据权利要求1所述的联邦学习系统，其特征在于，

当所述系统中删除V个服务器时，所述处理器在执行所述计算机程序时，还实现以下步骤：

步骤S100、取消第v删除服务器在所述环形哈希空间上的插入点，将第v删除服务器每一的插入点对应的全局模型参数范围划分给该插入点之前的一个插入点对应的服务器，并将对应的全局模型参数发送给该服务器，v＝1,2，…V；

步骤S200、向每一客户端广播删除V个服务器后每一服务器当前对应的全局模型参数范围。

9.根据权利要求1所述的联邦学习系统，其特征在于，

每一服务器对应的预设全局模型参数范围数量相等。

Images