CN113312180B - 一种基于联邦学习的资源分配优化方法及系统 - Google Patents

Abstract

本发明涉及一种基于联邦学习的资源分配优化方法及系统，通过对用户设备与边缘服务器的连接关系进行调整，从而每个边缘服务器所覆盖的用户设备的所有数据集接近于独立同分布，使得每个部分模型达到目标精度的速度很快，从而可以最大程度降低延迟。本发明实现了更优的系统资源分配，同时实现了更低的系统延迟。

Description

一种基于联邦学习的资源分配优化方法及系统

技术领域

本发明涉及机器学习技术领域，特别是涉及一种基于联邦学习的资源分配优化方法及系统。

背景技术

将联邦学习技术应用于三层边缘计算中，可以避免用户设备的隐私数据直接上传，从而保护用户的数据隐私。由于边缘服务器相比于云服务器的延迟更低，在三层系统中，可以通过边缘服务器进行部分模型的整合，从而实现更高的效率。但是在三层系统中，边缘服务器和用户设备的计算和通信资源都是有限的，需要设计更好的算法来实现最优的资源分配，以实现最低的系统延迟。然而，用户设备的数据集具有非独立同分布的特性，这会使得不同的用户设备的本地模型、边缘服务器的部分模型达到目标精度的时间相差很大，甚至造成某些模型不收敛的情况。

发明内容

本发明的目的是提供一种基于联邦学习的资源分配优化方法及系统，能够结合分布式数据集的独立同分布性质，实现最优的资源分配。

为实现上述目的，本发明提供了如下方案：

一种基于联邦学习的资源分配优化方法，所述方法包括：

将每个用户设备随机分配至某边缘服务器；

对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式。

一种基于联邦学习的资源分配优化系统，所述系统包括：

随机分配模块，用于将每个用户设备随机分配至某边缘服务器；

优化模块，用于对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于联邦学习的资源分配优化方法及系统，通过独立同分布调整，使得每个边缘服务器所覆盖的用户设备的所有数据集接近于独立同分布，进而提高每个部分模型达到目标精度的速率，实现最大程度的降低延迟。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于联邦学习的资源分配优化方法流程图；

图2为本发明实施例提供的利用基于联邦学习的资源分配优化方法训练模型的流程示意图；

图3为本发明实施例提供的一种基于联邦学习的资源分配优化系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于联邦学习的资源分配优化方法及系统，能够针对每个边缘服务器所覆盖的用户设备进行多轮独立同分布调整，使每个边缘服务器所覆盖的用户设备的所有数据集接近于独立同分布，进而使得每个部分模型达到目标精度的速度很快，从而可以最大程度的降低延迟，实现更优的资源分配。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图1所示，本实施例提供了一种基于联邦学习的资源分配优化方法，所述方法包括：

步骤101：将每个用户设备随机分配至某边缘服务器；

步骤102：对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式。

在对用户设备与边缘服务器的连接方式进行独立同分布调整时，需要根据优化函数进行调整。因此，在为边缘服务器分配用户设备时，首先要构建优化函数。具体的，本实施例中以系统延迟为优化目标，优化变量为用户设备的处理器时长t和信道带宽分配系数b，则本实施例所用的优化函数为：

其中，r为本地模型训练次数(与数据集的独立同分布属性相关)，c为单个数据点计算次数，D为数据集大小，d为模型大小，B为总带宽，p为功率，N₀为白噪声。

然后将每个用户设备随机分配至某个边缘服务器，再对随机分配后的分配方式进行独立同分布调整，具体包括：

随机选取两个所述边缘服务器，对与该两个所述边缘服务器相连的用户设备进行独立同分布调整，得到新的分配方式；

根据所述新的分配方式，对优化函数进行优化，得到优化函数值；

判断是否存在可进行独立同分布调整的用户设备以及所述优化函数值是否下降，若不存在可进行独立同分布调整的用户设备或所述优化函数值不再下降，则结束独立同分布调整，将当前的新的分配方式作为最优资源分配方式；否则，返回“随机选取两个所述边缘服务器”步骤。

为了更清楚的说明独立同分布调整的过程，本实施例以3个边缘服务器A、B、C以及用户设备1-10为例进行具体说明。

首先，将10个用户设备随机分配给3个边缘服务器，例如A和设备1-3连接，B和设备4-6连接，C和用户设备7-10连接，得到随机分配的初始分配方式。然后随机选取两个边缘服务器，例如A和C，任意交换两个其各自下属的用户设备，例如交换1和8，则分配方式就会变成A:{2,3,8}，B：{4,5,6}，C：{1,7,9,10}。或者将任意一用户设备连接到另外的边缘服务器上，例如将用户设备1从A断开，连接到B上，则分配方式变成A:{2,3}，B：{1,4,5,6}，C：{7,8,9,10}。

通过这样的调整，能够使得两个边缘服务器所覆盖的用户设备上的数据集更加符合独立同分布特征，即两个边缘服务器所覆盖的数据集的分布均和总体数据集的分布更加相似。例如，反映所有用户设备的所有数据的类别概率分布的总体数据集分布为猫图片占30％，狗图片占70％。而用户设备的数据集分布一般来说和总体分布有差异，比如用户设备1上，猫图片占40％，狗图片占60％，通过交换或者重连接用户设备，使得每个边缘服务器能够获取与总体数据集更相近的数据，从而使得各个边缘服务器与总体数据集的数据分布更加相似，有效降低系统的延迟，提高系统的效率与精度。

为了更加准确的度量相似度，本实施例通过wasserstein距离W来衡量用户设备的数据集分布P1与总体数据集分布P2之间的相似度：

其中π表示联合分布的集合，γ表示某个联合分布，(x,y)表示一组采样，当相似度越高时，表示数据集更加符合独立同分布特性。

在得到独立同分布调整后的分配方式后，根据当前的分配方式对优化函数进行优化，将该问题视为凸优化问题，采用MATLAB的CVX函数进行优化，通过不同的用户设备处理器时长t和信道带宽分配系数b的输入，得到不同的优化函数输出，函数输出值越小，表示系统的延迟越低。

得到优化函数值后，判断是否存在可进行独立同分布调整的用户设备以及所述优化函数值是否下降，若不存在可进行独立同分布调整的用户设备或所述优化函数值不再下降，则结束独立同分布调整，将当前的新的分配方式作为最优资源分配方式；否则，返回“随机选取两个所述边缘服务器”步骤进行下一轮循环。

得到最优资源分配方式后，还包括按照最优资源分配方式部署系统的步骤，得到按照最优资源分配方式部署的系统，接下来将利用该系统执行机器学习模型(由依次连接的全连接层和激活层构成)的训练过程。

如图2所示，首先使用户设备使用本地数据集进行模型训练，得到符合目标精度的本地模型后，结束本地模型训练，得到本地模型更新，然后将本地模型更新从用户设备上传至边缘服务器；

由边缘服务器进行本地模型更新的整合，即平均所有本地模型更新的参数，并加到旧的模型参数上，得到新的部分模型并检测部分模型的精度，如果部分模型的精度未达到目标精度，则返回利用用户设备得到新的本地模型更新的步骤重新得到部分模型，如果部分模型的精度达到目标精度，则将该部分模型上传至云服务器。

由云服务器进行部分模型的整合，得到全局模型，并计算全局模型的精度，如果全局模型未达到目标精度，则返回用户设备得到本地模型更新的步骤再次计算；如果全局模型达到目标精度，则将输出当前全局模型。

为了更清楚的对本实施例所提供的一种基于联邦学习的资源分配优化方法进行介绍，本实施例中具体将该方法应用到图像分类中，通过对训练图像分类模型的训练样本图像数据进行调整，得到更加精确的全局模型，从而实现更加准确的图像分类任务，如对手写字的识别等。

具体的，当本实施例中的基于联邦学习的资源分配优化方法应用到图像分类中时，首先将存储有作为训练样本的图像数据的各个用户设备随机分配至各个边缘服务器，使得每个用户设备都与一边缘服务器连接，完成训练样本图像的初步分配。

然后对用户设备与边缘服务器的连接方式进行独立同分布调整，使得每个边缘服务器所覆盖的用户设备中的训练样本图像能够最大程度的接近总体训练样本图像数据集的分布，从而使得各个边缘服务器进行模型整合得到的部分模型能够更快满足预定精度，有效降低图像分类模型更新的延迟，提高对图像分类模型优化训练的效率。

本实施例中提供的基于联邦学习的资源分配优化方法，采用将包含训练图像数据的用户设备与边缘服务器的连接方式进行独立同分布调整，从而使得边缘服务器涵盖的训练图像数据的分布更加接近整体训练图像数据集的分布，进而使得边缘服务器的模型整合效率更高，降低了图像分类模型的训练延迟，提高了计算机对图像分类模型训练过程的处理能力，属于对联邦学习中的用户设备与边缘服务器的连接方式进行独立同分布调整，从而获得更加高效的图像分类系统。

实施例2

如图3所示，本实施例提供了一种基于联邦学习的资源分配优化系统，所述系统包括：

随机分配模块M1，用于将每个用户设备随机分配至某边缘服务器；

优化模块M2，用于对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式。

本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于联邦学习的资源分配优化方法，其特征在于，所述方法包括：

将每个用户设备随机分配至某边缘服务器；

对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式；

在将每个用户设备随机分配至某边缘服务器之前，所述方法还包括构建优化函数，根据所述优化函数对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整；

所述对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式包括：

随机选取两个所述边缘服务器，对与该两个所述边缘服务器相连的用户设备进行独立同分布调整，得到新的分配方式；

根据所述新的分配方式，对所述优化函数进行优化，得到优化函数值；

判断是否存在可进行独立同分布调整的用户设备以及所述优化函数值是否下降，若不存在可进行独立同分布调整的用户设备或所述优化函数值不再下降，则结束独立同分布调整，将当前的新的分配方式作为最优资源分配方式；否则，返回“随机选取两个所述边缘服务器”步骤；

所述优化函数由系统延迟表示，具体包括：

其中，r为本地模型训练次数，c为单个数据点计算次数，D为数据集大小，d为模型大小，B为总带宽，p为功率，N₀为白噪声，i为计量单位，t为用户设备的处理器时长，b为信道带宽分配系数。

2.根据权利要求1所述的一种基于联邦学习的资源分配优化方法，其特征在于，所述对与该两个所述边缘服务器相连的用户设备进行独立同分布调整包括：将两个所述边缘服务器下辖的各一个所述用户设备进行连接交换；

或将与某一所述边缘服务器相连的一个所述用户设备连接至另一所述边缘服务器。

3.根据权利要求1所述的一种基于联邦学习的资源分配优化方法，其特征在于，所述根据所述新的分配方式，对所述优化函数进行优化包括：

采用matlab的CVX函数对所述优化函数进行优化。

4.根据权利要求1所述的一种基于联邦学习的资源分配优化方法，其特征在于，在得到所述最优资源分配方式后，所述方法还包括按照所述最优资源分配方式部署系统。

5.根据权利要求4所述的一种基于联邦学习的资源分配优化方法，其特征在于，在按照所述最优资源分配方式部署系统后，所述方法还包括执行机器学习模型训练过程，得到全局模型。

6.根据权利要求5所述的一种基于联邦学习的资源分配优化方法，其特征在于，所述执行机器学习模型训练过程，得到全局模型包括：

使所述用户设备利用本地数据集得到本地模型更新，并将所述本地模型更新上传至所述边缘服务器；

使所述边缘服务器整合所述本地模型更新，得到部分模型，并将所述部分模型上传至云服务器；

在云服务器进行所述部分模型的整合，得到全局模型。

7.一种基于联邦学习的资源分配优化系统，其特征在于，所述系统包括：

随机分配模块，用于将每个用户设备随机分配至某边缘服务器；

优化模块，用于对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式；

在将每个用户设备随机分配至某边缘服务器之前，所述系统还包括构建优化函数，根据所述优化函数对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整；

所述对所述用户设备与所述边缘服务器的连接方式进行独立同分布调整，得到最优资源分配方式包括：

随机选取两个所述边缘服务器，对与该两个所述边缘服务器相连的用户设备进行独立同分布调整，得到新的分配方式；

根据所述新的分配方式，对所述优化函数进行优化，得到优化函数值；

判断是否存在可进行独立同分布调整的用户设备以及所述优化函数值是否下降，若不存在可进行独立同分布调整的用户设备或所述优化函数值不再下降，则结束独立同分布调整，将当前的新的分配方式作为最优资源分配方式；否则，返回“随机选取两个所述边缘服务器”步骤；

所述优化函数由系统延迟表示，具体包括：

其中，r为本地模型训练次数，c为单个数据点计算次数，D为数据集大小，d为模型大小，B为总带宽，p为功率，N₀为白噪声，i为计量单位，t为用户设备的处理器时长，b为信道带宽分配系数。

Images