CN111866954A - 一种基于联邦学习的用户选择和资源分配方法 - Google Patents

Abstract

本发明涉及一种基于联邦学习的用户选择和资源分配方法，属于移动通信技术领域。首先，对参加FL的用户进行筛选。综合考虑IDs交互可靠度和交互新鲜度，生成IDs的信誉值。其次，基于层次分析法对IDs的QoS需求进行分析，根据IDs的不同QoS需求建立优先级。最后，将最小化FL任务总开销问题分解为计算阶段开销和通信资源分配两个子优化问题分别求解。在FL任务计算优化阶段，考虑IDs的CPU频率不同，需权衡计算时间和计算能耗；在通信资源优化阶段，根据IDs的优先级从高到低进行RB分配。本方案有效的降低了FL任务的总时延和能耗开销，在满足IDs的QoS需求同时保证了FL过程的可靠性和有效性。

Description

一种基于联邦学习的用户选择和资源分配方法

技术领域

本发明属于移动通信技术领域，涉及一种基于联邦学习的用户选择和资源分配方法。

背景技术

随着人们对维护消费者数据隐私的兴趣日益高涨，导致了一类新的机器学习技术，联邦学习的出现。联邦学习允许物联网设备(Internet of Things Devices,IDs)协作建立一个共享的全局模型，同时将所有的训练数据保存在自己的设备上。具体地说，IDs根据其本地训练数据计算本地模型更新，然后由中央服务器(如雾节点，Fog Nodes,FNs)聚合为共享的全局模型，以便所有IDs都可以访问相同的全局模型。重复这个过程，直到达到模型训练精度。由于本地训练数据不共享，IDs的数据隐私得到了很好的保护，从而将本地模型训练与数据中心获取、存储和全局模型聚合分离开来。

支持联邦学习的理由有很多。首先，随着雾计算的发展，联邦学习可以很容易地在现实中实现。模型训练可以以分布式的方式完成，从而减少上传大量原始数据的延迟。其次，联邦学习极大地促进了大规模的数据收集和模型训练。例如，一群智能设备可以在白天主动感知和收集数据，然后在夜间联合反馈到FNs并更新全局模型，以提高第二天使用的效率和准确性。这种方式将促进新一代智能服务的发展，如智能交通、智能购物和智能医院。

尽管有上述巨大的好处，联邦学习仍然面临着严峻的挑战。一方面，不可靠的IDs可能有意或无意地执行不良行为，从而误导了联邦学习任务的全局模型训练。对于故意行为，IDs可能发动中毒攻击，发送恶意本地模型更新以影响全局模型参数，从而导致当前协作学习机制失败。而且，动态性更高的移动网络环境会间接导致IDs的某些意外行为，即IDs无意中更新一些对联邦学习任务产生不利影响的低质量参数。因此，设计有效的方案来选择IDs，对联邦学习的可靠性至关重要。另一方面，与其他机器学习方法类似，联邦学习优化的关键指标是收敛到预定精度水平所需的学习时间。然而，与传统的机器学习方法不同，联邦学习时间包括IDs的计算时间和通信时间，在计算阶段，由于IDs的CPU频率各不相同，如何权衡IDs的计算时间和计算能耗？此外，IDs是否应该花费更多时间在计算阶段，以达到更高的本地模型精度，即计算次数与通信轮数的权衡问题。最后，每个IDs对传输速率、时延、误码率的需求不同，如何在降低FL任务的总开销的同时满足IDs的QoS需求也是一个值得研究的问题。

在上述情况下，本发明提出了一种基于联邦学习的用户选择和资源分配方法。该方法将用户选择、QoS分析、FL计算开销优化、传输资源分配联合建模为一个最小化FL任务总开销问题。首先，基于信誉值对IDs进行选择，设置信誉值阈值，高于阈值的IDs加入FL。其次，基于层次分析法(Analytic Hierarchy Process,AHP)对IDs的QoS需求进行分析，确定不同IDs的不同QoS需求的优先级。表1所示为典型业务的QoS需求。之后，考虑到IDs的异构性，不同IDs的CPU频率不同，因此要在计算能耗和计算时延之间做出权衡。最后，提出基于用户QoS需求的RB分配算法，综合考虑了IDs的优先级、IDs的满意度和RBs的质量，将RBs分配到执行FL任务的IDs。本方案有效的在满足IDs的QoS需求的同时降低了FL任务的总开销，实现了资源分配的有效性。

表1典型业务的QoS需求

发明内容

有鉴于此，本发明的目的在于提供一种基于联邦学习的用户选择和资源分配方法。

为达到上述目的，本发明提供如下技术方案：

该方法根据所提供网络场景的特性，将用户选择、QoS分析、FL计算开销优化、传输资源分配联合建模为一个最小化FL任务的总开销问题，该方法包括以下步骤：

S1：基于信誉值的用户选择方案；

S2：基于层次分析法的QoS分析方案；

S3：基于用户异构性的FL计算开销优化方案；

S4：传输资源分配方案。

进一步，在步骤S1中，基于信誉值的用户选择方案可分为以下步骤进行：

1.FN通过主观逻辑模型计算IDs的信誉值。在本方案的多IDs多FNs的FL模型中，IDs仅上传本地模型参数到所关联的FNs，因此不考虑其它FNs对IDs的间接信誉评价。

2.FN选择本轮参加FL的IDs。信誉计算后，FN选择信誉大于阈值的IDs，加入FL用户集，设置α_u,m＝1，并为其分配传输RB。被选择的IDs分别进行局部计算，通过分配的RB上传模型参数和局部模型梯度到FN。

3.FN接收到所有与其关联的FL用户集的IDs的上传信息后，通过攻击检测方案对本地模型进行质量评估，FN删除不可靠的本地模型更新，收集所有可靠的本地模型更新进行全局聚合，并将全局聚合参数返回到IDs。该过程迭代，直到最新的全局模型满足预定义的收敛条件。

4.在每次迭代中，与不可靠IDs的交互都被视为负面交互，并由FN记录。FN根据过去的交互为参与FL的IDs生成直接信誉。

由于高信誉度IDs具有高精度、可靠的本地数据，在模型训练过程中起着至关重要的作用，因此高效、准确的信誉计算对于可靠的FL至关重要。通过主观逻辑模型生成IDs的信誉值。主观逻辑是一种广泛采用的概率推理框架，使用积极、消极和不确定性来表示主观意见。为了获得IDs准确信誉值，FN将综合考虑IDs交互可靠度和交互新鲜度，生成IDs的信誉值。

对于具有一系列时隙{τ₁,..,τ_j,...,τ_J}时间窗口，FN在时隙τ_j中对IDu的信誉评价表示为：

其中，

分别表示在时隙t_yFN对IDu信任、怀疑、不确定。三者之和为1，并在(0,1)之间取值。基于主观逻辑模型，得到：

其中，

分别表示在时隙τ_j正向交互、负向交互的次数。FN通过攻击检测方案进行验证，若ID u提供的本地模型是有用且可靠的，则FN将其视为与ID u之间的积极互动，反之则认为是消极互动。

代表ID u数据包传输的成功概率，即通信质量，会影响信誉评价的不确定性

FN在时隙τ_j中对IDu的信誉值表示为：

其中δ∈[0,1]是不确定性

对信誉值的影响系数。

IDu的信誉评价

受许多因素影响，传统的主观逻辑向多权重主观逻辑发展，考虑以下因素来计算信誉评价。

(1)交互可靠度：对本地模型更新进行质量评估，存在历史交互的正面和负面交互结果，正面交互能够提高IDs的信誉值。为了阻止负面交互，负面交互在信誉计算中的权重高于正面交互。κ表示正面交互权重，η表示负面交互权重，κ≤η且η+κ＝1。因此，(2)中的表达式可重写为：

(2)交互的新鲜度：IDs的可靠性会随着时间而改变，在FNs与IDs的交互过程中，具有更多新鲜度的近期交互事件比过去的事件具有更大的权重。为了反映时间对信誉的影响，定义了新鲜度衰落函数：

ρ(τ_j)＝ρ_j＝z^J-j (5)

其中z∈(0,1)是事件新鲜度的给定衰落参数，时隙j∈(1,J)决定事件新鲜度衰减程度。因此，FN对IDu的信誉评价和信誉值分别表示为：

进一步，在步骤S2中，由于整个雾网络中的传输资源有限，FN的传输资源应合理的分配到每个参加FL的IDs。由于IDs类型和QoS需求的多样性，FNs与IDs之间的关联是一个多准则决策问题。基于AHP的QoS评估框架由决策目标层、决策标准层、决策对象层构成。决策目标层的目标是计算不同类型IDs的优先级。决策标准层决定IDs的QoS参数的偏好。本文主要考虑传输速率、时延和误码率。决策对象层为每个QoS参数提供基于QoS的ID列表。基于AHP的QoS评估框架的分析过程分为以下三个步骤：

1.IDs的局部权重：决策标准层计算IDs的局部权值，得到IDs对不同QoS参数的偏好。在该场景中，传输能耗是传输速率的递增函数，因此将能耗、延迟和误码率作为QoS参数。根据表1中IoT应用的典型QoS需求，定义不同数值表示IDs的QoS参数的优先级。其中，g₁,g₂,g₃,g₄分别对应从小到大的数值，表示“弱偏好”“中等偏好”“较强偏好”“强偏好”。表2所示为IDs的QoS参数的偏好。

表2不同QoS参数的数值偏好

每一个IDu对应一个两两比较矩阵A_u∈R^3×3。A_u阵的每个元素a_i,j表示QoS参数i相对于j的偏好(i,j分别对应行和列)。根据表2的QoS参数的偏好值计算a_i,j。例如，对于实时数据，a_1,2表示能耗对于时延的相对重要性，计算为g₃/g₄。A_u同规格列归一化得到

∈R^3×3，其中

表示归一化的相对重要性，作为局部权重矩阵W^l∈R^U×3的基本元素。其中w^l _u,s表示IDu的QoS参数s的局部权重。

2.基于QoS的ID列表：决策对象层为每个QoS参数生成基于QoS的ID列表。IDs的QoS需求对应一个矩阵Q∈R^U×3，q_u,1,q_u,2,q_u,3分别表示ID.u.对能耗、时延和误码率的需求。

为了评估每个QoS参数对ID u的影响，将QoS需求阵Q归一化为

∈R^U×3，q_u,s表示IDu对QoS参数s的需求。令

，将o_u,s按照降序排列，构成QoS参数s的ID列表。

3.IDs的全局权重：决策目标层计算IDs的全局权重，表示不同IDs的优先级。由以上分析得到局部权重w^l _u,s∈W_l，基于QoS的ID列表O。对于FNm，通过对基于QoS的ID列表O的进行相关计算，得到

进一步，在步骤S3中，在一次全局迭代过程中，FL任务的总开销包括FL计算开销和通信开销，FL计算开销优化可以表述为：

其中，SUB1是计算时间和能量最小化的CPU频率控制问题。在SUB1的求解中，将IDs分成了三个类别：χ₁是一组以最大频率的训练数据的“合格”IDs；χ₂是“优秀”IDs，即使以最小的频率训练数据，也会在最大计算时间阈值，

之前完成任务；χ₃是“良好IDs”，即以可行频率集的最优频率进行训练的IDs。

由于SUB1是凸优化问题，对应的的最优解如下：

相应的，得到不同类别的IDs的计算时间：

因此，FL最优计算时间表示为：

可以看出，SUB1的最优解取决于不同类别IDs的虚拟截止时间

其中最大值将决定最优虚拟截止时间T^cmp,*。不同类别的IDs，对应不同的虚拟截止时间。若类别χ_i没有IDs，则

进一步，在步骤S4中，误码率与干扰有关，传输时间、卸载能耗与传输速率有关，传输速率由RB分配结果决定。因此，提出RB分配算法，根据IDs的优先级、IDs的满意度和RBs的质量，将RBs分配到执行FL任务的IDs。

若FN m范围内的多个IDs执行FL，FNm会优先给高优先级ID分配RB，其中，IDs的优先级取决于基于AHP分析模型的全局权重

值越大，表示IDs的优先级越高。

处于同一优先级的IDs，根据ID满意度的大小由小到大依次分配RB。本模型中，IDs的满意度定义为：

ι_u,m值越小，说明IDu当前的满意度越低，优先分配RB。其中，K_u,m表示FN m给IDu分配的RB个数，

表示FN m预期给IDu分配的RB个数，

如果处于同一优先级IDs的满意度相同，优先选择RB质量表中首位RB质量最好的ID分配RB。根据可用RB数和RB质量为每个ID创建RB质量表，并按RB质量降序排列。本节把IDu在RB n上传输数据的平均SINR定义为ID u对RB n的估计质量，表示为：

其中I_u,n表示IDu占用RBn受到的干扰。FNs通过IDs的RB质量表，根据IDs的优先级，依次将当前最佳质量的RB分配给IDs。

本发明的有益效果在于：本发明有效的在满足IDs的QoS需求的同时降低了FL任务的总开销，实现了资源分配的有效性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为可靠联邦学习网络模型；

图2为基于AHP的QoS分析模型。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图1示出了基于雾计算的多用户联邦学习网络模型，包括用户端和边缘服务器。图2为基于AHP的QoS分析模型。

考虑由无线通信基础设施(即FNs)和一组IDs组成的通用移动网络。M＝{1,2,...,m,...,M}表示FN的集合，其中m表示第m个FN。每个FN与若干个IDs相关联，IDs的集合表示为U＝{1,2,...,u,...,U}。IDs具有一定的计算和通信资源，不仅可以从移动应用中产生多种用户数据，还可以采集大量的传感数据。

FN可分配的RB数量用N＝{1,2,...n,...,N}表示。IDs的QoS参数由S＝{1,2,...,s,...,S}表示。5G网络中主要考虑时延、传输速率、误码率作为IDs的QoS参数。根据ID任务的不同类型将对应不同的QoS需求，ID u不同QoS参数的权重以向量

表示。

联合考虑FL模型训练、IDs的QoS需求，以最小化网络总开销，其包括能耗开销、时延开开销和误码率开销。由于用户能耗和传输速率需求是相互耦合的，随着IDs对传输速率需求的增加，相应的传输能耗也呈增长趋势。因此IDu的QoS权重可以表示为：

其中

分别表示ID u的能耗局部权重、时延局部权重和误码率局部权重。

1.FL模型

对于参加FL的ID u，D_u表示ID u的本地数据集大小，ID u的样本数据表示为一组输入输出对

x_i表示输入样本，y_i为输入样本x_i对应的标签输出值。学习目标是找到模型参数ω，通过损失函数f_i(ω)，表示输出y_i。

由于FL模型中考虑多FNs多IDs场景，定义α_u,m训练决策向量，若α_u,m＝1，则FN m覆盖范围内的ID u参与模型训练，否则不参与。

FNm范围内的ID u数据集的损失函数为：

以最小化全局损失函数为目标，即：

在ID端，第t次更新时，分为两个阶段：

(1)FL任务计算阶段：每个ID进行本地模型训练：

其中本地训练精度0≤θ≤1，即

(2)通信阶段，IDs通过无线信道将模型参数

和梯度值

传输到其关联的FN。在FN端，根据接收到的本地参数后进行全局聚合：

聚合后的模型参数

和梯度值

将返回给IDs。此过程迭代进行，直到达到全局精度ε，其中0＜ε＜1(即

)。

此外，全局精度ε和本地精度θ越小，FL全局迭代次数越多。计算时间取决于本地迭代次数，本地迭代次数上界是O(log1/θ)，可采用梯度下降法，坐标下降法，或者随机对偶坐标下降法求解。

2.计算模型

IDu在FL过程中计算数据{x_i,y_i}所需的CPU周期为c_u，因此对于样本数据

IDu执行一次本地计算所需CPU周期为c_uD_u。IDu的CPU频率为f_u，则IDu一次本地计算的能耗和时延分别表示为：

3.通信模型

IDu将模型参数ω_u,m和损失函数梯度▽F_u,m上传到FNm，FNm全局聚合后，把更新后的参数回传到IDu。考虑上行链路传输，网络可用带宽为B Hz。用β_u,n∈{0,1}表示RB分配向量，其中β_u,n＝1表示将RBn分配给IDu，β_u,n＝0，则表示不分配。

当IDu使用被临近FN占用的RB时，会产生干扰。IDu在RBn上受到的干扰强度为：

其中，m'∈M/m表示FN集合中除去FNm以外的FNs，u'∈U/u表示ID集合中除去IDu以外的IDs。P_u′,m′,n表示IDu'的数据通过RB n上传到FNm'的发射功率，H_u′,m′,n表示IDu'的数据通过RB n上传到FNm'的信道增益，K_u',m'表示FNm'给IDu'分配的RB数量。

根据香农公式，IDu到FNm的传输速率表示为：

假定ω_u,m和▽F_u,m的数据大小为l_u，传输时间和传输能耗分别表示为：

由于信道中噪声的存在，以及设备不完善，在IDs和FNs的通信过程中，即使干扰I_u,n很小，传输数据也可能被损坏。调制性能，即频谱效率可以表示为

相应的，BER表示为：

其中，在考虑干扰的情况下，

表示每比特传输能量与噪声功率谱密度比，Υ_thre是调制阈值，ξ是给定调制指数。

4.优化问题建模

在FL过程中，本发明目标是最小化FL任务总开销，包括时延、能耗和误码率，并保证多类型IDs的QoS需求。在一次全局迭代过程中，FN m覆盖范围内，参与FL的IDs能耗开销、误码率开销分别表示为：

其中θ表示本地训练精度，本地迭代次数上界是O(log1/θ)。

由于IDs的本地模型训练是同步进行的，因此，FN m覆盖范围内的参与FL的IDs本地训练时间由训练时间最长的ID决定，表示为：

考虑到IDs的QoS需求，以及信誉值对用户的筛选，将优化问题建模为最小化FL的网络总开销，如下所示：

最小化计算能耗和计算时延是矛盾的。例如，IDu可以通过设置最低频率f_u实现最小化能耗，但对应的计算时延会大大增加。因此，在计算阶段，能耗和时延权重的比值，

表示为了降低计算时延，愿意增加额外的能耗，从而达到一种帕累托最优解。约束条件(C1)保证了ID u与FN m通信过程中的最小传输速率需求，约束条件(C2)(C3)分别表示训练决策向量，RB分配向量和本地训练精度。其中训练决策向量α_u,m和RB分配向量β_u,n取值为0或者1。(C4)表示IDs的CPU频率的取值范围。本发明设置本地训练精度θ在0,1之间取值，θ值越小，代表训练精度越高。

根据上述分析，优化问题有四个优化变量α,β,f,θ，若能同时求得变量的最优值，即可得到优化问题的最优解。但在实际情况下优化问题难以直接求解，原因如下：训练决策α_u,m和RB分配向量β_u,m为二元变量，且目标函数中存在多个函数的乘积，优化问题不是凸优化问题。因此，首先进行IDs的信誉值计算，信誉值高的IDs训练决策α_u,m＝1，否则，α_u,m＝0；第二步，引入基于层次分析法(AHP)的QoS框架，对IDs的局部权重进行分析；第三步，将原优化问题分解为两个子优化问题分别求解。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于联邦学习的用户选择和资源分配方法，其特征在于：该方法根据所提供网络场景的特性，联合优化IDs选择、QoS需求分析和传输资源分配以最小化FL任务的总开销。该方法包括以下步骤：

S1：基于信誉值的用户选择方案；

S2：基于层次分析法的QoS分析方案；

S3：基于用户异构性的FL计算开销优化方案；

S4：传输资源分配方案。

2.根据权利要求1所述的一种基于联邦学习的用户选择和资源分配方法，其特征在于：在所述步骤S1中，建立一个多用户联邦学习FL网络模型，包括用户端和边缘服务器；考虑由无线通信基础设施；即雾节点FNs和一组物联网设备IDs组成的通用移动网络；M＝{1,2,...,m,…,M}表示FN的集合，每个FN与若干个IDs相关联，IDs的集合表示为U＝{1,2,...,u,...,U}；IDs配备一定的计算和通信资源，从移动应用中产生多种用户数据，以及采集大量的传感数据；FN将综合考虑IDs交互可靠度和交互新鲜度，对IDs的局部模型进行评估，生成IDs的信誉值；FN选择信誉大于阈值的IDs，加入FL用户集，设置训练决策向量α_u,m＝1，并为其分配传输RB；被选择的IDs分别进行本地模型更新，通过分配的RB上传模型参数和本地模型梯度到FN。

3.根据权利要求1所述的一种基于联邦学习的用户选择和资源分配方法，其特征在于：在所述步骤S2中，IDs的QoS参数由S＝{1,2,...,S}表示；卸载决策应满足IDs的传输速率、时延和误码率需求，并相应的考虑IDs的能耗敏感度和时延敏感度；将IDs的QoS需求作为决策标准，基于3GPP标准的典型数据流的QoS参数值，评估QoS参数之间的相对重要性，得到局部权重

评估每个IDs的局部权重和最小QoS需求，得到IDs的全局权重

其中

分别表示FN m对于IDs u₁,u₂,u₃的偏好权重值。

4.根据权利要求3所述的一种基于联邦学习的用户选择和资源分配方法，其特征在于：在所述步骤S3中，在任务计算阶段，FL任务计算开销包括本地计算能耗和时延；考虑到IDs的异构性，不同IDs的CPU频率不同，因此要在计算能耗和计算时延之间做出权衡；将IDs分成三个类别：χ₁是以最大频率训练数据的“合格”IDs；χ₂是“优秀”IDs，即使以最小频率训练数据，也会在最大计算时间，

内完成任务；χ₃是“良好”IDs，以最优频率进行训练的IDs。

5.根据权利要求4所述的一种基于联邦学习的用户选择和资源分配方法，其特征在于：在所述步骤S4中，在通信阶段，FL通信开销包括传输时间、传输能耗和误码率；

提出基于用户QoS需求的RB分配算法；该算法根据步骤S2中基于AHP的QoS分析模型，确定IDs优先级，高优先级的ID优先选择和接入RB，同时又不对低优先级ID产生过大影响；该算法综合考虑IDs的优先级、IDs的满意度和RBs的质量，将RBs分配到执行FL任务的IDs，以分布式进行，降低算法复杂度和通信开销。

Images