CN115081002B - 用于去中心化联邦学习的聚合服务器选择方法 - Google Patents

Abstract

本发明提出了一种用于去中心化联邦学习的聚合服务器选择方法，主要解决现有联邦学习框架中聚合服务器出现单点故障易受攻击的问题，其实现方案为：1)聚合服务器车辆生成初始全局模型并下发；2)客户端车辆对全局模型进行本地训练和更新，并确定聚合服务器选举性能分数；3)客户端车辆在性能分数中选最大值，并上传本地梯度更新值；4)本地模型和全局模型身份交互，开始新一轮模型更新迭代；5)重复步骤(2)～步骤(4)，直到全局模型精度达到收敛时精度的最大值停止迭代，得到最终的聚合服务器。本发明通过对聚合服务器的选择提高了联邦学习聚合服务器受到攻击时全局模型的精度，保证了联邦学习过程的安全性。

Description

用于去中心化联邦学习的聚合服务器选择方法

技术领域

本发明涉及联邦学习的技术领域，具体涉及一种聚合服务器选择方法，可用于在联邦学习过程中降低单一聚合服务器的被攻击频次，提升模型训练准确率。

背景技术

联邦学习作为一种分布式学习范式，这样的架构能够有效的召集多方或多计算结点之间开展高效率学习，应对当前越来越大的业务量，解决单车能力缺陷，打破传统固定模式的同时，保障了用户在数据交换时的个人信息安全。

传统联邦学习框架采用依赖云端作为服务器的架构，由单一固定的云端服务器来实现模型的聚合、发放。但这样的架构随着业务量的不断增长，受限于时延、带宽、隐私，且易受恶意的单点攻击，导致学习过程不安全、不可靠，致使传统框架存在不可忽视的安全隐患。同时，当传统联邦学习中央服务器出现故障时，恶意服务器可以随时间的推移观察用户的更新，篡改训练学习过程从而导致最终模型训练的准确率降低，毁坏整体的学习过程。同时由于集中式联邦服务器受到了越来越多的挑战和质疑。在传统联邦学习中，中央服务器管理协调多个客户端，可能出现服务器不可信情况。面对以上的问题，现有解决方法大多是从客户端角度，通过加强保护，采取加密、加噪等方法来解决；但是，也有些研究从服务器角度入手，利用联邦学习与区块链结合达到完全去中心化，利用上链操作解决联邦学习中固定单一服务器易受攻击的问题。

K.Bonawitz等提出了一种安全聚合算法，这种算法默认聚合服务器存在潜在恶意，利用反向推理客户端的关键信息，使得客户端在参与学习时屏蔽各自梯度的情况下实现安全聚合过程客户端上传过程。Y.Aono等提出一种利用同态加密的方法，在上传梯度信息时对其进行加密操作，防止被恶意窃取篡改。这两种方法虽然保护了客户端的数据安全，但是，该方法由于对客户端上传的模型要进行加密或屏蔽模型关键梯度信息，都可能会增加不必要的通信开销。

Fan Peng等提出了一种数据聚合算法，用来去除客户端上传模型中的噪声数据，以此保护参与者的敏感信息不被聚合器窃取，但对上传的模型进行加噪的方法，可能导致原始信息受损，模型训练准确率得不到保证。

JiasiWeng等提出了一种区块链赋能下联邦学习框架，在联邦学习过程中所有参与用户都进行上链操作，每个用户都具有自行聚合更新模型的权利，将聚合好的模型统一上传，通过矿工挖矿进行新一轮模型的下放训练，保证了局部梯度的机密性，避免了服务器故意篡改良好贡献者梯度的情况。但这种利用区块链和联邦学习进行结合来构建完全分布式架构，导致客户端节点不受单一实体的控制，同时由于每个客户端都具有自主设定训练参数权利，这样的训练过程会导致全局模型的一致性难以得到保证。

发明内容

本发明的目的在于克服上述技术存在的缺陷，提出一种用于去中心化联邦学习的聚合服务器选择方法，以在保留客户端信息数据完整、服务器端不受限于单一固定节点的前提下，提高联邦学习训练过程的安全性和模型精度，降低通信开销，保证联邦学习训练过程可受监管，从而提升全局模型的统一性。

为实现上述目的，本发明的技术方案包括如下：

(1)随机选择一个车辆作为初始的聚合服务器车辆，生成初始全局模型分配给通信范围内参与学习过程的客户端车辆；

(2)将全局模型分发到客户端车辆本地，客户端开始用本地数据对全局模型进行本地训练和更新，同时，客户端利用基于加权和的选举策略，确定聚合服务器选举的性能分数：

(2a)每辆客户端车辆分别计算自己与自身通信范围内其他客户端车辆之间的平均相对距离D_i、相对速度稳定因数SF_i，客户端车辆计算本地模型梯度和全局模型梯度余弦距离RS_i和自身通信活跃值CA_i，并用这些数值计算客户端车辆的性能分数：P_i＝μCA_i+εlogRS_i-φlogSF_i-ρlogD_i，其中，ρ表示平均相对距离权重、φ表示相对速度稳定因数权重、ε表示余弦距离权重、μ通信活跃度权重；

(3)客户端车辆在性能分数中选择最大值，该数值对应的客户端车辆被选为下一轮的聚合服务器，并在本轮本地训练结束后，上传所有参与学习过程的客户端车辆的本地模型梯度更新；

(4)将本轮选择出的下一轮的聚合服务器车辆与上一轮选出的聚合服务器车辆进行本地模型和全局模型交互，开始新一轮全局模型更新迭代；

(5)重复步骤(2)～步骤(4)，直到全局模型收敛时的最大值后停止迭代，得到最优的全局模型。

本发明与现有技术相比，具体有以下优势：

本发明由于在去中心化联邦学习框架中采用基于加权值的选举策略，并在每一轮训练结束后用新选择出的聚合服务器取代上一轮的聚合服务器，降低了被攻击的可能性，提高了聚合服务器的扩展性。与现有技术在客户端进行加噪、加密，以及将联邦学习与区块链结合的方法相比，可在保证全局模型正常训练的情况下，提升联邦学习训练过程的安全性和全局模型的精度。

附图说明

图1为本发明的实现流程图；

图2为本发明的全局模型训练准确率仿真结果图；

图3为本发明的全局模型损失值仿真结果图。

具体实施方式

以下结合附图，对本发明的实施例和效果作进一步详细描述。

本实例对联邦学习框架中聚合服务器的选择是基于城市场景下超车路径规划模型进行，其中，联邦学习框架分为两层，第一层是聚合服务器端，用于收集上传的本地模型更新，以及全局模型的训练、下放；第二层是客户端车辆，用于接收聚合服务器下放的全局模型，并进行本地模型训练和模型梯度更新的上传。

所述全局模型，是由聚合服务器进行训练更新，并在每轮训练结束后，发放到客户端本地进行训练的模型；

所述本地模型，是客户端车辆接收到由聚合服务器下发放的全局模型后，利用本地数据对全局模型进行训练、更新后得到的模型。

参照图1，本实例的实现步骤如下：

步骤1.生成初始的全局模型和本地模型。

联邦学习模型训练的初始阶段，将会由道路上有任务需求的车辆开启训练模型的任务请求，产生任务请求的车辆成为第一轮训练的聚合服务器，并由聚合服务器生成初始的全局模型，并召集其通信范围内的其他车辆参与到全局模型训练过程中，这些被召集的参与训练过程的车辆为客户端车辆，召集完成后，聚合服务器车辆将下放全局模型给客户端车辆，客户端车辆利用本地数据对全局模型进行训练、更新，得到本地模型。

步骤2.设置用于选择聚合服务器的指标。

为了能够选择通信性能良好并积极参与模型训练过程的聚合服务器车辆，需要设置不同的指标参数，其包括：客户端车辆计算客户端车辆的平均相对距离D_i、客户端车辆之间的相对速度稳定因数SF_i、客户端的本地模型和全局模型之间的相似度RS_i以及车辆自身通信活跃值CA_i；

利用上述计算的四个指标，计算每辆客户端车辆的性能分数，并在性能分数中选择最大值所对应的车辆，作为下一轮的聚合服务器车辆，参与到下一轮模型训练过程；

所述四个指标计算如下：

(2.1)计算平均相对距离D_i：

在联邦学习过程中，由于环境通信情况的不确定因素，特别是当聚合服务器从原始的云端搬移到驾驶车辆本地，将会影响客户端与聚合服务器之间通信链路的稳定性，也会造成不必要的通信开销，而影响这些的关键因素就是车辆之间的距离大小，因此，在客户端中选择下一轮的聚合服务器时，首先考虑的就是该客户端车辆同周围其他车辆之间的距离大小，用客户端车辆同其周围客户端车辆之间的平均相对距离来衡量，由上可知，希望平均相对距离越小越好，计算如下：

其中，D_i表示客户端车辆i同其周围客户端车辆之间的平均相对距离，N为所设通信范围内的所有车辆数目，V_i∈range(i)表示客户端车辆i的通信范围，表示客户端车辆i与车辆j之间的距离，(X_i,Y_i)表示车辆i在道路平面上的坐标，且i≠j；

(2.2)计算相对速度稳定因数SF_i：

在车对车通信中，车辆移速是影响车辆间通信情况又一个关键因素，因为车辆可达的通信范围是有限的，如果选择成为下一轮的聚合服务器车辆相对于当前通信范围内其他车辆之间的移速过高，说明该车辆将很快驶离当前范围，这将会导致模型训练的失败，因此，在客户端中选择下一轮的聚合服务器时，引入相对速度稳定因数反映客户端车辆i相对于车辆集群的相对移动情况，计算如下：

首先，计算客户端车辆i与周围车辆之间的平均速度差，计算如下：

其中，V_di表示客户端车辆i与周围车辆之间的平均速度差，|ΔV_ij|＝|V_i-V_j|是辆客户端车辆i与客户端车辆j移动速度之差，V_i是客户端车辆i的速度，i,j的范围是1到N，i≠j，N是设定范围内的车辆数量；

其次，为了反映客户端车辆i相对当前范围内其他客户端车辆的移速快慢，利用上述计算的V_di和当前范围内车辆移速的最大值V_max，计算得出相对速度稳定因数SF_i：

(2.3)计算客户端车辆的模型可信度RS_i：

为了避免选择出的聚合服务器存在恶意行为，引入模型可信度来衡量客户端车辆是否存在恶意行为，采用余弦相似度计算公式对参与学习过程的客户端车辆进行甄别，每轮训练结束后，首先，计算由当前客户端车辆用其本轮的本地模型梯度与上一轮聚合服务器的全局模型梯度余弦相似度R_i，再利用R_i计算客户端车辆i的模型可信度RS_i

RS_i＝1-R_i

其中，θ_r-1表示第r-1轮聚合服务器上全局模型的梯度，表示辆客户端车辆i在第r轮本地模型梯度；

(2.4)计算客户端车辆的通信活跃度CA_i：

为了使每轮所选的聚合服务器车辆能够积极参与学习过程，引入了通信活动指标，由客户端车辆的通信活跃度大小可以反映出客户端车辆参与学习过程的积极性，判断标准是：如果客户端车辆在上一轮学习中没有中断学习或离开学习范围，并且在每一轮中模型梯度更新量较大，则认为该客户端车辆在下一轮学习中仍然会保持良好的学习状态，更有可能充当聚合服务器，承担模型聚合和更新任务；

在判断当前范围内客户端车辆的通信活跃度时，是根据上一轮模型训练中客户端车辆模型梯度更新的2-范数确定，因为模型梯度更新的2-范数大小可以反映当前客户端在训练过程中模型更新的大小，当模型梯度更新的2-范数变化超过预设阈值τ时，则认为超过阈值的客户端车辆是参与训练过程积极性较高的车辆；但是，由于梯度更新的2-范数变化会随着模型趋于收敛而不断减小，因此，固定阈值τ将会对选举产生不利影响；因此，为了适应迭代过程不断进行模型梯度更新逐渐变小的情况，设置自适应阈值τ，以保证每轮训练都选出积极参与学习过程的车辆，具体计算过程如下：

(2.4.1)在模型训练开始时，设定初始通信活跃度阈值τ₀＝0，定义全局模型的损失函数客户端车辆i的本地梯度g(θ)_i：

其中，l_i(θ)是客户端车辆i的损失函数，N为设定范围内的车辆数量；

(2.4.2)利用客户端车辆i的本地梯度g(θ)_i得到聚合服务器上的梯度更新：

其中，θ_r+1表示更新聚合服务器更新后梯度，θ_r为上一轮聚合服务器的梯度，N为设定范围内的车辆数量，i∈1～N；

(2.4.3)利用上述的梯度更新，计算所有客户端车辆本次训练梯度更新2-范数的平均值m_r：

其中，表示第r轮客户端i中梯度更新量的2-范数，/>表示在第r轮中客户端车辆i梯度更新量；

(2.4.4)利用上述计算的所有客户端车辆本次训练梯度更新2-范数的平均值m_r，计算第r轮客户端车辆梯度更新总体的平均值和本地模型之间梯度更新的标准差S_r：

(2.4.5)由上述计算的第r轮客户端车辆梯度更新总体的平均值和本地模型之间梯度更新的标准差S_r，和所有客户端车辆本次训练梯度更新平均值m_r，计算得到上一轮的聚合服务器下放的更新阈值τ_r+1：

(2.4.6)利用上一轮的聚合服务器下放的更新阈值τ_r+1，分以下为两种情况计算客户端车辆的通信活跃度CA_i：

若上一轮的梯度更新2-范数的开方值大于上一轮的聚合服务器下放阈值τ_r+1，说明这些客户端车辆在上一轮中参与模型训练的积极性较高，则计算这些客户端车辆的通信活跃度CA_i：

若上一轮客户端车辆的梯度更新2-范数的开方值小于上一轮的聚合服务器下放阈值τ_r+1的客户端车辆，说明这些客户端车辆在上一轮中参与模型训练的积极性较低，则将默认这些客户端车辆的通信活跃度为CA_i＝0。

步骤3.计算客户端车辆的性能分数P_i，选举下一轮聚合服务器，客户端车辆上传本地模型更新梯度值。

3.1)利用上述计算客户端车辆的平均相对距离D_i、客户端车辆之间的相对速度稳定因数SF_i、客户端的本地模型和全局模型之间的相似度以RS_i和车辆自身通信活跃值数值参与最终的性能分数CA_i，计算客户端车辆的性能分数P_i：

P_i＝μCA_i+εlogRS_i-φlogSF_i-ρlogD_i

其中，μ表示通信活跃度权重、ε表示模型可信度权重、φ表示速度稳定因数权重、ρ表示平均相对距离权重，μ+φ+ρ+ε＝1，本实例分别设置μ＝0.4，ε＝0.3，φ＝0.2，ρ＝0.1。

3.2)利用上述计算得到的性能分数，在其中选择最大值所对应的车辆被选为下一轮的聚合服务器。

3.3)客户端车辆在本轮本地训练结束后，上传本地模型梯度的更新值。

步骤4.上一轮聚合服务器与选出的下一轮聚合服务器进行模型交互。

本轮选择出的下一轮的聚合服务器车辆与上一轮选出的聚合服务器车辆进行本地模型和全局模型交互，即将在客户端车辆中选出的性能分数最大的客户端车辆作为下一轮的聚合服务器车辆，而将上一轮的聚合服务器车辆在下一轮中作为客户端车辆；

之后，开始新一轮全局模型更新迭代。

步骤5.选出最终聚合服务器。

重复步骤2到步骤4，直到全局模型精度达到模型收敛时的最大值后停止迭代，得到最终的聚合服务器。

以下结合仿真实验，对本发明的技术效果作进一步说明：

1、仿真条件：

仿真软件：采用Python3.9仿真平台；

仿真场景：考虑场景是城市密集交通流下双向三车道的超车路径规划；

2、仿真内容与结果：

仿真1：分别用本发明和传统联邦学习方法，仿真在聚合服务器受到攻击后两者的全局模型的精度，结果如图2,。

从图2可以看出；在传统联邦学习中，聚合服务器受到攻击后，训练的全局模型精度迅速下降；而利用本发明方法在聚合服务器受攻击情况下，10次迭代后，全局模型精度达到85％，比传统联邦学习过程受到攻击后训练的全局模型精度高出了10％；本发明方法在60轮迭代后，全局模型已经收敛，精度达到93.7％，而传统联邦学习全局模型在60轮后训练精度仍低于本发明方法下训练的全局模型精度。

仿真2：分别用本发明和传统联邦学习方法，仿真在聚合服务器受到攻击后两者的全局模型损失函数值，结果如图3。

从图3可以看出；传统联邦学习中，聚合服务器受到攻击后训练的全局模型损失函数值急剧增加，利用本发明方法在聚合服务器受到攻击时，全局模型损失值明显低于传统联邦学习；

上述结果表明，利用本发明方法的联邦学习在避免聚合服务器攻击方面的有效性，同时，提升了全局模型的训练精度，降低了全局模型的损失值，保证了全局模型训练过程的安全性。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (2)

1.一种用于去中心化联邦学习的聚合服务器选择方法，其特征在于，包括如下步骤：

(1)随机选择一个车辆作为初始的聚合服务器车辆，生成初始全局模型分配给通信范围内参与学习过程的客户端车辆；

(2)将全局模型分发到客户端车辆本地，客户端开始用本地数据对全局模型进行本地训练和更新，同时，客户端利用基于加权和的选举策略，确定聚合服务器选举的性能分数：

(2a)每辆客户端车辆分别计算自己与自身通信范围内其他客户端车辆之间的平均相对距离D_i、相对速度稳定因数SF_i，客户端车辆计算本地模型梯度和全局模型梯度余弦距离RS_i和自身通信活跃值CA_i，并用这些数值计算客户端车辆的性能分数：P_i＝μCA_i+εlogRS_i-φlogSF_i-ρlogD_i，其中，ρ表示平均相对距离权重、φ表示相对速度稳定因数权重、ε表示余弦距离权重、μ通信活跃度权重；

所述平均相对距离D_i公式如下：

其中，N为所设通信范围内的所有车辆数目，V_i∈range(i)表示客户端车辆i的通信范围，ΔD_ij表示客户端车辆i与车辆j之间的距离，(X_i,Y_i)表示车辆i在道路平面上的坐标，且i≠j；

所述相对速度稳定因数SF_i，公式如下：

其中，表示客户端车辆i的相对与通信范围内其他客户端车辆的平均相对速度，|ΔV_ij|＝|V_i-V_j|表示客户端车辆i与客户端车辆j速度之差的绝对值，V_i是客户端车辆i的速度，i和j的范围分别是1到N，且i≠j，N为所设通信范围内所有车辆数目，V_max是当前范围车速的最大值；

所述余弦距离RS_i，公式如下：

其中，表示客户端i的余弦相似度，θ_r-1表示第r-1轮聚合服务器上全局模型的梯度，/>表示第i辆客户端车辆在第r轮本地模型梯度；

所述通信活跃值CA_i，公式如下：

其中，表示第r+1轮聚合服务器下放的通信活跃度阈值；/>表示客户端车辆在第r轮梯度更新的2范数的平均值，/>表示第r轮第i个客户端中梯度更新量的2范数，其中，/>表示在第r轮中第i个客户端车辆梯度更新量；/>表示第r轮客户端车辆梯度更新总体的平均值和本地模型之间梯度更新的标准差；

(2.4.1)在模型训练开始时，设定初始通信活跃度阈值τ₀＝0，定义全局模型的损失函数客户端车辆i的本地梯度g(θ)_i：

g(θ)_i≡▽_θl_i(θ)

其中，l_i(θ)是客户端车辆i的损失函数，N为设定范围内的车辆数量；

(2.4.2)利用客户端车辆i的本地梯度g(θ)_i得到聚合服务器上的梯度更新：

其中，θ_r+1表示更新聚合服务器更新后梯度，θ_r为上一轮聚合服务器的梯度，N为设定范围内的车辆数量，i∈1～N；

(2.4.3)利用上述的梯度更新，计算所有客户端车辆本次训练梯度更新2-范数的平均值m_r：

其中，表示第r轮客户端i中梯度更新量的2-范数，/>表示在第r轮中客户端车辆i梯度更新量；

(2.4.4)利用上述计算的所有客户端车辆本次训练梯度更新2-范数的平均值m_r，计算第r轮客户端车辆梯度更新总体的平均值和本地模型之间梯度更新的标准差S_r：

(2.4.5)由上述计算的第r轮客户端车辆梯度更新总体的平均值和本地模型之间梯度更新的标准差S_r，和所有客户端车辆本次训练梯度更新平均值m_r，计算得到上一轮的聚合服务器下放的更新阈值τ_r+1：

(2.4.6)利用上一轮的聚合服务器下放的更新阈值τ_r+1，分以下为两种情况计算客户端车辆的通信活跃度CA_i：

若上一轮的梯度更新2-范数的开方值大于上一轮的聚合服务器下放阈值τ_r+1，说明这些客户端车辆在上一轮中参与模型训练的积极性较高，则计算这些客户端车辆的通信活跃度CA_i：

若上一轮客户端车辆的梯度更新2-范数的开方值小于上一轮的聚合服务器下放阈值τ_r+1的客户端车辆，说明这些客户端车辆在上一轮中参与模型训练的积极性较低，则将默认这些客户端车辆的通信活跃度为CA_i＝0。

(3)客户端车辆在性能分数中选择最大值，该数值对应的客户端车辆被选为下一轮的聚合服务器，并在本轮本地训练结束后，上传参与学习过程的客户端车辆的本地模型梯度更新；

(4)将本轮选择出的下一轮的聚合服务器车辆与上一轮选出的聚合服务器车辆进行本地模型和全局模型交互，开始新一轮全局模型更新迭代；

(5)重复步骤(2)～步骤(4)，直至全局模型收敛时的最大值后停止迭代，得到最终的聚合服务器。

2.根据权利要求1所述的方法，其特征在于，步骤(4)中将本轮选择出的下一轮的聚合服务器车辆与上一轮选出的聚合服务器车辆进行本地模型和全局模型交互，是将两车之间的充当角色进行互换，即客户端车辆选举出的性能分数最大的客户端车辆成为下一轮的聚合服务器车辆，而上一轮的聚合服务器车辆在下一轮中成为客户端车辆。