CN114553661A - 一种面向无线联邦学习的移动用户设备分簇训练方法 - Google Patents

一种面向无线联邦学习的移动用户设备分簇训练方法 Download PDF

Info

Publication number
CN114553661A
CN114553661A CN202210109912.7A CN202210109912A CN114553661A CN 114553661 A CN114553661 A CN 114553661A CN 202210109912 A CN202210109912 A CN 202210109912A CN 114553661 A CN114553661 A CN 114553661A
Authority
CN
China
Prior art keywords
user equipment
mobile user
cluster
represent
edge server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210109912.7A
Other languages
English (en)
Other versions
CN114553661B (zh
Inventor
赵海涛
张晨虎
陈泽超
夏文超
倪艺洋
孔志鹏
彭敏鑫
徐婧
徐林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210109912.7A priority Critical patent/CN114553661B/zh
Publication of CN114553661A publication Critical patent/CN114553661A/zh
Application granted granted Critical
Publication of CN114553661B publication Critical patent/CN114553661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向无线联邦学习的移动用户设备分簇训练方法，无线网络中有1台边缘服务服务器和多个移动用户设备，每个用户设备拥有属于本地数据集。首先利用DBSCAN算法以及LEACH算法将用户分为多个簇并选出簇头。然后每个用户利用本地数据训练各自的模型参数并上传至其所在簇的簇头进行聚合，簇头将聚合后的模型进一步上传至边缘服务器聚合。边缘服务器将聚合后的模型参数分发到簇头，并由簇头进一步分发到簇内用户设备进行下一轮训练。如此重复，直至收敛。利用该分簇训练方法，可以降低无线联邦学习的通信开销和训练时延。

Description

一种面向无线联邦学习的移动用户设备分簇训练方法
技术领域
本发明面向物联网环境下联邦学习的技术领域，特别针对改善联邦学习集中式聚合服务器可能会由于物理损坏或恶意用户的安全攻击而停止工作，从而中断训练进程的情况。
背景技术
当下，人工智能(AI)已经进入生活的方方面面，众所周知，支撑AI训练的核心是数据，尤其是精确且具有分布代表性的优质数据。现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护，陆续出台相关政策，如欧盟最近引入的新法案《通用数据保护条例》(GDPR)，我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》，在未来，数据信息会成为越来越重要的私有财产，因此数据在安全合规的前提下自由流动，成了大势所趋。面对商业公司所拥有的巨大的潜在价值的数据，两个公司甚至公司间的部门都要考虑利益的交换，往往这些机构不会提供各自数据与其他公司做直接的聚合，导致即使在同一个公司内，数据也往往以孤岛形式出现。基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点，导致了现在大量存在的数据孤岛，以及隐私保护问题，联邦学习应运而生。
基于联邦学习(FL)的边缘智能可以被认为是许多新兴的、严格的延迟物联网(物联网)应用程序的一个很有前途的范例，预计在可预见的未来，物联网设备的数量将迅速激增。如何在用户加入时分配与其信道资源匹配较好的边缘端，以减少其与边缘段交互延迟显得格外重要。此外，传统的集中式FL聚合服务器可能会由于安全攻击或物理损坏而停止工作，并且伴随客户端训练延时以及客户端上传延时的而造成机器学习收敛速度慢的困扰，采用分布式架构的服务器可以提高系统的高并发，高可用，以及可扩展性能。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种物联网联邦学习中移动用户设备分簇方法，通过DBSCAN密度分簇以及LEACH算法将用户多层区分，再通过评分加权选出簇头，使得每个用户将本地训练模型传输至最近的簇头进行聚合，以此减小整个分布式联邦学习的通信时延和本地训练时延，达到快速收敛。
本发明为解决上述技术问题采用以下技术方案：
假设无线网络中联邦学习模型由1台边缘服务器和N个移动用户设备组成，用户设备集合为Ψ＝{UEn|1≤n≤N}，每个用户设备UEn的本地训练数据集为Dn。
一种面向无线联邦学习的移动用户设备分簇训练方法的具体步骤如下：
步骤a.第n个移动用户设备UEn将各自的指示信息
Figure BDA0003494788910000021
上传至边缘服务器，其中sn代表第n个移动用户设备的位置坐标，
Figure BDA0003494788910000022
代表第n个移动用户设备的速度矢量(单位米/秒)，
Figure BDA0003494788910000023
代表第n个移动用户设备的CPU算力(单位：cycle/秒)以及Pn代表第n个移动用户设备的发射功率。
步骤b.边缘服务器根据所有用户设备的位置坐标，采用DBSCAN算法将用户设备划分为K个不同的类别
Figure BDA0003494788910000024
其中
Figure BDA0003494788910000025
代表第k个类别，
Figure BDA0003494788910000026
代表
Figure BDA0003494788910000027
内的用户数目，未被划分至类别的用户集合为
Figure BDA0003494788910000028
步骤c.边缘端服务器计算
Figure BDA0003494788910000029
内第i个用户设备
Figure BDA00034947889100000210
的评分值。
步骤d.根据步骤c计算得到的评分值，确定簇头以及簇内成员，对用户设备进行分簇。
步骤e.每个簇内的用户设备分别进行本地训练，通过梯度下降法得到各自的本地模型参数。
步骤f.每个簇内用户设备将本地模型参数上传至所在簇的簇头进行聚合，通过加权平均计算簇模型参数。所有簇头将各自的簇模型参数上传至边缘服务器进行聚合，获得全局模型参数
Figure BDA00034947889100000211
步骤g.边缘服务器计算全局模型损失函数
Figure BDA00034947889100000212
若
Figure BDA00034947889100000213
则模型训练结束，否则返回步骤a，其中ε0表示设定精度，是一个极小的常数。
作为本发明所述的一种面向无线联邦学习的移动用户设备分簇训练方法进一步优化方案，所述步骤c包括步骤：
步骤c01.将
Figure BDA0003494788910000031
内第i个用户设备表示为
Figure BDA0003494788910000032
定义
Figure BDA0003494788910000033
的位置坐标为
Figure BDA0003494788910000034
和
Figure BDA0003494788910000035
的位置坐标为
Figure BDA0003494788910000036
边缘端服务器计算
Figure BDA0003494788910000037
的位置度量
Figure BDA0003494788910000038
Figure BDA0003494788910000039
其中，
Figure BDA00034947889100000310
表示
Figure BDA00034947889100000311
内除
Figure BDA00034947889100000312
以外的用户集合。
步骤c02.定义
Figure BDA00034947889100000313
的速度矢量
Figure BDA00034947889100000314
和
Figure BDA00034947889100000315
的速度矢量
Figure BDA00034947889100000316
其中
Figure BDA00034947889100000317
和
Figure BDA00034947889100000318
分别是
Figure BDA00034947889100000319
和
Figure BDA00034947889100000320
的速率，α和β分别是
Figure BDA00034947889100000321
和
Figure BDA00034947889100000322
的运动方向。边缘端服务器计算
Figure BDA00034947889100000323
的速度度量
Figure BDA00034947889100000324
计算公式如下：
Figure BDA00034947889100000325
其中，
Figure BDA00034947889100000326
Figure BDA00034947889100000327
分别表示第
Figure BDA00034947889100000328
次记录的
Figure BDA00034947889100000329
和
Figure BDA00034947889100000330
的速度矢量，
Figure BDA00034947889100000331
表示本轮联邦学习内记录
Figure BDA00034947889100000332
速度矢量的次数。
步骤c03.边缘端服务器计算
Figure BDA00034947889100000333
的链路保持时间度量
Figure BDA00034947889100000334
计算公式如下：
Figure BDA00034947889100000335
其中，
Figure BDA00034947889100000336
其中，
Figure BDA00034947889100000337
Figure BDA00034947889100000338
Figure BDA00034947889100000339
L表示自定义链路长度。
步骤c04.边缘端服务器计算用户
Figure BDA00034947889100000340
的时延，计算公式如下：
Figure BDA0003494788910000041
其中，η为权值，
Figure BDA0003494788910000042
表示
Figure BDA0003494788910000043
本地训练模型所需要的时延，
Figure BDA0003494788910000044
表示
Figure BDA0003494788910000045
和
Figure BDA0003494788910000046
之间通信所需要的时延，计算公式如下：
Figure BDA0003494788910000047
其中，
Figure BDA0003494788910000048
表示
Figure BDA0003494788910000049
和
Figure BDA00034947889100000410
通信的数据量，
Figure BDA00034947889100000411
表示它们之间的信道传输速率，
Figure BDA00034947889100000412
表示用户设备间信道带宽，
Figure BDA00034947889100000413
表示用户间噪声功率谱密度，
Figure BDA00034947889100000414
表示
Figure BDA00034947889100000415
的功率，
Figure BDA00034947889100000416
计算公式如下：
Figure BDA00034947889100000417
其中，Ei,k表示
Figure BDA00034947889100000418
本地训练模型所需计算内存的大小，
Figure BDA00034947889100000419
用户
Figure BDA00034947889100000420
的CPU运行速率。
步骤c05.边缘端服务器计算
Figure BDA00034947889100000421
的评分
Figure BDA00034947889100000422
的公式如下：
Figure BDA00034947889100000423
其中，
Figure BDA00034947889100000424
Figure BDA00034947889100000425
分别表示
Figure BDA00034947889100000426
Figure BDA00034947889100000427
的权值。
作为本发明所述的一种面向无线联邦学习的移动用户设备分簇训练方法进一步优化方案，所述步骤d包括步骤：
步骤d01.边缘端服务器设置
Figure BDA00034947889100000428
第τ轮联邦学习的阈值
Figure BDA00034947889100000429
用户设备
Figure BDA00034947889100000430
从边缘端服务器下载自己的评分值
Figure BDA00034947889100000431
和自己所属类别的阈值
Figure BDA00034947889100000432
评分值
Figure BDA00034947889100000433
小于阈值
Figure BDA00034947889100000434
的用户设备选入簇头集合，大于等于该阈值的选入簇内成员集合，其中
Figure BDA00034947889100000435
表达式如下所示：
Figure BDA0003494788910000051
其中，pk表示预设的选为簇头概率百分比，G表示最近
Figure BDA0003494788910000052
轮没有成为簇头的用户设备集合，[]为取整。该表达式的含义为：若
Figure BDA0003494788910000053
内任意一个用户设备均不属于集合G，则
Figure BDA0003494788910000054
否则
Figure BDA0003494788910000055
步骤d02.将簇内成员集合内的用户设备分配给与其欧氏距离最近的簇头，将集合
Figure BDA0003494788910000056
中的用户设备分配给与其欧氏距离最近的簇头，完成移动用户设备的分簇。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本方法在保证联邦学习性能的同时，兼顾物联网环境下用户的移动性，在每轮联邦学习的过程中调整对移动用户的分簇参数，使得用户集群划分合理，用户间总的传输路径最短。
(2)本方法在物联网中用户上传参数时，通过对用户各个指标加权评分的方式，选择最佳中心簇头，减少传输时延和训练时延，以此减小联邦学习训练收敛时间。
附图说明
图1为一种面向无线联邦学习的移动用户设备分簇训练方法的网络架构图；
图2为一种面向无线联邦学习的移动用户设备分簇训练方法的步骤b01流程图；
图3为一种面向无线联邦学习的移动用户设备分簇训练方法的训练延时和loss值的仿真图；
图4为一种面向无线联邦学习的移动用户设备分簇训练方法的训练延时和准确率的仿真图；
图5为一种面向无线联邦学习的移动用户设备分簇训练方法的时间仿真图；
图6为一种面向无线联邦学习的移动用户设备分簇训练方法的功率损耗仿真图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
根据本发明提出的一种物联网边缘环境中面向无线联邦学习的移动用户设备分簇方法，通过DBSCAN密度分簇以及LEACH算法将用户多层区分，再通过评分加权选出簇头，使得每个用户将本地训练参数传输至最合理的簇头进行聚合，以此减小整个分布式联邦学习的通信时延和本地训练时延，达到快速收敛。
本例中的物联网下分布式联邦学习架构参与用户分布如图1所示，假设在无线网络中，有N个用户设备，集合表示为：Ψ＝{UEn|1≤n≤N}，每个用户设备都拥有属于自己的本地数据集Dn，它们通过边缘服务器实现数据共享。
本例中的用户设备划分集群流程图如图2所示，假设UEi在第τ轮联邦学习的位置坐标为
Figure BDA0003494788910000061
根据用户分设备位置密度分布采用DBSCAN算法将它们第一次粗略划分为不同的类别，具体流程如图2所示，以
Figure BDA0003494788910000062
表示在第τ轮联邦学习所划分的第k个类别，该方法包括以下步骤：
步骤1：初始化在第τ轮联邦学习的核心用户设备集合Ωτ＝φ，簇群数量kτ＝0，未访问的用户设备集合为Γτ＝Ψ，类别
Figure BDA0003494788910000063
给定变量ε，MinPts。
步骤2：对任意的UE∈Ψ，通过距离度量方式找到所有与之距离小于ε的用户设备，用集合Nτ表示，即Nτ＝{UEj|d(UEi,UEj)≤ε}，其中d表示设备间距离。
步骤3：如果集合Nτ元素个数满足|Nτ|≥MinPts，则将UEi加入集合Ωτ中，转至步骤4，否则重新选择用户设备UE，转至步骤2。
步骤4：如果集合Ωτ＝φ，则算法结束，否则转至步骤5。
步骤5：随机在集合Ωτ里选择一个核心用户设备UEo，初始化一个当前核心用户设备集合
Figure BDA0003494788910000064
初始化簇内成员集合
Figure BDA0003494788910000065
更新kτ＝kτ+1，更新未访问样本集合Γτ＝Γτ-UEo。
步骤6：如果当前簇内核心用户集合
Figure BDA0003494788910000066
则更新
Figure BDA0003494788910000067
Figure BDA0003494788910000068
转至步骤4，否则更新集合
Figure BDA0003494788910000069
转至步骤7。
步骤7：在集合
Figure BDA0003494788910000071
取出一个核心用户UEo'，找出其集合
Figure BDA0003494788910000072
令
Figure BDA0003494788910000073
更新当前集群
Figure BDA0003494788910000074
更新未访问用户集合Γτ＝Γτ-M，更新
Figure BDA0003494788910000075
转至步骤6。
最终，得到第τ轮联邦学习的用户设备簇群
Figure BDA0003494788910000076
此时类别
Figure BDA0003494788910000077
内第i个用户设备表示为
Figure BDA0003494788910000078
未被划入类别内的用户设备集合表示为
Figure BDA0003494788910000079
对
Figure BDA00034947889100000710
计算其位置度量
Figure BDA00034947889100000711
速度度量
Figure BDA00034947889100000712
链路保持时间度量
Figure BDA00034947889100000713
与时延
Figure BDA00034947889100000714
根据
Figure BDA00034947889100000715
位置坐标
Figure BDA00034947889100000716
Figure BDA00034947889100000717
的位置坐标
Figure BDA00034947889100000718
计算
Figure BDA00034947889100000719
计算公式如下：
Figure BDA00034947889100000720
其中，
Figure BDA00034947889100000721
表示
Figure BDA00034947889100000722
内除
Figure BDA00034947889100000723
以外的用户集合。
假设第τ轮联邦学习从用户开始本地训练模型到上传模型参数进行聚合的时间为
Figure BDA00034947889100000724
期间每隔时间长度
Figure BDA00034947889100000725
记录一次
Figure BDA00034947889100000726
此刻位置坐标
Figure BDA00034947889100000727
总共记录
Figure BDA00034947889100000728
次，可得在
Figure BDA00034947889100000729
次记录的位移为：
Figure BDA00034947889100000730
Figure BDA00034947889100000731
由此可得
Figure BDA00034947889100000732
的速率值和位移角度如下式所示：
Figure BDA00034947889100000733
Figure BDA0003494788910000081
可得
Figure BDA0003494788910000082
在
Figure BDA0003494788910000083
时间内的速度集合如下式所示：
Figure BDA0003494788910000084
接着计算
Figure BDA0003494788910000085
和簇
Figure BDA0003494788910000086
内其他用户的相对速度，如下式所示：
Figure BDA0003494788910000087
最后计算
Figure BDA0003494788910000088
的速度度量
Figure BDA0003494788910000089
如下式所示：
Figure BDA00034947889100000810
用户
Figure BDA00034947889100000811
和
Figure BDA00034947889100000812
的速度矢量为
Figure BDA00034947889100000813
和
Figure BDA00034947889100000814
Figure BDA00034947889100000815
和
Figure BDA00034947889100000816
分别表示
Figure BDA00034947889100000817
和
Figure BDA00034947889100000818
的速率，α和β分别表示
Figure BDA00034947889100000819
和
Figure BDA00034947889100000820
的运动方向。
设置一个链路长度L，带入如下公式得到链路保持时间度量
Figure BDA00034947889100000821
Figure BDA00034947889100000822
其中，
Figure BDA00034947889100000823
的计算公式如下所示：
Figure BDA00034947889100000824
Figure BDA00034947889100000825
的计算公式如下所示：
Figure BDA00034947889100000826
Figure BDA00034947889100000827
的计算公式如下所示
Figure BDA0003494788910000091
对于
Figure BDA0003494788910000092
的时延
Figure BDA0003494788910000093
由用户设备执行训练任务运行时延
Figure BDA0003494788910000094
和上传参数时延
Figure BDA0003494788910000095
构成，边缘服务器已知用户间信道噪声功率谱密度N和信道带宽
Figure BDA0003494788910000096
每个用户设备执行的程序内存大小为Ei,k，
Figure BDA0003494788910000097
的计算公式如下：
Figure BDA0003494788910000098
其中，
Figure BDA0003494788910000099
表示
Figure BDA00034947889100000910
和
Figure BDA00034947889100000911
之间通信所需要的时延，
Figure BDA00034947889100000912
表示
Figure BDA00034947889100000913
执行程序所需要的时延，
Figure BDA00034947889100000914
计算公式如下：
Figure BDA00034947889100000915
其中，
Figure BDA00034947889100000916
表示
Figure BDA00034947889100000917
和
Figure BDA00034947889100000918
发送的数据量，
Figure BDA00034947889100000919
表示它们之间的信道传输速率，
Figure BDA00034947889100000920
表示用户设备间信道带宽，
Figure BDA00034947889100000921
表示用户间噪声功率谱密度，
Figure BDA00034947889100000922
表示
Figure BDA00034947889100000923
的功率。
可得
Figure BDA00034947889100000924
的计算公式如下：
Figure BDA00034947889100000925
其中，η为权值。
计算
Figure BDA00034947889100000926
的得分值
Figure BDA00034947889100000927
Figure BDA00034947889100000928
其中，
Figure BDA00034947889100000929
Figure BDA00034947889100000930
为权值，保证和为1。
假设此时处于第τ轮联邦学习中，那么该轮的评分阈值如下式所示：
Figure BDA00034947889100000931
其中，pk表示预设的选为簇头概率百分比，G表示最近
Figure BDA0003494788910000101
轮没有成为簇头的用户集合。
若评分值
Figure BDA0003494788910000102
小于阈值
Figure BDA0003494788910000103
则用户设备
Figure BDA0003494788910000104
选入簇头集合，否则选入簇内成员集合。将簇内成员集合内的用户设备分配给与其欧氏距离最近的簇头，将集合
Figure BDA0003494788910000105
中的用户设备分配给与其欧氏距离最近的簇头，完成移动用户设备的分簇。
第t个簇ζt内第s个用户设备
Figure BDA0003494788910000106
通过梯度下降法(参见A Graph FederatedArchitecture with Privacy Preserving Learning公式1-公式3)，将本轮训练好的本地模型参数
Figure BDA0003494788910000107
先上传至其所属簇的簇头进行聚合，得到所属簇上的聚合模型参数(即簇模型参数)
Figure BDA0003494788910000108
Figure BDA0003494788910000109
其中，
Figure BDA00034947889100001010
通过边缘服务器与其它簇头共享，更新全局模型，更新后的全局模型如下式所示：
Figure BDA00034947889100001011
其中，λ为权值。
边缘服务器将
Figure BDA00034947889100001012
以广播方式传回用户设备，若模型准确率和loss未收敛，开始下一轮联邦学习，否则结束联邦学习。
本例中的仿真由图3-6所示，可以看出，物联网边缘环境中面向无线联邦学习的移动用户设备分簇方法(DL-Cluster)相比于随机分簇(Rd-Cluster)和传统集中式联邦学习(Base-FL)，在准确率收敛和loss收敛速度上明显增加，每轮联邦学习消耗的时间也显著减少。随着用户数的增多，无论是功率消耗的稳定性和数量值，该方法也比随机分簇和传统集中式联邦学习具有更好的表现。

Claims (6)

1.一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，将移动用户设备划分为多个簇并选出簇头，簇头负责收集簇内成员的模型参数并通过边缘服务器与其它簇交互，实现联邦学习快速收敛；该方法具体包括如下步骤：
步骤a.每个移动用户设备将各自的指示信息上传至边缘服务器，其中指示信息包括移动用户设备的位置坐标、速度矢量、CPU算力以及发射功率；
步骤b.边缘服务器根据所有移动用户设备的位置坐标，采用DBSCAN算法将移动用户设备划分为K个不同的类别；
步骤c.边缘服务器计算步骤b每个类别内移动用户设备的评分值；
步骤d.根据步骤c计算得到的评分值，确定簇头以及簇内成员，对移动用户设备进行分簇；
步骤e.每个簇内的移动用户设备分别进行本地训练，并通过梯度下降法得到各自的本地模型参数；
步骤f.每个簇内的移动用户设备依次将各自的本地模型参数上传至所在簇的簇头进行聚合，得到对应的簇模型参数；
步骤g.所有簇头将各自对应的簇模型参数上传至边缘服务器进行聚合，获得全局模型参数；
步骤h.边缘服务器根据全局模型参数，计算全局模型损失函数，若全局模型损失函数小于设定精度，则训练结束，否则返回步骤a。
2.根据权利要求1所述的一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，所述步骤c包括步骤：
步骤c01.边缘服务器计算第k个类别
Figure FDA0003494788900000011
内第i个移动用户设备
Figure FDA0003494788900000012
的位置度量
Figure FDA0003494788900000013
计算公式如下：
Figure FDA0003494788900000014
其中，
Figure FDA0003494788900000015
表示
Figure FDA0003494788900000016
的位置坐标，
Figure FDA0003494788900000017
表示
Figure FDA0003494788900000018
内第j个移动用户设备
Figure FDA0003494788900000019
的位置坐标，
Figure FDA00034947889000000110
表示
Figure FDA00034947889000000111
内除
Figure FDA00034947889000000112
以外的移动用户设备集合，
Figure FDA00034947889000000113
表示
Figure FDA00034947889000000114
内的移动用户数目；
步骤c02.边缘服务器计算
Figure FDA00034947889000000115
的速度度量Vi k，计算公式如下：
Figure FDA00034947889000000116
其中，
Figure FDA0003494788900000021
分别表示第
Figure FDA0003494788900000022
次记录的
Figure FDA0003494788900000023
和
Figure FDA0003494788900000024
的速度矢量，
Figure FDA0003494788900000025
表示本轮联邦学习内记录移动用户设备速度矢量的次数；
步骤c03.边缘服务器计算
Figure FDA0003494788900000026
的链路保持时间度量
Figure FDA0003494788900000027
计算公式如下：
Figure FDA0003494788900000028
其中，
Figure FDA0003494788900000029
Figure FDA00034947889000000210
Figure FDA00034947889000000211
Figure FDA00034947889000000212
L表示链路长度；
步骤c04.边缘服务器计算
Figure FDA00034947889000000213
的时延
Figure FDA00034947889000000214
计算公式如下：
Figure FDA00034947889000000215
其中，η为权值，
Figure FDA00034947889000000216
表示
Figure FDA00034947889000000217
本地训练模型所需要的时延，
Figure FDA00034947889000000218
表示
Figure FDA00034947889000000219
和
Figure FDA00034947889000000220
之间通信所需要的时延；
步骤c05.边缘服务器计算
Figure FDA00034947889000000221
的评分值
Figure FDA00034947889000000222
计算公式如下：
Figure FDA00034947889000000223
其中，
Figure FDA00034947889000000224
Figure FDA00034947889000000225
分别表示
Figure FDA00034947889000000226
Ti k的权值。
3.根据权利要求2所述的一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，
Figure FDA00034947889000000227
的计算公式为：
Figure FDA00034947889000000228
其中
Figure FDA00034947889000000229
表示
Figure FDA00034947889000000230
和
Figure FDA00034947889000000231
通信的数据量，
Figure FDA00034947889000000232
表示
Figure FDA00034947889000000233
和
Figure FDA00034947889000000234
之间的信道传输速率，
Figure FDA00034947889000000235
表示
Figure FDA00034947889000000236
和
Figure FDA00034947889000000237
间信道带宽，N0表示用户间噪声功率谱密度，
Figure FDA00034947889000000238
表示
Figure FDA00034947889000000239
的功率。
4.根据权利要求2所述的一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，Ti k,run的计算公式为：
Figure FDA0003494788900000031
其中Ei,k表示
Figure FDA0003494788900000032
本地训练模型所需计算内存的大小，
Figure FDA0003494788900000033
表示
Figure FDA0003494788900000034
的CPU运行速率。
5.根据权利要求2所述的一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，所述步骤d包括步骤：
步骤d01.边缘服务器设置每个类别每轮联邦学习的阈值，每个类别内的移动用户设备从边缘服务器下载各自的评分值和所属类别的阈值，评分值小于对应阈值的移动用户设备选入簇头集合，大于等于该阈值的移动用户设备选入簇内成员集合；
步骤d02.将簇内成员集合内的移动用户设备分配给与其欧氏距离最近的簇头，同时将步骤b中未划分至类别的移动用户设备分配给与其欧氏距离最近的簇头，完成移动用户设备的分簇。
6.根据权利要求5所述的一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，第k个类别
Figure FDA0003494788900000035
第τ轮联邦学习的阈值
Figure FDA0003494788900000036
的表达式为：
Figure FDA0003494788900000037
其中，pk表示预设的选为簇头概率百分比，G表示最近
Figure FDA0003494788900000038
轮没有成为簇头的移动用户设备集合，[]为取整。
CN202210109912.7A 2022-01-29 2022-01-29 一种面向无线联邦学习的移动用户设备分簇训练方法 Active CN114553661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210109912.7A CN114553661B (zh) 2022-01-29 2022-01-29 一种面向无线联邦学习的移动用户设备分簇训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210109912.7A CN114553661B (zh) 2022-01-29 2022-01-29 一种面向无线联邦学习的移动用户设备分簇训练方法

Publications (2)

Publication Number Publication Date
CN114553661A true CN114553661A (zh) 2022-05-27
CN114553661B CN114553661B (zh) 2023-08-18

Family

ID=81674472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210109912.7A Active CN114553661B (zh) 2022-01-29 2022-01-29 一种面向无线联邦学习的移动用户设备分簇训练方法

Country Status (1)

Country Link
CN (1) CN114553661B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099419A (zh) * 2022-08-26 2022-09-23 香港中文大学（深圳） 一种面向无线联邦学习的用户协同传输方法
CN115118591A (zh) * 2022-06-08 2022-09-27 南京邮电大学 一种基于联盟博弈的簇联邦学习方法
CN115150918A (zh) * 2022-06-06 2022-10-04 西北农林科技大学 一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端
CN115757076A (zh) * 2022-12-09 2023-03-07 国网湖北省电力有限公司信息通信公司 一种基于设备运行特征和性能指标的簇管理适应度计算方法
CN116991587A (zh) * 2023-08-14 2023-11-03 北京百度网讯科技有限公司 联邦学习中的设备调度方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
US20210406782A1 (en) * 2020-06-30 2021-12-30 TieSet, Inc. System and method for decentralized federated learning
CN113988314A (zh) * 2021-11-09 2022-01-28 长春理工大学 一种选择客户端的分簇联邦学习方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210406782A1 (en) * 2020-06-30 2021-12-30 TieSet, Inc. System and method for decentralized federated learning
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN113988314A (zh) * 2021-11-09 2022-01-28 长春理工大学 一种选择客户端的分簇联邦学习方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝圣;张沪寅;宋梦凯;: "基于学习自动机理论与稳定性控制的自适应移动无线Ad Hoc网络分簇策略", 计算机学报, no. 09 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150918A (zh) * 2022-06-06 2022-10-04 西北农林科技大学 一种分簇网络架构下的可靠联邦学习方法、系统、设备及终端
CN115118591A (zh) * 2022-06-08 2022-09-27 南京邮电大学 一种基于联盟博弈的簇联邦学习方法
CN115118591B (zh) * 2022-06-08 2023-07-25 南京邮电大学 一种基于联盟博弈的簇联邦学习方法
CN115099419A (zh) * 2022-08-26 2022-09-23 香港中文大学（深圳） 一种面向无线联邦学习的用户协同传输方法
CN115757076A (zh) * 2022-12-09 2023-03-07 国网湖北省电力有限公司信息通信公司 一种基于设备运行特征和性能指标的簇管理适应度计算方法
CN115757076B (zh) * 2022-12-09 2023-10-27 国网湖北省电力有限公司信息通信公司 一种基于设备运行特征和性能指标的簇管理适应度计算方法
CN116991587A (zh) * 2023-08-14 2023-11-03 北京百度网讯科技有限公司 联邦学习中的设备调度方法及装置
CN116991587B (zh) * 2023-08-14 2024-04-12 北京百度网讯科技有限公司 联邦学习中的设备调度方法及装置

Also Published As

Publication number Publication date
CN114553661B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN114553661B (zh) 一种面向无线联邦学习的移动用户设备分簇训练方法
CN108846517B (zh) 一种分位数概率性短期电力负荷预测集成方法
CN113191484B (zh) 基于深度强化学习的联邦学习客户端智能选取方法及系统
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
Fu et al. Client selection in federated learning: Principles, challenges, and opportunities
CN105207821B (zh) 一种面向业务的网络综合性能评估方法
Lu et al. Optimization of task offloading strategy for mobile edge computing based on multi-agent deep reinforcement learning
CN104580447A (zh) 一种基于访问热度的时空数据服务调度方法
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN104504280A (zh) 考虑规划需求的电动汽车充电桩集群管理系统通信方式综合评价方法
CN116471286A (zh) 基于区块链及联邦学习的物联网数据共享方法
CN108196957A (zh) 一种云环境下的主机负载预测方法
CN114301935A (zh) 一种基于声誉的物联网边云协同联邦学习节点选择方法
Deng et al. Tailorfl: Dual-personalized federated learning under system and data heterogeneity
CN113672684B (zh) 一种面向非独立同分布数据的分层用户训练管理系统及方法
Hui et al. Quality-aware incentive mechanism design based on matching game for hierarchical federated learning
Etiabi et al. Federated distillation based indoor localization for IoT networks
Lv et al. Edge computing task offloading for environmental perception of autonomous vehicles in 6G networks
Xu et al. Aoi-guaranteed incentive mechanism for mobile crowdsensing with freshness concerns
CN102546286A (zh) 一种在线检测网络共享拥塞路径的方法
CN113691594A (zh) 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
Xu et al. Edge resource prediction and auction for distributed spatial crowdsourcing with differential privacy
CN107465571A (zh) 基于统计特性的战术网络模拟训练背景业务流量生成方法
Wang et al. Distributed game-theoretical route navigation for vehicular crowdsensing
Yan et al. Service caching for meteorological emergency decision-making in cloud-edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant