CN116800753A - 一种移动模型通信资源分配方法、装置、终端及存储介质 - Google Patents
一种移动模型通信资源分配方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN116800753A CN116800753A CN202310934695.XA CN202310934695A CN116800753A CN 116800753 A CN116800753 A CN 116800753A CN 202310934695 A CN202310934695 A CN 202310934695A CN 116800753 A CN116800753 A CN 116800753A
- Authority
- CN
- China
- Prior art keywords
- federal learning
- communication resource
- learning unit
- federal
- uplink transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013468 resource allocation Methods 0.000 title claims abstract description 38
- 230000013016 learning Effects 0.000 claims abstract description 416
- 230000005540 biological transmission Effects 0.000 claims abstract description 203
- 238000012549 training Methods 0.000 claims abstract description 160
- 230000006870 function Effects 0.000 claims abstract description 103
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000002068 genetic effect Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000001934 delay Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010064571 Gene mutation Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请提供一种移动模型通信资源分配方法、装置、终端及存储介质。该方法应用于中心服务器,该方法包括:与多个联邦学习单元共同构建移动模型横向联邦学习架构;通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,利用遗传算法求解联邦学习损失函数的最优解;根据联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。本申请能够优化通信资源块的分配方案,提高通信资源块的利用率,提高移动模型横向联邦学习架构的全局收敛速度。
Description
技术领域
本申请涉及数字孪生电网中的信息通信技术领域,尤其涉及一种移动模型通信资源分配方法、装置、终端及存储介质。
背景技术
在数字孪生电网建设过程中,由于异构数据交互业务的数据传输总量庞大且业务要求繁多,传统云计算的中心计算能力已经无法匹配其高速增长的计算需求,为此可以使用移动边缘网络来更好地支撑数字孪生电网数据交互过程。移动模型作为移动边缘网络中的重要主体,旨在最大程度的模拟真实的移动场景,以适应各种实际应用的需求。
移动模型同中心服务器之间的传统数据传输方式为一对一传输,但作为通信传输的通信资源块的数量有限,导致该传输方式大大降低了移动模型的计算效率,且易造成通信资源块的分配不均的现象出现,因此,急需找到新的传输方式,用于弥补由于移动模型同中心服务器之间的传输方式造成移动模型的计算效率低下的问题。
发明内容
本申请提供了一种移动模型通信资源分配方法、装置、终端及存储介质,以解决现有技术中移动模型同中心服务器之间的通信资源分配不均的问题。
第一方面,本申请提供了一种移动模型通信资源分配方法,所述方法应用于中心服务器,所述方法包括:
与多个联邦学习单元共同构建移动模型横向联邦学习架构;
通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;所述通信资源块数量小于所述联邦学习单元数量;
根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解所述联邦学习损失函数的最优解;所述最优解包括各个联邦学习单元的学习策略,所述学习策略包括参与联邦学习和不参与联邦学习;
根据所述联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。
在一种可能的实现方式中,所述中心服务器包括全局训练参数,所述联邦学习单元包括本地数据集,所述与多个联邦学习单元共同构建移动模型横向联邦学习架构之后,所述方法还包括:
通过所述通信资源块将所述全局训练参数发送至各个联邦学习单元,以使各个联邦学习单元根据所述全局训练参数对各自对应的本地数据集进行训练,得到各个联邦学习单元对应的本地训练参数;
获取各个联邦学习单元对应的本地训练参数,并根据各个联邦学习单元对应的本地训练参数,更新所述中心服务器中的全局训练参数。
在一种可能的实现方式中,所述通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延,包括:
通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行上行传输时的上行传输速率及上行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的上行传输时延;
通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行下行传输时的下行传输速率及下行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的下行传输时延;
通过所述通信资源块获取各个联邦学习单元对应的本地数据的数据量和对应的联邦学习单元执行本地训练过程的计算效率,计算各个联邦学习单元对应的本地训练时延。
在一种可能的实现方式中,所述通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行上行传输时的上行传输速率及上行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的上行传输时延,包括:
通过第一公式计算所述上行传输速率,所述第一公式为:
其中,为所述上行传输速率,Bu为每个通信资源块的上行传输带宽,pi为第i个联邦学习单元对应的发射功率,hi为第i个联邦学习单元同所述中心服务器之间的无线信道增益,为其他联邦学习单元产生的干扰,N0为噪声功率谱密度;
通过第二公式计算所述上行传输时延,所述第二公式为:
其中,ui为所述上行传输时延,D1为所述上行传输过程中训练参数的数据量;
所述通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行下行传输时的下行传输速率及下行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的下行传输时延,包括:
通过第三公式计算所述下行传输速率,所述第三公式为:
其中,为所述下行传输速率,Bd为每个通信资源块的下行传输带宽,pS为所述中心服务器的发射功率,∑j′∈S′pShj′为其他中心服务器所产生的干扰;
通过第四公式计算所述下行传输时延,所述第四公式为:
其中,di为所述下行传输时延,D2为所述下行传输过程中训练参数的数据量;
所述通过所述通信资源块获取各个联邦学习单元对应的本地数据集的数据量和对应的联邦学习单元执行本地训练过程的计算效率,计算各个联邦学习单元对应的本地训练时延,包括:
通过第五公式计算所述本地训练时延,所述第五公式为:
其中,li为第i个联邦学习单元对应的所述本地训练时延,Ci为第i个联邦学习单元的本地数据集的数据量,fi为第i个联邦学习单元执行本地训练过程的计算效率。
在一种可能的实现方式中,所述联邦学习损失函数为:
其中,LE为所述联邦学习损失函数,ΔLoss为所述联邦学习损失函数的衰减值,ri为第i个联邦学习单元的学习策略,di为第i个联邦学习单元的下行传输时延,ui为第i个联邦学习单元的上行传输时延,li为第i个联邦学习单元的本地训练时延,R为所述通信资源块的总量。
在一种可能的实现方式中,所述利用遗传算法求解所述联邦学习损失函数的最优解,包括:
第一步骤,采用二进制代码对初代种群进行编码,所述初代种群包括N个个体,所述个体包括M个联邦学习单元对应的学习策略值,所述学习策略值包括0或1,1表示参与联邦学习,0表示不参与联邦学习;
第二步骤,利用所述联邦学习损失函数分别计算编码后的当前种群中每个个体的适应度函数值,并分别将每个个体的适应度函数值与当前种群中所有个体的适应度函数值之和作比,得到每个个体对应的百分比;
第三步骤,对编码后的当前种群进行单点交叉、变异,得到新一代种群;
第四步骤,将新一代种群中每个个体的适应度函数值与所述新一代种群中所有个体的适应度函数值之和作比,得到所述新一代种群中每个个体对应的百分比;
第五步骤,计算新一代种群中每个个体对应的百分比与当前种群中对应个体的百分比的比值,得到更新比值;若存在个体对应的更新比值大于预设阈值,则将新一代种群作为当前种群,并返回第二步骤继续执行,直至所有个体对应的更新比值均小于等于所述预设阈值。
第二方面,本申请提供了一种移动模型通信资源分配装置,所述装置应用于中心服务器,所述装置包括:
架构构建模块,用于与多个联邦学习单元共同构建移动模型横向联邦学习架构;
时延计算模块,用于通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;所述通信资源块数量小于所述联邦学习单元数量;
函数构建模块,用于根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解所述联邦学习损失函数的最优解;所述最优解包括各个联邦学习单元的学习策略,所述学习策略包括参与联邦学习和不参与联邦学习;
资源分配模块,用于根据所述联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。
在一种可能的实现方式中,所述中心服务器包括全局训练参数,所述联邦学习单元包括本地数据集,所述架构构建模块之后,所述装置还包括:
参数训练模块,用于通过所述通信资源块将所述全局训练参数发送至各个联邦学习单元,以使各个联邦学习单元根据所述全局训练参数对各自对应的本地数据集进行训练,得到各个联邦学习单元对应的本地训练参数;
参数更新模块,用于获取各个联邦学习单元对应的本地训练参数,并根据各个联邦学习单元对应的本地训练参数,更新所述中心服务器中的全局训练参数。
第三方面,本申请提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
本申请提供一种移动模型通信资源分配方法、装置、终端及存储介质,通过与多个联邦学习单元共同构建移动模型横向联邦学习架构,以提高联邦学习单元与中心服务器之间的学习效率,而且移动模型横向联邦学习架构提高了对传输过程中数据的隐私性的保护,然后通过获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解其最优解,根据最优解,对参与联邦学习的联邦学习单元分配一个通信资源块,优化了通信资源块的分配方案,提高了通信资源块的利用率,进而提高了移动模型横向联邦学习架构的全局收敛速度,从而更好地支撑数字孪生电网数据的交互过程。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的移动模型通信资源分配方法的实现流程图;
图2是本申请实施例提供的移动模型横向联邦学习架构的示意图;
图3是本申请实施例提供的遗传算法的流程图;
图4是本申请实施例提供的移动模型通信资源分配装置的结构示意图;
图5是本申请实施例提供的终端的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
图1为本申请实施例提供的移动模型通信资源分配方法的实现流程图,详述如下:
本申请实施例应用于中心服务器,在中心服务器端进行移动模型通信资源分配的过程。
在步骤101中,与多个联邦学习单元共同构建移动模型横向联邦学习架构。
其中,联邦学习(Federated Learning)是一种分布式机器学习技术,其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练,在不需要交换本地个体或样本数据的前提下,仅通过交换模型参数或中间结果的方式,构建基于虚拟融合数据下的全局模型,从而实现数据隐私保护和数据共享计算的平衡,即“数据可用不可见”、“数据不动模型动”的应用新范式。联邦学习架构作为一种新型的不是训练架构,不仅可提升整体的数据训练速度,还可以保证参与训练的各联邦学习单元的隐私,同时可以解决传统训练方式中所存在的数据孤岛问题。
在本申请实施例中,中心服务器与多个联邦学习单元共同构建移动模型横向联邦学习架构,移动模型横向联邦学习架构的示意图参见图2,其中,图2中的箭头①表示下载全局模型参数,箭头②表示本地联邦学习单元训练,箭头③表示上传本地模型参数,箭头④表示全局模型参数汇总。
在一种可能的实现方式中,中心服务器可以包括全局训练参数,联邦学习单元可以包括本地数据集,步骤101之后,该方法还可以包括:
通过通信资源块将全局训练参数发送至各个联邦学习单元,以使各个联邦学习单元根据全局训练参数对各自对应的本地数据集进行训练,得到各个联邦学习单元对应的本地训练参数;
获取各个联邦学习单元对应的本地训练参数,并根据各个联邦学习单元对应的本地训练参数,更新中心服务器中的全局训练参数。
其中,移动模型横向联邦学习架构中主要包含两方参与者,即一个模型所有者和U个数据所有者。在本申请实施例中,中心服务器S为模型所有者,即本申请实施例中应用于中心服务器S,拥有全局训练参数;U个移动模型为数据所有者,被称为联邦学习单元ai,且每个联邦学习单元都拥有各自的本地数据集Ki。其中,移动模型横向联邦学习架构中包括R个通信资源块,R个通信资源块负责承载各个联邦学习单元ai同中心服务器S之间的数据传输业务,且一个通信资源块bj只能完成单个联邦学习单元ai同中心服务器S之间的数据传输。
具体的,在某一轮移动模型横向联邦学习架构的学习过程中,首先,中心服务器S利用通信资源块bj将所持有的全局训练参数下行到各个联邦学习单元ai;其次,各个联邦学习单元ai可以所接收的全局训练参数对各自所持有的本地数据集Ki进行训练,得到各个联邦学习单元ai对应的本地训练参数;然后,各个联邦学习单元ai利用通信资源块bj将各自对应的本地训练参数上行传输到中心服务器S;最后,中心服务器S聚合各个联邦学习单元ai上传的本地训练参数并进行处理,从而更新中心服务器S中的全局训练参数,并可以利用更新后的全局训练参数开始下一轮的移动模型横向联邦学习架构的学习过程。
在本申请实施例中,构建的移动模型横向联邦学习架构,在联邦学习数据交互流程中,各联邦学习单元之间并未直接交互数据,而是在中心服务器的监督与辅助下完成数据的传输以及计算,规避了各联邦学习单元自身隐私数据泄露的风险,起到了保护数据隐私的效果。
在步骤102中,通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;通信资源块数量小于联邦学习单元数量。
其中,通信资源款的数量小于联邦学习单元的数量,因此,在本申请实施例中需要获取各个联邦学习单元是否参与联邦学习的学习策略,从而实现通信资源块的准确分配。
上行传输过程是中心服务器通过通信资源块接收来自联邦学习单元的数据信息,下行传输过程是中心服务器通过通信资源块发送数据信息至联邦学习单元。
由于横向联邦学习过程主要流程为:中心服务器将全局训练参数下行传输至各联邦学习单元、各联邦学习单元执行本地训练以更新本地训练参数、各联邦学习单元将本地训练参数上传至中心服务器、中心服务器汇总各本地训练参数并更新全局训练参数。其中,联邦学习单元的本地训练是整体流程中的关键环节,即各联邦学习单元会利用所接收的全局训练参数对所持有的本地数据集进行训练。在计算某一轮联邦学习迭代过程中的总时延时,将本地训练时延纳入到考虑范围内是合理且必要的。
因此,在本申请实施例中,需要考虑联邦学习单元的本地训练时延,并且实际计算时应该考虑各联邦学习单元差异化的相关参数。
具体的,中心服务器S通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延。
在一种可能的实现方式中,步骤102可以包括:
通过通信资源块获取各个联邦学习单元同中心服务器之间进行上行传输时的上行传输速率及上行传输过程中训练参数的数据量,计算各个联邦学习单元同中心服务器之间的上行传输时延。
其中,上行传输时延由无线传输速率以及所需传输的训练参数的数据量共同决定,其中,无线传输速率即为上行传输速率,所需传输的训练参数的数据量即为上行传输过程中训练参数的数据量,在本申请实施例中上述两种表达都可。
具体的,中心服务器S通过通信资源块bj获取各个联邦学习单元ai之间进行上行传输时的上行传输速率以及上行传输过程训练参数的数据量,计算各个联邦学习单元ai同中心服务器S之间的上行传输时延。
其中,各个联邦学习单元ai之间进行上行传输时的上行传输速率由每一个通信资源块的上行传输带宽、联邦学习单元ai的发射功率、联邦学习单元ai同中心服务器之间的无线信道增益、其他联邦学习单元所产生的干扰以及噪声功率谱密度组成,通过第一公式计算上行传输速率,第一公式为:
其中,为上行传输速率,Bu为每个通信资源块的上行传输带宽,pi为联邦学习单元ai对应的发射功率,hi为联邦学习单元ai同中心服务器S之间的无线信道增益,为其他联邦学习单元产生的干扰,N0为噪声功率谱密度。
无线通信中所需传输的训练参数的数据量为定值,即上行传输过程训练参数的数据量为定位,由D1表示,该数据量由联邦学习单元中执行的具体训练任务决定,例如图像识别、图像分类和语义分割等。
根据上行传输速率和上行传输过程训练参数的数据量D1,通过第二公式计算上行传输时延,第二公式为:
其中,ui为上行传输时延,D1为上行传输过程中训练参数的数据量。
在一种可能的实现方式中,步骤102可以包括:
通过通信资源块获取各个联邦学习单元同中心服务器之间进行下行传输时的下行传输速率及下行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的下行传输时延。
其中,下行传输时延由无线传输速率以及所需传输的训练参数的数据量共同决定,其中,无线传输速率即为下行传输速率,所需传输的训练参数的数据量即为下行传输过程中训练参数的数据量,在本申请实施例中上述两种表达都可。
具体的,中心服务器S通过通信资源块bj获取各个联邦学习单元ai之间进行下行传输时的下行传输速率以及下行传输过程训练参数的数据量,计算各个联邦学习单元ai同中心服务器S之间的下行传输时延。
其中,各个联邦学习单元ai之间进行下行传输时的下行传输速率由每一个通信资源块的下行传输带宽、中心服务器S的发射功率、联邦学习单元ai同中心服务器S之间的无线信道增益、其他中心服务器所产生的干扰以及噪声功率谱密度组成,通过第三公式计算下行传输速率,第三公式为:
其中,为下行传输速率,Bd为每个通信资源块的下行传输带宽,pS为中心服务器的发射功率,∑j′∈S′pShj′为其他中心服务器所产生的干扰,N0为噪声功率谱密度。
无线通信中所需传输的训练参数的数据量为定值,即下行传输过程训练参数的数据量为定位,由D2表示,该数据量由联邦学习单元中执行的具体训练任务决定,例如图像识别、图像分类和语义分割等。
对于下行传输时延计算过程中的其他中心服务器所产生的干扰,是因为同一时间可能存在多个联邦学习架构进行数据交互所产生的干扰,假设,中心服务器A正在同其下属的多个联邦学习单元进行数据交互,与此同时,中心服务器B也正在同其下属的多个联邦学习单元进行数据交互,由于中心服务器具备较高的发射功率,中心服务器A在和其下属的联邦学习单元交互时,其传输过程可能会干扰中心服务器B的数据传输过程。因此,在本申请实施例中,计算下行传输时延时需要考虑其他中心服务器所产生的干扰。
根据下行传输速率和下行传输过程训练参数的数据量D2,通过第四公式计算下行传输时延,第四公式为:
其中,di为下行传输时延,D2为下行传输过程中训练参数的数据量。
其中,上行传输过程中训练参数的数据量D1和下行传输过程中训练参数的数据量D2都为无线通信中所需传输的训练参数的数据量D,则上行传输过程中训练参数的数据量D1与下行传输过程中训练参数的数据量D2相同,即D1=D2=D。
在一种可能的实现方式中,步骤102可以包括:
通过通信资源块获取各个联邦学习单元对应的本地数据集的数据量和对应的联邦学习单元执行本地训练过程的计算效率,计算各个联邦学习单元对应的本地训练时延。
其中,联邦学习单元ai的本地训练时延由其自身的计算能力大小与本地数据集Ki所包含的数据量决定。
具体的,中心服务器S通过通信资源块bj获取各个联邦学习单元ai对应的本地数据Ki的数据量和对应的联邦学习单元ai在执行本地训练过程的计算效率,计算各个联邦学习单元ai对应的本地训练时延,即通过第五公式计算本地训练时延,第五公式为:
其中,li为联邦学习单元ai对应的本地训练时延,Ci为联邦学习单元ai的本地数据集Ki的数据量,fi为联邦学习单元ai执行本地训练过程的计算效率。
在步骤103中,根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解联邦学习损失函数的最优解;最优解包括各个联邦学习单元的学习策略,学习策略包括参与联邦学习和不参与联邦学习。
其中,联邦学习损失函数的最优解主要用于确定各个联邦学习单元ai是否参与联邦学习过程,其包括各个联邦学习单元ai的学习策略,学习策略包括参与联邦学习和不参与联邦学习。
具体的,根据步骤102中计算的与多个联邦学习ai之间的上行传输时延下行传输时延di和各个联邦学习单元ai对应的本地训练时延li,构建联邦学习损失函数LE,其中,联邦学习损失函数LE主要由联邦学习损失函数的衰减值、联邦学习单元ai的学习策略、上行传输时延、下行传输时延和本地训练时延计算得到,具体的联邦学习损失函数LE具体为:
其中,LE为联邦学习损失函数,ΔLoss为联邦学习损失函数的衰减值,di为联邦学习单元ai的下行传输时延,ui为联邦学习单元ai的上行传输时延,li为联邦学习单元ai的本地训练时延,R为通信资源块的总量,ri为联邦学习单元ai的学习策略。
其中,学习策略ri只在0或者1中取值,例如,r3=1,r4=0,代表着第3个联邦学习单元被选取进而参与联邦学习,而第4个联邦学习单元未被选取。
通信资源块的总量R,由于一个通信资源块bj只能完成单个联邦学习单元ai同中心服务器S之间的数据传输,因此,所选取联邦学习单元的数量不能超过通信资源块的总量。
在本申请实施例中,构建联邦学习损失函数LE,目的是为了优化通信资源块分配方法,进而提高移动模型横向联邦学习架构的学习效率。
根据上述联邦学习损失函数LE,在本申请实施例中采用遗传算法,计算联邦学习损失函数LE的最优解。
在一种可能的实现方式中,利用遗传算法求解联邦学习损失函数的最优解,可以包括:
第一步骤,采用二进制代码对初代种群进行编码,初代种群包括N个个体,个体包括M个联邦学习单元对应的学习策略值,学习策略值包括0或1,1表示参与联邦学习,0表示不参与联邦学习;
第二步骤,利用联邦学习损失函数分别计算编码后的当前种群中每个个体的适应度函数值,并分别将每个个体的适应度函数值与当前种群中所有个体的适应度函数值之和作比,得到每个个体对应的百分比;
第三步骤,对编码后的当前种群进行单点交叉、变异,得到新一代种群;
第四步骤,将新一代种群中每个个体的适应度函数值与新一代种群中所有个体的适应度函数值之和作比,得到新一代种群中每个个体对应的百分比;
第五步骤,计算新一代种群中每个个体对应的百分比与当前种群中对应个体的百分比的比值,得到更新比值;若存在个体对应的更新比值大于预设阈值,则将新一代种群作为当前种群,并返回第二步骤继续执行,直至所有个体对应的更新比值均小于等于预设阈值。
其中,本申请实施例中采用遗传算法对联邦学习损失函数进行最优解求解,遗传算法的运算步骤主要包括编码、初始化种群、适应度评价、选择、交叉、变异和演化。
在编码阶段,本申请实施例采用二进制编码的方式,用0或者1代表某个联邦学习单元的选取状态,即某个联邦学习单元的学习策略,例如,编码{10011}代表着在5个联邦学习单元中选取第1、4、5个联邦学习单元参与联邦学习。在适应度评价阶段,本申请实施例将联邦学习损失函数作为适应度评价函数。除此之外,本申请实施例采取轮盘的选择方式、单点交叉的交叉方式和基本位变异的变异方式。
具体的,参照图3,首先,采用二进制代码对初代种群中的N个个体分别对应的M个联邦学习单元进行编码;然后,利用联邦学习损失函数分别计算编码后的当前种群中每个个体的适应度函数值,并分别将每个个体的适应度函数值与当前种群中所有个体的适应度函数值之和作比,得到每个个体对应的百分比;其次,对编码后的当前种群进行单点交叉、基本位变异,得到新一代种群;再然后,将新一代种群中每个个体的适应度函数值与其中所有个体的适应度函数值之和作比,得到新一代种群中每个个体对应的百分比;最后,计算新一代种群中每个个体对应的百分比与当前种群中对应个体的百分比的比值得到更新比值,并判断该更新比值是否小于等于预设阈值,若该更新比值大于预设阈值,则将新一代种群作为当前种群,并返回利用联邦学习损失函数分别计算编码后的当前种群中每个个体的适应度函数值,并分别将每个个体的适应度函数值与当前种群中所有个体的适应度函数值之和作比,得到每个个体对应的百分比步骤继续执行,直至所有个体对应的更新比值均小于等于预设阈值,即求解得到联邦学习损失函数的最优解。
示例性的,第一步是生成初代种群:本申请实施例个随机方式生成了包含4个个体的初代种群p(0),其中,每个个体的编码数量为6,代表着共有6个联邦学习单元待选取,则当前种群即为编码后的初代种群,即当前种群p(0)。基于联邦学习损失函数LE的公式可分别求出每个个体的适应度函数值,再利用每个个体的适应度函数值除以所有个体的适应度函数值之和,可分别求出各个个体占适应度函数值总数的百分比,具体如表1所示:
表1当前种群计算情况
个体编号 | 当前种群p(0) | 适应度函数值 | 占总数百分比 |
1 | 011101 | 34 | 24% |
2 | 101011 | 34 | 24% |
3 | 011100 | 25 | 17% |
4 | 111001 | 50 | 35% |
第二步是个体交叉。在第一步的基础上,随机配对完成的种群个体将进行单点交叉,从而相互交换配对染色体之间的部分基因,其中交叉点的位置设置是随机的,具体的交叉结果如表2所示:
表2当前种群交叉结果
个体编号 | 选择结果 | 配对情况 | 交叉点位置 | 交叉结果 |
1 | 01|1101 | 1和2配对 | 2 | 011001 |
2 | 10|1011 | 1和2配对 | 2 | 111101 |
3 | 0111|00 | 3和4配对 | 4 | 101001 |
4 | 1110|01 | 3和4配对 | 4 | 111011 |
第三步是个体变异。本申请实施例采取基本位变异的方法,其具体操作过程是:首先确定出各个个体的基因变异位置,其中的数字表示变异点设置在该基因处,然后依照预设概率将变异点的原有基因值取反,得到新一代种群p(1),具体的变异结果如表3所示:
表2当前种群交叉结果
第四步求解最优解。当前种群p(0)演化出了新一代种群p(1),遗传算法的第一轮迭代完成,接下来将按照相同步骤进行若干轮迭代,直至找到最优个体,即联邦学习损失函数的最优解。
在本申请实施例中,对于上述迭代终止条件的设定为:提前设定一个最大迭代次数,例如500次,当实际迭代达到500次时,整个迭代过程终止,此时,本申请认为遗传算法求得的联邦学习损失函数的最优解。
在步骤104中,根据联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。
具体的,在步骤103中利用遗传算法求得联邦学习损失函数的最优解后,即可选取最优解对应的联邦学习单元参与最终的联邦学习过程,并为参与联邦学习的联邦学习单元ai各自分配一个通信资源块bj,从而满足所选联邦学习单元ai同中心服务器S的数据传输需求。
示例性的,若联邦学习损失函数的最优解为{10101},即表示选取第1、3、5个联邦学习单元参与联邦学习过程,并为它们各自分配一个通信资源块。
本申请提供一种移动模型通信资源分配方法,通过与多个联邦学习单元共同构建移动模型横向联邦学习架构,以提高联邦学习单元与中心服务器之间的学习效率,而且移动模型横向联邦学习架构提高了对传输过程中数据的隐私性的保护,然后通过获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解其最优解,根据最优解,对参与联邦学习的联邦学习单元分配一个通信资源块,优化了通信资源块的分配方案,提高了通信资源块的利用率,进而提高了移动模型横向联邦学习架构的全局收敛速度,从而更好地支撑数字孪生电网数据的交互过程。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以下为本申请的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图4示出了本申请实施例提供的移动模型通信资源分配装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,详述如下:
如图4所示,移动模型通信资源分配装置4包括:
架构构建模块41,用于与多个联邦学习单元共同构建移动模型横向联邦学习架构;
时延计算模块42,用于通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;通信资源块数量小于联邦学习单元数量;
函数构建模块43,用于根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解联邦学习损失函数的最优解;最优解包括各个联邦学习单元的学习策略,学习策略包括参与联邦学习和不参与联邦学习;
资源分配模块44,用于根据联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。
本申请提供一种移动模型通信资源分配装置,通过与多个联邦学习单元共同构建移动模型横向联邦学习架构,以提高联邦学习单元与中心服务器之间的学习效率,而且移动模型横向联邦学习架构提高了对传输过程中数据的隐私性的保护,然后通过获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解其最优解,根据最优解,对参与联邦学习的联邦学习单元分配一个通信资源块,优化了通信资源块的分配方案,提高了通信资源块的利用率,进而提高了移动模型横向联邦学习架构的全局收敛速度,从而更好地支撑数字孪生电网数据的交互过程。
在一种可能的实现方式中,中心服务器可以包括全局训练参数,联邦学习单元可以包括本地数据集,架构构建模块之后,该装置还可以包括:
参数训练模块,用于通过通信资源块将全局训练参数发送至各个联邦学习单元,以使各个联邦学习单元根据全局训练参数对各自对应的本地数据集进行训练,得到各个联邦学习单元对应的本地训练参数;
参数更新模块,用于获取各个联邦学习单元对应的本地训练参数,并根据各个联邦学习单元对应的本地训练参数,更新中心服务器中的全局训练参数。
在一种可能的实现方式中,时延计算模块具体可以包括:
上行时延计算模块,用于通过通信资源块获取各个联邦学习单元同中心服务器之间进行上行传输时的上行传输速率及上行传输过程中训练参数的数据量,计算各个联邦学习单元同中心服务器之间的上行传输时延;
下行时延计算模块,用于通过通信资源块获取各个联邦学习单元同中心服务器之间进行下行传输时的下行传输速率及下行传输过程中训练参数的数据量,计算各个联邦学习单元同中心服务器之间的下行传输时延;
本地时延计算模块,用于通过通信资源块获取各个联邦学习单元对应的本地数据集的数据量和对应的联邦学习单元执行本地训练过程的计算效率,计算各个联邦学习单元对应的本地训练时延。
在一种可能的实现方式中,上行时延计算模块可以具体用于:
通过第一公式计算上行传输速率,第一公式为:
其中,为上行传输速率,Bu为每个通信资源块的上行传输带宽,pi为第i个联邦学习单元对应的发射功率,hi为第i个联邦学习单元同中心服务器之间的无线信道增益,为其他联邦学习单元产生的干扰,N0为噪声功率谱密度;
通过第二公式计算上行传输时延,第二公式为:
其中,ui为上行传输时延,D1为上行传输过程中训练参数的数据量;
下行时延计算模块可以具体用于:
通过第三公式计算下行传输速率,第三公式为:
其中,为下行传输速率,Bd为每个通信资源块的下行传输带宽,pS为中心服务器的发射功率,∑j′∈S′pshj′为其他中心服务器所产生的干扰;
通过第四公式计算下行传输时延,第四公式为:
其中,di为下行传输时延,D2为下行传输过程中训练参数的数据量;
本地时延计算模块可以具体用于:
通过第五公式计算本地训练时延,第五公式为:
其中,li为第i个联邦学习单元对应的本地训练时延,Ci为第i个联邦学习单元的本地数据集的数据量,fi为第i个联邦学习单元执行本地训练过程的计算效率。
在一种可能的实现方式中,联邦学习损失函数为:
其中,LE为联邦学习损失函数,ΔLoss为联邦学习损失函数的衰减值,ri为第i个联邦学习单元的学习策略,di为第i个联邦学习单元的下行传输时延,ui为第i个联邦学习单元的上行传输时延,li为第i个联邦学习单元的本地训练时延,R为通信资源块的总量。
在一种可能的实现方式中,函数构建模块可以用于:
第一步骤,采用二进制代码对初代种群进行编码,初代种群包括N个个体,个体包括M个联邦学习单元对应的学习策略值,学习策略值包括0或1,1表示参与联邦学习,0表示不参与联邦学习;
第二步骤,利用联邦学习损失函数分别计算编码后的当前种群中每个个体的适应度函数值,并分别将每个个体的适应度函数值与当前种群中所有个体的适应度函数值之和作比,得到每个个体对应的百分比;
第三步骤,对编码后的当前种群进行单点交叉、变异,得到新一代种群;
第四步骤,将新一代种群中每个个体的适应度函数值与新一代种群中所有个体的适应度函数值之和作比,得到新一代种群中每个个体对应的百分比;
第五步骤,计算新一代种群中每个个体对应的百分比与当前种群中对应个体的百分比的比值,得到更新比值;若存在个体对应的更新比值大于预设阈值,则将新一代种群作为当前种群,并返回第二步骤继续执行,直至所有个体对应的更新比值均小于等于预设阈值。
图5是本申请实施例提供的终端的示意图。如图5所示,该实施例的终端5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个移动模型通信资源分配方法实施例中的步骤,例如图1所示的步骤101至步骤104。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块的功能,例如图4所示模块41至44的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端5中的执行过程。例如,所述计算机程序52可以被分割成图4所示的模块41至44。
所述终端5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端5可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端5的示例,并不构成对终端5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端5的内部存储单元,例如终端5的硬盘或内存。所述存储器51也可以是所述终端5的外部存储设备,例如所述终端5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个移动模型通信资源分配方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种移动模型通信资源分配方法,其特征在于,所述方法应用于中心服务器,所述方法包括:与多个联邦学习单元共同构建移动模型横向联邦学习架构;通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;所述通信资源块数量小于所述联邦学习单元数量;根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解所述联邦学习损失函数的最优解;所述最优解包括各个联邦学习单元的学习策略,所述学习策略包括参与联邦学习和不参与联邦学习;根据所述联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。
2.根据权利要求1所述的移动模型通信资源分配方法,其特征在于,所述中心服务器包括全局训练参数,所述联邦学习单元包括本地数据集,所述与多个联邦学习单元共同构建移动模型横向联邦学习架构之后,所述方法还包括:
通过所述通信资源块将所述全局训练参数发送至各个联邦学习单元,以使各个联邦学习单元根据所述全局训练参数对各自对应的本地数据集进行训练,得到各个联邦学习单元对应的本地训练参数;
获取各个联邦学习单元对应的本地训练参数,并根据各个联邦学习单元对应的本地训练参数,更新所述中心服务器中的全局训练参数。
3.根据权利要求1所述的移动模型通信资源分配方法,其特征在于,所述通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延,包括:
通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行上行传输时的上行传输速率及上行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的上行传输时延;
通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行下行传输时的下行传输速率及下行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的下行传输时延;
通过所述通信资源块获取各个联邦学习单元对应的本地数据的数据量和对应的联邦学习单元执行本地训练过程的计算效率,计算各个联邦学习单元对应的本地训练时延。
4.根据权利要求3所述的移动模型通信资源分配方法,其特征在于,所述通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行上行传输时的上行传输速率及上行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的上行传输时延,包括:
通过第一公式计算所述上行传输速率,所述第一公式为:
其中,为所述上行传输速率,Bu为每个通信资源块的上行传输带宽,pi为第i个联邦学习单元对应的发射功率,hi为第i个联邦学习单元同所述中心服务器之间的无线信道增益,为其他联邦学习单元产生的干扰,N0为噪声功率谱密度;
通过第二公式计算所述上行传输时延,所述第二公式为:
其中,ui为所述上行传输时延,D1为所述上行传输过程中训练参数的数据量;
所述通过所述通信资源块获取各个联邦学习单元同所述中心服务器之间进行下行传输时的下行传输速率及下行传输过程中训练参数的数据量,计算各个联邦学习单元同所述中心服务器之间的下行传输时延,包括:
通过第三公式计算所述下行传输速率,所述第三公式为:
其中,为所述下行传输速率,Bd为每个通信资源块的下行传输带宽,pS为所述中心服务器的发射功率,∑j′∈s′pShj′为其他中心服务器所产生的干扰;
通过第四公式计算所述下行传输时延,所述第四公式为:
其中,di为所述下行传输时延,D2为所述下行传输过程中训练参数的数据量;
所述通过所述通信资源块获取各个联邦学习单元对应的本地数据集的数据量和对应的联邦学习单元执行本地训练过程的计算效率,计算各个联邦学习单元对应的本地训练时延,包括:
通过第五公式计算所述本地训练时延,所述第五公式为:
其中,li为第i个联邦学习单元对应的所述本地训练时延,Ci为第i个联邦学习单元的本地数据集的数据量,fi为第i个联邦学习单元执行本地训练过程的计算效率。
5.根据权利要求1所述的移动模型通信资源分配方法,其特征在于,所述联邦学习损失函数为:
其中,LE为所述联邦学习损失函数,ΔLoss为所述联邦学习损失函数的衰减值,ri为第i个联邦学习单元的学习策略,di为第i个联邦学习单元的下行传输时延,ui为第i个联邦学习单元的上行传输时延,li为第i个联邦学习单元的本地训练时延,R为所述通信资源块的总量。
6.根据权利要求5所述的移动模型通信资源分配方法,其特征在于,所述利用遗传算法求解所述联邦学习损失函数的最优解,包括:
第一步骤,采用二进制代码对初代种群进行编码,所述初代种群包括N个个体,所述个体包括M个联邦学习单元对应的学习策略值,所述学习策略值包括0或1,1表示参与联邦学习,0表示不参与联邦学习;
第二步骤,利用所述联邦学习损失函数分别计算编码后的当前种群中每个个体的适应度函数值,并分别将每个个体的适应度函数值与当前种群中所有个体的适应度函数值之和作比,得到每个个体对应的百分比;
第三步骤,对编码后的当前种群进行单点交叉、变异,得到新一代种群;
第四步骤,将新一代种群中每个个体的适应度函数值与所述新一代种群中所有个体的适应度函数值之和作比,得到所述新一代种群中每个个体对应的百分比;
第五步骤,计算新一代种群中每个个体对应的百分比与当前种群中对应个体的百分比的比值,得到更新比值;若存在个体对应的更新比值大于预设阈值,则将新一代种群作为当前种群,并返回第二步骤继续执行,直至所有个体对应的更新比值均小于等于所述预设阈值。
7.一种移动模型通信资源分配装置,其特征在于,所述装置应用于中心服务器,所述装置包括:
架构构建模块,用于与多个联邦学习单元共同构建移动模型横向联邦学习架构;
时延计算模块,用于通过通信资源块获取与多个联邦学习单元之间的上行传输时延、下行传输时延和多个联邦学习单元对应的本地训练时延;所述通信资源块数量小于所述联邦学习单元数量;
函数构建模块,用于根据与多个联邦学习单元之间的上行传输时延、下行传输时延和各个联邦学习单元对应的本地训练时延,构建联邦学习损失函数,并利用遗传算法求解所述联邦学习损失函数的最优解;所述最优解包括各个联邦学习单元的学习策略,所述学习策略包括参与联邦学习和不参与联邦学习;
资源分配模块,用于根据所述联邦学习损失函数的最优解,对参与联邦学习的联邦学习单元各自分配一个通信资源块。
8.根据权利要求7所述的移动模型通信资源分配装置,其特征在于,所述中心服务器包括全局训练参数,所述联邦学习单元包括本地数据集,所述架构构建模块之后,所述装置还包括:
参数训练模块,用于通过所述通信资源块将所述全局训练参数发送至各个联邦学习单元,以使各个联邦学习单元根据所述全局训练参数对各自对应的本地数据集进行训练,得到各个联邦学习单元对应的本地训练参数;
参数更新模块,用于获取各个联邦学习单元对应的本地训练参数,并根据各个联邦学习单元对应的本地训练参数,更新所述中心服务器中的全局训练参数。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至6中任一项所述移动模型通信资源分配方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至6中任一项所述移动模型通信资源分配方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310934695.XA CN116800753A (zh) | 2023-07-27 | 2023-07-27 | 一种移动模型通信资源分配方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310934695.XA CN116800753A (zh) | 2023-07-27 | 2023-07-27 | 一种移动模型通信资源分配方法、装置、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116800753A true CN116800753A (zh) | 2023-09-22 |
Family
ID=88042101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310934695.XA Pending CN116800753A (zh) | 2023-07-27 | 2023-07-27 | 一种移动模型通信资源分配方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116800753A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117062132A (zh) * | 2023-10-12 | 2023-11-14 | 北京信息科技大学 | 兼顾时延与能耗的cf-uav智能传输信令交互方法 |
-
2023
- 2023-07-27 CN CN202310934695.XA patent/CN116800753A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117062132A (zh) * | 2023-10-12 | 2023-11-14 | 北京信息科技大学 | 兼顾时延与能耗的cf-uav智能传输信令交互方法 |
CN117062132B (zh) * | 2023-10-12 | 2024-01-09 | 北京信息科技大学 | 兼顾时延与能耗的cf-uav智能传输信令交互方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111030861B (zh) | 一种边缘计算分布式模型训练方法、终端和网络侧设备 | |
CN113268341B (zh) | 电网边缘计算任务的分配方法、装置、设备和存储介质 | |
CN111629380A (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
CN111628855A (zh) | 基于深度强化学习的工业5g动态多优先级多接入方法 | |
CN116800753A (zh) | 一种移动模型通信资源分配方法、装置、终端及存储介质 | |
CN112768056A (zh) | 基于联合学习框架的疾病预测模型建立方法和装置 | |
CN116744311B (zh) | 基于per-ddqn的用户组频谱接入方法 | |
CN110290542A (zh) | 海上无人机通信覆盖优化方法及系统 | |
CN114116707A (zh) | 确定联合学习中参与方贡献度的方法及装置 | |
CN115392348A (zh) | 联邦学习梯度量化方法、高效通信联邦学习方法及相关装置 | |
CN113094180B (zh) | 无线联邦学习调度优化方法及装置 | |
CN106792919A (zh) | 无线虚拟网中基于等效容量的资源分配方法 | |
CN115883601A (zh) | 一种车联网协作资源分配方法、系统、设备及介质 | |
CN113887746A (zh) | 基于联合学习的降低通信压力的方法及装置 | |
CN112911715A (zh) | 一种虚拟无线网络中吞吐量最大化的功率分配方法及装置 | |
CN114116705B (zh) | 联合学习中确定参与方贡献值的方法及装置 | |
CN115022189B (zh) | 边缘用户分配模型构建方法、装置、设备及可读存储介质 | |
CN109587641B (zh) | 移动智能设备中基于用户匹配的数据流量共享方法 | |
CN113887745A (zh) | 数据异构的联合学习方法及装置 | |
CN117202310A (zh) | mMTC场景中终端设备的接入方法、装置及网络设备 | |
CN116723525A (zh) | 基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备 | |
CN117118546A (zh) | 无线电地图构建方法、系统、计算机设备和可存储介质 | |
CN116485215A (zh) | 联合学习中资源的分配方法及装置 | |
CN117560696A (zh) | 一种基于经验回放与深度q学习的车载网网络切片选择方法 | |
CN116405977A (zh) | 移动终端资源分配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |