CN116778363B - 一种基于联邦学习的低通信量库区水环境风险识别方法 - Google Patents
一种基于联邦学习的低通信量库区水环境风险识别方法 Download PDFInfo
- Publication number
- CN116778363B CN116778363B CN202310754204.3A CN202310754204A CN116778363B CN 116778363 B CN116778363 B CN 116778363B CN 202310754204 A CN202310754204 A CN 202310754204A CN 116778363 B CN116778363 B CN 116778363B
- Authority
- CN
- China
- Prior art keywords
- local
- unmanned aerial
- update
- model
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006854 communication Effects 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000013179 statistical model Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 238000011144 upstream manufacturing Methods 0.000 abstract description 10
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于联邦学习的低通信量库区水环境风险识别方法,通过个性化本地计算、本地更新相关性检查以及全局模型补偿技术,在保证库区水环境风险识别模型精度的前提下,同时降低上游以及下游通信频次,优化联邦学习通信效率。个性化本地计算通过向本地损失函数中引入正则项,使得本地训练能够适应不同设备能力的无人机,缓解异构数据导致的全局模型精度低等问题;检测无人机本地模型更新与全局模型更新之间的相似程度,避免无人机上传不必要的本地模型更新,降低上游通信频次;在全局模型补偿阶段,参数服务器按概率选取部分无人机下发全局模型更新,未接收到全局模型更新的无人机采用本地更新弥补与全局模型间的差距,降低下游通信频次。
Description
技术领域
本发明涉及一种基于联邦学习的低通信量库区水环境风险识别方法,属于图像识别分类技术领域。
背景技术
随着科技的飞速进步,传统互联网逐渐发展为智能物联网。智能物联网利用边缘设备(如智能手机、无线摄像头、无人机、物联网传感器等)采集海量数据,分布式训练复杂网络模型,并为用户提供智能应用服务。边缘设备采集数据的质量和规模决定了智能应用的性能。为提供高效的智能应用服务,获取可靠和充足的数据是关键步骤。由于行业竞争和复杂的行政程序,现实中的数据分散在不同组织中。同时整合碎片化数据的成本巨大,甚至采集数据遭受法律限制,导致训练模型时出现数据缺失现象。数据缺失有损模型精度,为了合理地利用孤立数据同时保护用户数据安全性,提升智能应用模型精度,常采用联邦学习提供边缘智能应用服务。联邦学习利用客户端自身数据集训练本地模型,服务器聚合本地模型生成全局模型,并下发至客户端用于下轮训练,整个训练过程直至全局模型满足既定的要求,即达到预设的性能指标或达到预设的时间。区别于共享数据集的传统分布式学习,联邦学习始终将数据存储在本地,可以最大限度地保障数据隐私。
在库区水环境监测中,由于库区的地理位置特殊,无人机集群拍摄的图片与视频具有私密性,很难通过传统的集中式机器学习训练水环境风险识别模型。联邦学习能够避免数据在传输过程中泄露的风险。然而,无人机集群采集的数据体量过大,在联邦学习过程中会带来海量的通信代价,若在低带宽的网络条件下训练水环境风险识别模型,频繁通信的训练过程导致数据包在网络中被堵塞,无法按时传输至目的地,产生网络延迟或数据丢失现象,降低全局模型收敛速度。此外,无人机集群收集的数据具有异质性,导致全局模型的训练方向偏向数据量多的无人机,全局模型易陷入局部最优。
为了降低联邦学习过程中高额的通信代价,允许多轮本地计算以及减少上下游通信频次是常用的两种手段。作为典型的联邦学习通信优化算法,FedAvg在每一轮迭代增加客户端本地更新参数的计算次数,多轮计算后将计算梯度通信至服务器,降低通信频次;CMFL采用一种延迟更新方法来降低上游通信频次;PRLC利用一种基于客户端局部补偿的下游通信延迟更新方法,降低下游通信频次。但上述方法仅单方面降低上游或下游通信频次,同时未考虑异构数据对全局模型精度的影响。
发明内容
发明目的:针对联邦学习中通信代价以及数据异质性导致的库区水环境风险识别模型收敛速度慢、模型精度低的问题,本发明基于个性化本地计算、本地更新相关性检查以及全局模型补偿技术,提供了一种基于联邦学习的低通信量库区水环境风险识别方法,能够在保证全局模型精度的基础上大量降低联邦学习通信成本,加快库区水环境风险识别模型的收敛速度,大幅降低库区水环境监测所需通信量。
技术方案:一种基于联邦学习的低通信量库区水环境风险识别方法,该方法通过个性化本地计算、本地更新相关性检查以及全局模型补偿技术,在保证库区水环境风险识别模型精度的前提下,同时降低上游以及下游通信频次,优化联邦学习通信效率。
个性化本地计算通过向本地损失函数中引入正则项,使得本地训练能够适应不同设备能力的无人机,缓解异构数据导致的全局模型精度低等问题;
本地更新相关性检查检测无人机本地模型更新与全局模型更新之间的相似程度,避免无人机上传不必要的本地模型更新,降低上游通信频次;
在全局模型补偿阶段,参数服务器按概率选取部分无人机下发全局模型更新,未接收到全局模型更新的无人机采用本地更新的方式弥补与全局模型间的差距,降低下游通信频次。
基于联邦学习的低通信量库区水环境风险识别方法,通过无人机集群采集库区水环境风险图像数据,对无人机上训练的本地模型进行聚合后得到的全局模型,即库区水环境风险识别模型。包括以下步骤:
步骤1)根据无人机拍摄的水环境风险图像数据,通过联邦学习算法训练库区水环境风险识别模型;在每一轮训练之初,参数服务器根据概率vpull,从参与第r轮训练轮次的N台无人机中随机选择M台无人机,将第r轮全局模型更新Δwr发送至选中的M台无人机;
步骤2)接收到全局模型更新Δwr的M台无人机将本地模型更新为其余未接收到全局模型更新的无人机采用全局模型补偿机制更新本地模型;
步骤3)更新本地模型后,参与联邦训练的无人机根据自身采集的水环境风险图像数据,采用个性化损失函数执行E次个性化本地计算;
步骤4)个性化本地计算结束后,M台无人机各自进行本地更新相关性检查;计算本地模型更新、更新相关性系数;设定本地相似系数vclient作为更新相关性系数阈值,若更新相关性系数小于本地相似系数vclient,则无人机上传本地模型更新至参数服务器,否则,无人机无需上传本地模型更新;
步骤5)参数服务器根据第r轮全局模型wr以及部分无人机上传的本地模型更新,利用更新第r+1轮全局模型wr+1,其中Spush为上传本地模型更新的无人机集合,ηg为全局学习率;随后,计算全局模型更新Δwr+1=wr+1-wr;重复步骤1)-步骤5)直至全局模型收敛或达到指定的通信轮次,最终获得的全局模型即为库区水环境风险识别模型。
进一步的,所述步骤2)中全局模型补偿的具体步骤如下:
在参数服务器与无人机集群的下游通信过程中,参数服务器根据概率vpull选取M台无人机下发第r轮全局模型更新Δwr;
对于接收到全局模型更新的M台无人机,各自采用全局模型更新Δwr更新本地模型:
其中,分别为第r轮以及第r-1轮通信轮次无人机i的本地模型;对于其余未接收到全局模型更新的无人机,各自采用全局模型补偿更新本地模型:
其中ηl为本地学习率,为使用第r-1轮的本地模型计算得到的梯度。
进一步的,所述步骤3)中个性化本地计算的具体步骤如下:
定义本地损失函数g(wf)为:
其中为正则项,μ为正则项系数,wf是在个性化计算过程中生成的本地最优模型,/>表示模型更新,/>为无人机i在第r轮通信回合内利用全局更新生成的新的本地模型;
在个性化本地计算开始时随着无人机在迭代轮次内进行个性化计算,且wf逐渐偏向无人机i采集的本地水环境风险图像数据,本地最优模型计算公式为:
wf=wf-ηlg(wf)
无人机在每轮本地迭代结束后,利用本轮计算得到的梯度g(wf)进行一次本地模型更新。
进一步的,所述步骤4)中本地更新相关性检查的具体步骤如下:
无人机i首先获取经个性化本地计算得到的本地模型更新Δwi:
其中,wf为无人机个性化本地计算后的最优模型,是第r轮通信回合无人机i经下游通信更新后的本地模型;
接着,检查无人机本地模型更新与全局模型更新中参数符号一致性个数,计算相同符号总数的平均值,获取更新相关性系数C(Δwi,Δw):
其中,Δw表示当前轮次全局模型更新,P为模型更新参数个数,sgn(·)为用于统计模型更新的符号函数;表示无人机i本地模型更新Δwi与全局模型更新Δw在第p个参数上更新方向相同,/>则表示第p个参数的更新方向不相同;
更新相关性系数C(Δwi,Δw)记录了无人机本地模型更新方向相同参数占全部参数的比例,C(Δwi,Δw)越接近1,表明无人机i的本地模型更新与全局模型更新越相似;相反,C(Δwi,Δw)越接近0,代表无人机i的本地模型更新与全局模型更新越不相似;采用本地相似系数vclient作为C(Δwi,Δw)的衡量标准,当C(Δwi,Δw)<vclient时,表示无人机i的本地模型更新与全局模型更新呈弱相关,无人机i上传本地模型更新至参数服务器;当C(Δwi,Δw)≥vclient时,则表明无人机i的本地模型更新与全局模型更新相似,无需上传此轮更新。
一种基于联邦学习的低通信量库区水环境风险识别系统,包括参数服务器和作为客户端的无人机;利用无人机集群采集库区水环境风险图像数据。
每台无人机采集并保存库区水环境风险图像数据,通过联邦学习算法训练库区水环境风险识别模型,在每一轮训练之初,参数服务器根据概率vpull从无人机集群中选取M台无人机参与该轮训练,并将全局模型更新Δwr发送至选中的无人机;
接收到全局模型更新的无人机将本地模型更新为其余未被选中且未接收到全局模型更新的无人机采用全局模型补偿机制将本地模型更新为
更新本地模型后,M台无人机根据自身采集的本地库区水环境风险图像数据,采用损失函数执行E次个性化本地计算;
M台无人机各自计算本地模型更新以及更新相关性系数若C(Δwi,Δw)<vclient,则无人机上传本地模型更新Δwi至参数服务器,否则无需上传本地模型更新;
参数服务器利用无人机集合Spush上传的本地模型更新以及全局学习率ηg,更新全局模型随后,计算全局模型更新Δwr+1=wr+1-wr;直至全局模型收敛或达到指定的通信轮次,最终获得的全局模型即为库区水环境风险识别模型。
一种基于联邦学习的低通信量库区水环境风险识别方法,运用个性化本地计算、本地更新相关性检查以及全局模型补偿,在满足库区水环境风险识别模型精度的基础上,以最小化训练过程通信量为目标,联合无人机群训练库区水环境风险识别模型。库区水环境风险识别模型部署在各台无人机上,用于无人机群在线识别库区水环境风险源,有利于库区水环境风险源快速实时识别检测。本发明提出一种基于联邦学习的低通信量库区水环境风险识别方法,符合无人机群设备能力较弱,无法承担联邦学习高额通信量的现实场景,为无人机群联合训练库区水环境风险识别模型提出了一种新方法。
系统的具体实现过程与方法相同,不再赘述。
一种计算机设备,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如上述的基于联邦学习的低通信量库区水环境风险识别方法。
一种计算机可读存储介质,该计算机可读存储介质存储有执行如上述的基于联邦学习的低通信量库区水环境风险识别方法的计算机程序。
有益效果:与现有技术相比,本发明提供基于联邦学习的低通信量库区水环境风险识别方法,该方法通过个性化本地计算、本地更新相关性检查以及全局模型补偿技术,在保证库区水环境风险识别模型精度的前提下,同时降低上游以及下游通信频次,优化联邦学习通信效率。个性化本地计算通过向本地损失函数中引入正则项,使得本地训练能够适应不同设备能力的无人机,缓解异构数据导致的全局模型精度低等问题;本地更新相关性检查检测无人机本地模型更新与全局模型更新之间的相似程度,避免无人机上传不必要的本地模型更新,降低上游通信频次;在全局模型补偿阶段,参数服务器按概率选取部分无人机下发全局模型更新,未接收到全局模型更新的无人机采用本地更新的方式弥补与全局模型间的差距,降低下游通信频次。本发明解决了无人机集群采集图片难以大批量上传、数据上传过程容易泄露的问题,缓解了因无人机集群数据异构性造成的库区水环境风险识别模型精度下降问题,解决了由于频繁通信所导致的库区水环境风险识别模型收敛缓慢、库区水环境监测所需通信量过大的问题。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
基于联邦学习的低通信量库区水环境风险识别方法,通过个性化本地计算、本地更新相关性检查以及全局模型补偿技术,降低联邦训练的上下游通信频次,能够在保证全局模型精度的基础上大量降低联邦学习通信成本,加快库区水环境风险识别模型的收敛速度,大幅降低库区水环境监测所需通信量。
如图1所示,基于联邦学习的低通信量库区水环境风险识别方法,包括如下步骤:
步骤1)根据无人机拍摄的水环境风险图像数据,通过联邦学习算法训练库区水环境风险识别模型;在每一轮训练之初,参数服务器根据概率vpull,从参与第r轮训练轮次的N台无人机中随机选择M台无人机,将全局模型更新Δwr发送至选中的M台无人机;
步骤2)对于接收到全局模型更新的M台无人机,各自采用全局模型更新Δwr更新本地模型:
其中,分别为第r轮以及第r-1轮通信轮次无人机i的本地模型;对于其余未接收到全局模型更新的无人机,各自采用全局模型补偿更新本地模型:
其中ηl为本地学习率,为使用第r-1轮的本地模型计算得到的梯度。
步骤3)更新本地模型后,参与联邦训练的无人机根据自身采集的水环境风险图像数据,根据本地损失函数g(wf)执行E次个性化本地计算,本地损失函数定义为:
其中为正则项,μ为正则项系数,wf是在个性化计算过程中生成的本地最优模型,/>表示模型更新,/>为无人机i在第r轮通信回合内利用全局更新生成的新的本地模型;
在个性化本地计算开始时随着无人机在迭代轮次内进行个性化计算,且wf逐渐偏向无人机i采集的本地水环境风险图像数据,本地最优模型计算公式为:
wf=wf-ηlg(wf)
无人机在每轮本地迭代结束后,利用本轮计算得到的梯度g(wf)进行一次本地模型更新。
步骤4)个性化本地计算结束后,M台无人机各自计算本地模型更新其中,wf为无人机个性化本地计算后的最优模型,/>是第r轮通信回合无人机i经下游通信更新后的本地模型;接着,检查无人机本地模型更新与全局模型更新中参数符号一致性个数,计算相同符号总数的平均值,获取更新相关性系数其中,P为模型更新参数个数,sgn(·)为用于统计模型更新的符号函数;/>表示无人机i本地模型更新Δwi与全局模型更新Δw在第p个参数上更新方向相同,则表示第p个参数的更新方向不相同;
更新相关性系数C(Δwi,Δw)记录了无人机本地模型更新方向相同参数占全部参数的比例,C(Δwi,Δw)越接近1,表明无人机i的本地模型更新与全局模型更新越相似;相反,C(Δwi,Δw)越接近0,代表无人机i的本地模型更新与全局模型更新越不相似;采用本地相似系数vclient作为C(Δwi,Δw)的衡量标准,当C(Δwi,Δw)<vclient时,表示无人机i的本地模型更新与全局模型更新呈弱相关,无人机i上传本地模型更新至参数服务器;当C(Δwi,Δw)≥vclient时,则表明无人机i的本地模型更新与全局模型更新相似,无需上传此轮更新。
步骤5)参数服务器利用更新第r+1轮全局模型wr+1,其中Spush为上传本地模型更新的无人机集合,ηg为全局学习率;随后,计算全局模型更新Δwr+1=wr+1-wr。
一种基于联邦学习的低通信量库区水环境风险识别系统,包括参数服务器和作为客户端的无人机;利用无人机集群采集库区水环境风险图像数据。
每台无人机采集并保存库区水环境风险图像数据,通过联邦学习算法训练库区水环境风险识别模型,在每一轮训练之初,参数服务器根据概率vpull从无人机集群中选取M台无人机参与该轮训练,并将全局模型更新Δwr发送至选中的无人机。
接收到全局模型更新的无人机将本地模型更新为其余未被选中且未接收到全局模型更新的无人机采用全局模型补偿机制将本地模型更新为
更新本地模型后,无人机根据自身采集的本地库区水环境风险图像数据,采用损失函数执行E次个性化本地计算。
无人机计算本地模型更新以及更新相关性系数/>若则无人机上传本地模型更新/>至参数服务器,否则无需上传本地模型更新。
参数服务器利用无人机集合Spush上传的本地模型更新以及全局学习率ηg,更新全局模型随后,计算全局模型更新Δwr+1=wr+1-wr;直至模型收敛或达到指定的通信轮次,最终获得的全局模型即为库区水环境风险识别模型。
显然,本领域的技术人员应该明白,上述的本发明实施例的基于联邦学习的低通信量库区水环境风险识别方法各步骤或基于联邦学习的低通信量库区水环境风险识别系统各模块可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
Claims (4)
1.一种基于联邦学习的低通信量库区水环境风险识别方法,其特征在于,该方法通过个性化本地计算、本地更新相关性检查以及全局模型补偿技术,基于无人机集群采集的库区水环境风险图像数据,对无人机上训练的本地模型进行聚合后得到的全局模型;包括以下步骤:
步骤1)根据无人机拍摄的水环境风险图像数据,通过联邦学习算法训练库区水环境风险识别模型;在每一轮训练之初,参数服务器根据概率υpull,从参与第r轮训练轮次的N台无人机中随机选择M台无人机,将第r轮全局模型更新Δwr发送至选中的M台无人机;
步骤2)接收到全局模型更新Δwr的M台无人机将本地模型更新为其余未接收到全局模型更新的无人机采用全局模型补偿将本地模型更新;
步骤3)更新本地模型后,参与联邦训练的无人机根据自身采集的水环境风险图像数据,采用损失函数执行E次个性化本地计算;
步骤4)个性化本地计算结束后,M台无人机各自进行本地更新相关性检查;计算本地模型更新、更新相关性系数;设定本地相似系数υclient作为更新相关性系数阈值,若更新相关性系数小于本地相似系数υclient,则无人机上传本地模型更新至参数服务器,否则,无人机无需上传本地模型更新;
步骤5)参数服务器根据第r轮全局模型wr以及部分无人机上传的本地模型更新,利用更新第r+1轮全局模型wr+1,其中Spush为上传本地模型更新的无人机集合,ηg为全局学习率;随后,计算全局模型更新Δwr+1=wr+1-wr;重复步骤1)-步骤5)直至全局模型收敛或达到指定的通信轮次,最终获得的全局模型即为库区水环境风险识别模型;
所述步骤2)中全局模型补偿的具体步骤如下:
在参数服务器与无人机集群的下游通信过程中,参数服务器根据概率υpull选取M台无人机下发第r轮全局模型更新Δwr;
对于接收到全局模型更新的M台无人机,各自采用全局模型更新Δwr更新本地模型:
其中,分别为第r轮以及第r-1轮通信轮次无人机i的本地模型;对于其余未接收到全局模型更新的无人机,各自采用全局模型补偿更新本地模型:
其中ηl为本地学习率,为使用第r-1轮的本地模型计算得到的梯度;
所述步骤3)中个性化本地计算的具体步骤如下:
定义本地损失函数g(wf)为:
其中为正则项,μ为正则项系数,wf是在个性化计算过程中生成的本地最优模型,/>表示模型更新,/>为无人机i在第r轮通信回合内利用全局更新生成的新的本地模型;
在个性化本地计算开始时随着无人机在迭代轮次内进行个性化计算,且wf逐渐偏向无人机i采集的本地水环境风险图像数据,本地最优模型计算公式为:
wf=wf-ηlg(wf)
无人机在每轮本地迭代结束后,利用本轮计算得到的梯度g(wf)进行一次本地模型更新;
所述步骤4)中本地更新相关性检查的具体步骤如下:
无人机i首先获取经个性化本地计算得到的本地模型更新Δwi:
其中,wf为无人机个性化本地计算后的最优模型,是第r轮通信回合无人机i经下游通信更新后的本地模型;
接着,检查无人机本地模型更新与全局模型更新中参数符号一致性个数,计算相同符号总数的平均值,获取更新相关性系数C(Δwi,Δw):
其中,P为模型更新参数个数,sgn(·)为用于统计模型更新的符号函数;表示无人机i本地模型更新Δwi与全局模型更新Δw在第p个参数上更新方向相同,/>则表示第p个参数的更新方向不相同;
更新相关性系数C(Δwi,Δw)记录了无人机本地模型更新方向相同参数占全部参数的比例,C(Δwi,Δw)越接近1,表明无人机i的本地模型更新与全局模型更新越相似;相反,C(Δwi,Δw)越接近0,代表无人机i的本地模型更新与全局模型更新越不相似;采用本地相似系数υclient作为C(Δwi,Δw)的衡量标准,当C(Δwi,Δw)<υclient时,表示无人机i的本地模型更新与全局模型更新呈弱相关,无人机i上传本地模型更新至参数服务器;当C(Δwi,Δw)≥υclient时,则表明无人机i的本地模型更新与全局模型更新相似,无需上传此轮更新。
2.一种基于联邦学习的低通信量库区水环境风险识别系统,其特征在于,包括参数服务器和作为客户端的无人机;利用无人机集群采集库区水环境风险图像数据;
每台无人机采集并保存库区水环境风险图像数据,通过联邦学习算法训练库区水环境风险识别模型,在每一轮训练之初,参数服务器根据概率υpull从无人机集群中选取M台无人机参与该轮训练,并将全局模型更新Δwr发送至选中的无人机;
接收到全局模型更新的无人机将本地模型更新为其余未被选中且未接收到全局模型更新的无人机采用全局模型补偿将本地模型更新为
更新本地模型后,无人机根据自身采集的本地库区水环境风险图像数据,采用损失函数执行E次个性化本地计算;
无人机计算本地模型更新以及更新相关性系数/>若则无人机上传本地模型更新Δwi至参数服务器,否则无需上传本地模型更新;
参数服务器利用无人机集合Spush上传的本地模型更新以及全局学习率ηg,更新全局模型随后,计算全局模型更新Δωr+1=ωr+1-ωr;直至全局模型收敛或达到指定的通信轮次,最终获得的全局模型即为库区水环境风险识别模型;
全局模型补偿的具体步骤如下:
在参数服务器与无人机集群的下游通信过程中,参数服务器根据概率υpull选取M台无人机下发第r轮全局模型更新Δwr;
对于接收到全局模型更新的M台无人机,各自采用全局模型更新Δwr更新本地模型:
其中,分别为第r轮以及第r-1轮通信轮次无人机i的本地模型;对于其余未接收到全局模型更新的无人机,各自采用全局模型补偿更新本地模型:
其中ηl为本地学习率,为使用第r-1轮的本地模型计算得到的梯度;
个性化本地计算的具体步骤如下:
定义本地损失函数g(wf)为:
其中为正则项,μ为正则项系数,wf是在个性化计算过程中生成的本地最优模型,/>表示模型更新,/>为无人机i在第r轮通信回合内利用全局更新生成的新的本地模型;
在个性化本地计算开始时随着无人机在迭代轮次内进行个性化计算,且wf逐渐偏向无人机i采集的本地水环境风险图像数据,本地最优模型计算公式为:
wf=wf-ηlg(wf)
无人机在每轮本地迭代结束后,利用本轮计算得到的梯度g(wf)进行一次本地模型更新;
本地更新相关性检查的具体步骤如下:
无人机i首先获取经个性化本地计算得到的本地模型更新Δwi:
其中,wf为无人机个性化本地计算后的最优模型,是第r轮通信回合无人机i经下游通信更新后的本地模型;
接着,检查无人机本地模型更新与全局模型更新中参数符号一致性个数,计算相同符号总数的平均值,获取更新相关性系数C(Δwi,Δw):
其中,P为模型更新参数个数,sng(·)为用于统计模型更新的符号函数;表示无人机i本地模型更新Δwi与全局模型更新Δw在第p个参数上更新方向相同,/>则表示第p个参数的更新方向不相同;
更新相关性系数C(Δwi,Δw)记录了无人机本地模型更新方向相同参数占全部参数的比例,C(Δwi,Δw)越接近1,表明无人机i的本地模型更新与全局模型更新越相似;相反,C(Δwi,Δw)越接近0,代表无人机i的本地模型更新与全局模型更新越不相似;采用本地相似系数υclient作为C(Δwi,Δw)的衡量标准,当C(Δwi,Δw)<υclient时,表示无人机i的本地模型更新与全局模型更新呈弱相关,无人机i上传本地模型更新至参数服务器;当C(Δwi,Δw)≥υclient时,则表明无人机i的本地模型更新与全局模型更新相似,无需上传此轮更新。
3.一种计算机设备,其特征在于:该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如权利要求1所述的基于联邦学习的低通信量库区水环境风险识别方法。
4.一种计算机可读存储介质,其特征在于:该计算机可读存储介质存储有执行如权利要求1所述的基于联邦学习的低通信量库区水环境风险识别方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310754204.3A CN116778363B (zh) | 2023-06-25 | 2023-06-25 | 一种基于联邦学习的低通信量库区水环境风险识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310754204.3A CN116778363B (zh) | 2023-06-25 | 2023-06-25 | 一种基于联邦学习的低通信量库区水环境风险识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116778363A CN116778363A (zh) | 2023-09-19 |
CN116778363B true CN116778363B (zh) | 2024-04-30 |
Family
ID=88007656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310754204.3A Active CN116778363B (zh) | 2023-06-25 | 2023-06-25 | 一种基于联邦学习的低通信量库区水环境风险识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116778363B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113406974A (zh) * | 2021-08-19 | 2021-09-17 | 南京航空航天大学 | 一种面向无人机集群联邦学习的学习与资源联合优化方法 |
CN113971461A (zh) * | 2021-10-26 | 2022-01-25 | 南京航空航天大学 | 一种无人机自组网分布式联邦学习方法和系统 |
CN114466309A (zh) * | 2021-12-20 | 2022-05-10 | 上海科技大学 | 一种基于无人机的高效通信无线联邦学习架构构建方法 |
CN115376031A (zh) * | 2022-10-24 | 2022-11-22 | 江西省科学院能源研究所 | 基于联邦自适应学习的公路无人机巡检数据处理方法 |
CN115410103A (zh) * | 2022-09-01 | 2022-11-29 | 河海大学 | 一种基于联邦学习的大坝缺陷识别模型快速收敛方法 |
CN115759282A (zh) * | 2022-10-27 | 2023-03-07 | 北京理工大学 | 应用多代价函数的系统异构联邦学习效率提升方法 |
-
2023
- 2023-06-25 CN CN202310754204.3A patent/CN116778363B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113406974A (zh) * | 2021-08-19 | 2021-09-17 | 南京航空航天大学 | 一种面向无人机集群联邦学习的学习与资源联合优化方法 |
CN113971461A (zh) * | 2021-10-26 | 2022-01-25 | 南京航空航天大学 | 一种无人机自组网分布式联邦学习方法和系统 |
CN114466309A (zh) * | 2021-12-20 | 2022-05-10 | 上海科技大学 | 一种基于无人机的高效通信无线联邦学习架构构建方法 |
CN115410103A (zh) * | 2022-09-01 | 2022-11-29 | 河海大学 | 一种基于联邦学习的大坝缺陷识别模型快速收敛方法 |
CN115376031A (zh) * | 2022-10-24 | 2022-11-22 | 江西省科学院能源研究所 | 基于联邦自适应学习的公路无人机巡检数据处理方法 |
CN115759282A (zh) * | 2022-10-27 | 2023-03-07 | 北京理工大学 | 应用多代价函数的系统异构联邦学习效率提升方法 |
Non-Patent Citations (2)
Title |
---|
UAV Communications for Sustainable Federated Learning;Quoc-Viet Pham et al;《arXiv》;20210320;全文 * |
面向联邦学习的无人机轨迹与资源联合优化;姚献财 等;《计算机工程与应用》;20230510;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116778363A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110968426B (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
CN112784718B (zh) | 一种基于边缘计算与深度学习的绝缘子状态识别方法 | |
CN110879989A (zh) | 基于小样本机器学习模型的ads-b信号目标识别方法 | |
CN112804107A (zh) | 一种物联网设备能耗自适应控制的分层联邦学习方法 | |
WO2021227508A1 (zh) | 基于深度强化学习的工业5g动态多优先级多接入方法 | |
CN113406974B (zh) | 一种面向无人机集群联邦学习的学习与资源联合优化方法 | |
CN113518007B (zh) | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 | |
CN113781397A (zh) | 基于联邦学习的医疗影像病灶检测建模方法、装置及系统 | |
CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
CN112836822A (zh) | 基于宽度学习的联邦学习策略优化方法和装置 | |
CN112749663A (zh) | 基于物联网和ccnn模型的农业果实成熟度检测系统 | |
CN117829307A (zh) | 一种面向数据异构性的联邦学习方法及系统 | |
CN117114113B (zh) | 一种基于排队论的协同推理加速方法 | |
CN116778363B (zh) | 一种基于联邦学习的低通信量库区水环境风险识别方法 | |
CN116362328A (zh) | 一种基于公平性特征表示的联邦学习异构模型聚合方法 | |
CN116259057A (zh) | 基于联盟博弈解决联邦学习中数据异质性问题的方法 | |
CN116010832A (zh) | 联邦聚类方法、装置、中心服务器、系统和电子设备 | |
CN115577797A (zh) | 一种基于本地噪声感知的联邦学习优化方法及系统 | |
CN114070438A (zh) | 一种5g基站电磁信号的检测方法及系统 | |
CN114997422A (zh) | 一种异构通信网络的分组式联邦学习方法 | |
CN113780371A (zh) | 基于边缘计算与深度学习的绝缘子状态边缘识别方法 | |
CN114170560B (zh) | 一种基于深度强化学习的多设备边缘视频分析系统 | |
CN117592556B (zh) | 一种基于gnn的半联邦学习系统及其运行方法 | |
CN115102982B (zh) | 一种面向智能任务的语义通信方法 | |
CN117635924B (zh) | 一种基于自适应知识蒸馏的低能耗目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |