CN116610958A - 面向无人机群水库水质检测的分布式模型训练方法及系统 - Google Patents
面向无人机群水库水质检测的分布式模型训练方法及系统 Download PDFInfo
- Publication number
- CN116610958A CN116610958A CN202310735109.9A CN202310735109A CN116610958A CN 116610958 A CN116610958 A CN 116610958A CN 202310735109 A CN202310735109 A CN 202310735109A CN 116610958 A CN116610958 A CN 116610958A
- Authority
- CN
- China
- Prior art keywords
- gradient
- local
- unmanned aerial
- model
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 77
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000002776 aggregation Effects 0.000 claims abstract description 12
- 238000004220 aggregation Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 229930002875 chlorophyll Natural products 0.000 description 4
- 235000019804 chlorophyll Nutrition 0.000 description 4
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 229910052760 oxygen Inorganic materials 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- -1 PH value Chemical compound 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种面向无人机群水库水质检测的分布式模型训练方法及系统，在每一轮训练过程中，无人机从参数服务器接收到全局模型，对接收到的全局模型进行迭代训练，将交叉熵损失函数替换为焦点损失函数，平衡各类别样本在总损失值中的占比，降低本地模型对多数类样本的偏好性；在本地训练结束之后，无人机将模型梯度和损失值上传到参数服务器，参数服务器从接收到的模型梯度中选择主导梯度，并根据主导梯度对所有本地梯度进行修正，来缓解本地模型梯度间的冲突，最终提高水质检测模型的精度。本发明降低了中央服务器的负载，避免了模型训练时敏感数据泄露的风险，解决本地梯度在全局聚合阶段产生梯度冲突的问题，有助于更准确地识别水质问题。
Description
技术领域
本发明涉及一种面向无人机群水库水质检测的分布式模型训练方法及系统，属于分布式计算和水质检测技术领域。
背景技术
随着深度神经网络、计算机算法和算力的发展，人工智能迎来了新的发展高峰。智能终端设备与云计算服务器的普及使得自然语言处理、计算机视觉等先进机器学习技术应用到我们的日常生活中。在水库水质检测系统中可能涉及到大量的敏感数据，如水位、水质监测数据、水库地理等信息，这些数据需要得到保护。使用传统的集中式学习方法可能会存在数据泄露的风险，而基于联邦刚学习的分布式训练可以在不共享原始数据的情况下进行模型训练，从而更好地保护数据隐私。此外，水库水质检测系统中存在多个无人机，使用传统的集中式学习方法需要将所有数据上传到中心服务器进行模型训练，会导致大量的通信开销和网络负载。而基于联邦学习的分布式训练可以在本地设备上进行模型训练，并只将模型参数上传到中心服务器进行聚合，从而降低通信开销和网络负载。
但是在水库水质检测系统中，无人机之间的数据是非独立同分的。具体来说，在不同的时间、不同的位置，受环境、光照、角度等因素的影响，从而导致采集到的数据具有一定的差异性。这种无人机之间的数据非独立同分布也称为数据异质性。数据异质性使得每个无人机在本地对水质检测模型进行迭代训练时，将本地模型向本地最优解的方向进行更新。由于数据异质性，所以无人机的本地最优解也不一致，因此本地梯度之间出现了较大的差异，导致全局聚合阶段产生了梯度冲突。梯度冲突会严重影响水质检测模型精度，因此如何缓解梯度冲突，来提高水质检测模型的精度，在无人机水库水质检测系统中变得至关重要。
为了缓解梯度冲突问题，数据增强、正则化和自适应等方法被相继提出。数据增强是将异质数据变为同质数据，避免梯度冲突现象的发生。但是这种方法通常需要某种形式的数据共享或依赖于代表总体数据分布的代理数据集的可用性，适用性在一定程度上受到限制。正则化方法通过扼制本地模型与全局模型的差距，来减少本地梯度的发散程度。但是通过这些方法训练出的本地模型依然对少数类样本识别性能较差而对多数类样本识别性能较好，本地模型的偏好性依然较强，所以全局聚合阶段的简单加权平均，仍然会产生梯度冲突问题，导致全局模型测试精度受损。
发明内容
发明目的：针对集中式水质检测模型训练时的隐私泄露风险、服务器负载高、通信带宽不足，以及分布式训练时梯度冲突导致的水质检测模型精度受损的问题，本发明基于焦点损失函数梯和主导梯度修正技术，提供了一种面向无人机群水库水质检测的分布式模型训练方法及系统，能够缓解本地模型对各类样本识别性能的差异，利用优质的主导梯度检测并修正存在冲突的梯度，从而避免在全局聚合阶段发生模型梯度冲突，提高水质检测模型的精度，避免因为误判或漏判导致对水质问题的忽视或延误处理，有助于及早发现水质问题，避免水质问题扩大和加剧，保障水质安全。
技术方案：一种面向无人机群水库水质检测的分布式模型训练方法，包括以下步骤：
1)无人机集群水库水质检测系统由N架带有本地数据集并具有模型训练能力的无人机和一个参数服务器组成。在每一轮训练之初，参数服务器随机选择K(0＜K＜N)(其中N为无人机的总数)个无人机参与该轮训练，并将全局模型wt发送给选定的K个无人机。所述本地数据集包括溶解氧、PH值、悬浮物浓度、叶绿素含量、水温、水库水体表面图像、水库水位图像和水库周边环境图像等数据。
2)无人机接收来自参数服务器的全局模型wt，将本地模型初始化为wt，并在本地所拥有的数据集上进行E次本地迭代训练。在每次本地迭代训练过程中，将交叉熵损失函替换为重构后的焦点损失函数，来提高难分类样本对总损失值的贡献度，减小各类样本的训练损失差异。在本地训练结束后将本地梯度/>和本地损失/>上传到参数服务器。
3)参数服务器在接收到来自无人机的梯度和损失后，计算每个梯度的投影异常值和梯度异常值，其中梯度异常值越大说明梯度异常程度越小。然后将梯度异常值进行降序排列，选择前个梯度作为主导梯度，其中λ∈(0，1]表示主导梯度选取比率。
4)参数服务器检测接收到的本地模型梯度和主导梯度之间是否存在冲突。如果存在梯度冲突，为避免水质检测模型精度受损，可以根据主导梯度对本地模型梯度进行修正，从而减弱梯度冲突的程度。最后聚合修正后的本地模型梯度，生成新的全局模型。然后重复步骤1)-4)直到全局模型收敛或达到指定的通信轮次。使用最终得到的全局模型作为水质检测模型，并将水质检测模型下发到所有无人机。然后无人机根据水质检测模型和日常采集到的溶解氧、PH值、叶绿素含量和水库水体表面图像等数据对关键水质指标进行分类，然后收集所有无人机上的检测数据进行多指标综合水质评价和趋势分析。进一步的，所述步骤2)中的焦点损失函数如下：
FL(pt)＝-β(1-pt)γlog(pt)
其中β表示损失缩放参数，γ表示损失聚焦参数，pt表示模型预测预测概率。以二分类为例，pt的表示形式如下：
其中p∈[0，1]表示模型输出对类别标签为y＝1的样本的预测概率。
定义上传的模型梯度为：
其中t表示当前通信轮次，表示无人机k经过E次本地迭代训练所得到的本地模型，wt表示本轮分布式训练之初，从参数服务器接收到的全局模型。
进一步的，所述步骤3)中无人机上的梯度投影异常值和梯度异常值的具体计算步骤如下：
无人机i的梯度投影异常值pi计算公式如下：
其中K表示参与分布式训练的无人机的数量，pi，j表示无人机i与无人机j的梯度投影异常值，pi，j的计算公式如下：
其中表示无人机i的梯度模长，/>表示无人机i的梯度和无人机j的梯度夹角的余弦值。
由上述内容可知，pi越大，梯度异常程度越小，说明当前梯度较优。我们用li表示无人机i的损失值，那么li越小，模型预测值与真实标签越相近，说明模型性能较好。为实现pi与li具有相同单调性，设计用pi与1/li相乘作为对梯度异常值的衡量标准。无人机i的梯度异常值zi计算公式如下：
其中pi代表了更新梯度的质量，li代表了模型的性能。梯度异常值zi与pi和li强相关，使得梯度异常值的衡量标准更加全面。
服务器将异常梯度数组z＝{z1，...，zK}降序排列得到并根据参数λ∈(0，1]选取前/>个梯度异常值所对应的梯度作为主导梯度/>
进一步的，所述步骤4)检测本地梯度与主导梯度与之间是否存在冲突，和根据主导梯度修正方法对该本地梯度进行修正的具体步骤如下：
判断本地梯度与主导梯度与之间是否存在冲突的公式如下：
其中表示无人机i的本地梯度，/>表示一个主导梯度。如果/>和/>的内积小于0则表示/>和/>之间存在梯度冲突。那么使用/>对/>进行梯度调整的具体公式如下：
然后检测当前本地梯度与每个主导梯度是否存在梯度冲突，如果存在，则用与当前本地梯度存在梯度冲突的主导梯度对当前本地梯度进行修正。当所有本地梯度都修正完毕后，参数服务器对修正后的本地梯度进行聚合，具体公式如下：
然后根据聚合后的梯度，得到下一轮的全局模型，公式如下：
wt+1＝wt+gt。
一种无人机集群水库水质检测系统，包括N架带有溶解氧、PH值、悬浮物浓度、叶绿素含量、水温、水库水体表面图像、水库水位图像和水库周边环境图像等数据在内的本地数据集并具有模型训练能力的无人机和一个参数服务器。在本系统中，参数服务器选择部分无人机参与训练，并将全局模型下发至选定的无人机。无人机无需将本地数据发送至服务器，而是基于无人机本地算力和本地数据对接收到的模型执行一定轮次的本地训练，然后将本地模型梯度上传至参数服务器，参数服务器进行全局聚合，形成新的全局模型，如此循环直至全局模型收敛，将最后的全局模型作为水质检测模型。在水质检测模型训练完成之后，将全局模型下发到每架无人机上，然后无人机根据水质检测模型对日常采集到的pH值、溶解氧含量、叶绿素含量水体表面图像数据对水质检测的关键指标进行分类。从而实现实时监测与预警，并且可以收集多架无人机上的检测结果，进一步根据检测结果进行多指标综合评价和趋势分析，为水质管理和保护提供决策支持和科学依据。通过对检测结果的反馈和调整，可以对模型进行定期的优化与改进，以提高模型的准确性和泛化能力，适应不同场景的水质检测需求。
具体来说，在每一轮训练之初，参数服务器随机选择K(0＜K＜N)(其中N为无人机的总数)个无人机参与该轮训练，并将全局模型wt发送给选定的K个无人机。
无人机接收来自参数服务器的全局模型wt，将本地模型初始化为wt，并在本地所拥有的数据集上进行E次本地迭代训练。在每次本地迭代训练过程中，将交叉熵损失函替换为重构后的焦点损失函数，来提高难分类样本对总损失值的贡献度，减小各类样本的训练损失差异。在本地训练结束后将本地梯度/>和本地损失/>上传到参数服务器。
参数服务器在接收到来自无人机的梯度和损失后，计算每个梯度的投影异常值和梯度异常值，其中梯度异常值越大说明梯度异常程度越小。然后将梯度异常值进行降序排列，选择前个梯度作为主导梯度，其中λ∈(0，1]表示主导梯度选取比率。
参数服务器检测主导梯度与本地梯度之间是否存在冲突。如果存在梯度冲突，则根据主导梯度修正方法对该梯度进行修正。最后聚合修正后的本地梯度，更新全局模型。直到全局模型收敛或达到指定的通信轮次。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的面向无人机群水库水质检测的分布式模型训练方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的面向无人机群水库水质检测的分布式模型训练方法的计算机程序。
有益效果：与现有技术相比，本发明提供的面向无人机群水库水质检测的分布式模型训练方法及系统，通过重构焦点损失函数和主导梯度修正技术，分别对本地训练过程中的损失值占比和本地梯度的方向进行了修正。重构后的焦点损失函数根据损失缩放因子和损失聚焦因子，提高少数类样本对损失函数的贡献度，从而均衡各类样本在总损失值中的占比，缓解本地模型对各类样本识别性能的差异，为全局模型提供高质量本地更新梯度。主导梯度修正方法利用优质的主导梯度检测并修正存在冲突的无人机模型梯度，从而避免在全局聚合阶段发生模型梯度冲突，提高全局模型的精度。本发明缓解了在无人机之间数据为异质数据时的梯度冲突问题，减轻了水质检测模型的本地偏好性，提升了水质检测模型的精度，可以更快地找到污染源头，从而减少治理的成本和时间，提高水质管理效率和水质治理效果。
附图说明
图1为具体实施例的系统应用场景；
图2为具体实施例的方法流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
面向无人机群水库水质检测的分布式模型训练方法及系统，通过焦点损失函数和主导梯度修正技术，分别对分布式学习的本地训练阶段和全局聚合阶段进行了损失修正和梯度修正，平衡各类别样本在总损失值中的占比，缓解本地模型梯度间的冲突，最终提高水质检测模型的精度,有助于及早发现水质问题，避免水质问题扩大和加剧，保障水质安全。
图1为本实施例的无人机集群分布式模型训练应用场景。
无人机集群水库水质检测系统中有N个无人机，各个无人机使用自己的本地数据训练模型，产生用于模型更新的梯度；使用主导梯度修正方法，平衡各类样本在本地损失中的占比，减少模型梯度的偏好性，并在全局聚合阶段调整本地梯度，减少梯度之间的冲突，提高水质模型精度，从而更快地找到污染源头，从而减少治理的成本和时间。
面向无人机群水库水质检测的分布式模型训练方法，包括以下步骤：
步骤1)在每一轮分布式训练之初，参数服务器随机选择K(0＜K＜N)(其中N为无人机的总数)个无人机参与该轮训练，并将全局模型wt发送给选定的K个无人机。
步骤2)无人机接收来自参数服务器的全局模型wt，将本地模型初始化为wt，并在本地所拥有的数据集上进行E次本地迭代训练。在每次本地迭代训练过程中，将交叉熵损失函替换为重构后的焦点损失函数，来提高难分类样本对总损失值的贡献度，减小各类样本的训练损失差异。在本地训练结束后将本地梯度/>和本地损失/>上传到参数服务器。
焦点损失函数如下：
FL(pt)＝-β(1-pt)γlog(Pt)
其中β表示损失缩放参数，γ表示损失聚焦参数，pt表示模型预测预测概率。以二分类为例，pt的表示形式如下：
其中p∈[0，1]表示模型输出对类别标签为y＝1的样本的预测概率。
定义上传的模型梯度为：
其中t表示当前通信轮次，表示无人机k经过E次本地迭代训练所得到的本地模型，wt表示本轮分布式训练之初，从参数服务器接收到的全局模型。
步骤3)参数服务器在接收到来自无人机的梯度和损失后，计算每个梯度的投影异常值和梯度异常值，其中梯度异常值越大说明梯度异常程度越小。然后将梯度异常值进行降序排列，选择前个梯度作为主导梯度，其中λ∈(0，1]表示主导梯度选取比率。
无人机上的梯度投影异常值和梯度异常值的具体计算步骤如下：
无人机i的梯度投影异常值pi计算公式如下：
其中K表示参与分布式训练的无人机的数量，pi，j表示无人机i与无人机j的梯度投影异常值，pi，j的计算公式如下：
其中表示无人机i的梯度模长，/>表示无人机i的梯度和无人机j的梯度夹角的余弦值。
由上述内容可知，pi越大，梯度异常程度越小，说明当前梯度较优。我们用li表示无人机i的损失值，那么li越小，模型预测值与真实标签越相近，说明模型性能较好。为实现pi与li具有相同单调性，设计用pi与1/li相乘作为对梯度异常值的衡量标准。无人机i的梯度异常值zi计算公式如下：
其中pi代表了更新梯度的质量，li代表了模型的性能。梯度异常值zi与pi和li强相关，使得梯度异常值的衡量标准更加全面。
服务器将异常梯度数组z＝{z1，...，zK}降序排列得到并根据参数λ∈(0，1]选取前/>个梯度异常值所对应的梯度作为主导梯度/>
步骤4)参数服务器检测主导梯度与本地梯度之间是否存在冲突。如果存在梯度冲突，则根据主导梯度修正方法对该梯度进行修正。最后聚合修正后的本地梯度，更新全局模型。然后重复步骤1)-4)直到模型收敛或达到指定的通信轮次。
检测本地梯度与主导梯度与之间是否存在冲突，和根据主导梯度修正方法对该本地梯度进行修正的具体步骤如下：
判断本地梯度与主导梯度与之间是否存在冲突的公式如下：
其中表示无人机i的本地梯度，/>表示一个主导梯度。如果/>和/>的内积小于0则表示/>和/>之间存在梯度冲突。那么使用/>对/>进行梯度调整的具体公式如下：
然后检测当前本地梯度与每个主导梯度是否存在梯度冲突，如果存在，则用该主导梯度对当前本地梯度进行修正。当所有本地梯度都修正完毕后，参数服务器对修正后的本地梯度进行聚合，具体公式如下：
然后根据聚合后的梯度，得到下一轮的全局模型，公式如下：
wt+1＝wt+gt。
一种无人机集群水库水质检测系统，包括N架带有本地数据集并具有模型训练能力的无人机和一个参数服务器。
在每一轮训练之初，参数服务器随机选择K(0＜K＜N)(其中N为无人机的总数)个无人机参与该轮训练，并将全局模型wt发送给选定的K个无人机。
无人机接收来自参数服务器的全局模型ωt，将本地模型初始化为wt，并在本地所拥有的数据集上进行E次本地迭代训练。在每次本地迭代训练过程中，将交叉熵损失函替换为重构后的焦点损失函数，来提高难分类样本对总损失值的贡献度，减小各类样本的训练损失差异。在本地训练结束后将本地梯度/>和本地损失/>上传到参数服务器。
参数服务器在接收到来自无人机的梯度和损失后，计算每个梯度的投影异常值和梯度异常值，其中梯度异常值越大说明梯度异常程度越小。然后将梯度异常值进行降序排列，选择前个梯度作为主导梯度，其中λ∈(0，1]表示主导梯度选取比率。
参数服务器检测主导梯度与本地梯度之间是否存在冲突。如果存在梯度冲突，则根据主导梯度修正方法对该梯度进行修正。最后聚合修正后的本地梯度，更新全局模型。直到全局模型收敛或达到指定的通信轮次。
显然，本领域的技术人员应该明白，上述的本发明实施例的面向无人机群水库水质检测的分布式模型训练方法及系统可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
Claims (7)
1.一种面向无人机群水库水质检测的分布式模型训练方法，其特征在于，包括以下步骤：
1)无人机集群水库水质检测系统由N架带有本地数据集并具有模型训练能力的无人机和一个参数服务器组成；在每一轮训练之初，参数服务器随机选择K(0＜K＜N)个无人机参与该轮训练，并将全局模型wt发送给选定的K个无人机，其中N为无人机的总数；
2)无人机接收来自参数服务器的全局模型wt，将本地模型初始化为wt，并在本地所拥有的数据集上进行E次本地迭代训练；在每次本地迭代训练过程中，将交叉熵损失函替换为重构后的焦点损失函数；在本地训练结束后将本地梯度/>和本地损失/>上传到参数服务器；
3)参数服务器在接收到来自无人机的梯度和损失后，计算每个梯度的投影异常值和梯度异常值，其中梯度异常值越大说明梯度异常程度越小；然后将梯度异常值进行降序排列，选择前个梯度作为主导梯度，其中λ∈(0，1]表示主导梯度选取比率；
4)参数服务器检测主导梯度与本地梯度之间是否存在冲突。如果存在梯度冲突，则根据主导梯度修正方法对该梯度进行修正；最后聚合修正后的本地梯度，更新全局模型；然后重复步骤1)-4)直到全局模型收敛或达到指定的通信轮次。
2.根据权利要求1所述的面向无人机群水库水质检测的分布式模型训练方法，其特征在于，所述步骤2)中的焦点损失函数如下：
FL(pt)＝-β(1-pt)γlog(pt)
其中β表示损失缩放参数，γ表示损失聚焦参数，pt表示模型预测预测概率，对于二分类，pt的表示形式如下：
其中p∈[0，1]表示模型输出对类别标签为y＝1的样本的预测概率；
定义上传的模型梯度为：
其中t表示当前通信轮次，表示无人机k经过E次本地迭代训练所得到的本地模型，wt表示本轮分布式训练之初，从参数服务器接收到的全局模型。
3.根据权利要求1所述的面向无人机群水库水质检测的分布式模型训练方法，其特征在于，所述步骤3)中无人机上的梯度投影异常值和梯度异常值的具体计算步骤如下：
无人机i的梯度投影异常值pi计算公式如下：
其中K表示参与分布式训练的无人机的数量，pi，j表示无人机i与无人机j的梯度投影异常值，pi，j的计算公式如下：
其中表示无人机i的梯度模长，/>表示无人机i的梯度和无人机j的梯度夹角的余弦值；
pi越大，梯度异常程度越小，说明当前梯度较优；用li表示无人机i的损失值，那么li越小，模型预测值与真实标签越相近，说明模型性能较好；为实现pi与li具有相同单调性，设计用pi与1/li相乘作为对梯度异常值的衡量标准；无人机i的梯度异常值zi计算公式如下：
其中pi代表了更新梯度的质量，li代表了模型的性能；
服务器将异常梯度数组z＝{z1，...，zK}降序排列得到并根据参数λ∈(0，1]选取前/>个梯度异常值所对应的梯度作为主导梯度/>
4.根据权利要求1所述的面向无人机群水库水质检测的分布式模型训练方法，其特征在于，所述步骤4)检测本地梯度与主导梯度与之间是否存在冲突，和根据主导梯度修正方法对该本地梯度进行修正的具体步骤如下：
判断本地梯度与主导梯度与之间是否存在冲突的公式如下：
其中表示无人机i的本地梯度，/>表示一个主导梯度；如果/>和/>的内积小于0则表示/>和/>之间存在梯度冲突；那么使用/>对/>进行梯度调整的具体公式如下：
然后检测当前本地梯度与每个主导梯度是否存在梯度冲突，如果存在，则用与当前本地梯度存在梯度冲突的主导梯度对当前本地梯度进行修正；当所有本地梯度都修正完毕后，参数服务器对修正后的本地梯度进行聚合，具体公式如下：
然后根据聚合后的梯度，得到下一轮的全局模型，公式如下：
wt+1＝wt+gt。
5.一种无人机集群水库水质检测系统，其特征在于，包括N架带有本地数据集并具有模型训练能力的无人机和一个参数服务器；
在每一轮训练之初，参数服务器随机选择K(0＜K＜N)个无人机参与该轮训练，并将全局模型wt发送给选定的K个无人机，N为无人机的总数；
无人机接收来自参数服务器的全局模型wt，将本地模型初始化为wt，并在本地所拥有的数据集上进行E次本地迭代训练；在每次本地迭代训练过程中，将交叉熵损失函替换为重构后的焦点损失函数；在本地训练结束后将本地梯度/>和本地损失/>上传到参数服务器；
参数服务器在接收到来自无人机的梯度和损失后，计算每个梯度的投影异常值和梯度异常值，其中梯度异常值越大说明梯度异常程度越小；然后将梯度异常值进行降序排列，选择前个梯度作为主导梯度，其中λ∈(0，1]表示主导梯度选取比率；
参数服务器检测主导梯度与本地梯度之间是否存在冲突；如果存在梯度冲突，则根据主导梯度修正方法对该梯度进行修正；最后聚合修正后的本地梯度，更新全局模型；直到全局模型收敛或达到指定的通信轮次。
6.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-4中任一项所述的面向无人机群水库水质检测的分布式模型训练方法。
7.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-4中任一项所述的面向无人机群水库水质检测的分布式模型训练方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310735109.9A CN116610958A (zh) | 2023-06-20 | 2023-06-20 | 面向无人机群水库水质检测的分布式模型训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310735109.9A CN116610958A (zh) | 2023-06-20 | 2023-06-20 | 面向无人机群水库水质检测的分布式模型训练方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116610958A true CN116610958A (zh) | 2023-08-18 |
Family
ID=87678307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310735109.9A Pending CN116610958A (zh) | 2023-06-20 | 2023-06-20 | 面向无人机群水库水质检测的分布式模型训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610958A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117596592A (zh) * | 2023-12-01 | 2024-02-23 | 广西大学 | 一种基于区块链的无人机联邦学习的梯度选择方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021169577A1 (zh) * | 2020-02-27 | 2021-09-02 | 山东大学 | 一种基于加权联邦学习的无线业务流量预测方法 |
| CN113868497A (zh) * | 2021-09-28 | 2021-12-31 | 绿盟科技集团股份有限公司 | 一种数据分类方法、装置和存储介质 |
| CN114140238A (zh) * | 2021-12-02 | 2022-03-04 | 中国工商银行股份有限公司 | 异常交易数据识别方法、装置、计算机设备和存储介质 |
| CN114781545A (zh) * | 2022-05-10 | 2022-07-22 | 重庆大学 | 一种联邦学习方法及系统 |
| WO2022193432A1 (zh) * | 2021-03-17 | 2022-09-22 | 深圳前海微众银行股份有限公司 | 模型参数更新方法、装置、设备、存储介质及程序产品 |
| CN115410103A (zh) * | 2022-09-01 | 2022-11-29 | 河海大学 | 一种基于联邦学习的大坝缺陷识别模型快速收敛方法 |
| EP4113394A2 (en) * | 2021-11-18 | 2023-01-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Federated learning method, apparatus and system, electronic device, and storage medium |
| CN116128108A (zh) * | 2022-12-13 | 2023-05-16 | 陕西科技大学 | 一种交通事故严重程度预测方法、系统及计算机存储介质 |
-
2023
- 2023-06-20 CN CN202310735109.9A patent/CN116610958A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021169577A1 (zh) * | 2020-02-27 | 2021-09-02 | 山东大学 | 一种基于加权联邦学习的无线业务流量预测方法 |
| WO2022193432A1 (zh) * | 2021-03-17 | 2022-09-22 | 深圳前海微众银行股份有限公司 | 模型参数更新方法、装置、设备、存储介质及程序产品 |
| CN113868497A (zh) * | 2021-09-28 | 2021-12-31 | 绿盟科技集团股份有限公司 | 一种数据分类方法、装置和存储介质 |
| EP4113394A2 (en) * | 2021-11-18 | 2023-01-04 | Beijing Baidu Netcom Science Technology Co., Ltd. | Federated learning method, apparatus and system, electronic device, and storage medium |
| CN114140238A (zh) * | 2021-12-02 | 2022-03-04 | 中国工商银行股份有限公司 | 异常交易数据识别方法、装置、计算机设备和存储介质 |
| CN114781545A (zh) * | 2022-05-10 | 2022-07-22 | 重庆大学 | 一种联邦学习方法及系统 |
| CN115410103A (zh) * | 2022-09-01 | 2022-11-29 | 河海大学 | 一种基于联邦学习的大坝缺陷识别模型快速收敛方法 |
| CN116128108A (zh) * | 2022-12-13 | 2023-05-16 | 陕西科技大学 | 一种交通事故严重程度预测方法、系统及计算机存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| MEILU ZHU 等: "FedDM: Federated Weakly Supervised Segmentation via Annotation Calibration and Gradient De-Conflicting", 《 IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 42, no. 6, 10 January 2023 (2023-01-10), pages 1632 - 1643, XP011941752, DOI: 10.1109/TMI.2023.3235757 * |
| 杨海龙 等: "基于优化损失函数的YOLOv2目标检测器", 《辽宁科技大学学报》, no. 01, 15 February 2020 (2020-02-15), pages 56 - 61 * |
| 胡诗苑 等: "基于异常值识别的计量小区短期需水量预测", 《哈尔滨工业大学学报》, vol. 54, no. 8, 31 August 2022 (2022-08-31), pages 43 - 51 * |
| 芈小龙 等: "面向深度学习的差分隐私保护方法", 《舰船电子工程》, no. 09, 20 September 2020 (2020-09-20), pages 104 - 106 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117596592A (zh) * | 2023-12-01 | 2024-02-23 | 广西大学 | 一种基于区块链的无人机联邦学习的梯度选择方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10535141B2 (en) | Differentiable jaccard loss approximation for training an artificial neural network | |
| Rijal et al. | Ensemble of deep neural networks for estimating particulate matter from images | |
| CN107330731B (zh) | 一种识别广告位点击异常的方法和装置 | |
| US20180285771A1 (en) | Efficient machine learning method | |
| US20220083797A1 (en) | Method for recognizing object in image | |
| CN110968426B (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
| CN109726195B (zh) | 一种数据增强方法及装置 | |
| CN116610958A (zh) | 面向无人机群水库水质检测的分布式模型训练方法及系统 | |
| CN114863092A (zh) | 一种基于知识蒸馏的联邦目标检测方法及系统 | |
| CN117041019A (zh) | 内容分发网络cdn的日志分析方法、装置及存储介质 | |
| CN115714674A (zh) | 一种针对云网络资源状态的异常检测方法及系统 | |
| CN111507396B (zh) | 缓解神经网络对未知类样本产生错误分类的方法及装置 | |
| WO2021169478A1 (zh) | 神经网络模型的融合训练方法及装置 | |
| CN117829307A (zh) | 一种面向数据异构性的联邦学习方法及系统 | |
| CN116415714A (zh) | 风电功率预测方法、装置、电子设备及可读存储介质 | |
| Jayageetha et al. | Medical image quality assessment using CSO based deep neural network | |
| CN112183631B (zh) | 一种意图分类模型建立的方法和终端 | |
| Yang et al. | A novel adaptive gradient compression approach for communication-efficient Federated Learning | |
| CN114139782A (zh) | 交通预测方法、装置、设备及计算机可读存储介质 | |
| CN108009686B (zh) | 一种光伏发电功率预测方法、装置及系统 | |
| CN113590720A (zh) | 数据分类方法、装置、计算机设备和存储介质 | |
| Połap et al. | Meta-heuristic algorithm as feature selector for convolutional neural networks | |
| CN110728217A (zh) | Sar图像识别方法、装置、设备和存储介质 | |
| Li et al. | A self-adjusting transformer network for detecting transmission line defects | |
| CN115277555B (zh) | 异构环境的网络流量分类方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |