CN115525038A - 一种基于联邦分层优化学习的设备故障诊断方法 - Google Patents
一种基于联邦分层优化学习的设备故障诊断方法 Download PDFInfo
- Publication number
- CN115525038A CN115525038A CN202211319431.5A CN202211319431A CN115525038A CN 115525038 A CN115525038 A CN 115525038A CN 202211319431 A CN202211319431 A CN 202211319431A CN 115525038 A CN115525038 A CN 115525038A
- Authority
- CN
- China
- Prior art keywords
- local
- layer
- model
- training
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 109
- 238000004220 aggregation Methods 0.000 claims abstract description 86
- 230000002776 aggregation Effects 0.000 claims abstract description 86
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000006116 polymerization reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010892 electric spark Methods 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于联邦分层优化学习的设备故障诊断方法，包括下述步骤：S1：对工厂客户端进行分层初始化，根据训练速度划分不同的层；S2.对工厂设备数据进行去噪、归一化等预处理；S3.在工厂客户端中建立故障诊断模型，进行本地个性化更新训练，计算每层工厂客户端权值；S4.中心服务端利用迭代阈值的局部聚合模型，动态控制各层迭代，并根据权值进行局部加权聚合生成层局部模型；S5.中心服务端计算局部模型权重完成中心聚合，生成新参数下发至工厂客户端，直至完成所有迭代。本发明针对工业设备数据质量与训练效率差异性问题，能够提升故障诊断准确率与训练效率，具有良好的鲁棒性，满足多工厂高效设备故障诊断的工业需求。
Description
技术领域
本发明涉及工业设备故障诊断及联邦学习技术领域，具体涉及一种基于联邦分层优化学习的设备故障诊断方法。
背景技术
随着工业设备日趋大型化、复杂化，其故障诊断越来越重要。与此同时，工业物联网技术的发展使得基于数据驱动的设备故障诊断方法得到广泛研究，比如神经网络、支持向量机、贝叶斯和决策树等，上述方法虽然取得了较好的研究效果，但是其训练性能依赖于数据质量与数量。而工业领域中，单一工厂数据量较小，难以涵盖全部故障类型，使得故障数据受到局限。为进一步提升故障诊断精度，需要对不同工厂的多源数据进行融合，但是企业间由于数据隐私和安全要求无法共享数据，因此如何在保护数据隐私的前提下解决多工厂模式的故障诊断十分重要。
联邦学习由谷歌首次提出，使用局部数据收集和最小化原则，降低传统中心化机器学习方法带来的系统性隐私风险和成本，有效解决分布式训练数据隐私问题，并在诸多领域中得到研究与应用。在金融领域，例如文章[Zheng等.Federated Meta-Learning forFraudulent Credit Card Detection.[C],IJCAI 2020.2020:4654-4660]提出基于联邦元学习改进的tripletlike 度量学习欺诈信用卡检测方法，实现不同银行间联合高效的多源数据交互。在工业领域中，例如文章[Li等，Deep Learning-Based Partial DomainAdaptation Method on Intelligent Machinery Fault Diagnostics.[J].IEEETrans.Ind.Electron., 2021,68(5):4351-4361]针对工业设备数据隐私性与强时序性问题，提出一种设备深度异常检测方法，优化联邦学习对于工业时序数据的诊断性能并具有良好的泛化性；例如文章[Geng等.Bearing fault diagnosis based on improvedfederated learning algorithm[J].Computing,2022,104(1):1-19]针对设备数据质量问题提出一种用于轴承故障诊断的联邦学习算法FA-FedAvg，提高本地模型训练质量，加速模型收敛，在不同类别和数据量下具有良好的鲁棒性。
上述研究都取得了较好效果，但实际工业应用中，不同工厂设备资源与数据存在异构性，影响联合故障诊训练效率与准确率。目前，针对联邦学习异构性问题的研究主要分为设备资源异构和数据异构两方面。针对设备资源异构问题，例如文章[Nishio等.Clientselection for federated learning with heterogeneous resources in mobile edge.[C].In ICC 2019-2019 IEEE International Conference on Communications(ICC),pages 1-7,2019]提出一种基于边缘计算的FedCS协议，根据设备资源进行客户端选择，具有良好的通信效率和收敛速度；例如文章[Liu等. No One Left Behind:InclusiveFederated Learning over Heterogeneous Devices.[C].KDD’22:The 28th ACM SIGKDDConference on Knowledge Discovery and Data Mining,Washington,DC,USA,August14-18,2022.2022:3398-3406]提出InclusiveFL框架，为不同计算能力的客户端分配不同复杂度的模型，利用知识蒸馏策略进行异构客户端间的知识共享，能够有效提升联邦学习训练性能。针对数据异构问题，例如文章[贺文晨等.基于DRL的联邦学习节点选择方法[J].通信学报,2021,42(06):62-71]提出基于深度强化学习的联邦学习节点选择方法，高效调度终端设备完成模型聚合，优化模型准确率与训练时延；例如文章[Yoshida 等.Hybrid-FLfor Wireless Networks:Cooperative Learning Mechanism Using Non-IID Data[C].ICC 2020-2020 IEEE International Conference on Communications.IEEE,2020,1-7]针对非独立同分布数据提出混合联邦学习机制，通过启发式算法增加聚合数据量，提升联邦学习模型准确率。上述方法有效提升了异构环境中传统联邦学习的训练性能。但是，在设备故障诊断领域中，上述方法忽略了不同工厂故障数据质量差异与本地训练效率差异问题。首先，实际工业生产中故障数据标注困难，故障特征难以提取，导致不同工厂数据质量存在更多差异性，影响联合故障诊断准确率；其次，不同工厂由于工况和计算资源差异性较大，导致本地训练效率不同，造成联合诊断聚合延迟问题。
发明内容
针对以上问题，提出一种基于联邦分层优化学习的设备故障诊断方法，该方法能够在多工厂模式下进行高效的设备故障诊断，提升多工厂联合诊断的训练效率与准确率，并具有良好的鲁棒性。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于联邦分层优化学习的设备故障诊断方法，包括下述步骤：
S1：分层初始化：将所有工厂客户端进行分层初始化处理，根据训练速度划分为不同的工厂客户端层；
S2：数据处理：所有工厂客户端对设备数据进行采集、去噪、归一化等预处理，并划分训练集与测试集；
S3：客户端本地个性化训练：在工厂客户端中建立卷积神经网络故障诊断模型，由卷积层、最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成。利用故障诊断模型对预处理后的数据进行本地个性化更新训练，并计算每层中工厂客户端的权值；
S4：各层局部聚合：中心服务端利用迭代阈值的局部聚合模型，对每层的训练次数进行动态控制，当达到迭代阈值时，本轮迭代停止，各层将本地参数上传至中心服务端，并根据权值进行局部加权聚合生成层局部模型；
S5：中心模型参数聚合：中心服务端计算层局部模型权重完成中心聚合，生成新一轮的参数下发至工厂客户端；
进一步的，所述步骤S1中，对所有客户端进行分层初始化：根据训练速度将所有客户端划分为层{tier1,tier2,…,tierm}，m表示划分层数，其中下标越大的层，训练速度越慢；
进一步的，所述步骤S3中，工厂客户端利用本地个性更新选择算法进行本地故障诊断，包括以下步骤：
1-3)设置卷积神经网络作为故障诊断训练模型，由1×3卷积层、1×3最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成。
1-4)多工厂联合训练过程中，故障诊断模型的训练目标为：
其中，参与训练的工厂客户端总量为N，Fk(w)表示客户端k的本地优化目标，
表示客户端k经过数据处理后的本地数据集，i表示客户端k中每条数据，nk表示数据集大小，
为其损失函数，w表示其本地模型参数，n表示此轮数据集总量。
1-3)在工厂客户端本地更新过程中，本地个性更新选择算法通过加入偏移程度约束函数，修正本地模型更新方向，使其更接近于中心模型，修正后的本地优化目标为：
其中，λ为超参数，
为上一轮全局模型参数，nk表示客户端k数据集大小，
为其损失函数，w表示此轮本地模型参数，n表示此轮数据集总量。
1-4)在客户端参数上传过程中，将本地训练结果作为指标，计算本次迭代的工厂客户端权值，并选择诊断准确率与偏移距离较好的工厂客户参与层局部模型聚合，提升优质客户端参与度与联合诊断准确率。工厂客户端局部聚合权重为：
其中
表示工厂客户端k在第r轮全局迭代中的训练准确率，
表示全局模型参数
和工厂本地参数
余弦相似度，用于衡量本地模型的偏移程度，如下式所示：
进一步的，所述步骤S4中，采用基于迭代阈值的局部聚合模型，减少不同工厂工况、计算资源、数据量差异环境下的中心聚合延迟等待问题，提升联合故障诊断效率，包括以下步骤：
2-1)基于迭代阈值的局部聚合模型分为基于阈值动态迭代算法与局部模型加权聚合算法两部分。
2-2)基于阈值动态迭代算法执行过程中，首先假设中心模型迭代次数为N，经过分层处理后的工厂客户端分为层{tier1,tier2,…,tierm}，m表示划分层数，其中下标越大的层，训练速度越慢。
2-3)为最慢层tierm设置此轮训练最小迭代次数L、最大迭代次数H与诊断精度差阈值μ。当tierm层的迭代次数等于最大迭代次数或者精度差达到阈值则通知中心服务端此轮迭代停止，迭代停止阈值满足条件为：
其中，Tr代表此轮统一停止迭代时间，
表示tierm层第r轮的迭代次数，
表示tierm层第r轮的诊断准确率。
2-4)局部模型加权聚合算法执行过程中，首先根据工厂客户端本地参数进行各层局部聚合，然后计算层局部模型聚合权重，最后完成中心模型聚合。层局部聚合表示为：
其中，tierm代表划分的不同层级，共有m层，各层的局部模型表示为
为各层所选择的参与聚合的工厂客户端数量，
为该层参与聚合所有工厂客户端样本数量总和，
为经过本地个性更新选择方法模型客户端本地参数，ni为工厂本地样本数量。
2-5)最后进行中心聚合，中心模型聚合表示为：
其中，m表示客户端层总层数，i表示其中一层编号，
表示根据迭代轮次
确定的tieri层局部模型权重，控制层模型权重平衡迭代次数差异，减少因层模型迭代轮次不同对中心聚合偏移的影响。
表示根据各层模型训练的平均精度
确定的tieri层聚合权重，提升训练质量较高的层局部模型参数所占权重，进一步提升中心模型诊断准确率。
与
进行归一化处理后分别表示为：
其中，m表示客户端层总层数，i和j表示其中一层编号，
表示tierj层迭代次数，
表示tierj层平均诊断精度。
2-6)中心服务端完成中心聚合后，得到本轮的全局模型参数，下发至各层的工厂客户端，进行下一轮的迭代训练。
采用上述技术方案所产生的有益效果在于：
本发明提出的一种基于联邦分层优化学习的设备故障诊断方法(EquipmentFault Diagnosis Method Based On Federated Hierarchical Optimization Learning，FD-FHOL)，针对工业设备数据质量差异性与不同工厂本地训练效率差异导致联合诊断聚合延迟的问题，本发明基于本地个性更新选择方式进行本地更新，并通过局部聚合与动态迭代控制联合故障诊断迭代过程，通过这两个方面进行改进。本发明通过个性化更新修正工厂本地模型偏移程度，动态调整设备权值，能够有效筛选恶意数据，减少数据质量差异性的影响，提升联合故障诊断准确率与鲁棒性；本发明通过基于迭代阈值的局部聚合模型，动态迭代减少中心聚合次数与延迟时间，利用局部模型加权聚合减少模型偏移，减少中心聚合延迟问题，进而提升联合训练效率。
本发明在数据差异性环境下，与传统的联邦学习与分层方法相比：(1)由于传统联邦学习的平均聚合算法忽略工厂客户端本地更新偏移问题导致诊断准确率降低，本发明中本地个性更新算法通过减少本地偏移同时增加工厂客户端本地训练效果作为聚合权重，进一步提升诊断准确率；(2)传统联邦学习利用随机选择客户端方式导致聚合延迟问题更加严重，本发明基于阈值迭代的局部聚合模型通过局部聚合与动态迭代的方式，动态分配迭代次数，减少整体训练时间，有效提升训练效率；(3)普通分层算法通过工厂客户端分层方式能够减少聚合延迟问题，但是未对数据质量差异性较大情况下的工厂客户端进行筛选，进而导致恶意数据节点参与中心聚合的概率增加，导致诊断准确率低，本发明的本地更新选择算法过程中通过计算权重进一步筛选优质客户端参与局部聚合，能够减少数据质量差异与恶意数据的影响，在数据质量差异较大时能够保持良好的训练准确率与鲁棒性。
将本发明提出的方法应用于美国西储大学故障轴承数据集，通过试验分析，验证了提出的基于联邦分层优化学习的设备故障诊断方法具有较高的准确率、训练效率与鲁棒性。通过对比模拟不同数据量、不同计算资源、不同数据质量情况下本算法与FedAvg、TiFL的性能，在不同的客户端抽样比例下，本发明所提出方法的联合故障诊断准确率度与训练效率比其他两种方法均有明显的提升，除此之外，本发明能够减少数据质量差异与恶意数据的影响，在数据质量差异较大时能够保持良好的训练准确率与鲁棒性。进一步验证了本发明提出的方法具有良好的训练效率和准确率，并在数据质量差异性情况下仍能进行高效健壮的故障诊断。
附图说明
图1是基于联邦分层优化学习的设备故障诊断方法架构图；
图2基于迭代阈值的局部聚合模型图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的说明。
本发明以工业设备故障诊断及联邦学习架构为载体，以本地个性更新算法和基于阈值迭代的局部聚合模型作为主要的算法框架，其模型如图1所示，包括下述步骤：
S1：分层初始化：将所有工厂客户端进行分层初始化处理，根据训练速度将所有客户端划分为层{tier1,tier2,…,tierm}，m表示划分层数，其中下标越大的层，训练速度越慢；
S2：数据处理：所有工厂客户端对设备数据进行采集、去噪、归一化等预处理，并划分训练集与测试集；
S3：客户端本地个性化训练：在工厂客户端中建立卷积神经网络故障诊断模型，由卷积层、最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成。利用故障诊断模型对预处理后的数据进行本地个性化更新训练，并计算每层中工厂客户端的权值，包括以下步骤：
1-1)设置卷积神经网络作为故障诊断训练模型，由1×3卷积层、1×3最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成。
1-2)多工厂联合训练过程中，故障诊断模型的训练目标为：
其中，参与训练的工厂客户端总量为N，Fk(w)表示客户端k的本地优化目标，
表示客户端k经过数据处理后的本地数据集，i表示客户端k中每条数据，nk表示数据集大小，
为其损失函数，w表示其本地模型参数，n表示此轮数据集总量。
1-3)在工厂客户端本地更新过程中，本地个性更新选择算法通过加入偏移程度约束函数，修正本地模型更新方向，使其更接近于中心模型，修正后的本地优化目标为：
其中，λ为超参数，
为上一轮全局模型参数，nk表示客户端k数据集大小，
为其损失函数，w表示此轮本地模型参数，n表示此轮数据集总量。
1-4)在客户端参数上传过程中，将本地训练结果作为指标，计算本次迭代的工厂客户端权值，并选择诊断准确率与偏移距离较好的工厂客户参与层局部模型聚合，提升优质客户端参与度与联合诊断准确率。工厂客户端局部聚合权重为：
其中
表示工厂客户端k在第r轮全局迭代中的训练准确率，
表示全局模型参数
和工厂本地参数
余弦相似度，用于衡量本地模型的偏移程度，如下式所示：
S4：各层局部聚合：中心服务端利用迭代阈值的局部聚合模型，对每层的训练次数进行动态控制，当达到迭代阈值时，本轮迭代停止，各层将本地参数上传至中心服务端，并根据权值进行局部加权聚合生成层局部模型，包括以下步骤：
2-1)基于迭代阈值的局部聚合模型分为基于阈值动态迭代算法与局部模型加权聚合算法两部分。
2-2)基于阈值动态迭代算法执行过程中，首先假设中心模型迭代次数为N，经过分层处理后的工厂客户端分为层{tier1,tier2,…,tierm}，m表示划分层数，其中下标越大的层，训练速度越慢。
2-3)为最慢层tierm设置此轮训练最小迭代次数L、最大迭代次数H与诊断精度差阈值μ。当tierm层的迭代次数等于最大迭代次数或者精度差达到阈值则通知中心服务端此轮迭代停止，迭代停止阈值满足条件为：
其中，Tr代表此轮统一停止迭代时间，
表示tierm层第r轮的迭代次数，
表示tierm层第r轮的诊断准确率。
2-4)局部模型加权聚合算法执行过程中，首先根据工厂客户端本地参数进行各层局部聚合，然后计算层局部模型聚合权重，最后完成中心模型聚合。层局部聚合表示为：
其中，各层的局部模型表示为
为各层所选择的参与聚合的工厂客户端数量，
为该层参与聚合所有工厂客户端样本数量总和，
为经过本地个性更新选择方法模型客户端本地参数，ni为工厂本地样本数量。
2-5)最后进行中心聚合，中心模型聚合表示为：
其中，m表示客户端层总层数，i表示其中一层编号，
表示根据迭代轮次
确定的tieri层局部模型权重，控制层模型权重平衡迭代次数差异，减少因层模型迭代轮次不同对中心聚合偏移的影响。
表示根据各层模型训练的平均精度
确定的tieri层聚合权重，提升训练质量较高的层局部模型参数所占权重，进一步提升中心模型诊断准确率。
与
进行归一化处理后分别表示为：
其中，m表示客户端层总层数，i和j表示其中一层编号，
表示tierj层迭代次数，
表示tierj层平均诊断精度。
S5：中心模型参数聚合：中心服务端生成新一轮的参数下发至工厂客户端；
基于上述步骤，本发明有效解决工业设备数据质量差异性问题与不同工厂本地训练效率差异导致联合诊断聚合延迟的问题，提出一种基于联邦分层优化学习的设备故障诊断方法。首先，针对工业设备数据质量差异性问题，提出本地个性更新选择算法，通过个性化更新修正工厂本地模型偏移程度，动态调整设备权值，能够有效筛选恶意数据，提升联合故障诊断准确率与鲁棒性。其次，针对不同工厂本地训练效率差异导致联合诊断聚合延迟问题，提出基于迭代阈值的局部聚合模型，通过动态迭代减少中心聚合次数与延迟时间，利用局部模型加权聚合减少模型偏移，进而提升联合训练效率。
本发明基于联邦分层优化学习的设备故障诊断方法方法的试验验证：
1、试验环境
本发明搭建的试验平台主要在MacOS操作系统上进行，设备的配置信息：CPU1.4GHZ，运行内存16.0GB，使用编程语言Python3.6，采用TensorFlow、Keras 框架进行试验。
2、试验验证
在凯斯西储大学轴承数据集上的实验结果与分析
(1)数据集描述
实验数据来源于美国凯斯西储大学(CWRU)电气工程实验室的轴承故障诊断数据集。轴承通过电火花加工技术在轴承上对内圈、外圈和滚动体布置了3种故障等级的单点故障，故障直径分别为0.007、0.014、0.021英寸。
实验数据集如表1所示，本实验选取采样频率为12kHZ状态下，驱动端在负载为0HP，1HP，2HP，3HP时的数据进行仿真实验，划分为10类故障类型，每种类型包含20000条数据，每条数据采样长度为2048个数据点。将数据集打乱后按照7:3比例划分数据集与测试集，按照预设数据量对实验数据集进行随机采样模拟客户端的本地数据集。
实验设置客户端总数为50，根据训练速度将客户端根据分为5层，每层10 个客户端，层编号为{tier1,tier2,…,tier5}，训练时长逐层增加。
实验中使用卷积神经网络作为训练模型，由1×3的卷积层、1×3最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成。
表1实验数据集描述
(2)对比实验结果分析
为验证FD-FHOL训练性能，通过模拟各工厂不同数据量与不同计算资源环境进行对比实验，选择FedAvg、TiFL算法作为对比算法，设置Epoch＝40，对比不同客户端抽样比例下的训练准确率、训练时间，实验结果如表2，3所示。其中表2表示模拟各层数据量差异的对比实验结果，设置不同层的工厂数据量从 1000至6000逐层递增。实验结果如表2所示。
表2不同数据量训练性能对比影响分析表
通过表2可知，在不同客户端抽样比例情况下，本发明FD-FHOL方法和TiFL 方法的训练准确率均高于FedAvg方法，在低抽样比例2％、4％中提升更为显著，且FD-FHOL方法在大部分抽样比例中准确率均高于其他两种方法，由于传统联邦学习的平均聚合算法忽略工厂客户端本地更新偏移问题导致诊断准确率降低，本算法通过减少本地偏移同时增加工厂客户端本地训练效果作为聚合权重，进一步提升诊断准确率。同时FD-FHOL方法和TiFL算法训练时间均比FedAvg算法有明显减少，尤其在抽样比例较大情况下比如15％、20％比例中，说明抽样比例增大时，数据量大的工厂客户端参与联合训练的几率增大，FedAvg算法中随机选择客户端导致的聚合延迟问题更加严重，TiFL算法通过工厂客户端分层方式能够减少聚合延迟问题，但是每轮训练中工厂客户端的迭代次数固定增加了整体的训练时间，而FD-FHOL方法通过局部聚合与动态迭代的方式，动态分配迭代次数，减少整体训练时间，有效提升训练效率。
表3表示模拟计算资源差异环境下对比实验结果，实验设置各层的工厂客户端数据量均为2000左右，并设置各层的训练时间逐层递增10s，如层tier1增加 0s，层tier2增10s…层tier5增加40s，以此模拟不同计算资源的工厂客户端训练环境。
表3不同计算资源环境下训练性能对比影响分析表
通过表3可知，在不同客户端抽样比例情况下，本发明FD-FHOL方法训练准确率相比FedAvg方法有显著提升，并在三种方法中始终保持最高的故障诊断准确率和较短的训练时间，说明在数据量相似情况下，传统的联邦学习由于整体样本数量较小使故障特征提取更加困难，导致诊断准确率明显低于其他两种方法，同时由于随机选择方法选择优质客户端的比例不稳定，尤其在低抽样比例中准确率显著低于其他两种方法，而本发明方法与TiFL方法能够在训练中兼顾不同工厂客户端的参与，所以保持较高的准确率。此外，本发明的动态迭代方式能够动态协调不同训练时间的工厂客户端进行不同轮次的迭代，进一步提升不同计算资源情况下的联合训练效率。
为验证本发明方法在数据质量差异环境下的训练性能，设计测试工厂客户端不同数据质量情况下三种方法的对比实验，在抽样比例为10％情况下，对所有客户端中随机加入10％、30％、50％故障特征与故障类型错误匹配的恶意数据节点，三种方法的训练准确率表现如表4所示。
表3. 5工厂客户端不同数据质量训练准确率对比表
由表4可以看出，本发明FD-FHOL方法在不同数据质量情况下准确率均高于其他两种算法，在应对较多恶意数据时仍能保持最高的准确率，不同比例恶意节点代表不同程度数据质量差异性与整体数据样本中数据质量的优劣，随着数据质量差异性增大，整体数据样本中数据质量降低，FedAvg方法与TiFL方法的诊断准确率也明显降低，这是因为两种方法未对数据质量差异性较大情况下的工厂客户端进行筛选，进而导致恶意数据节点参与中心聚合的概率增加，导致诊断准确率低，而FD-FHOL方法在本地更新选择算法过程中通过计算权重进一步筛选优质客户端参与局部聚合，能够减少数据质量差异与恶意数据的影响，证明本方法在数据质量差异较大时能够保持良好的训练准确率与鲁棒性。
综上所述，本发明提出的FD-FHOL方法在数据量及计算资源差异性环境中具有良好的训练效率和准确率，并在数据质量差异性情况下仍能进行高效健壮的故障诊断。
3、结论
针对多工厂联合故障诊断建模中，不同工厂计算资源、数据质量异构性导致本地训练效率差异较大，影响传统联邦学习联合诊断效率与准确率的问题，提出基于联邦分层优化学习的设备故障诊断方法。首先，针对不同工厂计算资源异构性导致训练效率差异问题，建立设备故障诊断分层架构优化联合诊断效率；其次，针对工业数据质量差异造成本地更新偏移问题，提出本地个性更新选择算法进行工厂本地模型训练与设备选择，进一步提升故障诊断准确率；最后，针对训练效率差异造成中心端聚合延迟问题，提出基于迭代阈值的局部聚合模型进行动态迭代与局部聚合，减少中心迭代次数与延迟时间，提升联合训练效率。实验表明，基于联邦分层优化学习的设备故障诊断方法能够在工业设备数据集中进一步提高多工厂联合诊断的训练效率和准确率，并具有良好的鲁棒性，为多工厂设备故障诊断提供了一种有效的解决方法。
以上对本发明的实例进行了详细说明，但内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (4)
1.一种基于联邦分层优化学习的设备故障诊断方法，其特征在于利用联邦学习进行安全高效的多工厂分布式故障诊断，包括下述步骤：
S1：分层初始化：将所有工厂客户端进行分层初始化处理，根据训练速度划分为不同的工厂客户端层；
S2：数据处理：所有工厂客户端对设备数据进行采集、去噪、归一化等预处理，并划分训练集与测试集；
S3：客户端本地个性化训练：在工厂客户端中建立卷积神经网络故障诊断模型，由卷积层、最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成。利用故障诊断模型对预处理后的数据进行本地个性化更新训练，并计算每层中工厂客户端的权值；
S4：各层局部聚合：中心服务端利用迭代阈值的局部聚合模型，对每层的训练次数进行动态控制，当达到迭代阈值时，本轮迭代停止，各层将本地参数上传至中心服务端，并根据权值进行局部加权聚合生成层局部模型；
S5：中心模型参数聚合：中心服务端计算层局部模型权重完成中心聚合，生成新一轮的参数下发至工厂客户端。
2.根据权利要求1所述的一种基于联邦分层优化学习的设备故障诊断方法，其特征在于：所述步骤S1中，对所有客户端进行分层初始化：根据训练速度将所有客户端划分为层{tier1,tier2,…,tierm}，m表示划分层数，其中下标越大的层，训练速度越慢。
3.根据权利要求1所述的一种基于联邦分层优化学习的设备故障诊断方法，其特征在于：所述步骤S3中，工厂客户端利用本地个性更新选择算法进行本地故障诊断，包括以下步骤：
1-1)设置卷积神经网络作为故障诊断训练模型，由1×3卷积层、1×3最大池化层、relu激活函数、全连接层和softmax分类函数输出层构成；
1-2)多工厂联合训练过程中，故障诊断模型的训练目标为：
其中，参与训练的工厂客户端总量为N，Fk(w)表示客户端k的本地优化目标，
表示客户端k经过数据处理后的本地数据集，i表示客户端k中每条数据，nk表示数据集大小，
为其损失函数，w表示其本地模型参数，n表示此轮数据集总量；
1-3)在工厂客户端本地更新过程中，本地个性更新选择算法通过加入偏移程度约束函数，修正本地模型更新方向，使其更接近于中心模型，修正后的本地优化目标为：
其中，λ为超参数，
为上一轮全局模型参数，nk表示客户端k数据集大小，
为其损失函数，w表示此轮本地模型参数，n表示此轮数据集总量；
1-4)在客户端参数上传过程中，将本地训练结果作为指标，计算本次迭代的工厂客户端权值，并选择诊断准确率与偏移距离较好的工厂客户参与层局部模型聚合，提升优质客户端参与度与联合诊断准确率。工厂客户端局部聚合权重为：
其中
表示工厂客户端k在第r轮全局迭代中的训练准确率，
表示全局模型参数
和工厂本地参数
余弦相似度，用于衡量本地模型的偏移程度，如下式所示：
4.根据权利要求1所述的一种基于联邦分层优化学习的设备故障诊断方法，其特征在于：所述步骤S4中，采用基于迭代阈值的局部聚合模型，减少不同工厂工况、计算资源、数据量差异环境下的中心聚合延迟等待问题，提升联合故障诊断效率，包括以下步骤：
2-1)基于迭代阈值的局部聚合模型分为基于阈值动态迭代算法与局部模型加权聚合算法两部分；
2-2)基于阈值动态迭代算法执行过程中，首先假设中心模型迭代次数为N，经过分层处理后的工厂客户端分为层{tier1,tier2,…,tierm}，m表示划分层数，其中下标越大的层，训练速度越慢；
2-3)为最慢层tierm设置此轮训练最小迭代次数L、最大迭代次数H与诊断精度差阈值μ；当tierm层的迭代次数等于最大迭代次数或者精度差达到阈值则通知中心服务端此轮迭代停止，迭代停止阈值满足条件为：
其中，Tr代表此轮统一停止迭代时间，
表示tierm层第r轮的迭代次数，
表示tierm层第r轮的诊断准确率；
2-4)局部模型加权聚合算法执行过程中，首先根据工厂客户端本地参数进行各层局部聚合，然后计算层局部模型聚合权重，最后完成中心模型聚合。层局部聚合表示为：
其中，tierm代表划分的不同层级，共有m层，各层的局部模型表示为
为各层所选择的参与聚合的工厂客户端数量，
为该层参与聚合所有工厂客户端样本数量总和，
为经过本地个性更新选择方法模型客户端本地参数，ni为工厂本地样本数量；
2-5)最后进行中心聚合，中心模型聚合表示为：
其中，m表示客户端层总层数，i表示其中一层编号，
表示根据迭代轮次
确定的tieri层局部模型权重，控制层模型权重平衡迭代次数差异，减少因层模型迭代轮次不同对中心聚合偏移的影响；
表示根据各层模型训练的平均精度
确定的tieri层聚合权重，提升训练质量较高的层局部模型参数所占权重，进一步提升中心模型诊断准确率；
与
进行归一化处理后分别表示为：
其中，m表示客户端层总层数，i和j表示其中一层编号，
表示tierj层迭代次数，
表示tierj层平均诊断精度；
2-6)中心服务端完成中心聚合后，得到本轮的全局模型参数，下发至各层的工厂客户端，进行下一轮的迭代训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211319431.5A CN115525038A (zh) | 2022-10-26 | 2022-10-26 | 一种基于联邦分层优化学习的设备故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211319431.5A CN115525038A (zh) | 2022-10-26 | 2022-10-26 | 一种基于联邦分层优化学习的设备故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115525038A true CN115525038A (zh) | 2022-12-27 |
Family
ID=84703985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211319431.5A Pending CN115525038A (zh) | 2022-10-26 | 2022-10-26 | 一种基于联邦分层优化学习的设备故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115525038A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115952442A (zh) * | 2023-03-09 | 2023-04-11 | 山东大学 | 基于全局鲁棒加权的联邦域泛化故障诊断方法及系统 |
| CN116643537A (zh) * | 2023-07-27 | 2023-08-25 | 中科航迈数控软件(深圳)有限公司 | 基于隐私保护的数控参数优化方法、装置、设备及介质 |
| CN117173750A (zh) * | 2023-09-14 | 2023-12-05 | 中国民航大学 | 生物信息处理方法、电子设备及存储介质 |
| CN117668622A (zh) * | 2024-02-01 | 2024-03-08 | 山东能源数智云科技有限公司 | 设备故障诊断模型的训练方法、故障诊断方法及装置 |
| CN117938691A (zh) * | 2024-03-25 | 2024-04-26 | 山东科技大学 | 一种工业物联网故障的诊断方法、系统、设备和存储介质 |
| CN117938691B (zh) * | 2024-03-25 | 2024-05-31 | 山东科技大学 | 一种工业物联网故障的诊断方法、系统、设备和存储介质 |
-
2022
- 2022-10-26 CN CN202211319431.5A patent/CN115525038A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115952442A (zh) * | 2023-03-09 | 2023-04-11 | 山东大学 | 基于全局鲁棒加权的联邦域泛化故障诊断方法及系统 |
| CN116643537A (zh) * | 2023-07-27 | 2023-08-25 | 中科航迈数控软件(深圳)有限公司 | 基于隐私保护的数控参数优化方法、装置、设备及介质 |
| CN116643537B (zh) * | 2023-07-27 | 2023-10-03 | 中科航迈数控软件(深圳)有限公司 | 基于隐私保护的数控参数优化方法、装置、设备及介质 |
| CN117173750A (zh) * | 2023-09-14 | 2023-12-05 | 中国民航大学 | 生物信息处理方法、电子设备及存储介质 |
| CN117668622A (zh) * | 2024-02-01 | 2024-03-08 | 山东能源数智云科技有限公司 | 设备故障诊断模型的训练方法、故障诊断方法及装置 |
| CN117668622B (zh) * | 2024-02-01 | 2024-05-10 | 山东能源数智云科技有限公司 | 设备故障诊断模型的训练方法、故障诊断方法及装置 |
| CN117938691A (zh) * | 2024-03-25 | 2024-04-26 | 山东科技大学 | 一种工业物联网故障的诊断方法、系统、设备和存储介质 |
| CN117938691B (zh) * | 2024-03-25 | 2024-05-31 | 山东科技大学 | 一种工业物联网故障的诊断方法、系统、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115525038A (zh) | 一种基于联邦分层优化学习的设备故障诊断方法 | |
| CN111353582B (zh) | 一种基于粒子群算法的分布式深度学习参数更新方法 | |
| CN113191484B (zh) | 基于深度强化学习的联邦学习客户端智能选取方法及系统 | |
| CN107169557A (zh) | 一种对布谷鸟优化算法进行改进的方法 | |
| CN113691594B (zh) | 一种基于二阶导数解决联邦学习中数据不平衡问题的方法 | |
| EP4350572A1 (en) | Method, apparatus and system for generating neural network model, devices, medium and program product | |
| CN106095921B (zh) | 面向海量数据流的实时并行分类方法 | |
| CN111553469A (zh) | 一种无线传感器网络数据融合方法、装置和存储介质 | |
| CN108564592A (zh) | 基于动态多种群集成差分进化算法的图像分割方法 | |
| CN112637883A (zh) | 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法 | |
| CN110442143A (zh) | 一种基于组合多目标鸽群优化的无人机态势数据聚类方法 | |
| WO2023005700A1 (zh) | 模型数据混合驱动的电网可靠性快速计算方法及装置 | |
| CN113887748B (zh) | 在线联邦学习任务分配方法、装置、联邦学习方法及系统 | |
| CN116050540A (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
| Zhao et al. | Adaptive Swarm Intelligent Offloading Based on Digital Twin-assisted Prediction in VEC | |
| CN110490234A (zh) | 基于聚类分类联合机制的分类器的构建方法以及分类方法 | |
| Qin et al. | A wireless sensor network location algorithm based on insufficient fingerprint information | |
| CN113672684A (zh) | 一种面向非独立同分布数据的分层用户训练管理系统及方法 | |
| CN115577797B (zh) | 一种基于本地噪声感知的联邦学习优化方法及系统 | |
| CN111047040A (zh) | 基于IFPA算法的Web服务组合方法 | |
| Zhang et al. | Optimizing federated edge learning on non-IID data via neural architecture search | |
| Wu et al. | Efficient federated learning on resource-constrained edge devices based on model pruning | |
| CN110309367A (zh) | 信息分类的方法、信息处理的方法和装置 | |
| Xie et al. | FedDGIC: Reliable and Efficient Asynchronous Federated Learning with Gradient Compensation | |
| CN108846439A (zh) | 一种无先验知识条件下基于小数据集的贝叶斯网络参数学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |