CN115438714A - 分簇式联邦学习驱动的机械故障诊断方法、装置及介质 - Google Patents

分簇式联邦学习驱动的机械故障诊断方法、装置及介质 Download PDF

Info

Publication number
CN115438714A
CN115438714A CN202210916564.4A CN202210916564A CN115438714A CN 115438714 A CN115438714 A CN 115438714A CN 202210916564 A CN202210916564 A CN 202210916564A CN 115438714 A CN115438714 A CN 115438714A
Authority
CN
China
Prior art keywords
client
model
clustering
fault diagnosis
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210916564.4A
Other languages
English (en)
Inventor
李巍华
杨万胜
陈祝云
晋刚
陈浚彬
廖奕校
黄如意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210916564.4A priority Critical patent/CN115438714A/zh
Publication of CN115438714A publication Critical patent/CN115438714A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种分簇式联邦学习驱动的机械故障诊断方法、装置及介质，其中方法包括：在中心服务器上构建故障诊断模型，将模型参数发送至客户端；客户端对故障诊断模型进行优化，将特征表示向量和模型参数发送至中心服务器；利用K‑means聚类算法对表示向量进行分簇，计算聚类轮廓系数；根据聚类轮廓系数，对客户端的模型参数采用对应的参数更新策略进行更新，并将更新后的模型参数发送给对应的客户端；中心服务器与客户端通讯次数达到预设迭代次数时，完成模型训练。本发明在满足维护客户端的机械设备数据隐私的同时，提高了旋转机械设备关键部件故障诊断的准确率，更有利地保证了安全生产。本发明可广泛应用于旋转机械设备故障诊断领域。

Description

分簇式联邦学习驱动的机械故障诊断方法、装置及介质
技术领域
本发明涉及旋转机械设备故障诊断领域，尤其涉及一种分簇式联邦学习驱动的机械故障诊断方法、装置及介质。
背景技术
机械设备在工业生产过程中具有举足轻重的作用，关系到整个产线的运行效率。而轴承作为旋转机械的关键部件，其运行条件与整个机械设备的健康状况密切相关。因此，有效的轴承故障诊断方法在安全生产、降低装备运维成本等方面具有重要意义。为了有效利用分散在各处的数据，一种很自然的想法是集成多方数据，组成一个共享的大规模数据集并以此训练深度网络模型，通过增大数据规模进而提升模型性能。联邦学习允许多方在不泄露本地原始数据的前提下进行协同合作，共同训练一个良好的网络模型并共享模型结果，既满足了数据隐私保护的要求，又能获得性能更优的模型。具体来说，参与合作的客户端，也就是客户端，在一个受信任的中心服务器的协调下组成一个联邦，合作完成模型训练的整个流程。首先由中心服务器将一个事先约定好的网络模型共享给各客户端，然后客户端利用本地数据集对接收到的模型通过随机梯度下降等优化方法执行若干次模型训练步骤，训练完成后，将新的模型参数以明文或加密的方式上传至中心服务器，接着由担任模型参数媒介的中心服务器，采用一定的策略，重新整合各客户端传回的模型参数，最后，将得到的最终模型结果再次共享给各客户端。重复此训练过程，直至模型达到收敛条件。在整个训练过程中，只有受信任的中心服务器与各个客户端之间存在通信，各客户端之间无法直接通信，在一定程度上避免了数据隐私泄露的风险。
然而，现有的大多数联邦学习方法假设各客户端的数据采集自相同或相似设备下的同一种工况或不同工况，使得训练数据和测试数据均来自相同分布或相似分布，但这种假设是比较理想化的，因为现实中的生产情况却要更加复杂。不同组织、部门负责的产品及生产线不尽相同，且产线上的不同设备也是在不同的运行工况下协同工作。因此不同客户端的设备上采集到的数据通对应着不同的数据分布，且彼此之间的差异性较大。如果直接进行联合训练，得到的结果往往不甚理想。
除了客户端之间的数据分布严重偏移外，由于设备运行的工况也并非是固定的，所以想要采集到所有工况下的数据再进行模型训练往往是一件费时费力且不现实的事情。因此，将模型的优秀性能泛化到其他测试工况中具有重要意义。已有的网络模型通常是基于局部感受野构建的卷积神经网络模型，其更关注局部特征，学习的重心也更倾向于局部的、具体的特征而忽视了全局的、一般的特征，在一定程度上影响了模型的泛化性能。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种分簇式联邦学习驱动的机械故障诊断方法、装置及介质。
本发明所采用的技术方案是：
一种分簇式联邦学习驱动的机械故障诊断方法，包括以下步骤：
在中心服务器上构建故障诊断模型，确定联邦学习过程中的超参数，将故障诊断模型的参数和超参数发送给所有的客户端；
客户端利用本地数据集对故障诊断模型进行优化，以及生成一个表征本地数据集数据分布的特征表示向量，将特征表示向量和优化后的模型参数发送至中心服务器；
中心服务器接收到所有客户端发送的模型参数和表示向量后，利用K-means聚类算法对表示向量进行分簇，计算聚类轮廓系数，根据聚类轮廓系数评估聚类效果；
根据聚类轮廓系数，对客户端的模型参数采用对应的参数更新策略进行更新，并将更新后的模型参数发送给对应的客户端；
中心服务器与客户端通讯次数达到预设迭代次数时，停止客户端与中心服务器之间的通讯，完成模型训练；此时，中心服务器得到最后的稳定情况下的客户端模型参数和特征表示向量。
进一步地，所述故障诊断模型包括特征提取模块与分类模块；其中，所述特征提取模块由一维卷积层，批量标准化层，最大池化层和ReLU激活函数层组成的单元堆叠而成，所述分类模块包括一层全连接层和一层Softmax层。
进一步地，所述超参数包括全局迭代次数GE、客户端本地迭代次数LE、服务器聚类簇数C、聚类效果阈值ε1和ε2。
进一步地，所述本地数据集包括原始振动信号数据，所述客户端利用本地数据集对故障诊断模型进行优化，包括：
客户端对采集的原始振动信号数据进行处理，作为训练时的原始数据；
确定样本x的特征维度L，即每条样本包含L个数据点，并为每个故障类别设置对应的标签y；
将原始数据按预设比例划分为训练集、验证集和测试集，划分完成后，随机选择样本起始点至起始点后L位为一个样本，对所有类别构造样本，得到m个样本构建训练集{Xtrain,Ytrain}；以相同方法构建测试集{Xtest,Ytest}；
根据接收到的模型参数构建故障诊断模型，利用训练集优化故障诊断模型的参数，利用验证集对故障诊断模型进行参数选择。
进一步地，所述客户端利用本地数据集对故障诊断模型进行优化，包括：
客户端在给定的迭代次数LE下进行模型训练，若共有K个客户端参与联邦训练，客户端k持有nk个样本，在第t次迭代情况下，训练目标为：
Figure BDA0003775960920000031
其中，nk为客户端训练集样本数量，wk (t)为第t次迭代的本地模型参数，l(xi,yi；wk (t))为给定模型参数wk t情况下，对数据集中的样本i的预测损失；
客户端k优化训练目标时，采用随机梯度下降优化算法，迭代E次后，得到梯度
Figure BDA0003775960920000032
对本地模型做以下更新：
Figure BDA0003775960920000033
其中，η为学习率，给定学习步长，
Figure BDA0003775960920000034
为给定迭代次数下，客户端的模型更新梯度；
Figure BDA0003775960920000035
为模型t-1次更新时的模型参数，相应地，
Figure BDA0003775960920000036
为模型的第t次执行更新时的模型参数；
所述生成一个表征本地数据集数据分布的特征表示向量，包括：
在第LE次参数优化时，每个样本经过特征提取层后得到一个p维特征向量，累积全部m个样本的高维特征表示，对所有样本的高维向量执行压缩处理：
Figure BDA0003775960920000037
客户端k将优化后的模型参数
Figure BDA0003775960920000038
和特征表示向量Vk共同发送至中心服务器。
进一步地，所述利用K-means聚类算法对表示向量进行分簇，计算聚类轮廓系数，包括：
中心服务器接收N个客户端的特征表示向量，根据初始化的分类簇数K执行K-means聚类算法：
Figure BDA0003775960920000039
其中，vi代表接收到的客户端i的特征表示向量，μci代表vi所属簇的簇中心，通过优化特征表示向量与簇中心的距离之和，最终结果收敛于最小的距离；
计算聚类轮廓系数sc，根据聚类轮廓系数sc评估聚类效果：
Figure BDA0003775960920000041
其中，b(v(i))和a(v(i))分别代表与特征表示向量v(i)不同簇向量的最小距离，和与其相同簇的最大距离。
进一步地，所述根据聚类轮廓系数，对客户端的模型参数采用对应的参数更新策略进行更新，包括：
如果聚类轮廓系数sc大于聚类效果阈值ε1，判定此次聚类效果较好，对每一个划分簇执行簇内联邦平均，获取参数的均值，作为此簇内客户端的模型参数；
如果聚类轮廓系数sc小于聚类效果阈值ε2，判定此轮聚类的效果不佳，各个客户端的特征表示向量相似度较低，中心服务器不做处理；
如果sc介于聚类效果阈值ε1和ε2之间，则进行整体的联邦平均求均值，作为所有客户端的模型参数。
进一步地，还包括测试步骤：
计算测试客户端的数据分布与所有的特征表示向量的相似性，获取相似性最高的特征表示向量对应的客户端模型对测试客户端进行测试。
本发明所采用的另一技术方案是：
一种分簇式联邦学习驱动的机械故障诊断装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明在满足维护客户端的机械设备数据隐私的同时，提高了旋转机械设备关键部件故障诊断的准确率，更有利地保证了安全生产。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中分簇式联邦学习方法的框架图；
图2是本发明实施例中故障诊断模型的示意图；
图3是本发明实施例中K-means聚类的示意图。
图4是本发明实施例中一种分簇式联邦学习驱动的机械故障诊断方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明针对数据隐私保护要求下，旋转机械设备故障诊断领域的客户端数据分布不一致的任务，构建了分簇式联邦学习方法，在深度神经网络本地优化的同时，计算本地数据分布特征表示向量，通过K-means聚类，将数据分布相似的客户端分到同一个簇，分簇完成后，计算轮廓系数，评估此次聚类效果，根据轮廓系数与选定阈值的关系，确定相应的参数更新策略，有效改进了联邦学习场景下数据分布不一致带来的联邦学习训练困难，诊断精度低问题。
如图4所示，本实施例提供一种分簇式联邦学习驱动的机械故障诊断方法，包括以下步骤：
S1、在中心服务器上构建故障诊断模型，确定联邦学习过程中的超参数，将故障诊断模型的参数和超参数发送给所有的客户端。
在本实施例中，故障诊断模型以卷积神经网络为例，包括特征提取模块与分类模块，其中特征提取模块由一维卷积层，批量标准化层，最大池化层和ReLU激活函数层组成的单元堆叠而成，所述分类模块包括一层全连接层和一层Softmax层；然后确定联邦学习过程中的超参数，包括全局迭代次数GE、客户端本地迭代次数LE、服务器聚类簇数K、聚类效果阈值ε1和ε2。然后，中心服务器将故障诊断模型的参数和本地迭代次数发送给所有的客户端。
S2、客户端利用本地数据集对故障诊断模型进行优化，以及生成一个表征本地数据集数据分布的特征表示向量，将特征表示向量和优化后的模型参数发送至中心服务器。
客户端利用本地私有的数据集对接收到的网络模型执行随机梯度下降进行模型的优化，同时，对样本生成的高维特征进行均值降维，得到一个表征本地数据集数据分布的表示向量，迭代给定次数LE后，将优化后的模型参数和分布表示向量一同发送至服务器端。
作为可选的实施方式，本地客户端更新模型参数，生成特征表示向量的流程如下步骤：
S21、数据处理：首先对采集的或公开的数据进行预处理，截取稳定波形下的振动信号，并作为原始数据；
S22、样本设计：确定样本x的特征维度N，即每条样本包含N个数据点，并为每个类别设置对应的标签y；
S23、数据集划分：将原始数据按比例划分为训练集、验证集和测试集。划分完成后，随机选择样本起始点至起始点后N位为一个样本，共构造m个样本构建训练集{Xtrain,Ytrain}，以相同方法构建验证集{Xdev,Ydev}和测试集{Xtest,Ytest}；
S24、模型训练：客户端根据接收到的模型训练超参数，包括局部迭代次数LE、学习率、批次大小，采用随机梯度下降法优化网络模型，得到新的网络参数。
S25、生成表示向量：在最后一次本地迭代中，累积样本的高维特征向量，对所有的样本高维特征进行求均值压缩，得到客户端的数据分布表示向量。
在本实施例中，旋转机械设备数据集为轴承数据集，所述轴承数据集为富士康数控机床主轴轴承数据集、Paderborn轴承数据集和MFPT数据集，所有数据集均为振动信号。构建的模型为以一维卷积神经网络为骨干的故障诊断网络模型，联邦学习超参数设置包括全局迭代次数、本地迭代次数、分簇数、学习率、批次大小。
S3、中心服务器接收到所有客户端发送的模型参数和表示向量后，利用K-means聚类算法对表示向量进行分簇，计算聚类轮廓系数。
中心服务器接收完所有客户端的模型参数和表示向量后，首先利用K-means聚类算法对表示向量进行分簇，分为给定的C个簇，然后计算轮廓系数sc，评估此次聚类效果。
利用客户端的特征表示向量进行K-means聚类，包括以下步骤：
S31、K-means聚类：服务器接收所有客户端的数据分布表示向量，执行K-means聚类算法，迭代优化后，将所有客户端分为K个簇。
S32、计算轮廓系数：计算聚类的轮廓系数sc，评估此次聚类效果的优劣，如果sc较大，说明簇内客户端数据分布相似，簇间客户端数据分布差异大，是理想的分簇结果。反之，说明分类效果不佳，通过计算轮廓系数，可以自适应的评估聚类好坏，进而采用合适的参数更新方法。
S4、根据聚类轮廓系数，对客户端的模型参数采用对应的参数更新策略进行更新，并将更新后的模型参数发送给对应的客户端。
利用客户端的表示向量进行K-means聚类，客户端参数更新方式，根据计算的轮廓系数范围，确定合适的参数更新策略。如果sc大于ε1，则认为此次聚类效果较好，对每一个簇进行簇内的联邦平均求参数的均值，作为此簇内客户端的最终模型参数；如果sc小于ε2，则认为此次聚类效果不好，各个客户端的数据分布差异过大，因此不进行联邦更新过程，服务器不做任何处理；如果sc介于两个阈值之间，则进行整体的联邦平均求均值，作为所有客户端的最终参数。中心服务器将得到的模型参数按照更新策略发送给对应的客户端。
S5、中心服务器与客户端通讯次数达到预设迭代次数时，停止客户端与中心服务器之间的通讯，完成模型训练；此时，中心服务器得到最后的稳定情况下的客户端模型参数和特征表示向量。
中心服务器与客户端通讯次数达到最大迭代次数时，客户端与中心服务器停止通讯，完成模型训练，此时中心服务器，得到最后的稳定情况下的客户端模型参数和特征表示向量。测试时，首先计算测试客户端数据分布与训练客户端的特征表示相似性，取相似性最高的客户端模型对测试客户端进行测试。
进一步作为可选的实施方式，上述方法中模型训练及参数更新处理包括如下步骤A1-A3：
A1、本地模型优化：所有客户端在给定的迭代次数LE下进行模型训练，假设共有K个客户端参与联邦训练，以客户端k为例，其持有nk个样本，在第t次迭代情况下，训练目标为：
Figure BDA0003775960920000081
其中，nk为客户端训练集样本数量，wk (t)为第t次迭代的本地模型参数，l(xi,yi；wk (t))为给定模型参数wk t情况下，对数据集中的样本i的预测损失。具体而言，以客户端k为例，为优化以上目标，采用随机梯度下降优化算法，迭代E次后，得到梯度
Figure BDA0003775960920000082
对本地模型做以下更新:
Figure BDA0003775960920000083
其中，η为学习率，给定学习步长，
Figure BDA0003775960920000084
为给定迭代次数下，客户端的模型更新梯度。
Figure BDA0003775960920000085
为模型t-1次更新时的模型参数，相应地，
Figure BDA0003775960920000086
为模型的第t次执行更新时的模型参数。
A2、数据分布特征表示向量：在第LE次参数优化时，每个样本经过特征提取层后得到一个p维特征向量，累积全部m个样本的高维特征表示，对所有样本的高维向量执行压缩处理：
Figure BDA0003775960920000087
最后，客户端k将优化后的模型参数
Figure BDA0003775960920000088
和特征表示向量Vk共同发送至中心服务器。
A3、中心服务器执行客户端分簇：服务器接收N个客户端的特征表示向量，首先根据初始化的分类簇数K执行K-means聚类算法：
Figure BDA0003775960920000089
其中，vi代表接收到的客户端i的特征表示向量，μci代表vi所属簇的簇中心，通过优化特征向量与簇中心的距离之和，最终结果收敛于最小的距离。然后计算轮廓系数sc，评估此次聚类效果。
Figure BDA00037759609200000810
其中，b(v(i))和a(v(i))分别代表与特征向量v(i)不同簇向量的最小距离，和与其相同簇的最大距离，sc定义为所有特征向量轮廓系数的均值，其值的范围在-1到1之间，且越接近于1说明聚类效果越好，越接近-1说明聚类效果越差。
以下结合附图及具体实施例对上述方法进行详细解释说明。
参见图1，本实施例提供一种分簇式联邦学习旋转机械设备故障诊断方法，该方法包括步骤：
步骤1.中心服务器首先构建一个符合客户端要求的智能故障诊断模型，所述故障诊断模型以一维卷积神经网络为例，其中主要包括特征提取模块与分类模块，其中特征提取模块用于从原始信号中提取有效特征，由一维卷积层(Conv)，批量标准化层(BN)，最大池化层(pooling)和ReLU激活函数层组成的单元堆叠而成。所述分类模块用于将样本进行分类，包括一层全连接层和一层Softmax层，输入样本的高维特征向量，输出样本故障类别；然后确定联邦学习过程中的超参数，包括全局迭代次数GE、客户端本地迭代次数LE、服务器聚类簇数K、聚类效果阈值ε1和ε2。然后，中心服务器将故障诊断模型的参数和本地迭代次数发送给所有的客户端。
在本发明的一些实施例中，步骤1中，特征提取模块有4层单元组成，每层基本单元包括一层一维卷积层，一层批量归一化层、一层最大池化层，一层ReLU激活函数层，具体的参数设置如表1所示，网络结构如图2所示。
表1故障诊断网络结构参数
Figure BDA0003775960920000091
在本发明的其中一些实施例中，联邦学习的超参数设置如表2所示。
表2联邦学习超参数设置
Figure BDA0003775960920000101
步骤2.客户端利用本地私有的数据集对接收到的网络模型执行随机梯度下降进行模型的优化，同时，对样本生成的高维特征进行均值降维，得到一个表征本地数据集数据分布的表示向量，迭代给定次数LE后，将优化后的模型参数和分布表示向量一同发送至服务器端。
在本发明的其中一些实施例中，步骤2中，客户端的数据集描述如表3。
表3数据集描述
Figure BDA0003775960920000102
在本发明的其中一些实施例中，步骤2中，本地客户端利用本地数据，采用Adam优化算法优化网络模型LE次，得到优化后的模型参数
在本发明的其中一些实施例中，步骤2中样本x原始维度为1*1024，经过特征提取器后生成的高维特征表示为64*40，按通道维度取均值压缩后，得到64维的向量。对m个样本执行相同操作得到64*m的矩阵，按样本维度取均值压缩后，得到一个64维的向量。在第LE次优化时，执行此过程，表征该客户端此次优化后的数据分布向量。
在本发明的其中一些实施例中，步骤2中将得到的优化后的模型参数和分布表示向量一同发送至中心服务器。
步骤3.服务器接收完所有客户端的模型参数和表示向量后，首先利用K-means聚类算法对表示向量进行分簇，分为给定的K个簇，然后计算轮廓系数sc，评估此次聚类效果。
在本发明的其中一些实施例中，步骤3中，K-means聚类元素为各客户端上传的本地数据分布表示向量，按照设置的分簇数K随机初始化K个不同的元素为聚类中心，通过不断迭代优化元素与聚类中心直接的距离，最终收敛于一个稳定状态。
在本发明的其中一些实施例中，步骤3中，K-means优化的函数如下，优化方法为更新聚类中心，优化函数如下，详细优化流程见图3。
Figure BDA0003775960920000111
在本发明的其中一些实施例中，步骤3中得到稳定的分簇情况后，计算聚类的指标轮廓系数sc，计算所有元素点的S(v(i))均值，得到最终的sc系数，计算公式如下。
Figure BDA0003775960920000112
步骤4.根据得到的轮廓系数大小，选择对应的参数更新策略，如果sc大于ε1，则认为此次聚类效果较好，对每一个簇进行簇内的联邦平均求参数的均值，作为此簇内客户端的最终模型参数；如果sc小于ε2，则认为此次聚类效果不好，各个客户端的数据分布差异过大，因此不进行联邦更新过程，服务器不做任何处理；如果sc介于两个阈值之间，则进行整体的联邦平均求均值，作为所有客户端的最终参数。中心服务器将得到的模型参数按照更新策略发送给对应的客户端。
在本发明的其中一些实施例中，步骤4中，如果sc大于ε1，则执行簇内联邦平均算法：
Figure BDA0003775960920000113
在本发明的其中一些实施例中，步骤4中，如果sc小于ε2，则服务器不进行操作。
在本发明的其中一些实施例中，步骤4中，如果sc的大小介于两者之间，则服务器执行全局联邦平均算法：
Figure BDA0003775960920000114
步骤5.中心服务器与客户端通讯次数达到最大迭代次数时，客户端与中心服务器停止通讯，完成模型训练，此时中心服务器，得到最后的稳定情况下的客户端模型参数和特征表示向量。测试时，首先计算测试客户端数据分布与训练客户端的特征表示相似性，取相似性最高的客户端模型对测试客户端进行测试。
在本发明的其中一些实施例中，用于训练的客户端和测试任务，见表4所示。
表4客户端训练和测试任务描述
Figure BDA0003775960920000121
在本发明的其中一些实施例中，步骤5中，用于测试的对比方法包括，客户端与服务器依次交互的更新作为基准方法，传统的联邦平均方法和联邦学习的改进式算法共三种方法。具体来说，基准方法(Baseline)仅利用本地数据进行模型训练，训练得到的模型直接进行测试。对应着分簇中心数等于客户端数的极端情况。联邦平均算法(FedAvg)：作为联邦学习领域的经典算法，联邦平均算法一直是各种联邦学习算法对比的重要标准，在我们的实验设置中，即不考虑客户端数据分布的差异性，直接对全体客户端的模型权重进行平均聚合。对应着分簇中心等于1的极端情形。改进的联邦平均算法(Fedprox):作为一种联邦学习的改进式方法，FedProx在每次迭代过程中，本地的优化目标为本地数据集的经验风险与全局模型和本地模型的正则化项的结合，旨在迫使客户端模型朝着全局模型逼近，加速模型收敛，提高精度。
在本发明的其中一些实施例中，步骤5中，对3种对比方法和所提分簇式联邦学习算法进行测试。选择训练样本每类30个，测试样本每类150个，模型测试精度如表5所示。
表5所提方法与对比方法精度比较
Figure BDA0003775960920000122
Figure BDA0003775960920000131
不失一般性，在3个跨工况任务上进行了测试实验，实验结果显示，所提方法比传统的联邦平均方法诊断精度高出12个百分点，比业界流行的改进式联邦学习算法高出5个百分点，比基准方法高出将近20个百分点。
由于基准方法逐次更新的方式容易式优化方向偏离最优方向，而传统联邦平均方法，通过平均多个客户端的优化方向，取优化梯度的均值，虽然不容易偏离最优方向，但也很难保证会收敛到最优。改进的联邦学习算法在联邦平均方法的基础上，给优化方向一个额外的参数惩罚项，使得本地局部优化方向超全局优化方向逼近，有更好的收敛效果。但以上方法对客户端数据偏移大的情形难以保证收敛到理想情况。而本实施例所提方法，直接通过客户端的数据分布相似性，先进行聚类，使得相似的客户端归到同一个簇中，然后进行参数更新的方式，对数据分布偏移大的情况有一个良好的规范作用，能够有效提高故障诊断模型的诊断精度。
本发明针对数据隐私保护条件下，不同工况的客户端数据分布不一致阻碍模型性能的情形，以滚动轴承为研究对象，利用分簇式联邦学习、一维卷积神经网络来有效降低数据分布偏移影响，所提方法有效的改进了工业设备的故障诊断能力。
综上所述，本实施例相对于现有技术，具有如下优点及有益效果：
(1)本发明构建了一种用于解决客户端数据分布偏移大问题的旋转机械设备故障诊断方法，有效提高了旋转机械设备故障诊断精度，延伸了联邦学习在工业场景下的实际应用领域。
(2)本发明构建了一种自适应的网络参数联邦更新策略，根据客户端特征表示向量聚类效果，评估客户端数据离散情况，根据情况不同，采用不同的联邦更新策略。
(3)针对工业场景下的常见的小样本问题、数据隐私保护问题、数据分布偏移问题，提出了一整套的解决方法，扩宽了深度学习在工业场景下的应用。
(4)在实际工业环境中，带标签的数据往往是小规模的、分散在不同数据组织手中，因而，在保护各方数据隐私前提下，建立一个多方协作式的训练范式符合多方利益诉求。但各方数据分布差异大的问题影响模型性能，极大阻碍了联邦学习的应用。本发明构建的分簇式联邦学习方法很好的克服了数据分布差异大和数据隐私保护的局限性，为不同工况下的多方数据联合提供了一种新颖的解决途径。
本实施例还提供一种分簇式联邦学习驱动的机械故障诊断装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图4所示方法。
本实施例的一种分簇式联邦学习驱动的机械故障诊断装置，可执行本发明方法实施例所提供的一种分簇式联邦学习驱动的机械故障诊断方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图4所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种分簇式联邦学习驱动的机械故障诊断方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，包括以下步骤：
在中心服务器上构建故障诊断模型，确定联邦学习过程中的超参数，将故障诊断模型的参数和超参数发送给所有的客户端；
客户端利用本地数据集对故障诊断模型进行优化，以及生成一个表征本地数据集数据分布的特征表示向量，将特征表示向量和优化后的模型参数发送至中心服务器；
中心服务器接收到所有客户端发送的模型参数和表示向量后，利用K-means聚类算法对表示向量进行分簇，计算聚类轮廓系数；
根据聚类轮廓系数，对客户端的模型参数采用对应的参数更新策略进行更新，并将更新后的模型参数发送给对应的客户端；
中心服务器与客户端通讯次数达到预设迭代次数时，停止客户端与中心服务器之间的通讯，完成模型训练；此时，中心服务器得到最后的稳定情况下的客户端模型参数和特征表示向量。
2.根据权利要求1所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，所述故障诊断模型包括特征提取模块与分类模块；其中，所述特征提取模块由一维卷积层，批量标准化层，最大池化层和ReLU激活函数层组成的单元堆叠而成，所述分类模块包括一层全连接层和一层Softmax层。
3.根据权利要求1所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，所述超参数包括全局迭代次数GE、客户端本地迭代次数LE、服务器聚类簇数C、聚类效果阈值ε1和ε2。
4.根据权利要求1所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，所述本地数据集包括原始振动信号数据，所述客户端利用本地数据集对故障诊断模型进行优化，包括：
客户端对采集的原始振动信号数据进行处理，作为训练时的原始数据；
确定样本x的特征维度L，即每条样本包含L个数据点，并为每个故障类别设置对应的标签y；
将原始数据按预设比例划分为训练集、验证集和测试集，划分完成后，随机选择样本起始点至起始点后L位为一个样本，对所有类别构造样本，得到m个样本构建训练集{Xtrain,Ytrain}；构建测试集{Xtest,Ytest}；
根据接收到的模型参数构建故障诊断模型，利用训练集优化故障诊断模型的参数，利用验证集对故障诊断模型进行参数选择。
5.根据权利要求3所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，所述客户端利用本地数据集对故障诊断模型进行优化，包括：
客户端在给定的迭代次数LE下进行模型训练，若共有K个客户端参与联邦训练，客户端k持有nk个样本，在第t次迭代情况下，训练目标为：
Figure FDA0003775960910000021
其中，nk为客户端训练集样本数量，wk (t)为第t次迭代的本地模型参数，l(xi,yi；wk (t))为给定模型参数wk t情况下，对数据集中的样本i的预测损失；
客户端k优化训练目标时，采用随机梯度下降优化算法，迭代E次后，得到梯度
Figure FDA0003775960910000022
对本地模型做以下更新：
Figure FDA0003775960910000023
其中，η为学习率，给定学习步长，
Figure FDA0003775960910000024
为给定迭代次数下，客户端的模型更新梯度；
Figure FDA0003775960910000025
为模型t-1次更新时的模型参数，相应地，
Figure FDA0003775960910000026
为模型的第t次执行更新时的模型参数；
所述生成一个表征本地数据集数据分布的特征表示向量，包括：
在第LE次参数优化时，每个样本经过特征提取层后得到一个p维特征向量，累积全部m个样本的高维特征表示，对所有样本的高维向量执行压缩处理：
Figure FDA0003775960910000027
客户端k将优化后的模型参数
Figure FDA0003775960910000028
和特征表示向量Vk共同发送至中心服务器。
6.根据权利要求1所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，所述利用K-means聚类算法对表示向量进行分簇，计算聚类轮廓系数，包括：
中心服务器接收N个客户端的特征表示向量，根据初始化的分类簇数K执行K-means聚类算法：
Figure FDA0003775960910000029
其中，vi代表接收到的客户端i的特征表示向量，μci代表vi所属簇的簇中心，通过优化特征表示向量与簇中心的距离之和，最终结果收敛于最小的距离；
计算聚类轮廓系数sc，根据聚类轮廓系数sc评估聚类效果：
Figure FDA0003775960910000031
其中，b(v(i))和a(v(i))分别代表与特征表示向量v(i)不同簇向量的最小距离，和与其相同簇的最大距离。
7.根据权利要求1所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，所述根据聚类轮廓系数，对客户端的模型参数采用对应的参数更新策略进行更新，包括：
如果聚类轮廓系数sc大于聚类效果阈值ε1，判定此次聚类效果较好，对每一个划分簇执行簇内联邦平均，获取参数的均值，作为此簇内客户端的模型参数；
如果聚类轮廓系数sc小于聚类效果阈值ε2，判定此轮聚类的效果不佳，各个客户端的特征表示向量相似度较低，中心服务器不做处理；
如果sc介于聚类效果阈值ε1和ε2之间，则进行整体的联邦平均求均值，作为所有客户端的模型参数。
8.根据权利要求1所述的一种分簇式联邦学习驱动的机械故障诊断方法，其特征在于，还包括测试步骤：
计算测试客户端的数据分布与所有的特征表示向量的相似性，获取相似性最高的特征表示向量对应的客户端模型对测试客户端进行测试。
9.一种分簇式联邦学习驱动的机械故障诊断装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-8任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。
CN202210916564.4A 2022-08-01 2022-08-01 分簇式联邦学习驱动的机械故障诊断方法、装置及介质 Pending CN115438714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210916564.4A CN115438714A (zh) 2022-08-01 2022-08-01 分簇式联邦学习驱动的机械故障诊断方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210916564.4A CN115438714A (zh) 2022-08-01 2022-08-01 分簇式联邦学习驱动的机械故障诊断方法、装置及介质

Publications (1)

Publication Number Publication Date
CN115438714A true CN115438714A (zh) 2022-12-06

Family

ID=84243074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210916564.4A Pending CN115438714A (zh) 2022-08-01 2022-08-01 分簇式联邦学习驱动的机械故障诊断方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115438714A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952442A (zh) * 2023-03-09 2023-04-11 山东大学 基于全局鲁棒加权的联邦域泛化故障诊断方法及系统
CN117094412A (zh) * 2023-08-18 2023-11-21 之江实验室 针对非独立同分布医疗场景下的联邦学习方法和装置
CN117172312A (zh) * 2023-08-18 2023-12-05 南京理工大学 一种基于改进联邦元学习的设备故障诊断方法
CN117640253A (zh) * 2024-01-25 2024-03-01 济南大学 基于同态加密的联邦学习隐私保护方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952442A (zh) * 2023-03-09 2023-04-11 山东大学 基于全局鲁棒加权的联邦域泛化故障诊断方法及系统
CN117094412A (zh) * 2023-08-18 2023-11-21 之江实验室 针对非独立同分布医疗场景下的联邦学习方法和装置
CN117172312A (zh) * 2023-08-18 2023-12-05 南京理工大学 一种基于改进联邦元学习的设备故障诊断方法
CN117640253A (zh) * 2024-01-25 2024-03-01 济南大学 基于同态加密的联邦学习隐私保护方法及系统
CN117640253B (zh) * 2024-01-25 2024-04-05 济南大学 基于同态加密的联邦学习隐私保护方法及系统

Similar Documents

Publication Publication Date Title
CN115438714A (zh) 分簇式联邦学习驱动的机械故障诊断方法、装置及介质
CN111785329B (zh) 基于对抗自动编码器的单细胞rna测序聚类方法
CN108986470A (zh) 粒子群算法优化lstm神经网络的行程时间预测方法
CN114297936A (zh) 一种数据异常检测方法及装置
CN110515364B (zh) 一种基于变分模态分解和ls-svm的刀具磨损状态检测方法
CN110069467A (zh) 基于皮尔逊系数与MapReduce并行计算的电网尖峰负荷聚类提取法
CN106503731A (zh) 一种基于条件互信息和K‑means的无监督特征选择方法
Liu et al. Federated unlearning
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN114118138A (zh) 一种基于多标签领域自适应模型的轴承复合故障诊断方法
Dey et al. Genetic algorithm-tuned entropy-based fuzzy C-means algorithm for obtaining distinct and compact clusters
CN115051929A (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
CN109635104A (zh) 数据分类标识方法、装置、计算机设备及可读存储介质
CN114418177B (zh) 基于生成对抗网络的数字孪生车间的新产品物料配送预测方法
CN114662386A (zh) 一种轴承故障诊断方法及系统
Sharma et al. A semi-supervised generalized vae framework for abnormality detection using one-class classification
CN112418987B (zh) 交通运输单位信用评级方法、系统、电子设备及存储介质
CN116501444B (zh) 智能网联汽车域控制器虚拟机异常云边协同监测和恢复系统及方法
CN112149896A (zh) 一种基于注意力机制的机械设备多工况故障预测方法
Li et al. Class imbalanced fault diagnosis via combining K-means clustering algorithm with generative adversarial networks
CN108985563B (zh) 一种基于自组织特征映射的机电系统服役动态标记方法
Chen et al. A GPU-accelerated approximate algorithm for incremental learning of Gaussian mixture model
CN111814153A (zh) 一种基于大数据的商业网站安全维护方法
CN117808129B (zh) 一种异构分布式学习方法、装置、设备、系统及介质
Siers et al. RBClust: High quality class-specific clustering using rule-based classification.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination