CN116992336B - 一种基于联邦局部迁移学习的轴承故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于联邦局部迁移学习的轴承故障诊断方法，涉及轴承故障诊断技术领域。包括以下步骤：客户端对不同工况的数据集预处理；服务器端初始化全局模型后将模型参数下发至客户端；源客户端进行本地训练并向服务器端上传特征提取结果与网络参数，目标客户端向服务器端上传特征提取结果与类别权重结果；服务器端计算源域与目标域之间的分布差异与源客户端的聚合权重，更新全局模型直至模型收敛得到最终全局故障诊断模型。该方法在不泄露多方用户数据隐私的前提下打破数据孤岛，并充分考虑了故障诊断迁移学习中源域数据包含目标域数据的场景下的对故障诊断准确率的提升性，并获得了优良的故障诊断结果。

Description

一种基于联邦局部迁移学习的轴承故障诊断方法

技术领域

本发明涉及轴承故障诊断技术领域，具体涉及一种基于联邦局部迁移学习的轴承故障诊断方法。

背景技术

随着机器学习技术的快速发展，智能故障诊断领域取得了显著的进展，机器学习算法通过分析大量的故障数据自动识别和预测设备故障，从而提高故障诊断的准确性和效率。然而，在实际工业应用场景中，出于经济成本及相关数据安全法律限制等原因，训练用户难以收集数量大、质量高的轴承故障数据，从而限制了机器学习算法在跨设备或跨组织故障诊断场景下的效率。

联邦学习作为一种加密的分布式机器学习范式，通过在本地设备上进行模型训练，避免了将原始数据传输至中心服务器的需求，从而保护了故障数据的隐私。参与方在本地设备进行模型训练后，只共享模型参数的更新，在降低通信成本的同时也大大降低了敏感信息泄露的风险，有助于解决跨设备或跨组织的故障诊断场景中的数据隐私问题。此外，迁移学习在故障诊断中扮演着关键角色，在许多实际应用场景中，目标数据集通常会缺少标签信息，其他诊断方法通常会在训练数据和测试数据来自同一数据分布的假设下工作，由于复杂的工作条件和环境干扰，数据分布差异是不可避免的。通过利用源域中具有标签信息的数据，迁移学习可以将先验知识迁移到目标域，从而提升目标域的故障诊断性能。联邦迁移学习通过结合联邦学习的隐私保护机制和迁移学习的知识迁移功能，使得在分布式环境进行模型共享和知识迁移的同时保护各设备的数据隐私。通过在本地设备上进行局部训练，并使用模型参数加密传输和聚合的方式来实现知识共享，联邦迁移学习提高了故障诊断模型的安全性，对于实际工业应用中的故障诊断具有重要意义。

在故障诊断场景中，目标域的机器故障标签很难与源域的标签完全一致，在实际应用中，目标域的标签集空间更多的是作为源域标签集的子集，如附图2所示。传统迁移学习方法通常假设源域和目标域的标签空间完全一致，无法有效处理目标域标签与源域标签不一致的情况。因此，在保护数据隐私及充分利用源域知识进行迁移前提下，进一步考虑局部迁移的场景是研究的重要方向。针对轴承故障诊断不同工况数据分布存在差异、数据孤岛、由于局部迁移学习中源域离群类带来的负迁移影响等问题，本发明提供了一种基于联邦局部迁移学习的轴承故障诊断方法。

发明内容

本发明的目的是提供一种基于联邦局部迁移学习的轴承故障诊断方法，在不泄露用户数据隐私的同时兼顾降低源域离群类的负迁移影响，高效实现知识迁移。

为实现上述目的，本发明提供了一种基于联邦局部迁移学习的轴承故障诊断方法，具体包括以下步骤：

(1)数据集构建

参与方对选取的数据集进行预处理，源客户端选用公开数据集中的有标签的轴承数据构建源域数据集，目标客户端选取公开数据集中本地无标签的轴承数据构建目标域数据集；其中，源域数据集与目标域数据集的轴承工况各不相同，且目标域数据集标签为源域数据集标签的子集；

(2)源客户端本地模型训练

服务器端初始化全局模型后将模型参数下发至客户端，客户端利用本地数据对本地模型进行训练，完成训练后源客户端向服务器端上传特征提取结果与网络参数；

(3)目标客户端本地训练

服务器端将来自源客户端的特征提取参数下发给目标客户端，目标客户端利用该特征提取参数进行本地训练，预测其分类结果并根据标签预测的概率分布矩阵计算分类权重，并将特征提取参数与分类权值上传到服务器端；

(4)联邦全局模型计算

服务器端接收到来自源客户端以及目标客户端的特征提取参数，联邦聚合权重时，对于卷积层网络聚合权重根据源域与目标域的分布差异赋值，对于批标准归一化层则进行平均聚合；

(5)故障诊断

在全局模型收敛后将轴承数据输入训练好的全局模型中，获取故障诊断结果。

优选的，所述步骤2中，多个用户使用相同结构的本地模型，本地模型结构主要由四个卷积层组成，其中主要包含批处理归一化层、最大池化层与激活层，在简化模型结构的同时也使得不同分类模块直接更简便进行知识迁移，并且使得不同源用户数据的分布度量差异比较更为公平。

优选的，所述本地模型的损失函数计算公式如下：

其中，表示源域与目标域数据集的特征，L_c为本地训练的softmax交叉熵损失函数，L_d为源域与目标域的距离损失函数，即为两者之间的分布差异度量使用最大均值，用于减少源域与目标域之间的特征差异，λ为距离损失函数的权重；

L_c的计算公式如下：

其中，表示源域数据的样本特征与标签，C为源域样本的类别总数，E表示在源域上的数学期望值，1为指示函数，β为softmax函数；

λ的计算公式如下：

其中，epoch为本轮迭代数，max_epoch为本地训练的最大迭代次数。

优选的，在所述步骤3中，应用源客户端网络参数对源域无标签数据进行标签预测，该预测结果表示目标域数据被分配到源域类别标签的概率，对目标域数据的预测输出矩阵如下：

其中，t表示目标域数据，Y^t表示目标域标签的概率预测结果，m表示目标域中的样本数，c_num表示被预测的样本标签类别数，矩阵中列表示预测的故障类别，行表示每个目标样本被预测为某一类的概率，且其概率总和为1；

根据目标域分类的概率分布计算目标域的分类权重公式如下：

其中，m表示目标域中的样本数，表示第i个目标样本预测的概率分布结果。

优选的，在所述步骤4中，联邦聚合权重值时，首先计算各源客户端所占的比例，计算公式如下：

其中，N为参与训练的源客户端数量，MMD_k为源客户端与目标客户端的最大均值差异值。

优选的，在所述步骤4中，源域与目标域之间的分布差异度量使用最大均值分布，其计算公式如下：

其中，给定一个包含n个有标签样本的源域数据集以及一个包含m个无标签样本的目标域数据集/>表示源域、目标域中第i个样本特征，H为再生希尔伯特空间，/>为将源域或目标域数据映射到H的特征映射函数。

优选的，在所述步骤4中，对各源客户端各层网络参数进行聚合时，各模型卷积神经网络中的权重聚合计算公式如下：

其中，N表示源客户端的总数，α_k表示第k个源客户端所占权重，w_{k_cnn}为第k个源客户端的卷积层网络权重；

对源客户端各模型批处理归一化层的权重聚合计算公式如下：

其中，N表示源客户端的总数，w_{k_bn}表示第k个源客户端归一化层网络权重。

本方法首先客户端对不同工况的数据集进行预处理，且目标域数据集标签空间为源域数据集的子集；然后服务器端初始化全局模型后将模型参数下发至客户端；客户端利用本地数据对网络进行训练，源客户端向服务器端上传特征提取结果与网络参数，目标客户端向服务器端上传特征提取结果与类别权重结果；服务器端计算源域与目标域之间的分布差异与源客户端的聚合权重，然后再下发至客户端进行本地训练；重复进行本地训练与服务器端权重聚合，直至模型收敛得到最终全局故障诊断模型。该方法在不泄露多方用户数据隐私的前提下打破数据孤岛，并充分考虑了故障诊断迁移学习中源域数据包含目标域数据的场景下的对故障诊断准确率的提升性，并获得了优良的故障诊断结果。

因此，本发明提供了一种基于联邦局部迁移学习的轴承故障诊断方法，具有如下有益效果：

(1)结合源域与目标域之间的分布差异分配各用户端的联邦聚合权重，使得分布差异较小的源客户端获得较大的权重；

(2)由于批归一化层一定程度上代表了局部数据集的分布，对联邦平均中的全局模型是不利的，故而本发明中在服务器端对于卷积层网络聚合权重根据源域与目标域的分布差异赋值，对于批标准归一化层则进行平均聚合；

(3)本发明考虑了目标域的标签集空间作为源域标签集的子集，更符合实际应用场景。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1是本发明基于双权重的局部自适应联邦迁移学习的流程示意图；

图2是局部迁移学习的场景示意图；

图3是用户端本地模型结构图；

图4是轴承故障数据使用本方法故障诊断结果的混淆矩阵图。

具体实施方式

以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1～图3，本发明基于动态的联邦聚合权重以及类别权重，在联邦系统中主要包括服务器端和多个客户端。服务器端，用于执行基本运算、建立初始化全局模型、与各客户端建立通信收发全局模型参数；客户端，分为源客户端与目标客户端，用于进行数据清洗与归一化等预处理方法、模型本地训练、收发来自服务器端的模型参数，其中目标客户端还需向服务器端上传类别权重。进一步地，源客户端数量为1个以上，目标客户端数量为1个。

本发明提供了一种基于联邦局部迁移学习的轴承故障诊断方法，联邦聚合时，对于卷积层网络权重参数根据各源域与目标域之间的最大均值差异值来赋予权重，而对于批标准化层则赋予相同权值；在对目标域数据进行预测时，将目标域样本预测的概率分布结果作为其类别权重。

具体包括以下步骤：

(1)数据集构建

参与方对选取的数据集进行预处理，源客户端选用公开数据集中的有标签的轴承数据构建源域数据集，目标客户端选取公开数据集中本地无标签的轴承数据构建目标域数据集；其中，源域数据集与目标域数据集的轴承工况各不相同，且目标域数据集标签为源域数据集标签的子集；

(2)源客户端本地模型训练

服务器端初始化全局模型后将模型参数下发至客户端，客户端利用本地数据对本地模型进行训练，完成训练后源客户端向服务器端上传特征提取结果与网络参数；

多个用户使用相同结构的本地模型，本地模型结构主要由四个卷积层组成，其中主要包含批处理归一化层、最大池化层与激活层，在简化模型结构的同时也使得不同分类模块直接更简便进行知识迁移，并且使得不同源用户数据的分布度量差异比较更为公平。

所述本地模型的损失函数计算公式如下：

其中，表示源域与目标域数据集的特征，L_c为本地训练的softmax交叉熵损失函数，L_d为源域与目标域的距离损失函数，即为两者之间的分布差异度量使用最大均值，用于减少源域与目标域之间的特征差异，λ为距离损失函数的权重；

L_c的计算公式如下：

其中，表示源域数据的样本特征与标签，C为源域样本的类别总数，E表示在源域上的数学期望值，1为指示函数，β为softmax函数；

λ的计算公式如下：

其中，epoch为本轮迭代数，max_epoch为本地训练的最大迭代次数。

(3)目标客户端本地训练

服务器端将来自源客户端的特征提取参数下发给目标客户端，目标客户端利用该特征提取参数进行本地训练，预测其分类结果并根据标签预测的概率分布矩阵计算分类权重，并将特征提取参数与分类权值上传到服务器端；

应用源客户端网络参数对源域无标签数据进行标签预测，该预测结果表示目标域数据被分配到源域类别标签的概率，对目标域数据的预测输出矩阵如下：

其中，t表示目标域数据，Y^t表示目标域标签的概率预测结果，m表示目标域中的样本数，c_num表示被预测的样本标签类别数，矩阵中列表示预测的故障类别，行表示每个目标样本被预测为某一类的概率，且其概率总和为1；

根据目标域分类的概率分布计算目标域的分类权重公式如下：

其中，m表示目标域中的样本数，表示第i个目标样本预测的概率分布结果。

(4)联邦全局模型计算

服务器端接收到来自源客户端以及目标客户端的特征提取参数，联邦聚合权重时，对于卷积层网络聚合权重根据源域与目标域的分布差异赋值，对于批标准归一化层则进行平均聚合；

联邦聚合权重值时，首先计算各源客户端所占的比例，计算公式如下：

其中，N为参与训练的源客户端数量，MMD_k为源客户端与目标客户端的最大均值差异值。

源域与目标域之间的分布差异度量使用最大均值分布，其计算公式如下：

其中，给定一个包含n个有标签样本的源域数据集以及一个包含m个无标签样本的目标域数据集/>表示源域、目标域中第i个样本特征，H为再生希尔伯特空间，/>为将源域或目标域数据映射到H的特征映射函数。

对各源客户端各层网络参数进行聚合时，各模型卷积神经网络中的权重聚合计算公式如下：

其中，N表示源客户端的总数，α_k表示第k个源客户端所占权重，w_{k_cnn}为第k个源客户端的卷积层网络权重；

对源客户端各模型批处理归一化层的权重聚合计算公式如下：

其中，N表示源客户端的总数，w_{k_bn}表示第k个源客户端归一化层网络权重。

(5)故障诊断

在全局模型收敛后将轴承数据输入训练好的全局模型中，获取故障诊断结果。

实施例1

本实施例一种基于联邦局部迁移学习的轴承故障诊断方法，对CWRU轴承数据进行模型训练与故障诊断，包括以下步骤：

步骤1、数据集构建。本实例以CWRU轴承数据集为例，其实验故障类型如表1所示，本实例共有10类故障，分别为不同故障尺寸下的内圈、滚动体、外圈故障。

表1

本实例训练任务如表2所示，基于不同的转速设计不同任务，源客户端数据集的故障标签为0-9，目标客户端数据集故障标签为0-6，是源域故障数据的子集。

表2

步骤2、源客户端本地模型训练。如图3所示，源客户端采用该模型进行本地训练，其网络结构由四个卷积层组成，其中主要包含批处理归一化层、最大池化层与激活层。源客户端完成本地训练后将其特征提取结果、网络权重参数上传到服务器端。

步骤3、目标客户端本地训练。务器端将来自源客户端的特征提取参数下发给目标客户端，目标客户端利用该特征提取参数进行本地训练，预测其分类结果并根据标签预测的概率分布矩阵计算分类权重，并将特征提取参数与分类权值上传到服务器端。

步骤4、服务器端接收到来自源客户端以及目标客户端的特征提取参数，联邦聚合权重时，对于卷积层网络聚合权重根据源域与目标域的分布差异赋值，对于批标准归一化层则进行平均聚合。

步骤5、在全局模型收敛后将轴承数据输入训练好的全局模型中，获取故障诊断结果，本实例中对目标客户端数据故障诊断结果的混淆矩阵图如图4所示。

因此，本发明提供了一种基于联邦局部迁移学习的轴承故障诊断方法，结合源域与目标域之间的分布差异分配各用户端的联邦聚合权重，使得分布差异较小的源客户端获得较大的权重；由于批归一化层一定程度上代表了局部数据集的分布，对联邦平均中的全局模型是不利的，故而本发明中在服务器端对于卷积层网络聚合权重根据源域与目标域的分布差异赋值，对于批标准归一化层则进行平均聚合；本发明考虑了目标域的标签集空间作为源域标签集的子集，更符合实际应用场景。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种基于联邦局部迁移学习的轴承故障诊断方法，其特征在于，具体包括以下步骤：

(1)数据集构建

参与方对选取的数据集进行预处理，源客户端选用公开数据集中的有标签的轴承数据构建源域数据集，目标客户端选取公开数据集中本地无标签的轴承数据构建目标域数据集；其中，源域数据集与目标域数据集的轴承工况各不相同，且目标域数据集标签为源域数据集标签的子集；

(2)源客户端本地模型训练

服务器端初始化全局模型后将模型参数下发至客户端，客户端利用本地数据对本地模型进行训练，完成训练后源客户端向服务器端上传特征提取结果与网络参数；

(3)目标客户端本地训练

服务器端将来自源客户端的特征提取参数下发给目标客户端，目标客户端利用该特征提取参数进行本地训练，预测其分类结果并根据标签预测的概率分布矩阵计算分类权重，并将特征提取参数与分类权值上传到服务器端；

(4)联邦全局模型计算

服务器端接收到来自源客户端以及目标客户端的特征提取参数，联邦聚合权重时，对于卷积层网络聚合权重根据源域与目标域的分布差异赋值，对于批标准归一化层则进行平均聚合；

(5)故障诊断

在全局模型收敛后将轴承数据输入训练好的全局模型中，获取故障诊断结果；

在所述步骤4中，联邦聚合权重值时，首先计算各源客户端所占的比例，计算公式如下：

其中，N为参与训练的源客户端数量，MMD_k为源客户端与目标客户端的最大均值差异值；

在所述步骤4中，源域与目标域之间的分布差异度量使用最大均值分布，其计算公式如下：

其中，给定一个包含n个有标签样本的源域数据集以及一个包含m个无标签样本的目标域数据集/> 表示源域、目标域中第i个样本特征，H为再生希尔伯特空间，/>为将源域或目标域数据映射到H的特征映射函数；

在所述步骤4中，对各源客户端各层网络参数进行聚合时，各模型卷积神经网络中的权重聚合计算公式如下：

其中，N表示源客户端的总数，α_k表示第k个源客户端所占权重，w_{k_cnn}为第k个源客户端的卷积层网络权重；

对源客户端各模型批处理归一化层的权重聚合计算公式如下：

其中，N表示源客户端的总数，w_{k_bn}表示第k个源客户端归一化层网络权重。

2.根据权利要求1所述的一种基于联邦局部迁移学习的轴承故障诊断方法，其特征在于：所述步骤2中，多个用户使用相同结构的本地模型，本地模型结构主要由四个卷积层组成，其中主要包含批处理归一化层、最大池化层与激活层。

3.根据权利要求2所述的一种基于联邦局部迁移学习的轴承故障诊断方法，其特征在于，所述本地模型的损失函数计算公式如下：

其中，表示源域与目标域数据集的特征，L_c为本地训练的softmax交叉熵损失函数，L_d为源域与目标域的距离损失函数，即为两者之间的分布差异度量使用最大均值，用于减少源域与目标域之间的特征差异，λ为距离损失函数的权重；

L_c的计算公式如下：

其中，表示源域数据的样本特征与标签，C为源域样本的类别总数，E表示在源域上的数学期望值，1为指示函数，β为softmax函数；

λ的计算公式如下：

其中，epoch为本轮迭代数，max_epoch为本地训练的最大迭代次数。

4.根据权利要求3所述的一种基于联邦局部迁移学习的轴承故障诊断方法，其特征在于：在所述步骤3中，应用源客户端网络参数对源域无标签数据进行标签预测，该预测结果表示目标域数据被分配到源域类别标签的概率，对目标域数据的预测输出矩阵如下：

其中，t表示目标域数据，Y^t表示目标域标签的概率预测结果，m表示目标域中的样本数，c_num表示被预测的样本标签类别数，矩阵中列表示预测的故障类别，行表示每个目标样本被预测为某一类的概率，且其概率总和为1；

根据目标域分类的概率分布计算目标域的分类权重公式如下：

其中，m表示目标域中的样本数，表示第i个目标样本预测的概率分布结果。