CN110619342B - 一种基于深度迁移学习的旋转机械故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于深度迁移学习的旋转机械故障诊断方法，属于旋转机械故障诊断领域。以堆叠自编码器为框架，在无监督预训练阶段逐层递增的适配不同领域概率分布，缩小源域和目标域的分布差异；在微调阶段则进行流形一致性适配，提高深度学习诊断模型的判别结构与数据流形结构的一致性，进一步提高诊断精度。本发明将迁移学习理论与深度学习诊断模型的训练过程相结合，赋予深度学习诊断模型对工况变化的鲁棒性，有效解决了现有深度学习诊断模型在变工况条件下精度严重衰退的问题，显著提高了变工况条件下的旋转机械故障精度。此外，新方法无需目标域待诊断数据标签，具有良好的适用性。

Description

一种基于深度迁移学习的旋转机械故障诊断方法

技术领域

本发明涉及旋转机械故障诊断方法，更具体地，本发明涉及一种基于堆叠自编码器(stacked auto encoder,SAE)和迁移学习(transfer learning)的旋转机械故障诊断方法。

背景技术

随着机器学习理论的发展及设备监测系统的广泛应用，基于人工智能的故障诊断方法逐渐成为旋转机械故障诊断领域的重要研究方向。其中深度学习方法能直接基于振动信号逐层提取深度本质特征而无需复杂的信号处理及人工设计特征，因此在旋转机械故障诊断领域取得了比BP、SVM和ELM等浅层模型更好的结果。然而现有的深度学习诊断方法大多基于训练和测试数据服从相同概率分布的封闭假设，没有从根本上解决模型在领域适应能力上的欠缺。当旋转机械的转速、负载等工况变化时，目标域和源域数据在特征空间的概率分布不同，若将在源域训练好的深度学习诊断模型直接应用于目标域数据，诊断性能将严重下降。

迁移学习理论为解决这一问题带来新的途径。迁移学习是近年来机器学习的一个重要研究方向，其目标是将某个领域学习到的知识或模式应用到不同的但相关的其它领域中。迁移学习放宽了统计机器学习训练数据和测试数据服从独立同分布的假设，使得参与学习的领域或任务可服从不同的概率分布。如何将迁移学习理论与深度学习诊断模型有效结合，是提高模型领域适应能力，解决变工况故障诊断难题的关键所在。

发明内容

为克服现有基于深度学习的旋转机械故障诊断方法缺乏领域适应性，当工况变化时诊断性能严重衰退的问题，本发明引入迁移学习理论，提出了一种分别在模型的预训练和微调阶段适配领域概率分布及流形结构的深度迁移学习方法，赋予深度学习诊断模型对领域的适应性，从而有效提高变工况条件下旋转机械故障诊断精度。

本发明的技术方案如下：一种基于深度迁移学习的旋转机械故障诊断方法，包括：

步骤10)准备阶段，具体包括：

步骤101)数据准备：采用旋转机械的时域振动信号作为模型训练和测试的数据，将源域数据及不同工况下的目标域数据分别划分为训练集和测试集。其中源域训练集为：Train_s＝{X_s,Y_s}，源域训练样本为

x_i∈R^m，源域训练样本的标签为：

y_i＝[1,2,....]为每个源域样本对应的标签。目标域训练集为：Train_t＝{X_t,Y_t}，目标域训练样本为

模型在两个训练阶段均不需要目标域标签，为方便计算，源域和目标域均取相同的训练样本个数，即N_s＝N_t。

步骤102)模型准备：指定深度迁移学习诊断模型的深度及各层节点数、概率适配正则参数、流形适配正则参数、小批训练样本数、预训练及微调两个阶段的学习率、迭代次数；

步骤20)适配概率分布的诊断模型无监督预训练：基于源域及目标域样本，利用小批随机梯度下降法(mini batched stochastic gradient descent,MB-SGD)对模型参数进行预训练，具体包括：

步骤201)设置当前层数i＝1；

步骤202)初始化自编码器：利用模型的第i层及其上一层(第i+1层)构建自编码器，如图1所示，并初始化该自编码器的编码参数矩阵U⁽¹⁾和解码参数矩阵U⁽²⁾。编码参数矩阵由输入层与隐含层间的编码权重矩阵W⁽¹⁾和偏置向量b⁽¹⁾组成：U⁽¹⁾＝[b⁽¹⁾ W⁽¹⁾]∈R^{n ×(m+1)}，解码参数矩阵由隐含层与输出层间的权重矩阵W⁽²⁾和偏置向量b⁽²⁾组成：U⁽²⁾＝[b⁽²⁾ W⁽²⁾]∈R^m×(n+1)；

步骤203)计算目标函数对解码参数矩阵的梯度：首先计算自编码器的输出层均方误差

选取激活函数为sigmoid函数，则输出层均方误差为：

其中X_s为小批源域样本对应的输入矩阵，同时也是期望输出矩阵，Z_s为小批源域样本对应的实际输出矩阵，⊙为hadamard积运算；

然后计算误差对解码参数矩阵的梯度▽U⁽²⁾：

其中

为小批源域样本的隐含层输出矩阵H和元素均为1的列向量组成，n_s为小批源域训练样本数目；

步骤204)计算目标函数对编码参数矩阵的梯度：为了在深层模型中逐层减少源域与目标域样本的概率分布差异，基于自编码器隐含层的带权输入Q_s和Q_t计算最大均值差异(maximum mean discrepancy,MMD)，并将其平方项作为正则化项加入自编码器的优化目标，得到新的优化目标函数：

J_AE(θ)＝L_MSE(X_s,Z_s)+λMMD ²(Q_s,Q_t) (3)

其中θ＝{U⁽¹⁾,U⁽²⁾}为自编码器的参数，λ为概率适配正则参数，用于控制这两项的相对重要性。由于将MMD平方项加入优化目标，因此目标函数对编码参数的梯度包括两项：

其中均方误差(mean square loss,MSE)对编码参数的梯度为：

式中

为小批源域训练输入矩阵和元素均为1的列向量组成；

MMD平方项对编码参数的梯度为：

其中

s为高斯核函数k()的带宽参数；

将

和

利用公式(4)计算获得▽U⁽¹⁾；

步骤205)更新自编码器的参数：利用小批随机梯度下降法，根据式(7)-(8)更新自编码器的解码和编码参数矩阵。

U⁽²⁾＝U⁽²⁾-η▽U⁽²⁾ (7)

U⁽¹⁾＝U⁽¹⁾-η▽U⁽¹⁾ (8)

其中η为预训练阶段的学习率；

步骤206)如果i＝L-1(L为最高隐含层对应的层数)，即完成适配概率分布的诊断模型无监督预训练，否则i＝i+1，返回步骤202)；

步骤30)诊断模型的流形一致性微调：利用源域及目标域训练样本，基于已经初步预训练的模型，利用小批随机梯度下降法对模型整体参数进行反向的微调，具体包括：

步骤301)设置当前层数i＝L；

步骤302)计算流形正则项对层间参数的梯度矩阵：为充分挖掘源域和目标域数据分布所隐藏的结构信息，进一步提高诊断精度，利用源域和目标域样本共同构造流形正则项并将其加入微调阶段的优化目标，得到模型流形一致性微调的目标函数：

J(θ')＝L_MSE(X_s,Y_s)+γMR(X_s,X_t) (9)

其中θ'表示模型所有参数集合，L_MSE(X_s,Y_s)为源域小批样本的均方误差，MR(X_s,X_t)为流形正则项，γ为流形适配正则参数，用于控制这两项的相对重要性，

设连接第i层与第i+1层的层间参数矩阵为U⁽ⁱ⁾，流形正则项对U⁽ⁱ⁾的梯度矩阵根据i的不同情况计算：

如果i＝L，即U⁽ⁱ⁾＝U^(L)为连接最高隐含层与输出层的参数矩阵，梯度矩阵为：

其中

由小批源域和目标域样本对应的第L层输出矩阵

和元素均为1的列向量组成，n_L为第L层节点数，Lp是由源域和目标域样本共同计算得到的拉普拉斯矩阵Lp＝D-W，D为对角矩阵，其对角元素D_ii＝∑_jW_w,ij，W为图邻接矩阵，

N_k(x_i)为样本x_i的k近邻集合，β为经验系数，β＝1/(n_s+n_t)²，Y_s+t为源域和目标域小批样本构成的输出矩阵；

如果i<L，则首先根据第i+1层的流形正则项误差

利用递归的方式计算

然后再利用

计算梯度矩阵：

其中

由小批源域和目标域样本对应的第i层输出矩阵

和元素均为1的列向量组成，_ni为第i层节点数。

步骤303)计算均方误差对层间参数的梯度矩阵，利用小批源域样本X_s及其标签Y_s，根据i的不同情况计算：

如果i＝L，梯度矩阵为：

其中Y_s ^a为小批源域样本的实际输出矩阵，其中

为小批源域样本在最高隐含层输出矩阵H^(L)和元素均为1的列向量组成；

如果i<L，则首先根据第i+1层的均方误差利用递归的方式计算

然后再利用

计算梯度：

步骤304)如果层数i＝1，则继续步骤305)，否则i＝i-1，返回步骤302)；

步骤305)更新层间参数矩阵：利用小批随机梯度下降法更新各层U⁽ⁱ⁾，

首先计算各层U⁽ⁱ⁾的梯度矩阵：

然后利用小批随机梯度下降法，按照式(17)更新参数矩阵：

U⁽ⁱ⁾＝U⁽ⁱ⁾-η'▽U⁽ⁱ⁾ (17)

其中η'为微调阶段的学习率。

本说明书方法与现有技术相比的优点在于：(1)在诊断模型的无监督预训练阶段，将MMD平方项作为正则化项加入自编码器的编码参数优化目标函数，并采用随隐含层数递增的概率适配正则参数λ，能有效逐层减少领域间概率分布差异；(2)在诊断模型的无监督预训练阶段，采用自编码器隐含层的带权输入而非隐含层的输出计算最大均值差异MMD，能避免隐含层非线性映射对数据概率分布形状的改变，从而更准确的评估源域与目标域的概率分布差异；(3)在诊断模型的微调阶段，利用源域和目标域数据共同构造流形正则项并将其加入微调阶段的优化目标函数，能将源域的流形结构信息迁移到目标域，有利于更好的保持分类器判别结构与目标领域流形结构的一致性，进一步提高模型的诊断精度。

附图说明

图1是自编码器的结构；

图2是本说明书诊断方法流程

图3是预训练阶段SAE算法各层特征的PCA分布；

图4是预训练阶段本说明书方法各层特征的PCA分布；

图5是SAE算法微调阶段源域和目标域诊断精度随迭代次数的变化；

图6是本说明书方法微调阶段源域和目标域诊断精度随迭代次数的变化；

图7是诊断精度随正则参数λ取值策略的变化。

具体实施方式

下面结合说明书附图，以美国凯斯西储大学(CWRU)滚动轴承数据中心的故障数据集为算例，对本发明方法的具体实施做进一步说明。故障试验的试验对象为驱动端轴承，被诊断的轴承型号为深沟球轴承SKF6205，设置有滚动体损伤，外圈损伤与内圈损伤三种故障模式，故障尺寸为0.007英寸，采样频率为12kHz。

参加图2，本发明的一种基于深度迁移学习的旋转机械故障诊断方法包括如下步骤：

步骤101)数据准备：分别利用4种不同转速、负载工况下的振动测试数据生成源域和目标域数据，由于CWRU提供的每段数据文件长度有限，为生成更多数目的数据样本，采用重叠采样的方式截取生成样本，样本长度为400数据点。为充分验证本发明方法的有效性，根据不同的转速及负载，选择C1-C4四种工况，每种工况都有包括正常及故障在内的四种健康模式，每个模式都生成600个样本，总计2400个样本。其中训练和测试样本比例为3:2。迁移诊断任务用“Cm→Cn”表示，如“C2→C1”是指利用源域(工况C2)的带标签训练样本和目标域(工况C1)的不带标签训练样本训练诊断模型，再用训练好的模型去诊断C1工况下的测试样本，整个训练过程无需目标域数据的标签。表1为本文采用的轴承故障数据的描述。

表1采用的轴承故障数据描述

步骤102)模型准备：根据样本的长度及故障模式数目，设计模型深度为5层，各层节点分别为400，200，100，20，4。神经元激活函数类型为Sigmoid函数，概率适配正则参数设置为随隐含层的层数递增：λ＝[0.25 0.5 1.0]，流形适配正则参数γ＝0.6。预训练阶段学习率为0.2，迭代次数50，小批样本数为40；微调阶段学习率从0.2到0.1随迭代训练次数线性递减，迭代次数500，小批样本数为40。

步骤20)适配概率分布的诊断模型无监督预训练：利用小批随机梯度下降法按照步骤201)-步骤206)依次利用相邻的两个隐含层构造自编码器，进行适配概率分布的无监督预训练。由于模型有3个隐含层，所以总共需要对三个自编码器进行预训练，它们的结构分别是400-200-400，200-100-200，100-20-100。这三个自编码器的经过预训练的编码部分即为模型在微调之前的各层间参数矩阵。

其中步骤201)初始化自编码器的编码参数矩阵U⁽¹⁾和解码参数矩阵U⁽²⁾时，在

的范围内按照均匀分布随机生成参数的初始值，d为当前自编码器输入维度。

其中步骤203)计算MMD平方项时，高斯核函数k()的带宽参数s取值为源域小批样本的标准差。

步骤30)诊断模型的流形一致性微调：利用小批随机梯度下降法按照步骤301)-步骤307)依次对深度网络模型的各层间参数进行微调。其中，对于式(10)计算拉普拉斯矩阵Lp所需要的图邻接矩阵W，其N_k(x_i)的近邻数k取4。当完成模型的微调后，即可将待诊断的不同工况的测试样本输入模型，根据输出节点确定样本对应的故障模式。

为了验证本说明书方法的有效性，利用本说明书方法与堆叠自编码器(SAE)对同样12个迁移诊断任务进行诊断。SAE取相同的网络结构、激活函数类型、训练参数及小批样本数。表2为两种方法在12个诊断任务中独立运行10次的平均诊断精度及标准差。

表2在CWRU数据集的迁移诊断结果

方法

C2→C1

C3→C1

C4→C1

C1→C2

C3→C2

C4→C2

SAE

0.886±0.047

0.847±0.018

0.813±0.012

0.869±0.048

0.853±0.030

0.831±0.027

本发明方法

0.919±0.025

0.936±0.022

0.951±0.024

0.937±0.035

0.916±0.014

0.924±0.019

方法

C1→C3

C2→C3

C4→C3

C1→C4

C2→C4

C3→C4

SAE

0.879±0.028

0.848±0.019

0.806±0.024

0.890±0.034

0.912±0.023

0.824±0.017

本发明方法

0.931±0.021

0.885±0.018

0.902±0.030

0.908±0.021

0.925±0.028

0.894±0.033

由表2的诊断结果可以发现，在所有迁移诊断任务中，本说明书方法均取得了明显高于现有深度学习方法的诊断精度，其在12个任务中的平均诊断精度为91.9％，而SAE的平均精度为85.4％。为进一步展现本说明书方法适配概率分布的无监督预训练的有效性，以C4-C1的诊断任务为例，将预训练阶段源域和目标域样本在SAE模型的输入层及三个隐含层的特征投影至二维PCA(principle component analysis,主成分分析)平面，如图3所示。将样本在本说明书方法模型的输入层及三个隐含层特征投影至二维PCA平面，如图4所示。可以发现SAE算法虽然能提取振动信号的本质特征，但是无法消除领域之间的分布差异。而本说明书方法得益于概率适配正则参数随隐含层递增的概率分布适配机制，能够逐层消除概率分布差异，在最高隐含层的获得的源域和目标域特征分布形状十分接近。

图5和图6分别为微调阶段SAE及本说明书方法对源域及目标域测试数据的诊断精度随迭代次数的变化曲线。图中可以发现SAE算法尽管对源域测试数据的诊断精度提升很快，最终可以达到0.99以上的高诊断精度，但是对于目标域测试样本，诊断精度不高。而本说明书方法首先在预训练阶段就已经有效消除了两个领域的概率分布差异，并且采用了流形一致性微调，充分挖掘源域和目标域数据分布所隐藏的结构信息，因此对源域和目标域的诊断精度都能有效增长，两者差距也较小，目标域的诊断精度明显高于SAE算法。

本说明书方法对各隐含层的概率适配正则参数采用逐渐递增的策略，为说明其有效性，以CWRU数据集的C4-C1诊断任务为例，概率适配正则参数分别采取递增：λ₁＝[0.250.5 1.0]，不变：λ₂＝[0.5 0.5 0.5]及递减：λ₃＝[1.0 0.5 0.25]三种不同的取值策略时，在该算例运行10次，其平均诊断结果如图7所示。如图可知，这三种不同取值策略中，递增的概率适配正则参数取得了最高的平均诊断精度，而采用递减的正则参数精度最差。这是因为深度网络低层的特征比较通用，可迁移性较高，而高层特征和任务紧密相关，可迁移性差，因此需要设置更高的概率适配正则参数。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用、实施例都在本发明的精神和范围内。

Claims (2)

1.一种基于深度迁移学习的旋转机械故障诊断方法，其特征在于，该方法包括如下步骤：

步骤10)准备阶段，具体包括：

步骤101)数据准备：采用旋转机械的时域振动信号作为模型训练和测试的数据，将源域数据及不同工况下的目标域数据分别划分为训练集和测试集；

步骤102)模型准备：指定深度迁移学习诊断模型的深度及各层节点数、概率适配正则参数、流形适配正则参数、小批训练样本数、预训练及微调两个阶段的学习率、迭代次数；

步骤20)适配概率分布的诊断模型无监督预训练，具体包括：

步骤201)设置当前层数i＝1；

步骤202)初始化自编码器：利用模型的第i层及其上一层第i+1层构建自编码器，并初始化该自编码器的编码参数矩阵U⁽¹⁾和解码参数矩阵U⁽²⁾；

步骤203)计算目标函数对解码参数矩阵的梯度：首先计算自编码器的输出层均方误差

选取激活函数为sigmoid函数，则输出层均方误差为：

其中X_s为小批源域样本对应的输入矩阵，同时也是期望输出矩阵，Z_s为小批源域样本对应的实际输出矩阵，⊙为hadamard积运算；

然后计算误差对解码参数矩阵的梯度

其中

为小批源域样本的隐含层输出矩阵H和元素均为1的列向量组成，n_s为小批源域训练样本数目，n为自编码器隐含层的维度，R代表实向量空间；

步骤204)计算目标函数对编码参数矩阵的梯度：为了在深层模型中逐层减少源域与目标域样本的概率分布差异，基于自编码器隐含层的带权输入Q_s和Q_t计算最大均值差异maximum mean discrepancy,MMD，并将其平方项作为正则化项加入自编码器的优化目标，得到新的优化目标函数：

J_AE(θ)＝L_MSE(X_s,Z_s)+λMMD²(Q_s,Q_t) (3)

其中θ＝{U⁽¹⁾,U⁽²⁾}为自编码器的参数，λ为概率适配正则参数，用于控制这两项的相对重要性，由于将MMD平方项加入优化目标函数，因此目标函数对编码参数的梯度包括两项：

其中均方误差对编码参数的梯度为：

式中

为小批源域训练输入矩阵和元素均为1的列向量组成，m为自编码器输入层的维度；

MMD平方项对编码参数的梯度为：

其中

s为高斯核函数k()的带宽参数；

将

和

利用公式(4)计算获得

步骤205)更新自编码器的参数：利用小批随机梯度下降法，根据式(7)-(8)更新自编码器的解码和编码参数矩阵：

其中η为预训练阶段的学习率；

步骤206)如果i＝L-1，L为最高隐含层对应的层数，即完成适配概率分布的诊断模型无监督预训练，否则i＝i+1，返回步骤202)；

步骤30)诊断模型的流形一致性微调，具体包括：

步骤301)设置当前层数i＝L；

步骤302)计算流形正则项对层间参数的梯度矩阵：利用源域和目标域样本共同构造流形正则项并将其加入微调阶段的优化目标，得到模型流形一致性微调的目标函数：

J(θ')＝L_MSE(X_s,Y_s)+γMR(X_s,X_t) (9)

其中θ'表示模型所有参数集合，L_MSE(X_s,Y_s)为源域小批样本的均方误差，MR(X_s,X_t)为流形正则项，γ为流形适配正则参数，用于控制这两项的相对重要性，

设连接第i层与第i+1层的层间参数矩阵为U⁽ⁱ⁾，流形正则项对U⁽ⁱ⁾的梯度矩阵根据i的不同情况计算：

如果i＝L，即U⁽ⁱ⁾＝U^(L)为连接最高隐含层与输出层的参数矩阵，梯度矩阵为：

其中

由小批源域和目标域样本对应的第L层输出矩阵

和元素均为1的列向量组成，n_L为第L层节点数，Lp是由源域和目标域样本共同计算得到的拉普拉斯矩阵Lp＝D-W，D为对角矩阵，其对角元素D_ii＝∑_jW_w,ij，W为图邻接矩阵，

N_k(x_i)为样本x_i的k近邻集合，β为经验系数，β＝1/(n_s+n_t)²，Y_s+t为源域和目标域小批样本构成的输出矩阵；

如果i<L，则首先根据第i+1层的流形正则项误差

利用递归的方式计算

然后再利用

计算梯度矩阵：

其中

由小批源域和目标域样本对应的第i层输出矩阵

和元素均为1的列向量组成，n_i为第i层节点数；

步骤303)计算均方误差对层间参数的梯度矩阵，利用小批源域样本X_s及其标签Y_s，根据i的不同情况计算：

如果i＝L，梯度矩阵为：

其中

为小批源域样本的实际输出矩阵，其中

为小批源域样本在最高隐含层输出矩阵H^(L)和元素均为1的列向量组成；

如果i<L，则首先根据第i+1层的均方误差利用递归的方式计算

然后再利用

计算梯度：

步骤304)如果层数i＝1，则继续步骤305)，否则i＝i-1，返回步骤302)；

步骤305)更新层间参数矩阵：利用小批随机梯度下降法更新各层U⁽ⁱ⁾，

首先计算各层U⁽ⁱ⁾的梯度矩阵：

然后利用小批随机梯度下降法，按照式(17)更新参数矩阵：

其中η'为微调阶段的学习率。

2.根据权利要求1所述的一种基于深度迁移学习的旋转机械故障诊断方法，其特征是步骤204)中，自编码器优化目标函数的正则参数λ，其取值随隐含层数增加而递增。

Images