CN113191215A - 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法 - Google Patents

Abstract

本发明公开了融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，该方法包括以下步骤：1)获取原始振动信号并对数据进行标准化处理构建训练及测试样本；2)构建融合注意力模块与孪生网络故障诊断模型，以孪生网络为构架，特征提取部分为融合了长短时记忆结构的复合动态卷积网络，并利用训练样本进行训练；3)将待诊断的测试数据输入训练好的故障诊断模型中，得到故障类型结果。本发明将融合了长短时记忆结构的复合动态卷积网络置于孪生网络框架中，其中动态卷积网络初步提取时频图的相关特征，注意力长短时记忆网络进一步提取复杂场景下的轴承故障程度特征，本发明可实现有限数据集条件下的滚动轴承故障诊断功能。

Description

融合注意力机制与孪生网络结构的滚动轴承故障诊断方法

技术领域

本发明属于机械状态监测与故障诊断技术领域，具体涉及融合注意力机制与孪生网络结构的滚动轴承故障诊断方法。

背景技术

在人工智能领域，注意力模块己成为神经网络结构的重要组成部分。它可以利用人类视觉机制进行直观解释，通过允许模型动态地关注有助于执行手头上任务的输入的某部分，将这些相关性概念结合起来，从而提高模型的性能。通过将动态卷积网络将注意力模块引入到传统卷积网络中，注意力根据输入动态地调整每个卷积核的权重，从而动态聚合多个并行卷积核，通过注意力以非线性方式叠加卷积核具有更强的特征表达和提取能力。注意力长短时记忆网络将注意力模块与长短时记忆网络相融合，通过注意力模块对输入数据进行处理，以便使长短时记忆网络对某些重要的信息给予更多的关注，从而使得长短时记忆网络得遗忘门结构、输出门结构与输入门结构得信息更新更加准确，从而提升了长短时记忆网络的性能。

滚动轴承在各类机械装备中应用广泛，其大多长期处于高速运转状态且使用数量较大，它们的健康状态直接影响着设备的稳定运行，对于设备安全性和稳定性具有重要意义。现有深度学习的故障分类方法存在两大问题：需要大量故障样本数据，而且数据需满足独立同分布的要求，但是故障样本的获取通常需要付出高昂的实验代价，对于各类变工况、复杂设备而言，获取大量符合要求的样本显然难以实现。

发明内容

本发明的目的在于提供融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，最大化利用现有数据，提高模型的泛化能力，从而获得较高的分类准确度。

本发明提出了一种新型的故障诊断模型，它以孪生网络为基础构架，并融合了长短时记忆结构的复合动态卷积网络。利用动态卷积层、注意力模块和长短时记忆网络层相融合，组成用于特征提取的复合动态卷积网络，充分利用孪生网络可放大相似样本微小差异的优势、动态卷积强大的特征提取能力和注意力长短时记忆网络对时序数据强大处理能力。从而在较小的故障样本集，获得较高的诊断精度。

本发明所采用的技术方案是：融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，将数据分别输入到两个完全相同的复合动态卷积网络，通过复合动态卷积网络进行特征提取，并输入全连接层映射到特征空间得到特征向量，使用距离公式比较两组特征的相似程度，从而达到样本分类的目的；融合注意力模块与孪生网络故障诊断模型的特征提取部分为融合了长短时记忆结构的复合动态卷积网络，复合动态卷积网络由动态卷积层、注意力模块和长短时记忆层构成，其在保持模型较低计算预算的前提下提升网络的特征表达和提取能力，并使网络具有长时记忆的能力，从而习得样本间得关系；动态卷积层用以初步提取时频图的相关特征，长短时记忆网络进一步提取复杂场景下的轴承故障程度特征，注意力模块针对不同故障类型和严重程度进行自动选择，实现各种故障特征的加权表达凸显重要特征。

本发明的特点还在于，

融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，具体操作步骤如下：

步骤1:对振动信号进行标准化处理并转换为时频图，并分为训练样本和测试样本；其中振动信号转换为图像的方法为：以Coiflets为小波基的小波变换；

步骤2：构建融合注意力模块与孪生网络的故障诊断模型，故障诊断模型架构包括两个复合动态卷积网络，其中复合动态卷积网络的特征提取部分融合了长短时记忆结构，并利用训练样本对该故障诊断模型进行训练；

步骤3：根据样本特征和输出之间的正确程度，选择最适合该故障诊断模型构架的损失函数；

步骤4:利用不同的样本量训练融合注意力模块与孪生网络的故障诊断模型，对比得出该模型所需的最少样本量；

步骤5:将测试数据输入训练好的故障诊断模型中，得到故障类型结果。

步骤1中Coiflets小波变换的具体方法为：

对标准化处理后的时频图划分为训练集及测试集，且训练集图片带有类别标签：从相同或不同组中对应选取图片组成样本对，相同组选取的样本对其类别标签为1，不同组选取的样本对其类别标签为0。

复合动态卷积网络的构造细节情况如下：

①2个动态卷积层：动态卷积层1：将样本输入到注意力模块中，注意力模块生成K个归一化注意力权重参数：Π₁，Π₂,…,∏_K，与K个平行卷积的卷积核对应相乘后相加得到新卷积核，该新卷积核以卷积的方式结合到分类网络中；注意力模块：动态输入样本信息，通过池化处理捕捉样本信息得到池化特征图 1*1*c，c为通道数；池化特征图进入第一个全连接层进行降维，得到第一特征图；通过ReLU函数对降维后的第一特征图引入非线性因素，得到第二特征图；第二特征图进入第二全连接层进行升维，维度升至1*1*c得到第三特征图，即为元素个数为c的一维向量；最后利用softmax函数对一维向量进行归一化，得到K个注意力权重：∏₁，∏₂,…,∏_K，动态卷积层2与动态卷积层1结构相同；

②2个注意力长短时记忆网络层；

注意力长短时记忆网络1：将动态卷积层2的输出作为注意力长短时记忆网络的输入，根据该层的输入和Key计算权重系数，并通过类SoftMax进行归一化处理，后根据权重系数对Value进行加权求和，将注意力模块的输出与动态卷积层2的输出一同作为长短是记忆网络的输入；

注意力长短时记忆网络2：每层长短时记忆网中的计算单元数量为T，第d 层LSTM网络的第D时刻下长短时记忆网络的计算单元的计算流程为：

式中，

分别表示第d层长短时记忆网络的第t时刻下长短时记忆网络计算单元

中的输入门、遗忘门、输出门、候选记忆细胞、记忆细胞以及隐藏状态的计算值，下标d＝1,2,…,D；D表示的是长短时记忆网络的总层数；当d＝1时，Y为输入序列中第t个数据向量，当d>1时，Y为第 d-1层长短时记忆网络的第t时刻的输出值

为第d层长短时记忆网络中第t-1时刻计算单元的输出值，且当t＝1时，

为0；

分别为输入门、遗忘门、输出门和候选记忆细胞预设的权重参数；

分别为输入门、遗忘门、输出门和候选记忆细胞预设的偏置参数；σ(·)为 sigmoid函数，tanh(·)为双曲线正切函数；⊙为同或运算符，[·]为矩阵乘法运算符。

故障诊断模型的结构为：

故障诊断模型同时接受两个相同或不同类型样本的输入，分别经过一个相同且参数相同的复合动态卷积网络，得到两组低维的特征值，并统一输入到误差层；孪生网络由输入层、特征提取层、相似性度量层以及故障诊断层组成，构造细节情况如下：

①特征提取层为两个结构相同、参数相同的复合动态卷积网络；

②相似性度量层通过一阶范数的指数函数对第一个复合动态卷积网络输出的特征向量T₁和第二个复合动态卷积网络输出的特征向量T₂进行相似性度量，其公式为：D_t(T₁,T₂)＝exp(-‖T₁-T₂‖₁)∈[0,1]

式中：D_t(T₁,T₂)表示训练时特征向量T₁和特征向量T₂的距离；‖·‖表示范数运算符；

③故障诊断层为softmax层，用于对第一个复合动态卷积网络输出的特征向量T₁进行分类得到输入数据对应的状态类型，从而确定设备的运行状态；

④故障诊断模型的损失函数采用对比损失函数，其公式为：

式中：N为样本个数；l为两个输入是否为相同类别的控制变量，当l＝0时，两个输入属于同一类，l＝1时，两个输入不属于同一类；D_t为训练时特征向量 T₁和特征向量T₂的距离；z为设定的阈值。

步骤5具体如下：

①通过预训练好的滚动轴承故障诊断模型，计算所有标准集的特征向量V；

②给定预测样本X，通过故障诊断模型输出其特征向量V_x；

③计算预测样本X与标准集中所有故障类型的平均欧式距离S_m，公式为

S_m＝mean(S(V_x,V_m))

S(V_x,V_m)＝{D_p(V_x,V_mn)|1≤n≤N}

其中，V_m表示标准集特征V中的第m类故障类型特征向量，D_p表示预测时第m类故障类型特征向量与预测样本X的特征向量两个特征V_x的欧式距离， V_mn表示的是第m类故障样本的第n个样本的特征向量。

本发明的有益效果是：

(1)孪生网络框架通过组合训练对的形式，避免了神经网络需要大量数据集的要求；

(2)本发明提出了一种以孪生网络为构架并融合长短时记忆结构的复合动态卷积网络的网络模型，使模型具有了强大的特征提取和处理长时序列的能力，并达到了精度和速度的平衡。

(3)本方法适用于滚动轴承故障诊断，具备高度可扩展性；

附图说明

图1是本发明融合注意力机制与孪生网络结构的滚动轴承故障诊断方法的流程图；

图2是本发明故障诊断模型整体框架结构图；

图3是本发明的复合动态卷积网络结构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是融合注意力机制与孪生网络结构的滚动轴承故障诊断方法流程如图1所示，孪生网络的特殊架构主要用来衡量两个输入样本的相似程度，通过使同类样本尽可能相近，不同类样本尽可能远离的方式完成对模型的训练。此模型可有效解决因故障样本数据稀少而使模型训练不足的问题。动态卷积根据注意力动态聚合多个并行卷积核，在保证计算效率的同时，极大的提升了模型的尺寸和容量，使网络在精度提升的同时与运行耗时之间取得了平衡。动态卷积网络和注意力长短时记忆网络有效结合可充分利用其各自的优势提取，有效提取故障特征。其中动态卷积用于从振动信号中初步提取相关特征，注意力长短时记忆网络用于进一步加工相关特征实现复杂场景下的轴承故障和其严重程度的诊断。融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，由如下依次执行的步骤组成：

步骤1：将原始振动信号通过小波变换转换为时频图并分为训练集和测试集；

1)将N组不同损伤程度的一维振动信号通过小波变换转化为二维时频图；

2)将N组样本两两组合，得到正样本对及负样本对。从相同或不同组中对应选取图片组成样本对，相同组选取的样本对其为正样本，不同组选取的样本对为负样本对；

设含有N个类别，每个类别有m个样本：x₁，x₂，…，x_m；

每次在同一组故障集中取两个不重复样本组成一个样本对，从而得到正样本对集；每次在不同组数据集中取两个不重复样本组成一个负样本对，从而得到负样本对集；

正样本对的数量为：

负样本对的数量为：

3)划分训练集、验证集及测试集：将数据划分为75％的训练数据和25％的测试样本对，再将训练数据分为75％的训练样本对和25％的验证样本，且训练集图片带有类别标签：正样本对标记为1，负样本对标记为0。

步骤2：构建融合注意力模块与孪生网络的故障诊断模型，所述故障诊断模型架构包括两个复合动态卷积网络，其中复合动态卷积网络的特征提取部分融合了长短时记忆结构，并利用训练样本对该故障诊断模型进行训练；

1)搭建网络模型：如图3所示，动态卷积中将注意力模块和卷积核叠加。注意力模块由avg pool和两个全卷积组成。其中，

2)如图2，依次将训练样本对输入到故障诊断模型模型中，通过复合动态卷积网络进行特征提取，每次输出两个特征向量T₁,T₂；具体运算如下：

动态输入样本信息，通过池化处理捕捉样本信息得到池化特征图1*1*c， c为通道数；池化特征图进入第一个全连接层进行降维，得到第一特征图；通过 ReLU函数对降维后的第一特征图引入非线性因素，得到第二特征图；第二特征图进入第二全连接层进行升维，维度升至1*1*c得到第三特征图，即为元素个数为c的一维向量；最后利用softmax函数对一维向量进行归一化，得到K 个注意力权重：Π₁，Π₂,…,Π_K。注意力模块生成K个归一化注意力权重参数与 K个平行卷积的卷积核对应相乘后相加得到新卷积核，并通过BN层和ReLU激活函数输出。将动态卷积层2的输出作为注意力长短时记忆网络的输入。根据该层的输入和Key计算权重系数，并通过类SoftMax进行归一化处理，后根据权重系数对Value进行加权求和。将注意力模块的输出与动态卷积层2的输出一同作为长短是记忆网络的输入。每层长短时记忆网中的计算单元数量为T，第d层LSTM网络的第D时刻下长短时记忆网络的计算单元的计算流程为：

式中，

分别表示第d层长短时记忆网络的第t时刻下长短时记忆网络计算单元

中的输入门、遗忘门、输出门、候选记忆细胞、记忆细胞以及隐藏状态的计算值，下标d＝1,2,…,D；D表示的是长短时记忆网络的总层数，当d＝1时，Y为输入序列中第t时刻数据向量，当d>1时，Y为第d-1层长短时记忆网络的第t时刻的输出值

为第d层长短时记忆网络中第t-1时刻计算单元的输出值，且当t＝1时，

为0；

分别为输入门、遗忘门、输出门和候选记忆细胞预设的权重参数；

分别为输入门、遗忘门、输出门和候选记忆细胞预设的偏置参数；σ(·)为sigmoid函数，tanh(·)为双曲线正切函数；⊙为同或运算符，[·]为矩阵乘法运算符。

3)计算T₁,T₂的欧式距离D_t(T₁,T₂)，公式为：

D_t(T₁,T₂)＝exp(-‖T₁-T₂‖₁)∈[0,1]

式中：D_t(T₁,T₂)表示训练时特征向量T₁和特征向量T₂的距离；‖·‖表示范数运算符；

4)计算误差，并反向传播以最小化对比损失函数，公式为：

其中，l代表训练对标签，l＝1时表示训练对相似，l＝0时表示训练对不相似；z用来表示不相似训练对距离的控制程度

5)利用梯度下降法多次迭代优化网络的对比损失函数，求得最优权值，完成对深度卷积孪生网络模型的训练。

步骤3：根据样本特征和输出之间的正确程度，选择最适合该故障诊断模型构架的损失函数；

步骤4:利用不同的样本量训练融合注意力模块与孪生网络的故障诊断模型，对比得出该模型所需的最少样本量；

步骤5:将测试数据输入训练好的故障诊断模型中，得到故障类型结果。

1)通过预训练好的滚动轴承故障诊断模型，计算所有标准集的特征向量V；

2)给定预测样本X，通过模型输出其特征向量V_x；

3)计算预测样本X与标准集中所有故障类型的平均欧式距离S_m，公式为

S_m＝mean(S(V_x,V_m))

S(V_x,V_m)＝{D_p(V_x,V_mn)|1≤n≤N}

其中，V_m表示标准集特征V中的第m类故障类型特征向量，D_p表示预测时第m类故障类型特征向量与预测样本X的特征向量两个特征V_x的欧式距离， V_mn表示的是第m类故障样本的第n个样本的特征向量。

本发明所采用孪生网络框架通过组合训练对的形式，避免了神经网络需要大量数据集的要求；本方法将动态卷积、注意力长短时记忆网络相结合使模型具有了强大的特征提取和处理长时序列的能力，并达到了精度和速度的平衡；适用于滚动轴承故障诊断，具备高度可扩展性。

Claims (6)

1.融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，其特征在于，将数据分别输入到两个完全相同的网络块，通过网络块进行特征提取，并输入全连接层映射到特征空间得到特征向量，使用距离公式比较两组特征的相似程度，从而达到样本分类的目的；融合注意力模块与孪生网络故障诊断模型的特征提取部分为融合了长短时记忆结构的复合动态卷积网络，复合动态卷积网络由动态卷积层、注意力模块和长短时记忆层构成，其在保持模型较低计算预算的前提下提升网络的特征表达和提取能力，并使网络具有长时记忆的能力，从而习得样本间得关系；动态卷积层用以初步提取时频图的相关特征，长短时记忆网络进一步提取复杂场景下的轴承故障程度特征，注意力模块针对不同故障类型和严重程度进行自动选择，实现各种故障特征的加权表达凸显重要特征。

2.根据权利要求1所述的融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，其特征在于，具体操作步骤如下：

步骤1:对振动信号进行标准化处理并转换为时频图，并分为训练样本和测试样本；其中振动信号转换为图像的方法为：以Coiflets为小波基的小波变换；

步骤2：构建融合注意力模块与孪生网络的故障诊断模型，所述故障诊断模型架构包括两个复合动态卷积网络，其中复合动态卷积网络的特征提取部分融合了长短时记忆结构，并利用训练样本对该故障诊断模型进行训练；

步骤3：根据样本特征和输出之间的正确程度，选择最适合该故障诊断模型构架的损失函数；

步骤4:利用不同的样本量训练融合注意力模块与孪生网络的故障诊断模型，对比得出该模型所需的最少样本量；

步骤5:将测试数据输入训练好的故障诊断模型中，得到故障类型结果。

3.根据权利要求2所述的融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，其特征在于，步骤1中Coiflets小波变换的具体方法为：

对标准化处理后的时频图划分为训练集及测试集，且训练集图片带有类别标签：从相同或不同组中对应选取图片组成样本对，相同组选取的样本对其类别标签为1，不同组选取的样本对其类别标签为0。

4.根据权利要求2所述的融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，其特征在于，所述复合动态卷积网络的构造细节情况如下：

①2个动态卷积层：动态卷积层1：将样本输入到注意力模块中，注意力模块生成K个归一化注意力权重参数：Π₁，Π₂,…,Π_K，与K个平行卷积的卷积核对应相乘后相加得到新卷积核，该新卷积核以卷积的方式结合到分类网络中；注意力模块：动态输入样本信息，通过池化处理捕捉样本信息得到池化特征图1*1*c，c为通道数；池化特征图进入第一个全连接层进行降维，得到第一特征图；通过ReLU函数对降维后的第一特征图引入非线性因素，得到第二特征图；第二特征图进入第二全连接层进行升维，维度升至1*1*c得到第三特征图，即为元素个数为c的一维向量；最后利用softmax函数对一维向量进行归一化，得到K个注意力权重：∏₁，∏₂,…,Π_K，动态卷积层2与动态卷积层1结构相同；

②2个注意力长短时记忆网络层；

注意力长短时记忆网络1：将动态卷积层2的输出作为注意力长短时记忆网络的输入，根据该层的输入和Key计算权重系数，并通过类SoftMax进行归一化处理，后根据权重系数对Value进行加权求和，将注意力模块的输出与动态卷积层2的输出一同作为长短时记忆网络的输入；

注意力长短时记忆网络2：每层长短时记忆网中的计算单元数量为T，第d层LSTM网络的第D时刻下长短时记忆网络的计算单元的计算流程为：

式中，

分别表示第d层长短时记忆网络的第t时刻下长短时记忆网络计算单元

中的输入门、遗忘门、输出门、候选记忆细胞、记忆细胞以及隐藏状态的计算值，下标d＝1,2,…,D，D表示的是长短时记忆网络的总层数；当d＝1时，Y为输入序列中第t个数据向量，当d>1时，Y为第d-1层长短时记忆网络的第t时刻的输出值

为第d层长短时记忆网络中第t-1时刻计算单元的输出值，且当t＝1时，

为0；

分别为输入门、遗忘门、输出门和候选记忆细胞预设的权重参数；

分别为输入门、遗忘门、输出门和候选记忆细胞预设的偏置参数；σ(·)为sigmoid函数，tanh(·)为双曲线正切函数；⊙为同或运算符，[·]为矩阵乘法运算符。

5.根据权利要求2或3所述的融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，其特征在于，所述故障诊断模型的结构为：

故障诊断模型同时接受两个相同或不同类型样本的输入，分别经过一个相同且参数相同的复合动态卷积网络，得到两组低维的特征值，并统一输入到误差层；孪生网络由输入层、特征提取层、相似性度量层以及故障诊断层组成，构造细节情况如下：

①特征提取层为两个结构相同、参数相同的复合动态卷积网络；

②相似性度量层通过一阶范数的指数函数对第一个复合动态卷积网络输出的特征向量T₁和第二个复合动态卷积网络输出的特征向量T₂进行相似性度量，其公式为：D_t(T₁,T₂)＝exp(-‖T₁-T₂‖₁)∈[0,1]

式中：D_t(T₁,T₂)表示训练时特征向量T₁和特征向量T₂的距离；‖·‖表示范数运算符；

③故障诊断层为softmax层，用于对第一个复合动态卷积网络输出的特征向量T₁进行分类得到输入数据对应的状态类型，从而确定设备的运行状态；

④故障诊断模型的损失函数采用对比损失函数，其公式为：

式中：N为样本个数；l为两个输入是否为相同类别的控制变量，当l＝0时，两个输入属于同一类，l＝1时，两个输入不属于同一类；D_t为训练时特征向量T₁和特征向量T₂的距离；z为设定的阈值。

6.根据权利要求5所述的融合注意力机制与孪生网络结构的滚动轴承故障诊断方法，其特征在于，步骤5具体如下：

①通过预训练好的滚动轴承故障诊断模型，计算所有标准集的特征向量V；

②给定预测样本X，通过故障诊断模型输出其特征向量V_x；

③计算预测样本X与标准集中所有故障类型的平均欧式距离S_m，公式为

S_m＝mean(S(V_x,V_m))

S(V_x,V_m)＝{D_p(V_x,V_mn)|1≤n≤N}

其中，V_m表示标准集特征V中的第m类故障类型特征向量，D_p表示预测时第m类故障类型特征向量与预测样本X的特征向量两个特征V_x的欧式距离；V_mn表示的是第m类故障样本的第n个样本的特征向量。

Images