CN114239641A - 一种联合注意力机制选择核卷积残差网络的故障诊断方法 - Google Patents

Abstract

本发明公开了一种联合注意力机制选择核卷积残差网络的故障诊断方法，该方法通过收集轴承故障样本数据并由此建立数据集，将数据集划分为训练集和测试集，通过联合注意力机制选择核卷积残差网络对训练集进行训练，得到网络权重，将所述网络权重应用于模型，得到轴承故障诊断联合注意力机制选择核卷积残差测试网络，将测试集通过所述测试网络对轴承故障有效的综合诊断。本发明能够充分学习故障特征细节信息，忽略网络内部冗余信息，增强各位置间上下文依赖性，强化有效特征和抑制无关特征提升网络的判别能力，增强模型对判别性特征的提取能力，提升网络的识别性能和精度。

Description

一种联合注意力机制选择核卷积残差网络的故障诊断方法

技术领域

本发明涉及轴承故障诊断领域，特别涉及一种联合注意力机制选择核卷积残差网络的故障诊断方法。

背景技术

滚动轴承作为旋转机械的关键机械部件，被广泛应用于各种工业领域，其运行状态监测与故障诊断对于保证装备可靠性、避免安全事故具有重要的意义。然而，实际工程中，由于轴承数据呈现出了数据容量大、健康状况多样性、数据产生速率快的特性，轴承故障诊断亟需向高速、高精、高效方向发展。

传统机器学习方法仍然主要依赖于人工劳动，诊断模型的性能也往往受到手工提取特征的限制，当数据结构复杂时，难以提取到有效特征。此外，传统的机器学习理论由于泛化性能较低，无法适用于日益增长的数据，降低了诊断精度。深度学习在网络层数的不断加深以及参数规模的持续扩大时会遭遇难以训练的问题。

发明内容

基于以上情况，本发明提出了一种联合注意力机制选择核卷积残差网络的故障诊断方法，这种方法能够充分学习故障特征细节信息，忽略网络内部冗余信息，增强各位置间上下文依赖性，强化有效特征和抑制无关特征提升网络的判别能力，增强模型对判别性特征的提取能力，提升网络的识别性能和精度。

本发明提出的一种联合注意力机制选择核卷积残差网络的故障诊断方法，包括：

通过加速度传感器获取轴承故障样本数据，对获取的轴承故障样本数据用相等长度的窗口进行划分，以及对所述轴承故障样本数据进行分类，即将不同故障类型的数据标签为不同数值，根据所述分类后的轴承故障样本数据建立数据集，再将数据集分为1:1的训练集和测试集；

将所述训练集通过联合注意力机制选择核卷积残差网络进行训练，得到网络权重ResNet CSAM.pth；

将所述网络权重ResNetCSAM.pth应用于所述联合注意力机制选择核卷积残差网络中，得到可用于测试轴承故障的联合注意力机制选择核卷积残差测试网络；

将所述测试集数据送入联合注意力机制选择核卷积残差测试网络中进行特征提取，通过所述联合注意力机制选择核卷积残差测试网络，对所述轴承故障类别进行综合评估，输出故障的诊断结果。

可选地，所述轴承故障样本数据包括：

内圈故障数据，外圈故障数据，滚动体故障数据中的至少一种。

可选地，所述轴承故障样本数据采集位置包括：

驱动端加速计，风扇端加速计，底座加速计。

可选地，所述联合注意力机制包括：

通道注意力机制，包括：最大池化层，平均池化层，含有隐藏层的共享多层感知器。

空间注意力机制，包括：最大池化层，平均池化层，卷积层。

可选地，所述选择核卷积包括：分割操作、融合操作、选择操作。

可选地，所述残差网络ResNet包括：卷积层，池化层，多个采样层以及全连接层。

可选地，所述训练集与测试集的数据量之比为1:1。

本发明提供了一种联合注意力机制选择核卷积残差网络的轴承故障诊断方法，通过收集轴承故障样本数据，以及对所述轴承故障样本数据进行分类，根据所述分类后的轴承故障样本数据建立数据库，对相关领域数据集进行划分，通过一种联合注意力机制选择核卷积残差网络对划分后的所述训练集进行训练，得到网络权重ResNetCSAM.pth，将所述网络权重Res NetCSAM.pth应用于模型，得到轴承故障诊断联合注意力机制选择核卷积残差测试网络，并将测试集通过所述轴承故障诊断联合注意力机制选择核卷积残差测试网络，对所述轴承故障类别进行综合评估，输出故障的诊断结果，实现对轴承故障有效的综合诊断。

本发明解决了传统深度学习网络在机械设备故障诊断中故障特征细节信息不明显、网络内部信息冗余、各位置间上下文依赖性弱等问题，本发明将通道注意力机制和空间注意力机制相融合，提出通道-空间注意力机制的特征增强模块。空间注意力模块在空间维度上捕获故障信号特征各位置之间的上下文依赖性，使得各个位置对特征的提取都能够做出贡献。通道注意力模块在通道维度上捕获各通道特征之间的依赖性，充分利用了通道之间的关系，增强了故障信号特征的特征表示能力。在轴承故障样本数据进行试验结果表明，本发明具备优良的特征学习能力，有很强的故障分类和泛化性能。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种联合注意力机制选择核卷积残差网络的轴承故障诊断方法流程图；

图2为一种联合注意力机制选择核卷积残差网络的轴承故障诊断方法工作原理图；

图3为实施例中所述联合注意力机制选择核卷积模块示意图；

图4为实施例中联合注意力机制残差网络中任意一个残差单元的结构示意图；

图5为实施例中所述联合注意力机制选择核卷积残差网络分类精度图；

图6为实施例中所述联合注意力机制选择核卷积残差网络混淆矩阵图；

图7为实施例中所述联合注意力机制选择核卷积残差网络特征分类分布图。

具体实施方式

下面将详细地对实施例进行说明，其实例表示在附图中。下面的描述设计附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表于本发明相一致的所有实施方式。仅是与权利要求书中所详述的、本发明的一些方面相一致的系统和方法的示例。

联合注意力机制选择核卷积残差网络是指，在核卷积和残差网络的基础上融合空间注意力机制和通道注意力机制的融合注意力机制。充分利用全局上下文信息自适应地捕获位置之间的空间依赖性，挖掘通道映射之间的相互关系，增强特征表示能力。所述联合注意力机制选择核卷积残差网络主要包括两部分，第一部分为基于联合注意力机制选择核卷积，第二部分为基于联合注意力机制残差网络，将第二部分与第一部分串联，并将第二部分的结果作为第一部分的输入，每一部分的结构分别按照图3和图4详细描述。

下面结合图1-图7对本发明实施方式做进一步说明。

如图1-2所示，本发明提供了一种基于联合注意力机制选择核卷积残差网络的故障诊断方法，包括：

S1：通过加速度传感器获取轴承故障样本数据，对获取的轴承故障样本数据用相等长度的窗口进行划分，以及对所述轴承故障样本数据进行分类，即将不同故障类型的数据标签为不同数值，根据所述分类后的轴承故障样本数据建立数据集，再将数据集分为1:1的训练集和测试集；

步骤S1)中，通过驱动端加速计，风扇端加速计，底座加速计等位置的传感装置收集所需使用的轴承内圈故障，外圈故障，滚动体故障等相关故障样本数据(即轴承故障样本数据)，并完成相关故障样本数据的标签分类构建，完成数据库建立。

进一步地，本发明所述轴承故障轴承数据来源于凯斯西储大学轴承数据中心(Case West ern Reserve University Bearing Data Center)的CWRU数据集，CWRU数据集所包含的内容主要为旋转机械轴承的振动信号和振动故障。

S2：将所述训练集通过联合注意力机制选择核卷积残差训练网络进行训练，得到训练网络权重ResNetCSAM.pth；

ResNet(Residual Neural Network)是一种深度残差网络，作为基础网络，主要通过“捷径连接”的方式，融合全局特征和局部特征，全局特征包含了整个特征的全局信息，但是往往会忽略一些细节信息，局部特征关注分割部分的特征信息，能够获得更多的细节和更好的鲁棒性，但是局部特征会缺乏全局的上下文依赖性。所述一种基于联合注意力机制选择核卷积残差网络的故障诊断方法，通过融入通道注意力和空间注意力两种注意力模块。空间注意力模块利用全局上下文信息，并基于空间注意力机制有选择地捕获位置之间的空间依赖性，实现了空间维度上各点的共同贡献，提取到更加鲁棒的特征。通道注意力模块挖掘通道映射之间的相互关系，建模各个特征通道的重要程度，增强特征表示能力。两者联合使用能够捕获到细粒度级别的注意力之间的依赖性，而且泛化性好，在特征提取过程中能够增强特征的表达能力，提高识别的准确率。

进一步地，如图3所示，本发明所述联合注意力机制选择核卷积模块包括：分割操作、融合操作、选择操作。

进一步地，分割操作是指，对于任意给定特征映射

H、W和C分别为X的通道数、高度和宽度，

为有理数。默认情况下，我们首先分别执行两个分支的转换，分别为

和

转换过程中两个分支的卷积核尺寸分别为3和5，U和V分别为两个分支的转换结果。

进一步地，融合操作是指，首先将两个分支的转换结果U和V通过元素的求和进行融合,

T为两个分支融合的结果，

为元素求和。然后通过全局平均池化操作F_gp嵌入全局信息

C为S的维度。具体来说，S的任意第c′(c′＝1,2,...,C)个元素S_c'是通过空间维度H×W收缩T来计算的，

其中T_c'(i,j)表示通道值为i(i＝1,2,...,H)，高度为j(j＝1,2,...,W)的两个分支融合结果的第c′个元素。此外，通过一个简单的全连接FC层F_fc实现创建一个紧凑特征

d为Z的行向量维度，进行精确和自适应选择操作，这样降低了维数获得了更高的效率。Z＝F_fc(S)＝δ(B(W·S))，δ是ReLU函数，B表示批量归一化操作，

d＝max(C/r,L)，r为缩减比，L表示d的最小值。

进一步地，选择操作是指，一个跨通道的软注意力用于自适应地选择信息的不同空间尺度，该信息由紧凑的特征描述符z引导，具体来说，

其中

A，B分别表示两个不同的softmax算子参数，a，b分别表示U,V软注意力向量。

是A的第c′行，a_c′是a的第c′个元素，

是B的第c′行，b_c′是b的第c′个元素。在两个分支下，因为a_c′+b_c′＝1，故矩阵B是冗余的。在通道-空间注意力机制下，

其中，M_s表示通道注意力机制，M_c表示空间注意力机制，

表示元素求积，U'＝(U₁,U₂,...,U_c′,...,U_C)，V'＝(V₁,V₂,...,V_c′,...,V_C)，通过各核上的关注权值得到最终的特征映射，Y_c′＝a_c′·U_c′+b_c′·V_c′，其中a_c′+b_c′＝1，Y＝[Y₁,Y₂,...,Y_c′,...,Y_C]，

进一步地，如图4所示，本发明所述联合注意力机制残差网络包括：深度残差网络(Res Net)，联合注意力机制模块。

进一步地，所述联合注意力机制残差网络包括依次连接的N个残差单元，I为任意一个残差单元的输入，F(·)为残差函数。直接把输入I传到输出作为初始结果，输出H(I)＝F(I)+I，当F(I)＝0时，H(I)＝I，即图4中的恒等映射(即同等映射)。残差单元的训练目标是将残差F(I)逼近于0，使得准确率不再随着深度的不断加大而下降。残差单元的跳跃式结构改变了传统的神经网络某一层的输出只能作为其下一层输入的惯例，使某一层的输出可以直接跨越多层作为后面某一层的输入，为网络层数增加引发模型精确度下降的难题提供了新的解决思路。将残差单元的训练目标优化为残差F”(I)逼近于0，其中F”(·)为联合注意力机制残差函数，用以减少冗余特征，使得增强特征残差准确率的同时保持较高的鲁棒性。联合注意力机制残差网络执行如下：任意第l个残差单元的输出特征z_l＝f(y_l)，其中y_l为第l个残差单元的输入特征，f(·)为线性整流函数ReLU的激活函数，l＝1,2,...,N，然后通过联合注意力机制残差函数，获得

其中z_l为第l个残差单元的输出特征，ω_l为与第l个残差单元相关的权重，最终获得y_l+1＝h(z_l)+F”(z_l+ω_l)，其中h(·)为恒等映射函数，h(z_l)＝z_l。这N个残差单元依次连接，第N个残差单元的输出特征z_N则为所述联合注意力机制残差网络的最终输出。

对所收集到的其他待处理的数据，例如故障轴承对应的CWRU旋转机械轴承数据及进行划分，确定正常样本数据集、故障样本数据集，并按照1:1的比例划分训练集和测试集，并在联合注意力机制选择核卷积残差网络上进行训练，如图4所示，每个残差单元具体包括依次排布的一个卷积层，一个批量归一化操作，一个ReLU操作，一个卷积层，一个批量归一化操作，一个通道注意力机制，一个空间注意力机制。其中，通道注意力机制，包括：一个最大池化层，一个平均池化层，一个含有隐藏层的共享多层感知器。空间注意力机制，包括：一个最大池化层，一个平均池化层，一个卷积层。

S3：使用深度学习的方法，将已经训练完成的网络权重ResNetCSAM.pth应用于联合注意力机制选择核卷积残差网络，得到联合注意力机制选择核卷积残差测试网络。

S4：将所述测试集数据送入联合注意力机制选择核卷积残差测试网络中进行特征提取，通过所述联合注意力机制选择核卷积残差测试网络，对所述轴承故障类别进行综合评估，输出故障的诊断结果，如图5-图7所示，图5为平均测试准确率变化趋势，对上述发明所得的损失函数进行分析，其中损失函数为理论输出和实际输出之间的差别，可以看出，本发明所提出的故障诊断方法对于多种滚动轴承故障具有极好的分类效果，平均测试准确率可达100％。图6为轴承故障分类结果混淆矩阵图，坐标值1-10分别表示滚动轴承的10种状态，对角线上的深色区域为每类故障归一化后所对应的准确率，其余部分的数值为误分类率。其中，横坐标是预测的健康状态类别，纵坐标是实际的健康状态类别。图7为轴承故障分类结果二维可视化图，通过本发明诊断后的滚动轴承的特征在不同故障状态下分别呈现出明显的可分性。综合所有数据结果，可以看出，基于联合注意力机制选择核卷积残差网络的轴承故障诊断发明对滚动轴承健康状态的诊断精度非常高，获得了良好的诊断效果，可以应用于该诊断试验中。

本发明提供一种基于联合注意力机制选择核卷积残差网络的轴承故障诊断方法，通过收集轴承故障样本数据，以及对所述故障样本数据进行分类，根据所述分类后的故障样本数据建立数据库，对相关领域数据集进行划分，通过联合注意力机制选择核卷积残差网络对划分后的所述数据集进行训练，得到网络权重ResNetCSAM.pth，将所述网络权重ResNetCSAM.pth应用到所述测试集数据库，得到轴承故障诊断联合注意力机制选择核卷积残差网络，获取实际轴承故障样本数据，通过所述的联合注意力机制选择核卷积残差网络，对所述轴承故障类别进行综合评估，输出故障的诊断结果。

本发明提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本发明保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本发明方案所扩展出的任何其他实施方式都属于本发明的保护范围。

Claims (6)

1.一种联合注意力机制选择核卷积残差网络的故障诊断方法，其特征在于，该方法具体包括如下步骤：

步骤S1：通过加速度传感器获取轴承故障样本数据，对获取的轴承故障样本数据用相等长度的窗口进行划分，并对所述轴承故障样本数据进行分类，即为不同故障类型的轴承故障样本数据设置不同的数据标签，根据分类后的轴承故障样本数据建立数据集，再将所述数据集按预设比例划分为训练集和测试集；

步骤S2：将所述训练集通过联合注意力机制选择核卷积残差网络进行训练，得到网络权重ResNetCSAM.pth；

步骤S3：将所述网络权重ResNetCSAM.pth应用于联合注意力机制选择核卷积残差网络中，得到用于测试轴承故障的联合注意力机制选择核卷积残差测试网络；

步骤S4：将所述测试集中的待测试数据送入联合注意力机制选择核卷积残差测试网络中进行特征提取，通过所述联合注意力机制选择核卷积残差测试网络，对待测试数据的轴承故障类别进行综合评估，输出故障的诊断结果；

其中，所述联合注意力机制选择核卷积残差网络是指：在核卷积和残差网络的基础上融合空间注意力机制和通道注意力机制的融合注意力机制，充分利用全局上下文信息自适应地捕获位置之间的空间依赖性，挖掘通道映射之间的相互关系，增强特征表示能力；所述联合注意力机制选择核卷积残差网络主要包括两部分，第一部分为基于联合注意力机制选择核卷积，第二部分为基于联合注意力机制残差网络，将第二部分与第一部分串联，并将第二部分的结果作为第一部分的输入；

所述联合注意力机制选择核卷积包括：分割操作、融合操作、选择操作，其中，分割操作是指，对于任意给定特征映射

H、W和C分别为X的通道数、高度和宽度，

为有理数，首先分别执行两个分支的转换，分别为

和

转换过程中两个分支的卷积核尺寸分别为3和5，U和V分别为两个分支的转换结果；

融合操作是指，首先将两个分支的转换结果U和V通过元素的求和进行融合,

T为两个分支融合的结果，

为元素求和；然后通过全局平均池化操作F_gp嵌入全局信息

C为S的维度，具体来说，S的任意第c′个元素S_c'是通过空间维度H×W收缩T来计算的，

其中T_c'(i,j)表示通道值为i、高度为j的两个分支融合结果的第c′个元素，c′＝1,2,...,C，i＝1,2,...,H，j＝1,2,...,W；此外，通过一个

全连接FC层F_fc实现创建一个紧凑特征

进行精确和自适应选择操作，d为Z的行向量维度，Z＝F_fc(S)＝δ(B(W·S))，δ是ReLU函数，B表示批量归一化操作，

d＝max(C/r,L)，r为缩减比，L表示d的最小值；

选择操作是指，一个跨通道的软注意力用于自适应地选择信息的不同空间尺度，该信息由紧凑的特征描述符z引导，具体来说，

其中，

是A的第c′行，a_c′是a的第c′个元素，

是B的第c′行，b_c′是b的第c′个元素，A,

A，B分别表示两个不同的softmax算子参数，a，b分别表示U,V软注意力向量，在两个分支下，因为a_c′+b_c′＝1，故矩阵B是冗余的；在通道-空间注意力机制下，

其中，M_s表示通道注意力机制，M_c表示空间注意力机制，

表示元素求积，U'＝(U₁,U₂,...,U_c′,...,U_C)，V'＝(V₁,V₂,...,V_c′,...,V_C)，通过各核上的关注权值得到最终的特征映射，Y_c′＝a_c′·U_c′+b_c′·V_c′，其中Y＝[Y₁,Y₂,...,Y_c′,...,Y_C]，

所述联合注意力机制残差网络包括依次连接的N个残差单元，I为任意一个残差单元的输入，F(·)为该残差单元的残差函数，直接把输入I传到该残差单元的输出作为初始结果，输出H(I)＝F(I)+I，当F(I)＝0时，H(I)＝I，即同等映射，残差单元的训练目标是将残差F(I)逼近于0，使得准确率不再随着深度的不断加大而下降；残差单元的跳跃式结构改变了传统的神经网络某一层的输出只能作为其下一层输入的惯例，使某一层的输出能够直接跨越多层作为后面某一层的输入，解决了网络层数增加引发模型精确度下降的问题；将残差单元的训练目标进一步优化为将残差F”(I)逼近于0，其中F”(·)为联合注意力机制残差函数，用以减少冗余特征，联合注意力机制残差网络执行如下：任意第l个残差单元的输出特征z_l＝f(y_l)，其中y_l为第l个残差单元的输入特征，f(·)为线性整流函数ReLU的激活函数，l＝1,2,...,N，然后通过联合注意力机制残差函数，获得

其中ω_l为与第l个残差单元相关的权重，最终获得y_l+1＝h(z_l)+F”(z_l+ω_l)，其中h(·)为同等映射函数，h(z_l)＝z_l；这N个残差单元依次连接，第N个残差单元的输出特征z_N则为所述联合注意力机制残差网络的最终输出。

2.根据权利要求1所述的联合注意力机制选择核卷积残差网络的故障诊断方法，其特征在于，所述轴承故障样本数据包括内圈故障数据、外圈故障数据和滚动体故障数据中的至少一种。

3.根据权利要求2所述的联合注意力机制选择核卷积残差网络的故障诊断方法，其特征在于，获取所述轴承故障样本数据的加速度传感器包括：驱动端加速计，风扇端加速计，底座加速计。

4.根据权利要求3所述的联合注意力机制选择核卷积残差网络的故障诊断方法，其特征在于，所述联合注意力机制包括通道注意力机制和空间注意力机制，其中，通道注意力机制包括：最大池化层，平均池化层，含有隐藏层的共享多层感知器；空间注意力机制，包括：最大池化层，平均池化层，卷积层。

5.根据权利要求4所述的联合注意力机制选择核卷积残差网络的故障诊断方法，其特征在于，所述联合注意力机制残差网络中的任意一个残差单元包括依次排布的一个卷积层，一个批量归一化操作，一个ReLU操作，一个卷积层，一个批量归一化操作，一个通道注意力机制和一个空间注意力机制。

6.根据权利要求5所述的联合注意力机制选择核卷积残差网络的故障诊断方法，其特征在于，所述预设比例为1:1。

Images