CN112629854B - 一种基于神经网络注意力机制的轴承故障分类方法 - Google Patents

一种基于神经网络注意力机制的轴承故障分类方法 Download PDF

Info

Publication number
CN112629854B
CN112629854B CN202011333834.6A CN202011333834A CN112629854B CN 112629854 B CN112629854 B CN 112629854B CN 202011333834 A CN202011333834 A CN 202011333834A CN 112629854 B CN112629854 B CN 112629854B
Authority
CN
China
Prior art keywords
denotes
attention
segment
layer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011333834.6A
Other languages
English (en)
Other versions
CN112629854A (zh
Inventor
杨志勃
张俊鹏
陈雪峰
赵志斌
田绍华
王诗彬
张兴武
李明
刘一龙
翟智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011333834.6A priority Critical patent/CN112629854B/zh
Publication of CN112629854A publication Critical patent/CN112629854A/zh
Application granted granted Critical
Publication of CN112629854B publication Critical patent/CN112629854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本公开揭示了一种基于神经网络注意力机制的轴承故障分类方法，包括：利用加速度传感器采集轴承的振动加速度时域信号ST，对振动加速度时域信号ST进行包络谱变换，获得频域信号SF，将频域信号SF作为含有注意力机制的神经网络的输入样本；将输入样本SF等分为N个不同片段后输入神经网络，对每个片段进行处理并提取特征值，对特征值进行打分运算和归一化处理，获得与输入样本SF不同片段相对应的注意力权重；建立输入样本SF不同片段与注意力权重之间的联系；利用注意力权重对每个片段的特征值进行加权并求和，获得注意力机制输出值yatt；对所述注意力机制的输出值yatt通过全连接层后进行归一化处理，获得和为1的概率分布，其中，概率最大的所对应的类别即为轴承的故障类型。

Description

一种基于神经网络注意力机制的轴承故障分类方法
技术领域
本公开属于轴承故障检测领域，特别是一种基于神经网络注意力机制的轴承故障分类方法。
背景技术
如今，在工业大数据的背景下，人工智能和机器学习的快速进步使得故障诊断逐步走向智能化，利用数据驱动的故障诊断智能算法越来越受到重视，成为故障诊断领域新的研究热点。轴承故障诊断是机械状态监测的热门研究方向，以深度学习等为代表的智能诊断方法是近年来轴承故障诊断的一个发展趋势。目前，常用的深度学习方法有卷积神经网络、深度置信网络、循环神经网络以及对抗神经网络等等，这类“端到端”的方法可以自动地挖掘输入信息的深层特征，在输入端直接输入原始信息，在输出端便可得到输出结果。它们取代了传统算法繁琐的特征提取等预处理过程，在工业“大数据”时代异军突起。
虽然许多学者进行了积极的探索，但现阶段只是将已有的网络模型加以调整和改进后，直接用于机械信号的分析，难以给出模型决策的依据，让用户觉得决策结果可信，这显得缺乏依据和解释性。可解释性，即理解和解释神经网络模型，是深度学习未来发展的方向之一，是人类对于人工智能从“知其然”到“知其所以然”的必经之路。深度神经网络究其本质是一个高度非线性非凸的最优化问题，纯数学理论分析解释非常困难，目前尚未建立完备的理论和方法体系，因而大部分通过可视化的方法来向用户提供某些视觉上的直观解释。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中的不足，本公开的目的在于提供一种基于神经网络注意力机制的轴承故障分类方法，通过注意力机制，重点突出输入样本不同片段所含信息对于结果的影响程度，直观展示神经网络对于不同片段的注意力权重，从而实现对轴承故障的监测，为结果提供一个视觉上的直观解释，实现诊断结果的可视化解释。
为实现上述目的，本公开提供以下技术方案：
一种基于神经网络注意力机制的轴承故障分类方法，包括如下步骤：
S100：利用加速度传感器采集轴承的振动加速度时域信号ST，对所述振动加速度时域信号ST进行包络谱变换，获得振动加速度频域信号SF，并将振动加速度频域信号SF作为含有注意力机制的神经网络的输入样本；
S200：将输入样本等分为N个不同片段，记为SF1，SF2，SF3，…，SFN，并输入神经网络，对每个片段进行处理并提取特征值，对所述特征值进行打分运算和归一化处理，获得与输入样本SF不同片段SF1，SF2，SF3，…，SFN相对应的注意力权重α1，α2，α3，…αN；
S300：利用所述注意力权重α1，α2，α3，…αN对每个片段的特征值进行加权并求和，获得所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt；
S400：对所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt通过全连接层后进行归一化处理，获得和为1的概率分布，其中，概率最大的值y所对应的类型即轴承的故障类型。
优选的，所述注意力机制表示为：
s(H，q)＝qTtanh(H′)
α＝softmax(s(H，q))
yatt＝tanh(HαT)
其中，s(H，q)表示打分函数，q表示查询向量，H＝[h1，h2，h3，…，hN]，
Figure BDA0002796572950000031
表示双向门控循环单元层的输出值，其中hi表示第i个片段的输出值，箭头→表示时间方向为t∈[1，T]，箭头←表示时间方向为t∈[T，1]；T表示转置运算，H′＝[h′1，h′2，h′3，…，h′N]，
Figure BDA0002796572950000032
表示对H中每个片段下双向门控循环层的正向输出和反向输出进行元素相加后的输出值，其中
Figure BDA0002796572950000033
表示元素加法，α表示注意力权重，yatt表示注意力机制的输出值，tanh表示双曲正切函数，softmax表示概率归一化函数。
优选的，所述双曲正切函数tanh表示为：
Figure BDA0002796572950000034
其中，e表示自然对数，x表示自变量。
优选的，所述概率归一化函数softmax表示为：
Figure BDA0002796572950000041
其中，xi表示对于第i类的值，J表示类别总数，j表示类别，∑表示求和操作。
优选的，步骤S200中，所述注意力权重通过下式获得：
αn＝Att-Model(SF)，n∈[1，N]
Figure BDA0002796572950000042
其中，αn为输入样本SF不同片段的注意力权重，Att-Model为含有注意力机制的神经网络，
Figure BDA0002796572950000043
表示输入样本的维度，N表示输入样本SF的片段数量，Nsub表示每个片段含有的信号点。
优选的，步骤S200中，所述神经网络包括：
输入层，用于将所输入的样本信号等分为若干片段；
卷积层，用于对所述若干片段进行卷积运算；
双向门控循环单元层，用于提取卷积运算后的片段的特征值；
注意力机制层，用于获得与样本信号若干片段对应的注意力权重；
输出层，用于输出轴承故障类型结果。
优选的，所述卷积层的计算过程如下：
Figure BDA0002796572950000044
式中，K为卷积核的宽度，wk为卷积核的权重，
Figure BDA0002796572950000045
表示输入中与卷积核相同宽度的区域，b为偏置项。
优选的，所述双向门控循环单元层由第一和第二门控循环单元层相互叠加构成，所述第一和第二门控循环单元层的计算过程如下：
rt＝σ(Wrg·[ht-1，xt]+brg)
ut＝σ(Wug·[ht-1，xt]+bug)
Figure BDA0002796572950000056
Figure BDA0002796572950000051
其中，r表示重置门的输出值，u表示更新门的输出值，h表示隐藏状态，x表示输入值，
Figure BDA0002796572950000052
表示最新的隐藏状态，下标t和t-1分别表示当前信号片段刻和前一个信号片段，W表示权重矩阵，b表示偏置项，下标rg表示重置门，下标ug表示更新门，σ表示非线性激活函数sigmoid，tanh表示非线性激活函数双曲正切，⊙表示元素乘法；
优选的，所述双向门控循环单元层的计算过程如下：
Figure BDA0002796572950000053
Figure BDA0002796572950000054
Figure BDA0002796572950000055
其中，U表示隐藏状态的权重矩阵，W表示输入样本的权重矩阵，b表示偏置项，x表示输入值，箭头→表示时间方向为t∈[1，T]，箭头←表示时间方向为t∈[T，1]，下标t表示信号片段。
优选的，所述输出层的计算过程如下：
y＝softmax(Wfyatt+bf)，
其中，Wf和bf分别表示全连接层的权重矩阵和偏置项。
与现有技术相比，本公开带来的有益效果为：本公开能够直观显示该神经网络结构对于输入样本不同片段的注意力权重，对网络诊断结果进行直观解释，能够提升故障诊断的可解释性与可靠性，有利于减少人力物力的消耗，同时也有利于对轴承的维护和检修计划的安排调整，显著提高监测精度。
附图说明
图1是本公开一个实施例提供的一种基于神经网络注意力机制的轴承故障分类方法流程图；
图2(a)和图2(b)是本公开另一个实施例提供的振动加速度信号的时域和包络谱示意图，其中，图2(a)是振动加速度信号的时域图；图2(b)是振动加速度信号的包络谱图；
图3是本公开另一个实施例提供的含注意力机制的神经网络的结构示意图；
图4是本公开另一个实施例提供的注意力权重曲线示意图；
图5(a)至图5(d)是本公开另一个实施例提供的正常轴承的可视化结果示意图，其中，图5(a)是正常轴承的包络谱图和对应位置的注意力权重曲线；图5(b)是轴承外圈故障的包络谱图和对应位置的注意力权重曲线；图5(c)是轴承内圈故障的包络谱图和对应位置的注意力权重曲线；图5(d)是轴承滚动体故障的包络谱图和对应位置的注意力权重曲线；
图6(a)至图6(c)是本公开另一个实施例的本公开与全连接层的注意力机制和点积形式的注意力机制Top-K的准确率的对比示意图，其中，图6(a)是轴承外圈故障的对比示意图；图6(b)是轴承内圈故障的对比示意图；图6(c)是轴承滚动体故障的对比示意图；
图7(a)至图7(c)是本公开另一个实施例提供的本公开与全连接层的注意力机制和点积形式的注意力机制在故障频率处0-1化的注意力权重幅值对比示意图，其中，图7(a)是轴承外圈故障的对比示意图；图7(b)是轴承内圈故障的对比示意图；图7(c)是轴承滚动体故障的对比示意图。
具体实施方式
下面将参照附图1至图7(c)详细地描述本公开的具体实施例。虽然附图中显示了本公开的具体实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本公开的保护范围当视所附权利要求所界定者为准。
为便于对本公开实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本公开实施例的限定。
一个实施例中，如图1所示，一种基于神经网络注意力机制的轴承故障分类方法，包括如下步骤：
S100：利用加速度传感器采集轴承的振动加速度时域信号ST，对所述振动加速度时域信号ST进行包络谱变换，获得频域信号SF，将频域信号SF作为含有注意力机制的神经网络的输入样本；
S200：将输入样本等分为N个不同片段，记为SF1，SF2，SF3，…，SFN，并输入神经网络，对每个片段进行处理并提取特征值，对所述特征值进行打分运算和归一化处理，获得与输入样本SF不同片段SF1，SF2，SF3，…，SFN相对应的注意力权重α1，α2，α3，…αN；
S300：利用所述注意力权重α1，α2，α3，…αN对每个片段的特征值进行加权并求和，获得所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt；
S400：对所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt通过全连接层后进行归一化处理，获得和为1的概率分布，其中，概率最大的值y所对应的类型即轴承的故障类型。
上述实施例构成了本公开的完整技术方案，相比于现有技术，本实施例的优势不仅能够识别出所采集信号的故障类型，而且通过注意力机制在输入样本上进行标注，重点突出输入样本不同片段所含信息对于结果的影响程度，直观展示神经网络对于不同片段的注意力权重，为结果提供一个视觉上的直观解释，从而实现诊断结果的可视化解释。
另一个实施例中，步骤S100中，所述注意力机制表示为：
s(H，q)＝qTtanh(H′)
α＝softmax(s(H，q))
yatt＝tanh(HαT)
其中，s(H，q)表示打分函数，q表示查询向量，H＝[h1，h2，h3，…，hN]，
Figure BDA0002796572950000091
表示双向门控循环单元层的输出值，其中hi表示第i个片段的输出值，箭头→表示时间方向为t∈[1，T]，箭头←表示时间方向为t∈[T，1]；T表示转置运算，H′＝[h′1，h′2，h′3，…，h′N]，
Figure BDA0002796572950000092
表示对H中每个片段下双向门控循环层的正向输出和反向输出进行元素相加后的输出值，其中
Figure BDA0002796572950000093
表示元素加法，α表示注意力权重，yatt表示注意力机制的输出值，tanh表示双曲正切函数，softmax表示概率归一化函数。
另一个实施例中，所述双曲正切函数tanh表示为：
Figure BDA0002796572950000094
其中，e表示自然对数，x表示自变量。
另一个实施例中，所述概率归一化函数softmax表示为：
Figure BDA0002796572950000095
其中，xi表示对于第i类的值，J表示类别总数，j表示类别，∑表示求和操作。
另一个实施例中，步骤S200中，所述注意力权重通过下式获得：
αn＝Att-Model(SF)，n∈[1，N]
Figure BDA0002796572950000101
其中，αn为输入样本SF不同片段的注意力权重，Att-Model为含有注意力机制的神经网络，
Figure BDA0002796572950000102
表示输入样本的维度，N表示输入样本SF的片段数量，Nsub表示每个片段含有的信号点。
下面，结合具体实施例对本公开的技术方案进行详细说明。
1、利用加速度传感器采集轴承的振动加速度时域信号ST，如图2(a)所示；对时域信号ST进行包络谱变换后，获得如图2(b)所示的与振动加速度时域信号ST对应的频域信号SF，其中，横坐标表示频率，单位为Hz，纵坐标表示归一化后的信号幅值。
2、将信号SF等分为N个不同片段，分别记为SF1，SF2，SF3，…，SFN，并输入如图3所示的神经网络。
该神经网络中，卷积层包括卷积层conv1和卷积层conv2，对于每个片段来说，卷积层的主要功能是在一个输入上以固定步长滑动一个卷积核对输入进行遍历，在输入的局部区域进行卷积运算，得到一组新的特征。卷积层的运算过程如下：
Figure BDA0002796572950000103
其中，K为卷积核的宽度，wk为卷积核的权重，
Figure BDA0002796572950000104
表示输入中与卷积核相同宽度的区域，b为偏置项。
通过卷积层对等分后的不同片段进行卷积后，可以获得每个片段的特征向量。
双向门控循环单元层由两个门控循环单元层相互叠加构成，其计算和更新过程如下：
rt＝σ(Wrg·[ht-1，xt]+brg)
ut＝σ(Wug·[ht-1，xt]+bug)
Figure BDA0002796572950000111
Figure BDA0002796572950000112
其中，r表示重置门的输出值，u表示更新门的输出值，h表示隐藏状态，x表示输入值，
Figure BDA0002796572950000113
表示最新的隐藏状态，下标t和t-1分别表示当前信号片段刻和前一个信号片段，W表示权重矩阵，b表示偏置项，下标rg表示重置门，下标ug表示更新门，σ表示非线性激活函数sigmoid，tanh表示双曲正切函数，⊙表示元素乘法。
需要说明的是，双向门控循环单元层的输出值由两个门控循环单元层共同决定，假设第一层的时间方向为t∈[1，T]，第二层的时间方向为t∈[T，1]，各层在时刻t时的隐藏状态分别定义为
Figure BDA0002796572950000114
和
Figure BDA0002796572950000115
最后的隐藏状态ht可以定义为：
Figure BDA0002796572950000116
Figure BDA0002796572950000117
Figure BDA0002796572950000118
其中，U和W分别表示隐藏状态和输入样本的权重矩阵，b表示偏置项，x表示输入值，箭头→表示时间方向为t∈[1，T]，箭头←表示时间方向为t∈[T，1]，下标t表示信号片段。
经双向门控循环单元层处理后，可以获得各片段的特征值，即如图3中所示的。
在注意力机制层，通过打分函数s(H，q)(用于计算每个输入向量xn和查询向量q两者之间的相关性)和概率归一化函数softmax(将相关性的得分转化为和为1的概率分布，即在给定查询向量q和输入向量X下，选择第i个输入向量的概率)对通过双向门控循环单元层获得的特征值进行处理，能够获得与输入样本SF不同片段SF1，SF2，SF3，…，SFN相对应的注意力权重α1，α2，α3，…αN，注意力权重曲线如图4所示，图4中，横坐标表示频率，单位为Hz，纵坐标表示归一化后的幅值；注意力权重α1，α2，α3，…αN对双向门控循环单元层的输出值
Figure BDA0002796572950000121
进行加权处理并求和，获得所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt。
在输出层，通过以下计算过程：
y＝softmax(Wfyatt+bf)，
其中，Wf和bf分别表示全连接层的权重矩阵和偏置项。
利用概率归一化函数softmax将yatt转换为和为1的概率分布，假设输出值有4个，分别对应4种故障类型，其中，输出值对应的概率越大，则表明与该输出值所对应的输入信号越有可能属于其所属类别，因此，通过归一化函数softmax对注意力机制的输出值yatt进行处理，可以获得轴承的类型结果。
3、以图4为例，假设加速度传感器以12000Hz的采样频率采集1秒，可得信号点数12000个，经过包络谱变换可得含有6000个点的频域数据，频率范围为[0，6000)，频率间隔为1Hz，将该数据作为输入样本，等分为100段后输入含有注意力机制的神经网络，在识别该信号的故障类别的同时，还可以得到这100个片段的注意力权重，具体如表1所示，表1中，假设所采集的是轴承发生外圈故障时的振动加速度信号，且故障特征频率为103Hz。
表1
Figure BDA0002796572950000131
由表1可知，本公开相比于现有方法，不仅能够识别出所采集的振动加速度信号为外圈故障，而且可以在含有故障特征频率的片段(即表1中片段SF2)上含有一个最大的注意力权重，由此说明片段SF2的特征在分类识别中具有最大的影响，这个和我们认为判断信号属于什么类别的故障具有一个相似性。
图5(a)至图5(d)是本公开一个实施例提供的正常轴承的可视化结果，横坐标表示频率，纵坐标表示归一化的幅值，实线表示的轴承的包络谱信号，虚线表示注意力权重曲线。其中，图5(a)是正常轴承的包络谱图和对应位置的注意力权重曲线；图5(b)是轴承外圈故障的包络谱图和对应位置的注意力权重曲线；图5(c)是轴承内圈故障的包络谱图和对应位置的注意力权重曲线；图5(d)轴承滚动体故障的包络谱图和对应位置的注意力权重曲线；如图5(a)至图5(d)所示，对于正常轴承，包络谱中只存在明显的转速频率，它们不能提供识别轴承状态的基本信息，因为它们在所有的工作条件下都很常见，因而注意力权重主要分布在高频的一些噪声上，对于外圈、内圈和滚动体故障的轴承，注意力权重趋向于向故障特征频率所在的低频部分集中，并且在故障频率及其倍频附近存在较高的注意力权重，因此体现了本公开所提方法对于网络诊断结果和先验知识的关联性，直观解释了神经网络诊断结果。
图6(a)至图6(c)分别是基于轴承外圈故障、内圈故障和滚动体故障的本公开所述技术方案与全连接层的注意力机制和点积形式的注意力机制Top-K的准确率的对比图。图6(a)至图6(c)中，横坐标分别表示前1，3，5，10个注意力权重最大的片段中含有故障频率片段的情况，随着K的增大，对方法评价的严格程度逐渐放松，纵坐标表示准确率。在给定的横坐标条件下，纵坐标越高，说明方法的性能越好。由图6(a)至图6(c)可知，对于每种故障，在每个K值下，本公开所述技术方案相比于另外两种方法都具有优越性。
图7(a)至图7(c)分别是基于轴承外圈故障、内圈故障和滚动体故障的本公开所述技术方案与全连接层的注意力机制和点积形式的注意力机制在故障频率处0-1化的注意力权重幅值对比图。图7(a)至图7(c)中，横坐标分别表示故障频率处0-1化的注意力权重幅值大于等于0.95，0.9和0.85，数值越小，对方法评价的严格程度逐渐放松，纵坐标表示在50次实验中故障频率处0-1化的注意力权重幅值大于等于0.95，0.9和0.85出现的次数。在给定的横坐标条件下，纵坐标越高，说明方法的性能越好。由图7(a)至图7(c)可知，对于上述故障，在每个幅值阈值条件下，本公开所述技术方案相比于另外两种方法都具有优越性。
尽管以上结合附图对本公开的实施方案进行了描述，但本公开并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本公开启示下和在不脱离本公开权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本公开保护之列。

Claims (6)

1.一种基于神经网络注意力机制的轴承故障分类方法，包括如下步骤：
S100：利用加速度传感器采集轴承的振动加速度时域信号ST，对所述振动加速度时域信号ST进行包络谱变换，获得振动加速度频域信号SF，并将振动加速度频域信号SF作为含有注意力机制的神经网络的输入样本；
S200：将输入样本等分为N个不同片段，记为SF1，SF2，SF3，…，SFN，并输入神经网络，对每个片段进行处理并提取特征值，对所述特征值进行打分运算和归一化处理，获得与输入样本SF不同片段SF1，SF2，SF3，…，SFN相对应的注意力权重α1，α2，α3，…αN，其中，所述神经网络包括：
输入层，用于将所输入的样本信号等分为若干片段；
卷积层，用于对所述若干片段进行卷积运算，获得每个片段的特征向量；
双向门控循环单元层，用于提取卷积运算后的片段的特征值；
所述双向门控循环单元层由第一和第二门控循环单元层相互叠加构成，所述第一和第二门控循环单元层的计算过程如下：
rt＝σ(Wrg·[ht-1，xt]+brg)
ut＝σ(Wug·[ht-1，xt]+bug)
Figure FDA0003693714130000011
Figure FDA0003693714130000012
其中，r表示重置门的输出值，u表示更新门的输出值，h表示隐藏状态，x表示输入值，
Figure FDA0003693714130000021
表示最新的隐藏状态，下标t和t-1分别表示当前信号片段刻和前一个信号片段，W表示权重矩阵，b表示偏置项，下标rg表示重置门，下标ug表示更新门，σ表示非线性激活函数sigmoid，tanh表示双曲正切函数，⊙表示元素乘法；
所述双向门控循环单元层的计算过程如下：
Figure FDA0003693714130000022
Figure FDA0003693714130000023
Figure FDA0003693714130000024
其中，U表示隐藏状态的权重矩阵，W表示输入双向门控循环单元层的权重矩阵，b表示偏置项，x表示输入值，箭头→表示时间方向为t∈[1，T]，箭头←表示时间方向为t∈[T，1]，下标t表示信号片段；所述双向门控循环单元层的输出值由第一门控循环单元层在时刻t时的隐藏状态
Figure FDA0003693714130000025
和第二门控循环单元层在时刻t时的隐藏状态
Figure FDA0003693714130000026
拼接后获得；
注意力机制层，用于获得与样本信号若干片段对应的注意力权重；
所述注意力机制表示为：
s(H，q )＝qTtanh(H′)
α＝softmax(s(H，q))
yatt＝tanh(HαT)
其中，s(H，q)表示打分函数，q表示查询向量，H＝[h1，h2，h3，…，hN]，
Figure FDA0003693714130000027
表示双向门控循环单元层的输出值，其中hi表示第i个片段的输出值，箭头→表示时间方向为t∈[1，T]，箭头←表示时间方向为t∈[T，1]；T表示转置运算，H′＝[h′1，h′2，h′3，…，h′N]，
Figure FDA0003693714130000031
表示对H中每个片段下双向门控循环层的正向输出和反向输出进行元素相加后的输出值，其中
Figure FDA0003693714130000032
表示元素加法，α表示注意力权重，yatt表示注意力机制的输出值，tanh表示双曲正切函数，softmax表示概率归一化函数；
输出层，用于输出轴承故障类型结果；
S300：利用所述注意力权重α1，α2，α3，…αN对每个片段的特征值进行加权并求和，获得所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt；
S400：对所述输入样本SF不同片段SF1，SF2，SF3，…，SFN的信息集yatt通过全连接层后进行归一化处理，获得和为1的概率分布，其中，概率最大的值y所对应的类型即轴承的故障类型，且注意力权重最大值所对应的频率片段与轴承该故障类型的故障特征频率所在片段相对应。
2.根据权利要求1所述的方法，其中，所述双曲正切函数tanh表示为：
Figure FDA0003693714130000033
其中，e表示自然对数，x表示自变量。
3.根据权利要求1所述的方法，其中，所述概率归一化函数softmax表示为：
Figure FDA0003693714130000041
其中，xi表示对于第i类的值，J表示类别总数，j表示类别，∑表示求和操作。
4.根据权利要求1所述的方法，其中，步骤S200中，所述注意力权重通过下式获得：
αn＝Att-Model(SF)，n∈[1，N]
Figure FDA0003693714130000042
其中，αn为输入样本SF不同片段的注意力权重，Att-Model为含有注意力机制的神经网络，
Figure FDA0003693714130000043
表示输入样本的维度，N表示输入样本SF的片段数量，Nsub表示每个片段含有的信号点。
5.根据权利要求1所述的方法，其中，所述卷积层的计算过程如下：
Figure FDA0003693714130000044
式中，K为卷积核的宽度，wk为卷积核的权重，
Figure FDA0003693714130000045
表示输入中与卷积核相同宽度的区域，b为偏置项。
6.根据权利要求1所述的方法，其中，所述输出层的计算过程如下：
y＝softmax (Wfyatt+bf)，
其中，Wf和bf分别表示全连接层的权重矩阵和偏置项。
CN202011333834.6A 2020-11-25 2020-11-25 一种基于神经网络注意力机制的轴承故障分类方法 Active CN112629854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011333834.6A CN112629854B (zh) 2020-11-25 2020-11-25 一种基于神经网络注意力机制的轴承故障分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333834.6A CN112629854B (zh) 2020-11-25 2020-11-25 一种基于神经网络注意力机制的轴承故障分类方法

Publications (2)

Publication Number Publication Date
CN112629854A CN112629854A (zh) 2021-04-09
CN112629854B true CN112629854B (zh) 2022-08-05

Family

ID=75303837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011333834.6A Active CN112629854B (zh) 2020-11-25 2020-11-25 一种基于神经网络注意力机制的轴承故障分类方法

Country Status (1)

Country Link
CN (1) CN112629854B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191215B (zh) * 2021-04-12 2024-02-23 陕西少梁塬网络科技有限公司 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN112884093B (zh) * 2021-04-29 2021-08-31 四川大学 基于dscrn模型的旋转机械故障诊断方法、设备和存储介质
CN113221996A (zh) * 2021-04-30 2021-08-06 山东大学 一种基于多头注意力机制的轴承故障诊断方法及系统
CN113155466B (zh) * 2021-05-24 2024-04-23 合肥工业大学 轴承故障视觉振动检测方法及系统
CN114893390B (zh) * 2022-07-15 2023-08-04 安徽云磬科技产业发展有限公司 一种基于注意力与集成学习机制的泵机设备故障检测方法
CN116428129B (zh) * 2023-06-13 2023-09-01 山东大学 基于注意力混合神经网络的风机叶片冲击定位方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084980B (zh) * 2018-10-10 2019-11-05 北京交通大学 基于均等分割的轴承故障预测方法及装置
CN109902399B (zh) * 2019-03-01 2022-07-19 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法
CN110647867B (zh) * 2019-10-09 2022-05-13 中国科学技术大学 基于自适应抗噪声神经网络的轴承故障诊断方法及系统
CN111325112B (zh) * 2020-01-31 2023-04-07 贵州大学 基于深度门控循环单元神经网络的刀具磨损状态监测方法
CN111651980B (zh) * 2020-05-27 2023-05-23 河南师范大学 混合神经网络融合Attention机制的小麦抗寒性识别方法
CN111721535B (zh) * 2020-06-23 2021-11-30 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Attention-Based Bidirectional Long Short-Term Memory Network for Relation Classification;Peng Zhou 等;《IEEE论文》;20161231;第207-212页 *

Also Published As

Publication number Publication date
CN112629854A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112629854B (zh) 一种基于神经网络注意力机制的轴承故障分类方法
Li et al. Multiscale local features learning based on BP neural network for rolling bearing intelligent fault diagnosis
CN112733749B (zh) 融合注意力机制的实时行人检测方法
CN112766379B (zh) 一种基于深度学习多权重损失函数的数据均衡方法
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
CN112101426B (zh) 基于自编码器的无监督学习图像异常检测方法
Xi et al. Deep dilated convolution on multimodality time series for human activity recognition
Ullo et al. Hybrid computerized method for environmental sound classification
CN104714925B (zh) 一种基于分数阶傅里叶变换和支持向量机的齿轮传动噪声分析方法
CN110969191B (zh) 基于相似性保持度量学习方法的青光眼患病概率预测方法
Han et al. Supervised threshold-based heart sound classification algorithm
CN114564982A (zh) 雷达信号调制类型的自动识别方法
CN111597991A (zh) 一种基于信道状态信息和BiLSTM-Attention的康复检测方法
US20240133391A1 (en) Prediction method for stall and surging of axial-flow compressor based on deep autoregressive network
Tong et al. Multi-sensor information fusion and coordinate attention-based fault diagnosis method and its interpretability research
CN116502175A (zh) 一种图神经网络故障诊断方法、装置和存储介质
CN110929558A (zh) 一种基于深度学习的行人重识别方法
CN115392333A (zh) 一种基于改进端到端ResNet-BiLSTM双通道模型的设备故障诊断方法
Chang et al. Intelligent fault quantitative identification for industrial Internet of Things (IIoT) via a novel deep dual reinforcement learning model accompanied with insufficient samples
Liu et al. A rotor fault diagnosis method based on BP-Adaboost weighted by non-fuzzy solution coefficients
Nahiduzzaman et al. Detection of various lung diseases including COVID-19 using extreme learning machine algorithm based on the features extracted from a lightweight CNN architecture
Mansour et al. Text vectorization method based on concept mining using clustering techniques
Luo et al. Rotating machinery fault diagnosis using dimension expansion and AntisymNet lightweight convolutional neural network
CN115422962A (zh) 一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置
CN117390371A (zh) 基于卷积神经网络的轴承故障诊断方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant