CN114004135A - 基于Transformer神经网络的农机轴承故障类型诊断方法及系统 - Google Patents

基于Transformer神经网络的农机轴承故障类型诊断方法及系统 Download PDF

Info

Publication number
CN114004135A
CN114004135A CN202111090535.9A CN202111090535A CN114004135A CN 114004135 A CN114004135 A CN 114004135A CN 202111090535 A CN202111090535 A CN 202111090535A CN 114004135 A CN114004135 A CN 114004135A
Authority
CN
China
Prior art keywords
agricultural machinery
bearing
characteristic data
machinery bearing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111090535.9A
Other languages
English (en)
Inventor
于文尧
曹晓卫
张玉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifang Zhongke Jingshang Intelligent Equipment Research Institute Co ltd
Original Assignee
Weifang Zhongke Jingshang Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weifang Zhongke Jingshang Intelligent Equipment Research Institute Co ltd filed Critical Weifang Zhongke Jingshang Intelligent Equipment Research Institute Co ltd
Priority to CN202111090535.9A priority Critical patent/CN114004135A/zh
Publication of CN114004135A publication Critical patent/CN114004135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/04—Ageing analysis or optimisation against ageing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本公开的基于Transformer神经网络的农机轴承故障类型诊断方法及系统，利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。能够准确诊断出农机轴承故障类型，弥补目前农机故障诊断技术不够成熟的不足。

Description

基于Transformer神经网络的农机轴承故障类型诊断方法及 系统
技术领域
本发明属于农机设备运行状态分析技术领域，涉及一种基于Transformer神经网络的农机轴承故障类型诊断方法及系统。
背景技术
农机轴承作为农机设备的重要组成部分，其具备健康的运行状态是农机设备正常运行的基础。然而，在实际工程应用中，农机轴承经常会由于长时间运行或者处于恶劣的环境而出现各种故障，如塑形变形等，故障严重时会导致整个轴承烧毁，甚至导致农机机械设备的损坏。但是在对农机轴承的日常维护中，对于出现损伤的轴承往往进行整体替换，无法针对具体的故障部位进行有效更换，在频繁维修时会造成轴承的浪费和巨大的经济损失。因此，本文针对上述问题对农机设备中常见的农机轴承故障进行具体分析，为农机轴承的维护和保养提供有力保障。
基于以上需求，展开对农机轴承故障类型诊断的研究。现有研究方法中，有很多方法实现了农机轴承故障类型检测。比如使用支持向量机的方法，其属于早期的机器学习算法，对样本量的需求相对较少，传统数据模式下能取得较好的效果，但是在物联网和大数据时代，样本量剧增，支持向量机算法由于其轻量化的设计难以再提高算法的准确度，而在这样的背景下，需要更复杂的方法结合大量数据来提高算法的准确性。在物联网、大数据、人工智能技术快速发展的时代，为农机轴承的故障类型识别提供了大数据量和智能化处理的基本保证，有研究者使用深度神经网络进行农机轴承故障诊断，但是深度神经网络存在参数膨胀的问题，导致其工程应用性不强。也有研究者使用卷积神经网络进行农机轴承的故障诊断，但是其对于输入时间序列的远距离特征捕获能力较差，远距离捕获能力是提升模型性能的有效手段，而增加其远距离特征捕获能力的代价是增加神经网络的深度，无疑进一步增加了算法的复杂度。为了有效解决神经网络的远距离捕获能力，长短时记忆循环神经网络被提出，并且已经被用于进行农机轴承的故障诊断，其具有强大的时间序列远距离特征捕获能力得益于它的长短时记忆结构和循环处理结构，但是这种结构使它很难做到并行计算，导致算法的时间效率低，因此在工程中应用的并不多。
发明内容
本发明克服了现有技术的不足之一，提供了一种基于Transformer神经网络的农机轴承故障类型诊断方法及系统，能够准确诊断出农机轴承故障类型，弥补目前农机故障诊断技术不够成熟的不足。
根据本公开的一方面，本发明提供一种基于Transformer神经网络的农机轴承故障类型诊断方法，所述方法包括：
利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；
将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；
压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；
将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。
在一种可能的实现方式中，所述利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据，包括：
利用小波包变换法对所述轴承振动信号进行6层分解，将第6层所述轴承振动信号频带能量作为所述农机轴承特征数据的时频域特征数据；
利用快速傅里叶变换对所述轴承振动信号提取的时频域特征进行频域分解，得到所述农机轴承特征数据的频域特征数据。
在一种可能的实现方式中，所述农机轴承特征数据的时频域特征数据和频域特征数据组合成农机轴承特征数据的前向特征矩阵；
所述农机轴承特征数据的前向特征矩阵经变换得到所述农机轴承特征数据的后向特征矩阵。
在一种可能的实现方式中，农机轴承特征数据的前向特征矩阵到所述农机轴承特征数据的后向特征矩阵的变换公式为：
Figure BDA0003267281560000031
式中，n为每个时频域的点数，N为小波基函数分解层数。
在一种可能的实现方式中，所述基于Transformer神经网络的农机轴承故障类型诊断模型，包括：归一化位置编码层、前向数据Transformer处理层、后向数据Transformer处理层和全连接层；
所述归一化位置编码层，用于保留所述农机轴承特征数据的位置编码信息；
所述前向数据Transformer处理层，用于处理所述农机轴承特征数据的前向特征数据；
所述后向数据Transformer处理层，用于处理所述农机轴承特征数据的后向特征数据；
所述全连接层，用于将经过前向数据Transformer处理层和后向数据Transformer处理层处理的前向特征数据和后向特征数据进行非线性映射，得到农机轴承故障诊断类型。
在一种可能的实现方式中，所述前向数据Transformer处理层和后向数据Transformer处理层的结构相同，分别由包括多头自注意力机制子层和一维卷积子层的网络层组成。
在一种可能的实现方式中，所述将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型，包括：
将所述农机轴承特征数据的前向特征数据和归一化位置编码层保留的位置编码叠加形成带有位置编码信息的前向特征数据输入到所述前向数据Transformer处理层；
将所述农机轴承特征数据的后向特征数据和归一化位置编码层保留的位置编码叠加形成带有位置编码信息的前向特征数据输入到所述后向数据Transformer处理层；
将经过前向数据Transformer处理层处理的前向特征数据和后向数据Transformer处理层处理的后向特征数据输入到全连接层，经所述全连接层的非线性映射处理，得到农机轴承故障诊断类型。
在一种可能的实现方式中，在基于Transformer神经网络的农机轴承故障类型诊断模型的训练过程中采用错误样本权重增强机制增强所述农机轴承故障类型诊断模型的鲁棒性。
根据本公开的另一方面，提出了一种基于Transformer神经网络的农机轴承故障类型诊断系统，所述系统包括：
轴承振动信号采集模块，用于利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；
农机轴承特征数据提取模块，用于将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；
农机轴承特征数据压缩模块，用于压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；
农机轴承故障类型诊断模型，用于将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。
本公开的基于Transformer神经网络的农机轴承故障类型诊断方法，利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。能够准确诊断出农机轴承故障类型，弥补目前农机故障诊断技术不够成熟的不足。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
图1示出了根据本公开一实施例的基于Transformer神经网络的农机轴承故障类型诊断方法流程图；
图2示出了根据本公开另一实施例的基于Transformer神经网络的农机轴承故障类型诊断方法流程图；
图3示出了根据本公开一实施例的前向特征矩阵构造示意图；
图4示出了根据本公开一实施例的基于Transformer神经网络的农机轴承故障类型诊断模型示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明提出的准确高效的基于Transformer神经网络的农机轴承故障类型诊断方法及系统，可以直接进行农机实际应用。该方法包含农机轴承数据采集、传输、识别的完整流程，以振动加速度传感器获取的农机轴承数据为故障诊断的依据，为了节约农机轴承数据传输带宽，在农机本地安装计算模块实现使用时频域特征提取技术和频域特征提取技术对振动数据提取数据特征，将提取的特征数据使用无线传输技术进行低带宽传输，实现远端中心计算资源的下移，解决无线网络传输带宽的压力，在服务器端使用高性能计算模块运行农机轴承故障类型诊断模型对农机轴承数据进行故障类型识别。其中，农机轴承故障类型诊断结果包括正常状态、轴承内圈故障、轴承外圈故障、滚动体故障等，通过农机轴承故障类型诊断结果的分析，可以实现及时更换故障部位，保证农机设备的安全稳定运行，最大限度的降低损失。
图1示出了根据本公开一实施例的基于Transformer神经网络的农机轴承故障类型诊断方法流程图，图2示出了根据本公开另一实施例的基于Transformer神经网络的农机轴承故障类型诊断方法流程图。如图1和图2所示，该方法可以包括：
步骤S1：利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号。
其中，农机轴承不同位置的轴承类型包括深沟球轴承、外球面轴承、圆锥滚子轴承等。振动加速度传感器可以安装于轴承盖上，在进行数据采集时所用采样频率为48000Hz。
步骤S2：将轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据。
本地局域网用于构建振动加速度传感器网络，实现各振动加速度传感器与本机计算模块的互联互通，且本机计算模块为小型化工控机处理模块。农机本地数据处理模块(即将轴承振动信号通过本地局域网传输至本地计算模块)为远端计算中心的边缘化处理，通过计算资源的下移缓解系统对通信资源的占用。其中，本地处理模块与农机轴承传感器数据采集模块均属于农机端模块，则均处于农机本地局域网内。
在一示例中，利用时频域特征提取技术和频域特征提取技术对轴承振动信号进行特征提取以得到农机轴承特征数据，可以包括：
利用小波包变换法(时频域特征提取算法)对轴承振动信号进行6层分解，将第6层轴承振动信号频带能量作为农机轴承特征数据的时频域特征数据；利用快速傅里叶变换(频域特征提取算法)对轴承振动信号提取的时频域特征进行频域分解，得到农机轴承特征数据的频域特征数据。
例如，设ftd是农机轴承真实故障类型，s是农机轴承数据。利用Transformer神经网络的变体结构可以使用农机轴承数据s计算农机轴承真实故障类型ftd，如式(1)所示。
Figure BDA0003267281560000071
ftd≈T(·) 式(2)
式中，f1，f2是农机轴承振动数据s的特征数据，所有农机轴承特征数据组成农机轴承特征数据矩阵，农机轴承特征数据矩阵尺寸为i×j，
Figure BDA0003267281560000072
和
Figure BDA0003267281560000073
为农机轴承特征数据的前向特征和后向矩阵。E是农机轴承特征数据的归一化位置编码矩阵，其尺寸与农机轴承特征数据的特征矩阵的尺寸一致，为i×j。T是Transformer神经网络故障类型识别模型，σ表示模型预测值与真实值的偏差，在工程应用中，σ为随机变量，很难进行预测，因此，故障类型识别模型得到的识别结果近似为农机轴承故障类型，如式(2)所示。因此，本发明软件部分核心是设计农机轴承特征数据特征提取方法并构建农机轴承特征数据的前向特征矩阵、后向特征矩阵和位置编码构建位置信息的方法，利用Transformer神经网络从前向和后向处理输入农机轴承特征数据得到农机轴承故障类型诊断结果。
农机轴承运转过程中由于发生故障(农机轴承故障主要是由于疲劳和异物所导致)将导致轴承动态振动信号的非平稳性现象(信号的统计特征，如均值、方差等随时间的变化而变化)。这些非平稳性信号是表征农机轴承故障最直接的工具。农机轴承故障类型识别的关键是对轴承动态信号的非平稳性进行有效的分析。小波包变换能够在时频域中对轴承动态信号进行分析，农机轴承的非平稳动态振动信号包含的频谱分布与农机轴承的特征结构、故障类型密切相关，农机轴承的非平稳动态振动信号经小波包分解后在最底层上不同正交小波包空间的能量分布可以表示故障特征频率谱，是农机轴承运行状况的本质特征。因此，本发明引用小波包变换技术获取轴承序列数据的小波包能量特征，作为农机轴承运行状态提取的时频域特征。
其中，小波包空间能量算子E(j,n)定义如公式(3)所示，
Figure BDA0003267281560000081
其中，ps(n,j,k)是小波包变换系数，s为原始信号(农机轴承的非平稳动态振动信号)，j为小波包分解层数，n为第j层节点索引。
对原始信号s(t)进行J层小波包分解，在分解层数J上信号s(t)的小波包能量特征表示如公式(4)所示，C(J,s)＝[E(J,0),E(J,1),…E(J,2J-1)]式(4)。
尽管通过小波包变换得到的轴承振动信号频带能量特征能够在时频域有效的区分农机轴承非平稳振动信号，但是为了更直观的表示振动信号的频率特征，本发明使用快速傅里叶变换对农机轴承振动信号进行频域信号特征提取。
图3示出了根据本公开一实施例的前向特征矩阵构造示意图。
在一示例中，农机轴承特征数据的时频域特征数据和频域特征数据组合成农机轴承特征数据的前向特征矩阵；农机轴承特征数据的前向特征矩阵经变换得到所述农机轴承特征数据的后向特征矩阵，变换公式为：
Figure BDA0003267281560000082
式中，n为每个时频域的点数，N为小波基函数分解层数。
为了满足本发明所用神经网络的输入需求，将时频域特征和频域特征进行组合构成前向特征矩阵。前向特征矩阵的生成过程如图3所示，使用db10类型的小波基函数对原始数据进行小波包变换，获取时频域能量特征，使用的小波包分解层数为6层，得到64个时频域特征。使用快速傅里叶变换提取原始信号的频域特征，特征点数为1024。对时频域能量特征使用复制机制和对频域特征使用变形机制，构成尺寸为32×64的前向特征矩阵。
其中，由于农机轴承振动信号是离散信号，需选择具有离散小波变换能力小波基函数，且不同的小波基函数对应的小波包变换的结果也有差异。本发明所使用的db10小波基函数仅为提供的示例性应用，在此不作限定。小波包分解层数的选择可根据需要进行设定，且特征矩阵的尺寸也不仅仅局限于32×64。
当得到前向特征矩阵后，令n为32，N为6代入式(5)
Figure BDA0003267281560000091
得到后向特征矩阵，然后即可将前向特征矩阵和后向特征矩阵输入所设计的神经网络进行农机轴承故障类型诊断模型的训练。
步骤S3：压缩农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心。其中，工业无线网络使用远距离高带宽无线通信网络，如工业wifi、4G、5G等，在此不作限定。远端高性能计算中心为远端搭载高性能GPU计算能力的服务器，可以完成大数据量的集中处理。
步骤S4：将农机轴承特征数据输入到远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。
其中，结构完整的Transformer神经网络具有编码器-解码器结构。编码器用于将输入序列的符号表示映射为序列的连续表示，解码器即将连续表示恢复为符号表示。基于农机轴承故障类型诊断任务的特点，只需计算输入序列的连续表示即可得到故障类型。将农机轴承特征数据的时频域特征数据和频域特征数据进行串接为数据间的直接连接，通过无线网络对整个特征数据进行远距离传输，通过使用Transformer的编码器部分即可完成农机轴承的故障类型识别。
如图2所示，农机轴承故障类型诊断模型的构建过程包括：构建输入样本矩阵为特征矩阵构建过程，即生成前向特征矩阵和后向特征矩阵；构建归一化位置编码方法，为使模型为处理农机轴承特征数据时率特征数据的位置信息；双向输入样本矩阵处理机制，为前向特征矩阵和后向特征矩阵经过Transformer神经网络变体处理的过程。
图4示出了根据本公开一实施例的基于Transformer神经网络的农机轴承故障类型诊断模型示意图。
在一示例中，基于Transformer神经网络的农机轴承故障类型诊断模型包括：归一化位置编码层、前向数据Transformer处理层、后向数据Transformer处理层和全连接层。其中，归一化位置编码层用于保留农机轴承特征数据的位置编码信息；前向数据Transformer处理层用于处理农机轴承特征数据的前向特征数据；后向数据Transformer处理层用于处理农机轴承特征数据的后向特征数据；全连接层用于将经过前向数据Transformer处理层和后向数据Transformer处理层处理的前向特征数据和后向特征数据进行非线性映射，得到农机轴承故障诊断类型。且前向数据Transformer处理层和后向数据Transformer处理层的结构相同，分别由包括多头自注意力机制子层和一维卷积子层的网络层组成。
在一示例中，步骤S4可以包括：将农机轴承特征数据的前向特征数据和归一化位置编码层保留的位置编码叠加形成带有位置编码信息的前向特征数据输入到前向数据Transformer处理层；
将农机轴承特征数据的后向特征数据和归一化位置编码层保留的位置编码叠加形成带有位置编码信息的前向特征数据输入到后向数据Transformer处理层；
将经过前向数据Transformer处理层处理的前向特征数据和后向数据Transformer处理层处理的后向特征数据输入到全连接层，经所述全连接层的非线性映射处理，得到农机轴承故障诊断类型。
例如，如图4所示，农机轴承故障类型诊断模型由四个部分组成：归一化位置编码、前向数据Transformer处理层、后向数据Transformer处理层和全连接&Argmax层。
前向数据Transformer处理层和后向数据Transformer处理层在结构上是相同的，区别仅在于输入数据的不同。每个Transformer处理层由N＝12的相同层堆叠排列而成。每一个相同层包含两个子层，分别是多头自注意力机制层和一维卷积层。为了使网络结构具备通过增加深度来提高准确率的能力，即解决增加深度带来的副作用(退化问题：层数多了后，出现准确率反而下降的情况)，每个子层内部均使用残差连接，同时，每个子层末端使用层归一化以提高神经网络的训练速度和泛化性能。则每个子层的输出可表示为公式(6)：
o＝LayerNorm(x+Sublayer(x)) 式(6)，
其中，Sublayer(x)是每个子层内部的函数，本文中为多头自注意力机制层处理函数和一维卷积层处理函数，LayerNorm(·)为层归一化处理。
多头自注意力机制：该处理机制可以描述为将查询和一组键-值对映射到输出，输出是一组值的加权和，其中分配给每个值的权重由使用键值进行查询计算得到。多头注意力允许模型在不同位置共同关注来自不同表示子空间的信息。多头自注意力机制的计算过程如公式(7)所示，
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO
Figure BDA0003267281560000111
Figure BDA0003267281560000112
其中，参数矩阵
Figure BDA0003267281560000113
Figure BDA0003267281560000114
Figure BDA0003267281560000115
Figure BDA0003267281560000116
h是头的数量，dk是查询或键的尺寸。将同时对一组查询计算注意力函数，并将它们打包到矩阵Q中。键和值也打包到矩阵K和V中，Concat函数用于拼接多头注意力计算得到的输出，softmax函数用于获得值的权重。
一维卷积：该层由三个一维卷积串联而成，构成全连接前馈网络。由于需要从多头自注意力机制的输出片段中获取感兴趣的特征，同时该特征在片段中的位置不具有高度相关性，可以使用三个一维核尺寸为1的卷积网络对多头自注意力机制的输出进行处理，这仅仅是一个示例，在此不做限定。
农机轴承特征矩阵数据经过所设计的Transformer层处理后，最后再经过全连接&Argmax层处理。该层对Transformer层输出的前向特征矩阵的处理结果和后向特征矩阵的处理结果进行非线性映射，得到最终的农机轴承故障类型诊断结果。
对于Transformer神经网络来说，为了能够保留输入数据之间的相对位置信息，必须要添加额外的处理。由于农机轴承特征数据的长度固定，同时为了直观并且简单的体现农机轴承特征矩阵数据间的位置关系，可以采用归一化位置编码方法进行计算，其计算公式如(8)所示。
p＝{1,2,...,n}
Figure BDA0003267281560000121
E＝reshape(PE) 式(8)
其中，n农机轴承特征总数，min是p的最小值，max是p的最大值。reshape(·)函数将PE变换为与农机轴承特征矩阵的尺寸相同的矩阵。将位置编码矩阵和农机轴承特征矩阵进行相加即可使神经网络的输入具备位置编码信息。
在一示例中，在基于Transformer神经网络的农机轴承故障类型诊断模型的训练过程中采用错误样本权重增强机制增强所述农机轴承故障类型诊断模型的鲁棒性。
在模型训练过程中，对于训练数据集中识别错误的样本采用权重增强机制处理，增加模型对错误样本的处理次数。在模型训练时，由模型识别值和标准值计算softmax交叉熵并求取平均值作为损失值，然后使用ADAM进行梯度更新并最小化损失值，完成模型的训练。例如，本文所提算法在经过80000次训练迭代后，模型训练耗时约48分钟，保存训练过程中验证准确度最大的模型作为最优模型。当输入农机轴承数据即可得到农机轴承故障类型诊断结果。即基于Transformer神经网络的农机轴承故障类型诊断模型可以通过不断迭代训练直到模型验证结果收敛，并保存最佳模型。在训练过程中，每次迭代都要进行模型验证，将模型验证准确度为最大值的模型的参数作为当前得到的最佳农机轴承故障类型诊断模型(最佳模型)，然后输入农机轴承数据，得到故障类型诊断结果，并根据结果采集相应的措施。根据所述方法，该训练过程中的农机轴承故障类型诊断模型训练过程为线下训练过程，训练时间不占用实际应用中的故障类型诊断时间。
根据本公开的另一方面，还提出了一种基于Transformer神经网络的农机轴承故障类型诊断系统，该系统包括：
轴承振动信号采集模块，用于利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；
农机轴承特征数据提取模块，用于将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；
农机轴承特征数据压缩模块，用于压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；
农机轴承故障类型诊断模型，用于将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。
本发明利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。能够准确诊断出农机轴承故障类型，弥补目前农机故障诊断技术不够成熟的不足。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种基于Transformer神经网络的农机轴承故障类型诊断方法，其特征在于，所述方法包括：
利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；
将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；
压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；
将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。
2.根据权利要求1所述的农机轴承故障类型诊断方法，其特征在于，所述利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据，包括：
利用小波包变换法对所述轴承振动信号进行6层分解，将第6层所述轴承振动信号频带能量作为所述农机轴承特征数据的时频域特征数据；
利用快速傅里叶变换对所述轴承振动信号提取的时频域特征进行频域分解，得到所述农机轴承特征数据的频域特征数据。
3.根据权利要求2所述的农机轴承故障类型诊断方法，其特征在于，
所述农机轴承特征数据的时频域特征数据和频域特征数据组合成农机轴承特征数据的前向特征矩阵；
所述农机轴承特征数据的前向特征矩阵经变换得到所述农机轴承特征数据的后向特征矩阵。
4.根据权利要求3所述的农机轴承故障类型诊断方法，其特征在于，
农机轴承特征数据的前向特征矩阵到所述农机轴承特征数据的后向特征矩阵的变换公式为：
Figure FDA0003267281550000021
式中，n为每个时频域的点数，N为小波基函数分解层数。
5.根据权利要求3所述的农机轴承故障类型诊断方法，其特征在于，所述基于Transformer神经网络的农机轴承故障类型诊断模型，包括：归一化位置编码层、前向数据Transformer处理层、后向数据Transformer处理层和全连接层；
所述归一化位置编码层，用于保留所述农机轴承特征数据的位置编码信息；
所述前向数据Transformer处理层，用于处理所述农机轴承特征数据的前向特征数据；
所述后向数据Transformer处理层，用于处理所述农机轴承特征数据的后向特征数据；
所述全连接层，用于将经过前向数据Transformer处理层和后向数据Transformer处理层处理的前向特征数据和后向特征数据进行非线性映射，得到农机轴承故障诊断类型。
6.根据权利要求3所述的农机轴承故障类型诊断方法，其特征在于，所述前向数据Transformer处理层和后向数据Transformer处理层的结构相同，分别由包括多头自注意力机制子层和一维卷积子层的网络层组成。
7.根据权利要求3所述的农机轴承故障类型诊断方法，其特征在于，所述将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型，包括：
将所述农机轴承特征数据的前向特征数据和归一化位置编码层保留的位置编码叠加形成带有位置编码信息的前向特征数据输入到所述前向数据Transformer处理层；
将所述农机轴承特征数据的后向特征数据和归一化位置编码层保留的位置编码叠加形成带有位置编码信息的前向特征数据输入到所述后向数据Transformer处理层；
将经过前向数据Transformer处理层处理的前向特征数据和后向数据Transformer处理层处理的后向特征数据输入到全连接层，经所述全连接层的非线性映射处理，得到农机轴承故障诊断类型。
8.根据权利要求1所述的农机轴承故障类型诊断方法，其特征在于，在基于Transformer神经网络的农机轴承故障类型诊断模型的训练过程中采用错误样本权重增强机制增强所述农机轴承故障类型诊断模型的鲁棒性。
9.一种基于Transformer神经网络的农机轴承故障类型诊断系统，其特征在于，所述系统包括：
轴承振动信号采集模块，用于利用振动加速度传感器采集农机轴承不同测点位置的轴承振动信号；
农机轴承特征数据提取模块，用于将所述轴承振动信号通过本地局域网传输至本地计算模块，利用时频域特征提取技术和频域特征提取技术对所述轴承振动信号进行特征提取以得到农机轴承特征数据；
农机轴承特征数据压缩模块，用于压缩所述农机轴承特征数据，将压缩后的农机轴承特征数据经无线网传输至远端计算中心；
农机轴承故障类型诊断模型，用于将所述农机轴承特征数据输入到所述远端计算中心的基于Transformer神经网络的农机轴承故障类型诊断模型进行诊断，输出农机轴承的故障类型。
CN202111090535.9A 2021-09-17 2021-09-17 基于Transformer神经网络的农机轴承故障类型诊断方法及系统 Pending CN114004135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111090535.9A CN114004135A (zh) 2021-09-17 2021-09-17 基于Transformer神经网络的农机轴承故障类型诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111090535.9A CN114004135A (zh) 2021-09-17 2021-09-17 基于Transformer神经网络的农机轴承故障类型诊断方法及系统

Publications (1)

Publication Number Publication Date
CN114004135A true CN114004135A (zh) 2022-02-01

Family

ID=79921460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111090535.9A Pending CN114004135A (zh) 2021-09-17 2021-09-17 基于Transformer神经网络的农机轴承故障类型诊断方法及系统

Country Status (1)

Country Link
CN (1) CN114004135A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099288A (zh) * 2022-08-24 2022-09-23 中国人民解放军国防科技大学 一种基于小波域自注意力机制的故障辨识方法及相关组件
CN115238748A (zh) * 2022-08-04 2022-10-25 中国人民解放军军事科学院系统工程研究院 一种基于Transformer和决策融合的调制识别方法
CN116595421A (zh) * 2023-06-10 2023-08-15 北京航空航天大学 基于时频谱图和变换器算法的飞行器电信号预测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238748A (zh) * 2022-08-04 2022-10-25 中国人民解放军军事科学院系统工程研究院 一种基于Transformer和决策融合的调制识别方法
CN115238748B (zh) * 2022-08-04 2024-04-23 中国人民解放军军事科学院系统工程研究院 一种基于Transformer和决策融合的调制识别方法
CN115099288A (zh) * 2022-08-24 2022-09-23 中国人民解放军国防科技大学 一种基于小波域自注意力机制的故障辨识方法及相关组件
CN115099288B (zh) * 2022-08-24 2022-11-15 中国人民解放军国防科技大学 一种基于小波域自注意力机制的故障辨识方法及相关组件
CN116595421A (zh) * 2023-06-10 2023-08-15 北京航空航天大学 基于时频谱图和变换器算法的飞行器电信号预测方法
CN116595421B (zh) * 2023-06-10 2024-04-09 北京航空航天大学 基于时频谱图和变换器算法的飞行器电信号预测方法

Similar Documents

Publication Publication Date Title
Wang et al. A method for rapidly evaluating reliability and predicting remaining useful life using two-dimensional convolutional neural network with signal conversion
CN114004135A (zh) 基于Transformer神经网络的农机轴承故障类型诊断方法及系统
CN112417954B (zh) 一种面向小样本数据集的轴承故障模式诊断方法及系统
Zhu et al. Acoustic signal-based fault detection of hydraulic piston pump using a particle swarm optimization enhancement CNN
CN110849626B (zh) 一种自适应稀疏压缩自编码的滚动轴承故障诊断系统
Si et al. Unsupervised deep transfer learning with moment matching: A new intelligent fault diagnosis approach for bearings
CN112200244A (zh) 一种基于递阶对抗训练的航天发动机异常智能检测方法
US20230351177A1 (en) Enhanced discriminate feature learning deep residual cnn for multi-task rotating machinery fault diagnosis with information fusion
CN116358871B (zh) 基于图卷积网络的滚动轴承微弱信号复合故障诊断方法
Zhang et al. Intelligent machine fault diagnosis using convolutional neural networks and transfer learning
Wang et al. Fault diagnosis of industrial robots based on multi-sensor information fusion and 1D convolutional neural network
Hu et al. Rolling bearing fault diagnosis based on wireless sensor network data fusion
Shaowu et al. Study on the health condition monitoring method of hydraulic pump based on convolutional neural network
Xu et al. Fault diagnosis of subway traction motor bearing based on information fusion under variable working conditions
CN117592543A (zh) 一种基于自监督学习的航空发动机滚动轴承故障诊断方法
CN116754231A (zh) 一种基于RegNet-SES的快速诊断滚动轴承故障方法
CN114459760B (zh) 一种强噪声环境下的滚动轴承故障诊断方法及系统
Tian et al. Multi-scale deep coupling convolutional neural network with heterogeneous sensor data for intelligent fault diagnosis
CN116910574A (zh) 基于元学习和时间卷积网络的机械设备诊断方法及装置
CN114781427A (zh) 基于信息融合技术的风力发电机组滚动轴承故障诊断系统
Qi et al. A new deep fusion network for automatic mechanical fault feature learning
Wu et al. An Efficient Intelligent Edge Diagnosis System Based on WDCNN in the Application of Equipment Fault Classification
Jiang et al. Image classification method of bearing fault based on BOA optimization ResNet-18
Du et al. Bearing fault diagnosis based on improved residual network
CN114877925B (zh) 一种基于极限学习机的综合能源系统传感器故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination