CN114036978A - 一种基于Transformer和数据增强的轴承故障诊断方法及系统 - Google Patents

一种基于Transformer和数据增强的轴承故障诊断方法及系统 Download PDF

Info

Publication number
CN114036978A
CN114036978A CN202111267128.0A CN202111267128A CN114036978A CN 114036978 A CN114036978 A CN 114036978A CN 202111267128 A CN202111267128 A CN 202111267128A CN 114036978 A CN114036978 A CN 114036978A
Authority
CN
China
Prior art keywords
data
network
bearing
feature extraction
fault diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111267128.0A
Other languages
English (en)
Inventor
冯志玺
胡浩
彭同庆
杨淑媛
杨晨
郝晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111267128.0A priority Critical patent/CN114036978A/zh
Publication of CN114036978A publication Critical patent/CN114036978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明公开了一种基于Transformer和数据增强的轴承故障诊断方法及系统，获取轴承运行过程中的数据；对获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；构建基于Transformer的特征提取网络；搭建网络训练与验证框架，按批次选取训练数据集X和验证数据集Y的数据送入搭建的特征提取网络中，得到特征提取网络输出结果；对特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。本发明通过使用数据重采样的增强方法来泛化网络性能，同时使用Transformer作为特征提取器，使得本发明的故障诊断验证准确率达到95％。

Description

一种基于Transformer和数据增强的轴承故障诊断方法及 系统
技术领域
本发明属于故障诊断技术领域，具体涉及一种基于Transformer和数据增强的轴承故障诊断方法及系统。
背景技术
随着工业的发展，对高精度自动化设备的需求不断增加，设备越精密越复杂，其运行状态就越难被监测。轴承作为旋转机械设备中最常用的零件，其运行状态往往直接决定了设备质量的好坏。轴承故障的发生将导致严重的故障时间、较高的维修成本，甚至潜在的生产率下降等一系列后果。因此，如何提高机械设备的故障诊断能力使其正常运作成为工业发展的方向之一。
目前，基于振动信号分析的机械故障诊断技术主要集中在两个方面：
(1)基于信号处理的故障诊断方法；
(2)基于机器学习的故障诊断方法。
基于信号处理的故障诊断方法需要人为的设计特征提取的方法，不仅要求研究人员要有比较高的专业知识，而且提取到的特征好坏往往还取决于人的经验，具有主观性。此类方法耗时耗力代价大，且准确率并不理想，很难满足对于高精度自动化机械设备的状态诊断。近些年来，随着大数据、人工智能技术的成熟，基于机器学习框架的方法越来越多的应用于故障诊断领域。常见的卷积神经网络，通过卷积核进行区域扫描提取特征，但是该种特征提取方式无法获取全局特征；而基于循环神经网络的诊断方法需要考虑时序信息，无法并行执行，且随着信息的前向传播丢失的特征也会越来越多。以上两种方法均在一定程度上会对故障诊断产生影响，识别精度有待进一步提升。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于Transformer和数据增强的轴承故障诊断方法及系统，解决轴承故障诊断方法中特征提取容易受外界因素影响、特征信息不全面及无法并行计算的问题，较大程度的提高了轴承故障诊断的准确率。
本发明采用以下技术方案：
一种基于Transformer和数据增强的轴承故障诊断方法，包括以下步骤：
S1、获取轴承运行过程中的数据；
S2、对步骤S1获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；
S3、构建基于Transformer的特征提取网络；
S4、搭建网络训练与验证框架，按批次选取步骤S2训练数据集X和验证数据集Y的数据送入步骤S3搭建的特征提取网络中，得到特征提取网络输出结果；
S5、对步骤S4中的特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
具体的，步骤S1中，轴承运行过程中的数据具体为：
以12kHz的采样频率，在不同的地方设置加速度计收集，数据包括1种正常类型和9种故障类型。
具体的，步骤S2具体为：
S201、从不同的起始位置，对步骤S1获取的轴承数据，采集固定数量的数据作为一个样本，完成数据重采样；
S202、将步骤S201重采样后的样本数据集中的80％划分为训练数据集X，剩余20％划分为验证数据集Y。
具体的，步骤S3具体为：
S301、搭建多头自注意力网络，使用多个自注意力模块，从不同维度提取特征；
S302、搭建残差网络，将输入网络的特征和经过多头自注意力网络处理的特征直接相加，然后对相加后的结果再进行层标准化处理；
S303、搭建包含两个全连接层的前馈网络；
S304、重复步骤S301～S303构成单个Encoder网络，将多个Encoder连接起来，当前Encoder的输出作为下一个Encoder的输入，使网络不断的提取获取到的轴承数据的特征；
S305、搭建故障诊断网络；
S306、对处理后的结果采用交叉熵损失函数计算交叉熵损失；
S307、选择Adam优化算法，根据原始梯度更新网络的参数；
S308、根据步骤S305的故障诊断网络，步骤S306的交叉熵损失，步骤S307的Adam优化算法构建基于Transformer的特征提取网络。
进一步的，步骤S301中，定义矩阵向量WQ,WK,WV，对输入的信号做线性变化再次得到查询矩阵Q、键矩阵K、值矩阵V，做如下运算：
Figure BDA0003327153680000031
其中，dk为Q的维度，softmax计算方式：
Figure BDA0003327153680000032
其中，ei,ej为对位置元素进行以e为底的指数运算。
进一步的，步骤S306中，交叉熵损失Loss计算如下：
Figure BDA0003327153680000041
其中，N表示批处理的样本数量，yi表示真实标签，pi为神经网络的输出经过softmax层后计算的结果。
进一步的，步骤S307中，原始梯度wt为：
Figure BDA0003327153680000042
其中，α表示学习率，
Figure BDA0003327153680000043
表示对梯度的一阶矩估计的校正，
Figure BDA0003327153680000044
表示对梯度的二阶矩估计的校正，ε表示维持数值稳定性添加的常数。
具体的，步骤S4具体为：
S401、设置训练的迭代次、训练次数、验证次数、学习率和批处理数量；
S402、打乱训练数据集X，按批次选取数据送入步骤S3搭建的特征提取网络中；
S403、将验证数据集Y按批次送入步骤S3提到的特征提取网络中，计算并统计模型预测准确率、交叉熵损失等指标并绘制图表对预测结果进行分析，得出预测结果。
进一步的，步骤S401中，迭代次数为100、训练次数500、验证次数500、学习率0.001、批处理数量32。
本发明的另一技术方案是，一种基于Transformer和数据增强的轴承故障诊断系统，包括：
数据模块，获取轴承运行过程中的数据；
划分模块，对数据模块获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；
网络模块，构建基于Transformer的特征提取网络；
预测模块，搭建网络训练与验证框架，按批次选取划分模块训练数据集X和验证数据集Y的数据送入网络模块搭建的特征提取网络中，得到特征提取网络输出结果；
诊断模块，对预测模块中的特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于Transformer和数据增强的轴承故障诊断方法，在数据方面，将数据重采样增加数据量，同时能够泛化网络的性能，在网络方面，得益于Transformer的全局特征提取能力，使得提取到的特征能全面的反应信号特征，增加故障诊断准确率。
进一步的，设置数据采样频率为12kHz，其决定于设备的转速，过大或者过小都会对最终的诊断结果有影响；
进一步的，对于采集到的信号样本来说，可以将单条信号拆分为N条故障信号，同时信号不考虑开始和结尾，所以可以从不同位置拆分，这既增加了数据量，同时可以泛化网路性能；其次将拆分后的信号划分为训练集和验证集，80％数据用于训练，20％数据用于验证；
进一步的，搭建故障诊断网络，本质上是一个Transformer的Encoder网络加上一个分类网络，将故障数据输入该网络，网络会输出预测的故障类型；
进一步的，自注意力网络可以提取全局的特征，并且是并行化运算，克服了传统CNN只能提取局部特征的缺点以及RNN必须串行运算的缺点；另外使用多个自注意力网络从不同维度提取特征，最后将这些特征送入分类网络预测故障类型；
进一步的，在分类网络中使用的是交叉熵损失函数，使用均方差损失函数时，梯度和激活函数的梯度成正比，但是对于sigmoid激活函数来说，当σ(z)很大的时候，σ′(z)很小，几乎为0，导致参数更新很慢。但是对于交叉熵损失函数来说，此时的梯度和激活函数无关，而且当预测的结果σ(z)和真实结果y差距越大时，梯度越大，参数更新的越快，当预测结果和真实结果差距很小时，梯度变小，参数就基本处于稳定状态，使用交叉熵损失函数带来了两个好处。
进一步的，观察Adam优化算法保证了梯度带有动量值，也就间接保证了会持续优化下去不至于走到鞍点；另外
Figure BDA0003327153680000061
可以理解为求历史梯度的加权平均，使用历史梯度信息对当前梯度进行一个修正，消除变量更新时的震荡，从而得到一个稳定的梯度更新值。
Figure BDA0003327153680000062
表示对梯度的二阶矩估计的校正，用于得到每个权重参数的学习率权重参数，同时结合梯度平方的指数移动平均数来调节学习率的变化，也就是说梯度变化的过快则减小学习率，梯度变化的太慢则增大学习率。
进一步的，训练网络，将结果重采样后的训练集数据送入网络，不断优化网络的参数，同时使用验证集验证网络的预测准确率，直到预测准确率达到较优水平；
综上所述，本发明通过使用数据重采样的增强方法来泛化网络性能，同时使用Transformer作为特征提取器，使得本发明的故障诊断验证准确率达到95％。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为轴承故障数据说明图。
图2为数据特征重采样示意图。
图3为单个Encoder网络结构图。
图4为训练过程中交叉熵损失图
图5为训练过程中准确率图。
图6为测试过程生成的混淆矩阵图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明一种基于Transformer和数据增强的轴承故障诊断方法，包括以下步骤：
S1、获取轴承运行过程中的数据；
本次实验采用CWRU公开轴承数据集，该数据集获取的主要的实验设备包括：2hp电动机，扭矩传感器和测力计。数据集的振动信号通过四种负载情况，以12kHz的采样频率，在三个不同的地方设置加速度计收集，其数据包括正常类型和9种故障类型共10类，数据如图1所示。
S2、对步骤S1获取的数据进行数据增强处理；
S201、数据重采样
请参阅图2对于获取的轴承数据，从不同的起始位置，采集固定数量的数据(2048个数据)作为一个样本，通过采用多个不同起始位置进行样本采集达到数据增强的目的，一方面可以扩充数据量，另一方面可以增加网络的鲁棒性和泛化能力。
S202、划分数据集
从重采样后的样本数据集中80％划分为训练数据集X，剩余20％划分为验证数据集Y。
S3、构建基于Transformer的特征提取网络；
S301、搭建多头自注意力网络；
通过自注意力机制不仅能够实现并行计算，同时能够提取全局特征，克服了注意力机制需要按顺序执行的缺点；此外使用多个自注意力模块，从不同维度提取特征，即多头自注意力网络；
定义三个矩阵向量：WQ,WK,WV，这三个矩阵对输入的信号做线性变化再次得到三个矩阵向量：查询矩阵Q、键矩阵K、值矩阵V，做如下运算：
Figure BDA0003327153680000091
当使用多头注意力网络时，使用多组{Q,K,V}生成多组Z，此时不同的Z代表提取到的不同维度的特征。
其中，dk为Q的维度，除以dk是为了防止内积过大；softmax计算方式：
Figure BDA0003327153680000092
其中，ej,ej表示对该位置元素进行指数运算。
S302、搭建残差网络；
将输入网络的特征和经过多头自注意力网络处理的特征直接相加，此做法能够减小梯度弥散的可能，同时使得原始信息在前向传播过程中更多的被保存下来；然后对相加后的结果再进行层标准化处理，标准化处理使参数独立同分布，加快网络收敛速度。
S303、搭建前馈网络；
前馈网络本质是两个全连接层，主要进行空间变换，增加模型的表现能力。前馈网络的输入和输出相加后再送入下一个网络进行处理；
S304、重复步骤S301～S303；
步骤S301～S303构成单个Encoder网络，将多个Encoder连接起来，当前Encoder的输出作为下一个Encoder的输入，使网络不断的提取获取到的轴承数据的特征，如图3所示；
S305、搭建故障诊断网络；
包括一个全连接层，输出维度就是故障类型数量，将最后一个Encoder的输出作为该网络输出，得到轴承故障类型；
S306、对处理后的结果采用交叉熵损失函数计算交叉熵损失，计算公式如下：
Figure BDA0003327153680000101
其中，N表示批处理的样本数量，yi表示真实标签，这里为10种故障类型，pi为神经网络的输出经过softmax层后计算的结果。
S307、选择Adam优化算法，公式如下：
Figure BDA0003327153680000102
其中，wt表示原始梯度，α表示学习率，
Figure BDA0003327153680000103
表示对梯度的一阶矩估计的校正，
Figure BDA0003327153680000104
表示对梯度的二阶矩估计的校正，ε表示为了维持数值稳定性而添加的常数。
S4、搭建网络训练与验证框架；
S401、设置训练的迭代次、训练次数、验证次数、学习率和批处理数量；
优选地，迭代次数为100、训练次数500、验证次数500、学习率0.001、批处理数量32。
S402、打乱训练数据集X，按批次选取数据送入步骤S3搭建的特征提取网络中；
S403、将验证数据集Y按批次送入步骤S3提到的特征提取网络中，计算并统计模型预测准确率、交叉熵损失等指标并绘制图表对预测结果进行分析，得出预测结果；
S5、对步骤S4中的预测结果进行分析，得出实验结论。
请参阅图4，训练过程中的损失及准确率如图4，由图4可知，在第40Epoch之后准确率保持稳定，并且验证集的准确率达到95％。对验证集Y进行测试得到的混淆矩阵如图6，可以得出基于Transformer和数据增强的轴承故障诊断方法具有较好的诊断效果。
本发明再一个实施例中，提供一种基于Transformer和数据增强的轴承故障诊断系统，该系统能够用于实现上述基于Transformer和数据增强的轴承故障诊断方法，具体的，该基于Transformer和数据增强的轴承故障诊断系统包括数据模块、划分模块、网络模块、预测模块以及诊断模块。
其中，数据模块，获取轴承运行过程中的数据；
划分模块，对数据模块获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；
网络模块，构建基于Transformer的特征提取网络；
预测模块，搭建网络训练与验证框架，按批次选取划分模块训练数据集X和验证数据集Y的数据送入网络模块搭建的特征提取网络中，得到特征提取网络输出结果；
诊断模块，对预测模块中的特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于Transformer和数据增强的轴承故障诊断方法的操作，包括：
获取轴承运行过程中的数据；对获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；构建基于Transformer的特征提取网络；搭建网络训练与验证框架，按批次选取训练数据集X和验证数据集Y的数据送入搭建的特征提取网络中，得到特征提取网络输出结果；对特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于Transformer和数据增强的轴承故障诊断方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
获取轴承运行过程中的数据；对获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；构建基于Transformer的特征提取网络；搭建网络训练与验证框架，按批次选取训练数据集X和验证数据集Y的数据送入搭建的特征提取网络中，得到特征提取网络输出结果；对特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通过图4的损失函数曲线和图5的准确率曲线可以看出，在第10个Epoch时训练的准确率已经达到100％，验证准确率达到95％；训练和验证的损失均收敛。
综上所述，本发明一种基于Transformer和数据增强的轴承故障诊断方法及系统，使用数据重采样的数据增强方式，扩展网络的泛化性能，同时使用Transformer作为特征提取网络，使得在验证集上的故障诊断准确率达到95％。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于Transformer和数据增强的轴承故障诊断方法，其特征在于，包括以下步骤：
S1、获取轴承运行过程中的数据；
S2、对步骤S1获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；
S3、构建基于Transformer的特征提取网络；
S4、搭建网络训练与验证框架，按批次选取步骤S2训练数据集X和验证数据集Y的数据送入步骤S3搭建的特征提取网络中，得到特征提取网络输出结果；
S5、对步骤S4中的特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，轴承运行过程中的数据具体为：
以12kHz的采样频率，在不同的地方设置加速度计收集，数据包括1种正常类型和9种故障类型。
3.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、从不同的起始位置，对步骤S1获取的轴承数据，采集固定数量的数据作为一个样本，完成数据重采样；
S202、将步骤S201重采样后的样本数据集中的80％划分为训练数据集X，剩余20％划分为验证数据集Y。
4.根据权利要求1所述的方法，其特征在于，步骤S3具体为：
S301、搭建多头自注意力网络，使用多个自注意力模块，从不同维度提取特征；
S302、搭建残差网络，将输入网络的特征和经过多头自注意力网络处理的特征直接相加，然后对相加后的结果再进行层标准化处理；
S303、搭建包含两个全连接层的前馈网络；
S304、重复步骤S301～S303构成单个Encoder网络，将多个Encoder连接起来，当前Encoder的输出作为下一个Encoder的输入，使网络不断的提取获取到的轴承数据的特征；
S305、搭建故障诊断网络；
S306、对处理后的结果采用交叉熵损失函数计算交叉熵损失；
S307、选择Adam优化算法，根据原始梯度更新网络的参数；
S308、根据步骤S305的故障诊断网络，步骤S306的交叉熵损失，步骤S307的Adam优化算法构建基于Transformer的特征提取网络。
5.根据权利要求4所述的方法，其特征在于，步骤S301中，定义矩阵向量WQ，WK，WV，对输入的信号做线性变化再次得到查询矩阵Q、键矩阵K、值矩阵V，做如下运算：
Figure FDA0003327153670000021
其中，dk为Q的维度，softmax计算方式：
Figure FDA0003327153670000022
其中，ei，ej为对位置元素进行以e为底的指数运算。
6.根据权利要求4所述的方法，其特征在于，步骤S306中，交叉熵损失Loss计算如下：
Figure FDA0003327153670000023
其中，N表示批处理的样本数量，yi表示真实标签，pi为神经网络的输出经过softmax层后计算的结果。
7.根据权利要求4所述的方法，其特征在于，步骤S307中，原始梯度wt为：
Figure FDA0003327153670000031
其中，α表示学习率，
Figure FDA0003327153670000032
表示对梯度的一阶矩估计的校正，
Figure FDA0003327153670000033
表示对梯度的二阶矩估计的校正，ε表示维持数值稳定性添加的常数。
8.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
S401、设置训练的迭代次、训练次数、验证次数、学习率和批处理数量；
S402、打乱训练数据集X，按批次选取数据送入步骤S3搭建的特征提取网络中；
S403、将验证数据集Y按批次送入步骤S3提到的特征提取网络中，计算并统计模型预测准确率、交叉熵损失等指标并绘制图表对预测结果进行分析，得出预测结果。
9.根据权利要求8所述的方法，其特征在于，步骤S401中，迭代次数为100、训练次数500、验证次数500、学习率0.001、批处理数量32。
10.一种基于Transformer和数据增强的轴承故障诊断系统，其特征在于，包括：
数据模块，获取轴承运行过程中的数据；
划分模块，对数据模块获取的数据进行数据增强处理，将增强处理后的数据划分为训练数据集X和验证数据集Y；
网络模块，构建基于Transformer的特征提取网络；
预测模块，搭建网络训练与验证框架，按批次选取划分模块训练数据集X和验证数据集Y的数据送入网络模块搭建的特征提取网络中，得到特征提取网络输出结果；
诊断模块，对预测模块中的特征提取网络输出结果进行分析，得出轴承的故障诊断类型，完成轴承故障诊断。
CN202111267128.0A 2021-10-28 2021-10-28 一种基于Transformer和数据增强的轴承故障诊断方法及系统 Pending CN114036978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111267128.0A CN114036978A (zh) 2021-10-28 2021-10-28 一种基于Transformer和数据增强的轴承故障诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111267128.0A CN114036978A (zh) 2021-10-28 2021-10-28 一种基于Transformer和数据增强的轴承故障诊断方法及系统

Publications (1)

Publication Number Publication Date
CN114036978A true CN114036978A (zh) 2022-02-11

Family

ID=80135702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111267128.0A Pending CN114036978A (zh) 2021-10-28 2021-10-28 一种基于Transformer和数据增强的轴承故障诊断方法及系统

Country Status (1)

Country Link
CN (1) CN114036978A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法
CN114993677A (zh) * 2022-05-11 2022-09-02 山东大学 不平衡小样本数据的滚动轴承故障诊断方法及系统
CN116127720A (zh) * 2022-12-21 2023-05-16 华能南京燃机发电有限公司 一种基于改进Transformer的燃气轮机故障诊断方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114993677A (zh) * 2022-05-11 2022-09-02 山东大学 不平衡小样本数据的滚动轴承故障诊断方法及系统
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法
CN116127720A (zh) * 2022-12-21 2023-05-16 华能南京燃机发电有限公司 一种基于改进Transformer的燃气轮机故障诊断方法
CN116127720B (zh) * 2022-12-21 2024-01-16 华能南京燃机发电有限公司 一种基于改进Transformer的燃气轮机故障诊断方法

Similar Documents

Publication Publication Date Title
CN114036978A (zh) 一种基于Transformer和数据增强的轴承故障诊断方法及系统
KR101917006B1 (ko) 머신 러닝 기반 반도체 제조 수율 예측 시스템 및 방법
CN111460728B (zh) 一种工业设备剩余寿命预测方法、装置、存储介质及设备
CN100507460C (zh) 基于脉冲响应模板和参数优化的动态软测量建模方法
CN113325721B (zh) 一种工业系统无模型自适应控制方法及系统
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
CN112414715B (zh) 基于混合特征与改进灰度共生算法的轴承故障诊断方法
CN113029559A (zh) 一种齿轮箱故障诊断方法及系统
CN117473411A (zh) 基于改进Transformer模型的轴承寿命预测方法
CN114861522B (zh) 一种基于人工智能元学习技术的精密制造质量监测方法和装置
CN112735541A (zh) 一种基于简单循环单元神经网络的污水处理水质预测方法
CN117217020A (zh) 一种基于数字孪生的工业模型构建方法及系统
CN113537614A (zh) 电网工程造价预测模型的构建方法、系统、设备及介质
CN117493980A (zh) 一种集成特征提取和排序因果发现的轴承故障诊断方法
CN116306832A (zh) 一种用于多维序列数据的多模生成对抗神经网络建模方法及装置
CN116070126A (zh) 基于对抗自监督的航空柱塞泵配油盘磨损检测方法及系统
CN113780356B (zh) 基于集成学习模型的水质预测方法及系统
CN112423031B (zh) 基于iptv的kpi监测方法、装置及其系统
CN114818811A (zh) 一种基于孪生网络度量学习的航空发动机滚动轴承故障诊断方法
CN111913462B (zh) 一种基于广义多块独立元分析模型的化工故障监测方法
CN113887666A (zh) 一种基于Transformer的复合材料缺陷检测方法及系统
CN110543724A (zh) 面向总体设计的卫星结构性能预测方法
CN116541714B (zh) 电网调控模型训练方法、系统、计算机设备及存储介质
Arunachalam et al. End-to-end industrial IoT: software optimization and acceleration
CN118470014B (zh) 一种工业异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination