CN114510968B - 一种基于Transformer的故障诊断方法 - Google Patents

一种基于Transformer的故障诊断方法 Download PDF

Info

Publication number
CN114510968B
CN114510968B CN202210072731.1A CN202210072731A CN114510968B CN 114510968 B CN114510968 B CN 114510968B CN 202210072731 A CN202210072731 A CN 202210072731A CN 114510968 B CN114510968 B CN 114510968B
Authority
CN
China
Prior art keywords
network
fault diagnosis
layer
transformer
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210072731.1A
Other languages
English (en)
Other versions
CN114510968A (zh
Inventor
赵志宏
李春秀
张然
杨绍普
刘克俭
吴冬冬
孙诗胜
顾晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shijiazhuang Tiedao University
Original Assignee
Shijiazhuang Tiedao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shijiazhuang Tiedao University filed Critical Shijiazhuang Tiedao University
Priority to CN202210072731.1A priority Critical patent/CN114510968B/zh
Publication of CN114510968A publication Critical patent/CN114510968A/zh
Application granted granted Critical
Publication of CN114510968B publication Critical patent/CN114510968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Testing Electric Properties And Detecting Electric Faults (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明提供了一种基于Transformer的故障诊断方法,属于故障诊断技术领域。本发明采用了多层Transformer Encoder作为特征提取模块,在Encoder层之间加入Dense连接增强模型特征复用能力,在特征提取模块前加入Dropout层来提高模型的泛化能力,加入多通道卷积神经网络层来进行样本矩阵生成,采用全连接层进行故障分类。本发明采用了Transformer Encoder结构并进行了改进,将其应用在机械设备的故障诊断中,能够很好的提取振动信号之间长时间内的时序特征和全局特征,得到更加准确的故障关系。

Description

一种基于Transformer的故障诊断方法
技术领域
本发明属于故障诊断领域,具体涉及一种基于Transformer的故障诊断方法。
背景技术
随着现代工业、科技、经济的不断发展,工业已经成为衡量一个国家综合实力的重要标准。在现代工业社会中,机械设备是不可或缺的常用部件,在工业生产中起着至关重要的作用,大量的机械设备在运行初期具有良好的稳定性,但是复杂的工作环境和不规则的操作过程影响工业设备的安全,导致机械设备出现异常,它们的性能会随着时间的推移而降低甚至失效。而机械设备的有效维护是维持正常运转的基本要求,防止设备故障产生可以减少财产损失,避免严重事故的发生。因此,在生产过程中,对可靠性、安全性以及降低制造成本的需求,极大的推动了对机械设备故障诊断技术的发展。
随着深度学习的发展,基于卷积神经网络和循环神经网络的故障诊断方法都得到了广泛的应用,并取得较好的故障诊断效果。但是这两种类型的神经网络也有它们自己的缺陷,循环神经网络及其变体仍然不能完全避免长期依赖问题。卷积神经网络卷积核的局部接受域导致需要叠加大量的卷积层,才能获得全局信息,存在缺乏捕捉目标之间的关系、平等处理所有像素点、缺乏针对性等缺点。
发明内容
为了克服上述现有技术存在的不足,本发明提供了一种基于Transformer的故障诊断方法。
为了实现上述目的,本发明提供如下技术方案:
一种基于Transformer的故障诊断方法,包括以下步骤:
获取多个不同故障类型的机械设备振动信号作为数据集;
利用Transformer Encoder搭建特征提取网络;
利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型;
利用数据集中的机械设备振动信号对故障诊断模型进行训练;
将待测机械设备振动信号输入训练好的故障诊断模型得到待测机械设备振动信号的分类结果,根据分类结果判断待测机械设备的故障情况。
优选的,利用Transformer Encoder搭建特征提取模块的步骤为:
堆叠三层Encoder网络;
在每层Encoder网络之间加入Dense连接。
优选的,通过下式进行三层Encoder网络Dense连接,
xm=Hm([x0,x1,…,xm-1])
式中,xm为第m层的Encoder网络的输出,[·]为特征拼接函数,Hm为第m层的Encoder网络的特征提取函数。
优选的,搭建Encoder网络的步骤包括:
由多个Self-Attention组成Multi-Head Attention;
Multi-Head Attention与Feed Forward Network作为子层堆叠后残差连接得到Encoder网络。
优选的,所述由多个Self-Attention组成Multi-Head Attention的步骤包括:
利用下式计算Self-Attention,
Figure GDA0003789593170000021
式中,Q为Query向量、K为Key向量,V为Value向量;KT为K向量的转置,
Figure GDA0003789593170000022
为缩放因子;
利用下式计算多个Self-Attention组成的Multi-Head Attention,
MultiHeads(Q,K,V)=Concat(head1,...,headn)Wo
其中,
Figure GDA0003789593170000023
式中,Q为Query向量,K为Key向量,V为Value向量,headi为第i个Self-Attention的结果,Wo为权重矩阵,
Figure GDA0003789593170000024
为Query权重矩阵,
Figure GDA0003789593170000025
为Key权重矩阵,
Figure GDA0003789593170000026
为Value权重矩阵,Concat为特征拼接函数。
优选的,所述利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型的步骤包括:
将两层Dropout网络分别作为第一层网络和第四层网络;
将两层卷积神经网络分别作为第二层网络和第五层网络;
将特征提取模块作为第三层网络;
将全连接层网络作为第六层网络;
按顺序连接各层网络得到故障诊断模型。
优选的,所述利用机械设备数据集对故障诊断模型进行训练的步骤包括:
通过第一层网络丢弃数据集中的部分数据,将数据集中剩余的数据作为训练集;
将训练集中的数据输入第二层网络生成样本矩阵;
通过第三层网络对样本矩阵进行特征提取得到特征;
通过第四层网络丢弃样本特征中的神经元;
将丢弃过神经元的样本特征通过第五层网络进行融合;
将融合后的样本特征输入第六层网络实现对故障分类,实现对故障诊断模型的训练。
优选的,所述样本矩阵的行列数由第一层神经网络的通道数和特征长度确定。
本发明提供的基于Transformer的故障诊断方法具有以下有益效果:本发明采用Transformer Encoder模块作为模型的特征提取部分,Transformer Encoder可以更好的学习机械设备故障信息长时间内的时序特征和全局特征,得到更加准确的故障关系;模型采用CNN生成样本矩阵作为Encoder模块的输入数据,丰富了样本矩阵的特征信息,也创新性的将Transformer与故障诊断结合;相比于普通卷积神经网络,本发明方法特征提取能力更强,诊断准确率更高。
附图说明
为了更清楚地说明本发明实施例及其设计方案,下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1的基于Transformer的故障诊断方法的流程图;
图2为本发明实施例1的Multi-Head Attention结构示意图;
图3为本发明实施例1的故障诊断模型的结构示意图;
图4为本发明实施例1的特征提取模块中第一层Encoder数据可视化图;
图5为本发明实施例1的特征提取模块中第二层Encoder数据可视化图;
图6为本发明实施例1的特征提取模块中第三层Encoder数据可视化图;
图7为本发明实施例1的基于Transformer的故障诊断方法的识别准确率变化的曲线图;
图8为本发明实施例1基于Transformer的故障诊断方法的Loss函数变化曲线图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施,下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
参阅图1,本发明提供了一种基于Transformer的故障诊断方法,包括以下步骤:获取多个不同故障类型的机械设备振动信号作为数据集;利用Transformer Encoder搭建特征提取网络;利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型;利用数据集中的机械设备振动信号对故障诊断模型进行训练;将待测机械设备振动信号输入训练好的故障诊断模型得到待测机械设备振动信号的分类结果,根据分类结果判断待测机械设备的故障情况。
在本实施例中,利用Transformer Encoder搭建特征提取模块的步骤为:堆叠三层Encoder网络;在每层Encoder网络之间加入Dense连接。
具体的,通过下式进行三层Encoder网络Dense连接,
xm=Hm([x0,x1,…,xm-1])
式中,xm为第m层的Encoder网络的输出,[·]为特征拼接函数,Hm为第m层的Encoder网络的特征提取函数。
搭建Encoder网络的步骤包括:由多个Self-Attention组成Multi-HeadAttention;Multi-Head Attention与Feed Forward Network作为子层堆叠后残差连接得到Encoder网络。图2展示了本实施例中的Multi-Head Attention的结构。
在本实施例中,由多个Self-Attention组成Multi-Head Attention的步骤包括:
利用下式计算Self-Attention,
Figure GDA0003789593170000051
式中,Q为Query向量、K为Key向量,V为Value向量;KT为K向量的转置,
Figure GDA0003789593170000052
为缩放因子。
利用下式计算多个Self-Attention组成的Multi-Head Attention,
MultiHeads(Q,K,V)=Concat(head1,...,headn)Wo
其中,
Figure GDA0003789593170000053
式中,Q为Query向量,K为Key向量,V为Value向量,headi为第i个Self-Attention的结果,Wo为权重矩阵,
Figure GDA0003789593170000054
为Query权重矩阵,
Figure GDA0003789593170000055
为Key权重矩阵,
Figure GDA0003789593170000056
为Value权重矩阵,Concat为特征拼接函数。
参阅图3,利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型的步骤包括:将两层Dropout网络分别作为第一层网络和第四层网络;将两层卷积神经网络分别作为第二层网络和第五层网络;将特征提取模块作为第三层网络;将全连接层网络作为第六层网络;按顺序连接各层网络得到故障诊断模型。
在本实施例中,利用机械设备数据集对故障诊断模型进行训练的步骤包括:通过第一层网络丢弃数据集中的部分数据,将数据集中剩余的数据作为训练集;将训练集中的数据输入第二层网络生成样本矩阵,其中,样本矩阵的行列数由第二层网络的通道数和特征长度确定;通过第三层网络对样本矩阵进行特征提取得到特征;通过第四层网络丢弃样本特征中的神经元;将丢弃过神经元的样本特征通过第五层网络进行融合;将融合后的样本特征输入第六层网络实现对故障分类,实现对故障诊断模型的训练。
从图4-图6中可以看到机械设备振动信号在特征提取模块中的处理过程其中,图4展示了特征提取模块中第一层Encoder数据可视化图,图5为展示了特征提取模块中第二层Encoder数据可视化图;图6为展示了特征提取模块中第三层Encoder数据可视化图。
图7展示了本发明对于故障的识别情况,从图中可以看出,当训练次数足够多,在实际的测试中,故障识别的准确率非常接近理想化状态。图8展示了本发明的Loss函数变化曲线图,从图8中可以看出,当训练次数足够多时,本发明的实验结果与真实结果非常接近。采用本发明模型在变转速轴承数据集的实验准确率可达到99%以上。
以上实施例仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换,均属于本发明的保护范围。

Claims (6)

1.一种基于Transformer的故障诊断方法,其特征在于,包括以下步骤:
获取多个不同故障类型的机械设备振动信号作为数据集;
利用Transformer Encoder搭建特征提取网络,具体包括以下步骤:
堆叠三层Encoder网络;
在每层Encoder网络之间加入Dense连接;
通过下式进行三层Encoder网络Dense连接,
xm=Hm([x0,x1,…,xm-1])
式中,xm为第m层的Encoder网络的输出,[·]为特征拼接函数,Hm为第m层的Encoder网络的特征提取函数;
利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型;
利用数据集中的机械设备振动信号对故障诊断模型进行训练;
将待测机械设备振动信号输入训练好的故障诊断模型得到待测机械设备振动信号的分类结果,根据分类结果判断待测机械设备的故障情况。
2.根据权利要求1所述的基于Transformer的故障诊断方法,其特征在于,搭建Encoder网络的步骤包括:
由多个Self-Attention组成Multi-Head Attention;
Multi-Head Attention与Feed Forward Network作为子层堆叠后残差连接得到Encoder网络。
3.根据权利要求2所述的基于Transformer的故障诊断方法,其特征在于,
所述由多个Self-Attention组成Multi-Head Attention的步骤包括:
利用下式计算Self-Attention,
Figure FDA0003789593160000011
式中,Q为Query向量、K为Key向量,V为Value向量;KT为K向量的转置,
Figure FDA0003789593160000012
为缩放因子;
利用下式计算多个Self-Attention组成的Multi-Head Attention,
MultiHeads(Q,K,V)=Concat(head1,...,headn)Wo
其中,
Figure FDA0003789593160000021
式中,Q为Query向量,K为Key向量,V为Value向量,headi为第i个Self-Attention的结果,Wo为权重矩阵,
Figure FDA0003789593160000022
为Query权重矩阵,
Figure FDA0003789593160000023
为Key权重矩阵,
Figure FDA0003789593160000024
为Value权重矩阵,Concat为特征拼接函数。
4.根据权利要求1所述的基于Transformer的故障诊断方法,其特征在于,所述利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型的步骤包括:
将两层Dropout网络分别作为第一层网络和第四层网络;
将两层卷积神经网络分别作为第二层网络和第五层网络;
将特征提取模块作为第三层网络;
将全连接层网络作为第六层网络;
按顺序连接各层网络得到故障诊断模型。
5.根据权利要求4所述的基于Transformer的故障诊断方法,其特征在于,所述利用机械设备数据集对故障诊断模型进行训练的步骤包括:
通过第一层网络丢弃数据集中的部分数据,将数据集中剩余的数据作为训练集;
将训练集中的数据输入第二层网络生成样本矩阵;
通过第三层网络对样本矩阵进行特征提取得到特征;
通过第四层网络丢弃样本特征中的神经元;
将丢弃过神经元的样本特征通过第五层网络进行融合;
将融合后的样本特征输入第六层网络实现对故障分类,实现对故障诊断模型的训练。
6.根据权利要求5所述的基于Transformer的故障诊断方法,其特征在于,所述样本矩阵的行列数由第二层网络的通道数和特征长度确定。
CN202210072731.1A 2022-01-21 2022-01-21 一种基于Transformer的故障诊断方法 Active CN114510968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210072731.1A CN114510968B (zh) 2022-01-21 2022-01-21 一种基于Transformer的故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210072731.1A CN114510968B (zh) 2022-01-21 2022-01-21 一种基于Transformer的故障诊断方法

Publications (2)

Publication Number Publication Date
CN114510968A CN114510968A (zh) 2022-05-17
CN114510968B true CN114510968B (zh) 2022-09-16

Family

ID=81549748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072731.1A Active CN114510968B (zh) 2022-01-21 2022-01-21 一种基于Transformer的故障诊断方法

Country Status (1)

Country Link
CN (1) CN114510968B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN111178093A (zh) * 2019-12-20 2020-05-19 沈阳雅译网络技术有限公司 一种基于堆叠算法的神经机器翻译系统训练加速方法
CN112949823A (zh) * 2021-02-05 2021-06-11 杭州电子科技大学 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法
CN113159107A (zh) * 2021-02-26 2021-07-23 中国银联股份有限公司 一种异常处理的方法及装置
CN113392881A (zh) * 2021-05-27 2021-09-14 重庆大学 一种基于迁移学习的旋转机械故障诊断方法
CN113865868A (zh) * 2021-08-24 2021-12-31 东南大学 基于时频域表达的滚动轴承故障诊断方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000362A1 (zh) * 2019-07-04 2021-01-07 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法
CN111460889B (zh) * 2020-02-27 2023-10-31 平安科技(深圳)有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN112732983B (zh) * 2020-12-31 2023-09-12 平安科技(深圳)有限公司 基于人工智能的数据检测方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN111178093A (zh) * 2019-12-20 2020-05-19 沈阳雅译网络技术有限公司 一种基于堆叠算法的神经机器翻译系统训练加速方法
CN112949823A (zh) * 2021-02-05 2021-06-11 杭州电子科技大学 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法
CN113159107A (zh) * 2021-02-26 2021-07-23 中国银联股份有限公司 一种异常处理的方法及装置
CN113392881A (zh) * 2021-05-27 2021-09-14 重庆大学 一种基于迁移学习的旋转机械故障诊断方法
CN113865868A (zh) * 2021-08-24 2021-12-31 东南大学 基于时频域表达的滚动轴承故障诊断方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Atilla Özgür,et.al.Effect of Dropout layer on Classical Regression Problems.《2020 28th Signal Processing and Communications Applications Conference (SIU)》.IEEE,2020,1-4. *
Dense Layer Dropout Based CNN Architecture for Automatic Modulation Classification;P Dileep, et.al;《 2020 National Conference on Communications (NCC)》;IEEE;20200406;1-9 *
Research and Implementation of Chinese Couplet Generation System With Attention Based Transformer Mechanism;Yufeng Wang, et.al;《 IEEE Transactions on Computational Social Systems》;IEEE;20210423;1-9 *
基于Transformer神经网络的滚动轴承故障类型识别;邱大伟等;《高技术通讯》;20210115;第31卷(第1期);1-11 *
基于改进卷积神经网络的滚动轴承智能故障诊断研究;宫文峰等;《振动工程学报》;20200430;第33卷(第3期);400-413 *

Also Published As

Publication number Publication date
CN114510968A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN114510968B (zh) 一种基于Transformer的故障诊断方法
CN108764601B (zh) 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法
CN111721535A (zh) 一种基于卷积多头自注意力机制的轴承故障检测方法
CN109086470A (zh) 一种基于模糊偏好关系与d-s证据理论的故障诊断方法
CN107272646A (zh) 基于专家系统的压力机故障诊断系统
CN101945009A (zh) 基于案例和模式匹配的电力通信网故障定位方法及装置
CN111970156B (zh) 网络故障根因分析方法、装置、计算机设备及存储介质
CN105588684B (zh) 一种电子扫描阀测压系统故障自动诊断检查方法
CN112836346B (zh) 基于cn和pca的电机故障诊断方法、电子设备及介质
CN116859843B (zh) 一种基于工业大数据的生产设备故障监测方法及系统
CN114722952B (zh) 一种基于表示学习的轴承故障检测和分类的一体化方法
CN114818826A (zh) 基于轻量级Vision Transformer模块的故障诊断方法
CN114913396A (zh) 一种电机轴承故障诊断方法
CN114296975A (zh) 一种分布式系统调用链和日志融合异常检测方法
CN114998294A (zh) 一种基于知识蒸馏的高铁绝缘子缺陷检测方法
CN113984389B (zh) 一种基于多感受野与改进胶囊图神经网络的滚动轴承故障诊断方法
Liu et al. Rolling bearing fault diagnosis of train running gear based on optimized deep residual network
CN113406524B (zh) 一种动力电池系统的不一致性故障诊断方法及系统
Oh et al. Fault detection for lubricant bearing with CNN
CN108761263B (zh) 一种基于证据理论的故障诊断系统
CN111946695B (zh) 一种结合多通道残差与深度学习的作动器故障诊断方法
CN116861343A (zh) 一种轴承故障诊断方法
CN116739996A (zh) 基于深度学习的输电线路绝缘子故障诊断方法
CN116451163A (zh) 基于深度残差网络的光纤电流互感器故障诊断方法
CN114838122B (zh) 一种变速箱换挡液压系统在环的故障检测系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant