CN114510968B - 一种基于Transformer的故障诊断方法 - Google Patents
一种基于Transformer的故障诊断方法 Download PDFInfo
- Publication number
- CN114510968B CN114510968B CN202210072731.1A CN202210072731A CN114510968B CN 114510968 B CN114510968 B CN 114510968B CN 202210072731 A CN202210072731 A CN 202210072731A CN 114510968 B CN114510968 B CN 114510968B
- Authority
- CN
- China
- Prior art keywords
- network
- fault diagnosis
- layer
- transformer
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Testing Electric Properties And Detecting Electric Faults (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明提供了一种基于Transformer的故障诊断方法,属于故障诊断技术领域。本发明采用了多层Transformer Encoder作为特征提取模块,在Encoder层之间加入Dense连接增强模型特征复用能力,在特征提取模块前加入Dropout层来提高模型的泛化能力,加入多通道卷积神经网络层来进行样本矩阵生成,采用全连接层进行故障分类。本发明采用了Transformer Encoder结构并进行了改进,将其应用在机械设备的故障诊断中,能够很好的提取振动信号之间长时间内的时序特征和全局特征,得到更加准确的故障关系。
Description
技术领域
本发明属于故障诊断领域,具体涉及一种基于Transformer的故障诊断方法。
背景技术
随着现代工业、科技、经济的不断发展,工业已经成为衡量一个国家综合实力的重要标准。在现代工业社会中,机械设备是不可或缺的常用部件,在工业生产中起着至关重要的作用,大量的机械设备在运行初期具有良好的稳定性,但是复杂的工作环境和不规则的操作过程影响工业设备的安全,导致机械设备出现异常,它们的性能会随着时间的推移而降低甚至失效。而机械设备的有效维护是维持正常运转的基本要求,防止设备故障产生可以减少财产损失,避免严重事故的发生。因此,在生产过程中,对可靠性、安全性以及降低制造成本的需求,极大的推动了对机械设备故障诊断技术的发展。
随着深度学习的发展,基于卷积神经网络和循环神经网络的故障诊断方法都得到了广泛的应用,并取得较好的故障诊断效果。但是这两种类型的神经网络也有它们自己的缺陷,循环神经网络及其变体仍然不能完全避免长期依赖问题。卷积神经网络卷积核的局部接受域导致需要叠加大量的卷积层,才能获得全局信息,存在缺乏捕捉目标之间的关系、平等处理所有像素点、缺乏针对性等缺点。
发明内容
为了克服上述现有技术存在的不足,本发明提供了一种基于Transformer的故障诊断方法。
为了实现上述目的,本发明提供如下技术方案:
一种基于Transformer的故障诊断方法,包括以下步骤:
获取多个不同故障类型的机械设备振动信号作为数据集;
利用Transformer Encoder搭建特征提取网络;
利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型;
利用数据集中的机械设备振动信号对故障诊断模型进行训练;
将待测机械设备振动信号输入训练好的故障诊断模型得到待测机械设备振动信号的分类结果,根据分类结果判断待测机械设备的故障情况。
优选的,利用Transformer Encoder搭建特征提取模块的步骤为:
堆叠三层Encoder网络;
在每层Encoder网络之间加入Dense连接。
优选的,通过下式进行三层Encoder网络Dense连接,
xm=Hm([x0,x1,…,xm-1])
式中,xm为第m层的Encoder网络的输出,[·]为特征拼接函数,Hm为第m层的Encoder网络的特征提取函数。
优选的,搭建Encoder网络的步骤包括:
由多个Self-Attention组成Multi-Head Attention;
Multi-Head Attention与Feed Forward Network作为子层堆叠后残差连接得到Encoder网络。
优选的,所述由多个Self-Attention组成Multi-Head Attention的步骤包括:
利用下式计算Self-Attention,
利用下式计算多个Self-Attention组成的Multi-Head Attention,
MultiHeads(Q,K,V)=Concat(head1,...,headn)Wo
其中,
式中,Q为Query向量,K为Key向量,V为Value向量,headi为第i个Self-Attention的结果,Wo为权重矩阵,为Query权重矩阵,为Key权重矩阵,为Value权重矩阵,Concat为特征拼接函数。
优选的,所述利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型的步骤包括:
将两层Dropout网络分别作为第一层网络和第四层网络;
将两层卷积神经网络分别作为第二层网络和第五层网络;
将特征提取模块作为第三层网络;
将全连接层网络作为第六层网络;
按顺序连接各层网络得到故障诊断模型。
优选的,所述利用机械设备数据集对故障诊断模型进行训练的步骤包括:
通过第一层网络丢弃数据集中的部分数据,将数据集中剩余的数据作为训练集;
将训练集中的数据输入第二层网络生成样本矩阵;
通过第三层网络对样本矩阵进行特征提取得到特征;
通过第四层网络丢弃样本特征中的神经元;
将丢弃过神经元的样本特征通过第五层网络进行融合;
将融合后的样本特征输入第六层网络实现对故障分类,实现对故障诊断模型的训练。
优选的,所述样本矩阵的行列数由第一层神经网络的通道数和特征长度确定。
本发明提供的基于Transformer的故障诊断方法具有以下有益效果:本发明采用Transformer Encoder模块作为模型的特征提取部分,Transformer Encoder可以更好的学习机械设备故障信息长时间内的时序特征和全局特征,得到更加准确的故障关系;模型采用CNN生成样本矩阵作为Encoder模块的输入数据,丰富了样本矩阵的特征信息,也创新性的将Transformer与故障诊断结合;相比于普通卷积神经网络,本发明方法特征提取能力更强,诊断准确率更高。
附图说明
为了更清楚地说明本发明实施例及其设计方案,下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1的基于Transformer的故障诊断方法的流程图;
图2为本发明实施例1的Multi-Head Attention结构示意图;
图3为本发明实施例1的故障诊断模型的结构示意图;
图4为本发明实施例1的特征提取模块中第一层Encoder数据可视化图;
图5为本发明实施例1的特征提取模块中第二层Encoder数据可视化图;
图6为本发明实施例1的特征提取模块中第三层Encoder数据可视化图;
图7为本发明实施例1的基于Transformer的故障诊断方法的识别准确率变化的曲线图;
图8为本发明实施例1基于Transformer的故障诊断方法的Loss函数变化曲线图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施,下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
参阅图1,本发明提供了一种基于Transformer的故障诊断方法,包括以下步骤:获取多个不同故障类型的机械设备振动信号作为数据集;利用Transformer Encoder搭建特征提取网络;利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型;利用数据集中的机械设备振动信号对故障诊断模型进行训练;将待测机械设备振动信号输入训练好的故障诊断模型得到待测机械设备振动信号的分类结果,根据分类结果判断待测机械设备的故障情况。
在本实施例中,利用Transformer Encoder搭建特征提取模块的步骤为:堆叠三层Encoder网络;在每层Encoder网络之间加入Dense连接。
具体的,通过下式进行三层Encoder网络Dense连接,
xm=Hm([x0,x1,…,xm-1])
式中,xm为第m层的Encoder网络的输出,[·]为特征拼接函数,Hm为第m层的Encoder网络的特征提取函数。
搭建Encoder网络的步骤包括:由多个Self-Attention组成Multi-HeadAttention;Multi-Head Attention与Feed Forward Network作为子层堆叠后残差连接得到Encoder网络。图2展示了本实施例中的Multi-Head Attention的结构。
在本实施例中,由多个Self-Attention组成Multi-Head Attention的步骤包括:
利用下式计算Self-Attention,
利用下式计算多个Self-Attention组成的Multi-Head Attention,
MultiHeads(Q,K,V)=Concat(head1,...,headn)Wo
其中,
式中,Q为Query向量,K为Key向量,V为Value向量,headi为第i个Self-Attention的结果,Wo为权重矩阵,为Query权重矩阵,为Key权重矩阵,为Value权重矩阵,Concat为特征拼接函数。
参阅图3,利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型的步骤包括:将两层Dropout网络分别作为第一层网络和第四层网络;将两层卷积神经网络分别作为第二层网络和第五层网络;将特征提取模块作为第三层网络;将全连接层网络作为第六层网络;按顺序连接各层网络得到故障诊断模型。
在本实施例中,利用机械设备数据集对故障诊断模型进行训练的步骤包括:通过第一层网络丢弃数据集中的部分数据,将数据集中剩余的数据作为训练集;将训练集中的数据输入第二层网络生成样本矩阵,其中,样本矩阵的行列数由第二层网络的通道数和特征长度确定;通过第三层网络对样本矩阵进行特征提取得到特征;通过第四层网络丢弃样本特征中的神经元;将丢弃过神经元的样本特征通过第五层网络进行融合;将融合后的样本特征输入第六层网络实现对故障分类,实现对故障诊断模型的训练。
从图4-图6中可以看到机械设备振动信号在特征提取模块中的处理过程其中,图4展示了特征提取模块中第一层Encoder数据可视化图,图5为展示了特征提取模块中第二层Encoder数据可视化图;图6为展示了特征提取模块中第三层Encoder数据可视化图。
图7展示了本发明对于故障的识别情况,从图中可以看出,当训练次数足够多,在实际的测试中,故障识别的准确率非常接近理想化状态。图8展示了本发明的Loss函数变化曲线图,从图8中可以看出,当训练次数足够多时,本发明的实验结果与真实结果非常接近。采用本发明模型在变转速轴承数据集的实验准确率可达到99%以上。
以上实施例仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换,均属于本发明的保护范围。
Claims (6)
1.一种基于Transformer的故障诊断方法,其特征在于,包括以下步骤:
获取多个不同故障类型的机械设备振动信号作为数据集;
利用Transformer Encoder搭建特征提取网络,具体包括以下步骤:
堆叠三层Encoder网络;
在每层Encoder网络之间加入Dense连接;
通过下式进行三层Encoder网络Dense连接,
xm=Hm([x0,x1,…,xm-1])
式中,xm为第m层的Encoder网络的输出,[·]为特征拼接函数,Hm为第m层的Encoder网络的特征提取函数;
利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型;
利用数据集中的机械设备振动信号对故障诊断模型进行训练;
将待测机械设备振动信号输入训练好的故障诊断模型得到待测机械设备振动信号的分类结果,根据分类结果判断待测机械设备的故障情况。
2.根据权利要求1所述的基于Transformer的故障诊断方法,其特征在于,搭建Encoder网络的步骤包括:
由多个Self-Attention组成Multi-Head Attention;
Multi-Head Attention与Feed Forward Network作为子层堆叠后残差连接得到Encoder网络。
3.根据权利要求2所述的基于Transformer的故障诊断方法,其特征在于,
所述由多个Self-Attention组成Multi-Head Attention的步骤包括:
利用下式计算Self-Attention,
利用下式计算多个Self-Attention组成的Multi-Head Attention,
MultiHeads(Q,K,V)=Concat(head1,...,headn)Wo
其中,
4.根据权利要求1所述的基于Transformer的故障诊断方法,其特征在于,所述利用特征提取模块、全连接层网络、两层Dropout网络和两层卷积神经网络搭建故障诊断模型的步骤包括:
将两层Dropout网络分别作为第一层网络和第四层网络;
将两层卷积神经网络分别作为第二层网络和第五层网络;
将特征提取模块作为第三层网络;
将全连接层网络作为第六层网络;
按顺序连接各层网络得到故障诊断模型。
5.根据权利要求4所述的基于Transformer的故障诊断方法,其特征在于,所述利用机械设备数据集对故障诊断模型进行训练的步骤包括:
通过第一层网络丢弃数据集中的部分数据,将数据集中剩余的数据作为训练集;
将训练集中的数据输入第二层网络生成样本矩阵;
通过第三层网络对样本矩阵进行特征提取得到特征;
通过第四层网络丢弃样本特征中的神经元;
将丢弃过神经元的样本特征通过第五层网络进行融合;
将融合后的样本特征输入第六层网络实现对故障分类,实现对故障诊断模型的训练。
6.根据权利要求5所述的基于Transformer的故障诊断方法,其特征在于,所述样本矩阵的行列数由第二层网络的通道数和特征长度确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210072731.1A CN114510968B (zh) | 2022-01-21 | 2022-01-21 | 一种基于Transformer的故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210072731.1A CN114510968B (zh) | 2022-01-21 | 2022-01-21 | 一种基于Transformer的故障诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114510968A CN114510968A (zh) | 2022-05-17 |
CN114510968B true CN114510968B (zh) | 2022-09-16 |
Family
ID=81549748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210072731.1A Active CN114510968B (zh) | 2022-01-21 | 2022-01-21 | 一种基于Transformer的故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114510968B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913396A (zh) * | 2022-07-15 | 2022-08-16 | 西北工业大学 | 一种电机轴承故障诊断方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918752A (zh) * | 2019-02-26 | 2019-06-21 | 华南理工大学 | 基于迁移卷积神经网络的机械故障诊断方法、设备及介质 |
CN111178093A (zh) * | 2019-12-20 | 2020-05-19 | 沈阳雅译网络技术有限公司 | 一种基于堆叠算法的神经机器翻译系统训练加速方法 |
CN112949823A (zh) * | 2021-02-05 | 2021-06-11 | 杭州电子科技大学 | 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法 |
CN113159107A (zh) * | 2021-02-26 | 2021-07-23 | 中国银联股份有限公司 | 一种异常处理的方法及装置 |
CN113392881A (zh) * | 2021-05-27 | 2021-09-14 | 重庆大学 | 一种基于迁移学习的旋转机械故障诊断方法 |
CN113865868A (zh) * | 2021-08-24 | 2021-12-31 | 东南大学 | 基于时频域表达的滚动轴承故障诊断方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021000362A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
CN111460889B (zh) * | 2020-02-27 | 2023-10-31 | 平安科技(深圳)有限公司 | 一种基于语音及图像特征的异常行为识别方法、装置及设备 |
CN112732983B (zh) * | 2020-12-31 | 2023-09-12 | 平安科技(深圳)有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
-
2022
- 2022-01-21 CN CN202210072731.1A patent/CN114510968B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918752A (zh) * | 2019-02-26 | 2019-06-21 | 华南理工大学 | 基于迁移卷积神经网络的机械故障诊断方法、设备及介质 |
CN111178093A (zh) * | 2019-12-20 | 2020-05-19 | 沈阳雅译网络技术有限公司 | 一种基于堆叠算法的神经机器翻译系统训练加速方法 |
CN112949823A (zh) * | 2021-02-05 | 2021-06-11 | 杭州电子科技大学 | 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法 |
CN113159107A (zh) * | 2021-02-26 | 2021-07-23 | 中国银联股份有限公司 | 一种异常处理的方法及装置 |
CN113392881A (zh) * | 2021-05-27 | 2021-09-14 | 重庆大学 | 一种基于迁移学习的旋转机械故障诊断方法 |
CN113865868A (zh) * | 2021-08-24 | 2021-12-31 | 东南大学 | 基于时频域表达的滚动轴承故障诊断方法 |
Non-Patent Citations (5)
Title |
---|
Atilla Özgür,et.al.Effect of Dropout layer on Classical Regression Problems.《2020 28th Signal Processing and Communications Applications Conference (SIU)》.IEEE,2020,1-4. * |
Dense Layer Dropout Based CNN Architecture for Automatic Modulation Classification;P Dileep, et.al;《 2020 National Conference on Communications (NCC)》;IEEE;20200406;1-9 * |
Research and Implementation of Chinese Couplet Generation System With Attention Based Transformer Mechanism;Yufeng Wang, et.al;《 IEEE Transactions on Computational Social Systems》;IEEE;20210423;1-9 * |
基于Transformer神经网络的滚动轴承故障类型识别;邱大伟等;《高技术通讯》;20210115;第31卷(第1期);1-11 * |
基于改进卷积神经网络的滚动轴承智能故障诊断研究;宫文峰等;《振动工程学报》;20200430;第33卷(第3期);400-413 * |
Also Published As
Publication number | Publication date |
---|---|
CN114510968A (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114510968B (zh) | 一种基于Transformer的故障诊断方法 | |
CN108764601B (zh) | 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 | |
CN111721535A (zh) | 一种基于卷积多头自注意力机制的轴承故障检测方法 | |
CN109086470A (zh) | 一种基于模糊偏好关系与d-s证据理论的故障诊断方法 | |
CN107272646A (zh) | 基于专家系统的压力机故障诊断系统 | |
CN101945009A (zh) | 基于案例和模式匹配的电力通信网故障定位方法及装置 | |
CN111970156B (zh) | 网络故障根因分析方法、装置、计算机设备及存储介质 | |
CN105588684B (zh) | 一种电子扫描阀测压系统故障自动诊断检查方法 | |
CN112836346B (zh) | 基于cn和pca的电机故障诊断方法、电子设备及介质 | |
CN116859843B (zh) | 一种基于工业大数据的生产设备故障监测方法及系统 | |
CN114722952B (zh) | 一种基于表示学习的轴承故障检测和分类的一体化方法 | |
CN114818826A (zh) | 基于轻量级Vision Transformer模块的故障诊断方法 | |
CN114913396A (zh) | 一种电机轴承故障诊断方法 | |
CN114296975A (zh) | 一种分布式系统调用链和日志融合异常检测方法 | |
CN114998294A (zh) | 一种基于知识蒸馏的高铁绝缘子缺陷检测方法 | |
CN113984389B (zh) | 一种基于多感受野与改进胶囊图神经网络的滚动轴承故障诊断方法 | |
Liu et al. | Rolling bearing fault diagnosis of train running gear based on optimized deep residual network | |
CN113406524B (zh) | 一种动力电池系统的不一致性故障诊断方法及系统 | |
Oh et al. | Fault detection for lubricant bearing with CNN | |
CN108761263B (zh) | 一种基于证据理论的故障诊断系统 | |
CN111946695B (zh) | 一种结合多通道残差与深度学习的作动器故障诊断方法 | |
CN116861343A (zh) | 一种轴承故障诊断方法 | |
CN116739996A (zh) | 基于深度学习的输电线路绝缘子故障诊断方法 | |
CN116451163A (zh) | 基于深度残差网络的光纤电流互感器故障诊断方法 | |
CN114838122B (zh) | 一种变速箱换挡液压系统在环的故障检测系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |