CN116465623B - 一种基于稀疏Transformer的齿轮箱寿命预测方法 - Google Patents

一种基于稀疏Transformer的齿轮箱寿命预测方法 Download PDF

Info

Publication number
CN116465623B
CN116465623B CN202310519912.9A CN202310519912A CN116465623B CN 116465623 B CN116465623 B CN 116465623B CN 202310519912 A CN202310519912 A CN 202310519912A CN 116465623 B CN116465623 B CN 116465623B
Authority
CN
China
Prior art keywords
sparse
gearbox
life prediction
wavelet
prediction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310519912.9A
Other languages
English (en)
Other versions
CN116465623A (zh
Inventor
竺德
吕俊文
高清维
卢一相
孙冬
彭思远
赵大卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310519912.9A priority Critical patent/CN116465623B/zh
Publication of CN116465623A publication Critical patent/CN116465623A/zh
Application granted granted Critical
Publication of CN116465623B publication Critical patent/CN116465623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/02Gearings; Transmission mechanisms
    • G01M13/021Gearings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/02Gearings; Transmission mechanisms
    • G01M13/028Acoustic or vibration analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00Data types
    • G06F2123/02Data types in the time domain, e.g. time-series data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • G06F2218/06Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明涉及齿轮箱寿命预测技术领域,公开了一种基于稀疏Transformer的齿轮箱寿命预测方法,包括以下步骤:采用EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱数据集进行去噪处理,通过门控多层卷积单元对输入序列进行特征提取,挖掘二维时频图中的特征信息,将提取到的特征信息输入稀疏Transformer中,并结合卷积位置编码进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命通过GMCU提取二维时频图中复杂特征,采用卷积位置编码,将稀疏transformer作为骨干应用在齿轮箱的寿命预测方面。该方法识别精度较高,处理速度较快,可以有效的对齿轮箱进行剩余寿命预测。

Description

一种基于稀疏Transformer的齿轮箱寿命预测方法
技术领域
本发明涉及齿轮箱寿命预测技术领域,具体为一种基于稀疏Transformer的齿轮箱寿命预测方法。
背景技术
齿轮箱是一种广泛应用于各类机械中的重要基础元件,在现代工业体系中起着关键作用。由于具有较强的承载力、紧凑的结构、平稳准确的传动力以及较高的传动效率,齿轮箱被广泛地应用于钢铁冶金、能源发电、农业生产、汽车制造、航天航空等领域,例如在起重机、风力发电机、水泥搅拌机、盾构机、飞机螺旋桨等常见机械设备中均有所涉及。
齿轮箱的材料以及加工方式、装配误差以及工作环境,导致了齿轮箱在长期运行后容易出现故障,特别在高速重载的工况下,齿轮箱中齿轮与轴承极易发生故障。通过研究发现,齿轮箱60%的故障是由于受到交变应力的影响,而90%的齿轮故障都是裂纹、断齿等局部损伤。轴承在齿轮箱起到支撑与传递扭矩的作用,因其特有的内外圈、滚动体与保持架的结构,在使用过程中容易出现损伤甚至失效问题。齿轮箱中齿轮和轴承都在其中发挥着改变转速、调整方向和调整力矩等重要作用,若发生故障,大多数的机械设备无法正常运行。此外,机器设备发生故障会引发设备的维修费用高,停机时间长,经济效益下降等问题。由于试验费用和试验设备的限制,工厂对齿轮箱的各种试验一般只进行几十到几百个小时,试验样本也是极少的,而齿轮箱是一种可靠性高的长寿命产品,通常无法获得失效数据。所以在获取齿轮箱全寿命样本较为困难时,预测其性能退化趋势可以了解齿轮箱未来时刻的健康状况,避免设备遭受灾难性破坏造成严重的生产事故。因此,对齿轮箱进行寿命预测研究有着极其重要的意义。
传统的数据驱动的剩余使用寿命预测领域中,通过齿轮箱的历史运行状态数据,对齿轮箱健康状态进行评估,最终得到对齿轮箱的剩余使用寿命预测。常用方法包括人工神经网络、极限学习机(Extreme Learning Machine,ELM)等。人工神经网络对齿轮箱进行预测的方法是采用浅层BP神经网络,通过反向传播误差的算法构建设备状态识别与剩余寿命预测模型。但是齿轮的状态监测数据是非对称分布的,而且在实际应用中采样往往是不连续的,很难准确预测齿轮箱的剩余使用寿命。ELM算法对时间序列的剩余寿命问题进行趋势性预测,建立趋势性量化指标,但是当遇到比较复杂的情况时会出现难以表达复杂的函数之间映射关系的问题,影响设备的剩余时间寿命预测精度。
深度学习作为一种新的机器学习方法,利用深层网络模型,可以很好的表达正常状态与数据之间复杂的函数映射关系,适合大数据背景下的非线性、多样性和高维健康监测数据分析要求,特别是在复杂工况情况下,采集到的齿轮箱振动信号数据呈现非线性的特性。将深度学习应用到齿轮箱剩余寿命预测的领域,深度学习方法例如循环神经网络(Recurrent Neural Network,RNN)和长短时记忆网络(Long Short-Term Memory,LSTM)。RNN能够运用当前时刻输入的数据和之前时刻的反馈数据,适用于去处理与时间序列有关的信息。但是当序列过长时会导致训练时间过长,RNN会发生梯度消失或梯度爆炸。LSTM可以解决长时间序列的问题,但是如果数据足够多,时间序列足够长,那么此时LSTM网络的计算时间相对较长,准确率会发生下降,拟合程度也会降低。Transformer模型是一种基于自我注意力机制的网络,该模型既能有效处理随时间变化的长期依赖关系,又能通过并行计算提高运行效率,但是计算量较大。为此提出一种基于稀疏Transformer的齿轮箱寿命预测方法以解决以上问题。
发明内容
本发明的目的在于提供一种基于稀疏Transformer的齿轮箱寿命预测方法,以解决现有齿轮箱全寿命样本获取较为困难的问题。
为实现上述目的,本发明提供如下技术方案:一种基于稀疏Transformer的齿轮箱寿命预测方法,包括以下步骤:
步骤一:采集齿轮箱加速度振动信号,形成齿轮箱数据集;
步骤二:采用EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱加速度振动信号形成的齿轮箱数据集进行去噪处理;
步骤三:采用连续小波变换得到二维时频图作为输入序列;
步骤四:通过门控多层卷积单元对所述输入序列进行特征提取,挖掘二维时频图中的特征信息;
步骤五:将提取到的特征信息输入稀疏Transformer中,并结合卷积位置编码进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命。
优选的,所述去噪处理的处理对象包括高斯噪声和自然背景噪声。
优选的,所述小波半软硬阈值的公式如下:
其中,W为小波系数,Wn为阈值过滤后小波系数,T为阈值,a为比例系数。a分别取0和1时,函数分别对应硬阈值函数和软阈值函数;当0<a<1时,此时函数称为小波半软硬阈值函数。
优选的,所述采用连续小波变换得到二维时频图作为输入,包括:
选择Morlet小波,将去噪后信号通过连续小波变换得到二维时频图并归一化作为输入。
优选的,所述将提取到的特征信息输入稀疏Transformer中并结合卷积位置编码进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命,包括:
将数据集经过处理后提取的特征信息结合卷积位置编码,输入到稀疏Transformer的编码器部分,而后将标签数据通过全连接网络升维后输入到解码器部分中,在此处标签即为齿轮箱的剩余使用寿命。
优选的,所述标签的值通过公式表示如下:
其中,yi为标签的值,Te为失效时刻,Ti为当前时刻,Ts为起始时刻;
其中,当将标签数据通过全连接网络升维后输入到解码器中时,还需对解码器进行掩码,以此屏蔽未来的标签数据信息。
优选的,所述对解码器进行掩码,
所述对解码器进行掩码通过计算多头掩码稀疏注意力时,引入一个下三角及对角线均为1、上三角为0的矩阵N,与QKT相乘,使得未来的信息归零,其中,Q=[q1,q2,...,ql]为查询矩阵,K=[k1,k2,...,km]为键矩阵。
本发明还提供一种基于稀疏Transformer的齿轮箱寿命预测装置,包括:
信息消噪模块,其用于经过EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱加速度振动信号消除噪声影响;
信息转换模块,其用于采用连续小波变换得到二维时频图作为输入;
特征提取模块,其用于通过提出的门控多层卷积单元进行特征提取,挖掘时频图中的特征信息;
信息输入模块,将提取到的特征信息输入稀疏Transformer中并结合卷积位置编码进行解码与编码,经过全连接网络得到齿轮箱的剩余使用寿命。
本发明还提供一种基于稀疏Transformer的齿轮箱寿命预测设备,所述基于稀疏Transformer的齿轮箱寿命预测设备为实体设备,所述基于稀疏Transformer的齿轮箱寿命预测设备包括:
处理器、存储器,所述处理器、存储器与处理器进行通信连接;
所述存储器用于储存至少一个所述处理器执行的可执行指令,所述处理器用于执行所述可执行指令以实现如上述的基于稀疏Transformer的齿轮箱寿命预测方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述的基于稀疏Transformer的齿轮箱寿命预测方法。
与现有技术相比,本发明的有益效果是:
本发明提供一种基于二维时频图和稀疏transformer的齿轮箱寿命预测的方法,提出了GMCU进行时频图特征提取,通过EEMD与小波半软硬阈值结合的去噪方法后,连续小波变换产生二维时频图作为输入,GMCU提取二维时频图中复杂特征,采用卷积位置编码,将稀疏transformer作为骨干应用在齿轮箱的寿命预测方面,该方法识别精度较高,处理速度较快,可以有效的对齿轮进行剩余寿命预测,其中通过采用了EEMD与小波半软硬阈值结合的去噪方法应用在齿轮箱剩余寿命预测领域,既解决齿轮箱信号EMD分解后的模态混叠问题,也将EEMD分解的高频信息通过小波半软硬阈值去噪重组后保留,而不丢失包含的高频分量信息,从而为了减少齿轮箱采集信号中高斯噪声和背景噪声的影响;本发明将门控机制与多层卷积网络结合,提出了GMCU进行二维时频图的特征提取,由于面对齿轮箱信号时频图的复杂特征,采用单层卷积网络不易提取,提出的GMCU中多层卷积网络能更深层次提取时频图中复杂特征,并加入了BN层避免梯度消失和过拟合等问题;本发明通过门控机制,可以将多层卷积网络采集到局部信息与相邻时间步内的信息进行更新与复位;本发明提出将小波时频图作为二维输入与稀疏transformer的首次结合应用在齿轮箱剩余寿命预测领域,不仅可以提取到振动信号的时频信息,还能够减少计算复杂度,通过KL散度计算需要高权重的注意力点积,去除冗余的点积配对,减少运行时间与存储内存,采用卷积位置编码能够更好地获取相对位置关系,也可以解决输入不固定的问题,提高齿轮箱寿命预测的准确度与运行速率。
附图说明
图1为本发明的基于稀疏Transformer的齿轮箱寿命预测方法的主流程图;
图2为本发明实施例提供的EEMD与小波半软硬阈值结合去噪的流程图;
图3为本发明实施例提供的齿轮箱刚开始工作的第一个采集的小波变换时频图;
图4为本发明实施例提供的齿轮箱最后寿命结束的采集小波变换时频图;
图5为本发明实施例提供的门控多层卷积单元的多层卷积图;
图6为本发明实施例提供的门控多层卷积单元图的结构示意图;
图7为本发明实施例提供的卷积位置编码结构图;
图8为本发明实施例提供的稀疏transformer的具体流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施方式的方法的执行主体为终端,所述终端可以为手机、平板电脑、掌上电脑PDA、笔记本或台式机等设备,当然,还可以为其他具有相似功能的设备,本实施方式不加以限制。
请参阅图1,本发明提供一种基于稀疏Transformer的齿轮箱寿命预测方法,包括以下步骤:
步骤一,采集齿轮箱加速度振动信号,形成齿轮箱数据集;
步骤二,采用EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱加速度振动信号形成的齿轮箱数据集进行去噪处理;
具体的,去噪处理的处理对象包括高斯噪声和自然背景噪声,从而减小高斯噪声和自然背景噪声对真实数据的影响。
其中,由于大多数的齿轮箱都处在变载荷、变转速的工况下运行,并且伴随着强背景噪声影响,提取到的振动信号往往成分复杂,具有非平稳性、非高斯性及非线性等特性。因此采用合理有效的信号分解方法进行去噪处理,是提高信号特征提取准确率的关键前提。把齿轮箱作为研究对象,在高斯噪声和自然背景噪声下振动信号采用EEMD与小波半软硬阈值的去噪方法。EEMD方法在分解的基础上加入了白噪声辅助信号处理,有效解决可能存在的模态混叠问题。同时为了解决EEMD去除高频分量而导致部分信息丢失的问题,对于高频分量采用小波半软硬阈值去噪方法。所述小波半软硬阈值的公式如下:
其中,W为小波系数,Wn为阈值过滤后小波系数,T为阈值,a为比例系数。a分别取0和1时,函数分别对应硬阈值函数和软阈值函数;当0<a<1时,此时函数称为小波半软硬阈值函数。由于大多数的齿轮箱都处在变载荷、变转速的工况下运行,并且伴随着强背景噪声影响,提取到的振动信号往往成分复杂,具有非平稳性、非高斯性及非线性等特性。因此采用合理有效的信号分解方法进行去噪处理,是提高信号特征提取准确率的关键前提。把齿轮箱作为研究对象,在高斯噪声和自然背景噪声下振动信号采用EEMD与小波半软硬阈值的去噪方法。EEMD方法在EMD分解的基础上加入了白噪声辅助信号处理,有效解决EMD方法中可能存在的模态混叠问题。同时为了解决EEMD去除高频分量而导致部分信息丢失的问题,对于高频分量采用小波半软硬阈值去噪方法,请参考图2,图2为EEMD与小波半软硬阈值结合去噪的流程图,当a取0.1时,选db4小波基函数,通过3层小波分解进行结合去噪。
可理解的,通过采用EEMD与小波半软硬阈值结合的去噪方法,既解决齿轮箱信号EMD分解后的模态混叠问题,也将EEMD分解的高频信息通过小波半软硬阈值去噪重组后保留,而不丢失包含的高频分量信息。
步骤三,采用连续小波变换得到二维时频图作为输入序列。
具体的,选择Morlet小波,将去噪后的齿轮箱加速度振动信号通过连续小波变换得到二维时频图并归一化作为输序列入。选择Morlet小波,通过连续小波变换得到时频图,并将其归一化。请参考图3和图4,图3为本发明齿轮箱刚开始工作的第一个采集的小波变换时频图,图4为本发明齿轮箱最后寿命结束的采集小波变换时频图,图中横坐标为时间,纵坐标为频率。通过对图3和图4的观察可以发现,当使用寿命快结束时,时频图中会出现周期性脉冲现象。
步骤四,通过门控多层卷积单元对输入序列进行特征提取,挖掘二维时频图中的特征信息。
具体的,考虑到时间序列中相邻时间步之间可能存在较强的依赖关系,提出了一个结合了门控机制和多层卷积网络的特征提取层,将小波变换后的二维时频图作为输入序列,并在每个时间步向上层提供相邻时间步之间的时频特征信息。其中多层卷积网络的结构如图5所示,图5为本发明提供的门控多层卷积单元的多层卷积图。
其中,首先给定在t时刻的输入序列x:
然后时间步长i提取窗口大小k内的输入序列:
xik=[xi-k/2,...,xi,...,xi+k/2];
其中,xi-k/2是窗口起始数据,xi+k/2是窗口最后数据。
则多层卷积公式如下:
hi1=ReLU[BN(Wh1(Conv(xik))+bh1)];
hi=ReLU[BN(Wh2(Conv(hi1))+bh2)];
其中,Wh1与Wh2∈Rm×m,bh1与bh2∈Rm,都为可训练的参数,hi1是多层卷积层的中间变量,hi是多层卷积的输出结果。与单层卷积网络相比,多层卷积网络更深层次地提取二维时频图中复杂特征,提高模型的预测精度。其中加入的BN层的作用是减少过拟合与梯度消失产生的影响。将多层卷积网络与门控单元结合起来,形成了门控多层卷积单元。
进一步的,如图6所示,图6为门控多层卷积单元图的结构示意图,图中,门控多层卷积单元是在门控卷积单元上的改进,是由门控机制与多层卷积的结合,包含了复位门ri和更新门ui。通过更新门来获取上下文信息特征,复位门用来重新读取输入的小波二维时频图数据。
具体的,复位门ri公式如下:
ri=σ(Wrhi+Vrxi+br);
更新门ui公式如下:
ui=σ(Wuhi+Vuxi+bu);
门控多层卷积单元输出zi公式如下:
其中,σ()表示Sigmod函数,Wr、Wu、Vr、Vu∈Rm×m,br和bu∈Rm,都为可训练的参数,ri为复位门,ui为更新门,xi为输入序列,hi是多层卷积的输出结果,表示元素乘法。通过门控多层卷积单元,既可以提取更深层次的二维时频特征信息,还可以给上层提供相邻时间步之间的局部特征信息,增强模型的特征提取能力,提高齿轮箱的寿命预测精度。
可理解的,通过将门控机制与多层卷积网络结合,提出了GMCU进行二维时频图的特征提取,由于面对齿轮箱信号时频图的复杂特征,采用单层卷积网络不易提取,提出的GMCU中多层卷积网络能更深层次提取二维时频图中复杂特征,并加入了BN层避免梯度消失和过拟合等问题,通过门控机制,可以将多层卷积网络采集到局部信息与相邻时间步内的信息进行更新与复位。
步骤五,将提取到的特征信息输入稀疏Transformer中并结合卷积位置进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命。
具体的,将数据集划分为训练集与测试集,将训练集经过上一步处理后提取的特征结合卷积位置编码,输入到稀疏Transformer的编码器部分,而后将标签通过全连接网络升维后输入到解码器部分中,在此处标签即为齿轮箱的剩余使用寿命。
其中,所述标签的值yi通过公式表示如下:
其中,Te为失效时刻,Ti为当前时刻,Ts为起始时刻;
其中,当将标签数据通过全连接网络升维后输入到解码器中时,需对解码器进行掩码,以此屏蔽未来的标签数据信息。
在解码器部分的遮挡多头稀疏自注意力机制部分,首先通过线性投影,将输入特征矩阵Yf由参数矩阵WQ、WK、WV映射到查询矩阵Q、键矩阵K、值矩阵V,所述线性投影公式表示如下:
Q=YfWQ
K=YfWK
V=YfWv
其中,Q=[q1,q2,...,ql]为查询矩阵,K=[k1,k2,...,km]为键矩阵,V为值矩阵,l是查询矩阵Q的长度,m是键矩阵K的长度,且三个矩阵的维度都为d。
下一步计算多头掩码稀疏自注意力。进一步的,由于常规自注意力机制中Q和K的点积存在大量的运算,计算复杂度较高。为了降低计算量,通过少数的点积配对分配大量的注意力权重,而其他的点积只能得到有限的注意力。通过KL散度来计算对q的稀疏重要性评估。根据KL散度计算,通过只让K和μ个占主导地位的Q进行点积,来稀疏化自注意力层中的点积配对计算。此时引入一个下三角及对角线上均为1、上三角值为0的矩阵N,与QKT相乘,使得未来的信息归零。最后通过SoftMax归一化来计算权重系数,再根据权重系数对值矩阵V进行加权求和。
KL散度公式如下:
其中,qn表示第n个q,kj表示第j个k,M(qn,k)的第一部分是Log-Sum-Exp形式,第二部分是算术均值,如果第n个q得到了一个更大的M(qn,k),那么它更有可能包含有主导地位的点积配对。
稀疏化自注意力层中的点积配对计算如下:
其中是稀疏化后的矩阵,和矩阵Q具有相同的大小,它在稀疏化后从μ个q中选取权重较大的前几个组合而成,μ由超参数c控制,μ=c·lnLQ
最后将多个注意力值进行拼接与线性变换,得到最终的注意力值结果,公式如下:
MultiHead(Q,K,V)=Concat(h1,...,hp)·W;
X为输入序列,是第u个注意力头Q、K、V的权重矩阵,hu是第u个注意力得分,W是多头注意力权重矩阵,p是注意力头的数量,Concat函数用于拼接各个注意力头计算得到的输出值。
并且,位置编码模块采用的是卷积位置,编码如图7所示,图7为卷积位置编码结构图。使用带有0填充的二维卷积,可以更好地来获取输入特征之间的相对位置关系,同时也可以处理输入大小不固定的问题。
可理解的,通过提出将小波时频图作为二维输入与稀疏transformer进行结合,不仅可以提取到振动信号的时频信息,还能够减少计算复杂度,通过KL散度计算需要高权重的注意力点积,去除冗余的点积配对,减少运行时间与存储内存,采用卷积位置编码能够更好地获取相对位置关系,也可以解决输入不固定的问题,提高齿轮箱寿命预测的准确度与运行速率。
请参考图7,卷积位置编码公式如下:
其中,PE为位置编码,CPE()表示的卷积位置编码函数,X表示输入特征,ω和表示的是序列重组。卷积核大小选择为3,Padding填充零点的值为1。
具体的,请参考图8,图8为稀疏transformer的具体流程图,图中,将门控多层卷积单元提取到的时频特征添加卷积位置编码后输入到编码器模块,此处N=6,即经过6个编码器堆叠后输入到解码器中,经过6个解码器堆叠后输入到全连接神经网络。编码器与解码器主要由多头稀疏注意力模块与前馈神经网络构成,并结合层归一化与残差结构。多头稀疏注意力模块捕捉序列之间的全局信息,前馈神经网络增强模型的泛化能力,层归一化以缓解训练中出现的梯度问题,并提高模型的训练速度和效果,通过残差连接结构以便信息能够跨越多个层传递。将标签数据经过全连接神经网络升维后输入到解码器模块,目的是解决输入特征与标签数据维度不一致的问题。经过稀疏transformer后再添加一个全连接神经网络用于降维,得到预测结果。计算训练模型的均方误差(Mean Squared Error,MSE)作为损失函数,采用Adam优化器进行模型训练,并采用Dropout技术防止模型过拟合。将测试集输入训练好的最优模型,得到最终的预测值。
在本实施例中,本发明提供一种基于二维时频图和稀疏transformer的齿轮箱寿命预测的方法,提出了GMCU进行时频图特征提取,通过EEMD与小波半软硬阈值结合的去噪方法后,连续小波变换产生二维时频图作为输入,GMCU提取二维时频图中复杂特征,采用卷积位置编码,将稀疏transformer作为骨干应用在齿轮箱的寿命预测方面,该方法识别精度较高,处理速度较快,可以有效的对齿轮进行剩余寿命预测。
在上述实施例的基础上,本发明还提供了一种基于稀疏Transformer的齿轮箱寿命预测装置,用于支持上述实施例的基于稀疏Transformer的齿轮箱寿命预测方法,所述基于稀疏Transformer的齿轮箱寿命预测装置包括:
信息消噪模块,其用于经过EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱加速度振动信号消除噪声影响;
信息转换模块,其用于采用连续小波变换得到二维时频图作为输入;
特征提取模块,其用于通过提出的门控多层卷积单元进行特征提取,挖掘时频图中的特征信息;
信息输入模块,将提取到的特征信息输入稀疏Transformer中并结合卷积位置编码进行解码与编码,经过全连接网络得到齿轮箱的剩余使用寿命。
进一步的,所述基于稀疏Transformer的齿轮箱寿命预测装置可运行上述基于稀疏Transformer的齿轮箱寿命预测方法,具体实现可参见方法实施例,在此不再赘述。
在上述实施例的基础上,本发明还提供一种基于稀疏Transformer的齿轮箱寿命预测设备,所述基于稀疏Transformer的齿轮箱寿命预测设备包括:
处理器、存储器,所述处理器与存储器进行通信连接;
在本实施例中,所述存储器可以按任何适当的方式实现,例如:所述存储器可以为只读存储器、机械硬盘、固态硬盘或U盘等;所述存储器用于储存至少一个所述处理器执行的可执行指令;
在本实施例中,所述处理器可以按任何适当的方式实现,例如,处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等;所述处理器用于执行所述可执行指令以实现如上述的基于稀疏Transformer的齿轮箱寿命预测方法。
在上述实施例的基础上,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述的基于稀疏Transformer的齿轮箱寿命预测方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件,或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或单元可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或设备的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储服务器、随机存取存储服务器、磁碟或者光盘等各种可以存储程序指令的介质。
另外,还需要说明的是,本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式,本案所记载的所有技术特征可以以任何方式进行自由组合或结合,除非相互之间产生矛盾。
需要注意的是,以上列举的仅为本发明的具体实施例,显然本发明不限于以上实施例,随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形,均应属于本发明的保护范围。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,包括以下步骤:
步骤一:采集齿轮箱加速度振动信号,形成齿轮箱数据集;
步骤二:采用EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱加速度振动信号形成的齿轮箱数据集进行去噪处理;
步骤三:采用连续小波变换得到二维时频图作为输入序列;
步骤四:通过门控多层卷积单元对所述输入序列进行特征提取,挖掘二维时频图中的特征信息;
步骤五:将提取到的特征信息输入稀疏Transformer中,并结合卷积位置编码进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命。
2.根据权利要求1所述的基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,所述去噪处理的处理对象包括高斯噪声和自然背景噪声。
3.根据权利要求1所述的基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,所述小波半软硬阈值的函数公式如下:
其中,W为小波系数,Wn为阈值过滤后小波系数,T为阈值;a为比例系数,a分别取0和1时,函数分别对应硬阈值函数和软阈值函数;当0<a<1时,此时函数称为小波半软硬阈值函数。
4.根据权利要求1所述的基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,所述采用连续小波变换得到二维时频图作为输入序列,包括:
选择Morlet小波,将去噪后齿轮箱加速度振动信号通过连续小波变换得到二维时频图并归一化作为输入数列。
5.根据权利要求1所述的基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,所述将提取到的特征信息输入稀疏Transformer中,并结合卷积位置编码进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命,包括:
将数据集经过处理后提取的特征信息结合卷积位置编码,输入到稀疏Transformer的编码器部分,将标签数据通过全连接网络升维后输入到解码器部分中,所述标签即为齿轮箱的剩余使用寿命。
6.根据权利要求5所述的基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,所述标签的值通过公式表示如下:
其中,yi为标签的值,Te为失效时刻,Ti为当前时刻,Ts为起始时刻;
其中,当将标签数据通过全连接网络升维后输入到解码器中时,需对解码器进行掩码,以此屏蔽未来的标签数据信息。
7.根据权利要求6所述的基于稀疏Transformer的齿轮箱寿命预测方法,其特征在于,所述对解码器进行掩码,包括:所述对解码器进行掩码通过计算多头掩码稀疏注意力时,引入一个下三角及对角线均为1、上三角为0的矩阵N,与QKT相乘,使得未来的信息归零,其中,Q=[q1,q2,...,ql]为查询矩阵,K=[k1,k2,...,km]为键矩阵。
8.一种基于稀疏Transformer的齿轮箱寿命预测装置,其特征在于,包括:
信息消噪模块,用于采用EEMD与小波半软硬阈值结合的去噪方法,对齿轮箱加速度振动信号进行去噪处理;
信息转换模块,用于采用连续小波变换得到二维时频图作为输入序列;
特征提取模块,用于通过门控多层卷积单元对所述输入序列进行特征提取,挖掘二维时频图中的特征信息;
信息输入模块,用于将提取到的特征信息输入稀疏Transformer中并结合卷积位置编码进行解码与编码,经过全连接网络降维输出得到齿轮箱的剩余使用寿命。
9.一种基于稀疏Transformer的齿轮箱寿命预测设备,其特征在于,所述基于稀疏Transformer的齿轮箱寿命预测设备包括:
处理器、存储器,所述存储器与处理器进行通信连接;
所述存储器用于储存至少一个所述处理器执行的可执行指令,所述处理器用于执行所述可执行指令以实现如权利要求1至7任一项所述的基于稀疏Transformer的齿轮箱寿命预测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于稀疏Transformer的齿轮箱寿命预测方法。
CN202310519912.9A 2023-05-10 2023-05-10 一种基于稀疏Transformer的齿轮箱寿命预测方法 Active CN116465623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310519912.9A CN116465623B (zh) 2023-05-10 2023-05-10 一种基于稀疏Transformer的齿轮箱寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310519912.9A CN116465623B (zh) 2023-05-10 2023-05-10 一种基于稀疏Transformer的齿轮箱寿命预测方法

Publications (2)

Publication Number Publication Date
CN116465623A CN116465623A (zh) 2023-07-21
CN116465623B true CN116465623B (zh) 2023-09-19

Family

ID=87182520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310519912.9A Active CN116465623B (zh) 2023-05-10 2023-05-10 一种基于稀疏Transformer的齿轮箱寿命预测方法

Country Status (1)

Country Link
CN (1) CN116465623B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117191394B (zh) * 2023-11-06 2024-01-19 南京凯奥思数据技术有限公司 一种空气压缩机设备的故障检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102059A (ja) * 2006-10-20 2008-05-01 Kansai Electric Power Co Inc:The 送電線の故障点標定方法、送電線の故障点標定プログラム及びその故障点標定プログラムを記録したコンピュータ読み取り可能記録媒体
KR101352204B1 (ko) * 2012-07-05 2014-01-16 성균관대학교산학협력단 배전 계통에서 발생하는 전력 품질 외란의 원인 판별 장치 및 방법
CN103902844A (zh) * 2014-04-24 2014-07-02 国家电网公司 基于eemd峰度阈值的变压器振动信号降噪方法
CN106646096A (zh) * 2016-11-15 2017-05-10 国网四川省电力公司广安供电公司 基于振动分析法的变压器故障分类和识别方法
CN106840637A (zh) * 2017-03-24 2017-06-13 国网山东省电力公司莱芜供电公司 基于改进hht算法的gis机械振动信号时频分析方法
CN113076516A (zh) * 2021-04-16 2021-07-06 上海欣影电力科技股份有限公司 一种基于pso-emmd-ica的变压器振动信号在线分离方法
CN114742103A (zh) * 2022-03-31 2022-07-12 北京大学 基于物联网的城市监测数据处理方法、装置及存储介质
CN114841417A (zh) * 2022-04-18 2022-08-02 珠江水利委员会珠江水利科学研究院 一种高精度咸潮预报方法、系统和可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102059A (ja) * 2006-10-20 2008-05-01 Kansai Electric Power Co Inc:The 送電線の故障点標定方法、送電線の故障点標定プログラム及びその故障点標定プログラムを記録したコンピュータ読み取り可能記録媒体
KR101352204B1 (ko) * 2012-07-05 2014-01-16 성균관대학교산학협력단 배전 계통에서 발생하는 전력 품질 외란의 원인 판별 장치 및 방법
CN103902844A (zh) * 2014-04-24 2014-07-02 国家电网公司 基于eemd峰度阈值的变压器振动信号降噪方法
CN106646096A (zh) * 2016-11-15 2017-05-10 国网四川省电力公司广安供电公司 基于振动分析法的变压器故障分类和识别方法
CN106840637A (zh) * 2017-03-24 2017-06-13 国网山东省电力公司莱芜供电公司 基于改进hht算法的gis机械振动信号时频分析方法
CN113076516A (zh) * 2021-04-16 2021-07-06 上海欣影电力科技股份有限公司 一种基于pso-emmd-ica的变压器振动信号在线分离方法
CN114742103A (zh) * 2022-03-31 2022-07-12 北京大学 基于物联网的城市监测数据处理方法、装置及存储介质
CN114841417A (zh) * 2022-04-18 2022-08-02 珠江水利委员会珠江水利科学研究院 一种高精度咸潮预报方法、系统和可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multistep short-term wind speed forecasting using transformer;Huijuan Wu等;Energy;全文 *
基于Transformer的航空目标检测算法;季长清等;无线电工程;全文 *

Also Published As

Publication number Publication date
CN116465623A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN112906644A (zh) 基于深度迁移学习的机械故障智能诊断方法
CN112036042B (zh) 一种基于变分模态分解的动力设备异常检测方法及系统
CN116465623B (zh) 一种基于稀疏Transformer的齿轮箱寿命预测方法
CN111459144A (zh) 一种基于深度循环神经网络的飞机飞控系统故障预测方法
CN113157771A (zh) 一种数据异常检测方法及电网数据异常检测方法
CN114722952B (zh) 一种基于表示学习的轴承故障检测和分类的一体化方法
CN113642414A (zh) 一种基于Transformer模型的滚动轴承剩余使用寿命预测方法
CN112396088A (zh) 一种小样本下隐式激励对抗训练的机械故障智能诊断方法
Wang et al. A light weight multisensory fusion model for induction motor fault diagnosis
Li et al. Fault diagnosis of planetary gears based on intrinsic feature extraction and deep transfer learning
CN107966287B (zh) 一种自适应机电装备微弱故障特征提取方法
CN114295368A (zh) 一种多通道融合的风电行星齿轮箱故障诊断方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
CN115017826A (zh) 一种装备剩余使用寿命预测方法
Li A comprehensive survey of sparse regularization: Fundamental, state-of-the-art methodologies and applications on fault diagnosis
Yao et al. RUL prediction method for rolling bearing using convolutional denoising autoencoder and bidirectional LSTM
CN111766513B (zh) 一种基于胶囊网络的三相感应电机变工况多故障诊断方法
CN117312821A (zh) 一种基于特征提取和Transformer模型的故障检测方法
Chen et al. Unsupervised Fault Detection Driven by Multivariate Time Series for Aeroengines
CN115660198B (zh) 滚动轴承剩余使用寿命预测方法
CN116738338A (zh) 基于多尺度集成LightGBM的小样本故障诊断方法
CN117213856A (zh) 基于云边双数据源融合的轴承剩余寿命预测方法
CN116610940A (zh) 一种基于小波变换与深度神经网络的装备故障诊断系统
CN116304587A (zh) 一种基于cae和agru的滚动轴承退化趋势预测方法
CN114997214A (zh) 一种残差密集网络故障诊断方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant