CN113158537A - 基于lstm结合注意力机制的航空发动机气路故障诊断方法 - Google Patents

基于lstm结合注意力机制的航空发动机气路故障诊断方法 Download PDF

Info

Publication number
CN113158537A
CN113158537A CN202110060474.5A CN202110060474A CN113158537A CN 113158537 A CN113158537 A CN 113158537A CN 202110060474 A CN202110060474 A CN 202110060474A CN 113158537 A CN113158537 A CN 113158537A
Authority
CN
China
Prior art keywords
lstm
data
layer
input
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110060474.5A
Other languages
English (en)
Other versions
CN113158537B (zh
Inventor
刘渊
吴超
王旗林
全哲
高晋锋
肖桐
郭燕
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aviation Powerplant Research Institute AECC
Original Assignee
Hunan Aviation Powerplant Research Institute AECC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aviation Powerplant Research Institute AECC filed Critical Hunan Aviation Powerplant Research Institute AECC
Priority to CN202110060474.5A priority Critical patent/CN113158537B/zh
Publication of CN113158537A publication Critical patent/CN113158537A/zh
Application granted granted Critical
Publication of CN113158537B publication Critical patent/CN113158537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于LSTM结合注意力机制的航空发动机气路故障诊断方法，本发明采用了LSTM模块堆叠和组合结构，从而可以充分挖掘涡桨发动机气路参数的特征，另一方面将不同的分组特征结合注意力机制可以得到更加高效的特征信息，从而进一步提升整个模型的性能。本发明为了充分提取其特征更好的进行故障诊断们使用了多组不同LSTM模块进行特征提取，其中每个维度分别有一组用来提取各自的时间序列数据特征，所有维度作为一个整体也有一组用来提取整体的时间序列数据的特征，整个特征提取模块既提取到了有效的局部特征又结合了整体的全局特征，从而可以得到更加丰富和高级的特征，最后使用注意力机制对提取的所有特征进行整合，筛选出更为关键的特征。

Description

基于LSTM结合注意力机制的航空发动机气路故障诊断方法
技术领域
本发明属于发动机诊断领域，尤其涉及一种基于LSTM结合注意力机制的航空发动机气路故障诊断方法。
背景技术
目前，航空涡桨发动机气路故障诊断技术以状态监测为主，主要也是监测发动机的气动热力参数、功能参数等参数的变化情况，若监测到这些状态参数偏离了正常值，即发生了异常，会及时报警通知。这类系统会智能分析状态参数的偏离量，以确定发生故障的部位，从而进行有针对性的故障诊断。涡桨发动机的气路故障诊断，就是找到监测参数变化与气路部件故障的对应关系，能够实现有方向性地对单个或多个部件进行诊断。现在航空涡桨发动机气路故障诊断方法已经被提出很多，有些已经应用于实际方案中，有些具有一定的理论研究意义，可以大概分为如下几类：基于故障方程的诊断方法，包括小偏差线性化故障方程、经验方程；基于数学模型的方法，分为线性模型法和非线性模型法，其中卡尔曼滤波、粒子滤波法和最小二乘法应用最为广泛；基于数据驱动的方法，有信号处理法、统计分析法和基于定量知识数据分析的方法，定量知识分析法包括神经网络、支持向量机和模糊逻辑；基于人工智能的方法，有专家系统、贝叶斯网络、模糊逻辑、人工神经网络、支持向量机、遗传算法等。目前通常的做法主要有以下几种：
1、故障方程的构建，可以根据小偏差理论，建立测量参数与状态参数之间的故障诊断数学模型，但是这种方法随着监测参数越来越多，构建复杂度越来越大，以及考虑传感器的噪声因素，对数据比较难处理，因此模型的构建也比较困难。因此，目前一般采用仿真软件建立自适应发动机性能的非线性模型，即构建基于经验的故障方程，直接根据发动机的性能参数变化量来识别故障。故障方程法要求建立的模型与发动机的实际运行状况尽可能相似，不能克服测量不确定因素带来的影响，有一定的局限性，目前较多与其他方法混合使用。
2、人工智能领域，目前应用最为广泛的是人工神经网络方法，这种方法不需要建立精确的数学模型，可以对监测数据进行有效的处理。采用人工神经网络进行故障诊断的实质是利用神经网络建立故障分类器，表达监测数据与故障类型之间的非线性关系。但是，传统的神经网络存在会陷入局部极值、过拟合等问题。
3、支持向量机(SVM)是一种新型的、性能优越的方法，它是结构风险最小化的近似实现，综合考虑了经验风险和泛化能力，能够利用有限的高维数据达到高水平泛化。基于支持向量机的涡桨发动机故障诊断系统的实质是根据故障样本学习得到故障诊断模型，然后对未知的故障数据进行预测，最后输出样本对应的故障类型。但是，目前关于SVM的研究仍然在一些难题，如训练算法和模型参数的选取困难等问题。。
发明内容
为解决上述问题，本发明提供了一种基于LSTM结合注意力机制的航空发动机气路故障诊断方法。本发明采用了新颖的LSTM模块堆叠和组合结构(结构设计)，从而可以充分挖掘涡桨发动机气路参数的特征，另一方面将不同的分组特征结合注意力机制(适用于前面架构的，并非通用)可以得到更加高效的特征信息，从而进一步提升整个模型的性能。具体来说由于涡桨航空发动机气路参数是基于时间序列的多维数据，为了充分提取其特征更好的进行故障诊断，我们使用了多组不同LSTM模块进行特征提取，其中每个维度分别有一组用来提取各自的时间序列数据特征，所有维度作为一个整体也有一组用来提取整体的时间序列数据的特征。所以整个特征提取模块既提取到了有效的局部特征又结合了整体的全局特征，从而可以得到更加丰富和高级的特征，最后使用注意力机制对提取的所有特征进行整合，筛选出更为关键的特征。
为达到上述技术效果，本发明的技术方案是：
一种基于LSTM结合注意力机制的航空发动机气路故障诊断方法，包括如下步骤：
步骤一、收集航空发动机正常运行时以及发生各类故障时的气动热力参数从而构建数据集，对数据集进行切分形成训练集和测试集；
步骤二、对训练集的数据进行预处理；
步骤三、构建LSTM特征提取模块；
步骤四、构建注意力模块；
步骤五、构建分类器模块；
步骤六、经过多次迭代计算，得到训练后的模型；
进一步的改进，所述步骤一包括如下步骤：
1.1)将数据集进行打乱、切分，分为80％的训练集和20％的测试集，测试集用来检验训练后的模型的效果；
进一步的改进，所述步骤二包括如下步骤：
2.1)对数据集中各个不同维度的参数进行统计，整理出各参数的实用数据；所述数据集中包括各参数的实际范围区间和出现频率；
2.2)使用孤立森林算法对异常数据进行检测；
2.3)根据检测结果，剔除异常数据；
2.4)对数据集中的数据进行数据归一化处理；
2.5)对每个维度的数据进行离差标准化，对数据集中的原始的数据进行线性变换，使结果映射到[0，1]之间，转换函数如式(1)所示：
Figure BDA0002902098970000041
其中x*表示归一化之后的数据，x表示归一化之前的数据，max为样本数据的最大值，min为样本数据的最小值，或根据经验设置的合理的值；
2.6)将归一化之后的数据集进一步进行整理，形成如下所示的输入参数矩阵；
Figure BDA0002902098970000042
矩阵中第一行
Figure BDA0002902098970000043
到
Figure BDA0002902098970000044
表示0时刻m个变量分别的状态值，m为实际的输入矩阵维度；从第0行至第n行分别为时刻t0到时刻tn的基于时间序列的变量状态；n为时间步长。
进一步的改进，所述步骤三包括如下步骤：
将LSTM特征提取模块分为全局特征提取模块和M个局部特征提取模块，其中局部特征提取模块用来提取输入矩阵中每一个维度变量的特征称之为局部特征，全局特征提取模块用来提取输入矩阵中所有维度组合起来的整体特征；
其中，M为输入参数矩阵的维度即列数，对于每一个模块使用单层的LSTM结构，其中使用n个串联到一起LSTM Cell，n表示时刻的步长；前一个LSTM Cell的输出作为后一个LSTM Cell的输入，LSTM Cell表示LSTM内部单元，每个LSTM单元内部使用24个隐藏节点的神经网络；
对于第i个局部特征模块，将输入矩阵中第i维度的向量作为输入，记作Xi，Xi中第j时刻的数据记作
Figure BDA0002902098970000051
Figure BDA0002902098970000052
作为第i个局部特征模块的单层LSTM结构中第j个内部LSTM cell的输入；将输入矩阵中M个维度的向量分别输入到对应的局部特征模块即可得到各个维度的局部时序特征，记为Fm；
全局特征提取模块由一个三层的堆叠式LSTM结构构成，其中每一层都使用n个串联到一起LSTM Cell的形式，n表示时刻的步长，前一个LSTM Cell的输出作为后一个LSTMcell的输入，LSTM Cell表示LSTM内部单元，其中第一层的LSTM Cell内部使用64个隐藏节点的神经网络，第二层的LSTM Cell内部使用128个隐藏节点的神经网络，第三层的LSTMCell内部使用64个隐藏节点的神经网络；
对于全局特征提取模块，将整个输入参数矩阵X作为第一层的输入，其中
Figure BDA0002902098970000053
表示在输入参数矩阵中时刻为tj时的行向量数据，
Figure BDA0002902098970000054
作为tj时刻第一层LSTM内部第j个LSTMCell的输入，
Figure BDA0002902098970000055
表示tj时刻经过第l层LSTM单元对应的输出值，其中
Figure BDA0002902098970000056
作为tj时刻经过全局特征提取模块第1层LSTM的输出，同时也作为全局特征提取模块第二层LSTM的输入，
Figure BDA0002902098970000057
作为tj时刻全局特征提取模块第2层LSTM的输出，同时也作为第三层LSTM的输入，最后的输出为
Figure BDA0002902098970000058
取最后一个时刻的输出作为全局特征提取模块的输出特征，记为F；
一个全局特征提取模块和M个局部特征提取模块构成整体提取模块由；第m个局部特征提取模块会将输入矩阵中第m列的数据独立输入到单层LSTM中，取最后一个时刻LSTMCell的输出作为局部特征Fm，M等于每一个时刻发动机状态变量的个数，m为输入矩阵的列索引；全局特征模块将输入参数矩阵作为一个整体输入到三层堆叠LSTM结构中，然后取最后一个时刻的输出F作为全局特征模块提取的特征。
进一步的改进，所述步骤四包括如下步骤：
4.1)将特征Fm和F分别进行平均值池化和最大值池化，降低数据维度；Fm表示从第m个通道(即输入矩阵的第m列)提取得到的局部的特征,F表示经过全局特征提取得到的全局特征；
4.2)将池化后特征依次输入注意力模块中的全连接层fc1和fc2，得到初始的注意力特征；fc1表示注意力模块中第一个全连接层，fc2表示注意力模块第二个全连接层；
4.3)将各部分初始的注意力特征按位相加，然后通过sigmoid函数得到不同通道的attention值；
4.4)将attention值和局部特征值Fm和全局特征F进行点乘运算得到注意力机制最终的特征向量
Figure BDA0002902098970000061
进一步的改进，所述步骤五包括如下步骤：
5.1)将经过注意力模块后得到的特征向量
Figure BDA0002902098970000062
输入到最后的分类全连接层计算，得到最后的各个类别分类置信度；
5.2)使用Softmax函数对各个类别分类置信度进行归一化；
5.3)归一化之后最大的值即对应的故障类别。
进一步的改进，所述步骤六中，使用随机梯度下降法得到得到训练后的模型，设置随机梯度下降法中的超参数batch size超参数batch size从32，64，128中选取。
本发明的优点如下：
本发明使用了一种新颖的LSTM架构进行气路参数特征的提取，可以提取到更多传统人工办法无法提取的特征，避免了人工选取特征的大量工作量，实现了特征的自动化提取完全依赖于模型的提取能力。其中使用了多个子模块从而可以提取丰富的时间序列数据特征，同时使用了堆叠式的LSTM深度模型可以提取更加抽象的时序特征，结合经典多分类问题中常用的交叉熵损失函数(Cross Entropy Loss)评价分类的效果，依据误差反向传播的算法训练模型，从而学习到一个更好的参数。
附图说明
图1为本发明的流程示意图；
图2为局部特征提取模块图；
图3为全局特征提取模块图；
图4为LSTM特征提取模块图；
图5为注意力模块图；
图6为分类器模块图。
具体实施方式
以下通过具体实施方式并且结合附图对本发明的技术方案作具体说明，下述实施例中的部件或设备如无特别说明，均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
实施例1
图1是本发明的总流程图。
具体包括如下步骤：
步骤1)、构建数据集，对数据集进行切分，80％作为训练集、20％作为测试集；
步骤2)、对训练集的数据进行预处理；
步骤3)、构建LSTM特征提取模块；
步骤4)、构建注意力模块；
步骤5)、构建分类器模块；
步骤6)、经过多次迭代计算，得到训练后的模型；
其中各步骤具体如下所示：
第一步、构建数据集
1.1将数据集进行打乱、切分，分为80％的训练集和20％的测试集，测试集用来检验模型效果。
1.2将数据集中异常数据进行简单的删除，例如空值和不符合事实的一些错误值，采用数值方法规则进行简单的过滤，剔除干扰数据可以显著提高准确度。
第二步、对训练集的数据进行预处理
主要完成数据清洗和数据归一化。
2.1对各个不同维度的参数进行统计，整理出各参数的实际范围区间、出现频率等实用数据；
2.2使用孤立森林算法(Isolation Forest)对异常数据进行检测；
2.3根据检测结果，剔除不符合要求的部分数据。
2.4因为不同评价指标(参数)往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理。
2.5对每个维度的数据进行离差标准化，对原始的数据进行线性变换，使结果映射到[0，1]之间，转换函数为min-max标准化(Min-Max Normalization)，如公式(1)所示：
Figure BDA0002902098970000091
其中x*表示归一化之后的数据，x表示归一化之前的数据，max为样本数据的最大值，min为样本数据的最小值，也可以根据经验设置一个合理的值。
2.6将归一化之后的数据集进一步进行整理，使得其成为如下所示。
Figure BDA0002902098970000092
式2的矩阵中第一行
Figure BDA0002902098970000093
到
Figure BDA0002902098970000094
表示0时刻m个变量分别的状态值，m为实际的输入矩阵维度。从第0行至第n行分别为时刻t0到时刻tn的基于时间序列的变量状态。n为时间步长，比如设置为128。
第三步、构建LSTM特征提取模块
3.1构建局部特征提取模块
如图2所示：
其中
Figure BDA0002902098970000101
表示在输入矩阵中tj时刻第i维度的变量值，同时在图3中作为tj时刻LSTM单元的输入，
Figure BDA0002902098970000102
表示
Figure BDA0002902098970000103
经过第tj时刻LSTM单元的输出值。对于每一维度的特征分别输入到局部特征提取模块中获取各自的时序特征。
3.2构建全局特征提取模块
如图3所示，总体上该模块是一个三层的LSTM架构，其中
Figure BDA0002902098970000104
表示在输入矩阵(图2)中时刻为ti时的行向量数据，同时在图4中作为ti时刻第一层LSTM的输入，
Figure BDA0002902098970000105
表示ti时刻经过第l层LSTM单元对应的输出值。采用堆叠式架构可以获取更高抽象级别的整体时序特征。
,3.3构建整体模块
整个特征提取的模块下图4所示，其中局部特征提取模块如图2所示，全局特征提取模块如图3所示。
第四步、构建注意力模块
如图5所示：Fi表示第i个通道产生的特征,
Figure BDA0002902098970000106
表示经过注意力模块之后得到的特征向量。
4.1将特征Fi和F分别进行平均值池化和最大值池化，降低数据维度。
4.2将池化后特征依次输入全连接层fc1和fc2。
4.3将各部分特征按位相加，之后通过sigmoid函数得到不同通道的attention值
4.4将attention值和初始的特征值进行点乘运算得到最终的特征向量。
第五步、构建分类器模块
Figure BDA0002902098970000111
表示经过attention模块后的特征向量，Ci表示预测为第i类的概率。
5.1将经过attention模块后得到的特征输入到全连接层，得到最后的各个类别分类置信度。
5.2使用Softmax函数对置信度进行归一化。
5.3归一化之后最大的值即对应的故障类别。
第六步、经过多次迭代计算，得到训练后的模型在使用随机梯度下降法训练模型时，有一个重要的超参数batch size，其大小对整个模型训练的影响很大。更大的批尺寸会计算更精确的梯度估计，因为每次参数更新所用到的数据越多，越能代表整体损失函数的梯度，因此梯度精确度更高，但是可能使得网络陷入局部的最小值，无法继续优化，而且如果数据量太大，可能会受到GPU显存大小的限制；批尺寸太小则可能会导致模型不收敛，因为需要在合理的范围内增加批大小。此外在LSTM的训练中采取正交方法初始化(orthogonal initialization)网络参数，在一定程度上可以避免训练过程中的梯度爆炸或者梯度消失等问题。
上述仅为本发明的一个具体导向实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明的保护范围的行为。

Claims (7)

1.一种基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，包括如下步骤：
步骤一、收集航空发动机正常运行时以及发生各类故障时的气动热力参数从而构建数据集，对数据集进行切分形成训练集和测试集；
步骤二、对训练集的数据进行预处理；
步骤三、构建LSTM特征提取模块；
步骤四、构建注意力模块；
步骤五、构建分类器模块；
步骤六、经过多次迭代计算，得到训练后的模型。
2.如权利要求1所述的基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，所述步骤一包括如下步骤：
1.1)将数据集进行打乱、切分，分为80％的训练集和20％的测试集，测试集用来检验训练后的模型的效果。
3.如权利要求1所述的基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，所述步骤二包括如下步骤：
2.1)对数据集中各个不同维度的参数进行统计，整理出各参数的实用数据；所述数据集中包括各参数的实际范围区间和出现频率；
2.2)使用孤立森林算法对异常数据进行检测；
2.3)根据检测结果，剔除异常数据；
2.4)对数据集中的数据进行数据归一化处理；
2.5)对每个维度的数据进行离差标准化，对数据集中的原始的数据进行线性变换，使结果映射到[0，1]之间，转换函数如式(1)所示：
Figure RE-FDA0003086107190000011
其中x*表示归一化之后的数据，x表示归一化之前的数据，max为样本数据的最大值，min为样本数据的最小值，或根据经验设置的合理的值；
2.6)将归一化之后的数据集进一步进行整理，形成如下所示的输入参数矩阵；
Figure RE-FDA0003086107190000021
矩阵中第一行
Figure RE-FDA0003086107190000022
到
Figure RE-FDA0003086107190000023
表示0时刻m个变量分别的状态值，m为实际的输入矩阵维度；从第0行至第n行分别为时刻t0到时刻tn的基于时间序列的变量状态；n为时间步长。
4.如权利要求1所述的基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，所述步骤三包括如下步骤：
将LSTM特征提取模块分为全局特征提取模块和M个局部特征提取模块，其中局部特征提取模块用来提取输入矩阵中每一个维度变量的特征称之为局部特征，全局特征提取模块用来提取输入矩阵中所有维度组合起来的整体特征；
其中，M为输入参数矩阵的维度即列数，对于每一个模块使用单层的LSTM结构，其中使用n个串联到一起LSTM Cell，n表示时刻的步长；前一个LSTM Cell的输出作为后一个LSTMCell的输入，LSTM Cell表示LSTM内部单元，每个LSTM单元内部使用24个隐藏节点的神经网络；
对于第i个局部特征模块，将输入矩阵中第i维度的向量作为输入，记作Xi，Xi中第j时刻的数据记作
Figure RE-FDA0003086107190000024
作为第i个局部特征模块的单层LSTM结构中第j个内部LSTM cell的输入；将输入矩阵中M个维度的向量分别输入到对应的局部特征模块即可得到各个维度的局部时序特征，记为Fm；
全局特征提取模块由一个三层的堆叠式LSTM结构构成，其中每一层都使用n个串联到一起LSTM Cell的形式，n表示时刻的步长，前一个LSTM Cell的输出作为后一个LSTM cell的输入，LSTM Cell表示LSTM内部单元，其中第一层的LSTM Cell内部使用64个隐藏节点的神经网络，第二层的LSTM Cell内部使用128个隐藏节点的神经网络，第三层的LSTM Cell内部使用64个隐藏节点的神经网络；
对于全局特征提取模块，将整个输入参数矩阵X作为第一层的输入，其中
Figure RE-FDA0003086107190000031
表示在输入参数矩阵中时刻为tj时的行向量数据，
Figure RE-FDA0003086107190000032
作为tj时刻第一层LSTM内部第j个LSTM Cell的输入，
Figure RE-FDA0003086107190000033
表示tj时刻经过第l层LSTM单元对应的输出值，其中
Figure RE-FDA0003086107190000034
作为tj时刻经过全局特征提取模块第1层LSTM的输出，同时也作为全局特征提取模块第二层LSTM的输入，
Figure RE-FDA0003086107190000035
作为tj时刻全局特征提取模块第2层LSTM的输出，同时也作为第三层LSTM的输入，最后的输出为
Figure RE-FDA0003086107190000036
取最后一个时刻的输出作为全局特征提取模块的输出特征，记为F；
一个全局特征提取模块和M个局部特征提取模块构成整体提取模块由；第m个局部特征提取模块会将输入矩阵中第m列的数据独立输入到单层LSTM中，取最后一个时刻LSTM Cell的输出作为局部特征Fm，M等于每一个时刻发动机状态变量的个数，m为输入矩阵的列索引；全局特征模块将输入参数矩阵作为一个整体输入到三层堆叠LSTM结构中，然后取最后一个时刻的输出F作为全局特征模块提取的特征。
5.如权利要求1所述的基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，所述步骤四包括如下步骤：
4.1)将特征Fm和F分别进行平均值池化和最大值池化，降低数据维度；Fm表示从第m个通道(即输入矩阵的第m列)提取得到的局部的特征,F表示经过全局特征提取得到的全局特征；
4.2)将池化后特征依次输入注意力模块中的全连接层fc1和fc2，得到初始的注意力特征；fc1表示注意力模块中第一个全连接层，fc2表示注意力模块第二个全连接层；
4.3)将各部分初始的注意力特征按位相加，然后通过sigmoid函数得到不同通道的attention值；
4.4)将attention值和局部特征值Fm和全局特征F进行点乘运算得到注意力机制最终的特征向量
Figure RE-FDA0003086107190000041
6.如权利要求1所述的基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，所述步骤五包括如下步骤：
5.1)将经过注意力模块后得到的特征向量
Figure RE-FDA0003086107190000042
输入到最后的分类全连接层计算，得到最后的各个类别分类置信度；
5.2)使用Softmax函数对各个类别分类置信度进行归一化；
5.3)归一化之后最大的值即对应的故障类别。
7.如权利要求1所述的基于LSTM结合注意力机制的航空发动机气路故障诊断方法，其特征在于，所述步骤六中，使用随机梯度下降法得到得到训练后的模型，设置随机梯度下降法中的超参数batch size超参数batch size从32，64，128中选取。
CN202110060474.5A 2021-01-18 2021-01-18 基于lstm结合注意力机制的航空发动机气路故障诊断方法 Active CN113158537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110060474.5A CN113158537B (zh) 2021-01-18 2021-01-18 基于lstm结合注意力机制的航空发动机气路故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110060474.5A CN113158537B (zh) 2021-01-18 2021-01-18 基于lstm结合注意力机制的航空发动机气路故障诊断方法

Publications (2)

Publication Number Publication Date
CN113158537A true CN113158537A (zh) 2021-07-23
CN113158537B CN113158537B (zh) 2023-03-24

Family

ID=76878410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110060474.5A Active CN113158537B (zh) 2021-01-18 2021-01-18 基于lstm结合注意力机制的航空发动机气路故障诊断方法

Country Status (1)

Country Link
CN (1) CN113158537B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298220A (zh) * 2021-12-28 2022-04-08 浙江大学 基于上下文注意力动态特征提取器的故障分类方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108444708A (zh) * 2018-04-16 2018-08-24 长安大学 基于卷积神经网络的滚动轴承智能诊断模型的建立方法
CN109115501A (zh) * 2018-07-12 2019-01-01 哈尔滨工业大学（威海） 一种基于cnn与svm的民航发动机气路故障诊断方法
CN109685653A (zh) * 2019-01-21 2019-04-26 北京工业大学 一种融合深度信念网络和孤立森林算法的信贷风险监测的方法
WO2019144384A1 (zh) * 2018-01-26 2019-08-01 大连理工大学 一种航空发动机启动过程排气温度预测方法
CN110097037A (zh) * 2019-05-22 2019-08-06 天津联图科技有限公司 智能监测方法、装置、存储介质及电子设备
CN110321603A (zh) * 2019-06-18 2019-10-11 大连理工大学 一种用于航空发动机气路故障诊断的深度计算模型
WO2020000248A1 (zh) * 2018-06-27 2020-01-02 大连理工大学 一种基于空间重构的航空发动机过渡态加速过程关键性能参数预测方法
CN111325323A (zh) * 2020-02-19 2020-06-23 山东大学 一种融合全局信息和局部信息的输变电场景描述自动生成方法
CN111612254A (zh) * 2020-05-22 2020-09-01 中国科学院合肥物质科学研究院 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法
US20200301406A1 (en) * 2019-03-21 2020-09-24 United Technologies Corporation System for forecasting aircraft engine deterioration using recurrent neural networks
CN112131673A (zh) * 2020-09-30 2020-12-25 西南石油大学 基于融合神经网络模型的发动机喘振故障预测系统及方法
CN112147432A (zh) * 2020-08-25 2020-12-29 国网上海市电力公司 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144384A1 (zh) * 2018-01-26 2019-08-01 大连理工大学 一种航空发动机启动过程排气温度预测方法
CN108444708A (zh) * 2018-04-16 2018-08-24 长安大学 基于卷积神经网络的滚动轴承智能诊断模型的建立方法
WO2020000248A1 (zh) * 2018-06-27 2020-01-02 大连理工大学 一种基于空间重构的航空发动机过渡态加速过程关键性能参数预测方法
CN109115501A (zh) * 2018-07-12 2019-01-01 哈尔滨工业大学（威海） 一种基于cnn与svm的民航发动机气路故障诊断方法
CN109685653A (zh) * 2019-01-21 2019-04-26 北京工业大学 一种融合深度信念网络和孤立森林算法的信贷风险监测的方法
US20200301406A1 (en) * 2019-03-21 2020-09-24 United Technologies Corporation System for forecasting aircraft engine deterioration using recurrent neural networks
CN110097037A (zh) * 2019-05-22 2019-08-06 天津联图科技有限公司 智能监测方法、装置、存储介质及电子设备
CN110321603A (zh) * 2019-06-18 2019-10-11 大连理工大学 一种用于航空发动机气路故障诊断的深度计算模型
CN111325323A (zh) * 2020-02-19 2020-06-23 山东大学 一种融合全局信息和局部信息的输变电场景描述自动生成方法
CN111612254A (zh) * 2020-05-22 2020-09-01 中国科学院合肥物质科学研究院 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法
CN112147432A (zh) * 2020-08-25 2020-12-29 国网上海市电力公司 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统
CN112131673A (zh) * 2020-09-30 2020-12-25 西南石油大学 基于融合神经网络模型的发动机喘振故障预测系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
元尼东珠等: "基于卷积神经网络的发动机气路故障诊断方法", 《计算机测量与控制》 *
宋旭: "《互联网+数据平台建设研究》", 31 December 2018 *
沈涛等: "基于深度学习的旋转机械故障诊断研究综述", 《计算机测量与控制》 *
王太勇等: "基于注意力机制BiLSTM的设备智能故障诊断方法", 《天津大学学报(自然科学与工程技术版)》 *
高丹妮: "基于AQPSO-LSTM-BN的APU故障诊断模型", 《信息技术与网络安全》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298220A (zh) * 2021-12-28 2022-04-08 浙江大学 基于上下文注意力动态特征提取器的故障分类方法
CN114298220B (zh) * 2021-12-28 2022-09-16 浙江大学 基于上下文注意力动态特征提取器的故障分类方法

Also Published As

Publication number Publication date
CN113158537B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN108197648B (zh) 一种基于lstm深度学习模型的水电机组故障诊断方法与系统
CN111273623B (zh) 基于Stacked LSTM的故障诊断方法
CN109141847B (zh) 一种基于mscnn深度学习的飞机系统故障诊断方法
CN112766303B (zh) 一种基于cnn的航空发动机故障诊断方法
CN109766583A (zh) 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN114997051A (zh) 一种基于迁移学习的航空发动机寿命预测与健康评估方法
Zhou et al. Deep learning-based approach for civil aircraft hazard identification and prediction
CN115204302A (zh) 一种无人机小样本故障诊断系统及方法
WO2019178930A1 (zh) 一种机械设备故障诊断方法
CN111079348B (zh) 一种缓变信号检测方法和装置
CN113158537B (zh) 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN114462459A (zh) 一种基于1dcnn-lstm网络模型的液压机故障诊断方法
CN116894215B (zh) 一种基于半监督动态图注意的齿轮箱故障诊断方法
CN111461184A (zh) 基于多元特征矩阵的xgb多维运维数据异常检测方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
Xiang et al. Spacecraft Intelligent Fault Diagnosis under Variable Working Conditions via Wasserstein Distance‐Based Deep Adversarial Transfer Learning
CN115204272A (zh) 基于多采样率数据的工业系统故障诊断方法与设备
CN115540935A (zh) 一种新型护航舰艇压载水系统设备故障诊断方法
CN114841063A (zh) 一种基于深度学习的航空发动机剩余寿命预测方法
CN113657664A (zh) 一种船舶机舱设备状态预测系统及方法
Chen et al. Graph convolution network-based fault diagnosis method for the rectifier of the high-speed train
CN112015894A (zh) 一种基于深度学习的文本单类分类方法及系统
CN112488146A (zh) 基于深度学习的飞机危险识别与趋势预测方法
Vladov et al. Modified Neural Network Method for Diagnostics the Helicopters Turboshaft Engines Operational Status at Flight Modes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant