CN115618263A - 一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法 - Google Patents

一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法 Download PDF

Info

Publication number
CN115618263A
CN115618263A CN202211197963.6A CN202211197963A CN115618263A CN 115618263 A CN115618263 A CN 115618263A CN 202211197963 A CN202211197963 A CN 202211197963A CN 115618263 A CN115618263 A CN 115618263A
Authority
CN
China
Prior art keywords
fault
samples
sample
smote
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211197963.6A
Other languages
English (en)
Inventor
钟诗胜
赵明航
刘丹
林琳
张永健
付旭云
刘雪云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211197963.6A priority Critical patent/CN115618263A/zh
Publication of CN115618263A publication Critical patent/CN115618263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)

Abstract

本申请提供了一种基于Feature‑level SMOTE的复杂装备不均衡故障诊断方法,通过将样本映射到嵌入式空间,并在嵌入式空间内采用MLP对样本进行故障诊断。本申请提供的基于Feature‑level SMOTE的复杂装备不均衡故障诊断方法,特征级别的数据增强机制使得生成的故障样本与正常样本的混叠程度更小,更有利于正常与故障的诊断;模型中的GRU更能捕获多维监控数据中的复杂关系,更能表征原始样本的特点;DSGRU在进行空间映射的时时可以抵抗噪声的影响,有效解决发动机监控数据存在噪声问题。

Description

一种基于Feature-level SMOTE的复杂装备不均衡故障诊断 方法
技术领域
本申请属于复杂装备不均衡故障诊断方法技术领域,更具体地说,是涉及一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法。
背景技术
复杂装备长期在高温、高压、高速旋转以及高强度振动等异常恶劣的环境下工作,其部件将不可避免地遇到性能衰退甚至故障,这增加了工程事故发生的概率。以飞机的核心子系统——航空发动机为例,其可靠性直接影响着飞机的飞行安全。发动机的早期故障诊断是避免重大的飞行事故的重要途径,也就是说,如果可以及时诊断出发动机的故障,则可以通过维修来确保发动机的安全运行,并且还可以节约维修成本。因此,对发动机进行实时的故障诊断成为发动机健康管理中重要的措施之一。
发动机的故障诊断方法主要分为三类:基于物理模型的方法、基于传统机器学习的方法以及基于深度学习的方法。一方面,基于物理模型的方法需要建立一个精确的物理模型去描述发动机的运行状态,然而复杂设备的损伤传播过程和动态响应非常复杂,这将导致整个建模过程会非常艰巨。另一方面,基于传统机器学习的方法则需要工程师手工选择监控数据的统计特征,如果选择的特征不能很好地表征发动机的健康状态,那么这个方法就会面临失效的风险。相反地,基于深度学习的方法可以从监测数据中自动学习丰富且有用的特征,然后使用这些特征来推断发动机的健康状态,既不需要复杂的建模过程,又不需要工程师专门地选择特征,这使得故障诊断过程更加直接。
然而,直接使用传统的深度学习方法对发动机进行故障诊断仍将面临以下挑战:(1)类间不均衡训练集中正常样本的数目远远多于故障样本的数目,这导致度模型在训练的过程中即使无法正确地诊断故障样本但依然可以获得非常高的分类精度。例如,如果数据集的不均衡率为99:1,那么即使深度神经网络将所有训练样本都诊断为正常样本,那么模型的分类精度依然高达99%。(2) 类间混叠如图1(a)所示,正常样本与故障样本相互混叠。并且在混叠的区域,正常样本的概率密度甚至高于故障样本的概率密度,这给分类器的学习带来了极大挑战。因为在这种情况下,传统的分类模型更倾向于将故障样本诊断为正常样本,这是一个非常糟糕的诊断结果。因此,申请的重要任务就是平衡数据集和降低类间混叠。
迄今为止,重采样依然是解决不均衡分类问题的重要方法,主要被分为两类:降采样技术和过采样技术。降采样技术通过移除多数类样本的方式来平衡各类样本的数目,而这种移除的策略容易造成有用信息的损失。针对信息损失的问题,许多改进的降采样技术有选择而非随机地移除多数类样本,例如 Neighborhood Cleaning Rule,Tomek Link,One-Sided Selection, Clustering-based Downsampling,and NB-based Downsampling,虽然都尽力避免移除有代表性的多数类样本,但是依然无法避免有用信息的损失。
过采样技术是通过增加少数类样本而不是移除多数类样本的方式来平衡样本数量,可以有效地避免信息的损失。最简单的随机过采样技术是通过随机复制少数类样本的方式来平衡各类样本的数目,而这种随机复制的策略容易造成分类器的过拟合问题。流行的SMOTE算法通过生成而非随机复制的方式来扩增少数类样本,可以在一定程度上缓解分类器的过拟合问题。并且针对SMOTE算法没有考虑多数类样本分布而有可能引入噪声样本的不足,近年来出现了许多改进的SMOTE算法来提高生成样本的质量,包括Borderline-SMOTE,SVM-SMOTE, and KMeans-SMOTE等。但是,在多数类样本和少数类样本相互混叠的情况下, SMOTE算法及其变体将会进一步增加两者之间的混叠程度,这会给分类器的学习带来了极大的挑战。
以SMOTE算法为例,SMOTE算法通过在原始空间中的相邻少数类样本的连线上随机采样来生成故障样本。生成样本的加入使得样本分布有可能变为如图 1(b)所示,这显然好于如图1(a)所示的样本分布。因为此时在混叠区域的中心位置,故障样本的概率密度高于正常样本的概率密度,这些故障可以被诊断出来。
然而,在原始空间中直接进行数据增强面依然存在不足。一方面,如图1(b) 所示,在混叠区域的中心位置,正常样本面临着被诊断为故障样本的风险。也就是说,对故障样本的准确率的提升是以牺牲正常样本的准确率为代价的。另一方面,在混叠区域的边缘位置,故障样本的概率密度低于正常样本的概率密度,依然倾向于被传统的分类模型错误地诊断为正常样本。而本申请采用DSGRU 将原始数据映射到特征空间,在特征空间中正常样本与故障样本相互远离,如图1(c)所示。然后,在特征空间中采用SMOTE进行数据增强,以平衡故障样本与正常样本的数目,如图1(d)所示。
发明内容
为实现上述目的,本申请采用的技术方案是:提供一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,通过将样本映射到嵌入式空间,并在嵌入式空间内采用MLP对样本进行故障诊断。
可选地,包括训练过程,所述训练过程包括以下步骤:
步骤一:数据处理,得到故障特征参数;
步骤二:训练过程空间映射,采用DSGRU实现空间映射,将混叠的样本映射到嵌入式空间中,在嵌入式空间中降低正常样本和故障样本之间的混叠程度;
步骤三:数据增强,采用SMOTE算法对故障样本进行数据增强,平衡各类型样本之间的数目差异;在正常样本和故障样本的嵌入式空间中,使用SMOTE 算法生成属于少数类的故障样本,并与原来的正常样本一起组成均衡的数据集;
步骤四:训练过程故障分类,采用MLP对嵌入式空间中进行了数据增强后的样本进行故障诊断,构建样本嵌入式表示与标签之间的映射,对辨识故障。
可选的,步骤二中,DSGRU包括特征提取模块和损失计算模块,训练过程空间映射选用GRU网络作为孪生神经网络的特征提取模块,GRU网络包括2个 GRU层和1个全连接层,GRU层包括多个GRU单元;
GRU单元的计算函数如下所示:
Figure RE-GDA0004009200250000031
Figure RE-GDA0004009200250000032
Figure RE-GDA0004009200250000033
Figure RE-GDA0004009200250000041
可选的,损失计算模块采用对比损失来训练孪生神经网络的权重,对比损失定义如下:
Figure RE-GDA0004009200250000042
可选的,当最小化对比损失Lsia时,若
Figure RE-GDA0004009200250000043
Figure RE-GDA0004009200250000044
属于相同类型的样本 (yk=1),对比损失的第k项
Figure RE-GDA0004009200250000045
趋向于越来越小,
Figure RE-GDA0004009200250000046
Figure RE-GDA0004009200250000047
越来越接近;反之,
Figure RE-GDA0004009200250000048
Figure RE-GDA0004009200250000049
属于不同类型的样本(yk=0),则
Figure RE-GDA00040092002500000410
趋向于越来越小,即
Figure RE-GDA00040092002500000411
越来越大,但不会超过d,
Figure RE-GDA00040092002500000412
Figure RE-GDA00040092002500000413
越来越远离。
可选的,步骤三中,对于任意一故障样本,其生成过程如下:
首先,找到与
Figure RE-GDA00040092002500000414
最相近的故障样本的嵌入式表示,表示为:
Figure RE-GDA00040092002500000415
其次,在
Figure RE-GDA00040092002500000416
Figure RE-GDA00040092002500000417
之间的连线上随机选取一点,即为生成的故障样本,如下所示:
Figure RE-GDA00040092002500000418
最后,重复以上过程,直至生成的故障样本,使得训练集中各个类型样本之间的数目近似相等。
可选的,在嵌入式空间中平衡数据集之后,采用MLP来诊断发动机的健康状态;MLP包括一个输入层、两个隐含层和一个输出层;
MLP以样本的嵌入式表示为输入,并经过一系列变换输出样本属于每个类别的概率;根据预测标签和真实标签计算交叉熵损失函数,并用来训练网络的权重参数,从而使得训练后的MLP可用于发动机健康状态的分类。
可选的,还包括测试过程,所述测试过程包括以下步骤:
步骤五:测试过程空间映射,特征提取模块将测试样本从原始空间映射到嵌入式空间中;
步骤六:测试过程故障分类,在嵌入式空间中,使用训练后的MLP来判断测试样本的类型。
可选的,发动机的故障特征参数包括排气温度裕度、排气温度偏差值、核心机转速偏差值、燃油流量偏差值。
可选的,对故障特征参数采用滑窗法进行样本构造,样本构造过程如下:
1)确定发动机发生故障时间,获取发生故障之间的关键故障特征参数的数据。第k台发动机的关键故障特征参数如下所示:
Figure RE-GDA0004009200250000051
2)滑窗的尺寸设置为4×10,并且滑窗的步长设置为10,滑窗从尾向首滑动,第k台发动机的第p个故障征兆样本如下所示:
Figure RE-GDA0004009200250000052
当p=1时,FSSk,p表示故障样本;当
Figure RE-GDA0004009200250000053
时,FSSk,p表示正常样本;
3)正常样本组成的集合记为
Figure RE-GDA0004009200250000054
将排气温度指示故障样本组成的集合记为
Figure RE-GDA0004009200250000055
将进口总温指示故障样本组成的集合记为
Figure RE-GDA0004009200250000056
采取五折交叉的方式来划分数据集,将原始数据DNOR,DEIF,DTSIF分别均分成五个不相交的子集;
每次选择其中一个子集作为测试集
Figure RE-GDA0004009200250000057
其余的四个子集作为训练集
Figure RE-GDA0004009200250000058
则训练集为
Figure RE-GDA0004009200250000059
测试集为
Figure RE-GDA00040092002500000510
本申请提供一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,针对现存有监督故障诊断方法在不均衡的高维监控数据上诊断效果不佳的问题,本项目在学习的映射空间中引入特征级别的数据增强机制,构建深度孪生门控循环网络模型(DSGRU)来学习能够有效地分离正常样本和异常样本的映射空间,而后利用SMOTE在学习的映射空间中进行数据增强,最后采用多层感知机(MLP)进行故障诊断。所构建的Feature-levelSMOTE,由一个DSGRU、一个SMOTE以及一个MLP组成,其中DSGRU被样本对进行训练,用以将正常样本和异常样本映射到一个相互分离的特征空间中,而SMOTE作为特征级别的数据增强机制在特征空间中进行故障样本的生成,并且MLP直接对样本的嵌入式表示进行分类。Feature-level SMOTE的优点在于:(1)特征级别的数据增强机制使得生成的故障样本与正常样本的混叠程度更小,更有利于正常与故障的诊断;(2)模型中的GRU更能捕获多维监控数据中的复杂关系,更能表征原始样本的特点;(3)DSGRU在进行空间映射的时时可以抵抗噪声的影响,有效解决发动机监控数据存在噪声问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为所提框架的示意图。
图2为数据预处理的示意图。
图3为所提框架的主要流程图。
图4为所考虑方法的实验效果图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
现对本申请实施例提供的一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法进行说明。如图2、图3所示,所述基于Feature-level SMOTE 的复杂装备不均衡故障诊断方法,包括训练过程和测试过程,所述训练过程包括以下步骤:
步骤一:数据处理。对原始数据进行去噪、平滑处理,得到故障特征参数。
步骤二:训练过程空间映射,采用DSGRU实现空间映射,将混叠的样本映射到嵌入式空间中,在嵌入式空间中降低正常样本和故障样本之间的混叠程度。
DSGRU为深度孪生门控循环网络(deep Siamese gated recurrent unitnetwork),文中将深度孪生门控循环网络简称为DSGRU进行描述。其中,DSGRU 包括特征提取模块和损失计算模块。
步骤三:数据增强,采用SMOTE算法对故障样本进行数据增强,平衡各类型样本之间的数目差异。在正常样本和故障样本的嵌入式空间中,使用SMOTE 算法生成属于少数类的故障样本,并与原来的正常样本一起组成均衡的数据集。并且,在嵌入式空间中新生成的故障样本也不会与正常样本严重重叠。
步骤四:训练过程故障分类,采用MLP对嵌入式空间中进行了数据增强后的样本进行故障诊断,构建样本嵌入式表示与标签之间的映射,从而准确地对故障进行辨识。
MLP为多层感知机(multilayer perceptron),文中将多层感知机简称为 MLP进行描述。
参见图3,所述测试过程包括以下步骤:
步骤五:测试过程空间映射,特征提取模块将测试样本从原始空间映射到嵌入式空间中;
步骤六:测试过程故障分类,在嵌入式空间中,使用训练后的MLP来判断测试样本的类型。
步骤一中,发动机的故障特征参数能够反映整机及其单元体的性能状态,从故障特征参数提取故障征兆(故障特征)是进行故障诊断的关键步骤。在发动机众多故障特征参数之中,重要且有效的参数为排气温度(EGT)、低压转子转速 (N1)、高压转子转速(N2)以及燃油流量(FF)。然而,在实际飞行中,上述的故障特征参数的测量值还会受到外界环境条件、工作状态以及发动机推力等因素的影响,直接使用测量值可能会误判发动机的性能状态。
为了更加准确地反映发动机的性能状态,原始设备制造商(OEM)结合发动机性能基线模型、外界环境条件以及发动机推力大小等将测量值相似转化为基线偏差值。如图2所示,GE公司根据飞行高度、马赫数以及推力等参数将排气温度、核心机转速和燃油流量转化为排气温度裕度(EGTM)、排气温度偏差值 (DEGT)、核心机转速偏差值(DN2)、燃油流量偏差值(DFF)。
本申请选择EGTM、DEGT、DN2和DFF作为发动机故障诊断的关键故障特征参数(Keycharacteristic parameters)。
对关键故障特征参数采用滑窗法进行样本构造,样本构造过程如下:
1)确定发动机发生故障时间,获取发生故障之间的关键故障特征参数的数据。具体的,根据维修报告,可以确定发动机发生故障的时间。然后,从历史监测数据中获得其在故障之前的关键故障特征参数的数据。因此,第k台发动机的关键故障特征参数如下所示:
Figure RE-GDA0004009200250000081
式中,mk表示第k台发动机发生故障之前的飞行循环总数。
2)通过分析相关的CNR报告,发现故障征兆片段的序列长度在5至120 之间,绝大多数不超过10。因此,滑窗的尺寸最终设置为4×10,并且滑窗的步长设置为10。此外,滑窗从尾(即发生故障时的飞行循环)向首滑动。因此,第k台发动机的第p个故障征兆样本如下所示:
Figure RE-GDA0004009200250000082
当p=1时,FSSk,p表示故障样本;当
Figure RE-GDA0004009200250000083
时,FSSk,p表示正常样本。
3)为了方便描述,将正常样本组成的集合记为
Figure RE-GDA0004009200250000084
式中
Figure RE-GDA0004009200250000085
表示第i个正常样本,NNOR表示正常样本的总数;将排气温度指示故障样本组成的集合记为
Figure RE-GDA0004009200250000091
式中
Figure RE-GDA0004009200250000092
表示第i个排气温度指示故障样本,NEIF表示排气温度指示故障样本的总数;将进口总温指示故障样本组成的集合记为
Figure RE-GDA0004009200250000093
式中
Figure RE-GDA0004009200250000094
表示第i个进口总温指示故障样本,NTSIF进口总温指示故障样本的总数。为了避免一次实验的随机性,申请采取五折交叉的方式来划分数据集,将原始数据 DNOR,DEIF,DTSIF分别均分成五个不相交的子集,每次选择其中一个子集作为测试集
Figure RE-GDA0004009200250000095
其余的四个子集作为训练集
Figure RE-GDA0004009200250000096
则训练集为
Figure RE-GDA0004009200250000097
测试集为
Figure RE-GDA0004009200250000098
步骤二中,训练过程空间映射选用GRU网络作为孪生神经网络的特征提取模块,GRU网络包括2个GRU层和1个全连接层。
GRU层是GRU网络的核心组件,可以自适应地提取不同时间尺度的依赖性。并且GRU单元的计算函数如下所示:
Figure RE-GDA0004009200250000099
Figure RE-GDA00040092002500000910
Figure RE-GDA00040092002500000911
Figure RE-GDA00040092002500000912
式中,FSSk(t)表示第k个样本在t时刻的取值,
Figure RE-GDA00040092002500000913
表示第l个循环单元在t时刻的activation,
Figure RE-GDA00040092002500000914
表示candidate activation,
Figure RE-GDA00040092002500000915
表示update gate,
Figure RE-GDA00040092002500000916
表示reset gate,并且W,U,Wz,Uz,Wr以及Ur均表示权重矩阵。此外,σ表示logistic sigmoid函数,并且⊙表示对应元素相乘。
根据
Figure RE-GDA00040092002500000917
的计算式可知,GRU单元既可以提取当前t时刻的信息
Figure RE-GDA00040092002500000918
也能够保留在t时刻之前从输入序列中捕获到的重要信息
Figure RE-GDA00040092002500000919
并且还能够长距离携带该信息。
损失计算模块使用对比损失来训练孪生神经网络的权重。对比损失可以有效地处理配对数据,并且定义如下:
Figure RE-GDA0004009200250000101
式中,
Figure RE-GDA0004009200250000102
Figure RE-GDA0004009200250000103
表示第k个样本对,
Figure RE-GDA0004009200250000104
Figure RE-GDA0004009200250000105
的嵌入式表示,
Figure RE-GDA0004009200250000106
Figure RE-GDA0004009200250000107
的嵌入式表示,yk是其对应的标签。值得注意的是yk的设置规则,如果
Figure RE-GDA0004009200250000108
Figure RE-GDA0004009200250000109
属于同一类型,yk设置为1;如果
Figure RE-GDA00040092002500001010
Figure RE-GDA00040092002500001011
属于不同类型,yk设置为0。此外,Nps表示样本对的总数,d表示一个阈值。
当最小化对比损失Lsia时,如果
Figure RE-GDA00040092002500001012
Figure RE-GDA00040092002500001013
属于相同类型的样本 (yk=1),对比损失的第k项
Figure RE-GDA00040092002500001014
趋向于越来越小,这意味着
Figure RE-GDA00040092002500001015
Figure RE-GDA00040092002500001016
越来越接近。反之,
Figure RE-GDA00040092002500001017
Figure RE-GDA00040092002500001018
属于不同类型的样本 (yk=0),则
Figure RE-GDA00040092002500001019
趋向于越来越小,即
Figure RE-GDA00040092002500001020
越来越大(但不会超过d),这意味着
Figure RE-GDA00040092002500001021
Figure RE-GDA00040092002500001022
越来越远离。因此,正常样本和故障样本对应的标签是0,在嵌入式空间中趋向于相互远离从而具有更低的混叠程度。
步骤三中,在嵌入式空间中采用SMOTE算法对故障样本进行数据增强。
对于任意一故障样本,其生成过程如下:
首先,找到与
Figure RE-GDA00040092002500001023
最相近的故障样本的嵌入式表示,可以表示为:
Figure RE-GDA00040092002500001024
式中,
Figure RE-GDA00040092002500001025
为第k个故障样本FSSk的嵌入式表示,对应的标签为yk,并且
Figure RE-GDA00040092002500001026
表示与
Figure RE-GDA00040092002500001027
同类型中最相近的嵌入式表示。
其次,在
Figure RE-GDA00040092002500001028
Figure RE-GDA00040092002500001029
之间的连线上随机选取一点,即为生成故障样本,如下所示:
Figure RE-GDA00040092002500001030
式中,
Figure RE-GDA00040092002500001031
表示生成样本的嵌入式表示。并且,α表示一个随机变量,其服从[0,1]的均匀分布。此外,
Figure RE-GDA00040092002500001032
与属于同一种类型的
Figure RE-GDA00040092002500001033
Figure RE-GDA0004009200250000111
都彼此接近,并且在嵌入式空间中同一种类型的样本才相互接近,那么
Figure RE-GDA0004009200250000112
很有可能属于故障样本的嵌入式表示。
最后,重复以上过程,直至生成的故障样本使得训练集中各个类型样本之间的数目近似相等。
步骤四中,对嵌入式空间中进行了数据增强后的样本进行故障诊断。在嵌入式空间中平衡数据集之后,采用MLP来诊断发动机的健康状态。
MLP包括一个输入层、两个隐含层和一个输出层。
MLP以样本的嵌入式表示为输入,并经过一系列变换输出样本属于每个类别的概率。然后,根据预测标签和真实标签计算交叉熵损失函数,并用来训练网络的权重参数,从而使得训练后的MLP可用于发动机健康状态的分类。
步骤五中,测试过程空间映射训练过程空间映射相同。
步骤六中,测试过程故障分类与训练过程故障分类相同。
本申请中,收集发动机的监测数据来评估所提故障诊断模型的有效性,数据来源于亚洲某航空公司真实操作数据而不是模拟数据。根据维修报告,共收集三种状态下的1047个样本,其中包括984个正常样本,38个排气温度指示故障样本和25个进口总温指示故障样本。然后用五折交叉划分数据集,若不特殊说明,训练集中样本的数目皆以第一折为例,如表1所示。
表1:发动机样本
Figure RE-GDA0004009200250000113
为了训练DSGRU模型,需要将训练集中的样本进行配对。首先,构造属于同一类型的样本对,对应的标签设置为1:(1)每个正常样本与近邻的5个正常样本进行配对。(2)每个排气温度指示故障的样本与所有的排气温度指示故障的样本进行配对。一方面,排气温度指示故障的样本数目比较少;另一方面,尽可能使得所有排气温度指示故障的样本的嵌入式表示相互接近。(3)每个进口总温指示故障的样本也与所有的进口总温指示故障的样本进行配对。
然后,构造属于不同类型的样本对,对应的标签设置为0:(1)为了使得同一类型样本对和不同类型样本对之间的数目近似相同,每个排气温度指示故障的样本与近邻的85个正常样本进行配对。(2)每个进口总温指示故障的样本也与近邻的85个正常样本进行配对。(3)每个排气温度指示故障的样本与所有的进口总温指示故障的样本进行配对。一方面,两种故障的样本数目比较少;另一方面,尽可能使得两种故障的样本的嵌入式表示相互远离。详细信息见于表2。
表2:配对样本
样本I 样本II 配对样本 标签 总计
Normal Normal <Normal,Normal> 1 787×5=3935
EIF EIF <EIF,EIF> 1 30×30=900
TSIF TSIF <TSIF,TSIF> 1 20×20=400
FIF Normal <EIF,Normal> 0 30×85=2550
TSIF Normal <TSIF,Normal> 0 20×85=1700
EIF TSIF <EIF,TSIF> 0 30×20=600
实验环境:Python 3.7和Pytorch 1.8.0,处理器:英特尔i7-9750H,内存:8GDDR4。
训练器:神经网络由Adam进行训练,学习率设为0.0002,动量β1=0.5,β2=0.999。批次大小设为128,并且经过预实验确定Feature-level SMOTE模型的最大epoch为20。
超参设置:申请使用网格搜索法来确定DSGRU模型的超参数。DSGRU模型包含2个GRU层和一个输出维度为64的全连接层,并且每个GRU层均由64个循环单元组成。并且SMOTE为非参模型,不需要设置超参数。此外,MLP模型包含1个输入层,2个隐含层和一个输出层。输入层的节点数与嵌入式表示的维度保持一致,设置为64;输出层的节点数与样本的类型保持一致,设置为3,两个隐含层的节点数设置为输入层节点数的2/3。
在申请中,正常样本的数量远大于故障样本的数量,详见表1。在测试集中,正常样本数为197,而排气温度指示故障样本和进口总温指示故障样本的数目总和也仅为13。即使所有测试样本都被诊断为正常样本,总体精度表3:
表3:混淆矩阵
Figure RE-GDA0004009200250000131
此外,正常样本、排气温度指示故障样本以及进口总温指示故障样本的单项诊断效果可以分别用各类的召回率来评估,分别记为RON,ROE,ROT,而模型的整体诊断效果则可以用Balanced Accuracy来评价。
Figure RE-GDA0004009200250000132
Figure RE-GDA0004009200250000133
Figure RE-GDA0004009200250000134
Figure RE-GDA0004009200250000135
为了验证所提模型的有效性,本申请构建了四组对比实验:
在第一组对比实验中,为了验证平衡数据集地必要性,直接使用不均衡的训练集来训练GRU模型;
在第二组对比实验中,为了验证所提模型比一些经典的欠采样方法有效,通过欠采样技术来减少多数类样本的数目,然后使用均衡的数据集来训练GRU 模型。申请采用的欠采样技术为Random Undersampling和Cluster-Based Undersampling,分别记为RU-GRU和CBU-GRU,并且经过欠采样之后训练集中三种类型的样本数目均为20个;
在第三组对比实验中,为了验证所提模型比一些经典的过采样方法有效,首先在原始数据空间中通过数据增强的方法来平衡训练集中各个类型样本的数目,然后使用均衡的训练集来训练GRU模型。申请采用的数据增强方法包括 Random Oversampling,ADASYN,SMOTE,分别记为RO-GRU,ADASYN-GRU, SMOTE-GRU,并且经过数据增强之后训练集中三种类型的样本数目均为787个。
在第四组对比实验中,为了验证所提模型比一些最新的过采样方法有效,申请又选择了三种流行的SMOTE改进算法进行对比,分别是Borderline-SMOTE、 SVM-SMOTE和KMeans-SMOTE。这三种改进算法均是在原始数据空间中进行数据增强,并且三个对比实验的分类器依然是GRU网络,分别记为BSMOTE-GRU、 SSMOTE-GRU和KSMOTE-GRU。
通过五折交叉划分训练集和测试集,并且五次实验结果的RON,ROE,ROT 和Balanced Accuracy展示于图4中。根据图4可知,Feature-level SMOTE 模型取得了最佳的Balanced Accuracy,这说明Feature-level SMOTE模型的整体诊断效果是最好的。对于EGT故障样本,Feature-level SMOTE模型超过了GRU,RU-GRU,RO-GRU,BSMOTE-GRU和SSMOTE-GRU,并与ADASYN-GRU, SMOTE-GRU和SMOTE-GRU相差无几。对于TAT故障样本,Feature-level SMOTE 模型的诊断效果超过了所有的模型,并且精度提升均超过了8%。对于正常样本, Feature-level SMOTE模型超过了RU-GRU和CBU-GRU,并与ADASYN-GRU和 SMOTE-GRU相差无几。然而,Feature-level SMOTE模型在正常样本上不如GRU 模型。原因是GRU在训练的过程中更加注重正常样本,这导致许多故障样本也被错误地诊断为正常样本。值得注意的是,发动机的安全是极其重要的。也就是说,为了减少错分的故障样本,我们可以接受一些误判的正常样本,但是反过来不可以。
表4展示了各个故障诊断模型在五折交叉验证实验上的Balanced Accuracy,可以得到如下结论。
(1)与GRU相比,RU-GRU、CBU-GRU、RO-GRU和SMOTE-GRU在诊断性能上有了较大提升,Average Balanced Accuracy分别提升了1.49%、4.70%、4.79%和5.25%。这说明了平衡数据集的重要性,即平衡正常样本和故障样本之间数目差异可以缓解模型过度关注正常样本的问题。无论是欠采样技术还是数据增强技术,都可以带来积极的好处。
(2)与RO-GRU、ADASYN-GRU相比,SMOTE-GRU在Average Balanced Accuracy 方面有所提高。这说明了基于SMOTE的过采样技术更适合于发动机的监测数据。
(3)与GRU、RU-GRU、CBU-GRU、RO-GRU、ADASYN-GRU和SMOTE-GRU相比,申请所提的模型取得了最佳的诊断性能。原因主要是,一方面,DSGRU将原始数据映射到特征空间中,在嵌入式空间中相同类型的样本相互接近,而不同类型的样本相互远离,这降低不同类型样本之间的混叠程度;另一方面,在嵌入式空间中进行数据增强,可以平衡不同类型样本之间的数目差异。
(4)与三种SMOTE的改进算法相比,申请所提出的模型在Average BalancedAccuracy上依然取得了最好的诊断结果。更具体地,与BSMOTE-GRU (87.85%)、SSMOTE-GRU(87.68%)和KSMOTE-GRU(88.51%)相比,Feature-level SMOTE模型提升到了90.51%。这进一步说明了申请所提出的模型在发动机真实数据集上是有效的。
表4:不同故障诊断方法的Balanced Accuracy和推理时间
Figure RE-GDA0004009200250000151
表4还展示了各个故障诊断模型在测试集上的推理时间。CBU-GRU推理时间最快,推断一个样本需要0.02毫秒。相比之下,所提模型则需要0.09毫秒,两者的时间差异为0.07毫秒。
不同维度下的Balanced accuracy概括于表5,展示了嵌入式表示的维度对Feature-level SMOTE模型性能的影响。
当嵌入式表示的维度等于64时,Feature-level SMOTE模型取得了最佳性能。嵌入式表示的维度过低会严重影响模型的诊断性能。原因在于在映射的过程中损失了过多的重要信息。当然,维度也不能太高,否则会加大训练模型的难度。因此,在本次实验中嵌入式表示的维度选为64。
表5:嵌入式表示的不同维度对所提方法的影响
Figure RE-GDA0004009200250000161
为了解决不均衡条件下的多故障分类问题,首先,使用DSGRU学习一种映射,该映射可以将输入样本映射到一个嵌入式空间,在嵌入式空间中相同类型的样本相互接近,不同类型的样本相互远离。通过这种映射可以降低正常样本和故障样本之间的混叠程度,并提高不同类型样本之间的可分性。然后,在嵌入式空间中使用SMOTE算法生成少数类故障样本,使得数据集中不同类型的样本的数目基本相等。最后,训练MLP对发动机的健康状态进行分类。
利用亚洲某航空公司的发动机的真实监测数据验证了所提模型的有效性。与GRU、CBU-GRU、RO-GRU、ADASYN-GRU和SMOTE-GRU相比,Feature-level SMOTE 模型在AverageBalanced Accuracy上有了较大的提升。并且,与SMOTE的三种流行的改进算法BSMOTE-GRU、SSMOTE-GRU和KSMOTE-GRU相比,Feature-level SMOTE模型依然取得了最佳的诊断效果。一是框架中的DSGRU通过空间映射可以降低不同类型样本之间的混叠程度,二是在特征空间中进行数据增强是一个更好的数据增强策略。
本申请提供一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,针对现存有监督故障诊断方法在不均衡的高维监控数据上诊断效果不佳的问题,本项目在学习的映射空间中引入特征级别的数据增强机制,构建深度孪生门控循环网络模型(DSGRU)来学习能够有效地分离正常样本和异常样本的映射空间,而后利用SMOTE在学习的映射空间中进行数据增强,最后采用多层感知机(MLP)进行故障诊断。所构建的Feature-levelSMOTE,由一个DSGRU、一个SMOTE以及一个MLP组成,其中DSGRU被样本对进行训练,用以将正常样本和异常样本映射到一个相互分离的特征空间中,而SMOTE作为特征级别的数据增强机制在特征空间中进行故障样本的生成,并且MLP直接对样本的嵌入式表示进行分类。Feature-level SMOTE的优点在于:(1)特征级别的数据增强机制使得生成的故障样本与正常样本的混叠程度更小,更有利于正常与故障的诊断;(2)模型中的GRU更能捕获多维监控数据中的复杂关系,更能表征原始样本的特点;(3)DSGRU在进行空间映射的时时可以抵抗噪声的影响,有效解决发动机监控数据存在噪声问题。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:通过将样本映射到嵌入式空间,并在嵌入式空间内采用MLP对样本进行故障诊断。
2.如权利要求1所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:包括训练过程,所述训练过程包括以下步骤:
步骤一:数据处理,得到故障特征参数;
步骤二:训练过程空间映射,采用DSGRU实现空间映射,将混叠的样本映射到嵌入式空间中,在嵌入式空间中降低正常样本和故障样本之间的混叠程度;
步骤三:数据增强,采用SMOTE算法对故障样本进行数据增强,平衡各类型样本之间的数目差异;在正常样本和故障样本的嵌入式空间中,使用SMOTE算法生成属于少数类的故障样本,并与原来的正常样本一起组成均衡的数据集;
步骤四:训练过程故障分类,采用MLP对嵌入式空间中进行了数据增强后的样本进行故障诊断,构建样本嵌入式表示与标签之间的映射,对辨识故障。
3.如权利要求2所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:步骤二中,DSGRU包括特征提取模块和损失计算模块,训练过程空间映射选用GRU网络作为孪生神经网络的特征提取模块,GRU网络包括2个GRU层和1个全连接层,GRU层包括多个GRU单元;
GRU单元的计算函数如下所示:
Figure FDA0003871233660000011
Figure FDA0003871233660000012
Figure FDA0003871233660000013
Figure FDA0003871233660000014
4.如权利要求3所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:损失计算模块采用对比损失来训练孪生神经网络的权重,对比损失定义如下:
Figure FDA0003871233660000015
5.如权利要求4所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:当最小化对比损失Lsia时,若
Figure FDA0003871233660000021
Figure FDA0003871233660000022
属于相同类型的样本(yk=1),对比损失的第k项
Figure FDA0003871233660000023
趋向于越来越小,
Figure FDA0003871233660000024
Figure FDA0003871233660000025
越来越接近;反之,
Figure FDA0003871233660000026
Figure FDA0003871233660000027
属于不同类型的样本(yk=0),则
Figure FDA0003871233660000028
趋向于越来越小,即
Figure FDA0003871233660000029
越来越大,但不会超过d,
Figure FDA00038712336600000210
Figure FDA00038712336600000211
越来越远离。
6.如权利要求2所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:步骤三中,对于任意一故障样本,其生成过程如下:
首先,找到与
Figure FDA00038712336600000212
最相近的故障样本的嵌入式表示,表示为:
Figure FDA00038712336600000213
其次,在
Figure FDA00038712336600000214
Figure FDA00038712336600000215
之间的连线上随机选取一点,即为生成的故障样本,如下所示:
Figure FDA00038712336600000216
最后,重复以上过程,直至生成的故障样本,使得训练集中各个类型样本之间的数目近似相等。
7.如权利要求2所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:在嵌入式空间中平衡数据集之后,采用MLP来诊断发动机的健康状态;MLP包括一个输入层、两个隐含层和一个输出层;
MLP以样本的嵌入式表示为输入,并经过一系列变换输出样本属于每个类别的概率;根据预测标签和真实标签计算交叉熵损失函数,并用来训练网络的权重参数,从而使得训练后的MLP可用于发动机健康状态的分类。
8.如权利要求2所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:还包括测试过程,所述测试过程包括以下步骤:
步骤五:测试过程空间映射,特征提取模块将测试样本从原始空间映射到嵌入式空间中;
步骤六:测试过程故障分类,在嵌入式空间中,使用训练后的MLP来判断测试样本的类型。
9.如权利要求2所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:发动机的故障特征参数包括排气温度裕度、排气温度偏差值、核心机转速偏差值、燃油流量偏差值。
10.如权利要求9所述的基于Feature-level SMOTE的复杂装备不均衡故障诊断方法,其特征在于:对故障特征参数采用滑窗法进行样本构造,样本构造过程如下:
1)确定发动机发生故障时间,获取发生故障之间的关键故障特征参数的数据。第k台发动机的关键故障特征参数如下所示:
Figure FDA0003871233660000031
2)滑窗的尺寸设置为4×10,并且滑窗的步长设置为10,滑窗从尾向首滑动,第k台发动机的第p个故障征兆样本如下所示:
Figure FDA0003871233660000032
当p=1时,FSSk,p表示故障样本;当
Figure FDA0003871233660000033
时,FSSk,p表示正常样本;
3)正常样本组成的集合记为
Figure FDA0003871233660000034
将排气温度指示故障样本组成的集合记为
Figure FDA0003871233660000035
将进口总温指示故障样本组成的集合记为
Figure FDA0003871233660000036
采取五折交叉的方式来划分数据集,将原始数据DNOR,DEIF,DTSIF分别均分成五个不相交的子集;
每次选择其中一个子集作为测试集
Figure FDA0003871233660000037
其余的四个子集作为训练集
Figure FDA0003871233660000038
则训练集为
Figure FDA0003871233660000039
测试集为
Figure FDA0003871233660000041
CN202211197963.6A 2022-09-29 2022-09-29 一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法 Pending CN115618263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211197963.6A CN115618263A (zh) 2022-09-29 2022-09-29 一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211197963.6A CN115618263A (zh) 2022-09-29 2022-09-29 一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法

Publications (1)

Publication Number Publication Date
CN115618263A true CN115618263A (zh) 2023-01-17

Family

ID=84861513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211197963.6A Pending CN115618263A (zh) 2022-09-29 2022-09-29 一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法

Country Status (1)

Country Link
CN (1) CN115618263A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499748A (zh) * 2023-06-27 2023-07-28 昆明理工大学 基于改进smote和分类器的轴承故障诊断方法、系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499748A (zh) * 2023-06-27 2023-07-28 昆明理工大学 基于改进smote和分类器的轴承故障诊断方法、系统
CN116499748B (zh) * 2023-06-27 2023-08-29 昆明理工大学 基于改进smote和分类器的轴承故障诊断方法、系统

Similar Documents

Publication Publication Date Title
CN110132598B (zh) 旋转设备滚动轴承故障噪声诊断算法
CN110609524B (zh) 一种工业设备剩余寿命预测模型及其构建方法和应用
CN111273623B (zh) 基于Stacked LSTM的故障诊断方法
CN113935406A (zh) 基于对抗流模型的机械设备无监督故障诊断方法
CN109115501A (zh) 一种基于cnn与svm的民航发动机气路故障诊断方法
CN112257530B (zh) 基于盲信号分离和支持向量机的滚动轴承故障诊断方法
CN113505655A (zh) 面向数字孪生系统的轴承故障智能诊断方法
CN109491338A (zh) 一种基于稀疏gmm的多模过程质量相关的故障诊断方法
CN111353373A (zh) 一种相关对齐域适应故障诊断方法
CN116625686B (zh) 一种航空发动机轴承故障在线诊断方法
CN115791174B (zh) 一种滚动轴承异常诊断方法、系统、电子设备及存储介质
CN117034143B (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN114091504A (zh) 一种基于生成对抗网络的旋转机械小样本故障诊断方法
CN115618263A (zh) 一种基于Feature-level SMOTE的复杂装备不均衡故障诊断方法
CN115876467A (zh) 一种基于伪标签传递式两阶段领域自适应的滚动轴承故障诊断方法
WO2019178930A1 (zh) 一种机械设备故障诊断方法
CN109325553A (zh) 一种风电齿轮箱故障检测方法、系统、设备及介质
CN112990329B (zh) 一种系统异常诊断方法和装置
CN114925809A (zh) 基于lstm的印刷机轴承故障诊断方法及装置
CN113723592A (zh) 一种基于风电齿轮箱监测系统的故障诊断方法
Zhao et al. A capsnet-based fault diagnosis method for a digital twin of a wind turbine gearbox
CN117150399A (zh) 一种基于流判别模型的新型故障识别方法和装置
CN114818116B (zh) 基于联合学习的飞机发动机失效模式识别和寿命预测方法
Zhang et al. A flexible monitoring framework via dynamic-multilayer graph convolution network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination