CN116956751A - 一种基于二进制量化的航空发动机寿命预测方法及系统 - Google Patents
一种基于二进制量化的航空发动机寿命预测方法及系统 Download PDFInfo
- Publication number
- CN116956751A CN116956751A CN202311203559.XA CN202311203559A CN116956751A CN 116956751 A CN116956751 A CN 116956751A CN 202311203559 A CN202311203559 A CN 202311203559A CN 116956751 A CN116956751 A CN 116956751A
- Authority
- CN
- China
- Prior art keywords
- model
- layer
- data
- quantization
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000002131 composite material Substances 0.000 claims abstract description 49
- 238000003062 neural network model Methods 0.000 claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000006731 degradation reaction Methods 0.000 claims abstract description 28
- 230000015556 catabolic process Effects 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims description 48
- 230000004913 activation Effects 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 34
- 230000008447 perception Effects 0.000 claims description 19
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000007667 floating Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 3
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000011002 quantification Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000000446 fuel Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000306 component Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于二进制量化的航空发动机寿命预测方法及系统,属于数据预测技术领域,解决了现有无法同时兼顾航空发动机寿命预测精度和资源占用的问题。包括:采集航空发动机各类历史监测数据,从中筛选出多维时序数据,并根据各采样时刻的剩余工作循环数构建样本集;构建包括复合注意力模块和时序卷积模块的神经网络模型;利用样本集训练神经网络模型得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,基于全精度模型训练量化模型,并在损失函数中增加模型间误差,得到寿命预测模型;实时采集与多维时序数据相同维度的退化数据,预处理为预测样本传入寿命预测模型,预测出剩余寿命。实现了寿命预测模型的量化和高精度预测。
Description
技术领域
本发明涉及数据预测技术领域,尤其涉及一种基于二进制量化的航空发动机寿命预测方法及系统。
背景技术
在现代航空工业中,航空发动机作为飞行器的核心部件,对于飞行安全、性能和经济效益具有至关重要的作用。然而,航空发动机在长时间高速运行过程中,会受到复杂多变的工作环境、高温高压、机械振动等多种因素的影响,逐渐积累损耗和磨损,从而可能引发航空发动机故障,甚至危及飞行安全。在这样的背景下,准确预测航空发动机的剩余寿命变得非常重要。
随着深度学习技术的发展,越来越多的研究者开始将其应用于航空发动机健康状态预测。深度学习模型可以从大量的传感数据中学习到更为复杂的特征表示,从而更准确地判断发动机的运行状态。然而,复杂的多传感特征信号也给发动机寿命预测带来了新的挑战。
为了捕捉这些多传感特征信号的信息,设计了更加复杂的深度学习模型,但是对多传感特征信号没有进行筛选,而且未关注数据变化的趋势,反而影响预测的准确性,而且导致了模型的层数增加以及参数数量的上升,需要更大的内存和计算资源,以支持模型的训练和推断过程,从而增加部署和运维成本。在实际工业场景中,很少具备高内存和高功耗的硬件计算设备,典型的硬件计算资源如FPGA,通常只有几MB的片上内存,因此要将如此庞大的深度学习模型部署在这类工业现场设备上需要耗费巨大的资源开销,这是无法满足现实工业场景需求的,因此,复杂的深度学习模型很难部署在嵌入式系统等资源有限的环境中。
另外,虽然现有技术中也有模型轻量化技术,如模型剪枝,但为了维持模型预测性能,内存压缩率并不大,使得与实际硬件部署还存在较大差距,仍然很难部署在嵌入式系统等资源有限的环境中。
发明内容
鉴于上述的分析,本发明实施例旨在提供一种基于二进制量化的航空发动机寿命预测方法及系统,用以解决现有无法同时兼顾航空发动机寿命预测精度和资源占用的问题。
一方面,本发明实施例提供了一种基于二进制量化的航空发动机寿命预测方法,包括以下步骤:
采集航空发动机各类历史监测数据,从中筛选出多维时序数据,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集;
构建神经网络模型,神经网络模型包括复合注意力模块和时序卷积模块;
利用样本集训练神经网络模型,得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,利用样本集,基于全精度模型训练量化模型,并在量化模型的损失函数中增加模型间误差,训练结束得到寿命预测模型;
实时采集与多维时序数据相同维度的退化数据,预处理为预测样本,传入寿命预测模型,预测出航空发动机剩余寿命。
基于上述方法的进一步改进,复合注意力模块包括趋势段预处理层、池化层和复合感知注意力层;其中趋势段预处理层用于将每条输入样本从时间序列维度划分为多段趋势样本后传入池化层;池化层用于对各段趋势样本分别进行最大池化和平均池化后,将最大池化特征和平均池化特征相加得到的池化特征传入复合感知注意力层;复合感知注意力层用于学习池化特征,获取最后一层的复合注意力向量。
基于上述方法的进一步改进,最后一层的复合注意力向量的长度与输入样本的特征维度一致;根据复合注意力向量对输入样本加权,得到复合注意力模块的输出结果。
基于上述方法的进一步改进,时序卷积模块包括时序卷积层和多层感知层;时序卷积层用于接收复合注意模块的输出结果,利用每层不同扩张值的一维卷积实现时序信息传递,并将时序信息传入多层感知层;多层感知层通过多层感知学习得到预测结果。
基于上述方法的进一步改进,对神经网络模型参数进行二进制量化得到量化模型,是对神经网络模型的权重和偏置进行二进制量化,得到二值化后的权重和偏置作为量化模型的初始参数;基于全精度模型训练量化模型,包括:
获取全精度模型中每层权重均值,作为每层的均衡因子;
在前向传播中,量化模型中复合注意力模块的最后一层采用二值Sigmoid激活函数计算出复合注意力向量,其它层二值化后的权重与前一层的激活向量相乘加上偏置后,采用Relu激活函数,得到每层初始激活向量,对每层初始激活向量进行二进制量化后再乘以对应层的均衡因子,得到每层最终的激活向量,用于下一层;
在反向传播中,先根据损失函数计算二值化后的权重的梯度,再将该梯度进行裁剪作为浮点梯度的梯度值进行权重更新。
基于上述方法的进一步改进,二值Sigmoid激活函数包括:采用Sigmoid激活函数得到的激活值大于等于预置阈值时,激活为1;否则,抑制为0;对权重、偏置和初始激活向量进行二进制量化是将值转换为1和-1两个数值。
基于上述方法的进一步改进,在量化模型的损失函数中增加模型间误差是在量化模型的预测结果与剩余寿命标签的均方误差的基础上,增加全精度模型与量化模型的各层权重的信息熵和各层输出的均方误差。
基于上述方法的进一步改进,各层权重的信息熵是根据各层二进制量化的权重的取值概率而计算得到。
基于上述方法的进一步改进,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集,包括:
将相同采样时刻的多维数据组成一条采样数据,得到采样数据序列;根据预置的时间窗对采样数据序列进行划分,得到多个时间窗样本,放入样本集中;每个时间窗样本在最后一个采样时刻对应的剩余工作循环数作为该时间窗样本的剩余寿命标签。
另一方面,本发明实施例提供了一种基于二进制量化的航空发动机寿命预测系统,包括:
样本构建模块,用于采集航空发动机各类历史监测数据,从中筛选出多维时序数据,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集;
模型构建模块,用于构建神经网络模型,神经网络模型包括复合注意力模块和时序卷积模块;
模型训练模块,用于利用样本集训练神经网络模型,得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,利用样本集,基于全精度模型训练量化模型,在量化模型的损失函数中增加模型间误差,训练结束得到寿命预测模型;
寿命预测模块,用于实时采集与多维时序数据相同维度的退化数据,预处理为预测样本,传入寿命预测模型,得到航空发动机剩余寿命。
与现有技术相比,本发明至少可实现如下有益效果之一:
1、采集多传感器的各类监测数据,并根据对拟合结果的判断,筛选出对预测的有效性的多维数据特征;
2、通过复合注意力模块对每段时间序列数据再次进行分段,对分段数据的峰值和均值趋势学习得到复合注意力对输入样本进行加权,从而修正航空发动机的整体退化速度,捕获出高影响力的退化特征,再通过时序卷积模块实现退化趋势时序信息抓取,提高了剩余寿命预测的准确性;
3、通过对神经网络参数的二值化,减小模型内存,节省了模型部署计算资源的内存和能耗需求,适用于资源受限的工业场景;并通过全精度模型构建均衡因子,在二值化的过程中恢复数据分布,增加全精度模型与二值化训练的模型间各层的信息熵和输出误差,进一步缓解模型量化带来的性能下降,提高预测精度,同时实现预测精度的提升和资源占用的降低。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件;
图1为本发明实施例1中一种基于二进制量化的航空发动机寿命预测方法流程图;
图2为本发明实施例2中一种基于二进制量化的航空发动机寿命预测系统结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例,公开了一种基于二进制量化的航空发动机寿命预测方法,如图1所示,包括以下步骤:
S11、采集航空发动机各类历史监测数据,从中筛选出多维时序数据,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集。
需要说明的是,本实施例中在航空发动机内部对应结构位置布置有相应的传感器,如在涡轮转子附近设置转速传感器,压气机进出口设置温度和压力传感器等。在航空发动机运行过程中,传感器在每个采样时刻持续采集监测到的各类退化数据,包括但不限于:气流量、压力比、高压压气机出口温度、低压压气机出口温度、转子转速、燃油流量、发动机振动和涡轮出口温度。
历史监测数据是航空发动机从正常运行至报废过程中,按照采样频率采集到的所有监测数据。航空发动机在每个采样时刻(即采样点)的剩余寿命就是剩余工作循环数。示例性地,航空发动机从开始使用到报废供有1000个采样点,那第300个采样点的剩余寿命就是1000-300=700。
历史监测数据包括不同类型的长时间连续数据,这些数据大多存在量级,单位,形式等的不同;另外多个传感器采集的数据特征中还存在冗余和坏特征,对模型的预测精度无贡献作用。因此,需要对历史监测数据进行如下的预处理,从中筛选出多维时序数据,以降低传感器采集数据时的环境因素干扰,提升预测精度:
①去除噪声特征:采用Savitzky-Golay平滑滤波方法,分别去除每类监测数据中异常数据,并根据拟合得到的多项式,补入数据,得到去噪后的数据;
②标准化数据特征:对去噪后的每类监测数据,根据均值和标准差进行标准化处理;
③筛选数据特征:对每类标准化后的监测数据分别进行曲线拟合,计算回归评价指标值,获取回归评价指标值大于筛选阈值的监测数据类型,得到用于寿命预测的数据特征。
需要说明的是,由于采集的航空发动机的监测数据体现了发动机部件性能的下降,如燃烧效率降低,部件同轴度变化,表面磨损等,相应造成的涡轮出口温度、燃油流量、压力比和发动机振动等值普遍认为是具有升高或降低的趋势。因此,本文对采集的各类监测数据分别进行曲线拟合,通过拟合结果和预置的筛选阈值选择具有一定趋势性的特征,对其它特征进行删除,比如完全随机、数值恒定的特征。
具体来说,本实施例中将回归模型设定为二次多项式模型,按历史监测数据中的类别,根据每类监测数据的时间序列数据,利用最小二乘法回归分析拟合曲线,计算回归评价指标R2和RMSE,当两个回归评价指标均大于各自的筛选阈值,则表示该类监测数据对寿命预测起显著作用,保留该类数据特征。
示例性地,R2对应的筛选阈值是0.6,RMSE对应的筛选阈值是0.5。
将保留的各类数据特征作为各维度,根据各维度各自标准化后的历史监测数据,筛选出多维时序数据。
进一步地,根据多维时序数据和各采样时刻的剩余工作循环数,构建样本集,包括:
将相同采样时刻的多维数据组成一条采样数据,得到采样数据序列;根据预置的时间窗对采样数据序列进行划分,得到多个时间窗样本,放入样本集中;每个时间窗样本在最后一个采样时刻对应的剩余工作循环数作为该时间窗样本的剩余寿命标签。
具体来说,每条采样数据表示为:,表示共有M个采样时刻,每个采样时刻筛选出C个特征维度的监测数据。示例性地,从各类历史监测数据中筛选出了压力比、高压压气机出口温度、低压压气机出口温度、转子转速、燃油流量、发动机振动和涡轮出口温度,则C为7。
时间窗长度是经验值,在训练过程根据训练结果进行调整得到。优选地,时间窗长度设置为30,即每30个采样时刻的监测数组组成一个时间窗样本。
按步长为1,根据预置的时间窗H对采样数据序列进行时间窗滑动处理,得到多个时间窗样本,表示为:。根据/>对应的剩余工作循环数作为所在时间窗样本的剩余寿命标签。
S12、构建神经网络模型,神经网络模型包括复合注意力模块和时序卷积模块。
需要说明的是:复合注意力模块用于学习输入样本的复合趋势,提取出复合注意力向量后对输入样本进行加权,从而表示不同特征数据的影响程度。复合注意力模块包括趋势段预处理层、池化层和复合感知注意力层;其中趋势段预处理层用于将每条输入样本从时间序列维度划分为多段趋势样本后传入池化层;池化层用于对各段趋势样本分别进行最大池化和平均池化后,将最大池化特征和平均池化特征相加得到的池化特征传入复合感知注意力层;复合感知注意力层用于学习池化特征,获取最后一层的复合注意力向量。
由于每个时间窗样本都是时间序列的数据,为了能准确获取到数据随着时间的变化而引起的趋势变化,本步骤在趋势段预处理层再次对输入样本进行时间段划分,得到N段趋势样本,表示如下所示:
,
其中,Split(·)表示时间段划分操作,Hconcat(·)表示时间序列维度的拼接操作,表示输入样本,即样本集中每个时间窗样本;每段趋势样本/>中有/>个样本。
以涡轮出口温度特征为例,随着发动机性能的下降,燃烧效率降低,化学能向转动动能的效率降低,燃料更多地以热能形式排放,同时缺失的动能也通过加大燃油量补充,涡轮出口温度升高。然而,在某些特殊情况,例如工况环境发生变化,部件突发损伤等,将造成涡轮出口温度突然升高。因此,本实施例进一步对N段趋势样本采用平均池化和最大池化两种方式进行趋势特征提取:利用平均池化捕获发动机常规循环退化过程,用于定位航空发动机寿命正常发展阶段,利用最大池化捕获发动机突发性能下降或环境加速退化效应,用于发现加速效应,修正航空发动机的整体退化速度。
具体来说,在池化层分别将每段趋势样本输入到最大池化层和平均池化层,得到的最大池化特征和平均池化特征,从而产生了两个不同的空间上下文描述,之后根据如下公式,将最大池化特征和平均池化特征相加得到的池化特征:
,
其中,pool(·)表示池化操作,Avg(·)表示平均池化操作,Max(·)表示最大池化操作,表示得到的池化特征。
将池化特征传入复合感知注意力层进行复合注意力向量的计算。复合感知注意力层基于多层感知器(Multi-Layer Perception,MLP)构建,可以由输入层、多个隐藏层和作为输出的全连接层组成,可以只包括一个全连接层;在最后一层,将权重和上一层的池化特征相乘,经过激活后得到复合注意力向量。需要说明的是,如果最后一层存在偏置,则权重和上一层的池化特征相乘后再加上偏置,经过激活后得到复合注意力向量。
复合注意力向量的长度与输入样本的特征维度C一致,表示对多维特征的权重分配。最后,根据复合注意力向量对输入样本加权,得到复合注意力模块的输出结果,即:将输入样本中每个采样时刻的中各特征维度的监测数据与相同特征维度的复合注意力向量相乘,得到加权后的样本,作为复合注意力模块的输出结果,传入时序卷积模块。
时序卷积模块包括时序卷积层和多层感知层;其中,时序卷积层根据时域卷积神经网络 (Temporal Convolutional Network,TCN)而构建,用于接收复合注意模块的输出结果,利用每层不同扩张值的一维卷积实现时序信息传递,并将时序信息传入多层感知层;多层感知层根据多层感知器MLP构建,通过多层感知学习,由最后一层的单个神经元捕捉到整个时间序列信息,输出预测结果。
与现有技术相比,本实施例将复合注意力模块和时序卷积模块结合,通过对时间窗样本再次从时间序列维度进行分段,综合考虑峰值趋势和均值趋势,并通过扩张操作拓宽感受野,达到准确识别多维特征对模型预测的影响程度,从而捕获高影响力的退化特征参数,提高预测准确性。
S13、利用样本集训练神经网络模型,得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,利用样本集,基于全精度模型训练量化模型,并在量化模型的损失函数中增加模型间误差,训练结束得到寿命预测模型。
考虑到对神经网络模型参数进行二进制量化(简称二值化)过程中,模型参数由高比特表达形式(如32位浮点数类型)转化为二进制低比特量化形式,模型的内存占用虽然降低明显,但是会带来明显的精度损失,难以维持模型预测性能。因此,本实施例利用样本集对构建的神经网络模型分别执行两次训练过程:第一次不对模型参数进行任何量化,模型参数均是浮点数类型,以预测的剩余寿命与样本的剩余寿命标签的均值误差作为损失函数进行训练,在达到最大迭代次数或预测精度后停止训练,得到训练好的模型,作为全精度模型;第二次对相同结构的神经网络模型参数进行二进制量化得到量化模型,基于相同的样本集,在训练过程中对模型参数进行优化。为了提升预测精度,提高预测性能,根据第一次训练好的全精度模型构建均衡因子,并在损失函数中增加全精度模型与第二次训练的量化模型间各层的信息熵和输出误差,优化量化模型参数,并将第二次训练好的量化模型作为最终的寿命预测模型。
具体来说,对神经网络模型参数进行二进制量化得到量化模型,是对神经网络模型的权重和偏置进行二进制量化,得到二值化后的权重和偏置作为量化模型的初始参数;接着,基于全精度模型训练量化模型,包括:
①获取全精度模型中每层权重均值,作为每层的均衡因子。
需要说明的是,全精度模型中模型参数均为浮点数类型的数据,获取全精度模型中每层权重均值,包括:对卷积层,获取当前层所有卷积核权重的均值;对全连接层,获取连接当前层所有神经元的权重的均值。
②在前向传播中,量化模型中复合注意力模块的最后一层采用二值Sigmoid激活函数计算出复合注意力向量,其它层二值化后的权重与前一层的激活向量相乘加上偏置后,采用Relu激活函数,得到每层初始激活向量,对每层初始激活向量进行二进制量化后再乘以对应层的均衡因子,得到每层最终的激活向量,用于下一层。
需要说明的是,神经网络模型中的权重用于表示各层神经元之间的连接强度;偏置用于正确分类样本,保证输出值不能随便激活;激活函数起非线性映射的作用,可将神经元的输出幅度限制在一定范围内。
对权重、偏置和初始激活向量进行二进制量化是通过以下的符号函数,将值转换为1和-1两个数值:
,
其中,x1表示权重值、偏置值或初始激活向量中的值。
对于激活函数,本实施例中只有复合注意力模块的最后一层采用Sigmoid激活函数,其它层采用Relu激活函数。
在训练全精度模型时,最后一层的复合注意力向量是根据复合感知注意力层中最后一层的权重,及上一层池化特征,采用Sigmoid激活函数而得到的激活向量。
而在训练量化模型时,根据最后一层二值化后的权重和上一层池化特征,采用二值Sigmoid激活函数得到初始激活向量后,再乘以对应层的均衡因子,得到每层的激活向量。通过这种方式,在二值化的过程中恢复数据分布,避免参数过度压缩导致的明显精度损失,提升模型预测性能。
二值Sigmoid激活函数即基于Sigmoid激活函数得到的激活值进行二进制量化,如果激活值大于等于预置阈值时,激活为1;否则,抑制为0,公式如下所示:
,
其中,x2表示待激活的值,即最后一层二值化后的权重乘以上一层池化特征后的值。
③在反向传播中,先根据损失函数计算二值化后的权重的梯度,再将该梯度进行裁剪作为浮点梯度的梯度值进行权重更新。
需要说明的是,量化模型的损失函数Loss包括三部分:预测结果与剩余寿命标签的均方误差、全精度模型与量化模型的各层权重的信息熵和各层输出的均方误差,公式如下所示:
,
其中,y表示样本的剩余寿命标签,表示量化模型输出的预测结果;/>表示全精度模型与量化模型中第i层权重的信息熵;/>和/>分别表示全精度模型与量化模型第i层的输出。
进一步地,各层权重的信息熵是通过如下公式,根据各层二进制量化的权重的取值概率而计算得到:
,
其中,是权重二进制量化后的值,/>表示第i层权重取值1或-1的概率。
本步骤通过最大化二值权重的信息熵,防止权重随机分布,造成极大的信息丢失,即最大化可以使得权重二值化向着信息最大化的方向进行,带来一定的信息增益。
基于公式(6),对进一步转化为如下公式:
,
其中,表示第i层权重中值为-1的概率,/>表示第i层权重中值为+1的概率。
在反向传播中,先根据损失函数计算二值化后的权重的梯度,再采用直通滤波器(straight-through estimator,STE),将该梯度进行裁剪作为浮点梯度的梯度值进行权重更新。
需要说明的是,损失函数中信息熵对值为-1的概率/>求导数,公式如下所示:
,
令上述导数为0,可得,该结果表示各层二值化后的权重在均匀分布时能最大化信息熵,减少信息损失。
与现有技术相比,本实施例通过两次训练过程对神经网络模型参数进行二进制量化,增加全精度模型与二值化训练的模型间各层的信息熵和输出误差,进一步缓解模型参数压缩带来的性能下降,提高预测精度。
S14、实时采集与多维时序数据相同维度的退化数据,预处理为预测样本,传入寿命预测模型,预测出航空发动机剩余寿命。
实施时,根据步骤S11中筛选出的多维时序数据的维度,实时采集对应传感器监测到的退化数据,各采样时刻的多维退化数据分别组成一条预测数据,当预测数据达到预置的时间窗长度,形成一个预测样本,即用于预测的一个时间窗样本,按照步骤S11中去除噪声特征和标准化数据特征的预处理方法预处理后传入寿命预测模型,输出航空发动机剩余寿命值。随着航空发动机的持续运行和时间窗的滑动,不断有新的预测样本输入,输出预测结果,实现实时监测。
与现有技术相比,本实施例提供的一种基于二进制量化的航空发动机寿命预测方法,采集多传感器的各类监测数据,并根据对拟合结果的判断,筛选出对预测的有效性的多维数据特征;通过复合注意力模块对每段时间序列数据再次进行分段,对分段数据的峰值和均值趋势学习得到复合注意力对输入样本进行加权,从而修正航空发动机的整体退化速度,捕获出高影响力的退化特征,再通过时序卷积模块实现退化趋势时序信息抓取,提高了剩余寿命预测的准确性;通过对神经网络参数的二值化,减小模型内存,节省了模型部署计算资源的内存和能耗需求,适用于资源受限的工业场景;并通过全精度模型构建均衡因子,在二值化的过程中恢复数据分布,增加全精度模型与二值化训练的模型间各层的信息熵和输出误差,进一步缓解模型量化带来的性能下降,提高预测精度,同时实现预测精度的提升和资源占用的降低。
实施例2
本发明的另一个实施例,公开了一种基于二进制量化的航空发动机寿命预测系统,从而实现实施例1中的一种基于二进制量化的航空发动机寿命预测方法。各模块的具体实现方式参照实施例1中的相应描述。如图2所示,该系统包括:
样本构建模块101,用于采集航空发动机各类历史监测数据,从中筛选出多维时序数据,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集;
模型构建模块102,用于构建神经网络模型,神经网络模型包括复合注意力模块和时序卷积模块;
模型训练模块103,用于利用样本集训练神经网络模型,得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,利用样本集,基于全精度模型训练量化模型,在量化模型的损失函数中增加模型间误差,训练结束得到寿命预测模型;
寿命预测模块104,用于实时采集与多维时序数据相同维度的退化数据,预处理为预测样本,传入寿命预测模型,得到航空发动机剩余寿命。
由于本实施例与前述一种基于二进制量化的航空发动机寿命预测方法相关之处可相互借鉴,此处为重复描述,故这里不再赘述。由于本系统实施例与上述方法实施例原理相同,所以本系统实施例也具有上述方法实施例相应的技术效果。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于二进制量化的航空发动机寿命预测方法,其特征在于,包括以下步骤:
采集航空发动机各类历史监测数据,从中筛选出多维时序数据,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集;
构建神经网络模型,所述神经网络模型包括复合注意力模块和时序卷积模块;
利用样本集训练神经网络模型,得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,利用样本集,基于全精度模型训练量化模型,在量化模型的损失函数中增加模型间误差,训练结束得到寿命预测模型;
实时采集与多维时序数据相同维度的退化数据,预处理为预测样本,传入寿命预测模型,预测出航空发动机剩余寿命。
2.根据权利要求1所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述复合注意力模块包括趋势段预处理层、池化层和复合感知注意力层;其中趋势段预处理层用于将每条输入样本从时间序列维度划分为多段趋势样本后传入池化层;池化层用于对各段趋势样本分别进行最大池化和平均池化后,将最大池化特征和平均池化特征相加得到的池化特征传入复合感知注意力层;复合感知注意力层用于学习池化特征,获取最后一层的复合注意力向量。
3.根据权利要求2所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述最后一层的复合注意力向量的长度与输入样本的特征维度一致;根据复合注意力向量对输入样本加权,得到复合注意力模块的输出结果。
4.根据权利要求1所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述时序卷积模块包括时序卷积层和多层感知层;所述时序卷积层用于接收复合注意模块的输出结果,利用每层不同扩张值的一维卷积实现时序信息传递,并将时序信息传入多层感知层;所述多层感知层通过多层感知学习得到预测结果。
5.根据权利要求1所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述对神经网络模型参数进行二进制量化得到量化模型,是对神经网络模型的权重和偏置进行二进制量化,得到二值化后的权重和偏置作为量化模型的初始参数;所述基于全精度模型训练量化模型,包括:
获取全精度模型中每层权重均值,作为每层的均衡因子;
在前向传播中,量化模型中复合注意力模块的最后一层采用二值Sigmoid激活函数计算出复合注意力向量,其它层二值化后的权重与前一层的激活向量相乘加上偏置后,采用Relu激活函数,得到每层初始激活向量,对每层初始激活向量进行二进制量化后再乘以对应层的均衡因子,得到每层最终的激活向量,用于下一层;
在反向传播中,先根据损失函数计算二值化后的权重的梯度,再将该梯度进行裁剪作为浮点梯度的梯度值进行权重更新。
6.根据权利要求5所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述二值Sigmoid激活函数包括:采用Sigmoid激活函数得到的激活值大于等于预置阈值时,激活为1;否则,抑制为0;对权重、偏置和初始激活向量进行二进制量化是将值转换为1和-1两个数值。
7.根据权利要求1所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述在量化模型的损失函数中增加模型间误差是在量化模型的预测结果与剩余寿命标签的均方误差的基础上,增加全精度模型与量化模型的各层权重的信息熵和各层输出的均方误差。
8.根据权利要求7所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述各层权重的信息熵是根据各层二进制量化的权重的取值概率而计算得到。
9.根据权利要求1所述的基于二进制量化的航空发动机寿命预测方法,其特征在于,所述根据多维时序数据和各采样时刻的剩余工作循环数构建样本集,包括:
将相同采样时刻的多维数据组成一条采样数据,得到采样数据序列;根据预置的时间窗对采样数据序列进行划分,得到多个时间窗样本,放入样本集中;每个时间窗样本在最后一个采样时刻对应的剩余工作循环数作为该时间窗样本的剩余寿命标签。
10.一种基于二进制量化的航空发动机寿命预测系统,其特征在于,包括:
样本构建模块,用于采集航空发动机各类历史监测数据,从中筛选出多维时序数据,根据多维时序数据和各采样时刻的剩余工作循环数构建样本集;
模型构建模块,用于构建神经网络模型,所述神经网络模型包括复合注意力模块和时序卷积模块;
模型训练模块,用于利用样本集训练神经网络模型,得到全精度模型;对神经网络模型参数进行二进制量化得到量化模型,利用样本集,基于全精度模型训练量化模型,在量化模型的损失函数中增加模型间误差,训练结束得到寿命预测模型;
寿命预测模块,用于实时采集与多维时序数据相同维度的退化数据,预处理为预测样本,传入寿命预测模型,得到航空发动机剩余寿命。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311203559.XA CN116956751B (zh) | 2023-09-19 | 2023-09-19 | 一种基于二进制量化的航空发动机寿命预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311203559.XA CN116956751B (zh) | 2023-09-19 | 2023-09-19 | 一种基于二进制量化的航空发动机寿命预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116956751A true CN116956751A (zh) | 2023-10-27 |
CN116956751B CN116956751B (zh) | 2023-12-12 |
Family
ID=88454867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311203559.XA Active CN116956751B (zh) | 2023-09-19 | 2023-09-19 | 一种基于二进制量化的航空发动机寿命预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116956751B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118133690A (zh) * | 2024-05-07 | 2024-06-04 | 深圳市安保医疗科技股份有限公司 | 样本构建方法、涡轮性能预测方法、装置、设备及介质 |
CN118503919A (zh) * | 2024-07-17 | 2024-08-16 | 国网上海市电力公司 | 一种基于多维时序数据分析的绝缘子放电预测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107167322A (zh) * | 2016-03-08 | 2017-09-15 | 贺利实公司 | 用于环境排放控制和飞机联网的无线发动机监控系统 |
CN113094822A (zh) * | 2021-03-12 | 2021-07-09 | 华中科技大学 | 一种机械设备剩余寿命预测方法和系统 |
CN113466706A (zh) * | 2021-07-26 | 2021-10-01 | 上海伟翔众翼新能源科技有限公司 | 基于卷积神经网络的锂电池梯次利用剩余寿命预测方法 |
CN114202653A (zh) * | 2021-11-25 | 2022-03-18 | 昆明理工大学 | 一种基于全卷积神经网络的两相流混合图像分割的方法 |
US20230153608A1 (en) * | 2021-11-15 | 2023-05-18 | East China Jiaotong University | Method for predicting remaining useful life of railway train bearing based on can-lstm |
-
2023
- 2023-09-19 CN CN202311203559.XA patent/CN116956751B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107167322A (zh) * | 2016-03-08 | 2017-09-15 | 贺利实公司 | 用于环境排放控制和飞机联网的无线发动机监控系统 |
CN113094822A (zh) * | 2021-03-12 | 2021-07-09 | 华中科技大学 | 一种机械设备剩余寿命预测方法和系统 |
CN113466706A (zh) * | 2021-07-26 | 2021-10-01 | 上海伟翔众翼新能源科技有限公司 | 基于卷积神经网络的锂电池梯次利用剩余寿命预测方法 |
US20230153608A1 (en) * | 2021-11-15 | 2023-05-18 | East China Jiaotong University | Method for predicting remaining useful life of railway train bearing based on can-lstm |
CN114202653A (zh) * | 2021-11-25 | 2022-03-18 | 昆明理工大学 | 一种基于全卷积神经网络的两相流混合图像分割的方法 |
Non-Patent Citations (1)
Title |
---|
秦巍;郭永富;: "一种基于历史遥测数据的在轨卫星故障预警系统", 航天器工程, no. 06 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118133690A (zh) * | 2024-05-07 | 2024-06-04 | 深圳市安保医疗科技股份有限公司 | 样本构建方法、涡轮性能预测方法、装置、设备及介质 |
CN118503919A (zh) * | 2024-07-17 | 2024-08-16 | 国网上海市电力公司 | 一种基于多维时序数据分析的绝缘子放电预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116956751B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116956751B (zh) | 一种基于二进制量化的航空发动机寿命预测方法及系统 | |
KR102145407B1 (ko) | 기술 시스템을 제어하기 위한 방법 및 제어 디바이스 | |
Rezamand et al. | An integrated feature-based failure prognosis method for wind turbine bearings | |
CN114282579A (zh) | 基于变分模态分解和残差网络的航空轴承故障诊断方法 | |
EP2500267B1 (fr) | Surveillance d'un actionneur de commande de vol d'un aéronef | |
CN111931625B (zh) | 基于非对称损失神经网络的产品关键零件剩余寿命预测方法 | |
CN111340282B (zh) | 基于da-tcn的设备剩余使用寿命的估计方法及系统 | |
CN113505655A (zh) | 面向数字孪生系统的轴承故障智能诊断方法 | |
CN115796059B (zh) | 一种基于深度学习的电气设备寿命预测方法及系统 | |
CN116106005B (zh) | 一种基于端边云协同机器学习的旋转设备故障诊断方法 | |
Afrasiabi et al. | Wind turbine fault diagnosis with generative-temporal convolutional neural network | |
CN110067696A (zh) | 一种风电机组载荷确定方法、装置、设备及可读存储介质 | |
Zhang et al. | A novel fault diagnosis method for wind turbine based on adaptive multivariate time-series convolutional network using SCADA data | |
CN117473411A (zh) | 基于改进Transformer模型的轴承寿命预测方法 | |
CN111766513A (zh) | 一种基于胶囊网络的三相感应电机变工况多故障诊断方法 | |
CN114548153B (zh) | 基于残差-胶囊网络的行星齿轮箱故障诊断方法 | |
CN118036479A (zh) | 行星齿轮减速装置传动稳定性分析方法及系统 | |
CN114741945A (zh) | 一种航空发动机在线故障的诊断方法 | |
Xue et al. | Diagnosis method based on hidden Markov model and Weibull mixture model for mechanical faults of in-wheel motors | |
Pandiyan et al. | Systematic Review on Fault Diagnosis on Rolling-Element Bearing | |
CN116625678B (zh) | 基于平均峭度反卷积网络的故障诊断方法及系统 | |
CN117454145A (zh) | 一种基于多模态传感器的航空发动机故障诊断方法 | |
CN114964476B (zh) | 油气管道系统动设备的故障诊断方法、装置及设备 | |
Kozlenko et al. | Software implemented fault diagnosis of natural gas pumping unit based on feedforward neural network | |
CN115982621A (zh) | 一种基于时间卷积网络的旋转机械剩余使用寿命预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |