CN117421632A - 基于多尺度时序数据再生的工业装备性能多任务预测方法 - Google Patents
基于多尺度时序数据再生的工业装备性能多任务预测方法 Download PDFInfo
- Publication number
- CN117421632A CN117421632A CN202311387944.4A CN202311387944A CN117421632A CN 117421632 A CN117421632 A CN 117421632A CN 202311387944 A CN202311387944 A CN 202311387944A CN 117421632 A CN117421632 A CN 117421632A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- industrial equipment
- network
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008929 regeneration Effects 0.000 title claims abstract description 20
- 238000011069 regeneration method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000006731 degradation reaction Methods 0.000 claims abstract description 23
- 230000015556 catabolic process Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000009499 grossing Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 17
- 238000003745 diagnosis Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000036541 health Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000002441 reversible effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多尺度时序数据再生的工业装备性能多任务预测方法，首先通过对采集数据进行降维平滑处理获取HI曲线；其次在FPT点修正范围内依据HI波动率得到FPT点，并进行阶段划分；然后分别对不同阶段数据进行滑窗处理得到训练样本后投入到双鉴别器时序生成对抗网络中进行数据再生；最后，使用NSE算法进行最优比例负样本剔除，再将滤后数据与原始数据进行数据融合后投入到Transformer‑MMOE网络中进行多任务预测。本发明同时考虑到了不同装备单元退化过程的异构性以及退化数据的可用性和利用率，将预测精度提高了4％～6％，同时优化了维护系统的数据运算流程。
Description
技术领域
本发明涉及深度学习技术、工业装备性能数据扩充技术和多任务预测技术，具体涉及一种基于多尺度时序数据再生的工业装备性能多任务预测方法。
背景技术
采集并利用工业装备性能数据对于了解装备性能和运行状况、及时调整装备运行环境和后续维护策略有着特殊意义。在工业装备从运行到失效的完整生命周期内，对其进行性能预测、状态监测、故障诊断及剩余使用寿命(RUL)预测等是保证工业装备安全运行的必要条件。基于深度学习的预测方法是其中的一项先进方法，该方法可以摆脱专家先验知识和性能机理未知问题的限制、凭借大量的装备性能数据即可获得准确的预测结果。但由于工业高端装备在实际运行过程中故障率较低且故障状态很短，因此采集到的数据往往存在严重的特征冗余和数量短缺等问题。为了在源头上解决数据限制问题，生成对抗网络(GAN)被应用于学习训练数据的分布，并生成与之分布相似的合成数据。其中时序生成对抗网络(TimeGAN)作为GAN的一个分支，由于能够捕捉并还原每个时间步之间性能数据蕴藏的潜在复杂关系，因此被广泛应用于时序样本的数据扩充任务上。另外，为提高维护系统对性能数据的综合利用效率，以多门专家混合网络(MMOE)为代表的多任务学习(MTL)模型被广泛运用于维护系统上。虽然上述技术已经取得了巨大的进步，但仍存在如下问题：
(1)现有的多维性能数据预处理方法通常将每台工业装备的性能阶段统一在相同尺度之下，然后反向推导首次预测时间(FPT)点。然而，真实工业场景中的每台工业装备退化过程存在异构性。
(2)现有的HI曲线构造方法通常对原始特征性能曲线进行过度的光滑和单调处理，从而导致原始退化信息浪费和退化趋势模糊化，使得最终得到的HI曲线难以准确反应出工业装备的退化过程。
(3)现有的数据增强方法侧重于学习性能数据的全局特征而忽略数据的局部特征，这将导致生成的数据仅能复现原始性能数据的总体分布趋势而不能体现其内部分布细节。
(4)现有数据滑窗方法通常对包含不同阶段的全生命周期的数据进行统一滑窗，这样会导致数据生成网络在两阶段的过渡部分的特征学习过程中会出现特征冲突和信息糅杂，从而降低后续生成样本的总体质量。此外，由于数据生成过程中固有的不稳定性，最后的生成样本中常常包含有少量质量低下的负样本。
(5)现有的MTL模型通常是基于硬参数共享的，此类MTL模型在面对标签差异性较大的任务时(分类和回归)容易出现梯度消失和训练失衡等问题。
因此，亟需一种能解决基于深度学习模型的工业装备性能预测和状态评估过程中的训练数据集不合格及数据利用不充分的问题的工业装备性能多任务预测方法。
发明内容
发明目的：本发明提出一种基于多尺度时序数据再生的工业装备性能多任务预测方法，以实现在训练样本不足或质量不高的情况下对工业装备的健康状态和性能参数进行准确预测和评估。
技术方案：本发明所述的一种基于多尺度时序数据再生的工业装备性能多任务预测方法，包括以下步骤：
(1)采集多台相同工业装备单元全生命周期性能数据，对各数据维度进行数据归一化，并选取其中方差不为零的维度作为特征维度；
(2)将每台工业装备单元性能数据的多个特征维度进行主成分分析，得到每台工业装备单元对应的原始特征性能曲线；并对原始特征性能曲线进行平滑和单调处理得到每台工业装备单元的健康指标HI曲线；通过在HI曲线的第一预测时间修正范围内计算其波动率最大绝对值识别FPT点；
(3)依据步骤(2)中的FPT点识别结果将步骤(1)中获得的各特征维度划分阶段，将数据打上多任务输出标签并划分为训练数据集和测试数据集；
(4)将训练集数据进行分阶段等距滑动窗口分割处理得到多段部分轨迹重合的训练样本；
(5)将训练样本投入到双鉴别器时序生成对抗网络DDTGAN中进行样本再生成得到生成样本；
(6)将生成样本利用负样本剔除算法NSE进行最优剔除比例寻找和负样本剔除得到滤后样本；
(7)将滤后样本和步骤(4)中的训练样本进行数据融合，并将融合数据作为新的训练集投入到Transformer-MMOE中进行网络训练，将步骤(3)中的测试集数据集投入到Transformer-MMOE中验证多任务预测结果。
进一步地，步骤(2)所述的平滑处理为小波变换去噪方法；选用sym4函数作为小波函数，将原始特征性能曲线分解为逼近系数和细节系数并分别进行阈值处理；通过逆小波变换，将处理过后的小波系数作为输入应用反变换操作重构信号得到HI曲线。
进一步地，步骤(2)所述的波动率通过计算HI曲线的二阶变化率求得，具体如下：
其中，hi表示第i个健康指标值，t表示单个时间步长的长度。
进一步地，所述步骤(3)实现过程如下：
将工业装备的全生命周期数据划分为健康阶段和退化阶段，依此将数据打上RUL和故障标签；其中RUL标签的具体构建方式如下：
其中，T表示发动机全生命周期时间长度；最终数据表示形式为：
Data＝(x1,x2,…，xK，yrul,yfau)
xi＝(x1,x2,…,xk)
其中，x表示性能数据，包含K个特征维度，yrul表示剩余寿命标签，yfau表示故障标签，每个特征维度和标签的周期长度为均为k。
进一步地，步骤(4)所述滑动窗口分割处理滑动窗口大小l为60，滑动步长为1。
进一步地，步骤(5)所述双鉴别器时序生成对抗网络DDTGAN包括自编码器组件和双对抗组件；通过自编码器组件和双对抗组件的联合训练，使网络同时学习到编码特征、全局退化特征、局部细节特征和时间动态特征：所述自编码器组件编码器和解码器；所述双对抗组件包括序列生成器、全局鉴别器和局部鉴别器。
进一步地，所述步骤(5)实现过程如下：
编码器和解码器提供了原始特征空间与低维内嵌空间的可逆映射关系，允许对抗性组件通过低维表示来学习数据的动态编码特征，具体过程如下：
其中，x表示训练样本的原始性能数据，h表示原始性能数据的内嵌表示，表示原始性能数据的重构表示，x$和x1:t分别表示静态特征和时间特征；
生成器首先将生成数据映射到低维内嵌空间中，鉴别器也从内嵌空间中工作；具体过程如下：
其中，z表示随机噪声输入，表示其在低维内嵌空间上的映射，/>表示映射数据，表示鉴别结果；
对自编码组件单独进行训练，通过重构损失学习原始特征空间和低维内嵌空间的可逆映射；重构损失的公式如下：
自编码组件和对抗损失分为闭环和开环两种模式，两种模式交叉运行达到对网络优化过程的约束作用；在开环模式下，生成器接受并生成/>全局鉴别器和局部鉴别器同时在不同大小的尺度上对生成器进行对抗优化，使网络同时学习到全局退化特征和局部细节特征，然后根据无监督损失对生成对抗过程进行优化；在闭环模式下，根据监督损失激励网络捕捉数据中的逐步条件分布更好地学习时间动态特征，无监督损失和监督损失的公式如下：
Lo$$U＝Lo$$U1+τLo$$U2 (7)
其中，无监督损失Lo$$U由无监督全局损失Lo$$U1和无监督局部损失Lo$$U2组成，参数τ控制两者的权衡关系，有监督损失Lo$$$里g表示循环神经网络。
进一步地，所述步骤(6)实现过程如下：
将所有生成样本分别与训练样本进行输出标签匹配；在得到匹配度最高的一批样本后，计算每个样本的各特征维度和对应的n个匹配样本之间的最大均值差异，并取其平均值作为可信度指标CI，进行样本可信度排序；将训练样本作为训练集投入到双向长短期记忆网络中进行网络训练，再将排序后的样本进行分比例剔除作为不同的训练集组，同时将原始训练样本作为测试集进行分组训练，依据每组测试集的损失大小得到最优剔除比例，然依据该比例进行负样本剔除得到滤后样本。
进一步地，步骤(9)所述Transformer-MMOE模型中包含时输入共享层、专家层、混合层和输出层；所述输入共享层为Transformer，编码层、解码层和输出层三个子层，用于接收训练数据后初步提取多任务共享特征；所述专家层包含专家网络群和门控网络，用于对性能数据进行多角度、多维度的特征提取；所述混合层用于整合专家层的输出，以生成最终的任务特定特征表示；所述输出层包含RUL预测输出和故障诊断输出，用于两种任务针对性预测。
进一步地，步骤(9)所述编码层由堆叠的N个编码器层组成，其中每个编码器层依次与两个子层连接，一个多头注意力机制和一个全连接神经网络；各子层采用残差跳接，并采用层归一化，防止网络训练过程中产生退化现象，加快收敛速度。
有益效果：与现有技术相比，本发明的有益效果：
1、本发明提出一种新的HI曲线构造方法，和基于FPT修正范围和HI曲线波动率的新的阶段划分方法；与传统阶段划分方法相比，该方法可以保留更多原始退化信息，同时可以针对性地识别不同工业装备单元的原始特征性能曲线的FPT点，降低了35％的计算成本；
2、本发明提出的基于双鉴别器时序生成对抗网络(DDTGAN)中全局鉴别器和局部鉴别器可以同时学习两种尺度的数据特征，使得生成数据不仅符合训练数据的整体数据分布，而且可以有效学习到数据内部细节信息；
3、本发明提出的基于分阶段数据滑窗的训练样本构造方法，相较于对训练数据的全周期长度进行整体滑窗的方法，该方法可以避免两种阶段的数据出现信息糅杂和特征冲突的现象；
4、本发明提出的基于可信度指标(CI)的负样本剔除(NSE)方法，可以有效解决生成数据样本质量不平衡的问题，使RUL预测精度提高了3％-6％；
5、本发明构建的基于Transformer-MMOE的多任务预测模型，可以同时进行RUL预测和故障诊断两类任务，与传统的单任务模型方法相比，可以有效提高工业装备性能数据的利用率，使其更加具有实际工程意义。
附图说明
图1为本发明的流程图；
图2为基于FPT修正范围和HI曲线波动率的新型阶段划分方法流程图；
图3为DDTGAN网络结构示意图；
图4为NSE算法的流程图；
图5为基于Transformer-MMOE的多任务预测网络结构示意图；
图6为本发明在C-MAPSS数据集上的RUL预测及故障诊断结果图；其中，(a)为FD001子集某单元RUL预测结果，(b)为FD003子集某单元RUL预测结果，(c)为FD001和FD003所有单元的故障预测总结果。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示，本发明提出一种基于多尺度时序数据再生的工业装备性能多任务预测方法，包括以下步骤：
步骤1：采集多台相同工业装备单元全生命周期性能数据，对各数据维度进行数据归一化，并选取其中方差不为零的维度作为特征维度。
以航空发动机的剩余使用寿命预测和故障诊断为例，采集航空发动机各原始性能数据，并对其进行使用min-max归一化，这样有利于让各特征具有相同的度量尺度。min-max的具体公式表示如下：
以发动机原始性能数据的某一个维度为例：通过min-max归一化进行线性变化，将值映射到[0,1]之间。由于神经网络无法学习常值特征对于样本的区分能力，因此我们需要提取方差不为零的维度作为特征维度，这样可以有效提高模型的训练速度和泛化性能。
步骤2：数据预处理。
步骤1:得到的多维性能数据后需要对数据进行数据预处理，主要流程如图2所示。首先通过PCA将各特征维度降维成原始特征性能曲线，PCA是一种无监督的数据降维算法，它可以降低特征维数，并尽可能地保留更多原始数据信息。由于原始特征性能曲线受噪声影响较大，会妨碍后续的标签构建过程，因此需要通过小波变换降噪法对曲线进行去噪处理。小波变化降噪法的主要步骤如下：
选择小波基函数：小波基函数是基于数学上的正交性质，能够很好地捕捉信号的多尺度、多频谱特征。本发明选用的小波基函数为sym4，该函数具有对称性，在信号压缩和去噪等领域具有很大的应用价值。
小波变换：利用小波基函数将信号分解为不同尺度的子信号，分解得到的各层系数分别表示了该层的低频分量和高频分量。
阈值处理：将小于最小值和大于最大值的系数设置为0从而压缩数据。通常情况下，小波变换会产生大量的系数，其中绝大部分为噪声或无用信息，而阈值处理可以筛选出重要的系数并压缩数据，减少计算量和噪声干扰。本发明设置的阈值为-0.5和0.8。
小波反变换：将阈值处理后的系数重构成一组新的信号。通过反变换将分解得到的子信号合并，得到了经过小波变换的信号，它具有更好的时域和频域特性，能够更加准确地描述原始信号的不同尺度和频率成分。
在执行完降噪处理后可以将原始特征性能曲线处理为相对光滑的HI曲线后，需要设置FPT修正范围，该范围衡量了不同发动机单元的FPT点的波动范围。本文选用的FPT修正范围为发动机全生命周期的35％-55％。接下来计算HI曲线在FPT修正范围的波动率的最大绝对值并将其对应的时间点设置为FPT点。波动率可以衡量HI的波动程度，具体公式如下：
其中，hi表示第i个健康指标值,t表示单个时间步长的长度。通过计算波动率的最大绝对值得到最大波动点后，可以将发动机的全生命周期数据划分为健康阶段和退化阶段，并依此将数据打上RUL和故障标签。其中RUL标签的具体构建方式如下：
其中，T表示发动机全生命周期时间长度。将打过标签后的发动机退化数据按照发动机数量的7：3划分为训练集和测试集，最终数据表示形式为：Data＝x1,x2,…,xK,yrul,yfau)，xi＝(x1,x2,…,xk)， 其中，x表示性能数据，包含K个特征维度，yrul表示剩余寿命标签，yfau表示故障标签，上述每个特征维度和标签的周期长度为均为k。
步骤3：将训练集数据进行分阶段等距滑动窗口分割处理得到多段部分轨迹重合的训练样本。
为防止生成数据在阶段过渡部分出现信息糅杂和特征冲突等问题，利用分阶段滑动窗口算法分别对步骤2中获得的两个阶段的退化数据训练集进行数据滑窗分割。滑动窗口算法通过固定的窗口大小可以将数据划分为多个等长的局部轨迹重合的滑窗样本，在统一训练数据尺寸的同时还可以扩大数据量。本发明对于滑窗的各项参数设置如下：窗口大小l为60，滑动步长s为1。
步骤4：将训练样本投入到双鉴别器时序生成对抗网络DDTGAN中进行样本再生成得到生成样本。
本发明提出的DDTGAN模型用于学习数据特征并生成数据样本，具体结构如图3所示。训练集数据在经过滑窗处理后就可以送入DDTGAN中进行数据再生成。DDTGAN包含五个部分：编码器、解码器、序列生成器、全局鉴别器和局部鉴别器。通过自编码器组件(前两部分)和双对抗组件(后三部分)的联合训练，可以使网络同时学习到编码特征、全局退化特征、局部细节特征和时间动态特征。
(4.1)自编码组件：编码器和解码器提供了原始特征空间与低维内嵌空间的可逆映射关系，允许对抗性组件通过低维表示来学习数据的动态编码特征，具体过程如下：
其中x表示训练样本的原始性能数据，h表示原始性能数据的内嵌表示，表示原始性能数据的重构表示，x$和x1:t分别表示静态特征和时间特征。
(4.2)对抗组件：与传统GAN不同的是，生成器不是直接在原始特征空间中生成数据作为输出，而是首先将生成数据映射到低维内嵌空间中。同样的，鉴别器也是从内嵌空间中工作。具体过程如下：
其中3表示随机噪声输入，表示其在低维内嵌空间上的映射。/>表示映射数据(真实的映射数据h或合成的映射数据/>)，/>表示鉴别结果(真实数据鉴别结果y或合成数据鉴别结果/>)。
(4.3)联合训练：首先对自编码组件单独进行训练，通过重构损失学习原始特征空间和低维内嵌空间的可逆映射。重构损失的公式如下：
自编码组件和对抗损失分为闭环和开环两种模式，两种模式交叉运行从而达到对网络优化过程的约束作用。在开环模式下，生成器接受并生成/>全局鉴别器和局部鉴别器也可以同时在不同大小的尺度上对生成器进行对抗优化，使网络可以同时学习到全局退化特征和局部细节特征，然后根据无监督损失对生成对抗过程进行优化。在闭环模式下，根据监督损失可以激励网络捕捉数据中的逐步条件分布从而更好地学习时间动态特征，无监督损失和监督损失的公式如下：
Lo$$U＝Lo$$U1+τLo$$U2 (7)
其中，无监督损失Lo$$U由无监督全局损失Lo$$U1和无监督局部损失Lo$$U2组成，其中参数τ控制两者的权衡关系，在本发明中τ取0.5。有监督损失Lo$$$里g表示循环神经网络(RNN)。
步骤5：如图4所示，将生成样本利用负样本剔除算法NSE进行最优剔除比例寻找和负样本剔除得到滤后样本。
在对DDTGAN网络进行充分训练后，生成器就可以通过接收随机输入噪音从而输入一批样本。然而，由于生成网络固有的不稳定性以及航空发动机数据的特征冗余和数量短缺等问题，通常会导致样本中存在部分参考价值较低的反常样本，这些样本会对我们后续的预测过程产生干扰作用。因此，本发明提出了一种基于NSE的数据最优比例剔除方法，具体流程如下：
(5.1)样本匹配：根据RUL标签对步骤3里获得的生成样本和滑窗样本进行匹配，通常来说一批数据里面的每一个生成样本都会存在n个匹配度最高的滑窗样本，n表示训练集的引擎单元数。
(5.2)基于CI的样本排序：分别计算每个样本的各特征维度和对应的n个匹配样本之间的MMD，并取其平均值作为CI，样本的CI可以在一定程度上衡量其数据参考价值，最后将生成样本按照CI进行递增排序。MMD是迁移学习，尤其是域适应(DA)领域中使用最广泛的一种损失函数，主要来度量两种相关分布之间的距离。具体公式如下：
其中，X和K表示不同分布的数据，表示原始空间到希尔伯特空间的一个映射函数，H为再生希尔伯特空间(RKHS)。
(5.3)最优比例剔除：首先将滑窗数据作为训练集对BiLSTM进行网络训练，然后将排序后的生成样本从序末进行分比例剔除，由于故障诊断精度可提升空间较小，因此选用RUL预测作为首要的优化目标：将不同比例的滤后数据分组作为测试集投入到BiLSTM中进行RUL预测，最后挑选RMSE损失最小的一组数据作为最优滤后数据，其剔除比例即最优剔除比例。RMSE的具体公式如下：
其中ob$ervedt表示针对数据t的实际输出值，predicedt就是对应的预测值。
步骤6：基于Transformer-多门混合专家网络(MMOE)的多任务数据评估。
将步骤5获得的最优滤后数据和滑窗数据进行数据融合以作为新的训练集数据，然后将步骤2中获得的测试集作为测试集数据投入到transformer-MMOE网络中进行故障诊断和寿命预测。
传统的多任务学习的的框架广泛采用硬参数共享的shared-bottom的结构，不同任务间共用底部的隐层。但是在实际应用中，任务差异带来的内在冲突会损害任务的预测结果，尤其是在所有任务之间广泛共享模型参数的时候。而MMOE网络由于其独特的结构有着特征交互信息高、任务关系支持度高、任务关系冲突缓解程度高等优点，因此本发明提出了一种transformer-MMOE网络，如图5所示，其主要结构如下：
(6.1)输入共享层：由transformer组成，主要用于提取时序特征。transformer主要包括以下结构：
输入层：包含编码输入层、解码输入层和位置编码层。由于transformer完全基于自注意力机制，因此需要在输入部分加入位置编码以获取输入的位置信息，位置编码选择正弦和余弦函数，计算公式如下：
其中pos表示绝对位置，2i和2i+1表示奇偶性。此外，位置编码在生成后会与对应位置的词向量相加，位置向量的维度也要与词向量的位置保持一致。
编码层：由堆叠的N个编码器层组成，其中每个编码器层依次与两个子层连接，一个多头注意力机制(MHA)和一个全连接神经网络(FFN)。各子层采用残差跳接，并采用层归一化，防止网络训练过程中产生退化现象，加快了收敛速度。MHA解决了自注意机制在编码当前位置信息时会过度关注自身位置的缺陷，通过使用h组不同的注意头对数据进行不同的线性投影，从而学习不同的查询向量(Q)、键向量(K)和值向量(V)，然后将不同Q、K、V的h组并行合并。最后，将h组的池输出连接在一起，并通过另一个可学习的线性投影进行变化，以产生最终的输出。计算公式如下所示：
MH(Q,K,V)＝Concat(head1,head2,…,headh)WO (13)
其中可学习参数包括和/> 基于这种设计，每个头可以专注于输入数据的不同部分。
解码层：由堆叠的N个解码器层组成，每个编码器有三个按顺序连接的子层:掩码多头注意力层(masked MHA)、MHA和FFN。掩码多头注意力层除了增加掩码外与编码器块中的MHA相同。掩码会掩盖部分值使其在参数更新时不产生效果。在时间序列预测中，对于时间步长t，解码器的输出只需要依赖于时间t之前的输出，因此对解码器的输入采用掩码MHA，得到之前预测的输出信息，相当于记录当前时刻输入之间的信息。
输出层：经过N层编码器和解码器后，输入特征进行线性变换，由激活函数激活，得到最终输出序列并传递到专家层中。
(6.2)专家层：包含专家网络群和门控网络，多个专家网络可以对性能数据进行多角度、多维度的特征提取，每个专家网络负责提取一种特定的特征。通过并行训练多个专家网络并将它们的特征输出进行汇总可以有效提高模型的预测性能。门控网络可以动态的选择和组合多个网络的输出，以适应不同的任务需求。门控网络通常由多个门控单元组成，每个门控单元对应一个模型输出，并给出该模型输出在当前任务下的重要性权重。通过交叉评估得到的任务-单元权重用于计算门控器输出，以决定哪些专家网络的输出会进入混合层。
(6.3)混合层：该层将门控器网络输入的多个专家特征进行加权平均以生成最终的任务特定特征表示。通过引入混合层，能够在不同任务之间共享模型参数和特征，从而提高多任务学习的效率和准确性。
(6.4)输出层：包含RUL预测(回归)输出和故障诊断(分类)输出，用于针对不同任务进行预测，通常需要采用不同的损失函数。
transformer-MMOE的主要公式如下：
yr,c＝pr,c(fr,c(x)) (15)
gr,c(x)＝$oftmax(Wgh(x)) (17)
其中，h(x)表示transformer的输出序列，n表示专家网络的数量，fr,c(x)表示RUL预测或故障诊断专家网络的输出，fi(·)表示第i个专家网络，Wg表示门控网络的参数矩阵，gi；r,c(x)表示门控网络的输出权重，pr,c表示RUL预测或故障诊断的输出网络，yr,c表示RUL预测或故障诊断的输出结果。
为了验证本发明，在C-MAPSS数据集的两个子数据集故障诊断FD001和FD003上进行大量的实验，以进行航空发动机的数据扩充、RUL预测和故障诊断等工作。
实验结果如图6所示，其中图6中(a)和(b)各为FD001和FD003两个子集上某测试引擎单元的RUL预测结果图，图6中(c)为FD001和FD003两个子集所有测试样本的故障诊断结果图，可以明显看出所提出的基于多尺度时序数据再生的工业装备性能多任务预测方法可以同时在RUL预测和故障诊断两个运维任务上同时取得优秀的预测结果。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (10)
1.一种基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，包括以下步骤：
(1)采集多台相同工业装备单元全生命周期性能数据，对各数据维度进行数据归一化，并选取其中方差不为零的维度作为特征维度；
(2)将每台工业装备单元性能数据的多个特征维度进行主成分分析，得到每台工业装备单元对应的原始特征性能曲线；并对原始特征性能曲线进行平滑和单调处理得到每台工业装备单元的健康指标HI曲线；通过在HI曲线的第一预测时间修正范围内计算其波动率最大绝对值识别FPT点；
(3)依据步骤(2)中的FPT点识别结果将步骤(1)中获得的各特征维度划分阶段，将数据打上多任务输出标签并划分为训练数据集和测试数据集；
(4)将训练集数据进行分阶段等距滑动窗口分割处理得到多段部分轨迹重合的训练样本；
(5)将训练样本投入到双鉴别器时序生成对抗网络DDTGAN中进行样本再生成得到生成样本；
(6)将生成样本利用负样本剔除算法NSE进行最优剔除比例寻找和负样本剔除得到滤后样本；
(7)将滤后样本和步骤(4)中的训练样本进行数据融合，并将融合数据作为新的训练集投入到Transformer-MMOE中进行网络训练，将步骤(3)中的测试集数据集投入到Transformer-MMOE中验证多任务预测结果。
2.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，步骤(2)所述的平滑处理为小波变换去噪方法；选用sym4函数作为小波函数，将原始特征性能曲线分解为逼近系数和细节系数并分别进行阈值处理；通过逆小波变换，将处理过后的小波系数作为输入应用反变换操作重构信号得到HI曲线。
3.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，步骤(2)所述的波动率通过计算HI曲线的二阶变化率求得，具体如下：
其中，hi表示第i个健康指标值，t表示单个时间步长的长度。
4.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，所述步骤(3)实现过程如下：
将工业装备的全生命周期数据划分为健康阶段和退化阶段，依此将数据打上RUL和故障标签；其中RUL标签的具体构建方式如下：
其中，T表示发动机全生命周期时间长度；最终数据表示形式为：
Data＝(x1,x2,…,xK,yrul,yfau)
xi＝(x1,x2,…,xk)
其中，x表示性能数据，包含K个特征维度，yrul表示剩余寿命标签，yfau表示故障标签，每个特征维度和标签的周期长度为均为k。
5.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，步骤(4)所述滑动窗口分割处理滑动窗口大小l为60，滑动步长为1。
6.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，步骤(5)所述双鉴别器时序生成对抗网络DDTGAN包括自编码器组件和双对抗组件；通过自编码器组件和双对抗组件的联合训练，使网络同时学习到编码特征、全局退化特征、局部细节特征和时间动态特征：所述自编码器组件编码器和解码器；所述双对抗组件包括序列生成器、全局鉴别器和局部鉴别器。
7.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，所述步骤(5)实现过程如下：
编码器和解码器提供了原始特征空间与低维内嵌空间的可逆映射关系，允许对抗性组件通过低维表示来学习数据的动态编码特征，具体过程如下：
其中，x表示训练样本的原始性能数据，h表示原始性能数据的内嵌表示，表示原始性能数据的重构表示，xs和x1:t分别表示静态特征和时间特征；
生成器首先将生成数据映射到低维内嵌空间中，鉴别器也从内嵌空间中工作；具体过程如下：
其中，z表示随机噪声输入，表示其在低维内嵌空间上的映射，/>表示映射数据，/>表示鉴别结果；
对自编码组件单独进行训练，通过重构损失学习原始特征空间和低维内嵌空间的可逆映射；重构损失的公式如下：
自编码组件和对抗损失分为闭环和开环两种模式，两种模式交叉运行达到对网络优化过程的约束作用；在开环模式下，生成器接受并生成/>全局鉴别器和局部鉴别器同时在不同大小的尺度上对生成器进行对抗优化，使网络同时学习到全局退化特征和局部细节特征，然后根据无监督损失对生成对抗过程进行优化；在闭环模式下，根据监督损失激励网络捕捉数据中的逐步条件分布更好地学习时间动态特征，无监督损失和监督损失的公式如下：
LossU＝LossU1+τLossU2 (7)
其中，无监督损失LossU由无监督全局损失LossU1和无监督局部损失LossU2组成，参数τ控制两者的权衡关系，有监督损失Losss里g表示循环神经网络。
8.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，所述步骤(6)实现过程如下：
将所有生成样本分别与训练样本进行输出标签匹配；在得到匹配度最高的一批样本后，计算每个样本的各特征维度和对应的n个匹配样本之间的最大均值差异，并取其平均值作为可信度指标CI，进行样本可信度排序；将训练样本作为训练集投入到双向长短期记忆网络中进行网络训练，再将排序后的样本进行分比例剔除作为不同的训练集组，同时将原始训练样本作为测试集进行分组训练，依据每组测试集的损失大小得到最优剔除比例，然依据该比例进行负样本剔除得到滤后样本。
9.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，步骤(9)所述Transformer-MMOE模型中包含时输入共享层、专家层、混合层和输出层；所述输入共享层为Transformer，编码层、解码层和输出层三个子层，用于接收训练数据后初步提取多任务共享特征；所述专家层包含专家网络群和门控网络，用于对性能数据进行多角度、多维度的特征提取；所述混合层用于整合专家层的输出，以生成最终的任务特定特征表示；所述输出层包含RUL预测输出和故障诊断输出，用于两种任务针对性预测。
10.根据权利要求1所述的基于多尺度时序数据再生的工业装备性能多任务预测方法，其特征在于，步骤(9)所述编码层由堆叠的N个编码器层组成，其中每个编码器层依次与两个子层连接，一个多头注意力机制和一个全连接神经网络；各子层采用残差跳接，并采用层归一化，防止网络训练过程中产生退化现象，加快收敛速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387944.4A CN117421632A (zh) | 2023-10-24 | 2023-10-24 | 基于多尺度时序数据再生的工业装备性能多任务预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387944.4A CN117421632A (zh) | 2023-10-24 | 2023-10-24 | 基于多尺度时序数据再生的工业装备性能多任务预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117421632A true CN117421632A (zh) | 2024-01-19 |
Family
ID=89524123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311387944.4A Pending CN117421632A (zh) | 2023-10-24 | 2023-10-24 | 基于多尺度时序数据再生的工业装备性能多任务预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117421632A (zh) |
-
2023
- 2023-10-24 CN CN202311387944.4A patent/CN117421632A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Duan et al. | A BiGRU autoencoder remaining useful life prediction scheme with attention mechanism and skip connection | |
| CN115270956B (zh) | 基于持续学习的跨设备增量轴承故障诊断方法 | |
| CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
| CN110751186B (zh) | 一种基于监督式表示学习的跨项目软件缺陷预测方法 | |
| CN114970774B (zh) | 一种智能变压器故障预测方法和装置 | |
| Labroche | New incremental fuzzy c medoids clustering algorithms | |
| CN114297918A (zh) | 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法 | |
| Chadha et al. | Time series based fault detection in industrial processes using convolutional neural networks | |
| CN115169430A (zh) | 基于多尺度解码的云网端资源多维时间序列异常检测方法 | |
| CN114723003A (zh) | 一种基于时序卷积和关系建模的事件序列预测方法 | |
| CN112101659A (zh) | 一种基于堆叠去噪自编码器的复杂装备寿命预测方法 | |
| CN115758249A (zh) | 一种非侵入负荷辨识方法及装置 | |
| CN115859777A (zh) | 一种多故障模式下产品系统寿命预测的方法 | |
| CN113485863B (zh) | 基于改进生成对抗网络生成异构不平衡故障样本的方法 | |
| CN117131022B (zh) | 一种电力信息系统的异构数据迁移方法 | |
| Li et al. | A novel feature extraction method based on discriminative graph regularized autoencoder for fault diagnosis | |
| CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
| CN111241629B (zh) | 基于数据驱动的飞机液压泵性能变化趋势智能预测方法 | |
| CN115883424B (zh) | 一种高速骨干网间流量数据预测方法及系统 | |
| CN117290771A (zh) | 基于改进辅助分类生成对抗网络的旋转机械故障诊断方法 | |
| CN117171713A (zh) | 一种基于轴承寿命的交叉自适应深度迁移学习方法及系统 | |
| CN117421632A (zh) | 基于多尺度时序数据再生的工业装备性能多任务预测方法 | |
| CN111863153A (zh) | 一种基于数据挖掘的废水中悬浮固体总量的预测方法 | |
| CN115733673A (zh) | 一种基于多尺度残差分类器的数据异常检测方法 | |
| CN116595857A (zh) | 基于深度迁移学习的滚动轴承多级退化剩余寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |