CN115982988A - 一种基于PCA-Transformer的设备剩余使用寿命预测方法 - Google Patents

一种基于PCA-Transformer的设备剩余使用寿命预测方法 Download PDF

Info

Publication number
CN115982988A
CN115982988A CN202211670973.7A CN202211670973A CN115982988A CN 115982988 A CN115982988 A CN 115982988A CN 202211670973 A CN202211670973 A CN 202211670973A CN 115982988 A CN115982988 A CN 115982988A
Authority
CN
China
Prior art keywords
data
service life
equipment
model
pca
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211670973.7A
Other languages
English (en)
Inventor
赵德群
赵嘉宇
田宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202211670973.7A priority Critical patent/CN115982988A/zh
Publication of CN115982988A publication Critical patent/CN115982988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于PCA‑Transformer的设备剩余使用寿命预测方法，属于故障预测与健康管理领域。首先，将获取的设备性能退化数据进行归一化处理，使用主成分分析法对数据降维，以一种新的滑动窗口方式来提取数据样本，避免不同设备退化数据的误用，对生成的批数据减少了污染。其次，采用1D‑CNN和简化Transformer两种不同的网络模型来构建设备剩余寿命预测模型，两种网络分别提取不同的特征，将其进行融合后输入全连接层获取最后的剩余使用寿命预测值。最后，使用两种评估方法(RMSE、Score)来对所提模型进行评估，验证模型的有效性。

Description

一种基于PCA-Transformer的设备剩余使用寿命预测方法
技术领域
本发明涉及一种设备剩余使用寿命预测方法，具体地，涉及一种基于主成分分析(PCA)和Transformer模型的设备剩余使用寿命预测方法。
背景技术
过去的几十年里，在人工智能的帮助下，许多工业领域取得了巨大的进步。包括基于状态的维修(Condition-BasedMaintenance,CBM)和预测性维修(PredictiveMaintenance,PM)在内的预测与健康管理(Prognostics and Health Management,PHM)作为工业智能的典型代表，在各个领域得到了广泛的应用，并引起了广泛的关注。特别是，对于停机时间和维护成本极其昂贵的相关安全组件或系统，例如航空航天设备和大型工业设备，十分有效。由于PHM是在系统/设备发生故障之前实施的，因此系统崩溃造成的损失可以显著减少，系统的可靠性可以提高。剩余使用寿命(Remaining Useful Life,RUL)预测任务，是PHM不可或缺的组成部分，它对产品的回收和再利用具有重要影响，有助于降低能耗和保护环境。通常，根据利用运行环境、实时风险或剩余使用寿命(RUL)等历史轨迹数据评估系统的状态。然而，在处理极其复杂的数据时，传统的预测算法，如基于模型的方法无法达到理想的结果。
近年来，深度学习已被证明是一种很有前途的方法，可以处理高度非线性和时序数据。卷积神经网络(Convolutional Neural Network,CNN)具有很强的学习能力，可以很好的提取数据的局部空间特征。但由于其特定时间步的感受野受限于卷积和的大小和层数，即捕获远距离信息的能力有限，导致CNN模型单独应用于RUL预测任务的测试效果并不理想。
传统的循环神经网络(Recurrent Neural Network,RNN)是一种对处理时间序列数据具有独特优势的网络，但因存在潜在的梯度消失或梯度爆炸可能，使得其无法获取时间序列的长期依赖。长短期记忆网络(Long Short-Term Memory,LSTM)和门控循环单元(Gated Recurrent Unit,GRU)基于RNN演变而来，通过门控机制缓解了RNN的极端梯度问题。但RNN及其各种变体均以顺序的方式处理时间序列数据，而并未使用并行计算，这导致更高的时间成本。
著名的Transformer最近被提出用于序列建模。它能够高效、高度并行地捕获长期依赖关系，并且可以轻松地适应不同的输入序列长度。与RNN和CNN不同，Transformer通过利用注意力机制一次处理一系列数据来访问历史数据的任何部分，无论距离有多远，这使得它拥有更强大的捕获长期依赖的能力。但标准点积自注意力机制使得Transformer在每个时间步提取的高级特征对其局部上下文不敏感，忽略了相邻时间序列数据的局部特征的重要性。
发明内容
本发明针对背景技术中存在的不足，提供了一种基于PCA-Transformer模型的设备剩余使用寿命预测方法。本发明采用NASA公开的涡轮风扇发动机退化仿真数据集来进行说明。
本发明包括以下步骤：
步骤1：对设备性能退化数据进行归一化处理，并利用主成分分析(PrincipalComponent Analysis,PCA)对其进行降维；
步骤2：构建设备剩余使用寿命预测模型，将步骤1处理后的设备性能退化数据采用一种新的滑动窗口法分批次输入到1D-CNN和Transformer模型中提取其不同的特征；
步骤3：将步骤2提取出的不同特征进行融合，并输入全连接层进行最终剩余使用寿命预测；
步骤4：采用两种评估方法对模型进行评估，验证模型的有效性。
进一步地，在步骤1中：
步骤1.1：采用z-score方法来对设备性能退化数据进行归一化处理，将数据中的各种参数大小限定在相同的区间内，z-score方法定义如下：
Figure BDA0004015888450000021
式中，μi和σi分别表示第i个性能退化数据的平均值和标准差。
步骤1.2：经过步骤1.1后，采用PCA方法对归一化后的数据进行降维。
假设设备性能退化数据为(X1,X2,X3…Xn)，其中每个向量有m个变量(维度)，对应性能退化数据的传感器参数，变量组成一个初始数据集矩阵X，即
Figure BDA0004015888450000022
对数据集X去中心化，即每一位特征减去各自的平均值。
计算去中心化后的数据集X的协方差矩阵，即：
Figure BDA0004015888450000023
对协方差矩阵Cx进行特征值和特征向量的求解
对特征值从大到小进行排序，将其对应特征向量组成特征向量矩阵U。
利用特征向量矩阵U数据集矩阵X进行线性变换，得到各主成分向量Y，即：
Y＝UTX
再计算得到其全部主成分向量的累计贡献率，即：
Figure BDA0004015888450000031
最后根据设定的阈值选取相应前k个主成分，k即为主成分分析降维后的数据的维度，保留k个主成分向量的数据进行数据重构，实现高维数据向低维数据的映射。
进一步地，在步骤2中：
步骤2.1：对步骤一中经过处理的性能退化数据利用滑动窗口法将其分批次的输入到该步骤所构建的设备剩余使用寿命预测模型中。
退化仿真数据集train_FD001中，包含100个发动机的性能退化数据。本发明对不同的发动机性能退化数据单独使用滑动窗口来获取输入样本，而并非将100个发动机的全部数据综合起来进行窗口大小取样，避免了不同发动机数据之间的污染。在性能退化数据中，假设某一发动机的总运行循环数为T，窗口大小为s，步长为p，传感器数量为n，则每个时间窗口的大小为s×n。窗口沿着T方向以步长p向前滑动，直至最后一个窗口内的最后一条数据为第T条数据。
步骤2.2：选用1D-CNN、Tranformer两种网络结构来构建剩余使用寿命预测模型，两种网络采用并行结构，分别利用其不同的网络优势来对性能退化数据进行特征提取。
Transformer多用于序列建模，利用注意力机制能够有效且高度并行捕获序列的长期依赖关系，并且可以轻松适应不同的输入序列长度。本发明采用基于编码器的简化Transformer模型来对设备性能退化数据提取时序上的依赖关系。Transformer是基于注意力机制的模型，对相邻数据的局部特征并不敏感，然而CNN有着提取复杂数据深层特征的能力，因此本发明采用1D-CNN来提取退化数据的空间特征以强调局部特征的重要性。在模型中，本发明使用Dropout机制来降低过拟合，提高模型的拟合效果。
进一步地，在步骤3中：
步骤3.1：对步骤2中的1D-CNN和Transformer分别提取的特征采用Tensorflow中的concat方法进行融合，融合为时空特征。
步骤3.2：将步骤3.1中融合后的时空特征输入三层全连接层进行运算，最后一层全连接层只有一个输出值，即为发动机剩余使用寿命的预测值。
进一步地，在步骤4中：
采用均方根误差(Root Mean Square Error,RMSE)和评分函数(Score)对步骤3中剩余使用寿命预测值进行评估，来评价模型的预测能力。RMSE评价模型无偏估计的能力，Score加大了滞后预测的惩罚权重，RMSE和Score表达式如下：
Figure BDA0004015888450000041
Figure BDA0004015888450000042
式中，Ei表示第i个预测的误差，Ei<0表示超前预测，Ei>0表示滞后预测。RMSE和Score的值越小，代表预测结果越好。
与现有方法相比，本发明具有以下有益效果：
采用了一种新的滑动窗口方法对多个发动机的性能退化数据进行采样处理。相较于其他对不同发动机退化数据综合进行采样的滑动窗口方法，本发明的滑动窗口方法则是针对单个发动机退化数据来进行采样，这样有效的避免了不同发动机退化数据的误用，对生成的批次数据减少了污染。
将Transformer并行优势和CNN提取局部特征优势集中于一种模型之中，同时获取局部空间特征与长期时序依赖，实现模型对性能退化数据特征的充分挖掘以及更高的计算效率。
附图说明
图1为train_FD001数据展示；
图2为滑动窗口示例；
图3为原生Transformer模型结构；
图4为PCA-Transformer模型结构。
具体实施方式
下面结合附图对本发明一种基于PCA-Transformer模型的设备剩余使用寿命预测方法作进一步说明。本发明采用NASA公开的涡轮风扇发动机退化仿真数据集(CMAPSS)，主要使用其中train_FD001数据来进行说明，train_FD001中包含100个发动机的性能退化数据。
步骤一：数据预处理
将train_FD001中的数据进行归一化处理，并使用PCA方法对其进行降维处理。
将train_FD001中的数据进行可视化处理，结果如图1所示，从图中可以看出setting_3、s_1、s_5、s_10、s_16、s_18、s_19的值为固定值，本发明将无变化的传感器数据删除，将剩余数据采用z-score方法进行归一化处理，将数据中的各种参数大小限定在相同的区间内，防止不同的量纲对预测结果造成影响，z-score方法定义如下：
Figure BDA0004015888450000051
式中，μi和σi分别表示第i个性能退化数据的平均值和标准差。
对归一化后的数据进行PCA降维处理。假设设备性能退化数据为(X1,X2,X3…Xn)，其中每个向量有m个变量(维度)，对应性能退化数据的传感器参数，变量组成一个初始数据集矩阵X，即
Figure BDA0004015888450000052
对数据集X去中心化，即每一位特征减去各自的平均值。
计算去中心化后的数据集X的协方差矩阵，即：
Figure BDA0004015888450000053
对协方差矩阵Cx进行特征值和特征向量的求解
对特征值从大到小进行排序，将其对应特征向量组成特征向量矩阵U。
利用特征向量矩阵U数据集矩阵X进行线性变换，得到各主成分向量Y，即：
Y＝UTX
再计算得到其全部主成分向量的累计贡献率，即：
Figure BDA0004015888450000054
最后根据设定的阈值选取相应前k个主成分，k即为主成分分析降维后的数据的维度，保留k个主成分向量的数据进行数据重构，实现高维数据向低维数据的映射。
步骤二：构建设备剩余使用寿命预测模型，提取数据中的隐藏特征
对步骤一中经过处理的性能退化数据利用滑动窗口法将其分批次的输入到该步骤所构建的设备剩余使用寿命预测模型中。
退化仿真数据集train_FD001中，包含100个发动机的性能退化数据。本发明对不同发动机的性能退化数据单独使用滑动窗口来获取输入样本，而并非将100个发动机的全部数据综合起来进行窗口大小取样，避免了不同发动机数据之间的污染。如图2所示，在性能退化数据中，假设某一发动机的总运行循环数为T，窗口大小为s，步长为p，传感器数量为n，则每个时间窗口的大小为s×n。窗口沿着T方向以步长p向前滑动，直至最后一个窗口内的最后一条数据为第T条数据。
选用1D-CNN、Tranformer两种网络结构来构建剩余使用寿命预测模型，两种网络采用并行结构，分别利用其不同的网络优势来对性能退化数据进行特征提取。
Transformer模型如图3所示，利用注意力机制能够有效且高度并行捕获序列的长期依赖关系，可以轻松适应不同的输入序列长度。本发明对原生的Transformer模型进行了改动，采用基于编码器的简化Transformer模型来对设备性能退化数据提取时序上的依赖关系。Transformer是基于注意力机制的模型，对相邻数据的局部特征并不敏感，然而CNN有着提取复杂数据深层特征的能力，因此本发明采用1D-CNN来提取退化数据的空间特征以强调局部特征的重要性。在模型中，本发明使用Dropout机制来降低过拟合，提高模型的拟合效果。
步骤三：进行特征融合
如图4所示，性能退化数据经过预处理后分别输入到简化Transformer和1D-CNN模型中进行特征提取，在本步骤中将对步骤二中1D-CNN和Transformer分别提取的特征采用Tensorflow中的concat方法进行融合，融合为时空特征。将融合后的时空特征输入三层全连接层进行运算，最后一层全连接层只有一个神经元，输出结果为发动机剩余使用寿命的预测值。
步骤四：对模型进行评估
本发明使用两种评估标准，均方根误差(RMSE)和评分函数(Score)。第n个预测误差En：
En＝RULEst-RULTrueRULEst和RULTrue分别代表预测值和真实值，Ei<0表示超前预测，Ei>0表示滞后预测，在实际中，滞后预测可能会产生安全隐患，因此，采用一种对滞后预测施加较大惩罚的评分函数：
Figure BDA0004015888450000061
评分函数对于异常值较为敏感，由于没有对预测误差进行归一化，一个异常值便可极大的改变评分函数的值，因此同时采用RMSE来评价算法无偏估计的能力：
Figure BDA0004015888450000062
将性能退化数据经过归一化和主成分分析后输入所构建的设备剩余使用寿命预测模型中，对所测试设备剩余使用寿命进行预测，利用RMSE和Score两种评价指标来进行性能的验证，两种评价指标数值越小表明预测结果越好。
以上对本发明所提出的一种基于PCA-Transformer剩余使用寿命预测方法进行了介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；对于本领域的技术人员来说，在不脱离本发明思想的前提下，在具体实施方式及应用上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，包括以下步骤：
步骤1：对设备性能退化数据进行归一化处理，并利用主成分分析PCA对其进行降维；
步骤2：构建设备剩余使用寿命预测模型，将步骤1处理后的设备性能退化数据采用一种新的滑动窗口法分批次输入到CNN和Transformer模型中提取其不同的特征；
步骤3：将步骤2提取出的特征进行融合，并输入全连接层进行最终剩余使用寿命预测；
步骤4：采用两种评估方法对模型进行评估，验证模型的有效性。
2.根据权利要求1所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，在步骤1中，采取z-score方法来进行归一化，表达式如下：
Figure FDA0004015888440000011
式中，μi和σi分别表示第i个传感器数据的平均值和标准差。
3.根据权利要求1所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，在步骤1中，采取主成分分析方法来进行数据降维：
假设设备性能退化数据为(X1,X2,X3…Xn)，其中每个向量有m个变量，对应性能退化数据的传感器参数，变量组成一个初始数据集矩阵X，即
Figure FDA0004015888440000012
对数据集X去中心化，即每一位特征减去各自的平均值；
计算去中心化后的数据集X的协方差矩阵，即：
Figure FDA0004015888440000013
对协方差矩阵Cx进行特征值和特征向量的求解
对特征值从大到小进行排序，将其对应特征向量组成特征向量矩阵U；
利用特征向量矩阵U数据集矩阵X进行线性变换，得到各主成分向量Y，即：
Y＝UTX
再计算得到其全部主成分向量的累计贡献率，即：
Figure FDA0004015888440000014
最后根据设定的阈值选取相应前k个主成分，k即为主成分分析降维后的数据的维度，保留k个主成分向量的数据进行数据重构，实现高维数据向低维数据的映射。
4.根据权利要求1所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，在步骤2中，滑动窗口是利用性能退化数据集内不同发动机来单独进行取样。
5.根据权利要求4所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，对于数据集内不同发动机的数据进行单独的滑动窗口采样，而并非将数据集内所有发动机的全部数据综合起来进行窗口大小取样。
6.根据权利要求5所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，生成的训练批数据能够有效的避免不同发动机退化数据之间的误用，对生成的批次数据减少了污染。
7.根据权利要求1所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，在步骤2中，利用1D-CNN、简化Transformer构建设备剩余使用寿命预测模型，两种网络采用并行结构，分别利用其不同的网络优势来对性能退化数据进行特征提取；1D-CNN模型对性能退化数据提取局部空间特征，简化Transformer模型来对设备性能退化数据提取时序上的依赖关系。
8.根据权利要求1所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，在步骤3中，对步骤2中1D-CNN和Transformer分别提取的特征采用Tensorflow中的concat方法进行融合，融合为时空特征后将其输入三层全连接层进行剩余使用寿命预测。
9.根据权利要求1所述的一种基于PCA-Transformer的设备剩余使用寿命预测方法，其特征在于，在步骤4中，采用均方根误差(RMSE)和评分函数(Score)对步骤3预测的剩余使用寿命值进行评估，验证模型的预测性能；RMSE评价模型无偏估计的能力，Score加大了滞后预测的惩罚权重，RMSE和Score表达式如下：
Figure FDA0004015888440000021
Figure FDA0004015888440000022
式中，Ei表示第i个预测的误差，Ei<0表示超前预测，Ei>0表示滞后预测。
CN202211670973.7A 2022-12-25 2022-12-25 一种基于PCA-Transformer的设备剩余使用寿命预测方法 Pending CN115982988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211670973.7A CN115982988A (zh) 2022-12-25 2022-12-25 一种基于PCA-Transformer的设备剩余使用寿命预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211670973.7A CN115982988A (zh) 2022-12-25 2022-12-25 一种基于PCA-Transformer的设备剩余使用寿命预测方法

Publications (1)

Publication Number Publication Date
CN115982988A true CN115982988A (zh) 2023-04-18

Family

ID=85962170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211670973.7A Pending CN115982988A (zh) 2022-12-25 2022-12-25 一种基于PCA-Transformer的设备剩余使用寿命预测方法

Country Status (1)

Country Link
CN (1) CN115982988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117829002A (zh) * 2024-03-05 2024-04-05 深圳市明谋科技有限公司 电力线缆的老化诊断监测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117829002A (zh) * 2024-03-05 2024-04-05 深圳市明谋科技有限公司 电力线缆的老化诊断监测方法及系统
CN117829002B (zh) * 2024-03-05 2024-05-14 深圳市明谋科技有限公司 电力线缆的老化诊断监测方法及系统

Similar Documents

Publication Publication Date Title
CN112784965B (zh) 面向云环境下大规模多元时间序列数据异常检测方法
CN110321603B (zh) 一种用于航空发动机气路故障诊断的深度计算模型
Liu et al. A novel deep learning-based encoder-decoder model for remaining useful life prediction
CN113642225B (zh) 一种基于attention机制的CNN-LSTM短期风电功率预测方法
Wu et al. A weighted deep domain adaptation method for industrial fault prognostics according to prior distribution of complex working conditions
Chen et al. Time series data for equipment reliability analysis with deep learning
CN114386521A (zh) 时间序列数据的异常检测方法、系统、设备和存储介质
CN113722985B (zh) 航空发动机健康状态评估和剩余寿命预测方法及系统
CN115017826B (zh) 一种装备剩余使用寿命预测方法
CN115688035A (zh) 一种基于自监督学习的时序电力数据异常检测方法
Ren et al. DLformer: A dynamic length transformer-based network for efficient feature representation in remaining useful life prediction
CN111447217A (zh) 一种稀疏编码下的基于htm的流数据异常检测方法及系统
CN114841072A (zh) 一种基于差分融合Transformer的时序预测方法
CN115982988A (zh) 一种基于PCA-Transformer的设备剩余使用寿命预测方法
Xing-yu et al. RNN-based method for fault diagnosis of grinding system
CN115758187A (zh) 一种基于k-cnn--n-gru的煤矿机械电机状态预测方法
Das et al. Deep recurrent architecture with attention for remaining useful life estimation
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
Ayodeji et al. An empirical evaluation of attention-based multi-head models for improved turbofan engine remaining useful life prediction
Chen et al. Remaining useful life prediction of turbofan engine based on temporal convolutional networks optimized by genetic algorithm
CN113673774A (zh) 基于自编码器和时序卷积网络的航空发动机余寿预测方法
CN113469013A (zh) 一种基于迁移学习和时间序列的电机故障预测方法及系统
Jiangyan et al. A regularized constrained two-stream convolution augmented Transformer for aircraft engine remaining useful life prediction
Rajendran et al. Vortex detection on unsteady CFD simulations using recurrent neural networks
US20230350402A1 (en) Multi-task learning based rul predication method under sensor fault condition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination