CN113486578A - 一种工业过程中设备剩余寿命的预测方法 - Google Patents
一种工业过程中设备剩余寿命的预测方法 Download PDFInfo
- Publication number
- CN113486578A CN113486578A CN202110718507.0A CN202110718507A CN113486578A CN 113486578 A CN113486578 A CN 113486578A CN 202110718507 A CN202110718507 A CN 202110718507A CN 113486578 A CN113486578 A CN 113486578A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- time
- output
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 238000010606 normalization Methods 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000001364 causal effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000015556 catabolic process Effects 0.000 description 12
- 238000006731 degradation reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/04—Ageing analysis or optimisation against ageing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Manufacturing & Machinery (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种工业过程中设备剩余寿命的预测方法，包括：对采集得到的原始传感器数据进行预处理，包括归一化操作和标准化操作；对预处理后的数据进行时间窗口处理；设置剩余寿命标签；构建基于通道注意力机制的时间卷积神经网络模型；将处理后的数据分为训练数据和测试数据，并利用训练数据对构建的时间卷积神经网络模型进行训练；利用训练后的时间卷积神经网络模型进行剩余寿命预测；引入评价指标对预测结果进行评价。本发明能够解决由于多工况带来的数据分布不同的问题，在保证预测精度的同时，减少了模型参数量，提高了计算速度。
Description
技术领域
本发明涉及设备故障预测与健康管理技术领域，特别涉及一种利用基于通道注意力机制的时间卷积神经网络的工业过程中设备剩余寿命的预测方法。
背景技术
剩余寿命预测，是指基于设备当前使用条件，通过对设备状态监测数据的分析，结合其结构特性、运行条件、环境参数以及其历史的运维情况，预测设备的当前剩余使用寿命(Remaining Useful Life，RUL)。其方法大致可以分为基于物理模型的方法、基于数据驱动的方法和混合方法。基于物理模型的方法通过分析设备的潜在失效机理，建立起精确的物理模型，该类方法需要大量系统退化或损伤的相关知识，需要大量的人工处理，且对相关从业人员的要求较高。基于数据驱动的方法通常包括三个步骤：提取特征、学习退化行为、预测RUL 值。
深度学习能够直接从原始数据中学习得到从输入映射到输出的复杂函数，而不完全依赖于人工设计的特征，因此成为目前预测设备剩余使用寿命的主流方法。随着工业过程日益复杂化，使得现如今的工业过程呈现多模态化，即由于操作条件、外界环境、过程本身固有的因素等导致产生新的运行模态，使得工业过程中产生了多种运行工况。
传统的剩余寿命预测方法大多基于循环神经网络(RecurrentNeuralNetwork，RNN)，但此类神经元网络无法像卷积神经网络(ConvolutionalNeural Network， CNN)一样进行大规模并行处理。常用的RNN的变种，如长短期记忆网络(Long Short-Term Memory，LSTM)和门控循环单元(Gated Recurrent Unit，GRU)，此类网络通过门控机制解决了传统RNN网络由于长期依赖问题所带来的梯度消失或梯度爆炸，但其模型参数量大，处理过程复杂，因此计算开销相比传统的神经元网络要大得多，且在处理工业过程中存在的多工况、多模态问题时效果不佳。
发明内容
针对上述问题，本发明的目的在于提供一种工业过程中设备剩余寿命的预测方法，利用并改进时间卷积神经网络(Temporal Convolutional Network，TCN) 学习传感器监控数据中的退化特征，并利用注意力机制提取TCN模块中的重要退化信息，通过全连接网络输出最终设备的剩余寿命预测结果。
为解决上述技术问题，本发明的实施例提供如下方案：
一种工业过程中设备剩余寿命的预测方法，包括以下步骤：
对采集得到的原始传感器数据进行预处理，所述预处理包括归一化操作和标准化操作；
对预处理后的数据进行时间窗口处理；
设置剩余寿命标签；
构建基于通道注意力机制的时间卷积神经网络模型；
将上述处理后的数据分为训练数据和测试数据，并利用训练数据对构建的时间卷积神经网络模型进行训练；
利用训练后的时间卷积神经网络模型进行剩余寿命预测；
引入评价指标对预测结果进行评价。
优选地，所述归一化操作如下所示：
其中xi，j表示原始传感器数据中第i个传感器数据中的第j个数据点，
表示xi，j归一化之后的数据，
分别表示第i个原始传感器数据中的最大值和最小值。
优选地，所述标准化操作如下所示：
其中xi表示第i个运行工况下的设备数据，μi表示xi的均值，σi表示xi的标准差。
优选地，所述时间窗口处理将一维的传感器数据处理为二维的时序数据，具体地，第j个时序序列表示为[xi，j，xi，j+1，…，xi，j+T]，则第j+1个时序序列表示为 [xi，j+1，xi，j+2，…，xi，j+T+1]；经过时间窗口处理之后，对每一个时序序列分别提取其均值
和回归系数
作为其额外特征；其中回归系数
为每一个时间序列采用最小二乘线性回归得到的最佳拟合直线的斜率，处理之后的最终序列数据为
优选地，所述设置剩余寿命标签包括：设定设备初期预定寿命值之前的所有剩余寿命为一个常量。
优选地，构建的基于通道注意力机制的时间卷积神经网络模型包括：时间卷积神经网络模块、通道注意力机制模块和全连接层；具体地，包括三个时间卷积神经网络的残差模块，并在每个残差模块之后叠加通道注意力机制模块，在最后一个通道注意力机制模块之后，连接两层全连接层，最终输出预测的剩余寿命值。
优选地，所述残差模块中，通过卷积核大小为1的一维卷积处理输入数据，将输入数据直接与卷积层的输出数据相加，并对每一层扩张因果卷积的输出做批标准化处理。
优选地，所述通道注意力机制模块中，首先采用全局最大池化和全局平均池化分别从每一个通道中提取全局信息，并分别产生其输出
和
其中
和
分别如下所示：
其中
表示作为第l层输入的第l-1层的输出，T表示时间步长，i表示第i个通道；
两个全局池化得到的输出特征图分别并行地置入两个只有一层隐含层的多层感知器；隐含层中的神经元数目设定为k/r，其中r为维度缩减的比率，k为前一层残差模块输出的通道数；两个多层感知器的输出通过每个元素相加、并用Hard sigmoid激活函数得到通道注意力机制最终的权重矩阵el；
Hard sigmoid激活函数如下所示：
最后，将得到的权重矩阵el与注意力机制的输入zl-1进行逐一元素相乘，得到通道注意力机制模块的输出zl。
优选地，经过所述时间卷积神经网络模块和所述通道注意力机制模块得到的特征张量，被转化为一维向量，在经过两层全连接层之后，采用Dropout降低过拟合现象，并最终利用一个神经元作为最终的输出层，输出剩余寿命预测值。
优选地，训练过程中，所述时间卷积神经网络模型中的参数首先由Xavier 方法进行初始化，使得权重服从以下概率分布：
其中nin表示权重张量的输入单位个数，nout表示权重张量的输出单位个数。
本发明实施例提供的技术方案带来的有益效果至少包括：
1)本发明采用时间卷积神经网络作为主体的特征学习模型，相较于传统的循环神经网络，时间卷积神经网络中采用了一维扩展因果卷积，具有并行计算的优点，以至于模型中的参数远少于循环神经网络模型。
2)本发明利用通道注意力机制提取重要的故障退化信息，该注意力机制在每个通道中自动提取信息，并区分信息的重要与否。
3)本发明中提出的算法应用于复杂的多工况设备故障预测中，可以解决由于多工况带来的数据分布不同的问题，且在保证预测精度的同时，减少了模型参数量，提高了计算速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述方法的整体流程；
图2a-图2b是进行归一化前后模型损失值的等高线和寻求最优解的路线示意图；
图3a-图3b是进行多工况标准化前后传感器数据的分布示意图；
图4a-图4f是进行多工况标准化前后传感器数据退化特征的实例对比示意图；
图5是时间窗口处理实例示意图；
图6是本发明中所提出的网络模型图；
图7是标准的时间卷积网络残差模块图；
图8是扩展因子分别为1、2、4的扩展因果卷积图；
图9是本发明中改进后的时间卷积网络残差模块图；
图10是一维通道注意力机制模块图；
图11是测试设备33剩余寿命预测效果图；
图12是测试设备99剩余寿命预测效果图；
图13是本发明中算法与其他算法RMSE对比图；
图14是本发明中算法与其他算法Score对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的实施例提供了一种工业过程中设备剩余寿命的预测方法，如图1 所示，所述预测方法包括以下步骤：
1、对采集得到的原始传感器数据进行预处理，所述预处理包括归一化操作和标准化操作。
通常采集得到的原始传感器数据具有不同的量纲，因此会影响网络模型训练时的收敛速度。归一化操作将数据样本的特征值缩放到同一量纲下，便于不同单位或量级的指标之间能够进行比较和加权。如图2a-图2b所示，未进行标准化操作之前，网络优化寻求最优解的过程较为曲折，而进行归一化操作之后，最优解的寻解过程变得更为平缓，更容易收敛到最优解。
具体地，所述归一化操作如公式(1)所示：
其中xi，j表示原始传感器数据中第i个传感器数据中的第j个数据点，
表示xi ，j归一化之后的数据，
分别表示第i个原始传感器数据中的最大值和最小值。
对采集到的原始传感器数据进行归一化操作，使所有的传感器数据缩放到[0， 1]的范围内，能够加快网络的收敛速度。但由于设备的运行可能存在多种工况，导致数据具有不同的分布，且通常设备的运行工况不会进行专门的标注，因此需要对多工况数据进行K-means聚类并对每一类数据进行标准化，使得数据处于期望为0、标准差为1的分布。
具体地，所述标准化操作如公式(2)所示：
其中xi表示第i个运行工况下的设备数据，μi表示xi的均值，σi表示xi的标准差。
如图3a所示，由于设备存在不同的运行工况，不同设备的同一传感器采集的数据分布不同，对设备不同工况下的数据进行标准化处理之后，其数据分布一致，如图3b所示。
如图4a-图4f所示，未经过标准化处理之前的数据没有明显的退化特征，而经过标准化操作之后，退化特征变得更为突出。
2、对预处理后的数据进行时间窗口处理。
在多变量时序数据处理问题中，相较于一个数据点作为一个时间步长而言，利用一个时间序列数据可以提取更多的退化特征。本发明采用时间窗口方法将一维的传感器数据处理为二维的时序数据。
具体地，如图5所示，第j个时序序列表示为[xi，j，xi，j+1，…，xi，j+T]，则第j+1个时序序列表示为[xi，j+1，xi，j+2，…，xi，j+T+1]。经过时间窗口处理之后，对每一个时序序列分别提取其均值
和回归系数
作为其额外特征；其中回归系数
为每一个时间序列采用最小二乘线性回归得到的最佳拟合直线的斜率，处理之后的最终序列数据为
3、设置剩余寿命标签。
实际情况中，设备的剩余使用寿命是线性减少的，但设备的退化特征并不是线性变化的，在设备运行的初期，由于系统处于健康状态，系统的损伤变化不明显，难以提取其退化特征，且设备初期的剩余寿命值相对于设备后期故障检测来讲并不重要，因此设定设备初期预定寿命值之前的所有剩余寿命为一个常量。
4、构建基于通道注意力机制的时间卷积神经网络模型，进行退化特征学习。
本发明实施例中，构建的基于通道注意力机制的时间卷积神经网络模型大致分为三部分：时间卷积神经网络模块、通道注意力机制模块和全连接层。
具体地，所述模型包括三个时间卷积神经网络的残差模块，并在每个残差模块之后叠加通道注意力机制模块，在最后一个通道注意力机制模块之后，得到的输出被转化为一维的向量，并通过两层全连接层，最终输出预测的剩余寿命值。
1)时间卷积神经网络模块
标准的时间卷积网络的基本残差块如图7所示。时间卷积网络由两层扩展因果卷积(dilated causal convolution)组成，在因果卷积(causal convolution)中，时间点t的数据只依赖于前一层时间点t及之前的数据。例如：y0，y1，…，yT＝ f(x0，x1，…，xT)。
其中(x0，x1，…，xT)为前一层的输入，(y0，y1，…，yT)为对应的输出，输出yt仅仅依赖于输入x0，x1，…，xt，而不依赖于任何的“未来”输入xt+1，xt+2，…，xT。
为了解决传统卷积网络中感受野较小的问题，时间卷积网络中采用扩展卷积(dilated convolution)，在标准的卷积核中注入空洞，以此来增大网络的感受野。如图8所示为一个扩展因子dilation rate(即卷积核中空洞点的数量，常规的卷积操作dilationrate＝1)分别为1、2、4，且卷积核大小为2的扩展因果卷积。
在每一层的扩展因果卷积之后，都会进行权值标准化(Weight Normalization)处理，并采用ReLU激活函数和Dropout降低过拟合。此外，每一个残差模块中都通过一个卷积核大小为1的一维卷积单独处理输入数据，使之能与扩展因果卷积的输出保持相同的尺寸，并将残差连接的输出与扩张因果卷积的输出进行对应元素的相加。
本发明中为了使得时间卷积网络能够更好地适应多传感器数据，对时间卷积网络的结构参照ResNet进行了改进，改造后的残差块结构如图9所示。传统的ResNet直接将输入加到卷积层的输出上，这样保证了输入数据的特征不会过度丢失。本发明中参照ResNet，将传统的时间卷积网络中的1×1卷积核加到了卷积层，将输入直接与卷积层的输出相加，将原模型中的Weight Normalization 操作替换为Batch Normalization，即在神经网络的训练过程中对每层的输入数据进行预处理。具体地，对每一层扩张因果卷积的输出做批标准化处理。
2)通道注意力机制模块
本发明中所应用的通道注意力机制模块如图10所示，首先采用全局最大池化和全局平均池化分别从每一个通道中提取全局信息，并分别产生其输出
和
其中
和
分别如公式(3)、(4)所示：
其牛
表示作为第l层输入的第l-1层的输出，T表示时间步长，i表示第i个通道。
两个全局池化得到的输出特征图分别并行地置入两个只有一层隐含层的多层感知器(multilayer perceptron，MLP)；为了降低计算复杂度，隐含层中的神经元数目设定为k/r，其中r为维度缩减的比率，k为前一层残差模块输出的通道数；两个多层感知器的输出通过每个元素相加、并用Hard sigmoid激活函数得到通道注意力机制最终的权重矩阵el；
Hard sigmoid激活函数如公式(4)所示：
最后，将得到的权重矩阵el与注意力机制的输入zl-1进行逐一元素相乘，得到通道注意力机制模块的输出zl。
3)全连接层
经过前面时间卷积神经网络模块和通道注意力机制模块得到的特征张量，将被转化为一维向量，并经过两层全连接层，在全连接层之后采用Dropout来降低过拟合现象，并最终利用一个神经元作为最终的输出层，输出剩余寿命预测值。
5、对构建的时间卷积神经网络模型进行训练，并利用训练后的时间卷积神经网络模型进行剩余寿命预测。
训练过程中，所述时间卷积神经网络模型中的参数首先由Xavier方法进行初始化，使得权重服从如式(6)的概率分布：
其中nin表示权重张量的输入单位个数，nout表示权重张量的输出单位个数。
本发明中采用均方误差(mean squared error，MSE)作为反向传播中所用到的误差函数，MSE定义如公式(7)：
网络中的参数将采用Adam算法进行优化更新。
下面通过具体的实施例对本发明方法进行进一步的阐述。
本发明采用C-MAPSS数据集进行算法性能分析。该数据集是由NASA开源的涡扇发动机数据，是设备剩余寿命预测领域最常见的数据集之一。该数据集由四个子数据集FD001、FD002、FD003和FD004组成，每个子数据集中都包含训练集和测试集。每个数据集中都包含3个操作设定数据和21个传感器数据。且FD002和FD004中包含6种不同的工况条件。
由于一些传感器数据为常数或包含无用的信息，因此会对RUL的预测产生负面的影响，因此在21个传感器数据中挑选14个传感器数据作为原始数据。这14个传感器分别为第2、3、4、7、8、9、11、12、13、14、15、17、20和 21个传感器。模型中的参数经过多次实验调参如下表：
实验的部分结果如图11、12所示，图中给出了FD001子数据集中编号为33和99的设备的故障预测值与真实值，由图中可以看出本发明提出算法的故障预测值相较于真实值之间存在一定的误差，但可以很好地接近真实值，尤其是在设备寿命的关键末期，能够基本拟合真实值。
为了进一步证明本发明中所提出算法的性能，引入两个评价指标均方根误差(root mean square error，RMSE)和评分函数(Score function)。其中均方根误差定义如公式(8)，评分函数定义如公式(9)所示：
其中N为数据样本点的个数，di＝RULtrue-RULpred表示真实值与预测值之差。更低的RMSE和Score意味着更精确的预测精度。
为了证明本发明与其他算法相比的优越性，将本发明中提出的算法与相关向量机(relevance vector machine，RVM)、多目标深度置信网络(multi-objective deep beliefnetwork ensemble，MODBNE)、长短期记忆网络(long short-term memory，LSTM)、半监督深度网络结构(Semi-supervised deep architecture)、深度卷积神经网络(deepconvolution neural network，DCNN)和有向循环图网络 (directed acyclic graph，DAG)进行对比。RMSE和Score的对比如图13和14 所示。由图中可以看出，本发明所提出的算法TCAN在各个子数据集上相较于其他方法都有一定的提升，仅在FD001的Score指标上略高于DAG算法。由此可见本发明所提出的算法相对于其他算法性能更优，尤其是在处理多工况数据时。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种工业过程中设备剩余寿命的预测方法，其特征在于，包括以下步骤：
对采集得到的原始传感器数据进行预处理，所述预处理包括归一化操作和标准化操作；
对预处理后的数据进行时间窗口处理；
设置剩余寿命标签；
构建基于通道注意力机制的时间卷积神经网络模型；
将上述处理后的数据分为训练数据和测试数据，并利用训练数据对构建的时间卷积神经网络模型进行训练；
利用训练后的时间卷积神经网络模型进行剩余寿命预测；
引入评价指标对预测结果进行评价。
2.根据权利要求1所述的预测方法，其特征在于，所述归一化操作如下所示：
其中xi，j表示原始传感器数据中第i个传感器数据中的第j个数据点，
表示xi，j归一化之后的数据，
分别表示第f个原始传感器数据中的最大值和最小值。
3.根据权利要求1所述的预测方法，其特征在于，所述标准化操作如下所示：
其中xi表示第i个运行工况下的设备数据，μi表示xi的均值，σi表示xi的标准差。
4.根据权利要求1所述的预测方法，其特征在于，所述时间窗口处理将一维的传感器数据处理为二维的时序数据，具体地，第j个时序序列表示为[xi，j，xi，j+1，…，xi，j+T]，则第j+1个时序序列表示为[xi，j+1，xi，j+2，…，xi，j+T+1]；经过时间窗口处理之后，对每一个时序序列分别提取其均值
和回归系数
作为其额外特征；其中回归系数
为每一个时间序列采用最小二乘线性回归得到的最佳拟合直线的斜率，处理之后的最终序列数据为
5.根据权利要求1所述的预测方法，其特征在于，所述设置剩余寿命标签包括：设定设备初期预定寿命值之前的所有剩余寿命为一个常量。
6.根据权利要求1所述的预测方法，其特征在于，构建的基于通道注意力机制的时间卷积神经网络模型包括：时间卷积神经网络模块、通道注意力机制模块和全连接层；具体地，包括三个时间卷积神经网络的残差模块，并在每个残差模块之后叠加通道注意力机制模块，在最后一个通道注意力机制模块之后，连接两层全连接层，最终输出预测的剩余寿命值。
7.根据权利要求6所述的预测方法，其特征在于，所述残差模块中，通过卷积核大小为1的一维卷积处理输入数据，将输入数据直接与卷积层的输出数据相加，并对每一层扩张因果卷积的输出做批标准化处理。
8.根据权利要求6所述的预测方法，其特征在于，所述通道注意力机制模块中，首先采用全局最大池化和全局平均池化分别从每一个通道中提取全局信息，并分别产生其输出
和
其中
和
分别如下所示：
其中
表示作为第l层输入的第l-1层的输出，T表示时间步长，i表示第i个通道；
两个全局池化得到的输出特征图分别并行地置入两个只有一层隐含层的多层感知器；隐含层中的神经元数目设定为k/r，其中r为维度缩减的比率，k为前一层残差模块输出的通道数；两个多层感知器的输出通过每个元素相加、并用Hard sigmoid激活函数得到通道注意力机制最终的权重矩阵el；
Hard sigmoid激活函数如下所示：
最后，将得到的权重矩阵el与注意力机制的输入zl-1进行逐一元素相乘，得到通道注意力机制模块的输出zl。
9.根据权利要求6所述的预测方法，其特征在于，经过所述时间卷积神经网络模块和所述通道注意力机制模块得到的特征张量，被转化为一维向量，在经过两层全连接层之后，采用Dropout降低过拟合现象，并最终利用一个神经元作为最终的输出层，输出剩余寿命预测值。
10.根据权利要求1所述的预测方法，其特征在于，训练过程中，所述时间卷积神经网络模型中的参数首先由Xavier方法进行初始化，使得权重服从以下概率分布：
其中nin表示权重张量的输入单位个数，nout表示权重张量的输出单位个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110718507.0A CN113486578B (zh) | 2021-06-28 | 2021-06-28 | 一种工业过程中设备剩余寿命的预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110718507.0A CN113486578B (zh) | 2021-06-28 | 2021-06-28 | 一种工业过程中设备剩余寿命的预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486578A true CN113486578A (zh) | 2021-10-08 |
| CN113486578B CN113486578B (zh) | 2023-10-20 |
Family
ID=77936116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110718507.0A Active CN113486578B (zh) | 2021-06-28 | 2021-06-28 | 一种工业过程中设备剩余寿命的预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486578B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113987834A (zh) * | 2021-11-15 | 2022-01-28 | 华东交通大学 | 一种基于can-lstm的铁路列车轴承剩余寿命预测方法 |
| CN114118226A (zh) * | 2021-11-03 | 2022-03-01 | 南京信息工程大学 | 一种基于时间卷积网络模型的ecg数据分类方法 |
| CN114098681A (zh) * | 2021-11-12 | 2022-03-01 | 南京海量物联科技有限公司 | 一种基于tcn模型和ppg信号的智能血压预测方法 |
| CN114169091A (zh) * | 2021-11-18 | 2022-03-11 | 华中科技大学 | 工程机械部件剩余寿命的预测模型建立方法及预测方法 |
| CN114186475A (zh) * | 2021-10-28 | 2022-03-15 | 南京工业大学 | 一种基于Attention-MGRU的回转支承寿命预测方法 |
| CN114282443A (zh) * | 2021-12-28 | 2022-04-05 | 浙江大学 | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 |
| CN114297795A (zh) * | 2021-12-28 | 2022-04-08 | 桂林电子科技大学 | 一种基于PR-Trans的机械设备剩余寿命预测方法 |
| CN114444663A (zh) * | 2022-01-28 | 2022-05-06 | 吉林大学 | 一种基于时间卷积网络的供水管网泄漏检测与定位方法 |
| CN114660495A (zh) * | 2022-01-27 | 2022-06-24 | 华南理工大学 | 一种基于mtcn算法的电池剩余寿命预测的方法 |
| CN114970665A (zh) * | 2022-03-28 | 2022-08-30 | 上海电气集团股份有限公司 | 模型训练方法、电解电容剩余寿命预测方法及系统 |
| CN115048873A (zh) * | 2022-08-12 | 2022-09-13 | 太原科技大学 | 一种用于飞机发动机的剩余使用寿命预测系统 |
| CN115358347A (zh) * | 2022-09-30 | 2022-11-18 | 山西虚拟现实产业技术研究院有限公司 | 一种针对不同子系统下智能电表的剩余寿命预测方法 |
| CN114169091B (zh) * | 2021-11-18 | 2024-10-25 | 华中科技大学 | 工程机械部件剩余寿命的预测模型建立方法及预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377984A (zh) * | 2019-07-02 | 2019-10-25 | 中国科学院深圳先进技术研究院 | 一种工业设备剩余有效寿命预测方法、系统及电子设备 |
| CN111506835A (zh) * | 2020-04-17 | 2020-08-07 | 北京理工大学 | 一种融合用户时间特征和个性特征的数据特征提取方法 |
| CN111832216A (zh) * | 2020-04-14 | 2020-10-27 | 新疆大学 | 基于eemd-mcnn-gru的滚动轴承剩余使用寿命预测方法 |
| CN112580263A (zh) * | 2020-12-24 | 2021-03-30 | 湖南工业大学 | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 |
-
2021
- 2021-06-28 CN CN202110718507.0A patent/CN113486578B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377984A (zh) * | 2019-07-02 | 2019-10-25 | 中国科学院深圳先进技术研究院 | 一种工业设备剩余有效寿命预测方法、系统及电子设备 |
| CN111832216A (zh) * | 2020-04-14 | 2020-10-27 | 新疆大学 | 基于eemd-mcnn-gru的滚动轴承剩余使用寿命预测方法 |
| CN111506835A (zh) * | 2020-04-17 | 2020-08-07 | 北京理工大学 | 一种融合用户时间特征和个性特征的数据特征提取方法 |
| CN112580263A (zh) * | 2020-12-24 | 2021-03-30 | 湖南工业大学 | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YAN SONG 等: "Distributed Attention-Based Temporal Convolutional Network for Remaining Useful Life Prediction", 《IEEE INTERNET OF THINGS JOURNAL》, pages 1 - 9 * |
| 张永峰;陆志强;: "基于集成神经网络的剩余寿命预测", 工程科学学报, no. 10, pages 146 - 154 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114186475A (zh) * | 2021-10-28 | 2022-03-15 | 南京工业大学 | 一种基于Attention-MGRU的回转支承寿命预测方法 |
| CN114186475B (zh) * | 2021-10-28 | 2023-05-12 | 南京工业大学 | 一种基于Attention-MGRU的回转支承寿命预测方法 |
| CN114118226A (zh) * | 2021-11-03 | 2022-03-01 | 南京信息工程大学 | 一种基于时间卷积网络模型的ecg数据分类方法 |
| CN114098681A (zh) * | 2021-11-12 | 2022-03-01 | 南京海量物联科技有限公司 | 一种基于tcn模型和ppg信号的智能血压预测方法 |
| CN113987834A (zh) * | 2021-11-15 | 2022-01-28 | 华东交通大学 | 一种基于can-lstm的铁路列车轴承剩余寿命预测方法 |
| CN113987834B (zh) * | 2021-11-15 | 2022-07-15 | 华东交通大学 | 一种基于can-lstm的铁路列车轴承剩余寿命预测方法 |
| CN114169091A (zh) * | 2021-11-18 | 2022-03-11 | 华中科技大学 | 工程机械部件剩余寿命的预测模型建立方法及预测方法 |
| CN114169091B (zh) * | 2021-11-18 | 2024-10-25 | 华中科技大学 | 工程机械部件剩余寿命的预测模型建立方法及预测方法 |
| CN114282443B (zh) * | 2021-12-28 | 2023-03-17 | 浙江大学 | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 |
| CN114282443A (zh) * | 2021-12-28 | 2022-04-05 | 浙江大学 | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 |
| CN114297795A (zh) * | 2021-12-28 | 2022-04-08 | 桂林电子科技大学 | 一种基于PR-Trans的机械设备剩余寿命预测方法 |
| CN114297795B (zh) * | 2021-12-28 | 2024-06-07 | 桂林电子科技大学 | 一种基于PR-Trans的机械设备剩余寿命预测方法 |
| CN114660495A (zh) * | 2022-01-27 | 2022-06-24 | 华南理工大学 | 一种基于mtcn算法的电池剩余寿命预测的方法 |
| CN114444663A (zh) * | 2022-01-28 | 2022-05-06 | 吉林大学 | 一种基于时间卷积网络的供水管网泄漏检测与定位方法 |
| CN114970665A (zh) * | 2022-03-28 | 2022-08-30 | 上海电气集团股份有限公司 | 模型训练方法、电解电容剩余寿命预测方法及系统 |
| CN115048873B (zh) * | 2022-08-12 | 2022-11-01 | 太原科技大学 | 一种用于飞机发动机的剩余使用寿命预测系统 |
| CN115048873A (zh) * | 2022-08-12 | 2022-09-13 | 太原科技大学 | 一种用于飞机发动机的剩余使用寿命预测系统 |
| CN115358347A (zh) * | 2022-09-30 | 2022-11-18 | 山西虚拟现实产业技术研究院有限公司 | 一种针对不同子系统下智能电表的剩余寿命预测方法 |
| CN115358347B (zh) * | 2022-09-30 | 2023-01-31 | 山西虚拟现实产业技术研究院有限公司 | 一种针对不同子系统下智能电表的剩余寿命预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486578B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113486578A (zh) | 一种工业过程中设备剩余寿命的预测方法 | |
| CN115618296B (zh) | 一种基于图注意力网络的大坝监测时序数据异常检测方法 | |
| Ayodeji et al. | Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction | |
| CN113743016B (zh) | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 | |
| CN111768000A (zh) | 在线自适应微调深度学习的工业过程数据建模方法 | |
| CN113033309A (zh) | 一种基于信号下采样及一维卷积神经网络的故障诊断方法 | |
| CN112529638B (zh) | 基于用户分类和深度学习的服务需求动态预测方法及系统 | |
| CN116894215B (zh) | 一种基于半监督动态图注意的齿轮箱故障诊断方法 | |
| CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
| CN116538127B (zh) | 轴流风机及其控制系统 | |
| CN116805051A (zh) | 基于注意力机制的双卷积动态域适应设备故障诊断方法 | |
| CN112949836A (zh) | 对时变分布数据进行回归预测在线迁移学习的方法 | |
| CN116186633A (zh) | 一种基于小样本学习的用电异常诊断方法和系统 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| Yang et al. | Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning | |
| CN116738332A (zh) | 一种结合注意力机制的飞行器多尺度信号分类识别与故障检测方法 | |
| Xue et al. | Data-driven prognostics method for turbofan engine degradation using hybrid deep neural network | |
| CN116775423A (zh) | 用于集群故障预测的方法 | |
| CN116881841A (zh) | 一种基于F1-score多级决策分析的混合模型故障诊断方法 | |
| CN114881173A (zh) | 基于自注意力机制的简历分类方法和装置 | |
| Zhang et al. | Recurrent neural network model with self-attention mechanism for fault detection and diagnosis | |
| CN113858566A (zh) | 一种基于机器学习的注塑机能耗预测方法及系统 | |
| CN117371321A (zh) | 一种基于贝叶斯优化的内在可塑性深度回声状态网络软测量建模方法 | |
| CN116702839A (zh) | 一种基于卷积神经网络的模型训练方法及应用系统 | |
| Li et al. | Gated recurrent unit networks for remaining useful life prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |