CN109446187B - 基于注意力机制与神经网络的复杂装备健康状态监测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制与神经网络的复杂装备健康状态监测方法。主要步骤为：获取复杂装备的多传感数据；进行特征选择获得有效测量数据；预处理得到多个切片样本；建立融合了注意力机制和深度神经网络的神经网络分类模型；将切片样本与其对应的标签输入到神经网络分类模型中离线训练神经网络分类模型；将待预测的多传感数据的切片样本输入到训练好的神经网络分类模型中，得到复杂装备的健康状态。本发明考虑到了多传感器信号的数据特征，充分挖掘了数据中的局部特征和时序信息，预测精度高，适用性广，能广泛应用于各种复杂装备中。

Description

基于注意力机制与神经网络的复杂装备健康状态监测方法

技术领域

本发明涉及了一种复杂装备状态监测方法，尤其是涉及了一种基于注意力机制与神经网络的复杂装备健康状态监测方法，属于系统健康管理领域。

背景技术

在工业生产上，对复杂装备的健康状态进行实时监测是非常有意义的，其能提供视情维护能力，为维修活动提供指导。还可以缩减检查成本、降低全寿命周期的成本，避免不必要的开销。还可以及时监测出装备的使用情况，使技术员能及时作出相关调整。

基于神经网络的监测模型已经成为复杂装备视情维护中常用的方法之一。基于神经网络的监测模型依赖于大量且有效的历史数据，而实际应用中复杂装备的历史运行数据较难获取。即使能获取，这些数据通常是不完整的且含有一定噪声，这就对神经网络模型的要求非常高，否则模型预测准确率将会降低。准确率相对较低是基于神经网络的监测方法面临的主要技术难点。

在基于神经网络的监测模型中，常用的方法有多层感知机(MLP)、循环神经网络(RNN)、长短期记忆网络(LSTM)和卷积神经网络(CNN)等。多层感知机模型是最常用的神经网络，但其特征提取能力不强，当隐藏层较多时容易产生梯度扩散消失问题，且不能直接处理时序信号；传统的循环神经网络可以处理时序信号，但其存在梯度消失和梯度爆炸的问题，在长序列时序信号上效果较差；长短期记忆网络克服了传统循环神经网络的缺点，对长序列时序信号有较好的处理能力，但其特征提取能力不强；卷积神经网络具有较强的特征提取能力，但其也无法直接处理时序信号。以上就是基于神经网络的健康状态监测方法的主要缺点和不足。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于深度神经网络的复杂装备健康状态监测方法。该方法能克服上述已有方法的不足，提高了神经网络模型的准确率，为技术人员提供了参考信息，为设备的正常运行提供了保障。且该方法能广泛应用于各种复杂装备中。

为达到上述目的，本发明中模型的建立包括以下具体步骤：

S1.获取复杂装备的多传感数据；

S2.对多传感数据进行特征选择，获得有效测量数据；

S3.对有效测量数据进行预处理，包括利用数据均值对缺失值进行填充、对各数据进行标准化处理以及对数据进行切片处理，得到多个切片样本；

S4.建立融合了注意力机制和深度神经网络的用于健康状态监测的神经网络分类模型；

S5.针对复杂装备已作健康状态标签标记的多传感数据进行步骤S1～S3后与其对应的标签输入到神经网络分类模型中，离线训练神经网络分类模型；

S6.针对复杂装备需要预测的多传感数据进行步骤S1～S3后输入到训练好的神经网络分类模型中，得到复杂装备的健康状态。

所述的复杂装备包括涡轮发动机、水轮机、数控机床、风机和机车等。

所述步骤S1中通过多种传感器分别间隔采样采集获得多方面的测量数据，作为多传感数据。具体实施中采集21种不同的传感数据值，形成21维数据充分代表了复杂装备的运行状态。

所述步骤S2中，根据方差特征选择原则，从多传感数据中选取方差大于特征阈值的传感数据作为有效特征，具体针对每种传感数据，计算每种传感数据所有时刻的方差值，将方差值和特征阈值比较，具体实施设定特征的特征阈值为10^-8，经过特征选取后保留下来的形成有效测量数据。

所述步骤S3具体如下：

S31.对于有效测量数据中存在的缺失值，求出数据的均值，利用均值作为填充值对缺失值进行数据填充；

所述的缺失值是指有效测量数据在某一时刻采集时由于由于传感器本身故障或数据处理软件缺陷等原因造成的空缺值。

S32.对数据填充后的有效测量数据进行标准化处理，将各有效测量数据转换为均值为0、方差为1的无量纲数据序列；

S33.对无量纲数据序列进行切片处理，切片的时间长度为30，时间步长为1，获得多个切片样本。

本发明在神经网络分类模型中，输出为健康状态类别。

所述步骤S4中，所述的神经网络分类模型构建为：

S41.构造连续三层卷积神经网络，前两层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层，第三层卷积神经网络只有一个卷积层；卷积层均由K个卷积滤波器组成，K个卷积滤波器的大小相同，但卷积滤波器的内部权值不同，对输入的数据进行卷积得到K个特征图谱；池化层采取最大池化策略，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

步骤S3获得切片数据输入到第一层卷积神经网络的卷积层，经卷积层卷积处理后获得多幅特征图谱，多幅特征图谱经池化层池化后输入到第二层卷积神经网络的卷积层再次进行卷积处理，卷积后再次进行池化处理，池化后的多幅特征图谱输入到第三层卷积神经网络的卷积层进行卷积处理。

三层卷积神经网络具有很强的特征提取能力，能很好的提取输入数据中的重要局部特征，同时也能实现较好的去噪效果，降低数据规模。其中第三层卷积神经网络只包含一个卷积层，且其卷积滤波器数量为1，可以实现将之前的多幅特征图谱转换为单幅特征图谱，方便后续网络对数据的处理，提高预测精度。

三层卷积神经网络中的两个卷积层的卷积滤波器数量和尺寸设置均有不同。

S42.在三层卷积神经网络之后，构建尺寸转换层(Reshape)，第三层卷积神经网络输出的特征图谱通过尺寸转换层转化为后面长短期记忆网络(LSTM)的输入数据；

S43.尺寸转换层之后构造第一层长短期记忆网络，第一层长短期记忆网络中包括N个长短时记忆单元；

S44.第一层长短期记忆网络之后构造第二层长短期记忆网络，第二层长短期记忆网络中包括N个长短时记忆单元；

S45.第二层长短期记忆网络之后构建注意力机制层，注意力机制层添加注意力机制函数；

S46.注意力机制层之后构造第三层长短期记忆网络，第三层长短期记忆网络中包括同样N个长短时记忆单元；

尺寸转换层输出的数据分别输入到第一层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到第二层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到注意力机制层，经注意力机制层进行权重处理后再输入到第三层长短期记忆网络的各个长短时记忆单元中，最后经各个长短时记忆单元处理输出；

具体实施中，三层长短期记忆网络的长短时记忆单元的个数均为20个。

S47.在第三层长短期记忆网络的最后一个长短时记忆单元之后连接构建连续的两个全连接层，第一层全连接神经元个数为10，第二层全连接层神经元个数为15；

S48.构建输出层，输出层神经元个数设置为4，输出复杂装备的四种健康状态类别，分别为健康、中等、退化和故障。

所述的神经网络分类模型都包括三层卷积神经网络、三层长短期记忆网络和两层全连接网络，在第二层长短期记忆网络和第三层长短期记忆网络中间连接注意力机制层，通过长短期记忆网络和注意力机制层的设计融合能实现对复杂装备的健康状态监测。

同时本发明在模型中加入三个dropout层，能够避免出现过拟合现象。

第三层卷积神经网络、第一层全连接网络和第二层全连接网络后均设有dropout层，dropout层的dropout率均设置为0.3。

对于神经网络分类模型，所述的输出层的激活函数选择softmax进行分类，模型损失函数选择交叉熵损失函数(categorical crossentropy)函数。

选用Adam优化算法，学习率设置为0.001，利用已作健康状态标签标记的多传感数据处理获得切片样本离线训练深度神经网络模型。

本发明首先使用卷积神经网络作为特征提取器，从输入的多传感器信号中提取稳定且信息丰富的局部特征，达到去噪的目的。构造连续三层卷积神经网络，前两层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层，第三层卷积神经网络只有一个卷积层；卷积层由K个卷积滤波器组成，对输入的数据进行卷积得到K个特征图谱；池化层采取最大池化策略，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

在卷积神经网络后通过尺寸转换层(Reshape)对卷积神经网络输出的特征图谱进行尺寸转换，成为长短期记忆网络可接受的输入数据。

接着引入三层长短期记忆网络和注意力机制获得时序信号在时间上的依赖关系，综合利用过去与当前的信息进行有效分析。在第二层LSTM后加入注意力机制，通过回顾LSTM层的输入序列，有助于模型的训练重点集中于有用部分，把握长期依赖关系，以此增强了模型的效果。

在第三层LSTM层后引入全连接网络，其与CNN和LSTM之间有互补之处。全连接网络则具有较好的拟合能力，可以将特征映射到预测结果上。最后一层为输出层，输出层神经元数量为4，激活函数选择softmax分类器，输出复杂装备的健康状态。

这三种神经网络与注意力机制有机的结合在一起，能充分发挥各自的优势，起到互补的作用。特别是对于多传感器的多维长时序信号，通过对模型的训练，该方法能充分挖掘出其中的复杂关系，保证健康状态监测的可靠性。

与现有的技术与方法相比，本发明具有以下优势：

本发明提出的深度神经网络模型具有较强的特征提取能力，能抑制传感器数据中存在的噪声，保证了数据的可靠性。该模型考虑到了多传感器信号的数据特征，充分挖掘了数据中的局部特征和时序信息，预测精度高。而且该模型结构较为简单，易于理解，预测流程易于操作，能很好地应用于各种复杂装备上。特别是输入序列较长时，借助于注意力机制能很好地把握时序上的长期依赖关系，增强模型效果。

本发明方法能准确地监测复杂装备的健康状态，方便技术人员更好地对复杂装备进行管理。最关键的是，通过对装备健康状态的实时监测，可以避免工作过程中因不确定的故障造成严重的损失，最大限度地保障生命与财产安全。

附图说明

图1为本发明方法的流程示意图。

图2为本发明实例中复杂装备健康状态监测的深度神经网络分类框架示意图。

图3为本发明实例中对数据切片的简单示意图。

具体实施方式

下面结合附图与涡轮发动机作为具体实例对本发明作进一步说明：

如图1所示，本发明实施例采用涡轮发动机作为实例进行说明，具体包括以下步骤：

本实例使用了美国国家航空航天局(NASA)预测数据仓库的C-MAPSS数据集来验证所提出方法的有效性。该数据集是通过使用美国国家航空航天局开发的商用模块化航空推进系统(C-MAPSS)进行仿真得到的模拟数据。根据运行状态和故障模式的不同，可以进一步分为4个独立子集，每个子集中包含一个训练集和一个测试集，每个子集都包含了通过21个传感器得到的发动机运行数据。

在仿真程序中，训练集包括在不同运行条件和故障模式下收集的多个涡轮发动机运行至故障的传感器数据记录。随着时间的推移，发动机单元不断退化，直到程序认为发动机达到系统故障。发动机在整个生命期间可分为4个阶段：健康、中等、退化和故障。在训练中，可将发动机数据样本作为训练样本，每个样本相应的健康状态作为标签。

该数据集的描述如下表所示：

表1

由表格可以看出，数据集2和数据集4中含有6种操作模式，设备的健康状态与运行操作条件关系较大，单凭运行数据无法很好预测不能很好监测设备的健康状态，所以本文主要考虑数据集1和数据集3。

S1.获取涡轮发动机传感器的有效测量数据；

从C-MAPSS数据集的数据集1和数据集3中可以得到21维发动机的传感器测试数据，分别是：风扇进气口总温度、低压压缩机出气口总温度、高压压缩机出气口总温度、低压涡轮出气口总温度、风扇进气口压强、旁路导管总温度、高压压缩机出气口总压强、物理风扇转速、物理核心速度、引擎压强比、高压压缩机出气口统计压强、高压压缩机燃料流量、风扇修正转速、核心修正转度、主旁路比、燃烧室燃气比、热力泄漏量、风扇转速要求、风扇转速修正要求、高压涡轮冷却剂泄漏量、低压涡轮冷却剂泄漏量。

S2.对多传感器数据进行特征选择；

S21.根据方差特征选择原则，设定特征的方差阈值为10-⁸，所有数据中方差大于该阈值的作为有效特征，通过特征选取后剩下14个有效特征。

S22.由特征选择后的14个特征组成有效数据，这14个特征分别为：低压压缩机出气口总温度、高压压缩机出气口总温度、低压涡轮出气口总温度、高压压缩机出气口总压强、物理风扇转速、物理核心速度、高压压缩机出气口统计压强、高压压缩机燃料流量、风扇修正转速、核心修正转度、主旁路比、热力泄漏量、高压涡轮冷却剂泄漏量、低压涡轮冷却剂泄漏量。

S3.对数据进行预处理；

S31.在传感器测量过程中，各传感器数据可能存在缺失的情况。求出各维度传感器数据的平均值，利用均值作为填充值对缺失部分进行数据填充。

S32.对多传感器数据进行标准化处理，将各列传感器数据转换为均值为0，方差为1的无量纲数据序列。

S33.对标准化后的数据样本进行切片处理，切片长度为30，时间步长为1，获得多个切片样本。每一个切片作为一个输入样本，相对应的健康状态作为分类模型的标签。对数据切片的示意图如图3所示。

图3中，TW1表示对数据集进行切片处理得到的第一个切片样本，TW2表示第二个样本，TW3表示第三个样本，TW4表示第四个样本。

S4.结合注意力机制，建立用于健康状态监测的神经网络分类模型，详细步骤如下：

神经网络分类模型构建如图2所示。

S411.构造连续三层卷积神经网络，前两层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层，第三层卷积神经网络只有一个卷积层；

第一层卷积神经网络的卷积层由8个卷积滤波器组成，每个卷积滤波器的大小相同，尺寸为12×1，但滤波器的内部权值不同，对输入的数据进行卷积得到8个特征图谱；池化层采取最大池化构造，池化尺寸为2×1，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

第二层卷积神经网络的卷积层由14个卷积滤波器组成，尺寸为3×1，对输入的数据进行卷积得到14个特征图谱；池化层采取最大池化构造，池化尺寸为2×1，对卷积层输出的特征图谱进行池化操作，得到池化后的特征图谱；

第三层卷积神经网络只有一个卷积层，该卷积层只有一个卷积滤波器，尺寸为3×1，对输入的数据进行卷积得到1个特征图谱。

S412.在三层卷积神经网络之后，构建尺寸转换层(Reshape)，第三层卷积神经网络输出的特征图谱通过尺寸转换层转化为后面长短期记忆网络(LSTM)的输入数据；

S413.尺寸转换层之后构造第一层长短期记忆网络，第一层长短期记忆网络中包括20个长短时记忆单元；

S414.第一层长短期记忆网络之后构造第二层长短期记忆网络，第二层长短期记忆网络中包括20个长短时记忆单元；

S415.第二层长短期记忆网络之后构建注意力机制层，注意力机制层添加注意力机制函数，激活函数采用softmax函数；

S416.注意力机制层之后构造第三层长短期记忆网络，第三层长短期记忆网络中包括20个长短时记忆单元；

尺寸转换层输出的数据分别输入到第一层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到第二层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到注意力机制层，经注意力机制层进行权重处理后再输入到第三层长短期记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输出；

具体实施中，三层长短期记忆网络的长短时记忆单元的个数均为20个。

S417.在第三层长短期记忆网络的最后一个长短时记忆单元之后连接构建连续的两个全连接层，第一层全连接神经元个数为10，第二层全连接层神经元个数为15；

第三层卷积神经网络、第一层全连接网络和第二层全连接网络后均设有dropout层，dropout层的dropout率均设置为0.3。

S418.构建输出层，输出层神经元个数设置为4，输出复杂装备的四种健康状态类别，分别为健康、中等、退化和故障。采用softmax函数进行分类，得到预测结果，其中模型的损失函数选择categorical_crossentropy函数。

神经网络无法直接辨识健康状态，用(0,1,2,3)分别代表四种状态，并进行独热编码(one hot encoding)以便神经网络进行处理。经过独热编码后，四种状态分别为：[1,0,0,0]、[0,1,0,0]、[0,0,1,0]、[0,0,0,1]。

S5.将数据样本与对应标签送入所建立的深度神经网络模型中，采用Adam算法作为训练的优化算法，学习率设置为0.001，离线训练神经网络模型；

S6.将需要预测的数据传入训练好的神经网络模型中，得到涡轮发动机的健康状态。

本发明利用训练好的神经网络模型在数据集1和数据集3上具体实施进行了十次实验，取平均值作为结果。获得的准确率较高，分别为85％和83％，验证了所提出方法的有效性。

本实例首先利用了多种先进传感器采集了涡轮发动机的设备运行数据，然后对原始数据进行特征选择，剔除了没有价值的数据。接着对数据进行预处理，得到切片后的数据。通过建立卷积神经网络、长短期记忆网络与注意力机制相结合的深度神经网络分类模型进行健康状态监测，得到较为准确的预测结果。与单独应用卷积神经网络、循环神经网络或其他一些基本模型相比，准确度得到了大大提升。通过该方法提供的预测信息，能有效提高涡轮发动机的维护效率，为发动机的健康维护管理提供了有效的信息，避免了工作过程中因不确定的故障造成的严重损失。

以上所述实例仅为本发明在该实例上的调优结果，但本发明的具体实施不仅局限于本实例。凡是依照本发明原理与思路提出的效果相似的替代方案，都应当视为本发明的保护范围。

Claims (3)

1.基于注意力机制与神经网络的复杂装备健康状态监测方法，其特征在于：包括以下步骤：

S1. 获取复杂装备的多传感数据；

S2. 对多传感数据进行特征选择，获得有效测量数据；

所述步骤S2中，根据方差特征选择原则，从多传感数据中选取方差大于特征阈值的传感数据作为有效特征，经过特征选取后保留下来的形成有效测量数据；

S3. 对有效测量数据进行预处理，包括利用数据均值对缺失值进行填充、对各数据进行标准化处理以及对数据进行切片处理，得到多个切片样本；

S4. 建立融合了注意力机制和深度神经网络的神经网络分类模型；

所述步骤S4中，所述的神经网络分类模型构建为：

S411. 构造连续三层卷积神经网络，前两层卷积神经网络均包括连续依次连接的一个卷积层和一个池化层，第三层卷积神经网络只有一个卷积层；

第一层卷积神经网络的卷积层由8个卷积滤波器组成，每个卷积滤波器的大小相同，尺寸为12×1，但滤波器的内部权值不同，对输入的数据进行卷积得到8个特征图谱；池化层采取最大池化构造，池化尺寸为2×1，分别对卷积层输出的各个特征图谱进行池化操作，得到池化后的特征图谱；

第二层卷积神经网络的卷积层由14个卷积滤波器组成，尺寸为3×1，对输入的数据进行卷积得到14个特征图谱；池化层采取最大池化构造，池化尺寸为2×1，对卷积层输出的特征图谱进行池化操作，得到池化后的特征图谱；

第三层卷积神经网络只有一个卷积层，该卷积层只有一个卷积滤波器，尺寸为3×1，对输入的数据进行卷积得到1个特征图谱；

S412. 在三层卷积神经网络之后，构建尺寸转换层，第三层卷积神经网络输出的特征图谱通过尺寸转换层转化为后面长短时记忆网络的输入数据；

S413. 尺寸转换层之后构造第一层长短时记忆网络，第一层长短时记忆网络中包括20个长短时记忆单元；

S414. 第一层长短时记忆网络之后构造第二层长短时记忆网络，第二层长短时记忆网络中包括20个长短时记忆单元；

S415. 第二层长短时记忆网络之后构建注意力机制层，注意力机制层添加注意力机制函数，激活函数采用softmax函数；

S416. 注意力机制层之后构造第三层长短时记忆网络，第三层长短时记忆网络中包括20个长短时记忆单元；

尺寸转换层输出的数据分别输入到第一层长短时记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到第二层长短时记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输入到注意力机制层，经注意力机制层进行权重处理后再输入到第三层长短时记忆网络的各个长短时记忆单元中，经各个长短时记忆单元处理输出；

三层长短时记忆网络的长短时记忆单元的个数均为20个；

S417. 在第三层长短时记忆网络的最后一个长短时记忆单元之后连接构建连续的两个全连接层，第一层全连接神经元个数为10，第二层全连接层神经元个数为15；第三层卷积神经网络、第一层全连接网络和第二层全连接网络后均设有dropout层，dropout层的dropout率均设置为0.3；

S418. 构建输出层，输出层神经元个数设置为4，输出复杂装备的四种健康状态类别，分别为健康、中等、退化和故障；采用softmax函数进行分类，得到预测结果，其中模型的损失函数选择交叉熵函数；

S5. 针对复杂装备已作健康状态标签标记的多传感数据进行步骤S1～S3后与其对应的标签输入到神经网络分类模型中，采用Adam算法作为训练的优化算法，离线训练神经网络分类模型；

S6. 针对复杂装备需要预测的多传感数据进行步骤S1～S3后输入到训练好的神经网络分类模型中，得到复杂装备的健康状态。

2.根据权利要求1所述的基于注意力机制与神经网络的复杂装备健康状态监测方法，其特征在于：所述步骤S1中通过多种传感器分别间隔采样采集获得多方面的测量数据，作为多传感数据。

3.根据权利要求1所述的基于注意力机制与神经网络的复杂装备健康状态监测方法，其特征在于：所述步骤S3具体如下：

S31. 对于有效测量数据中存在的缺失值，求出数据的均值，利用均值作为填充值对缺失值进行数据填充；

S32. 对数据填充后的有效测量数据进行标准化处理，将各有效测量数据转换为均值为0、方差为1的无量纲数据序列；

S33. 对无量纲数据序列进行切片处理，切片的时间长度为30，时间步长为1，获得多个切片样本。

Images