CN111241673B - 用于噪声环境工业设备的健康状态预测方法 - Google Patents

Abstract

本发明提供一种用于噪声环境工业设备的健康状态预测方法，该方法基于深度学习及无监督噪声样本检测进行，包括：使用设置在工业设备上的传感器获取含有噪声的监测数据；使用窗口大小为s_tw的滑动时间窗口基于含有噪声的监测数据生成多个序列数据样本；使用带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T；基于平均连接算法的自底向上的层次聚类算法将α_T进行聚类，去掉异常类中的α_T对应的序列数据样本，使用剩下的序列数据样本训练LSTM预测模型；使用训练好的LSTM预测模型预测工业设备的健康状态；本发明将多变量输入序列转换为与预测相关的注意力权重向量，对其进行层次聚类，检测出噪声样本并将其去除，使预测模型准确度更高。

Description

用于噪声环境工业设备的健康状态预测方法

技术领域

本发明涉及工业设备健康预测技术领域，涉及一种用于噪声环境工业设备的健康状态预测方法，尤其是涉及一种用于工业设备健康状态预测的无监督噪声样本检测方法。

背景技术

随着传感器技术的发展，可以通过其获取设备大量的监测数据来预测其健康状态。相比于传统的基于信号处理的预测方法，基于深度学习的方法可以处理大量数据而不需要太多的人工操作和专业领域知识。已经有许多深度学习模型被用来预测设备的剩余寿命，比如多层感知机模型，卷积神经网络，循环神经网络，以及长短期记忆网络。滑动时间窗口方法被广泛地用来由监测数据产生序列数据样本，从而用于建立预测模型。虽然许多基于深度学习的模型取得了很好的预测结果，但是这些模型的表现严重依赖于数据的质量。数据质量反映了监测数据与设备健康状态的相关程度。

在实际场景中，监测数据往往会被传感器噪声污染，从而产生噪声样本以及不可靠的预测结果。因此，有必要检测并去掉这些噪声样本，从而提高模型的预测准确度。然而，由于变化的噪声强度等原因，噪声样本很难被识别，尤其是对于多变量序列数据样本。有两个关键问题需要被解决：1)如何利用没有标签且包含不少噪声样本的数据集训练检测方法；2)如何仅仅去掉那些对预测模型有不利影响的噪声样本，因为在神经网络的训练过程中给输入增加一些合适的噪声还有助于提高模型的泛化能力。

噪声样本检测可以理解为是异常检测的一种，该领域已有广泛研究和许多方法。这些方法可以分为有监督方法、半监督方法以及无监督方法。有监督方法基于有标签的数据集，半监督方法基于只包含正常数据或少量异常数据的数据集，这两种方法都不适用于本应用场景，因为数据集往往都是没标签的。因此应该采用无监督的方法。在这类方法中，无监督判别方法被广泛使用。这些方法通过衡量序列之间的相似性来对它们进行聚类，使用了不同的聚类方法和相似性测量方法。注意到在这些方法中，需要确定一些超参数和阈值，它们会直接影响这些方法的效果。然而如何确定这些超参数却很少被解释。此外，根据不同的应用场景需要选择不同的聚类方法。目前还缺少针对设备健康状态预测的监测数据异常检测方法，尤其是对由滑动时间窗口产生的序列数据样本的异常检测方法。

“异常”的定义因任务需求的不同而不同。在这项工作中，异常检测的目的是提高设备健康状态的预测准确度，因此，检测应该基于预测任务。注意到序列数据样本可能会被不同程度的噪声不同比例地污染，而某些这样的样本还有助于预测模型的建立，只有那些不利于预测模型的噪声样本才需要被检测并去掉。因此应该被检测和去掉的是噪声样本而不是监测数据中的含噪数据点。多变量序列通常会被转换为单变量序列以便进行聚类，在一些基于深度学习的无监督异常检测方法中，多变量序列通过自编码器被转换为单变量序列。然而这些方法建立在训练集中正常样本占多数的假设之上，而且自编码器的训练与预测任务毫无关系。因此，亟需一种新的方法将多变量序列根据预测任务转换为单变量序列。

发明内容

本发明针对上述现有技术中的缺陷，提出一种用于噪声环境工业设备的健康状态预测方法，该方法的目的在于，在无监督的情况下，检测出因为噪声过大而不利于建立预测模型的序列数据样本，并将其去掉从而建立准确度更高的预测模型。该方法基于深度学习及无监督噪声样本检测进行，该方法使用滑动时间窗口方法生成样本；然后建立带注意力机制的转换模型，将多变量输入序列转换为与预测相关的注意力权重向量。用一种新的聚类方法来检测噪声样本，在该方法中对注意力权重向量进行层次聚类，从而得到了每一个子类的两个数值，这两个数值不依赖任何超参数。基于这两个数值和阈值，就可以检测出噪声样本并将其去除，从而可以训练出预测准确度更高的预测模型。

本发明的具体方案如下：本发明提供一种用于噪声环境工业设备的健康状态预测方法，该方法基于深度学习及无监督噪声样本检测进行，其包括以下步骤：

步骤S1，使用设置在工业设备上的传感器获取含有噪声的监测数据；

步骤S2，使用窗口大小为s_tw的滑动时间窗口基于含有噪声的监测数据生成多个序列数据样本；

步骤S3，使用带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T；

步骤S4，基于平均连接算法的自底向上的层次聚类算法将注意力权重向量α_T进行聚类，去掉异常类中的注意力权重向量α_T对应的序列数据样本，使用剩下的序列数据样本训练LSTM预测模型；其中所述基于平均连接算法的自底向上的层次聚类算法将注意力权重向量α_T进行聚类的操作为：在早期的迭代中，将由滑动时间窗口连续产生的几个样本的注意力权重向量α_T聚在一起，之后，将由正常样本的α_T构成的子类会聚在一起，在较高的层级中，由噪声样本的α_T构成的异常类和其他差异较大的差异子类合并，将一个子类中包含的α_T原始目标个数作为该子类的局部密度ρ，被合并的两个子类拥有同样的距离δ，距离δ为二者之间基于平均连接算法的距离，将同时具有较大距离δ和较小局部密度ρ的子类确定成是由噪声样本的α_T组成的异常类，即找到距离δ大于距离阈值δ_th且局部密度ρ小于密度阈值ρ_th的子类为异常类，从而完成异常类的检测，去掉异常类中α_T对应的序列数据样本，使用剩下的序列数据样本训练LSTM预测模型；

步骤S5，使用训练好的LSTM预测模型预测工业设备的健康状态；

其中，所述注意力机制的转换模型包括由LSTM网络构成的编码器和解码器以及注意力模块，所述编码器的输出作为所述注意力模块的输入，所述注意力模块的输出作为解码器的输入，所述注意力模块包括拼接层和全连接层。

更进一步地，所述监测数据包括反映目标设备健康状态、工作环境或载荷的多个传感器监测数据。

更进一步地，对于每个序列数据样本，在时间窗口范围内的所有传感器监测数据共同构成带注意力机制的转换模型和LSTM预测模型的输入矩阵；对于每个输入矩阵，最后T个时间步对应的健康状态作为该输入矩阵的目标输出序列；通过将时间窗口从传感器监测数据的第一个时间步滑动到最后一个时间步，能够获得包含输入矩阵和目标输出的序列数据样本，用于建立带注意力机制的转换模型和LSTM预测模型，其中所述时间窗口大小根据预实验的结果来决定。

更进一步地，使用所述带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T的操作为：

用X表示由滑动时间窗口产生的一个序列数据样本，其作为一个输入序列，

式(1)中，向量x_i表示在每一个时间步的传感器监测值，一个样本中共包含s_tw个时间步，N_m表示传感器的数量，R代表实数域；

输出序列y包含了最后T个时间步对应的健康状态：

y＝(y₁，y₂，...，y_T) (2)

通过编码器获得每一个输入序列的表征矩阵Rp为：

式(3)中，向量r_i代表每一个时间步的表征，共s_tw个时间步，f_encoder表示编码器函数；

然后，对每一个序列数据样本，所述注意力模块为其输出序列的每一个时间步产生一个注意力权重向量α_t为：

式(4)中，α_it是r_i的权重，表示所述输入序列的第i个时间步对预测输出序列的第t个时间步的重要程度，所述α_t由全连接网络计算得到，所述全连接网络用f_attention来表示，将表征矩阵Rp和解码器第一层的前一个时间步的隐藏状态h_t-1作为全连接网络的输入，并用softmax函数对其输出进行归一化，如下式(5)所示：

式中，α_t为注意力权重向量，h_t-1为解码器第一层的前一个时间步的隐藏状态；

将解码器第一层的前一个时间步的隐藏状态重复s_tw次以匹配表征矩阵Rp的维度，然后将重复后的h_t-1和表征矩阵Rp拼接起来，输入到所述注意力模块，h₀由另一个全连接网络计算得到，其输入是

获得α_t之后，基于下式(6)计算出预测输出序列第t个时间步使用的改进后的表征向量v_t，再将其输入到解码器中预测输出序列的第t个时间步，见式(7)；

y_t＝f_decoder(v_t) (7)

式中，f_decoder表示解码器函数，v_t为预测输出序列第t个时间步使用的改进后的表征向量，y_t为对应的预测结果；

对于输出序列的每一个时间步，α_t都如上述计算得到，由于对于一个样本的输出序列中，不同时间步的权重向量彼此很接近，因此，只使用最后一个时间步的注意力权重向量α_T来进行噪声样本检测。

更进一步地，当所述工业设备为涡扇发动机时，利用所述涡扇发动机的仿真数据预测剩余寿命，最后T个时间步对应的健康状态中，输出序列的长度T为：T＝20，窗口大小s_tw＝80，由此生成的序列数据样本能包含足够的设备退化信息，同时使建立模型所需的计算量最小，根据预实验结果，该取值下模型的效果最好的。

进而，当所述工业设备为工业铣床时，利用所述工业铣床的仿真数据预测铣刀的磨损量，所述T＝5，所述s_tw＝20，由此生成的序列数据样本包含足够的设备退化信息，同时使建立模型所需的计算量最小，而且根据预实验结果，该取值下模型的效果也是符合要求的。

更进一步地，两个子类之间的距离通过平均连接算法计算得到，即子类M和子类N之间的距离dist(M，N)为：

式(8)中，|M|和|N|分别代表子类M和N中包含的原始目标的个数，D(m，n)代表两个原始目标m和n之间的欧氏距离。

更进一步地，对获取含有噪声的监测数据使用式(9)进行归一化处理，

式(9)中，x^(i，m)代表第m个传感器的第i个原始数据点，

代表归一化后的x^{(i ，m)}，

和

代表第m个传感器在第c个工况下的最大值和最小值。

更进一步地，所述LSTM预测模型包括多层LSTM层；如果可获得的传感器监测数据的时间步不足s_tw，则在数据末尾用零补足，并在预测模型前插入一层遮蔽层以跳过填充的时间步，在预测模型中没有使用注意力机制，输出序列的长度为1。

更优选的是，所述步骤S5具体包括：从待预测的工业设备的传感器监测数据中，取最接近当前时间的s_tw个时间步的数据组成序列数据，若能获得的传感器监测数据的时间步不足s_tw，则在序列数据末尾用零补足，将得到的待预测的工业设备的序列数据输入到已训练好的LSTM预测模型，从而输出所述工业设备的当前健康状态。

与现有技术相比较，本发明的具有以下有益效果：

本发明的一种用于噪声环境工业设备的健康状态预测方法，该方法基于深度学习及无监督噪声样本检测进行，其首先使用滑动时间窗口方法生成样本；然后建立带注意力机制的转换模型，将多变量的序列数据样本的输入转换为与预测相关的注意力权重向量。用一种新的无监督检测方法来检测噪声样本，在该方法中对注意力权重向量进行层次聚类，从而得到了每一个子类的两个数值，这两个数值不依赖任何超参数。基于这两个数值和阈值，就可以检测出噪声样本并将其去除，从而可以训练出预测准确度更高的预测模型。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1为本发明一种用于噪声环境工业设备的健康状态预测方法的流程图；

图2为本发明带注意力机制的转换模型的结构示意图；

图3为本发明一个实验中添加噪声的方式示意图；

图4为本发明FD024中加噪前和加噪后的数据对比示意图；

图5为本发明C-MAPSS数据集中不同样本的注意力权重示意图；

图6为本发明一个实验中的系统树图的最高几层示意图；

图7为本发明C-MAPSS数据集中α_T的可视化示意图；

图8为本发明铣床数据集训练集中归一化后的所选择的特征示意图；

图9为本发明铣床数据集中不同样本的注意力权重示意图；以及

图10为本发明铣床数据集中α_T的可视化示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明旨在提供一种用于噪声环境工业设备的健康状态预测方法，该方法基于深度学习及无监督噪声样本检测进行，其包括以下步骤：

步骤S1，使用设置在工业设备上的传感器获取含有噪声的监测数据；传感器可以是振动传感器、温度传感器等等。

步骤S2，使用窗口大小为s_tw的滑动时间窗口基于含有噪声的监测数据生成多个序列数据样本；滑动时间窗口的大小可根据预实验效果确定。

步骤S3，使用带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T；本发明中使用注意力机制将多变量的序列数据样本转换为了单变量的注意力权重向量，这些向量表明了输入序列中每个时间步对预测的重要程度。注意力权重向量与预测任务密切相关，且被不同程度噪声干扰的样本有不同的注意力权重向量，因此，基于这些向量，那些对预测模型有不利影响的噪声样本可以被检测出来。

步骤S4，基于平均连接算法的自底向上的层次聚类算法将α_T进行聚类，去掉异常类中的α_T对应的序列数据样本，使用剩下的序列数据样本训练LSTM预测模型；本发明的聚类方式首先对样本进行层次聚类，然后，得到每一个子类的两个量，这两个量不依赖于任何超参数，根据这些量和两个阈值，由噪声样本的α_T组成的异常子类可以被检测出来。下面将详细进行介绍该聚类算法。

步骤S5，使用训练好的LSTM预测模型预测工业设备的健康状态；注意力机制的作用是让解码器能够在预测输出序列中不同时间步时关注不同的表征向量。然而预测健康状态时只需要关注输出序列的最后一个时间步。此外，通过实验可以发现，输出序列中不同时间步的注意力权重向量十分相似，这说明注意力机制对于预测健康状态并没有什么用。因此，在预测模型中没有使用注意力机制，输出序列的长度为1。

如图2所示，带注意力机制的转换模型包括由LSTM网络构成的编码器和解码器以及注意力模块，编码器的输出作为注意力模块的输入，注意力模块的输出作为解码器的输入，注意力模块包括拼接层和全连接层。

在一个实施例中，监测数据包括反映目标设备健康状态、工作环境或载荷的多个传感器监测数据。对于每个序列数据样本，在时间窗口范围内的所有传感器监测数据共同构成带注意力机制的转换模型和LSTM预测模型的输入矩阵；对于每个输入矩阵，最后T个时间步对应的健康状态作为该输入矩阵的目标输出序列；通过将时间窗口从传感器监测数据的第一个时间步滑动到最后一个时间步，能够获得包含输入矩阵和目标输出的序列数据样本，用于建立带注意力机制的转换模型和LSTM预测模型，其中时间窗口大小根据预实验的结果来决定。

在一个实施例中，使用带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T的操作为：

用X表示由滑动时间窗口产生的一个序列数据样本，其作为一个输入序列，

式(1)中，向量x_i表示在每一个时间步的传感器监测值，一个样本中共包含s_tw个时间步，N_m表示传感器的数量，R代表实数域；

输出序列y包含了最后T个时间步对应的健康状态：

y＝(y₁，y₂，...，y_T) (2)；

通过编码器获得每一个输入序列的表征矩阵Rp为：

式(3)中，向量r_i代表每一个时间步的表征，共s_tw个时间步，f_encoder表示编码器函数；

然后，对每一个序列数据样本，注意力模块为其输出序列的每一个时间步产生一个注意力权重向量α_t为：

式(4)中，α_it是r_i的权重，表示输入序列的第i个时间步对预测输出序列的第t个时间步的重要程度，α_t由全连接网络计算得到，该网络用f_attention来表示，将Rp和解码器第一层的前一个时间步的隐藏状态h_t-1作为全连接网络的输入，并用softmax函数对其输出进行归一化，如下式(5)所示：

式中，α_t为注意力权重向量，h_t-1为解码器第一层的前一个时间步的隐藏状态；

将解码器第一层的前一个时间步的隐藏状态重复s_tw次以匹配Rp的维度，然后将重复后的h_t-1和Rp拼接起来，输入到注意力模块，h₀由另一个全连接网络计算得到，其输入是

获得α_t之后，基于下式(6)计算出预测输出序列第t个时间步使用的改进后的表征向量v_t，再将其输入到解码器中预测输出序列的第t个时间步，见式(7)；

y_t＝f_decoder(v_t) (7)

式中，f_decoder表示解码器函数，v_t为预测输出序列第t个时间步使用的改进后的表征向量，y_t为对应的预测结果；

对于输出序列的每一个时间步，α_t都如上述计算得到，由于对于一个样本的输出序列中不同时间步的权重向量彼此很接近，因此，只使用最后一个时间步的注意力权重向量α_T来进行噪声样本检测。在本发明中，注意力机制被用来挖掘输入序列和健康状态的内在联系，实验表明，所获得的表明各时间步重要性的注意力权重对不同的样本有不同的表现。因此，作为预测模型的额外输出，注意力权重向量可以反映数据质量，并用于样本聚类。这是本发明的一个重要发明点。

在一个实施例中，基于平均连接算法的自底向上的层次聚类算法将α_T进行聚类的操作为：在早期的迭代中，由滑动时间窗口连续产生的几个样本的α_T会被聚在一起，之后，由正常样本的α_T构成的子类会被聚在一起，在较高的层级中，由噪声样本的α_T构成的异常类才会和其他差异较大的差异子类合并，将一个子类中包含的α_T原始目标个数作为该子类的局部密度ρ，被合并的两个子类拥有同样的δ，δ为二者之间的基于平均连接算法的距离，因此，有较大δ和较小ρ的子类就可以被认为是由噪声样本的α_T组成的异常类，即找到那些距离δ大于距离阈值δ_th且局部密度ρ小于密度阈值ρ_th的子类，从而完成异常类的检测。

在一个优选的实施例中，当工业设备为涡扇发动机时，利用涡扇发动机的仿真数据预测其剩余寿命，最后T个时间步对应的健康状态中，输出序列的长度T为：T＝20，窗口大小s_tw＝80，由此生成的序列数据样本能包含足够的设备退化信息，同时使建立模型所需的计算量最小，根据预实验结果，该取值下模型的效果最好的。

进而，在一个优选的实施例中，当工业设备为工业铣床时，利用工业铣床的仿真数据预测铣刀的磨损量，所述T＝5，所述s_tw＝20，由此生成的序列数据样本包含足够的设备退化信息，同时使建立模型所需的计算量最小，而且根据预实验结果，该取值下模型的效果也是符合要求的。

更进一步地，两个子类之间的距离通过平均连接算法计算得到，即子类M和子类N之间的距离dist(M，N)为：

式(8)中，|M|和|N|分别代表子类M和N中包含的原始目标的个数，D(m，n)代表两个原始目标m和n之间的欧氏距离。

在一个实施例中，对获取含有噪声的监测数据使用式(9)进行归一化处理，

式(9)中，x^(i，m)代表第m个传感器的第i个原始数据点，

代表归一化后的x^{(i ，m)}，

和

代表第m个传感器在第c个工况下的最大值和最小值。

在一个实施例中，LSTM预测模型包括多层LSTM层；如果可获得的传感器监测数据的时间步不足s_tw，则在数据末尾用零补足，并在预测模型前插入一层遮蔽层以跳过填充的时间步，在预测模型中没有使用注意力机制，输出序列的长度为1。

在一个实施例中，从待预测的工业设备的传感器监测数据中，取最接近当前时间的s_tw个时间步的数据组成序列数据，若能获得的传感器监测数据的时间步不足s_tw，则在序列数据末尾用零补足，将得到的待预测的工业设备的序列数据输入到已训练好的LSTM预测模型，即可输出该设备的当前健康状态。

具体实施例一：

以涡扇发动机进行仿真实验。本实验使用一个由涡扇发动机仿真程序，即商用模块化航空推进系统仿真(C-MAPSS)生成的数据集，来验证本发明方法的有效性。

这个数据集包含四个子集，分别用FD001，FD002，FD003和FD004表示。每个子集都包含一个训练集和一个测试集。训练集中包含多个同类型发动机的21个传感器和3个工况传感器的全寿命周期监测数据。在子集FD001和FD003中，各发动机所经历的工况保持不变，而在FD002和FD004中，工况在不断变化。因此，子集FD002和FD004的输入序列中包含工况传感器数据，而FD001和FD003中不包含。所以我们将FD001和FD003合并为一个数据集，将FD002和FD004合并为另一个数据集，分别用FD013和FD024表示。注意到数据集中的21个传感器中，有7个传感器数据在同一工况下始终保持不变，这些数据被去除掉。在FD024中，发动机共经历了6种工况，用独热向量对其进行编码，来表示这6种工况，因此FD013的输入序列的传感器个数N_m等于14，而其在FD024中等于20。本发明设计了两组实验分别用这两个合并后的数据集验证所提出的方法。

首先，给训练集中除工况数据外的传感器数据添加高斯白噪声，以获得含噪数据。为此设计了一系列实验，在每个实验中，给训练集中每h个发动机的连续p个时间步的数据添加高斯白噪声。所添加的噪声的标准差σ在σ₁，σ₂和σ₃中循环取值。图3展示了在一个实验中添加噪声的方式。

不同传感器的监测数据在幅值上差异较大，同一传感器在不同工况下的监测数据的幅值也有较大差异。为了使监测数据在同一个量级内，对监测数据在各工况下进行归一化，再给归一化后的数据添加高斯白噪声。这个过程如下式所示：

式(9)、(10)中，x^(i，m)代表第m个传感器的第i个原始数据点，

代表归一化后的x^(i，m)，

和

代表第m个传感器在第c个工况下的最大值和最小值。ε～N(0，σ)代表添加到归一化后的数据的噪声，ε′代表添加到原始数据的噪声。在本案例中σ₁＝0.1，σ₂＝0.3，σ₃＝0.5.FD013和FD024的两组实验中分别设计了15个h和p不同取值的实验。图4展示了FD024中三个发动机的11号传感器的归一化后的原始监测数据和对应加了噪声之后的数据，加了噪声的数据用矩形标注了出来。

在使用本数据集的相关研究中，通常要使用一个分段线性函数来构建剩余寿命标签。根据数据的特点，假设在设备早期剩余寿命的值是一个常数，用R_e来表示。在本发明中取R_e等于125。这样修改后的剩余寿命标签用于训练模型，在计算模型预测误差时，仍使用修改前的剩余寿命标签。

然后，使用滑动时间窗口获得序列数据样本，使用准备好的样本建立带注意力机制的转换模型和预测模型。由训练集获得的样本按照10∶1∶1的比例划分为训练组、验证组以及测试组。训练组的样本用来训练模型，验证组的样本用来确定聚类阈值和训练轮数，测试组的样本用来确定模型的超参数。由测试集获得的样本用来计算预测模型的预测准确度。注意到测试集中一些设备的监测数据不够时间窗口大小s_tw，在这些监测数据的末尾添加0来保证序列数据样本的维度不变，在预测模型输入层后增加一个掩蔽层(maskinglayer)从而跳过这些添加的数据。

在每一个实验中，首先建立一个LSTM预测模型，然后用所提出的方法去除噪声样本，再用剩下的样本建立一个新的LSTM预测模型。通过对比两个预测模型的预测准确度，可以验证所提出的方法的有效性。

实验结果及分析。首先，研究时间窗口大小的影响。根据实验结果，在本案例中选取T＝20，s_tw＝80。虽然更大的时间窗口可以得到更小的预测误差，但是当s_tw超多80以后，误差只用微小的减小。然后，建立带注意力机制的转换模型，从而得到每个样本的α_T。图5展示了四个被不同强度噪声污染的样本的α_T，可以发现，对于正常样本，注意力权重随着时间步的增加而变大，这表明越接近当前状态的时间步对预测结果有更大的影响，这也符合人类的直观认识。然而，噪声样本的α_T有着不同的表现，并且被越强的噪声污染的样本的α_T与正常样本的α_T差异越大。因此，可以通过α_T来检测噪声样本。之后，对α_T进行聚类分析。图6展示了一个实验中由层次聚类所得的系统树图的最高的几个层级。图中每个圆圈或矩形代表了一个子类，里面的数字代表了该子类中所包含的α_T原始目标的个数，这个数字便是该子类的局部密度ρ。矩形代表异常类。可以发现，在较高层级被合并的两个子类的局部密度ρ有较大差异，其中一个很小。在高层级中的且ρ这样小的子类就被认为是异常类。

找出这些异常类中的α_T对应的样本，并将其去掉。用t-SNE技术可视化一台设备的样本的α_T，结果如图7所示。图中矩形代表后40个时间步中至少有一个时间步的数据被噪声污染的样本的α_T，其余的用圆形表示。用实心的符号表示对应样本被检测为噪声样本。可以发现，正常样本被聚在一块，而噪声样本彼此之间相对较远。

表1和表2给出了检测和预测结果。每个表都给出了被检测出来的被不同强度噪声污染的样本的个数，以及检测前后两个LSTM预测模型在测试集上的预测准确度。这里，使用均方根误差(RMSE)和PHM'08会议数据挑战比赛中使用的得分函数(Score)来评价预测模型的预测准确度。

表1.FD013的检测和预测结果

表2.FD024的检测和预测结果

在两组实验中，分别有99.89％和92.85％的被检测样本是被噪声污染的。事实上通过减小距离阈值δ_th，可以检测出更多的被噪声污染的样本，但是检测的目的是要提高预测准确度，有些被噪声污染的样本并不会对模型的准确度有不好的影响，这些样本就不应该被检测出来。另外应该指出，h和p更大的实验中并不一定包含更多的噪声样本，一个原因是加噪声的起始点是随机选取的，而这对样本的质量有直接影响。

去掉检测出来的噪声样本后，两组实验的Score分别平均减小了8.06％和18.82％，证明了所提出的方法的有效性。

具体实施例二：

本发明使用一个铣床的真实监测数据来验证所提方法的有效性。在本实施例中，使用六个传感器获得的监测数据来预测铣刀的磨损量。

这个数据集包含16把刀，每把刀经历了不同的工作次数，每一次工作中六个传感器都记录了9000个数据点，只使用在稳定工作状态的后5000个数据点来预测当前的铣刀磨损量。在本实施例中，只选用7号、13号、3号和11号刀的数据，因为这些刀的数据量最大。表3给出了这四把刀的实验条件，它们分别属于两种不同的实验条件，因此设计了两组实验分别对这两种实验条件的数据进行案例分析。13号和11号刀作为训练集建立模型，7号和3号刀作为测试集来评价模型。

表3.四把刀的实验条件

从6个传感器监测数据中分段提取出一些统计特征。这些特征包括均值(MV)、均方差(MSE)、方均根(SMR)、均方根(RMS)、最大绝对值误差(MA)、偏度(SF)、峭度(KF)、波峰因子(CF)以及边缘因子(MF)，其计算公式如表4所示，其中L表示每一个时间段所含的数据点个数，此案例中取L等于50。

表4.统计特征的计算公式

为了降低特征的维度，根据特征在铣刀整个寿命周期中的变化趋势进行特征选择。表5列出来在本案例中选取的特征，其在寿命周期内归一化后的值如图8所示。

表5.用于预测的所选择的特征.

在提取特征之前，给训练集中的传感器监测数据添加不同程度的噪声。在每一个实验中，训练集数据中每h个工作次数的连续p个时间步的数据添加了高斯白噪声，噪声的标准差按照

循环设置，其中dif_i＝max(y_i)-min(y_i)表示第i个传感器监测数据的最大值与最小值之差。每组实验包含8个不同h和p取值的实验。

基于铣刀每次工作的数据的特征，通过滑动时间窗口方法可以获得样本，对应的磨损量作为模型的输出，建立LSTM预测模型。在每一个实验中，首先用全部样本建立一个LSTM预测模型，然后通过所提出的检测方法去掉噪声样本，再用剩下的样本建立一个新的LSTM预测模型。通过对比前后两个LSTM预测模型的预测准确度可以验证所提出的方法的有效性。

首先，根据实验结果，选取滑动时间窗口大小为20，建立带注意力机制的转换模型时输出序列的长度为5。

然后，通过滑动时间窗口获得序列数据样本，建立带注意力机制的转换模型，从而获得每个样本的α_T。四个被不同强度噪声干扰的样本的α_T如图9所示。可以发现正常样本的注意力权重随着时间步的增加而缓慢增加，这是因为输入序列中每一个时间步的值差不多，且越接近当前时刻的时间步越重要。然而噪声样本的α_T有不同的表现。

接着，对α_T进行层次聚类并找出异常类。异常类中的原始目标α_T所对应的样本就被认为是噪声样本，需要被去除掉。通过t-SNE技术可视化由一次工作中的监测数据产生的样本的注意力权重，结果如图10所示，图中矩形代表后10个时间步中至少有一个时间步的数据被噪声干扰的样本的α_T，其余的用圆形表示。用实心的符号表示对应样本被检测为噪声样本。

表6和表7给出了检测结果和预测结果，二者都给出了被检测出来的被不同强度的噪声干扰的样本的数量，以及检测前后的预测模型的预测准确度。这里，用平均绝对误差(MAE)和均方根误差(RMSE)来评估模型的预测准确度。

表6.13号和7号刀的检测和预测结果

表7.11号和3号刀的检测和预测结果

在两组实验中，分别有94.95％和97.40％的被检测样本是被噪声干扰的。事实上通过减小距离阈值δ_th，可以检测出更多的被噪声污染的样本，但是检测的目的是要提高预测准确度，有些被噪声污染的样本并不会对模型的准确度有不好的影响，这些样本就不应该被检测出来。去掉检测出来的噪声样本后，两组实验的RMSE分别平均减小了9.88％和16.06％，证明了本发明的方法的有效性。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用于噪声环境工业设备的健康状态预测方法，该方法基于深度学习及无监督噪声样本检测进行，其特征在于，其包括以下步骤：

步骤S1，使用设置在工业设备上的传感器获取含有噪声的监测数据；

步骤S2，使用窗口大小为s_tw的滑动时间窗口基于含有噪声的监测数据生成多个序列数据样本；

步骤S3，使用带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T；

步骤S4，基于平均连接算法的自底向上的层次聚类算法将注意力权重向量α_T进行聚类，去掉异常类中的注意力权重向量α_T对应的序列数据样本，使用剩下的序列数据样本训练LSTM预测模型；其中所述基于平均连接算法的自底向上的层次聚类算法将注意力权重向量α_T进行聚类的操作为：在早期的迭代中，将由滑动时间窗口连续产生的几个样本的注意力权重向量α_T聚在一起，之后，将由正常样本的α_T构成的子类会聚在一起，在较高的层级中，由噪声样本的α_T构成的异常类和其他差异较大的差异子类合并，将一个子类中包含的α_T原始目标个数作为该子类的局部密度ρ，被合并的两个子类拥有同样的距离δ，距离δ为二者之间基于平均连接算法的距离，将同时具有距离δ和局部密度ρ的子类确定成是由噪声样本的α_T组成的异常类，即找到距离δ大于距离阈值δ_th且局部密度ρ小于密度阈值ρ_th的子类为异常类，从而完成异常类的检测，去掉异常类中α_T对应的序列数据样本，使用剩下的序列数据样本训练LSTM预测模型；以及

步骤S5，使用训练好的LSTM预测模型预测工业设备的健康状态；

其中，所述注意力机制的转换模型包括由LSTM网络构成的编码器和解码器以及注意力模块，所述编码器的输出作为所述注意力模块的输入，所述注意力模块的输出作为解码器的输入，所述注意力模块包括拼接层和全连接层。

2.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，所述监测数据包括反映目标设备健康状态、工作环境或载荷的多个传感器监测数据。

3.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，对于每个序列数据样本，在时间窗口范围内的所有传感器监测数据共同构成带注意力机制的转换模型和LSTM预测模型的输入矩阵；对于每个输入矩阵，最后T个时间步对应的健康状态作为该输入矩阵的目标输出序列；通过将时间窗口从传感器监测数据的第一个时间步滑动到最后一个时间步，能够获得包含输入矩阵和目标输出的序列数据样本，用于建立带注意力机制的转换模型和LSTM预测模型，其中所述时间窗口大小根据预实验的结果来决定。

4.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，使用所述带注意力机制的转换模型针对每一个序列数据样本生成注意力权重向量α_T的操作为：

用X表示由滑动时间窗口产生的一个序列数据样本，其作为一个输入序列，

式(1)中，向量x_i表示在每一个时间步的传感器监测值，一个样本中共包含s_tw个时间步，N_m表示传感器的数量，R代表实数域；

输出序列y包含了最后T个时间步对应的健康状态：

y＝(y₁，y₂，...，y_T) (2)

通过编码器获得每一个输入序列的表征矩阵Rp为：

式(3)中，向量r_i代表每一个时间步的表征，共s_tw个时间步，f_encoder表示编码器函数；

然后，对每一个序列数据样本，所述注意力模块为其输出序列的每一个时间步产生一个注意力权重向量α_t为：

式(4)中，α_it是r_i的权重，表示所述输入序列的第i个时间步对预测输出序列的第t个时间步的重要程度，所述α_t由全连接网络计算得到，所述全连接网络用f_attention来表示，将表征矩阵Rp和解码器第一层的前一个时间步的隐藏状态h_t-1作为全连接网络的输入，并用softmax函数对其输出进行归一化，如下式(5)所示：

式中，α_t为注意力权重向量，h_t-1为解码器第一层的前一个时间步的隐藏状态；

将解码器第一层的前一个时间步的隐藏状态重复s_tw次以匹配表征矩阵Rp的维度，然后将重复后的h_t-1和表征矩阵Rp拼接起来，输入到所述注意力模块，h₀由另一个全连接网络计算得到，其输入是

获得α_t之后，基于下式(6)计算出预测输出序列第t个时间步使用的改进后的表征向量v_t，再将其输入到解码器中预测输出序列的第t个时间步，见式(7)；

y_t＝f_decoder(v_t) (7)

式中，f_decoder表示解码器函数，v_t为预测输出序列第t个时间步使用的改进后的表征向量，y_t为对应的预测结果；

对于输出序列的每一个时间步，α_t都如上述计算得到，由于对于一个样本的输出序列中，不同时间步的权重向量彼此很接近，因此，只使用最后一个时间步的注意力权重向量α_T来进行噪声样本检测。

5.根据权利要求3所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，当所述工业设备为涡扇发动机时，利用所述涡扇发动机的仿真数据预测剩余寿命，最后T个时间步对应的健康状态中，输出序列的长度T为：T＝20，窗口大小s_tw＝80，由此生成的序列数据样本能包含足够的设备退化信息，同时使建立模型所需的计算量最小。

6.根据权利要求3所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，当所述工业设备为工业铣床时，利用所述工业铣床的仿真数据预测铣刀的磨损量，所述T＝5，所述s_tw＝20，由此生成的序列数据样本包含足够的设备退化信息，同时使建立模型所需的计算量最小。

7.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，两个子类之间的距离通过平均连接算法得到，子类M和子类N之间的距离dist(M，N)为：

式(8)中，|M|和|N|分别代表子类M和N中包含的原始目标的个数，D(m，n)代表两个原始目标m和n之间的欧氏距离。

8.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，对获取含有噪声的监测数据使用式(9)进行归一化处理，

式(9)中，x^(i，m)代表第m个传感器的第i个原始数据点，

代表归一化后的x^(i，m)，

和

代表第m个传感器在第c个工况下的最大值和最小值。

9.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，所述LSTM预测模型包括多层LSTM层；如果能获得的传感器监测数据的时间步不足s_tw，则在数据末尾用零补足，并在预测模型前插入一层遮蔽层以跳过填充的时间步，在预测模型中没有使用注意力机制，输出序列的长度为1。

10.根据权利要求1所述的用于噪声环境工业设备的健康状态预测方法，其特征在于，所述步骤S5具体包括：从待预测的工业设备的传感器监测数据中，取最接近当前时间的s_tw个时间步的数据组成序列数据，若能获得的传感器监测数据的时间步不足s_tw，则在序列数据末尾用零补足，将得到的待预测的工业设备的序列数据输入到已训练好的LSTM预测模型，从而输出所述工业设备的当前健康状态。

Images