CN112862209A - 一种工业设备监测数据预测方法 - Google Patents

Abstract

本发明公开了一种工业设备监测数据预测方法，包括：S1、获取工业设备监测数据序列，工业设备监测数据序列包括第一时刻到t‑1时刻的工业设备监测数据；S2、将工业设备监测数据序列输入基于多头注意力机制的预测模型；S3、输出t时刻的工业设备预测数据。传统的RNN以及类似结构LSTM和GRU,在对长序列的样本进行训练时，其自身的内存限制将阻碍对训练样本的批处理，训练效率低下。本发明中，采取了多头注意力机制，能够有效提高训练效率，进而提高工业设备监测数据预测的效率。

Description

一种工业设备监测数据预测方法

技术领域

本发明涉及工业设备监测技术领域，具体涉及一种工业设备监测数据预测方法。

背景技术

近年来,随着工业4.0时代的到来,工业大数据成为一个重要的研究课题。工业设备由于生产流程复杂、传感器数量众多且取样频率快,在短时间内容易累积大量的数据,其主要呈现出机理模型复杂、时间序列排布、数据依赖性强、数据维度高且存在大量无标签数据等特点,如有特殊工况发生常常会产生较大的经济损失,因此若能对生产过程中出现的异常进行及时的预测,将会提高整个生产过程的效率,从而产生较大的应用价值。

目前已经存在的工业设备监测数据的预测方法中，基于LSTM和GRU深度学习算法的模型应用最广泛。RNN、LSTM和GRU网络已在序列模型、语言建模、机器翻译等应用中取得不错的效果，循环结构(RNN)的语言模型和编码器-解码器体系结构也取得了不错的进展。但是，RNN以及类似结构的LSTM和GRU由于固有的顺序属性阻碍了训练样本间的并行化，对于长序列的训练样本，内存限制阻碍了对训练样本的批量处理，训练效率低下。

因此，如何提高循环结构的训练效率，进而提高工业设备监测数据预测的效率，成为了本领域技术人员急需解决的问题。

发明内容

针对上述现有技术的不足，本发明实际解决的问题是：提高循环结构的训练效率。

本发明采用了如下的技术方案：

一种工业设备监测数据预测方法，包括：

S1、获取工业设备监测数据序列，工业设备监测数据序列包括第一时刻到t-1时刻的工业设备监测数据；

S2、将工业设备监测数据序列输入基于多头注意力机制的预测模型；

S3、输出t时刻的工业设备预测数据。

优选地，步骤S2包括：

S201、对工业设备监测数据序列进行经验小波变换，分解为多个不同频率的IMF分量序列；

S202、将各IMF分量序列输入基于多头注意力机制的预测模型；

S203、输出各IMF分量序列对应的t时刻的工业设备预测分量；

S204、对各工业设备预测分量进行经验小波逆变换，合成t时刻的工业设备预测数据。

优选地，步骤S202与步骤S203之间还包括：

剔除IMF分量序列中的异常数据，并进行线性插值补足IMF分量序列的连续性。

优选地，基于多头注意力机制的预测模型包括编码模块和解码模块；

编码模块包括第一嵌入层、因果卷积层、多个编码层；第一嵌入层用于将IMF分量序列中的第一时刻到t-2时刻的IMF分量数据进行降维；因果卷积层用于从降维后的第一时刻到t-2时刻的IMF分量数据中提取特征信息；每个编码层都包括第一多头注意力机制单元、第一融合-归一化单元、第一前馈单元、第二融合-归一化单元，第一多头注意力机制单元用于从特征信息中提取第一注意力信息，第一融合-归一化单元用于将第一注意力信息与特征信息融合后归一化得到第一归一化信息，第一前馈单元用于在第一归一化信息中加入非线性因素，第二融合-归一化单元用于将第一归一化信息及加入非线性因素的第一归一化信息融合后归一化得到第二归一化信息，并将第二归一化信息作为新的特征信息；

解码模块包括第二嵌入层、多个解码层及映射层；第二嵌入层用于将IMF分量序列中的t-1时刻的IMF分量数据进行升维；每个解码层包括掩模多头注意力机制单元、第三融合-归一化单元、第二多头注意力机制单元、第四融合-归一化单元、第二前馈单元、第五融合-归一化单元，掩模多头注意力机制单元用于从升维后的t-1时刻的IMF分量数据中提取掩模注意力信息，第三融合-归一化单元用于将升维后的t-1时刻的IMF分量数据及掩模注意力信息融合后归一化得到第三归一化信息，第二多头注意力机制单元用于从第三归一化信息及最后一个编码层生成的特征信息中提取第二注意力信息，第四融合-归一化单元用于将第三归一化信息及第二注意力信息融合后归一化得到第四归一化信息，第二前馈单元用于在第四归一化信息中加入非线性因素，第五融合-归一化单元用于将第四归一化信息及加入非线性因素的第四归一化信息融合后归一化得到第五归一化信息，并将第五归一化信息作为新的特征信息；映射层用于将最后一个解码层的特征信息映射为t时刻的工业设备预测分量。

优选地，还包括：

S4、将t时刻的工业设备预测数据与预设阈值进行比较，若t时刻的工业设备预测数据超过预设阈值，则进行告警。

优选地，还包括：

S5、显示t时刻的工业设备预测数据与告警信息。

综上所述，本发明与现有技术相比，具有以下优势：

(1)传统的RNN以及类似结构LSTM和GRU,在对长序列的样本进行训练时，其自身的内存限制将阻碍对训练样本的批处理，训练效率低下。本发明中，采取了多头注意力机制，能够有效提高训练效率，进而提高工业设备监测数据预测的效率。本发明中，多头注意力机制，实际上就是寻找Q,V,K序列在多个不同空间之间的关联关系，从而更好的捕捉序列之间隐藏的特征关系，因此，本发明在训练样本时可以并行化，对内存要求较低。此外，多头注意力机制，类似CNN中的多核，可以更好的捕捉丰富的特征信息，在预测工业设备监测数据上效果优于使用传统循环神经网络结构的模型。

(2)本发明中，首先对工业设备监测数据序列进行经验小波变换，和现有技术中直接使用STL分解或者不分解的方法相比，本发明的方法可以较为普遍的适用于周期性强或弱的工业设备监测数据，不需要事先检查数据的时间相关性强弱，也不需要进行季节性相关的STL分解，大大扩宽了本发明公开的方法的适用范围。

(3)因为经过变换分解得到的高频分量部分剔除了原序列的长期变化趋势信息而保留了原序列的一些突变成分和噪声信息，为了保证最终预测结果的准确，因此本发明需要对IMF分量序列进行数据清洗。优选孤立森林的无监督学习方法进行数据清洗，该算法具有线性复杂度和低内存开销的特性，并且对于异常数据在总体数据中占小部分的样本中结果比DBSCAN或者基于密度的LOF方法更好。在剔除了异常数据后，为保证数值的连贯性和序列长度不变，在空缺位置可使用线性插值的办法插入新值。

(4)如果在提取注意力信息时使用的是线性变换，会由于没有考虑到各个位置的局部环境，使得结果容易受到异常值的干扰，导致准确度降低，本发明中使用了因果卷积，它替代了线性变换，遵循时间序列中未来时刻的数据不会影响当前时间点数据的原则，进行特征提取，因为卷积可以捕捉局部信息，在提取注意力信息之前先经过一层因果卷积层，就可以在Multi-Head Attention中引入局部信息，降低异常值对于预测的干扰，提高预测的准确率。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明公开的一种工业设备监测数据预测方法的方法流程图；

图2为本发明公开的一种工业设备监测数据预测方法中基于多头注意力机制的预测模型的工作流程图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明公开了一种工业设备监测数据预测方法，包括：

S1、获取工业设备监测数据序列，工业设备监测数据序列包括第一时刻到t-1时刻的工业设备监测数据；

本发明中，可将传感器安放在工业设备的不同位置上，以固定频率采集工业设备监测数据，数据格式类型诸如：{X1,X2,X3,…,Xt-1}，Xn表示n时刻采集的工业设备监测数据，n＝1,2,3，…，t-1，一个时刻的工业设备监测数据可以包括多种，因此，Xn＝{监测数据1，监测数据2，监测数据3，…}。以固定频率采集的工业设备监测数据可经过数据传输装置传输到处理器，处理器可对这些数据进行初步清洗，清洗后的工业设备监测数据会持久化到数据库中。

S2、将工业设备监测数据序列输入基于多头注意力机制的预测模型；

S3、输出t时刻的工业设备预测数据。

传统RNN模型中参数太多，计算量过大，而且它不可以进行并行计算。也就不能分开训练。多头注意力机制在捕捉时序数据之间的关系时，长程相关的数据，Multi-Head的数量越多，模型的长距离特征捕获能力越强。并且在寻找数据序列特征关系时，多头注意力机制通过在不同子空间寻找映射关系，避免了模型训练出现过拟合，此外该模型可以进行并行计算，分开训练，提高了训练效率，进而提高工业设备监测数据预测的效率。

具体实施时，步骤S2包括：

S201、对工业设备监测数据序列进行经验小波变换，分解为多个不同频率的IMF分量序列；

在将工业设备监测数据序列输入预测模型之前,可先进行经验小波变换，分解后得到不同频率的IMF分量序列，任意一个IMF分量序列可表示为{f1,f2,f3,…,ft-1}。

S202、将各IMF分量序列输入基于多头注意力机制的预测模型；

S203、输出各IMF分量序列对应的t时刻的工业设备预测分量；

S204、对各工业设备预测分量进行经验小波逆变换，合成t时刻的工业设备预测数据。

本发明中，首先对工业设备监测数据序列进行经验小波变换，和现有技术中直接使用STL分解或者不分解的方法相比，本发明的方法可以较为普遍的适用于周期性强或弱的工业设备监测数据，不需要事先检查数据的时间相关性强弱，也不需要进行季节性相关的STL分解，大大扩宽了本发明公开的方法的适用范围。

具体实施时，步骤S202与步骤S203之间还包括：

剔除IMF分量序列中的异常数据，并进行线性插值补足IMF分量序列的连续性。

因为经过变换分解得到的高频分量部分剔除了原序列的长期变化趋势信息而保留了原序列的一些突变成分和噪声信息，为了保证最终预测结果的准确，因此本发明需要对IMF分量序列进行数据清洗。优选孤立森林的无监督学习方法进行数据清洗，该算法具有线性复杂度和低内存开销的特性，并且对于异常数据在总体数据中占小部分的样本中结果比DBSCAN或者基于密度的LOF方法更好。在剔除了异常数据后，为保证数值的连贯性和序列长度不变，在空缺位置可使用线性插值的办法插入新值。

如图2所示，具体实施时，基于多头注意力机制的预测模型包括编码模块和解码模块；

编码模块包括第一嵌入层、因果卷积层、多个编码层；第一嵌入层用于将IMF分量序列中的第一时刻到t-2时刻的IMF分量数据进行降维；因果卷积层用于从降维后的第一时刻到t-2时刻的IMF分量数据中提取特征信息；每个编码层都包括第一多头注意力机制单元、第一融合-归一化单元、第一前馈单元、第二融合-归一化单元，第一多头注意力机制单元用于从特征信息中提取第一注意力信息，第一融合-归一化单元用于将第一注意力信息与特征信息融合后归一化得到第一归一化信息，第一前馈单元用于在第一归一化信息中加入非线性因素，第二融合-归一化单元用于将第一归一化信息及加入非线性因素的第一归一化信息融合后归一化得到第二归一化信息，并将第二归一化信息作为新的特征信息；

解码模块包括第二嵌入层、多个解码层及映射层；第二嵌入层用于将IMF分量序列中的t-1时刻的IMF分量数据进行升维；每个解码层包括掩模多头注意力机制单元、第三融合-归一化单元、第二多头注意力机制单元、第四融合-归一化单元、第二前馈单元、第五融合-归一化单元，掩模多头注意力机制单元用于从升维后的t-1时刻的IMF分量数据中提取掩模注意力信息，第三融合-归一化单元用于将升维后的t-1时刻的IMF分量数据及掩模注意力信息融合后归一化得到第三归一化信息，第二多头注意力机制单元用于从第三归一化信息及最后一个编码层生成的特征信息中提取第二注意力信息，第四融合-归一化单元用于将第三归一化信息及第二注意力信息融合后归一化得到第四归一化信息，第二前馈单元用于在第四归一化信息中加入非线性因素，第五融合-归一化单元用于将第四归一化信息及加入非线性因素的第四归一化信息融合后归一化得到第五归一化信息，并将第五归一化信息作为新的特征信息；映射层用于将最后一个解码层的特征信息映射为t时刻的工业设备预测分量。

本发明中基于多头注意力机制的预测模型主要包括编码器模块(Encoder)和解码器模块(Decoder)，编码器模块和解码器模块中又包括了嵌入层(Embedding)、因果卷积层(Causal Conv)、多头注意力机制单元(Multi-Head Attention)、融合-归一化单元(Add&Normalize)、映射层(Linear Mapping)、前馈单元(Feed Forward)，其中：

将{f1,f2,f3,…,ft-2}输入到Encoder，将ft-1输入到Decoder；

Embedding在Encoder中用于降维，在decoder中用于升维；

Causal-Conv，如果在提取注意力信息时使用的是线性变换，会由于没有考虑到各个位置的局部环境，使得结果容易受到异常值的干扰，导致准确度降低，本发明中使用了因果卷积，它替代了线性变换，遵循时间序列中未来时刻的数据不会影响当前时间点数据的原则，进行特征提取，因为卷积可以捕捉局部信息，在提取注意力信息之前先经过一层因果卷积层，就可以在Multi-Head Attention中引入局部信息，降低异常值对于预测的干扰，提高预测的准确率；

Multi-Head Attention，可以包含query、key和value。query对应的是需要被表达的序列(称为序列A)，key和value对应的是用来表达A的序列(称为序列B)。本发明在decoder还采用了添加mask的Multi-Head Attention，在模型的推理阶段，特征都是从左往右进行推理的，也就是在推理timestep＝T的token时，decoder只能“看到”timestep<T的T-1个Token,不能和timestep大于它自身的token做attention(因为根本还不知道后面的token是什么)。为了保证训练时和推理时的一致性，所以，训练时要同样防止token与它之后的token去做attention。就是对于一个序列，在时间步t，我们的解码输出应该只依赖于t时刻之前的输出，而不能依赖于t之后的输出。因此我们需要把t之后的信息隐藏起来，只需产生一个上三角矩阵，上三角的值为1，下三角的值全为0，对角线也是1.把这个矩阵作用在一个序列上，即达到了我们的目的。

具体实施时，还包括：

S4、将t时刻的工业设备预测数据与预设阈值进行比较，若t时刻的工业设备预测数据超过预设阈值，则进行告警。

本发明中，在求出了t时刻的工业设备预测数据后，可根据工业设备预测数据与预设阈值的比较结果判断工业设备是否可能出现异常，并进行自动告警，告警方式包括但不仅限于亮起警示灯、拉响警铃等。

具体实施时，还包括：

S5、显示t时刻的工业设备预测数据与告警信息。

在进行自动告警后，还可在工作人员的手机或工作场所的显示屏上显示告警信息以及t时刻的工业设备预测数据，使工作人员充分了解可能发生的故障。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (6)

1.一种工业设备监测数据预测方法，其特征在于，包括：

S1、获取工业设备监测数据序列，工业设备监测数据序列包括第一时刻到t-1时刻的工业设备监测数据；

S2、将工业设备监测数据序列输入基于多头注意力机制的预测模型；

S3、输出t时刻的工业设备预测数据。

2.如权利要求1所述的工业设备监测数据预测方法，其特征在于，步骤S2包括：

S201、对工业设备监测数据序列进行经验小波变换，分解为多个不同频率的IMF分量序列；

S202、将各IMF分量序列输入基于多头注意力机制的预测模型；

S203、输出各IMF分量序列对应的t时刻的工业设备预测分量；

S204、对各工业设备预测分量进行经验小波逆变换，合成t时刻的工业设备预测数据。

3.如权利要求2所述的工业设备监测数据预测方法，其特征在于，步骤S202与步骤S203之间还包括：

剔除IMF分量序列中的异常数据，并进行线性插值补足IMF分量序列的连续性。

4.如权利要求1至3任一项所述的工业设备监测数据预测方法，其特征在于，基于多头注意力机制的预测模型包括编码模块和解码模块；

编码模块包括第一嵌入层、因果卷积层、多个编码层；第一嵌入层用于将IMF分量序列中的第一时刻到t-2时刻的IMF分量数据进行降维；因果卷积层用于从降维后的第一时刻到t-2时刻的IMF分量数据中提取特征信息；每个编码层都包括第一多头注意力机制单元、第一融合-归一化单元、第一前馈单元、第二融合-归一化单元，第一多头注意力机制单元用于从特征信息中提取第一注意力信息，第一融合-归一化单元用于将第一注意力信息与特征信息融合后归一化得到第一归一化信息，第一前馈单元用于在第一归一化信息中加入非线性因素，第二融合-归一化单元用于将第一归一化信息及加入非线性因素的第一归一化信息融合后归一化得到第二归一化信息，并将第二归一化信息作为新的特征信息；

解码模块包括第二嵌入层、多个解码层及映射层；第二嵌入层用于将IMF分量序列中的t-1时刻的IMF分量数据进行升维；每个解码层包括掩模多头注意力机制单元、第三融合-归一化单元、第二多头注意力机制单元、第四融合-归一化单元、第二前馈单元、第五融合-归一化单元，掩模多头注意力机制单元用于从升维后的t-1时刻的IMF分量数据中提取掩模注意力信息，第三融合-归一化单元用于将升维后的t-1时刻的IMF分量数据及掩模注意力信息融合后归一化得到第三归一化信息，第二多头注意力机制单元用于从第三归一化信息及最后一个编码层生成的特征信息中提取第二注意力信息，第四融合-归一化单元用于将第三归一化信息及第二注意力信息融合后归一化得到第四归一化信息，第二前馈单元用于在第四归一化信息中加入非线性因素，第五融合-归一化单元用于将第四归一化信息及加入非线性因素的第四归一化信息融合后归一化得到第五归一化信息，并将第五归一化信息作为新的特征信息；映射层用于将最后一个解码层的特征信息映射为t时刻的工业设备预测分量。

5.如权利要求4所述的工业设备监测数据预测方法，其特征在于，还包括：

S4、将t时刻的工业设备预测数据与预设阈值进行比较，若t时刻的工业设备预测数据超过预设阈值，则进行告警。

6.如权利要求5所述的工业设备监测数据预测方法，其特征在于，还包括：

S5、显示t时刻的工业设备预测数据与告警信息。

Images