CN114676121A - 基于多尺度时空记忆共享网络的缺失监测数据填补方法 - Google Patents

Abstract

本发明提供了一种基于多尺度时空记忆共享网络的缺失监测数据填补方法，针对性的采用了多尺度时空记忆共享网络来实现对监测数据的预测和填补，多尺度时空记忆共享网络通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征，在进行数据填补时，首先对测试监测数据进行时间尺度信息及其相对应的数据特征的提取，然后从历史监测数据中查询出具有相匹配数据特征的时间尺度所对应的监测数据原型，并据此预测出测试监测数据之后的监测数据预测值，由于历史监测数据的真实性与正确性较容易把控和保证，因此避免了异常预测数据的产生，从而更好的保证了数据填补的准确性。

Description

基于多尺度时空记忆共享网络的缺失监测数据填补方法

技术领域

本发明涉及工程应用和大数据采集及检测技术领域，具体涉及一种基于多尺度时空记忆共享网络的缺失监测数据填补方法。

背景技术

数据采集与监控系统可以实现对大型旋转机组进行远程实时监测、控制和诊断，保障着大型旋转机组的健康运行。数据采集与监控系统通过部署在各部件上的传感器采集和存储数据，但其往往受到如传感器失效、网络阻塞等不可控因素的影响，导致数据的缺失。数据的缺失对于一些需要时序数据的风机状态监测、故障诊断等方法有很大影响。因此需要设计一种应对大型旋转机组的监测数据缺失的解决方案。

监测数据具有多维性的特点，基于统计学和机器学习的缺失值填补方法具有各自的局限性。基于统计学利用平均数、众数、中位数等方法的数据修复方法只关注了单一维度上的变化，忽略了多个维度之间的相互关系；而如果仅依靠简单的机器学习模型也很难挖掘出多维、大量数据中隐藏的正确信息，从而无法很好的确保对缺失数据进行修复填补的准确性。

现有技术中，也有研究者针对缺失数据修复进行了相关的研究。Yifeng Zhang等人提出一种基于GRU和注意力机制的数据修补算法；Dong Li等人采用LSTM和AE结构对缺失数据进行填补；Abdulrahman H.Ba-Alawi等人采用深度变分残差自编码网络可以准确填补缺失数据。

由于大型旋转机组的SCADA系统(Supervisory Control And Data Acquisition，即数据采集与检测系统)监测数据往往具有较强的时序性，因此其历史监测数据状态对当前监测数据状态具有比较直接的关联性影响，可以考虑借助历史监测数据的关联性指引来对当前监测数据进行预测修复，实现对缺失监测数据的填补。然而，如果采用上述现有技术的缺失数据填补方案中使用的循环神经网络在层与层之间传递历史信息，在传递过程中会出现部分信息遗忘的情况，从而难以很好的建立不同监测数据状态之间的直接关联；更为重要的是，上述现有技术中使用的神经网络模型也并未建立针对性的数据特征范围记忆功能，从而容易在进行数据恢复填补时缺少对数据特征是否处于正常范围的识别能力，可能会产生填补出异常数据的问题。这些因素，都影响了对缺失数据的填补修复准确性。

发明内容

针对上述现有技术的不足，本发明的目的在于提供一种基于多尺度时空记忆共享网络的缺失监测数据填补方法，用以更准确的对大型旋转机组的缺失监测数据进行修复填补，以解决现有技术针对大型旋转机组的缺失监测数据填补修复准确性不足的问题。

为解决上述技术问题，本发明采用了如下的技术方案：

基于多尺度时空记忆共享网络的缺失监测数据填补方法，包括如下步骤：

S1、获取大型旋转机组的缺失监测数据前一段时间尺度范围的监测数据，作为测试监测数据；

S2、将所述测试监测数据输入多尺度时空记忆共享网络；所述多尺度时空记忆共享网络通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征；

S3、所述多尺度时空记忆共享网络提取所述测试监测数据的时间尺度信息及其相对应的数据特征，与历史监测数据进行时间尺度和数据特征匹配，并根据历史监测数据中数据特征相匹配的时间尺度所对应的监测数据，预测出所述测试监测数据之后的监测数据预测值，对缺失监测数据进行填补。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，步骤S1具体包括：

S1-1、获取大型旋转机组的缺失监测数据前一段时间尺度范围的原始监测数据；

S1-2、对所述原始监测数据进行去量纲归一化处理；

S1-3、将去量纲归一化处理后的监测数据作为测试监测数据。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，所述去量纲归一化处理的计算公式为：

其中：

式中，x_org,i为去量纲归一化前原始监测数据中的第i个采样时刻的数据，x_i为去量纲归一化后的测试监测数据中的第i个采样时刻的数据，

为原始监测数据中各数据的数值平均值，n为原始监测数据中包含的数据总个数；s为去量纲归一化基数。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，所述多尺度时空记忆共享网络包括特征编码层、记忆共享层和特征解码层；

所述特征编码层用于提取测试监测数据的时间尺度信息及其相对应的数据特征；

所述记忆共享层通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征，用于根据测试监测数据的时间尺度信息及对应的数据特征与历史监测数据进行时间尺度和数据特征匹配，得到历史监测数据中相匹配的时间尺度和数据特征；

所述特征解码层具有通过预先根据大型旋转机组在不同工作工况状态下的历史监测数据与其在不同时间尺度下的数据特征之间的关联关系加以训练所得到的监测数据预测模型，用于根据所述历史监测数据中相匹配的时间尺度和数据特征，预测出所述测试监测数据之后的监测数据预测值。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，所述特征编码层包括多个特征编码单元，多个特征编码单元用于分别提取测试监测数据在不同时间尺幅范围的时间尺度信息及其相对应的数据特征。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，所述特征编码层的每个特征编码单元在特征解码层中均关联有一个特征解码单元；

每个特征解码单元用于根据其关联的特征编码单元提取的时间尺度信息及其相对应的数据特征在记忆共享层所匹配到的历史监测数据中的时间尺度和数据特征，预测出所述测试监测数据之后的一个监测数据预测值；

所述多尺度时空记忆共享网络还包括多尺度动态融合层，所述多尺度动态融合层用于对各个特征编码单元的监测数据预测值进行加权求和运算，得到融合后的监测数据预测值，作为缺失监测数据的填补数据。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，每个所述特征编码单元的表达式为：

f(query,key_i)＝query·key_i；

其中，query、key、value分别为测试监测数据x在自注意力机制对应的查询向量、键值对向量、价值向量，且：

query＝w_qx，key＝w_kx，value＝w_vx；

w_q,w_k和w_v为自注意力机制中通过网络反向传播学习训练进行更新的权重参数；x＝[x₁,x₂,…,x_i,…,x_n]，i∈{1,2,…,n}，x_i为测试监测数据中的第i个采样时刻的数据，n为原始监测数据中包含的数据总个数；key_i＝w_kx_i为测试监测数据中的第i个采样时刻的数据x_i对应的键值对；value_i＝w_vx_i为测试监测数据中的第i个采样时刻的数据x_i对应的价值；

f(query,key_i)是注意力权重得分函数；α_i代表对应于key_i的权重，作为从测试监测数据中提取的时间尺度信息；Attention(query,key,value)为经过注意力机制之后的输出，作为测试监测数据的时间尺度信息α_i所对应的数据特征。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，每个所述特征解码单元根据其关联的特征编码单元提取的时间尺度信息及其相对应的数据特征在记忆共享层所匹配历史监测数据中的时间尺度和数据特征的表达式为：

数据特征寻址匹配的表达式：

时间尺度寻址匹配的表达式：

其中，记忆共享层为H×F×D三维矩阵：第一维代表不同时间尺度，数量为；第二维代表每个时间尺度中包含特征的个数，数量为F；第三维代表每个特征的维度，数量为D；

y_j为数据特征寻址匹配结果，y_jk为第k个时间尺度中查询匹配到的数据特征；y为时间尺度寻址匹配结果，为各个时间尺度匹配到的数据特征的加权求和，作为特征解码单元输出的监测数据预测值；h(w_j)为匹配查询中进行权重自选择后的权重值，h(sigmoid(w_sk))为匹配查询中进行权重自选择后的时间尺度查询向量w_s中第k时间尺度查询值w_sk的sigmoid函数映射值。

上述基于多尺度时空记忆共享网络的缺失监测数据填补方法中，作为优选方案，所述多尺度动态融合层的表达式为：

y_out＝y_w1+y_w2+...+y_wl+...+y_wh；

式中，y_l为特征解码层中第l个特征解码单元输出的监测数据预测值，l∈{1,2,…,h}，h为特征解码层中包含的特征解码单元个数，

为各个监测数据预测值的均值，y_wl为多尺度动态融合层对监测数据预测值

进行融合加权后的融合值，W₁、W₂为多尺度动态融合层自适应地生成的融合权重矢量，y_out为融合后的监测数据预测值，作为多尺度动态融合层的输出。

相比于现有技术，本发明的有益效果在于：

1)本发明基于多尺度时空记忆共享网络的缺失监测数据填补方法，针对性的采用了多尺度时空记忆共享网络来实现对监测数据的预测和填补，多尺度时空记忆共享网络通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征，在进行数据填补时，首先对测试监测数据进行时间尺度信息及其相对应的数据特征的提取，然后从历史监测数据中查询出具有相匹配数据特征的时间尺度所对应的监测数据原型，并据此预测出测试监测数据之后的监测数据预测值，由于历史监测数据的真实性与正确性较容易把控和保证，因此避免了异常预测数据的产生，从而更好的保证了数据填补的准确性。

2)本发明的缺失监测数据填补方法中，多尺度时空记忆共享网络中可以设计多个并联的特征编码单元和特征解码单元，通过多个特征编码单元计算不同时间尺度上监测数据之间的直接联系，利用多个特征解码单元从记忆共享层中分别从不同时间尺度上寻址匹配历史监测数据预测出之后的监测数据预测值，以达到对不同时间尺度关注度差异的相互补充、相互验证的效果。

3)本发明的缺失监测数据填补方法中，多尺度时空记忆共享网络通过多尺度动态融合层，自适应生成不同时间尺度的融合权重，最终对不同时间尺度上寻址匹配后预测的监测数据预测值进行加权融合，提高缺失数据填补的准确性。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明基于多尺度时空记忆共享网络的缺失监测数据填补方法的流程图。

图2为本发明缺失监测数据填补方法中一个多尺度时空记忆共享网络示例的总体构架示意图。

图3为多尺度时空记忆共享网络中一个记忆共享层示例的构架结构示意图。

图4为多尺度时空记忆共享网络中数据经过一个时间尺度特征编码单元、记忆共享层和一个时间尺度特征解码单元的流程示意图。

图5为多尺度时空记忆共享网络中一个多尺度动态融合层示例的结构示意图。

图6为实施例中对比试验的评价指标对比。

图7为实施例中本发明方法的修复值与真实值的结果对比。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步的详细说明。

如图1所示，本发明基于多尺度时空记忆共享网络的缺失监测数据填补方法，包括如下步骤：

S1、获取大型旋转机组的缺失监测数据前一段时间尺度范围的监测数据，作为测试监测数据；

S2、将所述测试监测数据输入多尺度时空记忆共享网络；所述多尺度时空记忆共享网络通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征；

S3、所述多尺度时空记忆共享网络提取所述测试监测数据的时间尺度信息及其相对应的数据特征，与历史监测数据进行时间尺度和数据特征匹配，并根据历史监测数据中数据特征相匹配的时间尺度所对应的监测数据，预测出所述测试监测数据之后的监测数据预测值，对缺失监测数据进行填补。

本发明基于多尺度时空记忆共享网络的缺失监测数据填补方法，针对性的采用了多尺度时空记忆共享网络来实现对监测数据的预测和填补。在现有的采用数据预测的方式进行数据填补的方案中，通常是保证输入给预测模型的数据均为正常数据，才能使得预测模型输出的预测数据与证书数据的误差值趋于最小，从而较好的保证所填补数据的准确性；但在大型旋转机组等工业设备的实际工程环境中，由于监测数据的采集过程可能会受到环境因素或其它不可控因素的影响，传感器采集到的监测数据可能会产生一定偏差，而如果直接采用现有的采用数据预测方式的数据填补方案，将存在偏差的监测数据输入给预测模型，可能会造成预测模型提取出异常的预测相关变化特征，进而无法解算预测得出正常的数据值，导致监测数据预测结果出现异常，难以正确的对确实数据进行填补。因此，本发明的缺失监测数据填补方法中，多尺度时空记忆共享网络通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征，在进行数据填补时，首先对测试监测数据进行时间尺度信息及其相对应的数据特征的提取，然后从历史监测数据中查询出具有相匹配数据特征的时间尺度所对应的监测数据原型，并据此预测出测试监测数据之后的监测数据预测值，由于历史监测数据的真实性与正确性较容易把控和保证(例如可通过算法校正、人为修订等方式加以保证)，因此根据查询匹配到的部分历史监测数据原型来进行监测数据预测，就避免了异常预测数据的产生，确保能够获得正常的监测数据预测值，从而更好的保证了数据填补的准确性。

在具体实施时，步骤S1具体包括：

S1-1、获取大型旋转机组的缺失监测数据前一段时间尺度范围的原始监测数据；

S1-2、对所述原始监测数据进行去量纲归一化处理；

S1-3、将去量纲归一化处理后的监测数据作为测试监测数据。

这样的目的是采集的原始监测数据进行去量纲归一化处理，消除各状态参数之间的量纲差异，便于在后期的特征提取以及数据匹配过程中，原本具有不同单位指标的状态参数经过去量纲标准化后能够进行数值比较和运算处理。去量纲归一化处理的计算公式为：

其中：

式中，x_org,i为去量纲归一化前原始监测数据中的第i个采样时刻的数据，x_i为去量纲归一化后的测试监测数据中的第i个采样时刻的数据，

为原始监测数据中各数据的数值平均值，n为原始监测数据中包含的数据总个数；s为去量纲归一化基数。

在去量纲归一化处理之后，得到的测试监测数据输入至多尺度时空记忆共享网络进行处理。多尺度时空记忆共享网络包括特征编码层、记忆共享层和特征解码层；其中，特征编码层用于提取测试监测数据的时间尺度信息及其相对应的数据特征；记忆共享层通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征，用于根据测试监测数据的时间尺度信息及对应的数据特征与历史监测数据进行时间尺度和数据特征匹配，得到历史监测数据中相匹配的时间尺度和数据特征；特征解码层具有通过预先根据大型旋转机组在不同工作工况状态下的历史监测数据与其在不同时间尺度下的数据特征之间的关联关系加以训练所得到的监测数据预测模型，用于根据所述历史监测数据中相匹配的时间尺度和数据特征，预测出所述测试监测数据之后的监测数据预测值。

在具体实施时，如图2所示，特征编码层可以设计包括多个特征编码单元，例如，可以设计h个特征编码单元，h的数值可根据系统的运算处理能力而确定，也可根据测试监测数据的数据量大小以及对监测数据填补准确性的预期而调整确定；该多个特征编码单元用于分别提取测试监测数据在不同时间尺幅范围的时间尺度信息及其相对应的数据特征。而相应的，特征编码层的每个特征编码单元在特征解码层中均对应关联有一个特征解码单元，即，若特征编码层有h个特征编码单元，则特征解码层中相应有h个特征解码单元与之一一对应关联；每个特征解码单元用于根据其关联的特征编码单元提取的时间尺度信息及其相对应的数据特征在记忆共享层所匹配到的历史监测数据中的时间尺度和数据特征，预测出所述测试监测数据之后的一个监测数据预测值。特征编码层中的多个特征解码单元就会得到多个监测数据预测值，因此在多尺度时空记忆共享网络中还可设计多尺度动态融合层，该多尺度动态融合层用于对各个特征编码单元的监测数据预测值进行加权求和运算，得到融合后的监测数据预测值，作为缺失监测数据的填补数据。

在特征编码层中，每个特征编码单元由自注意力机制和全连接层串联组成。自注意力机制可以自主关注到监测数据中的重要部分，不同的特征编码单元通过网络的训练会关注到不同的时间尺度范围，每个关注到的时间尺度范围均是从缺失监测数据前一个采样时刻开始、直至前缺失监测数据前n个采样时刻的数据，n为大于1的整数，n的取值不同则关注到的时间尺度范围不同，有的关注的时间尺度范围距离缺失监测数据更久远，有的关注的时间尺度距离缺失监测数据更近，因此特征编码层中设计多个特征编码单元可以达到对不同时间尺度关注度差异的相互补充、相互验证的效果。

自注意力机制更加关注到对象的重要部分而不是对象整体，因此可以通过注意力机制为重要部分赋予更高的权重。注意力机制可以被表述为：将一组查询和一组键值对映射为一组输出。如果输入的测试监测数据x包含n个采样时刻的数据，则可视为测试监测数据x是一个n维向量，可以表示为x＝[x₁,x₂,…,x_i,…,x_n]，那么其对应的查询向量query和键值对向量key也是n维向量，可以表示为：

query＝w_qx，key＝w_kx；

其中，key＝[key₁,key₂,…,key_i,…,key_n]，key_i＝w_kx_i，i∈{1,2,…,n}；

key_i对应的权重可以通过与任务相关的查询向量query和输入得到。其公式为：

f(query,key_i)＝query·key_i

f(query,key_i)是注意力权重得分函数，α_i代表对应于key_i的权重，可以作为从测试监测数据中提取的时间尺度信息加以输出。

自注意力机制的公式如下：

其中，value＝w_vx，value_i＝w_vx_i，i∈{1,2,…,n}；w_q,w_k和w_v为通过网络反向传播学习训练进行更新的权重参数。

计算结果Attention(query,key,value)为经过注意力机制之后的输出，可以自动学习到网络需要重点关注的特征，即，Attention(query,key,value)可作为测试监测数据的时间尺度信息α_i所对应的数据特征。

基于自注意力机制，每个特征解码单元都会提取输出测试监测数据在一个时间尺幅范围的时间尺度信息及其相对应的数据特征，而每个特征解码单元在特征解码层中都对应关联有一个特征解码单元。每个特征解码单元由自注意力机制、全连接层和注意力机制串联组成，会输出对应的一个监测数据预测值。

本发明采用的多尺度时空记忆共享网络中，在特征编码层与特征解码层之间加入了记忆共享层，其中具有一个基于记忆力机制建立的记忆共享层。

记忆力机制通过在主模型外部设立一个固定大小的矩阵用以存储所需的信息原型。在模型训练阶段，可随着模型同时更新内部参数，不断修正自身存储的信息原型。在模型测试阶段，将参数固定，输出自身存储的信息原型。假设记记忆共享层中包含H个时间尺度的记忆模块，每个记忆模块为M∈R^F×D，表示记忆模块中包含F个维度为D的有效特征，则记忆模块的输出计算公式为：

y＝G(w_s,z,M)＝f(w_s,g(z,M))

数据特征匹配查询：

时间尺度匹配查询：

式中，z∈R^1×D为数据特征查询向量，m_j∈R^1×D为记忆矩阵中存储的第j个历史监测数据原型；T为转置符号；||·||为范数运算符；w_j为历史监测数据原型m_j对应的权重值，代表z与m_j的相似度；f∈R^1×D为经过查询之后记忆模块的输出；y_jk为第k个时间尺度中查询匹配到的数据特征。

记忆共享层的构架结构可以通过图3加以示出，其包括尺度寻址操作、特征寻址操作、自适应选择操作和记忆共享层存储操作。记忆共享层存储模块包含了历史监测数据中的正常时空特征原型，其最大的作用便是为特征解码单元提供正常的时空特征，以保证特征解码单元可以解码出正常的监测数据。

记忆共享层可以视作一个大小为H×F×D三维矩阵：第一维代表不同时间尺度，每一种时间尺度包含的特征代表的意义不同，有的代表短期时间尺度，有的代表长期时间尺度，数量为H，H的值与输入数据的时间步大小有关；第二维代表每个时间尺度中包含特征的个数，数量为F，F与监测数据的复杂程度有关；第三维代表每个特征的维度，数量为D，D与监测数据的维度有关。

从特征编码单元输出的两个隐变量，输出一代表特征编码单元提取出的时空数据特征，作为记忆共享层的第一个输入

输出二代表特征编码单元所注意到的时间尺度，作为记忆共享层的第二个输入

经过全连接层的非线性变换形成数据特征寻址匹配和时间尺度寻址匹配两个维度的匹配查询，在记忆共享层存储模块中查询最符合测试监测数据的数据特征状态的历史监测数据时空特征。尺度寻址为每一个时间尺度赋予相应权重，特征寻址为每一个数据尺度中包含的特征赋予相应权重。其中尺度寻址匹配将输出二(特征编码单元所注意到的时间尺度)映射为w_s∈R^1×H，经过sigmoid将值映射到[0,1]，为不同尺度赋予不同权重。数据特征寻址匹配和时间尺度寻址匹配的计算方式如下：

y＝g(w_f,(f(w_s,M)))

式中，w_s为时间尺度查询向量，w_f为数据特征查询向量，m_k为记忆矩阵中的第k个尺度，g(w_f,M)为数据特征寻址匹配结果，y为时间尺度寻址匹配结果，也作为记忆共享层的输出。

由于监测数据量大且复杂，其中的特征错综复杂，互相之间有区别也有相似之处，如果全部输入记忆矩阵之中，会产生复杂的记忆矩阵，异常的时间尺度特征也有存储入记忆共享层的可能。为了避免这种情况，采用一种自选择的方法，通过遍历权重矩阵中的每一个权重值，对于大于或等于权重门限阈值w₀的权重值加以保留，对于小于权重门限阈值w₀的权重值则设置为0，以忽略权重较小的特征；计算公式如下：

w_j为自选择前的权重值，h(w_j)为自选择后的权重值；sigmoid(w_sk)为自选择前的时间尺度查询向量w_s中第k时间尺度查询值w_sk的sigmoid函数映射值，h(sigmoid(w_sk))为自选择后的时间尺度查询向量w_s中第k时间尺度查询值w_sk的sigmoid函数映射值。具体应用时，权重门限阈值w₀可设置为0.5。

由此，数据特征寻址匹配的计算方式可表达为：

时间尺度寻址匹配的计算方式可表达为：

式中，w_s∈R^1×H为时间尺度查询向量，是从测试监测数据中提取的时间尺度信息的映射；z∈R^1×D为数据特征查询向量，是从测试监测数据中提取的数据特征的映射；M∈R^H×F×D代表记忆力矩阵大小，M_j∈R^F×D代表对应某一个时间尺度的记忆力矩阵大小，m_j∈R^1×D代表M_j中的每一个数据特征，y_j∈R^1×D为数据特征寻址匹配结果，代表经过特征匹配查询之后的输出，M_n∈R^H×1×D代表将所有时间尺度中匹配到的特征拼接起来；y_jk为第k个时间尺度中查询匹配到的数据特征；y∈R^1×1×D为时间尺度寻址匹配结果，为各个时间尺度匹配到的数据特征的加权求和，作为特征解码单元输出的监测数据预测值，将y映射为y∈R^1×D。当z∈R^T×D时，则最终输出y∈R^T×D。

在模型训练阶段，记忆共享层可以随着模型的前向传播计算出记忆共享层的输出，同时能随着模型的反向传播更新自身参数，得到最优的存储正常时空变化特征原型的记忆共享层，能帮助整个模型准确输出结果。记忆共享层将所有的正常时空特征存储为有限个具有代表性的综合正常时空特征原型。在测试阶段，该记忆共享层参数固定，不再参与更新，在特征编码单元和特征解码单元的结构之间加入记忆共享层模块，通过特征编码单元的输出查询最有效的时空变化特征输入特征解码单元，使特征解码单元得到正确的时空变化特征，可以有效的防止异常预测结果的产生，进一步提高输出数据的准确性。

多尺度时空记忆共享网络中的数据传递过程可以通过图4加以示例展示。数据经过其中一个特征编码单元后，进入到记忆共享层模块，最后到特征解码单元的数据流。其中在特征编码单元阶段和特征解码单元阶段的自注意力机制部分，需要将注意力矩阵进行遮掩，遮掩方式如图中矩阵1、矩阵2所示。通过将注意力矩阵上三角部分置为0，可以防止未来信息的泄露，以此提取历史监测数据中的时间信息。将SCADA监测时序数据进行重采样后输入到特征编码单元，特征编码单元输入为x₁∈R^t×F，t代表时间步，F代表每个时间步中包含的特征维度。通过矩阵1，可以得到历史监测数据中的时空特征。在特征解码单元阶段自注意力机制部分，输入为x₂∈R^t×D，D代表每个时间步中包含的特征维度，通过矩阵2，防止未来信息的泄露。在特征解码单元的自注意力机制部分，输入为x₃∈R^t×D以及x₄∈R^t×D，其中x₃包含着当前时刻的监测数据信息，x₄包含着特征编码单元提取到的历史数据中的时空变化特征，最终得到预测的下一时刻数据，如图中矩阵3所示。

在得到多个监测数据预测值后，通过多尺度动态融合层进行加权求和运算，得到最终的填补数据。

多尺度动态融合层可以根据输入，自适应的生成对应于输入的权重，权重代表输入对于最终结果的影响程度，最后将权重与自身的值相乘，便可以得到该网络的最终输出。相比于人工设定标量为每一个特征编码单元的输出赋予权重之后加权融合，多尺度动态融合层可以跟随模型训练更新自身参数，通过非线性变换，从输入中自适应地生成权重矢量，该权重可以增强有用特征对最终结果的影响，抑制无用特征的影响。多尺度动态融合层使用如图5所示结构。动态融合网络全连接层和激活层串联而成。通过多层全连接层可以提取出更多蕴藏在输入中的特征。通过Relu激活函数映射和Sigmoid激活函数映射，将结果限制在零和一之间，代表输入对应的权重，通过权重与输入进行点乘，得到该特征编码单元的输出对最终结果的影响。

如果通过表达式表示，多尺度动态融合层可以表示为：

y_out＝y_w1+y_w2+...+y_wl+...+y_wh；

式中，y_l∈R^t×D为特征解码层中第l个特征解码单元输出的监测数据预测值，l∈{1,2,…,h}，h为特征解码层中包含的特征解码单元个数，

为各个监测数据预测值的均值，y_wl为多尺度动态融合层对监测数据预测值

进行融合加权后的融合值，W₁、W₂为多尺度动态融合层自适应地生成的融合权重矢量，y_out∈R^T×D为融合后的监测数据预测值，作为多尺度动态融合层的输出。

实施例：

在本实施例中，为了验证基于多尺度记忆共享网络的风电齿轮箱监测数据缺失值填补方法的准确性，本节使用我国西北某真实风电场的实际监测数据来进行验证，同时使用已有的数据缺失值填补方法进行对比实验，使用的监测数据集来自该风场的风机，其额定功率为2MW。该监测数据集为风场SCADA系统每隔1min采集到的风电齿轮箱运行数据，所使用的与风电齿轮箱相关的参数如表1所示：

表1与行星齿轮箱有关的监测变量

选取与齿轮箱运行最有关联的十个SCADA参数，监测数据集为正常采集的连续数据，无缺失数据、重复数据和异常数据等劣质数据。为了验证数据修复方法的准确性，人为删除了数据集中的一段监测数据，通过基于多尺度记忆共享网络的风电齿轮箱缺失数据填补方法进行填补，并将填补结果与该套监测数据集的真实数据进行对比，通过评价指标来判定模型的填补结果。

所用数据来自某实际风场第十三号风机的监测数据，采集时间为2018年1月1日00:00至2018年5月24日23:59。利用1月1日00:00至4月23日23:59分的数据作为训练集，利用4月24日00:00至5月24日23:59分的数据作为测试集。训练完毕之后人为将5月24日22:29至23:59之间的八十条数据，按十条一组，共八组，分别删除后进行连续缺失十条数据的修复对比实验；人为将5月24日10:39至23:59分之间的八百条数据，按一百条数据一组，共八组，分别删除后进行连续缺失一百条数据的修复对比试验。

所有的实验都是在Intel Core i7-10750H,RTX 2070MQ和16GB RAM的python3.7.9下进行的，深度学习框架Pytorch-cuda 1.6.0。模型结构如表2所示。同时其他超参数设置如下：时间步T设置为800，F设置为64，D设置为12并联数h设置为3，学习率设置为0.001，训练轮数设置为30，批训练数设置为30，损失函数中时序损失权重α设置为0.02。

表2多尺度记忆共享网络结构

作为对比，本实施例中采用的对比网络有同样被用于处理时序数据的门控循环单元网络(GRU)以及Transformer以及常用于数据修复的支持向量机(SVM)。针对四种方法修复结果所使用的评价指标有均方根误差(RMSE)、均方误差(MSE)、决定系数(RR)，八组实验结果取平均值后将结果进行记录，评价指标的公式如下：

式中，m为计算风速数据的个数，

为GRU模型输出的第i个风速值，y_i为风机第i个真实风速值，

为m个y变量的均值。

表3及图6为四个对比模型的评价指标，可以看出本发明方法在长序列填补方面能取得更好的评价指标。由表3和图6的评价指标可以看出，在缺失连续数据为十条的情况下，对比其他方法取得较好效果，在缺失连续数据为一百条的情况下，效果差距被拉大。图7展示了长序列缺失情况下，采用本发明方法对监测数据中十个状态参数的修复值与真实值的结果对比。可以看出结果基本保持一致，证明本发明方法有较好的修复效果。

表3数据修复模型实验结果

由此可以看出，本发明提出的基于多尺度时空记忆共享网络的缺失监测数据填补方法，相比于其他方法迷信而言所获得的数据修复效果更好。可见，本发明方法能有效学习到监测数据集中的时空特征，最终实现较好的修复结果。通过与不同深度模型进行对比，验证了本发明所提出方法的有效性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (9)

1.基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，包括如下步骤：

S1、获取大型旋转机组的缺失监测数据前一段时间尺度范围的监测数据，作为测试监测数据；

S2、将所述测试监测数据输入多尺度时空记忆共享网络；所述多尺度时空记忆共享网络通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征；

S3、所述多尺度时空记忆共享网络提取所述测试监测数据的时间尺度信息及其相对应的数据特征，与历史监测数据进行时间尺度和数据特征匹配，并根据历史监测数据中数据特征相匹配的时间尺度所对应的监测数据，预测出所述测试监测数据之后的监测数据预测值，对缺失监测数据进行填补。

2.根据权利要求1所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，步骤S1具体包括：

S1-1、获取大型旋转机组的缺失监测数据前一段时间尺度范围的原始监测数据；

S1-2、对所述原始监测数据进行去量纲归一化处理；

S1-3、将去量纲归一化处理后的监测数据作为测试监测数据。

3.根据权利要求2所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，所述去量纲归一化处理的计算公式为：

其中：

式中，x_org,i为去量纲归一化前原始监测数据中的第i个采样时刻的数据，x_i为去量纲归一化后的测试监测数据中的第i个采样时刻的数据，

为原始监测数据中各数据的数值平均值，n为原始监测数据中包含的数据总个数；s为去量纲归一化基数。

4.根据权利要求1所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，所述多尺度时空记忆共享网络包括特征编码层、记忆共享层和特征解码层；

所述特征编码层用于提取测试监测数据的时间尺度信息及其相对应的数据特征；

所述记忆共享层通过预先训练记录了大型旋转机组在不同工作工况状态下的历史监测数据中在不同时间尺度的监测数据所对应的数据特征，用于根据测试监测数据的时间尺度信息及对应的数据特征与历史监测数据进行时间尺度和数据特征匹配，得到历史监测数据中相匹配的时间尺度和数据特征；

所述特征解码层具有通过预先根据大型旋转机组在不同工作工况状态下的历史监测数据与其在不同时间尺度下的数据特征之间的关联关系加以训练所得到的监测数据预测模型，用于根据所述历史监测数据中相匹配的时间尺度和数据特征，预测出所述测试监测数据之后的监测数据预测值。

5.根据权利要求4所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，所述特征编码层包括多个特征编码单元，多个特征编码单元用于分别提取测试监测数据在不同时间尺幅范围的时间尺度信息及其相对应的数据特征。

6.根据权利要求5所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，所述特征编码层的每个特征编码单元在特征解码层中均关联有一个特征解码单元；

每个特征解码单元用于根据其关联的特征编码单元提取的时间尺度信息及其相对应的数据特征在记忆共享层所匹配到的历史监测数据中的时间尺度和数据特征，预测出所述测试监测数据之后的一个监测数据预测值；

所述多尺度时空记忆共享网络还包括多尺度动态融合层，所述多尺度动态融合层用于对各个特征编码单元的监测数据预测值进行加权求和运算，得到融合后的监测数据预测值，作为缺失监测数据的填补数据。

7.根据权利要求5所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，每个所述特征编码单元的表达式为：

f(query,key_i)＝query·key_i；

其中，query、key、value分别为测试监测数据x在自注意力机制对应的查询向量、键值对向量、价值向量，且：

query＝w_qx，key＝w_kx，value＝w_vx；

w_q,w_k和w_v为自注意力机制中通过网络反向传播学习训练进行更新的权重参数；x＝[x₁,x₂,…,x_i,…,x_n]，i∈{1,2,…,n}，x_i为测试监测数据中的第i个采样时刻的数据，n为原始监测数据中包含的数据总个数；key_i＝w_kx_i为测试监测数据中的第i个采样时刻的数据x_i对应的键值对；value_i＝w_vx_i为测试监测数据中的第i个采样时刻的数据x_i对应的价值；

f(query,key_i)是注意力权重得分函数；α_i代表对应于key_i的权重，作为从测试监测数据中提取的时间尺度信息；Attention(query,key,value)为经过注意力机制之后的输出，作为测试监测数据的时间尺度信息α_i所对应的数据特征。

8.根据权利要求6所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，每个所述特征解码单元根据其关联的特征编码单元提取的时间尺度信息及其相对应的数据特征在记忆共享层所匹配历史监测数据中的时间尺度和数据特征的表达式为：

数据特征寻址匹配的表达式：

时间尺度寻址匹配的表达式：

其中，记忆共享层为H×F×D三维矩阵：第一维代表不同时间尺度，数量为；第二维代表每个时间尺度中包含特征的个数，数量为F；第三维代表每个特征的维度，数量为D；

y_j为数据特征寻址匹配结果，y_jk为第k个时间尺度中查询匹配到的数据特征；y为时间尺度寻址匹配结果，为各个时间尺度匹配到的数据特征的加权求和，作为特征解码单元输出的监测数据预测值；h(w_j)为匹配查询中进行权重自选择后的权重值，h(sigmoid(w_sk))为匹配查询中进行权重自选择后的时间尺度查询向量w_s中第k时间尺度查询值w_sk的sigmoid函数映射值。

9.根据权利要求6所述基于多尺度时空记忆共享网络的缺失监测数据填补方法，其特征在于，所述多尺度动态融合层的表达式为：

y_out＝y_w1+y_w2+...+y_wl+...+y_wh；

式中，y_l为特征解码层中第l个特征解码单元输出的监测数据预测值，l∈{1,2,…,h}，h为特征解码层中包含的特征解码单元个数，

为各个监测数据预测值的均值，y_wl为多尺度动态融合层对监测数据预测值

进行融合加权后的融合值，W₁、W₂为多尺度动态融合层自适应地生成的融合权重矢量，y_out为融合后的监测数据预测值，作为多尺度动态融合层的输出。

Images