CN109255440B

CN109255440B - 基于递归神经网络（rnn）的对电力生产设备进行预测性维护的方法

Info

Publication number: CN109255440B
Application number: CN201710567980.7A
Authority: CN
Inventors: 赵继胜
Original assignee: Shanghai Yovole Computer Network Co ltd
Current assignee: SHANGHAI YOVOLE COMPUTER NETWORK Co.,Ltd.
Priority date: 2017-07-11
Filing date: 2017-07-11
Publication date: 2020-08-04
Anticipated expiration: 2037-07-11
Also published as: CN109255440A

Abstract

本发明提供了一种基于递归神经网络(RNN)的对电力生产设备进行预测性维护的方法，包括：建立基于Spark的数据建模平台，支持并行化的数据预处理和RNN建模；预定义的RNN结构；支持多种数据输入接口(HDFS，NFS，S3)；数据预处理可以根据用户定义的数据清洗逻辑，将电力生产的燃煤机，泵系统，风机等几个主要功能模块的历史数据进行标准化；迭代式行建模和模型调优，建模过程通过以RNN方式进行数据特征提取并结合用户标记的故障状态进行诊断模型建模，调优过程通过验证数据集检测预判成功率并以用户定义的神经网络修正策略进行RNN重构。上述的技术方案提供一种基于递归神经网络(RNN)电力生产设备的时序数据进行迭代式建模，通过对故障发生模式的识别，为电力生产的运管人员提供故障预判以进行预测性维护。

Description

基于递归神经网络（RNN）的对电力生产设备进行预测性维护的方法

技术领域

本发明属于涉及信息技术领域，尤其是涉及一种基于RNN的电力生产设备的预测性维护方法。

背景技术

近年来，预测性维护逐渐成为能源生产企业保障生产和提升运营效率的方法。预测性维护是通过在线监测和分析设备运行状态，以期能够在设备性能降低或发生故障前及时预警，为运营人员提出可执行的建议，或给维护人员提出告警，保障潜在的故障设备能够得到及时维护或故障排除。由于与创新维护对设备的状态检测是在线进行的，因此不会影响设备的正常运转。作为一种按需维护的方式，预测性维护可以降低停机时间，提升产能，并且减少不必要的维护成本，提升能源企业的生产效率和资源利用率。

实施预测性维护需要对海量的设备数据进行建模，由于数据所含信息量丰富，进行特征提取需要复杂的机器学习模型。如何选择有效的模型并进行调优是建立有效预测模型的关键。

现有的数据处理和分析框架具有以下劣势：1、缺乏统一的运算框架，不同的机器学习算法框架对数据和计算环境有不同要求，生成的模型很难做到通用化；2、数据样本管理缺乏有效组织，需要根据用户定义进行数据预处理并形成统一的数据格式，便于建模；3、缺乏对电力生产设备维护场景的模型选择和调优的机器学习框架，大部分机器学习建模工作需要手工进行。因此如何建立有效的数据处理和建模与调优过程，是构建电力生产环境下对设备进行预测性维护的急需解决的问题。

发明内容

针对现有的预测性维护技术框架(即数据处理和分析框架)存在的问题，本发明的目的是提供一种高效灵活的基于递归神经网络(RNN)的电力生产设备预测性维护的建模和调优的解决方法，能够针对电力生产设备维护场景进行灵活高效的建模和模型调优，以形成有效的故障模式识别与告警，辅助运管人员进行干预和维护。该建模框架必须选择有效的机器学习方法，能够进行高效的数据预处理，建模运算，以及模型迭代以找到适合应用场景的优化模型。

为实现上述发明目的，本发明提供了一种基于递归神经网络(RNN)的对电力生产设备进行预测性维护的方法，包括：

步骤一，通过用户数据源导入电力生产环境下的各个设备的监控历史数据，数据选取过去2年的记录，以1小时作为时间间隔生成序列化数据样本集；

步骤二，数据预处理，对于递归神经网络的训练，需要归一化数据以保障不同时间点的传感器状态都以token的形式表达。在本项发明中，归一化是将数据映射到[0，n]的区间内，这里n取值为5。对于不同传感器，数据的类型和范围都有不同，因此需要用户自定义的归一化方法来进行数据归一化处理。

步骤三，用于训练的数据样本可以包含多个时序数据，取决于被监控的设备的数量。样本生成过程中需要人工进行故障状态标注，并非所有时序数据都需要标记，对于运行一直正常的设备，无须标记。

步骤四，本项发明采用RNN，可由多次隐含层构建。本项发明与一般的RNN不同的是允许多组时序数据输入，预设的RNN结构为输入层分为N组，每组100节点，共计100X N节点，2个隐含层，每层256 节点，一个M节点输出层，N取决于输入时序数据的个数，M取决于预测错误向量的长度，即需要预测错误状态的设备的数量。以燃煤机、风机和泵的三设备组合为例，有3个时序数据输入，即N＝3，而可以预测错误状态的为燃煤机和泵，因此错误状态向量长度为2，即M＝2。输入层的每一组中的节点分别与隐含层相连。

步骤五，模型验证通过验证集来判定是否模型可以通过验证集的输入预判样本中的存在的潜在故障，并计算预测准确率。通过准确率进行模型调优的迭代式过程，逐步选取最有神经网络配置。

步骤六，将生成的模型应用于现场的实时数据输入，用来预判潜在的设备异常与故障。

较佳地，在上述方法中，建立一种高效的可以RNN为基本网络架构，并根据用户输入数据进行自动调优的设备状态异常/故障预测模型。

较佳地，在上述方法中，建立一个以Apache Spark运算框架为基础的自动化数据建模机制，以Spark对数据分布和并行化的良好支持，实现高效的计算和模型构建，评估以及调优；所有数据样本均由Spark数据结构RDD进行维护，简化了从数据预处理到机器学习建模以及迭代的整个过程中的数据交换开销。

较佳地，在上述方法中，选择的机器学习模型以递归神经网络RNN为基准，结合LSTM，形成对时序数据的特征提取和模式判别。

较佳地，在上述方法中，提出多层次用户可定制功能，具体包括用户定义数据处理逻辑，用户定义数据标记方法，和用户定义的模型调优机制。

较佳地，在上述方法中，用户定制接口通过扩展SparkZeppelin交互式操作接口来实现。

较佳地，在上述方法中，支持多层次的用户定义的模型调优机制，包括用户定义的调优搜索空间和用户定义的搜索方法。

较佳地，在上述方法中，与一般RNN不同的是允许多组时序数据输入，预设的RNN结构为输入层分为N 组，每组100节点，共计100X N节点，2个隐含层，每层256节点，一个M节点输出层，N取决于输入时序数据的个数，M取决于预测错误向量的长度，即需要预测错误状态的设备的数量。以燃煤机、风机和泵的三设备组合为例，有3个时序数据输入，即N＝3，而可以预测错误状态的为燃煤机和泵，因此错误状态向量长度为2，即M＝2。输入层的每一组中的节点分别与隐含层相连。

较佳地，在上述方法中，通过迭代式模型优化过程，不断优化RNN的架构以使其更接近生产环境的状态特征，从而提升判别精度。

较佳地，在上述方法中，每次迭代既可以验证单个模型，也可以同时验证多个模型以找到最优模型和最佳搜索方向，提升寻优算法的收敛速度。

基于本发明的上述方法，建立基于Apache Spark的数据建模平台，支持并行化的数据预处理和进行RNN 建模。Spark作为一个并行运算框架，已经越来越广泛地应用于各类数据处理和机器学习计算与应用，特别是大量开源社区和专业厂商的支持，使Spark日趋成为一种成熟稳定的并行运算框架，并不断集成新的机器学习算法和数据处理函数库实现。本项发明选择通过Spark来实现建模和迭代调优，可以保障整个预测性维护的算法框架具有良好的计算性能和稳定性。

建模的数据样本可能来自不同的数据源，例如：NFS，HDFS或S3，以及电力行业专有的时序数据库系统，本项发明提供多样化的数据接口服务和对用户自定义数据处理逻辑的支持，以保障不同数据源和不同数据格式的输入数据能够便捷地转换为统一的数据样本，供机器学习系统进行建模运算。目前主要支持对电力生产的燃煤机、泵系统、风机等几个主要功能模块的历史数据进行标准化；

本项发明选择的机器学习模型以递归神经网络RNN为基准，结合LSTM，形成对时序数据的特征提取和模式判别。在模型迭代调优的过程中，可以根据用户定义的调优空间搜索逻辑，调整RNN的网络结构，包括网络层次深度，每层网络的神经元数量和神经元配置信息。

建模的数据样本以从电力生产企业的设备监控传感器收集的历史数据为基础构建，以人工方式对发生故障或非正常运行状态的数据进行标记以构建训练样本集和验证样本集。模型输入为时序数据，输出为故障预测向量，该向量长度为n，每一位表示一种故障类型。模型迭代调优通过验证样本集进行验证，以验证后模型的精确度来判定是否进入下一步迭代调优。

最终的模型以电力生产企业的设备监控传感器收集的实时监控数据为输入，输出为故障预测向量，用户可根据输出的故障预测向量判定有哪些潜在的故障或低效运行状态，通过人工检查或干预进行预测性维护。建立数据建模平台具体步骤包括：

选用Spark发布版本(1.6版本以上)；

扩展Spark RDD数据接口，形成支持多种数据输入并维护时序数据的新RDD：SeqDataRDD。导入数据源支持HDFS，NFS，S3和JDBC四种；

扩展Spark Zeppelin交互式操作接口，以便用户提供数据处理逻辑，并以此进行数据预处理(数据清洗)，从而形成统一的数据样本格式；

扩展Spark RDD数据结构以构建支持时序数据样本的SeqTrainingDataRDD作为数据预处理SeqDataRDD 的输出；

SeqTrainingDataRDD允许多个SeqDataRDD作为输入以支持多序列训练样本；

RNN建模由ElecRNN对象实现，本项发明提供了预定义的RNN结构并以此为模型迭代调优的基准，输出故障预测向量长度可由用户根据分析的设备类型和数量来定义，例如：燃煤机、风机、泵各一台，则可定义输出故障向量为3；

扩展Spark Zeppelin交互式操作接口，引人用户定义逻辑进行迭代式模型调优，用户可以定义模型结构的搜索空间和搜索策略，例如：定义搜索空间为二维空间，X轴代表神经网络层数，Y轴代表每层的神经元数量；搜索策略可以二维空间的爬山法来定义，每次在同层增加神经元数量，当模型精度达到极限时(精度不再增加)，增加模型层数，直到模型精度不再提升为止；

用户还可以增加不同的维度以定义神经元的不同属性以及不同层间的互联方式。

本项发明的上述技术方案有益结果如下：

上述技术方案提供一种基于RNN整个建模过程可以自动化进行，减少用户的工作负担，用户只需提供：数据源、数据预处理策略和模型调优搜索策略即可。通过利用Spark良好稳定的并行运算能力，可以根据成本需要，在用户的私有计算集群或公有云平台上便捷地部署自动化建模环境，以最少的人力成本和最短的时间实现预测性维护的建模过程。

附图说明

图1是总体流程图

图2是Spark基础架构图

图3是接口API，数据输入流程与Spark RDD的关系图

图4是RNN的基础架构图

图5是迭代式调优的流程图

图6是预测性维护的操作流程图

具体实施方式

如图1所示，本发明具体实现如下：

1.本项发明的整个建模过程，包括数据导入，预处理，建模和迭代式调优，均在同一运算框架内进行，即Apache Spark(参见图2)。Spark提供了分布式并行运算引擎，由用户应用程序通过扩展 Spark RDD来定义需要处理的数据结构和处理的过程，Spark可以透明地将用户定义过程转换成并行任务，而数据也可以相应的分布到不同的运算节点上用并行任务处理；

2.通过用户数据源导入电力生产环境下的各个设备的监控历史数据，数据选取过去2年的记录，以1 小时作为时间间隔生成序列化数据样本集。单个传感器2年的数据样本为24X 365X 2＝17520。对于可能的数据缺失，采用缺失数据前100个与后100个取平均的方法进行填补，保障原始数据的完备性。由于本项发明需要预测潜在故障，因此数据样本本身不应包含故障状态下的数据，这部分数据在构建样本时需要被去除，但被用于标记样本。本项发明支持4种数据接口：NFS，HDFS， S3和JDBC(导入数据库数据)，参见图3；

3.数据预处理，对于递归神经网络的训练，需要归一化数据以保障不同时间点的传感器状态都以 token的形式表达。在本项发明中，归一化是将数据映射到[0，n]的区间内，这里n取值为5。对于不同传感器，数据的类型和范围都有不同，因此需要用户自定义的归一化方法来进行数据归一化处理(参见图1)。最简单的归一化公式可为 xnorm＝(x-xmin)X5/(xmax-xmin) 用户可以自定义不同的归一化公式以处理不同类型的传感器数据。

4.用于训练的数据样本可以包含多个时序数据(参见图3)，取决于被监控的设备的数量，例如本项发明的应用场景中采用燃煤机、风机和泵的监控历史数据作为输入，因此至少有3种时序数据构成训练样本。如果增加设备，例如增加一台风机，则时序数据增加到4个。和基本的机器学习过程相同，为了进行模型验证，需要将一部分样本分离出来用作验证集，本项发明从整体样本中随机提取40％作为验证样本集。

样本生成过程中需要人工进行故障状态标注，例如燃煤机的低效运行可视为故障状态，需要对该状态下的数据样本进行标记。并非所有时序数据都需要标记，例如风机状态通常都属正常，无须标记。但风机的流量会影响到燃煤机的状态，即导致抵消运行状态的发生，因此风机的状态数据包含了潜在的故障因素，需要被引入建模所需的数据集；

5.本项发明采用RNN，RNN可由多次隐含层构建(参见图4)。本项发明与一般的RNN不同的是允许多组时序数据输入，预设的RNN结构为输入层分为N组，每组100节点，共计100X N节点，2个隐含层，每层256节点，一个M节点输出层，N取决于输入时序数据的个数，M取决于预测错误向量的长度，即需要预测错误状态的设备的数量。以前一节的燃煤机、风机和泵的三设备组合为例，有3个时序数据输入，即N＝3，而可以预测错误状态的为燃煤机和泵，因此错误状态向量长度为 2，即M＝2。输入层的每一组中的节点分别与隐含层相连(参见图4)。

6.模型验证通过验证集来判定是否模型可以通过验证集的输入预判样本中的存在的潜在故障，并计算预测准确率：

PRECISION＝PFsucc/F+PNsucc/N

PFsucc：正确预测存在潜在故障样本的数量，

F：存在潜在故障样本的总量，

PNsucc：正确预测不存在潜在故障样本的数量，

N：不存在潜在故障样本的总量。

7.模型调优采用迭代式过程(参见图5)，具体过程(单模型)伪代码如下：

首先有用户预设阈值THRESHOLD，THRESHOLD决定是否精度达到预期并停止迭代。另一个终止迭代的条件时是否重试的次数超过预设次数。这里的重试是指在用户定义搜索空间中尝试新的模型配置，如果新配置下的模型的精度低于旧配置下的模型，则模型配置需要回退到旧配置并在此基础上重新搜索新配置。

训练数据集train_data和验证数据集validate_data由数据预处理和样本标记过程来生成，模型配置设置为预设模型(即N组输入，每组100节点，两个隐含层，每层256节点，M个输出节点)。进入迭代循环后，每次通过单前模型配置训练并构建RNN模型，然后通过TestModel来验证模型精度，如果精度比之前的最高精度高，则记录新的最高精度，否则将重试次数加1，表示需要搜索不同的配置。重构RNN网络结构的操作由ModelTuning来完成，它通过对当前配置进行重构，获得新的RNN配置，供下一次建模使用。ModelTuning由用户定义，用户对不同RNN配置构建搜索空间，并确定搜索策略。当重试次数超过预期，或精度达到预期，迭代过程结束。如前述例子，可以隐含层的数量和每层的神经元数量来构建二维搜索空间，搜索策略采用爬山法，先从每一层神经元数量进行调整，然后加入新的隐含层，下面的伪代码是更为通用的迭代方法，每次迭代生成多个模型，取精度最高的模型。这样的优点在于模型调整过程ModelTuning可以一次搜索多个方向或搜索策略，从而使迭代过程更接近极大似然方法(EM算法)。

这里每次迭代生成n个模型，并由TestModel对n个模型进行验证，取的精度最高的模型 model_confbest。将model_confbest作为ModelTuning的输入获得下一组模型配置，由于 model_confbest可以辅助定位有效的搜索方向或策略(即从每次n个搜索方向/策略中找到最有效的一个)，因此多模型迭代可以提升迭代质量。

8.预测性维护的操作过程如图6所示，由设备实时监控数据作为输入，预测性维护模型进行预判，如果定位出潜在异常/故障，则向运管人员进行报警。同时提供可能的异常/故障类别供参考。

Claims

1.一种基于递归神经网络的对电力生产设备进行预测性维护的方法，其特征在于，包括：

步骤二，数据预处理，对于递归神经网络的训练，需要归一化数据以保障不同时间点的传感器状态都以token的形式表达；归一化是将数据映射到[0，n]的区间内，这里n取值为5；对于不同传感器，数据的类型和范围都有不同，因此需要用户自定义的归一化方法来进行数据归一化处理；

步骤三，用于训练的数据样本包含多个时序数据，取决于被监控的设备的数量，样本生成过程中需要人工进行故障状态标注，并非所有时序数据都需要标记，对于运行一直正常的设备，无须标记；

步骤四，本项发明采用递归神经网络，由多次隐含层构建，允许多组时序数据输入，预设的递归神经网络结构为输入层分为N组，每组100节点，共计100X N节点，2个隐含层，每层256节点，一个M节点输出层，N取决于输入时序数据的个数，M取决于预测错误向量的长度，即需要预测错误状态的设备的数量；输入层的每一组中的节点分别与隐含层相连；

步骤五，模型验证通过验证集来判定是否模型可以通过验证集的输入预判样本中的存在的潜在故障，并计算预测准确率，通过准确率进行模型调优的迭代式过程，逐步选取最优神经网络配置；每次迭代生成多个模型，并由TestModel对多个模型进行验证，取的精度最高的模型model_confbest，将model_confbest作为ModelTuning的输入获得下一组模型配置；

步骤六，将生成的模型应用于现场的实时数据输入，用来预判潜在的设备异常与故障；

训练数据集和验证数据集由数据预处理和样本标记过程来生成，模型配置设置为预设模型；进入迭代循环后，每次通过单前模型配置训练并构建递归神经网络模型，然后通过TestModel来验证模型精度，如果精度比之前的最高精度高，则记录新的最高精度，否则将重试次数加1，表示需要搜索不同的配置；重构递归神经网络结构的操作由ModelTuning来完成，通过对当前配置进行重构，获得新的递归神经网络配置，供下一次建模使用；ModelTuning由用户定义，用户对不同RNN配置构建搜索空间，并确定搜索策略，当重试次数超过预期，或精度达到预期，迭代过程结束。

2.根据权利要求1所述的基于递归神经网络的对电力生产设备进行预测性维护的方法，其特征在于建立一个以Apache Spark运算框架为基础的自动化数据建模机制，以Spark对数据分布和并行化的良好支持，实现高效的计算和模型构建，评估以及调优；所有数据样本均由Spark数据结构RDD进行维护，简化了从数据预处理到机器学习建模以及迭代的整个过程中的数据交换开销。

3.根据权利要求1所述的基于递归神经网络的对电力生产设备进行预测性维护的方法，其特征在于选择的机器学习模型以递归神经网络为基准，结合LSTM，形成对时序数据的特征提取和模式判别。

4.根据权利要求1所述的基于递归神经网络的对电力生产设备进行预测性维护的方法，其特征在于提出多层次用户可定制功能，具体包括用户定义数据处理逻辑，用户定义数据标记方法，和用户定义的模型调优机制。

5.根据权利要求4所述的基于递归神经网络的对电力生产设备进行预测性维护的方法，其特征在于用户定制接口通过扩展Spark Zeppelin交互式操作接口来实现。

6.根据权利要求3所述的基于递归神经网络的对电力生产设备进行预测性维护的方法，其特征在于支持多层次的用户定义的模型调优机制，包括用户定义的调优搜索空间和用户定义的搜索方法。