CN112580798A - 基于多输入多输出ResNet的设备智能预警方法 - Google Patents

基于多输入多输出ResNet的设备智能预警方法 Download PDF

Info

Publication number
CN112580798A
CN112580798A CN202011400285.XA CN202011400285A CN112580798A CN 112580798 A CN112580798 A CN 112580798A CN 202011400285 A CN202011400285 A CN 202011400285A CN 112580798 A CN112580798 A CN 112580798A
Authority
CN
China
Prior art keywords
data
output
equipment
training
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011400285.XA
Other languages
English (en)
Inventor
张振宇
刘东举
王硕
刘朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Power System Engineering And Research Institute Co ltd Of Cneec
Original Assignee
Harbin Power System Engineering And Research Institute Co ltd Of Cneec
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Power System Engineering And Research Institute Co ltd Of Cneec filed Critical Harbin Power System Engineering And Research Institute Co ltd Of Cneec
Priority to CN202011400285.XA priority Critical patent/CN112580798A/zh
Publication of CN112580798A publication Critical patent/CN112580798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

基于多输入多输出ResNet网络的设备智能预警方法。利用深度残差网络ResNet处理数据预测回归问题，并通过对训练数据集和ResNet网络的合理构造，实现一张网络同时对多特征进行预测回归，降低了训练参数数量，提升了训练速度和效率。本发明包括如下步骤：选取设备相关历史数据，并进行预处理；构建多输入多输出ResNet网络；利用经预处理后的设备相关历史数据对多输入多输出ResNet网络进行训练，得到智能预警模型，并分析训练结果，得到残差阈值；获取设备相关实时数据，利用智能预警模型计算预测值，并根据残差阈值判断设备运行状态。本发明用于设备智能预警。

Description

基于多输入多输出ResNet的设备智能预警方法
技术领域
本发明涉及设备故障预警领域，特别涉及一种基于多特征预测深度残差网络ResNet对设备状态进行预测的方法。
背景技术
在发电、化工等传统工业领域，运行人员通常通过监视控制系统中接入的设备各传感器信号来判断设备运行状态，但对单个传感器信号的监视不能及时发现设备的异常状态。当设备处于劣化状态时，相关传感器信号并没有到达控制系统设置的报警阈值，如果运行人员没有发现，设备将长期处于劣化状态运转，直至控制系统对于传感器信号设置的报警出现，这时设备通常已经出现较大故障。
设备运行状态是通过各相关传感器信号共同反映出来的，所以有一定技术与经验积累的运行人员会同时监测与设备相关的多个传感器信号，在这些运行人员的认知中，会对各运行工况下该设备各传感器信号应处于的值有一定的概念，当某些信号偏离值太多时，即使未到达控制系统报警阈值，仍可判定该设备状态异常，并及时进行检修处理，避免出现更大的故障导致设备停运。但受限于以下因素：运行人员的技术与经验积累水平不一、运行人员的精力与注意力难以长期维持在较高水平、同时监视所有设备相关传感器信号趋势曲线是难以实现的、运行人员对于设备各传感器应处于值范围的认知是不精确的，导致常态下对设备的监测仍主要依靠于控制系统单一信号的报警。
随着机器学习、深度学习等人工智能技术的发展，如何利用计算机对设备各关联传感器信号进行分析，挖掘其内在联系，从而实时监测设备运行状态，实现设备故障智能预警，成为人工智能技术在工业领域应用的热点问题。目前这方面的应用主要以机器学习技术的运用为主要手段，如支持向量机算法、随机深林算法、XGBoost算法等，而机器学习算法在处理海量数据集时可能会出现效率低下、效果不理想，甚至训练不收敛等问题，所以利用上述算法在进行设备传感器信号内在联系分析时，必须对样本数据进行大规模压缩，造成数据资源的浪费，且任何数据压缩方式都会产生关联特征的丢失，进而对预测精度产生影响。其次，随着时间推移，设备运行各传感器信号之间的内在联系并不是一成不变的，需定期对预测模型进行更新，才能避免预测精度的下降，但传统机器学习算法对于增量学习问题的处理是十分困难的。另一方面，目前业界大部分设备故障预警应用，在利用机器学习算法对数据进行分析时，往往采用并行方式实现对多维特征的预测，即同时构建N（需预测特征个数）个多输入单输出预测模型，这种方式会导致模型训练参数、训练时间成倍增长，并且会使机器学习算法本就难以处理的增量学习问题变得更加复杂。
深度学习技术能够有效的对海量数据进行充分利用，随着深度的增加，在理论上能够获得更高的精确度，并且能够方便的进行增量学习。近年来，CPU、GPU的计算性能实现了大幅度提升，以卷积神经网络、循环神经网络为代表的深度学习技术得以突破计算瓶颈，获得了大规模应用，目前已广泛应用于图像处理、语音识别、智能驾驶等领域，应用效果十分理想。深度神经网络应用主要由互联网公司引领，这些公司面向用户日常生活的应用需求设计了大量应用场景，覆盖了用户生活的方方面面，但是对于工业领域的应用仍处于较低的水平。另一方面，受应用场景所限，目前深度神经网络主要应用于处理对单特征的分类问题，对于处理多特征回归预测问题的解决方案较少。
在传统卷积神经网络应用中，理论上只要不断增加网络的层数，就能获得更好的效果，但实验中发现随着网络层数的增加，网络发生了退化（degradation）的现象：随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当再增加网络深度的话，训练集loss反而会增大，这并不是过拟合现象，因为在过拟合中训练loss是一直减小的。从信息论的角度讲，由于DPI（数据处理不等式）的存在，在前向传输的过程中，随着层数的加深，FeatureMap包含的图像信息会逐层减少。而ResNet网络作为一种卷积神经网络的变体模型，采用在不同层次之间建立添加一条直接映射（Identity Mapping）的方式，保证了L层的网络一定比 L+1层包含更多的图像信息。
发明内容
本发明的目的是在于克服机器学习技术对于海量数据分析的不足、以及其在增量学习方面的缺陷，通过一种基于多输入多输出ResNet网络的设备智能预警方法，利用ResNet网络处理数据预测回归问题，并通过对训练数据集和ResNet网络的合理构造，实现了对海量数据的充分利用，且实现了一张网络同时对多特征进行预测回归，降低了训练参数数量，提升了训练速度和效率。相比于传统卷积神经网络，ResNet确保在深层网络获取的信息比浅层网络获取的信息要更多，能够有效避免随着网络层次的增加而产生的网络退化现象，能够获得更高的预测精度。
上述的目的通过以下的技术方案实现：
一种基于多输入多输出ResNet的设备智能预警方法，包括如下几个步骤：
步骤一：选取设备相关历史数据，并进行预处理；
步骤二：构建多输入多输出ResNet网络；
步骤三：利用经预处理后的设备相关历史数据对多输入多输出ResNet网络进行训练，得到智能预警模型，并分析训练结果，得到残差阈值；
步骤四：获取设备相关实时数据，利用智能预警模型计算预测值，并根据残差阈值判断设备运行状态。
所述的基于多输入多输出ResNet网络的设备智能预警方法，所述的步骤一的具体过程如下：
（1）从实时数据库中抽取一段时间的历史数据，这些历史数据包括与设备相关的测点数据，以及能够反映整体工况的测点的数据；对上述数据进行筛选，确保所选数据为设备正常状态下的运行数据，并删除超限、无效数据；
（2）对步骤（1）得到的数据进行变换、标准化，使数据满足多输入多输出ResNet网络的输入输出维度要求，并消除数据量纲差异，最终得到训练数据集。
所述的基于多输入多输出ResNet网络的设备智能预警方法，所述的步骤（2）的具体过程为：
对于筛选后的m*n阶数据矩阵M，其中m为样本数量，n为测点个数，即特征数量，定位其中代表反映整体工况的特征的位置k，然后对矩阵M除k特征外的每一个特征进行处理，循环次数为n-1；第i次循环的特征处理过程具体为：
<1> 令
Figure DEST_PATH_IMAGE001
，保存为
Figure 902755DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
；
<2> 对
Figure 429289DEST_PATH_IMAGE002
数据进行标准化处理，消除各特征量纲，标准化处理后的矩阵保存为
Figure 239900DEST_PATH_IMAGE004
，标准化公式为：
Figure DEST_PATH_IMAGE005
将各特征均值、方差向量保存在数据结构
Figure 565925DEST_PATH_IMAGE006
中；
循环结束后构造出如下元组：
Figure DEST_PATH_IMAGE007
将
Figure 421010DEST_PATH_IMAGE008
进行变换后得到训练数据矩阵：
Figure DEST_PATH_IMAGE009
其中，m为筛选后数据样本数量，n为设备相关数据的特征数量。
然后，在将M中反映整体工况的特征数据删除，并按上述标准化公式进行标准化处理，消除各特征量纲，均值、方差保存在数据结构中，最终得到训练输出矩阵：
Figure 800169DEST_PATH_IMAGE010
。
所述的基于多输入多输出ResNet网络的设备智能预警方法，所述的步骤二的具体过程为：
（1）构建一个卷积层，其输入为样本矩阵，卷积核个数为32，计算步长为1，padding为same，并采用relu函数激活；
（2）构建一个卷积层，其输入为第一个卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h1；
（3）构建一个卷积层，将h1采用relu函数激活后作为输入，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（4）构建一个卷积层，其输入为<3>卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h2；
（5）将h1与h2相加，并采用relu函数激活，定义其输出为out2；
（6）构建一个卷积层，其输入为out2，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（7）构建一个卷积层，其输入为<7>卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h3；
（8）将h3与out2相加，并采用relu函数激活，定义其输出为out3；
（9）构建一个卷积层，其输入为out3，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（10）构建一个全连接层，具有64个神经元，其输入<9>卷积层的输出，采用relu函数激活；
（11）构建一个输出层，输出节点个数为n-1，n为设备相关数据的特征数量，保存该网络为
Figure DEST_PATH_IMAGE011
。
所述的一种基于多输入多输出ResNet网络的设备智能预警方法，步骤三的具体过程为：
（1）将预处理后的数据集按特定比例拆分为训练集：
Figure 662690DEST_PATH_IMAGE012
，验证集：
Figure DEST_PATH_IMAGE013
；
（2）按高斯分布随机初始化
Figure 836313DEST_PATH_IMAGE014
网络参数，设置损失函数为均方误差损失，设置初始学习率为0.001，并随训练轮次按指数下降，设置训练轮次为20轮，设置批量梯度下降的样本数量为2000；
（3）将训练集：
Figure DEST_PATH_IMAGE015
送入网络
Figure 965376DEST_PATH_IMAGE016
进行训练，得到预测模型
Figure DEST_PATH_IMAGE017
;
（4）利用模型
Figure 397494DEST_PATH_IMAGE017
对验证集：
Figure 914188DEST_PATH_IMAGE018
进行数据预测，得到预测数据集：
Figure DEST_PATH_IMAGE019
，将
Figure 521363DEST_PATH_IMAGE020
按
Figure DEST_PATH_IMAGE021
进行反归一化，并做差得到残差集：
Figure 192515DEST_PATH_IMAGE022
；
（5）取
Figure DEST_PATH_IMAGE023
特定比例的置信区间边界和特定比例分位数中较大的值作为阈值上下限。
有益效果：
1.本发明在对数据进行预处理过程中，除进行正确数据筛选外，仅需采用标准化方法，消除各传感器信号之间的量纲差异，无需对数据进行压缩，最大限度的保留了数据的原始关联关系，在数据层面确保了预测模型的精度。
2.将广泛用于图像识别的卷积神经网络，应用于工业领域进行回归预测分析，开拓了一种新的深度学习技术应用场景。
3.通过对数据集的变换和对ResNet网络的合理构造，实现了利用一张网络对多个特征同时进行数据预测回归，大规模缩减了训练数据的数量，提高了模型训练的效率。
4.对训练集未囊括的设备运行正常状态数据和设备老化导致的新状态数据，能够在原有模型参数的基础上，方便的进行增量学习，确保模型预测精度保持在较高水平。
5.相比于传统卷积神经网络，基于ResNet实现的预测模型能够对设备运行状态进行更高精度的预测，数据训练过程中损失函数能够收敛于,各特征的预测残差均近似服从均值为0、方差极小的正态分布。
附图说明：
附图1是本发明实现设备智能预警的过程示意图；
附图2是某电厂机组省煤器设备多输入多输出ResNet网络的结构；
附图3是省煤器设备智能预警模型训练结果；
附图4是省煤器设备智能预警模型对验证集预测的残差结果分析；
附图5是正常状态下省煤器设备智能预警模型预测值跟随情况；
附图6是异常状态下省煤器设备智能预警模型预测值跟随情况。
具体实施方式：
实施例1：
一种基于多输入多输出ResNet的设备智能预警方法，包括如下几个步骤：
步骤一：选取设备相关历史数据，并进行预处理；
步骤二：构建多输入多输出ResNet网络；
步骤三：利用经预处理后的设备相关历史数据对多输入多输出ResNet网络进行训练，得到智能预警模型，并分析训练结果，得到残差阈值；
步骤四：获取设备相关实时数据，利用智能预警模型计算预测值，并根据残差阈值判断设备运行状态。
实施例2：
根据实施例1所述的基于多输入多输出ResNet网络的设备智能预警方法，所述的步骤一的具体过程如下：
（1）从实时数据库中抽取一段时间的历史数据，这些历史数据包括与设备相关的测点数据，以及能够反映整体工况的测点的数据；对上述数据进行筛选，确保所选数据为设备正常状态下的运行数据，并删除超限、无效数据；
（2）对步骤（1）得到的数据进行变换、标准化，使数据满足多输入多输出ResNet网络的输入输出维度要求，并消除数据量纲差异，最终得到训练数据集。
其中，对数据矩阵进行变换的依据是：
经过步骤（1）后，样本数据应为m×n阶矩阵：
Figure 116740DEST_PATH_IMAGE024
其中，m表示样本个数，n表示特征个数，k表示能够反映整体工况的特征的位置。
对于每一个样本，可以看做是一个
Figure DEST_PATH_IMAGE025
像素的图片，为了同时对多个特征进行预测回归，对这个样本进行变换，进行
Figure 507182DEST_PATH_IMAGE026
次循环迭代，对除反映整体工况的特征外的其余特征求在其低维空间的投影，构造成为类似具有
Figure DEST_PATH_IMAGE027
个通道的图片，如下所示：
Figure 285258DEST_PATH_IMAGE028
为了充分分析数据间的关联关系，对上述矩阵进行空间变换得到如下矩阵：
Figure DEST_PATH_IMAGE029
以上为单个样本的数据构造，训练数据为m个上述构造的样本。
实施例3：
根据实施例1或2所述的基于多输入多输出ResNet网络的设备智能预警方法，所述的步骤（2）的具体过程为：
对于筛选后的m*n阶数据矩阵M，其中m为样本数量，n为测点个数，即特征数量，定位其中代表反映整体工况的特征的位置k，然后对矩阵M除k特征外的每一个特征进行处理，循环次数为n-1；第i次循环的特征处理过程具体为：
<1> 令
Figure 132122DEST_PATH_IMAGE030
，保存为
Figure 968360DEST_PATH_IMAGE002
，其中
Figure 771231DEST_PATH_IMAGE003
；
<2> 对
Figure 550835DEST_PATH_IMAGE002
数据进行标准化处理，消除各特征量纲，标准化处理后的矩阵保存为
Figure 321214DEST_PATH_IMAGE004
，标准化公式为：
Figure 197029DEST_PATH_IMAGE005
将各特征均值、方差向量保存在数据结构
Figure 119985DEST_PATH_IMAGE006
中；
循环结束后构造出如下元组：
Figure DEST_PATH_IMAGE031
将
Figure 239864DEST_PATH_IMAGE032
进行变换后得到训练数据矩阵：
Figure DEST_PATH_IMAGE033
其中，m为筛选后数据样本数量，n为设备相关数据的特征数量。
然后，在将M中反映整体工况的特征数据删除，并按上述标准化公式进行标准化处理，消除各特征量纲，均值、方差保存在数据结构中，最终得到训练输出矩阵：
Figure 372905DEST_PATH_IMAGE034
。
实施例4：
根据实施例1或2或3所述的基于多输入多输出ResNet网络的设备智能预警方法，所述的步骤二的具体过程为：
（1）构建一个卷积层，其输入为样本矩阵，卷积核个数为32，计算步长为1，padding为same，并采用relu函数激活；
（2）构建一个卷积层，其输入为第一个卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h1；
（3）构建一个卷积层，将h1采用relu函数激活后作为输入，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（4）构建一个卷积层，其输入为<3>卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h2；
（5）将h1与h2相加，并采用relu函数激活，定义其输出为out2；
（6）构建一个卷积层，其输入为out2，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（7）构建一个卷积层，其输入为<7>卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h3；
（8）将h3与out2相加，并采用relu函数激活，定义其输出为out3；
（9）构建一个卷积层，其输入为out3，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（10）构建一个全连接层，具有64个神经元，其输入<9>卷积层的输出，采用relu函数激活；
（11）构建一个输出层，输出节点个数为n-1，n为设备相关数据的特征数量，保存该网络为
Figure 52410DEST_PATH_IMAGE011
。
实施例5：
根据实施例1或2或3或4所述的一种基于多输入多输出ResNet网络的设备智能预警方法，其特征是：步骤三的具体过程为：
（1）将预处理后的数据集按特定比例拆分为训练集：
Figure 16824DEST_PATH_IMAGE012
，验证集：
Figure 188829DEST_PATH_IMAGE013
；
（2）按高斯分布随机初始化
Figure 605904DEST_PATH_IMAGE014
网络参数，设置损失函数为均方误差损失，设置初始学习率为0.001，并随训练轮次按指数下降，设置训练轮次为20轮，设置批量梯度下降的样本数量为2000；
（3）将训练集：
Figure 400684DEST_PATH_IMAGE015
送入网络
Figure 721070DEST_PATH_IMAGE016
进行训练，得到预测模型
Figure 559581DEST_PATH_IMAGE017
;
在信息反向传播过程采用Adam优化算法，在第t此迭代过程中，用当前批量梯度下降算法计算
Figure DEST_PATH_IMAGE035
，然后计算指数加权平均：
Figure 165750DEST_PATH_IMAGE036
然后用进行更新：
Figure DEST_PATH_IMAGE037
之后计算修正：
Figure 374008DEST_PATH_IMAGE038
最后对权重进行更新：
Figure DEST_PATH_IMAGE039
随着训练轮次的增加，学习率将按如下方式不断下降：
Figure 985118DEST_PATH_IMAGE040
（4）利用模型
Figure DEST_PATH_IMAGE041
对验证集：
Figure 877420DEST_PATH_IMAGE018
进行数据预测，得到预测数据集：
Figure 770552DEST_PATH_IMAGE042
，将
Figure 907135DEST_PATH_IMAGE020
按
Figure 435069DEST_PATH_IMAGE021
进行反归一化，并做差得到残差集：
Figure DEST_PATH_IMAGE043
；
（5）取
Figure 504131DEST_PATH_IMAGE023
特定比例的置信区间边界和特定比例分位数中较大的值作为阈值上下限。
以电厂机组的省煤器为分析对象，作为电厂关键设备，省煤器本身传感器测点较少，难以直观反映省煤器的运行状态，一旦出现问题将直接导致机组负荷非正常下降甚至停机，通过本发明对省煤器及其影响测点进行建模，实时分析其运行状态，有助于提前发现异常状态，对保证机组平稳运行有着重要意义。
本发明对省煤器设备的基于多输入多输出ResNet的设备智能预警方法主要步骤如下：
一、获取省煤器设备相关历史数据，并进行预处理
选定14个与省煤器模型相关的测点，包括省煤器出口温度、省煤器出口烟气压力、省煤器入口烟气压力、省煤器出入口烟气压差、省煤器出口烟温、空预器出口烟温等传感器测点，并包括了主蒸汽压力这一反映整体工况的测点信号。获取该14个测点从2018年10月至2019年10月的数据，进行上下限、正常值等数据筛选过程后，形成共计1082580个数据样本，每个样本是一个14维的向量。
将样本组织为矩阵，对除主蒸汽压力特征外的其余特征按列遍历，共进行13此迭代，每一次迭代将被迭代的特征列所在全部样本置为0，并按步骤1.2的方式对数据进行标准化，将各特征量纲缩放至-1~1之间，之后将本次迭代产生的新的矩阵存储至元组中。迭代完成后将长度为13的元组合并、变换，形成维度为的多维矩阵。
二、构建多输入多输出ResNet网络
依据上述多维矩阵的维度，构建一张多输入多输出ResNet网络，同时对省煤器设备除主蒸汽压力外的13个特征进行预测，构建的网络结构如图2所示。
三、预警模型训练和残差阈值分析
将上述多维矩阵按8:2比例拆分为训练集
Figure 196144DEST_PATH_IMAGE044
，验证集：
Figure DEST_PATH_IMAGE045
。按高斯分布随机初始化网络参数，设置损失函数为均方误差损失，设置初始学习率为0.001，并随训练轮次按指数下降，设置训练轮次为20轮，设置批量梯度下降的样本数量为2000，设置学习率下降指数为0.96，并对训练过程设置回调函数，每一轮次训练完成时如果损失值连续3轮次下降幅度小于
Figure 683888DEST_PATH_IMAGE046
，则提前终止训练。
设置完成后开始训练网络参数，将训练集：
Figure DEST_PATH_IMAGE047
送入网络进行训练，在本次对省煤器设备模型的训练过程中，基于tensorflow2框架对GPU计算的支持，单次训练时间仅为97秒左右，经过15轮训练后损失值收敛在
Figure 23252DEST_PATH_IMAGE048
附近，最终完成省煤器预测模型的训练，训练过程如图3所示。
利用省煤器预测模型对验证集：
Figure DEST_PATH_IMAGE049
进行数据预测，得到预测数据集：
Figure 16878DEST_PATH_IMAGE050
，将
Figure DEST_PATH_IMAGE051
进行反归一化，并做差得到残差集：
Figure 803044DEST_PATH_IMAGE052
。对各特征残差进行分析，均近似服从均值为0的正太分布，因此本次训练的模型预测效果达到了预期。取
Figure 468381DEST_PATH_IMAGE053
特定比例的置信区间边界和特定比例分位数中较大的值作为阈值上下限。某特征残差密度分布、分位数情况如图4所示。
四、利用预测模型对省煤器设备状态实时监测
获取省煤器设备相关实时数据，利用预测模型计算预测值，并根据残差阈值判断设备运行状态。为了更好说明本发明的效果，本实施例利用省煤器智能预警模型中对省煤器设备在2019年10月24日至2019年11月30日中产生的数据进行预测。通过分析结果可以看出，在设备正常运转时，模型对于各特征的预测能够紧密跟随实际值，如图5所示。当设备出现异常时，预警模型的预测值与实际值会出现较大偏离，在2019年11月12日，省煤器左侧入口烟温预测值与实际值逐渐产生偏离，如图6所示，经检修发现，该设备出现了泄露故障。

Claims (5)

1.一种基于多输入多输出ResNet的设备智能预警方法，其特征是：包括如下几个步骤：
步骤一：选取设备相关历史数据，并进行预处理；
步骤二：构建多输入多输出ResNet网络；
步骤三：利用经预处理后的设备相关历史数据对多输入多输出ResNet网络进行训练，得到智能预警模型，并分析训练结果，得到残差阈值；
步骤四：获取设备相关实时数据，利用智能预警模型计算预测值，并根据残差阈值判断设备运行状态。
2.根据权利要求1所述的基于多输入多输出ResNet网络的设备智能预警方法，其特征是：所述的步骤一的具体过程如下：
（1）从实时数据库中抽取一段时间的历史数据，这些历史数据包括与设备相关的测点数据，以及能够反映整体工况的测点的数据；对上述数据进行筛选，确保所选数据为设备正常状态下的运行数据，并删除超限、无效数据；
（2）对步骤（1）得到的数据进行变换、标准化，使数据满足多输入多输出ResNet网络的输入输出维度要求，并消除数据量纲差异，最终得到训练数据集。
3.根据权利要求1或2所述的基于多输入多输出ResNet网络的设备智能预警方法，其特征是：所述的步骤（2）的具体过程为：
对于筛选后的m*n阶数据矩阵M，其中m为样本数量，n为测点个数，即特征数量，定位其中代表反映整体工况的特征的位置k，然后对矩阵M除k特征外的每一个特征进行处理，循环次数为n-1；第i次循环的特征处理过程具体为：
<1> 令
Figure 496942DEST_PATH_IMAGE001
，保存为
Figure 934876DEST_PATH_IMAGE002
，其中
Figure 512750DEST_PATH_IMAGE003
；
<2> 对
Figure 985320DEST_PATH_IMAGE002
数据进行标准化处理，消除各特征量纲，标准化处理后的矩阵保存为
Figure 629928DEST_PATH_IMAGE004
，标准化公式为：
Figure 555159DEST_PATH_IMAGE005
将各特征均值、方差向量保存在数据结构
Figure 185991DEST_PATH_IMAGE006
中；
循环结束后构造出如下元组：
Figure 247488DEST_PATH_IMAGE007
将
Figure 62997DEST_PATH_IMAGE008
进行变换后得到训练数据矩阵：
Figure 475524DEST_PATH_IMAGE009
其中，m为筛选后数据样本数量，n为设备相关数据的特征数量；
然后，在将M中反映整体工况的特征数据删除，并按上述标准化公式进行标准化处理，消除各特征量纲，均值、方差保存在数据结构中，最终得到训练输出矩阵：
Figure 159315DEST_PATH_IMAGE010
。
4.根据权利要求1所述的基于多输入多输出ResNet网络的设备智能预警方法，其特征是：所述的步骤二的具体过程为：
（1）构建一个卷积层，其输入为样本矩阵，卷积核个数为32，计算步长为1，padding为same，并采用relu函数激活；
（2）构建一个卷积层，其输入为第一个卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h1；
（3）构建一个卷积层，将h1采用relu函数激活后作为输入，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（4）构建一个卷积层，其输入为<3>卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h2；
（5）将h1与h2相加，并采用relu函数激活，定义其输出为out2；
（6）构建一个卷积层，其输入为out2，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（7）构建一个卷积层，其输入为<7>卷积层的输出，卷积核个数为64，计算步长为1，padding为same，定义其输出为h3；
（8）将h3与out2相加，并采用relu函数激活，定义其输出为out3；
（9）构建一个卷积层，其输入为out3，卷积核个数为64，计算步长为1，padding为same，并采用relu函数激活；
（10）构建一个全连接层，具有64个神经元，其输入<9>卷积层的输出，采用relu函数激活；
（11）构建一个输出层，输出节点个数为n-1，n为设备相关数据的特征数量，保存该网络为
Figure 340898DEST_PATH_IMAGE011
。
5.根据权利要求1所述的一种基于多输入多输出ResNet网络的设备智能预警方法，其特征是：步骤三的具体过程为：
（1）将预处理后的数据集按特定比例拆分为训练集：
Figure 61729DEST_PATH_IMAGE012
，验证集：
Figure 961552DEST_PATH_IMAGE013
；
（2）按高斯分布随机初始化
Figure 934187DEST_PATH_IMAGE014
网络参数，设置损失函数为均方误差损失，设置初始学习率为0.001，并随训练轮次按指数下降，设置训练轮次为20轮，设置批量梯度下降的样本数量为2000；
（3）将训练集：
Figure 235856DEST_PATH_IMAGE015
送入网络
Figure 596430DEST_PATH_IMAGE016
进行训练，得到预测模型
Figure 514707DEST_PATH_IMAGE017
;
（4）利用模型
Figure 884509DEST_PATH_IMAGE017
对验证集：
Figure 929432DEST_PATH_IMAGE018
进行数据预测，得到预测数据集：
Figure 726487DEST_PATH_IMAGE019
，将
Figure 866481DEST_PATH_IMAGE020
按
Figure 39973DEST_PATH_IMAGE021
进行反归一化，并做差得到残差集：
Figure 457179DEST_PATH_IMAGE022
；
（5）取
Figure 425135DEST_PATH_IMAGE023
特定比例的置信区间边界和特定比例分位数中较大的值作为阈值上下限。
CN202011400285.XA 2020-12-03 2020-12-03 基于多输入多输出ResNet的设备智能预警方法 Pending CN112580798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400285.XA CN112580798A (zh) 2020-12-03 2020-12-03 基于多输入多输出ResNet的设备智能预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400285.XA CN112580798A (zh) 2020-12-03 2020-12-03 基于多输入多输出ResNet的设备智能预警方法

Publications (1)

Publication Number Publication Date
CN112580798A true CN112580798A (zh) 2021-03-30

Family

ID=75127503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400285.XA Pending CN112580798A (zh) 2020-12-03 2020-12-03 基于多输入多输出ResNet的设备智能预警方法

Country Status (1)

Country Link
CN (1) CN112580798A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452067A (zh) * 2023-06-12 2023-07-18 昆山工业大数据创新中心有限公司 一种工业设备参数的劣化度评估方法、装置及设备
CN116910664A (zh) * 2023-07-12 2023-10-20 南京航空航天大学 基于级联模型的航班地面保障动态预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452067A (zh) * 2023-06-12 2023-07-18 昆山工业大数据创新中心有限公司 一种工业设备参数的劣化度评估方法、装置及设备
CN116452067B (zh) * 2023-06-12 2023-09-05 昆山工业大数据创新中心有限公司 一种工业设备参数的劣化度评估方法、装置及设备
CN116910664A (zh) * 2023-07-12 2023-10-20 南京航空航天大学 基于级联模型的航班地面保障动态预测方法
CN116910664B (zh) * 2023-07-12 2024-04-19 南京航空航天大学 基于级联模型的航班地面保障动态预测方法

Similar Documents

Publication Publication Date Title
CN112580784A (zh) 基于多输入多输出卷积神经网络的设备智能预警方法
US11650968B2 (en) Systems and methods for predictive early stopping in neural network training
US20200167659A1 (en) Device and method for training neural network
CN109784692B (zh) 一种基于深度学习的快速安全约束经济调度方法
CN112580798A (zh) 基于多输入多输出ResNet的设备智能预警方法
CN112784920B (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN110956309A (zh) 基于crf和lstm的流程活动预测方法
CN114417739B (zh) 一种异常工况的工艺参数推荐方法及装置
CN115204463A (zh) 一种基于多注意力机制的剩余使用寿命不确定性预测方法
US11531907B2 (en) Automated control of a manufacturing process
Wu et al. Custom machine learning architectures: towards realtime anomaly detection for flight testing
CN115409217A (zh) 一种基于多专家混合网络的多任务预测性维护方法
CN115712874A (zh) 基于时间序列特征的热能动力系统故障诊断方法及装置
US20240103920A1 (en) Method and system for accelerating the convergence of an iterative computation code of physical parameters of a multi-parameter system
CN116599683A (zh) 一种恶意流量检测方法、系统、装置及存储介质
Bogaerts et al. A fast inverse approach for the quantification of set-theoretical uncertainty
Teslyuk et al. Synthesis of Neurocontroller for Intellectualization Tasks of Process Control Systems
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN117439800B (zh) 一种网络安全态势预测方法、系统及设备
CN115309736B (zh) 基于自监督学习多头注意力网络的时序数据异常检测方法
CN116702839A (zh) 一种基于卷积神经网络的模型训练方法及应用系统
Li et al. Efficient Time Series Predicting with Feature Selection and Temporal Convolutional Network
Rajalakshmi et al. A Novel Parameter Reduction Method for Simplifying Improved RC-IDeepRT
CN117909881A (zh) 多源数据融合的抽油机的故障诊断方法及装置
CN117195001A (zh) 基于功耗曲线和脚本信息的hpc作业功耗预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination