CN113807023A - 基于门控循环单元网络的工业互联网设备故障预测方法 - Google Patents
基于门控循环单元网络的工业互联网设备故障预测方法 Download PDFInfo
- Publication number
- CN113807023A CN113807023A CN202111167353.7A CN202111167353A CN113807023A CN 113807023 A CN113807023 A CN 113807023A CN 202111167353 A CN202111167353 A CN 202111167353A CN 113807023 A CN113807023 A CN 113807023A
- Authority
- CN
- China
- Prior art keywords
- samples
- data
- gate
- output
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Optimization (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Molecular Biology (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
基于门控循环单元网络的工业互联网设备故障预测方法涉及信息技术领域。本发明包括四个步骤，分别是数据预处理、特征提取、模型构建和评估优化。本发明的方法与基于传统机器学习的状态预测相比，对特征工程质量的依赖更少，可以更灵活地分析和处理机器状态的特征；与基于深度学习的状态分析相比，不需要海量训练集，节省了大量的人力和物力成本。
Description
技术领域
本发明涉及信息技术领域。
背景技术
设备的故障诊断与预测一直是学者们关注的研究热点，近几年来，随着机器学习方法的流行，越来越多的研究人员尝试将机器学习的方法应用到设备状态诊断与预测中来。
陈志平等人采用基于奇异值分解优化的局部均值分解法提取电梯轿厢振动时频域特征，然后采用聚类分析进行电梯故障分析，采用回归分析实现电梯故障的预测。范李平等人首先对变电设备故障影响因素进行相关性分析，选择影响因素，然后利用Logistic回归算法进行故障预测。王桂兰等人使用XGBoost算法在风机主轴承故障预测中取得了良好的效果.Leahy等人首先根据领域知识进行特征选择，然后通过随机网格搜索寻找超参数来训练支持向量机进行故障诊断。
然而，以上基于传统机器学习算法的研究仅适用于有限数据样本空间，在实际工业环境中，数据规模特别大，且数据之间具有高度的时间相关性，以上方法并不适用。
随着近几年深度学习的快速发展，基于深度学习的时间序列分析也成为目前设备故障诊断与预测的一个研究热点。国内的周剑飞等人也提出了一种基于LSTM神经网络模型和滑动窗口技术进行设备故障的在线检测，但此方法并没有解决实际工业环境中数据严重倾斜的问题。
现有技术说明
在实际问题中，异常数据往往只占正常数据的极小比例，而当前绝大多数机器学习算法都是基于正负样本比例相差不大的假设，因此严重倾斜的样本数据在某些情况下会导致算法准确性大大降低.例如：欺诈电话检测、信息检索和过滤以及机载直升机变速箱故障监测等问题。
欧式距离也称欧几里得距离，是最常见的距离度量，衡量的是多维空间中两个点之间的绝对距离。
在工业上直接通过设备传感器获得的数据往往具有非常高的相关性，并且由于内外部环境的影响，传感器产生的数据一般都会具有噪声.基于以上原因，直接对传感器数据进行处理会产生算法的运行效率低、准确率不高等问题。
sigmoid神经网络中的激活函数，其作用就是引入非线性。具体的非线性形式，则有多种选择。sigmoid的优点在于输出范围有限，所以数据在传递的过程中不容易发散。当然也有相应的缺点，就是饱和的时候梯度太小。sigmoid还有一个优点是输出范围为(0,1)，所以可以用作输出层，输出表示概率。sigmoid求导容易。
发明内容
鉴于现有技术的不足，本发明提供的基于门控循环单元网络的工业互联网设备故障预测方法包括四个步骤，分别是数据预处理、特征提取、模型构建和评估优化；
1）数据预处理
⑴根据正常数据和异常数据比例，即数据倾斜程度确定一个采样比率N，当正常数
据大于异常数据时，采样比率为正常数据总数除以异常数据总数，少数类样本为异常数据
样本；当正常数据小于异常数据时，采样比率为异常数据总数除以正常数据总数，少数类样
本为正常数据样本；设少数类中样本数为T；对于少数类中的一个样本
，计算该样本到
其余少数类样本的距离，得到其k个近邻样本，样本间的距离指欧式距离；
⑵从这k个近邻样本中任取一个
，然后按照计算式生成新的少数类样本：计
算式为：
，rand（0，1）生成一个0到1之间的随机
数；
⑶将步骤2重复N次，对于
即可生成N个新样本；
⑷对于少数类中所有样本执行上述操作，为该少数类合成N×T个新样本，少数类样本与多数类样本总数达到一致，即正常数据样本与异常数据样本在总数上达到同样数目；
2）特征提取
⑴设原始数据样本包含m个n维特征向量
，T是表示
数据向量的符号；计算样本数据的平均值：
；
⑵计算样本数据的协方差矩阵：
⑶利用特征值分解方法求解协方差矩阵的特征值λ1，λ2，λ3，…，λI和特征向量ξ1，ξ2，ξ3，…，ξI；
⑷将特征值从小到大排序，选取其中最大的k个，然后将其对应的k个特征向量组成特征向量矩阵P；
⑸将原始样本数据投影到低维向量空间中：Y=PTX；
3）模型构建
⑴在循环神经网络中添加遗忘门，遗忘门由一个sigmoid函数对输入数据进行选
择，淘汰数据则输出为0，选择数据则输出为
， ht-1 表示上一个细胞
的输出，xt表示当前细胞的输入，σ表示sigmoid函数，b为输出层的偏置向量，W为神经网络
的权值，bf为遗忘门的偏置向量，wf为遗忘门神经网络的权值；
⑵在循环神经网络中添加输入门，输入门计算需要更新的信息
⑶输入门计算备选的用来更新的内容
tanh为激活函数，bc为输入门的偏置向量，wc为输入门神经网络的权值；
⑷输入门更新神经网络的细胞状态
⑸在循环神经网络中添加输出门，输出门确定作为输出的细胞状态
Bo为输出门的偏置向量，wo为输出门神经网络的权值；
⑹输出门计算输出值
4）评估优化
将设备的工作状态问题转换为二分类问题：工作正常或工作异常，因此对工作状态的预测共有4种可能的结果：真正例TP、真负例TN、假正例FP、假负例FN；
查准率=真正例/（真正例+假正例）；
召回率=真正例/（真正例+假负例）；
调和平均值=2*查准率*召回率/（查准率+召回率）。
有益效果
本发明的方法与基于传统机器学习的状态预测相比，对特征工程质量的依赖更少，可以更灵活地分析和处理机器状态的特征；与基于深度学习的状态分析相比，不需要海量训练集，节省了大量的人力和物力成本。
附图说明
图1是本发明的步骤流程图。
具体实施方式
实施例一
参看图1，本发明提供的基于门控循环单元网络的工业互联网设备故障预测方法包括四个步骤，分别是数据预处理、特征提取、模型构建和评估优化；
S01数据预处理步骤
⑴根据正常数据和异常数据比例，即数据倾斜程度确定一个采样比率N，当正常数
据大于异常数据时，采样比率为正常数据总数除以异常数据总数，少数类样本为异常数据
样本；当正常数据小于异常数据时，采样比率为异常数据总数除以正常数据总数，少数类样
本为正常数据样本；设少数类中样本数为T；对于少数类中的一个样本 
，计算该样本
到其余少数类样本的距离，得到其k个近邻样本，样本间的距离指欧式距离；
⑵从这k个近邻样本中任取一个
，然后按照计算式生成新的少数类样本：计
算式为：
，rand（0，1）生成一个0到1之间的随机
数；
⑶将步骤2重复N次，对于
即可生成N个新样本；
⑷对于少数类中所有样本执行上述操作，为该少数类合成N×T个新样本，少数类样本与多数类样本总数达到一致，即正常数据样本与异常数据样本在总数上达到同样数目；
S02特征提取步骤
⑴设原始数据样本包含m个n维特征向量
，T是表示
数据向量的符号；计算样本数据的平均值：
；
⑵计算样本数据的协方差矩阵：
⑶利用特征值分解方法求解协方差矩阵的特征值λ1，λ2，λ3，…，λI和特征向量ξ1，ξ2，ξ3，…，ξI；
⑷将特征值从小到大排序，选取其中最大的k个，然后将其对应的k个特征向量组成特征向量矩阵P；
⑸将原始样本数据投影到低维向量空间中：Y=PTX；
S03模型构建步骤
⑴在循环神经网络中添加遗忘门，遗忘门由一个sigmoid函数对输入数据进行选
择，淘汰数据则输出为0，选择数据则输出为
， ht-1 表示上一个细胞
的输出，xt表示当前细胞的输入，σ表示sigmoid函数，b为输出层的偏置向量，W为神经网络
的权值，bf为遗忘门的偏置向量，wf为遗忘门神经网络的权值；
⑵在循环神经网络中添加输入门，输入门计算需要更新的信息
⑶输入门计算备选的用来更新的内容
tanh为激活函数，bc为输入门的偏置向量，wc为输入门神经网络的权值；
⑷输入门更新神经网络的细胞状态
⑸在循环神经网络中添加输出门，输出门确定作为输出的细胞状态
Bo为输出门的偏置向量，wo为输出门神经网络的权值；
⑹输出门计算输出值
S04评估优化步骤
将设备的工作状态问题转换为二分类问题：工作正常或工作异常，因此对工作状态的预测共有4种可能的结果：真正例TP、真负例TN、假正例FP、假负例FN；
查准率=真正例/（真正例+假正例）；
召回率=真正例/（真正例+假负例）；
调和平均值=2*查准率*召回率/（查准率+召回率）。
Claims (1)
1.基于门控循环单元网络的工业互联网设备故障预测方法，其特征在于包括四个步骤，分别是数据预处理、特征提取、模型构建和评估优化；
1）数据预处理
⑴根据正常数据和异常数据比例，即数据倾斜程度确定一个采样比率N，当正常数据大
于异常数据时，采样比率为正常数据总数除以异常数据总数，少数类样本为异常数据样本；
当正常数据小于异常数据时，采样比率为异常数据总数除以正常数据总数，少数类样本为
正常数据样本；设少数类中样本数为T；对于少数类中的一个样本
，计算该样本到其余
少数类样本的距离，得到其k个近邻样本，样本间的距离指欧式距离；
⑵从这k个近邻样本中任取一个
，然后按照计算式生成新的少数类样本：计算式
为：
，rand（0，1）生成一个0到1之间的随机数；
⑶将步骤2重复N次，对于
即可生成N个新样本；
⑷对于少数类中所有样本执行上述操作，为该少数类合成N×T个新样本，少数类样本与多数类样本总数达到一致，即正常数据样本与异常数据样本在总数上达到同样数目；
2）特征提取
⑴设原始数据样本包含m个n维特征向量
，T是表示数据
向量的符号；计算样本数据的平均值：
；
⑵计算样本数据的协方差矩阵：
⑶利用特征值分解方法求解协方差矩阵的特征值λ1，λ2，λ3，…，λI和特征向量ξ1，ξ2，ξ3，…，ξI；
⑷将特征值从小到大排序，选取其中最大的k个，然后将其对应的k个特征向量组成特征向量矩阵P；
⑸将原始样本数据投影到低维向量空间中：Y=PTX；
3）模型构建
⑴在循环神经网络中添加遗忘门，遗忘门由一个sigmoid函数对输入数据进行选择，淘
汰数据则输出为0，选择数据则输出为
， ht-1 表示上一个细胞的输
出，xt表示当前细胞的输入，σ表示sigmoid函数，b为输出层的偏置向量，W为神经网络的权
值，bf为遗忘门的偏置向量，wf为遗忘门神经网络的权值；
⑵在循环神经网络中添加输入门，输入门计算需要更新的信息
⑶输入门计算备选的用来更新的内容
tanh为激活函数，bc为输入门的偏置向量，wc为输入门神经网络的权值；
⑷输入门更新神经网络的细胞状态
⑸在循环神经网络中添加输出门，输出门确定作为输出的细胞状态
Bo为输出门的偏置向量，wo为输出门神经网络的权值；
⑹输出门计算输出值
4）评估优化
将设备的工作状态问题转换为二分类问题：工作正常或工作异常，因此对工作状态的预测共有4种可能的结果：真正例TP、真负例TN、假正例FP、假负例FN；
查准率=真正例/（真正例+假正例）；
召回率=真正例/（真正例+假负例）；
调和平均值=2*查准率*召回率/（查准率+召回率）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111167353.7A CN113807023B (zh) | 2021-10-04 | 2021-10-04 | 基于门控循环单元网络的工业互联网设备故障预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111167353.7A CN113807023B (zh) | 2021-10-04 | 2021-10-04 | 基于门控循环单元网络的工业互联网设备故障预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113807023A true CN113807023A (zh) | 2021-12-17 |
| CN113807023B CN113807023B (zh) | 2024-08-02 |
Family
ID=78939089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111167353.7A Active CN113807023B (zh) | 2021-10-04 | 2021-10-04 | 基于门控循环单元网络的工业互联网设备故障预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807023B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019033636A1 (zh) * | 2017-08-16 | 2019-02-21 | 哈尔滨工业大学深圳研究生院 | 基于最小化损失学习的不平衡样本分类方法 |
| CN109685252A (zh) * | 2018-11-30 | 2019-04-26 | 西安工程大学 | 基于循环神经网络和多任务学习模型的建筑能耗预测方法 |
| CN110263846A (zh) * | 2019-06-18 | 2019-09-20 | 华北电力大学 | 基于故障数据深度挖掘及学习的故障诊断方法 |
| CN111552609A (zh) * | 2020-04-12 | 2020-08-18 | 西安电子科技大学 | 一种异常状态检测方法、系统、存储介质、程序、服务器 |
| US10852439B1 (en) * | 2020-04-30 | 2020-12-01 | Beihang University | Global ionospheric total electron content prediction system |
-
2021
- 2021-10-04 CN CN202111167353.7A patent/CN113807023B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019033636A1 (zh) * | 2017-08-16 | 2019-02-21 | 哈尔滨工业大学深圳研究生院 | 基于最小化损失学习的不平衡样本分类方法 |
| CN109685252A (zh) * | 2018-11-30 | 2019-04-26 | 西安工程大学 | 基于循环神经网络和多任务学习模型的建筑能耗预测方法 |
| CN110263846A (zh) * | 2019-06-18 | 2019-09-20 | 华北电力大学 | 基于故障数据深度挖掘及学习的故障诊断方法 |
| CN111552609A (zh) * | 2020-04-12 | 2020-08-18 | 西安电子科技大学 | 一种异常状态检测方法、系统、存储介质、程序、服务器 |
| US10852439B1 (en) * | 2020-04-30 | 2020-12-01 | Beihang University | Global ionospheric total electron content prediction system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113807023B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705692B (zh) | 一种时空注意力网络的非线性动态工业过程产品预测方法 | |
| CN108596327B (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
| CN108985335B (zh) | 核反应堆包壳材料辐照肿胀的集成学习预测方法 | |
| CN111562108A (zh) | 一种基于cnn和fcmc的滚动轴承智能故障诊断方法 | |
| CN107065842B (zh) | 一种基于粒子群优化核独立元分析模型的故障检测方法 | |
| CN113554148A (zh) | 一种基于贝叶斯优化的BiLSTM电压偏差预测方法 | |
| CN111914897A (zh) | 一种基于孪生长短时间记忆网络的故障诊断方法 | |
| CN114429152A (zh) | 基于动态指数对抗性自适应的滚动轴承故障诊断方法 | |
| CN106156805A (zh) | 一种样本标签缺失数据的分类器训练方法 | |
| CN111046961A (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| CN111709577B (zh) | 基于长程相关性gan-lstm的rul预测方法 | |
| CN113435321A (zh) | 一种主轴轴承状态评估方法、系统、设备及可读存储介质 | |
| CN117829822B (zh) | 一种电力变压器故障预警方法及系统 | |
| CN115561005A (zh) | 基于eemd分解和轻量化神经网络的化工过程故障诊断方法 | |
| CN115438897A (zh) | 一种基于blstm神经网络的工业过程产品质量预测方法 | |
| CN118036809A (zh) | 基于雪消融优化循环神经网络的故障电流预测方法和介质 | |
| CN113203953A (zh) | 基于改进型极限学习机的锂电池剩余使用寿命预测方法 | |
| CN110163437B (zh) | 基于DPK-means的日前光伏发电功率预测方法 | |
| CN105787507B (zh) | 基于预算支持向量集的LS‑SVMs在线学习方法 | |
| CN116862893A (zh) | 一种基于动态特征中心的工业零件异常检测方法及系统 | |
| CN116861214A (zh) | 一种基于卷积长短时记忆网络的健康状态识别方法及系统 | |
| CN113807023B (zh) | 基于门控循环单元网络的工业互联网设备故障预测方法 | |
| CN116106008B (zh) | 一种基于分类器差异软权自适应网络的故障诊断方法 | |
| Axenie et al. | Dimensionality reduction for low-latency high-throughput fraud detection on datastreams | |
| Liu et al. | Prediction of hydraulic pumps remaining useful life based on LSTM and Transform with dual self-attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |