CN113052218A - 工业过程的多尺度残差卷积与lstm融合性能评估方法 - Google Patents
工业过程的多尺度残差卷积与lstm融合性能评估方法 Download PDFInfo
- Publication number
- CN113052218A CN113052218A CN202110278058.2A CN202110278058A CN113052218A CN 113052218 A CN113052218 A CN 113052218A CN 202110278058 A CN202110278058 A CN 202110278058A CN 113052218 A CN113052218 A CN 113052218A
- Authority
- CN
- China
- Prior art keywords
- lstm
- layer
- convolution
- data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 238000011156 evaluation Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000003745 diagnosis Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 20
- 238000013135 deep learning Methods 0.000 description 6
- 239000000571 coke Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000004939 coking Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了工业过程的多尺度残差卷积与LSTM融合性能评估方法,包括如下步骤:步骤一、采集多类型故障的数据集,并对其进行数据预处理,在此基础上对故障类型进行编号打标签,设置对应的关系,之后对故障类型和标签划分相应的训练集和测试集;步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型,包括残差模块、多尺度残差模块、LSTM模块以及分类模块;步骤三、利用训练集训练模型,以故障类型标签作为所述模型的输出,将输出标签与真实标签的交叉熵作为损失函数,利用优化器进行反向传播,更新整个模型的参数,优化损失函数;步骤四、将测试集输入训练好的模型中,进行故障识别,输出诊断结果。
Description
技术领域
本发明属于自动化过程控制领域,特别涉及到一种工业工程的多尺度残差卷积与长短时记忆网络(MRCNN-LSTM)融合故障诊断方法。
背景技术
现代工业过程系统是目前社会生产中必不可少的一种基础设备,其对社会的发展和进步起着至关重要的作用。为了提高工业设备的生产效率和减少资源浪费,及时发现并诊断出故障的类型就显得非常的必要。因此,一个好的工业过程故障诊断方法对工业生产具有十分重要的意义。
现代故障诊断技术的产生对保障工业过程的生产安全,减少资源浪费发挥了重要的作用,其先后发展出了基于模型的方法,基于知识推理的方法和基于数据驱动的方法。基于模型的方法和基于知识推理的方法由于自身的局限性,对当前具有高维性、非线性、间歇性以及动态性等特点的复杂工业过程数据并不能取得令人满意的结果。基于数据驱动的方法由于局限性较小,只依赖于过往的故障数据,因此得到了较好的发展和应用。
基于数据驱动的方法可以进一步分为基于多元统计的方法、浅层学习方法以及深度学习方法。基于多元统计的方法和浅层学习的方法是工业过程常用的方法之一,但是面对工业数据中的高维性、非线性数据时,并不能取得令人满意的效果。深度学习技术是在浅层学习的基础上发展而来,其摆脱了传统方法需要手工提取特征的繁琐步骤,能够端到端自动的提取原始数据中非线性高维特征,不仅如此,深度学习还解决了浅层学习容易过拟合、陷入局部最优、梯度消散以及泛化能力弱等问题,对非线性、间歇性以及动态性等复杂工业过程也具有较好的诊断精度。
深度学习相较于传统方法具有巨大的优势,其利用多隐层的网络结构直接对输入的数据样本进行有效分析并提取隐藏的数据特征信息,非常适用于大规模复杂的工业过程数据,是目前故障诊断领域研究的热点。但是不可否认的是,每种深度学习模型都有其自身的优缺点,其整体的诊断精度有待进一步提高。目前基于深度学习的故障诊断方法在工业过程的应用主要存在以下问题:
当模型深度达到一定层数后,会发生模型退化问题;
不能有效的提取数据中隐藏的时序性特征;
不能有效的提取数据不同尺寸的特征。
发明内容
为了解决上述问题,需要提供一种能够克服上述问题的工业过程故障诊断方法。
本发明的目的是针对现有工业过程故障诊断方法中存在的问题,提出了一种能够有效提取数据不同尺寸特征和时序性特征,并且能避免模型退化的融合多尺度残差卷积与LSTM网络的工业过程故障诊断方法。
本发明在传统卷神经网络的基础上,分别构建多尺度卷积神经网络和LSTM网络,并将残差学习嵌入到模型中。整个模型由残差模块、多尺度残差模块、LSTM模块以及分类模块所组成。
本发明的具体实施步骤包括:
步骤一、以频率fs采集工业过程系统变量的运行数据,建立一个含有多变量,多类型故障的数据集,并对其进行数据预处理,在此基础上对故障类型进行编号打标签,设置对应的关系,之后对故障类型和标签划分相应的训练集和测试集;
数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以对采集的原始信号数据集进行线性变化,使数据样本落在[0,1]区间,相关转换函数如下:
式中min{·}表示原始数据中的最小值,max{·}表示样本数据中的最大值,xi表示样本数据;
故障样本打标签是指对数据集进行one-hot编码,又称为一位有效编码,其使用N位状态寄存器来对N个故障进行编码,每个故障都有各自独立的寄存器位,且在任意时刻,只有其中一位有效。
步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型;
多尺度残差卷积与LSTM网络模型主要由残差模块、多尺度残差模块、LSTM模块以及分类模块所组成,其中:
残差模块由两个卷积层与BN层叠加组成,卷积层对数据进行卷积运算,采用relu激活函数,padding采用same表示填充输入,使得输出与输入具有相同的长度,并使用L2正则化技术,其中卷积层的卷积运算如下式所示:
x[l]=f(W[l]*x[l-1]+b[l]) (2)
式中x[l]表示第l层的输出,l∈[1,2,…,n],W[l]表示第l层卷积核,“*”表示卷积运算,b[l]表示第l层对应的偏置,f(·)表示激活函数。
BN层对输入数据进行批归一化操作,使得输出数据的均值0,方差为1。相关操作如下:
L2正则化,进一步减少模型的过拟合现象,具体表示如下:
式中N表示样本数,y(n)表示第n个样本的实际标签,n∈[1,2,…,N],xn表示第n个样本,θ为其参数,lp为范数函数,p∈[1,2],代表L2范数,λ为正则化系数,f(·)为学习的神经网络,L(·)为损失函数;
残差模块的输出结果输入到最大池化层中,其相关计算如下:
h=max(c(t)) (6)
式中h表示池化层的输出,c(t)表示输入特征中每个神经元的数值集合,t∈[1,2,…,n],表示第t个神经元;
多尺度残差模块分别采用卷积核大小为1×1卷积、1×3卷积、1×5卷积的残差模块并行连接,从而提取输入数据中不同尺寸的特征信息,将提取到的特征数据y1、y2和y3拼接成特征向量yc=[y1,y2,y3],通过多尺度特征连接模块进行特征融合得到输出特征y,之后输入到LSTM模块;
LSTM模块由各为两层的LSTM网络、BN层以及最大池化层叠加组成,采用tanh激活函数,输出结果输入到分类模块中,tanh激活函数具体计算公式如下:
分类模块由多个全连接层与dropout层交替组成,全连接层将卷积网络提取到的局部特征进行展平加权,输入到dropout层;
全连接层具体计算公式如下:
y=W*x+b (8)
式中W表示权重,b表示偏置,x表示输入神经元,y表示加权后的输出。
dropout层以概率p随机丢弃网络中的神经元,加强模型的泛化能力,之后将输出结果输入到Softmax分类层;
Softmax分类层将输入特征进行分类运算,其计算公式如下:
步骤三、利用划分好的训练集训练多尺度残差卷积与LSTM网络模型;
将上述划分好的训练集输入到MRCNN-LSTM模型中进行训练,以故障类型标签作为所述模型的输出,将输出标签与真实标签的交叉熵作为损失函数,利用优化器进行反向传播,更新整个模型的参数,优化损失函数。
步骤四、将分割好的测试集输入到训练好的模型中,进行故障识别,输出诊断结果,Softmax回归分类器的输出可以反映模型预测的故障类型。
与现有的工业过程故障诊断方法相比,本发明具有以下有益效果:
本发明提出了一种融合多尺度卷积与LSTM网络的工业过程故障诊断模型,该模型克服了单一深度学习模型容易造成特征信息丢失的缺点。其中的多尺度残差模块能够自适应的沿着信号的时间轴进行多分支并行提取数据中丰富互补的非线性、高维空间特征,同时能保留数据的时序性特征;LSTM模块能够利用其较好的处理时序性数据的特点,进一步提取输入数据的时序特征;
残差学习的引入使得模型能够更好的学习数据的深层和浅层特征,加快网络的收敛速度,避免模型的性能退化问题;
由于所提模型是基于CNN的,因此该模型继承了CNN具有强大特征提取能力的优点,它能以端到端的形式从未经处理的原始信号中提取数据的高维特征,并识别故障类型。
附图说明
图1为本发明所提故障诊断模型的实施流程图;
图2为本发明所提模型的结构示意图;
图3a和图3b分别为本发明所提模型在训练过程中的损失率和准确率曲线;
图4a和图4b分别为测试集原始数据和本发明所提模型输出后数据的二维散点图;
图5所示为本发明的模型与四种对比模型的测试集准确率曲线。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
工业焦化炉是一种典型的工业过程系统,其是一种立管式加热炉,它对化工原料的深加工具有不可替代的作用,其燃料一般用高压瓦斯气。工作时气体分别从南北两侧进入焦化炉,原料渣油分别从南北两侧送入焦化炉对流室预加热约330℃,然后一起送入分馏塔底,与焦化炉塔顶来的油气接触并传热传质;在此过程中混合油料中较轻的成份蒸发,上升至精馏段进行分离,而原料中蜡油以上馏分与来自焦炭塔顶油气中被冷凝的成份一起流入塔底。约360℃的分馏塔底油经加热炉辐射进料泵分两路送至加热炉辐射室迅速加热至495℃,之后进入焦炭塔进行裂解反应。
本次实例验证中在焦化炉中预先设计了几种常见的不同类型的故障,具体故障情况与标签对应关系如表1所示
表1:
图1是本发明所提出的融合多尺度残差卷积与LSTM网络的工业过程故障诊断方法的实施流程图,图2是其具体的结构示意图,其具体包括以下步骤:
步骤1、采集工业焦化炉中8个主要的过程变量的运行数据,建立一个含有8个变量,5种类型故障的数据集,在每个故障状况下采集1850个样本数据,另外采集2000个正常状态样本,从中随机选择1850个样本与故障样本一起构成实验数据。对采集的数据集进行数据预处理,在此基础上对故障类型进行编号打标签,设置对应的关系,之后从中随机抽取80%的样本作为训练集,其余20%样本作为测试集。
数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以对采集的原始信号数据集进行线性变化,使数据样本落在[0,1]区间,相关转换函数如下:
式中min{·}表示原始数据中的最大值,max{·}表示样本数据中的最小值,xi表示样本数据;
故障样本打标签是指对数据集进行one-hot编码,又称为一位有效编码,其使用N位状态寄存器来对N个故障进行编码,每个故障都有各自独立的寄存器位,且在任意时刻,只有其中一位有效。
步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型;
多尺度残差卷积与LSTM网络模型主要由残差模块、多尺度残差模块、LSTM模块以及分类模块所组成,其中:
残差模块由两个卷积层与BN层叠加组成,卷积层对数据进行卷积运算,采用relu激活函数,padding采用same表示填充输入,使得输出与输入具有相同的长度,并使用L2正则化技术,卷积核数量为64,卷积核大小为1x5,其中卷积层的卷积运算如下式所示:
x[l]=f(W[l]*x[l-1]+b[l]) (2)
式中x[l]表示第l层的输出,l∈[1,2,…,n],W[l]表示第l层卷积核,“*”表示卷积运算,b[l]表示第l层对应的偏置,f(·)表示激活函数。
BN层对输入数据进行批归一化操作,使得输出数据的均值0,方差为1,从而提升模型的泛化能力,加快模型的收敛速度和训练速度,在一定程度上能够避免模型在训练过程中出现梯度爆炸或梯度消失问题,使网络模型训练时的稳定性和抗过拟合能力得到加强。其相关计算如下:
L2正则化技术可以进一步减少模型的过拟合现象,其优化问题可以由下式表示:
式中N表示样本数;y(n)表示第n个样本的实际标签,n∈[1,2,…,N];xn表示第n个样本,θ为其参数;lp为范数函数,p∈[1,2],代表L2范数,λ为正则化系数,f(·)为学习的神经网络,L(·)为损失函数。
残差模块的输出结果输入到最大池化层中,最大池化层可以防止网络过拟合,提高模型泛化能力,减少数据维数,加快计算速度,其相关计算如下:
h=max(c(t)) (6)
式中h表示池化层的输出,c(t)表示输入特征中每个神经元的数值集合,t∈[1,2,…,n],表示第t个神经元;
多尺度残差模块分别采用卷积核大小为1×1、1×3、1×5,卷积核数量为64的残差模块并行连接,从而提取输入数据中不同尺寸的特征信息,将提取到的特征数据y1、y2和y3拼接成特征向量yc=[y1,y2,y3],通过多尺度特征连接模块进行特征融合得到输出特征y,之后输入到LSTM模块;
LSTM模块由各为两层的LSTM网络、BN层以及最大池化层叠加组成,采用tanh激活函数,单元数分别为64和128,其能够进一步提取数据的时序性特征,减少数据特征的信息丢失,输出结果输入到分类模块中,tanh激活函数具体计算公式如下:
分类模块由两层Dropout层和全连接层交替连接,两层Dropout层的大小按顺序分别为0.3和0.2,两层全连接层的节点数按顺序分别为256和6。全连接层将卷积网络提取到的局部特征进行展平加权,输入到dropout层;
全连接层的计算公式如下所示:
y=W*x+b (8)
式中W表示权重,b表示偏置,x表示输入神经元,y表示加权后的输出;
dropout层以概率p随机丢弃网络中的神经元,加强模型的泛化能力,之后将输出结果输入到Softmax分类层;
Softmax分类层将输入特征进行分类运算,其计算公式如下:
步骤三、利用划分好的训练集训练多尺度残差卷积与LSTM网络模型;
将上述划分好的训练集输入到MRCNN-LSTM模型中进行训练,以故障类型标签作为所述模型的输出,将输出标签与真实标签的交叉熵作为损失函数,利用Adam优化器进行反向传播,更新整个模型的参数,优化损失函数。该优化算法能够沿梯度下降最快的方向快速达到模型的全局最优点,能以较少的网络迭代次数达到最好的训练效果。
步骤四、将分割好的测试集输入到训练好的模型中,进行故障识别,输出诊断结果,Softmax回归分类器的输出可以反映模型预测的故障类型。
为了更好的说明本发明的技术效果,本次实验分别采用CNN、ResCNN、CNN-LSTM以及MRCNN作为对比实验,上述都是目前取得较好效果的网络模型,为了实验结果的可对比性,四种对比模型的参数设置基本与本发明相同。
本次实验中采用Keras库和python3.5实现本发明所提出的融合多尺度残差卷积与LSTM网络模型以及四个对比模型,模型训练时的迭代次数都设置为100,批次大小设置为64,损失函数选择交叉熵损失函数,初始学习率设置为0.001,并且每迭代30次学习率下降十分之一。
本次实验的训练集准确率与损失率以及测试集准确率与损失率如图3a和图3b所示,可以看出训练过程中没有出现过拟合以及欠拟合现象,表明本发明所提模型的结构及参数设置是合理的。图4a和图4b分别为测试集原始数据和本发明所提模型输出后数据的二维散点图,从中可以看出本发明模型能够较好的分类故障类型,只有极少数样本被错分。
表2是五种模型对每种故障类型具体的精确率(P)和召回率(R),以微平均精确率和召回率两个评价指标可以看出,本发明所提出模型的微平均精确率和召回率是五种模型最高的,达到97.80%,显示出本发明所提模型具有突出的诊断精度。具体到每种故障类型可以发现,除了故障2,MRCNN-LSTM对其他五种类型的微平均精率和召回率都得到不同程度的提升。
表2:
本发明与四个对比模型的测试集准确率曲线如图5所示,可以明显的看出本发明模型的准确率曲线相较于对比模型有较为明显的提升,其曲线几乎全程在对比模型曲线的上方,尤其在30次迭代后,模型的准确率开始全面领先四种对比模型,并一直保持到训练结束。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.工业过程的多尺度残差卷积与LSTM融合性能评估方法,其特征在于包括如下步骤:
步骤一、以频率fs采集工业过程系统变量的运行数据,建立一个含有多变量,多类型故障的数据集,并对其进行数据预处理,在此基础上对故障类型进行编号打标签,设置对应的关系,之后对故障类型和标签划分相应的训练集和测试集;
步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型,包括残差模块、多尺度残差模块、LSTM模块以及分类模块,具体包括如下步骤:
步骤2.1、残差模块包括卷积层和BN层,卷积层对数据进行卷积运算,采用relu激活函数,padding采用same表示填充输入,使得输出与输入具有相同的长度,并使用正则化;
BN层对输入数据进行批归一化操作,使得输出数据的均值0,方差为1;
残差模块的输出结果输入到最大池化层中;
步骤2.2、多尺度残差模块分别采用不同卷积核大小的残差模块并行连接,将提取到的特征数据拼接成特征向量,通过多尺度特征连接模块进行特征融合得到输出特征y,之后输入到LSTM模块;
步骤2.3、LSTM模块包括LSTM网络、BN层以及最大池化层,采用激活函数,输出结果输入到分类模块中;
步骤2.4、分类模块包括全连接层与dropout层,全连接层将卷积网络提取到的局部特征进行展平加权,输入到dropout层;
dropout层以概率p随机丢弃网络中的神经元,加强模型的泛化能力,之后将输出结果输入到分类层;
步骤三、利用训练集训练多尺度残差卷积与LSTM网络故障诊断模型,以故障类型标签作为所述模型的输出,将输出标签与真实标签的交叉熵作为损失函数,利用优化器进行反向传播,更新整个模型的参数,优化损失函数;
步骤四、将测试集输入训练好的多尺度残差卷积与LSTM网络故障诊断模型中,进行故障识别,输出诊断结果。
2.如权利要求1所述的工业过程的多尺度残差卷积与LSTM融合性能评估方法,其特征在于所述步骤2.1中的卷积运算如下:
x[l]=f(W[l]*x[l-1]+b[l]) (2)
式中x[l]表示第l层的输出,l∈[1,2,…,n],W[l]表示第l层卷积核,“*”表示卷积运算,b[l]表示第l层对应的偏置,f(·)表示激活函数。
5.如权利要求1所述的工业过程的多尺度残差卷积与LSTM融合性能评估方法,其特征在于所述步骤2.1中的最大池化层,具体计算如下:
h=max(c(t)) (6)
式中h表示池化层的输出,c(t)表示输入特征中每个神经元的数值集合,t∈[1,2,…,n],表示第t个神经元。
7.如权利要求1所述的工业过程的多尺度残差卷积与LSTM融合性能评估方法,其特征在于所述步骤2.4中的全连接层,具体计算公式如下:
y=W*x+b (8)
式中W表示权重,b表示偏置,x表示输入神经元,y表示加权后的输出。
10.如权利要求1所述的工业过程的多尺度残差卷积与LSTM融合性能评估方法,其特征在于所述步骤一中的打标签,是指对数据集进行one-hot编码,即使用N位状态寄存器来对N个故障进行编码,每个故障都有各自独立的寄存器位,且在任意时刻,只有其中一位有效。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110278058.2A CN113052218A (zh) | 2021-03-15 | 2021-03-15 | 工业过程的多尺度残差卷积与lstm融合性能评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110278058.2A CN113052218A (zh) | 2021-03-15 | 2021-03-15 | 工业过程的多尺度残差卷积与lstm融合性能评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113052218A true CN113052218A (zh) | 2021-06-29 |
Family
ID=76512458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110278058.2A Pending CN113052218A (zh) | 2021-03-15 | 2021-03-15 | 工业过程的多尺度残差卷积与lstm融合性能评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052218A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705661A (zh) * | 2021-08-26 | 2021-11-26 | 杭州电子科技大学 | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 |
CN114091549A (zh) * | 2021-09-28 | 2022-02-25 | 国网江苏省电力有限公司苏州供电分公司 | 一种基于深度残差网络的设备故障诊断方法 |
CN114137915A (zh) * | 2021-11-18 | 2022-03-04 | 成都航天科工大数据研究院有限公司 | 一种工业设备的故障诊断方法 |
CN114326638A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 一种多尺度卷积与深度双向gru网络融合性能评估方法 |
CN114326639A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于混合注意力卷积神经网络的工业过程性能评估方法 |
CN114464206A (zh) * | 2022-04-11 | 2022-05-10 | 中国人民解放军空军预警学院 | 一种单通道盲源分离方法及系统 |
CN114858467A (zh) * | 2022-05-26 | 2022-08-05 | 上海交通大学 | 柴油机抗噪和跨噪声域失火诊断方法及系统 |
CN114897292A (zh) * | 2022-03-28 | 2022-08-12 | 南京林业大学 | 基于多尺度残差卷积变分网络故障诊断方法和诊断系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816012A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 一种融合上下文信息的多尺度目标检测方法 |
CN110534118A (zh) * | 2019-07-29 | 2019-12-03 | 安徽继远软件有限公司 | 基于声纹识别和神经网络的变压器/电抗器故障诊断方法 |
CN111414932A (zh) * | 2020-01-07 | 2020-07-14 | 北京航空航天大学 | 一种飞行器多尺度信号的分类识别与故障检测方法 |
CN111931900A (zh) * | 2020-05-29 | 2020-11-13 | 西安电子科技大学 | 基于残差网络与多尺度特征融合的gis放电波形检测方法 |
WO2020244134A1 (zh) * | 2019-06-05 | 2020-12-10 | 华南理工大学 | 一种基于多任务特征共享神经网络的智能故障诊断方法 |
CN112254964A (zh) * | 2020-09-03 | 2021-01-22 | 太原理工大学 | 一种基于快速多尺度卷积神经网络的滚动轴承故障诊断方法 |
-
2021
- 2021-03-15 CN CN202110278058.2A patent/CN113052218A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816012A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 一种融合上下文信息的多尺度目标检测方法 |
WO2020244134A1 (zh) * | 2019-06-05 | 2020-12-10 | 华南理工大学 | 一种基于多任务特征共享神经网络的智能故障诊断方法 |
CN110534118A (zh) * | 2019-07-29 | 2019-12-03 | 安徽继远软件有限公司 | 基于声纹识别和神经网络的变压器/电抗器故障诊断方法 |
CN111414932A (zh) * | 2020-01-07 | 2020-07-14 | 北京航空航天大学 | 一种飞行器多尺度信号的分类识别与故障检测方法 |
CN111931900A (zh) * | 2020-05-29 | 2020-11-13 | 西安电子科技大学 | 基于残差网络与多尺度特征融合的gis放电波形检测方法 |
CN112254964A (zh) * | 2020-09-03 | 2021-01-22 | 太原理工大学 | 一种基于快速多尺度卷积神经网络的滚动轴承故障诊断方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705661A (zh) * | 2021-08-26 | 2021-11-26 | 杭州电子科技大学 | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 |
CN114091549A (zh) * | 2021-09-28 | 2022-02-25 | 国网江苏省电力有限公司苏州供电分公司 | 一种基于深度残差网络的设备故障诊断方法 |
CN114137915A (zh) * | 2021-11-18 | 2022-03-04 | 成都航天科工大数据研究院有限公司 | 一种工业设备的故障诊断方法 |
CN114326638A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 一种多尺度卷积与深度双向gru网络融合性能评估方法 |
CN114326639A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于混合注意力卷积神经网络的工业过程性能评估方法 |
CN114897292A (zh) * | 2022-03-28 | 2022-08-12 | 南京林业大学 | 基于多尺度残差卷积变分网络故障诊断方法和诊断系统 |
CN114464206A (zh) * | 2022-04-11 | 2022-05-10 | 中国人民解放军空军预警学院 | 一种单通道盲源分离方法及系统 |
CN114858467A (zh) * | 2022-05-26 | 2022-08-05 | 上海交通大学 | 柴油机抗噪和跨噪声域失火诊断方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052218A (zh) | 工业过程的多尺度残差卷积与lstm融合性能评估方法 | |
CN112949823A (zh) | 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法 | |
US20200150622A1 (en) | Method for detecting abnormity in unsupervised industrial system based on deep transfer learning | |
CN103914064B (zh) | 基于多分类器和d-s证据融合的工业过程故障诊断方法 | |
CN108875771B (zh) | 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法 | |
CN106843195B (zh) | 基于自适应集成半监督费舍尔判别的故障分类方法 | |
CN112036513B (zh) | 基于内存增强潜在空间自回归的图像异常检测方法 | |
Deng et al. | Integrating feature optimization using a dynamic convolutional neural network for chemical process supervised fault classification | |
CN110197205A (zh) | 一种多特征来源残差网络的图像识别方法 | |
CN115348074B (zh) | 深度时空混合的云数据中心网络流量实时检测方法 | |
CN111026058B (zh) | 基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法 | |
CN113837238A (zh) | 一种基于自监督和自蒸馏的长尾图像识别方法 | |
CN112147432A (zh) | 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 | |
CN114326639B (zh) | 基于混合注意力卷积神经网络的工业过程性能评估方法 | |
CN115659174A (zh) | 基于图正则化CNN-BiLSTM的多传感器故障诊断方法、介质及设备 | |
CN114326638A (zh) | 一种多尺度卷积与深度双向gru网络融合性能评估方法 | |
CN115204272A (zh) | 基于多采样率数据的工业系统故障诊断方法与设备 | |
CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
CN110634198B (zh) | 一种基于正多胞体滤波的工业系统分层故障诊断方法 | |
CN115812210A (zh) | 用于增强机器学习分类任务的性能的方法和设备 | |
CN116310496A (zh) | 基于域间注意力机制的航空发动机部分无监督跨域故障诊断方法 | |
CN113705661A (zh) | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 | |
CN113033079B (zh) | 一种基于不平衡修正卷积神经网络的化学故障诊断方法 | |
CN117493930A (zh) | 一种基于对比生成对抗网络的多元时间序列异常检测方法 | |
CN117312939A (zh) | 基于深度学习的sofc系统工况辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |