CN112001123A - 一种基于深度卷积网络特征融合的化工过程性能评测方法 - Google Patents

一种基于深度卷积网络特征融合的化工过程性能评测方法 Download PDF

Info

Publication number
CN112001123A
CN112001123A CN202010877983.2A CN202010877983A CN112001123A CN 112001123 A CN112001123 A CN 112001123A CN 202010877983 A CN202010877983 A CN 202010877983A CN 112001123 A CN112001123 A CN 112001123A
Authority
CN
China
Prior art keywords
feature fusion
network
dcnn
layer
normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010877983.2A
Other languages
English (en)
Inventor
王楠
张日东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010877983.2A priority Critical patent/CN112001123A/zh
Publication of CN112001123A publication Critical patent/CN112001123A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于深度卷积网络特征融合的化工过程性能评测方法。本发明在DCNN网络中加入批归一化层构建归一化DCNN，来加速神经网络的收敛以及避免梯度消失问题，然后采用双线性卷积网络（BCNN）原理进行特征融合，最终进行故障诊断。本发明加快了网络的收敛速度，也避免了梯度消失等问题；融合的两路特征来自于同一个卷积网络，使得模型参数相对于BCNN网络减少了一半，加快了训练的速度，同时特征融合的效果也达到了，得到了更加高效精确的故障特征。本发明在不增加模型复杂度的同时，尽最大可能提取精确详细的特征，以提高故障诊断的准确度。

Description

一种基于深度卷积网络特征融合的化工过程性能评测方法
技术领域
本发明涉及化工过程的故障诊断方法，尤其涉及一种基于深度卷积网络的特征融合化工过程故障诊断方法。
背景技术
在这个大数据、高智能时代，随着现代化工科技的发展，化工过程朝着大规模复杂化的方向发展，一旦过程出现故障问题，若不能及时检测出来，将会造成不可估量的损失，因此进行准确高效的化工过程故障诊断具有重大意义。
化工过程数据呈现出大规模、高维、非线性以及时变等特点，这给化工过程的故障诊断又提供了一个解决的方向，即以数据驱动的故障诊断方法。但随着数据复杂度的提升，以及化工过程复杂度的提升，这给最初基于统计学原理的数据驱动的故障诊断方法造成了一定程度的困难。
逐步地深度学习技术在故障诊断领域取得了不错的成效，深度学习技术非常适合处理大规模的高维复杂数据，可以从数据中提取隐含的特征，用于整个化工过程状态的识别，将故障的识别精度提升到了一个新的高度，成为目前一种主要的故障诊断方法。深度学习方法相对于之前的故障诊断方法有了一定程度的进步，但仍需进一步研究，因为该方法还是会存在一些缺陷。从以往的研究不难看出，在复杂化工过程中，有很多系统状态是十分相似的，这就给深度学习识别造成了一定的困扰，盲目增加模型复杂度会提取到更加精确的故障特征，但会造成很严重地过拟合情况，使得故障诊断的精度反而下降，只会得不偿失，由于几种故障状态的相互错误识别，必将导致识别精度下降。
发明内容
针对目前深度学习故障诊断方法存在的技术缺陷，本发明提出了一种基于归一化深度卷积网络(DCNN)的特征融合的化工过程故障诊断方法。本发明在普通DCNN网络中加入批归一化层(BN)构建归一化DCNN，来加速神经网络的收敛以及避免梯度消失问题，然后采用双线性卷积网络(BCNN)原理进行特征融合，最终进行故障诊断。
本发明包括以下步骤
步骤1、对实验采集得到的数据进行预处理
1.1、将原始数据标注好标签后随即打乱；
1.2、对数据进行规范化处理，将所有数据点缩放到相同的取值范围内；
1.3、按照一定的比例将数据集划分为训练集与测试集；
步骤2、将训练集输入归一化DCNN中进行特征提取；
2.1、在DCNN结构的每一层卷积层后加入一层BN层，构成归一化DCNN网络；
2.2、将训练集输入构建好的归一化DCNN网络中提取特征；
步骤3、构建特征融合层
3.1、根据BCNN的特征融合原理，构建特征融合层；
3.2、将步骤2中归一化DCNN所提取的特征，输入按照BCNN的特征融合层构建的双线性特征融合层，进行特征融合，以得到更加高效精确的特征；
步骤4、将融合后的特征输入全连接网络，进行接下来的特征融合与提取；
步骤5、由softmax进行结果输出，并进行反向传播，以调整整个网络模型的参数，优化模型，提高诊断精度；最终通过将测试集输入优化好的网络模型，以显示网络模型的诊断性能。
本发明的有益效果：在传统卷积网络高效特征提取的基础上加入了BN层，构建了归一化DCNN模型，加快了网络的收敛速度，同时也避免了梯度消失等问题。根据BCNN网络特征融合的原理构建双线性特征融合层，此处融合的两路特征来自于同一个卷积网络，这样模型参数相对于BCNN网络减少了一半，加快了训练的速度，同时特征融合的效果也达到了，得到了更加高效精确的故障特征。此方法在不增加模型复杂度的同时，尽最大可能提取精确详细的特征，以提高故障诊断的准确度，更好的完成了化工过程的性能评测。
具体实施方式
步骤1、对实验采集得到的数据进行预处理，
首先将原始数据标注好标签后随即打乱，之后对数据进行规范化处理，将所有数据点按照最大-最小规范化方法缩放到0到1之间，最后按照80％与20％的比例将数据集划分为训练集与测试集。
步骤2、将训练集输入归一化DCNN中进行特征提取。
此处的归一化DCNN是由多个卷积层、BN层以及池化层交替堆叠而成。先将训练集数据输入卷积层进行卷积操作：A[l]＝σ(W[l]*A[l-1]+b[l])，其中l表示第l层卷积，“*”表示卷积运算，W为卷积核，A为输入，b为偏置，表示所选用的激活函数。
在卷积层之后加入了BN层，加快网络的训练与收敛速度，同时防止出现梯度爆炸、梯度消失与过拟合问题，在加入池化层进行降采样处理，本发明选用的是最大池化，最大池化用于计算输入的特征映射中局部单元最重要的部分(最大值)，降低数据维度，减少计算量，避免过拟合，同时还可以突出重点特征。
步骤3、构建特征融合层
3.1、根据BCNN的特征融合原理，构建特征融合层
3.2、将步骤2中归一化DCNN所提取的特征输入特征融合层，进行特征融合，以得到更加高效精确的特征。
将由卷积网络提取得到的特征A＝B，进行外积得到相应特征的双线性特征:X＝ATB，再采用求和池化的方法得到矩阵：L＝∑X，接下来矩阵L展开成一个向量a，并进以下计算：
Figure BDA0002653215000000021
最后进行L2归一化操作：
Figure BDA0002653215000000022
步骤4、将融合后的特征z输入全连接网络，进行接下来的特征融合与提取。
全连接网络由多个全连接层堆叠而成，且在每两层全连接层之间加入了Dropout层，避免过拟合问题。
将融合后的特征展开为x1,x2,x3...，作为向量X[1]，MLP输入层到下一层之间权重为w1,w2,w3...，看成向量W[1]，其中1表示MLP第一层的权重，偏置b[1]同理；则第一层的计算为A[1]＝σ(W[1]X[1]+b[1])，其中σ为激活函数，输出为A[1]，也就是下一层的输入值，即X[2]＝A[1]，依次类推到下一层。
步骤5、由softmax进行结果输出，再将神经网络模型输出的诊断结果与真实标签之间的交叉熵作为损失函数，并由优化器进行反向传播，以调整整个网络模型的参数，优化模型，提高诊断精度。最终通过将测试集输入优化好的网络模型，以显示网络模型的诊断性能。
该网络模型在具备深度卷积网络强大特征提取能力的同时，相比于普通的深度卷积网络，可以更快的收敛，并且通过双线性特征融合，使得最终得到的特征可以更加详细精确，最终提高模型的性能，提高诊断精度。特别是对于复杂化工过程来说，由于过程复杂多样，导致普通卷积网络对于一些故障状态不能很好地提取特征，从而造成几个状态的错误识别，降低诊断精度，而本发明则可以在不增加网络复杂性的前提下，极大程度地改善这一问题。为了进一步说明以及了解本发明内容，结合以下实施例对本发明做详细描述。
实施例：
焦化加热炉F101/3，是立管式加热炉，它是对原料渣油、分馏塔底循环油迅速加热，为原油的进一步深加工提供原料。燃料主要是自产的高压瓦斯气，从南北两侧分两路进入加热炉。原料渣油从南北两侧分两路送入加热炉对流室预热至330℃左右(南侧TR8152331℃,北侧TR8153 334℃)，之后合并进入分馏塔(T102)底，与焦炭塔顶来的油气接触并传热传质；原料中轻组份蒸发，上升至精馏段进行分离，而原料中蜡油以上馏分与来自焦炭塔顶油气中被冷凝的重组份一起流入塔底。约360℃(TR8121)的分馏塔底油经加热炉辐射进料泵(P102/3)分两路送至加热炉辐射室迅速加热至495℃(南侧TRC8103，北侧TRC8105)，之后进入焦炭塔(T101/5、6)进行裂解反应。实施例采取焦化加热炉过程中5种故障为例，其中故障1、2、5为阶跃类型故障，故障3为漂移类型故障，故障4为其他类型故障，每个样本含有8个特征数据点。
将本发明方法应用到上述加热炉过程对象具体操作如下：
步骤1、对实验采集得到的数据进行预处理，
每种故障类型包含1850个样本，以及1750个正常状态样本。首先将原始数据标注好标签后随即打乱。之后对数据进行规范化处理，将所有数据点按照最大-最小规范化方法缩放到0到1之间，最后按照80％与20％的比例将数据集划分为训练集与测试集。
步骤2、将训练集输入归一化DCNN中进行特征提取。
此处的归一化DCNN是由多个卷积层、BN层以及池化层交替堆叠而成。先将训练集数据输入卷积层进行卷积操作：A[l]＝σ(W[l]*A[l-1]+b[l])，其中l表示第l层卷积，“*”表示卷积运算，W为卷积核，A为输入，b为偏置，表示所选用的激活函数。
在卷积层之后加入了BN层，加快网络的训练与收敛速度，同时防止出现梯度爆炸、梯度消失与过拟合问题，在加入池化层进行降采样处理，本发明选用的是最大池化，最大池化用于计算输入的特征映射中局部单元最重要的部分(最大值)，降低数据维度，减少计算量，避免过拟合，同时还可以突出重点特征。
整个归一化DCNN网络由5层一维卷积网络构成，其卷积核数分别为32、64、64、128、128，大小为1*3，并在每两个不同卷积核的卷积网络之间插入最大池化层，以及在每一层卷积网络后加入BN层
步骤3、构建特征融合层
3.1、根据BCNN的特征融合原理，构建特征融合层。
3.2、将步骤2中归一化DCNN所提取的特征输入特征融合层，进行特征融合，以得到更加更加高效精确的特征。
将由归一化DCNN提取得到的特征A＝B，进行外积得到相应特征的双线性特征:X＝ATB，再采用求和池化的方法得到矩阵：L＝∑X，接下来矩阵L展开成一个向量a，并进以下计算：
Figure BDA0002653215000000031
最后进行L2归一化操作：
Figure BDA0002653215000000032
步骤4、将融合后的特征输入全连接网络，进行接下来的特征融合与提取。
全连接网络由3个全连接层堆叠而成，单元数分别为256、32，且在每两层全连接层之间加入了Dropout层，大小分别为0.5、0.05，避免过拟合问题。
将融合后的特征展开为x1,x2,x3...，作为向量X[1]，MLP输入层到下一层之间权重为w1,w2,w3...，看成向量W[1]，其中1表示MLP第一层的权重，偏置b[1]同理；则第一层的计算为A[1]＝σ(W[1]X[1]+b[1])，其中σ为激活函数，输出为A[1]，也就是下一层的输入值，即X[2]＝A[1]，依次类推到下一层。
步骤5、最后由softmax进行结果输出，再将神经网络模型输出的诊断结果与真实标签之间的交叉熵作为损失函数，并通过adam优化器进行反向传播，以调整整个网络模型的参数，优化模型，提高诊断精度。最终通过将测试集输入优化好的网络模型，以显示网络模型的诊断性能。
本次实验采用Alexnet作为对比实验，Alexnet是今年来最为经典的一种深度卷积网络模型，性能强大，使用领域广泛。具体的实验结果如表1所示，从微平均角度来看识别准确率都提高了2.4％，宏平均角度提高了2.3％。
Figure BDA0002653215000000041
具体每一种故障状态的识别情况如表2所示，从中不难看出，每一个故障类型的准确率都有所提高，这也显示了本发明的有效性。
Figure BDA0002653215000000042

Claims (1)

1.一种基于深度卷积网络特征融合的化工过程性能评测方法，其特征在于该方法包括以下步骤：
步骤1、对实验采集得到的数据进行预处理
1.1、将原始数据标注好标签后随即打乱；
1.2、对数据进行规范化处理，将所有数据点缩放到相同的取值范围内；
1.3、按照一定的比例将数据集划分为训练集与测试集；
步骤2、将训练集输入归一化DCNN中进行特征提取；
2.1、在DCNN结构的每一层卷积层后加入一层BN层，构成归一化DCNN网络；
2.2、将训练集输入构建好的归一化DCNN网络中提取特征；
步骤3、构建特征融合层
3.1、根据BCNN的特征融合原理，构建特征融合层；
3.2、将步骤2中归一化DCNN所提取的特征，输入按照BCNN的特征融合层构建的双线性特征融合层，进行特征融合，以得到更加高效精确的特征；
步骤4、将融合后的特征输入全连接网络，进行接下来的特征融合与提取；
步骤5、由softmax进行结果输出，并进行反向传播，以调整整个网络模型的参数，优化模型，提高诊断精度；最终通过将测试集输入优化好的网络模型，以显示网络模型的诊断性能。
CN202010877983.2A 2020-08-27 2020-08-27 一种基于深度卷积网络特征融合的化工过程性能评测方法 Pending CN112001123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010877983.2A CN112001123A (zh) 2020-08-27 2020-08-27 一种基于深度卷积网络特征融合的化工过程性能评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010877983.2A CN112001123A (zh) 2020-08-27 2020-08-27 一种基于深度卷积网络特征融合的化工过程性能评测方法

Publications (1)

Publication Number Publication Date
CN112001123A true CN112001123A (zh) 2020-11-27

Family

ID=73472036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010877983.2A Pending CN112001123A (zh) 2020-08-27 2020-08-27 一种基于深度卷积网络特征融合的化工过程性能评测方法

Country Status (1)

Country Link
CN (1) CN112001123A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033770A (zh) * 2021-03-04 2021-06-25 北京字跳网络技术有限公司 神经网络模型的测试方法、装置和电子设备
CN114326638A (zh) * 2021-12-30 2022-04-12 杭州电子科技大学 一种多尺度卷积与深度双向gru网络融合性能评估方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033770A (zh) * 2021-03-04 2021-06-25 北京字跳网络技术有限公司 神经网络模型的测试方法、装置和电子设备
CN114326638A (zh) * 2021-12-30 2022-04-12 杭州电子科技大学 一种多尺度卷积与深度双向gru网络融合性能评估方法

Similar Documents

Publication Publication Date Title
CN110033021B (zh) 一种基于一维多路卷积神经网络的故障分类方法
US11960568B2 (en) Model and method for multi-source domain adaptation by aligning partial features
Wang et al. A deformable CNN-DLSTM based transfer learning method for fault diagnosis of rolling bearing under multiple working conditions
CN109766813B (zh) 基于对称人脸扩充样本的字典学习人脸识别方法
CN110289050B (zh) 一种基于图卷积和词向量的药物－靶标相互作用预测方法
CN112001123A (zh) 一种基于深度卷积网络特征融合的化工过程性能评测方法
CN112949823A (zh) 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法
CN113052218A (zh) 工业过程的多尺度残差卷积与lstm融合性能评估方法
AU2020101874A4 (en) A method for predicting high-temperature mechanical properties of heat-resistant alloys based on deep learning
WO2021004198A1 (zh) 一种板材性能的预测方法及装置
CN111401426B (zh) 基于伪标签学习的小样本高光谱图像分类方法
CN108469805B (zh) 一种基于动态性最优选择的分散式动态过程监测方法
CN114492645A (zh) 基于多源异构数据自适应融合的电机轴承故障诊断方法
CN114387473A (zh) 一种基于基类样本特征合成的小样本图像分类方法
Zhang et al. Protein family classification from scratch: a CNN based deep learning approach
Badrinarayanan et al. Symmetry-invariant optimization in deep networks
Mridha et al. Plant disease detection using web application by neural network
Huang et al. Efficient attention network: Accelerate attention by searching where to plug
Xiao et al. Application of deep convolutional neural networks in classification of protein subcellular localization with microscopy images
Banerjee et al. An Intelligent Framework for Grassy Shoot Disease Severity Detection and Classification in Sugarcane Crop
CN104268553A (zh) 基于核模糊Foley-Sammon转换的SAR图像目标识别方法
CN114326638A (zh) 一种多尺度卷积与深度双向gru网络融合性能评估方法
CN114139639A (zh) 一种基于自步邻域保持嵌入的故障分类方法
CN117392450A (zh) 一种基于进化多尺度特征学习的钢铁材料质量解析方法
CN117034139A (zh) 一种基于模型融合的化工过程故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination