CN113705661A - 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 - Google Patents
一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 Download PDFInfo
- Publication number
- CN113705661A CN113705661A CN202110987515.5A CN202110987515A CN113705661A CN 113705661 A CN113705661 A CN 113705661A CN 202110987515 A CN202110987515 A CN 202110987515A CN 113705661 A CN113705661 A CN 113705661A
- Authority
- CN
- China
- Prior art keywords
- value
- network
- xgboost
- output
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 28
- 238000011156 evaluation Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000003745 diagnosis Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 55
- 210000002569 neuron Anatomy 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 210000004205 output neuron Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 238000004971 IR microspectroscopy Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012060 immune response imaging Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 abstract description 2
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000007635 classification algorithm Methods 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 238000004886 process control Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000000571 coke Substances 0.000 description 5
- 238000004939 coking Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于自动化过程控制领域，公开了一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法。本发明开发了一种新的混合XGBoost算法与DRSN的故障诊断方法。其中，DRSN中的残差学习能有效避免模型退化问题，软阈值操作能够有效降低噪声和冗余信息对特征学习的影响。此外，使用效果更好的Nadam优化算法来更新网络参数，而不是传统的Adam算法。在最后的分类阶段，采用XGBoost分类算法对提取到的特征信息进行故障识别和分类，而不是传统的softmax分类器。实验结果表明，XGBoost具有更好的分类性能。
Description
技术领域
本发明属于自动化过程控制领域，尤其涉及一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法。
背景技术
现代故障诊断技术的产生对保障工业过程的生产安全，减少资源浪费发挥了重要的作用，其先后发展出了基于模型的方法，基于知识推理的方法和基于数据驱动的方法。基于模型的方法和基于知识推理的方法由于自身的局限性，对当前具有高维性、非线性、间歇性以及动态性等特点的复杂工业过程数据并不能取得令人满意的结果。基于数据驱动的方法由于局限性较小，只依赖于过往的故障数据，因此得到了较好的发展和应用。
基于数据驱动的方法可以进一步分为基于多元统计的方法、浅层学习方法以及深度学习方法。基于多元统计的方法和浅层学习的方法是工业过程常用的方法之一，但是面对工业数据中的高维性、非线性数据时，并不能取得令人满意的效果。深度学习技术是在浅层学习的基础上发展而来，其摆脱了传统方法需要手工提取特征的繁琐步骤，能够端到端自动的提取原始数据中非线性高维特征，不仅如此，深度学习还解决了浅层学习容易过拟合、陷入局部最优、梯度消散以及泛化能力弱等问题，对非线性、间歇性以及动态性等复杂工业过程也具有较好的诊断精度。
深度学习相较于传统方法具有巨大的优势，其利用多隐层的网络结构直接对输入的数据样本进行有效分析并提取隐藏的数据特征信息，非常适用于大规模复杂的工业过程数据，是目前故障诊断领域研究的热点。但是不可否认的是，每种深度学习模型都有其自身的优缺点，其整体的诊断精度有待进一步提高。目前基于深度学习的故障诊断方法在工业过程的应用主要存在以下问题：
提取特征中含有大量的冗余信息，影响最终的诊断精度。
常见的softmax分类器无法进一步提高诊断精度。
发明内容
本发明目的在于提供一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法,该方法其能够有效去除提取特征中的冗余数据，大幅提高工业过程的故障诊断精度。
为解决上述技术问题，本发明的一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法的具体技术方案如下：
一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，包括如下步骤：
步骤1：以频率fs采集工业过程系统变量的运行数据，建立一个含有多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；
步骤2：将训练集输入到由多个残差收缩子块组成的网络中进行特征的初步提取；
步骤3：FC层通过权值矩阵将提取的深层特征进行融合，经Dropout层后，输入到softmax层，并将输出结果与真实标签的交叉熵作为损失函数；
步骤4：利用Nadam优化器沿梯度下降方向反向传播更新整个模型的参数，并优化交叉熵损失函数；
步骤5：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树；
步骤6：故障诊断。
进一步地，步骤1包括如下具体步骤：
步骤1.1：数据预处理：对数据集进行离差标准化处理,对采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，转换函数如下：
式中xi表示样本数据；xj表示原始数据；min{·}表示原始数据中的最小值，max{·}表示原始数据中的最大值。
步骤1.2：故障样本打标签：对数据集进行one-hot编码，使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。
进一步地，步骤2的每个残差收缩子块由两层卷积网络(CNN)以及软阈值化操作模块所组成；两层CNN将提取到特征的绝对值输入到全局平均池化层(GAP)中，输出特征的一维向量，并经过两层FC网络后得到每个通道的收缩参数，通过应用sigmoid函数来归一化收缩参数并与GAP的输出相乘得到每个通道的阈值；最后，通过得到的阈值去除所提取特征中的无用信息，保留有用的信息并输出特征；两层CNN以及软阈值化模块中的FC层使用relu非线性激活函数和批归一化操作来提高网络的性能；
步骤2.1:卷积网络的卷积运算,如下式所示：
x[l]＝f(W[l]*x[l-1]+b[l]) (2)
式中x[l]表示第l层的输出，l∈[1，2，…,n]，W[l]表示第l层卷积核，“*”表示卷积运算，b[l]表示第l层对应的偏置，f(·)表示激活函数；
步骤2.2：BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1，相关操作如下：
式中
表示经BN层计算后的输出；yi表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数；
步骤2.3：GAP将上层神经元簇的平局值作为池化操作后的值，具体为
式中u和v表示池的大小，Yp表示池化操作的输出，i，j表示神经元；
relu激活函数的一阶导数为0或1，函数表达为：
f(x)＝max(0,x) (6)
软阈值化操作对的具体实现为：
输入到输出的导数为
式中x和y分别是输入和输出特征，τ是一个正数阈值，且不能大于输入数据中的最大值；
步骤2.4：在FC网络之后应用sigmoid函数，将缩放参数收缩到(0，1)的范围内，计算如下
式中zc表示FC网络中第c个神经元的输出特征，αc表示归一化后的缩放参数，将上式乘以GAP输出的一维向量的绝对值就得到相应的阈值，具体如下：
式中τc表示第c个通道的阈值，m,n和c分别表示特征图的宽度、高度以及通道索引。进一步地，步骤3包括如下具体步骤：
步骤3.1：dropout层以概率p随机丢弃网络中的神经元，其具体操作为：
r(l)～Bernoulli(p)
式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量，wi，bi分别表示第i个神经元的权重和偏置，yl表示第l层的输入，f(·)表示激活函数之后将输出结果输入到Softmax分类层；
步骤3.2：Softmax分类层将输入特征进行分类运算，其计算公式如下：
式中
表示第i个输出神经元的值；
表示第j个输出神经元的值。
进一步地，步骤4包括如下具体步骤：
Nadam优化器的具体流程如下：
mt←μtmt-1+(1-μt)gt
上述过程中t代表迭代轮次，gt表示梯度；ν表示移动的平均衰减率；μt表示第1轮到第t轮的平均衰减率，μi表示第1轮到第i轮的平均衰减率，mt表示梯度的均值；nt表示梯度未减去均值的方差；
分别为mt和nt的修正值；αt表示迭代中每轮的学习率，ε为数值很小的常数。
进一步地，步骤5包括如下具体步骤：
步骤5.1：XGBoost算法通过提升算法不断地迭代生成新树并拟合上棵树的残差，其具体过程如下：
对于给定n个样本，m个特征的数据集D＝{(Xi,yi)}(|D|＝n,Xi∈Rm,yi∈R)，提升树模型通过t次迭代的结果为
其中F＝{f(x)＝wq(x)}(q:Rm→T,w∈RT)为提升树构成的函数空间；q为树的结构；表示训练的样本到对应叶子节点的映射；T为叶子结点数；每个fk对应一棵独立树结构q以及权重w；
是t次迭代后样本i的预测值；
步骤5.2：XGBoost的目标损失函数L由正则项Ω和损失函数l所组成，具体为
式中yi为真实标签，
为预测标签，γ和λ分别为L1和L2的正则系数，二者共同决定提升树模型的复杂度；
步骤5.3：XGBoost算法采用二阶泰勒展开近似来快速优化损失函数，即
式中
分别为损失函数的一阶和二阶导数；忽略常数项
并将第j个叶子节点样本集Ij＝{i|q(xi)＝j}带入，可以简化为
将上式对wj求导，并令结果等于0得
进一步将
代入目标函数可得
步骤5.4：通过贪心算法比较分裂增益来选择特征的切分点，设IL和IR是分割后左右节点的集合，则分裂增益值可以用下式表示：
通过上式计算出的增益，进一步确定是否分裂以及具体的分裂节点。
进一步地，步骤6将测试集输入到DRSN-XGBoost模型中，XGBoost分类器的输出反映模型最终的诊断结果。
本发明的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法具有以下优点：本发明开发了一种新的混合XGBoost算法与DRSN的故障诊断方法。其中，DRSN中的残差学习能有效避免模型退化问题，软阈值操作能够有效降低噪声和冗余信息对特征学习的影响。
此外，使用效果更好的Nadam优化算法来更新网络参数，而不是传统的Adam算法。
在最后的分类阶段，采用XGBoost分类算法对提取到的特征信息进行故障识别和分类，而不是传统的softmax分类器。实验结果表明，XGBoost具有更好的分类性能。
附图说明
图1所示为本发明所提出的DRSN-XGBoost故障诊断流程图；
图2所示为五种模型在正常状态，故障1，故障3，故障4和故障5上的F1-Score值柱状图；
图3所示为本发明所提出的DRSN-XGBoost模型诊断结果的混淆举证示意图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法做进一步详细的描述。
实施例
工业焦化炉是一种典型的工业过程系统，其是一种立管式加热炉，它对化工原料的深加工具有不可替代的作用，其燃料一般用高压瓦斯气。工作时气体分别从南北两侧进入焦化炉，原料渣油分别从南北两侧送入焦化炉对流室预加热约330℃，然后一起送入分馏塔底，与焦化炉塔顶来的油气接触并传热传质；在此过程中混合油料中较轻的成份蒸发，上升至精馏段进行分离，而原料中蜡油以上馏分与来自焦炭塔顶油气中被冷凝的成份一起流入塔底。约360℃的分馏塔底油经加热炉辐射进料泵分两路送至加热炉辐射室迅速加热至495℃，之后进入焦炭塔进行裂解反应。
本次实例验证中在焦化炉中预先设计了几种常见的不同类型的故障，具体故障情况与标签对应关系如表1所示
表1：
图1是本发明所提出的DRSN-XGBoost工业过程故障诊断方法的实施流程图，其具体包括以下步骤：
步骤1、采集工业焦化炉中8个主要的过程变量的运行数据，建立一个含有8个变量，5种类型故障的数据集，在每个故障状况下采集1850个样本数据，另外采集2000个正常状态样本，从中随机选择1850个样本与故障样本一起构成实验数据。对采集的数据集进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后从中随机抽取80％的样本作为训练集，其余20％样本作为测试集。
数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以对采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，相关转换函数如下：
式中xi表示样本数据；xj表示原始数据；min{·}表示原始数据中的最小值，max{·}表示原始数据中的最大值。
故障样本打标签是指对数据集进行one-hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。
步骤2、将训练集输入到由多个残差收缩子块组成的网络中进行特征的初步提取
每个残差收缩子块由两层卷积网络(CNN)以及软阈值化操作模块所组成。两层CNN将提取到特征的绝对值输入到全局平均池化层(GAP)中，输出特征的一维向量，并经过两层FC网络后得到每个通道的收缩参数，通过应用sigmoid函数来归一化收缩参数并与GAP的输出相乘得到每个通道的阈值。最后，通过得到的阈值去除所提取特征中的无用信息，保留有用的信息并输出特征。两层CNN以及软阈值化模块中的FC层使用relu非线性激活函数和批归一化操作来提高网络的性能。
其中卷积网络的卷积运算如下式所示：
x[l]＝f(W[l]*x[l-1]+b[l]) (2)
式中x[l]表示第l层的输出，l∈[1，2，…,n]，W[l]表示第l层卷积核，“*”表示卷积运算，b[l]表示第l层对应的偏置，f(·)表示激活函数。
BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1。相关操作如下：
式中
表示经BN层计算后的输出；yi表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数。
GAP将上层神经元簇的平局值作为池化操作后的值，具体为
式中u和v表示池的大小，Yp表示池化操作的输出，i，j表示神经元。
relu激活函数的一阶导数为0或1，这使得特征的范围可以在传播过程中保持不变，从而有效避免了梯度消失，加快训练速度。函数表达为：
f(x)＝max(0,x) (6)
软阈值化操作对的具体实现为：
输入到输出的导数为
上式中x和y分别是输入和输出特征，τ是一个正数阈值，且不能大于输入数据中的最大值。可以看出，软阈值的输出导数为0或1，这与relu激活函数相似。因此，软阈值化也能够有效避免训练过程中模型发生梯度消失或爆炸的风险。
在FC网络之后应用sigmoid函数，将缩放参数收缩到(0，1)的范围内，计算如下
式中zc表示FC网络中第c个神经元的输出特征，αc表示归一化后的缩放参数。将上式乘以GAP输出的一维向量的绝对值就得到相应的阈值，具体如下：
式中τc表示第c个通道的阈值，m,n和c分别表示特征图的宽度、高度以及通道索引。上述操作将阈值限制在了一个合理的范围，从而保证了输出不会全部为0。
步骤3：FC层通过权值矩阵将提取的深层特征进行融合，经Dropout层后，输入到softmax层，并将输出结果与真实标签的交叉熵作为损失函数。
dropout层以概率p随机丢弃网络中的神经元，加强模型的泛化能力，其具体操作为：
r(l)～Bernoulli(p)
式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量，wi，bi分别表示第i个神经元的权重和偏置，yl表示第l层的输入，f(·)表示激活函数之后将输出结果输入到Softmax分类层。
Softmax分类层将输入特征进行分类运算，其计算公式如下：
式中
表示第i个输出神经元的值；
表示第j个输出神经元的值。
步骤4：利用Nadam优化器沿梯度下降方向反向传播更新整个模型的参数，并优化交叉熵损失函数。
Nadam优化器的具体流程如下：
mt←μtmt-1+(1-μt)gt
上述过程中t代表迭代轮次，gt表示梯度；ν表示移动的平均衰减率；μt表示第1轮到第t轮的平均衰减率，μi表示第1轮到第i轮的平均衰减率，mt表示梯度的均值；nt表示梯度未减去均值的方差；
分别为mt和nt的修正值；αt表示迭代中每轮的学习率，ε为数值很小的常数，用于保持稳定性。
步骤5：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树。
XGBoost算法的核心思想是与多棵分类精度较低的提升树模型相结合，通过提升算法不断地迭代生成新树并拟合上棵树的残差，从而不断提高模型的准确性，其具体过程如下：
对于给定n个样本，m个特征的数据集D＝{(Xi,yi)}(|D|＝n,Xi∈Rm,yi∈R)，提升树模型通过t次迭代的结果为
其中F＝{f(x)＝wq(x)}(q:Rm→T,w∈RT)为提升树构成的函数空间；q为树的结构；表示训练的样本到对应叶子节点的映射；T为叶子结点数；每个fk对应一棵独立树结构q以及权重w；
是t次迭代后样本i的预测值。
XGBoost的目标损失函数L主要由正则项Ω和损失函数l所组成，具体为
式中yi为真实标签，
为预测标签，γ和λ分别为L1和L2的正则系数，二者共同决定提升树模型的复杂度。
XGBoost算法采用二阶泰勒展开近似来快速优化损失函数，即
式中
分别为损失函数的一阶和二阶导数。忽略常数项
并将第j个叶子节点样本集Ij＝{i|q(xi)＝j}带入，可以简化为
将上式对wj求导，并令结果等于0得
进一步将
代入目标函数可得
通过贪心算法比较分裂增益来选择特征的切分点，设IL和IR是分割后左右节点的集合，则分裂增益值可以用下式表示：
通过上式计算出的增益，就可以进一步确定是否分裂以及具体的分裂节点。
步骤6：故障诊断。将测试集输入到DRSN-XGBoost模型中，XGBoost分类器的输出可以反映模型最终的诊断结果。
为了更好的说明本发明的技术效果，本次实验分别采用CNN、ResCNN、MSCNN以及DRSN作为对比模型，上述都是目前取得较好效果的网络模型，为了实验结果的可对比性，四种对比模型的参数设置基本与本发明相同。
本次实验中采用Keras库和python3.5实现本发明所提出的DRSN-XGBoos模型以及四个对比模型，模型训练时的迭代次数都设置为100，批次大小设置为64，损失函数选择交叉熵损失函数，初始学习率设置为0.001，并且每迭代30次学习率下降十分之一。在对XGBoost分类器的参数设置上，将学习率设置为0.2，树的个数设置为1000，深度设置为8，叶子节点最小权重设置为1。
表2是五种模型对每种故障类型具体的精确率(P)和召回率(R)，以微平均精确率和召回率两个评价指标可以看出，本发明所提出模型的微平均精确率和召回率是五种模型最高的，大部分达到99％以上，显示出本发明所提模型具有突出的诊断精度。具体到每种故障类型可以发现，除了故障2，DRSN-XGBoos对其他五种类型的微平均精率和召回率都得到较大程度的提升。为了更直观的看出各模型的效果，我们将除故障2以外各状态的F1-Score值以直方图的形式展现出来，如图2所示。可以看出，本文所提方法的效果是所有模型中最好的，各状态F1-Score值都接近100％，大幅领先对比模型。
表2：
表3列出了各模型在训练集和测试集上的准确率，可以看出，与使用softmax分类器的传统DRSN模型相比，所提方法在训练集上的准确率提高了约0.9％，达到99.95％，测试集上的准确率大幅提高了约2％，达到99.50％。图3是五种模型的混淆举证，图中可以直观的看出，所提方法只对故障1有错分，并且错分的概率只有0.01。以上实验结果进一步验证了所提方法的有效性，与现有模型相比，其最终的诊断精度得到了大幅度的提高。
表3：
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的。
Claims (7)
1.一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，包括如下步骤：
步骤1：以频率fs采集工业过程系统变量的运行数据，建立一个含有多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；
步骤2：将训练集输入到由多个残差收缩子块组成的网络中进行特征的初步提取；
步骤3：FC层通过权值矩阵将提取的深层特征进行融合，经Dropout层后，输入到softmax层，并将输出结果与真实标签的交叉熵作为损失函数；
步骤4：利用Nadam优化器沿梯度下降方向反向传播更新整个模型的参数，并优化交叉熵损失函数；
步骤5：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树；
步骤6：故障诊断。
2.根据权利要求1所述的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，步骤1包括如下具体步骤：
步骤1.1：数据预处理：对数据集进行离差标准化处理,对采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，转换函数如下：
式中xi表示样本数据；xj表示原始数据；min{·}表示原始数据中的最小值，max{·}表示原始数据中的最大值。
步骤1.2：故障样本打标签：对数据集进行one-hot编码，使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。
3.根据权利要求2所述的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，步骤2的每个残差收缩子块由两层卷积网络(CNN)以及软阈值化操作模块所组成；两层CNN将提取到特征的绝对值输入到全局平均池化层(GAP)中，输出特征的一维向量，并经过两层FC网络后得到每个通道的收缩参数，通过应用sigmoid函数来归一化收缩参数并与GAP的输出相乘得到每个通道的阈值；最后，通过得到的阈值去除所提取特征中的无用信息，保留有用的信息并输出特征；两层CNN以及软阈值化模块中的FC层使用relu非线性激活函数和批归一化操作来提高网络的性能；
步骤2.1:卷积网络的卷积运算,如下式所示：
x[l]＝f(W[l]*x[l-1]+b[l]) (2)
式中x[l]表示第l层的输出，l∈[1，2，…,n]，W[l]表示第l层卷积核，“*”表示卷积运算，b[l]表示第l层对应的偏置，f(·)表示激活函数；
步骤2.2：BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1，相关操作如下：
式中
表示经BN层计算后的输出；yi表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数；
步骤2.3：GAP将上层神经元簇的平局值作为池化操作后的值，具体为
式中u和v表示池的大小，Yp表示池化操作的输出，i，j表示神经元；
relu激活函数的一阶导数为0或1，函数表达为：
f(x)＝max(0,x) (6)
软阈值化操作对的具体实现为：
输入到输出的导数为
式中x和y分别是输入和输出特征，τ是一个正数阈值，且不能大于输入数据中的最大值；
步骤2.4：在FC网络之后应用sigmoid函数，将缩放参数收缩到(0，1)的范围内，计算如下
式中zc表示FC网络中第c个神经元的输出特征，αc表示归一化后的缩放参数，将上式乘以GAP输出的一维向量的绝对值就得到相应的阈值，具体如下：
式中τc表示第c个通道的阈值，m,n和c分别表示特征图的宽度、高度以及通道索引。
4.根据权利要求3所述的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，步骤3包括如下具体步骤：
步骤3.1：dropout层以概率p随机丢弃网络中的神经元，其具体操作为：
r(l)～Bernoulli(p)
式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量，wi，bi分别表示第i个神经元的权重和偏置，yl表示第l层的输入，f(·)表示激活函数之后将输出结果输入到Softmax分类层；
步骤3.2：Softmax分类层将输入特征进行分类运算，其计算公式如下：
式中
表示第i个输出神经元的值；
表示第j个输出神经元的值。
5.根据权利要求4所述的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，步骤4包括如下具体步骤：
Nadam优化器的具体流程如下：
mt←μtmt-1+(1-μt)gt
上述过程中t代表迭代轮次，gt表示梯度；ν表示移动的平均衰减率；μt表示第1轮到第t轮的平均衰减率，μi表示第1轮到第i轮的平均衰减率，mt表示梯度的均值；nt表示梯度未减去均值的方差；
分别为mt和nt的修正值；αt表示迭代中每轮的学习率，ε为数值很小的常数。
6.根据权利要求5所述的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，步骤5包括如下具体步骤：
步骤5.1：XGBoost算法通过提升算法不断地迭代生成新树并拟合上棵树的残差，其具体过程如下：
对于给定n个样本，m个特征的数据集D＝{(Xi,yi)}(|D|＝n,Xi∈Rm,yi∈R)，提升树模型通过t次迭代的结果为
其中F＝{f(x)＝wq(x)}(q:Rm→T,w∈RT)为提升树构成的函数空间；q为树的结构；表示训练的样本到对应叶子节点的映射；T为叶子结点数；每个fk对应一棵独立树结构q以及权重w；
是t次迭代后样本i的预测值；
步骤5.2：XGBoost的目标损失函数L由正则项Ω和损失函数l所组成，具体为
式中yi为真实标签，
为预测标签，γ和λ分别为L1和L2的正则系数，二者共同决定提升树模型的复杂度；
步骤5.3：XGBoost算法采用二阶泰勒展开近似来快速优化损失函数，即
式中
分别为损失函数的一阶和二阶导数；忽略常数项
并将第j个叶子节点样本集Ij＝{i|q(xi)＝j}带入，可以简化为
将上式对wj求导，并令结果等于0得
进一步将
代入目标函数可得
步骤5.4：通过贪心算法比较分裂增益来选择特征的切分点，设IL和IR是分割后左右节点的集合，则分裂增益值可以用下式表示：
通过上式计算出的增益，进一步确定是否分裂以及具体的分裂节点。
7.根据权利要求6所述的混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法，其特征在于，步骤6将测试集输入到DRSN-XGBoost模型中，XGBoost分类器的输出反映模型最终的诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110987515.5A CN113705661A (zh) | 2021-08-26 | 2021-08-26 | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110987515.5A CN113705661A (zh) | 2021-08-26 | 2021-08-26 | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705661A true CN113705661A (zh) | 2021-11-26 |
Family
ID=78655135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110987515.5A Pending CN113705661A (zh) | 2021-08-26 | 2021-08-26 | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705661A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114326639A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于混合注意力卷积神经网络的工业过程性能评估方法 |
| CN114338199A (zh) * | 2021-12-30 | 2022-04-12 | 广东工业大学 | 一种基于注意力机制的恶意流量检测方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052218A (zh) * | 2021-03-15 | 2021-06-29 | 杭州电子科技大学 | 工业过程的多尺度残差卷积与lstm融合性能评估方法 |
-
2021
- 2021-08-26 CN CN202110987515.5A patent/CN113705661A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052218A (zh) * | 2021-03-15 | 2021-06-29 | 杭州电子科技大学 | 工业过程的多尺度残差卷积与lstm融合性能评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| 爱科研的小可爱: "论文笔记，深度残差收缩网络（DRSN）", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/360519282?UTM_ID=0》, pages 1 - 12 * |
| 马怀祥 等: "基于CNN 和XGBoost 的滚动轴承故障诊断方法", 《中国工程机械学报》, pages 254 - 259 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114326639A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 基于混合注意力卷积神经网络的工业过程性能评估方法 |
| CN114338199A (zh) * | 2021-12-30 | 2022-04-12 | 广东工业大学 | 一种基于注意力机制的恶意流量检测方法和系统 |
| CN114338199B (zh) * | 2021-12-30 | 2024-01-09 | 广东工业大学 | 一种基于注意力机制的恶意流量检测方法和系统 |
| CN114326639B (zh) * | 2021-12-30 | 2024-06-25 | 杭州电子科技大学 | 基于混合注意力卷积神经网络的工业过程性能评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175386B (zh) | 变电站电气设备温度预测方法 | |
| CN108803520B (zh) | 一种基于变量非线性自相关性剔除的动态过程监测方法 | |
| CN113052218A (zh) | 工业过程的多尺度残差卷积与lstm融合性能评估方法 | |
| CN112989635B (zh) | 基于自编码器多样性生成机制的集成学习软测量建模方法 | |
| CN109740655B (zh) | 基于矩阵分解及神经协同过滤的物品评分预测方法 | |
| CN113705661A (zh) | 一种混合深度残差收缩网络与XGBoost算法的工业过程性能评估方法 | |
| CN109034062B (zh) | 一种基于时序一致性的弱监督异常行为检测方法 | |
| CN109523021A (zh) | 一种基于长短时记忆网络的动态网络结构预测方法 | |
| CN111340110B (zh) | 一种基于工业过程运行状态趋势分析的故障预警方法 | |
| CN114004346B (zh) | 基于门控堆叠同构自编码器的软测量建模方法及存储介质 | |
| CN114417913B (zh) | 基于pc-tcn和迁移学习的轴承寿命预测方法 | |
| CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
| CN115510975A (zh) | 基于并行Transofmer-GRU的多变量时序异常检测方法及系统 | |
| CN114326639B (zh) | 基于混合注意力卷积神经网络的工业过程性能评估方法 | |
| CN114326638A (zh) | 一种多尺度卷积与深度双向gru网络融合性能评估方法 | |
| CN111046961A (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| CN115905848A (zh) | 基于多模型融合的化工过程故障诊断方法及系统 | |
| CN113255366A (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
| CN115062528A (zh) | 一种针对工业过程时序数据的预测方法 | |
| CN114187966A (zh) | 一种基于生成对抗网络的单细胞rna序列缺失值填补方法 | |
| CN112559741B (zh) | 核电设备缺陷记录文本分类方法、系统、介质及电子设备 | |
| CN113674807A (zh) | 一种基于深度学习技术定性定量模型的分子筛选方法 | |
| CN113743453A (zh) | 一种基于随机森林的人口数量预测方法 | |
| CN116595880A (zh) | 一种沸腾床渣油加氢装置智能混合建模方法 | |
| CN116595347A (zh) | 一种基于多元递归图特征提取的10kV电缆运行状态评估模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |