CN114326639A - 基于混合注意力卷积神经网络的工业过程性能评估方法 - Google Patents

Abstract

本发明公开了一种混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，包括如下步骤：步骤1、以一定频率采集工业过程中系统变量的运行数据，建立包含多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；步骤2、构建注意力卷积神经网络故障诊断模型；步骤3：利用划分好的训练集训练注意力卷积网络模型；步骤4：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树；步骤5：故障诊断：将测试集输入到ACNN‑XGBoost模型中，XGBoost分类器的输出可以反映模型最终的诊断结果。

Description

基于混合注意力卷积神经网络的工业过程性能评估方法

技术领域

本发明属于自动化过程控制领域，特别涉及到一种混合注意力卷积神经网络与XGBoost算法(ACNN-XGBoost)的工业过程故障诊断方法。

背景技术

工业生产涉及到我们生活的方方面面。随着工业的进步，工业设备集成度越来越高，其一旦发生故障，将严重影响工业生产过程并造成重大的经济损失。因此一个高效的工业过程故障诊断方法对工业生产具有十分重要的意义。

截止到目前，工业过程故障诊断方法总的来说可以概括为三大类：基于模型的方法、基于知识推理的方法和基于数据驱动的方法。基于模型的方法通过构建数学模型来探寻对象运行规律，适用于具备过程精确的定量数学模型。基于知识推理的方法不需要建立精确的系统模型，但对专家经验和系统原理知识有很高的依赖。基于数据驱动的方法在不需要了解系统的原理及物理模型的情况下，仅仅需要对测得的状态监测信号和历史信号数据进行分析就能提取特征，从而实现系统的故障诊断。近年来，随着信息和通信技术的飞速发展，大量的工业过程数据被高效的收集和处理，数据驱动的故障诊断方法凭借其实用性和高效性，在复杂的工业过程中越来越重要。

基于数据驱动的故障诊断方法又大致分为三类，即多元统计的方法、浅层学习方法以及深度学习方法。基于多元统计的故障诊断方法虽然在工业应用中经常会看到，但是面对现代工业产生的庞大数据量，这个方法的复杂度变得非常高，诊断效果并不尽人意。基于浅层学习的故障诊断方法，对人工特征降维和提取的依赖性较高，其诊断效果好坏取决于人工特征降维和提取的质量，然而在面对现代工业高纬度、高耦合的庞大数据，并不能有效提取数据特征，因此，浅层学习的故障诊断方法还有待完善。深度学习是由浅层学习发展而来，深度学习方法不同于浅层学习的分段学习手段，采取的是端到端的学习手段，其摆脱了传统方法提取特征繁琐的步骤，对提取原始数据中的特征具有非常大的优势，因此被广泛应用在自然语言识别、图像处理以及文本分析等领域。

深度学习相较于传统方法具有巨大的优势，其利用多隐层的网络结构直接对输入的数据样本进行有效分析并提取隐藏的数据特征信息，非常适用于大规模复杂的工业过程数据，是目前故障诊断领域研究的热点。但是不可否认的是，每种深度学习模型都有其自身的长处和短板，整体的诊断精度还有待进一步提高。目前基于深度学习的故障诊断方法在工业过程的应用主要存在以下问题：

当模型深度达到一定层数后，会发生模型退化问题；

特征提取存在冗余信息，导致最终的诊断精度不能达到更优；

常见的softmax分类器无法进一步提高诊断精度。

发明内容

为了解决现有技术存在的上述技术问题，本发明的目的是针对现有工业过程故障诊断方法中存在的问题，提出一种混合注意力卷积神经网络与XGBoost算法(ACNN-XGBoost)的工业过程故障诊断方法。其能够有效去除提取特征中的冗余数据，大幅提高工业过程的故障诊断精度。

本发明的具体实施步骤包括：

步骤1、数据处理；

以一定频率采集工业过程中系统变量的运行数据，建立一个包含多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；

数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析，具体转换函数如下：

式中min(x)和max(x)分别表示数据样本中的最小值和最大值，x_i表示样本数据。

故障样本打标签是指对数据集进行one-hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。

步骤2、构建注意力卷积神经网络故障诊断模型；

注意力卷积神经网络模型主要由三层普通卷积神经网络与两个注意力卷积模块以及FC层叠加构成，其中：

三层卷积神经网络中每层都与BN层叠加，卷积层对数据进行卷积运算，采用elu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术。其中卷积层的卷积运算如下式所示：

x^[l]＝f(W^[l]*x^[l-1]+b^[l]) (2)

式中x^[l]表示第l层的输出，l∈[1，2，…,n]，W^[l]表示第l层卷积核，“*”表示卷积运算，b^[l]表示第l层对应的偏置，f(·)表示激活函数。

BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1。相关操作如下：

式中

表示经BN层计算后的输出；y_i表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数。

两个注意力卷积模块与普通卷积神经网络的不同之处在于在每两次卷积之后添加了一个注意力机制模块。该模块能够通过通道注意力和空间注意力对之前卷积送来的有用特征进行强化，无用特征进行抑制，从而实现对上一步提取的特征进行增强的作用。注意力机制模块函数表示如下：

先设输入特征为F∈R^C*H*W,CABM依次推断出一个一维通道权重系数:M_C∈R^C*1*1和一个二维的空间权重系数:M_s∈R^1*H*W，整体的公式为：

两条公式分别是通道注意力和空间注意力操作，其中

表示对应元素相乘。

elu激活函数与其它修正类激活函数不同的是，它是一个近似的零中心化的非线性函数，它包括一个负指数项为负值输入添加了一个非零输出，从而防止静默神经元出现，导数收敛为零，从而有效避免了relu激活函数的缺陷，提高学习效率，其计算公式为：

FC层通过权值矩阵将提取的深层特征进行融合，经Dropout层后，输入到softmax层，并将输出结果与真实标签的交叉熵作为损失函数。

dropout层以概率p随机丢弃网络中的神经元，加强模型的泛化能力，其具体操作为：

r^(l)～Bernoulli(p)

式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量，w_i，b_i分别表示第i个神经元的权重和偏置，y^l表示第l层的输入，f(·)表示激活函数之后将输出结果输入到Softmax分类层。

Softmax分类层将输入特征进行分类运算，其计算公式如下：

式中z_i表示第i个输出神经元的输出；

步骤3：利用划分好的训练集训练注意力卷积网络模型；

将上述划分好的训练集输入到ACNN模型中进行训练，以故障类型标签作为所述模型的输出，将输出标签与真实标签的交叉熵作为损失函数，利用adam优化器进行反向传播，更新整个模型的参数，优化损失函数。

步骤4：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树；

XGBoost是一个可扩展的提升树系统。对于给定一个具有n个样本和m个特征的数据集D＝{(X_i,y_i)}(|D|＝n,X_i∈R^m,y_i∈R)，提升树模型对样本i通过t迭代后预测其输出

公式如下：

式中F＝{f(x)＝w_q(x)}(q:R^m→T,w∈R^T)为提升树构成的函数空间；q表示将示例映射到相应叶索引的每棵树的结构；T树上叶子的数目；每个f_k对应一棵独立树结构q以及权重w。

XGBoost的目标损失函数L主要由正则项Ω和损失函数l所组成，具体为

式中y_i和

分别为真实值和预测值，γ和λ分别为L₁和L₂的正则系数，二者共同决定提升树模型的复杂度。

XGBoost算法使用二阶泰勒展开进行近似以便优化损失函数，如下

式中

分别是损失函数的一阶和二阶导数。忽略常数项

并将第j个叶子节点样本集I_j＝{i|q(x_i)＝j}带入，可以简化为

对w_j求导计算最优权重

通过计算得到相应的最优目标函数值

通过贪心算法比较分裂增益来选择特征的切分点，设I_L和I_R是分割后左右节点的集合，则分裂增益值可以用下式表示：

公式(15)通常在实践中用于评估拆是否分裂以及具体的分裂节点。

步骤5：故障诊断。

将测试集输入到ACNN-XGBoost模型中，XGBoost分类器的输出可以反映模型最终的诊断结果。

与现有的工业过程故障诊断方法相比，本发明具有以下有益效果：

开发了一种新的混合XGBoost算法与ACNN的故障诊断方法。其中，ACNN中的注意力机制能有效减少特征提取中的冗余信息，对网络中有用的特征信息进行增强，无用的特征信息进行抑制，从而提高特征提取效率。

在最后的分类阶段，采用XGBoost分类算法对提取到的特征信息进行故障识别和分类，而不是传统的softmax分类器。实验结果表明，XGBoost的分类性能比传统的分类器要更加优异。

附图说明

图1所示为本发明所提出的ACNN-XGBoost故障诊断流程图；

图2所示为五种模型在正常状态，故障1，故障3，故障4和故障5上的F1-Score值；

图3所示为本发明所提出的ACNN-XGBoost模型诊断结果的混淆举证图。

具体实施方式

下面结合附图对本发明所提出方法的具体实施方式进行详细描述。

实施例

工业焦化炉F101/3是一种立管式加热炉，它通过对原料渣油和分馏塔底部的循环油迅速加热，为原有的进一步加工提供原料。工作时气体分别从南北两侧进入焦化炉，原料渣油分别从南北两侧送入焦化炉对流室预加热约330℃，然后一起送入分馏塔底，与焦化炉塔顶来的油气接触并传热传质；在此过程中混合油料中较轻的成份蒸发，上升至精馏段进行分离，而原料中蜡油以上馏分与来自焦炭塔顶油气中被冷凝的成份一起流入塔底。约360℃的分馏塔底油经加热炉辐射进料泵分两路送至加热炉辐射室迅速加热至495℃，之后进入焦炭塔进行裂解反应。

本次实例验证中在焦化炉中预先设计了几种常见的不同类型的故障，具体故障情况与标签对应关系如表1所示：

表1。

图1是本发明所提出的ACNN-XGBoost工业过程故障诊断方法的实施流程图，其具体包括以下步骤：

步骤1、采集工业焦化炉中8个主要的过程变量的运行数据，建立一个含有8个变量，5种类型故障的数据集，具体为两个含氧量测量点、两个辐射室内的温度测量点、炉内热效率测量点、PRC8112A回路中的操纵变量、PRC8112A以及PRC8112B的压力测量点。每种故障包括1850个样本，我们将所有样本标记之后进行随机混合打乱，然后从中随机抽取8000个样本作为训练集，其余1250个样本作为测试集合，即按照4：1对训练集和测试集进行划分。

数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以对采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，相关转换函数如下：

式中min(x)和max(x)分别表示数据样本中的最小值和最大值，x_i表示样本数据；

故障样本打标签是指对数据集进行one-hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。

步骤2、构建注意力卷积神经网络故障诊断模型；

注意力卷积神经网络采用的模型主要由三层普通卷积神经网络与两层注意力卷积模块以及FC层叠加构成，其中：

三层卷积神经网络每层都与BN层叠加，卷积层对数据进行卷积运算，采用elu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术。其中卷积层的卷积运算如下式所示：

x^[l]＝f(W^[l]*x^[l-1]+b^[l]) (2)

式中x^[l]表示第l层的输出，l∈[1，2，…,n]，W^[l]表示第l层卷积核，“*”表示卷积运算，b^[l]表示第l层对应的偏置，f(·)表示激活函数。

BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1。相关操作如下：

式中

表示经BN层计算后的输出；y_i表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数。

两个注意力卷积模块与普通卷积神经网络的不同之处在于在每两次卷积之后添加了一个注意力机制模块。该模块能够通过通道注意力和空间注意力对之前卷积送来的有用特征进行强化，对无用特征进行抑制，从而实现增强提取特征的作用。注意力机制模块函数表示如下：

先设输入特征为F∈R^C*H*W,CABM依次推断出一个一维通道权重系数:M_C∈R^C*1*1和一个二维的空间权重系数:M_s∈R^1*H*W，整体的公式为：

两条公式分别是通道注意力和空间注意力操作，其中

表示对应元素相乘。

elu激活函数与其它修正类激活函数不同的是，它是一个近似的零中心化的非线性函数，它包括一个负指数项为负值输入添加了一个非零输出，从而防止静默神经元出现，导数收敛为零，从而有效避免了relu激活函数的缺陷，提高学习效率，其计算公式为：

FC层通过权值矩阵将提取的深层特征进行融合，经Dropout层后，输入到softmax层，并将输出结果与真实标签的交叉熵作为损失函数。

dropout层以概率p随机丢弃网络中的神经元，加强模型的泛化能力，其具体操作为：

r^(l)～Bernoulli(p)

式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量，w_i，b_i分别表示第i个神经元的权重和偏置，y^l表示第l层的输入，f(·)表示激活函数之后将输出结果输入到Softmax分类层。

Softmax分类层将输入特征进行分类运算，其计算公式如下：

式中z_i表示第i个输出神经元的输出；

步骤3：利用划分好的训练集训练注意力卷积网络模型；

将上述划分好的训练集输入到ACNN模型中进行训练，以故障类型标签作为所述模型的输出，将输出标签与真实标签的交叉熵作为损失函数，利用优化器进行反向传播，更新整个模型的参数，优化损失函数。

步骤4：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树；

XGBoost是一个可扩展的提升树系统。对于给定一个具有n个样本和m个特征的数据集D＝{(X_i,y_i)}(|D|＝n,X_i∈R^m,y_i∈R)，提升树模型对样本i通过t迭代后预测其输出

公式如下：

其中F＝{f(x)＝w_q(x)}(q:R^m→T,w∈R^T)为提升树构成的函数空间；q表示将示例映射到相应叶索引的每棵树的结构；T树上叶子的数目；每个f_k对应一棵独立树结构q以及权重w。

XGBoost的目标损失函数L主要由正则项Ω和损失函数l所组成，具体为

式中y_i和

分别为真实值和预测值，γ和λ分别为L₁和L₂的正则系数，二者共同决定提升树模型的复杂度。

XGBoost算法使用二阶泰勒展开进行近似以便优化损失函数，如下

式中

分别是损失函数的一阶和二阶导数。忽略常数项

并将第j个叶子节点样本集I_j＝{i|q(x_i)＝j}带入，可以简化为

对w_j求导计算最优权重

通过计算得到相应的最优目标函数值

通过贪心算法比较分裂增益来选择特征的切分点，设I_L和I_R是分割后左右节点的集合，则分裂增益值可以用下式表示：

公式(15)通常在实践中用于评估拆是否分裂以及具体的分裂节点。

步骤5：故障诊断。

将测试集输入到ACNN-XGBoost模型中，XGBoost分类器的输出可以反映模型最终的诊断结果。

为了更好的说明本发明的技术效果，本次实验分别采用CNN、ResCNN、LSTM以及CNN-LSTM作为对比模型，上述都是目前取得较好效果的网络模型，为了实验结果的可对比性，四种对比模型的参数设置基本与本发明相同。

本次实验中采用Keras库和python3.8实现本发明所提出的融合ACNN-XGBoost模型以及四个对比模型，模型训练时的迭代次数都设置为210，批次大小设置为64，损失函数选择交叉熵损失函数，初始学习率设置为0.001，并且每迭代90次学习率下降十分之一。在对XGBoost分类器的参数设置上，将学习率设置为0.2，树的个数设置为1000，深度设置为8，叶子节点最小权重设置为1。

表2是五种模型对每种故障类型具体的精确率(P)和召回率(R)，以微平均精确率和召回率两个评价指标可以看出，本发明所提出模型的微平均精确率和召回率是五种模型最高的，绝大部分都达到99％以上，显示出本发明所提模型具有突出的诊断精度。具体到每种故障类型可以发现，除了故障2，ACNN-XGBoost对其他五种类型的微平均精率和召回率都得到较大程度的提升。为了更直观的看出各模型的效果，我们将除故障2以外各状态的F1-Score值以直方图的形式展现出来，如图2所示。可以看出，本文所提方法的效果是所有模型中最好的，各状态F1-Score值都接近100％，大幅领先对比模型。图3是五种模型的混淆矩阵，图中可以直观的看出，所提方法基本不存在错分。以上实验结果进一步验证了所提方法的有效性，与现有模型相比，其最终的诊断精度得到了大幅度的提高。

表2。

Claims (8)

1.一种混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于包括如下步骤：

步骤1、数据处理：以一定频率采集工业过程中系统变量的运行数据，建立包含多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；

步骤2、构建注意力卷积神经网络故障诊断模型；

步骤3：利用划分好的训练集训练注意力卷积网络模型；

步骤4：将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树；

步骤5：故障诊断：将测试集输入到ACNN-XGBoost模型中，XGBoost分类器的输出可以反映模型最终的诊断结果。

2.如权利要求1所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：所述数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),具体转换函数如下：

式中min(x)和max(x)分别表示数据样本中的最小值和最大值，x_i表示样本数据；

所述对故障类型进行编号打标签是指对数据集进行one-hot编码，使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。

3.如权利要求2所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：所述注意力卷积神经网络故障诊断模型由三层卷积神经网络、两个注意力卷积模块以及FC层叠加构成。

4.如权利要求3所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：

所述三层卷积神经网络中每层都与BN层叠加，卷积层对数据进行卷积运算，采用elu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术；其中卷积层的卷积运算如下式所示：

x^[l]＝f(W^[l]*x^[l-1]+b^[l]) (2)

式中x^[l]表示第l层的输出，l∈[1，2，…,n]，W^[l]表示第l层卷积核，“*”表示卷积运算，b^[l]表示第l层对应的偏置，f(·)表示激活函数；

BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1。相关操作如下：

式中

表示经BN层计算后的输出；y_i表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数。

5.如权利要求4所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：

两个注意力卷积模块在每两次卷积之后添加注意力机制模块；注意力机制模块函数表示如下：

先设输入特征为F∈R^C*H*W,CABM依次推断出一维通道权重系数：M_C∈R^C*1*1和一个二维的空间权重系数:M_s∈R^1*H*W，整体的公式为：

分别是通道注意力和空间注意力操作，其中

表示对应元素相乘。

6.如权利要求5所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：

所述elu激活函数，其计算公式为：

FC层通过权值矩阵将提取的深层特征进行融合，经Dropout层后，输入到softmax层，并将输出结果与真实标签的交叉熵作为损失函数；

Dropout层以概率p随机丢弃网络中的神经元，加强模型的泛化能力，其具体操作为：

式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量，w_i，b_i分别表示第i个神经元的权重和偏置，y^l表示第l层的输入，f(·)表示激活函数之后将输出结果输入到Softmax分类层；

Softmax分类层将输入特征进行分类运算，其计算公式如下：

式中z_i表示第i个输出神经元的输出。

7.如权利要求6所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：步骤3具体为：

将上述划分好的训练集输入到ACNN模型中进行训练，以故障类型标签作为所述模型的输出，将输出标签与真实标签的交叉熵作为损失函数，利用adam优化器进行反向传播，更新整个模型的参数，优化损失函数。

8.如权利要求7所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法，其特征在于：

步骤4具体为：对于给定一个具有n个样本和m个特征的数据集D＝{(X_i,y_i)}(|D|＝n,X_i∈R^m,y_i∈R)，提升树模型对样本i通过t迭代后预测其输出

公式如下：

式中F＝{f(x)＝w_q(x)}(q:R^m→T,w∈R^T)为提升树构成的函数空间；q表示将示例映射到相应叶索引的每棵树的结构；T树上叶子的数目；每个f_k对应一棵独立树结构q以及权重w；

XGBoost的目标损失函数L主要由正则项Ω和损失函数l所组成，具体为

式中y_i和

分别为真实值和预测值，γ和λ分别为L₁和L₂的正则系数，二者共同决定提升树模型的复杂度；

XGBoost算法使用二阶泰勒展开进行近似以便优化损失函数，如下

式中

分别是损失函数的一阶和二阶导数。忽略常数项

并将第j个叶子节点样本集I_j＝{i|q(x_i)＝j}带入，可以简化为

对w_j求导计算最优权重

通过计算得到相应的最优目标函数值

通过贪心算法比较分裂增益来选择特征的切分点，设I_L和I_R是分割后左右节点的集合，则分裂增益值可以用下式表示：

Images