CN115203954A - 一种基于贝叶斯优化的多注意力融合深度残差收缩网络软测量建模方法 - Google Patents

Abstract

本发明公开了一种基于贝叶斯优化的多注意力融合深度残差收缩网络软测建模方法，首先提出一种多注意力融合的深度残差收缩网络，多注意力融合的深度残差收缩网络中的软阈值机制能够在特征提取时对原始数据中的噪声进行过滤，模型中的注意力机制也能够对全局进行更高层的特征提取，残差块的跳跃连接能够很大程度上解决深度神经网络梯度消失问题。此外，引入贝叶斯优化策略来自动搜寻和选择网络中的最优超参数，最终构建出一种软测量建模方法。该发明解决了现有技术中存在工业数据中去噪效果不明显和多模态的预测问题。

Description

一种基于贝叶斯优化的多注意力融合深度残差收缩网络软测 量建模方法

技术领域

本发明专利涉及一种软测量建模方法，在包含噪声和多模态的工业生产领域具有重要的应用前景。

背景技术

在工业生产的过程中，任何一个工业系统在经过长时间的运行后都不可避免的会出现各种状况，导致生产的波动，甚至造成重大的经济损失。有效的工业监控体系也能对质量变量进行预测，成为提高生产产量、生产效率和节能减排的一个重要手段，是实现企业可持续发展的需要，也是实现企业价值最大化的保证。然而在复杂的工业生产中，苛刻的测量环境条件和测量仪器的不完善使得质量变量的过程监控异常困难。因此引入了软测量技术。

软测量技术一般分为四步：(1)辅助变量的选择；(2)数据预处理；(3)软测量建模；(4)模型的应用与矫正，其最关键的部分是软测量建模，目前软测量建模方法主要分为三大类：第一原理模型(基于过程机理建模方法)、基于数据驱动建模方法和基于混合模型建模方法。第一原理模型是基于物理和化学的知识基础上，这种方法往往耗时并且难以获得的，在大多数的工业生产中无法使用。随着分布式控制系统(DCS)在工业上的应用，大量的历史过程数据被记录和存储并用于软测量建模。软测量建模是通过收集和分析工业现场简单容易测量的辅助变量，构建相应的质量变量的预测模型。基于数据驱动的软测量因为具有更高效、更低成本、更便捷和实时性等优越特性，所以被广泛应用在实际工业生产中。

发明内容

卷积神经网络具有局部感受野和权值共享的优势已经在软测量建模中展现了优越性，但是上述的基于卷积神经网络的软测量建模方法得到的预测暂未解决以下问题:(1)针对工业数据的特征提取过程中，部分卷积神经网络不能对全局特征进行提取，在很大程度上不能模拟整个工业状况，因此会对质量变量的预测产生较大的误差。(2)挑选的辅助变量包含各种噪声信息，以上卷积神经网络模型不能识别出这些噪声，导致训练完成的模型在工业的实际应用中预测会产生较大的误差，影响监控体系的准确性。因此，针对上述两个问题，本发明提出一种基于贝叶斯优化的多注意力融合的深度残差收缩网络软测量模型。

本发明主要包括五个部分：(1)确定输入输出变量。(2)数据预处理。(3)构建多注意力融合的深度残差收缩网络软测量模型(4)贝叶斯优化算法自动寻求网络中适合的超参数。(5)通过历史数据训练基于贝叶斯优化的多注意力融合的深度残差收缩网络。(6)通过辅助变量对关键变量进行实时预测。

(1)确定输入输出变量，在训练软测量模型时，挑选整个工业状况中与关键变量相关度较高的过程变量为辅助变量，必须满足其挑选的辅助变量能够简单并且容易测量。

(2)数据预处理，工业数据中采集到的实时数据往往由于传感器的问题，有部分数据存在异常，需要剔除异常数据和消除不同的辅助变量的量纲问题。因此在剔除异常数据后还需要进行最大最小归一化进行无量纲化操作，有助于提高软测量模型的预测性能。

(3)构建多注意融合深度残差收缩网络软测量模型，该模型主要由深度残差网络为基础网络，在每一个残差块中将软阈值函数加入到残差网络中，在“捷径”连接中进行注意力融合得到下一个残差块的输入。该阶段为本发明的重点，分为三个小部分：

1)构建残差网络。该模型由一个预处理层、三个残差模块和一个回归器构成。其中预处理层包括一个输入层、一个最大池化层和Dropout层，用一维全局平均池化层(GlobalAverage Pooling,GAP)和输出层构成了预测框架中的回归器，其代替了全连接神经网络，优势在于减少模型可训练参数的数量。原始数据经过预处理层的简单特征提取后，再在每个残差模块中通过多注意力融合方法使得模型更加关注有用信息，并且软阈值函数对残差块的输入特征进行去噪处理，最后通过回归器得到预测结果。

2)残差模块有两部分组成，一部分是软阈值函数与残差网络的结合，其中阈值通过SENet的输出得到的，第二部分是多注意力融合思想，在已有的残差网络的基础上，在每个残差块的捷径连接中添加CBAM注意力机制，通过注意力融合得到每个残差块的输出。

3)在三个残差块完成后，将最后一个残差块的输出进入到回归器中得到最终关键变量的预测结果。其中回归器就是由一个一维全局平均池化层和输出层构成，其中输出层的神经元为1。

(4)贝叶斯优化算法自动寻求网络中适合的超参数。在多注意力融合的深度残差收缩网络构建完成后，给定超参数的范围，通过贝叶斯优化算法对网络模型超参数进行自动搜索，得到最好的网络模型超参数结果，从而构建出多注意力融合的深度残差收缩网络的具体结构。基于贝叶斯优化的多注意力融合深度残差收缩网络软测量模型的流程图如图1所示。

(5)通过历史数据训练出基于贝叶斯优化的多注意力融合的深度残差收缩网络模型后，训练集用来训练该软测量模型，测试集测试该模型是否对于关键变量的预测有效，将测试数据输入到训练好的模型中得到的关键变量的预测值与真实的标签进行对比，若真实值与预测值误差较小，则证明该软测量模型较为有效。

(6)采集相关的辅助变量作为训练好的模型输入，实时对关键变量进行预测。

本发明基于贝叶斯优化的深度残差收缩网络的软测量模型详细实施步骤如下：

步骤1：确定输入输出变量，一般在工业现场软测量模型的需要的辅助变量为多个，软测量模型输出变量即为关键变量(目标变量)。实质上软测量模型是一个辅助变量与关键变量相关的复杂数学函数，假设该函数为y＝F(X)。函数中y为预测的关键变量，X则为辅助变量的向量。X＝{x₁,x₂,…x_n},其中n辅助变量的个数。

步骤2：数据预处理，现实中数据的大体都是不完整，不一致的脏数据，无法直接进行数据挖掘，因此通过数据清洗清洗异常点和错误点数据，能够大大提升预测的准确度。在本发明中通过计算每个辅助变量的样本中心，通过3σ原则对辅助变量进行筛选，由于神经网络的数值问题和求解需要，同时解决无量纲问题，往往将清洗后的数据进行全局归一化，有助于我们在训练模型时加快梯度下降的求解速度，提升模型的收敛速度。在本发明将采用最大最小归一化将数据集变为[0,1]区间之内，即归一化后数据为x′＝(x-x_min)/(x_max-x_min)。

步骤3：构建多注意融合残差收缩网络软测量模型，详细的网络模型构建分为三个步骤，其具体构建过程在步骤3.1、3.2和步骤3.3进行说明：

步骤3.1：构建残差网络，包括构建残差网络的预处理层、三个残差模块和一个回归器。预处理好的数据进入输入层，进入最大池化层将数据转化为特征图，在经过Dropout层，该层的作用是减少层与层之间神经元连接，防止模型在训练过程中发生过拟合。用一维全局平均池化层和输出层作为回归器，一维全局池化层的思想就是通过对卷积层输出的每一个通道的特征图计算一个平均值，相比于全连接层，GAP具有抑制过拟合和输入尺寸更加灵活的优势。

步骤3.2：构建残差模块。在基于贝叶斯优化的多注意力融合深度残差收缩网络软测量模型中共有三个3个模块组成，其中每个模块包含两部分：软阈值与“捷径”中的多注意力融合得到每个残差模块的最终输出。软阈值函数构建模块与注意力融合思想模块在步骤3.2.1和3.2.2进行详细说明：

步骤3.2.1：软阈值函数与残差模块的融合过程。软阈值提出最初是用来解决N维无约束优化问题，其优化目标如下：

其中X是N维优化变量，

B是给定的N维向量,

λ是惩罚参数(λ>0)。最终推导结果为：

如果将上述公式中的B视为N维变量，λ/2看做阈值，其公式等同于：

上述公式就是软阈值函数，在本发明中软阈值函数作为数据去噪的关键方法，上述公式中α为对工业数据去噪的阈值。然而对于这种方法，确定阈值是一个非常大的挑战，深度学习通过对目标函数的自动梯度下降，在本发明中自适应的确定出适合预测模型的去噪阈值。其中阈值的确定是通过SENet(Squeeze-and-Excitation Networks)的输出得到：首先将特征输入两层神经网络后得到输出，其次经过sigmoid的激活函数将结果放缩到(0,1)之间得到特征的阈值参数δ,最后将特征的平均值乘以δ得到该特征下的阈值α。公式表达为：

在该公式中W为软阈值函数在去噪过程中需要深度学习训练的参数。

步骤3.2.2：在残差模块“捷径中”构建多注意力融合，残差神经网络跳跃连接是将残差块的输入恒等映射到后面的网络中，但是残差块的输入有可能包含与预测的关键变量无关的冗余信息，这样会对预测结果产生影响。因此添加CBAM注意力机制有助于剔除捷径冗余信息，同时也能减少由于阈值过大导致的一些特征通过软阈值降噪变为0的现象。DRSN中在残差块中的主干上采用了SENet注意力结构用于计算去噪阈值，去噪后的特征图与对残差块捷径中通过注意力机制提取后的特征图相加得到最后的残差块的输出。整个残差块的结构如图2所示。CBAM的工作原理是针对残差块的输入在通道和空间上通过简单的感知机对每一个样本赋予整个网络适合的权值，权值的大小通过网络的反向传播自动调整。具体运算过程分为两部分：首先给定残差块的输入特征图F∈R^C×H×W，对F按通道进行最大池化和平均池化，将池化后的两个一维向量送入感知机运算后，将两个结果相加，生成一维通道注意力M_C∈R^C×1×1，再将通道注意力与输入特征图相乘，得到注意力调整的特征图F_C∈R^{C ×H×W}；其次将F_C在空间分别进行最大池化和平均池化，将池化后的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力M_S∈R^1×H×W,再将空间注意力与F′相乘，得到注意力提取后的特征图F_C,S∈R^C×H×W。CBAM注意力结构如图3所示。

其中CBAM注意力中的通道注意力计算的公式为:

得到通道注意力后，在计算空间注意力特征图，计算公式如下：

上述公式中F_avg为特征F经过平均池化层的结果，F_max为特征F经过最大池化层的结果，σ(·)为Sigmoid激活函数，

是特征F_C经过平均池化层的结果，

是特征F_C经过最大池化层的结果，Cov(·)为卷积操作运算，卷积运算是将结果降到一维。

步骤3.3：软测量模型构建完成后，将采集到的数据通过步骤1和步骤2的计算得到预处理的辅助变量数据，作为软测量模型的输入，在通过步骤3中步骤3.1预处理层得到模型预处理层的特征图，依次经过三个残差模块的堆叠和计算，对预处理后的数据特征图进行软阈值去噪和特征提取，最终通过回归器计算得到关键变量的输出。

步骤4：在软测量模型构建完成之后，本发明引入贝叶斯优化算法对模型中网络中的超参数在一定范围内自动寻参，得到最好的网络超参数，最终构建出多注意力融合的深度残差收缩网络的具体结构。该模块的具体实现如步骤4.1和4.2所述。

步骤4.1：通过先验概率学习一个代理模型。超参数优化问题是黑盒优化的一种应用，在本发明中将超参数优化问题定义为公式x^*＝arg max_x∈Xf(x|per)，其中x是超参数的集合X＝{p₁,p₂,p₃…,p_n},P_n代表超参数集合x中第n个超参数，f(x|per)是优化目标，即在工业预测模型中超参数与目标的隐性函数，在本发明中，将R²作为目标值，x^*为寻求超参数的一组最优解。在本发明中代理模型采用高斯代理模型(Surrogate Model)，因为高斯代理模型是一个非常高效的代理模型。

步骤4.2：通过采集函数决定下一次的采集点。给定先验分布和观察数据，得到后验分布，再通过采集函数(Acquisition Function)决定下一次的采集点，得到最优超参数的集合。上述的采集函数选择上置信边界函数(Upperconfidencebound,UCB)。AC_UCB(x)＝μ(x)+kσ(x)，该函数较为简单，且平衡了深度和宽度之间的关系，k为调节因子，同时考虑预测的大小以及未探索区域。最终得到适合实际的工业数据的超参数组合，下表定义了需要自动寻参的超参数列表。

步骤5：训练基于贝叶斯优化的多注意力融合深度残差收缩网络，本发明在软测量模型构建完成之后，将步骤1和步骤2处理好的训练数据输入到软测量模型中，根据贝叶斯优化算法得到超参数组合并使用BP算法随机梯度下降进行权值的更新，直至梯度收敛为止，此时的网络中的权重即本发明软测量模型中的最合适权重。其权重更新公式如下：

(Lr为神经网络的学习率)，根据损失函数Loss进行梯度下降，找到合适的权重参数。其损失函数如下：

其中：Y_real为数据的标签，Y_pre为模型的输出值。

步骤6：模型有效性验证，将整个软测量模型训练完成后，并将模型各部分的参数保存下来。将提前处理好的测试数据通过该模型进行前向传播，得到预测值y_pre。通过指标RMSE、MSE、MAE、R²、调整后的可决系数(AdjR²)和CV用于评价本发明的性能。其各公式定义如下：

式中Y_real、Y_pre分别为标签值和预测输出值。较小的RMSE往往表示更好的预测性能。

决定系数R²反应模型的可靠性，Y_mean为测试数据输出值的均值，R²越大表明软测量模型具有较好的预测性能。

上述公式中n为样本总数，Y_i为第i个样本的预测值，

为第i个样本的预测值，

为真实数据的平均值，k为自变量的数量，对于一个预测模型，较小的MSE、RMSE、CV和较大的R2是最可靠的。

附图说明

图1是本发明中基于贝叶斯优化的多注意力融合深度残差收缩网络软测量模型的流程图

图2是本发明中残差块的具体结构图

图3是本发明中CBAM注意力结构图

图4是本发明实施案例中火力发电工业流程图

图5是本发明实施案例中在火力发电中软测量模型与传统建模方法对比图

图6是本发明实施案例中在火力发电中软测量模型预测结果误差分布图

图7是本发明实施案例中脱丁烷塔工业流程图

图8是本发明实施案例中在脱丁烷塔中软测量模型与传统建模方法对比图

图9是本发明中实施案例中在脱丁烷塔中软测量建模与传统建模方法对比图

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明的软测量建模方法主要应用于火力发电中工业蒸汽量预测和石油精炼中脱丁烷塔的丁烷含量预测。现分别对这两个工业过程软测量建模展开叙述：

火力发电是生产和生活用电的主要来源。火力发电的流程是原料加热产生的水蒸气促使汽轮机旋转，进而产生电能。因此蒸汽量是发电厂的监控的重要指标，直接影响着产生电能的多少。图4给出了发电厂工业流程图，面对发电厂复杂的工艺流程，蒸汽量的直接测量成为了一大难题，唯一的直接测量方法采用蒸汽流量计来测量，但因其测量环境的限制导致测量结果不准确。传统的方法是根据人工经验和理论知识分析得到，这种方法需要耗费大量的时间成本和需要专业的工程师，增加企业成本。利用软测量技术可以间接得到蒸汽量的值，本文将基于贝叶斯优化的多注意力融合深度残差收缩网络作为软测量模型应用到发电厂的实际工业场现场。

选取该生产环境下的25个相关辅助变量，其中包括V0:锅炉床压V1:锅炉床温V2:给水水量V3:返料风V4:二次给风量V5:炉膛温度V6:过热器温度V7:炉膛压力等等。选好辅助变量以后，下一步就开始建立基于贝叶斯优化的多注意融合深度残差收缩网络软测量模型，通过收集2886条的历史数据经过预处理后训练软测量模型，其中软测量模型中的贝叶斯搜索的参数表中所示。

将289个测试数据输入训练完成的软测量模型得到预测值，其模型预测值与标签值进行对比在测试集中评价指标MSE＝0.003,RMSE＝0.062,R²(ad)＝0.890,CV＝10％.本发明也与传统的PLSR、SVM、NN、CNN、CNN_(CBAM)方法进行了对比。结果如图5所示，可以看出该方法在模型构建相比于传统方法，提高了预测能力。图6也给出该软测量模型预测结果的误差分布，可以看出误差基本大多数在0左右，且大多数服从正态分布。综上所述本发明提供软测量模型能够在火力发电上有着较好的应用。

在工业石油精炼厂中，脱丁烷塔是任何炼油厂不可分割的一部分。炼油厂的原料是原油，通过脱丁烷塔的装置，主要能够生产出液化石油气给生活带来极大便利。图7为脱丁烷塔的工业流程图，因此，丁烷的含量代表着脱丁烷塔控制水平，丁烷的浓度不是直接在脱丁烷塔中测量，而是由气相色谱仪进行分析得到的，会造成较大的测量延迟和成本代价。脱丁烷塔的工业过程也是高度非线性的。因此本发明中的建模方法也是对于此工业过程也同样适用。本发明选取石油精炼过程中7个简单易测变量为辅助变量，但考虑采集时间的滞后性，因此采用增广变量用于软测量建模。其增广变量如下：

其中u₁为脱丁烷塔的塔顶温度，u₂为脱丁烷塔的塔顶压强，u₃为回流流量，u₄为下一过程的流量，u₅为塔底温度，u₆为底部温度A，u₇为底部温度B，K为采集时间点。

丁烷含量为关键变量即为模型预测变量，建立基于贝叶斯优化的多注意力融合的深度残差收缩网络软测量模型。在试验阶段，收集数据2390个样本数据，对原始数据进行扩充和归一化等数据预处理。1000条用于软测量的模型训练，将剩余数据输入训练好的模型中得到丁烷预测值，其中针对脱丁烷塔的软测量模型中的贝叶斯搜索的参数表中所示。

从图中发现预测结果与标签基本吻合。经过验证，在测试集该软测量模型MSE＝0.0001，RMSE＝0.012,R²(ad)＝0.995,CV＝4.5％。证明能够达到该模型可以用于石油精炼的脱丁烷塔丁烷含量预测。本发明也与传统的PLSR、SVM、NN、CNN、CNN_(CBAM)方法在该工业数据中进行了对比。结果如图8所示，可以看出该方法在模型构建相比于传统方法，提高了预测能力。图9也给出该软测量模型预测结果的误差分布，可以看出误差基本大多数在0左右，且大多数服从正态分布。综上所述本发明提供软测量模型能够在脱丁烷塔工业应用中上有较小的误差。

Claims (1)

1.一种基于贝叶的软测量建模方法，用于复杂工业过程中预测部分难以直接测量的关键变量，其特征在于：

步骤1：确定输入输出变量，假设该软测量模型为y＝F(x)，函数中y为预测的目标变量，x则为辅助变量，x＝{x₁,x₂,…,x_n},其中n辅助变量的个数；

步骤2：数据预处理，通过计算每个辅助变量的样本中心，通过3σ原则对辅助变量进行筛选，将清洗后的数据进行全局归一化，采用最大最小归一化将数据集变为[0,1]区间之内，即归一化后数据为x′＝(x-x_min)/(x_max-x_min)；

步骤3：构建多注意融合残差收缩网络软测量模型，详细的网络模型构建分为三个步骤，其具体构建过程在步骤3.1、3.2和步骤3.3进行说明：

步骤3.1：构建残差网络，包括构建残差网络的预处理层、三个残差模块和一个回归器，预处理层包含输入层、最大池化层和Dropout层，用一维全局平均池化层和输出层作为回归器；

步骤3.2：构建残差模块，其中每个模块包含两部分：软阈值与“捷径”中的多注意力融合得到每个残差模块的最终输出，软阈值函数构建模块与注意力融合思想模块在步骤3.2.1和3.2.2进行详细说明：

步骤3.2.1：软阈值函数与残差模块的融合过程，通过软阈值函数在残差网络中对特征进行去噪处理，软阈值函数公式如下：

其中公式中的B视为N维变量，α为对工业数据去噪的阈值，深度学习通过对目标函数的自动梯度下降自适应的确定出适合预测模型的去噪阈值，阈值的确定是通过SENet的输出得到的，首先将特征输入两层神经网络后得到输出，其次经过sigmoid的激活函数将结果放缩到(0,1)之间得到特征的阈值参数δ,最后将特征的平均值乘以δ得到该特征下的阈值α，公式变达为：

W为软阈值函数在去噪过程中需要深度学习训练的参数；

步骤3.2.2：在残差模块“捷径中”构建多注意力融合，在残差模块的“捷径”中添加CBAM注意力机制，首先给定残差块的输入特征图F∈R^C×H×W，对F按通道进行最大池化和平均池化，将池化后的两个一维向量送入感知机运算后，将两个结果相加，生成一维通道注意力M_C∈R^C×1×1，再将通道注意力与输入特征图相乘，得到注意力调整的特征图F_C∈R^C×H×W；其次将F_C在空间分别进行最大池化和平均池化，将池化后的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力M_S∈R^1×H×W,再将空间注意力与F′相乘，得到注意力提取后的特征图，得到的特征图与软阈值去噪后的特征图相加得到残差块的输出，其中CBAM注意力中的通道注意力计算的公式为:

得到通道注意力后，在计算空间注意力特征图，计算公式如下：

上述公式中F_avg为特征F经过平均池化层的结果，F_max为特征F经过最大池化层的结果，σ(·)为Sigmoid激活函数，

是特征F_C经过平均池化层的结果，

是特征F_C经过最大池化层的结果，Cov(·)为卷积操作运算，卷积运算是将结果降到一维；

步骤3.3：软测量模型构建完成后，将采集到的数据通过步骤1和步骤2的计算，在通过步骤3中步骤3.1预处理层得到模型预处理层的特征图，依次经过三个残差模块的堆叠和计算，通过回归器计算得到关键变量的输出；

步骤4：接下来对构建好的软测量模型引入贝叶斯优化算法对模型中网络中的超参数在一定范围内自动寻参，得到最好的网络超参数，最终构建出多注意力融合的深度残差收缩网络的具体结构，该模块的具体实现如步骤4.1和4.2所述；

步骤4.1：通过先验概率学习一个代理模型，f(x|per)是优化目标，即在工业预测模型中超参数与目标的隐性函数，将R²作为目标值，x^*为寻求超参数的一组最优解，采用高斯代理模型；

步骤4.2：通过采集函数决定下一次的采集点，给定先验分布和观察数据，得到后验分布，再通过采集函数决定下一次的采集点，得到最优超参数的集合，采集函数为：AC_UCB(x)＝μ(x)+kσ(x)，k为调节因子，同时考虑预测的大小以及未探索区域，需要自动寻参的超参数为：

步骤5：训练基于贝叶斯优化的多注意力融合深度残差收缩网络，根据贝叶斯优化算法得到超参数组合并使用BP算法随机梯度下降进行权值的更新，直至梯度收敛为止；

步骤6：模型有效性验证，通过测试集得到预测值y_pre，通过指标RMSE、MSE、MAE、R²、调整后的可决系数(AdjR²)和CV用于性能评价，并将其运用到火力发电的蒸汽量预测和脱丁烷塔的丁烷预测实际工况中。

Images