CN113485261A - 一种基于CAEs-ACNN的软测量建模方法 - Google Patents

Abstract

本发明提供了一种结合堆叠卷积自编码器和注意力机制的卷积神经网络的深度学习软测量模型(CAEs‑ACNN)。首先分别构建无监督的卷积自编码器和具有卷积注意力模块用来共同提取数据的深层特征，其次再将提取出的数据特征分别输入相应的回归器得到对应的输出值，最后通过两个输出值求平均得到整体模型(CAEs‑ACNN)的关键变量的预测值。该发明解决了复杂工业过程中关键变量难以测量的问题，用软件的方法代替硬件，节省了生产成本，并且该发明相比于传统的软测量建模方法预测性能有显著提升。该发明通过蒸汽火力发电和石油精炼的脱丁烷塔两个工业过程验证本发明的有效性，证明本发明能够很好的适用于复杂的工业过程关键变量难以测量的场景。

Description

一种基于CAEs-ACNN的软测量建模方法

技术领域

本发明专利涉及一种软测量建模方法，在工业生产领域具有重要的应用前景。

背景技术

为了降低生产成本、监测生产过程状态和提高生产效率，监测关键变量成为优化工业生产过程中关键一步。由于测量技术的不完备和测量仪器的不够可靠使得部分关键变量的值难以获得，因此引入了软测量技术。软测量技术是一种以容易测量的简单变量为输入，难以测量或者无法测量的变量为输出的数学模型。软测量技术实质是用软件方式代替硬件仪器，从而达到在监控关键变量过程中减少对测量设备的需求，提高系统的可靠性。

软测量技术一般分为四步：(1)辅助变量的选择；(2)数据预处理；(3)软测量建模；(4)模型的应用与矫正，其最关键的部分是软测量建模，目前软测量建模方法主要分为三大类：第一原理模型(基于过程机理建模方法)、基于数据驱动建模方法和基于混合模型建模方法。第一原理模型是基于物理和化学的知识基础上，这种方法往往耗时并且难以获得的，在大多数的工业生产中无法使用。随着分布式控制系统(DCS)在工业上的应用，大量的数据被记录和存储，这些大量数据使得基于数据驱动的软测量建模方法在工业应用里变成了现实。基于数据驱动的软测量预测模型不需要太多的先验知识和操作的经验，只需要大量的历史数据，因此基于数据驱动的软测量受欢迎程度大大增加。基于混合建模方法是结合过程机理建模和数据驱动建模的方法。现代工业变得越来越复杂，其工厂产生的数据丰富但信息贫乏。因此用工厂收集的数据直接建模对工业复杂系统表达不足。

深度学习是机器学习的一种，而机器学习是实现人工智能的必经途径。深度学习的神经网络层数多，宽度广，在理论上可以拟合任何函数，因此能够解决很复杂的非线性问题。在工业软测量建模过程中，深度学习近几年也被引入进来。通过深度学习的算法来提取数据的深层特征，能够将复杂的工业系统充分表达。

发明内容

尽管深度学习已经在软测量建模中体现了其优越性，但存在以下问题：(1)深度学习中无监督的学习虽然能够保证提取数据的深层特征，但无法保证学习到的特征与关键变量具有相关性。(2)由于深度学习部分算法的局限性无法在工业数据上能够有较好的预测精度。(3)深层次的深度学习模型具有较大的参数，在模型学习的过程中消耗很大的空间和时间资源。

为了克服以上问题，本发明提出的一种将无监督学习的卷积自编码器与有监督的注意力机制的卷积神经网络结合(CAEs-ACNN)的软测量模型。本发明主要包括五个部分：(1)确定输入输出变量。(2)数据预处理。(3)构建CAEs-ACNN软测量模型，包括构建用于特征提取的卷积自编码器，并生成堆叠卷积自编码器。将堆叠卷积自编码器提取的深层特征输入到回归器为全连接神经网络得到CAEs模型,并得到预测值1。利用卷积注意力模块确定原始数据与标签之间的权重，并将点到点的卷积注意力模块(CBAM)嵌入到卷积神经网络中，并得到预测值2，利用两种模型所得预测值的平均值作为本发明提出的CAEs-ACNN的最终预测值。(4)训练CAEs-ACNN软测量模型。(5)CAEs-ACNN软测量模型有效性验证。下面分别介绍以上五个部分的内容：

1、确定输入输出变量，在训练CAEs-ACNN软测量模型时，需要的输入变量就是软测量建模时的辅助变量，输出变量就是软测量模型最终的关键变量(目标变量)。辅助变量则为在工业生产过程中与最终关键变量相关并且简单易测。

2、数据预处理，工业数据中采集到的实时数据往往具有噪声，甚至包括异常数据，这些数据样本会对模型训练产生较大的影响。因此在训练软测量模型之前，通过部分方法将数据进行简单处理并将数据归一化，有助于提高模型的预测性能。

3、构建CAEs-ACNN软测量模型，主要构建该模型的结构，该模性主要由特征提取和回归器构成。在特征提取阶段由两部分组成，分别为无监督的堆叠卷积自编码器和有监督的带注意力机制的卷积神经网络。其回归器都为全连接神经网络。该阶段为本发明的重点，分为四个小部分：

(1)构建卷积自编码器，并将多个卷积自编码器进行堆叠形成堆叠卷积自编码器(CAEs)。卷积自编码器与自编码器的训练过程一样。首先通过编码器学习数据的浅层数据特征，再通过解码器进行解码。

(2)通过堆叠卷积自编码(CAEs)先编码再解码无监督方式提取原始数据的深层特征，将提取到的深层数据特征作为预先构建好的全连接神经网络(回归器)的输入，得到输出值1。

(3)仿照人类视觉对事物的观察模式，在神经网络中加入注意力模块，能够有效提升目标变量的预测性能。卷积注意力模块是从空间和通道两个方面共同加入注意力机制。将卷积注意力模块嵌入卷积神经网络中形成具有注意力机制的神经网络(ACNN)，并得到预测值2。

(4)无监督得到的预测值1和有监督得到的预测值2共同作用于最终需要的预测值Y_pre，即Y_pre为两个预测值的平均值。

4、训练CAEs-ACNN软测量模型。在模型结构构建完成之后，通过大量的历史数据训练该模型各部分的参数，直至模型的性能最好为止，确定其模型各部分网络中的权重。至此模型训练完成，训练好的模型可以用于新数据样本对于关键变量的预测。

5、CAEs-ACNN模型有效性的验证。通过对真实工业现场采集得到的数据集预处理之后的数据集进行训练集和测试集的划分。训练集用来训练该软测量模型，测试集测试该模型是否对于关键变量的预测有效，即将测试数据输入到训练好的模型中得到的关键变量的预测值与真实的标签进行对比，若真实值与预测值误差较小，则证明该软测量模型较为有效，能够在工业生产中具有实用意义。

本发明基于CCAEs-ACNN软测量模型详细实施步骤如下：

步骤1：确定输入输出变量，一般软测量模型的辅助变量为多个，输出变量即为关键变量(目标变量)。本质上软测量模型CAEs-ACNN为一个辅助变量与关键变量的数学函数，假设该函数为y＝F(x)。函数中y为预测的关键变量，x则为辅助变量。x＝{x₁,x₂,…x_n},其中n辅助变量的个数。

步骤2：数据预处理，现实中数据的大体都是不完整，不一致的脏数据，无法直接进行数据挖掘，因此通过数据清洗清洗异常点和错误点数据，能够大大提升预测的准确度。由于神经网络的数值问题和求解需要，往往将清洗后的数据进行全局归一化，有助于我们在训练模型时加快梯度下降的求解速度，提升模型的收敛速度。在本发明将采用最大最小归一化将数据集变为[0,1]区间之内，即归一化后数据为x'＝(x-x_min)/(x_max-x_min)。

步骤3：构建CAEs-ACNN软测模型，首先通过步骤3.1构建无监督的堆叠卷积自编码器模型得到预测值1，其次通过步骤3.2构建有监督的注意力机制的卷积神经网络，得到预测值2，最终步骤3.3通过无监督的预测值1和有监督的预测值2平均值得到该软测量模型的最终预测值y_pre。步骤3.1、3.2和3.3详细描述如下：

步骤3.1：构建卷积自编码器，并通过步骤3.1.1、3.1.2形成堆叠自编码器，之后转入步骤2。假设D＝{x_(t),y_(t)},t＝1,2,3....k，x为软测量建模选择的辅助变量，y为需要预测的关键变量，其中t为数据样本的数目。步骤3.1.1和3.1.2详细描述如下：

步骤3.1.1：设编码器有s个卷积核，其每个卷积核都有参数W^s，b^s，则编码器的输出值为h^s＝f(x*W^s+b^s)。式中：f为Relu激活函数；*表示2D卷积。将编码器的输出值通过卷积解码器进行重构，得到重构操作，得到卷积自编码器的输出为y＝f(∑_h∈sh^s*W^s+c)。式中：f为Relu激活函数；*表示2D卷积；y为重构数据；c为偏置。将输入的样本数据通过卷积自编码器进行特征重构，利用最小重构误差

通过BP算法进行参数更新。其一个卷积自编码器结构图如图1所示。

步骤3.1.2：将步骤3.1.1构建的卷积自编码器进行深层堆叠形成堆叠自编码器，通过原始数据通过第一个卷积自编码器进行深层特征提取后，将第一个卷积自编码器的输出作为第二个卷积自编码器的输入，以此类推直至到最后一个卷积自编码器。其堆叠卷积自编码器的结构如图2。经过多层卷积自编码器提取数据深层特征，再经过简单全连接网络得到预测值y1＝NN(y_ACEs)

步骤3.2：构建注意力机制卷积神经网络，本专利采用注意力机制中的卷积块注意模块，该模块包括两个部分，分别是通道注意力和空间注意力，通过步骤3.2.1和3.2.2分别构建通道注意力和空间注意力，形成卷积块注意力模块，通过步骤3.2.3将卷积注意力模块嵌入到卷积神经网络中，形成注意力机制卷积神经网络，从而通过注意力机制的卷积神经网络得到预测值2。详细叙述步骤3.2.1、3.2.2和3.2.3。

步骤3.2.1：构建通道注意力机制，具体过程如下：首先将输入数据经过maxpool和avgpool进行全局池化，之后使用2个全连接层对池化后进行特征提取，经过激活后将提取后的值重新连接作为输入权重与输入值进行内积计算，得到SpatialAttention的输入值进行SpatialAttention操作，该操作输出为通道注意力机制对原始数据改进后的特征，计算输出权重公式如下：

其中M_C(F)是通道注意力操作改进的特征；σ是Sigmoid激活函数；MLP：多层感知器；W₀，W₁是感知器的权重，其通道注意力模块网络结构如图3所示。

步骤3.2.2：构建空间注意力机制，将通道注意力的计算输出特征值作为本模块的输入值，再将maxpool和avgpool在空间的维度上做池化计算，结果用concat进行连接。通过一个卷积层将维度降为1进行激活，将权重维度和本模型的输入做乘法计算，得到了最终卷积块注意力模块的输出值，其空间注意力机制操作的输出计算公式如下：

其中M_s(F)是Spatial Attention操作得到的输出特征；σ是Sigmoid激活函数；Cov^{kernelsize(n)}是用n×n的卷积核做卷积运算，其中n一般取{1，3，5，7}，其空间注意力模块网络结构如图4所示。

步骤3.2.3：结合空间注意力机制和通道注意力机制形成的卷积块注意力模块(CBAM)对原始数据的本质并没有什么改变，但会通过这样的注意力机制使得在整个卷积神经网络(ACNN)在训练中能够具有更好的拟和能力，提升模型的整体性能。其ACNN的结构图如图5所示。其卷积注意力模块的输出为y_CBAM＝M_s(F)×M_c(F),则注意力卷积神经网络得到的预测值y2＝CNN(y_CBAM)。

步骤3.3：无监督的深度学习模型堆叠卷积自编码器得到预测值y1与有监督的深度学习模型注意力卷积神经网络得到的预测值y2求平均值共同得到本发明的软测量模型ACEs-ACNN的最终预测值y_pre。其计算公式如下：

该发明整体框架图如图6所示，整体包括四部分：输入、特征提取、回归器和输出。

步骤4：训练本发明中模型ACEs-ACNN。本发明主要由两部分构成，分别为堆叠卷积自编码器和具有注意力机制的卷积神经网络。其训练也分为两部分，通过步骤4.1和步骤4.2完成。步骤4.1和4.2详细叙述如下：

步骤4.1：训练堆叠卷积自编码器，本发明采取分层训练的方式，即对于每一个卷积自编码器通过最小重构误差进行训练，通过网格搜素确定合适的学习率并使用BP算法随机梯度下降进行参数的更新，直至梯度收敛为止，此时的网络中的权重即本发明软测量模型中的最合适权重。其权重更新公式如下：

(α为神经网络的学习率)，回归器采用3层全连接神经网络，确定每层神经元个数及网络的学习率根据损失函数Loss进行梯度下降，找到合适的权重参数。其损失函数如下：

其中：Y_real为数据的标签，Y₁为未训练模型的输出值。

步骤4.2：训练注意力机制的卷积神经网络，本发明使用的卷积块注意力模块是个点对点的结构，因此可以嵌入到卷积神经网络中与卷积神经网络一起训练，损失函数使用均方误差损失函数(MSE),通过梯度下降进行更新参数。

步骤5：模型有效性验证，将整个软测量模型训练完成后，并将模型各部分的参数保存下来。将测试数据通过该模型进行前向传播，得到预测值y_pre。通过指标RMSE、MSE、MAE和R²用于评价本发明的性能。其各公式定义如下：

式中Y_real、Y_pre分别为标签值和预测输出值。较小的RMSE往往表示更好的预测性能。

决定系数R²反应模型的可靠性，Y_mean为测试数据输出值的均值，R²越大表明软测量模型具有较好的预测性能。

本发明专利提出了一种基于CAEs-ACNN的软测量建模方法，该方法使用深度学习技术，通过构建无监督的堆叠卷积自编码器，卷积的连接方式使得模型参数更少训练时间更短，通过多个卷积自编码器贪婪无监督的学习得到数据深层特征。这种方法相对于以往的随机化初始权值得到的深度学习模型更加准确并且降低了模型的时间复杂度和空间复杂度。其次采用卷积块注意模块，其注意力模型的有监督的学习得到的结果弥补卷积自编码器无监督的缺陷，进一步提升整体模型的预测性能。通过两个深度学习模型的结合，既能挖掘数据的深层特征有保证预测结果更加可靠、精确。该发明能够适用于较为复杂的非线性工业生产系统中。

附图说明

图1是本发明中卷积自编码器网络结构图

图2是本发明中堆叠卷积自编码器(CAEs)网络结构图

图3是本发明中通道注意力网络结构图

图4是本发明中空间注意力网络结构图

图5是本发明中ACNN模型网络结构图

图6是本发明CAEs-ACNN软测量模型整体结构图

图7是本发明实施案例中火力发电蒸汽量预测的实验结果图

图8是本发明中蒸汽量预测CAEs-ACNN建模方法与传统建模方法对比图

图9是本发明实施案例中石油精炼脱丁烷塔丁烷含量预测的实验结果图

图10是本发明丁烷含量预测CAEs-ACNN建模方法与传统建模方法对比图

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明针对火力发电中工业蒸汽量预测和石油精炼中脱丁烷塔的丁烷含量进行软测量建模，现分别对这两个工业过程软测量建模展开叙述：

火力发电是生产和生活用电的主要来源。火力发电的流程是原料加热产生的水蒸气促使汽轮机旋转，产生电能。蒸汽量的多少在很大一部分决定了发电量的多少。面对复杂的工艺流程，主要的问题是如何找到最优参数，传统的方法是根据人工经验和理论知识，在这其中会耗费大量的时间成本和需要专业的工程师，增加了企业的成本。因此，如果能够通过合适建模方法预测蒸汽量，可以根据数据对生产环境进行调整从而获得更多的蒸汽量。

选取该生产环境下的25个相关辅助变量，其中包括V0:锅炉床压V1:锅炉床温V2:给水水量V3:返料风V4:二次给风量V5:炉膛温度V6:过热器温度V7:炉膛压力等等。选好辅助变量以后，下一步就开始建立软测量模型，工业蒸汽生产的过程具有高度复杂和非线性的特点，导致以往传统建模方法无法准确建模。因此，采用本发明中CAEs-ACNN的软测量模型。通过收集2308的历史数据经过预处理后利用CAEs-ACNN构建该软测量模型，并通过训练得到合适的模型参数。将578个测试数据输入训练完成的CAEs-ACNN软测量模型得到预测值，其模型预测值与标签值进行对比，对比效果如图7所示。由图7可以看出大部分数据的预测较为准确。经过工业现场实际应用验证，该软测量模型能较好满足火力发电工业控制的实际需要。

接下来对比该CAEs-ACNN软测量建模方法与传统的SVM、SAE-NN、CNN、NN和CAEs-NN的方法的优势。通过其RMSE、MSE、MAE和R²进行对比，结果如图8所示。可以看出该方法在模型构建相比于传统方法，提高的预测能力。

在工业石油精炼厂中，脱丁烷塔是任何炼油厂不可分割的一部分。炼油厂的原料是原油，通过脱丁烷塔的装置，主要能够生产出液化石油气给生活带来极大便利。因此，丁烷的含量代表着脱丁烷塔控制水平，丁烷的浓度不是直接在脱丁烷塔中测量，而是由气相色谱仪进行分析得到的，会造成较大的测量延迟和成本代价。脱丁烷塔的工业过程也是高度非线性的。因此本发明中的建模方法也是对于此工业过程也同样适用。本发明选取石油精炼过程中7个简单易测变量为辅助变量，但考虑采集时间的滞后性，因此采用增广变量用于软测量建模。其增广变量如下：

其中u₁为脱丁烷塔的塔顶温度，u₂为脱丁烷塔的塔顶压强，u₃为回流流量，u₄为下一过程的流量，u₅为塔底温度，u₆为底部温度A，u₇为底部温度B，K为采集时间点。

丁烷含量为关键变量即为模型预测变量，建立CAEs-ACNN软测量模型。在试验阶段，收集数据2390个样本数据，对原始数据进行扩充和归一化等数据预处理。1000条用于CAEs-ACNN软测量的模型训练，将剩余数据输入训练好的模型中得到丁烷预测值，对比结果如图9所示。从图中发现预测结果与标签基本吻合。经过验证，该模型可以用于石油精炼的脱丁烷塔丁烷含量预测。

通过该模型结果的RMSE、MSE、MAE和R²与传统建模方法SVM、SAE-NN、CNN、可变权重堆叠自编码器(VWSAE)、SQAE进行对比，并且通过与CAEs-NN对比证明了该模型的有效性及合理性，其对比图如图10所示。

Claims (4)

1.一种基于CAEs-ACNN的软测量建模方法，主要用于复杂工业过程中预测部分难以直接测量的关键变量，其特征在于：在构建软测量模型时采用了深度学习算法提取数据特征。即在该建模方法中采用了卷积自编码器和注意力机制。

2.如权力要求书1所述的一种基于CAEs-ACNN的软测量建模方法，其特征1是利用深度学习中无监督的自编码器思想并发挥卷积的权值共享和局部感受野的优势，构建适合提取辅助变量(简单易测变量)构成的原始数据中数据深层特征的卷积自编码器。在此基础上将构建好的卷积自编码器进行深层堆叠，形成堆叠卷积自编码器。通过大量历史数据的最小重构误差进行反向传播训练该模性的参数。堆叠卷积自编码器训练完成后接简单的全连接网络做回归器得到其结果。

3.如权力要求书1所述的一种基于CAEs-ACNN的软测量建模方法，其特征2是采用卷积块注意力模块(CBAM)。该特征通过在空间和通道上做注意力，并将其构建好的卷积块注意力模块镶嵌到有监督的卷积神经网络中，形成ACNN。通过工业现场收集到的历史数据对ACNN进行训练。该方法有效能够有效的提升本末想在工业过程中预测关键变量的能力。

4.本发明中一种基于CAEs-ACNN的软测量建模方法，将无监督的堆叠卷积自编码和带有注意力机制的卷积神经网络有效的结合在一起，用有监督的注意力卷积神经网络弥补无监督堆叠自编码器的缺点。使用如权利要求书中2、3的建模方法，将两者输出的平均值作为本发明中软测量建模方法的最终输出值。这种方法保证原始数据的深层数据特征被充分挖掘又提升了整体模型的预测结果。

Images