CN116483036B - 一种基于Transformer的自编码器软测量建模方法 - Google Patents

Abstract

工业过程是个复杂的系统，工业过程数据有强非线性、噪声、标签数据有限等问题，自编码器等方法不能很好地从这些数据中提取有效的特征表示，模型的预测性能有待提升。本发明公开了一种基于Transformer的自编码器软测建模方法。该方法包含两个子模型——重构模型和回归模型。在重构模型中，将具有强大非线性全局特征提取能力和抗噪声干扰能力的Transformer引入自编码器中来获取更有效的特征表示，同时引入无监督学习帮助模型从无标签数据中学习信息来提高模型提取特征表示的能力。重构模型提取到的特征表示输入回归模型预测结果。在一个工业实例上的实验验证了本发明能够提取比其他方法更有效的特征表示，预测性能有所提升，对监控优化工业生产具有指导意义。

Description

一种基于Transformer的自编码器软测量建模方法

技术领域

本发明涉及一种软测量建模方法，该方法在工业生产及控制领域具有重要的应用和推广价值。

背景技术

在工业生产过程中，实时监测关键质量变量对监控、指导和优化生产活动有重要的意义。然而，由于所处生产环境恶劣、测量仪器昂贵等原因，一些关键质量变量并不容易获得。且一些关键质量变量的检测具有采样周期长、高延迟的特点，测量数据存在滞后性，严重限制生产水平的进一步提高。软测量技术仅仅依赖易获得的辅助变量间接获得关键质量变量的数值，为工业过程中关键质量变量的监测提供了一种新的途径。软测量技术通过将数据分析与系统辨识技术相结合，来构建难测变量的预测模型，最终达到代替硬件仪表测量的目的。如果建立的软测量模型准确可靠，不仅可以实现关键变量的准确测量，避免昂贵的硬件设备的投入，还能够大幅提高工业生产过程的控制水平。

基于过程机理的软测量建模方法和基于数据驱动的软测量建模方法是软测量建模中常用的两种方法。基于过程机理建模的方法基于生产过程的内部机理建模。该方法通常根据能量守恒定律、动力学以及物料平衡等化学、物理定律，建立描述生产过程信息的模型，由此反映过程变量之间的内在关联。但是，要想建立准确的机理驱动模型，需要对过程的内部机理有非常系统、深入的了解。然而，对于复杂的工业生产过程，精确的机理模型往往很难建立。特别是当模型变得复杂时，就更加难以实现，同时模型的精度也无法得到保证。这极大地限制了机理建模方法在工业生产过程中的推广使用。相比于机理建模方法，数据驱动建模方法不需要了解详细的生产过程的内部机理，只需要收集来自真实场景的过程变量数据就可以实现，因此成为了一种工业生产过程中常用的软测量建模方法，得到了越来越多的应用。

近年来，深度学习技术凭借强大的复杂系统表示能力和对大量数据的处理能力成为了基于数据驱动的软测量建模常用的方法之一。常用的方法包括自编码器、深度信念网络、卷积神经网络等。但是工业过程是个复杂的系统，具有强非线性、高噪声以及标签数据有限等特点。传统的方法对工业系统的表示能力不足，不能很好地从这些数据中提取有效的特征表示，模型的预测性能有待提升。

发明内容

为了解决复杂工业系统数据具有强非线性、噪声的特性和标签数据有限的问题，本发明提出一种基于Transformer和自编码器提取特征表示的软测量建模方法，通过结合Transformer和自编码器发明了一种新的软测量方法Transformer-AE，该方法同时具备Transformer和自编码器的优点，具有强大的非线性全局特征提取能力、抗噪声干扰能力以及无标签数据的利用能力。

本发明主要包括六个部分：(1)获取数据并进行数据预处理；(2)建立子模型1——重构模型；(3)训练子模型1——重构模型；(4)建立子模型2——回归模型；(5)训练子模型2——回归模型；(6)验证本发明提出的模型性能。下面分别介绍以上六个部分的内容：

1、获取数据并进行数据预处理。从现场采集一段时间的历史数据。以火力发电过程中的蒸汽量数据为例，采集的数据包括燃烧给量，给水水量，锅炉床温、床压等38个辅助变量数据和蒸汽量数据。由于数据量纲不一使得模型的学习效果不是特别好，需要通过最大最小归一化操作对数据进行预处理，来统一量纲。由于数据的顺序对模型性能也有影响，需要打乱数据，对数据进行随机化处理。为了训练模型具有从无标签数据中学习信息的能力，模型的训练数据中需要包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息。

2、建立子模型1——重构模型。重构模型以全部训练集数据的辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据。重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器。编码器接收输入数据，经过升维、位置编码和Transformer编码器和降维的操作后得到数据的有效特征表示。解码器接收由编码器输出的特征表示，对特征表示进行解码得到重构的输入数据。

3、训练子模型1——重构模型。在训练重构模型的过程中，为了充分利用有标签数据的标签信息，让这部分数据的标签参与模型的训练过程中，通过相关性系数计算能得到不同辅助变量对标签数据的影响程度。将这种不同变量对标签数据有不同影响的思想引入重构模型的损失函数设计中。

4、建立子模型2——回归模型。回归模型以有标签数据的辅助变量特征表示作为输入，输出预测的蒸汽量数据。回归模型是一个多层感知机结构。

5、训练子模型2——回归模型。在训练回归模型的过程中，以均方误差作为损失函数，优化模型参数。

6、验证模型性能。把工业过程中的真实数据输入训练好的模型预测结果，模型的预测评价指标采用均方误差MSE、均方根误差RMSE和平均绝对误差MAE，MSE、RMSE和MAE的值越小，表示模型的预测精度越高。

本发明所采用的技术方案的详细实施步骤如下：

步骤1：获取数据并进行数据预处理。获取工业系统中的历史数据，由于这些数据量纲不一使得模型的学习效果不是特别好，以及这些数据的顺序具有一定的规律会影响模型的预测性能。通过步骤1.1和步骤1.2对数据进行最大最小归一化和随机化的预处理操作。为了训练模型获得从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，步骤1.3进行数据集的划分。

步骤1.1：对所有变量的数据进行最大最小归一化操作，将全部变量的数据范围统一起来，具体方法如下：

其中max和min分别表示某变量的最大值和最小值，x'表示该变量进行最大最小归一化操作后的结果。

步骤1.2：将数据进行随机化操作，打乱顺序，得到训练数据集。

步骤1.3：为了训练模型具有从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息。

步骤2：建立子模型1——重构模型。重构模型以全部训练集数据的N个辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据。重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器。首先通过步骤2.1、2.2、2.3、2.4构建编码器，然后通过步骤2.5构建解码器。

步骤2.1：升维。升维操作将数据调整为合适的维度，有N个辅助变量的输入向量X∈R^N被升维成X∈R^N×D，其中D是每个辅助变量升维后的维度。

步骤2.2：位置编码。位置编码的具体方法如下：

其中，pos表示位置，d表示维度。得到的位置编码结果PE∈R^N×D，将步骤2.1得到的X和PE相加得到注入了位置信息的X_PE。

步骤2.3：Transformer编码器层。将步骤2.2得到的X_PE进入T个Transformer编码器模块提取全局非线性特征。每个Transformer编码器结构如图4所示。X_PE在一个Transformer编码器中先进行多头注意力计算，“多头”意味着将X_PE划分成几个子空间，子空间的数量就是头的数量，在每个子空间head_h中做关于可训练矩阵q_h,k_h,v_h的自注意力计算，多头注意力计算方式如下：

MHA(X_PE)＝project(Concat(head₁,head₂,…,head_h))

head_h＝Attention(q_h,k_h,v_h)

为了提高表示能力，需要做残差连接操作，多头注意力结果MHA(X_PE)和原始X_PE相加。层归一化操作起到了加速收敛的作用。经过两层前馈神经网络之后再次做残差连接和层归一化操作。

步骤2.4：降维。步骤2.3得到的全局非线性特征在此步骤中经由全局平均池化层整合信息并降维，此时得到的是对X∈R^N的特征表示H∈R^D。

步骤2.5：解码。将步骤2.4得到的特征表示H∈R^D输入解码器，解码器由三层全连接层构成，各层的神经元个数分别是[58,48,38]，为了防止过拟合，dropout层被应用在各层之间。解码器解码后得到重构的输入数据X_recon∈R^N。

步骤3：训练子模型1——重构模型。为了充分利用有标签数据，让有标签数据的标签参与模型的训练过程中，根据各个输入变量X和标签Y的相关性系数确定各个变量的重构误差权重，得到的损失函数用来训练重构模型。每个辅助变量和标签的相关性系数计算公式为：

其中，m表示样本数量。CORR表示N个变量和标签的相关性系数矩阵。

N个变量的重构误差权重矩阵为ρ，具体操作如下：

重构模型的损失函数可以表示为：

步骤4：建立子模型2——回归模型。回归模型以有标签数据的辅助变量特征表示作为输入，输出预测的蒸汽量数据。回归模型是一个多层感知机结构。通过步骤4.1获得回归模型的输入，通过步骤4.2构建回归模型。

步骤4.1：获得回归模型的输入。回归模型是一种有监督学习的方法，只能处理有标签数据集的特征表示。将有标签数据集的辅助变量X_labeled输入训练好的重构模型，得到特征表示H_labeled，特征表示H_labeled就是回归模型的输入。

步骤4.2：利用步骤4.1中得到的特征表示H_labeled构建回归模型，回归模型通过四层非线性全连接层将输入映射为输出Y_pre_labeled。全连接层各层的神经元个数分别设置为[32,16,8,1]，非线性激活函数为Sigmoid函数。每层非线性全连接层的表示如下：

Y_pre_labeled＝f(wH_labeled+b)

其中，f(·)是Sigmoid非线性激活函数，w，b是可训练的模型参数。

步骤5：训练子模型2——回归模型。以均方误差作为损失函数，通过反向传播算法调整回归模型的参数。均方误差损失函数表示为：

其中，Y_labeled是有标签数据集的标签值，m_labeled是有标签数据集的样本数量。

步骤6：验证本发明提出的模型性能。把工业过程中的真实数据输入训练好的模型进行预测，模型的预测评价指标采用均方误差MSE、均方根误差RMSE和平均绝对误差MAE，MSE、RMSE和MAE的值越小，表示模型的预测精度越高。MSE、RMSE和MAE的计算公式如下：

其中，m表示样本数据的数量，y_i,分别表示样本i的真实值和预测值。

本发明的关键效果在于通过结合Transformer和自编码器提出了一种新的软测量方法，该方法同时具备Transformer和自编码器的优点，具有强大的非线性全局特征提取能力、抗噪声干扰能力和无标签数据的利用能力。本发明的实现过程简单，可用于工业中任何采集到的数据集，并且该发明能够很好地适用于复杂的工业数据场景。

附图说明

图1是本发明的基于Transformer的自编码器软测量建模方法流程图

图2是本发明的基于Transformer的自编码器软测量建模方法总体结构图

图3是本发明中重构模型的结构图

图4是本发明中重构模型的Transformer编码器结构图

图5是本发明中回归模型的结构图

图6是在工业蒸汽量数据集上本发明和其他方法的预测误差图

具体实施方式

下面结合附图和实例对本发明进一步说明。

本发明为基于Transformer的自编码器软测量建模方法实现了一个针对火力发电中工业蒸汽量预测的实例。模型的流程如图1所示，模型的总体结构如图2所示，重构模型的结构图和回归模型的结构图分别如图3和图5所示，重构模型的Transformer编码器结构图如图4所示。

(1)火力发电过程描述

火力发电的过程是通过往燃烧炉里加水产生蒸汽，蒸汽压力推动发电设备运转发电。因此蒸汽量的监测对火力发电过程来说非常重要。在火力发电的工业过程中，一些辅助变量数据被装置传感器获得，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。

(2)数据集和评价指标描述

现有的工业蒸汽量数据集包含2888组样本数据，设置训练集数量是2000个，测试集数量888个。

模型的预测评价指标采用均方误差MSE、均方根误差RMSE和平均绝对误差MAE。

其中，m表示样本数据的个数，y_i,分别表示样本i的真实值和预测值。

(3)模型性能对比

为了比较本发明所建立的模型一种基于Transformer的自编码器软测量建模方法的优劣，这里使用的对比模型为MLP、DAE。

表1展示了基于Transformer的自编码器软测量建模方法的预测评价指标MSE、RMSE和MAE结果。图6展示了MLP、DAE和本发明提出方法的预测误差图。从结果可以看出，DAE由于模型不够复杂，对复杂的工业系统的表示能力很弱，对噪声的抗干扰能力不强，预测精度最差。MLP是一种有监督学习方法，预测精度稍好一点，对复杂系统的表示能力较强。本发明提出的Transformer-AE的模型结构最复杂，而且具有对噪声的抗干扰能力和学习无标签数据信息的能力，获得了最好的预测结果。结果表明，本发明可以更准确地监测蒸汽量数据。

表1预测结果对比

Claims (1)

1.一种基于Transformer和自编码器提取特征表示的软测量建模方法，其特征在于：包括以下步骤：

步骤1：获取数据并进行数据预处理；获取工业系统中的历史数据，由于这些数据量纲不一使得模型的学习效果不是特别好，以及这些数据的顺序具有一定的规律会影响模型的预测性能；通过步骤1.1和步骤1.2对数据进行最大最小归一化和随机化的预处理操作；为了训练模型获得从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，步骤1.3进行数据集的划分；

步骤1.1：对所有变量的数据进行最大最小归一化操作，将全部变量的数据范围统一起来，具体方法如下：

其中max和min分别表示某变量的最大值和最小值，x'表示该变量进行最大最小归一化操作后的结果；

步骤1.2：将数据进行随机化操作，打乱顺序，得到训练数据集；

步骤1.3：为了训练模型具有从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息；

步骤2：建立子模型1——重构模型；重构模型以全部训练集数据的N个辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据；重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器；首先通过步骤2.1、2.2、2.3、2.4构建编码器，然后通过步骤2.5构建解码器；

步骤2.1：升维；升维操作将数据调整为合适的维度，有N个辅助变量的输入向量X∈R^N被升维成X∈R^N×D，其中D是每个辅助变量升维后的维度；

步骤2.2：位置编码；位置编码的具体方法如下：

其中，pos表示位置，d表示维度；得到的位置编码结果PE∈R^N×D，将步骤2.1得到的X和PE相加得到注入了位置信息的X_PE；

步骤2.3：Transformer编码器层；将步骤2.2得到的X_PE进入T个Transformer编码器模块提取全局非线性特征；每个Transformer编码器结构如图4所示；X_PE在一个Transformer编码器中先进行多头注意力计算，“多头”意味着将X_PE划分成几个子空间，子空间的数量就是头的数量，在每个子空间head_h中做关于可训练矩阵q_h,k_h,v_h的自注意力计算，多头注意力计算方式如下：

MHA(X_PE)＝project(Concat(head₁,head₂,…,head_h))

head_h＝Attention(q_h,k_h,v_h)

为了提高表示能力，需要做残差连接操作，多头注意力结果MHA(X_PE)和原始X_PE相加；层归一化操作起到了加速收敛的作用；经过两层前馈神经网络之后再次做残差连接和层归一化操作；

步骤2.4：降维；步骤2.3得到的全局非线性特征在此步骤中经由全局平均池化层整合信息并降维，此时得到的是对X∈R^N的特征表示H∈R^D；

步骤2.5：解码；将步骤2.4得到的特征表示H∈R^D输入解码器，解码器由三层全连接层构成，各层的神经元个数分别是[58,48,38]，为了防止过拟合，dropout层被应用在各层之间；解码器解码后得到重构的输入数据X_recon∈R^N；

步骤3：训练子模型1——重构模型；为了充分利用有标签数据，让有标签数据的标签参与模型的训练过程中，根据各个输入变量X和标签Y的相关性系数确定各个变量的重构误差权重，得到的损失函数用来训练重构模型；每个辅助变量和标签的相关性系数计算公式为：

其中，m表示样本数量；CORR表示N个变量和标签的相关性系数矩阵；

N个变量的重构误差权重矩阵为ρ，具体操作如下：

重构模型的损失函数可以表示为：

步骤4：建立子模型2——回归模型；回归模型以有标签数据的辅助变量特征表示作为输入，输出预测的蒸汽量数据；回归模型是一个多层感知机结构；通过步骤4.1获得回归模型的输入，通过步骤4.2构建回归模型；

步骤4.1：获得回归模型的输入；回归模型是一种有监督学习的方法，只能处理有标签数据集的特征表示；将有标签数据集的辅助变量X_labeled输入训练好的重构模型，得到特征表示H_labeled，特征表示H_labeled就是回归模型的输入；

步骤4.2：利用步骤4.1中得到的特征表示H_labeled构建回归模型，回归模型通过四层非线性全连接层将输入映射为输出Y_pre_labeled；全连接层各层的神经元个数分别设置为[32,16,8,1]，非线性激活函数为Sigmoid函数；每层非线性全连接层的表示如下：

Y_pre_labeled＝f(wH_labeled+b)

其中，f(·)是Sigmoid非线性激活函数，w，b是可训练的模型参数；

步骤5：训练子模型2——回归模型；以均方误差作为损失函数，通过反向传播算法调整回归模型的参数；均方误差损失函数表示为：

其中，Y_labeled是有标签数据集的标签值，m_labeled是有标签数据及集的样本数量；

步骤6：验证本发明提出的模型性能；把工业过程中的真实数据输入训练好的模型进行预测，模型的预测评价指标采用均方误差MSE、均方根误差RMSE和平均绝对误差MAE，MSE、RMSE和MAE的值越小，表示模型的预测精度越高；MSE、RMSE和MAE的计算公式如下：

其中，m表示样本数据的个数，y_i,分别表示样本i的真实值和预测值。