CN115329823A - 延迟焦化加热炉炉管温度的动态深度迁移预测方法及装置 - Google Patents

Abstract

本发明涉及迁移预测技术领域，实施例提供一种延迟焦化加热炉炉管温度的动态深度迁移预测方法及装置。其中方法包括：确定炉管温度的目标测点及与目标测点存在相似性的源测点；获取所述源测点的源域样本数据，所述源域样本数据包括源测点的温度关联量及所述温度关联量对应的温度；采用所述源域样本数据对基于机器学习的深度预测模型进行训练，得到训练好的深度预测模型；基于目标域样本数据和迁移策略对所述训练好的深度预测模型进行调整，所述目标域样本数据包括目标测点的温度关联量及所述温度关联量对应的温度；将通过监测所述目标测点所获取到的温度关联量输入调整后的训练好的深度预测模型，得到所述目标测点温度的预测值。

Description

延迟焦化加热炉炉管温度的动态深度迁移预测方法及装置

技术领域

本发明涉及迁移预测技术领域，具体地涉及一种延迟焦化加热炉炉管温 度的动态深度迁移预测方法、一种延迟焦化加热炉炉管温度的动态深度迁移 预测装置以及一种电子设备。

背景技术

焦化加热炉是延迟焦化装置的核心，决定着整个装置的操作周期和经济 效益。因此对炉管温度等关键变量建立动态预测模型，获取趋势变化的提前 量，赢得充足的预操作时间，维持运行工况的相对平稳，对于提升产品质量、 经济效益乃至安全环保水平，具有重大意义。

随着过程监测数据量和计算机处理能力的爆炸式增长，数据驱动的智能 预测备受青睐。其中，深度学习作为该领域革命性的新技术，其多层非线性 网络结构具有强大的复杂函数拟合能力，克服了传统浅层网络对先验知识和 人工特征的依赖，能自动处理海量原始数据，自适应挖掘敏感特征，进而建 立由辅助数据到目标参量的智能预测模型。特别是深度学习中的长短时记忆 网络(LongShort-Term Memory，LSTM)，其独特“门”结构在处理更多关 联变量的同时，能有效挖掘时间序列中的长周期依赖性，提升预测效果。与 浅层神经网络、支持向量回归等传统方法相比，LSTM等深度网络的模型结 构更复杂，训练难度更大，多采用离线训练、在线部署的模式。该模式有两 个基本要求：(1)离线阶段有足够多的标签样本以完成训练，否则模型容 易过拟合，性能难以达标；(2)在线阶段的测试(实时)数据与训练(历 史)数据具有相同的分布规律，否则模型泛化性不足，实时预测精度差。

然而上述条件在实际生产中很难得到同时满足：从时间尺度上讲，焦化 加热炉属于非线性时变系统。运行工况多变、操作调整频繁，致使监测数据 的分布规律时刻变化，造成历史数据训练的温度预测模型随时间推移而适用 性逐渐下降，直至失效。因此所选训练样本距离当前时间点越近，其与实时 数据的分布差异越小，所训练模型越能描述系统当前状态，预测精度越高。 但同时，可使用的样本数量越少，且剩余的海量历史监测数据中同样包含了 大量的有用信息，未得到充分利用。

从空间尺度上讲，延迟焦化生产场景中通常会涉及多条加热炉管和多个 温度测点。各测点变量间存在显著的分布差异，难以共用一个模型而需要分 别建模，带来巨大的运算负担和时间成本。而且，位置相近的测点间，数据 变化规律必然存在极高的相似性，单独建模还会导致已建模测点中挖掘的先 验知识未能应用到其他相近测点中，造成资源浪费；再如，当与原有装置工 艺、结构相似的新建装置投产时，由于缺乏历史数据，直接使用新建装置的 少量样本会导致预测效果较差，而原有装置的海量数据却被闲置。

综上，现有智能预测模型在线上运行过程中，存在如下问题：一方面， 由于数据获取难度大或成本高，可用于模型训练的标签样本非常稀少，造成 模型泛化性、适应性和准确性不足；另一方面，与目标问题相似的领域积累 有海量数据，但由于时间和空间上的分布差异，这些相似数据及其训练的模 型或隐含的知识，很难直接用于解决目标问题，造成极大的资源浪费。而且 这类方法目前多针对静态过程开展，鲜少涉及动态系统的迁移，不适合延迟 焦化等复杂时变过程。

发明内容

本发明实施例的目的是提供一种延迟焦化加热炉炉管温度的动态深度 迁移预测方法及装置，以及一种电子设备。首先选取与目标域时间或空间相 近的领域作为源域，运用其丰富的历史数据训练深度预测模型；然后将源域 预测模型迁移至目标域，并用少量目标域样本微调模型，消除分布差异；再 后用微调过的模型预测目标域实时数据；最后衡量预测误差，在其超过阈值 时，选取最新的目标域数据再次更新模型，形成动态机制。

为了实现上述目的，本发明第一方面提供一种延迟焦化加热炉炉管温度 的动态深度迁移预测方法，所述预测方法包括：确定炉管温度的目标测点及 与目标测点存在相似性的源测点；获取所述源测点的源域样本数据，所述源 域样本数据包括源测点的温度关联量及所述温度关联量对应的温度；采用所 述源域样本数据对基于机器学习的深度预测模型进行训练，得到训练好的深 度预测模型；基于目标域样本数据和迁移策略对所述训练好的深度预测模型 进行调整，所述目标域样本数据包括目标测点的温度关联量及所述温度关联 量对应的温度；将通过监测所述目标测点所获取到的温度关联量输入调整后 的训练好的深度预测模型，得到所述目标测点温度的预测值。

优选的，所述与目标测点存在相似性的源测点，包括：与所述目标测点 存在空间相似性的源测点；和/或与所述目标测点存在时间相似性的源测点。

优选的，所述源域样本数据和目标域样本数据分别通过对源域历史数据 和目标域历史数据处理后得到；所述源域历史数据和目标域历史数据均包括 温度测点数据和与温度关联量测点数据；

所述处理包括：规范化处理：所述规范化处理包括数据清洗、数据补足、 数据归一化、数据互相关分析中的至少一者；以及构建处理：将规范化处理 后的数据构建为矩阵形式。

优选的，所述将规范化处理后的数据构建为矩阵形式，包括：获取温度 关联量的个数为m，每个温度关联量包含n个测点，样本特征长度为k；将 所述规范化处理后的数据构建为n-k组样本数据，每个样本数据的特征为m ×k的矩阵；所述样本数据为所述源域样本数据或所述目标域样本数据。

优选的，所述深度预测模型为长短期记忆网络模型；所述长短期记忆网 络模型的神经元更新机制如下：

f^(t)＝σ(W^fXx^(t)+W^fhh^(t-1)+b_f)

i^(t)＝σ(W^iXx^(t)+W^ihh^(t-1)+b_i)

o^(t)＝σ(W^oXx^(t)+W^ohh^(t-1)+b_o)

所述长短期记忆网络模型的损失函数为均方误差。

优选的，采用所述源域样本数据对基于机器学习的深度预测模型进行训 练，包括：将所述源域样本数据分为训练样本和验证样本；采用所述训练样 本对所述长短期记忆网络模型进行训练；采用所述验证样本测试模型预测效 果。

优选的，基于目标域样本数据和迁移策略对所述训练好的深度预测模型 进行调整，包括：确定所述训练好的深度预测模型对所述目标测点的温度的 预测误差大于设定阈值，根据目标域样本数据和源域样本数据的数量比例和 相似度评价，从预设的迁移策略中选择对应的迁移策略；采用选择的迁移策 略对所述训练好的深度预测模型进行调整，直至所述预测误差小于所述设定 阈值。

优选的，所述预测误差通过以下步骤得到：将所述目标域样本数据中的 温度关联量输入所述训练好的深度预测模型，得到对应的温度预测值

将所述温度预测值

反归一化为

基于以下公式得到所述预测误差：

其中，y_i为数据库中目标测点T^t的真实温度值。

优选的，所述数量比例包括：

其中，P为数量比例，N_{目标域样本数量}为目标域样本数据的数量，N_{源域样本数量} 为源域样本数据的数量；所述相似度评价包括：

其中，MMD为最大均值差异，H表示由φ函数将A^s与A^t映射到再生希 尔伯特空间。

优选的，所述根据目标域样本数据和源域样本数据的数量比例和相似度 评价，从预设的迁移策略中选择对应的迁移策略，包括：数量比例小于比例 阈值且相似度评价大于相似度阈值时，调整所述长短期记忆网络模型中最后 的全连接输出层；数量比例小于比例阈值且相似度评价小于相似度阈值时， 冻结所述长短期记忆网络模型的前A层，同时重新调整所述长短期记忆网络 模型的后B减A层和全连接输出层，其中B为所述长短期记忆网络模型的 总层数；数量比例大于比例阈值且相似度评价大于相似度阈值时，在所述长 短期记忆网络模型的基础上进行全部调整；数量比例大于比例阈值且相似度 评价大于相似度阈值时，对所述长短期记忆网络模型进行重新设计，或采用 目标域样本数据进行重新训练。

优选的，所述目标域样本数据和所述源域样本数据为以下关系之一：所 述目标域样本数据和所述源域样本数据来自于同一测点，且无时间间隔；所 述目标域样本数据和所述源域样本数据来自于同一测点，但存在时间间隔； 所述目标域样本数据和所述源域样本数据来自于位置相近或不同炉管但位 置相同的测点，但无时间间隔；和所述目标域样本数据和所述源域样本数据 来自于位置相近或不同炉管但位置相同的测点，但存在时间间隔。

在本发明的第二方面，提供了一种延迟焦化加热炉炉管温度的动态深度 迁移预测装置，所述预测装置包括：

数据获取模块：用于从历史生产数据中获取源域历史数据和目标域历史 数据,所述源域历史数据和目标域历史数据均包括温度测点数据和与温度关 联量测点数据；样本构建模块：用于分别通过对源域历史数据和目标域历史 数据处理后得到源域样本数据和目标域样本数据；预测模型模块，用于采用 所述源域样本数据对基于机器学习的深度预测模型进行训练，得到训练好的 深度预测模型；迁移调整模块，用于基于目标域样本数据和迁移策略对所述 训练好的深度预测模型进行调整；以及部署运行模块，用于将将通过监测所 述目标测点所获取到的温度关联量输入调整后的训练好的深度预测模型，得 到所述目标测点温度的预测值。

优选的，所述预测模型模块中的深度预测模型为长短期记忆网络模型。

在本发明的第三方面，提供了一种电子设备包括：至少一个处理器；存 储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少 一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指 令实现前述的延迟焦化加热炉炉管温度的动态深度迁移预测方法。

优选的，所述电子设备集成于延迟焦化加热炉监控系统中。

在本发明的第四方面，提供了一种机器可读存储介质，该机器可读存储 介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行前述 的延迟焦化加热炉炉管温度的动态深度迁移预测方法。

本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机 程序在被处理器执行时实现上述的延迟焦化加热炉炉管温度的动态深度迁 移预测方法。

上述技术方案，能够大幅提升工艺参数预测问题中的预测准确性、模型 适用性、数据复用性和知识迁移性，应用前景广阔。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详 细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部 分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发 明实施例的限制。在附图中：

图1示意性示出了根据本发明实施方式的延迟焦化加热炉炉管温度的动 态深度迁移预测方法的步骤流程示意图；

图2示意性示出了根据本发明实施方式的时间序列构造示意图；

图3示意性示出了根据本发明实施方式的长短期记忆网络模型(LSTM) 的结构示意图；

图4示意性示出了根据本发明实施方式的深度预测模型的训练流程示意 图；

图5示意性示出了根据本发明实施方式的深度预测模型在线迁移运行流 程示意图；

图6示意性示出了根据本发明实施方式的深度策略示意图；

图7示意性示出了根据本发明实施方式的延迟焦化加热炉炉管温度的动 态深度迁移预测装置的结构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解 的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用 于限制本发明实施例。

图1示意性示出了根据本发明实施方式的延迟焦化加热炉炉管温度的动 态深度迁移预测方法的步骤流程示意图，如图1所示。一种延迟焦化加热炉 炉管温度的动态深度迁移预测方法，所述预测方法包括：

S01、确定炉管温度的目标测点及与目标测点存在相似性的源测点；

此处的目标测点为需要进行温度测量的位置，存在相似性的源测点包括 与所述目标测点存在空间相似性的源测点；和/或与所述目标测点存在时间相 似性的源测点。其中空间相似性包括同一位置或者同一炉管上位置相近或不 同炉管但位置相同，时间相似性包括不存在时间间隔。

S02、获取所述源测点的源域样本数据，所述源域样本数据包括源测点 的温度关联量及所述温度关联量对应的温度；

选定目标测点，存在目标域D^t＝{T^t,A^t}，T^t为目标测点的温度数据，即 待预测的目标变量，A^t为与其相关的辅助变量，即预测模型的输入，且T^t∈A^t。 选定与目标测点相似度高且历史数据丰富的源测点，存在源域D^s＝{T^s,A^s}， T^s∈A^s。提供两种迁移：跨时间迁移，源测点与目标测点相同，但存在时间 跨度；跨空间迁移，源测点与目标测点不同，选定与目标测点空间位置最近 的作为源测点。

S03、采用所述源域样本数据对基于机器学习的深度预测模型进行训练， 得到训练好的深度预测模型；

基于机器学习的深度预测模型，能够在采用源域样本数据训练之后，得 到一个基于源域样本数据的训练好的深度预测模型。此处的深度预测模型除 LSTM外，还可以采用支持向量回归SVR、极限学习机ELM、多层感知机 MLP、卷积神经网络CNN等模型。其中，SVR和ELM属于浅层机器学习， MLP、CNN则属于深度学习范畴。其中所选深度预测模型的数据基础和训 练方法均大致相同。

S04、基于目标域样本数据和迁移策略对所述训练好的深度预测模型进 行调整，所述目标域样本数据包括目标测点的温度关联量及所述温度关联量 对应的温度；

在获取到训练好的深度预测模型之后，需要将其迁移至目标域。采用目 标域样本数据，以及源域和目标域的相似性对应的迁移策略，使训练好的深 度预测模型能够适应目标域的预测。

S05、将通过监测所述目标测点所获取到的温度关联量输入调整后的训 练好的深度预测模型，得到所述目标测点温度的预测值。

根据制定的迁移策略，运用目标域训练样本对深度预测模型的非冻结层 进行参数微调，完成模型更新。将更新后的模型进行在线部署，代替原有模 型开展实时预测，通过实时获取在线的温度关联量等数据，得到目标测点温 度的预测值。

通过以上实施方式，利用目标问题相似领域的海量历史数据建立预测模 型，再根据目标样本数量和领域相似性提出不同的模型迁移策略，消除时间 和空间上的数据分布差异，提升目标域的预测准确率。

在本发明提供的一种实施方式中，所述源域样本数据和目标域样本数据 分别通过对源域历史数据和目标域历史数据处理后得到；所述源域历史数据 和目标域历史数据均包括温度测点数据和与温度关联量测点数据；所述处理 包括：规范化处理：所述规范化处理包括数据清洗、数据补足、数据归一化、 数据互相关分析中的至少一者；以及构建处理：将规范化处理后的数据构建 为矩阵形式。具体的，从延迟焦化装置的历史数据库中读取焦化加热炉的相 关数据，包括源测点温度数据T^s及可能与其存在关联的流量、压力等测点数 据。

其中，数据清洗包括：空值清洗：装置停机、传感器损坏等会造成样本 数据缺失。设定任意样本内，有10个及以上的测点数据缺失(或为0)时， 认为其失效并删除。异常值清洗：对于任意测点的数据x_i，设定

为异常值并删除，其中，μ和σ为分别为测点数据的均值及 标准差。

数据补足包括：部分样本仅若干(10个以内)测点数据缺失的，视其有 效，并取相邻样本(上下各5个)中该测点数据的均值，进行缺失补足。

数据归一化包括：对每一测点变量分别归一化，采用min-max标准化 (Min-MaxNormalization)对原始监测数据进行线性变换，使结果映射到[0, 1]之间。

式中，x_min和x_max分别为变量的最小值和最大值，

为x_i归一化后的数值。

互相关性分析包括：在源测点与其关联测点间逐一开展互相关性分析， 假定各测点均包含n个数据点，则互相关性可由皮尔森系数表示：

式中，

和

分别表示源测点及其关联测点的均值，

和σ_x为标准差。

且

越大，相关性越强。当

认定该测点与T^s间存在 明显的相关性，将其加入辅助变量集A^s，显然

T^s∈A^s。跨时间迁移 时，源测点和目标测点相同，因此A^s＝A^t；跨空间迁移时，源测点和目标测 点不同，为实现模型迁移，取二者辅助变量集的合集，即A^s∪A^t。

图2示意性示出了根据本发明实施方式的时间序列构造示意图，如图2 所示。在本实施方式中，所述将规范化处理后的数据构建为矩阵形式，包括： 获取温度关联量的个数为m，每个温度关联量包含n个数据点，样本特征长 度为k，将所述规范化处理后的历史数据构建为n-k组样本数据，每个样本 数据的特征为m×k的矩阵。此处的样本数据为源域样本数据或目标域样本数 据，取决于其来源于源域历史数据还是目标域历史数据。训练样本由特征 (Feature)和标签(Label)组成，分别为预测模型的输入和理想输出。假定 A^s内有m个辅助变量，即特征维度为m，每个变量共包含n个数据点，存在：

假定目标变量T^s的当前状态与辅助变量A^s的前k个状态相关，即特征长 度为k，则取

为特征，

为标签，组成第一组训练样本； 向后滑动一个时间单位，取

为特征，

为标签，组成第二 组训练样本。以此类推，一共可构建n-k组训练样本，每个样本特征为m×k的 矩阵。

图3示意性示出了根据本发明实施方式的长短期记忆网络模型(LSTM) 的结构示意图，如图3所示，在本实施方式中，所述深度预测模型为长短期 记忆网络模型(LSTM)；LSTM是深度网络的一种，其独有的“门”结构 能够控制时间序列中的信息流动，从更好地捕获序列中的长期依赖信息，天 然适合解决长周期预测问题。其神经元更新机制如下：

f^(t)＝σ(W^fXx^(t)+W^fhh^(t-1)+b_f)

i^(t)＝σ(W^iXx^(t)+W^ihh^(t-1)+b_i)

g^(t)＝tanh(W^gXx^(t)+W^ghh^(t-1)+b_g)

o^(t)＝σ(W^oXx^(t)+W^ohh^(t-1)+b_o)

根据数据具体情况，设计适当的深度网络结构，并进一步对学习率、优 化器、批处理量、最大回合数、预期精度等参数进行设置。选择均方误差(Mean Squared Error，MSE)作为模型运算的损失函数Loss：

式中，y_i为样本标签，即温度真实值，

为模型预测值，MSE越小，模 型精度越高，预测误差越小。采用早停(Early Stopping)机制监测训练过程， 当Loss函数连续100个epochs不再下降后，认为模型达到最优，停止训练 过程，节省运算时间。

图4示意性示出了根据本发明实施方式的深度预测模型的训练流程示意 图，如图4所示。在本实施方式中，采用所述源域样本数据对基于机器学习 的深度预测模型进行训练，包括：将所述源域样本数据分为训练样本和验证 样本；采用所述训练样本对所述长短期记忆网络模型进行训练；采用所述验 证样本测试模型预测效果。按照一定比例将样本划分为训练样本和验证样本， 分别用于模型训练和精度验证。训练中，采用十折交叉验证(10-fold cross-validation)，即将训练样本平均分成10份，轮流将其中9份作训练数 据，剩余1份作测试数据，并将10次预测误差的均值作为对算法性能的评 估，避免测试中的偶然性和不确定性。将训练样本输入模型，进行迭代计算， 直至达到预设精度或完成训练过程/触发早停机制。训练完成后，输入验证样 本，测试模型预测效果。符合要求后，输出训练好的模型。

图5示意性示出了根据本发明实施方式的深度预测模型在线迁移运行流 程示意图，如图5所示。在本实施方式中，基于目标域样本数据和迁移策略 对所述训练好的深度预测模型进行调整，包括：确定所述训练好的深度预测 模型对所述目标测点的温度的预测误差大于设定阈值，根据目标域样本数据 和源域样本数据的数量比例和相似度评价，从预设的迁移策略中选择对应的 迁移策略；采用选择的迁移策略对所述训练好的深度预测模型进行调整，直 至所述预测误差小于所述设定阈值。具体的，将源域训练的深度预测模型LSTM迁移至目标域，从延迟焦化装置数据库中实时读取辅助变量集A^t，对 其预处理(步骤同前述的规范化处理)后输入LSTM开展预测，并进行反归 一化

为模型预测值，

为反归一化后的正常范围温度值，y_max和y_min为归 一化时目标测点的最大值和最小值。

然后对其进行误差判定：在预测完成的l×T_s(预测时长)后，读取数 据库中目标测点T^t的真实温度值y_i，并判定误差，若满足：

则源域模型精度满足目标域要求，无需动态微调，等待下一次预测即可； 若不满足，则两域分布差异较大，需微调模型。λ为误差阈值，根据具体需 求人为设定，一般取2％～10％。

图6示意性示出了根据本发明实施方式的深度策略示意图，如图6所示。 在本实施方式中，所述根据目标域样本数据和源域样本数据的数量比例和相 似度评价，从预设的迁移策略中选择对应的迁移策略，包括：

启动微调机制后，根据可获取的目标域样本数量及其与源域样本的相似 度，制定相应的迁移策略。

首先，获取目标域近期的A^t及T^t，一般截取从上次微调至当前时刻这一 时间段内的数据，并重构训练样本。以目标域样本占源域样本的比例衡量数 据丰富度：

其次，计算A^s与A^t间的数据相似度，用最大均值差异(Maximum mean discrepancy,MMD)衡量：

式中，H表示由φ函数将A^s与A^t映射到再生希尔伯特空间。MMD越小， 相似度越高，领域分布差异越小。受具体数据影响，很难对相似度大小进行 统一划分。可比较MMD(A^s,A^t)和MMD(A^s,A^s)间的量级差异，进行综合评判， 并在以下策略中进行选择。

策略1：待训集较小且与源域相似度较高时，LSTM能够较好地提取特 征，不需要大幅调整，将所有LSTM层冻结后，微调最后的全连接输出层， 提高对目标任务的适用性即可；策略2：待训集较小且与源域相似度较低时， LSTM无法有效提取特征，而数据量又不足以微调全部模型。此时，冻结 LSTM前k层，继续提取源域和目标域通用的底层特征，同时重新微调LSTM 后n-k层和全连接输出层，提取适合目标任务的专用特征。为保证迁移效果， 一般将再训练过程的学习率降低。全连接输出层降为源域的1/10左右，中间 LSTM层则降为1/100左右；策略3：待训练集较多且与源域相似度较高时， 在源域模型结构及权重的基础上，对全部模型进行微调，完成模型迁移；策 略4：待训练集较多且与源域相似度较低时，迁移源域模型不会有太大效果， 可保留模型结构亦可重新设计，并用目标域样本进行重新训练。

在本发明提供的一种实施方式中，所述目标域样本数据和所述源域样本 数据为以下关系之一：

(1)所述目标域样本数据和所述源域样本数据来自于同一测点，且无 时间间隔；例如：为测试LSTM准确性，并为后续迁移预测提供比对基线， 以炉管温度测点y2jTI2012A为例，开展无迁移预测，即训练集和验证集来 自于同一测点，且无时间间隔。其验证结果将在后文详述。

(2)所述目标域样本数据和所述源域样本数据来自于同一测点，但存 在时间间隔；例如：仍以前述的y2jTI2012A测点为例，选取第1-15000组样 本作源域训练集，15001-20000组、20001-25000组、25001-30000组分别作 目标域验证集1、2、3。显然，验证集2、3和训练集存在时间间隔，间隔长 度分别为35天及70天左右。其验证结果将在后文详述。

(3)所述目标域样本数据和所述源域样本数据来自于位置相近或不同 炉管但位置相同的测点，但无时间间隔；例如：以y2jTI2012A测点第1-15000 组样本作源域训练集，选取同一炉管上距离其位置较近的y2jTI2023A和 y2jTI2022A测点，以及不同炉管但位置相同(均为各自炉管上距转油线最近 的测点)的y2jTI2012B测点，分别作验证集1、2、3。验证集1-3取自相应 测点的第10001-15000组，并进一步平均分为两组，分别用于微调和测试。 其验证结果将在后文详述。

(4)所述目标域样本数据和所述源域样本数据来自于位置相近或不同 炉管但位置相同的测点，但存在时间间隔。例如：以y2jTI2012A测点第 1-15000组样本作源域训练集，以y2jTI2023A、y2jTI2022A和y2jTI2012B 测点的第20001-25000组样本做目标域，并进一步均分为训练集和验证集两 组，开展跨时间跨空间复合迁移预测测试。其验证结果将在后文详述。

图7示意性示出了根据本发明实施方式的延迟焦化加热炉炉管温度的动 态深度迁移预测装置的结构示意图，如图7所示。在本实施方式中，还提供 了一种延迟焦化加热炉炉管温度的动态深度迁移预测装置，所述预测装置包 括：数据获取模块：用于从历史生产数据中获取源域历史数据和目标域历史 数据,所述源域历史数据和目标域历史数据均包括温度测点数据和与温度关 联量测点数据；样本构建模块：用于分别通过对源域历史数据和目标域历史 数据处理后得到源域样本数据和目标域样本数据；；预测模型模块，用于采用所述源域样本数据对基于机器学习的深度预测模型进行训练，得到训练好 的深度预测模型；迁移调整模块，用于基于目标域样本数据和迁移策略对所 述训练好的深度预测模型进行调整；以及部署运行模块，用于将通过监测所 述目标测点所获取到的温度关联量输入调整后的训练好的深度预测模型，得 到所述目标测点温度的预测值。

上述的延迟焦化加热炉炉管温度的动态深度迁移预测装置中的各个功 能模块的具体限定可以参见上文中对于延迟焦化加热炉炉管温度的动态深 度迁移预测方法的限定，在此不再赘述。上述装置中的各个模块可全部或部 分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立 于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储 器中，以便于处理器调用执行以上各个模块对应的操作。

前一实施方式中的预测模型模块中的深度预测模型可以采用支持向量 回归SVR、极限学习机ELM、多层感知机MLP、卷积神经网络CNN等。 其中，SVR和ELM属于浅层机器学习，MLP、CNN则属于深度学习范畴。 本实施方式中采用长短期记忆网络模型(LSTM)，采用基于LSTM的深度 预测模型，可分析的关联变量更多，可自适应挖掘隐含特征而无需人工提取，可捕捉时间序列中的长期依赖信息，长周期预测精度更高。

在本发明提供的一种实施方式中，还提供了一种电子设备，包括：至少 一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储 有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述 存储器存储的指令实现前述的延迟焦化加热炉炉管温度的动态深度迁移预 测方法。此处的控制模块或处理器具有数值计算和逻辑运算的功能，其至少 具有数据处理能力的中央处理器CPU、随机存储器RAM、只读存储器ROM、 多种I/O口和中断系统等。处理器中包含内核，由内核去存储器中调取相应 的程序单元。内核可以设置一个或以上，通过调整内核参数来实现前述的方 法。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)， 存储器包括至少一个存储芯片。

在本发明提供的一种实施方式中，前述电子设备集成于延迟焦化加热炉 监控系统中。现有的延迟焦化装置加热炉能够显示多个测点分布及其温度。 将前述电子设备集成于延迟焦化加热炉监控系统中，能够利用现有的延迟焦 化加热炉监控系统的硬件设备和系统结构，并准确获取测点的温度。

在本发明提供的一种实施方式中，还提供了一种机器可读存储介质，该 机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配 置成执行前述的延迟焦化加热炉炉管温度的动态深度迁移预测方法。

下文将结合具体数据，对本发明提出的动态深度迁移预测方法的具体实 施过程作详细描述。需要说明的是，以下若干实施例旨在加强对本发明技术 方案和有益效果的说明，而不起任何限定作用，凡在本发明的原则范围内所 做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

以下数据读取自我国某炼油厂延迟焦化装置加热炉。炉内共有温度测点 50个，为待预测对象，即目标变量；此外，读取与目标变量相关联的过程参 数，包括油气温度测点(1个)、分馏塔温度测点(15个)、进料流量测点 (4个)、进料压力测点(11个)、蒸汽流量测点(11个)、进口温度测点 (1个)、出口温度测点(18个)、对流入口压力测点(12个)。将根据目标变量的具体情况，从中选择强相关参数，加上目标变量自身，构成辅助变 量。现场测点采样频率10秒/次，为提升数据稳定性，防止出现异常，读取 时以10分钟为步长，一次性读取10分钟内该测点的所有数据，并取平均值， 即每10分钟一个样本。预测时长为1个步长，即预测测点10分钟后的变化 趋势。

开展实施例前，首先对预测准确性的衡量标准进行统一和说明。采用平 均绝对误差(MAE)、均方根误差(RMSE)和决定系数R2得分作为预测 结果的评价指标，其计算过程如下：

式中，

表示真实温度的平均值。显然，MAE和RMSE越小越好，R2越大 越好。

实施例1：无迁移预测

为测试LSTM准确性，并为后续迁移预测提供比对基线，以炉管温度测 点y2jTI2012A为例，开展无迁移预测，即训练集和验证集来自于同一测点， 且无时间间隔。通过时间序列构造，共获取32300组样本，选取25000组作 为训练样本，剩余7300组样本作为验证样本。LSTM模型结构如附表1所 示。

附表1 LSTM模型结构及参数设置

采用Adadelta优化器对学习率进行自适应优化；训练600epochs； batch_size＝100；训练过程中，当发现Loss函数连续100个epochs不再下降 后，进行早停。

通过深度预测模型损失函数MSE的变化情况可知：训练过程中，首先 经过一个短暂平稳阶段，此时loss较大，表明模型尚未建立有效的预测函数， 还在初始调整；然后，40epoch左右，loss急剧下降，表明模型已经找到正 确的优化方向，并通过有监督学习快速提升预测准确性；再后，150epoch 左右，loss的下降趋势放缓，表明模型正在精细地参数调整；最后，训练集 MSE稳定在5×10^-4上下，测试集MSE则在7在E测^-4上下，表明不考虑时 空差异时，模型具备较强的泛化性。

通过LSTM的预测结果与实际结果对比可知：真实监测值和模型预测值 呈现出极高的匹配性，变化趋势几乎完全相同。特别是炉管温度出现了多次 快速上升以及在第5100组样本附近陡然下降的现象，LSTM模型都能及时 反映，并给出极为相近的预测值，这对于现实操作具有很高的指导价值，使 班组人员能够提前获知参数变化趋势，并采取相应的干预操作，进而有效避 免突发性的工艺波动，以及可能由此引起的安全事故。

除LSTM外，还采用支持向量回归SVR、极限学习机ELM、多层感知 机MLP、卷积神经网络CNN等作为对比。其中，SVR和ELM属于浅层机 器学习，MLP、CNN则属于深度学习范畴。为保证一致性，各方法的数据 基础均与上文相同，结果如附表2所示。

附表2不同算法对炉管温度的预测效果

由上表可知，与SVR和ELM等浅层算法相比，MLP、LSTM等深度模 型在各项评估指标中均大幅领先，表明在样本充足的情况下，深度模型更能 精确刻画多维变量间复杂的映射关系，充分分析影响目标变量的关联因素， 实习预测性能的突破；同为深度模型，LSTM的性能又大幅领先于CNN和 MLP。这归功于LSTM独特的“门”结构，更能挖掘、保留数据中的长期相 关性，因而更适合处理时间序列数据，并用于预测任务。

实施例2：跨时间迁移预测

仍以y2jTI2012A测点为例，选取第1-15000组样本作源域训练集， 15001-20000组、20001-25000组、25001-30000组分别作目标域验证集1、2、 3。显然，验证集2、3和训练集存在时间间隔，间隔长度分别为35天及70 天左右。各验证集进一步平均分为两组(各2500组样本)，分别用于微调 和测试。各目标域验证集与源域训练集的MMD相似性指标如附表3所示。

附表3各验证集MMD指标(跨时间迁移)

目标域	验证集1	验证集2	验证集3
				MMD	1.67×10<sup>-2</sup>	3.76×10<sup>-3</sup>	2.47×10<sup>-3</sup>

以附表1为准，各迁移策略设定如下：策略1，微调第7-8层，其余层 冻结；策略2，微调第4-8层，其余层冻结；策略3，微调第1-8层，无神经 层冻结。

附表4展示了跨时间情景下各迁移策略的预测效果。经分析可得出如下 结论：

1、验证集1与训练样本不存在时间间隔，无需模型迁移。但由于训练 样本减少，与附表2相比，LSTM精度下降显著，侧面说明样本稀少情况下 开展迁移学习的必要性；

2、验证集2、3中，与不迁移预测相比，迁移策略1-3的三种性能指标 均有显著提升，说明提出的模型迁移方法能够有效消除因时间跨度造成的监 测数据分布。

附表4跨时间情景下迁移预测效果(微调样本2500组)

3、验证集3的迁移预测效果优于验证集2，这是因为验证集3与源域训 练集的MMD指标小于验证集2，表明验证集3与源域训练集的数据分布差 异更小，因而迁移预测效果更佳；

4、三种迁移策略中，策略3效果最佳，策略2其次，策略1再次。因 为，训练集和验证集取自同一测点，数据相似度相对较高。更重要的是，目 标域训练样本有2500组，占源域训练样本的17％左右，数据量充足，足够 策略3对模型进行全面调整，因而效果最佳。

为进一步测试数据量对迁移效果的影响，维持目标域2500组测试样本 不变，将目标域训练样本分别减少至2000、1500和1000组，其测试结果如 附表5-7所示。

附表5跨时间情景下迁移预测效果(微调样本2000组)

附表5中，目标域训练样本下降至2000组，不足以对模型内所有参数 进行微调。此时，采用策略2，冻结底层神经元不变，并对高层尽可能多的 参数进行再训练，效果更佳；附表6-7中，目标域训练样本进一步下降至1500 组和1000组。此时，数据量已相对较小，只能支持对顶层神经元进行微调。 因此，这两组试验中，策略1取得了最佳的效果。

上述多组试验，证明了所提出方法能够有效适应不同的跨时间迁移场景， 在不同的数据量下，均能给出适当的迁移策略，并取得最佳的迁移效果。

附表6跨时间情景下迁移预测效果(微调样本1500组)

附表7跨时间情景下迁移预测效果(微调样本1000组)

实施例3：跨空间迁移预测

以y2jTI2012A测点第1-15000组样本作源域训练集，选取同一炉管上距 离其位置较近的y2jTI2023A和y2jTI2022A测点，以及不同炉管但位置相同 (均为各自炉管上距转油线最近的测点)的y2jTI2012B测点，分别作验证 集1、2、3。验证集1-3取自相应测点的第10001-15000组，并进一步平均 分为两组，分别用于微调和测试。各目标域验证集与源域训练集的MMD相 似性指标如附表8所示。试验结果如附表9所示。

由附表9可知，与不采用模型迁移相比，使用迁移策略1-3后，预测模 型的各项性能指标均不同程度的有所提升，且策略3效果最佳。这表明，所 提出的迁移策略同样适用于跨空间迁移场景，能够大大降低多个相似测点建 模时的难度和工作量，具有重要的工程意义；此外，与跨时间迁移相比，跨 空间迁移的精度提升效果略逊。这是因为不同测点间的数据分布差异要大于 同一测点不同时间之间的差异，进而造成迁移效果的区别。

附表8各验证集MMD指标(跨空间迁移)

目标域	y2jTI2023A	y2jTI2022A	y2jTI2012B
				MMD	6.93×10<sup>-2</sup>	1.50×10<sup>-1</sup>	1.01×10<sup>-1</sup>

附表9跨空间情景下迁移预测效果(微调样本2500组)

在附表9的基础上，进一步降低目标域训练样本数量至1000组，其试 验结果如附表10所示。与附表7有所不同，在目标域训练样本较少的情况 下，仍是策略3的效果最佳。其主要原因如下，附表7中，同测点的数据分 布差异较小，底层的特征提取层通用性强，因此只需训练顶部输出层便能获 得极佳效果；而不同测点的数据分布差异较大，底层的特征提取层通用性不 强。不调整底层神经元，获取适用于目标域的敏感特征，而只对顶层输出层进行调整，无法有效提升预测效果。而策略3能对所有神经层进行调整，重 新挖掘最合适的深度特征，因而效果更佳。

附表10跨空间情景迁移预测效果(微调样本1000组)

实施例4：跨时间跨空间迁移

以y2jTI2012A测点第1-15000组样本作源域训练集，以y2jTI2023A、 y2jTI2022A和y2jTI2012B测点的第20001-25000组样本做目标域，并进一 步均分为训练集和验证集两组，开展跨时间跨空间复合迁移预测测试。各目 标域验证集与源域训练集的MMD相似性指标如附表11所示。试验结果如 附表12所示。

附表11各验证集MMD指标(跨空间迁移)

目标域	y2jTI2023A	y2jTI2022A	y2jTI2012B
				MMD	2.65×10<sup>-2</sup>	4.11×10<sup>-2</sup>	1.29×10<sup>-2</sup>

由附表9可知，与不采用模型迁移相比，使用迁移策略1-3后，预测模 型的各项性能指标均不同程度的有所提升，同样策略3效果最佳(数据量丰 富)。本实施例表明，所提出迁移预测在跨时间跨空间复合迁移场景下也发 挥了大幅提升预测精度的效果，再次证明了其在复杂场景下的适用性。

附表12跨时间跨空间迁移预测(微调样本2500组)

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非 排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种 过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语 句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或 者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术 人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所 作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种延迟焦化加热炉炉管温度的动态深度迁移预测方法，其特征在于，包括：

确定炉管温度的目标测点及与目标测点存在相似性的源测点；

获取所述源测点的源域样本数据，所述源域样本数据包括源测点的温度关联量及所述温度关联量对应的温度；

采用所述源域样本数据对基于机器学习的深度预测模型进行训练，得到训练好的深度预测模型；

基于目标域样本数据和迁移策略对所述训练好的深度预测模型进行调整，所述目标域样本数据包括目标测点的温度关联量及所述温度关联量对应的温度；

将通过监测所述目标测点所获取到的温度关联量输入调整后的训练好的深度预测模型，得到所述目标测点温度的预测值。

2.根据权利要求1所述的预测方法，其特征在于，所述与目标测点存在相似性的源测点，包括：

与所述目标测点存在空间相似性的源测点；和/或

与所述目标测点存在时间相似性的源测点。

3.根据权利要求1所述的预测方法，其特征在于，所述源域样本数据和目标域样本数据分别通过对源域历史数据和目标域历史数据处理后得到；所述源域历史数据和目标域历史数据均包括温度测点数据和与温度关联量测点数据；

所述处理包括：

规范化处理：所述规范化处理包括数据清洗、数据补足、数据归一化、数据互相关分析中的至少一者；以及

构建处理：将规范化处理后的数据构建为矩阵形式。

4.根据权利要求3所述的预测方法，其特征在于，所述将规范化处理后的数据构建为矩阵形式，包括：

获取温度关联量的个数为m，每个温度关联量包含n个测点，样本特征长度为k；

将所述规范化处理后的数据构建为n-k组样本数据，每个样本数据的特征为m×k的矩阵；所述样本数据为所述源域样本数据或所述目标域样本数据。

5.根据权利要求1所述的预测方法，其特征在于，所述深度预测模型为长短期记忆网络模型；

所述长短期记忆网络模型的神经元更新机制如下：

f^(t)＝σ(W^fXx^(t)+W^fhh^(t-1)+b_f)

i^(t)＝σ(W^iXx^(t)+W^ihh^(t-1)+b_i)

g^(t)＝tanh(W^gXx^(t)+W^ghh^(t-1)+b_g)

o^(t)＝σ(W^oXx^(t)+W^ohh^(t-1)+b_o)

所述长短期记忆网络模型的损失函数为均方误差。

6.根据权利要求5所述的预测方法，其特征在于，采用所述源域样本数据对基于机器学习的深度预测模型进行训练，包括：

将所述源域样本数据分为训练样本和验证样本；

采用所述训练样本对所述长短期记忆网络模型进行训练；

采用所述验证样本测试训练后的长短期记忆网络模型的预测效果。

7.根据权利要求5所述的预测方法，其特征在于，基于目标域样本数据和迁移策略对所述训练好的深度预测模型进行调整，包括：

确定所述训练好的深度预测模型对所述目标测点的温度的预测误差大于设定阈值，

根据目标域样本数据和源域样本数据的数量比例和相似度评价，从预设的迁移策略中选择对应的迁移策略；

采用选择的迁移策略对所述训练好的深度预测模型进行调整，直至所述预测误差小于所述设定阈值。

8.根据权利要求7所述的预测方法，其特征在于，所述预测误差通过以下步骤得到：

将所述目标域样本数据中的温度关联量输入所述训练好的深度预测模型，得到对应的温度预测值

将所述温度预测值

反归一化为

基于以下公式得到所述预测误差：

其中，y_i为数据库中目标测点T^t的真实温度值。

9.根据权利要求7所述的预测方法，其特征在于，所述数量比例包括：

其中，P为数量比例，N_{目标域样本数量}为目标域样本数据的数量，N_{源域样本数量}为源域样本数据的数量；

所述相似度评价包括：

其中，MMD为最大均值差异，H表示由φ函数将A^s与A^t映射到再生希尔伯特空间。

10.根据权利要求7所述的预测方法，其特征在于，所述根据目标域样本数据和源域样本数据的数量比例和相似度评价，从预设的迁移策略中选择对应的迁移策略，包括：

数量比例小于比例阈值且相似度评价大于相似度阈值时，调整所述长短期记忆网络模型中最后的全连接输出层；

数量比例小于比例阈值且相似度评价小于相似度阈值时，冻结所述长短期记忆网络模型的前A层，同时重新调整所述长短期记忆网络模型的后B减A层和全连接输出层，其中B为所述长短期记忆网络模型的总层数；

数量比例大于比例阈值且相似度评价大于相似度阈值时，在所述长短期记忆网络模型的基础上进行全部调整；

数量比例大于比例阈值且相似度评价大于相似度阈值时，对所述长短期记忆网络模型进行重新设计，或采用目标域样本数据进行重新训练。

11.根据权利要求7所述的预测方法，其特征在于，所述目标域样本数据和所述源域样本数据为以下关系之一：

所述目标域样本数据和所述源域样本数据来自于同一测点，且无时间间隔；

所述目标域样本数据和所述源域样本数据来自于同一测点，但存在时间间隔；

所述目标域样本数据和所述源域样本数据来自于同一炉管上位置相近或不同炉管但位置相同的测点，但无时间间隔；和

所述目标域样本数据和所述源域样本数据来自于同一炉管上位置相近或不同炉管但位置相同的测点，但存在时间间隔。

12.一种延迟焦化加热炉炉管温度的动态深度迁移预测装置，其特征在于，所述预测装置包括：

数据获取模块：用于从历史生产数据中获取源域历史数据和目标域历史数据,所述源域历史数据和目标域历史数据均包括温度测点数据和与温度关联量测点数据；

样本构建模块：用于分别通过对源域历史数据和目标域历史数据处理后得到源域样本数据和目标域样本数据；

预测模型模块，用于采用所述源域样本数据对基于机器学习的深度预测模型进行训练，得到训练好的深度预测模型；

迁移调整模块，用于基于目标域样本数据和迁移策略对所述训练好的深度预测模型进行调整；以及

部署运行模块，用于将通过监测所述目标测点所获取到的温度关联量输入调整后的训练好的深度预测模型，得到所述目标测点温度的预测值。。

13.根据权利要求12所述的预测装置，其特征在于，所述预测模型模块中的深度预测模型为长短期记忆网络模型。

14.一种电子设备，其特征在于，包括：至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至11中任意一项权利要求所述的延迟焦化加热炉炉管温度的动态深度迁移预测方法。

15.根据权利要求14所述的电子设备，其特征在于，所述电子设备集成于延迟焦化加热炉监控系统中。

16.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得处理器被配置成执行权利要求1至11中任意一项权利要求所述的延迟焦化加热炉炉管温度的动态深度迁移预测方法。

Images