CN113190974A - 基于深度学习的辊道窑温度场多点预测方法 - Google Patents

Abstract

基于深度学习的辊道窑温度场多点预测方法，包括以下步骤：利用辊道窑传感器采集辊道窑中的各输入参数以及辊道窑中真实烧结温度；根据采集的输入参数，运用仿真软件对辊道窑的温度进行仿真，同时输出传感器测量不到的位置点的仿真烧结温度；根据输入参数、仿真烧结温度定义输入数据集，其包括输入参数矩阵及输入温度矩阵，基于Transformer，建立辊道窑温度场多点预测模型，编码器对输入参数矩阵进行编码，最后一个编码器的输出矩阵转化为查询矩阵键矩阵并作为每个解码器的输入，在解码阶段中，解码组件的输入包括输入温度矩阵，经过多个解码器解码，最后输出目前时间点的辊道窑烧结段的多点温度。本发明能够提高陶瓷产品质量和降低产品能耗。

Description

基于深度学习的辊道窑温度场多点预测方法

技术领域

本发明涉及辊道窑冶炼技术领域，更具体地，涉及基于深度学习的辊道窑 温度场多点预测方法。

背景技术

辊道窑具有温度均匀、烧成时间短、节约燃料、自动化程度高等优点，广 泛应用于陶瓷生产行业。辊道窑是典型的连续式窑炉，由预热段、烧成段、冷 却段组成，每段又分为若干节。陶瓷坯料被放在辊棒上，通过棍棒的不断转到 依次对坯料进行预热、烧成、冷却。陶瓷烧成机理是：首先陶瓷坯料在预热段 进行预热干燥和晶体分解；烧成段以节为单位布置若干烧嘴，喷出天然气或焦 炉煤气等气体燃料燃烧释放大量热量，在高温状态下陶瓷坯体进行一系列复杂 的物理化学反应完成烧结；最后液相坯体在冷却段固化结晶生成陶瓷。烧成段 是保障陶瓷质量最关键的环节，必须维持温度稳定，严格控制升温速率。温度 过低坯体的物理化学反应不完全，温度过高坯体可能发生变形，因此烧成段温 度场是关系陶瓷质量的最关键指标。但辊道窑的温度传感器时间滞后性大、缺 乏可靠性，无法达到对陶瓷辊道窑烧结温度及时精确的全局性控制、烧结过程 的温度可视化，最终无法提高陶瓷产品质量和降低产品能耗。中国专利申请， 公开号为CN107038307B公开了一种将机理与数据相结合的辊道窑温度预测集 成建模方法，通过对影响温度变化的因素分析，从温度变化与能量的角度出发， 建立机理模型；然后考虑到辊道窑烧结是一个十分复杂的过程，无法通过一个 单一机理模型描述整个烧结过程，并且机理模型是通过简化而存在模型误差， 建立数据模型对模型误差进行预测，以此来弥补机理输出，即利用误差作为训 练样本建立基于局部加权核主成分回归的非线性时变过程的误差预测模型；最 后机理模型与数据模型相结合建立辊道窑温度预测集成模型。该技术方案得到 的模型能够更好地跟踪过程的状态变化，为辊道窑温度控制提供很好的指导作 用，从而提高产品生产质量以及合格率。但是该预测模型未考虑对陶瓷辊道窑 烧结温度场的空间多点预测，同时也没有考虑辊道窑的历史数据对温度的影响， 存着着温度预测数据时间慢、效率低的问题。

发明内容

本发明为克服上述现有技术中辊道窑预测模型缺未考虑对陶瓷辊道窑烧结 温度场的空间多点预测，也没有考虑辊道窑的历史数据对温度的影响、温度预 测数据时间慢、效率低的问题，提供基于深度学习的辊道窑温度场多点预测方 法。

为解决上述技术问题，本发明采用的技术方案是：基于深度学习的辊道窑 温度场多点预测方法，包括以下步骤：

S1：利用辊道窑传感器采集辊道窑中的各输入参数以及辊道窑中真实烧结温度；

S2：根据步骤S1中采集的输入参数的边界值，运用仿真软件对辊道窑的温度进 行仿真，利用步骤S1采集到的真实烧结温度验证仿真软件的准确性，同时输出 传感器测量不到的位置点的仿真烧结温度；

S3：根据输入参数、仿真烧结温度定义输入数据集，输入数据集包括输入参数 矩阵Xi及输入温度矩阵Yj，其中，输入参数矩阵Xi在i个时刻里共有i个输 入参数向量，输入参数向量包括Z个输入参数变量；输入温度矩阵Yj在j个时 刻里共有j个输入温度向量，输入温度向量包括m个空间点的仿真烧结温度， 时刻j在时刻i之前；根据步骤S2中仿真软件采集的第i时刻辊道窑的m个空 间点的仿真烧结温度作为输出向量yi，其构成输出数据集；

S4：基于Transformer算法框架，建立辊道窑温度场多点预测模型，预测模型 包括编码组件以及解码组件，所述编码组件包括若干个堆栈而成的编码器，所 述解码组件包括若干个堆栈而成的解码器；在编码阶段中，利用编码器对输入 参数矩阵Xi进行编码，把前一个编码器的状态矩阵作为输入运行后一个编码器， 直到运行完所有的编码器，最后一个编码器的输出矩阵加权转化为查询矩阵K 和键矩阵V，作为编码组件最后的输出；在解码阶段中，解码组件的输入包括 输入温度矩阵Yj，还包括将编码组件的输出K和V输入到每个解码器中并作为 该解码器的键向量和值向量；经过多个解码器解码，最后输出目前时间点的辊 道窑烧结段的多点温度。

在本技术方案中，辊道窑温度场多点预测模型，考虑了辊道窑烧结温度场 的空间多点，同时也考虑了辊道窑的历史数据对温度的影响，加快了温度预测 模型的效率，最终达到对辊道窑烧结温度及时精确的全局性控制和烧结过程的 温度可视化，最终提高陶瓷产品质量和降低产品能耗。

优选地，在所述步骤S4中，所述编码器包括自注意力层以及前馈神经网络， 由多个输入参数向量组成的输入参数矩阵Xi，通过编码器的自注意力层并行计 算每个输入参数向量，编码器的自注意力层的输出作为前馈神经网络的输入， 通过前馈神经网络输出状态矩阵，前馈神经网络拟合了输入参数与仿真烧结温 度的非线性，把上个编码器的状态矩阵作为输入运行下一个编码器，直到运行 完所以编码器，最后一个编码器的输出矩阵加权转化为查询矩阵K和键矩阵V， 作为编码组件最终的输出。

优选地，在编码阶段，编码器的自注意力公式如下：

X_i×W_i ^Q＝Q_iX_i×W_i ^K＝K_iX_i×W_i ^V＝V_i

其中，Q_i、K_i、V_i分别表示查询矩阵、键矩阵、值矩阵，W_i ^Q、W_i ^K、W_i ^V分别 是Q_i、K_i、V_i的参数矩阵，d_k是Q_i和K_i的维度，softmax是归一化指数函数，C_i是自 注意力层的输出矩阵；

在编码阶段，前馈神经网络公式如下：

FFN(C_i)＝max(0,C_i×W₁+b₁)×W₂+b₂

其中，W₁是前馈神经网络中间层的权值参数、b₁是前馈神经网络中间层 的偏置参数、W₂是前馈神经网络输出层的权值参数、b₂是前馈神经网络输出 层的偏置参数，max函数是ReLU激活函数。

优选地，所述解码器包括自注意力层、编码-解码注意力层以及前馈神经网 络，解码组件的输入包括前j时刻的温度参数向量组成的输入温度矩阵Yj， 其作为第一个解码器的输入；解码组件的输入还包括把编码组件的输出K和V 输入到每个解码器的编码-解码注意力层并作为这层的键向量和值向量，解码器 的自注意力层的输出作为编码-解码自注意力层的查询矩阵Q。

优选地，需要在编码组件以及解码组件的初始输入矩阵中嵌入位置矩阵， 改进的位置权重计算公式如下：

X’_(j,k)＝λX_(j,k)

其中X是中间节窑炉每个变量的时间向量组成的输入矩阵，X^,是加权后的 输入矩阵，λ是权重值，1.5<λ<2.0，j表示中间节单个变量的在所有变量的 序列位置，k表示单个变量内的时间序列位置。

优选地，在步骤S3中，对输入数据集以及输出数据集进行高斯滤波，删除 噪声和异常数据，对滤波后的输入数据集、输出数据集进行统计分析，分别得 出输入数据集、输出数据集的各个参数的最大值和最小值，然后对输入数据集 以及输出数据集进行归一化处理，归一化处理的公式为：

其中x是未归一化的数据，x’是归一化后的数据，x_max和x_min是特征的最大 值和最小值。

优选地，利用KPCA对输入参数进行非线性降维，去除输入参数之间的线性 相关性，最后把降维后的数据映射到原低维空间，最终在低维空间表征为对数 据进行了非线性降维。

优选地，所述编码组件和解码组件的每一层后都分别有残差连接，其公式 如下：

Y＝F(X)+X

其中X是层的输入，F(X)是层的输出，Y是残差的输出。

优选地，根据降维后的数据，训练和测试步骤S4建立的预测模型，确定模 型的内部参数；具体包括以下步骤，首先根据实际生产情况确定模型的超参数； 然后对模型进行训练，把训练集的输入矩阵带入预测模型作为输入，根据步骤 S2中仿真软件采集的第i时刻辊道窑的m个空间点的仿真烧结温度作为输出向 量yi，输出向量yi作为模型输出的标签，通过多个训练样本的训练，使模型 达到最优拟合；最后通过多个测试样本，验证模型的有效性和鲁棒性；将待预 测数据输入到训练好的辊道窑温度场多点预测模型，预测辊道窑烧结段的多点 烧结温度。

优选地，在所述步骤S1中，输入参数包括辊道窑烧成段每节的上喷枪煤气 的入口速度、下喷枪煤气的入口速度、煤气温度、煤气总压力、二级煤气压力、 助燃风总管风流速、喷枪前流速、助燃总管风压力、喷枪前压力、助燃风燃烧 前温度、一级抽烟风机频率、一级抽烟风机电流、二级抽烟风机频率以及二级 抽烟风机电流。

与现有技术相比，本发明的有益效果是：本发明创新性的建立以 Transforemer算法为基础的辊道窑温度场多点预测模型，实现了空间多点预测， 提高了预测效率，为辊道窑温度的可视化和温度控制提供了大量数据；预测模 型考虑了输入参数对烧结温度的时延和烧结温度历史数据对烧结温度的影响， 提高了模型精度，保证了预测的温度数据的准确性，加快了温度预测模型的效 率，达到对辊道窑烧结温度及时精确的全局性控制和烧结过程的温度可视化， 最终提高陶瓷产品质量和降低产品能耗。

附图说明

图1是本发明实施例1中基于深度学习的辊道窑温度场多点预测方法的流 程图；

图2是本发明实施例2中基于深度学习的辊道窑温度场多点预测方法的流 程图；

图3是本发明基于深度学习的辊道窑温度场多点预测方法中输入参数矩 阵；

图4是本发明基于深度学习的辊道窑温度场多点预测方法中输入温度矩 阵；

图5是本发明基于深度学习的辊道窑温度场多点预测方法中预测模型的 原理框图；

图6是本发明基于深度学习的辊道窑温度场多点预测方法中预测模型的 测试结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实 施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于 本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。 附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发 明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短” 等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描 述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方 位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性 说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根 据具体情况理解上述术语的具体含义。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体 描述：

实施例1

如图1至图5所示，基于深度学习的辊道窑温度场多点预测方法，包括以 下步骤：

S1：利用辊道窑传感器采集辊道窑中的各输入参数以及辊道窑中真实烧结温度；

S2：根据步骤S1中采集的输入参数的边界值，运用仿真软件对辊道窑的温度进 行仿真，利用步骤S1采集到的真实烧结温度验证仿真软件的准确性，同时输出 传感器测量不到的位置点的仿真烧结温度；

S3：根据输入参数、仿真烧结温度定义输入数据集，输入数据集包括输入参数 矩阵Xi及输入温度矩阵Yj，其中，输入参数矩阵Xi在i个时刻里共有i个输 入参数向量，输入参数向量包括Z个输入参数变量；输入温度矩阵Yj在j个时 刻里共有j个输入温度向量，输入温度向量包括m个空间点的仿真烧结温度， 时刻j在时刻i之前；根据步骤S2中仿真软件采集的第i时刻辊道窑的m个空 间点的仿真烧结温度作为输出向量yi，其构成输出数据集；

S4：基于Transformer算法框架，建立辊道窑温度场多点预测模型，预测模型 包括编码组件以及解码组件，所述编码组件包括若干个堆栈而成的编码器，所 述解码组件包括若干个堆栈而成的解码器；在编码阶段中，利用编码器对输入 参数矩阵Xi进行编码，把前一个编码器的状态矩阵作为输入运行后一个编码器， 直到运行完所有的编码器，最后一个编码器的输出矩阵加权转化为查询矩阵K 和键矩阵V，作为编码组件最后的输出；在解码阶段中，解码组件的输入包括 输入温度矩阵Yj，还包括将编码组件的输出K和V输入到每个解码器中并作为 该解码器的键向量和值向量；经过多个解码器解码，最后输出目前时间点的辊 道窑烧结段的多点温度。

需要说明的是，在步骤S3中，考虑历史时间的烧结温度对目前烧结温度 的实时影响，把上一时刻的多个温度数据作为模型解码组件的输入温度向量。 在本实施例中，辊道窑温度场多点预测模型，考虑了辊道窑烧结温度场的空间 多点，同时也考虑了辊道窑的历史数据对温度的影响，加快了温度预测模型的 效率，最终达到对辊道窑烧结温度及时精确的全局性控制和烧结过程的温度可 视化，最终提高陶瓷产品质量和降低产品能耗。需要说明的是，Transformer 模型流行于机器翻译领域，把由几个单词组成的一句话翻译成另一句话，每个 单词由词向量表示。辊道窑时序数据结构与机器翻译的数据结构类似，因此在该实施例中，把transformer模型引用于辊道窑温度时空预测模型中，并针对 辊道窑的特点进行了改进。根据辊道窑的实际情况，对原始transformer模型 进行改良，在解码器的自注意力层不使用掩码。辊道窑不需要像机器翻译一样 输出词组，因此删除原始transformer算法最后的Softmax层，解码组件一次 性输出在本时间点窑炉烧结段中间节空间点的温度向量。把这个温度向量作为 下一个时间点的解码组件的输入温度矩阵的一个输入温度向量，来预测下一个 温度向量。这样考虑了辊道窑温度的时滞特点，并实现了辊道窑烧结温度空间 多点的一次性预测，增加了预测精度，减少了预测时间，提高了预测效率。还 需要指出的是，在编码组件和解码组件中，每个编码器和解码器都是独立的， 但在编码器和解码器中前馈神经网络作用于每个向量，它们共享同一套参数。 此外，热工系统具有时变特性，如瓷砖材料和系统损耗，会使机理会随着时间 推移而发生缓慢变化，为了保证温度预测模型的长期有效性，有必要对其进行 在线更新。更新策略是设置一个阈值，查询样本与建立模型的测试集进行比较 计算，如果大于阈值则利用当前样本对模型进行更新。通过阈值在线更新模型， 克服了系统的时变问题，实现了模型的长期有效性。

其中，在所述步骤S4中，所述编码器包括自注意力层以及前馈神经网络， 由多个输入参数向量组成的输入参数矩阵Xi，通过编码器的自注意力层并行计 算每个输入参数向量，编码器的自注意力层的输出作为前馈神经网络的输入， 通过前馈神经网络输出状态矩阵，前馈神经网络拟合了输入参数与仿真烧结温 度的非线性，把上个编码器的状态矩阵作为输入运行下一个编码器，直到运行 完所以编码器，最后一个编码器的输出矩阵加权转化为查询矩阵K和键矩阵V， 作为编码组件最终的输出。

另外，在编码阶段，编码器的自注意力公式如下：

X_i×W_i ^Q＝Q_iX_i×W_i ^K＝K_iX_i×W_i ^V＝V_i

其中，Q_i、K_i、V_i分别表示查询矩阵、键矩阵、值矩阵，W_i ^Q、W_i ^K、W_i ^V分别 是Q_i、K_i、V_i的参数矩阵，d_k是Q_i和K_i的维度，softmax是归一化指数函数，C_i是自 注意力层的输出矩阵；

在编码阶段，前馈神经网络公式如下：

FFN(C_i)＝max(0,C_i×W₁+b₁)×W₂+b₂

其中，W₁是前馈神经网络中间层的权值参数、b₁是前馈神经网络中间层 的偏置参数、W₂是前馈神经网络输出层的权值参数、b₂是前馈神经网络输出 层的偏置参数，max函数是ReLU激活函数。

其中，所述解码器包括自注意力层、编码-解码注意力层以及前馈神经网络， 解码组件的输入包括前j时刻的温度参数向量组成的输入温度矩阵Yj，其作为 第一个解码器的输入；解码组件的输入还包括把编码组件的输出K和V输入到 每个解码器的编码-解码注意力层并作为这层的键向量和值向量，解码器的自注 意力层的输出作为编码-解码自注意力层的查询矩阵Q。

另外，需要在编码组件以及解码组件的初始输入矩阵中嵌入位置矩阵，改 进的位置权重计算公式如下：

X^’ _(,)＝λX_(,)

其中，X是中间节窑炉每个变量的时间向量组成的输入矩阵，X^,是加权后 的输入矩阵，λ是权重值，1.5<λ<2.0，j表示中间节单个变量的在所有变量 的序列位置，k表示单个变量内的时间序列位置。在本实施例中，原始 Transformer需要在编码组件和解码组件的初始输入矩阵中嵌入位置矩阵，因 为自注意力层不会考虑每个单词的位置关系。窑炉有三节输入，也应增强中间 节窑炉的重要性，相对降低相邻节的重要性。由于辊道窑温度预测模型只有三 节输入，位置情况考虑较少，只需对中间节窑炉进行加权即可。对原始transformer的位置矩阵进行改进以适应辊道窑的实际情况。

其中，在步骤S3中，对输入数据集以及输出数据集进行高斯滤波，删除噪 声和异常数据，对滤波后的输入数据集、输出数据集进行统计分析，分别得出 输入数据集、输出数据集的各个参数的最大值和最小值，然后对输入数据集以 及输出数据集进行归一化处理，归一化处理的公式为：

其中x是未归一化的数据，x’是归一化后的数据，x_max和x_min是特征的最大 值和最小值。在本实施例中，由于各数据集中，不同参数之间的量纲是不同的， 因此需要对数据进行归一化处理。

另外，利用KPCA对输入参数进行非线性降维，去除输入参数之间的线性相 关性，最后把降维后的数据映射到原低维空间，最终在低维空间表征为对数据 进行了非线性降维。在本实施例中，由于输入参数众多，为了减少数据冗余， 有必要对数据进行降维，目标是把步骤S3定义好的输入参数个数减少到可以近 似表示完整输入信息的参数。KPCA能够对输入参数进行非线性降维，符合辊道 窑强非线性的特点。KPCA核心思想是把低维空间线性不可分的数据，通过核函 数映射到高维度空间，在高维度空间数据实现线性可分。在高维空间利用PCA 算法进行线性降维，即筛选方差最大的特征，去除特征之间的线性相关性。最 后把降维后的数据映射到原低维空间，最终在低维空间表征为对数据进行了非 线性降维。

其中，所述编码组件和解码组件的每一层后都分别有残差连接，其公式如 下：

Y＝F(X)+X

其中X是层的输入，F(X)是层的输出，Y是残差的输出。

另外，根据降维后的数据，训练和测试步骤S4建立的预测模型，确定模型 的内部参数；具体包括以下步骤，首先根据实际生产情况确定模型的超参数； 然后对模型进行训练，把训练集的输入矩阵带入预测模型作为输入，根据步骤 S2中仿真软件采集的第i时刻辊道窑的m个空间点的仿真烧结温度作为输出向 量yi，输出向量yi作为模型输出的标签，通过多个训练样本的训练，使模型 达到最优拟合；最后通过多个测试样本，验证模型的有效性和鲁棒性；将待预 测数据输入到训练好的辊道窑温度场多点预测模型，预测辊道窑烧结段的多点 烧结温度。

其中，在所述步骤S1中，输入参数包括辊道窑烧成段每节的上喷枪煤气的 入口速度、下喷枪煤气的入口速度、煤气温度、煤气总压力、二级煤气压力、 助燃风总管风流速、喷枪前流速、助燃总管风压力、喷枪前压力、助燃风燃烧 前温度、一级抽烟风机频率、一级抽烟风机电流、二级抽烟风机频率以及二级 抽烟风机电流。

实施例2

如图2至图5所示，基于深度学习的辊道窑温度场多点预测方法，包括以 下步骤：

S10：采集数据并对数据预处理，包括步骤S101以及步骤S102；

S101：采集数据：采集到的输入变量有辊道窑烧成段每节上、下喷枪的煤气入 口速度；煤气燃烧前温度；煤气总压力；二级煤气压力；助燃风总管风流速； 喷枪前流速；助燃总管风压力；喷枪前压力；助燃风燃烧前温度；一级抽烟风 机频率、电流；二级抽烟风机频率、电流。利用Fluent软件对辊道窑温度进行 仿真并验证。在仿真的单节几何空间中取8个点作为输出变量，每10秒采集1 次。对所有输入特征采集实时测量值，每10秒采集1次，作为该时间节点的样 本值。对所有采集的样本组成一个数据集，并对数据集进行高斯滤波，删除噪 声数据。

S102：数据预处理：不同参数量纲不一样，需要对数据归一化以便进一步操作。 对得到的数据集进行统计分析，得出各自特征的最大值和最小值，对数据进行 归一化处理：

其中x是未归一化的数据，x’是归一化后的数据，X_max和X_min是特征的最大值 和最小值。

S11：对特征进行降维：三节窑的所有输入参数众多，数据集冗余严重，增加了 模型不必要的复杂性。因此通过KPCA对归一化后的数据降维，主元贡献率取 90％，选用高斯核函数：

其中m,n＝(1,2,…,z)，z表示降维前特征个数，X_m,X_n表示降维前的特征向量， δ是高斯核函数的宽度，一般根据经验或者通过粒子群等优化算法获得；降维 后的特征为k，则输入参数矩阵是X’_i＝(x₁,x₂,…,x_h,…,x_i)，其中x_h＝(x_1h, x_2h,…,x_kh)，i代表i个时间向量；输入温度矩阵是 Y_j＝(y₁,y₂,…,y_h,…,y_j)，其中y_h＝(y_1h,y_2h,…,y_8h)；输出温度向量表示为 y_j+1＝(y₁,y₂,…,y₈)。收集N个时间点的数据组成输入数据集[X]，输出数据 集[Y]并存储。把数据划分为测试集和训练集，一般80％的数据作为训练集，20％ 的数据作为测试集。本例以500组数据作为训练集，100组数据作为测试集， 降维后的特征个数K＝4。

S12：建立辊道窑温度场多点预测模型，包括步骤S121、步骤S122以及步骤S123，基于Transformer算法框架，预测模型由编码组件和解码组件构成，编码组件 由多个编码器堆栈而成，解码组件由多个解码器堆栈而成。每个编码器由一个 自注意力层和一个全连接前馈神经网络组成。每个解码器由自注意力层、编码- 解码注意力层、全连接前馈神经网络组成。

S121：考虑到中间节输入参数的重要性，输入矩阵都会在编码开始对中间节输 入变量进行加权操作，计算公式如下：

X’_(j,k)＝λX_(j,k),λ≥1.2 (3)

其中X是中间节输入变量的原始数据，X’是加权后的数据，j表示变量的 序列位置，k表示向量里的时刻位置。把加权后的X’矩阵包含在输入参数矩阵 Xi中。首先进行第一个编码器运算，输入矩阵经过自注意力层，对每个时间节 点的向量数据进行加权，实现每个时间节点输入变量的非线性关系。公式如下：

Q_i＝X_i×W_i ^QK_i＝X_i×W_i ^KV_i＝X_i×W_i ^V (4)

其中Q_i、K_i、V_i表示输入向量X′_i的查询矩阵、键矩阵和值矩阵，W_i ^Q、W_i ^K、 W_i ^V是Q_i、K_i、V_i的参数矩阵。d_k是Q_i和K_i的维度，Softmax是归一化指数函数， C_i是自注意力层的输出矩阵。然后进行残差连接，这能够很好的消除层数加深 所带来的信息损失问题。公式如下：

其中

是残差连接后的输出矩阵。进而

通过全连接前馈神经网络，增加 模型的非线性表达能力，能够更好理解系统的复杂关系。公式如下：

其中max函数是ReLU激活函数，同样，如式(6)一样对前馈神经网络的输出矩 阵进行残差连接，得到

矩阵。这样第一个编码器运算完成，把

作为输入带 入下一个编码器继续运算，以此类推，数据经过多个编码器，最终编码组件输 出了能够键矩阵K′和值矩阵V′。

S122：解码组件接收编码组件的输出矩阵K′和V′作为每一个解码器的编码-解 码层的键矩阵和值矩阵。解码组件的输入是Y_j是前j个时间节点的烧结温度， 这考虑了窑炉燃烧温度的连续性，燃烧时前j时间节点对j+1个时间节点的温 度影响。

Y_j首先进行第一个编码器的计算，经过如公式(4)、(5)的自注意力层，公式 (6)的残差连接得到输出Q_i，作为编码-解码层的查询矩阵。经过如公式(4)、5) 的注意力计算，公式(6)的残差连接得到输出矩阵Y_j ¹，然后经过如公式(9)的前 馈神经网络计算，公式(6)的残差连接得到第一个解码器的输出矩阵Y_j ²，并把它 作为第二个解码器的输入做运算，依次运算下去，最后一个解码器的输出就是 第j个时间节点的温度向量y_j+1。

S123：对模型进行更新

x_q代表新样本的输入参数集，x_i代表最近样本的输入参数集，u为设置的阈 值。

S13：训练和测试模型，包括步骤S131以及步骤S132

S131：初始化模型的超参数：在训练和测试模型内部参数之前，需要确定模型 的超参数。根据本例实际情况，6个输入参数向量作为一个输入矩阵；每层查 询矩阵、键矩阵和值矩阵的参数矩阵

维度设置为6×4；全连接 前馈神经网络输入输出维度为4，隐藏层维度为8.；编码器和解码器各设置6 个。模型内部待训练参数随机初始化。损失函数设置为：

S132：训练集输入矩阵带入预测模型，输出向量作为标签值。依次通过各个编 码器和解码器，通过多个时间节点组成的训练样本的训练，使用损失函数训练 模型参数，使模型达到最优拟合。最后通过多个测试样本，验证模型的有效性 和鲁棒性。便于可视化，把温度向量求平均作为此刻温度数据，测试结果如图6所示，虚线是实际数据，实线是预测数据，计算得到烧结温度的准确度在96％ 以上，符合预期结果。

S14：将待预测数据输入辊道窑烧结温度时空预测模型，预测辊道窑烧结段的时间维与空间维的多点温度，根据模型更新策略的阈值，选择性更新模型。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并 非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述 说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有 的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替 换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于深度学习的辊道窑温度场多点预测方法，其特征在于，包括以下步骤：

S1：利用辊道窑传感器采集辊道窑中的各输入参数以及辊道窑中真实烧结温度；

S2：根据步骤S1中采集的输入参数的边界值，运用仿真软件对辊道窑的温度进行仿真，利用步骤S1采集到的真实烧结温度验证仿真软件的准确性，同时输出传感器测量不到的位置点的仿真烧结温度；

S3：根据输入参数、仿真烧结温度定义输入数据集，输入数据集包括输入参数矩阵Xi及输入温度矩阵Yj，其中，输入参数矩阵Xi在i个时刻里共有i个输入参数向量，输入参数向量包括Z个输入参数变量；输入温度矩阵Yj在j个时刻里共有j个输入温度向量，输入温度向量包括m个空间点的仿真烧结温度，时刻j在时刻i之前；

S4：基于Transformer算法框架，建立辊道窑温度场多点预测模型，预测模型包括编码组件以及解码组件，所述编码组件包括若干个堆栈而成的编码器，所述解码组件包括若干个堆栈而成的解码器；在编码阶段中，利用编码器对输入参数矩阵Xi进行编码，把前一个编码器的状态矩阵作为输入运行后一个编码器，直到运行完所有的编码器，最后一个编码器的输出矩阵加权转化为查询矩阵K和键矩阵V，作为编码组件最后的输出；在解码阶段中，解码组件的输入包括输入温度矩阵Yj，还包括将编码组件的输出K和V输入到每个解码器中并作为该解码器的键向量和值向量；经过多个解码器解码，最后输出目前时间点的辊道窑烧结段的多点温度。

2.根据权利要求1所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，在所述步骤S4中，所述编码器包括自注意力层以及前馈神经网络，由多个输入参数向量组成的输入参数矩阵Xi，通过编码器的自注意力层并行计算每个输入参数向量，编码器的自注意力层的输出作为前馈神经网络的输入，通过前馈神经网络输出状态矩阵，前馈神经网络拟合了输入参数与仿真烧结温度的非线性，把上个编码器的状态矩阵作为输入运行下一个编码器，直到运行完所以编码器，最后一个编码器的输出矩阵加权转化为查询矩阵K和键矩阵V，作为编码组件最终的输出。

3.根据权利要求2所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，在编码阶段，编码器的自注意力公式如下：

其中，Q_i、K_i、V_i分别表示查询矩阵、键矩阵、值矩阵，W_i ^Q、W_i ^K、W_i ^V分别是Q_i、K_i、V_i的参数矩阵，d_k是Q_i和K_i的维度，softmax是归一化指数函数，C_i是自注意力层的输出矩阵；

在编码阶段，前馈神经网络公式如下：

FFN(C_i)＝max(0,C_i×W₁+b₁)×W₂+b₂

其中，W₁是前馈神经网络中间层的权值参数、b₁是前馈神经网络中间层的偏置参数、W₂是前馈神经网络输出层的权值参数、b₂是前馈神经网络输出层的偏置参数，max函数是ReLU激活函数。

4.根据权利要求3所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，所述解码器包括自注意力层、编码-解码注意力层以及前馈神经网络，解码组件的输入包括前j时刻的温度参数向量组成的输入温度矩阵Yj，其作为第一个解码器的输入；解码组件的输入还包括把编码组件的输出K和V输入到每个解码器的编码-解码注意力层并作为这层的键向量和值向量，解码器的自注意力层的输出作为编码-解码自注意力层的查询矩阵Q。

5.根据权利要求2所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，需要在编码组件以及解码组件的初始输入矩阵中嵌入位置矩阵，改进的位置权重计算公式如下：

X’_(j,k)＝λX_(j,k)

其中X是中间节窑炉每个变量的时间向量组成的输入矩阵，X^,是加权后的输入矩阵，λ是权重值，1.5<λ<2.0，j表示中间节单个变量的在所有变量的序列位置，k表示单个变量内的时间序列位置。

6.根据权利要求1所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，在步骤S3中，对输入数据集以及输出数据集进行高斯滤波，删除噪声和异常数据，对滤波后的输入数据集、输出数据集进行统计分析，分别得出输入数据集、输出数据集的各个参数的最大值和最小值，然后对输入数据集以及输出数据集进行归一化处理，归一化处理的公式为：

其中x是未归一化的数据，x’是归一化后的数据，x_max和x_min是特征的最大值和最小值。

7.根据权利要求6所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，利用KPCA对输入参数进行非线性降维，去除输入参数之间的线性相关性，最后把降维后的数据映射到原低维空间，最终在低维空间表征为对数据进行了非线性降维。

8.根据权利要求1所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，所述编码组件和解码组件的每一层后都分别有残差连接，其公式如下：

Y＝F(X)+X

其中X是层的输入，F(X)是层的输出，Y是残差的输出。

9.根据权利要求7所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，根据降维后的数据，训练和测试步骤S4建立的预测模型，确定模型的内部参数；具体包括以下步骤，首先根据实际生产情况确定模型的超参数；然后对模型进行训练，把训练集的输入矩阵带入预测模型作为输入，根据步骤S2中仿真软件采集的第i时刻辊道窑的m个空间点的仿真烧结温度作为输出向量yi，输出向量yi作为模型输出的标签，通过多个训练样本的训练，使模型达到最优拟合；最后通过多个测试样本，验证模型的有效性和鲁棒性；将待预测数据输入到训练好的辊道窑温度场多点预测模型，预测辊道窑烧结段的多点烧结温度。

10.根据权利要求1所述的基于深度学习的辊道窑温度场多点预测方法，其特征在于，在所述步骤S1中，输入参数包括辊道窑烧成段每节的上喷枪煤气的入口速度、下喷枪煤气的入口速度、煤气温度、煤气总压力、二级煤气压力、助燃风总管风流速、喷枪前流速、助燃总管风压力、喷枪前压力、助燃风燃烧前温度、一级抽烟风机频率、一级抽烟风机电流、二级抽烟风机频率以及二级抽烟风机电流。

Images