CN115436371A - 基于多源信息融合的Autoformer烧结矿FeO含量软测量方法 - Google Patents

Abstract

本发明公开了一种基于多源信息融合的Autoformer烧结矿FeO含量软测量方法。首先，针对烧结过程数据动态性、强非线性和多源异构性等复杂特征，提出一种多源信息融合策略实现特征级信息融合和数据级信息融合，分别用于烧结矿横截面的图像特征提取和多源异构数据整合。随后，将较为全面的烧结过程信息以串行的方式输入至下游的Autoformer模型中。上述串行连接不仅提高了信息容量，还提供了关于烧结矿FeO含量等级的先验信息，这有利于Autoformer捕捉烧结流程中复杂的时序分布，使得基于多源信息融合的Autoformer模型在真实的工业场景中具备更精准的建模能力。

Description

基于多源信息融合的Autoformer烧结矿FeO含量软测量方法

技术领域

本发明属于烧结过程质量指标的软测量建模方法，具体涉及一种基于多源信息融合策略的Autoformer烧结矿FeO含量软测量模型。

背景技术

烧结过程状态的稳定性与烧结矿质量直接影响高炉炉况、产品质量以及生产能耗。烧结矿FeO含量是评价烧结矿生产的一项重要质量指标。在实际生产过程中，烧结矿的质量检测一般通过抽样化验来完成，该过程耗时过长，存在着显著的滞后性。针对该情况，有经验的操作人员会结合烧结机尾部烧结矿断面的燃烧状态来估计烧结矿FeO的含量，如果烧结矿的产品质量达不到工艺的要求，操作人员会结合经验提供相应的工艺参数的调整，这种简单的调控机制过于依靠经验，可靠性较低，严重影响着生产效率和烧结矿质量的稳定性。因此，结合烧结过程中的容易测量的参数(如原料配比、操作参数、设备参数和烧结机状态参数等等)，通过建立某种数学模型，来获取易测变量与难以实时获取变量(如烧结矿的质量指标)间的函数关系，从而对烧结矿FeO含量完成有效、实时的软测量，对于提高烧结过程的稳定性具备十分重要的意义。

烧结生产伴随着一系列复杂的物理化学反应，烧结过程数据存在着明显的时滞性、动态性与非线性，这些数据一般由传感器获取，以数值形式存在。然而除了数值数据，烧结机尾部的烧结矿断面直接反应了烧结矿的燃烧状态，以更为直观的方式体现了烧结矿质量的变化。在工业现场，烧结机尾部的烧结矿断面信息通常由可见光相机与红外热像仪采集，以可见光图像或者温度分布的形式来呈现。因此，数据的多源性也是烧结过程的典型特征，如何有效地结合多源异构数据完成烧结矿FeO含量的软测量，已经成为当下的研究热点与难点。

发明内容

本发明针对复杂的多源异构数据难以有效用于烧结矿质量指标实时测量的问题，提出一种基于多源信息融合策略的Autoformer烧结矿FeO含量软测量模型；采用多源信息融合策略将结矿横截面图像信息嵌入到时间序列中，实现特征级信息融合和数据级信息融合；多源信息融合为下游的Autoformer带来了全面的烧结过程描述与FeO含量等级的先验信息；基于串行结构实现模型的整体搭建，使其有利于捕捉烧结流程中复杂的时序分布，具备精准的软测量建模结果。

本发明采用以下技术方案实现：

步骤1：离线建模；

步骤1.1：对于烧结生产过程中的同一批原料，以成品烧结矿采样时间为基准，根据烧结机结构、台车运行状况以及物料传送皮带对烧结过程数据进行采样回溯，采集整个烧结流程中的各部位的传感器数据与烧结矿断面红外图像数据。

步骤1.2：结合专家知识和数据驱动的SE-ResNet分类模型，分别完成烧结矿断面的浅层特征与深层特征提取，实现图像特征级信息融合；

在烧结过程中，专家们总是关注最基本、最重要的反映生产质量的因素，从而实时估计烧结矿质量指标，通过不同的控制操作来保持稳定的生产。在烧结机尾部，烧结矿断面温度(通常被工人认为是亮度)和烧结红层厚度是直接反映燃烧状态的关键特征。烧结一致性代表垂直燃烧速度，主要与透气性有关，在很大程度上影响烧结矿FeO含量。同时，由于垂直烧结速率决定了燃烧终点即烧透点(burn-through point，BTP)，因此BTP的整体状态对烧结矿性能的评价也起着重要作用。总的来说，根据专家知识共提取烧结矿断面温度、烧结红层厚度、燃烧一致性和BTP整体状态等四个浅层特征，分别以Temp、Thick、C和S_BTP表示。以高和宽分别为h和w的烧结矿断面红外热成像图为例，上述特征具体表示为：

其中，t_ij表示烧结矿断面红外热成像图坐标(i，j)处的温度，p_j为第j列像素点中的红层高度，m_j表示第j列像素点中最高温度点的高度；

随后，采用SE-ResNet模型对烧结矿断面的FeO含量等级进行分类，根据网络学习到的分层卷积特征进行深度特征提取。ResNet是一种高效的深度学习框架，它通过残差学习模块来缓解深度网络的训练困难问题。设残差学习模块的输入是X，预期的底层映射U(X)定义为：

U(X)＝F(X)+X

式中，F(X)表示用于叠加的非线性残差映射层，X以快捷连接的方式接入残差学习模块，与F(X)通过元素加法得到U(X)。一般而言，F(X)中至少设置两个权重层以确保残差模块的有效性，以两个权重层为例，F(X)具体可表示为：

F(X)＝W₂σ(W₁X)

其中，W₁和W₂分别为第一个权重层和第二个权重层的权重矩阵，σ表示实现非线性激活函数(例如ReLU函数)。在上述残差学习模块基础上，将两个权重层替换为卷积层即可得到卷积残差模块，通过叠加多个残差卷积模块可实现ResNet模型的搭建。由于常规的卷积操作难以区分特征通道间的重要性，这里采用SE模块探索通道间的依赖关系，实现特征通道的重新校准与选择。假设常规残差卷积模块可以表示为F_cov：X→Y，

X和Y分别为卷积变换前后的输入和输出，H、W、C和H′、W′、C′分别表示输入和输出图像的高、宽和通道数，Y＝[y₁，y₂，...，y_C′]代表具体的C′个子通道输出。SE模块由压缩、激励和加权等三步组成。首先，对Y的每个通道实施全局平均池化，以第f个通道y_f为例，压缩变换F_sq可表示为：

其中，y_f(i，j)代表通道y_f中坐标(i，j)处的数值，sf为第f个通道压缩变换后的输出。随后执行激励变换F_ex，具体而言引入sigmoid激活门控机制，实现通道权值的自适应校准：

w＝F_ex(s，W)＝δ(g(s，W))＝δ(W_FC，2σ(W_Fc，1s))

其中，w＝[w₁，w₂，...，w_C′]是C′个通道的权值集合，δ是sigmoid激活函数，σ是ReLU函数，g(s，W)表示由两个全连接层(fully connected，FC)和一个ReLU组成的门控结构，s＝[s₁，s₂，...，s_C′]表示F_sq的C′个输出，

和

是两个FC层的权值矩阵。在这个门控结构中，两个FC层分别降低(C′→C′/r)和提升(C′/r→C′)了ReLU函数前后的通道维数，使得激励变换在捕获通道间的非线性依赖时限制了模型复杂度。参数r是控制模型复杂度的超参数。最后，基于加权变换函数F_we，对输出Y进行缩放，得到加权输出

对于单通道计算，F_we计算可以表示为：

其中w_f是第f个通道权值，符号·表示标量w_f与单通道数据

的乘积，

表示

的第f个加权通道。基于上述步骤，可以完成SE-ResNet模块搭建，基于SE-ResNet模块的堆叠可组建出SE-ResNet模型；

基于烧结机尾部的烧结矿断面红外热成像图，搭建SE-ResNet网络实现烧结矿FeO含量的等级分类；在模型训练结束后，根据网络学习到的分层卷积特征与每层特征通道间的权值大小，采用3σ准则选取权值显著的特征通道；随后，基于图像形态学运算消除噪声干扰，突出细节区域，分别计算细节区域的面积占比与温度和，实现图像深度特征的选取；

基于上述的图像特征提取，分别将浅层特征与深层特征进行量化，以变量的形式完成图像特征级信息融合；随后通过计算图像采集与传感器数据采样的时间差，实现图像特征与传感器数值的数据级信息融合。

步骤1.3：基于步骤1.1和步骤1.2将多源融合信息以串行连接方式与下游Autoformer模型相融合。Autoformer的整体实施过程可由N个Encoder层和M个Decoder层组成；Encoder和Decoder在层级内模块首尾相连，Encoder的输出在每个Decoder层内部实现层级间相连。对于长度为L维度为d的输入序列

Autoformer的实施步骤如下：

通过求解第1个季节分量

-求解和第2个季节分量

_搭建Encoder层：

其中，AutoCorrelation、FeedForward和SeriesDecomp分别表示自相关模块、前向传播模块和趋势分解模块，

表示第l-1个Encoder层的输出，

表示Encoder层的初始输入，

和

分别表示第l个Encoder层中SeriesDecomp模块输出的两个季节分量，″_″是省略掉的趋势分量；重复上述公式N次可实现Encoder层堆叠；

对于Decoder层而言，模块输入的初始化步骤如下：

X_des，p：L，X_det，p：L＝SeriesDecomp(X_de，p：L)

X_des＝Concat(X_des，p：L，X₀)

X_det＝Concat(X_det，p：L，X_mean)

其中，

表示长度为L维度为d的Decoder层的整体输入，X_de，p：L提供了时间步p至L的历史信息，

分别表示X_de，p：L的季节分量和趋势分量，X₀和X_mean表示0和X_de的均值，分别填充在X_des，p：L和X_det，p：L的末尾构建Decoder层的季节分量输入X_des和趋势分量输入X_det；随后，依次计算Decoder层的第1对、第2对和第3对季节分量和趋势分量：

上式中，

表示第l-1个Decoder层的输出，且

为Encoder部分输出的潜变量，

代表第l个Decoder层中第i对季节分量和趋势分量；上述趋势分量通过累加得到第l个Decoder层的整体趋势分量：

其中，W_l，i，i∈{1，2，3}表示用于第l个Decoder层中第i个趋势分量

的投影矩阵，且

重复上述公式M次可实现Decoder层堆叠；最终，通过以下公式完成预测：

这里第M个Decoder层季节分量

与投影矩阵W_M相乘后改变维度，随后与第M个Decoder层趋势分量

相加得出最终预测值；

上述趋势分解模块采用移动平滑的方式将序列分解为季节分量与长期趋势项，对于长度为L维度为d的输入序列

而言，SeriesDecomp可表示为：

X_t＝AvgPool(Padding(X))

X_s＝X-X_t

其中，

分别表示季节分量与趋势分量；

上述自相关模块实现了子序列级别的自相关分析，具体执行步骤如下：

对于长度为L维度为d的输入序列

进行线性映射，得到对应的矩阵Q，K，V：

Q＝W_QX

K＝W_KX

V＝W_VX

随后，计算子序列的自相关性：

其中，R_Q，K(τ)表示Q_t与延迟了τ的序列K_t-τ间的相关性，这里采用快速傅里叶变换计算求得；

最终，实现相似的子序列的时延聚合：

τ₁，…，τ_k＝arg Topk(R_Q，K(τ))，τ∈{1，…，L}

通过选取相关性最高的k个子序列所对应长度τ₁，…，τ_k，最终计算序列权值

完成子序列的加权聚合；

在完成Autoformer的模型搭建后，利用步骤1.2中SE-ResNet网络提供的烧结矿断面红外图像的FeO含量等级，可以生成额外的长期趋势分量，将该趋势分量与Autoformer的Decoder部分的原始输入数据合并，可以为预测任务提供当前时刻的先验质量信息；对于输入的红外图像X_image，上述先验质量信息与Autoformer模型的融合方式如下：

y_c＝SE_ResNet(X_image)

y_t，c＝AvgPool(Padding(y_c)

X_det，c＝Concat(X_det，y_t，c)

上式中，y_c为SE-ResNet模型提供的图像等级分类结果，随后采用移动平滑可以得到y_c的趋势分量y_t，c，最终将y_t，c与Decoder层原始的趋势分量输入X_det合并，得到具备先验质量信息的趋势分量输入X_det，c。

步骤2：在线软测量；

步骤2.1：以成品烧结矿采样时间为基准，按照步骤1.1采集整个烧结流程中的各部位的传感器数据X_num和烧结矿断面红外图像X_image；

步骤2.2：对于烧结机尾部的烧结矿断面红外图像X_image，按照步骤1.2提取烧结断面的浅层特征M_s与深层特征M_d，实现特征级信息融合X_f＝Concat(M_s，M_d)与数据级信息融合X_en＝Concat(X_f，X_num)；

步骤2.3：将多源信息融合数据X_en输入Autoformer计算N个Encoder层潜变量

随后按照步骤1.3计算Decoder层的初始输入X_des和X_det，c，输入M个Decoder层后实现烧结矿FeO含量的软测量：

本发明的有益效果在于：

1、结合专家知识和数据驱动的SE-ResNet分类模型，实现烧结矿断面特征提取，提供更加可靠、全面的图像信息。

2、通过对观测图像进行压缩，根据采样时间将图像特征与数值数据进行融合，有利于建立连续烧结过程的时间序列模型，确保了过程数据动态特性的完整性。

3、多源信息融合策略提高了下游任务的信息容量，SE-ResNet的分类结果也为烧结矿质量预测提供了先验知识，从而提高了Autoformer的准确性和可靠性。

4、多源信息融合的Autoformer模型搭建了深度卷积网络与Autoformer的串行结构，将图像信息嵌入到时间序列中，然后捕获序列中输入和输出之间的全局依赖关系，为复杂烧结过程质量指标软测量提供了一种有效的方法。

附图说明

图1为基于多源信息融合的Autoformer烧结矿FeO含量软测量模型构建流程图。

图2为烧结过程的流程图。

图3为烧结机尾烧结矿断面的红外图像关键帧选择图。

图4为SE-ResNet模型结构与深层特征提取图。

图5为烧结过程多源信息融合示意图。

图6为图像特征与烧结矿FeO含量之间的Pearson相关系数热图。

图7为不同模型的FeO含量软测量结果图。

图8为20次实验中16种不同模型的FeO含量软测量R²指标箱线图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。图1基于多源信息融合的Autoformer烧结矿FeO含量软测量模型构建流程图，下列案例的实施基于图1中的具体步骤完成。

(1)烧结过程数据采集

本次实验数据来自中国华南某钢铁集团烧结厂的360平方米烧结机。如表1所示，用于建立烧结矿FeO含量软测量模型的原始变量有19个，具体包括17个数值过程变量、1个烧结矿断面红外图像和1个输出变量即FeO含量化验值。由于整个烧结过程一般超过1小时，因此回溯策略在不同位置收集变量，以保证数据质量。如图2所示，烧结过程第1阶段的采样回溯是基于送料皮带的长度与速度的比值来实现的；在烧结过程的第2阶段和第3阶段，由于烧结台车和环冷机的运行速度不断变化，因此通过直接测量物料运输时间来实现不同变量的采集(例如，通过台车定位装置可以测量从n#风箱到烧结机尾部的烧结反应时间)。具体而言，表1中，t为烧结矿成品的采样时间，t_a和t_b分别为环冷机运行和烧结机尾破碎过程的时间消耗，t_n为烧结台车从n#风箱至烧结机尾的运行时间，t_f表示从进料仓到点火位置所花费的时间，l₁、l₂分别为二混圆筒前后的送料带长度，v为送料带皮带速度，m₁和m₂分别为一混圆筒和二混圆筒的时间消耗，带“*”的变量采集自烧结机两侧后取平均后获得。

表1烧结过程数变量表

(2)烧结矿断面红外图像特征提取与融合

基于表1中变量17提供的烧结矿断面红外图像，分别实现图像浅层特征与深层特征的提取。首先，针对红外热像仪提取到的原始视频帧，实现烧结矿断面关键帧提取。在烧结机尾部，随着台车的翻转，成品烧结矿不断落下破碎。这一过程伴随着快速的明暗过渡，这将会造成可见光相机的过度曝光，该情况下，由于在线红外热像仪的工作原理是采集每个像素点的温度，因此可以避免光线变化带来的数据误差。图3中(1)至(5)部分提供了烧结矿在烧结机尾部的运动轨迹与烧结矿断面红外图像信息的变换。(1)部分为烧结矿的下落时刻，此时画面较为清晰，烧结矿断面红层刚刚暴露在空气中，断面温度最高。随后，烧结烧结矿断面红层与空气充分接触后温度快速下降，且伴随着成品烧结矿的下落，烧结机底部扬起灰尘，为热像仪拍摄带来干扰(例如，(2)部分中灰尘覆盖了烧结矿横截面右侧，降低了图像亮度，即测量温度)。随着台车的翻转，(3)部分提供了烧结矿即将下落时的图像，由于台车角度的变化，此时拍摄到的烧结矿截面的燃烧层变小。随后，(4)部分和(5)部分记录下一个烧结断面的生成过程。

从整体上看，烧结矿在下落时刻(如图3的(1)部分和(5)部分)，烧结矿断面与冷空气接触的时间最短，且不受粉尘干扰。因此，这类图像提供了较为全面的温度信息，在红外热像仪视频帧的后续特征提取中应选用这类图像。如图3的(6)部分所示，在本实验中可以根据各红外图像的全局温度和来选择上述关键帧。值得注意的是，由于烧结工艺的热处理性质，隔热罩和台车表面在烧结机尾部均有较高的温度，这可能会对红外图像的关键帧选取带来较大的干扰。因此，将用于计算的红外图像区域从480×640缩小到128×640，以保证关键帧的准确提取。具体来说，红外图像的计算区域用图3中的(1)部分至(5)部分中的虚线矩形表示。虚线矩形的下边缘代表烧结料层的底部位置(即水平状态下台车的表面位置)，虚线矩形的上边缘与图中的隔热罩相切。由于本实验使用的在线红外热像仪固定在烧结机尾部，且烧结台车和隔热罩的物理位置不变，因此上述红外图像计算区域的设置是较为合理的。

在选择红外图像的关键帧后，分别基于专家知识和SE-ResNet分类模型提取烧结矿断面的浅层和深层特征。首先，基于专家知识分别提取浅层特征Temp、Thick、C和S_BTP；随后，基于图像关键帧训练SE-ResNet模型用于烧结矿FeO含量等级分类，并逐层选取模型中权重显著的特征通道提取红外图像的深层特征。具体而言，每个卷积层中的特征通道选取准则如下：

w_i＜u_w-2σ_w|w_i＞u_w+2σ_w

其中w_i为当前卷积层中第i个通道的权重，u_w和σ_w分别为当前卷积层中所有通道权重的平均值和标准差。

表2提供了SE-ResNet-18模型的结构与烧结矿断面深层特征提取的细节。根据表2显示，Conv1层提供的通道特征与原始图像没有明显差异，因此特征提取从Cov2_x层开始。对于每个选定的特征通道，首先将红外图像转换为二值图，然后利用图像形态学运算消除噪声干扰，突出细节区域。最后得到改进后的二值图(表2中“A”类深层特征)和二值图对应的红外图像(表2中“B”类深层特征)。从表2所示的代表性通道可以看出，Cov2_x层主要关注局部高温区域，在该卷积层中，特征F₁和F₂分别提供了局部高温区域的面积占比和温度和。Cov3_x和Cov4_x层的特征通道分别提取了图像的细节亮点和粗糙亮点。亮点代表着高温点，亮点的间距大小在一定程度上反映了烧结反应层的孔隙度；基于此，特征F₃和F₅提供亮点面积占比，特征F₄和F₆计算亮点区域对应的温度和，以反应孔隙率的变化与孔隙间的燃烧状态。由于卷积层的叠加，Cov5_x层的特征映射比较抽象，因此使用原始通道特征的整体温度和来构建特征F₇。值得注意的是，前6个图像深层特征(从F₁到F₆)与烧结机断面的燃烧状态(局部亮度和孔隙率)高度相关，也是烧结工艺专家非常关注的反应特征。这说明SE-ResNet-18提取的图像特征是相对可靠的，具有较高的可解释性。从另一个角度来看，图像形态学操作的一些参数也可以由专家进行微调，以提高图像深层特征的质量，使这些特征接近烧结矿断面的可观察却难以量化的燃烧状态，这样该模型的特征提取性能可以在专家的干预下得到进一步提高。

表2烧结矿断面深层特征提取

基于上述烧结矿断面红外图像的浅层特征与深层特征，结合烧结过程的其余数值数据，根据图5可实现烧结过程多源信息融合。

(3)基于多源信息融合的Autoformer模型训练

将烧结过程的多源融合信息作为Autoformer模型Encoder的输入，并采用SE-ResNet-18模型提供的烧结矿FeO含量等级分类信息优化Autoformer模型Decoder的输入，最终以烧结矿FeO含量的化验值作为目标，训练Autoformer模型直至收敛。

(4)基于多源信息融合的Autoformer模型完成流程

步骤1：离线建模；

步骤1.1：对于烧结生产过程中的同一批原料，以成品烧结矿采样时间为基准，根据烧结机结构、台车运行状况以及物料传送皮带对烧结过程数据进行采样回溯，采集整个烧结流程中的各部位的传感器数据与烧结矿断面红外图像数据。

步骤1.2：结合专家知识和数据驱动的SE-ResNet分类模型，分别完成烧结矿断面的浅层特征与深层特征提取，实现图像特征级信息融合。

在烧结过程中，专家们总是关注最基本、最重要的反映生产质量的因素，从而实时估计烧结矿质量指标，通过不同的控制操作来保持稳定的生产。在烧结机尾部，烧结矿断面温度(通常被工人认为是亮度)和烧结红层厚度是直接反映燃烧状态的关键特征。烧结一致性代表垂直燃烧速度，主要与透气性有关，在很大程度上影响烧结矿FeO含量。同时，由于垂直烧结速率决定了燃烧终点即烧透点(burn-through point，BTP)，因此BTP的整体状态对烧结矿性能的评价也起着重要作用。总的来说，根据专家知识共提取烧结矿断面温度、烧结红层厚度、燃烧一致性和BTP整体状态等四个浅层特征，分别以Temp、Thick、C和S_BTP表示。以高和宽分别为h和w的烧结矿断面红外热成像图为例，上述特征具体表示为：

其中，t_ij表示烧结矿断面红外热成像图坐标(i，j)处的温度，p_j为第j列像素点中的红层高度，m_j表示第j列像素点中最高温度点的高度。

随后，采用SE-ResNet模型对烧结矿断面的FeO含量等级进行分类，根据网络学习到的分层卷积特征进行深度特征提取。ResNet是一种高效的深度学习框架，它通过残差学习模块来缓解深度网络的训练困难问题。设残差学习模块的输入是X，预期的底层映射U(X)定义为：

U(X)＝F(X)+X

式中，F(X)表示用于叠加的非线性残差映射层，X以快捷连接的方式接入残差学习模块，与F(X)通过元素加法得到U(X)。一般而言，F(X)中至少设置两个权重层以确保残差模块的有效性，以两个权重层为例，F(X)具体可表示为：

F(X)＝W₂σ(W₁X)

其中，W₁和W₂分别为第一个权重层和第二个权重层的权重矩阵，σ表示实现非线性激活函数(例如ReLU函数)。在上述残差学习模块基础上，将两个权重层替换为卷积层即可得到卷积残差模块，通过叠加多个残差卷积模块可实现ResNet模型的搭建。由于常规的卷积操作难以区分特征通道间的重要性，这里采用SE模块探索通道间的依赖关系，实现特征通道的重新校准与选择。假设常规残差卷积模块可以表示为F_cov：X→Y，

X和Y分别为卷积变换前后的输入和输出，H、W、C和H′、W′、C′分别表示输入和输出图像的高、宽和通道数，Y＝[y₁，y₂，...，y_C′]代表具体的C′个子通道输出。SE模块由压缩、激励和加权等三步组成。首先，对Y的每个通道实施全局平均池化，以第f个通道y_f为例，压缩变换F_sq可表示为：

其中，y_f(i，j)代表通道y_f中坐标(i，j)处的数值，s_f为第f个通道压缩变换后的输出。随后执行激励变换F_ex，具体而言引入sigmoid激活门控机制，实现通道权值的自适应校准：

w＝F_ex(s，W)＝δ(g(s，W))＝δ(W_FC，2σ(W_Fc，1s))

其中，w＝[w₁，w₂，...，w_C′]是C′个通道的权值集合，δ是sigmoid激活函数，σ是ReLU函数，g(s，W)表示由两个全连接层(fully connected，FC)和一个ReLU组成的门控结构，s＝[s₁，s₂，...，s_C′]表示F_sq的C′个输出，

和

是两个FC层的权值矩阵。在这个门控结构中，两个FC层分别降低(C′→C′/r)和提升(C′/r→C′)了ReLU函数前后的通道维数，使得激励变换在捕获通道间的非线性依赖时限制了模型复杂度。参数r是控制模型复杂度的超参数。最后，基于加权变换函数F_we，对输出Y进行缩放，得到加权输出

对于单通道计算，F_we计算可以表示为：

其中w_f是第f个通道权值，符号·表示标量w_f与单通道数据

的乘积，

表示

的第f个加权通道。基于上述步骤，可以完成SE-ResNet模块搭建，基于SE-ResNet模块的堆叠可组建出SE-ResNet模型。

基于烧结机尾部的烧结矿断面红外热成像图，搭建SE-ResNet网络实现烧结矿FeO含量的等级分类；在模型训练结束后，根据网络学习到的分层卷积特征与每层特征通道间的权值大小，采用3σ准则选取权值显著的特征通道；随后，基于图像形态学运算消除噪声干扰，突出细节区域，分别计算细节区域的面积占比与温度和，实现图像深度特征的选取。

基于上述的图像特征提取，分别将浅层特征与深层特征进行量化，以变量的形式完成图像特征级信息融合；随后通过计算图像采集与传感器数据采样的时间差，实现图像特征与传感器数值的数据级信息融合。

步骤1.3：基于步骤1.1和步骤1.2将多源信息以串行连接方式与下游Autoformer模型相融合。Autoformer的整体实施过程可由N个Encoder层和M个Decoder层组成；Encoder和Decoder在层级内模块首尾相连，Encoder的输出在每个Decoder层内部实现层级间相连。对于长度为L维度为d的输入序列

Autoformer的实施步骤如下：

通过求解第1个季节分量

-求解和第2个季节分量

_搭建Encoder层：

其中，AutoCorrelation、FeedForward和SeriesDecomp分别表示自相关模块、前向传播模块和趋势分解模块，

表示第l-1个Encoder层的输出，

表示Encoder层的初始输入，

和

分别表示第l个Encoder层中SeriesDecomp模块输出的两个季节分量，″_″是省略掉的趋势分量；重复上述公式N次可实现Encoder层堆叠。

对于Decoder层而言，模块输入的初始化步骤如下：

X_des，p：L，X_det，p：L＝SeriesDecomp(X_de，p：L)

X_des＝Concat(X_des，p：L，X₀)

X_det＝Concat(X_det，p：L，X_mean)

其中，

表示长度为L维度为d的Decoder层的整体输入，X_de，p：L提供了时间步p至L的历史信息，

分别表示X_de，p：L的季节分量和趋势分量，X₀和X_mean表示0和X_de的均值，分别填充在X_des，p：L和X_det，p：L的末尾构建Decoder层的季节分量输入X_des和趋势分量输入X_det；随后，依次计算Decoder层的第1对、第2对和第3对季节分量和趋势分量：

上式中，

表示第l-1个Decoder层的输出，且

为Encoder部分输出的潜变量，

代表第l个Decoder层中第i对季节分量和趋势分量；上述趋势分量通过累加得到第l个Decoder层的整体趋势分量：

其中，W_l，i，i∈{1，2，3}表示用于第l个Decoder层中第i个趋势分量

的投影矩阵，且

重复上述公式M次可实现Decoder层堆叠；最终，通过以下公式完成预测：

这里第M个Decoder层季节分量

与投影矩阵W_M相乘后改变维度，随后与第M个Decoder层趋势分量

相加得出最终预测值。

上述趋势分解模块采用移动平滑的方式将序列分解为季节分量与长期趋势项，对于长度为L维度为d的输入序列

而言，SeriesDecomp可表示为：

X_t＝AvgPool(Padding(X))

X_s＝X-X_t

其中，

分别表示季节分量与趋势分量。

上述自相关模块实现了子序列级别的自相关分析，具体执行步骤如下：

对于长度为L维度为d的输入序列

进行线性映射，得到对应的矩阵Q，K，V：

Q＝W_QX

K＝W_KX

V＝W_VX

随后，计算子序列的自相关性：

其中，R_Q，K(τ)表示Q_t与延迟了τ的序列K_t-τ间的相关性，这里采用快速傅里叶变换计算求得。

最终，实现相似的子序列的时延聚合：

τ₁，…，τ_k＝arg Topk(R_Q，K(τ))，τ∈{1，…，L}

通过选取相关性最高的k个子序列所对应长度τ₁，…，τ_k，最终计算序列权值

完成子序列的加权聚合。

在完成Autoformer的模型搭建后，利用步骤1.2中SE-ResNet网络提供的烧结矿断面红外图像的FeO含量等级，可以生成额外的长期趋势分量，将该趋势分量与Autoformer的Decoder部分的原始输入数据合并，可以为预测任务提供当前时刻的先验质量信息；对于输入的红外图像X_image，上述先验质量信息与Autoformer模型的融合方式如下：

y_c＝SE_ResNet(X_image)

y_t，c＝AvgPool(Padding(y_c)

X_det，c＝Concat(X_det，y_t，c)

上式中，y_c为SE-ResNet模型提供的图像等级分类结果，随后采用移动平滑可以得到y_c的趋势分量y_t，c，最终将y_t，c与Decoder层原始的趋势分量输入X_det合并，得到具备先验质量信息的趋势分量输入X_det，c。

步骤2：在线软测量；

步骤2.1：以成品烧结矿采样时间为基准，按照步骤1.1采集整个烧结流程中的各部位的传感器数据X_num和烧结矿断面红外图像X_image；

步骤2.2：对于烧结机尾部的烧结矿断面红外图像X_image，按照步骤1.2提取烧结断面的浅层特征M_s与深层特征M_d，实现特征级信息融合X_f＝Concat(M_s，M_d)与数据级信息融合X_en＝Concat(X_f，X_num)；

步骤2.3：将多源信息融合数据X_en输入Autoformer计算N个Encoder层潜变量

随后按照步骤1.3计算Decoder层的初始输入X_des和X_det，c，输入M个Decoder层后实现烧结矿FeO含量的软测量：

(5)软测量性能检验

为了检验基于多源信息融合的Autoformer烧结矿FeO含量软测量模型的应用效果，自2021年12月起共采集样本2379个，取红外热成像视频相邻关键帧之间的时间作为采样间隔，其中前1665个样本用于模型训练，后714个样本用于模型测试，时序样本的序列长度设置为10。为了初步验证所提取的图像特征的有效性，图6提供了图像特征与烧结矿FeO含量之间的Pearson相关系数热图。从图6可以看出，烧结矿断面温度与FeO含量的化验值相关性最低，这说明单纯通过烧结矿断面温度之和很难估计烧结矿质量的变化；而SE-ResNet则是基于数据驱动的训练模式，逐层关注图像不同区域的温度特征，弥补了上述缺陷，体现了深度特征提取的必要性。整体而言，其余10个图像特征(包括3个浅图像特征和7个深图像特征)与成品烧结矿FeO含量的Pearson相关系数均高于0.2，极大地丰富了烧结过程的数据信息。最终，基于多源信息融合的Autoformer(MIF-Autoformer)模型的软测量结果如图7所示，同时提供了门控循环神经网络(GRU)、基于门控循环神经网络的偏最小二乘(GRU-PLS)、Transformer、LogTrans和Autoformer等软测量模型进行性能对比；由图可知，基于循环神经网络搭建的模型(GRU和GRU-PLS)提供的软测量结果误差较大，而其余四个模型的软测量精度显著提高，其中MIF-Autoformer模型的拟合效果最佳；值得注意的是，虽然Autoformer模型同样提供了较好的拟合效果，但软测量值在FeO化验值周围存在上下波动，这直观地体现了多源信息融合策略对于Autoformer模型的性能提升效果。模型具体的软测量结果对比可参考表3，软测量效果通过均方根误差(RMSE)与决定系数(R²)来共同衡量。

表3不同模型烧结矿FeO含量软测量结果对比

为了更清楚地展示多源信息融合策略为模型提供的改进效果，图8额外提供了以下消融实验。利用上述五种基础模型及其改进模型的预测结果绘制箱线图。图8中“SF”代表只为下游模型提供图像的浅特征，“HF”代表为下游模型提供浅特征和深特征的混合特征；显然，“SF”和“HF”在大多数情况下都能提升不同模型的预测精度，而后者的提高效果更为显著，这主要是因为混合特征提供了更全面的图像信息，这也使得“HF”在不同模型中表现出了显著的通用性；“MIF”不仅为下游Autoformer模型引入了图像混合特征，还提供了烧结矿FeO含量的先验信息，从而进一步提高了模型的准确性和稳定性。

整体而言，基于多源信息融合的Autoformer模型具备最优的软测量效果，受到烧结过程中多源异构数据的启发，该模型结合专家知识和数据驱动的SE-ResNet分类模型，实现烧结矿断面特征提取，提供更加可靠和全面的图像信息；随后，根据采样时间将图像特征与数值数据进行融合，在实现多源信息融合时保留了数据的连续性，为下游时序模型的构建提供了必要基础；最终，在多源信息融合的基础上搭建Autoformer模型，利用子序列级别的相关性分析与数据聚合，捕捉烧结过程数据的复杂时序分布，为烧结矿FeO含量提供了精准、稳定的软测量结果。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于多源信息融合的Autoformer烧结矿FeO含量软测量方法，其特征在于，采用专家知识和数据驱动的SE-ResNet分类模型分别提取烧结矿断面的浅层特征与深层特征，实现特征级信息融合，根据采样时间点将图像特征与烧结过程中其他数值数据实现数据级信息融合；将多源信息融合数据用于下游的Autoformer模型，使其利用更全面的烧结过程信息捕捉输入数据与输出数据的全局依赖关系，进而得到精准、稳定的烧结矿FeO含量软测量结果。

2.根据权利要求1所述的基于多源信息融合的Autoformer烧结矿FeO含量软测量方法，其特征在于，所述多源信息来源于：

对于烧结生产过程中的同一批原料，以成品烧结矿采样时间为基准，根据烧结机结构、台车运行状况以及物料传送皮带对烧结过程数据进行采样回溯，采集整个烧结流程中的各部位的传感器数据与烧结矿断面红外图像数据；

所述多源信息融合的方式为：

结合专家知识和数据驱动的SE-ResNet分类模型，分别完成烧结矿断面的浅层特征与深层特征提取，实现图像特征级信息融合；

在烧结过程中，根据专家知识共提取烧结矿断面温度、烧结红层厚度、燃烧一致性和BTP整体状态等四个浅层特征，分别以Temp、Thick、C和S_BTP表示，高和宽分别为h和w的烧结矿断面红外热成像图，上述特征表示为：

其中，t_ij表示烧结矿断面红外热成像图坐标(i，j)处的温度，p_j为第j列像素点中的红层高度，m_j表示第j列像素点中最高温度点的高度；

随后，采用SE-ResNet模型对烧结矿断面的FeO含量等级进行分类，根据网络学习到的分层卷积特征进行深度特征提取；设残差学习模块的输入是X，预期的底层映射U(X)定义为：

U(X)＝F(X)+X

式中，F(X)表示用于叠加的非线性残差映射层，X以快捷连接的方式接入残差学习模块，与F(X)通过元素加法得到U(X)，F(X)中设置两个以上的权重层以确保残差模块的有效性；在上述残差学习模块基础上，将F(X)中的权重层替换为卷积层即可得到卷积残差模块，通过叠加多个残差卷积模块实现ResNet模型的搭建；采用SE模块探索通道间的依赖关系，实现特征通道的重新校准与选择；常规残差卷积模块表示为F_cov：X→Y，

X和Y分别为卷积变换前后的输入和输出，H、W、C和H′、W′、C′分别表示输入和输出图像的高、宽和通道数，Y＝[y₁，y₂，...，y_C′]代表具体的C′个子通道输出；SE模块由压缩、激励和加权等三步组成；首先，对Y的每个通道实施全局平均池化，第f个通道y_f，压缩变换F_sq表示为：

其中，y_f(i，j)代表通道y_f中坐标(i，j)处的数值，s_f为第f个通道压缩变换后的输出；随后执行激励变换F_ex，引入sigmoid激活门控机制，实现通道权值的自适应校准：

w＝F_ex(s，W)＝δ(g(s，W))＝δ(W_FC，2σ(W_FC，1s))

其中，w＝[w₁，w₂，...，w_C′]是C′个通道的权值集合，δ是sigmoid激活函数，σ是ReLU函数，g(s，W)表示由两个全连接层(fully connected，FC)和一个ReLU组成的门控结构，s＝[s₁，s₂，...，s_C′]表示F_sq的C′个输出，

和

是两个FC层的权值矩阵，参数r是控制模型复杂度的超参数；最后，基于加权变换函数F_we，对输出Y进行缩放，得到加权输出

对于单通道计算，F_we计算表示为：

其中w_f是第f个通道权值，符号·表示标量w_f与单通道数据

的乘积，

表示

的第f个加权通道；基于上述步骤，完成SE-ResNet模块搭建，基于SE-ResNet模块的堆叠组建出SE-ResNet模型；

基于烧结机尾部的烧结矿断面红外热成像图，搭建SE-ResNet网络实现烧结矿FeO含量的等级分类；在模型训练结束后，根据网络学习到的分层卷积特征与每层特征通道间的权值大小，采用3σ准则选取权值显著的特征通道；随后，基于图像形态学运算消除噪声干扰，突出细节区域，分别计算细节区域的面积占比与温度和，实现图像深度特征的选取；

基于上述的图像特征提取，分别将浅层特征与深层特征进行量化，以变量的形式完成图像特征级信息融合；随后通过计算图像采集与传感器数据采样的时间差，实现图像特征与传感器数值的数据级信息融合。

3.根据权利要求1所述的基于多源信息融合的Autoformer烧结矿FeO含量软测量方法，其特征在于，所述Autoformer的构建方式为：

将多源融合信息以串行连接方式与下游Autoformer模型相融合；Autoformer的整体实施过程由N个Encoder层和M个Decoder层组成；Encoder和Decoder在层级内模块首尾相连，Encoder的输出在每个Decoder层内部实现层级间相连；对于长度为L维度为d的输入序列

Autoformer的实施步骤如下：

通过求解第1个季节分量

求解和第2个季节分量

搭建Encoder层：

其中，AutoCorrelation、FeedForward和SeriesDecomp分别表示自相关模块、前向传播模块和趋势分解模块，

表示第l-1个Encoder层的输出，

表示Encoder层的初始输入，

和

分别表示第l个Encoder层中SeriesDecomp模块输出的两个季节分量，″_″是省略掉的趋势分量；重复上述公式N次实现Encoder层堆叠；

对于Decoder层而言，模块输入的初始化步骤如下：

X_des，p：L，X_det，p：L＝SeriesDecomp(X_de，p：L)

X_des＝Concat(X_des，p：L，X₀)

X_det＝Concat(X_det，p：L，X_mean)

其中，

表示长度为L维度为d的Decoder层的整体输入，X_de，p：L提供了时间步p至L的历史信息，X_des，p：L，

分别表示X_de，p：L的季节分量和趋势分量，X₀和X_mean表示0和X_de的均值，分别填充在X_des，p：L和X_det，p：L的末尾构建Decoder层的季节分量输入X_des和趋势分量输入X_det；随后，依次计算Decoder层的第1对、第2对和第3对季节分量和趋势分量：

上式中，

表示第l-1个Decoder层的输出，且

为Encoder部分输出的潜变量，

代表第l个Decoder层中第i对季节分量和趋势分量；上述趋势分量通过累加得到第l个Decoder层的整体趋势分量：

其中，W_l，i，i∈{1，2，3}表示用于第l个Decoder层中第i个趋势分量

的投影矩阵，且

重复上述公式M次可实现Decoder层堆叠；最终，通过以下公式完成预测：

这里第M个Decoder层季节分量

与投影矩阵W_M相乘后改变维度，随后与第M个Decoder层趋势分量

相加得出最终预测值；

上述趋势分解模块采用移动平滑的方式将序列分解为季节分量与长期趋势项，对于长度为L维度为d的输入序列

而言，SeriesDecomp表示为：

X_t＝AvgPool(Padding(X))

X_s＝X-X_t

其中，X_s，

分别表示季节分量与趋势分量；

上述自相关模块实现了子序列级别的自相关分析，执行步骤如下：

对于长度为L维度为d的输入序列

进行线性映射，得到对应的矩阵Q，K，V：

Q＝W_QX

K＝W_KX

V＝W_VX

随后，计算子序列的自相关性：

其中，R_Q，K(τ)表示Q_t与延迟了τ的序列K_t-τ间的相关性，采用快速傅里叶变换计算求得；

最终，实现相似的子序列的时延聚合：

τ₁，…，τ_k＝arg Topk(R_Q，K(τ))，τ∈{1，…，L}

通过选取相关性最高的k个子序列所对应长度τ₁，…，τ_k，最终计算序列权值

完成子序列的加权聚合；

在完成Autoformer的模型搭建后，利用SE-ResNet网络提供的烧结矿断面红外图像的FeO含量等级，生成额外的长期趋势分量，将该趋势分量与Autoformer的Decoder部分的原始输入数据合并，为预测任务提供当前时刻的先验质量信息；对于输入的红外图像X_image，上述先验质量信息与Autoformer模型的融合方式如下：

y_c＝SE_ResNet(X_image)

y_t，c＝AvgPool(Padding(y_c)

X_det，c＝Concat(X_det，y_t，c)

上式中，y_c为SE-ResNet模型提供的图像等级分类结果，随后采用移动平滑可以得到y_c的趋势分量y_t，c，最终将y_t，c与Decoder层原始的趋势分量输入X_det合并，得到具备先验质量信息的趋势分量输入X_det，c。

4.根据权利要求1所述的基于多源信息融合的Autoformer烧结矿FeO含量软测量方法，其特征在于，所述Autoformer烧结矿FeO含量软测量模型的应用流程为：

步骤4.1：以成品烧结矿采样时间为基准，采集整个烧结流程中的各部位的传感器数据X_num和烧结矿断面红外图像X_image；

步骤4.2：对于烧结机尾部的烧结矿断面红外图像X_image，提取烧结断面的浅层特征M_s与深层特征M_d，实现特征级信息融合X_f＝Concat(M_s，M_d)与数据级信息融合X_en＝Concat(X_f，X_num)；

步骤4.3：将多源信息融合数据X_en输入Autoformer计算N个Encoder层潜变量

随后计算Decoder层的初始输入X_des和X_det，c，输入M个Decoder层后实现烧结矿FeO含量的软测量：

Images