CN104537033B - 基于贝叶斯网络和极限学习机的区间型指标预报方法 - Google Patents

Abstract

基于贝叶斯网络和极限学习机的区间型指标预报方法，属于自动控制、信息技术和先进制造领域，具体涉及非对称高斯分布贝叶斯ELM模型参数的学习及非对称权重的自适应调整。其特征在于包括以下步骤：针对复杂生产过程不确定性特点，采用区间数来描述生产指标，将非对称高斯分布作为ELM模型中的输出分布，获得带权重贝叶斯ELM模型，并利用复杂生产过程中的实际运行数据，在经验贝叶斯框架下对上述贝叶斯ELM模型的参数进行学习。在此基础上，采用自适应调整方法学习一对互为倒数的权重，最终获得区间型指标的预报值。上述区间型指标预报方法可对实际生产过程中的生产指标进行预报，并用于指导生产过程的操作优化与动态调度。

Description

基于贝叶斯网络和极限学习机的区间型指标预报方法

技术领域

本发明属于自动控制、信息技术和先进制造领域，具体涉及针对难以建立机理模型且已有大量历史生产数据的复杂工业生产过程的一种基于贝叶斯网络和极限学习机(ELM)的区间型指标预报方法。

背景技术

生产指标预报是生产过程操作优化和动态调度中所涉及的关键技术之一，但在钢铁、微电子等行业实际复杂生产过程中，生产数据往往含有各种不确定性，基于神经网络、支撑向量机等常规预测模型给出的指标预报值与指标的实际测量值往往存在较大偏差，从而影响了操作优化和动态调度效果，采用区间型指标预报方法是解决上述指标预报难题的有效途径之一。

发明内容

本发明针对难以建立机理模型且已有大量历史生产数据的复杂生产过程，提出一种基于贝叶斯网络和极限学习机(ELM)的区间型指标预报方法。本发明针对复杂生产过程不确定性特点，采用区间数来描述生产指标，利用复杂生产过程中的实际运行数据，采用非对称高斯分布贝叶斯和ELM方法对区间型指标进行建模，并通过对一对互为倒数的权值进行自适应调整获得上边界模型和下边界模型，作为生产指标的预报区间。上述区间型指标预报方法可对实际生产过程中的生产指标进行预报，并用于指导生产过程的操作优化与动态调度。

一种基于贝叶斯网络和极限学习机(ELM)的区间型指标预报方法，其特征在于，所述方法是依次按如下步骤实现的：

步骤(1)：数据采集与预处理

利用数据采集系统从实际工业生产过程进行数据采集，并将上述数据处理成如下训练数据：

x_i＝(x_i，1，...，x_i，n)

其中，x_i和t_i分别为第i个训练样本的输入和输出，N为训练数据样本的个数，n为输入变量的维数；

步骤(2)：构造基于非对称高斯分布贝叶斯的双ELM模型

步骤(2.1)：将ELM模型可表示成如下形式：

t＝h(x)β+ε

其中，h(x)为ELM的隐层节点函数，β为输出层权重，ε为模型误差；

步骤(2.2)：ELM模型的输出可假设为如下非对称高斯分布：

其中，b为非对称高斯分布的方差参数，w为非对称高斯分布的权重；

步骤(2.3)：训练数据的似然函数可写成：

其中，H₁和t₁分别为满足t＜hβ的样本集的隐层输出矩阵和输出向量，H₂和t₂分别为满足t≥hβ的样本集的隐层输出矩阵和输出向量；

步骤(2.4)：对输出权值β使用高斯先验分布，即

其中，M是隐层节点数，a和β_k是高斯分布的参数；

步骤(2.5)：使用一对互为倒数权值(w，1/w)，记为(w₁，w₂)，并对其进行适当的调整，能得到两个带权重贝叶斯ELM模型(即基于非对称高斯分布贝叶斯的双ELM)：

p(t|a₁，b₁)＝∫p(t|β₁，b₁，w₁)p(β₁|a₁)dβ₁

p(t|a₂，b₂)＝∫p(t|β₂，b₂，w₂)p(β₂|a₂)dβ₂

步骤(3)：基于非对称高斯分布贝叶斯的双ELM模型的初始化

步骤(3.1)：ELM模型的初始化

选定输入层神经节点个数与训练样本维数n相同，输出神经节点个数为1，单隐层极限学习机的隐层节点数M：

隐层节点的激励函数h(x，o_l，r_l)可采用高斯函数/Sigmoid函数/正弦函数/三角基函数/Hard Limit函数；

根据最初的N个样本训练极限学习机，随机确定每个隐层节点的中心o_l和宽度r_l(隐层节点的激励函数h(x，o_l，r_l)采用高斯函数时)或随机确定每个隐层节点的权值o_l和偏置r_l(隐层节点的激励函数h(x，o_l，r_l)采用Sigmoid函数/正弦函数/三角基函数/Hard Limit函数时)，l＝1，2，L M，运用普通的极限学习机计算初始的隐层输出矩阵H和输出层连接矩阵的初始值其中，

步骤(3.2)：权重(w₁，w₂)的自适应调整算法的初始化

初始化权重w＝w₁＝w₂＝1，设定预测区间CI_trained＝0，设定权重调整单位值为δ_w＝0.05，设定权重的最小值w_min＝0.001，设定权重的学习率为r_w＝1，设定权重的停止准则ε_w＝0.00001；

步骤(4)：权重w₁的贝叶斯ELM模型的参数学习：

步骤(4.1)：使用贝叶斯公式，后验分布p(β₁|t)能用如下表示：

令有

其中，H_1，1和t_1，1分别为ε＜0的训练样本对应的隐层输出矩阵和输出值，H_1，2和t_1，2分别为ε＞0的训练样本对应的隐层输出矩阵和输出值，H₁＝[H_1，1；H_1，2]，t＝[t_1，1；t_1，2]；

步骤(4.2)：使用贝叶斯公式，边缘似然函数p(t|a₁，b₁)可表示如下：

其中，

则，

步骤(4.3)：令

解得，

其中，

步骤(4.4)：类似的，令

解得，

步骤(4.5)：重复步骤(4.1)、步骤(4.2)和步骤(4.3)，直到a₁和b₁收敛；

步骤(5)：权重w₂的贝叶斯ELM模型的参数学习：

本步骤与步骤(4)类似，这里直接给出结论；

步骤(5.1)：使用如下公式计算ELM模型的输出权值，

其中，H_2，1和t_2，1分别为ε＜0的训练样本对应的隐层输出矩阵和输出值，H_2，2和t_2，2分别为ε＞0的训练样本对应的隐层输出矩阵和输出值，H₂＝[H_2，1；H_2，2]，t＝[t_2，1；t_2，2]；

步骤(5.2)：分别使用如下公式计算a₂和b₂

其中，

步骤(5.3)：重复步骤(5.1)和步骤(5.2)，直到a₂和b₂收敛；

步骤(6)：权重(w₁，w₂)的自适应调整

步骤(6.1)：计算上界模型和下界模型的预测区间平均值：

步骤(6.2)：计算预测区间平均值与区间目标值的差：

CI_err＝CI_expected-CI_trained

步骤(6.3)：根据区间模型的预测区间平均值与区间目标值的差，使用如下方式进行权重调整

w^new＝w-CI_err×(w-w_min)×δ_w

w₁＝w^new，w₂＝1/w^new

步骤(7)：重复步骤(4)、步骤(5)和步骤(6)，直到CI_err满足停止条件；

步骤(8)：在上述模型参数学习完成的基础上，使用如下方式进行区间型指标预测，假设输入变量为x，

其中，t₁和t₂分别为区间型指标预测值的下界和上界；

附图说明

图1：基于贝叶斯网络和极限学习机的区间型指标预报方法的算法结构框图。

图2：本发明针对LF生产过程钢水温度的预测问题实施的模型输出与实际输出对比的曲线图。其中横坐标为样本编号，纵坐标蓝色小圆点为实际的钢水温度值，绿色曲线和红色曲线分别为预测模型的预测上界值和预测下界值。

图3：本发明针对LF生产过程钢水温度的预测问题实施的权重自适应调整过程及其对应的预测区间变化图。其中横坐标为模型学习的迭代次数，纵坐标中的蓝色曲线和红色曲线分别为上界模型和下界模型的权重的自适应调整过程，绿色曲线为其调整过程中相应的预测区间值。

具体实施方式

为验证上述基于区间数的区间极限学习机建模方法在处理区间数建模问题上的应用效 果，本发明做了大量仿真实验，由于篇幅有限，这里仅给出上述方法在某钢厂LF生产过程钢水温度的预测问题上和某微电子厂化学机械研磨工序出片厚度预测问题上的具体实施详细步骤：

(一)精炼炉钢水温度预报

第一步：精炼炉生产数据采集

采集每两次钢水测量之间的生产数据，将前一次钢水温度测量值、钢包状况、加热档位、加热时间、处理间隔时间、吹氩流量、包壁温度、烟气温度、烟气流量和环境温度等作为输入，后一次钢水温度测量值作为输出，共获得训练数据579个。

第二步：进行AB-TELM模型训练

根据说明书中步骤(3)给定的初始化方法，对AB-TELM模型中权重w₁的贝叶斯ELM模型(以下简称上界模型)、权重w₂的贝叶斯ELM模型(以下简称下界模型)的参数及权重自适应算法中的参数进行初始化；在初始化完成的基础上，分别按照说明书中步骤(4)和步骤(5)进行给定w₁和w₂的前提下，上界模型和下界模型的参数学习；再利用本发明说明书中的方法，按照步骤(6)对w₁和w₂进行自适应调整；重复上界模型、下界模型的参数学习过程及w₁、w₂的自适应调整过程，直到模型收敛。最优的隐层节点的激励函数和隐层节点数均需要通过交叉验证方法进行确定。

第三步：利用AB-TELM模型进行区间型指标预测

在实际工业生产过程中，使用数据采集系统对精炼炉现场实际工业生产数据进行采集，并按照第一步处理训练数据的方式将数据处理成AB-TELM模型所需的输入数据，共获得测试样本578个，然后利用第二步中训练得到的AB-TELM模型参数，按照步骤(8)计算区间型指标预测值。

实际效果图如下图所示，图2为给定区间10度时模型的预测结果，其中红色曲线代表温度预测的下界值，绿色曲线代表温度预测的上界值。从图2中可以看出在AB-TELM模型的预测结果中，上界模型的预测值均大于下界模型的预测值，且大部分实际数据均位于AB-TELM模型的预测区间中，说明模型的可行性。图3为其对应的权值自适应调整过程及其对应的预测区间变化图，其中绿色曲线为预测区间的变化过程，蓝色曲线为下界模型权重w₁的自适应调整过程，红色曲线为上界模型权重w₂的自适应调整过程。从图3可以看出， 在设定期望的预测区间为10度后，下界模型权重w₁和上界模型权重w₂能够根据模型的实际预测区间值与期望的预测区间的误差进行自适应调整，并经过10步左右的迭代，能够达到期望的预测区间值。表1为本发明所提出的算法AB-TELM与普通ELM以及基于支持向量机的双模型(包括线性核TSVR-1和高斯核TSVR-g)的仿真结果对比，采用的性能指标为均方误差(RMSE)。表1中#Nodes为ELM类别模型隐层节点数，C和ε为TSVR类别模型的误差惩罚系数和不敏感系数。从表1可以看出，AB-TELM的测试精度比ELM、TSVR-1、TSVR-g模型有了较大的提高，表明了本发明提出的AB-TELM模型的有效性。

(二)微电子化学机械研磨过程的研磨厚度预报

第一步：精炼炉生产数据采集

采集每个晶圆片的研磨时间、研磨厚度、所属产品品种，以及研磨设备检验标准值信息，并按所属产品品种信息将数据进行分组，在每组数据中，将研磨时间、研磨设备检验标准值作为模型输入数据，将研磨厚度作为模型输出数据，共获得训练数据1276个。

第二步：进行AB-TELM模型训练

根据说明书中步骤(3)给定的初始化方法，对AB-TELM模型中权重w₁的贝叶斯ELM模型(以下简称上界模型)、权重w₂的贝叶斯ELM模型(以下简称下界模型)的参数及权重自适应算法中的参数进行初始化；在初始化完成的基础上，分别按照说明书中步骤(4)和步骤(5)进行给定w₁和w₂的前提下，上界模型和下界模型的参数学习；再利用本发明说明书中的方法，按照步骤(6)对w₁和w₂进行自适应调整；重复上界模型、下界模型的参数学习过程及w₁、w₂的自适应调整过程，直到模型收敛。最优的隐层节点的激励函数和隐层节点数均需要通过交叉验证方法进行确定。

第三步：利用AB-TELM模型进行区间型指标预测

在实际工业生产过程中，使用数据采集系统对CMP现场实际工业生产数据进行采集，并按照第一步处理训练数据的方式将数据处理成AB-TELM模型所需的输入数据，共获得测试样本1276个，然后利用第二步中训练得到的AB-TELM模型参数，按照步骤(8)计算区间型指标预测值。

AB-TELM和其它模型在微电子CMP出片厚度预测问题上的性能比较如表2所示，从表中可以看出TSVR-1在该问题的性能明显比AB-TELM和TSVR-g差。此外，从仿真时间性能看，AB-TELM明显优于TSVR-1和TSVR-g。

表1 AB-TELM和其它模型在精炼炉钢水温度预测问题中的性能比较

表2 AB-TELM和TSVR区间模型在微电子CMP出片厚度预测问题上的性能比较

	AB-TELM	TSVR-l	TSVR-g
				RMSE	171.3005	245.113	172.072
仿真时间(秒)	3.511967	25.38918	32.90905

Claims (1)

1.基于贝叶斯网络和极限学习机的精炼炉钢水温度预报方法，其特征在于，所述方法是依次按如下步骤实现的：

步骤(1)：数据采集与预处理

利用数据采集系统从实际精炼炉生产过程进行数据采集，其中包括每炉钢水每两次温度测量之间的数据；在每组数据中，将前一次钢水测量温度、钢包状况、加热档位、加热时间、处理间隔时间、吹氩流量、包壁温度、烟气温度、烟气流量和环境温度作为模型输入训练数据，将后一次钢水测量温度作为模型输出数据；将上述数据处理成如下训练数据：

x_i＝(x_i，1，...，x_i，n)

其中，x_i和t_i分别为第i个训练样本的输入和输出，N为训练数据样本的个数，n为输入变量的维数；

步骤(2)：选定输入层神经节点个数，输出神经节点个数，单隐层极限学习机的隐层节点数，隐层节点的激励函数，非对称权重，区间目标值；通过下述基于非对称高斯分布贝叶斯的双ELM模型建立精炼炉钢水温度预报模型：

步骤(2.1)：将ELM模型可表示成如下形式：

t＝h(x)β+ε

其中，h(x)为ELM的隐层节点函数，β为输出层权重，ε为模型误差；

步骤(2.2)：ELM模型的输出可假设为如下非对称高斯分布：

其中，b为非对称高斯分布的方差参数，w为非对称高斯分布的权重，h为h(x)的简略表达；

步骤(2.3)：训练数据的似然函数可写成：

其中，H₁和t₁分别为满足t＜hβ的样本集的隐层输出矩阵和输出向量，H₂和t₂分别为满足t≥hβ的样本集的隐层输出矩阵和输出向量；

步骤(2.4)：对输出权值β使用高斯先验分布，即

其中，M是隐层节点数，a和β_k是高斯分布的参数；

步骤(2.5)：使用一对互为倒数权值(w，1/w)，记为(w₁，w₂)，并对其进行适当的调整，能得到基于非对称高斯分布贝叶斯的双ELM：

p(t|a₁，b₁)＝∫p(t|β₁，b₁，w₁)p(β₁|a₁)dβ₁

p(t|a₂，b₂)＝∫p(t|β₂，b₂，w₂)p(β₂|a₂)dβ₂

步骤(3)：基于非对称高斯分布贝叶斯的双ELM模型的初始化

步骤(3.1)：ELM模型的初始化

选定输入层神经节点个数与训练样本维数n相同，输出神经节点个数为1，单隐层极限学习机的隐层节点数M；

隐层节点的激励函数h(x，o_l，r_l)可采用高斯函数/Sigmoid函数/正弦函数/三角基函数/Hard Limit函数；

根据最初的N个样本训练极限学习机，随机确定每个隐层节点激励函数的参数o_l和r_l，l＝1，2，…M，运用普通的极限学习机计算初始的隐层输出矩阵H和输出层连接矩阵的初始值其中，

其中变量t的表示输出变量构成的列向量；

步骤(3.2)：权重(w₁，w₂)的自适应调整算法的初始化

初始化权重w＝w₁＝w₂＝1，设定预测区间CI_trained＝0，设定权重调整单位值为δ_w＝0.05，设定权重的最小值w_min＝0.001，设定权重的学习率为r_w＝1，设定权重的停止准则ε_w＝0.00001；

步骤(4)：权重w₁的贝叶斯ELM模型的参数学习：

步骤(4.1)：使用贝叶斯公式，后验分布p(β₁|t)能用如下表示：

令有

其中，H_1，1和t_1，1分别为ε＜0的训练样本对应的隐层输出矩阵和输出值，H_1，2和t_1，2分别为ε＞0的训练样本对应的隐层输出矩阵和输出值，H₁＝[H_1，1；H_1，2]，t＝[t_1，1；t_1，2]；

步骤(4.2)：使用贝叶斯公式，边缘似然函数p(t|a₁，b₁)可表示如下：

其中，

则，

步骤(4.3)：令

解得，

其中，

步骤(4.4)：类似的，令

解得，

步骤(4.5)：重复步骤(4.1)、步骤(4.2)和步骤(4.3)，直到a₁和b₁收敛；

步骤(5)：权重w₂的贝叶斯ELM模型的参数学习：

本步骤与步骤(4)类似，这里直接给出结论；

步骤(5.1)：使用如下公式计算ELM模型的输出权值，

其中，H_2，1和t_2，1分别为ε＜0的训练样本对应的隐层输出矩阵和输出值，H_2，2和t_2，2分别为ε＞0的训练样本对应的隐层输出矩阵和输出值，H₂＝[H_2，1；H_2，2]，t＝[t_2，1；t_2，2]；

步骤(5.2)：分别使用如下公式计算a₂和b₂

其中，

步骤(5.3)：重复步骤(5.1)和步骤(5.2)，直到a₂和b₂收敛；

步骤(6)：权重(w₁，w₂)的自适应调整

步骤(6.1)：计算上界模型和下界模型的预测区间平均值：

步骤(6.2)：计算预测区间平均值与区间目标值CI_{exp ected}的差：

CI_err＝CI_{exp ected}-CI_trained

步骤(6.3)：根据区间模型的预测区间平均值与区间目标值的差，使用如下方式进行权重调整

w^new＝w-CI_err×(w-w_min)×δ_w

w₁＝w^new，w₂＝1/w^new

步骤(7)：重复步骤(4)、步骤(5)和步骤(6)，直到CI_err满足停止条件；

步骤(8)：在上述模型参数学习完成的基础上，使用如下方式进行区间型指标预测，假设输入变量为x，

其中，t₁和t₂分别为区间型指标预测值的下界和上界。