CN112439794B - 一种基于lstm的热轧弯辊力预测方法 - Google Patents

Abstract

本发明涉及一种基于LSTM的热轧弯辊力预测方法，采集不锈钢轧机热轧工艺的最终机架轧制数据并划分为训练集traindata和测试集testdata；对traindata进行归一化处理；构造矩阵P；将矩阵P的最后一行作为训练集的标签即真实值；对网络的输出值和真实值计算并更新；网络训练完成后，取出LSTM网络的最后m个输出数据作为下一时刻的输入，得到网络下一时刻的输出，即为下一时刻的弯辊力预测值；重复上述步骤直至获得足够数目的预测数据；将处理后的数据与testdata中的真实值进行比较，检验网络的有效性。本发明方法与传统LSTM网络相比，加入了更新机制后的网络模型准确度有所提升，且网络更加稳定。

Description

一种基于LSTM的热轧弯辊力预测方法

技术领域

本发明涉及一种轧制弯辊力预测技术，具体为一种基于LSTM的热轧弯辊力预测方法。

背景技术

高精度轧制要求轧材板形控制系统具有高精度、快速响应和抗扰动性。液压弯辊力控制是板材轧制生产中板形控制系统的基本环节，原理是通过向工作辊和支撑辊辊颈施加弯辊力，使轧辊产生弯曲变形来改变辊缝凸度，从而影响轧制过程中有载辊缝形状，促使带钢形状沿宽度方向发生改变，补偿由于其他轧制工艺因素变化带来的板形不良，保证带钢出口板形精度。因此弯辊力的预测精度对板形和板形控制精度有重要影响，尤其是带钢的头部。较高的弯辊力预测精度有利于其闭环反馈控制。在实际生产中，弯辊力通常是根据带钢的温度、厚度、宽度、轧制力、材质、轧辊的热膨胀、轧辊磨损及平直度和凸度等影响因素进行综合计算。然而，现有的基于传统数学方法的弯辊力预测模型，结构非常复杂，各影响因素具有非线性、强耦合、时变性的特点，严重影响了弯辊力预测模型的精度提高。因此，探索新的弯辊力预测模型显得十分必要。

神经网络以其独特的性质在许多领域得到了广泛的应用，神经网络的特点在于其能够完成内部关系复杂的系统建模，可以解决传统的非线性问题。此外，其自身还具有良好的鲁棒性和容错性。近年来，许多学者逐渐将神经网络算法应用于弯辊力预测领域，并且取得了较好的预测效果。如遗传算法的热连轧机弯辊力预设定控制；BP神经网络的弯辊力预设定优化；遗传算法优化神经网络的热轧带钢弯辊力预报模型等。然而，现有的神经网络弯辊力预测模型大多需要采集影响弯辊力的诸多参数作为输入，这些参数分散于整个轧制过程的各组成部分，导致数据采集工作难度大，任务繁重。同时，较多的输入参数不仅增加了数据处理上的任务，且容易导致模型复杂，进而影响网络的训练速度与预测精度。分析轧制过程可以发现，实际轧制过程中，轧制弯辊力是连续性的，每个轧制弯辊力都是与前期相关的，因此带有时间序列特性，而普通的神经网络不考虑时间上下文信息，使得普通的神经网络难以学习时间序列的趋势走向，会导致预测模型的准确度很低，难以对后续时刻的弯辊力做出准确预测。

发明内容

针对现有技术中存在的上述不足，本发明要解决的问题是提供一种基于LSTM的热轧弯辊力预测方法，能够准确、高效预测热轧带钢弯辊力。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种基于LSTM的热轧弯辊力预测方法，包括以下步骤：

1)采集不锈钢轧机热轧工艺的最终机架轧制数据，搜集弯辊力数据用于实验；

2)将弯辊力数据按照规定的比例在时间顺序上划分为训练集traindata和测试集testdata两个部分；

3)对traindata进行归一化处理得到归一化之后的向量；

4)利用步骤3)中的向量A构造矩阵P；

5)取步骤4)中矩阵P的前m行作为输入送到LSTM网络中；

6)将矩阵P的最后一行作为训练集的标签即真实值；对网络的输出值和真实值利用公式进行计算得到误差，再运用梯度下降法对网络的权重和偏置进行更新；

7)网络训练完成后，取出LSTM网络的最后m个输出数据作为下一时刻的输入，进而得到网络下一时刻的输出，该输出即为下一时刻的弯辊力预测值；

8)重复步骤7)直至获得足够数目的预测数据；

9)对得到的弯辊力预测值进行反归一化处理，将处理后的数据与testdata中的真实值进行比较，检验网络的有效性。

步骤4)中，矩阵

其中参数m为神经网络的输入层单元数，n为神经网络训练集所包含的样本数目。

步骤5)中，LSTM网络可采用传统LSTM网络，也可以采用ON-LSTM网络或双层ON-LSTM网络，采用双层ON-LSTM网络为：

取步骤4)中矩阵P的前m行作为第一层LSTM的输入，并且将得到的输出数据作为输入送到第二层LSTM，第二层LSTM的输出数据为该网络整体的输出。

双层ON-LSTM网络的第一层以及第二层LSTM引入了更新机制的有序神经元LSTM即ON-LSTM，在对LSTM进行参数更新时，使各神经元排序，并引入重要程度，即层次结构；层次较高的信息表示重要信息，需要在网络中保留；相反，低层次信息表示不重要信息，需要用新的输入数据更新，详细过程及计算公式如下：

假设与重要信息相对应的初级层次位置用S1表示，而与不重要信息相对应的次要层次位置用S2表示，S1和S2分别计算为：

S1＝F₁(x_t,h_t-1)＝index max(soft max(W_f～x_t+U_f～h_t-1+b_f～))

S2＝F₂(x_t,h_t-1)＝index max(soft max(W_i～x_t+U_i～h_t-1+b_i～))

其中indexmax函数的作用是求出向量中最大元素对应的位置序号；x_t为输入数据，h_t-1为递归数据，W_f～、U_f～为主遗忘门权重矩阵，b_f～为主遗忘门偏置，W_i～、U_i～为主输入门权重矩阵，b_i～为主输入门偏置；

当S2≥S1时，重要信息和不重要信息所对应的位置有部分重叠，当前细胞状态c_t的计算公式：

当S2<S1时，重要信息和次要信息所对应的位置相互独立，当前细胞状态ct由下式计算：

其中k为c_t的维数，f_t和i_t分别为遗忘门输出和输入门输出，

为中间单元状态，c_t-1为前一时刻的细胞状态。

分别将

和

定义为主遗忘门和主输入门；w_t1、w_t2和w_t3分别表示分层结构中的高、中和低等级，则有：

其中，

为主遗忘门输出，

为主输入门输出。

本发明具有以下有益效果及优点：

1.本发明一种基于LSTM的热轧弯辊力预测方法选用了LSTM(Long Short-TermMemory)神经网络模型，只需要将一定数目的弯辊力历史数据输入到网络中即可对未来时刻的弯辊力数据进行有效预测；除传统LSTM以外，还使用增添了更新机制的ON-LSTM网络进行预测。与传统LSTM网络相比，加入了更新机制后的网络模型准确度有所提升，且网络更加稳定。

2.本发明将更新机制与双层结构进行了融合，提升了网络性能，使网络的预测精度有了进一步提高，通过对传统LSTM、ON-LSTM以及双层ON-LSTM网络在上述三个数据集上进行实验，并对人工神经网络(ANN)用同样的数据集进行对比实验，比较实验结果证明了本发明提出的LSTM(传统LSTM、ON-LSTM、双层ON-LSTM)网络模型的有效性。

附图说明

图1为本发明基于LSTM的热轧弯辊力预测方法流程图；

图2为传统LSTM隐层结构图；

图3为ON-LSTM隐层结构图；

图4为双层LSTM结构图；

图5A为四种网络模型误差对比图数据集(一)；

图5B为四种网络模型误差对比图数据集(二)；

图5C为四种网络模型误差对比图数据集(三)；

图6A为传统LSTM网络的弯辊力预测结果数据集(一)；

图6B为传统LSTM网络的弯辊力预测结果数据集(二)；

图6C为传统LSTM网络的弯辊力预测结果数据集(三)；

图7A为ON-LSTM网络的弯辊力预测结果数据集(一)；

图7B为ON-LSTM网络的弯辊力预测结果数据集(二)；

图7C为ON-LSTM网络的弯辊力预测结果数据集(三)；

图8A为双层ON-LSTM网络的弯辊力预测结果数据集(一)；

图8B为双层ON-LSTM网络的弯辊力预测结果数据集(二)；

图8C为双层ON-LSTM网络的弯辊力预测结果数据集(三)；

图9A为ANN网络的弯辊力预测结果数据集(一)；

图9B为ANN网络的弯辊力预测结果数据集(二)；

图9C为ANN网络的弯辊力预测结果数据集(三)。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1所示，本发明提供一种基于LSTM的热轧弯辊力预测方法，包括以下步骤：

1)采集不锈钢轧机1580mm热轧工艺的最终机架轧制数据，搜集弯辊力数据用于实验；

2)将弯辊力数据按照规定的比例在时间顺序上划分为训练集traindata和测试集testdata两个部分；

3)对输入数据进行归一化处理得到归一化之后的向量，具体为：

对traindata进行线性归一化处理，得到归一化之后的向量A＝(a₁,a₂,......a_n)^T，其中参数n为神经网络训练集所包含的样本数目，a1～an为神经网络训练集所包含的样本；

4)利用步骤3)中的向量A构造矩阵P；

其中参数m为神经网络的输入层单元数，n为样本数；

5)取步骤4)中矩阵P的前m行作为输入送到LSTM网络中；

6)将矩阵P的最后一行作为训练集的标签即真实值；对网络的输出值和真实值利用公式进行计算得到误差，再运用梯度下降法对网络的权重和偏置进行更新；

7)网络训练完成后，取出LSTM网络的最后m个输出数据作为下一时刻的输入，进而得到网络下一时刻的输出，该输出即为下一时刻的弯辊力预测值；

8)重复步骤7)直至获得足够数目的预测数据；

9)对得到的弯辊力预测值进行反归一化处理，将处理后的数据与testdata中的真实值进行比较，检验网络的有效性。

步骤5)中，LSTM网络可采用传统LSTM网络(其隐层结构如图2所示)，也可以采用ON-LSTM(其隐层结构如图3所示)网络或双层ON-LSTM网络(其隐层结构如图4所示)。

采用ON-LSTM网络，步骤1)～9)与传统LSTM网络相同。

采用双层ON-LSTM网络，步骤1)～4)、6)～9)与传统LSTM网络相同，步骤5)为；步骤4)中矩阵P的前m行作为第一层LSTM的输入，并且将得到的输出数据作为输入送到第二层LSTM。第二层LSTM的输出数据为该网络整体的输出。

步骤5)中，第一层以及第二层LSTM是引入了更新机制的有序神经元LSTM即ON-LSTM。该更新机制的作用具体表现在对LSTM进行参数更新时，使各神经元按照一定的顺序排序，并引入重要程度，即层次结构。层次较高的信息表示重要信息，需要在网络中保留。相反，层次较低的信息表示不重要信息。例如某一时刻的弯辊力数据与前后时刻相差很大，产生很大的跳变，它对于整个弯辊力数据的趋势学习贡献不大，则为不重要信息，其他的数据相对来说则为重要信息。

需要用新的输入数据更新。详细过程及计算公式如下：

假设与重要信息相对应的初级层次位置用S1表示，而与不重要信息相对应的次要层次位置用S2表示。通过x_t和h_t-1，S1和S2分别计算为：

S1＝F₁(x_t,h_t-1)＝index max(softmax(W_f～x_t+U_f～h_t-1+b_f～))

S2＝F₂(x_t,h_t-1)＝index max(softmax(W_i～x_t+U_i～h_t-1+b_i～))

其中indexmax函数的作用是求出向量中最大元素对应的位置序号(从1开始排序)；xt为输入数据，ht-1为递归数据，W和U为权重矩阵，b为偏置。

网络基于这些层次位置更新ct。考虑S1和S2之间的相对幅度，有两类更新模型：(1)当S2≥S1时，重要信息和次要信息所对应的位置会有部分重叠，当前细胞状态c_t的计算公式：

当S2<S1时，重要信息和次要信息所对应的位置相互独立，当前细胞状态c_t由下式计算：

其中k为c_t的维数，f_t和i_t分别为遗忘门输出和输入门输出，

为中间单元状态。

为了方便描述上述更新过程，分别将

和

定义为主遗忘门和主输入门；w_t1、w_t2和w_t3分别表示分层结构中的高、中和低等级。

ON-LSTM网络的完整更新公式为：

其中cumax函数为cumsum(softmax())的简写。

步骤6)中所提到的LSTM网络权重和偏置的更新计算过程具体如下：

传统LSTM以及ON-LSTM网络的加权输入误差项的计算公式为：

采用双层结构的双层ON-LSTM，在对权重和偏置进行更新时，两层网络的计算略有不同。第一层和第二层LSTM的加权输入误差项计算公式分别为：

(1)第一层LSTM:

(2)第二层LSTM:

其中f_t为遗忘门输出，i_t为输入门输出o_t为输出门输出，c_t为当前细胞状态，c_t-1为前一时刻细胞状态，

为中间单元状态，x_t为输入数据，h_t为递归数据，h_t-1为前一时刻的递归数据，

为主遗忘门输出，

为主输入门输出，w_t1为高等级、w_t2为中等级、w_t3为低等级，W_fx、W_ix、W_cx、W_ox、

W_fh、W_ih、W_ch、W_oh、

为权重矩阵，b_f、b_i、b_c、b_o、

为偏置向量；δ_t为t时刻的误差项，δ_f,t、δ_i,t、

以及δ_o,t分别为f_t、i_t、c_t以及o_t这四个加权输入所对应的误差项。

权重梯度的计算：

偏置梯度的计算：

其中E为误差，

为h_t-1的转置，

为x_t的转置，W_oh,t为t时刻的W_oh，同理W_fh,t、W_ih,t、W_ch,t、W_ox,t、W_fx,t、W_ix,t、W_cx,t、b_o,t、b_f,t、b_i,t、b_c,t为t时刻的W_fh、W_ih、W_ch、W_ox、W_fx、W_ix、W_cx、b_o、b_f、b_i、b_c。

根据轧制过程的连续性和时间序列特征，本发明选用了LSTM(Long Short-TermMemory)神经网络模型。LSTM是长短期记忆网络，是一种时间递归神经网络(RNN)，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

本发明选择了LSTM网络进行弯辊力的预测。与传统的神经网络或者其他机器学习方法不同，本发明不需要预先采集大量的对弯辊力有影响的输入参数，简化了前期数据准备工作，只需要将当前时刻为止采集到的每一时刻的弯辊力数据组成一个时间序列作为输入送到网络当中，即可对LSTM网络进行训练并对后续时刻的弯辊力进行预测。

本发明共采用了三种不同的LSTM网络模型对弯辊力进行预测，除了传统LSTM网络以外，还提出了另外两种改进的LSTM网络用于实验。所述两种改进的LSTM网络分别为：

(1)ON-LSTM网络：ON-LSTM网络在传统LSTM网络的基础上增加了更新机制，与传统LSTM相比，ON-LSTM可以有效增强网络的鲁棒性，提高网络的准确度。

(2)双层ON-LSTM：双层ON-LSTM网络将更新机制与双层结构进行了有机结合。由于双层结构具有强大的拟合函数的能力，因而双层ON-LSTM可以在ON-LSTM的基础上进一步提高网络的预测精度。

为了证明本发明提出的LSTM(传统LSTM、ON-LSTM、双层ON-LSTM)网络模型的有效性，采集某不锈钢轧机1580mm热轧工艺的弯辊力数据，对其进行划分组成三个不同的数据集，每个数据集包含500个样本点。分别对传统LSTM、ON-LSTM以及双层ON-LSTM网络在上述三个数据集上进行实验，并对人工神经网络(ANN)用同样的数据集进行对比实验，比较实验结果。三种不同的网络模型在三个数据集上的最大误差和平均误差如下图5A～5C所示。根据图5A～5C)可以看到三种LSTM网络的预测误差均远远小于ANN网络，三种LSTM网络在数据集1-3(数据集1-3是对采集到的弯辊力数据进行切割划分，选取其中较为有代表性的三段不同的数据作为三个数据集进行实验)上均取得了良好表现,并且可以发现增加了更新机制的ON-LSTM网络优于传统LSTM网络。此外，在将ON-LSTM构造成双层结构后，网络性能得到了进一步提升，双层ON-LSTM网络在三种LSTM网络中误差最小，表现最好。

分别对三个不同的数据集取前450个样本点进行网络训练，并用训练好的LSTM网络对未来50个样本点即未来50个时刻的弯辊力数据进行预测，其结果如下图6A～6C、图7A～7C以及图8A～8C所示，可以看到本专利所提出的三种LSTM网络均能够有效地预测未来时刻的弯辊力数据，具有良好的拟合能力。三种LSTM网络的优良程度从高到低分别为：双层ON-LSTM、ON-LSTM、传统LSTM。

保持所用数据集，训练样本数以及预测样本数等条件不变的情况下，将本发明所用的LSTM网络替换成ANN网络进行对比实验，其结果如下图9A～9C所示。实验结果表明，采用ANN网络对弯辊力进行预测得到的结果误差较大，其效果远不如本专利提出的三种LSTM网络的预测效果好。并且通过与ANN网络进行对比，可以看到LSTM网络在处理连续时间序列方面具有强大的优势，可以有效解决本专利提出的弯辊力预测问题，具有很大的现实意义和应用价值。

Claims (1)

1.一种基于LSTM的热轧弯辊力预测方法，其特征在于包括以下步骤：

1)采集不锈钢轧机热轧工艺的最终机架轧制数据，搜集弯辊力数据用于实验；

2)将弯辊力数据按照规定的比例在时间顺序上划分为训练集traindata和测试集testdata两个部分；

3)对traindata进行归一化处理得到归一化之后的向量；

4)利用步骤3)中的向量A构造矩阵P；

5)取步骤4)中矩阵P的前m行作为输入送到LSTM网络中；

6)将矩阵P的最后一行作为训练集的标签即真实值；对网络的输出值和真实值利用公式进行计算得到误差，再运用梯度下降法对网络的权重和偏置进行更新；

7)网络训练完成后，取出LSTM网络的最后m个输出数据作为下一时刻的输入，进而得到网络下一时刻的输出，该输出即为下一时刻的弯辊力预测值；

8)重复步骤7)直至获得足够数目的预测数据；

9)对得到的弯辊力预测值进行反归一化处理，将处理后的数据与testdata中的真实值进行比较，检验网络的有效性；

步骤4)中，矩阵

其中参数m为神经网络的输入层单元数，n为神经网络训练集所包含的样本数目；

步骤5)中，LSTM网络可采用传统LSTM网络，也可以采用ON-LSTM网络或双层ON-LSTM网络，采用双层ON-LSTM网络为：

取步骤4)中矩阵P的前m行作为第一层LSTM的输入，并且将得到的输出数据作为输入送到第二层LSTM，第二层LSTM的输出数据为该网络整体的输出；

双层ON-LSTM网络的第一层以及第二层LSTM引入了更新机制的有序神经元LSTM即ON-LSTM，在对LSTM进行参数更新时，使各神经元排序，并引入重要程度，即层次结构；层次较高的信息表示重要信息，需要在网络中保留；相反，低层次信息表示不重要信息，需要用新的输入数据更新，详细过程及计算公式如下：

假设与重要信息相对应的初级层次位置用S1表示，而与不重要信息相对应的次要层次位置用S2表示，S1和S2分别计算为：

其中indexmax函数的作用是求出向量中最大元素对应的位置序号；x_t为输入数据，h_t-1为递归数据，

为主遗忘门权重矩阵，

为主遗忘门偏置，

为主输入门权重矩阵，

为主输入门偏置；

当S2≥S1时，重要信息和不重要信息所对应的位置有部分重叠，当前细胞状态c_t的计算公式：

当S2<S1时，重要信息和次要信息所对应的位置相互独立，当前细胞状态ct由下式计算：

其中k为c_t的维数，f_t和i_t分别为遗忘门输出和输入门输出，

为中间单元状态，c_t-1为前一时刻的细胞状态；

分别将

和

定义为主遗忘门和主输入门；w_t1、w_t2和w_t3分别表示分层结构中的高、中和低等级，则有：

其中，

为主遗忘门输出，

为主输入门输出。

Images