CN105259754B - 一种基于主动学习的板厚智能控制方法 - Google Patents

Abstract

本发明涉及一种基于主动学习的板厚智能控制方法，属于智能控制技术领域，以神经网络可自学习的性能为理论依据，将动态神经网络与主动学习相结合，在线调整PID控制器参数，构建基于主动学习的发育模型，从而建立带钢厚度的智能控制系统，使板厚控制系统能够适时地进行自我调节，通过不断的训练动态神经网络优化板厚控制系统的控制性能。该方法为系统可在线调整控制参数提供了一种泛化能力强，适用范围广的数学模型；其次该方法将主动学习与动态神经网络相结合，通过主动学习采集网络训练样本，提高了网络自学习能力从而提高了系统的自适应能力，实现真正意义上的“智能”。

Description

一种基于主动学习的板厚智能控制方法

技术领域

本发明涉及一种基于主动学习的板厚智能控制方法，属于智能控制技术领域。

背景技术

钢铁工业在我国国民经济中占有重要的地位，是重要的基础产业。随着经济全球化进程的推进，在能源日益紧缺的今天，加大技术创新力度、改进生产工艺、提高产品质量成为钢铁行业共同的追求。智能技术中的神经网络正是解决厚度自动控制(AutomaticGauge Control，简称AGC)系统控制精度和轧制过程中不确定因素的成功技术之一。随着计算机技术的发展，人们利用人工智能的方法将操作人员的调整经验作为知识存入计算机中，根据现场实际情况，结合神经网络控制算法，计算机能自动调整PID参数，实现系统的最优控制，这就是智能PID控制器。我国自主研发轧机的时间比较晚，国内较为先进的轧机的AGC系统均采用进口产品，因此，开展智能控制方法在此类对象的建模与控制中的实际应用和仿真探讨，自行开发智能控制的AGC系统，不仅具有理论意义，而且对于促进我国自动化技术的发展，提高人工智能领域的研究水平，也具有极为重要的应用价值。

基于以上背景，本发明以神经网络可自学习的性能为理论依据，结合主动学习采样算法提出了一种基于主动学习的板厚智能控制方法，构建基于主动学习的发育模型，从而建立控制带钢厚度的智能控制系统，使板厚控制系统能够适时地进行自我调节，通过不断的训练动态神经网络优化板厚控制系统的控制性能。相关的专利如申请号为200910012699.2的发明专利提出板带样本长度跟踪，解决传统方法中滞后时间随轧制速度变化这一问题，提高系统的响应速度与控制精度。申请号为201010593675.3的发明专利采用测厚仪分段监控的方式精确测量出厚度计算模型的误差，提高厚度控制精度。申请号为201110274934.0的发明专利将监视AGC与秒流量AGC方法联用，使用特有的同步传输模型实现带钢参数的同步传输，使得板厚控制系统可以在带钢速度任意变化的情况下输出准确板厚值。申请号为201410461558.X的发明专利针对现有自动厚度控制系统非线性时变、大滞后的问题，构建了网络模型、辊缝厚度前馈模型、辊缝厚度预测模型以及辊缝位置自适应控制模型，提高了厚度控制精度。但是，以上专利大多都是在系统硬件设施上进行改进，并没有涉及控制系统在运行过程中可以适时自主地进行自我调节，并且在调解过程中将操作人员的调整经验作为知识存入控制器计算机内，目前，尚未见到与本发明相似的专利记录。

发明内容

针对上述技术问题，本发明提出一种基于主动学习的板厚智能控制方法，用以客服现有的液压厚度自动控制(AGC)系统智能控制水平有限、系统自适应能力较差，无法以自学习方式提高控制系统的准确性等问题。以神经网络可自学习的性能为理论依据，将动态神经网络与主动学习相结合，在线调整PID控制器参数，构建基于主动学习的发育模型，从而建立带钢厚度的智能控制系统，使板厚控制系统能够适时地进行自我调节，通过不断的训练动态神经网络优化板厚控制系统的控制性能。

本发明采用如下技术方案及实现步骤：

1、一种基于主动学习的板厚智能控制方法，其特征在于，包括以下步骤：

(1)构建初始动态神经网络模型，包括输入层、隐含层和输出层，确定各层神经元数量，设定神经元权值、网络训练的最大步数T、学习速率以及最大输出误差E_max，设定PID控制器三个参数k_p,k_i,k_d的初始值，设定板厚控制系统最大输出误差e_max；

如图2所示为本发明使用的动态神经网络拓扑结构图，它包含三层：输入层、隐含层及输出层。初始化神经网络：确定神经网络n-m-K的连接方式，即输入层n个节点，隐含层m个神经元，输出层K个神经元；

第一层，输入层神经元的输出为：

u_i＝x_i i＝1,2,...,n (1)

其中，u_i表示输入层第i个神经元的输出，x＝(x₁,x₂,...,x_n)表示神经网络的输入；

第二层，隐含层的输出为：

其中，函数f_j表示隐含层第j个神经元的输出，w_ij是输入层第i个神经元与隐含层第j个神经元间的连接权值；

第三层，输出层的输出为：

其中，y_k表示第k个神经元的输出，w_jk是隐含层第j个神经元与输出层第k个神经元之间的连接权值；

网络训练过程中均方差为：

其中，y_dk表示神经网络第k个神经元的期望输出，y_k表示神经网络第k个神经元的实际输出，t是神经网络训练步数。

2、通过基于一种改进型不确定性采样策略的主动学习算法，综合考虑样本的后验概率及其与已标记样本间的相似性，标注综合评价得分值较小的样本，加入到网络的训练样本集对网络进行训练，调整网络神经元连接权值，具体实现如下：

主动学习算法是一个迭代过程，首先使用已标记样本L对网络进行训练，得到网络神经元初始连接权值，之后用网络对无标记样本集U中进行输出，选取后验概率接近0.5的n个样本，对n个样本进行评定采集符合条件的样本，将采集到的样本加入到训练集中对网络进行训练；样本采集具体方法包括以下过程：

假设X＝{x₁,x₂,...,x_n}是从U中选出的n个无标记样例，这些样本的后验概率均接近0.5，对应的网络预算值Y′＝{y′₁,y′₂,...,y′_n}，其中，y′_n是无标记样例x_n经过动态网络运算后得到的相对应的输出值，即y′_n表示第n个网络预算值；

根据贝叶斯定理样本x_i的后验概率表示为：

计算样本x_i与已标记样本的相似性，表示为：

其中，是相似性测度函数；Sim(x_i)越小表示样本x_i与已标记样本L相似度越低；

综合上述两方面，对无标记样本x_i进行评价：

Goal(x_i)＝P_i·Sim(x_i) (7)

其次根据式(7)选取最小得分值Goal(x_i)的样本由专家进行标记，加入已标记样本集L得到一个新的标记样本集L′，再由L′重新训练网络，继续在剩下的无标记样本集U′中采集样本，直到达到最大迭代次数，或者U变为空集；

将采集到的样本根据步骤1网络输入输出间的关系对网络隐层神经元连接权值进行调节，目的是使网络输出均方差E(t)≤E_max。

3、判断是否达到最大训练步数T，若达到最大步数转向步骤5，否则转向步骤4。

4、判断网络输出均方差是否达到期望，若达到期望转向步骤5，否则转向步骤2。

5、将板厚控制系统输出误差e及误差变化率作为网络输入，PID控制器三个参数作为网络输出，构建基于主动学习的发育模型，其结构图如图3所示。根据步骤1中网络输入输出间的运算关系，经网络计算得出新的k_p,k_i,k_d值，对参数进行修改。

6、判断网络是否需要进行结构调整，若需要执行步骤7，否则转向步骤10。网络结构是否需要调节的判断方法如下：

假设采集到m个样本对网络进行训练，这些样本通过网络输出得到对应的均方差，并按大小排序，结果如下：

E₁,E₂,...,E_t,E_t+1,...,E_m-1,E_m

若E_t是动态网络对上述样本输出均方差最接近目标误差E_g的，则将E_t作为系统反馈误差调节网络权值，以此训练网络；如果网络输出的误差E≥αE_g，其中α是判断因子，α>1，说明此时神经网络的处理能力较弱，隐含层神经元个数需要增加；如果网络训练时间变得很长，此时的网络可能需要对神经元进行删减来简化自身结构。

7、根据sobol’敏感度分析法计算网络隐层神经元敏感度值，并按敏感度值大小进行排序，sobol’敏感度分析法计算网络隐层神经元敏感度值具体计算过程如下，以单输入单输出为例：

Sobol’方法是典型的基于方差的全局敏感度分析法，其核心思想是对模型函数进行分解，分别得到参数1次、2次以及更高次的敏感度；其中，1次敏感度代表参数主要影响，其他代表的是参数间相互作用的敏感度；假设模型输出函数Y＝f(x),输入x_i∈X；i＝1,2,...,n并且0≤x_i≤1，其中，X＝{x₁,x₂,...,x_n}是从U中选出的n个无标记样例，则，输出函数分解如下：

式中，若每一个分项都满足对其所包含的任意变量的积分为零，即：

其中，1≤i₁<i₂<...<i_k≤n，1≤s≤k，则式(8)分解形式是唯一的，且f₀＝∫...∫f(x)dx₁...dx_n是个常量，式中其他各分项也都可通过多重积分求得：

f_i(x_i)＝∫...∫f(x)dx₁...dx_i-1dx_i+1...dx_n-f₀ (10)

以此类推可得出式(8)中各个分解项函数；

利用sobol’敏感度分析法时，只考虑输入参数的一阶灵敏度值，输入参数一阶灵敏度值的计算方法，包括以下过程：

模型输出f(x)的总方差为：

E＝∫f²(x)dx-f₀ ² (12)

偏方差E_i为：

E_i＝∫f_i ²dx_i (13)

在sobol’方法中，总方差E表示所有输入参数X对模型输出的影响；偏方差E_i表示单个输入数x_i对模型输出的影响；则定义方差之比作为衡量输入参数作用的全局敏感度值，表示为：

即，s_i表示输入参数x_i对模型作用的全局敏感度；

将网络隐含层神经元与输出层神经元间的连接权值

[w₁₁,w₁₂,...,w_1K；w₂₁,w₂₂,...,w_2K；...；w_m1,w_m2,...,w_mK]，作为网络神经元敏感度分析的输入量，神经网络为多输出量，其输出根据式(8)分解为

其中，ω_im表示网络隐含层神经元与输出层神经元间的连接权值；y(ω)表示网络输出；y₁₀、y_k0表示第1个和第k个输出神经元输出结果y(ω)里的一个分量；y_1,2,...,m(w_1k,w_2k,...,w_mk)表示第k个输出神经元中m个神经元相互作用的敏感度；

由于动态神经网络中隐含层各神经元对网络输出的作用是相互独立的，故只需计算输入参数的一阶灵敏度值即可，利用上述sobol’算法计算出隐含层神经元一阶敏感度值，

8、若满足结构删减条件，删减敏感度值小于σ，σ为敏感度设定阀值，其小于目标误差的神经元，之后对所有神经元的连接权值进行调整，返回步骤2；神经元删减过程如下：

选择敏感度值s_i<σ的神经元删减，并对敏感度值仅大于最小敏感度值的神经元输出权值进行如下调整：

式(17)中，w_a和w′_a分别为结构调整前后敏感度值仅大于最小敏感度值的神经元a的输出权值；w_l为删减神经元的输出权值；b_l为敏感度值最小的神经元的输出；b_a为神经元a的输出；

采用梯度下降算法调节隐层所有神经元连接权值：

其中，η为参数学习步长；w为神经元连接权值；E为网络输出均方差。

9、若满足结构添加条件，添加新神经元，并结合敏感度值排序前两位的神经元对新神经元的连接权值进行设定，之后对所有神经元的连接权值进行调整，返回步骤2。神经元添加过程如下：

插入一个新神经元，设定其输入输出权值，并对敏感度值大小排在前两位的神经元的输出权值进行调整：

式(18)中，w_i与w_o分别为新神经元的输入输出权值；w_fi与w_fo分别是最大敏感度值神经元f的输入输出权值；w_si和w_so分别是敏感度值排第二位的神经元s输入输出权值；μ表示神经元f与神经元s之间的比重关系，其中S_f和S_s分别为两神经元的敏感度值；w′_fo和w′_so分别是神经元f与神经元s调整后的输出权值；同样采用梯度下降算法调节隐层所有神经元连接权值。

(10)判断板厚控制系统输出误差是否小于e_max，若小于e_max，结束调节，否则返回步骤5继续调节直至满足期望要求；

与现有技术相比，本发明的优点在于：首先以神经网络可自学习的性能为理论依据使得系统在调解过程中能将操作人员的调整经验作为知识存入控制器计算机内，为系统可在线调整控制参数提供了一种泛化能力强，适用范围广的数学模型；其次该方法将主动学习与动态神经网络相结合，通过主动学习采集网络训练样本，提高了网络自学习能力从而提高了系统的自适应能力，实现真正意义上的“智能”。

附图说明

图1为本发明所涉及的方法流程图；

图2为本发明的动态神经网络拓扑结构；

图3为板厚智能控制的发育模型；

图4为通过不同算法训练动态网络，得到的网络输出误差仿真曲线；

图5抗干扰实验仿真结果；

图6本发明设计方法与传统学习自动机方法评价函数曲线对比图。

具体实施方法：

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施方式对本发明作进一步说明。

本发明的智能控制发育模型结构图如图3所示，按照图1的步骤流程来进行学习。

实验一：动态神经网络的训练实验

如图2构建网络模型，设定网络输入层两个神经元，隐层三个神经元，输出层三个神经元，即2-3-3结构形式，学习步长为0.03，动量因子为0.2，激活函数选用S函数。在实验中选取5000个未标记样本进行训练，设定初始随机选择的训练样本数为200个，采用主动学习算法从5000个为标记样本中选取符合要求的训练样本加入到训练样本集中，网络神经元敏感度阀值为σ＝0.1，动态网络训练步数最大值为T＝10000，输出最大误差E_max＝0.04。图4描述的是分别通过基于改进型不确定性采样策略的主动学习(MUSAL)算法、基于不确定性采样策略的主动学习(USAL)算法和被动学习(Passive Learning,PL)算法等三种方法训练的动态神经网络的输出误差变化曲线。如图4所示，使用PL算法的动态网络达到稳定时，输出误差在0.04与0.05之间，而使用USAL算法的动态网络输出误差大约在0.04左右，使用MUSAL算法的动态网络最终输出误差为0.03左右。这就证明了MUSAL算法在缩短动态网络分类器训练时间上的有效性，并且也降低了网络的输出误差。

实验二：基于主动学习的智能控制发育模型工作的实验

设定刚厚度期望值h_r＝5mm，要求允许最大偏差值e_max＝0.05mm。实际板厚输出与板厚误差随轧制时间变化的仿真曲线如图5和图6所示。本发明的控制方法能使系统实际的输出厚度达到期望值5mm，输出在0.2s左右时开始稳定，并且最终可以保持稳定；输出误差满足要求，在0.05mm范围内，超调量很小；而被动学习动态网络控制器的输出虽然最终也达到了平衡但与期望值之间稍微存在一些误差，并且达到稳定时用时也较长，超调量较大。以此验证了本发明的高效性及适用性。

Claims (6)

1.一种基于主动学习的板厚智能控制方法，其特征在于，系统的智能控制模型以神经网络可自学习的性能为理论依据，结合主动学习实现系统参数的在线自我调节，所述方法包括以下步骤：

(1)构建初始神经网络模型，包括输入层、隐含层和输出层，确定各层神经元数量，设定神经元权值、网络训练的最大步数T、学习速率以及最大输出误差E_max，设定PID控制器三个参数k_p,k_i,k_d的初始值，设定板厚控制系统最大输出误差e_max；

(2)通过基于一种改进型不确定性采样策略的主动学习算法，综合考虑样本的后验概率及其与已标记样本间的相似性，标注综合评价得分值较小的样本，加入到网络的训练样本集对网络进行训练，调整网络神经元连接权值；

(3)判断是否达到最大训练步数T，若达到最大步数转向步骤(5)，否则转向步骤(4)；

(4)判断网络输出均方差是否达到期望，若达到期望转向步骤(5)，否则转向步骤(2)；

(5)将板厚控制系统输出误差e及误差变化率作为网络输入，PID控制器三个参数作为网络输出，构建基于主动学习的发育模型，经网络计算得出新的k_p,k_i,k_d值，对参数进行修改；

(6)判断网络是否需要进行结构调整，若需要执行步骤(7)，否则转向步骤(10)；

(7)根据sobol’敏感度分析法计算网络隐层神经元敏感度值，并按敏感度值大小进行排序；

(8)若满足结构删减条件，删减敏感度值小于σ，σ为敏感度设定阈 值，其小于目标误差的神经元，之后对所有神经元的连接权值进行调整，返回步骤(2)；

(9)若满足结构添加条件，添加新神经元，并结合敏感度值排序前两位的神经元对新神经元的连接权值进行设定，之后对所有神经元的连接权值进行调整，返回步骤(2)；

(10)判断板厚控制系统输出误差是否小于e_max，若小于e_max，结束调节，否则返回步骤(5)继续调节直至满足期望要求。

2.根据权利要求1所述的一种基于主动学习的板厚智能控制方法，其特征在于，步骤(1)中所述的动态神经网络拓扑结构，网络分为三层：输入层、隐含层及输出层；

初始化神经网络：确定神经网络n-m-K的连接方式，即输入层n个节点，隐含层m个神经元，输出层K个神经元；

第一层，输入层神经元的输出为：

u_i＝x_i i＝1,2,...,n (1)

其中，u_i表示输入层第i个神经元的输出，x＝(x₁,x₂,...,x_n)表示神经网络的输入；

第二层，隐含层的输出为：

其中，函数f_j表示隐含层第j个神经元的输出，w_ij是输入层第i个神经元与隐含层第j个神经元间的连接权值；

第三层，输出层的输出为：

其中，y_k表示第k个神经元的输出，w_jk是隐含层第j个神经元与输出层第k个神经元之间的连接权值；

网络训练过程中方差为：

其中，y_dk表示神经网络第k个神经元的期望输出，y_k表示神经网络第k个神经元的实际输出，t是神经网络训练步数。

3.根据权利要求1所述的一种基于主动学习的板厚智能控制方法，其特征在于，步骤(2)中基于一种改进型不确定性采样策略的主动学习算法样本采集具体实现如下：

主动学习算法是一个迭代过程，首先使用已标记样本L对网络进行训练，得到网络神经元初始连接权值，之后用网络对无标记样本集U中进行输出，选取后验概率接近0.5的n个样本，对n个样本进行评定采集符合条件的样本，将采集到的样本加入到训练集中对网络进行训练；样本采集具体方法包括以下过程：

假设X＝{x₁,x₂,...,x_n}是从U中选出的n个无标记样例，这些样本的后验概率均接近0.5，对应的网络预算值Y′＝{y′₁,y′₂,...,y′_n}，其中，y′_n是无标记样例x_n经过动态网络运算后得到的相对应的输出值，即y′_n表示第n个网络预算值；

根据贝叶斯定理样本x_i的后验概率表示为：

计算样本x_i与已标记样本的相似性，表示为：

其中，是相似性测度函数；Sim(x_i)越小表示样本x_i与已标记样本L相似度越低；

综合上述两方面，对无标记样本x_i进行评价：

Goal(x_i)＝P_i·Sim(x_i) (7)

其次根据式(7)选取最小得分值Goal(x_i)的样本由专家进行标记，加入已标记样本集L得到一个新的标记样本集L′，再由L′重新训练网络，继续在剩下的无标记样本集U′中采集样本，直到达到最大迭代次数，或者U变为空集；

将采集到的样本根据步骤(1)网络输入输出间的关系对网络隐层神经元连接权值进行调节，目的是使网络输出均方差E(t)≤E_max。

4.根据权利要求1所述的一种基于主动学习的板厚智能控制方法，其特征在于，判断网络是否需要进行结构调整的具体实现如下：

假设采集到m个样本对网络进行训练，这些样本通过网络输出得到对应的均方差，并按大小排序，结果如下：

E₁,E₂,...,E_t,E_t+1,...,E_m-1,E_m

若E_t是神经网络对上述样本输出均方差最接近目标误差E_g的，则将E_t作为系统反馈误差调节网络权值，以此训练网络；如果网络输出的误差E≥αE_g，其中α是判断因子，α>1，说明此时神经网络的处理能力较弱，隐含层神经元个数需要增加；如果网络训练时间变得很长，此时的网络需要对神经元进行删减来简化自身结构。

5.根据权利要求1所述的一种基于主动学习的板厚智能控制方法，其特征在于，sobol’敏感度分析法计算网络隐层神经元敏感度值具体计算过程如下，以单输入单输出为例：

Sobol’方法是典型的基于方差的全局敏感度分析法，其核心思想是对模型函数进行分解，分别得到参数1次、2次以及更高次的敏感度；其中，1次敏感度代表参数主要影响，其他代表的是参数间相互作用的敏感度；假设模型输出函数Y＝f(x),输入x_i∈X；i＝1,2,...,n并且0≤x_i≤1，其中，X＝{x₁,x₂,...,x_n}是从U中选出的n个无标记样例，则，输出函数分解如下：

式中，若每一个分项都满足对其所包含的任意变量的积分为零，即：

其中，1≤i₁<i₂<...<i_k≤n，1≤s≤k，则式(8)分解形式是唯一的，且f₀＝∫...∫f(x)dx₁...dx_n是个常量，式中其他各分项也都可通过多重积分求得：

f_i(x_i)＝∫...∫f(x)dx₁...dx_i-1dx_i+1...dx_n-f₀ (10)

以此类推可得出式(8)中各个分解项函数；

模型输出f(x)的总方差为：

偏方差E_i为：

E_i＝∫f_i ²dx_i (13)

在sobol’方法中，总方差E表示所有输入参数X对模型输出的影响；偏方差E_i表示单个输入数x_i对模型输出的影响；则定义方差之比作为衡量输入参数作用的全局敏感度值，表示为：

即，s_i表示输入参数x_i对模型作用的全局敏感度；

将网络隐含层神经元与输出层神经元间的连接权值

[w₁₁,w₁₂,...,w_1K；w₂₁,w₂₂,...,w_2K；...；w_m1,w_m2,...,w_mK]，作为网络神经元敏感度分析的输入量，神经网络为多输出量，其输出根据式(8)分解为

其中，ω_im表示网络隐含层神经元与输出层神经元间的连接权值；y(ω)表示网络输出；y₁₀、y_k0表示第1个和第k个输出神经元输出结果y(ω)里的一个分量；

y_1,2,...,m(w_1k,w_2k,...,w_mk)表示第k个输出神经元中m个神经元相互作用的敏感度；

由于动态神经网络中隐含层各神经元对网络输出的作用是相互独立的，故只需计算输入参数的一阶灵敏度值即可，利用上述sobol’算法计算出隐含层神经元一阶敏感度值，

6.根据权利要求1所述的一种基于主动学习的板厚智能控制方法，其特征在于，删减或添加神经元的计算过程如下：

网络结构若需要调节，计算出隐层神经元的敏感度值，并按大小顺序排好；

(1)删减神经元

若需删减神经元，选择敏感度值s_i<σ的神经元删减，并对敏感度值仅大于最小敏感度值的神经元输出权值进行如下调整：

式(17)中，w_a和w′_a分别为结构调整前后敏感度值仅大于最小敏感度值的神经元a的输出权值；w_l为删减神经元的输出权值；b_l为敏感度值最小的神经元的输出；b_a为神经元a的输出；

采用梯度下降算法调节隐层所有神经元连接权值：

其中，η为参数学习步长；w为神经元连接权值；E为网络输出均方差；

(2)添加神经元

若需添加神经元，插入一个新神经元，设定其输入输出权值，并对敏感度值大小排在前两位的神经元的输出权值进行调整：

式(18)中，w_i与w_o分别为新神经元的输入输出权值；w_fi与w_fo分别是最大敏感度值神经元f的输入输出权值；w_si和w_so分别是敏感度值排第二位的神经元s输入输出权值；μ表示神经元f与神经元s之间的比重关系，其中S_f和S_s分别为两神经元的敏感度值；w′_fo和w′_so分别是神经元f与神经元s调整后的输出权值；同样采用梯度下降算法调节隐层所有神经元连接权值。