CN105303252A - 基于遗传算法的多阶段神经网络模型训练方法 - Google Patents

Abstract

本发明涉及一种基于遗传算法的多阶段神经网络模型训练方法，其技术特点是包括以下步骤：对数据进行预处理以消除字段的量纲影响；根据输入层、隐含层、输出层节点数，构建多输入层网络结构；采用遗传算法训练初始权重和阈值；利用迭代算法更新权重；根据迭代次数及模型误差判断是否满足模型终止条件：如果满足，则模型结束，否则重新更新权重。本发明针对过程控制中参数分阶段影响输出的问题，构建一个多阶段神经网络结构，根据遗传算法具有全局搜索的特点，采用其为网络结构选择一组较合理的初始权重，从而尽可能地防止网络训练进行局部极小点，解决了只有一个输入层的神经网络结构无法解决工程控制中具有前后顺序的参数影响产品加工的问题。

Description

基于遗传算法的多阶段神经网络模型训练方法

技术领域

本发明属于数据挖掘技术领域，具体涉及一种基于遗传算法的多阶段神经网络模型训练方法。

背景技术

随着计算机技术的飞速发展，特别是Internet技术的不断应用，人们利用网络信息技术产生和搜集数据的能力有了很大幅度的提高，数据呈现了飞快的增长趋势。如何从海量的数据中获取所需要的信息成为了一个迫切需要研究的问题。面对这样的挑战，数据挖掘(DataMining)技术应运而生，使用数据挖掘技术能够从这些海量数据中获取隐含的有用信息。然而，由于数据的爆炸性增长，如何使用数据挖掘技术快速有效地从海量数据中获取隐含有用的信息变得越来越重要。因此，数据挖掘技术成为大数据技术中核心技术之一。

在工程控制中，存在很多输入参数分阶段影响输出的情况。比较典型的就是在钢铁企业的多辊热连轧机质量控制中，如何在热连轧产品物理性能指标给定的情况下，确定影响热连轧过程的炼钢参数、轧制参数等变量的变化范围，达到所要求的质量标准，这是长期困扰工程技术人员的难题。随着数据挖掘技术的兴起，数据挖掘方法成为解决这一问题的有效途径。但是由于产品加工工序的特殊性，即存在先后顺序的特点，如热轧产品的质量主要决定于炼钢、轧钢等过程中的众多参数，在炼钢过程结束后，炼钢过程中的全部参数由钢铁质量体现，这时热轧板材的质量取决于钢铁质量参数和热轧过程中的其他参数，将所有输入变量作为同等输入的一般数据挖掘方法很难达到理想的效果。只有将不同阶段的参数作为不同的输入层才更能描述这一问题，多阶段的神经网络算法应运而生。

神经网络算法的模型优劣受初始权重影响很大，传统的随机生成初始权重的方法很难保证模型的稳健性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于遗传算法的多阶段神经网络模型训练方法，解决工程中输入参数分阶段影响输出的控制问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于遗传算法的多阶段神经网络模型训练方法，包括以下步骤：

步骤1、对数据进行预处理以消除字段的量纲影响；

步骤2、根据输入层、隐含层、输出层节点数，构建多输入层网络结构；

步骤3、采用遗传算法训练初始权重和阈值；

步骤4、利用迭代算法更新权重；

步骤5、根据迭代次数及模型误差判断是否满足模型终止条件：如果迭代次数达到设置值时，则模型结束；否则计算模型误差，如果模型误差小于阈值，则模型结束，否则转到步骤4。

所述步骤1对数据进行预处理包括去掉训练集目标字段取值为空的记录、对字段缺失值进行处理、字符字段二值化及数值字段正则化。

所述步骤3的具体方法包括以下步骤：

(1)设置基因的杂交概率和基因的变异概率；

(2)对神经网络的权重和阈值进行编码；

(3)根据误差精确度确定基因码长；

(4)初始化种群；

(5)种群评估；

(5)根据种群评估结果，如果最优个体与最差个体的评估值之差小于阈值，则转至步骤(9)，否则转至步骤(6)；

(6)杂交操作；

(7)变异操作；

(8)适应度评估；

(9)遗传算法终止，选择误差最小的个体为最优个体作为初始权重。

所述步骤(2)对神经网络的权重和阈值进行编码采用二进制编码，将权值和阈值的取值区间限定在了[-1，1]之间。

所述步骤(4)初始化种群规模设定为100。

所述步骤(5)种群评估采用适应度函数作为总误差，并计算每个个体的误差。

所述步骤(6)杂交操作的方法为：通过将原有的最优的两个个体进行交叉，生成新个体，并替代最差的个体。

所述步骤(7)变异操作的方法为：通过对最差的个体进行变异，产生新个体。

所述步骤(8)适应度评估的方法为：对交叉和变异后产生的新个体进行解码，转换为[-1,1]的权重取值后对新个体进行评估。

所述步骤4是采用BFGS迭代算法更新权重的，在迭代过程中采用采用黄金分割法搜索步长。

本发明的优点和积极效果是：

1、本发明采用遗传算法为神经网络训练初始权值，降低网络训练进入局部极小的可能性，在其它条件不变的情况下，采用初始权重随机取值和GA训练初始权重两种方法，分别进行20次试验，利用GA选择初始权重所得的结果优于随机产生初始权重所得的结果。

2、本发明引入了多阶段输入的思想，通过对传统神经网络结构改造，使其能够适应类似产品工艺流程改进等影响因素分成多个阶段对目标进行影响的应用场景，使得相应问题预测效果更优。

附图说明

图1为本发明的多阶段神经网络结构图；

图2为本发明的算法流程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于遗传算法的多阶段神经网络模型训练方法，是针对多阶段神经网络实现的，多阶段神经网络是具有多个输入层的神经网络结构。多阶段神经网络系统主要用于工程控制中输入参数具有前后时间顺序的情况，即产品加工工序前后不同，只有一个输入层的神经网络结构无法得到准确的参数控制结果。神经网络模型的优劣受初始权重和阈值影响很大，采用遗传算法，凭借其全局搜索的特点，为神经网络选择一组较合理的初值权重，从而尽可能地将网络初始权重设置在局部极小点附近。基于遗传算法产生的初始权重和阈值，进一步训练迭代多阶段神经网络模型，优化初始权重和阈值。

下面结合一个实施例对本方法进行说明：

在钢铁企业的多辊热连轧机质量控制中，困扰工程技术人员的难题是热连轧产品物理性能指标给定的情况下，如何确定在热连轧过程中能够影响它的炼钢参数、轧制参数等变量的变化范围，达到所要求的质量标准。针对产品加工工序的前后不同，多阶段神经网络可以很好地解决这一问题。将前后不同阶段的参数作为不同的输入层，一般来说，具有两个输入层的神经网络基本可以比较精确的反映热轧产品的质量。另外，传统的神经网络训练方法对初始网络权重和阈值较为依赖，而初始网络权重和阈值又都是随机产生，因此模型结果很不稳定。因此，本实施方案中采用遗传算法初步优化初始网络权重和阈值。

具有两个输入层的神经网络结构如图1所示，输入层有n₁个输入结点，第一隐含层有n₂个隐结点和m个输入结点，第二隐含层有n₃个隐结点。由输入层的结点i到第一隐含层的隐结点j的连接权值为由第一隐含层的隐结点i到第二隐含层的隐结点j的连接权值为由第一隐含层的输入结点i到第二隐含层的隐结点j的连接权值为W_ij(i＝n₂+1,n₂+2,…,n₂+m；j＝1,2,…,n₃)。由第二隐含层的隐结点i到输出结点的连接权值为

设X＝(_kx_i)_N*(n1+m)为输入矩阵，共有N组输入数据，_kx_i表示第k组输入数据的第i个输入参数的值；f_i(x)为第i层的激活函数(i＝1,2,3)；第k组输入数据的第q层第i个神经元的输入为输出为阈值为则有

$S_i^{\left(1\right)}{}_k=\stackrel{n1+1}{\Σ}{W}_{ij}^{\left(1\right)}*{x_k}_j({x_k}_{n1+1}=-1,W_{i,n1+1}^{\left(1\right)}={\mathrm{\θ}}_i^{\left(1\right)})$

$y_j^{\left(3\right)}{}_k=f_2\left(S_j^{\left(2\right)}{}_k\right),(j=1,2,\mathrm{...},n_3)$

其中_ky(θ)为对应于第k组输入数据计算所得的网络输出，θ为所有权值和阈值构成的向量空间。

记对应于第k组输入数据，训练样本的拟合误差为

_ke(θ)＝_ky-_ky(θ)

定义总误差为

$E\left(\mathrm{\θ}\right)=\frac{1}{2}\underset{k=1}{\overset{N}{\Σ}}e_k{\left(\mathrm{\θ}\right)}^2=\frac{1}{2}\underset{k=1}{\overset{N}{\Σ}}{(y_k-y_k(\mathrm{\θ}\left)\right)}^2$

所谓训练网络，就是利用训练数据，选择一定的优化算法，不断调整权值和阈值，从而使总误差E(θ)达到最小。

总误差E(θ)分别对各层权值和阈值求偏导数，结果为

$\frac{\∂E\left(\mathrm{\θ}\right)}{\∂W_{ij}^{\left(q\right)}}=\underset{k=1}{\overset{N}{\Σ}}e_k\left(\mathrm{\θ}\right)\frac{\∂e_k\left(\mathrm{\θ}\right)}{\∂W_{ij}^{\left(q\right)}}=\underset{k=1}{\overset{N}{\Σ}}(y_k-y_k(\mathrm{\θ}\left)\right)\frac{\∂e_k\left(\mathrm{\θ}\right)}{\∂W_{ij}^{\left(q\right)}}$

$\frac{\∂E\left(\mathrm{\θ}\right)}{\∂W_{ij}}=\underset{k=1}{\overset{N}{\Σ}}e_k\left(\mathrm{\θ}\right)\frac{{\∂}_{k}e\left(\mathrm{\θ}\right)}{\∂W_{ij}}=\underset{k=1}{\overset{N}{\Σ}}(y_k-y_k(\mathrm{\θ}\left)\right)\frac{\∂e_k\left(\mathrm{\θ}\right)}{\∂W_{ij}}$

其中q＝1,2,3。因此，只需算

$\begin{array}{cc}\frac{\∂e_k}{\∂W_j^{\left(3\right)}}=\frac{\∂e_k}{\∂y_k}\frac{\∂y_k}{\∂{S_k}^{\left(3\right)}}\frac{\∂{S_k}^{\left(3\right)}}{\∂W_j^{\left(3\right)}}=-f_3^{\′}\left({S_k}^{\left(3\right)}\right)y_j^{\left(3\right)}{}_k& j=1,2,\mathrm{...},n_3\\ \begin{array}{c}\frac{\∂e_k}{\∂W_{ij}^{\left(2\right)}}=\frac{\∂e_k}{\∂y_k}\frac{\∂y_k}{\∂{S_k}^{\left(3\right)}}\frac{\∂{S_k}^{\left(3\right)}}{\∂y_j^{\left(3\right)}{}_k}\frac{\∂y_j^{\left(3\right)}{}_k}{\∂S_j^{\left(2\right)}{}_k}\frac{\∂S_j^{\left(2\right)}{}_k}{\∂W_{ij}^2}\\ =-f_3^{\′}\left({S_k}^{\left(3\right)}\right)\·W_j^{\left(3\right)}\·f_2^{\′}\left(S_j^{\left(2\right)}{}_k\right)\·y_i^{\left(2\right)}{}_k\end{array}& (i=1,2,\mathrm{...},n_2;j=1,2,\mathrm{...},n_3)\end{array}$

$\begin{array}{c}\frac{\∂e_k}{\∂W_{ij}}=\frac{\∂e_k}{\∂y_k}\frac{\∂y_k}{\∂{S_k}^{\left(3\right)}}\frac{\∂{S_k}^{\left(3\right)}}{\∂y_j^{\left(3\right)}{}_k}\frac{\∂y_j^{\left(3\right)}{}_k}{\∂S_j^{\left(2\right)}{}_k}\frac{\∂S_j^{\left(2\right)}{}_k}{\∂W_{ij}}\\ =-f_3^{,}\left({S_k}^{\left(3\right)}\right)\·W_j^{\left(3\right)}\·f_2^{\′}\left(S_j^{\left(2\right)}{}_k\right)\·{x_k}_{n1+i}\\ (i=n_2+1,n_2+2,\mathrm{...},n_2+m;j=1,2,\mathrm{...},n_3)\end{array}$

$\begin{array}{c}\frac{\∂e_k}{\∂W_{ij}^{\left(1\right)}}=\frac{\∂e_k}{\∂y_k}\frac{\∂y_k}{\∂{S_k}^{\left(3\right)}}\underset{m=1}{\overset{n3}{\Σ}}\frac{\∂{S_k}^{\left(3\right)}}{\∂y_m^{\left(3\right)}{}_k}\frac{\∂y_m^{\left(3\right)}{}_k}{\∂y_m^{\left(2\right)}{}_k}\frac{\∂S_m^{\left(2\right)}{}_k}{\∂y_i^{\left(2\right)}{}_k}\frac{\∂S_m^{\left(2\right)}{}_k}{\∂y_i^{\left(2\right)}{}_k}\frac{\∂y_i^{\left(2\right)}{}_k}{\∂S_i^{\left(1\right)}{}_k}\frac{\∂S_i^{\left(1\right)}{}_k}{\∂W_{ij}^{\left(1\right)}}\\ =-f_3^{\′}\left({S_k}^{\left(3\right)}\right)\·\underset{m=1}{\overset{n3}{\Σ}}{W}_m^{\left(3\right)}\·f_2^{\′}\left(S_m^{\left(2\right)}{}_k\right)\·W_{im}^{\left(2\right)}\·f_1^{\′}\left(S_i^{\left(1\right)}{}_k\right)\·{x_k}_j\\ (i=1,2,\mathrm{...},n_1;j=1,2,\mathrm{...},n_2)\end{array}$

神经网络模型的优劣受初始权重和阈值影响很大，初始权重和阈值选取合适，模型能够较快的收敛并且具有较好的模型效果。

遗传算法是根据达尔文的进化论设计的算法，是一种启发式的搜索算法。将遗传算法用于多阶段神经网络初始权重和阈值的训练，凭借其全局搜索的特点，从而尽可能的防止网络训练进入局部极小点。

基于遗传算法的多阶段神经网络模型训练方法，如图2所示，包括以下步骤：

步骤1、数据预处理。

在任何一种数据处理的问题中，对数据进行合理的预处理也是一个必不可少，而且也不容忽视的步骤。合理而有效的对数据进行预处理，能使数据处理更有效，更准确。在本实施例中，对数据进行预处理包括去掉训练集目标字段取值为空的记录、对字段缺失值进行处理、字符字段二值化、数值字段正则化，从而消除字段的量纲影响。

步骤2、根据设置的输入层、隐含层、输出层节点数，构建多输入层网络结构，如图1所示。

步骤3、采用遗传算法(GA)训练神经网络权重和阈值。具体方法包括以下内容：

(1)将基因的杂交概率设置为0.9，将基因的变异概率设置为0.1。

(2)对神经网络的权重和阈值进行编码。

对于遗传算法来说，首先涉及到对自变量进行编码，对于神经网络的学习，自变量就是网络的权重和阈值。因此，首先需要对网络权重和阈值进行编码。这里，将权值和阈值的取值区间限定在了[-1，1]之间，从而尽可能地提高精度缩短码长。对于本实施例的多阶段神经网络结构，总的权重个数为

(n₁+1)*n₂+(n₂+1+m)*n₃+(n₃+1)

在本实施例中，采用精度相对较低但搜索能力很强的二进制编码。由于数据集中的输出值均很小，故将初始的二进制编码转化为[-1,1]之间的初始权重。

(3)根据设置的误差精确度确定基因码长。

本实施例采取自适应方法确定码长，码长由误差的精确度所决定，要求的精确度越高，码长越长，否则越短。如误差设置为0.001，则基因码长为9。则每组权重总的基因码长为((n₁+1)*n₂+(n₂+1+m)*n₃+(n₃+1))*9。

(4)初始化种群。

确定编码方案后，首先需要随机生成一个初始种群，即很多组解，种群中的每个个体(每条记录)对应一组解。在本实施例中，种群规模是根据多组测试结果定的。种群规则可最小取为4，分别选,4、6、10、50、100、1000进行测试，测试结果如下

为避免个别“噪声”情况的干扰，上表中“误差平均”采用的是去除了误差前5％大的情况之后的误差平均值。最终选取评估函数值最小的情况时的种群规模，作为最佳种群规模。所以这里我们将种群规模定为100。

(5)种群评估。

本实施例中，采用的适应度函数为总误差

$E\left(\mathrm{\θ}\right)=\frac{1}{2}\underset{k=1}{\overset{N}{\Σ}}e_k{\left(\mathrm{\θ}\right)}^2=\frac{1}{2}\underset{k=1}{\overset{N}{\Σ}}{(y_k-y_k(\mathrm{\θ}\left)\right)}^2$

根据误差公式计算每个个体(即每一组权重)的误差。

(5)根据种群评估结果，若最优个体与最差个体的评估值之差小于阈值，则转(9)，否则转(6)执行杂交和变异操作。

(6)杂交操作。

为了获得新的、更优的个体(网络权重和阈值)，通过将原有的最优的两个个体进行交叉，生成新个体，并替代最差的个体。也就是说，根据每个个体的评估结果，找到最好的两个个体以及最差的一个个体。将最好的两个个体杂交的后代替换最差的个体。杂交策略是杂交后代会遗传父母双方最优的基因。

在本实施例中具体方法是对最差个体的每个基因生成一个随机数，若乘以杂交概率的值大于设置值0.5，则遗传最优个体的基因，否则遗传次优个体的基因。

(7)变异操作。

为了保证个体的多样性，避免获得局部最优解，通过对最差的个体进行变异，产生新个体。在本实施例中，将次差个体进行变异。具体变异策略为对次差个体的每个基因生成一个变异概率，若大于设置值0.04，则对应的基因进行变异。

(8)适应度评估。

对遗传和变异产生的新个体进行适应度评估，以评价每个个体的好坏，从而指导遗传、变异操作，进行优胜劣汰，不断逼近最优解。在本实施例中，对交叉和变异后产生的新个体进行解码，转换为[-1,1]的权重取值后对新个体进行评估，转步骤(5)。

(9)遗传算法终止。

在满足终止条件后，选择误差最小的个体为最优个体(网络初始权重和阈值)，作为初始权重，执行步骤4，进行神经网络结构的训练。

步骤4、利用迭代算法更新权重。

由于多阶段神经网络和传统神经网络结构不同，因此迭代计算公式也会有差异。本实施例中采用BFGS迭代算法，在迭代过程中，采用黄金分割法搜索步长。

迭代算法的收敛性控制条件是一个很重要的问题。在本实施例中，采用了四条控制指令：

(1)时间控制。这是人们最常用的控制指令之一。

(2)收敛控制。这是另一条常用控制指令。本文采用对和(q＝1,2,3)的平方和进行控制。当和均为0时终止循环。

(3)进入搜索平台跳出条件。为了防止进入搜索平台，在本实施例中规定若连续5次迭代计算出的误差之差小于给定的控制条件，则终止迭代，算法结束。

步骤5、如果不满足模型终止条件，则返回步骤4继续更新权重，如果满足模型终止条件，则建模结束。

模型终止条件包括两种：迭代次数以及模型误差。当迭代次数达到设置值时模型结束，否则，计算模型误差；如果模型误差小于阈值，则模型结束，否则继续更新权重。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于遗传算法的多阶段神经网络模型训练方法，其特征在于包括以下步骤：

步骤1、对数据进行预处理以消除字段的量纲影响；

步骤2、根据输入层、隐含层、输出层节点数，构建多输入层网络结构；

步骤3、采用遗传算法训练初始权重和阈值；

步骤4、利用迭代算法更新权重；

步骤5、根据迭代次数及模型误差判断是否满足模型终止条件：如果迭代次数达到设置值时，则模型结束；否则计算模型误差，如果模型误差小于阈值，则模型结束，否则转到步骤4。

2.根据权利要求1所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤1对数据进行预处理包括去掉训练集目标字段取值为空的记录、对字段缺失值进行处理、字符字段二值化及数值字段正则化。

3.根据权利要求1所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤3的具体方法包括以下步骤：

(1)设置基因的杂交概率和基因的变异概率；

(2)对神经网络的权重和阈值进行编码；

(3)根据误差精确度确定基因码长；

(4)初始化种群；

(5)种群评估；

(5)根据种群评估结果，如果最优个体与最差个体的评估值之差小于阈值，则转至步骤(9)，否则转至步骤(6)；

(6)杂交操作；

(7)变异操作；

(8)适应度评估；

(9)遗传算法终止，选择误差最小的个体为最优个体作为初始权重。

4.根据权利要求3所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤(2)对神经网络的权重和阈值进行编码采用二进制编码，将权值和阈值的取值区间限定在了[-1，1]之间。

5.根据权利要求3所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤(4)初始化种群规模设定为100。

6.根据权利要求3所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤(5)种群评估采用适应度函数作为总误差，并计算每个个体的误差。

7.根据权利要求3所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤(6)杂交操作的方法为：通过将原有的最优的两个个体进行交叉，生成新个体，并替代最差的个体。

8.根据权利要求3所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤(7)变异操作的方法为：通过对最差的个体进行变异，产生新个体。

9.根据权利要求3所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤(8)适应度评估的方法为：对交叉和变异后产生的新个体进行解码，转换为[-1,1]的权重取值后对新个体进行评估。

10.根据权利要求1所述的基于遗传算法的多阶段神经网络模型训练方法，其特征在于：所述步骤4是采用BFGS迭代算法更新权重的，在迭代过程中采用采用黄金分割法搜索步长。