CN1786413A - 基于神经网络模型的矿井涌水量预测方法 - Google Patents

Abstract

本发明公开了一种基于神经网络模型的矿井涌水量预测方法，它包括以下步骤：获取矿井涌水量历史数据并转化为时间序列模式，构建BP神经网络预测模型和学习方法模型，训练预测模型，检验及预报输出，其特征是所述的学习方法模型为泛化性学习方法模型，并用泛化性学习方法对预测模型进行训练时由于本预测模型采用了泛化性学习算法进行训练，所以学习效率高，泛化性能好，预测准确，从而实现了对未来趋势发展的准确预见，较准确的把握现有数据的发展趋势。

Description

基于神经网络模型的矿井涌水量预测方法

技术领域

本发明涉及煤矿井下涌水量的预测，尤其是基于神经网络的矿井涌水量预测。

背景技术

正确的预测矿井涌水量是一项重要而复杂的工作，是矿井水文地质调查的根本任务，也是对煤田进行技术经济评价的重要指标。常用的涌水量预测方法主要有基于时间序列分析的统计预测和基于灰色理论的灰色预测，以及神经网络模型为代表的智能预测技术。由于矿井地下水系统的动态过程既受内部结构变化诱发的涨落控制，又受外部环境的影响，普遍存在高度的非线性、随机性和复杂性，以显性表达式来描述预测量之间关系的统计模型和灰色模型，在矿井涌水量预测过程中必然表现出一定的局限性。

神经网络模型的出现彻底改变了这种预测思路，利用以任意精度逼近任意连续函数的性质，通过模型的自动学习，将预测因素间的内在联系通过神经网络的权值分布实现隐性表达。传统的神经网络模型在预测矿井涌水量时，要经过采集数据、数据模式转化、构建BP神经网络和学习方法模型、模型训练、检验及预报输出几个步骤，其中模型训练采用包括基于误差反向传播(BP)的最速下降法、二阶型的Levenberg-Marquardt(LM)和拟牛顿方法等学习方法。上述方法在网络学习方面表现出较好的性质，其收敛速度有了明显改善，但是在网络推广(泛化)性能却不尽人意，难以实现对未来趋势发展的准确预见，没有充分发挥出神经网络模型的智能预测方法的优势。因此需要一种新的学习算法对模型进行训练，从而实现预测的准确性。

发明内容

本发明的目的是克服目前矿井涌水量预测方法的不足，提供一种预测准确、泛化性能好的基于神经网络模型的矿井涌水量的预测方法。

为实现上述目的，本发明的技术方案包括以下步骤：

1、获取矿井涌水量历史数据并转化为时间序列样本；

2、构建BP神经网络预测模型；

3、构建泛化性学习方法模型，其构建过程如下：基于信赖域的基本方法，将最优脑外科过程的权值衰减条件作为网络代价函数的惩罚项，实现在网络训练过程中同时进行权值的衰

$\min {\mathrm{\Δw}}^T{H}_k\mathrm{\Δw}/2+g_k^T\mathrm{\Δw}---\left(1\right)$

减，并得到泛化性学习方法的模型为：s.t.Δw^Tu_q+ηw_q＝0                 (2)

${\mathrm{\Δw}}^T\mathrm{\Δw}\≤{\mathrm{\γ}}_k^2---\left(3\right)$

其中，式(1)为神经网络预测模型代价函数的权值增量形式，H_k为网络的Hessian矩阵，g_k为网络梯度，Δw为权值增量；式(2)为权值衰减条件，Δw_q为权值第q个元素w_q的增量，η为衰减因子；式(3)为信赖域条件；γ_k为信赖域半径。

4、采用泛化性学习算法对预测模型进行训练；训练过程如下：

(1)对BP网络预测模型进行权值w与控制参数(许用误差ε，衰减因子η，迭代序数k＝1及迭代总数K)的初始化；

(2)将时序样本对引入网络模型，采用BP算法计算当前权值状态下的梯度g_k和网络输出误差ξ_k，以及近似二阶矩阵H_k ^*(基于LM方法)；

(3)设置终止条件：||g_k||≤ε或|ξ_k|≤ε或k＞k，如果满足条件则训练结束，退出。

(4)计算传统训练方法的权值更新量： ${\mathrm{\Δw}}_1=-H_k^{*-1}{g}_k;$

(5)计算每个权值元素的显著性S_i，

$S_i=\frac{{\mathrm{\η}}^2{w}_i^2-{2\mathrm{\ηw}}_i{\left[H_k^{*-1}{g}_k\right]}_i}{2{\left[H_k^{*-1}\right]}_{i,i}}$

其中，[·]_i取向量的第i个元素；[·]_i，i取矩阵的第(i，i)个元素，w_i为权值的第i个元素。

(6)确定显著性的最小指标q，使得S_q＝minS_i；然后计算删剪过程下的权值更新量：

${\mathrm{\Δw}}_2=-\frac{{\left[H_k^{*-1}{g}_k\right]}_q-{\mathrm{\ηw}}_q}{{\left[H_k^{*-1}\right]}_{q,q}}{H}_k^{*-1}{u}_q$

其中，u_q为仅第q个元素为1的单位向量，w_q为权值的第q个元素。

(7)计算在w^new＝w_k+Δw₁+Δw₂下的误差指标ξ^new：如果ξ^new＜ξ_k，表明衰减过程有效，设置下一轮的权值状态w_k+1＝w^new；

(8)否则，令w_k+1＝w_k+Δw₁，k＝k+1，返回(2)继续迭代。

5、检验及预报输出。

本发明的有益效果是：1、由于本模型采用了泛化性学习算法进行训练，一方面吸取了二阶学习方法的快速训练特性，具有较高的学习效率；另一方面在训练过程中施加了衰减过程的权值增量Δ_w2，可有效提高预测模型的泛化性能，具有较好的学习精度，实现了对未来趋势发展的准确预见，所以能较准确的把握现有数据的发展趋势。2、矿井涌水量的监测数据是一个频繁更新的数据群，在训练神经网络模型时采用了泛化性学习方法，通过泛化性学习方法快速有效和积极的再训练模式，使得神经网络模型保持对更新数据群的跟踪，这一点对于矿井涌水量可能出现的突水情况尤为重要。

附图说明

图1是本发明神经网络预测方法框图，图2是泛化性学习算法框图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的描述。

从图1可知，本发明神经网络模型预测矿井涌水量时需经过以下步骤：

1、获取矿井涌水量历史数据U_i并转化为时间序列样本对

首先对涌水量数据U_i(i＝1，2，...，T)进行线性变换，通过最大最小值进行数据的归一化，即：

                          V_i＝(U_i-U_min)/(U_max-U_min)

其中，U_min和U_max分别为U_i的最小值和最大值；V_i为归一化后的涌水量数据；T为涌水量数据的数目。

其后再对V_i进行时间序列变换，根据预测数据的类周期性表现的不同，按照一定时间段t进行时序变换，即：

第1个时序样本对S₁＝{V₁，V₂，...，V_t；V_t+1}

第2个时序样本对S₂＝{V₂，V₃，....，V_t+1；V_t+2}

…         …

第r个时序样本对S_r＝{V_r，V_r+1，...，V_t+r-1；V_t+r}

…         …

第T-t个时序样本对S_T-t＝{V_T-t，V_T-t+1，...，V_T-1；V_T}；共计T-t个时间序列样本对。

2、构建矿井涌水量的BP神经网络预测模型

根据以上转换后的涌水量时间序列样本对，可构建出基于BP网络的神经网络预测模型，其中网络的输入层节点数取为t，与数据的时间序列周期相同；网络输出层节点数取为1，表示对未来时刻的涌水量预测值。

3、构建泛化性学习方法模型

基于信赖域的基本方法，将最优脑外科过程的权值衰减条件作为网络代价函数的惩罚项，实现在网络训练过程中同时进行权值的衰减，并得到泛化性学习方法的模型为：

$\min {\mathrm{\Δw}}^T{H}_k\mathrm{\Δw}/2+g_k^T\mathrm{\Δw}---\left(1\right)$

            s.t.Δw^Tu_q+ηw_q＝0                (2)

${\mathrm{\Δw}}^T\mathrm{\Δw}\≤{\mathrm{\γ}}_k^2---\left(3\right)$

其中，式(1)为神经网络预测模型代价函数的权值增量形式，H_k为网络的Hessian矩阵，g_k为网络梯度，Δw为权值增量；式(2)为权值衰减条件，Δw_q为权值第q个元素w_q的增量，η为衰减因子；式(3)为信赖域条件；γ_k为信赖域半径。

构建学习模型的拉格朗日函数L(Δw，λ，μ)为：

$L(\mathrm{\Δw},\mathrm{\λ},\mathrm{\μ})={\mathrm{\Δw}}^T{H}_k\mathrm{\Δw}/2+g_k^T\mathrm{\Δw}-\mathrm{\λ}({\mathrm{\Δw}}^T{u}_q+{\mathrm{\ηw}}_q)+\frac{\mathrm{\μ}}{2}({\mathrm{\Δw}}^T\mathrm{\Δw}-{\mathrm{\γ}}_k^2)$

而L(Δw，λ，μ)函数对Δw的偏导数为：

$\frac{\∂L}{\∂\mathrm{\Δw}}=g_k+H_k\mathrm{\Δw}-{\mathrm{\λu}}_q+\mathrm{\μ\Δw}=0$

进而得到泛化性学习算法的等价方程式为：

$H_k^{*}\mathrm{\Δw}=(H_k+\mathrm{\μI})\mathrm{\Δw}=-g_k+{\mathrm{\λu}}_q$

通过化简运算，可得到学习算法的权值增量式为：

$\mathrm{\Δw}={\mathrm{\Δw}}_1+{\mathrm{\Δw}}_2=-H_k^{*-1}{g}_k-\frac{{\left[H_k^{*-1}{g}_k\right]}_q-{\mathrm{\ηw}}_q}{{\left[H_k^{*-1}\right]}_{q,q}}{H}_k^{*-1}{u}_q$

4、运用泛化性学习算法对预测模型进行训练，训练过程如图2所示：

(1)对BP网络预测模型进行权值w与控制参数(许用误差ε，衰减因子η，迭代序数k＝1及迭代总数K)的初始化；

(2)将时序样本对引入网络模型，采用BP算法计算当前权值状态下的梯度g_k和网络输出误差ξ_k，以及基于LM方法的近似二阶矩阵H_k ^*；

(3)设置终止条件：k＞K，如果满足条件则训练结束，退出。

(4)计算基于LM方法的权值更新量： ${\mathrm{\Δw}}_1=-H_k^{*-1}{g}_k;$

(5)计算各个权值的显著性S_i，

$S_i=\frac{{\mathrm{\η}}^2{w}_i^2-{2\mathrm{\ηw}}_i{\left[H_k^{*-1}{g}_k\right]}_i}{2{\left[H_k^{*-1}\right]}_{i,i}}$

其中：[·]_i取向量的第i个元素；[·]_i，i取矩阵的第(i，i)个元素，w_i为权值的第i个元素。

(6)确定显著性的最小指标q，使得S_q＝min S_i；然后计算衰减过程的权值更新量：

${\mathrm{\Δw}}_2=-\frac{{\left[H_k^{*-1}{g}_k\right]}_q-{\mathrm{\ηw}}_q}{{\left[H_k^{*-1}\right]}_{q,q}}{H}_k^{*-1}{u}_q$

 其中，u_q为仅第q个元素为1的单位向量，w_q为权值的第q个元素。

(7)计算在w^new＝w_k+Δw₁+Δw₂下的误差指标ξ^new：如果ξ^new＜ξ_k，表明衰减过程有效，设置下一轮的权值状态w_k+1＝w^new；

(8)否则，令w_k+1＝w_k+Δw₁，k＝k+1，返回(2)继续迭代。

5、检验及预报输出

当涌水量预测模型训练完成后，为检验模型是否具有较好的泛化推广能力，可采用未经训练的一定时间段的涌水量数据(即测试数据集)带入模型进行预测输出，并与实际结果相比较，得出模型的泛化误差是否满足预测精度的要求。在此基础上，将预测模型运用于实际涌水量的预报输出。由于预测模型是涌水量数据组织为时间序列模式并作为模型的输入向量，因此对实际的预报输出仍然可以建立在已有的历史数据基础上进行预报输出。其具体过程为：设在历史数据W_i(i＝1，2，...，T)上建立了预测模型网络，对未来一定时间段U内(i＝T+1，T+2，...，T+U)可进行如下的预报输出(如表1)。

对下一时刻i+1的涌水量预报都是建立在实际获得的数据基础上的，并且对每一次输出的预报值W′_i+1都与实测获得的W_i+1进行比较，分析与评价出当前的预测模型是否仍然具有好的推广性能。如果预报误差超出允许误差，此时立即对预测模型进行再训练，其训练数据集涵盖至目前时刻为止的所有涌水量历史数据；如果仍然满足精度要求，则可进行下一时刻的预报。同时也限定了一定时间段，即无论模型的预测精度如何，当达到预报时间限后，则必须重新训练预测模型，使得模型尽可能的模拟出矿井涌水的目前状态，能够提前预测可能出现的矿井突水事件。由于泛化性算法具有较好的学习效率，一定时间段后的主动再训练预测模型并不会花费太多的训练时间。

                                                                                                             表1

序号i	模型输入向量	预报输出	实际数据
				i＝T+1	WT-t+1，WT-t+2，...，WT	WT+1	WT+1
i＝T+2	WT-t+2，WT-t+3，...，WT+1	WT+1	WT+1
				…	…	…	…
i＝T+U	WT-t+U，WT-t+U+1，...，WT+U-1	W′T+U	WT+U

Claims (1)

1、一种基于神经网络模型的矿井涌水量预测方法，它包括以下步骤：获取矿井涌水量历史数据并转化为时间序列模式，构建BP神经网络预测模型和学习方法模型、训练预测模型、检验及预报输出，其特征是；

(1)所述的学习方法模型为泛化性学习方法模型，其构建过程如下：

基于信赖域的基本方法，将最优脑外科过程的权值衰减条件作为网络代价函数的惩罚项，实现在网络训练过程中同时进行权值的衰减，并得到泛化性学习方法的模型为：

$\min \mathrm{\Δ}{w}^T{H}_k\mathrm{\Δw}/2+g_k^T\mathrm{\Δw}$                                        ○

s.t.Δw^Tu_q+ηw_q＝0             ②

$\mathrm{\Δ}{w}^T\mathrm{\Δw}{\≤\mathrm{\γ}}_k^2$                                        ○

其中，式①为神经网络预测模型代价函数的权值增量形式，H_k为网络的Hessian矩阵，g_k为网络梯度，Δw为权值增量，式②为权值衰减条件，Δw_q为权值第q个元素w_q的增量，η为衰减因子；式③为信赖域条件；γ_k为信赖域半径；

(2)训练BP预测模型时采用泛化性学习方法，具体训练过程如下：

①对BP网络预测模型进行权值w与控制参数(许用误差ε，衰减因子η，迭代序数k＝1及迭代总数K)的初始化；

②将时序样本对引入网络模型，采用BP算法计算当前权值状态下的梯度g_k和网络输出误差ξ_k，以及近似二阶矩阵H_k ^*(基于LM方法)；

③设置终止条件：||g_k||≤ε或|ξ_k|≤ε或k＞K，如果满足条件则训练结束，退出；

④计算传统训练方法的权值更新量： ${\mathrm{\Δw}}_1=-H_k^{*-1}{g}_k;$

⑤计算每个权值元素的显著性S_i：

$S_i=\frac{{\mathrm{\η}}^2{w}_i^2-2\mathrm{\η}{w}_i{\left[H_k^{*-1}{g}_k\right]}_i}{2{\left[H_k^{*-1}\right]}_{i,i}}$

其中，[·]_i取向量的第i个元素，[·]_i，i取矩阵的第(i，i)个元素，w_i为权值的第i个元素；

⑥确定显著性的最小指标q，使得S_q＝min S_i，然后计算删剪过程下的权值更新量：

${\mathrm{\Δw}}_2=\frac{{\left[H_k^{*-1}{g}_k\right]}_q-{\mathrm{\ηw}}_q}{{\left[H_k^{*-1}\right]}_{q,q}}{H}_k^{*-1}{u}_q$

其中，u_q为仅第q个元素为1的单位向量，w_q为权值的第q个元素；

⑦计算在w^mew＝w_k+Δw₁+Δw₂下的误差指标ξ^new，如果ξ^new＜ξ_k，表明衰减过程有效，设置下一轮的权值状态w_k+1＝w^new；

⑧否则，令w_k+1＝w_k+Δw₁，k＝k+1，返回②继续迭代。

Images