CN107729716A

CN107729716A - 一种基于长短时记忆神经网络的煤矿突水预测方法

Info

Publication number: CN107729716A
Application number: CN201711209048.3A
Authority: CN
Inventors: 董丽丽; 费城; 张翔; 曹超凡
Original assignee: Xian University of Architecture and Technology
Current assignee: Xian University of Architecture and Technology
Priority date: 2017-11-27
Filing date: 2017-11-27
Publication date: 2018-02-23
Anticipated expiration: 2037-11-27
Also published as: CN107729716B

Abstract

本发明公开一种基于长短时记忆神经网络的煤矿突水预测方法，的煤矿突水预测该方法将长短时记忆神经网络引入煤矿突水预测中，首先采用基于封装式(Wrapper)评价策略的特征选择方法，对数据做预处理，提取特征数据，去除冗余特征对后续预测算法的影响；通过MSRA初始化方法，将权重矩阵初始化为均值为0，方差为2/(输入个数)的一种高斯分布，使预测方法拥有更合理的初始化权重，提高方法收敛速度；采用LSTM方法学习动态突水数据的变化规律，及该规律对突水的影响，且学习过程中使用Dropout技术防止方法过拟合；随着迭代次数的增加，预测方法的权重矩阵不断被更新，从而提高了预测方法的精度、稳定性及鲁棒性。

Description

一种基于长短时记忆神经网络的煤矿突水预测方法

技术领域

本发明涉及煤矿突水预测技术领域，具体是一种基于长短时记忆神经网络的煤矿突水预测方法。

背景技术

煤矿突水预测，主要是通过研究突水机理，并对以往发生的突水事故进行分析，归纳出诱发突水事故的危险因素和主要环节，分析出最容易引起水害的诱因，确定一套适合解决突水问题的指标体系，并对突水事故的风险采用一种深度学习方法进行识别、分析、评价、判断，依据历史突水事故的数据确定突水危险的等级。

已有突水预测方法包括反向传播神经网络(BPNN)、支持向量机(SVM)等。BPNN通过在网络结构中反向传播误差的方法修正权重矩阵，从而达到学习突水数据特征，预测突水情况；SVM通过将突水数据映射到高位空间中，构造分类超平面，学习特征，预测突水情况，其能够较好的解决小样本、高维数、非线性问题，并且可以有效避开局部极小点，速度快且准确率高。

在解决实际突水问题时，BPNN方法存在收敛速度慢和目标函数存在局部极小点的问题,会影响预测精度；SVM在训练样本数据较大时，需要耗费大量的机器内存和运算时间，且不适合解决多分类问题。在采动等外因的作用下，某一回采点影响突水的因素会随时间不断变化，BPNN、SVM均无法学习动态突水数据的对突水预测的影响。

发明内容

为了解决传统突水预测方法无法学习动态突水数据的问题，本发明提出了一种基于长短时记忆神经网络的煤矿突水预测方法，该方法将长短时记忆神经网络(LSTMs)引入突水预测中，基于LSTMs能够较好的处理时间序列数据、学习动态突水特征、有效地处理变长数据和过滤噪声数据，在预测精度及稳定性方面均优于BPNN方法、SVM方法。

本发明所采用的技术方案是：

一种基于长短时记忆神经网络的煤矿突水预测方法，包括如下步骤：

步骤一，从矿区采集原始数据，原始数据包含p维的突水特征以及与每个突水特征一一对应的1维的实际突水结果，再对从矿区采集的原始数据进行预处理，预处理时，对原始数据进行特征选择，即从p维的突水特征中选出跟突水息息相关的n维突水特征，其中，n≤p，再将n维的突水特征及每个突水特征对应的1维的实际突水结果作为样本集合，然后对样本集合进行分组，再将分组后的样本集合划分为训练集和测试集；

步骤二，构建基于LSTM的突水预测模型，并通过步骤一得到的训练集对突水预测模型进行训练；

步骤三，待突水预测模型训练完成后，可以用测试集测试模型的预测准确率。在实际预测时，向突水预测模型输入一条或多条n维的突水特征，得到一条或多条1维的预测结果，预测结果为突水或不突水。

所述步骤一中，对原始数据进行预处理过程如下：

步骤1.1，将从矿区采集的原始数据中所有的突水特征组成一个p维的突水特征集合，将原始数据中所有的实际突水结果组成一个1维的实际突水结果集合；

步骤1.2：从p维的突水特征集合中删除第i个维度，其中，i＝1，2，...或p；将其余p-1个维度作为特征子集Mi，其中，i＝1，2，...或p；对p维的突水特征集合重复删除维度，每次删除的维度不同，则得到特征子集M1，M2，...和Mp；将p维的突水特征集合记为特征子集M0，将M0，M1，M2，...和Mp分别和对应的实际突水结果集合组成样本子集S0，S1，S2，...，Sp；对于样本子集S0，S1，S2，...和Sp，分别采用十折交叉验证方法计算BP神经网络模型对于该样本子集的平均误差，将S0，S1，S2，...和Sp对应的平均误差分别记为X0，X1，X2，...和Xp；

步骤1.3，分别比较X1，X2，...和Xp与X0的差距，当X1，X2，...和Xp中任意一个平均误差Xi与X0相差小于预设值m时，则认为单独删除第i维特征后，不影响整体误差，则将第i维数据视为冗余特征；

若不存在冗余特征，则执行步骤1.4；

若只存在1维冗余特征，则直接将该维特征从突水特征集合中剔除，接着执行步骤1.4；

若存在多维冗余特征，则从p维突水特征集合中删除最先得到的冗余特征，得到p-1维突水特征集合，将得到的p-1维特征集合作为下一轮循环的突水特征集合，令p＝p-1，重复执行步骤1.2和步骤1.3；

步骤1.4：将不存在冗余特征的n维的突水特征及每个突水特征对应的1维的实际突水结果集合组成样本集合，然后根据不同回采点和时间段对训练集进行分组，每组包含k条连续的样本数据，每条样本数据包括n维的突水特征和n维的突水特征中每条突水特征对应的1维的实际突水结果，n表示不存在冗余特征的突水特征集合的维数；接下来，将分组后的将样本集合划分为训练集和测试集，训练集与测试集互不相交。

m的取值范围为1％～5％。

所述步骤二中，基于LSTM的突水预测模型包括输入层、隐藏层和输出层，其中：

输入层：通过该层每次向突水预测模型中输入训练集中的一组样本数据中的突水特征；

隐藏层：隐藏层只包含一个LSTM单元，LSTM单元的输入输出即为隐藏层的输入输出。隐藏层的输入为一个n维向量和一个2维向量，n维向量来自于输入层，2维向量来自于上一时刻的隐藏层的输出；隐藏层有两个方向的输出，一个是给输出层的2维向量，另一个是给下一时刻隐藏层的2维向量；

输出层：输出层的输入为来自隐藏层的2维向量，对隐藏层学习的结果向量进行分类，输出为1维突水结果，通过将输出的突水结果与该样本数据中的实际突水结果相比较，计算误差。

LSTM单元包括遗忘门、输入门、输出门和单元状态c，t表示当前时刻，t-1表示上一时刻，遗忘门和输入门控制单元状态c；遗忘门决定上一时刻的单元状态c_t-1有多少保留到当前时刻的单元状态c_t；输入门决定了当前时刻的输入x_t有多少保存到当前时刻的单元状态c_t；输出门来控制单元状态c_t有多少输出到当前时刻的输出h_t。

所述步骤二中，突水预测模型训练过程包括如下步骤：

步骤2.1，将当前时刻的输入记为x_t，上一时刻的输出记为h_t-1，遗忘门的权重矩阵记为W_f，输入门的权重矩阵记为Wi，单元状态c权重矩阵记为W_c，输出门的权重矩阵记为W_o，矩阵W_fh表示W_f与上一时刻的输出项ht-1的乘积，矩阵W_fx表示W_f与输入项x_t的乘积，矩阵W_ih表示W_i与上一时刻的输出项h_t-1的乘积，矩阵W_ix表示W_i与输入项x_t的乘积，矩阵W_ch表示W_c与上一时刻的输出项h_t-1的乘积，矩阵W_cx表示W_c与输入项x_t的乘积，矩阵W_oh表示W_o与上一时刻的输出项h_t-1的乘积，矩阵W_ox表示W_o与输入项x_t的乘积；

采用MSRA初始化方法对基于LSTM的突水预测模型的权重矩阵W_fh、W_fx、W_ih、W_ix、W_ch、W_cx、W_oh和W_ox分别进行初始化，以W表示突水预测模型的权重矩阵，初始化为：

式中，n表示隐藏层的输入节点个数(即输入的维数)，G表示按照高斯分布取值；

步骤2.2，再将训练集中的一组数据传入输入层，训练集中的每组数据包括k条连续的突水数据，每条突水数据包括n维的突水特征和1维的实际突水结果；输入层将k条连续的突水数据中的k条n维突水特征传给隐藏层；

步骤2.3，隐藏层的LSTM单元接收到输入层传来的k条n维特突水征，用x_t表示突水预测模型中当前时刻t的输入，t∈{1，2，...，k}，t的初始值取1，后续依次取2，3...和k；

步骤2.4，再计算遗忘门的值f_t：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)；

式中，W_f是遗忘门的权重矩阵，h_t-1是突水预测模型上一时刻的输出，x_t是突水预测模型当前时刻的输入，[h_t-1,x_t]表示向量h_t-1和x_t连接而成的向量，b_f是遗忘门的偏置项，σ是激活函数，激活函数为sigmoid函数；

步骤2.5，再计算LSTM单元当前时刻t的输入门的值i_t：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)；

步骤2.6，再计算LSTM单元的当前时刻t的用于描述当前输入的单元状态

式中，W_c是单元状态的权重矩阵，b_c是单元状态c的偏置项；

步骤2.7，再计算LSTM单元的当前时刻t的单元状态c_t：

式中，c_t-1是上一时刻的单元状态，f_t是遗忘门的输出值，i_t是输入门的输出值，是当前输入的单元状态，符号表示按元素乘，即矩阵按位相乘；

步骤2.8，再计算LSTM单元的当前时刻t的输出门的值o_t：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)；

式中，W_o是输出门的权重矩阵，b_o是输出门的偏置项；

步骤2.9，再计算LSTM单元的当前时刻t的输出值h_t：

式中，o_t是输出门的值，c_t是当前单元状态的值，符号表示按元素乘；

若t<k，令t＝t+1，再次执行步骤2.4至步骤2.9；若t＝k，则此时的输出值h_t是最后一个时刻的输出值，将此时的h_t传给输出层，执行步骤2.10；

步骤2.10，输出层收到隐藏层传来的最后一个时刻的输出值h_t，并将隐藏层LSTM单元的最后一个时刻的输出值h_t进行解码操作，转变为“0”或者“1”，“0”或者“1”为预测的突水结果，当为“0”时表示不突水，当为“1”时表示突水；步骤2.11，将突水预测模型预测结果与实际结果相比较得到误差，使用Adam优化算法更新权重矩阵W_fh、W_fx、W_ih、W_ix、W_ch、W_cx、W_oh和W_ox，以此来提高突水预测模型的预测精度；

重复步骤2.2至步骤2.11，直到所有组数据都输入模型进行预测与权重调整后，完成对网络的训练。

所述输出层为Softmax分类器。

所述步骤一中，p维突水特征分别为含水层厚度、含水层水压、含水层距工作面距离、砂岩段厚度、泥岩段厚度、灰岩段厚度、煤层的煤厚度、煤层倾角、有无构造、断层落差、是否裂隙带、开采面积、采高和走向长度。

与现有技术相比，本发明的有益效果是：

本发明的煤矿突水预测方法将长短时记忆神经网络引入煤矿突水预测中，首先采用基于封装式(Wrapper)评价策略的特征选择方法，对从煤矿采集的原始数据做预处理，提取特征数据，去除冗余特征对后续预测算法的影响；通过MSRA初始化方法，将权重矩阵初始化为均值为0，方差为2/(输入个数)的一种高斯分布，使预测算法拥有更合理的初始化权重，提高算法收敛速度；LSTM神经网络模型能够学习动态突水数据的变化规律，及该规律对突水的影响，且学习过程中使用Dropout技术防止算法过拟合；随着迭代次数的增加，预测算法的权重矩阵不断被更新，从而提高了预测算法的精度、稳定性及鲁棒性；实验证明，本发明提出的模型能够较好的处理时间序列数据、有效地处理变长数据和过滤噪声数据，在预测精度及稳定性方面均优于反向传播神经网络(BPNN)方法、极限学习机(SVM)方法。

附图说明

图1是本发明的基于LSTM的突水预测模型结构的展开图。

图2是本发明的LSTM单元图。

图3是本发明的基于LSTM的突水预测模型隐藏层节点数为32且使用Dropout时的模型精度和损失图，其中，图3(a)为该模型在训练集上的预测精度变化情况图，图3(b)为该模型在训练集上的损失变化情况图，图3(c)为该模型在验证集上的预测精度变化情况图，图3(d)为该模型在验证集上的预测精度变化情况图。

图4是本发明的基于LSTM的突水预测模型隐藏层节点32且不使用Dropout时的模型精度和损失图，其中，图4(a)为该模型在训练集上的预测精度变化情况图，图4(b)为该模型在训练集上的损失变化情况图，图4(c)为该模型在验证集上的预测精度变化情况图，图4(d)为该模型在验证集上的预测精度变化情况图。

图5本发明的基于LSTM的突水预测模型隐藏层节点16且不使用Dropout时的模型精度和损失图，其中，图5(a)为该模型在训练集上的预测精度变化情况图，图5(b)为该模型在训练集上的损失变化情况图，图5(c)为该模型在验证集上的预测精度变化情况图，图5(d)为该模型在验证集上的预测精度变化情况图。

图6是隐藏层节点数对LSTM和BP模型精度的影响图。

图7是三种模型稳定性的对比图。

具体实施方式

下面结合附图和实施例来对本发明作进一步的说明。

现有突水预测方法存在易陷入局部最优解，随着数据量增加模型稳定性差，特别是无法学习动态突水数据的问题，导致预测精度低，针对这些问题，本发明提出将长短时记忆神经网络引入煤矿突水预测中。

实施例

首先，对从采矿区获取到的原始数据做预处理，采用基于封装式(Wrapper)评价策略的特征选择方法对原始数据集合进行降维操作，步骤如下：

步骤1：根据突水机理的分析结果获取原始数据，获取的原始数据包含14维的突水特征和1维的实际突水结果。突水特征的14个维度分别是含水层厚度、水压、距工作面距离、砂岩段厚度、泥岩段厚度、灰岩段厚度、煤厚度、煤层倾角、有无构造、断层落差、是否裂隙带、开采面积、采高和走向长度。所有突水特征数据构成p维的突水特征集合，p＝14。所有的实际突水结果构成1维的实际突水结果集合，该集合中的数据均为二值数据“0”或“1”，“0”表示不突水，“1”表示突水。突水特征集合中的每一条特征与实际突水结果集合中的每一条结果是一一对应的。

步骤2：从p维的突水特征集合中删除第i个维度，其中，i＝1，2，...或p；将其余p-1个维度作为特征子集Mi，其中，i＝1，2，...或p；对p维的突水特征集合重复删除维度，每次删除的维度不同，则得到特征子集M1，M2，...和Mp；将p维的突水特征集合记为特征子集M0。将M0，M1，M2，...和Mp分别和对应的实际突水结果集合组成样本子集S0，S1，S2，...Sp。对于样本子集S0，S1，S2，...和Sp，分别采用十折交叉验证方法计算BP神经网络模型对于该样本子集的平均误差，将S0，S1，S2，...和Sp对应的平均误差分别记为X0，X1，X2，...和Xp。注：十折交叉验证是指将数据集分成10份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验，每次试验都会得出相应的正确率(或差错率)，然后将10次试验结果的正确率(或差错率)的平均值作为最终的正确率(或差错率)。

步骤3：分别比较X1，X2，...和Xp与X0的差距，当X1，X2，...和Xp中任意一个平均误差Xi与X0相差小于预设值m时，则认为单独删除第i维特征后，不影响整体误差，则将第i维数据视为冗余特征，其中，m的取值范围为1％～5％，本实施例中取1％。若不存在冗余特征，则执行步骤4；若只存在1维冗余特征，则直接将该维特征从突水特征集合和样本集合中剔除，接着执行步骤4；若存在多维冗余特征，则从p维突水特征集合中删除先得到的冗余特征，得到p-1维突水特征集合，将得到的p-1维特征集合作为下一轮循环的突水特征集合，令p＝p-1，重复执行步骤2和步骤3。

步骤4：在本实施例中，最后得到的突水特征集合共10维，即突水特征集合从14维降至10维，剔除了4维冗余特征。将10维突水特征集合及1维实际突水结果集合组成样本集合。然后根据不同回采点和时间段对训练集进行分组，每组训练集包含k条连续的样本数据，每条样本数据包括n维突水特征和1维实际突水结果，其中，k根据数据自行确定，本实施例中取k＝6，n＝10；接下来，将分组后的样本集合划分为训练集和测试集，随机取样本集合中80％的数据作为训练集，剩余20％的数据作为测试集，训练集与测试集互不相交。

至此，原始数据的预处理工作完成，得到训练集，下面开始构建和训练基于LSTM的突水预测模型，步骤为：

步骤1：构建基于LSTM的突水预测模型，模型包含一个输入层，一个隐藏层，一个输出层，模型结构的展开图如图1所示。

输入层：通过该层每次向突水预测模型中输入训练集中的一组突水特征。

隐藏层只包含一个LSTM单元，LSTM单元的输入输出即为隐藏层的输入输出。该LSTM单元包括遗忘门、输入门、输出门和单元状态c，单元结构如图2所示，t表示当前时刻，t-1表示上一时刻。通过遗忘门和输入门控制单元状态c，遗忘门决定上一时刻的单元状态c_t-1有多少保留到当前时刻的单元状态c_t，输入门决定了当前时刻的输入x_t有多少保存到单元状态c_t。输出门来控制单元状态c_t有多少输出到当前时刻的输出h_t。由于隐藏层的输出采用独热(One-Hot)编码，即“01”表示“0”，“10”表示“1”，故隐藏层的输出为2维向量。隐藏层输入为一个n维向量和一个2维向量，n维向量来自于输入层，2维向量来自于上一时刻的隐藏层的输出。隐藏层有两个方向的输出，一个是给输出层的2维向量，另一个是给下一时刻隐藏层的2维向量。隐藏层设置参数Dropout为0.5。

输出层是一个Softmax分类器，对隐藏层学习的结果向量进行分类，输出层的输入为来此隐藏层的2维向量，输出为1维突水结果。

步骤2：将当前时刻的输入记为x_t，上一时刻的输出记为h_t-1，遗忘门的权重矩阵记为W_f，输入门的权重矩阵记为Wi，单元状态c权重矩阵记为W_c，输出门的权重矩阵记为W_o，矩阵W_fh表示W_f与上一时刻的输出项ht-1的乘积，矩阵W_fx表示W_f与输入项x_t的乘积，矩阵W_ih表示W_i与上一时刻的输出项h_t-1的乘积，矩阵W_ix表示W_i与输入项x_t的乘积，矩阵W_ch表示W_c与上一时刻的输出项h_t-1的乘积，矩阵W_cx表示W_c与输入项x_t的乘积，矩阵W_oh表示W_o与上一时刻的输出项h_t-1的乘积，矩阵W_ox表示W_o与输入项x_t的乘积。采用MSRA初始化方法对基于LSTM的突水预测模型的权重矩阵W_fh、W_fx、W_ih、W_ix、W_ch、W_cx、W_oh和W_ox分别进行初始化，这里以W表示这些突水预测模型矩阵，初始化为：

步骤3：将训练集中的一组数据(训练集中的每组数据包括k条连续的突水特征，每条突水特征数据包括n维特征和1维突水结果)传入输入层，输入层将k条连续的突水特征中的n维特征(共k条n维特征，也就是k个时刻的n维特征)传给隐藏层。

步骤4：隐藏层的LSTM单元收到输入层传来的k个时刻的n维特征，用x_t表示当前时刻t的输入，t∈{1,2,...,k})，t的初始值取1，后续依次取2，3...，k。

步骤5：再计算遗忘门的值f_t：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

式中，W_f是遗忘门的权重矩阵，h_t-1是突水预测模型上一时刻的输出，x_t是突水预测模型当前时刻的输入，[h_t-1,x_t]表示向量h_t-1和x_t连接而成的向量，b_f是遗忘门的偏置项，σ是激活函数，激活函数为sigmoid函数。

步骤6：再计算隐藏层的LSTM单元的当前时刻t的输入门的值i_t：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

步骤7：再计算隐藏层的LSTM单元的当前时刻t的用于描述当前输入的单元状态

式中，W_c是单元状态的权重矩阵，b_c是单元状态c的偏置项。

步骤8：再计算隐藏层的LSTM单元的当前时刻t的单元状态c_t：

式中，c_t-1是上一时刻的单元状态，f_t是遗忘门的输出值，i_t是输入门的输出值，是当前输入的单元状态，符号表示按元素乘，即矩阵按位相乘。

步骤9：再计算隐藏层的LSTM单元的当前时刻t的输出门的值o_t：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

式中，W_o是输出门的权重矩阵，b_o是输出门的偏置项。

步骤10：再计算隐藏层的LSTM单元的当前时刻t的输出值h_t：

式中，o_t是输出门的值，c_t是当前单元状态的值，符号表示按元素乘。

若t<k，令t＝t+1，再次执行步骤5至步骤10；若t＝k，则此时的输出值h_t是最后一个时刻的输出值，将此时的h_t传给输出层，执行步骤11。

步骤11：输出层收到隐藏层传来的最后一个时刻的输出值h_t，通过Softmax分类器将隐藏层LSTM单元的最后一个时刻的输出值h_t进行解码操作，转变为0或者1，0或者1为预测结果。当为0时表示不突水，党委1时表示突水。

步骤12：将突水预测模型预测结果与实际结果相比较得到误差，使用Adam优化算法更新权重矩阵W_fh、W_fx、W_ih、W_ix、W_ch、W_cx、W_oh和W_ox，以此来提高模型的预测精度。

重复步骤3至步骤12，直到所有组数据都输入模型进行预测与权重调整后，完成对网络的训练。

至此，基于LSTM的突水预测模型的构建和训练过程完毕。在实际预测时，只需向该模型输入一条或多条n维的突水特征，即可得到一条或多条1维的预测结果，即突水或不突水。将测试集中n维的突水特征依次输入到模型中，模型则输出与输入相对应的1维的预测结果，然后比较并统计预测结果与实际结果是否一致，从而得到模型对于测试集的预测准确率。

本发明的煤矿突水预测方法将长短时记忆神经网络引入煤矿突水预测中，首先采用基于封装式(Wrapper)评价策略的特征选择方法，对数据做预处理，提取特征数据，去除冗余特征对后续预测算法的影响；通过MSRA初始化方法，将权重矩阵初始化为均值为0，方差为2/(输入个数)的一种高斯分布，使预测模型拥有更合理的初始化权重，提高模型收敛速度；采用LSTM神经网络学习动态突水数据的变化规律，及该规律对突水的影响，且学习过程中使用Dropout技术防止模型过拟合；随着迭代次数的增加，预测模型的权重矩阵不断被更新，从而提高了预测模型的精度、稳定性及鲁棒性。

为了比较本发明的基于LSTM神经网络的突水预测模型相较于现有其他模型的优缺点，现分别采用基于LSTM神经网络的突水预测模型、BP神经网络模型、SVM模型做突水预测实验，记录模型对测试集进行预测的正确率，实验结果如表2所示。结果表明在预测精度以及稳定性方面基于LSTM神经网络的突水预测模型均优于其他两种模型。

影响煤矿底板突水的因素如表1所示：

表1

图3是LSTM神经网络模型在隐藏层节点为32个时，使用Dropout且设置参数为0.5时的精度和损失的变化情况；图4是LSTM神经网络模型在隐藏层节点为32个时，不用Dropout时的精度和损失的变化情况；图5是LSTM神经网络模型在隐藏层节点为16个时，不使用Dropout时的精度和损失的变化情况。

由图3、图4、图5可知，图3使用Dropout后，由于部分节点被屏蔽，随着迭代次数增加，模型精度和损失出现抖动情况，但验证集精度高于训练集，且测试集精度也达到了92.26％；从图4和图5均可以看出，未使用Dropout时，存在训练集精度过高的情况，即发生了过拟合问题，且在图5的实验中，测试集精度只有78.79％。说明使用Dropout能有效防止过拟合问题。

图6是LSTM神经网络模型和BP神经网络模型随着隐藏层节点数的增加，预测精度的变化情况，由于SVM没有隐藏层节点的概念，因此不参与图6的对比。从图6可以看出，隐藏层节点数对两种模型的精度均有影响，隐藏层节点数过少时，模型会因为无法学习到有效特征，导致性能非常差；当节点过多时，虽然可以减少训练误差，有效学习数据特征，但却存在训练集上的过拟合，导致测试集精度降低，以及训练时间变长等问题。相比较而言，LSTM神经网络模型整体稳定性好于BP神经网络模型。

表2是LSTM、BP、SVM三种方法最终在训练集、验证集、测试集上的精度对比，由于LSTM和BP神经网络模型使用了Dropout，因此在训练集上的精度较低；BP神经网络模型使用Dropout后，验证集精度高于训练集，但测试集又略低；SVM方法因为和LSTM、BP训练方式不同，不需要划分验证集，因此没有验证集结果；LSTM最终预测精度均高于BP和SVM。

表2

图7是LSTM神经网络模型、BP神经网络模型、SVM模型分别对于5组测试数据的预测情况。从图中可以看出，对于5组测试数据，LSTM神经网络模型的预测准确率变化不大且精度较高，SVM模型的预测准确率和稳定性次之，而BP神经网络模型的预测准确率与稳定性最差。这是因为LSTM神经网络模型可以学习动态数据对突水的影响，模型在学习当前时刻突水数据时，同时综合之前所有时刻突水数据的变化特征来预测突水，而BP神经网络模型和SVM模型不具备学习动态数据的能力。BP神经网络收敛速度慢且目标函数存在局部极小点问题，导致模型精度在几组测试集上不稳定，而SVM能够较好的解决小样本、高维数和非线性问题，并且可以有效避开局部极小点，因此比BP神经网络稳定性更好一些。但由于SVM也无法学习动态数据的，因此在煤矿突水问题上，不能有效发现有些突水点突水信息变化趋势对突水的影响，导致SVM的预测精度稳定性受到一定的影响。

从以上可以得出：本发明提出将长短时记忆神经网络引入煤矿突水预测方法，提高了模型的预测精度与稳定性；通过对多组测试集分别使用LSTM神经网络模型、BP神经网络模型、SVM模型进行实验表明，LSTM神经网络模型的预测精度在不同程度上优于BP神经网络模型、SVM模型，且对于不同的测试集，LSTM相对于BP神经网络模型、SVM具有较好的稳定性。

Claims

1.一种基于长短时记忆神经网络的煤矿突水预测方法，其特征在于，包括如下步骤：

步骤一，获取矿区的原始数据，原始数据包含p维的突水特征以及与每个突水特征一一对应的1维的实际突水结果，再对原始数据进行预处理，预处理时，从p维的突水特征中选取跟突水相关的n维突水特征，其中，n≤p，再将n维的突水特征及每个突水特征对应的1维的实际突水结果集合组成样本集合，然后对样本集合进行分组，再将分组后的样本集合划分为训练集和测试集；

步骤二，构建基于长短时记忆神经网络的突水预测模型，并通过步骤一得到的训练集对突水预测模型进行训练；

步骤三，待突水预测模型训练完成后，用测试集测试模型的预测准确率，在实际预测时，向突水预测模型输入一条或多条n维的突水特征，得到一条或多条1维的预测结果，预测结果为突水或不突水。

2.根据权利要求1所述的煤矿突水预测方法，其特征在于，所述步骤一中，对原始数据进行预处理过程如下：

步骤1.1，将原始数据中所有的突水特征组成一个p维的突水特征集合，将原始数据中所有的实际突水结果组成一个1维的实际突水结果集合；

若不存在冗余特征，则执行步骤1.4；

步骤1.4：将不存在冗余特征的n维的突水特征及每个突水特征对应的1维的实际突水结果集合组成样本集合，然后根据不同回采点和时间段对样本集合进行分组，再将分组后的样本集合划分为训练集和测试集，训练集与测试集互不相交。

3.根据权利要求2所述的煤矿突水预测方法，其特征在于，m的取值范围为1％～5％。

4.根据权利要求1所述的煤矿突水预测方法，其特征在于，所述步骤二中，基于长短时记忆神经网络的突水预测模型包括输入层、隐藏层和输出层，其中：

隐藏层：隐藏层包含一个LSTM单元，LSTM单元的输入输出为隐藏层的输入输出；隐藏层的输入为一个n维向量和一个2维向量，n维向量来自于输入层，2维向量来自于上一时刻的隐藏层的输出；隐藏层有两个方向的输出，一个是给输出层的2维向量，另一个是给下一时刻隐藏层的2维向量；

5.根据权利要求4所述的煤矿突水预测方法，其特征在于，LSTM单元包括遗忘门、输入门、输出门和单元状态c，t表示当前时刻，t-1表示上一时刻，遗忘门和输入门控制单元状态c；遗忘门决定上一时刻的单元状态c_t-1有多少保留到当前时刻的单元状态c_t；输入门决定了当前时刻的输入x_t有多少保存到当前时刻的单元状态c_t；输出门来控制单元状态c_t有多少输出到当前时刻的输出h_t。

6.根据权利要求5所述的煤矿突水预测方法，其特征在于，所述步骤二中，突水预测模型训练过程包括如下步骤：

式中，n表示隐藏层的输入节点个数，G表示按照高斯分布取值；

步骤2.3，隐藏层的LSTM单元接收到输入层传来的k条n维特突水特征，用x_t表示突水预测模型中当前时刻t的输入，t∈{1，2，...，k}，t的初始值取1，后续依次取2，3...和k；

步骤2.4，再计算遗忘门的值f_t：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)；

式中，[h_t-1，x_t]表示向量h_t-1和x_t连接而成的向量，b_f是遗忘门的偏置项，σ是激活函数，激活函数为sigmoid函数；

步骤2.5，再计算LSTM单元当前时刻t的输入门的值i_t：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)；

<mrow> <msub> <mover> <mi>c</mi> <mo>~</mo> </mover> <mi>t</mi> </msub> <mo>=</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>c</mi> </msub> <mo>&CenterDot;</mo> <mo>&lsqb;</mo> <msub> <mi>h</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&rsqb;</mo> <mo>+</mo> <msub> <mi>b</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

式中，b_c是单元状态c的偏置项；

步骤2.7，再计算LSTM单元的当前时刻t的单元状态c_t：

式中，f_t是遗忘门的输出值，i_t是输入门的输出值，是当前输入的单元状态，符号⊙表示按元素乘；

步骤2.8，再计算LSTM单元的当前时刻t的输出门的值o_t：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)；

式中，b_o是输出门的偏置项；

步骤2.9，再计算LSTM单元的当前时刻t的输出值h_t：

h_t＝o_t⊙tanh(c_t)；

步骤2.10，输出层收到隐藏层传来的最后一个时刻的输出值h_t，并将隐藏层LSTM单元的最后一个时刻的输出值h_t进行解码操作，转变为“0”或者“1”，“0”或者“1”为预测的突水结果，当为“0”时表示不突水，当为“1”时表示突水；

步骤2.11，将突水预测模型预测结果与实际结果相比较得到误差，使用Adam优化算法更新权重矩阵W_fh、W_fx、W_ih、W_ix、W_ch、W_cx、W_oh和W_ox；

7.根据权利要求4所述的煤矿突水预测方法，其特征在于，所述输出层为Softmax分类器。

8.根据权利要求1-7任意一项所述的煤矿突水预测方法，其特征在于，所述步骤一中，p维突水特征分别为含水层厚度、含水层水压、含水层距工作面距离、砂岩段厚度、泥岩段厚度、灰岩段厚度、煤层的煤厚度、煤层倾角、有无构造、断层落差、是否裂隙带、开采面积、采高和走向长度。