CN110930008A - 一种基于卷积神经网络的矿山灾害事件检测方法 - Google Patents

Abstract

一种基于卷积神经网络的矿山灾害事件检测方法，适用于煤矿灾害类事件检测使用。包括模型设计和模型训练两部分，模型设计部分主要包括混合特征输入层和高速迭代空洞卷积神经网络的设计两部分，通过混合输入文本词级、字符级和实体特征向量，构建细粒度和语义性更强的特征输入层，充分挖掘文本深层语义和结构信息，通过采用迭代法堆叠DCNN构建深层模型，获取全局特征向量，提高模型训练效率，模型后端框架选用Highway网络连接Softmax分类层优化特征向量，改善训练深层网络模型易过拟合和收敛难的问题，提高模型检测的准确性。能够自动检测海量文本数据中的矿山灾害事件，避免繁琐的人工构建操作，为矿山灾害事件的分析及预警提供数据支撑。

Description

一种基于卷积神经网络的矿山灾害事件检测方法

技术领域

本发明涉及一种矿山灾害事件检测方法，尤其适用于构建矿山灾害事件库检测灾害的基于卷积神经网络的矿山灾害事件检测方法。

背景技术

随着互联网的深入发展，矿山从业人员可以在线搜集整理矿山灾害类新闻数据，分析预测矿山灾害事件，但这类非结构化数据具有规模较大、异构多元、组织结构松散等特点，采用基于模板或统计的传统信息抽取技术难以高效的挖掘灾害事件信息，基于深度模型的研究越来越广泛。

早期有Heng、Yu Hong、Shulin Liu等学者构建模板库完成事件抽取，抽取效果较好，但是需人工构建模板，耗时耗力，系统可扩展性及可迁移性都比较差；Shaoyang等人将LSTM模型用于篇章级文本的事件检测，获取全局特征，但模型的训练效率低下。越来越多学者将深度学习模型迁移到自然语言处理领域，其中应用最多的是CNN和LSTM，理论上单元连续的LSTM能够顺序提取文本的全局特征，但参数量随文本长度变化，因此往往需要庞大的参数才能处理篇章级文本，造成模型训练效率低下以及实际应用困难。而CNN的参数量随层数变化，叠加多层便可处理篇章级文本，相较LSTM参数量大大减少，但是CNN每次卷积操作处理的文本范围有限，即感受野范围有限，只能获取局部特征，语义不连贯较为明显。Hu等人首次将CNN模型用于句子级别的事件检测，未能获取文本的全局信息；Yubo等人将多池化层CNN模型用于句子级别的事件检测，使用池化思想扩充感受野范围，增强语义连贯性，依然未能覆盖篇章级文本。尚未有关于矿山灾害事件检测的相关研究，况且上述深度模型均基于ACE2005语料集研究事件检测任务，语料集中各类事件均包含触发词信息，触发词的种类繁多、表述方式差异明显，采用序列标注思想识别并标注触发词事件类别信息，可在一定程度上消除触发词歧义。然而，大量矿山类新闻数据中各类灾害事件的触发词表述近似，多为“发生”、“出现”等词，区分度低且存在大量无触发词数据，难以借助序列标注思想检测该类数据。

发明内容

发明内容：针对上述技术问题的不足之处，本发明提出方法简单，检测效果好，适用性好，事件检测准确性高的基于卷积神经网络的矿山灾害事件检测方法。

为实现上述技术目的，本发明的基于新型卷积神经网络的矿山灾害事件检测方法，首先构建矿山灾害类事件语料集，然后设计检测模型架构，利用设计的检测模型架构训练检测模型及检测新文本所含事件信息；

具体步骤如下：

步骤一、首先构建矿山灾害类事件语料集，包括三个阶段：

a1分析及整理矿山灾害事件类别体系，将矿山灾害类事件语料集为一条文本对应一个灾害类事件标签的结构生成矿山灾害类事件语料库，若文本中包含某类矿山灾害事件，则为其标注相应的事件类别，若不包含事件类别，标记为无灾害类事件；

a2从网络和各大数据控中根据灾害事件体系有针对性的搜集灾害事件信息；

a3将收集的矿山灾害类事件信息分配相应的事件标签，包含灾害事件信息则分配相应的灾害事件类别标签，不包含则分配无灾害事件标签，即完成矿山灾害类事件语料集的构建；

步骤二、设计检测模型架构，检测模型架构分为混合特征输入层和模型主体框架层的设计2部分：

b1采用混合特征层的思路设计模型混合输入层设计部分，将语料中每个字符对应的字符级、词级位置和实体特征向量拼接为一个混合特征向量，构建细粒度和语义性更强的混合特征输入层，用以挖掘文本深层次的语义和结构信息；

b2模型主体框架层设计部分，选择模型类型为文本分类模型，将迭代式空洞卷积神经网络IDCNN引入到灾害检测领域中，改善卷积神经网络CNN难以有效提取篇章级文本特征的弊端，同时将高速神经网络Highway与IDCNN结合构建新型卷积神经网络HIDCNN组合模型；

采用tensorflow1.2.0中的tf.nn.atrous_conv2d方法搭建具有膨胀系数δ的DCNN网络，若δ＝1时，此时DCNN网络则相当于传统CNN网络，当δ＞1时，在层数和卷积核尺寸一致的情况下，DCNN网络块由δ分别为1、2、4的三层DCNN网络构成，

采用迭代法堆叠DCNN网络块，构成迭代式空洞卷积神经网络IDCNN：迭代块Net为包含δ为1、2、4的三层DCNN网络，最优迭代次数k我4，依次将第k轮迭代中Net中最后一层的输出向量作为第k+1轮迭代的输入向量X_k+1，若迭代轮数超过设定的阈值，则停止迭代，IDCNN模型迭代结束后添加一层δ为1的DCNN层，确保后续网络层得到完整信息，迭代过程采用tensorflow1.2.0中的for循环搭建；

将Highway高速神经网络与IDCNN结合，以改善检测模型训练过程中出现的过拟合、梯度爆炸的现象，即将Highway网络作为IDCNN和Softmax分类层的连接层，构成基于HIDCNN的灾害事件检测模型，优化卷积层提取的特征，避免特征信息流衰减严重的问题，确保分类层处理的特征向量信息完整，以保证检测模型训练的收敛性；

模型后续连接Dropout层和Softmax分类层，构成完整的矿山灾害事件检测模型；

步骤三、训练检测模型，在检测模型搭建完毕的基础上将矿山灾害类语料集逐次输入检测模型，依据训练结果不断调整检测模型参数，直至检测模型训练准确性及损失率最优，即检测模型训练完毕；

步骤四、检测新文本所含事件信息部分：将需要检测的文本输入训练好的检测模型，将检测模型检测出结果作为新文本的标签，即可实现灾害类事件检测的任务要求。

将矿山灾害事件分类为：顶板事故、瓦斯事故、机电事故、运输事故、爆破事故、水害事故和火灾事故7大类，每一大类再细分相应的子事件，加上无事件类，不考虑其中的层级结构总共分为22个预定义的矿山灾害事件类。

获取字符级、词级和实体特征向量的方法为：

1)字符向量从预训练字符向量集的字符向量集中获取，使用Word2Vec中的Skip-gram模型训练矿山灾害类事件语料集，构建完整的预训练字符向量集，向量化为语料的每一个字符分配相应的字符向量Char_i；

2)词级向量选用随机初始化的空间向量，首先借助哈工大开源的ltp语言处理工具中的分词模型对语料进行分词操作，并按照词结构信息为语料分配相应的数字，利用0表示单字符，利用1表示首字符，利用2表示中间字符，利用3表示尾字符，后续借助tensorflow1.2.0中的tf.Variable方法为语料分配的数字0-3分配相应的随机初始化空间向量，tf.nn.embedding_lookup方法查找各数字对应的随机向量，表示每个字符的词级信息Seg_i；

3)实体向量与词级向量类似，区别在于表示实体的标识不同，利用B表示实体开始字符，利用I表示中间字符，利用E表示尾字符，利用O表示非实体字符，利用S表示单实体字符，后续按上述操作进行，将语料集中的单一文本包含的各字符转换为实体向量Entity_i，基于上述三个级别的特性向量采取类似串行拼接操作，构建混合级向量表示，作为检测模型的训练及测试语料集，经混合输入层后，语料集中的某一长度为n的文本转换为[X₀,X₁,X₂....X_n-1]的特征向量表示，拼接中具体的计算公式如下：

HIDCNN网络的计算公式为：

Y_i＝H(h_i-1,W_H)*T(h_i-1,W_T)+h_i-1*C(h_i-1,W_C)(i≠1)

h_i＝Y_i-1

其中，h_i为第i层Highway层输出向量，h₁＝O，O为IDCNN的输出向量，H是一个非线性仿射变换函数relu，转换门T和携带门C均为双曲正切函数tanh，为了简化模型，通常将携带门C设置为1-T，W_T和W_C维度必须相同，如果不同必须进行补零操作，在矿山灾害事件检测场景下，经过多轮训练，发现2层Highway能够获得最佳的模型准确性及模型收敛效果。

检测方法首次组合使用IDCNN及Highway构建组合模型，将IDCNN的输出作为第一层Highway网络的输入，从而优化特征向量，高效检测文本中的灾害事件。使用tensorflow1.2.0中的tf.tanh、tf.sigmoid和tf.matmul方法搭建单层Highway网络，叠加多层可使用for循环，重复将上一层的输出作为当前层的输入。

训练灾害事件检测模型，调整检测模型的最优超参数(如卷积核尺寸、个数、DCNN层数、迭代次数、Highway层数)，设置如下：

字符向量的维度为100，词级和实体向量维度均为20，可处理最长文本长度为400，超出截断，不足补0；卷积核的尺寸为3*3，个数为256，迭代块中包含3层DCNN，δ分别为1、2、4，迭代次数为4次，Highway层数为2；训练时，Batch_size为128，Dropout参数为0.5，学习率设置为0.001，优化器为Adam，测试时，Dropout参数为1.0；

模型性能的测试指标为调和平均数

训练过程中，依据每轮模型训练的F₁值和损失值的变化情况，观察模型训练效果，如果模型准确率维持稳定，则模型停止训练，同时多次调整超参数值以寻找模型性能最优下的超参数。

有益效果：

1)选用混合特征的输入层设计，将文本各字符的字符级、词级和实体信息的特征向量进行拼接操作，构建细粒度和语义性更强的混合特征输入，充分挖掘字符的深层语义和结构信息；

2)结合IDCNN和Highway高速神经网络，将高速迭代式空洞卷积神经网络HIDCNN应用于事件检测，有效改善深度模型收敛性较差的问题，准确实现篇章级文本特征的提取；

整个方法简单，适用性好，事件检测准确性高，适用于构建矿山灾害事件库，为矿山灾害事件的分析及预警提供数据支撑。

附图说明

图1是本发明矿山灾害事件检测方法使用的整体模型HIDCNN架构图。

图2是本发明矿山灾害事件检测方法的混合特征输入转换图。

图3是DCNN与CNN感受野范围逐层变化图。

图4是迭代法DCNN与简单叠加法DCNN模型对比图。

图5是Highway模型图。

图6是本发明矿山灾害事件检测方法流程图。

具体实施方式

下面结合附图对本发明的具体实施例做进一步说明

如图1和图6所示，本发明提出一种基于新型卷积神经网络的矿山灾害事件检测方法，首先构建矿山灾害类事件语料集，然后设计检测模型架构，利用设计的检测模型架构训练检测模型及检测新文本所含事件信息；

具体步骤如下：

步骤一、首先构建矿山灾害类事件语料集，包括三个阶段：

a1分析及整理矿山灾害事件类别体系，将矿山灾害类事件语料集为一条文本对应一个灾害类事件标签的结构生成矿山灾害类事件语料库，若文本中包含某类矿山灾害事件，则为其标注相应的事件类别，若不包含事件类别，标记为无灾害类事件；

a2从网络和各大数据控中根据灾害事件体系有针对性的搜集灾害事件信息；

a3将收集的矿山灾害类事件信息分配相应的事件标签，包含灾害事件信息则分配相应的灾害事件类别标签，不包含则分配无灾害事件标签，即完成矿山灾害类事件语料集的构建；矿山灾害事件分类为：顶板事故、瓦斯事故、机电事故、运输事故、爆破事故、水害事故和火灾事故7大类，每一大类再细分相应的子事件，加上无事件类，不考虑其中的层级结构总共分为22个预定义的矿山灾害事件类；

步骤二、设计检测模型架构，检测模型架构分为混合特征输入层和模型主体框架层的设计2部分：

b1采用混合特征层的思路设计模型混合输入层设计部分，将语料中每个字符对应的字符级、词级位置和实体特征向量拼接为一个混合特征向量，构建细粒度和语义性更强的混合特征输入层，用以挖掘文本深层次的语义和结构信息；获取字符级、词级和实体特征向量的方法为：

1)字符向量从预训练字符向量集的字符向量集中获取，使用Word2Vec中的Skip-gram模型训练矿山灾害类事件语料集，构建完整的预训练字符向量集，向量化为语料的每一个字符分配相应的字符向量Char_i；

2)词级向量选用随机初始化的空间向量，首先借助哈工大开源的ltp语言处理工具中的分词模型对语料进行分词操作，并按照词结构信息为语料分配相应的数字，利用0表示单字符，利用1表示首字符，利用2表示中间字符，利用3表示尾字符，后续借助tensorflow1.2.0中的tf.Variable方法为语料分配的数字0-3分配相应的随机初始化空间向量，tf.nn.embedding_lookup方法查找各数字对应的随机向量，表示每个字符的词级信息Seg_i；

3)实体向量与词级向量类似，区别在于表示实体的标识不同，利用B表示实体开始字符，利用I表示中间字符，利用E表示尾字符，利用O表示非实体字符，利用S表示单实体字符，后续按上述操作进行，将语料集中的单一文本包含的各字符转换为实体向量Entity_i，基于上述三个级别的特性向量采取类似串行拼接操作，构建混合级向量表示，作为检测模型的训练及测试语料集，经混合输入层后，语料集中的某一长度为n的文本转换为[X₀,X₁,X₂....X_n-1]的特征向量表示，拼接中具体的计算公式如下：

b2模型主体框架层设计部分，选择模型类型为文本分类模型，将迭代式空洞卷积神经网络IDCNN引入到灾害检测领域中，改善卷积神经网络CNN难以有效提取篇章级文本特征的弊端，同时将高速神经网络Highway与IDCNN结合构建新型卷积神经网络HIDCNN组合模型，如图5所示；

采用tensorflow1.2.0中的tf.nn.atrous_conv2d方法搭建具有膨胀系数δ的DCNN网络，若δ＝1时，此时DCNN网络则相当于传统CNN网络，当δ＞1时，在层数和卷积核尺寸一致的情况下，DCNN网络块由δ分别为1、2、4的三层DCNN网络构成，如图3所示，层数相同的情况下，DCNN网络比传统CNN网络获取的感受野范围更大；

采用迭代法堆叠DCNN网络块，构成迭代式空洞卷积神经网络IDCNN，如图4所示，相较于简单叠加法，IDCNN能够使用有限层网络处理篇章级文本，模型更为简洁，其中迭代块Net为包含δ为1、2、4的三层DCNN网络，最优迭代次数k我4，依次将第k轮迭代中Net中最后一层的输出向量作为第k+1轮迭代的输入向量X_k+1，若迭代轮数超过设定的阈值，则停止迭代，IDCNN模型迭代结束后添加一层δ为1的DCNN层，确保后续网络层得到完整信息，迭代过程采用tensorflow1.2.0中的for循环搭建；

将Highway高速神经网络与IDCNN结合，以改善检测模型训练过程中出现的过拟合、梯度爆炸的现象，即将Highway网络作为IDCNN和Softmax分类层的连接层，构成基于HIDCNN的灾害事件检测模型，优化卷积层提取的特征，避免特征信息流衰减严重的问题，确保分类层处理的特征向量信息完整，以保证检测模型训练的收敛性；HIDCNN网络的计算公式为：

Y_i＝H(h_i-1,W_H)*T(h_i-1,W_T)+h_i-1*C(h_i-1,W_C)(i≠1)

h_i＝Y_i-1

其中，h_i为第i层Highway层输出向量，h₁＝O，O为IDCNN的输出向量，H是一个非线性仿射变换函数relu，转换门T和携带门C均为双曲正切函数tanh，为了简化模型，通常将携带门C设置为1-T，W_T和W_C维度必须相同，如果不同必须进行补零操作，在矿山灾害事件检测场景下，经过多轮训练，发现2层Highway能够获得最佳的模型准确性及模型收敛效果。

检测方法首次组合使用IDCNN及Highway构建组合模型，将IDCNN的输出作为第一层Highway网络的输入，从而优化特征向量，高效检测文本中的灾害事件。使用tensorflow1.2.0中的tf.tanh、tf.sigmoid和tf.matmul方法搭建单层Highway网络，叠加多层可使用for循环，重复将上一层的输出作为当前层的输入；

模型后续连接Dropout层和Softmax分类层，构成完整的矿山灾害事件检测模型；

步骤三、训练检测模型，在检测模型搭建完毕的基础上将矿山灾害类语料集逐次输入检测模型，依据训练结果不断调整检测模型参数，直至检测模型训练准确性及损失率最优，即检测模型训练完毕；

步骤四、检测新文本所含事件信息部分：将需要检测的文本输入训练好的检测模型，将检测模型检测出结果作为新文本的标签，即可实现灾害类事件检测的任务要求。

训练灾害事件检测模型，调整检测模型的最优超参数(如卷积核尺寸、个数、DCNN层数、迭代次数、Highway层数)，设置如下：

字符向量的维度为100，词级和实体向量维度均为20，可处理最长文本长度为400，超出截断，不足补0；卷积核的尺寸为3*3，个数为256，迭代块中包含3层DCNN，δ分别为1、2、4，迭代次数为4次，Highway层数为2；训练时，Batch_size为128，Dropout参数为0.5，学习率设置为0.001，优化器为Adam，测试时，Dropout参数为1.0；

模型性能的测试指标为调和平均数

训练过程中，依据每轮模型训练的F₁值和损失值的变化情况，观察模型训练效果，如果模型准确率维持稳定，则模型停止训练，同时多次调整超参数值以寻找模型性能最优下的超参数。

实施例一

无论事件新闻是否包含触发词，均可以完成检测任务。模型的输入部分为混合文本每个字符的字符级、词级和实体信息三者特征，主框架部分采用迭代法堆叠DCNN网络，后续连接Highway网络和Softmax分类层构成完整的HIDCNN模型。

具体包括以下4个步骤：

(1)构建矿山灾害语料集

由于目前市面上并没有矿山灾害领域完整的数据集供我们训练模型，因此本发明选用爬虫技术获取及清洗web资源中的矿山类数据集。经调研，数据主要有以下3种来源：1)百科站点(如百度百科、互动百科、搜狗百科)获取矿山知识词条类数据；2)矿山类网站(如选矿技术网、煤矿安全网、安全管理网等)获取各类灾害案例数据；3)新闻媒体站点(如新浪，凤凰、腾讯等)获取各类灾害事件实时新闻报道数据。构建海量的非结构化矿山灾害类语料集。通过对文献和专家知识的研究分析，依据矿山灾害致因，将其分为顶板事故、瓦斯事故、机电事故、运输事故、爆破事故、水害事故和火灾事故7大类，每一大类再细分相应的子事件，加上无事件类，总共分为22个预定义的矿山灾害事件类(不考虑其中的层级结构)，详细分类为：

(1)顶板事故包括冒顶、片帮、顶板支护垮倒、冲击矿压事故；

(2)瓦斯事故包括瓦斯爆炸、瓦斯突出、瓦斯中毒、瓦斯窒息、瓦斯超限事故；

(3)机电事故包括触电、漏电、设备损坏事故；

(4)运输事故包括车辆碰撞、斜井跑车、输送机伤人事故；

(5)运输事故包括车辆碰撞、斜井跑车、输送机伤人事故；

(6)爆炸事故包括放炮崩人、火药爆炸、煤尘爆炸事故；

(7)水害事故包括突(透)水、溃坝事故；

(8)火灾事故包括采空区煤自然事故；

由于尚未有矿山灾害事件检测的相关研究，难以直接获取完整的矿山灾害类语料集，因此选用数据爬虫技术从web站点中搜集并整理矿山安全类相关语料(约26379条数据)，百科类站点(如百度百科、搜狗百科等)为静态页面，采用urllib2收集数据，新闻类站点(如腾讯、凤凰等)和矿山类站点(如煤矿安全网、安全管理网、中国选矿技术网等)均为动态站点，结合selenium收集矿山灾害类实时新闻报道及相关案例数据。而后整合爬取到的数据集并进行标注及数据预处理工作，构建矿山灾害类新闻语料，标注工作主要分为3部分：文本灾害事件类别标签，该部分采用人工标注，为文本分配相应的灾害事件标签(Y₁、Y₂、Y₃...)；实体信息标签，该部分采用BIESO标注模式，分别表示实体开始字符、中间字符、结束字符、单实体字符和非实体字符，为文本中每个字符分配表示实体信息的字母；词级信息标签，该部分采用数字0-3标注模式，分别表示单字符、多字符的开始字符、中间字符和词尾字符，为文本中每个字符分配表示词级信息的数字。

数据预处理。从web站点中获取的数据参差不齐，含有较多噪声信息，如特殊符号(～@#￥％&*等)、图片链接(URL)、制表符(\t)等，因此训练前需要进行数据清洗操作，过滤无关信息，去除文本较短或较长的数据。首先选用lxml工具中的xpath解析器获取页面的标题及正文，再使用正则表达式过滤其中的噪声信息。随机选取其中的78％为训练集(即23179条数据)，剩下的15％为测试集(即4457条数据)，7％为验证集(即2080条数据)。

来源1)的站点为静态网页结构，使用Python中urllib2工具包进行爬虫，即可得到完整的网页数据，在使用xpath工具解析页面，获取部分主要信息。来源2)和来源3)的站点多为动态结构，使用Python中selenium工具包进行爬虫，后续操作与上述操作类似。

由于爬取到的数据参差不齐，含有较多的噪声信息(如～@#￥％&*\t等)，需要对数据集进行预处理操作，借助正则化技术过滤无关信息，去除文本较短或较长的数据，构建格式规范的数据集，其中数据总量为23179，选取78％为训练集，15％为测试集，7％为验证集，具体数据情况见下表：

(2)文本数据向量化

采用预训练字符向量和随机初始化空间向量的方式，将文本每个字符的字符级、词级和实体信息转换为细粒度更强的连续空间向量表示，拼接之后作为模型的输入向量，图2即为具体的向量转换和拼接方式。

预训练字符向量部分选用Word2Vec中的Skip-gram模型训练矿山灾害语料库，构建完整的预训练字符向量集，向量化的过程中为语料的每一个字符分配相应的字符向量；词级向量部分选用随机初始化的空间向量，首先借助分词工具对语料进行分词操作，并按照词结构信息为其分配相应的数字，0表示单字符，1表示首字符，2表示中间字符，3表示尾字符，后续借助tensorflow中的embedd模块为数字0-3分配相应的随机初始化空间向量，表示每个字符的词级信息；实体向量部分与词级类似，区别在于表示实体的标识不同，B表示实体开始字符，I表示中间字符，E表示尾字符，O表示非实体字符，S表示单实体字符，后续按上述操作进行，将每个字符转换为实体向量。基于上述三个级别的向量进行拼接操作，构建混合级向量表示，作为模型的训练及测试语料集。

(3)模型训练

使用向量化后的语料集训练灾害事件检测模型，将模型的超参数统一设置如下：字符向量的维度为100，词级和实体向量维度均为20，可处理最长文本长度为400，超出截断，不足补0；卷积核的尺寸为3*3，个数为256，迭代块中包含3层DCNN，δ分别为1、2、4，迭代次数为4次，Highway层数为2；训练时，Batch_size为128，Dropout参数为0.5，学习率设置为0.001，优化器为Adam，测试时，Dropout参数为1.0。

模型性能的测试指标为调和平均数(F1)，计算公式为

训练过程中，依据每轮模型训练的F1值和损失值的变化情况，观察模型训练效果，如果模型准确率维持稳定，则模型停止训练，同时多次调整超参数值以寻找模型性能最优下的超参数，上述超参数为最优超参数值。

(4)模型预测

将需要预测的文本按照步骤(2)转换为输入向量的形式，输入训练好的模型，得到输出概率最大的事件类别即为从文本中检测到的矿山灾害事件。

混合特征输入层设计

基于中文文本和矿山灾害事件检测场景的特殊性，无论是词级输入向量，还是细粒度更强的字符级向量，亦或是诸如矿山企业名称的实体信息(如神木煤矿、政忠煤矿、淮南矿业集团等)，均在不同程度影响后续特征提取的效果。其中，细粒度更强的字符级信息反映文本深层语义信息；词级信息反映字符之间的结构信息，符合中文中字与词的关联表述；实体信息侧重在特定场景下丰富特征向量的语义信息。单一采用任何一种方式，都会出现语义缺失和结构不完整的问题，因此模型输入层选用混合特征的方式，混合文本各字符的字符级、词级和实体特征向量，构建细粒度和语义性更强的混合特征输入，充分挖掘字符的深层语义和结构信息。

输入层将连续文本分为字符的形式，选用Word2Vec中的Skip-gram模型训练矿山灾害类新闻语料集，计算各字符连续的空间向量表示，构建预训练字符向量集合。而后，在构建词级和实体特征向量时，为了使每个字符的混合特征向量包含相应的词级和实体信息，本文选用随机初始化空间向量的方式，为每个字符相应的词级和实体信息分配维度相同的空间向量，0-3为字符的词级信息，分别表示单字符、词首字符、词中字符和词尾字符，BIESO为字符的实体信息，分别表示实体开始字符、中间字符、结束字符、单实体字符和非实体字符。经上述操作，拼接每个字符i的字符级特征向量Char_i、词级特征向量Seg_i和实体特征向量Entity_i为模型的混合特征入向量X_i，具体拼接方式如

文本T_i的向量表示为[X₁，X₂，X₃，X₄，...X_i，X_i+1]。

HIDCNN模型设计

本发明结合IDCNN和高速神经网络(Highway)，创新性的将高速迭代式空洞卷积神经网络(HIDCNN)应用于事件检测，有效改善深度模型收敛性较差的问题，准确实现篇章级文本特征的提取。

IDCNN中的主体框架是包含少量DCNN层的迭代块Net，设置迭代次数k，依次将第k轮迭代中Net中最后一层的输出向量(即R₃ ^k)作为第k+1轮迭代的输入向量X_k+1，若迭代轮数超过设定的阈值，则停止迭代。后续将Highway网络作为IDCNN和Softmax分类层的连接层，构成基于HIDCNN的灾害事件检测模型，调整卷积层提取的特征，有效避免特征信息流衰减严重的问题，确保分类层处理的特征向量信息完整，以保证模型训练的收敛性。不同应用场景需要特定的迭代块，灾害事件检测场景下迭代块的内部构造描述如下：采用tensorflow1.2.0中的tf.nn.atrous_conv2d方法搭建具有膨胀系数δ的DCNN网络，若δ＝1时，此时DCNN网络则相当于传统CNN网络，当δ＞1时，在层数和卷积核尺寸一致的情况下，DCNN网络块由δ分别为1、2、4的三层DCNN网络构成，采用迭代法堆叠DCNN网络块，构成迭代式空洞卷积神经网络IDCNN：迭代块Net为包含δ为1、2、4的三层DCNN网络，最优迭代次数k我4，依次将第k轮迭代中Net中最后一层的输出向量作为第k+1轮迭代的输入向量X_k+1，若迭代轮数超过设定的阈值，则停止迭代，IDCNN模型迭代结束后添加一层δ为1的DCNN层，确保后续网络层得到完整信息，迭代过程采用tensorflow1.2.0中的for循环搭建。

模型后续连接Dropout层和Softmax分类层，构成完整的矿山灾害事件检测模型。在Dropout层中，依据预设值随机控制一定比例的隐层神经元参与前向传播，训练时，为防止过拟合现象，将dropout_rate设置为0.5，测试时，为防止丢失部分节点导致信息缺失现象，将dropout_rate设置为1.0。在Softmax层中，对HIDCNN层提取的特征向量进行分类计算，检测新闻涉及的灾害事件类别。

HIDCNN模型训练

模型选用交叉熵与l₂正则化相结合的方式计算损失函数，采用随机梯度下降算法(SGD)和反向传播算法优化模型参数，训练基于HIDCNN的矿山灾害事件检测模型，模型输入信息包括训练语料集train，验证语料集val；总训练轮数epoch，批处理大小batch_size；总批次total_batch，记录上一次提升批次last_promote；最佳验证集准确率val_best_F1，提前结束训练阈值stop_batch；每多少轮输出一次结果print_per_batch；dropout_rate＝0.5。具体的训练步骤如下：

(1)模型及训练参数的初始化：初始化HIDCNN网络的所有参数，训练集train和验证集val转换为混合级向量表示；epoch＝25；batch_size＝128；total_batch＝0；last_promote＝0；val_best_F1＝0；stop_batch＝500；print_per_batch＝10。

(2)模型训练过程：每轮训练，随机选取batch_size个训练数据，根据前向传播算法，计算当前轮数下验证集的F1值、混合特征层输出Xs、HIDCNN层输出hs、模型损失值ls。如果当前轮数在设定的最大训练轮数内，进行反向传播，根据损失值ls，利用SGD算法更新模型参数(如各层卷积核的权重w、偏置b、高速神经网络各门级的参数及模型性能参数值等)，反之模型训练结束。

Claims (5)

1.一种基于新型卷积神经网络的矿山灾害事件检测方法，其特征在于：首先构建矿山灾害类事件语料集，然后设计检测模型架构，利用设计的检测模型架构训练检测模型及检测新文本所含事件信息；

具体步骤如下：

步骤一、首先构建矿山灾害类事件语料集，包括三个阶段：

a1分析及整理矿山灾害事件类别体系，将矿山灾害类事件语料集为一条文本对应一个灾害类事件标签的结构生成矿山灾害类事件语料库，若文本中包含某类矿山灾害事件，则为其标注相应的事件类别，若不包含事件类别，标记为无灾害类事件；

a2从网络和各大数据控中根据灾害事件体系有针对性的搜集灾害事件信息；

a3将收集的矿山灾害类事件信息分配相应的事件标签，包含灾害事件信息则分配相应的灾害事件类别标签，不包含则分配无灾害事件标签，即完成矿山灾害类事件语料集的构建；

步骤二、设计检测模型架构，检测模型架构分为混合特征输入层和模型主体框架层的设计2部分：

b1采用混合特征层的思路设计模型混合输入层设计部分，将语料中每个字符对应的字符级、词级位置和实体特征向量拼接为一个混合特征向量，构建细粒度和语义性更强的混合特征输入层，用以挖掘文本深层次的语义和结构信息；

b2模型主体框架层设计部分，选择模型类型为文本分类模型，将迭代式空洞卷积神经网络IDCNN引入到灾害检测领域中，改善卷积神经网络CNN难以有效提取篇章级文本特征的弊端，同时将高速神经网络Highway与IDCNN结合构建新型卷积神经网络HIDCNN组合模型；

采用tensorflow1.2.0中的tf.nn.atrous_conv2d方法搭建具有膨胀系数δ的DCNN网络，若δ＝1时，此时DCNN网络则相当于传统CNN网络，当δ＞1时，在层数和卷积核尺寸一致的情况下，DCNN网络块由δ分别为1、2、4的三层DCNN网络构成；

采用迭代法堆叠DCNN网络块，构成迭代式空洞卷积神经网络IDCNN：迭代块Net为包含δ为1、2、4的三层DCNN网络，最优迭代次数k我4，依次将第k轮迭代中Net中最后一层的输出向量作为第k+1轮迭代的输入向量X_k+1，若迭代轮数超过设定的阈值，则停止迭代，IDCNN模型迭代结束后添加一层δ为1的DCNN层，确保后续网络层得到完整信息，迭代过程采用tensorflow1.2.0中的for循环搭建；

将Highway高速神经网络与IDCNN结合，以改善检测模型训练过程中出现的过拟合、梯度爆炸的现象，即将Highway网络作为IDCNN和Softmax分类层的连接层，构成基于HIDCNN的灾害事件检测模型，优化卷积层提取的特征，避免特征信息流衰减严重的问题，确保分类层处理的特征向量信息完整，以保证检测模型训练的收敛性；

模型后续连接Dropout层和Softmax分类层，构成完整的矿山灾害事件检测模型；

步骤三、训练检测模型，在检测模型搭建完毕的基础上将矿山灾害类语料集逐次输入检测模型，依据训练结果不断调整检测模型参数，直至检测模型训练准确性及损失率最优，即检测模型训练完毕；

步骤四、检测新文本所含事件信息部分：将需要检测的文本输入训练好的检测模型，将检测模型检测出结果作为新文本的标签，即可实现灾害类事件检测的任务要求。

2.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法，其特征在于将矿山灾害事件分类为：顶板事故、瓦斯事故、机电事故、运输事故、爆破事故、水害事故和火灾事故7大类，每一大类再细分相应的子事件，加上无事件类，不考虑其中的层级结构总共分为22个预定义的矿山灾害事件类。

3.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法，其特征在于获取字符级、词级和实体特征向量的方法为：

1)字符向量从预训练字符向量集的字符向量集中获取，使用Word2Vec中的Skip-gram模型训练矿山灾害类事件语料集，构建完整的预训练字符向量集，向量化为语料的每一个字符分配相应的字符向量Char_i；

2)词级向量选用随机初始化的空间向量，首先借助哈工大开源的ltp语言处理工具中的分词模型对语料进行分词操作，并按照词结构信息为语料分配相应的数字，利用0表示单字符，利用1表示首字符，利用2表示中间字符，利用3表示尾字符，后续借助tensorflow1.2.0中的tf.Variable方法为语料分配的数字0-3分配相应的随机初始化空间向量，tf.nn.embedding_lookup方法查找各数字对应的随机向量，表示每个字符的词级信息Seg_i；

3)实体向量与词级向量类似，区别在于表示实体的标识不同，利用B表示实体开始字符，利用I表示中间字符，利用E表示尾字符，利用O表示非实体字符，利用S表示单实体字符，后续按上述操作进行，将语料集中的单一文本包含的各字符转换为实体向量Entity_i，基于上述三个级别的特性向量采取类似串行拼接操作，构建混合级向量表示，作为检测模型的训练及测试语料集，经混合输入层后，语料集中的某一长度为n的文本转换为[X₀,X₁,X₂....X_n-1]的特征向量表示，拼接中具体的计算公式如下：

4.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法，其特征在于HIDCNN网络的计算公式为：

Y_i＝H(h_i-1,W_H)*T(h_i-1,W_T)+h_i-1*C(h_i-1,W_C)(i≠1)

h_i＝Y_i-1

其中，h_i为第i层Highway层输出向量，h₁＝O，O为IDCNN的输出向量，H是一个非线性仿射变换函数relu，转换门T和携带门C均为双曲正切函数tanh，为了简化模型，通常将携带门C设置为1-T，W_T和W_C维度必须相同，如果不同必须进行补零操作，在矿山灾害事件检测场景下，经过多轮训练，发现2层Highway能够获得最佳的模型准确性及模型收敛效果。

检测方法首次组合使用IDCNN及Highway构建组合模型，将IDCNN的输出作为第一层Highway网络的输入，从而优化特征向量，高效检测文本中的灾害事件。使用tensorflow1.2.0中的tf.tanh、tf.sigmoid和tf.matmul方法搭建单层Highway网络，叠加多层可使用for循环，重复将上一层的输出作为当前层的输入。

5.根据权利要求1所述基于新型卷积神经网络的矿山灾害事件检测方法，其核心在于训练灾害事件检测模型，调整检测模型的最优超参数(如卷积核尺寸、个数、DCNN层数、迭代次数、Highway层数)，设置如下：

字符向量的维度为100，词级和实体向量维度均为20，可处理最长文本长度为400，超出截断，不足补0；卷积核的尺寸为3*3，个数为256，迭代块中包含3层DCNN，δ分别为1、2、4，迭代次数为4次，Highway层数为2；训练时，Batch_size为128，Dropout参数为0.5，学习率设置为0.001，优化器为Adam，测试时，Dropout参数为1.0；

模型性能的测试指标为调和平均数

训练过程中，依据每轮模型训练的F₁值和损失值的变化情况，观察模型训练效果，如果模型准确率维持稳定，则模型停止训练，同时多次调整超参数值以寻找模型性能最优下的超参数。

Images