CN113297929A - 基于全过程可视化的卷积神经网络微震监测波形识别方法 - Google Patents

Abstract

一种基于全过程可视化的卷积神经网络微震监测波形识别方法，属于岩体工程灾害智能监测领域。技术方案：构建训练所需要的数据集，人工标注单通道数据；将波形数据集随机划分为训练集、验证集以及测试集；将原始波形图片进行图像缩放、归一化、标准化及灰度化图像预处理操作；在Lenet网络中，用卷积层代替全连接层，增加激活层；在模型训练过程中采用随机梯度下降方法，增加批量归一化层；在模型中增加注意力机制，并对模型识别不同波形种类的过程进行可视化解释；有益效果：本发明实现全过程可视化，确定了输入尺寸为50*130、卷积核5*3为最佳改进模型框架，正确率达到了0.9768，相比原始模型提升了10.18％；无需降噪，无需画图，无需转化为时频图，实现端到端分类。

Description

基于全过程可视化的卷积神经网络微震监测波形识别方法

技术领域

本发明涉及岩体工程灾害智能监测领域，特别是基于全过程可视化的卷积神经网络微震监测波形识别方法。

背景技术

我国现阶段的岩石工程规模大、难度高，为世界所曙目。无论是矿山工程，还是水电工程、交通工程，其开发均已进入深部地下空间。“长、大、深、群”特点愈来愈明显，带来许多深部岩石力学问题，尤以岩爆最为突出，严重威胁施工人员人身和设备财产安全。微震监测技术是一种直接预测大型工程岩体失稳的先进技术。通过岩石裂隙声发射特征可以判断岩体的应力状态，获取岩体微裂隙发生的时间、位置和大小。因此，可以估计岩体局部损伤和潜在岩爆的位置，从而达到实时灾害预警推断的有效手段。

然而，工程环境复杂多变，干扰因素众多，导致在接收到的有效微震监测信号中存在大量干扰信号。微震监测信号与干扰信号的分类是微震监测系统的基础工作，对灾害预警和工程管理具有重要意义。目前，大多数微震信号的识别和分类仍依赖人工处理，但工作量大，人工识别效率低，易受个人因素影响，并会出现处理错误、误处理和不及时处理。此外，对信号进行分类需要时间，这延误了灾害预警信息的产生。因此，快速有效地识别和分类微震监测信号是一个迫切需要解决的问题。

目前用于处理微震监测信号方法存在以下几点不足：

(1)采用地震矩、能量、静应力降、视应力等震源参数作为分类特征。Malovichko(2012)、Vallejos和McKinnon(2013)、Dong等(2016)、Zhao et al.(2015)。这些研究虽然在分类方面取得了很大的进展，但不适合用于实时处理和预警系统。震源参数由经验丰富的分析人员利用P/S波的初至拾取、定位和震源参数计算获得。

(2)只分类了微震和岩爆信号，没有具体区分干扰信号。但Gaudio et al.(2014)论证了从环境噪声中可以获得边坡材料的s波速度等有效信息。因此，除了对微震和爆破进行分类外，还需要对废弃干扰信号进行识别和分类，因为它们也可以提供有效的岩体信息。

(3)提取原始波形特征代替波形对微震监测信号进行分类。Esposito等人(2006)、Zhang等人(2019)、Peng等人(2020a,2020b)、Zhao和Gross(2017)。但没有充分利用原始数据会丢失一些波形特征，且将在转换时频图的过程中，有些方法可能会出现涂抹和泄漏现象(Tary et al.,2014)。

(4)降噪后分类，如Lin et al.(2018,2019)提出了两种微震波形自动识别方法:DCNN-SPP(deep convolutional neural network-spatial pyramid pool)和DCNN-SVM(deep convolutional neural network-support vector machine)，对波形图像进行滤波和去噪处理后进行分类。但如果选择不恰当的去噪方法或滤波参数，会造成波形失真，降低P/S到时拾取精度，对微震定位产生负面影响(Zhang et al.，2019b；Lv,2019)。

(5)Wilkins等人(2020)通过时间-振幅数据先绘制波形图再进行分类。但时间-振幅数据很难自动导出，增加技术人员难度，且增加了画图步骤，较为繁琐。

(6)忽视了对学习结果提供可理解的解释。由于网络深度的进一步增加，如VGG、ResNet等，网络的可解释性变得越来越难。随着卷积的深入，特征提取变得越来越复杂，很难理解特征提取的过程。这一缺陷导致基于网络输出的结果具有很大的不确定性，进行安全预警的决策存在严重的风险(Bi et al.2021)。此外，准确性和其他评价指标取决于数据集的分布,但没有大型公开数据集,因此,在当前形势下,如果整个过程可以可视化解释模型的特征提取过程,模型的可靠性可以进一步证实。

(7)当网络结构过于复杂时，参数量大大增加，对计算设备要求较高，增加成本，且复杂的模型容易导致过拟合等问题。

(8)当网络结构过于简单时，虽然可以识别出干净点微震信号，但当微震信号与电流、噪音等信号混合时，无法充分的学习样本特征，导致分类精度较低。

随着计算机科学的飞速发展，用计算机代替人工自动处理微震监测信号已成为必然趋势。目前，像LeNet这样的简单网络仍然是各个领域的热门话题。在计算机领域、人脸识别和行人识别、交通运输行业、智能农业领域、医学等方面的实践中仍然使用改进的LeNet方法。这些研究取得了很高的准确性。目前，VGG、ResNet、DarkNet、ShuffleNet等复杂网络的基本思想也来自LeNet。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

为了解决上述现有技术中存在的问题，本发明提供一种基于全过程可视化的卷积神经网络微震监测波形识别方法，利用计算机来完成微震监测信号的智能分类任务；借鉴LeNet的思想，将LeNet作为微震监测信号识别和分类过程中的高精度识别框架，针对现有Lenet网络对于波形识别分类的不足，在基于Lenet框架下提出了一种适应于微震监测波形识别的改进模型；采用卷积层代替全连通层，以全局平均池层作为网络的输出，通过截屏得到的波形图像直接输入模型进行分类，无需去噪，充分利用原始数据。本发明的模型是鲁棒的，并且允许一定数量的噪声。此外，还增加了激活层以增加模型的非线性因素。由于线性模型缺乏表达能力，因此非线性模型的泛化能力要优于线性模型。通过添加批归一化层，减少了参数调整操作，增加了注意机制，通过CNN自动进行特征提取的过程，以满足微震信号识别过程的可视化理解和高精度检测的需要，得到最优的分类结果。最后，对各层卷积的注意区域进行了可视化分析，有助于进一步解释基于波形分类结果的模型判断过程。

技术方案如下：

一种基于全过程可视化的卷积神经网络微震监测波形识别方法，步骤如下：

S1、构建训练所需要的数据集，人工标注单通道数据；

S2、将波形数据集按照70％、10％、20％随机划分为训练集、验证集以及测试集；

S3、将原始波形图片进行图像缩放、归一化、标准化及灰度化图像预处理操作；

S4、在Lenet网络中，用卷积层代替全连接层，增加激活层；

S5、在模型训练过程中采用随机梯度下降方法，增加批量归一化层；

S6、在模型中增加注意力机制，并对模型识别不同波形种类的过程进行可视化解释；

S7、分类好的波形数据集加载到改进模型中进行训练，每一轮训练完的结果用验证集数据进行验证，观察模型在验证集中的学习情况，根据情况调整学习率，直至模型稳定，最后测试集测试模型的准确率。

进一步的，步骤S4中，用卷积层代替全连接层步骤如下：

将原始模型的卷积通道数修改为64→128→256，采用全局平均池化层代替全连接层，通过求卷积神经网络每个特征图的平均值作为输出值，将输入图像修改成矩形，根据输入波形图像的特点设置高*宽分别为5*3、3*5、3*3、5*5的卷积核。

进一步的，步骤S4中，增加激活层步骤如下：

在LeNet每一层卷积层之后添加一个非线性激活函数层；激活函数使用ReLU：

f(x)＝max(0,x)

其中x表示自变量。

进一步的，步骤S5中，所述批量归一化层是一个有参数化且可学习的网络层，在进入批量归一化层之前对数据进行预处理，即白化操作，如下式：

其中，μ_β表示每批输入数据的平均值，

表示每批数据的方差，ε表示实数；

引入了两个可学习的参数γ、β，对归一化的数据进行变换重构，最终输出下式：

详细算法框架如下：

输入：Values of x over a mini-batch:β＝{x_1...m}；

Parameters to be learned:γ、β

输出：{y_i＝BN_γ,β(x_i)}

其中u表示均值、σ表示标准差。

进一步的，步骤S6中，添加的注意力采用SENet，网络在学习波形特征的过程中，同时学习每个通道对总体特征的贡献值，然后依照所述贡献值来提升有用的特征，并抑制对当前任务贡献不大的波形特征；给定一个特征通道数c₁输入x，对x进行一系列卷积操作变换得到一个特征通道数为c₂的特征集；然后在此基础上进行Squeeze、Excitation、Reweight操作，最终得到一个具有通道权重分配的特征

进一步的，步骤S6具体步骤如下：

首先进行传统卷积F_tr操作，输出c₂*h*w形状的特征图；

Squeeze:然后进行F_sq操作，将一个channel上整个空间特征编码成一个全局特征，采用全局平均池化global average pooling来实现，这一层的输出是c₂*1*1的特征图，下式：

其中：u_c表示u中第c个二维矩阵，c表示通道数，H是高度，W是宽度；

Excitation:Squeeze操作得到了一个包含空间上全局信息的编码，抓取各个channel之间的关系，通过门机制来捕获通道间的依赖关系，如下式：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，s表示门控单元，W₁表示全连接层的降维权重，W₂表示全连接层的升维权重，δ表示ReLU激活函数，σ表示Sigmoid激活函数；

Fscale:在学习到了通道权重后，Scale操作通过乘法将归一化的权重逐通道加权到先前的特征上，来重新校正通道维度中的原始特征，如下式：

其中，

和F_scale(u_c,s_c)指的是特征映射u_c∈R^w×h和标量s_c之间的对应通道的乘积，

是

的一个特征通道的一个Feature Map，s_c是门控单元s中的一个标量值。

本发明的有益效果是：

本发明所述的基于全过程可视化的卷积神经网络微震监测波形识别方法具有以下优点：

(1)该方法不仅能对微震和爆破波形分类，还可以对电、噪声、哨声等13种微震监测波形图像进行了详细的识别和分类；一些干扰信号可能有助于分析岩体的破裂情况或机器的运行状态，且详细分类可以准确评估模型识别特定类型波形的能力，识别出它被错误划分为哪种类型的波形，并为模型提供更详细的评价指标。详细的分类也有助于后续的降噪处理和p/s到时拾取；

(2)将原始波形图像作为神经网络的输入，避免了传统递归神经网络(RNNs)和长短期记忆(LSTM)单元只能保持中程记忆(约500-1000个时间步长)的缺点(Li et al.,2018)；

(3)波形图像更容易操作，避免了将时间-振幅数据转换为时频图；

(4)与传统的多层感知器相比，本发明的模型提高了有噪声的微震监测波形分类性能；

(5)对学习结果提供解释，全过程可视化卷积特征提取过程；适当的可解释性提供了对模型基于什么来做出分类决策的理解，这种类型的理解对于模型的进一步部署以及错误分析非常有益；

(6)将32*32和50*130尺寸的图像输入改进模型，并进行了3*3，5*5，3*5，5*3四种卷积核对比试验，确定了输入尺寸为50*130、卷积核5*3为最佳改进模型框架，其正确率达到了0.9768，相比原始模型提升了10.18％；

(7)操作简单，只需要在计算机界面上实时显示监测到的微震波形，模型在自动截屏后给出分类结果；实现了对波形的端到端识别和分类；

(8)P/S到时拾取和其他操作分类可以不依靠微震监控系统后,和实时预警工作可以完成而无需人工干预,奠定了基础的建立一个自动预警系统监测；

(9)充分利用原始波形数据，不会丢失任何波形特征；

(10)无需降噪过程，不会导致波形失真；

(11)无需画图，过程简单、方便；

(12)模型参数数量少，减小计算设备要求，减小成本，不容易出现过拟合等问题；

(13)不仅可以识别出干净点微震信号，也可以识别单通道混合信号。如微震信号与电流、噪音等信号混合。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1是本发明图1技术路线流程图；

图2是原始lenet网络示意图；

图3是全链接层示意图示意图；

图4是全局平均池化层示意图；

图5是SENet层结构示意图；

图6是改进模型网络结构示意图；

图7是原始波形信号示意图；

图8是训练集前100轮模型Loss值和正确率值示意图；

图9是训练集后50轮模型Loss值和正确率值示意图；

图10是验证集前100轮模型平均准确率、Loss值柱状图；

图11是验证集后50轮模型平均准确率、Loss值柱状图；

图12是原始模型测试集的混淆矩阵图；

图13是改进模型w32_h32_5_5测试集的混淆矩阵图；

图14是改进模型h50_w130_(5_5)测试集的混淆矩阵图；

图15是改进模型h50_w130_(5_3)测试集的混淆矩阵图；

图16是改进模型h50_w130_(3_5)测试集的混淆矩阵图；

图17是改进模型h50_w130_(3_3)测试集的混淆矩阵图；

图18是原始模型改进前后对波形分类的测试结果图；

图19是不同网络对13个分类波形在不同层的注意力可视化示意图1；

图20是不同网络对13个分类波形在不同层的注意力可视化示意图2；

图21是不同网络对13个分类波形在不同层的注意力可视化示意图3；

图22是不同网络对13个分类波形在不同层的注意力可视化示意图4。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

1.技术路线

基于改进Lenet算法对微震监测波形进行识别的整体流程如图1所示。其具体实施步骤如下：

第一步：构建训练所需要的数据集，人工标注单通道数据。

第二步：将波形数据集按照70％、10％、20％随机划分为训练集、验证集以及测试集。

第三步：原始波形图片进行图像缩放、归一化、标准化及灰度化图像预处理操作，为下一步放入模型做好准备。

第四步：针对原始Lenet的不足进行相应改进，最终形成本发明所采用的训练模型。

第五步：分类好的波形数据集加载到改进模型中进行训练，每一轮训练完的结果用验证集数据进行验证，观察模型在验证集中的学习情况，根据情况调整学习率，直至模型稳定，最后测试集测试模型的准确率。

2.Lenet

LeNet现在主要指LeNet-5，原LeNet模型在手写体和印刷体字符的识别取得了良好的效果。如图2所示，原始Lenet模型有三个卷积层、两个池化层和两个全连接层构成。输入的波形图片尺寸为32*32，第一层、第二层和第三层卷积层使用5×5大小的卷积核，滑动步长为1，平均池化层窗口大小为2*2，步长为2，最终模型输出13类波形。

Lenet早在20世纪90年代被提出，其构建卷积神经网络的方法一直被借鉴和使用，如AlexNet、VGG等卷积神经网络。本发明根据Lenet对图像识别的思路，针对微震监测波形识别问题做了相应的改进：

1)原始Lenet网络，只能接受高*宽是32*32像素的图像，但是微震监测波形图片像素的高*宽大约为10*1300，若强行压缩至32*32的图片进行输入可能会导致信息丢失。鉴于此，本发明用卷积层代替全连接层，以满足长方形图像作为模型的输入。

2)原始Lenet网络并没有激活层，而波形图像分类的任务具有明显的非线性，增加激活层，可以增加网络的非线性表达，从而提高模型的泛化能力。

3)在模型训练过程中采用随机梯度下降方法，增加批量归一化层，以减少调参操作。

4)在模型中增加注意力机制，并且对模型识别不同波形种类的过程进行了可视化解释。

3.替换全连接层和增加通道数

Lenet受限于当时的计算能力，卷积通道数设置较小(6→16→120)，若采用原始的Lenet通道参数，卷积提取特征的数据量较少。在识别微震监测的波形时，可能出现学习能力不足的现象，所以对原始模型的通道数修改为64→128→256。增加通道数是为了每一层卷积能够对输入的波形图提取到更多用于网络学习的特征。增加信息让模型的学习能力会得到进一步提升，但是也可能面对模型过拟合问题，后面本发明通过批量归一化等技术避免模型在学习波形图像时出现过拟合现象。

由于全连接的存在，限制了模型输入图像的大小。在处理波形图像识别任务时，对于微震监测得到的单通道图像高*宽为10*1300像素，但是原始模型仅可以输入32*32的图像，限制了波形图像的输入。如果将波形图像过度压缩可能会导致图像的信息丢失，也可能导致不同种类波形的显著特征难以学习。所以本发明采用全局平均池化层代替全连接层。

图3和图4为全连接层和全局平均池化层的示意图，全链接层的设计需要对通道的特征图像(二维数据)拉伸到一维，所以对输入波形图像的尺寸有固定的要求，但是全局平均池化层是通过求卷积神经网络每个特征图的平均值作为输出值，丢弃了拉伸的操作，所以不再受限输入图片的尺寸。将输入图像修改成矩形之后，根据输入波形图像的特点设置了高*宽分别为5*3、3*5、3*3、5*5的卷积核。

4.增加批量归一化层

波形图片输入到卷积神经网络进行训练时，主要采用梯度下降作为优化算法进行训练，而这个过程会涉及到大量的调参操作，比如调整网络参数、学习率等。不同的参数会使的网络效果出现差异，而反复的调参操作不仅繁琐而且检测率受人为因素影响较大，同时不能保证实时性要求。为了解决这个问题，将在Lenet模型基础上增加批量归一化层，加快收敛速度并减少人为调参过程。

批量归一化层是一个有参数化且可学习的网络层，在进入批量归一化层之前会对数据进行预处理，即白化操作，如式1：

其中，μ_β表示每批输入数据的平均值，

表示每批数据的方差，为了避免分母为零的情况出现，增加一个很小的实数ε。

直接用公式(1)对数据进行规范化处理会降低表达式的层次。因此，引入了两个可学习的参数γ、β，对归一化的数据进行变换重构，最终输出结果如式2。

详细算法框架如下：

5.增加激活层

在处理图像分类的问题时，由于图像的复杂性，如微震、岩爆和的爆破之间的区分，很难用一个固定的线性公式进行表达，但原始LeNet在卷积之后并没有考虑到激活层的非线性转换。对比近年来的新的深度模型结构来说，如VGG、ResNet、AlexNet等，发现激活层往往都添加到每一层的卷积层后面。所以在做微震监测波形识别的图像分类问题时，为了增加模型的非线性表达能力、学习能力和泛化能力，本发明在LeNet每一层卷积层之后添加一个非线性激活函数层。

激活函数常用的有Sigmoid(式3)和ReLU(式4)。对于AlexNet使用的是用sigmoid激活函数，而VGG和ResNet等采用的ReLU激活函数。sigmoid是第一个广泛使用的激活函数，但是在正向传播时候需要进行指数运算，在波形分类这种复杂任务中，会使得模型的计算量大量增加。且Sigmoid存在饱和区域，导数也趋向于零，容易出现梯度消失的问题，使得模型无法正确学习到波形图像的特征。相对而言ReLU函数不存在饱和区域，不论是正向传播还是反向传播计算都比较简单，同时Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生，所以本发明选择Relu作为激活层。

f(x)＝max(0,x) (4)

6.增加注意力机制

注意力机制通俗地讲就是把注意力放在重要的部分上，忽略其他不重要的部分。通过注意力机制的可视化，能够认识到模型在进行波形识别的时候重点关注的区域。本发明添加的注意力采用SENet，其结构如图5所示，SENet侧重考虑特征通道之间的关系，并对特征通道之间的相互依赖关系进行显式建模。具体的说，就是采用一种对特征通道进行重新标定的方法，网络在学习波形特征的过程中，同时学习了每个通道对总体特征的贡献值，然后依照这个贡献值来提升有用的特征，并抑制对当前任务贡献不大的波形特征。给定一个特征通道数c1输入x，对x进行一系列卷积操作变换得到一个特征通道数为c2的特征集。然后在此基础上进行Squeeze、Excitation、Reweight等一系列操作，最终得到一个具有通道权重分配的特征

首先进行传统卷积F_tr操作，输出c2*h*w形状的特征图，由于传统卷积对各个通道的卷积结果做了求和，所以通道特征关系与卷积核学习到的空间关系混合在一起。而SE模块可以抽离这种混合，使得模型直接学习到channel特征关系。

Squeeze:然后进行F_sq操作。卷积F_tr只是在一个局部空间内进行操作，很难获得足够的信息来提取channel之间的关系。所以SENet提出Squeeze操作，将一个channel上整个空间特征编码成一个全局特征，本发明采用全局平均池化global average pooling来实现，这一层的输出是c2*1*1的特征图，如式5；

其中：u_c表示u中第c个二维矩阵，c表示通道数(channel)；H是高度(Height)，W是宽度(width)。

Excitation:Squeeze操作得到了一个包含空间上全局信息的编码，接下来需要另外一种变换来抓取各个channel之间的关系。Excitation操作的目的是设计一个简单的门机制来捕获通道间的依赖关系，如式6。

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z)) (6)

其中，s表示门控单元，W₁表示全连接层的降维权重，W₂表示全连接层的升维权重，δ表示ReLU激活函数，σ表示Sigmoid激活函数。

Fscale:在学习到了通道权重后，Scale操作通过乘法将归一化的权重逐通道加权到先前的特征上，来重新校正通道维度中的原始特征，如式7。

其中，

和F_scale(u_c,s_c)指的是特征映射u_c∈R^w×h和标量s_c之间的对应通道的乘积。

是

的一个特征通道的一个Feature Map，s_c是门控单元s中的一个标量值。

7.改进模型

本发明通过上述的改进方法构造了新的模块，并进行网络搭建，如6图所示。改进模型网络由多个基本模块构成，每个基本模块分别由卷积层、批量归一化层、注意力层、Relu层以及最大池化层构成，最终网络叠加了三层基本模块，其通道数为64→128→256→13。相比原始Lenet模型，分类层中删除了两个全链接层，由全局平均池化层代替，因此可以接受长方形图片的输入。卷积层中增加注意力机制等，提高了模型对波形图像的特征提取能力。

8.数据集介绍

本发明选择中国某输水工程8个月内出现的13种波形进行识别分类，如图7所示。与以往研究不同的是本发明除了分类微震、岩爆和爆破还将干扰信号进行详细分类，因为详细的分类可以准确了解模型对不同波形识别能力的强弱，针对识别较弱的波形可以增加训练数据集，提高模型识别准确率。此外，对后期不同波形的降噪处理、到时拾取、无效干扰信号的过滤及有效噪音的应用有极大的帮助。

9.数据预处理

本发明数据集分为训练集、验证集和测试集三个部分，其波形图片数量依次为6830、756和1893。在正式进入模型学习训练之前，需要对波形图像进行以下预处理：

1.图像缩放：由于不同的算法对于图像的输入存在一定要求，对于本研究的波形图片是高*宽为10*1300的长方形图片，不能直接加载到模型当中，所以要进行缩放处理。在实验过程中，根据模型的要求将图像缩放到相应的尺寸进行训练。

2.图像标准化：波形图像数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布的相关知识，得到数据中心化符合数据分布规律，更容易取得训练之后的泛化效果。数据标准化是数据预处理的常见方法之一，其公式如式8和式9。

其中，μ是图像的均值，X表示样本图像矩阵，σ表示标准方差，N表示图像X的像素数量。

3.归一化：归一化不会改变图像本身的信息存储，本发明将波形图像像素的取值范围从0～255通过归一化的公式(公式10)转化为0～1，图像归一化之后能够加快卷积神经网络的收敛。

其中，x_i表示波形图像的像素值，min(x),max(x)分别表示像素的最小值与最大值。

4.灰度化：图像灰度化是将彩色的波形图像通过变换得到灰度图像。每个通道由红色(R)、绿色(G)和蓝色(B)可以组成多达256*256*256(1600多万)种不同的颜色。如果直接对彩色图像进行处理会导致极大的运算量，并且在微震监测波形图像分类中，颜色特征并没有明显的区分性，波形部分均为红色，所以本发明将图像进行灰度化处理。灰度图像的每个像素点只有一个通道，这个通道只有256种取值，所以选择灰度图像进行处理极大地提高了运算的效率，同时也降低了颜色对于波形识别的干扰(系统干扰信号底色为蓝色)。本发明基于Python图像处理库PIL对波形进行灰度处理，计算公式如式11：

L＝R*299/1000+G*587/1000+B*114/1000 (11)

其中，R、G、B分别为红色、绿色和蓝色图像的像素值，L为灰度图像的像素值。

10.结果分析

本实验环境是在win10系统下搭建的PyTorch深度学习框架，单个GTX1050Ti GPU加速。动量为0.9的SGD优化算法，前100轮设置学习率为0.01，后50轮设置学习率为0.001，batch size均为32。

为了评价改进Lenet模型对波形识别的有效性，利用波形图像对该模型进行训练、验证和测试。分别对改进前后的Lenet网络进行训练，并针对网络特点设置了不同大小的输入图像和卷积核进行对比分析。

1)输入图像大小：原始的Lenet输入的图像固定为32*32，但是微震监测波形识是以一种长方形的样式对信息进行存储。如果缩放到32*32，必然会失去部分重要信息，跟据网络深度及实验的卷积大小，本发明选择高*宽为50*130的图像作为对比。

2)卷积大小设置：由于改变了原始输入图像尺寸，需要设计相应的卷积核进行特征提取。参考其他优秀的卷积神经网络，一般都以正方形的卷积为主，所以本发明设置了5*5和3*3的卷积核，并根据输入图像的特征设计了3*5和5*3的卷积核，详细实验参数如表1所示。其实验1命名为Lenet，改进模型的命名方式如实验2为Improved_lenet_h32_w32_(5_5)。

表1实验控制参数

网络	输入图片大小	卷积核大小
			Lenet	32*32	5*5
Improved Lenet	32*32	5*5
			Improved Lenet	50*130	5*5
Improved Lenet	50*130	3*3
			Improved Lenet	50*130	5*3
Improved Lenet	50*130	3*5

通过观察训练过程的Loss值和Accuracy值判断训练是否达到稳定。图8(a)、(b)为前100轮、学习率为0.01的训练过程。相对原始的Lenet，改进模型Loss值下降的更快，在100轮学习之后，原始Lenet的Loss值稳定在0.410左右，而改进模型的Loss值稳定在0.070左右，其中32*32_5*5稳定在0.039。通过准确率值可知，相对原始Lenet，改进模型的准确率均有较大幅度提高，原始Lenet稳定在0.851左右，而改进该模型在0.980左右。在训练过程中发现改进模型比原始模型有较大的提升，但是从Loss角度来看，模型还需要进一步训练。根据随机梯度下降的学习特点，将学习率下调到0.001继续训练50轮。

图9(a)、(b)为后50轮的学习过程，在经过50轮学习之后，原始Lenet的Loss值大约稳定在0.195，相比学习率0.01的稳定值降低了0.215，而改进模型的Loss值大约稳定在0.030，相比学习率为0.01的稳定值降低了0.04。经过50轮的训练，Loss值和Accuracy值基本不在发生变换，模型处于比较稳定的状态。观察前后两次的学习结果可以看出，对于微震监测波形图像的分类任务，改进模型的整体学习能力要优于原始Lenet模型。

为了观察每轮模型的学习能力，在每一轮训练之后，通过10％的验证集进行验证，结果如图10和图11所示。图10为各个模型在验证集上前100轮的平均准确率值和Loss值，图11为各个模型在验证集上后50轮的平均准确率值和Loss值。对比图10和图11，前100轮原始模型的loss值比改进模型低，准确率在0.4-0.8之间，所有模型在验证集上面的表现均不是特别理想。将学习率调整为0.001后，改进模型的准确率大约上升到0.95，而原始模型的准确率大约为0.86。

经过两次的训练，原始Lenet模型和改进模型基本达到稳定状态，从训练结果能够看出改进模型的训练收敛速度要大于原始模型。同时观察验证集可知，改进模型并没有出现过拟合或者欠拟合的现象，模型可以用于测试集进行测试。

验证集并不能真实的表现出模型的泛化能力，为了更真实的体现出模型对未学习过数据的识别能力，将训练好的模型对测试集数据进行识别，来判断模型的识别能力。为了更方便的观察模型的预测效果，先观察各个模型的混淆矩阵，如图11-17所示。

如图11-17中的0-12分别代表：0岩爆rockburst、1爆破blast、2系统干扰信号System interference signal、3汽车鸣笛whistle、4施工扰动Constructiondisturbance、5电流electricity、6鼓风机blower fan、7一半噪音Half noise、8微震microseismicity、9噪音noise、10脉冲电流pulse current、11弱岩石破裂Weak rockfracture、12其他信号Other signals。

图11-17为原始Lenet改进前后的混淆矩阵图，可以看出原始模型对于波形识别的能力比较差，各个分类的波形均出现较多漏检和错检的情况。相比原始模型，不同卷积大小的改进模型均有比较好的识别能力，其错误主要集中在部分实际为1爆破blast(blasting)的数据被预测成0岩爆rockburst，其h50_w130_(5_3)模型识别错误最少。为了进一步量化评估的结果，本发明引入了查准率、查全率、F1值和准确率来判断模型的预测能力。

精确率(Precision)计算公式如式12所示。召回率(Recall)计算公式如式13所示。F1值是precision和recall调和平均值。如式14和式15所示。准确率(accuracy)的公式如式16所示。

其中，TP(true positive)是被模型正确分类的正例；FP(false positive)是样本是负例，模型预测为正例；FN(false negative)是样本是正例，模型预测为负例；TN(truenegative)是被模型正确分类的负例。

图18为原始模型改进前后对波形分类的测试结果。其中Precision、Recall、F1-score为单一类别的评价指标，Accuracy为模型的整体评价指标。从波形类别来看，原始网络对汽车鸣笛、电流、6鼓风机、12其他信号类别的查准率均低于0.8，对1爆破、2系统干扰信号类别的识别能力较强，查准率和查全率均约为0.95。相比原始模型，改进模型在每种波形的查准率、查全率及F1值均有提高，原始模型对13类波形的平均查准率、平均查全率、平均F1值依次为0.8539、0.8452、0.8481。而改进模型对13类波形的平均查准率、平均查全率、平均F1值依次为0.9639、0.9634、0.9633。改进模型增加了非线性学习能力及注意力等能力，对波形识别能力强于原始模型，但是不同尺寸图像的输入及不同大小的卷积都将对模型的最终结果产生影响。

鉴于输入图像的影响，本发明选取了高*宽为32*32和50*130像素的图像。对比原始模型和Improved_lenet_h32_w32_(5_5)在输入相同图像的条件下，改进模型的F1值上得到提升，但是对0岩爆和9噪音是降低了0.0068、0.0154。说明在32*32的输入情况下，由于图像的过度压缩，使波形的部分信息丢失，即使增加了网络的特征提取层和注意力机制等改进也难以区分和识别。在同样的条件下，将模型输入图像修改为50*130，发现Improved_lenet_h50_w130_(5_5)模型的F1值明显高于原始模型，平均提高0.1237，其中12其他信号的F1值提高最明显，达到了0.2419。

Improved_lenet_h50_w130_(5_5)

相比Improved_lenet_h32_w32_(5_5)模型，各个单一类别的F1值平均提高了0.0260，12其他信号类的提升最大，达到了0.0323。可见输入图像的尺寸对于模型学习的影响较大，过度压缩损失的图片信息即使使用改进网络也难以区分不同波形，长方形的输入比较好的保留了原始图像特点，所以模型对波形的特征提取更为准确。

确定长方形图像的作为模型的输入后，卷积核大小和形状对模型的特征提取也十分重要。本发明设计了3*3、5*5、3*5、5*3四种卷积核，卷积核越大，感受野越大，看到的图片信息越多，更关注全局信息，而小卷积核则更关注细节信息。从模型的正确率角度来看，Improved_lenet_h50_w130_(5_3)>Improved_lenet_h50_w130_(5_5)>Improved_lenet_h50_w130_(3_3)>Improved_lenet_h50_w130_(3_5)。而正确率最高与正确率最低的模型相差0.015。说明5*3的卷积核大小和50*130的输入尺寸是最合适的改进模型参数，5*3的卷积进行特征提取过程中，更关注长度方向的细节信息以和高度方向上的全局信息，这种特征提取的方式符合微震监测波形的信息分布。

11.模型解释

本发明分析了不同改进模型的准确率，但是模型为什么能够通过原始图像的输入做到准确的分类？基于深度学习的卷积神经网络的“黑箱性”，难以得到非常好的解释性。一般情况会抽取不同卷积层的特征进行可视化，观察模型在哪些方面进行特征提取，但在通道数较多的情况无法逐个抽取进行观察。本发明在每一层卷积层之后添加了注意力层，通过对注意力层提取的热力图可以分析得出模型会主动学习哪些重要的特征，特征图的权重越大证明特征对于分类的结果影响越大，模型也更加注重该区域。本发明通过注意力层的可视化来解释模型整个分类识别的过程。

图19-图22为不同网络对13个分类波形在不同层的注意力可视化，图中表由13类波形和不同网络构成，同时包含输入模型的图片、关注区域的热力图及热力图和原图的叠加。分别展示了第一层至第三层卷积的注意力区域，其红色代表重点关注区域，蓝色代表网络不重视的区域，其他颜色重视程度居中。注意力机制的可视化较好的解释了模型是依靠图像哪些特征进行判断。具体分析如下：

1)对于0岩爆类，第一层注意力层更关注波形集中区域的轮廓信息，第二层关注全局的轮廓信息，第三层则关注背景信息。正方形的输入第二层全局轮廓信息比长方形缺失了较多内容。

2)对于1爆破类，第一至三层的注意力层都在关注图片的波形特点，而对没有波形的区域在第一层和第二层都选择了忽视。长方形的图片输入和正方形的输入并没有明显的差异性，其他改进模型中间空白区域的利用存在轻微差异，整体来说对于1爆破类别模型重点关注波形的结构特点，忽视波形以外的背景特点。

3)对于2系统干扰信号类，对比长方形的输入和正方形的输入，能够看出，senet1和senet2都在重点关注波形的结构细节，但是正方形的输入由于图片的压缩，模型所描绘出来的波形特点没有长方形细致，忽视比较多的细节信息。长方形输入的图像之间没有明显差异性，差异主要集中在背景的利用程度。对于senet3高层卷积，多关注的就是图片的全局信息，总体来说对于2系统干扰信号类模型在浅层尽可能学习到波形特点，深层关注全局信息。

4)对于3汽车鸣笛类，可以看出模型也是以波形轮廓的学习为主，但是在senet2层对比长方形和正方形的输入，发现正方形在该层没有学习到比较价值的信息，大部分区域主要为蓝色。长方形图像，senet1关注波形轮廓信息，senet2关注波形的细节信息，因为senet2的热力图描绘出了更多细节。

5)对于4施工扰动类，senet1重点关注了除去波形以外的背景区域，这点与3汽车鸣笛类的识别方式有明显的不同。Senet2长方形还是重点关注在背景区域，但是相反正方形关注到波形，而Senet3长方形和正方形都把波形集中区域忽视了。

6)对于5电流、6鼓风机类，能够看出senet1一直在关注轮廓信息，但是长方形所关注的都是轮廓的大概，而长方形学习了更多细节信息，其中improved_lenet_h50_w130_3_3和Improved_lenet_h50_w130_(5_3)对这两类的细节学习更接近输入图，同时Improved_len et_h50_w130_(5_3)模型对非波形区域进行忽视。而senet3都在关注图片的全局信息。

7)对于7一半噪音类，识别方式跟前几类比较类似，senet1与senet2都在尝试提取波形的整体轮廓信息和细节信息，senet3关注全局信息。但是长方形的轮廓信息相比正方形输入更为完整。

8)对于8微震、10脉冲电流、11弱岩石破裂类与4施工扰动的识别方式比较类似，senet1至senet3都在关注输入图像的背景信息，作为分类判断。该类别长方形的输入和正方形的输入在处理图像的方式上没有明显区别，但正方形缺失了较多的特征信息。

9)对于9噪音和12其他信号类，senet1和senet2都在关注轮廓信息，senet3则关注全局信息。

综上所述，模型对于正方形图片的输入学习能力较弱，主要是要正方形图片的压缩，大量图片的细节信息丢失，模型无法合理提取有效的信息。而长方形的输入则可以学习到更多的细节信息，对于复杂波形轮廓提取十分细致。模型在判断波形分类的时候，每个注意力层分别关注不同的信息，一层会重点关注波形轮廓特点，一层重点关注背景信息，一层则重视全局信息，综合不同的角度对输入图像进行判断。在某些波形特征不明显的类别，比如4施工扰动、8微震、10脉冲电流、11弱岩石破裂类别会选择更注重背景信息的学习，而不是轮廓特征的提取。波形识别过程中的全过程可视化可以解释模型怎样对于输入图像进行识别分类，也解释了正方形的图像输入的准确率为什么会低于长方形图片的输入。改进模型不仅具有高准确率，并且跟专家识别波形的过程相似，此过程证明了本发明改进模型的有效性。

12.结论

针对Lenet模型在微震监测波形识别任务上的不足，本发明对lenet模型增加了批量归一化层、注意力机制层、Relu层、最大池化层，并采用全局池化层代替全连接层对波形进行分类。将32*32和50*130尺寸的图像输入改进模型，并进行了3*3，5*5，3*5，5*3四种不同大小、不同方向的卷积核对比试验。对于波形图像分类任务，50*130的图像输入结合5*3的卷积核的准确率最高，达到了0.9768。我们还引入了查准率、查全率、F1值来判断模型的预测能力。

改进模型不仅有较高的准确率还有较好的可解释性。通过注意力层的可视化分析，逐层展示了模型针对波形图像识别分类的过程。识别过程中改进模型会选择比较容易区别的特征进行学习，如波形特征明显时，会重点关注波形特点；波形特征不明显时，会重点关注背景区域进行区分。此外，浅层卷积以轮廓信息提取为主，深层卷积提取全局信息为主。可视化过程打开了卷积神经网络的“黑箱”，证明了改进模型识别波形的过程与专家相似。

使用深度卷积神经网络对微震监测波形进行分类时，不应该把准确率作为衡量模型是否具有实践价值的唯一指标。在取得较高的准确率后，更需要关注的是模型的结构组成、识别波形的过程、模型对波形分类的可解释性以及训练集是否包含了工程监测中遇到的所有种类的波形，这样才能使我们训练的模型在实际应用中取得更好的效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于全过程可视化的卷积神经网络微震监测波形识别方法，其特征在于，步骤如下：

S1、构建训练所需要的数据集，人工标注单通道数据；

S2、将波形数据集按照70％、10％、20％随机划分为训练集、验证集以及测试集；

S3、将原始波形图片进行图像缩放、归一化、标准化及灰度化图像预处理操作；

S4、在Lenet网络中，用卷积层代替全连接层，增加激活层；

S5、在模型训练过程中采用随机梯度下降方法，增加批量归一化层；

S6、在模型中增加注意力机制，并对模型识别不同波形种类的过程进行可视化解释；

S7、分类好的波形数据集加载到改进模型中进行训练，每一轮训练完的结果用验证集数据进行验证，观察模型在验证集中的学习情况，根据情况调整学习率，直至模型稳定，最后测试集测试模型的准确率。

2.如权利要求1所述的基于全过程可视化的卷积神经网络微震监测波形识别方法，其特征在于，步骤S4中，用卷积层代替全连接层步骤如下：

将原始模型的卷积通道数修改为64→128→256，采用全局平均池化层代替全连接层，通过求卷积神经网络每个特征图的平均值作为输出值，将输入图像修改成矩形，根据输入波形图像的特点设置高*宽分别为5*3、3*5、3*3、5*5的卷积核。

3.如权利要求1所述的基于全过程可视化的卷积神经网络微震监测波形识别方法，其特征在于，步骤S4中，增加激活层步骤如下：

在LeNet每一层卷积层之后添加一个非线性激活函数层；激活函数使用ReLU：

f(x)＝max(0,x)

其中x表示自变量。

4.如权利要求1所述的基于全过程可视化的卷积神经网络微震监测波形识别方法，其特征在于，步骤S5中，所述批量归一化层是一个有参数化且可学习的网络层，在进入批量归一化层之前对数据进行预处理，即白化操作，如下式：

其中，μ_β表示每批输入数据的平均值，

表示每批数据的方差，ε表示实数；

引入了两个可学习的参数γ、β，对归一化的数据进行变换重构，最终输出下式：

详细算法框架如下：

输入：Values of x over a mini-batch:β＝{x_1...m}；

Parameters to be learned:γ、β

输出：{y_i＝BN_γ,β(x_i)}

其中u表示均值、σ表示标准差。

5.如权利要求1所述的基于全过程可视化的卷积神经网络微震监测波形识别方法，其特征在于，步骤S6中，添加的注意力采用SENet，网络在学习波形特征的过程中，同时学习每个通道对总体特征的贡献值，然后依照所述贡献值来提升有用的特征，并抑制对当前任务贡献不大的波形特征；给定一个特征通道数c₁输入x，对x进行一系列卷积操作变换得到一个特征通道数为c₂的特征集；然后在此基础上进行Squeeze、Excitation、Reweight操作，最终得到一个具有通道权重分配的特征

6.如权利要求5所述的基于全过程可视化的卷积神经网络微震监测波形识别方法，其特征在于，步骤S6具体步骤如下：

首先进行传统卷积F_tr操作，输出c₂*h*w形状的特征图；

Squeeze:然后进行F_sq操作，将一个channel上整个空间特征编码成一个全局特征，采用全局平均池化global average pooling来实现，这一层的输出是c₂*1*1的特征图，下式：

其中：u_c表示u中第c个二维矩阵，c表示通道数，H是高度，W是宽度；

Excitation:Squeeze操作得到了一个包含空间上全局信息的编码，抓取各个channel之间的关系，通过门机制来捕获通道间的依赖关系，如下式：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，s表示门控单元，W₁表示全连接层的降维权重，W₂表示全连接层的升维权重，δ表示ReLU激活函数，σ表示Sigmoid激活函数；

Fscale:在学习到了通道权重后，Scale操作通过乘法将归一化的权重逐通道加权到先前的特征上，来重新校正通道维度中的原始特征，如下式：

其中，

和F_scale(u_c,s_c)指的是特征映射u_c∈R^w×h和标量s_c之间的对应通道的乘积，

是

的一个特征通道的一个Feature Map，s_c是门控单元s中的一个标量值。

Images