CN113158792A - 一种基于改进模型迁移学习的微震事件识别方法 - Google Patents

一种基于改进模型迁移学习的微震事件识别方法 Download PDF

Info

Publication number
CN113158792A
CN113158792A CN202110276110.0A CN202110276110A CN113158792A CN 113158792 A CN113158792 A CN 113158792A CN 202110276110 A CN202110276110 A CN 202110276110A CN 113158792 A CN113158792 A CN 113158792A
Authority
CN
China
Prior art keywords
data
layer
microseismic
model
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110276110.0A
Other languages
English (en)
Other versions
CN113158792B (zh
Inventor
丁琳琳
曹鲁杰
于海友
潘一山
张翰林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University
Original Assignee
Liaoning University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University filed Critical Liaoning University
Priority to CN202110276110.0A priority Critical patent/CN113158792B/zh
Publication of CN113158792A publication Critical patent/CN113158792A/zh
Application granted granted Critical
Publication of CN113158792B publication Critical patent/CN113158792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于改进模型迁移学习的微震事件识别方法，步骤1)时间序列数据的预处理；步骤2)CNN特征提取；步骤3)LSTM特征提取；步骤4)源域特征及时间序列特征迁移；步骤5)微震分类器生成与识别。本发明通过上述方法，提供了一种基于改进模型迁移学习的微震事件识别方法，在考虑微震数据图像特征的同时，迁移源域和原始时间序列数据的特征，最终实现微震事件的有效识别。

Description

一种基于改进模型迁移学习的微震事件识别方法
技术领域
本发明属于微震事件数据处理领域，涉及一种微震事件的识别方法，发明具体始终涉及一种基于改进模型迁移学习的微震事件识别方法。
背景技术
矿山微震监测系统运用于大部分矿区中，其源源不断地产生大量的微震数据。由于这些数据有混入噪声及其他干扰信号的可能性，使得微震数据及其复杂。微震数据一般具有数据量大、维度高、更新快等特点。微震事件识别问题是微震大数据处理领域中的重点问题，具有较高的应用价值。微震事件识别任务中，基于深度学习的CNN和LSTM等神经网络技术是解决微震事件识别问题的有效方法。基于神经网络的识别方法具有以下优势：模型针对微震事件数据自动提取特征，特征逐层传递；通过参数共享机制大大减小了参数的数量，显著提高了计算机的处理效率；参数系统随机设置并通过反向误差回传机制被逐步修改，提高分类的准确性。CNN主要通过卷积操作对微震事件图像数据进行特征提取，共享权重并且网络结构加深；LSTM通过对微震事件时间序列数据进行特征提取，能够解决长期依赖关系，可以防止梯度消失并使时间序列数据在较长的时间跨度内充分利用时间信息。
现有的微震事件识别方法主要存在两方面的问题。一方面，由于微震事件数据量过小，在训练神经网络模型时容易出现过拟合等问题；另一方面，基于神经网络的微震事件识别模型效率和精度不高。因此，本发明基于神经网络和迁移学习的方法，首先构建CNN和LSTM模型，利用CNN和LSTM分别对图像和时间序列数据进行特征提取；然后结合迁移学习的思想，对源域数据进行特征迁移学习来解决数据量小的问题，同时对时间序列数据的特征进行迁移学习，最终提出一种基于改进模型迁移学习的微震事件识别方法。
发明内容
为了解决现有微震事件识别方法的不足，本发明提供一种基于改进模型迁移学习的微震事件识别方法，能够快速有效地处理微震事件数据准确识别的问题。
为了实现上述目的，本发明创造采用了如下技术方案：
一种基于改进模型迁移学习的微震事件识别方法，其步骤为：
步骤1)时间序列数据的预处理：把源域和目标域时间序列数据转化为图像，并对目标域进行选取有效时间序列数据操作；
步骤2)CNN特征提取过程：通过卷积层、池化层和全连接层的特征提取，得到每层对应的权重w和偏置值b；
步骤3)LSTM特征提取过程：添加注意力机制评估，使得数据对应权值改变，通过LSTM的输入门、忘记门、内部记忆单元和输出门进行时间序列数据的特征提取；
步骤4)源域特征及时间序列特征迁移：大样本源域特征对卷积层、池化层和第一层全连接层的迁移，图像所对应原始时间序列数据通过LSTM循环神经网络处理后进行第二层全连接层的特征迁移；
步骤5)微震分类器生成与识别：通过数据标签与特征的对应关系，训练模型生成分类器，最终实现微震事件的识别。
所述的步骤1)中，具体步骤为：
1.1)时间序列数据转化为图像：利用MATLAB对源域和目标域时间序列数据的xyz三分量数值求平均值，画出微震数据图像；
1.2)选取有效时间序列数据：
1.2.1)长短时窗法选取：设定两个时窗，一个较长的叫长时窗，一个较短的叫短时窗，他们合二为一叫一个大的滑动窗口，该滑动窗口在时间序列的起始点进行滑动，每次滑动点数K，每次滑动后按照如下公式计算：阈值T＝短时窗内点幅值之和average/长时窗内点幅值之和average，当阈值T大于某个经验值时，认为长时窗与短时窗接壤的点为P波到时点，该时间序列数据就为有效时间序列数据；
1.2.2)时间序列数据对齐：从原始震源事件文件中读取的原始时间序列记录长度并不一致，需对原始时间序列的长度作对齐操作，对于不足设定长度采样点的时间序列，在原观测时间序列数据前补0，使其整段时间序列长度统一。
所述的步骤2)中，具体步骤为：
2.1)卷积层特征提取：在离散的三维彩色原始数据图像空间中，图像和卷积核分别定义为(H,W,C)和(k1,k2,c)的三维张量，其中H、W、C分别表示图像的长度、宽度和通道数，c表示通道数对应卷积核个数；m、n为空间坐标，分别表示第c个图像通道上第m行和第n列的像素点；当一个卷积核在彩色图像I上滑动运算时，多维张量的卷积运算可以表示为：
Figure BDA0002976705690000021
其中Km,m,c表示第c个图像通道坐标为mn的卷积核的值大小，Ii+m,j+n,c表示第c个图像中i+m和j+n所对应的区域大小；
当一个卷积核
Figure BDA0002976705690000031
在彩色图像上滑动到Im,n位置上，卷积层
Figure BDA0002976705690000032
的特征图可以表示为：
Figure BDA0002976705690000033
其中u、v表示图像所滑动的横纵坐标步长，p、q表示卷积核中所对应的横纵坐标，bp,q为输出特征图所对应的偏置值，σ为ReLU激活函数；
2.2)池化层特征提取：使用最大池化函数
Figure BDA0002976705690000034
进行池化，p、q、m、n表示所选定池化的区域；
2.3)全连接层特征提取：全连接层中的每个神经元与其前一层的所有神经元进行全连接；全连接层可以整合卷积层和池化层中具有类别区分性的局部信息，并负责对特征进行进一步的降维和提纯；用l表示全连接层的个数，每层有n个神经元，激活后全连接层的计算过程如公式如下：
Figure BDA0002976705690000035
其中σ为激活函数，
Figure BDA0002976705690000036
表示激活后的全连接层的值，
Figure BDA0002976705690000037
表示下标为ij的全连接层权重的大小，
Figure BDA0002976705690000038
表示该层全连接层的值，
Figure BDA0002976705690000039
表示对应层的偏置值。
所述的步骤3)中，具体步骤为：
3.1)注意力机制评估：由微震事件时间序列数据特点得出P波到时之后的特征相对明显，因此引入注意力机制进行权值评估；
3.1.1)运用softmax()函数归一化计算权重的大小，使有用时间序列数据信息权值变大，无用时间序列数据信息权值变小；
3.1.2)计算权值与原始时间序列数据的值得到注意力机制评估后的值，作为LSTM的输入，使有用时间序列数据信息增大；
3.2)LSTM特征提取：LSTM由忘记门、输入门、内部记忆单元和输出门来控制细胞状态，通过这些门控功能来进行信息传递，提取时间序列数据的特征，公式如下：
遗忘门ft＝σ(Wf·[ht-1,xt]+bf)
输入门it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0002976705690000041
内部记忆单元
Figure BDA0002976705690000042
输出门ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中xt为时间序列数据的输入，ht为时间序列数据的输出，W和b分别为权重和偏置值，σ表示sigmoid()激活函数，tanh表示tanh()激活函数；经过LSTM对时间序列数据的处理之后，输入到全连接层。
所述的步骤4)中，具体步骤为：
4.1)对源域数据的特征迁移学习：源域数据为大地震数据集，目标数据为小微震数据集，地震领域与矿山微震领域相似；源域数据集定义为(xs,ys)，目标数据集定义为(xt,yt)，其中x和y分别为数据和相应的标签；用源域数据集训练好一个完整的CNN模型，得到每层的权重w和偏置b，把得到的特征迁移到第一层全连接层和之前的卷积、池化层，把源域的特征迁移到模型中去；
4.2)对时间序列数据的特征迁移学习：时间序列数据经过LSTM的特征提取之后，连接一层全连接层，得到相应的特征；此时每个LSTM中的时间序列数据与CNN中的图像数据一一对应，把LSTM中的第一层全连接层的特征迁移到CNN的第二层全连接层，保持节点数目保持不变；通过对时间序列数据的特征迁移学习，综合考虑图像数据和时间序列数据的特征。
所述的步骤5)中，具体步骤为：
5.1)微震分类器生成：分类器的生成主要包括以下几个过程：
5.1.1)模型的构建：构建微震分类器的模型结构，依次包括输入层、卷积层1、池化层1、卷积层2、池化层2、全连接层123和输出分类层；
5.1.2)参数特征迁移：参数特征迁移包括两个部分的特征迁移：第一个是基于CNN的源域特征迁移，迁移卷积层1、池化层1、卷积层2、池化层2和全连接层1的参数，迁移的是大数据样本地震的特征；第二个是基于LSTM的时序特征迁移，迁移LSTM的全连接层参数到CNN的全连接层2，迁移的是微震时间序列数据的时序特征；
5.1.3)模型的训练：用目标域的微震图像数据集(xt,yt)作为训练集，运用前向传播与反向传播算法对模型进行反复训练，固定模型中迁移层的参数，主要训练第三层全连接层的参数；
5.1.4)生成分类器：经过上一步模型的训练之后模型表现出良好的分类能力，那么此时的模型就作为最终的微震事件识别模型，并保存为EQfinder.h5模型；
5.2)微震事件识别：
5.2.1)模型加载：加载训练并测试好的T-SimCNN的EQfinder.h5模型；
5.2.2)数据初始化：首先将待识别的微震数据图像转化为100*100像素大小的图像，再把图像转化为numpy数组的形式，作为微震事件识别的数据形式；
5.2.3)概率函数设置：把事件和噪声这两种类别的数据概率的值，设置为百分制的格式，使得概率的值清晰明了；
5.2.4)概率输出：对应于概率设置函数的格式，运用predict()函数输出对应微震数据类别的概率；
5.2.5)事件识别：输出概率值较高的波形类别，如果微震事件的概率大于噪声的概率，则该波形数据为事件数据，运用微震事件识别模型实现了微震事件的识别。
本发明创造的有益效果：
本发明提出一种基于改进模型迁移学习的微震事件识别方法，设计高效的基于CNN和LSTM两种神经网络的模型，通过CNN和LSTM的特征提取以及对源域数据和时间序列数据的特征迁移学习，进而通过训练得出完整的微震事件识别模型，最终实现微震事件的有效识别。
附图说明
图1：本发明提出的基于改进模型迁移学习的微震事件识别方法流程图。
图2a：本发明提出的矿山微震事件数据示意图。
图2b：本发明提出的矿山微震噪声数据示意图。
图3：本发明提出的基于改进模型迁移学习的微震事件识别方法模型图。
图4：本发明提出的长短时窗法示意图。
图5：本发明提出的注意力机制评估示意图。
图6：本发明实验中对源域数据集的微震事件识别模型训练结果。
图7：本发明实验中对目标域数据集的微震事件识别模型训练结果。
图8：本发明实验中对目标域数据集的微震事件识别模型测试结果。
具体实施方式
下面将结合本发明创造实施例中的附图，对本发明创造实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明创造一部分实施例，而不是全部的实施例。
定义1给出ReLU函数的表示方法，定义2给出交叉熵损失函数的表示方法，定义3给出softmax函数的表示方法。
定义1：ReLU函数：ReLU函数是一种非线性激活函数，由公式σ(x)＝max(0,x)计算，其中x为神经元的大小；该函数的提出很大程度的解决了BP算法在优化深层神经网络时的梯度弥散问题，主要运用在卷积层和全连接层特征值的激活。
定义2：交叉熵损失函数：分类问题中通常使用交叉熵损失函数作为loss函数，由公式
Figure BDA0002976705690000061
计算，其中
Figure BDA0002976705690000062
分别为样本标签和预测值；交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在深度学习中就表示为真实概率分布与预测概率分布之间的差异。
定义3：softmax函数：softmax函数由
Figure BDA0002976705690000063
计算，其中zi和zj是向量z的元素，softmax函数可以将上一层的原始数据进行归一化，转化为一个(0,1)之间的概率数值。
一种基于改进模型迁移学习的微震事件识别方法，其步骤为：
步骤1)时间序列数据的预处理：把源域和目标域时间序列数据转化为图像，并把目标域时间序列数据对齐操作；
1.1)时间序列数据转化为图像：利用MATLAB对源域和目标域时间序列数据的xyz三分量数值求平均值，画出微震数据波形图像；
1.2)选取有效时间序列数据：
1.2.1)长短时窗法选取：设定两个时窗，一个较长的叫长时窗，一个较短的叫短时窗，他们合二为一叫一个大的滑动窗口，该滑动窗口在时间序列的起始点进行滑动，每次滑动点数(跳数)K，每次滑动后按照如下公式计算：阈值T＝average(短时窗内点幅值之和)/average(长时窗内点幅值之和)，当阈值T大于某个经验值时，我们认为长时窗与短时窗接壤的点为P波到时点，该时间序列数据就为有效时间序列数据；
1.2.2)时间序列数据对齐：从原始震源事件文件中读取的原始时间序列记录长度并不一致，需对原始时间序列的长度作对齐操作，对于不足设定长度采样点的时间序列，在原观测时间序列数据前补0，使其整段时间序列长度统一。
步骤2)CNN特征提取过程：通过卷积层、池化层和全连接层的特征提取，得到每层对应的权重w和偏置值b；
2.1)在离散的三维彩色原始数据图像空间中，图像和卷积核分别定义为(H,W,C)和(k1,k2,c)的三维张量，其中H、W、C分别表示图像的长度、宽度和通道数，c表示通道数对应卷积核个数。m、n为空间坐标，分别表示第c个图像通道上第m行和第n列的像素点。当一个卷积核在彩色图像I上滑动运算时，多维张量的卷积运算可以表示为：
Figure BDA0002976705690000071
其中Km,m,c表示第c个图像通道坐标为mn的卷积核的值大小，Ii+m,j+n,c表示第c个图像中i+m和j+n所对应的区域大小。
当一个卷积核
Figure BDA0002976705690000072
在彩色图像上滑动到Im,n位置上，卷积层
Figure BDA0002976705690000073
的特征图可以表示为：
Figure BDA0002976705690000074
其中u、v表示图像所滑动的横纵坐标步长，p、q表示卷积核中所对应的横纵坐标，bp,q为输出特征图所对应的偏置值，σ为ReLU激活函数；
2.2)池化层特征提取：使用最大池化函数
Figure BDA0002976705690000075
进行池化，p、q、m、n表示所选定池化的区域；
2.3)全连接层特征提取：全连接层中的每个神经元与其前一层的所有神经元进行全连接；全连接层可以整合卷积层和池化层中具有类别区分性的局部信息，并负责对特征进行进一步的降维和提纯；用l表示全连接层的个数，每层有n个神经元，激活后全连接层的计算过程如公式如下：
Figure BDA0002976705690000076
其中σ为激活函数，
Figure BDA0002976705690000081
表示激活后的全连接层的值，
Figure BDA0002976705690000082
表示下标为ij的全连接层权重的大小，
Figure BDA0002976705690000083
表示该层全连接层的值，
Figure BDA0002976705690000084
表示对应层的偏置值。
步骤3)LSTM特征提取过程：添加注意力机制评估，使得数据对应权值改变，通过LSTM的输入门、忘记门、内部记忆单元和输出门进行时间序列数据的特征提取；
3.1)注意力机制评估：由微震事件时间序列数据特点得出P波到时之后的特征相对明显，因此引入注意力机制进行权值评估；
3.1.1)：运用softmax()函数归一化计算权重的大小，使得有用时间序列数据信息权值变大，无用时间序列数据信息权值变小；
3.1.2)：计算权值与原始时间序列数据的值得到注意力机制评估后的值，作为LSTM的输入，使得有用时间序列数据信息增大，增强提取时间序列特征的能力。
3.2)LSTM特征提取：LSTM是一种特殊的循环神经网络，能够解决长期依赖关系，可以防止梯度消失并使时间序列数据在较长的时间跨度内充分利用时间信息；LSTM由忘记门、输入门、内部记忆单元和输出门来控制细胞状态，通过这些门控功能来进行信息传递，提取时间序列数据的特征，公式如下：
遗忘门ft＝σ(Wf·[ht-1,xt]+bf)
输入门it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0002976705690000085
内部记忆单元
Figure BDA0002976705690000086
输出门ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中xt为时间序列数据的输入，ht为时间序列数据的输出，W和b分别为权重和偏置值，σ表示sigmoid()激活函数，tanh表示tanh()激活函数；经过LSTM对时间序列数据的处理之后，输入到全连接层。
步骤4)源域特征及时间序列特征迁移：大样本源域特征对卷积层、池化层和第一层全连接层的迁移，图像所对应原始时间序列数据通过LSTM循环神经网络处理后进行第二层全连接层的特征迁移；
4.1)对源域数据的特征迁移学习：源域数据为大地震数据集，目标数据为小微震数据集，地震领域与矿山微震领域相似；源域数据集定义为(xs,ys)，目标数据集定义为(xt,yt)，其中x和y分别为数据和相应的标签；用源域数据集训练好一个完整的CNN模型，得到每层的权重w和偏置b，把得到的特征迁移到第一层全连接层和之前的卷积、池化层，这样就把源域的特征迁移到模型中去；
4.2)对时间序列数据的特征迁移学习：时间序列数据经过LSTM的特征提取之后，连接一层全连接层，得到相应的特征；此时每个LSTM中的时间序列数据与CNN中的图片数据一一对应，把LSTM中的第一层全连接层的特征迁移到CNN的第二层全连接层，保持节点数目保持不变；通过对时间序列数据的特征迁移学习，综合考虑图像数据和时间序列数据的特征。
步骤5)微震分类器生成与识别：通过数据标签与特征的对应关系，训练模型生成分类器，最终实现微震事件的识别；
5.1)微震分类器生成：分类器的生成主要包括以下几个过程：(1)模型的构建。构建微震分类器的模型结构，依次包括输入层、卷积层1、池化层1、卷积层2、池化层2、全连接层123和输出分类层。(2)参数特征迁移。参数特征迁移包括两个部分的特征迁移：第一个是基于CNN的源域特征迁移，迁移卷积层1、池化层1、卷积层2、池化层2和全连接层1的参数，迁移的是大数据样本地震的特征；第二个是基于LSTM的时序特征迁移，迁移LSTM的全连接层参数到CNN的全连接层2，迁移的是微震时间序列数据的时序特征。(3)模型的训练。用目标域的微震图像数据集(xt,yt)作为训练集，运用前向传播与反向传播算法对模型进行反复训练，固定模型中迁移层的参数，主要训练第三层全连接层的参数。(4)生成分类器。经过上一步模型的训练之后模型表现出良好的分类能力，那么此时的模型就作为最终的微震事件识别模型，并保存为EQfinder.h5模型。
5.2)微震事件识别：(1)模型加载。加载训练并测试好的EQfinder.h5模型。(2)数据初始化。首先将待识别的微震数据图像转化为100*100像素大小的图像，再把图像转化为numpy数组的形式，作为微震事件识别的数据形式。(3)概率函数设置。把事件和噪声这两种类别的数据概率的值，设置为百分制的格式，使得概率的值清晰明了。(4)概率输出。对应于概率设置函数的格式，运用predict()函数输出对应微震数据类别的概率。(5)事件识别。输出概率值较高的波形类别，如果微震事件的概率大于噪声的概率，则该波形数据为事件数据，运用微震事件识别模型实现了微震事件的识别。
实施例1：
(1)数据预处理：数据分为源域数据和目标域数据。源域地震数据集采用国家地震科学数据中心所提供的地震数据，分为事件和噪声两类。目标域微震数据集采用山西某矿监测系统的连续波形记录，数据分为事件和噪声两个类别。长短时窗法由图4所示，图中左侧大方框A区域表示长时窗，右边小方框B区域表示短时窗，跳数k的值设为50，经验值λ设为1.5，计算阈值T，得到P波到时的点如图所示，事件类别运用长短时窗法截取P波到时前5s至到时后5s的波形片段，每个片段包含50000个采样点；噪声类别采用随机截取筛选的方法截取10s的数据，与事件数据长度统一。微震数据包含xyz三分量数值，首先把原始微震数据通过MATLAB编程求xyz三分量的平均值，并绘出微震图像；然后把像素值大小为875*656的原始图像转化为100*100大小，得到如图2a-图2b所示的微震数据集。给数据打上相应的标签，微震事件数据的标签设为“1,”，噪声数据的标签设为“0”。
(2)构建微震事件识别模型：基于模型迁移学习的微震事件识别模型如图3所示，模型主要分为卷积神经网络CNN和循环神经网络LSTM两个部分。
CNN包括输入层、卷积层、池化层、全连接层和输出层。输入层是经过数据预处理得到的大小为100*100*3的三通道RGB图像，用于CNN的输入。卷积层用于获取微震图像的局部特征，卷积层1使用32个大小为3*3、步长为1的卷积核，对图像数据进行卷积运算，卷积层2使用64个大小为3*3、步长为1的卷积核，对池化层的特征图进行卷积运算。池化层1和卷积层2都使用最大池化函数进行操作，所有最大池化操作都使用大小为2*2、步长为2的滤波器进行下采样。全连接层用于将全部局部特征重新通过权值矩阵连接成完整的图像，三层全连接层分别包含1024、512、256个神经元，其中每个神经元都分别与前后两层相连接。输出层与最后一层全连接层相连接，两个神经元分别输出两类波形数据的预测概率。
LSTM以原始时间序列数据为输入，时间序列与生成的图像一一对应，事件序列数据大小为50000个采样点，对应神经元个数为5000；LSTM前添加注意力机制评估，如图5所示，首先计算softmax()函数归一化权值的大小，使得有用数据部分的权重变大，再通过计算yt＝xt*wt得到注意力机制评估后的值，作为LSTM的输入；LSTM采取单层结构，LSTM后接一层大小为512全连接层，最后为两个神经元的输出层。LSTM依据其在时序上具有记忆性，能准确提取时间序列特征，模型损失函数使用均方误差并引入L2正则化来解决过拟合问题。
(3)特征迁移学习：特征迁移学习包括源域特征迁移学习和时间序列特征迁移学习，如图3中①和②所示。对源域数据的特征迁移学习：地震波形特征与微震波形特征有一定的相似性且源域地震数据集比较大，尽管微震数据集比较小，也能从地震数据中提取特征应用到微震数据特征中去；源域数据集定义为(xs,ys)，目标数据集定义为(xt,yt)，其中x和y分别为数据和相应的标签；用源域数据集训练CNN模型，得到CNN每层的权重w和偏置b，把得到的特征迁移到第一层全连接层和之前的卷积、池化层，这样就把源域的特征迁移到我们的模型中去。
对时间序列数据的特征迁移学习：首先LSTM对时间序列数据进行特征提取，训练完整的LSTM模型，得到全连接层的权重w和偏置b，此时每个LSTM中的时间序列数据与CNN中的图片数据一一对应，把所得到的权重w和偏置b迁移到CNN中相对应的512全连接层。通过对时间序列数据和图像数据的特征迁移学习，综合考虑微震波形数据的时序特征和图像特征。
(4)分类器构建与识别
首先对模型进行训练，首先将194组微震数据集分为150组训练集和44组测试集，同时运用原始时间序列训练集对LSTM进行学习训练，提取数据的时序特征。其中训练模型时，激活函数为ReLU函数、使用交叉熵损失函数作为loss函数、使用softmax函数进行分类；主要设置参数学习率为0.0005、epoch设置为50和100，通过训练微震数据获得最后一层全连接层的参数，得到最终的微震事件识别模型。本发明主要从3个方面对上述方法进行了测试，下面分别进行说明：
对源域数据的模型训练结果
图6为源域数据模型训练准确率和损失函数的变化，实线的Train ACC曲线表示训练集的准确率，虚线的Train Loss曲线表示训练集的损失函数。模型迭代100次，当迭代次数小于10时，准确率曲线呈现明显的上升趋势，无明显波动；迭代次数大于10时，准确率的曲线慢慢趋于平稳，保持在0.95以上。同样，损失函数在迭代次数小于30次时，损失函数的曲线存在明显下降现象；当迭代次数大于30次时，曲线慢慢趋于平稳。
对目标域数据的模型训练结果
图7为目标域数据模型训练准确率和损失函数的变化，实线的Train ACC曲线表示训练集的准确率，虚线的Train Loss曲线表示训练集的损失函数。模型迭代50次，从图中可以看出，迭代次数小于5次时，整个曲线中准确率呈现明显的上升趋势；迭代次数大于5次时，准确率的曲线趋于平稳，保持在0.95以上。同样，损失函数在迭代次数小于5次时，曲线下降明显大于5次开始有波动并在35次时趋于稳定，损失函数保持在0.05左右。
对目标域数据的模型测试结果
图8显示了对目标域数据模型的测试准确率。从44组测试集中随机选取25组数据进行交叉验证，准确率可达95％以上。从实验结果可以看出本发明的有效性，通过对CNN的特征提取以及对源域和时间序列数据的特征迁移，提高了模型的识别准确率，可以有效地识别微震事件。

Claims (6)

1.一种基于改进模型迁移学习的微震事件识别方法，其特征在于：其步骤为：
步骤1)时间序列数据的预处理：把源域和目标域时间序列数据转化为图像，并对目标域进行选取有效时间序列数据操作；
步骤2)CNN特征提取过程：通过卷积层、池化层和全连接层的特征提取，得到每层对应的权重w和偏置值b；
步骤3)LSTM特征提取过程：添加注意力机制评估，使得数据对应权值改变，通过LSTM的输入门、忘记门、内部记忆单元和输出门进行时间序列数据的特征提取；
步骤4)源域特征及时间序列特征迁移：大样本源域特征对卷积层、池化层和第一层全连接层的迁移，图像所对应原始时间序列数据通过LSTM循环神经网络处理后进行第二层全连接层的特征迁移；
步骤5)微震分类器生成与识别：通过数据标签与特征的对应关系，训练模型生成分类器，最终实现微震事件的识别。
2.根据权利要求1所述的一种基于改进模型迁移学习的微震事件识别方法，其特征在于：所述的步骤1)中，具体步骤为：
1.1)时间序列数据转化为图像：利用MATLAB对源域和目标域时间序列数据的xyz三分量数值求平均值，画出微震数据图像；
1.2)选取有效时间序列数据：
1.2.1)长短时窗法选取：设定两个时窗，一个较长的叫长时窗，一个较短的叫短时窗，他们合二为一叫一个大的滑动窗口，该滑动窗口在时间序列的起始点进行滑动，每次滑动点数K，每次滑动后按照如下公式计算：阈值T＝短时窗内点幅值之和average/长时窗内点幅值之和average，当阈值T大于某个经验值时，认为长时窗与短时窗接壤的点为P波到时点，该时间序列数据就为有效时间序列数据；
1.2.2)时间序列数据对齐：从原始震源事件文件中读取的原始时间序列记录长度并不一致，需对原始时间序列的长度作对齐操作，对于不足设定长度采样点的时间序列，在原观测时间序列数据前补0，使其整段时间序列长度统一。
3.根据权利要求1所述的一种基于改进模型迁移学习的微震事件识别方法，其特征在于：所述的步骤2)中，具体步骤为：
2.1)卷积层特征提取：在离散的三维彩色原始数据图像空间中，图像和卷积核分别定义为(H,W,C)和(k1,k2,c)的三维张量，其中H、W、C分别表示图像的长度、宽度和通道数，c表示通道数对应卷积核个数；m、n为空间坐标，分别表示第c个图像通道上第m行和第n列的像素点；当一个卷积核在彩色图像I上滑动运算时，多维张量的卷积运算可以表示为：
Figure FDA0002976705680000021
其中Km,m,c表示第c个图像通道坐标为mn的卷积核的值大小，Ii+m,j+n,c表示第c个图像中i+m和j+n所对应的区域大小；
当一个卷积核
Figure FDA0002976705680000022
在彩色图像上滑动到Im,n位置上，卷积层
Figure FDA0002976705680000023
的特征图可以表示为：
Figure FDA0002976705680000024
其中u、v表示图像所滑动的横纵坐标步长，p、q表示卷积核中所对应的横纵坐标，bp,q为输出特征图所对应的偏置值，σ为ReLU激活函数；
2.2)池化层特征提取：使用最大池化函数
Figure FDA0002976705680000025
进行池化，p、q、m、n表示所选定池化的区域；
2.3)全连接层特征提取：全连接层中的每个神经元与其前一层的所有神经元进行全连接；全连接层可以整合卷积层和池化层中具有类别区分性的局部信息，并负责对特征进行进一步的降维和提纯；用l表示全连接层的个数，每层有n个神经元，激活后全连接层的计算过程如公式如下：
Figure FDA0002976705680000026
其中σ为激活函数，
Figure FDA0002976705680000027
表示激活后的全连接层的值，
Figure FDA0002976705680000028
表示下标为ij的全连接层权重的大小，
Figure FDA0002976705680000029
表示该层全连接层的值，
Figure FDA00029767056800000210
表示对应层的偏置值。
4.根据权利要求1所述的一种基于改进模型迁移学习的微震事件识别方法，其特征在于：所述的步骤3)中，具体步骤为：
3.1)注意力机制评估：由微震事件时间序列数据特点得出P波到时之后的特征相对明显，因此引入注意力机制进行权值评估；
3.1.1)运用softmax()函数归一化计算权重的大小，使有用时间序列数据信息权值变大，无用时间序列数据信息权值变小；
3.1.2)计算权值与原始时间序列数据的值得到注意力机制评估后的值，作为LSTM的输入，使有用时间序列数据信息增大；
3.2)LSTM特征提取：LSTM由忘记门、输入门、内部记忆单元和输出门来控制细胞状态，通过这些门控功能来进行信息传递，提取时间序列数据的特征，公式如下：
遗忘门ft＝σ(Wf·[ht-1,xt]+bf)
输入门it＝σ(Wi·[ht-1,xt]+bi)
Figure FDA0002976705680000031
内部记忆单元
Figure FDA0002976705680000032
输出门ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中xt为时间序列数据的输入，ht为时间序列数据的输出，W和b分别为权重和偏置值，σ表示sigmoid()激活函数，tanh表示tanh()激活函数；经过LSTM对时间序列数据的处理之后，输入到全连接层。
5.根据权利要求1所述的一种基于改进模型迁移学习的微震事件识别方法，其特征在于：所述的步骤4)中，具体步骤为：
4.1)对源域数据的特征迁移学习：源域数据为大地震数据集，目标数据为小微震数据集，地震领域与矿山微震领域相似；源域数据集定义为(xs,ys)，目标数据集定义为(xt,yt)，其中x和y分别为数据和相应的标签；用源域数据集训练好一个完整的CNN模型，得到每层的权重w和偏置b，把得到的特征迁移到第一层全连接层和之前的卷积、池化层，把源域的特征迁移到模型中去；
4.2)对时间序列数据的特征迁移学习：时间序列数据经过LSTM的特征提取之后，连接一层全连接层，得到相应的特征；此时每个LSTM中的时间序列数据与CNN中的图像数据一一对应，把LSTM中的第一层全连接层的特征迁移到CNN的第二层全连接层，保持节点数目保持不变；通过对时间序列数据的特征迁移学习，综合考虑图像数据和时间序列数据的特征。
6.根据权利要求1所述的一种基于改进模型迁移学习的微震事件识别方法，其特征在于：所述的步骤5)中，具体步骤为：
5.1)微震分类器生成：分类器的生成主要包括以下几个过程：
5.1.1)模型的构建：构建微震分类器的模型结构，依次包括输入层、卷积层1、池化层1、卷积层2、池化层2、全连接层123和输出分类层；
5.1.2)参数特征迁移：参数特征迁移包括两个部分的特征迁移：第一个是基于CNN的源域特征迁移，迁移卷积层1、池化层1、卷积层2、池化层2和全连接层1的参数，迁移的是大数据样本地震的特征；第二个是基于LSTM的时序特征迁移，迁移LSTM的全连接层参数到CNN的全连接层2，迁移的是微震时间序列数据的时序特征；
5.1.3)模型的训练：用目标域的微震图像数据集(xt,yt)作为训练集，运用前向传播与反向传播算法对模型进行反复训练，固定模型中迁移层的参数，主要训练第三层全连接层的参数；
5.1.4)生成分类器：经过上一步模型的训练之后模型表现出良好的分类能力，那么此时的模型就作为最终的微震事件识别模型，并保存为EQfinder.h5模型；
5.2)微震事件识别：
5.2.1)模型加载：加载训练并测试好的T-SimCNN的EQfinder.h5模型；
5.2.2)数据初始化：首先将待识别的微震数据图像转化为100*100像素大小的图像，再把图像转化为numpy数组的形式，作为微震事件识别的数据形式；
5.2.3)概率函数设置：把事件和噪声这两种类别的数据概率的值，设置为百分制的格式，使得概率的值清晰明了；
5.2.4)概率输出：对应于概率设置函数的格式，运用predict()函数输出对应微震数据类别的概率；
5.2.5)事件识别：输出概率值较高的波形类别，如果微震事件的概率大于噪声的概率，则该波形数据为事件数据，运用微震事件识别模型实现了微震事件的识别。
CN202110276110.0A 2021-03-15 2021-03-15 一种基于改进模型迁移学习的微震事件识别方法 Active CN113158792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276110.0A CN113158792B (zh) 2021-03-15 2021-03-15 一种基于改进模型迁移学习的微震事件识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276110.0A CN113158792B (zh) 2021-03-15 2021-03-15 一种基于改进模型迁移学习的微震事件识别方法

Publications (2)

Publication Number Publication Date
CN113158792A true CN113158792A (zh) 2021-07-23
CN113158792B CN113158792B (zh) 2024-05-10

Family

ID=76887101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276110.0A Active CN113158792B (zh) 2021-03-15 2021-03-15 一种基于改进模型迁移学习的微震事件识别方法

Country Status (1)

Country Link
CN (1) CN113158792B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707543A (zh) * 2022-03-21 2022-07-05 辽宁大学 矿山微震事件识别方法、介质及设备
CN115903022A (zh) * 2022-12-06 2023-04-04 中国科学院地质与地球物理研究所 一种适用于实时地震数据处理的深度学习芯片
CN116990865A (zh) * 2023-09-28 2023-11-03 中国石油大学(华东) 基于深度迁移学习的微地震事件检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032975A (zh) * 2019-04-15 2019-07-19 禁核试北京国家数据中心 一种地震震相的拾取方法
CN111273353A (zh) * 2020-02-12 2020-06-12 同济大学 基于U-Net网络的智能化地震数据去混叠方法及系统
CN111738413A (zh) * 2020-06-04 2020-10-02 东华大学 基于特征自匹配迁移学习的纺纱全流程能耗监测方法
CN111796327A (zh) * 2020-07-20 2020-10-20 中国地质调查局水文地质环境地质调查中心 一种微地震地面监测装置及震源定位方法
CN111814699A (zh) * 2020-07-13 2020-10-23 中国地震局地震预测研究所 一种面向swarm电磁卫星数据的深度学习地震预测方法
US20210063591A1 (en) * 2019-08-29 2021-03-04 Advanced Geophysical Technology Inc. Methods and systems for obtaining reconstructed low-frequency seismic data for determining a subsurface feature

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032975A (zh) * 2019-04-15 2019-07-19 禁核试北京国家数据中心 一种地震震相的拾取方法
US20210063591A1 (en) * 2019-08-29 2021-03-04 Advanced Geophysical Technology Inc. Methods and systems for obtaining reconstructed low-frequency seismic data for determining a subsurface feature
CN111273353A (zh) * 2020-02-12 2020-06-12 同济大学 基于U-Net网络的智能化地震数据去混叠方法及系统
CN111738413A (zh) * 2020-06-04 2020-10-02 东华大学 基于特征自匹配迁移学习的纺纱全流程能耗监测方法
CN111814699A (zh) * 2020-07-13 2020-10-23 中国地震局地震预测研究所 一种面向swarm电磁卫星数据的深度学习地震预测方法
CN111796327A (zh) * 2020-07-20 2020-10-20 中国地质调查局水文地质环境地质调查中心 一种微地震地面监测装置及震源定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
W WANG 等: "Convolutional neural network microseismic event detection", PETROLEUM GEOPHYSICAL PROSPECTING, vol. 55, no. 5, 31 December 2020 (2020-12-31), pages 939 - 949 *
YANGKANG CHEN: "Fast waveform detection for microseismic imaging using unsupervised machine learning", GEOPHYSICAL JOURNAL INTERNATIONAL, vol. 216, no. 2, 1 January 2019 (2019-01-01), pages 1495 - 1495 *
李健 等: "基于深度卷积神经网络的地震震相拾取方法研究", 地球物理学报, vol. 63, no. 04, pages 1591 - 1606 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707543A (zh) * 2022-03-21 2022-07-05 辽宁大学 矿山微震事件识别方法、介质及设备
CN115903022A (zh) * 2022-12-06 2023-04-04 中国科学院地质与地球物理研究所 一种适用于实时地震数据处理的深度学习芯片
CN115903022B (zh) * 2022-12-06 2023-10-31 中国科学院地质与地球物理研究所 一种适用于实时地震数据处理的深度学习芯片
CN116990865A (zh) * 2023-09-28 2023-11-03 中国石油大学(华东) 基于深度迁移学习的微地震事件检测方法及系统
CN116990865B (zh) * 2023-09-28 2024-01-16 中国石油大学(华东) 基于深度迁移学习的微地震事件检测方法及系统

Also Published As

Publication number Publication date
CN113158792B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN113158792A (zh) 一种基于改进模型迁移学习的微震事件识别方法
CN109508655B (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN109754078A (zh) 用于优化神经网络的方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN108985252B (zh) 改进的脉冲深度神经网络的图像分类方法
CN112784976A (zh) 一种基于脉冲神经网络的图像识别系统及方法
Xu et al. Deep learning of rock microscopic images for intelligent lithology identification: Neural network comparison and selection
CN115131618B (zh) 基于因果推理的半监督图像分类方法
CN113988357B (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
Tripathi et al. Image classification using small convolutional neural network
Vasilyeva et al. Machine learning for accelerating macroscopic parameters prediction for poroelasticity problem in stochastic media
CN115358305A (zh) 一种基于边界样本迭代生成的增量学习鲁棒性提升方法
CN114596726A (zh) 基于可解释时空注意力机制的停车泊位预测方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN112149502A (zh) 一种基于卷积神经网络的不良地质定位预报方法
CN112101418A (zh) 一种乳腺肿瘤类型识别方法、系统、介质及设备
Ke et al. Group-wise dynamic dropout based on latent semantic variations
Liu et al. Automatic labeling of large amounts of handwritten characters with gate-guided dynamic deep learning
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN113222206A (zh) 一种基于ResLS-C深度学习组合的交通状态预测方法
Ozer et al. Towards investigation of transfer learning framework for Globotruncanita genus and Globotruncana genus microfossils in Genus-Level and Species-Level prediction
Quazi et al. Image Classification and Semantic Segmentation with Deep Learning
CN111860158A (zh) 一种融合1D-CNN与BiLSTM神经网络的时序InSAR高相干点提取方法
CN112926619B (zh) 一种高精度水下激光目标识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant