CN116626753B - 一种基于多模态神经网络的微地震事件识别方法及系统 - Google Patents
一种基于多模态神经网络的微地震事件识别方法及系统 Download PDFInfo
- Publication number
- CN116626753B CN116626753B CN202310911521.1A CN202310911521A CN116626753B CN 116626753 B CN116626753 B CN 116626753B CN 202310911521 A CN202310911521 A CN 202310911521A CN 116626753 B CN116626753 B CN 116626753B
- Authority
- CN
- China
- Prior art keywords
- domain
- time domain
- layer
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000013135 deep learning Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 74
- 238000001514 detection method Methods 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 abstract description 9
- 238000001228 spectrum Methods 0.000 description 12
- 239000000047 product Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
- G01V1/282—Application of seismic models, synthetic seismograms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
- G01V1/288—Event detection in seismic signals, e.g. microseismics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Environmental & Geological Engineering (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Acoustics & Sound (AREA)
- Geophysics (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于多模态神经网络的微地震事件识别方法及系统,其中方法包括以下步骤:获取时域样本和S域样本,基于所述时域样本和所述S域样本构建训练数据集;构建深度学习网络模型G,并设定模型损失函数;基于所述训练数据集训练所述深度学习网络模型G,得到识别模型;利用所述识别模型进行微地震事件识别。本申请结合微地震数据的时域模态和S域模态的深度学习卷积神经网络结构,充分挖掘微地震信号的多模态信息,提高了模型的准确率,在强噪声干扰下本申请仍然能够有较好的表现,对事件依然能够较好地识别,利用多模态特征能够较好地识别到部分微地震事件,本申请对小幅值事件具有一定的识别能力。
Description
技术领域
本申请属于地震监测技术领域,具体涉及一种基于多模态神经网络的微地震事件识别方法及系统。
背景技术
非常规油气资源开发的技术中,微地震监测有十分重要的地位。微地震探测的目的是通过探测来确定岩体裂缝的方向、长度、高度、宽度等空间分布形态。除此之外,利用微震事件的特征和空间分布,估算油藏的改造规模、识别天然裂缝,为调整开采方式、方案,降低开采风险提供基础。同时,微地震事件识别对于震源机制分析、震源位置定位和裂缝解释等都具有重要意义。
传统的微地震识别方法依赖特征提取策略和阈值设定经验,对噪声较为敏感;后有学者结合去噪算法进行识别,但微震数据去噪后,不可避免地会对有用信号造成损失,导致小幅度信号被忽略,且失真的波形将极大地影响后续震源机制反演和基于微地震的波形反演。此类基于数据驱动的方法在一定程度上提高了微地震识别的准确性,但是往往仅关注微地震信号时间序列的特征信息,容易引起微地震信号特征挖掘不充分,从而导致模型的识别精度有限、泛化能力差。
在对微地震信号的分析中,频谱特征是微地震信号一个最为常用的特征。用广义S变换对地震吸纳后进行时频谱分析了S变换对地震信号频谱的聚焦能力;利用S变换提取微地震信号时频谱,并构建数据集,并用卷积网络对时频谱样本进行特征提取和分类识别;利用微震事件在时频谱中的稀疏性,进行微地震事件识别低信噪比的微震监测数据有较好的处理效果。融合多个模态的信息进行识别,能增强神经网络性能,提高网络识别精度。针对异构多模态学习结构用于媒体流中同时存在音频和视频信息的情况,显著提高了目标识别的精度;获取不同模态下的图像三维空间特征,通过神经网络对其进行学习,可有效进行目标定位;将低质量生物特征数据通过构建多模态神经网络提高低质量生物特征的识别精度。
随着人工智能与大数据技术的发展,深度学习被用于解决当前微地震事件识别泛化能力差和识别精度低等问题。深度学习能够从大量数据中自动提取高层次的特征表示,并利用多层神经网络进行复杂的非线性映射和分类。卷积神经网络是深度学习中一种典型的方法,是人工智能领域的一个重要分支。能够有效处理图像等二维或三维数据。
在地球物理勘探领域中,深度学习算法可以逐层提取特征进而实现自动提取有用的微震事件,提高数据处理的效率和精度。杨勇等将神经网络应用于高质量地震三维数据体中,建立模型地震道,并对实际地震道进行分类;丁建群等使用将普通卷积与空洞卷积相结合的方式,通过U-net网络来进行初至波的划分和位置的精确,实现了对微地震事件的高精度识别;彭桂力提出将微地震信号识别转化为图像识别,将卷积神经网络应用于微地震信号识别中,利用改进现有卷积神经网络实现微地震信号的自动识别;王维波等提出微地震监测资料的残差网络处理方法,并用多组实际数据证明了网络具有较强的抗噪能力和泛化能力。
发明内容
本申请旨在解决现有技术的不足,提出一种基于多模态神经网络的微地震事件识别方法及系统,结合微地震数据的时域模态和S域模态,构造微地震事件的多模态卷积神经网络,充分挖掘地震信号的多模态信息。将时域数据和S域数据分别进行数据预处理,通过卷积层、BN层、池化层、Dropout层、Flatten层和全连接层得到时域模态特征和S域模态特征,融合微地震事件的时域特征和S域特征作为识别特征,将融合特征通过全连接层等,识别微地震事件。
为实现上述目的,本申请提供了如下方案:
一种基于多模态神经网络的微地震事件识别方法,包括以下步骤:
获取时域样本和S域样本,基于所述时域样本和所述S域样本构建训练数据集;
构建深度学习网络模型G,并设定模型损失函数;
基于所述训练数据集训练所述深度学习网络模型G,得到识别模型;
利用所述识别模型进行微地震事件识别。
优选的,获取所述时域样本的方法包括:取检测道检测段数据及其左右相关道的检测段数据作为所述时域样本。
优选的,获取所述S域样本的方法包括:收集微地震数据,对所述微地震数据进行拉普拉斯变换,得到所述S域样本。
优选的,所述深度学习网络模型G的结构包括:时域模态特征提取子网GT、S域模态特征提取子网GS和分类子网GC;
所述时域模态特征提取子网GT用于对所述时域样本进行特征选择,得到时域特征,所述时域模态特征提取子网GT由4个时域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述时域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述S域模态特征提取子网GS用于对所述S域样本进行特征选择,得到S域特征,所述S域模态特征提取子网GS由3个S域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述S域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述分类子网GC用于融合所述时域特征和S域特征,并基于融合后特征对微地震事件进行识别,所述分类子网GC由全连接层构成。
优选的,所述损失函数为:
其中,M为一次训练的样本个数,为第i个样本的标签,/>为第i个样本的预测值,/>为交叉熵损失函数衡量样本预测值与标签的误差,/>为稀疏约束,K为权重矩阵,/>为正则项的系数。
优选的,所述训练的方法包括:
将所述训练数据集裁剪为15×50大小,将裁剪后的数据划分为训练集和验证集;
基于所述训练集对优化后的所述深度学习网络模型G进行训练,并采用Adam方法优化所述深度学习网络模型G;
利用所述验证集对训练后的模型进行性能验证,得到所述识别模型。
本申请还提供了一种基于多模态神经网络的微地震事件识别系统,包括:数据获取模块、模型构建模块、模型训练模块和识别模块;
所述数据获取模块用于获取时域样本和S域样本,基于所述时域样本和所述S域样本构建训练数据集,获取所述时域样本的方法包括:取检测道检测段数据及其左右相关道的检测段数据作为所述时域样本,获取所述S域样本的方法包括:收集微地震数据,对所述微地震数据进行拉普拉斯变换,得到所述S域样本;
所述模型构建模块用于构建深度学习网络模型G,并设定模型损失函数;
所述模型训练模块基于所述训练数据集训练所述深度学习网络模型G,得到识别模型;
所述识别模块利用所述识别模型进行微地震事件识别。
优选的,所述深度学习网络模型G的结构包括:时域模态特征提取子网GT、S域模态特征提取子网GS和分类子网GC;
所述时域模态特征提取子网GT用于对所述时域样本进行特征选择,得到时域特征,所述时域模态特征提取子网GT由4个时域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述时域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述S域模态特征提取子网GS用于对所述S域样本进行特征选择,得到S域特征,所述S域模态特征提取子网GS由3个S域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述S域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述分类子网GC用于融合所述时域特征和S域特征,并基于融合后特征对微地震事件进行识别,所述分类子网GC由全连接层构成。
优选的,所述损失函数为:
其中,M为一次训练的样本个数,为第i个样本的标签,/>为第i个样本的预测值,/>为交叉熵损失函数衡量样本预测值与标签的误差,/>为稀疏约束,K为权重矩阵,/>为正则项的系数。
与现有技术相比,本申请的有益效果为:
本申请结合微地震数据的时域模态和S域模态的深度学习卷积神经网络结构,充分挖掘微地震信号的多模态信息,提高了模型的准确率,在强噪声干扰下本申请仍然能够有较好的表现,对事件依然能够较好地识别,利用多模态特征能够较好地识别到部分微地震事件,本申请对小幅值事件具有一定的识别能力。
附图说明
为了更清楚地说明本申请的技术方案,下面对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的方法流程示意图;
图2为本申请实施例的流程框图;
图3为本申请实施例的系统结构示意图;
图4为本申请实施例中合成的无噪声干扰的信号;
图5为本申请实施例中合成信号添加0dB高斯噪声后得到的信号;
图6为本申请实施例中合成无干扰信号的S域特征;
图7为本申请实施例中含噪信号的S域特征;
图8为本申请实施例中5dB信噪比数据识别结果;
图9为本申请实施例中0dB信噪比数据识别结果;
图10为本申请实施例中-5dB信噪比数据识别结果;
图11为本申请实施例中-10dB信噪比数据识别结果。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
在本实施例中,如图1、图2所示,一种基于多模态神经网络的微地震事件识别方法,包括以下步骤:
S1.获取时域样本和S域样本,基于时域样本和S域样本构建训练数据集。
获取时域样本的方法包括:取检测道检测段数据及其左右相关道的检测段数据作为时域样本。获取S域样本的方法包括:收集微地震数据,对微地震数据进行拉普拉斯变换,得到S域样本。
在本实施例中,多模态样本包括时域样本和S域样本,时域样本是多道数据的波形,S域样本是单道数据检测段的拉普拉斯变换后的信号特征,标签制作方法包括滑动窗口进行切割标记,包含微地震事件的标记为1,不包含微地震事件的标记为0。将样本裁剪为m×n大小,时域样本相关道选取左右各c道,作为训练样本的最小单位。
(1)时域样本的获取方法:时域样本是多道数据的波形,取检测道检测段数据及其左右相关道的检测段数据作为时域样本。进一步的,当左边缘和右边缘部分检测道在制作时域样本取相关道时,如果某一侧存在缺少数据道的情况,则通过对称补充对齐,保证样本的大小一致。通过窗口滑动进行切割,得到足够的时域样本。(2)S域样本的获取方法:时频分析的方法中拉普拉斯变换能准确地刻画信号的时频变化特征。S域样本是单道数据检测段的拉普拉斯变换后的特征。由于拉普拉斯的时频特性,对微地震数据用拉普拉斯变换的得到S域样本,可以得到微地震事件在S域时间轴上位置与原始信号在时间序列上的准确对应关系,从而准确的描述微地震有效信号的特征。S域样本中包含模拟微地震数据的正样本频谱主要集中于一处,而不包含微地震数据的负样本频谱分散于各个频段。
S2.构建深度学习网络模型G,并设定模型损失函数。
深度学习网络模型G的结构包括:时域模态特征提取子网GT、S域模态特征提取子网GS和分类子网GC。
时域模态特征提取子网GT用于对时域样本进行特征选择,得到时域特征,时域模态特征提取子网GT由4个时域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,时域特征提取模块由卷积层和BN层构成,卷积层的卷积核大小为3×3。
S域模态特征提取子网GS用于对S域样本进行特征选择,得到S域特征, S域模态特征提取子网GS由3个S域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,S域特征提取模块由卷积层和BN层构成,卷积层的卷积核大小为3×3。
分类子网GC用于融合时域特征和S域特征,并基于融合后特征对微地震事件进行识别,分类子网GC由全连接层构成。在本实施例中,将时域模态特征提取子网GT与S域模态特征提取子网GS得到的特征进行融合作为分类子网GC的输入,通过全连接层等对样本进行分类,得到0或1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,将由0和1组成的掩膜与原始数据做哈达码积得到微地震事件识别结果。
进一步的,卷积层提取微地震资料的特征并根据标签做有监督的分类学习。BN层使模型在训练过程中每一层神经网路的输出都保持相同分布,这样可以避免梯度消失并且加快训练速度。池化层用于去除地震数据中的冗余数据,尽可能的保留微地震数据的主要特征,降低过拟合的复杂性,简化网络参数,加快训练速度。Flatten层将多维的输入转换为一维,将卷积层的多维特征图直接过渡到全连接的一维特征。Dropout层对神经网络训练单元按比例随机置零失活,保证网络的稀疏性,防止模型过拟合。
进一步的,卷积层负责数据的特征提取,卷积层的数量直接影响了特征提取的效果,选取时域模态特征提取子网GT的卷积层层数为4,S域模态特征提取子网GS的卷积层层数为3。学习率直接决定着网络的收敛速度和预测性能。一方面,如果学习率过大,网络会错过极值点,会降低网络的训练精度。另一方面,如果学习率过低,网络会收敛得过慢,甚至会导致过拟合问题。选取的学习率为0.01时,模型收敛速度快,稳定性好,准确性最高。
将本实施例中的深度学习网络模型G的损失函数设定为:
其中,M为一次训练的样本个数;为第i个样本的标签;/>为第i个样本的预测值;/>为交叉熵损失函数衡量样本预测值与标签的误差;为了提高网络的识别能力和泛化能力,使用正则约束/>为稀疏约束;K为权重矩阵;/>为正则项的系数,又叫正则约束的惩罚因子。当/>时,正则项与惩罚因子的乘积趋于零,此时模型只通过样本数据来学习权值。当/>时,正则项与惩罚因子的乘积趋近于无限大,此时模型的权值只根据惩罚项来确定。
进一步的,为了提高网络的识别能力,引入稀疏约束项对网络参数进行约束,从而减少冗余参数,稀疏约束项是对网络复杂度的约束,提高网络的泛化能力。在本实施例中,对时域模态特征提取子网GT引入L2约束,在惩罚因子取0.001时准确率取得最大值,对S域模态特征提取子网GS不引入正则约束。
S3.基于训练数据集训练深度学习网络模型G,得到识别模型。
训练的方法包括:将训练数据集裁剪为15×50大小,将裁剪后的数据划分为训练集和验证集;基于训练集对优化后的深度学习网络模型G进行训练,并采用Adam方法优化深度学习网络模型G;利用验证集对训练后的模型进行性能验证,得到识别模型。
在本实施例中,首先,由于微地震事件持续时间短,把样本裁剪为15×50大小,相关道选取左右各7道。在训练中,将合成的数据分批输入S域模态特征提取子网GS,每批包含128个样本。将微震事件分为两部分,在训练集中,选取80%数据集作为训练集,不断更新模型的参数,其余20%作为验证集,不参与训练集的训练过程,用于验证网络的性能。其次,将数据集作为网络模型的输入,对样本都进行卷积、批归一化的操作,然后进行特征提取,通过卷积层、批归一化层、池化层、Flatten层、Dropout层以及全连接层,每一层的输出都是下一层的输入,在得到了模型的输出之后,进行反向传播运算,将模型的输出与标签之间进行比较,得到两者的误差。然后,通过Adam优化算法对模型的超参数进行调整,直至满足收敛条件,结束网络模型的训练,得到训练好的网络模型。最后,利用验证集对训练好的网络模型进行性能验证,得到识别模型。
S4.利用识别模型进行微地震事件识别。
在本实施例中,将样本输入经训练调整好参数的卷积神经网络模型G中,得到为0或者1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,把由1和0组成的掩膜与原始数据做哈达玛积得到微地震事件检测结果。
实施例二
在本实施例中,如图3所示,一种基于多模态神经网络的微地震事件识别系统,包括:数据获取模块、模型构建模块、模型训练模块和识别模块。
数据获取模块用于获取时域样本和S域样本,基于时域样本和S域样本构建训练数据集。获取时域样本的方法包括:取检测道检测段数据及其左右相关道的检测段数据作为时域样本。获取S域样本的方法包括:收集微地震数据,对微地震数据进行拉普拉斯变换,得到S域样本。
在本实施例中,多模态样本包括时域样本和S域样本,时域样本是多道数据的波形,S域样本是单道数据检测段的拉普拉斯变换后的信号特征,标签制作方法包括滑动窗口进行切割标记,包含微地震事件的标记为1,不包含微地震事件的标记为0。将样本裁剪为m×n大小,时域样本相关道选取左右各c道,作为训练样本的最小单位。
(1)时域样本的获取方法:时域样本是多道数据的波形,取检测道检测段数据及其左右相关道的检测段数据作为时域样本。进一步的,当左边缘和右边缘部分检测道在制作时域样本取相关道时,如果某一侧存在缺少数据道的情况,则通过对称补充对齐,保证样本的大小一致。通过窗口滑动进行切割,得到足够的时域样本。(2)S域样本的获取方法:时频分析的方法中拉普拉斯变换能准确地刻画信号的时频变化特征。S域样本是单道数据检测段的拉普拉斯变换后的特征。由于拉普拉斯的时频特性,对微地震数据用拉普拉斯变换的得到S域样本,可以得到微地震事件在S域时间轴上位置与原始信号在时间序列上的准确对应关系,从而准确的描述微地震有效信号的特征。S域样本中包含模拟微地震数据的正样本频谱主要集中于一处,而不包含微地震数据的负样本频谱分散于各个频段。
模型构建模块用于构建深度学习网络模型G,并设定模型损失函数。
深度学习网络模型G的结构包括:时域模态特征提取子网GT、S域模态特征提取子网GS和分类子网GC。
时域模态特征提取子网GT用于对时域样本进行特征选择,得到时域特征,时域模态特征提取子网GT由4个时域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,时域特征提取模块由卷积层和BN层构成,卷积层的卷积核大小为3×3。
S域模态特征提取子网GS用于对S域样本进行特征选择,得到S域特征, S域模态特征提取子网GS由3个S域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,S域特征提取模块由卷积层和BN层构成,卷积层的卷积核大小为3×3。
分类子网GC用于融合时域特征和S域特征,并基于融合后特征对微地震事件进行识别,分类子网GC由全连接层构成。在本实施例中,将时域模态特征提取子网GT与S域模态特征提取子网GS得到的特征进行融合作为分类子网GC的输入,通过全连接层等对样本进行分类,得到0或1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,将由0和1组成的掩膜与原始数据做哈达码积得到微地震事件识别结果。
进一步的,卷积层提取微地震资料的特征并根据标签做有监督的分类学习。BN层使模型在训练过程中每一层神经网路的输出都保持相同分布,这样可以避免梯度消失并且加快训练速度。池化层用于去除地震数据中的冗余数据,尽可能的保留微地震数据的主要特征,降低过拟合的复杂性,简化网络参数,加快训练速度。Flatten层将多维的输入转换为一维,将卷积层的多维特征图直接过渡到全连接的一维特征。Dropout层对神经网络训练单元按比例随机置零失活,保证网络的稀疏性,防止模型过拟合。
进一步的,卷积层负责数据的特征提取,卷积层的数量直接影响了特征提取的效果,选取时域模态特征提取子网GT的卷积层层数为4,S域模态特征提取子网GS的卷积层层数为3。学习率直接决定着网络的收敛速度和预测性能。一方面,如果学习率过大,网络会错过极值点,会降低网络的训练精度。另一方面,如果学习率过低,网络会收敛得过慢,甚至会导致过拟合问题。选取的学习率为0.01时,模型收敛速度快,稳定性好,准确性最高。
将本实施例中的深度学习网络模型G的损失函数设定为:
其中,M为一次训练的样本个数;为第i个样本的标签;/>为第i个样本的预测值;/>为交叉熵损失函数衡量样本预测值与标签的误差;为了提高网络的识别能力和泛化能力,使用正则约束/>为稀疏约束;K为权重矩阵;/>为正则项的系数,又叫正则约束的惩罚因子。当/>时,正则项与惩罚因子的乘积趋于零,此时模型只通过样本数据来学习权值。当/>时,正则项与惩罚因子的乘积趋近于无限大,此时模型的权值只根据惩罚项来确定。
进一步的,为了提高网络的识别能力,引入稀疏约束项对网络参数进行约束,从而减少冗余参数,稀疏约束项是对网络复杂度的约束,提高网络的泛化能力。在本实施例中,对时域模态特征提取子网GT引入L2约束,在惩罚因子取0.001时准确率取得最大值,对S域模态特征提取子网GS不引入正则约束。
模型训练模块基于训练数据集训练深度学习网络模型G,得到识别模型。训练的方法包括:将训练数据集裁剪为15×50大小,将裁剪后的数据划分为训练集和验证集;基于训练集对优化后的深度学习网络模型G进行训练,并采用Adam方法优化深度学习网络模型G;利用验证集对训练后的模型进行性能验证,得到识别模型。
在本实施例中,首先,由于微地震事件持续时间短,把样本裁剪为15×50大小,相关道选取左右各7道。在训练中,将合成的数据分批输入S域模态特征提取子网GS,每批包含128个样本。将微震事件分为两部分,在训练集中,选取80%数据集作为训练集,不断更新模型的参数,其余20%作为验证集,不参与训练集的训练过程,用于验证网络的性能。其次,将数据集作为网络模型的输入,对样本都进行卷积、批归一化的操作,然后进行特征提取,通过卷积层、批归一化层、池化层、Flatten层、Dropout层以及全连接层,每一层的输出都是下一层的输入,在得到了模型的输出之后,进行反向传播运算,将模型的输出与标签之间进行比较,得到两者的误差。然后,通过Adam优化算法对模型的超参数进行调整,直至满足收敛条件,结束网络模型的训练,得到训练好的网络模型。最后,利用验证集对训练好的网络模型进行性能验证,得到识别模型。
识别模块利用识别模型进行微地震事件识别。
在本实施例中,将样本输入经训练调整好参数的卷积神经网络模型G中,得到为0或者1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,把由1和0组成的掩膜与原始数据做哈达玛积得到微地震事件检测结果。
实施例三
在本实施例中,将详细说明本申请提供的方法的具体操作流程。
本实施例所使用的平台配置:IntelCorei79700k处理器、NVIDIA GeForce GTX2080 Ti、操作系统为Ubuntu20.04和32G内存的计算机,模型采用Python语言和Pytorch框架作为编程环境。实施的具体过程如下:
地震数据训练集预处理:读取mat文件:通过load函数读取mat格式文件,函数的定义为:load filename,其中filename为要打开的文件的路径,本申请调用方式为:loadData/train_data_0.mat train_data = train_data_0;使用理论合成数据进行实验,将合成数据mat文件读入并命名为train_data。
地震数据的样本裁剪:由于微地震事件持续时间短,d_seg = 50;N_win = 15;将样本裁剪为15×50大小,即样本长度为50ms,通过窗口滑动进行切割标记得到样本。最后生成数据集和验证集的mat文件。
样本标签准备:样本通过窗口滑动进行切割标记得到,通过循环遍历,进行一系列判断事件是否为微地震事件,将样本标签的label改为1或者0,最后生成数据集和验证集的mat文件。
设计网络模型结构:
设计时域模态特征提取子网GT:该子网主要包括卷积、BN层、池化层、Flatten层、Dropout和全连接操作,用于对时域样本进行特征选择,得到时域特征,涉及到Pytorch中相关的标准函数说明如下:构造卷积层时使用Pytorch中定义的标准函数:nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding),其中in_channels表示输入通道数,out_channels表示输出通道数,stride指定了卷积核滑动的步长,padding为边缘填充的尺寸,卷积层提取微地震数资料的特征并根据标签做有监督的分类学习。BN层使模型在训练过程中每一层神经网络的输出都保持相同分布,这样可以避免梯度消失并且加快训练速度。构造池化层时使用:MaxPooling2D(pool_size,name),其中pool_size表示池化窗口大小,name表示该层的名称,池化层用于去除地震数据中的冗余数据,尽可能保留微地震数据的主要特征,降低过拟合的复杂性,简化网格参数,可以加快训练速度。Flatten层在本实施例中使用Flatten(name)构造。将多维的输入转换为一维,把卷积层的多维特征图直接过渡到全连接的一维特征。构造Dropout层时使用:Dropout(float,name),其中float表示要随机设置为零的神经元的比例,Dropout对神经网络训练单元按比例随机置零失活,保证网络的稀疏性,防止模型过拟合。
设计S域模态特征提取子网GS:该子网同样主要包括卷积层、BN层、池化层、Flatten层、Dropout层和全连接操作,与时域数据的处理相同,对S域数据进行处理,通过神经网络,得到S域特征。
将时域特征与S域特征提进行融合作为分类子网的输入,通过全连接层等对样本进行分类,得到0或1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,将由0和1组成的掩膜与原始数据做哈达码积得到微地震事件识别结果。
将本实施例中的深度学习网络模型G的损失函数设定为:
其中,M为一次训练的样本个数;为第i个样本的标签;/>为第i个样本的预测值;/>为交叉熵损失函数衡量样本预测值与标签的误差;为了提高网络的识别能力和泛化能力,使用正则约束/>为稀疏约束;K为权重矩阵;/>为正则项的系数,又叫正则约束的惩罚因子。当/>时,正则项与惩罚因子的乘积趋于零,此时模型只通过样本数据来学习权值。当/>时,正则项与惩罚因子的乘积趋近于无限大,此时模型的权值只根据惩罚项来确定。
训练得到的网络模型:
将样本输入到训练好的网络中,经过网络模型前向传递,输出0或者1的识别结果。其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,把由1和0组成的掩膜与原始数据做哈达玛积得到微地震事件检测结果。weight_pool/CNN.h5为训练好的识别模型保存路径,将模型参数等进行保存。
本实施采用的优化函数是Adam函数用于优化网络参数,函数调用语句optimizer_wave=optim.Adam(model.parameters(),lr=opt.lr,betas=(opt.momentum,0.999,weight_decay=0.0005 ),lr设定学习率为0.01,beats用于一阶矩和二阶矩估计调整,weight_decay设置权重衰减,减少模型过拟合的问题。本实施设置训练迭代次数为100次,设置epoch=100。
测试网络模型性能:
通过调用load_model来获得训练好的识别模型,函数的定义为model=load_model(weight_pool/CNN.h5),将时域与S域样本输入到网络模型G中,得到为0或者1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,把由1和0组成的掩膜与原始数据做哈达玛积得到微地震事件检测结果。
实施效果:
随机选取理论合成数据中的一道数据进行拉普拉斯变换,提取数据S模态频谱,如图4-图7所示,分别为合成的无噪声干扰的信号、合成信号添加0dB高斯噪声后得到的信号、合成无干扰信号的S域特征和含噪信号的S域特征。从图中可以看出在强噪声下,虽然微地震信号的时域特征几乎被掩盖,但是时频谱特征明显,且从时频谱中可以看出拉普拉斯变换得到的频率集中位置与微地震事件的发生时间明显一致,这一特性给模型在强噪声干扰下仍然能有效识别微地震事件提供了必要条件。图8-图11为不同信噪比数据识别结果,其中分别为信噪比为5dB、0dB、-5dB、-10dB情况下的识别结果。从图中可以看出:在强噪声干扰下本实施例的模型依然能够有较好的表现,对事件依然能够较好地识别。
以上所述的实施例仅是对本申请优选方式进行的描述,并非对本申请的范围进行限定,在不脱离本申请设计精神的前提下,本领域普通技术人员对本申请的技术方案做出的各种变形和改进,均应落入本申请权利要求书确定的保护范围内。
Claims (5)
1.一种基于多模态神经网络的微地震事件识别方法,其特征在于,包括以下步骤:
获取时域样本和S域样本,基于所述时域样本和所述S域样本构建训练数据集;
构建深度学习网络模型G,并设定模型损失函数;
基于所述训练数据集训练所述深度学习网络模型G,得到识别模型;
利用所述识别模型进行微地震事件识别;
获取所述时域样本的方法包括:取检测道检测段数据及其左右相关道的检测段数据作为所述时域样本;
获取所述S域样本的方法包括:收集微地震数据,对所述微地震数据进行拉普拉斯变换,得到所述S域样本;
所述深度学习网络模型G的结构包括:时域模态特征提取子网GT、S域模态特征提取子网GS和分类子网GC;
所述时域模态特征提取子网GT用于对所述时域样本进行特征选择,得到时域特征,所述时域模态特征提取子网GT由4个时域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述时域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述S域模态特征提取子网GS用于对所述S域样本进行特征选择,得到S域特征,所述S域模态特征提取子网GS由3个S域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述S域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述分类子网GC用于融合所述时域特征和S域特征,并基于融合后特征对微地震事件进行识别,所述分类子网GC由全连接层构成;
将时域模态特征提取子网GT与S域模态特征提取子网GS得到的特征进行融合作为分类子网GC的输入,通过全连接层等对样本进行分类,得到0或1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,将由0和1组成的掩膜与原始数据做哈达码积得到微地震事件识别结果。
2.根据权利要求1所述一种基于多模态神经网络的微地震事件识别方法,其特征在于,所述损失函数为:
其中,M为一次训练的样本个数,/>为第i个样本的标签,/>为第i个样本的预测值,/>为交叉熵损失函数衡量样本预测值与标签的误差,/>为稀疏约束,K为权重矩阵,/>为正则项的系数。
3.根据权利要求1所述一种基于多模态神经网络的微地震事件识别方法,其特征在于,所述训练的方法包括:
将所述训练数据集裁剪为15×50大小,将裁剪后的数据划分为训练集和验证集;
基于所述训练集对优化后的所述深度学习网络模型G进行训练,并采用Adam方法优化所述深度学习网络模型G;
利用所述验证集对训练后的模型进行性能验证,得到所述识别模型。
4.一种基于多模态神经网络的微地震事件识别系统,其特征在于,包括:数据获取模块、模型构建模块、模型训练模块和识别模块;
所述数据获取模块用于获取时域样本和S域样本,基于所述时域样本和所述S域样本构建训练数据集,获取所述时域样本的方法包括:取检测道检测段数据及其左右相关道的检测段数据作为所述时域样本,获取所述S域样本的方法包括:收集微地震数据,对所述微地震数据进行拉普拉斯变换,得到所述S域样本;
所述模型构建模块用于构建深度学习网络模型G,并设定模型损失函数;
所述模型训练模块基于所述训练数据集训练所述深度学习网络模型G,得到识别模型;
所述识别模块利用所述识别模型进行微地震事件识别;
所述深度学习网络模型G的结构包括:时域模态特征提取子网GT、S域模态特征提取子网GS和分类子网GC;
所述时域模态特征提取子网GT用于对所述时域样本进行特征选择,得到时域特征,所述时域模态特征提取子网GT由4个时域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述时域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述S域模态特征提取子网GS用于对所述S域样本进行特征选择,得到S域特征,所述S域模态特征提取子网GS由3个S域特征提取模块、池化层、Flatten层、Dropout层和全连接层构成,所述S域特征提取模块由卷积层和BN层构成,所述卷积层的卷积核大小为3×3;
所述分类子网GC用于融合所述时域特征和S域特征,并基于融合后特征对微地震事件进行识别,所述分类子网GC由全连接层构成;
将时域模态特征提取子网GT与S域模态特征提取子网GS得到的特征进行融合作为分类子网GC的输入,通过全连接层等对样本进行分类,得到0或1的识别结果,其中1表示该数据段包含微地震事件,0表示该数据段不包含微地震数据段,将由0和1组成的掩膜与原始数据做哈达码积得到微地震事件识别结果。
5.根据权利要求4所述一种基于多模态神经网络的微地震事件识别系统,其特征在于,所述损失函数为:
其中,M为一次训练的样本个数,/>为第i个样本的标签,/>为第i个样本的预测值,/>为交叉熵损失函数衡量样本预测值与标签的误差,/>为稀疏约束,K为权重矩阵,/>为正则项的系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310911521.1A CN116626753B (zh) | 2023-07-25 | 2023-07-25 | 一种基于多模态神经网络的微地震事件识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310911521.1A CN116626753B (zh) | 2023-07-25 | 2023-07-25 | 一种基于多模态神经网络的微地震事件识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116626753A CN116626753A (zh) | 2023-08-22 |
CN116626753B true CN116626753B (zh) | 2023-10-13 |
Family
ID=87597674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310911521.1A Active CN116626753B (zh) | 2023-07-25 | 2023-07-25 | 一种基于多模态神经网络的微地震事件识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116626753B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117077897B (zh) * | 2023-09-21 | 2024-03-19 | 四川省华地建设工程有限责任公司 | 一种地震灾害破坏推演方法及系统 |
CN118090107A (zh) * | 2024-04-24 | 2024-05-28 | 华侨大学 | 一种考虑地震动影响的多结构地震反应智能预测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368710A (zh) * | 2020-02-27 | 2020-07-03 | 东北石油大学 | 一种联合深度学习的地震数据随机噪声压制方法 |
CN112526606A (zh) * | 2021-02-08 | 2021-03-19 | 南京云创大数据科技股份有限公司 | 一种基于异构多分类模型的震源类型预测方法和系统 |
CN113296148A (zh) * | 2021-05-25 | 2021-08-24 | 电子科技大学 | 基于时域和小波域双通道卷积神经网络的微震识别方法 |
CN113792685A (zh) * | 2021-09-17 | 2021-12-14 | 东北石油大学 | 一种基于多尺度卷积神经网络的微地震事件检测方法 |
CN114065595A (zh) * | 2021-12-09 | 2022-02-18 | 东北石油大学 | 基于稀疏约束空-频域联合学习的波场数值频散压制方法 |
CN116047590A (zh) * | 2021-10-26 | 2023-05-02 | 中国石油天然气股份有限公司 | 一种地震相预测模型建立、地震相预测方法和装置 |
CN116299684A (zh) * | 2023-05-17 | 2023-06-23 | 成都理工大学 | 基于人工神经网络中双模态神经元的新型微震分类方法 |
CN116340757A (zh) * | 2023-04-25 | 2023-06-27 | 中国地震局地震研究所 | 一种特征自适应地震预警震级预测方法及其系统 |
CN116449415A (zh) * | 2021-12-30 | 2023-07-18 | 中国石油天然气集团有限公司 | 一种地震数据的波形处理方法、装置和相关设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11947061B2 (en) * | 2019-10-18 | 2024-04-02 | Korea University Research And Business Foundation | Earthquake event classification method using attention-based convolutional neural network, recording medium and device for performing the method |
-
2023
- 2023-07-25 CN CN202310911521.1A patent/CN116626753B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368710A (zh) * | 2020-02-27 | 2020-07-03 | 东北石油大学 | 一种联合深度学习的地震数据随机噪声压制方法 |
CN112526606A (zh) * | 2021-02-08 | 2021-03-19 | 南京云创大数据科技股份有限公司 | 一种基于异构多分类模型的震源类型预测方法和系统 |
CN113296148A (zh) * | 2021-05-25 | 2021-08-24 | 电子科技大学 | 基于时域和小波域双通道卷积神经网络的微震识别方法 |
CN113792685A (zh) * | 2021-09-17 | 2021-12-14 | 东北石油大学 | 一种基于多尺度卷积神经网络的微地震事件检测方法 |
CN116047590A (zh) * | 2021-10-26 | 2023-05-02 | 中国石油天然气股份有限公司 | 一种地震相预测模型建立、地震相预测方法和装置 |
CN114065595A (zh) * | 2021-12-09 | 2022-02-18 | 东北石油大学 | 基于稀疏约束空-频域联合学习的波场数值频散压制方法 |
CN116449415A (zh) * | 2021-12-30 | 2023-07-18 | 中国石油天然气集团有限公司 | 一种地震数据的波形处理方法、装置和相关设备 |
CN116340757A (zh) * | 2023-04-25 | 2023-06-27 | 中国地震局地震研究所 | 一种特征自适应地震预警震级预测方法及其系统 |
CN116299684A (zh) * | 2023-05-17 | 2023-06-23 | 成都理工大学 | 基于人工神经网络中双模态神经元的新型微震分类方法 |
Non-Patent Citations (1)
Title |
---|
基于深度卷积神经网络的地震震相拾取方法研究;李健;王晓明;张英海;王卫东;商杰;盖磊;;地球物理学报;第63卷(第4期);1591-1604 * |
Also Published As
Publication number | Publication date |
---|---|
CN116626753A (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807365B (zh) | 一种基于gru与一维cnn神经网络融合的水下目标识别方法 | |
CN116626753B (zh) | 一种基于多模态神经网络的微地震事件识别方法及系统 | |
AU2020104006A4 (en) | Radar target recognition method based on feature pyramid lightweight convolutional neural network | |
CN110245608B (zh) | 一种基于半张量积神经网络的水下目标识别方法 | |
CN111680706B (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
CN114863937B (zh) | 基于深度迁移学习与XGBoost的混合鸟鸣识别方法 | |
CN110991284B (zh) | 一种基于场景预分类的光学遥感图像语句描述生成方法 | |
CN118051831B (zh) | 基于CNN-Transformer合作网络模型的水声目标识别方法 | |
CN116576956A (zh) | 基于分布式光纤声波传感的多源振动信号分离方法 | |
CN114898775B (zh) | 一种基于跨层交叉融合的语音情绪识别方法及系统 | |
CN112241001A (zh) | 雷达人体动作识别方法、装置、电子设备和存储介质 | |
CN116978408B (zh) | 基于语音预训练模型的抑郁症检测方法及系统 | |
Wang et al. | A hierarchical birdsong feature extraction architecture combining static and dynamic modeling | |
CN114022909A (zh) | 一种基于传感器数据的情绪识别方法和系统 | |
CN117173618B (zh) | 基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 | |
CN117711442A (zh) | 一种基于cnn-gru融合模型的婴儿哭声分类方法 | |
CN117612031A (zh) | 一种基于语义分割的撂荒地遥感识别方法 | |
Chen et al. | Coal mine microseismic identification and first-arrival picking based on Conv-LSTM-Unet | |
CN116864128A (zh) | 基于身体活动行为模式监测的心理状态评估系统及其方法 | |
CN115147432A (zh) | 一种基于深度残差语义分割网络的初至拾取方法 | |
CN114118157A (zh) | 一种基于植物电信号的光照信息诊断方法及系统 | |
CN113129872B (zh) | 一种基于深度压缩感知的语音增强方法 | |
Wang et al. | Simulation of Sound Signal Analysis Model in Complex Environments Based on Deep Learning Algorithms | |
CN115047523B (zh) | 一种基于密度聚类算法的地震数据动校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |