CN113344050A - 一种基于深度学习的岩性智能化识别方法及系统 - Google Patents
一种基于深度学习的岩性智能化识别方法及系统 Download PDFInfo
- Publication number
- CN113344050A CN113344050A CN202110588216.4A CN202110588216A CN113344050A CN 113344050 A CN113344050 A CN 113344050A CN 202110588216 A CN202110588216 A CN 202110588216A CN 113344050 A CN113344050 A CN 113344050A
- Authority
- CN
- China
- Prior art keywords
- lithology
- network
- intelligent
- core image
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 239000011435 rock Substances 0.000 claims abstract description 87
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000013508 migration Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009966 trimming Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 239000004576 sand Substances 0.000 description 10
- 238000011161 development Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 229910052500 inorganic mineral Inorganic materials 0.000 description 5
- 239000011707 mineral Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 239000010433 feldspar Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000010453 quartz Substances 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000005553 drilling Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于深度学习的岩性智能化识别方法及系统,该方法包括:采集岩心图像数据,构建岩性智能化识别标签数据库;基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练;通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名;将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
Description
技术领域
本发明涉及油气储层评价领域,尤指一种基于深度学习的岩性智能化识别方法及系统。
背景技术
岩性识别是指通过某些特定方法来对岩性进行准确区分的过程。岩性识别作为在储层评价中的基础且重要的环节,是油藏描述、实时钻井监控以及储层参数预测的基础。因此,岩心识别的研究对于石油勘探具有重要的现实意义。
传统的岩性识别方法主要分为两种手段:钻井取心和测井曲线。其中,钻井取心是目前最直观,最可靠,最高精确率的方式,但是取心成本较高,而且要依靠于肉眼和部分物理手段,同时困难的是,该过程耗时且劳动密集,因此不能满足实际的工作要求。测井曲线数据可以为整个井段提供高分辨率的地下岩石物理信息,常规的利用测井资料识别地层岩性的方法主要有交汇图法、统计学方法和成像测井。基于测井曲线的岩性识别方法解决了不能取心的问题,在岩性识别工作中,相关专家通过对取心井中不同岩心样本对应的测井曲线特征观进行察,从而推导出非取心井中不同测井曲线对应的岩性,这个过程极其依赖于丰富的专家经验,效率较慢且成像测井又价格昂贵,非常不利于广泛实际应用。
深度学习技术作为新的技术浪潮已在很多领域表现优良,取得了显著的成果。目前在岩心智能化识别的应用也有了一定成果。通过阅读相关文献可以看出,目前大部分岩心智能化识别的研究都是基于岩心图像通过卷积神经网络等技术直接分类来预测岩性。但岩性定名是根据多种岩性特征的相关组合,如砂岩根据粒级划分等级有四类(粗砂、中砂、细砂、极细砂),根据碎屑岩相对含量成分,分为七类(石英砂岩、长石石英砂岩、岩屑石英砂岩等),因此直接的分类技术并不能对岩性进行准确的命名。而对于深度学习技术在基于测井数据的岩性识别应用方面也取得了一定成果,其目前使用模型方法原理各不相同,但大部分都是基于单一学习器,并没有很好地将取心样本与测井曲线相结合起来,因而对于岩性比较复杂的岩性识别精确率并不高。
综上所述,现有技术至少存在以下问题:
1、目前基于岩心图像的岩性识别,大部分方法是根据卷积神经网络做图像分类模型,无法解决岩性较多的问题。因此我们需要构建一种新型的细粒度分类网络,能够解决不同岩性之间相似性较大、同种岩性之间差异性比较大的问题。
2、目前基于测井曲线岩性识别,都是通过交汇图法、统计学方法、成像测井等技术手段进行识别,然而并未将取心样本和测井曲线智能化地相结合起来,来进一步地提高岩性识别的准确精度和专家识别效率。
发明内容
为克服现有技术存在的缺陷,本发明提出了一种基于深度学习的岩性智能化识别方法及系统。本发明利用DenseCap网络构建细粒度分类网络,从而实现基于岩心图像的岩性识别,解决了岩性类别较多情况下的自动划分问题;同时利用迁移学习技术将基于岩心图像的岩心识别和基于测井曲线的岩性识别相结合起来,综合考虑岩心图像和测定曲线的岩心识别技术,实现了复杂岩性识别。本发明不仅提高了岩性识别的准确率,同时也提升了识别过程的效率,对石油勘探开发行业的发展具有重要的意义。
在本发明实施例的第一方面,提出了一种基于深度学习的岩性智能化识别方法,该方法包括:
采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库;
基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型;
通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;
根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果;
通过恢复缺失岩心图片的隐态表征方法抽取岩心图像的类别结构信息,并提取类别鲁棒特征,将类别结构信息及类别鲁棒特征融入迁移学习的框架,进行测井曲线的岩石分类,将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
进一步的,所述岩性标签至少包括粒径等级及成分组构类别。
进一步的,采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库,还包括:
在岩性智能化识别标签数据库构建完成后,对岩心图像数据与岩性标签的顺序、参数做一一对应的处理。
进一步的,基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型,包括:
DenseCap网络由卷积网络层、密集定位层和RNN语言模型层组成;其中,
在卷积网络层,以VGG16网络结构为特征提取网络,经过卷积网络后输出特征图谱;
在密集定位层,在获取卷积网络层提取的特征图谱基础上,卷积定位网络对输入的卷积张量进行有条件性的选择,得出多个候选区域,对每个候选区域给出相应的坐标、置信度得分、特征三个输出张量;
在RNN语言模型层,将图片的特征图谱输入到RNN语言模型中,获得基于图片内容的自然语言序列。
进一步的,基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型,还包括:
在预测候选区域坐标时,DenseCap网络利用锚点对候选区域位置尺寸进行预测,其中,将特征图谱中的像素点作为锚点,并将锚点映射至原图像中,基于锚点划分出不同长宽比例的候选区域,针对多个预测的候选区域进行边界回归,对目标候选区域进行精修微调,精修微调的方法为:利用线性回归对候选框的四个位移参数(tx,ty,tw,th),基于以下公式对候选框的中心点(x,y)和长宽尺寸(w,h)更新:
x=xa+tx·wa;
y=ya+ty·ha;
其中,(xa,ya)为初始候选框的中心坐标,(wa,ha)为初始中心坐标对应的长宽大小,四个位移参数(tx,ty,tw,th)代表着中心坐标与长宽尺寸的变化参数;
经过经卷积核为3×3和1×1的卷积层的回归模型来预测候选区域的置信度得分与坐标信息;利用最大池化原理,对输入的卷积特征图谱划分为多个网格图,选取其中像素最大值代表各网格的特征像素,得到固定尺寸的特征向量;
在识别阶段与语言模型层对岩心图像的岩性识别与描述;其中,识别网络是在密集定位层输出的特征矩阵上连接全连接层,并以ReLu激活函数与随机失活优化原则得到相应的输出矩阵;在RNN语言模型中,选取LSTM网络作为语言模型,对识别网络的输出结果以及各个候选区域相应的真实描述进行编码,得到代表相应候选区域的图像信息的自然语言序列。
进一步的,通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果,包括:
预测过程的公式为:
x-1=CNN(I);
xt=WeSt,t∈{0,...,N-1};
pt+1=LSTM(xt),t∈{0,...,N-1};
其中,x-1代表卷积网络CNN经输入I生成的多维特征向量,St代表RNN语言模型生成的语言单词,We为该模型中的权重参数,xt代表着语言模型输出St对应的向量编码,pt+1是指第t+1个单词在岩性智能化识别标签数据库中的分布概率。
进一步的,根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果,包括:
根据预测出的粒径等级及成分组构类别,结合地质储层评价标准与规则,对相应的输入岩心图像进行岩性定名。
在本发明实施例的第二方面,提出了一种基于深度学习的岩性智能化识别系统,该系统包括:
数据采集模块,用于采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库;
智能建模模块,用于基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型;
智能预测模块,用于通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;
岩性综合定名模块,用于根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果;
岩性智能化识别模块,用于通过恢复缺失岩心图片的隐态表征方法抽取岩心图像的类别结构信息,并提取类别鲁棒特征,将类别结构信息及类别鲁棒特征融入迁移学习的框架,进行测井曲线的岩石分类,将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
在本发明实施例的第三方面,提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现基于深度学习的岩性智能化识别方法。
在本发明实施例的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现基于深度学习的岩性智能化识别方法。
本发明提出的基于深度学习的岩性智能化识别方法及系统,利用神经网络构建细粒度分类网络,从而实现基于岩心图像的岩性识别,实现岩性类别较多情况下的自动划分;同时,还利用迁移学习技术将基于岩心图像的岩心识别和基于测井曲线的岩性识别相结合起来,从而提出一种综合考虑岩心图像和测定曲线的岩心识别技术,能够针对复杂岩性进行识别,本发明不仅提高了岩性识别的准确率,同时也提升了识别过程的效率,对石油勘探开发行业的发展具有重要的意义。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例的基于深度学习的岩性智能化识别方法流程示意图。
图2是本发明一具体实施例的基于DenseCap网络的岩性识别关系示意图。
图3是本发明一具体实施例的结合测井曲线的岩性识别的流程示意图。
图4是本发明一具体实施例的识别结果示意图。
图5是本发明一实施例的基于深度学习的岩性智能化识别系统架构示意图。
图6是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种基于深度学习的岩性智能化识别方法及系统。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
图1是本发明一实施例的基于深度学习的岩性智能化识别方法流程示意图。
如图1所示,该方法包括:
步骤S1,采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库;
步骤S2,基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型;
步骤S3,通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;
步骤S4,根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果;
步骤S5,通过恢复缺失岩心图片的隐态表征方法抽取岩心图像的类别结构信息,并提取类别鲁棒特征,将类别结构信息及类别鲁棒特征融入迁移学习的框架,进行测井曲线的岩石分类,将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
为了对上述基于深度学习的岩性智能化识别方法进行更为清楚的解释,下面结合一个具体的实施例来进行说明。
步骤S1,数据收集与预处理:
监督式深度学习技术依赖于大量的标签数据,本发明首先对相关岩心图像数据进行收集整合,以及其相关岩性标签如粒径等级(如粗砾、中砾、粗砂、中砂、细砂等)、成分组构类别(如石英砂岩、长石石英砂岩、长石砂岩等),通过对相关岩心图像及其对应岩性描述特征、岩性名称标签对应统计起来,从而构建岩性智能化识别标签数据库。同时,在构建岩性识别的数据库基础上,对收集的岩心图像相关参数以及岩性标签顺序、参数作一一对应处理,以便建模输入使用。
步骤S2,智能建模:
在岩性识别描述的模型构建上,本发明选取DenseCap网络,该网络能够对图像的多种局部细节特征进行自然语言描述的能力,不仅能够对岩心图像的整体进行类别读取,而且能够对更加细粒度的岩心图像内在特征进行识别,能够综合描述识别出岩性特征的详细样貌。
参考图2,为本发明一具体实施例的基于DenseCap网络的岩性识别关系示意图。
如图2所示,整体网络构造由卷积网络层、密集定位层和RNN(Recurrent NeuralNetwork)语言模型层三部分组成。在卷积网络特征提取方面,该模型以VGG16网络为基本特征提取网络,在原VGG16的结构上,其基本结构由13个3×3的卷积层以及内嵌的最大池化层构成,并去除原网络最后面的池化层。在密集定位方面,在获取卷积网络提取的特征图谱基础上,卷积定位网络对输入的卷积张量进行有条件性的选择,得出B个关键的候选区域,同时对每个区域给出相应的坐标、置信度得分、特征三个输出张量。其中,在预测候选区域坐标方面,该网络利用具有平移不变性的锚点去实现候选区域位置尺寸的预测,具体是将特征图谱中的像素点作为锚点,并将其映射至原图像中,再基于该锚点划分出不同长宽比例的候选区域。此后,针对多个预测的候选区域进行边界回归,从而对目标候选区域进行精修微调;具体的,利用线性回归对候选框的四个位移参数(tx,ty,tw,th),基于以下公式对候选框的中心点(x,y)和长宽尺寸(w,h)更新:
x=xa+tx·wa;
y=ya+ty·ha;
其中,(xa,ya)为初始候选框的中心坐标,(wa,ha)为初始中心坐标对应的长宽大小,四个位移参数(tx,ty,tw,th)代表着中心坐标与长宽尺寸的变化参数;
在此基础上,经卷积核为3×3和1×1的卷积层的回归模型来预测候选区域的置信度得分与坐标信息。同时,为了对应上后面的全连接层和RNN语言模型,利用最大池化原理,对输入的卷积特征图谱划分为多个网格图,选取其中像素最大值代表各网格的特征像素,得到固定尺寸的特征向量。
在最后的识别阶段与语言模型层实现对岩心图像的岩性识别与描述。其中,识别网络是在上述定位层输出的特征矩阵上连接全连接层,并以ReLu激活函数与随机失活优化原则得到相应的输出矩阵。在后续的RNN语言模型中,选取性能更加优越的LSTM(LongShort-Term Memory)网络作为语言模型,对前面识别网络的输出结果以及各个候选区域相应的真实描述进行编码,从而得到代表相应候选区域所蕴含图像信息的自然语言序列。
步骤S3,智能预测:
在预测阶段,通过上述训练好的RNN语言模型对经过卷积网络生成的特征向量x-1和输入x0以及公式ht,yt=f(ht-1,xt)计算隐藏状态h0和语言向量y0。其中,yt代表长度为V+1的向量,V为岩性标签库的大小。通过循环递归的思想,将根据y0预测的第一个岩性标签作为下一层网络的输入,从而预测第二个岩性标签,以此往复直至结束,从而实现对岩心图像的岩性标签预测。
预测过程的公式为:
x-1=CNN(I);
xt=WeSt,t∈{0,...,N-1};
pt+1=LSTM(xt),t∈{0,...,N-1};
其中,x-1代表卷积网络CNN经输入I生成的多维特征向量,St代表RNN语言模型生成的语言单词,We为该模型中的权重参数,xt代表着语言模型输出St对应的向量编码,pt+1是指第t+1个单词在岩性智能化识别标签数据库中的分布概率。
步骤S4,岩性综合定名:
根据预测出的粒径等级及成分组构类别,结合地质储层评价标准与规则,对相应的输入岩心图像进行岩性定名。
举例而言,根据预测出的粒径级别,如粗砂,以及矿物成分类别如岩屑砂岩,结合地质储层评价标准与规则,对相应的输入岩心图像进行最终的岩性定名,如粗砂岩屑砂岩、中砂岩屑长石砂岩等。
步骤S5,结合测井曲线的岩性识别:
基于测井曲线进行岩性识别是常规的岩性识别的另一种普遍方法,其缺陷在于相对于实际识别模型,一般的测井曲线质量较差,分类精度较低。
在此背景下,本发明进一步结合上述基于深度学习的岩心图像识别技术,利用迁移学习的思想,利用上述的岩心图片与岩性标签数据对大量低质量的测井曲线数据进行指导学习,通过构建恢复缺失岩心图片的隐态表征的技术,抽取岩心图片的类别结构信息,并针对岩心图片的类别不均和类别重叠问题,进行类别鲁邦的特征提取,将储层地质特征和空间信息融入迁移学习的框架中,从而实现测井曲线的矿井岩石分类,进一步地提高岩性识别的精度,具体流程如图3所示。
以图4所示的识别结果,岩性识别结果中的粗砂、岩屑砂岩分别代表岩石粒径级别与矿物含量分布的类别,粗砂代表粒径级别处于64-256mm范围内的岩石为主要核心,岩屑砂岩意味着长石与岩屑含量对比比例小于1:3,从而可以得出岩性的综合性定名。
将本发明与现有技术进行对比可知,传统常规的进行岩性识别依赖于专业人员通过钻井取心方式或者测井曲线分析的方法,其识别鉴定往往耗时耗力,且事倍功半。本发明提出的基于深度学习的岩性智能化识别技术对一张岩心图像进行岩性识别仅需要数秒时间,极大地提高岩性识别的效率与速度。同时,对于组分繁多、结构复杂的各类组合性岩心图像,能够实现更加细粒度级别的准确识别。在本发明测试的2000张岩心图片上,其测试结果的平均精度均值mAP(Mean Average Precision,所有类别检测的平均准确度)能达到85%,其平均召回率AR(Average Recall,正确识别的岩石矿物数占测试集中识别的总矿物个数的占比)达到了87%。此外,利用迁移学习思想结合测井曲线,进一步扩展了本发明在岩性识别所应用的范围,提升各条件下的岩性识别精度。因此,从各方面而言,本发明在快速进行岩性识别的领域都具有极高的推广应用价值。
需要说明的是,尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
岩性识别是储层评价的一个重要环节。随着油田精细开发的不断深入,主力油田陆续进入“双高”阶段,剩余油高度分散、薄差层动用效果差,同时粒度细、岩性复杂、孔喉细小、非均质性强等存在的困难也阻碍了岩性识别精确率的提升。目前对于岩性识别的技术手段,主要存在以下问题:
1、将岩心图像送入分类网络,直接根据分类结果岩心命名。但由于岩性定名是根据多种岩性特征的相关组合,因此此岩性识别方式的精确率不高;
2、基于测井曲线的岩心识别方式中,并未将取心样本与测井曲线相结合,没能很好地利用取心信息,所以此识别方式效率慢、准确率低并且人为因素影响大。
因此对岩心识别方式的优化至关迫切,具有重要的现实意义和战略意义。
针对以上存在的问题,本发明做出了以下技术突破:
1、提出了一种更优化的GAN神经网络等构建了细粒度分类网络,从而进一步提高基于岩心图像的岩性识别的准确率。具体而言:首先建立从岩心图像到文字的翻译的网络,实现从岩心图像中去预测出粒径大小、矿物成分含量等信息;然后根据结果信息,给出岩性的综合定名,从而提高岩性识别的准确率。
2、提出了一种岩性识别的综合判定方法,从而实现测井曲线和岩心图像岩性识别之间的智能化映射。具体而言:首先非取心井的测井曲线数据中根据交汇图等技术手段提取出相应的岩心信息,然后利用迁移学习技术建立不同岩性对应的测井曲线(由取心井得出)和测井曲线对应的岩性(由非取心井得出)之间的映射关系式解析式,从而可以将取心井的岩心信息迁移至非取心井上。
本发明旨在利用GAN网络等神经网络构建细粒度分类网络,从而实现基于岩心图像的岩性识别,解决了岩性类别较多情况下的自动划分问题;同时利用迁移学习技术将基于岩心图像的岩心识别和基于测井曲线的岩性识别相结合起来,从而提出一种综合考虑岩心图像和测定曲线的岩心识别技术攻克了复杂岩性识别的实际问题。此发明不仅提高了岩性识别的准确率,同时也提升了识别过程的效率,对石油勘探开发行业的发展具有重要的意义。
在介绍了本发明示例性实施方式的方法之后,接下来,参考图5对本发明示例性实施方式的基于深度学习的岩性智能化识别系统进行介绍。
基于深度学习的岩性智能化识别系统的实施可以参见上述方法的实施,重复之处不再赘述。以下所使用的术语“模块”或者“单元”,可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思,本发明还提出了一种基于深度学习的岩性智能化识别系统,如图5所示,该系统包括:
数据采集模块510,用于采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库;
智能建模模块520,用于基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型;
智能预测模块530,用于通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;
岩性综合定名模块540,用于根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果;
岩性智能化识别模块550,用于通过恢复缺失岩心图片的隐态表征方法抽取岩心图像的类别结构信息,并提取类别鲁棒特征,将类别结构信息及类别鲁棒特征融入迁移学习的框架,进行测井曲线的岩石分类,将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
应当注意,尽管在上文详细描述中提及了基于深度学习的岩性智能化识别系统的若干模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思,如图6所示,本发明还提出了一种计算机设备600,包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630,所述处理器620执行所述计算机程序630时实现前述基于深度学习的岩性智能化识别方法。
基于前述发明构思,本发明提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现前述基于深度学习的岩性智能化识别方法。
本发明提出的基于深度学习的岩性智能化识别方法及系统,利用神经网络构建细粒度分类网络,从而实现基于岩心图像的岩性识别,实现岩性类别较多情况下的自动划分;同时,还利用迁移学习技术将基于岩心图像的岩心识别和基于测井曲线的岩性识别相结合起来,从而提出一种综合考虑岩心图像和测定曲线的岩心识别技术,能够针对复杂岩性进行识别,本发明不仅提高了岩性识别的准确率,同时也提升了识别过程的效率,对石油勘探开发行业的发展具有重要的意义。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的岩性智能化识别方法,其特征在于,该方法包括:
采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库;
基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型;
通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;
根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果;
通过恢复缺失岩心图片的隐态表征方法抽取岩心图像的类别结构信息,并提取类别鲁棒特征,将类别结构信息及类别鲁棒特征融入迁移学习的框架,进行测井曲线的岩石分类,将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
2.根据权利要求1所述的基于深度学习的岩性智能化识别方法,其特征在于,所述岩性标签至少包括粒径等级及成分组构类别。
3.根据权利要求1所述的基于深度学习的岩性智能化识别方法,其特征在于,采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库,还包括:
在岩性智能化识别标签数据库构建完成后,对岩心图像数据与岩性标签的顺序、参数做一一对应的处理。
4.根据权利要求1所述的基于深度学习的岩性智能化识别方法,其特征在于,基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型,包括:
DenseCap网络由卷积网络层、密集定位层和RNN语言模型层组成;其中,
在卷积网络层,以VGG16网络结构为特征提取网络,经过卷积网络后输出特征图谱;
在密集定位层,在获取卷积网络层提取的特征图谱基础上,卷积定位网络对输入的卷积张量进行有条件性的选择,得出多个候选区域,对每个候选区域给出相应的坐标、置信度得分、特征三个输出张量;
在RNN语言模型层,将图片的特征图谱输入到RNN语言模型中,获得基于图片内容的自然语言序列。
5.根据权利要求1所述的基于深度学习的岩性智能化识别方法,其特征在于,基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型,还包括:
在预测候选区域坐标时,DenseCap网络利用锚点对候选区域位置尺寸进行预测,其中,将特征图谱中的像素点作为锚点,并将锚点映射至原图像中,基于锚点划分出不同长宽比例的候选区域,针对多个预测的候选区域进行边界回归,对目标候选区域进行精修微调,精修微调的方法为:利用线性回归对候选框的四个位移参数(tx,ty,tw,th),基于以下公式对候选框的中心点(x,y)和长宽尺寸(w,h)更新:
x=xa+tx·wa;
y=ya+ty·ha;
其中,(xa,ya)为初始候选框的中心坐标,(wa,ha)为初始中心坐标对应的长宽大小,四个位移参数(tx,ty,tw,th)代表着中心坐标与长宽尺寸的变化参数;
经过经卷积核为3×3和1×1的卷积层的回归模型来预测候选区域的置信度得分与坐标信息;利用最大池化原理,对输入的卷积特征图谱划分为多个网格图,选取其中像素最大值代表各网格的特征像素,得到固定尺寸的特征向量;
在识别阶段与语言模型层对岩心图像的岩性识别与描述;其中,识别网络是在密集定位层输出的特征矩阵上连接全连接层,并以ReLu激活函数与随机失活优化原则得到相应的输出矩阵;在RNN语言模型中,选取LSTM网络作为语言模型,对识别网络的输出结果以及各个候选区域相应的真实描述进行编码,得到代表相应候选区域的图像信息的自然语言序列。
6.根据权利要求5所述的基于深度学习的岩性智能化识别方法,其特征在于,通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果,包括:
预测过程的公式为:
x-1=CNN(I);
xt=WeSt,t∈{0,...,N-1};
pt+1=LSTM(xt),t∈{0,...,N-1};
其中,x-1代表卷积网络CNN经输入I生成的多维特征向量,St代表RNN语言模型生成的语言单词,We为该模型中的权重参数,xt代表着语言模型输出St对应的向量编码,pt+1是指第t+1个单词在岩性智能化识别标签数据库中的分布概率。
7.根据权利要求6所述的基于深度学习的岩性智能化识别方法,其特征在于,根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果,包括:
根据预测出的粒径等级及成分组构类别,结合地质储层评价标准与规则,对相应的输入岩心图像进行岩性定名。
8.一种基于深度学习的岩性智能化识别系统,其特征在于,该系统包括:
数据采集模块,用于采集岩心图像数据,将岩性图像数据与岩性标签、岩性描述特征、岩性名称进行统计关联,构建岩性智能化识别标签数据库;
智能建模模块,用于基于DenseCap网络构建岩性识别描述模型,根据岩性智能化识别标签数据库对岩性识别描述模型进行训练,得到训练好的RNN语言模型;
智能预测模块,用于通过训练好的RNN语言模型,根据经过卷积网络生成的特征向量和输入样本,计算得到第一语言向量,利用循环递归方法将根据第一语言向量预测的第一个岩性标签作为下一层网络的输入,继续预测第二个岩性标签,依次预测直至结束,得到岩心图像的岩性标签预测结果;
岩性综合定名模块,用于根据岩性标签预测结果,对相应的输入岩心图像进行岩性定名,得到岩心图像的岩性识别结果;
岩性智能化识别模块,用于通过恢复缺失岩心图片的隐态表征方法抽取岩心图像的类别结构信息,并提取类别鲁棒特征,将类别结构信息及类别鲁棒特征融入迁移学习的框架,进行测井曲线的岩石分类,将岩心图像的岩性识别结果与测井曲线的岩石分类进行结合,得到最终的岩性识别结果。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110588216.4A CN113344050B (zh) | 2021-05-28 | 2021-05-28 | 一种基于深度学习的岩性智能化识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110588216.4A CN113344050B (zh) | 2021-05-28 | 2021-05-28 | 一种基于深度学习的岩性智能化识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113344050A true CN113344050A (zh) | 2021-09-03 |
CN113344050B CN113344050B (zh) | 2024-03-26 |
Family
ID=77472389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110588216.4A Active CN113344050B (zh) | 2021-05-28 | 2021-05-28 | 一种基于深度学习的岩性智能化识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344050B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113094972A (zh) * | 2021-03-15 | 2021-07-09 | 西南大学 | 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统 |
CN115359348A (zh) * | 2022-07-20 | 2022-11-18 | 中南大学 | 岩芯特征识别统计方法及系统、设备、存储介质 |
CN116415107A (zh) * | 2023-03-14 | 2023-07-11 | 长江三峡勘测研究院有限公司(武汉) | 岩心采取率数字化统计方法、系统、介质、设备及终端 |
CN116994155A (zh) * | 2023-09-26 | 2023-11-03 | 中国地质大学(武汉) | 一种地质岩性的解译方法、装置及存储介质 |
CN117238405A (zh) * | 2023-09-20 | 2023-12-15 | 昆明理工大学 | 一种基于深度学习的地球化学数据分析方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109387869A (zh) * | 2017-08-04 | 2019-02-26 | 中国石油化工股份有限公司 | 致密灰岩岩相识别方法及系统 |
WO2020082824A1 (zh) * | 2018-10-25 | 2020-04-30 | 北京国双科技有限公司 | 模型生成方法及装置、岩性识别方法及装置 |
CN111783825A (zh) * | 2020-05-26 | 2020-10-16 | 中国石油天然气集团有限公司 | 一种基于卷积神经网络学习的测井岩性识别方法 |
-
2021
- 2021-05-28 CN CN202110588216.4A patent/CN113344050B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109387869A (zh) * | 2017-08-04 | 2019-02-26 | 中国石油化工股份有限公司 | 致密灰岩岩相识别方法及系统 |
WO2020082824A1 (zh) * | 2018-10-25 | 2020-04-30 | 北京国双科技有限公司 | 模型生成方法及装置、岩性识别方法及装置 |
CN111783825A (zh) * | 2020-05-26 | 2020-10-16 | 中国石油天然气集团有限公司 | 一种基于卷积神经网络学习的测井岩性识别方法 |
Non-Patent Citations (1)
Title |
---|
柳小波;王怀远;王连成;: "岩石种类智能识别研究的Faster R-CNN方法", 现代矿业, no. 05, 25 May 2019 (2019-05-25), pages 68 - 72 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113094972A (zh) * | 2021-03-15 | 2021-07-09 | 西南大学 | 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统 |
CN113094972B (zh) * | 2021-03-15 | 2022-08-02 | 西南大学 | 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统 |
CN115359348A (zh) * | 2022-07-20 | 2022-11-18 | 中南大学 | 岩芯特征识别统计方法及系统、设备、存储介质 |
CN115359348B (zh) * | 2022-07-20 | 2023-07-25 | 中南大学 | 岩芯特征识别统计方法及系统、设备、存储介质 |
CN116415107A (zh) * | 2023-03-14 | 2023-07-11 | 长江三峡勘测研究院有限公司(武汉) | 岩心采取率数字化统计方法、系统、介质、设备及终端 |
CN117238405A (zh) * | 2023-09-20 | 2023-12-15 | 昆明理工大学 | 一种基于深度学习的地球化学数据分析方法和装置 |
CN116994155A (zh) * | 2023-09-26 | 2023-11-03 | 中国地质大学(武汉) | 一种地质岩性的解译方法、装置及存储介质 |
CN116994155B (zh) * | 2023-09-26 | 2024-02-23 | 中国地质大学(武汉) | 一种地质岩性的解译方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113344050B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113344050B (zh) | 一种基于深度学习的岩性智能化识别方法及系统 | |
Zhu et al. | Intelligent logging lithological interpretation with convolution neural networks | |
CN107545577B (zh) | 基于神经网络的沉积相图像分割方法 | |
CN111783825A (zh) | 一种基于卷积神经网络学习的测井岩性识别方法 | |
CN110490100A (zh) | 基于深度学习的岩土自动识别定名方法及系统 | |
WO2020225592A1 (en) | Automated method and system for categorising and describing thin sections of rock samples obtained from carbonate rocks | |
CN111008337B (zh) | 一种基于三元特征的深度注意力谣言鉴别方法及装置 | |
Gao et al. | A novel deep convolutional neural network based on ResNet-18 and transfer learning for detection of wood knot defects | |
Madhuanand et al. | Deep convolutional neural networks for surface coal mines determination from sentinel-2 images | |
CN109669210B (zh) | 基于多种地震属性评价准则的有利区预测方法 | |
US11670073B2 (en) | System and method for detection of carbonate core features from core images | |
CN113642698A (zh) | 地球物理测井智能解释方法、系统及存储介质 | |
CN114492521A (zh) | 一种基于声振信号的随钻岩性智能识别方法与系统 | |
Tang et al. | A new tool for searching sweet spots by using gradient boosting decision trees and generative adversarial networks | |
CN109948825A (zh) | 基于改进PSO与Adaboost结合的有利储层发育区预测方法 | |
CN112199886A (zh) | 一种prb数据深度学习地质图预测模型的处理方法 | |
CN115809601A (zh) | 一种沉积岩构造背景判别方法 | |
CN114638300A (zh) | 一种识别页岩油气藏“甜点”的方法、装置及存储介质 | |
Chang et al. | SegLog: Geophysical logging segmentation network for lithofacies identification | |
CN117272841B (zh) | 一种基于混合神经网络的页岩气甜点预测方法 | |
CN112329804A (zh) | 基于特征随机的朴素贝叶斯岩相分类集成学习方法及装置 | |
CN116863217A (zh) | 一种野外露头岩石图像岩性识别方法 | |
Udegbe et al. | Big Data Analytics for Seismic Fracture Identification, Using Amplitude-Based Statistics | |
Sun et al. | Automatic building age prediction from street view images | |
CN114896468A (zh) | 基于神经网络的文件类型匹配方法和数据智能录入方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |