CN116228797B - 基于注意力和U-Net的页岩扫描电镜图像分割方法 - Google Patents
基于注意力和U-Net的页岩扫描电镜图像分割方法 Download PDFInfo
- Publication number
- CN116228797B CN116228797B CN202310511382.3A CN202310511382A CN116228797B CN 116228797 B CN116228797 B CN 116228797B CN 202310511382 A CN202310511382 A CN 202310511382A CN 116228797 B CN116228797 B CN 116228797B
- Authority
- CN
- China
- Prior art keywords
- electron microscope
- scanning electron
- shale scanning
- pore
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 196
- 238000001000 micrograph Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011148 porous material Substances 0.000 claims abstract description 162
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 109
- 238000011176 pooling Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 54
- 230000004913 activation Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 5
- 239000011435 rock Substances 0.000 abstract description 5
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开了一种基于注意力和U‑Net的页岩扫描电镜图像分割方法,涉及数字岩石图像分割技术领域。本发明通过对多张页岩扫描电镜原始图像进行预处理人工设置标签后,形成包括训练集和测试集的数据集后,基于混合注意力机制的U‑Net网络构建孔隙分割模型,先利用训练集训练孔隙分割模型分割页岩扫描电镜图像,再利用测试集测试训练后的分割效果,得到孔隙分割效果最佳的孔隙分割模型后,利用该孔隙分割模型分割待处理的页岩扫描电镜原始图像,得到页岩扫描电镜原始图像的分割结果。本发明实现了页岩电镜图像内孔隙特征的快速提取和精确分割,提高了页岩扫描电镜图像中孔隙识别的精度和效率,为页岩储层的高效评价奠定了基础。
Description
技术领域
本发明涉及数字岩石图像分割技术领域,具体涉及一种基于注意力和U-Net的页岩扫描电镜图像分割方法。
背景技术
微观孔隙结构作为研究页岩气吸附运移机制和建立地质模型的基础,地质图像中常将微观孔隙分割作为提高储层评价精度所要解决的首要问题,快速精确地实现自动化孔隙区域分割及微观结构参数分析对于石油地质行业极其重要。
传统的图像分割依赖于图像计算属性的相似性进行定位以及确定目标的边界,传统方法无法解决因样本图像采集和成像过程中图像噪声以及灰度差异大所引起分割精度较低的问题。近年来,随着机器学习在视觉领域的发展,逐渐将基于深度学习的图像分割方法应用于数字岩石技术领域。
但是,现有的岩石扫描电镜图像分割方法存在分辨率低且针对图像中小目标(如孔隙度)和边界模糊识别分割能力有限的问题,难以精确分割页岩扫描电镜图像中形态多样的颗粒和孔隙,对于相似度高的孔隙和颗粒分辨能力差且分割效率低难以适用于大批量页岩扫描电镜图像的分割处理。
因此,亟需提出一种基于注意力和U-Net的页岩电镜图像分割方法,实现对页岩扫描电镜图像的精确分割。
发明内容
本发明为了解决页岩扫描电镜图像孔隙分割效果差的问题,提出了一种基于注意力和U-Net的页岩电镜图像分割方法,实现了对页岩电镜图像内孔隙特征的快速提取和精确分割,提高了页岩扫描电镜图像中孔隙识别的精度和效率,为页岩储层的高效评价奠定了基础。
本发明采用以下的技术方案:
一种基于注意力和U-Net的页岩扫描电镜图像分割方法,具体包括以下步骤:
步骤1,获取多张页岩扫描电镜原始图像,对各页岩扫描电镜原始图像进行预处理,形成页岩扫描电镜图像数据集,页岩扫描电镜图像数据集中包括训练集和测试集;
步骤2,基于混合注意力机制的U-Net网络构建孔隙分割模型;
步骤3,利用训练集对孔隙分割模型进行训练,得到训练后的孔隙分割模型;
步骤4,利用测试集验证训练后孔隙分割模型的分割效果,若训练后孔隙分割模型的分割效果已达到最佳,则进入步骤5,否则,则返回步骤3中,继续利用训练集对孔隙分割模型进行训练;
步骤5,将待处理的页岩扫描电镜原始图像输入至训练后的孔隙分割模型中,利用训练后的孔隙分割模型分割待处理的页岩扫描电镜原始图像,得到待处理页岩扫描电镜原始图像的分割结果。
优选地,所述步骤1中,具体包括以下步骤:
步骤1.1,获取多张页岩扫描电镜原始图像,分别针对各页岩扫描电镜原始图像,人工识别页岩扫描电镜原始图像中的孔隙并设置标签;
步骤1.2,分别针对各页岩扫描电镜原始图像,利用小波变换将页岩扫描电镜原始图像分解为多张高频图像和一张低频图像后,设置不同的去噪阈值,将同一张页岩扫描电镜原始图像所对应的多张高频图像采用不同的去噪阈值进行滤波去噪处理,得到基于不同阈值去噪后的高频图像,增加高频图像的数量和频率的多样性;
步骤1.3,分别针对各页岩扫描电镜原始图像,将同一张页岩扫描电镜原始图像所对应的低频图像与经不同去噪阈值滤波去噪后的高频图像进行小波逆变换,得到增强后的页岩扫描图像,页岩扫描图像的孔隙上带有预先设置的标签,将增强后的各页岩扫描图像及页岩扫描图像上的标签作为页岩扫描电镜图像数据,形成页岩扫描电镜图像数据集,并将页岩扫描电镜图像数据集划分为训练集和测试集。
优选地,所述步骤2中,基于混合注意力机制的U-Net网络构建的孔隙分割模型包括图像数据转换模块、两个位于U-Net网络不同深度位置处的图像处理模块和多个卷积层,其中,图像处理模块设置为第一图像处理模块和第二图像处理模块;
所述图像处理模块包括第一个卷积层、通道注意力模块和空间注意力模块,第一
个卷积层、通道注意力模块和空间注意力模块依次连接,第一个卷积层中卷积核的尺寸设
置为,其中,所述通道注意力模块包括一个由全局最大池化层和全局平均池化层组成
的并列结构、多层感知机、求和层和激活函数层,所述空间注意力模块包括一个由全局最大
池化层和全局平均池化层组成的并列结构、卷积层和激活函数层;
所述激活函数层中预设有sigmoid激活函数。
优选地,当页岩扫描电镜图像输入至孔隙分割模型时,孔隙分割模型的图像数据
转换模块获取页岩扫描电镜图像和标签,并将页岩扫描电镜图像的图像数据和标签转换为
原始特征矩阵后,将原始特征矩阵输入至图像处理模块中,依次经第一图像处理模块和第
二图像处理模块处理后,得到维度为的特征矩阵,再依次对特征矩阵利
用256个尺寸为的卷积核以及512个尺寸为的卷积核进行卷积运
算,得到维度为的特征矩阵,特征矩阵经上采样后与第二图像处理模
块注意力融合模块中输入的特征矩阵相拼接得到特征矩阵,特征矩阵的维度为,再利用64个尺寸为的卷积核对特征矩阵进行卷积计算,得到
维度为的特征矩阵,特征矩阵经上采样后与第一图像处理模块注意力融
合模块中输入的特征矩阵相拼接得到维度为的特征矩阵,再通过3个尺寸
为的卷积核对特征矩阵进行卷积运算后,输出孔隙分割模型,得到基于像
素级别的页岩扫描电镜图像分割结果。
优选地,当原始特征矩阵或经上一个图像处理模块处理后的特征矩阵输入至当前
图像处理模块时,先利用图像处理模块中的第一个卷积层对输入的原始特征矩阵或特征矩
阵进行卷积运算,将矩阵的通道数扩充至,得到特征矩阵,特征矩阵的维度为,其中,为行数、为列数,为特征矩阵的通道数;
将特征矩阵输入至图像处理模块的通道注意力模块中,全局最大池化层和全局
平均池化层分别对输入的特征矩阵进行处理生成两张特征图,特征图的维度为,为特征图的通道数;将两张特征图输入至多层感知机中,利用多层感知机分别
处理生成各特征图的特征向量,将生成的特征向量进行求和运算后输入sigmoid激活函数
中,经sigmoid激活函数计算生成通道特征注意力特征图,得到通道特征注意力特征图的特
征向量,将通道特征注意力特征图的特征向量与特征矩阵进行哈达玛积运算,得
到经通道注意力增强后的特征矩阵,特征矩阵的维度为;
当经通道注意力增强后的特征矩阵输入至空间注意力模块时,先将经通道注意
力增强后的特征矩阵分别输入全局最大池化层和全局平均池化层中,利用全局最大池化
层和全局平均池化层分别对输入的特征矩阵进行处理,得到空间注意力模块所确定的平
均池化特征和最大池化特征,空间注意力模块所确定的平均池化特征和最
大池化特征的维度均为,对空间注意力模块生成的平均池化特征和
最大池化特征进行拼接,并经卷积运算后输入至sigmoid激活函数中,得到空间注意
力特征矩阵,将空间注意力特征矩阵与特征矩阵进行哈达玛积运算后,再与特征
矩阵进行求和运算,得到经空间注意力增强后的特征矩阵,特征矩阵的维度为。
优选地,所述多层感知机中预设有映射函数,如公式(1)所示:
(1)
式中,为通道注意力特征图的特征向量,为特征矩阵,为平
均池化函数,为最大池化函数,为sigmoid激活函数;为多层感
知机,由两个共享参数矩阵构成,为多层感知机中的第一计算参数,多层感知机中的
第二计算参数,为通道注意力模块所确定的平均池化特征,为通道注意力模块所
确定的最大池化特征。
优选地,所述步骤3中,具体包括以下步骤:
步骤3.1,将训练集中的页岩扫描电镜图像数据输入至步骤2中所构建的孔隙分割模型中,利用孔隙分割模型对页岩扫描电镜图像数据中的页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果;
步骤3.2,基于Adam算法优化孔隙分割模型,将页岩扫描电镜图像利用孔隙分割模型所标记的标签与人工识别所设置的标签进行对比,利用损失函数计算孔隙分割模型所标记标签与人工识别所设置标签之间的损失值,并将损失值与预设的精度值进行比较;若损失值小于预设的精度值,则进入步骤3.4;否则,则进入步骤3.3;
步骤3.3,更新孔隙分割模型中多层感知机的第一计算参数和第二计算参数,得到更新后的孔隙分割模型,继续在训练集中随机选取页岩扫描电镜图像数据输入至
更新后的孔隙分割模型中,利用更新后的孔隙分割模型对页岩扫描电镜图像进行孔隙分
割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电
镜图像分割结果后,返回步骤3.2;
步骤3.4,完成对孔隙分割模型的训练,得到训练后的孔隙分割模型。
优选地,所述步骤3中,损失函数兼顾特维斯基损失和二部交叉熵损失,如公式(2)所示:
(2)
其中,
(3)
(4)
式中,为损失值,为特维斯基损失值,为二部交叉熵损失值,为超参
数;为页岩扫描电镜图像中像素点的分割结果,为页岩扫描电镜图像中像素点的标签;和均为正负样本平衡系数。
优选地,所述步骤4中,具体包括以下步骤:
步骤4.1,将测试集中的页岩扫描电镜图像数据输入至训练后的孔隙分割模型中,利用孔隙分割模型对页岩扫描电镜图像数据中的页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果;
步骤4.2,将页岩扫描电镜图像利用孔隙分割模型所标记的标签与人工识别所设置的标签进行对比,利用损失函数计算孔隙分割模型所标记标签与人工识别所设置标签之间的损失值,并将损失值与预设的精度值进行比较;若误差值小于预设的精度值,则证明训练后孔隙分割模型的分割效果已达到最优,进入步骤5;否则,则返回步骤3,继续利用训练集训练孔隙分割模型。
本发明具有如下有益效果:
本发明通过先对页岩扫描电镜原始图像进行预处理,利用小波变换增强页岩扫描电镜原始图像并人工设置标签后,并将页岩扫描电镜原始图像分解为多张子带图像和一张低频图像,通过缩放处理和几何变换增加子带图像的数量,形成更多的子带图像,大幅度扩增了页岩扫描电镜图像数据集中页岩扫描电镜图像的数量,解决了因页岩图像样本数量较少所导致孔隙分割模型缺少训练样本的问题。
本发明通过在图像处理模块内设置通道注意力模块和空间注意力模块,实现了对页岩扫描电镜图像的高精度分割,通过引入将特维斯基损失函数和二部交叉熵损失函数相融合的损失函数,解决了分割页岩电镜扫描图像时孔隙分辨能力差且正负样本不平衡的问题,既大幅度降低分割时需要人工辅助辨识的工作量,又杜绝了人工辅助辨识时因技术人员经验不足所导致的误差。
本发明基于混合注意力机制的U-Net网络构建孔隙分割模型,配合Adam算法进行优化,支持稀疏梯度,解决了现有的孔隙分割模型无法对分辨率低且各组分边界模糊的页岩扫描电镜图像进行分割的问题,实现了对页岩电镜图像内孔隙特征的快速提取和精确分割,降低了页岩扫描电镜图像分割的复杂度,提高了页岩扫描电镜图像中孔隙识别的精度和效率,为页岩储层的高效评价奠定了基础。
附图说明
图1为基于注意力和U-Net的页岩扫描电镜图像分割方法的流程图。
图2为基于混合注意力机制的U-Net网络所构建孔隙分割模型的结构示意图。
图3为通道注意力模块的结构示意图。
图4为空间注意力模块的结构示意图。
图5为训练过程中孔隙分割模型损失值的变化曲线。
图6为测试过程中孔隙分割模型损失值的变化曲线。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明:
本发明提出了一种基于注意力和U-Net的页岩扫描电镜图像分割方法,如图1所示,具体包括以下步骤:
步骤1,获取多张页岩扫描电镜原始图像,对各页岩扫描电镜原始图像进行预处理,形成页岩扫描电镜图像数据集,页岩扫描电镜图像数据集中包括训练集和测试集,具体包括以下步骤:
步骤1.1,本实施例中获取1000张页岩扫描电镜原始图像,分别针对各页岩扫描电镜原始图像,人工识别页岩扫描电镜原始图像中的孔隙并设置标签。
步骤1.2,分别针对各页岩扫描电镜原始图像,利用小波变换将页岩扫描电镜原始图像分解为三张高频图像和一张低频图像后,设置不同的去噪阈值,对同一张页岩扫描电镜原始图像所对应的三张高频图像采用不同的去噪阈值进行滤波去噪处理后,得到基于不同阈值去噪后的高频图像,从而增加了高频图像的数量和频率的多样性。
步骤1.3,分别针对各页岩扫描电镜原始图像,将同一张页岩扫描电镜原始图像所对应的低频图像与经不同去噪阈值滤波去噪后的高频图像进行小波逆变换,得到增强后的页岩扫描图像,页岩扫描图像的孔隙上带有预先设置的标签,将增强后的各页岩扫描图像及页岩扫描图像上的标签作为页岩扫描电镜图像数据,形成页岩扫描电镜图像数据集,并将页岩扫描电镜图像数据集划分为训练集和测试集。
本实施例中页岩扫描电镜图像数据集中含有1000个页岩扫描电镜图像数据,随机在页岩扫描电镜图像数据集中选取900个页岩扫描电镜图像数据构建训练集,并利用页岩扫描电镜图像数据集中剩余的数据构建测试集。
步骤2,基于混合注意力机制的U-Net网络构建孔隙分割模型。
本实施例中,基于混合注意力机制的U-Net网络构建的孔隙分割模型如图2所示,包括图像数据转换模块、两个位于U-Net网络不同深度位置处的图像处理模块和多个卷积层,其中,图像处理模块设置为第一图像处理模块和第二图像处理模块。
所述图像处理模块包括第一个卷积层、通道注意力模块和空间注意力模块,第一
个卷积层、通道注意力模块和空间注意力模块依次连接,第一个卷积层中卷积核的尺寸设
置为;其中,所述通道注意力模块如图3所示,包括一个由全局最大池化层和全局平均
池化层组成的并列结构、多层感知机、求和层和激活函数层,所述空间注意力模块如图4所
示,包括一个由全局最大池化层和全局平均池化层组成的并列结构、卷积层和激活函数层。
本实施例中通道注意力模块和空间注意力模块的激活函数层内均预设有sigmoid激活函数,通道注意力模块的多层感知机中预设的映射函数,如公式(1)所示:
(1)
式中,为通道注意力特征图的特征向量,为特征矩阵,为平
均池化函数,为最大池化函数,为sigmoid激活函数;为多层感
知机,由两个共享参数矩阵构成,为多层感知机中的第一计算参数,多层感知机中的
第二计算参数,为通道注意力模块所确定的平均池化特征,为通道注意力模块所
确定的最大池化特征。
当页岩扫描电镜图像输入至孔隙分割模型时,孔隙分割模型的图像数据转换模块
获取页岩扫描电镜图像和标签,并将页岩扫描电镜图像的图像数据和标签转换为原始特征
矩阵后,将原始特征矩阵输入至图像处理模块中,依次经第一图像处理模块和第二图像处
理模块处理后,得到维度为的特征矩阵,再依次对特征矩阵利用256个尺
寸为的卷积核以及512个尺寸为的卷积核进行卷积运算,得到维度
为的特征矩阵,特征矩阵经上采样后与第二图像处理模块注意力融合
模块中输入的特征矩阵相拼接得到特征矩阵,特征矩阵的维度为,再利
用64个尺寸为的卷积核对特征矩阵进行卷积计算,得到维度为
的特征矩阵,特征矩阵经上采样后与第一图像处理模块注意力融合模块中输入的特
征矩阵相拼接得到维度为的特征矩阵,再通过3个尺寸为的
卷积核对特征矩阵进行卷积运算后,输出孔隙分割模型,得到基于像素级别的页岩扫描
电镜图像分割结果。
本实施例中当原始特征矩阵或经上一个图像处理模块处理后的特征矩阵输入至
当前图像处理模块时,先利用利用图像处理模块中的第一个卷积层对输入的原始特征矩阵
或特征矩阵进行卷积核大小为1×1的卷积运算,将矩阵的通道数扩充至,得到特征矩阵,特征矩阵的维度为,其中,为行数、为列数,为特征矩阵的通
道数。
将特征矩阵输入至图像处理模块的通道注意力模块中,利用全局最大池化层和
全局平均池化层分别对输入的特征矩阵进行处理生成两张特征图,特征图的维度为,为特征图的通道数;将两张特征图输入至多层感知机中,利用多层感知机分别
处理生成各特征图的特征向量,将生成的特征向量进行求和运算后输入sigmoid激活函数
中,经sigmoid激活函数计算生成通道特征注意力特征图,得到通道特征注意力特征图的特
征向量,将通道特征注意力特征图的特征向量与特征矩阵进行哈达玛积运算,得
到经通道注意力增强后的特征矩阵,特征矩阵的维度为。
当经通道注意力增强后的特征矩阵输入至空间注意力模块时,先将经通道注意
力增强后的特征矩阵分别输入全局最大池化层和全局平均池化层中,利用全局最大池化
层和全局平均池化层分别对输入的特征矩阵进行处理,得到空间注意力模块所确定的平
均池化特征和最大池化特征,空间注意力模块所确定的平均池化特征和最
大池化特征的维度均为,对空间注意力模块生成的平均池化特征和
最大池化特征进行拼接,并经卷积运算后输入至sigmoid激活函数中,得到空间注意
力特征矩阵,将空间注意力特征矩阵与特征矩阵进行哈达玛积运算后,再与特征
矩阵进行求和运算,得到经空间注意力增强后的特征矩阵,特征矩阵的维度为。
步骤3,利用训练集对孔隙分割模型进行训练,得到训练后的孔隙分割模型,具体包括以下步骤:
步骤3.1,将训练集中的页岩扫描电镜图像数据输入至步骤2中所构建的孔隙分割模型中,利用孔隙分割模型对页岩扫描电镜图像数据中的页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果;
步骤3.2,基于Adam算法优化孔隙分割模型,将页岩扫描电镜图像利用孔隙分割模
型所标记的标签与人工识别所设置的标签进行对比,利用损失函数计算孔隙分割模型所标
记标签与人工识别所设置标签之间的损失值,并将损失值与预设的精度值进行比较,本实
施例中预设的精度值为;若损失值小于预设的精度值,则进入步骤3.4;否则,则进
入步骤3.3。
本实施例中损失函数兼顾特维斯基损失和二部交叉熵损失,既平衡了孔隙分割模型所设置标签与人工识别真实标签之间的差异,又解决了孔隙分割模型训练过程中正负样本不平衡的问题,本实施例中损失函数如公式(2)所示:
(2)
其中,
(3)
(4)
式中,为损失值,为特维斯基损失值,为二部交叉熵损失值,为超参
数;为页岩扫描电镜图像中像素点的分割结果,为页岩扫描电镜图像中像素点的标签;和均为正负样本平衡系数。
步骤3.3,更新孔隙分割模型中多层感知机的第一计算参数和第二计算参数,得到更新后的孔隙分割模型,继续在训练集中随机选取页岩扫描电镜图像数据输入至
更新后的孔隙分割模型中,利用更新后的孔隙分割模型对页岩扫描电镜图像进行孔隙分
割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电
镜图像分割结果后,返回步骤3.2。
步骤3.4,完成对孔隙分割模型的训练,得到训练后的孔隙分割模型。
步骤4,利用测试集验证训练后孔隙分割模型的分割效果,若训练后孔隙分割模型的分割效果已达到最佳,则进入步骤5,否则,则返回步骤3中,继续利用训练集对孔隙分割模型进行训练;
所述步骤4中,具体包括以下步骤:
步骤4.1,将测试集中的页岩扫描电镜图像数据输入至训练后的孔隙分割模型中,利用孔隙分割模型对页岩扫描电镜图像数据中的页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果;
步骤4.2,将页岩扫描电镜图像利用孔隙分割模型所标记的标签与人工识别所设置的标签进行对比,利用损失函数计算孔隙分割模型所标记标签与人工识别所设置标签之间的损失值,并将损失值与预设的精度值进行比较;若误差值小于预设的精度值,则证明训练后孔隙分割模型的分割效果已达到最优,进入步骤5;否则,则返回步骤3,继续利用训练集训练孔隙分割模型。
本实施例中,训练过程中基于混合注意力机制的U-Net网络所构建孔隙分割模型的损失值随训练次数的变化曲线如图5所示,测试过程中基于混合注意力机制的U-Net网络所构建孔隙分割模型的损失值随测试次数的变化曲线如图6所示。
步骤5,将待处理的页岩扫描电镜原始图像输入至训练后的孔隙分割模型中,利用训练后的孔隙分割模型分割待处理的页岩扫描电镜原始图像,得到待处理页岩扫描电镜原始图像的分割结果。
为了验证本发明方法所构建孔隙分割模型对于页岩扫描电镜图像的划分效果,分别基于SegNet网络、DeepLabV3+网络、ResUnet网络、Swin-Unet网络构建孔隙分割模型,并与本发明基于混合注意力机制的U-Net网络所构建的孔隙分割模型进行对比,利用本实施例中所构建训练集中的页岩扫描电镜图像数据分别训练基于SegNet网络、DeepLabV3+网络、ResUnet网络、Swin-Unet网络的孔隙分割模型以及采用本发明方法基于混合注意力机制的U-Net网络所构建的孔隙分割模型,得到训练后各网络所构建孔隙分割模型的分割指标结果,其中,基于SegNet网络所构建孔隙分割模型的分割指标结果为0.56,基于DeepLabV3+网络所构建孔隙分割模型的分割指标结果为0.63,基于ResUnet网络所构建孔隙分割模型的分割指标结果为0.63,基于Swin-Unet网络所构建孔隙分割模型的分割指标结果为0.64,而本发明中基于混合注意力机制的U-Net网络所构建孔隙分割模型的分割指标结果为0.66。
对比各网络所构建孔隙分割模型的损失值后发现,采用本发明方法通过引入空间注意力机制和通道注意力机制,提高了页岩扫描电镜图像孔隙分割的准确性,采用本发明方法能够将分割指标结果从0.56提升至0.66,从而验证了本发明方法能够有效提升孔隙分割模型对于页岩扫描电镜图像的分割性能,有效提高了页岩扫描电镜图像中孔隙识别的精度和效率,适用于对分辨率低且岩石各组分边界模糊的页岩扫描电镜图像孔隙分割的批量处理,为页岩储层的高效评价奠定了基础。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (6)
1.一种基于注意力和U-Net的页岩扫描电镜图像分割方法,其特征在于,具体包括以下步骤:
步骤1,获取多张页岩扫描电镜原始图像,对各页岩扫描电镜原始图像进行预处理,形成页岩扫描电镜图像数据集,页岩扫描电镜图像数据集中包括训练集和测试集;
步骤2,基于混合注意力机制的U-Net网络构建孔隙分割模型;
步骤3,利用训练集对孔隙分割模型进行训练,得到训练后的孔隙分割模型;
步骤4,利用测试集验证训练后孔隙分割模型的分割效果,若训练后孔隙分割模型的分割效果已达到最佳,则进入步骤5,否则,则返回步骤3中,继续利用训练集对孔隙分割模型进行训练;
步骤5,将待处理的页岩扫描电镜原始图像输入至训练后的孔隙分割模型中,利用训练后的孔隙分割模型分割待处理的页岩扫描电镜原始图像,得到待处理页岩扫描电镜原始图像的分割结果;
所述步骤1中,具体包括以下步骤:
步骤1.1,获取多张页岩扫描电镜原始图像,分别针对各页岩扫描电镜原始图像,人工识别页岩扫描电镜原始图像中的孔隙并设置标签;
步骤1.2,分别针对各页岩扫描电镜原始图像,利用小波变换将页岩扫描电镜原始图像分解为多张高频图像和一张低频图像后,设置不同的去噪阈值,将同一张页岩扫描电镜原始图像所对应的多张高频图像采用不同的去噪阈值进行滤波去噪处理,得到基于不同阈值去噪后的高频图像,增加高频图像的数量和频率的多样性;
步骤1.3,分别针对各页岩扫描电镜原始图像,将同一张页岩扫描电镜原始图像所对应的低频图像与经不同去噪阈值滤波去噪后的高频图像进行小波逆变换,得到增强后的页岩扫描图像,页岩扫描图像的孔隙上带有预先设置的标签,将增强后的各页岩扫描图像及页岩扫描图像上的标签作为页岩扫描电镜图像数据,形成页岩扫描电镜图像数据集,并将页岩扫描电镜图像数据集划分为训练集和测试集;
所述步骤2中,基于混合注意力机制的U-Net网络构建的孔隙分割模型包括图像数据转换模块、两个位于U-Net网络不同深度位置处的图像处理模块和多个卷积层,其中,图像处理模块设置为第一图像处理模块和第二图像处理模块;
所述图像处理模块包括第一个卷积层、通道注意力模块和空间注意力模块,第一个卷积层、通道注意力模块和空间注意力模块依次连接,第一个卷积层中卷积核的尺寸设置为,其中,所述通道注意力模块包括一个由全局最大池化层和全局平均池化层组成的并列结构、多层感知机、求和层和激活函数层,所述空间注意力模块包括一个由全局最大池化层和全局平均池化层组成的并列结构、卷积层和激活函数层;
所述激活函数层中预设有sigmoid激活函数;
当页岩扫描电镜图像输入至孔隙分割模型时,孔隙分割模型的图像数据转换模块获取页岩扫描电镜图像和标签,并将页岩扫描电镜图像的图像数据和标签转换为原始特征矩阵后,将原始特征矩阵输入至图像处理模块中,依次经第一图像处理模块和第二图像处理模块处理后,得到维度为的特征矩阵/>,再依次对特征矩阵/>利用256个尺寸为的卷积核以及512个尺寸为/>的卷积核进行卷积运算,得到维度为的特征矩阵/>,特征矩阵/>经上采样后与第二图像处理模块注意力融合模块中输入的特征矩阵相拼接得到特征矩阵/>,特征矩阵/>的维度为/>,再利用64个尺寸为/>的卷积核对特征矩阵/>进行卷积计算,得到维度为/>的特征矩阵/>,特征矩阵/>经上采样后与第一图像处理模块注意力融合模块中输入的特征矩阵相拼接得到维度为/>的特征矩阵/>,再通过3个尺寸为/>的卷积核对特征矩阵/>进行卷积运算后,输出孔隙分割模型,得到基于像素级别的页岩扫描电镜图像分割结果。
2.根据权利要求1所述的基于注意力和U-Net的页岩扫描电镜图像分割方法,其特征在于,当原始特征矩阵或经上一个图像处理模块处理后的特征矩阵输入至当前图像处理模块时,先利用图像处理模块中的第一个卷积层对输入的原始特征矩阵或特征矩阵进行卷积运算,将矩阵的通道数扩充至,得到特征矩阵/>,特征矩阵/>的维度为/>,其中,为行数、/>为列数,/>为特征矩阵/>的通道数;
将特征矩阵输入至图像处理模块的通道注意力模块中,全局最大池化层和全局平均池化层分别对输入的特征矩阵/>进行处理生成两张特征图,特征图的维度为/>,/>为特征图的通道数;将两张特征图输入至多层感知机中,利用多层感知机分别处理生成各特征图的特征向量,将生成的特征向量进行求和运算后输入sigmoid激活函数中,经sigmoid激活函数计算生成通道特征注意力特征图,得到通道特征注意力特征图的特征向量/>,将通道特征注意力特征图的特征向量/>与特征矩阵/>进行哈达玛积运算,得到经通道注意力增强后的特征矩阵/>,特征矩阵/>的维度为/>;
当经通道注意力增强后的特征矩阵输入至空间注意力模块时,先将经通道注意力增强后的特征矩阵/>分别输入全局最大池化层和全局平均池化层中,利用全局最大池化层和全局平均池化层分别对输入的特征矩阵/>进行处理,得到空间注意力模块所确定的平均池化特征/>和最大池化特征/>,空间注意力模块所确定的平均池化特征/>和最大池化特征/>的维度均为/>,对空间注意力模块生成的平均池化特征/>和最大池化特征/>进行拼接,并经卷积运算后输入至sigmoid激活函数中,得到空间注意力特征矩阵/>,将空间注意力特征矩阵/>与特征矩阵/>进行哈达玛积运算后,再与特征矩阵进行求和运算,得到经空间注意力增强后的特征矩阵/>,特征矩阵/>的维度为。
3.根据权利要求2所述的基于注意力和U-Net的页岩扫描电镜图像分割方法,其特征在于,所述多层感知机中预设有映射函数,如公式(1)所示:
(1)
式中,为通道注意力特征图的特征向量,/>为特征矩阵,/>为平均池化函数,/>为最大池化函数,/>为sigmoid激活函数;/>为多层感知机,由两个共享参数矩阵构成,/>为多层感知机中的第一计算参数,/>多层感知机中的第二计算参数,/>为通道注意力模块所确定的平均池化特征,/>为通道注意力模块所确定的最大池化特征。
4.根据权利要求1所述的基于注意力和U-Net的页岩扫描电镜图像分割方法,其特征在于,所述步骤3中,具体包括以下步骤:
步骤3.1,将训练集中的页岩扫描电镜图像数据输入至步骤2中所构建的孔隙分割模型中,利用孔隙分割模型对页岩扫描电镜图像数据中的页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果;
步骤3.2,基于Adam算法优化孔隙分割模型,将页岩扫描电镜图像利用孔隙分割模型所标记的标签与人工识别所设置的标签进行对比,利用损失函数计算孔隙分割模型所标记标签与人工识别所设置标签之间的损失值,并将损失值与预设的精度值进行比较;若损失值小于预设的精度值,则进入步骤3.4;否则,则进入步骤3.3;
步骤3.3,更新孔隙分割模型中多层感知机的第一计算参数和第二计算参数/>,得到更新后的孔隙分割模型,继续在训练集中随机选取页岩扫描电镜图像数据输入至更新后的孔隙分割模型中,利用更新后的孔隙分割模型对页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果后,返回步骤3.2;
步骤3.4,完成对孔隙分割模型的训练,得到训练后的孔隙分割模型。
5.根据权利要求4所述的基于注意力和U-Net的页岩扫描电镜图像分割方法,其特征在于,所述步骤3中,损失函数兼顾特维斯基损失和二部交叉熵损失,如公式(2)所示:
(2)
其中,
(3)
(4)
式中,为损失值,/>为特维斯基损失值,/>为二部交叉熵损失值,/>为超参数;/>为页岩扫描电镜图像中像素点的分割结果,/>为页岩扫描电镜图像中像素点的标签;/>和/>均为正负样本平衡系数。
6.根据权利要求5所述的基于注意力和U-Net的页岩扫描电镜图像分割方法,其特征在于,所述步骤4中,具体包括以下步骤:
步骤4.1,将测试集中的页岩扫描电镜图像数据输入至训练后的孔隙分割模型中,利用孔隙分割模型对页岩扫描电镜图像数据中的页岩扫描电镜图像进行孔隙分割,并利用孔隙分割模型生成标签标记分割后页岩扫描电镜图像的孔隙,得到页岩扫描电镜图像分割结果;
步骤4.2,将页岩扫描电镜图像利用孔隙分割模型所标记的标签与人工识别所设置的标签进行对比,利用损失函数计算孔隙分割模型所标记标签与人工识别所设置标签之间的损失值,并将损失值与预设的精度值进行比较;若误差值小于预设的精度值,则证明训练后孔隙分割模型的分割效果已达到最优,进入步骤5;否则,则返回步骤3,继续利用训练集训练孔隙分割模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310511382.3A CN116228797B (zh) | 2023-05-09 | 2023-05-09 | 基于注意力和U-Net的页岩扫描电镜图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310511382.3A CN116228797B (zh) | 2023-05-09 | 2023-05-09 | 基于注意力和U-Net的页岩扫描电镜图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116228797A CN116228797A (zh) | 2023-06-06 |
CN116228797B true CN116228797B (zh) | 2023-08-15 |
Family
ID=86584686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310511382.3A Active CN116228797B (zh) | 2023-05-09 | 2023-05-09 | 基于注意力和U-Net的页岩扫描电镜图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116228797B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112348831A (zh) * | 2020-11-05 | 2021-02-09 | 中国石油大学(华东) | 基于机器学习的页岩sem图像分割方法 |
CN112927253A (zh) * | 2019-12-06 | 2021-06-08 | 四川大学 | 基于卷积神经网络的岩心fib-sem图像分割方法 |
CN113989271A (zh) * | 2021-11-25 | 2022-01-28 | 江苏科技大学 | 基于双注意力机制和U-net网络的漆面图像分割系统及方法 |
CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
CN114863283A (zh) * | 2022-05-25 | 2022-08-05 | 南昌航空大学 | 迁移学习与注意力机制结合的sar图像目标识别方法 |
CN115170579A (zh) * | 2022-09-09 | 2022-10-11 | 之江实验室 | 一种金属锈蚀图像分割方法和装置 |
CN115393656A (zh) * | 2022-10-26 | 2022-11-25 | 中石化经纬有限公司 | 一种用于随钻测井图像地层分类的自动分类方法 |
WO2023045231A1 (zh) * | 2021-09-22 | 2023-03-30 | 浙江大学 | 一种解耦分治的面神经分割方法和装置 |
-
2023
- 2023-05-09 CN CN202310511382.3A patent/CN116228797B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112927253A (zh) * | 2019-12-06 | 2021-06-08 | 四川大学 | 基于卷积神经网络的岩心fib-sem图像分割方法 |
CN112348831A (zh) * | 2020-11-05 | 2021-02-09 | 中国石油大学(华东) | 基于机器学习的页岩sem图像分割方法 |
WO2023045231A1 (zh) * | 2021-09-22 | 2023-03-30 | 浙江大学 | 一种解耦分治的面神经分割方法和装置 |
CN113989271A (zh) * | 2021-11-25 | 2022-01-28 | 江苏科技大学 | 基于双注意力机制和U-net网络的漆面图像分割系统及方法 |
CN114332462A (zh) * | 2021-12-31 | 2022-04-12 | 福州大学 | 一种针对大脑病变融入注意力机制的mri分割方法 |
CN114863283A (zh) * | 2022-05-25 | 2022-08-05 | 南昌航空大学 | 迁移学习与注意力机制结合的sar图像目标识别方法 |
CN115170579A (zh) * | 2022-09-09 | 2022-10-11 | 之江实验室 | 一种金属锈蚀图像分割方法和装置 |
CN115393656A (zh) * | 2022-10-26 | 2022-11-25 | 中石化经纬有限公司 | 一种用于随钻测井图像地层分类的自动分类方法 |
Non-Patent Citations (1)
Title |
---|
ANU-Net: Attention-based nested U-Net to exploit full resolution features for medical image segmentation;Chen Li等;《Computers & Graphics》;第11-20页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116228797A (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
CN110570364B (zh) | 基于深度神经网络的分焦平面偏振图像去噪方法 | |
CN112837232B (zh) | 一种水下图像增强及细节恢复的方法 | |
CN116206185A (zh) | 一种基于改进YOLOv7的轻量级小目标检测方法 | |
CN111931857A (zh) | 一种基于mscff的低照度目标检测方法 | |
CN114494015A (zh) | 基于盲超分辨率网络的图像重建方法 | |
CN103077408A (zh) | 基于小波神经网络的海底声纳图像转换为声学底质类别方法 | |
CN111915603A (zh) | 一种含噪声ebsd数据中无噪声相图的人工智能预测方法 | |
CN111815526A (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 | |
CN112381845B (zh) | 岩心图像生成方法、模型训练方法及装置 | |
CN116228797B (zh) | 基于注意力和U-Net的页岩扫描电镜图像分割方法 | |
CN117151983A (zh) | 一种基于小波启发和高频增强的图像全色锐化方法 | |
CN113033106A (zh) | 一种基于ebsd与深度学习方法的钢铁材料性能预测方法 | |
CN116843544A (zh) | 一种高超声速流场导入卷积神经网络进行超分辨率重建的方法、系统及设备 | |
CN115330697A (zh) | 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 | |
CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
CN115496738A (zh) | 基于Transformer与SE的磁瓦缺陷检测方法 | |
CN115546199A (zh) | 利用自注意力分析sar图像获取海上溢油区域的方法 | |
CN115661022A (zh) | 一种织物瑕疵检测模型建立方法和织物瑕疵检测方法 | |
CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
CN110443755B (zh) | 一种基于高低频信号量的图像超分辨率的方法 | |
CN113962928A (zh) | 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 | |
CN117496162B (zh) | 一种红外卫星遥感影像薄云去除方法、装置及介质 | |
CN115953672B (zh) | 一种水下大坝表面裂缝识别方法 | |
CN117197651B (zh) | 一种结合边缘检测与语义分割的田块提取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |